特許 6160426 画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6160426

(24)【登録日】2017年6月23日

(45)【発行日】2017年7月12日

(54)【発明の名称】画像処理装置及びプログラム

(51)【国際特許分類】

   H04N 1/46 20060101AFI20170703BHJP

   H04N 1/60 20060101ALI20170703BHJP

   G06T 1/00 20060101ALI20170703BHJP

【ＦＩ】

   H04N1/46 Z

   H04N1/40 D

   G06T1/00 510

【請求項の数】6

【全頁数】20

(21)【出願番号】特願2013-209655(P2013-209655)

(22)【出願日】2013年10月4日

(65)【公開番号】特開2015-76642(P2015-76642A)

(43)【公開日】2015年4月20日

【審査請求日】2016年5月25日

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士ゼロックス株式会社

(74)【代理人】

【識別番号】100104880

【弁理士】

【氏名又は名称】古部 次郎

(74)【代理人】

【識別番号】100118108

【弁理士】

【氏名又は名称】久保 洋之

(72)【発明者】

【氏名】佐々木 信

【審査官】 豊田 好一

(56)【参考文献】

【文献】 国際公開第２０１３／１４５３６５（ＷＯ，Ａ１）

【文献】 特開２００５−０３９４５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４６−６２

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／４０

(57)【特許請求の範囲】

【請求項1】

原画像を、当該原画像の輝度成分を画素値とする輝度画像及び当該原画像の色度成分を画素値とする色度画像に変換する色変換を行う色変換手段と、
前記輝度画像から、前記原画像の照明成分を画素値とする照明画像を生成する照明画像生成手段と、
前記輝度画像と、前記照明画像とに基づいて、前記原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、
少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す反射率強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された輝度再現画像を生成する輝度再現画像生成手段と、
前記色度画像の色度を調整することにより、色度調整画像を生成する色度調整画像生成手段と、
前記輝度再現画像及び前記色度調整画像に対して、前記色変換手段が行う色変換とは逆の変換を行う色逆変換手段と
を備えたことを特徴とする画像処理装置。

【請求項2】

前記輝度画像及び前記色度画像の少なくとも何れか一方の画像から、前記原画像における指定された色領域内の色の領域を表す領域画像を生成する領域画像生成手段を更に備え、
前記輝度再現画像生成手段は、前記輝度画像と、前記領域画像と、前記領域の輝度の強調度合いを表す輝度強調度合い情報とに更に基づいて、前記輝度再現画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記輝度再現画像生成手段は、前記領域の輝度成分を変換することで当該領域の輝度を強調する関数の形状を制御する前記輝度強調度合い情報に基づいて、前記輝度再現画像を生成することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記輝度画像及び前記色度画像の少なくとも何れか一方の画像から、前記原画像における指定された色領域内の色の領域を表す領域画像を生成する領域画像生成手段を更に備え、
前記反射率画像生成手段は、前記領域画像と、前記領域の輝度の強調度合いを表す輝度強調度合い情報とに更に基づいて、前記反射率画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記反射率画像生成手段は、前記領域の輝度成分を変換することで当該領域の輝度を強調する関数の形状を制御する前記輝度強調度合い情報に基づいて、前記反射率画像を生成することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

コンピュータに、
原画像を、当該原画像の輝度成分を画素値とする輝度画像及び当該原画像の色度成分を画素値とする色度画像に変換する色変換を行う機能と、
前記輝度画像から、前記原画像の照明成分を画素値とする照明画像を生成する機能と、
前記輝度画像と、前記照明画像とに基づいて、前記原画像の反射率成分を画素値とする反射率画像を生成する機能と、
少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す反射率強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された輝度再現画像を生成する機能と、
前記色度画像の色度を調整することにより、色度調整画像を生成する機能と、
前記輝度再現画像及び前記色度調整画像に対して、前記色変換とは逆の変換を行う機能と
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、プログラムに関する。

【背景技術】

【0002】

明度、彩度、色相の画像データについて画像補正を行うときに、明度によりコントラストを補正し、少なくとも明度から最大彩度を求め、求められた各画素の補正前後の明度における最大彩度から補正すべき彩度変化量を算出し、算出した彩度変化量で彩度を補正する画像処理装置は知られている（例えば、特許文献１参照）。

【0003】

入力色信号の彩度レベルを算出し、算出された彩度レベルを用いて、入力色信号の輝度変化に適用される輝度加重値および彩度に対する利得を計算し、入力色信号を所定のアルゴリズムに応じて輝度を調整し、調整された輝度および入力色信号の輝度を出力し、加重値と利得のいずれか１つと調整された輝度を用いて入力色信号の輝度を変化させる彩度適応的な映像向上装置も知られている（例えば、特許文献２参照）。

【0004】

入力画像のコントラスト調整を行い、入力画像の色情報を算出し、入力画像の輝度、コントラスト調整後画像の輝度および入力画像の色情報に基づいて出力画像の輝度を制御する画像処理装置も知られている（例えば、特許文献３参照）。

【0005】

入力画像データを均等色空間上で表現されるＬ*Ｃ*Ｈ*信号に変換し、この変換データから明度（Ｌ*）についてヒストグラムを作成し、このヒストグラムを基にハイライト及びシャドウのしきい値を決定し、ハイライト及びシャドウのしきい値に基づいて明度のダイナミックレンジを補正し、さらに明度の補正に対応させて、彩度（Ｃ*）を補正し、この各補正の際に色相（Ｈ*）を一定とすることで、色調バランスを保持したまま階調を補正するディジタル画像の階調補正装置も知られている（例えば、特許文献４参照）。

【0006】

被写体を撮像して、高感度画像データと低感度画像データを生成し、各感度の画像データを、Ｒ・Ｇ・Ｂ信号値から、色相Ｈ・明度Ｖ・彩度Ｃに変換し、高感度画像データと低感度画像データ各々の画像特性に応じて、個々に彩度調整処理条件を設定し、設定された条件に基づいて、彩度調整処理を施し、高感度画像データと低感度画像データの彩度調整処理済みの彩度Ｃ’、未処理の色相Ｈ・明度Ｖを各々合成し、合成された彩度Ｃ’・色相Ｈ・明度Ｖを、Ｒ・Ｇ・Ｂ信号に変換して広ダイナミックレンジ画像を生成する画像撮像装置も知られている（例えば、特許文献５参照）。

【0007】

フィルタリング部が、入力画像データの照明光成分を抽出し、レチネックス処理部が、入力画像データを抽出された照明光成分で除算することにより入力画像データの反射率成分を算出し、彩度ゲイン算出部が、入力画像データの彩度成分と輝度成分との比と負の相関関係にある彩度ゲインを算出し、補正パラメータ算出部が、算出された反射率成分および彩度ゲインに基づいて補正パラメータを算出し、乗算部が、算出された補正パラメータと入力画像データとを乗算することにより補正画像データを生成する画像処理装置も知られている（例えば、特許文献６参照）。

【0008】

これまでのシングルスケールの中心／周辺レティネックスをマルチスケールに拡張すると良好な演色を作り出すことができなくなることにより定義された、色の一致における少量の希薄化を犠牲にしてこの欠陥を補正する色復元の方法も知られている（例えば、非特許文献１参照）。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００１−４５３１１号公報

【特許文献2】特開２００５−３５３０６９号公報

【特許文献3】特開２００７−２２６５７９号公報

【特許文献4】特開平８−３２８２７号公報

【特許文献5】特開２００４−３２８１３２号公報

【特許文献6】特開２０１１−０８６９７６号公報

【非特許文献】

【0010】

【非特許文献1】Daniel J. Jobson, Zia-ur Rahman, and Glenn A. Woodell, 「A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes」, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 6, NO. 7, JULY 1997

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明の目的は、反射率成分を強調することで画像の視認性を高める際に、色再現性を高めることにある。

【課題を解決するための手段】

【0012】

請求項１に記載の発明は、原画像を、当該原画像の輝度成分を画素値とする輝度画像及び当該原画像の色度成分を画素値とする色度画像に変換する色変換を行う色変換手段と、前記輝度画像から、前記原画像の照明成分を画素値とする照明画像を生成する照明画像生成手段と、前記輝度画像と、前記照明画像とに基づいて、前記原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す反射率強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された輝度再現画像を生成する輝度再現画像生成手段と、前記色度画像の色度を調整することにより、色度調整画像を生成する色度調整画像生成手段と、前記輝度再現画像及び前記色度調整画像に対して、前記色変換手段が行う色変換とは逆の変換を行う色逆変換手段とを備えたことを特徴とする画像処理装置である。
請求項２に記載の発明は、前記輝度画像及び前記色度画像の少なくとも何れか一方の画像から、前記原画像における指定された色領域内の色の領域を表す領域画像を生成する領域画像生成手段を更に備え、前記輝度再現画像生成手段は、前記輝度画像と、前記領域画像と、前記領域の輝度の強調度合いを表す輝度強調度合い情報とに更に基づいて、前記輝度再現画像を生成することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記輝度再現画像生成手段は、前記領域の輝度成分を変換することで当該領域の輝度を強調する関数の形状を制御する前記輝度強調度合い情報に基づいて、前記輝度再現画像を生成することを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記輝度画像及び前記色度画像の少なくとも何れか一方の画像から、前記原画像における指定された色領域内の色の領域を表す領域画像を生成する領域画像生成手段を更に備え、前記反射率画像生成手段は、前記領域画像と、前記領域の輝度の強調度合いを表す輝度強調度合い情報とに更に基づいて、前記反射率画像を生成することを特徴とする請求項１に記載の画像処理装置である。
請求項５に記載の発明は、前記反射率画像生成手段は、前記領域の輝度成分を変換することで当該領域の輝度を強調する関数の形状を制御する前記輝度強調度合い情報に基づいて、前記反射率画像を生成することを特徴とする請求項４に記載の画像処理装置である。
請求項６に記載の発明は、コンピュータに、原画像を、当該原画像の輝度成分を画素値とする輝度画像及び当該原画像の色度成分を画素値とする色度画像に変換する色変換を行う機能と、前記輝度画像から、前記原画像の照明成分を画素値とする照明画像を生成する機能と、前記輝度画像と、前記照明画像とに基づいて、前記原画像の反射率成分を画素値とする反射率画像を生成する機能と、少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す反射率強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された輝度再現画像を生成する機能と、前記色度画像の色度を調整することにより、色度調整画像を生成する機能と、前記輝度再現画像及び前記色度調整画像に対して、前記色変換とは逆の変換を行う機能とを実現させるためのプログラムである。

【発明の効果】

【0013】

請求項１の発明によれば、反射率成分を強調することで画像の視認性を高める際に、色再現性を高めることができる。
請求項２の発明によれば、反射率成分を強調することで画像の視認性を高める際に、指定された色領域内の色に関する輝度を画像において強調することができる。
請求項３の発明によれば、本構成を有していない場合に比較して、指定された色領域内の色に関する輝度を画像において簡単に強調することができる。
請求項４の発明によれば、反射率成分を強調することで画像の視認性を高める際に、指定された色領域内の色に関する輝度を強調するための反射率を得ることができる。
請求項５の発明によれば、本構成を有していない場合に比較して、指定された色領域内の色に関する輝度を強調するための反射率を簡単に得ることができる。
請求項６の発明によれば、反射率成分を強調することで画像の視認性を高める際に、色再現性を高めることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の第１の実施の形態における画像処理装置の機能構成例を示したブロック図である。

【図2】（ａ）〜（ｃ）は、σの値によって多層画像の各層の画像の周波数が異なることを示した図である。

【図3】照明推定部による照明光の推定の第１の例を示した図である。

【図4】照明推定部による照明光の推定の第２の例を示した図である。

【図5】色度再現部による彩度の変換で用いられる関数の例を示した図である。

【図6】（ａ）及び（ｂ）は、色度再現部による色相の変換の内容及びこの変換で用いられる関数の例を示した図である。

【図7】色度再現部による色度の変換が行われる色度空間の色度座標の例を示した図である。

【図8】色度再現部による色度の変換の例を示した図である。

【図9】本発明の第１の実施の形態における画像処理装置の動作例を示したフローチャートである。

【図10】本発明の第２の実施の形態における画像処理装置の機能構成例を示したブロック図である。

【図11】（ａ）及び（ｂ）は、本発明の第２の実施の形態及び第３の実施の形態で用いる画像の例及びこの画像の例に対する特定領域画像の例を示した図である。

【図12】輝度再現部又は合成反射率推定部で用いられる輝度再現パラメータによって決定される関数の例を示した図である。

【図13】本発明の第２の実施の形態における画像処理装置の動作例を示したフローチャートである。

【図14】本発明の第３の実施の形態における画像処理装置の機能構成例を示したブロック図である。

【図15】本発明の第３の実施の形態における画像処理装置の動作例を示したフローチャートである。

【図16】本発明の実施の形態における画像処理装置のハードウェア構成例を示したブロック図である。

【発明を実施するための形態】

【0015】

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

【0016】

［発明の背景］
画像を扱って文書を作成する作業は、ＰＣ（Personal Computer）を駆使してモニタを観ながら行うのが一般的である。このような作業においては、近年急速に普及しているタブレット等のＩＣＴ（Information and Communication Technology）デバイスを用いるユーザも増えている。

【0017】

一般に、事務作業やＤＴＰ（DeskTop Publishing）作業の現場のようなオフィス環境では、環境光の変化に左右されることは少ない。一方で、快適に持ち運べるＩＣＴデバイスには、場所を問わず作業できるという利点はあるが、環境光の変化等、持ち運んだ先に大きく左右されるという欠点もある。

【0018】

また、画像を扱う作業には、上記のような文書を作成する作業の他にも、ユーザがカメラ付きタブレット等で撮影した画像をそれぞれのデバイスに保存する作業がある。ユーザが互いに画像を見せ合ったり画像で状況を説明したりするシーンもよく見られるようになった。

【0019】

このように、近年のモニタ環境の特徴としては、従来のモニタ環境とは違って、「手軽に使え」、「使用場所が多様」であることが挙げられる。そして、この近年のモニタ環境では、使用方法や使用環境が従来とは異なることから、色合わせよりも「視認性」の方が重視されている。

【0020】

「視認性」とは、視対象がはっきり見えるか否かの特性である。画像の視認性を高める方法には、ガンマ補正、ヒストグラムイコライゼーション、ダイナミックレンジ圧縮等に代表される画像処理分野の基本手法がある。

【0021】

ガンマ補正では、暗部や対象となる領域を盛り上げるカーブを生成し、画素値に適用することで、暗部を明るくする。ヒストグラムイコライゼーションでは、画像のヒストグラムの偏りをなくすカーブを生成し、画素値に適用することで、ヒストグラムが平滑化される再現を行う。ダイナミックレンジ圧縮では、画像の周辺輝度に応じて補正量を変えることで、コントラストを低下させることなく低輝度及び高輝度を表現する。

【0022】

また、視覚特性を利用した視認性向上の方法には、レティネックス原理を利用したものもある。レティネックスは、人間が反射率によってシーンを知覚しているという考え方に基づき、反射率成分を強調することで視認性を高める基本原理である。

【0023】

更には、ＩＣＴデバイスに付属のカメラの性能の向上に伴い、表示や描画の際における画像の色再現性の向上等も望まれている。このような色再現性の代表例として、「記憶色再現」がある。記憶色とは、肌色や空色等に代表される、言葉に連想して思い起こされる色をいう。記憶色は、実際の色よりも強調した方が好まれることが分かっている。その他にも、画像補正の分野では、明度や彩度等の補正を行う画像処理を行った方が好ましいことが多い。

【0024】

しかしながら、一般に、画像のシーンの視認性向上及び色再現性の両方のバランスをとることは容易ではない。

【0025】

そこで、本実施の形態では、視覚特性に基づいたモデルで構成し、シーンの視認性及び色再現性の両方を高める。特に、視認性の向上及び記憶色再現の両方が得られる画像処理を行う。

【0026】

［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第１の実施の形態における画像処理装置１０は、色変換部１１と、照明推定部１２と、反射率推定部１５と、輝度再現部１７と、色度再現部１８と、色逆変換部１９とを備える。

【0027】

色変換部１１は、原画像を輝度及び色度に変換する。原画像には一般にｓＲＧＢ等に代表されるＲＧＢ画像が多いので、このような色変換としては、ＲＧＢからＹＣｂＣｒへの変換、ＲＧＢからＬ＊ａ＊ｂ＊への変換、ＲＧＢからＨＳＶへの変換等が挙げられる。これらの変換は、定められた変換式を用いて行えばよい。本実施の形態では、変換後の色空間がＨＳＶであるものとして説明を行う。色空間がＨＳＶである場合、輝度画像はＶ画像の１プレーンとなり、色度画像はＨＳ画像の２プレーンとなる。

【0028】

本実施の形態では、原画像を輝度画像及び色度画像に変換する色変換を行う色変換手段の一例として、色変換部１１を設けている。

【0029】

照明推定部１２は、色変換部１１で生成された輝度画像（本実施の形態ではＶ画像）に基づいて、原画像が表すシーンの照明成分を推定する（以下、この推定された照明成分の画像を「照明推定画像」という）。照明成分の推定として、本実施の形態では、２つの例を示す。

【0030】

１つ目の照明成分の推定の例は、ガウス関数を用いたものである。人の視覚では、注目領域の周辺によって照明光を推定するという特性がある。レティネックス原理はこれに基づくモデルであるので、画像の平滑化処理を行う。本実施の形態では以下のようなガウス関数を用いて平滑化処理を行う。

【0031】

【数1】

【0032】

ここで、ｘ，ｙはある画素の位置を表し、ｋは画像処理のフィルタサイズの画素分で積分した場合に結果が１になるように正規化する係数を表し、σは平滑化度合い（スケール）を表す。尚、上記の関数は一例であり、結果として画像が平滑化されるフィルタであれば如何なるものを用いてもよい。例えば、数式１を変形した関数によるフィルタで、エッジ保存を行う平滑化フィルタとして知られるバイラテラルフィルタがあるが、これを用いてもよいものとする。また、移動平均法を用いても構わない。平滑化の本質を損なわなければ如何なる方法を用いてもよい。数式１のσを変化させたときの画像の変化を図２（ａ）〜（ｃ）に示す。具体的には、（ａ）に示すようにσが小さいと高周波になり、（ｃ）に示すようにσが大きいと低周波になり、（ｂ）に示すようにσが中程度だと周波数も中程度になる。

【0033】

平滑化は、１つのスケールの層のみを用いて行ってもよいが、スケールを変えた多層（マルチスケール）を用いて行うことにより、照明成分の推定のロバスト性が高まる。

【0034】

図３は、この例において照明推定部１２が照明推定画像を生成するときの様子を示したものである。例えば、照明光の推定は、以下のようにスケール１からスケールＮまでのＮ層の画像の加重合計をとるのが望ましい。

【0035】

【数2】

【0036】

ここで、Ｌ（ｘ，ｙ）は照明推定画像の画素値を表し、Ｇ_ｎ（ｘ，ｙ）はスケールｎに対する数式１を表し、Ｉ（ｘ，ｙ）は原画像の画素値を表し、Ｗ_ｎはスケールｎに対する重みを表し、「×」を「○」で囲んだ記号は畳み込みを表す。尚、Ｗ_ｎは、簡易的に１／Ｎとしてもよいし、層に応じて可変としてもよい。図３のように照明推定が行われた場合、Ｖプレーンに数式２を適用するので、数式２は以下のように解釈される。

【0037】

【数3】

【0038】

ここで、Ｌ_Ｖ（ｘ，ｙ）は輝度画像から得られる照明推定画像の画素値を表し、Ｉ_Ｖ（ｘ，ｙ）は輝度画像の画素値を表す。

【0039】

尚、照明成分の推定には、少なくとも１つのスケールの層があればよい。その少なくとも１つのスケールの層は、複数のスケールの層を生成してその中から選択されたものであってもよい。

【0040】

また、２つ目の照明成分の推定の例は、図４のように、輝度画像そのものから最適化する方法である。このような照明成分の推定は、例えば、文献「R.Kimmel,M.Elad,D.Shaked,R.Keshet,and I.Sobel,“A variational framework for retinex,”Int.J.Comput. Vis.,vol.52,no.1,pp7-23,Jan.2003」に記載された技術を用いて行うとよい。即ち、照明成分Ｌそのものを未知とし、原画像の画素値Ｉ（既知）を用いてＬの空間的滑らかさを表すエネルギー関数を定義し、エネルギー関数をＬの２次計画問題と捉えて解を算出するといった上記文献に記載された方法でＬを算出するとよい。例えば、照明光は空間で滑らかであると仮定すれば、滑らかさをＥとしたＬのエネルギー関数を以下のように定義される。

【0041】

【数4】

【0042】

ここで、ａ，ｂは滑らかさを制御するパラメータである。Ｅ（Ｌ）はｌｏｇＬ（ｘ，ｙ）に対する２次式であるので、２次計画問題として解析的に解くことが可能である。或いは、公知の解析的手法は他にもあるのでそれを適用してもよい。

【0043】

本実施の形態では、原画像の照明成分を画素値とする照明画像の一例として、照明推定画像を用いており、照明画像を生成する照明画像生成手段の一例として、照明推定部１２を設けている。

【0044】

反射率推定部１５は、原画像の画素値の照明推定画像の画素値に対する比を求めることにより原画像の反射率を推定する。具体的には、以下のように反射率を表す画像（以下、「反射率推定画像」という）を求める。

【0045】

【数5】

【0046】

ここで、Ｒ（ｘ，ｙ）は反射率推定画像の画素値を表し、Ｉ（ｘ，ｙ）は輝度画像の画素値を表し、Ｌ（ｘ，ｙ）は照明推定画像の画素値を表す。尚、本実施の形態では、輝度画像をＨＳＶのＶ画像としているので、この数式４も、数式３の解釈と同じように解釈される。

【0047】

本実施の形態では、輝度画像と照明画像とに基づく原画像の反射率成分を画素値とする反射率画像の一例として、反射率推定画像を用いており、輝度画像と照明画像とに基づいて反射率画像を生成する反射率画像生成手段の一例として、反射率推定部１５を設けている。

【0048】

輝度再現部１７は、反射率推定部１５が生成した反射率推定画像と、原画像とに基づいて、反射率成分を強調する処理を行う。例えば、以下のような再現式により、輝度再現画像を生成する。

【0049】

【数6】

【0050】

ここで、Ｉ＾（ｘ，ｙ）は輝度再現画像の画素値を表す。また、αは視認性向上の度合いを表すパラメータであり、図１の視認性向上パラメータ（反射率強調度合い情報）に相当する。Ｉ＾（ｘ，ｙ）は、α＝１の場合、反射率成分そのものとなり、α＝０の場合、輝度画像の画素値となる。本実施の形態において、αは０から１までの如何なる値でもよいものとする。尚、本明細書では、ハット記号を、数式中では文字の真上に付すが、文中では文字の後ろに付すものとする。

【0051】

また、再現式は、数式５に限らず、以下のような式であってもよい。

【0052】

【数7】

【0053】

ここで、αは反射率のゲインを表すパラメータであり、図１の視認性向上パラメータ（反射率強調度合い情報）に相当する。ｌｏｇは研究分野では視覚特性を表すものとなっているが、画像処理上はゲインのような作用がある。また、ｃｏｎｓｔは再現式の切片を表す定数である。図１は、輝度再現部１７が輝度画像を用いて輝度再現画像を生成する場合について示したが、この数式６を用いた場合、輝度再現部１７は輝度画像を用いずに輝度再現画像を生成することになる。

【0054】

尚、本実施の形態では、輝度再現部１７が数式５又は数式６を用いて画像を再現することとしたが、本発明の本質を損なわなければ如何なる式を用いて画像を再現することとしてもよい。

【0055】

本実施の形態では、少なくとも反射率画像と反射率強調度合い情報とに基づいて輝度再現画像を生成する輝度再現画像生成手段の一例として、輝度再現部１７を設けている。

【0056】

本実施の形態において、反射率推定部１５と輝度再現部１７とからなる処理部は、原画像の視認性が高まるように再現された輝度再現画像を生成するための処理を行う画像生成処理手段の一例である。

【0057】

色度再現部１８は、色変換部１１で生成された色度画像（本実施の形態ではＨ及びＳ）の制御を行う。尚、ＹＣｂＣｒ色空間では、ＣｂＣｒが色度画像に相当し、Ｌ＊ａ＊ｂ＊色空間では、ａ＊ｂ＊が色度画像に相当する。

【0058】

具体的には、彩度Ｓを例えば以下のように変換することにより、彩度コントラストを高め、色としての質感を向上させる。

【0059】

【数8】

【0060】

ここで、コントラスト関数ｆ_Ｓは、例えば図５のような形状とすればよい。尚、この関数ｆ_Ｓの形状を制御するパラメータは、図１の色度再現パラメータに相当する。

【0061】

また、肌色、空色等のように、色相を変化させることが重要な場合は、色相Ｈを例えば以下のように変換すればよい。

【0062】

【数9】

【0063】

ここで、関数ｆ_Ｈとしては、図６（ａ）のように色相を変換するものを採用すればよい。図６（ａ）は、右向き矢印と左向き矢印とによって、ある色相の周囲の色相をその色相に近付くように変換することを表したものである。この場合、関数ｆ_Ｈは例えば図６（ｂ）のような形状とすればよい。尚、この関数ｆ_Ｈの形状を制御するパラメータも、図１の色度再現パラメータに相当する。

【0064】

或いは、Ｈ及びＳを図７のような色度座標に変換し、色度空間で色調整を行ってもよい。図７におけるＨ，Ｓからｘ^ＨＳ，ｙ^ＨＳへの変換は、以下の式により行われる。

【0065】

【数10】

【0066】

この数式９による変換後の色度座標内で、部分空間を構成し、図８のようにその内部での色調整（部分空間色調整）を行うことにより、特定の色の周囲の予め定めた範囲以外に影響を与えない色度調整が行われる。このような変換は、例えば特開２００４−１１２６９４号公報に記載された方法を用いて行えばよい。尚、この部分空間色調整を制御するパラメータも、図１の色度再現パラメータに相当する。

【0067】

本実施の形態では、色度調整画像を生成する色度調整画像生成手段の一例として、色度再現部１８を設けている。

【0068】

色逆変換部１９は、このように視認性を向上する輝度再現画像と色度の再現性を確保した色度画像とが生成されると、色変換部１１とは逆の色変換を行う。即ち、この第１の実施の形態の一連の処理で得られた再現画像をＨ＾Ｓ＾Ｖ＾とし、Ｈ＾Ｓ＾Ｖ＾色空間からＲＧＢ色空間への変換を行うことにより、最終的な再現画像を得る。

【0069】

本実施の形態では、色変換手段が行う色変換とは逆の変換を行う色逆変換手段の一例として、色逆変換部１９を設けている。

【0070】

図９は、本発明の第１の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

【0071】

原画像が入力されると、まず、色変換部１１が、原画像に対して原画像の色空間から輝度及び色度の色空間への色変換を行うことにより、輝度画像及び色度画像を生成する（ステップ１０１）。

【0072】

次に、照明推定部１２が、図３及び図４に示したように、ステップ１０１で生成された輝度画像に基づいて、照明推定画像を生成する（ステップ１０２）。次いで、反射率推定部１５が、ステップ１０１で生成された輝度画像と、ステップ１０２で生成された照明推定画像とに基づいて、反射率推定画像を生成する（ステップ１０３）。その後、輝度再現部１７が、ステップ１０１で生成された輝度画像と、ステップ１０３で生成された反射率推定画像と、視認性向上パラメータとに基づいて、輝度再現画像を生成する（ステップ１０４）。尚、ここでは、数式５を用いて輝度再現画像を生成する場合を想定して輝度画像を用いることとしたが、数式６を用いて輝度再現画像を生成する場合は、ステップ１０４で輝度画像を用いなくてもよい。また、色度再現部１８が、ステップ１０１で生成された色度画像と、色度再現パラメータとに基づいて、色度調整画像を生成する（ステップ１０５）。ここで、ステップ１０２乃至ステップ１０５はこの順序で実行されることとしたが、ステップ１０２の後にステップ１０３が実行され、その後にステップ１０４が実行されるのであれば、如何なる順序で実行されてもよい。或いは、ステップ１０２乃至ステップ１０４の少なくとも１つのステップと、ステップ１０５とは、並行に実行されるものであってもよい。

【0073】

最後に、色逆変換部１９が、ステップ１０４で生成された輝度再現画像と、ステップ１０５で生成された色度調整画像とに対して、色変換部１１が行ったのとは逆の色変換、つまり、輝度及び色度の色空間から原画像の色空間への色変換を行うことにより、再現画像を生成する（ステップ１０６）。

【0074】

［第２の実施の形態］
図１０は、本発明の第２の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第２の実施の形態における画像処理装置１０は、色変換部１１と、照明推定部１２と、特定領域生成部１４と、反射率推定部１５と、輝度再現部１７と、色度再現部１８と、色逆変換部１９とを備える。即ち、第２の実施の形態は、第１の実施の形態に加え、注目色領域内の色を有する特定領域を生成する特定領域生成部１４を備えている。色度再現部１８は、この注目色領域における色度画像の制御を行うが、第２の実施の形態は、この注目色領域における輝度の変換に対しても、注目色領域に応じた工夫を与えるものである。ここで、色変換部１１、照明推定部１２、反射率推定部１５、色度再現部１８、及び色逆変換部１９については、第１の実施の形態と同じなので説明を省略し、以下では、特定領域生成部１４及び輝度再現部１７についてのみ説明する。

【0075】

特定領域生成部１４は、主に色度画像から注目色領域内の色を有する特定領域を表す画像(以下、「特定領域画像」という）を生成する。但し、特定領域生成部１４は、特定領域画像を生成する際に輝度画像を参照することもあるので、図１０では輝度画像から特定領域生成部１４へ破線の矢印を描いている。この特定領域画像は、０から１までの値で領域度合いを表すマスク画像と等価なものである。注目色領域は代表色を持っているので、例えば、前述のｘ^ＨＳ，ｙ^ＨＳ、ＣｂＣｒ、ａ＊ｂ＊等の色度座標上でこの代表色を与えればよい。また、輝度も考慮する場合は、ＨＳＶ、ＹＣｂＣｒ、Ｌ＊ａ＊ｂ＊等、代表色を与えられるものであれば、如何なる色空間で代表色を与えてもよい。

【0076】

このように代表色を与えた後、特定領域生成部１４は、色度画像又は原画像の全画素に対し、画素値の代表色からの距離を算出し、各画素に対する距離を特定領域の度合いを表す加重とした特定領域画像を生成する。例えば、特開２００３−２４８８２４号公報又は特開２００６−１５５５９５号公報に記載された方法の一部を適用することにより、特定領域画像は生成される。このような特定領域画像の生成について図１１（ａ），（ｂ）に示す。即ち、扱う画像が（ａ）のようなものである場合に、（ｂ）のような特定領域画像が生成される。

【0077】

本実施の形態では、原画像における指定された色領域内の色の領域を表す領域画像の一例として、特定領域画像を用いており、領域画像を生成する領域画像生成手段の一例として、特定領域生成部１４を設けている。

【0078】

輝度再現部１７は、上記のように生成された特定領域画像の画素値に応じて、以下のように特定領域に対して再現性を変える。

【0079】

【数11】

【0080】

ここで、ｆは輝度を変換するための関数である。関数ｆは例えば図１２のような形状とすればよく、この形状を制御するパラメータが図１０の輝度再現パラメータに相当する。また、ｗ（ｘ，ｙ）は特定領域画像の画素値を表す。更に、αは視認性向上の度合いを表すパラメータであり、図１０の視認性向上パラメータ（反射率強調度合い情報）に相当する。このような変換を行うことにより、シーンの視認性が向上し、特定領域では他の領域と異なる輝度強調が行われる。

【0081】

本実施の形態では、輝度画像と反射率画像と反射率強調度合い情報と領域画像と輝度強調度合い情報とに基づいて輝度再現画像を生成する輝度再現画像生成手段の一例として、輝度再現部１７を設けている。

【0082】

図１３は、本発明の第２の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

【0083】

原画像が入力されると、まず、色変換部１１が、原画像に対して原画像の色空間から輝度及び色度の色空間への色変換を行うことにより、輝度画像及び色度画像を生成する（ステップ１２１）。

【0084】

次に、照明推定部１２が、図３及び図４に示したように、ステップ１２１で生成された輝度画像に基づいて、照明推定画像を生成する（ステップ１２２）。次いで、反射率推定部１５が、ステップ１２１で生成された輝度画像と、ステップ１２２で生成された照明推定画像とに基づいて、反射率推定画像を生成する（ステップ１２３）。また、特定領域生成部１４が、ステップ１２１で生成された色度画像等から注目色領域内の色を有する特定領域を示す特定領域画像を生成する（ステップ１２４）。更に、色度再現部１８が、ステップ１２１で生成された色度画像と、色度再現パラメータとに基づいて、色度調整画像を生成する（ステップ１２５）。ここで、ステップ１２２乃至ステップ１２５はこの順序で実行されることとしたが、ステップ１２２の後にステップ１２３が実行されるのであれば、如何なる順序で実行されてもよい。或いは、ステップ１２２及びステップ１２３の少なくとも１つのステップと、ステップ１２４と、ステップ１２５とは、並行に実行されるものであってもよい。

【0085】

次いで、輝度再現部１７が、ステップ１２１で生成された輝度画像と、ステップ１２３で生成された反射率推定画像と、視認性向上パラメータと、ステップ１２４で生成された特定領域画像と、輝度再現パラメータとに基づいて、輝度再現画像を生成する（ステップ１２６）。

【0086】

最後に、色逆変換部１９が、ステップ１２６で生成された輝度再現画像と、ステップ１２５で生成された色度調整画像とに対して、色変換部１１が行ったのとは逆の色変換、つまり、輝度及び色度の色空間から原画像の色空間への色変換を行うことにより、再現画像を生成する（ステップ１２７）。

【0087】

［第３の実施の形態］
図１４は、本発明の第３の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第３の実施の形態における画像処理装置１０は、色変換部１１と、照明推定部１２と、特定領域生成部１４と、合成反射率推定部１６と、輝度再現部１７と、色度再現部１８と、色逆変換部１９とを備える。第３の実施の形態は、第１の実施の形態及び第２の実施の形態とは、反射率の算出方法が異なる。再現画像としては第１の実施の形態又は第２の実施の形態と類似したものが得られるが、第３の実施の形態のような変換を行う構成としてもよい。このような変換を行うことにより、反射率算出の段階で特定領域に対する強調が行われ、輝度再現部１７では視認性向上パラメータのみを制御すればよいことになる。ここで、色変換部１１、照明推定部１２、特定領域生成部１４、輝度再現部１７、色度再現部１８、及び色逆変換部１９については、第１の実施の形態と同じなので説明を省略し、以下では、合成反射率推定部１６についてのみ説明する。

【0088】

合成反射率推定部１６は、照明推定画像と特定領域画像とを合成しながら原画像の反射率を推定する。具体的には、以下のように特定領域画像を合成した反射率を表す画像（以下、「合成反射率推定画像」という）を求める。

【0089】

【数12】

【0090】

ここで、ｆは輝度を変換するための関数である。関数ｆは例えば前述した図１２のような形状とすればよく、この形状を制御するパラメータが図１４の輝度再現パラメータに相当する。また、ｗ（ｘ，ｙ）は特定領域画像の画素値を表す。このような変換を行うことにより、シーンの視認性が向上し、特定領域では他の領域と異なる輝度強調が行われる。また、本実施の形態では、関数ｆの形状として強調カーブを例示したが、如何なる形状のカーブでもよいものとする。例えば、ある領域で平坦なカーブ、Ｓ字のようにコントラストを強調するようなカーブ等でもよいものとする。

【0091】

図１５は、本発明の第３の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

【0092】

原画像が入力されると、まず、色変換部１１が、原画像に対して原画像の色空間から輝度及び色度の色空間への色変換を行うことにより、輝度画像及び色度画像を生成する（ステップ１４１）。

【0093】

次に、照明推定部１２が、図３及び図４に示したように、ステップ１４１で生成された輝度画像に基づいて、照明推定画像を生成する（ステップ１４２）。また、特定領域生成部１４が、ステップ１４１で生成された色度画像等から注目色領域内の色を有する特定領域を示す特定領域画像を生成する（ステップ１４３）。更に、色度再現部１８が、ステップ１４１で生成された色度画像と、色度再現パラメータとに基づいて、色度調整画像を生成する（ステップ１４４）。ここで、ステップ１４２乃至ステップ１４４はこの順序で実行されることとしたが、如何なる順序で実行されてもよい。或いは、ステップ１４２、ステップ１４３及びステップ１４４の少なくとも２つのステップは、並行に実行されるものであってもよい。

【0094】

次いで、合成反射率推定部１６が、ステップ１４１で生成された輝度画像と、ステップ１４２で生成された照明推定画像と、ステップ１４３で生成された特定領域画像と、輝度再現パラメータとに基づいて、合成反射率推定画像を生成する（ステップ１４５）。

【0095】

その後、輝度再現部１７が、ステップ１４１で生成された輝度画像と、ステップ１４５で生成された合成反射率推定画像と、視認性向上パラメータとに基づいて、輝度再現画像を生成する（ステップ１４６）。

【0096】

最後に、色逆変換部１９が、ステップ１４６で生成された輝度再現画像と、ステップ１４４で生成された色度調整画像とに対して、色変換部１１が行ったのとは逆の色変換、つまり、輝度及び色度の色空間から原画像の色空間への色変換を行うことにより、再現画像を生成する（ステップ１４７）。

【0097】

［画像処理装置のハードウェア構成］
本実施の形態における画像処理装置１０は、例えばＰＣにインストールされた画像処理ソフトウェアとしても実現され得るが、典型的には、画像読取り及び画像形成を行う画像処理装置１０として実現される。

【0098】

図１６は、このような画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２１と、ＲＡＭ（Random Access Memory）２２と、ＲＯＭ（Read Only Memory）２３と、ＨＤＤ（Hard Disk Drive）２４と、操作パネル２５と、画像読取部２６と、画像形成部２７と、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）２８とを備える。

【0099】

ＣＰＵ２１は、ＲＯＭ２３等に記憶された各種プログラムをＲＡＭ２２にロードして実行することにより、後述する各機能を実現する。

【0100】

ＲＡＭ２２は、ＣＰＵ２１の作業用メモリ等として用いられるメモリである。

【0101】

ＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶するメモリである。

【0102】

ＨＤＤ２４は、画像読取部２６が読み取った画像データや画像形成部２７における画像形成にて用いる画像データ等を記憶する例えば磁気ディスク装置である。

【0103】

操作パネル２５は、各種情報の表示やユーザからの操作入力の受付を行うタッチパネルである。ここで、操作パネル２５は、各種情報が表示されるディスプレイと、指やスタイラスペン等で指示された位置を検出する位置検出シートとからなる。

【0104】

画像読取部２６は、紙等の記録媒体に記録された画像を読み取る。ここで、画像読取部２６は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。

【0105】

画像形成部２７は、記録媒体に画像を形成する。ここで、画像形成部２７は、例えばプリンタであり、感光体に付着させたトナーを記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式のものを用いるとよい。

【0106】

通信Ｉ／Ｆ２８は、ネットワークを介して他の装置との間で各種情報の送受信を行う。

【0107】

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

【符号の説明】

【0108】

１０…画像処理装置、１１…色変換部、１２…照明推定部、１４…特定領域生成部、１５…反射率推定部、１６…合成反射率推定部、１７…輝度再現部、１８…色度再現部、１９…色逆変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】