特許 6548907 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6548907

(24)【登録日】2019年7月5日

(45)【発行日】2019年7月24日

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 5/20 20060101AFI20190711BHJP

   G06T 5/00 20060101ALI20190711BHJP

   H04N 1/409 20060101ALI20190711BHJP

【ＦＩ】

   H04N5/20

   G06T5/00 705

   H04N1/409

【請求項の数】5

【全頁数】33

(21)【出願番号】特願2015-33766(P2015-33766)

(22)【出願日】2015年2月24日

(65)【公開番号】特開2016-158058(P2016-158058A)

(43)【公開日】2016年9月1日

【審査請求日】2018年1月17日

(73)【特許権者】

【識別番号】512187343

【氏名又は名称】三星ディスプレイ株式會社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(74)【代理人】

【識別番号】110000981

【氏名又は名称】アイ・ピー・ディー国際特許業務法人

(72)【発明者】

【氏名】松元 一浩

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２００９−１１８０８１（ＪＰ，Ａ）

【文献】 特開２００９−１１８０８０（ＪＰ，Ａ）

【文献】 特開２００４−３３６６５１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２０

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０９

(57)【特許請求の範囲】

【請求項1】

画像データを取得する取得部と、
取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出するエッジ強度算出部と、
前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の平均値とを、前記エッジ強度に基づき算出された混合比に応じて混合する混合部と、
を備え、
オペレータ長が２以上（タップ数が５以上）である、ハイパスフィルタ、または、平滑化効果を持たせた帯域制限フィルタを用いて、注目画素ごとに勾配（∇）を算出する勾配算出部と、
前記所定の範囲に含まれる画素それぞれの画素値を基に前記平均値を算出し、当該平均値に基づき前記分散を算出する分散算出部とを、さらに備え、
エッジ強度算出部では、
注目画素ごとの勾配の二乗値（∇^２）、または、勾配（∇）と、前記分散（σ^２）との間の乖離度を、階段調強度（Ｋ_Ｓ）として算出し、
注目画素ごとに算出された、勾配の二乗値（∇^２）と、階段調強度（Ｋ_Ｓ）とに基づきエッジ強度を算出することを特徴とする、画像処理装置。

【請求項2】

前記混合部は、前記注目画素の画素値と、前記分散算出部により算出された当該平均値とを、前記混合比に応じて混合する
ことを特徴とする、請求項１に記載の画像処理装置。

【請求項3】

前記混合部は、
前記注目画素の画素値に対して、前記混合比に応じた第１の係数を乗算する第１の乗算部と、
前記平均値に対して、前記混合比に応じた第２の係数を乗算する第２の乗算部と、
前記第１の乗算部の出力と、前記第２の乗算部の出力とを加算する加算部と、
を含むことを特徴とする、請求項１または２に記載の画像処理装置。

【請求項4】

画像データを取得することと、
取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出することと、
前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の平均値とを、前記エッジ強度に基づき算出された混合比に応じて混合することと、
を含み、
オペレータ長が２以上（タップ数が５以上）である、ハイパスフィルタ、または、平滑化効果を持たせた帯域制限フィルタを用いて、注目画素ごとに勾配（∇）を算出し、
前記所定の範囲に含まれる画素それぞれの画素値を基に前記平均値を算出し、当該平均値に基づき前記分散を算出し、
エッジ強度を算出するにあたり、
注目画素ごとの勾配の二乗値（∇^２）、または、勾配（∇）と、前記分散（σ^２）との間の乖離度を、階段調強度（Ｋ_Ｓ）として算出し、
注目画素ごとに算出された、勾配の二乗値（∇^２）と、階段調強度（Ｋ_Ｓ）とに基づきエッジ強度を算出することを特徴とする、画像処理方法。

【請求項5】

コンピュータに、
画像データを取得することと、
取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出することと、
前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の平均値とを、前記エッジ強度に基づき算出された混合比に応じて混合することと、
を実行させ、この際、
オペレータ長が２以上（タップ数が５以上）である、ハイパスフィルタ、または、平滑化効果を持たせた帯域制限フィルタを用いて、注目画素ごとに勾配（∇）を算出し、
前記所定の範囲に含まれる画素それぞれの画素値を基に前記平均値を算出し、当該平均値に基づき前記分散を算出し、
エッジ強度を算出するにあたり、
注目画素ごとの勾配の二乗値（∇^２）、または、勾配（∇）と、前記分散（σ^２）との間の乖離度を、階段調強度（Ｋ_Ｓ）として算出し、
注目画素ごとに算出された、勾配の二乗値（∇^２）と、階段調強度（Ｋ_Ｓ）とに基づきエッジ強度を算出するようにすることを特徴とする、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

近年では、デジタルスチルカメラのような撮像装置が広く普及している。このような撮像装置の中には、逆光補正やＨＤＲ（High Dynamic Range）等のような所謂ダイナミックレンジ圧縮技術を利用したものもある。このような撮像装置では、撮像素子のダイナミックレンジよりも、明るさのレンジがより広い被写体の画像を、例えば、暗部及び明部のいずれかまたは双方のレンジを縮退させることで撮像している。

【0003】

また、上記に説明した一部のレンジが縮退された画像の視認性を向上させる技術として、当該画像に対して、Retinex理論を応用した画像処理を施すことで、局所的なダイナミックレンジ補正を行う技術がある。Retinex理論を応用した画像処理では、入力画像の明るさの成分を、照明光成分と反射率成分とに分離し、照明光成分に対して変調を施したうえで、変調後の照明光成分と反射率成分とを再合成することで局所的にダイナミックレンジが補正された出力画像を得る。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３−８９３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

前述した、Retinex理論を応用した画像処理では、照明光成分を抽出するために、入力画像に対して平滑化フィルタを適用する場合がある。一方で、入力画像に対する平滑化フィルタの適用により、被写体と背景との間の境界の近傍に原画像にはない不自然な画像パターン（所謂、Halo現象）が発生する場合がある。

【0006】

このような課題に対して、特許文献１には、Halo現象の発生を抑制するための画像処理技術の一例として、平滑化フィルタとしてεフィルタを適用し、ε値を制御することで、エッジを保持しつつ平滑化を行う技術が開示されている。

【0007】

一方で、特許文献１に係る発明では、背景と被写体との間の境界（以降では、「階段調のエッジ」と呼ぶ場合がある）と、被写体の模様により明暗（階調）が変化する境界（以降では、「模様調のエッジ」と呼ぶ場合がある）とが区別されずに処理される。そのため、例えば、被写体が、当該被写体の模様には依存せずに一様に照明されている状況下においても、特許文献１に開示された技術では、特に明暗の強い模様の部分においてエッジが保持され、模様そのものが照明光成分として扱われる場合がある。そのため、特許文献１に係る発明では、Halo現象の発生を抑制された画像が得られるものの、被写体の模様の部分においてコントラストが縮退される場合がある。

【0008】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能な、画像処理装置、画像処理方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のある観点によれば、画像データを取得する取得部と、取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出するエッジ強度算出部と、前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の移動平均とを、前記エッジ強度に基づき算出された混合比に応じて混合する混合部と、を備えることを特徴とする、画像処理装置が提供される。

【0010】

前記所定の範囲に含まれる画素それぞれの画素値を基に移動平均を算出し、当該移動平均に基づき前記分散を算出する分散算出部を備え、前記混合部は、前記注目画素の画素値と、前記分散算出部により算出された前記移動平均とを、前記混合比に応じて混合してもよい。

【0011】

前記混合部は、前記注目画素の画素値に対して、前記混合比に応じた第１の係数を乗算する第１の乗算器と、前記移動平均に対して、前記混合比に応じた第２の係数を乗算する第２の乗算器と、前記第１の乗算器の出力と、前記第２の乗算器の出力とを加算する加算部と、を含んでもよい。

【0012】

また、上記課題を解決するために、本発明の別の観点によれば、画像データを取得することと、取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出することと、前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の移動平均とを、前記エッジ強度に基づき算出された混合比に応じて混合することと、を含むことを特徴とする、画像処理方法が提供される。

【0013】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、画像データを取得することと、取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出することと、前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の移動平均とを、前記エッジ強度に基づき算出された混合比に応じて混合することと、を実行させることを特徴とする、プログラムが提供される。

【発明の効果】

【0014】

以上説明したように本発明によれば、画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能な、画像処理装置、画像処理方法、及びプログラムが提供される。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。

【図2】照明光生成部による平滑化処理の処理結果の一例を示した図である。

【図3】比較例に係る照明光生成部の機能構成の一例を示したブロック図である。

【図4】ε値調整部がエッジ強度Ｋ_Ｇ−ε値変換を行うための関数の一例を示している。

【図5】入力Ｉの一例を示した図である。

【図6】図５に示した入力Ｉに対して、一次微分フィルタを適用することで勾配∇を算出した場合の、入力画像中の画素ごとの勾配∇の変化の一例を示している。

【図7】本発明の第１の実施形態に係る照明光生成部の機能構成の一例を示したブロック図である。

【図8】図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとの分散σ^２に基づく標準偏差σの変化の一例を示している。

【図9】図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとの階段調強度Ｋ_Ｓの変化の一例を示している。

【図10】図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとのエッジ強度Ｋ_Ｇの変化の一例を示している。

【図11】同実施形態に係るε値調整部によるε値の調整に係る処理の内容について説明するための説明図である。

【図12】ε値調整部がエッジ強度Ｋ_Ｇに応じてε値を設定するための関数の一例を示している。

【図13】ε値調整部がエッジ強度Ｋ_Ｇに応じてε値を設定するための関数の他の一例を示している。

【図14】ε値調整部がエッジ強度Ｋ_Ｇに応じてε値を設定するための関数の他の一例を示している。

【図15】同実施形態に係る照明光生成部の一連の処理の流れの一例を示したフローチャートである。

【図16】本発明の第２の実施形態に係る照明光生成部の機能構成の一例を示したブロック図である。

【図17】エッジ強度Ｋ_Ｇ−混合比Ｋ_Ｅ変換を行うための変換関数の一例を示した図である。

【図18】エッジ強度Ｋ_Ｇ−混合比Ｋ_Ｅ変換を行うための変換関数の他の一例を示した図である。

【図19】混合部の概略的な構成の一例について示した図である。

【図20】同実施形態に係る照明光生成部の一連の動作の流れの一例について示したフローチャートである。

【図21】実施例に係る照明光生成部の回路規模の見積もり量の一例について説明するための図である。

【発明を実施するための形態】

【0016】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0017】

＜１．概要：Retinex理論を応用した画像処理装置＞
本発明の一実施形態に係る画像処理装置の特徴をよりわかりやすくするために、まず、Retinex理論を応用した画像処理の概要について説明する。

【0018】

一般的に、デジタルスチルカメラのような撮像装置により画像が撮像される場合に、撮像される自然界の光の明るさのレンジが、当該撮像装置に設けられた撮像素子のダイナミックレンジ超える場合がある。そのため、当該撮像装置の中には、逆光補正やＨＤＲ等のような所謂ダイナミックレンジ圧縮技術を利用して、撮像素子のダイナミックレンジよりも、明るさのレンジがより広い被写体の画像を撮像するものもある。このようなダイナミックレンジ圧縮技術を利用した撮像装置では、撮像される画像の暗部及び明部のいずれかまたは双方のレンジを縮退させることで、撮像素子のダイナミックレンジよりも、明るさのレンジがより広い被写体の画像の撮像を可能としている。

【0019】

このようにして撮像された、所謂ダイナミックレンジが縮退された画像の視認性を向上させる技術として、Retinex理論を応用することで、画像処理として局所的なダイナミックレンジ補正を施す技術が知られている。

【0020】

具体的には、Retinex理論では、画像中に撮像された光は、照明光成分と反射率成分とを掛けあわせたものとみなされる。即ち、照明光成分をＬ、反射率成分をＲとした場合に、入力画像の明るさの成分Ｉは、以下に示す（式１）で示されることとなる。

【0021】

【数1】

【0022】

Retinex理論を応用した局所的なダイナミックレンジ補正を行う場合には、画像処理装置は、入力画像の明るさの成分Ｉから、照明光成分Ｌと反射率成分Ｒとを分離して処理する。なお、以降では、入力画像の明るさの成分Ｉを、単に「入力Ｉ」と記載する場合がある。

【0023】

ここで、図１を参照して、本実施形態に係る画像処理装置の機能構成の一例として、Retinex理論を応用した局所的なダイナミックレンジ補正を行う画像処理装置の機能構成の一例について説明する。図１は、本実施形態に係る画像処理装置１の機能構成の一例を示したブロック図である。

【0024】

図１に示すように、本実施形態に係る画像処理装置１は、照明光生成部１０と、除算部３０と、照明光変調部５０と、乗算部７０とを含む。

【0025】

照明光生成部１０は、入力Ｉに基づき照明光成分Ｌを生成するための構成である。具体的には、照明光生成部１０は、入力Ｉに対して平滑化処理を施すことで（例えば、平滑化フィルタを適用することで）、当該入力Ｉから照明光成分Ｌを生成する。そして、照明光生成部１０は、生成した照明光成分Ｌを示すデータを、除算部３０と、照明光変調部５０とに出力する。なお、照明光生成部１０については、詳細を別途後述する。

【0026】

除算部３０は、入力Ｉに基づき反射率成分Ｒを生成するための構成である。具体的には、除算部３０は、照明光生成部１０から照明光成分Ｌを示すデータを取得し、前述した（式１）に基づき、入力Ｉを取得した照明光成分Ｌで除算することで、反射率成分Ｒを算出する。そして、除算部３０は、算出した反射率成分Ｒを示すデータを、乗算部７０に出力する。

【0027】

照明光変調部５０は、照明光生成部１０から、入力Ｉに基づき生成された照明光成分Ｌのデータを取得する。照明光変調部５０は、照明光成分Ｌに対して局所的な変調を施すことで、新たな照明光成分Ｌ’（即ち、照明光成分Ｌに対して局所的な変調が施された照明光成分Ｌ’）を生成する。そして、照明光変調部５０は、生成した新たな照明光成分Ｌ’を示すデータを、乗算部７０に出力する。

【0028】

乗算部７０は、除算部３０から出力される反射率成分Ｒと、照明光変調部５０から出力される照明光成分Ｌ’
（即ち、照明光成分Ｌに対して局所的な変調が施された照明光成分Ｌ’）とを乗算することで再合成する。そして、乗算部７０は、反射率成分Ｒと照明光成分Ｌ’とが再合成されることで生成された明るさの成分Ｉ’に基づく画像を、出力画像として所定の出力先に出力する。

【0029】

以上のようにして、画像処理装置１は、入力画像に対して局所的にダイナミックレンジが補正された出力画像を生成して出力する。以上、図１を参照して、本実施形態に係る画像処理装置１の機能構成の一例として、Retinex理論を応用した局所的なダイナミックレンジ補正を行う画像処理装置の機能構成の一例について説明した。
＜２．第１の実施形態＞
［２．１．概要］
次に、本発明の第１の実施形態に係る照明光生成部１０について説明する。なお、本説明では、本実施形態に係る照明光生成部１０の特徴をよりわかりやすくするために、まず、従来の構成に基づく照明光生成部１０の課題について整理する。

【0030】

前述の通り、照明光生成部１０は、入力Ｉに対して平滑化処理を施すことで（例えば、平滑化フィルタを適用することで）、当該入力Ｉから照明光成分Ｌを生成する。一方で、この入力Ｉに対する平滑化処理により、所謂Halo現象が発生する場合がある。このHalo現象は、被写体と背景との間の境界における明るさの急激な変化が平滑化処理により平滑化され、当該境界の近傍におけるコントラストが緩和されることで発生する。

【0031】

例えば、図２は、照明光生成部１０による平滑化処理の処理結果の一例を示した図であり、被写体と背景との間の境界に対して平滑化処理を施した場合における、画像中の画素ごとの明るさの強度の変化の一例を、入出力それぞれについて示している。なお、本説明における明るさの強度とは、例えば、画素値、輝度値、または明度値等を示すものとする。以降の説明では、単に「明るさの強度」と表記した場合には、これらのいずれであっても該当し得るものとする。図２において横軸は、画像中の画素の位置を示し、縦軸は、明るさの強度を示している。また、図２において、参照符号Ｉは、入力画像の明るさの成分を示している。また、参照符号Ｌは、入力Ｉに対して平滑化処理を施した場合の出力（即ち、生成された照明光成分）を示している。

【0032】

図２に示すように、入力Ｉのうち、被写体と背景との間の境界に対して平滑化処理が施されると、当該境界における急激な明るさの変化が緩和された照明光成分Ｌが生成される。このように、被写体と背景との間の急激な明るさの変化が緩和されることで、被写体と背景との間の境界のコントラストが緩和され、Halo現象として顕在化する場合がある。

【0033】

ここで、図３を参照して、上記に説明したようなHalo現象の発生を抑制して照明光成分Ｌを生成する照明光生成部１０の一例について、比較例として以下に説明する。図３は、比較例に係る照明光生成部１０の機能構成の一例を示したブロック図である。なお、比較例に係る照明光生成部１０を、本実施形態に係る照明光生成部１０と区別するために、以降では、「照明光生成部１０’」と記載する場合がある。

【0034】

図３に示した、比較例に係る照明光生成部１０’は、平滑化処理のためのフィルタとしてεフィルタを適用し、エッジ強度に応じて当該εフィルタのε値を制御することで、入力Ｉに対してエッジを保持しながら平滑化処理を施す。

【0035】

具体的には、図３に示すように、比較例に係る照明光生成部１０’は、平滑化処理部１１と、ε値制御部１９とを含む。なお、平滑化処理部１１が、所謂εフィルタに相当する。また、ε値制御部１９は、勾配算出部１９１と、ε値調整部１９３とを含む。

【0036】

勾配算出部１９１は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇を注目画素ごとに算出する。

【0037】

なお、勾配算出部１９１が、勾配∇を算出する方法の一例として、以下に（式２）として示すように、一次微分フィルタを適用する方法（所謂、ハイパスフィルタを適用する方法）が挙げられる。

【0038】

【数2】

【0039】

なお、（式２）において、ｎは、周辺画素を特定するためのオペレータ長を示している。また、Ｉ（ｘ−ｎ，ｙ）及びＩ（ｘ＋ｎ，ｙ）は、オペレータ長をｎとした場合における、注目画素に対するｘ方向（例えば、横方向）の周辺画素の明るさの成分を示している。同様に、Ｉ（ｘ，ｙ−ｎ）及びＩ（ｘ，ｙ＋ｎ）は、オペレータ長をｎとした場合における、注目画素に対するｙ方向（例えば、縦方向）の周辺画素の明るさの成分を示している。なお、オペレータ長ｎ＝１とした場合には、タップ数は３となり、オペレータ長ｎ＝２とした場合には、タップ数は５となる。

【0040】

また、他の一例として、勾配算出部１９１は、以下に（式３）として示すような、平滑化効果を持たせた帯域制限フィルタを適用して算出してもよい。

【数3】

【0041】

以上のようにして、勾配算出部１９１は、入力画像中の注目画素ごとに、当該注目画素の周辺画素それぞれの明るさの強度に基づき、勾配∇を算出する、そして、勾配算出部１９１は、注目画素ごとに算出した勾配∇を、ε値調整部１９３に出力する。

【0042】

ε値調整部１９３は、入力画像中の注目画素ごとに算出された勾配∇を、勾配算出部１９１から取得する。ε値調整部１９３は、注目画素ごとに取得した勾配∇（具体的には、勾配∇の絶対値）を、当該注目画素におけるエッジ強度Ｋ_Ｇとして認識する。即ち、注目画素の座標を（ｘ，ｙ）、当該注目画素における勾配を∇（ｘ，ｙ）とした場合に、当該注目画素のエッジ強度Ｋ_Ｇ（ｘ，ｙ）は、以下に（式４）として示す関係式に基づき導出される。

【0043】

【数4】

【0044】

そして、ε値調整部１９３は、エッジ強度Ｋ_Ｇが高いほどε値を小さくし、エッジ強度Ｋ_Ｇが低いほどε値が大きくなるように、エッジ強度Ｋ_Ｇをε値に変換する（即ち、エッジ強度Ｋ_Ｇ−ε値変換を行う）。例えば、図４は、ε値調整部１９３が、エッジ強度Ｋ_Ｇ−ε値変換を行うための関数ｆ_ε（Ｋ_Ｇ）の一例を示している。

【0045】

以上のようにして、ε値調整部１９３は、注目画素ごとに、当該注目画素のエッジ強度Ｋ_Ｇに応じてε値を算出し、算出したε値を平滑化処理部１１に出力する。

【0046】

平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１９３から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。

【0047】

以上のような構成により、比較例に係る照明光生成部１０’は、エッジと判断される部分では平滑化の効果を低めることで当該エッジを保持し、エッジ以外の部分については平滑化の効果を高めるように、入力Ｉに対して非線形平滑化処理を施す。これにより、比較例に係る照明光生成部１０’は、Halo現象の発生を抑制して照明光成分Ｌを生成することが可能となる。

【0048】

一方で、上述した比較例に係る照明光生成部１０’は、背景と被写体との間の境界（以降では、「階段調のエッジ」と呼ぶ場合がある）と、被写体の模様により明暗（階調）が変化する境界（以降では、「模様調のエッジ」と呼ぶ場合がある）とを区別することが困難である。そのため、照明光生成部１０’は、階段調のエッジと模様調のエッジとを識別せずに、一様にエッジ強度Ｋ_Ｇを算出し、当該エッジ強度Ｋ_Ｇに応じて平滑化処理を施す。

【0049】

例えば、図５は、入力Ｉの一例を示した図であり、入力画像中の画素ごとの明るさの強度の変化の一例を示している。なお、図５に示す例では、説明をわかりやすくするために、入力画像のｘ方向（例えば、横方向）についてのみ着目して、入力画像中の画素ごとの明るさの強度の変化を示している。即ち、図５の横軸は、入力画像中のｘ方向に沿った画素の位置を示している。また、図５の縦軸は、各画素の明るさの強度を示している。

【0050】

また、図６は、図５に示した入力Ｉに対して、一次微分フィルタを適用することで勾配∇を算出した場合の、入力画像中の画素ごとの勾配∇の変化の一例を示している。即ち、図６の横軸は、図５の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図６の縦軸は、画素ごとに算出された勾配∇を示している。

【0051】

図５に示す例において、参照符号ｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、及びｖ１５ｂとして示した部分は、入力画像中における、階段調のエッジにより明暗が大きく変化している部分を模式的に示している。また、参照符号ｖ１７として示した部分は、模様調のエッジにより明暗が大きく変化している部分を模式的に示している。なお、図６において、参照符号ｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、ｖ１５ｂ、及びｖ１７で示した部分は、図５において、同様の参照符号が付された入力画像中の位置と、同じ位置に対応する部分を示している。

【0052】

図６に示す例では、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、勾配∇の値が略等しい。そのため、勾配∇をエッジＫ_Ｇとして認識した場合には、照明光生成部１０’は、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとを識別することは困難である。

【0053】

ここで、被写体の模様により明暗が変化している部分（即ち、模様調の部分）は、当該模様に依存せずに一様に照明されていると考えられ、多くの場合は、当該模様調の部分はエッジを保持されずに平滑化処理が施されることが望ましい。しかしながら、比較例に係る照明光生成部１０’は、被写体の模様により明暗が変化する部分（即ち、模様調のエッジ）についても、階段調のエッジと同様に保持する。そのため、比較例に係る照明光生成部１０’により入力画像を処理した場合には、平滑化処理により、入力画像中における被写体の模様のコントラストが縮退し、結果として、模様が薄まったような出力画像が出力される場合がある。

【0054】

本実施形態に係る照明光生成部１０は、上記問題を鑑みてなされたものであり、その目的とするところは、入力画像中における階段調のエッジと模様調のエッジとを識別して、当該入力画像に対して非線形平滑化処理を施すことが可能な仕組みを提供することにある。そこで、以降では、本実施形態に係る照明光生成部１０について、さらに詳しく説明する。

【0055】

［２．２．機能構成］
図７を参照して、本発明の第１の実施形態に係る照明光生成部１０の機能構成の一例について説明する。図７は、本実施形態に係る照明光生成部１０の機能構成の一例を示したブロック図である。

【0056】

図７に示すように、本実施形態に係る照明光生成部１０は、平滑化処理部１１と、ε値制御部１３とを含む。なお、平滑化処理部１１については、前述した比較例に係る照明光生成部１０’（図３参照）と同様のため詳細な説明は省略する。また、ε値制御部１３は、勾配算出部１３１と、分散算出部１３３と、ε値調整部１３５とを含む。

【0057】

勾配算出部１３１は、前述した比較例に係る照明光生成部１０’の勾配算出部１９１と同様である。即ち、勾配算出部１３１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇を注目画素ごとに算出する。

【0058】

なお、勾配算出部１３１は、フィルタオペレータを利用した畳み込み積分により、注目画素ごとの勾配∇を算出してもよい。例えば、以下に示す（式５）は、前述した（式２もしくは式３）に示した一次微分フィルタを、畳み込み積分により示した場合の一例である。

【0059】

【数5】

【0060】

なお、上記に示した（式５）において、Ｗは、勾配∇を算出するためのオペレータ（以降では、「勾配オペレータ」と記載する場合がある）を示している。例えば、以下に示す（式６）は、オペレータ長ｎ＝１とした場合における、勾配オペレータＷの一例を示している。

【0061】

【数6】

【0062】

また、他の一例として、以下に示す（式７）は、オペレータ長ｎ＝２とした場合における、勾配オペレータＷの一例を示している。

【0063】

【数7】

【0064】

なお、（式６）及び（式７）に示した勾配オペレータは、あくまで一例であり、オペレータ長ｎや、オペレータの各係数は、適宜変更してもよい。

【0065】

以上のようにして、勾配算出部１３１は、入力画像中の注目画素ごとに、当該注目画素の周辺画素それぞれの明るさの強度に基づき、勾配∇を算出する。そして、勾配算出部１３１は、注目画素ごとに算出した勾配∇を、ε値調整部１３５に出力する。

【0066】

分散算出部１３３は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素と、当該注目画素の周辺に位置する周辺画素とのそれぞれの明るさの強度に基づき、分散σ^２を注目画素ごとに算出する。

【0067】

ここで、注目画素の座標を（ｘ，ｙ）、座標（ｘ−ｉ，ｙ−ｊ）に位置する画素の明るさの強度をＩ_{ｘ−ｊ，ｙ−ｉ}とした場合に、注目画素の分散σ^２（ｘ，ｙ）は、以下に示す（式８）に基づき算出される。

【0068】

【数8】

【0069】

なお、上記に示した（式８）を、以下に示す（式９）のように展開してもよい。

【0070】

【数9】

【0071】

例えば、図８は、図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとの分散σ^２に基づく標準偏差σの変化の一例を示している。なお、図８に示す例では、図６に示した、入力画像中の画素ごと勾配∇と単位をそろえるために、入力画像中の画素ごとに算出された分散σ^２に基づく、当該画素ごとの標準偏差σの変化として示している。即ち、図８の横軸は、図５及び図６の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図８の縦軸は、画素ごとに算出された標準偏差σを示している。なお、標準偏差σは、分散σ^２の平方根により算出されることは言うまでもない。換言すると、分散算出部１３３は、分散σ^２に替えて標準偏差σを算出してもよいことは言うまでもない。

【0072】

以上のようにして、分散算出部１３３は、入力画像中の注目画素ごとに、当該注目画素と、当該注目画素の周辺画素それぞれとの明るさの強度に基づき、分散σ^２を算出する。そして、分散算出部１３３は、注目画素ごとに算出した分散σ^２を、ε値調整部１３５に出力する。

【0073】

ε値調整部１３５は、勾配算出部１３１から、注目画素ごとに算出された勾配∇を取得する。また、ε値調整部１３５は、分散算出部１３３から、注目画素ごとに算出された分散σ^２を取得する。

【0074】

ここで、図６に示した画素ごとの勾配∇の変化と、図８に示した画素ごとの標準偏差σ（換言すると、分散σ^２）の変化とのそれぞれとを比較することで、本実施形態に係るε値調整部１３５の特徴について説明する。

【0075】

図６を参照して前述したように、画素ごとに算出された勾配∇のみに着目した場合には、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、勾配∇の値が略等しく、これらを識別することは困難である。

【0076】

これに対して、画素ごとに算出された標準偏差σのみに着目した場合には、図８に示すように、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、標準偏差σの値が異なるため、これらを識別することが可能である。一方で、参照符号ｖ１３ａ及びｖ１５３で示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、標準偏差σの値が略等しく、これらを識別することは困難である。

【0077】

一方で、図６及び図８を比較するとわかるように、勾配∇と標準偏差σとでは、階段調のエッジと模様調のエッジとの判別が困難な部分に差が生じる。この差は、勾配∇と標準偏差σとの間の特性差によるものであり、本実施形態に係るε値調整部１３５は、この特性差を利用して階段調のエッジと模様調のエッジとを判別する。

【0078】

具体的には、勾配∇は、注目画素の隣接もしくは近傍の画素間における差分を示している。また、標準偏差σは、前述した（式８）において、オペレータ長ｍに基づき定義される範囲におけるばらつきを示している。理想的な状態では、階段調のエッジは、標準偏差σの最大値（頂点）と勾配∇の絶対値の最大値とは、略等しい値を示す傾向にある。これに対して、模様調のエッジは、勾配∇の絶対値よりも標準偏差σの方が大きい値を示す傾向にある。そこで、本実施形態に係るε値調整部１３５は、勾配∇と標準偏差σとの間の乖離度を階段調強度Ｋ_Ｓとして算出し、当該階段調強度Ｋ_Ｓに基づき階段調のエッジと模様調のエッジとを判別する。

【0079】

例えば、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度Ｋ_Ｓ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と標準偏差σ（ｘ，ｙ）とに基づき、以下に示す（式１０）に基づき算出される。

【0080】

【数10】

【0081】

なお、（式１０）において、ｋ_∇及びｋ_σは、勾配∇（ｘ，ｙ）の絶対値と、標準偏差σ（ｘ，ｙ）の最大値との比が１となるように設定された、勾配∇（ｘ，ｙ）及び標準偏差σ（ｘ，ｙ）それぞれに対する補正係数（換言すると、正規化のための係数）である。なお、補正係数ｋは、補正係数ｋ_∇及びｋ_σをまとめたものに相当する。

【0082】

補正係数ｋ_∇及びｋ_σは、あらかじめ算出された定数であってもよい。また、他の一例として、明るさの強度差が異なる複数の理想的な階段調のエッジのデータに基づき、｜∇｜／σを１に補正するような関数を事前に算出し、当該関数を、補正係数ｋ_∇及びｋ_σとして設定してもよい。

【0083】

なお、上記に示した（式１０）を一般化すると、階段調強度Ｋ_Ｓは、以下に示す（式１１）で表されることとなる。

【0084】

【数11】

【0085】

ここで、階段調強度Ｋ_Ｓは、１以下の値となり、１に近いほど、対応する注目画素の近傍で明るさがより急峻に変化していることを示している。即ち、階段調強度Ｋ_Ｓが１に近いほど、対応する注目画素が階段調のエッジに相当し得ることを示している。

【0086】

なお、上記に示した階段調強度Ｋ_Ｓの算出式は、あくまで一例であり、勾配∇と、標準偏差σ（換言すると、分散σ^２）との間の乖離度を示していれば、階段調強度Ｋ_Ｓの算出方法は上記に示す例には限定されない。

【0087】

具体的な一例として、ε値調整部１３５は、勾配∇の二乗と分散σ^２との乖離度に基づき階段調強度Ｋ_Ｓを算出してもよい。この場合には、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度Ｋ_Ｓ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と分散σ^２（ｘ，ｙ）とに基づき、以下に示す（式１２）に基づき算出される。

【0088】

【数12】

【0089】

ここで、上記に示した（式１２）を一般化すると、階段調強度Ｋ_Ｓは、以下に示す（式１３）で表されることとなる。

【0090】

【数13】

【0091】

また、他の一例として、ε値調整部１３５は、勾配∇の二乗と分散σ^２との差を乖離度として、当該乖離度に基づき階段調強度Ｋ_Ｓを算出してもよい。この場合には、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度Ｋ_Ｓ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と分散σ^２（ｘ，ｙ）とに基づき、以下に示す（式１４）に基づき算出される。

【0092】

【数14】

【0093】

ここで、上記に示した（式１４）を一般化すると、階段調強度Ｋ_Ｓは、以下に示す（式１５）で表されることとなる。

【0094】

【数15】

【0095】

以上のようにして、ε値調整部１３５は、勾配∇と標準偏差σ（換言すると、分散σ^２）との間の乖離度に基づき階段調強度Ｋ_Ｓを算出する。例えば、図９は、図５に示した入力Ｉに基づき算出された（即ち、図６に示した画素ごとの勾配∇と、図８に示した画素ごとの標準偏差σとに基づき算出された）、入力画像中の画素ごとの階段調強度Ｋ_Ｓの変化の一例を示している。即ち、図９の横軸は、図５、図６、及び図８の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図９の縦軸は、画素ごとに算出された階段調強度Ｋ_Ｓを示している。

【0096】

図９を参照するとわかるように、階段調のエッジｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、及びｖ１５ｂと、模様調の各エッジｖ１７とでは、階段調強度Ｋ_Ｓが大きく乖離している。

【0097】

具体的な一例として、階段調強度Ｋ_Ｓの算出に際し、勾配∇を算出する際のオペレータ長ｎ（例えば（式２）に示した変数ｎ）と、分散σ^２を算出する際のオペレータ長ｍ（例えば（式８）に示した変数ｍ）とを等しい値に設定したとする。この場合には、階段調のエッジでは、補正係数ｋ_∇及びｋ_σそれぞれを１としたとしても、勾配∇の絶対値と標準偏差σとでは、ほとんど差が無く、階段調強度Ｋ_Ｓは約１を示す。これに対して、模様調のエッジでは、勾配∇の絶対値が標準偏差σよりも低くなり、階段調のエッジに比べて階段調強度Ｋ_Ｓが低い値を示す。

【0098】

このような特性を利用して、ε値調整部１３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇の絶対値に対して、当該注目画素について算出した階段調強度Ｋ_Ｓを乗じることで、模様調のエッジにおけるエッジ強度が抑制された、エッジ強度Ｋ_Ｇを算出する。即ち、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素におけるエッジ強度Ｋ_Ｇ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と階段調強度Ｋ_Ｓとを基に、以下に示す（式１６）に基づき算出される。

【0099】

【数16】

【0100】

なお、勾配∇を算出する際のオペレータ長ｎと、分散σ^２を算出する際のオペレータ長ｍとは、ｎ≦ｍとなるように設定することが望ましい。

【0101】

また、他の一例として、ε値調整部１３５は、以下に（式１７）として示すように、入力画像中の注目画素ごとに、当該画素における勾配∇^２に対して階段調強度Ｋ_Ｓを乗じることで、エッジ強度Ｋ_Ｇを算出してもよい。

【0102】

【数17】

【0103】

以上のようにして、ε値調整部１３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇と、当該注目画素について算出された階段調強度Ｋ_Ｓとに基づきエッジ強度Ｋ_Ｇを算出する。例えば、図１０は、図５に示した入力Ｉに基づき算出された（即ち、図６に示した画素ごとの勾配∇と、図９に示した画素ごとの階段調強度Ｋ_Ｓとに基づき算出された）、入力画像中の画素ごとのエッジ強度Ｋ_Ｇの変化の一例を示している。即ち、図１０の横軸は、図５、図６、及び図９の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図１０の縦軸は、画素ごとに算出されたエッジ強度Ｋ_Ｇを示している。

【0104】

図１０に示すように、注目画素ごとの勾配∇及び階段調強度Ｋ_Ｓに基づきエッジ強度Ｋ_Ｇを算出することで、模様調のエッジｖ１７が抑制され、階段調のエッジｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、及びｖ１５ｂが当該エッジ強度Ｋ_Ｇとして抽出される。即ち、ε値調整部１３５は、以上のようにして算出されたエッジ強度Ｋ_Ｇに基づき、階段調のエッジ及び模様調のエッジのうち階段調のエッジのみが保持されるようにε値を調整する（換言すると、エッジ強度Ｋ_Ｇ−ε値変換を行う）。

【0105】

ここで、ε値調整部１３５による、エッジ強度Ｋ_Ｇに基づくε値の調整に係る処理について、図１１を参照しながら具体的な例を挙げて説明する。図１１は、本実施形態に係るε値調整部１３５によるε値の調整に係る処理の内容について説明するための説明図である。

【0106】

図１１の上側の図は、入力画像中の画素ごとの明るさの強度の変化の一例を示している。また、図１１中の下側の図は、入力画像中の注目画素ごとのエッジ強度Ｋ_Ｇの変化の一例を示している。図１１の上側及び下側の図それぞれの横軸は、入力画像中のｘ方向に沿った画素の位置を示している。また、図１１の上側の図の縦軸は、明るさの強度を示している。また、図１１の下側の図の縦軸は、エッジ強度Ｋ_Ｇを示している。

【0107】

また、図１１において、参照符号ｎは、オペレータ長を示しており、図１１に示す例では、勾配∇を算出する際のオペレータ長ｎと、分散σ^２を算出する際のオペレータ長ｍとが、ｍ＝ｎの関係を満たすものとする。また、図１１に示す例では、画素の位置ｘ＝０の部分が階段調のエッジの部分に相当し、ｘ＝±１、±２の位置は、位置ｘ＝０の画素を注目画素とした場合の、ｘ方向に沿った周辺画素の一例に相当する。

【0108】

図１１に示す例では、εフィルタ（即ち、平滑化処理部１１による平滑化処理）のオペレータ長ｎ＝２とした場合には、画素の位置ｘが−２〜＋２の範囲においてHalo現象が発生し得る。そのため、図１１に示す例の場合には、画素の位置ｘが−２〜＋２の範囲において、εフィルタのε値がより低くなるように（例えば、最小となるように）調整されることが望ましい。

【0109】

そこで、ε値調整部１３５は、図１１の下側の図に示すように、エッジ強度Ｋ_Ｇの閾値ｔｈ_Ｇを設定し、注目画素ごとに算出されたエッジ強度Ｋ_Ｇを当該閾値ｔｈ_Ｇと比較する。そして、ε値調整部１３５は、例えば、エッジ強度Ｋ_Ｇが閾値ｔｈ_Ｇを超える画素についてはε値を最小値ε_ＭＩＮに設定し、エッジ強度Ｋ_Ｇが閾値ｔｈ_Ｇ以下の画素についてはε値を最大値ε_ＭＡＸに設定する。

【0110】

例えば、図１２は、ε値調整部１３５がエッジ強度Ｋ_Ｇに応じてε値を設定する（即ち、エッジ強度Ｋ_Ｇ−ε値変換を行う）ための関数ｆ_ε（Ｋ_Ｇ）の一例を示している。

【0111】

ここで、比較のために、図１３に、ε値調整部１３５がエッジ強度Ｋ_Ｇ−ε値変換を行うための関数ｆ_ε（Ｋ_Ｇ）の他の一例について示す。図１３に示す例は、比較例として前述した照明光生成部１０’のε値調整部１９３と同様の方法（図２参照）で、エッジ強度Ｋ_Ｇ−ε値変換を行う場合の関数ｆ_ε（Ｋ_Ｇ）の一例に相当する。

【0112】

図１３に示すように、比較例に係るε値調整部１９３では、ε値の最大値ε_ＭＡＸと最小値ε_ＭＩＮとの間を、閾値ｔｈ_Ｇ１とｔｈ_Ｇ２とで区分される範囲において線型変調している。これは、比較例に係るε値調整部１９３が、階段調のエッジと模様調のエッジとを判別することが困難であるため、階段調のエッジと模様調のエッジと判別せずに一様にエッジ強度Ｋ_Ｇによりε値を制御せざるを得ないことによる。

【0113】

このような特性から、比較例に係るε値調整部１９３に依れば、例えば、エッジ強度の強い模様調のエッジは平滑化されずに保持され、エッジ強度の弱い階段調のエッジについては平滑化されて保持されないといった結果も出力され得る。また、比較例に係るε値調整部１９３に依れば、例えば、図１１においてｘ＝±１、±２の位置で示されたエッジ強度が中程度から比較的低い画素では、若干ではあるものの平滑化処理が施される。そのため、当該画素において、エッジが保持される度合いが低くなり、当該画素付近に、平滑化処理に伴う弱いHalo現象が発生する場合がある。

【0114】

これに対して、本実施形態に係るε値調整部１３５は、注目画素ごとの勾配∇及び階段調強度Ｋ_Ｓに基づき算出されたエッジ強度Ｋ_Ｇに応じてε値を調整する。このエッジ強度Ｋ_Ｇは、前述した通り、階段調のエッジの部分において高い数値を示し、模様調のエッジの部分を含むその他の部分では低い数値を示すという特性を有する。そのため、ε値調整部１３５は、図１２に示すような閾値ｔｈ_Ｇに基づく閾値処理により、エッジ強度Ｋ_Ｇ−ε値変換を行うことが可能となる。

【0115】

また、前述したエッジ強度Ｋ_Ｇの特性から、本実施形態に係るε値調整部１３５では、閾値ｔｈ_Ｇを比較的低い値（少なくとも、図１３に示す閾値ｔｈ_Ｇ２よりも低い値）に設定することが可能である。そのため、本実施形態に係るε値調整部１３５に依れば、例えば、図１１においてｘ＝±１、±２の位置で示されたエッジ強度が中程度から比較的低い画素においてもエッジを保持することが可能となる。

【0116】

なお、図１２に示す関数ｆ_ε（Ｋ_Ｇ）はあくまで一例であり、本実施形態に係るε値調整部１３５は、注目画素ごとの勾配∇及び階段調強度Ｋ_Ｓに基づき算出されたエッジ強度Ｋ_Ｇに対して、図１３に示すような関数ｆ_ε（Ｋ_Ｇ）を適用してもよいことは言うまでもない。また、他の一例として、ε値調整部１３５は、注目画素ごとの勾配∇及び階段調強度Ｋ_Ｓに基づき算出されたエッジ強度Ｋ_Ｇに対して、図１４に示すような関数ｆ_ε（Ｋ_Ｇ）を適用することで、エッジ強度Ｋ_Ｇ−ε値変換を行ってもよい。図１４は、ε値調整部１３５がエッジ強度Ｋ_Ｇに応じてε値を設定する（即ち、エッジ強度Ｋ_Ｇ−ε値変換を行う）ための関数ｆ_ε（Ｋ_Ｇ）の他の一例を示している。

【0117】

以上のようにして、ε値調整部１３５は、入力画像中の注目画素ごとに算出されたエッジ強度Ｋ_Ｇに応じて、当該注目画素ごとにε値を設定し、設定されたε値を平滑化処理部１１に出力する。

【0118】

なお、以降の処理については、前述した比較例に係る照明光生成部１０’と同様である。即ち、平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１３５から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。
以上、図７〜図１４を参照して、本実施形態に係る照明光生成部１０の機能構成の一例について説明した。

【0119】

［２．３．処理］
次に、図１５を参照して、本実施形態に係る照明光生成部１０の一連の処理の流れの一例について説明する。図１５は、本実施形態に係る照明光生成部１０の一連の処理の流れの一例を示したフローチャートである。

【0120】

（ステップＳ１０１）
勾配算出部１３１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇を注目画素ごとに算出する。なお、勾配算出部１３１は、フィルタオペレータを利用した畳み込み積分により、注目画素ごとの勾配∇を算出してもよい。また、勾配∇については、例えば、前述した（式２）及び（式３）のいずれかに基づき算出することが可能である。そして、勾配算出部１３１は、注目画素ごとに算出した勾配∇を、ε値調整部１３５に出力する。

【0121】

（ステップＳ１０３）
分散算出部１３３は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素と、当該注目画素の周辺に位置する周辺画素とのそれぞれの明るさの強度に基づき、分散σ^２を注目画素ごとに算出する。なお、分散σ^２については、例えば、前述した（式８）に基づき算出することが可能である。そして、分散算出部１３３は、注目画素ごとに算出した分散σ^２を、ε値調整部１３５に出力する。

【0122】

（ステップＳ１０５）
ε値調整部１３５は、勾配算出部１３１から、注目画素ごとに算出された勾配∇を取得する。また、ε値調整部１３５は、分散算出部１３３から、注目画素ごとに算出された分散σ^２を取得する。ε値調整部１３５は、注目画素ごとに取得した勾配∇と標準偏差σとの間の乖離度に基づき階段調強度Ｋ_Ｓを算出する。なお、階段調強度Ｋ_Ｓについては、例えば、前述した（式１０）、（式１２）、及び（式１４）のいずれかに基づき算出することが可能である。

【0123】

（ステップＳ１０７）
次いで、ε値調整部１３５は、注目画素ごとに、当該注目画素における勾配∇と、当該注目画素について算出した階段調強度Ｋ_Ｓとに基づき、エッジ強度Ｋ_Ｇを算出する。なお、エッジ強度Ｋ_Ｇについては、例えば、前述した（式１６）及び（式１７）のいずれかに基づき算出することが可能である。

【0124】

（ステップＳ１０９）
注目画素ごとにエッジ強度Ｋ_Ｇを算出したら、ε値調整部１３５は、注目画素ごとに、当該エッジ強度Ｋ_Ｇを所定の閾値ｔｈ_Ｇと比較し、当該比較結果に応じて当該注目画素に対するε値を設定する。具体的な一例として、ε値調整部１３５は、図１２に示した関数ｆε（Ｋ_Ｇ）に基づき、エッジ強度Ｋ_Ｇが閾値ｔｈ_Ｇを超える画素についてはε値を最小値εＭＩＮに設定し、エッジ強度Ｋ_Ｇが閾値ｔｈ_Ｇ以下の画素についてはε値を最大値εＭＡＸに設定する。

【0125】

以上のようにして、ε値調整部１３５は、入力画像中の注目画素ごとに算出されたエッジ強度Ｋ_Ｇに応じて、当該注目画素ごとにε値を設定し、設定されたε値を平滑化処理部１１に出力する。

【0126】

そして、平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１３５から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。

【0127】

以上、図１５を参照して、本実施形態に係る照明光生成部１０の一連の処理の流れの一例について説明した。

【0128】

なお、上述した一連の動作、即ち、入力画像中の注目画素ごとに、勾配∇と分散σ^２との間の乖離度を示す階段調強度Ｋ_Ｓに基づきエッジ強度Ｋ_Ｇを算出し、当該エッジ強度Ｋ_Ｇに応じて設定されたε値に基づき、当該入力画像に対して平滑化処理を施す方法が、「画像処理方法」の一例に相当する。

【0129】

また、上述した一連の動作は、照明光生成部１０の各構成を動作させる装置のＣＰＵを機能させるためのプログラムによって構成することができる。このプログラムは、その装置にインストールされたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を介して実行されるように構成してもよい。また、このプログラムは、上述した処理を実行する構成が含まれる装置が読み出し可能であれば、記憶される位置は限定されない。例えば、装置の外部から接続される記録媒体にプログラムが格納されていてもよい。この場合には、プログラムが格納された記録媒体を装置に接続することによって、その装置のＣＰＵに当該プログラムを実行させるように構成するとよい。

【0130】

［２．４．まとめ］
以上説明したように、本発明の第１の実施形態に係る照明光生成部１０は、注目画素ごとに勾配∇と分散σ^２（換言すると、標準偏差σ）とを算出し、当該勾配∇と分散σ^２との間の乖離度に基づき、階段調強度Ｋ_Ｓを算出する。そして、照明光生成部１０は、当該勾配∇と当該階段調強度Ｋ_Ｓとに基づきエッジ強度Ｋ_Ｇを算出し、当該エッジ強度Ｋ_Ｇに基づきε値を調整する。なお、このエッジ強度Ｋ_Ｇは、前述した通り、階段調のエッジの部分において高い数値を示し、模様調のエッジの部分を含むその他の部分では低い数値を示すという特性を有する。そのため、照明光生成部１０は、入力画像中の階段調のエッジと模様調のエッジとを判別し、例えば、階段調のエッジについては平滑化の効果を低めることで保持し、模様調のエッジを含む他の部分については平滑化の効果を高めるように、非線形平滑化処理を施すことが可能となる。

【0131】

＜３．第２の実施形態＞
［３．１．概要］
次に、本発明の第２の実施形態に係る照明光生成部について説明する。前述した第１の実施形態に係る照明光生成部１０では、εフィルタの出力値を照明光成分としている。

【0132】

εフィルタの参照画素範囲が比較的広い場合には、平滑化係数として、例えば、統計学等で使用されるガウシアン特性に基づく加重平均係数等を用いる場合がある。その一方で、εフィルタの参照画素範囲が広くなるほど処理コストは増大する傾向にあり、当該処理コストの増大に伴い、回路規模も増大する場合がある。

【0133】

ここで、本実施形態に係る照明光生成部の特徴について、よりわかりやすくするために、以下に、注目画素（ｘ，ｙ）の画素値Ｉｘ，ｙに基づき、照明光成分Ｌ（ｘ，ｙ）を算出するための、εフィルタの処理内容を示す計算式の一例を（式１８）として示す。

【0134】

【数18】

【0135】

なお、上記に示した（式１８）において、係数Ｗは、係数総和が１となるように重み付けを行った加重平均フィルタ係数である。また、関数Ｆ（ｚ）は、注目画素と参照画素との間の差分値を収集し、注目画素に加算することで、平滑化フィルタとして作用する。また、上記に示す（式１８）では、差分値がε値よりも大きい場合には、参照画素情報を出力結果に反映させないことでエッジを保持している。

【0136】

上記に示すように、εフィルタは、注目画素と各参照画素との間の差分値を算出する工程と、差分値とε値との比較を行う工程とを伴うため、比較的多くの処理コストが必要となり、回路規模も比較的大きくなる傾向にある。

【0137】

特に、近年では、所謂スマートフォンのように携行可能な比較的小型の端末が普及してきており、このような端末では、組み込める回路の規模も制限されている。

【0138】

そこで、本発明の第２の実施形態として、第１の実施形態に係る照明光生成部１０と同様に、階段調のエッジと模様調のエッジとを識別して非線形処理を施すことが可能であり、かつ、回路規模をさらに抑制することが可能な照明光生成部の一例について説明する。なお、以降では、本実施形態に係る照明光生成部を、前述した第１の実施形態に係る照明光生成部１０と区別するために、「照明光生成部２０」と記載する場合がある。

【0139】

［３．２．機能構成］
まず、図１６を参照して、本実施形態に係る照明光生成部２０の機能構成の一例について説明する。図１６は、本実施形態に係る照明光生成部２０の機能構成の一例を示したブロック図である。

【0140】

図１６に示すように、本実施形態に照明光生成部２０は、混合部２１と、混合比制御部２３とを含む。また、混合比制御部２３は、勾配算出部２３１と、分散算出部２３３と、エッジ強度算出部２３５と、混合比算出部２３７とを含む。

【0141】

勾配算出部２３１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、例えば、勾配オペレータＷを用いて、勾配∇の二乗値を注目画素ごとに算出する。なお、勾配算出部２３１が、勾配∇を算出する基本的な仕組みは、前述した第１の実施形態に係る勾配算出部１３１と同様である。例えば、以下に示す、（式１９）は、オペレータ長ｎ＝２とした場合の勾配オペレータＷの一例を示している。

【0142】

【数19】

【0143】

また、以下に示す（式２０）は、オペレータ長ｎ＝２とした場合の勾配オペレータＷの他の一例を示している。

【0144】

【数20】

【0145】

もちろん、上記に（式１９）及び（式２０）として示した勾配オペレータＷは、あくまで一例であり、必ずしも上記に示した式には限定されない。即ち、通過帯域が調整されることで、勾配オペレータＷとして、（式１９）及び（式２０）以外の他の係数値が用いられてもよい。

【0146】

また、勾配算出部２３１は、上記に示した勾配オペレータＷを利用した畳み込み積分により、注目画素ごとの勾配∇の二乗値である∇^２を算出する。なお、以降の説明では、勾配∇の二乗値∇^２を、単に、「勾配∇^２」と記載する場合がある。例えば、以下に示す（式２１）は、勾配オペレータＷを利用した畳み込み積分により、勾配∇^２を算出する計算式の一例を示している。なお、（式２１）におけるＷ’は、勾配オペレータＷを９０度回転させた係数を示している。

【0147】

【数21】

【0148】

以上のようにして、勾配算出部２３１は、入力画像中の注目画素ごとに、当該注目画素の周辺画素それぞれの明るさの強度に基づき、勾配∇^２を算出する。そして、勾配算出部２３１は、注目画素ごとに算出した勾配∇^２を、エッジ強度算出部２３５に出力する。

【0149】

分散算出部２３３は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素と、当該注目画素の周辺に位置する周辺画素とのそれぞれの明るさの強度の平均値Ａを注目画素ごとに算出し（即ち、移動平均を算出し）、当該平均値Ａに基づき、分散σ^２を注目画素ごとに算出する。

【0150】

ここで、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素（ｘ，ｙ）に対応する平均値Ａ（ｘ，ｙ）は、オペレータ長をｎ、座標（ｘ，ｙ）に位置する画素の明るさの強度をＩ_ｘ，ｙとした場合に、畳み込み積分で示すと、以下に示す（式２２）で表される。

【0151】

【数22】

【0152】

なお、平均値Ａを算出する際のオペレータ長ｎ（換言すると、参照画素範囲）については、照明光生成部２０が設けられる機器の回路規模に応じて設定すればよいことは言うまでもない。

【0153】

また、注目画素の座標を（ｘ，ｙ）、座標（ｘ−ｉ，ｙ−ｊ）に位置する画素の明るさの強度をＩ_{ｘ−ｊ，ｙ−ｉ}とした場合に、当該注目画素（ｘ，ｙ）に対応する分散σ^２は、以下に示す（式２３）に基づき算出される。

【0154】

【数23】

【0155】

以上のようにして、分散算出部２３３は、入力画像中の注目画素ごとに、当該注目画素と、当該注目画素の周辺画素それぞれとの明るさの強度に基づき、平均値Ａを注目画素ごとに算出し、当該平均値Ａに基づき、分散σ^２を注目画素ごとに算出する。そして、分散算出部２３３は、注目画素ごとに算出した分散σ^２を、エッジ強度算出部２３５に出力する。また、分散算出部２３３は、分散σ^２を算出する過程において、注目画素ごとに算出した平均値Ａ（即ち、移動平均）を、混合部２１に出力する。

【0156】

エッジ強度算出部２３５は、勾配算出部２３１から、注目画素ごとに算出された勾配∇^２を取得する。また、エッジ強度算出部２３５は、分散算出部２３３から、注目画素ごとに算出された分散σ^２を取得する。エッジ強度算出部２３５は、取得した勾配∇^２と分散σ^２との間の乖離度を階段調強度Ｋ_Ｓとして算出する。

【0157】

例えば、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度Ｋ_Ｓ（ｘ，ｙ）は、当該注目画素における勾配∇^２（ｘ，ｙ）と分散σ^２（ｘ，ｙ）とに基づき、以下に示す（式２４）に基づき算出される。

【0158】

【数24】

【0159】

なお、上記（式２４）として示した例では、エッジ強度算出部２３５は、∇^２（ｘ，ｙ）／σ^２（ｘ，ｙ）が１を超えないように、当該∇^２（ｘ，ｙ）／σ^２（ｘ，ｙ）の算出値を１でクリップしている。また、他の一例として、エッジ強度算出部２３５は、∇^２（ｘ，ｙ）／σ^２（ｘ，ｙ）の算出値を正規化することで、当該∇^２（ｘ，ｙ）／σ^２（ｘ，ｙ）が１を超えないように制御してもよい。

【0160】

次いで、エッジ強度算出部２３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇^２に対して、当該注目画素について算出した階段調強度Ｋ_Ｓを乗じることで、模様調のエッジにおけるエッジ強度が抑制された、エッジ強度Ｋ_Ｇを算出する。ここで、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素におけるエッジ強度Ｋ_Ｇ（ｘ，ｙ）は、当該注目画素における勾配∇^２（ｘ，ｙ）と階段調強度Ｋ_Ｓとを基に、以下に示す（式２５）に基づき算出される。

【0161】

【数25】

【0162】

なお、上記に示した（式２５）に基づき算出されるエッジ強度Ｋ_Ｇは、勾配∇の二乗値（即ち、勾配∇^２）に基づき算出されるため、その算出結果が、より小さい値となりやすい傾向にある。そのため、上記に示した（式２５）では、α倍することで強度の強調を行っている。また、他の一例として、エッジ強度算出部２３５は、（式１６）として前述したように、勾配∇の絶対値と、階段調強度Ｋ_Ｓとを基に、エッジ強度Ｋ_Ｇを算出してもよい。

【0163】

以上のようにして、エッジ強度算出部２３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇^２と、当該注目画素について算出された階段調強度Ｋ_Ｓとに基づきエッジ強度Ｋ_Ｇを算出する。そして、エッジ強度算出部２３５は、入力画像中の注目画素ごとに算出したエッジ強度Ｋ_Ｇを、混合比算出部２３７に出力する。

【0164】

混合比算出部２３７は、入力画像中の注目画素ごとに算出されたエッジ強度Ｋ_Ｇを、エッジ強度算出部２３５から取得する。混合比算出部２３７は、注目画素ごとに取得したエッジ強度Ｋ_Ｇを、あらかじめ設定された変換関数ｆ_Ｅ（Ｋ_Ｇ）に基づき、混合比Ｋ_Ｅに変換する。例えば、図１７は、混合比算出部２３７が、エッジ強度Ｋ_Ｇ−混合比Ｋ_Ｅ変換を行うための変換関数ｆ_Ｅ（Ｋ_Ｇ）の一例に相当する。また、図１７に示した変換関数ｆ_Ｅ（Ｋ_Ｇ）は、以下に示す（式２６）として示される。

【0165】

【数26】

【0166】

上記に示す（式２６）では、混合比算出部２３７は、混合比Ｋ_Ｅの最大値１と最小値ｍｉｎとのとの間を、閾値ｔｈ_１とｔｈ_２とで区分される範囲において線型変調している場合の一例を示している。なお、式２５においてα＝８とした場合に、（式２６）における最小値ｍｉｎ＝０．０〜０．２、閾値ｔｈ_１、ｔｈ_２＝０．０２〜０．８（ｔｈ_１≦ｔｈ_２）の範囲で調整を行うことで、良好な照明光抽出が可能となることがわかっている。

【0167】

また、図１７に示した変換関数ｆ_Ｅ（Ｋ_Ｇ）は、あくまで一例であり、必ずしも図１７に示す例には限定されない。例えば、図１８は、混合比算出部２３７が、エッジ強度Ｋ_Ｇ−混合比Ｋ_Ｅ変換を行うための変換関数ｆ_Ｅ（Ｋ_Ｇ）の他の一例に相当する。図１８に示すように、混合比算出部２３７は、非線形現象特性を用いてエッジ強度Ｋ_Ｇ−混合比Ｋ_Ｅ変換を行ってもよい。

【0168】

以上のようにして、混合比算出部２３７は、入力画像中の注目画素ごとに算出されたエッジ強度Ｋ_Ｇに基づき、混合比Ｋ_Ｅを当該注目画素ごとに算出する。そして、混合比算出部２３７は、入力画像中の注目画素ごとに算出した混合比Ｋ_Ｅを、混合部２１に出力する。

【0169】

混合部２１は、入力画像中の注目画素ごとに算出された平均値Ａ（即ち、移動平均）を、分散算出部２３３から取得する。また、混合部２１は、入力画像中の注目画素ごとに算出された混合比Ｋ_Ｅを、混合比算出部２３７から取得する。混合部２１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の明るさの強度と、当該注目画素に対応する平均値Ａとを、当該注目画素に対応する混合比Ｋ_Ｅに基づき混合することで、当該注目画素に対応する照明光成分Ｌを算出する。

【0170】

ここで、注目画素の座標を（ｘ，ｙ）、当該注目画素に対応する平均値をＡ（ｘ，ｙ）とすると、当該注目画素に対応する照明光成分Ｌ（ｘ，ｙ）は、混合比Ｋ_Ｅを基に、以下に示す（式２７）に基づき算出される。

【0171】

【数27】

【0172】

また、図１９は、混合部２１の概略的な構成の一例について示した図であり、上記に示す（式２７）に基づき照明光成分Ｌ（ｘ，ｙ）を算出する場合における、混合部２１の構成の一例を示している。

【0173】

図１９に示すように、混合部２１は、例えば、乗算部２１１及び２１５と、減算部２１３と、加算部２１７とを含む。

【0174】

減算部２１３は、混合比算出部２３７から入力される注目画素（ｘ，ｙ）に対応する混合比Ｋ_Ｅを受けて、当該混合比Ｋ_Ｅと１との差分１−Ｋ_Ｅを、乗算部２１１に出力する。

【0175】

乗算部２１１は、入力画像中の注目画素の明るさの成分Ｉ（ｘ，ｙ）と、減算部２１３から出力される混合比Ｋ_Ｅと１との差分１−Ｋ_Ｅとを乗算し、乗算結果を加算部２１７に出力する。なお、乗算部２１１が、「第１の乗算部」の一例に相当し、注目画素の明るさの成分Ｉ（ｘ，ｙ）に乗ぜられる差分１−Ｋ_Ｅが、「第１の係数」の一例に相当する。

【0176】

乗算部２１５は、分散算出部２３３から入力される注目画素（ｘ，ｙ）に対応する平均値をＡ（ｘ，ｙ）と、混合比算出部２３７から入力される当該注目画素（ｘ，ｙ）に対応する混合比Ｋ_Ｅとを乗算し、乗算結果を加算部２１７に出力する。なお、乗算部２１５が、「第２の乗算部」の一例に相当し、平均値をＡ（ｘ，ｙ）に乗ぜられる混合比Ｋ_Ｅが、「第２の係数」の一例に相当する。

【0177】

そして、加算部２１７は、乗算部２１１からの出力結果（即ち、Ｉ（ｘ，ｙ）と１−Ｋ_Ｅとの乗算結果）と、乗算部２１５からの出力結果（即ちＡ（ｘ，ｙ）と、Ｋ_Ｅとの乗算結果）とを加算し、加算結果を、注目画素（ｘ，ｙ）に対応する照明光成分Ｌ（ｘ，ｙ）として出力する。

【0178】

以上、図１６〜図１９を参照して、本実施形態に係る照明光生成部２０の機能構成の一例について説明した。

【0179】

［３．３．処理］
次に、図２０を参照して、本実施形態に係る照明光生成部２０の一連の動作の流れの一例について説明する。図２０は、本実施形態に係る照明光生成部２０の一連の動作の流れの一例について示したフローチャートである。

【0180】

（ステップＳ２０１）
勾配算出部２３１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、例えば、勾配オペレータＷを用いて、勾配∇^２を注目画素ごとに算出する。具体的な一例として、勾配算出部２３１は、前述した（式１９）〜（式２１）に示すように、勾配オペレータＷを利用した畳み込み積分により、注目画素ごとの勾配∇^２を算出すればよい。そして、勾配算出部２３１は、注目画素ごとに算出した勾配∇^２を、エッジ強度算出部２３５に出力する。

【0181】

（ステップＳ２０３）
分散算出部２３３は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素と、当該注目画素の周辺に位置する周辺画素とのそれぞれの明るさの強度の平均値Ａを注目画素ごとに算出する。なお、平均値Ａについては、前述した（式２２）に基づき算出することが可能である。そして、分散算出部２３３は、注目画素ごとに算出した平均値Ａ（即ち、移動平均）を、混合部２１に出力する。

【0182】

（ステップＳ２０５）
また、分散算出部２３３は、注目画素ごとに算出した平均値Ａに基づき、当該注目画素に対応する分散σ^２を算出する。なお、分散σ^２については、前述した（式２３）に基づき算出することが可能である。そして、分散算出部２３３は、注目画素ごとに算出した分散σ^２を、エッジ強度算出部２３５に出力する。

【0183】

（ステップＳ２０７）
エッジ強度算出部２３５は、勾配算出部２３１から、注目画素ごとに算出された勾配∇^２を取得する。また、エッジ強度算出部２３５は、分散算出部２３３から、注目画素ごとに算出された分散σ^２を取得する。エッジ強度算出部２３５は、取得した勾配∇^２と分散σ^２との間の乖離度を階段調強度Ｋ_Ｓとして算出する。なお、階段調強度Ｋ_Ｓについては、前述した（式２４）に基づき算出することが可能である。

【0184】

（ステップＳ２０９）
次いで、エッジ強度算出部２３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇^２に対して、当該注目画素について算出した階段調強度Ｋ_Ｓを乗じることで、模様調のエッジにおけるエッジ強度が抑制された、エッジ強度Ｋ_Ｇを算出する。なお、エッジ強度Ｋ_Ｇについては、前述した（式２５）に基づき算出することが可能である。そして、エッジ強度算出部２３５は、入力画像中の注目画素ごとに算出したエッジ強度Ｋ_Ｇを、混合比算出部２３７に出力する。

【0185】

（ステップＳ２１１）
混合比算出部２３７は、入力画像中の注目画素ごとに算出されたエッジ強度Ｋ_Ｇを、エッジ強度算出部２３５から取得する。混合比算出部２３７は、注目画素ごとに取得したエッジ強度Ｋ_Ｇを、あらかじめ設定された変換関数ｆ_Ｅ（Ｋ_Ｇ）に基づき、混合比Ｋ_Ｅに変換する。例えば、前述した（式２６）は、変換関数ｆ_Ｅ（Ｋ_Ｇ）の一例である。そして、混合比算出部２３７は、入力画像中の注目画素ごとに算出した混合比Ｋ_Ｅを、混合部２１に出力する。

【0186】

（ステップＳ２１３）
混合部２１は、入力画像中の注目画素ごとに算出された平均値Ａ（即ち、移動平均）を、分散算出部２３３から取得する。また、混合部２１は、入力画像中の注目画素ごとに算出された混合比Ｋ_Ｅを、混合比算出部２３７から取得する。混合部２１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の明るさの強度と、当該注目画素に対応する平均値Ａとを、当該注目画素に対応する混合比Ｋ_Ｅに基づき混合することで、当該注目画素に対応する照明光成分Ｌを算出する。なお、照明光成分Ｌについては、前述した（式２７）に基づき算出することが可能である。

【0187】

以上、図２０を参照して、本実施形態に係る照明光生成部２０の一連の動作の流れの一例について説明した。

【0188】

なお、上述した一連の動作は、照明光生成部２０の各構成を動作させる装置のＣＰＵを機能させるためのプログラムによって構成することができる。このプログラムは、その装置にインストールされたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を介して実行されるように構成してもよい。また、このプログラムは、上述した処理を実行する構成が含まれる装置が読み出し可能であれば、記憶される位置は限定されない。例えば、装置の外部から接続される記録媒体にプログラムが格納されていてもよい。この場合には、プログラムが格納された記録媒体を装置に接続することによって、その装置のＣＰＵに当該プログラムを実行させるように構成するとよい。

【0189】

［３．４．実施例］
次に、実施例として、本実施形態に係る照明光生成部２０の回路規模の見積もり量の一例についてまとめる。なお、本説明では、回路規模の比較対象として、図３を参照して前述した照明光生成部１０’（比較例１）と、図７を参照して前述した第１の実施形態に係る照明光生成部１０（比較例２）とについても、回路規模の見積もり量の一例についてまとめる。また、本説明では、各回路を構成するゲート回路に基づくゲート数に応じて、回路規模を見積もるものとする。具体的な一例として、回路規模の見積もりの基準値として、加算器及び減算器を「１０４」、乗算器を「３８４」、除算器を「１６００」、絶対値算出回路を「６４」、２入力選択器を「４０」としている。

【0190】

例えば、図２１は、実施例に係る照明光生成部の回路規模の見積もり量の一例について説明するための図であり、本実施例に係る照明光生成部と、比較例１及び比較例２に係る照明光生成部とのそれぞれについて、見積もり量の概算値の一例を示している。

【0191】

図２１に示すように、比較例１に係る照明光生成部は、主に、εフィルタと、ε値調整部と、勾配算出部とを含んで構成され、特に、εフィルタの回路規模が約３８００となり、最も大きいことがわかる。また、比較例２に係る照明光生成部は、比較例１に係る照明光生成部の構成に加えて、分散算出部と、エッジ強度算出部が追加されており、追加された構成分だけ、比較例１に係る照明光生成部よりも回路規模が大きくなっている。

【0192】

これに対して、実施例に係る照明光生成部は、比較例２に係る照明光生成部におけるεフィルタ及びε値調整部が、混合部及び混合比算出部に置き換わっている。なお、ε値調整部と混合比算出とは、回路規模がほぼ同等であるが、混合部（例えば、図１９参照）については、回路規模が約８００となり、εフィルタに比べて回路規模が極めて小さくなっている。

【0193】

これにより、実施例に係る照明光生成部は、比較例２に係る照明光生成部に比べて全体の回路規模を小さく抑えることが可能となる。具体的には、比較例１に係る照明光生成部の回路規模を基準とした場合に、比較例２に係る照明光生成部の回路規模は約６０％増大するのに対して、実施例に係る照明光生成部は、回路規模の増大を約２０％まで抑制することが可能となる。もちろん、実施例に係る照明光生成部（即ち、第２の実施形態に係る照明光生成部２０）は、比較例２に係る照明光生成部（即ち、第１の実施形態に係る照明光生成部１０）と同様に、入力画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能となることは前述した通りである。

【0194】

［３．５．まとめ］
以上、説明したように、本発明の第２の実施形態に係る照明光生成部２０は、注目画素ごとに勾配∇^２と分散σ^２とを算出し、当該勾配∇^２と分散σ^２との間の乖離度に基づく階段調強度Ｋ_Ｓを算出する。照明光生成部２０は、算出した階段調強度Ｋ_Ｓに基づきエッジ強度Ｋ_Ｇを算出し、算出したエッジ強度Ｋ_Ｇを基に混合比Ｋ_Ｅを算出する。そして、照明光生成部２０は、注目画素における明るさの強度と、当該注目画素及び周辺画素それぞれの明るさの強度の平均値Ａ（即ち、移動平均）とを、混合比Ｋ_Ｅに基づき混合することで照明光成分Ｌを生成する。

【0195】

このような構成により、本実施形態に係る照明光生成部２０は、前述した第１の実施形態に係る照明光生成部１０と同様に、入力画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能となる。

【0196】

また、本実施形態に係る照明光生成部２０では、εフィルタのような比較的規模の大きい回路が、前述した混合部２１のように、より規模の小さい回路に置き換えられる。これにより、本実施形態に係る照明光生成部２０は、前述した第１の実施形態に係る照明光生成部１０に比べて、回路規模をより小さく抑えることが可能となる。

【0197】

特に、照明光の成分は緩やかに変化するため、ＨＤ（High Definition）以上（例えば、ＨＤ、ＦＨＤ：Full High Definition、ＵＨＤ：Ultra High Definition等）の解像度において、オペレータ長ｎ＝２（即ち、５画素）程度の参照画素範囲内における照明光成分の変化は極めて微量であり、ほぼ直線的に変化するものとみなす（即ち、近似する）ことができる。そのため、本実施形態に係る照明光生成部２０では、このような特性に基づき、注目画素を基準とした所定の参照画素範囲内における画素の明るさの強度Ｉの平均値Ａ（即ち、移動平均）を利用して、照明光成分Ｌを算出することで、回路規模をより小さく抑えている。

【0198】

また、本実施形態に係る照明光生成部２０は、分散σ^２の導出過程において算出した平均値Ａを、混合比Ｋ_Ｅに基づく照明光成分Ｌの算出時に再利用している。このため、照明光成分Ｌの算出時に、改めて平均値Ａを算出する必要がなくなるため、回路規模をさらに小さく抑えることが可能となる。

【0199】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0200】

１ 画像処理装置
１０ 照明光生成部
１１ 平滑化処理部
１３ ε値制御部
１３１ 勾配算出部
１３３ 分散算出部
１３５ ε値調整部
２０ 照明光生成部
２１ 混合部
２１１ 乗算部
２１３ 減算部
２１５ 乗算部
２１７ 加算部
２３ 混合比制御部
２３１ 勾配算出部
２３３ 分散算出部
２３５ エッジ強度算出部
２３７ 混合比算出部
３０ 除算部
５０ 照明光変調部
７０ 乗算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】