特許 6188448 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6188448

(24)【登録日】2017年8月10日

(45)【発行日】2017年8月30日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 5/21 20060101AFI20170821BHJP

   G06T 5/00 20060101ALI20170821BHJP

   H04N 1/409 20060101ALI20170821BHJP

【ＦＩ】

   H04N5/21

   G06T5/00

   H04N1/40 101C

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2013-133901(P2013-133901)

(22)【出願日】2013年6月26日

(65)【公開番号】特開2015-12318(P2015-12318A)

(43)【公開日】2015年1月19日

【審査請求日】2016年5月2日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(72)【発明者】

【氏名】月岡 健人

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２００４−３３６６５２（ＪＰ，Ａ）

【文献】 特開２０１３−０２６６９８（ＪＰ，Ａ）

【文献】 国際公開第２００８／１０５２２２（ＷＯ，Ａ１）

【文献】 特開２００８−２９３４２５（ＪＰ，Ａ）

【文献】 特開２０１１−２４８４７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２１

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０９

(57)【特許請求の範囲】

【請求項1】

入力画像の注目画素に対して、該注目画素の周辺画素との画素値の変動の指標である構造指標を算出する構造指標算出手段と、
前記構造指標の高周波成分である高周波構造指標を抽出する高周波成分抽出手段と、
前記構造指標を平滑化した平滑化構造指標を算出する平滑化手段と、
前記平滑化構造指標と前記高周波構造指標とを合成した合成指標を前記注目画素の平坦度指標として算出する平坦度指標算出手段と、
前記平坦度指標に応じて、前記注目画素のノイズ低減処理を行うノイズ低減手段と、
を備えた画像処理装置。

【請求項2】

前記平坦度指標算出手段が、前記構造指標又は前記平滑化構造指標が大きいほど、前記高周波構造指標の合成割合を大きくする請求項１記載の画像処理装置。

【請求項3】

前記平坦度指標算出手段が、前記構造指標又は前記平滑化構造指標が所定の範囲内にある場合に平坦度指標を算出する請求項１又は請求項２記載の画像処理装置。

【請求項4】

前記平坦度指標算出手段が、少なくとも一部の注目画素において、前記構造指標と前記平滑化構造指標の大小関係と、前記平坦度指標と前記平滑化構造指標の大小関係とが反転するように前記平坦度指標を算出する請求項１乃至請求項３の何れか１項記載の画像処理装置。

【請求項5】

前記平坦度指標算出手段が、前記平坦度指標と前記平滑化構造指標との絶対値差が所定の範囲となるように合成する請求項１乃至請求項４の何れか１項記載の画像処理装置。

【請求項6】

前記平坦度指標算出手段が、以下の式（１）に従って、前記注目画素の平坦度指標を算出する請求項１乃至請求項５の何れか１項記載の画像処理装置。
Ｄ’＝αＡ−β（Ｄ−Ａ） ・・・ （１）
但し、Ｄ’は平坦度指標、Ｄは構造指標、Ａは平滑化構造指標であり、α及びβは所定の正の定数である。

【請求項7】

前記平坦度指標算出手段が、前記平坦度指標を符号反転したものと前記平滑化構造指標とを合成する請求項１乃至請求項４の何れか１項記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の注目画素周辺がエッジ又は平坦であるかの判定結果に応じてノイズを低減する画像処理装置に関する。

【背景技術】

【0002】

従来、画像信号のノイズを除去する際に、画像信号の局所的な凹凸の程度を評価し、評価結果に応じてノイズ低減に強弱をつけることで、エッジを維持しながら平坦部のノイズを除去する方法が種々提案されている。
例えば、特許文献１では、注目画素周辺で複数方向の局所的なエッジの強度を調べることで、注目画素周辺が平坦であるか、又は強いエッジがあるかを示す平坦度を算出し、算出された平坦度に応じて高周波のコアリング閾値を制御することが開示されている。
特許文献２には、画像信号の局所的な凹凸（分散値）を求め、これを平滑化した結果に基づいて平坦部とエッジ部及びテクスチャ部を判別する技術が開示されている。
特許文献３には、局所分散値と局所分散値を平滑化した大局分散値の比率に基づいてノイズ低減の強弱を調整する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−２９３４２５号公報

【特許文献2】特許第４６３５７７９号公報

【特許文献3】特許第４６７７４８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示された技術では、エッジの強度を調べる範囲を注目画素の周囲の限られた画素に限定した場合に、ノイズの影響を大きく受け、平坦部をエッジと判定したり、低コントラストなテクスチャ部を平坦と判定したりする等の誤判定の虞がある。
また、特許文献２に開示された技術の場合、平滑化によりノイズに起因する低周波のムラが判定結果に現れる。そして、このような判定結果をそのままノイズ低減処理に用いると、特に低コントラストのテクスチャ部において平坦と判定されて構造がつぶれてしまう部分とエッジと判定されて構造が残る部分とがムラ状に生じ、不自然な結果となってしまう。

【0005】

また、特許文献３に開示された技術では、局所分散値が大局分散値より大きな部分においてノイズ低減の強度が弱く、局所分散が大局分散より小さな部分においてノイズ低減の強度が強くなる。ところが、局所分散値が大局分散値より大きな部分は、そもそもノイズ低減処理の際に構造が相対的に残りやすく、局所分散値が大局分散値より小さな部分は、そもそもノイズ低減処理で構造が相対的に残りにくい。このため、前者のノイズ低減強度を弱め、後者のノイズ低減強度を弱めるような制御を行ってしまうと、低コントラスト部分において構造が残る部分と潰れる部分との落差が大きくなり、不自然な結果となり、良好な画像を得ることができなくなってしまう。

【0006】

本発明は、上述した事情に鑑みてなされたものであって、エッジを維持しながらも、ノイズの影響を受けにくく、ムラ等のない自然な仕上がりのノイズ低減処理を行うことを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、入力画像の注目画素に対して、該注目画素の周辺画素との画素値の変動の指標である構造指標を算出する構造指標算出手段と、前記構造指標の高周波成分である高周波構造指標を抽出する高周波成分抽出手段と、前記構造指標を平滑化した平滑化構造指標を算出する平滑化手段と、前記平滑化構造指標と前記高周波構造指標とを合成した合成指標を前記注目画素の平坦度指標として算出する平坦度指標算出手段と、前記平坦度指標に応じて、前記注目画素のノイズ低減処理を行うノイズ低減手段と、を備えた画像処理装置を提供する。

【0008】

本態様によれば、構造指標算出手段により注目画素の周辺画素との画素値の変動の指標である構造指標を算出して、注目画素周辺の局所的な凹凸を評価する。この構造指標に基づいて、平滑化手段により平滑化構造指標を算出する。ここで、注目画素のエッジの有無や平坦度を判断する際に、構造指標に加えて平滑化構造指標を用いることで、ノイズによる誤判定を緩和させることができる。しかしながら、平滑化構造指標を用いた場合において、誤判定が生じると、その範囲が連続的となり低周波ムラが生じる虞がある。そこで、高周波成分抽出手段により高周波成分である高周波構造指標を抽出し、平坦度指標算出手段により、平滑化構造指標と高周波構造指標とを合成することにより注目画素の平坦度指標を算出する。そして、この平坦度指標に応じて各注目画素のノイズ低減処理を行う。
このようにすることで、平滑化構造指標によって連続的に平坦であると誤判定された領域であっても、構造やエッジの有無が正確に判定できる平坦度指標が算出される。従って、この平坦度算出指標に応じてノイズ低減処理を行うことで、エッジを維持しながらも、ノイズによる誤判定の影響が少なく、ムラ等のない自然な仕上がりのノイズ低減処理を行うことができる。

【0009】

上記した態様において、前記平坦度指標算出手段が、前記構造指標又は前記平滑化構造指標が大きいほど、前記高周波構造指標の合成割合を大きくすることが好ましい。
このようにすることで、例えば、高コントラストなエッジ部付近の平坦部等の平滑化構造指標の精度が低くなる部分においても、平滑化していない構造指標に近い平坦度指標を算出することができるので、誤判定を防止した平坦度指標を算出することができる。

【0010】

上記した態様において、前記平坦度指標算出手段が、前記構造指標又は前記平滑化構造指標が所定の範囲内にある場合に平坦度指標を算出することが好ましい。
このようにすることで、例えば、低コントラスト部分に対してのみ等、所定の範囲内にある特定の部分に対してのみ平坦度指標を算出することができるので、画像中の特定の領域の特性に合わせたノイズ低減処理を行うことができる。

【0011】

上記した態様において、前記平坦度指標算出手段が、少なくとも一部の注目画素において、前記構造指標と前記平滑化構造指標の大小関係と、前記平坦度指標と前記平滑化構造指標の大小関係とが反転するように前記平坦度指標を算出することが好ましい。
このようにすることで、ノイズ低減処理後の画像において構造の残り具合に落差が生じるのを防止することができる。

【0012】

上記した態様において、前記平坦度指標算出手段が、前記平坦度指標と前記平滑化構造指標との絶対値差が所定の範囲となるように合成することが好ましい。
このようにすることで、局所的に高周波振幅が周囲より大きすぎたり小さすぎたりする部分の構造の残り具合を調節することができる。

【0013】

上記した態様において、前記平坦度指標算出手段が、以下の式（１）に従って、前記注目画素の平坦度指標を算出することが好ましい。
Ｄ’＝αＡ−β（Ｄ−Ａ） ・・・ （１）
但し、Ｄ’は平坦度指標、Ｄは構造指標、Ａは平滑化構造指標であり、α及びβは所定の正の定数である。
このようにすることで、ノイズ低減処理後の画像において構造の残り具合に落差が生じるのを容易に防止することができる。

【0014】

また、上記した態様において、前記平坦度指標算出手段が、前記平坦度指標を符号反転したものと前記平滑化構造指標とを合成することも好ましい。
このようにすることによっても、ノイズ低減処理後の画像において構造の残り具合に落差が生じるのを容易に防止することができる。

【発明の効果】

【0015】

本発明によれば、エッジを維持しながらも、ノイズの影響を受けにくく、ムラ等のない自然な仕上がりのノイズ低減処理を行うことができるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】本発明の第１の実施形態に係る画像処理装置を適用したデジタルカメラの概略構成を示すブロック図である。

【図2】本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。

【図3】本発明の第１の実施形態に係る画像処理装置において、構造指標を算出する際のラプラシアンフィルタの例である。

【図4】本発明の第１の実施形態に係る画像処理装置において、コアリング処理を行う際の説明図である。

【図5】本発明の第１の実施形態に係る画像処理装置において、構造指標によるノイズ低減処理制御の様子を示す図である。

【図6】本発明の第１の実施形態に係る画像処理装置において、平滑化構造指標によるノイズ低減処理制御の様子を示す図である。

【図7】本発明の第１の実施形態に係る画像処理装置において、平坦度指標によるノイズ低減処理制御の様子を示す図である。

【図8】本発明の第１の実施形態に係る画像処理装置における平坦度指標に基づくノイズ低減処理と、従来の平坦度指標によるノイズ低減とを比較した説明図である。

【図9】本発明の第１の実施形態に係る画像処理装置において、平坦度指標を算出する処理を示すフローチャートである。

【図10】本発明の第１の実施形態に係る画像処理装置において、ノイズ低減処理のフロー

【図11】本発明の第２の実施形態に係る画像処理装置において、平坦度指標によるノイズ低減処理制御の様子を示す図である。

【図12】本発明の第２の実施形態に係る画像処理装置において、平滑化構造指標Ｄａの大きさに応じて平坦度指標を変化させる場合の例に係る説明図である。

【図13】本発明の第１の実施形態に係る画像処理装置において、構造指標を算出する際に用いるローパスフィルタ（ＬＰＦ）の例を示す図である。

【発明を実施するための形態】

【0017】

（第１の実施形態）
以下に、本発明の第１の実施形態に係る画像処理装置について図面を参照して説明する。なお、ここでは、本実施の形態に係る画像処理装置がデジタルカメラに適用された例について説明する。
図１に示すように、デジタルカメラは、被写体の画像として、例えば単板画像を取得する撮像部１０１、撮像部１０１により取得された単板画像を一時的に保存するＲＡＭ１０２、ＲＡＭ１０２に保存された画像に後述する処理を行う画像処理装置１０３、及び画像処理装置１０３による画像処理の他、所定の画像処理がなされた画像を記録する記録部１０４備えている。

【0018】

画像処理装置１０３では、ＲＡＭ１０２に記録された画像Ｖ（ｘ，ｙ）に対し、各種処理を行い、最終的な画像を記録部１０４に出力する。このため、図２に示すように、ＲＡＭ１０２に記録された画像に現像処理を施す現像部１０、ＲＡＭ１０２から入力された入力画像の注目画素に対する構造指標を算出する構造指標算出部１１、構造指標から高周波成分を抽出する高周波成分抽出部１２、構造指標を平滑化する平滑化部１３、注目画素の平坦度を示す平坦度指標を算出する平坦度指標算出部１４、及び平坦度指標に応じて注目画素のノイズ低減処理を行うノイズ低減部１５を備えている。

【0019】

現像部１０は、ＲＡＭ１０２に保存された単板画像を読み出し、必要に応じてＷＢ補正・デモザイキング・色補正・階調補正からなる現像処理を行い、現像結果である画像信号Ｕ（ｘ，ｙ）をノイズ低減部１５に出力する。
構造指標算出部１１は、ＲＡＭ１０２に保存された単板画像に図１３に示すようなＬＰＦ（ローパスフィルタ）を適用した後、得られた画像の注目画素に対して、注目画素の周辺画素との画素値の変動の指標である構造指標Ｄ（ｘ，ｙ）を算出する。すなわち、構造指標算出部１１は、入力画像の各画素周囲の画素値の凹凸の大きさを評価し、評価結果を各画素の構造指標として算出し、構造指標を高周波成分抽出部１２及び平滑化部１３に出力する。
なお、単板画像に適用するＬＰＦとして、図１３に示したものは一例であり、他のＬＰＦを適用することもできる。

【0020】

構造指標Ｄ（ｘ，ｙ）としては、公知の種々の手法を用いることができ、例えば、画像Ｖ（ｘ，ｙ）に対して、以下の式（１）に示すようにラプラシアンフィルタ（図３参照）Ｌ（ｘ，ｙ）を適用して絶対値を取ったものを適用することができる。
Ｄ（ｘ，ｙ）＝｜ΣΣＬ（ｐ，ｑ）＊Ｖ（ｘ＋ｐ，ｙ＋ｑ）｜ ・・・ （１）
但し、−１＜＝ｐ，ｑ＜＝１である。

【0021】

また、上記の他、下記の式（２）に示すように局所分散に相当するものを適用することもできる。
Ｄ（ｘ，ｙ）＝ΣΣ｜Ｖ（ｘ＋ｐ，ｙ＋ｑ）−Ａ（ｘ，ｙ）｜ ・・・ （２）
Ａ（ｘ，ｙ）＝ΣΣＶ（ｘ＋ｐ，ｙ＋ｑ）／（Ｎ＊Ｎ）
但し、−Ｎ／２＜＝ｐ，ｑ＜＝Ｎ／２である。
なお、画像が単板画像である場合は適宜輝度画像に変換後、上記計算を行うものとする。

【0022】

高周波成分抽出部１２は、構造指標Ｄ（ｘ，ｙ）の高周波成分である高周波構造指標を抽出する。つまり、構造指標Ｄ（ｘ，ｙ）から後述する平滑化構造指標Ｄａ（ｘ，ｙ）を差し引いたものを高周波構造指標として算出する。本実施の形態においては、高周波成分の抽出は、後述する平坦度指標算出部１４において行っているため、図２において、高周波成分抽出部１２が平坦度指標算出部１４に含まれるも例を示している。

【0023】

平滑化部１３は、構造指標Ｄ（ｘ，ｙ）を平滑化した平滑化構造指標Ｄａ（ｘ，ｙ）を算出する。つまり、平滑化部１４では、構造指標Ｄ（ｘ，ｙ）に空間平滑化を施し、平滑化された平滑化構造指標Ｄａ（ｘ，ｙ）を算出し、平坦度指標算出部１４に出力する。
なお、平滑化についても公知の手法を用いることができ、例えば、以下の式（３）に示すように、単純平滑化を適用することができる。
Ｄａ（ｘ，ｙ）＝ΣΣＤ（ｘ＋ｐ，ｙ＋ｑ）／（Ｎ＊Ｎ） ・・・ （３）
但し、−Ｎ／２＜＝ｐ，ｑ＜＝Ｎ／２である。
また、重みつき平滑化などを用いることもできる。

【0024】

平坦度指標算出部１４は、平滑化構造指標Ｄａ（ｘ，ｙ）と高周波構造指標｛Ｄ（ｘ，ｙ）−Ｄａ（ｘ，ｙ）｝とを合成した合成指標を注目画素の平坦度指標Ｆ（ｘ，ｙ）として算出する。算出された平坦度指標Ｆ（ｘ，ｙ）は、ノイズ低減部１５に出力される。
平坦度指標Ｆ（ｘ，ｙ）は、小さいほど平坦部、大きいほど高コントラストエッジ部であることを示し、中間の値は低コントラストから中コントラストのテクスチャまたはエッジであることを示す指標であり、平坦度指標Ｆ（ｘ，ｙ）により平坦部と低コントラストテクスチャ・エッジ部を判別することができる。詳細は後述する。

【0025】

ノイズ低減処理部１５は、平坦度指標に応じて、注目画素のノイズ低減処理を行う。すなわち、ノイズ低減処理部１５は、現像部１０の出力結果Ｕ（ｘ，ｙ）に対し、平坦度指標算出部１４から得られた平坦度指標Ｆ（ｘ，ｙ）を用いてノイズ低減処理を行う。
ノイズ低減処理として、画像Ｕ（ｘ，ｙ）を低周波成分ＵＬ（ｘ，ｙ）と高周波成分ＵＨ（ｘ，ｙ）に分解し、高周波成分ＵＨ（ｘ，ｙ）に公知のコアリング処理を行った後に再度低周波成分と合成する方法がある。

【0026】

なお、画像を周波数成分に分解する手法は公知のあらゆるものを用いることができ、例えば、以下の式（４）のように、Ｕ（ｘ，ｙ）をローパスフィルタｌ（ｘ，ｙ）でフィルタリングして低周波成分ＵＬ（ｘ，ｙ）を求め、高周波成分は原画像との差分として得る方法がある。
ＵＬ（ｘ，ｙ）＝ΣΣＵ（ｘ＋ｐ，ｙ＋ｑ）＊ｌ（ｐ，ｑ）・・・ （４）
ＵＨ（ｘ，ｙ）＝Ｕ（ｘ，ｙ）−ＵＬ（ｘ，ｙ） ・・・ （５）

【0027】

つまり、ノイズ低減後の画像Ｕｎ（ｘ，ｙ）は、以下の式（６）に従って算出される。
Ｕｎ（ｘ，ｙ）＝ＵＬ（ｘ，ｙ）＋ｃｏｒｉｎｇ（ＵＨ（ｘ，ｙ），ｔ）
・・・ （６）
ここで、ｃｏｒｉｎｇ（ｖ，ｔ）は閾値ｔでコアリングを行う関数で、図４に示すように、ｖの絶対値ｔ以下の範囲を０に、その他の範囲を連続性を保つように変換する。その結果、最終結果Ｕｎ（ｘ，ｙ）は、Ｕ（ｘ，ｙ）から閾値ｔ以下の振幅の高周波が除去されたものとなる。ここで、閾値ｔをＵ（ｘ，ｙ）に混入しているノイズ成分の振幅より大きく設定すれば、Ｕ（ｘ，ｙ）に混入したノイズ成分をある程度除去することができる。

【0028】

しかし、ノイズ成分の振幅が大きい場合、この方式でノイズを除去するには閾値ｔを大きくしなければならず、するとＵ（ｘ，ｙ）の低コントラストエッジの高周波成分も閾値ｔ以下になり、除去されてしまうという問題が生じる。
そこで、本実施の形態では、上記（６）式において、閾値ｔを、平坦度指標算出部１４で得られた平坦度指標Ｆ（ｘ，ｙ）に基づいて画像の場所毎に制御する。
例えば、
Ｆ（ｘ，ｙ）＜Ｔｆのとき、 ｔ＝ｔ０ ・・・（７）
ただし、Ｔｆは所定の閾値
その他の場合のとき、 ｔ＝０ ・・・（８）

【0029】

このように制御すると、Ｆ（ｘ，ｙ）が小さく平坦と判定されるところでは高周波成分ＵＨ（ｘ，ｙ）の殆どが０に変換される結果、高周波成分に含まれるノイズが除去され、Ｆ（ｘ，ｙ）が大きくエッジと判定されるところでは高周波成分が一切除去されなくなるため、平坦部でのノイズ除去と低コントラストエッジの維持が両立できるようになる。

【0030】

ここで、ノイズ低減部１５において、構造指標Ｄ（ｘ，ｙ）及び平滑化構造指標Ｄａ（ｘ，ｙ）を直接ノイズ低減処理に用いた場合の課題を、図５及び図６を用いて説明する。以下、簡単のため、処理対象は画像ではなく一次元信号をとする。

【0031】

図５は、ノイズ重畳前の信号（ａ）にノイズが重畳された信号（ｂ）から、構造指標Ｄを用いて直接ノイズ低減処理を行った場合の様子を示したもので、（ｄ）に、算出された構造指標Ｄを示している。この例のように、構造指標は信号の凹凸を検出するものなので、一般にノイズに敏感に反応し、大きく変動している。（ｃ）はノイズが重畳された（ｂ）信号の高周波を示したもので、原信号左側の平坦部には本来高周波がないはずであるが、ノイズの影響で高周波が多く発生している。

【0032】

そこで、本来の平坦部での高周波をできるだけ上述のコアリング処理で除去するため、まず平坦部での構造指標の最大値以上の値を持つ閾値（図５（ｄ）Ｔ：２点鎖線で表記）を設定し、閾値以上の構造指標をとるところをエッジ又は構造部、閾値以下の指標をとるところを平坦部と判別する。そして、平坦部では、図５（ｃ）に示した平坦部区間での高周波絶対値の最大値以上の閾値をコアリング閾値と設定し、コアリング処理を行う。

【0033】

この処理を行った結果の、高周波コアリング結果を図５（ｅ）に、原信号低周波成分との最終合成結果を図５（ｆ）に示した。この結果からわかるように、ノイズの影響を大きく受けた構造指標Ｄでは入力画像に構造のある部分でもエッジ又は構造部と安定的に判断することが難しい。このため、本来構造のある部分でノイズ振幅が大きかった部分のみ構造を残すに留まり、結果として不自然な処理結果となってしまう。

【0034】

これに対し、平滑化された構造指標Ｄａを用いて同様の処理を行った例を図６に示す。図６（ａ）は平滑化した構造指標Ｄａを平滑化前（点線）と対比して示したもので、ノイズによる影響が大きく緩和されていることがわかる。図５と同様に平坦部での構造指標Ｄａの最大値以上の値を持つ閾値（図６（ｃ）Ｔ’：２点鎖線で表記）を設定し、平坦部とエッジ又は構造部を判別した結果が図６（ｃ）実線で、大きくなっているところがエッジ又は構造部と判定された範囲を示している。同様の結果を平滑化前の指標Ｄに対して示した図６（ｄ）に比べると、エッジ又は構造部と判定された範囲が連続的に広くなっており、最終結果の図６（ｇ）においても平滑化前の指標Ｄを用いた場合より構造が維持できていることがわかる。

【0035】

しかし、入力画像に構造があっても平坦と判定されてしまう範囲も図６（ｃ）点線矢印で示したように連続的になっているため、その区間では構造が潰れてしまい、構造が残る部分と潰れる部分がムラ状になってしまうこともわかる。
このように、平滑化された構造指標Ｄａを用いてノイズ低減処理を制御する場合、ノイズによる誤判定の影響は緩和されるものの、誤判定した場合はその範囲が連続的になり、構造の残り具合に低周波ムラが生じるという課題がある。

【0036】

上述のように、構造指標Ｄ（ｘ，ｙ）及び平滑化構造指標Ｄａ（ｘ，ｙ）を直接ノイズ低減処理に用いた場合の課題を考慮して、平坦度指標算出部１４では、構造指標平滑化構造指標Ｄａ（ｘ，ｙ）に対し、構造指標Ｄ（ｘ，ｙ）の高周波成分の変動を反映させることで、誤判定する範囲が連続的になる課題を緩和している。

【0037】

具体的には、例えば以下の式（９）により平坦度指標を算出することができる。
Ｆ（ｘ，ｙ）＝α＊Ｄａ（ｘ，ｙ）＋β＊（Ｄ（ｘ，ｙ）−Ｄａ（ｘ，ｙ））
・・・（９）
但し、α及びβは、正の定数である。
なお、Ｄ（ｘ，ｙ）の高周波成分が平滑化構造指標に反映されるような算出手法であればこの限りではない。

【0038】

このように平坦度指標を算出することによる効果を図７に示す。図７中左側は、平滑化構造指標Ｄａを用いた場合の結果で、図６の左側図と同様である。これに対し、上記（９）式で算出された平坦度指標Ｆ（ｘ，ｙ）を例示したものが図７（ｂ）であり、この平坦度指標を用いて同様の平坦度判定を行うと、図７（ｄ）に示すように、判定結果が空間的に細かく変動するようになる。その結果、図７（ｆ）丸印で示したように、平滑化構造指標Ｄａ（ｘ，ｙ）を用いた場合は連続的に平坦と見なされていたところでも部分的に構造・エッジ判定されるようになり、最終結果の図７（ｈ）も、平滑化構造指標Ｄａを用いた場合の最終結果である図７（ｇ）に比べてより自然なものとなっている。

【0039】

以上述べたように、本実施形態によれば、画像から局所的な凹凸を評価する構造指標を算出し、これを平滑化した平滑化構造指標（大局的指標）にさらに平滑化前の構造指標の高周波を反映させた（例えば加重混合する）平坦度指標を算出している。そしてこれを最終的な平坦・構造を判定するための指標とするので、平坦度指標を用いてノイズ低減処理を行うことにより、ノイズによる誤判定の影響が少なく且つ自然な仕上がりのノイズ低減結果が得られる。

【0040】

なお、本願発明は、局所的な凹凸を評価する構造指標Ｄと、平滑化した平滑化構造指標（大局的指標）Ｄａとを用いて最終的な平坦度指標Ｆを算出している点で、上述した特許文献３と共通する。しかしながら、特許文献３では、最終的な平坦度指標に相当するものがＤ／Ｄａとなり、その作用効果は本願発明と全く異なっている。

【0041】

特許文献３では、畳み込みマスクの標準偏差係数σ２が大きいほどぼかしが強く、小さいほどぼかしが弱くなることによってノイズ低減の強弱を調整している。一方、上記実施形態によれば、では最終的な平坦・構造判定指標Ｆは、大きいほどぼかしが弱く、小さいほどぼかしが強くなるようにノイズ低減の強弱を調整するため、Ｆはちょうど標準偏差係数σの逆数に対応する。特許文献３における数式９よりσ２＝σｇ２／σｌ２であり、大局分散σｇ２は本願発明では平滑化構造指標（大局的指標）Ｄａに相当し、局所分散σｌ２は本願では構造指標Ｄに対応することから、平坦度指標Ｆに相当する指標は、特許文献３では１／σ２＝σｌ２／σｇ２⇒Ｄ／Ｄａとなる。

【0042】

図８に、特許文献３と本願発明の差を示した。図８（ａ）にノイズ付加前信号、図８（ｂ）にノイズ付加後信号を示した。矢印で示した範囲が構造（テクスチャ）、その他の範囲が平坦部である。
この信号から構造指標Ｄを算出した例が図８（ｃ）、Ｄを平滑化して得られる大局指標Ｄａが図８（ｄ）であり、大局指標Ｄａには、ノイズの影響によるゆらぎもあるが、平坦部とテクスチャ部での低周波のレベル差が現れ、平坦部とテクスチャ部の分離がＤより行いやすくなっていることがわかる。

【0043】

これに対し、先行特許と同じＤ／Ｄａという指標を算出してみると図８（ｅ）のようになり、ノイズによる低周波のゆらぎは生じなくなるものの、平坦部とテクスチャ部での低周波のレベル差もなくなってしまい、平坦部とテクスチャ部の分離という観点では適切な指標ではないことがわかる。
本願発明における平坦度指標Ｆは構造指標Ｄの高周波と低周波を低周波の割合を大きくして混合しているため図８（ｆ）のようになり、Ｄａに現れていた平坦部とテクスチャ部での低周波のレベル差が保たれつつ、低周波のゆらぎがより高周波のゆらぎと混合することで緩和されていることがわかる。

【0044】

なお、上述した例に限らず、図９及び図１０に示すフローチャートに従ったソフトウェアによる処理を行うこともできる。
すなわち、平坦度指標算出については、図９のステップＳ１１で局所的な画像の凹凸を構造指標として算出する（式（１）又は式（２））。次にステップＳ１２で構造指標を平滑化し、平滑化された大局的な平滑化構造指標を算出する（式（３））。続いて、ステップＳ１３で平滑化構造指標に構造指標の高周波空間変動を反映（具体的には平滑化前構造指標の高周波成分の加重混合など）させて平坦度指標を算出する（式（９））。

【0045】

そして、図１０のステップＳ２１で、現像結果である画像を周波数分解し高周波を抽出する（式（４）、式（５））。次に、ステップＳ２２で、図９のフローチャートに従って平坦度指標を算出する。ステップＳ２３で平坦度指標に応じて高周波成分の平滑化強度を決定する（式（７）、式（８））。次のステップＳ２４で高周波成分を平滑化し、最後にステップＳ２５で高周波成分と低周波成分を再合成し、ノイズ低減結果を得る（式（６））。

【0046】

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。上記した第１の実施形態においては、現像前の画像（ＲＡＷデータと呼ばれ、単板（１画素に一色データしかない）状態の場合を含む）から構造指標Ｄを算出していたが、本実施の形態では、構造指標算出部が現像部１０で現像されたカラー画像から輝度成分を算出し、輝度成分に対して構造指標Ｄを算出する。

【0047】

平坦度指標算出部１４では、式（９）に替えて下記式（１０）により平坦度指標を算出する。
Ｆ（ｘ，ｙ）＝α＊Ｄａ（ｘ，ｙ）−β＊（Ｄ（ｘ，ｙ）−Ｄａ（ｘ，ｙ））
・・・ （１０）
但し、α及びβは正の定数である。

【0048】

ここで、式（９）に替えて式１０を用いる利点について、図１１を用いて説明する。図１１左側は、式（９）で補正された構造指標を用いた場合の結果で、図７の右側と同様である。ここで、式（９）を用いた場合の（ｇ）のノイズ低減最終結果において構造の残り具合に着目すると、実線丸印で示した構造が殆ど潰れず残るところと、点線丸印で示した、構造が残ってはいるが、かなり潰れているところとの落差はまだ大きいことがわかる。この現象は、以下のように説明できる。

【0049】

（１）
式（９）で補正した場合、局所的にＤ（ｘ，ｙ）＞Ｄａ（ｘ，ｙ）の部分では、
Ｆ（ｘ，ｙ）＞Ｄａ（ｘ，ｙ）となり、よりコアリングがかかりにくくなる。

【0050】

（２）
同様に、局所的にＤ（ｘ，ｙ）＜Ｄａ（ｘ，ｙ）の部分では、
Ｆ（ｘ，ｙ）＜Ｄａ（ｘ，ｙ） となり、よりコアリングがかかりやすくなる。

【0051】

（３）
構造指標と、例えば式（４）、式（５）で得られる高周波振幅（絶対値）の間には、共に画素値の空間変動の大きさを反映するものであるため、相関がある。

【0052】

（４）
上記（１）と（３）を組み合わせると、もともと局所的に高周波振幅が周囲より大きかった部分では（局所的な）構造指標Ｄ（ｘ，ｙ）も大きく、Ｄ（ｘ，ｙ）＞Ｄａ（ｘ，ｙ）が成り立ちやすいため、大きな高周波振幅が小さなコアリング閾値でコアリングされる傾向が強まり、一層高周波が残りやすくなる。

【0053】

（５）
上記（４）と同様、上記（２）と（３）を組み合わせると、もともと局所的に高周波振幅が周囲より小さかった部分では、
（局所的な）構造指標Ｄ（ｘ，ｙ）も小さく、Ｄ（ｘ，ｙ）＜Ｄａ（ｘ，ｙ）が成り立ちやすいため、小さな高周波振幅が大きなコアリング閾値でコアリングされる傾向が強まり、一層高周波が潰れやすくなる。

【0054】

そこで、Ｄ（ｘ，ｙ）＞Ｄａ（ｘ，ｙ）の部分ではＦ（ｘ，ｙ）＜Ｄａ（ｘ，ｙ）、Ｄ（ｘ，ｙ）＜Ｄａ（ｘ，ｙ）の部分ではＦ（ｘ，ｙ）＞Ｄａ（ｘ，ｙ）となるように構造指標の補正を行うと、（４）、（５）に示した相乗効果が相殺されて構造の残りぐあいの落差が小さくなり、さらに自然な処理結果が得られる。式７の補正式はこの特性を持っており、図１１（ｂ）に示した式７で補正した平坦度による処理結果は（ｈ）に示すように、構造の残りぐあいの落差が小さくなっている。

【0055】

なお、式（１０）をさらに拡張すると、以下のような変形例が考えられる。
Ｆ（ｘ，ｙ）＝γ（Ｄａ（ｘ，ｙ））＊Ｄａ（ｘ，ｙ）
＋δ（Ｄａ（ｘ，ｙ））＊（Ｄ（ｘ，ｙ）−Ｄａ（ｘ，ｙ））
・・・（１１）
但し、γ及びδは関数である。

【0056】

式（１１）では、平滑化前の構造指標Ｄの高周波を平坦度指標Ｆに反映させる仕方を関数γ、δにより平滑化構造指標Ｄａの大きさに応じて変えられるようになっており、例えば図１２に示すように、
（Ａ）Ｄａがある範囲のみγ（Ｄａ）を負にすることで、上述の効果を低コントラスト部のみに限定することができる。
（Ｂ）Ｄａが大きいときはγが小さくなり、Ｆ（ｘ，ｙ）が構造指標Ｄに近づくような補正を行うことで、高コントラストエッジ部周囲の平坦部ではＤａ（ｘ，ｙ）が大きくなってしまい、構造があると誤判定しやすくなる課題を解決できるなどの効果を得ることができる。

【0057】

また、別の変形例として、以下の式（１２）のように算出することができる。
Ｆ（ｘ，ｙ）＝ｃｌｉｐ＿ｍａｘｍｉｎ（α＊Ｄａ（ｘ，ｙ）−β＊（Ｄ（ｘ，ｙ）−Ｄａ（ｘ，ｙ）），Ｄａ（ｘ，ｙ）−Ｔｍｉｎ，Ｄａ（ｘ，ｙ）＋Ｔｍａｘ）
・・・（１２）
但し、α及びβは正の定数である。

【0058】

式（１２）に示すように、クリップ処理を導入することも有効である。式（１２）中、ｃｌｉｐ＿ｍａｘｍｉｎ（ｘ，ｔｍｉｎ，ｔｍａｘ）は、ｘをｔｍｉｎ以上ｔｍａｘ以下に制限する（ｘ＜ｔｍｉｎのときｘをｔｍｉｎ，ｘ＞ｔｍａｘの時ｘをｔｍａｘとする）関数で、Ｔｍｉｎ，Ｔｍａｘを調整することで、局所的に高周波振幅が周囲より大きかった部分で平坦度指標Ｆ（ｘ，ｙ）がＤａ（ｘ，ｙ）より小さくなってしまう程度，および，局所的に高周波振幅が周囲より小さかった部分で平坦度指標Ｆ（ｘ，ｙ）がＤａ（ｘ，ｙ）より大きくなってしまう程度を制限できる。その結果、局所的に高周波振幅が周囲より大きすぎたり小さすぎたりする部分の構造の残りぐあいを加減することができるようになる。

【0059】

このように、平滑化の構造指標前対平滑化後の構造指標の大小関係と、平坦度指標対平滑化後の構造指標の大小関係が少なくとも一部反転するように補正を行い、また補正の程度を平滑化後構造指標に応じて変えられるようにすることで、一層自然な処理結果が得られるようになる。

【符号の説明】

【0060】

１０ 現像部
１１ 構造指標算出部
１２ 高周波成分抽出部
１３ 平滑化部
１４ 平坦度指標算出部
１５ ノイズ低減部
１０１ 撮像部
１０２ ＲＡＭ
１０３ 画像処理装置
１０４ 記録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】