特許第6188448号(P6188448)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

<>
  • 特許6188448-画像処理装置 図000002
  • 特許6188448-画像処理装置 図000003
  • 特許6188448-画像処理装置 図000004
  • 特許6188448-画像処理装置 図000005
  • 特許6188448-画像処理装置 図000006
  • 特許6188448-画像処理装置 図000007
  • 特許6188448-画像処理装置 図000008
  • 特許6188448-画像処理装置 図000009
  • 特許6188448-画像処理装置 図000010
  • 特許6188448-画像処理装置 図000011
  • 特許6188448-画像処理装置 図000012
  • 特許6188448-画像処理装置 図000013
  • 特許6188448-画像処理装置 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6188448
(24)【登録日】2017年8月10日
(45)【発行日】2017年8月30日
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   H04N 5/21 20060101AFI20170821BHJP
   G06T 5/00 20060101ALI20170821BHJP
   H04N 1/409 20060101ALI20170821BHJP
【FI】
   H04N5/21
   G06T5/00
   H04N1/40 101C
【請求項の数】7
【全頁数】14
(21)【出願番号】特願2013-133901(P2013-133901)
(22)【出願日】2013年6月26日
(65)【公開番号】特開2015-12318(P2015-12318A)
(43)【公開日】2015年1月19日
【審査請求日】2016年5月2日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100112737
【弁理士】
【氏名又は名称】藤田 考晴
(72)【発明者】
【氏名】月岡 健人
【審査官】 西谷 憲人
(56)【参考文献】
【文献】 特開2004−336652(JP,A)
【文献】 特開2013−026698(JP,A)
【文献】 国際公開第2008/105222(WO,A1)
【文献】 特開2008−293425(JP,A)
【文献】 特開2011−248479(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/21
G06T 5/00
H04N 1/409
(57)【特許請求の範囲】
【請求項1】
入力画像の注目画素に対して、該注目画素の周辺画素との画素値の変動の指標である構造指標を算出する構造指標算出手段と、
前記構造指標の高周波成分である高周波構造指標を抽出する高周波成分抽出手段と、
前記構造指標を平滑化した平滑化構造指標を算出する平滑化手段と、
前記平滑化構造指標と前記高周波構造指標とを合成した合成指標を前記注目画素の平坦度指標として算出する平坦度指標算出手段と、
前記平坦度指標に応じて、前記注目画素のノイズ低減処理を行うノイズ低減手段と、
を備えた画像処理装置。
【請求項2】
前記平坦度指標算出手段が、前記構造指標又は前記平滑化構造指標が大きいほど、前記高周波構造指標の合成割合を大きくする請求項1記載の画像処理装置。
【請求項3】
前記平坦度指標算出手段が、前記構造指標又は前記平滑化構造指標が所定の範囲内にある場合に平坦度指標を算出する請求項1又は請求項2記載の画像処理装置。
【請求項4】
前記平坦度指標算出手段が、少なくとも一部の注目画素において、前記構造指標と前記平滑化構造指標の大小関係と、前記平坦度指標と前記平滑化構造指標の大小関係とが反転するように前記平坦度指標を算出する請求項1乃至請求項3の何れか1項記載の画像処理装置。
【請求項5】
前記平坦度指標算出手段が、前記平坦度指標と前記平滑化構造指標との絶対値差が所定の範囲となるように合成する請求項1乃至請求項4の何れか1項記載の画像処理装置。
【請求項6】
前記平坦度指標算出手段が、以下の式(1)に従って、前記注目画素の平坦度指標を算出する請求項1乃至請求項5の何れか1項記載の画像処理装置。
D’=αA−β(D−A) ・・・ (1)
但し、D’は平坦度指標、Dは構造指標、Aは平滑化構造指標であり、α及びβは所定の正の定数である。
【請求項7】
前記平坦度指標算出手段が、前記平坦度指標を符号反転したものと前記平滑化構造指標とを合成する請求項1乃至請求項4の何れか1項記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の注目画素周辺がエッジ又は平坦であるかの判定結果に応じてノイズを低減する画像処理装置に関する。
【背景技術】
【0002】
従来、画像信号のノイズを除去する際に、画像信号の局所的な凹凸の程度を評価し、評価結果に応じてノイズ低減に強弱をつけることで、エッジを維持しながら平坦部のノイズを除去する方法が種々提案されている。
例えば、特許文献1では、注目画素周辺で複数方向の局所的なエッジの強度を調べることで、注目画素周辺が平坦であるか、又は強いエッジがあるかを示す平坦度を算出し、算出された平坦度に応じて高周波のコアリング閾値を制御することが開示されている。
特許文献2には、画像信号の局所的な凹凸(分散値)を求め、これを平滑化した結果に基づいて平坦部とエッジ部及びテクスチャ部を判別する技術が開示されている。
特許文献3には、局所分散値と局所分散値を平滑化した大局分散値の比率に基づいてノイズ低減の強弱を調整する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−293425号公報
【特許文献2】特許第4635779号公報
【特許文献3】特許第4677488号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示された技術では、エッジの強度を調べる範囲を注目画素の周囲の限られた画素に限定した場合に、ノイズの影響を大きく受け、平坦部をエッジと判定したり、低コントラストなテクスチャ部を平坦と判定したりする等の誤判定の虞がある。
また、特許文献2に開示された技術の場合、平滑化によりノイズに起因する低周波のムラが判定結果に現れる。そして、このような判定結果をそのままノイズ低減処理に用いると、特に低コントラストのテクスチャ部において平坦と判定されて構造がつぶれてしまう部分とエッジと判定されて構造が残る部分とがムラ状に生じ、不自然な結果となってしまう。
【0005】
また、特許文献3に開示された技術では、局所分散値が大局分散値より大きな部分においてノイズ低減の強度が弱く、局所分散が大局分散より小さな部分においてノイズ低減の強度が強くなる。ところが、局所分散値が大局分散値より大きな部分は、そもそもノイズ低減処理の際に構造が相対的に残りやすく、局所分散値が大局分散値より小さな部分は、そもそもノイズ低減処理で構造が相対的に残りにくい。このため、前者のノイズ低減強度を弱め、後者のノイズ低減強度を弱めるような制御を行ってしまうと、低コントラスト部分において構造が残る部分と潰れる部分との落差が大きくなり、不自然な結果となり、良好な画像を得ることができなくなってしまう。
【0006】
本発明は、上述した事情に鑑みてなされたものであって、エッジを維持しながらも、ノイズの影響を受けにくく、ムラ等のない自然な仕上がりのノイズ低減処理を行うことを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、入力画像の注目画素に対して、該注目画素の周辺画素との画素値の変動の指標である構造指標を算出する構造指標算出手段と、前記構造指標の高周波成分である高周波構造指標を抽出する高周波成分抽出手段と、前記構造指標を平滑化した平滑化構造指標を算出する平滑化手段と、前記平滑化構造指標と前記高周波構造指標とを合成した合成指標を前記注目画素の平坦度指標として算出する平坦度指標算出手段と、前記平坦度指標に応じて、前記注目画素のノイズ低減処理を行うノイズ低減手段と、を備えた画像処理装置を提供する。
【0008】
本態様によれば、構造指標算出手段により注目画素の周辺画素との画素値の変動の指標である構造指標を算出して、注目画素周辺の局所的な凹凸を評価する。この構造指標に基づいて、平滑化手段により平滑化構造指標を算出する。ここで、注目画素のエッジの有無や平坦度を判断する際に、構造指標に加えて平滑化構造指標を用いることで、ノイズによる誤判定を緩和させることができる。しかしながら、平滑化構造指標を用いた場合において、誤判定が生じると、その範囲が連続的となり低周波ムラが生じる虞がある。そこで、高周波成分抽出手段により高周波成分である高周波構造指標を抽出し、平坦度指標算出手段により、平滑化構造指標と高周波構造指標とを合成することにより注目画素の平坦度指標を算出する。そして、この平坦度指標に応じて各注目画素のノイズ低減処理を行う。
このようにすることで、平滑化構造指標によって連続的に平坦であると誤判定された領域であっても、構造やエッジの有無が正確に判定できる平坦度指標が算出される。従って、この平坦度算出指標に応じてノイズ低減処理を行うことで、エッジを維持しながらも、ノイズによる誤判定の影響が少なく、ムラ等のない自然な仕上がりのノイズ低減処理を行うことができる。
【0009】
上記した態様において、前記平坦度指標算出手段が、前記構造指標又は前記平滑化構造指標が大きいほど、前記高周波構造指標の合成割合を大きくすることが好ましい。
このようにすることで、例えば、高コントラストなエッジ部付近の平坦部等の平滑化構造指標の精度が低くなる部分においても、平滑化していない構造指標に近い平坦度指標を算出することができるので、誤判定を防止した平坦度指標を算出することができる。
【0010】
上記した態様において、前記平坦度指標算出手段が、前記構造指標又は前記平滑化構造指標が所定の範囲内にある場合に平坦度指標を算出することが好ましい。
このようにすることで、例えば、低コントラスト部分に対してのみ等、所定の範囲内にある特定の部分に対してのみ平坦度指標を算出することができるので、画像中の特定の領域の特性に合わせたノイズ低減処理を行うことができる。
【0011】
上記した態様において、前記平坦度指標算出手段が、少なくとも一部の注目画素において、前記構造指標と前記平滑化構造指標の大小関係と、前記平坦度指標と前記平滑化構造指標の大小関係とが反転するように前記平坦度指標を算出することが好ましい。
このようにすることで、ノイズ低減処理後の画像において構造の残り具合に落差が生じるのを防止することができる。
【0012】
上記した態様において、前記平坦度指標算出手段が、前記平坦度指標と前記平滑化構造指標との絶対値差が所定の範囲となるように合成することが好ましい。
このようにすることで、局所的に高周波振幅が周囲より大きすぎたり小さすぎたりする部分の構造の残り具合を調節することができる。
【0013】
上記した態様において、前記平坦度指標算出手段が、以下の式(1)に従って、前記注目画素の平坦度指標を算出することが好ましい。
D’=αA−β(D−A) ・・・ (1)
但し、D’は平坦度指標、Dは構造指標、Aは平滑化構造指標であり、α及びβは所定の正の定数である。
このようにすることで、ノイズ低減処理後の画像において構造の残り具合に落差が生じるのを容易に防止することができる。
【0014】
また、上記した態様において、前記平坦度指標算出手段が、前記平坦度指標を符号反転したものと前記平滑化構造指標とを合成することも好ましい。
このようにすることによっても、ノイズ低減処理後の画像において構造の残り具合に落差が生じるのを容易に防止することができる。
【発明の効果】
【0015】
本発明によれば、エッジを維持しながらも、ノイズの影響を受けにくく、ムラ等のない自然な仕上がりのノイズ低減処理を行うことができるという効果を奏する。
【図面の簡単な説明】
【0016】
図1】本発明の第1の実施形態に係る画像処理装置を適用したデジタルカメラの概略構成を示すブロック図である。
図2】本発明の第1の実施形態に係る画像処理装置の概略構成を示すブロック図である。
図3】本発明の第1の実施形態に係る画像処理装置において、構造指標を算出する際のラプラシアンフィルタの例である。
図4】本発明の第1の実施形態に係る画像処理装置において、コアリング処理を行う際の説明図である。
図5】本発明の第1の実施形態に係る画像処理装置において、構造指標によるノイズ低減処理制御の様子を示す図である。
図6】本発明の第1の実施形態に係る画像処理装置において、平滑化構造指標によるノイズ低減処理制御の様子を示す図である。
図7】本発明の第1の実施形態に係る画像処理装置において、平坦度指標によるノイズ低減処理制御の様子を示す図である。
図8】本発明の第1の実施形態に係る画像処理装置における平坦度指標に基づくノイズ低減処理と、従来の平坦度指標によるノイズ低減とを比較した説明図である。
図9】本発明の第1の実施形態に係る画像処理装置において、平坦度指標を算出する処理を示すフローチャートである。
図10】本発明の第1の実施形態に係る画像処理装置において、ノイズ低減処理のフロー
図11】本発明の第2の実施形態に係る画像処理装置において、平坦度指標によるノイズ低減処理制御の様子を示す図である。
図12】本発明の第2の実施形態に係る画像処理装置において、平滑化構造指標Daの大きさに応じて平坦度指標を変化させる場合の例に係る説明図である。
図13】本発明の第1の実施形態に係る画像処理装置において、構造指標を算出する際に用いるローパスフィルタ(LPF)の例を示す図である。
【発明を実施するための形態】
【0017】
(第1の実施形態)
以下に、本発明の第1の実施形態に係る画像処理装置について図面を参照して説明する。なお、ここでは、本実施の形態に係る画像処理装置がデジタルカメラに適用された例について説明する。
図1に示すように、デジタルカメラは、被写体の画像として、例えば単板画像を取得する撮像部101、撮像部101により取得された単板画像を一時的に保存するRAM102、RAM102に保存された画像に後述する処理を行う画像処理装置103、及び画像処理装置103による画像処理の他、所定の画像処理がなされた画像を記録する記録部104備えている。
【0018】
画像処理装置103では、RAM102に記録された画像V(x,y)に対し、各種処理を行い、最終的な画像を記録部104に出力する。このため、図2に示すように、RAM102に記録された画像に現像処理を施す現像部10、RAM102から入力された入力画像の注目画素に対する構造指標を算出する構造指標算出部11、構造指標から高周波成分を抽出する高周波成分抽出部12、構造指標を平滑化する平滑化部13、注目画素の平坦度を示す平坦度指標を算出する平坦度指標算出部14、及び平坦度指標に応じて注目画素のノイズ低減処理を行うノイズ低減部15を備えている。
【0019】
現像部10は、RAM102に保存された単板画像を読み出し、必要に応じてWB補正・デモザイキング・色補正・階調補正からなる現像処理を行い、現像結果である画像信号U(x,y)をノイズ低減部15に出力する。
構造指標算出部11は、RAM102に保存された単板画像に図13に示すようなLPF(ローパスフィルタ)を適用した後、得られた画像の注目画素に対して、注目画素の周辺画素との画素値の変動の指標である構造指標D(x,y)を算出する。すなわち、構造指標算出部11は、入力画像の各画素周囲の画素値の凹凸の大きさを評価し、評価結果を各画素の構造指標として算出し、構造指標を高周波成分抽出部12及び平滑化部13に出力する。
なお、単板画像に適用するLPFとして、図13に示したものは一例であり、他のLPFを適用することもできる。
【0020】
構造指標D(x,y)としては、公知の種々の手法を用いることができ、例えば、画像V(x,y)に対して、以下の式(1)に示すようにラプラシアンフィルタ(図3参照)L(x,y)を適用して絶対値を取ったものを適用することができる。
D(x,y)=|ΣΣL(p,q)*V(x+p,y+q)| ・・・ (1)
但し、−1<=p,q<=1である。
【0021】
また、上記の他、下記の式(2)に示すように局所分散に相当するものを適用することもできる。
D(x,y)=ΣΣ|V(x+p,y+q)−A(x,y)| ・・・ (2)
A(x,y)=ΣΣV(x+p,y+q)/(N*N)
但し、−N/2<=p,q<=N/2である。
なお、画像が単板画像である場合は適宜輝度画像に変換後、上記計算を行うものとする。
【0022】
高周波成分抽出部12は、構造指標D(x,y)の高周波成分である高周波構造指標を抽出する。つまり、構造指標D(x,y)から後述する平滑化構造指標Da(x,y)を差し引いたものを高周波構造指標として算出する。本実施の形態においては、高周波成分の抽出は、後述する平坦度指標算出部14において行っているため、図2において、高周波成分抽出部12が平坦度指標算出部14に含まれるも例を示している。
【0023】
平滑化部13は、構造指標D(x,y)を平滑化した平滑化構造指標Da(x,y)を算出する。つまり、平滑化部14では、構造指標D(x,y)に空間平滑化を施し、平滑化された平滑化構造指標Da(x,y)を算出し、平坦度指標算出部14に出力する。
なお、平滑化についても公知の手法を用いることができ、例えば、以下の式(3)に示すように、単純平滑化を適用することができる。
Da(x,y)=ΣΣD(x+p,y+q)/(N*N) ・・・ (3)
但し、−N/2<=p,q<=N/2である。
また、重みつき平滑化などを用いることもできる。
【0024】
平坦度指標算出部14は、平滑化構造指標Da(x,y)と高周波構造指標{D(x,y)−Da(x,y)}とを合成した合成指標を注目画素の平坦度指標F(x,y)として算出する。算出された平坦度指標F(x,y)は、ノイズ低減部15に出力される。
平坦度指標F(x,y)は、小さいほど平坦部、大きいほど高コントラストエッジ部であることを示し、中間の値は低コントラストから中コントラストのテクスチャまたはエッジであることを示す指標であり、平坦度指標F(x,y)により平坦部と低コントラストテクスチャ・エッジ部を判別することができる。詳細は後述する。
【0025】
ノイズ低減処理部15は、平坦度指標に応じて、注目画素のノイズ低減処理を行う。すなわち、ノイズ低減処理部15は、現像部10の出力結果U(x,y)に対し、平坦度指標算出部14から得られた平坦度指標F(x,y)を用いてノイズ低減処理を行う。
ノイズ低減処理として、画像U(x,y)を低周波成分UL(x,y)と高周波成分UH(x,y)に分解し、高周波成分UH(x,y)に公知のコアリング処理を行った後に再度低周波成分と合成する方法がある。
【0026】
なお、画像を周波数成分に分解する手法は公知のあらゆるものを用いることができ、例えば、以下の式(4)のように、U(x,y)をローパスフィルタl(x,y)でフィルタリングして低周波成分UL(x,y)を求め、高周波成分は原画像との差分として得る方法がある。
UL(x,y)=ΣΣU(x+p,y+q)*l(p,q)・・・ (4)
UH(x,y)=U(x,y)−UL(x,y) ・・・ (5)
【0027】
つまり、ノイズ低減後の画像Un(x,y)は、以下の式(6)に従って算出される。
Un(x,y)=UL(x,y)+coring(UH(x,y),t)
・・・ (6)
ここで、coring(v,t)は閾値tでコアリングを行う関数で、図4に示すように、vの絶対値t以下の範囲を0に、その他の範囲を連続性を保つように変換する。その結果、最終結果Un(x,y)は、U(x,y)から閾値t以下の振幅の高周波が除去されたものとなる。ここで、閾値tをU(x,y)に混入しているノイズ成分の振幅より大きく設定すれば、U(x,y)に混入したノイズ成分をある程度除去することができる。
【0028】
しかし、ノイズ成分の振幅が大きい場合、この方式でノイズを除去するには閾値tを大きくしなければならず、するとU(x,y)の低コントラストエッジの高周波成分も閾値t以下になり、除去されてしまうという問題が生じる。
そこで、本実施の形態では、上記(6)式において、閾値tを、平坦度指標算出部14で得られた平坦度指標F(x,y)に基づいて画像の場所毎に制御する。
例えば、
F(x,y)<Tfのとき、 t=t0 ・・・(7)
ただし、Tfは所定の閾値
その他の場合のとき、 t=0 ・・・(8)
【0029】
このように制御すると、F(x,y)が小さく平坦と判定されるところでは高周波成分UH(x,y)の殆どが0に変換される結果、高周波成分に含まれるノイズが除去され、F(x,y)が大きくエッジと判定されるところでは高周波成分が一切除去されなくなるため、平坦部でのノイズ除去と低コントラストエッジの維持が両立できるようになる。
【0030】
ここで、ノイズ低減部15において、構造指標D(x,y)及び平滑化構造指標Da(x,y)を直接ノイズ低減処理に用いた場合の課題を、図5及び図6を用いて説明する。以下、簡単のため、処理対象は画像ではなく一次元信号をとする。
【0031】
図5は、ノイズ重畳前の信号(a)にノイズが重畳された信号(b)から、構造指標Dを用いて直接ノイズ低減処理を行った場合の様子を示したもので、(d)に、算出された構造指標Dを示している。この例のように、構造指標は信号の凹凸を検出するものなので、一般にノイズに敏感に反応し、大きく変動している。(c)はノイズが重畳された(b)信号の高周波を示したもので、原信号左側の平坦部には本来高周波がないはずであるが、ノイズの影響で高周波が多く発生している。
【0032】
そこで、本来の平坦部での高周波をできるだけ上述のコアリング処理で除去するため、まず平坦部での構造指標の最大値以上の値を持つ閾値(図5(d)T:2点鎖線で表記)を設定し、閾値以上の構造指標をとるところをエッジ又は構造部、閾値以下の指標をとるところを平坦部と判別する。そして、平坦部では、図5(c)に示した平坦部区間での高周波絶対値の最大値以上の閾値をコアリング閾値と設定し、コアリング処理を行う。
【0033】
この処理を行った結果の、高周波コアリング結果を図5(e)に、原信号低周波成分との最終合成結果を図5(f)に示した。この結果からわかるように、ノイズの影響を大きく受けた構造指標Dでは入力画像に構造のある部分でもエッジ又は構造部と安定的に判断することが難しい。このため、本来構造のある部分でノイズ振幅が大きかった部分のみ構造を残すに留まり、結果として不自然な処理結果となってしまう。
【0034】
これに対し、平滑化された構造指標Daを用いて同様の処理を行った例を図6に示す。図6(a)は平滑化した構造指標Daを平滑化前(点線)と対比して示したもので、ノイズによる影響が大きく緩和されていることがわかる。図5と同様に平坦部での構造指標Daの最大値以上の値を持つ閾値(図6(c)T’:2点鎖線で表記)を設定し、平坦部とエッジ又は構造部を判別した結果が図6(c)実線で、大きくなっているところがエッジ又は構造部と判定された範囲を示している。同様の結果を平滑化前の指標Dに対して示した図6(d)に比べると、エッジ又は構造部と判定された範囲が連続的に広くなっており、最終結果の図6(g)においても平滑化前の指標Dを用いた場合より構造が維持できていることがわかる。
【0035】
しかし、入力画像に構造があっても平坦と判定されてしまう範囲も図6(c)点線矢印で示したように連続的になっているため、その区間では構造が潰れてしまい、構造が残る部分と潰れる部分がムラ状になってしまうこともわかる。
このように、平滑化された構造指標Daを用いてノイズ低減処理を制御する場合、ノイズによる誤判定の影響は緩和されるものの、誤判定した場合はその範囲が連続的になり、構造の残り具合に低周波ムラが生じるという課題がある。
【0036】
上述のように、構造指標D(x,y)及び平滑化構造指標Da(x,y)を直接ノイズ低減処理に用いた場合の課題を考慮して、平坦度指標算出部14では、構造指標平滑化構造指標Da(x,y)に対し、構造指標D(x,y)の高周波成分の変動を反映させることで、誤判定する範囲が連続的になる課題を緩和している。
【0037】
具体的には、例えば以下の式(9)により平坦度指標を算出することができる。
F(x,y)=α*Da(x,y)+β*(D(x,y)−Da(x,y))
・・・(9)
但し、α及びβは、正の定数である。
なお、D(x,y)の高周波成分が平滑化構造指標に反映されるような算出手法であればこの限りではない。
【0038】
このように平坦度指標を算出することによる効果を図7に示す。図7中左側は、平滑化構造指標Daを用いた場合の結果で、図6の左側図と同様である。これに対し、上記(9)式で算出された平坦度指標F(x,y)を例示したものが図7(b)であり、この平坦度指標を用いて同様の平坦度判定を行うと、図7(d)に示すように、判定結果が空間的に細かく変動するようになる。その結果、図7(f)丸印で示したように、平滑化構造指標Da(x,y)を用いた場合は連続的に平坦と見なされていたところでも部分的に構造・エッジ判定されるようになり、最終結果の図7(h)も、平滑化構造指標Daを用いた場合の最終結果である図7(g)に比べてより自然なものとなっている。
【0039】
以上述べたように、本実施形態によれば、画像から局所的な凹凸を評価する構造指標を算出し、これを平滑化した平滑化構造指標(大局的指標)にさらに平滑化前の構造指標の高周波を反映させた(例えば加重混合する)平坦度指標を算出している。そしてこれを最終的な平坦・構造を判定するための指標とするので、平坦度指標を用いてノイズ低減処理を行うことにより、ノイズによる誤判定の影響が少なく且つ自然な仕上がりのノイズ低減結果が得られる。
【0040】
なお、本願発明は、局所的な凹凸を評価する構造指標Dと、平滑化した平滑化構造指標(大局的指標)Daとを用いて最終的な平坦度指標Fを算出している点で、上述した特許文献3と共通する。しかしながら、特許文献3では、最終的な平坦度指標に相当するものがD/Daとなり、その作用効果は本願発明と全く異なっている。
【0041】
特許文献3では、畳み込みマスクの標準偏差係数σ2が大きいほどぼかしが強く、小さいほどぼかしが弱くなることによってノイズ低減の強弱を調整している。一方、上記実施形態によれば、では最終的な平坦・構造判定指標Fは、大きいほどぼかしが弱く、小さいほどぼかしが強くなるようにノイズ低減の強弱を調整するため、Fはちょうど標準偏差係数σの逆数に対応する。特許文献3における数式9よりσ2=σg2/σl2であり、大局分散σg2は本願発明では平滑化構造指標(大局的指標)Daに相当し、局所分散σl2は本願では構造指標Dに対応することから、平坦度指標Fに相当する指標は、特許文献3では1/σ2=σl2/σg2⇒D/Daとなる。
【0042】
図8に、特許文献3と本願発明の差を示した。図8(a)にノイズ付加前信号、図8(b)にノイズ付加後信号を示した。矢印で示した範囲が構造(テクスチャ)、その他の範囲が平坦部である。
この信号から構造指標Dを算出した例が図8(c)、Dを平滑化して得られる大局指標Daが図8(d)であり、大局指標Daには、ノイズの影響によるゆらぎもあるが、平坦部とテクスチャ部での低周波のレベル差が現れ、平坦部とテクスチャ部の分離がDより行いやすくなっていることがわかる。
【0043】
これに対し、先行特許と同じD/Daという指標を算出してみると図8(e)のようになり、ノイズによる低周波のゆらぎは生じなくなるものの、平坦部とテクスチャ部での低周波のレベル差もなくなってしまい、平坦部とテクスチャ部の分離という観点では適切な指標ではないことがわかる。
本願発明における平坦度指標Fは構造指標Dの高周波と低周波を低周波の割合を大きくして混合しているため図8(f)のようになり、Daに現れていた平坦部とテクスチャ部での低周波のレベル差が保たれつつ、低周波のゆらぎがより高周波のゆらぎと混合することで緩和されていることがわかる。
【0044】
なお、上述した例に限らず、図9及び図10に示すフローチャートに従ったソフトウェアによる処理を行うこともできる。
すなわち、平坦度指標算出については、図9のステップS11で局所的な画像の凹凸を構造指標として算出する(式(1)又は式(2))。次にステップS12で構造指標を平滑化し、平滑化された大局的な平滑化構造指標を算出する(式(3))。続いて、ステップS13で平滑化構造指標に構造指標の高周波空間変動を反映(具体的には平滑化前構造指標の高周波成分の加重混合など)させて平坦度指標を算出する(式(9))。
【0045】
そして、図10のステップS21で、現像結果である画像を周波数分解し高周波を抽出する(式(4)、式(5))。次に、ステップS22で、図9のフローチャートに従って平坦度指標を算出する。ステップS23で平坦度指標に応じて高周波成分の平滑化強度を決定する(式(7)、式(8))。次のステップS24で高周波成分を平滑化し、最後にステップS25で高周波成分と低周波成分を再合成し、ノイズ低減結果を得る(式(6))。
【0046】
(第2の実施形態)
以下、本発明の第2の実施形態について説明する。上記した第1の実施形態においては、現像前の画像(RAWデータと呼ばれ、単板(1画素に一色データしかない)状態の場合を含む)から構造指標Dを算出していたが、本実施の形態では、構造指標算出部が現像部10で現像されたカラー画像から輝度成分を算出し、輝度成分に対して構造指標Dを算出する。
【0047】
平坦度指標算出部14では、式(9)に替えて下記式(10)により平坦度指標を算出する。
F(x,y)=α*Da(x,y)−β*(D(x,y)−Da(x,y))
・・・ (10)
但し、α及びβは正の定数である。
【0048】
ここで、式(9)に替えて式10を用いる利点について、図11を用いて説明する。図11左側は、式(9)で補正された構造指標を用いた場合の結果で、図7の右側と同様である。ここで、式(9)を用いた場合の(g)のノイズ低減最終結果において構造の残り具合に着目すると、実線丸印で示した構造が殆ど潰れず残るところと、点線丸印で示した、構造が残ってはいるが、かなり潰れているところとの落差はまだ大きいことがわかる。この現象は、以下のように説明できる。
【0049】
(1)
式(9)で補正した場合、局所的にD(x,y)>Da(x,y)の部分では、
F(x,y)>Da(x,y)となり、よりコアリングがかかりにくくなる。
【0050】
(2)
同様に、局所的にD(x,y)<Da(x,y)の部分では、
F(x,y)<Da(x,y) となり、よりコアリングがかかりやすくなる。
【0051】
(3)
構造指標と、例えば式(4)、式(5)で得られる高周波振幅(絶対値)の間には、共に画素値の空間変動の大きさを反映するものであるため、相関がある。
【0052】
(4)
上記(1)と(3)を組み合わせると、もともと局所的に高周波振幅が周囲より大きかった部分では(局所的な)構造指標D(x,y)も大きく、D(x,y)>Da(x,y)が成り立ちやすいため、大きな高周波振幅が小さなコアリング閾値でコアリングされる傾向が強まり、一層高周波が残りやすくなる。
【0053】
(5)
上記(4)と同様、上記(2)と(3)を組み合わせると、もともと局所的に高周波振幅が周囲より小さかった部分では、
(局所的な)構造指標D(x,y)も小さく、D(x,y)<Da(x,y)が成り立ちやすいため、小さな高周波振幅が大きなコアリング閾値でコアリングされる傾向が強まり、一層高周波が潰れやすくなる。
【0054】
そこで、D(x,y)>Da(x,y)の部分ではF(x,y)<Da(x,y)、D(x,y)<Da(x,y)の部分ではF(x,y)>Da(x,y)となるように構造指標の補正を行うと、(4)、(5)に示した相乗効果が相殺されて構造の残りぐあいの落差が小さくなり、さらに自然な処理結果が得られる。式7の補正式はこの特性を持っており、図11(b)に示した式7で補正した平坦度による処理結果は(h)に示すように、構造の残りぐあいの落差が小さくなっている。
【0055】
なお、式(10)をさらに拡張すると、以下のような変形例が考えられる。
F(x,y)=γ(Da(x,y))*Da(x,y)
+δ(Da(x,y))*(D(x,y)−Da(x,y))
・・・(11)
但し、γ及びδは関数である。
【0056】
式(11)では、平滑化前の構造指標Dの高周波を平坦度指標Fに反映させる仕方を関数γ、δにより平滑化構造指標Daの大きさに応じて変えられるようになっており、例えば図12に示すように、
(A)Daがある範囲のみγ(Da)を負にすることで、上述の効果を低コントラスト部のみに限定することができる。
(B)Daが大きいときはγが小さくなり、F(x,y)が構造指標Dに近づくような補正を行うことで、高コントラストエッジ部周囲の平坦部ではDa(x,y)が大きくなってしまい、構造があると誤判定しやすくなる課題を解決できるなどの効果を得ることができる。
【0057】
また、別の変形例として、以下の式(12)のように算出することができる。
F(x,y)=clip_maxmin(α*Da(x,y)−β*(D(x,y)−Da(x,y)),Da(x,y)−Tmin,Da(x,y)+Tmax)
・・・(12)
但し、α及びβは正の定数である。
【0058】
式(12)に示すように、クリップ処理を導入することも有効である。式(12)中、clip_maxmin(x,tmin,tmax)は、xをtmin以上tmax以下に制限する(x<tminのときxをtmin,x>tmaxの時xをtmaxとする)関数で、Tmin,Tmaxを調整することで、局所的に高周波振幅が周囲より大きかった部分で平坦度指標F(x,y)がDa(x,y)より小さくなってしまう程度,および,局所的に高周波振幅が周囲より小さかった部分で平坦度指標F(x,y)がDa(x,y)より大きくなってしまう程度を制限できる。その結果、局所的に高周波振幅が周囲より大きすぎたり小さすぎたりする部分の構造の残りぐあいを加減することができるようになる。
【0059】
このように、平滑化の構造指標前対平滑化後の構造指標の大小関係と、平坦度指標対平滑化後の構造指標の大小関係が少なくとも一部反転するように補正を行い、また補正の程度を平滑化後構造指標に応じて変えられるようにすることで、一層自然な処理結果が得られるようになる。
【符号の説明】
【0060】
10 現像部
11 構造指標算出部
12 高周波成分抽出部
13 平滑化部
14 平坦度指標算出部
15 ノイズ低減部
101 撮像部
102 RAM
103 画像処理装置
104 記録部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13