特表-13161940IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧
再表2013-161940画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2013年10月31日
【発行日】2015年12月24日
(54)【発明の名称】画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
(51)【国際特許分類】
   G06T 5/00 20060101AFI20151201BHJP
【FI】
   G06T5/00 705
【審査請求】未請求
【予備審査請求】未請求
【全頁数】34
【出願番号】特願2014-512683(P2014-512683)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2013年4月25日
(31)【優先権主張番号】特願2012-102019(P2012-102019)
(32)【優先日】2012年4月27日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KM,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ,VC
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100079005
【弁理士】
【氏名又は名称】宇高 克己
(72)【発明者】
【氏名】先崎 健太
(72)【発明者】
【氏名】塚田 正人
(72)【発明者】
【氏名】蝶野 慶一
【テーマコード(参考)】
5B057
【Fターム(参考)】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE02
5B057CE06
5B057CG05
5B057DA17
5B057DB02
5B057DB09
5B057DC16
(57)【要約】
本発明は、入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する画像処理方法である。
【特許請求の範囲】
【請求項1】
入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する
画像処理方法。
【請求項2】
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する請求項1に記載の画像処理方法。
【請求項3】
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
請求項1に記載の画像処理方法。
【請求項4】
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
請求項2又は請求項3に記載の画像処理方法。
【請求項5】
入力画像から、複数の解像度の異なる画像を生成し、
異なる画像毎に、請求項1から請求項4のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
画像処理方法。
【請求項6】
入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、
予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と
を有する画像処理装置。
【請求項7】
前記骨格成分・残差成分分離手段は、
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する請求項6に記載の画像処理装置。
【請求項8】
前記骨格成分・残差成分分離手段は、
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
請求項6に記載の画像処理装置。
【請求項9】
前記骨格成分・残差成分分離手段は、
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
請求項7又は請求項8に記載の画像処理装置。
【請求項10】
入力画像から、複数の解像度の異なる画像を生成する手段を有し、
前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
請求項6から請求項9のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、画像処理システム、画像処理装置および画像処理プログラムに関する。
【背景技術】
【0002】
画像処理技術の中でも、画像に含まれるノイズを低減する技術は、撮像した画像をより鮮明に再現するために、欠かせない技術である。ノイズを低減する技術としては、例えば、非特許文献1に開示された全変分(Total―Variation、 T−V)ノルム正則化によるノイズ除去法がある。以下、簡単のため、T−V法と称す。
【0003】
図19に従来のT−V法を用いた画像処理方法を示す。
【0004】
図20は従来のT−V法を用いた画像処理方法を説明するためのフローチャートである。
【0005】
入力画像Fは骨格成分・残差成分分離部101に供給される。
【0006】
骨格成分・残差成分分離部101では、供給された画像Fを、強エッジと平坦領域から構成される骨格成分UT-Vとテクスチャとノイズから構成される残差成分VT-Vに分離する。つまり、入力画像Fは以下の式(1)のように骨格成分UT-Vと残差成分VT-Vの和で表される。
骨格成分UT-Vは、以下の式(2)で表されるUT-Vの全変分ノルムJ(UT-V)を最小化することで得られる。
なお、式中のxは骨格成分UT-Vの水平方向画素位置、yは骨格成分UT-Vの垂直方向画素位置を示す。
【0007】
この最小化問題はChambolleのProjection法を反復して解ける。あるいは、ChambolleのProjection法の代替法として、T−Vノルムの劣勾配を用いた劣勾配法を用いることができる。
【0008】
kを反復回数、
をk回目の反復の時の骨格成分、βを対象画像のノイズの標準偏差に基づいて設定する値とし、初期値として、k=0、
を設定する(ステップS1)。
【0009】
以下の式(3)で表すように、劣勾配法を用いて、k+1回目の反復の時の骨格成分
を計算する(ステップS2)。
反復の停止条件について述べる。入力画像の高さをM、幅をN、k回目の反復の時の残差成分
のm行n列要素を
とすると、予め推定した対象画像のノイズの標準偏差σnoiseを用いて、
となったときに反復を停止する(ステップS3)ことが考えられる。式(4)はつまり、残差成分
がノイズであるという仮定に基づく。あるいは、閾値εを用いて、
となったときに反復を停止する(ステップS3)ことが考えられる。式(5)はつまり、k回目の反復の結果
とk+1回目の反復
を比較し、変動量が十分小さいと判断したときに解が収束したとみなしている。
【0010】
また、反復回数kが最大の反復回数kmaxに到達したときにも反復を停止する(ステップS4)。反復回数がk未満であり、
が収束していないとき、k=k+1として劣勾配法を続行する(ステップS5)。
【0011】
こうして得られた骨格成分UT-Vと残差成分VT-Vのうち、骨格成分UT-Vを以下の式(6)のようにノイズ除去画像Zとして出力する(ステップS6)。
図21は、骨格成分・残差成分分離部101で分離された残差成分のノイズ成分を減衰させ、骨格成分に合成する処理を有する、図19のT−V法を用いた画像処理方法を拡張した画像処理方法である。
【0012】
図22は、図21で示す画像処理方法を説明するためのフローチャートである。
【0013】
骨格成分・残差成分分離部101で分離された残差成分VT-Vをノイズ抑制部102に供給し、以下の式(7)のように残差成分VT-Vにノイズ成分を減衰させる関数fを作用させる(ステップS7)。骨格成分UT-Vと、ノイズ成分が減衰された残差成分(すなわちテクスチャ成分)f(VT-V)を合成し、ノイズが低減された画像Zとして出力する(ステップS6)。なお、ステップS1からステップS5は図19のT−V法を用いた画像処理方法と同様であるため、説明を省略する。
関数fとしては、図23(a)で示される軟判定閾値処理、図23(b)で示される硬判定閾値処理、図23(c)で示されるfactor処理などがあるが、これらに限定されるものではない。関数fの入力値をx、出力値をf(x)、閾値をτとすると、図23(a)で示される軟判定閾値処理は、以下の式(8)で表される。
なお、式中のsign関数は正負符号を出力する関数である。
【0014】
また、図23(b)で示される硬判定閾値処理は以下の式(9)で表される。
また、γを適当な係数とすると、図23(c)で示されるfactor処理は以下の式(10)で表される。
また、軟判定閾値処理または硬判定閾値処理と、facotor処理を式(11)のように組み合わせることも可能である。
式(11)中では軟判定閾値処理を用いて関数を構成したが、当然ながら硬判定閾値処理を用いて同様の関数を構成することも可能である。
【先行技術文献】
【非特許文献】
【0015】
【非特許文献1】L. Rudin, S. Osher, E. Fatemi, “Nonlinear Total Variation based noise removal algorithms," Physica D vol.60, 1992, pp.259-268.
【発明の概要】
【発明が解決しようとする課題】
【0016】
しかしながら、非特許文献1の技術は、上述のChambolleのProjection法を、解が収束するまで繰り返し適用する反復型の処理であるため、計算コストが高くなるという課題がある。
【0017】
また、T−V法は、高周波ノイズは除去できるものの、ノイズ粒子の分布密度のムラにより発生し、高周波ノイズと比べて比較的広い範囲に広がる低周波ノイズに対応できない課題がある。低周波ノイズは数ピクセルから数十ピクセルといった広範な領域におけるノイズ粒子の分布密度ムラによるものであり、このような低周波ノイズに対するT−Vノルムは小さくなるため平坦領域(ノイズがない)とみなされる。すなわち、T―V法では原理的に低周波ノイズには対応することができない。
【0018】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は様々な周波数帯のノイズを効果的かつ高速に除去できる画像処理方法、及び画像処理装置を提供することにある。
【課題を解決するための手段】
【0019】
本発明は、入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する画像処理方法である。
【0020】
本発明は、入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段とを有する画像処理装置である。
【発明の効果】
【0021】
本発明によれば、様々な周波数帯のノイズを効果的かつ高速に除去できる。
【図面の簡単な説明】
【0022】
図1】第1の実施の形態の画像処理方法の説明図である。
図2】第1の実施の形態の画像処理方法の手順例を説明するフローチャートである。
図3図3(a)はノイズを含んだ原画像である。図3(b)は図3(a)をWavelet Shrinkage法でノイズ除去した結果の画像である。
図4】第1の実施の形態から派生する画像処理方法の説明図である。
図5】第1の実施の形態から派生する画像処理方法の手順例を説明するフローチャートである。
図6】第1の実施の形態の画像処理装置の構成例を示すブロック図である。
図7】第1の実施の形態から派生する画像処理装置の構成例を示すブロック図である。
図8】第2の実施の形態の画像処理方法の説明図である。
図9】第2の実施の形態の画像処理方法の手順例を説明するフローチャートである。
図10】第2の実施の形態の画像処理装置の構成例を示すブロック図である。
図11】第3の実施の形態の画像処理方法の説明図である。
図12】第3の実施の形態の画像処理方法の手順例を説明するフローチャートである。
図13】第3の実施の形態の画像処理装置の構成例を示すブロック図である。
図14】第3の実施の形態から派生する画像処理方法の説明図である。
図15】第4の実施の形態の画像処理方法の説明図である。
図16図16(a)は原画像である。図16(b)は図16(a)の原画像に対し、ウェーブレット変換を適用した結果である。図16(c)は図16(a)の原画像に対し、ウェーブレット変換を再帰的に3回適用した結果である。
図17】第4の実施の形態の画像処理方法の手順例を説明するフローチャートである。
図18】第4の実施の形態の画像処理装置の構成例を示すブロック図である。
図19】既存の画像処理方法の説明図である。
図20】既存の画像処理方法の手順例を説明するフローチャートである。
図21】既存の画像処理方法の説明図である。
図22】既存の画像処理方法の手順例を説明するフローチャートである。
図23図23(a)は軟判定閾値処理の入出力応答である。図23(b)は硬判定閾値処理の入出力応答である。図23(c)はfactor処理の入出力応答である。
【発明を実施するための形態】
【0023】
<第1の実施の形態>
本発明の第1の実施の形態を説明する。
【0024】
図1は、本発明の第1の実施の形態である画像処理方法を説明するための機能ブロック図である。
【0025】
本発明の第1の実施の形態である画像処理方法は、入力画像中のエッジ成分を保存する軽量なノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成部103と、初期ノイズ除去画像生成部103において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部を制御する反復制御部104と、図19に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部101とを備えたことを特徴とする。
【0026】
なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したT−V法で説明するが、これに限定されるものではない。
【0027】
図2は、第1の実施の形態の画像処理方法を説明するためのフローチャートである。
【0028】
以下、処理の流れについて説明する。
【0029】
入力画像Fは、初期ノイズ除去画像生成部103に供給される。
【0030】
初期ノイズ除去画像生成部103では、入力画像Fに対してエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像Uinitを生成する(ステップS8)。ノイズとテクスチャから構成される初期残差成分をVinitとすると、以下の式(12)が成り立つ。
生成された初期ノイズ除去画像Uinitは骨格成分・残差成分分離部101に供給される。また、分離された初期残差成分Vinitは反復制御部104に供給される。
【0031】
ステップS8における、エッジ成分を保存する軽量なノイズ除去方法について説明する。軽量なノイズ除去方法はWavelet Shrinkage(WS)法やBiltateral Filter(BF)などが適用できる。これらの手法は、エッジ保存性が高く、T−V法と比較して低計算コストの画像ノイズ除去方法である。
【0032】
WS法は、画像を2次元ウェーブレット変換し、ウェーブレット変換係数の高周波成分を0方向に減衰させた後に2次元ウェーブレット逆変換し、画像を再構成することで、ノイズを低減した画像を得る。ウェーブレット変換係数をw、Shrinkage処理後のウェーブレット変換係数をw’、減衰量をλとすると、減衰処理は、例えば、以下の式(13)や式(14)で表される。
なお、式(13)中のsign関数は正負符号を出力する関数である。
【0033】
通常の画像において、絶対値の小さなウェーブレット変換係数はほぼノイズ成分であるため、適切な減衰量λを設定してウェーブレット変換係数を減衰させることで、画像に含まれるノイズ成分を低減できる。また、エッジ成分を表すとされる絶対値の大きなウェーブレット変換係数は残るため、結果的に入力画像中のエッジは保存される。
【0034】
BFは、重み付き平滑化フィルタの派生型であり、フィルタ係数を決定する以下の2つの指標により、エッジを保存するノイズ除去法を実現する。
【0035】
1つめの指標は、ノイズ除去対象画素とその周辺画素の空間的距離である。対象画素に空間的に近接する画素は、対象画素と相関が高いとみなして、フィルタ係数の重みを大きくする。逆に、空間的に離れた画素は、対象画素と相関が低いとみなして、フィルタ係数の重みを小さくする。
【0036】
2つめの指標は、ノイズ除去対象画素とその周辺画素の画素値の差である。画素値の差が小さいほど、対象画素との相関が高いとして、フィルタ係数の重みを大きくする。逆に、画素値の差が大きな画素は、対象画素との相関が低いとして、フィルタ係数の重みを小さくする。
【0037】
特に2つめの指標により、画素値がほぼ一様な領域、つまり平坦領域では一般的な重み付き平滑化フィルタのように働くため、ノイズを除去することができ、画素値の差の大きな領域、つまりエッジを含む領域では、対象画素以外のフィルタ係数の重みが小さくなるため、エッジが保存される。
【0038】
WS法やBFの計算コストはT−V法と比較して小さい。しかし、WS法は、処理後の画像に視覚的アーティファクトが発生することがある。例を図3に示す。図3(a)はノイズを含む画像、図3(b)はWS法でノイズを除去した画像である。図3(b)の全体に元の画像に存在しない不自然な劣化が見られる。また、BFは原理上、ごま塩ノイズといわれる孤立ノイズが除去できない。しかし、本実施の形態におけるWS法とBFは、あくまで初期ノイズ除去画像を生成するために用いられ、本発明の後段の処理によってWS法で発生するアーティファクトやBF法で除去できない孤立ノイズは除去されるため、問題とならない。また、従来のWS法では、アーティファクトの発生を軽減するための厳密な減衰量設定が必要であったが、本発明においては、WS法で発生するアーティファクトを後段の処理によって除去できるため、WS法の減衰量設定を簡略化することが可能である。
【0039】
反復制御部104は、初期ノイズ除去画像生成部103から供給される初期残差成分Vinitに基づいて、T−V法の反復回数を制御する。
【0040】
まず、初期ノイズ除去画像生成部103から供給される初期残差成分Vinitから標準偏差σinitを以下のように計算する(ステップS9)。ステップS9では、初期残差成分Vinitのm行n列要素を
とすると、標準偏差σinitは以下の式(15)で表されるものとして計算する。
従来のT−V法では式(3)で示されるパラメータβや固定値の最大反復回数kmaxが用いられるが、本実施の形態では、予め推定したノイズの標準偏差σnoiseと、ステップS9で計算した標準偏差σinitから、各パラメータを補正する(ステップS10)。
【0041】
例えば、予め推定したノイズの標準偏差σnoiseと、ステップS9で計算した標準偏差σinitから計算される、以下の式(16)で示されるパラメータβ’を用いる。
すなわち、式(16)において、σinitがσnoiseに近い場合には、T−V法の収束解の近傍にあることを意味しており、収束速度を向上させることが可能となる。具体的には、1回の反復において探索する領域を狭めることで収束速度を向上させる。
【0042】
さらに、最大反復回数k’maxを、従来の最大反復回数kmaxと、予め定める最小反復回数kminと、予め推定したノイズの標準偏差σnoiseと、初期残差成分Vinitの標準偏差σinitとを用いて、以下の式(17)のように定める(ステップS10)。
なお、max関数は2つの入力値から大きい方を出力する関数、min関数は2つの入力値から小さい方を出力する関数、round関数は整数値への丸め関数を示す。式(17)より、予め推定したノイズの標準偏差σnoiseとVinitの標準偏差σinitとが近い値であるときは、良い初期解が得られたとみなしてT−V法の反復回数を削減する。逆に、予め推定したノイズの標準偏差σnoiseとVinitの標準偏差σinitとが近い値でないときは、良い初期解が得られなかったとみなしてT−V法の反復回数をkmaxに近い値に保つ。
【0043】
骨格成分・残差成分分離部101は、初期ノイズ除去画像生成部103から供給された初期ノイズ除去画像Uinitを初期解としてT−V法を適用し、反復制御部104の定める反復停止条件に基づいて、以下の式(18)のように強エッジと平坦領域で構成される骨格成分UT-Vとテクスチャとノイズで構成される残差成分VT-Vに分離する。
本実施の形態の骨格成分・残差成分分離部101での処理では、ステップS1における初期値設定において、従来法と異なり、
と設定する。さらに、ステップS3の反復停止判定において、従来法の式(4)ではなく、以下の式(19)を反復停止条件として用いる。
式(19)より、従来のT−V法の反復停止条件と同様に、σnoiseに基づいてT−V法の反復を制御することができ、Vinitの標準偏差σinitがσnoiseに近い場合には探索する領域を狭めることで少ない反復回数でT−V法の解が収束するため、処理の高速化が実現できる。また、ステップS4の反復停止判定において、従来法のkmaxでなく、ステップS10で設定したk’maxを用いる。なお、ステップS2、S5における処理は従来法と同様であるため、説明を省略する。
【0044】
骨格成分UT-Vをノイズが除去された画像とみなして、以下の式(20)のようにノイズ除去画像Zを得る(ステップS6)。
また、当然ながら、本実施の形態では、図21のように、ノイズ成分を減衰させた残差成分VT-Vと、骨格成分UT-Vを合成して、ノイズ除去画像Zを出力する構成も可能である。発明の画像処理方法では、図4のような構成となり、図5のようなフローチャートで表される。骨格成分・残差成分分離部101で分離された残差成分VT-Vをノイズ抑制部102に供給し、以下の式(21)のように、VT-Vにノイズ成分を減衰させる関数fを作用させ(ステップS7)、さらに、ノイズ成分が減衰された残差成分f(VT-V)と、骨格成分・残差成分分離部101から供給される骨格成分UT-Vを合成し、ノイズ除去画像Zとして出力する(ステップS6)。
次に、第1の実施の形態の画像処理方法を適用した具体的な画像処理装置について説明する。図6は、第1の実施の形態の画像処理装置の構成例を示す図である。
【0045】
画像処理装置1000は、入力画像1に対してノイズ除去を施し出力画像2を出力する装置である。
【0046】
画像処理装置1000は、初期ノイズ除去画像生成部3と、初期残差成分保存メモリ4と、初期残差成分の標準偏差計算部5と、初期残差成分の標準偏差保存メモリ6と、劣勾配法のパラメータ計算部7と、劣勾配法のパラメータ保存メモリ8と、劣勾配法の反復制御部9と、骨格成分・残差成分分離部10とを備える。
【0047】
初期ノイズ除去画像生成部3は、入力画像1が与えられると、ステップS8で説明したエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像を生成する。
【0048】
初期残差成分保存メモリ4は、初期ノイズ除去画像生成部3で入力画像1から分離された初期残差成分を保存する。
【0049】
初期残差成分の標準偏差計算部5は、初期残差成分保存メモリ4を参照して、ステップS9で説明した手順で初期残差成分の標準偏差を計算する。
【0050】
初期残差成分の標準偏差保存メモリ6は、初期残差成分の標準偏差計算部5で計算された初期残差成分の標準偏差を保存する。
【0051】
劣勾配法のパラメータ計算部7は、初期残差成分の標準偏差保存メモリ6を参照して、ステップS10で説明した手順で、劣勾配法のパラメータβ’と、劣勾配法の最大反復回数パラメータk’maxを計算する。
【0052】
劣勾配法のパラメータ保存メモリ8は、劣勾配法のパラメータ計算部7で計算された劣勾配法のパラメータを保存する。
【0053】
劣勾配法の反復制御部9は、初期残差成分保存メモリ4と、劣勾配法のパラメータ保存メモリ8を参照して、ステップS3とステップS4で説明した手順で骨格成分・残差成分分離部10における劣勾配法の反復を制御する。
【0054】
骨格成分・残差成分分離部10は、劣勾配法の反復制御部9の制御を受けて、ステップS1、S2、S3、S4、S5で説明した手順で、初期ノイズ除去画像生成部3から供給される初期ノイズ除去画像を初期解として劣勾配法を実行し、初期ノイズ除去画像を骨格成分と残差成分に分離し、骨格成分を出力画像2とする。
【0055】
なお、図6に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
【0056】
さらに、画像処理装置1000は、コンピュータで実現可能であり、画像処理装置を構成する各構成要素、すなわち、初期ノイズ除去画像生成部3と、初期残差成分保存メモリ4と、初期残差成分の標準偏差計算部5と、初期残差成分の標準偏差保存メモリ6と、劣勾配法のパラメータ計算部7と、劣勾配法のパラメータ保存メモリ8と、劣勾配法の反復制御部9と、骨格成分・残差成分分離部10は、コンピュータの中央処理装置(CPU)に上述した機能を実現させるためのプログラムとして実現可能である。
【0057】
画像処理装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第1の実施の形態に限らず、その他の実施の形態でも同様である。
【0058】
また、画像処理装置1000は、図7に示す画像処理装置1001のように、ノイズ成分を減衰させた残差成分と、骨格成分を合成して、出力画像1を生成する構成も可能である。
【0059】
画像処理装置1001は、画像処理装置1000と同様に、初期ノイズ除去画像生成部3と、初期残差成分保存メモリ4と、初期残差成分の標準偏差計算部5と、初期残差成分の標準偏差保存メモリ6と、劣勾配法のパラメータ計算部7と、劣勾配法のパラメータ保存メモリ8と、劣勾配法の反復制御部9と、骨格成分・残差成分分離部10と、を備える。これらの処理は画像処理装置1000と同様であるため、説明を省略する。
【0060】
画像処理装置1001は、画像処理装置1000と異なり、ノイズ抑制部11と、合成部12と、を備える。
【0061】
ノイズ抑制部11では、骨格成分・残差成分分離部10から供給される残差成分から、ステップS7の手順で、ノイズ成分を抑圧する。
【0062】
合成部12では、骨格成分・残差成分分離部10から供給される骨格成分と、ノイズ抑制部11から供給されるノイズ成分が減衰された残差成分(すなわちテクスチャ成分)を合成して出力画像2を生成する。
【0063】
図7に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
【0064】
第1の実施の形態によれば、エッジ成分を保存する軽量なノイズ除去方法を用いて初期ノイズ除去画像を生成してT−V法の初期解とし、さらに入力画像から分離された残差成分に基づいてT−V法の反復回数を制御することで、解が収束するまでに必要なChambolleのProjection法の反復回数を削減し、結果として計算時間が短縮される。
【0065】
<第2の実施の形態>
本発明の第2の実施の形態を説明する。
【0066】
図8は、本発明の第2の実施の形態である画像処理方法を説明するための機能ブロック図である。
【0067】
本発明の第2の実施の形態である画像処理方法は、入力画像中のエッジ成分を保存する軽量なノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成部103と、初期ノイズ除去画像生成部103において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部101を制御する反復制御部104と、図19に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部101と、前記初期ノイズ除去画像生成部103において入力画像から分離された初期残差成分、及び、前記T−V法に基づいて骨格成分と残差成分に分離する骨格成分・残差成分分離部において初期ノイズ除去画像から分離された残差成分のノイズを、初期ノイズ除去画像生成部103において入力画像から分離された初期残差成分の標準偏差に基づいて抑制するノイズ抑制部201を備えたことを特徴とする。
【0068】
なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したT−V法で説明するが、これに限定されるものではない。
【0069】
図9は、本発明の第2の実施の形態の画像処理方法を説明するためのフローチャートである。
【0070】
以下、処理の流れについて説明する。
【0071】
入力画像Fは、初期ノイズ除去画像生成部103に供給される。
【0072】
初期ノイズ除去画像生成部103では、入力画像Fに対してエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像Uinitを生成する(ステップS8)。さらに、入力画像Fからテクスチャとノイズで構成される初期残差成分Vinitを分離する。エッジ成分を保存する軽量なノイズ除去方法については第1の実施の形態と同様であるため、説明を省略する。生成された初期ノイズ除去画像Uinitは骨格成分・残差成分分離部101に供給される。第2の実施の形態では第1の実施の形態と異なり、分離された初期残差成分Vinitは、反復制御部104だけでなく、ノイズ抑制部201にも供給される。
【0073】
反復制御部104は、初期ノイズ除去画像生成部103から供給された初期残差成分Vinitに基づき、T−V法の反復を制御する。反復制御方法を示すステップS9、S10については、第1の実施の形態と同様であるため、説明を省略する。第2の実施の形態では第1の実施の形態と異なり、ステップS9で計算される初期残差成分Vinitの標準偏差σinitはノイズ抑制部201に供給される。
【0074】
骨格成分・残差成分分離部101は、初期ノイズ除去画像生成部103から供給された初期ノイズ除去画像Uinitを初期解としてT−V法を適用し、反復制御部104の定める反復停止条件に基づいて、強エッジと平坦領域で構成される骨格成分UT-Vと、テクスチャとノイズで構成される残差成分VT-Vに分離する。分離方法を示すステップS1、S2、S3、S4、S5については、第1の実施の形態と同様であるため、説明を省略する。残差成分VT-Vはノイズ抑制部201に供給される。
【0075】
ノイズ抑制部201は、反復制御部104から供給された残差成分Vinitの標準偏差σinitに基づき、初期ノイズ除去画像生成部103から供給された残差成分Vinitと骨格成分・残差成分分離部101から供給された残差成分VT-Vにノイズ成分を減衰させる関数fを作用させ、ノイズ成分が減衰された残差成分f(Vinit, VT-V)を生成する(ステップS11)。
【0076】
ステップS11において、関数fは、式(11)を基本式として、これを拡張して構成する。例えば、閾値τ1とτ2、係数γ1とγ2を用いて、軟判定閾値処理とfactor処理の組み合わせを、以下の式(22)のように、残差成分VinitとVT-Vにそれぞれ適用することで関数fを構成できる。
ここで、τ1とτ2は、予め推定した対象画像のノイズの標準偏差σnoiseと反復制御部104から供給された初期残差成分の標準偏差σinitを用いて、
として設定される。a1とa2は係数である。
【0077】
また、γ1=0とすると、第1の実施の形態の図2で示したような、骨格成分・残差成分分離部101で分離された残差成分VT-Vからのみノイズ成分を減衰させることも可能である。この場合にも、反復制御部104から供給された初期残差成分Vinitの標準偏差σinitに基づき、ノイズ成分の減衰量が設定される点が第1の実施の形態とは異なる。
【0078】
当然であるが、軟判定閾値処理とfactor処理の順番を逆にしてもよいし、硬判定閾値処理を組み合わせてもよい。同様の効果を持つ処理であれば、関数fは式(22)に限定されるものではない。
【0079】
最終的に、以下の式(24)のように、骨格成分・残差成分分離部101から供給される骨格成分UT-Vと、ノイズ抑制部201から供給されるノイズ成分が減衰された残差成分(すなわちテクスチャ成分)f(Vinit, VT-V)を合成して、ノイズ除去画像Zを得る(ステップS6)。
上述した動作に基づいて、発明の画像処理方法はノイズ除去画像を生成する。
【0080】
次に、第2の実施の形態の画像処理方法を適用した画像処理装置について説明する。図10は、第2の実施の形態の画像処理装置の構成例を示す図である。
【0081】
画像処理装置1002は、入力画像1に対してノイズ除去を施し出力画像2を出力する装置である。
【0082】
画像処理装置1002は、図7に示す画像処理装置1001のように、初期ノイズ除去画像生成部3と、初期残差成分保存メモリ4と、初期残差成分の標準偏差計算部5と、初期残差成分の標準偏差保存メモリ6と、劣勾配法のパラメータ計算部7と、劣勾配法のパラメータ保存メモリ8と、劣勾配法の反復制御部9と、骨格成分・残差成分分離部10と、合成部12と、を備える。これらの処理は画像処理装置1001と同様であるため、説明を省略する。
【0083】
画像処理装置1002は、画像処理装置1001と異なる処理を実行するノイズ抑制部13を備える。
【0084】
ノイズ抑制部13では、初期残差成分の標準偏差保存メモリ6を参照して得られる初期残差成分の標準偏差に基づき、初期残差成分保存メモリ4を参照して得られる初期残差成分と、骨格成分・残差成分分離部10から供給される残差成分と、から、ステップS11の手順でノイズ成分を抑圧する。
【0085】
図10に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
【0086】
第2の実施の形態によれば、初期ノイズ除去画像生成時に分離した残差成分に基づいて、T−V法で分離した残差成分だけでなく、初期ノイズ除去画像生成時に分離した初期残差成分からもノイズ成分を減衰させて骨格成分に合成することで、エッジやテクスチャをより維持したまま、高速にノイズを除去できる。
【0087】
<第3の実施の形態>
本発明の第3の実施の形態を説明する。
【0088】
第3の実施の形態では、第1の実施の形態の画像処理方法のエッジ保存性を高めた画像処理方法を示す。
【0089】
第1の実施の形態や第2の実施の形態においても、エッジやテクスチャを保った高速なノイズ除去が実現できるが、画像によってはT−V法でノイズが過度に抑圧され、解像度感が低下する場合がある。そこで、第3の実施の形態では、高速にノイズを除去するとともに、ノイズの過抑圧を防止できる画像処理方法について説明する。
【0090】
図11は、本発明の第3の実施の形態である画像処理方法を説明するための機能ブロック図である。
【0091】
本発明の第3の実施の形態である画像処理方法は、WS法に基づいて初期ノイズ除去画像を生成する初期ノイズ除去画像生成部103と、初期ノイズ除去画像生成部103において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部を制御する反復制御部104と、図19に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部101と、初期ノイズ除去画像生成部103において、初期ノイズ除去画像を生成する過程で計算されるウェーブレット変換係数とノイズ減衰量に基づいて、骨格成分・残差成分分離部101で生成される骨格成分を制約するための空間を生成する制約空間生成部304と、骨格成分・残差成分分離部101において生成された骨格成分のウェーブレット変換係数を制約空間生成部304において生成される制約空間に射影する射影部306を備えたことを特徴とする。
【0092】
なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したT−V法で説明するが、これに限定されるものではない。
【0093】
図12は、第1の実施の形態の画像処理方法を説明するためのフローチャートである。
【0094】
以下、処理の流れについて説明する。
【0095】
入力画像は、初期ノイズ除去画像生成部103に供給される。
【0096】
初期ノイズ除去画像生成部103では、WS法を用いて初期ノイズ除去画像生成する。
【0097】
まず、ウェーブレット変換部301では、供給された入力画像をウェーブレット変換し(ステップS12)、ウェーブレット変換係数をShrinkage部302と制約空間生成部304に供給する。
【0098】
Shrinkage部302では、ウェーブレット変換部301から供給されたウェーブレット変換係数に対してShrinkageを行う(ステップS13)。例えば、Shrinkageの一形態として、式(13)や式(14)の処理を適用できる。さらに、Shrinkageが適用されたウェーブレット変換係数をウェーブレット逆変換部303に供給し、Shrinkageの減衰量λを制約空間生成部304に供給する。
【0099】
ウェーブレット逆変換部303では、Shrinkage部302から供給されたウェーブレット変換係数をウェーブレット逆変換し(ステップS14)、初期ノイズ除去画像Uinitと残差成分Vinitを得る。得られた初期ノイズ除去画像Uinitを骨格成分・残差成分分離部101に、残差成分Vinitを反復制御部104に供給する。
【0100】
制約空間生成部304では、ウェーブレット変換部301から供給されたウェーブレット変換部係数と、Shrinkage部302から供給された減衰量λを用いて、制約空間Sを生成する(ステップS15)。
【0101】
入力画像の高さをM、幅をN、画像における垂直方向の座標位置をm、水平方向の座標位置をn、ウェーブレット変換係数をwとすると、制約空間Sは以下の式(25)で表される。
なお、式中WT(・)はウェーブレット変換、cは係数を表す。式(25)は、制約空間Sをウェーブレット変換すると、そのウェーブレット変換係数は、入力画像のウェーブレット変換係数の±c×λの範囲内にあることを示す。
【0102】
生成された制約空間Sは射影部306に供給される。
【0103】
反復制御部104は、ウェーブレット逆変換部303から供給されるノイズ成分Vinitに基づいて、T−V法の反復を制御する。反復制御方法を示すステップS9、S10については、第1の実施の形態と同様であるため、説明を省略する。
【0104】
骨格成分・残差成分分離部101は、初期ノイズ除去画像生成部103から供給された初期ノイズ除去画像Uinitを初期解としてT−V法を適用し、反復制御部104の定める反復停止条件に基づいて、骨格成分UT-Vとテクスチャとノイズで構成される残差成分VT-Vに分離する。分離方法を示すステップS1、S2、S3、S4、S5については、第1の実施の形態と同様であるため、説明を省略する。得られた骨格成分UT-Vをウェーブレット変換部305に供給する。
【0105】
ウェーブレット変換部305では、骨格成分・残差成分分離部101から供給された骨格成分UT-Vをウェーブレット変換し(ステップS16)、ウェーブレット変換係数を射影部306に供給する。
【0106】
射影部306では、制約空間生成部304から供給された制約空間Sとウェーブレット変換部305から供給されたウェーブレット変換係数を用いて、以下の式(26)で表す射影処理を行う(ステップS17)。
なお、tはウェーブレット変換部305から出力された、骨格成分UT-Vにウェーブレット変換を適用して得られたウェーブレット変換係数であり、t’は制約空間Sへの射影処理で出力されるウェーブレット変換係数である。
【0107】
つまり、第3の実施の形態において、出力画像Zのウェーブレット変換係数は、入力画像Fのウェーブレット変換係数wm,nの±c×λの範囲内で変動するように制約される。これにより、ノイズが過抑圧されることを防ぐことができる。
【0108】
さらに、射影部306は、式(26)の射影処理適用後のウェーブレット変換係数をウェーブレット逆変換部307に供給する。
【0109】
ウェーブレット逆変換部307では、射影部306から供給されたウェーブレット変換係数をウェーブレット逆変換し(ステップS18)、ノイズを除去した出力画像を得る。
【0110】
上述した動作に基づいて、本発明の画像処理方法はノイズ除去画像を生成する。
【0111】
次に、第3の実施の形態の画像処理方法を適用した具体的な画像処理装置について説明する。図13は、第3の実施の形態の画像処理装置の構成例を示す図である。
【0112】
画像処理装置1003は、入力画像1に対して画像処理を施し出力画像2を出力する装置である。
【0113】
画像処理装置1003は、図7に示す画像処理装置1000のように、初期残差成分保存メモリ4と、初期残差成分の標準偏差計算部5と、初期残差成分の標準偏差保存メモリ6と、劣勾配法のパラメータ計算部7と、劣勾配法のパラメータ保存メモリ8と、劣勾配法の反復制御部9と、骨格成分・残差成分分離部10と、制約空間生成部14と、制約保存メモリ15と、制約処理部16とを備える。これらの処理は画像処理装置1000と同様であるため、説明を省略する。
【0114】
初期ノイズ除去画像生成部3は、ステップS12、S13、S14の手順で、WS法を用いた初期ノイズ除去画像生成を実行し、初期ノイズ除去画像生成の過程で得られるウェーブレット変換係数と減衰量を、制約空間生成部14に供給する。
【0115】
制約空間生成部14では、初期ノイズ除去画像生成部3から供給されるウェーブレット変換係数と減衰量から、ステップS15の手順で制約空間を生成する。
【0116】
制約処理部16では、骨格成分・残差成分分離部10から供給される骨格成分と、制約空間生成部14から供給される制約空間と、から、ステップS16、S17、S18の手順で、骨格成分の変動範囲を制約する。
【0117】
図13に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
【0118】
第3の実施の形態によれば、T−V法が過度にノイズを抑圧したことで解像度感が低下する問題を解決し、エッジやテクスチャをより維持したまま、高速にノイズを除去できる。
【0119】
なお、第3の実施の形態を第2の実施の形態と組み合わせることで、図14のように、よりエッジとテクスチャを維持する画像処理方法を実現することも可能である。処理の説明は省略する。
【0120】
<第4の実施の形態>
本発明の第4の実施の形態を説明する。
【0121】
図15は、本発明の第4の実施の形態である画像処理方法を説明するための機能ブロック図である。
【0122】
第4の実施の形態では、第1の実施の形態の画像処理方法の低周波ノイズ除去性能を高めた画像処理方法を示す。
【0123】
図15の構成では、3階層の多重解像度ウェーブレット変換を行う場合の処理の流れを示しているが、3階層以外でも容易に拡張が可能である。図16に多重解像度ウェーブレット変換の例を示す。図16(a)が原画像、図16(b)が1段のウェーブレット変換、図16(c)が3階層のウェーブレット変換を示す。図16(b)において、Lは低周波側、Hは高周波側を示し、LとHの組み合わせでサブバンドを表現する。例えば、LHは、水平方向が低周波側、垂直方向が高周波側であることを示す。図16(b)におけるLL成分に対して再帰的にウェーブレット変換を適用することで、図16(c)のような多重解像度ウェーブレット変換が実現される。以後、多重解像度ウェーブレット変換において、第k階層のLL成分を、LLと表記する。第k階層のLH、HL、HH成分も同様に表記する。
【0124】
多重解像度ウェーブレット変換のLL成分は、ウェーブレット変換係数であるものの、原画像の縮小画像としての側面も持つ。例えば、3階層の多重解像度ウェーブレット変換を実行した時の、3階層目のLL成分は、原画像を水平・垂直両方向に1/8した、原画像の1/64の解像度をもつ縮小画像である。T−V法は画像領域におけるノイズ除去処理であるため、LL成分のウェーブレット変換係数に対して実行可能である。深い階層のLL成分は、原画像の低周波成分で構成されると考えられるため、深い階層においてデノイズ処理を実行することで、低周波ノイズを除去することができる。
【0125】
図17は、第4の実施の形態の画像処理方法を説明するためのフローチャートである。
【0126】
以下、処理の流れについて説明する。
【0127】
入力画像Fはウェーブレット変換部401に供給される。
【0128】
ウェーブレット変換部401では、供給された入力画像Fをウェーブレット変換し、ウェーブレット変換係数のLL成分をウェーブレット変換402に供給する。この時点におけるLL成分は、原画像に対して1/4の解像度をもつ縮小画像である。さらに、LH、HL、HH成分をShrinkage部410に供給する。
【0129】
ウェーブレット変換部402では、ウェーブレット変換部401から供給された第1階層のLL成分をウェーブレット変換し、得られたウェーブレット変換係数のLL成分をウェーブレット変換403に供給する。この時点におけるLL成分は、原画像に対して1/16の解像度をもつ縮小画像である。さらに、LH、HL、HH成分をShrinkage部407に供給する。
【0130】
ウェーブレット変換部403では、ウェーブレット変換部402から供給された第2階層のLL成分をウェーブレット変換し、得られたウェーブレット変換係数LL3、LH、HL、HHをShrinkage部404に供給する。
【0131】
この時点で、3階層の多重解像度ウェーブレット変換が実現される(ステップS19)。続いて、最も低解像度な階層からノイズ除去処理を実行する(ステップS20)。
【0132】
Shrinkage部404では、ウェーブレット変換403から供給されたウェーブレット変換係数に対し、Shrinkage処理を適用し、Shrinkage適用後のウェーブレット変換係数を逆ウェーブレット変換部405に供給する。
【0133】
ウェーブレット逆変換部405では、Shrinkage部404から供給されたウェーブレット変換係数を逆ウェーブレット変換し、原画像に対して1/16の解像度をもつ初期ノイズ除去画像U3,initを生成し(ステップS21)、骨格成分・残差成分分離部407に供給する。また、入力画像Fから分離された初期残差成分V3,initを反復制御部406に供給する。
【0134】
反復制御部406では、ウェーブレット逆変換部405から供給されるノイズ成分V3,initに基づいて、骨格成分・残差成分分離部407におけるT−V法の反復を制御する。反復制御方法を示すステップS9、S10については、第1の実施の形態と同様であるため、説明を省略する。
【0135】
骨格成分・残差成分分離部407では、逆ウェーブレット変換部405から供給された初期ノイズ除去画像U3,initを初期解としてT−V法を適用し、反復制御部104の定める反復停止条件に基づいて、骨格成分U3,T-Vとテクスチャとノイズで構成される残差成分V3,T-Vに分離する。分離方法を示すステップS1、S2、S3、S4、S5については、第1の実施の形態と同様であるため、説明を省略する。未処理の上位階層がある(ステップS22)ため、得られた骨格成分U3,T-Vをウェーブレット変換係数のLL’成分とみなして逆ウェーブレット変換408に供給する。
【0136】
第3階層での処理が完了したので、続いて第2階層での処理を開始する(ステップS23)。
【0137】
Shrinkage部408では、ウェーブレット変換部402から供給されたウェーブレット変換係数のLH、HL、HH成分に対し、Shrinkage処理を適用し、Shrinkage適用後のウェーブレット変換係数のLH’、HL’、HH’成分を逆ウェーブレット変換部409に供給する。
【0138】
ウェーブレット逆変換部409では、Shrinkage部408から供給されたウェーブレット変換係数のLH’、HL’、HH’成分と、T−V法406から供給されるウェーブレット変換係数のLL’成分を用いてウェーブレット逆変換し、原画像に対して1/4の解像度をもつ初期ノイズ除去画像U2,initを生成し(ステップS21)、骨格成分・残差成分分離部411に供給する。また、入力画像Fから分離された初期残差成分V2,initを反復制御部410に供給する。
【0139】
反復制御部410では、ウェーブレット逆変換部409から供給されるノイズ成分V2,initに基づいて、骨格成分・残差成分分離部411におけるT−V法の反復を制御する。反復制御方法を示すステップS9、S10については、第1の実施の形態と同様であるため、説明を省略する。
【0140】
骨格成分・残差成分分離部411では、ウェーブレット逆変換部409から供給された初期ノイズ除去画像U2,initを初期解としてT−V法を適用し、反復制御部104の定める反復停止条件に基づいて、骨格成分U2,T-Vとテクスチャとノイズで構成される残差成分V2,T-Vに分離する。分離方法を示すステップS1、S2、S3、S4、S5については、第1の実施の形態と同様であるため、説明を省略する。未処理の上位階層がある(ステップS22)ため、得られた骨格成分U2,T-Vをウェーブレット変換係数のLL’1成分とみなしてウェーブレット逆変換413に供給する。
【0141】
第2階層での処理が完了したので、続いて第1階層での処理を開始する(ステップS23)。
【0142】
Shrinkage部412では、ウェーブレット変換部401から供給されたウェーブレット変換係数のLH、HL、HH成分に対し、Shrinkage処理を適用し、Shrinkage適用後のウェーブレット変換係数のLH’、HL’、HH’成分をウェーブレット逆変換部413に供給する。
【0143】
ウェーブレット逆変換部413では、Shrinkage部412から供給されたウェーブレット変換係数のLH’、HL’、HH’成分と、骨格成分・残差成分分離部411から供給されるウェーブレット変換係数のLL’成分を用いて逆ウェーブレット変換し、原画像と同じ解像度をもつ初期ノイズ除去画像U1,initを生成し(ステップS21)、骨格成分・残差成分分離部415に供給する。また、入力画像Fから分離された初期残差成分V1,initを反復制御部414に供給する。
【0144】
反復制御部414では、ウェーブレット逆変換部413から供給されるノイズ成分V1,initに基づいて、骨格成分・残差成分分離部415におけるT−V法の反復を制御する。反復制御方法を示すステップS9、S10については、第1の実施の形態と同様であるため、説明を省略する。
【0145】
骨格成分・残差成分分離部415では、ウェーブレット逆変換部413から供給された原画像と同じ解像度をもつ初期ノイズ除去画像U1,initを初期解としてT−V法を適用し、骨格成分U1,T-Vとテクスチャ成分V1,T-Vを得る。
【0146】
第1階層での処理が完了したので、得られた骨格成分U1,T-Vをノイズ除去画像Zとして出力する(ステップS6)。
【0147】
上述した動作に基づいて、発明の画像処理方法はノイズ除去画像を生成する。
【0148】
次に、第4の実施の形態の画像処理方法を適用した画像処理装置について説明する。図18は、第4の実施の形態の画像処理装置の構成例を示す図である。
【0149】
画像処理装置1004は、入力画像1に対して画像処理を施し出力画像2を出力する装置である。
【0150】
画像処理装置1004は、図7に示す画像処理装置1000のように、初期残差成分保存メモリ4と、初期残差成分の標準偏差計算部5と、初期残差成分の標準偏差保存メモリ6と、劣勾配法のパラメータ計算部7と、劣勾配法のパラメータ保存メモリ8と、劣勾配法の反復制御部9と、骨格成分・残差成分分離部10と、を備える。これらの処理は画像処理装置1000と同様であるため、説明を省略する。
【0151】
多重解像度ウェーブレット変換部17では、ステップS19の手順で入力画像1に対して多重解像度ウェーブレット変換を適用する。
【0152】
高周波成分保存メモリ18では、多重解像度ウェーブレット変換部17から供給される、ウェーブレット変換係数の高周波成分を保存する。
【0153】
初期ノイズ除去画像生成部3では、多重解像度ウェーブレット変換部17、または、出力画像制御部19から供給される処理対象の階層のウェーブレット変換係数の低周波成分と、高周波成分保存メモリ18を参照して取得する処理対象の階層のウェーブレット変換係数の高周波成分とから、ステップS21の手順で初期ノイズ除去画像を生成する。
【0154】
出力画像制御部19では、処理対象の階層の解像度が入力画像1の解像度と一致したときは、骨格成分・残差成分分離部10から供給される骨格成分を出力画像2とする。処理対象の階層の解像度が入力画像1の解像度より低い時は、ステップS22、S23の手順で、骨格成分・残差成分分離部10から供給される骨格成分を1階層解像度の高いウェーブレット変換係数の低周波成分とみなして、初期ノイズ除去画像生成部3に供給する。
【0155】
なお、図18に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
【0156】
第4の実施の形態によれば、各階層で初期ノイズ除去画像を求めて、各階層のT−V法の初期解とすることで、各階層のT−V法で解が収束するまでに必要なChambolleのProjection法の反復回数を削減し、高周波ノイズだけでなく低周波ノイズも高速に除去できる。
【0157】
なお、第4の実施の形態と第2の実施の形態を組み合わせた画像処理方法や、第4の実施の形態と第3の実施の形態を組み合わせた画像処理方法を構成することは容易に可能である。これらの処理の説明は省略する。
【0158】
尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
【0159】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0160】
(付記1)
入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する
画像処理方法。
【0161】
(付記2)
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する付記1に記載の画像処理方法。
【0162】
(付記3)
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
付記1に記載の画像処理方法。
【0163】
(付記4)
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記2又は付記3に記載の画像処理方法。
【0164】
(付記5)
入力画像から、複数の解像度の異なる画像を生成し、
異なる画像毎に、付記1から付記4のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
画像処理方法。
【0165】
(付記6)
入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、
予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と
を有する画像処理装置。
【0166】
(付記7)
前記骨格成分・残差成分分離手段は、
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する付記6に記載の画像処理装置。
【0167】
(付記8)
前記骨格成分・残差成分分離手段は、
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
付記6に記載の画像処理装置。
【0168】
(付記9)
前記骨格成分・残差成分分離手段は、
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記7又は付記8に記載の画像処理装置。
【0169】
(付記10)
入力画像から、複数の解像度の異なる画像を生成する手段を有し、
前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
付記6から付記9のいずれかに記載の画像処理装置。
【0170】
(付記11)
入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成する処理と、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御する処理と、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する処理と
をコンピュータに実行させるプログラム。
【0171】
(付記12)
前記残差成分からエッジ成分とテクスチャ成分を抽出する処理と、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する処理と
をコンピュータに実行させる付記11に記載のプログラム。
【0172】
(付記13)
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出する処理と、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する処理と
をコンピュータに実行させる付記11に記載のプログラム。
【0173】
(付記14)
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記12又は付記13に記載のプログラム。
【0174】
(付記15)
入力画像から、複数の解像度の異なる画像を生成する処理を有し、
異なる画像毎に、付記11から付記14のいずれかに記載の処理を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
プログラム。
【0175】
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【0176】
本出願は、2012年4月27日に出願された日本出願特願2012−102019号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0177】
1 入力画像
2 出力画像
3 初期ノイズ除去画像生成部
4 初期残差成分保存メモリ
5 標準偏差計算部
6 標準偏差保存メモリ
7 パラメータ計算部
8 パラメータ保存メモリ
9 反復制御部
10 骨格成分・残差成分分離部
11 ノイズ抑制部
12 合成部
13 ノイズ抑制部
14 制約空間生成部
15 制約保存メモリ
16 制約処理部
19 出力画像制御部
101 骨格成分・残差成分分離部
102 ノイズ抑制部
103 初期ノイズ除去画像生成部
104 反復制御部
201 ノイズ抑制部
301 ウェーブレット変換部
302 Shrinkage部
303 ウェーブレット逆変換部
304 制約空間生成部
305 ウェーブレット変換部
306 射影部
307 ウェーブレット逆変換部
401 ウェーブレット変換部
402 ウェーブレット変換部
403 ウェーブレット変換部
412 Shrinkage部
404 Shrinkage部
405 ウェーブレット逆変換部
406 反復制御部
407 骨格成分・残差成分分離部
408 Shrinkage部
409 ウェーブレット逆変換部
410 反復制御部
411 骨格成分・残差成分分離部
413 ウェーブレット逆変換部
414 反復制御部
415 骨格成分・残差成分分離部
1000 画像処理装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
【国際調査報告】