知財求人 - 知財ポータルサイト「IP Force」
特許6222481画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6222481
(24)【登録日】2017年10月13日
(45)【発行日】2017年11月1日
(54)【発明の名称】画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
(51)【国際特許分類】
G06T 5/00 20060101AFI20171023BHJP
【ＦＩ】
G06T5/00 705
【請求項の数】10
【全頁数】30
(21)【出願番号】特願2014-512683(P2014-512683)
(86)(22)【出願日】2013年4月25日
(86)【国際出願番号】JP2013062202
(87)【国際公開番号】WO2013161940
(87)【国際公開日】20131031
【審査請求日】2016年3月3日
(31)【優先権主張番号】特願2012-102019(P2012-102019)
(32)【優先日】2012年4月27日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100079005
【弁理士】
【氏名又は名称】宇高 克己
(72)【発明者】
【氏名】先崎 健太
(72)【発明者】
【氏名】塚田 正人
(72)【発明者】
【氏名】蝶野 慶一
【審査官】
佐藤 実
(56)【参考文献】
【文献】
特開２０１０−０３３４５３（ＪＰ，Ａ）
【文献】
特開２００１−１６７２６１（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ５／００
(57)【特許請求の範囲】
【請求項1】
入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、
前記残差成分のノイズを減衰し、
前記骨格成分と前記ノイズを減衰させた残差成分とを合成し、出力画像として生成する
画像処理方法。
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、
前記残差成分のノイズを減衰し、
前記骨格成分と前記ノイズを減衰させた残差成分とを合成し、出力画像として生成する
画像処理方法。
【請求項2】
前記初期残差成分の標準偏差に基づいて、繰り返し演算を制御する
請求項１に記載の画像処理方法。
請求項１に記載の画像処理方法。
【請求項3】
前記初期残差成分の標準偏差、前記初期残差成分及び前記残差成分を用いて、ノイズを減衰した残差成分を生成する
請求項２に記載の画像処理方法。
請求項２に記載の画像処理方法。
【請求項4】
前記入力画像をウェーブレット変換した際のウェーブレット変換係数と、ノイズの減衰量とに基づいて、制約空間を生成し、
前記制約空間により、前記骨格成分の変動範囲を制約する
請求項１から請求項３のいずれかに記載の画像処理方法。
前記制約空間により、前記骨格成分の変動範囲を制約する
請求項１から請求項３のいずれかに記載の画像処理方法。
【請求項5】
入力画像から、複数の解像度の異なる画像を生成し、
異なる画像毎に、請求項１から請求項４のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
画像処理方法。
異なる画像毎に、請求項１から請求項４のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
画像処理方法。
【請求項6】
入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、
予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と、
前記残差成分のノイズを減衰するノイズ抑圧手段と、
前記骨格成分と前記ノイズを減衰させた残差成分とを合成し、出力画像を生成する合成手段と
を有する画像処理装置。
予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と、
前記残差成分のノイズを減衰するノイズ抑圧手段と、
前記骨格成分と前記ノイズを減衰させた残差成分とを合成し、出力画像を生成する合成手段と
を有する画像処理装置。
【請求項7】
前記制御手段は、前記初期残差成分の標準偏差に基づいて、繰り返し演算を制御する
請求項６に記載の画像処理装置。
請求項６に記載の画像処理装置。
【請求項8】
前記ノイズ抑圧手段は、前記初期残差成分の標準偏差、前記初期残差成分及び前記残差成分を用いて、ノイズを減衰した残差成分を生成する
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項9】
前記入力画像をウェーブレット変換した際のウェーブレット変換係数と、ノイズの減衰量とに基づいて、制約空間を生成する制約空間生成手段と、
前記制約空間により、前記骨格成分の変動範囲を制約する制約処理手段と
を有する請求項６から請求項８のいずれかに記載の画像処理装置。
前記制約空間により、前記骨格成分の変動範囲を制約する制約処理手段と
を有する請求項６から請求項８のいずれかに記載の画像処理装置。
【請求項10】
入力画像から、複数の解像度の異なる画像を生成する手段を有し、
前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
請求項６から請求項９のいずれかに記載の画像処理装置。
前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
請求項６から請求項９のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、画像処理システム、画像処理装置および画像処理プログラムに関する。【背景技術】
【0002】
画像処理技術の中でも、画像に含まれるノイズを低減する技術は、撮像した画像をより鮮明に再現するために、欠かせない技術である。ノイズを低減する技術としては、例えば、非特許文献１に開示された全変分（Ｔｏｔａｌ―Ｖａｒｉａｔｉｏｎ、 Ｔ−Ｖ）ノルム正則化によるノイズ除去法がある。以下、簡単のため、Ｔ−Ｖ法と称す。【0003】
図１９に従来のＴ−Ｖ法を用いた画像処理方法を示す。【0004】
図２０は従来のＴ−Ｖ法を用いた画像処理方法を説明するためのフローチャートである。【0005】
入力画像Fは骨格成分・残差成分分離部１０１に供給される。【0006】
骨格成分・残差成分分離部１０１では、供給された画像Fを、強エッジと平坦領域から構成される骨格成分UT-Vとテクスチャとノイズから構成される残差成分VT-Vに分離する。つまり、入力画像Fは以下の式（１）のように骨格成分UT-Vと残差成分VT-Vの和で表される。【0007】
この最小化問題はChambolleのProjection法を反復して解ける。あるいは、ChambolleのProjection法の代替法として、Ｔ−Ｖノルムの劣勾配を用いた劣勾配法を用いることができる。【0008】
kを反復回数、【0009】
以下の式（３）で表すように、劣勾配法を用いて、k+1回目の反復の時の骨格成分【0010】
また、反復回数kが最大の反復回数kmaxに到達したときにも反復を停止する（ステップS4）。反復回数がk未満であり、【0011】
こうして得られた骨格成分UT-Vと残差成分VT-Vのうち、骨格成分UT-Vを以下の式（６）のようにノイズ除去画像Zとして出力する（ステップS6）。【0012】
図２２は、図２１で示す画像処理方法を説明するためのフローチャートである。【0013】
骨格成分・残差成分分離部１０１で分離された残差成分VT-Vをノイズ抑制部１０２に供給し、以下の式（７）のように残差成分VT-Vにノイズ成分を減衰させる関数ｆを作用させる（ステップS7）。骨格成分UT-Vと、ノイズ成分が減衰された残差成分（すなわちテクスチャ成分）f(VT-V)を合成し、ノイズが低減された画像Zとして出力する（ステップS6）。なお、ステップS1からステップS5は図１９のＴ−Ｖ法を用いた画像処理方法と同様であるため、説明を省略する。【0014】
また、図２３（ｂ）で示される硬判定閾値処理は以下の式（９）で表される。【先行技術文献】
【非特許文献】
【0015】
【非特許文献1】L. Rudin, S. Osher, E. Fatemi, “Nonlinear Total Variation based noise removal algorithms," Physica D vol.60, 1992, pp.259-268.
【発明の概要】
【発明が解決しようとする課題】
【0016】
しかしながら、非特許文献１の技術は、上述のChambolleのProjection法を、解が収束するまで繰り返し適用する反復型の処理であるため、計算コストが高くなるという課題がある。【0017】
また、T−V法は、高周波ノイズは除去できるものの、ノイズ粒子の分布密度のムラにより発生し、高周波ノイズと比べて比較的広い範囲に広がる低周波ノイズに対応できない課題がある。低周波ノイズは数ピクセルから数十ピクセルといった広範な領域におけるノイズ粒子の分布密度ムラによるものであり、このような低周波ノイズに対するT−Vノルムは小さくなるため平坦領域（ノイズがない）とみなされる。すなわち、T―V法では原理的に低周波ノイズには対応することができない。【0018】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は様々な周波数帯のノイズを効果的かつ高速に除去できる画像処理方法、及び画像処理装置を提供することにある。【課題を解決するための手段】
【0019】
本発明は、入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する画像処理方法である。【0020】
本発明は、入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段とを有する画像処理装置である。【発明の効果】
【0021】
本発明によれば、様々な周波数帯のノイズを効果的かつ高速に除去できる。【図面の簡単な説明】
【0022】
【図1】第１の実施の形態の画像処理方法の説明図である。
【図2】第１の実施の形態の画像処理方法の手順例を説明するフローチャートである。
【図4】第１の実施の形態から派生する画像処理方法の説明図である。
【図5】第１の実施の形態から派生する画像処理方法の手順例を説明するフローチャートである。
【図6】第１の実施の形態の画像処理装置の構成例を示すブロック図である。
【図7】第１の実施の形態から派生する画像処理装置の構成例を示すブロック図である。
【図8】第２の実施の形態の画像処理方法の説明図である。
【図9】第２の実施の形態の画像処理方法の手順例を説明するフローチャートである。
【図10】第２の実施の形態の画像処理装置の構成例を示すブロック図である。
【図11】第３の実施の形態の画像処理方法の説明図である。
【図12】第３の実施の形態の画像処理方法の手順例を説明するフローチャートである。
【図13】第３の実施の形態の画像処理装置の構成例を示すブロック図である。
【図14】第３の実施の形態から派生する画像処理方法の説明図である。
【図15】第４の実施の形態の画像処理方法の説明図である。
【図16】図１６（a）は原画像である。図１６（ｂ）は図１６（a）の原画像に対し、ウェーブレット変換を適用した結果である。図１６（ｃ）は図１６（a）の原画像に対し、ウェーブレット変換を再帰的に３回適用した結果である。
【図17】第４の実施の形態の画像処理方法の手順例を説明するフローチャートである。
【図18】第４の実施の形態の画像処理装置の構成例を示すブロック図である。
【図19】既存の画像処理方法の説明図である。
【図20】既存の画像処理方法の手順例を説明するフローチャートである。
【図21】既存の画像処理方法の説明図である。
【図22】既存の画像処理方法の手順例を説明するフローチャートである。
【発明を実施するための形態】
【0023】
＜第１の実施の形態＞本発明の第１の実施の形態を説明する。
【0024】
図１は、本発明の第１の実施の形態である画像処理方法を説明するための機能ブロック図である。【0025】
本発明の第１の実施の形態である画像処理方法は、入力画像中のエッジ成分を保存する軽量なノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１とを備えたことを特徴とする。【0026】
なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ−Ｖ法で説明するが、これに限定されるものではない。【0027】
図２は、第１の実施の形態の画像処理方法を説明するためのフローチャートである。【0028】
以下、処理の流れについて説明する。【0029】
入力画像Fは、初期ノイズ除去画像生成部１０３に供給される。【0030】
初期ノイズ除去画像生成部１０３では、入力画像Fに対してエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像Uinitを生成する（ステップＳ８）。ノイズとテクスチャから構成される初期残差成分をVinitとすると、以下の式（１２）が成り立つ。【0031】
ステップＳ８における、エッジ成分を保存する軽量なノイズ除去方法について説明する。軽量なノイズ除去方法はＷａｖｅｌｅｔ Ｓｈｒｉｎｋａｇｅ（ＷＳ）法やＢｉｌｔａｔｅｒａｌ Ｆｉｌｔｅｒ（ＢＦ）などが適用できる。これらの手法は、エッジ保存性が高く、Ｔ−Ｖ法と比較して低計算コストの画像ノイズ除去方法である。【0032】
ＷＳ法は、画像を２次元ウェーブレット変換し、ウェーブレット変換係数の高周波成分を０方向に減衰させた後に２次元ウェーブレット逆変換し、画像を再構成することで、ノイズを低減した画像を得る。ウェーブレット変換係数をw、Ｓｈｒｉｎｋａｇｅ処理後のウェーブレット変換係数をw’、減衰量をλとすると、減衰処理は、例えば、以下の式（１３）や式（１４）で表される。【0033】
通常の画像において、絶対値の小さなウェーブレット変換係数はほぼノイズ成分であるため、適切な減衰量λを設定してウェーブレット変換係数を減衰させることで、画像に含まれるノイズ成分を低減できる。また、エッジ成分を表すとされる絶対値の大きなウェーブレット変換係数は残るため、結果的に入力画像中のエッジは保存される。【0034】
ＢＦは、重み付き平滑化フィルタの派生型であり、フィルタ係数を決定する以下の２つの指標により、エッジを保存するノイズ除去法を実現する。【0035】
１つめの指標は、ノイズ除去対象画素とその周辺画素の空間的距離である。対象画素に空間的に近接する画素は、対象画素と相関が高いとみなして、フィルタ係数の重みを大きくする。逆に、空間的に離れた画素は、対象画素と相関が低いとみなして、フィルタ係数の重みを小さくする。【0036】
２つめの指標は、ノイズ除去対象画素とその周辺画素の画素値の差である。画素値の差が小さいほど、対象画素との相関が高いとして、フィルタ係数の重みを大きくする。逆に、画素値の差が大きな画素は、対象画素との相関が低いとして、フィルタ係数の重みを小さくする。【0037】
特に２つめの指標により、画素値がほぼ一様な領域、つまり平坦領域では一般的な重み付き平滑化フィルタのように働くため、ノイズを除去することができ、画素値の差の大きな領域、つまりエッジを含む領域では、対象画素以外のフィルタ係数の重みが小さくなるため、エッジが保存される。【0038】
ＷＳ法やＢＦの計算コストはＴ−Ｖ法と比較して小さい。しかし、ＷＳ法は、処理後の画像に視覚的アーティファクトが発生することがある。例を図３に示す。図３（ａ）はノイズを含む画像、図３（ｂ）はＷＳ法でノイズを除去した画像である。図３（ｂ）の全体に元の画像に存在しない不自然な劣化が見られる。また、ＢＦは原理上、ごま塩ノイズといわれる孤立ノイズが除去できない。しかし、本実施の形態におけるＷＳ法とＢＦは、あくまで初期ノイズ除去画像を生成するために用いられ、本発明の後段の処理によってＷＳ法で発生するアーティファクトやＢＦ法で除去できない孤立ノイズは除去されるため、問題とならない。また、従来のＷＳ法では、アーティファクトの発生を軽減するための厳密な減衰量設定が必要であったが、本発明においては、ＷＳ法で発生するアーティファクトを後段の処理によって除去できるため、ＷＳ法の減衰量設定を簡略化することが可能である。【0039】
反復制御部１０４は、初期ノイズ除去画像生成部１０３から供給される初期残差成分Vinitに基づいて、Ｔ−Ｖ法の反復回数を制御する。【0040】
まず、初期ノイズ除去画像生成部１０３から供給される初期残差成分Vinitから標準偏差σinitを以下のように計算する（ステップＳ９）。ステップＳ９では、初期残差成分Vinitのm行n列要素を【0041】
例えば、予め推定したノイズの標準偏差σnoiseと、ステップＳ９で計算した標準偏差σinitから計算される、以下の式（１６）で示されるパラメータβ’を用いる。【0042】
さらに、最大反復回数k’maxを、従来の最大反復回数kmaxと、予め定める最小反復回数kminと、予め推定したノイズの標準偏差σnoiseと、初期残差成分Vinitの標準偏差σinitとを用いて、以下の式（１７）のように定める（ステップＳ１０）。【0043】
骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像Uinitを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、以下の式（１８）のように強エッジと平坦領域で構成される骨格成分UT-Vとテクスチャとノイズで構成される残差成分VT-Vに分離する。【0044】
骨格成分UT-Vをノイズが除去された画像とみなして、以下の式（２０）のようにノイズ除去画像Zを得る（ステップS6）。【0045】
画像処理装置１０００は、入力画像１に対してノイズ除去を施し出力画像２を出力する装置である。【0046】
画像処理装置１０００は、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０とを備える。【0047】
初期ノイズ除去画像生成部３は、入力画像１が与えられると、ステップＳ８で説明したエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像を生成する。【0048】
初期残差成分保存メモリ４は、初期ノイズ除去画像生成部３で入力画像１から分離された初期残差成分を保存する。【0049】
初期残差成分の標準偏差計算部５は、初期残差成分保存メモリ４を参照して、ステップＳ９で説明した手順で初期残差成分の標準偏差を計算する。【0050】
初期残差成分の標準偏差保存メモリ６は、初期残差成分の標準偏差計算部５で計算された初期残差成分の標準偏差を保存する。【0051】
劣勾配法のパラメータ計算部７は、初期残差成分の標準偏差保存メモリ６を参照して、ステップＳ１０で説明した手順で、劣勾配法のパラメータβ’と、劣勾配法の最大反復回数パラメータk’maxを計算する。【0052】
劣勾配法のパラメータ保存メモリ８は、劣勾配法のパラメータ計算部７で計算された劣勾配法のパラメータを保存する。【0053】
劣勾配法の反復制御部９は、初期残差成分保存メモリ４と、劣勾配法のパラメータ保存メモリ８を参照して、ステップＳ３とステップＳ４で説明した手順で骨格成分・残差成分分離部１０における劣勾配法の反復を制御する。【0054】
骨格成分・残差成分分離部１０は、劣勾配法の反復制御部９の制御を受けて、ステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５で説明した手順で、初期ノイズ除去画像生成部３から供給される初期ノイズ除去画像を初期解として劣勾配法を実行し、初期ノイズ除去画像を骨格成分と残差成分に分離し、骨格成分を出力画像２とする。【0055】
なお、図６に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。【0056】
さらに、画像処理装置１０００は、コンピュータで実現可能であり、画像処理装置を構成する各構成要素、すなわち、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０は、コンピュータの中央処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。【0057】
画像処理装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第１の実施の形態に限らず、その他の実施の形態でも同様である。【0058】
また、画像処理装置１０００は、図７に示す画像処理装置１００１のように、ノイズ成分を減衰させた残差成分と、骨格成分を合成して、出力画像１を生成する構成も可能である。【0059】
画像処理装置１００１は、画像処理装置１０００と同様に、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、を備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。【0060】
画像処理装置１００１は、画像処理装置１０００と異なり、ノイズ抑制部１１と、合成部１２と、を備える。【0061】
ノイズ抑制部１１では、骨格成分・残差成分分離部１０から供給される残差成分から、ステップＳ７の手順で、ノイズ成分を抑圧する。【0062】
合成部１２では、骨格成分・残差成分分離部１０から供給される骨格成分と、ノイズ抑制部１１から供給されるノイズ成分が減衰された残差成分（すなわちテクスチャ成分）を合成して出力画像２を生成する。【0063】
図７に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。【0064】
第１の実施の形態によれば、エッジ成分を保存する軽量なノイズ除去方法を用いて初期ノイズ除去画像を生成してT−V法の初期解とし、さらに入力画像から分離された残差成分に基づいてＴ−Ｖ法の反復回数を制御することで、解が収束するまでに必要なChambolleのProjection法の反復回数を削減し、結果として計算時間が短縮される。【0065】
＜第２の実施の形態＞本発明の第２の実施の形態を説明する。
【0066】
図８は、本発明の第２の実施の形態である画像処理方法を説明するための機能ブロック図である。【0067】
本発明の第２の実施の形態である画像処理方法は、入力画像中のエッジ成分を保存する軽量なノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部１０１を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１と、前記初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分、及び、前記Ｔ−Ｖ法に基づいて骨格成分と残差成分に分離する骨格成分・残差成分分離部において初期ノイズ除去画像から分離された残差成分のノイズを、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分の標準偏差に基づいて抑制するノイズ抑制部２０１を備えたことを特徴とする。【0068】
なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ−Ｖ法で説明するが、これに限定されるものではない。【0069】
図９は、本発明の第２の実施の形態の画像処理方法を説明するためのフローチャートである。【0070】
以下、処理の流れについて説明する。【0071】
入力画像Fは、初期ノイズ除去画像生成部１０３に供給される。【0072】
初期ノイズ除去画像生成部１０３では、入力画像Fに対してエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像Uinitを生成する（ステップＳ８）。さらに、入力画像Fからテクスチャとノイズで構成される初期残差成分Vinitを分離する。エッジ成分を保存する軽量なノイズ除去方法については第１の実施の形態と同様であるため、説明を省略する。生成された初期ノイズ除去画像Uinitは骨格成分・残差成分分離部１０１に供給される。第２の実施の形態では第１の実施の形態と異なり、分離された初期残差成分Vinitは、反復制御部１０４だけでなく、ノイズ抑制部２０１にも供給される。【0073】
反復制御部１０４は、初期ノイズ除去画像生成部１０３から供給された初期残差成分Vinitに基づき、Ｔ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。第２の実施の形態では第１の実施の形態と異なり、ステップＳ９で計算される初期残差成分Vinitの標準偏差σinitはノイズ抑制部２０１に供給される。【0074】
骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像Uinitを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、強エッジと平坦領域で構成される骨格成分UT-Vと、テクスチャとノイズで構成される残差成分VT-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。残差成分VT-Vはノイズ抑制部２０１に供給される。【0075】
ノイズ抑制部２０１は、反復制御部１０４から供給された残差成分Vinitの標準偏差σinitに基づき、初期ノイズ除去画像生成部１０３から供給された残差成分Vinitと骨格成分・残差成分分離部１０１から供給された残差成分VT-Vにノイズ成分を減衰させる関数ｆを作用させ、ノイズ成分が減衰された残差成分f(Vinit, VT-V)を生成する（ステップＳ１１）。【0076】
ステップＳ１１において、関数ｆは、式（１１）を基本式として、これを拡張して構成する。例えば、閾値τ1とτ2、係数γ1とγ2を用いて、軟判定閾値処理とｆａｃｔｏｒ処理の組み合わせを、以下の式（２２）のように、残差成分VinitとVT-Vにそれぞれ適用することで関数ｆを構成できる。【0077】
また、γ1＝０とすると、第１の実施の形態の図２で示したような、骨格成分・残差成分分離部１０１で分離された残差成分VT-Vからのみノイズ成分を減衰させることも可能である。この場合にも、反復制御部１０４から供給された初期残差成分Vinitの標準偏差σinitに基づき、ノイズ成分の減衰量が設定される点が第１の実施の形態とは異なる。【0078】
当然であるが、軟判定閾値処理とｆａｃｔｏｒ処理の順番を逆にしてもよいし、硬判定閾値処理を組み合わせてもよい。同様の効果を持つ処理であれば、関数ｆは式（２２）に限定されるものではない。【0079】
最終的に、以下の式（２４）のように、骨格成分・残差成分分離部１０１から供給される骨格成分UT-Vと、ノイズ抑制部２０１から供給されるノイズ成分が減衰された残差成分（すなわちテクスチャ成分）f(Vinit, VT-V)を合成して、ノイズ除去画像Zを得る（ステップＳ６）。【0080】
次に、第２の実施の形態の画像処理方法を適用した画像処理装置について説明する。図１０は、第２の実施の形態の画像処理装置の構成例を示す図である。【0081】
画像処理装置１００２は、入力画像１に対してノイズ除去を施し出力画像２を出力する装置である。【0082】
画像処理装置１００２は、図７に示す画像処理装置１００１のように、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、合成部１２と、を備える。これらの処理は画像処理装置１００１と同様であるため、説明を省略する。【0083】
画像処理装置１００２は、画像処理装置１００１と異なる処理を実行するノイズ抑制部１３を備える。【0084】
ノイズ抑制部１３では、初期残差成分の標準偏差保存メモリ６を参照して得られる初期残差成分の標準偏差に基づき、初期残差成分保存メモリ４を参照して得られる初期残差成分と、骨格成分・残差成分分離部１０から供給される残差成分と、から、ステップＳ１１の手順でノイズ成分を抑圧する。【0085】
図１０に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。【0086】
第２の実施の形態によれば、初期ノイズ除去画像生成時に分離した残差成分に基づいて、Ｔ−Ｖ法で分離した残差成分だけでなく、初期ノイズ除去画像生成時に分離した初期残差成分からもノイズ成分を減衰させて骨格成分に合成することで、エッジやテクスチャをより維持したまま、高速にノイズを除去できる。【0087】
＜第３の実施の形態＞本発明の第３の実施の形態を説明する。
【0088】
第３の実施の形態では、第１の実施の形態の画像処理方法のエッジ保存性を高めた画像処理方法を示す。【0089】
第１の実施の形態や第２の実施の形態においても、エッジやテクスチャを保った高速なノイズ除去が実現できるが、画像によってはＴ−Ｖ法でノイズが過度に抑圧され、解像度感が低下する場合がある。そこで、第３の実施の形態では、高速にノイズを除去するとともに、ノイズの過抑圧を防止できる画像処理方法について説明する。【0090】
図１１は、本発明の第３の実施の形態である画像処理方法を説明するための機能ブロック図である。【0091】
本発明の第３の実施の形態である画像処理方法は、ＷＳ法に基づいて初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１と、初期ノイズ除去画像生成部１０３において、初期ノイズ除去画像を生成する過程で計算されるウェーブレット変換係数とノイズ減衰量に基づいて、骨格成分・残差成分分離部１０１で生成される骨格成分を制約するための空間を生成する制約空間生成部３０４と、骨格成分・残差成分分離部１０１において生成された骨格成分のウェーブレット変換係数を制約空間生成部３０４において生成される制約空間に射影する射影部３０６を備えたことを特徴とする。【0092】
なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ−Ｖ法で説明するが、これに限定されるものではない。【0093】
図１２は、第１の実施の形態の画像処理方法を説明するためのフローチャートである。【0094】
以下、処理の流れについて説明する。【0095】
入力画像は、初期ノイズ除去画像生成部１０３に供給される。【0096】
初期ノイズ除去画像生成部１０３では、ＷＳ法を用いて初期ノイズ除去画像生成する。【0097】
まず、ウェーブレット変換部３０１では、供給された入力画像をウェーブレット変換し（ステップＳ１２）、ウェーブレット変換係数をＳｈｒｉｎｋａｇｅ部３０２と制約空間生成部３０４に供給する。【0098】
Ｓｈｒｉｎｋａｇｅ部３０２では、ウェーブレット変換部３０１から供給されたウェーブレット変換係数に対してＳｈｒｉｎｋａｇｅを行う（ステップＳ１３）。例えば、Ｓｈｒｉｎｋａｇｅの一形態として、式（１３）や式（１４）の処理を適用できる。さらに、Ｓｈｒｉｎｋａｇｅが適用されたウェーブレット変換係数をウェーブレット逆変換部３０３に供給し、Ｓｈｒｉｎｋａｇｅの減衰量λを制約空間生成部３０４に供給する。【0099】
ウェーブレット逆変換部３０３では、Ｓｈｒｉｎｋａｇｅ部３０２から供給されたウェーブレット変換係数をウェーブレット逆変換し（ステップＳ１４）、初期ノイズ除去画像Uinitと残差成分Vinitを得る。得られた初期ノイズ除去画像Uinitを骨格成分・残差成分分離部１０１に、残差成分Vinitを反復制御部１０４に供給する。【0100】
制約空間生成部３０４では、ウェーブレット変換部３０１から供給されたウェーブレット変換部係数と、Ｓｈｒｉｎｋａｇｅ部３０２から供給された減衰量λを用いて、制約空間Sを生成する（ステップＳ１５）。【0101】
入力画像の高さをM、幅をN、画像における垂直方向の座標位置をm、水平方向の座標位置をn、ウェーブレット変換係数をwとすると、制約空間Sは以下の式（２５）で表される。【0102】
生成された制約空間Sは射影部３０６に供給される。【0103】
反復制御部１０４は、ウェーブレット逆変換部３０３から供給されるノイズ成分Vinitに基づいて、Ｔ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。【0104】
骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像Uinitを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分UT-Vとテクスチャとノイズで構成される残差成分VT-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。得られた骨格成分UT-Vをウェーブレット変換部３０５に供給する。【0105】
ウェーブレット変換部３０５では、骨格成分・残差成分分離部１０１から供給された骨格成分UT-Vをウェーブレット変換し（ステップＳ１６）、ウェーブレット変換係数を射影部３０６に供給する。【0106】
射影部３０６では、制約空間生成部３０４から供給された制約空間Sとウェーブレット変換部３０５から供給されたウェーブレット変換係数を用いて、以下の式（２６）で表す射影処理を行う（ステップＳ１７）。【0107】
つまり、第３の実施の形態において、出力画像Zのウェーブレット変換係数は、入力画像Fのウェーブレット変換係数wm,nの±c×λの範囲内で変動するように制約される。これにより、ノイズが過抑圧されることを防ぐことができる。【0108】
さらに、射影部３０６は、式（２６）の射影処理適用後のウェーブレット変換係数をウェーブレット逆変換部３０７に供給する。【0109】
ウェーブレット逆変換部３０７では、射影部３０６から供給されたウェーブレット変換係数をウェーブレット逆変換し（ステップＳ１８）、ノイズを除去した出力画像を得る。【0110】
上述した動作に基づいて、本発明の画像処理方法はノイズ除去画像を生成する。【0111】
次に、第３の実施の形態の画像処理方法を適用した具体的な画像処理装置について説明する。図１３は、第３の実施の形態の画像処理装置の構成例を示す図である。【0112】
画像処理装置１００３は、入力画像１に対して画像処理を施し出力画像２を出力する装置である。【0113】
画像処理装置１００３は、図７に示す画像処理装置１０００のように、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、制約空間生成部１４と、制約保存メモリ１５と、制約処理部１６とを備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。【0114】
初期ノイズ除去画像生成部３は、ステップＳ１２、Ｓ１３、Ｓ１４の手順で、ＷＳ法を用いた初期ノイズ除去画像生成を実行し、初期ノイズ除去画像生成の過程で得られるウェーブレット変換係数と減衰量を、制約空間生成部１４に供給する。【0115】
制約空間生成部１４では、初期ノイズ除去画像生成部３から供給されるウェーブレット変換係数と減衰量から、ステップＳ１５の手順で制約空間を生成する。【0116】
制約処理部１６では、骨格成分・残差成分分離部１０から供給される骨格成分と、制約空間生成部１４から供給される制約空間と、から、ステップＳ１６、Ｓ１７、Ｓ１８の手順で、骨格成分の変動範囲を制約する。【0117】
図１３に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。【0118】
第３の実施の形態によれば、Ｔ−Ｖ法が過度にノイズを抑圧したことで解像度感が低下する問題を解決し、エッジやテクスチャをより維持したまま、高速にノイズを除去できる。【0119】
なお、第３の実施の形態を第２の実施の形態と組み合わせることで、図１４のように、よりエッジとテクスチャを維持する画像処理方法を実現することも可能である。処理の説明は省略する。【0120】
＜第４の実施の形態＞本発明の第４の実施の形態を説明する。
【0121】
図１５は、本発明の第４の実施の形態である画像処理方法を説明するための機能ブロック図である。【0122】
第４の実施の形態では、第１の実施の形態の画像処理方法の低周波ノイズ除去性能を高めた画像処理方法を示す。【0123】
図１５の構成では、３階層の多重解像度ウェーブレット変換を行う場合の処理の流れを示しているが、３階層以外でも容易に拡張が可能である。図１６に多重解像度ウェーブレット変換の例を示す。図１６（ａ）が原画像、図１６（ｂ）が１段のウェーブレット変換、図１６（ｃ）が３階層のウェーブレット変換を示す。図１６（ｂ）において、Ｌは低周波側、Ｈは高周波側を示し、ＬとＨの組み合わせでサブバンドを表現する。例えば、ＬＨは、水平方向が低周波側、垂直方向が高周波側であることを示す。図１６（ｂ）におけるＬＬ成分に対して再帰的にウェーブレット変換を適用することで、図１６（ｃ）のような多重解像度ウェーブレット変換が実現される。以後、多重解像度ウェーブレット変換において、第ｋ階層のＬＬ成分を、ＬＬｋと表記する。第ｋ階層のＬＨ、ＨＬ、ＨＨ成分も同様に表記する。【0124】
多重解像度ウェーブレット変換のＬＬ成分は、ウェーブレット変換係数であるものの、原画像の縮小画像としての側面も持つ。例えば、３階層の多重解像度ウェーブレット変換を実行した時の、３階層目のＬＬ成分は、原画像を水平・垂直両方向に1/8した、原画像の1/64の解像度をもつ縮小画像である。Ｔ−Ｖ法は画像領域におけるノイズ除去処理であるため、ＬＬ成分のウェーブレット変換係数に対して実行可能である。深い階層のＬＬ成分は、原画像の低周波成分で構成されると考えられるため、深い階層においてデノイズ処理を実行することで、低周波ノイズを除去することができる。【0125】
図１７は、第４の実施の形態の画像処理方法を説明するためのフローチャートである。【0126】
以下、処理の流れについて説明する。【0127】
入力画像Ｆはウェーブレット変換部４０１に供給される。【0128】
ウェーブレット変換部４０１では、供給された入力画像Ｆをウェーブレット変換し、ウェーブレット変換係数のＬＬ１成分をウェーブレット変換４０２に供給する。この時点におけるＬＬ１成分は、原画像に対して1/4の解像度をもつ縮小画像である。さらに、ＬＨ１、ＨＬ１、ＨＨ１成分をＳｈｒｉｎｋａｇｅ部４１０に供給する。【0129】
ウェーブレット変換部４０２では、ウェーブレット変換部４０１から供給された第１階層のＬＬ１成分をウェーブレット変換し、得られたウェーブレット変換係数のＬＬ２成分をウェーブレット変換４０３に供給する。この時点におけるＬＬ２成分は、原画像に対して1/16の解像度をもつ縮小画像である。さらに、ＬＨ２、ＨＬ２、ＨＨ２成分をＳｈｒｉｎｋａｇｅ部４０７に供給する。【0130】
ウェーブレット変換部４０３では、ウェーブレット変換部４０２から供給された第２階層のＬＬ２成分をウェーブレット変換し、得られたウェーブレット変換係数ＬＬ３、ＬＨ３、ＨＬ３、ＨＨ３をＳｈｒｉｎｋａｇｅ部４０４に供給する。【0131】
この時点で、３階層の多重解像度ウェーブレット変換が実現される（ステップＳ１９）。続いて、最も低解像度な階層からノイズ除去処理を実行する（ステップＳ２０）。【0132】
Ｓｈｒｉｎｋａｇｅ部４０４では、ウェーブレット変換４０３から供給されたウェーブレット変換係数に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数を逆ウェーブレット変換部４０５に供給する。【0133】
ウェーブレット逆変換部４０５では、Ｓｈｒｉｎｋａｇｅ部４０４から供給されたウェーブレット変換係数を逆ウェーブレット変換し、原画像に対して1/16の解像度をもつ初期ノイズ除去画像U3,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４０７に供給する。また、入力画像Ｆから分離された初期残差成分V3,initを反復制御部４０６に供給する。【0134】
反復制御部４０６では、ウェーブレット逆変換部４０５から供給されるノイズ成分V3,initに基づいて、骨格成分・残差成分分離部４０７におけるＴ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。【0135】
骨格成分・残差成分分離部４０７では、逆ウェーブレット変換部４０５から供給された初期ノイズ除去画像U3,initを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分U3,T-Vとテクスチャとノイズで構成される残差成分V3,T-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。未処理の上位階層がある（ステップＳ２２）ため、得られた骨格成分U3,T-Vをウェーブレット変換係数のＬＬ’２成分とみなして逆ウェーブレット変換４０８に供給する。【0136】
第３階層での処理が完了したので、続いて第２階層での処理を開始する（ステップＳ２３）。【0137】
Ｓｈｒｉｎｋａｇｅ部４０８では、ウェーブレット変換部４０２から供給されたウェーブレット変換係数のＬＨ２、ＨＬ２、ＨＨ２成分に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数のＬＨ’２、ＨＬ’２、ＨＨ’２成分を逆ウェーブレット変換部４０９に供給する。【0138】
ウェーブレット逆変換部４０９では、Ｓｈｒｉｎｋａｇｅ部４０８から供給されたウェーブレット変換係数のＬＨ’２、ＨＬ’２、ＨＨ’２成分と、Ｔ−Ｖ法４０６から供給されるウェーブレット変換係数のＬＬ’２成分を用いてウェーブレット逆変換し、原画像に対して1/4の解像度をもつ初期ノイズ除去画像U2,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４１１に供給する。また、入力画像Ｆから分離された初期残差成分V2,initを反復制御部４１０に供給する。【0139】
反復制御部４１０では、ウェーブレット逆変換部４０９から供給されるノイズ成分V2,initに基づいて、骨格成分・残差成分分離部４１１におけるＴ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。【0140】
骨格成分・残差成分分離部４１１では、ウェーブレット逆変換部４０９から供給された初期ノイズ除去画像U2,initを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分U2,T-Vとテクスチャとノイズで構成される残差成分V2,T-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。未処理の上位階層がある（ステップＳ２２）ため、得られた骨格成分U2,T-Vをウェーブレット変換係数のＬＬ’1成分とみなしてウェーブレット逆変換４１３に供給する。【0141】
第２階層での処理が完了したので、続いて第１階層での処理を開始する（ステップＳ２３）。【0142】
Ｓｈｒｉｎｋａｇｅ部４１２では、ウェーブレット変換部４０１から供給されたウェーブレット変換係数のＬＨ１、ＨＬ１、ＨＨ１成分に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数のＬＨ’１、ＨＬ’１、ＨＨ’１成分をウェーブレット逆変換部４１３に供給する。【0143】
ウェーブレット逆変換部４１３では、Ｓｈｒｉｎｋａｇｅ部４１２から供給されたウェーブレット変換係数のＬＨ’１、ＨＬ’１、ＨＨ’１成分と、骨格成分・残差成分分離部４１１から供給されるウェーブレット変換係数のＬＬ’１成分を用いて逆ウェーブレット変換し、原画像と同じ解像度をもつ初期ノイズ除去画像U1,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４１５に供給する。また、入力画像Ｆから分離された初期残差成分V1,initを反復制御部４１４に供給する。【0144】
反復制御部４１４では、ウェーブレット逆変換部４１３から供給されるノイズ成分V1,initに基づいて、骨格成分・残差成分分離部４１５におけるＴ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。【0145】
骨格成分・残差成分分離部４１５では、ウェーブレット逆変換部４１３から供給された原画像と同じ解像度をもつ初期ノイズ除去画像U1,initを初期解としてＴ−Ｖ法を適用し、骨格成分U1,T-Vとテクスチャ成分V1,T-Vを得る。【0146】
第１階層での処理が完了したので、得られた骨格成分U1,T-Vをノイズ除去画像Zとして出力する（ステップＳ６）。【0147】
上述した動作に基づいて、発明の画像処理方法はノイズ除去画像を生成する。【0148】
次に、第４の実施の形態の画像処理方法を適用した画像処理装置について説明する。図１８は、第４の実施の形態の画像処理装置の構成例を示す図である。【0149】
画像処理装置１００４は、入力画像１に対して画像処理を施し出力画像２を出力する装置である。【0150】
画像処理装置１００４は、図７に示す画像処理装置１０００のように、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、を備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。【0151】
多重解像度ウェーブレット変換部１７では、ステップＳ１９の手順で入力画像１に対して多重解像度ウェーブレット変換を適用する。【0152】
高周波成分保存メモリ１８では、多重解像度ウェーブレット変換部１７から供給される、ウェーブレット変換係数の高周波成分を保存する。【0153】
初期ノイズ除去画像生成部３では、多重解像度ウェーブレット変換部１７、または、出力画像制御部１９から供給される処理対象の階層のウェーブレット変換係数の低周波成分と、高周波成分保存メモリ１８を参照して取得する処理対象の階層のウェーブレット変換係数の高周波成分とから、ステップＳ２１の手順で初期ノイズ除去画像を生成する。【0154】
出力画像制御部１９では、処理対象の階層の解像度が入力画像１の解像度と一致したときは、骨格成分・残差成分分離部１０から供給される骨格成分を出力画像２とする。処理対象の階層の解像度が入力画像１の解像度より低い時は、ステップＳ２２、Ｓ２３の手順で、骨格成分・残差成分分離部１０から供給される骨格成分を１階層解像度の高いウェーブレット変換係数の低周波成分とみなして、初期ノイズ除去画像生成部３に供給する。【0155】
なお、図１８に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。【0156】
第４の実施の形態によれば、各階層で初期ノイズ除去画像を求めて、各階層のＴ−Ｖ法の初期解とすることで、各階層のＴ−Ｖ法で解が収束するまでに必要なChambolleのProjection法の反復回数を削減し、高周波ノイズだけでなく低周波ノイズも高速に除去できる。【0157】
なお、第４の実施の形態と第２の実施の形態を組み合わせた画像処理方法や、第４の実施の形態と第３の実施の形態を組み合わせた画像処理方法を構成することは容易に可能である。これらの処理の説明は省略する。【0158】
尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。【0159】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。【0160】
（付記１）入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する
画像処理方法。
【0161】
（付記２）前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する付記１に記載の画像処理方法。
【0162】
（付記３）前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
付記１に記載の画像処理方法。
【0163】
（付記４）前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記２又は付記３に記載の画像処理方法。
【0164】
（付記５）入力画像から、複数の解像度の異なる画像を生成し、
異なる画像毎に、付記１から付記４のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
画像処理方法。
【0165】
（付記６）入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、
予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と
を有する画像処理装置。
【0166】
（付記７）前記骨格成分・残差成分分離手段は、
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する付記６に記載の画像処理装置。
【0167】
（付記８）前記骨格成分・残差成分分離手段は、
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
付記６に記載の画像処理装置。
【0168】
（付記９）前記骨格成分・残差成分分離手段は、
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記７又は付記８に記載の画像処理装置。
【0169】
（付記１０）入力画像から、複数の解像度の異なる画像を生成する手段を有し、
前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
付記６から付記９のいずれかに記載の画像処理装置。
【0170】
（付記１１）入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成する処理と、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御する処理と、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する処理と
をコンピュータに実行させるプログラム。
【0171】
（付記１２）前記残差成分からエッジ成分とテクスチャ成分を抽出する処理と、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する処理と
をコンピュータに実行させる付記１１に記載のプログラム。
【0172】
（付記１３）前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出する処理と、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する処理と
をコンピュータに実行させる付記１１に記載のプログラム。
【0173】
（付記１４）前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記１２又は付記１３に記載のプログラム。
【0174】
（付記１５）入力画像から、複数の解像度の異なる画像を生成する処理を有し、
異なる画像毎に、付記１１から付記１４のいずれかに記載の処理を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
プログラム。
【0175】
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。【0176】
本出願は、２０１２年４月２７日に出願された日本出願特願２０１２−１０２０１９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。【符号の説明】
【0177】
１ 入力画像２ 出力画像
３ 初期ノイズ除去画像生成部
４ 初期残差成分保存メモリ
５ 標準偏差計算部
６ 標準偏差保存メモリ
７ パラメータ計算部
８ パラメータ保存メモリ
９ 反復制御部
１０ 骨格成分・残差成分分離部
１１ ノイズ抑制部
１２ 合成部
１３ ノイズ抑制部
１４ 制約空間生成部
１５ 制約保存メモリ
１６ 制約処理部
１９ 出力画像制御部
１０１ 骨格成分・残差成分分離部
１０２ ノイズ抑制部
１０３ 初期ノイズ除去画像生成部
１０４ 反復制御部
２０１ ノイズ抑制部
３０１ ウェーブレット変換部
３０２ Ｓｈｒｉｎｋａｇｅ部
３０３ ウェーブレット逆変換部
３０４ 制約空間生成部
３０５ ウェーブレット変換部
３０６ 射影部
３０７ ウェーブレット逆変換部
４０１ ウェーブレット変換部
４０２ ウェーブレット変換部
４０３ ウェーブレット変換部
４１２ Ｓｈｒｉｎｋａｇｅ部
４０４ Ｓｈｒｉｎｋａｇｅ部
４０５ ウェーブレット逆変換部
４０６ 反復制御部
４０７ 骨格成分・残差成分分離部
４０８ Ｓｈｒｉｎｋａｇｅ部
４０９ ウェーブレット逆変換部
４１０ 反復制御部
４１１ 骨格成分・残差成分分離部
４１３ ウェーブレット逆変換部
４１４ 反復制御部
４１５ 骨格成分・残差成分分離部
１０００ 画像処理装置