特許 6763637 画像復元方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6763637

(24)【登録日】2020年9月14日

(45)【発行日】2020年9月30日

(54)【発明の名称】画像復元方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20200917BHJP

【ＦＩ】

   G06T5/00 710

【請求項の数】2

【全頁数】11

(21)【出願番号】特願2016-161436(P2016-161436)

(22)【出願日】2016年8月19日

(65)【公開番号】特開2018-28868(P2018-28868A)

(43)【公開日】2018年2月22日

【審査請求日】2019年7月18日

(73)【特許権者】

【識別番号】509038371

【氏名又は名称】小林 正浩

(74)【代理人】

【識別番号】100085257

【弁理士】

【氏名又は名称】小山 有

(72)【発明者】

【氏名】小林 正浩

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 国際公開第２０１１／０２１５１８（ＷＯ，Ａ１）

【文献】 特開２００８−１７６７３５（ＪＰ，Ａ）

【文献】 特開２００３−０７８７６５（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１５１６０８（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００ − ５／５０

(57)【特許請求の範囲】

【請求項1】

劣化画像を復元してぼけのない原画像にできるだけ近い復元画像を得る画像復元方法であって、劣化画像をＹＵＶの色空間に変換する準備処理工程と、この準備処理工程によって得たＹＵＶの色空間のうちのＹ画像（Ｙプレーン）を複数の分解画像に分解する分解処理工程と、この分解処理工程によって得た分解画像を再構成してＹ画像（Ｙプレーン）とすると共に前記準備処理工程で変換したＵＶ画像（ＵＶプレーン）と合成して復元画像とする再構成処理工程を備え、
前記分解処理工程は、以下の工程１〜３からなり、
工程１．Ｙ画像ｆ₀に拡散値σ₀²のガウシアンカーネルＧσ₀²を適用した画像Ｇｆ₀*σ₀²）をＹ画像ｆ₀から引いて１回分解後の分解画像ｆ₁を生成する（ｆ₁＝ｆ−ｆ₀*Ｇσ₀²）。
工程２．１回分解後の分解画像ｆ₁に拡散値σ₁²のＬＯＧカーネルＬＯＧσ₁²を適用した画像ｆ₁*ＬＯＧσ₁²を１回分解後の分解画像ｆ₁から引いて２回分解後の分解画像ｆ₂を生成する（ｆ₂＝ｆ₁−ｆ₁*ＬＯＧσ₁²）。
工程３．工程２と同様な作業を繰り返して分解画像ｆ_Jまで生成し、分解画像をＪ枚得る。
前記再構成処理工程は、以下の工程４〜７からなることを特徴とする画像復元方法。
工程４．分解画像ｆ₁〜ｆ_Jにそれぞれ前記準備処理工程で作成した復元ＬＯＧカーネルＬＯＧσ₁²_-t〜ＬＯＧσ_J²_-tを適用し、全ての画像の和を求めて総和画像を作成する。
工程５．Ｙ画像に前記準備処理工程で作成した復元ガウシアンカーネルＧσ₀²_-tを適用し、工程４で作成した総和画像と加算する。
工程６．Ｙ画像を入力画像ｆ(x,y)のビット深度に戻す。
工程７．工程６で得た画像をＹプレーンとして入力画像ｆ(x,y)のＵＶプレーンと合成して復元画像Ｉ'(x,y)として出力する。

【請求項2】

請求項１に記載の画像復元方法において、前記分解処理工程及び前記再構成処理工程は、複数のラインバッファにより同時並行処理されることを特徴とする画像復元方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の劣化過程を表す関数がガウス型関数である観測画像（劣化画像）を復元して、ぼけのない原画像にできるだけ近い復元画像を得る画像復元方法に関する。

【背景技術】

【0002】

カメラのレンズを通して得た画像が劣化する主な原因としては、カメラと被写体の相対運動によるもの、焦点ずれあるいはピンぼけと呼ばれるもの、厚い空気層など媒質のランダムな揺らぎによるもの、レンズの収差によるものなどが挙げられる。それぞれに対して劣化過程を表す関数が異なる。ここでは、レンズの収差により劣化した画像を復元する場合を取り上げる。レンズの収差による画像の劣化過程を表す関数は、ガウス型関数である。

【0003】

特許文献１には、既知のＰＳＦ（点拡がり関数）及び１枚の劣化画像に基づき、真の画像を復元することにより、リンギングやノイズを抑えた復元画像を生成するようにした画像復元装置が記載されている。

【0004】

特許文献１に記載の画像復元装置は、劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成するベース画像生成処理部と、ベース画像生成処理部からの生成済みベース画像とＰＳＦ（点拡がり関数）との畳み込み積分を行うことにより、ぼかし画像を生成するぼかし画像生成処理部と、生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する劣化残差画像生成処理部と、生成された劣化残差画像に対して、生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する画像復元処理部と、生成された復元残差画像に生成済みベース画像を加えることにより、復元画像を生成する復元画像生成処理部とを備えている。

【0005】

また、非特許文献１には、画像処理/信号処理に関して、ウェーブレットの工学的応用について記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００９-２７１７２５号公報

【非特許文献】

【0007】

【非特許文献1】「ウェーブレットによる信号処理と画像処理」 中野 宏毅・山本 鎮男・吉田 靖夫 著 １９９９年８月発行 共立出版

【非特許文献2】Open ＣＶ 2.2 documentation

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、特許文献１に開示された技術では、リンギングやノイズを抑えた復元画像を生成することができても、レンズの収差により劣化した画像を復元してぼけのない原画像にできるだけ近い復元画像を得ることは難しい。

【0009】

本発明は、従来の技術が有するこのような問題点に鑑みてなされたものであり、画像の劣化過程を表す関数がガウス型関数である観測画像（劣化画像）を復元して、ぼけのない原画像にできるだけ近い復元画像が得られる画像復元方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決すべく本発明は、劣化画像を復元してぼけのない原画像にできるだけ近い復元画像を得る画像復元方法であって、劣化画像をＹＵＶの色空間に変換する準備処理工程と、この準備処理工程によって得たＹＵＶの色空間のうちのＹ画像（Ｙプレーン）を複数の分解画像に分解する分解処理工程と、この分解処理工程によって得た分解画像を再構成してＹ画像（Ｙプレーン）とすると共に前記準備処理工程で変換したＵＶ画像（ＵＶプレーン）と合成して復元画像とする再構成処理工程を備えた。

【0011】

前記画像復元方法において、前記準備処理工程は、例えば以下の１〜７である。
１．劣化画像（入力画像）ｆ(x,y)をＹＵＶの色空間に変換する。
２．ＹＵＶの色空間のうちのＹ画像ｆを３２ビット化する。
３．入力パラメータ（復元深度ｔ、比率ｋ）からσ₀〜_Jの拡散値配列を作成する。
４．拡散値σ₀²のガウシアンカーネルＧσ₀²を作成する。
５．拡散値σ₁²〜σ_J²のＬＯＧカーネルＬＯＧσ₁²〜ＬＯＧσ_J²を作成する。
６．上記３の配列内容を単純に、σを−ｔとした復元深度配列を作成する。
７．上記４〜５と同様の作業を上記６の腹元深度配列で行い、復元カーネルを作成する。
また、前記分解処理工程は、例えば以下の８〜１０である。
８．Ｙ画像ｆ₀に上記４の拡散値σ₀²のガウシアンカーネルＧσ₀²を適用した画像Ｇσ₀²*ｆ₀をＹ画像ｆ₀から引いて１回分解後の分解画像ｆ₁を生成する（ｆ₁＝ｆ₀−ｆ₀*Ｇσ₀²）。
９．１回分解後の分解画像ｆ₁に上記５の拡散値σ₁²のＬＯＧカーネルＬＯＧσ₁²を適用した画像ｆ₁*ＬＯＧσ₁²を１回分解後の分解画像ｆ₁から引いて２回分解後の分解画像ｆ₂を生成する（ｆ₂＝ｆ₁−ｆ₁*ＬＯＧσ₁²）。
１０．上記９と同様な作業を繰り返して分解画像ｆ_Jまで生成し、分解画像をＪ枚得る。
更に、前記再構成処理工程は、例えば以下の１１〜１４である。
１１．分解画像ｆ₁〜ｆ_Jにそれぞれ上記７で作成した復元ＬＯＧカーネルＬＯＧσ₁²_-t〜ＬＯＧσ_J²_-tを適用し、全ての画像の和を求めて総和画像を作成する。
１２．Ｙ画像に上記７で作成した復元ガウシアンカーネルＧσ₀²_-tを適用し、上記１１で作成した総和画像と加算する。
１３．Ｙ画像を入力画像ｆ(x,y)のビット深度に戻す。
１４．上記１３で得た画像をＹプレーンとして入力画像ｆ(x,y)のＵＶプレーンと合成して復元画像Ｉ'(x,y)として出力する。

【発明の効果】

【0012】

本発明に係る画像復元方法によれば、レンズの収差による劣化画像や厚い空気層など媒質のランダムな揺らぎを通した劣化画像など、画像の劣化過程を表す関数がガウス型関数である観測画像（劣化画像）を復元してぼけのない原画像にできるだけ近い復元画像を得ることができる。

【図面の簡単な説明】

【0013】

【図1】本発明に係る画像復元方法を実施する画像復元装置の構成図

【図2】本発明に係る画像復元方法の処理手順を示すフローチャート

【図3】分解処理・復元処理におけるラインバッファ操作方法の説明図

【図4】（ａ）はレンズ収差により劣化した画像、（ｂ）は復元後の画像

【図5a】はテストチャートの原画

【図5b】は原画のぼかし画像

【図5c】はぼかし画像の復元画像

【発明を実施するための形態】

【0014】

以下に本発明の実施の形態を添付図面に基づいて説明する。本発明に係る画像復元方法を実施する画像復元装置１は、図１に示すように、劣化画像ｆ(x,y)をＹＵＶの色空間に変換する準備処理手段２と、この準備処理手段２によって得たＹＵＶの色空間のうちのＹ画像（Ｙプレーン）ｆ₀を複数の分解画像ｆ₁〜ｆ_Jに分解する分解処理手段３と、この分解処理手段３によって得た分解画像ｆ₁〜ｆ_Jを再構成してＹ画像（Ｙプレーン）ｆとすると共に準備処理手段２で変換したＵＶ画像（ＵＶプレーン）ｆuvと合成して復元画像Ｉ'(x,y)とする再構成処理手段４を備える。

【0015】

レンズと撮像素子（撮像センサ）による画像は、一般にレンズの収差によるガウス型のボケと高周波によるノイズによって劣化している。本来、１ピクセルに集まるべき光は、ガウス分布でボケており、周辺のピクセルに影響している。全く収差のないレンズによる画像は、ボケを生じないが、実際の画像はガウス分布でボケを生じた光の集合となる。

【0016】

画像を数式で表すために、先ず二次元ガウス関数をＧt(x,y)とすると、
Ｇt(x,y)＝1/2πt*exp(-(x²+y²)/2t) （式１）
ｔはガウス関数の広がりを示す拡散値である。

【0017】

収差のない（ボケのない）画像（原画像）をＩ(x,y)とすると、ボケた画像（劣化画像）の劣化過程ｆ(x,y)は次式のように表される。
ｆ(x,y)＝Ｋ^tＩ(x,y)＋ω(x,y)＝Ｇt(x,y)*Ｉ(x,y)＋ω(x,y) （式２）
＊はたたみ込みを表す演算子であり、次式で定義される。

【0018】

Ｇt(x,y)*Ｉ(x,y)＝∬Ｇt(x',y')*Ｉ(x・x',y・y')dx'dy' （式３）
これを有限画素で計算するために、次式に変換する。
Ｇt(x,y)*Ｉ(x,y)＝Σy'Σx'(Ｇt(x',y')*Ｉ(x・x',y・y')) （式４）
なお、ω(x,y)は、観測時の高周波雑音と考えられるので省略する。

【0019】

ここで、Ｋ^tは関数を二次元ガウス関数Ｇt(x,y)でたたみ込みをする演算子である。ｔはガウス関数の広がりを表しているので、ｔを時刻と考えるとＫ^tは例えば一点にあるインクが次第に拡散していく様子を表すと考えることができる。拡散時間は当然ｔ≧０であるが、これをｔ＜０とするとガウス関数拡散の逆、つまり復元の過程と捉えることができる。

【0020】

このような操作をする演算子をＫ^-tと表すと、原画像Ｉ(x,y)の近似解Ｉ'(x,y)を次式のように表すことができる。
Ｉ'(x,y)＝Ｋ^-tｆ(x,y)＝Ｉ(x,y)＋Ｋ^-tω(x,y) （ｔ＞０） （式５）
また、Ｋ^tとＫ^-tの関係は次式となる。
Ｋ^tＫ^-tｆ(x,y)＝ｆ(x,y) （式６）

【0021】

このままでは利用することができないので、以下の関係式を用いる。
ひとつは、ガウス関数のたたみ込みに対しての関係式
Ｋ^-tＧσ₂*ｆ＝Ｇσ_2-t*ｆ （σ²＞ｔ） （式７）
もうひとつは、ＬＯＧ関数のたたみ込みに対しての関係式
Ｋ^-tＬＯＧσ₂*ｆ＝ＬＯＧσ_2-t*ｆ （σ²＞ｔ） （式８）

【0022】

ＬＯＧ関数とは、画像処理でよく利用されるラプラシアンオブガウシアンフィルターであり、二次元のガウス関数にラプラシアン演算子Ｌを作用させることで得られる。
ラプラシアン演算子Ｌ＝∂²/∂x²＋∂²/∂y² （式９）

【0023】

ラプラシアン演算子Ｌをガウス関数に作用させると次式となる。
ＬＯＧσ₂(x,y)＝１/(２πσ⁴)*(２−(x²＋y²)/σ²)*exp(−(x²＋y²)/２σ²) （式１０）
この関数（式１０）をフィルタと捉えると、中間周波数を通す帯域通過フィルタとなる。

【0024】

式７と式８を利用して劣化画像ｆ(x,y)を分解すると、
ｆ＝Ｇσ₀²*ｆ₁＋Σ^J_j=1ＬＯＧσ_j²*ｆ_j＋ｆ_J+1 （式１１）
本案では、劣化画像ｆ(x,y)を有限画素で計算するために次式に変換する。
ｆ(x,y)＝Σ_y'Σ_x'(Ｇσ₀²_-t(x',y')*ｆ₁(x・x',y・y'))＋
Σ^J_j=1(Σy'Σx'(ＬＯＧσ_j²_-t(x',y')*ｆ_j(x・x',y・y')))＋ｆ_J+1 （式１２）
ここで、σ²はガウス関数およびＬＯＧ関数のスケールパラメータである。

【0025】

ｆ_jはｊ回分解後の残差画像であり、次式で得られる。
１段階目
ｆ₁＝ｆ−Ｇσ₀²*ｆ （式１３）
ｊ段階目
ｆ_j＝ｆ_j-1−ＬＯＧσ_j-1²*ｆ_j-1 （１≦ｊ≦Ｊ） （式１４）

【0026】

式７、式８、式１１から復元を式で表すと
Ｋ^-tｆ＝Ｇσ_2-t*ｆ＋Σ^J_j=1ＬＯＧσ_2-t*ｆ_j＋Ｋ^-tｆ_J+1 （式１５）
となるが、式を安定させるには
σ_J²＞ｔ，σ_J+1²≦ｔ （条件１）
でなければならない。

【0027】

この時、式１５のＫ^-tｆ_J+1は不安定であるが、この項は劣化画像の最も高い周波数成分であるため、ほとんどが雑音である。よって、この項は無視することとする。よって、求める復元画像Ｉ'(x,y)は次式となる。
Ｉ'(x,y)＝Ｇσ_2-t*ｆ＋Σ^J_j=1ＬＯＧσ_2-t*ｆ_j （式１６）

【0028】

Ｊは劣化画像の分解回数、ｔは復元深度である。
σ_jはｊ回目の拡散(分解周波数)であり、σ_j+1＝ｋσ_j（ｋ＜１） （式１７）と等比数列になる。

【0029】

本実施例では、式１６を有限画素で計算するため、復元画像Ｉ'(x,y)を次式に変換する。
Ｉ'(x,y)＝Σ_y'Σ_x'(Ｇσ₀²_-t(x',y')*ｆ(x・x',y・y'))＋
Σ^J_j=1(Σy'Σx'(ＬＯＧσ_j²_-t(x',y')*ｆ_j(x・x',y・y'))) （式１８）

【0030】

式１２および式１８は、離散的プログラムで実装可能な式となっているが、劣化画像ｆ(x,y)に対して６つのパラメータを決定する必要がある。即ち、分解回数Ｊ、復元深度ｔ、ガウシアン/ＬＯＧカーネルサイズｎ、拡散の初期値σ₀，σ₁と比率ｋである。

【0031】

カーネルは有限画素のたたみ込み計算を行う(x',y')の行列であり、中心のあるｎ×ｎ（ｎは奇数）の正方行列とする。これらは上記条件１から特定の関係にある。
σ₁≧1.44σ₀
σ_j+1≧0.52σ_j
分解回数が小さいほど処理が終了するため、処理速度を優先すると、
σ₁＝1.44σ₀
ｋ＝0.52
となる。但し、比率ｋが粗い（小さい）と分解精度が悪くなり、十分な復元が得られない。

【0032】

カーネルサイズ（正方行列の大きさ）を自動的に計算するには以下のように行う。
実施例のカーネルはガウシアン／ＬＯＧの２次元行列である。ガウシアン／ＬＯＧはいずれも行列の中心を原点として、中心から遠いほど値はゼロに近づく性質を持つ。
そこで、中心からの距離をｒとし、半径ｒの円周で1/256未満になるσは簡易的にσ＝０．３・ｒ＋０．８と近似できる。
σからカーネルサイズを求めるには、上記の式から、
ｒ＝（σ−０．８）/０．３＋１と近似できる。
上記の式の右端の（＋１）は製法行列とする場合に各外辺で丸め誤差がでないよう、１要素分だけ大きい正方行列にするために必要となる。
これから、カーネルサイズは（ｒ×２）＋１と算出できる。

【0033】

比率ｋに対して忠実度をｄＢで表現すると、次のようになる。
ｋ＝0.7：４５ｄＢ、ｋ＝0.8：４９ｄＢ、ｋ＝0.9：５５ｄＢ、ｋ＝0.95：５９ｄＢとなる。忠実度が５０ｄＢを確保するには、ｋ＝0.8以上が必要である。

【0034】

必要条件は上記の通りであるが、実用になるパラメータを迅速に決定するためには、パラメータを自動算出する必要がある。
本案ではパラメータを復元量（復元深度）ｔと精度（比率）ｋの２つを決定すると他のパラメータは算術的に決定されるアルゴリズムを用いて自動算出を行う。
１. 拡散の初期値σ₀＝√(ｔ+0.5) 経験的に求めた数値
２. 拡散の初期値σ₁＝1.44σ₀ 非特許文献１より
３. ガウシアン/ＬＯＧカーネルサイズｎ＝2((σ₁-0.8)/0.3+1.0)+1
非特許文献２よりσ＝0.3(ｎ/2-1)+0.8から逆算して概算奇数
４. 分解回数Ｊ＝σ_j≦0.7となるｊ ＬＯＧの中心が(0±0.5,0±0.5)以内に収まるσ＝0.7、精度ｋが1.0に近い場合、分解回数Ｊが非常に大きくなる可能性がある。

【0035】

この場合、式１７であるσ_j+1＝ｋσ_j（ｋ＜１）を次式のように等差数列に置き換えて分解回数を削減する。
σ_j＝σ₁・(σ₁・ｋσ₁)・(ｊ−1) （式１９）

【0036】

復元処理のアルゴリズムは、主に準備処理、分解処理と再構成処理の３つに分かれる。
先ず、準備処理では、以下の処理が必要となる。復元画像Ｉ'(x,y)を表す式１８を処理するには、ｆ_jが必要である。ｆ_jは式１２によって算出される。式１２と式１８では、拡散値σ₀²のガウシアンカーネルと拡散値σ₁²〜σ_J²のＪ個のＬＯＧカーネルが必要である。これらのカーネルは、入力パラメータである復元量（復元深度）ｔと精度（比率）ｋから自動計算される拡散の初期値σ₀,σ₁より、式１及び式１０で算出する。

【0037】

σ₀〜σ_Jは再構成処理のため、式１７により配列等に記憶しておく。但し、分解回数Ｊが一定以上大きい場合（実装のメモリ容量などで規定）は、式１９を利用する。

【0038】

次に、分解処理では、以下の処理が行われる。カーネルが用意できたら式１２の前半に従って、劣化画像ｆ(x,y)と、劣化画像ｆ(x,y)に拡散値σ₀²のガウシアンカーネルＧσ₀²を適用したＧσ₀²*ｆ₀との差を求め、これをｆ₁とする。次いで、式１２の後半に従って、ｆ₁と、ｆ₁に拡散値σ₁²のＬＯＧカーネルＬＯＧσ₁²を適用したＬＯＧσ₁²*ｆ₁との差を求め、これをｆ₂とする。以下ｆ_Jまでこの処理を繰り返し、劣化画像ｆ(x,y)の分解画像ｆ₁〜ｆ_JをＪ枚得る。

【0039】

次に、再構成処理では、以下の処理が行われる。式１８に従って、分解画像ｆ₁〜ｆ_Jに対して拡散値σ₁²_-t〜σ_J²_-tの復元ＬＯＧカーネルを適用し、全ての画像の和を求める。次いで、劣化画像ｆ(x,y)に拡散値σ₀²_-tの復元ガウシアンカーネルを適用し、その画像に上記の復元ＬＯＧカーネルを適用した全ての画像を加算して、復元画像Ｉ'(x,y)とする。

【0040】

ここでは、グレースケールを前提としたアルゴリズムである。従って、入力画像（劣化画像）は先ずＹＵＶの色空間に変換され、Ｙ画像（Ｙプレーン）のみに対して上記復元処理が適用される。

【0041】

次に、本発明に係る画像復元方法について、図２に示すフローチャートに従って説明する。先ず、劣化画像（入力画像）ｆ(x,y)をＹＵＶの色空間に変換する（ステップＳＰ１）。次いで、ＹＵＶの色空間のうちのＹ画像（Ｙプレーン）ｆ₀を３２ビット化する（ステップＳＰ２）。

【0042】

ステップＳＰ３では、入力パラメータ（復元深度ｔ、比率ｋ）からσ₀〜_Jの拡散値配列を作成する（式１７または式１９）。ステップＳＰ４では、拡散値σ₀²のガウシアンカーネルＧσ₀²を作成する（式１）。ステップＳＰ５では、拡散値σ₁²〜σ_J²のＬＯＧカーネルＬＯＧσ₁²〜ＬＯＧσ_J²を作成する（式１０）。

【0043】

ステップＳＰ６では、拡散値配列の配列内容を単純に、σを−ｔとした復元深度配列を作成する。ステップＳＰ７では、ステップＳＰ４,ＳＰ５と同様の作業をステップＳＰ６の腹元深度配列で行い、復元カーネルを作成する。ここまで、ステップＳＰ１〜ステップＳＰ７が準備処理工程である。

【0044】

次いで、ステップＳＰ８では、Ｙ画像ｆ₀にステップＳＰ４の拡散値σ₀²のガウシアンカーネルＧσ₀²を適用した画像Ｇσ₀²*ｆ₀をＹ画像ｆ₀から引いて１回分解後の分解画像ｆ₁を生成する（ｆ₁＝ｆ₀−Ｇσ₀²*ｆ₀）。ステップＳＰ９では、（ｊ−１）回分解後の分解画像ｆ_j-1にステップＳＰ５の拡散値σ_j-1²のＬＯＧカーネルＬＯＧσ_j-1²を適用した画像ＬＯＧσ_j-1²*ｆ_j-1を（ｊ−１）回分解後の分解画像ｆ_j-1から引いてｊ回分解後の分解画像ｆ_jを生成する（ｆ_j＝ｆ_j-1−ＬＯＧσ₁²*ｆ_j-1）。

【0045】

ステップＳＰ１０では、ｊ（１≦ｊ≦Ｊ）がＪと等しいか否かが判断され、ｊ＜Ｊの場合にはステップＳＰ９に戻って分解画像ｆ_jを生成し、ｊ＝Ｊの場合にはステップＳＰ１１へ進む。ここまで、ステップＳＰ８〜ステップＳＰ１０が分解処理工程であり、分解画像をＪ枚得る。

【0046】

次いで、ステップＳＰ１１では、分解画像ｆ₁〜ｆ_JにそれぞれステップＳＰ７で作成した復元ＬＯＧカーネルＬＯＧσ₁²_-t〜ＬＯＧσ_J²_-tを適用し、全ての画像の和を求めて総和画像を作成する。ステップＳＰ１２では、Ｙ画像にステップＳＰ７で作成した復元ガウシアンカーネルＧσ₀²_-tを適用し、ステップＳＰ１１で作成した総和画像と加算する。

【0047】

ステップＳＰ１３では、Ｙ画像を劣化画像（入力画像）ｆ(x,y)のビット深度に戻す。ステップＳＰ１４では、ステップＳＰ１３で得た画像をＹプレーンとして劣化画像（入力画像）ｆ(x,y)のＵＶプレーンと合成し、復元画像Ｉ'(x,y)として出力する。ステップＳＰ１１〜ステップＳＰ１４が再構成処理工程である。

【0048】

図３は分解処理・復元処理におけるラインバッファ操作方法を示し、分解処理工程（ステップＳＰ８〜ステップＳＰ１０）及び再構成処理工程（ステップＳＰ１１）において、Ｊ＝３の場合である。

【0049】

Ｙ画像ｆ₀から分解画像ｆ₁、分解画像ｆ₂、分解画像ｆ₃を生成する作業及び分解画像ｆ₁〜ｆ₃に復元ＬＯＧカーネルＬＯＧσ₁²_-t〜ＬＯＧσ₃²_-tを適用し、全ての画像の和を求めて総和画像を作成する作業が、処理時刻（１〜８）毎に各ラインバッファ（ＬＢＬＶ１〜ＬＢＬＶ４）において並行処理される。
ここで、ラインバッファは入力画像の水平画素数×カーネル縦サイズの大きさを持つ一時記憶メモリである。

【0050】

具体的には、最初の時刻（図３の最上段）では、ラインバッファ（ＬＶ１）からＹ画像ｆ₀を読み込み、ラインバッファ（ＬＶ２）に分解画像ｆ₁を書き込む。
次の時刻（図３の上から２段目）では、ラインバッファ（ＬＶ１）にリードモディファイ（ｆ₀−＝ｆ₀*Ｇ−）を書き込み、ラインバッファ（ＬＶ３）に分解画像ｆ₂を書き込む。
次の時刻（図３の上から３段目）では、ラインバッファ（ＬＶ２）にリードモディファイ（ｆ₁−＝ｆ₁−*Ｌ１−）を書き込み、ラインバッファ（ＬＶ４）に分解画像ｆ₃を書き込む。
次の時刻（図３の上から４段目）では、ラインバッファ（ＬＶ３）にリードモディファイ（ｆ₂−＝ｆ₂−*Ｌ２−）を書き込み、ラインバッファ（ＬＶ４）にリードモディファイ（ｆ₃−＝ｆ₃−*Ｌ３−）を書き込む。
次の時刻（図３の上から５段目）では、ラインバッファ（ＬＶ４）から（ｆ₃−）を読み取り、ラインバッファ（ＬＶ３）に（ｆ₂−）＋（ｆ₃−）を書き込む。
次の時刻（図３の上から６段目）では、ラインバッファ（ＬＶ３）から（ｆ₂−）＋（ｆ₃−）を読み取り、ラインバッファ（ＬＶ２）に（ｆ₁−）＋（ｆ₂−）＋（ｆ₃−）を書き込む。
次の時刻（図３の上から７段目）では、ラインバッファ（ＬＶ２）から（ｆ₁−）＋（ｆ₂−）＋（ｆ₃−）を読み取り、ラインバッファ（ＬＶ１）に（ｆ₀−）＋（ｆ₁−）＋（ｆ₂−）＋（ｆ₃−）を書き込む。
このように処理時刻毎に各ラインバッファにおいて並行処理されることにより、分解処理及び復元処理の迅速化が可能になる。

【0051】

図４はレンズ収差により劣化した画像の（ａ）は復元前の画像、（ｂ）は復元後の画像である。
また、図５は一般的に用いられるテストチャートを用いたものであり、（ａ）は原画、（ｂ）は原画のぼかし画像、（ｃ）はぼかし画像を本発明方法で復元した画像である。
これらの画像から、本発明方法によりレンズの収差によるガウス型のボケによる劣化画像が復元されていることが分かる。

【産業上の利用可能性】

【0052】

本発明によれば、画像の劣化過程を表す関数がガウス型関数である観測画像（劣化画像）を復元してぼけのない原画像にできるだけ近い復元画像を得ることができる画像復元方法を提供することができる。

【符号の説明】

【0053】

１…画像復元装置、２…準備処理手段、３…分解処理手段、４…再構成処理手段。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図5c】