特許 5909540 画像処理表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5909540

(24)【登録日】2016年4月1日

(45)【発行日】2016年4月26日

(54)【発明の名称】画像処理表示装置

(51)【国際特許分類】

   G06T 5/00 20060101AFI20160412BHJP

   H04N 1/409 20060101ALI20160412BHJP

   H04N 5/225 20060101ALI20160412BHJP

   H04N 5/232 20060101ALI20160412BHJP

【ＦＩ】

   G06T5/00 710

   H04N1/40 101D

   H04N5/225 F

   H04N5/232 Z

【請求項の数】1

【全頁数】21

(21)【出願番号】特願2014-230865(P2014-230865)

(22)【出願日】2014年11月13日

(62)【分割の表示】特願2011-531274(P2011-531274)の分割

【原出願日】2011年1月28日

(65)【公開番号】特開2015-64890(P2015-64890A)

(43)【公開日】2015年4月9日

【審査請求日】2014年11月13日

(31)【優先権主張番号】特願2010-27901(P2010-27901)

(32)【優先日】2010年2月10日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】510185767

【氏名又は名称】ドルビー・インターナショナル・アーベー

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100180529

【弁理士】

【氏名又は名称】梶谷 美道

(74)【代理人】

【識別番号】100125922

【弁理士】

【氏名又は名称】三宅 章子

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100184985

【弁理士】

【氏名又は名称】田中 悠

(72)【発明者】

【氏名】石井 育規

(72)【発明者】

【氏名】物部 祐亮

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２００９−１３５５６１（ＪＰ，Ａ）

【文献】 特開２００９−２４４９４４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００ − ５／２０

Ｈ０４Ｎ １／４０９

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

元画像および仮の所望画像における相互に対応する複数の座標から得られる複数の画像ブロック対の各々に対応する複数の点広がり関数を得るように構成されたＰＳＦ推定部であって、前記仮の所望画像は、前記元画像および仮の点広がり関数に基づいて得られる、ＰＳＦ推定部と、
前記ＰＳＦ推定部によって得られた前記複数の点広がり関数の中から前記元画像のブレを規定する候補の点広がり関数を選定するように構成されたＰＳＦ選択部と、
前記候補の点広がり関数を用いて前記元画像から最終的な画像を出力するように構成された出力装置と、
を備え、
前記最終的な画像におけるある点の像は、前記元画像におけるぶれた像に対応する、画像処理表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を復元するための画像処理装置、画像処理方法、および画像処理装置を備えた撮像装置に関する。

【背景技術】

【0002】

デジタルカメラで画像を撮像すると、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、あるいはＣＭＯＳの読み出し回路の特性や伝送路の特性により画像にノイズが加えられることがある。また、撮像時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ−ｏｆ−ｆｏｃｕｓ）による画像のぼやけ（ブラー：ｂｌｕｒ）や、手振れ（ｃａｍｅｒａ ｓｈａｋｅ）などによる画像のぼやけが発生する。このように撮像画像には、撮像画像固有の特性によるノイズに、撮影時の人為的な操作を起因とするぼやけが加わることにより、画像が劣化することになる。これらの「ぼやけ」のうち、撮影（露光）中におけるカメラの運動による画像のぼやけを「ブレ（ｍｏｔｉｏｎ ｂｌｕｒ）」と称し、焦点外れによるぼやけ（ｏｕｔ−ｏｆ−ｆｏｃｕｓ ｂｌｕｒ）と区別することにする。

【0003】

近年、特に高感度撮影の需要が増大していることにより、ぼやけによって劣化した画像（以下、「劣化画像」という）を元の画像（以下、「理想画像」という）にできるだけ近い画像に復元することが必要となる。高感度撮影に要求される、明るくノイズやぼやけのない画像を実現するために、大別して感度を高めるという考え方と、露光時間を長くするという考え方がある。

【0004】

しかしながら、感度を高めるとノイズも増幅されてしまう。そのため、信号がノイズに埋もれてしまい、ノイズが大半を占める画像になることが多い。一方で露光時間を長くすることで、その場で生じる光を多く蓄積し、ノイズの少ない画像が得られる。この場合、信号がノイズで埋もれることはないが、手振れによって画像にブレが生じるという問題がある。

【0005】

そこで、従来、２通りの考え方で露光時間を長くする場合の対処法がとられていた。一
つは、レンズシフトやセンサシフトといった光学式手振れ補正である。他方は、得られた画像からブレの方向／大きさを求め、そこから信号処理によって画像を復元するという方法（信号処理による復元方法）である。信号処理による復元方法は、例えば特許文献１、特許文献２、非特許文献１〜５などに開示されている。

【0006】

手振れによって理想画像から劣化画像へと画像が劣化する現象は、以下のようにモデル化することができる。劣化画像における各画素の輝度を表す関数は、理想画像における各画素の輝度を表す関数と、画像撮影時の手振れによる画像のブレを表す点広がり関数（ＰＳＦ； Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との畳み込み（ｃｏｎｖｏｌｕｔ
ｉｏｎ）によって得られると考えられる。そして得られた劣化画像を理想画像へと復元するためには、劣化画像とＰＳＦとの逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を行えばよい。畳み込み演算は周波数空間において乗算になるため、周波数空間において劣化画像をＰＳＦで除算することにより、復元画像を得ることができる。

【0007】

このようにＰＳＦが既知の場合、ノイズの影響を無視すれば、上記の逆畳み込み演算によって比較的容易に復元画像を得ることができる。一方、ＰＳＦが未知の場合、復元画像を得るためには劣化画像からＰＳＦを推定する必要がある。ＰＳＦの推定には、例えば非特許文献１に開示されたスパースコーディングによる方法などが知られている。

【0008】

この方法では、まず手動で与えた初期ＰＳＦと劣化画像とから、第１の復元結果を得る。続いて第１の復元結果と劣化画像とを用いてより真のＰＳＦに近いと考えられるＰＳＦを推定し、推定されたＰＳＦで初期ＰＳＦを修正する。修正されたＰＳＦを用いて劣化画像から第２の復元結果を得る。以降、第（Ｎ−１）のＰＳＦと劣化画像とから第Ｎの復元画像を得て、第Ｎの復元画像と劣化画像とから第ＮのＰＳＦを推定する、という操作を繰り返すことにより、ＰＳＦの推定と劣化画像の復元を同時に行っていく。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００６−１２９２３６号公報

【特許文献2】特表２００９−５２２８２５号公報

【特許文献3】特開２００８−０９２５１５号公報

【非特許文献】

【0010】

【非特許文献1】“Ｈｉｇｈ-ｑｕａｌｉｔｙ Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｉｍａｇｅ”, Ｑｉ Ｓｈａｎ, Ｊｉａｙａ Ｊｉａ, ａｎｄ Ａｓｅｅｍ Ａｇａｒｗａｌａ,ＳＩＧＧＲＡＰＨ ２００８

【非特許文献2】米司・田中・奥富共著,「直線的手ぶれ画像復元のためのｐｓｆパラメータ推定手法」，情報処理学会研究報告，第２００５巻,第３８号，ｐ．４７−５２，２００５年

【非特許文献3】J. Bioucas-Dias, “Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors”, IEEE Trans. Image Proc., vol. 4, pp. 937-951, April 2006

【非特許文献4】Levin, “Blind Motion Deblurring Using Image Statistics”, Advances in Neural Information Processing Systems (NIPS), Dec 2006

【非特許文献5】Bob Fergus et al., “Removing camera shake from a single image”, Barun Singh Aaron Hertzmann, SIGGRAPH 2006

【発明の概要】

【発明が解決しようとする課題】

【0011】

暗い環境で十分な光量を集めるために露光時間を長くすると手振れが発生し易くなる。
そのような暗い環境において光学式手振れ補正によってブレに対応するためには、レンズやセンサの稼動範囲を大きくする必要がある。しかし、稼動範囲が大きくなるとレンズ等の移動の際に時間遅れが生じるという問題点がある。また、稼動範囲を大きくすることには物理的な限界がある。よって、光学式手振れ補正には限界がある。

【0012】

一方、従来の信号処理による復元方法によれば、画像全体の情報に基づいてＰＳＦの推定と画像の復元が行われるため、処理に必要な計算量とメモリ量が多くなるという問題がある。一般に、画像を構成する画素の数をｎとすれば、必要な計算量とメモリ量はＯ（ｎ＾２）で表される。従って、画素数の多い画像を復元するためには多くの計算リソースが必要となる。また、画像にノイズや被写体ブレなどが含まれている場合、画像全体を用いて復元処理を行うと、ＰＳＦの推定に誤差が生じ、真のＰＳＦに近いＰＳＦを推定することが困難となる。

【0013】

特許文献３において、画像に含まれる主要な被写体を抽出するための演算量を削減させる技術が開示されている。この技術によれば、画像を複数の部分領域に分割し、部分領域に主要被写体が含まれているか否かによって処理が切り替えられる。しかし、特許文献３に開示された技術を画像の復元に適用することはできない。ブレを含む画像を復元するためには、画像のどの領域についても同一の復元処理を行う必要がある。すなわち、画像を複数の部分領域に分割した場合であっても、同一のＰＳＦによる復元処理が必要である。

【0014】

本発明は、上記のような問題点に鑑みてなされたものである。劣化画像および復元画像のサイズがＰＳＦのサイズに比べて大きいことが圧倒的に多いことに着目し、推定に最低限必要なデータを用いることにより、精度を保持したまま計算量の削減を可能にする。本発明の目的は、復元の精度を保持しながら、ＰＳＦ推定のための計算量を削減する画像処理装置、方法、ならびに当該画像処理装置を備えた撮像装置を提供することにある。

【課題を解決するための手段】

【0015】

本発明のある態様に係る画像処理装置は、入力された劣化画像から前記劣化画像よりもブレの少ない復元画像を生成する画像処理装置であって、仮の復元画像を設定する初期画像設定部と、各々が前記劣化画像および前記仮の復元画像において同一座標に位置する２つの画像ブロックからなる複数の画像ブロック対を前記劣化画像および前記仮の復元画像から選定する画像ブロック選定部と、前記複数の画像ブロック対の各々に対応する複数の点広がり関数を得るＰＳＦ推定部と、前記ＰＳＦ推定部で得られた前記複数の点広がり関数の中から前記劣化画像のブレを規定する候補の点広がり関数を選定するＰＳＦ選択部と、前記候補の点広がり関数を用いて前記劣化画像から復元画像を生成する画像復元部と、を備えている。

【0016】

ある実施形態において、本発明の画像処理装置は、仮の点広がり関数を設定する初期ＰＳＦ設定部を備え、前記初期画像設定部は、前記仮の点広がり関数を用いて前記劣化画像から前記仮の復元画像を生成する。

【0017】

ある実施形態において、前記劣化画像および前記仮の復元画像の横方向をＸ方向、縦方向をＹ方向とするとき、前記複数の画像ブロック対に含まれる各画像ブロックのＸ方向サイズおよびＹ方向サイズの各々は、前記仮の点広がり関数が有限値をとる画素からなる領域のＸ方向サイズおよびＹ方向サイズのうち大きい方に等しい。

【0018】

ある実施形態において、前記画像ブロック選定部は、前記劣化画像および前記仮の復元画像から前記複数の画像ブロック対をランダムに選定する。

【0019】

ある実施形態において、ｎ＝１，２，・・・Ｎ（Ｎは２以上の整数）として、前記仮の復元画像を第ｎの仮の復元画像とし、前記復元画像を第ｎの復元画像とするとき、前記第
ｎの復元画像が生成された後において、前記初期画像設定部は、前記第ｎの復元画像によって前記第ｎの仮の復元画像を第（ｎ＋１）の仮の復元画像として更新し、前記画像ブロック選定部は、前記複数の画像ブロック対とは少なくとも一部が異なる複数の画像ブロック対を前記劣化画像および前記第（ｎ＋１）の仮の復元画像から選定することにより、前記候補の点広がり関数および前記復元画像の更新を繰り返す。

【0020】

ある実施形態において、前記画像ブロック選定部は、前記複数の画像ブロック対の選定とは独立に、複数の画像ブロックを第１画像ブロック群として前記劣化画像から選定し、前記ＰＳＦ推定部によって得られる前記複数の点広がり関数のうち、ｋ番目の点広がり関数をｆ_k（ｋは１以上の整数）と表し、前記第１画像ブロック群に含まれるｂ番目の画像
ブロックにおける輝度分布を示す関数をｉ_b（ｂは１以上の整数）と表し、ｉ_bとｆ_kとの
間の逆畳み込み演算によって得られる関数をｓ_kbと表すとき、前記ＰＳＦ選択部は、ｓ_kbとｆ_kとの間の畳み込み演算によって得られる関数（ｓ_kb＊ｆ_k）とｉ_bとの間の差に基づ
いて前記候補の点広がり関数を選定する。

【0021】

ある実施形態において、前記ＰＳＦ選択部は、前記複数の点広がり関数の各々について、（ｓ_kb＊ｆ_k）とｉ_bとの間の二乗誤差が所定の閾値以下の値となる画像ブロックの数を算出し、前記画像ブロックの数が最大となる点広がり関数を前記候補の点広がり関数として選定する。

【0022】

ある実施形態において、前記画像ブロック選定部は、前記複数の画像ブロック対の選定とは独立に、複数の画像ブロックを第１画像ブロック群として前記劣化画像から選定し、各々が前記第１画像ブロック群に含まれる各画像ブロックと同一座標に位置する複数の画像ブロックを第２画像ブロック群として前記仮の復元画像から選定し、前記ＰＳＦ推定部によって得られる前記複数の点広がり関数のうち、ｋ番目の点広がり関数をｆ_k（ｋは１
以上の整数）と表し、前記第１画像ブロック群に含まれるｂ番目の画像ブロックにおける輝度分布を示す関数をｉ_b（ｂは１以上の整数）と表し、前記第２画像ブロック群に含ま
れる前記ｉ_bに対応する画像ブロックにおける輝度分布を示す関数をｓ_b（ｂは１以上の整数）と表すとき、前記ＰＳＦ選択部は、ｓ_bとｆ_kとの間の畳み込み演算によって得られる関数（ｓ_b＊ｆ_k）とｉ_bとの間の差に基づいて前記候補の点広がり関数を選定する。

【0023】

ある実施形態において、前記ＰＳＦ選択部は、前記複数の点広がり関数の各々について、（ｓ_b＊ｆ_k）とｉ_bとの間の二乗誤差が所定の閾値以下の値となる画像ブロックの数を算出し、前記画像ブロックの数が最大となる点広がり関数を前記候補の点広がり関数として選定する。

【0024】

ある実施形態において、前記画像ブロック選定部は、前記第１画像ブロック群をランダムに前記劣化画像から選定する。

【0025】

ある実施形態において、前記ＰＳＦ選択部は、前記ＰＳＦ推定部によって得られた前記複数の点広がり関数を互いに類似する複数の点広がり関数から構成される複数のクラスタに分け、前記複数のクラスタの各々における平均的な点広がり関数を代表ＰＳＦとしてクラスタごとに決定し、決定した複数の代表ＰＳＦの中から候補の代表ＰＳＦを選定し、前記候補の代表ＰＳＦに対応するクラスタの中から前記候補の点広がり関数を選定する。

【0026】

本発明の撮像装置は、本発明の画像処理装置を備える撮像装置であって、固体撮像素子を備え、前記固体撮像素子によって取得された信号を前記劣化画像として前記画像処理装置に入力する。

【0027】

本発明のある態様に係る画像処理方法は、入力された劣化画像から前記劣化画像よりもブレの少ない復元画像を生成する方法であって、ｎ＝１，２，・・・Ｎ（Ｎは２以上の整数）とするとき、第ｎの復元画像を設定するステップ（Ａ）と、各々が前記劣化画像および前記第ｎの復元画像において同一座標に位置する２つの画像ブロックからなる複数の画像ブロック対を前記劣化画像および前記第ｎの復元画像から選定するステップ（Ｂ）と、前記複数の画像ブロック対の各々に対応する複数の点広がり関数を得るステップ（Ｃ）と、前記ＰＳＦ推定部で得られた前記複数の点広がり関数の中から前記劣化画像のブレを規定する候補の点広がり関数を選定するステップ（Ｄ）と、前記候補の点広がり関数を用いて前記劣化画像から第ｎ＋１の復元画像を生成するステップ（Ｅ）と、を含み、前記ステップ（Ａ）から前記ステップ（Ｅ）までの各ステップをｎ＝１から開始して第Ｎ＋１の復元画像が生成されるまで繰り返すことにより、前記劣化画像を復元する。

【0028】

本発明のある態様に係るプログラムは、入力された劣化画像から復元処理を繰り返すことによって前記劣化画像よりもブレの少ない復元画像を生成する画像処理装置の動作を制御するプログラムであって、ｎ＝１，２，・・・Ｎ（Ｎは２以上の整数）とするとき、第ｎの復元画像を設定するステップ（Ａ）と、各々が前記劣化画像および前記第ｎの復元画像において同一座標に位置する２つの画像ブロックからなる複数の画像ブロック対を前記劣化画像および前記第ｎの復元画像から選定するステップ（Ｂ）と、前記複数の画像ブロック対の各々に対応する複数の点広がり関数を得るステップ（Ｃ）と、前記ＰＳＦ推定部で得られた前記複数の点広がり関数の中から前記劣化画像のブレを規定する候補の点広がり関数を選定するステップ（Ｄ）と、前記候補の点広がり関数を用いて前記劣化画像から第ｎ＋１の復元画像を生成するステップ（Ｅ）とを含み、前記ステップ（Ａ）から前記ステップ（Ｅ）までの各ステップをｎ＝１から開始して第Ｎ＋１の復元画像が生成されるまで繰り返す処理を前記画像処理装置に実行させる。

【0029】

なお、本発明のプログラムは、コンピュータ読み取り可能な記録媒体に格納されていてもよい。

【発明の効果】

【0030】

本発明によれば、ＰＳＦ推定によって劣化画像を復元するシステムにおいて、計算量およびメモリ量の削減が可能になる。

【図面の簡単な説明】

【0031】

【図1】画像の画素構成を示す図である。

【図2】理想画像における点像と劣化画像における像との違いを示す図である。

【図3】本発明の第１の実施形態における画像処理装置の概略構成を示す図である。

【図4】本発明の第１の実施形態における画像処理装置の機能構成を示すブロック図である。

【図5】本発明の第１の実施形態における画像処理装置の処理の流れを示すフロー図である。

【図6】本発明の第１の実施形態におけるＰＳＦの推定方法を示す概念図である。

【図7】本発明の第１の実施形態におけるＰＳＦの評価方法を示す概念図である。

【図8】本発明の第２の実施形態におけるＰＳＦの評価方法を示す概念図である。

【図9】本発明の第３の実施形態におけるＰＳＦ選択部の処理の流れを示すフロー図である。

【図10】本発明の第３の実施形態におけるＰＳＦのクラスタを示す概念図である。

【図11】本発明の第４の実施形態における撮像装置の概略構成を示す図である。

【発明を実施するための形態】

【0032】

本発明の実施形態を説明する前に、本発明の基本的原理を説明する。

【0033】

図１は、本明細書における画像の構成を模式的に示す図である。本明細書では、劣化画像を表す関数をｉ（ｘ，ｙ）で表すことにする。座標（ｘ，ｙ）は、画像における画素の位置を示す二次元座標である。画像１３０が例えば行列状に配列されたＭ×Ｎ個の画素１３５からなる場合において、ｘおよびｙが、それぞれ、０≦ｘ≦Ｍ−１、０≦ｙ≦Ｎ−１の関係を満足する整数であるとすると、画像を構成する個々の画素の位置を座標（ｘ，ｙ）によって特定することができる。ここでは、座標の原点（０，０）を画像の左上隅に置き、Ｘ軸は垂直方向、Ｙ軸は水平方向に延びるものとする。ただし、座標の取り方は任意である。ｉ（ｘ，ｙ）は、劣化画像上の座標（ｘ，ｙ）における輝度を表すものとする。本明細書において、画像上の座標（ｘ，ｙ）における輝度を「画素値」と呼ぶことがある。

【0034】

以下の説明において、劣化画像ｉ（ｘ，ｙ）は手振れによって発生するものとし、「ブレ」とは手振れによるぼやけを意味するものとする。ブレのない画像（理想画像）の輝度分布をｓ（ｘ，ｙ）とし、ブレを規定する点広がり関数（ＰＳＦ）」をｆ（ｘ，ｙ）とする。ｆ（ｘ，ｙ）は、露光中におけるカメラの軌跡に基づいて決定される。露光中にカメラが移動することにより、理想画像に含まれる１つの画素における像（点像）は、劣化画像においては複数の周辺画素に広がった像となる。図２は、理想画像における点像が、劣化画像においてぶれた像になっている様子を例示している。このようなブレは、全ての点像において等しく生じる（ｓｈｉｆｔ−ｉｎｖａｌｉａｎｔ）とすると、ｆ（ｘ，ｙ）は、ある点像からその点像を原点とする相対座標（ｘ，ｙ）に位置する周辺画素にどのような重みでその点像が広がるかを表す関数であると言える。本明細書において、ｆ（ｘ，ｙ）は、−ｍ≦ｘ≦ｍ、−ｎ≦ｙ≦ｎ（ｍ，ｎは１以上の整数）でのみ有限の値を持つ関数とする。言い換えれば、手振れによって理想画像における１つの点像にブレが生じる範囲は、（２ｍ＋１）×（２ｎ＋１）のサイズを有する矩形領域内に含まれるとする。ｉ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）について、ノイズの影響を無視すれば、以下の式１が成立する。

【数1】

ここで、記号「＊」は、畳み込み演算（コンボリューション）を示している。式１の右辺は、一般に、以下の式２で表される。

【数2】

ｆ（ｘ，ｙ）が（２ｍ＋１）×（２ｎ＋１）個の画素からなる場合、上記の式２は、以下の式３で表すことができる。

【数3】

【0035】

ブレの点広がり関数ｆ（ｘ，ｙ）が既知である場合、得られた劣化画像ｉ（ｘ，ｙ）に対する逆畳み込み演算（デコンボリューション）により、ブレの無い画像ｓ（ｘ，ｙ）を復元することができる。また、ｆ（ｘ，ｙ）が既知でない場合は、画像からｆ（ｘ，ｙ）を推定した上でｓ（ｘ，ｙ）を求める必要がある。

【0036】

一般に、２つの関数の畳み込みのフーリエ変換は、各関数のフーリエ変換の積によって表される。このため、ｉ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を、それぞれ、Ｉ（ｕ，ｖ）、Ｓ（ｕ，ｖ）、Ｆ（ｕ，ｖ）で表すと、式１から、以下の式４が導かれる。なお、（ｕ，ｖ）は、周波数空間における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。

【数4】

ここで、記号「・」は、周波数空間における関数の「積」を示している。式（４）を変形すると、以下の式５が得られる。

【数5】

【0037】

この式５は、劣化画像ｉ（ｘ，ｙ）のフーリエ変換Ｉ（ｕ，ｖ）を、点広がり関数ＰＳＦであるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）で除算して得られた関数が、理想画像ｓ（ｘ，ｙ）のフーリエ変換Ｓ（ｕ，ｖ）に相当することを示している。すなわち、ｉ（ｘ，ｙ）およびｆ（ｘ，ｙ）が求まれば、Ｓ（ｕ，ｖ）を決定できる。Ｉ（ｕ，ｖ）は、劣化画像ｉ（ｘ，ｙ）をフーリエ変換したものであるため、手振れの点広がり関数ＰＳＦであるｆ（ｘ，ｙ）が求まれば、信号処理によって劣化画像から画像を復元する（真の画像に近づける）ことが可能になる。

【0038】

本発明では、点広がり関数ＰＳＦであるｆ（ｘ，ｙ）は、劣化画像と復元過程の画像（仮の復元画像）とを用いて決定される。ｆ（ｘ，ｙ）の決定の過程で、劣化画像および仮の復元画像から複数の画像ブロック対が抽出され、画像ブロック対ごとにＰＳＦが推定される。これらのＰＳＦは公知のｂｌｉｎｄ−ｄｅｃｏｎｖｏｌｕｔｉｏｎ手法によって求められる。画像ブロック対によってはノイズや被写体ブレなどが含まれることに起因して、真のＰＳＦとは大きく異なるＰＳＦが推定され得る。従って、推定される各ＰＳＦは画像ブロック対ごとに異なる関数となり得る。これらのＰＳＦの中から、真のＰＳＦに近いと考えられるＰＳＦが候補ＰＳＦとして選定される。候補ＰＳＦの選定には、例えばＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）に基づく方法が用いられる。この方法によれば、ＰＳＦごとに、ＰＳＦと仮の復元画像との畳み込みによって得られる画像が、どの程度劣化画像に近いかが判定される。判定の結果、誤差が大きくなるＰＳＦは排除され、誤差が小さくなるＰＳＦが候補ＰＳＦとして選定される。そのため、ノイズや被写体ブレなどを含む画像ブロック対から推定されたＰＳＦは排除され、真のＰＳＦに近いＰＳＦが候補ＰＳＦとして選定される。選定された候補ＰＳＦと劣化画像とから、逆畳み込みによって復元画像が生成される。

【0039】

このように、画像全体ではなく、画像の一部である画像ブロック対ごとにＰＳＦの推定が行われるため、復元に要する処理量およびメモリ量を削減することができる。また、局所的なノイズや被写体ブレなどの影響を受けずに真のＰＳＦに近いＰＳＦを選定することができる。

【0040】

以下、図面を参照しながら本発明の実施形態を説明する。以下の説明において、同一の要素には同一の符号を付している。

【0041】

（実施形態１）
図３は、本発明の第１の実施形態における画像処理装置２００の概略構成を示す図である。本実施形態の画像処理装置２００は、入力された劣化画像１００から復元処理を繰り返すことによって理想画像に近い復元画像１２０を生成する。画像処理装置２００は、入力された劣化画像１００に基づいて信号処理を行う画像処理部２２０と、処理の過程で生成される各種のデータが格納されるメモリ２４０を備えている。

【0042】

劣化画像１００は、デジタルスチルカメラなどの撮像装置で撮影された画像のデータであり、手振れによるブレを含んでいる。画像処理部２２０は、劣化画像１００の復元処理を実行するとともに、色調補正、解像度変更、データ圧縮などの各種信号処理も行う。画像処理部２２０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像処理を実行するためのソフトウェアとの組み合わせによって好適に実現される。メモリ２４０は、ＤＲＡＭなどによって構成される。メモリ２４０は、劣化画像１００を記録するとともに、画像処理部２２０によって各種の画像処理を受けた画像データや、圧縮された画像データなどを一時的に記録する。画像処理部２２０によって最終的に生成された復元画像１２０は、不図示の通信装置を介して、無線又は有線で他の装置（不図示）に送信され得る。

【0043】

以下、図４を参照しながら、画像処理部２２０の構成を説明する。

【0044】

画像処理部２２０は、画像入力部２５０と、ＰＳＦ決定部２６０と、復元部２７０とを備える。画像入力部２５０は、仮のＰＳＦを設定する初期ＰＳＦ設定部２２２と、仮のＰＳＦを用いて劣化画像１００から仮の復元画像を生成する初期画像設定部２２４とを有している。ＰＳＦ決定部２６０は、劣化画像および仮の復元画像から複数の画像ブロック対を抽出する画像ブロック選定部２２６と、各画像ブロック対からＰＳＦを推定するＰＳＦ推定部２２８と、推定された複数のＰＳＦの中から候補ＰＳＦを選定するＰＳＦ選択部２３０とを有している。復元部２７０は、選定された候補ＰＳＦを用いて劣化画像１００から復元画像を生成する画像復元部２３２と、復元処理が収束しているか否かを判定し、収束していると判定した場合、復元結果を出力する収束判定部２３４とを有している。

【0045】

以下、各構成要素をより詳細に説明する。

【0046】

初期ＰＳＦ設定部２２２は、画像復元処理に必要な仮のＰＳＦを設定する。仮のＰＳＦは、例えば劣化画像１００を撮影した撮像装置に搭載されたジャイロスコープや加速度センサなどの検出器によって検出された撮影時のカメラの軌跡を示すデータに基づいて設定される。そのようなデータは、例えばメモリ２４０や不図示の記録媒体などに格納されており、初期ＰＳＦ設定部２２２によって読み込まれる。仮のＰＳＦは、これらの検出器によって検出されたデータによらず、使用者によって手動で入力されてもよい。画像処理に要する時間を短縮するという観点から、仮のＰＳＦは真のＰＳＦに近いことが好ましいが、真のＰＳＦから大きくずれていたとしても後述の処理によって復元は可能である。

【0047】

初期画像設定部２２４は、メモリ２４０や不図示の記録媒体などに格納された劣化画像１００を取得するとともに、後述のＰＳＦ推定処理に必要な仮の復元画像を設定する。第１サイクル目の処理においては、仮の復元画像は仮のＰＳＦおよび劣化画像１００から生成される。第２サイクル目以降の処理においては、１サイクル前の処理で復元された画像が仮の復元画像として設定される。仮のＰＳＦを用いて劣化画像１００を復元する方法としては、公知のウィーナーフィルタ法やリチャードソン・ルーシー（ＲＬ）法などのｎｏｎ−ｂｌｉｎｄ ｄｅｃｏｎｖｏｌｕｔｉｏｎ手法を用いることができる。また、非特許文献１などに開示されたｂｌｉｎｄ−ｄｅｃｏｎｖｏｌｕｔｉｏｎ手法を用いることも可能である。仮の復元画像は、第１サイクル目の処理において、初期画像設定部２２４によって生成されてもよいし、他の機器によって生成され、メモリ２４０や不図示の記録媒体
に予め格納されていてもよい。

【0048】

画像ブロック選定部２２６は、劣化画像１００および仮の復元画像の各々から、互いに同一座標に位置する２つの画像ブロックの対をランダムに複数抽出する。画像ブロックのサイズは、仮のＰＳＦや推定されるＰＳＦのサイズよりも大きいサイズに設定される。本実施形態では、画像ブロックのＸ方向サイズおよびＹ方向サイズは、仮のＰＳＦまたは前回のステップで推定されたＰＳＦのＸ方向サイズおよびＹ方向サイズのうち大きい方に合わせて設定されるものとする。例えば、劣化画像のサイズが１０００×１０００画素であるとして、仮のＰＳＦまたは推定されたＰＳＦの画素値が有限の値（０よりも大きい値）をとる画素が、５０×１００画素の中に全て含まれている場合においては、１００×１００画素の矩形領域をもつ画像ブロックが抽出される。なお、画像ブロックがあまりにも小さいと、ブレを判別し易いエッジ部分（輝度が空間的に大きく変化する部分）を含まない画像ブロックの割合が大きくなる。そのような画像ブロックでは、輝度の変化がブレによるものなのか、テクスチャ（模様）なのかが判断できなくなるため、真のＰＳＦに近いＰＳＦを推定することが困難となる。従って、ＰＳＦのサイズが小さすぎる場合（例えば３０×３０画素以下の場合）、画像ブロックのサイズを例えばＰＳＦのサイズの３〜５倍以上に設定することが好ましい。なお、本実施形態では各画像ブロックは同一のサイズを有しているが、画像ブロックごとにサイズが異なっていても処理は可能である。

【0049】

画像ブロックの数は多いほど真のＰＳＦに近いＰＳＦを推定できる確率が高くなるが、必要な計算量およびメモリ量も増大する。抽出される画像ブロック対の数は、計算リソースに応じて任意に設定され得る。本実施形態では、一例として（劣化画像の全画素数）／（１つの画像ブロックの画素数）個の画像ブロック対が抽出されるものとする。なお、画像ブロック対はランダムに選定されるとしたが、所定の基準に基づいて選定されてもよい。例えば、後述のＰＳＦ推定部２２８において真のＰＳＦに近くないＰＳＦを推定する画像ブロックがわかるため、２サイクル目以降の処理ではそのようなブロックの近傍を除いてランダムに選定するような制御を行ってもよい。真のＰＳＦに近いＰＳＦを選定するためには、画像ブロック対は、特にエッジを含む箇所から選定されることが好ましい。具体的には、公知のソーベルフィルタやプリューウィットフィルタなどを用いて各画像ブロックのエッジを算出し、算出したエッジ強度に基づいて画像ブロック対を選定してもよい。例えば、ランダムに選ばれた複数の画像ブロックの中から、エッジ強度が一定値以上の画素を５０％以上含む画像ブロックのみを選定してもよい。

【0050】

画像ブロック選定部２２６はまた、ＰＳＦの評価用に複数の画像ブロックを劣化画像１００から抽出する。これらの画像ブロック（劣化画像ブロック）は、後述するＰＳＦ選択部２３０において複数のＰＳＦの中から候補ＰＳＦを選定するために用いられる。これらの劣化画像ブロックは、上記のＰＳＦ推定用の画像ブロック対とは独立に抽出され得る。なお、計算量やメモリ量を低減させる観点から、上記のＰＳＦ推定用に選定された画像ブロックを流用することも可能である。後述するＰＳＦ選択部２３０における評価を効果的に行うため、これらの評価用の画像ブロックのサイズおよび選定箇所は、上記の画像ブロック対の選定時のものとは異なっていることが好ましい。ただし、同一であっても処理は可能である。なお、劣化画像ブロックはランダムに選定され得るし、上記の画像ブロック対と同様、所定の基準に基づいて選定されてもよい。また、特にエッジを含む箇所から選定されることが好ましい。劣化画像ブロックの数は、上記の画像ブロック対の数と同様、計算リソースに応じて任意に設定され得る。

【0051】

ＰＳＦ推定部２２８は、画像ブロック選定部２２６によって選定された複数の画像ブロック対の各々に基づいてＰＳＦを推定する。推定方法としては、公知のｂｌｉｎｄ-ｄｅ
ｃｏｎｖｏｌｕｔｉｏｎ法を用いることができる。例えば非特許文献１に開示されたスパースコーディングによってＰＳＦを推定することが可能である。

【0052】

ＰＳＦ選択部２３０は、ＰＳＦ推定部２２８で推定された複数のＰＳＦの中から真のＰＳＦに近いと考えられるＰＳＦを候補ＰＳＦとして選定する。候補ＰＳＦの選定についての詳細は後述する。

【0053】

画像復元部２３２は、選定された候補ＰＳＦを用いて劣化画像１００を復元する。ここでの復元処理は、初期画像設定部２２４における復元処理と同様、公知の復元方法によって実現される。なお、本実施形態では、画像復元部２３２と初期画像設定部２２４とを異なる機能ブロックとしているが、これらの機能を１つの機能部が実現する構成であってもよい。

【0054】

収束判定部２３４は、画像復元部２３２が復元した画像と仮の復元画像とを比較して変化が所定の閾値よりも小さい場合、復元処理が収束したと判断し、その画像を復元画像１２０として出力する。変化が閾値以上である場合、その画像は初期画像設定部２２４に入力され、新たな仮の復元画像として設定される。

【0055】

図４に示される構成は、画像処理部２２０の機能ブロックの一例であり、画像処理部２２０は、他の機能ブロックに分割され得る。また、各機能ブロックは、個別のハードウェアによって実現されてもよいし、公知のハードウェアに上記処理を実行させるソフトウェアを組み込むことによっても好適に実現され得る。

【0056】

次に、図５を参照しながら復元処理の流れを説明する。

【0057】

まず、初期画像設定部２２４は、復元対象の劣化画像１００をメモリ２４０などから取得する（Ｓ５０２）。次に、初期ＰＳＦ設定部２２２は、初期ＰＳＦをメモリ２４０などから取得する（Ｓ５０４）。取得された劣化画像１００と初期ＰＳＦとを用いて、初期画像設定部２２４は仮の復元画像を生成する（Ｓ５０６）。なお、初期ＰＳＦの設定と劣化画像の取得の順序は互いに入れ替わっていてもよいし、同時であってもよい。

【0058】

次に、画像ブロック選定部２２６は、劣化画像１００と仮の復元画像とから複数の画像ブロック対を選定する（Ｓ５０８）。ＰＳＦ推定部は、推定された複数の画像ブロック対の各々からＰＳＦを推定する（Ｓ５１０）。続いてＰＳＦ設定部２３０は、推定されたＰＳＦの中から真のＰＳＦに近いと考えられるＰＳＦを選定し、それを候補ＰＳＦとして設定する（Ｓ５１２）。

【0059】

以下、図６および図７を参照しながら画像ブロックの選定（Ｓ５０８）、各画像ブロックにおけるＰＳＦの推定（Ｓ５１０）、および候補ＰＳＦの選定（Ｓ５１２）の詳細を説明する。

【0060】

図６は、画像ブロックの選定と各画像ブロックにおけるＰＳＦの推定の様子を模式的に表す図である。画像ブロック選定部２２６は、劣化画像と仮の復元画像とから複数の画像ブロック対を選定する。図示されるように、選定数をＫ（Ｋは２以上の整数）とし、劣化画像から選定されるｋ番目の画像ブロックを表す関数をｉ_k（ｋ＝１，２，・・・Ｋ）、
仮の復元画像から選定されるｋ番目の画像ブロックを表す関数をｓ_k（ｋ＝１，２，・・
・Ｋ）と表す。ｉ_kとｓ_kとから公知のＰＳＦ推定方法を用いてＰＳＦであるｆ_kが推定さ
れる。その結果、Ｋ個の画像ブロック対からＫ個のＰＳＦ（ｆ₁，ｆ₂，・・・，ｆ_K）が
得られる。

【0061】

ここでは一例として、非特許文献１に開示された手法に基づくＰＳＦ推定手法を説明する。ＰＳＦであるｆ_kは、以下の式６の右辺を最小化するｆｋを求めることにより決定さ
れる（ｆ_kの最適化）。

【数6】

【0062】

式６の右辺における第１項は、復元画像ブロックｓ_kとＰＳＦであるｆ_kとの畳み込みが劣化画像ブロックｉ_kに近いか否かを示す評価基準を与える。変数ｗ_kは手動で設定される「重み」である。Θは、どのような微分を画像に施すかを規定する演算子の集合である。具体的には、０回微分、１回微分（ｘ、ｙ方向それぞれ）、２回微分（ｘ方向に２回、ｙ方向に２回、ｘとｙ方向に１回ずつ）の合計６個の微分パラメータを持つ。ｄ^*は、微分
演算子である。ｄ^*を用いてΘを表現すると、Θ＝｛ｄ⁰、ｄ_x、ｄ_y、ｄ_xx、ｄ_xy、ｄ_yy｝となる。ｄ^*により、輝度情報とエッジ情報の両方を用いた処理を行うことが可能になり
、輝度だけでは得られない情報も得ることができる。式６の右辺における第２項は、ｆ_k
の１ノルムである。この項は、スパースコーディングに基づく項である。ｆ_kを表す行例
における大部分の要素が０（動きがない）であることから、この最適化項が用いられる。本実施形態では、非特許文献１と同様に「ｉｎｔｅｒｉｏｒ ｐｏｉｎｔ ｍｅｔｈｏｄ」による最適化を行い、全体最適化を実現できる。ｆ_kの最適化の具体的な計算方法は、
非特許文献１に開示されている。

【0063】

次に、図７を参照しながら候補ＰＳＦの選定（Ｓ５１２）の詳細を説明する。

【0064】

ＰＳＦ推定部２２８によって画像ブロック対ごとにｆ_kが求められると、画像ブロック
選定部２２６は、劣化画像１００から評価用の複数の画像ブロック（劣化画像ブロック）を選定する。図７に示すように、劣化画像ブロックの選定数をＢ（Ｂは２以上の整数）とし、ｂ番目の劣化画像ブロックを表す関数をｉ_b（ｂ＝１，２，・・・Ｂ）と表す。ＰＳ
Ｆ選択部２３０は、ｆ_kと劣化画像ブロックｉ_bとの間で逆畳み込み演算を行うことにより、復元された画像ブロック（復元画像ブロック）を表す関数ｓ_kbを得る。その結果、Ｋ個あるＰＳＦの各々に対してＢ個の復元画像ブロックが生成される。ＰＳＦ選択部２３０は、復元画像ブロックｓ_kbとｆ_kとの間でさらに畳み込みを行い、得られた結果（ｓ_kb＊ｆ_k）と劣化画像ブロックｉ_bとの誤差に基づいて各ＰＳＦを評価する。

【0065】

以下、誤差に基づくＰＳＦの評価方法を説明する。まず、１つの劣化画像ブロックにはＪ個の画素が含まれるとし、劣化画像ブロックｉ_bにおけるｊ番目の画素値をｉ_bj（ｊ＝
１，２，・・・Ｊ）と表す。また、復元画像ブロックｓ_kbとｆ_kとの間の畳み込みによっ
て得られる画像におけるｊ番目の画素値を（ｓ_kb＊ｆ_k）_j（ｊ＝１，２，・・・Ｊ）と表す。本実施形態では、（ｓ_kb＊ｆ_k）とｉ_bとの間の二乗誤差をΔ_kbと定義し、このΔ_kbが所定の閾値ｔ以下となる画像ブロックの数に基づいて候補ＰＳＦが選定されるものとする。例えば、以下の式７を満足する画像ブロックの数が最大となるｆ_kが候補ＰＳＦとして
選定される。

【数7】

【0066】

この評価方法は、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）
に基づいている。この評価方法によれば、複数の画像ブロック対から推定されたＰＳＦのうち、ノイズや被写体ブレなどが含まれている画像ブロック対から推定されたＰＳＦは誤差が大きくなるため排除される。ノイズや被写体ブレなどが比較的少ない画像ブロック対から推定されたＰＳＦのいずれかが候補ＰＳＦとして選定されるため、画像にノイズや被写体ブレなどが含まれていても真のＰＳＦに近いＰＳＦを推定することができる。

【0067】

なお、本実施形態において候補ＰＳＦは、必ずしも式７を満足する画像ブロックの数が最大となるｆ_kである必要はない。例えば、式７を満足する画像ブロックの数が所定の閾
値よりも大きくなるｆ_kのうち、いずれか１つを選択し、それを候補ＰＳＦとしてもよい
。また、推定された複数のＰＳＦのうちの１つが候補ＰＳＦとして選定されるとしたが、そのような選定の仕方に限られない。例えば、複数（例えば画像ブロック対の数の５％程度）のＰＳＦのうちの一部を式７に基づいて選択し、それらの平均を候補ＰＳＦとしてもよい。

【0068】

候補ＰＳＦが選定されると、画像復元部２３２は、候補ＰＳＦを用いて劣化画像１００を復元する（Ｓ５１４）。復元処理は、公知のリチャードソンルーシ（ＬＲ）法やウィーナフィルタ法などの公知の方法が用いられる。

【0069】

復元された画像は、収束判定部２３４によって仮の復元画像と比較され、復元処理が収束しているか否かが判定される（Ｓ５１８）。復元処理が収束したか否かの判定は、任意の基準に基づいて行われ得る。例えば、復元された画像と仮の復元画像との間の画素ごとの誤差の平均（画素値の差の絶対値／総画素数）が０．０００１を満足するときに収束したと判定することができる。収束していると判定された場合は、復元された画像が最終的な復元画像１２０として出力される（Ｓ５２０）。収束していないと判定された場合は、復元された画像は初期画像設定部２２４で新たな仮の復元画像として設定され（Ｓ５１９）、Ｓ５０８からＳ５１８までの処理が繰り返される。

【0070】

以上のように、本実施形態における画像処理装置２００は、入力された劣化画像１００に基づいて繰り返し復元処理を行い、真の画像（理想画像）に近い復元画像１２０を出力する。復元の過程で、複数の画像ブロックが選定され、画像ブロックごとにＰＳＦの推定および評価が行われ、候補ＰＳＦが選定される。サイズの小さい画像ブロックごとに計算が行われるため、本実施形態における画像処理装置２００は、従来技術と比較して計算量とメモリ量の削減が可能となる。また、ＲＡＮＳＡＣに基づいて候補ＰＳＦが選定されるため、局所的なノイズや被写体ブレなどの影響を受けずに真のＰＳＦに近いＰＳＦを選定することができる。

【0071】

以下、本実施形態の画像処理装置２００における復元処理に要する演算量およびメモリ量が従来技術と比較してどの程度改善するかを説明する。画像の画素数をＮ、ＰＳＦ推定に用いられる各画像ブロックに含まれる画素数をｎ、復元処理の繰り返し数をｍとすると、従来技術における演算量Ｏ（Ｎ²）に対して、本実施形態における演算量はＯ（ｍ×ｎ²）と表される。一例として、Ｎ＝１０⁶、ｎ＝１０⁴、ｍ＝１０²であるとすると、従来技
術を用いた場合に必要な演算量はＯ（１０¹²）であるが、本実施形態における演算量はＯ（１０¹⁰）となり、演算量は約１／１００に低減する。一方、メモリ量については、復元演算に用いる一時的な記憶領域が、従来技術では概ねＮに比例し、本実施形態では概ねｎに比例するため、必要なメモリ量はｎ／Ｎに比例して小さくなる。Ｎ＝１０⁶、ｎ＝１０⁴の場合、必要なメモリ量は約１／１００に低減する。

【0072】

以上の説明において、画像処理装置２００は単体の装置として記述したが、画像処理装置２００は、様々な形態で実現され得る。例えば、ＣＤ−ＲＯＭやフラッシュメモリなどの記録媒体に記録され、または電気通信回線を通じて提供された上記の復元処理を実行可
能なプログラムを、任意のコンピュータに実行させることにより、画像処理装置２００として機能させることができる。

【0073】

本明細書において、劣化画像の画素値ｉ（ｘ，ｙ）や復元画像の画素値ｓ（ｘ、ｙ）は、座標（ｘ、ｙ）における輝度を表すものとした。ここで「輝度」とは、いわゆる輝度信号の強度のみならず、ＲＧＢのいずれかの色成分の信号強度や、ＲＧＢ各成分の信号強度の和などとして解釈してもよい。また、本実施形態の画像処理装置がＸ線カメラや赤外線カメラによって撮られた画像の復元処理に用いられる場合、「輝度」は、Ｘ線や赤外線の信号強度を表すものと解釈してもよい。

【0074】

（実施形態２）
次に、図８を参照しながら本発明の第２の実施形態を説明する。本実施形態の画像処理装置は、実施形態１における画像処理装置と比較して、ＰＳＦ選択部２３０における候補ＰＳＦの選定の方法が異なるだけであり、それ以外は同一である。そのため、実施形態１における画像処理装置と重複する点については説明を省略し、異なる点のみを説明する。

【0075】

本実施形態の画像処理装置と実施形態１における画像処理装置との違いは、図５におけるＳ５１２において、評価用の画像ブロックが劣化画像だけでなく仮の復元画像からも抽出されることにある。図５に示すＳ５０８でＰＳＦ推定部２２８が画像ブロック対ごとにｆ_k（ｋ＝１，２，・・・Ｋ）を求めると、画像ブロック選定部２２６は、劣化画像１０
０および仮の復元画像から、互いに同一座標に位置する２つの画像ブロックからなる評価用の画像ブロック対を複数選定する。以下、評価用の画像ブロック対のうち、劣化画像から抽出されたものを「劣化画像ブロック」と呼び、仮の復元画像から抽出されたものを「復元画像ブロック」と呼ぶことにする。

【0076】

図８に示すように、評価用の画像ブロック対の選定数をＢ（Ｂは２以上の整数）とし、ｂ番目の劣化画像ブロックを表す関数をｉ_b（ｂ＝１，２，・・・Ｂ）と表す。同様に、
ｂ番目の復元画像ブロックを表す関数をｓ_b（ｂ＝１，２，・・・，Ｂ）と表す。ＰＳＦ
選択部２３０は、ｆ_kと復元画像ブロックｓ_bとの間で畳み込みを行い、得られた結果（ｓ_b＊ｆ_k）と劣化画像ブロックｉ_bとの誤差に基づいて各ＰＳＦを評価する。

【0077】

本実施形態における誤差に基づくＰＳＦの評価方法については、実施形態１における評価方法と同様である。劣化画像ブロックｉ_bにおけるｊ番目の画素値をｉ_bj（ｊ＝１，２
，・・・Ｊ）と表し、復元画像ブロックｓ_bとｆ_kとの間の畳み込みによって得られる画像におけるｊ番目の画素値を（ｓ_b＊ｆ_k）ｊ（ｊ＝１，２，・・・Ｊ）と表す。所定の閾値をｔとして、以下の式８を満足する画像ブロックの数が最大となるｆ_kが候補ＰＳＦとし
て選定される。

【数8】

【0078】

この評価方法によっても、実施形態１における評価方法と同様に、ノイズや被写体ブレなどが含まれている画像ブロック対から推定されたＰＳＦは排除される。ノイズや被写体ブレなどが比較的少ない画像ブロック対から推定されたＰＳＦのみが候補ＰＳＦとして選定されるため、画像にノイズや被写体ブレなどが含まれていても真のＰＳＦに近いＰＳＦを推定することができる。

【0079】

本実施形態においても候補ＰＳＦは、必ずしも式８を満足する画像ブロックの数が最大
となるｆｋである必要はない。例えば、式８を満足する画像ブロックの数が所定の閾値よりも大きくなるｆｋのうち、いずれか１つを選択し、それを候補ＰＳＦとしてもよい。また、推定された複数のＰＳＦのうちの１つが候補ＰＳＦとして選定されるとしたが、そのような選定の仕方に限られない。例えば、複数（例えば画像ブロック対の数の５％程度）のＰＳＦのうちの一部を式７に基づいて選択し、それらの平均を候補ＰＳＦとしてもよい。

【0080】

（実施形態３）
次に、本発明の第３の実施形態を説明する。本実施形態の画像処理装置は、実施形態１、２における画像処理装置と比較して、ＰＳＦ選択部２３０による候補ＰＳＦの選定の方法が異なるだけであり、それ以外は実施形態１、２と同一である。そのため、実施形態１、２における画像処理装置と重複する点についての説明は省略し、異なる点を以下に説明する。

【0081】

本実施形態におけるＰＳＦ選択部２３０は、図５に示すステップＳ５１２において、推定された複数のＰＳＦの相互の類似の程度に基づいて複数のクラスタに分類した後、真のＰＳＦに近いＰＳＦが含まれていると想定されるクラスタの中から候補ＰＳＦを選定する。これにより、処理量をさらに削減することができる。

【0082】

図９は、本実施形態におけるＰＳＦ選択部２３０がステップＳ５１２において行う処理の流れを示すフローチャートである。ＰＳＦ選択部２３０は、まず、複数のＰＳＦ（ｆ₁
、ｆ₂、・・・、ｆ_K）を、それらの類似の程度に基づいて複数のクラスタに分類する（Ｓ６０１）。次に、クラスタごとに、そのクラスタにおける平均的なＰＳＦ（代表ＰＳＦ）を算出する（Ｓ６０２）。続いて、算出した複数の代表ＰＳＦの中から真のＰＳＦに最も近いと想定される代表ＰＳＦを選定する（Ｓ６０３）。最後に、選定された代表ＰＳＦに対応するクラスタの中から真のＰＳＦに最も近いと想定されるＰＳＦを候補ＰＳＦとして選定する（Ｓ６０４）。

【0083】

以下、各ステップにおける処理をより具体的に説明する。

【0084】

図１０は、本実施形態における処理を模式的に表す概念図である。図１０（ａ）は、ステップＳ５１０において算出された複数のＰＳＦ（ｆ₁、ｆ₂、・・・、ｆ_K）の例を表し
ている。ＰＳＦ選択部２３０は、ステップＳ６０１において、図１０（ｂ）に示すように、これらのＰＳＦを複数のクラスタに分類する。

【0085】

複数のクラスタへの分類は、例えば以下の手順によって行われる。まず、複数のＰＳＦから２つのＰＳＦを_KＣ₂通りの組み合わせの中から選択する。続いて、選択した２つのＰＳＦの差の絶対値（Ｌ１ノルム）Δｆを算出する。選択した２つのＰＳＦをｆ_k1およびｆ_k2と表し、それらを画像と考えたときのｊ番目の画素における輝度値をそれぞれ（ｆ_k1）_j、（ｆ_k2）_jと表すと、Δｆは次の式９で表される。

【数9】

【0086】

ＰＳＦ選択部２３０は、Δｆが所定の閾値ｆｔよりも小さい場合には２つのＰＳＦを同じクラスタに分類し、Δｆが閾値ｆｔ以上である場合には２つのＰＳＦを異なるクラスタに分類する。以上の処理を任意の２つのＰＳＦの組み合わせに対して行うことにより、複数のＰＳＦを、それらの類似度に基づいて複数のクラスタに分類することができる。

【0087】

ＰＳＦ選択部２３０は、ステップＳ６０２において、分類した複数のクラスタの各々から代表ＰＳＦを決定する。代表ＰＳＦは、各クラスタに属する全ＰＳＦの平均値をとることによって求められる。なお、平均値ではなく、中央値をとることによって代表ＰＳＦを求めてもよい。図１０（ｃ）は、このようにして求めた代表ＰＳＦ（ｆ_s1、ｆ_s2、・・・、ｆ_sK）の例を表している。

【0088】

続くステップＳ６０３において、ＰＳＦ選択部２３０は、複数の代表ＰＳＦの中から真のＰＳＦに最も近いと想定される代表ＰＳＦを選定する。選定方法としては、実施形態１における式７または実施形態２における式８に基づいて行われる候補ＰＳＦの選定方法と同様の方法を用いることができる。

【0089】

続いて、ステップＳ６０４において、ＰＳＦ選択部２３０は、選定した代表ＰＳＦに対応するクラスタに属する複数のＰＳＦの中から真のＰＳＦに最も近いと想定されるＰＳＦを候補ＰＳＦとして選定する。候補ＰＳＦの選定方法は、実施形態１または２における方法を用いればよい。

【0090】

本実施形態によれば、ＰＳＦ推定部２２８によって推定された全てのＰＳＦについて式７または式８に示す判定を行うのではなく、真のＰＳＦに近いと考えられるＰＳＦのグループ（クラスタ）をまず特定した上で、そのようなクラスタに属する比較的少数のＰＳＦについて式７または式８に示す判定を行う。クラスタへの分類に関する処理は差分演算であるため、畳み込み演算である式７、８の処理よりも計算量が少なくて済む。そのため、全体の処理に係る計算量を低減することができる。

【0091】

（実施形態４）
次に、図１１を参照しながら本発明の第４の実施形態を説明する。本実施形態は、実施形態１における画像処理装置を備える撮像装置に関するものである。そのため、実施形態１と重複する部分については説明を省略し、異なる点のみを説明する。

【0092】

図１１は、本実施形態における撮像装置の概略構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであるが、本発明はこれに限定されない。本実施形態の撮像装置は、図１１に例示するように、撮像部３００と、各種信号処理および画像の復元を行う画像処理装置２００と、撮像によって取得した画像を表示する撮像表示部６００と、画像のデータを記録する記録部４００と、各部を制御するシステム制御部５００とを備える。本実施形態の撮像装置が公知の撮像装置と異なる主な点は、画像処理装置２００の動作である。

【0093】

本実施形態における撮像部３００は、撮像面上に配列された複数の光感知セル（フォトダイオード）を備える固体撮像素子（イメージセンサ）３１０と、絞り機能を有するシャッタ３１５と、固体撮像素子３１０の撮像面上に像を形成するための撮影レンズ３２０とを有している。固体撮像素子３１０の典型例は、ＣＣＤまたはＣＭＯＳセンサである。撮影レンズ３２０は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットであり得る。シャッタ３１５および撮影レンズ３２０は、不図示の機構によって駆動され、光学ズーミング、自動露光（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ），オートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）に必要な動作が実行される。

【0094】

更に、撮像部３００は、固体撮像素子３１０を駆動する撮像素子駆動部３３０を備えている。撮像素子駆動部３３０は、例えばＣＣＤドライバなどの半導体集積回路から構成され得る。撮像素子駆動部３３０は、固体撮像素子３１０を駆動することにより、固体撮像素子３１０からアナログ信号（光電変換信号）を読み出してデジタル信号に変換する。

【0095】

本実施形態における画像処理装置２００は、画像処理部（イメージプロセッサ）２２０、メモリ２４０を備えている。画像処理装置２００は、液晶表示パネルなどの表示部３００、および、メモリカードなどの記録媒体４００に接続されている。

【0096】

画像処理部２２０は、色調補正、解像度変更、データ圧縮などの各種信号処理を行うほか、本発明による劣化画像の復元処理を実行する。画像処理部２２０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などハードウェアと、画像処理を実行するためのソフトウェアとの組合せによって好適に実現される。メモリ２４０は、ＤＲＡＭなどによって構成される。このメモリ２４０は、撮像部３００から得られた画像データを記録するとともに、画像処理部２２０によって各種の画像処理を受けた画像データや、圧縮された画像データを一時的に記録する。画像データは、アナログ信号に変換された後、表示部３００によって表示され、あるいは、デジタル信号のまま記録媒体４００に記録される。画像データは、不図示の通信装置を介して、無線または有線で他の装置（不図示）に送信されてもよい。

【0097】

上記の構成要素は、不図示の中央演算処理ユニット（ＣＰＵ）およびフラッシュメモリを含むシステム制御部５００によって制御される。なお、本実施形態の撮像装置は、光学ファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。

【0098】

以上の構成はあくまでも一例であって、本実施形態の撮像装置は、画像処理装置２００に固体撮像素子３１０で取得された劣化画像を入力できればどのような構成を有していてもよい。

【0099】

本実施形態の撮像装置を用いてユーザが被写体を撮影すると、撮像部３００における固体撮像素子３１０は、撮像面に形成された像に応じた信号を取得する。画像処理装置２００は、固体撮像素子３１０によって取得された信号を受け取る。こうして得られた画像は、式７の左辺にあるｉ（ｘ、ｙ）で表される劣化画像である。画像処理装置２００における画像処理部２２０は、ｉ（ｘ、ｙ）からｓ（ｘ、ｙ）を復元するための処理を行う。この復元処理の流れは、図５に示す復元処理の流れと同一である。復元処理によって得られた復元画像ｓ（ｘ、ｙ）は、表示部６００によって表示される。

【0100】

本実施形態の撮像装置によれば、画像処理装置２００は、固体撮像素子３１０によって取得された劣化画像に基づいて繰り返し復元処理を行い、真の画像（理想画像）に近い復元画像を出力する。復元の過程で、複数の画像ブロックが選定され、画像ブロックごとにＰＳＦの推定および評価が行われ、候補ＰＳＦが選定される。サイズの小さい画像ブロックごとに計算が行われるため、本実施形態における撮像装置は、画像復元処理を行う従来の撮像装置と比較して高速な復元処理が可能となる。また、ＲＡＮＳＡＣに基づく候補ＰＳＦの選定が行われるため、本実施形態の撮像装置は、撮影した画像に局所的なノイズや被写体ブレなどが含まれていても真の画像に近い復元画像を得ることが可能である。

【0101】

なお、本実施形態では画像処理装置として実施形態１の装置を利用したが、これに限るものではない。画像処理装置として実施形態２、３の装置を利用してもよいし、本発明の他の画像処理装置を用いてもよい。

【産業上の利用可能性】

【0102】

本発明によれば、復元精度を保持したまま画像の復元に要する処理時間を削減することができるため、画像処理装置、画像処理機能を備えた撮像装置などに好適に用いられる。

【符号の説明】

【0103】

１００ 劣化画像
１２０ 復元画像
１３０ 画像
１３５ 画素
２００ 画像処理装置
２２０ 画像処理部
２２２ 初期ＰＳＦ設定部
２２４ 初期画像設定部
２２６ 画像ブロック選定部
２２８ ＰＳＦ推定部
２３０ ＰＳＦ選択部
２３２ 画像復元部
２３４ パラメータ更新部
２４０ メモリ
２５０ 画像入力部
２６０ ＰＳＦ決定部
２７０ 復元部
３００ 撮像部
３１０ 固体撮像素子
３１５ 絞り機能を有するシャッタ
３２０ 撮影レンズ
３３０ 撮像素子駆動部
４００ 記録媒体
５００ システム制御部
６００ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】