特許 6578960 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6578960

(24)【登録日】2019年9月6日

(45)【発行日】2019年9月25日

(54)【発明の名称】撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190912BHJP

   H04N 5/225 20060101ALI20190912BHJP

   G06T 7/557 20170101ALI20190912BHJP

   G06T 5/00 20060101ALI20190912BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/225 410

   G06T7/557

   G06T5/00 700

【請求項の数】8

【全頁数】20

(21)【出願番号】特願2016-10094(P2016-10094)

(22)【出願日】2016年1月21日

(65)【公開番号】特開2017-130848(P2017-130848A)

(43)【公開日】2017年7月27日

【審査請求日】2018年2月14日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110000947

【氏名又は名称】特許業務法人あーく特許事務所

(72)【発明者】

【氏名】王 ▲いん▼

(72)【発明者】

【氏名】松本 慎也

(72)【発明者】

【氏名】庄 沱

【審査官】 吉川 康男

(56)【参考文献】

【文献】 国際公開第２０１５／０９０６１１（ＷＯ，Ａ１）

【文献】 特開２０１３−１８６３５５（ＪＰ，Ａ）

【文献】 特開２０１１−２１５７０７（ＪＰ，Ａ）

【文献】 国際公開第２０１５／０６４２６４（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１５／０３１７７７６（ＵＳ，Ａ１）

【文献】 特開２０１３−１６２３６９（ＪＰ，Ａ）

【文献】 国際公開第２０１５／０１５９３５（ＷＯ，Ａ１）

【文献】 特開２０１１−１３５５６３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０２１５２１９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ７／５５７

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

１枚以上のレンズまたは前記レンズおよび光学素子を有する光学系と、
この光学系より後方に配置された撮像素子と、
この撮像素子で取得された画像データに対して画像処理および復元処理を行う画像復元処理部と、
この画像復元処理部によって復元された画像を出力する復元画像出力部と
を備え、
前記画像復元処理部は、
複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタを格納する復元フィルタ格納部と、
前記画像データから前記複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像を得る復元フィルタ処理部と、
前記複数の中間候補画像の画質をそれぞれ評価して最良の中間候補画像を復元処理結果として出力する画像評価部と、
前記復元フィルタ処理部が対象とする画像領域を指定する画像領域指定部と、
前記画像評価部が対象から除外すべき領域を指定する除外領域指定部と
を備えることを特徴とする撮像装置。

【請求項2】

請求項１に記載の撮像装置において、
前記画像復元処理部は、色信号毎に復元した色信号別復元画像を合成することを特徴とする撮像装置。

【請求項3】

１枚以上のレンズまたは前記レンズおよび光学素子を有する光学系と、
この光学系より後方に配置された撮像素子と、
この撮像素子で取得された画像データに対して画像処理および復元処理を行う画像復元処理部と、
この画像復元処理部によって復元された画像を出力する復元画像出力部と
を備え、
前記画像復元処理部は、
複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度を格納する復元フィルタ格納部と、
前記画像データの画質を評価して得られた画像鮮明度に基づき、最も近い画像鮮明度に対応する復元フィルタを前記復元フィルタ格納部から選択する画像評価部と、
選択された復元フィルタを用いて復元画像を得る復元フィルタ処理部と
を備えることを特徴とする撮像装置。

【請求項4】

請求項１〜３のいずれか１項に記載の撮像装置において、
前記画像復元処理部は、拡散されて前記撮像素子に入射した点像関数のパターンから作成されたＷｉｅｎｅｒフィルタまたはＦＩＲフィルタを有することを特徴とする撮像装置。

【請求項5】

被写体を撮像する撮像工程と、
この撮像工程で取得された画像データに対して画像処理および復元処理を行う画像復元処理工程とを含み、
前記画像復元処理工程は、
複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタを格納する復元フィルタ格納工程と、
前記画像データから前記複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像を得る復元フィルタ処理工程と、
前記複数の中間候補画像の画質をそれぞれ評価して最良の中間候補画像を復元処理結果として出力する画像評価工程と、
前記復元フィルタ処理工程が対象とする画像領域を指定する画像領域指定工程と、
前記画像評価工程が対象から除外すべき領域を指定する除外領域指定工程と
を含むことを特徴とする撮像方法。

【請求項6】

被写体を撮像する撮像工程と、
この撮像工程で取得された画像データに対して画像処理および復元処理を行う画像復元処理工程と
を含み、
前記画像復元処理工程は、
複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度を格納する復元フィルタ格納工程と、
前記画像データの画質を評価して得られた画像鮮明度に基づき、最も近い画像鮮明度に対応する復元フィルタを選択する画像評価工程と、
選択された復元フィルタを用いて復元画像を得る復元フィルタ処理工程と
を含むことを特徴とする撮像方法。

【請求項7】

請求項５または請求項６に記載の撮像方法をコンピュータに実行させる撮像プログラム。

【請求項8】

請求項７に記載の撮像プログラムを記録した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体に関し、特に、ボケ画像の復元によって被写界深度拡大が可能な撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体に関する。

【背景技術】

【0002】

従来、ＷＦＣ（Wavefront Coding）など特殊な光学装置を用いた被写界深度拡大撮影装置では、一定設計範囲内で画像復元することが必要となる。

【0003】

しかしながら、撮影距離はピント位置から離れると、実際に元画像にかけられたＰＳＦ（点拡がり関数：Point spread function、距離毎に少しずつ変化する）と画像復元用ＰＳＦ（固定、ピント位置のＰＳＦを使用）がずれるので、ピント位置と同じ復元精度を保つことは実現できない。つまり、撮影距離によって実際に元画像にかけられたＰＳＦが一定ではないことによる復元画像の画質劣化が発生してしまう。

【0004】

特許文献１や特許文献２では、距離検出センサ、若しくは、複数の撮像部で距離を算出し、各概算した距離に応じたＰＳＦデータに基づいて復元処理を行う。

【0005】

特許文献３では、複数のデフォーカス位置に対応するＰＳＦを全て考慮して周波数領域の平均二乗誤差を最小にする復元フィルタが設計されている。

【0006】

また、非特許文献１には、パナソニック株式会社が２０１４年４月から販売開始したデジタルカメラに搭載されている「空間認識ＡＦ」という技術が記載されている。この技術では、ボケ量の解析から距離を求めるＤＦＤ（Depth from Defocus）に基づいて２枚の画像から被写体までの距離を算出した上で、ボケモデルを推定して合焦画像を作成する。

【0007】

非特許文献２には、画像の鮮明度の計算についての記載がある。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１１−１２０３０９号公報

【特許文献2】特開２０１３−１６２３６９号公報

【特許文献3】特開２０１５−００５９３３号公報

【非特許文献】

【0009】

【非特許文献1】「Ｐａｎａｓｏｎｉｃ デジタルカメラ総合カタログ ２０１５／秋冬」、パナソニック株式会社、２０１５年９月、Ｐ．２１

【非特許文献2】Research of Measurement for Digital Image Definition, WANG HongNan, ..., etc, Journal of Image and Graphics, Vol. 9 ,No. 7, 2004

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、特許文献１や特許文献２に開示されている従来技術では、撮像された各画像データに含まれる各被写体について距離情報を正しく推定しないと正確なＰＳＦデータを使えないため、最適な復元処理ができない。そのため、撮影距離を算出するために必要な距離検出センサや複数の撮像部によるコストアップという問題点があった。

【0011】

また、特許文献３に開示されている従来技術では、平均処理となっているため距離情報は不要であるが、複数の位置におけるＰＳＦデータの差異によって、たとえ平均二乗誤差という意味での最適な復元処理をしても、撮影距離に応じたＰＳＦを用いた復元結果に比べて、精度が劣るという問題点があった。

【0012】

従来技術のこのような課題に鑑み、本発明の目的は、被写体の撮影距離を推測すること無しに、最適なＰＳＦを用いて高精度な復元画像を得ることが可能な撮像装置、撮像方法、撮像プログラム、およびそのプログラムを記録した記録媒体を提供することである。

【課題を解決するための手段】

【0013】

上記目的を達成するため、本発明の撮像装置は、１枚以上のレンズまたは前記レンズおよび光学素子を有する光学系と、この光学系より後方に配置された撮像素子と、この撮像素子で取得された画像データに対して画像処理および復元処理を行う画像復元処理部と、この画像復元処理部によって復元された画像を出力する復元画像出力部とを備え、前記画像復元処理部は、複数の異なる距離に対応する複数の点拡がり関数（ＰＳＦ）を用いて予め作成された複数の復元フィルタを格納する復元フィルタ格納部と、前記画像データから前記複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像を得る復元フィルタ処理部と、前記複数の中間候補画像の画質をそれぞれ評価して最良の中間候補画像を復元処理結果として出力する画像評価部とを備えることを特徴とする。

【0014】

ここで、前記光学系は、被写界深度拡大を目的としており、ＰＳＦによる復元を行うものであればよい。前記レンズは、球面レンズおよび非球面レンズのいずれでもよく、複数枚の場合は適宜組み合わせてもよい。前記光学素子としては、例えば、光拡散板、位相板や回折格子などが挙げられるが、これらに限らない。

【0015】

前記画像復元処理部は、前記復元フィルタ処理部が対象とする画像領域を指定する画像領域指定部と、前記画像評価部が対象から除外すべき領域を指定する除外領域指定部とをさらに備えてもよい。また、前記画像復元処理部は、色信号毎に復元した色信号別復元画像を合成してもよい。また、前記画像復元処理部は、拡散されて前記撮像素子に入射した点像関数のパターンから作成されたウィナー（Ｗｉｅｎｅｒ）フィルタまたはＦＩＲフィルタなどのような周波数空間、画像空間、時空間のフィルタを有してもよい。

【0016】

また、本発明の撮像装置は、１枚以上のレンズまたは前記レンズおよび光学素子を有する光学系と、この光学系より後方に配置された撮像素子と、この撮像素子で取得された画像データに対して画像処理および復元処理を行う画像復元処理部と、この画像復元処理部によって復元された画像を出力する復元画像出力部とを備え、前記画像復元処理部は、複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度を格納する復元フィルタ格納部と、前記画像データの画質を評価して得られた画像鮮明度に基づき、最も近い画像鮮明度に対応する復元フィルタを前記復元フィルタ格納部から選択する画像評価部と、選択された復元フィルタを用いて復元画像を得る復元フィルタ処理部とを備えることを特徴とする。

【0017】

また、本発明の撮像方法は、被写体を撮像する撮像工程と、この撮像工程で取得された画像データに対して画像処理および復元処理を行う画像復元処理工程とを含み、前記画像復元処理工程は、複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタを格納する復元フィルタ格納工程と、前記画像データから前記複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像を得る復元フィルタ処理工程と、前記複数の中間候補画像の画質をそれぞれ評価して最良の中間候補画像を復元処理結果として出力する画像評価工程とを含むことを特徴とする。

【0018】

また、本発明の撮像方法は、被写体を撮像する撮像工程と、この撮像工程で取得された画像データに対して画像処理および復元処理を行う画像復元処理工程とを含み、前記画像復元処理工程は、複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度を格納する復元フィルタ格納工程と、前記画像データの画質を評価して得られた画像鮮明度に基づき、最も近い画像鮮明度に対応する復元フィルタを選択する画像評価工程と、選択された復元フィルタを用いて復元画像を得る復元フィルタ処理工程とを含むことを特徴とする。

【0019】

あるいは、本発明の撮像プログラムは、コンピュータに上記の撮像方法を実行させることを特徴とする。

【0020】

このような構成の撮像プログラムによれば、プログラムが実行可能なコンピュータによって本発明の撮像方法を実現することができる。

【0021】

あるいは、本発明の撮像プログラムを記録した記録媒体は、コンピュータ読み取り可能な記録媒体であって、上記の撮像プログラムを記録していることを特徴とする。

【0022】

このような構成の撮像プログラムを記録した記録媒体によれば、本発明の撮像方法を様々な場所や環境で実現することが容易になるとともに、安価での提供が可能となり、本発明の撮像方法の有用性を高めることができる。

【発明の効果】

【0023】

本発明の撮像装置によれば、被写体の撮影距離を推測するために必要な部品のコストアップを伴わず、最適な点拡がり関数を用いて高精度な復元画像を得ることが可能となる。

【0024】

本発明の画像復元方法によれば、被写体の撮影距離を推測することなく、最適な点拡がり関数を用いて高精度な復元画像を得ることが可能となる。

【0025】

本発明の撮像プログラムによれば、プログラムが実行可能なコンピュータによって本発明の撮像方法を実現することができる。

【0026】

本発明の撮像プログラムを記録した記録媒体によれば、本発明の撮像方法を様々な場所や環境で実現することが容易になるとともに、安価での提供が可能となり、本発明の撮像方法の有用性を高めることができる。

【図面の簡単な説明】

【0027】

【図1】本発明の実施形態１に係る撮像装置１００の概略構成を示すブロック図である。

【図2】（ａ）は撮像装置１００による画像生成過程および画像復元過程を説明する概略図である。図２（ｂ）はウィナーフィルタを表す式である。

【図3】（ａ）〜（ｃ）は復元用ＰＳＦと復元画像の精度の関係についての説明図であって、（ａ）は高精度復元画像、（ｂ）はＡｒｔｉｆａｃｔあり復元画像、（ｃ）はボケあり復元画像である。

【図4】画像復元処理部１５０の概略構成を示すブロック図である。

【図5】画像復元処理部１５０Ａにおける復元フィルタ作成に関連する原理の説明図である。

【図6】（ａ）〜（ｃ）は中間候補画像の説明図である。

【図7】図４に示した画像復元処理部１５０Ａに含まれる画像評価部１５５の概略構成を示すブロック図である。

【図8】画像評価部１５５内の処理を示すフローチャートである。

【図9】画像評価部１５５内の処理の変形例として、例えば３枚の中間候補画像を入力画像として具体化した並列処理を示すフローチャートである。

【図10】（ａ）、（ｂ）は画像Ａｒｔｉｆａｃｔ評価の原理の説明図であって、図１０（ａ）が通常Ａｒｔｉｆａｃｔなしの復元画像における画像輝度値のヒストグラム、図１０（ｂ）がＡｒｔｉｆａｃｔありの復元画像における画像輝度値のヒストグラムである。

【図11】画像鮮明度演算の全体を示すフローチャートである。

【図12】強いエッジ抽出方法を示すフローチャートである。

【図13】（ａ）〜（ｆ）は、ジャストピント位置とここから離れた位置とで、それぞれ撮影されたボケ画像、従来方法による復元画像、本発明による復元画像を比較例示する図である。

【図14】本発明の実施形態２に係る撮像装置の画像復元処理部１５０Ｂの概略構成を示すブロック図である。

【図15】本発明の実施形態３に係る撮像装置のうちで実施形態１と異なる主要部分を示すブロック図である。

【図16】（ａ）、（ｂ）は通常のＲＧＢ画像復元手法を例示するブロック図である。

【図17】実施形態３によるＲＧＢ画像復元手法を示すブロック図である。

【図18】本発明の実施形態４に係る撮像装置の画像復元処理部１５０Ｃの概略構成を示すブロック図である。

【図19】画像復元処理部１５０Ｃにおける復元フィルタなどの作成に関連する原理の説明図である。

【図20】（ａ）は図１８に示した画像復元処理部１５０Ｃに含まれる画像評価部１５５Ｃの概略構成を示すブロック図である。（ｂ）は（ａ）の画像評価部１５５Ｃに含まれる総合判断１５５Ｃｃの概略構成を示すブロック図である。

【発明を実施するための形態】

【0028】

以下、本発明のいくつかの実施形態を、図面を参照して説明する。

【0029】

＜実施形態１＞
図１は本発明の実施形態１に係る撮像装置１００の概略構成を示すブロック図である。なお、以下の説明では、光学系１１０へ光線が入射する側を「前」（図中では左）、光学系１１０から光線が出射する側を「後」（図中では右）ということとする。

【0030】

図１に示すように、撮像装置１００は、光学系１１０と、この光学系１１０より後方に配置された撮像素子１２０と、この撮像素子１２０から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバーター１３０と、ＲＡＷ画像メモリ１４１とコンボリューション演算部１４２とを有するとともにＡ／Ｄコンバーター１３０から出力されたデジタル信号の画像データに対して画像処理を行う画像処理部１４０と、デコンボリューション演算部１５１を有するとともに画像処理部１４０による画像処理後の画像データに対して復元処理を行う画像復元処理部１５０と、この画像復元処理部１５０によって復元された画像を出力する復元画像出力部１６０とを備えている。

【0031】

光学系１１０は、レンズ１１２ａ〜１１２ｃと、第２レンズ１１２ｂの直前に配置された絞り１１３と、第１レンズ１１２ａより前方に配置された光拡散板１１５とを備えている。

【0032】

ここでは、第１レンズ１１２ａおよび第３レンズ１１２ｃを凸レンズ、第２レンズ１１２ｂを凹レンズとしているが、このような組み合わせに限らないし、全体のレンズ枚数も２枚以上であればよく、必ずしも３枚に限らない。また、球面レンズおよび非球面レンズのいずれでもよく、複数枚の場合は適宜組み合わせてもよい。光拡散板１１５は光学素子の１種であるが、位相板や回折素子といった他の光学素子でもよい。その配置も、第１レンズ１１２ａより前方に限るわけではなく、例えば、第３レンズ１１２ｃの後方でもよい。

【0033】

絞り１１３は開口絞りであるが、その配置は必ずしも図示された位置に限らない。

【0034】

光拡散板１１５は、その前面が平面であって、その後面は拡散面１１５ｂとなっている。その配置は必ずしも図示された位置に限らず、第３レンズ１１２ｃの後方に配置してもよい。

【0035】

撮像素子１２０としては、ＣＣＤセンサ、ＣＭＯＳセンサ、ＭＯＳセンサなどが挙げられるが、これらに限らない。撮像素子１２０がアナログ信号ではなく、デジタル信号を直接出力できる場合は、Ａ／Ｄコンバーター１３０を省略可能である。

【0036】

画像処理部１４０と画像復元処理部１５０とは、必ずしも独立している必要はなく、１つに統合してもよい。

【0037】

画像復元処理部１５０のデコンボリューション演算部１５１では、例えば、ウィナーフィルタやＦＩＲフィルタなどを用いて演算を行ってもよいが、これらのフィルタに限らない。

【0038】

図２（ａ）は撮像装置１００による画像生成過程および画像復元過程を説明する概略図である。図２（ｂ）はウィナーフィルタを表す式である。図３（ａ）〜（ｃ）は復元用ＰＳＦと復元画像の精度の関係についての説明図であって、（ａ）は高精度復元画像、（ｂ）はＡｒｔｉｆａｃｔあり復元画像、（ｃ）はボケあり復元画像である。なお、Ａｒｔｉｆａｃｔとは、観測や解析の段階で発生したデータのエラーや信号の歪みのことである。

【0039】

図２（ａ）に示すように、空間領域では、元画像ｆ（ｘ，ｙ）とＰＳＦから観測画像ｇ（ｘ，ｙ）が得られる。周波数領域において、フーリエ変換された観測画像のパワースペクトルＧ（ｕ，ｖ）とウィナーフィルタのパワースペクトルＷ（ｕ，ｖ）の掛け算で復元画像のパワースペクトルＦｒ（ｕ，ｖ）が得られ、さらにこれを逆フーリエ変換することで復元画像ｆｒ（ｘ，ｙ）が得られる。

【0040】

ウィナーフィルタは複数の画像復元手法の一例として広く利用されている（例えば、特許文献２を参照）。簡単に言うと、復元画像と元画像の誤差を最小にするような逆フィルタであり、図２（ｂ）に示す式で表される。ここで、ＨはＰＳＦのフーリエ変換を表す。ＳｆとＳｎは、元画像fと画像上ノイズnのパワースペクトル分布である。

【0041】

画像の復元結果はＨの精度、つまり、復元用ＰＳＦが実際に元画像にかけられたＰＳＦにどの程度近づいているかに依存する。

【0042】

図３（ａ）に示す高精度復元画像は、適切なＰＳＦから生成された復元フィルタを利用した場合、より具体的には、復元用ＰＳＦと実際に元画像にかけられたＰＳＦとがほぼ一致した場合に得られる復元画像である。

【0043】

図３（ｂ）に示すＡｒｔｉｆａｃｔあり復元画像は、不適切なＰＳＦから生成された復元フィルタを利用した場合、より具体的には、復元用ＰＳＦが実際に元画像にかけられたＰＳＦより高いパワースペクトルを持つ場合に得られる復元画像であり、過剰補正によるコード周辺の白飛び状態が発生している。

【0044】

図３（ｃ）に示すボケあり復元画像は、不適切なＰＳＦから生成された復元フィルタを利用した場合、より具体的には、復元用ＰＳＦが実際に元画像にかけられたＰＳＦより低いパワースペクトルを持つ場合に得られる復元画像である。

【0045】

図４は画像復元処理部１５０Ａの概略構成を示すブロック図である。図５は画像復元処理部１５０Ａにおける復元フィルタ作成に関連する原理の説明図である。図６（ａ）〜（ｃ）は中間候補画像の説明図である。

【0046】

図４に示すように、画像復元処理部１５０Ａは、撮像素子１２０から画像データを受ける画像バッファメモリ１５２と、予め求めた復元フィルタを格納する復元フィルタ格納メモリ１５４と、画像バッファメモリ１５２から受けた画像データと復元フィルタ格納メモリ１５４に格納されている復元フィルタから復元フィルタの処理を行う復元フィルタ処理部１５３と、この復元フィルタ処理部１５３によって処理された復元画像の評価を行うとともに復元画像バッファメモリ１５９へ送る画像評価部１５５とを備えている。

【0047】

画像復元処理部１５０Ａにおける全体処理の概略は次の通りである（図５も参照）。

【0048】

１．予め、複数の異なる距離に対応する、複数のＰＳＦを用いて復元フィルタをそれぞれ作成し、それらの復元フィルタを格納しておく。

【0049】

２．画像を撮像して、入力画像を取得する。

【0050】

３．入力画像に対して、格納されていた複数のＰＳＦに応じた復元フィルタを用いてそれぞれ復元処理を行う。これにより、複数の中間候補画像が得られる。

【0051】

４．画像鮮明度と画像Ａｒｔｉｆａｃｔの２つの指標で、複数の中間候補画像の画質をそれぞれ評価する。

【0052】

５．最も評価の高い中間候補画像を復元処理結果として出力する。

【0053】

図５に示すように、撮影距離を変えた時、これに応じたＰＳＦのフーリエ変換、つまり、ＭＴＦの絶対値も変化する。

【0054】

オフライン処理で上記の撮影距離に応じたＰＳＦを用いて前記のウィナーフィルタ手法でそれぞれ復元フィルタを作成し、復元フィルタ格納メモリ１５４に保存しておく。

【0055】

なお、これらの処理は、コンピュータのプログラム用メモリに書き込まれた撮像プログラムを実行することによって行うようにしてもよい。この撮像プログラムは、これを記録したＣＤ−ＲＯＭやＵＳＢメモリなどの記録媒体を用いたり、または、ネットワークなどを経由して提供することもできる。

【0056】

図６（ａ）〜（ｃ）に示すように、撮影された元のボケ画像に対して、距離に応じて予め用意した異なる復元フィルタで復元することで中間候補画像が得られる。図６（ａ）は補正不足でボケが残った中間候補画像の例である。図６（ｂ）はボケの補正が適切にできており、Ａｒｔｉｆａｃｔが出ないレベルの中間候補画像の例である。図６（ｃ）は過剰ではあるがボケの補正ができており、白飛びしたＡｒｔｉｆａｃｔが発生した中間候補画像の例である。

【0057】

図７は図４に示した画像復元処理部１５０Ａに含まれる画像評価部１５５の概略構成を示すブロック図である。

【0058】

図７に示すように、画像評価部１５５は、中間候補画像バッファメモリ１５６から受けた中間候補画像に対して画像鮮明度演算１５５ａおよび画像Ａｒｔｉｆａｃｔ評価１５５ｂを行った後に総合判断１５５ｃを行って、最も評価の高い中間候補画像を復元処理結果として復元画像バッファメモリ１５９へ送る。

【0059】

図８は画像評価部１５５内の処理を示すフローチャートである。

【0060】

図８に示すように、初期化として鮮明度ＭＡＸおよび画像番号を０にリセットする（ステップＳ８０）。

【0061】

Ｎ枚目の中間候補画像を入力し（ステップＳ８１）、Ａｒｔｉｆａｃｔ評価値計算を実行する（ステップＳ８２）。

【0062】

閾値より大きいか否かの判定を行い（ステップＳ８３）、ＮＯであればステップＳ８７へ進む。

【0063】

ステップＳ８３の判定がＹＥＳであれば、次に鮮明度計算を行ってから（ステップＳ８４）、現在の鮮明度ＭＡＸの値より大きいか否かの判定を行い（ステップＳ８５）、ＮＯであれば未処理の中間候補画像が残っているかどうか の判断を行う（ステップＳ８７）。

【0064】

ステップＳ８５の判定がＹＥＳであれば、鮮明度ＭＡＸを現在の鮮明度に更新するとともに、画像番号にそのときのカウンタＮの値を入れる。

【0065】

カウンタＮの中間候補画像数に等しいか否かの判定を行い（ステップＳ８７）、ＹＥＳであればすべての中間候補画像の処理が済んでいるので、そのときの画像番号を出力してから（ステップＳ８８）、処理を終了する。

【0066】

ステップＳ８７の判定がＮＯであれば、未処理の中間候補画像が残っているので、カウンタＮに１を加算してから（ステップＳ８９）、ステップＳ８１へ戻って処理を繰り返す。

【0067】

図９は画像評価部１５５内の処理の変形例として、例えば３枚の中間候補画像を入力画像として具体化した並列処理を示すフローチャートである。これらの中間候補画像は、図６（ａ）〜（ｃ）にそれぞれ対応している。なお、処理の各ステップの詳細な説明は省略する。

【0068】

中間候補画像の鮮明度計算結果の一例を次に示す。

【0069】

距離a pts sharpness value is 0.973596
距離b pts sharpness value is 1.161603
距離c pts sharpness value is 1.183418
また、Ａｒｔｉｆａｃｔの判明結果の一例を次に示す。閾値Ｔ未満であれば１（Ａｒｔｉｆａｃｔなし）、閾値Ｔ以上であれば０（Ａｒｔｉｆａｃｔ発生）である。

【0070】

距離a 1
距離b 1
距離c 0
これらの結果、Ａｒｔｉｆａｃｔが発生したものを除外して、鮮明度が最高のものを選択する。つまり、最も高く評価された画像は次の通りである。

【0071】

距離b pts sharpness value is 1.161603
図１０（ａ）、（ｂ）は画像Ａｒｔｉｆａｃｔ評価の原理の説明図であって、図１０（ａ）が通常Ａｒｔｉｆａｃｔなしの復元画像における画像輝度値のヒストグラム、図１０（ｂ）がＡｒｔｉｆａｃｔありの復元画像における画像輝度値のヒストグラムである。

【0072】

これらのヒストグラムに示すように、横軸が画素輝度値であって、８ビットデータの輝度値の範囲は０〜２５５であり、縦軸は各輝度値を有する画素数（ピクセル数）である。通常Ａｒｔｉｆａｃｔなしの復元画像に比べて、Ａｒｔｉｆａｃｔありの復元画像には、ヒストグラムプロット図のＭＡＸ（輝度値＝２５５）とＭＩＮ（輝度値＝０）の２ヶ所にピーク値がはっきり見られる。輝度値の範囲が２５０〜２５５であるピクセル数の合計が一定閾値Ｔより高くなれば、 Ａｒｔｉｆａｃｔありと判断される。

【0073】

図１１は画像鮮明度演算の全体を示すフローチャートである。

【0074】

この図１１に示すように、復元画像が入力されると、まず、輝度値を０〜１の範囲に正規化する（ステップＳ１１１）。画像輝度値の正規化には、次式を用いる。

【0075】

変換後の輝度値 ＝ （変換前の輝度値−変換前の輝度最小値）／
（変換前の輝度最大値−変換前の輝度最小値）
次に、「強いエッジ抽出」（図１２を参照して後述）を実行する（ステップＳ１１２）。

【0076】

最後に鮮明度を計算して（ステップＳ１１３）、鮮明度値を出力する。

【0077】

上述した非特許文献２は、Point sharpnessという画像鮮明度を測れる画質（Image Clarity）評価指標を提案したが、評価したい入力画像のままで、全ての画素に対して計算するため、以下の３つのケースにおいてロバスト性が失われてしまう。

【0078】

１）画像内容
被写体が同じではない場合、例えば、風景と人物画像の比較ができない。

【0079】

２）画像輝度値
同じ画像内容があっても、明るさが異なる場合には比較ができない。

【0080】

３）ノイズレベル
同じ画像内容であっても、ノイズレベルが異なる場合には比較ができない。

【0081】

図１１に示した画像鮮明度演算では、画像輝度値を正規化して、強いエッジを自動的に抽出することによって上記問題点が改善される。

【0082】

図１２は強いエッジ抽出方法を示すフローチャートである。

【0083】

この図１２に示すように、まず、Ｓｏｂｅｌフィルタリングによる輝度エッジを計算する（ステップＳ１２１）。

【0084】

次に、画素を勾配の強さでソーティングする（ステップＳ１２２）。

【0085】

そして、確かな強いエッジを抽出するため、特定方向の勾配が強い画素を抽出する（ステップＳ１２３）。例えば、被写体が画像上で水平か垂直に入る場合、勾配の方向はかなり限られる。ノイズによって勾配が高くなっている画素について、このような判断によって除外することができる。

【0086】

また、画像輝度値の非均一性などの影響を減らすため、できるだけ被写体の全体にむらがないエッジ画素を均一的に抽出したいので、強いエッジを持つ画素の隣接画素を削除する（ステップＳ１２４）。ある画素が強いエッジと判断すれば、近傍８点（３×３領域）の画素が強いエッジではないとして判断して処理する。

【0087】

図１３（ａ）〜（ｆ）は、ジャストピント位置とジャストピントから離れた位置とで、それぞれ撮影されたボケ画像、従来方法による復元画像、本発明による復元画像を比較例示する図である。左列の画像がジャストピント位置に、右列の画像がジャストピントから離れた位置にそれぞれ対応する。

【0088】

図１３（ａ）および図１３（ｂ）は、撮影されたボケ画像である。

【0089】

ジャストピント位置のＰＳＦに基づいて復元を行う従来方法では、図１３（ｃ）に示すジャストピント位置の復元画像に比べたら、図１３（ｄ）に示すジャストピントから離れた位置での復元画像の画質が明らかに落ちている。

【0090】

これに対して、画像鮮明度により得られた最適なＰＳＦに基づいて復元を行う本発明によれば、図１３（ｅ）に示すジャストピント位置の復元画像と比べて、図１３（ｆ）に示すジャストピントから離れた位置での復元画像の画質もそれほど低下していない。

【0091】

本発明によれば、距離推定することもなく、画質が最も良くなる画像を選択するので、ジャストピント位置から離れていても、ジャストピント位置での復元精度に近い結果が得られる。

【0092】

なお、モーションブラー（motion blur）、つまり、被写体ぶれがあったり、撮影範囲内または視野範囲内で、例えば像高によってＰＳＦが変化したりする光学系など、ＰＳＦが変化するもののそれらのＰＳＦが既知である場合にも、上記と同様の処理を適用でき、同様の効果を奏することができる。

【0093】

＜実施形態２＞
上述した実施形態１では、画像全体に対して強いエッジ点を自動的に抽出して鮮明度計算を行っていた。実施形態２では、コード画像や瞳検出画像などのように対象物が事前にわかっている画像に対して、その部分画像の評価を行うようにした。

【0094】

図１４は、本発明の実施形態２に係る撮像装置の画像復元処理部１５０Ｂの概略構成を示すブロック図である。なお、この画像復元処理部１５０Ｂは、実施形態１の画像復元処理部１５０Ａ（図４参照）に対応している。

【0095】

図１４に示すように、画像復元処理部１５０Ｂでは、実施形態１の画像復元処理部１５０Ａ（図４参照）と比較して、画像バッファメモリ１５２と復元フィルタ処理部１５３Ｂとの間に画像領域指定１５７が追加されるとともに、画像評価部１５５Ｂへの被写体エッジ指定１５８が追加されている。なお、画像領域指定１５７および被写体エッジ指定１５８の追加に伴って、画像復元処理部１５０Ａの復元フィルタ処理部１５３および画像評価部１５５の処理内容をそれぞれ一部変更して、復元フィルタ処理部１５３Ｂおよび画像評価部１５５Ｂとしている。

【0096】

画像の領域限定、勾配の方向の閾値調整、または手動によるエッジ点指定などの手法を加えることで、処理速度をさらに加速することができる。不要な領域を除外するので、誤検出なども減らすことができる。

【0097】

また、使用目的によっては、実施形態１の構成と処理フローの通りにすれば、画像の一部だけの高精度な復元も可能である。例えば、撮影画像のうちで中央部分もしくは周辺部分のみを撮影対象とする場合などに有効である。

【0098】

＜実施形態３＞
上述した実施形態１や実施形態２では、モノクロ画像に対して処理を行っていたが、実施形態３はカラー画像を処理対象としている。例えば、ＲＧＢ画像であれば、ＲＧＢチャンネル別に処理した高精度復元画像を合成することによって、ＲＧＢ画像に対しても同様の効果を奏することができる。

【0099】

図１５は本発明の実施形態３に係る撮像装置のうちで実施形態１と異なる主要部分を示すブロック図である。図１６（ａ）、（ｂ）は通常のＲＧＢ画像復元手法を例示するブロック図である。図１７は実施形態３によるＲＧＢ画像復元手法を示すブロック図である。

【0100】

図１５に示すように、実施形態３では、撮像素子１２０と画像復元処理部１５０Ａとの間にＲＧＢ画像分解部１７１と、復元画像バッファメモリ１５９の先にＲＧＢ画像合成部１７２とがそれぞれ追加されている。

【0101】

図１６（ａ）や図１６（ｂ）に示す通常のＲＧＢ画像復元手法の場合、輝度画像／ＲＧＢチャンネルに変換して１つのＰＳＦに基づいて復元される。しかし、本来Ｒ、Ｇ、Ｂ各チャンネルのＰＳＦには微妙な差異があるので、１つのＰＳＦのみで復元すると、Ｒ、Ｇ、Ｂ各チャンネル間のＰＳＦの差異の影響が発生し得る。

【0102】

これに対して、実施形態３では、図１７に示すように、Ｒ、Ｇ、Ｂ各チャンネルにおいて、画像鮮明度により最適なＰＳＦがそれぞれ得られ、高精度復元画像が得られるので、より高精度の合成ＲＧＢ復元画像を得ることができる。

【0103】

なお、Ｒ、Ｇ、Ｂチャンネルだけに限らず、例えば、ＩＲチャンネルを追加してもよい。

【0104】

＜実施形態４＞
上述した各実施形態では、複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像の画像評価を行っていた。実施形態４では、復元前のボケ画像に基づく評価を先に行って復元フィルタを選択するようにした。

【0105】

図１８は本発明の実施形態４に係る撮像装置の画像復元処理部１５０Ｃの概略構成を示すブロック図である。図１９は画像復元処理部１５０Ｃにおける復元フィルタなどの作成に関連する原理の説明図である。図２０（ａ）は図１８に示した画像復元処理部１５０Ｃに含まれる画像評価部１５５Ｃの概略構成を示すブロック図である。図２０（ｂ）は図２０（ａ）の画像評価部１５５Ｃに含まれる総合判断１５５Ｃｃの概略構成を示すブロック図である。

【0106】

図１８に示すように、画像復元処理部１５０Ｃでは、実施形態１の画像復元処理部１５０Ａ（図４参照）と比較して、復元フィルタ処理部１５３Ｃと画像評価部１５５Ｃの順序が入れ替わっている。なお、これに伴って、画像復元処理部１５０Ａの復元フィルタ処理部１５３、復元フィルタ格納メモリ１５４、および画像評価部１５５の処理内容をそれぞれ一部変更して、復元フィルタ処理部１５３Ｃ、復元フィルタ格納メモリ１５４Ｃ、および画像評価部１５５Ｃとしている。

【0107】

画像復元処理部１５０Ｃにおける全体処理の概略は次の通りである（図１９も参照）。

【0108】

１．予め、複数の異なる距離に対応する、複数のＰＳＦを用いて復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度をペアで作成しておく。なお、標準登録画像とは、各距離で撮影した代表的なボケ画像である。

【0109】

２．画像を撮像して入力画像を取得する。

【0110】

３．入力画像に対して、画像鮮明度という指標でボケ画像の画質を評価する。

【0111】

４．標準登録画像に対応する画像鮮明度と比較して、最も数値の近い画像鮮明度とペアとなる復元フィルタを入力画像復元のための復元フィルタとして選ぶ。

【0112】

５．上記の復元フィルタを用いて復元処理を行い、復元処理結果として出力する。

【0113】

図２０（ａ）に示すように、画像評価部１５５Ｃでは、画像バッファメモリ１５２から受けた画像データの画像鮮明度演算１５５Ｃａの後に総合判断１５５Ｃｃを行って、復元処理結果を復元フィルタバッファ１５９Ｃへ送る。

【0114】

総合判断１５５Ｃｃは、図２０（ｂ）に示すように、画像鮮明度演算１５５Ｃａの結果と復元フィルタ格納メモリ１５４Ｃに格納されている復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度とに基づいて鮮明度値比較１５５Ｃｃ１を行って、復元フィルタ１５５Ｃｃ２を選択する。

【0115】

標準登録画像（複数）は、撮影距離に応じた復元前のボケ画像である。それぞれ異なるボケ度合いを持っているため、計算した画像鮮明度も違う。

【0116】

実施形態１とは違って、事前にオフラインで用意すべきものは、復元フィルタだけではない。それに応じた画像鮮明度もペアで用意しておく。

【0117】

総合判断の方は、オンラインで撮影画像の鮮明度を計算した上、復元フィルタ格納メモリに保存した標準登録画像の鮮明度と比較する。画像鮮明度と復元フィルタをペアで用意したので、一番近いものに応じた復元フィルタを用いて後で復元する。

【0118】

なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の各実施形態や各実施例はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

【符号の説明】

【0119】

１００ 撮像装置
１１０ 光学系
１１２ａ 第１レンズ
１１２ｂ 第２レンズ
１１２ｃ 第３レンズ
１１３ 絞り
１１５ 光拡散板
１２０ 撮像素子
１３０ Ａ／Ｄコンバーター
１４０ 画像処理部
１４１ ＲＡＷ画像メモリ
１４２ コンボリューション演算部
１５０ 画像復元処理部
１５０Ａ 画像復元処理部
１５０Ｂ 画像復元処理部
１５０Ｃ 画像復元処理部
１５１ デコンボリューション演算部
１５２ 画像バッファメモリ
１５３ 復元フィルタ処理部
１５３Ｂ 復元フィルタ処理部
１５３Ｃ 復元フィルタ処理部
１５４ 復元フィルタ格納メモリ
１５４Ｃ 復元フィルタ格納メモリ
１５５ 画像評価部
１５５Ｂ 画像評価部
１５５Ｃ 画像評価部
１５６ 中間候補画像バッファメモリ
１５７ 画像領域指定
１５８ 被写体エッジ指定
１５９ 復元画像バッファメモリ
１５９Ｃ 復元フィルタバッファ
１６０ 復元画像出力部
１７１ ＲＧＢ画像分解部
１７２ ＲＧＢ画像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】