特許 6972266 画像処理方法、画像処理装置、および、撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6972266

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】画像処理方法、画像処理装置、および、撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20211111BHJP

【ＦＩ】

   H04N5/232 290

【請求項の数】22

【全頁数】38

(21)【出願番号】特願2020-166198(P2020-166198)

(22)【出願日】2020年9月30日

(62)【分割の表示】特願2018-2384(P2018-2384)の分割

【原出願日】2016年3月9日

(65)【公開番号】特開2021-7247(P2021-7247A)

(43)【公開日】2021年1月21日

【審査請求日】2020年10月30日

(31)【優先権主張番号】特願2015-47460(P2015-47460)

(32)【優先日】2015年3月10日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2016-39594(P2016-39594)

(32)【優先日】2016年3月2日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】福田 浩一

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０１３−１２５０９５（ＪＰ，Ａ）

【文献】 特開２０１３−２１９６７６（ＪＰ，Ａ）

【文献】 特開２０１５−０２６０６８（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１４６０６７（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

複数の視点画像を取得し、
前記複数の視点画像のうち、少なくとも１つから得られるコントラストと、前記複数の視点画像のうち、少なくとも２つの画像間の像ずれ量に基づいて像ずれに関する分布情報を生成し、前記分布情報を出力あるいは記録することを特徴とする画像処理方法。

【請求項2】

前記分布情報は、
前記複数の視点画像の少なくとも１つから領域毎のコントラストを示すコントラスト値の分布であるコントラスト分布を生成し、
前記コントラスト分布に基づいて前記分布情報を求めることで生成されることを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記分布情報は、
前記コントラスト分布においてコントラスト値が所定値以上の領域に対して前記像ずれ量を求め、所定値未満の領域に対して前記像ずれ量を求めずに生成されることを特徴とする請求項２に記載の画像処理方法。

【請求項4】

前記コントラスト分布は、前記複数の視点画像に対応する画像から該画像の領域毎に抽出した高周波成分に基づいて生成される分布であることを特徴とする請求項２または３に記載の画像処理方法。

【請求項5】

前記コントラスト分布は、前記視点画像毎の高周波成分の差に応じて生成されることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理方法。

【請求項6】

前記コントラスト分布は、
前記複数の視点画像それぞれにおいて、領域毎に高周波成分を抽出して得られる分布の差分に基づいて生成される差分コントラスト分布と、前記複数の視点画像に対応する合成画像から領域毎に抽出した高周波成分に基づいて生成される分布とを掛け合わせて生成されることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理方法。

【請求項7】

前記分布情報は画像と関連づけられて出力あるいは記録されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。

【請求項8】

前記分布情報は、画像内の複数の領域に対して、該領域毎の前記複数の視点画像間の像ずれ量に基づいて求められた値の分布であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。

【請求項9】

画像に対して、前記分布情報に基づいて画像処理を行い、
出力画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。

【請求項10】

前記画像処理は、先鋭化の処理、平滑化の処理、または、これらの組み合わせ処理であることを特徴とする請求項９に記載の画像処理方法。

【請求項11】

前記分布情報の各領域の値において、該値の基準からの差が大きい領域より、差が小さい領域の方が、前記画像処理としての先鋭化の処理が強く行われることを特徴とする請求項１０に記載の画像処理方法。

【請求項12】

前記分布情報の各領域の値において、該値の基準からの差が小さい領域より、差が大きい領域の方が、前記画像処理としての平滑化の処理が強く行われることを特徴とする請求項１０に記載の画像処理方法。

【請求項13】

前記分布情報の各領域の値において、該値の基準からの差が小さい領域は、前記画像処理として先鋭化の処理を行い、差が大きい領域は、前記画像処理として平滑化の処理を行うことを特徴とする請求項１０に記載の画像処理方法。

【請求項14】

前記画像処理は、彩度を修正する処理であることを特徴とする請求項１０に記載の画像処理方法。

【請求項15】

前記複数の視点画像は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から生成される、ことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理方法。

【請求項16】

前記複数の視点画像は、マイクロレンズと該マイクロレンズに対応する複数の光電変換部からなる画素を複数配列した撮像素子により取得される入力画像から生成される、ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理方法。

【請求項17】

前記分布情報は、画像の複数の領域にそれぞれ対応する、像ずれ量あるいはデフォーカス量の分布であることを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理方法。

【請求項18】

マイクロレンズと該マイクロレンズに対応する複数の光電変換部からなる画素を複数配列した撮像素子により撮像された、前記複数の光電変換部の一部から得られる信号に対応する視点画像と、前記複数の光電変換部全てから得られる信号に対応する合成画像とを取得し、
前記視点画像と前記合成画像の少なくとも１つから得られるコントラストと、前記視点画像と前記合成画像を用いて算出される画像間の像ずれ量に基づいて像ずれに関する分布情報を生成し、前記分布情報を出力あるいは記録することを特徴とする画像処理方法。

【請求項19】

複数の視点画像を取得する取得手段と、
前記複数の視点画像のうち、少なくとも１つから得られるコントラストと、前記複数の視点画像のうち、少なくとも２つの画像間の像ずれ量に基づいて像ずれに関する分布情報を生成する生成手段と、
前記分布情報を出力あるいは記録する出力手段と、を有することを特徴とする画像処理装置。

【請求項20】

マイクロレンズと該マイクロレンズに対応する複数の光電変換部からなる画素を複数配列した撮像素子と、
前記撮像素子により撮像された、前記複数の光電変換部の一部から得られる信号に対応する視点画像と、前記複数の光電変換部全てから得られる信号に対応する合成画像とを取得する取得手段と、
前記視点画像と前記合成画像の少なくとも１つから得られるコントラストと、前記視点画像と前記合成画像を用いて算出される画像間の像ずれ量に基づいて像ずれに関する分布情報を生成する生成手段と、
前記分布情報を出力あるいは記録する出力手段と、を有することを特徴とする画像処理装置。

【請求項21】

請求項１乃至１７のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

【請求項22】

請求項１乃至１７のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラムを記録した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子により取得される、複数の視点に対応する複数の視点画像の画像処理に関する。

【背景技術】

【0002】

撮像装置の焦点検出方法の１つとして、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。特許文献１に開示された撮像装置は、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。複数に分割された光電変換部で、それぞれ、受光した信号から視点信号を生成し、複数の視点信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出が行われる。特許文献２では、複数に分割された光電変換部によって受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。

【0003】

撮影された画像に関する複数の視点信号は、光強度の空間分布および角度分布の情報であるライトフィールド（Ｌｉｇｈｔ Ｆｉｅｌｄ）データと等価である。非特許文献１では、取得されたライトフィールドデータを用いて撮像面とは異なる仮想結像面における画像を合成し、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第４４１０８０４号明細書

【特許文献2】特開２００１−０８３４０７号公報

【非特許文献】

【0005】

【非特許文献1】ＳＩＧＧＲＡＰＨ‘００ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ，ｐ２９７−３０６（２０００）

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、複数の視点画像間の差が大きい領域は、遠近競合やオクルージョンが発生している可能性が高い。これらのデフォーカス状態や空間周波数成分構成が大きく異なる複数の被写体像が撮影されている領域に、リフォーカス処理での先鋭化や平滑化などの画像処理を行うと、画質品位が低下する場合がある。

【0007】

本発明は、画質品位を良好に保持して画像処理を行うことを可能とする画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る画像処理方法は、複数の視点画像を取得し、前記複数の視点画像のうち、少なくとも１つから得られるコントラストと、前記複数の視点画像のうち、少なくとも２つの画像間の像ずれ量に基づいて像ずれに関する分布情報を生成し、前記分布情報を出力あるいは記録する。

【発明の効果】

【0009】

本発明の画像処理方法によれば、画質品位を良好に保持して画像処理を行うことができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施例における撮像装置の概略構成図である。

【図2】第１の実施例における画素配列の概略図である。

【図3】第１の実施例における画素の概略平面図（Ａ）と概略断面図（Ｂ）である。

【図4】第１の実施例における画素と瞳分割の概略説明図である。

【図5】第１の実施例における画素内部の光強度分布例を示す図である。

【図6】第１の実施例における瞳強度分布を例示する図である。

【図7】第１の実施例における撮像素子と瞳分割の概略説明図である。

【図8】デフォーカス量と、像ずれ量の概略関係図である。

【図9】リフォーカス処理のフローチャート例を示す図である。

【図10】瞳ずれによるシェーディングを示す図である。

【図11】撮像画像を例示する図である。

【図12】撮像画像の撮像コントラスト分布を例示する図である。

【図13】第１視点画像の第１視点コントラスト分布を例示する図である。

【図14】第２視点画像の第２視点コントラスト分布を例示する図である。

【図15】視点画像間の視差と遠近競合の概略関係図である。

【図16】第１視点画像と第２視点画像のコントラスト差分量分布を示す図である。

【図17】コントラスト分布を例示する図である。

【図18】第１視点画像と第２視点画像の像ずれ量分布を例示する図である。

【図19】所定シフト量からの像ずれ差分量分布を例示する図である。

【図20】視点画像間の視差を先鋭化する（クロストーク補正）処理を示す図である。

【図21】シフト合成処理によるリフォーカスの概略説明図である。

【図22】シフト合成処理によるリフォーカス可能範囲の概略説明図である。

【図23】従来例と第１の実施例におけるリフォーカス画像例を示す図である。

【図24】撮像画像例（Ａ）と、リフォーカス画像例（Ｂ）を示す図である。

【図25】第２の実施例における彩度処理のフローチャート例を示す図である。

【図26】第３の実施例における画素配列の概略図である。

【図27】第３の実施例における画素の概略平面図（Ａ）と概略断面図（Ｂ）である。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について図面などを参照して説明する。なお、以下の実施形態では、デジタルカメラ等の撮像装置に適用した場合について説明するが、本発明に係る画像処理を実行する画像処理装置や情報処理装置、電子機器等に幅広く適用可能である。

【0012】

［第１の実施例］
本発明の第１の実施例に係る画像処理方法を適用した撮像装置であるカメラの全体構成を例示して、以下に説明する。

【0013】

図１は本実施形例に係る撮像素子を有する撮像装置の構成例を示すブロック図である。撮像光学系（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路からなり、撮像光学系の結像面に配置される。

【0014】

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

【0015】

被写体照明用の電子フラッシュ１１５は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

【0016】

カメラ本体部の制御部を構成するＣＰＵ（中央演算処理装置）１２１は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。また、ＣＰＵ１２１は本発明に係るデータの生成手段、すなわち視点画像生成手段と、撮像画像生成手段、コントラスト分布生成手段、ずれ量分布生成、出力画像生成手段としての機能を有する。

【0017】

電子フラッシュ制御回路１２２はＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３はＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５はＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。

【0018】

フォーカス駆動回路１２６はＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８はＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９はＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

【0019】

表示部１３１はＬＣＤ（液晶表示装置）等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。本実施例では、撮像素子１０７により撮像され、画像処理回路１２５により処理された画像データとして複数の視点画像やそれらを撮像素子１０７内や画像処理回路１２５内で合成した合成画像を表示部１３１やフラッシュメモリ１３３に表示・記録する。

【0020】

［撮像素子］
本実施例における撮像素子の画素と副画素の配列の概略図を図２に示す。図２の左右方向をｘ軸方向とし、上下方向をｙ軸方向とし、ｘ軸方向およびｙ軸方向に直交する方向（紙面に垂直な方向）をｚ軸方向と定義する。図２は、本実施例の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示したものである。

【0021】

本実施例では、図２に示した２列×２行の画素群２００は、第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上の位置に配置されている。また、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下の位置に配置されている。また、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下の位置に配置されている。さらに、各画素は、ｘ軸方向に２分割（Ｎｘ分割）、ｙ軸方向に１分割（Ｎｙ分割）された分割数２（分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）の複数の副画素により構成されている。副画素はそれぞれ、焦点検出信号を出力する焦点検出画素としての機能を有する。

【0022】

図２に示す例では、４列×４行の画素（８列×４行の副画素）を面上に多数配置することで、撮像素子１０７から、以下の画像を取得可能である。すなわち、表示部１３１での表示やフラッシュメモリ１３２への記録などにも用いる撮像画像（合成画像）および分割数２（分割数Ｎ_ＬＦ）の複数の視点画像を生成するための入力画像を取得可能である。本実施例の撮像素子では、画素の周期Ｐを４μｍ（マイクロメートル）とし、画素数Ｎを横５５７５列×縦３７２５行＝約２０７５万画素とする。また、副画素の列方向周期Ｐ_Ｓを２μｍとし、副画素数Ｎ_Ｓを横１１１５０列×縦３７２５行＝約４１５０万画素とする。

【0023】

図２に示す撮像素子１０７における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。

【0024】

図３（Ａ）および、図３（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ軸方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ軸方向に２分割（Ｎｘ分割）、ｙ軸方向に１分割（Ｎｙ分割）された分割数２（分割数Ｎ_ＬＦ）の第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）の複数の光電変換部が形成されている。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

【0025】

第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と２つに分割されたｎ型層３０１とｎ型層３０２から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルタ３０６の分光透過率を変えても良いし、カラーフィルタを省略しても構わない。

【0026】

画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルタ３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

【0027】

図４は、撮像素子１０７における画素構造と瞳分割との対応関係を示す概略的な説明図である。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ軸方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ軸方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。

【0028】

撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。

【0029】

２×１分割された第１瞳部分領域５０１と第２瞳部分領域５０２（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）は、概ね光学的に共役な関係になっている。詳細には、各々が、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）の受光面と、マイクロレンズによって、概ね光学的に共役な関係になっている。そして、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）で、それぞれ、受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。

【0030】

また、瞳領域５００は、２×１分割された第１光電変換部３０１と第２光電変換部３０２（Ｎｘ×Ｎｙ分割された第１光電変換部から第Ｎ_ＬＦ光電変換部）を全て合わせた受光面と、マイクロレンズによって、概ね光学的に共役な関係になっている。そして、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。

【0031】

図５に、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図５（Ａ）はマイクロレンズの光軸に平行な断面での光強度分布を示す。図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

【0032】

図６に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対（左右対称的）に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。

【0033】

本実施例の撮像素子と瞳分割との対応関係を示した概略図を図７に示す。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。撮像素子の各画素において、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）は、それぞれ結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すＬＦデータ（入力画像）が取得される。

【0034】

ＬＦデータから、各画素毎に２×１分割された第１副画素２０１と第２副画素２０２の中から特定の副画素の信号を選択することで、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の中の特定の瞳部分領域に対応した視点画像を生成できる。例えば、各画素毎に、第１副画素２０１の信号を選択することで、結像光学系の第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素でも同様である。

【0035】

また、ＬＦデータ（入力画像）から、各画素毎に、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成することで、画素数Ｎの解像度を有する撮像画像を生成することができる。

【0036】

以上のように本実施例の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、ＬＦデータ（入力画像）を取得することができる。

【0037】

［デフォーカス量と像ずれ量の関係］
本実施例の撮像素子により取得されるＬＦデータ（入力画像）から生成される第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）のデフォーカス量と、像ずれ量との関係について、以下に説明する。

【0038】

図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量について概略的に示す関係図である。撮像面６００には撮像素子（不図示）が配置され、図４、図７の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。

【0039】

デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図８に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

【0040】

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）の画像データとしてメモリに記憶される。

【0041】

被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。

【0042】

したがって、本実施例では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。

【0043】

［リフォーカス処理とシャープ／アンシャープ制御］
本実施例では、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）のデフォーカス量と像ずれ量の関係性を用いて、撮像画像に対して、撮影後に、フォーカス位置を再修正するリフォーカス処理を行う。本実施例では、リフォーカス処理として以下の２つを組み合わせた処理を行う。１つは、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）を用いたシフト合成処理によるリフォーカス処理である。もう１つは、像ずれ差分量分布に応じた先鋭化と平滑化によって先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ／アンシャープ制御である。しかし、本実施例としてはこれに限らず、上記のリフォーカス処理、シャープ／アンシャープ制御両者のうち、いずれか一方のみを画像に行ってもよい。いずれか一方を行う場合には、図９にていずれか一方の処理にのみ係るステップを省略すればよい。

【0044】

以下、本実施例の撮像素子により取得されたＬＦデータ（入力画像）から、撮影後に、フォーカス位置やボケ感が修正された処理画像（出力画像）を生成する画像処理方法について、図９を用いて説明する。図９は、リフォーカス処理及びシャープ／アンシャープ制御の流れの概略図を示す図である。なお、図９の処理は、本実施例の画像処理手段であるＣＰＵ１２１と画像処理回路１２５によって実行される。

【0045】

［多視点画像と撮像画像］
図９のステップＳ１で、本実施例の撮像素子により取得されたＬＦデータ（入力画像）から、結像光学系の異なる瞳部分領域毎に、複数の視点画像を生成し、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像（合成画像）を生成する。

【0046】

ステップＳ１において、まず、本実施例の撮像素子により取得されたＬＦデータ（入力画像）を入力する。もしくは、予め本実施例の撮像素子により撮影され、記録媒体に保存されているＬＦデータ（入力画像）を用いても良い。

【0047】

ステップＳ１において、次に、結像光学系の異なる瞳部分領域毎に、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）を生成する。ＬＦデータ（入力画像）をＬＦとする。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ副画素信号とする。結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ、ｉ）を、式（１）により生成する。

【数1】

【0048】

本実施例は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ軸方向２分割の例である。図２に例示した画素配列に対応したＬＦデータ（入力画像）から、各画素毎に、ｘ軸方向２分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の中から特定の副画素の信号を選択する。よって、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第Ｎ_ＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像と第２視点画像（第Ｎ_ＬＦ視点画像）を生成する。

【0049】

ここで、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１０に、撮像素子の周辺像高における第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示す。尚、図４と同じ部分は同じ符号を付して示す。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

【0050】

図１０（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合である。この場合は、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。これに対して、図１０（Ｂ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。同様に、図１０（Ｃ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢ毎に生じる。

【0051】

必要に応じて、各視点画像のシェーディングを改善するために、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に、それぞれ、ＲＧＢ毎に、シェーディング補正処理（光学補正処理）を行っても良い。また、必要に応じて、キズ補正処理や、飽和処理、デモザイキング処理などを行っても良い。

【0052】

図９のステップＳ１において、次に、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像（合成画像）を生成する。列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（２）により生成する。

【数2】

【0053】

本実施例は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ軸方向２分割の例である。図２に例示した画素配列に対応した入力画像から、各画素毎にｘ軸方向２分割された第１副画素２０１と第２副画素２０２の信号を全て合成し、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。必要に応じて、シェーディング補正処理、キズ補正処理、飽和処理、デモザイキング処理などを行っても良い。図１１に、本実施例のデモザイキング処理された撮像画像を例示する。中央に人物（人形）が配置され、左側に細かい市松模様の平板が手前から奥に渡って傾斜して配置されている。

【0054】

以上のように本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域毎に、複数の視点画像を生成する。そして、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。しかしこれに限らず、本実施例も他の実施例も、公知の技術により複数の視点画像及びそれらの合成画像を取得できるものであれば適用出来る。例えば特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像素子１０７とみなす構成でもよい。また、図１の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

【0055】

［コントラスト分布］
図９のステップＳ２で、本実施例の撮像画像（合成画像）と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域毎に抽出して、コントラスト分布を生成する。本実施例のコントラスト分布は、視点画像間の差に応じた調整が行われる。

【0056】

ステップＳ２において、まず、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、撮像輝度信号Ｙを、式（３Ａ）により生成する。同様に、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点輝度信号Ｙｋを、式（３Ｂ）により生成する。

【数3】

【0057】

ステップＳ２において、次に、空間周波数の高周波成分を抽出する２次元バンドパスフィルタを用いて、撮像輝度信号Ｙ（ｊ，ｉ）から、撮像高周波信号ｄＹ（ｊ，ｉ）を式（４Ａ）より生成する。２次元バンドパスフィルタを｛Ｆ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）｜−ｎ_ＢＰＦ≦ｊ_ＢＰＦ≦ｎ_ＢＰＦ、−ｍ_ＢＰＦ≦ｉ_ＢＰＦ≦ｍ_ＢＰＦ｝とする。同様に、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）を式（４Ｂ）より生成する。

【数4】

【0058】

本実施例は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ軸方向２分割の例である。ｘ軸方向（瞳分割方向）の１次元フィルタＦｘ（ｉ_ＢＰＦ）と、ｙ軸方向（瞳分割方向と直交する方向）の１次元フィルタＦｙ（ｊ_ＢＰＦ）との直積により、２次元バンドパスフィルタを構成する例を示す。すなわち、２次元バンドパスフィルタをＦ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）＝Ｆｙ（ｊ_ＢＰＦ）×Ｆｘ（ｉ_ＢＰＦ）とする。瞳分割方向であるｘ軸方向の１次元フィルタＦｘ（ｉ_ＢＰＦ）には、ｘ軸方向の空間周波数の高周波成分を抽出するため、例えば、０．５×［１、２、０、−２、−１］＋１．５×［１、０、−２、０、１］などの１次元バンドパスフィルタを用いることができる。

【0059】

ここで、１次微分型フィルタ［１、２、０、−２、−１］と２次微分型フィルタ［１、０、−２、０、１］を組み合わせた混合型フィルタとしている。一般的に、微分型フィルタ処理を行うと、フィルタ処理後の信号において、正符号から負符号に変化する部分に０点が存在するため、絶対値演算と組み合わせることにより、空間周波数の高周波成分が含まれる領域に節が生じてしまう場合がある。節が発生する位置は、微分型フィルタの微分の次数により異なる。よって、本実施例では、１次微分型フィルタと２次微分型フィルタ（一般には、異なる次数の微分型フィルタ）を組み合わせた混合型フィルタを用いることで、節の発生を抑制している。

【0060】

必要に応じて、［１、２、０、−２、−１］などの１次微分型フィルタ、［１、０、−２、０、１］などの２次微分型フィルタ、高次微分型フィルタや、より一般的な１次元バンドパスフィルタを用いても良い。瞳分割方向と直交する方向であるｙ軸方向の１次元フィルタＦｙ（ｊ_ＢＰＦ）には、ｙ軸方向の高周波ノイズを抑制するため、例えば、［１、１、１、１、１］や［１、４、６、４、１］などの高周波カット（ローパス）フィルタを用いることができる。必要に応じて、ｘ軸方向とｙ軸方向のいずれの方向に対しても、空間周波数の高周波成分を抽出するバンドパスフィルタ処理を行っても良い。本実施例では、２つの１次元フィルタの直積で構成される２次元バンドパスフィルタを例示したが、これに限定されず、一般的な２次元バンドパスフィルタを用いることができる。

【0061】

ステップＳ２において、次に、Ｙ_０＞０として、撮像高周波信号ｄＹ（ｊ，ｉ）を、撮像輝度信号Ｙ（ｊ，ｉ）により規格化した、規格化撮像高周波信号ｄＺ（ｊ，ｉ）を、式（５Ａ）により生成する。同様に、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）を、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）により規格化した、規格化第ｋ視点高周波信号ｄＺｋ（ｊ，ｉ）を、式（５Ｂ）により生成する。分母のＹ_０＞０との最大値判定は、０割を防止するためである。必要に応じて、式（５Ａ）、式（５Ｂ）での規格化前に、撮像輝度信号Ｙ（ｊ，ｉ）、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）に対して、高周波カット（ローパス）フィルタ処理を行い、高周波ノイズを抑制しても良い。

【数5】

【0062】

ステップＳ２において、次に、低輝度閾値Ｙｍｉｎ、コントラスト最大閾値Ｃｍａｘ、指数γとして、撮像コントラスト分布Ｃ（ｊ，ｉ）を、式（６Ａ）により生成する。式（６Ａ）の１行目で、撮像輝度信号Ｙ（ｊ，ｉ）が、低輝度閾値Ｙｍｉｎより小さい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が０に設定される。式（６Ａ）の３行目で、規格化撮像高周波信号ｄＺ（ｊ，ｉ）が、コントラスト最大閾値Ｃｍａｘより大きい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が１に設定される。それ以外の場合は、式（６Ａ）の２行目で、撮像コントラスト分布Ｃ（ｊ，ｉ）は、規格化撮像高周波信号ｄＺ（ｊ，ｉ）をコントラスト最大閾値Ｃｍａｘで規格化してγ乗した値に設定される。

【0063】

以上のように、撮像コントラスト分布Ｃ（ｊ，ｉ）は、［０，１］（０以上１以下）の範囲内の値をとる。Ｃ（ｊ，ｉ）の値が、０に近いとコントラストが低く、１に近いとコントラストが高いことを示す。撮像コントラスト分布Ｃ（ｊ，ｉ）の０から１までのトーンカーブを調整するためにγ乗されている。低コントラスト側での変化を緩やかに、高コントラスト側での変化を急峻にするために、指数γは１．５以上２．５以下が望ましい。必要に応じて、定義域［０，１］から値域［０，１］への関数Ｆ：［０，１］→［０，１］を用いて、合成関数Ｆ（Ｃ（ｊ，ｉ））を撮像コントラスト分布としても良い。同様に、第ｋ視点コントラスト分布Ｃｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）を、式（６Ｂ）により生成する。

【数6】

【0064】

本実施例の撮像コントラスト分布Ｃ（ｊ，ｉ）の分布例を図１２に、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）の分布例を図１３に、第２視点コントラスト分布Ｃ_２（ｊ，ｉ）の分布例を図１４に、それぞれ、例示する。図１２から図１４に示す分布例では、右側の［０、１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。１近傍の白い部分はｘ軸方向の空間周波数の高周波成分が多く、高コントラストな領域を示し、０近傍の黒い部分はｘ軸方向の空間周波数の高周波成分が少なく、低コントラストな領域を示している。

【0065】

本実施例における複数の視点画像（第１視点画像と第２視点画像）間の視差と、遠近競合やオクルージョンとの関係を、図１５を用いて説明する。図１５において、撮像面６００に本実施例の撮像素子（不図示）が配置され、図４、図７、図８と同様に、結像光学系の射出瞳が、瞳部分領域５０１と瞳部分領域５０２に２分割される。

【0066】

図１５（Ａ）は、被写体ｑ１の合焦像ｐ１に、手前の被写体ｑ２のボケ像Γ１＋Γ２が重なって撮影され、撮影画像において遠近競合が生じている例である。この例を、結像光学系の瞳部分領域５０１を通過する光束と、瞳部分領域５０２を通過する光束に、それぞれ、分けたものを、図１５（Ｂ）、図１５（Ｃ）に示す。

【0067】

図１５（Ｂ）では、被写体ｑ１からの光束は、瞳部分領域５０１を通過して、合焦状態で像ｐ１に結像し、手前の被写体ｑ２からの光束は、瞳部分領域５０１を通過して、デフォーカス状態でボケ像Γ１に広がり、撮像素子の各画素の副画素２０１で受光される。副画素２０１の受光信号から、第１視点画像が生成される。第１視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ１が重ならずに、異なる位置で撮影される。第１視点画像において、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じていない例である。

【0068】

一方、図１５（Ｃ）では、被写体ｑ１からの光束は、瞳部分領域５０２を通過し、合焦状態で像ｐ１に結像する。そして、手前の被写体ｑ２からの光束は、瞳部分領域５０２を通過し、デフォーカス状態でボケ像Γ２に広がり、撮像素子の各画素の副画素２０２で受光される。副画素２０２の受光信号から、第２視点画像が生成される。第２視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ２が重なって撮影される。第２視点画像において、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じている例である。

【0069】

図１５の例は、撮影画像において遠近競合やオクルージョンが生じている領域近傍では、撮影画像を構成する第１視点画像と第２視点画像とで遠近競合やオクルージョンが生じている状態が異なる。すなわち、第１視点画像と第２視点画像間の差が大きくなる可能性が高いことを示している。したがって、複数の視点画像間の差が大きい領域を検出することにより、遠近競合やオクルージョンが発生している可能性が高い領域を推定することができる。

【0070】

本実施例の第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）の差分量分布Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）を図１６に例示する。図１６に示す分布例では、右側の［−１、１］の範囲のグレースケール表示にて、第１視点画像のコントラストと第２視点画像のコントラスト間の差（第１視点コントラスト分布と第２視点コントラスト分布の差分量）の大小の指標を表している。０近傍の黒い部分は、第１視点画像のコントラストと第２視点画像のコントラスト間の差が小さい領域を示している。一方、±１近傍の白い部分は、第１視点画像のコントラストと第２視点画像のコントラスト間の差が大きい領域を示している。

【0071】

図１６において、第１視点画像のコントラストと第２視点画像のコントラスト間の差が大きい白い領域として、中央下部で、人物（人形）の胴体と、市松模様の平板とで、遠近競合やオクルージョンを生じている領域が、検出されている。また、遠近競合やオクルージョンを生じている領域以外に、第１視点画像と第２視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出されている。例えば、デフォーカス状態の被写体エッジ部のように、高いコントラストが保たれたまま像ずれ量が大きい領域など、第１視点画像と第２視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出されている。これらの検出領域では、第１視点画像と第２視点画像とで、空間周波数成分が大きく異なる被写体像が、それぞれ、撮影されている。そのため、第１視点画像と第２視点画像を合わせた撮像画像では、これらの検出領域は、空間周波数成分が大きく異なる複数の被写体像が混成している領域である。

【0072】

これらの空間周波数成分が異なる複数被写体像の混成領域に、先鋭化や平滑化などの画像処理を強く行うと、画質品位が低下する場合がある。したがって、本実施例では、第１視点コントラスト分布と第２視点コントラスト分布の差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜を用いて、空間周波数成分が異なる複数被写体像の混成領域の検出を行う。そして、検出された混成領域での先鋭化や平滑化などの画像処理を抑制して行う。これにより、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。

【0073】

本実施例では、ステップＳ２において、次に、空間周波数成分が異なる複数被写体像の混成領域を検出するために、コントラスト差分量分布を生成する。詳細には、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）から、式（７Ａ）により、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を生成する。次に、式（７Ｂ）により、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、かけ合わせる。これにより、空間周波数成分が異なる複数被写体像の混成領域での値を０近傍に抑制したコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を生成する。

【数7】

【0074】

コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）は、［０、１］の範囲の分布で、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では０の値に近づく。また、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では１の値に近づく分布である。コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）は、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、かけ合わせた分布であり、よって、空間周波数成分が異なる複数被写体像の混成領域での値を０近傍に抑制した分布である。

【0075】

本実施例のコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の分布例を図１７に、例示する。図１７に示す分布例では、右側の［０、１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。１近傍の白い部分はｘ軸方向の空間周波数の高周波成分が多く、高コントラストな領域を示し、０近傍の黒い部分はｘ軸方向の空間周波数の高周波成分が少なく、低コントラストな領域を示している。図１２に示した撮像コントラスト分布Ｃ（ｊ，ｉ）に対して、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）の差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜が大きい領域でのコントラスト値が抑制されている。

【0076】

本実施例では、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）として、第１視点コントラスト分布と第２視点コントラスト分布の差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜に対して単調減少な線形関数を用いた。しかしこれに限られるものではなく、必要に応じて、より一般的な関数を用いても良い。

【0077】

以上のように本実施例では、撮像画像と複数の視点画像から、視点画像毎のコントラスト間の差に応じて、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）（合成コントラスト分布）を生成する。本実施例のコントラスト分布は、視点画像毎のコントラスト間の差が大きい領域より、コントラスト間の差が小さい領域の方が大きい。また、本実施例のコントラスト分布は、所定の空間周波数帯域における前記撮像画像の空間周波数成分が少ない領域より、空間周波数成分が多い領域の方が大きい。また、本実施例のコントラスト分布は、撮像画像の輝度が低い領域より、輝度が高い領域の方が大きい。

【0078】

２回目以降の処理で、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の生成を省略し、処理時間を短縮するために、以下を行うことが望ましい。すなわち、生成されたコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を、記録される画像データと関連付けてフラッシュメモリ１３３等の記録媒体などに記録することが望ましい。

【0079】

［像ずれ量分布］
図９のステップＳ３において、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値以上である各位置（ｊ，ｉ）で、第１視点画像と第２視点画像（複数の視点画像）から、第１視点画像と第２視点画像の相関（信号の一致度）に基づき像ずれ量分布を生成する。なお、本実施例はこれに限らず、コントラスト分布ＭＣＯＮ（ｊ，ｉ）の値に関係なく各視点画像に基づき像ずれ量分布を生成してもよい。

【0080】

ステップＳ３では、まず、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１から、式（３Ｂ）により生成された第１視点輝度信号Ｙ_１に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、第１焦点検出信号ｄＹＡを生成する。また、第２視点画像Ｉ_２から、式（３Ｂ）により生成された第２視点輝度信号Ｙ_２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、第２焦点検出信号ｄＹＢを生成する。１次元バンドパスフィルタとしては、例えば、１次微分型フィルタ［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整しても良い。

【0081】

ステップＳ３では、次に、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値以上の各位置（ｊ，ｉ）において、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを相対的に瞳分割方向（列方向）にシフトさせ、信号の一致度を表す相関量を算出する。所定値とは、例えば、０．２とする。そして、相関量に基づいて像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。一方、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満である各位置（ｊ，ｉ）は、像ずれ量の算出から除外する。像ずれ量の検出を、高コントラストで、かつ、遠近競合やオクルージョンが生じていない領域に限定することにより、像ずれ量の検出精度を高精度化し、処理を高速化することができる。

【0082】

位置（ｊ，ｉ）を中心として、行方向ｊ_２（−ｎ_２≦ｊ_２≦ｎ_２）番目、瞳分割方向である列方向ｉ_２（−ｍ_２≦ｉ_２≦ｍ_２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ_２、ｉ＋ｉ_２）、第２焦点検出信号をｄＹＢ（ｊ＋ｊ_２、ｉ＋ｉ_２）とする。シフト量をｓ（−ｎ_ｓ≦ｓ≦ｎ_ｓ）として、各位置（ｊ，ｉ）での相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）を、式（８Ａ）により算出し、相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）を、式（８Ｂ）により算出する。

【数8】

【0083】

相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。

【0084】

相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。

【0085】

コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であり、像ずれ量の算出から除外された領域は、Ｍ_ＤＩＳ（ｊ，ｉ）＝０とする。必要に応じて、０以外の値を設定しても良い。

【0086】

本実施例の像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の分布例を図１７に、例示する。図１７では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２以上で、像ずれ量が算出されている領域は、右側の［−６、６］の範囲のグレースケール表示にて、第１視点画像と第２視点画像との間の像ずれ量を１ピクセル単位で表している。マイナス（−）符号の黒側の部分は、前ピン状態の領域を、０付近が合焦近傍の領域を、プラス（＋）符号の白側の部分は、後ピン状態の領域を示している。また、図１７の分布例の表示では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２未満で、像ずれ量の算出から除外され、Ｍ_ＤＩＳ（ｊ，ｉ）＝０と設定された領域に関しては、黒で表示している。

【0087】

以上のように本実施例では、複数の視点画像から、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。

【0088】

２回目以降の処理で、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の生成を省略し、処理時間を短縮するために、生成された像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を、記録される画像データと関連付けてフラッシュメモリ１３３等の記録媒体などに記録することが望ましい。

【0089】

必要に応じて、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）に、位置（ｊ，ｉ）と撮像レンズ（結像光学系）の絞り値、射出瞳距離などに応じた変換係数をかけて、視点画像内の被写体のデフォーカス量の分布を示すデフォーカス量分布に変換しても良い。

【0090】

［像ずれ差分量分布］
図９のステップＳ４で、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量から、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）を生成する。

【0091】

ステップＳ４において、まず、本実施例のリフォーカス処理により修正を行いたい像ずれ量を、所定像ずれ量ｐとして設定する。例えば、図１８の像ずれ量分布Ｍ_ＤＩＳの例では、目近傍の領域での像ずれ量は約２．５である。リフォーカス処理により、人物（人形）の目近傍の領域での像ずれ量を、概ね、０に微修正したい場合、所定像ずれ量ｐ＝２．５と設定する。

【0092】

ステップＳ４において、次に、σ_ｐ＞０として、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）、所定像ずれ量ｐ、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）から、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）を、式（９）により算出する。

【数9】

【0093】

像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜に対して単調減少する線形関数と、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）とを、かけ合わせた分布である。像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）は、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＜σ_ｐで正、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＝σ_ｐで０、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＞σ_ｐで負となる。

【0094】

コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であり、像ずれ量の算出から除外された領域は、Ｍ_ＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σ_ｐ）×Ｍ_ＣＯＮ（ｊ，ｉ）とする。必要に応じて、他の値を設定しても良い。

【0095】

本実施例の像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の分布例を図１９に、例示する。コントラスト分布Ｍ_ＣＯＮの値が所定値０．２以上で、像ずれ量が算出されている領域は、右側の［−１、１］の範囲のグレースケール表示にて、像ずれ差分量を示している。プラス（＋）符号の白側の部分は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜が小さく、かつ、コントラストが高い領域を示している。マイナス（−）符号の黒側の部分は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜が大きく、かつ、コントラストが高い領域を示している。また、図１９の分布例の表示では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２未満で、像ずれ量の算出から除外され、Ｍ_ＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σ_ｐ）×Ｍ_ＣＯＮ（ｊ，ｉ）と設定された領域に関しては、黒で表示している。

【0096】

［修正視点画像］
図９のステップＳ５で、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に対して、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、第１の先鋭化および第１の平滑化の処理を行う。そして、第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）を生成する。

【0097】

本実施例では、第１視点画像と第２視点画像（複数の視点画像）に対して、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、視点画像間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理を行う。一方、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、視点画像間の差を縮小して視差を平滑化する（クロストーク、第１の平滑化）処理を行う。上記処理を行い、第１修正視点画像と第２修正視点画像（複数の修正視点画像）を生成する。

【0098】

図９のステップＳ５において、まず、第１視点画像と第２視点画像（複数の視点画像）に対して、視点画像間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理の強さを指定する第１の強度パラメータｋ_ｃｔ≧０を設定する。または、視点画像間の差を縮小して視差を平滑化する（クロストーク、第１の平滑化）処理の強さを指定する第１の強度パラメーターｋ_ｃｔ≧０を設定する。

【0099】

ステップＳ５において、次に、第１の強度パラメーター分布Ｋ_ｃｔ（ｊ，ｉ）を、式（１０）により設定する。第１の強度パラメーター分布Ｋ_ｃｔ（ｊ，ｉ）は、ｋ_ｃｔを比例係数として、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に比例する。

【数10】

【0100】

ステップＳ５において、次に、第１視点画像Ｉ_１（ｊ，ｉ）と第２視点画像Ｉ_２（ｊ，ｉ）（第１視点画像から第Ｎ_ＬＦ視点画像）に対して、式（１１Ａ）、および、式（１１Ｂ）の処理を行う。そして、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）を生成する。

【数11】

【0101】

式（１１Ａ）は、第１の強度パラメーター分布（像ずれ差分量分布）が０以上（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域で、第１視点画像と第２視点画像（複数の視点画像）間の差を拡大して視差を先鋭化する処理である。一方、式（１１Ｂ）は、第１の強度パラメーター分布（像ずれ差分量分布）が０未満（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域で、第１視点画像と第２視点画像（複数の視点画像）間の差を縮小して視差を平滑化する処理である。

【0102】

図２０は、第１視点画像と第２視点画像（複数の視点画像）間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理例をグラフで示した図である。横軸は画素位置を表し、縦軸は画素値（信号レベル）を表す。図２０では、先鋭化する（クロストーク補正、第１の先鋭化）処理前の第１視点画像（修正前Ａ）と第２視点画像（修正前Ｂ）の例を、破線のグラフで示す。また、式（１１Ａ）により、先鋭化する（クロストーク補正、第１の先鋭化）処理後の第１修正視点画像（修正後Ａ）と第２修正視点画像（修正後Ｂ）の例を、実線のグラフで示す。視点画像間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理により、処理前に視点画像間の差が大きい部分は、より拡大されるが、処理前に視点画像間の差が小さい部分はあまり変化しない。このように、視点画像間の視差が先鋭化されることがわかる。

【0103】

一方、式（１１Ｂ）の平滑化する（クロストーク、第１の平滑化）処理では、第１視点画像と第２視点画像（複数の視点画像）間の差が縮小され、視点画像間の視差が平滑化される。

【0104】

以上のように本実施例では、複数の視点画像に、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理を行う。コントラスト分布および像ずれ量分布に応じた画像処理は、必要に応じて、先鋭化の処理、平滑化の処理、または、これらの組み合わせ処理のいずれでも良い。

【0105】

本実施例では、式（７Ａ）、式（７Ｂ）、式（９）、式（１０）、式（１１Ａ）、式（１１Ｂ）より、視点画像毎のコントラスト間の差が大きい領域よりコントラスト間の差が小さい領域の方が、各視差画像への先鋭化や平滑化などの画像処理が強く行われる。また、コントラスト分布が、小さい領域より、大きい領域の方が、各視差画像への先鋭化や平滑化などの画像処理が強く行われる。

【0106】

本実施例では、式（９）、式（１０）、式（１１Ａ）および式（１１Ｂ）より、像ずれ量分布の所定シフト量（基準）からの差が小さい領域は、先鋭化の処理を行い、差が大きい領域は、平滑化の処理を行う。本実施例では、式（９）、式（１０）、式（１１Ａ）より、像ずれ量分布の所定シフト量からの差が大きい領域より、差が小さい領域の方が、先鋭化の処理が強く行われる。本実施例では、式（９）、式（１０）、式（１１Ｂ）より、像ずれ量分布の所定シフト量からの差が小さい領域より、差が大きい領域の方が、平滑化の処理が強く行われる。

【0107】

また、本実施例では、式（１１Ａ）および式（１１Ｂ）より、複数の視点画像の画素毎に、複数の視点画像間の差を拡大して視差を先鋭化、または、複数の視点画像間の差を縮小して視差を平滑化する処理を行い、複数の修正視点画像を生成する。式（１１Ａ）の第１の先鋭化の処理および式（１１Ｂ）の第２の平滑化の処理は、各（ｊ，ｉ）画素に含まれる第１光電変換部の出力信号である第１視点画像Ｉ_１（ｊ，ｉ）と、第２光電変換部の出力信号である第２視点画像Ｉ_２（ｊ，ｉ）間の演算処理である。

【0108】

［重み係数］
図９のステップＳ６で、所定領域において被写界深度を微修正するために、第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）毎の重み係数を設定する。

【0109】

ステップＳ６において、まず、被写界深度の再修正を行いたい所定領域Ｒ＝［ｊ１、ｊ２］×［ｉ１、ｉ２］、および、所定領域の境界幅σを設定し、式（１２）により、所定領域Ｒと所定領域の境界幅σに応じたテーブル関数Ｔ（ｊ、ｉ）を算出する。

【数12】

【0110】

テーブル関数Ｔ（ｊ、ｉ）は、所定領域Ｒの内側で１、所定領域Ｒの外側で０となり、所定領域Ｒの境界幅σで、概ね、１から０に連続的に変化する。必要に応じて、所定領域は、円形や、その他の任意の形状としても良い。また、必要に応じて、複数の所定領域、および、境界幅を設定しても良い。

【0111】

ステップＳ６において、次に、実係数ｗ（−１≦ｗ≦１）として、第１修正視点画像ＭＩ_１（ｊ、ｉ）の第１重み係数分布Ｗ_１（ｊ、ｉ）を、式（１３Ａ）により算出する。また、第２修正視点画像ＭＩ_２（ｊ、ｉ）の第２重み係数分布Ｗ_２（ｊ、ｉ）を、式（１３Ｂ）により算出する。

【数13】

【0112】

所定領域において、第１修正視点画像ＭＩ_１（ｊ、ｉ）の加算比率を上げて、被写界深度を修正する場合は、−１≦ｗ＜０の範囲で設定し、第２修正視点画像ＭＩ_２（ｊ、ｉ）の加算比率を上げて、被写界深度を修正する場合は、０＜ｗ≦１の範囲で設定する。必要に応じて、ｗ＝０として、Ｗ_１≡Ｗ_２≡１とし、被写界深度を修正しなくても良い。

【0113】

［シフト合成処理によるリフォーカス］
図９のステップＳ７で、第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）毎に重み係数をかけて、瞳分割方向（ｘ軸方向）に相対的にシフトして加算する処理（シフト合成処理）を行う。そして、複数の視点画像による合成画像である中間画像を生成する。

【0114】

図２１は、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）による瞳分割方向（ｘ軸方向）のシフト合成処理によるリフォーカスについて概要を示す説明図である。図２１では、紙面の上下方向にｘ軸を設定して下方をｘ軸の正方向と定義し、紙面に垂直な方向をｙ軸に設定して手前側をｙ軸の正方向と定義し、紙面の左右方向にｚ軸を設定して左方をｚ軸の正方向と定義する。図２１の撮像面６００は、図７、図８（および、図１５）に示した撮像面６００に対応している。

【0115】

図２１では、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を模式的に表している。第１修正視点画像ＭＩ_１（ｊ，ｉ）の信号は、図７の第１瞳部分領域５０１に対応した主光線角度θ_１で位置（ｊ，ｉ）の第１光電変換部３０１に入射した光束の受光信号である。第２修正視点画像ＭＩ_２（ｊ，ｉ）の信号は、図７の第２瞳部分領域５０２に対応した主光線角度θ_２で位置（ｊ，ｉ）の第２光電変換部３０２に入射した光束の受光信号である。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

【0116】

第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）は、光強度分布情報だけでなく、入射角度情報も有している。したがって、以下の平行移動および加算処理で仮想結像面６１０でのリフォーカス画像を生成できる。第１に、第１修正視点画像ＭＩ_１（ｊ，ｉ）を主光線角度θ_１に沿って仮想結像面６１０まで平行移動させ、第２修正視点画像ＭＩ_２（ｊ，ｉ）を主光線角度θ_２に沿って仮想結像面６１０まで平行移動させる処理。第２に、それぞれ平行移動させた第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を加算する処理。

【0117】

第１修正視点画像ＭＩ_１（ｊ，ｉ）を主光線角度θ_１に沿って仮想結像面６１０まで平行移動させることは、列方向への−１画素分のシフトに対応する。また、第２修正視点画像ＭＩ_２（ｊ，ｉ）を主光線角度θ_２に沿って仮想結像面６１０まで平行移動させることは、列方向への＋１画素分のシフトに対応する。したがって、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を相対的に＋２画素分シフトさせ、ＭＩ_１（ｊ，ｉ）とＭＩ_２（ｊ，ｉ＋２）を対応させて加算することで、仮想結像面６１０でのリフォーカス信号を生成できる。

【0118】

図９のステップＳ７において、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）を、式（１４）により、仮想結像面でのリフォーカス画像であるシフト合成画像Ｉ_Ｓ（ｊ，ｉ）を生成する。所定像ずれ量ｐに最も近い偶数をｐｅとする。ここで、所定像ずれ量ｐに最も近い偶数ｐｅは、ＲＯＵＮＤを四捨五入の関数として、ｐｅ＝２×ＲＯＵＮＤ（ｐ／２））により算出する。

【数14】

【0119】

式（１４）では、シフト加算と同時に、式（１３Ａ）の第１重み係数分布Ｗ_１（ｊ、ｉ）を第１修正視点画像ＭＩ_１（ｊ、ｉ）に乗算し、式（１３Ｂ）の第２重み係数分布Ｗ_２（ｊ、ｉ）を第２修正視点画像ＭＩ_２（ｊ、ｉ）に乗算する。これにより、所定領域での被写界深度を修正する。必要に応じて、Ｗ_１≡Ｗ_２≡１とし、被写界深度を修正しなくても良い。複数の視差画像毎に重み係数をかけて、シフト合成処理を行い、複数の視点画像による合成画像である中間画像を生成する。

【0120】

第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）のシフト合成処理は、偶数シフトや加算処理に限定されず、必要に応じて、実数シフトや、より一般的な合成処理を用いても良い。また、必要に応じて、後述する図９のステップＳ８の処理を省略し、式（１４）により、第１修正視点画像と第２修正視点画像（複数の修正視点画像）をシフト加算して生成されるシフト合成画像Ｉ_Ｓ（ｊ，ｉ）を出力画像としても良い。

【0121】

本実施例では、式（１４）により生成されるシフト合成画像Ｉ_Ｓ（ｊ，ｉ）の画素数を、撮像画像の画素数Ｎと同数に保つため、予め、第２修正視点画像ＭＩ_２（ｊ，ｉ）の瞳分割方向（ｘ軸方向）の終端部分に対して、データ長を拡大する終端処理を行う。ｐｅ＞０の場合、最小列番号をｉ_ｍｉｎとして、終端の列番号ｉ_ｅ（ｉ_ｍｉｎ≦ｉ_ｅ≦ｉ_ｍｉｎ＋ｐｅ−１）に対して、式（１５Ａ）により、終端処理を行う。ｐｅ＜０の場合、最大列番号をｉ_ｍａｘとして、終端の列番号ｉ_ｅ（ｉ_ｍａｘ＋ｐｅ＋１≦ｉ_ｅ≦ｉ_ｍａｘ）に対して、式（１５Ｂ）により、終端処理を行う。本実施例では、複数の修正視点画像の画像サイズを拡張する処理を行う。

【数15】

【0122】

［リフォーカス可能範囲］
図２２の概略図を参照して、本実施例でのシフト合成処理によるリフォーカス可能範囲について説明する。撮像面６００には撮像素子（不図示）が配置され、図４、図７、図８の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。

【0123】

許容錯乱円径をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は、±Ｆ×δである。これに対して、Ｎｘ×Ｎｙ（例えば、２×１）に分割されて狭くなった瞳部分領域５０１（または５０２）の瞳分割方向（ｘ軸方向）の実効絞り値Ｆ_０１（またはＦ_０２）は、Ｆ_０１＝Ｎｘ×Ｆ（またはＦ_０２＝Ｎｘ×Ｆ）となって暗くなる。第１修正視点画像（または第２修正視点画像）ごとの実効的な被写界深度は、±Ｎｘ×Ｆ×δで、Ｎｘ倍深くなり、合焦範囲がＮｘ倍に広がる。実効的な被写界深度「±Ｎｘ×Ｆ×δ」の範囲内では、第１修正視点画像（または第２修正視点画像）ごとに合焦した被写体像が取得されている。よって、図２１に示した主光線角度θ_１（またはθ_２）に沿って第１修正視点画像（または第２修正視点画像）を平行移動させて加算する処理により、撮影後に、合焦位置をリフォーカスすることができる。

【0124】

撮影後に合焦位置をリフォーカス可能な撮像面６００からのデフォーカス量ｄは限定される。デフォーカス量ｄのリフォーカス可能範囲は、概ね、式（１６）の範囲である。許容錯乱円径δは、δ＝２・ΔＸ（画素周期ΔＸのナイキスト周波数１／（２・ΔＸ）の逆数）等で規定される。

【数16】

【0125】

しかしながら、図６の瞳強度分布例に示したように、画素部ごとに形成される直径数ｕｍのマイクロレンズと複数に分割された光電変換部による瞳分割では、光の波動性による回折ボケのために、緩やかな瞳分割となる。そのため、第１視点画像と第２視点画像（複数の視点画像）の瞳分割方向（ｘ軸方向）の焦点深度が十分に深くならず、第１視点画像と第２視点画像（複数の視点画像）を用いてリフォーカス画像を生成しても、リフォーカス効果が十分に得られない場合がある。

【0126】

したがって、本実施例では、シフト合成処理によるリフォーカスにおいて、第１視点画像と第２視点画像（複数の視点画像）に対し、以下の処理を行う。第１の強度パラメーター分布（像ずれ差分量分布）が０以上（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の画素ごとに、式（１１Ａ）により第１視点画像と第２視点画像間の差を拡大して視差を先鋭化する処理を行う。そして、第１修正視点画像と第２修正視点画像（複数の修正視点画像）を生成する。これにより、第１修正視点画像と第２修正視点画像（複数の修正視点画像）の瞳分割方向（ｘ軸方向）の実効的な絞り値Ｆを大きく、焦点深度を深く修正することができ、リフォーカス効果を向上させることができる。

【0127】

以下、図２３を参照して、シフト合成処理によるリフォーカスにおける、第１視点画像と第２視点画像（複数の視点画像）を先鋭化する（クロストーク補正、第１の先鋭化）処理の効果を説明する。図２３（Ａ）は、従来例における先鋭化（クロストーク補正、第１の先鋭化）前の第１視点画像と第２視点画像とのシフト合成処理によるリフォーカス画像の例を示す。

【0128】

瞳分割が緩やかで、第１視点画像と第２視点画像（複数の視点画像）の瞳分割方向（ｘ軸方向）の焦点深度が十分に深くない例である。人物（人形）の右目よりも、後ろに焦点が合った後ピン状態の撮像画像に対し、シフト合成処理によるリフォーカスを行っているが、人物（人形）の右目や、まつ毛、髪の毛などが小ボケ状態のままで、十分なリフォーカス効果が得られていない。

【0129】

一方、図２３（Ｂ）は、本実施例における先鋭化（クロストーク補正、第１の先鋭化）後の第１修正視点画像と第２修正視点画像とのシフト合成処理によるリフォーカス画像の例を示す。第１視点画像と第２視点画像間の差を拡大して視差を先鋭化する処理により、第１修正視点画像と第２修正視点画像（複数の修正視点画像）の瞳分割方向（ｘ軸方向）の実効的な絞り値Ｆが大きく、焦点深度が深く修正された例である。シフト合成処理によるリフォーカスにより、撮影後に、人物（人形）の右目や、まつ毛、髪の毛などに合わせてフォーカス位置が再修正され、リフォーカス効果が向上している。

【0130】

また、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２の瞳分割方向（ｘ軸方向）２分割の本実施例のように、瞳分割数が少なく、視点画像数が少ない場合、以下のことがおこる場合がある。すなわち、シフト合成処理によるリフォーカスにおいて、ボケ量（像ずれ量）を増加させる領域で、人工的な２線ボケが生じて被写体の境界が２重となり、画像品位が低下する場合がある。

【0131】

したがって、本実施例では、シフト合成処理によるリフォーカスにおいて、第１視点画像と第２視点画像（複数の視点画像）に対し、以下の処理を行う。第１の強度パラメーター分布（像ずれ差分量分布）が０未満（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の画素ごとに、式（１１Ｂ）により、第１視点画像と第２視点画像（複数の視点画像）間の差を縮小して視差を平滑化する処理を行う。そして、第１修正視点画像と第２修正視点画像（複数の修正視点画像）を生成する。これにより、ボケ量（像ずれ量）を増加させる領域で、人工的な２線ボケの発生を抑制し、画質品位を良好に保持して、シフト合成処理によるリフォーカスを行うことができる。

【0132】

［シャープ／アンシャープ制御］
図９のステップＳ８で、第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）より生成されたシフト合成画像（中間画像）に対し、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じた第２の先鋭化および第２の平滑化の処理を行う。この処理によって、撮影後に、先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ／アンシャープ制御された出力画像を生成する。

【0133】

本実施例では、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、第２の先鋭化処理を行う。一方、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、第２の平滑化処理を行う。そして、出力画像を生成する。

【0134】

図９のステップＳ８において、まず、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、第２の先鋭化処理、もしくは、第２の平滑化処理の強さを指定する第２の強度パラメーターｋ_ＵＳＭ≧０を設定する。

【0135】

ステップＳ８において、次に、２次元ローパスフィルタ｛Ｆ_ＬＰＦ（ｊ_ＬＰＦ、ｉ_ＬＰＦ）｜−ｎ_ＬＰＦ≦ｊ_ＬＰＦ≦ｎ_ＬＰＦ、−ｍ_ＬＰＦ≦ｉ_ＬＰＦ≦ｍ_ＬＰＦ｝を、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に作用させる。式（１７）により、アンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）を算出する。２次元ローパスフィルタＦ_ＬＰＦ（ｊ_ＬＰＦ、ｉ_ＬＰＦ）には、例えば、^ｔ［１、０、２、０、１］×［１、０、２、０、１］などの２次元フィルタを用いることができる。必要に応じて、２次元ガウシアン分布などを用いても良い。

【数17】

【0136】

ステップＳ８において、最後に、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、式（１８）により、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、アンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）を作用させて、第２の先鋭化、まらは第２の平滑化処理を行う。そして、出力画像であるリフォーカス画像Ｉ_ＲＦ（ｊ，ｉ）を生成する。

【数18】

【0137】

式（１８）は、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、以下の処理を表す。すなわち、正係数ｋ_ＵＳＭ×Ｍ_ＤＩＦＦ（ｊ，ｉ）が乗算されたアンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）により、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）を、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の大きさに応じて先鋭化する（第２の先鋭化）処理である。

【0138】

一方、式（１８）は、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、以下の処理を表す。すなわち、負係数ｋ_ＵＳＭ×Ｍ_ＤＩＦＦ（ｊ，ｉ）が乗算されたアンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）により、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）を、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の大きさに応じて平滑化する（第２の平滑化）処理である。

【0139】

シフト合成処理によるリフォーカスでは、ＬＦデータを用いて光学的な原理に基づいたリフォーカスを行うことができる。シフト合成処理によるリフォーカスは、像ずれ差分量分布を検出できない領域に対しても、処理を行うことができる利点がある。しかしながら、本実施例（Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２）の瞳分割のように、瞳分割方向がｘ軸方向（ｙ軸方向）の１方向のみである場合、以下の場合がある。すなわち、瞳分割方向のｘ軸方向（ｙ軸方向）にはリフォーカス効果が得られるが、瞳分割方向と直交するｙ軸方向（ｘ軸方向）には、リフォーカス効果が十分に得られない場合がある。一方、像ずれ差分量分布に応じた先鋭化と平滑化によるボケの制御では、瞳分割方向に関係なくリフォーカス効果を得ることができる。したがって、本実施例では、シフト合成処理によるリフォーカスと、像ずれ差分量分布に応じた先鋭化と平滑化によるボケの制御と、を組み合わせたリフォーカス処理を行う。これにより、瞳分割方向と直交する方向に対しても、リフォーカス効果を得ることができる。

【0140】

以上のように本実施例では、複数の修正視点画像の合成画像Ｉ_Ｓ（ｊ，ｉ）に、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理を行い、出力画像を生成する。

【0141】

必要に応じて、シフト合成処理によるリフォーカスである図８のステップＳ５〜ステップＳ７の処理を省略し、撮像画像Ｉ（ｊ、ｉ）に、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理を行い、出力画像を生成しても良い。コントラスト分布および像ずれ量分布に応じた画像処理は、必要に応じて、先鋭化の処理、平滑化の処理、もしくは、これらの組み合わせ処理のいずれでも良い。

【0142】

本実施例では、式（７Ａ）、式（７Ｂ）、式（９）、式（１７）、式（１８）より、次の領域に対して画像処理が強く行われる。すなわち、視点画像毎のコントラスト間の差が大きい領域よりコントラスト間の差が小さい領域の方が、複数の修正視点画像の合成画像（または、撮像画像）への先鋭化や平滑化などの画像処理が強く行われる。また、コントラスト分布が、小さい領域より、大きい領域の方が、複数の修正視点画像の合成画像（もしくは、撮像画像）への先鋭化や平滑化などの画像処理が強く行われる。

【0143】

本実施例では、式（９）、式（１７）、および式（１８）より、像ずれ量分布の所定シフト量（基準）からの差が小さい領域は、先鋭化の処理を行い、差が大きい領域は、平滑化の処理を行う。本実施例では、式（９）、式（１７）、および式（１８）より、像ずれ量分布の所定シフト量からの差が大きい領域より、差が小さい領域の方が、先鋭化の処理が強く行われる。本実施例では、式（９）、式（１７）、および式（１８）より、像ずれ量分布の所定シフト量からの差が小さい領域より、差が大きい領域の方が、平滑化の処理が強く行われる。

【0144】

以下、本実施例の発明の効果について説明する。
遠近競合やオクルージョンを生じている領域など、空間周波数成分が大きく異なる複数の被写体像が混成している領域に、先鋭化や平滑化などの画像処理を強く行うと、画質品位が低下する場合がある。

【0145】

これに対して、本実施例では、第１に、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）から、式（７Ａ）により、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を生成する。そして、空間周波数成分が大きく異なる複数の被写体像が混成している領域の検出を行う。コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）は、［０、１］の範囲の分布で、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では０の値に近づく分布である。また、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では１の値に近づく分布である。

【0146】

本実施例では、第２に、生成されたコントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、式（７Ｂ）により、複数の視点画像から得られる合成画像のコントラスト分布である撮像コントラスト分布Ｃ（ｊ，ｉ）に、かけ合わせる。これにより、空間周波数成分が大きく異なる複数の被写体像が混成している領域での値を０近傍に抑制したコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を生成する。

【0147】

本実施例では、第３に、生成されたコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）に基づき、複数の視点画像や、これらの合成画像に対して、空間周波数成分が異なる被写体像の混成が多い領域では、先鋭化や平滑化などの画像処理を相対的に弱めて行う。また、空間周波数成分が異なる被写体像の混成が少ない領域では、先鋭化や平滑化などの画像処理を相対的に強めて行う。したがって、本実施例では、これらの構成により、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。

【0148】

また、低輝度領域に、先鋭化や平滑化などの画像処理を強く行うと、画質品位が低下する場合がある。本実施例では、式（６Ａ）１行目、および、式（７Ｂ）により、低輝度閾値Ｙｍｉｎより小さい場合、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が０に設定される。よって、本実施例のコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）は、撮像画像の輝度が高い領域の方が、輝度が低い領域より、コントラストが高い。低輝度領域での画質品位を良好に保持するには、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）に基づき複数の視点画像やこれらの合成画像に対して、輝度が低輝度閾値Ｙｍｉｎより小さい領域では、先鋭化や平滑化などの画像処理を相対的に弱めて行うことが望ましい。また、輝度が低輝度閾値Ｙｍｉｎ以上の領域では、先鋭化や平滑化などの画像処理を相対的に強めて行う、ことが望ましい。

【0149】

以下、図２４を参照して、本実施例の図９に示したリフォーカス処理（シフト合成処理によるリフォーカス、被写界深度の修正処理、像ずれ差分量分布に応じた先鋭化と平滑化によるボケの制御）の効果を説明する。図２４（Ａ）は、従来のリフォーカス処理前の撮像画像の例を示す。人物（人形）の右目よりも、後ろに焦点が合った後ピン状態の撮像画像の例である。図２４（Ｂ）は、本実施例のリフォーカス処理後のリフォーカス画像の例を示す。本実施例のリフォーカスにより、撮影後に、画質品位を良好に保持して、人物（人形）の左右の目や、まつ毛、髪の毛などに合わせてフォーカス位置が再修正されている。

【0150】

以上のように本実施例の画像処理方法は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像処理方法である。この画像処理方法では、入力画像から、異なる瞳部分領域毎に、複数の視点画像を生成し、入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。そして、撮像画像と複数の視点画像からコントラスト分布を生成し、複数の視点画像から像ずれ量分布を生成する。さらに、撮像画像、複数の視点画像、またはこれらの合成画像の少なくとも１つに、コントラスト分布および像ずれ量分布に応じた画像処理を行い、出力画像を生成する。

【0151】

本実施例の画像処理装置は、上記の画像処理方法を行う画像処理手段を有する画像処理装置である。

【0152】

本実施例の撮像装置は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子と、上記の画像処理方法を行う画像処理手段を有する撮像装置である。

【0153】

本実施例の構成により、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。

【0154】

［第２の実施例］
次に、本発明の第２の実施例を説明する。なお、第１の実施例の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を中心に説明する。本実施例では、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）のデフォーカス量と像ずれ量の関係性を用いて、撮影後に、彩度を修正する処理を行う。

【0155】

以下、本実施例の撮像素子により取得されたＬＦデータ（入力画像）から、撮像画像に対して、撮影後に、彩度が修正された彩度修正画像（出力画像）を生成する画像処理方法について、図２５の彩度処理の流れの概略図を用いて説明する。

【0156】

図２５のステップＳ４の像ずれ差分量分布の生成までは、第１の実施例と同様である。

【0157】

［彩度修正処理］
図２５のステップＳ５で、撮像画像に対して、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、彩度強調および彩度低減の処理を行い、彩度が修正された出力画像を生成する。
本実施例では、撮像画像Ｉ（ｊ、ｉ）に対して、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、彩度強調処理を行う。一方、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、彩度低減処理を行う。そして、出力画像を生成する。

【0158】

図２５のステップＳ５において、まず、撮像画像Ｉ（ｊ、ｉ）のデモザイキング処理を行い、Ｌ^＊ａ^＊ｂ^＊表色系に変換し、明度Ｌ^＊（ｊ、ｉ）と、色相と彩度を示す色度ａ^＊（ｊ、ｉ）、ｂ^＊（ｊ、ｉ）を生成する。図２５のステップＳ５において、次に、撮像画像Ｉ（ｊ、ｉ）に対して、彩度修正処理の強さを指定する第３の強度パラメーター０≦ｋ_ａｂ＜１を設定する。

【0159】

図２５のステップＳ５において、最後に、色度ａ^＊（ｊ、ｉ）、ｂ^＊（ｊ、ｉ）に対して、式（１９Ａ）、式（１９Ｂ）により、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、彩度強調処理、または、彩度低減処理を行う。そして、彩度が修正された出力画像Ｌ^＊（ｊ、ｉ）、Ｍａ^＊（ｊ、ｉ）、Ｍｂ^＊（ｊ、ｉ）を生成する。

【数19】

【0160】

所定像ずれ量ｐ＝０と設定した場合、ボケている領域の彩度を低減し、フォーカスが合っている主被写体の彩度を強調することにより、主被写体をより際立たせる処理例である。

【0161】

本実施例では、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、彩度を修正する例を示したが、これに限定されず、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）に応じて、彩度を修正したり、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）に応じて、彩度を修正しても良い。

【0162】

遠景の彩度を相対的に低くして遠近感を強調するために、所定像ずれ量ｐより、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が小さく、相対的に奥行き奥側の領域では彩度を低減する処理を行っても良い。また、所定像ずれ量ｐより、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が大きく、相対的に奥行き手前側の領域では彩度を強調する処理を行っても良い。

【0163】

これとは逆に、遠景の彩度を相対的に高くして望遠レンズでの圧縮効果をより際立たせるために、所定像ずれ量ｐより、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が小さく、相対的に奥行き奥側の領域では彩度を強調する処理を行っても良い。また、所定像ずれ量ｐより、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が大きく、相対的に奥行き手前側の領域では彩度を低減する処理を行っても良い。

【0164】

以上のように本実施例の画像処理方法は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像処理方法である。この画像処理方法では、入力画像から、異なる瞳部分領域毎に、複数の視点画像を生成し、入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。そして、撮像画像と複数の視点画像からコントラスト分布を生成し、複数の視点画像から像ずれ量分布を生成する。さらに、撮像画像に、コントラスト分布および像ずれ量分布に応じて彩度を修正する画像処理を行い、出力画像を生成する。

【0165】

本実施例の構成により、画質品位を良好に保持して、彩度を修正する画像処理を行うことができる。

【0166】

［第３の実施例］
次に、本発明の第３の実施例を説明する。なお、第１の実施例の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を中心に説明する。

【0167】

本実施例における撮像素子の画素と副画素の配列の概略図を図２６に示す。図２６の左右方向をｘ軸方向（水平方向）とし、上下方向をｙ軸方向（垂直方向）とし、ｘ軸方向およびｙ軸方向に直交する方向（紙面に垂直な方向）をｚ軸方向（光軸方向）と定義する。図２６は、本実施例の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×８行の範囲で示したものである。

【0168】

本実施例では、図２６に示した２列×２行の画素群２００は、第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に配置されている。また、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は、ｘ軸方向に２分割（Ｎｘ分割）、ｙ軸方向に２分割（Ｎｙ分割）された分割数４（分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１から第４副画素２０４（第１副画素から第Ｎ_ＬＦ副画素）の複数の副画素により構成されている。

【0169】

図２６に示す例では、４列×４行の画素（８列×８行の副画素）を面上に多数配置することで、撮像画像および分割数４（分割数Ｎ_ＬＦ）の複数の視点画像を生成するための入力画像を取得可能である。本実施例の撮像素子では、画素の周期Ｐを４μｍ（マイクロメートル）とし、画素数Ｎを横５５７５列×縦３７２５行＝約２０７５万画素とする。また、副画素の周期Ｐ_Ｓを２μｍとし、副画素数Ｎ_Ｓを横１１１５０列×縦７４５０行＝約８３００万画素とする。

【0170】

図２６に示す撮像素子における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を図２７（Ａ）に示す。図２７（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図２７（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図２７（Ｂ）に示す。

【0171】

図２７（Ａ）および、図２７（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ軸方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ軸方向に２分割（Ｎｘ分割）、ｙ軸方向に２分割（Ｎｙ分割）された分割数４（分割数Ｎ_ＬＦ）の第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第Ｎ_ＬＦ光電変換部）の複数の光電変換部が形成されている。第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１から第４副画素２０４（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

【0172】

［多視点画像と撮像画像］
図９のステップＳ１で、本実施例の撮像素子により取得されたＬＦデータ（入力画像）から、結像光学系の異なる瞳部分領域毎に、複数の視点画像を生成し、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。ステップＳ１において、まず、本実施例の撮像素子により取得されたＬＦデータ（入力画像）を入力する。もしくは、予め本実施例の撮像素子により撮影され、記録媒体に保存されているＬＦデータ（入力画像）を用いても良い。

【0173】

ステップＳ１において、次に、結像光学系の異なる瞳部分領域毎に、第１副画素２０１から第４副画素２０４（第１視点画像から第Ｎ_ＬＦ視点画像）を生成する。ＬＦデータ（入力画像）をＬＦとする。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ副画素信号とする。結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ、ｉ）を、式（１）により生成する。

【0174】

本実施例は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割の例である。図２６に例示した画素配列に対応したＬＦデータ（入力画像）から、各画素毎に、４分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の中から特定の副画素の信号を選択する。よって、結像光学系の第１瞳部分領域から第４瞳部分領域（第Ｎ_ＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像から第４視点画像（第Ｎ_ＬＦ視点画像）を生成する。

【0175】

図９のステップＳ１において、次に、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（２）により生成する。

【0176】

本実施例は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割の例である。図２６に例示した画素配列に対応した入力画像（ＬＦデータ）から、各画素毎に、４分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成する。そして、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。

【0177】

［コントラスト分布］
図９のステップＳ２で、本実施例の撮像画像と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域毎に抽出して、コントラスト分布を生成する。本実施例のコントラスト分布は、視点画像間の差に応じた調整が行われる。ステップＳ２において、まず、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、撮像輝度信号Ｙを、式（３Ａ）により生成する。同様に、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点輝度信号Ｙｋを、式（３Ｂ）により生成する。

【0178】

ステップＳ２において、次に、空間周波数の高周波成分を抽出する２次元バンドパスフィルタを用いて、撮像輝度信号Ｙ（ｊ，ｉ）から、撮像高周波信号ｄＹ（ｊ，ｉ）を式（４Ａ）より生成する。２次元バンドパスフィルタを｛Ｆ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）｜−ｎ_ＢＰＦ≦ｊ_ＢＰＦ≦ｎ_ＢＰＦ、−ｍ_ＢＰＦ≦ｉ_ＢＰＦ≦ｍ_ＢＰＦ｝とする。同様に、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）を式（４Ｂ）より生成する。

【0179】

本実施例は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割の例である。ｘ軸方向（瞳分割方向）の１次元フィルタＦｘ（ｉ_ＢＰＦ）と、ｙ軸方向（瞳分割方向と直交する方向）の１次元フィルタＦｙ（ｊ_ＢＰＦ）との直積により、２次元バンドパスフィルタを構成する例を示す。すなわち、Ｆ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）＝Ｆｙ（ｊ_ＢＰＦ）×Ｆｘ（ｉ_ＢＰＦ）と構成する。瞳分割方向の１つであるｘ軸方向の１次元フィルタＦｘ（ｉ_ＢＰＦ）には、ｘ軸方向の空間周波数の高周波成分を抽出する。このため、例えば、０．５×［１、２、０、−２、−１］＋１．５×［１、０、−２、０、１］などの１次元バンドパスフィルタを用いることができる。

【0180】

同様に、瞳分割方向の１つであるｙ軸方向の１次元フィルタＦｙ（ｊ_ＢＰＦ）には、ｙ軸方向の空間周波数の高周波成分を抽出する。このため、例えば、０．５×［１、２、０、−２、−１］＋１．５×［１、０、−２、０、１］などの１次元バンドパスフィルタを用いることができる。本実施例では、２つの１次元フィルタの直積で構成される２次元バンドパスフィルタを例示したが、これに限定されず、一般的な２次元バンドパスフィルタを用いることができる。

【0181】

ステップＳ２において、次に、Ｙ_０＞０として、撮像高周波信号ｄＹ（ｊ，ｉ）を、撮像輝度信号Ｙ（ｊ，ｉ）により規格化した、規格化撮像高周波信号ｄＺ（ｊ，ｉ）を、式（５Ａ）により生成する。同様に、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）を、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）により規格化した、規格化第ｋ視点高周波信号ｄＺｋ（ｊ，ｉ）を、式（５Ｂ）により生成する。分母のＹ_０＞０との最大値判定は、０割を防止するためである。必要に応じて、式（５Ａ）、式（５Ｂ）での規格化前に、撮像輝度信号Ｙ（ｊ，ｉ）、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）に対して、高周波カット（ローパス）フィルタ処理を行い、高周波ノイズを抑制しても良い。

【0182】

ステップＳ２において、次に、低輝度閾値Ｙｍｉｎ、コントラスト最大閾値Ｃｍａｘ、指数γとして、撮像コントラスト分布Ｃ（ｊ，ｉ）を、式（６Ａ）により生成する。式（６Ａ）の１行目で、撮像輝度信号Ｙ（ｊ，ｉ）が、低輝度閾値Ｙｍｉｎより小さい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が０に設定される。式（６Ａ）の３行目で、規格化撮像高周波信号ｄＺ（ｊ，ｉ）が、コントラスト最大閾値Ｃｍａｘより大きい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が１に設定される。

【0183】

それ以外の場合は、式（６Ａ）の２行目で、撮像コントラスト分布Ｃ（ｊ，ｉ）は、規格化撮像高周波信号ｄＺ（ｊ，ｉ）をコントラスト最大閾値Ｃｍａｘで規格化してγ乗した値に設定される。以上のように、撮像コントラスト分布Ｃ（ｊ，ｉ）は、［０，１］（０以上１以下）の範囲内の値をとる。Ｃ（ｊ，ｉ）の値が、０に近いとコントラストが低く、１に近いとコントラストが高いことを示す。

【0184】

撮像コントラスト分布Ｃ（ｊ，ｉ）の０から１までのトーンカーブを調整するためにγ乗されている。低コントラスト側での変化を緩やかに、高コントラスト側での変化を急峻にするために、指数γは１．５以上２．５以下が望ましい。必要に応じて、定義域［０，１］から値域［０，１］への関数Ｆ：［０，１］→［０，１］を用いて、合成関数Ｆ（Ｃ（ｊ，ｉ））を撮像コントラスト分布としても良い。同様に、第ｋ視点コントラスト分布Ｃｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）を、式（６Ｂ）により生成する。

【0185】

本実施例では、ステップＳ２において、次に、空間周波数成分が異なる複数被写体像の混成領域を検出する。このために、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）から第４視点コントラスト分布Ｃ_４（ｊ，ｉ）を用いて、式（２０）により、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を生成する。次に、式（７Ｂ）により、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、かけ合わせる。これにより、空間周波数成分が異なる複数被写体像の混成領域での値を０近傍に抑制したコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を生成する。

【数20】

【0186】

コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）は、［０、１］の範囲の分布で、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では０の値に近づく分布である。また、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では１の値に近づく分布である。コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）は、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、かけ合わせた分布であり、よって、空間周波数成分が異なる複数被写体像の混成領域での値を０近傍に抑制した分布である。

【0187】

図９のステップＳ３以降は、第１の実施例と同様の処理である。本実施例の構成により、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。なお、撮像素子の各画素部における光電変換部については、分割数をさらに多くした実施形態（例えば、Ｎｘ＝３、Ｎｙ＝３、Ｎ_ＬＦ＝９の９分割や、Ｎｘ＝４、Ｎｙ＝４、Ｎ_ＬＦ＝１６の１６分割など）が可能である。

【0188】

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】