特許 6021622 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6021622

(24)【登録日】2016年10月14日

(45)【発行日】2016年11月9日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 5/357 20110101AFI20161027BHJP

【ＦＩ】

   H04N5/335 570

【請求項の数】9

【全頁数】20

(21)【出願番号】特願2012-268097(P2012-268097)

(22)【出願日】2012年12月7日

(65)【公開番号】特開2014-116724(P2014-116724A)

(43)【公開日】2014年6月26日

【審査請求日】2015年11月12日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100088683

【弁理士】

【氏名又は名称】中村 誠

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100095441

【弁理士】

【氏名又は名称】白根 俊郎

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100119976

【弁理士】

【氏名又は名称】幸長 保次郎

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100172580

【弁理士】

【氏名又は名称】赤穂 隆雄

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(74)【代理人】

【識別番号】100134290

【弁理士】

【氏名又は名称】竹内 将訓

(72)【発明者】

【氏名】岡澤 淳郎

(72)【発明者】

【氏名】宮野 俊樹

(72)【発明者】

【氏名】小柴 修

(72)【発明者】

【氏名】最上 康太

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２０１１−１９７０８０（ＪＰ，Ａ）

【文献】 特開２００７−２８２１０９（ＪＰ，Ａ）

【文献】 特開２００４−２２８９３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０−５／３７８

(57)【特許請求の範囲】

【請求項1】

位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理装置であって、
前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を検出する第１の画素出力変化検出部と、
前記第１の画素出力変化検出部が画素出力の変化を検出した位相差検出画素と撮像画素とのそれぞれの近傍に位置する撮像画素の間の画素出力の変化を検出する第２の画素出力変化検出部と、
前記第１の画素出力変化検出部及び第２の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を補正する画素補正部と、
を具備することを特徴とする画像処理装置。

【請求項2】

前記第２の画素出力変化検出部が画素出力の変化を検出する複数の撮像画素は、同色であることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第２の画素出力変化検出部が画素出力の変化を検出する複数の撮像画素のうちの一方は前記第１の画素出力変化検出部が画素出力の変化を検出した位相差検出画素に隣接し、他方は前記第１の画素出力変化検出部が画素出力の変化を検出した撮像画素に隣接していることを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記第１の画素出力変化検出部が画素出力の変化を検出した位相差検出画素と前記一方の撮像画素との距離と前記第１の画素出力変化検出部が画素出力の変化を検出した撮像画素と前記他方の撮像画素との距離とが等しいか又はそれよりも長いことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記位相差の検出方向と異なる方向に位置して前記位相差検出画素と異なる色の複数の撮像画素間の画素出力の変化を検出する第３の画素出力変化検出部をさらに具備し、
前記画素補正部は、前記第１の画素出力変化検出部及び第２の画素出力変化検出部の結果に加えて、前記第３の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を補正することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。

【請求項6】

前記第３の画素出力変化検出部が画素出力の変化を検出する複数の撮像画素は何れも前記位相差検出画素に隣接していることを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記第３の画素出力変化検出部が画素出力の変化を検出する複数の撮像画素は、前記位相差検出画素を挟んで対向する位置にあるか又は前記位相差検出画素を挟んで等距離か又はそれよりも長距離の位置にあることを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記位相差の検出方向と異なる方向は、前記位相差の検出方向と直交する方向であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。

【請求項9】

位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理方法であって、
第１の画素出力変化検出部が、前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を検出し、
第２の画素出力変化検出部が、前記第１の画素出力変化検出部が画素出力の変化を検出した位相差検出画素と撮像画素とのそれぞれの近傍に位置する撮像画素の間の画素出力の変化を検出し、
画素補正部が、前記第１の画素出力変化検出部及び第２の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を補正する、
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一部の画素を位相差方式の位相差検出用素子として利用して焦点状態を検出する撮像素子の画素出力を処理する画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

撮像素子の一部の画素を位相差検出用素子として利用して焦点状態を検出する撮像装置に関する提案が例えば特許文献１においてなされている。特許文献１は、撮像素子の一部の画素を位相差検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の位相差検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。

【0003】

ここで、位相差検出画素は、撮影レンズの異なる瞳領域を通過した被写体光束の一方を受光できるように例えば一部の領域が遮光されている。このため、位相差検出画素は、そのままでは画像として使用できない欠損画素となる。したがって、特許文献２に開示された撮像装置では、位相差検出画素の画素出力を、ゲイン調整したり、周辺の画素を用いて補間したりすることにより、記録や表示に利用可能としている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３５９２１４７号公報

【特許文献2】特開２０１０−０６２６４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、位相差検出画素に入射する光の量は、入射する光の角度、位相差検出画素に形成された遮光幕の位置の他、像高によっても異なる。さらに、位相差検出画素に入射する光の角度は、撮影レンズ等の光学系の製造ばらつきや撮像素子の前面に配置されるマイクロレンズの製造ばらつきによっても異なる。ゲイン調整の精度を高めるためには、位相差検出画素毎の光量の低下量を正しく検出し、検出した低下量に応じてゲイン調整量を設定することが望ましい。

【0006】

本発明は、前記の事情に鑑みてなされたもので、位相差検出画素を有する撮像素子からの画素出力を処理する画像処理装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理装置であって、前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を検出する第１の画素出力変化検出部と、前記第１の画素出力変化検出部が画素出力の変化を検出した位相差検出画素と撮像画素とのそれぞれの近傍に位置する撮像画素の間の画素出力の変化を検出する第２の画素出力変化検出部と、前記第１の画素出力変化検出部及び第２の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を補正する画素補正部と、を具備することを特徴とする。

【0008】

また、前記の目的を達成するために、本発明の第２の態様の画像処理方法は、位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理方法であって、第１の画素出力変化検出部が、前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を検出し、第２の画素出力変化検出部が、前記第１の画素出力変化検出部が画素出力の変化を検出した位相差検出画素と撮像画素とのそれぞれの近傍に位置する撮像画素の間の画素出力の変化を検出し、画素補正部が、前記第１の画素出力変化検出部及び第２の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を補正する、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、位相差検出画素を有する撮像素子からの画素出力を処理する画像処理装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置及び画像処理方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。

【図2】画像処理部の詳細な構成を示す図である。

【図3】撮像素子の画素配列を示した図である。

【図4】図４（ａ）は撮像画素における像の結像状態を示す図であり、図４（ｂ）は位相差検出画素における像の結像状態を示す図である。

【図5】撮像装置による動画記録動作の処理を示すフローチャートである。

【図6】画素補正処理の詳細を示したフローチャートである。

【図7】レベル変化検出処理、周波数変化検出処理、絵柄変化検出処理について説明するための図である。

【図8】変形例１のレベル変化検出処理、周波数変化検出処理、絵柄変化検出処理について説明するための図である。

【図9】変形例２について説明するための図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としてのデジタルカメラ（以下、単にカメラと言う）の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。

【0012】

図１に示すカメラ１は、撮影レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２１と、撮像制御回路２３と、Ａ−ＡＭＰ２５と、アナログデジタル変換器（ＡＤＣ）２７と、ＣＰＵ（Central Processing Unit）２９と、画像処理部３１と、焦点検出回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、ＤＲＡＭ（Dynamic Random Access Memory）４１と、ＲＯＭ（Read Only Memory）４３と、記録媒体４５と、を有する。

【0013】

撮影レンズ１１は、被写体１００からの像を撮像素子２１に形成するための単一又は複数のレンズから構成された光学系である。撮影レンズ１１は、単焦点レンズでもズームレンズでも良い。

【0014】

絞り１３、撮影レンズ１１の光軸上に配置され、その口径が可変に構成されている。絞り１３は、撮影レンズ１１を通過した被写体１００からの光束の量を制限する。

【0015】

メカシャッタ１５は、絞り１３の後方に配置され、開閉自在に構成されている。メカシャッタ１５は、その開放時間を調節することにより、撮像素子２１への被写体１００からの被写体光束の入射時間（撮像素子２１の露光時間）を調節する。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。

【0016】

駆動部１７は、ＣＰＵ２９からの制御信号に基づいて、撮影レンズ１１の焦点調節、絞り１３の開口径制御、及びメカシャッタ１５の開閉制御を行う。

【0017】

操作部１９は、電源釦、レリーズ釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部１９は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２９に出力する。ここで、本実施形態の操作部１９により、カメラ１の撮影モードを選択することが可能である。即ち、ユーザは、操作部１９に含まれる操作部材としての撮影モードダイヤルを操作することにより、カメラ１の撮影モードを静止画撮影モードと動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。ここではダイヤルで選択する例を示しているが、例えばメニュー画面上で例えばタッチパネルを操作して撮影モードを選択できるようにしても良い。

【0018】

撮像素子２１は、撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ撮影レンズ１１によって被写体光束が結像される位置に配置されている。撮像素子２１は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。ここで、本実施形態における撮像素子２１は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための位相差検出画素とを有する。

【0019】

撮像素子２１を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。

【0020】

ここで、本実施形態における撮像素子２１は、複数の異なる電荷の読み出し方式を有している。撮像素子２１に蓄積された電荷は、撮像制御回路２３からの制御信号に従って読み出される。

【0021】

また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。

【0022】

また、本実施形態においては、撮像画素の一部の位置に位相差検出画素を配置する。位相差検出画素として用いる画素は、他の画素と異なり、一部の領域を遮光する。撮像素子２１の詳細については後で詳しく説明する。

【0023】

撮像制御回路２３は、ＣＰＵ２９からの制御信号に従って、撮像素子２１の読み出し方式を設定し、設定した読み出し方式に従って撮像素子２１からの画像信号の読み出しを制御する。撮像素子２１からの画素データの読み出し方式は、カメラ１の動作状態に応じて設定されるものである。例えば、撮像素子２１からの画素データの読み出しにリアルタイム性が求められる場合（例えばライブビュー表示時や動画記録時）には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、リアルタイム性よりも画質が求められる場合（例えば静止画像の記録時）には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。

【0024】

Ａ−ＡＭＰ２５は、撮像素子２１から出力された画像信号のアナログゲイン調整を行う。

【0025】

ＡＤＣ２７は、アナログデジタル変換器であり、Ａ−ＡＭＰ２５によってアナログゲイン調整された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。

【0026】

ＣＰＵ２９は、後述するＲＯＭ４３に記憶されているプログラムに従って、カメラ１の全体制御を行う。

【0027】

画像処理部３１は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部３１は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部３１は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部３１の詳しい構成については後で詳しく説明する。

【0028】

焦点検出回路３３は、位相差検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ１１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。

【0029】

ビデオエンコーダ３５は、画像処理部３１によって生成されＤＲＡＭ４１に一時記憶された表示用画像データを読み出し、読み出した表示用画像データを表示部３７に出力する。

【0030】

表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ１の背面等に配置される。この表示部３７は、ビデオエンコーダ３５から入力されてきた表示用画像データに従って画像を表示する。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。

【0031】

バス３９は、ＡＤＣ２７、ＣＰＵ２９と、画像処理部３１と、焦点検出回路３３、ビデオエンコーダ３５、ＤＲＡＭ４１、ＲＯＭ４３、記録媒体４５に接続され、これらのブロックで発生した各種のデータが転送される。

【0032】

ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ２９における処理データといった各種データを一時的に記憶する。なお、一時記憶用としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を用いても良い。

【0033】

ＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用するプログラム、カメラ１の調整値等の各種データを記憶している。

【0034】

記録媒体４５は、カメラ１に内蔵又は装填自在に構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。

【0035】

図２は、本実施形態に係る画像処理装置の一例としての画像処理部３１の詳細な構成を示す図である。図２では、画像処理部３１以外のブロックについては図示を省略している。

【0036】

画像処理部３１は、ホワイトバランス（ＷＢ）補正処理部３１１と、レベル変化検出部３１２と、周波数変化検出部３１３と、絵柄変化検出部３１４と、画素補正部３１５と、同時化処理部３１６と、輝度特性変換部３１７と、エッジ強調処理部３１８と、ノイズ低減（ＮＲ）処理部３１９と、色再現処理部３２０と、を有している。この他、図示を省略しているが、画像処理部３１は、圧縮伸張処理部等も有している。

【0037】

ＷＢ補正処理部３１１は、撮像Ｗデータの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正する。

【0038】

第１の画素出力検出部として機能するレベル変化検出部３１２は、位相差検出画素とその近傍の撮像画素との間の画素出力の変化（画素データの値の比又は画素データの値の差）を検出する。第３の画素出力検出部として機能する周波数変化検出部３１３は、各位相差検出画素に対して、各位相差検出画素の位相差検出の方向と異なる方向に位置する複数の撮像画素の画素出力の変化を検出する。第２の画素出力検出部として機能する絵柄変化検出部３１４は、レベル変化を検出した位相差検出画素とその近傍の撮像画素とのそれぞれの近傍に位置する撮像画素間の画素出力の変化を検出する。画素補正部３１５は、レベル変化検出部３１２の検出結果、周波数変化検出部３１３の検出結果、及び絵柄変化検出部３１４の検出結果を用いて、位相差検出画素の画素データを補正する。これらのレベル変化検出部３１２、周波数変化検出部３１３、絵柄変化検出部３１４、画素補正部３１５については後で詳しく説明する。

【0039】

同時化処理部３１６は、例えばベイヤ配列に対応して撮像素子２１を介して出力される撮像データ等の、１つの画素が１つの色成分に対応している撮像データを、１つの画素が複数の色成分に対応している画像データに変換する。

【0040】

輝度特性変換部３１７は、同時化処理部３１６で生成された画像データの輝度特性を、表示や記録に適するように変換する。

【0041】

エッジ強調処理部３１８は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。

【0042】

ＮＲ処理部３１９は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。

【0043】

色再現処理部３２０は、画像の色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。このカラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部３２０は、彩度・色相の補正を行う。

【0044】

図３を用いて、撮像素子２１の構成について説明する。図３は、撮像素子２１の画素配列を示した図である。また、図３の右側には、一部の画素を拡大して示している。図３は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

【0045】

前述したように、ベイヤ配列の撮像素子２１は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。言い換えれば、ベイヤ配列の撮像素子２１は、右側の拡大図で示すＧｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。

【0046】

本実施形態においては、一部の撮像画素２１ａの位置に位相差検出画素２１ｂを配置する。位相差検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図３の例では、左半面を遮光した位相差検出画素（以下、右開口位相差検出画素と言う）の行と、右半面を遮光した位相差検出画素（以下、左開口位相差検出画素と言う）の行とを垂直方向に沿って近接するように配置している。

【0047】

高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えることができる。したがって、図３に示すようにして位相差検出画素を配置することにより、図３のＡ行の位相差検出画素とＢ行の位相差検出画素の対で位相差を検出することができる。また、Ｃ行の位相差検出画素とＤ行の位相差検出画素の対でも位相差を検出することができる。

【0048】

ここで、図３の例では、位相差検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の１/２でなくとも良い。さらに、図３では位相差検出画素をＧ画素に配置しているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置するようにしても良い。

【0049】

また、図３の例は、位相差検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、位相差検出画素は、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できれば良い。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしても良い。

【0050】

図３に示したような撮像素子を用いた位相差法による焦点検出の原理について図４を参照して説明する。ここで、図４（ａ）は、撮像画素２１ａにおける像の結像状態を示す。また、図４（ｂ）は、位相差検出画素２１ｂにおける像の結像状態を示す。

【0051】

被写体が点光源であるとすると、撮影レンズ１１が合焦状態であるとき、被写体から出射され、撮影レンズ１１の光軸中心に対して対称な異なる瞳領域を通過した対をなす被写体光束は撮像素子２１上の同一の位置に結像する。

【0052】

一方、撮影レンズ１１が非合焦状態であるとき、被写体から出射され、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束は、撮像素子２１上の異なる位置に結像する。言い換えれば、これらの対をなす被写体光束によって形成される像の間には位相差が生じる。この位相差を、右開口位相差検出画素と左開口位相差検出画素とでそれぞれ検出される像の相関関係から検出することにより、撮影レンズ１１のデフォーカス量及びデフォーカス方向を検出する。

【0053】

ここで、位相差検出画素２１ｂは、一部の領域が遮光されているので、光量の低下が発生する。この光量の低下は、位相差検出画素２１ｂに形成された遮光幕の面積の他、遮光幕の位置、位相差検出画素２１ｂに入射する光の角度、像高によっても異なるものである。このような光量の低下を後述の画素補正処理によって補正する。

【0054】

以下、本実施形態の撮像装置の具体的な動作を説明する。図５は、撮像装置による動画記録（動画撮影）動作の処理を示すフローチャートである。動画記録動作は、例えば動画撮影モード中にレリーズ釦が押された場合に開始される。また、図５に示すフローチャートの処理は、ＲＯＭ４３に記憶されているプログラムに従って、ＣＰＵ２９が実行する。なお、図５は、動画記録動作を示しているが、本実施形態に係る画像処理方法は、静止画記録動作に対しても適用可能である。

【0055】

図５のフローチャートの動作が開始されると、ＣＰＵ２９は、撮像データの取り込みを開始する（ステップＳ１０１）。ここでは、ＣＰＵ２９は、撮像制御回路２３に現在の動作モードに応じた設定データを入力する。この設定データに従って撮像制御回路２３は、撮像素子２１からの画素データの読み出しを制御する。撮像制御回路２３に読み出し方式が設定されると、撮像制御回路２３に設定された読み出し方式に従って、撮像素子２１から画素混合又は画素間引きされた状態の画像信号が読み出される。撮像素子２１から読み出された画像信号は、ＡＤＣ２７においてデジタル化された後、撮像データとしてＤＲＡＭ４１に一時記憶される。

【0056】

次に、ＣＰＵ２９は、焦点検出処理を行う（ステップＳ１０２）。ここでは、ＣＰＵ２９は、焦点検出回路３３に焦点検出処理を実行させる。焦点検出処理の実行指示を受けて、焦点検出回路３３は、ＤＲＡＭ４１に一時記憶された撮像データの中から、位相差検出画素に対応した画素データを読み出し、この画素データを用いて公知の位相差法によって撮影レンズ１１のデフォーカス方向及びデフォーカス量を算出する。

【0057】

次に、ＣＰＵ２９は、レンズ駆動を行う（ステップＳ１０３）。ここでは、ＣＰＵ２９は、ステップＳ１０２において焦点検出回路３３により検出された撮影レンズ１１のデフォーカス方向及びデフォーカス量に基づいて駆動部１７を制御し、撮影レンズ１１を合焦させる。

【0058】

次に、ＣＰＵ２９は、画素補正処理を行う（ステップＳ１０４）。ここでは、ＣＰＵ２９は、画像処理部３１に画素補正処理を実行させる。画素補正処理については後で詳しく説明する。

【0059】

次に、ＣＰＵ２９は、画像処理を行う（ステップＳ１０５）。ここでは、ＣＰＵ２９は、ステップＳ１０４の画素補正処理の結果として得られた撮像データに対する画像処理（同時化処理以降の処理）を実行させる。画像処理に用いる処理パラメータは記録用のものを用いる。記録用の処理パラメータは、例えばＲＯＭ４３に予め記憶されているものである。

【0060】

次に、ＣＰＵ２９は、画像処理の結果としてＤＲＡＭ４１に一時記憶された画像データを記録媒体４５に記録する（ステップＳ１０６）。

【0061】

次に、ＣＰＵ２９は、動画記録を停止させるか否かを判定する（ステップＳ１０７）。ここでは、ＣＰＵ２９は、操作部１９のレリーズ釦の操作状態を判定する。即ち、レリーズ釦が再び押された場合に、ＣＰＵ２９は、動画記録を停止させると判定する。

【0062】

ステップＳ１０７において、動画記録を停止させないと判定した場合に、ＣＰＵ２９は、処理をステップＳ１０１に戻し、動画記録を続行する。一方、ステップＳ１０７において、動画記録を停止させると判定した場合に、ＣＰＵ２９は、図５の処理を終了させる。

【0063】

図６は、画素補正処理の詳細を示したフローチャートである。画素補正処理は、画像処理部３１のレベル変化検出部３１２、周波数変化検出部３１３、絵柄変化検出部３１４、画素補正部３１５が主体となって行われる処理である。ここで、図２で示す画像処理部３１の場合、画素補正処理に先立って、ＷＢ補正処理部３１１によるＷＢ補正処理が行われるが、図６では図示を省略している。なお、ＷＢ補正処理は、画素補正処理の後に行うようにしても良い。

【0064】

図６のフローチャートの動作が開始されると、レベル変化検出部３１２は、撮像データに対してレベル変化検出処理を実行する（ステップＳ２０１）。

【0065】

位相差検出画素は、一部の領域が遮光されているので、前述したような光量の低下が発生する。レベル変化検出処理は、位相差検出画素の画素出力とその近傍の同色の撮像画素の画素出力の変化（画素データの値の比又は差）を検出することにより、位相差検出画素における光量の低下量（レベル変化）を検出する処理である。ここで、本実施形態においては、位相差検出画素の近傍の同色の撮像画素のうち、位相差の検出方向と異なる方向の撮像画素との画素データの値の比又は差を検出する。

【0066】

例えば、図７（ａ）に示すようにして、撮像素子２１の水平方向に沿って位相差検出画素が配置される場合のレベル変化検出処理について説明する。

【0067】

位相差検出画素２１ｂは、図７（ａ）のハッチングを施した領域（以下、アイランド領域と言う）に配置される。各アイランド領域には、右開口位相差検出画素と左開口位相差検出画素との対がｎ個配置される。以下の説明においては、右開口位相差検出画素と左開口位相差検出画素とは、図３と同様に、Ｇｒ画素に配置されているものとする。

【0068】

また、図７（ａ）に示すように、撮像素子２１の水平方向をｘ軸と定義する。そして、各アイランド領域における位相差検出画素の水平方向の開始ｘ座標をstart_xと定義する。なお、start_xは、右開口位相差検出画素のものと左開口位相差検出画素ものとがそれぞれ定義される。

【0069】

図７（ｂ）は、図７（ａ）のアイランド領域内の画素の拡大図である。例えば、図７（ｂ）に示す画素のうち、右開口位相差検出画素Ｇｒ２及び左開口位相差検出画素Ｇｒ３に対してレベル変化検出処理を実行するとする。このとき、右開口位相差検出画素Ｇｒ２及び左開口位相差検出画素Ｇｒ３による位相差検出方向である水平方向と異なる方向、即ち右開口位相差検出画素Ｇｒ２及び左開口位相差検出画素Ｇｒ３に対して垂直方向の近傍の同色の撮像画素との画素データの値の比又は差を検出する。したがって、右開口位相差検出画素Ｇｒ２については、図７（ｂ）の矢印３で示す、右開口位相差検出画素Ｇｒ２と同列の近傍の撮像画素Ｇｒ１との画素出力の比を検出する。また、左開口位相差検出画素Ｇｒ３については、図７（ｂ）の矢印４で示す、左開口位相差検出画素Ｇｒ３と同列の近傍の撮像画素Ｇｒ１との画素データの値の比又は差を検出する。

【0070】

このようなレベル変化検出処理により、各位相差検出画素に形成された遮光幕の面積、遮光幕の位置、位相差検出画素に入射する光の角度、像高の影響を考慮した撮像画素に対する位相差検出画素の光量の低下量を検出することが可能である。ただし、レベル変化検出処理で検出される光量の低下量は、像（絵柄）自体の変化による光量の低下量も含んでいる可能性がある。これは、位相差検出画素の近傍の撮像画素であっても、必ずしも同じ像が結像しているとは限らないためである。したがって、レベル変化検出処理としては、位相差検出画素に対してなるべく近くの同色の撮像画素との間のレベル変化を検出することが望ましい。

【0071】

また、前述の例では、位相差検出画素と同列の撮像画素との間のレベル変化を検出している。これは、撮影レンズ１１の特性により生じる位相差検出画素への光の入射角度の違いに伴う、像高に対するレベル変化の傾向を見るためである。

【0072】

レベル変化検出処理の後、周波数変化検出部３１３は、周波数変化検出処理を実行する（ステップＳ２０２）。周波数変化検出処理は、位相差検出画素の近傍の空間周波数の変化の傾向を検出する処理である。ここで、本実施形態においては、位相差の検出方向と異なる方向の空間周波数の変化の傾向を検出する。

【0073】

周波数変化検出処理の具体的な処理としては、位相差検出画素の周囲の画素のうち、位相検出方向に沿った空間周波数が同じになる複数の画素の画素データの値の比又は差を検出する。図７（ｂ）の例の場合、位相差検出画素に対して垂直方向同列の画素は、位相差の検出方向である水平方向の空間周波数が同じになる。したがって、右開口位相差検出画素Ｇｒ２については、図７（ｂ）の矢印１で示す、位相差検出画素Ｇｒ２を挟むようにして配置される撮像画素Ｂ２と撮像画素Ｂ３との画素データの値の比又は差を検出する。また、左開口位相差検出画素Ｇｒ３については図示していないが、位相差検出画素Ｇｒ３を挟むようにして配置される撮像画素Ｂ３と撮像画素Ｂ４との画素データの値の比又は差を検出する。

【0074】

このような周波数変化検出処理により、位相差検出画素の周辺の垂直方向の空間周波数の変化を検出することが可能である。

【0075】

ここで、ベイヤ配列の場合、位相差検出画素を挟むように垂直方向に隣接して配置される２つの画素は、位相差検出画素とは異なる色の同色の撮像画素となる。しかしながら、これらの２つの画素は、必ずしも隣接している必要はなく、離れていても良い。また、位相差検出画素を挟むようにして対向するように配置されていれば、位相差検出画素からの距離が異なっていても良い。勿論、位相差検出画素からの距離が等しくても良い。

【0076】

また、垂直位相差を検出する位相差検出画素の場合には、垂直方向ではなく、水平方向に隣接する２つの画素の画素出力の比を検出する。

【0077】

周波数変化検出処理の後、絵柄変化検出部３１４は、絵柄変化検出処理を実行する（ステップＳ２０３）。

【0078】

絵柄変化検出処理の具体的な処理としては、レベル変化検出処理に用いられた位相差検出画素と撮像画素のそれぞれの近傍の同色画素間の画素データの値の比又は差を検出する。図７（ｂ）の例の場合、右開口位相差検出画素Ｇｒ２については、図７（ｂ）の矢印２で示す、右開口位相差検出画素Ｇｒ２の近傍の撮像画素Ｇｂ３と撮像画素Ｇｒ１の近傍の撮像画素Ｇｂ１との画素データの値の比又は差を検出する。また、左開口位相差検出画素Ｇｒ３については、左開口位相差検出画素Ｇｒ３の近傍の撮像画素Ｇｂ４と撮像画素Ｇｒ１の近傍の撮像画素Ｇｂ１との画素データの値の比又は差を検出する。

【0079】

このような絵柄変化検出処理では、レベル変化検出処理に用いられた位相差検出画素と撮像画素の近傍の撮像画素の画素出力の変化を検出している。これらのレベル変化検出処理に用いられた位相差検出画素と撮像画素の近傍の撮像画素であれば、ほぼ同じ像が結像されていると考えることができる。この場合、近傍の撮像画素間の画素出力の変化は、ほぼ像（絵柄）の変化によるものであると考えることが可能である。実際には、レベル変化検出処理に用いられた位相差検出画素と撮像画素の近傍の撮像画素であるので、空間周波数が高い場合には、誤差が生じる可能性がある。そこで、前述の周波数変化検出処理の検出結果から、絵柄変化検出処理の信頼性を判断する。

【0080】

ここで、図７（ｂ）の例では、絵柄変化検出処理において画素出力の比を検出する２つの撮像画素を位相差検出画素と同色の画素としている。しかしながら、これらの２つの撮像画素は、必ずしも位相差検出画素と同色である必要はない。ただし、これらの２つの撮像画素の色は同色であることが望ましい。また、画素出力の比を検出する２つの撮像画素とそれぞれの近傍の位相差検出画素との距離は等しいことが望ましいが、多少であれば距離が異なっていても良い。

【0081】

また、垂直位相差を検出する位相差検出画素の場合には、絵柄変化検出処理として、垂直方向ではなく、水平方向に隣接する複数の画素の画素出力の比を検出する。

【0082】

絵柄変化検出処理の後、画素補正部３１５は、レベル変化検出処理の検出の結果を補正するための重み係数Wをアイランド領域毎に算出する（ステップＳ２０４）。

【0083】

以下、重み係数Wの算出手法の一例ついて説明する。なお、この例では、右開口位相差検出画素についての重み係数Wを算出する例について説明する。一例の重み係数Wは、周波数変化検出処理の結果として得られる位相差検出画素の垂直方向同列の２つの同色の撮像画素の画素データの値の比が１に近いほど、１に近づく係数である。このような重み係数Wは、例えば以下の（式１）にようにガウス関数を用いて算出することが可能である。ここで、（式１）で示す重み係数Wは、同一のアイランド領域内の右開口位相差検出画素に対しては同一の値を適用することが可能である。

【数1】

ここで、（式１）のσは、標準偏差であって例えば設計時に任意に設定される。例えば、σ＝0.1とした場合、0.1を標準偏差としたガウス関数となる。（式１）のDif_Bは、周波数変化検出処理の結果として得られる位相差検出画素に対して垂直方向同列の２つの同色の撮像画素の画素データの値の比である。例えば、撮像画素Ｂ２の画素データの値をＢ２、撮像画素Ｂ３の画素データの値をＢ３とすると、周波数変化検出処理の結果Dif_Bは、以下の（式２）で与えられる。
Dif_B＝B2/B3 （式２）
なお、前述の例では、重み係数Wを、ガウス関数を用いて算出しているが、垂直方向同列の２つの同色の撮像画素の画素データの値の比が１に近いほど１に近づく係数を算出できるような手法であれば必ずしもガウス関数を用いて算出する必要はない。

【0084】

重み係数Wを算出した後、画素補正部３１５は、絵柄変化を考慮した撮像画素に対する位相差検出画素の光量低下量（レベル変化量）を算出する（ステップＳ２０５）。

【0085】

以下、レベル変化量の算出手法の一例を説明する。この例では、位相差検出画素と撮像画素とのレベル変化量の関係を、１次式で近似することとする。例えば、水平座標xの位置にある位相差検出画素の撮像画素に対するレベル変化量をyとすると、レベル変化量を表す１次式は、y＝ax＋bの形で表すことが可能である。また、このような１次式の傾きａ及び切片ｂは、例えば最小二乗法により、以下の（式３）で示すようにして与えられる。

【数2】

ここで、（式３）のDif_pRi(i＝start_x, start_x+1, …, n-1)は、レベル変化検出処理の結果と絵柄変化検出処理の結果から得られる、水平座標ｘに配置された右開口位相差検出画素とその近傍の撮像画素との画素データの値の比である。Dif_pRiは、以下の（式４）で与えられる。

【0086】

Dif_pRi＝1−{(Gr1/Gr2)−Dif_G} （式４）
（式４）のDif_Gは、絵柄変化検出処理の結果として得られるレベル変化検出処理に用いられた画素の近傍の２つの撮像画素間の画素データの値の比である。例えば、右開口位相差検出画素Ｇｒ２の例を示すと、Dif_Gは、以下の（式５）で与えられる。
Dif_G＝1−Gb1/Gb3 （式５）
（式４）において、撮像画素Ｇｒ１の画素データの値をＧｒ１、位相差検出画素Ｇｒ２の画素データの値をＧｒ２としている。（式４）は、レベル変化検出処理によって得られたレベル変化量から絵柄変化検出処理によって得られたレベル変化量を差し引いたものである。したがって、（式４）で示すレベル変化量は、位相差検出画素に入射する光の角度、像高の影響を考慮した撮像画素に対する位相差検出画素の光量の低下量となる。

【0087】

なお、前述の例では、レベル変化量と水平座標ｘとの関係を、１次式で近似しているが、高次式で近似しても良い。また、近似の手法も最小二乗法に限らず、ラグランジュ補間、スプライン補間等を用いても良い。

【0088】

水平座標ｘ毎のｙが算出された後、画素補正部３１５は、各位相差検出画素の画素出力を補正する（ステップＳ２０６）。例えば、レベル変化検出処理、周波数変化検出処理、及び絵柄変化検出処理で、画素出力の変化として画素データの値の比を検出した場合、（式３）で示すｙも画素データの値の比で表されるものとなる。したがって、画素出力の補正は、位相差検出画素の水平座標ｘに応じたｙをその位相差検出画素の画素データに乗じるゲイン調整をすれば良い。一方、レベル変化検出処理、周波数変化検出処理、及び絵柄変化検出処理で、画素出力の変化として画素データの値の差を検出した場合、（式３）で示すｙも画素データの値の差で表されるものとなる。したがって、画素出力の補正は、位相差検出画素の水平座標ｘに応じたｙをその位相差検出画素の画素データにオフセットさせるゲイン調整をすれば良い。

【0089】

以上説明したように、本実施形態においては、位相差検出画素とその近傍の撮像画素との画素出力の変化を実際に検出し、この検出結果に応じて各位相差検出画素のゲイン調整量を算出している。これにより、各位相差検出画素に形成された遮光幕の面積、遮光幕の位置、位相差検出画素に入射する光の角度、像高の影響を考慮したゲイン調整を行うことが可能である。

【0090】

また、本実施形態においては、単純に位相差検出画素とその近傍の撮像画素との画素出力の変化を検出するだけでなく、それぞれの画素の近傍の撮像画素間の画素出力の変化を検出し、その結果に応じてゲイン調整量を補正している。これにより、位相差検出画素と撮像画素とで異なる像が結像した場合の誤差をも補正することが可能である。

【0091】

さらに、本実施形態においては、位相差検出画素の周辺の空間周波数の変化を考慮して絵柄変化検出処理の結果を補正している。これにより、さらにゲイン調整の精度を高めることが可能である。ここで、周波数変化検出処理は、絵柄変化検出処理の信頼性を高めるためには必要ではあるが、周波数変化検出処理を省略しても良い。

【0092】

［変形例１］
以下、前述した実施形態の変形例について説明する。前述した実施形態は、位相差の検出方向が水平方向の場合の適用例である。これに対し、本実施形態は、位相差の検出方向が水平方向以外であっても適用可能である。ここでは、位相差の検出方向が垂直方向の場合、即ち位相差検出画素が上開口位相差検出画素と下開口位相差検出画素との対によって構成されている場合のレベル変化検出処理、周波数変化検出処理、絵柄検出処理について説明する。

【0093】

位相差検出画素２１ｂは、図８（ａ）のハッチングを施したアイランド領域に配置される。各アイランド領域には、上開口位相差検出画素と下開口位相差検出画素との対がｎ個配置される。以下の説明においては、上開口位相差検出画素と下開口位相差検出画素とは、図３と同様に、Ｇｒ画素に配置されているものとする。

【0094】

また、図８（ａ）に示すように、撮像素子２１の垂直方向をｙ軸と定義する。そして、各アイランド領域における位相差検出画素の垂直方向の開始ｙ座標をstart_yと定義する。なお、start_yは、上開口位相差検出画素のものと下開口位相差検出画素ものとがそれぞれ定義される。

【0095】

図８（ｂ）は、図８（ａ）のアイランド領域内の画素の拡大図である。例えば、図８（ｂ）に示す画素のうち、上開口位相差検出画素Ｇｒ２及びＧｒ３に対してレベル変化検出処理を実行するとする。このとき、上開口位相差検出画素Ｇｒ２及びＧｒ３による位相差検出方向である垂直方向と異なる方向、即ち上開口位相差検出画素Ｇｒ２及びＧｒ３に対して水平方向の近傍の同色の撮像画素との画素データの値の比又は差を検出する。したがって、上開口位相差検出画素Ｇｒ２については、図８（ｂ）の矢印３で示す、上開口位相差検出画素Ｇｒ２と同行の近傍の撮像画素Ｇｒ１との画素出力の比を検出する。また、上開口位相差検出画素Ｇｒ３については、図８（ｂ）の矢印４で示す、上開口位相差検出画素Ｇｒ３と同行の近傍の撮像画素Ｇｒ１との画素データの値の比又は差を検出する。

【0096】

また、周波数変化検出処理を行うのに当たり、位相差検出画素に対して水平方向同行の画素は、位相差の検出方向である垂直方向の空間周波数が同じになる。したがって、上開口位相差検出画素Ｇｒ２については、図８（ｂ）の矢印１で示す、位相差検出画素Ｇｒ２を挟むようにして配置される撮像画素Ｒ２と撮像画素Ｒ３との画素データの値の比又は差を検出する。また、左開口位相差検出画素Ｇｒ３については図示していないが、位相差検出画素Ｇｒ３を挟むようにして配置される撮像画素Ｒ３と撮像画素Ｒ４との画素データの値の比又は差を検出する。

【0097】

さらに、絵柄変化検出処理を行うのに当たり、レベル変化検出処理に用いられた位相差検出画素と撮像画素のそれぞれの近傍の同色画素間の画素データの値の比又は差を検出する。図８（ｂ）の例の場合、右開口位相差検出画素Ｇｒ２については、図８（ｂ）の矢印２で示す、右開口位相差検出画素Ｇｒ２の近傍の撮像画素Ｇｂ３と撮像画素Ｇｒ１の近傍の撮像画素Ｇｂ１との画素データの値の比又は差を検出する。また、左開口位相差検出画素Ｇｒ３については、左開口位相差検出画素Ｇｒ３の近傍の撮像画素Ｇｂ４と撮像画素Ｇｒ１の近傍の撮像画素Ｇｂ１との画素データの値の比又は差を検出する。

【0098】

以上のようにして検出された結果を用いて重み係数Wを算出する場合、例えば以下の（式６）ように算出する。なお、この例では、上開口位相差検出画素についての重み係数Wを算出する例について説明する。この例の重み係数Wは、周波数変化検出処理の結果として得られる位相差検出画素の水平方向同行の２つの同色の撮像画素の画素データの値の比が１に近いほど、１に近づく係数である。

【数3】

ここで、（式６）のσは、標準偏差であって例えば設計時に任意に設定される。例えば、σ＝0.1とした場合、0.1を標準偏差としたガウス関数となる。（式６）のDif_Rは、周波数変化検出処理の結果として得られる位相差検出画素に対して水平方向同行の２つの同色の撮像画素の画素データの値の比である。例えば、撮像画素Ｒ２の画素データの値をＲ２、撮像画素Ｒ３の画素データの値をＲ３とすると、周波数変化検出処理の結果Dif_Rは、以下の（式７）で与えられる。
Dif_R＝R2/R3 （式７）
また、最終的なレベル変化量を前述の実施形態と同様にx＝ay＋bの形で表すとすると、このような１次式の傾きａ及び切片ｂは、例えば最小二乗法により、以下の（式８）で示すようにして与えられる。

【数4】

ここで、（式８）のDif_pTi(i＝start_x, start_x+1, …, n-1)は、レベル変化検出処理の結果と絵柄変化検出処理の結果から得られる、垂直座標ｙに配置された上開口位相差検出画素とその近傍の撮像画素との画素データの値の比である。Dif_pTiは、以下の（式９）で与えられる。

【0099】

Dif_pTi＝1−{(Gr1/Gr2)−Dif_G} （式９）
（式９）のDif_Gは、絵柄変化検出処理の結果として得られるレベル変化検出処理に用いられた画素の近傍の２つの撮像画素間の画素データの値の比である。例えば、上開口位相差検出画素Ｇｒ２の例を示すと、Dif_Gは、以下の（式１０）で与えられる。
Dif_G＝1−Gb1/Gb3 （式１０）
（式４）と同様、（式１０）で示すレベル変化量は、位相差検出画素に入射する光の角度、像高の影響を考慮した撮像画素に対する位相差検出画素の光量の低下量となる。

【0100】

なお、前述の例では、レベル変化量と垂直座標ｙとの関係を、１次式で近似しているが、高次式で近似しても良い。また、近似の手法も最小二乗法に限らず、ラグランジュ補間、スプライン補間等を用いても良い。

【0101】

［変形例２］
前述した例では、重み係数Wをガウス関数としているが、この他に例えば閾値を用いた近似により求めることができる。また、レベル変化量を表す１次式を最小二乗法ではなく、折れ点近似によって求めることもできる。変形例２は、このような他の手法によって重み係数Wとレベル変化量を表す１次式の傾きa及び切片bとを求める例である。

【0102】

この変形例においては、図９で示すように１つのアイランド領域内にm点（図では折れ点１，２，３の３点）の折れ点を決めた上で前述と同様のレベル変化検出処理、周波数変化検出処理、及び絵柄変化検出処理を行う。この場合、重み係数Wを以下の（式１１）のようにして、Dif_GとDif_Bの平均値を閾値で場合分けすることで求めることができる。なお、（式１１）は、位相差の検出方向が垂直方向の例である。

【数5】

（式１１）のDif_Gは、絵柄変化検出処理の結果として得られるレベル変化検出処理に用いられた画素の近傍の２つの撮像画素間の画素データの値の比の絶対値である。例えば、前述の右開口位相差検出画素Ｇｒ２が折れ点の１つであったとすると、Dif_Gは、以下の（式１２）で与えられる。
Dif_G＝abs(1−Gb1/Gb3) （式１２）
また、（式１１）のDif_Bは、周波数変化検出処理の結果として得られる位相差検出画素に対して垂直方向同列の２つの同色の撮像画素の画素データの値の比の絶対値である。例えば、撮像画素Ｂ２の画素データの値をＢ２、撮像画素Ｂ３の画素データの値をＢ３とすると、Dif_Bは、以下の（式１３）で与えられる。
Dif_B＝abs(1-B2/B3) （式１３）
また、レベル変化量を表す１次式y＝ax＋bの傾きａ及び切片ｂは、以下の（式１４）で示すようにして与えられる。

【数6】

ここで、（式１４）に示すa_m及びb_m(m=1,2)は、それぞれ、折れ点mから折れ点m+1までのレベル変化量を示す１次式の傾き及び切片であることを示している。また、P_m(m=1,2)は、以下の（式１５）で与えられる。

【数7】

ここで、（式１５）のDif_pRi(i＝start_x, start_x+1, …, n-1)は、レベル変化検出処理の結果と絵柄変化検出処理の結果から得られる、水平座標ｘに配置された位相差検出画素とその近傍の撮像画素との画素データの値の比である。Dif_pRiは、以下の（式１６）で与えられる。

【0103】

Dif_pRi＝1−{(Gr1/Gr2)−Dif_G} （式１６）
また、前述の例では、各アイランド領域における位相差検出画素の水平方向の開始ｘ座標をstart_xと定義しているが、変形例においては各折れ点のｘ座標をstart_xと定義し、折れ点間にｎ個の画素が配列されるものとする。

【0104】

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

【0105】

また、上述した実施形態による各処理は、ＣＰＵ２９に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２９は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

【0106】

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

【符号の説明】

【0107】

１…デジタルカメラ（カメラ）、１１…撮影レンズ、１３…絞り、１５…メカシャッタ、１７…駆動部、１９…操作部、２１…撮像素子、２３…撮像制御回路、２５…Ａ−ＡＭＰ、２７…アナログデジタル変換器（ＡＤＣ）、２９…ＣＰＵ、３１…画像処理部、３３…焦点検出回路、３５…ビデオエンコーダ、３７…表示部、３９…バス、４１…ＤＲＡＭ、４３…ＲＯＭ、４５…記録媒体、３１１…ホワイトバランス（ＷＢ）補正処理部、３１２…レベル変化検出部、３１３…周波数変化検出部、３１４…絵柄変化検出部、３１５…画素補正部、３１６…同時化処理部、３１７…輝度特性変換部、３１８…エッジ強調処理部、３１９…ノイズ低減（ＮＲ）処理部、３２０…色再現処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】