特許 7623117 検出装置および検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-20

(45)【発行日】2025-01-28

(54)【発明の名称】検出装置および検出方法

(51)【国際特許分類】

   H04N 25/704 20230101AFI20250121BHJP

   G02B 7/34 20210101ALI20250121BHJP

   H04N 23/67 20230101ALI20250121BHJP

   H10F 39/18 20250101ALI20250121BHJP

   H04N 25/62 20230101ALI20250121BHJP

【ＦＩ】

H04N25/704

G02B7/34

H04N23/67

H01L27/146 A

H04N25/62

【請求項の数】 10

(21)【出願番号】P 2020149838

(22)【出願日】2020-09-07

(65)【公開番号】P2022044285

(43)【公開日】2022-03-17

【審査請求日】2023-08-09

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100109209

【弁理士】

【氏名又は名称】小林 一任

(72)【発明者】

【氏名】菊地 哲央

(72)【発明者】

【氏名】畠山 陵

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開２０１７－１２６６８０（ＪＰ，Ａ）

【文献】特開２０１３－１４９７４３（ＪＰ，Ａ）

【文献】特開２０１５－１３６０８７（ＪＰ，Ａ）

【文献】特開２００４－０３２０１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／７０４

Ｈ０４Ｎ ２３／６７

Ｈ０４Ｎ ２５／６２

Ｇ０２Ｂ ７／３４

Ｈ０１Ｌ ２７／１４６

(57)【特許請求の範囲】

【請求項1】

マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して加算信号を出力することが可能な撮像素子と、
上記撮像素子の上記加算信号に基づく位相差検出によって焦点検出または奥行き検出を行う制御部と、
を具備し、
上記撮像素子は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせ、
上記制御部は、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、
上記撮像素子は、上記指示された特定の位相差検出方向が上記複数の位相差検出方向のうちの上記受光部の間のポテンシャル障壁の高さがより高い第１の位相差検出方向である場合に、
上記第１の位相差検出方向に垂直な第２の位相差検出方向の位相差検出に対応する上記出力信号同士を上記複数の画素内にて加算するとともに、
上記第１の位相差検出方向の第１の側に対応する上記加算した出力信号同士、および第１の側と反対側の第２の側に対応する上記加算した出力信号同士をそれぞれ上記第２の位相差検出方向の所定数の上記複数の画素にて加算平均し、上記第１の位相差検出方向については加算平均しないで上記加算信号を生成する、
ことを特徴とする検出装置。

【請求項2】

上記制御部は、上記撮像素子が出力する上記加算信号に基づいて表示部にてライブビュー表示を行うライブビュー動作を実行可能であり、
上記撮像素子は、上記ライブビュー動作において、上記第２の位相差検出方向の位相差検出に対応する上記出力信号同士を上記複数の画素内にて加算するとともに、
上記第１の位相差検出方向と上記第２の位相差検出方向の両方について上記複数の画素の同じ側に対応する上記加算した出力信号同士をそれぞれ所定数の上記複数の画素について加算平均して上記加算信号を生成することを特徴とする請求項１に記載の検出装置。

【請求項3】

上記制御部は、上記ライブビュー動作において、上記加算信号を上記撮像素子から入力し、上記第２の位相差検出方向に対をなす上記加算信号を加算して表示用画像データを生成することを特徴とする請求項２に記載の検出装置。

【請求項4】

上記制御部は、上記位相差検出方向に対応する上記ポテンシャル障壁の高さに応じて、上記蓄積判定レベルを設定することを特徴とする請求項１乃至３のいずれか一項に記載の検出装置。

【請求項5】

上記制御部は、上記加算信号と上記蓄積判定レベルを比較し、比較結果に基づいて上記撮像素子の蓄積動作を制御することを特徴とする請求項１乃至３のいずれか一項に記載の検出装置。

【請求項6】

上記撮像素子は、上記加算信号を増幅して出力することが可能であり、
上記制御部は、上記撮像素子の増幅率を設定し、設定した増幅率に応じて上記蓄積判定レベルを設定することを特徴とする請求項１乃至５のいずれか一項に記載の検出装置。

【請求項7】

上記制御部は、上記位相差検出方向に対応する上記ポテンシャル障壁の高さに応じ飽和判定レベルを設定し、上記撮像素子の出力する上記加算信号と上記飽和判定レベルを比較して飽和を判定することを特徴とする請求項１乃至６のいずれか一項に記載の検出装置。

【請求項8】

上記制御部は、上記判定結果に基づき焦点検出または奥行き検出を行うことを特徴とする請求項７に記載の検出装置。

【請求項9】

請求項１に記載の検出装置を有する撮像装置であって、
上記撮像素子の上記複数の受光部の出力信号の全部を加算した加算信号に基づく静止画の連続撮影が可能であり、
上記制御部は、上記静止画の連続撮影の間で、上記位相差検出方向に応じた上記複数の受光部の加算信号を上記撮像素子により撮像させて取得する場合に、上記位相差検出方向に応じた上記複数の受光部の加算信号として、上記ポテンシャル障壁をより高く設定した位相差検出方向に対応する加算信号だけを読み出すことを特徴とする撮像装置。

【請求項10】

マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して加算信号を出力することが可能な撮像素子を有する検出装置の検出方法において、
上記撮像素子は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせ、
上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、
上記撮像素子の上記加算信号に基づく位相差検出によって焦点検出または奥行き検出を行い、
上記撮像素子は、上記指示された特定の位相差検出方向が上記複数の位相差検出方向のうちの上記受光部の間のポテンシャル障壁の高さがより高い第１の位相差検出方向である場合に、
上記第１の位相差検出方向に垂直な第２の位相差検出方向の位相差検出に対応する上記出力信号を上記複数の画素内にて加算するとともに、
上記第１の位相差検出方向の第１の側に対応する上記加算した出力信号同士、および第１の側と反対側の第２の側に対応する上記加算した出力信号同士をそれぞれ上記第２の位相差検出方向の所定数の上記複数の画素にて加算平均し、上記第１の位相差検出方向については加算平均しないで上記加算信号を生成する、
ことを特徴とする検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マイクロレンズに対応する複数の画素を備える撮像素子を有し、複数の画素出力を用いて出力信号の位相差を求め、この位相差に基づいて、焦点検出または奥行き検出を行うことのできる検出装置に関する。

【背景技術】

【0002】

撮像素子の撮像面に複数のマイクロレンズと、各マイクロレンズに対応して複数の画素を配置し、結像光学系の射出瞳を分割した領域を通る複数の光束を、各画素によってそれぞれ光電変換し、この光電変換された出力信号の位相差を検出し、この位相差に基づいて結像光学系のデフォーカス量を検出する焦点検出装置が知られている。また、この分割された各画素の出力信号を加算することにより、１画素分の画像信号として使用することも知られている。

【0003】

例えば、特許文献１に示される光電変換装置は、撮像素子のマイクロレンズ１個に対応して４分割フォトダイオード（ＰＤ）を配置する構成を有し、４分割ＰＤのうちの上下（ＴＢ）のＰＤの電荷を加算した画素出力を使用して左右（ＲＬ）方向の位相差検出を行っている。また、左右（ＲＬ）のＰＤの電荷を加算した画素出力を使用して上下（ＴＢ）方向の位相差検出を行っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１６２６５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

撮像素子の画素に斜めから光が入射すると、一対の画素のそれぞれにおいて光電変換によって発生する電荷量が相違し、一部の画素の電荷が飽和してしまう。この場合には、一対の画素信号（電荷）を加算して合成した画像信号の線形性が失われてしまう。特許文献１では、４分割ＰＤのいずれか１個において、光電変換された電荷量が飽和すると、ＲＬ、ＴＢの両方とも位相差検出が不能となってしまう。そのため、特許文献１では、１ＰＤのポテンシャル障壁に相当する電荷量（飽和）に対応する閾値電圧を、通常の閾値電圧の１／４に設定する必要がある。

【0006】

特許文献１に示されるように、ＰＤ間のポテンシャル障壁を下げるようにすれば、一部の画素（ＰＤ）が飽和してしまっても、合成した画像信号は飽和することがない。しかしながら、特許文献１では、閾値電圧を通常の閾値電圧の１／４に設定しなければならないことから、焦点検出（ＡＦ）用信号のダイナミックレンジが不十分になってしまい、検出精度が低下してしまう。

【0007】

本発明は、このような事情を鑑みてなされたものであり、高精度かつ高速な焦点検出または奥行き検出ができる検出装置および検出方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため第１の発明に係る検出装置は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して加算信号を出力することが可能な撮像素子と、上記撮像素子の上記加算信号に基づく位相差検出によって焦点検出または奥行き検出を行う制御部と、を具備し、上記撮像素子は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせ、 上記制御部は、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、上記撮像素子は、上記指示された特定の位相差検出方向が上記複数の位相差検出方向のうちの上記受光部の間のポテンシャル障壁の高さがより高い第１の位相差検出方向である場合に、上記第１の位相差検出方向に垂直な第２の位相差検出方向の位相差検出に対応する上記出力信号同士を上記複数の画素内にて加算するとともに、上記第１の位相差検出方向の第１の側に対応する上記加算した出力信号同士、および第１の側と反対側の第２の側に対応する上記加算した出力信号同士をそれぞれ上記第２の位相差検出方向の所定数の上記複数の画素にて加算平均し、上記第１の位相差検出方向については加算平均しないで上記加算信号を生成する。

【0009】

第２の発明に係る検出装置は、上記第１の発明において、上記制御部は、上記撮像素子が出力する上記加算信号に基づいて表示部にてライブビュー表示を行うライブビュー動作を実行可能であり、上記撮像素子は、上記ライブビュー動作において、上記第２の位相差検出方向の位相差検出に対応する上記出力信号同士を上記複数の画素内にて加算するとともに、上記第１の位相差検出方向と上記第２の位相差検出方向の両方について上記複数の画素の同じ側に対応する上記加算した出力信号同士をそれぞれ所定数の上記複数の画素について加算平均して上記加算信号を生成する。
第３の発明に係る検出装置は、上記第２の発明において、上記制御部は、上記ライブビュー動作において、上記加算信号を上記撮像素子から入力し、上記第２の位相差検出方向に対をなす上記加算信号を加算して表示用画像データを生成する。
第４の発明に係る検出装置は、上記第１乃至第３の発明において、上記制御部は、上記位相差検出方向に対応する上記ポテンシャル障壁の高さに応じて、上記蓄積判定レベルを設定する。
第５の発明に係る検出装置は、上記第１乃至第３の発明において、上記制御部は、上記加算信号と上記蓄積判定レベルを比較し、比較結果に基づいて上記撮像素子の蓄積動作を制御する。

【0010】

第６の発明に係る検出装置は、上記第１乃至第５の発明において、上記撮像素子は、上記加算信号を増幅して出力することが可能であり、上記制御部は、上記撮像素子の増幅率を設定し、設定した増幅率に応じて上記蓄積判定レベルを設定する。
第７の発明に係る検出装置は、上記第１乃至第６の発明において、上記制御部は、上記位相差検出方向に対応する上記ポテンシャル障壁の高さに応じ飽和判定レベルを設定し、上記撮像素子の出力する上記加算信号と上記飽和判定レベルを比較して飽和を判定する。
第８の発明に係る検出装置は、上記第７の発明において、上記制御部は、上記判定結果に基づき焦点検出または奥行き検出を行う。

【0011】

第９の発明に係る撮像装置は、第１の発明に係る検出装置を有し、上記撮像素子の上記複数の受光部の出力信号の全部を加算した加算信号に基づく静止画の連続撮影が可能であり、上記制御部は、上記静止画の連続撮影の間で、上記位相差検出方向に応じた上記複数の受光部の加算信号を上記撮像素子により撮像させて取得する場合に、上記位相差検出方向に応じた上記複数の受光部の加算信号として、上記ポテンシャル障壁をより高く設定した位相差検出方向に対応する加算信号だけを読み出す。

【0012】

第１０の発明に係る検出方法は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して加算信号を出力することが可能な撮像素子を有する検出装置の検出方法であって、上記撮像素子は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせ、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、上記撮像素子の上記加算信号に基づく位相差検出によって焦点検出または奥行き検出を行い、上記撮像素子は、上記指示された特定の位相差検出方向が上記複数の位相差検出方向のうちの上記受光部の間のポテンシャル障壁の高さがより高い第１の位相差検出方向である場合に、上記第１の位相差検出方向に垂直な第２の位相差検出方向の位相差検出に対応する上記出力信号を上記複数の画素内にて加算するとともに、上記第１の位相差検出方向の第１の側に対応する上記加算した出力信号同士、および第１の側と反対側の第２の側に対応する上記加算した出力信号同士をそれぞれ上記第２の位相差検出方向の所定数の上記複数の画素にて加算平均し、上記第１の位相差検出方向については加算平均しないで上記加算信号を生成する。

【発明の効果】

【0013】

本発明によれば、高精度かつ高速な焦点検出または奥行き検出ができる検出装置および検出方法を提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る撮像装置の主として電気的構成を示すブロック図である。

【図2】本発明の一実施形態に係る撮像装置の撮像素子の主として電気的構成を示すブロック図である。

【図3A】本発明の一実施形態に係る撮像装置において、４ＰＤ画素タイプの画素の構成を示す図である。

【図3B】本発明の一実施形態に係る撮像装置において、４ＰＤ画素タイプの画素部における、マイクロレンズの光軸方向に沿った断面図である。

【図4】本発明の一実施形態に係る撮像装置において、４ＰＤ画素タイプの画素部における、 ＲＬ画素優先の際のポテンシャル障壁を説明する図である。

【図5】本発明の一実施形態における撮像装置において、ＡＦ時およびＬＶ時のシーケンスを示す図である。

【図6】本発明の一実施形態における撮像装置において、ＲＬ読出し時の画素加算を説明する図である。

【図7】本発明の一実施形態における撮像装置において、ＴＢ読出し時の画素加算を説明する図である。

【図8】本発明の一実施形態における撮像装置において、連写撮影時のシーケンスを示す図である。

【図9A】本発明の一実施形態における撮像装置の動作を示すフローチャートである。

【図9B】本発明の一実施形態における撮像装置の動作を示すフローチャートである。

【図9C】本発明の一実施形態における撮像装置の動作を示すフローチャートである。

【図10】本発明の一実施形態の第１の変形例に係る撮像装置において、撮像素子の増幅率を設定するための回路を示すブロック図である。

【図11】本発明の一実施形態の第１の変形例に係る撮像装置において、撮像素子のゲインと、飽和閾値の関係を示すグラフである。

【図12】本発明の一実施形態の第２の変形例に係る撮像装置において、レンズ装着時の各画素における補正量を示すグラフおよび図表である。

【図13】本発明の一実施形態の第３の変形例に係る撮像装置において、Ｌ画素が飽和し、Ｒ画素側に電荷が溢れている状態を示す図である。

【図14】本発明の一実施形態における４ＰＤ画素の構成を示す回路図である。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態に係る撮像装置について説明する。この撮像装置は、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することによって、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

【0016】

また、本実施形態に係る撮像装置の撮像素子２０８は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、この複数の受光部は所定の複数の位相差検出方向に対応して設けられている（図３Ａ、図３Ｂ、図６、図７参照）。また、撮像素子２０８は、位相差検出方向に応じて、受光部間のポテンシャル障壁の高さを異ならせている（図４（ａ）参照）。

【0017】

本実施形態において、具体的には、撮像素子のマイクロレンズ１個に対応して４分割フォトダイオードを配置し（図３Ａ参照）、位相差の検出に当たって横方向（左右方向）を縦方向（上下方向）に対して優先的に位相差検出を行うものとする。右側に配置され上下加算されたＲ画素（以下Ｒ画素）と左側に配置され上下加算されたＬ画素（以下Ｌ画素）の間のポテンシャル障壁と上側に配置され左右加算されたＴ画素（以下Ｔ画素）と下側に配置され左右加算されたＢ画素（以下Ｂ画素）の間のポテンシャル障壁について、ＲＬ画素優先に適合したポテンシャル障壁を持たせている（図４（ａ）参照）。具体的には、上側に配置されたＴ画素と下側に配置されたＢ画素の間のポテンシャル障壁を、Ｒ画素とＬ画素の間のポテンシャル障壁より低く設定する（たとえば１／２、図４（ａ）参照）。上下（左右）加算で水平（垂直）位相差検出を行うための２ＰＤ（Ｒ／Ｌ画素またはＴ／Ｂ画素）読み出しの場合には、読み出す画素対のポテンシャル障壁の高さに応じた閾値電圧（後述する蓄積判定レベル、飽和判定レベル）を設定して蓄積動作を行う。

【0018】

位相差検出用の２ＰＤ読み出しの場合で、Ｒ／Ｌ画素として読み出す際の画素データの飽和判定用閾値電圧を、Ｒ／Ｌ画素のポテンシャル障壁に対応する２ＰＤ分の電荷量に対応する閾値電圧（例えば１ＰＤ分の閾値電圧の２倍（４ＰＤ分の閾値電圧の１／２））に設定する。これにより、読出し速度の高速化が容易で読出し効率が高いＲ／Ｌ画素の信号のダイナミックレンジをより大きくとることができ、ＡＦの精度向上と高速化が可能となる。

【0019】

図１は、本発明の一実施形態に係る焦点検出装置を含む撮像装置（具体的には例えばデジタルカメラ）１の構成の一例を示すブロック図である。なお、図１中において、矢印付き実線はデータの流れを、矢印付き破線は制御信号の流れをそれぞれ示している。

【0020】

撮像装置１は、交換式レンズ１００と、カメラ本体２００とを有する。交換式レンズ１００は、カメラ本体２００に着脱できるように構成されている。交換式レンズ１００とカメラ本体２００とは、交換式レンズ１００がカメラ本体２００に装着されたときに、互いに通信できるように接続される。なお、撮像装置１は、必ずしもレンズ交換式の撮像装置でなくてもよい。例えば、撮像装置１は、レンズ一体型の撮像装置であってもよい。また、スマートフォン等、携帯機器内に設けられた撮像装置であってもよい。

【0021】

交換式レンズ１００は、撮像光学系１０２と、駆動部１０４と、レンズＣＰＵ（Central Processing Unit）１０６と、レンズ側記憶部１０８とを備える。ここで、交換式レンズ１００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、交換式レンズ１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。また、交換式レンズとカメラ本体が一体に構成されている場合には、レンズＣＰＵ１０６とＣＰＵ２１２が１つのＣＰＵで構成されていてもよい。

【0022】

撮像光学系１０２は、被写体からの光束をカメラ本体２００の撮像素子２０８に結像させるための光学系である。撮像光学系１０２は、フォーカスレンズ１０２ａと、絞り１０２ｂとを有する。フォーカスレンズ１０２ａは、光軸方向に移動することによって、撮像光学系１０２の焦点位置を調節できるように構成されている。

【0023】

絞り１０２ｂは、フォーカスレンズ１０２ａの光軸上に配置される。絞り１０２ｂの口径は可変である。絞り１０２ｂは、フォーカスレンズ１０２ａを通過して撮像素子２０８に入射する被写体からの光量を調節する。駆動部１０４は、駆動モータと駆動回路等を有し、レンズＣＰＵ１０６から出力される制御信号に基づいて、フォーカスレンズ１０２ａと絞り１０２ｂを駆動する。ここで、撮像光学系１０２は、ズームレンズとして構成されていてもよい。この場合、駆動部１０４がズーム駆動も行ってもよく、またユーザが手動操作によって焦点距離を変化させてもよい。駆動部１０４は、撮像光学系に含まれる絞りを駆動する絞り駆動部（アクチュエータ、ドライバ）として機能する。

【0024】

レンズＣＰＵ１０６は、ＣＰＵとその周辺回路を含むプロセッサであり、レンズ側記憶部１０８に記憶されているプログラムに従って動作する。レンズＣＰＵ１０６は、インターフェース（Ｉ／Ｆ）１１０を通じてカメラ本体２００のＣＰＵ２１２との間で通信できるように構成されている。レンズＣＰＵ１０６は、カメラ本体２００のＣＰＵ２１２からの制御信号に従って駆動部１０４を制御する。また、レンズＣＰＵ１０６は、Ｉ／Ｆ１１０を通じて、絞り１０２ｂの絞り値（Ｆ値）及びレンズ側記憶部１０８に記憶されているレンズ情報等の各種情報をＣＰＵ２１２に送信する。レンズＣＰＵ１０６は、撮像光学系に含まれるフォーカスレンズの位置を制御するフォーカスレンズ制御部としての機能を果たす。このフォーカスレンズ制御部は、制御部と通信して撮像素子の第１の撮像動作および第２の撮像動作に同期してフォーカスレンズの位置制御を実行する。

【0025】

なお、レンズＣＰＵ１０６は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、レンズＣＰＵ１０６と同様の機能は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のプロセッサによって実現されてもよい。また、レンズＣＰＵ１０６と同様の機能は、ソフトウェアによって実現されてもよい。

【0026】

レンズ側記憶部１０８は、電気的書き換え可能な不揮発性メモリを有し、上述のプログラム以外にも交換式レンズ１００に関するレンズ情報等を記憶している。レンズ情報は、例えば撮像光学系１０２の焦点距離の情報や収差の情報を含む。

【0027】

カメラ本体２００は、メカシャッタ２０２と、駆動部２０４と、操作部２０６と、撮像素子２０８と、手振れ補正回路２１０と、ＣＰＵ２１２と、画像処理回路２１４と、画像圧縮展開部２１６と、焦点検出回路２１８と、露出制御回路２２０と、表示部２２２と、バス２２４と、ＤＲＡＭ（Dynamic Random Access Memory）２２６と、本体側記憶部２２８と、記録媒体２３０とを有する。ここで、カメラ本体２００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、カメラ本体２００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。

【0028】

メカシャッタ２０２は、開閉自在に構成され、撮像素子２０８への被写体からの光束の入射時間（撮像素子２０８の露光時間）を調節する。メカシャッタ２０２としては、例えばフォーカルプレーンシャッタが採用される。このフォーカルプレーンシャッタ以外にも、レンズシャッタをレンズ鏡筒側に設けてもよい。駆動部２０４は、ＣＰＵ２１２からの制御信号に基づいてメカシャッタ２０２を駆動する。駆動部２０４は、メカシャッタ２０２を駆動するアクチュエータと、このアクチュエータの駆動回路等を有し、メカシャッタ２０２の開閉動作を行う。

【0029】

操作部２０６は、ユーザの指示を撮像装置１に入力するためのインターフェースであり、電源ボタン、レリーズボタン、動画ボタン、モードダイヤル、再生ボタン、メニューボタン等の各種の操作ボタン及びタッチパネル等の各種の操作部材を含む。この操作部２０６は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２１２に出力する。

【0030】

撮像素子２０８は、撮像光学系１０２の光軸上であって、メカシャッタ２０２の後方で、かつ、撮像光学系１０２によって被写体からの光束が結像される位置付近に配置されている。撮像素子２０８は、被写体を撮像して被写体に係る画素信号を生成する。

【0031】

撮像素子２０８は、複数の画像用画素（撮像用画素）が２次元状に配列された画素部２２（図２参照）を有する。画像用画素は、マイクロレンズＬ（図３参照）に対応し、複数の焦点検出用画素に分割された構成となっている。焦点検出用画素は、撮像光学系である撮像レンズ２の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する。撮像素子２０８は、例えば、原色ベイヤ配列のカラーフィルタを備える単板式ＣＭＯＳ撮像素子として構成されているが、もちろんこの構成に限定されるものではない。

【0032】

撮像素子２０８は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、複数の受光部は所定の複数の位相差検出方向に対応して設けられ、位相差検出方向に応じて複数の受光部の出力信号を加算して加算信号を出力することが可能な撮像素子である。撮像素子は、複数の位相差検出方向に応じて受光部の間のポテンシャル障壁の高さを異ならせる（例えば、図４参照）。撮像素子は、加算信号を増幅して出力することが可能である（図２および図１０のアナログ処理部２３参照）。撮像素子２０８の詳しい構成については、図２および図３を用いて後述する。

【0033】

手振れ補正回路２１０は、カメラ本体２００に発生した手振れが抑制されるように、撮像素子２０８をその受光面と平行な方向に移動させる。手振れの動きを打ち消すように撮像素子２０８が移動されることによって、手振れに起因して画像データに発生する被写体像のぶれが抑制される。なお、手振れ補正回路は、交換式レンズ１００に設けられていてもよい。この場合の手振れ補正回路は、撮像光学系１０２に含まれる手振れ補正光学系を移動させるように構成される。

【0034】

ＣＰＵ２１２は、ＣＰＵとその周辺回路を含むプロセッサであり、本体側記憶部２２８に記憶されているプログラムに従ってカメラ本体２００の全体制御を行う。ＣＰＵ２１２は、例えば撮像素子２０８による撮像動作（撮像駆動モード、読出モード等も含む）を制御する。また、ＣＰＵ２１２は、焦点検出回路２１８によって検出されたフォーカスレンズ１０２ａの焦点状態に応じて、フォーカスレンズ１０２ａを駆動するための制御信号をレンズＣＰＵ１０６に対して出力する。また、ＣＰＵ２１２は、露出制御回路２２０によって算出された露出設定値をレンズＣＰＵ１０６及び撮像素子２０８に対して出力する。ここで、ＣＰＵ２１２は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、ＣＰＵ２１２と同様の機能は、ＡＳＩＣ、ＦＰＧＡ等によって実現されてもよい。また、ＣＰＵ２１２と同様の機能は、ソフトウェアによって実現されてもよい。

【0035】

画像処理回路２１４は、画素データに対して各種の画像処理を施す。例えば画像処理回路２１４は、静止画撮影（連写も含む）の際には、静止画記録用の画像処理を施し、静止画データを生成する。同様に、画像処理回路２１４は、動画撮影の際には、動画記録用の画像処理を施し、動画データを生成する。さらに、画像処理回路２１４は、ライブビュー表示時には、表示用の画像処理を施し、表示画像データを生成する。

【0036】

画像圧縮展開部２１６は、画像圧縮回路および画像伸張回路を有する。画像圧縮展開部２１６は、画像データの記録時には、画像処理回路２１４で生成された画像データ（静止画データ又は動画データ）を圧縮する。また、画像データの再生時には、記録媒体２３０に圧縮状態で記録された画像データを伸張する。

【0037】

焦点検出回路２１８は、撮像素子２０８の焦点検出用画素から出力される焦点検出画素データを用いた位相差方式によってフォーカスレンズ１０２ａの焦点検出を行う。また、焦点検出回路２１８は、位相差検出結果を用いて、物体の奥行を検出することも可能である。

【0038】

焦点検出回路２１８は、撮像素子の加算信号に基づく位相差検出によって焦点検出または奥行き検出を行う制御部として機能する。なお、この制御部の機能は、焦点検出回路２１８に限らず、他の回路、プロセッサ等、例えば、ＣＰＵ２１２等が担うようにしてもよい。制御部は、撮像素子へ特定の位相差検出方向を指示して撮像素子の蓄積動作を実行させ（例えば、図９ＡのＳ５、図９ＢのＳ２３参照）、位相差検出方向に応じて異なる蓄積判定レベルを設定し（例えば、図９ＡのＳ９、Ｓ１３、図９ＢのＳ２７、Ｓ３１参照）、加算信号と蓄積判定レベルに基づいて撮像素子の蓄積動作を制御する。

【0039】

また、上述の制御部は、位相差検出方向に対応するポテンシャル障壁の高さに応じて、蓄積判定レベルを設定する（例えば、図９ＡのＳ９、Ｓ１３、図９ＢのＳ２７、Ｓ３１参照）。制御部は、加算信号と蓄積判定レベルを比較し、比較結果に基づいて撮像素子の蓄積動作を制御する（例えば、図９ＡのＳ９、Ｓ１３、図９ＢのＳ２７、Ｓ３１参照）。

【0040】

また、上述の制御部は、撮像素子の増幅率を設定し、設定した増幅率に応じて蓄積判定レベルを設定する（例えば、図１１参照）。制御部は、位相差検出方向に対応するポテンシャル障壁の高さに応じ飽和判定レベルを設定し、撮像素子の出力する加算信号と飽和判定レベルを比較して飽和を判定する（例えば、図１１参照）。制御部は、判定結果に基づき焦点検出または奥行き検出を行う。

【0041】

また、上述の制御部は、静止画の連続撮影の間で、位相差検出方向に応じた複数の受光部の加算信号を撮像素子により撮像させて取得する場合に、位相差検出方向に応じた複数の受光部の加算信号として、ポテンシャル障壁をより高く設定した位相差検出方向に対応する加算信号だけを読み出す（例えば、図８参照）。

【0042】

露出制御回路２２０は、測光部としての機能を果たし、撮像素子２０８の画素データに基づいて露出設定値を算出する。この露出制御回路２２０は、撮像素子２０８の画素データから被写体輝度を測定し、測定した被写体輝度から撮影時の被写体の輝度を適正値にするために必要な露出設定値を算出する。露出設定値は、絞り１０２ｂの開口量（絞り値）、撮像素子２０８の露光時間（シャッタースピード）を含む。

【0043】

表示部２２２は、液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイを有し、カメラ本体２００の背面等に配置され、または電子ビューファインダとして配置される。この表示部２２２は、ＣＰＵ２１２の制御に従って画像を表示する。表示部２２２は、ライブビュー表示や記録済み画像の再生表示等に使用される。

【0044】

バス２２４は、撮像素子２０８、ＣＰＵ２１２、画像処理回路２１４、画像圧縮展開部２１６、焦点検出回路２１８、露出制御回路２２０、表示部２２２、ＤＲＡＭ２２６、本体側記憶部２２８、記録媒体２３０に接続され、これらのブロックで発生した各種のデータを転送するための転送路として動作する。

【0045】

ＤＲＡＭ２２６は、電気的に書き換え可能な揮発性メモリであり、撮像素子２０８から出力される画素データ、静止画データ、動画データ、表示画像データ、ＣＰＵ２１２における処理データ等の各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられてもよい。

【0046】

本体側記憶部２２８は、電気的に書き換え可能な不揮発性メモリである。本体側記憶部２２８は、ＣＰＵ２１２で使用されるプログラムと、カメラ本体２００の調整値等の各種データを記憶する。記録媒体２３０は、電気的に書き換え可能な不揮発性メモリであり、カメラ本体２００に内蔵されるか又は装填されるように構成されている。記録媒体２３０は、記録用の画像データを所定の形式の画像ファイルとして記録する。なお、ＤＲＡＭ２２６、本体側記憶部２２８及び記録媒体２３０は、それぞれ１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。

【0047】

次に、図２を用いて、撮像素子２０８の構成について説明する。撮像素子２０８は、画像用画素を有し、この画像用画素は複数の焦点検出用画素に分割されている。画像用画素は、焦点検出用画素によって光束を光電変換して生成された光電変換信号に基づいて画像用画素信号と焦点検出用画素信号を生成する。なお、本実施形態における画像用画素は、受光部としてフォトダイオードが使用されている。

【0048】

撮像素子２０８は、図２に示す例において、垂直走査部２１と、画素部２２と、アナログ処理部２３と、ＡＤＣ処理部２４と、メモリ部２５と、水平走査部２６と、出力部２７と、入力部２８と、素子制御部２９と、を備える。

【0049】

画素部２２には、画像用画素および焦点検出用画素が配列されている。画像用画素信号と焦点検出用画素信号は、被写体像を光電変換することによって生成され、この生成された信号の読み出しは、垂直走査部２１～出力部２７までの少なくとも一部、および素子制御部２９などが行う。

【0050】

垂直走査部２１は、垂直走査回路を有し、画素部２２の画素の水平方向の並び（行）を順次、選択することによって、走査を垂直方向に行う。この垂直走査部２１が、特定の行を選択して、選択された行にある各画素のリセットや転送を行うことで、画素の電荷蓄積時間（露光時間）が制御される。

【0051】

アナログ処理部２３は、アナログ処理回路を有し、画素部２２から読み出されたアナログの画素信号をアナログ信号処理する回路である。このアナログ処理部２３は、例えば、画素信号を増幅するプリアンプ、画素信号からリセットノイズを低減する相関二重サンプリング（ＣＤＳ）回路などを含んでいる。

【0052】

アナログ・デジタル変換処理部（ＡＤＣ処理部）２４は、ＡＤ変換回路を有し、アナログ処理部２３から出力されたアナログの画素信号をデジタルの画素データに変換する。このＡＤＣ処理部２４は、例えば、カラムＡＤＣに代表されるような、画素部２２から読み出された画素信号を列毎のアナログ・デジタル・コンバータ（ＡＤＣ）でＡＤ変換する構成が採用されている。

【0053】

メモリ部２５は、メモリを有し、ＡＤＣ処理部２４で変換された画素データを一時的に保持する電気的書き換え可能な揮発性メモリ回路等で構成されている。水平走査部２６は、水平走査回路を有し、メモリ部２５から、画素データ（画像用画素データと焦点検出用画素データ）を列順に読み出す。

【0054】

出力部２７は、出力回路を有し、水平走査部２６によって読み出された画素信号を配列して画素信号列を生成し、シリアル信号や差動信号などの出力信号形式に変換して出力する。なお、この出力部２７または上述したＡＤＣ処理部２４等は、増感処理（設定されているＩＳＯ感度に応じた信号増幅処理）を行う増感部としても機能するようになっている。

【0055】

入力部２８は、入力回路を有し、ＣＰＵ２１２や不図示の撮像素子駆動部から、撮像素子２０８の制御に係る同期信号、基準クロック、動作設定の情報などを受信する。

【0056】

素子制御部２９は、撮像制御回路を有し、入力部２８を通じて受信した同期信号および基準クロックに合わせて、撮像素子２０８内の各ブロックを制御するものであり、読出方法選択部３０を備えている。また、素子制御部２９は、ＣＰＵ２１２から入力部２８を通じて撮像駆動モードを切り換える指示等の動作設定指示を受信して、撮像素子２０８内の各ブロックを制御する。

【0057】

読出方法選択部３０は、選択回路を有し、入力部２８を通じて受信した動作設定の情報（例えば、静止画撮影、動画撮影、ライブビュー、ＡＦ等のカメラモード）に基づいて、撮像素子２０８からの読み出し方式を選択して設定する。読み出し方式としては、１ＰＤ単純読み出し方式、２ＰＤ加算読み出し方式、焦点検出画素の全加算値を読み出す位相差情報なしの４ＰＤ加算読み出し方式、等の全部または一部などを設けてもよい。また後述するＡＦ読出（ＡＦ（ｒｌ））は、２ＰＤ加算読み出し方式で、光電変換信号に基づいて第１の瞳分割方向における一対の焦点検出用画素信号（Ｒ／Ｌ画素信号）の両方を生成して読み出す。ライブビュー（ＬＶ）読出（ＬＶ＋ＡＦ（ｔｂ））は、２ＰＤ加算読み出し方式で、光電変換信号に基づいて第２の瞳分割方向における一対の焦点検出用画素信号（Ｔ／Ｂ画素信号）の両方を生成して読み出す。本露光・読出は、４ＰＤ加算読み出し方式で、１つの画像用画素内で生成された全ての光電変換信号を加算することで画像用画素信号を生成し、生成した画像用画素信号のみを読み出す。

【0058】

次に、図３Ａおよび図３Ｂを用いて、画素部２２に配置された焦点検出用画素および画像用画素の構造について説明する。画素部２２は、上述したように、画像用画素および焦点検出用画素が２次元状（垂直方向（列方向）および水平方向（行方向））に配列された画素アレイ部である。

【0059】

図３Ａは、４ＰＤ画素の例を示し、１つのマイクロレンズＬｅに４つのフォトダイオードＰＤが配置される画素構造である。図３Ａに示す４ＰＤ画素は、１つのマイクロレンズＬｅに対して、１つのカラーフィルタＦと４つのフォトダイオードＰＤａ、ＰＤｂ、ＰＤｃ、ＰＤｄを配置する。各画素は、図３Ｂに示すように、物体側から像側へ向かう積層方向の順に、マイクロレンズＬｅとカラーフィルタＦとフォトダイオードＰＤａ～ＰＤｄとが配設された構成となっている。マイクロレンズＬｅは、光を集めることによって画像用画素としての４ＰＤ画素に到達する光量を増加させ、画像用画素の開口率を実質的に大きくするものである。カラーフィルタＦは、例えば原色ベイヤ配列のカラーフィルタの場合には、赤色（Ｒ）フィルタ、緑色（Ｇ）フィルタ、または青色（Ｂ）フィルタの何れかが、その画素位置に応じて配設されている。

【0060】

図３Ａおよび図３Ｂに示す４ＰＤ画素では、１つのマイクロレンズＬｅの結像範囲に、フォトダイオードＰＤａ～ＰＤｄが瞳分割方向に配設され、４つのフォトダイオードＰＤａ～ＰＤｄは、水平方向および垂直方向の位相差を検出することができるように上下左右に４分割されている。４つのフォトダイオードＰＤが、左上、左下、右上、右下の位置にそれぞれ配置される。すなわち、１つの画素が、４つのフォトダイオードＰＤａ，ＰＤｂ，ＰＤｃ，ＰＤｄを有し、瞳分割方向は水平方向と垂直方向の２つである。

【0061】

フォトダイオードＰＤの出力を垂直２ＰＤ加算する場合、つまり、図３Ａにおける（ＰＤａ＋ＰＤｂ）と（ＰＤｃ＋ＰＤｄ）とを生成する場合は、水平方向の位相差を検出（縦線検知）するための焦点検出用画素信号となる。図３Ａの右上側に示すように、左側の２ＰＤ加算値Ｌと右側の２ＰＤ加算値Ｒが得られる。また、フォトダイオードＰＤの出力を水平２ＰＤ加算する場合、つまり、（ＰＤａ＋ＰＤｃ）と（ＰＤｂ＋ＰＤｄ）とを生成する場合は、垂直方向の位相差を検出（横線検知）するための焦点検出用画素信号Ｔとなる。図３Ａの右下側に示すように、上側の２ＰＤ加算値Ｔと下側の２ＰＤ加算値Ｂが得られる。また、フォトダイオードＰＤの出力を４ＰＤ加算する場合、つまり、（ＰＤａ＋ＰＤｂ＋ＰＤｃ＋ＰＤｄ）を生成する場合、４ＰＤ加算の画素信号は画像用画素信号となる。

【0062】

図１４に示す回路図を用いて４ＰＤ画素の構成とＰＤ加算について説明する。４つのフォトダイオードＰＤａ～ＰＤｄには、スイッチ用トランジスタＴｒ１～Ｔｒ４がそれぞれ接続されている。垂直走査部２１から制御信号ＴＸ１～ＴＸ４が、スイッチ用トランジスタＴｒ１～Ｔｒ４にそれぞれ印加されるとＴｒ１～Ｔｒ４が選択的にオンされる。スイッチ用トランジスタＴｒ１～Ｔｒ４がオンされると、フォトダイオードＰＤａ～ＰＤｄとフローティングディフュージョンＦＤが接続され、オンされたトランジスタＴｒに対応するフォトダイオードＰＤの信号電荷がフォローティングディフュージョンＦＤに転送される。たとえば、Ｔｒ１とＴｒ２をオンすることにより、ＰＤａとＰＤｂの信号電荷を加算した信号電荷をＦＤに転送することができる。

【0063】

スイッチ用トランジスタＴｒ１～Ｔｒ４とフォローティングディフュージョンＦＤの接続点には、スイッチ用トランジスタＴｒ５の一端が接続され、その他端は電源電圧ＶＤＤに接続される。Ｔｒ５にリセット信号ＲＥＳを印加すると、電源電圧ＶＤＤとＦＤが接続されてＦＤのリセットが行われる。スイッチ用トランジスタＴｒ１～Ｔｒ４をオンにした状態でスイッチ用トランジスタＴｒ５をオンにすることにより、フォトダイオードＰＤａ～ＰＤｄのリセットが行われる。フォローティングディフュージョンＦＤは、スイッチ用トランジスタＴｒ６と、電源電圧ＶＤＤに接続される増幅用のトランジスタＴｒ７とを介して出力ＯＵＴに接続される。スイッチ用トランジスタＴｒ６に選択信号ＳＥＬを印加すると、フォローティングディフュージョンＦＤの電圧値がトランジスタＴｒ７により増幅され出力ＯＵＴに出力され、この出力電圧がアナログ処理部２３へ入力される。

【0064】

また、詳しくは、図４を用いて説明するが、フォトダイオードＰＤａ、ＰＤｂからなる一対の間と、フォトダイオードＰＤｃ、ＰＤｄからなる一対の間には第１の境界Ｂ２が存在し、またフォトダイオードＰＤａ、ＰＤｃからなる一対の間と、フォトダイオードＰＤｂ、ＰＤｄからなる一対の間には第２の境界Ｂ１が存在している。この第２の境界Ｂ１におけるポテンシャル障壁は、第１の境界Ｂ２におけるポテンシャル障壁と比較すると、高くなるように設定される。

【0065】

次に、図４を用いて、４ＰＤ画素のポテンシャル障壁の設定について説明する。複数の位相差検出方向に応じて受光部（ＰＤ）の間のポテンシャル障壁の高さを異ならせるが、Ｒ／Ｌ画素優先の方が、読出し効率が良いので、本実施形態においては、Ｒ／Ｌ画素を優先的に使用する。

【0066】

図４（ａ）は、ＲＬ画素優先の場合において、画素と受光部ＰＤ間のポテンシャル障壁（以下、単に障壁と記す）の高さを示す。図４（ａ）において、ＬＴとＬＢは、それぞれ、上側左受光部ＬＴ（ＰＤａ）と下側右受光部ＬＢ（ＰＤｂ）を示し、ＲＴとＲＢは、それぞれ上側右受光部ＲＴ（ＰＤｃ）と下側右受光部ＲＢ（ＰＤｄ）を示す。図３Ａを用いて説明したように、位相差の検出方向が矢印Ａ（ＲＬ方向ともいう）の場合には、ＬＴとＬＢの電荷を加算することによってＬ画素信号を生成でき、ＲＴとＲＢの電荷を加算することによって、Ｒ画素信号を生成できる。Ｒ／Ｌ画素優先の場合には、ＬＴとＬＢの間に位置し、ＲＴとＲＢの間に位置する障壁Ｐｔｂ（境界Ｂ２に相当）のレベルは、ＬＴとＲＴの間に位置し、ＬＢおよびＲＢの間に位置する障壁Ｐｒｌ（境界Ｂ１に相当）のレベルに対して、低くなるように設定する。

【0067】

このように、障壁Ｐｔｂのレベルが障壁Ｐｒｌのレベルに対して低くなるように設定しているので、例えば、ＬＴへの入射光量が他の受光部よりも多く、電荷が多量に発生して、蓄積された電荷が障壁Ｐｔｂを超えて溢れるような場合がある。この場合には、この溢れ出た電荷はＬＢに流れ込む。このように、電荷が障壁を超えて溢れる場合を電荷の飽和と記す。Ｌ画素（ＬＴ＋ＬＢ）において発生した電荷が障壁Ｐｒｌを超えない限り、Ｒ画素（ＲＴ＋ＲＢ）に電荷が流れ出てしまうことがない。このため、位相差方向Ａにおいて位相差を検出する場合には、受光部ＬＴ、ＬＢ、ＲＴ、ＲＢのいずれか１つにおいて、障壁Ｐｔｂに関する電荷の飽和が発生しても、Ｒ画素（ＲＴ＋ＲＢ）とＬ画素（ＬＴ＋ＬＢ）のそれぞれでは電荷の飽和が発生しない。したがって、Ｒ画素、Ｌ画素のそれぞれの画素値（画素出力電圧）としては、飽和することがないので、位相差方向Ａについての位相差を検出することができる。次に、障壁に関する優先度を持たせない場合と比較して、優先度を持たせる効果について説明する。

【0068】

図４（ｂ）に示すように、障壁に関する優先度を持たせない場合、すなわち、障壁ＰａのレベルがＲＬ方向およびＴＢ方向で等しい場合には、受光部ＬＴ、ＬＢ、ＲＴ、ＲＢのいずれか１つでも、蓄積された電荷が飽和して障壁Ｐａを超えて、電荷が流れ出した場合、ＲＬ方向の位相差、ＴＢ方向の位相差の両方とも電荷量のバランスが崩れ、位相差検出が不能となってしまう。このような電荷の飽和を回避するためには、電荷蓄積量を監視して蓄積時間を調節する必要がある。撮像素子２０８では、ＰＤに蓄積された電荷が、容量（フローティングディフュージョン）に転送され電圧に変換されて信号電圧として読み出される。この容量は、４ＰＤ加算の画素信号である画像用画素信号として最適化された容量値に設定されている。４ＰＤ加算の画素信号の電荷の飽和に相当する信号電圧を１とすると、上記受光部ＬＴ，ＬＢ、ＲＴ、ＲＢの電荷の飽和に相当する信号電圧は１／４となる。

【0069】

このため、１ＰＤの画素信号は、１ＰＤの障壁Ｐａのレベルに相当する電荷量（電荷の飽和に相当する電荷量）に相当する閾値電圧レベル、つまり４ＰＤ加算の画素信号の電荷の飽和に相当する閾値電圧レベルの１／４に閾値電圧レベルを設定し、この閾値電圧レベルを超えないように蓄積時間を制御する必要がある。このように障壁Ｐａのレベルを同一とし優先度を持たせない場合、閾値電圧レベルとしては４ＰＤ加算の画素信号の閾値電圧レベルの１／４倍した値を電荷の飽和判定レベルとしなければならない。２ＰＤ加算の画素信号の場合も同じであり、１ＰＤの電荷の飽和を判定するためには、４ＰＤ加算の画素信号の閾値電圧レベルの１／４倍した値を電荷の飽和判定レベルとしなければならない。したがって、障壁に優先度を持たせない場合、位相差検出用画素（Ｒ／Ｌ画素、Ｔ／Ｂ画素）の信号電圧のダイナミックレンジは画像用画素（４ＰＤ加算）の信号電圧のダイナミックレンジの１／４に縮小され、位相差検出の精度が低下する問題がある。

【0070】

一方、上述したＲＬ画素優先のように、障壁に関する優先度を持たせると、Ｒ／Ｌ画素を読み出す場合は、４ＰＤの内の１ＰＤのＬＴ（またはＬＢ）の電荷量が障壁Ｐｔｂを越えても、ＬＴ、ＬＢの２ＰＤ分の電荷量が障壁Ｐｒｌを越えなければ、Ｒ／Ｌ画素のそれぞれの信号電圧は飽和しない。Ｒ／Ｌ画素間の障壁Ｐｒｌのレベルを、優先度を持たせない場合の障壁Ｐａのレベルと同一とする場合、Ｒ／Ｌ画素の障壁Ｐａのレベルに対応する２ＰＤ分（ＬＴ、ＬＢ、またはＲＴ，ＲＢ）の電荷量は、障壁Ｐａのレベルに対応する４ＰＤ加算の電荷量の１／２となる。従って、Ｒ／Ｌ画素の信号電圧については、４ＰＤ加算の信号電圧の電荷飽和判定レベルの１／２に電荷飽和判定レベルを設定することが可能となる。これによって、ＲＬ方向の位相差検出用画素（Ｒ／Ｌ画素）の信号電圧のダイナミックレンジは、画像用画素（４ＰＤ加算）の信号電圧のダイナミックレンジの１／２とすることが可能である。優先度を持たせない場合に比較してダイナミックレンジを２倍に拡大することができる。なお、ポテンシャル障壁の設定は、撮像素子の製造工程にて半導体の不純物濃度の調節により設定可能であり、詳細説明を省略する。

【0071】

次に、図４（ａ）を用いて説明した障壁のレベルの設定に基づき、画素データの飽和判定レベルの設定の仕方について説明する。ＲＬ画素優先でＲ／Ｌ画素の画素データを読み出す場合には、前述したように、飽和判定レベルをＲ画素とＬ画素の間の障壁Ｐｒｌのレベルに相当する電圧レベルに設定する。一般的に、障壁Ｐｒｌのレベルは、４ＰＤ加算画素のリニアリティを確保するために、４ＰＤ加算画素の電荷の飽和レベルＰの７０％程度と設定する。４ＰＤ加算画素の画素信号を読み出す場合の信号電圧の飽和レベルを、たとえば４０９６（量子化１２ビットに相当）とする場合には、Ｒ／Ｌ画素の信号電圧の飽和レベルはそれぞれ２ＰＤ分の電荷量に相当する信号電圧の４０９６×７０％／２＝１４３３程度に相当する。従って、Ｒ／Ｌ画素の信号電圧（画素データ）の飽和判定レベルは、たとえば１３００程度に設定すればよい（図９ＡのＳ９、図９ＢのＳ２７参照）。

【0072】

Ｔ／Ｂ画素の画素データを読み出す場合は、飽和判定レベルをＴ画素とＢ画素の間の障壁Ｐｔｂのレベルに相当する電圧レベルに設定する。障壁Ｐｔｂのレベルは、障壁Ｐｒｌのレベルの７０％程度に設定する。４ＰＤ加算画素を読み出す場合の信号電圧の飽和レベルを４０９６とする場合には、Ｔ／Ｂ画素の信号電圧の飽和レベルそれぞれ２ＰＤ分の電荷量に相当する信号電圧である４０９６×７０％×７０％／４＝５０１程度に相当する。従って、Ｔ／Ｂ画素の信号電圧（画素データ）の飽和判定レベルは、たとえば４５０程度に設定すればよい（図９ＡのＳ１３、図９ＢのＳ３１参照）。

【0073】

一方、ＲＬ画素優先としない場合、４つのＰＤのどれか１個でも電荷の飽和が発生すると、パランスが崩れ相関演算に影響が現れてしまう。この場合には、同じ条件の下で、Ｒ／Ｌ画素の信号電圧の飽和レベルは、４０９６×７０％／４＝７１６程度となってしまう。従って、ＲＬ画素優先とすることによりＲ／Ｌ画素の信号電圧（画素データ）は約２倍（１４３３／７１６）のダイナミックレンジを確保することができ、効果は大きい。

【0074】

後述する図８に示す位相差検出を行うフレームにおいて、Ｒ／Ｌ画素信号の露光／読み出しの場合は、Ｒ／Ｌ画素用の飽和判定レベル、Ｔ／Ｂ画素信号を露光／読み出しの場合は、Ｔ／Ｂ画素用の飽和判定レベルを設定して飽和を判定する。

【0075】

図５は、後述するＡＦ＆ＬＶ（ライブビュー）用露光＆読み出し処理（例えば、図９ＡのＳ５、図９ＢのＳ２３参照）について説明するタイミングチャートである。「ＶＤ」は、素子制御部２９に入力される同期信号（垂直同期信号）のタイミングを示している。ＶＤ（１）はＡＦ用撮像・読み出しを含むＡＦ動作のタイミングを示す垂直同期信号であり、ＶＤ（２）はＬＶ用撮像・読み出しを含むＬＶ動作のタイミングを示す垂直同期信号である。ＶＤ（１）とＶＤ（２）とは１フレームの間に１回ずつ素子制御部２９に入力され、ＡＦ＆ＬＶ用露光＆読み出しの処理は１フレーム毎に行われる。１フレームの長さは、ＬＶ表示の画面の更新間隔に応じて決められる。

【0076】

図５において、ＡＦ（ｒｌ）で示すＡＦ動作は、第１の瞳分割方向に関する焦点検出画素信号の生成と読み出しのための動作である。第１の瞳分割方向は、例えば画素部２２の水平方向（ＲＬ方向）である。ＡＦ動作に先立ち素子制御部２９は、画素部２２から左開口画素信号ｌ（Ｒｌ、Ｇｒｌ、Ｇｂｌ、Ｂｌ）と右開口画素信号ｒ（Ｒｒ、Ｇｒｒ、Ｇｂｒ、Ｂｒ）であるＲ／Ｌ画素信号が出力されるように画素部２２の設定を切り替える。素子制御部２９は、画素信号の読み出し時間の短縮を図るために、画素部２２の出力する同色、同一開口の複数のＲ／Ｌ画素信号を加算（平均）する画素加算の設定を行う。この画素加算（平均）は、アナログ処理部２３で行われる。

【0077】

次に、図６を用いて、ＡＦ（ｒｌ）動作において画素部２２から読み出された水平位相差検出用のＲ／Ｌ画素の画素加算（平均）について説明する。図６の上側の図は各画素に対応させた配置のイメージを示す。（ｍ１、ｎ１）に位置するＲｌは左側開口の赤色画素（Ｒ）を、（ｍ２、ｎ１）に位置するＲｒは右側開口の赤色画素（Ｒ）を意味する。（ｍ１、ｎ２）に位置するＧｂｌは左側開口の緑色画素（Ｇｂ）を、（ｍ２、ｎ２）に位置するＧｂｒは右側開口の緑色画素（Ｇｂ）を意味する。「Ｂ」は青色画素を意味する。

【0078】

Ｒ／Ｌ画素の画素加算は、アナログ処理部２３において、第１の瞳分割方向である水平方向については加算を行わずに、第２の瞳分割方向である垂直方向についてだけ加算が行うように設定される。水平方向については同一開口（左開口同士又は右開口同士）の画素信号を１／１画素加算（加算なし）するように設定され、垂直方向については同一開口（左開口同士又は右開口同士）の画素信号を５／９画素加算するように設定されている。５／９画素加算は、垂直方向の９画素（図６のｍ１例では、ｎ１からｎ１７に対応するＲｌ，ｎ２からｎ１８に対応するＧｂｌのそれぞれ９画素）のうち、ｎ１からｎ９に対応するＲｌの５画素を加算し、ｎ２からｎ１０に対応するＧｂｌの５画素を加算することをいう。画素信号の加算数は、例えばフレームレートに応じて適宜に設定される。この設定によって画素信号の行数が圧縮されて画素信号の行数が減り、画素信号の読み出し時間が短縮される。一方で、画素信号の列数を圧縮しないので水平方向の位相差の検出精度は確保される。

【0079】

ＣＰＵ２１２は、撮像素子２０８（素子制御部２９）に対して制御信号を出力し、図６に示すように画素加算モードを設定した後、撮像素子２０８（素子制御部２９）に対して焦点検出画素信号を生成するために必要な露光時間での撮像を行うように制御信号を出力する。この露光時間は、被写体輝度や画素データの飽和の状態等に基づいて設定される。

【0080】

素子制御部２９は、ＣＰＵ２１２からの制御信号の入力を受けて、画素部２２の行毎に撮像（電荷蓄積）を開始させ、垂直走査部２１を制御して、撮像が完了した行の画素部２２から順次にＲＬ画素信号を出力させる。

【0081】

水平方向の位相差の検出は、高速化や消費電力削減のため、Ｒ／Ｌ画素信号としてＧｒの左開口画素信号Ｇｒｌと右開口画素信号Ｇｒｒの対、及びＧｂの左開口画素信号Ｇｂｌと右開口画素信号Ｇｂｒの対を用いて行われる。Ｒの左開口画素信号Ｒｌと右開口画素信号Ｒｒの対、及びＢの左開口画素信号Ｂｌと右開口画素信号Ｂｒの対は必ずしも読み出される必要はない。読み出しの際には、図６の下側に示すようにしてＧｒｌとＧｒｒの対、及びＧｂｌとＧｂｒの対だけを詰めて読み出してもよい。

【0082】

図６の下側の図は、画素加算後にＡ／Ｄ変換された画素データのメモリ部２５のデータ配置のイメージ図である。図６の下側におけるｍ１列では、図６の上側の図のｍ３列の左開口側のＧｒｌ画素ｎ１，ｎ３，ｎ５，ｎ７，ｎ９行の加算値Ｇｒ_Ｌ（図６では、スペースの都合上、「Ｇｒ」とのみ記載）が配置され、ｍ２列では、図６の上側の図のｍ４列の右開口側のＧｒｒ画素ｎ１，ｎ３，ｎ５，ｎ７，ｎ９の加算値Ｇｒ_Ｒ（図６では、スペースの都合上、「Ｇｒ」とのみ記載）が配置される。また、同じくｍ１列では、図６の上側の図のｍ１列の左開口側のＧｂｌ画素ｎ２、ｎ４、ｎ６、ｎ８、ｎ１０行の加算値Ｇｂ_Ｌ（図６では、スペースの都合上、「Ｇｂ」とのみ記載）が配置され、ｍ２列では、図６の上側の図のｍ２列の右開口側のＧｂｒ画素ｎ２、ｎ４、ｎ６、ｎ８、ｎ１０行の加算値Ｇｂ_Ｒ（図６では、スペースの都合上、「Ｇｂ」とのみ記載）が配置される。図６の下側の図に示すように、その他の加算画素データも同様に配置される。

【0083】

このように、列毎に５画素のＧｒｌ、Ｇｒｒ画素、またはＧｂｌ、Ｇｂｒ画素の加算値Ｇｒ_Ｌ、Ｇｒ_Ｒ、Ｇｂ_Ｌ、Ｇｂ_ＲがＲ／Ｌ画素信号として、図６の下側の図表に示す形式でメモリ部２５に記憶される。撮像素子２０８は、Ｒ／Ｌ画素信号として、この加算値Ｇｒ_ＬとＧｒ_Ｒ、Ｇｂ_ＬとＧｂ_Ｒを出力し、焦点検出回路２１８ではこの画素データ用いて、後述する相関演算等が実施される。ＲｌとＲｒの対及びＢｌとＢｒの対も併せて読み出されてもよい。

【0084】

ここで、撮像素子２０８内の関連する処理について説明する。画素部２２から読み出されたＲ／Ｌ画素信号は、アナログ処理部２３においてＣＤＳ・ゲイン処理・画素加算処理等のアナログ処理を施される。アナログ処理された画素加算後のＲ／Ｌ画素信号は、ＡＤＣ処理部２４においてデジタル信号である画素加算後のＲ／Ｌ画素データに変換されメモリ部２５に記憶される。水平走査部２６は、素子制御部２９からの制御信号を受けてメモリ部２５に記憶されている画素加算後のＲ／Ｌ画素データ（図６の下側の図）を列順で出力部２７に転送させる。

【0085】

出力部２７は、水平走査部２６によって転送された画素データを配列して画素データ列を生成し、生成した画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。この画素データ列は、画素加算後Ｒ／Ｌ画素データ（焦点検出画素データｒｌ）として、図６の下側の図に示すような配列イメージの順に、ＤＲＡＭ２２６に記憶される。なお、画素加算は、アナログ処理部２３において実行されると説明したが、アナログ処理部２３で画素加算を行わずにＡＤＣ処理部２４やメモリ部２５において行われてもよい。

【0086】

次に、ＡＦ（ｒｌ）動作に関連するＡＦ用データ処理について説明する。ＡＦ（ｒｌ）動作による読み出し動作によってＤＲＡＭ２２６に記憶された画素データ列（画素加算後のＲ／Ｌ画素データ）は、ピントずれ量算出のための相関演算に用いられる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている画素加算後のＲ／Ｌ画素データ（図６の下側の図に示す焦点検出用画素データｒｌ）であるＧｒｌとタＧｒｒの対及びＧｂｌとＧｂｒの対を用いて相関演算を行う。

【0087】

次に、上述の図５のライブビュー（ＬＶ）動作について説明する。ＬＶ＋ＡＦ（ｔｂ）で示すＬＶ動作は、表示画素信号の生成と読み出し（ＬＶ）を主とした動作であるが、ＬＶ動作において第２の瞳分割方向に関する焦点検出画素信号の生成と読み出し（ＡＦ（ｔｂ））も行われる。ＬＶ動作に先立ち、ＣＰＵ２１２の指示に従い素子制御部２９は、画素部２２からＴ／Ｂ画素信号である上開口画素信号ｔ（Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔ）と下開口画素信号ｂ（Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂ）とが出力されるように画素部２２の設定を切り替える。また、素子制御部２９は、画素信号の読み出し時間の短縮を図るために、画素部２２から出力されるＴ／Ｂ画素信号の画素加算の設定を行う。

【0088】

次に、図７を用いて、ＬＶ動作における画素加算（平均）について説明する。ＬＶ動作では、第１の瞳分割方向である水平方向及び第２の瞳分割方向である垂直方向の両方で画素加算が行われるように設定がされる。図７は、図６と同様な配置のイメージ図だが、作図の都合上、Ｔ画素信号、Ｂ画素信号を上下ではなく左右に配置して示している。

【0089】

図７の上側の図において、水平方向に並ぶ３個の同一開口（上開口同士又は下開口同士）の画素信号（Ｔ画素信号同士又はＢ画素信号同士）を加算するとともに、垂直方向に並ぶ２個の同一開口（上開口同士又は下開口同士）の画素信号（Ｔ画素信号同士又はＢ画素信号同士）を加算するように設定されている。

【0090】

垂直方向の２／３画素加算は、垂直方向の同色の３画素のうちの２画素を加算し、図７のｍ１列では、ｎ１からｎ５に対応するＲｔの３画素のうちのｎ１、ｎ５の２画素を加算し、ｎ４からｎ８に対応するＧｂｔの３画素のうちのｎ４、ｎ８の２画素を加算するものである。水平方向の３／３画素加算は、水平方向に隣接する同色の３画素を加算し、図７のｎ１行では、Ｒｔの隣接するｍ１、ｍ５、ｍ７（Ｒｂの隣接するｍ２、ｍ６、ｍ８）の３画素を加算する。また、Ｇｒｔの隣接するｍ７、ｍ１１、ｍ１５（Ｇｒｂの隣接するｍ８、ｍ１２、ｍ１６）の３画素を加算する。

【0091】

垂直方向の位相差検出用として、垂直方向の検出分解能を確保するため垂直方向の加算数を２画素としている。垂直方向の画素加算を無として検出分解能をさらに向上させることが可能だが、読み出し行数が増加し読み出し速度が低下する（読出し効率が低い）問題が発生するため、２／３画素加算と設定し読み出す行数を１／３に減少させ読み出し時間を短縮している。図７では、２行目と３、４列目については加算が行われないように表記されてが、単に画素部２２の行数及び列数が３の倍数でないために生じる余りのためである。

【0092】

ＣＰＵ２１２は、撮像素子２０８（素子制御部２９）に対して制御信号を送信し、図７に示すように画素加算モードを設定した後、撮像素子２０８（素子制御部２９）に対して焦点検出画素信号を生成するために必要な露光時間での撮像を行うように制御信号を出力する。この露光時間は、被写体輝度や画素データの飽和の状態等に基づいて設定される。

【0093】

ここで、撮像素子２０８内のＬＶ動作に関連する処理について説明する。素子制御部２９は、ＣＰＵ２１２からの制御信号の入力を受信して画素部２２の行毎に撮像（電荷蓄積）を開始させ、垂直走査部２１を制御し、撮像が完了した行の画素部２２から順次にＴ／Ｂ画素信号を出力させる。画素部２２から読み出されたＴ／Ｂ画素信号は、アナログ処理部２３においてアナログ処理され画素加算後のＴ／Ｂ画素信号としてＡＤＣ処理部２４においてデジタル信号である画素加算後のＴ／Ｂ画素データに変換されて図７の下側の図に示すような配置でメモリ回部２５に記憶される。

【0094】

ＬＶ動作では、表示画像データを生成するために、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素データが必要であり、メモリ回路２５には、上開口画素データ（Ｔ画素データ）Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔと下開口画素データ（Ｂ画素データ）Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂのそれぞれが記憶される。水平走査部２６は、素子制御部２９からの制御信号を受けてメモリ部２５に記憶されている画素加算後のＴ／Ｂ画素データを列順で出力部２７に転送させる。出力部２７は、水平走査部２６によって転送された画素加算後のＴ／Ｂ画素データを配列して画素データ列を生成し、生成した画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。

【0095】

撮像素子２０８から出力されるこの画素データ列は、画素加算後のＴ／Ｂ画素データ（焦点検出用画素データｔｂ）として図７の下側の図に示すような形式でＤＲＡＭ２２６に記憶される。なお、図７において画素加算は、アナログ処理部２３で実行されると説明したが、アナログ処理部２３で実行せずにＡＤＣ処理部２４やメモリ部２５において実行するようにしよい。

【0096】

次に、ＬＶ動作に関連するＡＦ（ｔｂ）のデータ処理について説明する。ＬＶ動作による読み出し動作によってＤＲＡＭ２２６に記憶された画素データ列（画素加算後のＴ／Ｂ画素データ）は、ピントずれ量算出のための相関演算に用いられる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている画素加算後のＴ／Ｂ画素データ（図７の下側の図に示す焦点検出用画素データｔｂ）であるＧｒｔとＧｒｂの対及びＧｂｔとＧｂｂの対を用いて相関演算を行う。ＲｔとＲｂの対、ＢｔとＢｂの対を用いた相関演算も、必要に応じて実行される。また、ＬＶ動作に関連するＬＶ用データ処理について説明する。ＬＶ動作による読み出し動作によってＤＲＡＭ２２６に記憶された画素データ列（画素加算後のＴ／Ｂ画素データ）は、画像処理回路２１４により同色かつ同位置のＴ画素データとＢ画素データが加算されＲ、Ｇｒ、Ｇｂ、Ｂの画素データを有するＬＶ表示用画像データが生成される。ＣＰＵ２１２は、ＬＶ表示用画像データを使用して表示部２２２によりＬＶ表示を行う。

【0097】

次に、図８を用いて、高速連写モードにおける本露光（静止画フレーム）とＡＦ露光（位相差フレーム）とレンズの同期制御について説明する。図８は、連写モードかつコンティニュアスＡＦ（ＣＡＦ）モードでの電子シャッタによる静止画連写中に実行される動作を示す。例えば、ユーザが操作部２０６を操作して上記モードを設定する。また、ユーザにより２ｎｄレリーズスイッチがオンされた状態で、メカシャッタ２０２は全開状態での連写動作である。本実施形態に係る撮像装置は、撮像素子の複数の受光部の出力信号の全部を加算した加算信号に基づく静止画の連続撮影が可能である。

【0098】

図８において、ＶＤは撮像動作の垂直同期信号のタイミングを示し、横軸方向のＴ１～Ｔ１３は時刻を示す。時刻Ｔ１において、最初（静止画１コマ目）の本露光が開始され、時刻Ｔ２において１ライン目の露光が終了し、以後、時刻Ｔ４において２コマ目の本露光が開始され、時刻Ｔ７において３コマ目の本露光が開始され、時刻Ｔ１０において４コマ目の本露光が開始される。

【0099】

それぞれの本露光において、撮像素子２０８から４ＰＤ画素（図３Ａ参照）のフォトダイオードＰＤａ～ＰＤｄの画素信号の４ＰＤ加算値を読み出すことによって、画像用画素信号のみの静止画用画像データが取得される。この画像データは、静止画用の画像データとして処理され記録されると共に、ライブビュー表示用の画像データとして処理されライブビュー表示が実行される。

【0100】

また、本露光と本露光の間では、位相差検出用の焦点検出用画素の画素データが読み出される。時刻Ｔ３において、最初（１コマ目）の位相差検出用の露光が開始され、時刻Ｔ４において１ライン目の露光が終了し、以後、時刻Ｔ６において２コマ目の位相差検出用の露光が開始され、時刻Ｔ９において３コマ目の位相差検出用の露光が開始される。それぞれの位相差検出用の露光において、位相差検出用の画像データとして４ＰＤ分割（図３Ａ）のフォトダイオードの画素信号のＲ／Ｌ画素信号である加算値ＰＤａ＋ＰＤｂ，ＰＤｃ＋ＰＤｄ（水平位相差用）、フォトダイオードの画素信号のＴ／Ｂ画素信号であるＰＤａ＋ＰＤｃ，ＰＤｂ＋ＰＤｄ（垂直位相差用）が読み出される。

【0101】

本実施例では、撮像素子２０８にはＲＬ画素優先のポテンシャル障壁が設定されており、ダイナミックレンジがより大きいＲ／Ｌ画素信号を優先して読み出す処理を行う。つまり、位相差検出用露光ではＲ／Ｌ画素信号だけを読み出して焦点検出演算を行う。また、後述するようにＲ／Ｌ画素信号に基づきデータの飽和を回避するように露光制御（蓄積時間制御）を行う。Ｒ／Ｌ画素信号の露光／読み出し動作として前述の図５に示すＡＦ（ｒｌ）動作を実行してもよい。ダイナミックレンジがより広いＲ／Ｌ画素信号だけを使用することにより、位相差検出用露光読み出し動作の時間短縮、焦点検出動作の高精度化を可能とし、より高速な連写動作が可能となる。

【0102】

また、各位相差検出露光では、水平位相差用）、垂直位相差用の画素信号の露光読み出しの両方が連続して実行されてもよい。また、水平位相差用画素信号の露光読み出しとして前述のＡＦ（ｒｌ）動作、垂直位相差用画素信号の露光読み出しとして前述のＬＶ＋ＡＦ（ｔｂ）動作の両方が連続して実行されてもよい。また、時刻Ｔ３と時刻Ｔ４間の位相差検出露光は水平位相差用の画素信号、時刻Ｔ６と時刻Ｔ７間の位相差検出露光は垂直位相差用の画素信号の露光読み出しを行うというように、交互に水平位相差用／垂直位相差用の画素信号を切換えて露光読み出しを行ってもよい。また、画素毎に水平位相差用／垂直位相差用の露光読み出しを設定し、１フレームで両方の画素信号の露光、読み出しを同時に実行してもよい。このように位相差検出用の画像データが取得される。

【0103】

カメラ本体２００は、撮像同期信号ＶＤに同期するレンズ同期信号を交換レンズ１００に出力して通信を行う。このレンズ同期信号は、撮像同期信号ＶＤと周期を合わせてもよく、図８に示すように、撮像同期信号ＶＤに対して２倍の周期であってもよい。この例では、ＶＤは、時刻Ｔ１、Ｔ２、Ｔ４、Ｔ５、Ｔ７、Ｔ８、Ｔ１０、Ｔ１１、Ｔ１３のタイミングで出力される。一方、レンズ同期信号は、時刻ｔ１、ｔ４、ｔ７、ｔ１０、ｔ１３に出力され、ＶＤの２倍の周期である。なお、レンズ同期信号は、ＶＤと同一周期、２倍の周期以外にも、他の周期であってもよい。レンズ同期信号の位相は、図８に示すように撮像同期信号ＶＤの位相と完全に一致させてもよいし、ずらしてもよい。

【0104】

カメラ本体２００は、位相差検出の結果に基づき算出されるフォーカスレンズ駆動量（方向）をレンズ同期信号に同期してレンズ１００へ送信する。例えば、カメラ本体２００（ＣＰＵ２１２）は、ＶＤのＴ３－Ｔ４の位相差検出の結果に基づきフォーカスレンズ駆動量（方向）を算出し、レンズ１００へレンズ同期信号ｔ４の送信後にフォーカスレンズ駆動量（方向）を送信する。レンズＣＰＵ１０６は、受信したフォーカスレンズ駆動量（方向）に基づいてフォーカスレンズを駆動する。

【0105】

次に、図９Ａないし図９Ｃに示すフローチャートを用いて、焦点検出装置を含む撮像装置の動作について説明する。このフローは、撮像装置１のＡＦモードがコンティニュアスＡＦモードに設定され、図８とは異なる連写モードでありメカシャッタによる静止画撮影（本露光）を行う低速連写モードに設定されているときの動作を示している。コンティニュアスＡＦモードは、動く被写体に対して適したＡＦモードであり、被写体に追従するようにピント合わせを続行するＡＦモードである。例えば、ユーザが操作部２０６を操作して上記モードを設定する。このフローチャートは、カメラ本体２００内のＣＰＵ２１２が、本体側記憶部２２８に記憶されたプログラムに従って、カメラ本体２００および交換式レンズ１００内の各部を制御することによって実現する。

【0106】

ユーザが撮像装置１の電源をオン操作したことが検出されると、図９Ａに示すカメラ電源オンのフローが開始する。電源のオン操作が検出されると、まず１ｓｔレリーズスイッチがオンか否かについて判定する（Ｓ１）。ここでは、ＣＰＵ２１２は、操作部２０６の内のレリーズボタンの１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。ユーザは、被写体にピントを合わせ、露光を決定する場合には、レリーズボタンを半押しする。ユーザがレリーズボタンを半押し操作すると、この操作に応答して１ｓｔレリーズスイッチがオンの状態となる。

【0107】

ステップＳ１における判定の結果、１ｓｔレリーズスイッチがオンでない場合、ライブビュー（ＬＶ）露光読み出しを行う（Ｓ３）。ここでは、ＣＰＵ２１２は、メカシャッタ２０２を全開状態とするように駆動部２０４に対して制御信号を出力すると共に、絞り１０２ｂを所定量（例えば開放絞り）だけ駆動するように、レンズＣＰＵ１０６に対して制御信号を出力する。その後、ＣＰＵ２１２は、所定時間毎に（表示フレームレートで決まる時間）、撮像素子２０８に対して制御信号を出力し、撮像素子２０８によるＬＶ表示のための撮像を行う。ＬＶ表示のための撮像が完了する毎に、素子制御部２９は、画素部２２からの画素信号を読み出す。なお、画素信号の読み出しに際し、素子制御部２９は、画素部２２から出力される同一開口（同色）の画素信号を加算させて出力する。撮像素子２０８から出力された画素データは、表示用としてＤＲＡＭ２２６に記憶される。

【0108】

ステップＳ３において表示用画素データが記憶されると、次に、ＣＰＵ２１２はライブビュー（ＬＶ）表示を行い、画像処理回路２１４に表示画像データを生成させる。画像処理回路２１４は、撮像素子２０８から読み出された画素データに対して必要な処理を行って表示のための表示画像データを生成する。表示画像データは、同一の画素に属するフォトダイオードＰＤａ～ＰＤｄの画素データを加算平均することで得られる。この加算平均処理は、画像処理回路２１４に限らず、撮像素子２０８の内部で実行されてもよい。ＣＰＵ２１２は、画像処理回路２１４で生成された表示画像データに基づいて表示部２２２にＬＶ画像を表示させＬＶ表示を行うと、Ｓ１に戻る。

【0109】

ステップＳ１における判定の結果、１ｓｔレリーズスイッチがオンの場合には、次に、ＡＦ＆ＬＶ用露光＆読出しを行う（Ｓ５）。ＣＰＵ２１２は、図５にて説明したオートフォーカス（ＡＦ）及びＬＶ表示のための撮像と読み出しを行う。ＡＦ用の撮像と読み出しは、ＡＦ動作ＡＦ（ｒｌ）を、またＬＶ表示用の撮像と読み出しはＬＶ動作（ＬＶ＋ＡＦ（ｔｂ））を行う。ステップＳ５において算出された焦点検出用画素データｒｌ、ｔｂはＤＲＡＭ２２６に記憶され、位相差法による相関演算の際に使用される。また、画像処理回路２１４は、ＤＲＡＭ２２６に記憶された焦点検出用画素データｔｂの対をなすデータを加算して表示用画素データを生成し、この生成された表示用画素データをＤＲＡＭ２２６に記憶する。ＣＰＵ２１２は、ＤＲＡＭ２２６に記憶された表示用画素データに基づいてライブビュー表示を行う。

【0110】

続いて、相関演算・信頼性判定を行う（Ｓ７）。ここでは、ＣＰＵ２１２は、焦点検出回路２１８によって焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている対をなす焦点検出画素データｒｌ、ｔｂを用いて相関演算を行う。相関演算は、複数の所定のＡＦエリア（焦点検出領域）内の焦点検出画素データに基づいて、位相差に相当する２像間隔値を、ＡＦエリアについてそれぞれ生成する。相関演算が終了すると、次に、焦点検出回路２１８は、焦点検出の信頼性判定を行う。信頼性判定は、画素データから得られる被写体像のコントラストに相当する信頼性評価値や、相関演算の結果として算出される複数の相関値に基づいて判定される。

【0111】

信頼性判定を行うと、次に、Ｒ／Ｌ画素の飽和検出を行う（Ｓ９）。ＡＦ用露光読み出し（ＡＦ（ｒｌ））にて焦点検出用画素データとして読出したＲ／Ｌ画素データが飽和しているか否かを検出する。画素データと、Ｒ／Ｌ画素用に設定されている所定の閾値ＴＨ（飽和判定レベルの一例として１３００）との比較を行い、所定の閾値よりも大きい場合（信号量が大きいに相当）に飽和していると判定する。

【0112】

ステップＳ９における判定の結果、Ｒ／Ｌ画素が飽和していた場合は、露出補正量Ｔｖ_ＲＬ＋を１に設定する（Ｓ１１）。設定された露出補正量Ｔｖ＿ＲＬ＋は、次回のステップＳ５のＡＦ＆ＬＶ用露光＆読み出し（図５：ＡＦ（ｒｌ））での露光時間の補正に使用される。次回のＲ／Ｌ画素に対応する露光時間は１Ｅｖ分増加された露光時間（１／２の露光時間）に設定され、飽和しないように露光制御される。１Ｅｖは１例で、０．５Ｅｖや２Ｅｖの変化量でもよい。また、飽和と検出されたＲ／Ｌ画素の位置をＤＲＡＭ２２６に記憶させる。この飽和画素の位置情報は、飽和画素が複数の焦点検出領域のどの焦点検出領域に含まれるかを判別するために使用される（ステップＳ１７のエリア選択）。このように、Ｒ／Ｌ画素データが飽和しないように露光時間（蓄積時間）を設定しており、飽和判定レベルは、目標とする蓄積レベルとして使用されるので蓄積判定レベルともいう。

【0113】

ステップＳ１１において露出補正量を設定すると、またはステップＳ９における判定の結果、Ｒ／Ｌ画素の飽和を検出しなかった場合には、Ｔ／Ｂ画素の飽和検出を行う（Ｓ１３）。ＬＶ動作（ＬＶ＋ＡＦ（ｔｂ））において、焦点検出用画素データとして読出したＴ／Ｂ画素データが飽和しているか否かを検出する。画素データとＴ／Ｂ画素用に設定されている所定の閾値ＴＨ（飽和判定レベルの一例として４５０）との比較を行い、所定の閾値よりも大きい場合（信号量が大きいに相当）に飽和していると判定する。

【0114】

ステップＳ１３における判定の結果、ＴＢ画素が飽和していた場合は、露出補正量Ｔｖ＿ＴＢ＋を１に設定する（Ｓ１５）。設定された露出補正量Ｔｖ＿ＴＢ＋は、次回のステップＳ５のＡＦ＆ＬＶ用露光＆読み出し（図５：ＬＶ＋ＡＦ（ｔｂ））での露光時間の補正に使用される。つまり、次回のＴ／Ｂ画素に対応する露光時間は１Ｅｖ分増加された露光時間（１／２の露光時間）に設定され、飽和しないように露光制御される。１Ｅｖは１例で、０．５Ｅｖや２Ｅｖの変化量でもよい。また、飽和と検出されたＴ／Ｂ画素の位置をＤＲＡＭ２２６に記憶させる。この飽和画素の位置情報は、飽和画素が複数の焦点検出領域のどの焦点検出領域に含まれるかを判別するために使用される（ステップＳ１７のエリア選択）。このように、Ｔ／Ｂ画素データが飽和しないように露光時間（蓄積時間）を制御し、飽和判定レベルは、目標とする蓄積レベルとして使用されるので蓄積判定レベルともいう。

【0115】

ステップＳ１５において露出補正量を設定すると、またはステップＳ１３における判定の結果、Ｔ／Ｂ画素の飽和を検出しなかった場合には、次に、エリア選択を行う（Ｓ１７）。ここでは、焦点検出回路２１８は、信頼性判定によって信頼性が高いと判定された焦点検出領域の２像間隔値を用いてフォーカスレンズ１０２ａのピントずれ量（デフォーカス量）を算出し、このピントずれ量に基づいて、焦点検出領域（および対応するデフォーカス量）を選択する。例えば、最も近い被写体距離（最至近）に対応するデフォーカス量を示す焦点検出領域を選択する。エリア選択処理は、最至近被写体に限らず、顔検出による人の顔が存在するエリアを選択してもよく、ユーザがマニュアルで選択したエリアであってもよい。なお、エリア選択は、ＣＰＵ２１２が行ってもよい。エリア選択においては、飽和と検出されたＲ／Ｌ画素またはＴ／Ｂ画素のいずれかを所定数以上含む焦点検出領域を無効としてエリア選択の対象から除外する。飽和と検出された画素を含む焦点検出演算は、検出精度が低下するためである。所定数は、設定される条件（たとえば、焦点検出領域を構成する画素数等、に応じて適宜変更する。

【0116】

エリア選択を行うと、次に、合焦状態を判定する（Ｓ１９）。ここでは、ＣＰＵ２１２は、フォーカスレンズ１０２ａが合焦状態にあるか否かを判定する。すなわち、エリア選択処理において選択された焦点検出領域におけるピントずれ量が予め定められた許容範囲内であるか否かを判定し、許容範囲内であるときには合焦状態と判定する。

【0117】

ステップＳ１９における判定の結果、合焦状態でない場合には、フォーカスレンズ駆動を実行する（Ｓ２１）。ここでは、ＣＰＵ２１２は、ステップＳ１７において選択された焦点検出領域について算出されたフォーカスレンズ位置に、フォーカスレンズ１０２ａが駆動されるようにレンズＣＰＵ１０６と通信を行い、制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けると、駆動部１０４を通じてフォーカスレンズ１０２ａを指示された位置へ駆動する。フォーカスレンズ１０２ａを駆動すると、Ｓ１に戻る。

【0118】

ステップＳ１９における判定の結果、合焦状態の場合には、ＡＦ＆ＬＶ用露光読出しを行う（Ｓ２３）。ここでは、ＣＰＵ２１２は、ステップＳ５と同様に、オートフォーカス（ＡＦ）及びライブビュー（ＬＶ）表示のための撮像（露光）と読み出しを行う。撮像素子２０８から画素信号が読み出され、ＡＦのための焦点検出画素データがＤＲＡＭ２２６に記憶され、またＬＶのための表示用画素データがＤＲＡＭ２２６に記憶される。また、ＬＶのための表示用画素データを用いてライブビュー（ＬＶ）表示を行う。

【0119】

続いて、相関演算・信頼性判定を行う（Ｓ２５）。ここでは、ＣＰＵ２１２は、ステップＳ２３において読み出した画素データを用いて、ステップＳ７と同様に、焦点検出回路２１８によって焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている対をなす焦点検出用画素データを用いて相関演算を行う。相関演算の後、焦点検出回路２１８は、焦点検出の信頼性判定を行う。

【0120】

信頼性判定を行うと、次に、Ｒ／Ｌ画素データが飽和しているか否かの検出を行い（Ｓ２７）、この判定の結果、飽和していた場合には、露出補正量Ｔｖ＿ＲＬ＋を１に設定する（Ｓ２９）。露出補正量の設定を行うと、またはステップＳ２７における判定の結果、飽和していなかった場合には、次に、Ｔ／Ｂ画素が飽和しているか否かの判定を行い（Ｓ３１）、この判定の結果、飽和していた場合には、露出補正量Ｔｖ＿ＴＢ＋を１に設定する（Ｓ３３）。これらのステップＳ２７～Ｓ３３における処理は、前述とのステップＳ９～Ｓ１５の処理と同様であるので、詳しい説明を省略する。

【0121】

ステップＳ３３において露出補正量の設定を行うと、またはステップＳ３１における判定の結果、飽和していなかった場合には、次に、ピントずれ量を検出し（Ｓ３５）、エリアを選択する（Ｓ３７）。ステップＳ３５とＳ３７においては、ステップＳ１７と同様に、焦点検出回路２１８は、ステップＳ２５における信頼性判定の際に信頼性が高いと判定された焦点検出領域の２像間隔値を用いてフォーカスレンズ１０２ａのピントずれ量（デフォーカス量）を算出し、このピントずれ量に基づいて、焦点検出領域（および対応するデフォーカス量）を選択する。焦点検出領域（エリア）の選択例は、ステップＳ１７と同様であるので、詳しい説明を省略する。

【0122】

エリアを選択すると、次に、履歴情報を保存する（Ｓ３９）。ここでは、焦点検出回路２１８は、焦点検出に係る情報を履歴情報として例えばＤＲＡＭ２２６に保存する。焦点検出に係る情報は、例えばステップＳ１７で算出されたピントずれ量の情報、画素データ取得時刻、及び選択された焦点検出領域の情報を含む。なお、履歴情報の保存は、ＣＰＵ２１２が、焦点検出に係る情報をＤＲＡＭ２２６に保存するようにしてもよい。

【0123】

履歴情報を保存すると、次に、２ｎｄレリーズスイッチがオンか否かについて判定する（Ｓ４１）。ここでは、ＣＰＵ２１２が、操作部２０６の内の２ｎｄレリーズスイッチがオンされているか否かを判定する。ユーザは、静止画画像を撮影する場合にレリーズボタンを全押しする。ユーザがレリーズボタンを全押し操作すると、この操作に応答して２ｎｄレリーズスイッチがオンの状態となる。

【0124】

ステップＳ４１における判定の結果、２ｎｄレリーズスイッチがオンでない場合は、合焦状態か否かを判定する（Ｓ４３）。ここでは、ステップＳ１９と同様の処理を行い、判定の結果、合焦状態の場合には、Ｓ２３に戻る。

【0125】

一方、ステップＳ４３における判定の結果、合焦状態でない場合には、フォーカスレンズを駆動する（Ｓ４５）。ここでは、ＣＰＵ２１２は、ステップＳ２１と同様にフォーカスレンズ１０２ａをピントずれ量に基づいて適切なフォーカスレンズ位置に移動させる。フォーカスレンズ駆動を行うと、ステップＳ２３に戻る。

【0126】

ステップＳ４１に戻り、このステップにおける判定の結果、２ｎｄレリーズスイッチがオンの場合には、動体予測演算を行う（Ｓ４７）。ここでは、ＣＰＵ２１２は、焦点検出回路２１８に動体予測演算を実行させる。動体予測演算は、ステップＳ３９において記憶させた過去のピントずれ量演算の結果（フォーカスレンズ位置）と検出時刻の履歴に基づいて、今回の静止画の露光時において合焦となるフォーカスレンズ１０２ａの位置を予測する。

【0127】

動体予測演算を行うと、次に、シャッタ動作を開始する（Ｓ４９）。ここでは、ＣＰＵ２１２は、静止画取得のための撮像（本露光）を行うために、メカシャッタ２０２の動作を開始させる。このメカシャッタ２０２の動作は、本露光の前後のメカシャッタ２０２の開閉動作と、本露光の後でライブビュー及びＡＦのための撮像を開始するためのメカシャッタ２０２の全開動作とを含む（図９Ｃのフローには、シャッタ動作の開始のタイミングのみを記載している）。ＣＰＵ２１２は、シャッタ動作を開始すると、まず、メカシャッタ２０２を全閉状態とするように駆動部２０４の制御信号を切り替える。そして、ステップＳ５３において、本露光の間、メカシャッタ２０２を全開した後に一旦全閉する。その後、ＣＰＵ２１２は、メカシャッタ２０２を全開状態とするように駆動部２０４を制御する。

【0128】

シャッタ動作を開始すると、絞りの絞り込み駆動とフォーカスレンズ駆動（ＬＤ）を同時に開始する（Ｓ５１）。ここでは、ＣＰＵ２１２は、レンズＣＰＵ１０６に対してフォーカスレンズ１０２ａ及び絞り１０２ｂを同時に駆動させるように指示し、両者の動作を開始させる。フォーカスレンズ１０２ａの駆動位置は、ステップＳ４５の動体予測演算において予測された位置である。絞り１０２ｂの開口量は、直前の測光演算によって測定された被写体輝度に基づいて算出された絞り値に応じた開口量である。

【0129】

絞りとフォーカスレンズ駆動を行うと、次に、本露光を行う（Ｓ５３）。ここでは、ＣＰＵ２１２は、本露光を実行し、前述したように、メカシャッタ２０２によって予め決められた露光期間だけを露光させるように駆動部２０４を制御する。本露光は、静止画記録用の画像データを取得するための撮像であり、露光読出し動作では画素部ごとに４個のフォトダイオードの出力値を加算（４ＰＤ加算）した画素値を生成し出力する。ＣＰＵ２１２は、本露光の終了後に、撮像素子２０８から画素信号を読み出す動作を実行させ、画素信号の読み出し後、記録用の静止画データを生成するための処理を画像処理回路２１４に行わせる。画像処理回路２１４は、記録用の画像データの生成に必要な処理を行って記録用の静止画データを生成する。画像処理の完了後、ＣＰＵ２１２は、画像圧縮展開部２１６によって記録用の静止画データを圧縮する。圧縮の完了後、ＣＰＵ２１２は、圧縮された記録用の静止画データを画像ファイルとして記録媒体２３０に記録する。

【0130】

続いて、絞りＬＤ同時駆動（開放）を実行する（Ｓ５５）。ここでは、ＣＰＵ２１２は、レンズＣＰＵ１０６に対して絞り１０２ｂを開放させるように、またフォーカスレンズ１０２ａを目標位置へ駆動するように指示する。ステップＳ４７における動体予測演算によって予測された位置へ、ステップＳ５１においてフォーカスレンズ１０２ａを駆動している。しかしながら、本露光までの処理時間が限られるため目標位置に達せずに、駆動に残りが生ずることがある。ステップＳ５５では、このようなフォーカスレンズの駆動残り分を駆動するように指示する。

【0131】

続いて、１ｓｔレリーズスイッチがオンか否について判定する（Ｓ５７）。ここでは、ＣＰＵ２１２は、操作部２０６の内のレリーズボタンの１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンの場合には、ステップＳ２３に戻り、前述の処理を実行する。

【0132】

一方、ステップＳ５７における判定の結果、１ｓｔレリーズスイッチがオンでない場合には、カメラ電源がオフか否かを判定する（Ｓ５９）。ここでは、ＣＰＵ２１２は、カメラ本体２００の電源をオフするか否かを判定する。例えば、ユーザの操作部２０６の操作によって電源のオフが指示された場合、又は所定時間のユーザの操作部２０６の操作がない場合には電源をオフすると判定される。この判定の結果、カメラ本体２００の電源をオフしないと判定されたときには、処理はステップＳ１に戻る。一方、ステップＳ５９において、カメラ本体２００の電源をオフすると判定されたときには、このフローの処理は終了する。

【0133】

以上述べたように、本発明の一実施形態においては、４ＰＤのＬＴとＬＢの間、ＲＴとＲＢの間に位置する障壁Ｐｔｂのレベルを、ＬＴとＲＴの間、ＬＢとＲＢの間に位置する障壁Ｐｒｌのレベルよりも低く設定してＲＬ優先とする。これにより受光部ＬＴ、ＬＢ、ＲＴ、ＲＢのいずれか１つにおいて、障壁Ｐｔｂに関する電荷の飽和が発生しても、Ｒ画素（ＲＴ＋ＲＢ）、Ｌ画素（ＬＴ＋ＬＢ）としては電荷の飽和が発生しない。したがって、障壁Ｐｒｌ、Ｐｔｂのレベルを同一とする場合に比較して、Ｒ／Ｌ画素の信号電圧の蓄積判定レベル（飽和判定レベル）をより高くすることが可能であり、ダイナミックレンジを拡大することができる。なお、ＲＬ優先の代わりにＴＢ優先としてもよい。４ＰＤのＬＴとＬＢの間、ＲＴとＲＢの間に位置する障壁Ｐｔｂのレベルを、ＬＴとＲＴの間、ＬＢとＲＢの間に位置する障壁Ｐｒｌのレベルよりも高く設定してＴＢ優先と設定してもよい。また、４ＰＤ画素毎にＲＬ優先とＴＢ優先の障壁の一方を設定し、Ｒ／Ｌ画素信号を使用する場合はＲＬ優先の４ＰＤ画素を選択して使用し、Ｔ／Ｂ画素信号を使用する場合はＴＢ優先の４ＰＤ画素を選択して使用する構成としてもよい。

【0134】

次に、図１０および図１１を用いて、一実施形態の変形例について説明する。図１０および図１１は、撮像素子と焦点検出回路を含むブロック図である。撮像素子２０８において画素信号を増幅して出力することが可能な場合における、画素信号のＡ／Ｄ変換後のデジタル画素データ（以下、画素データ）の飽和判定レベルの設定方法について説明する。この例では、制御部（焦点検出回路２１８）は、撮像素子２０８の増幅率（ゲインともいう）を設定し、設定した増幅率に応じてＡ／Ｄ変換後の画素データの飽和判定レベルを設定する。なお、制御部は焦点検出回路２１８内に限らず、その一部の機能をＣＰＵ２１２等、他の回路等において実現してもよい。

【0135】

図１０において、撮像素子２０８は、図２に示す撮像素子２０８と同様であり、画素部２２から読み出された画素信号は、アナログ処理部２３において増幅処理され、ＡＤＣ処理部２４においてＡ／Ｄ変換された後、画素データとして出力される。なお、図２におけるメモリ部２５、水平走査部２６、出力部２７は、図１０において省略している。

【0136】

また、制御部（焦点検出回路２１８）内には、位相差画素列生成部２１８ａ、位相差画素データ加工部２１８ｂ、および相関演算部２１８ｃを有する。位相差画素列生成部２１８ａは、位相差画素列生成回路を有し、撮像素子２０８から出力される加算信号を、ＡＦエリア（焦点検出領域）単位の画素列として出力するブロックである。ＡＦエリアが、例えば１００個の場合、１００個の画素列分の出力を行う。

【0137】

位相差画素データ加工部２１８ｂは、位相差画素データ加工回路を有し、相関演算を行うための前処理（後述する照度補正等の各種補正）を行う。位相差画素データ加工部２１８ｂ内には、飽和検出部２１８ｂａが設けられている。この飽和検出部２１８ｂａは、飽和検出回路を有し、ＡＦエリア毎に、画素データが飽和判定レベルを超えた場合に、飽和ＮＧと判定し、その結果を出力する。飽和判定レベルについては、図１１を用いて後述する。相関演算部２１８ｃは、相関演算回路を有し、位相差画素データ加工部２１８ｂの出力を用いて、相関演算を行う。

【0138】

撮像素子２０８のゲインを変化させる場合と、画素信号の飽和レベルも変化するので、これに対応してデジタル出力である画素データの飽和判定レベルを変更する必要がある。撮像装置１では、画素データの飽和判定レベルとして、撮像素子２０８のゲインが１倍の時の画素信号の飽和判定レベルに対応するＡＤＣ処理部２４の出力値を記憶しておく。そして、焦点検出回路２１８は、ゲインを増加させる場合に、ゲイン倍率分だけ、飽和判定レベルを増加させる。この飽和判定レベルの値が、焦点検出回路２１８内のデジタルデータのダイナミックレンジを超える場合、飽和判定レベルは、そのダイナミックレンジの最大値で当て付かせる。

【0139】

図１１（ｂ）に撮像素子２０８におけるゲインに対する飽和判定レベルを示し、図１１（ａ）に撮像素子２０８におけるアナログゲインに対するＲＬ飽和判定レベルの変化をグラフで示す。図１１（ｂ）に示すように、Ｒ／Ｌ画素の飽和判定レベル（図９ＢのＳ２７参照）と、Ｔ／Ｂ画素の飽和判定レベル（図９ＢのＳ３１参照）は異なり（図４（ａ）参照）、ゲインに応じてＲ／Ｌ飽和判定レベルと、Ｔ／Ｂ飽和判定レベルを記憶しておく。焦点検出回路２１８（飽和検出部２１８ｂａ）は、図１１（ｂ）に従い、ゲインが増加するにつれて、図９ＢのステップＳ２７、Ｓ３１における飽和判定レベルを変更する。飽和検出部２１８ｂａは、飽和か否かを判定する画素データの条件、つまり、Ｒ／Ｌ画素データかＴ／Ｂ画素データか、ゲイン、に応じて飽和判定レベルを設定する。そして、画素データが飽和判定レベルを超えた場合に飽和していると判定する。なお、図１１では、焦点検出回路２１８内のデジタルデータを１２ビット（４０９６ＬＳＢ）で扱い、ダイナミックレンジの上限を１例として３８００ＬＳＢとしている。

【0140】

次に、図１２を用いて、第２の変形例として、光学系の収差により生ずる光量分布特性を補正するための照度補正を実行する場合に、照度補正を施す画素データの飽和検出について説明する。この例では、撮像素子２０８の出力するＲ／Ｌ画素データを読み出し、このＲ／Ｌ画素データに対して照度補正処理を行って補正後データを生成する。この補正を行う前の画素データを飽和判定レベルと比較して、補正前データが飽和しているか否かを判定する。

【0141】

撮像素子２０８のＲ／Ｌ画素（ＲＴ＋ＲＢ、ＬＴ＋ＬＢ）の受光感度特性と撮影レンズの光学特性によって導き出すことができる照度補正値（図１２）を用いて光量分布特性を補正する。補正後の画素データＰＩaftは、補正前の画素データＰＩpreと補正値Ｃを用いて、下記（１）式によって算出できる。位相差画素データ加工部２１８ｂは、下記（１）式の計算を実行する。なお、ｉは、画素番号であり、補正値は、通常１．０～５．０程度である。
ＰＩaft（ｉ）＝ＰＩpre（ｉ）×Ｃ（ｉ） ・・・（１）

【0142】

図１２は、ある特定の撮影レンズをカメラ本体に装着した時のＲ／Ｌ画素の補正値（照度補正値）Ｃを示す。図１２において、横軸は撮像素子２０８上における画素位置を示し、縦軸は補正値Ｃを示す。Ｌ開口の画素（Ｌ画素（ＬＴ＋ＬＢ））と、Ｒ開口の画素（Ｒ画素（ＲＴ＋ＲＢ））の補正値は、光学系の特性により撮像素子２０８の中心を境に左右対称となっている。補正値Ｃは、予め測定、または計算により求められメモリに記憶されている。各画素値に対して、上記（１）式を用いて補正することによって、照度補正を行うことができる。

【0143】

焦点検出回路２１８（飽和検出部２１８ｂａ）は、照度補正前の画素データＰＩpreがＲＬ飽和判定レベル（図１１）を超える場合は飽和していると判定する（図９Ａ：Ｓ９、図９Ｂ：Ｓ２７）。前述のように、飽和している画素データを含んで相関演算を行うと誤検出や検出精度の低下を招くため、飽和している画素データを所定個数以上、含むＡＦエリア（焦点検出領域）を検出不能とする。または、飽和している画素データを他の画素データ（例えば周辺の画素データ）に置換える等の処理を行って相関演算を行ってもよい。上記説明は、Ｒ／Ｌ画素データに関するが、Ｔ／Ｂ画素データ（ＲＴ＋ＬＴ／ＲＢ＋ＬＢ）についても同様であり、メモリに記憶されているＴ／Ｂ画素用の照度補正値を用いて照度補正を行う前に、ＴＢ飽和判定レベル（図１１（ｂ））を用いて飽和の判定を行う。このように、照度補正前の画素データについて飽和検出を行うことにより、適切な画素データだけを焦点検出演算にて使用し高精度な焦点検出が可能となる。

【0144】

次に第３の変形例について説明する。本実施形態においては、Ｒ画素データおよびＬ画素データをそれぞれ読み出す場合について説明した。画素データの読み出し方法の別の方法として、Ｒ画素（ＲＴ＋ＲＢ）信号を１ライン分読み出した後、同じ画素ラインの（Ｒ＋Ｌ）画素（４ＰＤ加算）を１ライン分読み出す方式がある。この読出し方式は、Ｒ画素のみの画素データ（Ｒ）と、Ｒ画素信号とＬ画素信号を加算した信号に対応する画素データ（Ｒ＋Ｌ）との２つの画素データの差分｛（Ｒ＋Ｌ）－Ｒ｝を算出することによって、Ｌ画素の画素データを取得することができる。この場合は、｛（Ｒ＋Ｌ）－Ｒ｝画素データに対して飽和判定レベルを超えているか否かを判断する。

【0145】

図１３は、Ｌ／Ｒ画素の電荷のイメージ図である。例えば、図１３に示すように、Ｌ画素の電荷ＣLが飽和して障壁を超え、Ｒ画素に電荷ＣRが漏れ出てしまっている状態では、Ｒ画素で光電変換した電荷ＣRとは別に、Ｌ画素からあふれた電荷ＣsがＲ画素に蓄積されてしまう。この場合、Ｒ画素は電荷が飽和していないので、Ｒ画素データの飽和判定により飽和となることはない。しかし、（Ｒ＋Ｌ）画素データとＲ画素データの差分｛（Ｒ＋Ｌ）－Ｒ｝を演算して求めたＬ画素データの飽和判定により飽和と判定される。従って、Ｌ画素の電荷の飽和が発生してしまっており飽和ＮＧと判断できる。この場合も、相関演算結果が不正確であることを正しく判断できる。

【0146】

以上説明したように、本発明の一実施形態における検出装置は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、複数の受光部は所定の複数の位相差検出方向に対応して設けられ、位相差検出方向に応じて複数の受光部の出力信号を加算して加算信号を出力することが可能な撮像素子（例えば、図３Ａ、図３Ｂ参照）と、撮像素子の加算信号に基づく位相差検出によって焦点検出または奥行き検出を行う制御部（例えば、図１の焦点検出回路２１８、ＣＰＵ２１２、図９ＢのＳ３５参照）を有する。また、撮像素子は、複数の位相差検出方向に応じて受光部の間のポテンシャル障壁の高さを異ならせている（例えば、図４（ａ）のＰｔｂとＰｒｌ参照）。制御部は、撮像素子へ特定の位相差検出方向を指示して撮像素子の蓄積動作を実行させ、位相差検出方向に応じて異なる蓄積判定レベルを設定し、加算信号と蓄積判定レベルに基づいて撮像素子の蓄積動作を制御する（例えば、図９ＡのＳ９、Ｓ１３、図９ＢのＳ２７、Ｓ３１参照）。このため、位相差検出用の画素の信号のダイナミックレンジをより大きくとることができ、ＡＦの精度向上と高速化が可能となる。

【0147】

なお、本発明の一実施形態においては、焦点検出回路２１８、画像処理回路２１４、画像圧縮展開部２１６、露出制御回路２２０等の全部または一部を、ＣＰＵ２１２およびその周辺回路と一体化してもよい。また、焦点検出回路２１８、画像処理回路２１４、画像圧縮展開部２１６、露出制御回路２２０等は、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウェア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウェア構成を利用してもよく、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。また、これらを適宜組み合わせてもよいことは勿論である。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することによって、各部としての機能を実行するようにしても構わない。

【0148】

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ（例えば、医療用内視鏡）、顕微鏡等の科学機器用のカメラ、工業用内視鏡、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、撮像面において位相差ＡＦを採用する撮影のための機器であれば、本発明を適用することができる。

【0149】

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを通じてダウンロードしたものでもよい。

【0150】

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

【0151】

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

【0152】

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0153】

１・・・撮像装置、２１・・・垂直走査部、２２・・・画素部、２３・・・アナログ処理部、２４・・・ＡＤＣ処理部、２５・・・メモリ部、２６・・・水平走査部、２７・・・出力部、２８・・・入力部、２９・・・素子制御部、３０・・・読出方法選択部、１００・・・交換式レンズ、１０２・・・撮像光学系、１０２ａ・・・フォーカスレンズ、１０２ｂ・・・絞り、１０４・・・駆動部、１０６・・・レンズＣＰＵ、１０８・・・レンズ側記憶部、２００・・・カメラ本体、２０２・・・メカシャッタ、２０４・・・駆動部、２０６・・・操作部、２０８・・・撮像素子、２１０・・・手振れ補正回路、２１２・・・ＣＰＵ、２１４・・・画像処理回路、２１６・・・画像圧縮展開部、２１８・・・焦点検出回路、２１８ａ・・・位相差画素列生成部、２１８ｂ・・・位相差画素データ加工部、２１８ｂａ・・・飽和検出部、２１８ｃ・・・相関演算部、２２０・・・露出制御回路、２２２・・・表示部、２２４・・・バス、２２６・・・ＤＲＡＭ、２２８・・・本体側記憶部、２３０・・・記録媒体

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13】

【図14】