特許 7180664 撮像素子および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-21

(45)【発行日】2022-11-30

(54)【発明の名称】撮像素子および撮像装置

(51)【国際特許分類】

   H04N 5/369 20110101AFI20221122BHJP

   H01L 27/146 20060101ALI20221122BHJP

【ＦＩ】

H04N5/369 600

H01L27/146 A

【請求項の数】 11

(21)【出願番号】P 2020204405

(22)【出願日】2020-12-09

(62)【分割の表示】P 2016108978の分割

【原出願日】2016-05-31

(65)【公開番号】P2021061605

(43)【公開日】2021-04-15

【審査請求日】2020-12-11

【前置審査】

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】木下 朗

【審査官】豊田 好一

(56)【参考文献】

【文献】特開２００７－２７９３１２（ＪＰ，Ａ）

【文献】特開２０１５－２２８４６６（ＪＰ，Ａ）

【文献】特開２０１５－１３３４６９（ＪＰ，Ａ）

【文献】特開２０１７－１５７８０４（ＪＰ，Ａ）

【文献】特開２０１６－０９２７９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０－３７８

Ｈ０１Ｌ ２７／１４－１４８

(57)【特許請求の範囲】

【請求項1】

光学系と第１マイクロレンズを透過した光の一部を遮光する第１遮光部と、光を光電変換して電荷を生成する第１光電変換部と、前記第１光電変換部で生成された電荷に基づく第１信号を出力する第１画素と、
前記光学系と第２マイクロレンズを透過した光の一部を遮光し、前記第１遮光部と面積が異なる第２遮光部と、光を光電変換して電荷を生成する第２光電変換部と、前記第２光電変換部で生成された電荷に基づく第２信号を出力する第２画素と、
前記光学系と第３マイクロレンズを透過した光を光電変換して電荷を生成する第３光電変換部と第４光電変換部と、前記第３光電変換部で生成された電荷に基づく第３信号と前記第４光電変換部で生成された電荷に基づく第４信号とを出力する第３画素と、
を備え、
前記第１画素の数および前記第２画素の数は、前記第３画素の数よりも少ない、
撮像素子。

【請求項2】

請求項１に記載の撮像素子において、
前記第１画素の数は、前記第３画素の数よりも少ない撮像素子。

【請求項3】

請求項１または２に記載の撮像素子において、
前記第１画素の数および前記第２画素の数は異なる撮像素子。

【請求項4】

請求項１から３のいずれか一項に記載の撮像素子において、
撮像面の第１領域における前記第１画素の数は、前記撮像面の前記第１領域よりも前記光学系の光軸から遠い前記撮像面の第２領域における前記第２画素の数よりも少ない撮像素子。

【請求項5】

請求項４に記載の撮像素子において、
前記撮像面の前記第１領域における前記第１画素の数は、前記撮像面の前記第１領域よりも前記光学系の光軸から遠い前記撮像面の前記第２領域における前記第１画素の数および前記第２画素の数よりも少ない撮像素子。

【請求項6】

請求項４または５に記載の撮像素子において、
前記撮像面の前記第１領域における前記第３画素に対する前記第１画素の数の比率は、前記撮像面の前記第２領域における前記第３画素に対する前記第１画素の数の比率よりも小さい撮像素子。

【請求項7】

請求項４から６のいずれか一項に記載の撮像素子において、
前記撮像面の前記第１領域における前記第３画素に対する前記第１画素の数および前記第２画素の数の比率は、前記撮像面の前記第２領域における前記第３画素に対する前記第１画素の数および前記第２画素の数の比率よりも小さい撮像素子。

【請求項8】

請求項１から７のいずれか一項に記載の撮像素子において、
前記第１画素の前記第１遮光部は、第１位置に開口部を有し、
前記第１画素の前記第２遮光部は、前記第１位置とは異なる第２位置に開口部を有する撮像素子。

【請求項9】

請求項１から８のいずれか一項に記載の撮像素子において、
前記第１信号と前記第２信号と前記第３信号と前記第４信号とは、前記光学系の焦点検出に用いられる撮像素子。

【請求項10】

請求項１から９のいずれか一項に記載の撮像素子において、
前記第３信号と前記第４信号とを加算した信号は、画像生成に用いられる撮像素子。

【請求項11】

請求項１から１０のいずれか一項に記載の撮像素子と、
前記撮像素子から出力された信号に基づいて画像データを生成する生成部と、
を備える撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子および撮像装置に関する。

【背景技術】

【0002】

従来から撮像面に瞳分割方式の焦点検出を行うための焦点検出用画素を設けた撮像素子が知られている。従来からピントが大きく外れているとき（大デフォーカス時）の焦点検出が難しいという問題があった。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－１０６９９４号公報

【発明の概要】

【0004】

第１の態様によると、撮像素子は、光学系と第１マイクロレンズを透過した光の一部を遮光する第１遮光部と、光を光電変換して電荷を生成する第１光電変換部と、前記第１光電変換部で生成された電荷に基づく第１信号を出力する第１画素と、前記光学系と第２マイクロレンズを透過した光の一部を遮光し、前記第１遮光部と面積が異なる第２遮光部と、光を光電変換して電荷を生成する第２光電変換部と、前記第２光電変換部で生成された電荷に基づく第２信号を出力する第２画素と、前記光学系と第３マイクロレンズを透過した光を光電変換して電荷を生成する第３光電変換部と第４光電変換部と、前記第３光電変換部で生成された電荷に基づく第３信号と前記第４光電変換部で生成された電荷に基づく第４信号とを出力する第３画素と、を備え、前記第１画素の数および前記第２画素の数は、前記第３画素の数よりも少ない。
第２の態様によると、撮像装置は、上述の撮像素子と、前記撮像素子から出力された信号に基づいて画像データを生成する生成部と、を備える。

【図面の簡単な説明】

【0005】

【図1】本発明の第１の実施の形態に係るカメラシステムの構成を模式的に示す断面図である。

【図2】撮像素子２１０の撮像面２０を模式的に示す平面図である。

【図3】撮像兼焦点検出画素３０１の説明図である。

【図4】第１焦点検出画素３０２ＮＲ、ＮＬの説明図である。

【図5】第２焦点検出画素３０２ＳＲ、ＳＬの説明図である。

【図6】第３焦点検出画素３０２ＬＲ、ＬＬの説明図である。

【図7】撮像素子２１０の撮像面２０を模式的に示す平面図である。

【図8】第１領域６０ａ内の一部を拡大した図である。

【図9】第２領域６０ｂ内の一部を拡大した図である。

【図10】第３領域６０ｃ内の一部を拡大した図である。

【図11】ボディＣＰＵ２２０が実行する制御処理のフローチャートである。

【図12】図１１のステップＳ３０から呼び出されるＡＦ処理のフローチャートである。

【図13】図１１のステップＳ３０から呼び出されるＡＦ処理のフローチャートである。

【図14】撮像素子２１０ａの構造を模式的に示す斜視図である。

【図15】撮像兼焦点検出画素３０１および焦点検出画素３０２を模式的に示す断面図である。

【図16】撮像素子２１０ａの第１領域６０ａ内の一部を拡大した平面図である。

【図17】撮像素子２１０ａの第２領域６０ｂ内の一部を拡大した平面図である。

【図18】撮像素子２１０ａの第３領域６０ｃ内の一部を拡大した平面図である。

【図19】合成対象の像面Ｓ上の光点Ｐからの光束と撮像素子２１０ａとを模式的に示した断面図である。

【図20】変形例に係る第１焦点検出画素の説明図である。

【図21】変形例に係る撮像面の説明図である。

【図22】変形例に係る撮像兼焦点検出画素の説明図である。

【発明を実施するための形態】

【0006】

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係るカメラシステムの構成を模式的に示す断面図である。なお図１では、本発明に特に関係する各部を中心に図示し、カメラシステム１を構成する他の各部については図示を省略している。以下、本発明に特に関係する各部を中心に説明し、他の各部については説明を省略する。

【0007】

カメラシステム１は、いわゆる一眼レフレックス方式のデジタルカメラである。カメラシステム１は、交換レンズ１００とカメラボディ２００とから構成される。ユーザは、カメラボディ２００に適合する（カメラボディ２００に装着可能な）複数の種類の交換レンズ１００からいずれか１つを選択してカメラボディ２００に装着し、撮影を行うことができる。図１には、複数の種類の交換レンズ１００のうちの一つを例示している。

【0008】

カメラボディ２００と交換レンズ１００とは、例えばバヨネット式のレンズマウント機構を有している。交換レンズ１００のカメラボディ２００への装着は、交換レンズ１００のマウント部をカメラボディ２００のマウント部に嵌め込むことにより行われる。

【0009】

交換レンズ１００は、結像光学系１１０と、レンズＣＰＵ１２０と、絞り１３０とを備える。結像光学系１１０は、レンズ１１１およびフォーカシングレンズ１１２から構成される。結像光学系１１０は、後述する撮像素子２１０の撮像面に被写体像を結像させる。結像光学系１１０の射出瞳位置は、交換レンズ１００の種類により異なる。

【0010】

カメラボディ２００は、撮像素子２１０と、ボディＣＰＵ２２０と、焦点調節部２３０と、ＲＯＭ２４０と、表示装置２５０とを備える。撮像素子２１０は、例えばＣＣＤやＣＭＯＳ等の撮像素子である。撮像素子２１０は、結像光学系１１０を通過した被写体光を受光して、撮像信号や焦点検出信号を出力する。ボディＣＰＵ２２０は、不図示のマイクロプロセッサおよびその周辺回路から構成される。ボディＣＰＵ２２０は、不揮発性の記憶媒体であるＲＯＭ２４０に予め記憶されている制御プログラムを読み込んで実行することにより、カメラボディ２００の各部の制御と、交換レンズ１００とのデータ通信を行う。焦点調節部２３０は、不図示のアクチュエータを備え、ボディＣＰＵ２２０の制御に基づいてフォーカシングレンズ１１２を光軸方向に駆動することにより、結像光学系１１０の焦点調節を行う。表示装置２５０は、例えば液晶ディスプレイ等の表示装置であり、ライブビュー画像や種々の設定画面等を表示する。

【0011】

ボディＣＰＵ２２０はソフトウェア形態により、第１焦点検出部２２１と第２焦点検出部２２２とを備える。これらの各部は、ボディＣＰＵ２２０がＲＯＭ２４０に格納されている所定の制御プログラムを実行することにより、ソフトウェア的に実現される。

【0012】

第１焦点検出部２２１は、後述する撮像兼焦点検出画素から出力された焦点検出信号に基づき、結像光学系１１０の焦点調節状態を検出する。第２焦点検出部２２２は、後述する焦点検出画素から出力された焦点検出信号に基づき、結像光学系１１０の焦点調節状態を検出する。

【0013】

（撮像素子２１０の説明）
図２（ａ）は、撮像素子２１０の撮像面２０を模式的に示す平面図である。なお、図２（ａ）では、説明の便宜上、撮像面２０の上下の辺に平行な方向（紙面左右方向）をＸ軸、撮像面２０の左右の辺に平行な方向（紙面上下方向）をＹ軸、撮像面２０の前後方向すなわち結像光学系１１０の光軸方向をＺ軸とする座標系を設定する。これ以降の図面についても、これと同一の座標系を設定する。

【0014】

図２（ａ）には、撮像面２０に重畳して、撮像面２０を左右方向（Ｘ軸方向）に二等分する垂直線ＯＸと、撮像面２０を上下方向（Ｙ軸方向）に二等分する水平線ＯＹとを図示している。垂直線ＯＸと水平線ＯＹとの交点は、結像光学系１１０の光軸と略一致する。図２（ａ）に図示した撮像面２０の全体のうち、撮像面２０の中央近傍（垂直線ＯＸと水平線ＯＹとの交点近傍）の領域２０ａを拡大した模式図を図２（ｂ）に示す。

【0015】

図２（ｂ）に示すように、撮像面２０には、多数の画素３０が二次元状に正方配列されている。画素３０には、撮像と焦点検出の両方に利用される撮像兼焦点検出画素３０１と、焦点検出にのみ利用される焦点検出画素３０２と、の２種類の画素が含まれるが、図２（ｂ）では両者を特に区別せずに図示している。以下、まず撮像兼焦点検出画素３０１について、特に撮像面２０の中央（垂直線ＯＸと水平線ＯＹとの交点）に位置する撮像兼焦点検出画素３０１ａに注目して説明する。

【0016】

図３（ａ）は、図２（ｂ）に図示した画素３０のうち、撮像面２０の中央（垂直線ＯＸと水平線ＯＹとの交点）に位置する撮像兼焦点検出画素３０１ａを拡大した平面図であり、図３（ｂ）はその撮像兼焦点検出画素３０１ａの断面図である。撮像兼焦点検出画素３０１ａは、マイクロレンズ３１と、カラーフィルタ３２と、一対の光電変換部３４Ｌ、３４Ｒとを有する。一対の光電変換部３４Ｌ、３４Ｒは、円をＹ軸方向に沿って分割した略半円の形状を有している。すなわち一対の光電変換部３４Ｌ、３４Ｒは、Ｘ軸方向（焦点検出方向）に沿って配列されている。一対の光電変換部３４Ｌ、３４ＲのＸ軸方向の幅は、最大でＷ１である。

【0017】

マイクロレンズ３１は、撮像兼焦点検出画素３０１ａへの入射光を一対の光電変換部３４Ｌ、３４Ｒに集光する。この入射光は、カラーフィルタ３２を介して一対の光電変換部３４Ｌ、３４Ｒに入射する。カラーフィルタ３２は、画素ごとに赤、青、緑のいずれかの光を透過し、他の光を透過しないように形成される。撮像兼焦点検出画素３０１ａのカラーフィルタ３２は、いわゆるベイヤ配列を成すように構成される。カラーフィルタ３２と一対の光電変換部３４Ｌ、３４Ｒとの間には配線層３３が設けられている。配線層３３は、一対の光電変換部３４Ｌ、３４Ｒへの入射光を遮らないよう、画素と画素との間の部分に配置される。

【0018】

図３（ｂ）に図示した破線４１は、マイクロレンズ３１の光軸を表している（以下、光軸４１と呼ぶ）。また、図３（ｂ）に図示した破線４２は、光電変換部３４Ｌと光電変換部３４Ｒとの分割位置中央を表している（以下、分割線４２と呼ぶ）。光電変換部３４Ｌと光電変換部３４Ｒは、分割線４２に対して対称な形状を有すると共に、分割線４２に対して対称に配置される。

【0019】

一対の光電変換部３４Ｌ、３４Ｒは、例えばフォトダイオード等であり、入射光を光電変換した光電変換信号を出力する。撮像兼焦点検出画素３０１ａは、光電変換部３４Ｌにより出力された光電変換信号と、光電変換部３４Ｒにより出力された光電変換信号とを個別に出力する。これら一対の光電変換信号を加算した信号は、一対の光電変換部３４Ｌ、３４Ｒの外形と略一致する単一の光電変換部が出力する撮像信号と略同一の信号である。つまり撮像兼焦点検出画素３０１ａは、撮像信号を出力することができる。

【0020】

一方、光電変換部３４Ｌにより出力された光電変換信号と、光電変換部３４Ｒにより出力された光電変換信号は、結像光学系１１０の射出瞳の一対の領域を通過した一対の光束に対応する。従って、Ｘ軸方向（所定の焦点検出方向であり、第１方向とも称する）に沿って一列に配列された多数の撮像兼焦点検出画素３０１ａの光電変換部３４Ｒが出力した光電変換信号から成る信号と、それら多数の撮像兼焦点検出画素３０１ａの光電変換部３４Ｌが出力した光電変換信号から成る信号と、の位相差を検出することで、結像光学系１１０の焦点評価値（デフォーカス量）を演算することができる。つまり、撮像兼焦点検出画素３０１ａは、周知の位相差方式の焦点検出演算を行うことが可能な焦点検出信号を出力することもできる。

【0021】

以上のように、撮像兼焦点検出画素３０１ａが有する一対の光電変換部３４Ｌ、３４Ｒは、撮像信号としても、瞳分割方式の焦点検出信号としても利用される光電変換信号を出力する。なお、一対の光電変換信号を加算して撮像信号とする工程や、一対の光電変換信号を焦点検出信号とする工程は、撮像兼焦点検出画素３０１ａが実行してもよいし、撮像素子２１０内に設けられた専用の回路が実行してもよいし、撮像素子２１０の外部に設けられた専用の回路が実行してもよいし、ボディＣＰＵ２２０が実行してもよい。

【0022】

次に、撮像兼焦点検出画素３０１ａよりも、紙面右方向（＋Ｘ方向）に４画素分だけ離れた別の撮像兼焦点検出画素３０１ｂ（図２（ｂ）参照）に注目して説明する。図３（ｃ）は、撮像兼焦点検出画素３０１ｂの断面図である。撮像兼焦点検出画素３０１ｂも撮像兼焦点検出画素３０１ａと同様に、マイクロレンズ３１と、カラーフィルタ３２と、一対の光電変換部３４Ｌ、３４Ｒとを有する。ただし、図３（ｂ）と図３（ｃ）とを比較して明らかなとおり、撮像兼焦点検出画素３０１ａは、マイクロレンズ３１の光軸４１の位置と、一対の光電変換部３４Ｌ、３４Ｒの分割位置中央を表す分割線４２の位置がＸ軸方向について略一致しているのに対し、撮像兼焦点検出画素３０１ｂは、光軸４１と分割線４２とがＸ軸方向について距離４０だけ離れている。

【0023】

このように、撮像面２０の中央から離れた位置にある撮像兼焦点検出画素３０１ｂにおいては、マイクロレンズ３１の光軸４１の位置と、一対の光電変換部３４Ｌ、３４Ｒの分割線４２とが離れており、その距離４０は、撮像面２０の中央からの距離が大きいほど大きくなる。結像光学系１１０を通過した光束は、図３（ｃ）の紙面左上方向から紙面右下方向に向かって撮像兼焦点検出画素３０１ｂに入射することになるので、集光性を高めるため、マイクロレンズ３１が入射光の角度に応じた距離４０だけずらして配置される。なお、図３（ｂ）、（ｃ）ではＸ軸方向のずれについてのみ説明したが、Ｙ軸方向についても同様に、マイクロレンズ３１の位置と一対の光電変換部３４Ｌ、３４Ｒの位置とが異なるように配置される。

【0024】

次に、焦点検出画素３０２について説明する。撮像素子２１０は、上述した撮像兼焦点検出画素とは別に、第１焦点検出画素３０２ＮＬ、３０２ＮＲ、第２焦点検出画素３０２ＳＬ、３０２ＳＲ、第３焦点検出画素３０２ＬＬ、３０２ＬＲ、第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲ、第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲ、という多種類の焦点検出画素を有している。これらの焦点検出画素が配置されている場所については後に詳述するものとし、以下では、まずこれらの焦点検出画素の構造について説明する。

【0025】

図４（ａ）は、第１焦点検出画素３０２ＮＲの断面図である。第１焦点検出画素３０２ＮＲは、マイクロレンズ３１と、光電変換部３４と、遮光部材３５とを有する。前述の撮像兼焦点検出画素３０１ｂと第１焦点検出画素３０２ＮＲとの差は、カラーフィルタ３２を有していないこと、一対の光電変換部３４Ｌ、３４Ｒの代わりに、分割されていない１つの光電変換部３４を有していること、および、遮光部材３５を有していることである。

【0026】

遮光部材３５は、入射光を遮光する薄膜（遮光膜）である。遮光部材３５の所定位置（第１位置と称する）には、開口部３６ＮＲが設けられている。光電変換部３４には、開口部３６ＮＲを通過した光束のみが入射し、他の光束は遮光部材３５により遮光されて光電変換部３４に入射しない。開口部３６ＮＲのＸ軸方向（焦点検出方向）の幅はＷ２であり、これは図３に図示した光電変換部３４Ｌや光電変換部３４ＲのＸ軸方向の幅Ｗ１よりも小さい。

【0027】

図４（ｂ）は、第１焦点検出画素３０２ＮＬの断面図である。第１焦点検出画素３０２ＮＬは第１焦点検出画素３０２ＮＲとほぼ同一の構成を有しており、遮光部材３５に開口部３６ＮＲの代わりに開口部３６ＮＬを設けている点が、第１焦点検出画素３０２ＮＲとの差異である。開口部３６ＮＬは、開口部３６ＮＲと同一の大きさ且つ同一の形状を有しているが、遮光部材３５上の位置が開口部３６ＮＲと異なる。

【0028】

開口部３６ＮＲ、３６ＮＬは、一点鎖線４４Ｎを中心として、その左右に位置している。つまり、一点鎖線４４Ｎは、開口部３６ＮＲ、３６ＮＬの分割中心を定める直線である。以下の説明では、一点鎖線４４Ｎを分割線４４Ｎと呼ぶ。第１焦点検出画素３０２ＮＲは、分割線４４Ｎの右側に形成された被写体の光像に対応する受光信号を出力し、第１焦点検出画素３０２ＮＬは、分割線４４Ｎの左側に形成された被写体の光像に対応する受光信号を出力する。換言すると、第１焦点検出画素３０２ＮＲ、３０２ＮＬは、瞳分割された一対の光束をそれぞれ受光して、一対の焦点検出信号を出力する。

【0029】

焦点検出方向（Ｘ軸方向）における開口部３６ＮＲ、３６ＮＬの幅は、図３（ａ）～（ｃ）で説明した光電変換部３４Ｒ、３４Ｌの焦点検出方向（Ｘ軸方向）における幅よりも小さい。つまり、第１焦点検出画素３０２ＮＲ、３０２ＮＬの光電変換部３４には、撮像兼焦点検出画素３０１の光電変換部３４Ｒ、３４Ｌよりも制限された光束が入射する。従って、特にデフォーカス量が大きい場合、すなわち焦点調節の対象とする被写体部分からピントが大きく外れている場合、第１焦点検出画素３０２ＮＲ、３０２ＮＬから出力される焦点検出信号は、撮像兼焦点検出画素３０１から出力される焦点検出信号に比べて、コントラストが強くなる。そのため、撮像兼焦点検出画素３０１から出力される焦点検出信号では位相差が検出しにくいような場合であっても、第１焦点検出画素３０２ＮＲ、３０２ＮＬから出力される焦点検出信号により位相差の検出を行うことが可能である。

【0030】

なお、以下の説明において、開口部３６ＮＲ、３６ＮＬの焦点検出方向における幅が光電変換部３４Ｒ、３４Ｌの焦点検出方向（Ｘ軸方向）における幅よりも小さいことを指して、「光電変換部３４の焦点検出方向（Ｘ軸方向）における幅は、光電変換部３４Ｒ、３４Ｌの焦点検出方向（Ｘ軸方向）における幅よりも小さい」と言うことがある。つまり、「光電変換部３４の焦点検出方向（Ｘ軸方向）における幅」とは、光電変換部３４の実際の幅ではなく、光電変換部３４に対する入射光の入射範囲の幅を指しているので、「光電変換部３４の焦点検出方向（Ｘ軸方向）における幅が、光電変換部３４Ｒ、３４Ｌの焦点検出方向（Ｘ軸方向）における幅よりも小さい」とは、光電変換部３４を実際に小さな幅になるように形成した場合や、光電変換部３４に入射する光の入射範囲が小さな幅になるように遮光部材３５等を設けた場合を含んでいる。

【0031】

分割線４４Ｎは、光電変換部３４を紙面左右方向（Ｘ軸方向）に二等分する分割線４２と略一致する。図４（ａ）、（ｂ）には、結像光学系１１０の射出瞳の主光線のうち、マイクロレンズ３１の頂点を通る主光線４３Ｎを図示している。主光線４３Ｎは、マイクロレンズ３１の光軸４１に対して角度θＮを成す。分割線４４Ｎの位置は、第１焦点検出画素３０２ＮＲ、３０２ＮＬが想定する主光線４３Ｎの位置に対応している。

【0032】

図５（ａ）は、第２焦点検出画素３０２ＳＲの断面図であり、図５（ｂ）は、第２焦点検出画素３０２ＳＬの断面図である。第２焦点検出画素３０２ＳＲ、３０２ＳＬは、それぞれ図４（ａ）、（ｂ）に示した第１焦点検出画素３０２ＮＲ、３０２ＮＬとほぼ同一の構成を有しており、遮光部材３５に開口部３６ＮＲ、３６ＮＬの代わりに開口部３６ＳＲ、３６ＳＬを設けている点が、第１焦点検出画素３０２ＮＲ、３０２ＮＬとの差異である。

【0033】

開口部３６ＳＲ、３６ＳＬは、それぞれ開口部３６ＮＲ、３６ＮＬと、略同一の大きさ、略同一の形状を有する。開口部３６ＳＲ、３６ＳＬは、二点鎖線４４Ｓを中心として、その左右に位置している。つまり、二点鎖線４４Ｓは、開口部３６ＳＲ、３６ＳＬの分割中心を定める直線である。以下の説明では、二点鎖線４４Ｓを分割線４４Ｓと呼ぶ。

【0034】

分割線４４Ｓは、図４（ａ）、（ｂ）に示した分割線４４Ｎよりも相対的に右側に位置している。従って、分割線４４Ｓは、光電変換部３４を紙面左右方向（Ｘ軸方向）に二等分する分割線４２から右方向に所定距離だけ離れた位置に存在する。

【0035】

図５（ａ）、（ｂ）には、結像光学系１１０の射出瞳の主光線のうち、マイクロレンズ３１の頂上を通る主光線４３Ｓを図示している。主光線４３Ｓは、マイクロレンズ３１の光軸４１に対して角度θＳを成す。角度θＳは、図４（ａ）、（ｂ）に図示した角度θＮよりも大きい。つまり、結像光学系１１０の射出瞳が相対的に近い位置にあり、第１焦点検出画素３０２ＮＲ、３０２ＮＬの開口部３６ＮＲ、３６ＮＬに被写体光が入射しない場合であっても、開口部３６ＳＲ、３６ＳＬには被写体光が入射する。分割線４４Ｓの位置は、第２焦点検出画素３０２ＳＲ、３０２ＳＬが想定する主光線４３Ｓの位置に対応している。このように、開口部３６ＮＲが第１位置に配置されているのに対し、開口部３６ＳＲは、第１位置とは異なる第２位置に配置されている。

【0036】

図６（ａ）は、第３焦点検出画素３０２ＬＲの断面図であり、図６（ｂ）は、第３焦点検出画素３０２ＬＬの断面図である。第３焦点検出画素３０２ＬＲ、３０２ＬＬは、それぞれ図４（ａ）、（ｂ）に示した第１焦点検出画素３０２ＮＲ、３０２ＮＬとほぼ同一の構成を有しており、遮光部材３５に開口部３６ＮＲ、３６ＮＬの代わりに開口部３６ＬＲ、３６ＬＬを設けている点が、第１焦点検出画素３０２ＮＲ、３０２ＮＬとの差異である。

【0037】

開口部３６ＬＲ、３６ＬＬは、それぞれ開口部３６ＮＲ、３６ＮＬと、略同一の大きさ、略同一の形状を有する。開口部３６ＬＲ、３６ＬＬは、二点鎖線４４Ｌを中心として、その左右に位置している。つまり、二点鎖線４４Ｌは、開口部３６ＬＲ、３６ＬＬの分割中心を定める直線である。以下の説明では、二点鎖線４４Ｌを分割線４４Ｌと呼ぶ。

【0038】

分割線４４Ｌは、図４（ａ）、（ｂ）に示した分割線４４Ｎよりも相対的に左側に位置している。従って、分割線４４Ｌは、光電変換部３４を紙面左右方向（Ｘ軸方向）に二等分する分割線４２から左方向に所定距離だけ離れた位置に存在する。

【0039】

図６（ａ）、（ｂ）には、結像光学系１１０の射出瞳の主光線のうち、マイクロレンズ３１の頂点を通る主光線４３Ｓを図示している。主光線４３Ｌは、マイクロレンズ３１の光軸４１に対して角度θＬを成す。角度θＬは、図４（ａ）、（ｂ）に図示した角度θＮよりも小さい。つまり、結像光学系１１０の射出瞳が相対的に遠い位置にあり、第１焦点検出画素３０２ＮＲ、３０２ＮＬの開口部３６ＮＲ、３６ＮＬに被写体光が入射しない場合であっても、開口部３６ＬＲ、３６ＬＬには被写体光が入射する。分割線４４Ｌの位置は、第３焦点検出画素３０２ＬＲ、３０２ＬＬが想定する主光線４３Ｌの位置に対応している。

【0040】

焦点検出画素には更に、第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲ（共に不図示）と、第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲ（共に不図示）とが存在する。第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲは、それぞれ第１焦点検出画素３０２ＮＬ、３０２ＮＲに対応し、遮光部材３５に設けられた開口部の分割中心が、第１焦点検出画素３０２ＮＬ、３０２ＮＲにおける分割線４４Ｎと、第３焦点検出画素３０２ＬＬ、３０２ＬＲにおける分割線４４Ｌとの間に存在する。つまり、結像光学系１１０の射出瞳が、第１焦点検出画素３０２ＮＬ、３０２ＮＲが想定している位置よりも遠く、且つ第３焦点検出画素３０２ＬＬ、３０２ＬＲが想定している位置よりも近い位置にある場合に、焦点検出信号を好適に出力することができる。第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲは、それぞれ第１焦点検出画素３０２ＮＬ、３０２ＮＲに対応し、遮光部材３５に設けられた開口部の分割中心が、第１焦点検出画素３０２ＮＬ、３０２ＮＲにおける分割線４４Ｎと、第２焦点検出画素３０２ＳＬ、３０２ＳＲにおける分割線４４Ｓとの間に存在する。つまり、結像光学系１１０の射出瞳が、第１焦点検出画素３０２ＮＬ、３０２ＮＲが想定している位置よりも近く、且つ第２焦点検出画素３０２ＳＬ、３０２ＳＲが想定している位置よりも遠い位置にある場合に、焦点検出信号を好適に出力することができる。

【0041】

以上のように、撮像素子２１０は、５種類の焦点検出画素（第１焦点検出画素３０２ＮＬ、３０２ＮＲ、第２焦点検出画素３０２ＳＬ、３０２ＳＲ、第３焦点検出画素３０２ＬＬ、３０２ＬＲ、第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲ、第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲ）を有しており、それら５種類の焦点検出画素は、想定する射出瞳位置がそれぞれ異なっている。つまり、それぞれ異なる結像光学系１１０に対応している。射出瞳の位置は、例えば交換レンズ１００を異なる種類のものに交換したり、焦点距離が可変ないわゆるズームレンズにおいてズーム位置を変化させたりした場合に変化するが、本実施形態のカメラシステム１であれば、射出瞳がどのような位置にあっても、いずれかの焦点検出画素から確実に焦点検出信号を得ることができる。

【0042】

次に、以上で説明した多種類の焦点検出画素の配置について説明する。図７は、撮像素子２１０の撮像面２０（つまり撮影画面）を模式的に示す平面図である。いま、撮像面２０を左右方向に５等分した５つの領域を考える。個々の領域は、それぞれ長辺が垂直線ＯＸに平行な長方形の外形を有する。それら５つの領域のうち、撮像面２０の中心を含む領域を第１領域６０ａと定義する。また、第１領域６０ａに隣接する２つの領域を第２領域６０ｂと定義する。更に、撮像面２０の左右端に隣接する残り２つの領域を第３領域６０ｃと定義する。本実施形態では、焦点検出画素を左右方向（Ｘ軸方向）に一列に配列した焦点検出画素列６１を、第１領域６０ａ、第２領域６０ｂ、第３領域６０ｃ内に複数設けている。

【0043】

第２領域６０ｂは、第１領域６０ａよりも、結像光学系１１０の光軸からの紙面左右方向（Ｘ軸方向）に沿った距離が長い。すなわち、第２領域６０ｂは、第１領域６０ａよりも、像高が高い領域である。第３領域６０ｃは、第１領域６０ａおよび第２領域６０ｂよりも、結像光学系１１０の光軸からの紙面左右方向（Ｘ軸方向）に沿った距離が長い。すなわち、第３領域６０ｃは、第１領域６０ａおよび第２領域６０ｂよりも、像高が高い領域である。

【0044】

第１領域６０ａ内の一部を拡大した図を図８に示す。なお、図８において、「Ｒ」、「Ｇ」、「Ｂ」という文字は、それぞれ赤、緑、青のカラーフィルタ３２を有する撮像兼焦点検出画素３０１を表し、「ＮＬ」、「ＮＲ」という文字は、それぞれ第１焦点検出画素３０２ＮＬ、３０２ＮＲを表す。

【0045】

図８に示すように、第１領域６０ａ内の焦点検出画素列６１Ｎには、第１焦点検出画素３０２ＮＬ、３０２ＮＲが、左右方向（Ｘ軸方向）に沿って、一定間隔ｄごとに交互に配列されている。例えば、左から右に向かって、第１焦点検出画素３０２ＮＬ、複数の撮像兼焦点検出画素３０１ａ、第１焦点検出画素３０２ＮＲ、複数の撮像兼焦点検出画素３０１ａ、第１焦点検出画素３０２ＮＬ、…のように画素３０が配列される。つまり、第１領域６０ａ内において、撮像兼焦点検出画素３０１の一部が、第１焦点検出画素３０２ＮＬ、３０２ＮＲに置き換えられている。

【0046】

図７に示すように、第２領域６０ｂには、焦点検出画素列６１が、第１領域６０ａよりも多く設けられている。第２領域６０ｂ内の一部を拡大した図を図９に示す。なお図９では、第２焦点検出画素３０２ＳＬ、３０２ＳＲ、第３焦点検出画素３０２ＬＬ、３０２ＬＲを、それぞれ「ＳＬ」、「ＳＲ」、「ＬＬ」、「ＬＲ」という文字で表現している。第２領域６０ｂ内には、焦点検出画素列６１Ｎと、焦点検出画素列６１Ｓと、焦点検出画素列６１Ｌと、の３種類の焦点検出画素列６１が、それぞれ複数設けられている。

【0047】

焦点検出画素列６１Ｎには、第１焦点検出画素３０２ＮＬ、３０２ＮＲが、左右方向（Ｘ軸方向）に沿って一定間隔ｄごとに交互に配列されている。焦点検出画素列６１Ｓには、第２焦点検出画素３０２ＳＬ、３０２ＳＲが、左右方向（Ｘ軸方向）に沿って一定間隔ｄごとに交互に配列されている。焦点検出画素列６１Ｌには、第３焦点検出画素３０２ＬＬ、３０２ＬＲが、左右方向（Ｘ軸方向）に沿って一定間隔ｄごとに交互に配列されている。つまり、第２領域６０ｂ内において、撮像兼焦点検出画素３０１の一部が、第１焦点検出画素３０２ＮＬ、３０２ＮＲ、第２焦点検出画素３０２ＳＬ、３０２ＳＲ、第３焦点検出画素３０２ＬＬ、３０２ＬＲに置き換えられている。

【0048】

図７に示すように、第３領域６０ｃには、焦点検出画素列６１が、第２領域６０ｂよりも更に多く設けられている。第３領域６０ｃ内の一部を拡大した図を図１０に示す。なお図１０では、第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲ、第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲを、それぞれ「ＳＮＬ」、「ＳＮＲ」、「ＬＮＬ」、「ＬＮＲ」という文字で表現している。第３領域６０ｃ内には、焦点検出画素列６１Ｎと、焦点検出画素列６１Ｓと、焦点検出画素列６１Ｌと、焦点検出画素列６１ＳＮと、焦点検出画素列６１ＬＮと、の計５種類の焦点検出画素列６１が、それぞれ複数設けられている。

【0049】

焦点検出画素列６１ＳＮには、第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲが、左右方向（Ｘ軸方向）に沿って一定間隔ｄごとに交互に配列されている。焦点検出画素列６１ＬＮには、第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲが、左右方向（Ｘ軸方向）に沿って一定間隔ｄごとに交互に配列されている。つまり、第３領域６０ｃ内において、撮像兼焦点検出画素３０１の一部が、第１焦点検出画素３０２ＮＬ、３０２ＮＲ、第２焦点検出画素３０２ＳＬ、３０２ＳＲ、第３焦点検出画素３０２ＬＬ、３０２ＬＲ、第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲ、第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲに置き換えられている。

【0050】

次に、第１焦点検出部２２１および第２焦点検出部２２２による焦点検出処理について説明する。焦点検出処理の開始時点で、撮影画面には予め１つの焦点検出エリアが設定されている。焦点検出エリアは、例えばユーザが不図示のボタン等の操作部材により手動で設定してもよいし、顔認識等の周知の主要被写体認識処理によってボディＣＰＵ２２０が自動的に設定してもよい。

【0051】

焦点検出処理において、まず第２焦点検出部２２２が、焦点検出エリアにおいて、焦点検出画素３０２から出力される焦点検出信号に基づく焦点検出演算を行う。この焦点検出演算は、第１焦点検出部２２１が行う焦点検出演算に比べて、大デフォーカス、すなわちピントが大きく外れている状態の検出に適している（詳細は後述する）。そこで、以下の説明では、第２焦点検出部２２２が行う焦点検出演算を、大デフォーカス用の焦点検出演算と称する。

【0052】

第２焦点検出部２２２によって所定量以上のデフォーカス量が検出された場合、すなわち大デフォーカスが検出された場合、焦点調節部２３０は、その検出結果に基づきフォーカシングレンズ１１２を駆動する。他方、所定量未満のデフォーカス量が検出された場合、すなわち結像光学系１１０のピントがある程度合っている場合には、第１焦点検出部２２１が、焦点検出エリアにおいて、撮像兼焦点検出画素３０１から出力される焦点検出信号に基づく焦点検出演算を行う。そして、焦点調節部２３０は、その検出結果に基づきフォーカシングレンズ１１２を駆動する。ここで第１焦点検出部２２１が行う焦点検出演算は、第２焦点検出部２２２が行う焦点検出演算に比べて、大デフォーカスでないときの焦点検出に適している（詳細は後述する）。そこで、以下の説明では、第１焦点検出部２２１が行う焦点検出演算を、小デフォーカス用の焦点検出演算と称する。

【0053】

以下、第２焦点検出部２２２が行う、大デフォーカス用の焦点検出演算について説明する。第２焦点検出部２２２は、まず焦点検出エリア近傍から結像光学系１１０の射出瞳の位置に応じた焦点検出画素列６１を選択する。例えば焦点検出エリアが撮影画面の中央近傍で、その近傍に焦点検出画素列６１Ｎのみがある場合は、必然的にその焦点検出画素列６１Ｎが選択される。

【0054】

一方、焦点検出エリアが撮影画面の中央から離れた位置にあり、その近傍に焦点検出画素列６１Ｌ、６１Ｎ、６１Ｓの３つが存在する場合には、結像光学系１１０の射出瞳の位置に応じてその中から１つの焦点検出画素列６１を１つ選択する。具体的には、結像光学系１１０の射出瞳が相対的に遠い位置にある（所定距離以上遠い位置にある）場合には、焦点検出画素列６１Ｌを選択する。逆に、結像光学系１１０の射出瞳が相対的に近い位置にある（所定距離以内の近い位置にある）場合には、焦点検出画素列６１Ｓを選択する。どちらでもない（中間的な位置にある）場合には、焦点検出画素列６１Ｎを選択する。

【0055】

次に第２焦点検出部２２２は、選択した焦点検出画素列６１内の焦点検出画素から焦点検出信号を取得する。例えば焦点検出画素列６１Ｎが選択されたとすると、その焦点検出画素列６１Ｎ内には、第１焦点検出画素３０２ＮＬ、３０２ＮＲが一列に配列されている。第２焦点検出部２２２は、多数の第１焦点検出画素３０２ＮＬの出力（光電変換部３４の受光出力）を並べた出力信号と、多数の第１焦点検出画素３０２ＮＲの出力（光電変換部３４の受光出力）を並べた出力信号と、の一対の信号を、一対の焦点検出信号とする。そして、相関演算を行ってこの一対の焦点検出信号の位相差を算出し、デフォーカス量を演算する。このような演算は周知であるので説明を省略する。

【0056】

第２焦点検出部２２２が行う焦点検出演算が、大デフォーカス時の焦点検出に適しているのは、焦点検出画素３０２の光電変換部３４が、遮光部材３５によって一部を除き遮光されていることによる。撮像兼焦点検出画素３０１から得られる焦点検出信号は、結像光学系１１０のピントが大きく外れている場合（すなわちデフォーカス量が非常に大きい場合）には、コントラストが明確でない、なだらかな信号となる。このような信号は相関演算により位相差を正確に検出することが困難である。

【0057】

これに対して、焦点検出画素３０２の光電変換部３４は、遮光部材３５によって入射光が制限されており、結像光学系１１０を通過した光束が入射する範囲の焦点検出方向（Ｘ軸方向）における幅は、撮像兼焦点検出画素３０１が有する光電変換部３４Ｌ、３４Ｒの同方向における幅よりも小さい。

【0058】

一般に、結像光学系１１０の絞り１３０を小絞りにした場合には、被写界深度が深くなり、ぼけ量の小さい被写体像が得られるが、焦点検出画素３０２もそれと同様の効果が得られる。つまり、結像光学系１１０のピントが大きく外れている場合（すなわちデフォーカス量が非常に大きい場合）であっても、焦点検出画素３０２から得られる焦点検出信号は、撮像兼焦点検出画素３０１から得られる焦点検出信号に比べて、コントラストの高い（より急峻な、本来の被写体像をより正確に表す）信号となる。このような信号であれば、撮像兼焦点検出画素３０１から得られる焦点検出信号に比べて、相関演算による位相差検出を行いやすい。従って、ピントが大きく外れている場合であっても、撮像兼焦点検出画素３０１に比べて正確な焦点検出演算を行うことができる。

【0059】

以上のように、第２焦点検出部２２２は、結像光学系１１０の射出瞳の位置に応じて適切な焦点検出画素列６１を選択するので、射出瞳からの光束が蹴られてしまい焦点検出に支障を来すことがなくなる。なお、第１領域６０ａでは、結像光学系１１０の射出瞳が遠い場合であっても、第２領域６０ｂや第３領域６０ｃに比べて、Ｘ軸方向における射出瞳からの光束の入射角はそれほど大きくならないので、焦点検出画素列６１Ｎであっても射出瞳からの光束は蹴られることがなく、焦点検出画素列６１Ｎだけで十分に対応可能である。従って、第１領域６０ａには、焦点検出画素列６１Ｎのみを配置している。第２領域６０ｂに配置されている焦点検出画素の種類が第３領域６０ｃより少ないのも同様の理由による。

【0060】

次に、第１焦点検出部２２１が行う、小デフォーカス用の焦点検出演算について説明する。第１焦点検出部２２１は、まず焦点検出エリア近傍の撮像兼焦点検出画素３０１から焦点検出信号を取得する。例えば、焦点検出エリア近傍に横一列に並んだ多数の撮像兼焦点検出画素３０１を選択する。そして、選択したそれらの撮像兼焦点検出画素３０１の光電変換部３４Ｌの受光出力を並べた出力信号と、それらの撮像兼焦点検出画素３０１の光電変換部３４Ｒの受光出力を並べた出力信号と、の一対の信号を、一対の焦点検出信号とする。第１焦点検出部２２１は、相関演算を行ってこの一対の焦点検出信号の位相差を算出し、デフォーカス量を演算する。このような演算は周知であるので説明を省略する。

【0061】

撮像兼焦点検出画素３０１の光電変換部３４Ｌ、３４Ｒは、焦点検出画素３０２の光電変換部３４のように、入射光の光量が制限されていない。従って、光電変換される光量は、焦点検出画素３０２に比べて大きくなる。すなわち、焦点検出信号の信号量は焦点検出画素３０２に比べて大きくなる。従って、デフォーカス量がある程度小さい場合には、第２焦点検出部２２２が焦点検出演算により得られるデフォーカス量は、第１焦点検出部２２１が焦点検出演算により得られるデフォーカス量と比べて精度がよい。従って、本実施形態では、小デフォーカス時には、第１焦点検出部２２１による焦点検出の結果に基づき焦点調節を行っている。

【0062】

図１１は、ボディＣＰＵ２２０が実行する制御処理のフローチャートである。ボディＣＰＵ２２０は、カメラボディ２００が電源オンされると、ＲＯＭ２４０からこの制御処理を含む制御プログラムを読み込んで実行を開始する。

【0063】

まずステップＳ１０で、ボディＣＰＵ２２０は、撮像素子２１０の周期動作、すなわち、ライブビュー画像を作成するための所定時間（例えば６０分の１秒）ごとの撮像信号の読み出しを開始する。ステップＳ２０でボディＣＰＵ２２０は、所定の自動焦点調節操作（例えばレリーズスイッチの半押し操作）が為されたか否かを判定する。自動焦点調節操作が為されていなかった場合、ボディＣＰＵ２２０は、処理をステップＳ３０に進める。

【0064】

ステップＳ３０でボディＣＰＵ２２０は、撮像素子２１０の撮像兼焦点検出画素から、ライブビュー画像を作成するための撮像信号を読み出す。ここで読み出される撮像信号は、ライブビュー画像を作成するための信号であり、すべての撮像兼焦点検出画素から信号を読み出す必要はない。例えば３画素おきに読み出す間引き読み出しを行う。ステップＳ４０でボディＣＰＵ２２０は、表示装置２５０に表示されているライブビュー画像を更新する。つまり、ステップＳ３０で読み出した撮像信号により、ライブビュー画像を作成して表示装置２５０に表示する。その後、ボディＣＰＵ２２０は処理をステップＳ２０に進める。

【0065】

他方、ステップＳ２０において、自動焦点調節操作が為されていない場合、ボディＣＰＵ２２０は処理をステップＳ５０に進める。ステップＳ５０でボディＣＰＵ２２０は、後述する自動焦点調節（ＡＦ）処理を実行する。ステップＳ６０でボディＣＰＵ２２０は、所定のレリーズ操作（例えばレリーズスイッチの全押し操作）が為されたか否かを判定する。レリーズ操作が為されていなかった場合、ボディＣＰＵ２２０は、処理をステップＳ７０に進める。

【0066】

ステップＳ７０でボディＣＰＵ２２０は、撮像素子２１０の撮像兼焦点検出画素から、ライブビュー画像を作成するための撮像信号を読み出す。ステップＳ８０でボディＣＰＵ２２０は、表示装置２５０に表示されているライブビュー画像を更新する。つまり、ステップＳ７０で読み出した撮像信号により、ライブビュー画像を作成して表示装置２５０に表示する。その後、ボディＣＰＵ２２０は処理をステップＳ２０に進める。

【0067】

他方、ステップＳ６０においてレリーズ操作が為されていた場合、ボディＣＰＵ２２０は、処理をステップＳ９０に進める。ステップＳ９０でボディＣＰＵ２２０は、撮像素子２１０の撮像兼焦点検出画素３０１から撮像信号を読み出す。ここで読み出される撮像信号は、記録画像データ（本画像データ）の信号である。記録画像データはできるだけ高画質であることが望ましいので、すべての撮像兼焦点検出画素３０１から信号が読み出される。ステップＳ１００でボディＣＰＵ２２０は、焦点検出画素３０２の補間を行う。つまり、焦点検出画素３０２が存在する位置からは撮像信号が得られないので、その位置から本来であれば（その位置に撮像兼焦点検出画素３０１があれば）得られるはずの撮像信号を、周囲の撮像兼焦点検出画素３０１から得た撮像信号に基づき擬似的に生成する。

【0068】

ステップＳ１１０でボディＣＰＵ２２０は、記録画像データを作成して不図示の記憶媒体（例えばメモリカード等）に記憶する。ステップＳ１２０でボディＣＰＵ２２０は、所定の電源オフ操作（例えば電源スイッチの押下操作）が為されたか否かを判定する。電源オフ操作が為されていなかった場合、ボディＣＰＵ２２０は処理をステップＳ２０に進める。他方、電源オフ操作が為された場合、ボディＣＰＵ２２０は図１１の処理を終了する。

【0069】

図１２は、図１１のステップＳ３０から呼び出されるＡＦ処理のフローチャートである。まずステップＳ２００で第２焦点検出部２２２は、焦点検出エリア近傍の焦点検出画素列から、現在の結像光学系１１０の情報（例えば射出瞳位置など）に基づき、焦点検出画素列を１つ選択する。例えば、焦点検出エリアが第３領域６０ｃに位置しており、結像光学系１１０の射出瞳がある程度遠い場合には、焦点検出画素列６１Ｌを選択する。なお、現在の結像光学系１１０の情報は、レンズＣＰＵ１２０とボディＣＰＵ２２０とのデータ通信により、ボディＣＰＵ２２０がレンズＣＰＵ１２０から受信すればよい。

【0070】

ステップＳ２１０で第２焦点検出部２２２は、ステップＳ２００で選択した焦点検出画素列に含まれる焦点検出画素３０２から、焦点検出信号を読み出す。ステップＳ２２０で第２焦点検出部２２２は、ステップＳ２１０で読み出した焦点検出信号に基づく焦点検出演算、すなわち大デフォーカス用の焦点検出演算を行う。

【0071】

ステップＳ２３０で第２焦点検出部２２２は、ステップＳ２２０で行った大デフォーカス用の焦点検出演算によって所定量以上のデフォーカス量、すなわち大デフォーカスが検出されたか否かを判定する。所定量以上のデフォーカス量が検出されていた場合、第２焦点検出部２２２は処理をステップＳ２４０に進める。ステップＳ２４０で焦点調節部２３０は、大デフォーカス用の焦点検出演算により得られたデフォーカス量に基づき、フォーカシングレンズ１１２を駆動する。その後、第２焦点検出部２２２は処理をステップＳ２００に進める。

【0072】

他方、ステップＳ２３０で、所定量以上のデフォーカス量が検出されなかった場合（検出されたデフォーカス量が所定量未満であった場合や、デフォーカス量を検出できなかった場合等）、第２焦点検出部２２２は処理をステップＳ２５０に進める。ステップＳ２５０で第１焦点検出部２２１は、撮像兼焦点検出画素３０１から受光信号（受光出力）を読み出す。前述の通り、ここで読み出される信号は、撮像信号として扱うこともでき、且つ焦点検出信号として扱うこともできる信号である。

【0073】

ステップＳ２６０でボディＣＰＵ２２０は、表示装置２５０に表示されているライブビュー画像を更新する。つまり、ステップＳ２５０で読み出した信号を撮像信号として扱い、ライブビュー画像を作成して表示装置２５０に表示する。ステップＳ２７０で第１焦点検出部２２１は、焦点検出エリア近傍から、焦点検出方向（Ｘ軸方向）に並んだ撮像兼焦点検出画素３０１から成る画素列を１つ選択する。ステップＳ２８０で第１焦点検出部２２１は、ステップＳ２５０で読み出した信号のうち、ステップＳ２７０で選択した画素列に対応する信号を焦点検出信号として、その焦点検出信号に基づく焦点検出演算、すなわち小デフォーカス用の焦点検出演算を行う。

【0074】

ステップＳ２９０でボディＣＰＵ２２０は、ステップＳ２８０で行った小デフォーカス用の焦点検出演算が成功したか否かを判定する。例えば被写体像のコントラストが低い等の理由により位相差検出を行えず、焦点検出に失敗した場合、ボディＣＰＵ２２０は処理をステップＳ３００に進める。ステップＳ３００でボディＣＰＵ２２０は、ステップＳ２２０で行った直近の大デフォーカス用の焦点検出演算が成功していたか否かを判定する。直近の大デフォーカス用の焦点検出演算によってデフォーカス量の算出に成功していた場合、ボディＣＰＵ２２０は処理をステップＳ３１０に進める。

【0075】

ステップＳ３１０で焦点調節部２３０は、大デフォーカス用の焦点検出演算により得られたデフォーカス量に基づき、フォーカシングレンズ１１２を駆動する。その後、ボディＣＰＵ２２０は処理をステップＳ２００に進める。

【0076】

ステップＳ３００において、直近の大デフォーカス用の焦点検出演算がデフォーカス量の算出に失敗していた場合、ボディＣＰＵ２２０は処理をステップＳ３２０に進める。ステップＳ３２０で焦点調節部２３０は、フォーカシングレンズを一定範囲にかけて動かす、いわゆる探索駆動（スキャン駆動）を行う。その後、ボディＣＰＵ２２０は処理をステップＳ２００に進める。

【0077】

ステップＳ２９０において、ステップＳ２８０で行った小デフォーカス用の焦点検出演算に成功していた場合、ボディＣＰＵ２２０は処理をステップＳ３３０に進める。ステップＳ３３０でボディＣＰＵ２２０は、結像光学系１１０が合焦状態であるか、すなわち、ステップＳ２８０で検出されたデフォーカス量が十分に小さいか（所定のしきい値より小さいか）否かを判定する。合焦状態でなかった場合、すなわちデフォーカス量が所定のしきい値以上であった場合、ボディＣＰＵ２２０は処理をステップＳ３４０に進める。ステップＳ３４０で焦点調節部２３０は、小デフォーカス用の焦点検出演算により得られたデフォーカス量に基づき、フォーカシングレンズ１１２を駆動する。その後、ボディＣＰＵ２２０は処理をステップＳ２５０に進める。なお、ここでステップＳ２００ではなくステップＳ２５０に処理を進めるのは、すでにある程度ピントが合っている（大デフォーカス状態でない）ことが明らかであるためである。ステップＳ３３０で合焦状態であった場合、すなわちデフォーカス量が所定のしきい値より小さかった場合、ボディＣＰＵ２２０はＡＦ処理を終了する。以上のように、本実施形態のＡＦ処理では、まず大デフォーカス用の焦点検出演算を行い、大デフォーカス状態が検出された場合には、失敗する可能性の高い小デフォーカス用の焦点検出演算を行わずに、大デフォーカス用の焦点検出演算の結果に基づくレンズ駆動を行う。

【0078】

上述した第１の実施の形態によるカメラシステムによれば、次の作用効果が得られる。（１）撮像素子２１０には、所定範囲に入射光が入射される複数の撮像兼焦点検出画素３０１と、撮像兼焦点検出画素３０１よりも小さい範囲に入射光が入射される複数種類の焦点検出画素３０２とが配置される。撮像素子２１０は、１種類の焦点検出画素３０２が配置される第１領域６０ａと、第１領域６０ａより像高が高く第１領域６０ａよりも多い種類の焦点検出画素３０２が配置される第２領域６０ｂとを有する。このようにしたので、大デフォーカス状態であっても小デフォーカス状態であっても、適切に焦点検出を行うことができる。

【0079】

（２）複数種類の焦点検出画素３０２は、開口の所定方向の幅が撮像兼焦点検出画素３０１よりも小さい。このようにしたので、大デフォーカス状態であっても小デフォーカス状態であっても、適切に焦点検出を行うことができる。

【0080】

（３）第１領域６０ａには、第１の射出瞳位置に対応する第１焦点検出画素３０２ＮＲ、３０２ＮＬが配置され、第２領域６０ｂには、第１焦点検出画素３０２ＮＲ、３０２ＮＬと、第１の射出瞳位置とは異なる第２の射出瞳位置に対応する第２焦点検出画素３０２ＳＲ、３０２ＳＬが配置される。このようにしたので、例えば交換レンズ１００を別の種類のものに交換した等の原因で射出瞳の位置が変化した場合であっても、適切に焦点検出を行うことができる。

【0081】

（４）結像光学系１１０の光軸（撮像面２０の中心）から第１領域６０ａまでのＸ軸方向に関する距離は、同方向に関する結像光学系１１０の光軸（撮像面２０の中心）から第２領域６０ｂまでの距離よりも短い。このようにしたので、被写体光が蹴られる可能性が低い位置には最低限の焦点検出画素３０２のみを配置することができ、撮影画像データの画質が向上する。

【0082】

（５）撮像素子２１０は、所定範囲に入射光が入射される撮像兼焦点検出画素３０１と、撮像兼焦点検出画素３０１よりも小さい範囲に入射光が入射され第１の射出瞳位置に対応する第１焦点検出画素３０２ＮＲ、ＮＬと、撮像兼焦点検出画素３０１よりも小さい範囲に入射光が入射され第１の射出瞳位置とは異なる第２の射出瞳位置に対応する第２焦点検出画素３０２ＳＲ、ＳＬと、を有する。撮像素子２１０は、第１焦点検出画素３０２ＮＲ、ＮＬが配置される第１領域６０ａと、第１領域６０ａよりも像高が高く第１焦点検出画素３０２ＮＲ、ＮＬおよび第２焦点検出画素３０２ＳＲ、ＳＬが配置される第２領域６０ｂと、を有する。このようにしたので、単一の焦点検出画素３０２に２つの光電変換部３４を設ける場合に比べて、撮像素子２１０の製造が容易になる。

【0083】

（６）撮像素子２１０は、一対の射出瞳の一方からの光を受光する第１焦点検出画素３０２ＮＲおよび第２焦点検出画素３０２ＳＲと、一対の射出瞳の他方からの光を受光する第１焦点検出画素３０２ＮＬおよび第２焦点検出画素３０２ＳＬと、を有する。このようにしたので、光電変換部３４を個別に変形させる必要がなく、撮像素子２１０の製造コストが低減される。

【0084】

（７）撮像素子２１０は、撮像兼焦点検出画素３０１よりも小さい範囲に入射光が入射される第３焦点検出画素ＬＲ、ＬＬと、第２領域６０ｂよりも像高が高く第１焦点検出画素３０２ＮＲ、ＮＬ、第２焦点検出画素３０２ＳＲ、ＳＬ、および第３焦点検出画素３０２ＬＲ、ＬＬが配置される第３領域６０ｃと、を更に有する。このようにしたので、射出瞳位置に応じて、よりきめ細やかな焦点検出を行うことができる。

【0085】

（８）複数種類の焦点検出画素３０２は、それぞれがＸ軸方向に沿って複数個配置される。このようにしたので、位相差検出方式の焦点検出を行うことができる。

【0086】

（９）第１焦点検出部２２１は、撮像兼焦点検出画素３０１から出力された焦点検出信号に基づき焦点検出を行う。第２焦点検出部２２２は、結像光学系１１０の射出瞳が第１位置にある場合には第１焦点検出画素３０２ＮＲ、３０２ＮＬから出力された焦点検出信号（光電変換信号）に基づき焦点検出を行い、結像光学系１１０の射出瞳が第２位置にある場合には第２焦点検出画素３０２ＳＲ、３０２ＳＬから出力された焦点検出信号に基づき焦点検出を行う。このようにしたので、小デフォーカス状態であるか大デフォーカス状態であるか、結像光学系１１０の射出瞳が第１位置にあるか第２位置にあるかによらず、常に適切な焦点検出を行うことができる。

【0087】

（１０）焦点調節部２３０は、第２焦点検出部２２２による焦点検出の結果が所定量以上のデフォーカスを表していた場合にはその焦点検出の結果に基づき結像光学系１１０の焦点調節を行い、第２焦点検出部２２２による焦点検出の結果が所定量以上のデフォーカスを表していなかった場合には第１焦点検出部２２１による焦点検出の結果に基づき結像光学系１１０の焦点調節を行う。このようにしたので、大デフォーカス状態のときには第１焦点検出部２２１を動作させる必要がなく、ボディＣＰＵ２２０の処理負荷が軽減し消費電力を削減することができる。

【0088】

（第２の実施の形態）
第２の実施の形態に係るカメラシステムは、第１の実施の形態に係るカメラシステムと同一の構成を有しているが、ボディＣＰＵ２２０が実行するＡＦ処理の内容が、第１の実施の形態と異なっている。以下、第２の実施の形態におけるＡＦ処理について説明する。

【0089】

図１３は、本実施形態において図１１のステップＳ５０から呼び出されるＡＦ処理のフローチャートである。まずステップＳ４００で第１焦点検出部２２１は、撮像兼焦点検出画素３０１から受光信号（受光出力）を読み出す。前述の通り、ここで読み出される信号は、撮像信号として扱うこともでき、且つ焦点検出信号として扱うこともできる信号である。

【0090】

ステップＳ４１０でボディＣＰＵ２２０は、表示装置２５０に表示されているライブビュー画像を更新する。つまり、ステップＳ４００で読み出した信号を撮像信号として扱い、ライブビュー画像を作成して表示装置２５０に表示する。

【0091】

ステップＳ４１５で第１焦点検出部２２１は、焦点検出エリア近傍から、焦点検出方向（Ｘ軸方向）に並んだ撮像兼焦点検出画素３０１から成る画素列を１つ選択する。ステップＳ４２０で第１焦点検出部２２１は、ステップＳ４００で読み出した信号のうち、ステップＳ４１５で選択した画素列に対応する信号を焦点検出信号として、その焦点検出信号に基づく焦点検出演算、すなわち小デフォーカス用の焦点検出演算を行う。

【0092】

ステップＳ４３０でボディＣＰＵ２２０は、ステップＳ４２０で行った小デフォーカス用の焦点検出演算が成功したか否かを判定する。例えば結像光学系１１０のピントが大きく外れている、すなわち大デフォーカス状態である等の理由により位相差検出を行えず、焦点検出に失敗した場合、ボディＣＰＵ２２０は処理をステップＳ４４０に進める。

【0093】

ステップＳ４４０で第２焦点検出部２２２は、焦点検出エリア近傍の焦点検出画素列から、現在の結像光学系１１０の情報（例えば射出瞳位置など）に基づき、焦点検出画素列を１つ選択する。ステップＳ４５０で第２焦点検出部２２２は、ステップＳ４４０で選択した焦点検出画素列に含まれる焦点検出画素３０２から、焦点検出信号を読み出す。ステップＳ４６０で第２焦点検出部２２２は、ステップＳ４５０で読み出した焦点検出信号に基づく焦点検出演算、すなわち大デフォーカス用の焦点検出演算を行う。

【0094】

ステップＳ４７０でボディＣＰＵ２２０は、ステップＳ４６０で行った大デフォーカス用の焦点検出演算が成功したか否かを判定する。焦点検出に失敗した場合、ボディＣＰＵ２２０は処理をステップＳ４９０に進める。ステップＳ４９０で焦点調節部２３０は、フォーカシングレンズを一定範囲にかけて動かす、いわゆる探索駆動（スキャン駆動）を行う。その後、ボディＣＰＵ２２０は処理をステップＳ４００に進める。

【0095】

他方、ステップＳ４７０において、大デフォーカス用の焦点検出演算によるデフォーカス量の算出に成功していた場合、ボディＣＰＵ２２０は処理をステップＳ４８０に進める。ステップＳ４８０で焦点調節部２３０は、大デフォーカス用の焦点検出演算により得られたデフォーカス量に基づき、フォーカシングレンズ１１２を駆動する。その後、ボディＣＰＵ２２０は処理をステップＳ４００に進める。

【0096】

ステップＳ４３０において、小デフォーカス用の焦点検出演算によるデフォーカス量の算出に成功していた場合、ボディＣＰＵ２２０は処理をステップＳ５００に進める。ステップＳ５００でボディＣＰＵ２２０は、結像光学系１１０が合焦状態であるか、すなわち、ステップＳ４２０で検出されたデフォーカス量が十分に小さいか（所定のしきい値より小さいか）否かを判定する。合焦状態でなかった場合、すなわちデフォーカス量が所定のしきい値以上であった場合、ボディＣＰＵ２２０は処理をステップＳ５１０に進める。ステップＳ５１０で焦点調節部２３０は、小デフォーカス用の焦点検出演算により得られたデフォーカス量に基づき、フォーカシングレンズ１１２を駆動する。その後、ボディＣＰＵ２２０は処理をステップＳ４００に進める。他方、ステップＳ５００で合焦状態であった場合、すなわちデフォーカス量が所定のしきい値より小さかった場合、ボディＣＰＵ２２０は図１３に示す処理を終了する。以上のように、本実施形態のＡＦ処理では、まず小デフォーカス用の焦点検出演算を行い、これに失敗した場合にのみ大デフォーカス用の焦点検出演算を行う。

【0097】

上述した第２の実施の形態によるカメラシステムによれば、次の作用効果が得られる。（１）焦点調節部２３０は、第１焦点検出部２２１による焦点検出が成功した場合にはその焦点検出の結果に基づき結像光学系１１０の焦点調節を行い、第１焦点検出部２２１による焦点検出が失敗した場合には第２焦点検出部２２２による焦点検出の結果に基づき結像光学系１１０の焦点調節を行う。このようにしたので、第２焦点検出部２２２による焦点検出は大デフォーカス時にのみ行われるようになり、ボディＣＰＵ２２０の処理負荷が軽減し消費電力を削減することができる。

【0098】

（第３の実施の形態）
第３の実施の形態に係るカメラシステムは、第１の実施の形態に係るカメラシステムと同一の構成を有しているが、撮像素子２１０の代わりに、それとは異なる構造の撮像素子２１０ａを有している点で、第１の実施の形態と異なっている。以下、第３の実施の形態における撮像素子２１０ａについて説明する。

【0099】

図１４は、第３の実施の形態に係る撮像素子２１０ａの構造を模式的に示す斜視図である。撮像素子２１０ａは、マイクロレンズアレイ２１１と光電変換アレイ２１２とを有する。マイクロレンズアレイ２１１は、二次元状に正方配列された複数のマイクロレンズ３１を有する。光電変換アレイ２１２は、二次元状に正方配列された複数の光電変換部３４を有する。なお、複数のマイクロレンズ３１の配列は正方配列でなくてもよい。

【0100】

マイクロレンズアレイ２１１は、光電変換アレイ２１２の受光面からマイクロレンズ３１の焦点距離ｆだけ離れた位置に配置される。換言すると、マイクロレンズアレイ２１１および光電変換アレイ２１２は、マイクロレンズ３１の焦点位置と光電変換アレイ２１２の受光面とが一致するように配置される。

【0101】

本実施の形態において、１つのマイクロレンズ３１の径は、１つの光電変換部３４の幅よりも大きい。つまり、１つのマイクロレンズ３１により、複数の光電変換部３４が被覆される。１つのマイクロレンズ３１を通過した被写体光は、そのマイクロレンズ３１に対応する複数の光電変換部３４に入射する。図１４に例示するように、１つのマイクロレンズ３１を通過する光が入射する範囲２１５には、複数の光電変換部３４が含まれる。

【0102】

撮像素子２１０ａは、複数の画素３０を有する。画素３０には、撮像と焦点検出の両方に利用される撮像兼焦点検出画素３０１と、焦点検出にのみ利用される焦点検出画素３０２と、の２種類の画素が含まれる。以下、これら２種類の画素について説明する。

【0103】

図１５は、撮像兼焦点検出画素３０１および焦点検出画素３０２を模式的に示す断面図である。なお図１５では、撮像素子２１０ａの撮像面の中央部分の断面を模式的に図示している。第１の実施の形態において、１つの画素３０は、１つのマイクロレンズ３１を有していた。これに対して、本実施の形態では、複数の画素３０が１つのマイクロレンズ３１を共有する。換言すると、本実施の形態では、ある画素３０が有するマイクロレンズ３１と、他の画素３０が有するマイクロレンズ３１が、同一のマイクロレンズ３１である場合がある。

【0104】

撮像兼焦点検出画素３０１は、マイクロレンズ３１と、カラーフィルタ３２と、光電変換部３４とを有する。マイクロレンズ３１に入射した入射光は、カラーフィルタ３２を介して光電変換部３４に入射する。カラーフィルタ３２は、画素ごとに赤、青、緑のいずれかの光を透過し、他の光を透過しないように形成される。撮像兼焦点検出画素３０１のカラーフィルタ３２は、いわゆるベイヤ配列を成すように構成される。撮像兼焦点検出画素３０１は、光電変換部３４により出力された光電変換信号を出力する。

【0105】

なお、本実施の形態に係る撮像兼焦点検出画素３０１は、図３（ｃ）に示した第１の実施の形態に係る撮像兼焦点検出画素３０１と同様に、撮像面の中央から離れたものは、マイクロレンズ３１の光軸４１の位置と、光電変換部３４の中央とが離れており、その距離は、撮像面の中央からの距離が大きいほど大きくなる。この点については、第１の実施の形態と同様であるので図示および説明を省略する。

【0106】

焦点検出画素３０２は、マイクロレンズ３１が複数の画素３０間で共有されることを除き、第１の実施の形態と同様である。すなわち焦点検出画素３０２は、マイクロレンズ３１と、カラーフィルタ３２と、光電変換部３４と、遮光部材３５とを有する。マイクロレンズ３１に入射した入射光は、カラーフィルタ３２を介し、遮光部材３５に遮られなかった一部が光電変換部３４に入射する。

【0107】

本実施の形態においても、第１の実施の形態と同様に、焦点検出画素３０２には、第１焦点検出画素３０２ＮＬ、３０２ＮＲ、第２焦点検出画素３０２ＳＬ、３０２ＳＲ、第３焦点検出画素３０２ＬＬ、３０２ＬＲ、第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲ、第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲ、という多種類の焦点検出画素が含まれる。第１の実施の形態において、これらの焦点検出画素には、開口部の幅が異なるという差異があったが、本実施の形態では開口部の幅はいずれも同一である。

【0108】

図１６は、撮像素子２１０ａの第１領域６０ａ（図７）内の一部を拡大した平面図である。なお、図１６において、「Ｒ」、「Ｇ」、「Ｂ」という文字は、それぞれ赤、緑、青のカラーフィルタ３２を有する撮像画素３０３を表し、「ＮＬ」、「ＮＲ」という文字は、それぞれ第１焦点検出画素３０２ＮＬ、３０２ＮＲを表す。

【0109】

第１の実施の形態において、第１領域６０ａ内の焦点検出画素列６１Ｎには、第１焦点検出画素３０２ＮＬ、３０２ＮＲが、左右方向（Ｘ軸方向）に沿って、一定間隔ｄごとに交互に配列されていた。本実施の形態では、焦点検出画素列６１Ｎの代わりに、焦点検出画素３０２を含むマイクロレンズ３１を左右方向（Ｘ軸方向）に一列に配列したマイクロレンズ列６１０Ｎを考える。第１領域６０ａ内のマイクロレンズ列６１０Ｎに含まれるマイクロレンズ３１には、一定間隔（図１６では１つおき）ごとに、第１焦点検出画素３０２ＮＬ、３０２ＮＲが交互に配列される。

【0110】

例えば、図１６の左端のマイクロレンズ３１ａを有する６×６の計３６個の画素３０には、第１焦点検出画素３０２ＮＬが１つ含まれる。その右隣のマイクロレンズ３１ｂを有する６×６の計３６個の画素３０には、焦点検出画素３０２が含まれない。更に１つ右隣のマイクロレンズ３１ｃを有する６×６の計３６個の画素３０には、第１焦点検出画素３０２ＮＲが１つ含まれる。

【0111】

一対の第１焦点検出画素３０２ＮＬ、３０２ＮＲは、個々のマイクロレンズ３１内において、想定される射出瞳位置からの主光線に対して点対称に配置される。例えば、図１６に示すマイクロレンズ列６１０Ｎにおいて、想定される射出瞳位置からの主光線の位置を丸印ＬＰで示す。各々のマイクロレンズ３１に注目したとき、第１焦点検出画素３０２ＮＬと第１焦点検出画素３０２ＮＲは、この丸印ＬＰに対して点対称となるように配置されている。具体的には、第１焦点検出画素３０２ＮＬは、丸印ＬＰのすぐ右下に配置されており、第１焦点検出画素３０２ＮＲは、丸印ＬＰのすぐ左上に配置されている。

【0112】

図１７は、撮像素子２１０ａの第２領域６０ｂ（図７）内の一部を拡大した平面図である。なお図１７では、第２焦点検出画素３０２ＳＬ、３０２ＳＲ、第３焦点検出画素３０２ＬＬ、３０２ＬＲを、それぞれ「ＳＬ」、「ＳＲ」、「ＬＬ」、「ＬＲ」という文字で表現している。第２領域６０ｂ内には、マイクロレンズ列６１０Ｌと、マイクロレンズ列６１０Ｎと、マイクロレンズ列６１０Ｓと、の３種類のマイクロレンズ列６１が、それぞれ複数設けられている。

【0113】

マイクロレンズ列６１０Ｎに含まれるマイクロレンズ３１には、一定間隔（図１７では１つおき）ごとに、第１焦点検出画素３０２ＮＬ、３０２ＮＲが交互に配列される。マイクロレンズ列６１０Ｓに含まれるマイクロレンズ３１には、一定間隔（図１７では１つおき）ごとに、第２焦点検出画素３０２ＳＬ、３０２ＳＲが交互に配列される。マイクロレンズ列６１０Ｌに含まれるマイクロレンズ３１には、一定間隔（図１７では１つおき）ごとに、第３焦点検出画素３０２ＬＬ、３０２ＬＲが交互に配列される。

【0114】

一対の第２焦点検出画素３０２ＳＬ、３０２ＳＲおよび一対の第３焦点検出画素３０２ＬＬ、３０２ＬＲは、個々のマイクロレンズ３１内において、想定される射出瞳位置からの主光線に対して点対称に配置される。例えば、図１７に示すマイクロレンズ列６１０Ｓにおいて、想定される射出瞳位置からの主光線の位置を丸印ＬＰで示す。各々のマイクロレンズ３１に注目したとき、第２焦点検出画素３０２ＳＬと第２焦点検出画素３０２ＳＲは、この丸印ＬＰに対して点対称となるように配置されている。具体的には、第２焦点検出画素３０２ＳＬは、丸印ＬＰのすぐ右下に配置されており、第２焦点検出画素３０２ＳＲは、丸印ＬＰのすぐ左上に配置されている。第３焦点検出画素３０２ＬＬ、３０２ＬＲについても同様である。

【0115】

第１焦点検出画素３０２ＮＬ、３０２ＮＲは、マイクロレンズ３１の光軸近傍に配置される。これに対して、第２焦点検出画素３０２ＳＬ、３０２ＳＲは、マイクロレンズ３１の光軸から紙面右方向に一定距離だけ離れた位置に配置される。同様に、第３焦点検出画素３０２ＬＬ、３０２ＬＲは、マイクロレンズ３１の光軸から紙面左方向（第２焦点検出画素３０２ＳＬ、３０２ＳＲとは逆の方向）に一定距離だけ離れた位置に配置される。

【0116】

このように、本実施の形態では、想定される瞳位置に応じて、焦点検出画素３０２の配置される位置が異なっている。すなわち、焦点検出画素３０２が、想定される瞳位置に応じた位置に配置される。例えば第１焦点検出画素３０２ＮＬ、３０２ＮＲが想定する射出瞳位置からの光は、マイクロレンズ３１の中央付近にスポットが結像されるので、第１焦点検出画素３０２ＮＬ、３０２ＮＲはマイクロレンズ３１の中央付近に配置される。一方、短い瞳位置を想定する第２焦点検出画素３０２ＳＬ、３０２ＳＲは、マイクロレンズ３１の光軸に対して撮像素子２１０ａの光軸に近い側、すなわち図１６の左側にスポットが結像するため、第２焦点検出画素３０２ＳＬ、３０２ＳＲはマイクロレンズ３１の光軸の右側に配置される。第３焦点検出画素３０２ＬＬ、３０２ＬＲはその逆であり、マイクロレンズ３１の光軸の左側に配置される。

【0117】

図１８は、撮像素子２１０ａの第３領域６０ｃ（図７）内の一部を拡大した平面図である。なお図１８では、第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲ、第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲを、それぞれ「ＳＮＬ」、「ＳＮＲ」、「ＬＮＬ」、「ＬＮＲ」という文字で表現している。第３領域６０ｃ内には、マイクロレンズ列６１０Ｓと、マイクロレンズ列６１０ＳＮと、マイクロレンズ列６１０Ｎと、マイクロレンズ列６１０ＬＮと、マイクロレンズ列６１０Ｌと、の５種類のマイクロレンズ列６１０が、それぞれ複数設けられている。

【0118】

マイクロレンズ列６１０Ｎに含まれるマイクロレンズ３１には、一定間隔（図１８では１つおき）ごとに、第１焦点検出画素３０２ＮＬ、３０２ＮＲが交互に配列される。マイクロレンズ列６１０Ｓに含まれるマイクロレンズ３１には、一定間隔（図１８では１つおき）ごとに、第２焦点検出画素３０２ＳＬ、３０２ＳＲが交互に配列される。マイクロレンズ列６１０Ｌに含まれるマイクロレンズ３１には、一定間隔（図１８では１つおき）ごとに、第３焦点検出画素３０２ＬＬ、３０２ＬＲが交互に配列される。マイクロレンズ列６１０ＳＮに含まれるマイクロレンズ３１には、一定間隔（図１８では１つおき）ごとに、第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲが交互に配列される。マイクロレンズ列６１０ＬＮに含まれるマイクロレンズ３１には、一定間隔（図１８では１つおき）ごとに、第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲが交互に配列される。

【0119】

一対の第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲおよび一対の第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲは、個々のマイクロレンズ３１内において、想定される射出瞳位置からの主光線に対して点対称に配置される。例えば、図１８に示すマイクロレンズ列６１０ＳＮにおいて、想定される射出瞳位置からの主光線の位置を丸印ＬＰで示す。各々のマイクロレンズ３１に注目したとき、第４焦点検出画素３０２ＳＮＬと第４焦点検出画素３０２ＳＮＲは、この丸印ＬＰに対して点対称となるように配置されている。具体的には、第４焦点検出画素３０２ＳＮＬは、丸印ＬＰのすぐ右下に配置されており、第４焦点検出画素３０２ＳＮＲは、丸印ＬＰのすぐ左上に配置されている。第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲについても同様である。

【0120】

第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲは、マイクロレンズ３１の光軸から紙面右方向に一定距離だけ離れた位置に配置される。マイクロレンズ３１の光軸からの距離は、第２焦点検出画素３０２ＳＬ、３０２ＳＲに比べて短い。同様に、第５焦点検出画素３０２ＬＮＬ、３０２ＬＮＲは、マイクロレンズ３１の光軸から紙面左方向（第４焦点検出画素３０２ＳＮＬ、３０２ＳＮＲとは逆の方向）に一定距離だけ離れた位置に配置される。マイクロレンズ３１の光軸からの距離は、第３焦点検出画素３０２ＬＬ、３０２ＬＲに比べて短い。

【0121】

以上のように構成された撮像素子２１０ａを用いると、撮像兼焦点検出画素３０１により出力された撮像信号から、光軸方向の所定範囲内における任意像面の画像（いわゆるリフォーカス画像）を合成する、いわゆるリフォーカス機能を実現することができる。以下、リフォーカス機能について説明する。

【0122】

図１９は、合成対象の像面Ｓ上の光点Ｐからの光束と撮像素子２１０ａとを模式的に示した断面図である。図１９において、合成対象の像面Ｓ上に設けた光点Ｐを考える。この光点Ｐから撮像素子１２に向かう光の広がり角θは、結像光学系１１０の瞳の大きさ（すなわち結像光学系１１０の絞り値）により規定される。マイクロレンズ３１の絞り値は結像光学系１１０の絞り値と同じかそれより小さくなるように構成されている。従って、この光点Ｐから出射し、あるマイクロレンズ３１に入射した光束は、そのマイクロレンズ３１により被覆されている領域の外には広がらない。

【0123】

ここで、図１９に示すように、光点Ｐからの光束が５つのマイクロレンズ３１（１）～３１（５）に入射するとすれば、これらのマイクロレンズ３１（１）～３１（５）に入射した光束３００（１）～３００（５）の受光面上における入射光量（光電変換部３４（１）～３４（５）の光電変換出力）を積算することにより、光点Ｐからの瞳に制限された全入射光量が得られる。すなわち、合成対象の像面Ｓ上の光点Ｐ（合成対象の画素）の光量が得られることになる。

【0124】

ボディＣＰＵ２２０は、指定された像面Ｓ上に複数の光点Ｐを設定し、各光点Ｐについて、その光点Ｐからの光束が入射するマイクロレンズ３１を特定する。ボディＣＰＵ２２０は、特定した各マイクロレンズ３１について、光点Ｐからの光束がどの光電変換部３４に入射するかを特定する。ボディＣＰＵ２２０は、特定した光電変換部３４の光電変換出力を積算することにより、光点Ｐの画素値を算出する。なお、特定した光電変換部３４が、焦点検出画素３０２の光電変換部３４であった場合には、その光電変換部３４からの光電変換出力の代わりに、その周囲の光電変換部３４による光電変換出力に基づく補間演算を行って得られた光電変換出力を用いることが望ましい。

【0125】

以上の処理によって、合成対象として指定された像面Ｓの画像が合成される。ボディＣＰＵ２２０は、１回の撮像によって撮像素子２１０ａから出力される撮像信号に対して、複数の異なる像面の画像を合成することができる。すなわち、１回の撮像結果から複数像面の画像を得ることができる。

【0126】

ところで、以上の処理により一定の解像度を保ったまま好適に合成可能な像面の位置には、一定の制約がある。例えば、マイクロレンズ３１の頂点近傍の像面を合成すると、他の位置の像面を合成した場合に比べて、解像度が低下することが知られている。このように、合成可能な像面位置には制約がある。そこで、ボディＣＰＵ２２０は、撮像範囲に含まれる主要被写体を周知の被写体認識技術等により認識し、それらの主要被写体が好適に合成可能な範囲（以下、単に合成可能範囲と称する）に含まれるように、フォーカシングレンズ１１２を駆動する。本実施の形態における焦点調節とは、このように、主要被写体が合成可能範囲に含まれるようにフォーカシングレンズ１１２の位置を調節することを指す。

【0127】

次に、第１焦点検出部２２１が行う、小デフォーカス用の焦点検出演算について説明する。第１焦点検出部２２１は、まず焦点検出エリア近傍の撮像兼焦点検出画素３０１から焦点検出信号を取得する。例えば、焦点検出エリア近傍に横一列に並んだ多数のマイクロレンズ３１を選択する。そして、選択したそれらのマイクロレンズ３１の各々について、マイクロレンズ３１の左半分に配置された撮像兼焦点検出画素３０１の光電変換部３４の受光出力を加算した信号と、マイクロレンズ３１の右半分に配置された撮像兼焦点検出画素３０１の光電変換部３４の受光出力を加算した信号とを生成する。これら一対の信号は、第１の実施の形態における光電変換部３４Ｌ、３４Ｒの受光出力と同様に、一対の焦点検出信号として扱うことができる。第１焦点検出部２２１は、相関演算を行ってこの一対の焦点検出信号の位相差を算出し、デフォーカス量を演算する。このような演算は周知であるので説明を省略する。

【0128】

以上の説明では、マイクロレンズ３１の左右半分に配置された撮像兼焦点検出画素３０１の光電変換部３４の受光出力を加算していたが、加算に用いる光電変換部３４の数を減らすことで、あたかも入射光の光量を制限したかのような焦点検出信号を得ることができる。加算に用いる光電変換部３４の数を減らせば減らすほど、大デフォーカスへの対応が良くなるが、その一方で焦点検出信号の信号量は小さくなり、精度は悪くなる。従って、例えば小デフォーカス時には、多くの光電変換部３４からの受光出力を加算することが望ましい。一方、２つの（一対の）光電変換部３４からの受光出力だけを用いた一対の焦点検出信号を生成することで、大デフォーカスにも対応することができる。

【0129】

更に大デフォーカスである場合、２つの（一対の）光電変換部３４からの受光出力だけを用いた一対の焦点検出信号であっても、焦点検出を行えない可能性がある。そのような場合、本実施の形態では、第２焦点検出部２２２が行う、大デフォーカス用の焦点検出演算の結果を用いて焦点調節がなされる。

【0130】

次に、第２焦点検出部２２２が行う、大デフォーカス用の焦点検出演算について説明する。第２焦点検出部２２２は、まず焦点検出エリア近傍から結像光学系１１０の射出瞳の位置に応じたマイクロレンズ列６１０を選択する。例えば焦点検出エリアが撮影画面の中央近傍で、その近傍にマイクロレンズ列６１０Ｎのみがある場合は、必然的にそのマイクロレンズ列６１０Ｎが選択される。

【0131】

一方、焦点検出エリアが撮影画面の中央から離れた位置にあり、その近傍にマイクロレンズ列６１０Ｓ、６１０Ｎ、６１０Ｌの３つが存在する場合には、結像光学系１１０の射出瞳の位置に応じてその中から１つのマイクロレンズ列６１０を１つ選択する。具体的には、結像光学系１１０の射出瞳が相対的に遠い位置にある（所定距離以上遠い位置にある）場合には、マイクロレンズ列６１０Ｌを選択する。逆に、結像光学系１１０の射出瞳が相対的に近い位置にある（所定距離以内の近い位置にある）場合には、マイクロレンズ列６１０Ｓを選択する。どちらでもない（中間的な位置にある）場合には、マイクロレンズ列６１０Ｎを選択する。

【0132】

次に第２焦点検出部２２２は、選択したマイクロレンズ列６１０内の焦点検出画素３０２から焦点検出信号を取得する。例えばマイクロレンズ列６１０Ｎが選択されたとすると、そのマイクロレンズ列６１０Ｎ内には、第１焦点検出画素３０２ＮＬ、３０２ＮＲが一列に配列されている。第２焦点検出部２２２は、多数の第１焦点検出画素３０２ＮＬの出力（光電変換部３４の受光出力）を並べた出力信号と、多数の第１焦点検出画素３０２ＮＲの出力（光電変換部３４の受光出力）を並べた出力信号と、の一対の信号を、一対の焦点検出信号とする。そして、相関演算を行ってこの一対の焦点検出信号の位相差を算出し、デフォーカス量を演算する。このような演算は周知であるので説明を省略する。

【0133】

ここで得られる一対の焦点検出信号は、遮光部材３５により開口が制限されているので、前述した２つの（一対の）光電変換部３４からの受光出力だけを用いた一対の焦点検出信号よりも更に大デフォーカスに対応可能な焦点検出信号である。

【0134】

上述した第３の実施の形態によるカメラシステムによれば、次の作用効果が得られる。（１）あるマイクロレンズ３１を通過した光が入射する焦点検出画素３０２および複数の撮像兼焦点検出画素３０１と、別のマイクロレンズ３１を通過した光が入射する焦点検出画素３０２および複数の撮像兼焦点検出画素３０１とを設けた。このようにしたので、いわゆるリフォーカスカメラにおいても、大デフォーカス状態であっても小デフォーカス状態であっても適切な焦点検出が可能になる。

【0135】

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

【0136】

（変形例１）
上述した実施形態では、焦点検出画素３０２に所定幅の開口部を有する遮光部材３５を設けていた。このように、遮光部材３５を設ける代わりに、光電変換部３４の幅を実際に小さくしてもよい。

【0137】

図２０（ａ）に、開口部３６ＮＲを有する遮光部材３５の代わりに、開口部３６ＮＲの位置および大きさに合わせて形成された光電変換部３４ＮＲを有する第１焦点検出画素３０２ＮＲ’を例示する。

【0138】

また、第１焦点検出画素３０２ＮＲおよび第１焦点検出画素３０２ＮＬを、一対の光電変換部を有する単一の画素としてもよい。つまり、１つの画素について、開口部３６ＮＲに相当する位置に、開口部３６ＮＲに相当するサイズの光電変換部３４を設けると共に、開口部３６ＮＬに相当する位置に、開口部３６ＮＬに相当するサイズの別の光電変換部３４を設け、上述した実施形態における第１焦点検出画素３０２ＮＲ、ＮＬを置き換えてもよい。第２～第５焦点検出画素についても同様である。

【0139】

あるいは、１つの画素について、撮像兼焦点検出画素３０１と同様の一対の光電変換部３４Ｌ、３４Ｒを設けると共に、遮光部材３５に開口部３６ＮＬ、ＮＲを両方設けることもできる。第２～第５焦点検出画素についても同様である。

【0140】

（変形例３）
焦点検出画素３０２に遮光部材３５を設けた場合、光電変換部３４に入射しなかった光束（遮光部材３５に入射した光束）が、隣接する撮像兼焦点検出画素３０１に漏れ込む可能性がある。このような迷光を防止するため、遮光部材３５の表面に反射防止膜を設けてもよい。図２０（ｂ）に、遮光部材３５の表面に反射防止膜３７を設けた第１焦点検出画素３０２ＮＲ’’を例示する。

【0141】

（変形例４）
焦点検出画素３０２の種類数、配置数、配列は上述した実施形態と異なっていてもよい。同様に、第１領域６０ａ、第２領域６０ｂ、第３領域６０ｃとして例示した、焦点検出画素３０２が配置される領域の種類数、配置数、形状、配置パターンは上述した実施形態と異なっていてもよい。

【0142】

図２１（ａ）に、第１領域６０ａ、第２領域６０ｂ、第３領域６０ｃを円弧状に配置した例を示す。また、図２１（ｂ）には、第１領域６０ａ、第２領域６０ｂ、第３領域６０ｃを同心円状に配置した例を示す。このように、焦点検出画素３０２が配置される領域の形状および配置パターンは種々のものが考えられる。

【0143】

（変形例５）
撮像兼焦点検出画素３０１が有する一対の光電変換部３４Ｒ、３４Ｌの形状は、図３（ａ）に図示したものと異なっていてもよい。例えば、図２２（ａ）に図示するように、矩形であってもよい。また、焦点検出方向は、Ｘ軸方向に限定されず、例えばＹ軸方向でもよい。この場合、例えば図２２（ｂ）に図示するように、Ｙ軸方向に分割された一対の光電変換部３４Ｔ、３４Ｂを設ければよい。

【0144】

更に、Ｘ軸方向とＹ軸方向の両方を焦点検出方向とすることもできる。例えば図２２（ｃ）に図示するように、４つの光電変換部３４ａ、３４ｂ、３４ｃ、３４ｄを設ける。このとき、紙面左側に配置された２つの光電変換部３４ａ、３４ｃの受光信号を加算すれば、図２２（ａ）に図示した光電変換部３４Ｌの受光信号に相当する信号が得られる。また、紙面上側に配置された２つの光電変換部３４ａ、３４ｂの受光信号を加算すれば、図２２（ｂ）に図示した光電変換部３４Ｔの受光信号に相当する信号が得られる。従って、図２２（ｃ）に図示するように撮像兼焦点検出画素３０１を構成すると共に、４つの光電変換部３４ａ、３４ｂ、３４ｃ、３４ｄのＸ軸方向およびＹ軸方向の幅を小さくした光電変換部を有する焦点検出画素３０２を設ければ、Ｘ軸方向とＹ軸方向の両方が焦点検出方向となる。

【0145】

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

【符号の説明】

【0146】

１…カメラシステム、１００…交換レンズ、１１０…結像光学系、１１２…フォーカシングレンズ、１２０…レンズＣＰＵ、１３０…絞り、２００…カメラボディ、２１０…撮像素子、２２０…ボディＣＰＵ、２２１…第１焦点検出部、２２２…第２焦点検出部、２３０…焦点調節部、２４０…ＲＯＭ、２５０…表示装置、３０１、３０１ａ、３０１ｂ…撮像兼焦点検出画素、３０２…焦点検出画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】