知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-10
(45)【発行日】2025-03-18
(54)【発明の名称】撮像素子
(51)【国際特許分類】
H04N 25/703 20230101AFI20250311BHJP
H04N 25/704 20230101ALI20250311BHJP
H04N 23/54 20230101ALI20250311BHJP
G02B 7/34 20210101ALI20250311BHJP
G03B 13/36 20210101ALI20250311BHJP
【ＦＩ】
H04N25/703
H04N25/704
H04N23/54
G02B7/34
G03B13/36
【請求項の数】
11
(21)【出願番号】P 2020176488
(22)【出願日】2020-10-21
(65)【公開番号】P2022067733
(43)【公開日】2022-05-09
【審査請求日】2023-09-13
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】中山 史人
(72)【発明者】
【氏名】鈴木 智
【審査官】堀井 康司
(56)【参考文献】
【文献】特開２０２０－１０１７２２（ＪＰ，Ａ）
【文献】特開２０１２－２３０１７２（ＪＰ，Ａ）
【文献】特開２０１７－００５５０９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／３０－５／３３
Ｈ０４Ｎ ２３／１１
Ｈ０４Ｎ ２３／２０－２３／３０
Ｈ０４Ｎ ２５／００
Ｈ０４Ｎ ２５／２０－２５／６１
Ｈ０４Ｎ ２５／６１５－２５／７９
Ｈ０４Ｎ ２３／５４
Ｇ０２Ｂ ７／３４
Ｇ０３Ｂ １３／３６
(57)【特許請求の範囲】
【請求項1】
マイクロレンズと、第１の光電変換部および第２の光電変換部とを含み、光学系の瞳の第１および第２の領域を通過した第１および第２の光束をそれぞれ光電変換する画素が、前記光学系からの光が入射される領域に複数配置され、前記画素は、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第１の射出瞳の位置に対応する第１の位置関係を有する第１画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第２の射出瞳の位置に対応する第２の位置関係を有する第２画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第３の射出瞳の位置に対応する第３の位置関係を有する第３画素と、を含み、
前記領域内の第１領域と、前記領域内において前記第１領域よりも第１方向の端部側に位置する第２領域との両方に、前記第１画素が前記第１方向に複数並ぶ第１の画素行が第２方向に複数行配置され、
前記第１領域および前記第２領域のうち前記第２領域のみに、前記第２画素が前記第１方向に複数並ぶ第２の画素行が配置され、
前記第１領域および前記第２領域のうち前記第２領域のみに、前記第３画素が前記第１方向に複数並ぶ第３の画素行が配置され、
前記第２領域に配置される複数の前記第１の画素行のうち少なくとも一つの画素行は、前記第２の画素行と前記第３の画素行の間に配置される撮像素子。
【請求項2】
請求項１に記載の撮像素子において、前記第２の画素行および前記第３の画素行の長さは、前記領域の前記第１方向の長さより短い撮像素子。
【請求項3】
請求項２に記載の撮像素子において、前記第２の画素行は前記第２領域に複数配置され、前記第２方向に隣り合う前記第２の画素行は、前記第１方向において前記領域の中央からの距離が異なる撮像素子。
【請求項4】
請求項３に記載の撮像素子において、前記第３の画素行は前記第２領域に複数配置され、前記第２方向に隣り合う前記第３の画素行は、前記第１方向において前記領域の中央からの距離が異なる撮像素子。
【請求項5】
請求項１から４のいずれか一項に記載の撮像素子において、前記第２の画素行および前記第３の画素行は、前記第２方向の全行数のうち予め定めた割合で配置される撮像素子。
【請求項6】
請求項５に記載の撮像素子において、前記第２の画素行および前記第３の画素行は、前記第２方向において周期的に配置される撮像素子。
【請求項7】
請求項５に記載の撮像素子において、前記第２の画素行および前記第３の画素行は、前記第２方向において非周期的に配置される撮像素子。
【請求項8】
請求項５に記載の撮像素子において、前記第２の画素行および前記第３の画素行は、それぞれ前記第２方向に少なくとも３行並べて配置される撮像素子。
【請求項9】
マイクロレンズと、第１の光電変換部および第２の光電変換部とを含み、光学系の瞳の第１および第２の領域を通過した第１および第２の光束をそれぞれ光電変換する画素が、前記光学系からの光が入射される領域に複数配置され、前記画素は、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第１の射出瞳の位置に対応する第１の位置関係を有する第１画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第２の射出瞳の位置に対応する第２の位置関係を有する第２画素と、を含み、
前記領域内の第１領域と、前記領域内において前記第１領域よりも第１方向の端部側に位置する第２領域との両方に、前記第１画素が前記第１方向に複数並ぶ第１の画素行が第２方向に複数行配置され、
前記第１領域および前記第２領域のうち前記第２領域のみに、前記第２画素が前記第１方向に複数並ぶ第２の画素行が複数配置され、
前記第２方向に隣り合う前記第２の画素行は、前記第１方向において前記領域の中央からの距離が異なる撮像素子。
【請求項10】
請求項９に記載の撮像素子において、前記画素は、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第３の射出瞳の位置に対応する第３の位置関係を有する第３画素を含み、
前記第１領域および前記第２領域のうち前記第２領域のみに、前記第３画素が前記第１方向に複数並ぶ第３の画素行が配置され、
前記第２方向に隣り合う前記第３の画素行は、前記第１方向において前記領域の中央からの距離が異なる撮像素子。
【請求項11】
マイクロレンズと、第１の光電変換部および第２の光電変換部とを含み、光学系の瞳の第１および第２の領域を通過した第１および第２の光束をそれぞれ光電変換する画素が、前記光学系からの光が入射される領域に複数配置され、前記画素は、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第１の射出瞳の位置に対応する第１の位置関係を有する第１画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第２の射出瞳の位置に対応する第２の位置関係を有する第２画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第３の射出瞳の位置に対応する第３の位置関係を有する第３画素と、を含み、
前記領域内の第１領域と、前記領域内において前記第１領域よりも第１方向の端部側に位置する第２領域との両方に、前記第１画素が前記第１方向に複数並ぶ第１の画素行が第２方向に複数行配置され、
前記第１領域および前記第２領域のうち前記第２領域のみに、前記第２画素が前記第１方向に複数並ぶ第２の画素行が配置され、
前記第１領域および前記第２領域のうち前記第２領域のみに、前記第３画素が前記第１方向に複数並ぶ第３の画素行が配置され、
前記第２の画素行および前記第３の画素行は、前記第２方向において非周期的に配置される撮像素子。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子に関する。
【背景技術】
【0002】
２つの光電変換部を設けた画素が光電変換領域に配置され、瞳分割位相差方式の焦点検出を行う技術が知られている（特許文献１参照）。このような技術では、光電変換領域の像高が高い位置に配置された画素において検出精度が悪くなる。
【先行技術文献】
【特許文献】
【0003】
【文献】日本国特開２００２－３１４０６２号公報
【発明の概要】
【0004】
発明の一態様による撮像素子は、マイクロレンズと、第１の光電変換部および第２の光電変換部とを含み、光学系の瞳の第１および第２の領域を通過した第１および第２の光束をそれぞれ光電変換する画素が、前記光学系からの光が入射される領域に複数配置され、前記画素は、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第１の射出瞳の位置に対応する第１の位置関係を有する第１画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第２の射出瞳の位置に対応する第２の位置関係を有する第２画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第３の射出瞳の位置に対応する第３の位置関係を有する第３画素と、を含み、前記領域内の第１領域と、前記領域内において前記第１領域よりも第１方向の端部側に位置する第２領域との両方に、前記第１画素が前記第１方向に複数並ぶ第１の画素行が第２方向に複数行配置され、前記第１領域および前記第２領域のうち前記第２領域のみに、前記第２画素が前記第１方向に複数並ぶ第２の画素行が配置され、前記第１領域および前記第２領域のうち前記第２領域のみに、前記第３画素が前記第１方向に複数並ぶ第３の画素行が配置され、前記第２領域に配置される複数の前記第１の画素行のうち少なくとも一つの画素行は、前記第２の画素行と前記第３の画素行の間に配置される。
発明の一態様による撮像素子は、マイクロレンズと、第１の光電変換部および第２の光電変換部とを含み、光学系の瞳の第１および第２の領域を通過した第１および第２の光束をそれぞれ光電変換する画素が、前記光学系からの光が入射される領域に複数配置され、前記画素は、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第１の射出瞳の位置に対応する第１の位置関係を有する第１画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第２の射出瞳の位置に対応する第２の位置関係を有する第２画素と、を含み、前記領域内の第１領域と、前記領域内において前記第１領域よりも第１方向の端部側に位置する第２領域との両方に、前記第１画素が前記第１方向に複数並ぶ第１の画素行が第２方向に複数行配置され、前記第１領域および前記第２領域のうち前記第２領域のみに、前記第２画素が前記第１方向に複数並ぶ第２の画素行が複数配置され、前記第２方向に隣り合う前記第２の画素行は、前記第１方向において前記領域の中央からの距離が異なる。
発明の一態様による撮像素子は、マイクロレンズと、第１の光電変換部および第２の光電変換部とを含み、光学系の瞳の第１および第２の領域を通過した第１および第２の光束をそれぞれ光電変換する画素が、前記光学系からの光が入射される領域に複数配置され、前記画素は、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第１の射出瞳の位置に対応する第１の位置関係を有する第１画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第２の射出瞳の位置に対応する第２の位置関係を有する第２画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第３の射出瞳の位置に対応する第３の位置関係を有する第３画素と、を含み、前記領域内の第１領域と、前記領域内において前記第１領域よりも第１方向の端部側に位置する第２領域との両方に、前記第１画素が前記第１方向に複数並ぶ第１の画素行が第２方向に複数行配置され、前記第１領域および前記第２領域のうち前記第２領域のみに、前記第２画素が前記第１方向に複数並ぶ第２の画素行が配置され、前記第１領域および前記第２領域のうち前記第２領域のみに、前記第３画素が前記第１方向に複数並ぶ第３の画素行が配置され、前記第２の画素行および前記第３の画素行は、前記第２方向において非周期的に配置される。
発明の一態様による撮像素子は、マイクロレンズと、第１の光電変換部および第２の光電変換部とを含み、光学系の瞳の第１および第２の領域を通過した第１および第２の光束をそれぞれ光電変換する画素が、前記光学系からの光が入射される領域に複数配置され、前記画素は、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第１の射出瞳の位置に対応する第１の位置関係を有する第１画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第２の射出瞳の位置に対応する第２の位置関係を有する第２画素と、を含み、前記領域内の第１領域と、前記領域内において前記第１領域よりも第１方向の端部側に位置する第２領域との両方に、前記第１画素が前記第１方向に複数並ぶ第１の画素行が第２方向に複数行配置され、前記第１領域および前記第２領域のうち前記第２領域のみに、前記第２画素が前記第１方向に複数並ぶ第２の画素行が複数配置され、前記第２方向に隣り合う前記第２の画素行は、前記第１方向において前記領域の中央からの距離が異なる。
発明の一態様による撮像素子は、マイクロレンズと、第１の光電変換部および第２の光電変換部とを含み、光学系の瞳の第１および第２の領域を通過した第１および第２の光束をそれぞれ光電変換する画素が、前記光学系からの光が入射される領域に複数配置され、前記画素は、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第１の射出瞳の位置に対応する第１の位置関係を有する第１画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第２の射出瞳の位置に対応する第２の位置関係を有する第２画素と、前記マイクロレンズと前記第１および前記第２の光電変換部とが前記光学系の第３の射出瞳の位置に対応する第３の位置関係を有する第３画素と、を含み、前記領域内の第１領域と、前記領域内において前記第１領域よりも第１方向の端部側に位置する第２領域との両方に、前記第１画素が前記第１方向に複数並ぶ第１の画素行が第２方向に複数行配置され、前記第１領域および前記第２領域のうち前記第２領域のみに、前記第２画素が前記第１方向に複数並ぶ第２の画素行が配置され、前記第１領域および前記第２領域のうち前記第２領域のみに、前記第３画素が前記第１方向に複数並ぶ第３の画素行が配置され、前記第２の画素行および前記第３の画素行は、前記第２方向において非周期的に配置される。
【図面の簡単な説明】
【0005】
【図1】第１の実施形態によるカメラを例示するブロック図である。
【図2】撮像素子の概略構成を例示する図である。
【図3】撮像素子の画素配置を例示する図である。
【図4】画素を説明する回路図である。
【図5】ａ系列およびｂ系列の信号を例示する図である。
【図6】撮像素子の光電変換領域を説明する図である。
【図7】瞳分割位相差方式による焦点検出光束を説明するための撮像素子の断面図である。
【図8】瞳分割位相差方式による焦点検出光束を説明するための撮像素子の断面図である。
【図9】第１の実施形態の変形例１において、短距離対応ＭＬ行および長距離対応ＭＬ行を設ける領域を説明する図である。
【図10】第１の実施形態の変形例２において、短距離対応ＭＬ行および長距離対応ＭＬ行を設ける領域を説明する図である。
【図11】第２の実施形態による撮像素子の像高が高い位置に配置されている画素のマイクロレンズの拡大図である。
【図12】第２の実施形態による撮像素子の像高が高い位置に配置されている画素のマイクロレンズの拡大図である。
【図13】第２の実施形態の変形例３による撮像素子の像高が高い位置に配置されている画素のマイクロレンズの拡大図である。
【図14】第２の実施形態の変形例３による撮像素子の像高が高い位置に配置されている画素のマイクロレンズの拡大図である。
【図15】短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第１態様を説明する図である。
【図16】短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第２態様を説明する図である。
【図17】短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第３態様を説明する図である。
【図18】短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第４態様を説明する図である。
【図19】短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第５態様を説明する図である。
【図20】短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第６態様を説明する図である。
【図21】短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第７態様を説明する図である。
【図22】短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第８態様を説明する図である。
【発明を実施するための形態】
【0006】
（第１の実施形態）
図１は、第１の実施形態による固体撮像素子３（以降、撮像素子３と称する）を用いた焦点検出装置を搭載するデジタルカメラ１（以降、カメラ１と称する）を例示するブロック図である。
撮像素子３は、１つのマイクロレンズに対して複数の光電変換部を有する画素が、撮像素子３で画像を生成する光電変換領域の全域にわたって配置される。そして、画素ごとに読み出された光電変換信号が、瞳分割位相差方式の焦点検出に用いられる。
図１は、第１の実施形態による固体撮像素子３（以降、撮像素子３と称する）を用いた焦点検出装置を搭載するデジタルカメラ１（以降、カメラ１と称する）を例示するブロック図である。
撮像素子３は、１つのマイクロレンズに対して複数の光電変換部を有する画素が、撮像素子３で画像を生成する光電変換領域の全域にわたって配置される。そして、画素ごとに読み出された光電変換信号が、瞳分割位相差方式の焦点検出に用いられる。
【0007】
一般に、光電変換領域の中央部では、光電変換部に対して略垂直に光が入射するのに対し、光電変換領域の中央部より外側（中央部より像高が高い領域）に位置する周辺部では、光電変換部に対して斜めに光が入射される。このため、光電変換領域の周辺部には、光が斜めに入射される場合に適した画素をあらかじめ設けておく。
【0008】
ところが、カメラ１に用いられる撮影レンズの特性により、射出瞳から撮像素子３までの距離が変化すると、上記周辺部に対して斜めに入射される光の角度が変わる。そこで、本実施形態では、複数の異なる撮影レンズに対応させて、光が斜めに入射される場合に適した画素を光電変換領域の周辺部に複数通り設けておく。これにより、撮影レンズの特性が異なる場合にも、光電変換領域の周辺部において瞳分割位相差方式の焦点検出を適切に行うことが可能になる。
【0009】
以下、図面を参照して詳細に説明する。第１の実施形態において、一眼レフタイプやミラーレスタイプ等のレンズ交換式のカメラ１を例に説明するが、レンズ交換式のカメラでなくてもよい。例えば、ズームレンズを備えるレンズ一体型のカメラ、あるいはスマートフォン等の携帯端末に搭載されるカメラのような撮像装置として構成してもよい。また、静止画に限らず、動画を撮像するビデオカメラ、モバイルカメラ等の撮像装置として構成してもよい。
【0010】
＜カメラの構成＞
カメラ１には、撮像光学系として撮影レンズ２が装着される。撮影レンズ２は、フォーカシングレンズや絞りを有する。撮影レンズ２が有するフォーカシングレンズや絞りは、マイクロプロセッサ９から指示を受けたレンズ制御部２ａによって制御される。撮影レンズ２は、撮像素子３の撮像面に光学像（被写体像）を結像させる。撮影レンズ２は、結像光学系とも称する。
カメラ１には、撮像光学系として撮影レンズ２が装着される。撮影レンズ２は、フォーカシングレンズや絞りを有する。撮影レンズ２が有するフォーカシングレンズや絞りは、マイクロプロセッサ９から指示を受けたレンズ制御部２ａによって制御される。撮影レンズ２は、撮像素子３の撮像面に光学像（被写体像）を結像させる。撮影レンズ２は、結像光学系とも称する。
【0011】
撮像素子３は、複数の画素を有する。後述するように、複数の画素は、撮影レンズ２を透過し入射した光を光電変換して電荷を生成する２つの光電変換部をそれぞれ有する。２つの光電変換部は、光電変換により生成された電荷に基づく信号をそれぞれ出力する。撮像素子３は、マイクロプロセッサ９から指示を受けた撮像制御部４によって制御される。撮像素子３が有する複数の画素から出力される信号は、信号処理部５、およびＡ／Ｄ変換部６を介して処理された後、メモリ７に一旦記憶される。バス８には、レンズ制御部２ａ、撮像制御部４、メモリ７、マイクロプロセッサ９、焦点演算部（焦点検出処理部）１０、記録部１１、画像圧縮部１２および画像処理部１３などが接続される。
なお、撮像素子３が、信号処理部５と、Ａ／Ｄ変換部６と、メモリ７との一部または全部を含む積層構成にしてもよい。撮像素子３は、信号処理部５およびＡ／Ｄ変換部６およびメモリ７のうち少なくとも１つと、複数の画素とが積層される構成であってもよい。
なお、撮像素子３が、信号処理部５と、Ａ／Ｄ変換部６と、メモリ７との一部または全部を含む積層構成にしてもよい。撮像素子３は、信号処理部５およびＡ／Ｄ変換部６およびメモリ７のうち少なくとも１つと、複数の画素とが積層される構成であってもよい。
【0012】
マイクロプロセッサ９には、レリーズ釦などの操作部９ａから操作信号が入力される。マイクロプロセッサ９は、操作部９ａからの操作信号に基づいて各ブロックへ指示を送り、カメラ１を制御する。
【0013】
焦点演算部１０は、撮像素子３が有する画素からの信号に基づき、瞳分割型の位相差検出方式によって撮影レンズ２による焦点調節状態を算出する。焦点演算部１０は、後述する画素２０が有する第１および第２のフォトダイオードＳ１およびＳ２で生成される電荷に基づく信号に基づいて、撮影レンズ２による像が撮像素子３の撮像面上に合焦するためのフォーカスレンズの合焦位置を算出する。具体的には、撮影レンズ２の瞳の異なる領域を通過した複数の光束による像の像ズレ量を検出し、検出した像ズレ量に基づいてデフォーカス量を算出する。デフォーカス量は、撮影レンズ２による像が結像する結像面と撮像素子３の撮像面とのずれ量である。位相差検出方式によるデフォーカス量の演算は公知であるため、詳細な説明は省略する。焦点演算部１０は、算出したデフォーカス量に基づいて、合焦位置までのフォーカスレンズの移動量を算出する。
マイクロプロセッサ９は、レンズ制御部２ａへフォーカシングレンズの移動を指示するとともに、算出したフォーカスレンズの移動量を送る。これにより、焦点調節が自動で行われる。焦点演算部１０、マイクロプロセッサ９およびレンズ制御部２ａは、焦点調節部として動作する。
マイクロプロセッサ９は、レンズ制御部２ａへフォーカシングレンズの移動を指示するとともに、算出したフォーカスレンズの移動量を送る。これにより、焦点調節が自動で行われる。焦点演算部１０、マイクロプロセッサ９およびレンズ制御部２ａは、焦点調節部として動作する。
【0014】
画像処理部１３は、メモリ７に記憶された撮像素子３からの信号に対して所定の画像処理を行って画像データを生成する。画像処理部１３は、画像生成部として動作する。画像圧縮部１２は、画像処理後の画像データを所定形式でデータ圧縮する。記録部１１は、圧縮後の画像データを所定のファイル形式で記録媒体１１ａに記録したり、記録媒体１１ａに記録されている画像データを読み出したりする。記録媒体１１ａは、記録部１１に対して着脱自在のメモリカードなどで構成される。
【0015】
また、画像処理部１３は、画像を表示部１４に表示させるための画像データを生成する。表示部１４は、画像処理部１３で生成された画像データに基づく画像を表示する。表示部１４が表示する画像には、記録媒体１１ａに記録されている画像データに基づく再生画像（静止画、動画）や、撮像素子３によって所定の間隔（例えば６０ｆｐｓ）で取得されるモニタ用画像（ライブビュー画像とも称される）が含まれる。
【0016】
＜撮像素子の概要＞
図２は、撮像素子３の概略構成を例示する図である。撮像素子３は、マトリクス状に配置された複数の画素２０と、各画素２０からの信号を出力するための周辺回路とを有する。一般に、画像を構成する最小単位が「画素」と称されるが、本実施形態では、画像を構成する最小単位の信号を生成する構成を「画素」と称する。
光電変換領域３１は、画素２０がマトリクス状に配置されている領域を示す。図２の例では、光電変換領域３１として水平に４行×垂直に４列の１６画素分の範囲を例示しているが、実際の画素数は図２に例示するものよりはるかに多い。
図２は、撮像素子３の概略構成を例示する図である。撮像素子３は、マトリクス状に配置された複数の画素２０と、各画素２０からの信号を出力するための周辺回路とを有する。一般に、画像を構成する最小単位が「画素」と称されるが、本実施形態では、画像を構成する最小単位の信号を生成する構成を「画素」と称する。
光電変換領域３１は、画素２０がマトリクス状に配置されている領域を示す。図２の例では、光電変換領域３１として水平に４行×垂直に４列の１６画素分の範囲を例示しているが、実際の画素数は図２に例示するものよりはるかに多い。
【0017】
図３は、撮像素子３の画素配置を例示する図である。画素２０には、マイクロレンズＭＬと不図示のカラーフィルタとが設けられる。カラーフィルタは、一画素２０につき、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の異なる分光特性を有する３つのカラーフィルタのいずれか一つが設けられる。Ｒのカラーフィルタは、主に赤色の波長域の光を透過する。また、Ｇのカラーフィルタは、主に緑色の波長域の光を透過する。さらに、Ｂのカラーフィルタは、主に青色の波長域の光を透過する。Ｇのカラーフィルタは、Ｒのカラーフィルタよりも波長が短い波長域の光を透過する。Ｂのカラーフィルタは、Ｇのカラーフィルタよりも波長が短い波長域の光を透過する。これにより、各画素２０は、配置されたカラーフィルタによって異なる分光特性を有する。
【0018】
撮像素子３には、ＲおよびＧのカラーフィルタを有する画素２０（以下、それぞれ画素２０Ｒ、画素２０Ｇと称する）が交互に配置される画素行（ＲＧ行とも称する）と、ＧおよびＢのカラーフィルタを有する画素２０（以下、それぞれ画素２０Ｇ、画素２０Ｂと称する）が交互に配置される画素行（ＧＢ行とも称する）とが、二次元状に繰り返し配置される。第１の実施形態では、画素２０Ｒ、画素２０Ｇ、および画素２０Ｂが、ベイヤー配列に従って配置される。
なお、以降の説明において、Ｒ、Ｇ、Ｂを付さずに画素２０と称する場合は、画素２０Ｒ、画素２０Ｇ、および画素２０Ｂを全て含むものとする。
なお、以降の説明において、Ｒ、Ｇ、Ｂを付さずに画素２０と称する場合は、画素２０Ｒ、画素２０Ｇ、および画素２０Ｂを全て含むものとする。
【0019】
各画素２０には、それぞれ２つの光電変換部が設けられる。一般に、１画素当たり２つの光電変換部が設けられる場合、２つの光電変換部が水平方向、すなわち行方向に並ぶ場合（水平分割とも称される）と、２つの光電変換部が垂直方向、すなわち列方向に並ぶ場合（垂直分割とも称される）とが存在する。第１の実施形態では、光電変換領域３１の全域にわたって水平分割の画素２０が配される。ただし、所定の領域には、水平分割の画素２０に代えて垂直分割の画素２０を配してもよい。
【0020】
図３では、各画素２０の２つの光電変換部のうちの一方をハッチングして示す。ハッチングされた光電変換部は、この光電変換部で生成された電荷に基づいて後述する第１信号が生成されることを示す。また、ハッチングされない光電変換部は、この光電変換部で生成された電荷に基づいて、後述する第２信号が生成されることを示す。
各画素２０は、周辺回路からの制御信号にしたがって２つの光電変換部で光電変換を行い、光電変換部で生成された電荷に基づく信号を出力する。
各画素２０は、周辺回路からの制御信号にしたがって２つの光電変換部で光電変換を行い、光電変換部で生成された電荷に基づく信号を出力する。
【0021】
再び図２を用いて説明する。周辺回路は、例えば、垂直走査回路２１と、水平走査回路２２と、これらと接続されている制御信号線２３、２４と、画素２０からの信号を受け取る第１および第２の垂直信号線２５ａおよび２５ｂと、第１および第２の垂直信号線２５ａおよび２５ｂに接続される定電流源２６と、相関二重サンプリング回路（ＣＤＳ回路）２７と、ＣＤＳ回路２７から出力される信号を受け取る水平信号線２８と、出力アンプ２９等により構成される。本実施形態では、列方向に配置された複数の画素２０からなる１画素列に対し、２本の垂直信号線、すなわち第１および第２の垂直信号線２５ａおよび２５ｂが設けられている。
【0022】
垂直走査回路２１および水平走査回路２２は、撮像制御部４からの指示により所定の制御信号を出力する。各画素２０は、垂直走査回路２１から出力される制御信号によって駆動され、光電変換で生成された電荷に基づく信号を第１および第２の垂直信号線２５ａおよび２５ｂに出力する。画素２０から出力された信号は、ＣＤＳ回路２７にてノイズ除去が施され、水平走査回路２２からの制御信号によって水平信号線２８および出力アンプ２９を介して外部へ出力される。
【0023】
＜１画素に２つのフォトダイオードＰＤを有する構成＞
図４は、図３においてＭ列に並ぶ（垂直方向に並ぶ）画素２０、すなわち、例えばＮ行目の画素２０Ｇと、Ｎ＋１行目の画素２０Ｒとを説明する回路図である。各画素２０は、マイクロレンズＭＬおよびカラーフィルタの内側（背後）に光電変換部として２つのフォトダイオードＳ１およびＳ２を有する。すなわち、各画素２０は、画素２０の左側に配置された第１のフォトダイオードＳ１と、画素２０の右側に配置された第２のフォトダイオードＳ２とを有する。
したがって、各画素２０の第１のフォトダイオードＳ１には、撮影レンズ２の瞳の第１の領域を通過した光束が入射し、第２のフォトダイオードＳ２には、撮影レンズ２の瞳の第２の領域を通過した光束が入射する。
図４は、図３においてＭ列に並ぶ（垂直方向に並ぶ）画素２０、すなわち、例えばＮ行目の画素２０Ｇと、Ｎ＋１行目の画素２０Ｒとを説明する回路図である。各画素２０は、マイクロレンズＭＬおよびカラーフィルタの内側（背後）に光電変換部として２つのフォトダイオードＳ１およびＳ２を有する。すなわち、各画素２０は、画素２０の左側に配置された第１のフォトダイオードＳ１と、画素２０の右側に配置された第２のフォトダイオードＳ２とを有する。
したがって、各画素２０の第１のフォトダイオードＳ１には、撮影レンズ２の瞳の第１の領域を通過した光束が入射し、第２のフォトダイオードＳ２には、撮影レンズ２の瞳の第２の領域を通過した光束が入射する。
【0024】
本実施形態では、例えば、第１のフォトダイオードＳ１および第２のフォトダイオードＳ２と、第１および第２のフォトダイオードＳ１およびＳ２で生成された電荷に基づく信号を読み出す読み出し部とを含めて「画素」と呼ぶ。読み出し部は、後述する転送トランジスタ、ＦＤ領域、増幅トランジスタ、および選択トランジスタを含む例を説明するが、読み出し部の範囲は、必ずしも本例の通りでなくてもよい。
【0025】
各画素２０において、上述のように、第１および第２のフォトダイオードＳ１およびＳ２には、それぞれ撮影レンズ２の瞳の異なる領域、すなわち第１および第２の領域を通過した光が入射される。第１および第２のフォトダイオードＳ１およびＳ２は、それぞれ入射光を光電変換して電荷を生成する。第１のフォトダイオードＳ１で生成された電荷は、第１の転送トランジスタＴｘ－１を介して第１のＦＤ(フローティング拡散)領域ＦＤ１へ転送される。また、第２のフォトダイオードＳ２で生成された電荷は、第２の転送トランジスタＴｘ－２を介して第２のＦＤ領域ＦＤ２へ転送される。
【0026】
第１のＦＤ領域ＦＤ１は、受け取った電荷を蓄積し、電圧に変換する。第１のＦＤ領域ＦＤ１の電位に応じた信号は、第１の増幅トランジスタＡＭＰ１によって増幅される。第１のＦＤ領域ＦＤ１および第１の増幅トランジスタＡＭＰ１は、第１信号生成部として動作する。そして、生成された信号は、行を選択する第１の選択トランジスタＳＥＬ１によって選択された行の信号として、第１の垂直信号線２５ａ（出力部）を介して読み出される。第１のリセットトランジスタＲＥＳ１は、第１のＦＤ領域ＦＤ１の電位をリセットするリセット部として動作する。本実施形態では、第１のフォトダイオードＳ１で生成された電荷に基づいて生成された信号を第１信号と称する。
【0027】
同様に、第２のＦＤ領域ＦＤ２は、受け取った電荷を蓄積し、電圧に変換する。第２のＦＤ領域ＦＤ２の電位に応じた信号は、第２の増幅トランジスタＡＭＰ２によって増幅される。第２のＦＤ領域ＦＤ２および第２の増幅トランジスタＡＭＰ２は、第２信号生成部として動作する。そして、生成された信号は、行を選択する第２の選択トランジスタＳＥＬ２によって選択された行の信号として、第２の垂直信号線２５ｂ（出力部）を介して読み出される。第２のリセットトランジスタＲＥＳ２は、第２のＦＤ領域ＦＤ２の電位をリセットするリセット部として動作する。本実施形態では、第２のフォトダイオードＳ２で生成された電荷に基づいて生成された信号を第２信号と称する。
【0028】
なお、第１のフォトダイオードＳ１で生成された電荷に基づく第１信号が第１の垂直信号線２５ａを介して読み出され、第２のフォトダイオードＳ２で生成された電荷に基づく第２信号が第２の垂直信号線２５ｂを介して読み出される場合を例示したが、第１のフォトダイオードＳ１と第２のフォトダイオードＳ２との間で共通のＦＤ領域を用いることにより、第１のフォトダイオードＳ１で生成された電荷に基づく第１信号と、第２のフォトダイオードＳ２で生成された電荷に基づく第２信号とを１本の垂直信号線、すなわち第１の垂直信号線２５ａまたは第２の垂直信号線２５ｂを介して時分割的に読み出す構成にしてもよい。
【0029】
＜制御信号＞
画素２０において、第１のフォトダイオードＳ１で生成された電荷を転送する第１の転送トランジスタＴｘ－１は、第１の制御信号φＴｘ１によってオンされる。また、第２のフォトダイオードＳ２で生成された電荷を転送する第２の転送トランジスタＴｘ－２は、第２の制御信号φＴｘ２によってオンされる。
第１信号を第１の垂直信号線２５ａに出力させる行選択用の第１の選択トランジスタＳＥＬ１は、第１の制御信号φＳＥＬ１によってオンされる。第１のＦＤ領域ＦＤ１の電位をリセットさせる第１のリセットトランジスタＲＥＳ１は、第１の制御信号φＲＥＳ１によってオンされる。
また、第２信号を第２の垂直信号線２５ｂに出力させる行選択用の第２の選択トランジスタＳＥＬ２は、第２の制御信号φＳＥＬ２によってオンされる。第２のＦＤ領域ＦＤ２の電位をリセットさせる第２のリセットトランジスタＲＥＳ２は、第２の制御信号φＲＥＳ２によってオンされる。
画素２０において、第１のフォトダイオードＳ１で生成された電荷を転送する第１の転送トランジスタＴｘ－１は、第１の制御信号φＴｘ１によってオンされる。また、第２のフォトダイオードＳ２で生成された電荷を転送する第２の転送トランジスタＴｘ－２は、第２の制御信号φＴｘ２によってオンされる。
第１信号を第１の垂直信号線２５ａに出力させる行選択用の第１の選択トランジスタＳＥＬ１は、第１の制御信号φＳＥＬ１によってオンされる。第１のＦＤ領域ＦＤ１の電位をリセットさせる第１のリセットトランジスタＲＥＳ１は、第１の制御信号φＲＥＳ１によってオンされる。
また、第２信号を第２の垂直信号線２５ｂに出力させる行選択用の第２の選択トランジスタＳＥＬ２は、第２の制御信号φＳＥＬ２によってオンされる。第２のＦＤ領域ＦＤ２の電位をリセットさせる第２のリセットトランジスタＲＥＳ２は、第２の制御信号φＲＥＳ２によってオンされる。
【0030】
＜焦点調節＞
本実施形態のカメラ１は、焦点検出（合焦位置の検出）に用いる一対の焦点検出信号を、例えば、フォーカスエリアに対応する画素行のうち、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）から読み出された、画素２０Ｇの第１信号と第２信号とに基づいて生成する。フォーカスエリアは、焦点演算部１０が位相差情報としての像ズレ量を検出するエリアであり、焦点検出エリア、測距点、オートフォーカス（ＡＦ）ポイントとも称される。
本実施形態のカメラ１は、焦点検出（合焦位置の検出）に用いる一対の焦点検出信号を、例えば、フォーカスエリアに対応する画素行のうち、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）から読み出された、画素２０Ｇの第１信号と第２信号とに基づいて生成する。フォーカスエリアは、焦点演算部１０が位相差情報としての像ズレ量を検出するエリアであり、焦点検出エリア、測距点、オートフォーカス（ＡＦ）ポイントとも称される。
【0031】
マイクロプロセッサ９は、例えば、レリーズ釦が半押し操作されたことを示す操作信号が操作部９ａから入力されると、撮像制御部４に焦点調節用の撮像を指示する。焦点調節用の撮像では、撮像素子３の読み出し対象となる画素行に対し、垂直走査回路２１および水平走査回路２２から焦点調節用の制御信号を供給して焦点調節用の読み出しを行う。焦点調節用の読み出しは、画素行の各画素２０Ｇに第１の制御信号φＴｘ１等を供給して画素２０Ｇから第１のフォトダイオードＳ１で生成された電荷に基づく第１信号を読み出すとともに、画素行の各画素２０Ｇに第２の制御信号φＴｘ２等を供給して画素２０Ｇから第２のフォトダイオードＳ２で生成された電荷に基づく第２信号を読み出すことをいう。
【0032】
焦点調節用の読み出しにより、各画素２０Ｇから読み出された第１信号と第２信号とがメモリ７に記憶される。メモリ７に記憶された複数の第１信号Ａ１，Ａ２，…，Ａｎ（ａ系列の信号と称する）と、メモリ７に記憶された複数の第２信号Ｂ１，Ｂ２，…，Ｂｎ（ｂ系列の信号と称する）とは、撮影レンズ２の瞳の異なる領域を通過した複数の光束による像の強度分布を表す。
【0033】
図５は、複数の第１信号からなるａ系列の信号と、複数の第２信号からなるｂ系列の信号とを例示する図である。図５において、ｎ個のａ系列の信号をハッチング処理した丸で表す。また、ｎ個のｂ系列の信号を白丸で表す。画素２０Ｇからのａ系列の信号およびｂ系列の信号は、それぞれ図３の１列おきに読み出される。図５の縦の破線は、画素列に対応する。
焦点演算部１０は、上記ａ系列の信号とｂ系列の信号とに基づき、像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって複数の像の像ズレ量を算出し、像ズレ量に所定の変換係数を乗算することによってデフォーカス量を算出する。
焦点演算部１０は、上記ａ系列の信号とｂ系列の信号とに基づき、像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって複数の像の像ズレ量を算出し、像ズレ量に所定の変換係数を乗算することによってデフォーカス量を算出する。
【0034】
次に、マイクロプロセッサ９は、焦点演算部１０によって算出されたデフォーカス量が許容値以内か否かを判定する。マイクロプロセッサ９は、デフォーカス量が許容値を超えている場合は合焦していないと判断し、レンズ制御部２ａへレンズ駆動指示を送る。レンズ制御部２ａは、デフォーカス量を許容値以内に納める位置（合焦位置）へフォーカシングレンズを移動させる。一方、マイクロプロセッサ９は、デフォーカス量が許容値以内であれば合焦していると判断し、レンズ駆動指示を送らない。
【0035】
なお、上述したカメラ１では、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）から読み出された、画素２０Ｇの第１信号と第２信号とに基づいて焦点調節に用いる画像データを生成した。焦点調節に用いる画像データは、画素２０Ｇによる第１信号と第２信号とに限らず、画素２０Ｂによる第１信号と第２信号とに基づいて生成してもよい。また、画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）から読み出された、画素２０Ｇまたは画素２０Ｒの第１信号と第２信号とに基づいて焦点調節に用いる画像データを生成してもよい。
【0036】
＜画像データの生成＞
本実施形態のカメラ１は、被写体像に関する画像データを、光電変換領域３１（図２）の各画素２０から読み出された第１信号と第２信号とに基づいて生成する。マイクロプロセッサ９は、例えば、レリーズ釦が全押し操作されたことを示す操作信号が操作部９ａから入力されると、撮像制御部４に記録用の撮像を指示する。記録用の撮像では、撮像素子３の各画素行に対し、垂直走査回路２１および水平走査回路２２から画像用の制御信号を供給して画像用の読み出しを行う。画像用の読み出しは、画素行の各画素２０に第１の制御信号φＴｘ１等を供給して画素２０から第１のフォトダイオードＳ１で生成された電荷に基づく第１信号を読み出すとともに、画素行の各画素２０に第２の制御信号φＴｘ２等を供給して画素２０から第２のフォトダイオードＳ２で生成された電荷に基づく第２信号を読み出すことをいう。
本実施形態のカメラ１は、被写体像に関する画像データを、光電変換領域３１（図２）の各画素２０から読み出された第１信号と第２信号とに基づいて生成する。マイクロプロセッサ９は、例えば、レリーズ釦が全押し操作されたことを示す操作信号が操作部９ａから入力されると、撮像制御部４に記録用の撮像を指示する。記録用の撮像では、撮像素子３の各画素行に対し、垂直走査回路２１および水平走査回路２２から画像用の制御信号を供給して画像用の読み出しを行う。画像用の読み出しは、画素行の各画素２０に第１の制御信号φＴｘ１等を供給して画素２０から第１のフォトダイオードＳ１で生成された電荷に基づく第１信号を読み出すとともに、画素行の各画素２０に第２の制御信号φＴｘ２等を供給して画素２０から第２のフォトダイオードＳ２で生成された電荷に基づく第２信号を読み出すことをいう。
【0037】
画像用の読み出しにより、各画素２０から読み出された第１信号と第２信号とがメモリ７に記憶される。画像処理部１３は、メモリ７に記憶された第１信号および第２信号を画素２０ごとに加算して画像用の信号を生成し、さらに階調処理や色補間処理などを施して、被写体像に関する画像データを生成する。
【0038】
＜スケーリング＞
本実施形態では、光電変換領域３１に各画素２０が等間隔で配置される。すなわち、画素２０の第１および第２のフォトダイオードＳ１およびＳ２の行方向、列方向の間隔は、光電変換領域３１の全域にわたって等間隔である。等間隔に配置することで、第１および第２のフォトダイオードＳ１およびＳ２の周りの配線位置や配線密度等を各画素２０において同等にできるため、各画素２０の電気的な特性（例えば、寄生容量等）のばらつきを抑えることができる。
本実施形態では、光電変換領域３１に各画素２０が等間隔で配置される。すなわち、画素２０の第１および第２のフォトダイオードＳ１およびＳ２の行方向、列方向の間隔は、光電変換領域３１の全域にわたって等間隔である。等間隔に配置することで、第１および第２のフォトダイオードＳ１およびＳ２の周りの配線位置や配線密度等を各画素２０において同等にできるため、各画素２０の電気的な特性（例えば、寄生容量等）のばらつきを抑えることができる。
【0039】
一方、本実施形態では、光電変換領域３１に配置されている画素２０の位置により、その画素２０に光を集光するマイクロレンズＭＬの中心位置を、画素２０の中心位置からずらして配置する。ずらし量は、画素２０が配置された位置の像高が高いほど（光電変換領域３１の中心から離れるほど）大きくする。本例では、第１および第２のフォトダイオードＳ１およびＳ２の中心位置を、画素２０の中心位置とする。マイクロレンズＭＬの中心位置と画素２０の中心位置とのずらし量を、光電変換領域３１の中で徐々に変化させることをスケーリングと称する。画素２０の中心位置とマイクロレンズＭＬの中心位置とのずらし量を、画素２０の位置により変化させるのは、撮影レンズ２の瞳の異なる領域、すなわち瞳の第１および第２の領域を通過した光を、第１および第２のフォトダイオードＳ１およびＳ２に適切に入射させるためである。図６を参照して、さらに詳細に説明する。
【0040】
図６は、撮像素子３の光電変換領域３１を説明する図である。上述したように、光電変換領域３１の全域に画素２０が等間隔で配置される。そして、標準の特性（例えば３５mm判換算で焦点距離ｆ＝５０mm）を有する撮影レンズ２を介して入射される光に適したスケーリングにより、画素２０の中心位置に対してマイクロレンズＭＬの中心位置をずらして配置する。図６の例では、マイクロレンズＭＬをずらす方向は行方向（水平方向）であり、光電変換領域３１の中心に向かう方向である。本実施形態において、標準の特性に適合させてマイクロレンズＭＬをずらして配置する画素行を、中距離対応ＭＬ行と称する。光電変換領域３１の全域の画素行を中距離対応ＭＬ行によって構成することによって、全ての画素２０で、標準の特性を有する撮影レンズ２の瞳の第１および第２の領域を通過した光が、第１および第２のフォトダイオードＳ１およびＳ２に適切に入射される。
【0041】
本実施形態では、標準の特性と異なる特性を有する撮影レンズ２を用いる場合にも、撮影レンズ２の瞳の第１および第２の領域を通過した光が、第１および第２のフォトダイオードＳ１およびＳ２に適切に入射されるように、中距離対応ＭＬ行と異なるスケーリングによりマイクロレンズＭＬを配置した画素行を設ける。具体的には、例えば光電変換領域３１の左右端３０％の領域、すなわち、像高が高い領域の一部において、中距離対応ＭＬ行に代えて短距離対応ＭＬ行と長距離対応ＭＬ行とを設ける。本実施形態において、例えば上記焦点距離ｆ＝５０mmよりも短い焦点距離を有する広角レンズの特性に適合させてマイクロレンズＭＬをずらして配置する画素行を、短距離対応ＭＬ行と称する。また、上記焦点距離ｆ＝５０mmよりも長い焦点距離を有する望遠レンズの特性に適合させてマイクロレンズＭＬをずらして配置する画素行を、長距離対応ＭＬ行と称する。
【0042】
図６の下部において、光電変換領域３１の周辺部、例えば、像高が高い位置にある領域３１ｂに配置されている画素２０のマイクロレンズＭＬの拡大図を示す。本実施形態では、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）を焦点検出に用いるので、ＧＢ行の一部を短距離対応ＭＬ行や長距離対応ＭＬ行と置換する。拡大図において、短距離対応ＭＬ行を挟んで上側２行と下側２行は、それぞれ中距離対応ＭＬ行である。中距離対応ＭＬ行では、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（中）との間隔がＧである。すなわち、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量はＧである。
なお、図６では、画素２０Ｇを白、画素２０Ｂを斜線、画素２０Ｒをハッチングで示す。
なお、図６では、画素２０Ｇを白、画素２０Ｂを斜線、画素２０Ｒをハッチングで示す。
【0043】
一方、短距離対応ＭＬ行では、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（短）との間隔がＧｓである。すなわち、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量はＧｓである。Ｇ＜Ｇｓが成立するように、短距離対応ＭＬ行におけるずらし量Ｇｓは、中距離対応ＭＬ行におけるずらし量Ｇよりも大きい。この理由を図７、図８を参照して説明する。
【0044】
＜撮像素子の中央部＞
図７は、瞳分割位相差方式による焦点検出光束を説明するための撮像素子３の中距離対応ＭＬ行の断面図である。図７では、図６の光電変換領域３１の中央部、すなわち像高が低い位置にある領域３１ａの画素２０に対して光が略垂直に入射される場合を示す。図７において、中距離対応ＭＬ行の画素２０のうち５つの画素２０Ｇａ、２０Ｂｂ、２０Ｇｃ、２０Ｂｄ、２０Ｇｅが例示される。画素２０Ｇａ～画素２０Ｇｅはそれぞれ、マイクロレンズＭＬａ～ＭＬｅと、第１のフォトダイオードＳ１ａ、第２のフォトダイオードＳ２ａ、第１のフォトダイオードＳ１ｂ、第２のフォトダイオードＳ２ｂ、第１のフォトダイオードＳ１ｃ、第２のフォトダイオードＳ２ｃ、第１のフォトダイオードＳ１ｄ、第２のフォトダイオードＳ２ｄ、第１のフォトダイオードＳ１ｅ、第２のフォトダイオードＳ２ｅとを有する。
図７は、瞳分割位相差方式による焦点検出光束を説明するための撮像素子３の中距離対応ＭＬ行の断面図である。図７では、図６の光電変換領域３１の中央部、すなわち像高が低い位置にある領域３１ａの画素２０に対して光が略垂直に入射される場合を示す。図７において、中距離対応ＭＬ行の画素２０のうち５つの画素２０Ｇａ、２０Ｂｂ、２０Ｇｃ、２０Ｂｄ、２０Ｇｅが例示される。画素２０Ｇａ～画素２０Ｇｅはそれぞれ、マイクロレンズＭＬａ～ＭＬｅと、第１のフォトダイオードＳ１ａ、第２のフォトダイオードＳ２ａ、第１のフォトダイオードＳ１ｂ、第２のフォトダイオードＳ２ｂ、第１のフォトダイオードＳ１ｃ、第２のフォトダイオードＳ２ｃ、第１のフォトダイオードＳ１ｄ、第２のフォトダイオードＳ２ｄ、第１のフォトダイオードＳ１ｅ、第２のフォトダイオードＳ２ｅとを有する。
【0045】
光電変換領域３１の中央部では画素２０に対して光が略垂直に入射される。このため、マイクロレンズＭＬの中心位置を、第１および第２のフォトダイオードＳ１およびＳ２の中心位置と合わせて配置する。つまり、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらしは不要である。また、画素２０に対して光が略垂直に入射される光電変換領域３１の中央部では、短距離対応ＭＬ行および長距離対応ＭＬ行を設ける必要もない。図７によれば、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（中）とが一致する。
【0046】
また、第１のフォトダイオードＳ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄ、Ｓ１ｅの平面形状は、マイクロレンズＭＬａ～ＭＬｅから測距瞳距離ｄだけ離間した測距瞳面９０上において第１のフォトダイオードＳ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄ、Ｓ１ｅの全てに共通する領域９１に投影される。
【0047】
さらに、第２のフォトダイオードＳ２ａ、Ｓ２ｂ、Ｓ２ｃ、Ｓ２ｄ、Ｓ２ｅの平面形状は、マイクロレンズＭＬａ～ＭＬｅから測距瞳距離ｄだけ離間した測距瞳面９０上において第２のフォトダイオードＳ２ａ、Ｓ２ｂ、Ｓ２ｃ、Ｓ２ｄ、Ｓ２ｅの全てに共通する領域９２に投影される。領域９１および領域９２は、光軸を通る線Ａｘに対して対称である。この場合には、測距瞳面９０上の第１および第２の領域９１、９２を通過した光が、画素２０の第１および第２のフォトダイオードＳ１およびＳ２に適切に入射される。
【0048】
上記平面形状がそれぞれ投影された測距瞳面９０上の一対の領域９１、９２を、測距瞳と呼ぶ。説明を容易にするために、測距瞳面９０は、撮影レンズ２の光学系の射出瞳面と実質的に同じ位置にあるものとする。すなわち、マイクロレンズＭＬａ～ＭＬｅから測距瞳面９０までの測距瞳距離ｄが、マイクロレンズＭＬａ～ＭＬｅから撮影レンズ２の光学系の射出瞳面までの射出瞳距離と実質的に等しいとみなす。このため、上記の測距瞳面９０上の第１および第２の領域９１、９２を通過した光は、撮影レンズ２の瞳の第１および第２の領域を通過した光に対応する。
【0049】
画素２０Ｇａ～画素２０Ｇｅのうちの画素２０Ｇｃおよび２０Ｂｄを例にあげて説明すると、画素２０Ｇｃは、第１のフォトダイオードＳ１ｃにより、測距瞳９１とマイクロレンズＭＬｃとを通過する焦点検出光束８１を受光するとともに、第２のフォトダイオードＳ２ｃにより、測距瞳９２とマイクロレンズＭＬｃとを通過する焦点検出光束８２を受光する。
【0050】
また、画素２０Ｂｄは、第１のフォトダイオードＳ１ｄにより、測距瞳９１とマイクロレンズＭＬｄとを通過する焦点検出光束７１を受光するとともに、第２のフォトダイオードＳ２ｄにより、測距瞳９２とマイクロレンズＭＬｄとを通過する焦点検出光束７２を受光する。
【0051】
図７における画素２０Ｇｃおよび２０Ｂｄ以外の画素２０Ｇａ、２０Ｂｂ、２０Ｇｅにおいても同様である。以上説明したように、光電変換領域３１の中央部では、画素２０の中心位置に対するマイクロレンズＭＬの中心位置をずらすことなく、撮影レンズ２の瞳の第１および第２の領域を通過した光に対応する、測距瞳９１および９２を通過した焦点検出光束が、第１および第２のフォトダイオードＳ１およびＳ２に適切に入射する。
【0052】
これにより、中距離対応ＭＬ行では、複数の画素２０における第１のフォトダイオードＳ１が、それぞれ測距瞳９１に対応する焦点検出光束によって形成される像の強度に対応した第１信号を出力する。また、複数の画素２０における第２のフォトダイオードＳ２が、それぞれ測距瞳９２に対応する焦点検出光束によって形成される像の強度に対応した第２信号を出力する。以上により、焦点検出用の瞳分割を精度よく行うことができる。
【0053】
＜撮像素子の周辺部＞
図８は、瞳分割位相差方式による焦点検出光束を説明するための撮像素子３の中距離対応ＭＬ行の断面図である。図８では、図６の光電変換領域３１の周辺部、すなわち中央部に比べて像高が高い位置ある領域３１ｂの画素２０に対して光が斜めに入射される場合を示す。図８において、中距離対応ＭＬ行の画素２０のうち５つの画素２０Ｇｇ～２０Ｇｋが例示される。画素２０Ｇｇ～画素２０Ｇｋはそれぞれ、マイクロレンズＭＬｇ～ＭＬｋと、第１のフォトダイオードＳ１ｇ、第２のフォトダイオードＳ２ｇ、第１のフォトダイオードＳ１ｈ、第２のフォトダイオードＳ２ｈ、第１のフォトダイオードＳ１ｉ、第２のフォトダイオードＳ２ｉ、第１のフォトダイオードＳ１ｊ、第２のフォトダイオードＳ２ｊ、第１のフォトダイオードＳ１ｋ、第２のフォトダイオードＳ２ｋとを有する。
図８は、瞳分割位相差方式による焦点検出光束を説明するための撮像素子３の中距離対応ＭＬ行の断面図である。図８では、図６の光電変換領域３１の周辺部、すなわち中央部に比べて像高が高い位置ある領域３１ｂの画素２０に対して光が斜めに入射される場合を示す。図８において、中距離対応ＭＬ行の画素２０のうち５つの画素２０Ｇｇ～２０Ｇｋが例示される。画素２０Ｇｇ～画素２０Ｇｋはそれぞれ、マイクロレンズＭＬｇ～ＭＬｋと、第１のフォトダイオードＳ１ｇ、第２のフォトダイオードＳ２ｇ、第１のフォトダイオードＳ１ｈ、第２のフォトダイオードＳ２ｈ、第１のフォトダイオードＳ１ｉ、第２のフォトダイオードＳ２ｉ、第１のフォトダイオードＳ１ｊ、第２のフォトダイオードＳ２ｊ、第１のフォトダイオードＳ１ｋ、第２のフォトダイオードＳ２ｋとを有する。
【0054】
光電変換領域３１の周辺部では画素２０に対して光が斜めに入射される。このため、マイクロレンズＭＬの中心位置を、第１および第２のフォトダイオードＳ１およびＳ２の中心位置からずらして配置する。つまり、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（中）とのずらし量はＧである。
【0055】
図８によれば、第１のフォトダイオードＳ１ｇ、Ｓ１ｈ、Ｓ１ｉ、Ｓ１ｊ、Ｓ１ｋの平面形状は、マイクロレンズＭＬｇ～ＭＬｋから測距瞳距離ｄだけ離間した測距瞳面９０上において第１のフォトダイオードＳ１ｇ、Ｓ１ｈ、Ｓ１ｉ、Ｓ１ｊ、Ｓ１ｋの全てに共通する領域９１に投影される。
【0056】
また、第２のフォトダイオードＳ２ｇ、Ｓ２ｈ、Ｓ２ｉ、Ｓ２ｊ、Ｓ２ｋの平面形状は、マイクロレンズＭＬｇ～ＭＬｋから測距瞳距離ｄだけ離間した測距瞳面９０上において第２のフォトダイオードＳ２ｇ、Ｓ２ｈ、Ｓ２ｉ、Ｓ２ｊ、Ｓ２ｋの全てに共通する領域９２に投影される。領域９１および領域９２は、光軸を通る線Ａｘに対して対称である。この場合には、測距瞳面９０上の第１および第２の領域９１、９２を通過した光が、画素２０の第１および第２のフォトダイオードＳ１およびＳ２に適切に入射される。
【0057】
図７の場合と同様に、上記平面形状がそれぞれ投影された測距瞳面９０上の一対の領域９１、９２を、測距瞳と呼ぶ。また、説明を容易にするために、マイクロレンズＭＬｇ～ＭＬｋから測距瞳面９０までの測距瞳距離ｄが、マイクロレンズＭＬｇ～ＭＬｋから撮影レンズ２の光学系の射出瞳面までの射出瞳距離と実質的に等しいとみなす。このため、上記の測距瞳面９０上の第１および第２の領域９１、９２を通過した光は、撮影レンズ２の瞳の第１および第２の領域を通過した光に対応する。
【0058】
画素２０Ｇｇ～画素２０Ｇｋのうち画素２０Ｂｈおよび２０Ｇｉを例にあげて説明すると、画素２０Ｂｈは、第１のフォトダイオードＳ１ｈにより、測距瞳９１とマイクロレンズＭＬｈとを通過する焦点検出光束１７１を受光するとともに、第２のフォトダイオードＳ２ｈにより、測距瞳９２とマイクロレンズＭＬｈとを通過する焦点検出光束１７２を受光する。
【0059】
また、画素２０Ｇｉは、第１のフォトダイオードＳ１ｉにより、測距瞳９１とマイクロレンズＭＬｉとを通過する焦点検出光束１８１を受光するとともに、第２のフォトダイオードＳ２ｉにより、測距瞳９２とマイクロレンズＭＬｉとを通過する焦点検出光束１８２を受光する。
【0060】
図８における画素２０Ｂｈおよび２０Ｇｉ以外の画素２０Ｇｇ、２０Ｂｊ、２０Ｇｋにおいても同様である。以上説明したように、光電変換領域３１の周辺部では、中距離対応ＭＬ行の画素２０の中心位置に対するマイクロレンズＭＬの中心位置をずらしたことにより、撮影レンズ２の瞳の第１および第２の領域を通過した光に対応する、測距瞳９１および９２を通過した焦点検出光束が、第１および第２のフォトダイオードＳ１およびＳ２に適切に入射する。
【0061】
これにより、中距離対応ＭＬ行では、複数の画素２０における第１のフォトダイオードＳ１が、それぞれ測距瞳９１に対応する焦点検出光束によって形成される像の強度に対応した第１信号を出力する。また、複数の画素２０における第２のフォトダイオードＳ２が、それぞれ測距瞳９２に対応する焦点検出光束によって形成される像の強度に対応した第２信号を出力する。以上により、焦点検出用の瞳分割を精度よく行うことができる。
【0062】
一般に、マイクロレンズＭＬｇ～ＭＬｋから撮影レンズ２の光学系の射出瞳面までの射出瞳距離は、交換レンズ２の特性によって変化する。このため、上記射出瞳距離と実質的に等しいとみなした測距瞳距離ｄが図８の例よりも短くなる場合は、画素２０には図８よりもさらに斜めに光が入射される。そこで、図６に例示した短距離対応ＭＬ行として、中距離対応ＭＬ行におけるずらし量Ｇよりも大きなずらし量ＧｓでマイクロレンズＭＬを配置した画素行を設ける。短距離対応ＭＬ行は、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（短）との間隔がＧｓ（Ｇ＜Ｇｓ）である。
【0063】
反対に、測距瞳距離ｄが図８の例よりも長くなる場合は、画素２０には図８よりも垂直に近い光（図７の例に近い）が入射される。そこで、図６に例示した長距離対応ＭＬ行として、中距離対応ＭＬ行におけるずらし量Ｇよりも小さなずらし量ＧＬでマイクロレンズＭＬを配置した画素行を設ける。長距離対応ＭＬ行の図示は省略するが、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（長）との間隔はＧＬ（ＧＬ＜Ｇ）である。
【0064】
短距離対応ＭＬ行と長距離対応ＭＬ行とを設けることにより、測距瞳距離ｄが図８の例よりも短くなる場合は、短距離対応ＭＬ行において、複数の画素２０における第１のフォトダイオードＳ１が、それぞれ測距瞳９１に対応する焦点検出光束によって形成される像の強度に対応した第１信号を出力する。また、複数の画素２０における第２のフォトダイオードＳ２が、それぞれ測距瞳９２に対応する焦点検出光束によって形成される像の強度に対応した第２信号を出力する。以上により、焦点検出用の瞳分割を精度よく行うことができる。
【0065】
また、測距瞳距離ｄが長くなる場合には、長距離対応ＭＬ行において、複数の画素２０における第１のフォトダイオードＳ１が、それぞれ測距瞳９１に対応する焦点検出光束によって形成される像の強度に対応した第１信号を出力する。また、複数の画素２０における第２のフォトダイオードＳ２が、それぞれ測距瞳９２に対応する焦点検出光束によって形成される像の強度に対応した第２信号を出力する。以上により、焦点検出用の瞳分割を精度よく行うことができる。
【0066】
なお、以上の説明では、図６において光電変換領域３１の中央より左側に位置する領域３１ｂにおいて、マイクロレンズＭＬの中心位置を、第１および第２のフォトダイオードＳ１およびＳ２の中心位置より左方向にずらして配置する例を説明した。図６において光電変換領域３１の中央より右側に位置する領域３１ｄにおいては、マイクロレンズＭＬの中心位置を、第１および第２のフォトダイオードＳ１およびＳ２の中心位置より右方向にずらして配置する。図示を省略するが、中距離対応ＭＬ行におけるずらし量Ｇと、短距離対応ＭＬ行におけるずらし量Ｇｓと、長距離対応ＭＬ行におけるずらし量ＧＬとは、上述した例と同様に、ＧＬ＜Ｇ＜Ｇｓの関係を有する。
【0067】
以上説明した第１の実施形態によれば、次の作用効果が得られる。
（１）撮像素子３は、マイクロレンズＭＬと、第１のフォトダイオードＳ１および第２のフォトダイオードＳ２とを含み、撮影レンズ２の瞳の第１および第２の領域を通過した第１および第２の光束をそれぞれ光電変換する画素２０が、撮影レンズ２からの光が入射される領域に複数配置され、画素２０は、マイクロレンズＭＬと第１および第２のフォトダイオードＳ１およびＳ２とが撮影レンズ２の第１の射出瞳の位置に対応する第１の位置関係を有する（標準の特性を有する撮影レンズ２を介して入射される光に適したスケーリングにより、画素２０の中心位置に対してマイクロレンズＭＬの中心位置をずらして配置する）第１画素と、マイクロレンズＭＬと第１および第２のフォトダイオードＳ１およびＳ２とが撮影レンズ２の第２の射出瞳の位置に対応する第２の位置関係を有する（中距離対応ＭＬ行と異なるスケーリングにより、画素２０の中心位置に対してマイクロレンズＭＬの中心位置をずらして配置する）第２画素とを含み、第１画素が第１（水平）方向に複数並ぶ中距離対応ＭＬ行が第２（垂直）方向に複数行形成されるとともに、第２画素が第１方向に複数並ぶ、例えば短距離対応ＭＬ行が、中距離対応ＭＬ行の一部に代えて配置される。
このように構成したので、標準の特性と異なる特性を有する撮影レンズ２を用いる場合にも、撮影レンズ２の瞳の異なる領域、すなわち瞳の第１および第２の領域を通過した光を、短距離対応ＭＬ行における第１および第２のフォトダイオードＳ１およびＳ２に適切に入射させることができる。この結果、焦点検出用の瞳分割を精度よく行うことができる。
（１）撮像素子３は、マイクロレンズＭＬと、第１のフォトダイオードＳ１および第２のフォトダイオードＳ２とを含み、撮影レンズ２の瞳の第１および第２の領域を通過した第１および第２の光束をそれぞれ光電変換する画素２０が、撮影レンズ２からの光が入射される領域に複数配置され、画素２０は、マイクロレンズＭＬと第１および第２のフォトダイオードＳ１およびＳ２とが撮影レンズ２の第１の射出瞳の位置に対応する第１の位置関係を有する（標準の特性を有する撮影レンズ２を介して入射される光に適したスケーリングにより、画素２０の中心位置に対してマイクロレンズＭＬの中心位置をずらして配置する）第１画素と、マイクロレンズＭＬと第１および第２のフォトダイオードＳ１およびＳ２とが撮影レンズ２の第２の射出瞳の位置に対応する第２の位置関係を有する（中距離対応ＭＬ行と異なるスケーリングにより、画素２０の中心位置に対してマイクロレンズＭＬの中心位置をずらして配置する）第２画素とを含み、第１画素が第１（水平）方向に複数並ぶ中距離対応ＭＬ行が第２（垂直）方向に複数行形成されるとともに、第２画素が第１方向に複数並ぶ、例えば短距離対応ＭＬ行が、中距離対応ＭＬ行の一部に代えて配置される。
このように構成したので、標準の特性と異なる特性を有する撮影レンズ２を用いる場合にも、撮影レンズ２の瞳の異なる領域、すなわち瞳の第１および第２の領域を通過した光を、短距離対応ＭＬ行における第１および第２のフォトダイオードＳ１およびＳ２に適切に入射させることができる。この結果、焦点検出用の瞳分割を精度よく行うことができる。
【0068】
（２）撮像素子３の画素２０は、マイクロレンズＭＬと第１および第２のフォトダイオードＳ１およびＳ２とが撮影レンズ２の第３の射出瞳の位置に対応する第３の位置関係を有する（さらに異なるスケーリングにより、画素２０の中心位置に対してマイクロレンズＭＬの中心位置をずらして配置する）第３画素を含み、第３画素が第１方向に複数並ぶ、例えば長距離対応ＭＬ行が中距離対応ＭＬ行の一部に代えて配置され、短距離対応ＭＬ行と長距離対応ＭＬ行との間に中距離対応ＭＬ行を有する。このように構成したので、さらに異なる特性を有する撮影レンズ２を用いる場合にも、撮影レンズ２の瞳の異なる領域、すなわち瞳の第１および第２の領域を通過した光を、長距離対応ＭＬ行における第１および第２のフォトダイオードＳ１およびＳ２に適切に入射させることができる。この結果、焦点検出用の瞳分割を精度よく行うことができる。
【0069】
（３）撮像素子３の短距離対応ＭＬ行および長距離対応ＭＬ行の長さは、撮影レンズ２からの光が入射される領域の第１（水平）方向の長さより短い。このように構成したので、第１の画素に代えて配置する第２の画素、第３の画素の数を抑え、第１の画素を数多く残すことができる。
【0070】
（４）撮像素子３の短距離対応ＭＬ行および長距離対応ＭＬ行は、撮影レンズ２からの光が入射される領域の中央からの距離が予め定めた値より遠い領域、換言すると像高が高い領域に配置される。このように構成したので、とくに、画素２０に対して光が斜めに入射されやすい領域では、撮影レンズ２の瞳の第１および第２の領域を通過した光を、短距離対応ＭＬ行または長距離対応ＭＬ行における第１および第２のフォトダイオードＳ１およびＳ２に適切に入射させることができる。この結果、焦点検出用の瞳分割を精度よく行うことができる。
【0071】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
第１の実施形態では、図６に例示したように、中距離対応ＭＬ行の一部に代えて設ける短距離対応ＭＬ行および長距離対応ＭＬ行の長さを、光電変換領域３１においてどの画素行も共通にした。すなわち、光電変換領域３１の左右端３０％の領域の一部において、中距離対応ＭＬ行を短距離対応ＭＬ行と長距離対応ＭＬ行とに置換した。これに対して、第１の実施形態の変形例１では、短距離対応ＭＬ行と長距離対応ＭＬ行とを設ける光電変換領域３１の左右端の領域の範囲（水平方向の長さ）を変化させる。
（変形例１）
第１の実施形態では、図６に例示したように、中距離対応ＭＬ行の一部に代えて設ける短距離対応ＭＬ行および長距離対応ＭＬ行の長さを、光電変換領域３１においてどの画素行も共通にした。すなわち、光電変換領域３１の左右端３０％の領域の一部において、中距離対応ＭＬ行を短距離対応ＭＬ行と長距離対応ＭＬ行とに置換した。これに対して、第１の実施形態の変形例１では、短距離対応ＭＬ行と長距離対応ＭＬ行とを設ける光電変換領域３１の左右端の領域の範囲（水平方向の長さ）を変化させる。
【0072】
図９は、第１の実施形態の変形例１において、中距離対応ＭＬ行に代えて短距離対応ＭＬ行および長距離対応ＭＬ行を設ける光電変換領域３１の左右端の領域を説明する図である。図９において、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行および長距離対応ＭＬ行の長さを、光電変換領域３１において不統一にする。例えば、光電変換領域３１の左右端２５％の領域の一部において中距離対応ＭＬ行を短距離対応ＭＬ行および長距離対応ＭＬ行と置換したり、光電変換領域３１の左右端３５％の領域の一部において中距離対応ＭＬ行を短距離対応ＭＬ行および長距離対応ＭＬ行と置換したりする。
【0073】
上述したように、画像データを生成する場合において、画像処理部１３は、撮像素子３の各画素２０から読み出された第１信号と第２信号とを画素２０ごとに加算して画像用の信号を生成する。すなわち、中距離対応ＭＬ行だけでなく、短距離対応ＭＬ行や長距離対応ＭＬ行に含まれる画素２０も画像用の信号の生成に用いる。
【0074】
ところが、短距離対応ＭＬ行に含まれる画素２０によって光電変換された第１信号および第２信号に基づく画像用の信号は、中距離対応ＭＬ行に含まれる画素２０によって光電変換された第１信号および第２信号に基づく画像用の信号と比べると、厳密には一致しない。
また、長距離対応ＭＬ行に含まれる画素２０によって光電変換された第１信号および第２信号に基づく画像用の信号は、中距離対応ＭＬ行に含まれる画素２０によって光電変換された第１信号および第２信号に基づく画像用の信号と比べると、厳密には一致しない。
また、長距離対応ＭＬ行に含まれる画素２０によって光電変換された第１信号および第２信号に基づく画像用の信号は、中距離対応ＭＬ行に含まれる画素２０によって光電変換された第１信号および第２信号に基づく画像用の信号と比べると、厳密には一致しない。
【0075】
以上のことから、光電変換領域３１において中距離対応ＭＬ行と置換する短距離対応ＭＬ行や長距離対応ＭＬ行の長さを光電変換領域３１のいずれの画素行においても同じにすると、水平方向において中距離対応ＭＬ行から短距離対応ＭＬ行に変化する境界、または、水平方向において中距離対応ＭＬ行から長距離対応ＭＬ行に変化する境界が、上記第１信号および第２信号に基づいて生成された画像において目立ってしまうおそれが生じる。
【0076】
しかしながら、第１の実施形態の変形例１によれば、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行および長距離対応ＭＬ行の長さを、光電変換領域３１の中で不統一、すなわち不揃いにしたので、水平方向において中距離対応ＭＬ行から短距離対応ＭＬ行に変化する境界、または、水平方向において中距離対応ＭＬ行から長距離対応ＭＬ行に変化する境界を、上記第１信号および第２信号に基づいて生成された画像において目立ちにくくすることができる。
【0077】
上述した通り、第１の実施形態の変形例１によれば、以下の作用効果を得ることができる。すなわち、撮像素子３の短距離対応ＭＬ行が複数配置され、第２（垂直）方向に隣り合う短距離対応ＭＬ行の配置は、撮影レンズ２からの光が入射される領域の中央からの距離が異なる。このように構成したので、第１（水平）方向において中距離対応ＭＬ行から短距離対応ＭＬ行に変化する境界、第１（水平）方向において短距離対応ＭＬ行から中距離対応ＭＬ行に変化する境界を、上記第１信号および第２信号に基づいて生成された画像において目立ちにくくすることができる。
【0078】
同様に、撮像素子３の長距離対応ＭＬ行が複数配置され、第２（垂直）方向に隣り合う長距離対応ＭＬ行の配置は、撮影レンズ２からの光が入射される領域の中央からの距離が異なる。このように構成したので、第１（水平）方向において中距離対応ＭＬ行から長距離対応ＭＬ行に変化する境界、第１（水平）方向において長距離対応ＭＬ行から中距離対応ＭＬ行に変化する境界を、上記第１信号および第２信号に基づいて生成された画像において目立ちにくくすることができる。
【0079】
（変形例２）
第１の実施形態の変形例２では、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行および長距離対応ＭＬ行の行間隔を、光電変換領域３１の中で不揃いにする。図１０は、第１の実施形態の変形例２において、中距離対応ＭＬ行に代えて短距離対応ＭＬ行および長距離対応ＭＬ行を設ける領域を説明する図である。図１０において、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行と長距離対応ＭＬ行との間隔や、長距離対応ＭＬ行と短距離対応ＭＬ行との間隔を、光電変換領域３１の列方向（垂直方向）において不揃いにする。
第１の実施形態の変形例２では、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行および長距離対応ＭＬ行の行間隔を、光電変換領域３１の中で不揃いにする。図１０は、第１の実施形態の変形例２において、中距離対応ＭＬ行に代えて短距離対応ＭＬ行および長距離対応ＭＬ行を設ける領域を説明する図である。図１０において、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行と長距離対応ＭＬ行との間隔や、長距離対応ＭＬ行と短距離対応ＭＬ行との間隔を、光電変換領域３１の列方向（垂直方向）において不揃いにする。
【0080】
例えば、短距離対応ＭＬ行と長距離対応ＭＬ行との間の中距離対応ＭＬ行の数、および、長距離対応ＭＬ行と短距離対応ＭＬ行との間の中距離対応ＭＬ行の数を、それぞれ不規則に変化させる。なお、不規則な変化とは、長距離対応ＭＬ行および短距離対応ＭＬ行の間の中距離対応ＭＬ行の数を光電変換領域３１の列方向（垂直方向）において非周期的に変化させるこという。
ただし、変形例２においては、長距離対応ＭＬ行および短距離対応ＭＬ行の間の中距離対応ＭＬ行の数の変化を、例えば５乃至８パターン用意し、これらの５乃至８パターンを光電変換領域３１の列方向（垂直方向）において周期的に繰り返すことも不規則な変化に含むものとする。
ただし、変形例２においては、長距離対応ＭＬ行および短距離対応ＭＬ行の間の中距離対応ＭＬ行の数の変化を、例えば５乃至８パターン用意し、これらの５乃至８パターンを光電変換領域３１の列方向（垂直方向）において周期的に繰り返すことも不規則な変化に含むものとする。
【0081】
第１の実施形態の変形例２によれば、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行と長距離対応ＭＬ行に関し、短距離対応ＭＬ行と長距離対応ＭＬ行との間の中距離対応ＭＬ行の数、および、長距離対応ＭＬ行と短距離対応ＭＬ行との間の中距離対応ＭＬ行の数を、光電変換領域３１の列方向（垂直方向）において不規則に変化させたので、水平方向において中距離対応ＭＬ行から短距離対応ＭＬ行に変化する境界、または、水平方向において中距離対応ＭＬ行から長距離対応ＭＬ行に変化する境界を、上記第１信号および第２信号に基づいて生成された画像において目立ちにくくすることができる。
【0082】
上述した通り、第１の実施形態の変形例２によれば、以下の作用効果を得ることができる。すなわち、撮像素子３の短距離対応ＭＬ行および長距離対応ＭＬ行は、第２（垂直）方向において非周期的に、中距離対応ＭＬ行に代えて配置される。このように構成したので、第１（水平）方向において中距離対応ＭＬ行から短距離対応ＭＬ行に変化する境界、または、第１（水平）方向において中距離対応ＭＬ行から長距離対応ＭＬ行に変化する境界を、上記第１信号および第２信号に基づいて生成された画像において目立ちにくくすることができる。
【0083】
なお、第１の実施形態の変形例１と第１の実施形態の変形例２とを組み合わせてもよい。すなわち、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行および長距離対応ＭＬ行の長さを、光電変換領域３１の中で不揃いにする（不規則に変化させる）とともに、短距離対応ＭＬ行と長距離対応ＭＬ行との間の中距離対応ＭＬ行の数、および、長距離対応ＭＬ行と短距離対応ＭＬ行との間の中距離対応ＭＬ行の数を、光電変換領域３１の列方向（垂直方向）において不規則に変化させてもよい。
【0084】
（第２の実施形態）
第２の実施形態では、第１の実施形態と比べて、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行および長距離対応ＭＬ行を、それぞれ隣り合う３行ずつセットで置換する点で相違する。
第２の実施形態におけるカメラ１は、第１の実施形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
第２の実施形態では、第１の実施形態と比べて、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行および長距離対応ＭＬ行を、それぞれ隣り合う３行ずつセットで置換する点で相違する。
第２の実施形態におけるカメラ１は、第１の実施形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
【0085】
図１１は、第２の実施形態による撮像素子３において、図６の光電変換領域３１の周辺部、例えば、像高が高い位置にある領域３１ｂに配置されている画素２０のマイクロレンズＭＬの拡大図である。第２の実施形態でも、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）を焦点検出に用いることとし、ＧＢ行の一部を短距離対応ＭＬ行や長距離対応ＭＬ行と置換する。
【0086】
図１１において、短距離対応ＭＬ行を３行セットで設ける。３行の短距離対応ＭＬ行を挟んで上側３行と下側３行は、それぞれ中距離対応ＭＬ行である。中距離対応ＭＬ行では、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（中）との間隔がＧである。すなわち、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量はＧである。
なお、図１１では、画素２０Ｇを白、画素２０Ｂを斜線、画素２０Ｒをハッチングで示す。
なお、図１１では、画素２０Ｇを白、画素２０Ｂを斜線、画素２０Ｒをハッチングで示す。
【0087】
図１１の短距離対応ＭＬ行では、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（短）との間隔がＧｓである。すなわち、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量はＧｓである。Ｇ＜Ｇｓが成立するように、短距離対応ＭＬ行におけるずらし量Ｇｓは、中距離対応ＭＬ行におけるずらし量Ｇよりも大きい。この理由は、第１の実施形態において説明した通りである。
【0088】
また、図１１の短距離対応ＭＬ行のうち焦点検出に用いるのは、３行の短距離対応ＭＬ行の中１行に配置されている、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）である。短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、焦点検出に用いない。この理由は、上記境界に接する２行の画素行では、行間のマイクロレンズＭＬのずらし量が異なるので、マイクロレンズＭＬの製造上の理由による微小な歪みがマイクロレンズＭＬに生じる可能性が否定できないことによる。仮に、マイクロレンズＭＬに歪みが生じていると仮定した場合、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量を上述したように厳密に制御しても、マイクロレンズＭＬの歪みによって焦点検出用の瞳分割の精度が低下してしまう。このようなリスクを避けるため、短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行については、焦点検出に用いないこととする。
【0089】
同様の理由から、図１１の中距離対応ＭＬ行のうち焦点検出に用いてよいのは、短距離対応ＭＬ行との境界に接していない、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）と、画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）である。この場合、中距離対応ＭＬ行の画素２０Ｇ、画素２０Ｂまたは画素２０Ｒの第１信号と第２信号とに基づいて焦点調節に用いる画像データを生成する。
【0090】
長距離対応ＭＬ行の場合も同様である。図１２は、第２の実施形態による撮像素子３の光電変換領域３１の像高が高い位置にある領域３１ｃ（図６）に配置されている画素２０のマイクロレンズＭＬの拡大図である。図１２において、長距離対応ＭＬ行を３行セットで設ける。３行の長距離対応ＭＬ行を挟んで上側３行と下側３行は、それぞれ中距離対応ＭＬ行である。中距離対応ＭＬ行では、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量はＧである。
なお、図１２でも、画素２０Ｇを白、画素２０Ｂを斜線、画素２０Ｒをハッチングで示す。
なお、図１２でも、画素２０Ｇを白、画素２０Ｂを斜線、画素２０Ｒをハッチングで示す。
【0091】
図１２の長距離対応ＭＬ行では、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（長）との間隔がＧＬである。すなわち、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量はＧＬである。ＧＬ＜Ｇが成立するように、長距離対応ＭＬ行におけるずらし量ＧＬは、中距離対応ＭＬ行におけるずらし量Ｇよりも小さい。この理由は、第１の実施形態において説明した通りである。
【0092】
また、図１２の長距離対応ＭＬ行のうち焦点検出に用いるのは、３行の長距離対応ＭＬ行の中１行に配置されている、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）である。長距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、焦点検出に用いない。この理由は、上述した短距離対応ＭＬ行の場合と同様である。
【0093】
同様の理由から、図１２の中距離対応ＭＬ行のうち焦点検出に用いてよいのは、長距離対応ＭＬ行との境界に接していない、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）と、画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）である。この場合、中距離対応ＭＬ行の画素２０Ｇ、画素２０Ｂまたは画素２０Ｒの第１信号と第２信号とに基づいて焦点調節に用いる画像データを生成する。
【0094】
以上の説明では、図６において光電変換領域３１の中央より左側に位置する領域３１ｂ、３１ｃにおいて、マイクロレンズＭＬの中心位置を、第１および第２のフォトダイオードＳ１およびＳ２の中心位置より左方向にずらして配置する例を説明した。図６において光電変換領域３１の中央より右側に位置する領域３１ｄ、３１ｅにおいては、マイクロレンズＭＬの中心位置を、第１および第２のフォトダイオードＳ１およびＳ２の中心位置より右方向にずらして配置する。中距離対応ＭＬ行におけるずらし量Ｇと、短距離対応ＭＬ行におけるずらし量Ｇｓと、長距離対応ＭＬ行におけるずらし量ＧＬとは、ＧＬ＜Ｇ＜Ｇｓの関係を有する。
【0095】
以上説明した第２の実施形態によれば、第１の実施形態の作用効果に加えて、次の作用効果が得られる。
（１）撮像素子３の短距離対応ＭＬ行および長距離対応ＭＬ行は、第２（垂直）方向の全行数のうち予め定めた割合の中距離対応ＭＬ行に代えて配置される。このように構成したので、例えば、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量が同じである画素行を第２（垂直）方向に所定数連続させて、ずらし量が変化する境界の画素行を焦点検出に用いないようにすることができる。この結果、焦点検出用の瞳分割を精度よく行うことができる。
（１）撮像素子３の短距離対応ＭＬ行および長距離対応ＭＬ行は、第２（垂直）方向の全行数のうち予め定めた割合の中距離対応ＭＬ行に代えて配置される。このように構成したので、例えば、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量が同じである画素行を第２（垂直）方向に所定数連続させて、ずらし量が変化する境界の画素行を焦点検出に用いないようにすることができる。この結果、焦点検出用の瞳分割を精度よく行うことができる。
【0096】
（２）撮像素子３の短距離対応ＭＬ行および長距離対応ＭＬ行は、それぞれ第２（垂直）方向に３行並べて配置される。このように構成したので、３行のうちの真ん中の画素行を焦点検出に用いることにより、焦点検出用の瞳分割を精度よく行うことができる。
【0097】
（３）撮像素子３の短距離対応ＭＬ行および長距離対応ＭＬ行は、第２（垂直）方向において周期的に、中距離対応ＭＬ行に代えて配置される。このように構成したので、短距離対応ＭＬ行および長距離対応ＭＬ行を、光電変換領域３１の上部または下部に偏らないように配置することができる。この結果、光電変換領域３１において偏りなく焦点検出用の瞳分割を行うことができる。
【0098】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例３）
第２の実施形態の変形例３では、第２の実施形態と比べて、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行および長距離対応ＭＬ行を、それぞれ隣り合う４行ずつセットで置換する点で相違する。
第２の実施形態の変形例３におけるカメラ１は、第２の実施形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
（変形例３）
第２の実施形態の変形例３では、第２の実施形態と比べて、中距離対応ＭＬ行の一部と置換する短距離対応ＭＬ行および長距離対応ＭＬ行を、それぞれ隣り合う４行ずつセットで置換する点で相違する。
第２の実施形態の変形例３におけるカメラ１は、第２の実施形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
【0099】
図１３は、第２の実施形態の変形例３による撮像素子３において、図６の光電変換領域３１の像高が高い位置にある領域３１ｂに配置されている画素２０のマイクロレンズＭＬの拡大図である。第２の実施形態の変形例３では、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）と、画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）とをいずれも焦点検出に用いることとし、ＧＢ行と、ＲＧ行との一部を短距離対応ＭＬ行や長距離対応ＭＬ行と置換する。
【0100】
図１３において、短距離対応ＭＬ行を４行セットで設ける。４行の短距離対応ＭＬ行を挟んで上側３行と下側４行は、それぞれ中距離対応ＭＬ行である。中距離対応ＭＬ行では、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（中）との間隔がＧである。すなわち、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量はＧである。
なお、図１３では、画素２０Ｇを白、画素２０Ｂを斜線、画素２０Ｒをハッチングで示す。
なお、図１３では、画素２０Ｇを白、画素２０Ｂを斜線、画素２０Ｒをハッチングで示す。
【0101】
図１３の短距離対応ＭＬ行では、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（短）との間隔がＧｓである。すなわち、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量はＧｓである。Ｇ＜Ｇｓが成立するように、短距離対応ＭＬ行におけるずらし量Ｇｓは、中距離対応ＭＬ行におけるずらし量Ｇよりも大きい。この理由は、第１の実施形態において説明した通りである。
【0102】
また、図１３の短距離対応ＭＬ行のうち焦点検出に用いるのは、４行の短距離対応ＭＬ行の中２行に配置されている、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）と、画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）である。短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、焦点検出に用いない。この理由は、第２の実施形態において説明した通りである。
【0103】
同様の理由から、図１３の中距離対応ＭＬ行のうち焦点検出に用いてよいのは、短距離対応ＭＬ行との境界に接していない、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）と、画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）である。この場合、中距離対応ＭＬ行の画素２０Ｇ、画素２０Ｂ、または画素２０Ｒの第１信号と第２信号とに基づいて焦点調節に用いる画像データを生成する。
【0104】
長距離対応ＭＬ行の場合も同様である。図１４は、第２の実施形態の変形例３による撮像素子３の光電変換領域３１の像高が高い位置にある領域３１ｃ（図６）に配置されている画素２０のマイクロレンズＭＬの拡大図である。図１４において、長距離対応ＭＬ行を４行セットで設ける。４行の長距離対応ＭＬ行を挟んで上側３行と下側４行は、それぞれ中距離対応ＭＬ行である。中距離対応ＭＬ行では、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量はＧである。
なお、図１４でも、画素２０Ｇを白、画素２０Ｂを斜線、画素２０Ｒをハッチングで示す。
なお、図１４でも、画素２０Ｇを白、画素２０Ｂを斜線、画素２０Ｒをハッチングで示す。
【0105】
図１４の長距離対応ＭＬ行では、画素２０の中心を通る線ＣＳとマイクロレンズＭＬの中心を通る線ＣＬ（長）との間隔がＧＬである。すなわち、画素２０の中心位置に対するマイクロレンズＭＬの中心位置のずらし量はＧＬである。ＧＬ＜Ｇが成立するように、長距離対応ＭＬ行におけるずらし量ＧＬは、中距離対応ＭＬ行におけるずらし量Ｇよりも小さい。この理由は、第１の実施形態において説明した通りである。
【0106】
また、図１４の長距離対応ＭＬ行のうち焦点検出に用いるのは、４行の長距離対応ＭＬ行の中２行に配置されている、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）と、画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）である。長距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、焦点検出に用いない。この理由は、上述した短距離対応ＭＬ行の場合と同様である。
【0107】
同様の理由から、図１４の中距離対応ＭＬ行のうち焦点検出に用いてよいのは、長距離対応ＭＬ行との境界に接していない、画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）と、画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）である。この場合、中距離対応ＭＬ行の画素２０Ｇ、画素２０Ｂ、または画素２０Ｒの第１信号と第２信号とに基づいて焦点調節に用いる画像データを生成する。
【0108】
以上の説明では、図６において光電変換領域３１の中央より左側に位置する領域３１ｂ、３１ｃにおいて、マイクロレンズＭＬの中心位置を、第１および第２のフォトダイオードＳ１およびＳ２の中心位置より左方向にずらして配置する例を説明した。図６において光電変換領域３１の中央より右側に位置する領域３１ｄ、３１ｅにおいては、マイクロレンズＭＬの中心位置を、第１および第２のフォトダイオードＳ１およびＳ２の中心位置より右方向にずらして配置する。中距離対応ＭＬ行におけるずらし量Ｇと、短距離対応ＭＬ行におけるずらし量Ｇｓと、長距離対応ＭＬ行におけるずらし量ＧＬとは、ＧＬ＜Ｇ＜Ｇｓの関係を有する。
【0109】
上述の通り、第２の実施形態の変形例３によれば、以下の作用効果を得ることができる。すなわち、撮像素子３の短距離対応ＭＬ行および長距離対応ＭＬ行は、それぞれ第２（垂直）方向に４行並べて配置される。このように構成したので、４行のうちの中寄り２つの画素行を焦点検出に用いることにより、焦点検出用の瞳分割を精度よく行うことができる。
【0110】
（第３の実施形態）
第３の実施形態では、光電変換領域３１に配置する短距離対応ＭＬ行および長距離対応ＭＬ行の位置について説明する。具体的には、中距離対応ＭＬ行の一部に代えて置換する短距離対応ＭＬ行と長距離対応ＭＬ行との配置のバリエーションを例示する。以降に（例１）から（例８）の８態様を例示するが、いずれの配置を採用してもよく、これらの配置の一部を適宜変更しても構わない。
第３の実施形態では、光電変換領域３１に配置する短距離対応ＭＬ行および長距離対応ＭＬ行の位置について説明する。具体的には、中距離対応ＭＬ行の一部に代えて置換する短距離対応ＭＬ行と長距離対応ＭＬ行との配置のバリエーションを例示する。以降に（例１）から（例８）の８態様を例示するが、いずれの配置を採用してもよく、これらの配置の一部を適宜変更しても構わない。
【0111】
（例１）
図１５は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第１態様を説明する図である。図１５は、例えば図６の光電変換領域３１の領域３１ｘに注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例１）は、上述した第１の実施形態に対応する。このため、中距離対応ＭＬ行のうちの焦点検出に用いるＧＢ行のみを、短距離対応ＭＬ行または長距離対応ＭＬ行と置換する。
図１５は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第１態様を説明する図である。図１５は、例えば図６の光電変換領域３１の領域３１ｘに注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例１）は、上述した第１の実施形態に対応する。このため、中距離対応ＭＬ行のうちの焦点検出に用いるＧＢ行のみを、短距離対応ＭＬ行または長距離対応ＭＬ行と置換する。
【0112】
図１５において、中距離対応ＭＬ行の画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）のうち、行Ｎｏ．１と、行Ｎｏ．１３と、行Ｎｏ．２５…とに短距離対応ＭＬ行が配置される。これにより、短距離対応ＭＬ行が、１１行の中距離対応ＭＬ行をはさんで繰り返し現れる。このような配置を９６行繰り返した後に、９７行目以降において、中距離対応ＭＬ行の画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）のうち、行Ｎｏ．９７と、行Ｎｏ．１０９…とに長距離対応ＭＬ行が配置される。これにより、長距離対応ＭＬ行が、１１行の中距離対応ＭＬ行をはさんで繰り返し現れる。
このように、（例１）によれば、１１行おきに短距離対応ＭＬ行が繰り返し現れる配置と、１１行おきに長距離対応ＭＬ行が繰り返し現れる配置とが、９６行周期で繰り返される。
このように、（例１）によれば、１１行おきに短距離対応ＭＬ行が繰り返し現れる配置と、１１行おきに長距離対応ＭＬ行が繰り返し現れる配置とが、９６行周期で繰り返される。
【0113】
（例２）
図１６は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第２態様を説明する図である。図１６は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例２）は、ＧＢ行に加えてＲＢ行も焦点検出に用いる場合を想定した配置である。このため、中距離対応ＭＬ行のうちの焦点検出に用いるＧＢ行およびＲＢ行を、短距離対応ＭＬ行または長距離対応ＭＬ行と置換する。
図１６は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第２態様を説明する図である。図１６は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例２）は、ＧＢ行に加えてＲＢ行も焦点検出に用いる場合を想定した配置である。このため、中距離対応ＭＬ行のうちの焦点検出に用いるＧＢ行およびＲＢ行を、短距離対応ＭＬ行または長距離対応ＭＬ行と置換する。
【0114】
図１６において、中距離対応ＭＬ行の画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）のうち、行Ｎｏ．１と、行Ｎｏ．１３と、行Ｎｏ．２５…とに短距離対応ＭＬ行が配置される。また、中距離対応ＭＬ行の画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）のうち、行Ｎｏ．２と、行Ｎｏ．１４と、行Ｎｏ．２６…とに短距離対応ＭＬ行が配置される。これにより、列方向（垂直方向）に隣り合う２行の短距離対応ＭＬ行が、１０行の中距離対応ＭＬ行をはさんで繰り返し現れる。
【0115】
このような配置を９６行繰り返した後に、９７行目以降において、中距離対応ＭＬ行の画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）のうち、行Ｎｏ．９７と、行Ｎｏ．１０９…とに長距離対応ＭＬ行が配置される。また、中距離対応ＭＬ行の画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）のうち、行Ｎｏ．９８と、行Ｎｏ．１１０…とに長距離対応ＭＬ行が配置される。これにより、列方向（垂直方向）に隣り合う２行の長距離対応ＭＬ行が、１０行の中距離対応ＭＬ行をはさんで繰り返し現れる。
このように、（例２）によれば、１０行おきに２行続けて短距離対応ＭＬ行が現れる配置と、１０行おきに２行続けて長距離対応ＭＬ行が現れる配置とが、９６行周期で繰り返される。
このように、（例２）によれば、１０行おきに２行続けて短距離対応ＭＬ行が現れる配置と、１０行おきに２行続けて長距離対応ＭＬ行が現れる配置とが、９６行周期で繰り返される。
【0116】
（例３）
図１７は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第３態様を説明する図である。図１７は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例３）は、ＧＢ行に加えてＲＢ行も焦点検出に用いる場合を想定した配置である。このため、中距離対応ＭＬ行のうちの焦点検出に用いるＧＢ行およびＲＢ行を、短距離対応ＭＬ行または長距離対応ＭＬ行と置換する。
図１７は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第３態様を説明する図である。図１７は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例３）は、ＧＢ行に加えてＲＢ行も焦点検出に用いる場合を想定した配置である。このため、中距離対応ＭＬ行のうちの焦点検出に用いるＧＢ行およびＲＢ行を、短距離対応ＭＬ行または長距離対応ＭＬ行と置換する。
【0117】
図１７において、中距離対応ＭＬ行の画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）のうち、行Ｎｏ．１と、行Ｎｏ．２１と、行Ｎｏ．４１…とに短距離対応ＭＬ行が配置される。また、中距離対応ＭＬ行の画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）のうち、行Ｎｏ．６と、行Ｎｏ．２６と、行Ｎｏ．４６…とに短距離対応ＭＬ行が配置される。
【0118】
また、中距離対応ＭＬ行の画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）のうち、行Ｎｏ．１１と、行Ｎｏ．３１…とに長距離対応ＭＬ行が配置される。また、中距離対応ＭＬ行の画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）のうち、行Ｎｏ．１６と、行Ｎｏ．３６…とに長距離対応ＭＬ行が配置される。
【0119】
このように、（例３）によれば、４行おきに短距離対応ＭＬ行が繰り返し現れる配置と、４行おきに長距離対応ＭＬ行が繰り返し現れる配置とが、１０行周期で繰り返される。
【0120】
（例４）
図１８は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第４態様を説明する図である。図１８は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例４）は、ＧＢ行に加えてＲＢ行も焦点検出に用いる場合を想定した配置である。このため、中距離対応ＭＬ行のうちの焦点検出に用いるＧＢ行およびＲＢ行を、短距離対応ＭＬ行または長距離対応ＭＬ行と置換する。
図１８は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第４態様を説明する図である。図１８は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例４）は、ＧＢ行に加えてＲＢ行も焦点検出に用いる場合を想定した配置である。このため、中距離対応ＭＬ行のうちの焦点検出に用いるＧＢ行およびＲＢ行を、短距離対応ＭＬ行または長距離対応ＭＬ行と置換する。
【0121】
図１８において、中距離対応ＭＬ行の画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）のうち、行Ｎｏ．１と、行Ｎｏ．１３と、行Ｎｏ．２５と、行Ｎｏ．３７…とに短距離対応ＭＬ行が配置される。また、中距離対応ＭＬ行の画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）のうち、行Ｎｏ．４と、行Ｎｏ．１６と、行Ｎｏ．２８と、行Ｎｏ．４０…とに短距離対応ＭＬ行が配置される。
【0122】
また、中距離対応ＭＬ行の画素２０Ｇと画素２０Ｂとが交互に配置される画素行（ＧＢ行）のうち、行Ｎｏ．７と、行Ｎｏ．１９と、行Ｎｏ．３１と、行Ｎｏ．４３…とに長距離対応ＭＬ行が配置される。また、中距離対応ＭＬ行の画素２０Ｒと画素２０Ｇとが交互に配置される画素行（ＲＧ行）のうち、行Ｎｏ．１０と、行Ｎｏ．２２と、行Ｎｏ．３４と、行Ｎｏ．４６…とに長距離対応ＭＬ行が配置される。
【0123】
このように、（例４）によれば、２行おきに短距離対応ＭＬ行が繰り返し現れる配置と、２行おきに長距離対応ＭＬ行が繰り返し現れる配置とが、６行周期で繰り返される。
【0124】
（例５）
図１９は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第５態様を説明する図である。図１９は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例５）は、上述した第２の実施形態に対応する。このため、例えば行Ｎｏ．１２～１４に示すように、短距離対応ＭＬ行を３行セットで設ける。また、例えば行Ｎｏ．９６～９８に示すように、長距離対応ＭＬ行を３行セットで設ける。
図１９は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第５態様を説明する図である。図１９は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例５）は、上述した第２の実施形態に対応する。このため、例えば行Ｎｏ．１２～１４に示すように、短距離対応ＭＬ行を３行セットで設ける。また、例えば行Ｎｏ．９６～９８に示すように、長距離対応ＭＬ行を３行セットで設ける。
【0125】
図１９において、列方向（垂直方向）に隣り合う３行の短距離対応ＭＬ行が、９行の中距離対応ＭＬ行をはさんで繰り返し現れる。このような配置を９６行繰り返した後に、９７行目以降において、列方向（垂直方向）に隣り合う３行の長距離対応ＭＬ行が、９行の中距離対応ＭＬ行をはさんで繰り返し現れる。
このように、（例５）によれば、９行おきに３行続けて短距離対応ＭＬ行が繰り返し現れる配置と、９行おきに３行続けて長距離対応ＭＬ行が繰り返し現れる配置とが、９６行周期で繰り返される。
なお、（例５）においては、上述したように、短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行、および、長距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、いずれも焦点検出に用いない。
このように、（例５）によれば、９行おきに３行続けて短距離対応ＭＬ行が繰り返し現れる配置と、９行おきに３行続けて長距離対応ＭＬ行が繰り返し現れる配置とが、９６行周期で繰り返される。
なお、（例５）においては、上述したように、短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行、および、長距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、いずれも焦点検出に用いない。
【0126】
（例６）
図２０は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第６態様を説明する図である。図２０は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例６）は、上述した第２の実施形態の変形例３に対応する。このため、例えば行Ｎｏ．１２～１５に示すように、短距離対応ＭＬ行を４行セットで設ける。また、例えば行Ｎｏ．９６～９９に示すように、長距離対応ＭＬ行を４行セットで設ける。
図２０は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第６態様を説明する図である。図２０は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例６）は、上述した第２の実施形態の変形例３に対応する。このため、例えば行Ｎｏ．１２～１５に示すように、短距離対応ＭＬ行を４行セットで設ける。また、例えば行Ｎｏ．９６～９９に示すように、長距離対応ＭＬ行を４行セットで設ける。
【0127】
図２０において、列方向（垂直方向）に隣り合う４行の短距離対応ＭＬ行が、８行の中距離対応ＭＬ行をはさんで繰り返し現れる。このような配置を９６行繰り返した後に、９７行目以降において、列方向（垂直方向）に隣り合う４行の長距離対応ＭＬ行が、８行の中距離対応ＭＬ行をはさんで繰り返し現れる。
このように、（例６）によれば、８行おきに４行続けて短距離対応ＭＬ行が繰り返し現れる配置と、８行おきに４行続けて長距離対応ＭＬ行が繰り返し現れる配置とが、９６行周期で繰り返される。
なお、（例６）においては、上述したように、短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行、および、長距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、いずれも焦点検出に用いない。
このように、（例６）によれば、８行おきに４行続けて短距離対応ＭＬ行が繰り返し現れる配置と、８行おきに４行続けて長距離対応ＭＬ行が繰り返し現れる配置とが、９６行周期で繰り返される。
なお、（例６）においては、上述したように、短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行、および、長距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、いずれも焦点検出に用いない。
【0128】
（例７）
図２１は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第７態様を説明する図である。図２１は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例７）は、上述した第２の実施形態に対応する。このため、例えば行Ｎｏ．２４～２６に示すように、短距離対応ＭＬ行を３行セットで設ける。また、例えば行Ｎｏ．１２～１４に示すように、長距離対応ＭＬ行を３行セットで設ける。
図２１は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第７態様を説明する図である。図２１は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例７）は、上述した第２の実施形態に対応する。このため、例えば行Ｎｏ．２４～２６に示すように、短距離対応ＭＬ行を３行セットで設ける。また、例えば行Ｎｏ．１２～１４に示すように、長距離対応ＭＬ行を３行セットで設ける。
【0129】
図２１において、列方向（垂直方向）に隣り合う３行の短距離対応ＭＬ行と、列方向（垂直方向）に隣り合う３行の長距離対応ＭＬ行とが、９行の中距離対応ＭＬ行をはさんで交互に繰り返し現れる。
なお、（例７）においては、上述したように、短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行、および、長距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、いずれも焦点検出に用いない。
なお、（例７）においては、上述したように、短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行、および、長距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、いずれも焦点検出に用いない。
【0130】
（例８）
図２２は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第８態様を説明する図である。図２２は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例８）は、上述した第２の実施形態の変形例３に対応する。このため、例えば行Ｎｏ．２４～２７に示すように、短距離対応ＭＬ行を４行セットで設ける。また、例えば行Ｎｏ．１２～１５に示すように、長距離対応ＭＬ行を４行セットで設ける。
図２２は、短距離対応ＭＬ行および長距離対応ＭＬ行の配置の第８態様を説明する図である。図２２は、図１５と同様に、光電変換領域３１の領域３１ｘ（図６）に注目した場合に、中距離対応ＭＬ行、短距離対応ＭＬ行、および長距離対応ＭＬ行がどのような順番で配置されているかを示す。（例８）は、上述した第２の実施形態の変形例３に対応する。このため、例えば行Ｎｏ．２４～２７に示すように、短距離対応ＭＬ行を４行セットで設ける。また、例えば行Ｎｏ．１２～１５に示すように、長距離対応ＭＬ行を４行セットで設ける。
【0131】
図２２において、列方向（垂直方向）に隣り合う４行の短距離対応ＭＬ行と、列方向（垂直方向）に隣り合う４行の長距離対応ＭＬ行とが、８行の中距離対応ＭＬ行をはさんで交互に繰り返し現れる。
なお、（例８）においては、上述したように、短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行、および、長距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、いずれも焦点検出に用いない。
なお、（例８）においては、上述したように、短距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行、および、長距離対応ＭＬ行と中距離対応ＭＬ行との境界に接する２行の画素行は、いずれも焦点検出に用いない。
【0132】
以上説明した第３の実施形態によれば、第１の実施形態の作用効果に加えて、次の作用効果が得られる。すなわち、撮像素子３の短距離対応ＭＬ行および長距離対応ＭＬ行は、第２（垂直）方向の全行数のうち、上記各例に示したような割合で中距離対応ＭＬ行に代えて配置される。このように構成したので、例えば、ずらし量が変化する境界の画素行を焦点検出に用いないようにすることができる他、短距離対応ＭＬ行および長距離対応ＭＬ行を、光電変換領域３１の上部または下部に偏らないように配置することができる。この結果、光電変換領域３１において偏りなく、精度よく焦点検出用の瞳分割を行うことができる。
【0133】
上記では、種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0134】
１…カメラ
２…撮影レンズ
３…撮像素子
９…マイクロプロセッサ
１０…焦点演算部
１３…画像処理部
２０、２０Ｇ、２０Ｒ、２０Ｂ…画素
２１…垂直走査回路
２２…水平走査回路
２３、２４…制御信号線
２５…垂直信号線
ＡＭＰ…増幅トランジスタ
ＦＤ…ＦＤ領域
ＭＬ…マイクロレンズ
Ｓ１、Ｓ２…フォトダイオード
ＳＥＬ…選択トランジスタ
Ｔｘ－１、Ｔｘ－２…転送トランジスタ
２…撮影レンズ
３…撮像素子
９…マイクロプロセッサ
１０…焦点演算部
１３…画像処理部
２０、２０Ｇ、２０Ｒ、２０Ｂ…画素
２１…垂直走査回路
２２…水平走査回路
２３、２４…制御信号線
２５…垂直信号線
ＡＭＰ…増幅トランジスタ
ＦＤ…ＦＤ領域
ＭＬ…マイクロレンズ
Ｓ１、Ｓ２…フォトダイオード
ＳＥＬ…選択トランジスタ
Ｔｘ－１、Ｔｘ－２…転送トランジスタ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】