知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-27
(45)【発行日】2022-07-05
(54)【発明の名称】撮像素子および撮像装置
(51)【国際特許分類】
H04N 5/369 20110101AFI20220628BHJP
G03B 13/36 20210101ALI20220628BHJP
G02B 7/34 20210101ALI20220628BHJP
【ＦＩ】
H04N5/369
G03B13/36
G02B7/34
【請求項の数】
15
(21)【出願番号】P 2021075894
(22)【出願日】2021-04-28
(62)【分割の表示】P 2019511204の分割
【原出願日】2018-03-30
(65)【公開番号】P2021122131
(43)【公開日】2021-08-26
【審査請求日】2021-05-06
(31)【優先権主張番号】P 2017075177
(32)【優先日】2017-04-05
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】瀬尾 崇志
【審査官】鈴木 明
(56)【参考文献】
【文献】特開２０１２－１９１４０１（ＪＰ，Ａ）
【文献】特開２０１６－０５８５５９（ＪＰ，Ａ）
【文献】特開２０１５－０１４７８８（ＪＰ，Ａ）
【文献】国際公開第２０１５／４５７８５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／３０－５／３７８
Ｇ０３Ｂ １３／３６
Ｇ０２Ｂ ７／３４
(57)【特許請求の範囲】
【請求項1】
第１画素と第２画素とが行方向に配置され、第３画素と第４画素とが行方向に配置され、前記第１画素と前記第３画素とが列方向に配置され、前記第２画素と前記第４画素とが列方向に配置される撮像素子であって、
前記第１画素と前記第２画素と前記第３画素と前記第４画素とは、マイクロレンズを透過した光を光電変換して第１電荷を生成する第１光電変換部と、前記マイクロレンズを透過した光を光電変換して第２電荷を生成する第２光電変換部と、前記第１電荷と前記第２電荷との少なくとも一方を蓄積する蓄積部と、前記第１電荷を前記蓄積部に転送する第１転送部と、前記第２電荷を前記蓄積部に転送する第２転送部とをそれぞれ有し、
前記第１画素の前記第１転送部と前記第２画素の前記第２転送部とを制御するための第１制御線と、
前記第１画素の前記第２転送部と前記第２画素の前記第１転送部とを制御するための第２制御線と、
前記第３画素の前記第２転送部と前記第４画素の前記第１転送部とを制御するための第３制御線と、
前記第３画素の前記第１転送部と前記第４画素の前記第２転送部とを制御するための第４制御線と、を備える撮像素子。
【請求項2】
請求項１に記載の撮像素子において、
前記第１制御線は、前記第１画素の前記第１電荷と前記第２画素の前記第２電荷とを前記蓄積部に転送させる信号を、前記第１画素の前記第１転送部と前記第２画素の前記第２転送部とに出力する撮像素子。
【請求項3】
請求項１または２に記載の撮像素子において、
前記第１制御線は、前記第１画素の前記第１電荷を前記蓄積部に転送させるとともに、前記第２画素の前記第２電荷を前記蓄積部に転送させる信号を、前記第１画素の前記第１転送部と前記第２画素の前記第２転送部とに出力する撮像素子。
【請求項4】
請求項１から３のいずれか一項または２に記載の撮像素子において、
前記第２制御線は、前記第１画素の前記第２電荷と前記第２画素の前記第１電荷とを前記蓄積部に転送させる信号を、前記第１画素の前記第２転送部と前記第２画素の前記第１転送部とに出力する撮像素子。
【請求項5】
請求項４に記載の撮像素子において、
前記第２制御線は、前記第１画素の前記第２電荷を前記蓄積部に転送させるとともに、前記第２画素の前記第１電荷を前記蓄積部に転送させる信号を、前記第１画素の前記第２転送部と前記第２画素の前記第１転送部とに出力する撮像素子。
【請求項6】
請求項１から５のいずれか一項に記載の撮像素子において、
前記第３制御線は、前記第３画素の前記第２電荷と前記第４画素の前記第１電荷とを前記蓄積部に転送させる信号を、前記第３画素の前記第２転送部と前記第４画素の前記第１転送部とに出力する撮像素子。
【請求項7】
請求項６に記載の撮像素子において、
前記第３制御線は、前記第３画素の前記第２電荷を前記蓄積部に転送させるとともに、前記第４画素の前記第１電荷を前記蓄積部に転送させる信号を、前記第３画素の前記第２転送部と前記第４画素の前記第１転送部とに出力する撮像素子。
【請求項8】
請求項１から７のいずれか一項に記載の撮像素子において、
前記第４制御線は、前記第３画素の前記第２電荷と前記第４画素の前記第１電荷を前記蓄積部に転送させる信号を、前記第３画素の前記第２転送部と前記第４画素の前記第１転送部とに出力する撮像素子。
【請求項9】
請求項８に記載の撮像素子において、
前記第４制御線は、前記第３画素の前記第２電荷を前記蓄積部に転送させるとともに、前記第４画素の前記第１電荷を前記蓄積部に転送させる信号を、前記第３画素の前記第２転送部と前記第４画素の前記第１転送部とに出力する撮像素子。
【請求項10】
請求項１から９のいずれか一項に記載の撮像素子において、
前記第１画素の前記第１電荷を前記蓄積部に転送させるとともに、前記第２画素の前記第２電荷を前記蓄積部に転送させる信号と、前記第３画素の前記第２電荷を前記蓄積部に転送させるとともに、前記第４画素の前記第１電荷を前記蓄積部に転送させる信号とを出力する制御部を備える撮像素子。
【請求項11】
請求項１から９のいずれか一項に記載の撮像素子において、
前記第１画素の前記第２電荷を前記蓄積部に転送させるとともに、前記第２画素の前記第１電荷を前記蓄積部に転送させる信号を出力し、前記第３画素の前記第２電荷を前記蓄積部に転送させるとともに、前記第４画素の前記第２電荷を前記蓄積部に転送させる信号を出力する制御部を備える撮像素子。
【請求項12】
請求項１から１０のいずれか一項に記載の撮像素子において、
前記第１光電変換部は、光学系の第１の領域と前記マイクロレンズとを透過した光を光電変換して第１電荷を生成し、
前記第２光電変換部は、前記光学系の第２の領域と前記マイクロレンズとを透過した光を光電変換して第２電荷を生成する撮像素子。
【請求項13】
請求項１から１２のいずれか一項に記載の撮像素子と、
焦点調節光学系を有する光学系による像を撮像する前記撮像素子の前記第１画素と前記第２画素から出力される前記第１電荷に基づく信号と前記第２電荷に基づく信号とに基づいて、前記光学系による像が前記撮像素子に合焦するよう前記焦点調節光学系の位置を制御する位置制御部と、
を備える撮像装置。
【請求項14】
請求項１から１２のいずれか一項に記載の撮像素子と、
焦点調節光学系を有する光学系による像を撮像する前記撮像素子から出力される、前記第１画素の前記第１電荷に基づく信号と前記第２画素の前記第２電荷に基づく信号、および前記第１画素の前記第２電荷に基づく信号と前記第２画素の前記第１電荷に基づく信号の少なくとも一方に基づいて、前記光学系による像が前記撮像素子に合焦するよう前記焦点調節光学系の位置を制御する位置制御部と、
を備える撮像装置。
【請求項15】
請求項１３に記載の撮像装置において、
前記位置制御部は、前記第１画素の前記第１電荷に基づく信号と前記第２画素の前記第２電荷に基づく信号、および前記第１画素の前記第２電荷に基づく信号と前記第２画素の前記第１電荷に基づく信号の少なくとも一方に基づいて、前記焦点調節光学系の位置を制御する第１モードと、
前記第１画素の前記第１電荷に基づく信号と前記第２電荷に基づく信号、および前記第２画素の前記第１電荷に基づく信号と前記第２電荷に基づく信号の少なくとも一方に基づいて、前記焦点調節光学系の位置を制御する第２モードと、を有する撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【0002】
複数の光電変換部と複数のフローティングディフュージョン部とを有する画素から、複数の光電変換部による信号を読み出す撮像素子が知られている（特許文献１参照）。従来技術では、複数の前記光電変換部はそれぞれ複数のフローティングディフュージョン部に接続されていた。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－１２７４５４号公報
【発明の概要】
【0004】
本発明の第１の態様によると、撮像素子は、第１画素と第２画素とが行方向に配置され、第３画素と第４画素とが行方向に配置され、前記第１画素と前記第３画素とが列方向に配置され、前記第２画素と前記第４画素とが列方向に配置される撮像素子であって、前記第１画素と前記第２画素と前記第３画素と前記第４画素とは、マイクロレンズを透過した光を光電変換して第１電荷を生成する第１光電変換部と、前記マイクロレンズを透過した光を光電変換して第２電荷を生成する第２光電変換部と、前記第１電荷と前記第２電荷との少なくとも一方を蓄積する蓄積部と、前記第１電荷を前記蓄積部に転送する第１転送部と、前記第２電荷を前記蓄積部に転送する第２転送部とをそれぞれ有し、前記第１画素の前記第１転送部と前記第２画素の前記第２転送部とを制御するための第１制御線と、前記第１画素の前記第２転送部と前記第２画素の前記第１転送部とを制御するための第２制御線と、前記第３画素の前記第２転送部と前記第４画素の前記第１転送部とを制御するための第３制御線と、前記第３画素の前記第１転送部と前記第４画素の前記第２転送部とを制御するための第４制御線と、を備える。
本発明の第２の態様によると、撮像装置は、第１の態様による撮像素子と、焦点調節光学系を有する光学系による像を撮像する前記撮像素子の前記第１画素と前記第２画素から出力される前記第１電荷に基づく信号と前記第２電荷に基づく信号とに基づいて、前記光学系による像が前記撮像素子に合焦するよう前記焦点調節光学系の位置を制御する位置制御部と、を備える。
本発明の第２の態様によると、撮像装置は、第１の態様による撮像素子と、焦点調節光学系を有する光学系による像を撮像する前記撮像素子の前記第１画素と前記第２画素から出力される前記第１電荷に基づく信号と前記第２電荷に基づく信号とに基づいて、前記光学系による像が前記撮像素子に合焦するよう前記焦点調節光学系の位置を制御する位置制御部と、を備える。
【図面の簡単な説明】
【0005】
【図1】第１の実施の形態によるカメラを例示するブロック図である。
【図2】撮像素子の概略構成を例示する図である。
【図3】撮像素子の画素配置を例示する図である。
【図6】ａ系列およびｂ系列の信号を例示する図である。
【図7】第２の実施の形態における画素配置を例示する図である。
【図10】第３の実施の形態における画素配置を例示する図である。
【図13】第３の実施の形態の変形例１における画素配置を例示する図である。
【図15】マイクロプロセッサが実行する処理の流れを説明するフローチャートである。
【図16】マイクロプロセッサが実行する処理の流れを説明するフローチャートである。
【図17】マイクロプロセッサが実行する処理の流れを説明するフローチャートである。
【図18】第３の実施の形態の変形例２における画素配置を例示する図である。
【発明を実施するための形態】
【0006】
以下、図面を参照して発明を実施するための形態について説明する。（第１の実施の形態）
図１は、第１の実施の形態による固体撮像素子３（以降、撮像素子３と称する）を用いた焦点検出装置を搭載するデジタルカメラ１（以降、カメラ１と称する）を例示するブロック図である。
第１の実施の形態において、一眼レフタイプやミラーレスタイプ等のレンズ交換式のカメラ１を例に説明するが、レンズ交換式のカメラでなくてもよい。例えば、レンズ一体型のカメラ、あるいはスマートフォン等の携帯端末に搭載されるカメラのような撮像装置として構成してもよい。また、静止画に限らず、動画を撮像するビデオカメラ、モバイルカメラ等の撮像装置として構成してもよい。
図１は、第１の実施の形態による固体撮像素子３（以降、撮像素子３と称する）を用いた焦点検出装置を搭載するデジタルカメラ１（以降、カメラ１と称する）を例示するブロック図である。
第１の実施の形態において、一眼レフタイプやミラーレスタイプ等のレンズ交換式のカメラ１を例に説明するが、レンズ交換式のカメラでなくてもよい。例えば、レンズ一体型のカメラ、あるいはスマートフォン等の携帯端末に搭載されるカメラのような撮像装置として構成してもよい。また、静止画に限らず、動画を撮像するビデオカメラ、モバイルカメラ等の撮像装置として構成してもよい。
【0007】
＜カメラの構成＞
カメラ１には、撮像光学系として撮影レンズ２が装着される。撮影レンズ２は、フォーカシングレンズや絞りを有する。撮影レンズ２が有するフォーカシングレンズや絞りは、マイクロプロセッサ９から指示を受けたレンズ制御部２ａによって制御される。撮影レンズ２は、撮像素子３の撮像面に光学像（被写体像）を結像させる。撮影レンズ２は、結像光学系とも称する。
カメラ１には、撮像光学系として撮影レンズ２が装着される。撮影レンズ２は、フォーカシングレンズや絞りを有する。撮影レンズ２が有するフォーカシングレンズや絞りは、マイクロプロセッサ９から指示を受けたレンズ制御部２ａによって制御される。撮影レンズ２は、撮像素子３の撮像面に光学像（被写体像）を結像させる。撮影レンズ２は、結像光学系とも称する。
【0008】
撮像素子３は、複数の画素を有する。後述するように、複数の画素は、入射した光を光電変換して電荷を生成する２つの光電変換部をそれぞれ有する。複数の画素は、撮影レンズ２を透過した光をそれぞれ光電変換する。複数の画素は、光電変換により生成された電荷に基づいて信号をそれぞれ出力する。撮像素子３は、マイクロプロセッサ９から指示を受けた撮像制御部４によって制御される。撮像素子３が有する複数の画素から出力される信号は、信号処理部５、およびＡ／Ｄ変換部６を介して処理された後、メモリ７に一旦記憶される。バス８には、レンズ制御部２ａ、撮像制御部４、メモリ７、マイクロプロセッサ９、焦点演算部（焦点検出処理部）１０、記録部１１、画像圧縮部１２および画像処理部１３などが接続される。
なお、撮像素子３が、信号処理部５と、Ａ／Ｄ変換部６と、メモリ７との一部または全部を含む構成にしてもよい。撮像素子３は、信号処理部５およびＡ／Ｄ変換部６およびメモリ７のうち少なくとも１つと複数の画素とが積層される構成であってもよい。
なお、撮像素子３が、信号処理部５と、Ａ／Ｄ変換部６と、メモリ７との一部または全部を含む構成にしてもよい。撮像素子３は、信号処理部５およびＡ／Ｄ変換部６およびメモリ７のうち少なくとも１つと複数の画素とが積層される構成であってもよい。
【0009】
マイクロプロセッサ９には、レリーズ釦などの操作部９ａから操作信号が入力される。マイクロプロセッサ９は、操作部９ａからの操作信号に基づいて各ブロックへ指示を送り、カメラ１を制御する。
【0010】
焦点演算部１０は、撮像素子３が有する画素からの信号に基づき、瞳分割型の位相差検出方式によって撮影レンズ２による焦点調節状態を算出する。焦点演算部１０は、後述する画素２０が有する第１および第２のフォトダイオードＰＤ－１およびＰＤ－２で生成される電荷に基づく信号に基づいて、撮影レンズ２による像が撮像素子３の撮像面上に合焦するためのフォーカスレンズの合焦位置を算出する。具体的には、撮影レンズ２の瞳の異なる領域を通過した複数の光束による像の像ズレ量を検出し、検出した像ズレ量に基づいてデフォーカス量を算出する。デフォーカス量は、撮影レンズ２による像が結像する結像面と撮像素子３の撮像面とのずれ量である。位相差検出方式によるデフォーカス量の演算は公知であるため、詳細な説明は省略する。焦点演算部１０は、算出したデフォーカス量に基づいて、合焦位置までのフォーカスレンズの移動量を算出する。
マイクロプロセッサ９は、レンズ制御部２ａへフォーカシングレンズの移動を指示するとともに、算出したフォーカスレンズの移動量を送る。これにより、焦点調節が自動で行われる。焦点演算部１０、マイクロプロセッサ９およびレンズ制御部２ａは、焦点調節部として動作する。
マイクロプロセッサ９は、レンズ制御部２ａへフォーカシングレンズの移動を指示するとともに、算出したフォーカスレンズの移動量を送る。これにより、焦点調節が自動で行われる。焦点演算部１０、マイクロプロセッサ９およびレンズ制御部２ａは、焦点調節部として動作する。
【0011】
画像処理部１３は、メモリ７に記憶された撮像素子３からの信号に対して所定の画像処理を行って画像データを生成する。画像処理部１３は、画像生成部として動作する。画像圧縮部１２は、画像処理後の画像データを所定形式でデータ圧縮する。記録部１１は、圧縮後の画像データを所定のファイル形式で記録媒体１１ａに記録したり、記録媒体１１ａに記録されている画像データを読み出したりする。記録媒体１１ａは、記録部１１に対して着脱自在のメモリカードなどで構成される。
【0012】
また、画像処理部１３は、画像を表示部１４に表示させるための画像データを生成する。表示部１４は、画像処理部１３で生成された画像データに基づく画像を表示する。表示部１４が表示する画像には、記録媒体１１ａに記録されている画像データに基づく再生画像（静止画、動画）や、撮像素子３によって所定の間隔（例えば６０ｆｐｓ）で取得されるモニタ用画像（ライブビュー画像とも称される）が含まれる。
【0013】
＜撮像素子の概要＞
図２は、撮像素子３の概略構成を例示する図である。撮像素子３は、マトリクス状に配置された複数の画素２０と、各画素２０からの信号を出力するための周辺回路とを有する。一般に、画像を構成する最小単位が「画素」と称されるが、本実施の形態では、画像を構成する最小単位の信号を生成する構成を「画素」と称する。
撮像領域３１は、画素２０がマトリクス状に配置されている領域を示す。図２の例では、撮像領域３１として水平に４行×垂直に４列の１６画素分の範囲を例示しているが、実際の画素数は図２に例示するものよりはるかに多い。
図２は、撮像素子３の概略構成を例示する図である。撮像素子３は、マトリクス状に配置された複数の画素２０と、各画素２０からの信号を出力するための周辺回路とを有する。一般に、画像を構成する最小単位が「画素」と称されるが、本実施の形態では、画像を構成する最小単位の信号を生成する構成を「画素」と称する。
撮像領域３１は、画素２０がマトリクス状に配置されている領域を示す。図２の例では、撮像領域３１として水平に４行×垂直に４列の１６画素分の範囲を例示しているが、実際の画素数は図２に例示するものよりはるかに多い。
【0014】
図３は、撮像素子３の画素配置を例示する図である。画素２０には、マイクロレンズＭＬと不図示のカラーフィルタとが設けられる。カラーフィルタは、一画素２０につき、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の異なる分光特性を有する３つのカラーフィルタのいずれか一つが設けられる。Ｒのカラーフィルタは、主に赤色の波長域の光を透過する。また、Ｇのカラーフィルタは、主に緑色の波長域の光を透過する。さらに、Ｂのカラーフィルタは、主に青色の波長域の光を透過する。Ｇのカラーフィルタは、Ｒのカラーフィルタよりも波長が短い波長域の光を透過する。Ｂのカラーフィルタは、Ｇのカラーフィルタよりも波長が短い波長域の光を透過する。これにより、各画素２０は、配置されたカラーフィルタによって異なる分光特性を有する。
【0015】
撮像素子３には、ＲおよびＧのカラーフィルタを有する画素２０（以下、それぞれ画素２０Ｒ、画素２０Ｇと称する）が交互に配置される画素行と、ＧおよびＢのカラーフィルタを有する画素２０（以下、それぞれ画素２０Ｇ、画素２０Ｂと称する）が交互に配置される画素行とが、二次元状に繰り返し配置される。第１の実施の形態では、画素２０Ｒ、画素２０Ｇ、および画素２０Ｂが、ベイヤー配列にしたがって配置される。
なお、以降の説明において、Ｒ、Ｇ、Ｂを付さずに画素２０と称する場合は、画素２０Ｒ、画素２０Ｇ、および画素２０Ｂを全て含むものとする。
なお、以降の説明において、Ｒ、Ｇ、Ｂを付さずに画素２０と称する場合は、画素２０Ｒ、画素２０Ｇ、および画素２０Ｂを全て含むものとする。
【0016】
各画素２０には、それぞれ２つの光電変換部が設けられる。一般に、１画素当たり２つの光電変換部が設けられる場合、２つの光電変換部が水平方向、すなわち行方向に並ぶ場合（水平分割とも称される）と、２つの光電変換部が垂直方向、すなわち列方向に並ぶ場合（垂直分割とも称される）とが存在する。第１の実施の形態では、撮像領域３１の全域にわたって水平分割の画素２０が配される。ただし、所定の領域には、水平分割の画素２０に代えて垂直分割の画素２０を配してもよい。各画素２０は、周辺回路からの制御信号にしたがって２つの光電変換部で光電変換を行い、光電変換部で生成された電荷に基づく信号を出力する。
【0017】
再び図２を用いて説明する。周辺回路は、例えば、垂直走査回路２１と、水平走査回路２２と、これらと接続されている制御信号線２３、２４と、画素２０からの信号を受け取る垂直信号線２５と、垂直信号線２５に接続される定電流源２６と、相関二重サンプリング回路（ＣＤＳ回路）２７と、ＣＤＳ回路２７から出力される信号を受け取る水平信号線２８と、出力アンプ２９等により構成される。本実施の形態では、列方向に配置された複数の画素２０からなる１画素列に対し、１本の垂直信号線２５が設けられている。
【0018】
垂直走査回路２１および水平走査回路２２は、撮像制御部４からの指示により、制御信号線２３を介して後述する第１の制御信号φＴｘ１、第２の制御信号φＴｘ２、制御信号φＳＥＬ、制御信号φＲＥＳを画素２０へ出力する。各画素２０は、垂直走査回路２１から出力される制御信号によって駆動され、光電変換部で生成された電荷に基づく信号を垂直信号線２５に出力する。画素２０から出力された信号は、ＣＤＳ回路２７にてノイズ除去が施され、水平走査回路２２からの制御信号によって水平信号線２８および出力アンプ２９を介して外部へ出力される。
【0019】
＜１画素に２つのフォトダイオードＰＤを有する構成＞
図４は、図３においてＭ列に並ぶ（垂直方向に並ぶ）画素２０、すなわち、例えばＮ行目の画素２０Ｇと、Ｎ＋１行目の画素２０Ｒと、Ｎ＋２行目の画素２０Ｇと、Ｎ＋３行目の画素２０Ｒとを説明する回路図である。各画素２０は、図示しないマイクロレンズおよびカラーフィルタの内側に光電変換部として２つのフォトダイオードＰＤ－１およびＰＤ－２を有する。すなわち、各画素２０は、画素２０の左側に配置された第１のフォトダイオードＰＤ－１と、画素２０の右側に配置された第２のフォトダイオードＰＤ－２とを有する。
したがって、各画素２０の第１のフォトダイオードＰＤ－１には、撮影レンズ２の瞳の第１の領域を通過した光束が入射し、第２のフォトダイオードＰＤ－２には、撮影レンズ２の瞳の第２の領域を通過した光束が入射する。
図４は、図３においてＭ列に並ぶ（垂直方向に並ぶ）画素２０、すなわち、例えばＮ行目の画素２０Ｇと、Ｎ＋１行目の画素２０Ｒと、Ｎ＋２行目の画素２０Ｇと、Ｎ＋３行目の画素２０Ｒとを説明する回路図である。各画素２０は、図示しないマイクロレンズおよびカラーフィルタの内側に光電変換部として２つのフォトダイオードＰＤ－１およびＰＤ－２を有する。すなわち、各画素２０は、画素２０の左側に配置された第１のフォトダイオードＰＤ－１と、画素２０の右側に配置された第２のフォトダイオードＰＤ－２とを有する。
したがって、各画素２０の第１のフォトダイオードＰＤ－１には、撮影レンズ２の瞳の第１の領域を通過した光束が入射し、第２のフォトダイオードＰＤ－２には、撮影レンズ２の瞳の第２の領域を通過した光束が入射する。
【0020】
本実施の形態では、例えば、第１のフォトダイオードＰＤ－１および第２のフォトダイオードＰＤ－２と、第１および第２のフォトダイオードＰＤ－１およびＰＤ－２で生成された電荷に基づく信号を読み出す読み出し部とを含めて「画素」と呼ぶ。読み出し部は、後述する転送トランジスタ、ＦＤ領域、増幅トランジスタ、および選択トランジスタを含む例を説明するが、読み出し部の範囲は、必ずしも本例の通りでなくてもよい。
【0021】
各画素２０において、上述のように、第１および第２のフォトダイオードＰＤ－１およびＰＤ－２には、それぞれ撮影レンズ２の瞳の異なる領域、すなわち第１および第２の領域を通過した光が入射される。第１および第２のフォトダイオードＰＤ－１およびＰＤ－２は、それぞれ入射光を光電変換して電荷を生成する。第１のフォトダイオードＰＤ－１、第２のフォトダイオードＰＤ－２で生成された電荷は、第１の転送トランジスタＴｘ－１または第２の転送トランジスタＴｘ－２を介して共通のＦＤ(フローティング拡散)領域へ転送される。
【0022】
共通のＦＤ領域は、受け取った電荷を蓄積し、電圧に変換する。ＦＤ領域の電位に応じた信号は、増幅トランジスタＡＭＰによって増幅される。ＦＤ領域および増幅トランジスタＡＭＰは、信号生成部として動作する。そして、生成された信号は、行を選択する選択トランジスタＳＥＬによって選択された行の信号として、垂直信号線２５（出力部）を介して読み出される。リセットトランジスタＲＥＳは、ＦＤ領域の電位をリセットするリセット部として動作する。
【0023】
第１の実施の形態では、例えば、第１のフォトダイオードＰＤ－１で生成された電荷（第１電荷と称する）と、第２のフォトダイオードＰＤ－２で生成された電荷（第２電荷と称する）とが、１つのＦＤ領域に時分割的に転送される。すなわち、第１のフォトダイオードＰＤ－１で生成された電荷の転送と、第２のフォトダイオードＰＤ－２で生成された電荷の転送とは１つのＦＤ領域を用いる。そのため、第１電荷をＦＤ領域に転送する場合と、第２電荷を転送する場合とで、第１の転送トランジスタＴｘ－１および第２の転送トランジスタＴｘ－２のオン／オフ状態が、垂直走査回路２１からの制御信号によって切り替えられる。
【0024】
さらに、第１の実施の形態では、例えば、第１のフォトダイオードＰＤ－１で生成された第１電荷に基づく信号（第１信号と称する）と、第２のフォトダイオードＰＤ－２で生成された第２電荷に基づく信号（第２信号と称する）とが、１つの垂直信号線２５を介して時分割的に順次読み出される。すなわち、第１信号の読み出しと第２信号の読み出とは共通の垂直信号線２５を用いる。そのため、第１信号を読み出す場合と、第２信号を読み出す場合とで、第１の転送トランジスタＴｘ－１および第２の転送トランジスタＴｘ－２のオン／オフ状態が、垂直走査回路２１からの制御信号によって切り替えられる。
【0025】
＜画素のタイプ＞
第１の実施の形態では、タイプＰと称する画素２０と、タイプＳと称する画素２０とが設けられる。図４に例示したＮ行目の画素２０Ｇ、Ｎ＋１行目の画素２０Ｒ、Ｎ＋２行目の画素２０Ｇ、およびＮ＋３行目の画素２０Ｒは、タイプＰに相当する。
第１の実施の形態では、タイプＰと称する画素２０と、タイプＳと称する画素２０とが設けられる。図４に例示したＮ行目の画素２０Ｇ、Ｎ＋１行目の画素２０Ｒ、Ｎ＋２行目の画素２０Ｇ、およびＮ＋３行目の画素２０Ｒは、タイプＰに相当する。
【0026】
タイプＰの画素２０において、第１のフォトダイオードＰＤ－１で生成された第１電荷をＦＤ領域へ転送する第１の転送トランジスタＴｘ－１は、第１の制御信号φＴｘ１によってオンされる。また、第２のフォトダイオードＰＤ－２で生成された第２電荷をＦＤ領域へ転送する第２の転送トランジスタＴｘ－２は、第２の制御信号φＴｘ２によってオンされる。
第１信号または第２信号を垂直信号線２５（出力部）に出力させる行選択用の選択トランジスタＳＥＬは、制御信号φＳＥＬによってオンされる。ＦＤ領域の電位をリセットさせるリセットトランジスタＲＥＳは、制御信号φＲＥＳによってオンされる。
第１信号または第２信号を垂直信号線２５（出力部）に出力させる行選択用の選択トランジスタＳＥＬは、制御信号φＳＥＬによってオンされる。ＦＤ領域の電位をリセットさせるリセットトランジスタＲＥＳは、制御信号φＲＥＳによってオンされる。
【0027】
図５は、図３においてＭ＋２列に並ぶ（垂直方向に並ぶ）画素２０、すなわち、例えばＮ行目の画素２０Ｇと、Ｎ＋１行目の画素２０Ｒと、Ｎ＋２行目の画素２０Ｇと、Ｎ＋３行目の画素２０Ｒとを説明する回路図である。各画素２０は、図示しないマイクロレンズおよびカラーフィルタの内側に光電変換部として第１および第２のフォトダイオードＰＤ－１およびＰＤ－２を有する。上述したように、画素２０には水平分割の場合と垂直分割の場合とがある。
また、各画素２０の第１のフォトダイオードＰＤ－１には、撮影レンズ２の瞳の第１の領域を通過した光束が入射し、第２のフォトダイオードＰＤ－２には、撮影レンズ２の瞳の第２の領域を通過した光束が入射する点は、図４の場合と同様である。
また、各画素２０の第１のフォトダイオードＰＤ－１には、撮影レンズ２の瞳の第１の領域を通過した光束が入射し、第２のフォトダイオードＰＤ－２には、撮影レンズ２の瞳の第２の領域を通過した光束が入射する点は、図４の場合と同様である。
【0028】
図５に例示したＮ行目の画素２０Ｇ、Ｎ＋１行目の画素２０Ｒ、Ｎ＋２行目の画素２０Ｇ、およびＮ＋３行目の画素２０Ｒは、タイプＳに相当する。タイプＳとタイプＰの相違点は、第１および第２の転送トランジスタＴｘ－１、Ｔｘ－２と、それらに供給される第１および第２の制御信号φＴｘ１、φＴｘ２との関係が逆である点である。すなわち、タイプＳでは第１の転送用トランジスタＴｘ－１に対して第２の制御信号φＴｘ２が供給され、第２の転送用トランジスタＴｘ－２に対して第１の制御信号φＴｘ１が供給される。
このため、タイプＳの画素２０において、第１のフォトダイオードＰＤ－１で生成された第１電荷をＦＤ領域へ転送する第１の転送トランジスタＴｘ－１は、第２の制御信号φＴｘ２によってオンされる。また、第２のフォトダイオードＰＤ－２で生成された第２電荷をＦＤ領域へ転送する第２の転送トランジスタＴｘ－２は、第１の制御信号φＴｘ１によってオンされる。
第１信号または第２信号を垂直信号線２５（出力部）に出力させる行選択用の選択トランジスタＳＥＬは、制御信号φＳＥＬによってオンされる。ＦＤ領域の電位をリセットさせるリセットトランジスタＲＥＳは、制御信号φＲＥＳによってオンされる。
このため、タイプＳの画素２０において、第１のフォトダイオードＰＤ－１で生成された第１電荷をＦＤ領域へ転送する第１の転送トランジスタＴｘ－１は、第２の制御信号φＴｘ２によってオンされる。また、第２のフォトダイオードＰＤ－２で生成された第２電荷をＦＤ領域へ転送する第２の転送トランジスタＴｘ－２は、第１の制御信号φＴｘ１によってオンされる。
第１信号または第２信号を垂直信号線２５（出力部）に出力させる行選択用の選択トランジスタＳＥＬは、制御信号φＳＥＬによってオンされる。ＦＤ領域の電位をリセットさせるリセットトランジスタＲＥＳは、制御信号φＲＥＳによってオンされる。
【0029】
＜タイプＰおよびタイプＳの画素配置＞
タイプＰおよびタイプＳの画素配置について説明する。図３のベイヤー配列の繰り返し単位である２×２画素に着目すると、繰り返し単位の４画素の全てがタイプＰの画素２０Ｇ（Ｐ）、２０Ｂ（Ｐ）、２０Ｒ（Ｐ）、２０Ｇ（Ｐ）からなるグループと、繰り返し単位の４画素の全てがタイプＳの画素２０Ｇ（Ｓ）、２０Ｂ（Ｓ）、２０Ｒ（Ｓ）、２０Ｇ（Ｓ）からなるグループとに分けられる。このうち、繰り返し単位の４画素の全てがタイプＰの画素２０Ｇ（Ｐ）、２０Ｂ（Ｐ）、２０Ｒ（Ｐ）、２０Ｇ（Ｐ）からなるグループを太い実線で囲んで示し、繰り返し単位の４画素の全てがタイプＳの画素２０Ｇ（Ｓ）、２０Ｂ（Ｓ）、２０Ｒ（Ｓ）、２０Ｇ（Ｓ）からなるグループを太い破線で囲んで示す。
タイプＰおよびタイプＳの画素配置について説明する。図３のベイヤー配列の繰り返し単位である２×２画素に着目すると、繰り返し単位の４画素の全てがタイプＰの画素２０Ｇ（Ｐ）、２０Ｂ（Ｐ）、２０Ｒ（Ｐ）、２０Ｇ（Ｐ）からなるグループと、繰り返し単位の４画素の全てがタイプＳの画素２０Ｇ（Ｓ）、２０Ｂ（Ｓ）、２０Ｒ（Ｓ）、２０Ｇ（Ｓ）からなるグループとに分けられる。このうち、繰り返し単位の４画素の全てがタイプＰの画素２０Ｇ（Ｐ）、２０Ｂ（Ｐ）、２０Ｒ（Ｐ）、２０Ｇ（Ｐ）からなるグループを太い実線で囲んで示し、繰り返し単位の４画素の全てがタイプＳの画素２０Ｇ（Ｓ）、２０Ｂ（Ｓ）、２０Ｒ（Ｓ）、２０Ｇ（Ｓ）からなるグループを太い破線で囲んで示す。
【0030】
図３によれば、太い実線で囲んだグループと、太い破線で囲んだグループとが、行方向（水平方向）において交互に並ぶ。
また、太い実線で囲んだグループと、太い破線で囲んだグループとは、それぞれが列方向（垂直方向）において連続して並ぶ。
また、太い実線で囲んだグループと、太い破線で囲んだグループとは、それぞれが列方向（垂直方向）において連続して並ぶ。
【0031】
図３の各画素２０において、第１および第２のフォトダイオードＰＤ－１およびＰＤ－２のうちの一方をハッチングして示す。ハッチングされたフォトダイオードは、第１の制御信号φＴｘ１が供給されると、フォトダイオードで生成された電荷がＦＤ領域へ転送されるフォトダイオードを示す。ハッチングされないフォトダイオードは、第２の制御信号φＴｘ２が供給されると、フォトダイオードで生成された電荷がＦＤ領域へ転送されるフォトダイオードを示す。したがって、タイプＰの画素２０Ｇ（Ｐ）では、第１のフォトダイオードＰＤ－１がハッチングされ、第２のフォトダイオードＰＤ－２がハッチングされず、逆に、タイプＳの画素２０Ｇ（Ｓ）では、第２のフォトダイオードＰＤ－２がハッチングされ、第１のフォトダイオードＰＤ－１がハッチングされていない。
【0032】
よって、例えば、タイプＰの画素２０Ｇ（Ｐ）では、第１の制御信号φＴｘ１が第１の転送トランジスタＴｘ－１に供給されると、第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に転送される。ＦＤ領域に転送された第１電荷に基づいて第１信号が生成されることを示す。タイプＰの画素２０Ｇ（Ｐ）では、第２の制御信号φＴｘ２が第２の転送トランジスタＴｘ－２に供給されると、第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に転送される。ＦＤ領域に転送された第２電荷に基づいて第２信号が生成されることを示す。タイプＰの画素２０Ｂ（Ｐ）および２０Ｒ（Ｐ）においても同様である。
一方、タイプＳの画素２０Ｇ（Ｓ）では、第１の制御信号φＴｘ１が第２の転送トランジスタＴｘ－２に供給されると、画素２０Ｇ（Ｓ）の第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に転送される。ＦＤ領域に転送された第２電荷に基づいて第２信号が生成されることを示す。タイプＳの画素２０Ｇ（Ｓ）では、第２の制御信号φＴｘ２が第１の転送トランジスタＴｘ－１に供給されると、画素２０Ｇ（Ｓ）の第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に転送される。ＦＤ領域に転送された第１電荷に基づいて第１信号が生成されることを示す。タイプＳの画素２０Ｂ（Ｓ）および２０Ｒ（Ｓ）においても同様である。
一方、タイプＳの画素２０Ｇ（Ｓ）では、第１の制御信号φＴｘ１が第２の転送トランジスタＴｘ－２に供給されると、画素２０Ｇ（Ｓ）の第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に転送される。ＦＤ領域に転送された第２電荷に基づいて第２信号が生成されることを示す。タイプＳの画素２０Ｇ（Ｓ）では、第２の制御信号φＴｘ２が第１の転送トランジスタＴｘ－１に供給されると、画素２０Ｇ（Ｓ）の第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に転送される。ＦＤ領域に転送された第１電荷に基づいて第１信号が生成されることを示す。タイプＳの画素２０Ｂ（Ｓ）および２０Ｒ（Ｓ）においても同様である。
【0033】
上述したように、画素２０の第１および第２のフォトダイオードＰＤ－１およびＰＤ－２には、それぞれ撮影レンズ２の瞳の異なる領域を通過した光が入射される。また、上述したように、画素２０を太い実線で囲んだグループと、太い破線で囲んだグループとに分けて、各グループを行方向（水平方向）において交互に配置し、かつ、列方向（垂直方向）においてそれぞれのグループを並べて配置した。このため、垂直走査回路２１が、第１の制御信号φＴｘ１を出力すると、第２の制御信号φＴｘ２、同一の画素行で水平方向に並ぶ同一色の画素２０に着目すると、どの画素行においても、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と、第２信号とが同時に読み出される。例えば、Ｎ行で水平方向に並ぶ画素２０Ｇに着目する。垂直走査回路２１が第１の制御信号φＴｘ１を出力すると、Ｍ列にある画素２０Ｇ（Ｐ）では第１電荷がＦＤ領域に転送されて第１信号が生成される。Ｍ＋２列にある画素２０Ｇ（Ｓ）では第２電荷がＦＤ領域に転送されて第２信号が生成される。Ｎ行Ｍ列の画素２０Ｇ（Ｐ）で生成された第１信号およびＮ行Ｍ＋２列の画素２０Ｇ（Ｓ）で生成された第２信号は、垂直信号線２５にそれぞれ出力される。垂直走査回路２１が第２の制御信号φＴｘ２を出力すると、Ｍ列にある画素２０Ｇ（Ｐ）では第２電荷がＦＤ領域に転送されて第２信号が生成される。Ｍ＋２列にある画素２０Ｇ（Ｓ）では第１電荷がＦＤ領域に転送されて第１信号が生成される。Ｎ行Ｍ列の画素２０Ｇ（Ｐ）で生成された第２信号およびＮ行Ｍ＋２列の画素２０Ｇ（Ｓ）で生成された第１信号は、垂直信号線２５にそれぞれ出力される。Ｎ＋１～Ｎ＋４行で水平方向に並ぶ画素２０Ｇ、Ｎ行、Ｎ＋２行、Ｎ＋４行で水平方向に並ぶ画素２０Ｂ、Ｎ＋１行、Ｎ＋３行で水平方向に並ぶ画素２０Ｒについても同様である。
なお、同一の画素列で垂直方向に並ぶ同一色の画素２０に着目した場合、撮像素子３は、上記第１信号が読み出される列（図３のＭ列、Ｍ＋１列、Ｍ＋４列等）と、上記第２信号が読み出される列（図３のＭ＋２列、Ｍ＋３列等）とに分かれる。
なお、同一の画素列で垂直方向に並ぶ同一色の画素２０に着目した場合、撮像素子３は、上記第１信号が読み出される列（図３のＭ列、Ｍ＋１列、Ｍ＋４列等）と、上記第２信号が読み出される列（図３のＭ＋２列、Ｍ＋３列等）とに分かれる。
【0034】
＜焦点調節＞
本実施の形態のカメラ１は、焦点検出（合焦位置の検出）に用いる一対の焦点検出信号を、例えば、フォーカスエリアに含まれる画素行から読み出された、画素２０Ｇの第１信号と第２信号とに基づいて生成する。フォーカスエリアは、焦点演算部１０が位相差情報としての像ズレ量を検出するエリアであり、焦点検出エリア、測距点、オートフォーカス（ＡＦ）ポイントとも称される。
本実施の形態のカメラ１は、焦点検出（合焦位置の検出）に用いる一対の焦点検出信号を、例えば、フォーカスエリアに含まれる画素行から読み出された、画素２０Ｇの第１信号と第２信号とに基づいて生成する。フォーカスエリアは、焦点演算部１０が位相差情報としての像ズレ量を検出するエリアであり、焦点検出エリア、測距点、オートフォーカス（ＡＦ）ポイントとも称される。
【0035】
マイクロプロセッサ９は、例えば、レリーズ釦が半押し操作されたことを示す操作信号が操作部９ａから入力されると、撮像制御部４に焦点調節用の撮像を指示する。焦点調節用の撮像では、撮像素子３の読み出し対象となる画素行に対し、垂直走査回路２１および水平走査回路２２から第１の読み出し用の制御信号を供給して第１の読み出しを行う。第１の読み出しは、画素行の各画素２０Ｇに第１の制御信号φＴｘ１等を供給してタイプＰの画素２０Ｇから第１のフォトダイオードＰＤ－１で生成された第１電荷に基づく第１信号を読み出すとともに、タイプＳの画素２０Ｇから第２のフォトダイオードＰＤ－２で生成された第２電荷に基づく第２信号を読み出すことをいう。
【0036】
第１の読み出しにより、第１の制御信号φＴｘ１が供給された画素行の各画素２０Ｇから読み出された第１信号と第２信号とがメモリ７に記憶される。メモリ７に記憶された複数の第１信号Ａ１，Ａ２，…，Ａｎ（ａ系列の信号と称する）と、メモリ７に記憶された複数の第２信号Ｂ１，Ｂ２，…，Ｂｎ（ｂ系列の信号と称する）とは、撮影レンズ２の瞳の異なる領域を通過した複数の光束による像の強度分布を表す。
各画素行に対して１回の読み出しを行うだけでａ系列の信号およびｂ系列の信号が得られるので、画素行からａ系列の信号およびｂ系列の信号を得るために画素行に対して２回の読み出しが必要な場合と比べて、より早く像ズレ検出演算処理に進むことができる。このため、より早く焦点調節を行うことができる。
各画素行に対して１回の読み出しを行うだけでａ系列の信号およびｂ系列の信号が得られるので、画素行からａ系列の信号およびｂ系列の信号を得るために画素行に対して２回の読み出しが必要な場合と比べて、より早く像ズレ検出演算処理に進むことができる。このため、より早く焦点調節を行うことができる。
【0037】
図６は、複数の第１信号からなるａ系列の信号と、複数の第２信号からなるｂ系列の信号とを例示する図である。図６において、ｎ個のａ系列の信号をハッチング処理した丸で表す。また、ｎ個のｂ系列の信号を白丸で表す。画素２０Ｇからのａ系列の信号およびｂ系列の信号は、それぞれ図３の３列おきに読み出され、ａ系列の信号の位置とｂ系列の信号の位置とは、図３の２列分のずれを有する。図６の縦の破線は、画素列に対応する。
焦点演算部１０は、上記ａ系列の信号とｂ系列の信号とに基づき、像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって複数の像の像ズレ量を算出し、像ズレ量に所定の変換係数を乗算することによってデフォーカス量を算出する。
焦点演算部１０は、上記ａ系列の信号とｂ系列の信号とに基づき、像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって複数の像の像ズレ量を算出し、像ズレ量に所定の変換係数を乗算することによってデフォーカス量を算出する。
【0038】
次に、マイクロプロセッサ９は、焦点演算部１０によって算出されたデフォーカス量が許容値以内か否かを判定する。マイクロプロセッサ９は、デフォーカス量が許容値を超えている場合は合焦していないと判断し、レンズ制御部２ａへレンズ駆動指示を送る。レンズ制御部２ａは、デフォーカス量を許容値以内に納める位置（合焦位置）へフォーカシングレンズを移動させる。一方、マイクロプロセッサ９は、デフォーカス量が許容値以内であれば合焦していると判断し、レンズ駆動指示を送らない。
【0039】
上記の説明では、焦点調節用の撮像として、撮像制御部４が撮像素子３に第１の読み出しを行わせる例を説明したが、第１の読み出しの代わりに第２の読み出しを行わせてもよい。第２の読み出しは、画素行の各画素２０Ｇに第２の制御信号φＴｘ２等を供給してタイプＰの画素２０Ｇから第２のフォトダイオードＰＤ－２で生成された第２電荷に基づく第２信号を読み出すとともに、タイプＳの画素２０Ｇから第１のフォトダイオードＰＤ－１で生成された第１電荷に基づく第１信号を読み出すことをいう。焦点演算部１０は、第２の読み出しによってメモリ７に記憶されたａ系列の信号と、メモリ７に記憶されたｂ系列の信号とに基づき、像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって複数の像の像ズレ量を算出し、像ズレ量に所定の変換係数を乗算することによってデフォーカス量を算出する。
【0040】
また、表示部１４にモニタ用画像を表示しながら焦点調節を行う場合には、撮像制御部４は、撮像素子３に焦点調節用の第１の読み出しと、画像用の第２の読み出しとを交互に行わせることができる。この場合、焦点調節用の第１の読み出しと画像用の第２の読み出しは、撮像領域３１（図２）の画素２０を間引いて読み出す。マイクロプロセッサ９は、例えば、第１の読み出し後、第１の読み出しによってメモリ７に記憶されたａ系列の信号およびｂ系列の信号に基づく像ズレ検出演算処理を開始させる。
【0041】
次に、マイクロプロセッサ９は、上記像ズレ検出演算処理と並行して、撮像制御部４に第２の読み出しを指示する。撮像制御部４が、例えば、第１の読み出し後にＦＤ領域の電位をリセットしないで第２の読み出しを行うことで、第１の読み出しによる電荷に第２の読み出しによる電荷がＦＤ領域において足し合わされる。このため、第２の読み出しでは、各画素２０から第１信号と第２信号との和が、画像の信号として読み出される。画像処理部１３は、第１信号と第２信号との和（画像の信号）に対して所定の画像処理を行うことにより、表示部１４にモニタ用画像を表示させるための画像データを生成する。
撮像制御部４は、第２の読み出し後にＦＤ領域の電位をリセットし、再び上記第１の読み出しと第２の読み出しとを繰り返し行わせる。これにより、カメラ１は、焦点調節を行いながらモニタ用画像の表示を行うことができる。
撮像制御部４は、第２の読み出し後にＦＤ領域の電位をリセットし、再び上記第１の読み出しと第２の読み出しとを繰り返し行わせる。これにより、カメラ１は、焦点調節を行いながらモニタ用画像の表示を行うことができる。
【0042】
なお、上述したカメラ１では、フォーカスエリアに含まれる画素行から読み出された、画素２０Ｇの第１信号と第２信号とに基づいて焦点調節に用いる画像データを生成した。焦点調節に用いる画像データは、画素２０Ｇによる第１信号と第２信号とに限らず、画素２０Ｒによる第１信号と第２信号とに基づいて生成してもよく、画素２０Ｂによる第１信号と第２信号とに基づいて生成してもよい。
【0043】
＜画像データの生成＞
本実施の形態のカメラ１は、被写体像に関する画像データを、撮像領域３１（図２）の各画素２０から読み出された第１信号と第２信号とに基づいて生成する。マイクロプロセッサ９は、例えば、レリーズ釦が全押し操作されたことを示す操作信号が操作部９ａから入力されると、撮像制御部４に記録用の撮像を指示する。記録用の撮像では、撮像素子３の各画素行に対し、垂直走査回路２１および水平走査回路２２から制御信号を供給し、画素間引きなしの第１の読み出しと第２の読み出しとを行う。
本実施の形態のカメラ１は、被写体像に関する画像データを、撮像領域３１（図２）の各画素２０から読み出された第１信号と第２信号とに基づいて生成する。マイクロプロセッサ９は、例えば、レリーズ釦が全押し操作されたことを示す操作信号が操作部９ａから入力されると、撮像制御部４に記録用の撮像を指示する。記録用の撮像では、撮像素子３の各画素行に対し、垂直走査回路２１および水平走査回路２２から制御信号を供給し、画素間引きなしの第１の読み出しと第２の読み出しとを行う。
【0044】
撮像制御部４は、第１の読み出しによって画素行の各画素２０に第１の制御信号φＴｘ１等を供給する。この第１の制御信号φＴｘ１の供給によって、タイプＰの画素２０の第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に蓄積され、同様に、タイプＳの画素２０の第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に蓄積される。次いで撮像制御部４は、第１の読み出し後にＦＤ領域の電位をリセットすることなく、第２の読み出しを行い、画素行の各画素２０に第２の制御信号φＴｘ２等を供給する。この第２の制御信号φＴｘ２の供給によって、タイプＰの画素２０の第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に追加蓄積、すなわち加算蓄積される。同様に、タイプＳの画素２０の第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に追加蓄積、すなわち加算蓄積される。第１の読み出しと第２の読み出しは、異なるタイミングで行う必要はなく、第１の読み出しと第２の読み出しを同時に行ってもよい。すなわち、垂直走査回路２１は、第１の制御信号φＴｘ１および第２の制御信号φＴｘ２それぞれを、第１の転送トランジスタＴｘ－１および第２の転送トランジスタＴｘ－２に同時に供給するようにしてもよい。
こうして、各画素２０からは、第１信号と第２信号との加算された画像用の信号が読み出され、画像処理部１３は、この画像用の信号を階調処理や色補間処理などを施して、被写体像に関する画像データを生成する。
こうして、各画素２０からは、第１信号と第２信号との加算された画像用の信号が読み出され、画像処理部１３は、この画像用の信号を階調処理や色補間処理などを施して、被写体像に関する画像データを生成する。
【0045】
画像データの生成は、上述の処理の代わりに、以下のように行うこともできる。すなわち、撮像制御部４は、第１の読み出しによって画素行の各画素２０に第１の制御信号φＴｘ１等を供給してタイプＰの画素２０から第１信号を読み出すとともに、タイプＳの画素２０から第２信号を読み出す。また、撮像制御部４は、第１の読み出し後にＦＤ領域の電位をリセットした後に第２の読み出しを行い、画素行の各画素２０に第２の制御信号φＴｘ２等を供給してタイプＰの画素２０から第２信号を読み出すとともに、タイプＳの画素２０から第１信号を読み出す。
【0046】
これにより、第１の読み出しによって各画素２０から読み出された第１信号および第２信号と、第２の読み出しによって各画素２０から読み出された第１信号および第２信号とがメモリ７に記憶される。画像処理部１３は、メモリ７に記憶された第１信号および第２信号を画素２０ごとに加算して画像用の信号を生成し、さらに階調処理や色補間処理などを施して、被写体像に関する画像データを生成する。
【0047】
以上説明した第１の実施の形態によれば、次の作用効果が得られる。（１）撮像素子３は、マイクロレンズＭＬを透過した光を光電変換して第１電荷を生成する第１のフォトダイオードＰＤ－１と、マイクロレンズＭＬを透過した光を光電変換して第２電荷を生成する第２のフォトダイオードＰＤ－２と、上記第１電荷、第２電荷の少なくとも一方を蓄積するＦＤ領域と、第１電荷をＦＤ領域に転送する第１の転送トランジスタＴｘ－１と、第２電荷をＦＤ領域に転送する第２の転送トランジスタＴｘ－２とを、それぞれ有する画素２０Ｇ（Ｐ）と画素２０Ｇ（Ｓ）と、画素２０Ｇ（Ｐ）の第１電荷と画素２０Ｇ（Ｓ）の第２電荷とをＦＤ領域に転送させる第１の制御信号φＴｘ１を、画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｇ（Ｓ）の第２の転送トランジスタＴｘ－２とに出力する垂直走査回路２１と、を有する。これにより、画素行に対して第１の制御信号φＴｘ１を供給する１回の読み出しを行うだけでａ系列の信号およびｂ系列の信号が得られるので、画素行からａ系列の信号およびｂ系列の信号を得るために画素行に対して第１の制御信号φＴｘ１を供給する読み出しと、第２の制御信号φＴｘ２を供給する読み出しとを２回行う場合と比べて、より早く像ズレ検出演算処理に進むことができる。このため、焦点調節を早く行うことができる。
【0048】
（２）撮像素子３において、垂直走査回路２１は、画素２０Ｇ（Ｐ）の第１電荷をＦＤ領域に転送させるとともに、画素２０Ｇ（Ｓ）の第２電荷をＦＤ領域に転送させる第１の制御信号φＴｘ１を、画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｇ（Ｓ）の第２の転送トランジスタＴｘ－２とに出力するので、画素行に対して第１の制御信号φＴｘ１を供給する１回の読み出しを行うだけでａ系列の信号およびｂ系列の信号が得られる。
【0049】
（３）撮像素子３において、垂直走査回路２１は、垂直走査回路２１と画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｇ（Ｓ）の第２の転送トランジスタＴｘ－２とを接続する制御信号線２３を介して、画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｇ（Ｓ）の第２の転送トランジスタＴｘ－２とに第１の制御信号φＴｘ１を出力するので、画素行に対して第１の制御信号φＴｘ１を供給する１回の読み出しを行うだけでａ系列の信号およびｂ系列の信号が得られる。
【0050】
（４）撮像素子３において、垂直走査回路２１は、画素２０Ｇ（Ｐ）の第２電荷と画素２０Ｇ（Ｓ）の第１電荷とをＦＤ領域に転送させる第２の制御信号φＴｘ２を、画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｇ（Ｓ）の第１の転送トランジスタＴｘ－１とに出力するので、画素行に対して第２の制御信号φＴｘ２を供給する１回の読み出しを行うだけでａ系列の信号およびｂ系列の信号が得られる。
【0051】
（５）撮像素子３において、垂直走査回路２１は、画素２０Ｇ（Ｐ）の第２電荷をＦＤ領域に転送させるとともに、画素２０Ｇ（Ｓ）の第１電荷をＦＤ領域に転送させる第２の制御信号φＴｘ２を、画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｇ（Ｓ）の第１の転送トランジスタＴｘ－１とに出力するので、画素行に対して第２の制御信号φＴｘ２を供給する１回の読み出しを行うだけでａ系列の信号およびｂ系列の信号が得られる。
【0052】
（６）撮像素子３において、垂直走査回路２１は、垂直走査回路２１と画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｇ（Ｓ）の第１の転送トランジスタＴｘ－１とを接続する制御信号線２３を介して、画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｇ（Ｓ）の第１の転送トランジスタＴｘ－１とに第２の制御信号φＴｘ２を出力するので、画素行に対して第２の制御信号φＴｘ２を供給する１回の読み出しを行うだけでａ系列の信号およびｂ系列の信号が得られる。
【0053】
（７）撮像素子３において、画素２０Ｇ（Ｐ）と画素２０Ｇ（Ｓ）とは、例えば行方向（水平方向）に配置され、第１のフォトダイオードＰＤ－１と第２のフォトダイオードＰＤ－２とは、行方向（水平方向）に並んで配置される。
【0054】
（８）撮像装置の一例であるカメラ１は、上述した撮像素子３と、フォーカシングレンズを有する撮影レンズ２による像を撮像する撮像素子３の画素２０Ｇ（Ｐ）の第１電荷に基づく第１信号と画素２０Ｇ（Ｓ）の第２電荷に基づく第２信号とに基づいて、撮影レンズ２による像が撮像素子３に合焦するようにフォーカシングレンズの位置を制御する焦点演算部１０、マイクロプロセッサ９およびレンズ制御部２ａとを備える。これにより、焦点調節を早く行うことができる。
【0055】
（第２の実施の形態） 第２の実施の形態では、第１の実施の形態と比べて、タイプＰおよびタイプＳの画素配置が異なる。タイプＰと称する画素２０およびタイプＳと称する画素２０の構成は、第１の実施の形態と同様である。
また、第２の実施の形態におけるカメラ１は、第１の実施の形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
また、第２の実施の形態におけるカメラ１は、第１の実施の形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
【0056】
図７は、第２の実施の形態における撮像素子３の画素配置を例示する図である。図７において、ベイヤー配列の繰り返し単位である２×２画素に着目すると、繰り返し単位の４画素の全てがタイプＰの画素２０Ｇ（Ｐ）、２０Ｂ（Ｐ）、２０Ｒ（Ｐ）、２０Ｇ（Ｐ）からなるグループ（太い実線で囲む）と、繰り返し単位の４画素の全てがタイプＳの画素２０Ｇ（Ｓ）、２０Ｂ（Ｓ）、２０Ｒ（Ｓ）、２０Ｇ（Ｓ）からなるグループ（太い破線で囲む）とに分けられる点は、第１の実施の形態と同様である。
なお、図７ではマイクロレンズＭＬの図示を省略した。
なお、図７ではマイクロレンズＭＬの図示を省略した。
【0057】
そして、太い実線で囲んだグループと、太い破線で囲んだグループとが、行方向（水平方向）において交互に並ぶ点も、第１の実施の形態と共通である。
しかしながら、太い実線で囲んだグループと、太い破線で囲んだグループとが、列方向（垂直方向）においても交互に存在する点で、第１の実施の形態と相違する。
第２の実施の形態では、太い実線で囲んだグループと、太い破線で囲んだグループとが、いわゆる市松模様を構成する。
しかしながら、太い実線で囲んだグループと、太い破線で囲んだグループとが、列方向（垂直方向）においても交互に存在する点で、第１の実施の形態と相違する。
第２の実施の形態では、太い実線で囲んだグループと、太い破線で囲んだグループとが、いわゆる市松模様を構成する。
【0058】
図８は、図７においてＭ列に並ぶ（垂直方向に並ぶ）画素２０、すなわち、例えばＮ行目の画素２０Ｇ（Ｐ）と、Ｎ＋１行目の画素２０Ｒ（Ｐ）と、Ｎ＋２行目の画素２０Ｇ（Ｓ）と、Ｎ＋３行目の画素２０Ｒ（Ｓ）とを説明する回路図である。各画素２０が図示しないマイクロレンズおよびカラーフィルタの内側に光電変換部として第１および第２のフォトダイオードＰＤ－１およびＰＤ－２を有する点は、第１の実施の形態と同様であるが、図７の垂直方向に並ぶ画素２０のタイプが２画素ごとに異なる（タイプＰとタイプＳとを繰り返す）点は、第１の実施の形態と異なる。
【0059】
図７の各画素２０において、第１および第２のフォトダイオードＰＤ－１およびＰＤ－２のうちの一方をハッチングして示す。ハッチングされたフォトダイオードは、第１の制御信号φＴｘ１が供給されると、フォトダイオードで生成された電荷がＦＤ領域へ転送されるフォトダイオードを示す。ハッチングされないフォトダイオードは、第２の制御信号φＴｘ２が供給されると、フォトダイオードで生成された電荷がＦＤ領域へ転送されるフォトダイオードを示す。例えば、タイプＰの画素２０Ｇ（Ｐ）では、第１の制御信号φＴｘ１が第１の転送トランジスタＴｘ－１に供給された場合に、第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に転送される。ＦＤ領域に転送された第１電荷に基づいて第１信号が読み出されることを示す。タイプＰの画素２０Ｇ（Ｐ）では、第２の制御信号φＴｘ２が第２の転送トランジスタＴｘ－２に供給されると、第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に転送される。ＦＤ領域に転送された第２電荷に基づいて第２信号が生成されることを示す。タイプＰの画素２０Ｂ（Ｐ）および２０Ｒ（Ｐ）においても同様である。
【0060】
一方、タイプＳの画素２０Ｇ（Ｓ）では、第１の制御信号φＴｘ１が第２の転送トランジスタＴｘ－２に供給された場合に、画素２０Ｇ（Ｓ）の第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に転送される。ＦＤ領域に転送された第２電荷に基づいて第２信号が読み出されることを示す。タイプＳの画素２０Ｇ（Ｓ）では、第２の制御信号φＴｘ２が第１の転送トランジスタＴｘ－１に供給されると、第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に転送される。ＦＤ領域に転送された第１電荷に基づいて第１信号が生成されることを示す。タイプＳの画素２０Ｂ（Ｓ）および２０Ｒ（Ｓ）においても同様である。
【0061】
上述したように、画素２０の第１および第２のフォトダイオードＰＤ－１およびＰＤ－２には、それぞれ撮影レンズ２の瞳の異なる領域、すなわち、第１および第２の領域をそれぞれ通過した光が入射される。また、上述したように、画素２０を太い実線で囲んだグループと、太い破線で囲んだグループとに分けて、各グループを行方向（水平方向）、かつ、列方向（垂直方向）において交互に配置した。このため、同一の画素行で水平方向に並ぶ同一色の画素２０に着目すると、第１の実施の形態と同様に、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と、第２信号とが同時に読み出される。
第２の実施の形態ではさらに、同一の画素列で垂直方向に並ぶ同一色の画素２０に着目しても、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と第２信号とが同時に読み出される。例えば、Ｍ列で垂直方向に並ぶ画素２０Ｇに着目する。垂直走査回路２１が第１の制御信号φＴｘ１を出力すると、Ｎ＋４行にある画素２０Ｇ（Ｐ）では第１電荷がＦＤ領域に転送されて第１信号が生成される。Ｎ＋２行にある画素２０Ｇ（Ｓ）では第２電荷がＦＤ領域に転送されて第２信号が生成される。Ｎ＋４行Ｍ列の画素２０Ｇ（Ｐ）で生成された第１信号およびＮ＋２行Ｍ列の画素２０Ｇ（Ｓ）で生成された第２信号は、同じ垂直信号線２５に出力される。垂直走査回路２１が第２の制御信号φＴｘ２を出力すると、Ｎ＋４行にある画素２０Ｇ（Ｐ）では第２電荷がＦＤ領域に転送されて第２信号が生成される。Ｎ＋２行にある画素２０Ｇ（Ｓ）では第１電荷がＦＤ領域に転送されて第１信号が生成される。Ｎ＋４行Ｍ列の画素２０Ｇ（Ｐ）で生成された第２信号およびＮ＋２行Ｍ列の画素２０Ｇ（Ｓ）で生成された第１信号は、同じ垂直信号線２５に出力される。Ｍ＋１～Ｍ＋４列で垂直方向に並ぶ画素２０Ｇ、Ｍ＋１列、Ｍ＋３列で垂直方向に並ぶ画素２０Ｂ、Ｍ列、Ｍ＋２列、Ｍ＋４列で垂直方向に並ぶ画素２０Ｒについても同様である。
第２の実施の形態ではさらに、同一の画素列で垂直方向に並ぶ同一色の画素２０に着目しても、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と第２信号とが同時に読み出される。例えば、Ｍ列で垂直方向に並ぶ画素２０Ｇに着目する。垂直走査回路２１が第１の制御信号φＴｘ１を出力すると、Ｎ＋４行にある画素２０Ｇ（Ｐ）では第１電荷がＦＤ領域に転送されて第１信号が生成される。Ｎ＋２行にある画素２０Ｇ（Ｓ）では第２電荷がＦＤ領域に転送されて第２信号が生成される。Ｎ＋４行Ｍ列の画素２０Ｇ（Ｐ）で生成された第１信号およびＮ＋２行Ｍ列の画素２０Ｇ（Ｓ）で生成された第２信号は、同じ垂直信号線２５に出力される。垂直走査回路２１が第２の制御信号φＴｘ２を出力すると、Ｎ＋４行にある画素２０Ｇ（Ｐ）では第２電荷がＦＤ領域に転送されて第２信号が生成される。Ｎ＋２行にある画素２０Ｇ（Ｓ）では第１電荷がＦＤ領域に転送されて第１信号が生成される。Ｎ＋４行Ｍ列の画素２０Ｇ（Ｐ）で生成された第２信号およびＮ＋２行Ｍ列の画素２０Ｇ（Ｓ）で生成された第１信号は、同じ垂直信号線２５に出力される。Ｍ＋１～Ｍ＋４列で垂直方向に並ぶ画素２０Ｇ、Ｍ＋１列、Ｍ＋３列で垂直方向に並ぶ画素２０Ｂ、Ｍ列、Ｍ＋２列、Ｍ＋４列で垂直方向に並ぶ画素２０Ｒについても同様である。
【0062】
図９(a)から図９(d)は、第２の実施の形態における、ａ系列の信号とｂ系列の信号とを例示する図である。図９(a)は、図７のＮ行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とを示す図である。図９(a)において、ｎ個のａ系列の信号をハッチング処理した丸で表す。また、ｎ個のｂ系列の信号を白丸で表す。画素２０Ｇからのａ系列の信号およびｂ系列の信号は、それぞれ図７の３列おきに読み出され、ａ系列の信号の位置とｂ系列の信号の位置とは、図７の２列分のずれを有する。図９(a)の縦の破線は、画素列に対応する。
【0063】
図９(b)は、図７のＮ＋１行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とを示す図である。図９(c)は、図７のＮ＋２行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とを示す図である。図９(d)は、Ｎ＋３行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とを示す図である。ａ系列の信号をハッチング処理した丸で表す点、ｂ系列の信号を白丸で表す点、および縦の破線が画素列を表す点は、図９(a)から図９(d)において共通である。
【0064】
図９(a)から図９(d)によれば、サンプリングポイントの偏りをなくすことができる。具体的には、第１の実施の形態（図６）では、どの画素行から読み出される信号も、図９(a)と同様の信号である。このため、画素２０Ｇからの信号が得られない列が存在する。しかしながら、第２の実施の形態では、Ｎ行目から読み出された信号（図９(a)）とＮ＋１行目から読み出された信号（図９(b)）、Ｎ＋１行目から読み出された信号（図９(b)）とＮ＋２行目から読み出された信号（図９(c)）、および、Ｎ＋２行目から読み出された信号（図９(c)）とＮ＋３行目から読み出された信号（図９(d)）は、それぞれサンプリングポイントが一列ずれるので、どの画素列においても、画素２０Ｇからの信号が得られることとなる。
【0065】
【0066】
（第３の実施の形態） 第３の実施の形態も、第１の実施の形態と比べて、タイプＰおよびタイプＳの画素配置が異なる。
また、第３の実施の形態におけるカメラ１は、第１の実施の形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
また、第３の実施の形態におけるカメラ１は、第１の実施の形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
【0067】
図１０は、第３の実施の形態における撮像素子３の画素配置を例示する図である。図１０において、ベイヤー配列の繰り返し単位である２×２画素に着目すると、繰り返し単位の４画素の上側２つにタイプＰの画素２０Ｒ（Ｐ）、２０Ｇ（Ｐ）を配置し、下側２つにタイプＳの画素２０Ｇ（Ｓ）、２０Ｂ（Ｓ）を配置したグループと、繰り返し単位の４画素の上側２つにタイプＳの画素２０Ｒ（Ｓ）、２０Ｇ（Ｓ）を配置し、下側２つにタイプＰの画素２０Ｇ（Ｐ）、２０Ｂ（Ｐ）を配置したグループとに分けられる。このうち、前者のグループを太い実線で囲んで示し、後者のグループを太い破線で囲んで示す。
なお、図１０ではマイクロレンズＭＬの図示を省略した。
なお、図１０ではマイクロレンズＭＬの図示を省略した。
【0068】
図１０によれば、太い実線で囲んだグループと、太い破線で囲んだグループとが、行方向（水平方向）において交互に並ぶ。また、太い実線で囲んだグループと、太い破線で囲んだグループとは、それぞれが列方向（垂直方向）において連続して並ぶ。
【0069】
図１１は、図１０においてＭ列に並ぶ（垂直方向に並ぶ）画素２０であって、例えばＮ行目の画素２０Ｇ（Ｓ）と、Ｎ＋１行目の画素２０Ｒ（Ｐ）と、Ｎ＋２行目の画素２０Ｇ（Ｓ）と、Ｎ＋３行目の画素２０Ｒ（Ｐ）とを説明する回路図である。各画素２０が図示しないマイクロレンズおよびカラーフィルタの内側に光電変換部として第１および第２のフォトダイオードＰＤ－１およびＰＤ－２を有する点は、第１の実施の形態と同様であるが、図１０の垂直方向に並ぶ画素２０のタイプが、いずれの列においても１画素ごとに異なる（タイプＰとタイプＳとを繰り返す）点は、第１の実施の形態と異なる。
【0070】
図１０の各画素２０において、第１および第２のフォトダイオードＰＤ－１およびＰＤ－２のうちの一方をハッチングして示す。ハッチングされたフォトダイオードは、第１の制御信号φＴｘ１が供給されると、フォトダイオードで生成された電荷がＦＤ領域へ転送されるフォトダイオードを示す。ハッチングされないフォトダイオードは、第２の制御信号φＴｘ２が供給されると、フォトダイオードで生成された電荷がＦＤ領域へ転送されるフォトダイオードを示す。例えば、タイプＰの画素２０Ｇ（Ｐ）では、第１の制御信号φＴｘ１が第１の転送トランジスタＴｘ－１に供給された場合に、第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に転送される。ＦＤ領域に転送された第１電荷に基づいて第１信号が読み出されることを示す。タイプＰの画素２０Ｇ（Ｐ）では、第２の制御信号φＴｘ２が第２の転送トランジスタＴｘ－２に供給されると、第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に転送される。ＦＤ領域に転送された第２電荷に基づいて第２信号が生成されることを示す。タイプＰの画素２０Ｂ（Ｐ）および２０Ｒ（Ｐ）においても同様である。
【0071】
一方、タイプＳの画素２０Ｇ（Ｓ）では、第１の制御信号φＴｘ１が第２の転送トランジスタＴｘ－２に供給された場合に、画素２０Ｇ（Ｓ）の第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に転送される。ＦＤ領域に転送された第２電荷に基づいて第２信号が読み出されることを示す。タイプＳの画素２０Ｇ（Ｓ）では、第２の制御信号φＴｘ２が第１の転送トランジスタＴｘ－１に供給されると、第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に転送される。ＦＤ領域に転送された第１電荷に基づいて第１信号が生成されることを示す。タイプＳの画素２０Ｂ（Ｓ）および２０Ｒ（Ｓ）においても同様である。
【0072】
上述したように、画素２０の第１および第２のフォトダイオードＰＤ－１およびＰＤ－２には、それぞれ撮影レンズ２の瞳の異なる領域を通過した光が入射される。また、上述したように、画素２０を太い実線で囲んだグループと、太い破線で囲んだグループとに分けて、各グループを行方向（水平方向）において交互に配置し、かつ、列方向（垂直方向）においてそれぞれのグループを連続して配置した。このため、同一の画素行で水平方向に並ぶ同一色の画素２０に着目すると、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と第２信号とが同時に読み出される。
第３の実施の形態ではさらに、同一の画素列で垂直方向に並ぶ同一色の画素２０に着目すると、撮影レンズ２の瞳の同じ領域を通過した光に基づく第１信号、または、第２信号が読み出される。
第３の実施の形態ではさらに、同一の画素列で垂直方向に並ぶ同一色の画素２０に着目すると、撮影レンズ２の瞳の同じ領域を通過した光に基づく第１信号、または、第２信号が読み出される。
【0073】
図１２(a)および図１２(b)は、第３の実施の形態における、ａ系列の信号とｂ系列の信号とを例示する図である。図１２(a)は、図１０のＮ行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とを示す図である。図１２(a)において、ｎ個のａ系列の信号をハッチング処理した丸で表す。また、ｎ個のｂ系列の信号を白丸で表す。画素２０Ｇからのａ系列の信号およびｂ系列の信号は、それぞれ図１０の３列おきに読み出され、ａ系列の信号の位置とｂ系列の信号の位置とは、図１０の２列分のずれを有する。図１２(a)の縦の破線は、画素列に対応する。
【0074】
図１２(b)は、図１０のＮ＋１行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とを示す図である。図１２(a)および図１２(b)によれば、サンプリングポイントの偏りを少なくすることができる。具体的には、第１の実施の形態（図６）では、どの画素行から読み出される信号も、図９(a)と同様の信号である。このため、画素２０Ｇからの信号が得られない列が存在する。しかしながら、第３の実施の形態では、Ｎ行目から読み出された信号（図１２(a)）とＮ＋１行目から読み出された信号（図１２(b)）は、サンプリングポイントが一列ずれるので、どの画素列においても、画素２０Ｇからの信号が得られることとなる。
【0075】
【0076】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１） 第３の実施の形態の変形例１では、第３の実施の形態のタイプＰおよびタイプＳの画素配置に対し、一部を異ならせた例を説明する。図１３は、第３の実施の形態の変形例１における、タイプＰおよびタイプＳの画素配置を例示する図である。図１３において、ベイヤー配列の繰り返し単位である２×２画素に着目すると、繰り返し単位の４画素の上側２つにタイプＰの画素２０Ｒ（Ｐ）、２０Ｇ（Ｐ）を配置し、下側２つにタイプＳの画素２０Ｇ（Ｓ）、タイプＰの画素２０Ｂ（Ｐ）を配置したグループと、繰り返し単位の４画素の上側２つにタイプＳの画素２０Ｒ（Ｓ）、２０Ｇ（Ｓ）を配置し、下側２つにタイプＰの画素２０Ｇ（Ｐ）、タイプＳの画素２０Ｂ（Ｓ）を配置したグループとに分けられる。このうち、前者のグループを太い実線で囲んで示し、後者のグループを太い破線で囲んで示す。
なお、図１３ではマイクロレンズＭＬの図示を省略した。
（変形例１） 第３の実施の形態の変形例１では、第３の実施の形態のタイプＰおよびタイプＳの画素配置に対し、一部を異ならせた例を説明する。図１３は、第３の実施の形態の変形例１における、タイプＰおよびタイプＳの画素配置を例示する図である。図１３において、ベイヤー配列の繰り返し単位である２×２画素に着目すると、繰り返し単位の４画素の上側２つにタイプＰの画素２０Ｒ（Ｐ）、２０Ｇ（Ｐ）を配置し、下側２つにタイプＳの画素２０Ｇ（Ｓ）、タイプＰの画素２０Ｂ（Ｐ）を配置したグループと、繰り返し単位の４画素の上側２つにタイプＳの画素２０Ｒ（Ｓ）、２０Ｇ（Ｓ）を配置し、下側２つにタイプＰの画素２０Ｇ（Ｐ）、タイプＳの画素２０Ｂ（Ｓ）を配置したグループとに分けられる。このうち、前者のグループを太い実線で囲んで示し、後者のグループを太い破線で囲んで示す。
なお、図１３ではマイクロレンズＭＬの図示を省略した。
【0077】
図１３によれば、太い実線で囲んだグループと、太い破線で囲んだグループとが、行方向（水平方向）において交互に並ぶ。また、太い実線で囲んだグループと、太い破線で囲んだグループとは、それぞれが列方向（垂直方向）において連続して並ぶ。
同じ列に垂直方向に並ぶ画素２０を説明する回路図の図示は省略するが、各画素２０が図示しないマイクロレンズおよびカラーフィルタの内側に光電変換部として第１および第２のフォトダイオードＰＤ－１およびＰＤ－２を有する点は、第３の実施の形態と同様である。
また、図１３の垂直方向に並ぶ画素２０のタイプが１画素ごとに異なる（タイプＰとタイプＳとを繰り返す）列と、垂直方向にタイプＰまたはタイプＳの画素２０が並ぶ列とが交互に現れる点は、第３の実施の形態と異なる。
同じ列に垂直方向に並ぶ画素２０を説明する回路図の図示は省略するが、各画素２０が図示しないマイクロレンズおよびカラーフィルタの内側に光電変換部として第１および第２のフォトダイオードＰＤ－１およびＰＤ－２を有する点は、第３の実施の形態と同様である。
また、図１３の垂直方向に並ぶ画素２０のタイプが１画素ごとに異なる（タイプＰとタイプＳとを繰り返す）列と、垂直方向にタイプＰまたはタイプＳの画素２０が並ぶ列とが交互に現れる点は、第３の実施の形態と異なる。
【0078】
図１３の各画素２０において、第１および第２のフォトダイオードＰＤ－１およびＰＤ－２のうちの一方をハッチングして示す。ハッチングされたフォトダイオードは、第１の制御信号φＴｘ１が供給されると、フォトダイオードで生成された電荷がＦＤ領域へ転送されるフォトダイオードを示す。ハッチングされないフォトダイオードは、第２の制御信号φＴｘ２が供給されると、フォトダイオードで生成された電荷がＦＤ領域へ転送されるフォトダイオードを示す。例えば、タイプＰの画素２０Ｇ（Ｐ）では、第１の制御信号φＴｘ１が第１の転送トランジスタＴｘ－１に供給された場合に、第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に転送される。ＦＤ領域に転送された第１電荷に基づいて第１信号が読み出されることを示す。タイプＰの画素２０Ｇ（Ｐ）では、第２の制御信号φＴｘ２が第２の転送トランジスタＴｘ－２に供給されると、第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に転送される。ＦＤ領域に転送された第２電荷に基づいて第２信号が生成されることを示す。タイプＰの画素２０Ｂ（Ｐ）および２０Ｒ（Ｐ）においても同様である。
【0079】
一方、タイプＳの画素２０Ｇ（Ｓ）では、制御信号φＴｘ１が第２の転送トランジスタＴｘ－２に供給された場合に、画素２０Ｇ（Ｓ）の第２のフォトダイオードＰＤ－２で生成された第２電荷がＦＤ領域に転送される。転送された第２電荷に基づいて第２信号が読み出されることを示す。タイプＳの画素２０Ｇ（Ｓ）では、第２の制御信号φＴｘ２が第１の転送トランジスタＴｘ－１に供給されると、第１のフォトダイオードＰＤ－１で生成された第１電荷がＦＤ領域に転送される。ＦＤ領域に転送された第１電荷に基づいて第１信号が生成されることを示す。タイプＳの画素２０Ｂ（Ｓ）および２０Ｒ（Ｓ）においても同様である。
【0080】
上述したように、画素２０の第１および第２のフォトダイオードＰＤ－１およびＰＤ－２には、それぞれ撮影レンズ２の瞳の異なる領域を通過した光が入射される。また、上述したように、画素２０を太い実線で囲んだグループと、太い破線で囲んだグループとに分けて、各グループを行方向（水平方向）において交互に配置し、かつ、列方向（垂直方向）においてそれぞれのグループを連続して配置した。このため、同一の画素行で水平方向に並ぶ同一色の画素２０に着目すると、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と第２信号とが同時に読み出される。
第３の実施の形態ではさらに、同一の画素列で垂直方向に並ぶ同一色の画素２０に着目すると、撮影レンズ２の瞳の同じ領域を通過した光に基づく第１信号、または、第２信号が読み出される。
第３の実施の形態ではさらに、同一の画素列で垂直方向に並ぶ同一色の画素２０に着目すると、撮影レンズ２の瞳の同じ領域を通過した光に基づく第１信号、または、第２信号が読み出される。
【0081】
第３の実施の形態の変形例１において、Ｎ行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とは、図１２(a)と同様である。また、第３の実施の形態の変形例１において、Ｎ＋１行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とは、図１２(b)と同様である。
【0082】
これにより、第３の実施の形態の変形例１においても、Ｎ行目から読み出された信号（図１２(a)）とＮ＋１行目から読み出された信号（図１２(b)）は、サンプリングポイントが一列ずれるので、どの画素列においても、画素２０Ｇからの信号が得られる。これにより、サンプリングポイントの偏りを少なくすることができる。
【0083】
上記の第１の実施の形態、第２の実施の形態、第３の実施の形態、およびその変形例１では、ベイヤー配列の繰り返し単位である２×２画素に対するタイプＰおよびタイプＳの画素の配置を種々説明した。これらは一例に過ぎず、同一の画素行において水平方向に並ぶ同一色の画素２０に着目した場合に、どの画素行においても、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と、第２信号とを同時に読み出すことができれば、タイプＰおよびタイプＳの画素の配置の一部を適宜変更しても構わない。
【0084】
（変形例２） 上述したベイヤー配列の繰り返し単位である２×２画素に対するタイプＰおよびタイプＳの画素の配置を、撮像領域３１（図２）の一部に設けてもよい。第３の実施の形態の変形例２では、例えば、タイプＰの画素を撮像領域３１の全域に配置し、そのうちフォーカスエリアに対応する領域について、第１の実施の形態、第２の実施の形態、第３の実施の形態、またはその変形例１で説明した画素配置と置換する。図１８は、フォーカスエリアに対応するＮ行目～Ｎ＋３行目、Ｍ＋２列目より右側の列において、図１３における画素配置と置換した画素配置を説明する図である。
【0085】
第３の実施の形態の変形例２によれば、上述したベイヤー配列の繰り返し単位である２×２画素に対するタイプＰおよびタイプＳの画素を限定的に配置することができる。
なお、タイプＳの画素を撮像領域３１の全域に配置し、そのうちフォーカスエリアに対応する領域について、第１の実施の形態、第２の実施の形態、第３の実施の形態、またはその変形例１で説明した画素配置と置換してもよい。
なお、タイプＳの画素を撮像領域３１の全域に配置し、そのうちフォーカスエリアに対応する領域について、第１の実施の形態、第２の実施の形態、第３の実施の形態、またはその変形例１で説明した画素配置と置換してもよい。
【0086】
図１８のＮ行目Ｍ＋２列の画素２０Ｇ（Ｐ）と、Ｎ行目Ｍ＋３列の画素２０Ｂ（Ｓ）と、Ｎ行目Ｍ列の画素２０Ｇ（Ｐ）と、Ｎ行目Ｍ＋１列の画素２０Ｂ（Ｐ）とに着目すると、第３の実施の形態の変形例２の撮像素子３は、次の態様の撮像素子を含む。
（１）撮像素子３は、マイクロレンズＭＬと、第１のフォトダイオードＰＤ－１と、第２のフォトダイオードＰＤ－２と、ＦＤ領域と、第１の転送トランジスタＴｘ－１と、第２の転送トランジスタＴｘ－２と、をそれぞれ有する画素２０Ｇ（Ｐ）と、画素２０Ｂ（Ｓ）と、画素２０Ｇ（Ｐ）と、画素２０Ｂ（Ｐ）とを有する。垂直走査回路２１は、画素２０Ｇ（Ｐ）の第１電荷と画素２０Ｂ（Ｐ）の第１電荷とをＦＤ領域に転送させる第１の制御信号φＴｘ１を、画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｂ（Ｐ）の第１の転送トランジスタＴｘ－１とに出力し、画素２０Ｇ（Ｐ）の第２電荷と画素２０Ｂ（Ｐ）の第２電荷とをＦＤ領域に転送させる第２の制御信号φＴｘ２を、画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｐ）の第２の転送トランジスタＴｘ－２とに出力する。
（１）撮像素子３は、マイクロレンズＭＬと、第１のフォトダイオードＰＤ－１と、第２のフォトダイオードＰＤ－２と、ＦＤ領域と、第１の転送トランジスタＴｘ－１と、第２の転送トランジスタＴｘ－２と、をそれぞれ有する画素２０Ｇ（Ｐ）と、画素２０Ｂ（Ｓ）と、画素２０Ｇ（Ｐ）と、画素２０Ｂ（Ｐ）とを有する。垂直走査回路２１は、画素２０Ｇ（Ｐ）の第１電荷と画素２０Ｂ（Ｐ）の第１電荷とをＦＤ領域に転送させる第１の制御信号φＴｘ１を、画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｂ（Ｐ）の第１の転送トランジスタＴｘ－１とに出力し、画素２０Ｇ（Ｐ）の第２電荷と画素２０Ｂ（Ｐ）の第２電荷とをＦＤ領域に転送させる第２の制御信号φＴｘ２を、画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｐ）の第２の転送トランジスタＴｘ－２とに出力する。
【0087】
（２）上記（１）の撮像素子３において、垂直走査回路２１は、画素２０Ｇ（Ｐ）の第１電荷と画素２０Ｂ（Ｓ）の第２電荷と画素２０Ｇ（Ｐ）の第１電荷と画素２０Ｂ（Ｐ）の第１電荷とをＦＤ領域に転送させる第１の制御信号φＴｘ１を、画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｂ（Ｓ）の第２の転送トランジスタＴｘ－２と画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｂ（Ｐ）の第１の転送トランジスタＴｘ－１とに出力する。
【0088】
（３）上記（２）の撮像素子３において、垂直走査回路２１は、画素２０Ｇ（Ｐ）の第１電荷をＦＤ領域に転送させるとともに、画素２０Ｂ（Ｓ）の第２電荷をＦＤ領域に転送させるとともに、画素２０Ｇ（Ｐ）の第１電荷をＦＤ領域に転送させるとともに、画素２０Ｂ（Ｐ）の第１電荷をＦＤ領域に転送させる第１の制御信号φＴｘ１を出力する。
【0089】
（４）上記（２）または（３）の撮像素子３において、垂直走査回路２１は、垂直走査回路２１と画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｂ（Ｓ）の第２の転送トランジスタＴｘ－２と画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｂ（Ｐ）の第１の転送トランジスタＴｘ－１とを接続する制御信号線２３を介して、第１の制御信号φＴｘ１を出力する。
【0090】
（５）上記（２）から（４）の撮像素子３において、垂直走査回路２１は、画素２０Ｇ（Ｐ）の第２電荷と画素２０Ｂ（Ｓ）の第１電荷と画素２０Ｇ（Ｐ）の第２電荷と画素２０Ｂ（Ｐ）の第２電荷をＦＤ領域に転送させる第２の制御信号φＴｘ２を、画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｓ）の第１の転送トランジスタＴｘ－１と画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｐ）の第２の転送トランジスタＴｘ－２とに出力する。
【0091】
（６）上記（５）の撮像素子３において、垂直走査回路２１は、２０Ｇ（Ｐ）の第２電荷をＦＤ領域に転送させるとともに、画素２０Ｂ（Ｓ）の第１電荷をＦＤ領域に転送させるとともに、画素２０Ｇ（Ｐ）の第２電荷をＦＤ領域に転送させるとともに、画素２０Ｂ（Ｐ）の第２電荷をＦＤ領域に転送させる第２の制御信号φＴｘ２を、２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｓ）の第１の転送トランジスタＴｘ－１と画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｐ）の第２の転送トランジスタＴｘ－２とに出力する。
【0092】
（７）上記（５）または（６）の撮像素子３において、垂直走査回路２１は、垂直走査回路２１と画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｓ）の第１の転送トランジスタＴｘ－１と画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｐ）の第２の転送トランジスタＴｘ－２とを接続する制御信号線２３を介して、画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｓ）の第１の転送トランジスタＴｘ－１と画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｐ）の第２の転送トランジスタＴｘ－２とに第２の制御信号φＴｘ２を出力する。
【0093】
（８）上記撮像素子３において、画素２０Ｇ（Ｐ）と画素２０Ｂ（Ｓ）と画素２０Ｇ（Ｐ）と画素２０Ｂ（Ｐ）とは、行方向（水平方向）に配置され、第１のフォトダイオードＰＤ－１と第２のフォトダイオードＰＤ－２とは、行方向（水平方向）に並んで配置される。
【0094】
また、図１８のＮ行目Ｍ＋２列の画素２０Ｇ（Ｐ）と、Ｎ行目Ｍ＋３列の画素２０Ｂ（Ｓ）と、Ｎ－１行目Ｍ＋２列の画素２０Ｒ（Ｐ）と、Ｎ－１行目Ｍ＋３列の画素２０Ｇ（Ｐ）とに着目すると、第３の実施の形態の変形例２の撮像素子３は、次の態様の撮像素子を含む。（９）撮像素子３は、マイクロレンズＭＬと、第１のフォトダイオードＰＤ－１と、第２のフォトダイオードＰＤ－２と、ＦＤ領域と、第１の転送トランジスタＴｘ－１と、第２の転送トランジスタＴｘ－２と、をそれぞれ有する画素２０Ｇ（Ｐ）と、画素２０Ｂ（Ｓ）と、画素２０Ｒ（Ｐ）と、画素２０Ｇ（Ｐ）とを有する。垂直走査回路２１は、画素２０Ｇ（Ｐ）の第１電荷と画素２０Ｂ（Ｓ）の第２電荷とをＦＤ領域に転送させる、Ｎ行目用の第１の制御信号φＴｘ１を、画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｂ（Ｓ）の第２の転送トランジスタＴｘ－２に出力し、画素２０Ｒ（Ｐ）の第１電荷と画素２０Ｇ（Ｐ）の第１電荷とをＦＤ領域に転送させる、Ｎ－１行目用の第１の制御信号φＴｘ１を、画素２０Ｒ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１に出力する。
【0095】
（１０）上記（９）の撮像素子３において、垂直走査回路２１は、画素２０Ｇ（Ｐ）の第１電荷をＦＤ領域に転送させるとともに、画素２０Ｂ（Ｓ）の第２電荷をＦＤ領域に転送させる、Ｎ行目用の第１の制御信号φＴｘ１と、画素２０Ｒ（Ｐ）の第１電荷をＦＤ領域に転送させるとともに、画素２０Ｇ（Ｐ）の第１電荷をＦＤ領域に転送させる、Ｎ－１行目用の第１の制御信号φＴｘ１とを出力する。
【0096】
（１１）上記（９）または（１０）の撮像素子３において、垂直走査回路２１は、垂直走査回路２１と画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｂ（Ｓ）の第２の転送トランジスタＴｘ－２とを接続するＮ行目の制御信号線２３を介して、Ｎ行目用の第１の制御信号φＴｘ１を出力し、垂直走査回路２１と画素２０Ｒ（Ｐ）の第１の転送トランジスタＴｘ－１と画素２０Ｇ（Ｐ）の第１の転送トランジスタＴｘ－１とを接続するＮ－１行目の制御信号線２３を介して、Ｎ－１行目用の第１の制御信号φＴｘ１を出力する。
【0097】
（１２）上記（９）から（１１）の撮像素子３において、垂直走査回路２１は、画素２０Ｇ（Ｐ）の第２電荷と画素２０Ｂ（Ｓ）の第１電荷とをＦＤ領域に転送させる、Ｎ行目用の第２の制御信号φＴｘ２を、画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｓ）の第１の転送トランジスタＴｘ－１に出力し、画素２０Ｒ（Ｐ）の第２電荷と画素２０Ｇ（Ｐ）の第２電荷とをＦＤ領域に転送させる、Ｎ－１行目用の第２の制御信号φＴｘ２を、画素２０Ｒ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２に出力する。
【0098】
（１３）上記（１２）の撮像素子３において、垂直走査回路２１は、画素２０Ｇ（Ｐ）の第２電荷をＦＤ領域に転送させるとともに、画素２０Ｂ（Ｓ）の第１電荷をＦＤ領域に転送させる、Ｎ行目用の第２の制御信号φＴｘ２を出力し、画素２０Ｒ（Ｐ）の第２電荷をＦＤ領域に転送させるとともに、画素２０Ｇ（Ｐ）の第２電荷をＦＤ領域に転送させる、Ｎ－１行目用の第２の制御信号φＴｘ２を出力する。
【0099】
（１４）上記（１２）または（１３）の撮像素子３において、垂直走査回路２１は、垂直走査回路２１と画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｂ（Ｓ）の第１の転送トランジスタＴｘ－１とを接続する、Ｎ行目の制御信号線２３を介して第２の制御信号φＴｘ２を出力し、画素２０Ｒ（Ｐ）の第２の転送トランジスタＴｘ－２と画素２０Ｇ（Ｐ）の第２の転送トランジスタＴｘ－２とを接続する、Ｎ－１行目の制御信号線２３を介して第２の制御信号φＴｘ２を出力する。
【0100】
（１５）上記撮像素子３において、画素２０Ｇ（Ｐ）と画素２０Ｂ（Ｓ）とが、行方向（水平方向）に配置されるＮ行目の画素行と、画素２０Ｒ（Ｐ）と画素２０Ｇ（Ｐ）とが行方向（水平方向）に配置されるＮ－１行目の画素行とを有し、第１のフォトダイオードＰＤ－１と第２のフォトダイオードＰＤ－２とは、行方向（水平方向）に並んで配置される。
【0101】
（変形例３） 第３の実施の形態の変形例３では、第３の実施の形態、および、第３の実施の形態の変形例１に対し、列方向（垂直方向）に並ぶ同色の画素２０間の信号加算を説明する。
画素２０間の信号加算は、例えば、被写体の輝度が低い場合において信号レベルを高める場合に好適である。撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と、第２信号とを読み出す場合に適用すると、像ズレ検出演算処理に用いる場合における信号のＳ／Ｎ比が高まるので、算出するデフォーカス量の精度を高めることができる。
画素２０間の信号加算は、例えば、被写体の輝度が低い場合において信号レベルを高める場合に好適である。撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と、第２信号とを読み出す場合に適用すると、像ズレ検出演算処理に用いる場合における信号のＳ／Ｎ比が高まるので、算出するデフォーカス量の精度を高めることができる。
【0102】
列方向（垂直方向）に並ぶ同色の画素２０間で信号加算を行う場合、例えば、（１）垂直信号線加算と、（２）ＦＤ加算とが好適である。（１）垂直信号線加算と、（２）ＦＤ加算とは、いずれを採用してもよい。
【0103】
（１）垂直信号線加算 垂直信号線加算は、垂直信号線２５（図２）において行う信号加算である。例えば、図１１において同色、かつ、同じタイプ（例えばタイプＳ）の画素２０ＧのＮ行とＮ＋２行とを選択トランジスタＳＥＬによって選択することにより、同色の画素２０間で信号を加算する。
ここで、同色の画素２０の間で信号を加算するのは、他色の光に基づく信号が混合することを避けるためである。さらに、同じタイプ（例えばタイプＳ）の画素２０の間で信号を加算するのは、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と第２信号とが混合することを避けるためである。
ここで、同色の画素２０の間で信号を加算するのは、他色の光に基づく信号が混合することを避けるためである。さらに、同じタイプ（例えばタイプＳ）の画素２０の間で信号を加算するのは、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と第２信号とが混合することを避けるためである。
【0104】
（２）ＦＤ加算 ＦＤ加算は、例えば、図１１において同色、かつ、同じタイプ（例えばタイプＳ）のＮ行の画素２０ＧとＮ＋２行の画素２０ＧとのＦＤ領域間に、連結用のトランジスタ（不図示）を設け、ＦＤ領域が連結された複数の画素２０Ｇにおいて生成された電荷を加算することをいう。そして、加算した電荷に基づく信号を、選択トランジスタＳＥＬによって選択した行（Ｎ行またはＮ＋２行）の信号として読み出す。
【0105】
垂直走査回路２１は、連結用のトランジスタを、信号加算をしない場合にオフさせ、信号加算をする場合にオンさせることにより、信号加算をする／しないを切り替える。
ここで、同色の画素２０の間で電荷を加算するのは、他色の光に基づく電荷が混合することを避けるためである。さらに、同じタイプ（例えばタイプＳ）の画素２０の間で電荷を加算するのは、撮影レンズ２の瞳の異なる領域を通過した光に基づく電荷が混合することを避けるためである。
ここで、同色の画素２０の間で電荷を加算するのは、他色の光に基づく電荷が混合することを避けるためである。さらに、同じタイプ（例えばタイプＳ）の画素２０の間で電荷を加算するのは、撮影レンズ２の瞳の異なる領域を通過した光に基づく電荷が混合することを避けるためである。
【0106】
（第４の実施の形態） 第４の実施の形態では、像ズレ検出演算処理の精度を高める処理について説明する。第４の実施の形態におけるカメラ１は、第１の実施の形態から第３の実施の形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
【0107】
上述した第１の実施の形態から第３の実施の形態は、より早く像ズレ検出演算処理に進むことを優先したので、撮像制御部４は、画素行に対する１回の読み出し（第１の読み出しのみ、または、第２の読み出しのみ）によってａ系列の信号およびｂ系列の信号を得る。この場合における画素２０Ｇからのａ系列の信号およびｂ系列の信号の間隔は、図５、図９、図１２に例示したように、それぞれ３列おきであるため、像ズレ検出演算処理は３列おきのａ系列の信号とｂ系列の信号とに基づいて行われる。
【0108】
これに対し、第４の実施の形態では、像ズレ検出演算処理の精度を高めることを優先する。このために撮像制御部４は、画素行に対する２回の読み出し（第１の読み出しと第２の読み出し）によってａ系列の信号およびｂ系列の信号を得る。
【0109】
図１４(a)から図１４(c)は、第４の実施の形態における、ａ系列の信号とｂ系列の信号とを例示する図である。図１４(a)は、第１の読み出しにおいて第１の制御信号φＴｘ１の供給によって、図３および図５のＮ行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とを示す図である。図１４(a)において、ｎ個のａ系列の信号をハッチング処理した丸で表す。また、ｎ個のｂ系列の信号を白丸で表す。画素２０Ｇからのａ系列の信号およびｂ系列の信号は、それぞれ図１４(a)の３列おきに読み出され、ａ系列の信号の位置とｂ系列の信号の位置とは、図５の２列分のずれを有する。図１４(a)の縦の破線は、画素列に対応する。第１の読み出しによるａ系列の信号およびｂ系列の信号は、メモリ７に記憶される。
【0110】
第１の読み出し後にＦＤ領域の電位をリセットした後に、第２の読み出しにおいて第２の制御信号φＴｘ２が供給される。
図１４(b)は、第２の読み出しによって第１の読み出しと同じ画素、すなわち、図３および図５のＮ行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とを示す図である。図１４(a)および図１４(b)によれば、各画素２０Ｇから、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と第２信号とが読み出される。第２の読み出しによるａ系列の信号およびｂ系列の信号も、メモリ７に記憶される。
図１４(b)は、第２の読み出しによって第１の読み出しと同じ画素、すなわち、図３および図５のＮ行目の画素２０Ｇから読み出されたａ系列の信号と、画素２０Ｇから読み出されたｂ系列の信号とを示す図である。図１４(a)および図１４(b)によれば、各画素２０Ｇから、撮影レンズ２の瞳の異なる領域を通過した光に基づく第１信号と第２信号とが読み出される。第２の読み出しによるａ系列の信号およびｂ系列の信号も、メモリ７に記憶される。
【0111】
マイクロプロセッサ９は、メモリ７に記憶された第１読み出しのａ系列の信号と第２読み出しのａ系列の信号とを重ね合わせて、図３のＮ行に配列された画素２０Ｇの第１のフォトダイオードＰＤ－１からの第１信号が画素２０Ｇの配列順に並ぶａ系列の信号を生成する。同様に、マイクロプロセッサ９は、メモリ７に記憶された第１読み出しのｂ系列の信号と第２読み出しのｂ系列の信号とを重ね合わせて、図３のＮ行に配列された画素２０Ｇの第２のフォトダイオードＰＤ－２からの第２信号が画素２０Ｇの配列順に並ぶｂ系列の信号を生成する。
図１４(c)は、図１４(a)のａ系列の信号およびｂ系列の信号と、図１４(a)のａ系列の信号およびｂ系列の信号とを、画素列を揃えて重ね合わせた図である。ｎ個の第１信号Ａ１，Ａ２，…，Ａｎを２つ合わせた計２ｎ個の信号を、改めて第１信号ａ１，ａ２，…，ａ２ｎと称する。また、ｎ個の第２信号Ｂ１，Ｂ２，…，Ｂｎを２つ合わせた計２ｎ個の信号を、改めて第２信号ｂ１，ｂ２，…，ｂ２ｎと称する。
図１４(c)によれば、重ね合わせ後の第１信号および第２信号は、それぞれ１列おきの信号として構成される。
図１４(c)は、図１４(a)のａ系列の信号およびｂ系列の信号と、図１４(a)のａ系列の信号およびｂ系列の信号とを、画素列を揃えて重ね合わせた図である。ｎ個の第１信号Ａ１，Ａ２，…，Ａｎを２つ合わせた計２ｎ個の信号を、改めて第１信号ａ１，ａ２，…，ａ２ｎと称する。また、ｎ個の第２信号Ｂ１，Ｂ２，…，Ｂｎを２つ合わせた計２ｎ個の信号を、改めて第２信号ｂ１，ｂ２，…，ｂ２ｎと称する。
図１４(c)によれば、重ね合わせ後の第１信号および第２信号は、それぞれ１列おきの信号として構成される。
【0112】
焦点演算部１０は、上記重ね合わせ後の第１信号および第２信号に基づき、像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって複数の像の像ズレ量を算出し、像ズレ量に所定の変換係数を乗算することによってデフォーカス量を算出する。
【0113】
第４の実施の形態は、より早く像ズレ検出演算処理に進む場合と比べて、像ズレ検出演算処理に用いる第１信号および第２信号の密度、すなわち解像度を高めたので、特に空間における高周波成分を多く含む被写体に対する像ズレ検出演算処理の精度が高まる。これにより、焦点調節を精度よく行うことができる。
【0114】
以上説明した第４の実施の形態によれば、次の作用効果が得られる。すなわち、撮像装置の一例であるカメラ１は、撮像素子３と、フォーカシングレンズを有する撮影レンズ２による像を撮像する撮像素子３から出力される、画素２０Ｇ（Ｐ）の第１電荷に基づく第１信号と画素２０Ｇ（Ｓ）の第２電荷に基づく第２信号、および画素２０Ｇ（Ｐ）の第２電荷に基づく第２信号と画素２０Ｇ（Ｓ）の第１電荷に基づく第１信号の少なくとも一方に基づいて、撮影レンズ２による像が撮像素子３に合焦するようにフォーカシングレンズの位置を制御する焦点演算部１０、マイクロプロセッサ９およびレンズ制御部２ａとを備える。これにより、焦点調節を精度よく行うことができる。
【0115】
（第５の実施の形態） 第５の実施の形態では、図１４(a)または図１４(b)の第１信号および第２信号に基づき焦点調節を行う第１モードと、図１４(c)の第１信号および第２信号に基づき焦点調節を行う第２モードとを予め定めた条件にしたがって切り換える。すなわち、第１モードは、第１読み出し（または第２読み出し）によって読み出した第１および第２信号に基づき焦点調節演算を行う。第２モードは、第１および第２読み出しによってそれぞれ読み出した第１信号を重ね合わせた重ね合わせ第１信号と、第１および第２読み出しによってそれぞれ読み出した第２信号を重ね合わせた重ね合わせ第２信号とに基づき焦点調節演算を行う。第１モードは、第１の読み出し（または第２の読み出し）による第１信号および第２信号に基づき焦点調節演算を行うので、信号読み出し時間が第２モードよりも短い。かつ、第１モードは、焦点調節演算に使用する第１および第２信号の数が第２モードより少ないので、焦点調節演算を第２モードより高速に行うことができる。すなわち第１モードはオートフォーカス速度を優先したモードである。第２モードは、第１の読み出しおよび第２の読み出しによる第１信号および第２信号に基づき焦点調節演算を行うので、焦点調節の精度が第１モードより高くなる。すなわち、第２モードは、焦点調節演算に使用する第１および第２信号の数が第１モードより多いので、焦点調節演算を第１モードより精度良く行うことができる。すなわち第２モードはオートフォーカス精度を優先したモードである。
第５の実施の形態におけるカメラ１は、第１の実施の形態から第４の実施の形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
第５の実施の形態におけるカメラ１は、第１の実施の形態から第４の実施の形態と同様に、レンズ交換式であってもなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
【0116】
第５の実施の形態の動作例１を以下に説明する。（例１） 例１では、デフォーカス量が所定値よりも大きい場合には、第１モードを使用し、デフォーカス量が所定値以下である場合に第２モードを使用する。すなわち、デフォーカス量が所定値よりも大きい場合には被写体像がボケにより低周波成分を多く含む傾向にあるため図１４(a)に示すように信号ピッチ（サンプリングピッチ）の大きい第１信号および第２信号に基づき第１モードの焦点調節を行う。デフォーカス量が所定値以下である場合は被写体像が高周波成分を多く含む傾向にあるため、図１４(c)に示すように信号ピッチ（サンプリングピッチ）の小さい重ね合わせの第１信号および第２信号に基づき第２モードの焦点調節を行う。
このように、マイクロプロセッサ９がデフォーカス量の大きさによって第１モードと第２モードとを切り替える。図１５は、マイクロプロセッサ９が撮像制御部４に焦点調節用の撮像を指示する場合に実行する処理の流れを説明するフローチャートである。マイクロプロセッサ９は、例えば、レリーズ釦が半押し操作されたことを示す操作信号が操作部９ａから入力されると、図１５による処理を起動する。
このように、マイクロプロセッサ９がデフォーカス量の大きさによって第１モードと第２モードとを切り替える。図１５は、マイクロプロセッサ９が撮像制御部４に焦点調節用の撮像を指示する場合に実行する処理の流れを説明するフローチャートである。マイクロプロセッサ９は、例えば、レリーズ釦が半押し操作されたことを示す操作信号が操作部９ａから入力されると、図１５による処理を起動する。
【0117】
ステップＳ１１０において、マイクロプロセッサ９は、撮像制御部４に第１の読み出しを行わせる。第１の読み出しにより、タイプＰの画素２０Ｇから第１信号が読み出され、タイプＳの画素２０Ｇから第２信号が読み出される。
なお、第１の読み出しの代わりに第２の読み出しを行わせてもよい。第２の読み出しでは、タイプＰの画素２０Ｇから第２信号が読み出され、タイプＳの画素２０Ｇから第１信号が読み出される。
なお、第１の読み出しの代わりに第２の読み出しを行わせてもよい。第２の読み出しでは、タイプＰの画素２０Ｇから第２信号が読み出され、タイプＳの画素２０Ｇから第１信号が読み出される。
【0118】
ステップＳ１２０において、マイクロプロセッサ９は、焦点演算部１０に像ズレ検出演算処理を行わせる。これにより、焦点演算部１０が、図１４(a)に例示した、複数の第１信号からなるａ系列の信号と、複数の第２信号からなるｂ系列の信号とに基づいてデフォーカス量を算出する。ステップＳ１１０において第２の読み出しを行った場合は、焦点演算部１０が、図１４(b)に例示したａ系列の信号とｂ系列の信号とに基づいてデフォーカス量を算出する。
【0119】
ステップＳ１３０において、マイクロプロセッサ９は、デフォーカス量が第１許容値以内か否かを判定する。第１許容値は、後述する合焦状態を示す第２許容値より大きな値であり、画素２０上の被写体像に高周波成分が所定量程度含まれていると推定される値である。マイクロプロセッサ９は、デフォーカス量が第１許容値以内であれば、第２モードで焦点調節を行うべくステップＳ１３０を肯定判定してステップＳ１５０へ進む。一方、デフォーカス量が第１許容値を超えている場合は、第１モードで焦点調節を行うべくステップＳ１３０を否定判定してステップＳ１４０へ進む。
【0120】
第１モードで焦点調節を行う場合に進むステップＳ１４０において、マイクロプロセッサ９は、レンズ制御部２ａへレンズ駆動指示を送る。これにより、レンズ制御部２ａが、デフォーカス量を第１許容値以内に納める位置（合焦位置）へフォーカシングレンズを移動させる。マイクロプロセッサ９は、フォーカシングレンズが移動されると、ステップＳ１１０へ戻って上述した処理を繰り返す。
【0121】
マイクロプロセッサ９は、第２モードで焦点調節を行う場合に進むステップＳ１５０において、レンズ制御部２ａへレンズ移動指示を送る。これにより、レンズ制御部２ａが、ステップＳ１２０で算出されたデフォーカス量に基づきフォーカシングレンズを移動させる。
【0122】
ステップＳ１６０において、マイクロプロセッサ９は、撮像制御部４に第１の読み出しを行わせる。第１の読み出しにより、タイプＰの画素２０Ｇから第１信号が読み出され、タイプＳの画素２０Ｇから第２信号が読み出される。
【0123】
ステップＳ１７０において、マイクロプロセッサ９は、撮像制御部４に第２の読み出しを行わせる。第２の読み出しにより、タイプＰの画素２０Ｇから第２信号が読み出され、タイプＳの画素２０Ｇから第１信号が読み出される。この第２の読み出しによる第１信号は、ステップＳ１６０の第１の読み出しによる第１信号と重ね合わせされ、信号ピッチが小さい重ね合わせの第１信号が生成される。同様に第２の読み出しによる第２信号は、ステップＳ１６０の第１の読み出しによる第２信号と重ね合わせされ、信号ピッチが小さい重ね合わせの第２信号が生成される。
【0124】
ステップＳ１８０において、マイクロプロセッサ９は、焦点演算部１０に像ズレ検出演算処理を行わせる。これにより、焦点演算部１０が、図１４(c)に例示した、重ね合わせの複数の第１信号からなるａ系列の信号と、重ね合わせの複数の第２信号からなるｂ系列の信号とに基づいてデフォーカス量を算出する。
【0125】
ステップＳ１９０において、マイクロプロセッサ９は、デフォーカス量が第２許容値以内か否かを判定する。第２許容値は、上述の第１許容値より小さな値であり、被写体にピントがあっていると判定できる場合に対応する。マイクロプロセッサ９は、デフォーカス量が第２許容値以内であれば、図１５による処理を終了する。一方、例えば、被写体が移動するなどしてデフォーカス量が第２許容値を超えている場合は、ステップＳ１５０へ戻って上述した処理を繰り返す。
第５の実施の形態におけるカメラ１は、デフォーカス量が大きいと第１モードを使用し、デフォーカス量が小さいと第２モードを使用する。すなわち、デフォーカス量が大きいときは第１モードで焦点調節を高速で行い、デフォーカス量が小さくなってくると第２モードで焦点調節を精度良く行う。これにより、焦点調節の所要時間を短くするとともに、焦点調節を高精度で行うことができる。
第５の実施の形態におけるカメラ１は、デフォーカス量が大きいと第１モードを使用し、デフォーカス量が小さいと第２モードを使用する。すなわち、デフォーカス量が大きいときは第１モードで焦点調節を高速で行い、デフォーカス量が小さくなってくると第２モードで焦点調節を精度良く行う。これにより、焦点調節の所要時間を短くするとともに、焦点調節を高精度で行うことができる。
【0126】
第５の実施の形態の動作例２を以下に説明する。（例２） 例２では、被写体の移動速度が所定値以上の場合には第１モードを使用し、被写体の移動速度が所定値よりも小さい場合には第２モードを使用する。第１モードは、第１の読み出し（または第２の読み出し）による第１信号および第２信号に基づき焦点調節演算を行うので、信号読み出し時間が第１モードより短い。かつ、第１モードは、焦点調節演算に使用する第１および第２信号の数が第１モードより少ないので、焦点調節を第２モードより高速で行うことができる。第２モードは、第１の読み出しおよび第２の読み出しによる第１信号および第２信号に基づき焦点調節演算を行うので、焦点調節の精度が第１モードより高くなる。すなわち、第２モードは、焦点調節演算に使用する第１および第２信号の数が第１モードより多いので、焦点調節演算を第１モードより精度良く行うことができる。そこで、移動速度が速い被写体を撮影するときは第１モードを使用し、その他の被写体を撮影するときは第２モードを使用する。
図１６は、マイクロプロセッサ９が撮像制御部４に焦点調節用の撮像を指示する場合に実行する処理の流れを説明するフローチャートである。マイクロプロセッサ９は、例えば、レリーズ釦の半押し操作を示す操作信号が操作部９ａから入力されると、図１６による処理を起動する。
図１６は、マイクロプロセッサ９が撮像制御部４に焦点調節用の撮像を指示する場合に実行する処理の流れを説明するフローチャートである。マイクロプロセッサ９は、例えば、レリーズ釦の半押し操作を示す操作信号が操作部９ａから入力されると、図１６による処理を起動する。
【0127】
ステップＳ３１０において、マイクロプロセッサ９は、画面内を移動する被写体の移動速度を演算する。例えば、撮像素子３によって６０ｆｐｓで取得されるモニタ用画像の前後するフレーム画像を比較することによって、画面内を移動する被写体の移動距離を算出する。そして、移動距離をフレーム間隔（６０ｆｐｓの場合は１６．７msec）で除算することによって移動速度を算出する。
【0128】
ステップＳ３２０において、マイクロプロセッサ９は、移動速度が基準値以上か否かを判定する。基準値は、例えば、被写体が概ね静止していると判断できる場合に対応する。マイクロプロセッサ９は、移動速度が基準値以上の場合は、移動する被写体に対して第１モードで焦点調節を早く行うべくステップＳ３２０を肯定判定してステップＳ３３０へ進む。一方、移動速度が基準値に満たない場合は、概ね静止している被写体に対して第２モードで精度よく焦点調節を行うべくステップＳ３２０を否定判定してステップＳ３７０へ進む。
【0129】
第１モードで焦点調節を早く行う場合に進むステップＳ３３０において、マイクロプロセッサ９は、撮像制御部４に第１の読み出しを行わせる。第１の読み出しにより、タイプＰの画素２０Ｇから第１信号が読み出され、タイプＳの画素２０Ｇから第２信号が読み出される。
なお、第１の読み出しの代わりに第２の読み出しを行わせてもよい。第２の読み出しでは、タイプＰの画素２０Ｇから第２信号が読み出され、タイプＳの画素２０Ｇから第１信号が読み出される。
なお、第１の読み出しの代わりに第２の読み出しを行わせてもよい。第２の読み出しでは、タイプＰの画素２０Ｇから第２信号が読み出され、タイプＳの画素２０Ｇから第１信号が読み出される。
【0130】
ステップＳ３４０において、マイクロプロセッサ９は、焦点演算部１０に像ズレ検出演算処理を行わせる。これにより、焦点演算部１０が、図１４(a)に例示した、複数の第１信号からなるａ系列の信号と、複数の第２信号からなるｂ系列の信号とに基づいてデフォーカス量を算出する。ステップＳ３３０において第２の読み出しを行った場合は、焦点演算部１０が、図１４(b)に例示したａ系列の信号とｂ系列の信号とに基づいてデフォーカス量を算出する。このように第１モードでは、焦点調節が迅速に行われるので、高速移動する被写体に素早く合焦させることができる。
【0131】
ステップＳ３５０において、マイクロプロセッサ９は、デフォーカス量が許容値以内か否かを判定する。許容値は、被写体にピントがあっていると判定できる場合に対応する。マイクロプロセッサ９は、デフォーカス量が許容値以内であれば、図１６による処理を終了する。一方、デフォーカス量が許容値を超えている場合は、ステップＳ３６０へ進む。
【0132】
ステップＳ３６０において、マイクロプロセッサ９は、レンズ制御部２ａへレンズ駆動指示を送る。これにより、レンズ制御部２ａが、ステップＳ３４０で算出されたデフォーカス量に基づきフォーカシングレンズを焦点調節移動させる。マイクロプロセッサ９は、フォーカシングレンズが移動されると、ステップＳ３１０へ戻って上述した処理を繰り返す。
【0133】
マイクロプロセッサ９は、ステップＳ３２０で移動速度が基準値未満であった場合にはステップＳ３７０において、撮像制御部４に第１の読み出しを行わせる。第１の読み出しにより、タイプＰの画素２０Ｇから第１信号が読み出され、タイプＳの画素２０Ｇから第２信号が読み出される。
【0134】
ステップＳ３８０において、マイクロプロセッサ９は、撮像制御部４に第２の読み出しを行わせる。第２の読み出しにより、タイプＰの画素２０Ｇから第２信号が読み出され、タイプＳの画素２０Ｇから第１信号が読み出される。この第２の読み出しによる第１信号は、ステップＳ１６０の第１の読み出しによる第１信号と重ね合わせされ、信号ピッチが小さい重ね合わせの第１信号が生成される。同様に第２の読み出しによる第２信号は、ステップＳ１６０の第１の読み出しによる第２信号と重ね合わせされ、信号ピッチが小さい重ね合わせの第２信号が生成される。
【0135】
ステップＳ３９０において、マイクロプロセッサ９は、焦点演算部１０に像ズレ検出演算処理を行わせる。これにより、焦点演算部１０が、図１４(c)に例示した、複数の第１信号からなるａ系列の信号と、複数の第２信号からなるｂ系列の信号とに基づいてデフォーカス量を算出する。マイクロプロセッサ９は、焦点演算部１０によってデフォーカス量が算出されると、上述したステップＳ３５０へ進む。
この第２モードでは、焦点検出信号、すなわち重ね合わせの第１信号および第２信号の信号ピッチが小さく、すなわち解像度が高いので、高精度の焦点調節が可能となる。
この第２モードでは、焦点検出信号、すなわち重ね合わせの第１信号および第２信号の信号ピッチが小さく、すなわち解像度が高いので、高精度の焦点調節が可能となる。
【0136】
（例３） 例３では、マイクロプロセッサ９が単位時間あたりに撮像素子から出力される画像データの量または数によって第１モードと第２モードとを切り替える。例えば、映像ビットレートによって第１モードと第２モードとを切り替える。映像ビットレートは、１秒間に送られる画像のデータ量（ビット数）の単位であり、画像データを構成するビット数が多いほど高くなる。このため、カメラ１に設定される画質が高画質であるほど、また、１秒当たりのフレーム数（ｆｐｓ）が多いほど、映像ビットレートが高くなる。図１７は、マイクロプロセッサ９が撮像制御部４に焦点調節用の撮像を指示する場合に実行する処理の流れを説明するフローチャートである。図１７において、図１６と同様の処理には図１６と同じステップ番号を付して説明を省略する。
マイクロプロセッサ９は、例えば、レリーズ釦が半押し操作されたことを示す操作信号が操作部９ａから入力されると、図１７による処理を起動する。
マイクロプロセッサ９は、例えば、レリーズ釦が半押し操作されたことを示す操作信号が操作部９ａから入力されると、図１７による処理を起動する。
【0137】
ステップＳ３２０Ａにおいて、マイクロプロセッサ９は、映像ビットレートが基準値以上か否かを判定する。例えば映像ビットレートに第２モードの焦点調節信号を加算した総ビットレートが撮像素子３の処理能力を超える場合、映像ビットレートが基準値以上に相当する。マイクロプロセッサ９は、映像ビットレートが基準値以上の場合は、第１モードで焦点調節を早く行うべくステップＳ３２０Ａを肯定判定してステップＳ３３０へ進む。一方、映像ビットレートが基準値に満たない場合は、第２モードで精度よく焦点調節を行うべくステップＳ３２０Ａを否定判定してステップＳ３７０へ進む。
図１７における他の処理は、例２の図６の処理と同様である。
図１７における他の処理は、例２の図６の処理と同様である。
【0138】
マイクロプロセッサ９は、上述した例１から例３のうち、いずれかの処理を選択する。例えば、マイクロプロセッサ９は、操作部９ａからの操作信号に基づいて例１、例２または例３の処理を選択する。
【0139】
また、マイクロプロセッサ９は、カメラ１に設定されている撮像シーンモードにより、例１、例２または例３の処理を自動で選んでもよい。例えば、カメラ１が「風景」、「料理」、「花」、「ポートレート」などの撮像シーンモードに設定された場合に、マイクロプロセッサ９は、例１の処理を選ぶ。さらに、マイクロプロセッサ９は、カメラ１が「スポーツ」などの撮像シーンモードに設定された場合に、例２の処理を選ぶ。さらにまた、マイクロプロセッサ９は、カメラ１が動画撮影モードに設定された場合に、例３の処理を選ぶ。
【0140】
以上説明した第５の実施の形態によれば、次の作用効果が得られる。（１）撮像装置の一例であるカメラ１において、マイクロプロセッサ９は、画素２０Ｇ（Ｐ）の第１電荷に基づく第１信号と画素２０Ｇ（Ｓ）の第２電荷に基づく第２信号、または、画素２０Ｇ（Ｐ）の第２電荷に基づく第２信号と画素２０Ｇ（Ｓ）の第１電荷に基づく第１信号に基づいて、フォーカシングレンズの位置を制御する第１モードと、画素２０Ｇ（Ｐ）の第１電荷に基づく第１信号と第２電荷に基づく第２信号、および画素２０Ｇ（Ｓ）の第１電荷に基づく第１信号と第２電荷に基づく第２信号に基づいて、フォーカシングレンズの位置を制御する第２モードと、を有する。これにより、第１モードでは焦点調節を早く行うことができ、第２モードでは、焦点調節を精度よく行うことができる。
【0141】
（２）カメラ１において、マイクロプロセッサ９は、被写体が動く速度、または撮像素子３から出力される信号の単位時間あたりのデータ量または出力数（映像ビットレート）、または撮影レンズ２による像が結像する結像面と撮像素子３の撮像面とのずれ量に基づいて、第１モードと第２モードとを切り替える。これにより、適切に第１モードと第２モードとを切り替えることができる。
【0142】
（変形例） 上述した第１～第５の実施の形態および変形例で説明した撮像素子を、複数の基板（例えば、複数の半導体基板）を積層して構成される積層センサ（積層型の撮像素子）に適用してもよい。例えば、複数の画素２０は１層目の基板に配置し、垂直走査回路２１と水平走査回路２２とＣＤＳ回路２７と出力アンプ２９とは２層目の基板に配置し、複数の垂直信号線２５は、１層目の基板と２層目の基板との間に配置する。
また、複数の画素２０と垂直走査回路２１と水平走査回路２２とは１層目の基板に配置し、ＣＤＳ回路２７と出力アンプ２９とは２層目の基板に配置してもよい。
さらにまた、積層センサは３層以上にしてもよい。
また、複数の画素２０と垂直走査回路２１と水平走査回路２２とは１層目の基板に配置し、ＣＤＳ回路２７と出力アンプ２９とは２層目の基板に配置してもよい。
さらにまた、積層センサは３層以上にしてもよい。
【0143】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【0144】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１７年第７５１７７号（２０１７年４月５日出願）
日本国特許出願２０１７年第７５１７７号（２０１７年４月５日出願）
【符号の説明】
【0145】
１…カメラ、２…撮像光学系、３…撮像素子、９…マイクロプロセッサ、１０…焦点演算部、１３…画像処理部２０、２０Ｇ、２０Ｒ、２０Ｂ…画素、２１…垂直走査回路、２２…水平走査回路、２３、２４…制御信号線、２５…垂直信号線、ＡＭＰ…増幅トランジスタ、ＦＤ…ＦＤ領域、ＰＤ－１、ＰＤ－２…フォトダイオード、ＳＥＬ…選択トランジスタ、Ｔｘ－１、Ｔｘ－２…転送トランジスタ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
