(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-18
(45)【発行日】2022-03-01
(54)【発明の名称】焦点検出装置及び焦点検出方法
(51)【国際特許分類】
G02B 7/34 20210101AFI20220221BHJP
G03B 13/36 20210101ALI20220221BHJP
H04N 5/232 20060101ALI20220221BHJP
H04N 5/225 20060101ALI20220221BHJP
【ＦＩ】
G02B7/34
G03B13/36
H04N5/232 120
H04N5/225 300
【請求項の数】
4
(21)【出願番号】P 2017224790
(22)【出願日】2017-11-22
(65)【公開番号】P2019095593
(43)【公開日】2019-06-20
【審査請求日】2020-10-27
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100189913
【氏名又は名称】鵜飼 健
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(72)【発明者】
【氏名】菊地 哲央
(72)【発明者】
【氏名】畠山 陵
【審査官】▲うし▼田 真悟
(56)【参考文献】
【文献】特開２０１７－０５４０５２（ＪＰ，Ａ）
【文献】特開２０１６－２１９８６６（ＪＰ，Ａ）
【文献】特開２００４－１９１６５１（ＪＰ，Ａ）
【文献】特開２００２－２５８１４２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ７／２８－７／４０
Ｇ０３Ｂ １３／３６
Ｈ０４Ｎ ５／２２２－５／２５７
(57)【特許請求の範囲】
【請求項1】
１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有し、前記第１の瞳分割方向或いは第２の瞳分割方向に対応する焦点検出画素信号、瞳分割に対応しない表示のための表示画素信号、又は記録のための静止画画素信号を出力する撮像部と、前記表示画素信号又は前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理及び前記静止画画素信号に基づいて静止画を記録媒体に記録するための処理をする画像処理回路と、
前記焦点検出画素信号に基づいて焦点検出のための処理をする焦点検出回路と、
前記静止画画素信号に基づく静止画を前記記録媒体に記録する動作である静止画撮影を実行するとともに、前記静止画撮影の間にそれぞれが前記焦点検出画素信号又は前記表示画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御する制御回路と、
被写体輝度を測定する測光部と、
を具備し、
前記制御回路は、前記被写体輝度に関わらず前記第１の動作においては複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第２の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算されずに、前記第２の瞳分割方向について加算されて又は間引かれて前記焦点検出画素信号が生成されるように前記撮像部を制御し、
前記被写体輝度が高い場合の前記第２の動作において、前記表示画素信号が生成され、前記被写体輝度が低い場合の前記第２の動作において、複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第１の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算された前記焦点検出画素信号が生成されるように前記撮像部を制御し、
前記画像処理回路は、前記被写体輝度が高い場合に、前記表示画素信号に基づいて画像を表示するための処理をし、前記被写体輝度が低い場合に、前記複数の画素部の間で前記第１の瞳分割方向に加算され生成された前記焦点検出画素信号であって、前記複数の画素部にて前記第２の瞳分割方向にて対を成す前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理をする焦点検出装置。
【請求項2】
前記被写体輝度は、前記撮像部に設定される前記焦点検出のための領域である焦点検出領域の輝度であり、前記制御回路は、前記撮像光学系の絞り値と前記焦点検出領域の輝度とに基づいて、前記被写体輝度が低いか否かを判定する請求項１に記載の焦点検出装置。
【請求項3】
１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有し、前記第１の瞳分割方向或いは第２の瞳分割方向に対応する焦点検出画素信号、瞳分割に対応しない表示のための表示画素信号、又は記録のための静止画画素信号を出力する撮像部と、
前記表示画素信号又は前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理及び前記静止画画素信号に基づいて静止画を記録媒体に記録するための処理をする画像処理回路と、
前記焦点検出画素信号に基づいて焦点検出のための処理をする焦点検出回路と、
前記静止画画素信号に基づく静止画を前記記録媒体に記録する動作である静止画撮影を実行するとともに、前記静止画撮影の間にそれぞれが前記焦点検出画素信号又は前記表示画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御する制御回路と、
を具備し、
前記制御回路は、前記静止画撮影を連続的に実行する際の静止画撮影の間隔に相当する連写速度に関わらず前記第１の動作においては複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第２の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算されずに、前記第２の瞳分割方向について加算されて又は間引かれて前記焦点検出画素信号が生成されるように前記撮像部を制御し、
前記連写速度が所定値を越える場合の前記第２の動作においては前記表示画素信号が生成されるように前記撮像部を制御し、
前記連写速度が前記所定値以下の場合の前記第２の動作においては、複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第１の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算された前記焦点検出画素信号が生成されるように前記撮像部を制御し、
前記画像処理回路は、前記連写速度が所定値を越える場合に、前記表示画素信号に基づいて画像を表示するための処理をし、前記連写速度が前記所定値以下の場合に、前記複数の画素部の間で前記第１の瞳分割方向に加算された前記焦点検出画素信号であって、前記複数の画素部にて前記第２の瞳分割方向にて対を成す前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理をする焦点検出装置。
【請求項4】
１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有し、前記第１の瞳分割方向或いは第２の瞳分割方向に対応する焦点検出画素信号、瞳分割に対応しない表示のための表示画素信号、又は記録のための静止画画素信号を出力する撮像部を用いた焦点検出方法であって、被写体輝度を測定することと、
前記被写体輝度に基づいて、前記表示画素信号又は前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理をすることと、
前記静止画画素信号に基づいて静止画を記録媒体に記録するための処理をすることと、
前記焦点検出画素信号に基づいて焦点検出のための処理をすることと、
前記静止画画素信号に基づく静止画を前記記録媒体に記録する動作である静止画撮影を実行するとともに、前記静止画撮影の間にそれぞれが前記焦点検出画素信号又は前記表示画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御することと、
を具備し、
前記撮像部を制御することは、前記被写体輝度に関わらず前記第１の動作においては複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第２の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算されずに、前記第２の瞳分割方向について加算されて又は間引かれて前記焦点検出画素信号が生成されるように前記撮像部を制御し、
前記被写体輝度が高い場合の前記第２の動作において、前記表示画素信号が生成され、前記被写体輝度が低い場合の前記第２の動作において、複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第１の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算された前記焦点検出画素信号が生成されるように前記撮像部を制御することを含み、
前記画像を表示するための処理をすることは、前記被写体輝度が高い場合に、前記表示画素信号に基づいて画像を表示するための処理をし、前記被写体輝度が低い場合に、前記複数の画素部の間で前記第１の瞳分割方向に加算され生成された前記焦点検出画素信号であって、前記複数の画素部にて前記第２の瞳分割方向にて対を成す前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理をすることを含む焦点検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、焦点検出装置及び焦点検出方法に関する。
【背景技術】
【0002】
従来、撮像素子で生成された画素信号を利用して位相差方式の焦点検出を行う焦点検出装置が知られている。この種の焦点検出装置の中で、ライブビュー表示中にも焦点検出を行うことができるようにする焦点検出装置も知られている。例えば、特許文献１において提案されている撮像装置は、撮像素子上で位相差方式の焦点検出を行うために必要な行の露光時間をその他の行の露光時間と変えることで、画像の生成のために必要な画素信号と位相差方式の焦点検出を行うために必要な画素信号とを生成している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１６１９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の撮像装置は、撮像素子の行毎に露光時間を変えるものであり、基本的には、水平方向の位相差の検出を前提とした構成である。したがって、特許文献１の撮像装置の手法をそのまま用いても垂直方向の位相差の検出については時間がかかり易い。このため、焦点検出性能の確保のために水平方向と垂直方向の両方で位相差を検出しようとすると、連写中等ではライブビュー表示のための十分な時間を確保できなくなる可能性が生じる。
【0005】
本発明は、前記の事情に鑑みてなされたものであり、位相差方式の焦点検出性能を確保しながら、ライブビュー表示のための時間も確保することができる焦点検出装置及び焦点検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記の目的を達成するために、本発明の第１の態様の焦点検出装置は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有し、前記第１の瞳分割方向或いは第２の瞳分割方向に対応する焦点検出画素信号、瞳分割に対応しない表示のための表示画素信号、又は記録のための静止画画素信号を出力する撮像部と、前記表示画素信号又は前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理及び前記静止画画素信号に基づいて静止画を記録媒体に記録するための処理をする画像処理回路と、前記焦点検出画素信号に基づいて焦点検出のための処理をする焦点検出回路と、前記静止画画素信号に基づく静止画を前記記録媒体に記録する動作である静止画撮影を実行するとともに、前記静止画撮影の間にそれぞれが前記焦点検出画素信号又は前記表示画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御する制御回路と、被写体輝度を測定する測光部とを具備し、前記制御回路は、前記被写体輝度に関わらず前記第１の動作においては複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第２の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算されずに、前記第２の瞳分割方向について加算されて又は間引かれて前記焦点検出画素信号が生成されるように前記撮像部を制御し、前記被写体輝度が高い場合の前記第２の動作において、前記表示画素信号が生成され、前記被写体輝度が低い場合の前記第２の動作において、複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第１の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算された前記焦点検出画素信号が生成されるように前記撮像部を制御し、前記画像処理回路は、前記被写体輝度が高い場合に、前記表示画素信号に基づいて画像を表示するための処理をし、前記被写体輝度が低い場合に、前記複数の画素部の間で前記第１の瞳分割方向に加算され生成された前記焦点検出画素信号であって、前記複数の画素部にて前記第２の瞳分割方向にて対を成す前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理をする。
前記の目的を達成するために、本発明の第２の態様の焦点検出装置は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有し、前記第１の瞳分割方向或いは第２の瞳分割方向に対応する焦点検出画素信号、瞳分割に対応しない表示のための表示画素信号、又は記録のための静止画画素信号を出力する撮像部と、前記表示画素信号又は前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理及び前記静止画画素信号に基づいて静止画を記録媒体に記録するための処理をする画像処理回路と、前記焦点検出画素信号に基づいて焦点検出のための処理をする焦点検出回路と、前記静止画画素信号に基づく静止画を前記記録媒体に記録する動作である静止画撮影を実行するとともに、前記静止画撮影の間にそれぞれが前記焦点検出画素信号又は前記表示画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御する制御回路とを具備し、前記制御回路は、前記静止画撮影を連続的に実行する際の静止画撮影の間隔に相当する連写速度に関わらず前記第１の動作においては複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第２の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算されずに、前記第２の瞳分割方向について加算されて又は間引かれて前記焦点検出画素信号が生成されるように前記撮像部を制御し、前記連写速度が所定値を越える場合の前記第２の動作においては前記表示画素信号が生成されるように前記撮像部を制御し、前記連写速度が前記所定値以下の場合の前記第２の動作においては、複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第１の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算された前記焦点検出画素信号が生成されるように前記撮像部を制御し、前記画像処理回路は、前記連写速度が所定値を越える場合に、前記表示画素信号に基づいて画像を表示するための処理をし、前記連写速度が前記所定値以下の場合に、前記複数の画素部の間で前記第１の瞳分割方向に加算された前記焦点検出画素信号であって、前記複数の画素部にて前記第２の瞳分割方向にて対を成す前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理をする。
前記の目的を達成するために、本発明の第２の態様の焦点検出装置は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有し、前記第１の瞳分割方向或いは第２の瞳分割方向に対応する焦点検出画素信号、瞳分割に対応しない表示のための表示画素信号、又は記録のための静止画画素信号を出力する撮像部と、前記表示画素信号又は前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理及び前記静止画画素信号に基づいて静止画を記録媒体に記録するための処理をする画像処理回路と、前記焦点検出画素信号に基づいて焦点検出のための処理をする焦点検出回路と、前記静止画画素信号に基づく静止画を前記記録媒体に記録する動作である静止画撮影を実行するとともに、前記静止画撮影の間にそれぞれが前記焦点検出画素信号又は前記表示画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御する制御回路とを具備し、前記制御回路は、前記静止画撮影を連続的に実行する際の静止画撮影の間隔に相当する連写速度に関わらず前記第１の動作においては複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第２の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算されずに、前記第２の瞳分割方向について加算されて又は間引かれて前記焦点検出画素信号が生成されるように前記撮像部を制御し、前記連写速度が所定値を越える場合の前記第２の動作においては前記表示画素信号が生成されるように前記撮像部を制御し、前記連写速度が前記所定値以下の場合の前記第２の動作においては、複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第１の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算された前記焦点検出画素信号が生成されるように前記撮像部を制御し、前記画像処理回路は、前記連写速度が所定値を越える場合に、前記表示画素信号に基づいて画像を表示するための処理をし、前記連写速度が前記所定値以下の場合に、前記複数の画素部の間で前記第１の瞳分割方向に加算された前記焦点検出画素信号であって、前記複数の画素部にて前記第２の瞳分割方向にて対を成す前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理をする。
【0007】
前記の目的を達成するために、本発明の第３の態様の焦点検出方法は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有し、前記第１の瞳分割方向或いは第２の瞳分割方向に対応する焦点検出画素信号、瞳分割に対応しない表示のための表示画素信号、又は記録のための静止画画素信号を出力する撮像部を用いた焦点検出方法であって、被写体輝度を測定することと、前記被写体輝度に基づいて、前記表示画素信号又は前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理をすることと、前記静止画画素信号に基づいて静止画を記録媒体に記録するための処理をすることと、前記焦点検出画素信号に基づいて焦点検出のための処理をすることと、前記静止画画素信号に基づく静止画を前記記録媒体に記録する動作である静止画撮影を実行するとともに、前記静止画撮影の間にそれぞれが前記焦点検出画素信号又は前記表示画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御することとを具備し、前記撮像部を制御することは、前記被写体輝度に関わらず前記第１の動作においては複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第２の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算されずに、前記第２の瞳分割方向について加算されて又は間引かれて前記焦点検出画素信号が生成されるように前記撮像部を制御し、前記被写体輝度が高い場合の前記第２の動作において、前記表示画素信号が生成され、前記被写体輝度が低い場合の前記第２の動作において、複数の前記画素部にて生成される前記画素信号が、前記画素部内で前記第１の瞳分割方向に加算された後で、前記複数の画素部の間で前記第１の瞳分割方向について加算された前記焦点検出画素信号が生成されるように前記撮像部を制御することを含み、前記画像を表示するための処理をすることは、前記被写体輝度が高い場合に、前記表示画素信号に基づいて画像を表示するための処理をし、前記被写体輝度が低い場合に、前記複数の画素部の間で前記第１の瞳分割方向に加算され生成された前記焦点検出画素信号であって、前記複数の画素部にて前記第２の瞳分割方向にて対を成す前記焦点検出画素信号を加算した画素信号に基づいて画像を表示するための処理をすることを含む。
【発明の効果】
【0008】
本発明によれば、位相差方式の焦点検出性能を確保しながら、ライブビュー表示のための時間も確保することができる焦点検出装置及び焦点検出方法を提供することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の一実施形態に係る焦点検出装置を含む撮像装置の構成の一例を示すブロック図である。なお、図１中において、矢印付き実線はデータの流れを、矢印付き破線は制御信号の流れをそれぞれ示している。
【0011】
図１に示すように、撮像装置１は、交換式レンズ１００と、カメラ本体２００とを有する。交換式レンズ１００は、カメラ本体２００に着脱できるように構成されている。交換式レンズ１００とカメラ本体２００とは、交換式レンズ１００がカメラ本体２００に装着されたときに、互いに通信できるように接続される。なお、撮像装置１は、必ずしもレンズ交換式の撮像装置でなくてもよい。例えば、撮像装置１は、レンズ一体型の撮像装置であってもよい。
【0012】
交換式レンズ１００は、撮像光学系１０２と、駆動部１０４と、レンズＣＰＵ１０６と、レンズ側記憶部１０８とを備える。ここで、交換式レンズ１００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、交換式レンズ１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【0013】
撮像光学系１０２は、被写体からの光束をカメラ本体２００の撮像素子２０８に結像させるための光学系である。撮像光学系１０２は、フォーカスレンズ１０２１と、絞り１０２２とを有する。フォーカスレンズ１０２１は、光軸方向に移動することによって、撮像光学系１０２の焦点位置を調節できるように構成されている。
【0014】
絞り１０２２は、フォーカスレンズ１０２１の光軸上に配置される。絞り１０２２の口径は可変である。絞り１０２２は、フォーカスレンズ１０２１を通過して撮像素子２０８に入射する被写体からの光束の量を調節する。駆動部１０４は、レンズＣＰＵ１０６から出力される制御信号に基づいて、フォーカスレンズ１０２１と絞り１０２２とを駆動する。ここで、撮像光学系１０２は、ズームレンズとして構成されていてもよい。この場合、駆動部１０４はズーム駆動も行う。
【0015】
レンズＣＰＵ１０６は、インターフェイス（Ｉ／Ｆ）１１０を介してカメラ本体２００のＣＰＵ２１２との間で通信できるように構成されている。レンズＣＰＵ１０６は、カメラ本体２００のＣＰＵ２１２の制御に従って駆動部１０４を制御する。また、レンズＣＰＵ１０６は、Ｉ／Ｆ１１０を介して絞り１０２２の絞り値（Ｆ値）及びレンズ側記憶部１０８に記憶されているレンズ情報といった情報をＣＰＵ２１２に送信する。なお、レンズＣＰＵ１０６は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、レンズＣＰＵ１０６と同様の機能は、ＡＳＩＣ、ＦＰＧＡ等によって実現されてもよい。また、レンズＣＰＵ１０６と同様の機能は、ソフトウェアによって実現されてもよい。
【0016】
レンズ側記憶部１０８は、交換式レンズ１００に関するレンズ情報を記憶している。レンズ情報は、例えば撮像光学系１０２の焦点距離の情報や収差の情報を含む。
【0017】
カメラ本体２００は、メカシャッター２０２と、駆動部２０４と、操作部２０６と、撮像素子２０８と、手振れ補正回路２１０と、ＣＰＵ２１２と、画像処理回路２１４と、画像圧縮展開部２１６と、焦点検出回路２１８と、露出制御回路２２０と、表示部２２２と、バス２２４と、ＤＲＡＭ２２６と、本体側記憶部２２８と、記録媒体２３０とを有する。ここで、カメラ本体２００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、カメラ本体２００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【0018】
メカシャッター２０２は、開閉自在に構成され、撮像素子２０８への被写体からの光束の入射時間（撮像素子２０８の露光時間）を調節する。メカシャッター２０２としては、例えばフォーカルプレーンシャッターが採用される。駆動部２０４は、ＣＰＵ２１２からの制御信号に基づいてメカシャッター２０２を駆動する。
【0019】
操作部２０６は、電源ボタン、レリーズボタン、動画ボタン、再生ボタン、メニューボタンといった各種の操作ボタン及びタッチパネル等の各種の操作部材を含む。この操作部２０６は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２１２に出力する。
【0020】
撮像素子２０８は、撮像光学系１０２の光軸上であって、メカシャッター２０２の後方で、かつ、撮像光学系１０２によって被写体からの光束が結像される位置に配置されている。撮像素子２０８は、被写体を撮像して被写体に係る画素信号を生成する。撮像素子２０８については後で詳しく説明する。
【0021】
手振れ補正回路２１０は、カメラ本体２００に発生した手振れが抑制されるように、撮像素子２０８をその受光面と平行な方向に移動させる。手振れに従って撮像素子２０８が移動されることにより、手振れに起因して画像データに発生する被写体像のぶれが抑制される。なお、手振れ補正回路は、交換式レンズ１００に設けられていてもよい。この場合の手振れ補正回路は、撮像光学系１０２に含まれる手振れ補正光学系を移動させるように構成される。
【0022】
ＣＰＵ２１２は、本体側記憶部２２８に記憶されているプログラムに従ってカメラ本体２００の全体制御を行う。ＣＰＵ２１２は、例えば撮像素子２０８による撮像を制御する。また、ＣＰＵ２１２は、焦点検出回路２１８によって検出されたフォーカスレンズ１０２１の焦点状態に応じて、フォーカスレンズ１０２１を駆動するための制御信号をレンズＣＰＵ１０６に対して出力する。また、ＣＰＵ２１２は、露出制御回路２２０によって算出された露出設定値をレンズＣＰＵ１０６及び撮像素子２０８に対して出力する。ここで、ＣＰＵ２１２は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、ＣＰＵ２１２と同様の機能は、ＡＳＩＣ、ＦＰＧＡ等によって実現されてもよい。また、ＣＰＵ２１２と同様の機能は、ソフトウェアによって実現されてもよい。
【0023】
画像処理回路２１４は、画素データに対して各種の画像処理を施す。例えば画像処理回路２１４は、静止画撮影の際には、静止画記録用の画像処理を施して静止画データを生成する。同様に、画像処理回路２１４は、動画撮影の際には、動画記録用の画像処理を施して動画データを生成する。さらに、画像処理回路２１４は、ライブビュー表示時には、表示用の画像処理を施して表示画像データを生成する。
【0024】
画像圧縮展開部２１６は、画像データの記録時には、画像処理回路２１４で生成された画像データ（静止画データ又は動画データ）を圧縮する。また、画像データの再生時には、記録媒体２３０に圧縮状態で記録された画像データを伸張する。
【0025】
焦点検出回路２１８は、撮像素子２０８から出力される焦点検出画素データを用いた公知の位相差方式によってフォーカスレンズ１０２１の焦点検出を行う。
【0026】
測光部としての露出制御回路２２０は、撮像素子２０８の画素データに基づいて露出設定値を算出する。この露出制御回路２２０は、撮像素子２０８の画素データから被写体輝度を測定し、測定した被写体輝度から撮影時の被写体の輝度を適正値にするために必要な露出設定値を算出する。露出設定値は、絞り１０２２の開口量（絞り値）、撮像素子２０８の露光時間（シャッタースピード）を含む。
【0027】
表示部２２２は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ本体２００の背面に配置される。この表示部２２２は、ＣＰＵ２１２の制御に従って画像を表示する。表示部２２２は、ライブビュー表示や記録済み画像の表示等に使用される。
【0028】
バス２２４は、撮像素子２０８、ＣＰＵ２１２、画像処理回路２１４、画像圧縮展開部２１６、焦点検出回路２１８、露出制御回路２２０、表示部２２２、ＤＲＡＭ２２６、本体側記憶部２２８、記録媒体２３０に接続され、これらのブロックで発生した各種のデータを転送するための転送路として動作する。
【0029】
ＤＲＡＭ２２６は、電気的に書き換えできるメモリであり、撮像素子２０８から出力される画素データ、静止画データ、動画データ、表示画像データ、ＣＰＵ２１２における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭが用いられてもよい。
【0030】
本体側記憶部２２８は、ＣＰＵ２１２で使用されるプログラム、カメラ本体２００の調整値等の各種データを記憶している。記録媒体２３０は、カメラ本体２００に内蔵されるか又は装填されるように構成されており、記録用の画像データを所定の形式の画像ファイルとして記録する。なお、ＤＲＡＭ２２６、本体側記憶部２２８及び記録媒体２３０は、それぞれ１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。
【0031】
次に、撮像素子２０８について説明する。図２は、一例の撮像素子２０８の構成を示す図である。図２に示すように、撮像素子２０８は、入力回路３０１と、制御回路３０２と、画素部３０３と、垂直走査回路３０４と、アナログ処理回路３０５と、アナログデジタル変換（ＡＤＣ）処理回路３０６と、メモリ回路３０７と、水平走査回路３０８と、出力回路３０９とを有する。ここで、本実施形態における撮像部は、画素部３０３を有して構成されている。撮像部は、垂直走査回路３０４、アナログ処理回路３０５、ＡＤＣ処理回路３０６、メモリ回路３０７をさらに有していてもよい。また、アナログ処理回路３０５及びＡＤＣ処理回路３０６は、撮像素子２０８の外部に設けられていてもよい。
【0032】
入力回路３０１は、ＣＰＵ２１２から撮像素子２０８の動作に係る制御信号を受け取って、制御回路３０２に入力する。この動作に係る制御信号は、同期信号（垂直同期信号及び水平同期信号）及び基準クロック並びに撮像素子２０８の動作設定の信号を含む。
【0033】
制御回路３０２は、例えばＣＰＵ又はＡＳＩＣ又はロジック回路（デジタル回路）によって構成され、入力回路３０１から入力された制御信号に基づいて撮像素子２０８の各部の動作を制御する。
【0034】
画素部３０３は、２次元状に複数配置され、入射光を光電変換して画素信号を生成する。図３は、画素部３０３の詳細な構成を示す図である。ここで、図３の左側は画素部３０３を正面から見た図を示し、図３の右側は画素部３０３を側面から見た図を示している。図３に示すように、画素部３０３は、マイクロレンズ３０３ａと、カラーフィルタ３０３ｂと、画素３０３ｃとを有している。
【0035】
マイクロレンズ３０３ａは、撮像光学系１０２を通過した光束を対応する画素３０３ｃの受光部に集光させる。後で説明するように、１個の画素３０３ｃは、水平２個×垂直２個に瞳分割された４個の受光部によって構成されている。マイクロレンズ３０３ａは、撮像光学系１０２の異なる射出瞳領域を通過した光束を異なる受光部に集光させる。
【0036】
カラーフィルタ３０３ｂは、例えば原色系のベイヤ配列のカラーフィルタである。原色系のベイヤ配列は、赤（Ｒ）フィルタ及び緑（Ｇｒ）フィルタを交互に配列した行と、青（Ｂ）フィルタ及び緑（Ｇｂ）フィルタを交互に配列した行とを列方向に交互に配置した配列である。図３に示すように、カラーフィルタ３０３ｂの１色は、１個の画素３０３ｃと対応している。したがって、画素３０３ｃを構成する４個の受光部には同じ色の光が入射する。なお、カラーフィルタ３０３ｂは、必ずしも原色系のベイヤ配列のカラーフィルタでなくてもよい。
【0037】
画素３０３ｃは、第１の瞳分割方向である水平方向と第２の瞳分割方向である垂直方向とのそれぞれに分割して配置された４個の受光部ｌｔ、ｒｔ、ｌｂ、ｒｂによって構成されている。図では、「ｌｔ」、「ｒｔ」、「ｌｂ」、「ｒｂ」の表記は、カラーフィルタの色を表す「Ｒ」、「Ｇｒ」、「Ｇｂ」、「Ｂ」に添えて記されている。受光部ｌｔ、ｒｔ、ｌｂ、ｒｂは、被写体の同一の部分から射出された光束を受光する。受光部ｌｔ、ｒｔ、ｌｂ、ｒｂのそれぞれは例えばフォトダイオードによって構成され、受光した光束に応じて蓄積された電荷に基づく画素信号を出力する。ここで、受光部ｌｔは、射出された光束のうち、撮像光学系１０２の右下の射出瞳領域を通過した光束を受光する。受光部ｒｔは、射出された光束のうち、撮像光学系１０２の左下の射出瞳領域を通過した光束を受光する。受光部ｌｂは、射出された光束のうち、撮像光学系１０２の右上の射出瞳領域を通過した光束を受光する。受光部ｒｂは、射出された光束のうち、撮像光学系１０２の左上の射出瞳領域を通過した光束を受光する。
【0038】
画素３０３ｃが４個の受光部ｌｔ、ｒｔ、ｌｂ、ｒｂに分割されている構造により、画素３０３ｃを位相差検出のための左右開口画素と上下開口画素の何れとしても扱うことができる。左右開口画素とは、撮像光学系の左側の射出瞳領域を通過した光束を受光する画素と撮像光学系の右側の射出瞳領域を通過した光束を受光する画素との対である。上下開口画素とは、撮像光学系の上側の射出瞳領域を通過した光束を受光する画素と撮像光学系の下側の射出瞳領域を通過した光束を受光する画素との対である。画素３０３ｃを左右開口画素と上下開口画素の何れとして扱うかは、制御回路３０２からの制御信号によって切り替えられる。また、４個の受光部ｌｔ、ｒｔ、ｌｂ、ｒｂを全て合わせた全開口画素としても扱うことが可能であり、制御回路３０２からの制御信号により設定することができる。この場合は、位相差情報が不要な静止画撮影用の画素として使用される。
【0039】
画素３０３ｃが左右開口画素として取り扱われるときには、制御回路３０２は、図４Ａの左側で示すようにして左半分の受光部である受光部ｌｔ（Ｒｌｔ、Ｇｒｌｔ、Ｇｂｌｔ、Ｂｌｔ）の画素信号と受光部ｌｂ（Ｒｌｂ、Ｇｒｌｂ、Ｇｂｌｂ、Ｂｌｂ）の画素信号とを加算（混合）して出力させるとともに、右半分の受光部である受光部ｒｔ（Ｒｒｔ、Ｇｒｒｔ、Ｇｂｒｔ、Ｂｒｔ）の画素信号と受光部ｒｂ（Ｒｒｂ、Ｇｒｒｂ、Ｇｂｒｂ、Ｂｒｂ）の画素信号とを加算して出力させる。これにより、図４Ａの右側で示すようにして、撮像光学系の右側の射出瞳領域を通過した光束の情報を有する左開口画素信号ｌ（Ｒｌ、Ｇｒｌ、Ｇｂｌ、Ｂｌ）と撮像光学系の左側の射出瞳領域を通過した光束の情報を有する右開口画素信号ｒ（Ｒｒ、Ｇｒｒ、Ｇｂｒ、Ｂｒ）とがそれぞれ出力される。
【0040】
画素３０３ｃが上下開口画素として取り扱われるときには、制御回路３０２は、図４Ｂの左側で示すようにして上半分の受光部である受光部ｌｔ（Ｒｌｔ、Ｇｒｌｔ、Ｇｂｌｔ、Ｂｌｔ）の画素信号と受光部ｒｔ（Ｒｒｔ、Ｇｒｒｔ、Ｇｂｒｔ、Ｂｒｔ）の画素信号とを加算（混合）して出力させるとともに、下半分の受光部である受光部ｌｂ（Ｒｌｂ、Ｇｒｌｂ、Ｇｂｌｂ、Ｂｌｂ）の画素信号と受光部ｒｂ（Ｒｒｂ、Ｇｒｒｂ、Ｇｂｒｂ、Ｂｒｂ）の画素信号とを加算して出力させる。これにより、図４Ｂの右側で示すようにして、撮像光学系の下側の射出瞳領域を通過した光束の情報を有する上開口画素信号ｔ（Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔ）と撮像光学系の上側の射出瞳領域を通過した光束の情報を有する下開口画素信号ｂ（Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂ）とがそれぞれ出力される。また、画素３０３ｃが全開口画素として取り扱われるときには、制御回路３０２は、左半分の受光部である受光部ｌｔ（Ｒｌｔ、Ｇｒｌｔ、Ｇｂｌｔ、Ｂｌｔ）の画素信号と受光部ｌｂ（Ｒｌｂ、Ｇｒｌｂ、Ｇｂｌｂ、Ｂｌｂ）の画素信号と、右半分の受光部である受光部ｒｔ（Ｒｒｔ、Ｇｒｒｔ、Ｇｂｒｔ、Ｂｒｔ）の画素信号と受光部ｒｂ（Ｒｒｂ、Ｇｒｒｂ、Ｇｂｒｂ、Ｂｒｂ）の画素信号とを加算して出力させる。
【0041】
さらに、本実施形態の画素部３０３は、異なる画素部３０３の間でも画素信号を加算して出力できるようにも構成されていてよい。例えば、画素部３０３は、水平方向又は垂直方向に存在する複数の左開口画素同士又は右開口同士の画素信号を加算して出力したり、水平方向又は垂直方向に存在する複数の上開口同士又は下開口画素同士の画素信号を加算して出力したりするように構成されていてもよい。画素信号の加算数は、例えば制御回路３０２によって設定される。画素信号を加算してから読み出すことにより、読み出し時間を短縮することができる。なお、読み出し時間に余裕があるときには、画素部３０３の間での画素信号の加算は行われなくてもよい。
【0042】
垂直走査回路３０４は、制御回路３０２からの制御信号としての蓄積開始信号を受ける毎に１行ずつ画素部３０３の画素３０３ｃに蓄積された電荷をリセットしてから画素部３０３における電荷の蓄積を開始させる。また、垂直走査回路３０４は、制御回路３０２からの制御信号としての蓄積終了信号を受ける毎に１行ずつ画素部３０３の画素３０３ｃにおける電荷の蓄積を終了させ、蓄積された電荷を画素信号としてアナログ処理回路３０５に転送させる。
【0043】
アナログ処理回路３０５は、画素部３０３から順次に転送された画素信号に対してアナログ処理をする。アナログ処理回路３０５は、例えば、画素信号をアナログ的に増幅するプリアンプ、画素信号からリセットノイズを除去する相関二重サンプリング（ＣＤＳ）処理回路等を含む。
【0044】
ＡＤＣ処理回路３０６は、制御回路３０２からの制御信号に従ってアナログ処理回路３０５から出力された画素信号をデジタル信号である画素データに変換する。このＡＤＣ処理回路３０６は、例えばカラム型ＡＤＣ処理回路として構成されている。
【0045】
メモリ回路３０７は、制御回路３０２からの制御信号に従ってＡＤＣ処理回路３０６から出力された画素データを一時的に記憶する。メモリ回路３０７は、揮発性メモリ等で構成されている。メモリ回路３０７は、画素データのデジタル加算を行うように構成されていてもよい。この場合、メモリ回路３０７は、ＡＤＣ処理回路３０６から出力される画素データの加算値を記憶するように構成される。
【0046】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。
【0047】
出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成する。また、出力回路３０９は、画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。
【0048】
以下、本実施形態に係る撮像装置１の動作を説明する。図５Ａ及び図５Ｂは、本実施形態に係る撮像装置の動作について示すフローチャートである。ここで、図５Ａ及び図５Ｂは、撮像装置１のＡＦモードがコンティニュアスＡＦモードであるときの動作を示している。コンティニュアスＡＦモードは、動く被写体に対して適したＡＦモードであり、被写体に追従するようにピント合わせを続けるＡＦモードである。
【0049】
図５Ａ及び図５Ｂの動作は、ユーザによる撮像装置１の電源のオン操作が検出されたときに開始される。電源のオン操作が検出されると、ステップＳ１０１において、ＣＰＵ２１２は、レリーズボタンの１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。１ｓｔレリーズスイッチは、例えばユーザによるレリーズボタンの半押し操作に応答してオンの状態となるスイッチである。ステップＳ１０１において、１ｓｔレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ１０４に移行する。ステップＳ１０１において、１ｓｔレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ１０２に移行する。
【0050】
ステップＳ１０２において、ＣＰＵ２１２は、ライブビュー（ＬＶ）表示のための表示画素データの取り込みを行う。このとき、ＣＰＵ２１２は、メカシャッター２０２を全開状態とするように駆動部２０４に対して制御信号を出力するとともに、絞り１０２２を所定量（例えば開放絞り）だけ駆動するようにレンズＣＰＵ１０６に対して制御信号を出力する。その後、ＣＰＵ２１２は、撮像素子２０８に対して制御信号を出力して撮像素子２０８によるＬＶ表示のための撮像を開始させる。そして、ＬＶ表示のための撮像が完了する毎に、制御回路３０２は、画素部３０３からの画素信号の読み出しを開始させる。なお、画素信号の読み出しに際し、制御回路３０２は、画素部３０３の画素３０３ｃから出力される同一開口（同色）の画素信号を加算させるようにしてもよい。撮像素子２０８から出力された表示画素データは、ＤＲＡＭ２２６に記憶される。
【0051】
ステップＳ１０３において、ＣＰＵ２１２はＬＶ表示を行う。このとき、ＣＰＵ２１２は、画像処理回路２１４に表示画像データを生成させる。これを受けて、画像処理回路２１４は、表示画素データに対して必要な処理を行って表示のための表示画像データを生成する。表示画像データは、同一の画素部３０３に属する受光部ｌｔ、ｒｔ、ｌｂ、ｒｂの画素データを加算平均することで得られる。ＣＰＵ２１２は、画像処理回路２１４で生成された表示画像データに基づいて表示部２２２にＬＶ画像を表示させる。その後、処理は、ステップＳ１２６に移行する。
【0052】
ステップＳ１０４において、ＣＰＵ２１２は、オートフォーカス（ＡＦ）及びＬＶ表示のための撮像と読み出しを行う。ステップＳ１０４のＡＦ及びＬＶ表示のための撮像と読み出し処理については後で詳しく説明する。ここでは、ＡＦのための撮像と読み出しによってＡＦのための焦点検出画素データがＤＲＡＭ２２６に記憶され、ＬＶのための撮像と読み出しによって表示のための表示画素データがＤＲＡＭ２２６に記憶されたものとして説明を続ける。
【0053】
ステップＳ１０５において、ＣＰＵ２１２は、ＬＶ表示を行う。
【0054】
ステップＳ１０６において、ＣＰＵ２１２は、焦点検出回路２１８による焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている焦点検出画素データのうちの対をなす焦点検出画素データを用いて相関演算を行う。水平方向の位相差検出の場合の対をなす焦点検出画素データは左開口画素データｌと右開口画素データｒであり、垂直方向の位相差の検出の場合の対をなす焦点検出画素データは上開口画素データｔと下開口画素データｂである。相関演算の後、焦点検出回路２１８は、焦点検出の信頼性判定を行う。信頼性判定は、例えば画素データから得られるコントラスト、相関演算の結果として算出される相関値に基づいて判定される。
【0055】
ステップＳ１０７において、焦点検出回路２１８は、ピントずれ量演算を行う。すなわち、焦点検出回路２１８は、ステップＳ１０６における信頼性判定の結果、信頼性が高いと判定された焦点検出領域における２像間隔値（相関値の極値に対応した像ずれ量）からフォーカスレンズ１０２１の合焦位置に対するピントずれ量を算出する。その後、処理はステップＳ１０８に移行する。
【0056】
ステップＳ１０８において、焦点検出回路２１８は、フォーカスレンズ１０２１の駆動に用いるフォーカスレンズ位置に対応する焦点検出領域を選択するためのエリア選択処理を行う。エリア選択処理の後、処理はステップＳ１０９に移行する。エリア選択処理は、例えば、最も近い被写体距離に対応した（すなわち最至近の）フォーカスレンズ位置に対応するピントずれ量を示す焦点検出領域を選択することで行われる。
【0057】
ステップＳ１０９において、ＣＰＵ２１２は、フォーカスレンズ１０２１が合焦状態であるか否かを判定する。ステップＳ１０９における判定は、例えばエリア選択処理において選択された焦点検出領域におけるピントずれ量が予め定められた許容範囲内であるか否かを判定することによって行われる。ピントずれ量が許容範囲内であるときには合焦状態であると判定される。ステップＳ１０９において、フォーカスレンズ１０２１が合焦状態でないと判定されたときには処理はステップＳ１１０に移行する。ステップＳ１０９において、フォーカスレンズ１０２１が合焦状態であると判定されたときには処理はステップＳ１１１に移行する。
【0058】
ステップＳ１１０において、ＣＰＵ２１２は、ステップＳ１０８において選択された焦点検出領域について算出されたフォーカスレンズ位置に応じてフォーカスレンズ１０２１が駆動されるよう、レンズＣＰＵ１０６に対して制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けて、駆動部１０４を介してフォーカスレンズ１０２１を駆動する。その後、処理は、ステップＳ１２６へ移行する。
【0059】
ステップＳ１１１において、ＣＰＵ２１２は、ステップＳ１０４と同様のオートフォーカス（ＡＦ）及びＬＶ表示のための撮像と読み出しを行う。ここでは、ＡＦのための撮像と読み出しによって焦点検出画素データがＤＲＡＭ２２６に記憶され、ＬＶのための撮像と読み出しによって表示画素データがＤＲＡＭ２２６に記憶されたものとして説明を続ける。
【0060】
ステップＳ１１２において、ＣＰＵ２１２は、ＬＶ表示を行う。
【0061】
ステップＳ１１３において、ＣＰＵ２１２は、焦点検出回路２１８による焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている焦点検出画素データのうちの対をなす焦点検出画素データを用いて相関演算を行う。相関演算の後、焦点検出回路２１８は、焦点検出の信頼性判定を行う。ステップＳ１１４において、焦点検出回路２１８は、ピントずれ量演算を行う。ステップＳ１１５において、焦点検出回路２１８は、エリア選択処理を行う。
【0062】
ステップＳ１１６において、焦点検出回路２１８は、焦点検出に係る情報を履歴情報として例えばＤＲＡＭ２２６に保存する。焦点検出に係る情報は、例えばステップＳ１１４で算出されたピントずれ量の情報及びステップＳ１１５で選択された焦点検出領域の情報を含む。
【0063】
ステップＳ１１７において、ＣＰＵ２１２は、２ｎｄレリーズスイッチがオンされているか否かを判定する。２ｎｄレリーズスイッチは、例えばユーザによるレリーズボタンの全押し操作に応答してオンの状態となるスイッチである。ステップＳ１１７において、２ｎｄレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ１１８に移行する。ステップＳ１１７において、２ｎｄレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ１２０に移行する。
【0064】
ステップＳ１１８において、ＣＰＵ２１２は、フォーカスレンズ１０２１が合焦状態であるか否かを判定する。ステップＳ１１８において、フォーカスレンズ１０２１が合焦状態でないと判定されたときには処理はステップＳ１１９に移行する。ステップＳ１１８において、フォーカスレンズ１０２１が合焦状態であると判定されたときには処理はステップＳ１２５に移行する。
【0065】
ステップＳ１１９において、ＣＰＵ２１２は、ステップＳ１１５において選択された焦点検出領域について算出されたフォーカスレンズ位置に応じてフォーカスレンズ１０２１が駆動されるよう、レンズＣＰＵ１０６に対して制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けて、駆動部１０４を介してフォーカスレンズ１０２１を駆動する。その後、処理は、ステップＳ１２５に移行する。
【0066】
ステップＳ１２０において、ＣＰＵ２１２は、焦点検出回路２１８よる動体予測演算を実行させる。これを受けて、焦点検出回路２１８は、動体予測演算を行う。動体予測演算は、ステップＳ１１６で記憶させておいた過去のピントずれ量演算の結果（フォーカスレンズ位置）の履歴から今回のフォーカスレンズ１０２１の駆動すべき位置を予測する処理である。
【0067】
ステップＳ１２１において、ＣＰＵ２１２は、静止画取得のための撮像（本露光）を行うために、メカシャッター２０２の動作を開始させる。このメカシャッター２０２の動作は、本露光の前後のメカシャッター２０２の開閉動作と、本露光の後でライブビュー及びＡＦのための撮像を開始するためのメカシャッター２０２の全開動作とを含む。ＣＰＵ２１２は、まず、メカシャッター２０２を全閉状態とするように駆動部２０４の制御信号を切り替える。そして、ステップＳ１２３で本露光を行った後に、ＣＰＵ２１２は、メカシャッター２０２を全開状態とするように駆動部２０４を制御する。
【0068】
ステップＳ１２２において、ＣＰＵ２１２は、レンズＣＰＵ１０６に対してフォーカスレンズ１０２１及び絞り１０２２を同時駆動させるように指示して動作を開始させる。ここで、フォーカスレンズ１０２１の駆動位置は、ステップＳ１２０の動体予測演算において予測された位置である。また、絞り１０２２の開口量は、直前の測光演算によって測定された被写体輝度に基づいて算出された絞り値に応じた開口量である。
【0069】
ステップＳ１２３において、ＣＰＵ２１２は、本露光を開始させる。本露光は、記録用の画像データを取得するための撮像である。本露光において、ＣＰＵ２１２は、撮像素子２０８の撮像を開始させる。露光期間の終了後、制御回路３０２は、撮像素子２０８の各受光部から画素信号を静止画画素信号として読み出す。静止画画素信号の読み出し後、ＣＰＵ２１２は、記録用の画像画素信号を生成するための処理を画像処理回路２１４に行わせる。これを受けて、画像処理回路２１４は、記録用の画像データの生成に必要な処理を行って記録用の静止画データを生成する。画像処理の完了後、ＣＰＵ２１２は、画像圧縮展開部２１６によって記録用の静止画データを圧縮する。圧縮の完了後、ＣＰＵ２１２は、圧縮された記録用の静止画データを画像ファイルとして記録媒体２３０に記録する。
【0070】
ステップＳ１２４において、ＣＰＵ２１２は、レンズＣＰＵ１０６に対して絞り１０２２を開放させるように指示する。
【0071】
ステップＳ１２５において、ＣＰＵ２１２は、１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。ステップＳ１２５において、１ｓｔレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ１１１に戻る。この後、２ｎｄレリーズスイッチがオンの状態であれば連続的に静止画撮影が行われることになる。ステップＳ１２５において、１ｓｔレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ１２６に移行する。
【0072】
ステップＳ１２６おいて、ＣＰＵ２１２は、カメラ本体２００の電源をオフするか否かを判定する。例えば、ユーザの操作部２０６の操作によって電源のオフが指示された場合又は所定時間のユーザの操作部２０６の操作がない場合には電源をオフすると判定される。ステップＳ１２６において、カメラ本体２００の電源をオフしないと判定されたときには、処理はステップＳ１０１に戻る。ステップＳ１２６において、カメラ本体２００の電源をオフすると判定されたときには、処理は終了する。
【0073】
次に、ステップＳ１０４及びステップＳ１１１の処理について説明する。図６は、ステップＳ１０４及びステップＳ１１１のＡＦ及びＬＶ表示のための撮像と読み出し処理を示すフローチャートである。本実施形態では画素信号を高速で読み出す必要がある場合と画素信号を高速で読み出すよりも焦点検出性能が重視される場合とで異なる撮像及び読み出しが行われる。
【0074】
ステップＳ２０１において、制御回路３０２は、高速読み出し条件を満たすか否かを判定する。高速読み出し条件を満たすか否かの判定は、例えばＣＰＵ２１２から送られてくる情報に基づいて判定される。この情報は、連写速度の設定、絞り値、被写体輝度、ピント合わせの結果の履歴を含む。例えば、以下の（１）－（３）の条件をすべて満たす又は（４）の条件を満たすときには高速読み出し条件を満たすと判定される。ステップＳ２０１において、高速読み出し条件を満たすと判定されたときには、処理はステップＳ２０２に移行する。ステップＳ２０１において、高速読み出し条件を満たさないと判定されたときには、処理はステップＳ２０３に移行する。
（１） 連写速度（フレームレート）が所定値以上
（２） 絞り値（Ｆナンバー）が所定値以下
（３） 被写体輝度が所定値以上
（４） 所定回数連続してピントずれ量を検出できない
（１）の条件である連写速度は、連写の間隔に対応している。本露光のフレームレートが高い、すなわち連写の間隔が短い場合には、ＡＦのための露光時間を短くしつつ、高速読み出をすることによってＡＦにかかる時間を短縮することが望ましい。（２）の条件である絞り値は、例えばＦナンバーによって表される。絞り値が所定値以下であれば、明るい像を取得しやすくなるので、ＡＦのための露光時間が短くなっても焦点検出性能が確保され得る。（３）の条件である被写体輝度が所定値以上であれば、明るい像を取得しやすくなるので、ＡＦのための露光時間が短くなっても焦点検出性能が確保され得る。なお、被写体輝度については、少なくともエリア選択処理で選択された焦点検出領域における被写体輝度が所定値以上であるか否かを判定する必要がある。全焦点検出領域における被写体輝度が所定値以上であるか否かを判定してもよいし、エリア選択処理で選択された焦点検出領域を含む周辺の焦点検出領域における被写体輝度が所定値以上であるか否かを判定してもよい。（４）の条件であるピントずれ量を検出できたか否かの判定は、例えば各焦点検出領域における被写体のコントラストが低い場合又は相関値の極小値が大きい場合といった信頼性がないと判定されたときにはピントずれ量を検出できなかったと判定される。
（１） 連写速度（フレームレート）が所定値以上
（２） 絞り値（Ｆナンバー）が所定値以下
（３） 被写体輝度が所定値以上
（４） 所定回数連続してピントずれ量を検出できない
（１）の条件である連写速度は、連写の間隔に対応している。本露光のフレームレートが高い、すなわち連写の間隔が短い場合には、ＡＦのための露光時間を短くしつつ、高速読み出をすることによってＡＦにかかる時間を短縮することが望ましい。（２）の条件である絞り値は、例えばＦナンバーによって表される。絞り値が所定値以下であれば、明るい像を取得しやすくなるので、ＡＦのための露光時間が短くなっても焦点検出性能が確保され得る。（３）の条件である被写体輝度が所定値以上であれば、明るい像を取得しやすくなるので、ＡＦのための露光時間が短くなっても焦点検出性能が確保され得る。なお、被写体輝度については、少なくともエリア選択処理で選択された焦点検出領域における被写体輝度が所定値以上であるか否かを判定する必要がある。全焦点検出領域における被写体輝度が所定値以上であるか否かを判定してもよいし、エリア選択処理で選択された焦点検出領域を含む周辺の焦点検出領域における被写体輝度が所定値以上であるか否かを判定してもよい。（４）の条件であるピントずれ量を検出できたか否かの判定は、例えば各焦点検出領域における被写体のコントラストが低い場合又は相関値の極小値が大きい場合といった信頼性がないと判定されたときにはピントずれ量を検出できなかったと判定される。
【0075】
ステップＳ２０１において高速読み出し条件を満たすと判定されたときのステップＳ２０２において、制御回路３０２は、高速動作を行う。高速動作の終了後、処理は終了する。
【0076】
以下、高速動作について説明する。図７は、高速動作について説明するためのタイミングチャートである。ここで、図７の「ＶＤ」は、制御回路３０２に入力される同期信号（垂直同期信号）のタイミングを示している。ＶＤ（１）はＡＦのための撮像と読み出しとを含む第１の動作のタイミングを示す垂直同期信号であり、ＶＤ（２）はＬＶ表示のための撮像と読み出しとを含む第２の動作のタイミングを示す垂直同期信号である。高速動作において、第１の動作と第２の動作とは、垂直同期信号の入力に応じて交互に行われる。そして、第１の動作と第２の動作とは１フレームの間に１回ずつ行われる。この場合、ステップＳ１０４及びＳ１１１の処理は１フレーム毎に行われる。なお、１フレームの長さは、ＬＶ表示の画面の更新間隔及び連写時の連写間隔を示す連写速度等に応じて決められる。以下、高速動作における第１の動作及び第２の動作のそれぞれについて詳しく説明する。
【0077】
まず、高速動作における第１の動作について説明する。図７のＡＦ（ｒｌ）で示す第１の動作は、第１の瞳分割方向に関する焦点検出画素信号の生成と読み出しのための動作である。第１の瞳分割方向は、例えば画素部３０３の水平方向である。第１の動作に先立って、制御回路３０２は、画素部３０３から左開口画素信号ｌ（Ｒｌ、Ｇｒｌ、Ｇｂｌ、Ｂｌ）と右開口画素信号ｒ（Ｒｒ、Ｇｒｒ、Ｇｂｒ、Ｂｒ）とが出力されるように画素部３０３の設定を切り替える。また、制御回路３０２は、画素信号の読み出し時間の短縮とＳ／Ｎの向上とを図るために、画素部３０３の間の画素加算の設定を行う。
【0078】
ここで、画素加算の設定について説明する。以下の説明において、画素部３０３における画素加算の設定は、ｎ／ｍに、水平方向を表す「Ｈ」又は垂直方向を表す「Ｖ」を付して表すこととする。ここで、ｎは加算に用いられる画素信号の数である。また、ｍは加算の対象となる画素信号の数である。例えば、Ｖ１／９画素加算の場合、垂直方向に並ぶ９個の同一開口の画素信号のうちの１個を加算する、すなわち９個のうちの１個の画素信号だけを読み出し、残りの８個を間引くことを表す。また、Ｖ５／９画素加算の場合、垂直方向に並ぶ９個の同一開口の画素信号のうちの５個を加算して読み出し、残りの４個を間引くことを示す。また、Ｈ１／１画素加算の場合、水平方向については加算及び間引きをせずに画素信号を読み出すことを示す。
【0079】
図８は、高速動作における第１の動作の画素加算の設定の例を示している。図８に示す第１の動作では、第１の瞳分割方向である水平方向については加算が行われずに、第２の瞳分割方向である垂直方向についてだけ加算が行われるように設定がされる。図８の例では、水平方向については同一開口（左開口同士又は右開口同士）の画素信号を１／１画素加算（すなわち加算なしに）するように設定され、垂直方向については同一開口（左開口同士又は右開口同士）の画素信号を５／９画素加算するように設定されている。画素信号の加算数は例えばフレームレートに応じて適宜に設定される。
【0080】
図８の設定により、画素信号の行数が圧縮される。画素信号の行数が減ることにより、画素信号の読み出し時間は短縮される。一方で、画素信号の列数は変わらないので水平方向の位相差の検出精度を確保することができる。さらに、後で説明するように、高速動作における第２の動作では、表示の際の表示品位の確保のために第２の瞳分割方向に関する焦点検出画素信号の生成と読み出しが行われない。このため、高速動作においては第１の動作で得られる焦点検出画素信号のみで被写体に対する焦点検出が行われる。ここで、高速動作における第１の動作においては、垂直方向の加算数は５画素以下に抑えられる。このように垂直方向の加算数が抑えられることにより、画素信号においては垂直方向の位相差の情報が残ることになる。このような画素信号に基づいて生成される焦点検出画素信号は、実質的に斜め方向の位相差の情報を有することになる。なお、図８の例では、垂直方向については５個の画素信号が加算されるように設定されているが、垂直方向の加算数は５画素以下であればよい。
【0081】
図８のような設定の後、ＣＰＵ２１２は、撮像素子２０８に対して焦点検出画素信号を生成するために必要な露光時間での撮像を行うように制御信号を出力する。この露光時間は、被写体輝度等に基づいて設定される。
【0082】
ＣＰＵ２１２からの制御信号の入力を受けて、制御回路３０２は、画素部３０３の行毎に撮像（電荷の蓄積）を開始させる。そして、制御回路３０２は、垂直走査回路３０４を制御し、撮像が完了した行の画素部３０３から順次に画素信号を出力させる。
【0083】
ここで、水平方向の位相差の検出は、例えばＧｒの左開口画素信号Ｇｒｌと右開口画素信号Ｇｒｒの対及びＧｂの左開口画素信号Ｇｂｌと右開口画素信号Ｇｂｒの対を用いて行われる。すなわち、Ｒの左開口画素信号Ｒｌと右開口画素信号Ｒｒの対及びＢの左開口画素信号Ｂｌと右開口画素信号Ｂｒの対は必ずしも読み出される必要はない。したがって、読み出しの際には、図９に示すようにして左開口画素信号Ｇｒｌと右開口画素信号Ｇｒｒの対及び左開口画素信号Ｇｂｌと右開口画素信号Ｇｂｒの対だけが詰めて読み出されてもよい。勿論、左開口画素信号Ｒｌと右開口画素信号Ｒｒの対及び左開口画素信号Ｇｂｌと右開口画素信号Ｇｂｒの対も併せて読み出されてもよい。
【0084】
画素部３０３から読み出された画素信号は、アナログ処理回路３０５においてアナログ処理される。アナログ処理された画素信号は、ＡＤＣ処理回路３０６においてデジタル信号である画素データに変換される。画素データは、メモリ回路３０７に記憶される。前述したように、図８で示した加算は、メモリ回路３０７において行われてもよい。
【0085】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成し、生成した画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。この画素データ列は、例えば図９に示すようにしてＤＲＡＭ２２６に記憶される。このようにして第１の動作は完了する。
【0086】
第１の動作によってＤＲＡＭ２２６に記憶された画素データ列は、ピントずれ量算出のための相関演算に用いられる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている左開口画素データＧｒｌと右開口画素データＧｒｒの対及び左開口画素データＧｂｌと右開口画素データＧｂｒの対を用いて相関演算を行う。
【0087】
次に、高速動作における第２の動作について説明する。図７のＬＶで示す第２の動作は、表示画素信号の生成と読み出し（ＬＶ）のための動作である。高速動作では、後で説明するような第２の瞳分割方向に関する焦点検出画素信号の生成と読み出しは行われない。第２の動作に先立って、制御回路３０２は、画素部３０３から上開口画素信号ｔ（Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔ）と下開口画素信号ｂ（Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂ）とが出力されるように画素部３０３の設定を切り替える。また、制御回路３０２は、画素信号の読み出し時間の短縮を図るために、画素部３０３の間の画素加算の設定を行う。
【0088】
図１０は、高速動作における第２の動作の画素加算の設定の例を示している。高速動作における第２の動作では、画素信号は、表示画素信号の生成にだけ用いられる。表示画像データは、同一の画素部３０３に属する受光部ｌｔ、ｒｔ、ｌｂ、ｒｂの画素データを加算平均することで得られる。したがって、制御回路３０２は、上下開口画素信号ｔ及びｂ（図の「＋」で結ばれている画素信号）を加算して画素部３０３から出力させるように設定する。また、制御回路３０２は、画素信号の読み出し時間の短縮を図るために、画素部３０３の間の画素加算の設定を行う。図１０に示すように、高速動作における第２の動作では、第１の瞳分割方向である水平方向及び第２の瞳分割方向である垂直方向の両方で加算が行われるように設定がされる。図１０の例では、水平方向についてはＨ３／３画素加算するように、また、垂直方向についてはＶ３／３画素加算するように設定されている。
【0089】
図１０の設定により、画素信号の行数及び列数はそれぞれ約３分の１に圧縮される。画素信号の行数及び列数が減ることにより、画素信号の読み出し時間は短縮される。なお、画素信号の加算数はこれに限定されない。ただし、第２の動作では、画素信号の加算数が多くなると表示の際の画質は劣化する。したがって、画素信号の加算数は、表示の際の画質と読み出し時間（フレームレート）とのトレードオフによって適宜に決められることが望ましい。なお、図１０では、制御回路３０２は、上下開口画素信号ｔ及びｂ（図の「＋」で結ばれている画素信号）を加算して画素部３０３から出力させるように設定されているが、左右開口画素信号ｌ及びｒを加算して画素部３０３から出力させるように設定してもよい。また、制御回路３０２は、全開口画素信号を画素部３０３から出力させるように設定され、図１０における「＋」で結ばれた画素信号を加算した画素信号を、画素部３０３から出力させてもよい。
【0090】
図１０のような設定の後、ＣＰＵ２１２は、撮像素子２０８に対して表示画素信号を生成するために必要な露光時間での撮像を行うように制御信号を出力する。この露光時間は、被写体輝度等に基づいて設定される。
【0091】
ＣＰＵ２１２からの制御信号の入力を受けて、制御回路３０２は、画素部３０３の行毎に撮像（電荷の蓄積）を開始させる。そして、制御回路３０２は、垂直走査回路３０４を制御し、撮像が完了した行の画素部３０３から順次に画素信号を出力させる。
【0092】
画素部３０３から読み出された画素信号は、アナログ処理回路３０５においてアナログ処理される。アナログ処理された画素信号は、ＡＤＣ処理回路３０６においてデジタル信号である画素データに変換される。画素データは、メモリ回路３０７に記憶される。第２の動作では、表示画像データのためＲ、Ｇｒ、Ｇｂ、Ｂの画素信号が必要となる。このため、メモリ回路３０７には、上開口画素信号Ｒｔと下開口画素信号Ｒｂの加算信号である画素信号Ｒ、上開口画素信号Ｇｒｔと下開口画素信号Ｇｒｂの加算信号である画素信号Ｇｒ、上開口画素信号Ｇｂｔと下開口画素信号Ｇｂｂの加算信号である画素信号Ｇｂ、上開口画素信号Ｂｔと下開口画素信号Ｂｂの加算信号である画素信号Ｂのそれぞれが詰められずに記憶される。
【0093】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成し、生成した画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。この画素データ列は、例えば図１１に示すようにしてＤＲＡＭ２２６に記憶される。このようにして第２の動作は完了する。
【0094】
第２の動作によってＤＲＡＭ２２６に記憶された画素データ列は、ＬＶ表示に用いられる。画像処理回路２１４は、ＤＲＡＭ２２６に記憶された画素データＲ、Ｇｒ、Ｇｂ、Ｂから表示画像データを生成する。
【0095】
以上のような高速動作では、読み出し時間が短縮され得る。また、高速動作における第２の動作では、焦点検出画素信号の生成と読み出しは行われない。したがって、第２の動作では、焦点検出画素信号の生成と読み出しの分の時間を表示画素信号のための生成と読み出しに使用することができる。このため、高速動作を可能としつつ、表示の品質を高く保つことができる。一方で、第１の動作において垂直方向の加算数が抑えられていることにより、水平方向の位相差検出だけで精度よく被写体の焦点検出を行うことができる。
【0096】
ここで、図６の説明に戻る。ステップＳ２０１において高速読み出し条件を満たさないと判定されたときのステップＳ２０３において、制御回路３０２は、低輝度動作を行う。低輝度動作の終了後、処理は終了する。
【0097】
以下、低輝度動作について説明する。図１２は、低輝度動作について説明するためのタイミングチャートである。ここで、図１２の「ＶＤ」は、図７と同様に制御回路３０２に入力される同期信号（垂直同期信号）のタイミングを示している。ＶＤ（１）はＡＦのための撮像と読み出しとを含む第１の動作のタイミングを示す垂直同期信号であり、ＶＤ（２）はＬＶ表示のための撮像と読み出しとを含む第２の動作のタイミングを示す垂直同期信号である。低輝度動作においても、第１の動作と第２の動作とは、垂直同期信号の入力に応じて交互に行われる。そして、第１の動作と第２の動作とは１フレームの間に１回ずつ行われる。この場合、ステップＳ１０４及びＳ１１１の処理は１フレーム毎に行われる。以下、低輝度動作における第１の動作及び第２の動作のそれぞれについて詳しく説明する。
【0098】
まず、低輝度動作における第１の動作について説明する。図１２のＡＦ（ｒｌ）で示す第１の動作は、高速動作における第１の動作と同様の第１の瞳分割方向に関する焦点検出画素信号の生成と読み出しのための動作である。第１の動作に先立って、制御回路３０２は、画素部３０３から左開口画素信号ｌ（Ｒｌ、Ｇｒｌ、Ｇｂｌ、Ｂｌ）と右開口画素信号ｒ（Ｒｒ、Ｇｒｒ、Ｇｂｒ、Ｂｒ）とが出力されるように画素部３０３の設定を切り替える。また、制御回路３０２は、画素信号の読み出し時間の短縮を図るために、画素部３０３の間の画素加算の設定を行う。
【0099】
図１３は、低輝度動作における第１の動作の画素加算の設定の例を示している。図１３に示すように、第１の動作では、第１の瞳分割方向である水平方向については加算が行われずに、第２の瞳分割方向である垂直方向についてだけ加算が行われるように設定がされる。図１３の例では、水平方向については同一開口（左開口同士又は右開口同士）の画素信号をＨ１／１画素加算するように設定され、垂直方向については同一開口（左開口同士又は右開口同士）の画素信号をＶ９／９画素加算するように設定される。なお、垂直方向の画素信号の加算数は例えばフレームレートに応じて適宜に設定される。
【0100】
図１３の設定により、画素信号の行数が９分の１に圧縮される。画素信号の行数が減ることにより、画素信号の読み出し時間は短縮される。一方で、画素信号の列数は変わらないので水平方向の位相差の検出精度は確保される。さらに、後で説明するように、低輝度動作における第２の動作では、第２の瞳分割方向に関する焦点検出画素信号の生成と読み出しが行われる。このため、低輝度動作における第１の動作では、水平方向の位相差を精度よく検出できればよい。したがって、低輝度動作における第１の動作では、垂直方向の加算数を多くすることでＳ／Ｎの向上が図られている。
【0101】
図１３のような設定の後、ＣＰＵ２１２は、撮像素子２０８に対して焦点検出画素信号を生成するために必要な露光時間での撮像を行うように制御信号を出力する。この露光時間は、被写体輝度等に基づいて設定される。
【0102】
ＣＰＵ２１２からの制御信号の入力を受けて、制御回路３０２は、画素部３０３の行毎に撮像（電荷の蓄積）を開始させる。そして、制御回路３０２は、垂直走査回路３０４を制御し、撮像が完了した行の画素部３０３から順次に画素信号を出力させる。
【0103】
ここで、水平方向の位相差の検出は、例えばＧｒの左開口画素信号Ｇｒｌと右開口画素信号Ｇｒｒの対及びＧｂの左開口画素信号Ｇｂｌと右開口画素信号Ｇｂｒの対を用いて行われる。すなわち、Ｒの左開口画素信号Ｒｌと右開口画素信号Ｒｒの対及びＢの左開口画素信号Ｂｌと右開口画素信号Ｂｒの対は必ずしも読み出される必要はない。一方で、図１４に示すように、左開口画素信号Ｒｌと右開口画素信号Ｒｒの対及び左開口画素信号Ｇｂｌと右開口画素信号Ｇｂｒの対も併せて読み出されてもよい。
【0104】
画素部３０３から読み出された画素信号は、アナログ処理回路３０５においてアナログ処理される。アナログ処理された画素信号は、ＡＤＣ処理回路３０６においてデジタル信号である画素データに変換される。画素データは、メモリ回路３０７に記憶される。前述したように、図１３で示した加算は、メモリ回路３０７において行われてもよい。さらには、低輝度動作の第１の動作においては、撮像素子２０８から読み出された垂直方向に隣接する同一開口の画素データが、例えばメモリ回路３０７においてさらに加算されてもよい。これにより、さらなるＳ／Ｎの向上が図られる。
【0105】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成し、生成した画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。この画素データ列は、例えば図１４に示すようにしてＤＲＡＭ２２６に記憶される。このようにして第１の動作は完了する。
【0106】
第１の動作によってＤＲＡＭ２２６に記憶された画素データ列は、ピントずれ量算出のための相関演算に用いられる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている左開口画素データＧｒｌと右開口画素データＧｒｒの対及び左開口画素データＧｂｌと右開口画素データＧｂｒの対を用いて相関演算を行う。
【0107】
次に、低輝度動作における第２の動作について説明する。図７のＬＶで示す第２の動作は、表示画素信号の生成と読み出し（ＬＶ）を主とした動作である。ただし、本実施形態では、第２の動作において第２の瞳分割方向に関する焦点検出画素信号の生成と読み出し（ＡＦ（ｔｂ））も行われる。第２の動作に先立って、制御回路３０２は、画素部３０３から上開口画素信号ｔ（Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔ）と下開口画素信号ｂ（Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂ）とが出力されるように画素部３０３の設定を切り替える。また、制御回路３０２は、画素信号の読み出し時間の短縮を図るために、画素部３０３の間の画素加算の設定を行う。
【0108】
図１５は、低輝度動作における第２の動作の画素加算の設定の例を示している。第２の動作では、第１の瞳分割方向である水平方向及び第２の瞳分割方向である垂直方向の両方で加算が行われるように設定がされる。図１５の例では、水平方向についてはＨ３／３画素加算するように、また、垂直方向についてはＶ３／３画素加算するように設定されている。なお、低輝度動作における第２の動作では、水平方向については３≦ｎ≦５、かつ、３≦ｍ≦５、かつ、ｎ≦ｍであることが望ましく、垂直方向については１≦ｎ≦３、かつ、１≦ｍ≦３、かつ、ｎ≦ｍであることが望ましい。前述した高速動作の第１の動作と同様に、画素の加算数が５画素以下に抑えられることで垂直方向の位相差の検出精度を確保することができる。
【0109】
図１５の設定により、画素信号の行数及び列数はそれぞれ約３分の１に圧縮される。画素信号の行数及び列数が減ることにより、画素信号の読み出し時間は短縮される。なお、画素信号の加算数はこれに限定されない。ただし、第２の動作では、画素信号の加算数が多くなると表示の際の画質は劣化する。また、垂直方向の画素信号の加算数が多くなると、垂直方向の位相差の検出精度も低下する。したがって、画素信号の加算数は、読み出し時間と表示の際の画質及び垂直方向の位相差の検出精度とのトレードオフによって適宜に決められることが望ましい。
【0110】
図１５のような設定の後、ＣＰＵ２１２は、撮像素子２０８に対して焦点検出画素信号を生成するために必要な露光時間での撮像を行うように制御信号を出力する。この露光時間は、被写体輝度等に基づいて設定される。
【0111】
ＣＰＵ２１２からの制御信号の入力を受けて、制御回路３０２は、画素部３０３の行毎に撮像（電荷の蓄積）を開始させる。そして、制御回路３０２は、垂直走査回路３０４を制御し、撮像が完了した行の画素部３０３から順次に画素信号を出力させる。
【0112】
画素部３０３から読み出された画素信号は、アナログ処理回路３０５においてアナログ処理される。アナログ処理された画素信号は、ＡＤＣ処理回路３０６においてデジタル信号である画素データに変換される。画素データは、メモリ回路３０７に記憶される。第２の動作では、表示画像データのためＲ、Ｇｒ、Ｇｂ、Ｂの画素信号が必要となる。このため、メモリ回路３０７には、上開口画素信号Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔと下開口画素信号Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂのそれぞれが詰められずに記憶される。
【0113】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成し、生成した画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。この画素データ列は、例えば図１６に示すようにしてＤＲＡＭ２２６に記憶される。このようにして第２の動作は完了する。
【0114】
第２の動作によってＤＲＡＭ２２６に記憶された画素データ列は、ＬＶ表示に用いられる。前述したように、表示画像データは、同一の画素部３０３に属する受光部ｌｔ、ｒｔ、ｌｂ、ｒｂの画素データを加算平均することで得られる。したがって、画像処理回路２１４は、上開口画素データｔ（Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔ）と下開口画素データｂ（Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂ）とを加算平均して表示画像データを生成する。
【0115】
また、第２の動作によってＤＲＡＭ２２６に記憶された画素データ列は、ピントずれ量算出のための相関演算に用いられる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている上開口画素データＧｒｔ及び下開口画素データＧｒｂの対を用いて相関演算を行う。また、焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている上開口画素データＧｂｔ及び下開口画素データＧｂｂの対を用いて相関演算を行う。すなわち、上下開口画素データＧｒｔ、Ｇｒｂ、Ｇｂｔ、Ｇｂｂは、ＤＲＡＭ２２６から２回読み出される。
【0116】
以上のような低輝度動作では、水平方向及び垂直方向の両方で位相差検出を行うことができる。このため、第１の動作では、垂直方向の加算数を多くすることで、低輝度下であっても、水平方向の位相差の検出精度を確保することができる。また、第２の動作では、表示のための画素信号の読み出し時間を確保しながら、垂直方向の位相差の検出精度を確保することができる。
【0117】
以上説明したように本実施形態では、高速動作が要求される場合の第１の動作では、第１の瞳分割方向については画素信号の加算をせずに、第２の瞳分割方向についてだけ画素信号の加算をすることで第１の瞳分割方向についての焦点検出性能を確保することができる。また、第２の瞳分割方向についての画素信号の加算数を所定画素数以下に抑えることにより、第１の動作において実質的に第２の瞳分割方向についての焦点検出も含まれた斜め方向の焦点検出を行うことができる。その上で、第２の動作においては焦点検出のための画素信号の生成及び読み出しを行わないようにすることでライブビュー表示のための時間を確保することができる。
【0118】
また、低輝度における焦点検出性能が要求される場合の第１の動作では、第１の瞳分割方向については画素信号の加算をせずに、第２の瞳分割方向についてだけ画素信号の加算を適宜に設定することで第１の瞳分割方向についての焦点検出性能を確保することができる。また、第２の動作においては第２の瞳分割方向についての画素信号の加算数を所定画素数以下に抑えることによりライブビュー表示のための時間を確保しつつ、第２の瞳分割方向についての焦点検出性能を確保することができる。
【0119】
以上のようにして本実施形態では、連写中において位相差方式の焦点検出性能を確保しながら、ライブビュー表示のための時間も確保することができる。
【0120】
［変形例］
前述した実施形態では、第１の瞳分割方向を水平方向とし、第２の瞳分割方向を垂直方向としている。逆に、第１の瞳分割方向を垂直方向とし、第２の瞳分割方向を水平方向としてもよい。この場合、第１の動作においては上下開口画素信号が出力されるように画素部３０３の設定がなされるとともに、第２の動作においては左右開口画素信号が出力されるように画素部３０３の設定がなされる。
前述した実施形態では、第１の瞳分割方向を水平方向とし、第２の瞳分割方向を垂直方向としている。逆に、第１の瞳分割方向を垂直方向とし、第２の瞳分割方向を水平方向としてもよい。この場合、第１の動作においては上下開口画素信号が出力されるように画素部３０３の設定がなされるとともに、第２の動作においては左右開口画素信号が出力されるように画素部３０３の設定がなされる。
【0121】
また、前述した実施形態では、画素部３０３における画素加算の設定等は、撮像素子２０８の内部に設けられた制御回路３０２によって行われる。制御回路３０２は、撮像素子２０８の外部に設けられていてもよい。この場合、例えばＣＰＵ２１２が制御回路３０２と同じ処理を実行できるように構成されていてもよい。
【0122】
また、前述した第１の動作では、第２の瞳分割方向である垂直方向に並ぶ同一開口の画素信号を加算してから画素部３０３から出力させることによって読み出し時間の短縮を図っている。これに対し、画素信号を間引いて読み出すことでも読み出し時間は短縮され得る。
【0123】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0124】
また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【0125】
また、上述した実施形態による各処理は、コンピュータであるＣＰＵ２１２又は制御回路３０２に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２１２又は制御回路３０２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【0126】
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0127】
１ 撮像装置、１００ 交換式レンズ、１０２ 撮像光学系、１０４ 駆動部、１０６ レンズＣＰＵ、１０８ レンズ側記憶部、１１０ インターフェイス（Ｉ／Ｆ）、２００ カメラ本体、２０２ メカシャッター、２０４ 駆動部、２０６ 操作部、２０８ 撮像素子、２１０ 手振れ補正回路、２１２ ＣＰＵ、２１４ 画像処理回路、２１６ 画像圧縮展開部、２１８ 焦点検出回路、２２０ 露出制御回路、２２２ 表示部、２２４ バス、２２６ ＤＲＡＭ、２２８ 本体側記憶部、２３０ 記録媒体、３０１ 入力回路、３０２ 制御回路、３０３ 画素部、３０３ａ マイクロレンズ、３０３ｂ カラーフィルタ、３０３ｃ 画素、３０４ 垂直走査回路、３０５ アナログ処理回路、３０６ アナログデジタル変換（ＡＤＣ）処理回路、３０７ メモリ回路、３０８ 水平走査回路、３０９ 出力回路、１０２１ フォーカスレンズ、１０２２ 絞り。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
