知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023121622
(43)【公開日】2023-08-31
(54)【発明の名称】検出装置および検出方法
(51)【国際特許分類】
H04N 25/70 20230101AFI20230824BHJP
G02B 7/34 20210101ALI20230824BHJP
G03B 13/36 20210101ALI20230824BHJP
H04N 25/46 20230101ALI20230824BHJP
H04N 23/54 20230101ALI20230824BHJP
【ＦＩ】
H04N5/369
G02B7/34
G03B13/36
H04N5/347
H04N5/225 300
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022025068
(22)【出願日】2022-02-21
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＥＲＩＬＯＧ
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100109209
【弁理士】
【氏名又は名称】小林 一任
(72)【発明者】
【氏名】菊地 哲央
(72)【発明者】
【氏名】畠山 陵
(72)【発明者】
【氏名】山崎 幸恵
【テーマコード（参考）】
2H011
2H151
5C024
5C122
【Ｆターム（参考）】
2H011BA23
2H151BA06
2H151BA17
2H151CB09
5C024CY47
5C024EX13
5C024EX43
5C024EX52
5C024GX03
5C024GX07
5C024GY31
5C024HX28
5C122DA13
5C122EA06
5C122FB05
5C122FB16
5C122FC06
5C122FC10
5C122FD07
5C122HA46
5C122HA88
5C122HB01
5C122HB02
5C122HB05
5C122HB10
(57)【要約】
【課題】ポテンシャル障壁を低く設定した画素を用いて検出する場合においても、検出精度が低下しないようにした検出装置および検出方法を提供する。
【解決手段】マイクロレンズに対応する複数の受光部を有する画素を複数備え、画素は複数の位相差検出方向に応じて受光部の間のポテンシャル障壁の高さを異ならせている撮像素子を具備している。撮像素子へ特定の位相差検出方向を指示して撮像素子の蓄積動作を実行させ（Ｓ９）、位相差検出方向に応じて異なる蓄積判定レベルを設定し、加算信号と蓄積判定レベルに基づいて撮像素子の蓄積動作を制御する（Ｓ５、Ｓ１７）。そして、ポテンシャル障壁がより低い位相差検出方向の指示による蓄積動作により生成された対をなす加算信号を複数の画素について画素加算することで対をなす画素加算信号を生成し、この対をなす画素加算信号を上述の加算信号として位相差を検出する（Ｓ１３）。
【選択図】 図１２Ａ
【解決手段】マイクロレンズに対応する複数の受光部を有する画素を複数備え、画素は複数の位相差検出方向に応じて受光部の間のポテンシャル障壁の高さを異ならせている撮像素子を具備している。撮像素子へ特定の位相差検出方向を指示して撮像素子の蓄積動作を実行させ（Ｓ９）、位相差検出方向に応じて異なる蓄積判定レベルを設定し、加算信号と蓄積判定レベルに基づいて撮像素子の蓄積動作を制御する（Ｓ５、Ｓ１７）。そして、ポテンシャル障壁がより低い位相差検出方向の指示による蓄積動作により生成された対をなす加算信号を複数の画素について画素加算することで対をなす画素加算信号を生成し、この対をなす画素加算信号を上述の加算信号として位相差を検出する（Ｓ１３）。
【選択図】 図１２Ａ
【特許請求の範囲】
【請求項1】
マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して対をなす加算信号を出力することが可能であって、上記画素は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせている撮像素子と、
上記対をなす加算信号に基づく位相差を検出する制御部と、
を具備し、
上記制御部は、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、
上記撮像素子は、上記ポテンシャル障壁がより低い位相差検出方向の指示による上記蓄積動作によって生成された上記対をなす加算信号を上記複数の画素について画素加算することで対をなす画素加算信号を生成し、
上記制御部は、上記画素加算信号を上記加算信号として上記位相差を検出する、
ことを特徴とする検出装置。
上記対をなす加算信号に基づく位相差を検出する制御部と、
を具備し、
上記制御部は、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、
上記撮像素子は、上記ポテンシャル障壁がより低い位相差検出方向の指示による上記蓄積動作によって生成された上記対をなす加算信号を上記複数の画素について画素加算することで対をなす画素加算信号を生成し、
上記制御部は、上記画素加算信号を上記加算信号として上記位相差を検出する、
ことを特徴とする検出装置。
【請求項2】
上記撮像素子は、上記対をなす加算信号を、上記位相差検出方向と異なる方向に画素加算して上記対をなす画素加算信号を生成することを特徴とする請求項１に記載の検出装置。
【請求項3】
上記撮像素子は、上記対をなす加算信号を、上記位相差検出方向と同じ方向に画素加算して上記対をなす画素加算信号を生成することを特徴とする請求項２に記載の検出装置。
【請求項4】
上記制御部は、上記画素加算に応じて上記蓄積判定レベルを補正し、上記画素加算信号と上記補正された蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御することを特徴とする請求項１に記載の検出装置。
【請求項5】
上記撮像素子は、上記画素毎に所定の規則によって配置される複数の異なる色フィルタを有し、同色の上記色フィルタに対応する加算信号を加算して上記対をなす画素加算信号を生成することを特徴とする請求項１に記載の検出装置。
【請求項6】
マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して対をなす加算信号を出力することが可能であって、上記画素は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせている撮像素子と、
上記対をなす加算信号に基づく位相差を検出する制御部と、
を具備し、
上記制御部は、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、
上記撮像素子は、上記位相差検出方向の指示に応じて上記蓄積動作によって生成された上記対をなす加算信号を、上記位相差検出方向の指示に応じて異なる画素加算の態様によって上記複数の画素について画素加算することで対をなす画素加算信号を生成し、
上記制御部は、上記画素加算信号を上記加算信号として上記位相差を検出する
ことを特徴とする検出装置。
上記対をなす加算信号に基づく位相差を検出する制御部と、
を具備し、
上記制御部は、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、
上記撮像素子は、上記位相差検出方向の指示に応じて上記蓄積動作によって生成された上記対をなす加算信号を、上記位相差検出方向の指示に応じて異なる画素加算の態様によって上記複数の画素について画素加算することで対をなす画素加算信号を生成し、
上記制御部は、上記画素加算信号を上記加算信号として上記位相差を検出する
ことを特徴とする検出装置。
【請求項7】
上記制御部は、同一の上記位相差検出方向を指示して上記撮像素子の蓄積動作を所定回数だけ実行させ、上記所定回数が２以上の場合は上記所定回数の上記蓄積動作に対応する上記加算信号同士を画素加算して上記画素加算信号を生成し、
上記異なる画素加算の態様として上記位相差検出方向に応じて上記所定回数を異ならせることを特徴とする請求項６に記載の検出装置。
上記異なる画素加算の態様として上記位相差検出方向に応じて上記所定回数を異ならせることを特徴とする請求項６に記載の検出装置。
【請求項8】
上記撮像素子は、上記異なる画素加算の態様として、上記指示された位相差検出方向に応じて画素加算する上記複数の画素の数または範囲を異ならせて上記画素加算信号を生成することを特徴とする請求項６に記載の検出装置。
【請求項9】
上記制御部は、上記ポテンシャル障壁がより高い位相差検出方向を優先して上記撮像素子の蓄積動作を実行する第１の撮像駆動モードと、上記ポテンシャル障壁がより低い位相差検出方向を優先して蓄積動作を実行する第２の撮像駆動モードとを選択する撮像駆動モード選択部を有し、
上記制御部は、上記撮像駆動モード選択部によって上記第１の撮像駆動モードの蓄積動作を実行させ、上記ポテンシャル障壁がより高い位相差検出方向の検出結果が所定条件を満たす場合に、上記第２の撮像駆動モードによる蓄積動作を実行させ上記ポテンシャル障壁がより低い位相差検出方向の検出を行うことを特徴とする請求項６に記載の検出装置。
上記制御部は、上記撮像駆動モード選択部によって上記第１の撮像駆動モードの蓄積動作を実行させ、上記ポテンシャル障壁がより高い位相差検出方向の検出結果が所定条件を満たす場合に、上記第２の撮像駆動モードによる蓄積動作を実行させ上記ポテンシャル障壁がより低い位相差検出方向の検出を行うことを特徴とする請求項６に記載の検出装置。
【請求項10】
上記所定条件は、上記ポテンシャル障壁がより高い位相差検出方向の位相差検出が連続して複数回検出不能な場合で、かつ、上記ポテンシャル障壁がより低い位相差検出方向の位相差検出が連続して複数回検出可能な場合であることを特徴とする請求項９に記載の検出装置。
【請求項11】
上記制御部は、上記第１の撮像駆動モードでは、上記ポテンシャル障壁がより高い位相差検出方向を指示して上記撮像素子の蓄積動作を複数回実行させ、続いて上記ポテンシャル障壁がより低い位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記ポテンシャル障壁がより高い位相差検出方向の上記複数回の蓄積動作に対応する上記加算信号同士を画素加算して上記画素加算信号を生成し位相差検出を行うことを特徴とする請求項９に記載の検出装置。
【請求項12】
上記制御部は、上記第２の撮像駆動モードでは、上記ポテンシャル障壁がより低い位相差検出方向を指示して上記撮像素子の蓄積動作を複数回実行させ、上記ポテンシャル障壁がより低い位相差検出方向の上記複数回の蓄積動作に対応する上記加算信号同士を画素加算して上記画素加算信号を生成し位相差検出を行うことを特徴とする請求項９に記載の検出装置。
【請求項13】
マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して対をなす加算信号を出力することが可能であって、上記画素は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせている撮像素子を具備する検出装置における検出方法において、
上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、
上記ポテンシャル障壁がより低い位相差検出方向の指示による上記蓄積動作によって生成された上記対をなす加算信号を上記複数の画素について画素加算することで対をなす画素加算信号を生成し、
上記画素加算信号を上記加算信号として上記位相差を検出する、
ことを特徴とする検出方法。
上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、
上記ポテンシャル障壁がより低い位相差検出方向の指示による上記蓄積動作によって生成された上記対をなす加算信号を上記複数の画素について画素加算することで対をなす画素加算信号を生成し、
上記画素加算信号を上記加算信号として上記位相差を検出する、
ことを特徴とする検出方法。
【請求項14】
マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して対をなす加算信号を出力することが可能であって、上記画素は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせている撮像素子を具備する検出装置における検出方法において、
上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、
上記位相差検出方向の指示に応じて上記蓄積動作によって生成された上記対をなす加算信号を、上記位相差検出方向の指示に応じて異なる画素加算の態様によって上記複数の画素について画素加算することで対をなす画素加算信号を生成し、
上記画素加算信号を上記加算信号として上記位相差を検出する、
ことを特徴とする検出方法。
上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、
上記位相差検出方向の指示に応じて上記蓄積動作によって生成された上記対をなす加算信号を、上記位相差検出方向の指示に応じて異なる画素加算の態様によって上記複数の画素について画素加算することで対をなす画素加算信号を生成し、
上記画素加算信号を上記加算信号として上記位相差を検出する、
ことを特徴とする検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、１個のマイクロレンズに対応する複数の受光部を有する画素を複数備える撮像素子を有し、複数の受光部の出力を用いて対をなす複数の出力信号の位相差を求め、この位相差に基づいて、焦点検出または奥行き検出等の検出を行うことのできる検出装置および検出方法に関する。
【背景技術】
【0002】
撮像素子の撮像面に複数のマイクロレンズと、各マイクロレンズに対応して複数の受光部を配置し、結像光学系の射出瞳を分割した領域を通る複数の光束を、各受光部によってそれぞれ光電変換し、この光電変換された出力信号の位相差を検出し、この位相差に基づいて結像光学系のデフォーカス量を検出する焦点検出装置が知られている。また、この分割された各受光部の出力信号を全て加算することによって、画像を構成する１画素分の画素信号として使用することも知られている。
【0003】
例えば、特許文献１に示される光電変換装置は、撮像素子のマイクロレンズ１個に対応して４分割フォトダイオード（以下、「４ＰＤ」と称す）を配置する構成の画素を有し、４ＰＤのうちの上下（ＴＢ）のＰＤの電荷を加算した画素出力を使用して左右（ＲＬ）方向の位相差検出を行っている。また、左右（ＲＬ）のＰＤの電荷を加算した画素出力を使用して上下（ＴＢ）方向の位相差検出を行っている。この特許文献１においては、４ＰＤの画素において、ＰＤ間のポテンシャル障壁を画素間のポテンシャル障壁と異ならせて低く設定することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１５－１６２６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
撮像素子の画素に斜めから光が入射すると、複数の受光部のそれぞれにおいて光電変換によって発生する電荷量が相違し、一部の受光部の電荷が飽和してしまう。この場合には、全ての受光部の信号（電荷）を加算した画像用画素信号の線形性が失われてしまう。
【0006】
特許文献１に示されるように、画素間のポテンシャル障壁よりもＰＤ間のポテンシャル障壁を下げるようにすれば、一部の受光部（ＰＤ）が飽和してしまっても、画像用画素信号は飽和することがない。しかしながら、特許文献１では、４ＰＤのいずれか１個において、光電変換された電荷量が飽和すると、水平・垂直方向の両方とも位相差検出が不能となってしまう。従って、特許文献１に記載の技術を採用し位相差検出を行う場合、この飽和を避けるために、より下げられたポテンシャル障壁に相当する１ＰＤ分の電荷量（飽和）に対応する閾値電圧に基づき蓄積制御を行う必要がある。すなわち、画像用画素信号（４ＰＤ分の信号）の閾値電圧の１／４より小さい閾値電圧を設け、１ＰＤ分の信号電圧がこの閾値電圧を越えないように蓄積制御する必要がある。特許文献１に記載の技術を採用して位相差検出を行う場合には、１ＰＤ分の信号電圧に対して、画像用画素信号（４ＰＤ分の信号）の閾値電圧の１／４より小さい閾値電圧に設定して蓄積制御を行なければならないことから、焦点検出（ＡＦ）用信号のダイナミックレンジが不十分になってしまい、検出精度が低下してしまう。
【0007】
また垂直（上下）方向の受光部間のポテンシャル障壁を、水平（左右）方向の受光部間のポテンシャル障壁と異ならせ、より低く設定する場合がある。この場合には、垂直方向のＰＤの信号を加算した左右一対の信号（それぞれＲ画素信号、Ｌ画素信号と呼び、両方を合わせＲＬ画素信号と呼ぶ）を蓄積・読出す際の信号の閾値を、画像用画素信号（４ＰＤ分信号）に対応する閾値の１／２の閾値（２ＰＤ分）に設定し蓄積制御を行うことにより飽和を避けることが可能となる。この構成では、原理的に読出し効率が高いＲＬ画素の信号のダイナミックレンジをより大きくとることができ、ＡＦの精度向上と高速化が可能となる。
【0008】
しかしながら、上述したように、垂直方向の受光部間のポテンシャル障壁を水平方向の受光部間のポテンシャル障壁より低く設定する場合、水平方向（左右方向）のＰＤの信号を加算した上下一対の信号（それぞれＴ画素信号、Ｂ画素信号と呼び、両方を合わせＴＢ画素信号と呼ぶ）をＡＦ用信号として蓄積・読み出す際には、飽和を避けるために、ＲＬ画素信号の閾値（画像用画素信号の閾値の１／２）に対してさらにポテンシャル障壁の高さの比率に応じた低い閾値に設定することになる。この場合には、ＴＢ画素信号のレベルが小さくなってしまい、検出精度が低下してしまう。
【0009】
本発明は、このような事情を鑑みてなされたものであり、画素内の一部の受光部間のポテンシャル障壁を低く設定した画素を用いて検出する場合においても、検出精度の低下を防止する検出装置および検出方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するため第１の発明に係る検出装置は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して対をなす加算信号を出力することが可能であって、上記画素は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせている撮像素子と、上記対をなす加算信号に基づく位相差を検出する制御部と、を具備し、上記制御部は、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、上記撮像素子は、上記ポテンシャル障壁がより低い位相差検出方向の指示による上記蓄積動作によって生成された上記対をなす加算信号を上記複数の画素について画素加算することで対をなす画素加算信号を生成し、上記制御部は、上記画素加算信号を上記加算信号として上記位相差を検出する。
【0011】
第２の発明に係る検出装置は、上記第１の発明において、上記撮像素子は、上記対をなす加算信号を、上記位相差検出方向と異なる方向に画素加算して上記対をなす画素加算信号を生成する。
第３の発明に係る検出装置は、上記第２の発明において、上記撮像素子は、上記対をなす加算信号を、上記位相差検出方向と同じ方向に画素加算して上記対をなす画素加算信号を生成する。
第３の発明に係る検出装置は、上記第２の発明において、上記撮像素子は、上記対をなす加算信号を、上記位相差検出方向と同じ方向に画素加算して上記対をなす画素加算信号を生成する。
【0012】
第４の発明に係る検出装置は、上記第１の発明において、上記制御部は、上記画素加算に応じて上記蓄積判定レベルを補正し、上記画素加算信号と上記補正された蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御する。
第５の発明に係る検出装置は、上記第１の発明において、上記撮像素子は、上記画素毎に所定の規則によって配置される複数の異なる色フィルタを有し、同色の上記色フィルタに対応する加算信号を加算して上記対をなす画素加算信号を生成する。
第５の発明に係る検出装置は、上記第１の発明において、上記撮像素子は、上記画素毎に所定の規則によって配置される複数の異なる色フィルタを有し、同色の上記色フィルタに対応する加算信号を加算して上記対をなす画素加算信号を生成する。
【0013】
第６の発明に係る検出装置は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して対をなす加算信号を出力することが可能であって、上記画素は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせている撮像素子と、上記対をなす加算信号に基づく位相差を検出する制御部と、を具備し、上記制御部は、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、上記撮像素子は、上記位相差検出方向の指示に応じて上記蓄積動作によって生成された上記対をなす加算信号を、上記位相差検出方向の指示に応じて異なる画素加算の態様によって上記複数の画素について画素加算することで対をなす画素加算信号を生成し、上記制御部は、上記画素加算信号を上記加算信号として上記位相差を検出する。
【0014】
第７の発明に係る検出装置は、上記第６の発明において、上記制御部は、同一の上記位相差検出方向を指示して上記撮像素子の蓄積動作を所定回数だけ実行させ、上記所定回数が２以上の場合は上記所定回数の上記蓄積動作に対応する上記加算信号同士を画素加算して上記画素加算信号を生成し、上記異なる画素加算の態様として上記位相差検出方向に応じて上記所定回数を異ならせる。
第８の発明に係る検出装置は、上記第６の発明において、上記撮像素子は、上記異なる画素加算の態様として、上記指示された位相差検出方向に応じて画素加算する上記複数の画素の数または範囲を異ならせて上記画素加算信号を生成する。
第８の発明に係る検出装置は、上記第６の発明において、上記撮像素子は、上記異なる画素加算の態様として、上記指示された位相差検出方向に応じて画素加算する上記複数の画素の数または範囲を異ならせて上記画素加算信号を生成する。
【0015】
第９の発明に係る検出装置は、上記第６の発明において、上記制御部は、上記ポテンシャル障壁がより高い位相差検出方向を優先して上記撮像素子の蓄積動作を実行する第１の撮像駆動モードと、上記ポテンシャル障壁がより低い位相差検出方向を優先して蓄積動作を実行する第２の撮像駆動モードとを選択する撮像駆動モード選択部を有し、上記制御部は、上記撮像駆動モード選択部によって上記第１の撮像駆動モードの蓄積動作を実行させ、上記ポテンシャル障壁がより高い位相差検出方向の検出結果が所定条件を満たす場合に、上記第２の撮像駆動モードによる蓄積動作を実行させ上記ポテンシャル障壁がより低い位相差検出方向の検出を行う。
第１０の発明に係る検出装置は、上記第９の発明において、上記所定条件は、上記ポテンシャル障壁がより高い位相差検出方向の位相差検出が連続して複数回検出不能な場合で、かつ、上記ポテンシャル障壁がより低い位相差検出方向の位相差検出が連続して複数回検出可能な場合である。
第１０の発明に係る検出装置は、上記第９の発明において、上記所定条件は、上記ポテンシャル障壁がより高い位相差検出方向の位相差検出が連続して複数回検出不能な場合で、かつ、上記ポテンシャル障壁がより低い位相差検出方向の位相差検出が連続して複数回検出可能な場合である。
【0016】
第１１の発明に係る検出装置は、上記第９の発明において、上記制御部は、上記第１の撮像駆動モードでは、上記ポテンシャル障壁がより高い位相差検出方向を指示して上記撮像素子の蓄積動作を複数回実行させ、続いて上記ポテンシャル障壁がより低い位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記ポテンシャル障壁がより高い位相差検出方向の上記複数回の蓄積動作に対応する上記加算信号同士を画素加算して上記画素加算信号を生成し位相差検出を行う。
第１２の発明に係る検出装置は、上記第９の発明において、上記制御部は、上記第２の撮像駆動モードでは、上記ポテンシャル障壁がより低い位相差検出方向を指示して上記撮像素子の蓄積動作を複数回実行させ、上記ポテンシャル障壁がより低い位相差検出方向の上記複数回の蓄積動作に対応する上記加算信号同士を画素加算して上記画素加算信号を生成し位相差検出を行う。
第１２の発明に係る検出装置は、上記第９の発明において、上記制御部は、上記第２の撮像駆動モードでは、上記ポテンシャル障壁がより低い位相差検出方向を指示して上記撮像素子の蓄積動作を複数回実行させ、上記ポテンシャル障壁がより低い位相差検出方向の上記複数回の蓄積動作に対応する上記加算信号同士を画素加算して上記画素加算信号を生成し位相差検出を行う。
【0017】
第１３の発明に係る検出方法は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して対をなす加算信号を出力することが可能であって、上記画素は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせている撮像素子を具備する検出装置における検出方法において、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、上記ポテンシャル障壁がより低い位相差検出方向の指示による上記蓄積動作によって生成された上記対をなす加算信号を上記複数の画素について画素加算することで対をなす画素加算信号を生成し、 上記画素加算信号を上記加算信号として上記位相差を検出する。
【0018】
第１４の発明に係る検出方法は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、上記複数の受光部は所定の複数の位相差検出方向に対応して設けられ、上記位相差検出方向に応じて上記複数の受光部の出力信号を加算して対をなす加算信号を出力することが可能であって、上記画素は、上記複数の位相差検出方向に応じて上記受光部の間のポテンシャル障壁の高さを異ならせている撮像素子を具備する検出装置における検出方法において、上記撮像素子へ特定の位相差検出方向を指示して上記撮像素子の蓄積動作を実行させ、上記位相差検出方向に応じて異なる蓄積判定レベルを設定し、上記加算信号と上記蓄積判定レベルに基づいて上記撮像素子の蓄積動作を制御し、上記位相差検出方向の指示に応じて上記蓄積動作によって生成された上記対をなす加算信号を、上記位相差検出方向の指示に応じて異なる画素加算の態様によって上記複数の画素について画素加算することで対をなす画素加算信号を生成し、上記画素加算信号を上記加算信号として上記位相差を検出する。
【発明の効果】
【0019】
本発明によれば、画素内の一部の受光部間のポテンシャル障壁を低く設定した画素を用いて検出する場合においても、検出精度の低下を防止する検出装置および検出方法を提供することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態に係る撮像装置の主として電気的構成を示すブロック図である。
【図2】本発明の一実施形態に係る撮像装置の撮像素子の主として電気的構成を示すブロック図である。
【図3A】本発明の一実施形態に係る撮像装置において、４ＰＤ画素タイプの画素の構成を示す図である。
【図3B】本発明の一実施形態に係る撮像装置において、４ＰＤ画素タイプの画素部における、マイクロレンズの光軸方向に沿った断面図である。
【図4】本発明の一実施形態に係る撮像装置において、４ＰＤ画素タイプの画素部における、 ＲＬ画素優先の際のポテンシャル障壁を説明する図である。
【図5】本発明の一実施形態における撮像装置において、ＡＦ時および表示（ＬＶ）時の撮像（蓄積／読出し）シーケンスを示す図である。
【図6】本発明の一実施形態における撮像装置において、ＲＬ画素読出し時の画素加算を説明する図である。
【図7】本発明の一実施形態における撮像装置において、ＴＢ画素読出し時の画素加算を説明する図である。
【図8】本発明の一実施形態における撮像装置において、ＴＢ画素読出し時の画素加算の変形例を説明する図である。
【図9】本発明の一実施形態における撮像装置において、ＡＦ時および表示（ＬＶ）時の撮像（蓄積／読出し）シーケンスの変形例を示す図である。
【図10】本発明の一実施形態における撮像装置において、ＴＢ読出しモードにおいてＡＦを行う場合において、表示を行う際の画素加算を説明する図である。
【図11】本発明の一実施形態における撮像装置において、連写を行う際のＡＦ時および表示（ＬＶ）時の撮像（蓄積／読出し）シーケンスを示す図である。
【図12A】本発明の一実施形態における撮像装置の動作を示すフローチャートである。
【図12B】本発明の一実施形態における撮像装置の動作を示すフローチャートである。
【図12C】本発明の一実施形態における撮像装置の動作を示すフローチャートである。
【図13】本発明の一実施形態における撮像装置の露出狙い設定動作を示すフローチャートである。
【図14】本発明の一実施形態における撮像装置の撮像駆動モード設定の動作を示すフローチャートである。
【図15】本発明の一実施形態における撮像装置において、デプスマップの例を示す図である。
【図16】本発明の一実施形態における撮像装置において、デプス情報を用いて画像処理を行った画像の例を示す図である。
【発明を実施するための形態】
【0021】
以下、本発明の一実施形態に係る撮像装置について説明する。この撮像装置は、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することによって、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【0022】
また、本実施形態に係る撮像装置の撮像素子２０８は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、この複数の受光部は所定の複数の位相差検出方向に対応して設けられている（図３Ａ、図３Ｂ参照）。また、撮像素子２０８の画素は、位相差検出方向に応じて、受光部間のポテンシャル障壁の高さを異ならせている（図４（ａ）参照）。
【0023】
本実施形態において、具体的には、撮像素子のマイクロレンズ１個に対応して４分割フォトダイオードを配置する画素とし（図３Ａ参照）、位相差の検出に当たって横方向（左右方向）を縦方向（上下方向）に対して優先的に位相差検出を行うものとする。右側に配置され上下のフォトダイオード信号を加算（以下上下加算）された信号を生成する仮想的Ｒ画素（以下Ｒ画素）と左側に配置され上下加算された信号を生成する仮想的Ｌ画素（以下Ｌ画素）の間（以下ＲＬ間）のポテンシャル障壁と、上側に配置され左右のフォトダイ―ド信号を加算（以下左右加算）された信号を生成する仮想的Ｔ画素（以下Ｔ画素）と下側に配置され左右加算された信号を生成する仮想的Ｂ画素（以下Ｂ画素）の間（以下ＴＢ間）のポテンシャル障壁について、後述のＲＬ画素優先に適合したポテンシャル障壁を持たせている（図４（ａ）参照）。
【0024】
具体的には、上側に配置されたＴ画素と下側に配置されたＢ画素の間のポテンシャル障壁を、右側に配置されたＲ画素と左側に配置されたＬ画素の間のポテンシャル障壁より低く設定する（図４（ａ）参照）。例えば、ＴＢ間のポテンシャル障壁の高さを、ＲＬ間のポテンシャル障壁の高さの７０％に設定する。上下（左右）加算で水平（垂直）位相差検出を行うための２ＰＤ（Ｒ／Ｌ画素またはＴ／Ｂ画素）読み出しの場合には、読み出す画素対の画素間のポテンシャル障壁の高さに応じた閾値電圧（後述する蓄積判定レベル、飽和判定レベル）を設定して蓄積動作を行う。
【0025】
上述したようにＴＢ間におけるポテンシャル障壁の高さをＲＬ間のポテンシャル障壁の高さよりも低く設定すると、ＲＬ方向の位相差検出精度を向上させることができる。しかし、ＴＢ間のポテンシャル障壁が低いことから、ＴＢ画素信号を飽和させないように制御するとＴＢ画素信号の信号レベルが低くなってしまい、ＴＢ方向の位相差検出精度が低下するおそれがある。
【0026】
そこで、本実施形態においては、ＴＢ画素信号について画素加算により信号レベルを向上させている。画素加算を行うにあたって、１フレーム分のＴＢ画素信号を読み出す場合に、位相差検出方向ではない方向（ＲＬ方向）について画素加算を行う。この画素加算を行っても、まだ信号レベルが不足する場合は位相差検出方向（ＴＢ方向）にも画素加算を行ってもよい。また、ＲＧＢ（赤色・緑色・青色）画素の全てのＴＢ画素信号を読出して位相差検出を行うとともに、読出したＴＢ画素データを位相差検出方向（ＴＢ方向）にデジタル加算することによって、表示用信データして兼用する。さらに、複数フレーム分のＴＢ画素信号を読出し、同一の位置のＴＢ画素データを加算（フレーム加算）して位相差検出を行ってもよい。
【0027】
図１は、本発明の一実施形態に係る焦点検出装置を含む撮像装置（具体的には例えばデジタルカメラ）１の構成の一例を示すブロック図である。なお、図１中において、矢印付き実線はデータの流れを、矢印付き破線は制御信号の流れをそれぞれ示している。
【0028】
撮像装置１は、交換式レンズ１００と、カメラ本体２００とを有する。交換式レンズ１００は、カメラ本体２００に着脱できるように構成されている。交換式レンズ１００とカメラ本体２００とは、交換式レンズ１００がカメラ本体２００に装着されたときに、互いに通信できるように接続される。なお、撮像装置１は、必ずしもレンズ交換式の撮像装置でなくてもよい。例えば、撮像装置１は、レンズ一体型の撮像装置であってもよい。また、スマートフォン等、携帯機器内に設けられた撮像装置であってもよい。
【0029】
交換式レンズ１００は、撮像光学系１０２と、駆動部１０４と、レンズＣＰＵ（Central Processing Unit）１０６と、レンズ側記憶部１０８とを備える。ここで、交換式レンズ１００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、交換式レンズ１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。また、交換式レンズとカメラ本体が一体に構成されている場合には、レンズＣＰＵ１０６とＣＰＵ２１２が１つのＣＰＵで構成されていてもよい。
【0030】
撮像光学系１０２は、被写体からの光束をカメラ本体２００の撮像素子２０８に結像させるための光学系である。撮像光学系１０２は、フォーカスレンズ１０２ａと、絞り１０２ｂとを有する。フォーカスレンズ１０２ａは、光軸方向に移動することによって、撮像光学系１０２の焦点位置を調節できるように構成されている。
【0031】
絞り１０２ｂは、フォーカスレンズ１０２ａの光軸上に配置される。絞り１０２ｂの口径は可変である。絞り１０２ｂは、フォーカスレンズ１０２ａを通過して撮像素子２０８に入射する被写体からの光量を調節する。駆動部１０４は、駆動モータと駆動回路等を有し、レンズＣＰＵ１０６から出力される制御信号に基づいて、フォーカスレンズ１０２ａと絞り１０２ｂを駆動する。ここで、撮像光学系１０２は、ズームレンズとして構成されていてもよい。この場合、駆動部１０４がズーム駆動も行ってもよく、またユーザが手動操作によって焦点距離を変化させてもよい。駆動部１０４は、撮像光学系に含まれる絞りを駆動する絞り駆動部（アクチュエータ、ドライバ）として機能する。
【0032】
レンズＣＰＵ１０６は、ＣＰＵとその周辺回路を含むプロセッサであり、レンズ側記憶部１０８に記憶されているプログラムに従って動作する。レンズＣＰＵ１０６は、インターフェース（Ｉ／Ｆ）１１０を通じてカメラ本体２００のＣＰＵ２１２との間で通信できるように構成されている。レンズＣＰＵ１０６は、カメラ本体２００のＣＰＵ２１２からの制御信号に従って駆動部１０４を制御する。また、レンズＣＰＵ１０６は、Ｉ／Ｆ１１０を通じて、絞り１０２ｂの絞り値（Ｆ値）及びレンズ側記憶部１０８に記憶されているレンズ情報等の各種情報をＣＰＵ２１２に送信する。レンズＣＰＵ１０６は、撮像光学系に含まれるフォーカスレンズの位置を制御するフォーカスレンズ制御部としての機能を果たす。
【0033】
なお、レンズＣＰＵ１０６は、必ずしもＣＰＵ（Central Processing Unit）によって構成されていなくてもよい。すなわち、レンズＣＰＵ１０６と同様の機能は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のプロセッサによって実現されてもよい。また、レンズＣＰＵ１０６と同様の機能は、ソフトウェアによって実現されてもよい。
【0034】
レンズ側記憶部１０８は、電気的書き換え可能な不揮発性メモリを有し、上述のプログラム以外にも交換式レンズ１００に関するレンズ情報等を記憶している。レンズ情報は、例えば撮像光学系１０２の焦点距離の情報や収差の情報を含む。
【0035】
カメラ本体２００は、メカシャッタ２０２と、駆動部２０４と、操作部２０６と、撮像素子２０８と、手振れ補正回路２１０と、ＣＰＵ２１２と、画像処理回路２１４と、画像圧縮展開部２１６と、焦点検出回路２１８と、露出制御回路２２０と、表示部２２２と、バス２２４と、ＤＲＡＭ（Dynamic Random Access Memory）２２６と、本体側記憶部２２８と、記録媒体２３０とを有する。ここで、カメラ本体２００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、カメラ本体２００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【0036】
メカシャッタ２０２は、開閉自在に構成され、撮像素子２０８への被写体からの光束の入射時間（撮像素子２０８の露光時間）を調節する。メカシャッタ２０２としては、例えばフォーカルプレーンシャッタが採用される。このフォーカルプレーンシャッタ以外にも、レンズシャッタをレンズ鏡筒側に設けてもよい。駆動部２０４は、ＣＰＵ２１２からの制御信号に基づいてメカシャッタ２０２を駆動する。駆動部２０４は、メカシャッタ２０２を駆動するアクチュエータと、このアクチュエータの駆動回路等を有し、メカシャッタ２０２の開閉動作を行う。
【0037】
操作部２０６は、ユーザの指示を撮像装置１に入力するためのインターフェースであり、電源ボタン、レリーズボタン、動画ボタン、モードダイヤル、再生ボタン、メニューボタン等の各種の操作ボタン及びタッチパネル等の各種の操作部材を含む。この操作部２０６は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２１２に出力する。
【0038】
撮像素子２０８は、撮像光学系１０２の光軸上であって、メカシャッタ２０２の後方で、かつ、撮像光学系１０２によって被写体からの光束が結像される位置付近に配置されている。撮像素子２０８は、被写体を撮像して被写体に係る画素信号を生成する。
【0039】
撮像素子２０８は、複数の画素が２次元状に配列された画素部２２（図２参照）を有する。画素は、マイクロレンズＬｅ（図３Ａ、図３Ｂ参照）に対応し、複数の受光部に分割された構成となっている。複数の受光部は、撮像光学系である撮像レンズ２の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する。撮像素子２０８は、例えば、原色ベイヤ配列のカラーフィルタを備える単板式ＣＭＯＳ撮像素子として構成されているが、もちろんこの構成に限定されるものではない。撮像素子２０８の詳しい構成については、図２および図３を用いて後述する。
【0040】
なお、撮像素子２０８は、各画素の各受光部の出力信号を画素内加算し画素内加算信号を生成し、画素内加算信号をさらに画素加算する。画素内加算信号を増幅して出力するようにしても勿論かまわない。この場合、画素加算処理や増幅処理は、図２のアナログ処理部２３参照において行ってよい。勿論、受光部の信号を画素内加算した出力をＡＤ変換したデジタル信号に対して、ＣＰＵ２１２等が加算処理を行うようにしてもよい。
【0041】
撮像素子２０８は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、複数の受光部は所定の複数の位相差検出方向に対応して設けられ、位相差検出方向に応じて複数の受光部の出力信号を加算して対をなす加算信号を出力することが可能な撮像素子である。撮像素子は、複数の位相差検出方向に応じて受光部の間のポテンシャル障壁の高さを異ならせる（例えば、図４参照）。
【0042】
また、撮像素子は、ポテンシャル障壁がより低い位相差検出方向の指示による蓄積動作により生成された対をなす加算信号を複数の画素について画素加算することで対をなす画素加算信号を生成する（例えば、図６～図８参照）。なお、後述する制御部は、対をなす画素加算信号を加算信号として位相差を検出する（例えば、図１２ＡのＳ１３、図１２ＢのＳ３１等参照）。撮像素子は、位相差検出方向の指示に応じて蓄積動作により生成された対をなす加算信号を、位相差検出方向の指示に応じて異なる画素加算の態様により複数の画素について画素加算することで対をなす画素加算信号を生成する（例えば、図９参照）。本実施形態においては、画素加算は、同一フレーム内において、同色・同一開口の画素信号の加算を行っており（例えば、図６～図８参照）、また異なるフレーム間において、対応する画素位置同士の画素信号の加算も行っている。本実施形態においては、同一フレーム内およびフレーム間の両方で、画素信号の加算を行っているが、いずれか一方の加算のみでもよい。
【0043】
撮像素子２０８は、図４を用いて後述するように、複数の受光部の間のポテンシャル障壁が、位相差検出方向によって高さが異なる。撮像素子は、対をなす加算信号を、位相差検出方向と異なる方向に画素加算して対をなす画素加算信号を生成する（例えば、図６、図７参照）。撮像素子は、対をなす加算信号を、位相差検出方向と同じ方向に画素加算して対をなす画素加算信号を生成する（例えば、図８参照）。撮像素子は、画素毎に所定の規則により配置される複数の異なる色フィルタを有し、同色の色フィルタに対応する加算信号を加算して対をなす画素加算信号を生成する（例えば、図６、図７、図８、図１２ＡのＳ７、図１３等参照）。
【0044】
撮像素子は、異なる画素加算の態様として、指示された位相差検出方向に応じて画素加算する複数の画素の数または範囲を異ならせて画素加算信号を生成する。例えば、図６と図７（図８）に示すように、指示された位相差検出方向がＲＬ方向かＴＢ方向かに応じて、つまりＲＬ画素読出しかＴＢ画素読出しかに応じて、同一フレーム内で画素加算する画素の数や範囲を異ならせて加算処理を行っている。
【0045】
手振れ補正回路２１０は、カメラ本体２００に発生した手振れが抑制されるように、撮像素子２０８をその受光面と平行な方向に移動させる。手振れの動きを打ち消すように撮像素子２０８が移動されることによって、手振れに起因して画像データに発生する被写体像のぶれが抑制される。なお、手振れ補正回路は、交換式レンズ１００に設けられていてもよい。この場合の手振れ補正回路は、撮像光学系１０２に含まれる手振れ補正光学系を移動させるように構成される。
【0046】
ＣＰＵ２１２は、ＣＰＵとその周辺回路を含むプロセッサであり、本体側記憶部２２８に記憶されているプログラムに従ってカメラ本体２００の全体制御を行う。ＣＰＵ２１２は、例えば撮像素子２０８による撮像動作（撮像駆動モード、画素内加算設定、画素加算設定、読出動作等も含む）を制御する。また、ＣＰＵ２１２は、焦点検出回路２１８によって検出されたフォーカスレンズ１０２ａの焦点状態に応じて、フォーカスレンズ１０２ａを駆動するための制御信号をレンズＣＰＵ１０６に対して出力する。また、ＣＰＵ２１２は、露出制御回路２２０によって算出された露出設定値をレンズＣＰＵ１０６及び撮像素子２０８に対して出力する。ここで、ＣＰＵ２１２は、前述のレンズＣＰＵ１０６と同様に、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、ＣＰＵ２１２と同様の機能は、ＡＳＩＣ、ＦＰＧＡ等によって実現されてもよい。また、ＣＰＵ２１２と同様の機能は、ソフトウェアによって実現されてもよい。
【0047】
ＣＰＵ２１２は焦点検出回路２１８と協働して、対をなす加算信号に基づく位相差を検出する制御部として機能する（例えば、図１２ＡのＳ１３、図１２ＢのＳ３１等参照）。この制御部は、撮像素子へ特定の位相差検出方向を指示して撮像素子の蓄積動作を実行させ、位相差検出方向に応じて異なる蓄積判定レベルを設定し、加算信号と蓄積判定レベルに基づいて撮像素子の蓄積動作を制御する（例えば、図６、図７、図８、図１２ＡのＳ７～１１、Ｓ１７、図１２ＢのＳ２７～Ｓ３１、Ｓ３５、図１３、図１４等参照）。
【0048】
また、制御部は、画素加算に応じて蓄積判定レベルを補正し、画素加算信号と補正された蓄積判定レベルに基づいて撮像素子の蓄積動作を制御する。後述するように、画素飽和しているか否かの閾値ＴＨを、画素加算に応じて（本実施形態においては、ＲＬ画素読出しか、ＴＢ読出し）、変更している（例えば、図１２ＡのＳ７、図１３等参照）。制御部は、判定結果に基づき焦点検出または奥行き検出を行う（例えば、図１２ＡのＳ１９、図１２ＢのＳ３７、図１５等参照）。
【0049】
制御部は、同一の位相差検出方向を指示して撮像素子の蓄積動作を所定回数だけ実行させ、所定回数が２以上の場合は所定回数の蓄積動作に対応する加算信号同士を画素加算して画素加算信号を生成し、異なる画素加算の態様として位相差検出方向に応じて所定回数を異ならせる（例えば、図９、図１２ＡのＳ１１、図１２ＢのＳ２９等参照）。例えば、図９に示すように、同一の位相差検出方向で連続するフレームの蓄積動作を行う場合、異なるフレームの画素加算データ同士をさらに加算する（フレーム加算）。上述の「所定回数２以上」として、例えば、ＲＬ画素読出しを２回、またはＴＢ画素読出しを２回としてもよい。また、図９に示すように位相差検出方向に応じた所定回数としてＲＬ画素読出しを２回、ＴＢ画素読出しを１回とする。
【0050】
また、制御部は、ポテンシャル障壁がより高い位相差検出方向を優先して撮像素子の蓄積動作を実行する第１の撮像駆動モードと（例えば、図９のＲＬ×２モード参照）、ポテンシャル障壁がより低い位相差検出方向を優先して蓄積動作を実行する第２の撮像駆動モード（例えば、図９のＴＢ×２モード参照）とを選択する撮像駆動モード選択部を有している（例えば、図１２ＡのＳ１７、図１２ＢのＳ３５、図１４等参照）。制御部は、撮像駆動モード選択部により第１の撮像駆動モードの蓄積動作（例えば、ＲＬ×２モード）を実行させ、ポテンシャル障壁がより高い位相差検出方向の検出結果が所定条件を満たす場合に（例えば、図１４のＳ８７Ｎｏ参照）、第２の撮像駆動モードによる蓄積動作を実行させ、ポテンシャル障壁がより低い位相差検出方向の検出を行う（例えば、図１４のＳ９１参照）。
【0051】
上述の所定条件は、ポテンシャル障壁がより高い位相差検出方向の位相差検出が連続して複数回検出不能な場合で、かつ、ポテンシャル障壁がより低い位相差検出方向の位相差検出が連続して複数回検出可能な場合である（例えば、図１４のＳ８３～Ｓ８７参照）。また、所定の条件は、連続して複数回測距不能な場合で、かつ、ポテンシャル障壁がより低い位相差検出で連続して複数回測距可能な場合であってもよい。
【0052】
また、制御部は、第１の撮像駆動モードでは、ポテンシャル障壁がより高い位相差検出方向を指示して撮像素子の蓄積動作を複数回実行させ、続いてポテンシャル障壁がより低い位相差検出方向を指示して撮像素子の蓄積動作を実行させ、ポテンシャル障壁がより高い位相差検出方向の複数回の蓄積動作に対応する加算信号同士を画素加算して画素加算信号を生成し位相差検出を行う（例えば、図５、図６、図９、図１２ＡのＳ１１、図１２ＢのＳ２９等参照）。
【0053】
また、制御部は、第２の撮像駆動モード（例えば、ＴＢ画素読出し）では、ポテンシャル障壁がより低い位相差検出方向を指示して撮像素子の蓄積動作を複数回実行させ、ポテンシャル障壁がより低い位相差検出方向の複数回の蓄積動作に対応する加算信号同士を画素加算して画素加算信号を生成し位相差検出を行う（例えば、図７、図８参照）。
【0054】
画像処理回路２１４は、撮像素子２０８から読出される複数の画素データから構成される画像データに対して各種の画像処理を施す。例えば画像処理回路２１４は、静止画撮影（連写も含む）の際には、静止画記録用の画像処理を施し、静止画データを生成する。同様に、画像処理回路２１４は、動画撮影の際には、動画記録用の画像処理を施し、動画データを生成する。さらに、画像処理回路２１４は、ライブビュー（ＬＶ）表示時には、表示用の画像処理を施し、表示画像データを生成する。
【0055】
画像圧縮展開部２１６は、画像圧縮回路および画像伸張回路を有する。画像圧縮展開部２１６は、画像データの記録時には、画像処理回路２１４で生成された画像データ（静止画データ又は動画データ）を圧縮する。また、画像データの再生時には、記録媒体２３０に圧縮状態で記録された画像データを伸張する。
【0056】
焦点検出回路２１８は、撮像素子２０８の各画素にて画素内加算され出力される焦点検出用画素信号（ＲＬ画素信号、ＴＢ画素信号）に基づく焦点検出用画素データを用いた位相差検出によってフォーカスレンズ１０２ａの焦点検出を行う。また、焦点検出回路２１８は、位相差検出結果を用いて、物体の奥行を検出することも可能である。
【0057】
焦点検出回路２１８は、制御部（ＣＰＵ２１２）と協働して、対をなす加算信号に基づく位相差を検出する制御部として機能する（例えば、図１２ＡのＳ１３、図１２ＢのＳ３１等参照）。なお、この制御部の機能は、焦点検出回路２１８とＣＰＵ２１２が協働して実現する場合に限らず、焦点検出回路２１８が単独で担ってもよく、また他の回路、プロセッサ等、例えば、ＣＰＵ２１２単独で担うようにしてもよい。制御部は、撮像素子へ特定の位相差検出方向を指示して撮像素子の蓄積動作を実行させ（例えば、図１２ＡのＳ９、Ｓ１１、図１２ＢのＳ２７、Ｓ２９参照）、位相差検出方向に応じて異なる蓄積判定レベルを設定し（例えば、図１２ＡのＳ１７、Ｓ１７、図１２ＢのＳ２７、Ｓ３５、図１４等参照）、加算信号と蓄積判定レベルに基づいて撮像素子の蓄積動作を制御する。
【0058】
露出制御回路２２０は、測光部としての機能を果たし、撮像素子２０８の画素データに基づいて露出設定値を算出する。この露出制御回路２２０は、撮像素子２０８の画素データから被写体輝度を測定し、測定した被写体輝度から撮影時の被写体の輝度を適正値にするために必要な露出設定値を算出する。露出設定値は、絞り１０２ｂの開口量（絞り値）、撮像素子２０８の露光時間（シャッタースピード）を含む。
【0059】
表示部２２２は、液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイを有し、カメラ本体２００の背面等に配置され、または電子ビューファインダとして配置される。この表示部２２２は、ＣＰＵ２１２の制御に従って画像を表示する。表示部２２２は、ライブビュー表示や記録済み画像の再生表示等に使用される。
【0060】
バス２２４は、撮像素子２０８、ＣＰＵ２１２、画像処理回路２１４、画像圧縮展開部２１６、焦点検出回路２１８、露出制御回路２２０、表示部２２２、ＤＲＡＭ２２６、本体側記憶部２２８、記録媒体２３０に接続され、これらのブロックで発生した各種のデータを転送するための転送路として動作する。
【0061】
ＤＲＡＭ２２６は、電気的に書き換え可能な揮発性メモリであり、撮像素子２０８から出力される画素データ、静止画データ、動画データ、表示画像データ、ＣＰＵ２１２における処理データ等の各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられてもよい。
【0062】
本体側記憶部２２８は、電気的に書き換え可能な不揮発性メモリである。本体側記憶部２２８は、ＣＰＵ２１２で使用されるプログラムと、カメラ本体２００の調整値等の各種データを記憶する。記録媒体２３０は、電気的に書き換え可能な不揮発性メモリであり、カメラ本体２００に内蔵されるか又は装填されるように構成されている。記録媒体２３０は、記録用の画像データを所定の形式の画像ファイルとして記録する。なお、ＤＲＡＭ２２６、本体側記憶部２２８及び記録媒体２３０は、それぞれ１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。
【0063】
次に、図２を用いて、撮像素子２０８の構成について説明する。撮像素子２０８は、マイクロレンズに対応する画素を有し、この画素は複数の受光部に分割されている。画素は、分割された各受光部によって光束を光電変換して生成された光電変換信号に基づいて画像用画素信号と焦点検出用画素信号を生成する。なお、本実施形態における画素は、受光部としてフォトダイオード（ＰＤ）が使用されている。
【0064】
撮像素子２０８は、図２に示す例において、垂直走査部２１と、画素部２２と、アナログ処理部２３と、ＡＤＣ（Analog Digital Converter）処理部２４と、メモリ部２５と、水平走査部２６と、出力部２７と、入力部２８と、素子制御部２９と、を備える。
【0065】
画素部２２には、画像用画素および焦点検出用画素が配列されている。画像用画素信号と焦点検出用画素信号は、被写体像を光電変換することによって生成され、この生成された信号の読み出しは、垂直走査部２１～出力部２７までの少なくとも一部、および素子制御部２９などが行う。
【0066】
垂直走査部２１は、垂直走査回路を有し、画素部２２の画素の水平方向の並び（行）を順次、選択することによって、走査を垂直方向に行う。この垂直走査部２１が、特定の行を選択して、選択された行にある各画素のリセットや転送を行うことで、画素の電荷蓄積時間（露光時間）が制御される。
【0067】
アナログ処理部２３は、アナログ処理回路を有し、画素部２２から読み出されたアナログの画素信号をアナログ信号処理する回路である。このアナログ処理部２３は、例えば、画素信号を増幅するプリアンプ、画素信号からリセットノイズを低減する相関二重サンプリング（ＣＤＳ）回路などを含んでいる。
【0068】
アナログ・デジタル変換処理部（ＡＤＣ処理部）２４は、ＡＤ変換回路を有し、アナログ処理部２３から出力されたアナログの画素信号をデジタルの画素データに変換する。このＡＤＣ処理部２４は、例えば、カラムＡＤＣに代表されるような、画素部２２から読み出された画素信号を列毎のアナログ・デジタル・コンバータ（ＡＤＣ）によってＡＤ変換する構成が採用されている。
【0069】
メモリ部２５は、メモリを有し、ＡＤＣ処理部２４で変換された画素データを一時的に保持する電気的書き換え可能な揮発性メモリ回路等で構成されている。水平走査部２６は、水平走査回路を有し、メモリ部２５から、画素データ（画像用画素データと焦点検出用画素データ）を列順に読み出す。
【0070】
出力部２７は、出力回路を有し、水平走査部２６によって読み出された画素信号を配列して画素信号列を生成し、シリアル信号や差動信号などの出力信号形式に変換して出力する。なお、この出力部２７または上述したＡＤＣ処理部２４等は、増感処理（設定されているＩＳＯ感度に応じた信号増幅処理）を行う増感部としても機能するようになっている。
【0071】
入力部２８は、入力回路を有し、ＣＰＵ２１２や不図示の撮像素子駆動部から、撮像素子２０８の制御に係る同期信号、基準クロック、動作設定の情報などを受信する。
【0072】
素子制御部２９は、撮像制御回路を有し、入力部２８を通じて受信した同期信号および基準クロックに合わせて、撮像素子２０８内の各ブロックを制御するものであり、読出方法選択部３０を備えている。また、素子制御部２９は、ＣＰＵ２１２から入力部２８を通じて撮像駆動モードを切り換える指示等の動作設定指示を受信して、撮像素子２０８内の各ブロックを制御する。
【0073】
読出方法選択部３０は、選択回路を有し、入力部２８を通じて受信した動作設定の情報（例えば、静止画撮影、動画撮影、ライブビュー、ＡＦ等のカメラモード）に基づいて、撮像素子２０８からの読出し方法を選択して設定する。画素内加算の読出し方式としては、１ＰＤ単純読出し方式、２ＰＤ加算読出し方式、４ＰＤ全加算値（位相差情報なし）を読出す４ＰＤ加算読出し方式、等の全部または一部などを設けてもよい。この画素内加算した画素信号をさらに加算する画素加算の読出方法も設定する。
【0074】
例えば、後述するＡＦ（ＲＬ）読出は（例えば、図５参照）、２ＰＤ加算読出し方式で、ＲＬ方向における一対の焦点検出用画素信号、すなわち、図３ＡのＰＤａおよびＰＤｂの画素内加算信号と、ＰＤｃとＰＤｄの画素内加算信号を生成してＲＬ画素信号を生成する（図６参照）。また、後述する表示（ＴＢ）読出（図５）は、２ＰＤ加算読出し方式でＴＢ方向における一対の焦点検出用画素信号（ＴＢ画素信号）を出力する（図７、図８参照）。このＴＢ方向の一対の焦点検出用画素信号は、図３ＡのＰＤａおよびＰＤｃの画素内加算信号と、ＰＤｂとＰＤｄの画素内加算信号を生成してＴＢ画素信号として生成される。静止画本露光・読出（図１１）は、４ＰＤ加算読出し方式で、１つの画素内で生成された４ＰＤの全ての光電変換信号を画素内加算することで画像用画素信号を生成し読み出す。
【0075】
次に、図３Ａおよび図３Ｂを用いて、画素部２２に配置された画素の構造について説明する。画素部２２は、上述したように、画素が２次元状（垂直方向（列方向）および水平方向（行方向））に配列された画素アレイ部である。
【0076】
図３Ａは、１つのマイクロレンズＬｅに対して４つのフォトダイオードＰＤが配置される４ＰＤ画素の画素構造の例を示す。図３Ａに示す４ＰＤ画素は、１つのマイクロレンズＬｅに対して、１つのカラーフィルタＦと４つのフォトダイオードＰＤａ、ＰＤｂ、ＰＤｃ、ＰＤｄを配置する。各画素は、図３Ｂに示すように、物体側から像側へ向かう積層方向の順に、マイクロレンズＬｅとカラーフィルタＦとフォトダイオードＰＤａ～ＰＤｄとが配設された構成となっている。マイクロレンズＬｅは、光を集めることによって画像用画素としての４ＰＤ画素に到達する光量を増加させ、画像用画素の開口率を実質的に大きくするものである。カラーフィルタＦは、例えば原色ベイヤ配列のカラーフィルタの場合には、赤色（Ｒ）フィルタ、緑色（Ｇ）フィルタ、または青色（Ｂ）フィルタの何れかが、その画素位置に応じて配設されている。
【0077】
図３Ａおよび図３Ｂに示す４ＰＤ画素では、１つのマイクロレンズＬｅの結像範囲に、フォトダイオードＰＤａ～ＰＤｄが瞳分割方向に配設され、４つのフォトダイオードＰＤａ～ＰＤｄは、水平方向および垂直方向の位相差を検出することができるように上下左右に４分割されている。４つのフォトダイオードＰＤが、左上、左下、右上、右下の位置にそれぞれ配置される。すなわち、１つの画素が、４つのフォトダイオードＰＤａ，ＰＤｂ，ＰＤｃ，ＰＤｄを有し、瞳分割方向は水平方向と垂直方向の２つである。
【0078】
フォトダイオードＰＤの出力を画素内で垂直２ＰＤ加算（上下加算）する場合、つまり、図３Ａにおける（ＰＤａ＋ＰＤｂ）出力と（ＰＤｃ＋ＰＤｄ）出力とを生成する場合は、水平方向の位相差を検出（縦線検知）するための焦点検出用画素信号Ｒ、Ｌとなる。図３Ａの右上側に示すように、左側の２ＰＤ加算信号Ｌと右側の２ＰＤ加算信号Ｒが得られる。また、フォトダイオードＰＤの出力を画素内で水平２ＰＤ加算（左右加算）する場合、つまり、（ＰＤａ＋ＰＤｃ）出力と（ＰＤｂ＋ＰＤｄ）出力とを生成する場合は、垂直方向の位相差を検出（横線検知）するための焦点検出用画素信号Ｔ、Ｂとなる。図３Ａの右下側に示すように、上側の２ＰＤ加算値Ｔと下側の２ＰＤ加算信号Ｂが得られる。また、フォトダイオードＰＤの出力を画素内で４ＰＤ加算する場合、つまり、（ＰＤａ＋ＰＤｂ＋ＰＤｃ＋ＰＤｄ）を生成する場合、４ＰＤ加算の画素信号は画像用画素信号となる。
【0079】
次に、図４を用いて、４ＰＤ画素のポテンシャル障壁の設定について説明する。複数の位相差検出方向に応じて受光部（ＰＤ）の間のポテンシャル障壁の高さを異ならせるが、Ｒ／Ｌ画素優先の方が、読出し効率が良いので、本実施形態においては、Ｒ／Ｌ画素優先のポテンシャル障壁の設定としＲＬ画素を用いる検出を優先的に使用する。ＲＬ画素読出しの方がＴＢ画素読出しに対して読出し効率が良い理由を説明する。撮像素子２０８から画素データを読出す行数が多いほど読出し時間が長くなりタイムラグが発生する。水平位相差検出用のＲＬ画素データの読出しは、読出す行数の増減が位相差検出精度に影響せず、画素加算や画素間引きによる読出し行数の縮小が可能である。一方、垂直位相差検出用のＴＢ画素信号の読出しは、読出す行数の増減が位相差検出精度に大きく影響し、読出し行数の縮小により精度の低下となる。よって、ＲＬ画素信号の読出しは、精度を維持しつつ読出し速度の高速化が容易で読出し効率がより良いといえる。
【0080】
図４（ａ）は、画素を、電荷を蓄積する器のように表現するイメージ図である。ＲＬ画素優先のポテンシャル障壁の設定において、画素内の受光部ＰＤ間のポテンシャル障壁（以下、単に障壁と記す）の高さを示す。図４（ａ）において、ＬＴとＬＢは、それぞれ、図３Ａの上側左受光部ＬＴ（ＰＤａ）と下側右受光部ＬＢ（ＰＤｂ）に対応し、電荷を蓄積する器に相当する。そして、ＲＴとＲＢは、それぞれ図３Ａの上側右受光部ＲＴ（ＰＤｃ）と下側右受光部ＲＢ（ＰＤｄ）に対応し電荷を蓄積する器に相当する。図３Ａを用いて説明したように、位相差の検出方向が矢印Ａ（ＲＬ方向ともいう）の場合には、ＬＴとＬＢに蓄積された電荷に応じた信号を画素内加算することによってＬ画素信号を生成できる。そして、ＲＴとＲＢに蓄積された電荷に応じた信号を画素内加算することによって、Ｒ画素信号を生成できる。Ｒ／Ｌ画素優先の場合には、ＬＴとＬＢの間と、ＲＴとＲＢの間に位置する障壁Ｐｔｂ（境界Ｂ２に相当）のレベルは、ＬＴとＲＴの間と、ＬＢおよびＲＢの間に位置する障壁Ｐｒｌ（境界Ｂ１に相当）のレベルに対して、低くなるように設定する。
【0081】
このように、障壁Ｐｔｂのレベルが障壁Ｐｒｌのレベルに対して低くなるように設定しているので、例えば、ＬＴへの入射光量が他の受光部よりも多く、電荷が多量に発生して、蓄積された電荷が障壁Ｐｔｂを超えて溢れるような場合がある。この場合には、この溢れ出た電荷はＬＢにまず流れ込む。このように、電荷が障壁を超えて溢れる場合を電荷の飽和と記す。Ｌ画素（ＬＴ＋ＬＢ）において発生した電荷が障壁Ｐｒｌを超えない限り、Ｒ画素（ＲＴ＋ＲＢ）に電荷が流れ出てしまうことがない。このため、位相差方向Ａにおいて位相差を検出する場合には、受光部ＬＴ、ＬＢ、ＲＴ、ＲＢのいずれか１つにおいて、障壁Ｐｔｂに関する電荷の飽和が発生しても、Ｒ画素（ＲＴ＋ＲＢ）とＬ画素（ＬＴ＋ＬＢ）のそれぞれでは電荷の飽和が発生しない。したがって、Ｒ画素、Ｌ画素のそれぞれの画素値（画素出力電圧）としては、飽和することがないので、位相差方向Ａについての位相差を検出することができる。次に、障壁に関する優先度を持たせる場合と持たせない場合を比較して、優先度を持たせる場合の効果について説明する。
【0082】
図４（ｂ）に示すように、障壁に関する優先度を持たせない場合、すなわち、障壁ＰａのレベルがＲＬ方向およびＴＢ方向で等しい場合には、受光部ＬＴ、ＬＢ、ＲＴ、ＲＢのいずれか１つでも、蓄積された電荷が飽和して障壁Ｐａを超えて、電荷が流れ出した場合、ＲＬ方向の位相差、ＴＢ方向の位相差の両方とも電荷量のバランスが崩れ、位相差検出が不能となってしまう。このような電荷の飽和を回避するためには、電荷蓄積量を監視して蓄積時間を調節する必要がある。撮像素子２０８では、フォトダイオードＰＤに蓄積された電荷が、容量（フローティングディフュージョン）に転送され電圧に変換されて信号電圧として読み出される。この容量は、４ＰＤ加算の画素信号である画像用画素信号として最適化された容量値に設定されている。４ＰＤ加算の画素信号の電荷の飽和に相当する信号電圧を１とすると、受光部ＬＴ，ＬＢ、ＲＴ、ＲＢの電荷の飽和に相当する信号電圧は１／４となる。ここでは、説明の複雑化を避けるため、ポテンシャル障壁Ｐａの高さに相当するレベルを４ＰＤ加算の電荷の飽和のレベルとする。
【0083】
このため、１ＰＤの画素信号は、１ＰＤの障壁Ｐａのレベルに相当する電荷量（電荷の飽和に相当する電荷量）に相当する閾値電圧、つまり４ＰＤ加算の画素信号の電荷の飽和に相当する閾値電圧の１／４に閾値電圧を設定し、この閾値電圧を超えないように蓄積時間を制御する必要がある。このように障壁Ｐａのレベルを同一とし優先度を持たせない場合、閾値電圧としては４ＰＤ加算の画素信号の閾値電圧の１／４倍した値を電荷の飽和判定レベルとしなければならない。２ＰＤ加算の画素信号の場合も同じであり、１ＰＤの電荷の飽和を判定するためには、４ＰＤ加算の画素信号の閾値電圧の１／４倍した値を電荷の飽和判定レベルとしなければならない。したがって、障壁に優先度を持たせない場合、焦点検出用画素（ＲＬ画素、ＴＢ画素）の信号電圧のダイナミックレンジは画像用画素（４ＰＤ加算）の信号電圧のダイナミックレンジの１／４に縮小され、位相差検出の精度が低下する問題がある。
【0084】
一方、上述したＲＬ画素優先の障壁の設定では、障壁に関する優先度を持たせているので、ＲＬ画素を読み出す場合は、４ＰＤの内の１ＰＤのＬＴ（またはＬＢ）の電荷量が障壁Ｐｔｂを越えても、ＬＴ、ＬＢの２ＰＤ分の電荷量が障壁Ｐｒｌを越えなければ、ＲＬ画素のそれぞれの信号電圧は飽和しない。ＲＬ間の障壁Ｐｒｌのレベルを、優先度を持たせない場合の障壁Ｐａのレベルと同一とする場合、ＲＬ画素の障壁Ｐａのレベルに対応する２ＰＤ分（ＬＴ、ＬＢ、またはＲＴ、ＲＢ）の電荷量は、障壁Ｐａのレベルに対応する４ＰＤ加算の電荷量の１／２となる。従って、ＲＬ画素の信号電圧については、４ＰＤ加算の信号電圧の電荷飽和判定レベルの１／２に電荷飽和判定レベルを設定することが可能となる。これによって、ＲＬ方向の位相差検出用の焦点検出用画素（ＲＬ画素）の信号電圧のダイナミックレンジは、画像用画素（４ＰＤ加算）の信号電圧のダイナミックレンジの１／２とすることが可能である。優先度を持たせない場合に比較してダイナミックレンジを２倍に拡大することができる。なお、ポテンシャル障壁の設定は、撮像素子の製造工程にて半導体の不純物濃度の調節等によって設定可能であり、詳細説明を省略する。
【0085】
次に、図４（ａ）を用いて説明した障壁のレベルの設定に基づき、画素データの飽和判定レベルの設定の仕方について説明する。ＲＬ画素優先の障壁の設定でＲ／Ｌ画素の画素データを読み出す場合には、前述したように、飽和判定レベルをＲ画素とＬ画素の間の障壁Ｐｒｌのレベルに相当する電圧レベルに設定する。一般的に、障壁Ｐｒｌのレベルは、４ＰＤ加算画素のリニアリティを確保するために、４ＰＤ加算画素の電荷の飽和レベルＰの７０％程度と設定する。４ＰＤ加算画素の画素信号を読み出す場合の信号電圧の飽和レベルを、たとえば４０９６（量子化１２ビットに相当）とする場合には、ＲＬ画素の信号電圧の飽和レベルはそれぞれ２ＰＤ分の電荷量に相当する信号電圧の４０９６×７０％／２＝１４３３程度に相当する。従って、ＲＬ画素の信号電圧（画素データ）の飽和判定レベルは、たとえば１３００程度に設定すればよい（図１２ＡのＳ７、図１３参照）。
【0086】
ＴＢ画素の画素データを読み出す場合は、飽和判定レベルをＴ画素とＢ画素の間の障壁Ｐｔｂのレベルに相当する電圧レベルに設定する。障壁Ｐｔｂのレベルは、障壁Ｐｒｌのレベルの７０％程度に設定する。４ＰＤ加算画素を読み出す場合の信号電圧の飽和レベルを４０９６とする場合には、ＴＢ画素の信号電圧の飽和レベルそれぞれ２ＰＤ分の電荷量に相当する信号電圧である４０９６×７０％×７０％／４＝５０１程度に相当する。従って、ＴＢ画素の信号電圧（画素データ）の飽和判定レベルは、たとえば４５０程度に設定すればよい（図１２ＡのＳ７、図１３参照）。
【0087】
一方、ＲＬ画素優先の障壁の設定としない場合、４つのＰＤのどれか１個でも電荷の飽和が発生すると、パランスが崩れ相関演算に影響が現れてしまう。この場合には、同じ条件の下で、ＲＬ画素の信号電圧の飽和レベルは、４０９６×７０％／４＝７１６程度となってしまう。従って、ＲＬ画素優先の障壁の設定とすることによってＲＬ画素の信号電圧（画素データ）は約２倍（１４３３／７１６）のダイナミックレンジを確保することができ、効果は大きい。
【0088】
後述する図５に示す位相差検出を行うフレームにおいて、ＲＬ画素信号の露光／読出し（ＡＦ（ＲＬ））の場合は、ＲＬ画素用の飽和判定レベル（閾値）、ＴＢ画素信号の露光／読出し（表示（ＴＢ））の場合は、ＴＢ画素用の飽和判定レベル（閾値）を設定して飽和を判定する。
【0089】
次に、図５を用いて、本実施形態におけるＡＦ／表示の露光／読出しシーケンスについて説明する。このシーケンスは、後述する図１２ＡのフローのステップＳ９におけるＡＦ＆ＬＶ用露光＆読出し処理において実行される。また、本実施形態においては、焦点検出（ＡＦ）用としてＲＬ画素読出し行い、表示用としてＴＢ画素読出しを行っている。
【0090】
図５において、「ＶＳ」は、素子制御部２９に入力される同期信号ＶＳ（垂直同期信号）のタイミングを示している。ＶＳ（１）からＶＳ（６）はＡＦ露光読出し動作のタイミングを示す垂直同期信号であり、ＶＳ（３）、ＶＳ（４）、ＶＳ（６）、ＶＳ（７）は表示露光読出しタイミングを示す垂直同期信号である。素子制御部２９はＶＳに基づいて各フレームの露光・読出し動作のタイミングを制御する。ＡＦ露光読出し（ＡＦ（ＲＬ））の処理は２フレーム続けて行われ、その後、表示露光読出し（表示（ＴＢ））の処理が１フレーム行われる。このシーケンスを１個の単位として実行する。図５は、２回連続して実行される例を示している。なお、連続する２回のＡＦ（ＲＬ）により読出される焦点検出用ＲＬ画素信号はフレーム加算されるが、後述する。各フレームにおいて素子制御部２９からのリセット信号が垂直走査部２１を通じてライン（行）毎に画素部２２の各画素に出力され、各画素の露光動作が開始される。素子制御部２９からの読出し信号が垂直走査部２１を通じてライン（行）毎に画素部２２の各画素に出力され、各画素の露光動作を終了させ読出しを実行する。このリセット信号と読出し信号の間が各フレーム（各画素）の露光時間として制御される。１シーケンスの長さは、ＬＶ表示の更新間隔（フレームレート）等に応じて決められる。
【0091】
図５のＡＦ（ＲＬ）では、水平方向の位相差検出を行うための焦点検出用画素信号ＲＬの生成と読出しを行う。この時の焦点検出用画素信号の読出しと加算処理については、図６を用いて後述する。また、表示（ＴＢ）では、ライブビュー（ＬＶ）表示用および、垂直方向の位相差検出を行うための焦点検出用画素信号ＴＢの生成と読出しを行う。このときの画素信号読出しと加算処理については、図７、図８を用いて後述する。
【0092】
次に、図６を用いて、図５のＡＦ（ＲＬ）において行われる焦点検出用ＲＬ画素信号の読出しについて説明する。図６の上側の図は各画素（信号）に対応させた配置と画素加算のイメージを示す。これは、撮像素子上の画素の配置やメモリ上の画素データの配置をイメージするものである。例えば、位置（ｍ１、ｎ１）に位置するＲは左側開口の赤色画素（Ｒ）またはその信号を、（ｍ２、ｎ１）に位置するＲは右側開口の赤色画素（Ｒ）またはその信号を意味する。（ｍ１、ｎ２）に位置するＧｂは左側開口の緑色画素（Ｇｂ）またはその信号を、（ｍ２、ｎ２）に位置するＧｂｒ右側開口の緑色画素（Ｇｂ）またはその信号を意味する。「Ｂ」、「Ｇｂ」は、同様にそれぞれ左側開口または右側開口の青色画素、緑色画素、またはその信号は青色画素を意味する。
【0093】
アナログ処理部２３が、ＲＬ画素信号の画素加算を行う。垂直方向については同色・同一開口（左開口同士又は右開口同士）の画素信号を６画素加算するように設定され、水平方向は画素加算を行わない。例えば、行ｎ１、ｎ３、ｎ５、ｎ７、ｎ９、ｎ１１に対応するＧｒの左側（列ｍ３、ｍ７、・・・）と右側（列ｍ４、ｍ８、・・・）の画素信号をそれぞれ画素加算する。同様に、行ｎ２、ｎ４、ｎ６、ｎ８、ｎ１０、ｎ１２のＧｂの左側（列ｍ１、ｍ５、・・・）と右側（列ｍ２、ｍ６、・・・）の画素信号をそれぞれ画素加算する。この画素加算を実行すると、図６の下図に示すように、緑色画素データＧｒとＧｂの加算値のみを詰めて読み出す。高速化のため赤色画素データＲと青色画素データＢは間引いて読出していないが、赤色画素データＲと青色画素データＢも同様に画素加算して読み出してもよい。この画素加算処理を行うことによって、画素信号の行数が圧縮されて減り、読み出し時間が短縮される。一方で、画素信号の列数を圧縮しないので水平方向の位相差の検出精度は確保される。また、図６の下側の図は、このような画素加算後に読出された画素データのメモリ部２５のデータ配置のイメージ図である。
【0094】
このように、列毎に６画素のＧｒ画素の左側画素信号と右側画素信号の加算値と、Ｇｂ画素の左側画素信号と右側画素信号の加算値が、ＲＬ画素信号として、図６の下側の図表に示す形式でメモリ部２５に記憶される。撮像素子２０８は、ＲＬ画素データとして、これらの画素加算値をデジタル値に変換して出力し、焦点検出回路２１８ではこのＲＬ画素データを用いて、後述する相関演算等が実施される。
【0095】
次に、図７を用いて、図５の表示（ＴＢ）のＴＢ画素信号の読出しについて説明する。ここでは、主として、ライブビュー表示用の画素信号の読出しを行う。但し、図５のＡＦ（ＲＬ）において読み出したＲＬ画素信号に基づいて焦点検出ができない場合に、画素加算読出しされた上下方向のＴＢ画素信号による焦点検出の信頼性があるかの判定について使用される。そのため、ＴＢ方向の位相差検出ができるように、位相差情報を残した状態でＴＢ画素信号の画素加算が行われる。ＴＢ画素読出しは、ＴＢ方向（垂直方向）の位相差、すなわち、撮影画面内の横線のような画像について位相差検出を行うための画素データの読出し処理である。本実施形態においては、ＲＬ方向を優先してＡＦを行うが、被写体によっては、ＲＬ方向（水平方向、横方向）の位相差検出ができない場合がある。このような場合に、ＴＢ方向（垂直方向、縦方向）の位相差検出が可能であれば、この位相差検出の結果に基づいてＡＦを行う。
【0096】
図７の上側の図は各画素（信号）に対応させた配置と画素加算のイメージ図であり、図６と同様であることから、詳しい説明を省略する。アナログ処理部２３が、ＴＢ画素信号の画素加算を行う。この場合、水平方向について、同色、同一開口（上開口同士又は下開口同士）の画素信号を３画素加算するように設定されている。上側開口の画素は前述のＴ画素、下側開口の画素は前述のＢ画素に相当する。図８は作図の都合上、ＴＢ画素を上下ではなく左右に配置して示している。
【0097】
図７に示す例では、例えば、位置（ｍ１、ｎ１）、（ｍ５、ｎ１）、（ｍ９、ｎ１）の３つのＲ画素の上側（Ｔ）画素信号が画素加算され、加算信号Ｒが図８の下段左側の図の（ｍ１、ｎ１）に記憶される。また、（ｍ２、ｎ１）、（ｍ６、ｎ１）、（ｍ１０、ｎ１）の３つのＲ画素の下側（Ｂ）画素信号が画素加算され、加算信号Ｒが図８の下段左側の図の（ｍ２、ｎ１）に記憶される。同様に、（ｍ７、ｎ１）、（ｍ１１、ｎ１）、（ｍ１５、ｎ１）の３つのＧｒ画素の上側（Ｔ）画素信号が画素加算され、加算信号Ｇｒが図８の下段左側の図の（ｍ３、ｎ１）に記憶される。また、（ｍ８、ｎ１）、（ｍ１２、ｎ１）、（ｍ１６、ｎ１）の３つのＧｒ画素の下側（Ｂ）画素信号が画素加算され、加算信号Ｇｒが図８の下段左側の図の（ｍ４、ｎ１）に記憶される。Ｇｂ画素、Ｂ画素についても、同様に３つの画素信号の加算信号Ｇｂ、Ｂが図８の下段の左側の図表に示す如く記憶される。なお、本明細書においては、図７に示すように、水平方向の３画素を加算する画素加算を「横３加算」と称することがある。
【0098】
また、ライブビュー表示を行うためには、位相差情報は不要であるので、同一画素の上側（Ｔ）画素信号と下側（Ｂ）画素信号を加算し、位相差情報を消去した画素データを生成する。すなわち、図７の下段の左側の図に示すように、Ｒ画素の上側（Ｔ）画素信号と下側（Ｂ）画素信号を加算し、同様にＧｒ画素、Ｇｂ画素、Ｂ画素の上側（Ｔ）画素信号と下側（Ｂ）画素信号を加算する。この加算処理を行うと、図７の下段の右側の図が示すように、位相差情報（すなわち、上側（Ｔ）情報と下側（Ｂ）情報）が消去され、画像情報のみの信号となる。この加算処理は、ＣＰＵ２１２によるデジタル加算により実行される。
【0099】
このように、本実施形態におけるＴＢ画素読出しでは、ＴＢ画素信号の画素加算によって信号レベルをより大きくしてＳ／Ｎを確保している。なお、水平３画素分の画素加算を、必要な信号レベルや読出し時間に応じて加算画素数を５画素分等に変更してもよい。
【0100】
従って、図７に示す例では、対をなす加算信号（画素内加算されたＴＢ画素信号）を、位相差検出方向（ここでは、ＴＢ方向）と異なる方向（ここではＲＬ方向）に画素加算して対をなす画素加算信号を生成している。
【0101】
さらに、図７に示す例では、ＲＧＢの画素の全てのＴＢ画素データを読出して位相差検出方向にてデジタル加算することによって、表示用データとして兼用している。なお、ＡＦ（ＲＬ）のフレーム（図５参照）において、ＲＬ画素は高速化のためにＧ（Ｇｒ、Ｇｂ）のみ読み出していた。
【0102】
次に、図８を用いて、図７に示したＴＢ画素読出しの変形例について説明する。図７では、位相差検出方向とは異なるＲＬ方向（水平方向、横方向）について同一開口（上開口同士又は下開口同士）の画素信号の画素加算を行う。これに対し、本変形例ではＲＬ方向について画素信号を画素加算するとともに、ＴＢ方向（垂直方向、縦方向）についても同一開口（上開口同士又は下開口同士）の画素信号を画素加算する。
【0103】
図８に示す例では、位置（ｍ１、ｎ１）、（ｍ５、ｎ１）、（ｍ９、ｎ１）、（ｍ１、ｎ３）、（ｍ５、ｎ３）、（ｍ９、ｎ３）、（ｍ１、ｎ５）、（ｍ５、ｎ５）、（ｍ９、ｎ５）の９個のＲ画素の上側（Ｔ）画素信号が画素加算される。また、（ｍ２、ｎ１）、（ｍ６、ｎ１）、（ｍ１０、ｎ１）、（ｍ２、ｎ３）、（ｍ６、ｎ３）、（ｍ１０、ｎ３）、（ｍ２、ｎ５）、（ｍ６、ｎ５）、（ｍ１０、ｎ５）の９個のＲ画素の下側（Ｂ）画素信号が画素加算される。Ｂ画素、Ｇｒ画素、Ｇｂ画素についても、それぞれ上側（Ｔ）画素信号と下側（Ｂ）画素信号が画素加算される。上述した水平３画素／垂直３画素の画素加算の画素加算信号（ＴＢ画素信号）は、図８の下段の左側に示すように、マトリックス状の焦点検出用ＴＢ画素データとしてメモリ部２５に記憶される。さらに、撮像素子２０８から読出され焦点検出用画素データとしてメモリに記憶され、焦点検出回路２１８はこの焦点検出用画素データに基づいて位相差を検出する。なお、本明細書においては、図８に示すように、垂直方向の３画素の画素信号と水平方向の３画素の画素信号の画素加算を「横縦９加算」と称することがある。
【0104】
図７に示す例では、対をなす加算信号（画素内加算されたＴＢ画素信号）を、位相差検出方向（ここでは、ＴＢ方向）と異なる方向（ここではＲＬ方向）だけについて画素加算して対をなす画素加算信号を生成する。図８に示す変形例は、さらに位相差検出方向と同じ方向についても画素加算を行い、図７の例に対して画素加算信号のレベルをさらに大きくすることができる。
【0105】
また、図８の下段の左側の図表における、同色の異なる開口の複数のＲ、Ｇｒ、Ｇｂ、Ｂの画素加算データの対を加算すると、下段の右側の図表となる。すなわち、この図表に記載の加算値は、画素加算されたＴ画素信号とＢ画素信号を加算したものであり、位相差情報が消去されている。ライブビュー表示用の画素データは、位相差情報は不要なので、この図８の下段の右側に示される加算値を用いて表示用データとする。
【0106】
画素加算されたＴ画素信号とＢ画素信号の加算は、画素加算されたＴＢ画素信号をＡＤ変換して焦点検出用画素データとして出力し、ＣＰＵ１２１が読出した後にデジタル的に加算する。また、アナログ処理部２３が画素加算されたＴ画素信号とＢ画素信号をさらに画素加算し、メモリ部２５の画素加算されたＴＢ画素信号の記憶領域と異なる領域に記憶するという方法でもよい。ここで、図８に示した例では、位相差検出方向、すなわちＴＢ方向についても画素信号の画素加算を行うので、信号レベルを増大させる一方で位相差検出の分解能が低下してＡＦ精度が低下するおそれがある。これに対して、図７の例では、位相差検出方向であるＴＢ方向については画素加算を行わず、位相差検出方向とは異なるＲＬ方向について画素加算を行う。ＴＢ方向に画素信号を加算しないので、図８の画素加算に比較して信号レベルはより小さいが位相差検出方向（ＴＢ方向）の分解能を維持することができる。図７に示す画素加算を行った結果の信号レベルが、焦点検出演算用としてまだ小さいと判断される場合に、図８に示す画素加算を行うようにしてもよい。また、９画素分の画素加算を、必要な信号レベルや読出し時間に応じて加算画素数を１６画素分等に変更してもよい。
【0107】
次に、図９を用いて、本発明の一実施形態の変形例について説明する。図５に示したように、本実施形態においては、２フレーム続けて焦点検出用ＲＬ画素読出し（ＡＦ（ＲＬ））を行い（ＶＳ（１）～ＶＳ（３）参照）、ライブビュー表示フレームのＴＢ画素読出し（表示（ＴＢ））を行っている（ＶＳ（３）～ＶＳ（４））。この図９の上段に示す撮像駆動シーケンスをＲＬ×２モードともいう（図１４参照）。このシーケンスを１個の単位として実行する。図９の上段は、２回連続して実行される例を示している。このＲＬ×２モードにおいて、連続する２回のＡＦ（ＲＬ）により読出されるＲＬ画素データをフレーム加算し、フレーム加算されたＲＬ画素データに基づき焦点検出を行う。焦点検出の結果、例えば、被写体像に横線があるが縦線がない場合には、ＲＬ画素データで焦点検出しても合焦点を検出することができず、複数回、ＡＦ検出結果がＮＧとなってしまうことがある。図９の上段は、ＲＬ×２モードで２回連続して検出ＮＧとなる状態を示す。この場合、ＶＳ（３）～ＶＳ（４）の表示（ＴＢ）の、図７、図８に示したＴＢ画素読出しによるＴＢ画素信号の画素加算値（図７、図８の下段の左側の図表参照）を用いて焦点検出が可能であるか否かを判定する
【0108】
図９の上段のＲＬ×２モードにおいて、ＡＦ（ＲＬ）のＲＬ画素信号による焦点検出が不能で、表示（ＴＢ）のＴＢ画素信号を用いた焦点検出が可能の場合には、ＴＢ画素信号を用いた焦点検出を行うＴＢ×２モード（図９の下段）に切り替える。ＴＢ×２モードは、２フレーム続けてＴＢ画素読出し（ＡＦ（ＴＢ））を行い（ＶＳ（１１）～ＶＳ（１３）参照）、その後、表示（ライブビュー）フレームの画素読出しを行う（ＶＳ（１３）～ＶＳ（１４）参照）。このシーケンスを１個の単位として実行する。図９の下段は、２回連続して実行される例を示している。連続する２回のＡＦ（ＴＢ）により読出される焦点検出用ＴＢ画素信号はフレーム加算され焦点検出に使用される。表示フレームでは、ライブビュー表示用の画素読出しを行う（図１０）。ＴＢ×２モードにおいて、ＴＢ画素読出しによる焦点検出が複数回ＮＧの場合は、ＲＬ×２モードに切り替える（図１４のＳ９５Ｎｏ→Ｓ９９参照）。
【0109】
図９の下段のＴＢ×２モードのシーケンスにおいて、ＡＦ（ＴＢ）フレームでは、撮像素子２０８によりＴＢ画素信号の露光、画素加算（フレーム内画素加算）が行われ、ＴＢ画素データが出力されＤＲＡＭ２２６に格納される。そして、ＡＦ（ＴＢ）フレームが２回連続して実行され、２フレーム分のＴＢ画素データがＤＲＡＭ２２６に格納される。焦点検出回路２１８は、２フレーム分のＴＢ画素データの同一画素に対応するＴＢ画素データをデジタル的に加算（フレーム加算）する。焦点検出回路２１８は、フレーム加算されたＴＢ画素データに基づいて位相差検出を行う。このようなフレーム内画素加算とフレーム加算の両方を実施しても良いが（図１２のＳ１３参照）、フレーム内画素加算のみであってもよいし、フレーム加算のみであってもよい。フレーム内画素加算とフレーム加算の両方を実施すれば、フレーム内画素加算よりもさらに信号レベル（Ｓ／Ｎ）を向上させて検出することができる。このＴＢ画素データを用いて焦点検出を行った結果、信頼性が２回続けて低い場合（検出ＮＧが２回続く）には、再び、ＲＬ×２モードに切り替えて焦点検出（ＡＦ）を行う。
【0110】
【0111】
図１０は、各画素（信号）に対応させた配置と画素加算のイメージ図であり、図６と同様であることから、詳しい説明を省略する。各画素信号は、撮像素子２０８の各画素の４ＰＤのフォトダイオード信号をすべて画素内加算した信号を示している。すなわち、図１０において、Ｒ（赤色）画素について（ｍ１、ｎ１）、（ｍ５、ｎ１）、（ｍ９、ｎ１）、（ｍ１、ｎ３）、（ｍ５、ｎ３）、（ｍ９、ｎ３）、（ｍ１、ｎ５）、（ｍ５、ｎ５）、（ｍ９、ｎ５）、の９つのＲ画素の画素信号を加算し、画素加算信号を生成する。同様に、Ｂ（青色）画素について（ｍ７、ｎ４）、（ｍ１１、ｎ４）、（ｍ１５、ｎ４）、（ｍ７、ｎ６）、（ｍ１１、ｎ６）、（ｍ１５、ｎ６）、（ｍ７、ｎ８）、（ｍ１１、ｎ８）、（ｍ１５、ｎ８）、の９つのＢ画素の画素信号を加算し、画素加算信号を生成する。同様に、Ｇｒ画素とＧｂ画素についても、９つの画素信号を加算し、加算信号を生成する。
【0112】
このように、図１０に示す表示フレームの画素加算読出しにあたっては、撮像素子２０８センサでは、各画素の４ＰＤのフォトダイオード信号をすべて画素内加算した画素信号について、アナログ処理部２３により垂直方向３画素加算、水平方向３画素加算の９画素加算を行い、ＡＤ処理部２４によりＡＤ変換して表示用画素データとして出力する。
【0113】
次に、図１１に示すシーケンスを用いて、連写撮影を行う場合について説明する。図５に示したシーケンスは、２フレーム続けてＡＦ（ＲＬ）の露光・読出しとＡＦ検出を行った後に、表示（ＴＢ）フレームの露光・読出しを行い、ライブビュー表示用の画素データの取得を行っていた。この図１１に示すシーケンスは、連写を行う場合であって、２フレーム続けてＲＬ画素読出しを行ってから（Ｖ（２１）～Ｖ（２３）参照）、静止画撮影と表示用データの取得を行い（Ｖ（２３）～Ｖ（２４）参照））、その後、再び、２フレーム続けてＲＬ画素読出しを行っている（Ｖ（２４）～Ｖ（２６）参照）。この処理を、レリーズ釦が操作されている間、繰り返し行う。なお、図１１に示す例では、ＲＬ画素読出しに基づきＡＦ検出を行うとしたが、ＲＬ画素読出しによってＡＦ検出ができない場合には、図１１のＡＦ（ＲＬ）をＡＦ（ＴＢ）に置き換えてＴＢ画素読出しを行い、ＡＦ検出を行うようにしてもよい。
【0114】
図１１のように、図５の表示用フレーム（表示（ＴＢ））を、連写における静止画露光とし連写シーケンスに適用してもよい。そして、静止画画像データから表示用画像データを作成してライブビュー表示を行う。また、ＡＦ（ＲＬ）を２フレーム続けて行い、ＲＬ画素信号のフレーム加算を行ってフレーム加算したＲＬ画素データを用いて焦点検出を行う。フレーム加算することによって、更に精度よく位相差を検出することができる。フレーム加算数は２フレーム分に限らず、連写速度に応じＡＦ（ＲＬ）を連続３フレーム実行し３フレーム加算としてもよい。
【0115】
次に、図１２Ａないし図１２Ｃに示すフローチャートを用いて、焦点検出装置を含む撮像装置の動作について説明する。このフローチャートは、カメラ本体２００内のＣＰＵ２１２が、本体側記憶部２２８に記憶されたプログラムに従って、カメラ本体２００および交換式レンズ１００内の各部を制御することによって実現する。
【0116】
ユーザが撮像装置１の電源をオン操作したことが検出されると、図１２Ａに示すカメラ電源オンのフローが開始する。電源オンのフローが開始すると、まず１ｓｔレリーズスイッチがオンか否かについて判定する（Ｓ１）。ここでは、ＣＰＵ２１２は、操作部２０６の内のレリーズボタンの１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。ユーザは、被写体にピントを合わせ、露出を決定する場合には、レリーズボタンを半押しする。ユーザがレリーズボタンを半押し操作すると、この操作に応答して１ｓｔレリーズスイッチがオンの状態となる。
【0117】
ステップＳ１における判定の結果、１ｓｔレリーズスイッチがオンでない場合、ライブビュー（ＬＶ）画像の取り込みを行う（Ｓ３）。ここでは、ＣＰＵ２１２は、メカシャッタ２０２を全開状態とするように駆動部２０４に対して制御信号を出力すると共に、絞り１０２ｂを所定量（例えば開放絞り）だけ駆動するように、レンズＣＰＵ１０６に対して制御信号を出力する。その後、ＣＰＵ２１２は、所定時間毎に（表示フレームレートで決まる時間）、撮像素子２０８に対して制御信号を出力し、撮像素子２０８によるＬＶ表示のための撮像を行う。ＬＶ表示のための撮像が完了する毎に、素子制御部２９は、画素部２２からの画素信号を読み出す。なお、画素信号の読み出しに際し、素子制御部２９は、画素部２２の各画素内の４個のフォトダイオード（受光部）の信号を画素内加算させ、必要に応じて同色の信号をさらに画素加算させて画素データとして出力する。撮像素子２０８から出力された画素データは、表示用データとしてＤＲＡＭ２２６に記憶され、表示用データに基づき表示部２２２にライブビュー画像が表示される。
【0118】
ステップＳ１における判定の結果、１ｓｔレリーズスイッチがオンの場合には、次に、ＲＬ×２モードを設定する（Ｓ５）。ここでは、ＣＰＵ２１２は、ＲＬ画素読出しを２フレーム続けて撮像を行い、次に表示とＴＢ画素読出しを１フレーム分の撮像を行うＲＬ×２モードを設定する（図９の上段のシーケンス参照）。なお、このＲＬ×２モードを実行した後は、ステップＳ１７において、ＡＦ検出結果に応じて、ＲＬ×２モードを継続するか、ＴＢ×２モードに変更するかが判定される。
【0119】
次に、露出の狙いを設定する（Ｓ７）。ここでは、ＣＰＵ２１２は、前回フレーム画像を読み出した際のＡＦ露光結果に基づいて、次のＡＦフレームにおける露光時間の設定を行う。前回、ＡＦ検出が可能であり（Ｓ１５参照）、画素信号が飽和していない場合には、有効ＡＦエリアの画素出力の平均値＝ＴＨ／３となる程度の露光時間を設定する。また、前回のＡＦフレームにおいて、全ＡＦエリアの検出がＮＧであり、かつ飽和画素が発生した場合には、有効ＡＦエリアの最大画素出力値＝ＴＨ×０．８となるように露光時間を決定する。この露出の狙いの設定の詳しい動作については、図１３を用いて後述する。
【0120】
なお、閾値ＴＨは、前述の飽和判定レベルに相当し、本実施形態においては、ＲＬ読出し時＝１３００、ＴＢ読出し（横３加算）時＝４５０、ＴＢ読出し（横縦９加算）時＝１３００としている。閾値ＴＨは、画素データとの比較により画素が飽和した否かの判定に使用するとともに、上述したように露光時間を制御するためのパラメータとして使用する。
【0121】
露出の狙いを設定すると、次に、ＡＦ＆ＬＶ用露光＆読出しを行う（Ｓ９）。ＣＰＵ２１２は、図９にて説明したオートフォーカス（ＡＦ）及びＬＶ表示のための撮像と読み出しを行う。前述したように、ＡＦおよびＬＶ用の露光および読出しモードとしては、ＲＬ×２モードとＴＢ×２モードがある。初回のみは、ＲＬ×２モードが設定されているが、次回以降はステップＳ１７において設定されたモードに基づいて、ＡＦ＆ＬＶ用露光と読出しが実行される。ＲＬ×２モードが設定されている場合には、ＡＦ検出フレームにおいては、図６を用いて説明したＲＬ画素読出し動作を実行し、ＬＶフレームにおいては、図８または図７を用いて説明したＴＢ画素読出し動作を実行する。ＴＢ×２モードが設定されている場合には、ＡＦ検出フレームにおいては図７、図８を用いて説明したＴＢ画素読出し動作を実行し、ＬＶフレームにおいては、図１０を用いて説明した画素読出し動作を実行する。
【0122】
ＡＦ＆ＬＶ用露光＆読出しを行うと、次に、読出した２フレーム分のＡＦ用画素データ画素データをフレーム加算する（Ｓ１１）。フレーム加算は、露光後、読み出された画素信号をＡＤＣ処理部２４によってＡＤ変換した後、同じ画素位置の画素データ同士を加算する。なお、このフレーム加算は、ＣＰＵ２１２が行ってもよく、焦点検出回路２１８が行ってもよい。フレーム加算後のデータを用いて、後述するステップＳ１３において位相差を検出する。フレーム加算は、ベイヤ上の全データを色ごとに、加算平均処理する。なお、加算演算は、「加算平均」によって行ってもよい。加算平均を行うことによって、デジタル演算を行う際に演算値が飽和してしまうことを防止できる。また、本実施形態においては、フレーム加算の有無によって、閾値ＴＨの値は変えていない。しかし、フレーム加算の有無に応じて、閾値ＴＨを変更するようにしてもよい。例えば、フレーム加算するとダイナミックレンジが広くなることから、フレーム加算を行う場合には閾値ＴＨを大きくしてもよい。なお、２フレームの画素データを加算するフレーム間加算を行わない場合には、このステップをスキップしてもよい。
【0123】
次に、相関演算および信頼性判定を行う（Ｓ１３）。ここでは、ＣＰＵ２１２は、焦点検出回路２１８によって焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている対をなす焦点検出用画素データ（図６－図８の下段の図表参照）を用いて相関演算を行う。相関演算は、複数の所定のＡＦエリア（焦点検出領域）内の焦点検出用画素データに基づいて、位相差に相当する２像間隔値を、ＡＦエリアについてそれぞれ生成する。相関演算が終了すると、次に、焦点検出回路２１８は、焦点検出の信頼性判定を行う。信頼性判定は、画素データから得られる被写体像のコントラストに相当する信頼性評価値や、相関演算の結果として算出される複数の相関値に基づいて判定される。
【0124】
信頼性を判定すると、次に、検出がＯＫか否かを判定する（Ｓ１５）。ここでは、ＡＦ検出がＯＫかＮＧかを判定する。すなわち、ステップＳ１３においてエリア毎に信頼性が所定値よりも高いか否かを判定し、低い場合には信頼性がＮＧとされる。このステップでは、全ＡＦエリアについて、信頼性がＮＧと判定されなかった場合、つまり、少なくとも１個のＡＦエリアについて信頼性がＯＫと判定された場合に、検出ＯＫと判定される。
【0125】
ステップＳ１５における判定の結果、検出がＯＫでなかった場合、すなわちＮＧであった場合には、撮像駆動モードを設定する（Ｓ１７）。ステップＳ１において、１ｓｔレリーズ釦が操作された後、初回はＲＬ×２モードによるＲＬ画素データでＡＦ検出が行われる。この後、Ｒ×２モードで連続して複数回検出がＮＧとなり、かつＴＢ画素読出しによる検出の結果がＯＫの場合にはＴＢ×２モードによるＡＦ検出に切り替える（図９参照）。ＴＢ×２モードに切り替えた後、ＴＢ画素読出しで連続して複数回検出がＮＧとなったか、または１ｓｔレリーズが押下られた場合の初回はＲＬ画素読出しに切り替えてＡＦ検出を行う。それ以外の場合には、現在の撮像駆動モードを継続する。この撮像駆動モード設定の詳しい動作については、図１４を用いて後述する。撮像駆動モードを設定すると、ステップＳ１に戻る。
【0126】
一方、ステップＳ１５における判定の結果、検出がＯＫであった場合には、次に、ピントずれ量を検出する（Ｓ１９）。ここでは、焦点検出回路２１８は、ステップＳ１３における信頼性判定の際に信頼性が高いと判定された焦点検出領域（ＡＦエリア）の２像間隔値を用いてフォーカスレンズ１０２ａのピントずれ量（デフォーカス量）を算出する。
【0127】
ピントずれ量を算出すると、次に、エリアを選択する（Ｓ２１）。ここでは、焦点検出回路２１８は、信頼性判定によって信頼性が高いと判定された複数の焦点検出領域のピントずれ量に基づいて焦点検出領域（および対応するデフォーカス量）を選択する。例えば最至近に対応するデフォーカス量を示す焦点検出領域を選択する。エリア選択処理は、最至近被写体に限らず、顔検出による人の顔が存在するエリアを選択してもよく、ユーザがマニュアルで選択したエリアであってもよい。なお、エリア選択は、ＣＰＵ２１２が行ってもよい。
【0128】
エリア選択を行うと、次に、合焦状態を判定する（Ｓ２３）。ここでは、ＣＰＵ２１２は、フォーカスレンズ１０２ａが合焦状態にあるか否かを判定する。すなわち、エリア選択処理において選択された焦点検出領域におけるピントずれ量が予め定められた許容範囲内であるか否かを判定し、許容範囲内であるときには合焦状態と判定する。
【0129】
ステップＳ２３における判定の結果、合焦状態でない場合には、フォーカスレンズ駆動を実行する（Ｓ２５）。ここでは、ＣＰＵ２１２は、ステップＳ２１において選択された焦点検出領域について算出されたピントずれ量に基づくフォーカスレンズ位置に、フォーカスレンズ１０２ａが駆動されるようにレンズＣＰＵ１０６と通信を行い、制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けると、駆動部１０４を通じてフォーカスレンズ１０２ａを指示された位置へ駆動する。フォーカスレンズ１０２ａを駆動する。その後、処理はＳ１に戻る。
【0130】
ステップＳ２３における判定の結果、合焦状態の場合には、ＡＦ＆ＬＶ用露光＆読出しを行う（Ｓ２７）。ここでは、ＣＰＵ２１２は、ステップＳ９と同様に、オートフォーカス（ＡＦ）及びライブビュー（ＬＶ）表示のための撮像（露光）と読み出しを行う。撮像駆動モードは、直前に実行された撮像駆動モードを実行し、次回以降は、後述するステップＳ３５において設定された撮像駆動モードを実行する。撮像素子２０８から焦点検出用画素データが読み出されＤＲＡＭ２２６に記憶され、表示用画素データがＤＲＡＭ２２６に記憶される。また、表示用画素データを用いてライブビュー（ＬＶ）表示を行う。
【0131】
次に、ＡＦの２フレームを加算する（Ｓ２９）。ここでは、２フレーム続けて実行したＡＦ用読出しの焦点検出用画素データをフレーム加算する。このステップＳ２９における処理は、ステップＳ１１と同様であることから、詳しい説明は省略する。続いて、相関演算および信頼性判定を行う（Ｓ３１）。ここでは、焦点検出回路２１８が焦点検出演算を実行し、また焦点検出結果の信頼性を判定する。このステップＳ３１における処理は、ステップＳ１３と同様であることから、詳しい説明は省略する。
【0132】
ステップＳ３１において、信頼性を判定すると、次に、検出がＯＫか否かを判定する（Ｓ３３）。ここでは、ステップＳ３１における信頼性判定結果に基づいて、焦点検出結果がＯＫか否かを判定する。このステップＳ３３における処理は、ステップＳ１５と同様であることから、詳しい説明は省略する。
【0133】
ステップＳ３３における判定の結果、検出がＯＫでなかった場合、すなわちＮＧであった場合には、撮像駆動モードを設定する（Ｓ３５）。このステップでは、撮像駆動モードを、ＲＬ×２モードとＴＢ×２モードの何れかに設定する。このステップＳ３５における処理は、ステップＳ１７と同様であることから、詳しい説明は省略する。
【0134】
一方、ステップＳ３３における判定の結果、検出がＯＫであった場合には、次に、ピントずれ量を検出する（Ｓ３７）。ここでは、焦点検出回路２１８は、フォーカスレンズ１０２ａのピントずれ量（デフォーカス量）を算出し、このピントずれ量に基づいて、焦点検出領域（および対応するデフォーカス量）を選択する。このステップＳ３７における処理は、ステップＳ１９と同様であることから、詳しい説明は省略する。
【0135】
ピントずれ量を算出すると、次に、エリアを選択する（Ｓ３９）。ここでは、ステップＳ３７において算出されたピントずれ量等に基づいて、ピントを合わせるエリアを選択する。このステップＳ３９における処理は、ステップＳ２１と同様であることから、詳しい説明は省略する。
【0136】
エリアを選択すると、次に、履歴情報を保存する（Ｓ４１）。ここでは、焦点検出回路２１８は、焦点検出に係る情報を履歴情報として例えばＤＲＡＭ２２６に保存する。焦点検出に係る情報は、例えばステップＳ３７で算出されたピントずれ量の情報、画素データ取得時刻、及び選択された焦点検出領域の情報を含む。なお、履歴情報の保存は、ＣＰＵ２１２が、焦点検出に係る情報をＤＲＡＭ２２６に保存するようにしてもよい。
【0137】
履歴情報を保存すると、次に、２ｎｄレリーズスイッチがオンか否かについて判定する（Ｓ４３）。ここでは、ＣＰＵ２１２が、操作部２０６の内の２ｎｄレリーズスイッチがオンされているか否かを判定する。ユーザが、静止画画像を撮影する場合にレリーズボタンを全押しすると、この操作に応答して２ｎｄレリーズスイッチがオンの状態となる。連写撮影モードが設定されている場合には、ユーザがレリーズ釦を全押し操作を行っている間、このステップにおける判定はＹｅｓとなり、ステップＳ４９以下の処理を繰り返す（図１１参照）。
【0138】
ステップＳ４３における判定の結果、２ｎｄレリーズスイッチがオンでない場合は、合焦状態か否かを判定する（Ｓ４５）。ここでは、ステップＳ２３と同様の処理を行い、判定の結果、合焦状態の場合には、Ｓ２７に戻る。
【0139】
一方、ステップＳ４３における判定の結果、合焦状態でない場合には、フォーカスレンズを駆動する（Ｓ４７）。ここでは、ＣＰＵ２１２は、ステップＳ２５と同様にフォーカスレンズ１０２ａをピントずれ量に基づいて適切なフォーカスレンズ位置に移動させる。フォーカスレンズ駆動を行うと、ステップＳ２７に戻る。
【0140】
ステップＳ４３に戻り、このステップにおける判定の結果、２ｎｄレリーズスイッチがオンの場合には、動体予測演算を行う（Ｓ４７）。ここでは、ＣＰＵ２１２は、焦点検出回路２１８に動体予測演算を実行させる。動体予測演算は、ステップＳ４１において記憶させた過去のピントずれ量演算の結果（フォーカスレンズ位置）と検出時刻の履歴に基づいて、今回の静止画の露光時において合焦となるフォーカスレンズ１０２ａの位置を予測する。
【0141】
動体予測演算を行うと、次に、シャッタ動作を開始する（Ｓ５１）。ここでは、ＣＰＵ２１２は、静止画取得のための撮像（本露光）を行うために、メカシャッタ２０２の動作を開始させる。このメカシャッタ２０２の動作は、本露光の前後のメカシャッタ２０２の開閉動作と、本露光の後でライブビュー及びＡＦのための撮像を開始するためのメカシャッタ２０２の全開動作とを含む（図１２Ｃのフローには、シャッタ動作の開始のタイミングのみを記載している）。ＣＰＵ２１２は、シャッタ動作を開始すると、まず、メカシャッタ２０２を全閉状態とするように駆動部２０４の制御信号を切り替える。そして、ステップＳ５５において、本露光の間、メカシャッタ２０２を全開した後に一旦全閉する。その後、ＣＰＵ２１２は、メカシャッタ２０２を全開状態とするように駆動部２０４を制御する。
【0142】
シャッタ動作を開始すると、絞りの絞り込み駆動とフォーカスレンズ駆動（ＬＤ）を同時に開始する（Ｓ５３）。ここでは、ＣＰＵ２１２は、レンズＣＰＵ１０６に対してフォーカスレンズ１０２ａ及び絞り１０２ｂを同時に駆動させるように指示し、両者の動作を開始させる。フォーカスレンズ１０２ａの駆動位置は、ステップＳ４９の動体予測演算において予測された位置である。絞り１０２ｂの開口量は、直前の測光演算によって測定された被写体輝度に基づいて算出された絞り値に応じた開口量である。
【0143】
絞りとフォーカスレンズ駆動を行うと、次に、本露光を行う（Ｓ５５）。ここでは、ＣＰＵ２１２は、本露光を実行し、前述したように、メカシャッタ２０２によって予め決められた露光期間だけを露光させるように駆動部２０４を制御する。本露光は、静止画記録用の画像データを取得するための撮像であり、露光読出し動作では画素ごとに４個のフォトダイオードの出力値を画素内加算（４ＰＤ加算）した画素値を生成し出力する。ＣＰＵ２１２は、本露光の終了後に、撮像素子２０８から画素信号を読み出す動作を実行させ、画素信号の読み出し後、記録用の静止画データを生成するための処理を画像処理回路２１４に行わせる。画像処理回路２１４は、記録用の画像データの生成に必要な処理を行って記録用の静止画データを生成する。画像処理の完了後、ＣＰＵ２１２は、画像圧縮展開部２１６によって記録用の静止画データを圧縮する。圧縮の完了後、ＣＰＵ２１２は、圧縮された記録用の静止画データを画像ファイルとして記録媒体２３０に記録する。
【0144】
続いて、絞りＬＤ同時駆動（開放）を実行する（Ｓ５７）。ここでは、ＣＰＵ２１２は、レンズＣＰＵ１０６に対して絞り１０２ｂを開放させるように、またフォーカスレンズ１０２ａを目標位置へ駆動するように指示する。また、ステップＳ４９における動体予測演算によって予測された位置へ、ステップＳ５３においてフォーカスレンズ１０２ａを駆動している。しかしながら、本露光までの処理時間が限られるため目標位置に達せずに、駆動に残りが生ずることがある。ステップＳ５７では、このようなフォーカスレンズの駆動残り分を駆動するように指示する。
【0145】
続いて、１ｓｔレリーズスイッチがオンか否について判定する（Ｓ５９）。ここでは、ＣＰＵ２１２は、操作部２０６の内のレリーズボタンの１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンの場合には、ステップＳ２７に戻り、前述の処理を実行する。
【0146】
一方、ステップＳ５７における判定の結果、１ｓｔレリーズスイッチがオンでない場合には、カメラ電源がオフか否かを判定する（Ｓ６１）。ここでは、ＣＰＵ２１２は、カメラ本体２００の電源をオフするか否かを判定する。例えば、ユーザの操作部２０６の操作によって電源のオフが指示された場合、又は所定時間のユーザの操作部２０６の操作がない場合には電源をオフすると判定される。この判定の結果、カメラ本体２００の電源をオフしないと判定されたときには、処理はステップＳ１に戻る。一方、ステップＳ６１において、カメラ本体２００の電源をオフすると判定されたときには、このフローの処理は終了する。
【0147】
次に、図１３に示すフローチャートを用いて、ステップＳ７（図１２Ａ参照）の露出狙いの設定における動作について説明する。この露出狙いの設定のフローでは、前述したように、画素データが閾値ＴＨを超えないように露光時間を設定するものであり、ＲＬ画素読出しが設定されている場合にはＴＨは１３００に設定され、横３加算のＴＢ画素読出しが設定されている場合にはＴＨ４５０に設定され、横縦９加算のＴＢ画素読出しが設定されている場合には１３００が設定されている。
【0148】
露出狙いの設定のフローが開始すると、まず、前回、検出可能か否かを判定する（Ｓ７１）。ここでは、ステップＳ１５またはＳ３３において、ＡＦ検出結果がＯＫか否かを判定しているので、このステップでは、これらの判定の結果が、検出ＯＫか否かを判定する。
【0149】
ステップＳ７１における判定の結果、前回、検出可能ではない場合には、飽和画素があるか否かを判定する（Ｓ７３）。ここでは、撮像素子２０８から読み出された画素データの値が、閾値ＴＨを超えている画素があるか否かを判定する。この閾値ＴＨは、前述したように、ＲＬ画素読出し、横３加算のＴＢ画素読出、横縦９加算のＴＢ画素読出に応じて異なっている。なお、飽和画素があるか否かの判定にあたっては、飽和画素の数が所定数を超えている場合に、Ｙｅｓと判定してもよく、所定数としては、１個、１０個等の固定値でもよく、また読み出す画素数に対する割合であってもよい。
【0150】
ステップＳ７３における判定の結果、飽和画素ありと判定された場合には、今回の露光時間＝前回の露光時間×（ＴＨ×０．８）／有効ＡＦエリアの最大画素出力値平均とする（Ｓ７５）。ここでは、前回検出不能であり、また飽和画素が発生していることから、飽和画素が発生しない（または所定数以下になる）ように、今回の露光時間の調整を行う。このために、前回のＡＦ検出の有効ＡＦエリアにおける最大画素出力値平均が、今回は閾値ＴＨの８０％になるような、より短い露光時間を求める。最大画素出力値平均は、複数のＡＦエリアのそれぞれの最大画素出力値の平均値である。なお、本実施形態においては、閾値ＴＨの８０％としているが、この閾値ＴＨの値は設計思想に応じて適宜変更してもよい。
【0151】
一方、ステップＳ７１における判定の結果、前回、検出可能であった場合、またはステップＳ７３における判定の結果、飽和画素がない場合には、今回の露光時間＝前回の露光時間×（ＴＨ／３）／（有効ＡＦエリアの画素出力値平均）とする（Ｓ７７）。ここでは、前回検出可能であったことから、今回も検出可能となるような露光時間を設定する。すなわち、前回の検出の有効ＡＦエリアにおける画素出力値の平均値が、閾値ＴＨの１／３になるような露光時間を求める。一般に、画素出力値の平均値が閾値ＴＨの１／３となるように露光時間を制御すれば、最大画素値が飽和することを防止できる。なお、ステップＴＨ／３を狙いとしているが、これに限らず、例えば、ＴＨ／２を用いてもよく、設計思想に応じて適宜変更してもよい。また、ステップＳ７７では、前回の露光時間を採用してもよい。
【0152】
次に、図１４に示すフローチャートを用いて、ステップＳ１７（図１２Ａ参照）およびＳ３５（図１２Ｂ参照）の撮像駆動モード設定における動作について説明する。この撮像駆動モード設定のフローでは、前述したように、撮像素子２０８から画素データを読み出すシーケンスとして、ＲＬ×２モード、ＴＢ×２モードの、いずれかの撮像駆動モードを設定する。
【0153】
撮像駆動モード設定のフローが開始すると、まず、現在、ＲＬ×２モードが設定されているか否かを判定する（Ｓ８１）。前述したように、初回はＲＬ×２モードが設定されているが（図１２ＡのＳ５、図１２ＢのＳ３３参照）、検出結果が所定条件を満たす検出ＮＧ（検出不能）の状態となると撮像駆動モードが変更される（図１２ＡのＳ１７、図１２ＢのＳ３５参照）。このステップでは、現在設定されている撮像駆動モードがＲＬ×２モードであるか否かを判定する。
【0154】
ステップＳ８１における判定の結果、現在、ＲＬ×２モードが設定されていた場合には、ＲＬ画素データを用いたＡＦ検出（以下ＲＬ検出）の結果、全ＡＦエリアにおいて検出ＮＧか否かを判定する（Ｓ８３）。本実施形態においては、前述したように、ステップＳ１５（図１２Ａ）またはステップＳ３３（図１２Ｂ）において、全ＡＦエリアにおける検出Ｎ結果を判定している。このステップでは、ＣＰＵ２１２は、ＲＬ×２モードで全ＡＦエリアにおいてＲＬ検出がＮＧか否かを判定する。
【0155】
ステップＳ８３における判定の結果、ＲＬ×２モードのＲＬ検出が全ＡＦエリアにてＮＧの場合には、前回のＲＬ×２モードのＲＬ検出が全ＡＦエリアにてＮＧか否かを判定する（Ｓ８５）。前述したように、本実施形態においては、ＲＬ×２モードによるＲＬ検出を２回行い、ＲＬ検出が２回とも検出ＮＧの場合に２回目のＲＬ×２モードによるＴＢ検出の結果を参照する。このステップでは、ＣＰＵ２１２が、ＲＬ×２モードの前回１回目のＲＬ検出が検出ＮＧか否かを判定する。今回が１回目のＲＬ×２モードでＲＬ検出がＮＧの場合は、ＲＬ×２モードの２回目を実行させるためＮＯと判定する。
【0156】
ステップＳ８５における判定の結果、前回のＲＬ×２モードで全ＡＦエリアのＲＬ検出がＮＧの場合は、次に、２回目のＲＬ×２モードのＴＢ画素データ（表示（ＴＢ））を用いた検出（以下ＴＢ検出）が全ＡＦエリアでＮＧか否かを判定する（Ｓ８７）。ＲＬ×２モードは、図５に示したように、２回のＲＬ画素読出し（ＡＦ（ＲＬ））を行うと（ＶＳ（１）～ＶＳ（３））、次に、ＴＢ画素読出し（表示（ＴＢ））を行う（ＶＳ（３）～ＶＳ（４））。このステップでは、ＣＰＵ２１２が、ＴＢ画素読出しで取得されたＴＢ画素データを用いたＴＢ検出が全ＡＦエリアで検出ＮＧか否かを判定する。
【0157】
ステップＳ８７における判定の結果、２回目のＲＬ×２モードのＴＢ検出が全ＡＦエリアで検出ＮＧの場合、またはステップＳ８５における判定の結果、前回のＲＬ×２モードで全ＡＦエリアのＲＬ検出がＮＧの場合、またはステップＳ８３においてＲＬ検出が全ＡＦエリアで検出ＮＧではない（一部のＡＦエリアで検出可能）の場合には、次に、ＲＬ×２モードを継続する（Ｓ８９）。この場合には、図５に示しＲＬ×２モードを続行する。
【0158】
一方、ステップＳ８７における判定の結果、２回目のＲＬ×２モードのＴＢ検出が全てＮＧでない場合、すなわち、少なくとも一部のＡＦエリアでのＴＢ検出が検出ＯＫの場合には、次に、撮像駆動モードをＴＢ×２モードに変更する（Ｓ９１）。ＴＢ×２モードは、図９の下段のシーケンスに示すように、２フレーム続けてＴＢ画素読出し（ＡＦ（ＴＢ））を行い、フレーム加算したＴＢ画素データを用いてＴＢ検出行うモードである（ＶＳ（１１）～ＶＳ（１３）参照）。
【0159】
ステップＳ８１に戻り、このステップでの判定の結果が、現在ＲＬ×２モードが設定されていない場合、すなわちＴＢ×２モードが設定されている場合には、次に、ＴＢ画素データを用いたＴＢ検出の結果、全ＡＦエリアにおいて検出ＮＧか否かを判定する（Ｓ９３）。本実施形態においては、前述したように、ステップＳ１５（図１２Ａ）またはステップＳ３３（図１２Ｂ）において、全ＡＦエリアにおける検出結果を判定している。このステップでは、ＣＰＵ２１２は、ＴＢ×２モードでＴＢ検出した結果、全ＡＦエリアにおいてＴＢ検出が検出ＮＧか否かを判定する。
【0160】
ステップＳ９３における判定の結果、ＴＢ×２モードのＴＢ検出が、全ＡＦエリアについて検出ＮＧであった場合には、次に、ＴＢ×２モードの１回目か否かを判定する（Ｓ９５）。
【0161】
ステップＳ９３における判定の結果、ＴＢ×２モードのＴＢ検出が全ＡＦエリアについて検出ＮＧではない場合、またはステップＳ９５における判定の結果、ＴＢ×２モードの１回目の場合には、ＴＢ×２モードをそのまま継続する（Ｓ９７）。ＴＢ画素読出しによるＴＢ検出の結果、全ＡＦエリアについてＮＧでなく一部のＡＦエリアで検出可能の場合は、検出可能なＡＦエリアでのＴＢ検出を行うためＴＢ×２モードを継続する。ＴＢ×２モードの１回目の検出の場合には、ＴＢ×２モードの２回目の検出結果を判定するためにＴＢ×２モードを続行する。
【0162】
一方、ステップＳ９５における判定の結果、ＴＢ×２モードの１回目でない場合には、ＲＬ×２モードに変更する（Ｓ９９）。ＴＢ画素読出しによるＴＢ検出の結果、検出ＮＧが２回続いたことから、撮像駆動モードをＲＬ×２モードに変更する。この場合は、例えば被写体が横線から縦線へ変化によりＴＢ画素読出しによる垂直方向の位相差を検出し難くなった可能性がある。そこで、縦線を検出可能なＲＬ画素読出しによる水平方向の位相差を検出するためにＲＬ×２モードに変更している。
【0163】
ステップＳ８９、Ｓ９１、Ｓ９７、Ｓ９９において、撮像駆動モードの設定を行うと、元のフローに戻る。
【0164】
図１～図１４を用いて、本発明の一実施形態として、撮影レンズの焦点検出を行い、撮影レンズを合焦点に移動させる例について説明した。しかし、本発明は自動焦点調節（オートフォーカス）に適用する以外にも、たとえば、デプスマップを作成する場合に応用することができる。前述したように、本実施形態においては、撮像素子２０８を複数のＡＦエリアに分割し、このＡＦエリア毎に撮影レンズのデフォーカス量（ピントずれ量）を算出している（図１２ＡのＳ１９参照）。図１５は、このＡＦエリア毎に、デフォーカス量をマッピングした例である。すなわち、図１５に示すデプスマップにおいて、画面上の数値は、そのＡＦエリアに対応する被写体のデフォーカス量（ピントずれ量）を示している。
【0165】
図１５に示すようなデプスマップが作成できると、このデプスマップを用いて、ボケ量をコントロールしたり、３Ｄ画像を再構築したりすることができる。図１６は、デプス情報を用いて、主要被写体以外の被写体、例えば、背景や手前にある被写体等の邪魔な被写体をぼかす画像処理を行った例である。図１６において、左側に示す画像Ｐ１は、画像処理する前の画像であり、エリア毎にデプス情報を検出したデプスマップが作成されている。右側に示す画像Ｐ２は、背景の鳥等の画像と、手前の印刷物の画像を、デプス情報に基づいて、ぼかす画像処理を施してある。すなわち、デプス情報が第１の所定値より遠距離を示すエリアと、第２の所定値より近距離を示すエリアの画像に対してぼかし処理をほどこしてある。このような画像処理を施すことによって、主要被写体を目立たせることができる。
【0166】
以上説明したように、本発明の一実施形態においては、撮像素子のマイクロレンズ１個に対応する４分割ＰＤの画素（受光部）が設けられ、ＲＬ画素優先となるようにポテンシャル障壁を設定し（図４（ａ）参照）、２ＰＤ読み出しの場合に読出す画素対のポテンシャル障壁の高さに応じた閾値電圧を設定して蓄積動作を行っている。 ＴＢ画素間のポテンシャル障壁をＲＬ画素間のポテンシャル障壁より低く設定している（図４（ａ）参照）。より低い閾値電圧のＴＢ画素信号を用いる場合には、ＴＢ画素信号を画素加算することによって信号レベルを向上させ、位相差検出精度を向上させている（図７、図８参照）。このため、左右位相差検出のＲＬ画素の信号のダイナミックレンジをより大きくとることができ、上下位相差検出のＴＢ画素の信号成分を向上するので、トータルのＡＦ精度を向上させることができる。
【0167】
また、本発明の一実施形態における検出装置は、マイクロレンズに対応する複数の受光部を有する画素を複数備え、複数の受光部は所定の複数の位相差検出方向に対応して設けられ、位相差検出方向に応じて複数の受光部の出力信号を加算して対をなす加算信号を出力することが可能であって、画素は、複数の位相差検出方向に応じて受光部の間のポテンシャル障壁の高さを異ならせている撮像素子を具備している（図３、図４（ａ）参照）。そして、この検出装置では、撮像素子へ特定の位相差検出方向を指示して撮像素子の蓄積動作を実行させ（例えば、図１２ＡのＳ９、図１２ＢのＳ２７、Ｓ２９等参照）、位相差検出方向に応じて異なる蓄積判定レベルを設定し、加算信号と蓄積判定レベルに基づいて撮像素子の蓄積動作を制御している（例えば、図１２ＡのＳ５、Ｓ１７、図１２ＢのＳ３５、図１４等参照）。そして、ポテンシャル障壁がより低い位相差検出方向の指示による蓄積動作によって生成された対をなす加算信号を複数の画素について画素加算することで対をなす画素加算信号を生成し（図６～図８参照）、対をなす画素加算信号に基づき位相差を検出している（例えば、図１２ＡのＳ１３、図１２ＢのＳ３１等参照）。このため、ポテンシャル障壁を低く設定した画素を用いて検出する場合においても（例えば、ＴＢ画素読出しで検出する場合）、検出精度が低下することがない。
【0168】
また、本発明の一実施形態において、上述の検出装置では、撮像素子へ特定の位相差検出方向を指示して撮像素子の蓄積動作を実行させ、位相差検出方向に応じて異なる蓄積判定レベルを設定し、加算信号と蓄積判定レベルに基づいて撮像素子の蓄積動作を制御している（例えば、図１２ＡのＳ５、Ｓ１７、図１２ＢのＳ３５、図１４等参照）。そして、位相差検出方向の指示に応じて蓄積動作によって生成された対をなす加算信号を、位相差検出方向の指示に応じて異なる画素加算の態様によって複数の画素について画素加算することで対をなす画素加算信号を生成し（例えば、図９、図１２ＡのＳ９、Ｓ１１、図１２ＢのＳ２７、Ｓ２９等参照）、対をなす画素加算信号に基づき位相差を検出している（例えば、図１２ＡのＳ１３、図１２ＢのＳ３１等参照）。このため、ポテンシャル障壁を低く設定した画素を用いて検出する場合においても（例えば、ＴＢ画素読出しで検出する場合）、検出精度が低下することがない。
【0169】
なお、本発明の一実施形態においては、ＡＦ検出を行う場合に、２フレーム連続して行っていた（例えば、図５、図９参照）。しかし、連続するフレーム数は、２回に限らず、３回以上でもかまわない。フレーム内加算のみでフレーム間加算処理を行わない場合には、２フレーム連続せずに、ＡＦ検出は１フレームのみであってもよい。
【0170】
また、画素信号が飽和しているか否かの判断するための閾値ＴＨとして、ＲＬ画素読出し時＝１３００、ＴＢ画素読出し時（横３加算）時＝４５０、ＴＢ画素読出し（横９加算）時＝１３００を用いていた。しかし、この値は、使用する画素信号のビット数等を考慮して適宜変更してもよい。また、露出狙いの設定を行う際の演算式（図１３のＳ７５、Ｓ７７）は、飽和画素を考慮して適宜変更してもよい。
【0171】
また、本発明の一実施形態においては、焦点検出回路２１８、画像処理回路２１４、画像圧縮展開部２１６、露出制御回路２２０等の全部または一部を、ＣＰＵ２１２およびその周辺回路と一体化してもよい。また、焦点検出回路２１８、画像処理回路２１４、画像圧縮展開部２１６、露出制御回路２２０等は、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウェア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウェア構成を利用してもよく、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。また、これらを適宜組み合わせてもよいことは勿論である。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することによって、各部としての機能を実行するようにしても構わない。
【0172】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ（例えば、医療用内視鏡）、顕微鏡等の科学機器用のカメラ、工業用内視鏡、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、撮像面において位相差ＡＦを採用する撮影のための機器であれば、本発明を適用することができる。さらに、焦点検出装置に限らず、位相差を検出する検出装置であれば、本発明を適することができる。
【0173】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを通じてダウンロードしたものでもよい。
【0174】
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
【0175】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【0176】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0177】
１・・・撮像装置、２１・・・垂直走査部、２２・・・画素部、２３・・・アナログ処理部、２４・・・ＡＤＣ処理部、２５・・・メモリ部、２６・・・水平走査部、２７・・・出力部、２８・・・入力部、２９・・・素子制御部、３０・・・読出方法選択部、１００・・・交換式レンズ、１０２・・・撮像光学系、１０２ａ・・・フォーカスレンズ、１０２ｂ・・・絞り、１０４・・・駆動部、１０６・・・レンズＣＰＵ、１０８・・・レンズ側記憶部、２００・・・カメラ本体、２０２・・・メカシャッタ、２０４・・・駆動部、２０６・・・操作部、２０８・・・撮像素子、２１０・・・手振れ補正回路、２１２・・・ＣＰＵ、２１４・・・画像処理回路、２１６・・・画像圧縮展開部、２１８・・・焦点検出回路、２１８ａ・・・位相差画素列生成部、２１８ｂ・・・位相差画素データ加工部、２１８ｂａ・・・飽和検出部、２１８ｃ・・・相関演算部、２２０・・・露出制御回路、２２２・・・表示部、２２４・・・バス、２２６・・・ＤＲＡＭ、２２８・・・本体側記憶部、２３０・・・記録媒体
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14】
【図15】
【図16】
