ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-25
(45)【発行日】2025-04-02
(54)【発明の名称】撮像装置、撮像方法
(51)【国際特許分類】
H04N 25/40 20230101AFI20250326BHJP
G02B 7/28 20210101ALI20250326BHJP
G02B 7/34 20210101ALI20250326BHJP
G03B 13/36 20210101ALI20250326BHJP
H04N 25/42 20230101ALI20250326BHJP
H04N 25/703 20230101ALI20250326BHJP
H04N 25/704 20230101ALI20250326BHJP
【ＦＩ】
H04N25/40
G02B7/28 N
G02B7/34
G03B13/36
H04N25/42
H04N25/703
H04N25/704
【請求項の数】
10
(21)【出願番号】P 2022527552
(86)(22)【出願日】2021-04-06
(86)【国際出願番号】 JP2021014668
(87)【国際公開番号】W WO2021241014
(87)【国際公開日】2021-12-02
【審査請求日】2024-02-20
(31)【優先権主張番号】P 2020090342
(32)【優先日】2020-05-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(72)【発明者】
【氏名】藤井 真一
【審査官】川俣 郁子
(56)【参考文献】
【文献】特開２０１７－００５４４３（ＪＰ，Ａ）
【文献】特開２０１９－０５０４８６（ＪＰ，Ａ）
【文献】特開２０１５－２２２８８５（ＪＰ，Ａ）
【文献】特開２０１９－０６８３５１（ＪＰ，Ａ）
【文献】特開２０１８－１７０７６８（ＪＰ，Ａ）
【文献】特開２０１６－００５１８９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ７／２８－７／４０
Ｇ０３Ｂ３／００－３／１２
１３／３０－１３／３６
２１／５３
Ｈ０４Ｎ５／３０－５／３３
２５／００－２５／７９
(57)【特許請求の範囲】
【請求項1】
フォトダイオード分割画素を備えた撮像素子と、フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする制御部と、を備え、
前記制御部は、明暗判定により明環境と判定した場合に、前記１垂直期間の読出として、前記第２読出と前記第１読出を行う
撮像装置。
【請求項2】
前記制御部は、前記明暗判定により暗環境と判定した場合には、前記１垂直期間の読出として、画像生成対象とする画素について、前記第１画素と前記第２画素の加算値を読み出すとともに前記第１画素と前記第２画素のうちの一方の値を読み出すことで、画像を構成する画素値と、位相差検波に用いる前記第１画素の値及び前記第２画素の値を得ることのできる第３読出が行われるようにする請求項１に記載の撮像装置。
【請求項3】
前記第３読出では、前記第１画素と前記第２画素のうちの一方の値と、前記加算値は、垂直方向の複数のフォトダイオード分割画素の値の加算値として読み出される請求項２に記載の撮像装置。
【請求項4】
フォトダイオード分割画素を備えた撮像素子と、フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする制御部と、を備え、
前記第１読出では、フォトダイオード分割画素の前記第１画素と前記第２画素の加算値が、３以上の自然数であるＮ本の水平ラインの周期における（Ｎ－１）本以下の水平ラインで垂直方向に加算されて読み出され、
前記第２読出では、前記第１読出で読出が行われない水平ラインのフォトダイオード分割画素から、前記第１画素の値と前記第２画素の値を得ることができる読出が行われる
撮像装置。
【請求項5】
水平ラインの周期としての上記Ｎ本の値は、明度に応じて変更される請求項４に記載の撮像装置。
【請求項6】
前記第２読出では、前記第１画素と前記第２画素の加算値の読出と、前記第１画素と前記第２画素のうちの一方の値の読出を行う請求項１又は請求項４に記載の撮像装置。
【請求項7】
前記第１読出により得られる前記加算値は、ライブビュー画像の生成に用いられる請求項１又は請求項４に記載の撮像装置。
【請求項8】
フォトダイオード分割画素を備えた撮像素子と、フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする制御部と、を備え、
前記撮像素子は、
射出瞳における所定方向において互いに逆向きに偏った一対の部分領域を通過した一対の光束の一方を遮光する遮光部と他方の光束を受光する受光素子とを備えることにより瞳分割機能を有する遮光画素を有し、
前記制御部は、前記１垂直期間の読出として、前記遮光画素を読み出す第４読出が前記第２読出よりも先に行われるように制御し、
前記第４読出で得られた前記遮光画素の値を用いて位相差検波処理が行われる
撮像装置。
【請求項9】
フォトダイオード分割画素を備えた撮像素子と、フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする制御部と、を備え、
前記撮像素子は、
射出瞳における所定方向において互いに逆向きに偏った一対の部分領域を通過した一対の光束の一方を遮光する遮光部と他方の光束を受光する受光素子とを備えることにより瞳分割機能を有する遮光画素を有し、
前記制御部は前記遮光画素を読み出す第４読出が行われるように制御し、
前記第４読出で得られた前記遮光画素の値を用いて位相差検波処理が行われ、
前記第２読出に基づく位相差検波処理の結果と、前記第４読出に基づく位相差検波処理の結果のうちで信頼度の高い方を用いてフォーカス制御を行う
撮像装置。
【請求項10】
フォトダイオード分割画素を備えた撮像素子を備えた撮像装置の撮像方法として、フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、明暗判定により明環境と判定した場合に、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする
撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、位相差信号を出力する画素群を有する撮像素子を備えた撮像装置及び撮像方法に関する。
【背景技術】
【0002】
撮像装置にはオートフォーカス制御を行うために被写体についてのフォーカス情報を取得する機能を備えたものがある。そのような撮像装置では、例えば焦点を検出するための画素を備えたものが知られている。
特許文献１では、撮像素子にて瞳分割された複数の像信号を読み出して焦点検出を行うとともに、複数の像信号を取得する読み出し行を制御することにより、撮像素子の蓄積時間または感度設定に応じて焦点検出画素の読み出し行を変更する技術が開示されている。
特許文献１では、撮像素子にて瞳分割された複数の像信号を読み出して焦点検出を行うとともに、複数の像信号を取得する読み出し行を制御することにより、撮像素子の蓄積時間または感度設定に応じて焦点検出画素の読み出し行を変更する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－８１２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、ＰＤ（Photodiode）分割方式による画素により、瞳分割された複数の像信号（画素値）を読み出すことができるが、その読出のためには、画像信号を生成するための通常の画素読出としてＰＤ分割画素の分割された２つの画素の加算値を読み出している途中に、一部のＰＤ分割画素については、加えて分割された一方の画素の読出を行うようにすることが知られている。加算値と、一方の画素とを読み出すことで、他方の画素値も算出でき、一方の画素と他方の画素の画素値により位相差検波が可能である。
このような読出を１垂直期間（「１Ｖ」とも表記する）中に行い、位相差検波によりＡＦ制御を行う場合、ＡＦ動作を次の垂直期間に反映させることができないような応答の遅れが発生する場合がある。
そこで本技術では、ＰＤ分割画素を有する撮像素子の読出動作を工夫し、ＡＦ動作の応答性を低下させないようにする。
このような読出を１垂直期間（「１Ｖ」とも表記する）中に行い、位相差検波によりＡＦ制御を行う場合、ＡＦ動作を次の垂直期間に反映させることができないような応答の遅れが発生する場合がある。
そこで本技術では、ＰＤ分割画素を有する撮像素子の読出動作を工夫し、ＡＦ動作の応答性を低下させないようにする。
【課題を解決するための手段】
【0005】
本技術に係る撮像装置は、フォトダイオード分割画素を備えた撮像素子と、フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする制御部と、を備える。
フォトダイオード分割画素（ＰＤ分割画素）は、第１画素と第２画素の加算値を読み出すことで、画像生成に用いる画素となる。位相差検波のためには第１画素と第２画素の各値を得る読出を行う。この場合に、加算値を読み出す第１読出に先立って、位相差検波のための第２読出を行うようにする。
なお垂直期間とは垂直同期信号で規定される期間であり、画像の１フレーム期間である。
フォトダイオード分割画素（ＰＤ分割画素）は、第１画素と第２画素の加算値を読み出すことで、画像生成に用いる画素となる。位相差検波のためには第１画素と第２画素の各値を得る読出を行う。この場合に、加算値を読み出す第１読出に先立って、位相差検波のための第２読出を行うようにする。
なお垂直期間とは垂直同期信号で規定される期間であり、画像の１フレーム期間である。
【0006】
上記した本技術の撮像装置においては、前記制御部は、明暗判定により明環境と判定した場合に、前記１垂直期間の読出として、前記第２読出と前記第１読出を行うことが考えられる。
シャッタースピード制御を含む自動露出制御により、明るい環境における撮像時にはフレームレートが高くなり、暗い環境における撮像時にはフレームレートが低くなる。フレームレートが高い状態で第２読出が第１読出に先立って行われるようにする。
シャッタースピード制御を含む自動露出制御により、明るい環境における撮像時にはフレームレートが高くなり、暗い環境における撮像時にはフレームレートが低くなる。フレームレートが高い状態で第２読出が第１読出に先立って行われるようにする。
【0007】
上記した本技術の撮像装置においては、前記制御部は、前記明暗判定により暗環境と判定した場合には、前記１垂直期間の読出として、画像生成対象とする画素について、前記第１画素と前記第２画素の加算値を読み出すとともに前記第１画素と前記第２画素のうちの一方の値を読み出すことで、画像を構成する画素値と、位相差検波に用いる前記第１画素の値及び前記第２画素の値を得ることのできる第３読出が行われるようにすることが考えられる。
フレームレートが低くなる暗い環境における撮像時には、第１読出に先だって第２読出を行うような読出ではなく、第３読出として、画素値と位相差検波のための値の両方を読み出す読出動作が行われるようにする。
フレームレートが低くなる暗い環境における撮像時には、第１読出に先だって第２読出を行うような読出ではなく、第３読出として、画素値と位相差検波のための値の両方を読み出す読出動作が行われるようにする。
【0008】
上記した本技術の撮像装置においては、前記第３読出では、前記第１画素と前記第２画素のうちの一方の値と、前記加算値は、垂直方向の複数のフォトダイオード分割画素の値が加算されて読み出されることが考えられる。
暗環境では露光量が低下することで画素の値が低くなることに対応して、画素値の読出は垂直加算された値として読み出すようにする。
暗環境では露光量が低下することで画素の値が低くなることに対応して、画素値の読出は垂直加算された値として読み出すようにする。
【0009】
上記した本技術の撮像装置においては、前記第１読出では、ＰＤ分割画素の前記第１画素と前記第２画素の加算値が、Ｎ本（Ｎは３以上の自然数）の水平ラインの周期における（Ｎ－１）本以下の水平ラインで垂直方向に加算されて読み出され、前記第２読出では、前記第１読出で読出が行われない水平ラインのＰＤ分割画素から、前記第１画素の値と前記第２画素の値を得ることができる読出が行われることが考えられる。
第１読出では全水平ラインを読み出すのではなく、Ｎ本の水平ライン周期で、その（Ｎ－１）本について読出が行われる。つまり間引き読出が行われる。
第１読出では全水平ラインを読み出すのではなく、Ｎ本の水平ライン周期で、その（Ｎ－１）本について読出が行われる。つまり間引き読出が行われる。
【0010】
上記した本技術の撮像装置においては、水平ラインの周期としてのＮ本の値は、明度に応じて変更されることが考えられる。
第１読出、第２読出では間引きして読み出した画素の値から、画像生成及び位相差検波を行うが、その間引き率は明るさ条件に応じて変化させることができる。
第１読出、第２読出では間引きして読み出した画素の値から、画像生成及び位相差検波を行うが、その間引き率は明るさ条件に応じて変化させることができる。
【0011】
上記した本技術の撮像装置においては、前記第２読出では、前記第１画素と前記第２画素の加算値の読出と、前記第１画素と前記第２画素のうちの一方の値の読出を行うことが考えられる。
第１画素と第２画素の加算値と、一方の画素の値を読み出せば、他方の画素の値も算出でき、第１画素の値と第２画素の値をそれぞれ求めることができる。
第１画素と第２画素の加算値と、一方の画素の値を読み出せば、他方の画素の値も算出でき、第１画素の値と第２画素の値をそれぞれ求めることができる。
【0012】
上記した本技術の撮像装置においては、前記第１読出により得られる前記加算値は、ライブビュー画像の生成に用いられることが考えられる。
第１画素と第２画素の加算値として読み出される画素値は、比較的、解像度の低い画像であるライブビュー画像（スルー画とも呼ばれる、撮像モニタ用の画像）に用いられるようにする。
第１画素と第２画素の加算値として読み出される画素値は、比較的、解像度の低い画像であるライブビュー画像（スルー画とも呼ばれる、撮像モニタ用の画像）に用いられるようにする。
【0013】
上記した本技術の撮像装置においては、前記撮像素子は、射出瞳における所定方向において互いに逆向きに偏った一対の部分領域を通過した一対の光束の一方を遮光する遮光部と他方の光束を受光する受光素子とを備えることにより瞳分割機能を有する遮光画素を有し、前記制御部は前記遮光画素を読み出す第４読出が行われるように制御し、前記第４読出で得られた前記遮光画素の値を用いて位相差検波処理が行われることが考えられる。
遮光画素は、例えば、遮光部によって射出瞳の左半部の領域とされた左側領域を通過した光のみが入射される画素と、遮光部によって射出瞳の右半分の領域とされた右側領域を通過した光のみが入射される画素の何れかとされる。
遮光画素は、例えば、遮光部によって射出瞳の左半部の領域とされた左側領域を通過した光のみが入射される画素と、遮光部によって射出瞳の右半分の領域とされた右側領域を通過した光のみが入射される画素の何れかとされる。
【0014】
上記した本技術の撮像装置においては、前記１垂直期間の読出として、前記第４読出が前記第２読出よりも先に行われるようにすることが考えられる。
第４読出としての遮光画素の読出と、第２読出が時分割で前後して行われるようにする。
第４読出としての遮光画素の読出と、第２読出が時分割で前後して行われるようにする。
【0015】
上記した本技術の撮像装置においては、前記第２読出に基づく位相差検波処理の結果と、前記第４読出に基づく位相差検波処理の結果のうちで信頼度の高い方を用いてフォーカス制御を行うことが考えられる。
遮光画素による位相差検波結果として算出されるデフォーカス量と、フォトダイオード分割画素による位相差検波結果として算出されるデフォーカス量とのいずれかを選択的に用いてフォーカス制御を行う。
遮光画素による位相差検波結果として算出されるデフォーカス量と、フォトダイオード分割画素による位相差検波結果として算出されるデフォーカス量とのいずれかを選択的に用いてフォーカス制御を行う。
【0016】
本技術に係る撮像方法は、フォトダイオード分割画素を備えた撮像素子を備えた撮像装置の撮像方法として、フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする。
これにより第１読出と第２読出が時分割で、かつ第２読出が先に行われる撮像装置を実現する。
これにより第１読出と第２読出が時分割で、かつ第２読出が先に行われる撮像装置を実現する。
【図面の簡単な説明】
【0017】
【図1】本技術の実施の形態の撮像装置の斜視図である。
【図2】実施の形態の撮像装置の背面図である。
【図3】実施の形態の撮像装置の構成のブロック図である。
【図4】実施の形態の撮像装置のレンズ鏡筒内の構成の説明図である。
【図5】実施の形態のＰＤ分割画素を有する撮像素子の説明図である。
【図6】軸上領域に配置されたＰＤ分割画素の構成例の説明図である。
【図7】比較例の読出動作の説明図である。
【図8】第１の実施の形態の明環境での読出動作の説明図である。
【図9】実施の形態の読出の様子の模式的な説明図である。
【図10】第１の実施の形態の暗環境での読出動作の説明図である。
【図11】第１の実施の形態の読出及びＡＦ動作の制御のフローチャートである。
【図12】実施の形態の露光量の算出に関する構成のブロック図である。
【図13】実施の形態のＦＤ加算とＳＦ加算の説明図である。
【図14】実施の形態の遮光画素とＰＤ分割画素を有する撮像素子の説明図である。
【図15】軸上領域に配置された遮光画素の構成例の説明図である。
【図16】第２の実施の形態の明環境での読出動作の説明図である。
【図17】第２の実施の形態の暗環境での読出動作の説明図である。
【図18】第２の実施の形態の読出及びＡＦ動作の制御のフローチャートである。
【発明を実施するための形態】
【0018】
以下、実施の形態について添付図面を参照しながら次の順序で説明する。
<１．撮像装置の構成>
<２．比較例の読出動作>
<３．第１の実施の形態の読出動作>
<４．第２の実施の形態の読出動作>
<５．まとめ及び変形例>
<１．撮像装置の構成>
<２．比較例の読出動作>
<３．第１の実施の形態の読出動作>
<４．第２の実施の形態の読出動作>
<５．まとめ及び変形例>
【0019】
<１．撮像装置の構成>
本実施の形態に係る撮像装置１の外観を図１、図２に示す。
なお、以下の各例においては、被写体側を前方とし撮像者側を後方として説明を行うが、これらの方向は説明の便宜上のものであり、本技術の実施に関してこれらの方向に限定されることはない。
本実施の形態に係る撮像装置１の外観を図１、図２に示す。
なお、以下の各例においては、被写体側を前方とし撮像者側を後方として説明を行うが、これらの方向は説明の便宜上のものであり、本技術の実施に関してこれらの方向に限定されることはない。
【0020】
撮像装置１は、図１及び図２に示すように、内外に所要の各部が配置されるカメラ筐体２と、カメラ筐体２に対して着脱可能とされ、前面部２ａに取り付けられるレンズ鏡筒３とを備える。なお、レンズ鏡筒３がいわゆる交換レンズとして着脱可能とされるのは一例であり、カメラ筐体２から取り外せないレンズ鏡筒であってもよい。
【0021】
カメラ筐体２の後面部２ｂには、背面モニタ４が配置されている。背面モニタ４には、ライブビュー画像や記録した画像の再生画像などが表示される。
背面モニタ４は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスとされている。
背面モニタ４は、カメラ筐体２に対して回動可能とされている。例えば、背面モニタ４の上端部を回動軸として背面モニタ４の下端部が後方に移動するように回動可能とされている。
なお、背面モニタ４の右端部や左端部が回動軸とされていてもよい。更に、複数の軸回り方向に回動可能とされていてもよい。
背面モニタ４は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスとされている。
背面モニタ４は、カメラ筐体２に対して回動可能とされている。例えば、背面モニタ４の上端部を回動軸として背面モニタ４の下端部が後方に移動するように回動可能とされている。
なお、背面モニタ４の右端部や左端部が回動軸とされていてもよい。更に、複数の軸回り方向に回動可能とされていてもよい。
【0022】
カメラ筐体２の上面部２ｃには、ＥＶＦ（Electric Viewfinder）５が配置されている。ＥＶＦ５は、ＥＶＦモニタ５ａとＥＶＦモニタ５ａの上方及び左右の側方を囲むように後方に突出された枠状の囲い部５ｂを備えている。
ＥＶＦモニタ５ａは、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されている。なお、ＥＶＦモニタ５ａに代わって光学式ファインダ（ＯＶＦ：Optical View Finder）が設けられていてもよい。
ＥＶＦモニタ５ａは、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されている。なお、ＥＶＦモニタ５ａに代わって光学式ファインダ（ＯＶＦ：Optical View Finder）が設けられていてもよい。
【0023】
後面部２ｂや上面部２ｃには、各種の操作子６が設けられている。操作子６としては、例えば、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン６Ｓ（レリーズボタン）等である。
【0024】
各種の操作子６は、ボタン、ダイヤル、押圧及び回転可能な複合操作子など、各種の態様のものを含んでいる。各種の態様の操作子６により、例えば、メニュー操作、再生操作、モード選択／切換操作、フォーカス操作、ズーム操作、シャッタースピードやＦ値等のパラメータ選択／設定が可能とされる。
【0025】
【0026】
撮像装置１のカメラ筐体２の内外には、撮像素子７、カメラ信号処理部８、記録部９、表示部１０、出力部１１、操作部１２、電源部１３、カメラ制御部１４、メモリ部１５などが設けられている。
レンズ鏡筒３は、光学系１６、ドライバ部１７、鏡筒制御部１８、操作部１９、メモリ部２０等を有して構成されている。
レンズ鏡筒３は、光学系１６、ドライバ部１７、鏡筒制御部１８、操作部１９、メモリ部２０等を有して構成されている。
【0027】
光学系１６は、入射端レンズ、ズームレンズ、フォーカスレンズ、集光レンズなどの各種レンズや、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるようにレンズやアイリス（絞り）による開口量などを調整することで露光制御を行う絞り機構や、フォーカルプレーンシャッターなどのシャッターユニットを備えて構成されている。
なお、光学系１６を構成する各部は一部がカメラ筐体２に設けられていてもよい。
なお、光学系１６を構成する各部は一部がカメラ筐体２に設けられていてもよい。
【0028】
撮像素子７は、例えばＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型とされ、光学系１６を介して入射された被写体からの光についての露光制御を行う。そして画素で光電変換した電気信号について、例えばＣＤＳ（Correlated Double Sampling）処理やＡＧＣ（Automatic Gain Control）処理やＡ／Ｄ（Analog/Digital）変換処理を行う処理部を備えて構成されている。従って、撮像素子７は、デジタルデータとしての撮像画像信号を、カメラ信号処理部８やカメラ制御部１４に出力する。
【0029】
撮像素子７のセンサ面は、複数の画素が２次元配列されたセンシング素子を有して構成されている。
図５に示すように、撮像素子７はＰＤ分割画素２１が行方向及び列方向にマトリクス上に配列されて成る。それぞれのＰＤ分割画素２１は、二つの分割画素によって構成される。
図５に示すように、撮像素子７はＰＤ分割画素２１が行方向及び列方向にマトリクス上に配列されて成る。それぞれのＰＤ分割画素２１は、二つの分割画素によって構成される。
【0030】
ＰＤ分割画素２１の構成を図６に模式的に示している。
ＰＤ分割画素２１は、二つの分割画素、即ち、左側の分割画素とされた左ＰＤ４０Ｌと右側の分割画素とされた右ＰＤ４０Ｒと、その前方に配置された画素境界メタル４１と、インナーレンズ３２と、カラーフィルタ３３と、オンチップマイクロレンズ３４とを備えている。カラーフィルタ３３は、赤（Ｒ）の分光感度を有するカラーフィルタ３３Ｒと、緑（Ｇ）の分光感度を有するカラーフィルタ３３Ｇと、青（Ｂ）の分光感度を有するカラーフィルタ３３Ｂのいずれかとされる。なお、インナーレンズ３２等が設けられていない構成例もある。
ＰＤ分割画素２１は、二つの分割画素、即ち、左側の分割画素とされた左ＰＤ４０Ｌと右側の分割画素とされた右ＰＤ４０Ｒと、その前方に配置された画素境界メタル４１と、インナーレンズ３２と、カラーフィルタ３３と、オンチップマイクロレンズ３４とを備えている。カラーフィルタ３３は、赤（Ｒ）の分光感度を有するカラーフィルタ３３Ｒと、緑（Ｇ）の分光感度を有するカラーフィルタ３３Ｇと、青（Ｂ）の分光感度を有するカラーフィルタ３３Ｂのいずれかとされる。なお、インナーレンズ３２等が設けられていない構成例もある。
【0031】
図示するように、左ＰＤ４０Ｌは、射出瞳ＥＰの右瞳領域ＥＰＲを通過した光を受光する。右ＰＤ４０Ｒは、左瞳領域ＥＰＬを通過した光を受光する。これにより、瞳分割機能を実現する。
【0032】
このようなＰＤ分割画素２１が、カラーフィルタ３３の違いにより、図５のように、Ｒ画素、Ｇ画素、Ｂ画素として配列される。
例えば１つのＰＤ分割画素２１としてのＧ画素の場合、左ＰＤ４０Ｌと右ＰＤ４０Ｒの加算値として得られる信号が、１つのＧ画素の信号となる。また左ＰＤ４０Ｌと右ＰＤ４０Ｒの値により位相差検波を行うことができる。
例えば１つのＰＤ分割画素２１としてのＧ画素の場合、左ＰＤ４０Ｌと右ＰＤ４０Ｒの加算値として得られる信号が、１つのＧ画素の信号となる。また左ＰＤ４０Ｌと右ＰＤ４０Ｒの値により位相差検波を行うことができる。
【0033】
図３に戻って説明する。カメラ信号処理部８は、例えば、ＤＳＰ（Digital Signal Processor）などのデジタル信号処理に特化したマイクロプロセッサや、マイクロコンピュータなどにより構成される。
【0034】
カメラ信号処理部８は、撮像素子７から送られてくるデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。
具体的には、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理、ホワイトバランス補正、収差補正、シェーディング補正等の処理を行う。
また、カメラ信号処理部８は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号及び色（Ｃ）信号を生成（分離）するＹＣ生成処理や、輝度や色を調整する処理、ニー補正やガンマ補正などの各処理を行う。
更に、カメラ信号処理部８は、解像度変換処理や記録用や通信用のための符号化を行うコーデック処理などを行うことによって最終的な出力形式への変換を行う。最終的な出力形式へ変換された画像データは、メモリ部１５に記憶される。また、画像データが表示部１０に出力されることにより、背面モニタ４やＥＶＦモニタ５ａに画像が表示される。更に、外部出力端子から出力されることにより、撮像装置１の外部に設けられたモニタ等の機器に表示される。
具体的には、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理、ホワイトバランス補正、収差補正、シェーディング補正等の処理を行う。
また、カメラ信号処理部８は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号及び色（Ｃ）信号を生成（分離）するＹＣ生成処理や、輝度や色を調整する処理、ニー補正やガンマ補正などの各処理を行う。
更に、カメラ信号処理部８は、解像度変換処理や記録用や通信用のための符号化を行うコーデック処理などを行うことによって最終的な出力形式への変換を行う。最終的な出力形式へ変換された画像データは、メモリ部１５に記憶される。また、画像データが表示部１０に出力されることにより、背面モニタ４やＥＶＦモニタ５ａに画像が表示される。更に、外部出力端子から出力されることにより、撮像装置１の外部に設けられたモニタ等の機器に表示される。
【0035】
カメラ信号処理部８は、位相差検波部８ａを備えている。
位相差検波部８ａは、ＰＤ分割画素２１の左ＰＤ４０Ｌと右ＰＤ４０Ｒの出力信号から位相差検波を行う。そして位相差検波部８ａは、検出した位相差情報に基づいてデフォーカス量を算出する。算出されたデフォーカス量は、鏡筒制御部１８を介して光学系１６が備えるフォーカスレンズの駆動に用いられることによりオートフォーカス（ＡＦ）機能に利用されてもよい。また、デフォーカス量は、被写体のフォーカス具合に関する情報をユーザに対して提示するために用いられてもよい。
位相差検波部８ａは、ＰＤ分割画素２１の左ＰＤ４０Ｌと右ＰＤ４０Ｒの出力信号から位相差検波を行う。そして位相差検波部８ａは、検出した位相差情報に基づいてデフォーカス量を算出する。算出されたデフォーカス量は、鏡筒制御部１８を介して光学系１６が備えるフォーカスレンズの駆動に用いられることによりオートフォーカス（ＡＦ）機能に利用されてもよい。また、デフォーカス量は、被写体のフォーカス具合に関する情報をユーザに対して提示するために用いられてもよい。
【0036】
記録部９は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記録部９の実際の形態は多様に考えられる。例えば、記録部９が撮像装置１に内蔵されるフラッシュメモリとして構成されていてもよいし、撮像装置１に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記憶や読み出しのためのアクセスを行うアクセス部とで構成されていてもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記録部９の実際の形態は多様に考えられる。例えば、記録部９が撮像装置１に内蔵されるフラッシュメモリとして構成されていてもよいし、撮像装置１に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記憶や読み出しのためのアクセスを行うアクセス部とで構成されていてもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
【0037】
表示部１０は、撮像者に対して各種の表示を行うための処理を実行する。表示部１０は、例えば、背面モニタ４やＥＶＦモニタ５ａとされる。表示部１０は、カメラ信号処理部８から入力される適切な解像度に変換された画像データを表示する処理を行う。これにより、レリーズのスタンバイ中の撮像画像である所謂スルー画を表示させる。
更に、表示部１０は、カメラ制御部１４からの指示に基づいて各種操作メニューやアイコン、メッセージ等、ＧＵＩ（Graphical User Interface）としての表示を画面上で実現させる。
また、表示部１０は、記録部９において記録媒体から読み出された画像データの再生画像を表示させることが可能である。
更に、表示部１０は、カメラ制御部１４からの指示に基づいて各種操作メニューやアイコン、メッセージ等、ＧＵＩ（Graphical User Interface）としての表示を画面上で実現させる。
また、表示部１０は、記録部９において記録媒体から読み出された画像データの再生画像を表示させることが可能である。
【0038】
なお、本例においては、ＥＶＦモニタ５ａ及び背面モニタ４の双方が設けられているが、本技術の実施においてはこのような構成に限定されず、ＥＶＦモニタ５ａと背面モニタ４の何れか一方のみが設けられていてもよいし、ＥＶＦモニタ５ａと背面モニタ４の何れか一方或いは双方が着脱可能な構成とされていてもよい。
【0039】
出力部１１は、外部機器とのデータ通信やネットワーク通信を有線や無線で行う。例えば、外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信を行う。
また、出力部１１は、ネットワーク通信部として機能してもよい。例えば、インターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバや端末等との間で各種データの送受信を行うようにしてもよい。
また、出力部１１は、ネットワーク通信部として機能してもよい。例えば、インターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバや端末等との間で各種データの送受信を行うようにしてもよい。
【0040】
カメラ筐体２に設けられた操作部１２は、上述した各種操作子６だけでなく、タッチパネル方式を採用した背面モニタ４なども含んでおり、撮像者のタップ操作やスワイプ操作などの種々の操作に応じた操作情報をカメラ制御部１４に出力する。
なお、操作部１２は撮像装置１とは別体のリモートコントローラ等の外部操作機器の受信部として機能してもよい。
なお、操作部１２は撮像装置１とは別体のリモートコントローラ等の外部操作機器の受信部として機能してもよい。
【0041】
電源部１３は、例えば内部に充填したバッテリから各部に必要な電源電圧（Ｖｃｃ）を生成し、動作電圧として供給する。
撮像装置１にレンズ鏡筒３が装着された状態においては、電源部１３による電源電圧Ｖｃｃがレンズ鏡筒３内の回路にも供給されるように構成されている。
なお、電源部１３には、商用交流電源に接続したＡＣアダプタにより変換されて入力される直流電圧を電源として、バッテリへの充電を行う回路や電源電圧Ｖｃｃを生成する回路が形成されていてもよい。
撮像装置１にレンズ鏡筒３が装着された状態においては、電源部１３による電源電圧Ｖｃｃがレンズ鏡筒３内の回路にも供給されるように構成されている。
なお、電源部１３には、商用交流電源に接続したＡＣアダプタにより変換されて入力される直流電圧を電源として、バッテリへの充電を行う回路や電源電圧Ｖｃｃを生成する回路が形成されていてもよい。
【0042】
カメラ制御部１４は、ＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成され、撮像装置１の統括的な制御を行う。例えば、撮像者の操作に応じたシャッタースピードの制御や、カメラ信号処理部８における各種信号処理についての指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作を行う。
カメラ制御部１４は各種撮影モードの切り換え等を行う。各種撮影モードとは、例えば、静止画像撮影モード、動画撮影モード、静止画を連続的に取得する連写モードなどである。
カメラ制御部１４は各種撮影モードの切り換え等を行う。各種撮影モードとは、例えば、静止画像撮影モード、動画撮影モード、静止画を連続的に取得する連写モードなどである。
【0043】
カメラ制御部１４は、これらの機能に対するユーザの操作を可能とするためのユーザインタフェース制御部（ＵＩ制御部）１４ａを備えている。ＵＩ制御部１４ａは、撮像装置１に設けられた各操作子６に対する操作を検出する処理や、背面モニタ４に対する表示処理や操作検出処理等を行う。
【0044】
また、カメラ制御部１４は、光学系１６が備える各種のレンズを制御するために鏡筒制御部１８に対する指示を行う。
例えば、ＡＦ制御のための必要な光量を確保するために絞り値を指定する処理や、絞り値に応じた絞り機構の動作指示などを行う。
例えば、ＡＦ制御のための必要な光量を確保するために絞り値を指定する処理や、絞り値に応じた絞り機構の動作指示などを行う。
【0045】
カメラ制御部１４は、鏡筒制御部１８を介して光学系１６が備える各種レンズについての情報を取得可能とされている。レンズの情報としては、例えば、レンズの型番やズームレンズの位置やＦ値の情報、或いは、射出瞳位置の情報などが含まれる。また、カメラ制御部１４は、光学系１６が備える絞り機構の絞り値を取得可能とされている。
【0046】
メモリ部１５は、カメラ制御部１４が実行する処理に用いられる情報等を記憶する。図示するメモリ部１５としては、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを包括的に示している。
メモリ部１５はカメラ制御部１４としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
メモリ部１５はカメラ制御部１４としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
【0047】
メモリ部１５のＲＯＭやフラッシュメモリ等には、カメラ制御部１４が利用するプログラム等が記憶される。ＲＯＭやフラッシュメモリ等には、ＣＰＵが各部を制御するためのＯＳ（Operating System）や画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムやファームウェア等が記憶される。
カメラ制御部１４は、当該プログラムを実行することで、撮像装置１及びレンズ鏡筒３の全体を制御する。
カメラ制御部１４は、当該プログラムを実行することで、撮像装置１及びレンズ鏡筒３の全体を制御する。
【0048】
メモリ部１５のＲＡＭは、カメラ制御部１４のＣＰＵが実行する各種データ処理の際に用いられるデータやプログラム等が一時的に格納されることにより、カメラ制御部１４の作業領域として利用される。
【0049】
レンズ鏡筒３の鏡筒制御部１８は、例えば、マイクロコンピュータによって構成され、カメラ制御部１４の指示に基づいて実際に光学系１６の各種レンズを駆動するためにドライバ部１７に対する制御信号の出力を行う。
なお、カメラ制御部１４と鏡筒制御部１８の間の情報通信は、レンズ鏡筒３がカメラ筐体２に装着された状態においてのみ可能とされていてもよいし、無線通信によりレンズ鏡筒３がカメラ筐体２に装着されていない状態で可能とされていてもよい。
なお、カメラ制御部１４と鏡筒制御部１８の間の情報通信は、レンズ鏡筒３がカメラ筐体２に装着された状態においてのみ可能とされていてもよいし、無線通信によりレンズ鏡筒３がカメラ筐体２に装着されていない状態で可能とされていてもよい。
【0050】
鏡筒制御部１８は、光学系１６が備える各種レンズの種類や駆動位置に基づいて射出瞳位置や射出瞳の瞳距離の情報をカメラ制御部１４へ送信する。具体的には、メモリ部２０としてのＲＯＭに記憶された情報から瞳距離に関する情報を取得し、カメラ制御部１４へ送信する。
【0051】
ドライバ部１７は、例えば、ズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構を駆動するモータに対する絞り機構ドライバ等が設けられている。
各ドライバは鏡筒制御部１８からの指示に応じて、駆動電流を対応する駆動モータに供給する。
各ドライバは鏡筒制御部１８からの指示に応じて、駆動電流を対応する駆動モータに供給する。
【0052】
レンズ鏡筒３の操作部１９は、レンズ鏡筒３側に設けられた操作子を示している。操作部１９による操作情報は鏡筒制御部１８に供給され、鏡筒制御部１８を介してカメラ制御部１４に通知される。
操作部１９の操作に応じて、鏡筒制御部１８による光学系１６の動作制御や、カメラ制御部１４による各種設定や動作制御が行われる。
操作部１９の操作に応じて、鏡筒制御部１８による光学系１６の動作制御や、カメラ制御部１４による各種設定や動作制御が行われる。
【0053】
操作部１９はレンズ鏡筒３とは別体のリモートコントローラ等の外部操作機器の受信部として機能してもよい。
【0054】
メモリ部２０は、ＲＯＭやフラッシュメモリ等によって構成され、鏡筒制御部１８が利用するプログラムやデータ等が記憶される。メモリ部２０には、ＣＰＵが各部を制御するためのＯＳ（Operating System）や各種動作のためのアプリケーションプログラムやファームウェア等が記憶される。
また、メモリ部２０に記憶される情報には、光学系１６の射出瞳の瞳距離などの情報が含まれている。
また、メモリ部２０に記憶される情報には、光学系１６の射出瞳の瞳距離などの情報が含まれている。
【0055】
<２．比較例の読出動作>
ここで比較例として、ＰＤ分割画素２１を有する撮像素子７からの画素値の読出を行う場合に、ＡＦ動作の応答が遅れるという事象を説明しておく。なお読出は、ローリングシャッター読出を行う場合とする。
ここで比較例として、ＰＤ分割画素２１を有する撮像素子７からの画素値の読出を行う場合に、ＡＦ動作の応答が遅れるという事象を説明しておく。なお読出は、ローリングシャッター読出を行う場合とする。
【0056】
図５のように左ＰＤ４０Ｌと右ＰＤ４０Ｒを有するＰＤ分割画素２１が配列された撮像素子７の場合、各ＰＤ分割画素２１では、画像生成のための通常画素信号を読み出すことができるだけでなく、左右のＰＤの値を別々に求め、位相差信号を得ることができる。この位相差信号によりデフォーカス量を算出し、ＡＦ（オートフォーカス）制御を実行できる。
このために、１つのＰＤ分割画素２１に対して、例えば（Ｌ＋Ｒ）読出と、Ｌ読出を行うように、１つの水平ラインに対して２回の読出を行うことが考えられる。
なお、“（Ｌ＋Ｒ）読出”は、左ＰＤ４０Ｌと右ＰＤ４０Ｒからの電荷を加算した読出を指す。“Ｌ読出”は左ＰＤ４０Ｌからの電荷読出、“Ｒ読出”は右ＰＤ４０Ｒからの電荷読出を指すものとする。また“Ｌ値”は左ＰＤ４０Ｌから直接読出または演算により求められる画素信号値、“Ｒ値”は右ＰＤ４０Ｒから直接読出または演算により求められる画素信号値とする。また（Ｌ＋Ｒ）値は、左ＰＤ４０Ｌと右ＰＤ４０Ｒの画素信号値の加算値である。
このために、１つのＰＤ分割画素２１に対して、例えば（Ｌ＋Ｒ）読出と、Ｌ読出を行うように、１つの水平ラインに対して２回の読出を行うことが考えられる。
なお、“（Ｌ＋Ｒ）読出”は、左ＰＤ４０Ｌと右ＰＤ４０Ｒからの電荷を加算した読出を指す。“Ｌ読出”は左ＰＤ４０Ｌからの電荷読出、“Ｒ読出”は右ＰＤ４０Ｒからの電荷読出を指すものとする。また“Ｌ値”は左ＰＤ４０Ｌから直接読出または演算により求められる画素信号値、“Ｒ値”は右ＰＤ４０Ｒから直接読出または演算により求められる画素信号値とする。また（Ｌ＋Ｒ）値は、左ＰＤ４０Ｌと右ＰＤ４０Ｒの画素信号値の加算値である。
【0057】
（Ｌ＋Ｒ）値、即ち左ＰＤ４０Ｌと右ＰＤ４０Ｒからの読出電荷の加算値は、そのＰＤ分割画素２１の画素値としての意味をもつため、画像生成に用いられる信号となる。
またＬ読出を行い、左ＰＤ４０Ｌの信号値（Ｌ値）を得るとともに、（Ｌ＋Ｒ）値－Ｌ値により右ＰＤ４０Ｒの信号値（Ｒ値）が得られる。この“Ｌ値"Ｒ値”により瞳分割された画素成分の位相差を得ることができ、これに基づいてＡＦ制御を行うことができる。
またＬ読出を行い、左ＰＤ４０Ｌの信号値（Ｌ値）を得るとともに、（Ｌ＋Ｒ）値－Ｌ値により右ＰＤ４０Ｒの信号値（Ｒ値）が得られる。この“Ｌ値"Ｒ値”により瞳分割された画素成分の位相差を得ることができ、これに基づいてＡＦ制御を行うことができる。
【0058】
図７は、そのような読出動作を模式的に表している。
この図７では、垂直同期信号ＸＶＳで規定される垂直期間（Ｖ１，Ｖ２・・・）において、直線ＳＬ１０として、縦軸を水平ライン番号としたときの各水平ラインの読出タイミングを示している。先頭の水平ライン番号を「ＨＬ１」、最後の水平ライン番号を「ＨＬｍａｘ」とする。直線ＳＬ１０上に記載した●は、位相差検波のための読出も行う水平ラインを示しているものとする。
この図７では、垂直同期信号ＸＶＳで規定される垂直期間（Ｖ１，Ｖ２・・・）において、直線ＳＬ１０として、縦軸を水平ライン番号としたときの各水平ラインの読出タイミングを示している。先頭の水平ライン番号を「ＨＬ１」、最後の水平ライン番号を「ＨＬｍａｘ」とする。直線ＳＬ１０上に記載した●は、位相差検波のための読出も行う水平ラインを示しているものとする。
【0059】
例えば４８ラインごとに位相差検波のための読出を行うと仮定すると、水平ラインごとの各ＰＤ分割画素２１に対する読出動作は次のようになる。
・第１水平ライン：（Ｌ＋Ｒ）読出
・第２水平ライン：（Ｌ＋Ｒ）読出
・第３水平ライン：（Ｌ＋Ｒ）読出
（以下、第４７水平ラインまで同様に（Ｌ＋Ｒ）読出））
・第１水平ライン：（Ｌ＋Ｒ）読出
・第２水平ライン：（Ｌ＋Ｒ）読出
・第３水平ライン：（Ｌ＋Ｒ）読出
（以下、第４７水平ラインまで同様に（Ｌ＋Ｒ）読出））
【0060】
・第４８水平ライン：Ｌ読出
・第４８水平ライン：（Ｌ＋Ｒ）読出
・第４９水平ライン：（Ｌ＋Ｒ）読出
・第５０水平ライン：（Ｌ＋Ｒ）読出
（以下、第９５水平ラインまで同様に（Ｌ＋Ｒ）読出）
・第４８水平ライン：（Ｌ＋Ｒ）読出
・第４９水平ライン：（Ｌ＋Ｒ）読出
・第５０水平ライン：（Ｌ＋Ｒ）読出
（以下、第９５水平ラインまで同様に（Ｌ＋Ｒ）読出）
【0061】
・第９６水平ライン：Ｌ読出
・第９６水平ライン：（Ｌ＋Ｒ）読出
・第９７水平ライン：（Ｌ＋Ｒ）読出
・第９８水平ライン：（Ｌ＋Ｒ）読出
・第９６水平ライン：（Ｌ＋Ｒ）読出
・第９７水平ライン：（Ｌ＋Ｒ）読出
・第９８水平ライン：（Ｌ＋Ｒ）読出
【0062】
このように周期的な水平ライン（上記例では第４８水平ラインと第９６水平ライン）で、Ｌ読出と（Ｌ＋Ｒ）読出の両方を行う。
全ての水平ラインで、Ｌ読出と（Ｌ＋Ｒ）読出の両方を行うと、１フレームの読出時間が長くなってしまうためである。
全ての水平ラインで、Ｌ読出と（Ｌ＋Ｒ）読出の両方を行うと、１フレームの読出時間が長くなってしまうためである。
【0063】
但し、このように画像生成のための読出と、位相差検波のための読出を行うことで、ＡＦ動作が遅れることが生ずる場合がある。
Ｌ値と（Ｌ＋Ｒ）値を読み出したら、Ｒ値を算出して位相差検波、デフォーカス量の算出を行うが、この処理が行われるのは、必要なＬ値と（Ｌ＋Ｒ）値が得られた後となるため、図７に「位相差検波」として示す期間となる。つまり１フレーム分の全部の（または間引きする場合は一部の）水平ラインの読出が完了した後となる。つまり画素生成のための読出を含めた直線ＳＬ１０で示す期間を経た後に、ＡＦ動作のための位相差検波が実行できるようになる。
この位相差検波の結果に基づいてカメラ制御部１４はレンズ駆動制御を行い、実際にフォーカスレンズの駆動が行われ、被写体に合焦される。
Ｌ値と（Ｌ＋Ｒ）値を読み出したら、Ｒ値を算出して位相差検波、デフォーカス量の算出を行うが、この処理が行われるのは、必要なＬ値と（Ｌ＋Ｒ）値が得られた後となるため、図７に「位相差検波」として示す期間となる。つまり１フレーム分の全部の（または間引きする場合は一部の）水平ラインの読出が完了した後となる。つまり画素生成のための読出を含めた直線ＳＬ１０で示す期間を経た後に、ＡＦ動作のための位相差検波が実行できるようになる。
この位相差検波の結果に基づいてカメラ制御部１４はレンズ駆動制御を行い、実際にフォーカスレンズの駆動が行われ、被写体に合焦される。
【0064】
このような場合、図示のように、合焦状態が反映されるのが、次のフレーム（垂直期間Ｖ２のタイミング）ではなく、さらに次のフレーム（垂直期間Ｖ３のタイミング）にまで遅れることが生ずる。位相差検波の開始タイミングが、１フレーム分の読出後となるためである。
このようなＡＦ動作の遅れは、特に動被写体を撮像している場合に、ユーザに影響が感じられやすくなり、望ましくない。
また明るい環境（明環境）では、ＡＥ（Automatic Exposure）制御によりフレームレートが高くなるように変更され、１Ｖ期間が短くなると、上記のようなＡＦ制御の遅れが顕著になりやすい。
そこで実施の形態では、このようなＡＦ動作の応答性の遅れが生じないような読出動作を行うようにする。
このようなＡＦ動作の遅れは、特に動被写体を撮像している場合に、ユーザに影響が感じられやすくなり、望ましくない。
また明るい環境（明環境）では、ＡＥ（Automatic Exposure）制御によりフレームレートが高くなるように変更され、１Ｖ期間が短くなると、上記のようなＡＦ制御の遅れが顕著になりやすい。
そこで実施の形態では、このようなＡＦ動作の応答性の遅れが生じないような読出動作を行うようにする。
【0065】
<３．第１の実施の形態の読出動作>
第１の実施の形態としての読出動作を図８に模式的に示している。
図８は、横方向は時間軸としており、垂直同期信号ＸＶＳで規定される垂直期間Ｖ１，Ｖ２を示している。この垂直期間Ｖ１，Ｖ２・・・としては、例えばユーザがシャッターボタン６Ｓの半押しを行っており、カメラ制御部１４は、表示部１０にライブビュー画像の表示を実行させるとともにＡＦ制御を行っている場合を想定している。１つの垂直期間でライブビュー画像の１フレームの画像信号が得られる。
第１の実施の形態としての読出動作を図８に模式的に示している。
図８は、横方向は時間軸としており、垂直同期信号ＸＶＳで規定される垂直期間Ｖ１，Ｖ２を示している。この垂直期間Ｖ１，Ｖ２・・・としては、例えばユーザがシャッターボタン６Ｓの半押しを行っており、カメラ制御部１４は、表示部１０にライブビュー画像の表示を実行させるとともにＡＦ制御を行っている場合を想定している。１つの垂直期間でライブビュー画像の１フレームの画像信号が得られる。
【0066】
また図では縦軸を水平ライン番号（「ＨＬ１」から「ＨＬｍａｘ」）として、実線ＲＬ１，ＲＬ２を示している。実線ＲＬ１，ＲＬ２は、各水平ラインについての読出タイミングを示している。
図示のように１つの垂直期間において、先に実線ＲＬ２の読出（第２読出）が行われ、続いて実線ＲＬ１の読出（第１読出）が行われる。
図８では表現されないが、後述の図９Ａ，図９Ｂに示すように、第１読出と第２読出は異なる水平ラインを対象とするため、露光については、それぞれ読出前に行われるようにすればよく、各水平ラインの露光のタイミングや長さは特に規定されず、適切に設定されればよい。
図示のように１つの垂直期間において、先に実線ＲＬ２の読出（第２読出）が行われ、続いて実線ＲＬ１の読出（第１読出）が行われる。
図８では表現されないが、後述の図９Ａ，図９Ｂに示すように、第１読出と第２読出は異なる水平ラインを対象とするため、露光については、それぞれ読出前に行われるようにすればよく、各水平ラインの露光のタイミングや長さは特に規定されず、適切に設定されればよい。
【0067】
実線ＲＬ１で示す第１読出は、ライブビュー画像の生成のための読出であり、画素値として各ＰＤ分割画素２１から（Ｌ＋Ｒ）読出を行う。
一例として、１垂直期間における６本の水平ラインの周期で（Ｌ＋Ｒ）読出を行うものとして説明する。
一例として、１垂直期間における６本の水平ラインの周期で（Ｌ＋Ｒ）読出を行うものとして説明する。
【0068】
図９Ａに第１読出の動作を模式的に示している。各水平ラインからＬ値＋Ｒ値の電荷読出が行われるが、対象とする水平ラインは、６本のラインのうちの４本としている。
４本の各水平ラインのＰＤ分割画素２１について、それぞれ（Ｌ＋Ｒ）読出を行う。さらに、垂直方向の４つのＰＤ分割画素２１から読み出した（Ｌ＋Ｒ）値を加算（このような加算をＬ値＋Ｒ値の加算と区別して、「垂直加算」と表記する）して、１つの画素信号とする。
４本の各水平ラインのＰＤ分割画素２１について、それぞれ（Ｌ＋Ｒ）読出を行う。さらに、垂直方向の４つのＰＤ分割画素２１から読み出した（Ｌ＋Ｒ）値を加算（このような加算をＬ値＋Ｒ値の加算と区別して、「垂直加算」と表記する）して、１つの画素信号とする。
【0069】
つまりライブビュー画像を生成するための画素値は、例えば６本の水平ライン毎に、６本の水平ラインのうちで４本の水平ラインのＰＤ分割画素２１の垂直加算値とし、これを、ライブビュー画像を生成する１つの画素値とする。
このような読出を、例えば先頭の水平ラインＨＬ１側から、６本周期で、最後の水平ラインＨＬｍａｘ側に向けて行っていく。
なお、例えば単純な間引き読出として、６本の水平ラインごとに１本の水平ラインから（Ｌ＋Ｒ）値を読み出して１つの画素信号としてもよいのであるが、垂直加算することで、比較的、受光光量が少ない場合でも信号レベルとして十分なレベルが得られやすく、有利とすることができる。
このような読出を、例えば先頭の水平ラインＨＬ１側から、６本周期で、最後の水平ラインＨＬｍａｘ側に向けて行っていく。
なお、例えば単純な間引き読出として、６本の水平ラインごとに１本の水平ラインから（Ｌ＋Ｒ）値を読み出して１つの画素信号としてもよいのであるが、垂直加算することで、比較的、受光光量が少ない場合でも信号レベルとして十分なレベルが得られやすく、有利とすることができる。
【0070】
なお、図９Ａはあくまで模式的に示すものであるが、垂直加算をするのは、図１３で後述する同じ垂直信号線ＶＳＬに接続された複数の画素であって、かつ同じ色のカラーフィルタが設けられた画素である。これは図９Ｃに示す垂直加算についても同様である。
またこれらは垂直信号線ＶＳＬにおける電圧加算となる。
またこれらは垂直信号線ＶＳＬにおける電圧加算となる。
【0071】
図８に実線ＲＬ２として示す第２読出は、位相差検波のための読出であり、画素値としてＰＤ分割画素２１からＬ読出と（Ｌ＋Ｒ）読出を行う。
図９Ｂに模式的に示すが、１垂直期間におけるそれぞれ６本の水平ラインの周期において、第１読出が行われない水平ラインのうちの少なくとも１つの水平ラインのＰＤ分割画素２１から、Ｌ読出と（Ｌ＋Ｒ）読出を行う。
すなわち第２読出では、６本の水平ライン毎に１本の水平ラインのＰＤ分割画素２１を対象として、Ｌ読出と（Ｌ＋Ｒ）読出が行われるようにする。
その読み出しは、例えば左ＰＤ４０ＬからのＬ値の読み出し後に、その電荷をリセットせずに右ＰＤ４０Ｒの画像信号を読み出す処理が行われるようにする。つまり撮像素子内のＦＤ（フローティングディフュージョン）部でＬ値とＲ値の加算が行われて（Ｌ＋Ｒ）値が読み出されるようにする。
このような読出を例えば先頭の水平ラインＨＬ１側から、６本周期で、最後の水平ラインＨＬｍａｘ側に向けて行っていく。
図９Ｂに模式的に示すが、１垂直期間におけるそれぞれ６本の水平ラインの周期において、第１読出が行われない水平ラインのうちの少なくとも１つの水平ラインのＰＤ分割画素２１から、Ｌ読出と（Ｌ＋Ｒ）読出を行う。
すなわち第２読出では、６本の水平ライン毎に１本の水平ラインのＰＤ分割画素２１を対象として、Ｌ読出と（Ｌ＋Ｒ）読出が行われるようにする。
その読み出しは、例えば左ＰＤ４０ＬからのＬ値の読み出し後に、その電荷をリセットせずに右ＰＤ４０Ｒの画像信号を読み出す処理が行われるようにする。つまり撮像素子内のＦＤ（フローティングディフュージョン）部でＬ値とＲ値の加算が行われて（Ｌ＋Ｒ）値が読み出されるようにする。
このような読出を例えば先頭の水平ラインＨＬ１側から、６本周期で、最後の水平ラインＨＬｍａｘ側に向けて行っていく。
【0072】
このような第１読出と第２読出を１垂直期間に行うわけであるが、図８に示すように、まず第２読出を行い、その後に第１読出を行うようにする。
第２読出が完了した時点で、画像生成のための読出完了を待たずに、位相差検波を行い、続いてレンズ駆動を実行することができるため、次の垂直期間Ｖ２のタイミングでＡＦ動作を反映させることができる。これにより、例えば動被写体に対しても良好なＡＦ性能を実現できる。
第２読出が完了した時点で、画像生成のための読出完了を待たずに、位相差検波を行い、続いてレンズ駆動を実行することができるため、次の垂直期間Ｖ２のタイミングでＡＦ動作を反映させることができる。これにより、例えば動被写体に対しても良好なＡＦ性能を実現できる。
【0073】
ところで、この図８のような読出動作は、明暗にかかわらず行ってもよいが、明環境と判定されるときに行うようにすることも望ましい。明環境でフレームレートが上がって垂直期間が短くなるときに、ＡＦ応答性が低下する可能性が高いため、図８のように第２読出と第１読出を行うことで、ＡＦ動作応答性を改善することができるためである。
一方で、暗環境と判定される場合は、図１０のような実線ＲＬ３で示す第３読出を行うことが考えられる。
一方で、暗環境と判定される場合は、図１０のような実線ＲＬ３で示す第３読出を行うことが考えられる。
【0074】
この第３読出では、同じ水平ラインのＰＤ分割画素２１を対象として、画像生成のための読出と、位相差検波のための読出を行うようにする。つまり、上述の第１読出、第２読出のようには読出期間を分けないようにする。
【0075】
図９Ｃに第３読出の動作を模式的に示す。明環境時と同様に、同じく６本の水平ラインの周期で間引き読出を行うものとする。
ライブビュー画像の生成のための読出として、Ｌ値＋Ｒ値の電荷読出が行われるが、図９Ａと同様に、対象とする水平ラインは、６本のラインのうちの４本とし、４本の各水平ラインのＰＤ分割画素２１について、それぞれ（Ｌ＋Ｒ）読出を行うとともに、垂直方向の４つのＰＤ分割画素２１から読み出した（Ｌ＋Ｒ）値を垂直加算して、１つの画素値とする。
ライブビュー画像の生成のための読出として、Ｌ値＋Ｒ値の電荷読出が行われるが、図９Ａと同様に、対象とする水平ラインは、６本のラインのうちの４本とし、４本の各水平ラインのＰＤ分割画素２１について、それぞれ（Ｌ＋Ｒ）読出を行うとともに、垂直方向の４つのＰＤ分割画素２１から読み出した（Ｌ＋Ｒ）値を垂直加算して、１つの画素値とする。
【0076】
これとともに、位相差検波のための読出として、それらの４つのＰＤ分割画素２１から、Ｌ読出が行われるようにする。この場合、Ｌ値についても、垂直方向の４つのＰＤ分割画素２１のＬ値を垂直加算して、１つのＬ値とする。
Ｒ値は、垂直加算した（Ｌ＋Ｒ）値から、垂直加算したＬ値を減算することで得られる。
この場合に、例えば図９Ｂのように垂直加算しないで１つの水平ラインのＰＤ分割画素２１からＬ値と（Ｌ＋Ｒ）値を読み出すようにしてもよいのであるが、それぞれ垂直加算した（Ｌ＋Ｒ）値とＬ値を用いるようにすることで、低照度性能を改善することができる。
Ｒ値は、垂直加算した（Ｌ＋Ｒ）値から、垂直加算したＬ値を減算することで得られる。
この場合に、例えば図９Ｂのように垂直加算しないで１つの水平ラインのＰＤ分割画素２１からＬ値と（Ｌ＋Ｒ）値を読み出すようにしてもよいのであるが、それぞれ垂直加算した（Ｌ＋Ｒ）値とＬ値を用いるようにすることで、低照度性能を改善することができる。
【0077】
この図９Ｃのように行われる、図８の実線ＲＬ３で示す第３読出は、６本の水平ライン周期の例でいえば、次のようになる。
・第１から第６水平ライン：Ｌ読出（４／６ラインの垂直加算読出）
・第１から第６水平ライン：（Ｌ＋Ｒ）読出（４／６ラインの垂直加算読出）
・第７から第１２水平ライン：Ｌ読出（４／６ラインの垂直加算読出）
・第７から第１２水平ライン：（Ｌ＋Ｒ）読出（４／６ラインの垂直加算読出）
（以下、６水平ライン毎に同様）
・第１から第６水平ライン：Ｌ読出（４／６ラインの垂直加算読出）
・第１から第６水平ライン：（Ｌ＋Ｒ）読出（４／６ラインの垂直加算読出）
・第７から第１２水平ライン：Ｌ読出（４／６ラインの垂直加算読出）
・第７から第１２水平ライン：（Ｌ＋Ｒ）読出（４／６ラインの垂直加算読出）
（以下、６水平ライン毎に同様）
【0078】
このような第３読出の後、位相差検波を行い、続いてレンズ駆動を実行することができる。位相差検波は１フレーム分の画素信号の読出後に開始されることになるが、この場合は暗環境であり、暗環境でフレームレートが低下し、垂直期間が長くなっていることで、次の垂直期間Ｖ２のタイミングでＡＦ動作を反映させることができる。これにより、例えば良好なＡＦ性能を維持できる。
そのうえで、（Ｌ＋Ｒ）値の読出と、Ｌ値の読出を行う画素の数（水平ラインの数）は、図８のように第２読出及び第１読出を分けて行う場合よりも少なくできる。
例えば図９の例でいえば、第２読出及び第１読出により、６本中で合計５本の水平ラインで読出が行われるが、第３読出は６本中で４本の水平ラインで読出が行われることになる。これにより省電力効果を得ることができる。
そのうえで、（Ｌ＋Ｒ）値の読出と、Ｌ値の読出を行う画素の数（水平ラインの数）は、図８のように第２読出及び第１読出を分けて行う場合よりも少なくできる。
例えば図９の例でいえば、第２読出及び第１読出により、６本中で合計５本の水平ラインで読出が行われるが、第３読出は６本中で４本の水平ラインで読出が行われることになる。これにより省電力効果を得ることができる。
【0079】
【0080】
図１１のステップＳ１０１でカメラ制御部１４は、シャッターボタン６Ｓの半押しを監視している。半押しが行われていないときは図示しない他の処理を行う。
半押しが行われている間は、図１１の処理は１垂直期間ごとにステップＳ１０２以降に進むことになる。
半押しが行われている間は、図１１の処理は１垂直期間ごとにステップＳ１０２以降に進むことになる。
【0081】
シャッターボタン６Ｓの半押しを検知すると、カメラ制御部１４はステップＳ１０２で露光演算を行う。この露光演算は、シャッタースピードや読出信号に対するＡＧＣゲインを決めるために行うもので、すなわちＡＥ制御（自動露光制御）のために行われる。
露光演算として露光量の算出のための処理ブロックを図１２に示している。
露光演算として露光量の算出のための処理ブロックを図１２に示している。
【0082】
撮像素子７からは、画像信号の生成するための通常画素出力と、ＡＦ制御のための位相差信号としての位相差画素出力が得られる。ここでいう通常画素出力とは、ＰＤ分割画素２１からの（Ｌ＋Ｒ）値、位相差画素出力とはＬ値とＲ値のこととなる。
【0083】
通常画素出力及び位相差画素出力は、カメラ信号処理部８が備える出力レベル検波回路にそれぞれ入力される。出力レベル検波回路では、入力された通常画素出力及び位相差画素出力に基づいて画素上の露光計算対象領域における出力平均値を算出し、カメラ信号処理部８からは、それぞれの出力平均値が出力され、カメラ制御部１４に入力される。
【0084】
カメラ制御部１４は、カメラ信号処理部８から出力された検波結果に応じた露光量計算を行い、シャッタースピード（或いはＦ値やゲイン等の露光量調整が可能なパラメータ）を決定する。カメラ制御部１４は、決定されたシャッタースピードを撮像素子７に設定する処理を行う。
【0085】
カメラ制御部１４で行われる露光量計算は、通常画素出力のみに基づいて行われてもよいし、位相差画素出力のみに基づいて行われてもよい。また、通常画素出力及び位相差画素出力の双方に基づいて行われてもよい。いずれにしても露光量計算により明暗（照度）環境を判定することができる。
【0086】
ステップＳ１０３でカメラ制御部１４は、明環境か暗環境かを判定する。例えば上記の露光量計算で得られたＥＶ（Exposure Value）が閾値ｔｈＥＶ以上であるか否かを判定する。例えば閾値ｔｈＥＶ＝ＥＶ１０として、算出された値がＥＶ１０以上であるか否かを判定する。
【0087】
ＥＶが閾値ｔｈＥＶ以上であれば、明環境であるとしてステップＳ１１１に進む。
この場合、カメラ制御部１４は図８の読出制御を行う。まずステップＳ１１１で第２読出を実行させる。撮像素子７では、図９Ｂに示した読出が、例えば６水平ラインの周期で行われる。
またステップＳ１１２でカメラ制御部１４はカメラ信号処理部８に、６水平ライン毎に読み出されるＬ値と（Ｌ＋Ｒ）値から、Ｒ値を求めさせ、Ｌ値とＲ値を記憶させる処理を開始させる。
この場合、カメラ制御部１４は図８の読出制御を行う。まずステップＳ１１１で第２読出を実行させる。撮像素子７では、図９Ｂに示した読出が、例えば６水平ラインの周期で行われる。
またステップＳ１１２でカメラ制御部１４はカメラ信号処理部８に、６水平ライン毎に読み出されるＬ値と（Ｌ＋Ｒ）値から、Ｒ値を求めさせ、Ｌ値とＲ値を記憶させる処理を開始させる。
【0088】
以上のステップＳ１１１，Ｓ１１２の制御で開始される動作が継続され、第２読出が完了したら、カメラ制御部１４はステップＳ１１３で第１読出を開始させる。すなわち図９Ａで示した読出動作である。
この第１読出で読み出される６水平ライン毎の４／６ライン垂直加算された（Ｌ＋Ｒ）値は、カメラ信号処理部８においてライブビュー画像の画像信号として処理される。
この第１読出で読み出される６水平ライン毎の４／６ライン垂直加算された（Ｌ＋Ｒ）値は、カメラ信号処理部８においてライブビュー画像の画像信号として処理される。
【0089】
カメラ制御部１４は、第１読出を開始させるとともに、第１読出の終了を待たずに、ステップＳ１３０で位相差検波を実行制御する。すなわち各ＰＤ分割画素２１についてＬ値とＲ値が記憶された後、カメラ信号処理部８で位相差検波部８ａの機能により位相差検波が行われるようにする。そしてカメラ制御部１４にデフォーカス量が伝えられる。
カメラ制御部１４はデフォーカス量に応じてステップＳ１３１で鏡筒制御部１８に指示し、光学系１６が備えるフォーカスレンズの駆動を実行させる。そしてステップＳ１３２でレンズ駆動が停止される。これによりＡＦ動作が実行されることになる。
カメラ制御部１４はデフォーカス量に応じてステップＳ１３１で鏡筒制御部１８に指示し、光学系１６が備えるフォーカスレンズの駆動を実行させる。そしてステップＳ１３２でレンズ駆動が停止される。これによりＡＦ動作が実行されることになる。
【0090】
ステップＳ１０３でＥＶが閾値ｔｈＥＶ未満であれば、カメラ制御部１４は暗環境であると判定してステップＳ１２１に進む。
この場合、カメラ制御部１４は図１０の第３読出としての読出を開始させる制御を行う。撮像素子７では、図９Ｃに示した読出、すなわち６水平ライン毎の、Ｌ読出（４／６ラインの垂直加算読出）と、（Ｌ＋Ｒ）読出（４／６ラインの垂直加算読出）が開始される。
またステップＳ１２２でカメラ制御部１４はカメラ信号処理部８に、６水平ライン毎に読み出されるＬ値と（Ｌ＋Ｒ）値から、Ｒ値を求めさせ、Ｌ値とＲ値を記憶させる処理を開始させる。
この場合、カメラ制御部１４は図１０の第３読出としての読出を開始させる制御を行う。撮像素子７では、図９Ｃに示した読出、すなわち６水平ライン毎の、Ｌ読出（４／６ラインの垂直加算読出）と、（Ｌ＋Ｒ）読出（４／６ラインの垂直加算読出）が開始される。
またステップＳ１２２でカメラ制御部１４はカメラ信号処理部８に、６水平ライン毎に読み出されるＬ値と（Ｌ＋Ｒ）値から、Ｒ値を求めさせ、Ｌ値とＲ値を記憶させる処理を開始させる。
【0091】
以上のステップＳ１２１，Ｓ１２２の制御で開始される動作が継続され、第３読出が完了したら、カメラ制御部１４はステップＳ１３０、Ｓ１３１、Ｓ１３２で上記同様に処理を行う。これにより第３読出に基づいてＡＦ動作が実行されることになる。
【0092】
ここで図１３を参照して、（Ｌ＋Ｒ）値としての加算と、垂直加算の違いについて説明しておく。図１３Ａ，図１３Ｂには、ＰＤ分割画素２１から垂直信号線ＶＳＬに信号電荷が読み出される様子を示している。
（Ｌ＋Ｒ）値としての加算は、図１３Ａに示すＦＤ加算であり、ＰＤ分割画素２１を構成する左ＰＤ４０Ｌと右ＰＤ４０Ｒの電荷がフローティングディフュージョンＦＤで加算されて読み出されることを指している。
（Ｌ＋Ｒ）値としての加算は、図１３Ａに示すＦＤ加算であり、ＰＤ分割画素２１を構成する左ＰＤ４０Ｌと右ＰＤ４０Ｒの電荷がフローティングディフュージョンＦＤで加算されて読み出されることを指している。
【0093】
一方、（Ｌ＋Ｒ）値やＬ値ついて行う垂直加算は、図１３Ｂに示すＳＦ（ソースフォロワ）加算であり、ＰＤ分割画素２１から読み出された信号が垂直信号線ＶＳＬで電圧加算されることを指している。
【0094】
なお以上の説明では、第１読出、第２読出、第３読出において、６水平ライン周期で読出を行う例を挙げたが、６本の水平ラインを１周期とするのは一例である。また例えば明るさに応じて１周期とする水平ライン数を変化させることが考えられる。
すなわち１周期の水平ライン数をＮ本としたとき、Ｎの数を可変とする。
また図９Ａ、図９Ｃのように、第１読出、第３読出では、Ｎ本のうち（Ｎ－１）本未満の本数（上記例では４本）の水平ラインで垂直方向となるＰＤ分割画素２１について垂直加算を行うが、この垂直加算する本数も明度に応じて可変としてよもよい。特に明るくなるほど垂直加算する画素数を減らし、暗くなるほど垂直加算する画素数を増やすことが好適である。
すなわち１周期の水平ライン数をＮ本としたとき、Ｎの数を可変とする。
また図９Ａ、図９Ｃのように、第１読出、第３読出では、Ｎ本のうち（Ｎ－１）本未満の本数（上記例では４本）の水平ラインで垂直方向となるＰＤ分割画素２１について垂直加算を行うが、この垂直加算する本数も明度に応じて可変としてよもよい。特に明るくなるほど垂直加算する画素数を減らし、暗くなるほど垂直加算する画素数を増やすことが好適である。
【0095】
<４．第２の実施の形態の読出動作>
第２の実施の形態として、撮像素子７が、ＰＤ分割画素２１と遮光画素２３を有するハイブリッドタイプのものである場合の例を説明する。
第２の実施の形態として、撮像素子７が、ＰＤ分割画素２１と遮光画素２３を有するハイブリッドタイプのものである場合の例を説明する。
【0096】
図１４に撮像素子７の画素配置例を示す。
第１画素行２２Ａとして、遮光画素２３を有する画素行が形成される。この第１画素行２２Ａは、上下方向に離散的に配置され、第１画素行２２Ａと第１画素行２２Ａの間には複数行の第２画素行２２Ｂが配置されている。
第１画素行２２Ａは、規則的に配置されていてもよいし、不規則に配置されていてもよい。但し、規則的に配置されている方が、撮像素子７の製造に係る設計コストや製造コストを抑制することができる。
第１画素行２２Ａとして、遮光画素２３を有する画素行が形成される。この第１画素行２２Ａは、上下方向に離散的に配置され、第１画素行２２Ａと第１画素行２２Ａの間には複数行の第２画素行２２Ｂが配置されている。
第１画素行２２Ａは、規則的に配置されていてもよいし、不規則に配置されていてもよい。但し、規則的に配置されている方が、撮像素子７の製造に係る設計コストや製造コストを抑制することができる。
【0097】
第２画素行２２Ｂに含まれる各ＰＤ分割画素２１は、それぞれベイヤー配列のカラーフィルタにより覆われており、カラーフィルタの種類によって赤（Ｒ）の分光感度を有するものと緑（Ｇ）の分光感度を有するものと青（Ｂ）の分光感度を有するものの何れかとされている。
【0098】
遮光画素２３の構成について、図１５の模式図を参照して説明する。
遮光画素２３は、ＰＤ３０と、ＰＤ３０の前方（被写体側）に配置された遮光部３１と、遮光部３１の前方に配置されたインナーレンズ３２と、インナーレンズ３２の前方に配置されたカラーフィルタ（シアン）３３と、カラーフィルタ３３の前方に配置されたオンチップマイクロレンズ３４とを備えている。
なお、遮光画素２３にインナーレンズ３２やカラーフィルタ３３が設けられていなくてもよい。
遮光画素２３は、ＰＤ３０と、ＰＤ３０の前方（被写体側）に配置された遮光部３１と、遮光部３１の前方に配置されたインナーレンズ３２と、インナーレンズ３２の前方に配置されたカラーフィルタ（シアン）３３と、カラーフィルタ３３の前方に配置されたオンチップマイクロレンズ３４とを備えている。
なお、遮光画素２３にインナーレンズ３２やカラーフィルタ３３が設けられていなくてもよい。
【0099】
ＰＤ３０は、射出瞳ＥＰを通過した光の一部が入射する受光素子であるが、前方に配置された遮光部３１により、ＰＤ３０の受光領域における一部の領域でのみ受光可能とされている。
即ち、遮光部３１は、ＰＤ３０の左半分の領域を覆うように形成されている。遮光部３１には、右開口３５Ｒが形成されている。
即ち、遮光部３１は、ＰＤ３０の左半分の領域を覆うように形成されている。遮光部３１には、右開口３５Ｒが形成されている。
【0100】
インナーレンズ３２とオンチップマイクロレンズ３４は、射出瞳ＥＰを通過し画素一つ分に入射された光を効率的にＰＤ３０に集光するために設けられた光学部品である。
カラーフィルタ３３は、例えば、シアン（Ｃｙ）の分光感度を有するフィルタとされている。
カラーフィルタ３３は、例えば、シアン（Ｃｙ）の分光感度を有するフィルタとされている。
【0101】
図１５に示されるように、ＰＤ３０は、射出瞳ＥＰの左半分の領域である左側領域（左瞳領域）を通過する光のみを受光するように構成されている。即ち、射出瞳ＥＰの右半分の領域である右側領域（右瞳領域）を通過する光は、遮光部３１により遮光され、ＰＤ３０に到達しない。これにより、瞳分割機能を実現する。
【0102】
図１５に示すような左瞳領域を通過する光を受光するように構成された遮光画素２３は、受光面において右側に偏った領域で光を受光することから遮光画素２３Ｒとする。即ち、遮光画素２３Ｒは右開口３５Ｒが形成されている。
また、図１５に示す構成に対して鏡面対称とされた構成を有する遮光画素２３Ｌは、右瞳領域を通過する光を受光するように構成された遮光画素２３であり、この画素は受光面において左側に偏った領域で光を受光する。図１４のように、遮光画素２３Ｌが備える遮光部３１には、左開口３５Ｌが形成されている。
また、図１５に示す構成に対して鏡面対称とされた構成を有する遮光画素２３Ｌは、右瞳領域を通過する光を受光するように構成された遮光画素２３であり、この画素は受光面において左側に偏った領域で光を受光する。図１４のように、遮光画素２３Ｌが備える遮光部３１には、左開口３５Ｌが形成されている。
【0103】
図１４に示すように、遮光画素２３Ｒと遮光画素２３Ｌの距離は例えば画素二つ分の距離とされ、交互に配置されている。
遮光画素２３Ｒから出力される信号と遮光画素２３Ｌから出力される信号は、カメラ信号処理部８（或いはカメラ制御部１４）によって一対の位相差信号として扱われる。即ち、遮光画素２３Ｒから出力される信号と遮光画素２３Ｌから出力される信号の位相差を用いて、カメラ信号処理部８の位相差検波部８ａはデフォーカス量の算出を行うことができる。
なお、カメラ信号処理部８等が一対の位相差信号を特定できるようにするために、どの遮光画素２３Ｒとどの遮光画素２３Ｌとがペアであるかの情報が、カメラ信号処理部８等がアクセスできる記憶領域にあらかじめ記憶されている。
遮光画素２３Ｒから出力される信号と遮光画素２３Ｌから出力される信号は、カメラ信号処理部８（或いはカメラ制御部１４）によって一対の位相差信号として扱われる。即ち、遮光画素２３Ｒから出力される信号と遮光画素２３Ｌから出力される信号の位相差を用いて、カメラ信号処理部８の位相差検波部８ａはデフォーカス量の算出を行うことができる。
なお、カメラ信号処理部８等が一対の位相差信号を特定できるようにするために、どの遮光画素２３Ｒとどの遮光画素２３Ｌとがペアであるかの情報が、カメラ信号処理部８等がアクセスできる記憶領域にあらかじめ記憶されている。
【0104】
【0105】
図１６に示すように明環境では、垂直期間において、まず実線ＲＬ４として示す第４読出を行うようにする。
この第４読出は、位相差検波のための読出であり、画素値として遮光画素２３から（Ｌ＋Ｒ）読出を行うものである。
図９Ｄに模式的に示すが、１垂直期間において、所定の瞳距離に応じて設けられている遮光画素を有する或る水平ラインについて、その水平ラインの（Ｌ＋Ｒ）読出を行う。ここで（Ｌ＋Ｒ）読出を行うのは、遮光画素２３Ｒと遮光画素２３Ｌのいずれからも有意な信号読出ができるようにするためである。
この第４読出は、位相差検波のための読出であり、画素値として遮光画素２３から（Ｌ＋Ｒ）読出を行うものである。
図９Ｄに模式的に示すが、１垂直期間において、所定の瞳距離に応じて設けられている遮光画素を有する或る水平ラインについて、その水平ラインの（Ｌ＋Ｒ）読出を行う。ここで（Ｌ＋Ｒ）読出を行うのは、遮光画素２３Ｒと遮光画素２３Ｌのいずれからも有意な信号読出ができるようにするためである。
【0106】
このように第４読出を行った後に、同じく位相差検波のための読出として第２読出を行う。そして第４読出と第２読出を行った後に、第１読出を開始するとともに、位相差検波を開始し、その後レンズ駆動が実行されるようにする。
これによりＡＦ動作の応答性を改善する。
これによりＡＦ動作の応答性を改善する。
【0107】
暗環境においても図１７に示すように、垂直期間において、まず実線ＲＬ４として示す第４読出を行うようにする。そしてその後第３読出を行う。第３読出の後に、位相差検波を開始し、その後レンズ駆動が実行されるようにする。暗環境でフレームレートが低下されていることで、ＡＦ応答性にはさほど影響は与えない。
【0108】
【0109】
図１８のステップＳ１０１、Ｓ１０２、Ｓ１０３は図１１と同様であり重複説明を避ける。
ＥＶが閾値ｔｈＥＶ以上であり明環境と判定した場合、カメラ制御部１４はステップＳ１１０に進み、遮光画素２３を対象とする第４読出を開始させる。読み出された遮光画素２３の（Ｌ＋Ｒ）値はカメラ信号処理部８内で記憶させる。
ＥＶが閾値ｔｈＥＶ以上であり明環境と判定した場合、カメラ制御部１４はステップＳ１１０に進み、遮光画素２３を対象とする第４読出を開始させる。読み出された遮光画素２３の（Ｌ＋Ｒ）値はカメラ信号処理部８内で記憶させる。
【0110】
第４読出に続いてカメラ制御部１４は、ステップＳ１１１、Ｓ１１２として図１１と同様に第２読出、Ｒ値算出と、Ｌ値とＲ値の記憶処理を開始させ、さらにその後ステップＳ１１３で第１読出を開始させる。
そしてカメラ制御部１４は第１読出を開始させるとともに、その終了を待たずに、ステップＳ１３０で位相差検波を実行させる。
この場合、ＰＤ分割画素２１の信号に基づく位相差検波と、遮光画素２３の信号に基づく位相差検波の両方が行われる。
そしてカメラ制御部１４は第１読出を開始させるとともに、その終了を待たずに、ステップＳ１３０で位相差検波を実行させる。
この場合、ＰＤ分割画素２１の信号に基づく位相差検波と、遮光画素２３の信号に基づく位相差検波の両方が行われる。
【0111】
ステップＳ１０３でＥＶが閾値ｔｈＥＶ以上ではなく、暗環境と判定した場合、カメラ制御部１４はステップＳ１２０に進み、遮光画素２３を対象とする第４読出を開始させる。読み出された遮光画素２３の（Ｌ＋Ｒ）値はカメラ信号処理部８内で記憶させる。
第４読出に続いてカメラ制御部１４は、ステップＳ１２１、Ｓ１２２として図１１と同様に第３読出、Ｒ値算出と、Ｌ値とＲ値の記憶処理を開始させる。
そしてステップＳ１２１，Ｓ１２２の制御で開始される動作が継続され、第３読出が完了したら、カメラ制御部１４はステップＳ１３０に進み、位相差検波を実行させる。この場合も、ＰＤ分割画素２１の信号に基づく位相差検波と、遮光画素２３の信号に基づく位相差検波の両方が行われる。
第４読出に続いてカメラ制御部１４は、ステップＳ１２１、Ｓ１２２として図１１と同様に第３読出、Ｒ値算出と、Ｌ値とＲ値の記憶処理を開始させる。
そしてステップＳ１２１，Ｓ１２２の制御で開始される動作が継続され、第３読出が完了したら、カメラ制御部１４はステップＳ１３０に進み、位相差検波を実行させる。この場合も、ＰＤ分割画素２１の信号に基づく位相差検波と、遮光画素２３の信号に基づく位相差検波の両方が行われる。
【0112】
以上のように明環境、あるいは暗環境においてステップＳ１３０に進んだ後は、カメラ制御部１４はステップＳ１４０で、Ｆ値に基づいて、いずれの位相差検波結果の信頼性が高いかを判定する。例えばＦ値が閾値ｔｈＦ以上であるか否かを判定する。例えば閾値ｔｈＦ＝Ｆ１１などとする例が考えられる。
【0113】
Ｆ値が閾値ｔｈＦ以上であれば、カメラ制御部１４はステップＳ１４１に進み、ＰＤ分割画素２１による位相差検波結果を用いて、デフォーカス量を求め、ＡＦ制御としてレンズ駆動を実行させるようにする。そしてステップＳ１３２でレンズ駆動が停止され、合焦状態とされる。
【0114】
Ｆ値が閾値ｔｈＦ未満であれば、カメラ制御部１４はステップＳ１４２に進み、ＰＤ分割画素２１による位相差検波結果と遮光画素２３による位相差検波結果のうちで信頼度の高い方を用いて、デフォーカス量を求め、ＡＦ制御としてレンズ駆動を実行させ、ステップＳ１３２で合焦状態とさせるようにする。
【0115】
遮光画素２３とＰＤ分割画素２１は、次のような違いがある。
遮光画素２３は位相差検波のみに用いる画素となる。一方、ＰＤ分割画素２１は位相差検波のために用いながら通常の画素（画像生成のための画素）として用いることができる。このため、遮光画素２３は離散配置され、画素数はあまり多くできない。
これにより、ＰＤ分割画素２１は低照度性能、大Ｆ値性能という点で、遮光画素２３より優れている。
一方で遮光画素２３は瞳補正設計自由度があり、軸外性能がよいという点で、ＰＤ分割画素２１で優れている。
これを考えると、低照度環境下ではＰＤ分割画素２１の利点を生かし、高照度環境下では遮光画素２３の利点を生かすことができると考えられる。
遮光画素２３は位相差検波のみに用いる画素となる。一方、ＰＤ分割画素２１は位相差検波のために用いながら通常の画素（画像生成のための画素）として用いることができる。このため、遮光画素２３は離散配置され、画素数はあまり多くできない。
これにより、ＰＤ分割画素２１は低照度性能、大Ｆ値性能という点で、遮光画素２３より優れている。
一方で遮光画素２３は瞳補正設計自由度があり、軸外性能がよいという点で、ＰＤ分割画素２１で優れている。
これを考えると、低照度環境下ではＰＤ分割画素２１の利点を生かし、高照度環境下では遮光画素２３の利点を生かすことができると考えられる。
【0116】
そこで、まずステップＳ１４０では大Ｆ値性能という点で有利なＰＤ分割画素２１の位相差検波結果が選択されるようにする。
またステップＳ１４２では、照度環境に基づいて、信頼度判定を行うことが考えられる。具体的には露光量に応じていずれかの位相差信号を選択するようにする。暗環境ではＰＤ分割画素２１の位相差検波結果、明環境では遮光画素２３の位相差検波結果が選択されるようにする。
なお、図１８の処理では、ステップＳ１３０で遮光画素２３に基づく位相差検波結果とＰＤ分割画素２１に基づく位相差検波結果を算出してから、いずれかをＡＦ制御に用いるために選択するようにしたが、先に選択した上で、選択した方の位相差検波を実行するようにしてもよい。
またステップＳ１４２では、照度環境に基づいて、信頼度判定を行うことが考えられる。具体的には露光量に応じていずれかの位相差信号を選択するようにする。暗環境ではＰＤ分割画素２１の位相差検波結果、明環境では遮光画素２３の位相差検波結果が選択されるようにする。
なお、図１８の処理では、ステップＳ１３０で遮光画素２３に基づく位相差検波結果とＰＤ分割画素２１に基づく位相差検波結果を算出してから、いずれかをＡＦ制御に用いるために選択するようにしたが、先に選択した上で、選択した方の位相差検波を実行するようにしてもよい。
【0117】
<５．まとめ及び変形例>
以上の実施の形態では次のような効果が得られる。
実施の形態の撮像装置１は、ＰＤ分割画素２１を備えた撮像素子７と、カメラ制御部１４を備える。カメラ制御部１４はＰＤ分割画素２１を構成する左ＰＤ４０Ｌ（第１画素）と右ＰＤ４０Ｒ（第２画素）の加算値（Ｌ＋Ｒ）を、画像を構成する画素値として読み出す第１読出と、第１読出で読出対象としないＰＤ分割画素２１から位相差検波に用いるＬ値、Ｒ値を得ることができる読出を行う第２読出について、１垂直期間において、第２読出が行われた後に第１読出が行われるようにする。
１垂直期間において第２読出を第１読出に先立って行うことで、位相差検波に基づくＡＦ制御について時間的に余裕が生じ、次のフレームで合焦状態に制御することができるようになるなど、ＡＦ制御の応答性を高めることができる。
なお、位相差検波に用いるＬ値、Ｒ値を得ることができる読出とは、（Ｌ＋Ｒ）値とＬ値の読出でもよいし、（Ｌ＋Ｒ）値とＲ値の読出でもよい。またＬ値とＲ値の読出でもよい。
以上の実施の形態では次のような効果が得られる。
実施の形態の撮像装置１は、ＰＤ分割画素２１を備えた撮像素子７と、カメラ制御部１４を備える。カメラ制御部１４はＰＤ分割画素２１を構成する左ＰＤ４０Ｌ（第１画素）と右ＰＤ４０Ｒ（第２画素）の加算値（Ｌ＋Ｒ）を、画像を構成する画素値として読み出す第１読出と、第１読出で読出対象としないＰＤ分割画素２１から位相差検波に用いるＬ値、Ｒ値を得ることができる読出を行う第２読出について、１垂直期間において、第２読出が行われた後に第１読出が行われるようにする。
１垂直期間において第２読出を第１読出に先立って行うことで、位相差検波に基づくＡＦ制御について時間的に余裕が生じ、次のフレームで合焦状態に制御することができるようになるなど、ＡＦ制御の応答性を高めることができる。
なお、位相差検波に用いるＬ値、Ｒ値を得ることができる読出とは、（Ｌ＋Ｒ）値とＬ値の読出でもよいし、（Ｌ＋Ｒ）値とＲ値の読出でもよい。またＬ値とＲ値の読出でもよい。
【0118】
第１、第２の実施の形態では、カメラ制御部１４は、明暗判定により明環境と判定した場合に、１垂直期間の読出として、第２読出と第１読出を行う例を説明した。
フレームレートが高い状態では１垂直期間長が短くなり、これによりＡＦ動作が次のフレームに間に合わなくなることが起こりやすい。このようなときに第２読出として先読みを行い、位相差検波を早い段階で行うことで、ＡＦ動作の応答性を低下させないようにすることが特に有効となる。
なお、明暗環境にかかわらず、第２読出と第１読出が行われるようにし、第３読出は行われない例も考えられる。
フレームレートが高い状態では１垂直期間長が短くなり、これによりＡＦ動作が次のフレームに間に合わなくなることが起こりやすい。このようなときに第２読出として先読みを行い、位相差検波を早い段階で行うことで、ＡＦ動作の応答性を低下させないようにすることが特に有効となる。
なお、明暗環境にかかわらず、第２読出と第１読出が行われるようにし、第３読出は行われない例も考えられる。
【0119】
第１、第２の実施の形態では、カメラ制御部１４は、明暗判定により暗環境と判定した場合には、１垂直期間の読出として、画像生成対象とする画素について、左ＰＤ４０Ｌと右ＰＤ４０Ｒの加算値である（Ｌ＋Ｒ）値を読み出すとともに、左ＰＤ４０ＬのＬ値を読み出すことで、ライブビュー画像を構成する画素値と、位相差検波に用いるＬ値及びＲ値を得ることのできる第３読出が行われるようにした。
フレームレートが低い状態では１垂直期間長が長くなるため、第３読出としての動作によっても、ＡＦ動作の応答性はあまり問題にならない。つまり次のフレームに間に合うようなＡＦ動作が実行できる場合が多い。そこで暗環境では、第１読出と第２読出を別途行うよりも簡易で電力消費も抑えられる第３読出を行うようにする。
なお第３読出では、例えば（Ｌ＋Ｒ）値を読み出すとともに、右ＰＤ４０ＲのＲ値が読み出されるようにしてもよい。
フレームレートが低い状態では１垂直期間長が長くなるため、第３読出としての動作によっても、ＡＦ動作の応答性はあまり問題にならない。つまり次のフレームに間に合うようなＡＦ動作が実行できる場合が多い。そこで暗環境では、第１読出と第２読出を別途行うよりも簡易で電力消費も抑えられる第３読出を行うようにする。
なお第３読出では、例えば（Ｌ＋Ｒ）値を読み出すとともに、右ＰＤ４０ＲのＲ値が読み出されるようにしてもよい。
【0120】
第１、第２の実施の形態では、第３読出では、（Ｌ＋Ｒ）値、Ｌ値は、垂直方向の複数のＰＤ分割画素２１の垂直加算値として読み出される例を挙げた。
低照度の環境では、画素値は垂直方向の複数のＰＤ画素で加算平均されて読み出されるようにしている。これにより位相差を求めるため信号レベルを高めてＳ／Ｎを悪化させないようにし、ＡＦ動作が適切に行われるようにする。つまりＰＤ分割画素を用いたＡＦ動作に関して低照度性能を向上させることができる。
また第３読出では、（Ｌ＋Ｒ）値、Ｌ値を同じＰＤ分割画素２１から読み出していることで、トータルの読出ライン数を減らして、消費電力的の低減をはかることができる。なおこの動作は、全体的な読出時間の短縮が可能で、フレームレート向上にも有利な場合がある。
低照度の環境では、画素値は垂直方向の複数のＰＤ画素で加算平均されて読み出されるようにしている。これにより位相差を求めるため信号レベルを高めてＳ／Ｎを悪化させないようにし、ＡＦ動作が適切に行われるようにする。つまりＰＤ分割画素を用いたＡＦ動作に関して低照度性能を向上させることができる。
また第３読出では、（Ｌ＋Ｒ）値、Ｌ値を同じＰＤ分割画素２１から読み出していることで、トータルの読出ライン数を減らして、消費電力的の低減をはかることができる。なおこの動作は、全体的な読出時間の短縮が可能で、フレームレート向上にも有利な場合がある。
【0121】
第１、第２の実施の形態では、第１読出では、ＰＤ分割画素の加算値（（Ｌ＋Ｒ）値）が、Ｎ本（例えば６本）の水平ラインの周期における（Ｎ－１）本以下の水平ラインで垂直方向に加算されて読み出され、第２読出では、第１読出で読出が行われない水平ラインのＰＤ分割画素２１から、Ｌ値とＲ値を得ることができる読出（例えばＬ値と（Ｌ＋Ｒ）値の読出）が行われる例を挙げた。
第１読出では、たとえば６本の水平ラインの周期で４／６本の（Ｌ＋Ｒ）値が、垂直加算されて読み出される。これにより、ライブビューに用いる画素値などとして適切な信号レベルの画素値を得ることができる。
また、その場合、第２読出として、残りの２本の水平ラインのいずれかから、たとえばＬ値と（Ｌ＋Ｒ）値を読み出す。この読出は第１読出で読み出されていない水平ラインのＰＤ分割画素２１について行うものであるため、第１読出と第２読出のための露光は共通に行えばよいことになる。つまり露光期間を第１読出と第２読出で別に設定する必要もなく、１垂直期間の読出動作として効率的な動作を実現できる。
なお、実施の形態では６本単位で周期的に読出を行うものとしたが、Ｎ本の周期的な読出は位置例である。周期的でなくてもよい。
第１読出では、たとえば６本の水平ラインの周期で４／６本の（Ｌ＋Ｒ）値が、垂直加算されて読み出される。これにより、ライブビューに用いる画素値などとして適切な信号レベルの画素値を得ることができる。
また、その場合、第２読出として、残りの２本の水平ラインのいずれかから、たとえばＬ値と（Ｌ＋Ｒ）値を読み出す。この読出は第１読出で読み出されていない水平ラインのＰＤ分割画素２１について行うものであるため、第１読出と第２読出のための露光は共通に行えばよいことになる。つまり露光期間を第１読出と第２読出で別に設定する必要もなく、１垂直期間の読出動作として効率的な動作を実現できる。
なお、実施の形態では６本単位で周期的に読出を行うものとしたが、Ｎ本の周期的な読出は位置例である。周期的でなくてもよい。
【0122】
第１の実施の形態の説明において、水平ラインの周期としてのＮ本の値は、明度に応じて変更されるようにしてもよいと言及した。
これにより明るさの状況に応じて適した画像の生成や精度のよい位相差検波が可能となる。また明るさに応じて間引き率を変えることで、明るい状況では第１読出、第２読出を行う画素数を少なくし、読出時間を短縮することもできる。
これにより明るさの状況に応じて適した画像の生成や精度のよい位相差検波が可能となる。また明るさに応じて間引き率を変えることで、明るい状況では第１読出、第２読出を行う画素数を少なくし、読出時間を短縮することもできる。
【0123】
第１、第２の実施の形態では、第２読出は、左ＰＤ４０Ｌ及び右ＰＤ４０Ｒの加算値の読出と、左ＰＤ４０Ｌの値の読出を行うものとした。
１水平ラインにつき、例えば左ＰＤ４０Ｌの読出と、左ＰＤ４０Ｌ及び右ＰＤ４０Ｒの加算読出として２回読出を行うことで、デフォーカス量算出のための左ＰＤ４０Ｌの値と右ＰＤ４０Ｒの値を得ることができる。
なお第２読出では、左ＰＤ４０Ｌ及び右ＰＤ４０Ｒの加算値の読出と、右ＰＤ４０Ｒの値の読出を行うようにしてもよい。
また第２読出では、例えば左ＰＤ４０Ｌの読出と、右ＰＤ４０Ｒの読出をそれぞれ行うようにしてもよい。
１水平ラインにつき、例えば左ＰＤ４０Ｌの読出と、左ＰＤ４０Ｌ及び右ＰＤ４０Ｒの加算読出として２回読出を行うことで、デフォーカス量算出のための左ＰＤ４０Ｌの値と右ＰＤ４０Ｒの値を得ることができる。
なお第２読出では、左ＰＤ４０Ｌ及び右ＰＤ４０Ｒの加算値の読出と、右ＰＤ４０Ｒの値の読出を行うようにしてもよい。
また第２読出では、例えば左ＰＤ４０Ｌの読出と、右ＰＤ４０Ｒの読出をそれぞれ行うようにしてもよい。
【0124】
第１、第２の実施の形態では、第１読出により得られる前記加算値は、ライブビュー画像の生成に用いられるものとした。
第１読出と第２読出が異なるＰＤ分割画素２１を対象に行われることになると、第１読出による画素値は、有効な全ＰＤ分割画素２１の画素値として得るものではないことになる。従って比較的低解像度の画像生成に適した読出となる場合がある。特にライブビュー画像の生成に適している。また、ユーザがライブビュー画像を見る場合としては、シャッターボタン６Ｓの半押しを行って、被写体を確認しながらレリーズのタイミングをはかっているときが想定される。つまりＡＦ動作が行われる機会である。このようなときに第２読出が第１読出に先立って行われるようにしてＡＦ動作応答性を向上させることが有用となる。
第１読出と第２読出が異なるＰＤ分割画素２１を対象に行われることになると、第１読出による画素値は、有効な全ＰＤ分割画素２１の画素値として得るものではないことになる。従って比較的低解像度の画像生成に適した読出となる場合がある。特にライブビュー画像の生成に適している。また、ユーザがライブビュー画像を見る場合としては、シャッターボタン６Ｓの半押しを行って、被写体を確認しながらレリーズのタイミングをはかっているときが想定される。つまりＡＦ動作が行われる機会である。このようなときに第２読出が第１読出に先立って行われるようにしてＡＦ動作応答性を向上させることが有用となる。
【0125】
第２の実施の形態では、撮像素子７は、射出瞳における所定方向において互いに逆向きに偏った一対の部分領域を通過した一対の光束の一方を遮光する遮光部と他方の光束を受光する受光素子とを備えることにより瞳分割機能を有する遮光画素２３を有するものとし、カメラ制御部１４は、遮光画素２３を読み出す第４読出が行われるように制御し、第４読出で得られた遮光画素２３の値を用いて位相差検波処理が行われるものとした。
ＰＤ分割画素２１と遮光画素２３を備える撮像素子７を用いることで、ＰＤ分割画素２１に基づく位相差検波と、遮光画素２３に基づく位相差検波ができるようになり、例えば状況に応じて選択的に用いることができる。
ＰＤ分割画素２１と遮光画素２３を備える撮像素子７を用いることで、ＰＤ分割画素２１に基づく位相差検波と、遮光画素２３に基づく位相差検波ができるようになり、例えば状況に応じて選択的に用いることができる。
【0126】
第２の実施の形態では、１垂直期間の読出として、第４読出が第２読出よりも先に行われるようにした。
第２読出と第４読出の前後は必ずしも限定されないが、第４読出を先に行うことで、例えば遮光画素に基づくデフォーカス量の信頼度が高い状況などでは、第４読出に基づいてＡＦ制御が実行でき、応答性を向上させることができる。
第２読出と第４読出の前後は必ずしも限定されないが、第４読出を先に行うことで、例えば遮光画素に基づくデフォーカス量の信頼度が高い状況などでは、第４読出に基づいてＡＦ制御が実行でき、応答性を向上させることができる。
【0127】
第２の実施の形態では、第２読出に基づく位相差検波処理の結果と、第４読出に基づく位相差検波処理の結果のうちで信頼度の高い方を用いてフォーカス制御を行うことを述べた（図１８参照）。
これによりＰＤ分割画素と遮光画素のそれぞれの利点が得られるＡＦ制御が可能となり、ＡＦの信頼性を向上させることができる。
これによりＰＤ分割画素と遮光画素のそれぞれの利点が得られるＡＦ制御が可能となり、ＡＦの信頼性を向上させることができる。
【0128】
実施の形態のプログラムは、図１１や図１８に示す処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち、実施の形態のプログラムは、ＰＤ分割画素２１を備えた撮像素子７を備えた撮像装置１における演算処理装置に、ＰＤ分割画素２１を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、第１読出で読出対象としないＰＤ分割画素から位相差検波に用いる第１画素の値と第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、第２読出が行われた後に第１読出が行われるようにする処理を実行させるプログラムである。このようなプログラムにより、上述した撮像装置１を実現できる。
即ち、実施の形態のプログラムは、ＰＤ分割画素２１を備えた撮像素子７を備えた撮像装置１における演算処理装置に、ＰＤ分割画素２１を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、第１読出で読出対象としないＰＤ分割画素から位相差検波に用いる第１画素の値と第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、第２読出が行われた後に第１読出が行われるようにする処理を実行させるプログラムである。このようなプログラムにより、上述した撮像装置１を実現できる。
【0129】
このような撮像装置１を実現するプログラムは撮像装置１等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0130】
またこのようなプログラムによれば、実施の形態の撮像装置１の広範な提供に適している。例えばカメラ機能を備えたスマートホンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの機器を、本開示の撮像装置１として機能させることができる。
【0131】
尚、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0132】
本技術は以下のような構成も採ることができる。
（１）
フォトダイオード分割画素を備えた撮像素子と、
フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする制御部と、を備えた
撮像装置。
（２）
前記制御部は、明暗判定により明環境と判定した場合に、前記１垂直期間の読出として、前記第２読出と前記第１読出を行う
上記（１）に記載の撮像装置。
（３）
前記制御部は、前記明暗判定により暗環境と判定した場合には、前記１垂直期間の読出として、画像生成対象とする画素について、前記第１画素と前記第２画素の加算値を読み出すとともに前記第１画素と前記第２画素のうちの一方の値を読み出すことで、画像を構成する画素値と、位相差検波に用いる前記第１画素の値及び前記第２画素の値を得ることのできる第３読出が行われるようにする
上記（２）に記載の撮像装置。
（４）
前記第３読出では、前記第１画素と前記第２画素のうちの一方の値と、前記加算値は、垂直方向の複数のフォトダイオード分割画素の値の加算値として読み出される
上記（３）に記載の撮像装置。
（５）
前記第１読出では、ＰＤ分割画素の前記第１画素と前記第２画素の加算値が、３以上の自然数であるＮ本の水平ラインの周期における（Ｎ－１）本以下の水平ラインで垂直方向に加算されて読み出され、
前記第２読出では、前記第１読出で読出が行われない水平ラインのＰＤ分割画素から、前記第１画素の値と前記第２画素の値を得ることができる読出が行われる
上記（１）から（４）のいずれかに記載の撮像装置。
（６）
水平ラインの周期としてのＮ本の値は、明度に応じて変更される
上記（５）に記載の撮像装置。
（７）
前記第２読出では、前記第１画素と前記第２画素の加算値の読出と、前記第１画素と前記第２画素のうちの一方の値の読出を行う
上記（１）から（６）のいずれかに記載の撮像装置。
（８）
前記第１読出により得られる前記加算値は、ライブビュー画像の生成に用いられる
上記（１）から（７）のいずれかに記載の撮像装置。
（９）
前記撮像素子は、
射出瞳における所定方向において互いに逆向きに偏った一対の部分領域を通過した一対の光束の一方を遮光する遮光部と他方の光束を受光する受光素子とを備えることにより瞳分割機能を有する遮光画素を有し、
前記制御部は前記遮光画素を読み出す第４読出が行われるように制御し、
前記第４読出で得られた前記遮光画素の値を用いて位相差検波処理が行われる
上記（１）から（８）のいずれかに記載の撮像装置。
（１０）
前記１垂直期間の読出として、前記第４読出が前記第２読出よりも先に行われるようにする
上記（９）に記載の撮像装置。
（１１）
前記第２読出に基づく位相差検波処理の結果と、前記第４読出に基づく位相差検波処理の結果のうちで信頼度の高い方を用いてフォーカス制御を行う
上記（９）または（１０）に記載の撮像装置。
（１２）
フォトダイオード分割画素を備えた撮像素子を備えた撮像装置の撮像方法として、
フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする
撮像方法。
（１）
フォトダイオード分割画素を備えた撮像素子と、
フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする制御部と、を備えた
撮像装置。
（２）
前記制御部は、明暗判定により明環境と判定した場合に、前記１垂直期間の読出として、前記第２読出と前記第１読出を行う
上記（１）に記載の撮像装置。
（３）
前記制御部は、前記明暗判定により暗環境と判定した場合には、前記１垂直期間の読出として、画像生成対象とする画素について、前記第１画素と前記第２画素の加算値を読み出すとともに前記第１画素と前記第２画素のうちの一方の値を読み出すことで、画像を構成する画素値と、位相差検波に用いる前記第１画素の値及び前記第２画素の値を得ることのできる第３読出が行われるようにする
上記（２）に記載の撮像装置。
（４）
前記第３読出では、前記第１画素と前記第２画素のうちの一方の値と、前記加算値は、垂直方向の複数のフォトダイオード分割画素の値の加算値として読み出される
上記（３）に記載の撮像装置。
（５）
前記第１読出では、ＰＤ分割画素の前記第１画素と前記第２画素の加算値が、３以上の自然数であるＮ本の水平ラインの周期における（Ｎ－１）本以下の水平ラインで垂直方向に加算されて読み出され、
前記第２読出では、前記第１読出で読出が行われない水平ラインのＰＤ分割画素から、前記第１画素の値と前記第２画素の値を得ることができる読出が行われる
上記（１）から（４）のいずれかに記載の撮像装置。
（６）
水平ラインの周期としてのＮ本の値は、明度に応じて変更される
上記（５）に記載の撮像装置。
（７）
前記第２読出では、前記第１画素と前記第２画素の加算値の読出と、前記第１画素と前記第２画素のうちの一方の値の読出を行う
上記（１）から（６）のいずれかに記載の撮像装置。
（８）
前記第１読出により得られる前記加算値は、ライブビュー画像の生成に用いられる
上記（１）から（７）のいずれかに記載の撮像装置。
（９）
前記撮像素子は、
射出瞳における所定方向において互いに逆向きに偏った一対の部分領域を通過した一対の光束の一方を遮光する遮光部と他方の光束を受光する受光素子とを備えることにより瞳分割機能を有する遮光画素を有し、
前記制御部は前記遮光画素を読み出す第４読出が行われるように制御し、
前記第４読出で得られた前記遮光画素の値を用いて位相差検波処理が行われる
上記（１）から（８）のいずれかに記載の撮像装置。
（１０）
前記１垂直期間の読出として、前記第４読出が前記第２読出よりも先に行われるようにする
上記（９）に記載の撮像装置。
（１１）
前記第２読出に基づく位相差検波処理の結果と、前記第４読出に基づく位相差検波処理の結果のうちで信頼度の高い方を用いてフォーカス制御を行う
上記（９）または（１０）に記載の撮像装置。
（１２）
フォトダイオード分割画素を備えた撮像素子を備えた撮像装置の撮像方法として、
フォトダイオード分割画素を構成する第１画素と第２画素の加算値を、画像を構成する画素値として読み出す第１読出と、前記第１読出で読出対象としないフォトダイオード分割画素から位相差検波に用いる前記第１画素の値と前記第２画素の値を得ることができる読出を行う第２読出について、１垂直期間において、前記第２読出が行われた後に前記第１読出が行われるようにする
撮像方法。
【符号の説明】
【0133】
１ 撮像装置
２ カメラ筐体
３ レンズ鏡筒
６Ｓ シャッターボタン
７ 撮像素子
８ カメラ信号処理部
８ａ 位相差検波部
１４ カメラ制御部
２１ ＰＤ分割画素
２２Ａ 第１画素行
２２Ｂ 第２画素行
２３，２３Ｒ，２３Ｌ 遮光画素
４０Ｌ 左ＰＤ
４０Ｒ 右ＰＤ
２ カメラ筐体
３ レンズ鏡筒
６Ｓ シャッターボタン
７ 撮像素子
８ カメラ信号処理部
８ａ 位相差検波部
１４ カメラ制御部
２１ ＰＤ分割画素
２２Ａ 第１画素行
２２Ｂ 第２画素行
２３，２３Ｒ，２３Ｌ 遮光画素
４０Ｌ 左ＰＤ
４０Ｒ 右ＰＤ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】