特許 7195120 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-15

(45)【発行日】2022-12-23

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221216BHJP

   G02B 7/34 20210101ALI20221216BHJP

   G03B 13/36 20210101ALI20221216BHJP

   H04N 5/225 20060101ALI20221216BHJP

   H04N 5/369 20110101ALI20221216BHJP

【ＦＩ】

H04N5/232 290

G02B7/34

G03B13/36

H04N5/225 300

H04N5/232 120

H04N5/369 600

【請求項の数】 15

(21)【出願番号】P 2018215780

(22)【出願日】2018-11-16

(65)【公開番号】P2020088446

(43)【公開日】2020-06-04

【審査請求日】2021-11-11

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】上田 暁彦

(72)【発明者】

【氏名】浜野 英之

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０１８－１８２４８１（ＪＰ，Ａ）

【文献】特開２０１６－０７２６９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／３６９

(57)【特許請求の範囲】

【請求項1】

電荷蓄積期間が共通する第１視点画像と第２視点画像とを読み出し可能な撮像素子と、
前記撮像素子から読み出された画像に対して補正処理を適用する補正手段と、
連写時における前記補正手段による前記第１視点画像に対する補正処理を、前記撮像素子からの前記第１視点画像および前記第２視点画像の読み出しと並列に実行するように前記撮像素子および前記補正手段を制御する制御手段と、
を有することを特徴とする撮像装置。

【請求項2】

前記制御手段は、連写時における前記補正手段による前記第２視点画像に対する補正処理を、前記撮像素子からの前記第１視点画像および前記第２視点画像の読み出しと並列せずに実行するように前記撮像素子および前記補正手段を制御することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記第１視点画像と前記第２視点画像とが所定単位ずつ交互に読み出され、
前記制御手段は、メモリに保存された前記第２視点画像に前記補正処理を適用するように前記補正手段を制御することを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記制御手段は、前記第１視点画像をメモリに保存せずに前記補正処理を適用するように前記補正手段を制御することを特徴とする請求項３に記載の撮像装置。

【請求項5】

前記制御手段は、前記第１視点画像および前記第２視点画像に対する前記補正処理の完了後に前記撮像素子からライブビュー表示のための画像を読み出し、前記補正手段によって前記補正処理を適用するように前記撮像素子および前記補正手段を制御することを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記制御手段は、前記第２視点画像に対する前記補正処理と並列に前記撮像素子からライブビュー表示のための画像を読み出し、前記第２視点画像に対する前記補正処理の完了後に前記補正手段によって前記ライブビュー表示のための画像に前記補正処理を適用するように前記撮像素子および前記補正手段を制御することを特徴とする請求項４に記載の撮像装置。

【請求項7】

前記制御手段は、前記第１視点画像に対する前記補正処理の完了後、前記第２視点画像に対する前記補正処理を開始する前に前記撮像素子からライブビュー表示のための画像を読み出して前記補正手段によって前記補正処理を適用し、前記ライブビュー表示のための画像に対する前記補正処理の完了後に、前記第２視点画像に対する前記補正処理を適用するように前記撮像素子および前記補正手段を制御することを特徴とする請求項４に記載の撮像装置。

【請求項8】

前記制御手段は、メモリに保存された前記第１視点画像に前記補正処理を適用するように前記補正手段を制御することを特徴とする請求項３に記載の撮像装置。

【請求項9】

前記制御手段は、前記第２視点画像に対する前記補正処理を、連写の次の撮影に係る前記撮像素子からの読み出しと並列に、あるいは前記連写の終了後に適用するように前記補正手段を制御することを特徴とする請求項８に記載の撮像装置。

【請求項10】

前記制御手段は、前記第１視点画像に対する前記補正処理の完了後、ライブビュー表示のための画像を前記撮像素子から読み出し、前記補正手段によって前記補正処理を適用するように前記撮像素子および前記補正手段を制御することを特徴とする請求項８または９に記載の撮像装置。

【請求項11】

前記制御手段は、前記撮像素子から前記第１視点画像および前記第２視点画像を読み出す場合と、前記ライブビュー表示のための画像を読み出す場合とで、前記撮像素子の読み出しモードを切り替えることを特徴とする、請求項５、６、７、および１０のいずれか１項に記載の撮像装置。

【請求項12】

前記ライブビュー表示のための画像が、焦点検出処理に用いられることを特徴とする請求項５、６、７、１０、および１１のいずれか１項に記載の撮像装置。

【請求項13】

前記撮像素子が、複数の光電変換部を備える画素を有し、前記第１視点画像と前記第２視点画像とは、読み出される光電変換部が異なることを特徴とする請求項１から１２のいずれか１項に記載の撮像装置。

【請求項14】

電荷蓄積期間が共通する第１視点画像と第２視点画像とを読み出し可能な撮像素子と、前記撮像素子から読み出された画像に対して補正処理を適用する補正手段とを有する撮像装置の制御方法であって、
制御手段が、連写時における前記第１視点画像に対する補正処理を、前記撮像素子からの前記第１視点画像および前記第２視点画像の読み出しと並列に実行するように前記撮像素子および前記補正手段を制御する制御工程を有することを特徴とする撮像装置の制御方法。

【請求項15】

電荷蓄積期間が共通する第１視点画像と第２視点画像とを読み出し可能な撮像素子と、前記撮像素子から読み出された画像に対して補正処理を適用する補正手段とを有する撮像装置が有するコンピュータを、請求項１から１３のいずれか１項に記載の撮像装置の制御手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置およびその制御方法に関する。

【背景技術】

【0002】

撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視点画像を同時に撮影することができる撮像装置が提案されている。

【0003】

特許文献１では、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている撮像素子を用いた撮像装置が開示されている。画素に形成された複数の光電変換部のそれぞれには、撮影レンズの射出瞳のうち、互いに異なる部分領域を出射した光が入射する。そのため、光電変換部ごとに信号を読み出し、画素内での位置が同じ光電変換部から読み出された信号から画像を形成することにより、１回の撮影により、電荷蓄積期間が共通する複数の視点の異なる画像（多視点画像）を得ることができる。また、複数の光電変換部で得られる信号を画素ごとに加算することにより、画素ごとに１つのマイクロレンズと１つの光電変換部を有する一般的な撮像素子で得られる画像と同様の、１つの画像（通常画像）を得ることもできる（特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許第４４１０８０４号明細書

【文献】特開２００１－０８３４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

撮影で得られた画像に対して適用する処理がある場合、電荷蓄積期間が共通する多視点画像を取得すると、処理を複数の画像に適用する必要があるため、負荷が増大する。その結果、例えば多視点画像を取得する撮影モードでは、通常画像を取得する撮影モードよりも連写速度が低下しうる。

【0006】

本発明はこのような従来技術の課題に鑑みてなされたものであり、電荷蓄積期間が共通する多視点画像を取得する場合の連写速度低下を抑制することのできる撮像装置およびその制御方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述の目的は、電荷蓄積期間が共通する第１視点画像と第２視点画像とを読み出し可能な撮像素子と、撮像素子から読み出された画像に対して補正処理を適用する補正手段と、連写時における補正手段による第１視点画像に対する補正処理を、撮像素子からの第１視点画像および第２視点画像の読み出しと並列に実行するように撮像素子および補正手段を制御する制御手段と、を有することを特徴とする撮像装置によって達成される。

【発明の効果】

【0008】

このような構成により本発明によれば、電荷蓄積期間が共通する多視点画像を取得する場合の連写速度低下を抑制することのできる撮像装置およびその制御方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1A】実施形態に係る焦点検出装置を備える撮像装置の一例としてのカメラシステムの機能構成例を示すブロック図

【図1B】図１Ａにおける画像処理部およびメモリの構成例を示すブロック図

【図2】実施形態における撮像素子の構成例を示す図

【図3】実施形態における撮像素子の構成例を示す図

【図4】図３の撮像素子の動作例を示すタイミングチャート

【図5】実施形態における光電変換領域と射出瞳との関係例を示す図

【図6】連写撮影時の処理シーケンスの例を示す図

【図7】実施形態におけるカメラの撮像処理に関するフローチャート

【発明を実施するための形態】

【0010】

以下、本発明の例示的な実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明に係る焦点検出装置をレンズ交換式のデジタル一眼レフカメラ（カメラシステム）に適用した実施形態について説明する。しかしながら本発明に係る焦点検出装置は、位相差検出方式の焦点検出に用いる信号を生成可能な撮像素子を有する任意の電子機器に適用可能である。このような電子機器には、デジタルスチルカメラ、デジタルビデオカメラなどのカメラ一般はもとより、カメラ機能を有する携帯電話機、コンピュータ機器、メディアプレーヤ、ロボット機器、ゲーム機器、家電機器などが含まれるが、これらに限定されない。

【0011】

図１Ａは、本発明の実施形態に係る焦点検出装置を備える撮像装置の一例としての、撮影レンズを交換可能なカメラと撮影レンズからなるカメラシステムの構成例を示す図である。図１Ａにおいて、カメラシステムはカメラ１００と、交換可能な撮影レンズ３００とから構成される。

【0012】

撮影レンズ３００を通過した光束は、レンズマウント３０６，１０６を通過してカメラ１００に入射する。カメラ１００に入射した光はメインミラー１３０により上方へ反射され、光学ファインダ１０４に入射する。光学ファインダ１０４により、撮影者は被写体光学像を観察しながら撮影できる。光学ファインダ１０４内には、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示などを被写体光学像とともに提示する表示部が設けられている。

【0013】

メインミラー１３０の背面にはサブミラー１３１が設けられている。メインミラー１３０に入射する光の一部がサブミラー１３１に入射するよう、メインミラー１３０の一部はハーフミラーである。メインミラー１３０を透過した光はサブミラー１３１で下方へ反射されて焦点検出装置１０５へ入射する。焦点検出装置１０５は、例えば２次結像光学系とラインセンサとを有する位相差検出方式の焦点検出装置であり、１対の像信号をＡＦ部（オートフォーカス部）４２に出力する。ＡＦ部４２では、１対の像信号に対して位相差検出演算を行い、検出した位相差に基づいて撮影レンズ３００のデフォーカス量およびデフォーカス方向を求める。システム制御部５０は、撮影レンズ３００のフォーカス制御部３４２（後述）を制御して、ＡＦ部４２が求めたデフォーカス量およびデフォーカス方向に基づく位置に撮影レンズ３００のフォーカスレンズを駆動する。

【0014】

撮像素子１４を露光して撮影を行う場合、システム制御部５０は、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を光路外に退避させる（ミラーアップ）。これにより、撮影レンズ３００を通過してカメラ１００に入射する光は、シャッター１２の開口部を介して、撮像素子１４に入射可能になる。撮像素子１４による撮影が終了すると、システム制御部５０は、メインミラー１３０とサブミラー１３１を図１Ａに示す位置（光路中）に戻す。なお、撮像素子１４による撮影は、静止画撮影に加え、後述する画像表示部２８にライブビュー表示を行うための動画撮影、記録用の動画撮影などがある。

【0015】

撮像素子１４はＣＣＤまたはＣＭＯＳイメージセンサであり、光電変換領域（またはフォトダイオード）を有する画素が複数、２次元的に配置された構成を有する。各画素は入射光量に応じた電圧を有する電気信号を出力する。したがって、撮像素子１４は被写体光学像を電気信号群に変換する。撮像素子１４から読み出される個々の電気信号はＡ／Ｄ変換器１６でデジタル信号（画像データ）に変換される。なお、後述するように、Ａ／Ｄ変換器１６は撮像素子１４に組み込まれてもよい。

【0016】

本実施形態に係る撮像素子１４は少なくとも一部の画素が複数の光電変換領域（またはフォトダイオード）を有するように構成されている。上述の通り、このような構成を有する画素は、位相差検出方式の焦点検出に用いる信号を出力可能である。従って、クイックリターン機構によりメインミラー１３０とサブミラー１３１が光路外に退避し、焦点検出装置１０５に光が入射しない場合であっても、撮像素子１４の出力を用いた位相差検出方式の焦点検出が可能である。

【0017】

本実施形態では、１つの画素が有する複数の光電変換領域の数が２であるものとする。この場合、複数の光電変換部を有する画素からは、第１の光電変換部の出力（Ａ信号）、第２の光電変換部の出力（Ｂ信号）、および第１の光電変換部と第２の光電変換部の加算出力（Ａ＋Ｂ信号）という３種類の出力を得ることができる。なお、複数の光電変換領域を所定方向（例えば水平または垂直方向）に２分して取り扱いできれば、１つの画素が有する複数の光電変換領域の数は２でなくてもよい。また、Ａ信号は、Ａ＋Ｂ信号からＢ信号を減じることによって取得してもよい。同様に、Ｂ信号は、Ａ＋Ｂ信号からＡ信号を減じることによって取得してもよい。

【0018】

タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８の動作はメモリ制御部２２及びシステム制御部５０により制御される。複数の光電変換部を有する画素から、一部の光電変換部の出力を読み出したり、全ての光電変換部の出力を加算して読み出したりするための制御信号は、システム制御部５０がタイミング発生回路１８を制御して撮像素子１４に供給する。

【0019】

画像処理部２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御部２２からの画像データに対して画像処理を適用する。画像処理部２０は、例えば信号処理プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、ＣＰＬＤなどのハードウェア回路によって実現することができる。画像処理部２０はまた、プログラマブルプロセッサとメモリとを備え、メモリに記憶されたプログラムをプログラマブルプロセッサで実行することによっても実現できる。

【0020】

図１Ｂは、画像処理部２０が実現する機能の一部をブロックで模式的に示した図である。第１補正処理部２０ａおよび第２補正処理部２０ｄは、それぞれ所定の補正処理を適用する。ここで、第１補正処理部２０ａは表示や記録に用いる画像データを対象とし、第２補正処理部２０ｄは焦点検出用の画像データを対象として、補正処理を提供する。

【0021】

焦点検出用の画像データは一部の画素から生成されるため、表示や記録に用いる画像データよりもデータ量が少ない。また、焦点検出には色情報は不要であり、輝度情報だけがあれば足りる。そのため、第１および第２補正処理部２０ａおよび２０ｄをハードウェア回路で実現する場合、第２補正処理部２０ｄは第１補正処理部２０ａと比較すると回路規模が小さくてよい。現像処理部２０ｃは、第１補正処理部２０ａで補正処理が適用された画像データに対して、現像処理（画素補間処理、ホワイトバランス調整処理、色変換処理など）を適用する。

【0022】

ＡＦ信号生成部２０ｂは、Ａ／Ｄ変換器１６からの画像データ（撮像素子１４の出力信号）のうち、焦点検出用信号の生成に用いられる出力信号（上述のＡ信号、Ｂ信号）から、位相差検出方式の焦点検出に用いる１対の信号列を生成する。ＡＦ信号生成部２０ｂは例えば、焦点検出領域に含まれる、光電変換部の分割方向（図２の例では水平方向）に並んだ複数の画素から読み出された複数のＡ信号からなる信号列としてＡ像を生成する。ＡＦ信号生成部２０ｂは同様にして複数のＢ信号からなる信号列をＢ像を生成する。Ａ像およびＢ像が、位相差検出方式の焦点検出に用いる１対の信号列である。なお、Ａ信号およびＢ信号から位相差検出方式の焦点検出に用いる１対の信号列を生成する方法はこれに限定されない。

【0023】

第２補正処理部２０ｄは、ＡＦ信号生成部２０ｂが生成する１対の信号列に対して補正処理を適用する。その後、１対の信号列はシステム制御部５０を介してＡＦ部４２へ送られる。ＡＦ部４２は１対の信号列の相関演算により信号列間のずれ量（シフト量）を検出し、ずれ量を撮影レンズ３００のデフォーカス量とデフォーカス方向に変換する。ＡＦ部４２は、変換したデフォーカスの量および方向をシステム制御部５０に出力する。システム制御部５０は、撮影レンズ３００のフォーカス制御部３４２を通じてフォーカスレンズを駆動し、撮影レンズ３００の合焦距離を調節する。

【0024】

また、画像処理部２０のＡＦ信号生成部２０ｂは、撮像素子１４から得られる、第１の視点画像としての通常の画像データを生成するための信号（上述したＡ＋Ｂ信号に相当）に基づいて、コントラスト評価値を演算することができる。コントラスト評価値は、ＡＦ信号生成部２０ｂからシステム制御部５０に直接出力されてよい。システム制御部５０は、撮影レンズ３００のフォーカス制御部３４２を通じてフォーカスレンズ位置を変更しながら撮像素子１４で撮影を行い、画像処理部２０で算出したコントラスト評価値の変化を調べる。そして、システム制御部５０は、フォーカスレンズを、コントラスト評価値が最大となる位置に駆動する。このように、本実施形態のカメラ１００は、コントラスト検出方式の焦点検出も可能である。

【0025】

したがって、カメラ１００は、動画撮影時のようにメインミラー１３０とサブミラー１３１が光路外に退避して焦点検出装置１０５に光が入射しない場合も、撮像素子１４から得られる信号に基づく焦点検出が可能である。この場合、システム制御部５０は、位相差検出方式とコントラスト検出方式の一方または両方を用いることができる。また、カメラ１００は、メインミラー１３０とサブミラー１３１が光路内にある、光学ファインダ１０４を用いた静止画撮影では、焦点検出装置１０５による位相差検出方式の焦点検出が可能である。このように、カメラ１００は、静止画撮影時、ライブビュー表示時、（記録用の）動画撮影時のどの状態においても焦点検出が可能である。

【0026】

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。そして、Ａ／Ｄ変換器１６の出力する画像データは、画像処理部２０およびメモリ制御部２２を介して、あるいはメモリ制御部２２のみを介して、画像表示メモリ２４あるいはメモリ３０に書き込まれる。画像表示メモリ２４には、例えば画像表示部２８の特性に合わせた表示用画像データが書き込まれる。表示用画像データは、Ｄ／Ａ変換器２６によって表示用のアナログ信号に変換され、画像表示部２８出力される。画像表示部２８は例えば液晶ディスプレイである。撮像素子１４で撮影した動画から生成した表示用画像データを画像表示部２８に逐次表示することで、画像表示部２８を電子ビューファインダ（ＥＶＦ）として機能させることができる。画像表示部２８をＥＶＦとして機能させるための表示動作をライブビュー表示、表示される画像をライブビュー画像と呼ぶ。画像表示部２８は、システム制御部５０の指示により表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を低減できる。

【0027】

メモリ３０は例えばＤＲＡＭであり、図１Ｂに示すように、記録画像用メモリ３０ａとシステムメモリ３０ｂとから構成される。なお、記録画像用メモリ３０ａとシステムメモリ３０ｂとは、同一メモリ空間内の異なる領域であってよい。記録画像用メモリ３０ａは静止画や動画の一時記憶に用いられ、所定枚数の静止画や所定時間の動画を記憶するのに必要な記憶容量を有する。記録画像用メモリ３０ａは例えば連写撮影やパノラマ撮影における画像バッファとして用いられる。システムメモリ３０ｂはシステム制御部５０が不揮発性メモリ５２に記憶されたプログラムを実行したり、撮像素子１４から取得した信号を一時保存したりするために用いられる。

【0028】

圧縮伸長部３２は、記録画像用メモリ３０ａに記憶された画像データを読み込んで例えば適応離散コサイン変換（ＡＤＣＴ）もしくはその逆変換を適用し、圧縮（符号化）処理や、伸長（復号）処理を適用する。圧縮伸長部３２は、処理した画像データを記録画像用メモリ３０ａに書き戻す。なお、圧縮および伸長の方法は、設定に応じて異なり得る。

【0029】

シャッター制御部３６は、システム制御部５０の制御にしたがい、撮影レンズ３００の絞り３１２を制御する絞り制御部３４４と連携しながら、シャッター１２の動作を制御する。インターフェース（Ｉ／Ｆ）部３８およびコネクタ１２２は、カメラ１００と撮影レンズ３００とを電気的に接続する。Ｉ／Ｆ部３８およびコネクタ１２２は、カメラ１００と撮影レンズ３００との間における制御信号、状態信号、データなど通信路を提供するほか、カメラ１００から撮影レンズ３００への電源を供給路を提供する。なお、Ｉ／Ｆ部３８およびコネクタ１２２は、光信号を伝送するための構成を有してもよい。

【0030】

測光部４６は、被写体光学像の輝度情報を取得し、被写体輝度と露出条件とを対応付けたプログラム線図などを用いて露出条件を決定する自動露出制御（ＡＥ）処理を行うことができる。測光部４６は、例えば光学ファインダ１０４に入射する被写体光学像の輝度を例えば撮像素子を用いて計測することにより、被写体光学像の輝度情報を取得することができる。また、測光部４６は、フラッシュ４８と連携することで調光処理機能も有する。なお、画像処理部２０が撮像素子１４から得られた画像データから取得した輝度情報などに基づいてシステム制御部５０がＡＥ処理を実行して露出条件を決定してもよい。いずれの場合も、システム制御部５０は、決定された露出条件に基づいてシャッター制御部３６と撮影レンズ３００の絞り制御部３４４を制御する。フラッシュ４８は、ＡＦ補助光を発生させたり、撮影時の発光量を決定したりする機能を有する。

【0031】

システム制御部５０は例えばＣＰＵやＭＰＵなどのプロセッサを有し、プロセッサにより例えば不揮発性メモリ５２に予め記憶されたプログラムをシステムメモリ３０ｂに読み込んで実行することによりカメラシステム全体の動作を制御する。不揮発性メモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。
表示部５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する、例えば液晶表示装置である。表示部５４はカメラ１００の操作部近辺の視認し易い位置に単数或いは複数設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成される。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。

【0032】

不揮発性メモリ５６は、電気的に消去・記録可能であり、例えばＥＥＰＲＯＭである。６０、６２、６４、６６、６８及び７０は、システム制御部５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

【0033】

モードダイアル６０は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定できる。シャッタースイッチＳＷ１である６２は、不図示のシャッターボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。シャッタースイッチＳＷ２である６４は、シャッターボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する一連の処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データとして書き込む。現像処理では、第１補正処理部２０ａによる補正処理や現像処理部２０ｃによる現像処理を行う。記録処理では、記録画像用メモリ３０ａから画像データを読み出し、圧縮伸長部３２で圧縮を行い、記憶媒体１５０或いは１６０に画像データとして書き込む。

【0034】

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定できる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、液晶モニタ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることができる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影した画像データを撮影直後に自動再生するクイックレビュー機能を設定する。操作部７０は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、露出補正ボタン等がある。

【0035】

電源制御部８０は、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記憶媒体を含む各部へ供給する。コネクタ８２及び８４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００と接続する。

【0036】

インターフェース（Ｉ／Ｆ）部９０及び９４は、メモリカードやハードディスク等の記憶媒体との接続機能を有し、コネクタ９２および９６は、メモリカードやハードディスク等の記憶媒体１５０および１６０の端子と物理的に接触する。媒体着脱検知部９８は、コネクタ９２または９６に記憶媒体が装着されているかどうかを検知する。なお、本実施形態では、記憶媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、インターフェース及びコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにＬＡＮカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

【0037】

通信部１１０は、有線通信、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０によりカメラ１００を他の機器と接続し、無線通信の場合はアンテナである。記憶媒体１５０及び１６０は、メモリカードやハードディスク等である。記憶媒体１５０及び１６０は、半導体メモリや磁気ディスク等から構成される記録部１５２，１６２、カメラ１００とのインターフェース１５４，１６４、カメラ１００と接続を行うコネクタ１５６，１６６を備えている。

【0038】

次に、撮影レンズ３００について説明する。撮影レンズ３００は、レンズマウント３０６をカメラ１００のレンズマウント１０６に係合させることによりにカメラ１００と機械的並びに電気的に結合される。電気的な結合はレンズマウント１０６及びレンズマウント３０６に設けられたコネクタ１２２及びコネクタ３２２によって実現される。レンズ３１１には撮影レンズ３００の合焦距離を調節するためのフォーカスレンズが含まれる。フォーカス制御部３４２は、フォーカスレンズを光軸に沿って駆動することで撮影レンズ３００の焦点調節を行う。フォーカス制御部３４２の動作は、調節手段としてのシステム制御部５０が、レンズシステム制御部３４６を通じて制御する。絞り３１２はカメラ１００に入射する被写体光の量と角度を調節する。

【0039】

コネクタ３２２及びインターフェース３３８は、撮影レンズ３００をカメラ１００のコネクタ１２２と電気的に接続する。そして、コネクタ３２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

【0040】

ズーム制御部３４０はレンズ３１１の変倍レンズを駆動し、撮影レンズ３００の焦点距離（画角）を調整する。撮影レンズ３００が単焦点レンズであればズーム制御部３４０は存在しない。絞り制御部３４４は、測光部４６からの測光情報に基づいて、シャッター１２を制御するシャッター制御部３６と連携しながら、絞り３１２を制御する。

【0041】

レンズシステム制御部３４６は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することにより撮影レンズ３００全体の動作を制御する。そして、レンズシステム制御部３４６は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ３４８は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。

【0042】

不揮発性メモリ３４８はまた、撮影レンズ３００の状態に応じたレンズ枠情報も記憶している。レンズ枠情報は、撮影レンズ３００を通過してカメラ１００に入射する光を決定する、レンズ枠の開口半径の情報と、撮像素子１４からレンズ枠の開口までの距離の情報である。レンズ枠には、レンズ３１１の縁部を保持する枠状の部品だけでなく、絞り３１２も含まれる。レンズ枠の位置および／または開口半径はレンズ３１１の合焦距離（フォーカスレンズの位置）や焦点距離（ズーム位置）に応じて変化する。そのため、レンズ枠情報はレンズ３１１の複数のフォーカス位置やズーム位置に対応して複数記憶されている。そして、カメラ１００が焦点検出を行う際には、レンズ３１１のフォーカス位置とズーム位置に対応したレンズ枠情報が不揮発性メモリ３４８から読み出され、カメラ１００（システム制御部５０）にコネクタ３２２、１２２を通じて供給される。
以上が、カメラ１００と撮影レンズ３００からなる本実施形態のカメラシステムの構成である。

【0043】

次に、撮像素子１４の構成を図２および図３を用いて説明する。図２（ａ）は、撮像素子１４が有する複数の画素のうち、位相差検出方式の焦点検出に用いる信号を出力可能な構成を有する画素の回路構成例を示す。ここでは、１つの画素２００に、マイクロレンズを共有する複数の光電変換領域または光電変換部として２つのフォトダイオード（ＰＤ）２０１ａ、２０１ｂが設けられた構成を説明する。しかし、より多く（例えば、４つ）のフォトダイオードが設けられてもよい。フォトダイオード２０１ａ（第１の光電変換部）、フォトダイオード２０１ｂ（第２の光電変換部）は、後述するように、焦点検出画素として機能するとともに、撮像画素としても機能する。

【0044】

転送スイッチ２０２ａ、２０２ｂ、リセットスイッチ２０５、選択スイッチ２０６は例えばＭＯＳトランジスタにより構成されてよい。以下の説明ではこれらスイッチはＮ型のＭＯＳトランジスタとするが、Ｐ型のＭＯＳトランジスタであってもよいし、他のスイッチング素子であってもよい。

【0045】

図２（ｂ）は、撮像素子１４に２次元配列された複数の画素のうち、水平ｎ画素、垂直ｍ画素を模式的に示した図である。ここでは、全ての画素が図２（ａ）に示した構成を有するものとする。各画素にはマイクロレンズ２０１ｉが設けられ、フォトダイオード２０１ａ、２０１ｂは同一のマイクロレンズを共有する。以下では、フォトダイオード２０１ａにより得られる信号をＡ信号または第１の信号、フォトダイオード２０１ｂにより得られる信号をＢ信号または第２の信号と呼ぶ。また、複数のＡ信号から生成される焦点検出用の信号列をＡ像または第１の像信号、複数のＢ信号から生成される焦点検出用の信号列をＢ像または第２の像信号と呼ぶ。また、対をなすＡ像とＢ像とを、信号列対または像信号対と呼ぶ。

【0046】

転送スイッチ２０２ａはフォトダイオード２０１ａとフローティングディフュージョン（ＦＤ）２０３との間に接続される。また、転送スイッチ２０２ｂはフォトダイオード２０１ｂとＦＤ２０３との間に接続される。転送スイッチ２０２ａ、２０２ｂは、それぞれフォトダイオード２０１ａ、２０１ｂで発生した電荷を共通のＦＤ２０３に転送する素子である。転送スイッチ２０２ａ、２０２ｂは、それぞれ制御信号ＴＸ＿Ａ、ＴＸ＿Ｂによって制御される。

【0047】

フローティングディフュージョン（ＦＤ）２０３は、フォトダイオード２０１ａ、２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部（キャパシタ）として機能する。

【0048】

増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、ＦＤ２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する電源２０８に接続される。増幅部２０４は、ＦＤ２０３に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。

【0049】

リセットスイッチ２０５は、ＦＤ２０３と電源２０８との間に接続される。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、ＦＤ２０３の電位を電源電位ＶＤＤにリセットする機能を有する。

【0050】

選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続される。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された画像信号を垂直出力線２０７に出力する。

【0051】

図３は、撮像素子１４の構成例を示す図である。撮像素子１４は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８、２２９、水平走査回路２３２及びデータ出力部２３３を有する。以下では画素アレイ２３４に含まれる全ての画素が図２（ａ）に示した回路構成を有するものとする。しかしながら、一部の画素はマイクロレンズあたり１つのフォトダイオードが設けられた構成を有してもよい。

【0052】

画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図３には説明を簡略化するために、４行ｎ列の画素アレイ２３４を示している。しかし、画素アレイ２３４が有する画素２００の行数および列数は任意である。また、本実施形態において、撮像素子１４は単板式カラー撮像素子であり、原色ベイヤー配列のカラーフィルタを有している。そのため、画素２００には赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のカラーフィルタのいずれか１つが設けられている。なお、カラーフィルタを構成する色や配列に特に制限はない。また、画素アレイ２３４に含まれる一部の画素は遮光され、オプチカルブラック（ＯＢ）領域を形成する。

【0053】

垂直走査回路２０９は、行ごとに設けられた駆動信号線２３６を介して、各行の画素２００に、図２（ａ）に示した各種の制御信号を供給する。なお、図３では簡略化のために各行の駆動信号線２３６を１本の線で表しているが、実際には複数の駆動信号線が各行に存在する。

【0054】

画素アレイ２３４に含まれる画素は、一列ごとに共通の垂直出力線２０７に接続される。垂直出力線２０７の各々には、電流源負荷２１０が接続される。それぞれの画素２００からの信号は、列ごとに設けられた読み出し回路２３５に垂直出力線２０７を通じて入力される。

【0055】

水平走査回路２３２は、それぞれが１つの読み出し回路２３５に対応する制御信号ｈｓｒ（０）～ｈｓｒ（ｎ－１）を出力する。制御信号ｈｓｒ（）はｎ個の読み出し回路２３５の１つを選択する。制御信号ｈｓｒ（）で選択された読み出し回路２３５は、共通出力線２２８、２２９を通じてデータ出力部２３３に信号を出力する。

【0056】

次に、読み出し回路２３５の具体的な回路構成例を説明する。図３には、ｎ個の読み出し回路２３５のうち１つについての回路構成例を示しているが、他の読み出し回路２３５も同じ構成を有する。本実施形態の読み出し回路２３５はランプ型のＡＤ変換器を含んでいる。

【0057】

垂直出力線２０７を通じて読み出し回路２３５に入力された信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４～２１６とスイッチ２１８～２２０がオペアンプ２１３の反転入力端子と出力端子の間に接続される。オペアンプ２１３の反転入力端子と出力端子の間にはさらにスイッチ２１７が接続される。スイッチ２１７は制御信号ＲＥＳ＿Ｃにより制御され、フィードバック容量２１４～２１６の両端をショートさせる機能を有する。また、スイッチ２１８～２２０はシステム制御部５０からの制御信号ＧＡＩＮ０～ＧＡＩＮ２で制御される。

【0058】

比較器２２１にはオペアンプ２１３の出力信号と、ランプ信号発生器２３０から出力されるランプ信号２２４が入力される。Ｌａｔｃｈ＿Ｎ２２２はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿Ｓ２２３はＡ信号およびＡ信号とＢ信号が加算された信号レベル（Ａ＋Ｂ信号）を保持するための記憶素子である。比較器２２１の出力（比較結果を表す値）とカウンタ２３１の出力（カウンタ値）２２５が、Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３のそれぞれに入力される。Ｌａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３の動作（有効または無効）はそれぞれ、ＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓで制御される。Ｌａｔｃｈ＿Ｎ２２２で保持したノイズレベルはスイッチ２２６を介して共通出力線２２８に出力される。Ｌａｔｃｈ＿Ｓ２２３で保持した信号レベルはスイッチ２２７を介して共通出力線２２９に出力される。共通出力線２２８、２２９はデータ出力部２３３に接続される。

【0059】

スイッチ２２６、２２７は水平走査回路２３２からの制御信号ｈｓｒ（ｈ）で制御される。ここで、ｈは制御信号線が接続されている読み出し回路２３５の列番号を示す。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持された信号レベルは共通出力線２２８、２２９に順次出力され、データ出力部２３３を通じてメモリ制御部２２や画像処理部２０に出力される。この、各読み出し回路２３５で保持された信号レベルを順次外部に出力する動作を水平転送と呼ぶ。なお、読み出し回路に入力される制御信号（ｈｓｒ（）を除く）や、垂直走査回路２０９、水平走査回路２３２、ランプ信号発生器２３０、カウンタ２３１の制御信号は、タイミング発生回路１８やシステム制御部５０から供給される。

【0060】

図３に示した撮像素子１４の読み出し動作に関するタイミングチャートである図４を参照して、１行分の画素に対する読み出し動作について説明する。なお、各制御信号がＨのときに各スイッチはオンになり、Ｌのときに各スイッチはオフになるものとする。

【0061】

時刻ｔ１において垂直走査回路２０９は、制御信号ＲＥＳをＨにした状態で制御信号ＴＸ＿Ａ、ＴＸ＿ＢをＬからＨにして、転送スイッチ２０２ａ、２０２ｂをオンにする。これにより、フォトダイオード２０１ａ、２０１ｂに蓄積された電荷は、転送スイッチ２０２ａ、２０２ｂ、リセットスイッチ２０５を介して電源２０８に転送され、フォトダイオード２０１ａ、２０１ｂはリセットされる。また、ＦＤ２０３も同様にリセットされる。時刻ｔ２において垂直走査回路２０９が、制御信号ＴＸ＿Ａ、ＴＸ＿ＢをＬとし、転送スイッチ２０２ａ、２０２ｂをオフすると、フォトダイオード２０１ａ、２０１ｂで光電荷の蓄積が開始する。

【0062】

所定の蓄積時間が経過すると、時刻ｔ３において垂直走査回路２０９は、制御信号ＳＥＬをＨとし、選択スイッチ２０６をオンにする。これにより、増幅部２０４のソースが垂直出力線２０７に接続される。時刻ｔ４において垂直走査回路２０９は、制御信号ＲＥＳをＬとし、リセットスイッチ２０５をオフする。これにより、ＦＤ２０３のリセットが解除され、ＦＤ２０３のリセット信号レベルが増幅部２０４を介して垂直出力線２０７に読み出され、読み出し回路２３５に入力される。

【0063】

その後、時刻ｔ５においてタイミング発生回路１８は制御信号ＲＥＳ＿ＣをＬにする。これにより、スイッチ２１７がオンし、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。撮像素子１４には予め、操作部７０を通じて設定されたＩＳＯ感度に基づき、システム制御部５０が制御信号ＧＡＩＮ０～ＧＡＩＮ２のいずれか１つをＨにする設定が行われる。例えば実施形態のカメラ１００がＩＳＯ感度１００、２００、４００のいずれかが設定可能である場合、ＩＳＯ感度１００のときは制御信号ＧＡＩＮ０がＨ、ＧＡＩＮ１、ＧＡＩＮ２がＬとなる。同様に、ＩＳＯ感度２００では制御信号ＧＡＩＮ１がＨ、ＩＳＯ感度４００では制御信号ＧＡＩＮ２がＨとなる。なお、設定感度の種類や、設定感度と制御信号との関係はこれに限定されない。

【0064】

オペアンプ２１３は、入力された電圧を、クランプ容量２１１と、制御信号ＧＡＩＮ０～ＧＡＩＮ２のうちＨのものに対応するスイッチに対応するフィードバック容量２１４～２１６の１つとの容量比で定まる反転ゲインで増幅して出力する。この増幅により、オペアンプ２１３までの回路で発生するランダムノイズ成分も増幅される。したがって、増幅後の信号に含まれるランダムノイズの大きさは、ＩＳＯ感度に依存する。

【0065】

次に、時刻ｔ６において、ランプ信号発生器２３０は時間経過とともに信号レベルが線形に増加するランプ信号の出力を開始し、同時にカウンタ２３１はリセット状態からカウントアップを開始する。また、タイミング発生回路１８はＬＡＴＥＮ＿ＮをＨにして、Ｌａｔｃｈ＿Ｎを有効にする。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力がＬからＨに変化する（時刻ｔ７）。Ｌａｔｃｈ＿Ｎ２２２はＬＡＴＥＮ＿ＮがＨの状態において、比較器２２１の出力がＬからＨに変化すると、その時点でカウンタ２３１が出力しているカウンタ値を記憶する。Ｌａｔｃｈ＿Ｎ２２２が記憶するカウンタ値が、Ｎ信号レベルを表すデジタル値（Ｎ信号データ）に相当する。なお、ＬＡＴＥＮ＿ＳはＬであるため、Ｌａｔｃｈ＿Ｓ２２３は無効であり、カウント値は記憶しない。その後時刻ｔ８において、ランプ信号レベルが予め定められた値に達するとランプ信号発生器２３０がランプ信号の出力を停止し、またタイミング発生回路はＬＡＴＥＮ＿ＮをＬにする。

【0066】

時刻ｔ９で垂直走査回路２０９は制御信号ＴＸ＿ＡをＨにする。これにより、転送スイッチ２０２ａがオンし、時刻ｔ２からフォトダイオード２０１ａに蓄積された光電荷（Ａ信号）がＦＤ２０３へ転送される。その後、時刻ｔ１０で垂直走査回路２０９は制御信号ＴＸ＿ＡをＬにする。ＦＤ２０３は転送された電荷を電位に変換し、この電位（Ａ信号レベル）が、増幅部２０４および垂直出力線２０７を介して読み出し回路２３５へ出力される。オペアンプ２１３は、垂直出力線２０７に読み出されたＡ信号レベルと、基準電圧Ｖｒｅｆとの差分に基づく電圧を出力する。オペアンプ２１３の反転ゲインは、クランプ容量２１１と、フィードバック容量２１４～２１６のいずれか１つとの比率によって定まる。

【0067】

次に、時刻ｔ１１でランプ信号発生器２３０はランプ信号の出力を開始し、同時にカウンタ２３１はリセット状態からカウントアップを開始する。また、タイミング発生回路１８はＬＡＴＥＮ＿ＳをＨにして、Ｌａｔｃｈ＿Ｓを有効にする。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力がＬからＨに変化する（時刻ｔ１２）。Ｌａｔｃｈ＿Ｓ２２３はＬＡＴＥＮ＿ＳがＨの状態において、比較器２２１の出力がＬからＨに変化すると、その時点でカウンタ２３１が出力しているカウンタ値を記憶する。Ｌａｔｃｈ＿Ｓ２２３が記憶するカウンタ値が、Ａ信号レベルを表すデジタル値（Ａ信号データ）に相当する。なお、ＬＡＴＥＮ＿ＮはＬであるため、Ｌａｔｃｈ＿Ｎ２２２は無効であり、カウント値は記憶しない。その後時刻ｔ１３において、ランプ信号レベルが予め定められた値に達するとランプ信号発生器２３０がランプ信号の出力を停止し、またタイミング発生回路はＬＡＴＥＮ＿ＳをＬにする。

【0068】

その後、時刻ｔ１４～ｔ１５の間、水平走査回路２３２は制御信号ｈｓｒ（ｈ）を順次一定期間ずつＨにする。これにより、各読み出し回路２３５のスイッチ２２６、２２７が一定期間オンし、オフに戻る。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡ信号データは共通出力線２２８、２２９へそれぞれ読み出され、データ出力部２３３に入力される。データ出力部２３３では各読み出し回路２３５から出力されたＡ信号データとＮ信号データについて、Ａ信号データからＮ信号データを減じた値を外部へ出力する。

【0069】

時刻ｔ１６からｔ１７の間、垂直走査回路２０９は制御信号ＴＸ＿ＡおよびＴＸ＿ＢをＨにし、転送スイッチ２０２ａ，２０２ｂをオンにする。これにより、両方のフォトダイオード２０１ａ、２０１ｂから光電荷がＦＤ２０３へ転送される。ＦＤ２０３は転送された電荷を電位に変換し、この電位（Ａ＋Ｂ信号レベル）が、増幅部２０４および垂直出力線２０７を介して読み出し回路２３５へ出力される。オペアンプ２１３は、垂直出力線２０７に読み出されたＡ＋Ｂ信号レベルと、基準電圧Ｖｒｅｆとの差分に基づく電圧を出力する。

【0070】

次に、時刻ｔ１８でランプ信号発生器２３０はランプ信号の出力を開始し、同時にカウンタ２３１はリセット状態からカウントアップを開始する。また、タイミング発生回路１８はＬＡＴＥＮ＿ＳをＨにして、Ｌａｔｃｈ＿Ｓを有効にする。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力がＬからＨに変化する（時刻ｔ１９）。Ｌａｔｃｈ＿Ｓ２２３はＬＡＴＥＮ＿ＳがＨの状態において、比較器２２１の出力がＬからＨに変化すると、その時点でカウンタ２３１が出力しているカウンタ値を記憶する。Ｌａｔｃｈ＿Ｓ２２３が記憶するカウンタ値が、Ａ＋Ｂ信号レベルを表すデジタル値（Ａ＋Ｂ信号データ）に相当する。その後時刻ｔ２０において、ランプ信号レベルが予め定められた値に達するとランプ信号発生器２３０がランプ信号の出力を停止し、またタイミング発生回路はＬＡＴＥＮ＿ＳをＬにする。

【0071】

その後、時刻ｔ２１～ｔ２２の間、水平走査回路２３２は制御信号ｈｓｒ（ｈ）を順次一定期間ずつＨにする。これにより、各読み出し回路２３５のスイッチ２２６、２２７が一定期間オンし、オフに戻る。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡ＋Ｂ信号データは共通出力線２２８、２２９へそれぞれ読み出され、データ出力部２３３に入力される。データ出力部２３３では各読み出し回路２３５から出力されたＡ＋Ｂ信号データとＮ信号データについて、Ａ＋Ｂ信号データからＮ信号データを減じた値を外部へ出力する。

【0072】

時刻ｔ２２でタイミング発生回路１８は制御信号ＲＥＳ＿ＣをＨとし、時刻ｔ２３に垂直走査回路２０９が制御信号ＲＥＳをＨとし、時刻ｔ２４で垂直走査回路２０９が制御信号ＳＥＬをＬにすると、１行分の読み出し動作が完了する。この動作を所定の行数分繰り返すことにより１画面分の像信号を取得する。このように、Ａ信号とＡ＋Ｂ信号とは所定単位ずつ（ここでは１行ずつ）交互に読み出される。

【0073】

本実施形態のカメラ１００は、静止画モードと動画モードを有する。システム制御部５０は、静止画モードが設定されている場合、撮像素子１４を全画素読み出しモードに設定し、全行分の画素データを読み出すように制御する。また、システム制御部５０は、動画モードが設定されていれば、撮像素子１４を間引き読み出しモードに設定し、例えば３行周期（１行読んで２行飛ばす）で画素データを読み出すように制御する。このように、本実施形態では、読み出す行数が静止画モードより動画モードの方が少ない。ただし、静止画モードと動画モードにおける読み出し方法はこれに限定されるものではない。特に、動画モードにおいては行単位ではなく画素単位で間引いて読み出してもよい。

【0074】

このようにして、撮像素子１４による１回の撮影（露光）により、撮像素子１４からは、リセットノイズが除去された第２の視点画像としてのＡ信号と第１の視点画像としてのＡ＋Ｂ信号を読み出すことができる。Ａ信号は撮像画像用または焦点検出用の信号として、Ａ＋Ｂ信号は撮影画像を構成する信号として用いられる。Ａ＋Ｂ信号およびＡ信号はまた、撮像画像用または焦点検出用のＢ信号を生成するためにも用いられる。第１の視点画像（Ａ＋Ｂ信号）と、第２の視点画像（Ａ信号）とは電荷蓄積期間が共通する（電荷蓄積タイミングが等しい）多視点画像である。

【0075】

なお、本実施形態の撮像素子１４は、全画素読み出しモード（第１の読み出しモード）と、間引き読み出しモード（第２の読み出しモード）の２種類の読み出しモードを有する。全画素読み出しモードは全ての有効画素を読み出すモードであり、例えば高精細静止画を得る際に設定される。

【0076】

間引き読み出しモードは、全画素読み出しモードより少ない画素を読み出すモードである。間引き読み出しモードは例えば、動画や、プレビュー画像もしくはライブビュー画像のように、必要な解像度が高精細静止画よりも低い場合や、画像を高速に読み出す必要がある場合に設定される。例えば上述のように行単位で間引いて読み出してもよいし、画像の縦横比を変えないように水平および垂直方向の両方で同じ割合で画素を間引いて読み出してもよい。なお、「間引き」は読み出し自体を行わないことだけでなく、読み出しされた信号を棄てる（無視する）構成や、読み出した複数の信号から１つの信号を生成することによって信号の数を削減する構成も含む。例えば、隣接する複数の画素から読み出した信号を平均して１つの信号を生成することで、ＳＮ比を改善することができる。

【0077】

図５（ａ）は、本実施形態の撮像装置において、撮影レンズ３００の射出瞳面と、撮像素子１４の像面の中央近傍に配置された画素２００（中央画素）の光電変換部２０１ａ，２０１ｂとの共役関係を説明する図である。撮像素子１４内の光電変換部２０１ａ、２０１ｂと撮影レンズ３００の射出瞳面は、マイクロレンズ２０１ｉによって共役関係となるように設計される。そして撮影レンズ３００の射出瞳面は、光量調節用の虹彩絞りが設けられる面とほぼ一致するのが一般的である。

【0078】

一方、本実施形態の撮影レンズ３００は変倍機能を有したズームレンズである。ズームレンズには、変倍操作を行なうと、射出瞳の大きさや、像面から射出瞳までの距離（射出瞳距離）が変化するものがある。図５では、撮影レンズ３００の焦点距離が広角端と望遠端の中央にある状態を示している。この状態における射出瞳距離Ｄｌを標準値として、マイクロレンズの形状や、像高（画面中心からの距離またはＸＹ座標）に応じた偏心パラメータの最適設計がなされる。

【0079】

図５（ａ）において、撮影レンズ３００は、第１レンズ群１０１、第１レンズ群を保持する鏡筒部材１０１ｂ、第３レンズ群１０５、および第３レンズ群を保持する鏡筒部材１０５ｂを有している。また、撮影レンズ３００は、絞り１０２と、絞り開放時の開口径を規定する開口板１０２ａ、および絞り込み時の開口径を調節するための絞り羽根１０２ｂを有している。なお、図５において、撮影レンズ３００を通過する光束の制限部材として作用する１０１ｂ、１０２ａ、１０２ｂ、及び１０５ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口を撮影レンズ３００の射出瞳と定義し、像面からの距離を射出瞳距離Ｄｌとしている。

【0080】

画素２００の最下層には、光電変換部２０１ａおよび２０１ｂが配置される。光電変換部２０１ａ、２０１ｂの上層には、配線層２０１ｅ～２０１ｇ、カラーフィルタ２０１ｈ、及びマイクロレンズ２０１ｉが設けられる。光電変換部２０１ａ、２０１ｂは、マイクロレンズ２０１ｉによって撮影レンズ３００の射出瞳面に投影される。換言すれば、射出瞳が、マイクロレンズ２０１ｉを介して、光電変換部２０１ａ、２０１ｂの表面に投影される。

【0081】

図５（ｂ）は、撮影レンズ３００の射出瞳面上における、光電変換部２０１ａ、２０１ｂの投影像ＥＰ１ａ、ＥＰ１ｂを示している。円ＴＬは、絞り１０２の開口板１０２ａで規定される、画素２００への光束の最大入射範囲を射出瞳面に示したものである。円ＴＬは開口板１０２ａで規定されるため、図では円ＴＬを１０２ａとも記載している。図５は中央画素を示しているため、光束のケラレは光軸に対して対称となり、光電変換部２０１ａ及び２０１ｂは同じ大きさの瞳領域を通過した光束を受光する。そして、円ＴＬには、投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれるため、光束のケラレはほぼ発生しない。従って、光電変換部２０１ａ、２０１ｂで光電変換された信号を加算した場合、円ＴＬ、すなわち射出瞳領域のほぼ全体を通過した光束を光電変換した結果が得られる。光電変換部２０１ａが受光する射出瞳の領域を第１の瞳領域、光電変換部２０１ｂが受光する射出瞳の領域を第２の瞳領域、第１の瞳領域と第２の瞳領域を合わせた領域を第３の瞳領域と呼ぶ。

【0082】

（ライブビュー表示と並行した静止画連写処理）
次に、ライブビュー表示と並行した静止画の連写（以下、ライブビュー連写（ＬＶ連写）と呼ぶ）を実行する際のカメラ１００の動作について説明する。ライブビュー連写時には、
・静止画を取得するための全画素読み出し
・ライブビュー表示用かつ焦点検出用の画像を取得するための間引き読み出し
・静止画用の画像補正処理と現像処理
・焦点検出用の補正処理
・焦点検出処理
・焦点調節処理
・ライブビュー画像の表示処理
・静止画保存処理
を繰り返し実行する必要がある。以下、順を追って説明する。

【0083】

まず、撮像素子１４の読み出しに関する処理について説明する。撮像素子１４に対しては、全画素読み出しモードでの読み出し、リセット動作、間引き読み出しモードでの読み出し、リセット動作を繰り返し実行する。なお、リセット動作は撮像素子１４の各画素の蓄積電荷をリセットする動作であり、読み出しモードを切り換える前に実行する。

【0084】

ライブビュー表示用の画像データを位相差検出方式の焦点検出に用いる場合、間引き読み出しにおいてはＡ＋Ｂ信号と、Ａ信号またはＢ信号、あるいはＡ信号とＢ信号とを読み出す。前者の場合、ＡＦ信号生成部２０ｂはＡ＋Ｂ信号からＡ信号（またはＢ信号）を減じて、Ｂ信号（またはＡ信号）を生成したのち、ＡＦ用の１対の像信号を生成する。後者の場合、第１補正処理部２０ａは、Ａ信号とＢ信号とを加算してＡ＋Ｂ信号を生成したのち、補正処理を適用する。なお、Ａ信号、Ｂ信号、Ａ＋Ｂ信号間での加減算は、特に記載がない限り、同じ画素から読み出された信号間で行う。なお、焦点検出領域を含んでいない画素行については、Ａ＋Ｂ信号だけを読み出すようにしてもよい。

【0085】

（画像補正処理と現像処理）
画像補正処理は画像データを現像処理する前に適用され、例えばオフセット補正、ゲイン補正、ダークシェーディング補正、色シェーディング補正、周辺光量落ち補正などが含まれるが、これらに限定されない。また、これらの補正処理はいずれも公知技術を用いて実施することができ、以下に記載する方法に限定されない。オフセット補正およびゲイン補正は、読み出し回路２３５が有するＡＤ変換器の入出力特性と理想的な入出力特性との差が画像データの値に与える影響を補正する処理である。補正処理部は、例えば補正前の画像データの値に応じたオフセット補正値やゲイン補正値を不揮発性メモリ５６から読み出し、画像データの値に適用することによってオフセット補正およびゲイン補正を実施することができる。

【0086】

ダークシェーディング補正は、撮像素子の特性や配線の影響などに起因する画素ごとの信号レベルのばらつきを補正する処理である。
色シェーディング補正は、撮像素子の特定の色に対する感度が領域によって異なることに起因する色むらを補正する処理である。なお、この色むらの発生量は環境光の種類に依存するため、例えば不揮発性メモリ５６に予め記憶された、光源の色温度に応じた補正値（Ｒ，Ｇ，Ｂの感度のゲイン補正量）を用いて補正する。

【0087】

周辺光量落ち補正は、撮影レンズ、撮影条件、および像高（光軸と画像中心との交点）に応じた補正値を画像データに適用し、画面の四隅が暗くなる現象を軽減する。

【0088】

焦点検出用の画像補正処理は、撮像素子から読み出された画像データから生成された焦点検出用信号（Ａ像信号およびＢ像信号）を、焦点検出処理に用いる前に補正する処理である。ゲイン補正、ダークシェーディング補正、シェーディング補正、周辺光量落ち補正などが含まれてよいが、これらに限定されない。焦点検出処理は後述するように輝度（Ｙ）信号を用い、色情報は不要であるため、画素ごとのオフセット補正や色シェーディング補正は適用しない。

【0089】

ゲイン補正、ダークシェーディング補正、シェーディング補正、周辺光量落ち補正は、上述したとおりであるため説明を省略し、シェーディング補正処理について説明する。シェーディングとは像信号における強度ムラである。光束の一部が撮影光学系（レンズ、絞り等の光学部材やこれらを保持する鏡筒を含む）により遮られると、Ａ像信号とＢ像信号の少なくとも一方に像信号レベルの低下シェーディングが発生し得る。像信号レベルの低下やシェーディングが生じると、Ａ像信号とＢ像信号との位相差検出精度、ひいては焦点検出精度が低下する原因となる。
シェーディングは、射出瞳距離、絞り値、像高に応じて変化する。したがって、シェーディング補正処理は、これら３つのパラメータの離散値の組み合わせについて補正値を記憶し、他の値の組み合わせに対する補正値は補間によって求める。

【0090】

図１Ｂに関して説明したように、本実施形態の画像処理部２０は静止画用の補正処理を適用する第１補正処理部２０ａと、焦点検出用の補正処理を適用する第２補正処理部２０ｄとを有し、補正処理を並列に実行可能である。撮像素子１４からの画像信号の読み出しの開始とともに補正処理を開始することにより、リアルタイムな補正処理が可能である。

【0091】

静止画用の補正処理と焦点検出用の補正処理は第１および第２補正処理部２０ａおよび２０ｄによって並列に実行可能だが、ライブビュー画像に対する補正処理と静止画用の補正処理とはいずれも第１補正処理部２０ａで実行するため、並列処理できない。

【0092】

次に、現像処理部２０ｃが行う現像処理について説明する。現像処理は一般に、ホワイトバランス調整処理およびデモザイキング処理を含む複数の処理の総称であり、厳密な定義はないが、撮像素子から読み出された画素あたり１つの色成分を有する画像データを、標準的な形式の画像データに変換する処理である。

【0093】

ホワイトバランス調整処理は、予め定められた白色領域に含まれる値を有する画素の色成分（例えばＲ，Ｇ，Ｂ）が等しい値になるように、色成分に適用するゲインの値を調整する処理である。また、デモザイキング処理は、各画素データに不足してる色成分の値を補間する処理である。一般的な単板式のカラー撮像素子には複数の色がモザイク状に配置されたカラーフィルタが設けられており、読み出された画像データは画素あたり１つの色成分についての値しか有していない。各画素について、不足している色成分の値を、他の画素の値を用いて補間するのがデモザイク処理である。デモザイク処理により、カラー画像データが得られる。

【0094】

現像処理の一部として、このカラー画像データに対して画質を向上させるための処理を適用することができる。例えば、ノイズ低減処理、彩度強調処理、色相補正処理、エッジ強調処理などが例示できるが、これらに限定されない。さらに、予め定められた形式（例えばＪＰＥＧ、ＴＩＦＦなど）の画像データとするための処理（例えば符号化処理）を適用することができる。

【0095】

（焦点検出処理と焦点調節処理）
次に、ＡＦ部４２が行う焦点検出処理と、システム制御部５０が行う焦点調節処理について説明する。焦点検出処理は、上述したように、ＡＦ信号生成部２０ｂが生成する１対の像信号（Ａ像信号およびＢ像信号）の位相差をＡＦ部４２が検出し、デフォーカス量およびデフォーカス方向に変換する処理である。なお、ＡＦ信号生成部２０ｂは、１対の像信号を、ライブビュー表示用に読み出した画像データから生成するものとするが、静止画用読み出した画像データから生成してもよい。焦点調節処理は、ＡＦ部４２が検出したデフォーカス量およびデフォーカス方向に基づいてシステム制御部５０がレンズ３１１のフォーカスレンズを駆動する処理である。

【0096】

（ライブビュー表示処理）
ライブビュー表示処理は、撮像素子１４から間引き読み出しした画像データに基づいて静止画用の画像補正処理と現像処理とが行われた表示用画像データを、システム制御部５０が画像表示部２８に表示させる処理である。

【0097】

（静止画保存処理）
静止画保存処理では、静止画用に撮像素子から全画素読み出しした画像データをメモリ制御部２２が記録画像用メモリ３０ａに一旦保存する。そして、記録画像用メモリ３０ａに保存された画像データに対して画像処理部２０が上述した静止画用の補正処理、現像処理を適用し、適用後の画像データを記録画像用メモリ３０ａに書き戻す。

【0098】

以上がライブビュー連写時に実行する処理である。本実施形態では、これらの処理の実行手順を改良することにより、連写速度を向上させる。
図６は、ライブビュー連写時の処理シーケンスの例を示すタイムチャートである。なお、便宜上、図６では１枚目の静止画撮影に係る電荷蓄積の開始から、２枚目の静止画撮影に係る電荷蓄積までの処理シーケンスを示しているが、以降も同様の処理シーケンスが繰り返し実行される。

【0099】

また、図６では、上述した各処理のうち、撮像素子の電荷蓄積および読み出し処理、静止画／ライブビュー（ＬＶ）画像補正処理関連、焦点検出／焦点調節関連、ライブビュー表示処理（ＥＶＦ）、静止画保存処理についての処理タイミングについて示している。ここで、現像処理を記載していないのは、現像処理が静止画用の補正処理とほぼ並列に実施され、現像処理だけが行われる時間が他の処理に要する時間に対して無視できる程度であることによる。

【0100】

図６（ａ）は、静止画として単一の視点画像（Ａ＋Ｂ信号）を連写する場合の処理シーケンスを示している。以下、各処理について説明する。
撮像素子関連処理：
システム制御部５０は、撮像素子１４の電荷蓄積期間内にシャッター１２を開閉することにより、ＡＥ処理によって決定されたシャッター速度に応じた期間、撮像素子１４を露光する。その後、全画素読み出しモードが設定されている撮像素子１４から、Ａ＋Ｂ信号が読み出される。読み出しが終了すると、システム制御部５０はシャッター１２を開いたのち、撮像素子１４の各画素をリセットし、さらに撮像素子１４の読み出しモードを間引き読み出しモードに切り換える。その後、システム制御部５０は、シャッター１２を開いた状態で撮像素子１４の露光と読み出しをライン単位で行い、ライブビュー（ＬＶ）表示用兼ＡＦ用の画像データを読み出す。読み出した画像データを用いた焦点検出処理が完了し、焦点調節処理が開始されるまで、システム制御部５０は表示兼ＡＦ用の画像データの取得を繰り返す。焦点調節処理が開始されると、システム制御部５０は撮像素子１４の各画素をリセットし、さらに撮像素子１４の読み出しモードを全画素読み出しモードに切り換えたのち、シャッター１２を閉じる。これにより、撮像素子１４は、２枚目の静止画撮影のための電荷蓄積期間に入る。

【0101】

画像補正処理：
Ａ＋Ｂ信号の読み出しが開始されると、読み出されたＡ＋Ｂ信号の画像データに対し、第１補正処理部２０ａによって静止画用の補正処理を開始する。静止画用の補正処理（および現像処理）が終了し、ＬＶ表示用兼ＡＦ用の画像データの読み出しが開始されると、第１補正処理部２０ａによって補正処理を開始する。

【0102】

焦点検出／焦点調節処理：
ＬＶ表示用兼ＡＦ用の画像データの読み出しが開始されると、ＡＦ信号生成部２０ｂは焦点検出用の１対の信号列を生成する。第２補正処理部２０ｄは、１対の信号列に対して補正処理を適用し、システム制御部５０を通じてＡＦ部４２に供給する。ＡＦ部４２は１対の信号列の位相差を検出し、検出した位相差に基づいてデフォーカス量およびデフォーカス方向を求める（焦点検出）。システム制御部５０はこのデフォーカス量およびデフォーカス方向に基づいて、レンズシステム制御部３４６およびフォーカス制御部３４２を通じてレンズ３１１のフォーカスレンズを駆動する（焦点調節）。

【0103】

ＥＶＦ表示処理：
静止画撮影用の電荷蓄積期間の開始から、少なくとも次に読み出されたＬＶ表示用画像データの現像処理が完了するまでの期間は、ライブビュー表示を更新することができない。そのため、システム制御部５０は、この期間中、直近の表示用画像データを画像表示部２８に継続的に表示する。次に読み出されたＬＶ表示用画像データの現像処理が完了すると、システム制御部５０はその画像データを用いてＬＶ表示を更新する。その後、次の電荷蓄積時間が開始されるまで、システム制御部５０は新たなＬＶ表示用画像データの現像処理が完了するごとに、ＬＶ表示を更新する。

【0104】

画像保存処理：
システム制御部５０は、現像処理が完了したＡ＋Ｂ信号を、記録画像用メモリ３０ａに順次保存する。

【0105】

図６（ｂ）は、静止画として、第１の視点画像（Ａ＋Ｂ信号）と第２の視点画像（Ａ信号（またはＢ信号））の両方を連写する場合の処理シーケンスを示している。この場合、撮像素子１４から１行ごとにＡ信号とＡ＋Ｂ信号とが読み出される。図６（ｂ）の処理シーケンスでは、読み出された信号をそれぞれシステムメモリ３０ｂに一旦保存する。そして、撮像素子１４からの読み出しが完了したのち、第１補正処理部２０ａによりＡ＋Ｂ信号に対する補正処理を開始する。補正処理が完了すると、システム制御部５０が補正済みのＡ＋Ｂ信号を記録画像用メモリ３０ａに保存するとともに、第１補正処理部２０ａがＡ信号に対する補正処理を開始する。Ａ信号に対する補正処理が完了すると、システム制御部５０は補正後のＡ信号を記録画像用メモリ３０ａに保存する。また、図６（ａ）と同様にしてＬＶ表示用兼ＡＦ用の画像データの読み出し、補正処理、焦点検出処理、焦点調節処理を実施する。図６（ｂ）の処理シーケンスでは、Ａ＋Ｂ信号とＡ信号とを全て記録画像用メモリ３０ａに保存してから、Ａ＋Ｂ信号に対する補正処理と、Ａ信号に対する補正処理とを順次実行する。そのため、撮像素子１４が次の静止画撮影のための電荷蓄積期間に入るまでの時間が長くなる。したがって、連写の間隔が長くなる（連写速度が低下する）。

【0106】

そのため、本実施形態では、第１および第２の視点画像を連写する場合の処理シーケンスを変更することにより、図６（ｂ）の処理シーケンスにおける連写速度の低下を抑制する。図６（ｃ）に、本実施形態による、第１および第２の視点画像を連写する場合の処理シーケンスの例を示す。

【0107】

図６（ｃ）の処理シーケンスでは、Ａ＋Ｂ信号とＡ信号とを全て記録画像用メモリ３０ａに保存してから補正処理を開始する代わりに、Ａ＋Ｂ信号については記録画像用メモリ３０ａに保存せずにリアルタイムに補正処理を適用するようにした。一方で、Ａ信号についてはＡ＋Ｂ信号の補正処理が完了するまではシステムメモリ３０ｂに保存し、Ａ＋Ｂ信号の補正処理が完了次第、補正処理を適用する。リアルタイム処理とすることで、第１補正処理部２０ａがＡ＋Ｂ信号の補正処理に占有される期間は、Ａ＋Ｂ信号を一旦メモリに保存してから補正処理する場合よりも長くなる。しかし、リアルタイム処理とすることで、撮像素子１４からの画像データの読み出し終了とほぼ同時に、Ａ＋Ｂ信号に対する補正処理（および現像処理）を完了することができる。

【0108】

このように、図６（ｃ）の処理シーケンスでは、画像データの読み出しと、Ａ＋Ｂ信号の補正処理とを並列に実行することにより、図６（ｂ）のシーケンスよりも連写間隔を短縮できる。しかしながら、図６（ａ）のシーケンスと比較すると依然として連写間隔が長い。

【0109】

図６（ｄ）は図６（ｃ）の処理シーケンスを、Ａ信号の補正処理をＬＶ用兼ＡＦ用画像データの露光・読み出し処理と並列に実行するように変更した、本実施形態の変形例のである。あるいは、図６（ｃ）の処理シーケンスにおいて、Ａ信号の補正処理が完了するのを待たずにＬＶ用兼ＡＦ用画像データの露光・読み出し処理を開始するようにしたものとも言える。これにより、連写間隔を図６（ａ）に示した１視点画像のみの連写時と同等まで短縮できる。

【0110】

ただし、ＬＶ用画像の補正処理はＡ信号の補正処理が完了するまで開始されないので、ＥＶＦ表示の更新回数が減少し、ＬＶ表示の滑らかさが低下する。ただし、ＬＶ用画像を利用するＡＦ処理についてはＡ信号の補正処理に影響を受けずに実施できるため、焦点検出処理および焦点調節処理は図６（ａ）のシーケンスと同様のタイミングで実施できる。

【0111】

図６（ｅ）は、図６（ｄ）の処理シーケンスを、Ａ＋Ｂ信号の補正処理完了後、ＬＶ表示用画像に対する補正処理を行ってからＡ信号の補正処理を行うように変更した、本実施形態の別の変形例である。図６（ｅ）の処理シーケンスでは、ＬＶ表示の更新回数は図６（ｄ）と変わらないものの、更新のタイミングが早くなるため、直前の画像が連続して表示される時間が短縮され、表示の滑らかさが改善される。

【0112】

図６（ｆ）は、図６（ｅ）の処理シーケンスにおいて、
・Ａ＋Ｂ信号をシステムメモリ３０ｂに保存してから補正処理を適用する
・Ａ＋Ｂ信号に対する補正処理は読み出し期間の途中から開始する
・Ａ信号に対する補正処理は、次の読み出し期間の始めから開始する
ように変更した、本実施形態のさらに別の変形例である。

【0113】

図６（ｆ）の処理シーケンスでは、ＬＶ表示用画像データの補正処理が、Ａ信号やＡ＋Ｂ信号といった記録用静止画データの補正処理によって待たされることがない。そのため、図６（ｄ）や（ｅ）の処理シーケンスよりもＬＶ表示の更新回数を増やすことができ、ＬＶ表示の滑らかさをさらに改善することができる。なお、Ａ＋Ｂ信号に対する補正処理を開始するタイミングは、Ａ信号に対する補正処理と重複しないように予め定めておく。

【0114】

図６（ｆ）の処理シーケンスは、連写速度の低下を抑制しつつ、ＬＶ表示の滑らかさも改善できるが、連写終了後に最後の撮影に係るＡ信号の補正処理および保存処理を実行する必要がある。なお、図６（ｆ）の処理シーケンスにおいて、連写に係る全てのＡ信号について、連写中は一時保存しておき、補正処理および保存処理を連写終了後にまとめて実行するようにしてもよい。

【0115】

また、実施形態に係る図６（ｃ）～図６（ｆ）の処理シーケンスでは、静止画については（メカニカル）シャッター１２を用いて全画素同時に露光するものとして説明した。しかし、静止画についてもＬＶ表示用（ＡＦ用）画像と同様に行単位での露光および読み出しとしてもよい。この場合、静止画用に読み出した画像データを焦点検出やＬＶ表示にも用いることができる。

【0116】

多視点画像（ここではＡ信号またはＢ信号とＡ＋Ｂ信号）を連写する場合、本実施形態のカメラ１００は、ライブビュー表示中にシャッタースイッチＳＷ２がＯＮしたことに応じて図６（ｃ）～図６（ｆ）のいずれかの処理シーケンスを実行することができる。また、カメラ１００は、１視点画像（Ａ＋Ｂ信号）を連写する場合には、図６（ａ）の処理シーケンスを実行することができる。連写または単写、連写の場合に多視点画像と１視点画像のどちらを連写するかは、メニュー画面やモード選択ダイヤルなどの操作を通じたユーザ設定に応じて決定されてよい。

【0117】

また、多視点画像を連写する場合に、図６（ｃ）～図６（ｆ）のどの処理シーケンスを実行するかは、固定であってもよいし、切り替え可能であってもよい。例えば、連写速度が重要な場合には、図６（ｄ）～図６（ｆ）のいずれかを実行することができる。また、連写撮影後に最後に撮影した画像のプレビュー表示を行う場合には、図６（ｃ）～図６（ｅ）のいずれかを実行するようにしてもよい。さらに、ＬＶ表示の更新回数を優先する場合には図６（ｃ）または図６（ｆ）の処理シーケンスを実行するようにしてもよい。

【0118】

また、システムメモリ３０ｂの容量が少なく、多視点画像の一方しか保存できない場合には、補正処理をリアルタイムに行う図６（ｃ）～図６（ｅ）のいずれかの処理シーケンスを実行するようにしてもよい。

【0119】

次に図７を用いて本実施形態のカメラ１００の撮影動作について説明する。
図７に示すフローチャートは、例えば静止画撮影のスタンバイ状態で実行することができる。この状態ではライブビュー表示とそれに関連する処理（動画撮影、ライブビュー画像の生成、動画撮影用の焦点検出および焦点調節処理など）が継続的に実行されているものとする。

【0120】

Ｓ５０１でシステム制御部５０は、例えば現在の設定に基づいて、１視点画像の連写を行うのか、多視点画像の連写を行うのかを判定する。システム制御部５０は、１視点画像の連写を行うと判定した場合にはＳ５０２へ、多視点画像の連写を行うと判定した場合にはＳ５０３へ、それぞれ処理を進める。

【0121】

システム制御部５０は、Ｓ５０２では１視点画像の連写（第１の連写撮影モード）を、Ｓ５０３では多視点画像の連写（第２の連写撮影モード）を選択し、処理をＳ５０４へ進める。

【0122】

Ｓ５０４でシステム制御部５０は、シャッタースイッチＳＷ１がＯＮか否かを判定し、ＯＮであればＳ５０５へ処理を進め、ＯＦＦであれば処理をＳ５０１に戻す。
Ｓ５０５でシステム制御部５０は、焦点検出処理を行う。ここでシステム制御部５０は、Ａ＋Ｂ信号しか読み出していなければ、Ａ信号またはＢ信号も読み出すように撮像素子１４の読み出し動作を変更する。そして、システム制御部５０は、ＡＦ信号生成部２０ｂに対し、ライブビュー画像のうち、焦点検出領域に含まれる画像データから位相差検出方式のＡＦ用の１対の像信号を生成するように指示する。ＡＦ信号生成部２０ｂは生成した像信号をＡＦ部４２に供給する。

【0123】

そして、ＡＦ部４２は、像信号の相対位置を変化させながら相関量を算出し、相関が最も大きくなる相対距離を位相差として検出する。さらにＡＦ部４２は検出した位相差に例えば所定のデフォーカス換算係数を乗じてデフォーカス量およびデフォーカス方向を求める。ここで、デフォーカス換算係数は、撮影時の光学条件（絞り、射出瞳距離、レンズ枠情報など）や、焦点検出領域の像高、Ａ像、Ｂ像を構成する信号のサンプリングピッチなどから求めることができる。ＡＦ部４２はデフォーカス量およびデフォーカス方向をシステム制御部５０に通知する。システム制御部５０は、デフォーカス量およびデフォーカス方向に基づいて、レンズ３１１のフォーカスレンズを駆動する。

【0124】

Ｓ５０６でシステム制御部５０は、シャッタースイッチＳＷ２がＯＮか否かを判定し、ＯＮであればＳ５０７へ処理を進め、ＯＦＦであれば処理をＳ５０４に戻す。
Ｓ５０７でシステム制御部５０は、第１の連写モードであれば図６（ａ）の処理シーケンスを、第２の連写モードであれば図６（ｃ）～図６（ｆ）のいずれかの処理シーケンスを、ＳＷ２がＯＦＦになるまで（あるいは連写上限枚数に達するまで）実行する。

【0125】

以上説明したように、本実施形態では、ライブビュー表示を継続しながら多視点画像の連写が可能な撮像装置において、第１および第２視点画像の少なくとも一方に対する補正処理を、第１および第２視点画像の読み出しと並列に実行するようにした。これにより、第１および第２視点画像の読み出しが完了してから補正処理を開始する場合と比較して、連写速度を向上することができる。また、第１および第２視点画像の一方に対する補正処理を、第１および第２視点画像の読み出しと並列に実行する場合、他方に対する補正処理を開始する前にライブビュー表示用の画像の読み出しを実行することで、ライブビュー表示の滑らかさを改善できる。

【0126】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0127】

１４…撮像素子、２０…画像処理部、２８…画像表示部、３０…メモリ、４２…ＡＦ部、５０…システム制御部、１００…カメラ、３００…撮影レンズ、３０６…レンズマウント、３４２…フォーカス制御部、３４６…レンズシステム制御部。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】