(58)【調査した分野】(Int.Cl.,DB名)
受光部を有する複数の撮像画素と前記撮像画素に対して受光部の開口位置がずれている複数の焦点検出画素とを含む撮像素子を有する焦点検出装置を用いた焦点検出方法であって、
前記焦点検出画素からの画素信号の読み出し範囲を設定することと、
フレーム毎に前記撮像画素と前記設定された読み出し範囲の前記焦点検出画素の画素信号とを交互に読み出すことと、
前記焦点検出画素から読み出された画素信号に基づいて焦点検出動作を行うことと、
を具備し、
前記焦点検出画素は、前記撮像画素に対して第1の方向に開口位置がずれている第1の焦点検出画素と、前記撮像画素に対して前記第1の方向と異なる第2の方向に開口位置がずれている第2の焦点検出画素とを含み、
前記読み出すことは、
前記第1の焦点検出画素と前記第2の焦点検出画素とのどちらから画素信号を読み出すかを設定することと、
前記画素信号の設定に基づいて前記第1の焦点検出画素と前記第2の焦点検出画素とのどちらかから画素信号を読み出すことと、
を含むことを特徴とする焦点検出方法。
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の実施形態を説明する。
[第1の実施形態]
まず、本発明の第1の実施形態について説明する。
図1は、本発明の各実施形態に係るカメラシステムの一例の構成を示すブロック図である。ここで、
図1において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。
【0014】
図1に示すカメラシステム1は、交換レンズ100と、カメラ本体200とを有している。交換レンズ100は、カメラ本体200に着脱されるように構成されている。交換レンズ100がカメラ本体200に装着されたときに、交換レンズ100とカメラ本体200とが通信自在に接続される。
【0015】
交換レンズ100は、撮影レンズ102と、駆動部104と、レンズCPU106と、レンズ側記憶部108とを有している。
【0016】
撮影レンズ102は、被写体光束をカメラ本体200の撮像素子208に結像させるための撮影光学系である。この撮影レンズ102は、フォーカスレンズ1021と、絞り1022とを有している。フォーカスレンズ1021は、光軸方向に移動することによって、撮影レンズ102の焦点位置を調節するように構成されている。絞り1022は、フォーカスレンズ1021の光軸上に配置され、その口径が可変に構成されている。絞り1022は、フォーカスレンズ1021を通過した被写体光束の量を制限する。駆動部104は、レンズCPU106からの制御信号に基づいて、フォーカスレンズ1021、絞り1022を駆動する。ここで、撮影レンズ102は、ズームレンズとして構成されていてもよく、この場合、駆動部104はズーム駆動も行う。
【0017】
レンズCPU106は、インターフェイス(I/F)110を介してカメラ本体200のCPU216と通信自在に構成されている。このレンズCPU106は、CPU216の制御に従って駆動部104の制御を行う。また、レンズCPU106は、I/F110を介して絞り1022の絞り値(F値)やレンズ側記憶部108に記憶されているレンズデータといった情報をCPU216に送信することも行う。
【0018】
レンズ側記憶部108は、交換レンズ100に関するレンズデータを記憶している。レンズデータは、例えば撮影レンズ102の焦点距離の情報や収差の情報を含む。
【0019】
カメラ本体200は、メカシャッタ202と、駆動部204と、操作部206と、撮像素子208と、撮像制御回路210と、アナログ処理部212と、アナログデジタル変換部(ADC)214と、CPU216と、画像処理部218と、画像圧縮展開部220と、焦点検出回路222と、表示部224と、バス226と、DRAM228と、本体側記憶部230と、記録媒体232とを有する。
【0020】
メカシャッタ202は、開閉自在に構成され、撮像素子208への被写体からの被写体光束の入射時間(撮像素子208の露光時間)を調節する。メカシャッタ202としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部204は、CPU216からの制御信号に基づいてメカシャッタ202を駆動させる。
【0021】
操作部206は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部206は、各種の操作部材の操作状態を検知し、検知結果を示す信号をCPU216に出力する。
【0022】
撮像素子208は、撮影レンズ102の光軸上であって、メカシャッタ202の後方で、かつ、撮影レンズ102によって被写体光束が結像される位置に配置されている。撮像素子208は、画素を構成する受光部(例えばフォトダイオード)が二次元的に配置されて構成されている。撮像素子208を構成する受光部は、受光量に応じた電荷を生成する。受光部で発生した電荷は、各受光部に接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷は、撮像制御回路210からの制御信号に従って画素信号として読み出される。ここで、本実施形態においては、行単位で画素信号が読み出され得るように撮像素子208が構成されている。
【0023】
また、本実施形態における撮像素子208は、記録や表示のための画像を取得するための撮像画素と、焦点検出をするための焦点検出画素とを画素として有している。焦点検出画素は、撮像画素に対して受光部の開口位置がずれている画素である。
図2は、一例の撮像素子208の焦点検出画素の配置を示した図である。一例の撮像素子208のカラーフィルタ配列は、ベイヤ配列である。ベイヤ配列は、R、Gr、Gb、Bの4画素からなるフィルタ単位を2次元方向に配列することによって構成されている。
【0024】
図2の例では、特定のGr画素の位置に水平画素列が形成されている。水平画素列は、焦点検出画素208r及び208lを有する。焦点検出画素208r(図ではFrと表記)は、左半面の領域が遮光され、右半面の領域に開口が形成された画素である。焦点検出画素208l(図ではFlと表記)は、右半面の領域が遮光され、左半面の領域に開口が形成された画素である。1つの水平画素列で見ると、焦点検出画素208rと焦点検出画素208lとは、水平方向及び垂直方向に4画素ピッチだけ離れて配置されている。また、奇数行の水平画素列と偶数行の水平画素列とは2画素ピッチだけ離れて配置されている。
【0025】
また、
図2に示すように、特定のB画素の位置に垂直画素列が形成されている。垂直画素列は、焦点検出画素208t及び208bを有する。焦点検出画素208t(図ではFtと表記)は、下半面の領域が遮光され、上半面の領域に開口が形成された画素である。焦点検出画素208b(図ではFbと表記)は、上半面の領域が遮光され、下半面の領域に開口が形成された画素である。1つの垂直画素列内において、焦点検出画素208tと焦点検出画素208bとは水平方向及び垂直方向に4画素ピッチだけ離れて配置されている。また、奇数列の垂直画素列と偶数列の垂直画素列は2画素ピッチだけ離れて配置されている。すなわち、
図2の例では、垂直画素列は、水平画素列を90度回転させた位置に配置されている。
【0026】
読み出し部として機能する撮像制御回路210は、撮像素子208からの画素信号の読み出しの設定に従って撮像素子208の露光及び撮像素子208からの画素信号の読み出しを制御する。この撮像制御回路210は、レジスタ210aと、210bと、レジスタ210cとを有している。レジスタ210aは、レジスタ210bとともに読み出し範囲設定部として機能するものであって、後で説明するAF用露光の際の焦点検出画素からの画素信号の読み出し範囲の開始位置を設定するためのレジスタである。また、レジスタ210bは、読み出し範囲の幅を設定するためのレジスタである。レジスタ210bは、水平画素列用のレジスタと垂直画素列用のレジスタとを有しており、読み出し画素設定部としても機能する。さらに、レジスタ210cは、フレーム設定部として機能するものであって、焦点検出画素から画素信号を読み出すフレームを設定するためのレジスタである。これらのレジスタの詳細については後で説明する。
【0027】
アナログ処理部212は、撮像制御回路210の制御に従って撮像素子208から読み出された画素信号に対して増幅処理等のアナログ処理を行う。ADC214は、アナログ処理部212から出力された画素信号を、デジタル形式の画素信号(画素データ)に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。
【0028】
CPU216は、本体側記憶部230に記憶されているプログラムに従ってカメラシステム1の全体制御を行う。画像処理部218は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部218は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部218は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部218は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このライブビュー表示時には、画像処理部218は、焦点検出画素からの画素データに対する補正処理も行う。前述したように、焦点検出画素の一部の領域は遮光されている。したがって、焦点検出画素では光量の低下が生じる。画像処理部218は、この光量の低下を補正する。この補正は、例えば焦点検出画素からの画素データに対して光量低下に応じたゲインをかける処理、焦点検出画素の周囲の同色の撮像画素の画素データを用いた補間処理を含む。
【0029】
画像圧縮展開部220は、画像データの記録時には、画像処理部218で生成された画像データ(静止画像データ又は動画像データ)を圧縮する。また、画像データの再生時には、記録媒体232に圧縮状態で記録された画像データを伸張する。
【0030】
焦点検出回路222は、焦点検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いてフォーカスレンズ1021の合焦位置に対するピントずれ方向及びピントずれ量を算出する。すなわち、焦点検出回路222は、水平画素列に含まれるそれぞれの焦点検出画素208rから取得される画素データとそれぞれの焦点検出画素208lから取得される画素データとの間の位相差に従ってフォーカスレンズ1021の合焦位置に対するピントずれ方向及びピントずれ量を算出する。また、焦点検出回路222は、垂直画素列に含まれるそれぞれの焦点検出画素208tから取得される画素データとそれぞれの焦点検出画素208bから取得される画素データとの間の位相差に従ってフォーカスレンズ1021の合焦位置に対するピントずれ方向及びピントずれ量を算出する。
【0031】
表示部224は、例えば液晶ディスプレイや有機ELディスプレイといった表示部であって、例えばカメラ本体200の背面に配置される。この表示部224は、CPU216の制御に従って画像を表示する。表示部224は、ライブビュー表示や記録済み画像の表示等に使用される。
【0032】
バス226は、ADC214、CPU216、画像処理部218、画像圧縮展開部220、焦点検出回路222、DRAM228、本体側記憶部230、記録媒体232に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。
【0033】
DRAM228は、電気的に書き換え可能なメモリであり、前述した撮像データ(画素データ)、記録用画像データ、表示用画像データ、CPU216における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてSDRAMが用いられてもよい。
【0034】
本体側記憶部230は、CPU216で使用されるプログラム、カメラ本体200の調整値等の各種データを記憶している。
【0035】
記録媒体232は、カメラ本体200に内蔵されるか又は装填されるように構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。
【0036】
以下、本実施形態のカメラシステム1におけるAF動作を説明する。
図3は、カメラシステム1におけるAF動作を示すフローチャートである。
図3に示すフローチャートの処理は、本体側記憶部230に記憶されているプログラムに基づいてCPU216によって実行される。
【0037】
図3のフローチャートの処理は、例えばカメラ本体200の電源がオンされると開始される。ステップS101において、CPU216は、ライブビュー用露光を開始させる。ライブビュー用露光は、ライブビュー表示用の撮像データを取得するための露光処理である。ライブビュー用露光において、CPU216は、撮像制御回路210に対して制御信号を送信する。制御信号を受けて、撮像制御回路210は、撮像素子208の露光を開始させる。露光終了後、撮像制御回路210は、撮像素子208の各画素からの画素信号を混合して又は間引いて読み出す。この結果、DRAM228には、撮像データが記憶される。
【0038】
ステップS102において、画像処理部218は、焦点検出画素からの画素データに対して補正処理を行う。この補正処理により、焦点検出画素からの画素データを撮像画素からの画素データと同様に使用することが可能になる。この補正処理の後、画像処理部218は、表示用画像データの生成に必要なその他の処理を行って表示用画像データを生成する。
【0039】
ステップS103において、CPU216は、ライブビュー表示を行う。すなわち、CPU216は、画像処理部218で生成された表示用画像データに基づいて表示部224にライブビュー画像を表示させる。
【0040】
ステップS104において、CPU216は、焦点検出エリアを設定する。焦点検出エリアは、例えばユーザの操作部206の操作によって設定される。なお、本実施形態における焦点検出エリアの設定モードは、シングルターゲットモード、グループターゲットモード、オールターゲットモードを含む。シングルターゲットは、画像内の任意の1エリアを焦点検出の対象とするモードである。グループターゲットモードは、画像内の任意の隣接する複数エリアを焦点検出の対象とするモードである。オールターゲットモードは、画像内の全エリアを焦点検出の対象とするモードである。ここでの1つのエリアは、隣接する複数の画素で構成される。
【0041】
ステップS105において、CPU216は、ユーザによって1stレリーズ操作がなされたか否かを判定する。1stレリーズ操作は、例えばレリーズ釦の半押し操作である。ステップS105において1stレリーズ操作がなされていないと判定された場合には、処理はステップS101に戻る。ステップS105において1stレリーズ操作がなされたと判定された場合には、処理はステップS106に移行する。
【0042】
ステップS106において、CPU216は、AF用露光を実行する。AF用露光は、焦点検出用の画素データを取得するための露光処理である。本実施形態においては、1フレーム毎にライブビュー用露光とAF用露光とが交互に行われる。そして、本実施形態におけるAF用露光では、焦点検出エリアの設定に従って画素信号の読み出し範囲が設定される。本実施形態は、読み出し範囲に応じて焦点検出画素からの画素信号の読み出しを制限することによって高速のライブビュー表示への対応を可能にする。ここでの高速のライブビュー表示とは、一般的な表示のフレームレートである60fpsよりも高速の、例えば120fpsのライブビュー表示のことである。なお、AF用露光処理については後で詳しく説明する。
【0043】
ステップS107において、焦点検出回路222は、焦点検出画素から取得された画素データを用いて公知の位相差方式を用いてフォーカスレンズ1021の合焦位置に対するピントずれ方向及びピントずれ量を算出する。
【0044】
ステップS108において、CPU216は、フォーカスレンズ1021が合焦状態であるか否かを判定する。合焦状態であるか否かの判定は、例えばピントずれ量が予め定められた許容範囲内であるか否かを判定することによって行われる。ステップS108において、フォーカスレンズ1021が合焦状態であると判定されていない場合には、処理はステップS109に移行する。ステップS108において、フォーカスレンズ1021が合焦状態であると判定された場合には、処理はステップS110に移行する。
【0045】
ステップS109において、CPU216は、ピントずれ方向及びピントずれ量に応じてフォーカスレンズ1021が駆動されるよう、レンズCPU106に対して指示を送る。この指示を受けて、レンズCPU106は、駆動部104を介してフォーカスレンズ1021を駆動する。その後、処理は、ステップS101に戻る。
【0046】
ステップS110において、CPU216は、ユーザによって2ndレリーズ操作がなされたか否かを判定する。2ndレリーズ操作は、例えばレリーズ釦の全押し操作である。ステップS110において2ndレリーズ操作がなされていないと判定された場合には、処理はステップS101に戻る。ステップS110において2ndレリーズ操作がなされたと判定された場合には、処理はステップS111に移行する。
【0047】
ステップS111において、CPU216は、本露光を開始させる。本露光は、記録用の撮像データを取得するための露光処理である。本露光において、CPU216は、撮像制御回路210に対して制御信号を送信する。制御信号を受けて、撮像制御回路210は、撮像素子208の露光を開始させる。露光終了後、撮像制御回路210は、撮像素子208の各画素からの画素信号を読み出す。この結果、DRAM228には、撮像データが記憶される。この後、画像処理部218は、焦点検出画素の画素出力の補正及びその他の記録用画像データを生成するための処理を行う。続いて画像圧縮展開部220は、記録用画像データを圧縮する。その後、CPU216は、圧縮された記録用画像データを画像ファイルとして記録媒体232に記録する。
【0048】
ステップS112において、CPU216は、カメラ本体200の電源をオフするか否かを判定する。例えば、ユーザの操作部206の操作によって電源のオフが指示された場合又は所定時間のユーザの操作部206の操作がない場合には電源をオフすると判定される。ステップS112において、カメラ本体200の電源をオフしないと判定された場合には、処理はステップS101に戻る。ステップS112において、カメラ本体200の電源をオフすると判定された場合には、処理は終了する。
【0049】
以下、本実施形態におけるAF用露光について説明する。本実施形態のAF用露光の説明に先立ち、一般的な表示のフレームレートである60fpsの場合のAF用露光について
図4に示す。
図4に示すように、AF用露光として焦点検出画素を含む全画素の画素信号を読み出す動作とライブビュー用露光の動作により、フレーム1周期の全域を使用しており、フレームレートを高速化することは困難である。本実施形態においては、AF用露光における画素信号の読み出し時間を短縮するために、ユーザによって設定された焦点検出エリアに応じて画素信号の読み出し範囲が設定される。この読み出し範囲は、開始位置SHと幅WRL、WTBとによって設定される。開始位置は、読み出し範囲の開始位置であって、画像の上端を基準とした位置で表される。以下の例では、開始位置は、上端で0、下端で100の値を取るものとする。また、幅WRLは、水平画素列についての読み出し範囲の垂直方向幅である。さらに、幅WTBは、垂直画素列についての読み出し範囲の垂直方向幅である。以下の例では、幅WRL及びWTBは、画像の垂直方向幅の百分率で表されるものとする。この場合、幅の0%は画素信号の読み出しがないことを意味し、100%は全範囲から画素信号が読み出されることを意味している。
【0050】
シングルターゲットモード又はグループターゲットモードの場合の読み出し範囲の設定手法について説明する。前述したように、シングルターゲットモードでは、画像内の1エリアのみが焦点検出エリアとして設定される。また、グループターゲットモードでは、画像内の隣接する複数のエリア(例えば9エリア)からなるエリアグループが焦点検出エリアとして設定される。そして、シングルターゲットモード又はグループターゲットモードでは、設定された焦点検出エリアから画素信号を読み出すことができれば焦点検出を行うことができる。このため、シングルターゲットモード又はグループターゲットモードの場合、読み出し範囲は、設定された焦点検出エリアを含み、この焦点検出エリアと略同じ幅を有する範囲に設定される。
【0051】
図5は、シングルターゲットモードの場合の読み出し範囲RAの設定例である。シングルターゲットモードの場合、CPU216は、撮像制御回路210のレジスタ210aに開始位置SHとして焦点検出エリアTAの上端位置を設定する。また、CPU216は、撮像制御回路210のレジスタ210bに幅WRL及びWTBとして焦点検出エリアTAの垂直方向幅を設定する。さらに、CPU216は、2フレーム毎に焦点検出画素から焦点検出用の画素信号を読み出すように撮像制御回路210のレジスタ210cに設定する。このような設定がレジスタ210a、210b、210cのそれぞれになされたとき、撮像制御回路210は、2フレーム毎に、すなわちAF用露光処理のたびに、読み出し範囲RAの水平画素列の各焦点検出画素及び垂直画素列の各焦点検出画素から画素信号を読み出す。
【0052】
図6は、グループターゲットモードの場合の読み出し範囲RAの設定例である。グループターゲットモードの場合、CPU216は、撮像制御回路210のレジスタ210aに開始位置SHとして焦点検出エリアTAの上端位置(複数あるエリアの上端)を設定する。また、CPU216は、撮像制御回路210のレジスタ210bに幅WRLと幅WTBとして焦点検出エリアTAの垂直方向幅(複数あるエリアの上端から下端までの距離)を設定する。さらに、CPU216は、2フレーム毎に焦点検出画素から焦点検出用の画素信号を読み出すように撮像制御回路210のレジスタ210cに設定する。このような設定がレジスタ210a、210b、210cのそれぞれになされたとき、撮像制御回路210は、2フレーム毎に、すなわちAF用露光処理のたびに、読み出し範囲RAの水平画素列の各焦点検出画素及び垂直画素列の各焦点検出画素から画素信号を読み出す。
【0053】
シングルターゲットモード又はグループターゲットモードの場合には、画素信号の読み出し範囲は、一部のエリアのみになる。したがって、画素信号の読み出し時間は大幅に短縮される。画素信号の読み出し時間が短縮されるので、高速のライブビュー表示と焦点検出とを両立させることが可能になる。さらに、設定された焦点検出エリアにおいては、水平画素列と垂直画素列の両方を用いて焦点検出が行われる。したがって、高精度の焦点検出を行うことが可能である。
【0054】
次に、オールターゲットモードの場合の読み出し範囲の設定手法について説明する。前述したように、オールターゲットモードでは、画像内の全エリアを含むように焦点検出エリアが設定されるので、シングルターゲットモード又はグループターゲットモードと同様の手法で読み出し範囲を制限することはできない。したがって、オールターゲットモードでは、1stレリーズ操作時の撮影シーンに応じて、水平画素列と垂直画素列で個別に読み出し範囲の幅が設定される。
【0055】
まず、AF用露光の直前の撮影シーンが安定して縦線を検出できる被写体を含む撮影シーンであることが判定された場合には、水平画素列を用いたほうが高精度の焦点検出をすることができると考えられる。したがって、
図7(a)に示すように読み出し範囲が設定される。すなわち、CPU216は、撮像制御回路210のレジスタ210aに開始位置SHとして0(画像の上端)を設定する。また、CPU216は、撮像制御回路210のレジスタ210bに幅WRLとして100%を設定し、幅WTBとして0%を設定する。さらに、CPU216は、2フレーム毎に焦点検出画素から焦点検出用の画素信号を読み出すように撮像制御回路210のレジスタ210cに設定する。このような設定がレジスタ210a、210b、210cのそれぞれになされたとき、撮像制御回路210は、2フレーム毎に、すなわちAF用露光処理のたびに、読み出し範囲RAの水平画素列の各焦点検出画素のみから画素信号を読み出す。
【0056】
また、AF用露光の直前の撮影シーンが安定して横線を検出できる被写体を含む撮影シーンであることが判定された場合には、垂直画素列を用いたほうが高精度の焦点検出をすることができると考えられる。したがって、
図7(b)に示すように読み出し範囲が設定される。すなわち、CPU216は、撮像制御回路210のレジスタ210aに開始位置SHとして0(画像の上端)を設定する。また、CPU216は、撮像制御回路210のレジスタ210bに幅WRLとして0%を設定し、幅WTBとして100%を設定する。さらに、CPU216は、2フレーム毎に焦点検出画素から焦点検出用の画素信号を読み出すように撮像制御回路210のレジスタ210cに設定する。このような設定がレジスタ210a、210b、210cのそれぞれになされたとき、撮像制御回路210は、2フレーム毎に、すなわちAF用露光処理のたびに、読み出し範囲RAの垂直画素列の各焦点検出画素のみから画素信号を読み出す。
【0057】
さらに、AF用露光の直前の撮影シーンが縦線と横線の何れも安定して検出できない、すなわち被写体の条件が刻々と変化していると考えられる撮影シーンであることが判定された場合には、被写体が存在すると考えられるエリアの周辺だけに読み出し範囲RAが設定される。例えば、直前のフレームにおいて合焦状態であると判定されたエリアがあった場合には、そのエリアを含むように読み出し範囲が設定される。また、追尾の結果が得られている場合には、追尾被写体のエリアを含むように読み出し範囲の開始位置及び幅が設定される。すなわち、CPU216は、撮像制御回路210のレジスタ210aに開始位置SHとして被写体エリアの上端位置を設定する。また、CPU216は、撮像制御回路210のレジスタ210bに幅WRLとして50%を設定し、幅WTBとして50%を設定する。さらに、CPU216は、2フレーム毎に焦点検出画素から焦点検出用の画素信号を読み出すように撮像制御回路210のレジスタ210cに設定する。
図7(c)は、例えば画面中央に被写体が存在したと考えられる場合の読み出し範囲RAの設定例である。このような設定がレジスタ210a、210b、210cのそれぞれになされたとき、撮像制御回路210は、2フレーム毎に、すなわちAF用露光処理のたびに、読み出し範囲RAの水平画素列及び垂直画素列を含む全画素の画素信号を読み出す。
【0058】
図8は、オールターゲットモード中の露光処理における画素信号の読み出しのタイミングチャートである。
図8の横軸は経過時間を示している。また、
図8の縦軸は画素信号の読み出し位置を示している。さらに、
図8の「LV読み出し」は、ライブビュー用露光処理における画素信号の読み出しのタイミングを示している。「RL読み出し」は、AF用露光処理におけるRL全画素読み出しの場合の画素信号の読み出しのタイミングを示している。TB読み出しは、AF用露光処理におけるTB全画素読み出しに場合の画素信号の読み出しのタイミングを示している。RLTB読み出しは、AF用露光処理におけるRLTB全画素読み出しの場合の画素信号の読み出しのタイミングを示している。
【0059】
前述したように、ライブビュー用露光処理の画素信号の読み出しとAF用露光処理の読み出しとは1フレーム毎に交互に行われる。撮像制御回路210は、1フレーム毎に入力される同期信号に同期して露光動作及び画素信号の読み出しを開始する。すなわち、露光動作の後、撮像制御回路210は、読み出すべき画素の画素信号を1行ずつ読み出す。
【0060】
RL全画素読み出しの場合、撮像制御回路210は、水平画素列の焦点検出画素のみから画素信号を読み出す。この場合、読み出し時間は、全ての焦点検出画素から画素信号を読み出す場合にかかる時間の半分になる。これにより、ライブビュー表示の合間に焦点検出画素からの画素信号を読み出すことが可能になり、高速のライブビュー表示と焦点検出とを両立させることが可能になる。
【0061】
TB全画素読み出しの場合、撮像制御回路210は、垂直画素列の焦点検出画素のみから画素信号を読み出す。この場合、RL全画素読み出しの場合と同様、読み出し時間は、全ての焦点検出画素から画素信号を読み出す場合にかかる時間の半分になる。これにより、ライブビュー表示の合間に焦点検出画素からの画素信号を読み出すことが可能になり、高速のライブビュー表示と焦点検出とを両立させることが可能になる。
【0062】
RLTB全画素読み出しの場合、撮像制御回路210は、焦点検出画素から画素信号を読み出す際に、水平画素列及び垂直画素列の画素信号を読み出すため、焦点検出に必要な範囲の全行を読み出す。この場合、全ての焦点検出画素から画素信号を読み出すと、同じ範囲でのRL全画素読み出しまたはTB全画素読み出しと比べて、読み出し時間は2倍かかることとなる。RL全画素読出しまたはTB全画素読出しと同じ読み出し時間で、RL画素とTB画素の両方の画素列を読み出すために、範囲を制限して読み出す。これにより、ライブビュー表示の合間に焦点検出画素からの画素信号を読み出すことが可能になり、高速のライブビュー表示と焦点検出とを両立させることが可能になる。
【0063】
ここで、RL全画素読み出しは、縦線を検出できる被写体に対して有効であり、横線のみを検出できる被写体に対しては有効でない。逆に、TB全画素読み出しは、横線を検出できる被写体に対して有効であり、縦線のみを検出できる被写体に対しては有効でない。したがって、RL全画素読み出しで焦点検出できない場合にはTB全画素読み出しに切り替えたり、TB全画素読み出しで焦点検出できない場合にはRL全画素読み出しに切り替えたりすることが有効である。このような切り替えもレジスタ210a及び210bの設定を変更するだけで行うことが可能である。さらに、このような切り替えの際に、RLTB全画素読み出しの場合と同様に被写体が存在していると考えられるエリア付近にのみ読み出し範囲を限定しても良い。
図8では、RL全画素読み出しからTB全画素読み出しへの切り替えの例が示されており、この例では切り替えの際に幅WRLと幅WTBとが50%に設定された例が示されている。なお、より単純な手法として、RL全画素読み出しとTB全画素読み出しとを交互に行うように撮像制御回路210が構成されていても良い。
【0064】
以上説明したように本実施形態によれば、焦点検出エリアの大きさに応じて焦点検出画素からの画素信号の読み出し範囲を制限するようにしている。これにより、画素信号の読み出し時間を短縮させて、高速のライブビュー表示と焦点検出とを両立させることが可能である。
【0065】
また、本実施形態では、被写体の条件に応じて水平画素列と垂直画素列の何れかのみを読み出したり、それぞれの読み出し範囲を制限したりしている。これにより、読み出し範囲を余り狭くできないような場合であっても、画素信号の読み出し時間を短縮させて、高速のライブビュー表示と焦点検出とを両立させることが可能である。
【0066】
なお、本実施形態では、読み出し範囲の設定を常に行う例が示されている。これに対し、例えば高速のライブビュー表示が不要な場合には読み出し範囲の設定が行われないようにしても良い。
【0067】
また、本実施形態では、読み出し範囲の垂直方向についての開始位置と幅とが設定される。これは、撮像素子208が行単位で画素信号を読み出すように構成されているためである。撮像素子208が画素単位で画素信号を読み出すように構成されている場合には、垂直方向だけでなく、水平方向についての開始位置と幅とを設定することによって読み出し範囲をより制限するようにしても良い。
【0068】
さらに、本実施形態では、レジスタ210a、レジスタ210b、210cは、撮像制御回路210に設けられている。これに対し、レジスタ210a、レジスタ210b、210cは、例えば撮像素子208に設けられていても良い。
【0069】
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。第2の実施形態は、ライブビューHDR処理の対しての適用例である。ライブビューHDR処理とは、露光時間の短い(暗い)画像と露光時間の長い(明るい)画像とを合成することにより得られる広ダイナミックレンジの画像をライブビュー画像として表示させる技術である。
【0070】
図9は、ライブビューHDR処理中の露光処理における画素信号の読み出しのタイミングチャートである。なお、
図9は、RL全画素読み出しの例を示している。しかしながら、
図9で説明する手法は、TB全画素読み出し及びRLTB全画素読み出しについても適用可能である。また、
図9で説明する手法は、焦点検出エリアの設定がシングルターゲットモード又はグループターゲットモードの場合にも適用可能である。
【0071】
まず、1つ目の手法について説明する。第1の実施形態では、2フレームに1回だけ焦点検出画素から焦点検出用の画素信号が読み出される。これに対し、第2の実施形態の1つ目の手法では、4フレームに1回だけ、焦点検出用の画素信号を読み出す。すなわち、CPU216は、4フレーム毎に焦点検出画素から焦点検出用の画素信号を読み出すように撮像制御回路210のレジスタ210cに設定する。この場合、撮像制御回路210は、4フレームに1回だけ焦点検出画素から焦点検出用の画素信号を読み出す。画素信号の読み出しを行わないフレームを設けることで、長時間露光の際の十分な露光時間を確保することが可能である。
【0072】
次に、2つ目の手法について説明する。1つ目の手法は、焦点検出画素の画素信号を読み出さないフレームを設けるようにしている。これに対し、第2の実施形態の2つ目の手法では、長時間ライブビュー用露光の直前に最小限の焦点検出画素からの画素信号の読み出しの時間を確保する。すなわち、2つ目の手法では、第1の実施形態と同様、CPU216は、2フレーム毎に焦点検出画素から焦点検出用の画素信号を読み出すように撮像制御回路210のレジスタ210cに設定する。この場合、撮像制御回路210は、2フレームに1回だけ焦点検出画素から焦点検出用の画素信号を読み出す。ただし、長時間露光の直前のタイミングでは、撮像制御回路210は、最小限の焦点検出用の画素信号の読み出しのみを行う。長時間露光の直前の読み出し時間を最小限にすることにより、この直後から長時間露光を開始することができる。また、読み出しを常に行うようにすることで撮像制御回路210の処理の複雑化を抑制することができる。
【0073】
[第3の実施形態]
次に、本発明の第3の実施形態について説明する。第3の実施形態は、画素信号の読み出しの際の電力削減を図るための手法である。
【0074】
図10は、電力削減露光処理における画素信号の読み出しのタイミングチャートである。なお、
図10は、RL全画素読み出しの例を示している。しかしながら、
図10で説明する手法は、TB全画素読み出し及びRLTB全画素読み出しについても適用可能である。また、
図10で説明する手法は、焦点検出エリアの設定がシングルターゲットモード又はグループターゲットモードの場合にも適用可能である。
【0075】
本実施形態では、電力削減のために焦点検出画素から画素信号を読み出さないフレームである無効フレームが設けられている。例えば、CPU216は、6フレームのうちの2フレームだけ焦点検出画素から焦点検出用の画素信号を読み出すように撮像制御回路210のレジスタ210cに設定する。この無効フレームでは、撮像制御回路210は、焦点検出用の画素信号の読み出しを行わない。このような無効フレームを設けることにより、電力は、おおよそ4/6に削減される。
【0076】
以上説明したように本実施形態によれば、無効フレームを設けることにより、電力削減を図ることが可能である。
【0077】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【0078】
また、上述した実施形態による各処理は、CPU216に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード(ROMカード、RAMカード等)、磁気ディスク(ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、CPU216は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【0079】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。