特許 7596476 焦点検出装置、撮像装置および焦点検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-29

(45)【発行日】2024-12-09

(54)【発明の名称】焦点検出装置、撮像装置および焦点検出方法

(51)【国際特許分類】

   G02B 7/34 20210101AFI20241202BHJP

   G03B 13/36 20210101ALI20241202BHJP

   H04N 23/67 20230101ALI20241202BHJP

【ＦＩ】

G02B7/34

G03B13/36

H04N23/67 100

【請求項の数】 10

(21)【出願番号】P 2023169013

(22)【出願日】2023-09-29

(62)【分割の表示】P 2019015403の分割

【原出願日】2019-01-31

(65)【公開番号】P2023171446

(43)【公開日】2023-12-01

【審査請求日】2023-10-18

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】廣瀬 稔

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開平０２－０９３４１９（ＪＰ，Ａ）

【文献】国際公開第２０１７／１３５２７６（ＷＯ，Ａ１）

【文献】特開２０１０－０１４８８３（ＪＰ，Ａ）

【文献】特開２０１６－２２４２７７（ＪＰ，Ａ）

【文献】国際公開第２０１３／１６４９３７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０１３１８６２（ＵＳ，Ａ１）

【文献】特開２０１８－１９７８４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８－７／４０

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ２３／６７

(57)【特許請求の範囲】

【請求項1】

撮像画面のうち焦点検出領域で捉えられた被写体に対し位相差検出方式で焦点検出を行う焦点検出装置であって、
前記焦点検出領域として、第１の焦点検出領域と、該第１の焦点検出領域およびその周囲を含む第２の焦点検出領域とを選択する選択手段と、
前記選択手段により選択された前記焦点検出領域からの焦点検出信号を用いて前記焦点検出を行う焦点検出手段と、
前記撮像画面内で移動する前記被写体を前記第１の焦点検出領域で捉え続けることが可能か否かに関わる第１の情報を取得する情報取得手段とを有し、
前記選択手段は、
前記第１の情報が前記被写体を前記第１の焦点検出領域で捉え続けることが可能であることを示す場合は前記第１の焦点検出領域を選択し、
前記第１の情報が前記被写体を前記第１の焦点検出領域で捉え続けることが可能でないことを示す場合において、前記第１の焦点検出領域での前記焦点検出の結果の信頼度が所定信頼度より高いときは前記第１の焦点検出領域を選択し、前記信頼度が前記所定信頼度より低いときは前記第２の焦点検出領域を選択し、
前記焦点検出手段は、前記第１の焦点検出領域が選択された場合は、被写体像を撮像する撮像素子のうち第１の画素領域から出力された信号を用いて生成された前記焦点検出信号を取得し、前記第２の焦点検出領域が選択された場合は、前記撮像素子のうち前記第１の画素領域およびその周囲を含む第２の画素領域から出力された信号を用いて生成された前記焦点検出信号を取得することを特徴とする焦点検出装置。

【請求項2】

前記第１の情報は、所定時間内での前記被写体の移動量が所定量より小さいか大きいかを示す情報であり、
前記移動量が前記所定量より小さい場合は前記被写体を前記第１の焦点検出領域で捉え続けることが可能であることを示し、前記移動量が前記所定量より大きい場合は前記被写体を前記第１の焦点検出領域で捉え続けることが可能でないことを示すことを特徴とする請求項１に記載の焦点検出装置。

【請求項3】

前記第１の情報は、振れセンサにより検出される、前記撮像素子を備えた撮像装置の振れ量が所定量より小さいか大きいかを示す情報であり、
前記振れ量が前記所定量より小さい場合は前記被写体を前記第１の焦点検出領域で捉え続けることが可能であることを示し、前記振れ量が前記所定量より大きい場合は前記被写体を前記第１の焦点検出領域で捉え続けることが可能でないことを示すことを特徴とする請求項１に記載の焦点検出装置。

【請求項4】

前記第１の情報は、撮像光学系の焦点距離が所定距離より短いか長いかを示す情報であり、
前記焦点距離が前記所定距離より短い場合は前記被写体を前記第１の焦点検出領域で捉え続けることが可能であることを示し、前記焦点距離が前記所定距離より長い場合は前記被写体を前記第１の焦点検出領域で捉え続けることが可能でないことを示すことを特徴とする請求項１に記載の焦点検出装置。

【請求項5】

前記信頼度は、前記第１の焦点検出領域での前記焦点検出の結果が連続して変化している場合に高くなり、前記第１の焦点検出領域での前記焦点検出の結果が不連続に変化している場合に低くなることを特徴とする請求項１に記載の焦点検出装置。

【請求項6】

請求項１から５のいずれか１つに記載の焦点検出装置と、
前記焦点検出装置による前記焦点検出の結果を用いて焦点調節制御を行う制御手段とを有することを特徴とする焦点調節装置。

【請求項7】

過去複数回の前記焦点検出の結果を用いて、第１の将来時刻での合焦像面位置を算出する予測手段を有し、
前記制御手段は、前記第１の将来時刻において実際の像面位置が前記合焦像面位置に移動するように焦点調節制御を行うことを特徴とする請求項６に記載の焦点調節装置。

【請求項8】

被写体像を撮像する撮像素子と、
請求項６に記載の焦点調節装置とを有することを特徴とする撮像装置。

【請求項9】

撮像画面のうち焦点検出領域で捉えられた被写体に対し位相差検出方式で焦点検出を行う焦点検出方法であって、
前記焦点検出領域として、第１の焦点検出領域と、該第１の焦点検出領域およびその周囲を含む第２の焦点検出領域とを選択するステップと、
前記焦点検出領域を選択するステップにおいて選択された前記焦点検出領域からの焦点検出信号を用いて前記焦点検出を行うステップと、
前記撮像画面内で移動する前記被写体を前記第１の焦点検出領域で捉え続けることが可能か否かに関わる第１の情報を取得するステップとを有し、
前記焦点検出領域を選択するステップにおいて、
前記第１の情報が前記被写体を前記第１の焦点検出領域で捉え続けることが可能であることを示す場合は前記第１の焦点検出領域を選択し、
前記第１の情報が前記被写体を前記第１の焦点検出領域で捉え続けることが可能でないことを示す場合において、前記第１の焦点検出領域での前記焦点検出の結果の信頼度が所定信頼度より高いときは前記第１の焦点検出領域を選択し、前記信頼度が前記所定信頼度より低いときは前記第２の焦点検出領域を選択し、
前記焦点検出を行うステップにおいて、前記第１の焦点検出領域が選択された場合は、被写体像を撮像する撮像素子のうち第１の画素領域から出力された信号を用いて生成された前記焦点検出信号を取得し、前記第２の焦点検出領域が選択された場合は、前記撮像素子のうち前記第１の画素領域およびその周囲を含む第２の画素領域から出力された信号を用いて生成された前記焦点検出信号を取得することを特徴とする焦点検出方法。

【請求項10】

撮像装置のコンピュータに、請求項９に記載の焦点検出方法に従う処理を実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルカメラ等の撮像装置における自動焦点調節（ＡＦ）技術に関する。

【背景技術】

【0002】

撮像装置のＡＦでは、撮像画面のうちピントを合わせたい領域としてユーザが任意に設定したＡＦ領域（焦点検出領域）にて焦点検出とその結果に基づくフォーカスレンズ駆動を行うことができる。ただし、移動する被写体に対してそのＡＦ領域を合わせ続けるようにユーザが撮像装置を動かす（パンニングする）ことは困難である。被写体からＡＦ領域が外れると、背景に対してピントが合う状態（背景抜け）や遠近競合によるピント変動が生じてしまう。

【0003】

特許文献１には、被写体が動体ではないと判定した場合に小さい（狭い）ＡＦ領域を設定し、被写体が動体と判定した場合は大きい（広い）ＡＦ領域を設定する方法が開示されている。また、特許文献２には、動体である被写体に対して将来ピントが合う位置を予測する方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平０２－０９３４１９号公報

【文献】特開２００１－０２１７９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１にて開示された方法のように被写体が動体である場合にＡＦ領域を大きくすると、遠近競合が生じたり小さな被写体や被写体の一部にピンポイントでピント合わせをすることが難しくなったりする。また、特許文献２にて開示されたように将来ピントが合う位置を予測したとしても、その予測が外れた場合にピントを合わせるべきＡＦ領域を特定することができない。

【0006】

本発明は、移動する被写体に対して、背景抜けや遠近競合を抑制して安定した焦点検出を行えるようにした焦点検出装置等を提供する。

【課題を解決するための手段】

【0007】

本発明の一側面としての焦点検出装置は、撮像画面のうち焦点検出領域で捉えられた被写体に対し位相差検出方式で焦点検出を行う。該焦点検出装置は、焦点検出領域として、第１の焦点検出領域と、該第１の焦点検出領域およびその周囲を含む第２の焦点検出領域とを選択する選択手段と、選択手段により選択された焦点検出領域からの焦点検出信号を用いて焦点検出を行う焦点検出手段と、撮像画面内で移動する被写体を第１の焦点検出領域で捉え続けることが可能か否かに関わる第１の情報を取得する情報取得手段とを有する。選択手段は、第１の情報が被写体を第１の焦点検出領域で捉え続けることが可能であることを示す場合は第１の焦点検出領域を選択し、第１の情報が被写体を第１の焦点検出領域で捉え続けることが可能でないことを示す場合において、第１の焦点検出領域での焦点検出の結果の信頼度が所定信頼度より高いときは第１の焦点検出領域を選択し、信頼度が所定信頼度より低いときは第２の焦点検出領域を選択する。焦点検出手段は、第１の焦点検出領域が選択された場合は、被写体像を撮像する撮像素子のうち第１の画素領域から出力された信号を用いて生成された焦点検出信号を取得し、第２の焦点検出領域が選択された場合は、撮像素子のうち第１の画素領域およびその周囲を含む第２の画素領域から出力された信号を用いて生成された焦点検出信号を取得することを特徴とする。

【0008】

なお、上記焦点検出装置を含む焦点調節装置や撮像装置も、本発明の他の一側面を構成する。

【0009】

本発明の他の一側面としての焦点検出方法は、撮像画面のうち焦点検出領域で捉えられた被写体に対し位相差検出方式で焦点検出を行う方法である。該焦点検出方法は、焦点検出領域として、第１の焦点検出領域と、該第１の焦点検出領域およびその周囲を含む第２の焦点検出領域とを選択するステップと、焦点検出領域を選択するステップにおいて選択された焦点検出領域からの焦点検出信号を用いて焦点検出を行うステップと、撮像画面内で移動する被写体を第１の焦点検出領域で捉え続けることが可能か否かに関わる第１の情報を取得するステップとを有する。焦点検出領域を選択するステップにおいて、第１の情報が被写体を第１の焦点検出領域で捉え続けることが可能であることを示す場合は第１の焦点検出領域を選択し、第１の情報が被写体を第１の焦点検出領域で捉え続けることが可能でないことを示す場合において、第１の焦点検出領域での焦点検出の結果の信頼度が所定信頼度より高いときは第１の焦点検出領域を選択し、信頼度が所定信頼度より低いときは第２の焦点検出領域を選択する。焦点検出を行うステップにおいて、第１の焦点検出領域が選択された場合は、被写体像を撮像する撮像素子のうち第１の画素領域から出力された信号を用いて生成された焦点検出信号を取得し、第２の焦点検出領域が選択された場合は、撮像素子のうち第１の画素領域およびその周囲を含む第２の画素領域から出力された信号を用いて生成された焦点検出信号を取得することを特徴とする。

【0010】

なお、上記焦点検出方法に従う処理を撮像装置のコンピュータに実行させるコンピュータプログラムも、本発明の他の一側面を構成する。

【発明の効果】

【0011】

本発明によれば、移動する被写体に対して安定した焦点検出を行うことができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施例１である焦点調節装置を備えたレンズ交換式デジタルカメラを含むカメラシステムの構成を示すブロック図。

【図2】上記カメラにおいて撮像面位相差ＡＦを行うための撮像素子の画素配列を示す図。

【図3】実施例１における撮像処理を示すフローチャート。

【図4】撮像処理における焦点検出処理を示すフローチャート。

【図5】ＡＦ領域を示す図。

【図6】焦点検出処理における対の位相差ＡＦ信号を説明する図。

【図7】対の位相差ＡＦ信号のシフト量と相関量との関係を説明する図。

【図8】対の位相差ＡＦ信号のシフト量と相関変化量との関係を説明する図。

【図9】撮像処理におけるＡＦ領域選択処理を示すフローチャート。

【図10】撮像処理における予測処理を示すフローチャート。

【図11】撮像画面内の第１および第２のＡＦ領域を説明する図。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施例である撮像装置としてのレンズ交換式デジタルカメラ（以下、カメラ本体という）２０および該カメラ本体２０に着脱可能に装着される交換レンズユニット（以下、単にレンズユニットという）１０を含むカメラシステムの構成を示している。

【0014】

レンズユニット１０は、不図示の被写体からの光を結像させて被写体像を形成する撮像光学系と、ＣＰＵ等により構成されてレンズユニット１０の全ての動作（処理）を制御するレンズ制御部１０６とを有する。撮像光学系は、被写体側から像側に順に、固定レンズ１０１、絞り１０２およびフォーカスレンズ１０３を含む。

【0015】

絞り１０２は、絞り駆動部１０４によってその開口径が変化するように駆動され、後述する撮像素子２０１に入射する光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５によって光軸方向に駆動されて焦点調節を行う。絞り駆動部１０４およびフォーカスレンズ駆動部１０５は、レンズ制御部１０６によって制御される。

【0016】

また、レンズユニット１０において、レンズ操作部１０７は、ＡＦ（オートフォーカス）とＭＦ（マニュアルフォーカス）の切替えや手振れ補正動作のＯＮ／ＯＦＦの設定等、ユーザがレンズユニット１０の動作設定を行うための操作部材を含む。レンズ制御部１０６は、レンズ操作部１０７の操作に応じた制御を行う。

【0017】

レンズ制御部１０６は、カメラ本体２０内に設けられたカメラ制御部２１２と通信することが可能である。レンズ制御部１０６は、カメラ制御部２１２から受信した制御命令や制御情報に応じて絞り駆動部１０４およびフォーカスレンズ駆動部１０５を制御したり、レンズユニット１０の光学情報その他のレンズ情報をカメラ制御部２１２に送信したりする。

【0018】

カメラ本体２０において、撮像素子２０１はＣＣＤセンサやＣＭＯＳセンサにより構成され、撮像光学系を通過した光束により形成される被写体像を光電変換（撮像）する。撮像素子２０１は、カメラ制御部２１２の指令に従ってタイミングジェネレータ２１４が出力するタイミング信号に応じて以下に説明する位相差ＡＦ信号や撮像信号を出力する。

【0019】

本実施例において用いられる撮像素子２０１の構成を図２に示す。図２は、撮像素子２０１の全体を示すとともに、その一部を拡大して示している。撮像素子２０１には、ベイヤー配列でＲ、ＧおよびＢの画素がそれぞれ複数配置されている。各画素には、水平方向に２分割された一対の光電変換部（サブ画素）２０１ａ，２０１ｂと、これらに対して共通の１つのマイクロレンズ２０１ｃとが設けられている。一対のサブ画素２０１ａ，２０１ｂには、マイクロレンズ２０１ｃを介して、撮像光学系の射出瞳のうち互いに異なる領域を通過した光束が入射する。これにより、瞳分割が行われる。一対のサブ画素２０１ａ，２０１ｂはそれぞれ、入射した光を光電変換することによりＡ信号およびＢ信号を出力する。そして、撮像素子２０１は、後述するＡＦ領域に含まれる複数の画素からのＡ信号およびＢ信号をそれぞれ合成して一対の位相差ＡＦ信号としてのＡ像信号およびＢ像信号を出力する。Ａ像信号およびＢ像信号を出力する画素を焦点検出画素という。また、撮像素子２０１は、Ａ像信号とＢ像信号を互いに加算して撮像信号（Ａ＋Ｂ信号）を出力する。

【0020】

ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像素子２０１から出力された位相差ＡＦ信号および撮像信号に対して、リセットノイズを除去するための相関二重サンプリング、ゲイン調節およびＡＤ変換を行う。該コンバータ２０２は、これらの処理を行った位相差ＡＦ信号および撮像信号それぞれ、ＡＦ信号処理部２０４および画像入力コントローラ２０３に出力する。

【0021】

ＡＦ信号処理部２０４は、一対の位相差ＡＦ信号（Ａ像信号とＢ像信号）に対して相関演算を行い、これらＡ像信号とＢ像信号のずれ量である位相差（以下、像ずれ量という）を算出するとともに、その信頼度（以下、焦点検出信頼度という）も算出する。本実施例では、後述する２像一致度と相関変化量の急峻度を用いて焦点検出信頼度を算出する。また、ＡＦ信号処理部２０４は、撮像画面のうちＡＦにより焦点調節を行う領域であるＡＦ領域（焦点検出領域）の位置と大きさを設定する。ＡＦ信号処理部２０４は、像ずれ量と焦点検出信頼度の情報をカメラ制御部２１２に出力する。なお、ＡＦ信号処理部２０４が行う処理の詳細については後述する。

【0022】

カメラ制御部２１２内のＡＦ制御部（制御手段）２１２３は、ＡＦ信号処理部２０４からの像ずれ量と焦点検出信頼度の情報を用いて撮像光学系のデフォーカス量を算出する。そして、該デフォーカス量から換算したフォーカスレンズ１０３の駆動量の情報を含むフォーカス制御命令をレンズ制御部１０６に送信する。レンズ制御部１０６は、受信した駆動量だけフォーカスレンズ１０３を駆動するようにフォーカスレンズ駆動部１０５を制御する。これにより、撮像素子２０１上にピントが合った被写体像が形成されるように像面位置が移動する。撮像素子２０１上にピントが合った被写体像が形成される像面位置を、合焦像面位置という。ＡＦ信号処理部２０４とカメラ制御部２１２とにより焦点検出装置および焦点調節装置が構成される。

【0023】

なお、図２には各画素に水平方向に２分割されたサブ画素が設けられている場合を示したが、垂直方向に２分割されたサブ画素を設けたり、水平および垂直方向に２分割ずつ（計４分割）されたサブ画素を設けたりしてもよい。

【0024】

画像入力コントローラ２０３は、コンバータ２０２から出力された撮像信号をバス２１を介してＳＤＲＡＭ２０９に画像信号として格納する。ＳＤＲＡＭ２０９に格納された画像信号は、バス２１を介して表示制御部２０５により読み出され、カメラ本体２０の背面に設けられた表示部２０６に表示される。また、画像信号の記録を行う録画モードでは、ＳＤＲＡＭ２０９に格納された画像信号は記録媒体制御部２０７によって半導体メモリ等の記録媒体２０８に記録される。

【0025】

ＲＯＭ２１０は、カメラ制御部２１２が制御や処理を実行するためのコンピュータプログラムや各種データ等を格納している。フラッシュＲＯＭ２１１は、ユーザにより設定されたカメラ２０の動作に関する各種設定情報等が格納されている。

【0026】

カメラ操作部２１３は、カメラ本体２０の電源をＯＮ／ＯＦＦするためのメインスイッチ、ＡＦ／ＡＥ処理等を開始させるための撮像準備スイッチ、撮像記録処理を開始させるための撮像開始スイッチ等の操作部材を含む。操作部材には、撮像記録処理により生成および記録された撮像画像の再生処理を行わせるための再生スイッチや各種カメラ設定を行うためのダイヤル等も含む。カメラ操作部２１３は、これら操作部材に対するユーザ操作に応じた操作信号をカメラ制御部２１２に出力する。

【0027】

カメラ制御部２１２内の被写体検出部２１２１は、画像入力コントローラ２０３から入力された撮像信号から特定被写体を検出し、撮像信号（画像）内での特定被写体の位置を判定する。特定被写体は、撮像画面内に存在する人物の顔やユーザがカメラ操作部２１３を通じて指定した位置に存在する被写体等である。また、被写体検出部２１２１は、画像入力コントローラ２０３から連続的に入力される撮像信号の複数フレームにおいて特定被写体の位置が変化したか否かに応じて、特定被写体が動体か静止体かを判定する。そして被写体検出部２１２１は、特定被写体が動体である場合は、該特定被写体の位置、大きさおよび移動前の位置と移動後の位置との差分である移動量の情報を取得する。これら特定被写体の位置、大きさおよび移動量に関する情報は、主にＡＦ領域の設定のために用いられる。

【0028】

記憶部２１２５は、デフォーカス量から算出した合焦像面位置と該デフォーカス量を算出するためのＡ像およびＢ像信号の取得時刻（焦点検出時刻）とをメモリ回路２１５に記憶させる。

【0029】

カメラ制御部２１２は、カメラ本体２０内の各部と情報をやり取りしながらこれらを制御する。またカメラ制御部２１２は、カメラ操作部２１３からの操作信号に応じて、電源のＯＮ／ＯＦＦ、ＡＦ／ＡＥ処理、撮像記録処理および記録画像の再生処理を実行したり、各種カメラ設定を変更したりする。さらにカメラ制御部２１２は、レンズユニット１０（レンズ制御部１０６）に対する各種制御命令やカメラ本体２０の情報をレンズ制御部１０６に送信したり、レンズユニット１０の情報をレンズ制御部１０６から取得したりする。カメラ制御部２１２は、マイクロコンピュータにより構成され、ＲＯＭ２１０に記憶されたコンピュータプログラムを実行することでカメラシステム全体の制御を司る。

【0030】

次に、カメラ制御部２１２が行う処理について説明する。カメラ制御部２１２は、ＲＯＭ２１０に格納されたコンピュータプログラムである撮像処理プログラムに従って以下の処理を行う。図３のフローチャートは、焦点調節制御を行うＡＦ動作を含む撮像処理を示す。Ｓはステップを意味する。

【0031】

まずカメラ制御部２１２は、Ｓ３０１において、カメラ操作部２１３の撮像準備スイッチがＯＮか否かに応じてＡＦ動作を開始するか否かを判断する。ＡＦ動作を実行する場合は、カメラ制御部２１２は、Ｓ３０２に進んで焦点検出処理を行う。焦点検出処理の詳細については後述する。

【0032】

次にＳ３０３では、選択手段としてのカメラ制御部２１２は、撮像画面のうちＡＦ動作においてユーザに被写体を捕捉させる領域として使用されるＡＦ領域（以下、使用ＡＦ領域という）として、第１のＡＦ領域（第１の焦点検出領域）または第２のＡＦ領域（第２の焦点検出領域）を選択するＡＦ領域選択処理を行う。具体的には、カメラ制御部２１２は、第１のＡＦ領域内に被写体を捕捉する（含ませておく）ことが可能か否か、また第１のＡＦ領域で検出された像ずれ量の信頼度である焦点検出信頼度が高いか否かによって、第１のＡＦ領域または第２のＡＦ領域を使用ＡＦ領域として選択する。ＡＦ領域選択処理の詳細については後述する。

【0033】

次にＳ３０４では、カメラ制御部２１２は、撮像前予測処理を行う。具体的には、カメラ制御部２１２は、撮像開始スイッチがＯＮであれば、予測部２１２４に、Ｓ３０３で選択したＡＦ領域に対するＳ３０２の焦点検出処理での像ずれ量の検出時から撮像記録処理までの合焦像面位置を予測させる。また、撮像開始スイッチがＯＦＦであれば、予測部２１２４に、次の像ずれ量検出時までの合焦像面位置を予測させる。予測部２１２４による合焦像面位置の予測方法の詳細については後述する。

【0034】

次にＳ３０５では、カメラ制御部２１２は、像面位置をＳ３０４で予測された合焦像面位置に移動させるために必要なフォーカスレンズ１０３の駆動量を算出し、これをレンズ制御部１０６に送信する。

【0035】

次にＳ３０６では、カメラ制御部２１２は、撮像開始スイッチがＯＮか否かを判定し、ＯＮであればＳ３０７に進み、そうでなければＳ３１０に進む。

【0036】

Ｓ３０７では、カメラ制御部２１２は、撮像記録処理を行い、これにより得られた撮像画像をメモリ回路２１５に記憶させる。次にＳ３０８では、カメラ制御部２１２は、予測部２１２４に、次の像ずれ量検出時の合焦像面位置を予測させる。続いてＳ３０９では、カメラ制御部２１２は、像面位置をＳ３０８で予測された合焦像面位置に移動させるために必要なフォーカスレンズ１０３の駆動量を算出し、これをレンズ制御部１０６に送信する。そして、カメラ制御部２１２はＳ３１０に進む。

【0037】

Ｓ３１０では、カメラ制御部２１２は、撮像準備スイッチがＯＦＦか否かを判定し、ＯＦＦであれば本処理を終了し、ＯＮであればＳ３０２に戻って上記処理を繰り返す。

【0038】

図１１（ａ）は、撮像素子２０１上（撮像画面１１００内）に設定される第１のＡＦ領域１１０１と第２のＡＦ領域１１０２を示している。ＡＦ動作が行われる際に、表示部２０６には、ユーザが観察するライブビュー画像に重なるようにＡＦ枠が表示される。第１のＡＦ領域１１０１は、このＡＦ枠と同等の大きさを有する。第２のＡＦ領域１００２は、第１のＡＦ領域１００１とその周囲を含み、第１のＡＦ領域１１０１よりも広い領域である。

【0039】

図１１（ｂ）において、縦縞を付した３個の領域はそれぞれ、撮像素子２０１のうち第１のＡＦ領域１１０１に対応する第１の画素領域内に配置され、一対の位相差ＡＦ信号が読み出される複数の焦点検出画素が水平方向に配列された第１の焦点検出画素列である。また、図１１（ｃ）において、斜め縞を付した１０個の領域はそれぞれ、撮像素子２０１のうち第２のＡＦ領域１１０２に対応する第２の画素領域内に配置され、一対の位相差ＡＦ信号が読み出される複数の焦点検出画素が水平方向に配列された第２の焦点検出画素列である。第２の画素領域には、上記３個の第１の焦点検出画素列も含まれている。１０個の第２の焦点検出画素列のうち一部は、第１の画素領域内において３個の第１の焦点検出画素列の間に配置されている。すなわち、第２の画素領域のうち第１の画素領域に含まれる部分には、第１の焦点検出画素列とは異なる第２の焦点検出画素列が設けられている。

【0040】

また、第２の焦点検出画素列は、第１の焦点検出画素列と同じ水平方向の大きさ（長さ）を有する。各焦点検出画素列は、小さな被写体や被写体の一部を撮像する際に遠近競合が発生しにくい大きさであることが望ましい。なお、図１１（ａ）～（ｃ）に示す第１および第２の画素領域と各焦点検出画素列の位置や大きさは例であり、他の位置や大きさであってもよい。

【0041】

図４のフローチャートは、図３に示した撮像処理のうちＳ３０２で行われる焦点検出処理を示している。Ｓ４０１において、ＡＦ信号処理部２０４は、撮像素子２０１におけるＡＦ領域に対応する画素領域内の焦点検出画素列から、一対の位相差ＡＦ信号であるＡ像信号とＢ像信号を取得する。

【0042】

図５および図６（ａ）～（ｃ）を用いて、ＡＦ信号処理部２０４が行う像ずれ量の算出について説明する。図５は、撮像素子２０１上の焦点検出画素列５０２と該焦点検出画素列５０２の両側のシフト領域５０３とを含む相関演算領域５０４を示している。焦点検出画素列５０２は、図６（ａ）に示すＡ像信号６０１とＢ像信号６０２に対する相関演算によってこれらの相関量を演算する領域である。シフト領域５０３は、図９（ｂ），(ｃ)に示すように相関演算を行うためにＡ像信号６０１とＢ像信号６０２をプラス方向とマイナス方向にシフトさせるのに必要な領域である。図５および図６（ａ）～（ｃ）において、ｐ、ｑ、ｓおよびｔはそれぞれ水平方向の座標を表し、ｐからｑは相関演算領域５０４を表す。また、ｓからｔは焦点検出画素列５０２の配置領域を表す。

【0043】

ＡＦ信号処理部２０４は、次のＳ４０２において、Ａ像信号６０１とＢ像信号６０２をプラス方向またはマイナス方向に１画素（１ビット）ずつ相対的にシフトさせながらこれらＡ像信号６０１とＢ像信号６０２の相関量を算出する。具体的には、シフト後のＡ像およびＢ像信号６０１、６０２の差の絶対値の和を算出する。そしてＡＦ信号処理部２０４は、シフト量をｉ、最小シフト量をｐ－ｓ、最大シフト量をｑ－ｔ、焦点検出画素列５０２の開始座標および終了座標をそれぞれｘおよびｙとして、相関量ＣＯＲを以下の式（１）によって算出する。

【0044】

【数1】

【0045】

なお、Ａ像信号６０１とＢ像信号６０２の１回のシフト量は、複数画素（例えば２画素）ずつであってもよい。

【0046】

図７（ａ）は、シフト量ごとの相関量（ＣＯＲ）７０１の変化の例を示す。横軸はシフト量を、縦軸は相関量を示す。相関量７０１は極値７０２，７０３を有する。相関量７０１が小さいほど、Ａ像信号６０１とＢ像信号６０２が似ている度合い、すなわち一致度が高いことを示す。

【0047】

次にＡＦ信号処理部２０４は、Ｓ４０３において、Ｓ４０２で算出した相関量７０１のうち、例えばシフト量ｉ－１とｉ＋１のそれぞれで得られる相関量の差から相関変化量を算出する。具体的には、以下の式（２）によって相関変化量ΔＣＯＲを算出する。

【0048】

【数2】

【0049】

図７（ｂ）は、シフト量ごとの相関変化量（ΔＣＯＲ）７０５の変化の例を示す。横軸はシフト量を示し、縦軸は相関変化量を示す。相関変化量７０５は、その値がプラスから０になり、さらにマイナスになるゼロクロスポイント７０６，７０７を有する。相関変化量が０となるときがＡ像信号とＢ像信号の一致度が最も高いときである。相関変化量が０となるときのシフト量が像ずれ量となる。

【0050】

図８（ａ）は、図７（ｂ）に示したゼロクロスポイント７０６付近の相関変化量７０５を拡大して示す。ＡＦ信号処理部２０４は、Ｓ４０４において、像ずれ量ＰＲＤを整数部分βと小数部分αに分けて算出する。ＡＦ信号処理部２０４は、小数部分αを図中に示す三角形ＡＢＣと三角形ＡＤＥとの相似の関係から以下の式（３）によって算出する。

【0051】

【数3】

【0052】

さらにＡＦ信号処理部２０４は、整数部分βを図８（ａ）に示すように、以下の式（４）によって算出する。
β＝ｋ－１ （４）
そしてＡＦ信号処理部２０４は、αとβの和から像ずれ量ＰＲＤを算出する。

【0053】

またＡＦ信号処理部２０４は、図７（ｂ）のように複数のゼロクロスポイント７０６，７０７が存在する場合は、各ゼロクロスポイントでの相関変化量の変化の急峻性maxderが最も大きいゼロクロスポイントを第１のゼロクロスポイントとする。急峻性maxderは、その値が大きいほどＡＦが行いやすいことを示す。ＡＦ信号処理部２０４は、急峻性maxderを以下の式（５）によって算出する。

【0054】

【数4】

【0055】

そしてＡＦ信号処理部２０４は、この第１のゼロクロスポイントを与えるシフト量を像ずれ量ＰＲＤとする。

【0056】

次にＡＦ信号処理部２０４は、Ｓ４０５において、Ｓ４０４で算出した像ずれ量を用いてデフォーカス量を算出する。さらにＡＦ信号処理部２０４は、像ずれ量、言い換えればデフォーカス量の信頼度である焦点検出信頼度も算出する。具体的には、以下のようにして焦点検出信頼度を算出する。なお、以下に説明する焦点検出信頼度の算出方法は例にすぎず、被写体のコントラストや過去複数回に算出したデフォーカス量（焦点検出結果）が連続しているか否かに応じて焦点検出信頼度を算出してもよい。すなわち、被写体のコントラストが高い場合やデフォーカス量が連続して変化している場合は焦点検出信頼度を高くし、被写体のコントラストが低い場合やデフォーカス量が不連続に変化している場合は焦点検出信頼度を低くする。

【0057】

ＡＦ信号処理部２０４は、前述した相関変化量の変化の急峻性maxderや、Ａ像信号とＢ像信号の一致度である２像一致度fnclvlによって定義する。２像一致度は、その値が高いほど像ずれ量、つまりはデフォーカス量の精度が高いことを示す。図８（ｂ）は、図７（ａ）に示した極値７０２付近の相関量７０１を拡大して示す。ＡＦ信号処理部２０４は、急峻性maxderの値に応じて２像一致度を以下の式（６）によって算出する。

【0058】

【数5】

【0059】

そしてＡＦ信号処理部２０４は、Ｓ４０６において、各焦点検出画素列で得られたデフォーカス量、焦点検出信頼度、Ａ像およびＢ像信号を取得した焦点検出時刻を焦点検出情報としてメモリ回路２１５に記憶させる。こうして焦点検出処理を終了する。

【0060】

図９のフローチャートは、図３に示した撮像処理のうちＳ３０３で行われるＡＦ領域選択処理を示している。情報取得手段としてのカメラ制御部２１２（被写体検出部２１２１）は、Ｓ９０１において、画像入力コントローラ２０３からの撮像信号のうち所定数のフレーム、つまりは所定時間内において検出した特定被写体（動体）の移動量を取得する。この特定被写体の移動量は、撮像画面内で移動する被写体を第１の焦点検出領域で捉え続けることが可能か否かに関わる第１の情報である。

【0061】

次にＳ９０２では、判定手段としてのカメラ制御部２１２は、Ｓ９０１で取得した特定被写体の移動量を用いて、ユーザが第１のＡＦ領域内に特定被写体を捕捉し続けることが可能（容易）であるか否かを判定する。すなわち、第１の情報が撮像画面内で移動する特定被写体を第１のＡＦ領域で捉え続けることが可能であることを示すか否かを判定する。

【0062】

カメラ制御部２１２は、特定被写体の移動量が所定値より小さい場合は、特定被写体は動きが少ない被写体であり、狭い領域である第１のＡＦ領域で捕捉し続けることが可能（容易）であると判定してＳ９０５に進み、使用ＡＦ領域として第１のＡＦ領域を選択（設定）する。一方、特定被写体の移動量が所定値より大きい場合は、特定被写体は動きの激しい被写体であり、第１のＡＦ領域で捕捉し続けることが可能ではない（困難である）と判定してＳ９０３に進む。

【0063】

なお、第１のＡＦ領域での特定被写体の継続捕捉が可能か否かは、所定時間内での特定被写体の移動量だけでなく、カメラ本体２０またはレンズユニット１０に搭載されたジャイロセンサ（振れセンサ）の出力による振れ検出結果によっても判定できる。すなわち、被写体に対する撮像画面の振れ量を第１の情報として取得し、該振れ量の大きさによって判定できる。具体的には、検出された振れが所定量より小さいときは第１のＡＦ領域での特定被写体の継続捕捉が可能と判定し、振れが所定量より大きいときは第１のＡＦ領域での特定被写体の継続捕捉が可能ではないと判定してもよい。

【0064】

また、第１のＡＦ領域での特定被写体の継続捕捉が可能か否かは、撮像光学系の焦点距離の情報を第１の情報として用いて判定してもよい。具体的には、焦点距離が所定距離より短い場合は第１のＡＦ領域での特定被写体の継続捕捉が可能と判定し、焦点距離が所定距離より長い場合は第１のＡＦ領域での特定被写体の継続捕捉が可能ではないと判定してもよい。

【0065】

Ｓ９０３では、カメラ制御部２１２は、Ｓ３０２にて第１のＡＦ領域内の焦点検出画素列からの一対の位相差ＡＦ信号から算出されてメモリ回路２１５に記憶されたデフォーカス量に対する焦点検出信頼度を取得する。

【0066】

次にＳ９０４では、カメラ制御部２１２は、Ｓ９０３で取得した第１のＡＦ領域での焦点検出信頼度が所定信頼度より高いか否かを判定する。焦点検出信頼度が所定信頼度より高い場合は、カメラ制御部２１２はＳ９０６に進み、使用ＡＦ領域として第１のＡＦ領域を選択する。一方、焦点検出信頼度が所定信頼度より低い場合は、カメラ制御部２１２はＳ９０７に進み、使用ＡＦ領域として第２のＡＦ領域を選択する。こうしてＡＦ領域選択処理を終了する。

【0067】

図１０のフローチャートは、図３に示した撮像処理のうちＳ３０４で行われる撮像前予測処理を示している。撮像前予測処理では、過去複数回における焦点検出の結果から得られた合焦像面位置の変化とそれら合焦像面位置に対応する焦点検出時刻とから、将来時刻での合焦像面位置を算出（予測）する。本実施例では、統計演算を用いて将来時刻の合焦像面位置を予測する。ただし、他の方法を用いて将来時刻での合焦像面位置を予測してもよい。

【0068】

まず、Ｓ１００１において、予測部２１２４は、Ｓ３０２でメモリ回路２１５に記憶されたデフォーカス量のうちＳ３０３で選択された使用ＡＦ領域（第１または第２のＡＦ領域）でのデフォーカス量を取得する。

【0069】

次にＳ１００２では、予測部２１２４は、取得したデフォーカス量に対応する合焦像面位置と焦点検出時刻を算出する。一般に、撮像素子２０１から出力信号が得られるまでにはある程度の電荷蓄積時間が必要である。このため、予測部２１２４は、電荷蓄積の開始時刻と終了時刻の間の時刻（例えば、中央の時刻）を焦点検出時刻とする。そして、予測部２１２４は、フォーカスレンズ１０３の現在の位置）に取得したデフォーカス量を加えることによって合焦像面位置を算出する。

【0070】

次にＳ１００３では、予測部２１２４は、算出した合焦像面位置とこれに対応する焦点検出時刻のデータをメモリ回路２１５に記憶させる。メモリ回路２１５には、所定数の合焦像面位置と焦点検出時刻のデータまでは順に記憶され、記憶されたデータが所定数に達した後は最新のデータで記憶された最古のデータを上書きする。

【0071】

次にＳ１００４では、予測部２１２４は、メモリ回路２１５に記憶されたデータ数が統計演算を行うために必要な数に達したか否かを判定する。予測部２１２４は、記憶データ数が十分であればＳ１００５に進み、そうでなければＳ１００７に進む。

【0072】

Ｓ１００５では、予測部２１２４は、将来時刻における合焦像面位置を予測するための予測式を決定する。本実施例では、式（７）に示す予測関数ｆ（ｔ）を予測式として用いる。予測部２１２４は、重回帰分析によって式（７）中の係数α，β，γを統計的に決定する。式（７）におけるｎは、複数の代表的な動体予測撮像シーンのサンプルに対して予測を行ったときの予測誤差が最小となる値である。

【0073】

ｆ（ｔ）＝α＋βｔ＋γｔ^ｎ （７）
こうして予測式を決定した予測部２１２４は、Ｓ１００６に進み、所定の将来時刻での合焦像面位置を式（７）を用いて算出し、実際の像面位置をその合焦像面位置に移動させるために必要なフォーカスレンズ１０３の駆動量を算出する。そして算出した駆動量をレンズ制御部１０６に所定の将来時刻でのフォーカスレンズ１０３の駆動量として送信する。これにより、所定の将来時刻においてフォーカスレンズ１０３が駆動され、実際の像面位置が算出された合焦像面位置に移動する。

【0074】

一方、Ｓ１００７では、予測部２１２４は、統計演算によらず（すなわち予測せず）に算出したデフォーカス量からフォーカスレンズ１０３の駆動量を算出し、算出した駆動量をレンズ制御部１０６に送信する。これにより、被写体にピントが合う方向にフォーカスレンズ１０３が駆動される。

【0075】

以上説明したように、本実施例では、ユーザが使用ＡＦ領域に動体である特定被写体を捉え続けることが可能（容易）か否かに応じて、使用ＡＦ領域の大きさを選択する。これにより、移動する小さな被写体や被写体の一部に対して背景抜けや遠近競合を抑制して安定したＡＦ動作を行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0076】

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

【符号の説明】

【0077】

１０ 交換レンズユニット
１０３ フォーカスレンズ
２０ カメラ本体
２０１ 撮像素子
２０４ ＡＦ信号処理部
２１２ カメラ制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】