特許 7431555 撮像装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-06

(45)【発行日】2024-02-15

(54)【発明の名称】撮像装置及びその制御方法

(51)【国際特許分類】

   G02B 7/34 20210101AFI20240207BHJP

   G03B 5/00 20210101ALI20240207BHJP

   G03B 13/36 20210101ALI20240207BHJP

   G03B 15/00 20210101ALI20240207BHJP

   H04N 23/67 20230101ALI20240207BHJP

【ＦＩ】

G02B7/34

G03B5/00 G

G03B13/36

G03B15/00 Q

H04N23/67

【請求項の数】 12

(21)【出願番号】P 2019199244

(22)【出願日】2019-10-31

(65)【公開番号】P2021071656

(43)【公開日】2021-05-06

【審査請求日】2022-10-31

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】高尾 麻衣子

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１２－２０３２０７（ＪＰ，Ａ）

【文献】国際公開第２０１８／００４００１（ＷＯ，Ａ１）

【文献】特開２０１７－２２３７５１（ＪＰ，Ａ）

【文献】特開２０１２－２０３３４５（ＪＰ，Ａ）

【文献】特開２０１９－０２０７１６（ＪＰ，Ａ）

【文献】特開２０１９－１７６２４９（ＪＰ，Ａ）

【文献】特開平１１－３３７８１４（ＪＰ，Ａ）

【文献】特開平１０－１６１０１３（ＪＰ，Ａ）

【文献】特開平０２－２０７２２９（ＪＰ，Ａ）

【文献】特開２００９－１２８６１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／６７

(57)【特許請求の範囲】

【請求項1】

撮影光学系を介して入射した光を光電変換して得られた信号に基づいて、デフォーカス量を検出する焦点検出手段と、
前記焦点検出手段により繰り返し検出される前記デフォーカス量を記憶する記憶手段と、
前記記憶手段に記憶された過去の焦点検出履歴と前記焦点検出手段により新たに検出されたデフォーカス量とに基づいて同じ被写体を継続的に捕捉できているかどうかを判定するための閾値を設定する設定手段と、
前記焦点検出手段により検出されたデフォーカス量に基づいて、画角内の被写体を検出する被写体検出手段と、を有し、
前記設定手段は、前記閾値として、被写体の捕捉し易さを示す難易度情報が第１の難易度よりも高い第２の難易度を示す場合に、前記第１の難易度の場合よりも、同じ被写体を継続的に捕捉できていると判定しにくい閾値を設定し、
前記難易度情報は、前記被写体の大きさを含み、前記被写体の大きさが小さいほど難易度が高いことを特徴とする撮像装置。

【請求項2】

前記設定手段は、更に、前記記憶手段に記憶された過去の焦点検出履歴に対応する距離に基づいて閾値を設定し、
前記距離が、予め決められた距離よりも長い場合に、長くない場合よりも同じ被写体を継続的に捕捉できていると判定しにくい閾値を設定することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記難易度情報は、更に、前記被写体より至近側の障害物の有無、カメラの振れ情報の内の少なくともいずれかを含み、
前記障害物がある場合により難易度が高く、カメラの振れが大きいほど難易度が高いことを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記難易度情報は、前記被写体の移動量、パン・チルト情報、被写界深度、被写体の動き特性、前記被写体の大きさ、前記被写体検出手段により検出された被写体の個数の内の少なくともいずれかを含み、
前記被写体の移動量が大きいほど難易度が高く、パン・チルトの大きさが大きいほど難易度が高く、被写界深度が大きいほど難易度が高く、前記被写体の動き特性が大きいほど難易度が高く、前記被写体が大きいほど難易度が高く、前記検出された被写体の個数が少ないほど難易度が高いことを特徴とする請求項１または２に記載の撮像装置。

【請求項5】

前記設定手段は、前記難易度情報が、予め決められた条件に該当しない場合に、前記条件に該当する場合よりも同じ被写体を継続的に捕捉できていると判定し易い閾値を設定することを特徴とする請求項１または２に記載の撮像装置。

【請求項6】

前記条件は、前記同じ被写体の大きさが予め決められた値よりも小さいこと、前記被写体より至近側に障害物があること、焦点検出装置の振れ量が予め決められた振れ量よりも大きいこと、の少なくともいずれかを含むことを特徴とする請求項５に記載の撮像装置。

【請求項7】

デフォーカス量に基づいて、前記撮影光学系に含まれるフォーカスレンズを駆動するように制御する制御手段を更に有し、
前記過去の焦点検出履歴と前記焦点検出手段により新たに検出されたデフォーカス量とに基づいて、前記同じ被写体を継続的に捕捉できていると判定されなかった場合に、前記制御手段は、前記焦点検出手段により新たに検出されたデフォーカス量に基づく前記フォーカスレンズの駆動を行わないように制御することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項8】

前記撮影光学系を含むことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

【請求項9】

前記撮影光学系が着脱可能であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

【請求項10】

撮影光学系を介して入射した光を光電変換して得られた信号に基づいて、デフォーカス量を検出する焦点検出工程と、
前記焦点検出工程で繰り返し検出される前記デフォーカス量を記憶する記憶工程と、
前記記憶工程で記憶された過去の焦点検出履歴と前記焦点検出工程で新たに検出されたデフォーカス量とに基づいて同じ被写体を継続的に捕捉できているかどうかを判定するための閾値を設定する設定工程と、
前記焦点検出工程で検出されたデフォーカス量に基づいて、画角内の被写体を検出する被写体検出工程と、を有し、
前記設定工程では、前記閾値として、被写体の捕捉しにくさを示す難易度情報が第１の難易度よりも高い第２の難易度を示す場合に、前記第１の難易度の場合よりも同じ被写体を継続的に捕捉できていると判定しにくい閾値を設定し、
前記難易度情報は、前記被写体の大きさを含み、前記被写体の大きさが小さいほど難易度が高いことを特徴とする撮像装置の制御方法。

【請求項11】

コンピュータに、請求項１０に記載の制御方法の各工程を実行させるためのプログラム。

【請求項12】

請求項１１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及びその制御方法に関する。

【背景技術】

【0002】

従来、交換レンズ式一眼レフカメラ等のカメラシステムにおいて、自動焦点調節（ＡＦ）の技術が知られており、中でも位相差ＡＦと呼ばれる手法は広く利用されている。この手法では、撮影レンズの異なる射出瞳領域を通過した被写体からの光束を、一対のラインセンサ上に結像させる。そして、被写体像を光電変換して得られた一対の像信号の相対位置の変位量である像ずれ量を求めることで、撮影レンズのデフォーカス量の検出、すなわち、焦点検出を行う。この焦点検出結果に基づいて撮影レンズに含まれるフォーカスレンズの駆動を行うことで、自動焦点調節を行う。

【0003】

またその多くは、静止する被写体のみならず、移動する被写体に焦点が合うようにフォーカスレンズを駆動させるサーボ撮影モードを備えている。サーボ撮影モードは、過去の移動履歴から被写体がどのように動いているのか予測する機能を持つ。ところが、被写体の前を障害物が通過したり、誤って背景に対し焦点検出してしまったりすることで、検出されるデフォーカス量が必ずしも撮影したい被写体のものでないことがある。

【0004】

このように、誤って意図しない被写体や背景に合焦してしまうといった課題に対し、検出したデフォーカス量によってフォーカスレンズの駆動を禁止する手法が提案されている。例えば、特許文献１では、像面速度に応じて焦点調節レンズの駆動を禁止するデフォーカス量の閾値を切り替える方法が開示されている。特許文献１の手法を用いることで、高速で動く被写体に対し、被写体が高速であることを観測すれば、より大きなデフォーカス量が検出されても焦点検出レンズの駆動ができるようになる。そのため、検出したデフォーカス量に応じた焦点検出レンズの駆動の加速や減速に対しても適切に追従できる。

【0005】

また、特許文献２では、所望の被写体を追尾できているかどうかを判断するために用いるデフォーカス量の閾値を、カメラの振れ状態によって変更させる方法が開示されている。特許文献２によれば、カメラの振れが大きい状態であれば所望の被写体を追従しにくく、カメラの振れが小さい状態であれば所望の被写体を追従し易いと判断する。そして、カメラが所望の被写体を追従し易い状態であれば、検出したデフォーカス量が、所望の被写体を追従した結果だと考えられる。逆に、カメラが所望の被写体を追従しにくい状態であれば、所望の被写体を追従できておらず、検出したデフォーカス量が背景や別の被写体を追った結果ではないかと疑うことができる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００９－２１０８１５号公報

【文献】特開平１１－３２６７４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に記載された技術では、継続的に速い動きをする被写体に対してしか被写体の動きの変化に対応することができない。例えば、被写体が、これまでの動きの傾向では予測ができない大きな動きを急にした場合、デフォーカス量の閾値の切り替えができず、フォーカス駆動を禁止してしまう。さらに、撮影者（カメラ）と被写体の距離が近いほど、被写体の動きに対して検出されるデフォーカス量の変化が大きくなるため、近景で急に動き出す被写体においては特に急激に大きなデフォーカス量の変化が検出されてしまう。そのため、撮影対象としているその被写体の動きが撮影者（カメラ）に対して近づき続ける、あるいは撮影者に対して遠ざかり続けるような動きであった場合に以下のような不都合が生じる。

【0008】

前述したサーボ撮影モードでは周期的に焦点検出処理を行い、焦点検出処理により得られた検出デフォーカス量に基づき、随時焦点調節レンズを駆動させて被写体にピントを合わせ続ける制御となっている。しかしながら、特許文献１によれば、被写体が急に動き始めたタイミングで得られた焦点検出処理の結果に応じて焦点調節レンズの駆動を停止させてしまう。そのため、周期的に実施する次のタイミングでの焦点検出処理で得られる撮影対象の被写体のデフォーカス量は、さらに大きく検出されてしまう。この動作が繰り返されることになり、結果として、所望の被写体にピントを合わせることができなくなってしまう。

【0009】

また、特許文献２によれば、被写体の状況によらずカメラの振れ量のみで被写体の追従のし易さを評価しているが、被写体が画角内に占める領域が大きければ追従し易く、逆に被写体の領域が小さければ追従しにくい。従って、カメラの振れ量のみによって被写体の追従し易さを決定することは、追従のし易さを誤って判断してしまう可能性がある。

【0010】

本発明は上記問題点を鑑みてなされたものであり、様々な条件下でより適切に被写体を追従できるようにすることを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために、本発明の撮像装置は、撮影光学系を介して入射した光を光電変換して得られた信号に基づいて、デフォーカス量を検出する焦点検出手段と、前記焦点検出手段により繰り返し検出される前記デフォーカス量を記憶する記憶手段と、前記記憶手段に記憶された過去の焦点検出履歴と前記焦点検出手段により新たに検出されたデフォーカス量とに基づいて同じ被写体を継続的に捕捉できているかどうかを判定するための閾値を設定する設定手段と、前記焦点検出手段により検出されたデフォーカス量に基づいて、画角内の被写体を検出する被写体検出手段と、を有し、前記設定手段は、前記閾値として、被写体の捕捉し易さを示す難易度情報が第１の難易度よりも高い第２の難易度を示す場合に、前記第１の難易度の場合よりも、同じ被写体を継続的に捕捉できていると判定しにくい閾値を設定し、前記難易度情報は、前記被写体の大きさを含み、前記被写体の大きさが小さいほど難易度が高いことを特徴とする。

【発明の効果】

【0012】

本発明によれば、様々な条件下でより適切に被写体を追従することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。

【図2】第１の実施形態におけるサーボ撮影モードにおける撮影処理を示したフローチャート。

【図3】第１の実施形態における焦点調節処理のフローチャート。

【図4】第１の実施形態における焦点検出処理のフローチャート。

【図5】第１の実施形態における連続性判定処理のフローチャート。

【図6】第１の実施形態における動体予測処理のフローチャート。

【図7】第１の実施形態における連続性判定閾値設定処理のフローチャート。

【図8】デフォーカスマップの一例を示す図。

【図9】過去の焦点検出履歴と予測曲線の一例を示す図。

【図10】カメラから比較的近い場所に静止していた被写体が急加速したときの像面位置の変化の一例を示す図。

【図11】被写体を捉え続けにくい状況の一例を示す図。

【図12】第２の実施形態における連続性判定閾値設定処理のフローチャート。

【図13】第３の実施形態における焦点検出処理のフローチャート。

【図14】被写体の動き特性のユーザ設定画面の一例を示す図。

【図15】変形例における撮像素子の画素配列を説明する図。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0015】

＜第１の実施形態＞
図１は、第１の実施形態における撮像装置の一例として、デジタル一眼レフカメラの構成を示すブロック図である。

【0016】

撮影レンズ１０１（撮影光学系）は、簡易的に１枚のレンズにより表されているが、実際には焦点調節を行うためのフォーカスレンズを含む、複数のレンズから構成される。レンズ駆動回路１０２は、たとえばＤＣモータやステッピングモータを有し、撮影レンズ１０１を駆動制御する。当該駆動制御は、レンズ内マイクロコンピュータ１４１によって指示されるが、当該駆動制御のための駆動要求はマイクロコンピュータ１２４からレンズ通信回路１０３を用いて伝搬される。

【0017】

レンズ通信回路１０３は、マイクロコンピュータ１２４からの各種アクチュエータの駆動要求をレンズ内マイクロコンピュータ１４１へ伝搬すると共に、各種アクチュエータの状態情報をマイクロコンピュータ１２４へ伝搬する。

【0018】

絞り１０４は、絞り駆動回路１０５により駆動され、カメラに入射する光束を制御するために用いられる。絞り駆動回路１０５は、マイクロコンピュータ１２４によって算出された駆動量に基づき、レンズ内マイクロコンピュータ１４１により制御されることで、絞り１０４の光学的な絞り値を変化させる。

【0019】

距離測定回路１４２は、撮影レンズ１０１が有するフォーカスレンズの位置をもとに、カメラから被写体までの距離を算出する。なお、フォーカスレンズの位置を用いた距離測定方法は一例であり、たとえば赤外線照射などの手法を用いてもよい。また、本構成では距離測定回路１４２はレンズ側に構成され、レンズ内マイクロコンピュータ１４１によって制御されているが、カメラ本体側に構成し、マイクロコンピュータ１２４によって制御されてもよい。

【0020】

主ミラー１０６は、常時はファインダー部（不図示）へと光束を導くよう反射させるように光路内に配されているが、撮影が行われる場合には、撮像素子１１３へと光束を導くように上方に跳ね上がり、光路から待避する。すなわち、撮影レンズ１０１から入射した光束をファインダー側に導くか、撮像素子１１３側に導くかを切替える。また主ミラー１０６はその中央部が光の一部を透過できるようにハーフミラーとなっている。サブミラー１０７は、主ミラー１０６を透過した光束を反射させて、焦点検出を行うための焦点検出回路１１０内に配置された焦点検出センサに導く。

【0021】

ペンタプリズム１０８は主ミラー１０６が反射した光束をファインダー部（不図示）へと導く。ファインダー部は他にピント板、アイピースレンズ（不図示）などを有する。測光回路１０９は、ピント板（不図示）に結像された被写体像の色および明るさを、測光回路１０９内に配置された、カラーフィルタを備えた測光センサによって、電気信号に変換する。

【0022】

焦点検出回路１１０は、複数のエリアセンサからなる焦点検出センサを内蔵しており、主ミラー１０６を透過し、サブミラー１０７により反射された光束が焦点検出センサに入射することによって、焦点検出センサ内で分光された一対の像信号を得る。そして、得られた一対の像信号の相対位置の変位量である像ずれ量を求めることで、撮影レンズ１０１のデフォーカス量を検出する。焦点検出回路１１０にて得られたデフォーカス量は、マイクロコンピュータ１２４へ伝搬され、撮影レンズ１０１の制御量に変換された後、レンズ通信回路１０３を経由してレンズ内マイクロコンピュータ１４１へ伝搬される。

【0023】

フォーカルプレーンシャッター１１１は、カメラに設定されたシャッター速度に応じてシャッター駆動回路１１２により駆動される。

【0024】

撮像素子１１３には、ＣＣＤやＣＭＯＳセンサなどが用いられ、撮影レンズ１０１によって結像された被写体像を電気信号に変換する。

【0025】

クランプ回路１１４及びＡＧＣ回路１１５は、撮像素子１１３から出力された電気信号をＡ／Ｄ変換をする前に基本的なアナログ信号処理を行う回路であり、マイクロコンピュータ１２４により、クランプレベルやＡＧＣ基準レベルの変更が行われる。Ａ／Ｄ変換器１１６は、クランプ回路１１４及びＡＧＣ回路１１５により処理された撮像素子１１３のアナログ出力信号をデジタル信号（画像データ）に変換する。

【0026】

映像信号処理回路１１７は、ゲートアレイなどのロジックデバイスにより実現され、デジタル化された画像データに、フィルタ処理、色変換処理、ガンマ処理を行うと共に、ＪＰＥＧなどの圧縮処理を行い、メモリコントローラ１２０に出力する。また、映像信号処理回路１１７は、必要に応じて、撮像素子１１３の信号の露出情報やホワイトバランスなどの情報をマイクロコンピュータ１２４に出力することが可能である。これらの情報を基に、マイクロコンピュータ１２４は、ホワイトバランスやゲイン調整の指示を行う。

【0027】

なお、連続撮影動作の場合においては、撮影データを未処理のまま一旦バッファメモリ１２３に格納し、メモリコントローラ１２０を通して未処理の撮影データを読み出し、映像信号処理回路１１７にて画像処理や圧縮処理を行うことで、連続撮影を行う。連続撮影枚数は、バッファメモリ１２３の大きさに左右される。連続撮影時には、メモリコントローラ１２０は、映像信号処理回路１１７から入力された未処理のデジタル画像データをバッファメモリ１２３に格納し、処理済みのデジタル画像データをメモリ１２１に格納する。また、メモリコントローラ１２０は、バッファメモリ１２３やメモリ１２１から画像データを映像信号処理回路１１７に出力する。なお、メモリ１２１は取り外し可能であってもよい。更に、メモリコントローラ１２０は、コンピュータ等と接続可能な外部インターフェイス１２２を介して、メモリ１２１に記憶されている画像を出力することができる。

【0028】

操作部１２５は、マイクロコンピュータ１２４に操作部１２５に接続された各種操作部材の状態を伝え、マイクロコンピュータ１２４は操作部材の変化に応じて各部をコントロールする。操作部１２５に接続される操作部材は、スイッチ１（ＳＷ１）１２６と、スイッチ２（ＳＷ２）１２７を含む。ＳＷ１（１２６）、ＳＷ２（１２７）の操作状態を操作部１２５が解釈し、ＳＷ１（１２６）の操作のみ有効な状態（ＯＮ）であれば、オートフォーカス（ＡＦ）開始要求イベントとして取り扱う。また、ＳＷ２（１２７）の操作が有効な状態（ＯＮ）であれば撮影要求イベントとして取り扱う。また、ＳＷ２（１２７）が操作されている状態（ＯＮ）が維持されている場合には、連続撮影動作を行う。操作部１２５には、他に、ＩＳＯ設定ボタン、画像サイズ設定ボタン、画質設定ボタン、情報表示ボタンなど、不図示の操作部材が接続されており、各操作部材の状態が検出される。

【0029】

液晶駆動回路１２８は、マイクロコンピュータ１２４の表示命令に従って、外部液晶表示部材１２９やファインダー内液晶表示部材１３０を駆動する。ファインダー内液晶表示部材１３０には、不図示のＬＥＤなどのバックライトが配置されており、そのＬＥＤも液晶駆動回路１２８で駆動される。マイクロコンピュータ１２４は、撮影前に設定されているＩＳＯ感度、画像サイズ、画質に応じた、画像サイズの予測値データをもとに、メモリコントローラ１２０を通して、メモリの容量を確認した上で撮影可能残数を演算することができる。そして、必要に応じて、撮影可能残数を外部液晶表示部材１２９やファインダー内液晶表示部材１３０に表示する。

【0030】

不揮発性メモリ１３１（ＥＥＰＲＯＭ）は、カメラに電源が入れられていない状態でも、データを保存することができる。電源部１３２は、各ＩＣや駆動系に必要な電源を供給する。

【0031】

動き検出回路１４０は、デジタル一眼レフカメラの動きを検出する検出部を搭載している。検出部は例えば加速度センサであり、カメラ本体の水平軸を回転軸としたときの加速度、及び、カメラ本体の垂直軸を回転軸としたときの加速度を検出する。

【0032】

なお、本実施形態では、動き検出回路１４０はカメラ本体側に構成され、マイクロコンピュータ１２４によって制御されているが、レンズ側に構成し、レンズ内マイクロコンピュータ１４１によって制御されてもよい。また、レンズは、カメラ本体に着脱可能なものであっても、カメラ本体と一体的に構成されたものであってもよい。

【0033】

次に、本発明の第１の実施形態における撮影処理の動作について説明する。一般にカメラのＡＦモードとしては、合焦動作を一回行って終了するモード（ワンショット撮影モード）と、現在の時刻よりも後の時刻の被写体の像面を予測しながら合焦動作を繰り返し行ってレンズを駆動するモード（サーボ撮影モード）の２種類がある。第１の実施形態では、カメラがサーボ撮影モードに設定されている場合の処理について説明する。

【0034】

図２は、サーボ撮影モードによる撮影処理を示すフローチャートである。Ｓ２０１において、マイクロコンピュータ１２４は、撮影モードを確認する。現在の撮影モードがサーボ撮影モードではないと判断されると、処理を終了する。一方、撮影モードがサーボ撮影モードであると判断された場合にはＳ２０２へ遷移する。

【0035】

Ｓ２０２において、マイクロコンピュータ１２４は、操作部１２５により得られるＳＷ１の状態を確認する。ＳＷ１がＯＦＦの場合はＳ２０１へ遷移し、ＳＷ１がＯＮであればＳ２０３へ遷移する。

【0036】

Ｓ２０３では、焦点検出回路１１０が焦点調節処理を行う。なお、Ｓ２０３における処理の詳細は、図３を参照して後述する。

【0037】

次にＳ２０４において、マイクロコンピュータ１２４は、操作部１２５から得られるＳＷ２の状態を確認する。ＳＷ２がＯＦＦの場合はＳ２０１へ遷移し、ＳＷ２がＯＮであればＳ２０５へ遷移する。

【0038】

Ｓ２０５では、マイクロコンピュータ１２４は、シャッター駆動回路１１２を介してフォーカルプレーンシャッター１１１を駆動させ、撮影を行う。撮影の終了後、Ｓ２０１に戻る。

【0039】

以上説明したように、サーボ撮影モードにてＳＷ１がＯＮである場合、モード変更されない限り、Ｓ２０３の焦点調節処理が繰り返し実施される。

【0040】

次に、図３を参照して、Ｓ２０３における焦点調節処理の概要について説明する。

【0041】

Ｓ３０１において、マイクロコンピュータ１２４は、焦点検出とそれに伴う一連の処理を行う。なお、Ｓ３０１における処理の詳細は、図４を参照して後述する。

【0042】

Ｓ３０２において、マイクロコンピュータ１２４は、Ｓ３０１の処理により得られた焦点検出結果から、サーボ撮影モードにてフォーカス追従動作させていた対象の被写体を引き続きフォーカス追従（以降、「被写体捕捉」と呼ぶ。）できているか否かを判定する、連続性判定処理を行う。詳細は図５を参照して後述するが、引き続き被写体捕捉ができていれば、フラグＦｌａｇＣａｔｃｈＦａｉｌ＝０となり、被写体捕捉の失敗時にはフラグＦｌａｇＣａｔｃｈＦａｉｌ＞０となるように処理される。

【0043】

Ｓ３０３において、マイクロコンピュータ１２４は、焦点検出履歴から、捕捉中の被写体がどのような動きをしているかを予測する、動体予測処理を行う。なお、Ｓ３０３における処理の詳細は図６を参照して後述する。Ｓ３０３の処理の中で、マイクロコンピュータ１２４は、撮影レンズ１０１を構成するフォーカスレンズを駆動するためのフォーカスレンズ駆動量を算出する。

【0044】

次にＳ３０４において、マイクロコンピュータ１２４は、Ｓ３０２内で設定されたフラグＦｌａｇＣａｔｃｈＦａｉｌの値を確認する。ＦｌａｇＣａｔｃｈＦａｉｌが０より大きい場合、すなわち、被写体補足に失敗した場合にはＳ３０５へ遷移し、そうでない場合、すなわち、被写体補足ができた場合にはＳ３０６へ遷移する。

【0045】

Ｓ３０５では、今回の焦点検出結果が引き続き被写体捕捉できたと認められなかった場合の処理として、レンズ駆動を禁止し、焦点検出処理を終了する。なお、レンズ駆動の禁止処理としては２通り挙げられ、いずれを選択してもよい。１つ目は、マイクロコンピュータ１２４がレンズ通信回路１０３を経由してレンズ内マイクロコンピュータ１４１へ撮影レンズ１０１に含まれるフォーカスレンズを停止させるよう要求する方法である。２つ目は直前のＳ３０１における焦点検出処理にて得られたデフォーカス量に基づく駆動要求を実施しないようにする方法である。

【0046】

一方、Ｓ３０６では、今回の焦点検出結果が引き続き被写体捕捉できたと認められた場合の処理を行う。ここでは、マイクロコンピュータ１２４が、レンズ通信回路１０３を経由してレンズ内マイクロコンピュータ１４１に対して撮影レンズ１０１に含まれるフォーカスレンズの駆動を要求し、焦点調節処理を終了する。

【0047】

図４は、Ｓ３０１で行われる焦点検出処理の動作の一例を示す。Ｓ４０１で、マイクロコンピュータ１２４は、過去の焦点検出履歴に基づいて、今回の焦点検出結果が引き続き被写体捕捉できているかどうかを判定するための連続性判定閾値の設定を行う。なお、Ｓ４０１における処理の詳細は図７を参照して後述する。

【0048】

次に、Ｓ４０２において、マイクロコンピュータ１２４は、焦点検出回路１１０を駆動して、焦点検出を行う。

【0049】

Ｓ４０３で、マイクロコンピュータ１２４は、Ｓ４０２における焦点検出結果であるデフォーカス量（以降、「検出デフォーカス量」と呼ぶ。）を、図８に示すように、焦点検出した測距点に対応するように行列に記載した、デフォーカスマップを作成する。

【0050】

ここで図８（ａ）から（ｄ）を用いて、本実施形態で作成するデフォーカスマップについて説明する。

【0051】

８０１は、撮像素子１１３により得られる画像領域に相当し、８０２は、焦点検出回路１１０に含まれる焦点検出センサ部のセンサ領域を示している。本実施形態の焦点検出センサ部は、縦方向に７分割、横方向に７分割された合計４９枠の測距点によって構成されているものとする。８０３～８０５は、分割された測距点の一部を差し示している。デフォーカスマップの作成時には、その各測距点ごとに測距結果が得られる構成となっている。

【0052】

図８（ａ）に示す構図では、撮影者（カメラ）に対して近景側に存在する被写体８０６と遠景側に存在する被写体８０７とが同一画面内に存在するケースを示しており、遠景側の人物８０７に焦点が合っている。このときのデフォーカスマップは、図８（ｂ）に示すように、遠景側の人物８０７の位置に設定された測距点８０９では検出デフォーカス量０、手前側の人物８０６の位置に設定された測距点８０８では検出デフォーカス量が負の値となっている。さらに、背景の位置に設定された測距点では検出デフォーカス量が正の値となっている。

【0053】

同様に、図８（ｃ）では手前側の人物８１０に焦点が合い、遠景側の被写体８１１にはピントが合っていない状態となっている。このときのデフォーカスマップは図８（ｄ）に示すように、手前側の人物８１０の位置に設定された測距点８１２では検出デフォーカス量０、遠景側の人物８１１の位置に設定された測距点８１３では検出デフォーカス量が正の値となっている。さらに、背景の位置に設定された測距点では検出デフォーカス量がさらに大きな正の値となっている。

【0054】

Ｓ４０４において、マイクロコンピュータ１２４は、Ｓ４０３で作成したデフォーカスマップから、主測距点を選択する。具体的には、前回までの焦点検出結果に基づいて、今回の焦点検出時には被写体が撮影者（カメラ）に対して近づいているか、または遠ざかっているか、すなわち奥行方向にどれだけ移動しているかを予測しておき、この結果に最も近い測距点を主測距点とする。なお、ユーザの設定したモードが測距点を複数設定する多点方式でなかった場合、ユーザ指定の測距点を主測距点と定める。

【0055】

Ｓ４０５において、マイクロコンピュータ１２４は、Ｓ４０３で作成したデフォーカスマップを用いて、被写体領域を抽出する。具体的には、Ｓ４０４で選択した主測距点の周囲で、主測距点とのデフォーカス量の差が一定値以内である領域を被写体領域とする（被写体検出）。

【0056】

次に、Ｓ４０６において、マイクロコンピュータ１２４は、Ｓ４０３で作成したデフォーカスマップを用いて、障害物を抽出する。具体的には、Ｓ４０５で抽出した被写体領域よりも至近側の合焦位置を示すデフォーカス量が検出された領域をデフォーカスマップから抽出し、障害物とみなす。

【0057】

以上の処理によってＳ３０１の焦点検出処理を完了し、過去の焦点検出履歴に基づく連続性判定のための閾値の決定と、焦点検出処理による焦点検出結果の取得および、検出デフォーカス量に基づくデフォーカスマップの作成を実施している。そしてデフォーカスマップからは、主被写体の領域の抽出と、障害物がある場合には障害物の占めるデフォーカスマップ上の領域を特定することができ、以上の情報がＳ３０２の連続性判定処理以降に参照される。

【0058】

図５は、Ｓ３０２で行われる連続性判定処理の動作の一例を示す。Ｓ５０１において、マイクロコンピュータ１２４は、Ｓ４０５で検出した主測距点の検出デフォーカス量とＳ４０１で設定した連続性判定閾値の大きさの比較を行う。検出デフォーカス量がＳ４０１で決定した連続性判定閾値よりも小さければＳ５０２へ遷移し、連続性判定閾値以上であればＳ５０３に遷移する。

【0059】

Ｓ５０２では、マイクロコンピュータ１２４は、今回の焦点検出結果から引き続き被写体捕捉ができていると判定し、フラグＦｌａｇＣａｔｃｈＦａｉｌを０に設定し、連続性判定処理を終了する。

【0060】

Ｓ５０３では、マイクロコンピュータ１２４は、今回の焦点検出結果から被写体捕捉ができていないと判定し、フラグＦｌａｇＣａｔｃｈＦａｉｌをインクリメントする。なお、フラグＦｌａｇＣａｔｃｈＦａｉｌは、Ｓ５０２における処理の他に、カメラの起動時、サーボ撮影モードの設定時等の予め決められたタイミングで初期値０に設定される。

【0061】

Ｓ５０４では、マイクロコンピュータ１２４は、フラグＦｌａｇＣａｔｃｈＦａｉｌが１であるかどうか、すなわち今回初めて被写体補足に失敗したと判断されたかどうかを判定する。フラグＦｌａｇＣａｔｃｈＦａｉｌが１であればＳ５０６へ遷移し、そうでなければＳ５０５に遷移する。

【0062】

Ｓ５０６において、マイクロコンピュータ１２４は、経過観察タイマを設定したうえで、連続性判定処理を終了する。経過観察タイマは、被写体捕捉できたと判定されるまで待機する最大の時間を示す。経過観察タイマを設定することによって、経過観察タイマのカウント中であれば、被写体捕捉に失敗した被写体を再度検出できたときに、すぐに追従を再開することができる。

【0063】

一方、Ｓ５０５では、マイクロコンピュータ１２４は、経過観察タイマが満了しているかどうかを判定する。経過観察タイマが満了していればＳ５０７へ遷移し、そうでなければ連続性判定処理を終了する。

【0064】

Ｓ５０７において、マイクロコンピュータ１２４は、過去の焦点検出履歴や追尾などのデータを消去し、フラグＦｌａｇＣａｔｃｈＦａｉｌをクリアして連続性判定処理を終了する。このように、ユーザが意図的に被写体を変更したときなどは、経過観察タイマが満了すると、すぐに新しい被写体への追従を始めることができる。

【0065】

図６は、Ｓ３０３で行われる動体予測処理の動作の一例を示す。Ｓ６０１では、Ｓ３０１における今回の焦点検出結果を過去の焦点検出履歴に加え、不揮発性メモリ１３１あるいはマイクロコンピュータ１２４内の記憶領域に格納する。焦点検出履歴に記録する情報は、今回の焦点検出時刻と像面位置である。なお、像面位置とは、検出デフォーカス量と現在のフォーカスレンズの位置から算出される、被写体にピントが合うフォーカスレンズの位置のことである。

【0066】

Ｓ６０２において、マイクロコンピュータ１２４は、動体予測を行う条件に当てはまるかどうかを判断する。条件としては、例えば複数回連続で同じ方向に像面位置が動いたかどうかの判定などが挙げられる。動体予測を行う条件に当てはまればＳ６０３へ遷移し、そうでなければＳ６０６に遷移する。

【0067】

Ｓ６０３で、マイクロコンピュータ１２４は、過去の焦点検出履歴から、図９に示すような予測曲線を引くことで予測駆動量と焦点検出結果のばらつきを算出する。図９の縦軸は像面位置を、横軸は時間を示し、縦軸の像面位置が大きいほど距離が遠いことを示しており、図の履歴は撮影者（カメラ）に近付く被写体を追従している様子を示している。前述した通り、Ｓ２０３における焦点調節処理はサーボ撮影モードでは周期的に実施されており、Ｔ_１～Ｔ_５は各々、Ｓ２０３で行われる焦点調節処理の実施時刻を表している。予測駆動量は、例えば過去の像面位置とそれぞれの焦点検出時刻を用いた一括最小二乗法によって予測曲線を導出し、この曲線をもとに予測先時刻での像面位置を算出することで得られる。予測先時刻はＳＷ２がＯＮであれば撮影時の時刻を、そうでなければ今回の焦点検出時刻を示す。

【0068】

Ｓ６０４では、マイクロコンピュータ１２４は、Ｓ６０３で算出した焦点検出結果のばらつきを踏まえて、最終的に予測フォーカス駆動を行うかどうかの判定を行う。具体的には、ばらつきが一定値以上であれば、予測を信用できないと判断し予測フォーカス駆動を行わず、ばらつきが一定値未満であれば、予測を信用していいと判断し予測フォーカス駆動を行う。予測フォーカス駆動を行うと判断した場合Ｓ６０５へ遷移し、そうでなければＳ６０６に遷移する。

【0069】

予測フォーカス駆動とは、図９にて説明した予測曲線に基づき現在の像面位置Ｌ３から将来のピントを合わせたい時刻における像面位置までレンズを駆動させる制御である。図９の黒丸は検出デフォーカス量から求めた像面位置を、白丸は予測する像面位置を示す。例えば図９のＴ_４の時刻で検出したデフォーカス量がｘであったとする。ここでレンズ駆動してＴ_５の時点でピントを合わせることを狙う場合には、デフォーカス量ｙに相当するレンズ駆動を要求することとなる。このデフォーカス量ｙを算出するには、過去の焦点検出結果から近似曲線を引き、これを予測曲線として、Ｔ_５での像面位置を予測する必要がある。このように、Ｔ_４で焦点検出を行って、Ｔ_５での合焦を狙うため、デフォーカス量ｙだけフォーカス駆動を行う場合のレンズ駆動を、予測フォーカス駆動という。一方、予測フォーカス駆動を行わない場合、すなわち過去の焦点検出履歴から予測を行わない、もしくは予測結果を利用しない場合、フォーカス駆動量はデフォーカス量ｘ、すなわち検出デフォーカス量となる。

【0070】

Ｓ６０５では、マイクロコンピュータ１２４は、フォーカス駆動量を予測駆動量に設定し、動体予測処理を終了する。一方、Ｓ６０６では、マイクロコンピュータ１２４は、フォーカス駆動量を検出デフォーカス量に設定し、動体予測処理を終了する。

【0071】

次に図７を参照して、Ｓ４０１で行われる連続性判定閾値設定処理の動作の一例を示す。連続性判定閾値とは、引き続き被写体捕捉ができているかを判定するための閾値のことであり、上述したＳ５０１における比較処理で用いられる。上述した様に、検出デフォーカス量が連続性判定閾値よりも大きい値であれば被写体捕捉に失敗しており、そうでなければ被写体捕捉に成功していると判定する。

【0072】

Ｓ７０１において、マイクロコンピュータ１２４は、前回の焦点検出時に距離測定回路１４２で計測した被写体距離情報を、レンズ内マイクロコンピュータ１４１、レンズ通信回路１０３を介して受信することで、現在捕捉中の被写体がカメラに対して一定以上の距離であるかどうかを判定する。被写体がカメラに対して一定以上の距離であればＳ７０２へ遷移し、そうでなければＳ７０３に遷移する。

【0073】

Ｓ７０２で、マイクロコンピュータ１２４は、連続性判定閾値を第一の閾値に設定し、連続性判定閾値設定処理を終了する。

【0074】

一方、Ｓ７０３において、マイクロコンピュータ１２４は、被写体をどれだけ捕捉しやすい条件であるかを示す、被写体捕捉難易度Ｄを算出する。本実施形態では、被写体捕捉難易度を表す情報（難易度情報）として、前回の焦点検出時にＳ４０５で得られた被写体領域の画角内におけるサイズ、Ｓ４０６で得られた障害物の有無、動き検出回路１４０で検出した角速度情報により得られるカメラの振れ情報の３つを用いる。これらの情報に基づいて、被写体捕捉難易度Ｄを以下の式（１）により導出する。

Ｏ_Ｄは、検出した被写体領域よりも至近側の合焦位置を示すデフォーカス量が検出された測距点の数を示す。Ｏ_Ａは、Ｏ_Ｄの算出のために参照する点数を示し、この最大値は画角全体の測距点の数である。Ｊ_Ｄは、動き検出回路１４０で検出したカメラ振れ量の絶対値を示す。Ｊ_Ｐは、カメラ振れ量Ｊ_Ｄの許容最大値を示す。Ｓ_Ｃは、主測距点と近いデフォーカス量が検出された測距点の数を示す。Ｓ_Ａは、Ｓ_Ｃの算出のために参照する点数を示し、この最大値は画角全体の測距点の数である。Ｓ_Ｐは、被写体サイズ許容最小量を示し、測距点数で表わされる。

【0075】

上記の被写体捕捉難易度Ｄは０以上１以下の値であり、値が大きいほど被写体を捕捉しやすく、小さいほど被写体を捕捉しにくいことを表す。

【0076】

Ｓ７０３で算出した被写体捕捉難易度に基づいて、マイクロコンピュータ１２４は、Ｓ７０４で被写体を捕捉しやすいかどうかを判断する。一例として、Ｄ≧０．５であった場合、被写体が捕捉し易く、そうでない場合は、被写体が捕捉しにくいと判断する。Ｄ≧０．５であった場合、すなわち被写体を捕捉しやすいと判断した場合、Ｓ７０５へ遷移し、そうでなければＳ７０６に遷移する。

【0077】

Ｓ７０５で、マイクロコンピュータ１２４は、連続性判定閾値を、第一の閾値よりも大きい第二の閾値に設定し、連続性判定閾値設定処理を終了する。この第二の閾値は、被写体距離によって可変であって、至近であるほど大きくなる。

【0078】

Ｓ７０６で、マイクロコンピュータ１２４は、連続性判定閾値を第二の閾値よりも小さい第三の閾値に設定する。Ｓ７０４で、現在の撮影状況では被写体を捕捉しにくいと判定されているので、連続性判定閾値を第二の閾値に設定してしまうと、引き続き被写体捕捉ができていなくても、それを現在捕捉中の被写体の動きの変化だと判断してしまう可能性がある。そこで、Ｓ７０６では第二の閾値よりも小さく、被写体補足難易度Ｄに応じて段階的に値を取れる、第三の閾値を採用する。一例として、同じ被写体距離での第二の閾値をＤ_２、第一の閾値をＤ_１とすると、第三の閾値Ｄ_３は
Ｄ_３＝（Ｄ_２－Ｄ_１）・２Ｄ＋Ｄ_１ …（２）
と表現することができる。このようにすることで、第三の閾値Ｄ_３は被写体補足難易度に応じて段階的に第一の閾値Ｄ_１と第二の閾値Ｄ_２の間の値を取ることができる。以上のように連続性判定閾値を第三の閾値と設定し、連続性判定閾値設定処理を終了する。

【0079】

次に、第１の実施形態で得られる効果について、図１０及び図１１を用いて説明する
図１０は、カメラから比較的近い場所に静止していた被写体がカメラから遠ざかる方向に急加速したときの、像面位置の変化を示す。横軸は時刻、縦軸は像面位置を示す。縦軸が大きいほど被写体距離は大きくなる。点ｔ_１、ｔ_２、ｔ_３のように、被写体が静止している間は、像面位置が変化しない。しかし、被写体が急加速すると、点ｔ_５のようにこれまで静止していた過去の焦点検出履歴の傾向からでは予測できない大きなデフォーカス量変化が観測される。このように、静止した状態から急速に動き出す被写体の追従は、被写体の動きの特性がこれまでの焦点検出履歴と大きく異なっているために、次の瞬間に大きな動きをすると予想するのが難しい。さらに撮影者（カメラ）と被写体の距離が近いほど、被写体が動いた瞬間の像面移動量が非常に大きく観測される。そのため、近景で静止した状態から急速に動き出す被写体の追従は特に測距履歴の連続性を観測することが難しくなってしまう。

【0080】

そこで本実施形態では、被写体がカメラから比較的近い場所にあるときに連続性判定閾値を大きくすることで、このような急激な像面位置変化に対応できるようになる。

【0081】

一方、図１１のように、被写体の手前に障害物がある場合（図１１（ａ））、被写体が小さい場合（図１１（ｂ））、カメラが振れている場合等の被写体を捉え続けにくい状況で、単純に被写体までの距離に応じた対策を行うと、追従対象ではない被写体を捉えてしまう可能性がある。そこで、本願発明では、被写体を捉え続けにくい状況である場合を判定し、連続性判定閾値を抑えることで、追従対象ではない被写体を捕捉対象として誤検知しないようにする。

【0082】

以上説明した通り、本実施形態では、今回の焦点検出結果が現在捕捉中の被写体を引き続き捕捉できているかどうか判定するための閾値を近景において大きな値に設定する。これは、撮影者（カメラ）と被写体の距離が近いほど、被写体の動きに対し検出されるデフォーカス量変化が大きくなるためである。更に被写体の捕捉しにくさを評価し、この評価結果に応じて今回の焦点検出結果が現在捕捉中の被写体を引き続き捕捉できているかどうか判定するための閾値を動的に変化させた。具体的には、前回焦点検出時点でのデフォーカス情報より得られる対象被写体の画角内のサイズ、障害物の有無、角速度情報により得られるカメラの振れ情報の３つで評価した。これによって、近景で急に動き出す被写体に対しても追従を可能とした。また、所望でない被写体を捕捉対象として誤検知しやすい環境では、近景での被写体追従性を保持しつつ誤検知を抑えることを実現可能とした。

【0083】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では、第三の閾値が被写体の追従し易さによって変化する数値として設定される例を説明した。これに対し、第２の実施形態では、第三の閾値が第一の閾値と一致する、すなわち被写体を追従しにくい条件下では、被写体が前回と同一であると認めるデフォーカス量の差を大きくしない例について説明する。

【0084】

以下、図１２を参照して、本発明の第２の実施形態における連続性判定閾値設定処理について説明する。なお、第２の実施形態は、図４のＳ４０１における処理が第１の実施形態と異なり、図１２に示す処理が図７に示す処理の代わりに実行される。それ以外は第１の実施形態と同様であるため、説明を省略する。

【0085】

図１２は、第２の実施形態においてＳ４０１で行われる連続性判定閾値設定処理の動作の一例を示す図である。

【0086】

Ｓ１２０１では、マイクロコンピュータ１２４は、距離測定回路１４２により計測した被写体距離情報を、レンズ内マイクロコンピュータ１４１、レンズ通信回路１０３を介して受信することで、現在捕捉中の被写体がカメラに対して一定以上の距離であるかどうかを判定する。被写体が一定以上の距離であればＳ１２０２へ遷移し、そうでなければＳ１２０４に遷移する。

【0087】

Ｓ１２０２では、マイクロコンピュータ１２４は、連続性判定閾値を第一の閾値に設定し、連続性判定閾値設定処理を終了する。

【0088】

一方Ｓ１２０４において、マイクロコンピュータ１２４は、被写体を捕捉しにくいかどうかを判断する。ここでは、以下の３条件のいずれかに該当するかどうかを判定する。
・デフォーカス情報より得られる対象被写体の画角内のサイズが一定値より小さい
・障害物がある（画角内に所望の被写体の手前に写っている被写体がある）
・角速度情報により得られるカメラの振れ量が一定値より大きい
上述したいずれかの条件に該当する場合は、被写体を捕捉しにくく、そうでない場合は被写体を捕捉し易いと判断する。被写体を捕捉し易いと判断した場合はＳ１２０６へ遷移し、そうでなければＳ１２０２に遷移する。

【0089】

Ｓ１２０６で、マイクロコンピュータ１２４は、連続性判定閾値を第一の閾値よりも大きい第二の閾値に設定し、連続性判定閾値設定処理を終了する。この第二の閾値は、被写体距離に応じて可変であって、至近であるほど大きくなる。

【0090】

以上説明した通り、第２の実施形態では、被写体を追い続けられないことが危惧される場合には、デフォーカス量の差異が大きく出たときに同一被写体と認めにくくなるようにした。これにより、第１の実施形態に比べ、より連続性判定閾値を拡張しにくく設定することができ、特に誤った被写体を捕捉することを避けたい場合に適当である。また、演算量を減らすことができるため、全体のパフォーマンスに大きな影響を与えることがない。

【0091】

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第１の実施形態では、被写体の追従しにくさを評価する条件として、デフォーカス情報より得られる対象被写体の画角内のサイズ、障害物の有無、角速度情報により得られるカメラの振れ情報の３つを用いた。

【0092】

第３の実施形態では、カメラ姿勢とカメラ振れ情報から得られるパン・チルト情報あるいはｘｙ平面動きベクトル、被写界深度、ユーザ設定の被写体の動き特性、画像処理により取得される被写体サイズ、顔や動物などの被写体の個数、の情報（難易度情報）を用いて、被写体の補足しにくさを表現する。

【0093】

以下、図１３と被写体捕捉難易度算出方法の説明によって、本発明の第３の実施形態における被写体捕捉難易度の算出方法の違いについて説明する。なお、第３の実施形態では、第１の実施形態で説明した図４の処理の代わりに、図１３に示す処理を行うが、それ以外は第１の実施形態と同様であるため、説明を省略する。また、図１３において、図４における処理と同じ処理には同じ参照番号を付し、説明を省略する。

【0094】

図１３に示す焦点検出処理において、Ｓ１３０４で、マイクロコンピュータ１２４は、映像信号処理回路１１７で取得した画像から、人の顔・身体や動物といった、画像内における被写体の位置と数を抽出する。

【0095】

Ｓ１３０５で、マイクロコンピュータ１２４は、Ｓ１３０４で抽出した被写体の中から、主被写体を選択し、画面内の被写体サイズを算出する。主被写体としては、ユーザが予め設定した優先すべき被写体や、より大きく写っている被写体を優先的に選択する。

【0096】

Ｓ１３０６で、マイクロコンピュータ１２４は、Ｓ１３０５で抽出した主被写体の領域と、Ｓ１３０３で作成したデフォーカスマップを用いて、主測距点を決定する。

【0097】

次に、図７のＳ７０３で行われる被写体捕捉難易度の算出方法について、第１の実施形態との違いを説明する。なお、被写体捕捉難易度の算出方法は第１の実施形態と異なるが、その他の処理は図７の処理と同様であるため、説明を省略する。

【0098】

本実施形態では、上述したように、被写体捕捉難易度の算出に、ｘｙ平面動きベクトルあるいはパン・チルト情報、被写界深度、被写体の動き特性、被写体サイズ、被写体の個数を利用する。ｘｙ平面動きベクトルは、前回の焦点検出時にＳ１３０５で検出した主被写体の、その前の焦点検出時における画面上での位置の違いを表現したものである。パン・チルト情報は、動き検出回路１４０から得られたカメラ姿勢とカメラ振れ情報から算出される。被写界深度は、駆動回路１０５で駆動させた絞り量から算出され、被写体の動き特性は、図１４に示す選択画面にて予めユーザが設定する。被写体サイズは、Ｓ１３０５における画像処理により取得され、顔や動物などの被写体の個数は、Ｓ１３０４で検出されたものを用いる。なお、被写体の動き特性を「速い」に設定すると連続性判定閾値を大きく、「遅い」に設定すると連続性判定閾値を小さく設定できるようにする。このようにすることで、動きが速いと想定される被写体にはデフォーカス量の増減に対応しやすく、動きが遅いと想定される被写体には測距ノイズに左右されにくくすることができる。

【0099】

本実施形態における被写体捕捉難易度Ｄは、以下の式（３）により表すことができる。

式（３）において、Ｖ_Ｄは、観測したｘｙ平面動きベクトル（画面上での被写体の動きベクトル）を示す。Ｍ_Ｖは、被写体を安定的に追えていると考えられる画面上での被写体の動き量を示す。Ｅ_ｍは、許容できる最小の被写界深度を示す。Ｅ_Ｄは、今回のカメラ設定での被写界深度を示す。Ｅ_Ｍは、Ｅ_Ｄが取りうる最大値を示す。Ｉ_ｍは、被写体を安定的に追える限界の最小被写体サイズを示す。Ｉ_Ｄは、画像処理によって算出した被写体のサイズを示す。Ｉ_Ａは、画角のサイズを示す。Ｆ_Ｎは、被写体の動き特性設定値の全段数を示す。Ｆ_Ｕは、ユーザの設定した被写体の動き特性設定値を示す。Ｎは顔や動物などの被写体の個数を示す。なお、被写体を検出できなかったときであっても、Ｎの最小値は１とする。

【0100】

また、被写体が背景と同系色であるなど、被写体を捕捉しにくいことでｘｙ平面動きベクトルが観測できないことがある。このとき、式（３）には、ｘｙ平面動きベクトルＶ_Ｄの代わりに、観測したカメラのパン・チルトベクトルＰ_Ｄを用いる。更に、被写体を安定的に追えていると考えられる画面上での被写体の動き量Ｍ_Ｖの代わりに、被写体を安定的に追えると考えられるカメラの最大移動量Ｍ_Ｐを用いる。

【0101】

以上説明した通り第３の実施形態によれば、第１の実施形態とは異なる観点で被写体の捉えにくさを表現し、評価結果に応じて今回の焦点検出結果が現在捕捉中の被写体を引き続き捕捉できているか判定するための閾値を動的に変化させることができる。具体的には、カメラが揺れていても被写体が追従できていると推測できる状況ならば、被写体連続性判定閾値を小さくしないでよい。また、画像にどれだけの影響が出るかを考慮しながら閾値を設定することができる。さらに、他に画面上に見える別の被写体へのフォーカスの移り易さや、ユーザ設定の被写体の動き特性も加味した被写体連続性判定閾値とすることができる。

【0102】

＜変形例＞
上述した第１乃至第３の実施形態では、カメラが焦点検出専用の焦点検出回路１１０を有する場合について説明した。

【0103】

一方、近年では、１つのマイクロレンズに対して複数の光電変換部が設けられた撮像素子により瞳分割信号を取得し、得られた複数の瞳分割信号の位相差に基づいて焦点検出を行う、いわゆる像面位相差ＡＦが行われている。

【0104】

図１５は、像面位相差ＡＦを行うことができる撮像素子を構成する画素配列を示す図であり、撮像素子１１３として用いることができる。

【0105】

図１５に示す様に、マイクロレンズアレイを形成する各マイクロレンズ２０１に対して、複数の光電変換部２０１Ａ，２０１Ｂが対応するように配置されている。図中（０，０）、（１，０）、（０，１）等で示される各領域は、撮像素子における単位画素２０２を示し、各単位画素２０２は、１つのマイクロレンズ２０１と、複数の光電変換部２０１Ａ，２０１Ｂとから構成される。なお、本実施形態では単位画素２０２には２つの光電変換部２０１Ａ，２０１ＢがＸ軸方向に並べられた場合を示しているが、Ｙ軸方向に並べても、また、３つ以上の光電変換部を各マイクロレンズ２０１に対応するように構成しても良い。

【0106】

このように構成された、Ｘ軸方向に並ぶ複数の単位画素２０２のうち、瞳分割された光電変換部２０１Ａの焦点検出用信号群で構成した被写体像をＡ像、瞳分割された光電変換部２０１Ｂの焦点検出用信号群で構成した被写体像をＢ像とする。そして、Ａ像とＢ像に対して相関演算を実施することで、像のずれ量（位相差）を検出する。さらに、像のずれ量に対して焦点位置と光学系の特性に応じて決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報を基に、撮影レンズ１０１に含まれるフォーカスレンズを制御することで、焦点状態を検出する撮像面位相差ＡＦが可能となる。

【0107】

また、単位画素２０２毎に光電変換部２０１Ａの信号と光電変換部２０１Ｂの信号を加算して出力することで、画像信号（Ａ＋Ｂ像）を得ることができる。

【0108】

上述した撮像素子を用いた場合にも、第１乃至第３の実施形態で説明した処理を実施することができると共に、焦点検出回路１１０を省略することができる。

【0109】

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0110】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0111】

１０１：撮影レンズ、１０２：レンズ駆動回路、１０４：絞りユニット、１０５：絞り駆動回路、１０９：測光回路、１１０：焦点検出回路、１１３：撮像素子、１１７：映像信号処理回路、１２４：マイクロコンピュータ、１２５：操作部材、１４０：動き検出回路、１４１：レンズ内マイクロコンピュータ、１４２：距離測定回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】