特許 7569169 撮像装置及びその制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-08

(45)【発行日】2024-10-17

(54)【発明の名称】撮像装置及びその制御方法及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241009BHJP

   H04N 23/611 20230101ALI20241009BHJP

   G06T 7/246 20170101ALI20241009BHJP

   G03B 15/00 20210101ALI20241009BHJP

【ＦＩ】

H04N23/60

H04N23/611

G06T7/246

G03B15/00 Q

【請求項の数】 6

(21)【出願番号】P 2020102514

(22)【出願日】2020-06-12

(65)【公開番号】P2021197623

(43)【公開日】2021-12-27

【審査請求日】2023-06-01

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】和田 彬子

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０１３－０９８７４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００－２５／７９

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ５／３０－５／３３

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－７／９０

Ｇ０３Ｂ １５／００－１５／０３５

Ｇ０３Ｂ １５／０６－１５／１６

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

所定のフレームレートで撮像を行う撮像手段を有する撮像装置であって、
前記撮像手段により得た現フレームの画像から主被写体の候補となる主被写体候補を検出する検出手段と、
該検出手段で検出された主被写体候補について、前記主被写体と同一か否かの判定処理を行い、前記主被写体と同一であると判定された主被写体候補を、現フレームにおける主被写体として判定する主被写体判定手段とを有し、
前記主被写体判定手段は、
前記検出手段で検出された現フレームの画像の２次元空間での前記主被写体候補の座標と前記主被写体の座標が、それぞれの被写体の種類に基づく距離の条件を満たすか否かを判定する第１の判定手段と、
前記検出手段で検出された現フレームにおける前記主被写体候補と前記主被写体との間の、前記撮像装置からの距離の差が所定の範囲内にあるか否かを判定する第２の判定手段と、
所定回数連続して、前記第１の判定手段、及び、前記第２の判定手段が、それぞれの条件を満たすか否かを判定する第３の判定手段とを含み、
前記主被写体判定手段は、
前記第３の判定手段により、前記所定回数連続して、前記第１の判定手段、及び、前記第２の判定手段が、それぞれの条件を満していると判定された場合、前記主被写体の乗り移りの実施があったと判定し、
前記第１乃至第３の判定手段のいずれかの条件を満たさないと判定した場合は、前記現フレームの画像における、予め設定された優先度の主被写体候補を主被写体として判定する
ことを特徴とする撮像装置。

【請求項2】

前記検出手段は、人物、動物の顔、体、物を検出することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記主被写体判定手段は、
前記第１の判定手段が前記距離の条件を満たすと判定し、且つ、前記第２の判定手段により前記撮像装置からの距離の差を求めるための前記主被写体候補の距離情報が得られなかった場合には、前記主被写体の２次元空間における時系列の変化量、前記主被写体としての追尾信頼度、ＡＦの信頼度に基づき、乗り移りの必要度を求め、当該必要度に応じて前記主被写体の乗り移りの実施を判定する手段を更に有する
ことを特徴とする請求項１又は２に記載の撮像装置。

【請求項4】

前記主被写体判定手段は、
前記第２の判定手段により前記主被写体候補の距離情報が得られないと判定した場合は、前記第１の判定手段における距離に係る条件、並びに、前記第３の判定手段における連続回数に係る条件を設定する設定手段を含む
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

所定のフレームレートで撮像を行う撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により得た現フレームの画像から主被写体の候補となる主被写体候補を検出する検出工程と、
該検出工程で検出された主被写体候補について、前記主被写体と同一か否かの判定処理を行い、前記主被写体と同一であると判定された主被写体候補を、現フレームにおける主被写体として判定する主被写体判定工程とを有し、
前記主被写体判定工程は、
前記検出工程で検出された現フレームの画像の２次元空間での前記主被写体候補の座標と前記主被写体の座標が、それぞれの被写体の種類に基づく距離の条件を満たすか否かを判定する第１の判定工程と、
前記検出工程で検出された現フレームにおける前記主被写体候補と前記主被写体との間の、前記撮像装置からの距離の差が所定の範囲内にあるか否かを判定する第２の判定工程と、
所定回数連続して、前記第１の判定工程、及び、前記第２の判定工程が、それぞれの条件を満たすか否かを判定する第３の判定工程とを含み、
前記主被写体判定工程は、
前記第３の判定工程により、前記所定回数連続して、前記第１の判定工程、及び、前記第２の判定工程が、それぞれの条件を満していると判定された場合、前記主被写体の乗り移りの実施があったと判定し、
前記第１乃至第３の判定工程のいずれかの条件を満たさないと判定した場合は、前記現フレームの画像における、予め設定された優先度の主被写体候補を主被写体として判定する
ことを特徴とする撮像装置の制御方法。

【請求項6】

撮像手段を有するコンピュータに読み込ませ実行させることで、前記コンピュータに、請求項５に記載の方法の各工程を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人物や動物の顔等の被写体検出を行い、検出した被写体に対して追尾および追尾制御を行う撮像装置に関する。

【背景技術】

【0002】

一般に、画像から特定の被写体パターン（例えば、人の顔の領域）を自動的に検出する画像処理手法が知られている。例えば、デジタルカメラなどの撮像装置では、撮影画像から特定の被写体の領域を検出し、その検出結果を制御対象として焦点および露出を最適化することが行われている。そして、撮像装置では、時間経過に伴う被写体の位置や形状変化にかかわらず同じ被写体を追尾し続けられるように追尾処理を行っている。この追尾処理には２つの方式がある。１つは、時系列での撮影画像に対する検出結果を比較して、相関の高い検出被写体に対して追尾を行う方式である。そして、もう１つは、撮影画像の特徴量を抽出し、撮影画像間の特徴量の一致度が高い領域に対して追尾を行うテンプレートマッチングを用いた追尾方式がある。

【0003】

最近は、人の顔領域のみならず、人の全身や人以外の被写体（例えば、動物）など、自動的に検出する被写体の種類を広げることによって、ユーザの狙っている被写体が撮影しやすいような技術の進化が進んでいる。

【0004】

しかし、被写体のサイズが小さい、正面向きでない等により、撮影対象である被写体の検出が難しい場面において、体の一部をモノとして検出した後にテンプレートマッチングを用いた追尾方式で撮影対象の被写体を追尾することがある。その際に追尾精度が悪いことが課題になっている。そのため、追尾対象の被写体の形状や色の変化によって追尾位置が安定しない状況や、色・輝度の似ている他の被写体を誤って追尾するような状況となり、顔検出を用いた追尾に比べて追尾精度が悪くなっていた。

【0005】

そのような状況において、テンプレートマッチングの方式で追尾を行っている際に撮影対象の被写体が検出できるようになった場合は、より追尾精度の高い撮影対象の被写体に切り替えて追尾を継続できることが望ましい。

【0006】

それらの状況に対して、特許文献１には、顔検出部及び別の検出手段（例えば人体検出）による顔検出領域の推定位置を比較して、同一の被写体かどうかの相関判定を行うことが開示されている。そして、特許文献１は、相関判定結果に応じて顔検出結果か人体検出結果からの推定領域のいずれかを被写体検出領域として選択する、という手法が提案されている。それによって、顔検出ができなかった場合についても人体などの他の検出結果を併用することで追尾精度の向上を実現している。

【0007】

また、特許文献２は、時系列に撮影された画像に対して、複数フレーム間での同一被写体の領域を識別する際に、前フレームの被写体と同色の領域であることと、デフォーカス量が所定の範囲内にあることを考慮して判定を行う手法を提案している。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１３－２２８９３０号公報

【文献】特開２０１９－８０７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１では顔検出と別の検出手段が同一の被写体かどうかの相関判定を行う際に顔検出手段と別の検出手段による推定領域の位置とサイズによって相関を取っているため、狙っている被写体の前後を一時的に通過した別被写体や、背景などで誤検出した顔に対しても誤って相関が高いと判定してしまうことが問題となっている。

【0010】

また、特許文献２では、距離の異なる被写体を同一の被写体と判定しないようにしているが、距離情報が取得できない場合の対処法を示していない。

【0011】

本発明は、背景などの距離の異なる被写体に対して同一被写体であると誤った判定を行わずに、距離情報が取得できない場合に対しても同一の被写体への乗り移りが有効な場合については乗り移りを実施することによって精度よく被写体の追尾ができる撮像装置を提供することである。

【課題を解決するための手段】

【0012】

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
所定のフレームレートで撮像を行う撮像手段を有する撮像装置であって、
前記撮像手段により得た現フレームの画像から主被写体の候補となる主被写体候補を検出する検出手段と、
該検出手段で検出された主被写体候補について、前記主被写体と同一か否かの判定処理を行い、前記主被写体と同一であると判定された主被写体候補を、現フレームにおける主被写体として判定する主被写体判定手段とを有し、
前記主被写体判定手段は、
前記検出手段で検出された現フレームの画像の２次元空間での前記主被写体候補の座標と前記主被写体の座標が、それぞれの被写体の種類に基づく距離の条件を満たすか否かを判定する第１の判定手段と、
前記検出手段で検出された現フレームにおける前記主被写体候補と前記主被写体との間の、前記撮像装置からの距離の差が所定の範囲内にあるか否かを判定する第２の判定手段と、
所定回数連続して、前記第１の判定手段、及び、前記第２の判定手段が、それぞれの条件を満たすか否かを判定する第３の判定手段とを含み、
前記主被写体判定手段は、
前記第３の判定手段により、前記所定回数連続して、前記第１の判定手段、及び、前記第２の判定手段が、それぞれの条件を満していると判定された場合、前記主被写体の乗り移りの実施があったと判定し、
前記第１乃至第３の判定手段のいずれかの条件を満たさないと判定した場合は、前記現フレームの画像における、予め設定された優先度の主被写体候補を主被写体として判定することを特徴とする。

【発明の効果】

【0013】

本発明によれば、精度良く主被写体の追尾が可能になる。

【図面の簡単な説明】

【0014】

【図1】実施形態における自動合焦装置の構成を示すブロック図。

【図2】主被写体選択の動作を示すフローチャート。

【図3】同一被写体判定の判定条件を示す概念図。

【図4】第１の実施形態における同一被写体判定の動作を示すフローチャート。

【図5】同一被写体判定の動作を示す概念図。

【図6】乗り移り判断の動作を示す図。

【図7】乗り移り判断の動作を示す概念図。

【図8】第２の実施形態における同一被写体判定の動作を示すフローチャート。

【図9】第２の実施形態における同一被写体判定の判定条件を示す図。

【発明を実施するための形態】

【0015】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0016】

［第１の実施形態］
図１は、実施形態が適用するデジタルカメラに代表される撮像装置のブロック構成図である。撮像装置は、撮像レンズ１０１、絞り１０２、フォーカスレンズ１０４、ＡＦ処理部１０５、撮像素子１０８、Ａ／Ｄ変換部１０９、画像処理部１１０、ＷＢ（ホワイトバランス）処理部１１１、フォーマット変換部１１２、ＲＡＭ１１３、画像記録部１１４を有する。また、電子カメラは、システム制御部１１５、ＶＲＡＭ１１６、操作表示部１１７、操作部１１８、スイッチ１２１、及び、被写体検出部１２３を有する。

【0017】

システム制御部１１５は、ＣＰＵ、当該ＣＰＵが実行するプログラムや各種設定値を格納したＲＯＭ、及び、ＣＰＵのワークエリアとして使用するＲＡＭを含む。そして、このＣＰＵは、ＲＯＭに格納されたプログラムを実行し、図１に示す各構成要素を制御する。なお、図１の構成の幾つかは、システム制御部１１５におけるＣＰＵ（つまり、ソフトウェア）で実現しても良い。

【0018】

撮影レンズ１０１は、ズーム機構を含み、被写体の光学像を撮像素子１０８に結像する。絞り１０２は、撮影レンズ１０１を介して入射した光量の制御および被写界深度の調節を行う。フォーカスレンズ１０４は、撮影レンズ１０１、絞り１０２を経た光学像を、撮像素子１０８の撮像面に合焦させる。ＡＦ処理部１０５は、システム制御部１１５からの制御信号に従いフォーカスレンズ１０４を駆動する。

【0019】

撮像素子１０８は、受光手段ないし光電変換手段として機能し、その撮像面に結像した光学像を電気信号に変換する。Ａ／Ｄ変換部１０９は、撮像素子１０８からの信号を
デジタル信号に変換する。このＡ／Ｄ変換部１０９は、らノイズを除去するＣＤＳ（相関二重サンプリング処理）回路やＡ／Ｄ変換前に処理を行う非線形増幅回路を含む。

【0020】

画像処理部１１０は、Ａ／Ｄ変換部１０９からの撮像画像データに対して、各種処理を行う。この画像処理部１１０は、撮像画像中の被写体の輝度を算出する輝度算出部、該輝度算出部の出力から特定周波数帯域の信号成分を抽出する抽出部を有する。

【0021】

ＷＢ処理部１１２は、システム制御部１１５の制御の下、画像処理部１１０を経た画像データのホワイトバランスに係る処理を行う。フォーマット変換部１１２は、画像処理部１１０を経た画像データのフォーマットを変換する。この変換には、符号化、復号に係る処理も含まれる。したがって、フォーマット変換部１１２は、記録媒体に記録された符号化画像データの復号処理も行う。ＲＡＭ１１３は、高速にアクセス可能な書き込み可能なメモリであり、ＳＲＡＭ，ＤＲＡＭ等である。画像記録部１１４は、ＳＤカード等の不揮発性の記憶媒体とのインターフェースとして機能し、記録媒体への記録処理、並びに、記録された画像データの読み出しを行う。

【0022】

ＶＲＡＭ１１６は、表示用の画像データを保持するメモリである。操作表示部１１７は、ＶＲＡＭ１１６に展開された画像の表示、並びに、操作補助のための表示、更には、カメラ状態の表示の他、撮影時には撮影画面と焦点検出領域を表示する。

【0023】

操作部１１８は、各種スイッチやボタン、更には、タッチパネル等を含み、ユーザの操作をシステム制御部１１５に伝達する機能を有する。

【0024】

スイッチ１２１は、ＡＦやＡＥ等の撮影スタンバイ動作を行うための合焦位置確定指示手段である撮影スタンバイスイッチ（ＳＷ１とも記す） である。このスイッチ１２１（ＳＷ１）が操作されることにより、フォーカスレンズ１０４の撮影のための合焦位置が確定される。

【0025】

被写体検出部１２３は、画像処理部１１０による処理で得た画像データから、様々な種類の被写体の検出を行い、検出した１つ又は複数の被写体情報（種類・位置・大きさ・信頼度・距離）を取得するとともに、ＡＦ処理部１０５、ＷＢ処理部１１１での処理対象となる主被写体を決定する。

【0026】

被写体検出部１２３は、さらに、時系列で連続した画像間で同じ被写体を主被写体として追尾するための追尾処理を行う。追尾処理の仕方としては、まず、今回の撮影したフレーム画像中の被写体の中に、前回の主被写体に対して、被写体情報（種類・位置・大きさ・信頼度・距離）に基づいて相関の高い被写体があるかを判定し、相関の高い被写体を主被写体として追尾する。そして、今回の撮影したフレーム中の検出被写体の中に、前回の主被写体と相関の高い被写体が見つからなかった場合は、被写体検出部１２３は、前回の主被写体の領域と今回撮影画像の特徴量（例えば、色など）を抽出して、前回の被写体の検出領域の特徴量との一致度の高い領域を主被写体として追尾する。

【0027】

ＲＡＭ１１３は、一時的な画像記憶手段としての高速バッファとして、或いは画像の圧縮・伸張における作業用メモリなどに使用される。操作部１１８は、例えば次の様なものが含まれる。撮像装置の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ、などである。

【0028】

次に、図２のフローチャートを参照して、実施形態における被写体検出部１２３で実施している主被写体の選択処理を説明する。ここでは、検出した被写体情報および追尾している被写体情報に対して、撮影対象となる主被写体の選択を行う。また、撮像素子１０８は、例えば３０フレーム／秒のフレームレートで撮像を行うものとし、図２は１フレームの画像データを取得した際の処理である。

【0029】

Ｓ２０１にて、被写体検出部１２３は、画像処理部１１０で処理された現フレームの画像データを参照して、被写体の検出処理を行う。検出対象としては、例えば、人物の顔や全身、動物の顔や全身、色・輝度の顕著な物体等である。被写体検出部１２３は、これらの検出対象の被写体に係る情報を取得する、被写体に係る情報としては、検出対象の被写体の種類、位置、大きさ、信頼度、距離が含まれる。そして、検出された被写体が、主被写体の候補として利用されることになる。

【0030】

Ｓ２０２にて、被写体検出部１２３は、前フレームに主被写体が存在したか否かを判定する。被写体検出部１２３は、前フレームに主被写体が存在したと判定した場合は処理をＳ２０３に、存在しなかったと判定した場合は処理をＳ２０６に分岐する。

【0031】

Ｓ２０３にて、被写体検出部１２３は、前フレームでの主被写体と相関の高い被写体を決定するための追尾処理を行い、現フレームの画像における主被写体候補を決定する。そして、被写体検出部１２３は、処理をＳ２０４へ進める。

【0032】

Ｓ２０４にて、被写体検出部１２３は、同一被写体判定処理（図３、４、５を参照して後述）を行い、処理をＳ２０５へ進める。ここでで、被写体検出部１２３は、Ｓ２０３で決めた主被写体候補に対してＳ２０１で検出された被写体が同一被写体と判定された場合は、同一被写体判定による乗り移りを実施し、検出された被写体を主被写体候補とする。同一被写体判定による乗り移りを実施しない場合は、ステップＳ２０３で決めた主被写体候補を引き続き主被写体候補とする。

【0033】

Ｓ２０５にて、被写体検出部１２３は、Ｓ２０３で設定した主被写体候補よりも、優先度高い被写体が存在するかどうかの判定を行い、主被写体の選択の動作を終了する。ここでは、優先度の高い被写体が存在する場合は、優先度の高い被写体を主被写体として決定し、優先度の高い被写体が存在しなければ主被写体候補を今回の主被写体として決定する。例えば、位置が画面中心により近く、大きさがより大きく、信頼度がより高く、距離がカメラにより近い被写体に対しては主被写体としての優先度が高いと判断してもよい。また、人物、動物などの検出被写体の種類に対する優先度や顔、全身などの被写体の検出部位の優先度をあらかじめ設定しておくものとしてもよい。

【0034】

ここで優先度判定の処理の例を挙げると、ユーザーが人物の顔を優先する設定を行った場合は、人物の顔、人物の全身、動物の顔がそれぞれ検出されていた場合に人物の顔を優先度が高いと判定する。さらに、人物の顔が複数検出されている場合は、主被写体としての優先度を示す評価値を被写体検出情報に基づいて算出することによって、優先度を比較する。例えば、画面中心位置への近さに基づく位置の評価値と、顔検出サイズの大きさに基づくサイズの評価値を算出し、位置の評価値とサイズの評価値を乗算することで優先度の評価値を算出するとしてもよい。

【0035】

Ｓ２０６にて、被写体検出部１２３は、Ｓ２０１で検出した被写体の中から、ステップＳ２０５での優先度の判断と同様に、主被写体としての優先度の高さを見積もり、主被写体としての優先度が最も高い被写体を今回の主被写体に決定し、主被写体の選択の動作を終了する。

【0036】

次に、図３および図４を参照して、図２のＳ２０４の同一被写体判定の処理内容を説明する。

【0037】

実施形態における同一被写体判定の条件は以下の３つである。
（１）ＸＹ方向の距離条件
（２）Ｚ方向の距離条件
（３）ＸＹ方向およびＺ方向の距離条件を満たす連続回数条件
まず、「（１）ＸＹ方向の距離条件」について説明する。なお、ここで示すＸ，Ｙは、画像内の水平、及び、垂直方向の２次元空間の座標に表す。そして、この「（１）ＸＹ方向の距離条件」は、２次元空間の座標における、主被写体候補の周辺領域と、同一被写体判定での乗り移り先の被写体周辺の領域との重複に関する条件である。その際に、主被写体候補の種類と、乗り移り先の被写体の種類の組み合わせに応じた距離の閾値を用いて判定を行う。

【0038】

まず、図３（ａ）で示すように、乗り移り先が顔検出(3a-1)で、主被写体候補がモノ検出領域(3a-2)の場合は、顔検出結果から推定される被写体領域(3a-3)と主被写体候補のモノ領域(3a-2)が重複している場合、それぞれの種類と距離の関係に無理が無いので、この条件を満すとする。ここでは推定される被写体領域(3a-3)の例として、顔検出サイズを１つの枠とした場合の３枠×１０枠の領域を人物の全身領域として推定している。水平方向は顔位置を中心として３枠分配置することによって、胴体を覆う範囲として推定領域を設定している。また、垂直方向は顔の上部に１枠分配置することで頭の上部を覆い、顔の下部に８枠分設定することで足の下まで覆うように設定することで、人物の全身を覆う範囲を推定領域として設定している。

【0039】

また、図３（ｂ）で示すように、乗り移り先が顔検出(3b-1)で、主被写体候補が全身検出(3b-2)の場合は、主被写体候補領域である全身検出領域(3b-2)を所定倍した領域(3b-3)と顔検出領域(3b-1)が重複している場合は、この条件を満たすとする。全身検出結果を主被写体として追尾を行った際には、全身の形状変化によって追尾が不安定になりやすいため、顔検出に移すことによって追尾は安定するようになる。

【0040】

次に、図３（ｃ）で示すように、乗り移り先が全身検出（3c-1）、主被写体候補がモノ検出領域(3c-2)の場合は、全身検出領域(3c-1)を所定倍した領域（3c-3）と、主被写体候補の領域(3c-2)が重複している場合は条件を満たすとする。

【0041】

上記の結果、例えば主被写体として「顔」を追尾中に「顔」が検出できず、その人物の顔以外の例えば「体」が検出された場合に、検出された被写体の種類に応じた距離以内にある場合は同一であるとの判定が行われるようになる。

【0042】

次に、「（２）Ｚ方向の距離条件」について説明する。ここで示すＺは、撮像装置からの距離を表す。図３（ｄ）で示すように、撮像装置(3d-1)によって、被写体候補（3d-2）を撮影している場面において、ＡＦ処理部１０５によって被写体候補の距離(3d-2)と乗り移り先の被写体の距離(3d-3)の差分を取得し、距離の差分が予め設定されたＺ距離の範囲内にあれば条件を満たすとする。逆に、差分がＺ距離範囲を超える場合は、背景や前景の別の被写体(3d-4)である可能性が高いと考えられるため、同一被写体の条件を満たさないとする。

【0043】

次に、「（３）ＸＹ方向およびＺ方向の距離条件を満たす連続回数条件」について説明する。この条件を設けた理由は、たまたま通りすがりの別の被写体を誤って同一被写体と判定しないようにすることを狙いとしている。

【0044】

図３（ｅ）は、同一被写体判定を開始する１フレーム目の撮影画像から５フレーム目の撮影画像までの時系列での被写体の検出位置と主被写体候補の追尾位置の変化を表している。このシーンにおいて「（３）ＸＹ方向およびＺ方向の距離条件を満たす連続回数条件」の連続回数を「５」とした場合の同一被写体判定処理を以下に説明する。

【0045】

図３（ｅ）の1フレーム目の撮影画像では、主被写体候補(3e-1)に対して「(1)ＸＹ方向の距離条件」「（２）Ｚ方向の距離条件」を満たす顔検出領域(3e-2) 、顔検出領域(3e-3)が存在する。顔検出領域（3e-2）は主被写体候補(3e-1)と同一被写体の顔検出領域であり、顔検出領域（3e-3）は主被写体候補(3e-1)とは別の被写体であるが、主被写体候補(3e-1)の真後ろに存在して距離が非常に近い。このため「（１）ＸＹ方向の距離条件」「（”）Ｚ方向の距離条件」では顔検出領域（3e-2）が別の被写体かどうかの判断ができていない。

【0046】

図３（ｅ）における３フレーム目の撮影画像で、主被写体候補 (3e-1)の位置がＸＹ面内で移動したため、顔検出領域(3e-3)とXY方向の距離差が変化している。この時点では、顔検出領域（3e-2）、顔検出領域（3e-3）に対して「（１）ＸＹ方向の距離条件」「（２）Ｚ方向の距離条件」を満たしている。ただし、同一被写体判定の条件を確認し始めてから３フレーム目であるため「（３）ＸＹ方向およびZ方向の距離条件を満たす連続回数条件」は満たしていない。それ故、この時点では同一被写体とは判定されない。

【0047】

図３（ｅ）の５フレーム目の撮影画像で、主被写体候補(3e-1)の追尾位置がＸＹ面内で大きく移動することにより、顔検出領域(3e-3)が「（１）ＸＹ方向の距離条件」を満たさなくなり、主被写体候補（3e-1）と同一被写体ではないと判断できる。その一方で顔検出領域(3e-2)は、「（１）ＸＹ方向の距離条件」「（２）Ｚ方向の距離条件」の条件を５フレーム連続で満たし、「（３）ＸＹ方向およびZ方向の距離条件を満たす連続回数条件」を満たして同一被写体であると正しく判断できる。

【0048】

以上のようにして、「（１）ＸＹ方向の距離条件」「（２）Ｚ方向の距離条件」によって別被写体かの切り分けが難しいシーンにおいて、「（３）ＸＹ方向およびＺ方向の距離条件を満たす連続回数条件」によって正しく判定を行うことができる。

【0049】

次に、図４を用いて図２のＳ２０４の同一被写体判定の動作の流れを説明する。ここでは、同一被写体判定の条件を確認した上で、同一被写体判定での乗り移り先の被写体へ乗り移りをする必要度に応じて、同一被写体判定実施有無を判定する。

【0050】

Ｓ４０１にて、被写体検出部１２３は、図２のＳ２０３で決められた主被写体候補が同一被写体判定実施対象の被写体であるかを確認する。そして、被写体検出部１２３は、同一被写体判定実施対象であると判定した場合はＳ４０２へ、同一被写体判定実施対象でないと判定した阿合はＳ４０８に処理を分岐する。例えば、同一被写体判定による乗り移り先として人物の顔をターゲットとする場合は、顔と同一被写体である可能性のあるモノ検出または人物の全身検出を同一被写体判定実施対象をとして設定し、人物の顔や動物の顔、動物の全身などの人物の顔へ同一被写体となる可能性のない主被写体候補をはじく。他にも、メニュー設定に応じて、同一被写体判定の実施有無や同一被写体判定を実施して乗り移る先の被写体の対象を変えた場合には、メニュー設定に応じて同一被写体判定実施を判断してもよい。

【0051】

Ｓ４０２にて、被写体検出部１２３は、前回の主被写体に対して図３で説明した「（１）ＸＹ方向の距離条件」を満たす乗り移り先の被写体が存在するか否か判定する。被写体検出部１２３は、乗り移り先の被写体が存在すると判定し場合にはＳ４０３に、存在しないと判定した場合はＳ４０８に処理を分岐する。

【0052】

Ｓ４０３にて、被写体検出部１２３は、Ｓ４０２において判定された乗り移り先の被写体について、ＡＦ処理部１０５が距離情報を取得できているか否かを判定する。被写体検出部１２３は、距離情報が取得できていないと判定した場合はＳ４０４に、取得できていると判定した場合はＳ４０６に処理を分岐する。

【0053】

Ｓ４０４にて、被写体検出部１２３は、図５，図６を参照して後述する乗り移り判断処理を行い、そして処理をＳ４０５に進める。

【0054】

Ｓ４０５にて、被写体検出部１２３は、Ｓ４０４の乗り移りの判断による乗り移りの必要性が高いか低いかを判定する。被写体検出部１２３は、乗り移りの必要性が高いと判断した場合はＳ４０９、低いと判断した場合はＳ４０８に処理を分岐する。

【0055】

Ｓ４０６にて、被写体検出部１２３は、乗り移り先の被写体が、図３で説明した「Ｚ距離方向の条件」を満たすか否かを判定する。被写体検出部１２３は、この条件を満たすと判定した場合はＳ４０７、満たさないと判定した場合はＳ４０８に処理を分岐する。

【0056】

Ｓ４０７にて、被写体検出部１２３は、乗り移り先の被写体が図３で説明した「（１）ＸＹ距離方向の条件」「（２）Ｚ距離方向の条件」の条件を予め決められた所定回数以上連続で満たしたかどうか判定する。被写体検出部１２３は、所定回数連続して「（１）ＸＹ距離方向の条件」、「（２）Ｚ距離方向の条件」を満たしていると判定した場合はＳ４０９へ、満たさなかったと判定した場合はＳ４０８に処理を分岐する。

【0057】

Ｓ４０８にて、被写体検出部１２３は、前回の主被写体を引き続き主被写体候補として維持し、図５（ａ）に示されるように、乗り移り先の顔検出結果(5a)と主被写体候補(5b)が同一被写体と判定されなった場合は被写体候補（5b）を主被写体候補として維持する。

【0058】

Ｓ４０９にて、被写体検出部１２３は、乗り移り先の被写体を主被写体候補とし、図５（ｂ）に示されるように、乗り移り先の顔検出結果(5c)と主被写体候補(5d)が同一被写体と判定された場合は顔検出結果(5c)に主被写体候補を乗り移らせる。

【0059】

次に、図５と図６を参照して、図４のステップＳ４０４における乗り移り判断の処理について説明する。

【0060】

被写体検出部１２３は、以下の３つの条件の組み合わせによって乗り移りの必要性の判断を行う。
（１）主被写体候補の動き量
（２）主被写体候補の追尾信頼度
（３）主被写体候補のＡＦ信頼度

【0061】

「（１）主被写体候補の動き量」に関しては、主被写体位置の時系列での変化量が所定の閾値を超えたかどうかで動きの有無を判断する。例えば、図２のＳ２０６で主被写体を決定した際に、前回の被写体位置との差分を常に算出して記憶しておき、過去の所定回の主被写体決定時での平均値によって動き有無を判断するとしてもよい。

【0062】

「（２）主被写体候補の追尾信頼度」に関しては、図２のＳ２０６において主被写体を決定した際に、被写体検出部１２３から取得した被写体の信頼度を記憶しておき、信頼度が所定の閾値を超えたかどうかで主被写体として正しく追尾できているかの信頼度を段階的に判断する。

【0063】

「（３）主被写体候補のＡＦ信頼度」に関しては、ＡＦ処理部１０５から取得した、ＡＦの信頼度が所定の閾値を超えたかどうかで主被写体に対して正しくＡＦできているかの信頼度を段階的に判断する。

【0064】

上記（１）～（３）の判断結果の組み合わせによって、図６で示すように乗り移りの必要性の高低の判断を行う。

【0065】

例えば、図７（ａ）では、参照符号7aで示す主被写体候補が静止被写体であり追尾信頼度/AF信頼度も高くて被写体に十分に追従できているため、図６の参照符号６０１の点線の範囲に示す通り、参照符号7bで示す乗り移り先の顔検出結果への乗り移りの必要性は低い。

【0066】

次に図７（ｂ）では、参照符号7cで示す主被写体候補が動いていて、追尾信頼度/AF信頼度も低くて被写体に追従しにくい状態である。図６の参照符号６０２の実線の範囲で示す通り、参照符号7dで示す乗り移り先の顔検出への乗り移りの必要性は高く、「（２Z方向の距離条件」以外での同一被写体判定を満たす被写体があれば主被写体の乗り移りを行うとする。

【0067】

以上説明したように、第１の実施形態を適用すれば、被写体の距離情報が取得できない場合でも、同一被写体判定による乗り移りの必要性を判断して、乗り移りの必要性が高いと判断した場合は、同一被写体判定条件を満たす被写体への乗り移りを実施することにより、ユーザの狙っている被写体を追尾し続け、枠表示の品位を保つことができる。

【0068】

［第２の実施形態］
第２の実施形態における、図２のＳ２０４の同一被写体判定処理を、図８を参照して説明する。なお、装置構成は、第１の実施形態における図１と同じとし、その説明については省略する。

【0069】

Ｓ８０１にて、被写体検出部１２３は、図２のＳ２０３で決められた主被写体候補が同一被写体判定の対象の被写体であるかを確認する。被写体検出部１２３、同一被写体判定の対象であると判定した場合はＳ８０２へ、そうでない場合はＳ８０８へ処理を分岐する。例えば、同一被写体判定による乗り移り先として人物の顔をターゲットとする場合は、被写体検出部１２３は、顔と同一被写体である可能性のあるモノ検出または人物の全身検出を同一被写体判定実施対象をとして設定し、人物の顔や動物の顔、全身などの人物の顔へ同一被写体となる可能性のない主被写体候補をはじく。他にも、メニュー設定に応じて、同一被写体判定の実施有無や同一被写体判定を実施して乗り移る先の被写体の対象を変えた場合には、メニュー設定に応じて同一被写体判定実施を判断してもよい。

【0070】

Ｓ８０２にて、被写体検出部１２３は、主被写体候補に対して図３で説明した「（１）ＸＹ方向の距離条件」を満たす被写体が存在するか否かを判定する。被写体検出部１２３は、「（１）ＸＹ方向の距離条件」を満たす被写体が存在すると判定した場合はＳ８０３へ、存在しないと判定した場合はＳ８０９に処理を分岐する。

【0071】

Ｓ８０３にて、被写体検出部１２３は、Ｓ８０２において「（１）ＸＹ方向の距離条件」を満たす被写体が、ＡＦ処理部１０５によって距離情報が取得できているか否かを判定する。被写体検出部１２３は、ＡＦ処理部１０５によって距離情報が取得できていると判定した場合はＳ８０７へ、取得できていないと判定した場合はＳ８０４に処理を分岐する。

【0072】

Ｓ８０４にて、被写体検出部１２３は、図５，６を参照して説明した、乗り移り判定処理を行う。そして、被写体検出部１２３は処理をＳ８０５に進める。ここで、同一被写体判定の条件について、図９（ａ），（ｂ）を参照して説明する。

【0073】

図９（ａ）は、本第２の実施形態における「（１）ＸＹ方向の距離条件」の具体例を示している。Ｚ方向（撮像装置にとっての奥行方向）の距離情報が取得できる場合は、同一被写体判定による乗り移り先の被写体を基準として同一被写体が存在しうる範囲を、余裕をもって条件設定している。しかい、Ｚ距離方向の距離情報が取得できない場合は、ＸＹ方向で隣接する位置に存在する距離の離れた別の被写体との区別ができないため、別の被写体への乗り移りのリスクを鑑みて、ＸＹ方向の距離条件として設定する範囲を限定する。

【0074】

また、乗り移り必要度が低い場合に関しては、乗り移り必要度が高い場合よりも別の被写体への乗り移りのリスクを回避することを重視して、さらにＸＹ方向の距離条件として設定する範囲を狭い範囲に限定する。

【0075】

図９（ｂ）は、「（３）ＸＹ方向およびＺ方向の距離条件を満たす連続回数条件」の具体例をしめしている。ただし、距離情報が画面の一部でしか取得できない場合やＡＦ精度が悪いためＺ方向の距離が取得できない場合については、「（２）Z方向の距離条件」は条件には含めない。

【0076】

図９（ａ）を参照して説明したように、Ｚ方向の距離情報が取得できない場合は、ＸＹ方向で隣接する位置に存在する距離の離れた別の被写体との区別ができないため、回数条件の数値を大きくすることによって一時的に隣接した距離の異なる別の被写体を同一被写体と判定されないようにする。また、乗り移り必要度が低い場合に関しては、乗り移り必要度が高い場合よりも別の被写体への乗り移りのリスクを回避することを重視して、さらに回数条件の数値を大きく設定する。

【0077】

図８の説明に戻る。Ｓ８０６にて、被写体検出部１２３は、Ｓ８０５で設定した同一被写体判定条件に基づいて、同一被写体条件を満たすかを判定する。被写体検出部１２３は同一被写体条件を満たしていると判定した場合はＳ８１０へ、満たしていないと判定した場合はＳ８０９に処理を分岐する。

【0078】

Ｓ８０７にて、被写体検出部１２３は、乗り移り先の被写体が図３で説明した「（２）Ｚ距離方向の条件」を満たすか否かを判定する。被写体検出部１２３は、乗り移り先の被写体が「（２）Ｚ距離方向の条件」を満たしていると判定した場合はＳ８０８へ、満たしていないと判定した場合はＳ８０９へ処理を分岐する。

【0079】

Ｓ８０８にて、被写体検出部１２３は、「（１）ＸＹ距離方向の条件」及び「（２）Ｚ距離方向の条件」が、予め設定された回数以上連続で満たしているか否かを判定する。被写体検出部１２３は、この回数条件を満たしていると判定した場合はＳ８１０へ、満たさなかったと判定した場合はＳ８０９へ処理を分岐する。

【0080】

Ｓ８０９にて、被写体検出部１２３は、主被写体候補を引き続き主被写体候補として維持して、この同一被写体判定の動作を終了する。

【0081】

Ｓ８１０にて、被写体検出部１２３は、乗り移り先の被写体を主被写体候補として、同一被写体判定の動作を終了する。

【0082】

以上説明したように、第２の実施形態を適用すれば、被写体の距離情報が取得できない場合でも、同一被写体判定による乗り移りの必要度に応じた同一被写体判定が実現でき、ユーザの狙っている被写体を追尾し続け、枠表示の品位或いは信頼性を保つことができる。

【0083】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0084】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0085】

１０５…ＡＦ処理部、１０８…撮像素子、１１０…画像処理部、１２３…被写体検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】