特許 6049448 被写体領域追跡装置、その制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6049448

(24)【登録日】2016年12月2日

(45)【発行日】2016年12月21日

(54)【発明の名称】被写体領域追跡装置、その制御方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20161212BHJP

   G06T 1/00 20060101ALI20161212BHJP

   H04N 5/91 20060101ALI20161212BHJP

【ＦＩ】

   H04N5/232 C

   H04N5/232 Z

   G06T1/00 340A

   H04N5/91 J

   H04N5/91 Z

【請求項の数】11

【全頁数】13

(21)【出願番号】特願2012-286000(P2012-286000)

(22)【出願日】2012年12月27日

(65)【公開番号】特開2014-128002(P2014-128002A)

(43)【公開日】2014年7月7日

【審査請求日】2015年12月21日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】辻 良介

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１２−０６５０４９（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１４４１９５（ＷＯ，Ａ１）

【文献】 特開２００９−２１１２７５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

Ｈ０４Ｎ ５／７６５

Ｈ０４Ｎ ５／９１ −５／９５６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

供給される画像から目的とする被写体領域を検出して追跡する被写体領域追跡装置であって、
前記画像から第１の特徴量に基づき所定の被写体領域を検出する第１の検出手段と、
前記第１の特徴量とは異なる第２の特徴量に基づき前記画像から所定の被写体領域を検出する第２の検出手段と、
前記第１の検出手段での検出結果と前記第２の検出手段での検出結果を比較して、同一の被写体に対する検出結果を判定し統合する検出結果統合手段と、
前記検出結果統合手段により統合された検出結果が示す検出された被写体のそれぞれに対して優先度を求め、当該被写体の中から優先度の高い主被写体を判定する主被写体判定手段とを有し、
前記主被写体判定手段は、前記第１の検出手段で検出されず前記第２の検出手段で検出された被写体に対して、当該被写体の前記第１の検出手段での過去の検出状況に応じて、前記優先度を変更することを特徴とする被写体領域追跡装置。

【請求項2】

前記主被写体判定手段は、前記第１の検出手段で検出されず前記第２の検出手段で検出された被写体に対して、過去に当該被写体が前記第１の検出手段で検出されていなければ、過去に当該被写体が前記第１の検出手段で検出されている場合よりも、前記優先度を小さくすることを特徴とする請求項１に記載の被写体領域追跡装置。

【請求項3】

前記主被写体判定手段は、前記第１の検出手段で検出されず前記第２の検出手段で検出された被写体に対して、過去に当該被写体が前記第１の検出手段で検出されていなければ、当該被写体に対して前記主被写体であると判定しないことを特徴とする請求項１に記載の被写体領域追跡装置。

【請求項4】

前記検出結果統合手段は、
前記第１の検出手段による検出結果を有する被写体に対しては前記第１の検出手段による検出結果を統合された検出結果として採用し、
前記第２の検出手段による検出結果のみを有する被写体に対しては前記第２の検出手段による検出結果を前記第１の検出手段で検出される被写体領域に相当する部分領域に変換した領域を統合された検出結果として採用することを特徴とする請求項１〜３の何れか１項に記載の被写体領域追跡装置。

【請求項5】

前記主被写体判定手段は、前記主被写体の候補として複数の被写体が選定された場合には、被写体の位置、大きさに基づいて、前記主被写体の候補の中から１つの被写体を前記主被写体として選定することを特徴とする請求項１〜４の何れか１項に記載の被写体領域追跡装置。

【請求項6】

前記第１の検出手段は人物の顔領域を被写体領域として検出し、前記第２の検出手段は人物の人体領域を被写体領域として検出することを特徴とする請求項１〜５の何れか１項に記載の被写体領域追跡装置。

【請求項7】

前記主被写体判定手段は、現在及び過去における前記第１の検出手段による被写体の検出結果が、検出の信頼度、検出の継続期間、位置、及び大きさの少なくとも１つの要素に対する条件を満たしている場合に前記主被写体の候補として選定することを特徴とする請求項１〜６の何れか１項に記載の被写体領域追跡装置。

【請求項8】

撮像した画像を供給する撮像手段と、
請求項１〜７の何れか１項に記載の被写体領域追跡装置と、
前記撮像手段での撮像条件を、前記被写体領域追跡装置が出力する被写体の情報に応じて制御する制御手段とを備えることを特徴とする撮像装置。

【請求項9】

供給される画像を表示する表示手段と、
請求項１〜７の何れか１項に記載の前記被写体領域追跡装置と、
前記表示手段での画像の表示条件を、前記被写体領域追跡装置が出力する被写体の情報に応じて制御する制御手段とを備えることを特徴とする表示装置。

【請求項10】

供給される画像から目的とする被写体領域を検出して追跡する被写体領域追跡装置の制御方法であって、
前記画像から第１の特徴量に基づき所定の被写体領域を検出する第１の検出工程と、
前記第１の特徴量とは異なる第２の特徴量に基づき前記画像から所定の被写体領域を検出する第２の検出工程と、
前記第１の検出工程での検出結果と前記第２の検出工程での検出結果を比較して、同一の被写体に対する検出結果を判定し統合する検出結果統合工程と、
前記検出結果統合工程にて統合された検出結果が示す検出された被写体のそれぞれに対して優先度を求め、当該被写体の中から優先度の高い主被写体を判定する主被写体判定工程とを有し、
前記主被写体判定工程では、前記第１の検出工程で検出されず前記第２の検出工程で検出された被写体に対して、当該被写体の前記第１の検出工程での過去の検出状況に応じて、前記優先度を変更することを特徴とする被写体領域追跡装置の制御方法。

【請求項11】

供給される画像から目的とする被写体領域を検出して追跡する被写体領域追跡装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記画像から第１の特徴量に基づき所定の被写体領域を検出する第１の検出ステップと、
前記第１の特徴量とは異なる第２の特徴量に基づき前記画像から所定の被写体領域を検出する第２の検出ステップと、
前記第１の検出ステップでの検出結果と前記第２の検出ステップでの検出結果を比較して、同一の被写体に対する検出結果を判定し統合する検出結果統合ステップと、
前記検出結果統合ステップにて統合された検出結果が示す検出された被写体のそれぞれに対して優先度を求め、当該被写体の中から優先度の高い主被写体を判定する主被写体判定ステップとをコンピュータに実行させ、
前記主被写体判定ステップでは、前記第１の検出ステップで検出されず前記第２の検出ステップで検出された被写体に対して、当該被写体の前記第１の検出ステップでの過去の検出状況に応じて、前記優先度を変更することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体領域追跡装置、その制御方法及びプログラムに関する。

【背景技術】

【0002】

画像から特定の被写体パターンを自動的に検出する画像処理技術は有用であり、例えば人間の顔領域の特定に利用することができる。このような画像処理技術は、通信会議システム、マン・マシン・インタフェース、セキュリティシステム、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。デジタルカメラやデジタルビデオカメラ等の撮像装置は、撮影画像から特定の被写体を検出し、その検出結果を制御対象として焦点や露出を最適化させている。例えば、下記特許文献１には、画像中の人物の顔の位置を検出して顔に焦点を合わせ、顔に最適な露出で撮影する撮影装置について記載されている。また、下記特許文献２には、画像から人物の上半身を検出して人物を計数する画像処理装置及び方法が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−３１８５５４号公報

【特許文献2】特開２００９−２１１３１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、画像から人物の顔を検出する際には、人物が後ろ向きである等、顔の特徴が十分に得られない場合には検出ができない。また、画像から人物の上半身を検出する際には、人物が後ろ向きでも検出できる一方で、特殊な姿勢や上半身領域の一部が隠蔽されている場合には検出できない。つまり、被写体の検出方法に応じて検出可能な状況が変化する。そこで、被写体を検出できない状況を軽減させ検出率を向上させるために、異なる検出方法を併用して用いる方法が考えられる。例えば、顔検出できなかった被写体に対して、人体検出の結果を用いることで、被写体の検出率を向上させることが可能である。

【0005】

また、検出された被写体の中から焦点合わせなどの撮影制御に利用する被写体（主被写体）を選定する主被写体判定技術がある。この技術は、例えば、複数の被写体が検出された場合に、この中から、焦点や露出を合わせるべき１つの主被写体を選定するために用いられる。主被写体判定技術は、ユーザが目的とする撮影対象を自動で判定することが求められる。

【0006】

ここで、画像からの人体検出によって、被写体が後ろ向きで顔が見えない状態でも被写体を検出することが可能であるが、検出できたとしても主被写体としては選定したくないケースがある。例えば、子供などが動き回っているシーンでは、被写体の検出及び追跡の安定性を向上させるために、人物が後ろ向きであるときなどの検出データも主被写体のデータとして利用したい。一方で、マスコットが踊っているショーを撮影している場合には、後ろ向きの観客が写りこんでしまうことがある。このようなシーンにおいて、後ろ向きの観客は検出できたとしても主被写体としては選定したくない。

【0007】

本発明は、前述した課題に鑑みてなされたものであり、複数の異なる検出手法で画像から検出された被写体の中から主被写体を適切に選定できるようにすることを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る被写体領域追跡装置は、供給される画像から目的とする被写体領域を検出して追跡する被写体領域追跡装置であって、前記画像から第１の特徴量に基づき所定の被写体領域を検出する第１の検出手段と、前記第１の特徴量とは異なる第２の特徴量に基づき前記画像から所定の被写体領域を検出する第２の検出手段と、前記第１の検出手段での検出結果と前記第２の検出手段での検出結果を比較して、同一の被写体に対する検出結果を判定し統合する検出結果統合手段と、前記検出結果統合手段により統合された検出結果が示す検出された被写体のそれぞれに対して優先度を求め、当該被写体の中から優先度の高い主被写体を判定する主被写体判定手段とを有し、前記主被写体判定手段は、前記第１の検出手段で検出されず前記第２の検出手段で検出された被写体に対して、当該被写体の前記第１の検出手段での過去の検出状況に応じて、前記優先度を変更することを特徴とする。

【発明の効果】

【0009】

本発明によれば、複数の異なる検出手法を用いた画像からの被写体検出にて、第１の検出手段で検出されず第２の検出手段で検出された被写体に対しては、第１の検出手段での過去の検出状況に応じて被写体の優先度を変更する。したがって、第１の検出手段での過去の検出状況を考慮して、検出された被写体の中から主被写体を適切に選定でき、主被写体の判定精度を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る撮像装置の構成例を示す図である。

【図2】本実施形態における検出結果統合部の構成例を示す図である。

【図3】本実施形態に係る撮像装置の処理の一例を示すフローチャートである。

【図4】本実施形態におけるフレーム内相関判定部での処理を説明するための図である。

【図5】本実施形態における主被写体判定の処理を示すフローチャートである。

【図6】本実施形態における主被写体判定での優先度を説明するための図である。

【図7】本発明の実施形態に係る被写体領域追跡装置を実現可能なコンピュータ機能を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る被写体領域追跡装置を有する撮像装置１００の構成例を示すブロック図である。本実施形態における撮像装置１００は、目的とする検出対象の被写体領域を人物の顔領域とし、画像から人物の顔の領域を検出する顔検出部１０９と、人体の領域を検出する人体検出部１１０とを有する。

【0012】

撮像装置１００において、被写体像を表す光は、撮像レンズを含む撮像光学系１０１によって集光され、撮像素子１０２に入射する。撮像素子１０２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。撮像素子１０２は、光電変換素子をそれぞれ有する複数の画素を有し、入射する光の強度に応じた電気信号を画素単位で出力する。つまり、撮像素子１０２から出力される電気信号は、撮像素子１０２が入射される被写体像を表す光を光電変換したものであり、撮像素子１０２で撮像された被写体像を含む画像を示すアナログの画像信号である。

【0013】

アナログ信号処理部１０３は、撮像素子１０２から出力された画像信号に対して相関二重サンプリング（ＣＤＳ）等のアナログ信号処理を施す。Ａ／Ｄ（アナログ／デジタル）変換部１０４は、アナログ信号処理部１０３から出力されたアナログの画像信号をデジタルデータの形式に変換する。Ａ／Ｄ変換部１０４によって変換されたデジタル形式の画像信号は、制御部１０５及び画像処理部１０６に入力される。

【0014】

制御部１０５は、ＣＰＵ（Central Processing Unit）やマイクロコントローラ等であり、撮像装置１００の動作を中央制御する。制御部１０５は、図示しないＲＯＭ（Read Only Memory）に記憶されたプログラムコードを図示しないＲＡＭ（Random Access Memory）の作業領域に展開して順次実行することで、撮像装置１００の各機能部を制御する。

【0015】

画像処理部１０６は、入力されたデジタル形式の画像信号に対して、ガンマ補正やホワイトバランス処理等の画像処理を施す。なお、画像処理部１０６は、通常の画像処理に加え、後述する主被写体判定部１１２から供給される画像中の特定の被写体領域に関する情報を用いた画像処理を行う機能を有する。

【0016】

表示部１０７は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイであり、画像処理部１０６から供給される画像信号に基づいて画像を表示する。撮像装置１００は、撮像素子１０２で時系列的に逐次撮像した画像を表示部１０７に表示させることで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、表示部１０７は、後述する主被写体判定部１１２により選定された被写体領域の位置等を表示可能とする。また、画像処理部１０６から出力された画像信号は、記録媒体１０８に記録可能である。記録媒体１０８は、例えば撮像装置１００に着脱可能なメモリカードである。なお、画像信号の記録先は、撮像装置１００に内蔵されたメモリであっても良いし、撮像装置１００と通信可能に接続された外部装置であっても良い。

【0017】

顔検出部１０９は、第１の検出手段の一例である。顔検出部１０９は、画像処理部１０６から画像信号が供給され、画像中の目的とする所定の被写体を検出して被写体領域を特定する。顔検出部１０９は、画像から被写体領域として人物の顔領域を特定する。画像中に複数の人物の顔が存在する場合には、その人数分の領域が検出される。顔検出部１０９における検出方法としては、公知の顔検出方法を適用すれば良い。顔検出に係る公知技術には、例えば顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法やニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、顔検出では、認識率を向上させるために、これらを組み合わせて顔認識を行うのが一般的である。例えば、特開２００２−２５１３８０号公報に記載のようにウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。顔検出部１０９による検出結果は、後述する検出結果統合部１１１に供給される。

【0018】

人体検出部１１０は、第２の検出手段の一例である。人体検出部１１０は、画像処理部１０６から画像信号が供給され、目的とする被写体領域を人体の上半身領域として画像中から所定の領域を検出する。画像中に複数の人物が存在する場合には、その人数分の領域が検出される。人体検出部１１０における検出方法としては、例えば特開２００９−２１１３１１号公報に記載されている方法などが適用可能である。本実施形態では、人体検出部１１０は、局所的な上半身の輪郭のエッジ強度を局所特徴量として人体の上半身領域を検出する。画像から特徴量を抽出する方法としては、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｈａａｒフィルタなど様々な方法がある。抽出された局所特徴量を人物判別器で上半身、非上半身を判別する。人物判別器における判別は、ＡｄａＢｏｏｓｔ学習などのような機械学習に基づき実施される。人体検出部１１０による検出結果は、後述する検出結果統合部１１１に供給される。

【0019】

検出結果統合部１１１は、顔検出部１０９での検出結果と人体検出部１１０での検出結果とを比較して、同一の被写体に対する検出結果を統合し、その結果を主被写体判定部１１２に供給する。また、検出結果統合部１１１は、異なる時刻に対する検出結果において、同一の被写体に対する検出結果の対応付けを行う。つまり、検出結果統合部１１１は、時間方向で同一の被写体に対する検出結果の判定を行うことにより被写体追跡の役割を担う。検出結果統合部１１１の詳細に関しては、後述する。

【0020】

主被写体判定部１１２は、検出結果統合部１１１より供給される検出結果に基づいて、検出された被写体の中から主として扱う被写体（主被写体）を決定する。決定された主被写体に関する情報は、例えば制御部１０５や画像処理部１０６に供給される。主被写体判定部１１２は、人体検出部１１０のみで検出された被写体に対しては、その被写体に対する現在及び過去の顔検出の検出状況に応じて、主被写体の候補として選定するか否かを判断する。主被写体の候補が複数存在する場合には、主被写体判定部１１２は、検出された被写体の画像中の位置や大きさに基づき主被写体を選定する。主被写体判定部１１２の処理の詳細は後述する。

【0021】

制御部１０５は、例えば撮像素子１０２で撮像する際の焦点状況や露出状況等の撮像条件を制御可能である。例えば、制御部１０５は、Ａ／Ｄ変換部１０４から出力された画像信号に基づいて、撮像光学系１０１の図示しない焦点制御機構や露出制御機構を制御する。例えば、焦点制御機構は撮像光学系１０１に含まれる撮像レンズを光軸方向へ駆動させるアクチュエータ等であり、露出制御機構は撮像光学系１０１に含まれる絞りやシャッタを駆動させるアクチュエータ等である。

【0022】

なお、制御部１０５は、この焦点制御機構や露出制御機構の制御に、主被写体判定部１１２から供給された被写体領域の情報を用いることが可能である。例えば、制御部１０５は、被写体領域のコントラスト値を用いた焦点制御や、被写体領域の輝度値を用いた露出制御を行うことができる。したがって、撮像装置１００は、撮像画像における特定の被写体領域を考慮した撮像条件で撮像処理を行う機能を有する。また、制御部１０５は、撮像素子１０２の出力タイミングや出力画素など、撮像素子１０２の読み出し制御も行う。ここで、図１に示した構成において、例えば画像処理部１０６、顔検出部１０９、人体検出部１１０、検出結果統合部１１１、及び主被写体判定部１１２により、本実施形態に係る被写体領域追跡装置としての機能が実現される。

【0023】

図２は、検出結果統合部１１１の構成例を示すブロック図である。検出結果統合部１１１は、顔検出結果取得部２０１、人体検出結果取得部２０２、領域推定部２０３、フレーム内相関判定部２０４、及びフレーム間相関判定部２０５を有する。

【0024】

顔検出結果取得部２０１は、顔検出部１０９により検出された検出結果を取得する。顔検出結果取得部２０１は、検出結果として、検出された人数と、その人数分の画像中の領域を示す位置や大きさ、検出結果の信頼度等を取得する。人体検出結果取得部２０２は、人体検出部１１０により検出された結果を取得する。人体検出結果取得部２０２は、検出結果として、検出された人数と、その人数分の画像中の領域を示す位置や大きさ、検出結果の信頼度等を取得する。領域推定部２０３は、人体検出結果取得部２０２により取得された検出結果から、顔検出部１０９による検出領域に相当する部分領域を推定する。この推定方法としては、例えば顔検出部１０９と人体検出部１１０との検出領域の関係に基づき、線形変換により推定されるものとする。

【0025】

フレーム内相関判定部２０４は、顔検出結果取得部２０１により取得された検出結果と、人体検出結果取得部２０２により取得され領域推定部２０３により推定された検出結果との位置や大きさの類似性に基づき、同一の被写体に対する検出結果を特定する。なお、顔検出部１０９及び人体検出部１１０は、同一の時刻に撮像された画像に基づいて、各々が目的とする被写体領域を検出するものとする。フレーム内相関判定部２０４は、顔検出部１０９により検出された被写体を顔検出結果とし、人体検出部１１０のみにより検出された被写体については領域推定部２０３により顔領域に相当する部分領域として推定された結果を検出結果とする。

【0026】

フレーム間相関判定部２０５は、現在のフレーム内相関判定部２０４による検出結果と、直前の検出結果統合部１１１による検出結果とを比較して、同一の被写体に対する検出結果を特定する。フレーム間相関判定部２０５は、フレーム内相関判定部２０４と同様にして、検出結果の位置や大きさの類似性に基づき、同一の被写体に対する検出結果を特定する。フレーム間相関判定部２０５による時間方向の検出結果の対応付けにより、各被写体の過去の検出状況を参照することが可能となる。

【0027】

本実施形態に係る撮像装置１００での主被写体判定を中心とした処理の流れについて図３を参照して説明する。画像処理部１０６は、撮像素子１０２を介して得られた撮像画像をＡ／Ｄ変換部１０４によりデジタル化して得られた画像を入力画像として読み込む（Ｓ３０１）。次に、顔検出部１０９は、入力画像から顔の特徴量データ（第１の特徴量）に基づき顔領域を検出し、検出データを出力する（Ｓ３０２）。顔検出部１０９による検出データとして、検出結果の個数及び各検出結果の画像中の位置、大きさ、検出結果の信頼度等が得られる。また、人体検出部１１０は、入力画像から人体の特徴量データ（第２の特徴量）に基づき人体領域を検出し、検出データを出力する（Ｓ３０３）。人体検出部１１０による検出データとして、検出結果の個数及び各検出結果の画像中の位置、大きさ、向き、検出結果の信頼度等が得られる。なお、図３に示すステップＳ３０２及びステップＳ３０３の処理は順不同である。

【0028】

次に、検出結果統合部１１１は、同じフレーム（同一時刻の撮影画像）で取得された顔検出部１０９での検出結果と人体検出部１１０での結果とのフレーム内相関判定により２種類の検出結果を統合する（Ｓ３０４）。ここで、図４を参照して、検出結果統合部１１１のフレーム内相関判定部２０４による検出結果の統合処理について説明する。図４において、４０１〜４０５は、同一時刻の撮影画像を示し、処理過程が異なる。また、画像４０１から画像４０５においては人物を模式的に表現しており、左から順に被写体Ａ、被写体Ｂ、被写体Ｃとする。また、図４において、４０６〜４１８は、各処理過程での検出領域を示す。

【0029】

画像４０１は、顔検出結果取得部２０１により取得された顔検出結果を示している。実線の矩形４０６、４０７に示されるように、被写体Ａ及び被写体Ｂは顔領域が検出され、被写体Ｃに関しては、後方向きであるために顔領域が検出されなかったこととする。また、画像４０２は、人体検出結果取得部２０２により取得された人体検出結果を示している。実線の矩形４０８、４０９に示されるように、被写体Ｂ及び被写体Ｃは人体領域が検出され、被写体Ａに関しては、姿勢の影響により人体領域が検出されなかったこととする。

【0030】

画像４０３は、領域推定部２０３により、人体検出結果取得部２０２の結果から顔検出部１０９で検出される顔領域に相当する部分領域が推定された結果を示している。点線の矩形４１０は、実線の矩形４０８で示された人体領域より推定された結果を示し、点線の矩形４１１は、実線の矩形４０９で示された人体領域より推定された結果を示す。

【0031】

画像４０４は、フレーム内相関判定部２０４における処理の様子を示している。実線の矩形４１２、４１３が顔検出結果取得部２０１により取得された検出結果とする。また、点線の矩形４１４、４１５が人体検出結果取得部２０２で取得され領域推定部２０３により推定された検出結果とする。実線の矩形４１２、４１３で示す検出結果と点線の矩形４１４、４１５で示す検出結果において、フレーム内相関判定部２０４は、領域形状及び位置座標の類似度を算出する。そして、フレーム内相関判定部２０４は、算出した類似度が所定の閾値以上の場合には、同一の被写体に対する検出結果であると判定し、類似度が所定の閾値未満の場合には、異なる被写体に対する検出結果であると判定する。図４に示す画像４０４の例では、４１３と４１４が同一の被写体に対する検出結果として判定され、その他の組み合わせでは、異なる被写体に対する結果として判定される。

【0032】

画像４０５は、フレーム内相関判定部２０４での処理の結果、顔検出と人体検出のデータを統合した結果を示す。被写体Ａ及び被写体Ｂは、顔検出の結果を有するため、顔検出結果を統合データとして採用する。一方、被写体Ｃは、人体検出の結果のみしか検出されなかったため、人体検出結果から顔領域を推定した結果を統合データとしている。したがって、実線の矩形４１６、４１７で示す検出結果は、顔検出結果取得部２０１で取得された検出結果であり、実線の矩形４１８で示す検出結果は、領域推定部２０３により推定された顔領域である。

【0033】

図３に戻り、ステップＳ３０４でのフレーム内相関判定により、顔検出と人体検出のデータを統合した後に、フレーム間相関判定部２０５によるフレーム間相関判定を行う（Ｓ３０５）。フレーム間の相関判定では、直前の検出結果統合部１１１による検出結果と、現在のフレーム内相関判定による検出結果とにおいて、同一の被写体に対する検出結果を特定する。フレーム内相関判定部２０４が、同じ時刻の画像に対する異なる検出データの相関判定を行うのに対して、フレーム間相関判定部２０５は、異なる時刻の検出データに対する相関判定を行う。フレーム間相関判定部２０５は、フレーム内相関判定部２０４と同様にして、検出結果の位置や大きさの類似性に基づいて同一の被写体に対する検出結果を特定する。フレーム間相関判定部２０５でのフレーム間相関判定により、時間方向で同一の被写体を特定できる。時間方向について被写体の対応付けができていることは、言い換えると被写体を追跡していることとなる。

【0034】

次に、主被写体判定部１１２は、検出結果統合部１１１による検出データの中から主被写体の候補を選定して主被写体を決定するための主被写体判定処理を行う（Ｓ３０６）。そして、撮像装置１００は、決定された主被写体の情報に基づき撮影制御や画像処理を実行する（Ｓ３０７）。続いて、新規の撮影画像が取得されると、前述したステップＳ３０１からステップＳ３０７までの処理を繰り返し実行する。

【0035】

図３に示したステップＳ３０６での主被写体判定部１１２による主被写体判定処理の流れについて図５を参照して説明する。まず、主被写体判定部１１２は、検出結果統合部１１１による検出被写体のすべてに対して、主被写体判定のための優先度の計算が実施されたか否かを判定する（Ｓ５０１）。優先度の計算が実施されていない検出被写体が存在する場合には（Ｓ５０１でＮＯと判定）、主被写体判定部１１２は、その被写体の現在のフレームでの検出状況を確認する（Ｓ５０２）。検出状況とは、顔検出及び／又は人体検出により検出されたかを示すものとする。

【0036】

人体検出部１１０による人体検出のみで検出された被写体であった場合には（Ｓ５０２でＹＥＳと判定）、主被写体判定部１１２は、その被写体の過去の検出状況において顔検出部１０９による顔検出を含むか否かを判定する（Ｓ５０３）。過去において顔検出結果のない検出被写体であった場合には（Ｓ５０３でＮＯと判定）、主被写体判定部１１２は、その被写体の優先度を０として扱う（Ｓ５０４）。そして、ステップＳ５０１に戻る。一方、過去において顔検出結果を含む検出被写体であった場合には（Ｓ５０３でＹＥＳと判定）、主被写体判定部１１２は、その被写体に対して、位置や大きさ等に基づき優先度を計算する（Ｓ５０５）。また、現在のフレームでの検出状況が人体検出部１１０による人体検出のみでなかった場合には（Ｓ５０２でＮＯと判定）、主被写体判定部１１２は、その被写体に対して、位置や大きさ等に基づき優先度を計算する（Ｓ５０５）。優先度の計算を実施した後、ステップＳ５０１に戻る。

【0037】

つまり、現在及び過去において顔検出部１０９による顔検出での検出データを含む検出被写体である場合には、主被写体判定部１１２は、その検出被写体を主被写体の候補として優先度の計算を実施する。一方で、現在及び過去において顔検出部１０９による顔検出での検出データを含まない場合には、主被写体判定部１１２は、その検出被写体を主被写体の候補外として優先度を０に設定する。なお、優先度は正の値とし、０が最小値とする。

【0038】

ここで、ステップＳ５０５における優先度の算出例に関して図６を参照して説明する。図６（ａ）は、横軸が画像中心から距離、縦軸が優先度計算における位置重みを示す。画像中心と検出被写体との距離が小さいほど重みが高く、画像中心と検出被写体との距離が大きいほど重みが低くなるように優先度重みを設定している。また、図６（ｂ）は、横軸が検出被写体の大きさ、縦軸が優先度計算における大きさ重みを示す。画面上の検出被写体の大きさが小さいほど重みが低く、画面上の検出被写体の大きさが大きいほど重みが高くなるように優先度重みを設定している。なお、画面上の検出被写体の大きさが所定の大きさ以下である場合には、重みが一定になるようにしている。また、画面上の検出被写体の大きさが所定の大きさ以上である場合には、重みが一定になるようにしている。これらの位置重みと大きさ重みを乗じた値を優先度として扱う。なお、説明した優先度の計算は一例であって、重みの設定はこれに限るものではない。また、重みの要素として、検出の信頼度や検出の継続期間などを加えてもよい。

【0039】

図５に戻り、すべての検出被写体に対して優先度の計算が完了すれば（Ｓ５０１でＹＥＳと判定）、主被写体判定部１１２は、検出被写体の中から優先度の最も高い被写体を選定する（Ｓ５０６）。選定された優先度の最も高い被写体の優先度が０以外であれば（Ｓ５０７でＹＥＳと判定）、主被写体判定部１１２は、その被写体を主被写体として選定する（Ｓ５０８）。一方、選定された優先度の最も高い被写体の優先度が０であれば（Ｓ５０７でＮＯと判定）、主被写体判定部１１２は、主被写体はなしとして扱う（Ｓ５０９）。つまり、検出被写体のすべてが、現在及び過去において人体検出部１１０による人体検出のみで検出された被写体であれば、主被写体が存在しない状態となる。

【0040】

ここで、ステップＳ５０３の判定処理では、過去における顔検出部１０９による顔検出の有無に基づき判定すると説明した。顔検出の有無による判定だけでなく、顔検出の信頼性、連続性、位置、大きさ等を判定の条件に加えても良い。また、ステップＳ５０３において、過去において顔検出結果のない検出被写体であった場合に、その検出被写体に対する優先度を０に設定する例をあげて説明を行ったが、これに限られるものではない。過去において顔検出結果のない検出被写体に対しては、ステップＳ５０５で、過去において顔検出結果のある検出被写体のときと同様に優先度を求め、この優先度に例えば０．５などの１未満の係数を乗算したものを、最終的な優先度としてもよい。このように、過去において顔検出結果のない検出被写体であった場合に、優先度を小さな値に変更する構成とすれば、主被写体が初めから後ろ向きであった場合でも、他の被写体も後ろ向きであれば、主被写体として選択されることを可能にすることができる。

【0041】

以上のように、本実施形態によれば、顔検出の補助として人体検出を利用する被写体の検出方法において、人体検出に基づく検出データを用いる場合には、その被写体の顔検出による検出状況を加味して主被写体判定を行う。これにより、ユーザの意図しない被写体を主被写体として選定する誤りを軽減でき、検出された被写体の中から主被写体を適切に選定でき、主被写体の判定精度を向上させることができる。

【0042】

（本発明の他の実施形態）
前述した実施形態では、被写体領域追跡装置を撮像装置に適用した場合を例示したが、被写体領域追跡装置を適用する機器は撮像装置に限定しない。例えば、外部機器や記録媒体などから供給される画像（再生データ）を表示する表示装置に被写体領域追跡を行う被写体領域追跡装置を適用しても良い。この表示装置では、再生データを被写体領域追跡処理のデータとして被写体領域追跡処理が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体領域追跡処理により抽出された被写体の情報（画像中の被写体の位置、大きさなど）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。

【0043】

また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【0044】

例えば、前述の実施形態に示した被写体領域追跡装置は、図７に示すようなコンピュータ機能７００を有し、そのＣＰＵ７０１により前述した実施形態での動作が実施される。
コンピュータ機能７００は、図７に示すように、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３とを備える。また、操作部（ＣＯＮＳ）７０９のコントローラ（ＣＯＮＳＣ）７０５と、ＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）７１０のディスプレイコントローラ（ＤＩＳＰＣ）７０６とを備える。さらに、ハードディスク（ＨＤ）７１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）７１２のコントローラ（ＤＣＯＮＴ）７０７と、ネットワークインタフェースカード（ＮＩＣ）７０８とを備える。それら機能部７０１、７０２、７０３、７０５、７０６、７０７、７０８は、システムバス７０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ７０１は、ＲＯＭ７０２又はＨＤ７１１に記憶されたソフトウェア、又はＳＴＤ７１２より供給されるソフトウェアを実行することで、システムバス７０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ７０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ７０２、ＨＤ７１１、又はＳＴＤ７１２から読み出して実行することで、前述した実施形態での動作を実現するための制御を行う。ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ７０５は、ＣＯＮＳ７０９からの指示入力を制御する。ＤＩＳＰＣ７０６は、ＤＩＳＰ７１０の表示を制御する。ＤＣＯＮＴ７０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前述した実施形態における前記処理プログラム等を記憶するＨＤ７１１及びＳＴＤ７１２とのアクセスを制御する。ＮＩＣ７０８はネットワーク７１３上の他の装置と双方向にデータをやりとりする。

【0045】

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0046】

１０１：撮像光学系 １０２：撮像素子 １０３：アナログ信号処理部 １０４：Ａ／Ｄ変換部 １０５：制御部 １０６：画像処理部 １０９：顔検出部 １１０：人体検出部 １１１：検出結果統合部 １１２：主被写体選定部 ２０１：顔検出結果取得部 ２０２：人体検出結果取得部 ２０３：領域推定部 ２０４：フレーム内相関判定部 ２０５：フレーム間相関判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】