特許 7589182 画像処理装置およびその制御方法、撮像装置、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】画像処理装置およびその制御方法、撮像装置、プログラム

(51)【国際特許分類】

   G06T 7/174 20170101AFI20241118BHJP

   H04N 23/60 20230101ALI20241118BHJP

   G06T 7/00 20170101ALI20241118BHJP

【ＦＩ】

G06T7/174

H04N23/60 100

G06T7/00 660B

【請求項の数】 25

(21)【出願番号】P 2022007909

(22)【出願日】2022-01-21

(65)【公開番号】P2023106907

(43)【公開日】2023-08-02

【審査請求日】2023-09-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】緑川 慶祐

(72)【発明者】

【氏名】岩本 保彦

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０２１－１６４００６（ＪＰ，Ａ）

【文献】特開２０２１－１４４７４９（ＪＰ，Ａ）

【文献】特開２０１６－００１４４７（ＪＰ，Ａ）

【文献】特開２０２０－０９５７０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

(57)【特許請求の範囲】

【請求項1】

第１の画像および第２の画像それぞれから被写体の複数の部位を検出し、検出結果を出力する検出手段と、
前記検出手段により検出された部位の検出の信頼度を決定する決定手段と、
前記第１の画像から検出された検出結果に対応する前記第２の画像から検出された検出結果を探索する探索手段と、
前記探索手段により分類されない検出結果を新規被写体の検出結果として登録する登録手段と、を備え、
前記探索手段は、前記検出手段による部位の検出結果の中から前記信頼度が閾値より大きい検出結果を用いて、前記第１の画像と前記第２の画像とで異なる部位の検出結果を探索する異部位探索と、前記第１の画像と前記第２の画像とで同じ部位の検出結果を探索する同部位探索を行い、
前記異部位探索よりも前記同部位探索を優先して行う
ことを特徴とする画像処理装置。

【請求項2】

前記検出手段は、前記画像から被写体の第１の部位を検出する第１の検出と、前記画像から被写体の第２の部位を検出する第２の検出を行い、
前記第１の検出による検出結果の重要度が前記第２の検出による検出結果の重要度より高い場合、前記探索手段は、前記第１の検出による検出結果を用いた探索を優先する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記検出手段は、前記第１の検出にて被写体の顔領域を検出し、前記第２の検出にて被写体の胴領域を検出するか、または、前記第１の検出にて被写体の全身領域を検出し、前記第２の検出にて被写体の目領域を検出する
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記探索手段は、サイズが小さい部位の検出結果よりもサイズが大きい部位の検出結果を用いた探索を優先する
ことを特徴とする請求項２に記載の画像処理装置。

【請求項5】

前記探索手段は、前記第１の部位が前記第２の部位を含む場合、前記第１の部位の検出結果を用いた探索を優先する
ことを特徴とする請求項２に記載の画像処理装置。

【請求項6】

取得した画像に対して被写体ごとのラベルマップを取得するラベリング処理手段と、
前記ラベルマップを用いて前記第１の検出による検出領域と前記第２の検出による検出領域との紐づけを行う紐づけ処理手段と、を備える
ことを特徴とする請求項２に記載の画像処理装置。

【請求項7】

前記探索手段は、前記第２の画像から得られた複数の検出結果のうち、あらかじめ定められた条件を満たし、前記紐づけ処理手段により紐づけられた検出結果がある場合、前記複数の検出結果を被写体ごとに分類する処理を行う
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記探索手段は、前記第１の画像にて複数の被写体に分類された検出結果がある場合、前記第２の画像にて複数の被写体ごとに探索処理を行う
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

複数の被写体に対して、被写体の優先度を算出する算出手段をさらに備え、
前記探索手段は、前記優先度が高い被写体を優先して探索処理を行う
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記探索手段は、前記同部位探索を行い、該同部位探索にて同じ部位が検出された場合前記異部位探索を行わず、該同部位探索にて同じ部位が検出されなかった場合に前記異部位探索を行うことで前記異部位探索よりも前記同部位探索を優先する
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。

【請求項11】

前記探索手段は、前記第２の画像から得られた検出結果の内、第１の被写体に分類した検出結果を、第２の被写体の探索処理に用いない
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記探索手段は、前記第１および第２の検出による検出結果を用いて取得された部位ベクトルを用いて前記異部位探索を行う
ことを特徴とする請求項２に記載の画像処理装置。

【請求項13】

前記部位ベクトルを記録する記録手段を備え、
前記第１の画像から得られた前記第１および第２の検出による検出結果が着目被写体の検出結果に分類された場合、前記探索手段は、前記部位ベクトルを用いて前記第２の画像における前記異部位探索の探索範囲を算出する
ことを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

前記部位ベクトルがあらかじめ定められた期間に更新されない場合、当該部位ベクトルを前記記録手段から削除する削除手段を備える
ことを特徴とする請求項１３に記載の画像処理装置。

【請求項15】

前記画像が取得される際の撮像手段の位置または姿勢の変化を示す情報を取得し、前記探索手段が前記第１の画像にて着目被写体に分類しなかった検出結果、および取得された前記情報を用いて算出される禁止領域を記録する記録手段をさらに備え、
前記探索手段は、着目被写体の探索処理において、前記第２の画像から得られた検出結果の内、前記禁止領域に属する検出結果を用いない
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。

【請求項16】

前記第１および第２の画像と前記情報により画像内の動きベクトルを算出する動きベクトル算出手段と、
前記禁止領域に対応する前記動きベクトルが存在する場合、前記禁止領域を前記記録手段から削除する削除手段と、を備える
ことを特徴とする請求項１５に記載の画像処理装置。

【請求項17】

前記取得手段は前記画像に関連する距離情報を取得し、
前記削除手段は、前記禁止領域に対応する前記距離情報の変化が閾値より大きい場合、前記禁止領域を前記記録手段から削除する
ことを特徴とする請求項１６に記載の画像処理装置。

【請求項18】

前記削除手段は、前記第２の画像にて前記禁止領域に属する検出結果が得られない場合、前記禁止領域を前記記録手段から削除する
ことを特徴とする請求項１６に記載の画像処理装置。

【請求項19】

前記第１の画像における、第１の部位の検出結果に応じて、
前記第１の画像もしくはそれ以降の画像における、第２の部位に関する前記閾値を調整する
ことを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理装置。

【請求項20】

前記第１の画像において、第１の部位の検出結果が存在する場合に
第１の部位の検出結果に基づき領域を決定する領域決定手段を有し、
前記第１の画像もしくはそれ以降の画像における、第２の部位の検出結果が、
前記領域決定手段が決定した領域に存在する場合に限り、
第２の部位に関する前記閾値の調整を実施する
ことを特徴とする請求項１９に記載の画像処理装置。

【請求項21】

前記領域決定手段は、前記ラベルマップを用いて領域決定を行う
ことを特徴とする請求項２０に記載の画像処理装置。

【請求項22】

前記領域決定手段は、部位ベクトルを用いて領域決定を行う
ことを特徴とする請求項２０または２１に記載の画像処理装置。

【請求項23】

請求項１乃至２２のいずれか１項に記載の画像処理装置を備える
ことを特徴とする撮像装置。

【請求項24】

撮像された画像を取得して処理する画像処理装置にて実行される制御方法であって、
前記画像から被写体の複数の部位を検出する検出工程と、
過去に取得された第１の画像から得られた検出結果を用いて、現在の第２の画像から得られる検出結果を探索し、条件を満たす検出結果を被写体ごとに分類する探索工程と、
前記探索工程にて分類されない検出結果を新規被写体の検出結果として登録する登録工程と、を有し、
前記探索工程では、前記第１の画像と前記第２の画像とで異なる部位の検出結果を用いた異部位探索と、前記第１の画像と前記第２の画像とで同じ部位の検出結果を用いた同部位探索が行われる場合、前記異部位探索よりも前記同部位探索が優先して行われる
ことを特徴とする画像処理装置の制御方法。

【請求項25】

請求項２４に記載の各工程を画像処理装置のコンピュータに実行させる
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関し、特に被写体の部位の検出に関する。

【背景技術】

【0002】

撮像装置における被写体の検出処理では、時系列で連続して取得される画像の各々に対して、顔等の部位に対応する領域が検出される。過去に取得された画像の検出結果を起点に所定範囲を探索範囲として設定し、現在の画像の検出結果を求める探索処理が行われる。探索処理にて同一被写体は連続する画像内で近い位置に存在していることに基づき、探索条件を満たす検出結果同士は、同一被写体の検出結果として結び付けられる。特許文献１では、同一被写体として結び付けられる複数フレームの検出結果を組み合わせて判定することで誤検出を抑制する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－４１４１４号公報

【文献】特開２０１６－１５６９３４号公報

【非特許文献】

【0004】

【文献】Ｓ．Ｈａｙｋｉｎ，“Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｆｏｕｎｄａｔｉｏｎ ２ｎｄ Ｅｄｉｔｉｏｎ”，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，ｐｐ．１５６－２５５，Ｊｕｌｙ １９９８

【文献】Ａｌｅｊａｎｄｒｏ Ｎｅｗｅｌｌ，Ｚｈｉａｏ Ｈｕａｎｇ，Ｊｉａ Ｄｅｎｇ．Ａｓｓｏｃｉａｔｉｖｅ Ｅｍｂｅｄｄｉｎｇ：Ｅｎｄ－ｔｏ－Ｅｎｄ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｊｏｉｎｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｇｒｏｕｐｉｎｇ．Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，２０１７

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、体操競技等のように被写体が激しく動作し、特定部位にオクルージョンが多発する撮影場面を想定する。この場合、被写体の顔だけでなく胴体等の異なる部位を検出する手段を新たに備えることで、被写体の検出率を向上させることが可能となる。

【0006】

従来の技術では、複数の検出手段を備える実施形態において所定の精度条件を満たす探索処理を行うことが難しい。複数の部位を被写体ごとに分類する場合、第１の被写体に本来分類されるべき部位の検出結果が誤って第２の被写体の部位に分類されると、被写体の検出精度が低下する可能性がある。本発明は、複数の部位の検出結果を被写体ごとに、より高精度に分類することが可能な画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一実施形態の画像処理装置は、第１の画像および第２の画像それぞれから被写体の複数の部位を検出し、検出結果を出力する検出手段と、前記検出手段により検出された部位の検出の信頼度を決定する決定手段と、前記第１の画像から検出された検出結果に対応する前記第２の画像から検出された検出結果を探索する探索手段と、前記探索手段により分類されない検出結果を新規被写体の検出結果として登録する登録手段と、を備え、前記探索手段は、前記検出手段による部位の検出結果の中から前記信頼度が閾値より大きい検出結果を用いて、前記第１の画像と前記第２の画像とで異なる部位の検出結果を探索する異部位探索と、前記第１の画像と前記第２の画像とで同じ部位の検出結果を探索する同部位探索を行い、前記異部位探索よりも前記同部位探索を優先して行うことを特徴とする。

【発明の効果】

【0008】

本発明の画像処理装置によれば、複数の部位の検出結果を被写体ごとに、より高精度に分類することが可能である。

【図面の簡単な説明】

【0009】

【図1】本実施形態における撮像装置の構成を示すブロック図である。

【図2】本実施形態における全体処理のフローチャートである。

【図3】本実施形態における全体処理例の模式図である。

【図4】実施例１における探索処理のフローチャートである。

【図5】図４に後続する処理のフローチャートである。

【図6】本実施形態における同部位探索処理のフローチャートである。

【図7】本実施形態における異部位探索処理のフローチャートである。

【図8】本実施形態における同部位探索例の模式図である。

【図9】本実施形態における部位ベクトルを用いた異部位探索例の模式図である。

【図10】本実施形態における部位ベクトルを用いない異部位探索例の模式図である。

【図11】本実施形態における禁止領域更新処理のフローチャートである。

【図12】本実施形態における禁止領域削除例の模式図である。

【図13】本実施形態における新規被写体追加処理のフローチャートである。

【図14】図１３に後続する処理のフローチャートである。

【図15】実施例２および実施例３における探索処理のフローチャートである。

【図16】図１５に後続する処理のフローチャートである。

【発明を実施するための形態】

【0010】

以下に本発明の実施形態について、図面を参照して詳細に説明する。実施形態では本発明の画像処理装置を適用した撮像装置の例を示す。撮像装置において画像内の被写体の部位の探索結果は、例えば自動焦点調節制御や被写体追尾制御に利用され、画面内の表示枠等でユーザに通知される。例えば過去に取得された画像の被写体の顔領域を起点にして、現在の画像の被写体の胴領域を探索する場合を想定する。顔と胴はもともと部位間にて画像が平面状であって両部位には距離があるので、探索範囲を工夫する必要がある。単純に探索範囲を広げたのでは、被写体の部位検出結果を誤って別の被写体の検出結果と結び付けてしまう可能性がある。以下では被写体の部位検出結果が誤って分類されることを抑制し、検出結果に対して被写体ごとに高精度な分類を行う処理について説明する。

【0011】

［実施例１］
図１を参照して、本実施形態における撮像装置の構成例について説明する。図１は、撮像装置１００の構成を示すブロック図である。撮像装置１００は、被写体を撮影して記録媒体に記録することが可能なデジタルスチルカメラやビデオカメラ等である。動画像や静止画像のデータはテープや固体メモリ、光ディスク、磁気ディスク等に記録される。撮像装置１００内の各ユニットは、バス２６０を介して接続されている。各ユニットは、ＣＰＵ（中央演算処理装置）１５１により制御される。

【0012】

レンズユニット１０１は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ（焦点調節用レンズ）１３１を備える。絞り制御部１０５は、ＣＰＵ１５１の指令に従い、絞りモータ（ＡＭ）１０４を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御部１１３は、ズームモータ（ＺＭ）１１２を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。

【0013】

フォーカス制御部１３３は、レンズユニット１０１の焦点状態検出結果、つまり焦点合わせ方向のずれ量（デフォーカス量）に基づいてフォーカスモータ（ＦＭ）１３２の駆動量を決定する。フォーカス制御部１３３は決定した駆動量に基づいてフォーカスモータ１３２を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカス制御部１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ（オートフォーカス）制御が実現される。図１にはフォーカスレンズ１３１を単レンズで簡略的に示しているが、通常複数のレンズで構成される。

【0014】

レンズユニット１０１を介して撮像素子１４１上に結像する被写体像（光学像）は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像に対する光電変換を行う光電変換素子を備える。撮像素子１４１は、横方向にｍ画素、縦方向にｎ画素の受光素子が配置された構成であり。例えば複数のマイクロレンズと、各マイクロレンズに対応する２つの光電変換素子が受光領域に配置されている。撮像素子１４１で光電変換された画像信号は、撮像信号処理部１４２により所定の画像データとして整えられる。２つの光電変換素子の出力を加算することで、撮像面の画像データを取得することができる。また、２つの光電変換素子の出力から各々、視差を有する２つの画像（視差画像）を取得することができる。本実施形態では、２つの光電変換素子の出力を加算してＡ＋Ｂ像信号が取得され、２つの光電変換素子の出力から各々Ａ像信号とＢ像信号が取得されるものとする。

【0015】

モニタディスプレイ１５０は表示デバイスを備え、撮像画像の表示や、物体検出結果の矩形枠表示等を行う。撮像信号処理部１４２が出力する画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４（ランダム・アクセス・メモリ）に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３が圧縮した後、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。

【0016】

操作スイッチ部１５６は、ユーザが操作するタッチパネルやボタン等を含む入力インターフェイス部である。ユーザはモニタディスプレイ１５０に表示される種々の機能アイコンの選択操作により、撮像装置１００に対して所望の指示を行うことができる。

【0017】

ＣＰＵ１５１は、操作スイッチ部１５６から入力されたユーザの操作指示、または、一時的にＲＡＭ１５４に蓄積された画像データに係る画素信号の大きさに基づき、撮像素子１４１の設定処理を行う。例えばＣＰＵ１５１は、撮像素子１４１の蓄積時間と、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値を決定する。撮像制御部１４３は、ＣＰＵ１５１から蓄積時間、ゲインの設定値の指示を受け取り、撮像素子１４１を制御する。撮像光学系の制御に関してＣＰＵ１５１はフォーカス制御部１３３により特定の被写体領域に対するＡＦ制御を行う。また、ＣＰＵ１５１は絞り制御部１０５により特定の被写体領域の輝度値を用いた露出制御を行う。

【0018】

画像処理部１５２は画像データを取得し、例えば、画像データに対して最適なサイズへの縮小処理または拡大処理を行う。最適なサイズに処理された画像データは、モニタディスプレイ１５０に適宜送られて表示されることでプレビュー画像表示やスルー画像表示が行われる。また、部位検出部１６１の物体検出結果を、モニタディスプレイ１５０上の画像に重畳表示することもできる。また、ＲＡＭ１５４をリングバッファとして用いることで、所定期間内に撮像された複数の画像のデータや、画像データごとに対応した各部の処理結果のバッファリングが可能である。

【0019】

撮像素子１４１から取得されたＡ像およびＢ像のデータに基づき、デフォーカスマップや信頼度マップを生成することができる。デフォーカスマップは画素ごとにデフォーカス量の情報を有し、各デフォーカス量がＦδの単位で表されるマップである。信頼度マップはデフォーカスマップと各座標が対応しており、画素ごとにデフォーカス量の信頼の度合を表す信頼度の情報を有するマップである。デフォーカスマップは画像の奥行方向の深度分布を表す情報の一例であり、視点の異なる複数の視点画像から取得される像ずれ量マップや、距離マップ、距離画像等の距離情報の分布を表す情報の利用が可能である。なお、デフォーカスマップおよび信頼度マップの生成方法については特許文献２に開示されている方法を用いることができるので、その詳細な説明は省略する。

【0020】

フラッシュメモリ１５５には、撮像装置１００の動作に必要な制御プログラムや、各部の動作に用いるパラメータ等が記憶されている。ユーザ操作により撮像装置１００が起動し、つまり電源ＯＦＦ状態から電源ＯＮ状態へ移行すると、フラッシュメモリ１５５に記憶された制御プログラムおよびパラメータがＲＡＭ１５４の一部に読み込まれる。ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムおよび定数にしたがって撮像装置１００の動作を制御する。画像記録媒体１５７は画像データや画像に関連するデータ等が記録される。

【0021】

バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。タイマ１６０は、各部の処理に同期して相対的なｍｓ単位の時刻を取得可能な計時デバイスである。

【0022】

部位検出部１６１は、画像信号を用いて被写体の所定部位に対応する複数の領域を検出する。部位検出部１６１における検出処理は、例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、以下、ＣＮＮと記す）を利用した特徴抽出処理により実現できる。より具体的には、非特許文献１に記載の方法を用いることができる。またＣＮＮにおける特徴検出細胞面の重みを切り替えることで、様々な被写体の種類や、被写体の部位を検出可能である。なお、本発明の実施上、部位検出処理には任意の方法を用いることができる。本実施例においては、検出器は検出対象の矩形領域と結果の信頼度を推定、出力するものとし、信頼度がある閾値未満の場合、その結果は破棄されるものとする。閾値は任意の方法で決定することが出来る。例えば、予め調整された固定値でも良い。或いは、被写体の部位毎に閾値を設定しておき、ある部位が閾値以上の信頼度を伴って検出されれば、同じ画像や、それ以降の画像における別の部位の閾値を一定割合低くするような処理を行ってもよい。さらに上記処理は、異なる部位の検出結果同士の距離が所定以内である場合に限定したり、後述するラベリング処理や部位ベクトルによって同じ被写体である尤度が高いと推定された場合に閾値を低くしたりすることも可能である。

【0023】

ラベリング処理部１６２は、１つの画像に対応して、画像内の被写体ごとに分離したラベルマップを生成する。より具体的には、非特許文献２に記載の方法を用いることができる。部位検出部１６１によって複数の部位の検出結果が得られた場合、ラベルマップと比較することで複数の部位の検出結果同士を紐づけることができる。

【0024】

位置姿勢変化取得部１６３は、ジャイロセンサや加速度センサ、電子コンパス等の位置姿勢センサを備え、撮像装置１００の撮影シーンに対する位置姿勢変化を計測する。取得された位置姿勢変化のデータはＲＡＭ１５４に保存される。

【0025】

動きベクトル算出部１６４は、時系列で連続に取得された２つの画像に対応する画像信号から動きベクトルの算出処理を行う。動きベクトルの算出処理では、画像内の複数の位置に対して、過去のフレームと現在のフレームとの特徴点マッチング処理が行われ、複数の動きベクトルが検出される。

【0026】

図２を参照して、本実施例における全体処理の流れについて説明する。本実施例において、部位検出部１６１は被写体である人物の顔領域と胴領域を検出できるものとし、検出１を顔領域の検出、検出２を胴領域の検出とする。また人物の顔領域と胴領域については重要度が等しいものとする。各ステップに示す処理はＣＰＵ１５１がプログラムを実行することにより実現される。

【0027】

Ｓ２００にて、撮像制御部１４３が取得した画像データは各部へ供給される。また併せて取得された画像データが供給された時刻情報がタイマ１６０から取得されて、ＲＡＭ１５４に記録される。

【0028】

Ｓ２０１にて、部位検出部１６１は取得された画像に対する検出処理を行う。被写体の顔領域に関する複数の検出領域（以下、検出１領域という）と、それぞれの信頼度が取得される。Ｓ２０２にて、部位検出部１６１は取得された画像に対する検出処理を行う。被写体の胴領域に関する複数の検出領域（以下、検出２領域という）と、それぞれの信頼度が取得される。

【0029】

Ｓ２０３にて、ラベリング処理部１６２は取得された画像に対するラベリング処理を行う。被写体領域ごとに異なるラベルを備えたラベルマップが取得される。Ｓ２０４にて、位置姿勢変化取得部１６３は取得された画像に同期して撮像装置１００の位置姿勢変化のデータを取得する。

【0030】

Ｓ２０５にて、動きベクトル算出部１６４は取得された画像に対する動きベクトルマップを取得する。Ｓ２０６にて、画像処理部１５２はデフォーカスマップおよび信頼度マップを取得する。Ｓ２０７にてＣＰＵ１５１は、Ｓ２０３で取得されたラベルマップを用いて、Ｓ２０１で取得された複数の検出１領域と、Ｓ２０２で取得された複数の検出２領域に対して紐づけ処理を行う。このとき、各検出結果の信頼度が閾値以上のものを紐づけ処理の対象とし、閾値未満のものは対象としない（例えば、本ステップの段階でデータとして破棄する）。本実施例において、閾値は、検出１に関しては予め調整された固定の値を用いる。検出２に関しては大小２つの閾値を設定しておき、同じ被写体の検出１が存在すると判断されれば小さい方を、そうでなければ大きい方を用いる。すなわち、他の部位がすでに検出されている場合、同部位探索における検出の閾値を検出されていない場合に比べて低くして検出されやすくする。Ｓ２０３にて取得したラベルマップを参照し、着目する検出２領域と同じラベル領域に検出１領域が存在すれば、同じ被写体の検出２が存在すると、判断できる。紐づけ処理については後述する。

【0031】

Ｓ２０８にてＣＰＵ１５１は、過去に取得された画像に対する被写体分類結果が存在するか否かを判定する。被写体分類結果が存在すると判定された場合、Ｓ２０９に進み、被写体分類結果が存在しないと判定された場合にはＳ２１０に進む。

【0032】

Ｓ２０９にてＣＰＵ１５１は、過去に取得された画像に対する被写体分類結果を基準として、Ｓ２０１およびＳ２０２で得られた各検出領域に対して探索処理を行う。探索の結果、ＲＡＭ１５４に記録された被写体分類結果が更新される。探索処理については後述する。Ｓ２０９の次にＳ２１０へ進む。

【0033】

Ｓ２１０にてＣＰＵ１５１は新規被写体の追加処理を行う。Ｓ２０１およびＳ２０２で得られた検出領域の内、Ｓ２０９の探索処理で使用済み状態にされなかった領域は、ＲＡＭ１５４に記録された被写体分類結果に新規被写体の領域として追加される。新規被写体追加については後述する。

【0034】

Ｓ２１１にてＣＰＵ１５１は、ＲＡＭ１５４に記録された被写体分類結果の被写体ごとに、被写体優先度を算出する。被写体優先度は検出１領域または検出２領域のサイズに基づいて決定される。サイズが大きいほど被写体優先度が高いものとする。

【0035】

Ｓ２１２にてＣＰＵ１５１は、操作スイッチ部１５６が操作されて、終了指示が行われたか否かを判定する。終了指示があると判定された場合、全体処理を終了し、終了指示が無いと判定された場合にはＳ２００に戻り、一連の処理が繰り返し実行される。

【0036】

図３を参照して、全体処理の動作例について説明する。以下では撮像装置１００で取得された画像を取得画像という。図３（Ａ）は取得画像３００に対して図２のＳ２０１、Ｓ２０２で得られる検出領域の例を示す。図２のＳ２０１の処理では３名の人物の顔領域３１１，３１２，３１３が取得される。図２のＳ２０２の処理では２名の人物の胴領域３２１，３２３が取得される。

【0037】

図３（Ｂ）は取得画像３００に対応して図２のＳ２０３で取得されるラベルマップの例を示す。ラベルマップ３０１は取得画像３００と対応した座標を持ち、座標ごとに被写体領域または背景領域を区別可能なラベル３３１，３３２，３３３，３３４が格納されている。ラベル３３１，３３２，３３３は３名の人物の被写体領域にそれぞれ対応する識別情報である。ラベル３３４は背景領域に対応する識別情報である。

【0038】

図３（Ｃ）は顔領域、胴領域、およびラベルマップを用いて行われる検出紐づけ処理結果の例を示す。検出紐づけ処理では、一方の検出領域ごとにラベルマップを参照し、同じラベルに属する他方の検出領域を探索する処理が行われる。例えば左側に位置する第１の人物の顔領域３１１に対して同じラベル３３１に属する胴領域３２１が紐づけられる。中央に位置する第２の人物の顔領域３１２に対して同じラベル３３２に属する胴領域は存在しないので、胴領域は紐づけられない。手前側の第３の人物の顔領域３１３に対して同じラベル３３３に属する胴領域３２３が紐づけられる。なお、前述した様に、胴領域３２１，胴領域３２３は同じラベルに属する顔検出領域が存在するため、検出結果を採用するか否かの閾値を、同じラベルに属する顔検出領域が存在しない場合に比べて低く（結果を採用しやすく）することができる。逆に、胴領域が存在するときに同じ被写体と推定される顔検出結果の閾値を低く（結果を採用しやすく）することもできる。その場合は、顔領域３１１と顔領域３１３に対する閾値よりも、顔領域３１２に対する閾値を高く設定して検出結果を採用するか破棄するかの判断を行う。

【0039】

図３（Ｄ）は、図２のＳ２０９またはＳ２１０にて記録される被写体分類結果の例を示す。被写体分類結果は、被写体ごとに被写体ＩＤ、検出１領域、検出２領域の各情報からなる。被写体ＩＤとしてのＡ、Ｂ、Ｃはそれぞれ第１、第２、第３の人物を識別するために割り当てられる。

【0040】

図４と図５を参照して、本実施例における探索処理（図２：Ｓ２０９）について詳細に説明する。Ｓ４００にてＣＰＵ１５１は、過去の取得画像に対する探索処理において、被写体分類結果がＲＡＭ１５４に記録されているか否かの判定を行う。被写体分類結果がＲＡＭ１５４に記録されていると判定された場合、Ｓ４０１に進み、被写体分類結果がＲＡＭ１５４に記録されていないと判定された場合には探索処理を終了する。

【0041】

Ｓ４０１にてＣＰＵ１５１は、ＲＡＭ１５４に記録された複数の被写体に対応する複数の被写体分類結果の中から、着目被写体を決定する。着目被写体の候補が複数存在する場合には、図２のＳ２１１で算出された被写体優先度の高い被写体が優先される。

【0042】

Ｓ４０２にてＣＰＵ１５１は、過去の取得画像において着目被写体に分類された検出１領域がＲＡＭ１５４に記録されているか否かの判定を行う。当該検出１領域が記録されていると判定された場合、Ｓ４０３に進み、記録されていないと判定された場合にはＳ４０６に進む。

【0043】

Ｓ４０３にて同部位探索処理が実行される。ＣＰＵ１５１は過去の取得画像において着目被写体に分類された検出１領域を基準とし、現在の画像から得られた複数の検出１領域に対して同部位の探索を行う。同部位探索処理の詳細については後述する。

【0044】

Ｓ４０４にてＣＰＵ１５１は、現在の画像の検出領域から条件を満たす領域が発見されて、着目被写体の被写体分類結果を更新したか否かの判定を行う。着目被写体の被写体分類結果が更新されたと判定された場合、図５のＳ４１０に移行し、更新されていないと判定された場合にはＳ４０５に進む。

【0045】

Ｓ４０５にて異部位探索処理が実行される。ＣＰＵ１５１は過去の取得画像において着目被写体に分類された検出１領域を基準とし、現在の画像から得られた複数の検出２領域に対して異部位の探索を行う。異部位探索処理の詳細については後述する。

【0046】

Ｓ４０６にてＣＰＵ１５１は、過去の取得画像において着目被写体に分類された検出２領域がＲＡＭ１５４に記録されているか否かの判定を行う。当該検出２領域が記録されていると判定された場合、Ｓ４０７に進み、記録されていないと判定された場合には図５のＳ４１０に移行する。

【0047】

Ｓ４０７にて同部位探索処理が実行される。ＣＰＵ１５１は過去の取得画像において着目被写体に分類された検出２領域を基準とし、現在の画像から得られた複数の検出２領域に対して同部位の探索を行う。同部位探索処理の詳細については後述する。

【0048】

Ｓ４０８にてＣＰＵ１５１は、現在の画像の検出領域から条件を満たす領域が発見されて、着目被写体の被写体分類結果を更新したか否かの判定を行う。着目被写体の被写体分類結果が更新されたと判定された場合、図５のＳ４１０に移行し、着目被写体の被写体分類結果が更新されていないと判定された場合にはＳ４０９に進む。

【0049】

Ｓ４０９にて異部位探索処理が実行される。ＣＰＵ１５１は過去の取得画像において着目被写体に分類された検出２領域を基準とし、現在の画像から得られた複数の検出１領域に対して異部位の探索を行う。異部位探索処理の詳細については後述する。Ｓ４０９の次に図５のＳ４１０に進む。

【0050】

Ｓ４１０にてＣＰＵ１５１は、着目被写体の被写体分類結果が、現在の画像から得られた検出１領域と検出２領域で更新済みであるか否かの判定を行う。着目被写体の被写体分類結果が更新済みであると判定された場合、Ｓ４１１に進み、着目被写体の被写体分類結果が更新済みでないと判定された場合にはＳ４１２に進む。

【0051】

Ｓ４１１にてＣＰＵ１５１は、部位ベクトルを算出してＲＡＭ１５４に記録する。部位ベクトルは画像平面に対する２次元ベクトルで表現されるものとする。着目被写体の被写体分類結果に記録されている検出１領域および検出２領域の座標から、減算により差分値を算出することにより、部位ベクトルを求めることができる。図２のＳ２００にてＲＡＭ１５４に記録された時刻情報は、部位ベクトルの記録時刻としてＲＡＭ１５４に記録される。Ｓ４１１の次にＳ４１４に処理を進める。

【0052】

Ｓ４１２にてＣＰＵ１５１は、過去の取得画像に対する探索処理において、Ｓ４１１で記録された時刻から所定期間が経過したか否かの判定を行う。所定期間の長さは、検出対象の被写体種別に応じて設定される閾値時間である。例えば被写体の種別が人であればＴ１が設定され、動物であればＴ２（＜Ｔ１）が設定される。所定期間が経過したと判定された場合、Ｓ４１３に進み、所定期間が経過していないと判定された場合にはＳ４１４に進む。

【0053】

Ｓ４１３にてＣＰＵ１５１は、ＲＡＭ１５４に記録された部位ベクトルのデータを削除する。そしてＳ４１４にてＣＰＵ１５１は、被写体分類結果の更新に用いなかった検出１領域を用いて、着目被写体に対する検出１禁止領域の更新を行う。更新処理の詳細については後述する。Ｓ４１４の次にＳ４１５に処理を進める。

【0054】

Ｓ４１５にてＣＰＵ１５１は、被写体分類結果の更新に用いなかった検出２領域を用いて、着目被写体に対する検出２禁止領域の更新を行う。更新処理の詳細については後述する。Ｓ４１６にてＣＰＵ１５１は、過去の取得画像においてＲＡＭ１５４に記録された被写体分類結果の内、図４のＳ４０１で着目被写体に選択していない被写体があるか否かの判定を行う。該当する被写体があると判定された場合、Ｓ４０１に戻って処理を続行し、該当する被写体がないと判定された場合には探索処理を終了する。

【0055】

本実施例では、精度が低い異部位探索処理よりも精度が高い同部位探索処理が優先して実行される。優先した探索処理で着目被写体の被写体分類結果が更新された場合には、他方の探索処理を行わないことで、より精度の高い探索処理を行うことができる。

【0056】

次に図６を参照して、同部位探索処理（図４：Ｓ４０３およびＳ４０７）について詳細に説明する。Ｓ５００にてＣＰＵ１５１は、現在の画像から得られた探索対象の検出領域が存在するか否かの判定を行う。探索対象の検出領域は、図４のＳ４０３では検出１領域であり、Ｓ４０７では検出２領域である。探索対象の検出領域が存在すると判定された場合、Ｓ５０１に進み、探索対象の検出領域が存在しないと判定された場合には同部位探索処理を終了する。

【0057】

Ｓ５０１にてＣＰＵ１５１は同部位探索範囲を算出する。同部位探索範囲は着目被写体の、過去の取得画像における基準検出領域と重心が等しく、基準検出領域の示す範囲の所定倍率（ｎ_１と記す）の範囲として求められる。ｎ_１の値は検出対象の被写体種別に応じて設定される。例えば被写体の種別が人であればｎ_１ａに設定され、動物であればｎ_１ｂ（＞ｎ_１ａ）に設定される。また基準検出領域は、図４のＳ４０３では過去の取得画像において着目被写体に分類された検出１領域であり、Ｓ４０７では過去の取得画像において着目被写体に分類された検出２領域である。

【0058】

Ｓ５０２にてＣＰＵ１５１は、現在の画像から得られた未使用状態の候補検出領域から着目検出領域を決定する。候補検出領域は、図４のＳ４０３では検出１領域であり、Ｓ４０７では検出２領域である。

【0059】

Ｓ５０３にてＣＰＵ１５１は、着目検出領域が対応する禁止領域に属しているか否かの条件判定を行う。対応する禁止領域は、図４のＳ４０３では検出１禁止領域であり、Ｓ４０７では検出２禁止領域である。着目検出領域が、対応する禁止領域に属するか否かについては、着目検出領域の重心が対応する禁止領域内に存在するか否かで判定することができる。この条件を満たす場合、Ｓ５０２に戻り、条件を満たさない場合、Ｓ５０４に進む。

【0060】

Ｓ５０４にてＣＰＵ１５１は、着目検出領域が同部位探索範囲に含まれるか否かの条件判定を行う。この条件を満たす場合、Ｓ５０５に進み、条件を満たさない場合、Ｓ５１０に進む。

【0061】

Ｓ５０５にてＣＰＵ１５１は着目検出領域で着目被写体の分類結果を更新し、Ｓ５０６において、着目検出領域を使用済み状態に変更する。Ｓ５０７にてＣＰＵ１５１は、着目検出領域に対して図２のＳ２０７で紐づけられた検出結果があるか否かの判定を行う。当該検出結果があると判定された場合、Ｓ５０８に進み、当該検出結果がないと判定された場合にはＳ５１０に進む。

【0062】

Ｓ５０８にてＣＰＵ１５１は、紐づけられた検出領域で着目被写体の分類結果を更新し、Ｓ５０９において、紐づけられた検出結果を使用済み状態に更新する。Ｓ５１０にてＣＰＵ１５１は、探索対象の検出領域のうち、着目検出領域に選択していない未処理の領域があるか否かの判定を行う。当該領域があると判定された場合、Ｓ５０２に戻って一連の処理を繰り返し、当該領域がないと判定された場合には同部位探索処理を終了する。

【0063】

次に図７を参照して、異部位探索処理（図４：４０５およびＳ４０９）について詳細に説明する。Ｓ６００にてＣＰＵ１５１は、現在の画像から得られた探索対象の検出領域が存在するか否かの判定を行う。探索対象の検出領域は、図４のＳ４０５では検出２領域であり、Ｓ４０９では検出１領域である。探索対象の検出領域が存在すると判定された場合、Ｓ６０１に進み、探索対象の検出領域が存在しないと判定された場合には異部位探索処理を終了する。

【0064】

Ｓ６０１にてＣＰＵ１５１は、着目被写体に対してＲＡＭ１５４に記録された部位ベクトルが存在するか否かの判定を行う。部位ベクトルが記録されていると判定された場合、Ｓ６０２に進み、記録されていないと判定された場合にはＳ６０３に進む。

【0065】

Ｓ６０２にてＣＰＵ１５１は、部位ベクトルを利用した異部位探索範囲を算出する。本ステップにおける異部位探索範囲の重心は、着目被写体の過去の取得画像における基準検出領域に対して部位ベクトルを加算または減算して求められる。また異部位探索範囲は着目被写体の過去の取得画像における基準検出領域の範囲に所定倍率（ｎ_２と記す）を乗算した範囲として求められる。ｎ_２の値は検出対象の被写体種別に応じて設定される。例えば被写体の種別が人であればｎ_２ａに設定され、動物であればｎ_２ｂ（＞ｎ_２ａ）に設定される。基準検出領域は、図４のＳ４０５では着目被写体の被写体分類結果に含まれる検出１領域であり、Ｓ４０７では着目被写体の被写体分類結果に含まれる検出２領域である。

【0066】

Ｓ６０３にてＣＰＵ１５１は、部位ベクトルを利用しない異部位探索範囲を算出する。本ステップにおける異部位探索範囲は着目被写体の過去の取得画像における基準検出領域と重心が等しく、基準検出領域の範囲に対して所定倍率（ｎ_３と記す）を乗算した範囲として求められる。ｎ_３の値は検出対象の被写体種別に応じて設定され、「ｎ_３＞ｎ_２」とする。例えば被写体の種別が人であればｎ_３ａに設定され、動物であればｎ_３ｂ（＞ｎ_３ａ）に設定される。基準検出領域についてはＳ６０２の場合と同じである。

【0067】

Ｓ６０４にてＣＰＵ１５１は、現在の画像より得られた未使用状態の候補検出領域から着目検出領域を決定する。候補検出領域は図４のＳ４０５では検出２領域であり、Ｓ４０９では検出１領域である。

【0068】

Ｓ６０５にてＣＰＵ１５１は、着目検出領域が対応する禁止領域に属しているか否かの条件判定を行う。対応する禁止領域は、図４のＳ４０５では検出２禁止領域であり、Ｓ４０９では検出１禁止領域である。着目検出領域が禁止領域に属するか否かについては、着目検出領域の重心が対応する禁止領域内に存在するか否かで判定することができる。Ｓ６０５の条件を満たす場合、Ｓ６０４に戻り、Ｓ６０５の条件を満たさない場合、Ｓ６０６に進む。Ｓ６０６からＳ６１２の処理はそれぞれ、図６のＳ５０４からＳ５１０の処理と同様であるので、それらの説明を割愛する。

【0069】

図８から図１０を参照して、本実施例における探索処理を具体的に説明する。図８から図１０において、（Ａ）に過去の取得画像を示し、（Ｂ）に現在の画像を示す。図８（Ａ）の過去の取得画像では、被写体に対して検出１領域７００が取得されている。この場合、図８（Ｂ）の現在の画像に対して図６のＳ５０１にて同部位探索範囲７３１が算出される。同部位探索範囲７３１内で条件を満たす検出１領域７３０を用いて着目被写体の被写体分類結果が更新される。

【0070】

図９は部位ベクトルを用いた異部位探索例を示す模式図である。図９（Ａ）の過去の取得画像では、被写体に対して検出１領域８００および検出２領域８１０が取得されており、図５のＳ４１１にて部位ベクトル８２０が記録されている。この場合、図９（Ｂ）の現在の画像に対して図７のＳ６０２にて異部位探索範囲８３１が算出される。異部位探索範囲８３１内で条件を満たす検出２領域８１１を用いて着目被写体の被写体分類結果が更新される。

【0071】

図１０は部位ベクトルを用いない異部位探索例を示す模式図である。図１０（Ａ）の過去の取得画像では、被写体に対して検出１領域９００が取得されている。この場合、図１０（Ｂ）の現在の画像に対して図７のＳ６０３にて異部位探索範囲９３１が算出される。異部位探索範囲９３１内で条件を満たす検出２領域９１１を用いて着目被写体の被写体分類結果が更新される。

【0072】

図１１を参照して、本実施例における禁止領域更新処理（図５：Ｓ４１４およびＳ４１５）について詳細に説明する。Ｓ１０００にてＣＰＵ１５１は、過去の取得画像において更新対象の禁止領域が記録されているか否かの判定を行う。更新対象の禁止領域とは、図５のＳ４１４では検出１禁止領域であり、Ｓ４１５では検出２禁止領域である。更新対象の禁止領域が記録されていると判定された場合、Ｓ１００１に進み、更新対象の禁止領域が記録されていないと判定された場合にはＳ１００９に進む。

【0073】

Ｓ１００１にてＣＰＵ１５１は、更新対象の禁止領域の中から着目禁止領域を設定する。Ｓ１００２にてＣＰＵ１５１は、図２のＳ２０５で取得された動きベクトルマップを参照し、着目禁止領域に対応する領域に所定値（閾値）より大きい動きベクトルが存在しているか否かの条件判定を行う。この条件を満たす動きベクトルが存在していると判定された場合、Ｓ１００７に進み、条件を満たす動きベクトルが存在していないと判定された場合にはＳ１００３に進む。

【0074】

Ｓ１００３にてＣＰＵ１５１は、過去の取得画像において図２のＳ２０６で取得されたデフォーカスマップと、現在の画像において図２のＳ２０６で取得されたデフォーカスマップとを比較する。着目禁止領域に対応する領域に所定値よりも大きい距離差分が存在するか否かの判定処理が行われる。条件を満たす距離差分が存在すると判定された場合、Ｓ１００７に進み、条件を満たす距離差分が存在しないと判定された場合にはＳ１００４に進む。

【0075】

Ｓ１００４にてＣＰＵ１５１は、現在の画像から得られた対象検出領域の内、着目禁止領域に属する検出領域が存在するか否かの判定を行う。当該検出領域が存在すると判定された場合、Ｓ１００５に進み、当該検出領域が存在しない場合にはＳ１００７に進む。ただし対象検出領域は、図５のＳ４１４では着目被写体の被写体分類結果の更新に用いておらず、かつＳ１００６で登録状態にしていない検出１領域に限られる。また対象検出領域は、図５のＳ４１５では着目被写体の被写体分類結果の更新に用いておらず、かつＳ１００６で登録状態にしていない検出２領域に限られる。

【0076】

Ｓ１００５にてＣＰＵ１５１は、ＲＡＭ１５４に記録された着目禁止領域を更新する。更新する領域は、Ｓ１００４で存在すると判定された検出領域を基準とし、図２のＳ２０４で得た位置姿勢変化量を打ち消すように加工された領域とする。Ｓ１００５の次にＳ１００６に進む。

【0077】

Ｓ１００６にてＣＰＵ１５１は、Ｓ１００５で更新に用いた検出領域を登録済み状態に更新する。Ｓ１００７にてＣＰＵ１５１は、ＲＡＭ１５４に記録された着目禁止領域を削除する。Ｓ１００６、Ｓ１００７の次にＳ１００８に処理を進める。

【0078】

Ｓ１００８にてＣＰＵ１５１は、更新対象であって、かつＳ１００１で着目禁止領域にしていない領域が存在するか否かの条件判定を行う。この条件を満たす場合、Ｓ１００１に戻って処理を続行し、条件を満たさない場合にはＳ１００９に進む。

【0079】

Ｓ１００９にてＣＰＵ１５１は、Ｓ１００６で登録済みにしていない（未登録状態の）対象検出領域が存在するか否かの条件判定を行う。この条件を満たす場合、Ｓ１０１０に進み、条件を満たさない場合には禁止領域更新処理を終了する。

【0080】

Ｓ１０１０にてＣＰＵ１５１は、Ｓ１００９で存在すると判定された（未登録状態の）検出領域の全てを、着目被写体の禁止領域としてＲＡＭ１５４に新規追加する。そして一連の処理を終了する。

【0081】

図１２を参照して、本実施例における禁止領域の削除例を具体的に説明する。図１２（Ａ）は過去の取得画像における検出状態を示す。被写体ごとの顔領域１１００，１１０２および胴領域１１１０，１１１１が検出されている。顔領域１１００の被写体は、手前側（撮像装置側）にいる胴領域１１１０の被写体によって胴体の一部が隠れた状態である。

【0082】

図１２（Ｂ）は現在の画像における検出状態を示す。被写体ごとの顔領域１１２０，１１２１および胴領域１１３０，１１３１が検出されている。顔領域１１２０の被写体によって、その後ろ側にいる被写体の顔領域と胴体の一部が隠れた状態である。図１２（Ｃ）は現在の画像に対応する動きベクトルマップを示す。各座標に対してベクトルの向きと大きさのデータが記録されている。

【0083】

図１２（Ｄ）は過去の取得画像に対応する距離マップである。図１２（Ｅ）は現在の画像に対応する距離マップである。距離マップにて明度が高いほど手前側（撮像装置側）であることを表している。

【0084】

図１２（Ｆ）は過去の取得画像において最も手前側の被写体Ｃが着目被写体である場合の禁止領域を示す表である。顔領域１１００，１１０２は検出１禁止領域であり、胴領域１１１１は検出２禁止領域である。図１２（Ｇ）は現在の画像における被写体分類結果を示す表である。例えば、被写体ＩＤがＣである被写体に関して、顔領域１１２０は検出１領域であり、胴領域１１３０は検出２領域である。

【0085】

図１２（Ｃ）に示す通り、禁止領域に登録されている顔領域１１００では、現在の画像において所定値以上の大きさの動きベクトルが算出されている。従って、顔領域１１００は図１１のＳ１００２で判定される禁止領域削除条件を満たしている。また図１２（Ｄ）乃至（Ｆ）に示す通り、禁止領域に登録されている顔領域１１００では、現在の画像において距離情報が変動している。従って、顔領域１１００は図１１のＳ１００３で判定される禁止領域削除条件を満たしている。

【0086】

このような条件判定にしたがって禁止領域の削除を行うことで、着目被写体の検出結果が禁止領域に出現した場合、探索処理において着目被写体の被写体分類結果が更新されないという問題の発生を抑制できる。

【0087】

図１３と図１４を参照して、本実施例における新規被写体追加処理（図２：Ｓ２１１）について詳細に説明する。Ｓ１２００にてＣＰＵ１５１は、現在の画像から得られた検出１領域の内、未使用状態の領域が存在するか否かの判定を行う。未使用状態の検出１領域が存在すると判定された場合、Ｓ１２０１に進み、未使用状態の検出１領域が存在しないと判定された場合には図１４のＳ１２０８に移行する。

【0088】

Ｓ１２０１にてＣＰＵ１５１は、未使用状態の検出１領域を着目領域に設定する。Ｓ１２０２にてＣＰＵ１５１は、着目領域に新たな被写体ＩＤを付与して被写体分類結果に追加し、ＲＡＭ１５４に記録する。Ｓ１２０３にてＣＰＵ１５１は、着目領域を使用済み状態として更新し、ＲＡＭ１５４に記録する。

【0089】

Ｓ１２０４にてＣＰＵ１５１は、図２のＳ２０７において着目領域に紐づけられており、かつ未使用状態の検出２領域が存在するか否かの条件判定を行う。この条件を満たす場合、Ｓ１２０５に進み、条件を満たさない場合にはＳ１２０７に進む。

【0090】

Ｓ１２０５にてＣＰＵ１５１は、着目領域に紐づけられた検出２領域に対してＳ１２０２で付与した被写体ＩＤと同じ被写体ＩＤにして、当該検出２領域を被写体分類結果に追加し、ＲＡＭ１５４に記録する。Ｓ１２０６にてＣＰＵ１５１は、着目領域に紐づけられた検出２領域を使用済み状態としてＲＡＭ１５４に記録する。

【0091】

Ｓ１２０７にてＣＰＵ１５１は、現在の画像から得られた検出１領域の内、未使用状態の領域が存在するか否かの条件判定を行う。この条件を満たす場合、Ｓ１２０１に戻って処理を続行し、条件を満たさない場合には図１４のＳ１２０８に移行する。

【0092】

Ｓ１２０８にてＣＰＵ１５１は、現在の画像から得られた検出２領域の内、未使用状態の領域が存在するか否かの条件判定を行う。この条件を満たす場合、Ｓ１２０９に進み、条件を満たさない場合には新規被写体追加処理を終了する。

【0093】

Ｓ１２０９にてＣＰＵ１５１は、未使用状態の検出２領域を着目領域に設定する。Ｓ１２１０にてＣＰＵ１５１は、着目領域に対して新たな被写体ＩＤを付与して被写体分類結果に追加し、ＲＡＭ１５４に記録する。Ｓ１２１１にてＣＰＵ１５１は、着目領域を使用済み状態として更新し、ＲＡＭ１５４に記録する。

【0094】

Ｓ１２１２にてＣＰＵ１５１は、図２のＳ２０７において着目領域に紐づけられており、かつ未使用状態の検出１領域が存在するか否かの条件判定を行う。この条件を満たす場合、Ｓ１２１３に進み、条件を満たさない場合にはＳ１２１５に進む。

【0095】

Ｓ１２１３にてＣＰＵ１５１は、着目領域に紐づけられた検出１領域に対して、Ｓ１２１０で付与した被写体と同じ被写体ＩＤにして、当該検出１領域を被写体分類結果に追加し、ＲＡＭ１５４に記録する。Ｓ１２１４にてＣＰＵ１５１は、着目領域に紐づけられた検出１領域を使用済み状態として更新し、ＲＡＭ１５４に記録する。

【0096】

Ｓ１２１５にてＣＰＵ１５１は、現在の画像から得られた検出２領域の内、未使用状態の領域が存在するか否かの条件判定を行う。この条件を満たす場合、Ｓ１２０９に戻って処理を続行し、条件を満たさない場合には新規被写体追加処理を終了する。

【0097】

本実施例によれば、異部位探索による誤りを抑制しつつ、連続フレームにおいて被写体検出の成功率を高めて探索し続けることが可能である。

【0098】

本実施例では同部位探索で当該部位が検出された場合、異部位探索を行わない例を示したが、これに限らない。ＣＰＵ１５１は並行、あるいは順次両探索を行い、両方の探索から同一被写体に対応する（と推定される）部位が検出された場合でも、同部位探索で得られた結果を優先して、該探索結果を用いて追尾の対象あるいは枠表示の対象となる注目被写体として検出してもよい。

【0099】

［実施例２］
次に本発明の実施例２を説明する。本実施例にて実施例１と同様の事項については説明を省略し、主に相違点を説明する。このような説明の省略方法は後述の実施例でも同じである。本実施例において、部位検出部１６１は人物の顔領域と人物の胴領域を検出できるものとする。検出１領域を顔領域とし、検出２領域を胴領域とする。また撮影者の関心が高い顔領域は胴領域よりも重要度が高いものとする。

【0100】

図１５と図１６を参照して、本実施例における探索処理（図２：Ｓ２０９）について詳細に説明する。図１５のＳ１３００にてＣＰＵ１５１は、過去の取得画像に対する探索処理において、被写体分類結果がＲＡＭ１５４に記録されているか否かの判定を行う。被写体分類結果が記録されていると判定された場合、Ｓ１３０１に進み、被写体分類結果が記録されていないと判定された場合には探索処理を終了する。

【0101】

Ｓ１３０１にてＣＰＵ１５１は、ＲＡＭ１５４に記録された被写体分類結果の中から、着目被写体を決定する。着目被写体の候補が複数存在する場合には、図２のＳ２１１で算出された被写体優先度が高い被写体を優先する処理が行われる。

【0102】

Ｓ１３０２にてＣＰＵ１５１は、過去の取得画像において着目被写体に分類された検出１領域がＲＡＭ１５４に記録されているか否かの判定を行う。当該検出１領域が記録されていると判定された場合、Ｓ１３０３に進み、当該検出１領域が記録されていないと判定された場合にはＳ１３０５に進む。

【0103】

Ｓ１３０３にてＣＰＵ１５１は、過去の取得画像において着目被写体に分類された検出１領域を基準とし、現在の画像から得られた複数の検出１領域に対して同部位探索を行う。Ｓ１３０４にてＣＰＵ１５１は、着目被写体に対して現在の画像の検出領域から条件を満たす被写体が発見され、被写体分類結果が更新済みであるか否かの条件判定を行う。この条件を満たす場合、図１６のＳ１３１３に進み、条件を満たさない場合にはＳ１３０５に進む。

【0104】

Ｓ１３０５にてＣＰＵ１５１は、過去の取得画像において着目被写体に分類された検出２領域がＲＡＭ１５４に記録されているか否かの判定を行う。当該検出２領域が記録されていると判定された場合、Ｓ１３０６に進み、当該検出２領域が記録されていないと判定された場合にはＳ１３０８に進む。

【0105】

Ｓ１３０６にてＣＰＵ１５１は、過去の取得画像において着目被写体に分類された検出２領域を基準とし、現在の画像から得られた複数の検出１領域に対して異部位探索を行う。Ｓ１３０７にてＣＰＵ１５１は、着目被写体に対して現在の画像の検出領域から条件を満たす被写体が発見され、被写体分類結果が更新済みであるか否かの条件判定を行う。この条件を満たす場合、図１６のＳ１３１３に進み、条件を満たさない場合にはＳ１３０８に進む。

【0106】

Ｓ１３０８にてＣＰＵ１５１は、過去の取得画像において着目被写体に分類された検出２領域がＲＡＭ１５４に記録されているか否かの条件判定を行う。この条件を満たす場合、Ｓ１３０９に進み、条件を満たさない場合には、図１６のＳ１３１１に進む。

【0107】

Ｓ１３０９にてＣＰＵ１５１は、過去の取得画像において着目被写体に分類された検出２領域を基準とし、現在の画像から得られた複数の検出２領域に対して同部位探索を行う。Ｓ１３１０にてＣＰＵ１５１は、着目被写体に対して現在の画像の検出領域から条件を満たす被写体が発見され、被写体分類結果が更新済みであるか否かの条件判定を行う。この条件を満たす場合、図１６のＳ１３１３に進み、条件を満たさない場合には図１６のＳ１３１１に進む。

【0108】

図１６のＳ１３１１にてＣＰＵ１５１は、過去の取得画像において着目被写体に分類された検出１領域がＲＡＭ１５４に記録されているか否かの条件判定を行う。この条件を満たす場合、Ｓ１３１２に進み、条件を満たさない場合にはＳ１３１３に進む。Ｓ１３１２にてＣＰＵ１５１は、過去の取得画像において着目被写体に分類された検出１領域を基準とし、現在の画像から得られた複数の検出２領域に対して異部位探索を行う。

【0109】

Ｓ１３１３からＳ１３１９までの処理は、実施例１にて説明した図５のＳ４１０からＳ４１６までの処理と同様であるので、それらの説明を割愛する。本実施例における同部位探索処理、異部位探索処理、禁止領域更新処理、新規被写体追加処理については実施例１と同様である。

【0110】

本実施例では、精度が低い異部位探索処理より精度が高い同部位探索処理の方が優先して実行される。優先した探索処理で着目被写体が更新された場合には、他方の探索処理を行わないことで精度の高い探索処理を行うことができる。また同部位探索処理に関して、図１５のＳ１３０９よりもＳ１３０６の処理が優先して行われるので、着目被写体情報が重要度の高い検出領域で更新される確率を高めることができる。本実施例によれば、異部位探索による誤りを抑制するとともに、重要度の高い領域を優先しつつ、連続フレームにおいて被写体検出の成功率を高めて探索し続けることが可能である。

【0111】

［実施例３］
次に本発明の実施例３について実施例２との相違点を説明する。本実施例の部位検出部１６１は人物の全身領域と人物の目領域を検出できるものとする。検出１領域を全身領域とし、検出２領域を目領域とする。また人物の全身サイズは、人物の目サイズよりも十分大きいので重要度が高いものとする。あるいは人物の全身領域は、人物の目領域を内包しているので重要度が高いものとする。なお、本実施例における探索処理は実施例２と同様である（同部位探索処理、異部位探索処理、禁止領域更新処理、新規被写体追加処理等の説明を割愛する）。

【0112】

本実施例では、実施例２と同様に精度の高い探索処理を行うことができる。また、図１５のＳ１３０９よりもＳ１３０６の処理が優先して行われるので、局所領域（小サイズの領域）による探索の誤りを抑制することができる。本実施例によれば、異部位探索による誤りを抑制するとともに、局所領域による誤りを抑制しつつ、連続フレームにおいて被写体検出の成功率を高めて探索し続けることが可能である。

【0113】

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0114】

１００ 撮像装置
１４１ 撮像素子
１５１ ＣＰＵ
１５２ 画像処理部
１６１ 部位検出部
１６２ ラベリング処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】