特許 7424280 情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-22

(45)【発行日】2024-01-30

(54)【発明の名称】情報処理装置および情報処理方法

(51)【国際特許分類】

   G06T 7/254 20170101AFI20240123BHJP

【ＦＩ】

G06T7/254 A

【請求項の数】 14

(21)【出願番号】P 2020199784

(22)【出願日】2020-12-01

(65)【公開番号】P2022087701

(43)【公開日】2022-06-13

【審査請求日】2023-02-28

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】小林 剛

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１１－０５３９５１（ＪＰ，Ａ）

【文献】特開２０１４－０２７５８０（ＪＰ，Ａ）

【文献】特開２０１８－２０６２８５（ＪＰ，Ａ）

【文献】特開２００５－２４４５４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２５４

(57)【特許請求の範囲】

【請求項1】

動画像から動物体を検出する情報処理装置であって、
前記動画像を取得する取得部と、
前記動画像のフレーム内で検出対象の動物体を探索する範囲である探索領域を設定する設定部と、
前記探索領域から前記検出対象の動物体を検出し、検出された前記検出対象の動物体の位置および大きさと、前記探索領域の位置および大きさと、を含む検出情報を記憶部に格納する検出部と、を備え、
前記設定部は、第１フレームと前記第１フレームの前のフレームである第２フレームとの差分領域、および前記記憶部に格納された前記第２フレームの前記検出情報に基づいて、前記第１フレームの前記探索領域を設定する、
情報処理装置。

【請求項2】

前記検出情報に含まれる前記検出対象の動物体の位置および大きさは、前記動画像のフレームの差分領域に対する相対位置および相対サイズである、
請求項１に記載の情報処理装置。

【請求項3】

前記設定部は、前記第１フレームの差分領域内の位置およびサイズであって、前記第２フレームの差分領域内での前記検出対象の動物体の相対位置および相対サイズと同じ相対位置および相対サイズの領域である相対領域に基づいて、前記第１フレームの前記探索領域を設定する、
請求項１または２に記載の情報処理装置。

【請求項4】

前記設定部は、前記第１フレームの前記相対領域の周囲に、所定幅の余白を追加した領域を前記第１フレームの前記探索領域として設定する、
請求項３に記載の情報処理装置。

【請求項5】

前記検出部は、前記第１フレームの前記相対領域から探索を開始する、
請求項３または４に記載の情報処理装置。

【請求項6】

前記設定部は、前記探索領域で前記検出対象の動物体が検出されなかった場合、前記探索領域を拡大し、
前記検出部は、拡大した前記探索領域から前記検出対象の動物体を検出する、
請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記第１フレームの差分領域は、前記第１フレームおよび前記第２フレームの各画素を周辺画素との平均値としたそれぞれの平滑化画像を使用した差分である、
請求項１から６のいずれか１項に記載の情報処理装置。

【請求項8】

前記第１フレームの差分領域は、前記第１フレームと前記第２フレームとで所定の閾値以上の差分がある画素を含む領域である、
請求項１から７のいずれか１項に記載の情報処理装置。

【請求項9】

前記検出部は、前記検出対象の動物体の画像データを記憶する検出辞書を使用して、前記検出対象の動物体を検出する、
請求項１から８のいずれか１項に記載の情報処理装置。

【請求項10】

前記設定部は、前記第１フレームよりも前の複数フレームでの前記検出対象の大きさの変化量に基づいて、前記探索領域の大きさを調整する、
請求項１から９のいずれか１項に記載の情報処理装置。

【請求項11】

前記設定部は、前記第１フレームよりも前の複数フレームでの前記検出対象の動物体の位置の変化量に基づいて、前記探索領域の位置を補正する、
請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記検出部は、前記検出対象の動物体の検出時に参照していた検出辞書の情報を前記記憶部に格納し、前記第１フレームよりも前のフレームで、前記検出対象の動物体の検出時に参照していた検出辞書の情報に基づいて、前記第１フレームで使用する検出辞書を選択する
請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項13】

動画像から動物体を検出する情報処理装置が、
前記動画像を取得する取得ステップと、
前記動画像のフレーム内で検出対象の動物体を探索する範囲である探索領域を設定する設定ステップと、
前記探索領域から前記検出対象の動物体を検出し、検出された前記検出対象の動物体の位置および大きさと、前記探索領域の位置および大きさと、を含む検出情報を記憶部に格納する検出ステップと、を含み、
前記設定ステップでは、第１フレームと前記第１フレームの前のフレームである第２フレームとの差分領域、および前記記憶部に格納された前記第２フレームの前記検出情報に基づいて、前記第１フレームの前記探索領域を設定する
情報処理方法。

【請求項14】

請求項１３に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置および情報処理方法に関する。

【背景技術】

【0002】

カメラ等において撮像した連続画像から特定の物体を検出して、検出した物体に対してオートフォーカス（ＡＦ）、オートエクスポージャ（ＡＥ）、顔認証、その他の処理が行われている。取得した連続画像（動画像）を処理するリアルタイム性、処理にかかる消費電力、検出以外の処理の実行を考慮すると、物体の検出処理は、高速化が望まれる。動画中から物体を効率よく検出する技術として、画像のフレーム間差分を用いて、現フレームでの探索領域を設定する方法が提案されている。例えば、特許文献１は、フレーム間の差分画像から検出対象のオブジェクトが存在する領域を抽出する技術を開示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２５１８９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

フレーム間の差分画像から検出対象のオブジェクトが存在する領域を抽出した場合、検出対象の速度または移動量によっては、現フレームでオブジェクトが存在する領域を精度よく抽出し、探索領域を設定するのは困難な場合がある。

【0005】

本発明は、一側面では、動画像の各フレームで、検出対象を効率的に探索するための探索領域を設定する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、上記目的を達成するために、以下の構成を採用する。

【0007】

本開示の第一側面は、動画像から動物体を検出する情報処理装置であって、動画像を取得する取得部と、動画像のフレーム内で検出対象の動物体を探索する範囲である探索領域を設定する設定部と、探索領域から検出対象の動物体を検出し、検出された検出対象の動物体の位置および大きさと、探索領域の位置および大きさと、を含む検出情報を記憶部に格納する検出部と、を備え、設定部は、第１フレームと第１フレームの前のフレームである第２フレームとの差分領域、および記憶部に格納された第２フレームの検出情報に基づいて、第１フレームの探索領域を設定する、情報処理装置である。

【0008】

動物体は、動物体を囲む矩形として検出される。例えば、動物体の位置は、矩形の中心座標として、動物体の大きさは矩形の縦および横の長さとして取得され記憶部に格納される。第１フレームは、動物体を検出する現フレームであり、第２フレームは、現フレームの前フレームである。情報処理装置は、前フレームでの動物体の検出情報に基づいて現フレームでの探索領域を設定することで、差分領域内で検出対象が存在する可能性がより高い領域を探索領域として設定することができる。即ち、情報処理装置は、検出対象の動物体を効率的に探索するための探索領域を設定することができる。なお、動物体は、人の顔、人体、動物、一般的な物体を含む。

【0009】

検出情報に含まれる検出対象の動物体の位置および大きさは、動画像のフレームの差分領域に対する相対位置および相対サイズであってもよい。フレームの差分領域は、当該フ
レームとその前のフレームとの間の差分である。なお、検出情報は、検出対象の動物体の絶対位置および大きさの情報、並びに差分領域の絶対位置および大きさの情報を含み、相対位置および相対サイズは、これらの情報から算出されてもよい。情報処理装置は、第２フレーム（前フレーム）での検出対象の相対位置および相対サイズを用いることで、検出対象を効率的に探索可能な探索領域を設定することができる。

【0010】

設定部は、第１フレームの差分領域内の位置およびサイズであって、第２フレームの差分領域内での検出対象の動物体の相対位置および相対サイズと同じ相対位置および相対サイズの領域である相対領域に基づいて、第１フレームの探索領域を設定してもよい。第１フレームの相対領域には、相対領域以外の領域よりも検出対象が存在する可能性が高く、情報処理装置は、検出対象を効率的に探索可能な探索領域を設定することができる。

【0011】

設定部は、第１フレームの相対領域の周囲に、所定幅の余白を追加した領域を第１フレームの探索領域として設定してもよい。情報処理装置は、設定された探索領域内で、検出の可能性がより高い位置を含む領域を探索領域として設定することができる。

【0012】

検出部は、第１フレームの相対領域から探索を開始してもよい。情報処理装置は、設定された探索領域内で、検出の可能性がより高い位置から探索を開始することで、効率的に検出対象を検出することができる。

【0013】

設定部は、探索領域で検出対象の動物体が検出されなかった場合、探索領域を拡大し、検出部は、拡大した探索領域から検出対象の動物体を検出してもよい。情報処理装置は、最初に設定された探索領域を順次拡大していくことで、効率よく検出対象を探索することができる。

【0014】

第１フレームの差分領域は、第１フレームおよび第２フレームの各画素を周辺画素との平均値としたそれぞれの平滑化画像を使用した差分であってもよい。平滑化処理によって画素のノイズが除去されるため、情報処理装置は、人体の動き、動物体領域、状態が変化した領域を適切に抽出することができる。

【0015】

第１フレームの差分領域は、第１フレームと第２フレームとで所定の閾値以上の差分がある画素を含む領域であってもよい。所定の閾値は、第１フレームと第２フレームとの差分領域の抽出が可能な範囲とすることができる。情報処理装置１は、所定の閾値以上の差分がある画素を含む領域を差分領域とすることで、検出対象を効率よく探索可能な探索領域を設定することができる。

【0016】

検出部は、検出対象の動物体の画像データを記憶する検出辞書を使用して、検出対象の動物体を検出するものであってもよい。情報処理装置は、検出対象に応じた検出辞書を使用することで、検出対象の動物体を精度良く検出することができる。

【0017】

設定部は、第１フレームよりも前の複数フレームでの検出対象の大きさの変化量に基づいて、探索領域の大きさを調整するものであってもよい。情報処理装置は、検出対象の動物体の大きさの変化量、即ち、カメラから検出対象までの距離の変化量に関わらず、検出対象を効率よく探索可能な探索領域を設定することができる。

【0018】

設定部は、第１フレームよりも前の複数フレームでの検出対象の動物体の位置の変化量に基づいて、探索領域の位置を補正するものであってもよい。情報処理装置は、検出対象の動物体の位置の変化量に関わらず、検出対象を効率よく探索可能な探索領域を設定することができる。

【0019】

検出部は、検出対象の動物体の検出時に参照していた検出辞書の情報を記憶部に格納し、第１フレームよりも前のフレームで、検出対象の動物体の検出時に参照していた検出辞書の情報に基づいて、第１フレームで使用する検出辞書を選択するものであってもよい。情報処理装置は、検出対象に合った適切な検出辞書を使用することができるため、検出対象の動物体を精度良く検出することができる。

【0020】

本発明の第二側面は、動画像から動物体を検出する情報処理装置が、
動画像を取得する取得ステップと、動画像のフレーム内で検出対象の動物体を探索する範囲である探索領域を設定する設定ステップと、探索領域から検出対象の動物体を検出し、検出された検出対象の動物体の位置および大きさと、探索領域の位置および大きさと、を含む検出情報を記憶部に格納する検出ステップと、を含み、設定ステップでは、第１フレームと第１フレームの前のフレームである第２フレームとの差分領域、および記憶部に格納された第２フレームの検出情報に基づいて、第１フレームの探索領域を設定する情報処理方法である。

【発明の効果】

【0021】

本発明によれば、動画像の各フレームで、検出対象を効率的に探索するための探索領域を設定することができる。

【図面の簡単な説明】

【0022】

【図1】図１は、実施形態に係る情報処理装置の適用例を説明する図である。

【図2】図２は、情報処理装置のハードウェア構成を例示する図である。

【図3】図３は、情報処理装置の機能構成を例示する図である。

【図4】図４は、動物体検出処理を例示するフローチャートである。

【図5】図５は、探索領域の設定について説明する図である。

【発明を実施するための形態】

【0023】

以下、本発明の一側面に係る実施の形態を、図面に基づいて説明する。

【0024】

＜適用例＞
情報処理装置は、動画像の各フレームで検出対象の動物体を探索する場合、フレームの一部の領域、例えばフレーム間差分がある領域をトラッキング探索領域（以下、探索領域とも称する）として設定し領域内を探索することで、効率よく動物体を検出することができる。フレーム間差分がある領域は、以下、差分領域と称する。また、差分領域は、フレーム間差分がある領域に限られず、差分が所定量以上ある領域としてもよい。なお、フレーム間差分がない場合、フレーム全体を差分領域とすることで静止物体の検出も可能である。

【0025】

本実施形態では、情報処理装置は、前フレームで検出された検出対象の位置に基づいて、差分領域をさらに限定し、差分領域よりも狭い範囲の探索領域を探索することで、効率よく検出対象を検出することができる。

【0026】

情報処理装置は、限定された探索領域から効率よく動物体を検出することができるため、探索時間を短縮することができる。動物体の検出処理はリアルタイム性が確保され、情報処理装置の消費電力は低減される。また、検出対象の移動速度または移動量にかかわらず探索領域が適切に設定されるため、検出対象に対するトラッキングの追従性は向上する。追従性の向上により、情報処理装置は、現フレームで検出した物体が前フレームで検出した物体と同一物体であることを精度よく認識することができる。

【0027】

図１は、実施形態に係る情報処理装置の適用例を説明する図である。図１の例では、前
フレームの探索領域Ａ１は、前々フレーム（不図示）と前フレームとの差分領域に設定される。検出対象の動物体は、探索領域Ａ１の探索により、検出結果Ａ２（動物体として検出された領域）として検出される。情報処理装置は、前フレームでの差分領域に対する検出結果Ａ２の相対位置および相対サイズを含む検出情報を、メモリ等の記憶装置に保持する。

【0028】

現フレームでの探索領域Ａ４は、前フレームでの検出結果Ａ２に基づいて、前フレームと現フレームとの差分領域内に設定される。図１の例では、探索領域Ａ４は、現フレームの差分領域内において、前フレームでの検出結果Ａ２の相対位置Ａ３を囲む領域に設定される。

【0029】

このように、前フレームでの検出結果Ａ２に基づいて探索領域Ａ４を設定することで、情報処理装置は、差分領域よりも狭い範囲を探索して検出対象の動物体を検出することができる。このため、検出対象の探索時間は短縮される。

【0030】

本発明は、画像または動画から、特定の物体またはパターン等を自動的に検出する処理を実行するソフトウェア、および当該処理を実行する装置、システム、カメラ等に適用することができる。

【0031】

＜実施形態＞
（ハードウェア構成）
図２を参照して、情報処理装置１のハードウェア構成の一例について説明する。図２は、情報処理装置１のハードウェア構成を例示する図である。情報処理装置１は、プロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、通信インタフェース（Ｉ／Ｆ）１０４、出力装置１０５を備える。プロセッサ１０１は、補助記憶装置１０３に記憶されたプログラムを主記憶装置１０２に読み出して実行することにより、図３で説明する各機能構成としての機能を実現する。通信インタフェース１０４は、有線または無線通信を行うためのインタフェースである。出力装置１０５は、例えば、ディスプレイ等の出力を行うための装置である。

【0032】

情報処理装置１は、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよく、オンボードコンピュータのように組み込み型のコンピュータでもよい。情報処理装置１は、例えば、複数台のコンピュータ装置による分散コンピューティングにより実現されてもよく、各機能部の一部をクラウドサーバにより実現されてもよい。また、情報処理装置１の各機能部の一部は、ＦＰＧＡまたはＡＳＩＣなどの専用のハードウェア装置によって実現されてもよい。

【0033】

情報処理装置１は、有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）でカメラ１０に接続され、カメラ１０で撮影された画像データを受信する。カメラ１０は、レンズを含む光学系および撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。

【0034】

なお、情報処理装置１は、カメラ１０（撮像部）と一体に構成されてもよい。また、撮像画像に対する動物体検出、探索領域の設定等、情報処理装置１の処理の一部は、カメラ１０で実行されてもよい。さらに、情報処理装置１による動物体検出の結果は、外部の装置に送信されユーザに提示されるようにしてもよい。

【0035】

（機能構成）
図３を参照して、情報処理装置１の機能構成の一例について説明する。図３は、情報処理装置１の機能構成を例示する図である。情報処理装置１は、画像取得部１１、探索領域
設定部１２、検出辞書記憶部１３、検出処理部１４、検出結果取得部１５、検出情報記憶部１６を有する。

【0036】

画像取得部１１は、カメラ１０から動画像を取得する。動画像は連続する複数の画像（フレーム）を含む。情報処理装置１がカメラ１０と一体に構成されている場合、画像取得部１１は、情報処理装置１が有する撮像部（不図示）から動画像を取得する。画像取得部１１は、「取得部」の一例である。

【0037】

探索領域設定部１２は、動画像に含まれる各フレームに対し、検出対象の動物体を探索する範囲である探索領域を設定する。探索領域設定部１２は、フレーム間差分演算部１２１、前フレーム検出情報反映部１２２、探索領域拡張部１２３を有する。探索領域設定部１２は、「設定部」の一例である。

【0038】

フレーム間差分演算部１２１は、現フレームと前フレームとのピクセルごとの差分を算出し、所定の閾値以上の差分があるピクセルを含む領域を探索領域として初期設定する。フレーム間差分演算部１２１は、平滑化画像生成部１２１１を有する。

【0039】

平滑化画像生成部１２１１は、現フレームおよび前フレームそれぞれの平滑化画像を生成する。平滑化画像は、フレーム画像の各画素を、周辺画素との平均値とする平滑化処理によって得られる画像である。平滑化画像生成部１２１１は、平滑化処理によって、画素のノイズを除去することができる。フレーム間差分演算部１２１は、現フレームおよび前フレームそれぞれの平滑化画像を用いてフレーム間差分を生成することにより、人体の動き、動物体領域、または状態が変化した差分領域を精度良く抽出することができる。

【0040】

前フレーム検出情報反映部１２２は、前フレームでの検出対象の検出結果の情報（以下、検出情報とも称する）を用いて、探索領域を更新する。探索領域は、初期値として現フレームの差分領域に設定される。また、探索領域は、現フレームの差分領域の範囲内で更新される。前フレーム検出情報反映部１２２は、例えば、前フレームの差分領域に対する検出対象の相対位置に基づいて、現フレームの差分領域で当該相対位置を含む領域を探索領域として設定する。

【0041】

探索領域拡張部１２３は、前フレームでの検出対象の検出情報を用いて更新した探索領域内で、検出対象が検出されなかった場合、差分領域の範囲内で探索領域を拡張する。探索領域拡張部１２３は、例えば、現在設定されている探索領域の周囲を、差分領域の範囲内で所定の幅だけ拡張した領域を、新たな探索領域として設定することができる。

【0042】

検出辞書記憶部１３は、検出対象の動物体の特徴を示すデータが記録された検出辞書の記憶部である。検出辞書は、フレーム画像から検出対象の人体、物体等を検出するために用いられる。検出辞書は、例えば、機械学習またはディープラーニングにより生成される学習モデルである。

【0043】

検出辞書は、検出対象ごとに用意される。また、検出辞書は、検出対象の向きごとに用意されてもよい。例えば、人の顔を検出する場合、「右斜め」、「右横」、「正面」、「左斜め」、「左横」向きの顔を検出する辞書などの検出辞書が用意される。

【0044】

検出処理部１４は、検出辞書を使用して、探索領域設定部１２が設定した探索領域内を探索し、探索領域内に検出対象が存在するか否かを判定する。検出処理部１４は、検出対象に基づいて、複数の検出辞書を使用することができる。また、検出処理部１４は、前フレームで検出対象の動物体の検出時に参照していた検出辞書に基づいて、現フレームで使用する辞書を選択してもよい。

【0045】

検出結果取得部１５は、探索領域内に検出対象が存在する場合、検出情報を取得する。検出情報は、検出対象が検出された位置の座標、差分領域内での相対座標、検出対象のサイズ、差分領域に対する相対サイズ等の情報を含む。検出処理部１４および検出結果取得部１５は、「検出部」の一例である。

【0046】

検出情報記憶部１６は、検出結果取得部１５が取得した検出情報を記憶する。検出情報記憶部１６に記憶された検出情報は、以降のフレームで探索領域を設定するために用いられる。検出情報記憶部１６は、「記憶部」の一例である。

【0047】

（動物体検出処理）
図４および図５を参照して、動物体検出処理の全体的な流れを説明する。図４は、動物体検出処理を例示するフローチャートである。図５は、探索領域の設定について説明する図である。

【0048】

動物体検出処理は、例えば、カメラ１０の電源が入り、情報処理装置１がカメラ１０から撮像画像を受信することにより開始される。なお、図４に示す動物体検出処理は、撮像画像のフレームごとに実行される処理である。図４のフローチャートで処理中のフレームは、「現フレーム」と称する。

【0049】

Ｓ１０１では、画像取得部１１は、撮像画像を取得する。画像取得部１１は、通信インタフェース１０４を介して、カメラ１０から撮像画像を取得する。なお、情報処理装置１がカメラ（撮像部）と一体に構成されている場合には、画像取得部１１は、撮像部により撮影された撮像画像を取得する。

【0050】

Ｓ１０２では、探索領域設定部１２は、現フレームの直前のフレーム（前フレーム）が存在するか否かを判定する。前フレームが存在する場合（Ｓ１０２：Ｙｅｓ）、処理はＳ１１１に進む。前フレームが存在しない場合（Ｓ１０２：Ｎｏ）、処理はＳ１０３に進む。

【0051】

Ｓ１０３からＳ１０５は、前フレームが存在せず、現フレームが動画像の最初のフレームである場合の処理である。図５に示すフレームＦ１は、動画像の最初のフレームを例示する。Ｓ１０３では、探索領域設定部１２は、フレームＦ１が動画像の最初のフレームであるため、フレーム画像全体Ｔ１を探索領域に設定する。

【0052】

Ｓ１０４では、検出処理部１４は、Ｓ１０３で探索領域に設定されたフレーム画像全体Ｔ１で、検出対象の動物体を探索する。検出処理部１４は、検出辞書記憶部１３に記憶された検出辞書を使用して、フレーム画像全体Ｔ１から動物体を検出する。図５の例では、検出処理部１４は、探索窓Ｗ１をフレーム画像の角からｘ軸方向に移動させて探索し、探索窓Ｗ１をｙ軸方向に移動させてｘ軸方向の探索を繰り返すことで、フレーム画像全体Ｔ１を探索する。

【0053】

なお、探索に使用される検出辞書は、人の顔、人体、動物、一般物体等の検出対象に応じて選択される。また、検出処理部１４は、前フレームでの検出結果に基づいて、現フレームでの検出処理に使用される辞書を選択してもよい。例えば、検出処理部１４は、前フレームで右斜め向きの顔を検出した場合、現フレームでの探索には、「右斜め」向きの顔を検出する辞書、「右横」向きの顔を検出する辞書、「正面」向きの顔を検出する辞書の３つの辞書を使用する。このように、前フレームでの検出結果に基づいて、使用する辞書を選択することで、検出処理部１４は、より適切な検出結果を得ることができる。

【0054】

Ｓ１０５では、検出結果取得部１５は、検出情報を取得する。検出結果取得部１５は、図５に示すように、動物体が検出された領域Ｒ１（検出結果）の位置、大きさを含む検出情報を取得する。検出結果取得部１５は、取得した検出情報を検出情報記憶部１６に格納する。Ｓ１０５での検出情報は、領域Ｒ１の座標および絶対サイズを含む。

【0055】

Ｓ１１１では、探索領域設定部１２は、現フレームの前フレームとの差分領域を、探索領域として設定する。探索領域設定部１２は、現フレームと前フレームとのピクセルごとの差分を算出し、所定の閾値以上の差分があるピクセルを含む領域を差分領域として算出する。探索可能な大きさの差分領域が得られない場合、探索領域設定部１２は、前フレームでの差分領域を、現フレームの差分領域として取得する。

【0056】

なお、探索領域設定部１２は、所定の閾値の値を変化させることで、差分領域の大きさを調整することができる。即ち、探索領域設定部１２は、所定の閾値の値をより大きくすることで、画素値の差分が大きい領域を差分領域として算出することができる。また、探索領域設定部１２は、現フレームおよび前フレームそれぞれの平滑化画像を用いることにより、差分領域を精度良く抽出することができる。

【0057】

Ｓ１１２では、探索領域設定部１２は、前フレームの検出情報があるか否かを判定する。例えば、探索領域設定部１２は、前フレームの検出情報に、検出対象の差分領域内での相対座標および相対サイズの情報が存在する場合に検出情報ありと判定することができる。前フレームの検出情報がある場合（Ｓ１１２：Ｙｅｓ）、処理はＳ１２１に進む。前フレームの検出情報がない場合（Ｓ１１２：Ｎｏ）、処理はＳ１１３に進む。

【0058】

Ｓ１１３からＳ１１５は、前フレームの検出情報に、検出対象の差分領域内での相対座標および相対サイズの情報が存在しない場合の処理である。図５に示すフレームＦ２は、前フレームの検出情報に、相対座標および相対サイズの情報が存在しないフレームを例示する。

【0059】

Ｓ１１３では、探索領域は、Ｓ１１１の処理によって、現フレームの前フレームとの差分領域（Ｆ２－Ｆ１）に設定されている。Ｓ１１３では、検出処理部１４は、探索領域Ｔ２に設定された差分領域（Ｆ２－Ｆ１）内で、検出対象の動物体を検出する。検出処理部１４は、検出辞書記憶部１３に記憶された検出辞書を用いて、探索領域Ｔ２内で動物体を探索する。図５の例では、検出処理部１４は、探索窓Ｗ２を探索領域Ｔ２の角からｘ軸方向に移動させて探索し、探索窓Ｗ２をｙ軸方向に移動させてｘ軸方向の探索を繰り返すことで、探索領域Ｔ２を探索する。

【0060】

Ｓ１１４では、検出結果取得部１５は、検出情報を取得する。検出結果取得部１５は、図５に示すように、差分領域Ｔ２内で動物体が検出された領域Ｒ２（検出結果）の位置、大きさを含む検出情報を取得する。Ｓ１１４での検出情報は、領域Ｒ２の座標および絶対サイズの他、差分領域Ｔ２に対する領域Ｒ２の相対座標および相対サイズを含む。

【0061】

Ｓ１１５では、検出結果取得部１５は、差分領域（Ｆ２－Ｆ１）に対する領域Ｒ２の相対座標および相対サイズを検出情報記憶部１６に格納する。検出結果取得部１５は、領域Ｒ２の座標および絶対サイズ並びに差分領域（Ｆ２－Ｆ１）の座標および絶対サイズを検出情報記憶部１６に格納してもよい。この場合、領域Ｒ２の相対座標および相対サイズは、領域Ｒ２および差分領域の座標および絶対サイズから算出することも可能である。

【0062】

Ｓ１２１からＳ１２５は、前フレームの検出情報に、検出結果の差分領域内での相対座標および相対サイズの情報が存在する場合の処理である。図５に示すフレームＦ３は、前フレーム（フレームＦ２）の検出情報に、相対座標および相対サイズの情報が存在するフ
レームを例示する。

【0063】

Ｓ１２１では、探索領域設定部１２は、前フレームの検出情報に基づいて、探索領域を更新する。更新前の探索領域は、Ｓ１１１で設定された差分領域（Ｆ３－Ｆ２）である。

【0064】

探索領域設定部１２は、まず、検出情報記憶部１６から、前フレームの検出情報を取得する。図５の例では、探索領域設定部１２は、前フレームの検出情報として、差分領域（Ｆ２－Ｆ１）に対する領域Ｒ２の相対位置および相対サイズを取得する。

【0065】

次に、探索領域設定部１２は、前フレームＦ２と現フレームＦ３とのフレーム間差分から、現フレームの差分領域（Ｆ３－Ｆ２）を求める。探索領域設定部１２は、差分領域（Ｆ３－Ｆ２）内の位置であって、前フレームの差分領域（Ｆ２－Ｆ１）内での領域Ｒ２の相対位置と同じ相対位置を算出する。また、探索領域設定部１２は、差分領域（Ｆ３－Ｆ２）内のサイズであって、前フレームの差分領域（Ｆ２－Ｆ１）内での領域Ｒ２の相対サイズと同じ相対サイズを算出する。

【0066】

なお、前フレームの差分領域と現フレームの差分領域との縦横比が異なる場合、探索領域設定部１２は、例えば、現フレームの差分領域の縦横比が前フレームの差分領域と同じになるように変換し、変換した領域で相対領域および相対サイズを算出すればよい。探索領域設定部１２は、変換した領域で算出した相対領域および相対サイズを、元の縦横比に戻すことで、現フレームの差分領域での相対領域および相対サイズを算出することができる。

【0067】

探索領域設定部１２は、フレームＦ３の差分領域（Ｆ３－Ｆ２）内の位置およびサイズであって、差分領域（Ｆ２－Ｆ１）内での領域Ｒ２の相対位置および相対サイズと同じ相対位置および同じ相対サイズの領域（以下、フレームＦ３での相対領域とも称する）の周囲に、所定幅の余白を追加した領域Ｔ３を探索領域として設定する。

【0068】

フレームＦ３での相対領域の周囲に設定される所定幅の余白は、差分領域（Ｆ２－Ｆ１）に対する検出結果（領域Ｒ２）の相対サイズに基づいて設定されてもよい。所定幅は、例えば、フレーム画像の幅の１０％を初期値とし、検出結果の相対サイズに応じた係数を乗じて得られる幅とすることができる。また、所定幅は、フレーム画像の幅方向および高さ方向のそれぞれで異なる幅に設定されてもよい。

【0069】

探索領域設定部１２は、前フレームの検出情報に、動物体が検出された際の拡大された探索領域（以下、拡大探索領域とも称する）の情報が含まれている場合、領域Ｒ２の相対位置および相対サイズではなく、前フレームの拡大探索領域の相対位置および相対サイズに基づいて、探索領域を設定してもよい。

【0070】

例えば、探索領域設定部１２は、現フレームの差分領域内の位置およびサイズであって、前フレームの差分領域内での拡大探索領域の相対位置および相対サイズと同じ相対位置および同じ相対サイズの領域（現フレームでの拡大探索領域の相対領域）を探索領域として設定してもよい。また、探索領域設定部１２は、現フレームでの拡大探索領域の相対領域の周囲に、所定幅の余白を追加した領域を探索領域として設定してもよい。

【0071】

ただし、現フレームで設定される探索領域の拡大方向は、検出された動物体の位置に基づいて制限されてもよい。例えば、探索領域設定部１２は、拡大探索領域のうち、動物体が検出された方向以外の方向では拡大前の範囲に制限された領域を、現フレームの探索領域として設定することができる。また、例えば、探索領域設定部１２は、拡大探索領域の相対領域の周囲に所定幅の余白を追加する場合、動物体が検出された方向のみ余白を追加
するようにしてもよい。このように、現フレームで設定される探索領域の拡大方向を制限することで、フレームが進むにつれ探索領域が拡大していく事象は、抑制することが可能である。

【0072】

Ｓ１２２では、検出処理部１４は、Ｓ１２１で更新された探索領域Ｔ３内で、検出対象の動物体を探索する。検出処理部１４は、検出辞書記憶部１３に記憶された検出辞書を用いて、探索領域Ｔ３内で動物体を検出する。検出処理部１４は、探索領域Ｔ３内を角から順に探索する場合に限られず、前フレームでの検出結果（領域Ｒ２）の相対位置から探索を開始してもよい。前フレームでの検出結果の相対位置から探索を開始することにより、検出処理部１４は、検出対象を検出するまでの時間を短縮することができるため、動物体検出処理の高速化を図ることができる。

【0073】

検出処理部１４は、探索領域Ｔ３内で動物体が検出されたか否かを判定する。探索領域Ｔ３内で動物体が検出された場合（Ｓ１２２：Ｙｅｓ）、処理はＳ１２４に進む。探索領域Ｔ３内で動物体が検出されなかった場合（Ｓ１２２：Ｎｏ）、処理はＳ１２３に進む。

【0074】

Ｓ１２３では、探索領域設定部１２は、探索領域Ｔ３内で動物体が検出されなかった
ため、探索領域Ｔ３を拡大する。例えば、探索領域設定部１２は、Ｓ１２１で探索領域を更新した際の所定幅の余白をさらに追加して、探索領域を拡大してもよい。

【0075】

Ｓ１２２に戻ると、検出処理部１４は、拡大した余白の領域から先に検出対象を探索してもよい。また、検出処理部１４は、探索窓が拡大部分を含む場合に検出対象を探索して、探索窓が拡大部分を含まない場合には探索しないようにしてもよい。検出処理部１４は、拡大した領域から探索することで、拡大前の探索領域Ｔ３を重複して探索することを回避し、効率よく検出対象を探索することができる。

【0076】

Ｓ１２４では、検出結果取得部１５は、検出情報を取得する。検出結果取得部１５は、図５に示すように、Ｓ１２１で更新された探索領域Ｔ３内で動物体が検出された領域Ｒ３（検出結果）の位置、大きさを含む検出情報を取得する。検出結果取得部１５は、Ｓ１２３で探索領域が拡大された場合には、拡大された探索領域内で動物体が検出された領域の位置、大きさを含む検出情報を取得する。

【0077】

Ｓ１２４での検出情報は、領域Ｒ３の座標および絶対サイズの他、差分領域（Ｆ３－Ｆ２）に対する領域Ｒ３の相対座標および相対サイズを含む。さらに、Ｓ１２４での検出情報は、検出対象が検出されたときの探索領域の位置、大きさの情報を含む。探索領域の位置、大きさの情報は、座標および絶対サイズであってもよく、差分領域（Ｆ３－Ｆ２）に対する相対位置および相対サイズであってもよい。

【0078】

Ｓ１２５では、検出結果取得部１５は、差分領域（Ｆ３－Ｆ２）に対する領域Ｒ３の相対座標および相対サイズ、および検出対象が検出されたときの探索領域の位置、大きさの情報を検出情報記憶部１６に格納する。検出情報記憶部１６に格納する探索領域の位置、大きさの情報は、座標および絶対サイズであってもよく、差分領域（Ｆ３－Ｆ２）に対する相対位置および相対サイズであってもよい。

【0079】

検出結果取得部１５が検出情報を検出情報記憶部１６に格納すると、現フレームについての動物体検出処理は終了する。検出情報記憶部１６に格納された検出情報は、以降のフレームの動物体検出処理で用いられる。

【0080】

（作用効果）
上記の実施形態において、情報処理装置１は、前フレームでの検出情報に基づいて探索
領域を設定することで、検出対象を効率的に探索できる領域に探索領域を設定することができる。トラッキング探索に要する時間が短縮され、ユーザは、検出のリアルタイム性の確保と消費電力の低減を図ることができる。前フレームの差分領域に対する検出対象の相対位置および相対サイズに基づいて、現フレームの差分領域内に探索領域を設定するため、検出対象に対するトラッキングの追従性は向上する。このため、情報処理装置１は、現フレームで検出された動物体が、前フレームで検出された動物体と同一物体であることを精度良く認識することができる。

【0081】

＜変形例１＞
上記の実施形態では、探索領域設定部１２は、前フレームの検出情報に基づいて、現フレームでの探索領域を設定する。変形例１では、さらに複数のフレームを遡り、現フレームよりも前の複数フレームでの検出対象の大きさの変化量に基づいて、現フレームでの探索領域の大きさを調整する。

【0082】

変形例１では、検出結果取得部１５は、各フレームの検出情報として、前フレームからの検出対象の大きさの変化量をさらに取得し、検出情報記憶部１６に格納する。探索領域設定部１２は、過去のフレームでの検出対象の大きさの変化量に基づいて、現フレームでの検出対象の大きさを推測することができる。探索領域設定部１２は、推測した検出対象の大きさに基づいて探索領域を拡大または縮小することにより、探索領域の大きさを調整することができる。例えば、探索領域設定部１２は、推測した検出対象の大きさに基づいて、探索領域に対する検出対象の相対サイズが、前フレームと同じになるように、現フレームの探索領域を拡大または縮小する。

【0083】

情報処理装置１は、各フレームで、前フレームからの検出対象の大きさの変化量を検出情報記憶部１６に記録することにより、現フレームでの検出対象の大きさを推測することができる。カメラ１０（撮像部）から検出対象までの距離の変化に応じて、検出対象の大きさが変動する場合でも、情報処理装置１は、探索領域の大きさを適切に調整することができる。

【0084】

＜変形例２＞
変形例２では、変形例１と同様に複数のフレームを遡り、検出対象の位置の変化量に基づいて、現フレームでの探索領域の位置を補正する。

【0085】

変形例２では、検出結果取得部１５は、各フレームの検出情報として、前フレームからの検出対象の位置の変化量をさらに取得し、検出情報記憶部１６に格納する。探索領域設定部１２は、過去のフレームでの検出対象の位置の変化量に基づいて、現フレームでの検出対象の位置を推測することができる。探索領域設定部１２は、推測した検出対象の位置に基づいて、探索領域の位置を補正することができる。例えば、探索領域設定部１２は、推測した検出対象の位置が探索領域の中心となるように、探索領域の位置を補正する。

【0086】

情報処理装置１は、各フレームで、前フレームからの検出対象の位置の変化量を検出情報記憶部１６に記録することにより、現フレームでの検出対象の位置を推測することができる。情報処理装置１は、検出対象の移動量（移動速度）に合わせて、探索領域の位置を補正することができる。

【0087】

＜変形例３＞
変形例３では、変形例１、２と同様に複数のフレームを遡り、フレーム内で検出対象の動物体を検出したときに参照していた検出辞書に基づいて、現フレームで使用する検出辞書を選択する。

【0088】

変形例３では、検出結果取得部１５は、各フレームの検出情報として、検出対象の動物体の検出時に参照していた検出辞書の情報をさらに取得し、検出情報記憶部１６に格納する。検出処理部１４は、過去のフレームで検出対象が検出されたときの検出辞書に基づいて、現フレームで使用するための適切な検出辞書を選択することができる。

【0089】

例えば、現フレームよりも前のフレームで、検出対象が検出されたときに参照していた辞書が、「右横」向きの顔を検出する辞書から、時間変化と共に「右斜め」→「正面」→「左斜め」向きの顔を検出する辞書に変化していたものとする。この場合、検出処理部１４は、現フレームの探索に使用する辞書として、「左横」、「左斜め」向きの顔を検出する辞書を選択することができる。

【0090】

情報処理装置１は、直近のフレームで検出対象の動物体の検出時に参照していた検出辞書の情報に基づいて、現フレームで検出対象を探索するための適切な検出辞書を選択することができる。

【0091】

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

【0092】

上記の実施形態では、１つの検出対象を探索する例について説明したが、これに限られない。複数の検出対象が存在する場合、検出対象ごとに、適切な探索領域を設定することで、情報処理装置１は、それぞれの検出対象を効率的に探索することができる。

【0093】

＜付記１＞
（１）動画像から動物体を検出する情報処理装置（１）であって、
前記動画像を取得する取得部（１１）と、
前記動画像のフレーム内で検出対象の動物体を探索する範囲である探索領域を設定する設定部（１２）と、
前記探索領域から前記検出対象の動物体を検出し、検出された前記検出対象の動物体の位置および大きさと、前記探索領域の位置および大きさと、を含む検出情報を記憶部（１６）に格納する検出部（１４、１５）と、を備え、
前記設定部は、第１フレームと前記第１フレームの前のフレームである第２フレームとの差分領域、および前記記憶部に格納された前記第２フレームの前記検出情報に基づいて、前記第１フレームの前記探索領域を設定する、
情報処理装置（１）。

【0094】

（２）動画像から動物体を検出する情報処理装置（１）が、
前記動画像を取得する取得ステップ（Ｓ１０１）と、
前記動画像のフレーム内で検出対象の動物体を探索する範囲である探索領域を設定する設定ステップ（Ｓ１０３、Ｓ１１１）と、
前記探索領域から前記検出対象の動物体を検出し、検出された前記検出対象の動物体の位置および大きさと、前記探索領域の位置および大きさと、を含む検出情報を記憶部に格納する検出ステップ（Ｓ１０４、Ｓ１０５、Ｓ１１３－Ｓ１１５、Ｓ１２２、Ｓ１２４、Ｓ１２５）と、を含み、
前記設定ステップでは、第１フレームと前記第１フレームの前のフレームである第２フレームとの差分領域、および前記記憶部に格納された前記第２フレームの前記検出情報に基づいて、前記第１フレームの前記探索領域を設定する（Ｓ１２１）
情報処理方法。

【符号の説明】

【0095】

１：情報処理装置、１０：カメラ、１１：画像取得部、１２：探索領域設定部、１２１：フレーム間差分演算部、１２１１：平滑化画像生成部、１２２：前フレーム検出情報反映部、１２３：探索領域拡張部、１３：検出辞書記憶部、１４：検出処理部、１５：検出結果取得部、１６：検出情報記憶部、１０１：プロセッサ、１０２：主記憶装置、１０３：補助記憶装置、１０４：通信インタフェース、１０５：出力装置

【図1】

【図2】

【図3】

【図4】

【図5】