特許 7521434 情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】情報処理装置および情報処理方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240717BHJP

   G06T 7/00 20170101ALI20240717BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 300G

【請求項の数】 15

(21)【出願番号】P 2021005951

(22)【出願日】2021-01-18

(65)【公開番号】P2022110493

(43)【公開日】2022-07-29

【審査請求日】2023-02-28

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】杉尾 淳一

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２００８－１８６２８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

動画像を取得する画像取得部と、
前記動画像のフレームを複数のグリッド領域に分割する分割部と、
前記動画像のフレームから動物体を検出する検出部と、
検出された動物体が所定の被写体であることの信頼度を取得する信頼度取得部と、
前記動画像の複数のフレームの前記グリッド領域で検出された動物体の信頼度のヒストグラムまたは確率密度関数を用いて、特徴量を算出する算出部と、
前記特徴量が所定の条件を満たす前記グリッド領域を検出対象外の領域であるマスク領域として設定する設定部と、を備え、
前記特徴量は、前記信頼度が所定値以上である頻度の合計における検出処理を実行したフレーム数に対する割合、または、前記確率密度関数で前記信頼度が所定値以上となる部分の面積、である、
情報処理装置。

【請求項2】

前記算出部は、検出された動物体を囲む検出枠のうち前記グリッド領域と重なる領域の割合に基づいて、前記グリッド領域の特徴量を算出する、
請求項１に記載の情報処理装置。

【請求項3】

前記算出部は、検出された動物体の信頼度の情報を、前記検出された動物体を囲む検出枠の中心座標を含む前記グリッド領域の特徴量の算出に用いる、
請求項１に記載の情報処理装置。

【請求項4】

前記算出部は、検出された動物体の信頼度の情報を、前記検出された動物体を囲む検出枠と重なる領域が最も大きい前記グリッド領域の特徴量の算出に用いる、
請求項１に記載の情報処理装置。

【請求項5】

前記算出部は、検出された動物体の信頼度の情報を、前記検出された動物体を囲む検出枠に対する、前記グリッド領域と前記検出枠とが重なる領域の割合が、所定の閾値より大きい前記グリッド領域の特徴量の算出に用いる、
請求項１に記載の情報処理装置。

【請求項6】

前記検出部は、前記マスク領域として設定されていない前記グリッド領域で動物体を検出する、
請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記検出部は、前記マスク領域として設定された前記グリッド領域で検出された動物体の検出情報を、前記検出情報を記憶する記憶部から除去する、
請求項１から５のいずれか１項に記載の情報処理装置。

【請求項8】

前記検出部は、前記マスク領域として設定された前記グリッド領域に、前記検出された動物体を囲む検出枠の中心座標が含まれる場合に、前記検出情報を除去する、
請求項７に記載の情報処理装置。

【請求項9】

前記検出部は、前記検出された動物体を囲む検出枠が、前記マスク領域として設定された前記グリッド領域と重なる領域が、前記検出枠が他のグリッド領域と重なる領域よりも大きい場合に、前記検出情報を除去する、
請求項７に記載の情報処理装置。

【請求項10】

検出部は、前記検出された動物体を囲む検出枠に対する、前記マスク領域として設定された前記グリッド領域と前記検出枠とが重なる領域の割合が、所定の閾値より大きい場合に、前記検出情報を除去する、
請求項７に記載の情報処理装置。

【請求項11】

前記動画像のフレームで検出された動物体を囲む検出枠を、前記フレームに重畳させて出力する出力部をさらに備える、
請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項12】

コンピュータが、
動画像を取得する画像取得ステップと、
前記動画像のフレームを複数のグリッド領域に分割する分割ステップと、
前記動画像のフレームから動物体を検出する検出ステップと、
検出された動物体が所定の被写体であることの信頼度を取得する信頼度取得ステップと、
前記動画像の複数のフレームの前記グリッド領域で検出された動物体の信頼度のヒストグラムまたは確率密度関数を用いて、特徴量を算出する算出ステップと、
前記特徴量が所定の条件を満たす前記グリッド領域を検出対象外の領域であるマスク領域として設定する設定ステップと、を実行し、
前記特徴量は、前記信頼度が所定値以上である頻度の合計における検出処理を実行したフレーム数に対する割合、または、前記確率密度関数で前記信頼度が所定値以上となる部分の面積、である、
情報処理方法。

【請求項13】

前記検出ステップでは、前記マスク領域として設定されていない前記グリッド領域で動物体を検出する、
請求項１２に記載の情報処理方法。

【請求項14】

前記検出ステップでは、前記マスク領域として設定された前記グリッド領域で検出された動物体の検出情報を、前記検出情報を記憶する記憶部から除去する、
請求項１２または１３に記載の情報処理方法。

【請求項15】

請求項１２から１４のいずれか１項に記載の方法の各ステップをコンピュータに実行さ
せるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置および情報処理方法に関する。

【背景技術】

【0002】

撮像画像から動物体を検出する際、検出された動物体の動線が撮像範囲内の一部の領域に限定される場合には、動物体が検出されない領域は、検出対象外の領域としてマスクすることが可能である。検出対象外の領域をマスク領域として設定することで、検出対象範囲が狭められ、マスク領域での誤検出がなくなるため、検出性能は改善される。特許文献１は、撮像画像全体を格子状の複数のエリアに分割し、人物検知の判断をしないエリアを手動で設定することができるインターホン装置を開示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１７７９３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラの設置場所が変更されると、検出対象領域が変わるため、人物検知の判断をしないマスク領域は、手動で再設定されることになる。また、カメラの設置台数が増えると、手動によるマスク領域の設定コストは増加する。

【0005】

本発明は、一側面では、検出対象外の領域であるマスク領域を動的に設定する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、上記目的を達成するために、以下の構成を採用する。

【0007】

本開示の第一側面は、動画像を取得する画像取得部と、動画像のフレームを複数のグリッド領域に分割する分割部と、動画像のフレームから動物体を検出する検出部と、検出された動物体が所定の被写体であることの信頼度を取得する信頼度取得部と、動画像の複数のフレームのグリッド領域で検出された動物体の信頼度を用いて、グリッド領域における所定の被写体の検出確率を表す特徴量を算出する算出部と、特徴量が所定の条件を満たすグリッド領域を検出対象外の領域であるマスク領域として設定する設定部と、を備える、情報処理装置である。

【0008】

グリッド領域は、マスクの有効または無効を設定するための単位領域である。所定の被写体は、人体等の検出対象の動物体である。グリッド領域の特徴量は、グリッド領域内で所定の被写体が検出される確率または頻度を示す指標である。即ち、特徴量は、所定の被写体がグリッド領域内に出現する確率または頻度を表す。所定の条件は、例えば、グリッド領域の特徴量が閾値以下であるか否かであって、グリッド領域は、特徴量が閾値以下の場合にマスク領域として設定される。情報処理装置は、複数のフレームでの検出情報に基づいて、動的にマスク領域を設定することができる。また、ユーザが手動でマスク領域を設定する負荷は軽減される。

【0009】

算出部は、動画像の複数のフレームのグリッド領域で検出された動物体の信頼度についてのヒストグラムからグリッド領域の特徴量を算出してもよい。この場合、グリッド領域の特徴量は、例えば、グリッド領域内で動物体が検出された頻度として算出することがで
きる。算出部は、検出された動物体の信頼度に応じた特徴量を算出することができる。

【0010】

算出部は、動画像の複数のフレームのグリッド領域で検出された動物体の信頼度の確率密度関数からグリッド領域の特徴量を算出してもよい。算出部は、ヒストグラムの場合よりも、精度良く信頼度の特徴量を算出することができる。

【0011】

算出部は、検出された動物体を囲む検出枠のうちグリッド領域と重なる領域の割合に基づいて、グリッド領域の特徴量を算出してもよい。検出枠は、例えば矩形であって、情報処理装置は、人体の検出矩形（検出枠）とグリッド領域とが重なる面積を考慮したマスク領域の設定をすることができる。

【0012】

算出部は、検出された動物体の信頼度の情報を、検出された動物体を囲む検出枠の中心座標を含むグリッド領域の特徴量の算出に用いてもよい。算出部は、検出情報をどのグリッド領域の特徴量算出に用いられるかを、人体の検出矩形の中心座標の位置によって、簡易に判定することができる。

【0013】

算出部は、検出された動物体の信頼度の情報を、検出された動物体を囲む検出枠と重なる領域が最も大きいグリッド領域の特徴量の算出に用いてもよい。算出部は、人体の検出矩形が複数のグリッド領域と重なる場合でも、特徴量の算出処理の負荷が増加しないようにすることができる。

【0014】

算出部は、検出された動物体の信頼度の情報を、検出された動物体を囲む検出枠に対する、グリッド領域と検出枠とが重なる領域の割合が、所定の閾値より大きいグリッド領域の特徴量の算出に用いてもよい。算出部は、所定の閾値の値を変更することにより、フレーム画像でマスク領域として設定される範囲を調整することができる。

【0015】

検出部は、マスク領域として設定されていないグリッド領域で動物体を検出してもよい。検出部は、マスク領域として設定されたグリッド領域での検出処理を実行しないため、検出処理の負荷を軽減することができる。

【0016】

検出部は、マスク領域として設定されたグリッド領域で検出された動物体の検出情報を、検出情報を記憶する記憶部から除去してもよい。マスク領域で検出矩形が出力されなくなるため、マスク領域での誤検出は軽減される。

【0017】

検出部は、マスク領域として設定されたグリッド領域に、検出された動物体を囲む検出枠の中心座標が含まれる場合に、検出情報を除去してもよい。また、検出部は、検出された動物体を囲む検出枠が、マスク領域として設定されたグリッド領域と重なる領域が、検出枠が他のグリッド領域と重なる領域よりも大きい場合に、検出情報を除去してもよい。また、検出部は、検出された動物体を囲む検出枠に対する、マスク領域として設定されたグリッド領域と検出枠とが重なる領域の割合が、所定の閾値より大きい場合に、検出情報を除去してもよい。検出部は、検出された動物体の一部がマスクされたグリッド領域と重なる場合、検出情報を除去するか否かを、より適切に判定することができる。

【0018】

本発明の第二側面は、コンピュータが、動画像を取得する画像取得ステップと、動画像のフレームを複数のグリッド領域に分割する分割ステップと、動画像のフレームから動物体を検出する検出ステップと、検出された動物体が所定の被写体であることの信頼度を取得する信頼度取得ステップと、動画像の複数のフレームのグリッド領域で検出された動物体の信頼度を用いて、グリッド領域の特徴量を算出する算出ステップと、グリッド領域の特徴量が所定の条件を満たす場合に、グリッド領域を検出対象外の領域であるマスク領域として設定する設定ステップと、を実行する、情報処理方法である。

【0019】

検出ステップでは、マスク領域として設定されていないグリッド領域で動物体を検出するようにしてもよい。マスク領域として設定されたグリッド領域での検出処理を実行しないため、検出処理の負荷は軽減される。

【0020】

検出ステップでは、マスク領域として設定されたグリッド領域で検出された動物体の検出情報を、検出情報を記憶する記憶部から除去するようにしてもよい。マスク領域で検出矩形が出力されなくなるため、マスク領域での誤検出は軽減される。

【発明の効果】

【0021】

本発明によれば、検出対象外の領域であるマスク領域を動的に設定することができる。

【図面の簡単な説明】

【0022】

【図1】図１は、実施形態に係る情報処理装置の適用例を説明する図である。

【図2】図２は、情報処理装置のハードウェア構成を例示する図である。

【図3】図３は、情報処理装置の機能構成を例示する図である。

【図4】図４は、マスク領域設定および動物体検出の処理を例示するフローチャートである。

【図5】図５は、信頼度のヒストグラムから特徴量を算出する例を説明する図である。

【図6】図６は、信頼度の確率密度関数から特徴量を算出する例を説明する図である。

【図7】図７は、動物体が複数領域に重なる場合の特徴量算出を説明する図である。

【図8】図８は、動物体が領域に重なる割合を用いた特徴量算出を説明する図である。

【図9】図９は、動物体の中心座標に応じた特徴量算出を説明する図である。

【図10】図１０は、動物体が領域に重なる面積に応じた特徴量算出を説明する図である。

【図11】図１1は、動物体が領域に重なる面積と閾値との比較による特徴量算出を説明する図である。

【図12】図１２は、マスク領域設定処理を例示するフローチャートである。

【図13】図１３は、動物体検出処理を例示するフローチャートである。

【発明を実施するための形態】

【0023】

以下、本発明の一側面に係る実施の形態を、図面に基づいて説明する。

【0024】

＜適用例＞
動画像から人体等の動物体を検出する場合、机または機器といった静止物体が置かれた場所など、動物体が検出されない場所が存在する。動物体が検出されない場所は、検出対象から除外されることが望ましい。また、カメラの設置位置または撮影領域内のレイアウトが変わることにより、動物体が検出されない場所は変化する。本実施形態では、マスク領域は、手動ではなく、動的に設定される。

【0025】

図１を参照して、マスク領域を動的に設定する方法について説明する。図１は、魚眼カメラによる撮像画像を模式的に示した図である。情報処理装置は、入力画像を、マスクの設定が可能な単位領域（以下、グリッド領域と称する）に分割する。入力画像は、動画像に含まれるフレーム画像である。図１の例では、フレーム画像は、８×８＝６４マスのグリッド領域に、格子状に分割される。マスク領域は、分割されたグリッド領域単位で設定される。

【0026】

情報処理装置は、フレーム画像で検出された動物体の信頼度に基づいて、グリッド領域の信頼度の特徴量（以下、グリッド領域の特徴量）を算出する。信頼度は、検出された動物体が所定の被写体（例えば、人体）である信頼度である。例えば、検出対象が人体である場合、信頼度は、検出した動物体が人体であることの信頼度である。グリッド領域の特徴量は、グリッド領域における所定の被写体の検出確率を表す指標である。情報処理装置は、グリッド領域内で検出された動物体の信頼度を用いて、当該グリッド領域の特徴量を算出することができる。

【0027】

図１の例は、フレーム画像のグリッド領域Ｅ３で人体が検出された例を示す。動画像の各フレームの検出処理で、グリッド領域Ｅ３内に人体が検出されると、ヒストグラムの対応する信頼度の頻度に＋１が加算される。特徴量は、例えば、信頼度が６００以上である動物体の検出回数としてもよく、検出対象のフレーム数に対する信頼度６００以上の動物体の検出回数の割合としてもよい。

【0028】

情報処理装置は、動画像の複数フレームでの検出情報に基づいて、各グリッド領域の特徴量を算出する。検出情報は、検出した動物体を囲む検出枠の情報、検出した動物体が所定の被写体であることの信頼度の情報を含む。情報処理装置は、例えば、算出した特徴量が所定の閾値以下の場合に、マスクを有効に設定することができる。図１の例では、Ａ３～Ａ５、Ｃ２～Ｃ７、Ｄ７、Ｅ７、Ｆ２～Ｆ６がマスク領域として設定されている。

【0029】

このように、複数フレームでの検出情報に基づいて、グリッド領域内で検出された動物体の信頼度を用いて特徴量を算出することにより、マスク領域を動的に設定することが可能となる。また、マスク領域を動的に設定することで、カメラの設置位置に応じてマスク領域を手動で設定する場合よりも、ユーザの負荷は軽減される。さらに、レイアウト変更等により、動物体が検出される領域が変わっても、マスク領域は、手動で設定することなく適切に変更される。

【0030】

＜実施形態＞
（ハードウェア構成）
図２を参照して、情報処理装置１のハードウェア構成の一例について説明する。図２は、情報処理装置１のハードウェア構成を例示する図である。情報処理装置１は、プロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、通信インタフェース（Ｉ／Ｆ）１０４、出力装置１０５を備える。プロセッサ１０１は、補助記憶装置１０３に記憶されたプログラムを主記憶装置１０２に読み出して実行することにより、図３で説明する各機能構成としての機能を実現する。通信インタフェース１０４は、有線または無線通信を行うためのインタフェースである。出力装置１０５は、例えば、ディスプレイ等の出力を行うための装置である。

【0031】

情報処理装置１は、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよく、オンボードコンピュータのように組み込み型のコンピュータでもよい。情報処理装置１は、例えば、複数台のコンピュータ装置による分散コンピューティングにより実現されてもよく、各機能部の一部をクラウドサーバにより実現されてもよい。また、情報処理装置１の各機能部の一部は、ＦＰＧＡまたはＡＳＩＣなどの専用のハードウェア装置によって実現されてもよい。

【0032】

情報処理装置１は、有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）でカメラ２に接続され、カメラ２で撮影された画像データを受信する。カメラ２は、レンズを含む光学系および撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。カメラ２は、例えば、天井に設置された魚眼カメラ（広角カメラ）である。

【0033】

なお、情報処理装置１は、カメラ２と一体に構成されてもよい。また、撮像画像に対する動体検出など情報処理装置１の処理の一部は、カメラ２で実行されてもよい。さらに、情報処理装置１による動物体検出の結果は、外部の装置に送信されユーザに提示されるようにしてもよい。

【0034】

（機能構成）
図３を参照して、情報処理装置１の機能構成の一例について説明する。図３は、情報処理装置１の機能構成を例示する図である。情報処理装置１は、画像取得部１１、処理部１２、記憶部１３、出力部１４を有する。

【0035】

画像取得部１１は、カメラ２から動画像を取得する。動画像は連続する複数の画像（フレーム画像）を含む。情報処理装置１がカメラ２と一体に構成されている場合、画像取得部１１は、情報処理装置１が有する撮像部（不図示）から動画像を取得する。

【0036】

処理部１２は、フレーム画像で検出された動物体の信頼度に基づいて、マスク領域を設定する。処理部１２は、分割部１２１、検出部１２２、信頼度取得部１２３、算出部１２４、設定部１２５を有する。

【0037】

分割部１２１は、フレーム画像（のサイズ）を、グリッド領域に分割する。分割部１２１は、図１の例では、フレーム画像を格子状に分割するが、これに限られない。分割部１２１は、例えば、魚眼カメラによる撮像画像に対しては、撮像範囲に合わせて曲線により分割してもよい。

【0038】

検出部１２２は、フレーム画像から動物体を検出する。検出部１２２は、フレーム画像と予め用意した背景画像との間で変化した領域を抽出する背景差分法、フレーム間で変化した領域を抽出するフレーム間差分法またはそれらの両方により、動物体を検出することができる。

【0039】

信頼度取得部１２３は、検出部１２２が検出した動物体が所定の被写体であることの信頼度を取得する。所定の被写体は、例えば「人体」であって、検出対象の動物体として予め設定される。信頼度取得部１２３は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのニューラルネットワークのアルゴリズムにより信頼度を算出することができる。また、信頼度取得部１２３は、ブースティング、サポートベクターマシン（ＳＶＭ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）といった機械学習による識別器を用いて信頼度を取得してもよい。

【0040】

算出部１２４は、分割されたグリッド領域の特徴量を算出する。グリッド領域の特徴量は、グリッド領域における所定の被写体の検出確率を表す指標である。グリッド領域の特徴量は、グリッド領域内で動物体が検出される頻度、検出された動物体の信頼度等に基づいて算出される。

【0041】

設定部１２５は、算出部１２４によって算出されたグリッド領域の特徴量に基づいて、マスク領域を設定する。設定部１２５は、例えば、グリッド領域の特徴量が所定の閾値以下の場合はマスクを有効に設定し、グリッド領域の特徴量が所定の閾値より大きい場合はマスクを無効に設定する。

【0042】

記憶部１３は、動物体の検出情報、グリッド領域の特徴量の情報、およびマスク領域の情報を記憶する。記憶部１３は、検出情報データベース（ＤＢ）１３１、特徴量情報データベース（ＤＢ）１３２、マスク領域情報データベース（ＤＢ）１３３を有する。

【0043】

検出情報データベース１３１は、検出部１２２がフレーム画像から検出した動物体の検出情報を記憶する。検出情報は、動物体に外接する検出枠の情報、信頼度取得部１２３が取得した信頼度の情報を含む。なお、動物体の検出枠の形状は、以下の説明では、矩形であるものとして説明するが、矩形に限られず、楕円、多角形、動体に外接する曲線等により動体領域を囲む形状であればよい。

【0044】

特徴量情報データベース１３２は、算出部１２４が算出したグリッド領域の特徴量を記憶する。算出部１２４は、検出情報データベース１３１に記憶された検出矩形（検出枠）の信頼度の情報を用いて、グリッド領域ごとにヒストグラムを生成し、グリッド領域の特徴量を算出する。

【0045】

設定部１２５は、特徴量情報データベース１３２に記憶されたグリッド領域の特徴量を参照し、特徴量が所定の条件を満たすか否かを判定して、グリッド領域のマスクを有効または無効に設定する。

【0046】

マスク領域情報データベース１３３は、設定部１２５が設定したマスク領域の情報を記憶する。検出部１２２は、マスク領域情報データベース１３３に記憶されたマスク領域の情報を参照して、マスク領域で検出された動物体の検出情報を除去することができる。また、検出部１２２は、マスク領域を検出対象外とすることにより、検出処理の負荷を軽減することも可能である。

【0047】

出力部１４は、フレーム画像で検出された動物体の検出矩形を、フレーム画像に重畳させて出力する。マスク領域で検出された動物体の検出矩形は、除去されるか、または検出対象外として設定されるため出力されない。

【0048】

（処理の流れ）
図４を参照して、マスク領域設定および動物体検出の処理の流れを説明する。図４は、動画像の１フレームに対し、マスク領域の設定および動物体の検出を一括して実行する処理の例を示す。図４の処理は、例えば、カメラ２の電源が入り、情報処理装置１がカメラ２からフレーム画像を受信することにより開始される。なお、図４に示す処理は、カメラ２で撮像された動画像のフレームごとに実行される処理である。

【0049】

Ｓ１０１では、分割部１２１は、フレーム画像をグリッド領域に分割済か否かを判定する。フレーム画像をグリッド領域に分割済である場合（Ｓ１０１：Ｙｅｓ）、処理はＳ１０３に進む。フレーム画像がグリッド領域に分割されていない場合（Ｓ１０１：Ｎｏ）、処理はＳ１０２に進む。

【0050】

Ｓ１０２では、分割部１２１は、フレーム画像をグリッド領域に分割する。分割部１２１は、例えば、フレーム画像を格子状に分割することができる。また、分割部１２１は、Ｓ１０３でフレーム画像を取得した後、撮像領域内の静止物体の位置または大きさに応じて、格子状に分割したグリッド領域のうち、複数のグリッド領域をまとめて、１つのグリッド領域としてもよい。さらに、分割部１２１は、魚眼画像に対しては、撮像範囲に合わせて曲線により分割してもよい。

【0051】

Ｓ１０３では、画像取得部１１は、フレーム画像を取得する。画像取得部１１は、通信インタフェース１０４を介して、カメラ２からフレーム画像を取得する。なお、情報処理装置１がカメラ（撮像部）と一体に構成されている場合には、画像取得部１１は、撮像部により撮影されたフレーム画像を取得する。

【0052】

Ｓ１０４では、検出部１２２は、フレーム画像から動物体を検出する。検出部１２２は、例えば、背景差分法、フレーム間差分法またはそれらの両方により、動物体を検出することができる。また、信頼度取得部１２３は、検出部１２２が検出した動物体が所定の被写体であることの信頼度を取得する。信頼度は、例えば、ＣＮＮなどのニューラルネットワークのアルゴリズム、ブースティング、ＳＶＭといった機械学習による識別器を用いて取得可能である。

【0053】

Ｓ１０５では、算出部１２４は、グリッド領域ごとの特徴量を算出する。ここで、図５を参照して、グリッド領域の特徴量を算出する例を説明する。図５は、グリッド領域内で検出された動物体の信頼度のヒストグラムを生成して、特徴量を算出する例を示す。

【0054】

ヒストグラムは、過去の複数のフレームで検出された動物体の検出情報に基づいて、グリッド領域ごとに生成される。図５の例では、ヒストグラムの横軸は信頼度、縦軸は頻度である。信頼度のビン幅は１００に設定されている。グリッド領域Ｅ３で信頼度が６２０の人体が検出されたため、算出部１２４は、グリッド領域Ｅ３のヒストグラムに対し、信頼度６００から信頼度７００の間の頻度に１を加算する。このように、グリッド領域のヒストグラムは、動画像の各フレームのグリッド領域内で検出された動物体の信頼度を用いて生成される。

【0055】

算出部１２４は、例えば、生成されたヒストグラムで信頼度が６００以上である頻度の合計の、検出処理を実行したフレーム数に対する割合を、グリッド領域の特徴量として算出することができる。検出処理を実行したフレーム数を１００、検出された動物体の信頼度が６００以上であった頻度の合計が７０であった場合、グリッド領域の特徴量は７０％となる。なお、算出部１２４は、特徴量を算出するための信頼度の閾値を、６００以外の値に設定することで、フレーム画像でマスク領域として設定する範囲を調整することができる。

【0056】

Ｓ１０６では、設定部１２５は、算出部１２４によって算出されたグリッド領域の特徴量に基づいて、マスク領域を設定する。設定部１２５は、グリッド領域の特徴量が所定の条件を満たす場合に、当該グリッド領域のマスクを有効に設定する。例えば、設定部１２５は、グリッド領域の特徴量が所定の閾値以下である場合に、マスクを有効に設定する。

【0057】

ヒストグラムに基づいて算出したグリッド領域の特徴量が、信頼度が６００以上である頻度の合計の、検出処理を実行したフレーム数に対する割合である場合、所定の閾値は、例えば５０％に設定することができる。例えば、検出処理を実行したフレーム数を１００、検出された動物体の信頼度が６００以上であった頻度の合計が４０であった場合、グリッド領域の特徴量は４０％となる。所定の閾値が５０％である場合、このグリッド領域は、マスク領域として設定される。

【0058】

また、例えば、グリッド領域の特徴量を、生成されたヒストグラムで信頼度が６００以上である頻度の合計とした場合、所定の閾値は、検出処理を実行したフレーム数に応じて設定されればよい。検出処理を実行したフレーム数が３００フレームであった場合、設定部１２５は、所定の閾値を３０に設定することができる。この場合、設定部１２５は、ヒストグラムで信頼度が６００以上である頻度の合計（特徴量）が３０以下であれば、グリッド領域のマスクを有効に設定する。

【0059】

Ｓ１０７では、検出部１２２は、マスク領域での検出情報を除去する。検出部１２２は、マスク領域で検出された動物体の検出情報を、検出情報データベース１３１から削除してもよく、削除せずに検出矩形の出力対象外として設定してもよい。

【0060】

Ｓ１０８では、出力部１４は、マスク領域以外の領域で検出された動物体の検出矩形を、フレーム画像に重畳させて出力する。

【0061】

なお、図４の処理では、マスク領域は、フレームごとに設定されるが、毎フレームで設定されなくてもよい。マスク領域は、所定のフレーム数（例えば１０フレーム）ごとに設定が更新されるようにしてもよい。この場合、Ｓ１０５およびＳ１０６の処理は、所定のフレーム数ごとに実行され、他のフレームに対しては実行されない。

【0062】

また、グリッド領域の特徴量は、ヒストグラムを生成して、生成したヒストグラムから算出される例を示したが、ヒストグラムを生成せずに算出されてもよい。即ち、グリッド領域の特徴量は、所定の閾値以上の信頼度の動物体が検出されたフレーム数の、検出処理を実行したフレーム数に対する割合として算出されてもよい。

【0063】

（作用効果）
上記の実施形態において、情報処理装置１は、動画像のフレームで検出された動物体の信頼度を用いて、グリッド領域の特徴量を算出する。情報処理装置１は、グリッド領域の特徴量が閾値以下となるグリッド領域をマスク領域として設定する。このように、情報処理装置１は、検出された動物体の信頼度を用いて、マスク領域を動的に設定することができる。これにより、ユーザが手動でマスク領域を設定する負荷は軽減される。また、マスク領域では検出矩形が出力されないため、マスク領域での誤検出は軽減される。

【0064】

＜変形例１＞
変形例１は、グリッド領域の特徴量の算出方法についての変形例である。図６から図８を参照して、３通りの算出方法について説明する。

【0065】

（変形例１－１）
図６を参照して、変形例１－１について説明する。変形例１－１は、グリッド領域内で検出された動物体の信頼度に基づく確率密度関数を生成して、特徴量を算出する変形例である。グリッド領域の信頼度の特徴量は、信頼度を確率変数とした確率密度関数から算出される。

【0066】

確率密度関数は、動画像の複数のフレームで検出された動物体の検出情報に基づいて、グリッド領域ごとに生成される。確率密度関数の横軸は信頼度、縦軸は確率密度である。図６の例では、グリッド領域Ｅ３で信頼度が７００の人体が検出されている。算出部１２４は、検出情報を、グリッド領域Ｅ３の確率密度関数を生成するための標本データとして用いる。このように、動画像の複数のフレームで検出された動物体の信頼度を用いて、グリッド領域の確率密度関数が生成される。図６の例では、確率密度関数は、確率密度関数と横軸とで囲まれた領域の面積が１となるように生成される。

【0067】

算出部１２４は、生成された確率密度関数で、例えば、信頼度が６００以上となる確率、即ち、確率密度関数で信頼度が６００以上となる部分の面積を、グリッド領域の特徴量として算出することができる。なお、特徴量を算出するための信頼度の閾値は６００に限られず、算出部１２４は、閾値を６００以外の値に設定することで、フレーム画像でマスク領域として設定される範囲を調整することができる。

【0068】

設定部１２５は、グリッド領域の特徴量が所定の条件を満たす場合に、当該グリッド領域のマスクを有効に設定する。例えば、図６の例では確率密度関数で信頼度が６００以上となる部分の面積（特徴量）が所定の閾値の０．５未満である場合に、設定部１２５は、グリッド領域のマスクを有効に設定する。

【0069】

変形例１－１では、確率密度関数を生成してグリッド領域の特徴量を算出するため、算出部１２４は、ヒストグラムの場合よりも、精度良く信頼度の特徴量を算出することができる。また、確率密度関数では、横軸と囲まれた領域の面積が１に正規化されているため、母数（検出対象のフレーム数）が変化するヒストグラムの場合よりも、マスクの有効または無効を判定するための所定の閾値は設定しやすくなる。

【0070】

（変形例１－２）
図７を参照して、変形例１－２について説明する。変形例１－２は、検出した動物体が複数のグリッド領域に重なる場合の変形例である。変形例１－２では、算出部１２４は、検出した動物体の検出矩形と重なる各グリッド領域に対して、同じ頻度をそれぞれのヒストグラムに加算する。

【0071】

図７の例では、人体は、グリッド領域Ｄ３およびグリッド領域Ｅ３に重なって検出されている。算出部１２４は、グリッド領域Ｄ３およびグリッド領域Ｅ３の両方のヒストグラムに対し、検出された人体の信頼度に応じた頻度に１を加算し、グリッド領域の特徴量を算出する。

【0072】

なお、図７は、人体の検出矩形が２つのグリッド領域に重なる例を示すが、３以上のグリッド領域に重なる場合も、算出部１２４は、それぞれのグリッド領域のヒストグラムに対し、検出された人体の信頼度に応じた頻度に１を加算する。

【0073】

設定部１２５は、上記実施形態と同様に、算出した特徴量を所定の閾値と比較することにより、グリッド領域のマスクを有効または無効に設定する。変形例１－２では、検出された動物体と一部が重なるグリッド領域に対しても、ヒストグラムに頻度が加算される。このため、設定部１２５は、領域内の一部でしか動物体が検出されないようなグリッド領域に対して、マスクが設定されることを抑制することができる。

【0074】

なお、変形例１－２は、ヒストグラムを生成してグリッド領域の特徴量を算出する例で説明したが、これに限られず、算出部１２４は、変形例１－１と同様に、確率密度関数を生成してグリッド領域の特徴量を算出するようにしてもよい。

【0075】

（変形例１－３）
図８を参照して、変形例１－３について説明する。変形例１－３は、検出した動物体が複数のグリッド領域に重なる場合の変形例である。変形例１－３では、算出部１２４は、検出した動物体の検出矩形とグリッド領域とが重なる領域の面積に応じて重みづけをして、動物体の検出情報をヒストグラムに反映させる。即ち、動物体の検出情報は、検出矩形とグリッド領域との位置関係に基づいて、重なっているグリッド領域のヒストグラムに反映される。

【0076】

図８の例では、人体は、グリッド領域Ｄ３およびグリッド領域Ｅ３に重なって検出されている。算出部１２４は、グリッド領域Ｄ３およびグリッド領域Ｅ３の面積比α：βに按分した頻度を、それぞれのグリッド領域のヒストグラムに加算する。人体の検出矩形の面積α＋βを１とし、検出矩形とグリッド領域Ｄ３とが重なる面積αは０．４、検出矩形とグリッド領域Ｅ３とが重なる面積βは０．６であるものとする。この場合、グリッド領域Ｄ３のヒストグラムには、検出された人体の信頼度に対応する頻度に０．４が加算される。グリッド領域Ｅ３のヒストグラムには、検出された人体の信頼度に対応する頻度に０．６が加算される。算出部１２４は、生成されたヒストグラムに基づいて、グリッド領域の特徴量を算出する。

【0077】

なお、図８は、人体の検出矩形が２つのグリッド領域に重なる例を示すが、３以上のグ
リッド領域に重なる場合、算出部１２４は、それぞれのグリッド領域のヒストグラムに対し、面積比に応じて按分した頻度を加算する。

【0078】

設定部１２５は、上記実施形態と同様に、算出した特徴量を所定の閾値と比較することにより、グリッド領域のマスクを有効または無効に設定する。変形例１－３では、検出された動物体とグリッド領域とが重なる面積に応じた頻度が、ヒストグラムに加算される。このため、設定部１２５は、人体の検出矩形とグリッド領域とが重なる面積を考慮したマスク領域の設定をすることができる。

【0079】

なお、変形例１－３は、ヒストグラムを生成してグリッド領域の特徴量を算出する例で説明したが、これに限られず、算出部１２４は、変形例１－１と同様に、確率密度関数を生成してグリッド領域の特徴量を算出するようにしてもよい。

【0080】

＜変形例２＞
変形例２は、動物体の検出矩形が複数のグリッド領域と重なる場合に、検出情報がどのグリッド領域の特徴量算出に用いられるかを判定する方法についての変形例である。図９から図１１を参照して、３通りの判定方法について説明する。

【0081】

（変形例２－１）
図９を参照して、変形例２－１について説明する。変形例２－１は、検出矩形の中心座標の位置によって、検出情報がどのグリッド領域の特徴量算出に用いられるかを判定する例である。

【0082】

図９の例では、人体は、グリッド領域Ｄ３およびグリッド領域Ｅ３に重なって検出されている。十字で示される人体の検出矩形の中心座標は、グリッド領域Ｅ３に含まれる。したがって、算出部１２４は、グリッド領域Ｅ３のヒストグラムに対し、検出された人体の信頼度に応じた頻度に１を加算する。

【0083】

なお、図９は、人体の検出矩形が２つのグリッド領域に重なる例を示すが、３以上のグリッド領域に重なる場合も、算出部１２４は、人体の検出矩形の中心座標を含むグリッド領域のヒストグラムに対し、検出された人体の信頼度に応じた頻度に１を加算する。

【0084】

変形例２－１では、算出部１２４は、検出情報をどのグリッド領域の特徴量算出に用いられるかを、人体の検出矩形の中心座標の位置によって、簡易に判定することができる。

【0085】

（変形例２－２）
図１０を参照して、変形例２－２について説明する。変形例２－２は、動物体の検出矩形と重なる面積の大小関係によって、検出情報がどのグリッド領域の特徴量算出に用いられるかを判定する例である。

【0086】

図１０の例では、人体は、グリッド領域Ｄ３およびグリッド領域Ｅ３に重なって検出されている。人体の検出矩形とグリッド領域Ｄ３とが重なる面積はＳ１である。人体の検出矩形とグリッド領域Ｅ３とが重なる面積はＳ２である。面積Ｓ２は、面積Ｓ１よりも大きい。したがって、算出部１２４は、人体の検出矩形と重なる面積がより大きいグリッド領域Ｅ３のヒストグラムに対し、検出された人体の信頼度に応じた頻度に１を加算する。

【0087】

なお、人体の検出矩形が３以上のグリッド領域に重なる場合、算出部１２４は、人体の検出矩形と重なる面積が最も大きいグリッド領域のヒストグラムに対し、検出された人体の信頼度に応じた頻度に１を加算する。

【0088】

変形例２－２では、算出部１２４は、人体の検出矩形と重なる面積が最も大きいグリッド領域のヒストグラムに対して、対応する信頼度の頻度を加算する。算出部１２４は、人体の検出矩形と重なる他のグリッド領域のヒストグラムに対しては頻度を加算しない。これにより、算出部１２４は、人体の検出矩形が複数のグリッド領域と重なる場合でも、特徴量の算出処理の負荷が増加しないようにすることができる。

【0089】

（変形例２－３）
図１１を参照して、変形例２－３について説明する。変形例２－３は、グリッド領域が動物体の検出矩形と重なる面積を、所定の閾値と比較することによって、検出情報を当該グリッド領域の特徴量の算出に用いるか否かを判定する例である。

【0090】

図１１の例では、人体は、グリッド領域Ｄ３およびグリッド領域Ｅ３に重なって検出されている。人体の検出矩形とグリッド領域Ｄ３とが重なる面積はＳ１である。人体の検出矩形とグリッド領域Ｅ３とが重なる面積はＳ２である。面積Ｓ１は閾値ＴＨ以下であるため、検出矩形の信頼度は、グリッド領域Ｄ３のヒストグラムには加算されない。これに対し、面積Ｓ２は閾値ＴＨより大きいため、算出部１２４は、グリッド領域Ｅ３のヒストグラムに対し、検出された人体の信頼度に応じた頻度に１を加算する。なお、加算する頻度は、１に限られず、検出矩形に対する重なりの面積の割合に応じた頻度あってもよい。

【0091】

閾値ＴＨは、人体の検出矩形の面積を１とした場合、例えば０．６と設定することができる。この場合、算出部１２４は、人体の検出矩形と重なる面積が６０％以下となるグリッド領域に対しては、ヒストグラムへ頻度の加算はしない。

【0092】

また、閾値ＴＨは、０．５未満の値に設定することも可能である。例えば、人体の検出矩形が２つの領域と同じ面積比で重なっている場合、閾値ＴＨを０．４とすると、算出部１２４は、両方のグリッド領域のヒストグラムに対し、検出された人体の信頼度に応じた頻度を加算する。

【0093】

なお、人体の検出矩形が３以上のグリッド領域に重なる場合も、算出部１２４は、人体の検出矩形と重なる面積が閾値ＴＨ以上となるグリッド領域のヒストグラムに対し、検出された人体の信頼度に応じた頻度を加算する。

【0094】

変形例２－３では、算出部１２４は、グリッド領域が人体の検出矩形と重なる面積を閾値ＴＨと比較することにより、検出情報を当該グリッド領域の特徴量算出に用いるか否かを判定する。算出部１２４は、閾値ＴＨの値を変更することにより、フレーム画像でマスク領域として設定される範囲を調整することができる。

【0095】

なお、変形例２－１から変形例２－３は、ヒストグラムを生成してグリッド領域の特徴量を算出する例を示すが、これに限られず、算出部１２４は、変形例１－１と同様に、確率密度関数を生成してグリッド領域の特徴量を算出するようにしてもよい。

【0096】

＜変形例３＞
上記の実施形態では、マスク領域の設定処理と動物体の検出処理とは、一括して実行される。これに対し、変形例３は、マスク領域の設定処理と動物体の検出処理と分割して実行する例である。図１２および図１３を参照して、マスク領域設定処理および動物体検出処理を分割して実行する処理について説明する。

【0097】

（マスク領域設定処理）
図１２は、マスク領域設定処理を例示するフローチャートである。図１２に示すマスク領域設定処理は、フレームごとに実行される処理であり、図４のＳ１０１からＳ１０６ま
での処理と同様である。

【0098】

なお、各グリッド領域の特徴量算出（Ｓ１０５）およびマスク領域の設定（Ｓ１０６）は、フレームごとに実行されなくてもよい。Ｓ１０５およびＳ１０６の処理は、動画像の各フレーム画像に対して、動物体の検出および信頼度の取得（Ｓ１０３およびＳ１０４）が終了した後、実行されるようにしてもよい。

【0099】

（動物体検出処理）
図１３は、動物体検出処理を例示するフローチャートである。図１３に示す動物体検出処理は、図４のＳ１０３、Ｓ１０４、Ｓ１０７、Ｓ１０８の処理と同様である。図１３に示す動物体検出処理は、フレームごとに実行される処理である。

【0100】

変形例３では、検出部１２２は、Ｓ１０４で動物体を検出する際、図１２のＳ１０６で設定されたマスク領域内では、動物体の検出をしなくてもよい。これにより、検出部１２２は、誤検出を抑制し、検出時間を短縮することができる。

【0101】

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

【0102】

＜付記１＞
（１）動画像を取得する画像取得部（１１）と、
前記動画像のフレームを複数のグリッド領域に分割する分割部（１２１）と、
前記動画像のフレームから動物体を検出する検出部（１２２）と、
検出された動物体が所定の被写体であることの信頼度を取得する信頼度取得部（１２３）と、
前記動画像の複数のフレームの前記グリッド領域で検出された動物体の信頼度を用いて、前記グリッド領域における前記所定の被写体の検出確率を表す特徴量を算出する算出部（１２４）と、
前記特徴量が所定の条件を満たす前記グリッド領域を検出対象外の領域であるマスク領域として設定する設定部（１２５）と、を備える、
情報処理装置（１）。

【0103】

（２）コンピュータ（１）が、
動画像を取得する画像取得ステップ（Ｓ１０３）と、
前記動画像のフレームを複数のグリッド領域に分割する分割ステップ（Ｓ１０２）と、
前記動画像のフレームから動物体を検出する検出ステップ（Ｓ１０４）と、
検出された動物体が所定の被写体であることの信頼度を取得する信頼度取得ステップ（Ｓ１０４）と、
前記動画像の複数のフレームの前記グリッド領域で検出された動物体の信頼度を用いて、前記グリッド領域における前記所定の被写体の検出確率を表す特徴量を算出する算出ステップ（Ｓ１０５）と、
前記特徴量が所定の条件を満たす前記グリッド領域を検出対象外の領域であるマスク領域として設定する設定ステップ（Ｓ１０６）と、を実行する、
情報処理方法。

【符号の説明】

【0104】

１：情報処理装置、２：カメラ、１１：画像取得部、１２：処理部、１２１：分割部、１２２：検出部、１２３：信頼度取得部、１２４：算出部、１２５：設定部、１３：記憶部
、１３１：検出情報ＤＢ、１３２：特徴量情報ＤＢ、１３３：マスク領域情報ＤＢ、１４：出力部、１０１：プロセッサ、１０２：主記憶装置、１０３：補助記憶装置、１０４：通信インタフェース、１０５：出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】