特許 7197000 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-19

(45)【発行日】2022-12-27

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20221220BHJP

【ＦＩ】

G06T7/246

【請求項の数】 10

(21)【出願番号】P 2021515397

(86)(22)【出願日】2019-04-25

(86)【国際出願番号】 JP2019017560

(87)【国際公開番号】W WO2020217368

(87)【国際公開日】2020-10-29

【審査請求日】2021-09-21

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】大網 亮磨

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１６－１５０４３（ＪＰ，Ａ）

【文献】特開２０１８－４５２８７（ＪＰ，Ａ）

【文献】特開２０１１－１７０６８４（ＪＰ，Ａ）

【文献】特開２０１８－１０６２３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

入力される映像から検出及び追跡される複数の物体の位置関係と、前記複数の物体の重なりとに基づいて、前記物体から抽出される特徴量の質を予測する予測手段と、
前記複数の物体のうち、前記予測手段により予測される特徴量の質が所定の条件を満たす物体を選択する選択手段と、
前記選択手段によって選択された物体から特徴量を抽出する特徴量抽出手段と
を有する情報処理装置。

【請求項2】

前記予測手段は、前記物体が他の物体によって隠されている度合いに基づいて、前記物体から抽出される特徴量の質を予測する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記予測手段は、前記物体の解像度、動き量、姿勢及び向き、並びに、前記物体の位置に応じて定まる環境要因の少なくとも１つに基づいて、前記物体から抽出される特徴量の質を予測する
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。

【請求項4】

物体の位置に応じて定まる環境要因が特徴量の質の予測にどの程度影響を及ぼすかの指標を記憶する記憶手段を有し、
前記予測手段は、前記指標に基づいて、前記物体から抽出される特徴量の質を予測する
ことを特徴とする請求項１乃至３のいずれかに記載の情報処理装置。

【請求項5】

前記予測手段は、さらに、物体から特徴量を抽出することにより特徴量のバリエーションが改善される改善可能性を予測し、
前記選択手段は、前記予測手段により予測される改善可能性がさらに所定の条件を満たす物体を選択する
ことを特徴とする請求項１乃至４のいずれかに記載の情報処理装置。

【請求項6】

前記予測手段は、前回の特徴量抽出からの経過時間が大きいほど前記改善可能性が大きくなるよう、前記改善可能性を予測する
ことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記予測手段は、それまでの特徴量の抽出回数が少ないほど前記改善可能性が大きくなるよう、前記改善可能性を予測する
ことを特徴とする請求項５又は６に記載の情報処理装置。

【請求項8】

前記予測手段は、物体の移動量が大きいほど前記改善可能性が大きくなるよう、前記改善可能性を予測する
ことを特徴とする請求項５乃至７のいずれかに記載の情報処理装置。

【請求項9】

入力される映像から検出及び追跡される複数の物体の位置関係と、前記複数の物体の重なりとに基づいて、前記物体から抽出される特徴量の質を予測し、
前記複数の物体のうち、前記特徴量の質が所定の条件を満たす物体を選択し、
選択された前記物体から特徴量を抽出する
情報処理方法。

【請求項10】

コンピュータに、
入力される映像から検出及び追跡される複数の物体の位置関係と、前記複数の物体の重なりとに基づいて、前記物体から抽出される特徴量の質を予測する予測処理と、
前記複数の物体のうち、前記予測処理により予測される特徴量の質が所定の条件を満たす物体を選択する選択処理と、
前記選択処理によって選択された物体から特徴量を抽出する特徴量抽出処理と
を実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、カメラを用いて人や車などのオブジェクト（物体）を検出し、特徴量を抽出する方式が提案されている。ここで、オブジェクトとは、人や車、動物などの物体を指す。特徴量は、異なるカメラ間で検出されたオブジェクトの照合や、以前に撮影され、蓄積された映像から、同一あるいは類似するオブジェクトを検索するのに用いられる。

【0003】

オブジェクトから抽出される特徴量は、様々である。近年では深層学習の技術の進展により、深層学習に基づいて抽出された特徴量を用いることが増えてきている。深層学習に基づいて抽出される特徴量は、高精度な照合に寄与する。一方、深層学習に基づいて抽出される特徴量は、多くの場合、抽出処理に時間がかかる。従って、画面に同時に映る特徴量抽出対象となるオブジェクトが多い場合、特徴量抽出にかかる時間は無視することができない。特に、計算リソースの制約が厳しい状況の下で動画像の各フレームに対して処理を行う場合には、実時間での処理は困難になる。

【0004】

この点を鑑み、従来、画面に映る全オブジェクトから特徴量を抽出するのではなく、オブジェクトを選択し、選択されたオブジェクトのみから特徴量を抽出する方式が提案されている。

【0005】

特許文献１には、人物の特徴量を抽出する方式が開示されている。特許文献１の方式は、画面上での人物のサイズと過去の特徴量抽出頻度に基づいて、画面内で検出されたどの人物の特徴量を抽出するかをサイズに応じて優先度をつけて決定する。また、特許文献１には、乱数により、特徴量を抽出する人物を選択する網羅的選択手段を設け、優先的処理と網羅的処理を交互に行い、人物を選択して特徴量を抽出する方式が記載されている。さらに、特許文献１には、特徴量を抽出する人物を選択する際、人物の向きを考慮することが記載されている。

【0006】

特許文献２に開示されている方式では、斜め上から撮影する通常の監視カメラ設置の場合、画面の下方がカメラに近くなり、人物が大きく映るので、画面上での人物の動きが大きくなることが想定されている。特許文献２には、画面の下方の領域ほど人物の特徴量を抽出する頻度を高める方式が開示されている。また、特許文献２には、人物の動きの大きさを考慮し、動きが大きい人物ほど特徴量抽出の頻度を上げることが記載されている。

【先行技術文献】

【特許文献】

【0007】

【文献】国際公開第２０１７／００６７４９号

【文献】国際公開第２０１４／０４５４７９号

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１に記載の技術は、人物の大きさと特徴量抽出頻度しか考慮されていないため、照合に適さない特徴量を抽出してしまう可能性がある。特許文献２に記載の技術は、人物の画面上での位置しか考慮されていないため、照合に適さない特徴量を抽出してしまう可能性がある。

【0009】

本発明の目的は、照合に適した特徴量を抽出することが可能になる情報処理装置、情報処理方法及び情報処理プログラムを提供することにある。

【課題を解決するための手段】

【0010】

本発明による情報処理装置は、入力される映像から検出及び追跡される複数の物体の位置関係と、前記複数の物体の重なりとに基づいて、前記物体から抽出される特徴量の質を予測する予測手段と、前記複数の物体のうち、前記予測手段により予測される特徴量の質が所定の条件を満たす物体のみを選択する選択手段と、前記選択手段によって選択された物体から特徴量を抽出する特徴量抽出手段とを有する。

【0011】

本発明による情報処理方法は、入力される映像から検出及び追跡される複数の物体の位置関係と、前記複数の物体の重なりとに基づいて、前記物体から抽出される特徴量の質を予測し、前記複数の物体のうち、前記特徴量の質が所定の条件を満たす物体のみを選択し、選択された前記物体から特徴量を抽出する。

【0012】

本発明による情報処理プログラムは、入力される映像から検出及び追跡される複数の物体の位置関係と、前記複数の物体の重なりとに基づいて、前記物体から抽出される特徴量の質を予測する予測処理と、前記複数の物体のうち、前記予測処理により予測される特徴量の質が所定の条件を満たす物体のみを選択する選択処理と、前記選択処理によって選択された物体から特徴量を抽出する特徴量抽出処理とをコンピュータに実行させる。

【発明の効果】

【0013】

本発明によれば、照合に適した特徴量を抽出できる。

【図面の簡単な説明】

【0014】

【図1】第１の実施形態における情報処理装置の構成を示す図である。

【図2】第１の実施形態における情報処理装置の処理動作を示すフローチャートである。

【図3】第２の実施形態における情報処理装置の構成を示す図である。

【図4A】クオリティ指標の算出の際に用いる関数の例を示す図である。

【図4B】クオリティ指標の算出の際に用いる関数の例を示す図である。

【図4C】クオリティ指標の算出の際に用いる関数の例を示す図である。

【図4D】クオリティ指標の算出の際に用いる関数の例を示す図である。

【図5】隠蔽率の算出における人物の領域分割の一例を示す図である。

【図6】第２の実施形態における情報処理装置の処理動作を示すフローチャートである。

【図7】第３の実施形態における情報処理装置の構成を示す図である。

【図8】第３の実施形態におけるバリエーション予測部の構成を示す図である。

【図9A】バリエーション指標の算出の際に用いる関数の例を示す図である。

【図9B】バリエーション指標の算出の際に用いる関数の例を示す図である。

【図9C】バリエーション指標の算出の際に用いる関数の例を示す図である。

【図10】第３の実施形態における情報処理装置の処理動作を示すフローチャートである。

【図11】第４の実施形態における情報処理装置の構成を示す図である。

【図12】第４の実施形態における情報処理装置の処理動作を示すフローチャートである。

【図13】第５の実施形態における情報処理装置の構成を示す図である。

【図14】第５の実施形態における情報処理装置の処理動作を示すフローチャートである。

【図15】第６の実施形態における情報処理装置の構成を示す図である。

【図16】第６の実施形態における情報処理装置の処理動作を示すフローチャートである。

【図17】第７の実施形態における情報処理装置の構成を示す図である。

【図18】第７の実施形態における情報処理装置の処理動作を示すフローチャートである。

【図19】本発明の各実施形態の各部を構成するハードウエアの例を示すブロック図である。

【発明を実施するための形態】

【0015】

＜第１の実施形態＞
図１は、本実施形態における情報処理装置１００の構成を示す図である。

【0016】

図１に示す情報処理装置１００は、予測部１０１と、選択部１０２と、特徴量抽出部１０３と、を備える。

【0017】

予測部１０１は、入力される映像から検出及び追跡される複数の物体の位置関係と、複数の物体の重なりとに基づいて、物体から抽出される特徴量の質を予測する。

【0018】

選択部１０２は、複数の物体のうち、予測部１０１により予測される特徴量の質が所定の条件を満たす物体のみを選択する。

【0019】

特徴量抽出部１０３は、選択部１０２によって選択された物体から特徴量を抽出する。

【0020】

図２は、実施形態１の情報処理装置１００によって実行される処理の流れを例示するフローチャートである。

【0021】

ステップＳ１０２では、予測部１０１は、入力される映像から検出及び追跡される複数の物体の位置関係と、複数の物体の重なりとに基づいて、物体から抽出される特徴量の質を予測する。

【0022】

ステップＳ１０４では、選択部１０２は、複数の物体のうち、ステップＳ１０２において予測部１０１により予測される特徴量の質が所定の条件を満たす物体のみを選択する。

【0023】

ステップＳ１０６では、特徴量抽出部１０３は、ステップＳ１０４において選択部１０２によって選択された物体から特徴量を抽出する。特徴量を抽出した後、情報処理装置１００は、処理を終了する。

【0024】

以上説明したように、本実施形態に係る情報処理装置は、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、オブジェクトが多数画面に映る状況であっても、特徴量抽出を行うオブジェクトを選択し、特徴量の抽出処理にかかるコストを抑えつつ、オブジェクト全体として高精度な照合が可能となる特徴量の抽出を実現できる。

【0025】

＜第２の実施形態＞
図３は、本実施形態における情報処理装置２００の構成を示す図である。

【0026】

図３に示す情報処理装置２００は、映像取得部２０１と、検出部２０２と、追跡部２０３と、予測部２１０と、選択部２０７と、特徴量抽出部２０８と、を備える。

【0027】

予測部２１０は、位置関係解析部２０４と、クオリティ予測部２０５と、環境要因記憶部２０６と、を備える。

【0028】

映像取得部２０１は、１つ以上の図示しないカメラ等の撮影装置が撮像した映像を取得する。撮影装置は、監視対象となるエリアや物体の映像を撮影する。ここで、撮影装置は、映像を撮影できるものであれば、どのようなものでもよい。例えば、撮影装置は、固定の監視カメラ、Ｗｅｂカメラ、ＵＡＶ（Ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ）や車両等の移動体に装着されたカメラ、警察官や警備員が装着するウェアラブルカメラ、ユーザが撮影するビデオカメラである。

【0029】

映像取得部２０１は、取得した映像を動画像列として、検出部２０２と追跡部２０３と特徴量抽出部２０８に出力する。

【0030】

検出部２０２は、映像取得部２０１によって出力された映像からオブジェクトを検出し、検出結果を検出結果情報として出力する。検出部２０２は、オブジェクトが人物である場合、人物の画像特徴を学習した検出器を用いて、人物領域を検出する。例えば、検出部２０２は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴に基づいて検出する検出器や、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて画像から直接検出する検出器を用いてもよい。あるいは、検出部２０２は、人全体ではなく、人の一部の領域（例えば頭部など）を学習させた検出器を用いて人物を検出するようにしてもよい。例えば、検出部２０２は、頭部や足下を学習させた検出器を用い、頭部位置と足下位置が検出することにより、人物領域を特定する。例えば、検出部２０２は、背景差分によって求まるシルエット情報（背景モデルと差分がある領域の情報）と頭部検出情報を組み合わせることにより、人物領域を求めるように構成されていてもよい。例えば、検出部２０２は、オブジェクトが車である場合、車両の画像特徴を学習させた検出器を用いて、車両を検出する。検出部２０２は、オブジェクトが人物や車両以外の特定物体である場合、その特定物体の画像特徴を学習させた検出器を構築し、用いるようにすればよい。

【0031】

検出部２０２は、検出されたオブジェクトの情報から、検出結果情報を生成する。検出結果情報は、フレームの時刻情報又はフレーム番号などフレームを特定するための情報と検出されたオブジェクトの情報を含む。オブジェクトの情報は、オブジェクトの検出位置や大きさを含む。検出部２０２は、オブジェクトの検出位置を画面上の位置で表してもよいし、カメラのキャリブレーションによって求まるカメラの位置や姿勢を表すパラメータを用いて、実世界座標に変換した位置で表してもよい。例えば、検出部２０２は、オブジェクトの検出位置を画面上の位置で表す場合には、オブジェクトを囲う矩形の頂点の座標（例えば左上と右下の頂点）で表す。検出部２０２は、オブジェクトの検出位置を、1つの頂点と矩形の幅、高さで表してもよい。また、複数のオブジェクトが検出された場合には、検出結果情報は、生成する検出結果情報に検出された複数のオブジェクトの情報を含み、検出オブジェクトを同一フレーム内で区別する識別子を含む。識別子は、同一フレームで検出された複数のオブジェクトを区別するために振られるＩＤ情報であり、追跡対象オブジェクトに振られる識別子とは異なる。

【0032】

検出部２０２は、検出結果情報を、追跡部２０３とクオリティ予測部２０５と特徴量抽出部２０８へ出力する。

【0033】

追跡部２０３は、検出結果情報に基づいて、Ｔｒａｃｋｉｎｇ ｂｙ Ｄｅｔｅｃｔｉｏｎと呼ばれる追跡処理を行う。すなわち、追跡部２０３は、一つ前の時刻までのオブジェクトの追跡結果の情報に含まれ、追跡対象となっている各オブジェクトが、現時刻の検出結果情報に含まれるどの検出オブジェクトと対応づくかを求め、追跡結果を更新する。追跡部２０３は、追跡対象のオブジェクトの位置をカルマンフィルタやパーティクルフィルタによって予測し、現時刻における検出オブジェクトと対応付けるようにしてもよい。

【0034】

追跡部２０３は、追跡対象オブジェクトと検出オブジェクトとを対応づけた場合には、対応づけた検出オブジェクトの情報とその時刻の画像を用いて追跡対象オブジェクトの情報を更新する。追跡部２０３は、検出オブジェクトをどの追跡対象オブジェクトとも対応付けることができなかった場合には、新たに表れたオブジェクトである可能性が高いため、その検出オブジェクトに対応する追跡対象オブジェクトを新たに生成し、オブジェクト追跡結果に追加する。

【0035】

追跡部２０３は、追跡対象オブジェクトをどの検出オブジェクトとも対応付けることができない場合には、その追跡対象オブジェクトが画面外に出た等の理由により、消失したと判定する。従って、追跡部２０３は、その追跡対象オブジェクトを追跡結果から削除する。ただし、追跡部２０３は、一度の未対応で削除するのではなく、数回未対応が続いた後に削除するようにしてもよい。例えば、追跡部２０３は、追跡対象オブジェクトを追跡結果から削除する処理において、予め定められた追跡対象オブジェクトの確からしさを表す尤度を用いても良い。その場合、追跡部２０３は、追跡対象オブジェクトの新規生成時から、検出オブジェクトとの対応付けができた場合には尤度を上げ、対応付けができなかったら尤度を下げる。追跡部２０３は、尤度が一定値を下回った時点で追跡対象オブジェクトを追跡結果から削除する。なお、追跡部２０３は、尤度の計算において、検出結果と対応付けることができたかという情報だけではなく、対応付けた際の確からしさも合わせて考慮してもよい。追跡部２０３は、現時刻における追跡結果情報を生成する。

【0036】

追跡結果情報は、画像上でのオブジェクトの位置、大きさ、および追跡対象オブジェクトごとに付与された識別子、対応付けられた検出オブジェクトの識別子を含む。追跡結果情報は、検出オブジェクトを対応付けられなかった場合には、未対応であることを表す情報を含む。追跡部２０３は、位置情報の記述方法を任意とし、例えば、追跡オブジェクトの外接矩形情報で示す。追跡部２０３は、画面上の位置で位置情報を表す場合には、オブジェクトを囲う矩形の頂点の座標（例えば左上と右下の頂点）で位置情報を表してもよい。追跡部２０３は、１つの頂点と矩形の幅、高さの情報で位置情報を表してもよい。追跡部２０３は、画面上の座標を実空間上の座標に変換し、位置情報を出力してもよい。例えば、追跡部２０３は、追跡オブジェクト領域中の一点の座標を求め、その点に基づく相対的な情報で大きさ情報を表す。

【0037】

追跡部２０３は、生成した追跡結果情報を、位置関係解析部２０４とクオリティ予測部２０５へ出力する。

【0038】

位置関係解析部２０４は、入力される追跡結果情報に含まれる各オブジェクトの位置情報を比較し、追跡対象オブジェクト間の位置関係を解析する。具体的には、位置関係解析部２０４は、オブジェクト同士が重なっているかどうかを判定し、重なっている場合は、どのオブジェクトが最も手前であるかを判定し、オブジェクト位置関係情報を生成する。位置関係解析部２０４は、例えば、重なりの判定として、各追跡対象オブジェクトの外接矩形同士に重なりがあるかどうかを判定する。この際、位置関係解析部２０４は、重なりがあるかどうかだけではなく、重なりの度合いを表す重なり率を算出してもよい。位置関係解析部２０４は、手前かどうかの判定には、通常の斜め上から撮影する監視カメラの画角の場合、より下側に映るオブジェクトの方が手前にあると判定する。よって、位置関係解析部２０４は、重なりが判定された場合には、画面上の外接矩形や位置情報から、最も下側に位置するオブジェクトが手前にあるオブジェクトと判定し、それ以外は隠されていると判定する。位置関係解析部２０４は、オブジェクトの位置情報を実世界座標に変換し、最もカメラに近いオブジェクトを手前にあるオブジェクトとして判定してもよい。位置関係解析部２０４は、オブジェクト全体ではなく、オブジェクトの各部位に対して重なりを判定してもよい。例えば、位置関係解析部２０４は、オブジェクトの外接矩形を複数の領域に分割し、分割した領域ごとに重なりを判定してもよい。位置関係解析部２０４は、分割した領域ごとに重なり率を算出してもよい。

【0039】

位置関係解析部２０４は、生成されたオブジェクト位置関係情報を、クオリティ予測部２０５へ出力する。

【0040】

クオリティ予測部２０５は、現時刻の検出結果情報、追跡結果情報およびオブジェクト位置関係情報が入力される。クオリティ予測部２０５は、追跡対象オブジェクトのどのオブジェクトに対して特徴量抽出処理を行うかの指標となるクオリティ（質）指標を算出する。クオリティ予測部２０５は、入力される追跡結果情報と検出結果情報とオブジェクト位置関係情報と環境要因記憶部２０６に記憶される環境要因情報とに基づいてクオリティ指標を求め、選択部２０７へ出力する。

【0041】

クオリティ指標は、抽出する特徴量の質を、特徴量を抽出する以前に予測する指標である。また、クオリティ指標は、オブジェクトから高品質な特徴量が抽出されると予測される場合には高い値をとり、そうでない場合に低い値となる指標である。クオリティ指標は、値の取り得るレンジが任意である。以下では、クオリティ指標は、［０，１］の区間の値をとる。

【0042】

クオリティ予測部２０５は、追跡結果情報に含まれる各追跡対象オブジェクトに対して、オブジェクト位置関係情報を参照し、他のオブジェクトとの重なりによる隠蔽が生じていないかどうかを判定する。クオリティ予測部２０５は、隠蔽が生じている場合には、特徴量抽出の対象となる画像領域の一部あるいは全部がそのオブジェクトに帰属しなくなり、その領域から抽出される特徴量が本来の特徴量とは異なる値になるため、特徴量のクオリティが低下するよう予測する。クオリティ指標は、この低下の程度が隠蔽の度合い（以降隠蔽度と呼ぶ）によって変化するため、隠蔽度に応じて下がるよう定義されている。クオリティ予測部２０５は、隠蔽度を、オブジェクト領域の中で手前のオブジェクトに隠されている領域の比率（隠蔽率）としてもよい。クオリティ予測部２０５は、隠蔽度をｒ_Ｏｃｃ、隠蔽度に基づくクオリティ指標をｑ_Ｏｃｃとすると、数式１を用いてクオリティ指標ｑ_Ｏｃｃを算出する。

【0043】

【数1】

【0044】

ここで、ｆ_Ｏｃｃ（ｒ_Ｏｃｃ）は、［０，１］を値域としてもつ単調非増加関数であり、例えば、図４Ａのように表される。クオリティ予測部２０５は、例えば隠蔽度と照合精度の関係から求められたこの関数を、ｆ_Ｏｃｃ（ｒ_Ｏｃｃ）として用いる。

【0045】

クオリティ予測部２０５は、隠蔽度の算出にオブジェクト領域全体の隠蔽率を用いるのではなく、オブジェクト領域内でどの部分が隠蔽されているかも考慮して算出してもよい。例えば、オブジェクトが人物の場合、足下に近い領域が隠されても照合精度への影響は小さいが、頭部領域に近い領域が隠されると照合精度の影響は大きくなることがある。従って、クオリティ予測部２０５は、隠蔽部位によって照合に与える影響度が異なる場合には、部位ごとに隠蔽率を算出し、それらを重みづけ加算して隠蔽度を算出してもよい。例えば、クオリティ予測部２０５は、オブジェクトが人物の場合、図５に示すように、人物を水平な線で鉛直方向に複数の領域Ｒ１，Ｒ２，・・・，ＲＭ（図５はＭ＝５の場合に相当）に分割し、それぞれの領域ごとに、隠蔽率を算出し、数式２に示すように重みづけ加算して隠蔽度を算出する。クオリティ予測部２０５は、重みづけ加算して隠蔽度を算出することで、照合精度への影響が大きい部位が重点的に考慮されたクオリティ指標を算出できる。

【0046】

【数2】

【0047】

ここで、ｒ_ｍ、ｗ_ｍは、それぞれ領域Ｒ_ｍに対する隠蔽率と重み係数である。重み係数は、照合に対する影響が大きい領域ほど大きな値をとる係数であり、総和が１になるように正規化されている。クオリティ予測部２０５は、オブジェクトの部位ごとに重みづけして算出した隠蔽度を用いて、隠蔽度に基づくクオリティ指標を算出できる。

【0048】

クオリティ予測部２０５は、他の要因によってもクオリティ指標を算出する。検出されたオブジェクトの大きさが大きいほど、オブジェクトの細かな特徴まで抽出可能となるため、一般的に、特徴量のクオリティは、オブジェクトの大きさ（解像度）が大きいほど上がる。よって、クオリティ予測部２０５は、オブジェクト検出結果から求まるオブジェクト領域のサイズｓ（例えば領域の面積や領域の幅や高さなど）を用いて、解像度に基づくクオリティ指標ｑ_Ｒｅｓの値を数式３によって求める。

【0049】

【数3】

【0050】

ここで、ｆ_Ｒｅｓ（ｓ）は、［０，１］を値域としてもつ単調非減少関数であり、例えば、図４Ｂのように表される。クオリティ予測部２０５は、例えばサイズｓと照合精度の関係から求められたこの関数を、ｆ_Ｒｅｓ（ｓ）として用いる。

【0051】

オブジェクトの画面上での動きが大きい場合には、オブジェクト表面の細かな模様（例えばオブジェクトが人物の場合は服の模様など）は、動きボケの影響で正しく抽出できなくなる可能性が高まる。そのため、特徴量のクオリティは、オブジェクトの画面上での動きが大きいほど下がる。クオリティ予測部２０５は、オブジェクトの画面上での動き量をｖとすると、動きに基づくクオリティ指標ｑ_Ｍｏｔの値を数式４によって求める。

【0052】

【数4】

【0053】

ここで、ｆ_Ｍｏｔ（ｖ）は、［０，１］を値域としてもつ単調非増加関数であり、例えば、図４Ｃのように表される。クオリティ予測部２０５は、例えば画面上での動き量ｖと照合精度の関係から求められたこの関数を、ｆ_Ｍｏｔ（ｖ）として用いる。また、クオリティ予測部２０５は、動き量ｖを追跡対象オブジェクトの移動履歴から求めることができる。例えば、クオリティ予測部２０５は、一つ前（あるいは一定数前）の時刻におけるオブジェクトの位置を記憶しておき、オブジェクト追跡結果が入力されたときに、現時刻における位置との差分を算出することで、画面上での動き量ｖを求める。

【0054】

オブジェクトの姿勢や向きが特徴量抽出で想定している姿勢や向きから大きくずれている場合には、抽出された特徴量は、想定からずれる可能性がある。よって、オブジェクトの姿勢や向きについて、想定された姿勢や向きからのずれが大きくなるほど、特徴量のクオリティは、下がると考えられる。例えば、想定姿勢からのずれは、オブジェクトが人物の場合には、特徴量の抽出で想定される姿勢が直立姿勢の場合、しゃがんだり、かがんだりするとずれが大きくなる。このずれの程度を表す値は、想定姿勢からのずれが大きいほど値が大きくなる指標である姿勢変化度ｒ_Ｐｏｓで表される。クオリティ予測部２０５は、姿勢や向きに基づくクオリティ指標ｑ_Ｐｏｓの値を数式５によって求める。

【0055】

【数5】

【0056】

ここで、ｆ_Ｐｏｓ（ｒ_Ｐｏｓ）は、［０，１］を値域としてもつ単調非増加関数であり、例えば、図４Ｄのように表される。クオリティ予測部２０５は、例えば姿勢変化度ｒ_Ｐｏｓと照合精度の関係から求められたこの関数を、ｆ_Ｐｏｓ（ｒ_Ｐｏｓ）として用いる。

【0057】

姿勢変化度ｒ_Ｐｏｓは、例えば、オブジェクト検出矩形のアスペクト比が想定される姿勢の場合のオブジェクト外接矩形のアスペクト比からどれだけずれているかで定義される。例えば、クオリティ予測部２０５は、検出矩形のアスペクト比と想定姿勢に対するオブジェクト外接矩形のアスペクト比の差分の絶対値を求め、その値を姿勢変化度ｒ_Ｐｏｓとする。クオリティ予測部２０５は、固定カメラからの映像にキャリブレーション情報が利用できる場合には、画面の矩形の大きさから、実空間上でのオブジェクトの大きさを求めることが可能である。例えば、クオリティ予測部２０５は、オブジェクトの追跡結果からオブジェクトの実空間上での大きさ（例えば、人物の場合には人物の高さ）を求め、その時系列変化をチェックすることで、姿勢変動を検出する。クオリティ予測部２０５は、実空間上での大きさの変化の度合いに応じて、姿勢変化度を算出してもよい。

【0058】

クオリティ予測部２０５は、オブジェクトの向きを考慮してもよい。クオリティ予測部２０５は、オブジェクトの向きの求め方としては種々の方法がある。例えば、クオリティ予測部２０５は、オブジェクトの移動方向と向きが一致するとの仮定の下、追跡結果の位置の履歴からオブジェクトの移動方向を特定し、向きを推定する。クオリティ予測部２０５は、推定された向きと特徴量抽出の想定向き（例えば正面など）とのずれの大きさで、姿勢変化度を算出してもよい。

【0059】

環境要因記憶部２０６は、環境要因によって生じる特徴量のクオリティ低下に対するクオリティ指標の値を格納する。例えば、環境要因記憶部２０６は、特徴量のクオリティに影響を与える環境要因として、環境に配置されている障害物（棚や机など）による隠蔽、不適切な照明・日照条件による劣化、カメラの焦点が合っていないことによって生じるぼけによる劣化などに関するクオリティ指標を格納する。環境要因記憶部２０６は、撮像装置が固定カメラの場合、これらの劣化要因が画面上の特定の場所で生じるものとして格納する。環境要因記憶部２０６は、画面上の各位置にオブジェクトが来た時に生じるクオリティ劣化の度合いが推定されたクオリティ指標の値を位置と対応付けて記憶する。環境要因記憶部２０６は、数式６に示す、画面上の各座標（ｘ，ｙ）について求められた環境要因に基づくクオリティ指標の値を記憶する。

【0060】

【数6】

【0061】

ここで、ｆ_Ｅｎｖ（ｘ，ｙ）は、［０，１］を値域としてもつ関数である。また、ｘ，ｙは、オブジェクトの基準点の位置座標であり、例えば、オブジェクトの接地点の中心座標を用いる。関数ｆ_Ｅｎｖ（ｘ，ｙ）の値は、オブジェクトが画面上の位置（ｘ，ｙ）に来た時に生じる環境要因によって、どの程度照合精度が落ちるかを求めた結果に基づいて定められる。

【0062】

なお、環境要因ではないが、カメラの画面の周辺領域は、オブジェクトの一部が画面外となり、一部が隠蔽されたのと同等の状況が生じる。クオリティ予測部２０５及び環境要因記憶部２０６は、障害物による隠蔽と同様に、画面の周辺領域を環境要因として用いてもよい。

【0063】

特徴量のクオリティに影響を与える上述の要因のうち、解像度は、環境要因として扱われてもよい。従って、クオリティ予測部２０５及び環境要因記憶部２０６は、解像度に基づくクオリティ指標を、環境要因に基づくクオリティ指標として用いてもよい。

【0064】

上述の位置情報（ｘ，ｙ）は、画面上ではなく、実世界座標や、それを地図画像の座標に変換した値であってもよい。この場合、クオリティ指標ｑ_Ｅｎｖは、オブジェクトの位置情報を該当する座標系に変換した上で、数式６によって求められる。

【0065】

環境要因に基づくクオリティ指標は、照明や日照条件が昼と夜で異なる等によって、時間帯で変化が生じ得る。例えば、環境要因記憶部２０６は、各時間帯に対するクオリティ指標の値を記憶する。クオリティ予測部２０５は、処理する映像の時間帯に応じて、クオリティ指標ｑ_Ｅｎｖを切り替えて用いてもよい。クオリティ予測部２０５は、環境条件が遷移する状況下では、その前後の時間帯のクオリティ指標の値から、内挿によりクオリティ指標の値を用いてもよい。

【0066】

クオリティ予測部２０５は、各要因に対するクオリティ指標から全体のクオリティ指標を算出する。具体的には、クオリティ予測部２０５は、オブジェクト追跡結果に含まれる追跡対象オブジェクトの位置情報から現時刻におけるオブジェクトの位置（ｘ，ｙ）を求め、環境要因記憶部２０６から、その位置における環境要因に基づくクオリティ指標ｑ_Ｅｎｖの値を求める。各要因に対するクオリティ指標と全体のクオリティ指標Ｑの関係を表す関数ｇ_１は、数式７のように定義される。クオリティ予測部２０５は、全体のクオリティ指標Ｑを数式７によって求める。

【0067】

【数7】

【0068】

数式７の関数は、例えば数式８に示す関数が用いられる。

【0069】

【数8】

【0070】

クオリティ予測部２０５は、オブジェクト同士の隠蔽や、解像度、動き、姿勢、環境に基づいて生じる特徴量のクオリティ低下を予測し、特徴量抽出を行うべきオブジェクトを、適切に選択できる。

【0071】

ここまで全体のクオリティ指標を算出するための様々な要因について記載してきたが、クオリティ予測部２０５は、全てのクオリティ指標を用いる必要はなく、一部のみを用いてもよい。例えば、クオリティ予測部２０５は、用いない要因に対するクオリティ指標の値を１として、数式７および数式８に従ってクオリティ指標を算出する。

【0072】

また、本実施形態は、環境要因記憶部２０６がなくてもよい。その場合には、クオリティ予測部２０５は、各要因に対するクオリティ指標と全体のクオリティ指標Ｑの関係を表す関数ｇ_２を含む数式９を用いて、全体のクオリティ指標Ｑを算出する。

【0073】

【数9】

【0074】

数式９の関数は、例えば数式１０に示す関数が用いられる。

【0075】

【数10】

【0076】

クオリティ予測部２０５は、オブジェクト追跡結果に含まれる各追跡対象オブジェクトに対してクオリティ指標を算出する。クオリティ予測部２０５は、追跡対象オブジェクトの識別子とそれに対応づけられた検出オブジェクトの識別子の情報に対して、算出したクオリティ指標を対応付けて出力する。

【0077】

クオリティ予測部２０５は、数式９において、全てのクオリティ指標を考慮する必要はなく、一部のみを用いてもよい。例えば、クオリティ予測部２０５は、用いない要因に対するクオリティ指標の値を１として、数式９および数式１０に従ってクオリティ指標を算出する。

【0078】

以上より、クオリティ予測部２０５は、オブジェクト同士の隠蔽や、解像度、動き、姿勢によって特徴量のクオリティが低下することを予測できる。クオリティ予測部２０５は、クオリティ指標の一部のみを用いることで、オブジェクト同士の隠蔽や、解像度、動き、姿勢、環境要因の中から適応する場面に適した指標のみが考慮されたクオリティ指標を算出できる。この場合、クオリティ予測部２０５は、各場面に適した処理のみを行うことができるので、計算リソースを効率的に使用できる。

【0079】

選択部２０７は、クオリティ予測部２０５から出力されるクオリティ指標に基づいて、特徴量を抽出するオブジェクトを選択し、選択オブジェクト情報を出力する。選択部２０７は、入力されるクオリティ指標の値が大きい追跡対象オブジェクトを選択する。例えば、選択部２０７は、クオリティ指標の値が一定値よりも大きいものを選択する。選択部２０７は、クオリティ指標の値でソートしたときに、大きいほうから一定数の追跡対象オブジェクト（もし、オブジェクト数が一定数より少ない場合には全て）を選択してもよい。選択部２０７は、両者の基準を組み合わせてオブジェクトを選択（クオリティ指標の値が一定値以上の中で、大きいほうから一定数選択）してもよい。

【0080】

選択部２０７は、選択された追跡対象オブジェクトの識別子と、それと対応づいた検出オブジェクトの識別子を組み合わせて、選択オブジェクト情報として出力する。

【0081】

特徴量抽出部２０８は、選択オブジェクト情報と、検出結果情報に基づいて、画像からオブジェクト特徴量を抽出する。特徴量抽出部２０８は、選択オブジェクト情報に含まれる追跡オブジェクトの識別子と対応づけられた検出オブジェクトの識別子によって、検出オブジェクトの位置情報を検出結果情報から求める。特徴量抽出部２０８は、その追跡オブジェクトの識別子のオブジェクトの特徴量として、該当する画像領域の特徴量を抽出する。抽出する特徴量は、オブジェクトの識別に利用可能な特徴量であればどのようなものでもよい。例えば、抽出する特徴量は、オブジェクトの色や形状、模様などを表す視覚特徴量である。抽出する特徴量は、色や輝度勾配特徴のヒストグラム、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）のような局所特徴、ガボールウェーブレットのような模様を記述する特徴量等であってもよい。抽出する特徴量は、深層学習によって求まったオブジェクト識別用の特徴量であってもよい。

【0082】

図６は、実施形態２の情報処理装置２００によって実行される処理の流れを例示するフローチャートである。

【0083】

ステップＳ２０２では、映像取得部２０１は、映像を取得する。

【0084】

ステップＳ２０４では、検出部２０２は、ステップＳ２０２で取得された映像から物体を検出し、検出結果情報を生成する。

【0085】

ステップＳ２０６では、追跡部２０３は、ステップＳ２０４で生成された検出結果情報に基づいて、ステップＳ２０２で取得された映像から物体を追跡し、追跡結果情報を生成する。

【0086】

ステップＳ２０８では、位置関係解析部２０４は、ステップＳ２０６で生成された追跡結果情報に基づいて、物体の位置関係を解析し、位置関係情報を生成する。

【0087】

ステップＳ２１０では、クオリティ予測部２０５は、ステップＳ２０４で生成された検出結果情報、ステップＳ２０６で生成された追跡結果情報及びステップＳ２０８で生成された位置関係情報に基づいて、物体から抽出される特徴量の質を予測する。特徴量の質を予測する際には、クオリティ予測部２０５は、環境要因記憶部２０６に記憶されている環境要因に基づくクオリティ指標を参照してもよい。

【0088】

ステップＳ２１２では、選択部２０７は、ステップＳ２１０で予測された特徴量に基づいて、特徴量を抽出する物体を選択する。

【0089】

ステップＳ２１４では、特徴量抽出部２０８は、ステップＳ２１２で選択された物体の特徴量を抽出する。特徴量を抽出した後、情報処理装置１００は処理を終了する。

【0090】

以上説明したように、本実施形態に係る情報処理装置は、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、隠蔽度に基づくクオリティ指標を用いる場合、人物間の重なりや他の障害物による隠蔽を考慮して、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、解像度に基づくクオリティ指標を用いる場合、画面上の人物のサイズを考慮して、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、動きに基づくクオリティ指標を用いる場合、動きブレが生じる可能性を考慮して、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、姿勢や向きに基づくクオリティ指標を用いる場合、オブジェクトの姿勢や向きが想定していた姿勢や向きとどの程度ずれがあるかを考慮して、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、環境要因に基づくクオリティ指標を用いる場合、特定の位置にオブジェクトが来た時に決まったクオリティ劣化が生じる場合であっても、特徴量のクオリティの低下を適切に予測できるようになる。また、本実施形態に係る情報処理装置は、時間帯に応じて環境要因に基づくクオリティ指標を切り替えることにより、時間によって抽出される特徴量のクオリティが変化する場合であっても、適切に対応できるようになる。従って、本実施形態に係る情報処理装置は、環境要因に基づくクオリティ指標を用いる場合、ぼけや照明条件等に基づく劣化要因を考慮して、照合に適した特徴量を抽出できる。

【0091】

本実施形態に係る情報処理装置は、用いるクオリティ指標を任意に選択できるので、オブジェクト同士の隠蔽や、解像度、動き、姿勢、環境要因の中から、各場面に適した指標のみを考慮して、特徴量抽出を行うオブジェクトを選択できる。この場合、本実施形態に係る情報処理装置は、各場面に適した処理のみを行うことができるので、計算リソースを効率的に使用しつつ、特徴量抽出を行うべきオブジェクトを選択できる。

【0092】

本実施形態に係る情報処理装置は、オブジェクトが多数画面に映る状況であっても、特徴量抽出を行うオブジェクトを適切に選択し、特徴量の抽出処理にかかるコストを抑えつつ、オブジェクト全体として高精度な照合が可能となる特徴量の抽出を実現できる。本実施形態に係る情報処理装置は、特に、多数のオブジェクトによって、オブジェクト間に重なりが生じる場合であっても、特徴を抽出すべきオブジェクトを適切に選択できる。

【0093】

＜第３の実施形態＞
図７は、本実施形態における情報処理装置３００の構成を示す図である。

【0094】

情報処理装置３００の構成のうち、第２の実施形態の情報処理装置２００の構成と同じ処理動作を行う構成については、図３と同じ符号を付し、詳細な説明を省略する。

【0095】

図７に示す情報処理装置３００は、映像取得部２０１と、検出部２０２と、追跡部２０３と、予測部３１０と、選択部３０７と、特徴量抽出部２０８と、を備える。

【0096】

予測部３１０は、位置関係解析部２０４と、クオリティ予測部２０５と、環境要因記憶部２０６と、バリエーション予測部３０９と、を備える。

【0097】

映像取得部２０１と、検出部２０２と、追跡部２０３と、位置関係解析部２０４と、クオリティ予測部２０５と、環境要因記憶部２０６と、特徴量抽出部２０８は、第２の実施形態と同様である。

【0098】

バリエーション予測部３０９は、物体から特徴量を抽出することにより特徴量のバリエーションが改善される改善可能性を予測する。バリエーション予測部３０９の詳細は、後述する。

【0099】

図８は、本実施形態におけるバリエーション予測部３０９の構成を示す図である。

【0100】

図８に示すバリエーション予測部３０９は、バリエーション指標算出部３１１と、抽出履歴記憶部３１２と、追跡履歴記憶部３１３と、物体状態変化傾向記憶部３１４と、を備える。

【0101】

バリエーション予測部３０９は、以前の時刻に選択部３０７が選択したオブジェクトの情報である選択オブジェクト情報と追跡結果情報とが入力される。バリエーション予測部３０９は、追跡結果情報に含まれる各追跡対象オブジェクトに対するバリエーション指標を算出する。

【0102】

バリエーション指標は、取得特徴量のバリエーション（多様性）の改善の可能性を表す指標である。抽出されるオブジェクトの特徴量は、オブジェクトの状態によって変化し得るため、オブジェクト照合での漏れを少なくするためには、同一オブジェクトの様々な状態での特徴量であることが望ましい。オブジェクトの状態がほとんど変わっていない状況で何度特徴量抽出を行っても、ほぼ同じ特徴量が繰り返し取得されるのみであり、オブジェクト照合での漏れは、低減されない。従って、時系列でのオブジェクトの特徴量取得は、冗長な特徴量取得をなるべく避けつつ、取得特徴量のバリエーションを増やしていくことが重要である。バリエーション指標は、それまでに取得した特徴量群に加えて、現時刻での特徴量の取得を行うことで、特徴量のバリエーションを増やすことができるかどうか、すなわち取得特徴量のバリエーションを改善できるかどうか（改善可能性）を特徴量抽出前に予測し、指標化したものである。選択部３０７は、バリエーション指標が大きいオブジェクトほど優先的に選択することが望ましい。選択部３０７は、バリエーション指標をオブジェクト選択の基準として用いる。

【0103】

バリエーション予測部３０９は、算出されたバリエーション指標を、追跡対象オブジェクトの識別子と対応付けて選択部３０７へ出力する。

【0104】

バリエーション指標算出部３１１は、入力される追跡結果情報と、抽出履歴記憶部３１２から出力される特徴量抽出履歴情報と、追跡履歴記憶部３１３から出力される追跡履歴情報と、物体状態変化傾向記憶部３１４から出力されるオブジェクト状態変化傾向情報と、に基づいてバリエーション指標を算出し、出力する。

【0105】

バリエーション指標算出部３１１は、入力される追跡結果情報と、抽出履歴記憶部３１２から出力される特徴量抽出履歴情報と、のみに基づいてバリエーション指標を算出し、出力してもよい。また、バリエーション指標算出部３１１は、入力される追跡結果情報と、抽出履歴記憶部３１２から出力される特徴量抽出履歴情報と、追跡履歴記憶部３１３から出力される追跡履歴情報と、のみに基づいてバリエーション指標を算出し、出力してもよい。

【0106】

抽出履歴記憶部３１２は、選択部３０７から入力される選択オブジェクト情報に基づいて、各オブジェクトの特徴量抽出履歴を更新及び格納する。抽出履歴記憶部３１２は、特徴量抽出履歴情報をバリエーション指標算出部３１１へ出力する。

【0107】

抽出履歴記憶部３１２は、各追跡対象オブジェクトの識別子に対して、特徴量を抽出するオブジェクトとして選択された時刻の情報を格納する。抽出履歴記憶部３１２は、選択部３０７が選択したオブジェクトが入力されると、選択部３０７が選択したオブジェクトの情報に含まれる追跡対象オブジェクトの識別子に対して、そのオブジェクトが選択された時刻の情報を追加する。抽出履歴記憶部３１２は、各追跡対象オブジェクトの識別子に対して過去に特徴量抽出が行われた回数の情報を記録してもよい。抽出履歴記憶部３１２は、この場合には、選択オブジェクト情報に含まれる追跡対象オブジェクトの特徴量抽出回数を１つ増やす。

【0108】

バリエーション指標算出部３１１は、入力されるオブジェクト追跡結果に含まれる各追跡対象オブジェクトに対してバリエーション指標を算出する。上述のように、オブジェクト照合時の漏れの改善は、特徴量のバリエーションを増やすことが重要となる。特徴量のバリエーションの増加は、それまでの特徴量の取得履歴に依存する。前回特徴量を取得してからある程度の時間が経過することでオブジェクトの状態が変化するので、バリエーションの改善につながる特徴量が抽出される可能性は、高まる。バリエーション指標算出部３１１は、バリエーション指標をＶとすると、入力される追跡結果情報と、抽出履歴記憶部３１３から出力される特徴量抽出履歴情報と、のみに基づいてバリエーション指標を算出する場合、数式１１を用いてバリエーション指標Ｖを算出する。

【0109】

【数11】

【0110】

ここで、関数ｈ_１（ｔ）は、［０，１］を値域とし、前回の特徴量抽出からの経過時間ｔに対する単調非減少関数である。従って、バリエーション指標算出部３１１は、例えば図９Ａに示すような関数を用いる。なお、バリエーション指標算出部３１１は、まだ一度も特徴量抽出していない場合には、前回の特徴量抽出時刻をｔ＝－∞とし、バリエーション指標の値をｈ_１（∞）とする。

【0111】

上述の例では、バリエーション指標算出部３１１は、単に前回の特徴量抽出からの経過時間のみを用いてバリエーション指標を算出したが、これまでの特徴量抽出の回数を用いてもよい。特徴量の抽出回数が増えるにつれ、取得済みの特徴量のバリエーションは、増加する。従って、特徴量抽出の回数が多くなれば、特徴量抽出の頻度は、下げてよい。バリエーション指標算出部３１１は、特徴量抽出回数が増えるにつれてバリエーション指標の値が下がる関数を用いる。バリエーション指標算出部３１１は、経過時間ｔと特徴量抽出回数ｎの関数として、バリエーション指標Ｖを、数式１２を用いて算出する。

【0112】

【数12】

【0113】

ここで、関数ｈ_２（ｔ,ｎ）は［０，１］を値域とし、ｎを固定したときにはｔの単調非減少関数となり、ｔを固定したときにはｎの単調非増加関数となる関数である。バリエーション指標算出部３１１は、例えば、図９Ｂに示すような関数を用いる。

【0114】

バリエーション指標算出部３１１は、バリエーション指標Ｖをオブジェクト追跡結果に含まれる各追跡対象オブジェクトに対して算出する。バリエーション指標算出部３１１は、算出されたバリエーション指標を追跡対象オブジェクトの識別子と対応付けて出力する。

【0115】

バリエーション指標算出部３１１は、特徴量抽出履歴から取得特徴量のバリエーションの改善可能性を予測して、特徴量抽出を行うべきオブジェクトを適切に選択するための指標を算出できる。

【0116】

追跡履歴記憶部３１３は、各追跡対象オブジェクトの識別子に対して、これまでの追跡結果に関する情報を格納する。具体的には、追跡履歴記憶部３１３は、各時刻におけるオブジェクトの位置情報（オブジェクトの外接矩形の情報など、オブジェクトの大きさに関する情報も含む）や、検出オブジェクトと対応づいたかどうかの情報を格納する。追跡履歴記憶部３１３は、追跡結果情報が入力されると、追跡結果情報に含まれる各追跡対象オブジェクトの情報を、対応する追跡対象オブジェクトの識別子のデータに追加する。

【0117】

同じところにとどまり続けているオブジェクトは、前回の特徴量抽出から時間が経過している場合であっても状態があまり変化していない可能性が高く、特徴量抽出を行っても、前回とほぼ同じバリエーションの特徴量が得られるのみになる可能性が高い。一方、動いているオブジェクトは、前回の特徴量抽出からの経過時間が短くても、状態が大きく変化している可能性が高い。従って、バリエーション指標算出部３１１は、追跡履歴情報を用いて、オブジェクトがどれだけ移動しているかを求め、求まった移動量に応じてバリエーション指標の値を変化させる。例えば、バリエーション指標算出部３１１は、現時点より一定時間前のオブジェクトの位置を追跡履歴記憶部３１３から読み出し、追跡結果情報に含まれる現時刻での位置との差分を求め、移動量ｄを算出する。バリエーション指標算出部３１１は、この移動量を画面上での移動量として求めてもよい。バリエーション指標算出部３１１は、移動量ｄを実世界座標系に変換し、実世界上での移動量として求めてもよい。

【0118】

バリエーション指標算出部３１１は、入力される追跡結果情報と、抽出履歴記憶部３１２から出力される特徴量抽出履歴情報と、追跡履歴記憶部３１３から出力される追跡履歴情報と、のみに基づいてバリエーション指標Ｖを算出する場合、数式１３を用いてバリエーション指標Ｖを算出する。数式１３は、経過時間をｔ、特徴量抽出回数をｎ、移動量をｄとする。

【0119】

【数13】

【0120】

ここで、関数ｈ_３（ｔ，ｎ，ｄ）は、［０，１］を値域として持ち、ｎ，ｄを固定したときにはｔの単調非減少関数となり、ｔ，ｄを固定したときにはｎの単調非増加関数となり、ｔ，ｎを固定した時にはｄの単調非減少関数となる関数である。バリエーション指標算出部３１１は、例えば、図９Ｃに示すような関数を用いる。

【0121】

バリエーション指標算出部３１１は、追跡結果情報を用いるので、オブジェクトの向き等、オブジェクトの状態に関する情報を取得する。オブジェクトの状態に応じて特徴量が変化し得る場合には、その状態ごとに特徴量を抽出及び保持し、照合に用いることで、オブジェクト照合時の漏れは、低減される。従って、バリエーション指標算出部３１１は、オブジェクトの状態ごとに特徴量抽出の履歴を保持し、そのときのオブジェクトの状態に応じてバリエーション指標を算出する。追跡履歴記憶部３１３は、オブジェクトの状態に関する情報も、追跡結果として保持する。

【0122】

追跡履歴記憶部３１３は、オブジェクトの状態を表すカテゴリをｃ＝１，…，Ｃとする。このカテゴリは、例えば、正面、右、背面、左といったオブジェクトの向きに関するカテゴリである。バリエーション指標算出部３１１は、それぞれのカテゴリに対して、数式１４を用いてバリエーション指標Ｖを算出する。

【0123】

【数14】

【0124】

ここで、関数ｈ_３,ｃは、数式１３の関数ｈ_３をカテゴリごとに求める関数である。まず、バリエーション指標算出部３１１は、追跡結果情報に基づいて、現在のオブジェクトの状態がどのカテゴリに当てはまるかを推定し、推定したカテゴリの関数を用いてバリエーション指標を算出する。例えば、バリエーション指標算出部３１１は、カテゴリが向きの場合には、オブジェクトの追跡履歴からオブジェクトの移動方向を求め、移動方向に基づいて、向きを推定する。バリエーション指標算出部３１１は、向きが求まらない場合には、向き不明というカテゴリを設けておき、バリエーション指標を算出する。

【0125】

このカテゴリは、必ずしも向きによるものでなくてよく、オブジェクトの状態を反映した様々なカテゴリであってよい。追跡履歴記憶部３１３は、追跡情報のみでカテゴリ分類が難しい場合には、他の情報も含めてオブジェクトの状態のカテゴリ分類が行われてもよい。バリエーション指標算出部３１１は、算出されたバリエーション指標を追跡対象オブジェクトの識別子と対応付けて出力する。

【0126】

バリエーション指標算出部３１１は、オブジェクトの移動の有無や状態に応じたカテゴリまで用いることで、オブジェクトの特徴量の変化の有無やバリエーション改善の可能性を、より正確にバリエーション指標に反映できる。

【0127】

物体状態変化傾向記憶部３１４は、画面内の場所に応じて変化し得る、オブジェクトの状態変化の傾向を表す情報を格納する。オブジェクトがどういう状態を取りやすいかといった傾向は、オブジェクトが存在する場所によって異なる場合がある。例えば、オブジェクトが人物の場合、通路の曲がり角に設置され、人が歩行時に曲がる様子をとらえることができるカメラは、曲がり角においては、人物が曲がる際に、人物の様々な方向の特徴を抽出することが可能である。一方、それ以外の位置は、人物の方向とカメラの向きの関係が変化しにくいため、特定の方向のみの特徴が抽出される可能性が高い。バリエーション指標は、場所によってオブジェクトの状態変化の度合いが異なる場合には、状態変化が起こりやすい場所で、他の場所よりも頻度を上げて特徴量抽出が行われることで、効率的に改善されるようになる。物体状態変化傾向記憶部３１４は、数式１５で示されるような場所（ｘ,ｙ）ごとに定義された状態変化の起こりやすさを反映した乗数αを記憶しておく。

【0128】

【数15】

【0129】

ここで、関数ｈ_Ｌｏｃは、［０，１］の値域を持つ関数であり、画面上でオブジェクトの状態変化が起こりやすいところほど値が大きくなる関数である。バリエーション指標算出部３１１は、数式１１から数式１４を用いて求めたバリエーション指標Ｖに数式１５の乗数αを乗じた値を全体のバリエーション指標Ｖとして算出できる。より具体的には、バリエーション指標算出部３１１は、追跡対象オブジェクトの位置（ｘ,ｙ）を追跡結果情報から求め、この値に基づいて、オブジェクト状態変化傾向情報として乗数αの値を読み出して、バリエーション指標Ｖの値に乗じるようにする。バリエーション指標算出部３１１は、算出された全体のバリエーション指標を追跡対象オブジェクトの識別子と対応付けて出力する。

【0130】

バリエーション指標算出部３１１は、場所に応じたオブジェクト状態の変化の傾向まで考慮することで、オブジェクトの特徴量の変化の有無を、より正確にバリエーション指標に反映できる。

【0131】

なお、ここまではバリエーション指標を算出するための様々な方法を説明してきたが、バリエーション指標の算出方法は、上記の方法に限定されない。例えば、バリエーション指標算出部３１１は、追跡結果情報と、追跡履歴記憶部３１３から出力される追跡履歴情報と、のみに基づいてバリエーション指標を算出し、出力してもよい。バリエーション指標算出部３１１は、追跡結果情報と、物体状態変化傾向記憶部３１４から出力されるオブジェクト状態変化傾向情報と、のみに基づいてバリエーション指標を算出し、出力してもよい。

【0132】

選択部３０７は、クオリティ予測部２０５から出力されるクオリティ指標と、バリエーション予測部３０９から出力されるバリエーション指標とに基づいて特徴量を抽出するオブジェクトを選択し、選択オブジェクト情報を出力する。選択部３０７は、選択オブジェクト情報を、後の時刻でのバリエーション判定のため、バリエーション予測部３０９にも出力する。選択オブジェクト情報は、クオリティ予測部２０５に算出されたクオリティ指標とバリエーション予測部３０９によって算出されたバリエーション指標とに基づいて算出された選択指標Ｉを含む。選択部３０７は、選択指標Ｉを算出する関数をＦとすると、数式１６を用いて選択指標Ｉを算出する。

【0133】

【数16】

【0134】

数式１６の関数は、例えば、数式１７の関数が用いられる。

【0135】

【数17】

【0136】

選択部３０７は、選択指標Ｉの値が大きい追跡対象オブジェクトを選択する。例えば、選択部３０７は、選択指標の値が一定値よりも大きいものを選択する。選択部３０７は、選択指標の値でソートしたときに、大きいほうから一定数の追跡対象オブジェクト（もし、オブジェクト数が一定数より少ない場合には全て）を選択してもよい。選択部３０７は、両者の基準を組み合わせてオブジェクトを選択（例えば、選択指標の値が一定値以上の中で、大きいほうから一定数選択）してもよい。

【0137】

選択部３０７は、選択された追跡対象オブジェクトの識別子を、それと対応づいた検出オブジェクトの識別子と組み合わせて選択オブジェクト情報として出力する。選択オブジェクト情報は、バリエーション予測部３０９へ出力され、後の時刻におけるバリエーション指標の算出に用いられる。

【0138】

図１０は、第３の実施形態の情報処理装置３００によって実行される処理の流れを例示するフローチャートである。

【0139】

ステップＳ２０２、ステップＳ２０４、ステップＳ２０６、ステップＳ２０８及びステップＳ２１０は、第２の実施形態と同様である。

【0140】

ステップＳ３０２では、バリエーション予測部３０９は、ステップＳ２０６で生成された追跡結果情報と選択部３０７からフィードバックされた選択オブジェクト情報とに基づいて、特徴量のバリエーションが改善される改善可能性を予測する。

【0141】

ステップＳ３０４では、選択部３０７は、ステップＳ２１０で予測された特徴量の質とステップＳ３０２で予測された改善可能性とに基づいて、特徴量を抽出する物体を選択する。

【0142】

ステップＳ２１４は、第２の実施形態と同様である。

【0143】

以上説明したように、本実施形態に係る情報処理装置は、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、特徴量の抽出履歴を考慮することで、異なる人物間で特徴量の抽出回数に大きなばらつきが出る可能性を抑えることができる。本実施形態に係る情報処理装置は、オブジェクトの追跡履歴を考慮することで、前回の特徴量抽出から時間が経過しているオブジェクトであっても、同じところにとどまり続けている場合や、前回の特徴量抽出からの経過時間が短くても、オブジェクトが動いているので状態が大きく変化している場合等に適応して、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、オブジェクトの状態変化傾向を考慮することで、場所に応じたオブジェクト状態の変化による特徴量の変化の有無をバリエーション指標に反映することが可能となり、より適切なオブジェクト選択が可能となる。

【0144】

＜第４の実施形態＞
図１１は、本実施形態における情報処理装置４００の構成を示す図である。

【0145】

情報処理装置４００の構成のうち、第３の実施形態の情報処理装置３００の構成と同じ処理動作を行う構成は、図７と同じ符号を付し、詳細な説明を省略する。

【0146】

図１１に示す情報処理装置４００は、映像取得部２０１と、検出部２０２と、追跡部２０３と、予測部４１０と、選択部３０７と、特徴量抽出部２０８と、を備える。

【0147】

予測部４１０は、クオリティ予測部４０５と、環境要因記憶部２０６と、バリエーション予測部３０９と、を備える。

【0148】

映像取得部２０１と、検出部２０２と、追跡部２０３と、環境要因記憶部２０６と、特徴量抽出部２０８は、第２の実施形態と同様である。

【0149】

バリエーション予測部３０９と、選択部３０７は、第３の実施形態と同様である。

【0150】

クオリティ予測部４０５は、現時刻の検出結果情報と追跡結果情報が入力される。第２の実施形態のクオリティ予測部２０５との相違点は、オブジェクト位置関係情報が入力されないことである。従って、第２の実施形態のクオリティ予測部２０５と説明が重複する点は、説明を省略する。

【0151】

クオリティ予測部４０５は、入力される追跡結果情報と検出結果情報と、環境要因記憶部２０６に記憶される環境要因情報とに基づいてクオリティ指標を求め、選択部３０７へ出力する。

【0152】

クオリティ予測部４０５は、各要因に対するクオリティ指標から全体のクオリティ指標を算出する。具体的には、クオリティ予測部４０５は、オブジェクト追跡結果に含まれる追跡対象オブジェクトの位置情報から現時刻におけるオブジェクトの位置（ｘ，ｙ）を求め、環境要因記憶部２０６から、その位置における環境要因に基づくクオリティ指標ｑ_Ｅｎｖの値を求める。関数ｇ_３は、各要因に対するクオリティ指標と全体のクオリティ指標Ｑの関係を表し、数式１８のように定義される。クオリティ予測部４０５は、全体のクオリティ指標Ｑを数式１８によって求める。

【0153】

【数18】

【0154】

数式１８の関数は、例えば数式８に示す関数が用いられる。

【0155】

【数19】

【0156】

クオリティ予測部４０５は、解像度や、動き、姿勢、環境に基づいて生じる特徴量のクオリティ低下を予測し、特徴量抽出を行うべきオブジェクトを、適切に選択できる。

【0157】

クオリティ予測部４０５は、全てのクオリティ指標を用いる必要はなく、解像度、動き、姿勢、環境に基づいて生じる特徴量のクオリティ低下の少なくとも１つを用いてもよい。例えば、クオリティ予測部４０５は、考慮しない要因に対するクオリティ指標の値を１とみなして、数式１８および数式１９に従ってクオリティ指標を算出する。

【0158】

また、本実施形態は、環境要因記憶部２０６がなくてもよい。その場合には、クオリティ予測部４０５は、各要因に対するクオリティ指標と全体のクオリティ指標Ｑの関係を表す関数ｇ_４を含む数式２０を用いて、全体のクオリティ指標Ｑを算出する。

【0159】

【数20】

【0160】

数式２０の関数は、例えば数式２１に示す関数が用いられる。

【0161】

【数21】

【0162】

クオリティ予測部４０５は、数式２０において、全てのクオリティ指標を用いる必要はなく、一部のみを用いてもよい。例えば、クオリティ予測部４０５は、用いない要因に対するクオリティ指標の値を１とみなして、数式２０および数式２１に従ってクオリティ指標を算出する。

【0163】

図１２は、第４の実施形態の情報処理装置４００によって実行される処理の流れを例示するフローチャートである。

【0164】

ステップＳ２０２、ステップＳ２０４及びステップＳ２０６は、第２の実施形態と同様である。

【0165】

ステップＳ４０２では、クオリティ予測部４０５は、ステップＳ２０４で生成された検出結果情報及びステップＳ２０６で生成された追跡結果情報に基づいて、物体から抽出される特徴量の質を予測する。特徴量の質を予測する際には、クオリティ予測部４０５は、環境要因記憶部２０６に記憶されている環境要因に基づくクオリティ指標を参照してもよい。

【0166】

ステップＳ３０２及びステップＳ３０４は、第３の実施形態と同様である。

【0167】

ステップＳ２１４は、第２の実施形態と同様である。

【0168】

以上説明したように、本実施形態に係る情報処理装置は、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、オブジェクトが単独で存在する場合であっても、特徴量のクオリティだけでなく、バリエーションの改善可能性も同時に予測することによって、特徴量の抽出の必要性を適切に判定できる。従って、本実施形態に係る情報処理装置は、特徴量の抽出にかかる計算コストを低減できる。

【0169】

＜第５の実施形態＞
図１３は、本実施形態における情報処理装置５００の構成を示す図である。

【0170】

情報処理装置５００の構成のうち、第２の実施形態の情報処理装置２００の構成と同じ処理動作を行う構成は、図３と同じ符号を付し、詳細な説明を省略する。

【0171】

図１３に示す情報処理装置５００は、映像取得部２０１と、検出部２０２と、追跡部２０３と、予測部５１０と、選択部２０７と、特徴量抽出部２０８と、を備える。

【0172】

予測部５１０は、物体検出傾向解析部５０４と、クオリティ予測部５０５と、環境要因記憶部２０６と、を備える。

【0173】

映像取得部２０１と、検出部２０２と、追跡部２０３と、環境要因記憶部２０６と、選択部２０７と、特徴量抽出部２０８は、第２の実施形態と同様である。

【0174】

物体検出傾向解析部５０４は、入力される検出結果情報を分析し、画像の場所ごとの検出傾向情報を求める。オブジェクトは、棚などの障害物がある場所では隠蔽され、検出されないケースが増える。オブジェクトは、全体が隠されている際には全く検出されないが、一部が隠された際には、検出される場合とされない場合がある。ある一定時間内におけるオブジェクトの検出回数を場所ごとに集計すると、障害物等がない場所であれば頻度が高くなるのに対し、障害物等で隠される場所では、オブジェクトの検出頻度は、低くなる。物体検出傾向解析部５０４は、場所ごとの頻度情報を検出傾向情報として生成する。

【0175】

物体検出傾向解析部５０４は、検出部２０２がオブジェクトの複数の部位を検出する手段である場合には、ある一定時間内におけるオブジェクトの部位の検出回数を場所ごとに集計してもよい。物体検出傾向解析部５０４は、複数の部位が同時に検出されたかどうかといった同時検出の傾向を場所ごとに集計し、検出傾向情報に含めてもよい。

【0176】

例えば、オブジェクトが人物であり、検出部２０２が人物の頭部と人体を同時に検出する検出手段である場合、物体検出傾向解析部５０４は、頭部と人体それぞれに対して、検出頻度を場所ごとに集計する。物体検出傾向解析部５０４は、頭部と人体の両方が同時に検出された回数について、場所ごとに集計してもよい。物体検出傾向解析部５０４は、同時に検出された回数を、その場所での部分的な隠蔽の傾向の判定に用いる。頭部と人体を同時検出する場合、頭部が検出されているにも関わらず人体が検出されないことが多いという傾向は、人物が存在するにも関わらず、人体が検出されていない可能性が高い。その傾向は、その場所において、人体領域の頭部よりも下側の領域が隠されている可能性が高いことを示している。

【0177】

物体検出傾向解析部５０４は、生成した検出傾向情報をクオリティ予測部５０５へ出力する。

【0178】

物体検出傾向解析部５０４は、複数の部位の検出結果を合わせて判定することで、場所ごとのオブジェクト隠蔽の傾向を詳しく反映した検出傾向情報を生成できる。

【0179】

クオリティ予測部５０５は、現時刻の検出結果情報と、追跡結果情報と、検出傾向情報と、が入力される。第４の実施形態のクオリティ予測部４０５との相違点は、検出傾向情報が入力されることである。従って、第２の実施形態のクオリティ予測部２０５及び第４の実施形態のクオリティ予測部４０５と説明が重複する点は、説明を省略する。

【0180】

クオリティ予測部５０５は、入力される追跡結果情報と検出結果情報と検出傾向情報と、環境要因記憶部２０６に記憶される環境要因情報とに基づいてクオリティ指標を求め、選択部２０７へ出力する。

【0181】

クオリティ予測部５０５は、検出傾向情報を用いて、障害物によるオブジェクトの隠蔽の状況を判定する。場所（ｘ，ｙ）におけるオブジェクトの検出頻度をＦｒｅｑ（ｘ，ｙ）とすると、クオリティ予測部５０５は、数式２２を用いて乗数βを算出する。クオリティ予測部５０５は、検出結果情報、追跡結果情報から求まるクオリティ指標に乗数βを乗じ、最終的なクオリティ指標を算出する。

【0182】

【数22】

【0183】

ここで、関数ｑ_Ｌｏｃは、頻度Ｆｒｅｑ（ｘ，ｙ）に対する単調非減少関数である。クオリティ予測部５０５は、複数部位の同時検出の頻度を含む場合には、同時検出の頻度を最も検出された部位の頻度で除した比率を、検出頻度の代わりに用いてもよい。

【0184】

クオリティ予測部５０５は、算出したクオリティ指標を、選択部２０７へ出力する。

【0185】

図１４は、第５の実施形態の情報処理装置５００によって実行される処理の流れを例示するフローチャートである。

【0186】

ステップＳ２０２、ステップＳ２０４及びステップＳ２０６は、第２の実施形態と同様である。

【0187】

ステップＳ５０２では、物体検出傾向解析部５０４は、物体検出の場所ごとの傾向を分析し、検出傾向情報を生成する。

【0188】

ステップＳ５０４では、クオリティ予測部５０５は、ステップＳ２０４で生成された検出結果情報、ステップＳ２０６で生成された追跡結果情報及びステップＳ５０２で生成された検出傾向情報に基づいて、物体から抽出される特徴量の質を予測する。特徴量の質を予測する際には、クオリティ予測部５０５は、環境要因記憶部２０６に記憶されている環境要因に基づくクオリティ指標を参照してもよい。

【0189】

ステップＳ２１２及びステップＳ２１４は、第２の実施形態と同様である。

【0190】

以上説明したように、本実施形態に係る情報処理装置は、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、オブジェクトが単独で存在する場合であっても、場所によるオブジェクトの隠蔽発生傾向を自動的に判定することによって、特徴量の抽出の必要性を適切に判定できる。従って、本実施形態に係る情報処理装置は、特徴量の抽出にかかる計算コストを低減できる。

【0191】

＜第６の実施形態＞
図１５は、本実施形態における情報処理装置６００の構成を示す図である。

【0192】

情報処理装置６００の構成のうち、第３の実施形態の情報処理装置３００の構成と同じ処理動作を行う構成は、図７と同じ符号を付し、詳細な説明を省略する。

【0193】

情報処理装置５００の構成のうち、第５の実施形態の情報処理装置５００の構成と同じ処理動作を行う構成は、図１３と同じ符号を付し、詳細な説明を省略する。

【0194】

図１５に示す情報処理装置６００は、映像取得部２０１と、検出部２０２と、追跡部２０３と、予測部６１０と、選択部３０７と、特徴量抽出部２０８と、を備える。

【0195】

予測部６１０は、物体検出傾向解析部５０４と、クオリティ予測部５０５と、環境要因記憶部２０６と、バリエーション予測部３０９と、を備える。

【0196】

映像取得部２０１と、検出部２０２と、追跡部２０３と、環境要因記憶部２０６と、特徴量抽出部２０８は、第２の実施形態と同様である。

【0197】

選択部３０７と、バリエーション予測部３０９は、第３の実施形態と同様である。

【0198】

物体検出傾向解析部５０４と、クオリティ予測部５０５は、第５の実施形態と同様である。

【0199】

図１６は、第６の実施形態の情報処理装置６００によって実行される処理の流れを例示するフローチャートである。

【0200】

ステップＳ５０２及びステップＳ５０４は、第５の実施形態と同様である。

【0201】

ステップＳ３０２及びステップＳ３０４は、第３の実施形態と同様である。

【0202】

ステップＳ２１４は、第２の実施形態と同様である。

【0203】

以上説明したように、本実施形態に係る情報処理装置は、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、オブジェクトが単独で存在する場合であっても、場所によるオブジェクトの隠蔽発生傾向を自動的に判定することによって、特徴量の抽出の必要性を適切に判定できる。本実施形態に係る情報処理装置は、特徴量のクオリティだけでなく、バリエーションの改善可能性も同時に予測することによって、特徴量の抽出の必要性を適切に判定できる。従って、本実施形態に係る情報処理装置は、特徴量の抽出にかかる計算コストを低減できる。

【0204】

＜第７の実施形態＞
図１７は、本実施形態における情報処理装置７００の構成を示す図である。

【0205】

情報処理装置７００の構成のうち、第３の実施形態の情報処理装置３００の構成と同じ処理動作を行う構成は、図７と同じ符号を付し、詳細な説明を省略する。

【0206】

情報処理装置７００の構成のうち、第５の実施形態の情報処理装置５００の構成と同じ処理動作を行う構成は、図１３と同じ符号を付し、詳細な説明を省略する。

【0207】

図１７に示す情報処理装置７００は、映像取得部２０１と、検出部２０２と、追跡部２０３と、予測部７１０と、選択部３０７と、特徴量抽出部２０８と、を備える。

【0208】

予測部７１０は、位置関係解析部２０４と、物体検出傾向解析部５０４と、クオリティ予測部７０５と、環境要因記憶部２０６と、バリエーション予測部３０９と、を備える。

【0209】

映像取得部２０１と、検出部２０２と、追跡部２０３と、位置関係解析部２０４と、環境要因記憶部２０６と、特徴量抽出部２０８は、第２の実施形態と同様である。

【0210】

選択部３０７と、バリエーション予測部３０９は、第３の実施形態と同様である。

【0211】

物体検出傾向解析部５０４は、第５の実施形態と同様である。

【0212】

クオリティ予測部７０５は、クオリティ予測部２０５と同様の方法でクオリティ指標を算出し、算出したクオリティ指標に対してクオリティ予測部５０５と同様に乗数βを乗じることで、全体のクオリティ指標を算出する。

【0213】

バリエーション予測部３０９は、第３の実施形態と同様である。

【0214】

本実施形態では、バリエーション予測部３０９は、省略しても良い。その場合、選択部３０７は、第２の実施形態の選択部２０７と置き換える。

【0215】

図１８は、第７の実施形態の情報処理装置７００によって実行される処理の流れを例示するフローチャートである。

【0216】

ステップＳ２０２、ステップＳ２０４、ステップＳ２０６及びステップＳ２０８は、第２の実施形態と同様である。

【0217】

ステップＳ５０２は、第５の実施形態と同様である。

【0218】

ステップＳ７０２では、クオリティ予測部７０５は、ステップＳ２０４で生成された検出結果情報、ステップＳ２０６で生成された追跡結果情報、ステップＳ２０８で生成された位置関係情報及びステップＳ５０２で生成された検出傾向情報に基づいて、物体から抽出される特徴量の質を予測する。特徴量の質を予測する際には、クオリティ予測部７０５は、環境要因記憶部２０６に記憶されている環境要因に基づくクオリティ指標を参照してもよい。

【0219】

ステップＳ７０２を実行した後、第３の実施形態と同様に、ステップＳ３０２、ステップＳ３０４、ステップＳ２１４の処理を実行する。

【0220】

本実施形態では、ステップＳ３０２は省略してもよい。その場合、ステップＳ３０４の代わりに、ステップＳ２０４を実行する。

【0221】

ステップＳ２１４を実行した後、情報処理装置７００は、処理を終了する。

【0222】

本実施形態に係る情報処理装置は、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、隠蔽度に基づくクオリティ指標を用いる場合、人物間の重なりや他の障害物による隠蔽を考慮して、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、解像度に基づくクオリティ指標を用いる場合、画面上の人物のサイズを考慮して、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、動きに基づくクオリティ指標を用いる場合、動きブレが生じる可能性を考慮して、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、姿勢や向きに基づくクオリティ指標を用いる場合、オブジェクトの姿勢や向きが想定していた姿勢や向きとどの程度ずれがあるかを考慮して、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、環境要因に基づくクオリティ指標を用いる場合、特定の位置にオブジェクトが来た時に決まったクオリティ劣化が生じる場合であっても、特徴量のクオリティの低下を適切に予測できるようになる。また、本実施形態に係る情報処理装置は、時間帯に応じて環境要因に基づくクオリティ指標を切り替えることにより、時間によって抽出される特徴量のクオリティが変化する場合であっても、適切に対応できるようになる。従って、本実施形態に係る情報処理装置は、環境要因に基づくクオリティ指標を用いる場合、ぼけや照明条件等に基づく劣化要因を考慮して、照合に適した特徴量を抽出できる。

【0223】

本実施形態に係る情報処理装置は、用いるクオリティ指標を任意に選択できるので、オブジェクト同士の隠蔽や、解像度、動き、姿勢、環境要因の中から、各場面に適した指標のみを考慮して、特徴量抽出を行うオブジェクトを選択できる。この場合、本実施形態に係る情報処理装置は、各場面に適した処理のみを行うことができるので、計算リソースを効率的に使用しつつ、特徴量抽出を行うべきオブジェクトを選択できる。

【0224】

本実施形態に係る情報処理装置は、特徴量の抽出履歴を考慮することで、異なる人物間で特徴量の抽出回数に大きなばらつきが出る可能性を抑えることができる。本実施形態に係る情報処理装置は、オブジェクトの追跡履歴を考慮することで、前回の特徴量抽出から時間が経過しているオブジェクトであっても、同じところにとどまり続けている場合や、前回の特徴量抽出からの経過時間が短くても、オブジェクトが動いているので状態が大きく変化している場合等に適応して、照合に適した特徴量を抽出できる。本実施形態に係る情報処理装置は、オブジェクトの状態変化傾向を考慮することで、場所に応じたオブジェクト状態の変化による特徴量の変化の有無をバリエーション指標に反映することが可能となり、より適切なオブジェクト選択が可能となる。

【0225】

本実施形態に係る情報処理装置は、オブジェクトが多数画面に映る状況であっても、特徴量抽出を行うオブジェクトを適切に選択し、特徴量の抽出処理にかかるコストを抑えつつ、オブジェクト全体として高精度な照合が可能となる特徴量の抽出を実現できる。本実施形態に係る情報処理装置は、特に、多数のオブジェクトによって、オブジェクト間に重なりが生じる場合であっても、特徴を抽出すべきオブジェクトを適切に選択できる。

【0226】

本実施形態に係る情報処理装置は、場所によるオブジェクトの隠蔽発生傾向を自動的に判定することによって、特徴量の抽出の必要性を適切に判定できる。本実施形態に係る情報処理装置は、特徴量のクオリティだけでなく、バリエーションも同時に予測することによって、特徴量の抽出の必要性を適切に判定できる。従って、本実施形態に係る情報処理装置は、特徴量の抽出にかかる計算コストを低減できる。

【0227】

＜ハードウエアの構成例＞
本発明の各実施形態における情報処理装置のハードウエア構成について以下に説明する。本発明の各実施形態における情報処理装置の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、本発明の各実施形態における情報処理装置の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

【0228】

図１９は、本発明の各実施形態における情報処理装置を実現するための計算機１０００、ネットワーク１３００、カメラ１５００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、本発明の各実施形態における情報処理装置を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

【0229】

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの種々のプロセッサである。メモリ１０６０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、メモリカード、又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを用いて実現される補助記憶装置である。

【0230】

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

【0231】

ネットワークインタフェース１１２０は、計算機１０００をネットワーク１３００に接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

【0232】

さらに、ネットワーク１３００にはカメラ１５００が接続されており、計算機１０００とカメラ１５００とはネットワーク１３００を介してデータを通信できるようになっている。例えば、本発明の各実施形態における情報処理装置の映像取得部２０１は、カメラ１５００から映像を取得する。

【0233】

ストレージデバイス１０８０は、本発明の各実施形態における情報処理装置の各手段を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

【0234】

なお、本発明の各実施形態における情報処理装置の一部の機能はカメラ１５００側で実行されていてもよい。すなわち、カメラ１５００の内部にプロセッサやストレージデバイス、メモリが格納されており、本発明の各実施形態における情報処理装置の各手段の処理の全部、あるいは一部をこれらのコンポーネントを用いて実行するようになっていてもよい。例えば、映像取得部２０１、検出部２０２、追跡部２０３の処理をカメラ１５００側で実行し、それ以外の処理を計算機１０００側で実行するようになっていてもよい。あるいは、特徴量抽出部２０８以外の処理をカメラ側で実行するようになっており、特徴量抽出部２０８については、計算機１０００側で実行するようになっていてもよい。

【0235】

また、映像取得部２０１は、カメラで撮影された映像を蓄積する、ハードディスクレコーダのような映像記録装置であってもよい。この場合は、映像取得部２０１は、映像記録装置で蓄積された映像を読み出して再生することで、映像を取得し、ネットワーク１３００を介して計算機１０００側に送信する。そして、その後の処理を計算機１０００側で実行する。

【0236】

以上、本発明を、上述した模範的な実施の形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、請求の範囲に記載した事項から明らかである。

【0237】

なお、前述の実施形態の構成は、組み合わせる或いは一部の構成部分を入れ替えてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

【0238】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
入力される映像から検出及び追跡される複数の物体の位置関係と、前記複数の物体の重なりとに基づいて、前記物体から抽出される特徴量の質を予測する予測手段と、
前記複数の物体のうち、前記予測手段により予測される特徴量の質が所定の条件を満たす物体のみを選択する選択手段と、
前記選択手段によって選択された物体から特徴量を抽出する特徴量抽出手段と
を有する情報処理装置。
（付記２）
前記予測手段は、前記物体が他の物体によって隠されている度合いに基づいて、前記物体から抽出される特徴量の質を予測する
ことを特徴とする付記１に記載の情報処理装置。
（付記３）
前記予測手段は、前記物体の解像度、動き量、姿勢及び向き、並びに、前記物体の位置に応じて定まる環境要因の少なくとも１つに基づいて、前記物体から抽出される特徴量の質を予測する
ことを特徴とする付記１又は付記２に記載の情報処理装置。
（付記４）
物体の位置に応じて定まる環境要因が特徴量の質の予測にどの程度影響を及ぼすかの指標を記憶する記憶手段を有し、
前記予測手段は、前記指標に基づいて、前記物体から抽出される特徴量の質を予測する
ことを特徴とする付記１乃至３のいずれかに記載の情報処理装置。
（付記５）
前記予測手段は、さらに、物体から特徴量を抽出することにより特徴量のバリエーションが改善される改善可能性を予測し、
前記選択手段は、前記予測手段により予測される改善可能性がさらに所定の条件を満たす物体のみを選択する
ことを特徴とする付記１乃至４のいずれかに記載の情報処理装置。
（付記６）
前記予測手段は、前回の特徴量抽出からの経過時間が大きいほど前記改善可能性が大きくなるよう、前記改善可能性を予測する
ことを特徴とする付記５に記載の情報処理装置。
（付記７）
前記予測手段は、それまでの特徴量の抽出回数が少ないほど前記改善可能性が大きくなるよう、前記改善可能性を予測する
ことを特徴とする付記５又は６に記載の情報処理装置。
（付記８）
前記予測手段は、物体の移動量が大きいほど前記改善可能性が大きくなるよう、前記改善可能性を予測する
ことを特徴とする付記５乃至７のいずれかに記載の情報処理装置。
（付記９）
前記予測手段は、物体の状態に応じて定まるカテゴリにさらに基づいて、前記改善可能性を予測する
ことを特徴とする付記５乃至８のいずれかに記載の情報処理装置。
（付記１０）
前記予測手段は、物体の位置に応じて定まる物体の状態変化の傾向にさらに基づいて、前記改善可能性を予測する
ことを特徴とする付記５乃至９のいずれかに記載の情報処理装置。
（付記１１）
入力される映像から検出及び追跡される物体から、前記物体の解像度、動き量、姿勢及び向き、並びに、前記物体の位置に応じて定まる環境要因の少なくとも１つに基づいて、前記物体から抽出される特徴量の質と、前記物体から特徴量を抽出することにより特徴量のバリエーションが改善される改善可能性と、を予測する予測手段と、
前記物体のうち、前記予測手段により予測される特徴量の質と改善可能性とが所定の条件を満たす物体のみを選択する選択手段と、
前記選択手段によって選択された物体から特徴量を抽出する特徴量抽出手段と
を有する情報処理装置。
（付記１２）
入力される映像から検出及び追跡される物体から、前記物体の解像度、動き量、姿勢及び向き、並びに、前記物体の位置に応じて定まる環境要因の少なくとも１つ、及び、物体の位置に依存する物体の隠蔽の度合いに基づいて、前記物体から抽出される特徴量の質を予測する予測手段と、
前記物体のうち、前記予測手段により予測される特徴量の質が所定の条件を満たす物体のみを選択する選択手段と、
前記選択手段によって選択された物体から特徴量を抽出する特徴量抽出手段と
を有する情報処理装置。
（付記１３）
前記予測手段は、さらに、物体から特徴量を抽出することにより特徴量のバリエーションが改善される改善可能性を予測し、
前記選択手段は、前記予測手段により予測される改善可能性がさらに所定の条件を満たす物体のみを選択する
ことを特徴とする付記１２に記載の情報処理装置。
（付記１４）
前記予測手段は、さらに、入力される映像から検出及び追跡される複数の物体の位置関係と、前記複数の物体の重なりとに基づいて、前記物体から抽出される特徴量の質を予測する
ことを特徴とする付記１２又は付記１３に記載の情報処理装置。
（付記１５）
入力される映像から検出及び追跡される複数の物体の位置関係と、前記複数の物体の重なりとに基づいて、前記物体から抽出される特徴量の質を予測し、
前記複数の物体のうち、前記特徴量の質が所定の条件を満たす物体のみを選択し、
選択された前記物体から特徴量を抽出する
情報処理方法。
（付記１６）
入力される映像から検出及び追跡される物体から、前記物体の解像度、動き量、姿勢及び向き、並びに、前記物体の位置に応じて定まる環境要因の少なくとも１つに基づいて、前記物体から抽出される特徴量の質と、前記物体から特徴量を抽出することにより特徴量のバリエーションが改善される改善可能性と、を予測し、
前記物体のうち、前記特徴量の質と前記改善可能性とが所定の条件を満たす物体のみを選択し、
選択された前記物体から特徴量を抽出する
情報処理方法。
（付記１７）
入力される映像から検出及び追跡される物体から、前記物体の解像度、動き量、姿勢及び向き、並びに、前記物体の位置に応じて定まる環境要因の少なくとも１つ、及び、物体の位置に依存する物体の隠蔽の度合いに基づいて、前記物体から抽出される特徴量の質を予測し、
前記物体のうち、前記特徴量の質が所定の条件を満たす物体のみを選択し、
選択された前記物体から特徴量を抽出する
情報処理方法。
（付記１８）
コンピュータに、
入力される映像から検出及び追跡される複数の物体の位置関係と、前記複数の物体の重なりとに基づいて、前記物体から抽出される特徴量の質を予測する予測処理と、
前記複数の物体のうち、前記予測処理により予測される特徴量の質が所定の条件を満たす物体のみを選択する選択処理と、
前記選択処理によって選択された物体から特徴量を抽出する特徴量抽出処理と
を実行させるための情報処理プログラムを記録したプログラム記録媒体。
（付記１９）
コンピュータに、
入力される映像から検出及び追跡される物体から、前記物体の解像度、動き量、姿勢及び向き、並びに、前記物体の位置に応じて定まる環境要因の少なくとも１つに基づいて、前記物体から抽出される特徴量の質と、前記物体から特徴量を抽出することにより特徴量のバリエーションが改善される改善可能性と、を予測する予測処理と、
前記物体のうち、前記予測処理により予測される特徴量の質と改善可能性とが所定の条件を満たす物体のみを選択する選択処理と、
前記選択処理によって選択された物体から特徴量を抽出する特徴量抽出処理と
を実行させるための情報処理プログラムを記録したプログラム記録媒体。
（付記２０）
コンピュータに、
入力される映像から検出及び追跡される物体から、前記物体の解像度、動き量、姿勢及び向き、並びに、前記物体の位置に応じて定まる環境要因の少なくとも１つ、及び、物体の位置に依存する物体の隠蔽の度合いに基づいて、前記物体から抽出される特徴量の質を予測する予測処理と、
前記物体のうち、前記予測処理により予測される特徴量の質が所定の条件を満たす物体のみを選択する選択処理と、
前記選択処理によって選択された物体から特徴量を抽出する特徴量抽出処理と
を実行させるための情報処理プログラムを記録したプログラム記録媒体。

【0239】

＜産業上の利用可能性＞
本発明の情報処理装置を用いることで、オブジェクトの特徴抽出に時間がかかる場合であっても、全体として高精度なオブジェクト照合が可能となる。よって、映像監視などにおけるカメラ間でのオブジェクト追跡等に利用できる。

【符号の説明】

【0240】

１００ 情報処理装置
１０１ 予測部
１０２ 選択部
１０３ 特徴量抽出部
２００ 情報処理装置
２０１ 映像取得部
２０２ 検出部
２０３ 追跡部
２０４ 位置関係解析部
２０５ クオリティ予測部
２０６ 環境要因記憶部
２０７ 選択部
２０８ 特徴量抽出部
２１０ 予測部
３００ 情報処理装置
３０７ 選択部
３０９ バリエーション予測部
３１０ 予測部
３１１ バリエーション指標算出部
３１２ 抽出履歴記憶部
３１３ 追跡履歴記憶部
３１４ 物体状態変化傾向記憶部
４００ 情報処理装置
４０５ クオリティ予測部
４１０ 予測部
５００ 情報処理装置
５０４ 物体検出傾向解析部
５０５ クオリティ予測部
５１０ 予測部
６００ 情報処理装置
６１０ 予測部
７００ 情報処理装置
７０５ クオリティ予測部
７１０ 予測部
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
１３００ ネットワーク
１５００ カメラ

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】