特許 5950296 人物追跡属性推定装置、人物追跡属性推定方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5950296

(24)【登録日】2016年6月17日

(45)【発行日】2016年7月13日

(54)【発明の名称】人物追跡属性推定装置、人物追跡属性推定方法、プログラム

(51)【国際特許分類】

   G06T 7/20 20060101AFI20160630BHJP

   G01S 17/88 20060101ALI20160630BHJP

   H04N 7/18 20060101ALI20160630BHJP

   G01S 17/42 20060101ALI20160630BHJP

【ＦＩ】

   G06T7/20 B

   G01S17/88

   H04N7/18 D

   G01S17/42

【請求項の数】9

【全頁数】23

(21)【出願番号】特願2012-14816(P2012-14816)

(22)【出願日】2012年1月27日

(65)【公開番号】特開2013-156718(P2013-156718A)

(43)【公開日】2013年8月15日

【審査請求日】2014年9月11日

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(72)【発明者】

【氏名】野口 祥宏

(72)【発明者】

【氏名】嶋田 敬士

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００９−０４３１７６（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１４０６１３（ＷＯ，Ａ１）

【文献】 小林貴訓 外１名，分散センサ情報の統合によるエリア内人物追跡と動線推定，情報処理学会研究報告 ２００８−ＣＶＩＭ−１６３ コンピュータビジョンとイメージメディア，社団法人情報処理学会，２００８年 ５月 １日，第2008巻 第36号，第231−246頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０１Ｓ １７／４２

Ｇ０１Ｓ １７／８８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

レーザー測域センサーの測定データから所定の閾値内の距離である点群をクラスタリングして人物候補を抽出する人物候補クラスタリング部と、
前記人物候補を走査フレーム間で比較し、距離差が所定の範囲内である人物候補を同一の人物候補として人物候補ＩＤを付与し、前記人物候補ＩＤと前記同一の人物候補の位置座標とを出力する人物候補追跡部と、
前記位置座標を２次元画像座標に変換するビューポート変換部と、
前記２次元画像座標に基づいて、前記人物候補ＩＤを付与した前記人物候補に対応する上半身探索領域としてウィンドウ・サイズと座標データとを設定する上半身探索領域設定部と、
前記上半身探索領域設定部からの前記人物候補ＩＤ、前記ウィンドウ・サイズ及び前記座標データに基づき、設定範囲内にある複数の同じ前記人物候補ＩＤの上半身探索領域を一つに統合して人物ＩＤの検出ウィンドウとし、カメラからのフレーム画像データ中の前記検出ウィンドウの人物の顔検出を行い、更に顔検出を行った人物の人物属性を推定し、その人物属性を対応する前記人物ＩＤと共に出力する人物属性推定部と、
前記人物候補追跡部から出力された前記人物候補ＩＤ及び位置座標と、前記人物属性推定部からの前記人物ＩＤ及び人物属性情報とに基づいて、前記人物候補ＩＤと一致する前記人物ＩＤと前記位置座標及び前記人物属性情報との対応付けを行う人物追跡属性判定部と、を有することを特徴とする人物追跡属性推定装置。

【請求項2】

前記人物追跡属性判定部は、複数のフレーム画像データにおける、同一の人物の前記人物ＩＤが付与された人物属性情報に基づいて、該人物ＩＤの人物属性を判定することを特徴とする請求項１記載の人物追跡属性推定装置。

【請求項3】

前記人物追跡属性判定部は、複数の前記人物属性情報の平均値、中央値、多数決のいずれかに基づいて前記人物ＩＤの人物属性を判定することを特徴とする請求項２記載の人物追跡属性推定装置。

【請求項4】

前記人物追跡属性判定部は、さらに前記人物属性推定部からサムネイル画像を受信し、前記人物ＩＤに対応する位置座標に基づいて、前記サムネイル画像と人物属性情報とをプロットして表示装置へ表示するよう出力することを特徴とする請求項１〜３のうちいずれか一項記載の人物追跡属性推定装置。

【請求項5】

前記人物追跡属性判定部は、前記人物ＩＤに対応する前記位置座標から動きベクトルを算出し、設定辺に対する動きを判定することを特徴とする請求項１〜４のうちいずれか一項記載の人物追跡属性推定装置。

【請求項6】

前記人物追跡属性判定部は、複数の前記人物ＩＤの人物属性情報を集計することを特徴とする請求項１〜４のうちいずれか一項記載の人物追跡属性推定装置。

【請求項7】

前記人物追跡属性判定部は、複数の前記人物ＩＤの人物属性情報と前記設定辺に対する動きを合わせて集計することを特徴とする請求項５記載の人物追跡属性推定装置。

【請求項8】

レーザー測域センサーの測定データから所定の閾値内の距離である点群をクラスタリングして人物候補を抽出する人物候補クラスタリングステップ、
前記人物候補を走査フレーム間で比較し、距離差が所定の範囲内である人物候補を同一の人物候補として人物候補ＩＤを付与し、前記人物候補ＩＤと前記同一の人物候補の位置座標とを出力する人物候補追跡ステップ、
前記位置座標を２次元画像座標に変換するビューポート変換ステップ、
前記２次元画像座標に基づいて、前記人物候補ＩＤを付与した前記人物候補に対応する上半身探索領域としてウィンドウ・サイズと座標データとを設定する上半身探索領域設定ステップ、
前記上半身探索領域設定ステップで設定された前記人物候補ＩＤ、前記ウィンドウ・サイズ及び前記座標データに基づき、設定範囲内にある複数の同じ前記人物候補ＩＤの上半身探索領域を一つに統合して人物ＩＤの検出ウィンドウとし、カメラからのフレーム画像データ中の前記検出ウィンドウの人物の顔検出を行い、更に顔検出を行った人物の人物属性を推定し、その人物属性を対応する前記人物ＩＤと共に出力する人物属性推定ステップ、
前記人物候補追跡ステップで出力された前記人物候補ＩＤ及び位置座標と、前記人物属性推定ステップで出力された前記人物ＩＤ及び人物属性情報とに基づいて、前記人物候補ＩＤに一致する前記人物ＩＤと前記位置座標及び前記人物属性情報との対応付けを行う人物追跡属性判定ステップ、を有することを特徴とする人物追跡属性推定方法。

【請求項9】

コンピュータに、
レーザー測域センサーの測定データから所定の閾値内の距離である点群をクラスタリングして人物候補を抽出する人物候補クラスタリングステップ、
前記人物候補を走査フレーム間で比較し、距離差が所定の範囲内である人物候補を同一の人物候補として人物候補ＩＤを付与し、前記人物候補ＩＤと前記同一の人物候補の位置座標とを出力する人物候補追跡ステップ、
前記位置座標を２次元画像座標に変換するビューポート変換ステップ、
前記２次元画像座標に基づいて、前記人物候補ＩＤを付与した前記人物候補に対応する上半身探索領域としてウィンドウ・サイズと座標データとを設定する上半身探索領域設定ステップ、
前記上半身探索領域設定ステップで設定された前記人物候補ＩＤ、前記ウィンドウ・サイズ及び前記座標データに基づき、設定範囲内にある複数の同じ前記人物候補ＩＤの上半身探索領域を一つに統合して人物ＩＤの検出ウィンドウとし、カメラからのフレーム画像データ中の前記検出ウィンドウの人物の顔検出を行い、更に顔検出を行った人物の人物属性を推定し、その人物属性を対応する前記人物ＩＤと共に出力する人物属性推定ステップ、
前記人物候補追跡ステップで出力された前記人物候補ＩＤ及び位置座標と、前記人物属性推定ステップで出力された前記人物ＩＤ及び人物属性情報とに基づいて、前記人物候補ＩＤに一致する前記人物ＩＤと前記位置座標及び前記人物属性情報との対応付けを行う人物追跡属性判定ステップ、
を実行させることを特徴とする人物追跡属性推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、人物の位置検出と追跡を行なう方法およびその装置に関し、カメラによる人物認識を加えることで、人物追跡に人物の属性情報（性別、年齢等）を紐付けることを可能にしたものである。

【背景技術】

【0002】

レーダー測域センサーなどで三次元実空間内の人物を検出し追跡するシステムが従来より実用化されている。従来の人物位置検出追跡装置は、レーザー照射による物体位置検知を行ない、検知物体の大きさから人物判定を行なうものであった。

【0003】

また、レーザー測域センサーとカメラを統合した技術として、下記文献１に記載の技術が提案されている。これはレーザー測域センサーによる距離の観測からの人物頭部の三次元実空間内での位置と、カメラによる見えの観測からの頭部形状らしさを相補的に統合した確率密度分布の重み付け和を用いることで、人物追跡の精度と頑健性を向上させるようにしたものである。

【非特許文献1】小林貴訓、他、「分散カメラとレーザ測域センサの統合によるエリア内人物追跡」画像の認識・理解シンポジウム(MIRU2007)2007年7月

【発明の概要】

【発明が解決しようとする課題】

【0004】

前記従来のレーザー測域センサーの人物位置検出追跡は、レーザー測域センサーによるレーザー光の内部ミラー回転による円周上への投光に対する反射光の遅延時間（光飛翔時間）に基づいて、センサーから物体までの距離と方向、物体の大きさを計測することで、物体の大きさから推定した人物の位置を検出追跡するものであり、人物属性を推定することはできなかった。また、前記従来のレーザー測域センサーとカメラを統合した人物追跡は、レーザー測域センサーによる距離の観測と、カメラによる見えの観測の、異なるセンサーモダリティを相補的に統合した手法であるが、その目的は人物追跡の精度と頑健性の向上であり、人物属性情報を人物追跡に紐付けることはできなかった。

【0005】

本発明は、人物の位置検出追跡に属性推定を紐付け、演算量を低減し、検出精度を向上させた人物追跡属性推定装置に関する。

【課題を解決するための手段】

【0006】

本発明の人物追跡属性推定装置は、レーザー測域センサーの測定データから所定の閾値内の距離である点群をクラスタリングして人物候補を抽出する人物候補クラスタリング部と、人物候補を走査フレーム間で比較し、距離差が所定の範囲内である人物候補を同一の人物候補として人物候補ＩＤを付与し、人物候補ＩＤと同一の人物候補の位置座標とを出力する人物候補追跡部と、位置座標を２次元画像座標に変換するビューポート変換部と、２次元画像座標に基づいて、前記人物候補ＩＤを付与した人物候補に対応する上半身探索領域としてウィンドウ・サイズと座標データとを設定する上半身探索領域設定部と、上半身探索領域設定部からの人物候補ＩＤ、ウィンドウ・サイズ及び座標データに基づき、設定範囲内にある複数の同じ人物候補ＩＤの上半身探索領域を一つに統合して人物ＩＤの検出ウィンドウとし、カメラからのフレーム画像データ中の前記検出ウィンドウの人物の顔検出を行い、更に顔検出を行った人物の人物属性を推定し、その人物属性を対応する人物ＩＤと共に出力する人物属性推定部と、人物候補追跡部から出力された人物候補ＩＤ及び位置座標と、人物属性推定部からの人物ＩＤ及び人物属性情報とに基づいて、人物候補ＩＤと一致する人物ＩＤと位置座標及び人物属性情報との対応付けを行う人物追跡属性判定部と、を有することを特徴とする。

【0007】

また、本発明の人物追跡属性推定装置の人物追跡属性判定部は、複数のフレーム画像データにおける、同一の人物の人物ＩＤが付与された人物属性情報に基づいて、人物ＩＤの人物属性を判定してもよい。

【0008】

上記人物追跡属性推定装置において、人物追跡属性判定部は、複数の人物属性情報の平均値、中央値、多数決のいずれかに基づいて該人物ＩＤの人物属性を判定してもよい。

【0009】

上記人物追跡属性推定装置において、人物追跡属性判定部は、さらに前記人物属性推定部からサムネイル画像を受信し、前記人物ＩＤに対応する位置座標に基づいて、前記サムネイル画像と人物属性情報とをプロットして表示装置へ表示するよう出力するようにしてもよい。

【0010】

上記人物追跡属性推定装置において、人物追跡属性判定部は、該人物ＩＤに対応する前記位置座標から動きベクトルを算出し、設定辺に対する動きを判定してもよい。

【0011】

上記人物追跡属性推定装置において、人物追跡属性判定部は、複数の人物ＩＤの人物属性情報を集計してもよい。

【0012】

上記人物追跡属性推定装置において、人物追跡属性判定部は、複数の人物ＩＤの人物属性情報と設定辺に対する動きを合わせて集計してもよい。

【0013】

また、本発明の人物追跡属性推定方法は、レーザー測域センサーの測定データから所定の閾値内の距離である点群をクラスタリングして人物候補を抽出する人物候補クラスタリングステップ、人物候補を走査フレーム間で比較し、距離差が所定の範囲内である人物候補を同一の人物候補として人物候補ＩＤを付与し、前記人物候補ＩＤと前記同一の人物候補の位置座標とを出力する人物候補追跡ステップ、位置座標を２次元画像座標に変換するビューポート変換ステップ、前記２次元画像座標に基づいて、前記人物候補ＩＤを付与した前記人物候補に対応する上半身探索領域としてウィンドウ・サイズと座標データとを設定する上半身探索領域設定ステップ、上半身探索領域設定ステップで設定された人物候補ＩＤ、ウィンドウ・サイズ及び座標データに基づき、設定範囲内にある複数の同じ人物候補ＩＤの上半身探索領域を一つに統合して人物ＩＤの検出ウィンドウとし、カメラからのフレーム画像データ中の検出ウィンドウの人物の顔検出を行い、更に顔検出を行った人物の人物属性を推定し、その人物属性を対応する人物ＩＤと共に出力する人物属性推定ステップ、人物候補追跡ステップで出力された人物候補ＩＤ及び位置座標と、人物属性推定ステップで出力された人物ＩＤ及び人物属性情報とに基づいて、人物候補ＩＤに一致する人物ＩＤと位置座標及び人物属性情報との対応付けを行う人物追跡属性判定ステップ、を有することを特徴とする。

【0014】

また、本発明の人物追跡属性推定プログラムは、コンピュータに、レーザー測域センサーの測定データから所定の閾値内の距離である点群をクラスタリングして人物候補を抽出する人物候補クラスタリングステップ、人物候補を走査フレーム間で比較し、距離差が所定の範囲内である人物候補を同一の人物候補として人物候補ＩＤを付与し、前記人物候補ＩＤと前記同一の人物候補の位置座標とを出力する人物候補追跡ステップ、位置座標を２次元画像座標に変換するビューポート変換ステップ、前記２次元画像座標に基づいて、前記人物候補ＩＤを付与した前記人物候補に対応する上半身探索領域としてウィンドウ・サイズと座標データとを設定する上半身探索領域設定ステップ、上半身探索領域設定ステップで設定された人物候補ＩＤ、ウィンドウ・サイズ及び座標データに基づき、設定範囲内にある複数の同じ人物候補ＩＤの上半身探索領域を一つに統合して人物ＩＤの検出ウィンドウとし、カメラからのフレーム画像データ中の検出ウィンドウの人物の顔検出を行い、更に顔検出を行った人物の人物属性を推定し、その人物属性を対応する人物ＩＤと共に出力する人物属性推定ステップ、人物候補追跡ステップで出力された人物候補ＩＤ及び位置座標と、人物属性推定ステップで出力された人物ＩＤ及び人物属性情報とに基づいて、人物候補ＩＤに一致する人物ＩＤと位置座標及び人物属性情報との対応付けを行う人物追跡属性判定ステップ、実行させることを特徴とする。

【発明の効果】

【0015】

本発明によれば、人物追跡・属性統合部３０を備えることで、レーザー測域センサーによる物体の３次元実空間位置追跡機能と、カメラによる顔検出属性推定機能を、複数の追跡人物にそれぞれ対応して紐付けることが可能となる。また、上半身識別部４１における上半身識別を、上半身探索領域設定部３２からのデータを利用することでスキャン回数を減らすことができるため、高速に行うことができる。さらに、人物属性情報を伴った３次元実空間人物追跡を実現できる。

【0016】

また、レーザー測域センサーからの人物ＩＤを用いた、シーケンス画像における人物属性の総合判断を行なうことが可能となり、照明条件の変化や、顔の向きの変化、顔の隠れなどが生じた状態においても安定した高精度の人物属性判定を行なうことが可能となる。

【0017】

さらに、レーザー測域センサーからの人物追跡位置情報と、カメラ映像からの人物属性情報を統合した、人物追跡・属性統合鳥瞰図の生成が可能となり、属性情報や人物写真を伴った行動追跡を鳥瞰図として非常に分かりやすく表示することができる。

【0018】

また、人物属性と紐付けた行動収集が可能になり、例えば店舗来店客の買い回り行動の収集が可能になり、ＰＯＳデータからは見えてこない来店客の店舗内の流れを知ることで、商品配置やフロア・レイアウトを最適化することが可能となる。また、ビル内のエレベーターから出てきた人の属性別の流れを時間帯ごとに把握することにより、オフィス店舗複合ビルにおける店舗商品やレストランでのメニューなどを戦略的に検討することも可能となる。

【図面の簡単な説明】

【0019】

【図1】本発明にかかるカメラ、レーザー測域センサー、人物追跡属性推定装置から構成される人物追跡属性システムの設置配置の一例である。

【図2】本発明の一つの実施形態における人物追跡属性推定システムのブロック図である。

【図3】ワールド座標、カメラ座標、画像座標の関係を示した図である。

【図4】上半身画像を正方形とした場合の、上半身検出ウィンドウの大きさの変化ステップの例である。

【図5】複数の上半身識別ウィンドウを１つの上半身検出ウィンドウに統合した場合の画像例である。

【図6】レーザー測域センサー１１からの信号が入力される人物候補検出追跡部２０と、人物追跡・属性統合部３０と、カメラ１０からの映像が入力される人物属性推定部４０、との間におけるデータフローの一例である。

【図7】人物追跡属性判定部３３における判定処理フローの一例である。

【図8】人物追跡属性判定部３３における判定方法の具体的なフローである。

【図9】次の処理画像（処理画像番号＝２）における判定方法のフローである

【図10】更に次の処理画像（処理画像番号＝３）における判定方法のフローである。

【図11】処理画像番号＝４における判定方法のフローである。

【図12】処理画像番号＝５における判定方法のフローである。

【図13】人物追跡属性判定部３３から出力される画面の一例である。

【図14】カメラ１０とレーザー測域センサー１１の配置の一例である。

【図15】人物の入出判定手法を示す図である。

【図16】午前７時台から午後１０時台までの時間帯ごとの、男性の年代別のエレベーターを出てショップ＆レストラン方面に向かった人数と出入口方面に向かった人数を集計した結果の一例を示す図である。

【図17】午前７時台から午後１０時台までの時間帯ごとの、女性の年代別のエレベーターを出てショップ＆レストラン方面に向かった人数と出入口方面に向かった人数を集計した結果の一例を示す図である。

【図18】エレベーターから出てきた人について、時間帯ごとの人数と年代比率を集計した一例の図である。

【図19】４０歳以上６０歳未満の男性における、それぞれの時間帯ごとのエレベーターを出た後の向かい先の人数と比率を求めた図の一例である。

【図20】２０歳以上４０歳未満の女性に絞ったエレベーターを出た後の向かい先の人数と比率を求めた図の一例である。

【発明を実施するための形態】

【0020】

この発明を施設内の任意エリア内における来場者追跡と属性推定に適用した実施の形態を以下に説明する。この実施の形態では、レーザー測域センサーをレーザーが水平円周投光するように設置し、カメラはエリア内の人物の顔が適切な大きさで写る位置に設置している。レーザー測域センサーでエリア内の人物候補の実空間三次元座標検出と追跡を行なう。また、カメラで、レーザー測域センサーからの人物候補の実空間三次元座標をカメラ画像座標に射影した画像位置から、レーザー測域センサーからのそれぞれの人物候補に対応した人物検出、人物属性推定を行ない、更にその結果を、レーザー測域センサーからの追跡情報を用いて平均値、中央値、多数決などにより総合判断することで高精度かつ安定した人物属性情報を人物追跡に結び付けることができる。

【0021】

図１は、本発明にかかるカメラ、レーザー測域センサー、人物追跡属性推定装置から構成される人物追跡属性システムの設置配置の一例である。カメラ１０とレーザー測域センサー１１は固定されるようにそれぞれ設置されており、カメラ１０はビデオカメラであり、人物検出追跡エリア内の人物の顔が適切な大きさで撮影されるように配置・設定され、レーザー測域センサー１１は、例えば人物の腰高を想定した床面からの高さ８０ｃｍのところにレーザーを水平円周投光するように配置されている。カメラ１０とレーザー測域センサー１１はそれぞれＵＳＢ、ＬＡＮ、ＲＳ−２３２Ｃ等のインタフェースにより人物追跡属性推定装置１２と接続される。

【0022】

レーザー測域センサー１１は、レーザーを照射し、物体に反射して戻ってくるまでの時間から物体までの距離を測定する。トランスミッタから照射したレーザーを回転ミラーで反射させ、前方を扇状にスキャンすることで床面から一定の高さの平面上に存在する物体までの距離を測定できる。本システムでは図１のようにレーザー測域センサー１１を搭載しているので、床面からの高さが８０ｃｍで床面に平行な平面上をスキャンすることになる。

【0023】

レーザー測域センサー１１の回転ミラーはステップ角を利用しており、走査方向は反時計回りに走査する。例えば、１[step]は約１.０５[deg]とし、最大ステップ数を２２８[step]として、約２４０度の扇型が検出エリアとする。レーザー測域センサー１１は、角度θ、距離ｒのｒ−θ平面の極座標データから構成される測定データを一点ごとに出力する。これらの検出された点群の測定データが走査周波数のタイミングで人物追跡属性推定装置１２へ入力される。なお、レーザー測域センサー１１の代わりに、例えばＧＰＳに加速度センサーや方位角センサーを組み合わせて角度と座標データを取得してもよい。また、ステレオ・カメラを用いて距離測定を行うことデータを取得してもよい。

【0024】

図２は、本発明の一つの実施形態における人物追跡属性推定システムのブロック図である。人物追跡属性推定システムは、カメラ１０、レーザー測域センサー１１、人物追跡属性推定装置１２を有する。人物追跡属性推定装置１２は、人物候補検出追跡部２０と、人物追跡・属性統合部３０と、人物属性推定部４０を有する。人物追跡属性推定装置１２は、一つの態様では、ハードウェア資源とソフトウェアの協働で実現され、例えばコンピュータである。具体的には、人物追跡属性推定装置１２の各種機能は、ＲＯＭやハードディスク等の記録媒体に記録された人物追跡属性推定プログラムがメインメモリに読み出されて制御装置（例えば、ＣＰＵなどのプロセッサ）によって実行されることで実現される。但し、人物追跡属性推定装置１２は、ハードウェアでのみ実現されていてもよい。また、人物追跡属性推定装置１２は、物理的に一つの装置により実現されてもよく、複数の装置により実現されていてもよい。また、人物追跡属性推定装置１２は、カメラで撮影された画像フレームや、レーザー測域センサーから出力されたデータを入力するための図示せぬ入力インタフェースを備えている。

【0025】

人物追跡属性推定装置１２の人物候補検出追跡部２０は、極座標／平面座標変換部２１、背景登録部２２、人物候補クラスタリング部２３、人物候補追跡部２４を有する。

【0026】

極座標／平面座標変換部２１は、レーザー測域センサー１１から走査周波数ごとのタイミングで入力された角度θ、距離ｒのｒ−θ平面の極座標データを有する測定データを、ｘ−ｙ平面の平面座標データに変換する。これにより鳥瞰見取り図として表示することができる。

【0027】

背景登録部２２は、あらかじめ人物検出追跡エリア内に人物がいない状況でレーザー測域センサーの測定結果を背景として登録している。これにより、背景測定との差の大きな点群のみを取り出すことで背景以外の物体を検出することができる。

【0028】

人物候補クラスタリング部２３は、レーザー測域センサー１１から出力された点群であって、背景登録部２２に登録された背景部分との差分を取り出し、距離差が近い点同士のクラスタリングを行う。クラスタリングすることで、点群を物体ごとに分類することができる。例えば幅２５ｃｍ以上の点群を人物候補とすると、人物候補クラスタリング部２３は、その点群の中心のｘ−ｙ座標を人物候補座標として出力する。

【0029】

人物候補追跡部２４は、レーザー走査フレーム間で距離差が近い人物候補同士を同じ人物だと判断することで同じ人物候補ＩＤを割り振り、人物追跡を行なう。以上により、人物候補検出追跡部２０は、人物追跡・属性推定統合部３０に対して、レーザー走査フレームごとに、検出人物候補ごとの人物候補ＩＤとｘ−ｙ位置座標（ｘ、ｙ）を出力する。

【0030】

人物追跡・属性統合部３０は、ビューポート変換部３１、上半身探索領域設定部３２、人物追跡属性判定部３３を有する。ビューポート変換部３１は、人物候補検出追跡部２０から出力された検出人物候補ＩＤごとのｘ−ｙ位置座標が入力されると、あらかじめカメラ・キャリブレーションにより求めておいたカメラ内部パラメーターとカメラ外部パラメーターによる投影変換により、レーザー測域センサー１１により検出された人物候補ＩＤに対応した頭部の３次元実空間座標を画像座標に変換する。

【0031】

上半身探索領域設定部３２では、レーザー測域センサー１１により検出された人物候補頭部の画像座標を中心に、胸部から頭頂部までの高さに平均身長との差や検出誤差などを考慮して上半身探索領域を設定する。また、平均身長から上半身領域の上端（頭頂部）の高さと、下端（胸部）の高さをそれぞれ３次元空間座標のＺｗとしてレーザー測域センサー１１から検出された人物候補のｘ−ｙ位置座標（Ｘｗ、Ｙｗ）と合わせてビューポート変換することで、画像座標における上半身領域の高さを求めることができる。さらに、この情報から、平均身長との差や検出誤差などを考慮し、上半身検出ウィンドウ・サイズの範囲（探索する上半身の大きさの範囲）を設定する。そして、これらの人物候補ＩＤとそれに対応した上半身探索スケール範囲（ウィンドウ・サイズ）と探索領域（座標データ）を人物属性推定部４０に入力する。但し、人物属性推定部４０への出力タイミングは、レーザー走査周波数のタイミングではなく、人物属性推定部４０において人物推定処理が終了し、人物追跡属性判定部３３へ属性情報が入力されるタイミングとなる。つまり、人物推定処理に要する時間の間に取得したレーザー走査フレームの情報は、用いられない。人物追跡・属性統合部３０からの人物属性推定部４０への人物候補ＩＤ、上半身探索領域、スケール範囲の情報の出力タイミングは、人物属性推定部４０においてその人物候補ＩＤに関する人物属性推定処理が終了するのを待って、次の同じ人物候補ＩＤに関する情報を出力する。

【0032】

人物属性推定部４０は、上半身識別部４１、上半身判定部４２、顔検出属性推定部４３を有し、カメラ１０が取得したフレーム画像データと上半身探索領域設定部３２から入力された人物候補ID、上半身探索スケール範囲と探索領域を用いて、顔検出を行い、人物属性の推定を行う。

【0033】

上半身識別部４１はカメラからのフレーム画像に対して、上半身探索領域設定部３２から入力された人物候補ＩＤに対応した上半身探索スケール範囲と探索領域の中で、周知の画像認識手法を用いてマルチ・スケールにおける人物上半身検出を行ない、上半身の有無、検出上半身の大きさ、画像座標位置を判定する。なお、上半身識別部４１は、上半身探索領域設定部３２から人物属性推定部４０に人物候補ＩＤ、上半身探索領域、スケール範囲が入力されるタイミングで、同時間に撮影されたカメラのフレーム画像に対して人物上半身検出を行う。従って、人物属性推定部４０に入力されるすべてのカメラフレーム画像が必ずしも用いられるものではない。
人物上半身を識別する処理としては、任意の公知の方法を適用可能である。本発明の方式を、輝度勾配方向ヒストグラムを特徴量としたサポート・ベクター・マシン識別器による人物上半身検出を行なう場合で説明する。

【0034】

人物上半身検出手法は、特徴量の学習過程と識別過程に分けられる。学習過程では、あらかじめ大量の検出対象である上半身画像と非上半身画像を用意し、それぞれの画像から輝度勾配方向ヒストグラム特徴量を抽出し、サポート・ベクター・マシンを用いて上半身形状特徴を学習する。これにより、入力画像から抽出された輝度勾配方向ヒストグラム特徴量が人物上半身かそうでないかを判断する識別器が得られる。

【0035】

識別過程では、入力画像に対して上半身検出ウィンドウを設定し、この検出ウィンドウを入力画像内で逐次スキャンする。スキャンしながら、スキャンごとに上半身検出ウィンドウによって切り出された領域の輝度勾配方向ヒストグラム特徴量を抽出し、あらかじめ学習により得られたサポート・ベクター・マシン識別器による検出ウィンドウの上半身らしさを評価することで、上半身の識別を行う。

【0036】

また、入力画像内の様々な大きさの人物上半身を検出するために、上半身検出ウィンドウの大きさを変えて、入力画像内の逐次スキャンを繰り返し、それぞれの大きさでの上半身識別を行う。

【0037】

上半身識別部４１は、上半身探索領域設定部３２から入力される上半身検出ウィンドウ・サイズ範囲に基づいて、たとえば、１６段階ある上半身検出ウィンドウの大きさから、２、３段階のウィンドウ・サイズを選択してスキャンする。従って、上半身探索領域設定部３２から入力されたウィンドウ・サイズ範囲を利用することで、スキャンの回数を減らすことができる。更に上半身探索領域設定部３２から入力される上半身探索領域の画像座標データを用いることで、入力画像内での検出ウィンドウ・スキャン範囲を画像全体スキャンから上半身探索領域に絞ったスキャンにすることができる。このようにレーザー測域センサーからの検出人物候補の３次元空間座標を用いることで、入力画像内の上半身検出ウィンドウのスキャン数を劇的に少なくすることができ、また人物候補の領域に限定した上半身検出を行なうため、複雑な背景などによる誤検出を減らすことができる。これらの処理により上半身識別部４１は人物候補ＩＤごとに対応した上半身識別結果と、上半身が識別された場合にはその識別ウィンドウの画像座標と大きさを上半身判定部４２に出力する。

【0038】

上半身判定部４２は、上半身識別部４１から入力された人物候補ＩＤごとの上半身識別結果である複数の上半身識別ウィンドウの画像座標位置と大きさ（ウィンドウ・サイズ）を用いて、識別ウィンドウの位置と大きさがあらかじめ設定した範囲内に収まっている場合には同じ人物上半身であると想定し、同じ人物候補ＩＤに対応した複数の上半身識別ウィンドウを１つの検出ウィンドウに統合する。入力画像内に人物上半身が存在する場合、通常、複数の上半身識別ウィンドウが重畳して識別される。これら、複数の上半身識別ウィンドウのうち、所定の範囲内に上半身が収まっている一つの識別ウィンドウに統合する。

【0039】

なお、所定の数以上の上半身識別ウィンドウが統合された場合のみ上半身が検出されたと判断し、統合処理を行うようにしてもよい。このようにすることで、誤検出を低減することもできる。また、上半身識別ウィンドウの統合判定結果として、人物候補ＩＤごとに対応した上半身判定結果と、上半身と判定された場合にはその人物候補ＩＤを人物ＩＤとし、上半身検出ウィンドウの画像座標と大きさを顔検出属性推定部４３に出力する。

【0040】

顔検出属性推定部４３は、上半身判定部４２から人物ＩＤと上半身検出ウィンドウの画像座標と大きさが入力されると、上半身検出ウィンドウの位置と大きさから、顔探索スケール範囲と探索領域の中で、周知の画像認識手法を用いてマルチ・スケールにおける顔検出を行う。そして、顔が所定の大きさ以上で検出された場合には、周知の画像認識手法を用いて人物ＩＤごとに顔画像からの属性推定を行い、その結果の人物ＩＤと人物属性情報を、上半身判定部４２からの人物候補ＩＤごとの上半身判定結果と合わせて人物追跡属性判定部３３に出力する。

【0041】

なお、人物属性推定部４０において、まず上半身検出を行ない、上半身検出領域に対して顔検出属性推定を実施する形態で説明したが、人物属性推定部４０において、上半身探索領域設定部３２からの画像座標における上半身探索スケール範囲と探索領域情報に基づいて、上半身検出を行うことなく、顔検出及び属性推定だけを実施する構成としても良い。

【0042】

人物追跡属性判定部３３では、レーザー測域センサー１１による追跡結果とカメラ１０による属性情報付きの追跡結果とを最終的に統合する。人物追跡属性判定部３３は、人物候補検出追跡部２０から出力された検出人物候補ＩＤごとのｘ−ｙ位置座標を保持している。また、人物追跡属性判定部３３は、顔検出属性推定部４３から人物ＩＤと対応する人物属性情報が入力されると、それらを一時的に保存する。また、人物属性情報が入力されたことを上半身探索領域設定部３２に通知する。人物追跡属性判定部３３は、顔検出属性推定部４３から入力された人物ＩＤと、レーザー測域センサー１１により追跡され、人物候補検出追跡部２０から入力された人物候補ＩＤとを比較し、同じ人物ＩＤを有する情報同士を対応づける。また、異なる画像フレームデータにおける同一人物ＩＤに対応する人物属性情報に対して、個々の属性ごとに判定結果やそのパラメーターを平均値、中央値、多数決などをとることで、追跡した同じ人物に対する属性情報のばらつきをなくし、精度を高めて、人物追跡３次元実空間位置情報に人物属性情報を紐付けて出力する。人物追跡属性判定部３３における処理の詳細については、後述する。

【0043】

図３は、ワールド座標、カメラ座標、画像座標の関係を示した図である。レーザー測域センサー１１で検出された人物候補の３次元実空間座標はレーザー測域センサー１１の位置を原点としたワールド座標となる。また、透視投影によるピンホール・カメラをモデルとして、ピンホール・カメラの光学中心を座標原点Ｏｃにとり、３次元座標のＸ軸とＹ軸をそれぞれ撮像素子が置かれる画像面上のｕ軸およびｖ軸に平行にとり、Ｚ軸を光軸に対し並行にとるように定義した座標をカメラ座標と呼ぶ。更に、物理的な大きさや位置とは無関係に、画像データの原点をどこにとるか、あるいは画素の細かさや縦横比をどうするかで決まる画素単位で定義される画像座標がある。

【0044】

このワールド座標に対するカメラの位置、姿勢から決まるカメラ座標の位置関係を回転と平行移動で示したものがカメラ外部パラメーターであり、ワールド座標（Ｘｗ、Ｙｗ、Ｚｗ）からカメラ座標（Ｘｃ、Ｙｃ、Ｚｃ）への変換は次のようになる。

【数1】

ここに、ｒ１，１・・・ｒ３，３は回転を表すパラメーターであり、ｔｘ、ｔｙ、ｔｚは平行移動を表すパラメーターである。

【0045】

そして、カメラ内部パラメーターを用いて、カメラ座標（Ｘｃ、Ｙｃ、Ｚｃ）から画素を単位とした画像座標（ｕ、ｖ）への変換は次のようになる。

【数2】

ここに、ｆはカメラの焦点距離を表し、δｕとδｖはそれぞれ横方向と縦方向の画素の物理的な間隔を表し、ｃｕ、ｃｖは画像座標系における光軸と画像面との交点位置を表し、Ｓは定数を表す。

【0046】

具体例として、レーザー測域センサー１１が人物の腰高を想定して床面から８０ｃｍ高で検出した人物候補のｘ−ｙ位置座標（Ｘｗ、Ｙｗ）に対して、例えば平均人物頭部高として１４５ｃｍとした場合には、ビューポート変換部３１において３次元実空間座標（Ｘｗ、Ｙｗ、１４５）を２次元画像座標（ｕ、ｖ）に投影変換する。

【0047】

図４は、上半身画像を正方形とした場合の、上半身検出ウィンドウの大きさの変化ステップの例である。この例では、上半身検出ウィンドウの大きさを４８０画素×４８０画素の大きさから４８画素×４８画素の大きさまでの１６段階に順次小さくしていきながら、それぞれの検出ウィンドウの大きさごとに、入力画像内の検出ウィンドウをスキャンしながら上半身識別を繰り返し行なうことで、様々な大きさの上半身を検出している。

【0048】

図５は、複数の上半身識別ウィンドウを１つの上半身検出ウィンドウに統合した場合の画像例である。上半身判定部４２で、複数のウィンドウ・サイズを用いて人物上半身を判定する場合の画像例である。入力画像内に人物上半身が存在する場合、図５の上側画像例が示すように複数の上半身識別ウィンドウが識別される。これら、複数の上半身識別ウィンドウのうち、所定の範囲内に上半身が収まっている上半身識別ウィンドウを一つの上半身検出ウィンドウに統合する。統合した例が、図５の下側画像例である。

【0049】

図６は、レーザー測域センサー１１からの信号が入力される人物候補検出追跡部２０と、人物追跡・属性統合部３０と、カメラ１０からの映像が入力される人物属性推定部４０、との間におけるデータフローの一例である。レーザー測域センサー１１の検出エリア内に人物候補物体がある場合、レーザー測域センサー１１からのレーザー測定結果が入力される人物候補検出追跡部２０において物体を検出し、人物候補かどうか判定を行う。人物候補と判定された場合、人物候補検出追跡部２０の人物候補追跡部２４から、人物候補それぞれの人物ＩＤとワールド座標（ｘ、ｙ）が人物追跡・属性統合部３０に入力される。

【0050】

人物追跡・属性統合部３０では、人物候補検出追跡部２０から入力された人物候補の人物候補ＩＤとワールド座標（ｘ、ｙ）の情報を保持する。そして、ビューポート変換部３１において、ワールド座標（ｘ、ｙ）に基づき２次元画像座標に投影変換する。また、上半身探索領域設定部３２は、投影変換された座標に基づいて上半身探索スケール範囲と上半身探索領域を設定する。こうして、人物追跡・属性統合部３０から人物属性推定部４０へ、人物候補ＩＤと上半身探索スケール範囲、上半身探索領域とが出力される。

【0051】

人物属性推定部４０では、カメラ１０からのフレーム画像に基づいて、上半身識別部４１において人物上半身検出を行い、上半身判定部４２で検出したウィンドウによって上半身位置及び範囲を判定し、顔検出属性推定部４３にて顔検出と属性推定を行って、人物ＩＤと人物属性情報とを人物追跡・属性統合部３０へ出力する。

【0052】

人物追跡属性判定部３３では、保持していた人物候補ＩＤと人物ＩＤを一致させることで、ワールド座標（ｘ、ｙ）と人物属性情報とを紐づけて出力することとなる。

【0053】

次に、人物追跡属性判定部３３における処理について詳細に説明する。レーザー測域センサーからの人物ＩＤを用いて、シーケンス画像における人物属性判定行うものである。

【0054】

図７は、人物追跡属性判定部３３における判定処理フローの一例である。人物追跡属性判定部３３には、顔検出属性推定部４３から人物ＩＤとその人物の属性情報が入力される。例えば、人物の属性情報として人物ＩＤそれぞれに対応した性別識別値と年齢推定値が人物追跡属性判定部３３に入力される。

【0055】

カメラ画像に複数の人物が写っている場合、人物追跡属性判定部３３には複数の人物ＩＤと、それぞれの人物ＩＤに対応した性別識別値と年齢推定値が入力される。人物追跡属性判定部３３においては、それぞれのフレーム画像において、それぞれの人物ＩＤごとに処理を行なう。まず、その人物ＩＤに対応した性別識別と年齢推定が、現処理画像において行なわれているかどうかを判定する（ステップ７１）。レーザー測域センサーで人物検出はされたものの、画像では顔が隠れていた場合など、性別識別と年齢推定が行なわれていない場合もあるためである。性別識別と年齢推定が行なわれている場合にはその人物ＩＤに対応した性別識別値と年齢推定値が入力されるが、性別識別と年齢推定が行なわれていない場合には「ＮＡ」が入力されている。

【0056】

現処理画像において性別識別と年齢推定が行なわれている場合には、平均性別識別値更新処理を行なう（ステップ７２）。平均性別識別値更新処理の演算は下記の通りである。

【数3】

人物追跡属性判定部３３は、人物属性パラメーター・テーブルとしてそれぞれの人物ＩＤごとに、判定回数、平均性別識別値、平均年齢推定値を保存している。

【0057】

性別識別値は、サポート・ベクター・マシンにより性別識別された結果の値であり、性別の識別曲面からの距離を表す。例えば、性別識別値が正の値の場合には男性と識別され、負の場合には女性と識別されたことを示す。性別識別値の絶対値が大きいほど、処理顔画像が性別を判定する識別曲面から離れていることを示し、識別の確からしさを表している。ここではサポート・ベクター・マシンの識別値を用いているが、別の統計的識別手法における尤度や確率を代わりに用いることなども可能である。

【0058】

次に、平均年齢推定値更新処理を行う（ステップ７３）。平均性別識別値更新処理と同様に、下記の演算により平均年齢推定値の更新を行う。

【数4】

そして、人物属性パラメーター・テーブルの判定回数を１増加する（ステップ７４）。その後、人物追跡属性判定結果を出力する（ステップ７５）。

【0059】

図８は、人物追跡属性判定部３３における判定方法の具体的なフローである。図８に示すように、まだ一度もその人物ＩＤの属性推定が行なわれていない時点では、人物属性パラメーター・テーブルのその人物ＩＤに対応したパラメーターは、判定回数＝０、平均性別識別値＝ＮＡ、平均年齢推定値＝ＮＡとなっている。

【0060】

そして、顔検出属性推定部４３から現処理画像（処理画像番号＝１）の人物ごとの人物ＩＤ、性別識別値、年齢推定値が入力されると、平均性別識別値更新処理の演算により平均性別識別更新値が計算される。人物ＩＤ＝１の場合では、人物属性パラメーター・テーブルの人物ＩＤ＝１に対応した判定回数＝０、平均性別識別値＝０の状態において、顔検出属性推定部４３から現処理画像の人物ＩＤ＝１に対応した性別識別値＝＋１．２６が入力されることで、平均性別識別更新値が１.２６となり、人物属性パラメーター・テーブルが人物ＩＤ＝１の平均性別識別値＝１.２６に更新される。

【0061】

この実施例では、サポート・ベクター・マシンにより性別識別された結果の値を示しており、性別識別値が正の値の場合には男性と識別され、負の場合には女性と識別されたことを示している。

【0062】

次に、平均年齢推定値更新処理を行われ、平均性別識別値更新処理と同様に、平均年齢推定値更新処理の演算が行われ、平均年齢推定値の更新を行なう。人物ＩＤ＝１の場合では、顔検出属性推定部４３から現処理画像の人物ＩＤ＝１に対応した年齢推定値２４.８４が入力されることで、平均年齢推定更新値が２４.８４となり、人物属性パラメーター・テーブルが人物ＩＤ＝１の平均年齢推定値＝２４.８４に更新される。

【0063】

そして、人物属性パラメーター・テーブルの判定回数を１増加し、人物属性パラメーター・テーブルを判定回数＝１とする。その後、人物追跡属性判定結果を出力する。判定結果の出力としては、人物ＩＤ＝1を例とすると、この時点の人物属性パラメーター・テーブルの人物ＩＤ＝1に対応する平均性別識別値＝＋１.２６であるので男性と出力し、平均年齢推定値＝２４.８４であるので２５歳と出力する。

【0064】

なお、図７に示す人物属性判定処理フローは、人物ＩＤごとに行なわれ、これまで図８の人物ＩＤ＝１について行なった処理を同様に、現処理画像内の全ての人物ＩＤに対して行われる。つまり、人物ＩＤ＝２、人物ＩＤ＝３についても同様の処理を行い、現処理画像での人物追跡属性判定を終了する。顔検出属性推定部４３からの現処理画像の人物ＩＤ＝２と人物ＩＤ＝３の人物ＩＤ属性情報が

【表1】

の場合、終了時の人物属性パラメーター・テーブルは、

【表2】

となり、判定結果として

【表3】

を出力する。

【0065】

図９は、次の処理画像（処理画像番号＝２）における判定方法のフローである。人物追跡属性判定処理が、図８と同様に示すように行なわれる。例えば、顔検出属性推定部４３からの人物ＩＤ属性情報が

【表4】

の場合、終了時の人物属性パラメーター・テーブルは、

【表5】

となり、判定結果として

【表6】

を出力する。

【0066】

図１０は、更に次の処理画像（処理画像番号＝３）における判定方法のフローである。人物追跡属性判定処理が、図８及び図９と同様に行なわれる。顔検出属性推定部４３からの人物ＩＤ属性情報が

【表7】

の場合、終了時の人物属性パラメーター・テーブルは、

【表8】

となり、判定結果として

【表9】

を出力する。

【0067】

この処理画像番号＝３の人物追跡属性判定処理では、顔検出属性推定部４３において人物ＩＤ＝１に対して顔検出がされず属性推定が行なわれなかったため性別識別値＝ＮＡ、年齢推定値＝ＮＡが人物追跡属性判定部３３に入力された場合の例を示している。図７のステップ７１の判定処理において、顔検出属性推定部４３での人物属性が推定されていないため、ステップ７２〜７５の処理は行なわれず、その結果、人物属性パラメーター・テーブルの人物ＩＤ＝１に対応する判定回数、平均性別識別値、平均年齢推定値は更新されていない。しかし、以前の値が保持され、その結果、性別判定も年齢判定も出力することができる。こうすることで、カメラ映像シーケンスにおいて顔が隠れた場面などが生じた場合などにおいても、それまでにカメラ映像シーケンスの中で追跡してきたその人物ＩＤの人物属性判定結果を用いることで、正しい判定結果を出力することができる。

【0068】

更に、処理画像番号＝３の人物追跡属性判定処理では、人物ＩＤ＝２に対して顔画像の照明条件変動や部分隠れなどの影響などにより、顔検出属性推定部４３において正しい性別識別が行なわれなかった場合の例を示している。この処理画像（処理画像番号＝３）においては、顔検出属性推定部４３の人物ＩＤ＝２に対する性別識別値＝＋０.１８であり、僅かに男性であると識別されている。しかし、平均性別識別値更新処理を行うことで、カメラ映像シーケンスの中での人物ＩＤ＝２の性別識別値を過去の処理画像における同じ人物ＩＤの性別識別値を含めて総合的に判定することができ、その結果、この処理画像における平均性別識別値＝−１.１８となり、正しく女性と判定をすることができる。

【0069】

図１１は、処理画像番号＝４における判定方法のフローである。図１１では、顔検出属性推定部４３において人物ＩＤ＝３の属性推定が行なわれなかった場合の例を示している。この場合も同様に、図７のステップ７１の判定の結果、ステップ７２〜７５の処理は行なわれず、人物属性パラメーター・テーブルの人物ＩＤ＝３に対応する判定回数、平均性別識別値、平均年齢推定値は更新されていない。しかし、以前の値が保持されているため、性別判定と年齢判定が正しく行なわれる。

【0070】

図１２は、処理画像番号＝５における判定方法のフローである。レーザー測域センサー人物検出で人物ＩＤ＝１は検出エリアから消え、新しく人物ＩＤ＝４が検出エリアに加わった状況を示している。レーザー測域センサーの人物検出に対応して、顔検出属性推定部４３からの人物ＩＤ属性情報も人物ＩＤ＝２、人物ＩＤ＝３、人物ＩＤ＝４の３名分の

【表10】

となる。図１０に示される平均性別識別値更新処理５２と平均年齢推定値更新処理５３の演算により、人物属性パラメーター・テーブルが更新されるが、人物ＩＤ＝１は顔検出属性推定部４３からの人物ＩＤ属性情報が無いため更新は行なわれず、以前の値が保持される。また、人物ＩＤ＝４はこの処理画像で初めて人物ＩＤ属性情報が入力されたので、新しく人物属性パラメーター・テーブルに加わり、

【表11】

となり、判定結果として

【表12】

を出力する。

【0071】

人物ＩＤ＝３については、処理画像番号＝３の人物ＩＤ＝２のときと同様に、顔画像の照明条件や部分隠れなどの影響により顔検出属性推定部４３からの性別推定値が−０.０４と僅かながら女性と誤識別されているが、本方式の人物追跡属性判定方式により平均性別識別値＝＋０.６１となり、男性と正しく判定される。なお、ここでは判定に平均値を用いた例を述べたが、平均値の代わりに中央値や、性別判定などにおいては多数決などを用いることも可能である。

【0072】

次に、人物追跡属性判定部３３からの出力の一例について説明する。上述のとおり、人物追跡属性判定部３３は、人物ＩＤ、人物追跡ワールド座標（ｘ、ｙ）、年齢・性別等の人物属性情報を出力する。これを図示しないディスプレイに出力することで、ｘ軸、ｙ軸の２次元鳥瞰図上に人物ＩＤと共にプロットすることが可能である。また、逐次、人物候補追跡部２４から入力される人物候補の人物ＩＤとワールド座標に対応して鳥瞰図上の表示を更新する。

【0073】

図１３は、人物追跡属性判定部３３から出力される画面の一例である。カメラ１０が接続された人物属性推定部４０から人物ＩＤに対応付けられた属性情報（性別識別値、年齢推定値）が処理画像ごとに逐次人物追跡・属性統合部３０に入力され、その情報から、前述した人物属性パラメーター・テーブルとして、各人物ＩＤに対応した判定回数、平均性別識別値、平均年齢推定値が逐次計算され保存されている。レーザー測域センサー１１からのデータに基づく人物ＩＤ、人物追跡ワールド座標（ｘ、ｙ）に対し、この各人物ＩＤに対応した平均性別識別値と平均年齢推定値からの性別判定と年齢判定を、付加表示をすることにより、人物追跡情報と属性情報を統合表示した鳥瞰図を生成することができる。

【0074】

更に、図１３のように、上半身判定部４２で判定された上半身画像を人物ＩＤに対応したサムネイル画像として、プロットした位置にあわせて表示をするようにしてもよい。この場合、人物追跡属性判定部３３は、上半身検出画像を、人物ＩＤに対応づけた形で顔検出属性推定部４３から合わせて受信する。これにより図１３に示すような、より分かりやすい人物追跡・属性統合鳥瞰図を作成表示することができる。サムネイル画像の生成については、例えば、顔検出属性推定部４３から出力された、カメラ映像からのシーケンス画像における同じ人物ＩＤの上半身検出画像の中から、顔の検出識別値が最大の画像を選択し、更新保存することで、最も正面顔が写った上半身画像をサムネイル画像とする。このようにすることで、鳥瞰図表示の分かりやすさを増すことも可能である。レーザー測域センサーからの人物追跡位置情報と、カメラ映像からの人物属性情報を統合した、人物追跡・属性統合鳥瞰図の生成が可能となり、属性情報や人物写真を伴った行動追跡を鳥瞰図として非常に分かりやすく表示することができる。

【0075】

次に、本人物追跡属性推定装置を利用した来店客の行動収集の方法について、オフィス店舗複合ビル内のエレベーターを出てきた人の行動収集をした例を以下に説明する。

【0076】

図１４は、カメラ１０とレーザー測域センサー１１の配置の一例である。エレベーターを出てきた人の顔が撮影でき、かつエレベーターを出てきたエリアが人物属性追跡エリアになるようにカメラ１０とレーザー測域センサー１１が設置される。このようにすることで、エレベーターを出てきた人の位置追跡に属性判定情報を紐付けることができる。

【0077】

図１４に示すように、人物属性追跡エリアのビル内ショップ＆レストラン方面の一辺をＡ辺、ビル出入口方面の一辺をＢ辺とし、人物属性の追跡を行う設定辺を定める。人物属性情報が紐付けられた人物位置追跡により、エレベーターを出た人が人物属性追跡エリアのＡ辺から出ていった人数と、Ｂ辺から出ていった人数をそれぞれ人物属性別に時間帯ごとに集計する。

【0078】

図１５は、人物の入出判定手法を示す図である。人物がＡ辺、あるいはＢ辺をどのように横切ったかの判定は、レーザー測域センサー１１による人物候補追跡により行なう。人物候補追跡部２４から、人物ＩＤと共にワールド座標（ｘ、ｙ）が、レーザー測域センサーの走査周波数ごとのタイミング（ｔ＝ｎ）で出力される。人物追跡属性判定部３３は、人物ＩＤが同じでタイミングがひとつ前（ｔ＝ｎ−１）の実空間座標（ｘ_n-1、ｙ_n-1）と現タイミングの（ｘ_n、ｙ_n）を結ぶことで、実空間座標上での人物候補の動きベクトルを算出する。そして、この動きベクトルがＡ辺、あるいはＢ辺をどの方向に横切ったかどうかを判定することで、設定したＡ辺、あるいはＢ辺をエレベーターから出て行ったか、エレベーターへ入ってきたかを判定することができる。

【0079】

レーザー測域センサー１１の仕様により、人物候補の移動に対して走査周波数が非常に速い場合などは、走査周波数のタイミングで出力される人物ＩＤと実空間座標を、例えば５分の１などに間引き、同様の処理を行なうことで、特に設定したＡ辺、あるいはＢ辺での横切り判定を安定して行なうことができる。

【0080】

１つのレーザー測域センサーで人物候補の実空間座標上での追跡が可能であり、図１４に示すように、１つのレーザー測域センサーで人物候補の入出判定を行なう設定辺は複数辺設定することができる。

【0081】

図１６は、午前７時台から午後１０時台までの時間帯ごとの、男性の年代別のエレベーターを出てショップ＆レストラン方面に向かった人数と出入口方面に向かった人数を集計した結果の一例を示す図である。図１７は、午前７時台から午後１０時台までの時間帯ごとの、女性の年代別のエレベーターを出てショップ＆レストラン方面に向かった人数と出入口方面に向かった人数を集計した結果の一例を示す図である。これらの例において、男女それぞれにおいて、２０歳未満、２０歳以上４０歳未満、４０歳以上６０歳未満、６０歳以上の４つの年代に分類している。このように、判定された人物ＩＤごとの属性情報を蓄積し、人物追跡属性判定部３３において、集計するようにすることで、エレベーターを出てきた人全体の各時間帯の性別比率、年代比率を分析することができる。図１８は、エレベーターから出てきた人について、時間帯ごとの人数と年代比率を集計した一例の図である。

【0082】

さらに、エレベーターを出た後、ショップ＆レストラン方面に向かったか、あるいは出入口方面に向かったかの行動調査として、人物属性ごとの動向を調査することができる。図１９は、４０歳以上６０歳未満の男性における、それぞれの時間帯ごとのエレベーターを出た後の向かい先の人数と比率を求めた図の一例である。図２０は、２０歳以上４０歳未満の女性に絞ったエレベーターを出た後の向かい先の人数と比率を求めた図の一例である。こうした分析を行うことで、４０歳以上６０歳未満の男性が昼休みと定時後にしかショップ＆レストランに足を向けないのに対して、２０歳以上４０歳未満の女性は昼休みから定時後までの時間においてもショップ＆レストランに足を向けていることが分析され、この結果から例えば昼休みから定時後までの時間については女性をターゲットにした販売戦略を行なうことで売り上げを伸ばすことが期待できることなどが分かる。

【0083】

このように、人物属性と紐付けた行動収集が可能になり、例えば店舗来店客の買い回り行動の収集が可能になり、ＰＯＳデータからは見えてこない来店客の店舗内の流れを知ることで、商品配置やフロア・レイアウトを最適化することが可能となる。また、ビル内のエレベーターから出てきた人の属性別の流れを時間帯ごとに把握することにより、オフィス店舗複合ビルにおける店舗商品やレストランでのメニューなどを戦略的に検討することも可能となる。

【0084】

１０ カメラ
１１ レーザー測域センサー
１２ 人物追跡属性推定装置
２０ 人物候補検出追跡部
２１ 極座標/平面座標変換部
２２ 背景登録部
２３ 人物候補クラスタリング部
２４ 人物候補追跡部
３０ 人物追跡・属性統合部
３１ ビューポート変換部
３２ 上半身探索領域設定部
３３ 人物追跡属性判定部
４０ 人物属性推定部
４１ 上半身識別部
４２ 上半身判定部
４３ 顔検出属性推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】