特開 2023-27981 撮像対象特定装置、撮像対象特定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023027981

(43)【公開日】2023-03-03

(54)【発明の名称】撮像対象特定装置、撮像対象特定方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230224BHJP

   H04W 4/029 20180101ALI20230224BHJP

   G06T 7/20 20170101ALI20230224BHJP

【ＦＩ】

H04N7/18 D

H04W4/029

G06T7/20 300Z

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021133387

(22)【出願日】2021-08-18

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】峯邑 隆司

【テーマコード（参考）】

5C054

5K067

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA09

5C054EA01

5C054EA03

5C054EA05

5C054EA07

5C054FC01

5C054FC13

5C054FC15

5C054FE24

5C054FE26

5C054GB01

5C054GB05

5C054HA19

5K067BB32

5K067EE02

5K067EE10

5K067FF16

5K067JJ54

5L096BA02

5L096CA04

5L096DA02

5L096HA05

(57)【要約】

【課題】３点測量法などにより無線機器の位置を確認する手法を用いることなく、撮像装置の撮像エリアに存在する複数の人物を対象に、各人物がそれぞれ保持する無線機器の機器情報を特定することが可能になる撮像対象特定装置を提供すること。
【解決手段】撮像データから認識される各人物（被特定対象者）３３の撮像画像の前後時刻の差分により得られる同人物３３の動き（移動・回転など）に応じた人物画像変化量ＰＭと、同各人物３３が所持する携帯無線機器３４の無線信号（ＲＳＳＩ値）の前後時刻の差分により得られる無線機器信号変化量ＲＳと、の相関量Ｒに基づいて、当該各人物３３の撮像画像に対し、同各人物３３が所持する携帯無線機器３４の無線機器ＩＤを対応付けて特定する。
【選択図】 図４

【特許請求の範囲】

【請求項1】

撮像装置が撮像した撮像データを取得する撮像データ取得部と、
少なくとも前記撮像装置の撮像エリアに入った移動体が保持する無線機器からの無線信号を取得する無線信号取得部と、
前記撮像データ取得部により取得された撮像データに含まれる前記移動体を認識し、当該移動体の撮像画像の経時的な変化量を取得する画像変化量取得部と、
前記無線信号取得部により取得された前記無線機器からの無線信号の経時的な変化量を取得する信号変化量取得部と、
前記画像変化量取得部により取得された前記移動体の撮像画像の経時的な変化量と、前記信号変化量取得部により取得された前記無線機器からの無線信号の経時的な変化量との相関に基づいて、前記移動体の撮像画像に対応する前記無線機器の無線信号を特定する特定部と、
を備えた撮像対象特定装置。

【請求項2】

前記特定部は、前記移動体の撮像画像の経時的な変化量と、前記無線機器からの無線信号の経時的な変化量との相関量を取得し、前記相関量の累積相関量が予め設定された閾値以上となった前記移動体の撮像画像と前記無線機器の無線信号との組合せについて、前記移動体の撮像画像に対応する前記無線機器の無線信号として特定する、
請求項１に記載の撮像対象特定装置。

【請求項3】

前記撮像データ取得部により取得される撮像データと前記無線信号取得部により取得される前記無線機器の無線信号との時刻を同期させる時刻同期部を備え、
前記画像変化量取得部は、前記時刻同期部により時刻が同期された撮像データに基づいて、前記移動体の撮像画像の経時的な変化量を取得し、
前記信号変化量取得部は、前記時刻同期部により時刻が同期された前記無線機器の無線信号に基づいて、当該無線信号の経時的な変化量を取得する、
請求項１または請求項２に記載の撮像対象特定装置。

【請求項4】

前記時刻同期部は、外部基準時刻情報に基づいて、前記撮像データ取得部により取得される撮像データと前記無線信号取得部により取得される前記無線機器の無線信号との時刻を同期させる、
請求項３に記載の撮像対象特定装置。

【請求項5】

前記撮像データ取得部により取得される撮像データと前記無線信号取得部により取得される前記無線機器の無線信号との間の時刻オフセット量を変化させながら当該撮像データと無線信号との相関量を計算し、計算した相関量が最大となる時刻オフセット量に基づいて、前記撮像データと前記無線信号との時刻を整合させる時刻オフセット量調整部を備え、
前記画像変化量取得部は、前記時刻オフセット量調整部により時刻が整合された撮像データに基づいて、前記移動体の撮像画像の経時的な変化量を取得し、
前記信号変化量取得部は、前記時刻オフセット量調整部により時刻が整合された前記無線機器の無線信号に基づいて、当該無線信号の経時的な変化量を取得する、
請求項１または請求項２に記載の撮像対象特定装置。

【請求項6】

前記撮像データ取得部により取得された撮像データに含まれる前記移動体を認識し、当該移動体の撮像画像の特徴量に基づいて当該移動体を特定する移動体特定部を備える、
請求項１から請求項５の何れか一項に記載の撮像対象特定装置。

【請求項7】

前記画像変化量取得部は、前記撮像データ取得部により取得された撮像データに含まれる前記移動体を認識し、当該移動体の撮像画像の前後時刻の差分から同撮像画像の経時的な変化量を取得し、
前記信号変化量取得部は、前記無線信号取得部により取得された前記無線機器からの無線信号の前後時刻の差分から同無線信号の経時的な変化量を取得する、
請求項１から請求項６の何れか一項に記載の撮像対象特定装置。

【請求項8】

前記無線信号取得部により取得される前記無線機器からの無線信号は受信電力またはＲＳＳＩ値の情報を含み、
前記信号変化量取得部は、前記無線機器からの無線信号の受信電力またはＲＳＳＩ値の経時的な変化量を取得する、
請求項１から請求項７の何れか一項に記載の撮像対象特定装置。

【請求項9】

前記無線信号取得部により取得される前記無線機器からの無線情報はＣＳＩ値の情報を含み、
前記信号変化量取得部は、前記無線機器からのＣＳＩ値の経時的な変化量を取得する、
請求項１から請求項７の何れか一項に記載の撮像対象特定装置。

【請求項10】

前記無線信号取得部により取得される前記無線機器からの無線信号はドップラーシフトの情報を含み、
前記信号変化量取得部は、前記無線機器からの無線信号のドップラーシフトの経時的な変化量を取得する、
請求項１から請求項７の何れか一項に記載の撮像対象特定装置。

【請求項11】

前記無線信号取得部は、少なくとも前記撮像装置の撮像エリアを無線接続エリアとするインフラストラクチャーモードで動作する無線接続機器、又は、前記撮像装置に内蔵されたアドホックモードで動作する無線接続機器を介して、当該撮像エリアに入った移動体が保持する無線機器からの無線信号を取得する、
請求項１から請求項１０の何れか一項に記載の撮像対象特定装置。

【請求項12】

前記移動体は人物である、
請求項１から請求項１０の何れか一項に記載の撮像対象特定装置。

【請求項13】

撮像対象特定装置の制御部により、
撮像装置が撮像した撮像データを取得する撮像データ取得部により取得された撮像データに含まれる前記撮像装置の撮像エリアに入った移動体を認識し、当該移動体の撮像画像の経時的な変化量を取得し、
少なくとも前記撮像装置の撮像エリアに入った移動体が保持する無線機器からの無線信号を取得する無線信号取得部により取得された前記無線機器からの無線信号の経時的な変化量を取得し、
前記移動体の撮像画像の経時的な変化量と、前記無線機器からの無線信号の経時的な変化量との相関に基づいて、前記移動体の撮像画像に対応する前記無線機器の無線信号を特定する、
撮像対象特定方法。

【請求項14】

撮像対象特定装置の制御部を、
撮像装置が撮像した撮像データを取得する撮像データ取得部により取得された撮像データに含まれる前記撮像装置の撮像エリアに入った移動体を認識し、当該移動体の撮像画像の経時的な変化量を取得する画像変化量取得部、
少なくとも前記撮像装置の撮像エリアに入った移動体が保持する無線機器からの無線信号を取得する無線信号取得部により取得された前記無線機器からの無線信号の経時的な変化量を取得する信号変化量取得部、
前記画像変化量取得部により取得された前記移動体の撮像画像の経時的な変化量と、前記信号変化量取得部により取得された前記無線機器からの無線信号の経時的な変化量との相関に基づいて、前記移動体の撮像画像に対応する前記無線機器の無線信号を特定する特定部、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、撮像対象特定装置、撮像対象特定方法及びプログラムに関する。

【背景技術】

【0002】

近年、屋内、屋外を問わず、監視カメラなどの撮像装置が設けられることが一般化している。そして、撮像装置により撮像されている人物を、保安などの観点から特定したいという要望がある。

【0003】

従来、特定したい人物の顔画像（あるいはその特徴画像）をデータベース化し、撮像装置により撮像された人物（被特定対象者）の顔画像（あるいはその特徴画像）と、データベースに登録された顔画像（あるいはその特徴画像）との類似度を判定し、閾値以上の類似度があると判定された人物を特定する技術がある。

【0004】

しかしこの顔画像に基づく人物特定技術では、撮像された画像内の人物それぞれの顔が映っている必要があり、顔が映っていない人物を特定することは困難である。

【0005】

また、スマートフォンなどの携帯無線機器に搭載されたＧＰＳ（全地球測位システム）やＢｌｕｅｔｏｏｔｈ（登録商標）（近距離無線通信）の無線信号に基づいて、当該携帯無線機器を携帯する人物の位置を特定し、撮像画像内で特定された位置の人物に、当該携帯無線機器から受信される無線機器ＩＤを対応付けることで、撮像された人物を特定する技術がある。

【0006】

この携帯無線機器の無線信号に基づく人物特定技術では、無線信号を受信する無線アクセスポイントのカバーエリアと撮像装置の撮像エリアが重ねっている場合であって且つ撮像された人物が１名の場合であれば、容易に撮像された人物を特定することができるが、複数の人物が略同時に撮像エリアに入り滞在した場合、各人物が携帯する携帯無線機器の位置を高精度に特定する必要がある。ここで、３つ以上の無線アクセスポイントに受信される同じ無線機器ＩＤの受信信号に基づいて、３点測量法により携帯無線機器の位置を特定する技術もあるが、各無線アクセスポイントをそのカバーエリアが重複するように設置する必要があり、加えて、当該３点測量法を用いたとしても、複数の人物とその携帯無線機器が近接している場合、各携帯無線機器の位置を個々に特定できるほどの精度を得るのは難しい。

【0007】

また、屋内では、マルチパス環境が通常であり、当該マルチパス環境下において、複数の携帯無線機器からの無線信号に基づき、各携帯無線機器の位置とその無線機器ＩＤを高精度に特定するのは更に難しくなる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００７－１２２５２８号公報

【特許文献2】特開２００６－１２２３００号公報

【特許文献3】特開２０１７－０７３６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明が解決しようとする課題は、３点測量法などにより無線機器の位置を確認する手法を用いることなく、撮像装置の撮像エリアに存在する複数の移動体を対象に、各移動体がそれぞれ保持する無線機器の機器情報を特定することが可能になる撮像対象特定装置、撮像対象特定方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

実施形態の撮像対象特定装置は、
撮像装置が撮像した撮像データを取得する撮像データ取得部と、
少なくとも前記撮像装置の撮像エリアに入った移動体が保持する無線機器からの無線信号を取得する無線信号取得部と、
前記撮像データ取得部により取得された撮像データに含まれる前記移動体を認識し、当該移動体の撮像画像の経時的な変化量を取得する画像変化量取得部と、
前記無線信号取得部により取得された前記無線機器からの無線信号の経時的な変化量を取得する信号変化量取得部と、
前記画像変化量取得部により取得された前記移動体の撮像画像の経時的な変化量と、前記信号変化量取得部により取得された前記無線機器からの無線信号の経時的な変化量との相関に基づいて、前記移動体の撮像画像に対応する前記無線機器の無線信号を特定する特定部と、を備えている。

【図面の簡単な説明】

【0011】

【図1】実施形態の撮像対象特定装置、撮像対象特定方法及びプログラムに係る撮像対象特定システム１の全体の構成を示す図。

【図2】収集信号処理部（撮像対象特定装置）９の保存部（記憶装置）７に確保された複数のデータベース（ＤＢ）を示す図。

【図3】外部基準時刻情報を利用しない他の実施形態の撮像対象特定システム１の構成を示す図。

【図4】撮像装置の撮像エリアに滞在する２名の人物（被特定対象者）Ａ，Ｂの撮像画像の経時的変化量（人物画像変化量）ＰＭと同人物Ａ，Ｂが保持する各携帯無線機器１，２からの無線信号に含まれるＲＳＳＩ値の経時的変化量（無線機器信号変化量）ＲＳとの関係及びその累積相関量Ｒsumとの関係を示す図。

【図5】会議室３０に滞在する人物（被特定対象者）３３ａ，３３ｂと同人物３３ａ，３３ｂが所持する携帯無線機器３４ａ，３４ｂを想定した場合の周辺の構成を示す図。

【図6】携帯無線機器３４を所持する人物３３が、会議室３０内で身体の向きを変えたときに無線アクセスポイント３２を介して得られる無線信号（ＲＳＳＩ値）ＲＳの変化を示す図。

【図7】図６で示した人物３３の身体の向きを変えたときの無線信号（ＲＳＳＩ値）ＲＳの測定データを箱ひげ図にして示すグラフ。

【図8】携帯無線機器３４を所持する人物３３が、会議室３０内で移動して位置を変えたときに無線アクセスポイント３２を介して得られる無線信号（ＲＳＳＩ値）ＲＳの変化を示す図。

【図9】図８で示した人物３３が１６分割した各区画（Ｘ１，Ｙ１）～（Ｘ４，Ｙ４）に移動して位置を変えたときの無線信号（ＲＳＳＩ値）ＲＳの測定データをプロットして示すグラフ。

【図10】図８及び図９で示した人物３３が１６分割した各区画（Ｘ１，Ｙ１）～（Ｘ４，Ｙ４）に移動して位置を変えたときの無線信号（ＲＳＳＩ値）ＲＳの測定データを箱ひげ図にして示すグラフ。

【図11】撮像対象特定システム１の収集信号処理部（撮像対象特定装置）９により実行される撮像対象特定処理を示すフローチャート。

【図12】撮像対象特定システム１の撮像対象特定処理に含まれる相関解析処理Ｓ１７を抜き出して示すフローチャート。

【図13】携帯無線機器３４の無線信号の収集に係る他の実施形態の無線接続設定処理を示すフローチャート。

【発明を実施するための形態】

【0012】

以下、実施形態の撮像対象特定装置、撮像対象特定方法及びプログラムについて、図面を参照して説明する。

【0013】

（実施形態の構成）
図１は、実施形態の撮像対象特定装置、撮像対象特定方法及びプログラムに係る撮像対象特定システム１の全体の構成を示す図である。

【0014】

ここでは、ビルのフロア２に壁や通路エリアｅにより仕切られた複数の部屋エリアａ，ｂ，ｃ，ｄの各々において、撮像装置１３ａ，１３ｂ，１３ｃ，１３ｄにより撮像された該当エリアに滞在する複数の人物（被特定対象者）と同人物が保持する携帯無線機器の機器情報とを対応付けて特定する場合を仮定する。

【0015】

実施形態の撮像対象特定システム１は、部屋エリアａ～ｄの天井部に設置された撮像装置１３ａ～１３ｄ及びその通信部１４ａ～１４ｄと、部屋エリアａ～ｃの天井部に設置された無線アクセスポイント（無線接続機器）１５ａ～１５ｃ及びその通信部１６ａ～１６ｃとを備える。なお、部屋エリアａ～ｃにおいて、撮像装置１３ａ，１３ｂ，１３ｄの通信部１４ａ，１４ｂ，１４ｄと、無線アクセスポイント１５ａ，１５ｂ，１５ｃの通信部１６ａ，１６ｂ，１６ｃとは、何れか一方の通信部を共用する構成としてもよい。

【0016】

また、撮像対象特定システム１は、該当するビルの管理室や離れた場所に設置されたサーバ装置などの収集信号処理部（撮像対象特定装置）９を備え、収集信号処理部９は、時刻同期部６、保存部７、制御／計算部８、外部操作／設定／表示部１０を備える。

【0017】

収集信号処理部（撮像対象特定装置）９には、撮像装置１３ａ～１３ｄの通信部１４ａ～１４ｄから送信される部屋エリアａ～ｄの撮像データを受信して収集する撮像データ収集系３、無線アクセスポイント１５ａ～１５ｃの通信部１６ａ～１６ｃから送信される携帯無線機器３４（図４参照）の無線信号を受信して収集する無線信号収集系４、部屋フロアａ～ｄに設置される他のセンサ（図示せず：ＣＯ２センサ、温度センサ、湿度センサ、フロア内の各機器に付属している異常検知センサなど）からの検出信号を受信して収集する他のセンサ用収集系５が接続される。

【0018】

収集信号処理部９の時刻同期部６は、ＮＴＰ(Network Time Protocol)サーバからの日本標準時など、基準時刻を伝える標準電波の送信情報である外部基準時刻情報１１に基づいて、撮像データ収集系３により収集された撮像データと、無線信号収集系４により収集された携帯無線機器３４の無線信号と、他のセンサ用収集系５により収集された検出信号と、のそれぞれに含まれる時刻情報（タイムスタンプ）を同期させ、当該撮像データと無線信号と検出信号の時刻を整合させる。

【0019】

なお、撮像装置１３ａ～１３ｄの通信部１４ａ～１４ｄと撮像データ収集系３との通信接続手段（１）、無線アクセスポイント１５ａ～１５ｃの通信部１６ａ～１６ｃと無線信号収集系４との通信接続手段（２）、他のセンサ（図示せず）と他のセンサ用収集系５との通信接続手段（３）、及び外部基準時刻情報１１の受信接続手段１２は、無線接続又は有線接続の何れであってもよい。

【0020】

また、撮像装置１３ａ～１３ｄ、無線アクセスポイント１５ａ～１５ｃ、及び他のセンサ（図示せず）が、外部基準時刻情報１１を受信接続手段１２により直接受信して、予め時刻情報の同期を図っている場合には、時刻同期部６での同期処理を不要としてよい。

【0021】

また、時刻同期部６での同期処理は、制御／計算部８により実行してよい。

【0022】

図２は、収集信号処理部（撮像対象特定装置）９の保存部（記憶装置）７に確保された複数のデータベース（ＤＢ）を示す図である。

【0023】

保存部７は、ハードディスクやフラッシュメモリなどの記憶装置により構成され、少なくとも、対象者情報ＤＢ２０、撮像画像ＤＢ２１（撮像データ取得部）、無線情報ＤＢ２２（無線信号取得部）、他のセンサ情報ＤＢ２３、及び関連付けログＤＢ２４が確保される。

【0024】

撮像画像ＤＢ２１と、無線情報ＤＢ２２と、他のセンサ情報ＤＢ２３とは、それぞれ、何れも時刻同期された、撮像データと、携帯無線機器の無線信号と、他のセンサの検出信号とを記憶して保存する。

【0025】

対象者情報ＤＢ２０は、撮像対象特定システム１により被特定対象者となり得る人物、例えば、撮像対象特定システム１を導入したビルへの入館が許可された人物の保持する携帯無線機器３４（図４参照）の機器情報（無線機器ＩＤ：ＭＡＣ<Media Access Control address>アドレスなど）に対応付けて、同人物の名前、属性などの個人情報を記憶して保存する。なお、個人情報としては、同人物の顔画像またはその特徴画像（特徴量）を記憶してよい。

【0026】

関連付けログＤＢ２４が保存する情報の内容については後述する。

【0027】

制御／計算部８は、ＣＰＵ<Central Processing Unit>などにより構成され、例えば保存部（記憶装置）７のプログラム記憶エリアに記憶されたプログラムに従い、撮像対象特定処理（図１１、図１２参照）を実行することで、少なくとも以下の機能（１）（２）を有する（画像変化量取得部）（信号変化量取得部）（特定部）。

【0028】

（１）部屋エリアａ～ｄ毎に、撮像画像ＤＢ２１に保存された当該部屋エリアａ～ｄの撮像データから認識される各人物（被特定対象者）の撮像画像の前後時刻の差分により得られる同人物の動き（移動・回転など）に応じた人物画像変化量と、同撮像データと時刻同期して無線情報ＤＢ２２に保存された同各人物が保持する携帯無線機器３４（図４参照）の無線信号（ここでは無線信号に含まれるＲＳＳＩ<Received Signal Strength Indicator：受信信号強度＝受信電力>値）の前後時刻の差分により得られる同携帯無線機器の物理的動きに応じた無線機器信号変化量と、の相関量を計算する機能。

【0029】

（２）相関量が閾値以上となった人物の撮像画像と携帯無線機器の無線信号との組合せについて、その組合せに該当する人物の撮像画像に対し、同組合せに該当する携帯無線機器の無線信号に含まれる機器情報（無線機器ＩＤ）を対応付けて特定する機能。

【0030】

関連付けログＤＢ２４は、機能（１）に従い計算された、各人物（被特定対象者）の撮像画像の動き（移動・回転など）に応じた人物画像変化量と、各携帯無線機器の物理的動きに応じた無線信号（ＲＳＳＩ値）の無線機器信号変化量と、を対応付けて記憶し、また、機能（２）に従い特定された組合せの人物（被特定対象者）の撮像画像と携帯無線機器の機器情報（無線機器ＩＤ）とを対応付けて記憶する。

【0031】

外部操作／設定／表示部１０は、キーボード、ポインティングデバイス、ディスプレイなどの入出力機器であり、ユーザ操作に応じて、撮像対象特定処理の初期設定、撮像装置１３ａ～１３ｄ毎に得られた撮像データの表示、表示された撮像データに含まれる人物の撮像画像に対する前述の機能（２）に従い特定された携帯無線機器の機器情報（無線機器ＩＤ）の対応付けの表示などを行なう。

【0032】

なお、図１で示した実施形態の撮像対象特定システム１では、外部基準時刻情報１１を受信することで、撮像データ収集系３により収集された撮像データと、無線信号収集系４により収集された携帯無線機器３４の無線信号と、他のセンサ用収集系５により収集された検出信号と、の時刻同期を図る構成とした。

【0033】

外部基準時刻情報１１を利用しない場合には、次の図３に示すように、撮像対象特定システム１を構成する。

【0034】

図３は、外部基準時刻情報を利用しない他の実施形態の撮像対象特定システム１の構成を示す図である。

【0035】

図３に示す他の実施形態の撮像対象特定システム１では、図１で示した収集信号処理部（サーバ装置：撮像対象特定装置）９の時刻同期部６に代えて、時刻オフセット量調整部１７を備える。

【0036】

時刻オフセット量調整部１７により、撮像データ収集系３、無線信号収集系４、及び他のセンサ用収集系５を介して収集したデータ間の相関を、以下の（式１）に従い当該データ間に与える時刻オフセット量を変えながら計算し、累計の相関量が最大となる時刻オフセット量を決定する。これにより、収集したデータ間の時刻が整合したと想定される状態で最大となる当該データ間の相関量が得られる。

【0037】

ここでは、撮像装置１３ａ～１３ｄ、無線アクセスポイント１５ａ～１５ｃ、及び他のセンサ（図示せず）を、便宜上、何れも「センサ」と呼称して説明する。

【0038】

【数1】

r(Toffset)は、時刻オフセット量Toffsetを与えたときの相関量を表わす。いわゆる（式１）は、相互相関を表す式となっている。
Toffsetは、データ収集期間内で与えられる時刻オフセット量を表わし、通常正の値をとるようにする。ＧおよびＨは、何れかのセンサを選択する。
ｔ＝０～ｎ＊Δｔは、観測期間を表す。Δｔは、サンプリング周期を示す。
Ｒは、時刻ｔと時刻オフセット量Toffsetの関数で、時刻ｔにおいてToffsetだけ時刻オフセットを与えたときの相関量を表す。
Ｇ(ｔ)は、時刻tにおける１種類のセンサからの一連の収集データから生成した差分量Ｇの値を表す。Ｈ(ｔ＋Toffset)は、同様にして、別のセンサからの一連の収集データから生成した差分量Ｈの、時刻ｔ＋Toffsetにおける値を表す。

【0039】

制御／計算部８が行なうセンサ間のデータの相関に基づくデータ関連付け（対応付け）の処理、すなわち２種類センサ（ここでは撮像装置と無線アクセスポイント）により収集されたデータ間で行なうデータ関連付けの処理方法には種々の方法がある。

【0040】

例えばデータ間の相関値を求めて行なうデータ関連付けの処理方法について次に述べる。

【0041】

相関値の計算は、いわゆる最も一般的にいわれる単相関係数であってよく、その場合「積和（Sgh）をＧの偏差平方和（Sgg）とＨの偏差併用和（Shh）の積の平方根」で割ることによって求められる。説明を簡単にするため、（式１）においてToffset＝０ としたときの相関値の計算は以下の（式２）のようになる。

【0042】

【数2】

【0043】

上述した相互相関を求める方法は、図１、図２で示した何れの構成の撮像対象特定システム１においても使える方法である。

【0044】

なお、時系列のデータ長が等しい、すなわち同期が取れている場合においては、相互相関値を求めるかわりに、別な計算方法を用いてもよい。例えば、同一エリアの情報を、ある種類のセンサにより収集した際のｎ測定点からなるデータ列（Ａ）と、別の種類のセンサにより収集した際の同じ時刻におけるｎ測定点からなるデータ列（Ｂ）とから、列ベクトルであるＡとＢとの間の内積を求める方法がある。このユークリッド空間における類似度は対象のベクトル間の類似性を表すもので、以下の（式３）に示すように、ベクトルの内積におけるcosθで類似度を表すことができる。

【0045】

【数3】

【0046】

図４は、撮像装置の撮像エリアに滞在する２名の人物（被特定対象者）Ａ，Ｂの撮像画像の経時的変化量（人物画像変化量）ＰＭと同人物Ａ，Ｂが保持する各携帯無線機器１，２からの無線信号に含まれるＲＳＳＩ値の経時的変化量（無線機器信号変化量）ＲＳとの関係及びその累積相関量Ｒsumとの関係を示す図である。

【0047】

ここでは、図１で示した部屋エリアｃに２名の人物Ａ，Ｂが滞在していると仮定する。人物Ａ，Ｂはそれぞれ携帯無線機器１，２を所持し、それぞれの携帯無線機器１，２は、ビルへの入館時に、その無線機器ＩＤであるＭＡＣアドレスが対象者情報ＤＢ２１に登録されていると仮定する。１つの撮像装置１３ｃが当該部屋エリアｃを撮像しており、その通信部１４ｃを介して撮像データ収集系３に撮像データが収集される。一方、携帯無線機器１，２の無線信号は、隣接する部屋エリアｄに設置された無線アクセスポイント１５ｃが部屋エリアｃ内の無線信号も検知している。無線アクセスポイント１５ｃで得られた無線信号は、無線信号収集系４に収集される。

【0048】

図４（Ａ）は、収集された各携帯無線機器１，２の無線信号に含まれるＲＳＳＩ値の経時的変化量（無線機器信号変化量）ＲＳを示し、図４（Ｂ）は、収集された撮像データに含まれる２名の人物（被特定対象者）Ａ，Ｂの撮像画像の経時的変化量（人物画像変化量）ＰＭを示している。

【0049】

なお、横軸は、経過時間ｔを示し、縦軸は、収集したＲＳＳＩ値（受信電力）間の変化量ＲＳ、撮像画像間の変化量ＰＭを示す。

【0050】

無線環境では、人は損失性誘電体として扱われ、無線信号を伝える空間の電界を一部遮蔽、反射する。人が移動する、身体の向きを変えるなどの人の動きの変化に追随して、部屋エリアｃ乃至無線アクセスポイント１５ｃに係る空間での電波の伝搬状態が変わる。

【0051】

図４（Ａ）（Ｂ）に示すように、収集した撮像画像間の経時的変化量ＰＭと収集したＲＳＳＩ値間の経時的変化量ＲＳとの関係をみたとき、被特定対象者Ｂの撮像画像間の経時的変化量ＰＭが大きいとき、携帯無線機器２のＲＳＳＩ値の変化が起きており、時刻ｔ１とｔ２の２回にわたり同様の大きい変化が発生していることがわかる。

【0052】

図４（Ｃ）は、時刻ｔ１において１回目に相関が大きくなった被特定対象者Ｂの撮像画像間の経時的変化量ＰＭと携帯無線機器２のＲＳＳＩ値間の経時的変化量ＲＳとの相関量Ｒ１を示し、続けて同様に、時刻ｔ２において２回目に相関が大きくなった同被特定対象者Ｂの撮像画像間の経時的変化量ＰＭと同携帯無線機器２のＲＳＳＩ値間の経時的変化量ＲＳとの相関量Ｒ２を示し、更に同時刻ｔ２（２回目）ではその累積相関量Ｒsumが、被特定対象者Ｂの撮像画像間の経時的変化量ＰＭと携帯無線機器２のＲＳＳＩ値間の経時的変化量ＲＳとが対応していると判定するための相関量の閾値Ｒthに達した状態を示している。

【0053】

このように、１回目の相関量Ｒ１が閾値Ｒthに達していない場合でも、繰り返し大きい相関量Ｒｎが得られたときの累積相関量Ｒsumが、設定した相関量の閾値Ｒthに達したことを判定することで、当該相関の組合せである被特定対象者Ｂの撮像画像と携帯無線機器２の無線信号（ＲＳＳＩ値）が対応していると判定する。

【0054】

累積相関量Ｒsumの計算方法は、図４（Ｃ）で示したように単純和として計算してもよいし、以下の（式４）に示すように、各回の相関量Ｒ１，Ｒ２，…，Ｒｎそれぞれの２乗和を取って計算して行く方法でもよい。

【0055】

【数4】

【0056】

そして、以下の（式５）に示すように、累積相関量Ｒsumが閾値Rthreshold以上となった場合に、十分相関が高いとして携帯無線機器（ここでは“２”）の無線機器ＩＤと撮像された被特定対象者（ここでは“Ｂ”）との特定ができたとする。

【0057】

【数5】

【0058】

図５は、会議室３０に滞在する人物（被特定対象者）３３ａ，３３ｂと同人物３３ａ，３３ｂが所持する携帯無線機器３４ａ，３４ｂを想定した場合の周辺の構成を示す図である。

【0059】

会議室３０の天井中央部に、１台の撮像装置３１が設置されている。会議室３０内の人物３３ａ，３３ｂは、天井設置の撮像装置３１により撮像されている。

【0060】

会議室３０の外に無線アクセスポイント（無線接続機器）３２が設置されている。無線アクセスポイント３２は、会議室３０内を無線通信エリアとしてカバーしており、会議室３０内に無線通信可能な無線機器があれば無線接続をする。勿論、会議室３０外の近隣であっても無線接続は可能である。

【0061】

なお、会議室３０のドアＤｒの外に人物３３ｃが歩行しており、携帯無線機器３４ｃを所持している。人物３３ｃは、撮像装置３１の撮像エリア外に居るため撮像されない。携帯無線機器３４ａ～３４ｃは、何れもそのＭＡＣアドレスが無線機器ＩＤとして対象者情報ＤＢ２０に登録されている。

【0062】

このような状況下で、人物３３ａおよび人物３３ｂは、その動きに応じて、無線アクセスポイント（無線接続機器）３２に対する身体の向きを変更または会議室３０内を移動する。人物３３ａ，３３ｂの動きは撮像装置３１によって撮像され、撮像画像ＤＢ２１に保存される。

【0063】

そして、収集信号処理部（サーバ装置：撮像対象特定装置）９の制御／計算部８は、各人物３３ａ，３３ｂそれぞれの撮像画像の前後時刻の差分を求めて計算した同人物３３ａ，３３ｂそれぞれの動き（移動・回転など）に応じた人物画像変化量と、携帯無線機器３４ａ，３４ｂそれぞれの無線信号（ＲＳＳＩ値）の前後時刻の差分を求めて計算した同携帯無線機器３４ａ，３４ｂそれぞれの物理的動きに応じた無線機器信号変化量と、を関連付けログＤＢに保存する。

【0064】

制御／計算部８は、図４を参照して説明したように、各人物３３ａ，３３ｂそれぞれの人物画像変化量（ＰＭ）と、各携帯無線機器３４ａ，３４ｂそれぞれの無線機器信号変化量（ＲＳ）と、の組合せ別の相関量Ｒ１～Ｒ４を計算し、当該相関量の閾値Ｒthに基づいて、各人物３３ａ，３３ｂと各携帯無線機器３４ａ，３４ｂとの対応を判定する。

【0065】

なお、会議室３０外に居る人物３３ｃの携帯無線機器３４ｃから収集される無線信号は、会議室３０内に居る人物３３ａ，３３ｂの携帯無線機器３４ａ，３４ｂから収集される無線信号と、そのＲＳＳＩ値が大きく異なるので、予め、会議室３０内に居る人物３３ａ，３３ｂそれぞれの人物画像変化量（ＰＭ）との相関の計算から除外してよい。

【0066】

そして、例えば、相関を計算する対象が２名の人物３３ａ，３３ｂそれぞれの撮像画像と２つの携帯無線機器３４ａ，３４ｂそれぞれの無線信号との関連付けに絞られた場合には、何れか一組の相関の計算を行いその対応の有無を判定することにより、対応の有る２組の人物３３ａ／３３ｂと携帯無線機器３４ａ／３４ｂを判定してよい。

【0067】

次に、図６～図１０を参照して、携帯無線機器３４を所持する人物３３が、会議室３０内で身体の向きを変えたときに無線アクセスポイント３２を介して得られる無線信号（ＲＳＳＩ値）ＲＳの変化と、会議室３０内で移動して位置を変えたときに無線アクセスポイント３２を介して得られる無線信号（ＲＳＳＩ値）ＲＳの変化について説明する。

【0068】

図６は、携帯無線機器３４を所持する人物３３が、会議室３０内で身体の向きを変えたときに無線アクセスポイント３２を介して得られる無線信号（ＲＳＳＩ値）ＲＳの変化を示す図である。

【0069】

会議室３０内にいる人物３３は、携帯無線機器３４を胸部に携帯している。また図６（Ａ）に示すように、無線アクセスポイント（無線接続機器）３２は、人物３３に対し、数ｍの距離を離して、＋０度方向に置かれている。また図６（Ｂ）（Ｃ）に示すように、無線信号（ＲＳＳＩ値）ＲＳの測定値は、電界強度０～１００で表されている。無線信号（ＲＳＳＩ値）ＲＳの測定はＩＭＳバンドの２．４ＧＨｚで行っている。会議室３０内の人物３３の立ち位置は固定する。

【0070】

図６（Ｂ）に示すように、人物３３の身体の向きを天頂方向から見て０度方向から４５度ずつ反時計方向に回転し、０度（Ｘ１，Ｙ２）、＋４５度（Ｘ１，Ｙ１）、＋９０度（Ｘ２，Ｙ１）、＋１３５度（Ｘ３，Ｙ１）、＋１８０度（Ｘ３，Ｙ２）、－１３５度（Ｘ３，Ｙ３）、－９０度（Ｘ２，Ｙ３）、－４５度（Ｘ１，Ｙ３）、で無線信号（ＲＳＳＩ値）ＲＳを測定した。図６（Ｂ）（Ｃ）に示すように、測定のばらつきを確認するため、１つの方向に対して５回の測定を行っている。

【0071】

図６（Ｃ）のグラフでは、＋４５度（Ｘ１，Ｙ１）の方向で５回測定した無線信号（ＲＳＳＩ値）ＲＳの平均値ＡＶ１１、＋９０度（Ｘ２，Ｙ１）の方向で５回測定した無線信号（ＲＳＳＩ値）ＲＳの平均値ＡＶ２１、＋１３５度（Ｘ３，Ｙ１）の方向で５回測定した無線信号（ＲＳＳＩ値）ＲＳの平均値ＡＶ３１、＋１８０度（Ｘ３，Ｙ２）の方向で５回測定した無線信号（ＲＳＳＩ値）ＲＳの平均値ＡＶ３２、－１３５度（Ｘ３，Ｙ３）の方向で５回測定した無線信号（ＲＳＳＩ値）ＲＳの平均値ＡＶ３３、－９０度（Ｘ２，Ｙ３）の方向で５回測定した無線信号（ＲＳＳＩ値）ＲＳの平均値ＡＶ２３、－４５度（Ｘ１，Ｙ３）の方向で５回測定した無線信号（ＲＳＳＩ値）ＲＳの平均値ＡＶ１３、０度（Ｘ１，Ｙ２）の方向で５回測定した無線信号（ＲＳＳＩ値）ＲＳの平均値ＡＶ１２を順に示している。

【0072】

このように、携帯無線機器３４を所持する人物３３の身体の向きにより、無線アクセスポイント３２を介して得られる無線信号（ＲＳＳＩ値）ＲＳの平均値ＡＶ１１～ＡＶ３３に、はっきりとした差が表れることが分かる。

【0073】

図７は、図６で示した人物３３の身体の向きを変えたときの無線信号（ＲＳＳＩ値）ＲＳの測定データを箱ひげ図にして示すグラフである。

【0074】

このように、携帯無線機器３４を所持する人物３３が身体の向きを変えることにより、それぞれの角度において、その測定のばらつきを超えて、平均受信電力（ＲＳ）に有意な差が発生していることが分かる。

【0075】

図８は、携帯無線機器３４を所持する人物３３が、会議室３０内で移動して位置を変えたときに無線アクセスポイント３２を介して得られる無線信号（ＲＳＳＩ値）ＲＳの変化を示す図である。

【0076】

図８（Ａ）（Ｂ）に示すように、会議室３０を１６分割し、１つの区画が約１．５ｍ角である場合に、人物３３が、無線アクセスポイント（無線接続機器）３２の方向Ｙである０度方向を向いたまま、各区画（Ｘ１，Ｙ１）～（Ｘ４，Ｙ４）に移動したときの無線信号（ＲＳＳＩ値）ＲＳの変化を測定した。

【0077】

図６、図７を参照して説明した場合と同様に、無線信号（ＲＳＳＩ値）ＲＳの測定値は、電界強度０～１００で表されており、測定のばらつきを確認するため、各区画において５回の測定を行っている。

【0078】

図９は、図８で示した人物３３が１６分割した各区画（Ｘ１，Ｙ１）～（Ｘ４，Ｙ４）に移動して位置を変えたときの無線信号（ＲＳＳＩ値）ＲＳの測定データをプロットして示すグラフである。

【0079】

図９に示すグラフでは、１６分割した各区画（Ｘ１，Ｙ１）～（Ｘ４，Ｙ４）の位置でそれぞれ５回測定した無線信号（ＲＳＳＩ値）ＲＳの平均値を、ＡＶ１１～ＡＶ４４として示している。

【0080】

図１０は、図８及び図９で示した人物３３が１６分割した各区画（Ｘ１，Ｙ１）～（Ｘ４，Ｙ４）に移動して位置を変えたときの無線信号（ＲＳＳＩ値）ＲＳの測定データを箱ひげ図にして示すグラフである。

【0081】

このように、携帯無線機器３４を所持する人物３３が部屋の中の位置を変えることにより、それぞれの立ち位置において、その測定のばらつきを超えて、平均受信電力（ＲＳ）に有意な差が発生していることが分かる。

【0082】

よって、部屋の撮像データから認識される各人物（被特定対象者）３３の撮像画像の前後時刻の差分により得られる同人物３３の動き（移動・回転など）に応じた人物画像変化量と、同各人物３３が所持する携帯無線機器３４の無線信号（ＲＳＳＩ値）ＲＳの前後時刻の差分により得られる無線機器信号変化量と、の相関量に基づいて、当該各人物３３の撮像画像に対し、同各人物３３が所持する携帯無線機器３４の機器情報（無線機器ＩＤ）を対応付けて特定できることになる。

【0083】

このように構成された撮像対象特定システム１は、収集信号処理部（撮像対象特定装置）９の制御／計算部８が、撮像対象特定処理を実行するためのプログラムに記述された命令に従い各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、後述の動作説明で述べるような撮像対象特定機能を実現する。

【0084】

（実施形態の動作）
次に、実施形態の撮像対象特定システム１の動作について説明する。

【0085】

図１１は、撮像対象特定システム１の収集信号処理部９（撮像対象特定装置）により実行される撮像対象特定処理を示すフローチャートである。

【0086】

図１２は、撮像対象特定システム１の撮像対象特定処理に含まれる相関解析処理Ｓ１７を抜き出して示すフローチャートである。

【0087】

ここでは、説明の便宜上、図１及び図３で示したビルのフロア２の部屋エリアａに滞在する人物３３を被特定対象者として同人物３３が保持する携帯無線機器３４を特定する場合を仮定する。

【0088】

先ず、収集信号処理部９の制御／計算部８は、外部操作／設定／表示部１０のユーザ操作に応じて、撮像対象特定処理に要する、例えば判定処理のための閾値などのデータを、保存部７の初期設定用の記憶エリアに記憶させることで初期設定する（ステップＳ１０）。

【0089】

制御／計算部８は、撮像データ収集系３を介して撮像画像ＤＢ２１に保存される部屋エリアａの撮像データに基づいて、人物３３の撮像画像を認識し、当該部屋エリアａに被特定対象者３３が居るかを判定する（ステップＳ１１）。

【0090】

被特定対象者３３が居ない場合（ステップＳ１１（Ｎｏ））、制御／計算部８は、一定時間ΔＴ（例えば１秒）毎にステップＳ１１の処理を繰り返す（ステップＳ１３→Ｓ１１）。

【0091】

部屋エリアａに被特定対象者３３が居ると判定されると（ステップＳ１１（Ｙｅｓ））、制御／計算部８は、被特定対象者３３の撮像画像から当該対象者３３の特徴量（例えば、顔画像の特徴点を抽出した特徴量）を取得可能であるか否かを判定する（ステップＳ１２）。

【0092】

被特定対象者３３の特徴量が取得可能と判定された場合（ステップＳ１２（Ｙｅｓ））、制御／計算部８は、被特定対象者３３の特徴量のデータを取得し（ステップＳ１４）、取得した当該被特定対象者３３の特徴量のデータと対象者情報ＤＢ２０に予め保存されている入館者の無線機器ＩＤに対応付けられた特徴量のデータとを照合し、例えば類似度を計算して個人の特定が可能か否（困難）かを判定する（ステップＳ１５）（移動体特定部）。

【0093】

個人の特定が可能（困難ではない）と判定されると（ステップＳ１５（Ｎｏ））、制御／計算部８は、例えば、特定した個人の無線機器ＩＤ（あるいは属性、名前）を、外部操作／設定／表示部１０のディスプレイに表示されている部屋エリアａの撮像画像の中の被特定対象者３３の撮像画像に対応付けて表示させてユーザに通知する。

【0094】

部屋エリアａに居る（加わった場合も含む）被特定対象者３３の個人の特定が、その撮像画像から得られる特徴量のデータに基づき可能である場合には、制御／計算部８は、ステップＳ１２～Ｓ１５の処理を繰り返す（ステップＳ１８→Ｓ１１，Ｓ１２）。

【0095】

一方、ステップＳ１２において、被特定対象者３３の撮像画像から、例えばその頭頂部の撮像画像であるため顔画像が含まれてなく、当該対象者３３の特徴量が取得できない場合（ステップＳ１２（Ｎｏ））、又はステップＳ１５において、被特定対象者３３の特徴量からの個人の特定が困難な場合（ステップＳ１５（Ｙｅｓ））、制御／計算部８は、当該被特定対象者３３の撮像画像が部屋エリアａの撮像データから認識されたときに対応して、新たな携帯無線機器３４からの無線信号のデータが、無線信号収集系４を介し無線情報ＤＢ２２に保存されたか（加わったか）を確認する（ステップＳ１６）。

【0096】

被特定対象者３３の撮像画像が認識されたときに対応して、新たな携帯無線機器３４からの無線信号が加わったことが確認された場合（ステップＳ１６（Ｙｅｓ））、制御／計算部８は、図１２に示す撮像画像と携帯無線機器の相関解析処理へ移行する（ステップＳ１７）。

【0097】

なお、ステップＳ１６において、被特定対象者３３の撮像画像が認識されたときに対応して、新たな携帯無線機器３４からの無線信号が加わったことが確認されない場合、当該被特定対象者３３の個人の特定は、その特徴量からも無線信号からも行えないことになる（ステップＳ１６（Ｎｏ））。

【0098】

図１２に示す撮像画像と携帯無線機器の相関解析処理へ移行されると（ステップＳ１７）、制御／計算部８は、部屋エリアａの撮像データに含まれる被特定対象者（個人の特定された人物は除く）３３は１名であるか否か（複数か）を判定する（ステップＳ１７１）。

【0099】

被特定対象者３３が１名の場合（ステップＳ１７１（Ｙｅｓ））、制御／計算部８は、当該被特定対象者３３の撮像画像に、ステップＳ１６にて確認された新たな携帯無線機器３４からの無線信号に含まれる無線機器ＩＤを対応付けて同被特定対象者３３を特定し、前述同様に、例えば、特定した無線機器ＩＤ（あるいは属性、名前）を、外部操作／設定／表示部１０のディスプレイに表示されている部屋エリアａの撮像画像の中の同被特定対象者３３の撮像画像に対応付けて表示させる（ステップＳ１７２）。

【0100】

部屋エリアａに被特定対象者３３が間隔（例えば、一定時間ΔＴ以上）を空けて入室する状態では、制御／計算部８は、ステップＳ１７１→Ｓ１７２の処理を繰り返すことで、入室する各々の被特定対象者３３の撮像画像に対応する無線機器ＩＤを特定する。

【0101】

一方、部屋エリアａに、例えば、複数の被特定対象者３３が間隔を空けずに入室することで、被特定対象者３３が２名以上（複数）である場合（ステップＳ１７１（Ｙｅｓ））、制御／計算部８は、撮像画像ＤＢ２１に保存された各被特定対象者３３の撮像画像の前後時刻の差分により得られる同被特定対象者３３の動き（移動・回転など）に応じた人物画像変化量（図４のＰＭ）と、同撮像画像と時刻同期して無線情報ＤＢ２２に保存された同各被特定対象者３３が所持すると想定される携帯無線機器３４の無線信号（ＲＳＳＩ値）の前後時刻の差分により得られる同携帯無線機器３４の物理的動きに応じた無線機器信号変化量（図４のＲＳ）と、の相関量（図４のＲｎ）を計算して解析する（ステップＳ１７３）。

【0102】

制御／計算部８は、解析した相関量Ｒｎの累積相関量（図４のＲsum）が相関量Ｒの閾値（図４のＲth）以上となった被特定対象者３３の撮像画像と携帯無線機器３４の無線信号との組合せが有るか判定する（ステップＳ１７４）。

【0103】

累積相関量Ｒsumが相関量Ｒの閾値Ｒth以上となった被特定対象者３３の撮像画像と携帯無線機器３４の無線信号との組合せが有る場合（ステップＳ１７４（Ｙｅｓ））、制御／計算部８は、その組合せに該当する被特定対象者３３の撮像画像に対し、同組合せに該当する携帯無線機器３４の無線機器ＩＤを対応付けて特定し、特定された被特定対象者３３の撮像画像と携帯無線機器３４の無線機器ＩＤとを対応付けて、関連付けログＤＢ２４に記憶させる。そして、前述同様に、例えば、特定した無線機器ＩＤ（あるいは属性、名前）を、外部操作／設定／表示部１０のディスプレイに表示されている部屋エリアａの撮像画像の中の同被特定対象者３３の撮像画像に対応付けて表示させる（ステップＳ１７５）。

【0104】

ステップＳ１７４において、累積相関量Ｒsumが閾値Ｒth以上となった被特定対象者３３の撮像画像と携帯無線機器３４の無線信号との組合せが無い場合（ステップＳ１７４（Ｎｏ））、制御／計算部８は、各被特定対象者３３の人物画像変化量ＰＭと、各携帯無線機器３４の無線機器信号変化量ＲＳとの相関量Ｒｎの解析、及び解析した相関量Ｒｎの累積相関量Ｒsumが閾値Ｒth以上となった被特定対象者３３の撮像画像と携帯無線機器３４の無線信号との組合せが有るかの判定を繰り返す（ステップＳ１６→Ｓ１７（Ｓ１７１→Ｓ１７３，Ｓ１７４））。

【0105】

この後、撮像データに含まれる被特定対象者３３（個人の特定された人物は除く）３３が１名となった場合、制御／計算部８は、当該１名の被特定対象者３３の撮像画像に、未特定の１つの携帯無線機器３４からの無線信号に含まれる無線機器ＩＤを対応付けて同被特定対象者３３を特定する（ステップＳ１７１（Ｙｅｓ）→Ｓ１７２）。

【0106】

そして、制御／計算部８は、部屋エリアａの撮像データに含まれる全ての人物（被特定対象者）３３の撮像画像に対する無線機器ＩＤの特定が完了することで、前述した一連の撮像対象特定処理を終了する（ステップＳ１８（Ｙｅｓ）→ＥＮＤ）。

【0107】

前述した一連の撮像対象特定処理に含まれる判定や確認の処理は、他のセンサＤＢ２３に保存される部屋エリアａ内の各種の状態を示すデータを利用してもよい。

【0108】

（実施形態のまとめ）
実施形態の撮像対象特定システム１によれば、撮像データから認識される各人物（被特定対象者）３３の撮像画像の前後時刻の差分により得られる同人物３３の動き（移動・回転など）に応じた人物画像変化量ＰＭと、同各人物３３が所持する携帯無線機器３４の無線信号（ＲＳＳＩ値）の前後時刻の差分により得られる無線機器信号変化量ＲＳと、の相関量Ｒに基づいて、当該各人物３３の撮像画像に対し、同各人物３３が所持する携帯無線機器３４の無線機器ＩＤを対応付けて特定できる。

【0109】

実施形態の撮像対象特定システム１では、人物（被特定対象者）３３の撮像画像の動きに応じた人物画像変化量ＰＭと、携帯無線機器３４の無線機器信号変化量ＲＳと、の相関量Ｒの累積相関量Ｒsumが閾値Ｒth以上となった場合に、当該人物３３の撮像画像に同人物３３が所持する携帯無線機器３４の無線機器ＩＤを対応付けて特定するので、正確性の高い特定を行なうことができる。

【0110】

よって、３点測量法などにより無線機器の位置を確認する手法を用いることなく、撮像装置の撮像エリアに存在する複数の人物を対象に、各人物がそれぞれ保持する無線機器の機器情報を特定することが可能になる。

【0111】

前記実施形態では、各人物（被特定対象者）３３が所持する携帯無線機器３４から取得する無線信号が、受信信号強度＝受信電力を測るＲＳＳＩ値の例について述べたが、受信電力を８通りで示した離散値であるＲＳＳＩ値に限らず、受信電力の大きさそのものであってももちろん実現可能である。すなわち、前述した撮像対象特定システム１と同じ構成で、携帯無線機器３４からの無線信号に含まれる情報のうちの他のパラメータを利用してもよい。取得する無線信号のパラメータが変わっても、各人物３３の撮像画像間の変化量と携帯無線機器３４からの受信信号情報の変化量との間の相関、紐付けをして人物３３を特定することができる。

【0112】

例えば、受信信号（電波）の位相情報を利用できる。これは携帯無線機器３４を利用する屋内で通常発生するマルチパス環境を利用するもので、ＩＥＥＥ８０２．１１のＭＩＭＯ(Multiple Input Multiple Output)で使われている技術である。このとき送信機と受信機との間で交換するＣＳＩ(Channel State Information)値を収集し、伝送路行列情報の変化量を検出すれば、より微小な電波伝播の変化量を検出することができる。

【0113】

また、被特定対象者（人物）が、車やエレベータなどの移動装置に乗っていて、比較的高速で移動しているのであれば、受信信号（電波）のドップラーシフト情報（Ｔｉｍｅ－ｏｆ－Ａｒｒｉｖａｌ<Doppler shift>）を利用することで、撮像画像と受信信号（電波）の変化量間の相関を求めることも可能である。

【0114】

また、撮像画像と受信信号（電波）の変化量間の相関を求める方法も、単に数学的な処理のみに限らず、既知のデータ（教師データ）を含む大量のサンプルデータに基づく方法、すなわち近年多用されるＡＩ(Artificial Intelligence)により、算出する相関の確度向上を図ることも可能である。

【0115】

なお、図１及び図３で示した実施形態の撮像対象特定システム１では、携帯無線機器３４からの無線信号は、無線アクセスポイント（無線接続機器）１５ａ～１５ｃのインフラストラクチャーモードでの無線接続を介して無線信号収集系４に収集する構成としている。

【0116】

撮像装置１３ａ～１３ｄが、無線ＬＡＮ(Local Area Network)の無線接続機器を内蔵する場合、次の図１３を参照して説明するように、当該撮像装置１３ａ～１３ｄが内蔵する無線接続機器のアドホックモードでの無線接続を介して、携帯無線機器３４からの無線信号を無線信号収集系４に収集する構成としてよい。

【0117】

図１３は、携帯無線機器３４の無線信号の収集に係る他の実施形態の無線接続設定処理を示すフローチャートである。

【0118】

収集信号処理部９の制御／計算部８は、先ず、無線アクセスポイント（無線接続機器）１５ａ～１５ｃのインフラストラクチャーモードでの無線接続により、携帯無線機器３４との通信が可能か不可かを判定し（ステップＳ２０→Ｓ２１）、可能である場合（ステップＳ２１（Ｎｏ））、当該無線アクセスポイント（無線接続機器）１５ａ～１５ｃのインフラストラクチャーモードでの無線接続を介して、携帯無線機器３４からの無線信号を無線信号収集系４に収集し、前述した撮像対象特定処理を実行する（ステップＳ２３→Ｓ２５（Ｙｅｓ））。

【0119】

一方、例えば、対象とするエリア又はその近隣に無線アクセスポイント（無線接続機器）１５ａ～１５ｃが設置されていないか、あるいは他の要因により、無線アクセスポイント（無線接続機器）１５ａ～１５ｃのインフラストラクチャーモードでの無線接続による、携帯無線機器３４との通信が不可である場合（ステップＳ２０（Ｎｏ）又はＳ２１（Ｙｅｓ））、制御／計算部８は、撮像装置１３ａ～１３ｄが有する無線ＬＡＮの無線接続機器のアドホックモードでの無線接続を介して、携帯無線機器３４からの無線信号を無線信号収集系４に収集し、前述した撮像対象特定処理を実行する（ステップＳ２２→Ｓ２４→Ｓ２５（Ｙｅｓ））。

【0120】

無線アクセスポイント（無線接続機器）１５ａ～１５ｃのインフラストラクチャーモードでの無線接続か、又は撮像装置１３ａ～１３ｄが有する無線接続機器のアドホックモードでの無線接続により、撮像エリアに入ったと想定される携帯無線機器３４との無線接続が確立されると、制御／計算部８は、一連の無線接続設定処理を終了する（ステップＳ２５（Ｙｅｓ）→ＥＮＤ）。

【0121】

これによれば、撮像エリア内又はその近隣に通信可能な無線アクセスポイント１５ａ～１５ｃがない場合でも、撮像装置１３ａ～１３ｄが通常その撮像データを送信するために子機として動作している無線接続機器を、アドホックモードに切り替えて使用することにより、撮像エリア内の携帯無線機器３４との無線接続を確立しその無線情報を収集することができる。

【0122】

図１３で示した無線接続設定処理は、撮像エリアに携帯無線機器３４が入ったことの判定、例えば、撮像装置１３ａ～１３ｄの撮像データに含まれる人物（被特定対象者）３３の認識をトリガとして開始すればよい。

【0123】

なお、実施形態の撮像対象特定システム１では、撮像エリア内に入った人物３３を被特定対象者とし、無線アクセスポイント（無線接続機器）３２を介して収集される同人物３３が所持すると想定される携帯無線機器３４からの無線信号（無線機器ＩＤ）を特定する場合について説明した。これに限らず、例えば、人物３３は他の動物あるいは機械的に移動する物体、すなわち移動体であって、携帯無線機器３４は移動体が保持する無線機器であれば、当該移動体に対応する無線機器を、実施形態と同様に特定できるのは勿論である。

【0124】

以上の実施形態において記載した撮像対象特定システム１による各処理の手法、すなわち、図１１、図１２のフローチャートに示す撮像対象特定処理および図１３のフローチャートに示す無線接続設定処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカードなど）、磁気ディスク（フロッピ（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、半導体メモリなどの外部記録装置の媒体に格納して配布することができる。そして、撮像対象特定システム１のコンピュータ（ＣＰＵ）は、この外部記録装置の媒体に記録されたプログラムを記憶装置に読み込み、この読み込んだプログラムによって動作が制御されることにより、実施形態において説明した撮像対象特定機能を実現し、前述した手法による同様の処理を実行することができる。

【0125】

また、各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（Ｎ）上を伝送させることができ、この通信ネットワーク（Ｎ）に接続されたコンピュータ装置（プログラムサーバ）から、前記プログラムのデータを撮像対象特定システム１に取り込んで記憶装置に記憶させ、前述した撮像対象特定機能を実現することもできる。

【0126】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0127】

１…撮像対象特定システム、２…ビルのフロア、６…時刻同期部、７…保存部、８…制御／計算部（画像変化量取得部）（信号変化量取得部）（特定部）、９…収集信号処理部（撮像対象特定装置）、１２…受信接続手段、１３ａ～１３ｄ…撮像装置、１４ａ～１４ｄ…通信部、１５ａ～１５ｃ…無線アクセスポイント（無線接続機器）、１６ａ～１６ｃ…通信部、１７…時刻オフセット量調整部、２０…対象者情報ＤＢ、２１…撮像画像ＤＢ（撮像データ取得部）、２２…無線情報ＤＢ（無線信号取得部）、２３…他のセンサＤＢ、２４…関連付けログＤＢ、３０…会議室、３１…撮像装置、３２…無線アクセスポイント（無線接続機器）、３３，３３ａ，３３ｂ…人物（被特定対象者）、３４，３４ａ，３４ｂ…携帯無線機器。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】