特許 6959888 物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6959888

(24)【登録日】2021年10月12日

(45)【発行日】2021年11月5日

(54)【発明の名称】物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法

(51)【国際特許分類】

   G01S 5/02 20100101AFI20211025BHJP

   H04W 64/00 20090101ALI20211025BHJP

【ＦＩ】

   G01S5/02 Z

   H04W64/00 110

   H04W64/00 173

【請求項の数】15

【全頁数】20

(21)【出願番号】特願2018-59852(P2018-59852)

(22)【出願日】2018年3月27日

(65)【公開番号】特開2019-174164(P2019-174164A)

(43)【公開日】2019年10月10日

【審査請求日】2020年1月15日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(74)【代理人】

【識別番号】100141313

【弁理士】

【氏名又は名称】辰巳 富彦

(72)【発明者】

【氏名】星 尚志

【審査官】 山下 雅人

(56)【参考文献】

【文献】 特開２０１１−１８６７５１（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１９９４８１（ＷＯ，Ａ３）

【文献】 米国特許出願公開第２０１６／０３７７６９８（ＵＳ，Ａ１）

【文献】 特開２０１６−１７６７３７（ＪＰ，Ａ）

【文献】 特開２０１６−０７０８３８（ＪＰ，Ａ）

【文献】 特開２０１７−０６７５０２（ＪＰ，Ａ）

【文献】 特開２０１６−１１４３６１（ＪＰ，Ａ）

【文献】 特開２０１１−０７１５９９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／０３７１０２４（ＵＳ，Ａ１）

【文献】 星 尚志 ほか，動的遮蔽物を考慮したＢＬＥによる屋内位置推定手法の提案，マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１７）シンポジウム論文集 情報処理学会シンポジウムシリーズ，日本，一般社団法人情報処理学会，2017年06月28日，Ｖｏｌ．２０１７／Ｎｏ．１，pp.1540-1546

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ５／００ − ５／１４

Ｇ０１Ｓ７／００ − ７／４２

Ｇ０１Ｓ１３／００−１３／９５

Ｈ０４Ｂ ７／２４− ７／２６

Ｈ０４Ｗ ４／００−９９／００

(57)【特許請求の範囲】

【請求項1】

電磁波源からの電磁波を受信した端末における受信された電磁波の強度に係る情報である受信電磁波強度情報を取得して当該端末の位置を推定する端末位置推定装置であって、
当該端末の付されている可能性がある移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得可能であり、当該端末のある時点での当該受信電磁波強度情報、及び当該時点での当該物体認識情報を含む特徴データと、当該端末の当該時点での位置に係る端末位置情報とを含む学習データを生成する学習データ生成手段と、
複数の当該学習データを用いて、端末位置推定用のモデルを生成するモデル生成手段と、
当該モデルを用いて、位置推定対象の端末から取得した位置推定時点での当該受信電磁波強度情報と、当該位置推定時点での当該物体認識情報とを含む特徴データに基づき、当該位置推定対象の端末に係る端末位置情報を決定する端末位置決定手段と
を有することを特徴とする端末位置推定装置。

【請求項2】

当該物体認識情報は、認識した物体の位置に係る物体位置情報であり、
前記端末位置決定手段は、当該位置推定時点での当該物体位置情報と、当該モデルから導出された決定候補である当該端末位置情報とを比較し、互いの位置の近さに基づいて、当該位置推定対象の端末に係る端末位置情報を決定する
ことを特徴とする請求項１に記載の端末位置推定装置。

【請求項3】

前記端末位置決定手段は、当該位置推定時点での当該物体位置情報のうちで、当該物体位置情報に係る位置と、当該モデルから導出された決定候補である当該端末位置情報に係る位置との距離が最も小さい又は所定閾値以下である物体位置情報を、当該位置推定対象の端末に係る端末位置情報に決定する
ことを特徴とする請求項２に記載の端末位置推定装置。

【請求項4】

前記端末位置決定手段は、当該モデルから導出された決定候補である当該端末位置情報のうちで、当該端末位置情報に係る位置と、当該位置推定時点での当該物体位置情報に係る位置との距離が最も小さい又は所定閾値以下である端末位置情報を、当該位置推定対象の端末に係る端末位置情報に決定する
ことを特徴とする請求項２に記載の端末位置推定装置。

【請求項5】

前記端末位置決定手段は、当該モデルから導出された決定候補である当該端末位置情報毎に決定の信頼度を算出し、当該信頼度が所定閾値以上である当該端末位置情報のみを、当該位置推定時点での当該物体位置情報と比較して、当該位置推定対象の端末に係る端末位置情報を決定することを特徴とする請求項２から４のいずれか１項に記載の端末位置推定装置。

【請求項6】

前記端末位置決定手段は、当該モデルから導出された決定候補である当該端末位置情報毎に決定の信頼度を算出し、
前記学習データ生成手段は、決定した当該端末位置情報が所定閾値以上の当該信頼度を有する場合、当該端末位置情報を正解の端末位置情報として含む当該学習データを生成し、
前記モデル生成手段は、当該学習データを用いて当該モデルを生成又は更新する
ことを特徴とする請求項１から５のいずれか１項に記載の端末位置推定装置。

【請求項7】

前記学習データ生成手段は、当該端末における当該時点の前の時点での位置に係る端末位置情報、及び／又は当該端末における当該時点の前の時点での当該受信電磁波強度情報を更に含む当該学習データを生成し、
前記端末位置決定手段は、当該位置推定対象の端末における当該位置推定時点の前の時点での位置に係る端末位置情報、及び／又は当該位置推定対象の端末における当該位置推定時点の前の時点での当該受信電磁波強度情報を更に含む特徴データに基づいて、当該位置推定対象の端末に係る端末位置情報を決定する
ことを特徴とする請求項１から６のいずれか１項に記載の端末位置推定装置。

【請求項8】

前記端末位置決定手段は、当該モデルから導出された決定候補である当該端末位置情報毎に決定の信頼度を算出し、
前記学習データ生成手段は、生成する学習データに含まれる当該端末位置情報に係る時点の前の時点に係る端末位置情報に対して算出された当該信頼度を更に含む当該学習データを生成し、
前記端末位置決定手段は、当該位置推定対象の端末における当該位置推定時点の前の時点での位置に係る端末位置情報に対して算出された当該信頼度にも基づいて、当該位置推定対象の端末に係る端末位置情報を決定する
ことを特徴とする請求項１から７のいずれか１項に記載の端末位置推定装置。

【請求項9】

前記端末位置決定手段は、当該モデルから導出された決定候補である当該端末位置情報毎に決定の信頼度を算出し、所定閾値以上の当該信頼度を有する当該端末位置情報が複数存在する場合に、当該位置推定時点の前の時点で決定した端末位置情報に対し、又は当該位置推定時点の過去の時点で決定した端末位置情報群から予測される端末位置情報に対し、所定条件を満たす位置の近さを有する当該端末位置情報を選択して、当該位置推定対象の端末に係る端末位置情報に決定することを特徴とする請求項１から８のいずれか１項に記載の端末位置推定装置。

【請求項10】

前記モデル生成手段は、当該モデルとして、機械学習による端末位置推定モデルを生成することを特徴とする請求項１から９のいずれか１項に記載の端末位置推定装置。

【請求項11】

前記モデル生成手段は、当該モデルとして、複数の当該学習データによって生成される端末位置データベースを生成することを特徴とする請求項１から９のいずれか１項に記載の端末位置推定装置。

【請求項12】

当該物体認識情報は、カメラ、全天球カメラ、デプスカメラ、赤外線カメラ、赤外線測位手段、レーザ測位手段及びサーモグラフィ手段のうちの少なくとも１つからの撮影又は計測情報に基づいて生成されることを特徴とする請求項１から１１のいずれか１項に記載の端末位置推定装置。

【請求項13】

移動し得る電磁波源からの電磁波を受信可能な受信デバイスにおける受信された電磁波の強度に係る情報である受信電磁波強度情報を取得して当該電磁波源の位置又は位置分布を推定する電磁波源位置推定装置であって、
当該電磁波源を保持して移動し得る保持体を、又は当該電磁波源を認識可能な物体認識手段からの物体認識情報を取得可能であり、当該受信デバイスのある時点での当該受信電磁波強度情報、及び当該時点での当該物体認識情報を含む特徴データと、当該電磁波源の当該時点での位置又は位置分布に係る電磁波源位置又は位置分布情報とを含む学習データを生成する学習データ生成手段と、
複数の当該学習データを用いて、電磁波源位置又は位置分布推定用のモデルを生成するモデル生成手段と、
当該モデルを用いて、位置又は位置分布推定時点での当該受信電磁波強度情報と、当該位置又は位置分布推定時点での当該物体認識情報とを含む特徴データに基づき、当該位置又は位置分布推定時点での当該電磁波源に係る位置又は位置分布情報を決定する電磁波源位置決定手段と
を有することを特徴とする電磁波源位置推定装置。

【請求項14】

電磁波源からの電磁波を受信した端末における受信された電磁波の強度に係る情報である受信電磁波強度情報を取得して当該端末の位置を推定する装置に搭載されたコンピュータを機能させるプログラムであって、
当該端末の付されている可能性がある移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得可能であり、当該端末のある時点での当該受信電磁波強度情報、及び当該時点での当該物体認識情報を含む特徴データと、当該端末の当該時点での位置に係る端末位置情報とを含む学習データを生成する学習データ生成手段と、
複数の当該学習データを用いて、端末位置推定用のモデルを生成するモデル生成手段と、
当該モデルを用いて、位置推定対象の端末から取得した位置推定時点での当該受信電磁波強度情報と、当該位置推定時点での当該物体認識情報とを含む特徴データに基づき、当該位置推定対象の端末に係る端末位置情報を決定する端末位置決定手段と
としてコンピュータを機能させることを特徴とする端末位置推定プログラム。

【請求項15】

電磁波源からの電磁波を受信した端末における受信された電磁波の強度に係る情報である受信電磁波強度情報を取得して当該端末の位置を推定する装置に搭載されたコンピュータによる端末位置推定方法であって、
当該端末の付されている可能性がある移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得可能であり、当該端末のある時点での当該受信電磁波強度情報、及び当該時点での当該物体認識情報を含む特徴データと、当該端末の当該時点での位置に係る端末位置情報とを含む学習データを生成するステップと、
複数の当該学習データを用いて、端末位置推定用のモデルを生成するステップと、
当該モデルを用いて、位置推定対象の端末から取得した位置推定時点での当該受信電磁波強度情報と、当該位置推定時点での当該物体認識情報とを含む特徴データに基づき、当該位置推定対象の端末に係る端末位置情報を決定するステップと
を有することを特徴とする端末位置推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

端末における電磁波の受信状況に基づき、当該端末の位置を推定する技術に関する。

【背景技術】

【0002】

従来、受信された複数の無線信号（電磁波）を用いて受信端末の位置を推定する技術が普及してきた。例えば、屋外におけるＧＰＳ（Global Positioning System）や、屋内における無線ＬＡＮ（Local Area Network）等による測位技術は、現在広く利用されている。

【0003】

このような電磁波を用いた測位技術では、衛星、基地局又はアクセスポイント等の電磁波発信源（電磁波源）と端末との間に、電磁波の伝播に影響を与える物体が存在するか否かが、測位結果を大きく左右する。例えば、電磁波を遮蔽する遮蔽物が介在する場合、電磁波が端末に直接届く場合に比べて端末での受信電磁波強度が低下し、電磁波源と端末との距離が実際よりも大きく見積もられることによって、位置推定の誤差が増大してしまう。

【0004】

このような問題に対する技術として、例えば非特許文献１には、フィンガープリント（Fingerprint，位置指紋法）とデッドレコニング（Dead Reckoning，自律航法，相対的自己位置推定法）とを併用した屋内位置推定技術が開示されている。

【0005】

この技術では、各電磁波発信源からの電磁波の受信強度を事前に学習し、電磁波受信強度と位置との関係に係るデータベースを予め作成しておく。次いで、このデータベースを利用した測位の際、遮蔽物の存在により受信電磁波強度が劣化することに起因して複数の端末位置候補が推定された場合に、デッドレコニングを利用して１時刻前の位置座標に近い端末位置候補を選択し、端末位置に採用している。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】上田紘平，鈴木瑛識，重野寛，「Fingerprintとデッドレコニングを併用した屋内位置推定手法に関する検討」，情報処理学会 研究報告マルチメディア通信と分散処理（ＤＰＳ），Ｖｏｌ.２０１４−ＤＰＳ−１６０（８），１−８，２０１４年

【発明の概要】

【発明が解決しようとする課題】

【0007】

以上に説明した非特許文献１の技術のような従来技術では、電磁波の伝播に影響を与える物体を考慮してはいるものの、考慮される物体は、あくまで位置の固定された静的な遮蔽物・障害物である。しかしながら、実際の端末位置推定の現場では、電磁波（無線信号）伝播の障害となる物体として、人物を無視できない場合も少なくない。

【0008】

例えば、現在、様々な分野の店舗において、端末を所持した店員や来店客の動線を正確に把握するニーズが高まっている。この場合、店内に複数のビーコン発信源（以下、ビーコンと略称）を配置して端末位置を推定することが一般的である。ここで、店内を移動する人物は当然に、これらのビーコンによる端末位置推定に非常に大きな影響を与える。

【0009】

しかしながら、例えば非特許文献１に記載された技術においては、予め作成されるデータベースはあくまで、事前に設置された静的な障害物が存在する環境に適用されるものであり、明らかに、人物のような動的な遮蔽物が存在する環境に対して適用可能とはなっていない。このように、人物を含めた移動可能な物体による電磁波伝搬への影響は多大であるにもかかわらず、従来考慮されてこなかったのである。

【0010】

そこで、本発明は、電磁波源からの電磁波に影響を与える移動可能な物体が存在し得る状況においても、当該電磁波を受信した端末の位置をより精度良く推定することができる装置、プログラム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明によれば、電磁波源からの電磁波を受信した端末における受信された電磁波の強度に係る情報である受信電磁波強度情報を取得して当該端末の位置を推定する端末位置推定装置であって、
当該端末の付されている可能性がある移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得可能であり、当該端末のある時点での当該受信電磁波強度情報、及び当該時点での当該物体認識情報を含む特徴データと、当該端末の当該時点での位置に係る端末位置情報とを含む学習データを生成する学習データ生成手段と、
複数の当該学習データを用いて、端末位置推定用のモデルを生成するモデル生成手段と、
当該モデルを用いて、位置推定対象の端末から取得した位置推定時点での当該受信電磁波強度情報と、当該位置推定時点での当該物体認識情報とを含む特徴データに基づき、当該位置推定対象の端末に係る端末位置情報を決定する端末位置決定手段と
を有する端末位置推定装置が提供される。

【0012】

この本発明による端末位置推定装置の一実施形態として、当該物体認識情報は、認識した物体の位置に係る物体位置情報であり、
端末位置決定手段は、当該位置推定時点での当該物体位置情報と、当該モデルから導出された決定候補である当該端末位置情報とを比較し、互いの位置の近さに基づいて、当該位置推定対象の端末に係る端末位置情報を決定することも好ましい。

【0013】

また、この実施形態において、端末位置決定手段は、当該位置推定時点での当該物体位置情報のうちで、当該物体位置情報に係る位置と、当該モデルから導出された決定候補である当該端末位置情報に係る位置との距離が最も小さい又は所定閾値以下である物体位置情報を、当該位置推定対象の端末に係る端末位置情報に決定することも好ましい。

【0014】

さらに、上記の実施形態において、端末位置決定手段は、当該モデルから導出された決定候補である当該端末位置情報のうちで、当該端末位置情報に係る位置と、当該位置推定時点での当該物体位置情報に係る位置との距離が最も小さい又は所定閾値以下である端末位置情報を、当該位置推定対象の端末に係る端末位置情報に決定することも好ましい。

【0015】

またさらに、上記の実施形態において、端末位置決定手段は、当該モデルから導出された決定候補である当該端末位置情報毎に決定の信頼度を算出し、当該信頼度が所定閾値以上である当該端末位置情報のみを、当該位置推定時点での当該物体位置情報と比較して、当該位置推定対象の端末に係る端末位置情報を決定することも好ましい。

【0016】

また、本発明による端末位置推定装置の他の実施形態として、
端末位置決定手段は、当該モデルから導出された決定候補である当該端末位置情報毎に決定の信頼度を算出し、
学習データ生成手段は、決定した当該端末位置情報が所定閾値以上の当該信頼度を有する場合、当該端末位置情報を正解の端末位置情報として含む当該学習データを生成し、
モデル生成手段は、当該学習データを用いて当該モデルを生成又は更新する
ことも好ましい。

【0017】

さらに、本発明による端末位置推定装置の更なる他の実施形態として、
学習データ生成手段は、当該端末における当該時点の前の時点での位置に係る端末位置情報、及び／又は当該端末における当該時点の前の時点での当該受信電磁波強度情報を更に含む当該学習データを生成し、
端末位置決定手段は、当該位置推定対象の端末における当該位置推定時点の前の時点での位置に係る端末位置情報、及び／又は当該位置推定対象の端末における当該位置推定時点の前の時点での当該受信電磁波強度情報を更に含む特徴データに基づいて、当該位置推定対象の端末に係る端末位置情報を決定することも好ましい。

【0018】

さらにまた、本発明による端末位置推定装置の更なる他の実施形態として、
端末位置決定手段は、当該モデルから導出された決定候補である当該端末位置情報毎に決定の信頼度を算出し、
学習データ生成手段は、生成する学習データに含まれる当該端末位置情報に係る時点の前の時点に係る端末位置情報に対して算出された当該信頼度を更に含む当該学習データを生成し、
端末位置決定手段は、当該位置推定対象の端末における当該位置推定時点の前の時点での位置に係る端末位置情報に対して算出された当該信頼度にも基づいて、当該位置推定対象の端末に係る端末位置情報を決定することも好ましい。

【0019】

また、本発明による端末位置推定装置の更なる他の実施形態として、端末位置決定手段は、当該モデルから導出された決定候補である当該端末位置情報毎に決定の信頼度を算出し、所定閾値以上の当該信頼度を有する当該端末位置情報が複数存在する場合に、
（ａ）当該位置推定時点の前の時点で決定した端末位置情報に対し、又は
（ｂ）当該位置推定時点の過去の時点で決定した端末位置情報群から予測される端末位置情報に対し、
所定条件を満たす位置の近さを有する当該端末位置情報を選択して、当該位置推定対象の端末に係る端末位置情報に決定することも好ましい。

【0020】

さらに、本発明による端末位置推定装置のモデル生成手段は、当該モデルとして、機械学習による端末位置推定モデルを生成することも好ましい。また、複数の当該学習データによって生成される端末位置データベースを生成することも好ましい。

【0021】

また、本発明による端末位置推定装置において、当該物体認識情報は、カメラ、全天球カメラ、デプスカメラ、赤外線カメラ、赤外線測位手段、レーザ測位手段及びサーモグラフィ手段のうちの少なくとも１つからの撮影又は計測情報に基づいて生成されることも好ましい。

【0022】

本発明によれば、また、移動し得る電磁波源からの電磁波を受信可能な受信デバイスにおける受信された電磁波の強度に係る情報である受信電磁波強度情報を取得して当該電磁波源の位置又は位置分布を推定する電磁波源位置推定装置であって、
当該電磁波源を保持して移動し得る保持体を、又は当該電磁波源を認識可能な物体認識手段からの物体認識情報を取得可能であり、当該受信デバイスのある時点での当該受信電磁波強度情報、及び当該時点での当該物体認識情報を含む特徴データと、当該電磁波源の当該時点での位置又は位置分布に係る電磁波源位置又は位置分布情報とを含む学習データを生成する学習データ生成手段と、
複数の当該学習データを用いて、電磁波源位置又は位置分布推定用のモデルを生成するモデル生成手段と、
当該モデルを用いて、位置又は位置分布推定時点での当該受信電磁波強度情報と、当該位置又は位置分布推定時点での当該物体認識情報とを含む特徴データに基づき、当該位置又は位置分布推定時点での当該電磁波源に係る位置又は位置分布情報を決定する電磁波源位置決定手段と
を有する電磁波源位置推定装置が提供される。

【0023】

本発明によれば、さらに、電磁波源からの電磁波を受信した端末における受信された電磁波の強度に係る情報である受信電磁波強度情報を取得して当該端末の位置を推定する装置に搭載されたコンピュータを機能させるプログラムであって、
当該端末の付されている可能性がある移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得可能であり、当該端末のある時点での当該受信電磁波強度情報、及び当該時点での当該物体認識情報を含む特徴データと、当該端末の当該時点での位置に係る端末位置情報とを含む学習データを生成する学習データ生成手段と、
複数の当該学習データを用いて、端末位置推定用のモデルを生成するモデル生成手段と、
当該モデルを用いて、位置推定対象の端末から取得した位置推定時点での当該受信電磁波強度情報と、当該位置推定時点での当該物体認識情報とを含む特徴データに基づき、当該位置推定対象の端末に係る端末位置情報を決定する端末位置決定手段と
としてコンピュータを機能させる端末位置推定プログラムが提供される。

【0024】

本発明によれば、さらにまた、電磁波源からの電磁波を受信した端末における受信された電磁波の強度に係る情報である受信電磁波強度情報を取得して当該端末の位置を推定する装置に搭載されたコンピュータによる端末位置推定方法であって、
当該端末の付されている可能性がある移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得可能であり、当該端末のある時点での当該受信電磁波強度情報、及び当該時点での当該物体認識情報を含む特徴データと、当該端末の当該時点での位置に係る端末位置情報とを含む学習データを生成するステップと、
複数の当該学習データを用いて、端末位置推定用のモデルを生成するステップと、
当該モデルを用いて、位置推定対象の端末から取得した位置推定時点での当該受信電磁波強度情報と、当該位置推定時点での当該物体認識情報とを含む特徴データに基づき、当該位置推定対象の端末に係る端末位置情報を決定するステップと
を有する端末位置推定方法が提供される。

【発明の効果】

【0025】

本発明の端末位置推定装置、プログラム及び方法によれば、電磁波源からの電磁波に影響を与える移動可能な物体が存在し得る状況においても、当該電磁波を受信した端末の位置をより精度良く推定することが可能となる。

【図面の簡単な説明】

【0026】

【図1】本発明による端末位置推定装置を含む端末位置推定システムの一実施形態を示す模式図である。

【図2】本発明による端末位置推定装置の一実施形態における機能構成を示す機能ブロック図である。

【図3】学習フェーズ、位置推定フェーズ及びモデル更新フェーズを含む、本発明による端末位置推定処理を概略的に示す模式図である。

【図4】本発明による端末位置推定方法における位置推定フェーズの一実施形態を概略的に示すフローチャートである。

【発明を実施するための形態】

【0027】

以下、本発明の実施形態について、図面を用いて詳細に説明する。

【0028】

［端末位置推定システム］
図１は、本発明による端末位置推定装置を含む端末位置推定システムの一実施形態を示す模式図である。

【0029】

図１に示した、本実施形態の端末位置推定システムは、店員や来店客等によって所持された少なくとも１つの端末３における１つの店舗内での刻々の位置を推定し、当該端末３を所持する店員や来店客等の店内での動線を把握することを可能にする。なお本実施形態において、位置推定領域である店舗内には、机、椅子、パーティション、展示台や、カウンタといった電磁波伝搬に影響を及ぼす物体が配置されている。

【0030】

具体的に、この端末位置推定システムは、
（ａ）店内の複数位置に設置されており、全方位に所定の時間間隔で電磁波を発信するビーコン２と、
（ｂ）人物等の移動可能な物体を撮影可能であり、撮影した画像の情報を、無線又は有線の通信ネットワークを介して時系列で送信可能な１つ又は複数のカメラ４と、
（ｃ）カメラ４から通信ネットワークを介して取得される時系列の画像群から「物体認識情報」を生成し、さらに端末３から無線通信ネットワークを介して直接（又はアクセスポイント等の中継装置を経て）「受信電磁波情報」を取得し、生成・取得したこれらの情報に基づき、機械学習によって端末３の刻々の位置を推定し、店内での動線を決定する端末位置推定装置１と
を備えている。

【0031】

ここで、ビーコン２は、例えば、全方位にアドバタイズパケット（advertisement packet）を100〜1000msecの間隔で発信するＢＬＥ（Bluetooth（登録商標） Low Energy）仕様のビーコンとすることができる。当然、ビーコン２はこれに限定されるものではない。例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮのアクセスポイントとすることも可能であり、その他、端末３がそこからの電磁波（電波，赤外線等）を受信し「受信電磁波情報」を生成することができるものであるならば、種々の電磁波源（電波源，赤外線源等）がビーコン２として採用可能である。

【0032】

さらに、端末３は、本実施形態において、店員や来店客等によって携帯可能なスマートフォン、携帯電話、タブレット型コンピュータ、ウェアラブル端末等であるが、その他、持ち運び可能な通信端末であれば種々のものが該当する。

【0033】

同じく図１において、端末位置推定装置１は、電磁波源であるビーコン２からの電磁波を受信した端末３における「受信電磁波情報」を取得し、端末３の位置を推定する装置であって、具体的にその特徴として、
（Ａ）移動し得る物体を認識可能な物体認識手段からの「物体認識情報」を取得可能であり、端末３のある時点での「受信電磁波情報」、及び当該時点での「物体認識情報」を含む特徴データと、当該端末３の当該時点での位置に係る「端末位置情報」とを含む学習データを生成する学習データ生成部１１４と、
（Ｂ）複数の学習データを用いて、端末位置推定用の「モデル」を生成するモデル生成部１１５と、
（Ｃ）生成した「モデル」を用いて、位置推定対象の端末３から取得した位置推定時点での「受信電磁波情報」と、当該位置推定時点での「物体認識情報」とを含む特徴データに基づき、当該位置推定対象の端末３に係る端末位置情報を決定する端末位置決定部１１６と
を有している。

【0034】

すなわち、端末位置推定装置１は、
＜学習フェーズ＞：「受信電磁波情報」及び「物体認識情報」を含む特徴データと、正解となる「端末位置情報」とを含む学習データから、端末位置推定用の「モデル」を生成し、
＜位置推定フェーズ＞：生成した「モデル」を用いて、位置推定時点での特徴データに基づき、位置推定対象の端末３の位置を推定する。

【0035】

このように端末位置推定装置１は、移動可能な物体の情報を含む「物体認識情報」にも基づいて生成した「モデル」を用いるので、電磁波源（ビーコン２）からの電磁波に影響を与える移動可能な物体が存在し得る状況においても、当該電磁波を受信した端末３の位置をより精度良く推定することができるのである。

【0036】

ここで本実施形態において、位置推定領域である店舗内には、机、椅子、パーティション、展示台や、カウンタといった電磁波伝搬に影響を及ぼす物体が配置されている。端末位置推定装置１は、このような予め店内に設置された物体の配置情報や、ビーコン２の配置情報を取得せずとも、端末位置を推定することができるのである。

【0037】

またそれ故に、電磁波源（ビーコン２）が例えば端末３等に搭載されていて移動し得る場合でも（「物体認識情報」によって当該移動し得る電磁波源を識別可能であるか、又は「物体認識情報」で識別された物体が全て電磁波源となっていることが前提とはなるが）、端末３の位置を推定することも可能となる。さらに、端末位置推定装置１では、電磁波源と端末との距離の算出や、受信電磁波の減衰度の算出といった計算量が膨大となり得る演算処理を行うこと無しに、端末位置を推定することができる。

【0038】

また従来、電磁波源と端末との距離や受信電磁波の減衰度の算出を行う場合、通常は物体の２次元配置のみを用いるので、例えば電磁波遮蔽物の高さの影響は考慮できなかった。これに対し、端末位置推定装置１は、物体の３次元的な配置の影響も含めて「モデル」を生成することが可能であり、結果的に、より高い位置推定精度が実現するのである。

【0039】

なお、上記構成（Ａ）の物体認識手段は、後に図２において物体認識部１１１として示すように本装置１内の機能構成部であってもよく、または、外部の装置に設けられたものとすることもできる（この場合、この装置から「物体認識情報」を取得する）。いずれにしてもこの物体認識手段は、当該画像内において認識した移動し得る物体に、映像動線ＩＤ（識別子）を付与して追跡可能となっていてもよい。

【0040】

ただし、この場合においても、端末位置推定装置１は、位置推定対象の端末がいずれの映像動線ＩＤのものと紐づけられるかを勘案することなく、「物体認識情報」をも取り込んだ「モデル」を用いて、この端末の位置を決定することができる。すなわち、端末ＩＤと映像動線ＩＤとのマッチング技術を必要とせず、より簡便に端末位置推定処理を実施することが可能となるのである。

【0041】

さらに、端末位置推定装置１においては、生成した「モデル」に基づけば、例えば位置推定期間の各時刻における特徴データを用い、刻々の端末３の位置を概ねリアルタイムで推定することもできる。これにより、例えば多数の人物が店舗内を動き回ってビーコン２からの電磁波に影響を与えている状況下においても、各端末３の動線をより高い精度で決定することが可能となるのである。

【0042】

ちなみに、上記の「受信電磁波情報」は、例えば、端末３がビーコン２から受信した電磁波における受信信号強度（Received Signal Strength Indicator, ＲＳＳＩ）を当該ビーコン２のＩＤ（及び受信時刻）に対応付けた情報とすることができる。また、「物体認識情報」は、例えば、時刻毎における認識した人物の足元位置座標とすることができる。

【0043】

さらに、他の実施形態として、「物体認識情報」は、全天球（全方位）カメラ、デプスカメラ、赤外線カメラ、赤外線測位手段、レーザ測位手段及びサーモグラフィ手段のうちの少なくとも１つからの撮影又は計測情報に基づいて生成されるものであってもよい。例えば、デプスカメラによって生成される（対象の各画素の）デプス値情報を画像データ化し、カメラ４による撮影画像と同様にして利用してもよい。いずれにしても、端末位置推定装置１は、何らかの手段をもって生成された「物体認識情報」を取得して、端末３の位置推定に利用することができるのである。

【0044】

またここで、「物体認識情報」に係る認識対象としての移動し得る物体には、人物、動物、乗り物や、その他移動可能な物理対象等、物体認識手段によって認識可能であれば（例えばカメラ４によって撮影可能であれば）様々なものが該当する。さらに、撮影される場所も、特に限定されるものではなく、例えば、店舗内の他にも、会社、学校、ホールや、家屋の内部といった屋内であってもよく、さらには、観客、通勤者、買い物客、労働者、歩行者や、ランナー等が映り得る屋外であってもよい。

【0045】

また、更なる他の実施形態として、端末３が上記構成（Ａ）〜（Ｃ）を備えていて、自らの位置、さらには周囲の他の端末３の位置を推定する端末位置推定装置として機能してもよい。この場合、例えばこの端末３に内蔵された（刻々の位置の決定した）カメラを用いて「物体認識情報」を生成することも可能となる。

【0046】

さらにここで、以上に説明した端末位置推定装置１の発明と密接に関連する発明（電磁波源位置推定装置１’）を説明する。この電磁波源位置推定装置１’は、移動し得る電磁波源３’からの電磁波（電波，赤外線等）を受信可能な受信デバイスにおける「受信電磁波情報」を取得して当該電磁波源の位置又は位置分布を推定する装置であって、
（Ａ’）電磁波源３’を保持して移動し得る保持体（例えば人物）を、又は電磁波源３’自体を認識可能な物体認識手段からの「物体認識情報」を取得可能であり、受信デバイスのある時点での「受信電磁波情報」、及び当該時点での「物体認識情報」を含む特徴データと、電磁波源３’の当該時点での位置又は位置分布に係る「電磁波源位置又は位置分布情報」とを含む学習データを生成する学習データ生成部１１４’と、
（Ｂ’）複数の学習データを用いて、電磁波源位置又は位置分布推定用の「モデル」を生成するモデル生成部１１５’と、
（Ｃ’）生成した「モデル」を用いて、位置又は位置分布推定時点での「受信電磁波情報」と、当該位置又は位置分布推定時点での「物体認識情報」とを含む特徴データに基づき、当該位置又は位置分布推定時点での電磁波源３’に係る位置又は位置分布情報を決定する電磁波源位置決定部１１６’と
を有することを特徴としている。

【0047】

このような電磁波源位置推定装置１’によれば、移動し得る電磁波源３’（を携帯した人物）が存在する状況において、電磁波源３’と受信デバイスとの距離等の計算を行うことなく、電磁波源３’の位置又は位置分布をより精度良く推定することができるのである。

【0048】

例えば、工場におけるカメラ４’の設置された作業場において、作業者全員がビーコン（電磁波源３’）を所持して作業を行い、一方、作業場の複数個所に受信デバイスとしての受信機が設置されている場合、電磁波源位置推定装置１’は、これらの設置された受信機における受信電磁波情報と、カメラ４’による物体認識情報とから、各作業者の作業場での分布状況を刻々と把握することも可能となるのである。

【0049】

ちなみに、電磁波源位置推定装置１’における物体認識手段、学習データ生成部１１４’、モデル生成部１１５’、「モデル」、及び端末位置決定部１１６’はそれぞれ、端末位置推定装置１における（この後も詳細に説明を行う）同名の又は対応する名称の機能構成部や構成要素と対応するものとなっている。また、更なる変更態様として、このような電磁波源位置推定装置１’及び上述した端末位置推定装置１において、電磁波の代わりに超音波（不可聴音）を用いて同様の位置推定を実施することも可能となっている。

【0050】

［端末位置推定装置の構成・機能］
図２は、本発明による端末位置推定装置の一実施形態における機能構成を示す機能ブロック図である。

【0051】

図２によれば、端末位置推定装置１は、カメラ４や端末３等と通信接続可能な通信インタフェース１０１と、受信電磁波情報蓄積部１０２と、物体認識情報蓄積部１０３と、端末動線情報蓄積部１０４と、ディスプレイ・キーボード（ＤＰ・ＫＢ）１０５と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、本発明による端末位置推定プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この端末位置推定プログラムを実行することによって、端末位置推定処理を実施する。

【0052】

さらに、プロセッサ・メモリは、機能構成部として、物体認識部１１１と、物体認識情報管理部１１２と、受信電磁波情報管理部１１３と、学習データ生成部１１４と、モデル生成部１１５と、物体位置比較部１１６ａを含む端末位置決定部１１６と、端末動線情報管理部１１７と、入出力制御部１１８と、通信制御部１２１とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された端末位置推定プログラムの機能と捉えることができ、また、図２における端末位置推定装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による端末位置推定方法の一実施形態としても理解される。

【0053】

同じく図２において、カメラ４は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。また、カメラ４又は（図示していない）カメラ制御装置は、カメラ４で撮影された物体の画像を含む撮影画像データを生成し、当該情報を時系列に又はバッチで端末位置推定装置１に送信する機能を有する。

【0054】

通信インタフェース１０１は、カメラ４又はカメラ制御装置から時系列の画像群である撮影画像データを、有線又は無線の通信ネットワークを介して受信する。取得された撮影画像データ（画像ファイル）は、物体認識部１１１に出力される。また、通信インタフェース１０１は、端末３から、無線通信ネットワークを介して直接（又はアクセスポイント等の中継装置を経て）受信電磁波情報を受信する。または、端末３とＵＳＢ（Universal Serial Bus）等を介して有線接続された上で、受信電磁波情報を受け取ってもよい。

【0055】

通信インタフェース１０１は、さらに、端末位置推定の結果として生成された動線情報を外部の情報処理装置に送信してもよい。なお、通信インタフェース１０１におけるこれらの情報の送受信は、通信制御部１２１によって制御され、適切なタイミングで情報の授受が行われる。

【0056】

物体認識部１１１は本実施形態において、カメラ４で撮影された画像に係る撮影画像データに基づき、位置推定領域である店舗内に滞在又は移動する人物を認識し、「物体（人物）認識情報」を生成する。ここで、生成された「物体（人物）認識情報」は、認識処理の各時刻における、認識された１人又は複数の人物における足元位置の２次元（又は３次元）座標値を含むものとすることができる。なお、物体認識部１１１における物体（人物）認識処理は、公知である種々の手法を採用して実施可能である。

【0057】

例えば、カメラ４として全方位カメラを用いる場合、非特許文献である、小林達也，加藤晴久，菅野勝，「単眼全方位カメラを用いた遮蔽に頑健な人物動線追跡手法の提案」，信学技報，vol.116，no.411，PRMU2016-146，２０１７年，３２１〜３２６頁に記載された手法を用いて、物体（人物）認識情報を生成することが可能である。

【0058】

具体的に、この手法では、人物検出処理及び人物追跡処理を画像フレーム毎に実行し、個々の人物の各時刻での位置を推定し当該人物の追跡を行う。このうち人物検出処理では、背景差分技術を用いて抽出された領域と事前に用意された３Ｄ人物モデルとのマッチングを行い、画像中における人物領域を検出する。ここで、人物が存在可能な様々な足元位置に予め人物モデルを配置しておき、前景領域と類似度の最も高い輪郭を検索することにより、対応する足元位置を人物位置として検出する。

【0059】

さらに、人物追跡処理では、追跡中の人物と上記の検出結果との対応付けによって、検出された人物領域に追跡中の人物ＩＤを割り当て、一対一の人物マッチングによってマッチングスコアが最大となる要素を選択する。次いで、この人物マッチングの結果に基づき、パーティクルフィルタを用いて個々の人物の追跡位置を推定する。

【0060】

ちなみに、本装置１において物体認識部１１１は設けられず、物体認識情報管理部１１２が、外部の物体認識手段から物体認識情報を取得し管理する実施形態をとることも可能である。いずれにしても、物体認識情報管理部１１２は、取得した刻々の「物体認識情報」を、物体認識情報蓄積部１０３に保存しつつ管理し、学習フェーズでは学習データ生成部１１４へ、さらに位置推定フェーズでは端末位置決定部１１６へ適宜出力する。

【0061】

受信電磁波情報管理部１１３は、端末３から取得された刻々の「受信電磁波情報」を、受信電磁波情報蓄積部１０２に保存しつつ管理し、学習フェーズでは学習データ生成部１１４へ、さらに位置推定フェーズでは端末位置決定部１１６へ適宜出力する。ここで、「受信電磁波情報」は、端末３が受信した電磁波の発信元であるビーコン２毎に、受信時刻、ＲＳＳＩ及びビーコン２のＩＤが対応付けられた情報、又はその一部の情報とすることができる。

【0062】

学習データ生成部１１４は、取得した「物体認識情報」及び「受信電磁波情報」を用い、
（ａ）端末３のある時点での「受信電磁波情報」、及び当該時点での「物体認識情報」（物体位置情報）を含む特徴データと、
（ｂ）端末３の当該時点での位置に係る（正解データとしての）「端末位置情報」と
を含む「学習データ」を生成する。

【0063】

図３は、学習フェーズ、位置推定フェーズ及びモデル更新フェーズを含む、本発明による端末位置推定処理を概略的に示す模式図である。学習データ生成部１１４は、一実施形態として、この図３の＜学習フェーズ＞に示されたような特徴データと、正解端末位置データ（端末位置情報）とを学習データとして生成する。

【0064】

具体的に図３に示した特徴データは、多数の位置（位置座標(x_p, y_p)）の各々における、ある時点での
（ａ）RSSI_i（i＝1, 2,・・・, I）：ビーコンiから受信された電磁波のＲＳＳＩ実測値、及び
（ｂ）obstacle_j（j＝1, 2,・・・, J）：カメラ４の撮影画像から導出された移動可能物体（例えば人物）の位置座標値
を含む。図３では、特徴データテーブルにおける各行が１つの特徴データとなっている。

【0065】

ここで、上記の多数の位置（位置座標(x_p, y_p)）としては、例えば、店舗内フロア等の端末位置推定領域をメッシュで区分した上で、当該メッシュの代表位置（例えばメッシュの中心）を採用することも好ましい。この場合、上記（ａ）のRSSI_iも、当該メッシュ代表位置に端末３を実際に置いて計測された値となる。また、このRSSI_iについて、当該位置で複数のＲＳＳＩ実測値が存在する場合、それらの平均値又は中央値を採用することも好ましい。

【0066】

さらに、１つの特徴データにおける上記（ｂ）のobstacle_jの数（J）は、カメラ４の撮影画像に含まれ得る移動可能物体（人物）の数の上限、又は当該上限を超えた値に予め設定することができる。また、カメラ４の撮影画像から識別された物体（人物）の数がJ'（J'＜J）とすると、例えば、obstacle_1からobstacle_J'までの各値は導出された位置座標値とし、obstacle_J'+1からobstacle_Jまではいずれもゼロとしてもよい（但しこの場合、位置座標は、座標値がゼロ値をとることのないように設定される）。または、obstacle_J'+1からobstacle_Jまでの各値として、位置座標値がとり得ない、かけ離れた所定値を設定してもよい。

【0067】

さらに変更態様として、カメラ４の撮影画像から例えば人手によって写っている移動可能物体（人物）にＩＤ（例えばid＝1, 2,・・・, J'）を付与し、obstacle_1からobstacle_J'までの各々を、ＩＤで特定される移動可能物体（人物）の位置座標値としてもよい。

【0068】

図２に戻って、モデル生成部１１５は、学習データ生成部１１４で生成された「学習データ」を用いて、端末位置推定用の位置推定モデルを生成する。この位置推定モデルとしては、
（ａ）「学習データ」の機械学習によって構築される位置推定識別器、及び
（ｂ）「学習データ」によって構成される端末位置データベース
のいずれかとすることができる。

【0069】

ここで、上記（ａ）の機械学習に係る位置推定モデルは、例えば、Xgboost（eXtreme gradient boosting)、ランダムフォレスト（Random Forest）、又はニューラルネットワーク（Neural Network）等によって生成してもよい。このうち、Xgboostは、ランダムフォレストと同様ランダムに抽出したサンプルを用いる一方で、連続変数の特徴量でも対応が容易であって、重み調整を繰り返して導出した複数の学習結果を統合して推定精度を向上させ（ブースティング）、外れ値や欠損値にも強いモデルを生成することが可能な機械学習手法である。

【0070】

一方、上記（ｂ）の端末位置データベースは、例えば、端末位置情報（図３では正解端末位置データ）毎に、対応する（その端末位置での）特徴データを対応付けて記録したテーブル情報とすることができる。例えば、データベース生成期間の各時刻において、端末位置推定領域を区分したメッシュの代表位置毎に、当該代表位置における{RSSI_i}データ及び{obstacle_j}データを対応付けて記録したテーブルデータであってもよい。

【0071】

いずれにしても、モデル生成部１１５は、上記（ａ）や（ｂ）のような位置推定モデルを生成する際、例えば店舗であれば店舗内に設置された机や棚等の電磁波遮蔽物の具体的なレイアウト情報を必要とせず、また、設置されたビーコン２の具体的な配置情報を取り入れる必要もない。さらに、ＲＳＳＩの実測値に基づいて学習フェーズを進めるので、例えば電磁波源と端末との３次元的な距離や電磁波遮蔽物の３次元的な大きさを算定することなしに、机や棚等の設置された電磁波遮蔽物や移動可能物体（例えば人物）の３次元的な影響（例えば高さによる遮蔽の度合い）を包含した位置推定モデルを生成することが可能となる。その結果、より高い位置推定精度が実現するのである。

【0072】

同じく図２において、端末位置決定部１１６は、上述したように生成された位置推定モデルを用いて、位置推定対象の端末３から取得した位置推定時点での「受信電磁波情報」と、当該位置推定時点での「物体認識情報」（物体位置情報）とを含む特徴データに基づき、当該位置推定対象の端末３に係る端末位置情報を決定する。

【0073】

具体的に位置推定モデルが上記（ａ）の位置推定識別器である場合、端末位置決定部１１６は、一実施形態として、図３の＜位置推定フェーズ＞に示されたような、時刻T（t＝T）における位置推定対象の端末３での位置推定時取得データ（特徴データ）を、位置推定モデルに入力させ、この位置推定モデルからの出力を、時刻Tにおける端末３の推定位置として取得する。

【0074】

ここで、図３に示した位置推定時取得データ（特徴データ）は、位置推定期間の各時刻（t＝T, T-1, T-2,・・・（簡略化のためデータ生成時間単位を1としている））における、
（ａ）位置推定対象の端末３でのRSSI_i（i＝1, 2,・・・, I）：ビーコンiから受信された電磁波のＲＳＳＩ実測値、及び
（ｂ）obstacle_j（j＝1, 2,・・・, J）：カメラ４の撮影画像から導出された移動可能物体（例えば人物）の位置座標値
を含み、図３では、位置推定時取得データテーブルにおける各行が１つの位置推定時取得データ（特徴データ）となっている。

【0075】

位置推定モデルは、このような位置推定時取得データを入力して、位置推定期間の各時刻（t＝T, T-1, T-2,・・・）における端末位置推定値としての「推定位置座標」、及び当該位置座標値における「信頼度」（確率）を出力するのである。ここで、「推定位置座標」の「信頼度」は、出力された位置推定値の中で最も高い値となっている。

【0076】

一方、位置推定モデルが上記（ｂ）の端末位置データベースである場合、端末位置決定部１１６は、上述したような位置推定時取得データ（特徴データ）と、この端末位置データベースの各レコードとを比較し（両者の類似度を算出し）、最も類似するレコードを決定して当該レコードの位置座標を端末位置推定値に決定する。

【0077】

具体的に、端末位置データベースのレコード（行）pにおける、
（ａ）位置座標を、x_p, y_pとし、
（ｂ）{RSSI_i}を、f_p,1, f_p,2,・・・, f_p,Iとし、
（ｃ）{obstacle_j}を、f_p,I+1, f_p,I+2,・・・, f_p,I+Jとし、
一方で、位置推定時取得データの時刻Tにおける、
（ｄ）{RSSI_i}を、g_T,1, g_T,2,・・・, g_T,Iとし、
（ｅ）{obstacle_j}を、g_T,I+1, g_T,I+2,・・・, g_T,I+Jとする。

【0078】

この場合に、時刻Tの位置推定時取得データとレコードpとの距離、すなわち類似度dT_pは、次式
（１） dT_p＝（(g_T,1−f_p,1)²＋(g_T,2−f_p,2)²＋・・・＋(g_T,I+J−f_p,I+J)²）^0.5
を用いて算出される。端末位置データベースのレコードの中で、この類似度dT_pが最も小さいレコードにおける上記（ａ）の位置座標(x_p, y_p)を、時刻Tにおける端末位置推定値に決定するのである。この「推定位置座標」(est_x, est_y)をプログラミング言語で記述すると、例えば、
（２） est_x＝database[argmin{dT_p}][x_p]
est_y＝database[argmin{dT_p}][y_p]
となる。

【0079】

ここで、「推定位置座標」の類似度（距離）dT_pは、当該推定位置座標における反信頼度となっており、例えばこの距離の逆数1／dT_p等、この距離dT_pの単調減少関数を「信頼度」とすることができる。

【0080】

図２に戻り、次に、端末位置推定処理の他の実施形態を説明する。本実施形態では、位置推定モデルから、推定位置候補である「端末位置情報」が複数出力（決定）される状況を考える。例えば、位置推定モデルから推定位置として出力（決定）される「端末位置情報」のうち、所定閾値以上の信頼度を有するものを推定位置候補として選択することができる。

【0081】

この場合に、端末位置決定部１１６の物体位置比較部１１６ａは、位置推定時点での「物体位置情報」と、位置推定モデルから導出された推定位置候補である「端末位置情報」とを比較し、互いの位置の近さ（すなわち距離）を算出する。端末位置決定部１１６は、この互いの位置の近さ（距離の小ささ）に基づいて、位置推定対象の端末３の端末位置を推定するのである。

【0082】

位置推定対象の端末３は、カメラ４による撮影画像に写っており、当該撮影画像から導出される「物体位置情報」のいずれかに係る位置、又はその近傍の位置に存在している可能性が非常に高い。したがって、推定位置候補である「端末位置情報」と「物体位置情報」との位置の近さ（距離の小ささ）に基づいて位置推定対象の推定位置を求めることによって、より精度の高い位置推定が可能となるのである。

【0083】

より具体的に、端末位置決定部１１６は、位置推定時点での「物体位置情報」のうちで、当該「物体位置情報」に係る位置と、位置推定モデルから導出された決定候補である「端末位置情報」に係る位置との距離が最も小さい又は所定閾値以下である「物体位置情報」を、位置推定対象の端末３に係る推定位置に決定してもよい。

【0084】

さらに変更態様として、端末位置決定部１１６は、位置推定モデルから導出された決定候補である「端末位置情報」のうちで、当該「端末位置情報」に係る位置と、位置推定時点での「物体位置情報」に係る位置との距離が最も小さい又は所定閾値以下である「端末位置情報」を、位置推定対象の端末３に係る推定位置に決定することも好ましい。

【0085】

また、更なる変更態様として、端末位置決定部１１６は、位置推定モデルから導出された推定位置候補の「端末位置情報」のうちで、信頼度が所定閾値以上である「端末位置情報」のみを、位置推定時点での「物体位置情報」と比較して、位置推定対象の端末３に係る推定位置を決定してもよいのである。

【0086】

同じく図２において、端末動線情報管理部１１７は、端末位置決定部１１６において決定された、位置推定期間中の時刻毎の端末３の推定位置座標を収集し、端末３（を所持するユーザ）の識別子ID毎に、収集した推定位置座標の時系列情報を対応付けた動線情報を生成する。

【0087】

また、端末動線情報管理部１１７は、生成した動線情報を、端末動線情報蓄積部１０４に保存してもよく、入出力制御部１１８を介してディスプレイ１０５に表示することも好ましく、通信制御部１２１及び通信インタフェース１０１を介して、外部の情報処理装置に送信してもよい。なお、これらの動線情報の処理は、予めの設定通りに適宜実行されてもよく、または、例えばキーボード１０５を介したユーザによる処理命令を受け取って実行されてもよい。

【0088】

次に、図３を用いて、端末位置推定装置１における＜モデル更新フェーズ＞について説明する。

【0089】

図３の＜モデル更新フェーズ＞に示すように、端末位置決定部１１６は、位置推定モデルから、位置推定期間の時刻毎に、「端末位置情報」と、その信頼度（確率，距離1／dT_pの単調減少関数）とを対応付けたものを取得し、当該「端末位置情報」を推定位置に決定する。

【0090】

ここで、学習データ生成部１１４は、決定された推定位置である「端末位置情報」が所定閾値ThR以上の信頼度Rを有する場合（R≧ThR）に、この「端末位置情報」を正解の端末位置情報として含む学習データを生成する。

【0091】

次いで、モデル生成部１１５（図２）は、この学習データを用いて位置推定モデル（位置推定識別器，端末位置データベース）を更新するのである。これにより、例えば刻々の端末３の位置をオンラインで学習し、当該位置を概ねリアルタイムで且つより高い精度で推定することも可能となる。なお、このような学習データを用いて新たに位置推定モデルを構築してもよい。

【0092】

［端末位置推定処理の他の実施形態］
次に、端末３における位置推定時点の前の時点での位置や、さらには信頼度も考慮した端末位置推定処理の実施形態を説明する。

【0093】

学習データ生成部１１４は、一実施形態として、
（ａ）端末３におけるある時点（t1）の前の時点（例えばt1−1）での位置に係る「端末位置情報」、及び
（ｂ）当該端末３における当該前の時点（例えばt1−1）での「受信電磁波情報」
の両方又はいずれか一方を更に含む学習データを生成し、モデル生成部１１５は、この学習データを用いて位置推定モデルを生成する。

【0094】

次いで、端末位置決定部１１６は、上記の学習データに合わせ、
（ａ）位置推定対象の端末３における位置推定時点（T）の前の時点（例えばT−1）での位置に係る端末位置情報、及び
（ｂ）当該位置推定対象の端末３における当該前の時点（例えばT−1）での「受信電磁波情報」
の両方又はいずれか一方を更に含む特徴データに基づいて、位置推定対象の端末３の端末位置情報を決定するのである。

【0095】

通常、端末３（を所持した人物）の位置は、前の時点での位置との間で相関を示し、特に店舗内のように、人物の移動可能な経路が、机や棚等の設置物によって実質的に限定されている場合、両者は強い相関関係を有することが認められる。したがって、本実施形態のように、前の時点での位置も学習又はデータベース化することによって、位置推定精度を更に向上させることが可能となる。

【0096】

また、前の時点での位置を利用する他の実施形態として、端末位置決定部１１６は、位置推定時点（T）において所定閾値ThR以上の信頼度R（≧ThR）を有する「端末位置情報」が複数取得された場合、
（ａ）前の時点（例えばT−1）での推定位置から最も近い「端末位置情報」、
（ｂ）前の時点（例えばT−1）での推定位置との距離が所定閾値未満の「端末位置情報」、又は
（ｃ）位置推定対象の端末３についての前の時点（例えばT−1）までの軌跡情報から、（例えば過去の時点間の位置変化ベクトルの平均分だけ変位したと仮定して）位置推定時点（T）での位置を予測し、この予測位置に最も近い、又は当該予測位置からの距離が所定閾値未満の「端末位置情報」
を、推定位置に決定することも好ましい。

【0097】

さらに、前の時点での信頼度を利用する実施形態として、学習データ生成部１１４は、生成する学習データに含まれる「端末位置情報」に係る時点（t1）の前の時点（例えばt1−1）に係る「端末位置情報」に対して算出された信頼度を更に含む学習データを生成してもよい。

【0098】

この場合、端末位置決定部１１６は、位置推定対象の端末３における位置推定時点（T）の前の時点（例えばT−1）での位置に係る「端末位置情報」に対して算出された信頼度にも基づいて、位置推定対象の端末３に係る「端末位置情報」を決定することができる。このように信頼度も考慮した位置推定モデルを用いることによって、位置推定精度を更に向上させることも可能となる。

【0099】

また、更なる他の実施形態として、端末位置決定部１１６は、所定閾値ThR以上の信頼度R（≧ThR）を有する（推定位置候補としての）「端末位置情報」が複数存在する場合に、
（ａ）位置推定時点（T）の前の時点（例えばT−1）で決定した「端末位置情報」に対し、又は
（ｂ）位置推定時点（T）の過去の時点（例えばT−1, T−2,・・・）で決定した「端末位置情報」群（軌跡情報）から予測される「端末位置情報」に対し、
所定条件を満たす位置の近さを有する「端末位置情報」を選択して、位置推定対象の端末３に係る「端末位置情報」に決定することも好ましい。

【0100】

［端末位置推定方法］
図４は、本発明による端末位置推定方法における位置推定フェーズの一実施形態を概略的に示すフローチャートである。本フローチャートによれば、最初に、位置推定期間の各時刻（t＝1, 2,・・・, T−2, T−1, T）においてステップＳ１１〜Ｓ１４が実行される。

【0101】

（Ｓ１１）位置推定対象の端末３からＲＳＳＩを取得し、さらにカメラ映像を取得して動的物体（例えば人物）の位置座標を決定する。
（Ｓ１２）同期させたＲＳＳＩと動的物体の位置座標とから、位置推定時刻における特徴データを生成する。

【0102】

（Ｓ１３）予め生成しておいた位置推定モデルを用いて、生成した特徴データに基づき、位置推定対象の端末３の推定位置座標を決定する。
（Ｓ１４）位置推定対象の端末の動線情報（推定位置座標の時系列情報）を生成・更新する。

【0103】

次いで、位置推定期間の終了後、以下のステップＳ１５が実行されて、位置推定期間での位置推定処理が終了する。
（Ｓ１５）生成した端末３の動線情報を出力する。

【0104】

以上に説明したステップＳ１１〜Ｓ１５の処理を、位置推定領域内の各端末３について実行することにより、全ての端末３の動線を把握することも可能となる。なお、本実施形態では、ステップＳ１１におけるＲＳＳＩと動的物体の位置座標とが同期しており、各時刻において当該時刻での状況に適合した特徴データが生成され、その結果、より精度の高い位置推定が実施可能となっているのである。

【0105】

以上詳細に説明したように、本発明によれば、移動可能な物体の情報を含む物体認識情報にも基づいてモデルを生成し、このようなモデルを利用して位置推定を行うので、電磁波源からの電磁波に影響を与える移動可能な物体が存在し得る状況においても、当該電磁波を受信した端末の位置をより精度良く推定することができる。

【0106】

ちなみに、本発明の構成及び方法は、例えば、多数の人物が移動・滞留したり出入りしたりする場を監視する監視システム、さらには、１つの店舗内や、商業・サービス施設内、さらには商店街の街路上における人物の入出店、休憩、観戦、イベント参加や、移動の状況を調査するためのマーケティング調査システム等、様々な系に適用可能である。

【0107】

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0108】

１ 端末位置推定装置
１０１ 通信インタフェース
１０２ 受信電磁波情報蓄積部
１０３ 物体認識情報蓄積部
１０４ 端末動線情報蓄積部
１０５ ディスプレイ・キーボード（ＤＰ・ＫＢ）
１１１ 物体認識部
１１２ 物体認識情報管理部
１１３ 受信電磁波情報管理部
１１４ 学習データ生成部
１１５ モデル生成部
１１６ 端末位置決定部
１１６ａ 物体位置比較部
１１７ 端末動線情報管理部
１１８ 入出力制御部
１２１ 通信制御部
２ ビーコン（電磁波源）
３ 端末
４ カメラ

【図1】

【図2】

【図3】

【図4】