特許 7556098 動線推定方法、動線推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-09-13

(45)【発行日】2024-09-25

(54)【発明の名称】動線推定方法、動線推定システム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240917BHJP

【ＦＩ】

G06Q50/10

【請求項の数】 7

(21)【出願番号】P 2023110131

(22)【出願日】2023-07-04

【審査請求日】2023-07-04

(73)【特許権者】

【識別番号】500149555

【氏名又は名称】株式会社サイバーエージェント

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】米谷 竜

【審査官】星野 裕

(56)【参考文献】

【文献】国際公開第２０１８／１３５１８４（ＷＯ，Ａ１）

【文献】米国特許第１０２１７１２０（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

移動空間における利用者の動線を、コンピューターシステムを用いて推定する方法であって、
前記コンピューターシステムが、
慣性計測装置を搭載し、前記利用者とともに前記移動空間を移動する利用者端末が出力する慣性情報に基づいて、第１の移動軌跡を生成する軌跡生成ステップと、
前記移動空間のレイアウトを記述するフロア情報を取得するフロア情報取得ステップと、
前記利用者が前記移動空間内において立ち寄った訪問位置を取得する訪問位置取得ステップと、
前記フロア情報と前記訪問位置とを含むフロアプランを設定するフロアプラン設定ステップと、
前記第１の移動軌跡を、前記フロアプランに基づいて補正した第２の移動軌跡を出力する軌跡補正ステップと、
を実行し、
前記訪問位置取得ステップでは、時刻不明の前記訪問位置と、時刻を付帯した前記訪問位置とを取得し、
前記軌跡補正ステップでは、前記フロアプランに含まれる前記移動空間における移動可能な領域と、移動が不可能な障害物の位置と、前記訪問位置とに基づいて前記第１の移動軌跡を補正する、
動線推定方法。

【請求項2】

前記移動空間は店舗であり、
前記コンピューターシステムは、前記店舗のＰＯＳシステムと連係し、
利用者が購入した商品に関する情報を、前記ＰＯＳシステムを介して取得する商品情報取得ステップを含み、
前記フロア情報は、前記店舗内の商品棚の位置と、各商品棚に陳列されている商品の情報と、精算に際してＰＯＳシステムに対する所定の操作を行なう場所の位置を含み、
前記訪問位置取得ステップでは、商品情報取得ステップにより取得した商品の情報に基づく時刻不明の前記訪問位置と、前記精算のための所定の操作時刻とに基づく時刻を付帯した前記訪問位置とを取得する、
請求項１に記載の動線推定方法。

【請求項3】

前記フロア情報は、前記利用者端末によって慣性情報の記録が開始される記録開始位置を含み、
前記利用者端末に対する前記慣性情報の記録開始指示を受け付けた時刻と前記記録開始位置とに基づいて時刻を付帯した前記訪問位置を取得する、
請求項２に記載の動線推定方法。

【請求項4】

前記移動空間は巡回点検が実施される施設であり、
前記フロア情報は、前記施設における点検位置を含み、
利用者位置取得ステップでは、前記点検位置を前記訪問位置として取得するとともに、当該訪問位置として、所定の点検位置における所定の装置に対する利用者入力に基づく時刻を付帯した前記訪問位置を含ませる、
請求項１に記載の動線推定方法。

【請求項5】

前記軌跡生成ステップでは、学習済みのニューラルネットワークが前記第１の移動軌跡を推定する、請求項１に記載の動線推定方法。

【請求項6】

時刻を付帯した前記訪問位置には、ＡＩカメラによる撮影画像と、前記利用者端末により受信されたビーコンの少なくとも一方に基づいて取得されたものを含む、請求項１～５のいずれかに記載の動線推定方法。

【請求項7】

１以上の情報処理装置により構成されて、移動空間における利用者の動線を推定するコンピューターシステムであって、
前記情報処理装置として、慣性計測装置を搭載し、前記利用者とともに前記移動空間を移動する利用者端末を含み、
前記移動空間のレイアウトを記述するフロア情報を記憶し、
前記利用者端末が出力する慣性情報に基づいて、第１の移動軌跡を生成する軌跡生成ステップと、
前記利用者が前記移動空間内において立ち寄った訪問位置を取得する訪問位置取得ステップと、
前記フロア情報と前記訪問位置とを含むフロアプランを設定するフロアプラン設定ステップと、
前記第１の移動軌跡を、前記フロアプランに基づいて補正した第２の移動軌跡を出力する軌跡補正ステップと、
を実行し、
前記訪問位置取得ステップでは、時刻不明の前記訪問位置と、時刻を付帯した前記訪問位置とを取得し、
前記軌跡補正ステップでは、前記フロアプランに含まれる前記移動空間における移動可能な領域と、移動が不可能な障害物の位置と、前記訪問位置とに基づいて前記第１の移動軌跡を補正する、
動線推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動線推定方法、及び情報処理システムに関する。より具体的には、慣性計測ユニットを用いた動線推定方法、及び動線推定に関わる情報処理を行うコンピューターシステムに関する。

【背景技術】

【0002】

実環境（「現実社会」「現実世界」とも言う。）において、人の動線（「移動軌跡」と言うこともある。）を計測、あるいは推定することは、例えば、小売店の広告に掲載した商品に対し、その小売店に実際に来店した客が、その商品を購入したり、その商品が置かれている商品棚の前に滞在したりする等、広告の効果を評価するために利用することができる。あるいは、客や店員の動線を推定することで店内のレイアウト（フロアプラン）の策定や改善等に利用することもできる。工場等の施設における巡回点検においては、各点検場所における点検員の滞在時間や、点検の開始から終了までに掛かった時間と経路との関係等を把握することで、点検経路の改善等に利用することができる。

【0003】

そして、人の動線を測定したり、推定したりするための技術(以下、「動線推定技術」と称する。)としては、ＡＩカメラやビーコンを用いたものが知られている。周知のごとく、ＡＩカメラは、監視カメラ等の撮影映像に基づいて動線推定の対象となる利用者とその利用者の移動方向等を検出することで動線を推定するものである。しかしながら、ＡＩカメラを用いた動線推定技術では、カメラの撮影範囲を越えた広域での動線推定が難しい。また、カメラで撮影されることに関する同意の有無にかかわらず、カメラの視界に入った人物すべてが記録されてしまう。特に、同意のない人物については、プライバシーや肖像権の侵害、あるいは、動線推定を行っている環境に立ち入ることや、その環境で提供されているサービスを享受できなくなる、という課題がある。

【0004】

ビーコンは、Bluetooth Low Energy（ＢＬＥ）技術を使用し、スマートフォン等の利用者が携行する利用者端末と通信するための無線信号であり、利用者端末は、ビーコンを検出すると、そのビーコンに含まれている発信装置の識別子を読み取り、所定の処理を実行する。このビーコンを用いた動線推定技術では、ビーコンを受信したときに移動軌跡を推定するための所定の処理を実行するアプリケーションソフトを利用者端末にインストールしておく。利用者端末は、ビーコンを受信すると、ビーコンの信号強度や発信装置までの距離等の情報を取得し、受信位置を特定する。そして、発信装置が設置されている各所にて利用者のスマートフォンがビーコンを受信することで利用者の動線を推定する。しかし、ビーコンが届く範囲には限界があり、ビーコンの受信可能範囲の外での移動推定が難しい。また、動線を高精度に推定しようとすればより多くのビーコンの発信装置を設置する必要がある。なお、以下の特許文献１には、ビーコンを用いた一推定技術について記載されている。

【0005】

一方、本発明が対象とする慣性計測ユニット（Inertial Measurement Unit：以下、「ＩＭＵ」と言うことがある。）を用いて動線を推定する技術は、Inertial Navigation（慣性航法）、あるいはInertial Localization（慣性定位）と呼ばれている（以下、総称して「慣性位置推定技術」と言うことがある。）。ＩＭＵは加速度計とジャイロスコープで構成され、加速度と角速度のそれぞれを３軸方向（３次元）で測定する。慣性位置推定技術は、例えば、ロボット工学の分野を中心に従来から研究が進められてきたものであるが、例えば、利用者端末（スマートフォン、スマートウォッチ、タブレット端末等）に搭載されたＩＭＵを用いることで、利用者の動線を推定する用途にも適用できる。したがって、慣性位置推定技術は、実環境に監視カメラやビーコンの発信装置等、動線推定に必要な装置を実環境に設置する必要がない。そして、慣性位置推定技術では、利用者が利用者端末を携行しつつづける限り加速度と角速度の計測が継続されることから、利用者の移動軌跡を広域で推定することができる。そして近年では、利用者端末のＩＭＵを用いつつ、より高い精度で位置や動線を推定するために、利用者端末によって測定された慣性情報と、実際の移動軌跡との関係をニューラルネットによって学習する手法が注目されている（例えば、非特許文献１，２参照）。

【0006】

なお、以下の非特許文献３には、本発明の実施例に関連する「Scaled Dot-Product Attention」について記載されている。また、非特許文献４には、本発明の適用例に関連して、店舗において、利用者自身がスマートフォンで商品のバーコードをスキャンし、専用レジで会計することができるサービスの利用方法が記載され、非特許文献５、６には当該サービスを利用するためにスマートフォンにインストールされるアプリケーションソフトについて記載され、非特許文献７には、バーコード読み取り装置を備えてレジでの精算作業を不要とした、所謂「スマートカート」と称される買い物カートの一例について記載され、非特許文献８には、現在のスマートカートの動向等について記載されている。また、以下の特許文献２には、ＩＭＵ等のセンサユニットの検出値、及び、地図情報を用い、コンテキストに基づいたマップマッチングを行って歩行者の現在位置を決定する方法について記載されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特許第６６９５０６４号公報

【文献】特開２０２０－０８５７８３号公報

【非特許文献】

【0008】

【文献】Yan, H., Herath, S. and Furukawa, Y.: RoNIN: Robust neural inertial navigation in the wild: Benchmark, evaluations, & new methods, ICRA (2020)

【文献】Herath, S., Caruso, D., Liu, C., Chen, Y. and Furukawa, Y.: Neural inertial localization, CVPR (2022)

【文献】Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J.,Jones, L., Gomez, A. N., Kaiser, L. and Polosukhin, I.:Attention is all you need, NeurIPS (2017).

【文献】イオン株式会社、”レジに並ぶ必要がない「レジゴー」の仕組みとは？使い方やお支払い方法について詳しく解説！”、[online]、[令和５年６月２３日検索]、インターネット＜ＵＲＬ：https://www.aeon.co.jp/column/20230203/＞

【文献】イオン株式会社、”レジゴー”、[online]、[令和５年６月２３日検索]、インターネット＜ＵＲＬ：https://www.regigo.jp/＞

【文献】株式会社物産フードサービス、”事業内容”、[online]、[令和５年６月２３日検索]、インターネット＜ＵＲＬ：https://www.bussanfood.jp/business/＞

【文献】株式会社トライアルホールディングス、”トライアルレジカート”、[online]、[令和５年６月２３日検索]、インターネット＜ＵＲＬ：https://www.trial-net.co.jp/prepaid/regi-cart/＞

【文献】フロンティア・マネジメント株式会社、” 「caper」のスマートカートがもたらす変革（Retail Tech） 海外スタートアップ企業の注目技術１”、[online]、[令和５年６月２３日検索]、インターネット＜ＵＲＬ：https://frontier-eyes.online/caper_retail-tech-series_featured_technology_of_abroad_start-up-companies01/＞

【発明の概要】

【発明が解決しようとする課題】

【0009】

ＩＭＵを搭載した利用者端末は、利用者の歩行や端末に対する多様な操作等に伴って不要な慣性情報（ノイズ）を不可避的に計測してしまう。慣性位置推定技術では、慣性情報の計測開始位置を起点として、移動中に計測される加速度を二回積分して得た距離と、角速度を積分して得た変位角を積算して求めた姿勢とに基づいて、起点から現在の位置までの移動軌跡を推定することを基本原理としていることから、微少なノイズであっても、真の移動軌跡と推定された移動軌跡との誤差が累積されるという問題がある。この問題は、上記特許文献２に記載の方法においても同様である。また、特許文献２に記載の方法では、地図情報を用いて歩行可能な通路に歩行者が存在するものとして歩行者の位置を決定しているため、通路がなかったり、通路の幅が広かったりするような、開けた場所においては歩行者の位置を正確に決定することが難しい。

【0010】

引用文献１や２に記載の慣性位置推定技術では、ノイズを含んだ慣性情報から動線を推定するニューラルネットワークのモデルを教師有り学習により求めた上で、ＩＭＵにより計測された慣性情報をそのモデルに適用している。それにより、ノイズによって発生する誤差を低減させている。しかしながら、ニューラルネットワークの学習時の環境と実環境とでは、移動空間の状況（レイアウトや面積等）が異なる。また、当然のことながら、実際の移動推定の対象である不特定多数の利用者は、学習時に試験の意図を認識している被検者でもない。そのため、実環境における利用者の実際の動線と、その利用者の端末によって測定された慣性情報に基づいてニューラルネットワークが推定した動線とは実は大きく乖離する。

【0011】

そこで本発明は、実環境においても利用者の端末によって測定された慣性情報に基づいて利用者の位置や動線をより正確に推定できる動線推定方法、及びその方法に基づいて動線を推定するためのコンピューターシステムである動線推定システムを提供することを目的としている。

【課題を解決するための手段】

【0012】

上記目的を達成するための本発明の一態様は、移動空間における利用者の動線を、コンピューターシステムを用いて推定する方法であって、
前記コンピューターシステムが、
慣性計測装置を搭載し、前記利用者とともに前記移動空間を移動する利用者端末が出力する慣性情報に基づいて、第１の移動軌跡を生成する軌跡生成ステップと、
前記移動空間のレイアウトを記述するフロア情報を取得するフロア情報取得ステップと、
前記利用者が前記移動空間内において立ち寄った訪問位置を取得する訪問位置取得ステップと、
前記フロア情報と前記訪問位置とを含むフロアプランを設定するフロアプラン設定ステップと、
前記第１の移動軌跡を、前記フロアプランに基づいて補正した第２の移動軌跡を出力する軌跡補正ステップと、
を実行し、
前記訪問位置取得ステップでは、時刻不明の前記訪問位置と、時刻を付帯した前記訪問位置とを取得し、
前記軌跡補正ステップでは、前記フロアプランに含まれる前記移動空間における移動可能な領域と、移動が不可能な障害物の位置と、前記訪問位置とに基づいて前記第１の移動軌跡を補正する、
動線推定方法である。

【0013】

前記移動空間は店舗であり、
前記コンピューターシステムは、前記店舗のＰＯＳシステムと連係し、
利用者が購入した商品に関する情報を、前記ＰＯＳシステムを介して取得する商品情報取得ステップを含み、
前記フロア情報は、前記店舗内の商品棚の位置と、各商品棚に陳列されている商品の情報と、精算に際してＰＯＳシステムに対する所定の操作を行なう場所の位置を含み、
前記訪問位置取得ステップでは、商品情報取得ステップにより取得した商品の情報に基づく時刻不明の前記訪問位置と、前記精算のための所定の操作時刻とに基づく時刻を付帯した前記訪問位置とを取得する、動線推定方法とすることもできる。

【0014】

さらに、前記フロア情報は、前記利用者端末によって慣性情報の記録が開始される記録開始位置を含み、前記利用者端末に対する前記慣性情報の記録開始指示を受け付けた時刻と前記記録開始位置とに基づいて時刻を付帯した前記訪問位置を取得する、動線推定方法としてもよい。

【0015】

前記移動空間は巡回点検が実施される施設であり、
前記フロア情報は、前記施設における点検位置を含み、
利用者位置取得ステップでは、前記点検位置を前記訪問位置として取得するとともに、当該訪問位置として、所定の点検位置における所定の装置に対する利用者入力に基づく時刻を付帯した前記訪問位置を含ませる、動線推定方法としてもよい。

【0016】

軌跡生成ステップでは、学習済みのニューラルネットワークが前記第１の移動軌跡を推定することとしてもよい。

【0017】

上記いずれかに記載の動線推定方法において、時刻を付帯した前記訪問位置には、ＡＩカメラによる撮影画像と、前記利用者端末により受信されたビーコンの少なくとも一方に基づいて取得されたものを含む動線推定方法とすることもできる。

【0018】

本発明の範囲には、１以上の情報処理装置により構成されて、移動空間における利用者の動線を推定するコンピューターシステムも含まれており、当該コンピューターシステムは、
前記情報処理装置として、慣性計測装置を搭載し、前記利用者とともに前記移動空間を移動する利用者端末を含み、
前記移動空間のレイアウトを記述するフロア情報を記憶し、
前記利用者端末が出力する慣性情報に基づいて、第１の移動軌跡を生成する軌跡生成ステップと、
前記利用者が前記移動空間内において立ち寄った訪問位置を取得する訪問位置取得ステップと、
前記フロア情報と前記訪問位置とを含むフロアプランを設定するフロアプラン設定ステップと、
前記第１の移動軌跡を、前記フロアプランに基づいて補正した第２の移動軌跡を出力する軌跡補正ステップと、
を実行し、
前記訪問位置取得ステップでは、時刻不明の前記訪問位置と、時刻を付帯した前記訪問位置とを取得し、
前記軌跡補正ステップでは、前記フロアプランに含まれる前記移動空間における移動可能な領域と、移動が不可能な障害物の位置と、前記訪問位置とに基づいて前記第１の移動軌跡を補正する、
動線推定システムである。

【発明の効果】

【0019】

本発明によれば、実環境においても利用者の端末によって測定された慣性情報に基づいて利用者の位置をより正確に推定できる動線推定方法、及び利用者の動線を推定するための動線推定システムが提供される。その他の効果については以下の記載で明らかにする。

【図面の簡単な説明】

【0020】

【図1】本発明の実施例に係る動線推定方法の概念を示す図である。

【図2】実施例に係る動線推定方法と比較例に係る動線推定方法との比較実験の結果を示す図である。

【図3】実施例に係る動線推定方法と比較例に係る動線推定方法との比較実験の結果を示す図である。

【図4】実施例に係る動線推定方法と比較例に係る動線推定方法との比較実験の結果を示す図である。

【図5】店舗内における利用者の移動軌跡を、実施例に係る動線推定方法により推定する手順を示す図である。

【図6】実施例に係る動線推定方法を店舗に適用したときの情報処理や通信の流れ等を具体的に説明した図である。

【発明を実施するための形態】

【0021】

本発明の実施例について添付図面を参照しつつ説明する。
＝＝＝実施例＝＝＝
本発明の技術思想は、コンピューターシステムを用い、既存の慣性位置推定技術（例えば、上記の非特許文献１に記載されたInertial Navigation等）によって得られた不正確な移動軌跡を、機械学習に頼らずに、実環境を含めた個別のテスト環境となる利用者の移動空間の状況（サイズ、形状、障害物の配置等）を記述した情報と、その情報において実際に利用者が訪問した場所の位置とに基づいて補正する、というものである。なお、以下では、移動空間の状況を記述した情報を「フロア情報」、フロア情報に実際に利用者が訪れた場所の位置（以下、「訪問位置」と言うことがある。）を付帯させた情報を「フロアプラン」又は「フロアプラン情報」と称することとする。
＜実施例に係る動線推定方法の概念＞
図１は、上記技術思想に基づく実施例に係る動線推定方法の概念を示す図である。図１に示したように、慣性位置推定技術の基本原理は、利用者が所持するスマートフォン等の利用者端末１などに搭載されたＩＭＵ１０によって計測された慣性情報に基づいて利用者の移動軌跡（動線）を推定するものである。実施例に係る動線推定方法では、まず、既存の慣性位置推定技術、例えば、上記の非特許文献１や２等に記載の学習済みのニューラルネットワーク２０を用いて移動軌跡３０を得る。しかし、学習時とは異なるテスト環境で既存の慣性位置推定技術を用いて推定される移動軌跡３０は、実際の軌跡に対して誤差が多い。

【0022】

そこで、ニューラルネットワーク２０を用いて得た移動軌跡３０を、任意のテスト環境や実環境等、動線推定の対象となる利用者の移動空間４０についてのフロアプラン４０ａに基づいて補正する。なお、フロアプラン４０ａを構成するフロア情報４０ｂは、移動空間４０の、謂わば「見取り図」となるデータであり、移動空間４０の平面形状、サイズ、及び移動空間４０内に設置されている障害物４１（柱、壁、固定された家具や什器等）を含む情報である。そして、障害物４１が配置されている領域内は、利用者が存在し得ない位置であり、実際の移動軌跡は、移動空間４０の領域内で、かつ障害物４１を避けたものとなる。

【0023】

概略的には、実施例に係る動線推定方法は、ＩＭＵ１０によって連続的に計測される慣性情報を、引用文献１に記載のニューラルネットワーク２０に適用して推定された（不正確な）移動軌跡３０を、図中において白丸で示した利用者が未知の時刻に実際に立ち寄った（立ち寄れる、立ち寄る）場所である訪問位置４２、図中黒丸で示した時刻が既知の訪問位置４３、及び立ち寄れることができない障害物４１の位置等の離散的な情報を手がかりとして補正するニューラルネットワーク５０に適用することで、移動空間４０における利用者の正確な移動軌跡６０を推定するものである。

【0024】

なお、実施例に係る動線推定方法は、例えば、店舗の販売フロアを移動空間４０として、その店舗内を移動する利用者（客）の移動軌跡６０を推定する事例に適用することができる。店舗の販売フロアに対応するフロア情報４０ｂには、柱や壁等の構造物に加え、商品棚等やレジカウンター等が障害物４１として含まれることになる。このフロア情報４０ｂは、商品の入れ替えや改装等に応じ随時更新され、移動軌跡６０を推定する際には最新のフロア情報４０ｂが使用される。

【0025】

一方、店舗におけるＰＯＳ(Point of Sales) システムからは、この店舗で商品を購入した利用者の購買品目が取得できる。そして、この購買品目をフロア情報４０ｂと照合することで、利用者が購入した商品が置いてある商品棚の位置を、利用者が実際に訪問した位置（訪問位置）４２として特定し、時刻不明の訪問位置の情報を得ることができる。さらに、店舗では、場所と時刻が特定できる精算という処理が伴うことから、精算に際してＰＯＳシステムに対する所定の操作を行なう場所（ＰＯＳ端末、レジカウンター等）の位置と精算時刻とに基づいて時刻が既知の訪問位置４３を特定し、時刻を付帯した訪問位置を生成することができる。それにより、フロア情報４０ｂと利用者の訪問位置（４２，４３）とからなるフロアプラン４０ａを設定することができる。
＜動線推定のための計算手法＞
慣性位置推定技術は、ＩＭＵ１０によって測定された慣性情報に基づいて利用者の移動軌跡を推定する。その推定における計算手法は、まず、利用者が活動する環境である移動空間４０として、正規化された有限の二次元空間Ω＝［０，１］^２を考え、ある時区間［１，Ｔ］におけるユーザの移動軌跡Ｐを二次元位置の系列として、Ｐ＝（Ｐ_１，・・・，Ｐ_Ｔ）,Ｐ_ｔ∈Ωと表現する。これに対し、利用者が自由に操作するＩＭＵ１０を搭載した機器（スマートフォン、スマートウオッチ等）から時間的に同期して得られる３次元の加速度と３次元の角速度からなる合計６次元の慣性情報ＭをＭ＝（ｍ_１，・・・，Ｍ_Ｔ），ｍ_ｔ∈Ｒ^６と表す。

【0026】

そして、既存の慣性位置推定技術に基づく従来の動線推定方法では、慣性情報Ｍから移動軌跡Ｐを推定するニューラルネットワークを、あらかじめ収集したデータＤ＝｛Ｍ_ｉ，Ｐ_ｉ｝^Ｎ _ｉ＝１から教師あり学習により求めている。例えば、上記非特許文献２には、非特許文献１に記載のNeural Inertial Navigationによって得られた移動軌跡Ｑと実際の移動軌跡Ｐとの誤差Δを補正するニューラルネットワーク(以下、「補正ネットワーク」と言うことがある。) を求めるNeural Inertial Localizationについて記載されている。このNeural Inertial Localizationでは、上記非特許文献１に示された学習済みのニューラルネットワークを用いて慣性情報Ｍから世界座標系におけるユーザの移動速度を推定するとともに、その移動速度を積分することで得られる移動軌跡Ｑ＝（ｑ_１，・・・，ｑ_Ｔ）が実際の軌跡Ｐと一致するように、誤差Δ＝（δ_１，・・・，δ_Ｔ)，δ_ｔ＝Ｐ_ｔ－ｑ_ｔを予測（補正）している。

【0027】

非特許文献２に記載のNeural Inertial Localizationは、誤差Δを予測する補正ネットワークが得られると、慣性情報Ｍのみから移動軌跡Ｐを推定できるという利点がある。しかし上述したように、この非特許文献２を含めた従来の動線推定方法では、データＤが収集された学習環境と、テスト環境や実環境とで移動空間４０、移動空間内の状況、利用者等が異なる場合、推定した移動軌跡Ｐの推定精度が低下するという問題がある。そこで実施例に係る動線推定方法では、事前に学習データＤを収集するのではなく、個別のテスト環境から得られるフロアプラン情報Ａ＝（Ｘ，Ｘ_{ｔｉｍｅｄ}，Ω_ｏｂｓ）を用いることで、慣性情報Ｍに基づく移動軌跡Ｑに対する補正ネットワークを最適化している。

【0028】

なお、フロアプラン情報ＡにおけるＸは、時刻不明の訪問位置４２であり、具体的な時刻は分からないものの、利用者が確実に訪問したと分かる場所の絶対位置ｘ_ｋの集合として与えられる。例えば、上述した店舗ヘの適用例では、ＰＯＳシステムによる購買履歴とフロア情報４０ｂを照合することで分かる購買した物品が置かれている商品棚の位置や上記の巡回点検業務における点検対象の位置等が挙げられる。そして、時刻不明の訪問位置Ｘは、Ｘ＝（ｘ_ｊ）^Ｊ _ｊ＝１，ｘ_ｊ∈Ωで表される。

【0029】

フロアプラン情報ＡにおけるＸ_{ｔｉｍｅｄ}は、時刻を付帯した訪問位置４３であり、ユーザが確実に訪問した場所の絶対位置ｘ_ｋとその訪問時刻ｔ_ｋからなる。セルフレジ、電子決済により精算されたときのレジカウンター、自動改札等であり、利用者が操作するＩＭＵ１０を搭載した利用者端末１の位置と利用時刻との組である。そして、時刻を付帯した訪問位置Ｘ_{ｔｉｍｅｄ}は、Ｘ_{ｔｉｍｅｄ}＝｛（ｘ_ｋ，ｔ_ｋ）｝^Ｋ _ｋ＝１，（ｘ_ｋ，ｔ_ｋ）∈Ω×Ｎで表される。

【0030】

フロアプラン情報ＡにおけるΩ_ｏｂｓは、時刻に関わらず、利用者が移動する可能性のない位置の集合、すなわち上述した障害物の領域（以下、「障害物レイアウト」と言うことがある。）である。そして障害物レイアウトΩ_ｏｂｓは、Ω_ｏｂｓ⊂Ωと表される。

【0031】

ここで、訪問位置Ｘ_{ｔｉｍｅｄ}については、数百メートルの移動に対して数点程度でしか取得できないものと考える。なお、ＩＭＵ１０からの慣性情報Ｍは、一般的に、数十～数百Ｈｚの周期で随時取得可能である。そして、上記非特許文献１に記載の学習済みモデルによって得られた移動軌跡Ｑの推定結果に加え、テスト環境における訪問位置Ｘ，Ｘ_{ｔｉｍｅｄ}を入力として、補正値Δ＝（δ_１，・・・，δ_Ｔ）を推定する。推定結果Ｑは慣性情報Ｍから推定した速度成分を積分することで算出されており、速度推定の誤差が累積するため、補正値δ_ｔは時刻ｔに依存すると考えられる。また、推定位置ｑ_ｔのいくつかは訪問位置Ｘ∈Ｘ_{ｔｉｍｅｄ}に近づく方向に補正されるべきであり、ＸとＸ_{ｔｉｍｅｄ}の関係が補正ネットワークの中で記述できることが望ましい。そして、以上の想定の下で以下の「数１」における各式（１）～（３）で表現される補正ネットワークを設計した。

【0032】

【数1】

なお、Ｗ_ｑ，Ｗ_ｋ，Ｗ_ｖ∈Ｒ^２×ｄ，Ｈ∈Ｒ^Ｔ×ｄであり、Ｘ∈Ｒ^{（｜Ｘ｜＋｜Ｘｔｉｍｅｄ｜）×２}をＸ及びＸ_{ｔｉｍｅｄ}の要素を行方向に積層した行列とする。ａｔｔｎ（Ｑ^ＴＷ_ｑ，ＸＷ_ｋ，ＸＷ_ｖ）は、上記非特許文献３に記載のScaled Dot-ProductAttentionであり、ｃａｔ（ｑ_ｔ，ｈ_ｔ，ｔ）は、複数ベクトルの結合である。そして、ＭＬＰは多層パーセプトロン（Multilayer perceptron）であり、線形層とＲｅＬＵ（Rectified Linear Unit）関数から構成される。

【0033】

以上のように設計された補正ネットワークでは、移動軌跡Ｑは、Ｐ’＝Ｑ＋Δ，ｐ’_ｔ＝ｑ_ｔ＋δ_ｔに補正される。この補正結果に対してフロアプラン情報Ａを用いた目的関数Ｌ（Ｐ’，Ａ）を定義し、勾配降下法を用いることで補正ネットワークのパラメーターに関して最小化する。具体的にはＬを以下の「数２」における式（４）のように与える。また、式（４）に含まれるＬ_ｖｐ、Ｌ_ｏｂｓ、Ｌ_ｂｄ、Ｌ_ｒｅｇは、それぞれ、以下の「数２」の式（５）～（８）で表される。

【0034】

【数2】

【0035】

上記「数２」の式（４）において、式（５）で示されるＬ_ｖｐは、Ｐ’_ｔと訪問位置Ｘ∈Ｘ∪Ｘ_{ｔｉｍｅｄ}との位置関係に関する項である。このＬ_ｖｐを最小化することで、各訪問位置ｘについて対応する時刻が既知である場合にはその時刻の推定値ｐ’_tをｘに近づけ、時刻が不明である場合には現在の位置ｘと最も近い位置にあるｐ’_ｔをｘに近づけることができる。

【0036】

式（４）において、式（６）示されるＬ_ｏｂｓは障害物との位置関係に関する項であり、補正後の位置ｐ’_ｔが障害物の上にあると損失が大きくなる。そして、Ｌ_ｏｂｓにおけるｄ_ｏｂｓはｐ’_ｔがいずれかの障害物の内部に存在する場合には障害物への最短距離を、いずれの障害物にも衝突しない場合には０を与える関数である。

【0037】

一方、式（４）において、式（７）で示されるＬ_ｂｄに定義されたｄ_Ωは，環境Ω＝［０，１］^２の外部にｐ’_ｔが存在するときに最も近い境界への距離（の二乗）を損失として算出する。それにより、Ｌ_ｂｄは、補正後の位置ｐ’_ｔが環境の外にあると損失が大きくなる。式（４）において、式（８）で示されるＬ_ｒｅｇは正則化項であり、補正δ_ｔによって位置ｐ’_ｔが急激に変化することを抑制する。λ_ｖｐ，λ_ｏｂｓ，λ_ｂｄ，λ_ｒｅｇは、それぞれの項に対する重みであり、経験等に基づいて適宜に設定できる。

【0038】

なお、式（５）のＬ_ｖｐにおけるＷ_ｔはｘ及びｐ’_ｔの時刻から決まる重みであり、以下の「数３」における式（９）のように定義される。

【0039】

【数3】

【0040】

「数３」に示した式（９）において、一行目は、訪問位置ｘについて、時刻ｔ’が既知であれば、同時刻の位置ｐ’_ｔをｘに近づけることを示し、二行目は、近づけなければ何もしないことを示し、三行目は、訪問位置ｘについて、時刻が不明である場合にはその訪問位置ｘに近い位置ｐ’をよりｘに近づけることを示している。
＜実験と評価＞
次に、上記補正ネットワークによる移動軌跡の補正効果を確認するために、上記非特許文献２に記載されているInertial Localization Dataset（以下、「データセット」と言うことがある。」を実験用のデータとして用いた。当該データセットは、University A（大学構内Ａ）、University B（大学構内Ｂ）、及びOffice(オフィス)の三つの異なる環境のもので構成される。University AとUniversity Bは、屋外環境であり、Officeは屋内環境である。そして、各環境のサイズは、University A が62.8×84.4m²、University Bが57.6×147.2m²、及びOfficeが38.4×11.2m²である。そして、データセットは、利用者が利用者端末１として、ＩＭＵ１０を搭載した２台のスマートフォンを操作しながら各環境内を移動することで取得されたものである。

【0041】

概略的には、２台のスマートフォンの一方（以下、「スマートフォンＡ」とする。）は手で持った状態のままとし、Visual Inertial SLAMによる実際の移動軌跡Ｐを記録する。他方のスマートフォン(以下、「スマートフォンＢ」とする。)は、参加者が手で持ったり、ポケットにしまったり、あるいは電話を掛けたりする等、自由に利用される。なお、２台のスマートフォンのいずれにおいても移動軌跡Ｐと時間的に同期しつつ慣性情報Ｍが記録される。そして、上記のデータセットは、移動軌跡と、２台のスマートフォンが記録した全ての慣性情報Ｍのシーケンスとを含む。

【0042】

そして、上記データセットを用いて実施例に係る動線推定方法により移動軌跡を推定するとともに、従来の慣性位置推定技術を用いた動線推定方法を比較例として、実施例と比較例のそれぞれにより推定した移動軌跡を比較する実験を行った。比較例としては、上記非特許文献１に記載のNeural Inertial Navigationと同様の手法（以下、「比較例１」と言うことがある。）と、上記特許文献２に記載のNeural Inertial Localizationと同様の手法（以下、「比較例２」と言うことがある。）とを用いた。また、実施例、及び比較例１、２により移動軌跡Ｐを推定する際には、上記データセットの全てのシーケンスの１／６をテストデータとして用いた。残りの ５／６は、比較例１や比較例２におけるニューラルネットワークの学習用データとして用いた。

【0043】

なお、比較例１は、移動軌跡の推定値Ｑを、ニューラルネットワークを用いて推定する手法であり、Ｐ’＝Ｑとして扱う。そして、上記データセットにおける三つの環境のそれぞれにおいて取得されたスマートフォンＢの慣性情報Ｍを比較例１に記載のニューラルネットワークを用いて移動軌跡を描かせる。また、当該比較例１のニューラルネットワークのモデルは、University A環境の一部を学習データとしている。

【0044】

比較例２は、最新のNeural Inertial Localizationであり、上記比較例１による移動軌跡Ｑをトランスフォーマー型ネットワークにより補正するものである。上述したように、比較例２では、学習とテストで環境が同一の状況を想定し、上記の三つの環境について独立に異なるモデルを学習することで補正ネットワークのモデルを得ている。

【0045】

次に、テストデータとして用いた各テストサンプルに対し、フロアプラン情報Ａを構成する時刻不明の訪問位置Ｘと、時刻を付帯した訪問位置Ｘ_{ｔｉｍｅｄ}とを抽出するとともに、障害物レイアウトΩｏｂｓを設定した。ここでは、環境中において移動可能な領域を細線化し、コーナーを検出することで利用者が訪問可能な場所の集合（University Aからは最大１２点，University Bからは１０点，Officeからは１１点）を時刻不明の訪問位置Ｘとしてあらかじめ算出した。その上で各テストサンプルにおいて、真の移動軌跡から一定距離に存在した場所をＸとして利用した。また、時刻を付帯した訪問位置Ｘ_{ｔｉｍｅｄ}として、 各テストサンプルの真の移動軌跡における開始点と終了点を用いた。障害物のレイアウトΩｏｂｓについては、上記非特許文献１に記載されている手法により、環境の２次元占有マップを生成したのち、障害物の領域を手動で長方形の集合に分割することで設定した。

【0046】

実施例の方法では、移動軌跡の推定値Ｑには比較例２と同様に比較例１の結果を上記のフロアプラン情報Ａに基づいて補正している。なお、実施例における上記の補正ネットワークにおいて、クロス注意モジュールの出力層は３２次元、ＭＬＰの隠れ層は６４次元、及び１２８次元に設定した。目的関数では経験的にλ_ｖｐ＝１．０、λ_ｏｂｓ＝０．０１、λ_ｂｄ＝１．０、λ_ｒｅｇ＝０．０１、Ｔ＝１００．０を設定し、学習率０．００１のＡｄａｍで２０００ステップの最適化を行なった。

【0047】

図２、図３、及び図４は、それぞれ、上記の互いに異なる三つの環境である、University A、University B、及びOfficeに対する実験結果を示しており、図２～図４には、各環境に対応して、移動空間４０を矩形の枠で示し、その移動空間４０内に障害物４１を示す矩形のブロックが配置されてなるフロア情報４０ｂが示されている。各環境の移動空間４０内には、真（実際）の移動軌跡（Ground Truth:以下、「ＧＴ７０」と言うことがある。）、及び比較例１、比較例２、及び実施例の各方法によって推定した移動軌跡（３０，８０，及び６０）が太線の実線で示されている。

【0048】

図２～図４に示したように、比較例１によって推定された移動軌跡３０は、移動空間４０の外への移動を示す等、ＧＴ７０とは大きく乖離している。比較例１の方法で推定された移動軌跡３０を補正した比較例２の方法では、各環境のそれぞれについての補正ネットワークを学習させていることから、比較例１に対してＧＴ７０により近い移動軌跡８０が示されている。しかし、比較例２の補正ネットワークを学習時の環境以外の環境に適用した場合の移動軌跡８０は、当然のことながら、ＧＴ７０に対して乖離することは容易に想像される。

【0049】

一方、実施例の方法では、既存のデータセットから軌跡推定のためのネットワークを学習させるのではなく、移動空間４０とその移動空間４０内の障害物４１を記述したフロア情報４０ｂ、時刻不明の訪問位置４２、及び時刻を付帯した訪問位置４３を含むフロアプラン４０ａに基づいて比較例１の移動軌跡３０を補正している。図２～図４における実施例に対応する実験結果には、時刻不明の訪問位置４２の一部が白点で示され、時刻を付帯した訪問位置４３が黒点で示されている。そして、実施例の方法による移動軌跡６０は極めてＧＴ７０に近似している。このように、実施例に係る動線推定方法では、慣性情報Ｍから移動軌跡Ｑ（移動軌跡３０）を得る何らかの従来の動線推定方法（例えば、比較例１）によって得られた移動軌跡を学習によらず、フロアプラン４０ａの設定によってＧＴ７０により近い移動軌跡Ｐ（移動軌跡６０）を得ることができる。

【0050】

上記の実験では、実施例に係る動線推定方法による移動軌跡と、他の方法による移動軌跡と比較するため、過去の実験時に取得された慣性情報Ｍのデータを用いるとともに、過去の実験時における上記の三つの環境や、それらの環境における真の移動軌跡ＧＴからフロアプラン情報Ａを設定していたが、実環境においては、その実環境のサイズや障害物の配置、及びその実環境内で取得可能な時刻不明及び時刻を付帯した訪問位置（Ｘ，Ｘ_{ｔｉｍｅｄ}）に基づいてフロアプラン情報Ａを設定する。実環境としては、上記の店舗や巡回展兼業務が実施される施設などがある。

【0051】

図５に、店舗内における利用者の移動軌跡Ｐを、実施例に係る動線推定方法により推定する手順を示した。図５に示したように、利用者が携行する利用者端末１に搭載されているＩＭＵ１０により慣性情報Ｍを取得し（ｓ１）、既存の慣性位置推定技術にその慣性情報Ｍを適用して（不正確な）移動軌跡Ｑを推定する（ｓ３）。

【0052】

一方、ＰＯＳシステム２は利用者が店舗で購入した商品の品目（購買履歴）を取得できることから、フロア情報４０ｂに商品棚の位置と商品との対応付け、及び精算場所（例えば、レジスター装置等のＰＯＳ端末の設置場所）の位置を含ませておくことで、購買履歴とフロア情報４０ｂとに基づいて時刻不明の訪問位置Ｘ（４２）と、精算時の時刻とフロア情報４０ｂに含まれる精算場所の位置とにより時刻を付帯した訪問位置Ｘ_{ｔｉｍｅｄ}とを取得する（ｓ４）。またフロア情報４０ｂに基づいて店舗内の障害物４１の位置Ω_ｏｂｓを取得（ｓ５）するとともに、取得した障害物の位置Ω_ｏｂｓと訪問位置（Ｘ，Ｘ_{ｔｉｍｅｄ}）とに基づいてフロアプラン情報Ａ（４０ａ）を設定する（ｓ６）。そして、既存の慣性位置推定技術により推定した不正確な移動軌跡Ｑを補正するネットワークを、フロアプラン情報Ａ（４０ａ）に基づいて最適化する計算を実行する（ｓ７）。そして、その計算結果として、より正確な移動軌跡Ｐを出力する（ｓ８）。

【0053】

このように、実施例に係る動線推定方法は、上記特許文献２等に記載されたマップマッチングに対し、時刻不明の訪問位置Ｘと時刻を付帯して訪問位置Ｘ_{ｔｉｍｅｄ}とを取得するという点が大きく異なる。そして、実施例に係る動線推定方法では、この時刻不明の訪問位置Ｘと時刻を付帯して訪問位置Ｘ_{ｔｉｍｅｄ}と、フロアプラン情報Ａとに基づいて、極めて正確な動線を推定することが可能となっている。
＝＝＝適用例＝＝＝
以下に上記実施例に係る動線推定方法を店舗に適用したときの情報処理の流れ等を具体的に説明する。ここでは、利用者端末１に、店舗内での移動軌跡Ｐを推定するのに必要な情報を収集したり、ＰＯＳシステム用のコンピューターや上記の不正確な移動軌跡Ｑを出力するコンピューター等とデータ通信したりするための専用のアプリケーションソフト(以下、「専用アプリ」と言うことがある。）がインストールされているものとする。なお、慣性情報Ｍに基づいて、最終的に正確な移動軌跡Ｐを推定する処理については、上記の専用アプリで行ってもよいが、本適用例では、店舗の運営企業が管理するコンピューター(以下、「サーバー装置」と言うことがある。）が行うこととする。そして、サーバー装置は、利用者端末１や店舗内のＰＯＳ端末と、インターネットやＬＡＮ等の通信ネットワークを介して通信可能に構成されているものとする。

【0054】

図６に、利用者端末１、ＰＯＳ端末２１、サーバー装置３、及びバーコード読み取り装置２２からなるコンピューターシステム（以下、「動線推定システム」と言うことがある。）における通信手順の一例を示した。サーバー装置３は、ＰＯＳシステム２を構成するコンピューター、あるいはＰＯＳシステム２と連係するコンピューターで構成することができる。もちろん、サーバー装置３は、ＰＯＳシステム２と連係しながら移動軌跡Ｐの推定処理を実行する専用のコンピューターであってもよい。ここでは、説明を容易にするために、ＰＯＳシステム２に、サーバー装置３としての機能が組み込まれていることとする。

【0055】

専用アプリは、店舗内において利用者端末１のＩＭＵ１０が測定した慣性情報Ｍを記録する機能、その慣性情報Ｍを適時にサーバー装置３に送信する機能等を有しているものとする。そして、これらの機能が、上記非特許文献４に記載のサービス(以下、「自動精算サービス」と言うことがある。）を利用するためのアプリ（例えば、上記非特許文献５，６に記載のアプリ）に統合されていることとする。

【0056】

専用アプリの実行中にある利用者端末１は、店舗内において利用者が上記の自動精算サービスを利用する過程で、サーバー装置３が移動軌跡Ｐを推定するのに必要な情報処理やデータ通信を適時に実行する。サーバー装置３は、利用者端末１やＰＯＳシステム２を構成するＰＯＳ端末とのデータ通信に基づいて、利用者端末１を介して自動精算サービスを利用者に提供しつつ、店舗内での利用者の移動軌跡Ｐを推定する処理を実行する。上述したようにサーバー装置３は、ＰＯＳシステム２を構成するコンピューターを兼ねる。以下、図６を参照しつつ本適用例における利用者端末１やＰＯＳ端末２１、及びサーバー装置３における情報処理や、動線推定システムを構成する各種情報処理装置（１，３，２１，２２）同士で送受信されるデータの内容等について説明する。

【0057】

まず、利用者端末１が、店舗のフロアの入口等、移動軌跡の起点となる場所において専用アプリを起動させる（ｓ１１）。専用アプリが起動すると利用者端末１は慣性情報Ｍの記録を開始する（ｓ１２）。なお、起点の場所において、利用者端末１に慣性情報Ｍの記録を開始させるためには、起点を訪問した利用者が利用者端末１を操作し、専用アプリを起動させる必要がある。ここでは、上記非特許文献４に記載のサービスと同様に、利用者はスマートフォンホルダーを装備した買い物カートを用いることとしている。そして、買い物カートは、店舗の各フロアの所定の位置に待機させており、買い物カートはそのフロアでのみ使用される。すなわち、別のフロアには同様にそのフロア専用の買い物カートが待機している。

【0058】

利用者が、買い物カートの待機位置にて自身の、あるいは店舗に常備されている専用のスマートフォンを利用者端末１として買い物カートに取り付けたならば、専用アプリを起動させ、買い物を開始する旨の操作を行う。なお、利用者が自身の利用者端末１を用いる場合には、買い物の開始に先立って、店舗やフロア等、移動空間を指定するための情報を専用アプリにて入力すればよい。店舗専用のスマートフォンであれば、事前に店舗やフロアなどの情報が入力済みの状態にしておけばよい。そして、専用アプリは、買い物の開始の旨の操作を受け付けた時点を起点として慣性情報Ｍの記録を開始する。

【0059】

続いて利用者は、購入したい商品を、店舗内を移動しながら商品棚から取り出すとともに、その商品に表示されているバーコードを利用者端末１に読み込ませた上で、買い物カートに入れていく。利用者端末１は、商品のバーコードを読み取る毎に、その商品を特定するための情報(以下、「商品情報」と言うことがある。）を記録していく（ｓ１３）。

【0060】

購入希望の商品の全てを買い物カートに入れた利用者は、精算を行うために、「セルフレジ」等と称される周知の自動精算用のＰＯＳ端末２１が複数台設置されたブース（レジエリア）へ移動し、このレジエリアの入口に掲示されている二次元バーコード２３を利用者端末１に読み取らせる（ｓ１４）。それにより、利用者端末１は、読み取ったバーコードに記述されているコード、専用アプリのシリアル番号等の利用者端末１を特定するための端末識別情報、及び専用アプリにて記録した商品情報をインターネット等の通信ネットワークを介してサーバー装置３に送信する（ｓ１５）。

【0061】

サーバー装置３は、利用者端末１から送信されてきたこれらの各種情報を取得すると、取得したコードに基づいて特定されるレジエリアがある店舗のフロア情報４０ｂを特定し、そのフロア情報を、サーバー装置３に付帯する外部記憶装置や通信ネットワーク上に設置されたデータベース等から取得する（ｓ２２）。また、サーバー装置３は、ＰＯＳシステム２としての機能により、そのレジエリアに設置されている利用可能なＰＯＳ端末２１を特定し、そのＰＯＳ端末２１の番号を利用者端末１に送信する（ｓ２３）。また、サーバー装置３は、送信されてきた商品情報に基づく精算情報（商品、個数、単価、合計金額等）を上記番号のＰＯＳ端末２１に送信する（ｓ２４）。ＰＯＳ端末２１は、送信されてきた精算情報として、利用者が購入した商品とその数量や単価、合計金額などを自身のディスプレイに表示する（ｓ３１）。その一方で、利用者端末１には、サーバー装置３から送信されてきたＰＯＳ端末２１の番号が表示され（ｓ１６）、利用者はその番号のＰＯＳ端末２１にて、精算のための操作を行なう。

【0062】

利用者が、ＰＯＳ端末２１を操作し、商品の購入代金をクレジットカード、電子マネー、あるいは現金等により支払うと、ＰＯＳ端末２１は、精算処理を実行し（ｓ３２）、その旨をサーバー装置３に送信する。サーバー装置３は、精算済の利用者端末１に対する二次元バーコードを生成し（ｓ２５）、そのバーコードを利用者端末１に送信する。利用者端末１は送信されたバーコードを表示し（ｓ１７）、利用者は、そのバーコードをレジエリアの出口にあるバーコード読み取り装置２２に読み取らせる（ｓ４１）。バーコード読み取り装置２２は、読み取ったバーコードに記述されているコードをサーバー装置３に直ちに送信し、サーバー装置３は、このバーコードの読取確認を利用者端末１に転送する。利用者端末１はこの情報を受信すると慣性情報Ｍの記録を停止し（ｓ１８）、自身の端末情報とこれまでに記録した慣性情報Ｍとをサーバー装置３に送信する（ｓ１９）。

【0063】

サーバー装置３は、バーコード読み取り装置２２から読取確認を受信した時刻を利用者端末１がレジエリアの出口を訪問した時刻として取得し（ｓ２６）、この取得した時刻、先に取得したフロア情報４０ｂ、及び精算情報に基づいてフロアプランを設定する（ｓ２７）。利用者端末１からの慣性情報Ｍに基づいて推定した移動軌跡Ｑを設定したフロアプランに基づいて補正した移動軌跡Ｐを出力する（ｓ２９，ｓ３０）。すなわち、取得した慣性情報Ｍの記録開始時時刻と、バーコード読み取り装置２２から送信されたコードの受信時刻と、特定したフロア情報４０ｂにおける買い物カートの待機場所の位置Ｘと、レジエリアの出口の位置Ｘとに基づいて時刻を付帯した二つの位置情報Ｘ_{ｔｉｍｅｄ}を生成し、精算情報に含まれる商品情報とフロア情報４０ｂにおける各商品が置かれている商品棚の位置とに基づいて時刻不明の位置情報Ｘを取得する。そして、上述した実施例に係る動線推定方法に基づく移動軌跡Ｐを推定するための計算を、位置情報（Ｘ，Ｘ_{ｔｉｍｅｄ}）と慣性情報Ｍとフロアプラン情報Ａとを用いて実行することで、利用者のより正しい移動軌跡Ｐを推定する。推定した移動軌跡Ｐについては、サーバー装置３に付帯する外部記憶装置やネットワーク上に配置されたデータベース等に記憶させたり、図２～４に示したような動線として表示出力させたりする等、適宜に出力すればよい。それにより、店舗の運営企業側では、その出力された移動軌跡Ｐを、今後の事業展開や事業運営のための資料、広告効果を評価するための資料等として活用することができる。
＝＝＝その他の実施例＝＝＝
以上、本発明の実施例や適用例について説明したが、本発明の実施例や適用例は上述したものに限定されず、様々な変形例や応用例が含まれる。また、上記した実施例や適用例は、本発明に係る動線推定方法や動線推定システムの構成や情報処理の内容を解り易く説明するためのものであり、必ずしも説明した全ての構成や情報処理を備えるものに限定されるものではない。他の構成や他の情報処理を追加したり、構成の一部や情報処理の一部を削除、又は他の構成や情報処理に置換したりすることが可能である。ある情報処理と他の情報処理の順番を前後させることもできる。

【0064】

例えば、上記適用例について、慣性情報の記録を開始する時刻については必須ではない。少なくとも精算時においてレジエリアの出口とその位置の訪問時刻とが取得できればよい。

【0065】

また、上記適用例では、フロア情報４０ｂに基づいて特定されるレジエリアの出口の位置と、その訪問時刻とに基づいて時刻を付帯した位置情報Ｘ_{ｔｉｍｅｄ}を取得していたが、利用者端末１が表示したバーコードを、利用者が精算のための操作を行ったＰＯＳ端末２１で読み取らせてもよい。そして、フロア情報４０ｂには、各ＰＯＳ端末２１の位置を含ませておけばよい。それによって、利用者が精算のための操作を行ったＰＯＳ端末２１の位置とそのＰＯＳ端末２１によってバーコードが読み取られた時刻とに基づいて時刻を付帯した位置情報Ｘ_{ｔｉｍｅｄ}を取得することができる。いずれにしても、フロア情報４０ｂには、レジエリアの出口やＰＯＳ端末２１の位置等、利用者が精算に際し、ＰＯＳシステム２に対して所定の操作を行なう場所の位置が含まれていればよい。

【0066】

上記適用例について、上述したように、移動軌跡Ｐを推定するための情報処理の全てや一部を利用者端末１側で実行することとしてもよい。利用者端末１とＰＯＳ端末２１とが通信可能に構成されていてもよい。移動軌跡Ｐを推定するための情報処理を利用者端末１側で実行させる場合、フロア情報４０ｂは、移動軌跡Ｐの起点や終点を訪問した時点でサーバー装置３から最新のものがダウンロードされることとしてもよい。もちろん、上記適用例に限らず、上述した巡回展兼業務においても、利用者が所持する利用者端末が移動軌跡を推定するための情報処理の全てや一部を実行することとしてもよい。いずれにしても、移動軌跡Ｐを推定するためのコンピューターシステムは、少なくとも利用者端末１を含む１以上の情報処理装置で構成されていればよい。

【0067】

上記適用例について、一つの店舗に入口が複数あるような場合、あるいは店舗に複数のフロアがあり、あるフロアでの買い物を他のフロアで精算ができるような場合、さらに別フロアでの精算が可能で、かつ各フロアに複数の入口があるような場合には、入口、フロアの番号、さらにはフロアの番号とそのフロアへの入口との組み合わせ等を専用アプリの起動時に利用者に入力させてもよい。

【0068】

起点の場所に関する情報を含むＱＲコード（登録商標）等を入口に掲示しておき、その利用者端末１でそのコードを読み取ることで、専用アプリが起動し、フロア情報４０ｂが特定されるようにしておいてもよい。専用アプリがバックグラウンドで常時起動するように設定されるものであれば、起点の場所にビーコンの発信装置を設置しておいてもよい。そして、利用者端末１は、ビーコンを受信すると、起動中の専用アプリの機能により、ビーコンの識別子を記憶するとともに、ＩＭＵ１０による慣性情報の記録を開始する。いずれにしても、移動軌跡の起点となる時刻である慣性情報の記録開始時点と起点の場所とが特定できるようにしておけばよい。

【0069】

店舗の運営企業等が提供する周知のポイントサービスやクーポンサービスを利用するためのアプリに専用アプリの機能が統合されていてもよい。このような場合、利用者端末が専用アプリのシリアル番号等が記述されたバーコードを表示し、精算時にそのバーコードをＰＯＳ端末２１に読み取らせる。そして、ＰＯＳ端末２１が、読み取ったコードと精算情報と自身の識別情報とをサーバー装置３に送信するとともに、利用者端末１が、ＰＯＳ端末２１に対して電子決済サービスにより商品代金の支払いをした時点で端末識別情報と慣性情報Ｍとをサーバー装置３に送信すれば、サーバー装置３は移動軌跡Ｐを推定するために必要な情報を得ることができる。

【0070】

実施例に係る動線推定方法を、上記の工場等の施設における巡回点検業務等に適用する場合には、巡回点検業務では、対象のフロア情報４０ｂに点検リストに対応する点検場所の位置を含ませておくことで、その点検場所を時刻不明の訪問位置Ｘとして特定することができる。また、点検の開始と終了の位置が規定されている場合も多く、この場合は、点検者が、点検後に、点検の開始と終了の時刻を、利用者端末１を介してサーバー装置３に入力する等して時刻を付帯した訪問位置Ｘ_{ｔｉｍｅｄ}を特定することができる。それによってフロアプラン４０ａを設定することができる。巡回点検の開始時と終了時の時刻と場所が決まっていてもよい。あるいは、点検者が利用者端末１を所持して巡回点検業務を行い、所定の点検場所、あるいは点検の開始時と終了時において、その利用者端末１に点検確認、あるいは点検の開始や終了の旨を入力することで時刻を付帯した訪問位置Ｘ_{ｔｉｍｅｄ}を特定することもできる。

【0071】

上記実施例に係る位置推定方法において取得される時刻を付帯した位置Ｘ_{ｔｉｍｅｄ}は、上記適用例におけるカートの待機位置やＰＯＳ端末の位置等、フロア情報に基づくものに限らず、ＡＩカメラやビーコン等、ＩＭＵ１０以外のセンシング技術やＩＭＵ１０以外の複数のセンシング技術の組み合わせによって得られる時刻と位置の情報に基づいたものであってもよい。

【0072】

実施例に係る動線推定方法にＡＩカメラを組み合わせる場合には、例えば、防犯カメラ等による撮影画像からＡＩカメラが検出した不特定多数の利用者の位置と移動方向等を、上記実施例の方法で推定した専用アプリの利用者の動線と照合することで、カメラの撮影画像に含まれている専用アプリの利用者を特定することができる。そして、その特定した利用者が撮影されたときの位置と時刻とに基づいて時刻を付帯した位置Ｘ_{ｔｉｍｅｄ}を取得することができる。

【0073】

実施例に係る動線推定方法にビーコンを組み合わせる場合では、近年、小売店舗等において、ＢＬＥ規格のビーコン等を活用することで取得した利用者の位置情報を、購買促進等に活用していることから、その店舗内に配置された発信器から発信されたビーコンの信号強度を利用者端末１で計測することで、時刻と大凡の滞在位置との組み合わせを得ることができる。

【0074】

なお、ＩＭＵ以外のセンシング技術を用いて得られる情報には、ＡＩカメラの撮影範囲やビーコンの受信範囲等、訪問位置ｘ_ｋに曖昧性が含まれる場合があるが、このような場合には、訪問位置を点としてではなく、広がりを持った座標の集合として扱うことで、時刻を付帯した訪問位置Ｘ_{ｔｉｍｅｄ}を取得すればよい。いずれにしても、実施例に係る動線推定方法は、ＡＩカメラやビーコンなどを用いた従来の動線推定方法を補完するものであってもよい。

【0075】

上記実施例に係る動線推定方法では、補正の対象となる移動軌跡Ｑを、比較例１の手法に基づいて慣性情報Ｍから得ていたが、周知のごとく、ロボット工学の分野等においては、慣性情報Ｍから移動軌跡Ｑを推定するための様々な手法が存在する。実施例に係る動線推定方法の本質は、既存の慣性位置推定方法によって慣性情報Ｍから移動軌跡Ｑを求めた上で、その移動軌跡Ｑを、フロア情報４０ｂと、訪問位置（Ｘ，Ｘ_{ｔｉｍｅｄ}）とを含むフロアプラン情報Ａ（４０ａ）に基づいて補正することにある。

【符号の説明】

【0076】

１ 利用者端末、２ ＰＯＳシステム、３ サーバー装置、１０ ＩＭＵ、
２０ ニューラルネットワーク、２１ ＰＯＳ端末、２２ バーコード読み取り装置、２３ 二次元バーコード、３０，６０，７０，８０ 移動軌跡、４０ 移動空間、
４０ａ フロアプラン（フロアプラン情報）、４０ｂ フロア情報、４１ 障害物、
４２，４３ 訪問位置、５０ 補正ネットワーク

【要約】

【課題】実環境においても利用者端末によって測定された慣性情報に基づいて利用者の位置をより正確に推定できる動線推定方法を提供する。
【解決手段】コンピューターシステムが、慣性計測装置１０が出力する慣性情報に基づいて第１の移動軌跡３０を生成するステップと、移動空間４０のレイアウトを記述するフロア情報４０ｂを取得するステップと、利用者が移動空間内にて立ち寄った訪問位置（４２，４３）を取得する訪問位置取得ステップと、フロア情報と訪問位置とを含むフロアプラン４０ａを設定するステップと、第１の移動軌跡をフロアプランに基づいて補正した第２の移動軌跡６０を出力する軌跡補正ステップとを実行し、利用者位置取得ステップでは、時刻不明の訪問位置と時刻を付帯した訪問位置を取得し、軌跡補正ステップでは、移動空間における移動可能な領域、移動が不可能な障害物４１の位置、及び訪問位置に基づいて前記第１の移動軌跡を補正する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】