(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-12-22
(45)【発行日】2024-01-05
(54)【発明の名称】所持者特定装置、所持者特定方法及び所持者特定プログラム
(51)【国際特許分類】
G06Q 20/32 20120101AFI20231225BHJP
【FI】
G06Q20/32
(21)【出願番号】P 2023028027
(22)【出願日】2023-02-27
【審査請求日】2023-02-27
(73)【特許権者】
【識別番号】394013002
【氏名又は名称】三菱電機インフォメーションシステムズ株式会社
(73)【特許権者】
【識別番号】391064946
【氏名又は名称】三菱UFJニコス株式会社
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】小林 良輔
(72)【発明者】
【氏名】川田 皓介
(72)【発明者】
【氏名】山足 光義
(72)【発明者】
【氏名】江原 伸太朗
(72)【発明者】
【氏名】山口 利恵
【審査官】和田 財太
(56)【参考文献】
【文献】特開2014-153896(JP,A)
【文献】特開2013-072858(JP,A)
【文献】特開2018-201164(JP,A)
【文献】特開2005-031955(JP,A)
【文献】特開2008-008684(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 20/00
G01B 11/00
G01S 13/00
H04N 7/00
(57)【特許請求の範囲】
【請求項1】
撮影領域を撮影するカメラによって得られた映像データに基づき、対象人について時刻毎の位置を示す移動軌跡を特定する追跡部と、
複数の発信機のうちのいずれかの発信機から送信された電波を携帯端末が受信する度に、前記携帯端末から前記電波の送信元の発信機の識別子である機器識別子と受信時刻とを示す発信機情報を受け付ける発信機受付部と、
前記発信機受付部によって受け付けされた複数の発信機情報それぞれを対象として、対象の発信機情報における前記機器識別子から特定される発信機の位置を基準とする基準範囲に、前記追跡部によって特定された前記対象人についての移動軌跡が示す位置がある時刻を特定する軌跡時刻特定部と、
前記複数の発信機情報のうちの2つの発信機情報における前記受信時刻の時間差と、前記軌跡時刻特定部によって前記2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差との差異が許容範囲に入っているか否かを判定する時間差判定部と、
前記時間差判定部によって前記差異が許容範囲に入っていると判定された場合に、前記対象人を前記携帯端末の所持者として特定する所持者特定部と
を備える所持者特定装置。
【請求項2】
前記軌跡時刻特定部は、前記対象の発信機情報における前記受信時刻の基準時間前から前記受信時刻までの時間範囲の時刻であって、前記基準範囲に前記対象人についての移動軌跡が示す位置がある時刻を特定する
請求項1に記載の所持者特定装置。
【請求項3】
前記軌跡時刻特定部は、前記時間範囲に含まれる時刻であって、前記基準範囲に前記対象人についての移動軌跡が示す位置がある最も早い時刻を特定する
請求項2に記載の所持者特定装置。
【請求項4】
前記時間差判定部は、前記複数の発信機情報から2つの発信機情報の複数の組を抽出し、前記複数の組それぞれを対象として、対象の組における2つの発信機情報における前記受信時刻の時間差と、前記対象の組における前記2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差との差異が許容範囲に入っているか否かを判定し、
前記所持者特定部は、前記複数の組それぞれについて前記差異が前記許容範囲に入っていると判定された場合に、前記対象人を前記携帯端末の所持者として特定する
請求項1に記載の所持者特定装置。
【請求項5】
前記追跡部は、前記映像データに映った1人以上の人それぞれを前記対象人として、前記対象人についての前記移動軌跡を特定し、
前記軌跡時刻特定部は、前記1人以上の人それぞれを前記対象人として、前記基準範囲に前記対象人についての移動軌跡が示す位置がある時刻を特定し、
前記時間差判定部は、前記1人以上の人それぞれを前記対象人として、前記2つの発信機情報における前記受信時刻の時間差と、前記2つの発信機情報それぞれを対象とした場合に特定された前記対象人についての時刻の時間差との差異が許容範囲に入っているか否かを判定し、
前記所持者特定部は、前記差異が前記許容範囲に入っていると判定された人を前記携帯端末の所持者として特定する
請求項1に記載の所持者特定装置。
【請求項6】
前記所持者特定装置は、
前記移動軌跡に基づき特定された指定位置にいる人である指定人が、前記所持者特定部によって特定された所持者である前記携帯端末を、処理対象端末として特定する端末特定部
を備える請求項5に記載の所持者特定装置。
【請求項7】
前記所持者特定装置は、さらに、
前記端末特定部によって特定された前記処理対象端末により、前記指定人によって取得された商品の決済を行う決済処理部と
を備える請求項6に記載の所持者特定装置。
【請求項8】
コンピュータが、撮影領域を撮影するカメラによって得られた映像データに基づき、対象人について時刻毎の位置を示す移動軌跡を特定し、
コンピュータが、複数の発信機のうちのいずれかの発信機から送信された電波を携帯端末が受信する度に、前記携帯端末から前記電波の送信元の発信機の識別子である機器識別子と受信時刻とを示す発信機情報を受け付け、
コンピュータが、受け付けされた複数の発信機情報それぞれを対象として、対象の発信機情報における前記機器識別子から特定される発信機の位置を基準とする基準範囲に、前記対象人についての移動軌跡が示す位置がある時刻を特定し、
コンピュータが、前記複数の発信機情報のうちの2つの発信機情報における前記受信時刻の時間差と、前記2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差との差異が許容範囲に入っているか否かを判定し、
コンピュータが、前記差異が許容範囲に入っていると判定された場合に、前記対象人を前記携帯端末の所持者として特定する所持者特定方法。
【請求項9】
撮影領域を撮影するカメラによって得られた映像データに基づき、対象人について時刻毎の位置を示す移動軌跡を特定する追跡処理と、
複数の発信機のうちのいずれかの発信機から送信された電波を携帯端末が受信する度に、前記携帯端末から前記電波の送信元の発信機の識別子である機器識別子と受信時刻とを示す発信機情報を受け付ける発信機受付処理と、
前記発信機受付処理によって受け付けされた複数の発信機情報それぞれを対象として、対象の発信機情報における前記機器識別子から特定される発信機の位置を基準とする基準範囲に、前記追跡処理によって特定された前記対象人についての移動軌跡が示す位置がある時刻を特定する軌跡時刻特定処理と、
前記複数の発信機情報のうちの2つの発信機情報における前記受信時刻の時間差と、前記軌跡時刻特定処理によって前記2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差との差異が許容範囲に入っているか否かを判定する時間差判定処理と、
前記時間差判定処理によって前記差異が許容範囲に入っていると判定された場合に、前記対象人を前記携帯端末の所持者として特定する所持者特定処理と
を行う所持者特定装置としてコンピュータを機能させる所持者特定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、携帯端末の所持者を特定する技術に関する。
【背景技術】
【0002】
店舗において、現金又はクレジットカードを用いることなく、さらにスマートフォン等の携帯端末を操作することなく、決済を実現する試みがされている。
このような決済を実現するために、以下のような方法が検討されている。利用者は、予め携帯端末に決済用のアプリケーションプログラムをインストールしておく。決済を行う場合には、決済サーバは、決済を行う利用者が所持する携帯端末を特定する。そして、決済サーバは、特定された携帯端末にインストールされた決済用のアプリケーションプログラムにより、決済を行う。
【0003】
例えば、商品の購入の際には、指定された決済位置に利用者が行く。すると、決済サーバは、その利用者が所持する携帯端末を特定する。そして、決済サーバは、特定された携帯端末にインストールされた決済用のアプリケーションプログラムにより、その利用者が取得した商品の決済を行う。
【0004】
店舗において利用者が携帯端末を操作することがないことが前提である。そのため、決済サーバは、利用者と、利用者が使用する携帯端末との対応付けを、携帯端末の操作なしに行う必要がある。
事前に利用者毎に携帯端末を登録しておき、顔認証により利用者を特定することで、利用者が使用する携帯端末を特定することが考えられる。しかし、顔認証には、プライバシーに関する課題があり、顔認証を用いない方法が模索されている。
【0005】
特許文献1には、撮影装置によって特定された人の位置と、端末がどのビーコンの通信範囲に入っているかとに基づき、人と端末とを対応付けをすることが記載されている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に記載された方法であれば、顔認証を用いることなく、かつ、携帯端末の操作なしに、利用者が使用する携帯端末との対応付けを行うことが可能である。しかし、ビーコンの通信範囲に入ったことを携帯端末のアプリケーションプログラムが検知するのに、タイムラグがある。タイムラグがあるため、撮影装置によって特定された人の位置が、ビーコンの通信範囲にある時に、ビーコンの通信範囲に入ったことの通知があるとは限らない。つまり、実際には撮影装置によって特定された人がビーコンの通信範囲から離れたタイミングで、該当の人がビーコンの通信範囲に入ったことを示す通知が届く場合もある。そのため、特許文献1に記載された方法では、利用者と、利用者が使用する携帯端末との対応付けを適切に行えない恐れがある。
【0008】
なお、このタイムラグは、ビーコンの通信範囲に入った際にアプリケーションプログラムがアクティブ状態になっているか否かといった理由と、携帯端末のオペレーティングシステムに依存する理由と等に起因すると考えられる。そのため、どの程度のタイムラグが発生するかを事前に特定することはできない。
【0009】
本開示は、携帯端末の操作なしに、利用者が使用する携帯端末との対応付けを適切に行えるようにすることを目的とする。
【課題を解決するための手段】
【0010】
本開示に係る所持者特定装置は、
撮影領域を撮影するカメラによって得られた映像データに基づき、対象人について時刻毎の位置を示す移動軌跡を特定する追跡部と、
複数の発信機のうちのいずれかの発信機から送信された電波を携帯端末が受信する度に、前記携帯端末から前記電波の送信元の発信機の識別子である機器識別子と受信時刻とを示す発信機情報を受け付ける発信機受付部と、
前記発信機受付部によって受け付けされた複数の発信機情報それぞれを対象として、対象の発信機情報における前記機器識別子から特定される発信機の位置を基準とする基準範囲に、前記追跡部によって特定された前記対象人についての移動軌跡が示す位置がある時刻を特定する軌跡時刻特定部と、
前記複数の発信機情報のうちの2つの発信機情報における前記受信時刻の時間差と、前記軌跡時刻特定部によって前記2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差との差異が許容範囲に入っているか否かを判定する時間差判定部と、
前記時間差判定部によって前記差異が許容範囲に入っていると判定された場合に、前記対象人を前記携帯端末の所持者として特定する所持者特定部と
を備える。
【発明の効果】
【0011】
本開示では、携帯端末から受信した2つの発信機情報における受信時刻の時間差と、2つの発信機情報それぞれについての基準範囲に対象者がいた時刻の時間差との差異が特定される。そして、差異が許容範囲に入っている場合に、対象人が携帯端末の所持者として特定される。
通信範囲に入ったこと、つまり電波を受信したことを携帯端末のアプリケーションプログラムが検知するのにタイムラグがあった場合でも、上記時間差はある程度の範囲に収まると推定される。そのため、上記時間差を用いることにより、携帯端末の操作なしに、利用者が使用する携帯端末との対応付けをより適切に行えるようになる。
【図面の簡単な説明】
【0012】
【
図1】実施の形態1に係る決済システム100の構成図。
【
図2】実施の形態1に係る所持者特定装置10の構成図。
【
図3】実施の形態1に係る特定処理のフローチャート。
【
図5】実施の形態1に係る発信機情報32の説明図。
【
図6】実施の形態1に係る軌跡時刻特定処理の説明図。
【
図7】実施の形態1に係る決済処理のフローチャート。
【
図8】変形例3に係る所持者特定装置10の構成図。
【発明を実施するための形態】
【0013】
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る決済システム100の構成を説明する。
決済システム100は、店舗における決済を、利用者による携帯端末の操作なしに行うシステムである。ここでは、利用者が店舗内を移動して、店舗内の棚等に置かれた商品を取得し、指定位置101に行った場合に、取得された商品の決済を行うことを想定する。
【0014】
決済システム100は、所持者特定装置10と、1台以上のカメラ50と、複数の発信機60とを備える。
所持者特定装置10は、利用者70と、利用者70が所持する携帯端末71とを対応付けるコンピュータである。携帯端末71は、スマートフォン等のコンピュータである。携帯端末71には、決済用のアプリケーションプログラムがインストールされている。カメラ50は、店舗内を撮影領域として、撮影領域を撮影して映像データを取得する装置である。発信機60は、決まった範囲に向けて電波を送信するビーコン等の装置である。店舗内の異なる位置に各発信機60は設置されている。
【0015】
図2を参照して、実施の形態1に係る所持者特定装置10の構成を説明する。
所持者特定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0016】
プロセッサ11は、プロセッシングを行うICである。ICはIntegrated Circuitの略である。プロセッサ11は、具体例としては、CPU、DSP、GPUである。CPUは、Central Processing Unitの略である。DSPは、Digital Signal Processorの略である。GPUは、Graphics Processing Unitの略である。
【0017】
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM、DRAMである。SRAMは、Static Random Access Memoryの略である。DRAMは、Dynamic Random Access Memoryの略である。
【0018】
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDDである。HDDは、Hard Disk Driveの略である。また、ストレージ13は、SD(登録商標)メモリカード、CompactFlash(登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Blu-ray(登録商標)ディスク、DVDといった可搬記録媒体であってもよい。SDは、Secure Digitalの略である。DVDは、Digital Versatile Diskの略である。
【0019】
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB、HDMI(登録商標)のポートである。USBは、Universal Serial Busの略である。HDMIは、High-Definition Multimedia Interfaceの略である。
【0020】
所持者特定装置10は、機能構成要素として、追跡部21と、発信機受付部22と、軌跡時刻特定部23と、時間差判定部24と、所持者特定部25と、端末特定部26と、決済処理部27とを備える。所持者特定装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、所持者特定装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、所持者特定装置10の各機能構成要素の機能が実現される。
【0021】
図2では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
【0022】
***動作の説明***
図3から
図7を参照して、実施の形態1に係る所持者特定装置10の動作を説明する。
実施の形態1に係る所持者特定装置10の動作手順は、実施の形態1に係る所持者特定部方法に相当する。また、実施の形態1に係る所持者特定装置10の動作を実現するプログラムは、実施の形態1に係る所持者特定部プログラムに相当する。
【0023】
実施の形態1に係る所持者特定装置10の動作には、特定処理と、決済処理とが含まれる。
【0024】
図3を参照して、実施の形態1に係る特定処理を説明する。
(ステップS11:追跡処理)
追跡部21は、店舗内にいる人を追跡して、移動軌跡を特定する。
具体的には、追跡部21は、通信インタフェース14を介して、カメラ50によって得られた映像データを取得する。追跡部21は、映像データに映った1人以上の人それぞれを対象人として、対象人を追跡する。この際、追跡部21は、既存技術を用いて、映像データを構成するフレーム画像間で同一人物を特定することにより、対象人を追跡できる。追跡部21は、追跡することにより、対象人について時刻毎の位置を示す移動軌跡を特定する。ここで、時刻毎とは、0.1秒毎といった決まった時間間隔毎という意味である。追跡部21は、各人の移動軌跡を軌跡情報31としてメモリ12に書き込む。
【0025】
図4を参照して、実施の形態1に係る軌跡情報31を説明する。
軌跡情報31は、人識別子及び時刻毎に、位置を示す座標を有する。人識別子は、映像データに映った各人に割り当てられる識別子である。ここでは、座標は、映像データにおける座標であり、(x座標,y座標,幅、高さ)を表す。x座標は映像データの横方向の座標である。y座標は映像データの縦方向の座標である。幅は、人が検知された領域の横方向の長さである。高さは、人が検知された領域の縦方向の長さである。
【0026】
(ステップS12:発信機受付処理)
発信機受付部22は、通信インタフェース14を介して、携帯端末71から発信機情報32を受け付ける。
具体的には、利用者70が所持する携帯端末71の決済用のアプリケーションプログラムは、複数の発信機60のうちのいずれかの発信機60から送信された電波を受信する度に、発信機情報32を送信する。発信機受付部22は、発信機情報32を受信すると、発信機情報32をメモリ12に書き込む。
【0027】
図5を参照して、実施の形態1に係る発信機情報32を説明する。
発信機情報32は、機器識別子と、受信時刻と、端末識別子とを有する。機器識別子は、電波の送信元の発信機60の識別子である。受信時刻は、携帯端末71が電波を受信した時刻であり、ここでは発信機情報32を送信した時刻と同じ時刻である。端末識別子は、携帯端末71の識別子である。
【0028】
(ステップS13:軌跡時刻特定処理)
軌跡時刻特定部23は、ステップS11で移動軌跡が特定された1人以上の人それぞれを対象人に設定する。また、軌跡時刻特定部23は、ステップS12で受け付けされた複数の発信機情報32それぞれを受信時刻の早い順に対象の発信機情報32に設定する。
そして、軌跡時刻特定部23は、対象の発信機情報32における機器識別子から特定される発信機の位置を基準とする基準範囲に、対象人についての移動軌跡が示す位置がある時刻を特定する。基準範囲は、対象の発信機情報32が送信した電波が届く範囲を、映像データの座標によって表した範囲である。実施の形態1では、複数の基準範囲が重ならないものとする。
【0029】
具体的には、軌跡時刻特定部23は、対象の発信機情報32における受信時刻の基準時間前から受信時刻までの時刻を時間範囲に設定する。軌跡時刻特定部23は、軌跡情報31から、時間範囲に含まれる時刻であって、基準範囲に対象人についての移動軌跡が示す位置がある最も早い時刻を特定する。
【0030】
図6を参照して具体例を説明する。
発信機情報32Aが対象の発信機情報32であるとする。この場合には、対象人Xについてはレコード群41に含まれるレコードが時間範囲に時刻が含まれ、かつ、基準範囲に移動軌跡が示す位置があるレコードとなる。レコード群41のうち、最も早い時刻のレコード42が特定され、その時刻10:32:15が特定される。また、対象人Yについてはレコード群43に含まれるレコードが時間範囲に時刻が含まれ、かつ、基準範囲に移動軌跡が示す位置があるレコードとなる。レコード群43のうち、最も早い時刻のレコード44が特定され、その時刻10:33:25が特定される。
発信機情報32Bが対象の発信機情報32であるとする。この場合には、対象人Xについてはレコード群45に含まれるレコードが時間範囲に時刻が含まれ、かつ、基準範囲に移動軌跡が示す位置があるレコードとなる。レコード群45のうち、最も早い時刻のレコード46が特定され、その時刻10:33:07が特定される。また、対象人Yについては時間範囲に時刻が含まれ、かつ、基準範囲に移動軌跡が示す位置があるレコードが存在しないため、時刻は特定されない。
【0031】
ここで、軌跡時刻特定部23は、対象人についての軌跡情報31を示すレコードであって、特定された時刻が含まれるレコードの後のレコードのうち、基準範囲から対象者が出る前のレコードを、以降の軌跡時刻特定処理の対象外とする。基準範囲から出る前のレコードから時刻が特定されることはないためである。
【0032】
発信機情報32が有する各端末識別子を対象としてステップS14からステップS15の処理が実行される。
【0033】
(ステップS14:時間差判定処理)
時間差判定部24は、対象の端末識別子を有する複数の発信機情報32のうちの2つの発信機情報32における受信時刻の時間差を第1時間差として計算する。ここで、2つの発信機情報32は、時系列に連続する2つの発信機情報32であることが望ましい。また、時間差判定部24は、ステップS11で移動軌跡が特定された1人以上の人それぞれを対象人に設定する。時間差判定部24は、上述した2つの発信機情報32それぞれを対象とした場合にステップS13で特定された対象人についての時刻の時間差を第2時間差として計算する。そして、時間差判定部24は、第1時間差と第2時間差との差異が許容範囲に入っているか否かを判定する。
許容範囲は、電波を受信したことを携帯端末71のアプリケーションプログラムが検知するのに発生するタイムラグの長さに応じて設定される。例えば、許容範囲は、タイムラグの統計値から適切な長さが設定される。
なお、時間差判定部24は、2つの発信機情報32のうち少なくともいずれかについて時刻が特定されていない人は、計算対象外とする。
【0034】
図6を参照して具体例を説明する。
対象の端末識別子はM001であり、発信機情報32Aと発信機情報32Bとが2つの発信機情報として選択されたとする。ここで、発信機情報32Aと発信機情報32Bとは対象の端末識別子M001を有している。発信機情報32Aの受信時刻は、10:34:50であり、発信機情報32Bの受信時刻は、10:35:52である。したがって、第1時間差は、1分03秒である。
対象人Xの場合には、発信機情報32Aを対象の発信機情報32とした場合に特定された時刻が10:32:15であり、発信機情報32Bを対象の発信機情報32とした場合に特定された時刻が10:33:07である。そのため、第2時間差は52秒である。したがって、第1時間差と第2時間差との差異は、11秒である。この11秒が許容範囲に入っているか否かが判定される。例えば、許容時間が1分であれば、入っていると判定される。
対象人Yの場合には、発信機情報32Bを対象の発信機情報32とした場合には時刻が特定されていない。したがって、対象人Yは計算対象外になる。
【0035】
(ステップS15:所持者特定処理)
所持者特定部25は、第1時間差と第2時間差との差異が許容範囲に入っていると判定された場合に、対象人を対象の端末識別子に対応する携帯端末71の所持者として特定する。つまり、所持者特定部25は、第1時間差と第2時間差との差異が許容範囲に入っていると判定された人を携帯端末の所持者として特定する。
【0036】
但し、複数の人についての第1時間差と第2時間差との差異が許容範囲に入っていると判定される場合もある。この場合には、複数の人が対象の端末識別子に対応する携帯端末71の所持者として特定されてしまう。例えば、2人が同じタイミングで同じ経路で移動していると、2人についての第1時間差と第2時間差との差異が許容範囲に入ってしまう。
そこで、複数の人についての第1時間差と第2時間差との差異が許容範囲に入っていると判定された場合には、所持者特定部25は、第1時間差と第2時間差との差異が許容範囲に入っていると判定された複数の人だけを対象人として、別の2つの発信機情報32についてステップS14を実行させる。そして、所持者特定部25は、第1時間差と第2時間差との差異が許容範囲に入っていると判定された人を携帯端末の所持者として特定する。
別の2つの発信機情報32についてステップS14を実行させても、1人に絞り込めない場合には、1人に絞り込めるまで別の2つの発信機情報32についてステップS14を実行させることを繰り返す。
【0037】
例えば、
図6の例において、対象人Xだけでなく対象人Zについても、第1時間差と第2時間差との差異が許容範囲に入っていると判定されたとする。この場合には、所持者特定部25は、対象人Xと対象人Zとについてのみ、発信機情報32Aと発信機情報32Bとの組合せ以外の2つの発信機情報32の組合せについてステップS14の処理を実行させる。具体例としては、所持者特定部25は、対象人Xと対象人Zとについてのみ、発信機情報32Bと発信機情報32Cとの組合せについてステップS14の処理を実行させる。
対象人Xと対象人Zが許容範囲に入り1人に絞り込めなかった場合について説明したが、発信機情報32のデータが取得できない等の原因により、対象人が1人も特定できない場合も想定される。この場合も別の2つの発信機情報32についてステップS14の処理を繰り返し、対象人を特定する。
なお2つの発信機情報32を変更するとき、
図5で示すと機器識別子32Aおよび32Bのレコードで比較した後は、機器識別子32Bおよび32Cのレコードで比較するように、組合せの片方を変更するように構成してもよいし、組合せの2レコードとも変更するように構成してもよい。
【0038】
所持者特定装置10は、ステップS15の処理が終了してから一定時間経過後に、再び
図3に示す特定処理を実行する。この際、既に所持者が特定されている携帯端末71から受信した発信機情報32については処理対象外とする。
【0039】
図7を参照して、実施の形態1に係る決済処理を説明する。
(ステップS21:追跡処理)
図3のステップS11と同様に、追跡部21は、店舗内にいる人を追跡して、移動軌跡を特定する。
なお、
図3のステップS11と別にステップS21の処理を実行する必要はない。特定処理におけるステップS11の処理と、決済処理におけるステップS21の処理とを共通の処理としてもよい。
【0040】
(ステップS22:端末特定処理)
端末特定部26は、ステップS21で特定された移動軌跡に基づき特定された指定位置101にいる人を指定人として特定する。端末特定部26は、特定処理で指定人が所持者として特定された携帯端末71を、処理対象端末として特定する。
【0041】
(ステップS23:決済実行処理)
決済処理部27は、ステップS23で特定された処理対象端末にインストールされた決済用のアプリケーションプログラムにより、指定人によって取得された商品の決済を行う。ここで、指定人によって取得された商品については、映像データ等から別途特定されているものとする。
【0042】
***実施の形態1の効果***
以上のように、実施の形態1に係る所持者特定装置10は、携帯端末71から受信した2つの発信機情報32における受信時刻の時間差と、2つの発信機情報32それぞれについての基準範囲に対象者がいた時刻の時間差との差異を特定する。そして、所持者特定装置10は、差異が許容範囲に入っている場合に、対象人が携帯端末の所持者として特定される。
電波を受信したことを携帯端末のアプリケーションプログラムが検知するのに、タイムラグがあった場合でも、上記時間差はある程度の範囲に収まると推定される。そのため、上記時間差を用いることにより、携帯端末71の操作なしに、利用者が使用する携帯端末71との対応付けをより適切に行えるようになる。
【0043】
実施の形態1に係る所持者特定装置10は、携帯端末71の操作なしに、利用者が使用する携帯端末との対応付けを行える。そのため、所持者特定装置10は、携帯端末71の操作なしに、決済を実現可能にできる。
【0044】
***他の構成***
<変形例1>
実施の形態1では、所持者特定部25は、2つの発信機情報32の1つの組を用いて、第1時間差と第2時間差との差異が許容範囲に入っていると判定された場合に、対象人を所持者として特定した。しかし、2つの発信機情報32の複数の組それぞれについて、第1時間差と第2時間差との差異が許容範囲に入っていると判定された場合に、対象人を所持者として特定するようにしてもよい。これにより、誤った人を所持者として特定する可能性を低くすることができる。
この場合には、具体的には、時間差判定部24は、対象の端末識別子を有する複数の発信機情報32から2つの発信機情報32の複数の組を抽出する。時間差判定部24は、複数の組それぞれを対象として、対象の組における2つの発信機情報32における受信時刻の時間差を第1時間差として計算する。また、時間差判定部24は、対象の組における2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差を第2時間差として計算する。そして、時間差判定部24は、第1時間差と第2時間差との差異が許容範囲に入っているか否かを判定する。所持者特定部25は、複数の組それぞれについて差異が許容範囲に入っていると判定された場合に、対象人を携帯端末71の所持者として特定する。
【0045】
<変形例2>
実施の形態1では、追跡部21は1台以上のカメラ50を用いて映像データを取得し、映像データを構成するフレーム画像を用いて対象人の移動軌跡を特定した。カメラ50をLiDARといった光センサと、光学カメラとで構成してもよい。LiDARは、Light Detection and Rangingの略である。この場合光センサからは対象人の点群データが取得され、光学カメラからは対象人の画像データが取得される。
光センサは、照射光を照射して反射点で反射した反射光を受信することにより反射点の位置及び輝度を計測するセンサである。ここで、反射点の位置は、光センサの位置に対する反射点の相対位置である。点群データは、各反射点の位置及び輝度を示す複数の点データから構成される3次元の点群データである。
光センサと光学カメラとで同時にデータの取得を行うことにより、点群データを構成する複数の点データそれぞれと、対象画像のいずれかの画素とが対応付けられる。つまり、同じ位置についての点データと対象画像の画素とが対応付けられる。
【0046】
カメラ50を光センサと光学カメラとで構成する場合、
図3を用いて説明した移動軌跡の特定処理は次のように変形される。
1つめの変形例としてステップS11において、既存の技術を用いて、対象人の3次元の点データを2次元の(x座標,y座標,幅、高さ)に変換し、変換後の(x座標,y座標,幅、高さ)を軌跡情報31としてメモリ12に書き込む。以降の処理の流れは、実施の形態1で説明したとおりである。
2つめの変形例として対象人の3次元の点データのまま軌跡時刻を特定する方法が考えられる。この場合は、発信機60の基準範囲は、発信機60の電波が届く範囲が特定される複数の3次元の点データで設定される。ステップS11において、対象人が特定される範囲を複数の3次元の軌跡情報31としてメモリ12に書き込む。ステップS13において、基準範囲に対象人についての移動軌跡が示す位置がある時間の特定を3次元の点データ同士の比較にて行う。このとき対象人の3次元の点データの一定範囲が基準範囲内に含まれたら対象人は基準範囲内にいると判定するように構成してもよい。
【0047】
<変形例3>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例3として、各機能構成要素はハードウェアで実現されてもよい。この変形例2について、実施の形態1と異なる点を説明する。
【0048】
図8を参照して、変形例3に係る所持者特定装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、所持者特定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
【0049】
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、ASIC、FPGAが想定される。GAは、Gate Arrayの略である。ASICは、Application Specific Integrated Circuitの略である。FPGAは、Field-Programmable Gate Arrayの略である。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
【0050】
<変形例4>
変形例4として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【0051】
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【0052】
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
【0053】
以下、本開示の諸態様を付記としてまとめて記載する。
(付記1)
撮影領域を撮影するカメラによって得られた映像データに基づき、対象人について時刻毎の位置を示す移動軌跡を特定する追跡部と、
複数の発信機のうちのいずれかの発信機から送信された電波を携帯端末が受信する度に、前記携帯端末から前記電波の送信元の発信機の識別子である機器識別子と受信時刻とを示す発信機情報を受け付ける発信機受付部と、
前記発信機受付部によって受け付けされた複数の発信機情報それぞれを対象として、対象の発信機情報における前記機器識別子から特定される発信機の位置を基準とする基準範囲に、前記追跡部によって特定された前記対象人についての移動軌跡が示す位置がある時刻を特定する軌跡時刻特定部と、
前記複数の発信機情報のうちの2つの発信機情報における前記受信時刻の時間差と、前記軌跡時刻特定部によって前記2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差との差異が許容範囲に入っているか否かを判定する時間差判定部と、
前記時間差判定部によって前記差異が許容範囲に入っていると判定された場合に、前記対象人を前記携帯端末の所持者として特定する所持者特定部と
を備える所持者特定装置。
(付記2)
前記軌跡時刻特定部は、前記対象の発信機情報における前記受信時刻の基準時間前から前記受信時刻までの時間範囲の時刻であって、前記基準範囲に前記対象人についての移動軌跡が示す位置がある時刻を特定する
付記1に記載の所持者特定装置。
(付記3)
前記軌跡時刻特定部は、前記時間範囲に含まれる時刻であって、前記基準範囲に前記対象人についての移動軌跡が示す位置がある最も早い時刻を特定する
付記2に記載の所持者特定装置。
(付記4)
前記時間差判定部は、前記複数の発信機情報から2つの発信機情報の複数の組を抽出し、前記複数の組それぞれを対象として、対象の組における2つの発信機情報における前記受信時刻の時間差と、前記対象の組における前記2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差との差異が許容範囲に入っているか否かを判定し、
前記所持者特定部は、前記複数の組それぞれについて前記差異が前記許容範囲に入っていると判定された場合に、前記対象人を前記携帯端末の所持者として特定する
付記1から3までのいずれか1項に記載の所持者特定装置。
(付記5)
前記追跡部は、前記映像データに映った1人以上の人それぞれを前記対象人として、前記対象人についての前記移動軌跡を特定し、
前記軌跡時刻特定部は、前記1人以上の人それぞれを前記対象人として、前記基準範囲に前記対象人についての移動軌跡が示す位置がある時刻を特定し、
前記時間差判定部は、前記1人以上の人それぞれを前記対象人として、前記2つの発信機情報における前記受信時刻の時間差と、前記2つの発信機情報それぞれを対象とした場合に特定された前記対象人についての時刻の時間差との差異が許容範囲に入っているか否かを判定し、
前記所持者特定部は、前記差異が前記許容範囲に入っていると判定された人を前記携帯端末の所持者として特定する
付記1から4までのいずれか1項に記載の所持者特定装置。
(付記6)
前記所持者特定装置は、
前記移動軌跡に基づき特定された指定位置にいる人である指定人が、前記所持者特定部によって特定された所持者である前記携帯端末を、処理対象端末として特定する端末特定部
を備える付記5に記載の所持者特定装置。
(付記7)
前記所持者特定装置は、さらに、
前記端末特定部によって特定された前記処理対象端末により、前記指定人によって取得された商品の決済を行う決済処理部と
を備える付記6に記載の所持者特定装置。
(付記8)
コンピュータが、撮影領域を撮影するカメラによって得られた映像データに基づき、対象人について時刻毎の位置を示す移動軌跡を特定し、
コンピュータが、複数の発信機のうちのいずれかの発信機から送信された電波を携帯端末が受信する度に、前記携帯端末から前記電波の送信元の発信機の識別子である機器識別子と受信時刻とを示す発信機情報を受け付け、
コンピュータが、受け付けされた複数の発信機情報それぞれを対象として、対象の発信機情報における前記機器識別子から特定される発信機の位置を基準とする基準範囲に、前記追跡部によって特定された前記対象人についての移動軌跡が示す位置がある時刻を特定し、
コンピュータが、前記複数の発信機情報のうちの2つの発信機情報における前記受信時刻の時間差と、前記2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差との差異が許容範囲に入っているか否かを判定し、
コンピュータが、前記差異が許容範囲に入っていると判定された場合に、前記対象人を前記携帯端末の所持者として特定する所持者特定方法。
(付記9)
撮影領域を撮影するカメラによって得られた映像データに基づき、対象人について時刻毎の位置を示す移動軌跡を特定する追跡処理と、
複数の発信機のうちのいずれかの発信機から送信された電波を携帯端末が受信する度に、前記携帯端末から前記電波の送信元の発信機の識別子である機器識別子と受信時刻とを示す発信機情報を受け付ける発信機受付処理と、
前記発信機受付処理によって受け付けされた複数の発信機情報それぞれを対象として、対象の発信機情報における前記機器識別子から特定される発信機の位置を基準とする基準範囲に、前記追跡処理によって特定された前記対象人についての移動軌跡が示す位置がある時刻を特定する軌跡時刻特定処理と、
前記複数の発信機情報のうちの2つの発信機情報における前記受信時刻の時間差と、前記軌跡時刻特定処理によって前記2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差との差異が許容範囲に入っているか否かを判定する時間差判定処理と、
前記時間差判定処理によって前記差異が許容範囲に入っていると判定された場合に、前記対象人を前記携帯端末の所持者として特定する所持者特定処理と
を行う所持者特定装置としてコンピュータを機能させる所持者特定プログラム。
【0054】
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【0055】
100 決済システム、101 指定位置、10 所持者特定装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 追跡部、22 発信機受付部、23 軌跡時刻特定部、24 時間差判定部、25 所持者特定部、26 端末特定部、27 決済処理部、31 軌跡情報、32 発信機情報、50 カメラ、60 発信機、70 利用者、71 携帯端末。
【要約】
【課題】携帯端末の操作なしに、利用者が使用する携帯端末との対応付けを適切に行えるようにする。
【解決手段】所持者特定装置10は、発信機から送信された電波を受信した携帯端末から送信された複数の発信機情報それぞれを対象として、対象の発信機情報における機器識別子から特定される発信機60の位置を基準とする基準範囲に、対象人についての移動軌跡が示す位置がある時刻を特定する。所持者特定装置10は、2つの発信機情報における受信時刻の時間差と、2つの発信機情報それぞれを対象とした場合に特定された時刻の時間差との差異が許容範囲に入っているか否かを判定する。所持者特定装置10は、差異が許容範囲に入っていると判定された場合に、対象人を携帯端末71の所持者として特定する。
【選択図】
図1