(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】位置検出システム、位置検出装置及び位置検出方法
(51)【国際特許分類】
H04M 1/72412 20210101AFI20231219BHJP
【FI】
H04M1/72412
(21)【出願番号】P 2019212409
(22)【出願日】2019-11-25
【審査請求日】2022-10-26
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】仁瓶 広誉
【審査官】松原 徳久
(56)【参考文献】
【文献】国際公開第2014/076919(WO,A1)
【文献】国際公開第2017/013811(WO,A1)
【文献】特開2010-217093(JP,A)
【文献】特開2011-090646(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S1/00-1/70
3/78-3/789
5/00-5/16
19/00-19/55
G06Q10/00-10/10
30/00-30/08
50/00-50/20
50/26-99/00
G16Z99/00
H03J9/00-9/06
H04B10/00-10/90
H04J14/00-14/08
H04M1/00
1/24-3/00
3/16-3/20
3/38-3/58
7/00-7/16
11/00-11/10
99/00
H04Q9/00-9/16
(57)【特許請求の範囲】
【請求項1】
対象物に取り付けられ、自無線デバイスを識別する存在情報を無線によって発信する無線デバイスと、
前記対象物に取り付けられ、自発光デバイスを識別する発光情報を光によって出力する発光デバイスと、
前記存在情報と前記発光情報とを対応付けて記憶する記憶部と、
撮像部と、
撮像結果の画像に基づいて、発光情報を検出する光源検出部と、
前記無線デバイスから受信した存在情報に対応する発光情報を前記記憶部を参照して特定し、特定された発光情報が前記光源検出部によって検出されているか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記発光情報が検出されている場合に、当該検出された光源の前記画像上における位置に基づいて前記対象物に関する情報を出力する出力部と、
を有する位置検出システム。
【請求項2】
前記存在情報の要求信号を送信する通信部を有し、
前記無線デバイスは、前記要求信号を受信すると、前記存在情報を所定時間発信し、
前記発光デバイスは、前記無線デバイスが前記要求信号を受信すると、前記発光情報を所定時間出力する
請求項1に記載の位置検出システム。
【請求項3】
前記出力部は、前記画像に前記対象物に関する情報を重ねて表示する
請求項1または請求項2に記載の位置検出システム。
【請求項4】
前記対象物に関する情報は、前記画像上における前記対象物の位置を特定するものである
請求項1から請求項3の何れか一項に記載の位置検出システム。
【請求項5】
前記出力部は、当該検出された光源の前記画像上における位置に基づいて前記画像上における前記対象物を特定し、当該特定した対象物の近傍に前記対象物に関する情報を表示する
請求項1から請求項4の何れか一項に記載の位置検出システム。
【請求項6】
前記存在情報は、信号を発信する発信パターンである
請求項1から請求項5の何れか一項に記載の位置検出システム。
【請求項7】
対象物に取り付けられ、自デバイスを識別する存在情報を無線によって発信し、自デバイスを識別する発光情報を光によって出力するデバイスから前記存在情報を受信する通信部と、
前記存在情報と前記発光情報とを対応付けて記憶する記憶部と、
撮像部と、
撮像結果の画像に基づいて、発光情報を検出する光源検出部と、
前記デバイスから受信した存在情報に対応する発光情報を前記記憶部を参照して特定し、特定された発光情報が前記光源検出部によって検出されているか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記発光情報が検出されている場合に、当該検出された光源の前記画像上における位置に基づいて前記対象物に関する情報を出力する出力部と、
を有する位置検出装置。
【請求項8】
対象物に取り付けられた無線デバイスが、自無線デバイスを識別する存在情報を無線によって発信し、
前記対象物に取り付けられた発光デバイスが、自発光デバイスを識別する発光情報を光によって出力し、
光源検出部が、撮像結果の画像に基づいて、発光情報を検出し、
判定部が、前記無線デバイスから受信した存在情報に対応する発光情報を、前記存在情報と前記発光情報とを対応付けて記憶する記憶部を参照して特定し、特定された発光情報が前記光源検出部によって検出されているか否かを判定し、
出力部が、前記判定部の判定結果に基づいて、前記発光情報が検出されている場合に、当該検出された光源の前記画像上における位置に基づいて前記対象物に関する情報を出力する、
位置検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置検出システム、位置検出装置及び位置検出方法に関する。
【背景技術】
【0002】
無線通信信号を用いてデバイスの位置を測定する技術には、電波強度や指向性や三点測位等を利用するものがある。三点測位を利用して位置を測定する技術は、特許文献1に記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した技術では、位置を特定したい対象デバイスの大まかな位置を把握することはできるが、複数のデバイスが密集している場合には、どのデバイスが対象デバイスであるかを特定することが困難である。例えば、店舗等における商品棚には複数の商品が密集して陳列されているが、その中から特定の商品を探したい場合に、上述した技術では、その商品の位置を特定することは難しい。
【0005】
そこでこの発明は、上述の課題を解決する位置検出システム、位置検出装置及び位置検出方法を提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明の第1の態様によれば、位置検出システムは、対象物に取り付けられ、自無線デバイスを識別する存在情報を無線によって発信する無線デバイスと、前記対象物に取り付けられ、自発光デバイスを識別する発光情報を光によって出力する発光デバイスと、前記存在情報と前記発光情報とを対応付けて記憶する記憶部と、撮像部と、撮像結果の画像に基づいて、発光情報を検出する光源検出部と、前記無線デバイスから受信した存在情報に対応する発光情報を前記記憶部を参照して特定し、特定された発光情報が前記光源検出部によって検出されているか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記発光情報が検出されている場合に、当該検出された光源の前記画像上における位置に基づいて前記対象物に関する情報を出力する出力部と、を有することを特徴とする。
【0007】
本発明の第2の態様によれば、位置検出装置は、対象物に取り付けられ、自デバイスを識別する存在情報を無線によって発信し、自デバイスを識別する発光情報を光によって出力するデバイスから前記存在情報を受信する通信部と、前記存在情報と前記発光情報とを対応付けて記憶する記憶部と、撮像部と、撮像結果の画像に基づいて、発光情報を検出する光源検出部と、前記デバイスから受信した存在情報に対応する発光情報を前記記憶部を参照して特定し、特定された発光情報が前記光源検出部によって検出されているか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記発光情報が検出されている場合に、当該検出された光源の前記画像上における位置に基づいて前記対象物に関する情報を出力する出力部と、を有することを特徴とする。
【0008】
本発明の第3の態様によれば、位置検出方法は、対象物に取り付けられた無線デバイスが、自無線デバイスを識別する存在情報を無線によって発信し、前記対象物に取り付けられた発光デバイスが、自発光デバイスを識別する発光情報を光によって出力し、光源検出部が、撮像結果の画像に基づいて、発光情報を検出し、判定部が、前記無線デバイスから受信した存在情報に対応する発光情報を、前記存在情報と前記発光情報とを対応付けて記憶する記憶部を参照して特定し、特定された発光情報が前記光源検出部によって検出されているか否かを判定し、出力部が、前記判定部の判定結果に基づいて、前記発光情報が検出されている場合に、当該検出された光源の前記画像上における位置に基づいて前記対象物に関する情報を出力することを特徴とする。
【発明の効果】
【0009】
本発明によれば、対象物の位置を精度良く特定することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施形態による位置検出システムの構成を示す概略図である。
【
図2】本発明の実施形態による発信デバイスの構成を示すブロック図である。
【
図3】本発明の実施形態による位置検出装置の構成を示すブロック図である。
【
図4】本発明の実施形態による位置検出装置が記憶するデバイス情報のデータ構造及びデータ例を示す概略図である。
【
図5】本発明の実施形態による位置検出装置が記憶するAR情報のデータ構造及びデータ例を示す概略図である。
【
図6】本発明の実施形態による位置検出装置が生成するデバイスリストの一例を示す概略図である。
【
図7】本発明の実施形態による位置検出装置が表示する撮像画像の一例を示すイメージ図である。
【
図8】本発明の実施形態による位置検出装置が生成するデバイスリストの一例を示す概略図である。
【
図9】本発明の実施形態による位置検出装置が表示するアウトライン表示画像の一例を示すイメージ図である。
【
図10】本発明の実施形態による位置検出装置が表示する付加情報表示画像の一例を示すイメージ図である。
【
図11】本発明の実施形態による発信デバイスが実行する発信処理の手順を示すフローチャートである。
【
図12】本発明の実施形態による位置検出装置が実行する位置検出処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態による位置検出システム、位置検出装置及び位置検出方法を図面を参照して説明する。
【0012】
図1は、本実施形態による位置検出システムの構成を示す概略図である。
位置検出システム100は、位置検出装置1と1又は複数の発信デバイス2とを備える。位置検出システム100は、位置検出装置1により発信デバイス2の位置を特定するためのシステムである。位置検出システム100は、例えば、店舗や倉庫等において棚TNに密集して陳列された商品の中から特定の商品を探す際等に用いられる。
【0013】
発信デバイス2は、例えば商品等が陳列される棚TNにおいて、対応する商品等の値段等を表示する棚札それぞれに取り付けられる。棚札は、対応する商品群の近傍に取り付けられている。棚札又は商品等が、ユーザUSがその位置を特定したい対象物である。
位置検出装置1は、例えばスマートフォンやタブレット端末やデジタルカメラ等のユーザUSが使用する携帯端末である。
位置検出装置1と発信デバイス2とは、例えばBLE(Bluetooth Low Energy)(Bluetoothは登録商標)等の近距離無線通信により通信する。近距離無線通信にBLEを使用する場合、発信デバイス2がPeripheralデバイスとなり、位置検出装置1がCentralデバイスとなる。
【0014】
図2は、本実施形態による発信デバイスの構成を示すブロック図である。
発信デバイス2は、制御部21と、無線デバイス22と、発光デバイス23とを備える。
制御部21は、発信デバイス2を統括して制御する。
無線デバイス22は、自無線デバイス22を識別する存在情報を無線によって発信する。
発光デバイス23は、自発光デバイス23を識別する発光情報を光によって出力する。発光デバイス23は、例えばLED(Light Emitting Diode)等の発光素子である。なお、発光デバイス23が発光する光は、撮像結果の画像に基づいてその発光情報を取得できるもの(例えば、その点滅周期が撮像周期より長いもの)であればよく、可視光であってもよいし、非可視光であってもよい。
【0015】
図3は、本実施形態による位置検出装置の構成を示すブロック図である。
位置検出装置1は、制御部11と、無線通信部12と、撮像部13と、記憶部14と、表示部15とを備える。
制御部11は、位置検出装置1を統括して制御する。制御部11は、通信部111と、光源検出部112と、判定部113と、出力部114とを備える。
通信部111は、無線通信部12を介して存在情報の要求信号を送信し、発信デバイス2から存在情報を受信する。
光源検出部112は、撮像部13による撮像結果の画像(以下、「撮像画像」とする。)に基づいて、発光情報を検出する。また、光源検出部112は、撮像結果の画像に基づいて、発光情報を出力する光源が撮像されている否かを検出することもできる。
判定部113は、無線デバイス22から受信した存在情報に対応する発光情報を記憶部14を参照して特定し、特定された発光情報が光源検出部112によって検出されているか否かを判定する。
出力部114は、判定部113の判定結果に基づいて、光源が検出されている場合に、当該検出された光源の撮像画像上における位置に基づいて対象物に関する情報を表示部15に表示して出力する。
【0016】
無線通信部12は、発信デバイス2と近距離無線通信する無線デバイスである。また、無線通信部12は、移動通信システムや無線LAN(Local Area Network)等により他の装置と無線通信する。
撮像部13は、対象物を撮像するカメラである。撮像部13は、撮像結果である撮像画像を生成して制御部11に出力する。
表示部15は、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等の表示装置である。また、表示部15は、その表示画面上にタッチパネルが設置されており、入力を受け付ける。
記憶部14は、各発信デバイス2の存在情報と発光情報とを対応付けるデバイス情報、及び各発信デバイス2が取り付けられた棚札(対応する商品)に関するAR(Augmented Reality/拡張現実)情報を記憶する。
【0017】
図4は、本実施形態による位置検出装置が記憶するデバイス情報のデータ構造及びデータ例を示す概略図である。
デバイス情報は、各発信デバイス2の存在情報と発光情報とを対応付けて記憶する。存在情報は、各発信デバイス2を識別する情報であって、例えば固有又は特定の情報を含む信号(以下、「存在信号」とする。)を発信する固有の発信パターンである。存在信号は、各発信デバイス2を識別するデバイスIDを含むものであってもよいし、複数の発信デバイス2に共通の情報であってもよい。本実施形態では、発信パターンは、例えば、発信開始から1秒、3秒、4秒、7秒経過したそれぞれの時点で発信するというサイクルを繰り返す等の、発信のタイミング(間隔)である。発光情報は、各発信デバイス2を識別する情報であって、発光パターンである。本実施形態における発光パターンは、発信パターンと同様に、発光のタイミング(発光間隔や点滅周期)である。或いは、発光パターンは、発信開始から1秒経過時に赤色、3秒経過時に青色、4秒経過時に緑色、7秒経過時に白色で発光するというサイクルを繰り返す等の、発光する色と発光のタイミングと組み合わせたものであってもよい。或いは、発光パターンは、発光する色のみから構成されていてもよい。
【0018】
図示する例では、存在情報「発信パターン1」には発光情報「発光パターンA」が対応付けられており、存在情報「発信パターン2」には発光情報「発光パターンB」が対応付けられており、存在情報「発信パターン3」には発光情報「発光パターンC」が対応付けられており、存在情報「発信パターン4」には発光情報「発光パターンD」が対応付けられており、存在情報「発信パターン5」には発光情報「発光パターンE」が対応付けられている。
【0019】
図5は、本実施形態による位置検出装置が記憶するAR情報のデータ構造及びデータ例を示す概略図である。
AR情報は、撮像画像に合成して拡張現実を実現するための情報であって、デバイスIDと付加情報とを対応付けて記憶する。付加情報は、発信デバイス2が取り付けられる対象物に関する情報である。付加情報は、撮像画像における発信デバイス2の位置とデバイスIDとが特定されると、撮像画像上に合成される情報である。
【0020】
図示する例では、デバイスID「D001」に対応する付加情報は「値引きしました」であり、デバイスID「D002」に対応する付加情報は「今月発売です」であり、デバイスID「D003」に対応する付加情報は「秋の定番商品です」である。
なお、本例に限られず、付加情報は、対応する発信デバイス2に関連する情報であればよく、対応する商品の商品名、値段、商品メーカ名、クーポン、商品の在庫情報等であってもよい。例えば、位置検出装置1を店舗に来店したユーザが利用する場合には、付加情報は、購入する上で参考になる情報であればよい。また、位置検出装置1を店舗の担当者が利用する場合には、付加情報は、在庫情報(バックヤードにどれだけ在庫が残っているか等)、今週の販売数等のPOS(Point Of Sale)システムと連動すれば得られる情報、販売開始日、販売終了予定日等であってもよい。
【0021】
続いて、本位置検出システム100の動作について説明する。
以下、店舗や倉庫等において、位置検出装置1を保持するユーザUSが棚TNに陳列された商品A、商品B及び商品Cを探す場合を例に説明する。まず、位置検出装置1は、位置を特定したい対象物に取り付けられた発信デバイス2に対して発信の要求信号を送信する。例えば、位置検出装置1は、予め存在情報を発信することが可能な発信デバイス2のリストを記憶している。そして、位置検出装置1は、表示部15に発信デバイス2(或いは、発信デバイス2の取り付けられた対象物の商品等)をリスト表示し、その中から探したい対象物の発信デバイス2をユーザUSに選択させてもよい。そして、位置検出装置1は、選択された発信デバイス2に対して信号の要求信号を送信する。
【0022】
各発信デバイス2は、要求信号を受信すると、各発信デバイス2それぞれに予め設定された発信パターンで無線デバイス22から存在信号を無線により発信する。発信パターンは、発信デバイス2毎に異なり、それぞれ記憶部14に記憶されたデバイス情報のものと同一である。また、各発信デバイス2は、各発信デバイス2それぞれに予め設定された発光パターンで発光デバイス23を発光させて、点滅させる。発光パターンは、発信デバイス2毎に異なり、それぞれ記憶部14に記憶されたデバイス情報のものと同一である。位置検出装置1は、各発信デバイス2から存在信号を受信すると、デバイスリストを生成する。
【0023】
図6は、本実施形態による位置検出装置が生成するデバイスリストの一例を示す概略図である。
図示するように、位置検出装置1は、存在信号の発信元の発信デバイス2の発信パターン(存在情報)を解析してデバイスリストに追加する。
図示する例では、デバイスリストには、商品Aの棚札に設置された発信デバイス2の発信パターン1と、商品Bの棚札に設置された発信デバイス2の発信パターン2と、商品Cの棚札に設置された発信デバイス2の発信パターン3とが含まれる。
【0024】
続いて、位置検出装置1は、撮像部13のカメラを起動して商品が陳列された棚TNを撮像するとともに、撮像部13による撮像結果の画像である撮像画像を表示部15の表示画面に表示する。
【0025】
図7は、本実施形態による位置検出装置が表示する撮像画像の一例を示すイメージ図である。
本図には、棚TNに陳列された商品A、商品B及び商品Cとそれらの棚札TFを撮像しているときの撮像画像501の一例を示している。本図に示す撮像画像501では、商品Aの棚札TFに設置された発光デバイス23が発光パターンAで点滅しており、商品Bの棚札TFに設置された発光デバイス23が発光パターンBで点滅しており、商品Cの棚札TFに設置された発光デバイス23が発光パターンCで点滅している。
【0026】
位置検出装置1は、撮像画像に基づいて、画像解析等により、発光情報を出力する光源が撮像されている否かを検出する。例えば、位置検出装置1は、撮像している各発光デバイス23の発光パターンを解析する。続いて、位置検出装置1は、記憶部14が記憶するデバイス情報を参照して、デバイスリストにある存在情報に対応する発光情報を特定する。そして、位置検出装置1は、特定した発光情報を出力する光源が撮像されている場合に、撮像画像上で当該光源である発光デバイス23が設置されている棚札TFの外観形状に基づいてアウトラインを生成する。アウトラインは、撮像画像上における対象物の位置を特定するものであり、対象物である棚札TFが存在する位置が認識された領域、或いは、当該認識された領域を囲むような枠である。そして、位置検出装置1は、生成したアウトラインに関するアウトライン情報と発光情報とを存在情報に対応付けてデバイスリストに追加する。
【0027】
図8は、本実施形態による位置検出装置が生成するデバイスリストの一例を示す概略図である。
図示するように、位置検出装置1は、存在情報に対応させて、発光情報とアウトライン情報とをデバイスリストに追加する。アウトライン情報は、例えば、撮像画像においてアウトラインを表示する座標や、アウトラインの大きさ、形等である。
図示する例では、発信パターン1には発光パターンA及びアウトラインAが対応付けられており、発信パターン2には発光パターンB及びアウトラインBが対応付けられており、発信パターン3には発光パターンC及びアウトラインCが対応付けられている。
【0028】
その後、位置検出装置1は、生成した各アウトライン情報に基づいて、撮像画像にアウトラインを重ねて表示する。
【0029】
図9は、本実施形態による位置検出装置が表示するアウトライン表示画像の一例を示すイメージ図である。
位置検出装置1は、撮像画像にアウトラインを合成し、撮像画像上にアウトラインを重畳させて表示する。本図に示すアウトライン表示画像502では、商品Aの棚札TF、商品Bの棚札TF、及び商品Cの棚札TFそれぞれを囲うように各アウトラインOLが表示されている。
【0030】
このように、アウトラインを撮像画像上に表示することにより、ユーザUSは、自身が探している商品(棚札)がどこにあるかを明確に視覚的に特定することができる。更に、位置検出装置1は、アウトライン情報を生成したデバイスIDに対応する付加情報を記憶部14が記憶するAR情報から読み出し、読み出した付加情報を表示部15に表示する。
【0031】
図10は、本実施形態による位置検出装置が表示する付加情報表示画像の一例を示すイメージ図である。
位置検出装置1は、撮像画像に付加情報を合成し、撮像画像上の各棚札TF近傍にそれぞれ対応する付加情報FIを重畳させて表示する。本図に示す付加情報表示画像503では、商品Aの棚札TF近傍には商品Aの付加情報FI「商品名:aaa 在庫数:〇〇」が表示され、商品Bの棚札TF近傍には商品Bの付加情報FI「商品名:bbb 在庫数:〇×」が表示され、商品Cの棚札TF近傍には商品Cの付加情報FI「商品名:ccc 在庫数:×〇」が表示されている。また、各付加情報FIは、対応する棚札TFからの吹き出し画像によって表示されている。これにより、各商品群が密集していて棚札TF間の距離が短くても、どの棚札に関する情報であるかを容易に判別することができる。
【0032】
このように、位置検出装置1は、AR技術を用いて撮像画像上に商品の付加情報をその棚札近傍に合成して表示することにより、ユーザUSは各商品を容易に特定することができ、さらに、各商品の在庫数等、商品に関する情報を簡単に手間なく取得することができる。例えば、棚札がディスプレイを有する場合には、QR(Quick Response)コード(登録商標)等の2次元コードをそのディスプレイに表示させることで商品に関する情報を取得する技術があるが、この場合には、2次元コードをカメラが読み取り可能な距離まで近づかなければならない。この実施形態によれば、2次元コードを読み取り可能な距離まで近づくことなく、商品に関する情報を取得することができる。
【0033】
続いて、位置検出システム100における位置検出装置1及び発信デバイス2それぞれが実行する各処理の詳細について説明する。
図11は、本実施形態による発信デバイスが実行する発信処理の手順を示すフローチャートである。
まず、制御部21は、無線デバイス22が発信の要求信号を受信したか否かを判定する(ステップS101)。要求信号を受信していない場合(ステップS101;No)、ステップS101の処理を再度実行する。
【0034】
一方、要求信号を受信した場合(ステップS101;Yes)には、制御部21は、自発信デバイス2に予め設定された発信パターンで存在信号を無線デバイス22に無線により発信させる(ステップS102)。続いて、制御部21は、自発信デバイス2に予め設定された発光パターンで発光デバイス23を発光(点滅)させる(ステップS103)。その後、制御部21は、要求信号を受信してから所定時間が経過したか否かを判定する(ステップS104)。所定時間が経過していない場合(ステップS104;No)には、ステップS102の処理に戻る。一方、所定時間が経過した場合(ステップS104;Yes)には、処理を終了する。
【0035】
常時、発信デバイス2が発信や発光をすると、その電力の消費が増大する。そのため、本実施形態による発信デバイス2は、位置検出装置1から発信の要求信号の受信を受けて一定期間、発信及び発光をする。これにより、発信や発光を必要な期間にのみ行うことができるため、消費電力が増大してしまうことを抑えることができる。
【0036】
図12は、本実施形態による位置検出装置が実行する位置検出処理の手順を示すフローチャートである。
まず、通信部111が、無線通信部12から発信の要求信号を送信し、存在信号を受信することにより、周囲の発信デバイス2を探索する(ステップS201)。続いて、通信部111は、要求信号に応じて発信デバイス2が発信した存在情報に基づいてデバイスリストを生成する(ステップS202)。通信部111は、存在情報の発信パターンを解析し、解析した発信パターンをデバイスリストに追加する(ステップS203)。
【0037】
続いて、光源検出部112が、撮像部13のカメラを起動し、商品の陳列された棚が撮像された結果である撮像画像を取得する(ステップ204)。光源検出部112は、撮像部13による撮像画像に基づいて、発光情報を出力する発光デバイス23が撮像されているか否かを検出する。その後、判定部113が、無線デバイス22から受信した存在情報に対応する発光情報を記憶部14を参照して特定し、特定された発光情報が光源検出部112によって検出されているか否かを判定する。そして、出力部114が、判定部113の判定結果に基づいて、光源が検出されている場合に、当該検出された光源の撮像画像上における位置に基づいて撮像画像上における対象物を特定する。そして、出力部114は、特定した対象物の位置及び外観形状に基づいてアウトライン情報を生成する(ステップS205)。出力部114は、生成したアウトライン情報と発光情報とを存在情報に対応付けてデバイスリストに追加する(ステップS206)。
【0038】
その後、出力部114は、表示部15の表示画面上で撮像画像にアウトライン情報を重ねて表示する(ステップS207)。続いて、出力部114は、表示部15の表示画面上で撮像画像に付加情報を重ねて表示する(ステップS208)。その後、出力部114は、表示画面上でアウトライン情報がタッチ入力されたか否かを判定する(ステップS209)。アウトライン情報がタッチ入力されていない場合(ステップS209;No)、ステップS209の処理を再度実行する。一方、アウトライン情報がタッチ入力された場合(ステップS209;Yes)、出力部114は、タッチされたアウトライン情報に対応する商品に関する詳細情報を表示画面上に表示する(ステップS210)。詳細情報は、他の装置(例えば、POSシステムや外部のサーバ装置)から取得してもよいし、予め位置検出装置1が記憶していてもよい。或いは、位置検出装置1は、アウトライン情報がタッチ入力されると、付加情報を他の装置から取得することにより更新して表示してもよい。その後、処理を終了する。
【0039】
本実施形態による位置検出システム100は、店舗に来店した客、及び店舗の担当者(店員)の双方が利用可能である。例えば、店舗の客は、自身の購入したい商品を探す際に利用することができる。
【0040】
また、店舗の担当者は、棚卸業務に利用することができる。例えば、商品が保管された棚には、棚に商品を配置する位置が割り当てられており、その割り当てられた保管領域に商品が保管されている。そして、保管された領域(区域)毎に、発信デバイス2が取り付けられている。また、サーバには、在庫データベースが設けられている。在庫データベースには、商品毎に個数が記憶されている。店舗のPOSと在庫データベースが連携していることで、在庫データベースは、販売に応じて在庫数が更新される。棚卸対象の店舗内において、店員は、位置検出装置1を利用していずれかの棚を撮像する。商品を保管する領域毎に設けられた発信デバイス2を撮像することで、画面上においてその発信デバイス2の近傍に、在庫数が表示されるので、店員はその在庫数と実際に棚に保管されている個数とが対応しているかを確認することができる。これにより、カメラで棚の発信デバイス2を撮像するだけでその在庫数が画面上において対応する位置に表示されるので、在庫数を簡単に把握することができる。例えば、店員は、在庫データベースをプリントアウトした票等を持って棚の近傍に行き、棚に置かれた商品が表のどこに記載されているかを探してから在庫数を確認するような煩雑な作業を行わなくてすむ。
棚卸をする対象領域は、店内(商品が陳列された領域)と、倉庫(バックヤード等)とがあり、少なくともいずれか一方で利用することができる。
【0041】
このように、本実施形態によれば、位置検出システム100は、対象物に取り付けられ、自発信デバイス2を識別する存在情報を無線によって発信する無線デバイス22と、対象物に取り付けられ、自発信デバイス2を識別する発光情報を光によって出力する発光デバイス23と、存在情報と発光情報とを対応付けて記憶する記憶部14と、撮像部13と、撮像結果の画像に基づいて、発光情報を出力する光源が撮像されている否かを検出する光源検出部112と、発信デバイス2から受信した存在情報に対応する発光情報を記憶部14を参照して特定し、特定された発光情報が光源検出部112によって検出されているか否かを判定する判定部113と、判定部113の判定結果に基づいて、光源が検出されている場合に、検出された光源の画像上における位置に基づいて対象物に関する情報を出力する出力部114と、を有する。このような構成により、対象物の位置を精度良く特定することができる。
【0042】
例えば、GNSS(Global Navigation Satellite System/全球測位衛星システム)を用いて位置を特定する場合には、位置推定の精度の誤差が大きい。例えば、数cmの誤差であったとしても、商品が陳列された領域において、数cmの誤差があると、本来特定したい商品ではなく、その商品に隣接する商品が対象の商品であると誤認する可能性が高い。また、棚には、上段から下段まで、複数段ある。GNSSでは、高さ方向の位置を測定することが難しいため、商品の水平方向における位置を把握できたとしても、棚のどの段にあるかについては特定することが難しい。この実施形態によれば、高さ方向においても位置を特定することができ、位置特定の精度も向上することができる。また、画像上において対象物に対応する位置に情報を表示することができるため、拡張現実として、明確に視覚的に位置をナビゲーションすることができ、ユーザの利便性も向上する。
【0043】
また、棚札のように、対象物の外観が同じような物体である場合、対象物の外観を基に、個別に識別することが難しいが、この実施形態によれば、外観が類似する物体であっても、識別した上で、画像上において各種情報を表示することができる。
【0044】
また、商品の棚への割り付けは、商品の入れ替えごとに変更されることがある。この実施形態によれば、商品の棚への割り付けが変更された場合であっても、変更された後の棚の割り付け情報を把握していなくても、対象物の位置を絞り込んだ上で、特定することができる。
【0045】
また、近距離無線通信に、BLEを用いることで、カメラで撮像しない状態で、見つけたい対象のデバイスが近くにあるか否か・どの領域にあるかを絞り込んだ上で、カメラで撮像することで、具体的な位置を特定することができる。
また、発信デバイス2が多数あり、対象物のそれぞれに異なる発光パターンを準備することが難しい場合には、発光パターンと存在情報との組み合わせを変えることで、発信デバイス2の数より発光パターンの数が少なかったとしても、発信デバイス2を識別することができる。
なお、発光素子のみ発信デバイス2に設けられる場合(BLEがない場合)には、光源の位置を撮像できれば位置を特定することができるが、探索する対象の領域が広い場合は、物体の裏側にあると、光源からの光が届かない。例えば倉庫では、沢山の棚があり、見つけたい対象物が別の棚の影にある場合には、その棚がどこにあるかを見つけなければならない。そのため、BLEを用いることで、物体の影にあったとしても、存在する領域を絞り込んだ上で、対象物を見つけることができる。
【0046】
また、この実施形態では、発信デバイス2と測定デバイスである位置検出装置1とが接続する必要がない。一般的には、BLEでは、発信デバイス2は、同時に1つの測定デバイスとしか接続できない。また、測定デバイスに関しても、同時に接続できる発信デバイス2の数に限りがある。そのため、発信デバイス2は、複数の測定デバイスが存在する場合に、1つの測定デバイスと接続してしまうと、他の測定デバイスとは同時期に接続することができない。この実施形態によれば、発信デバイス2と位置検出装置1とが接続することなく、発信デバイス2が取り付けられた対象物の位置を特定することができる。
【0047】
以上本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
【0048】
例えば、上述した実施形態では、発信デバイス2の存在情報を信号の発信パターンとしているが、これに限らず、例えばデバイスID等、存在情報は発信デバイス2を識別できるものであればよい。
【0049】
また、上述した実施形態では、位置検出装置1は、表示画面において対象物にアウトラインを表示することにより、対象物の位置を特定しているが、これに限らず、対象物を矢印等の図形で示す等、対象物の位置が判るような出力であればよい。
【0050】
また、上述した実施形態では、発信デバイス2は、発信の要求信号に応じて発信及び発光をしているが、これに限らず、常時、発信及び発光をするようにしてもよい。
【0051】
また、位置検出装置1は、存在情報を受信することが出来ているが、発光デバイス23から発光情報が得られていない(発光デバイス23を撮像できていない)発信デバイス2について、表示画面上にリストを表示するようにしてもよい。これにより、通信圏内にある発信デバイス2がどれであるかを特定することができる。また、その発信デバイス2が特定できることで、対象物の一定範囲内に近づいていることを把握することができる。また、位置検出装置1は、例えば、その信号の受信強度に応じて、対象物までの距離を示す度合い(近い、やや近い、やや遠い、遠い、等)を表示するようにしてもよい。これにより、対象物までのおおまかな距離を把握することができる。
【0052】
また、上述した実施形態において、表示画面上に表示された情報(例えばアウトライン情報等)に対する入力は、タッチパネルからタッチ入力する場合について説明したが、タッチパネル以外の入力デバイスを用いて入力されるようにしてもよい。例えば、位置検出装置1が、ヘッドマウントディスプレイなどの装着型のディスプレイ装置と、ジェスチャー入力デバイスとによって構成されるようにしてもよい。この場合、ヘッドマウントディスプレイに表示された情報に対し、ジェスチャー入力デバイスによって操作入力するようにしてもよい。
また、ヘッドマウントディスプレイの他に、網膜投影機器を用いるようにしてもよい。網膜投影機器は、眼鏡のように装着する機器であり、現実の物体はユーザの視覚を通じて認識され(ユーザの目で直接見る)るが、網膜投影機器の光源からの光(例えばレーザ光)をユーザの網膜上に直接投影することで、視覚によって認識することができるAR(拡張現実)画像が、視認された現実の物体に重ねられるようにして表示されるものである。このような網膜投影機器とジェスチャー入力デバイスとによって位置検出装置1を構成し、AR画像に対しジェスチャー入力デバイスから操作入力するようにしてもよい。
また、表示画面上に表示された情報(例えばアウトライン情報等)に対する入力は、脳波を検出し、検出された脳波に応じて操作入力をするようにしてもよい。
【0053】
また、上述の実施形態において、存在情報(発信パターン)と発光情報(発光パターン)との対応関係を示すデバイス情報を記憶部14に記憶する場合について説明した。しかし、デバイス情報をクラウドサーバ等に記憶しておき、必要なタイミングで位置検出装置1が、クラウドサーバから取得するようにしてもよい。
ここで、デバイス情報をクラウドサーバからから読み出すシステムである場合、このようなシステムを一般顧客等のユーザが利用しようとすると、デバイス情報をクラウドサーバから取得する際に、時間を要してしまうことも考えられる。
そのため、簡易紐付け機能として、発信パターンに合わせて、発光する様な紐付け機能を用いるようにしてもよい。つまり、デバイス情報を記憶領域に記憶していない場合において、当紐付けの関係を類推する機能として、発信パターンに同期する形で、発光しているかどうか等の対応関係を判定し、対応関係にあると判定された場合に、当紐付けルールで各パターンが紐づけられていると類推するようにしてもよい。より具体的に、例えば、発信開始から1秒、3秒、4秒、7秒経過したそれぞれの時点で発信するというサイクルを繰り返す発信パターンについて、この発信タイミングに同期するタイミングで、発光デバイスが発光しているか否かを判定部によって判定するようにしてもよい。そして、発信されるタイミングと、発光するタイミングが同期していると判定できた場合には、対応関係があると類推し、同期していないと判定された場合には、対応関係がないと類推するようにしてもよい。これにより、各環境の紐づけ情報を有することなく、紐付けを行うことも可能である。
このような対応関係判定機能、類推機能を用いる場合には、各店舗におけるデバイス情報を、位置検出装置1として用いられるモバイル機器に記憶しておく、あるいはクラウドサーバから取得する必要がない。このような構成は、例えば、コンビニやスーパーなどの店舗を限定しない、各地域のフランチャイズ店舗等を複数店舗利用する顧客にとって、有益である。
【0054】
なお、上述した位置検出装置1または発信デバイス2における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0055】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【符号の説明】
【0056】
1・・・位置検出装置
11・・・制御部
111・・・通信部
112・・・光源検出部
113・・・判定部
114・・・出力部
12・・・無線通信部
13・・・撮像部
14・・・記憶部
15・・・表示部
2・・・発信デバイス
21・・・制御部
22・・・無線デバイス
23・・・発光デバイス
100・・・位置検出システム