(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-04
(45)【発行日】2024-10-15
(54)【発明の名称】携帯情報端末およびその表示方法
(51)【国際特許分類】
G01S 5/02 20100101AFI20241007BHJP
G01S 5/14 20060101ALI20241007BHJP
【ＦＩ】
G01S5/02 Z
G01S5/14
G01S5/02 A
【請求項の数】
9
(21)【出願番号】P 2023509936
(86)(22)【出願日】2021-03-29
(86)【国際出願番号】 JP2021013384
(87)【国際公開番号】W WO2022208628
(87)【国際公開日】2022-10-06
【審査請求日】2023-06-21
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】秋山 仁
(72)【発明者】
【氏名】吉澤 和彦
(72)【発明者】
【氏名】中出 眞弓
(72)【発明者】
【氏名】益岡 信夫
【審査官】山下 雅人
(56)【参考文献】
【文献】特表２０１０－５１５０４４（ＪＰ，Ａ）
【文献】特表２０１９－５１２６７１（ＪＰ，Ａ）
【文献】特開２００７－２９８４４１（ＪＰ，Ａ）
【文献】特開２０１４－１２６３８０（ＪＰ，Ａ）
【文献】特開２０１９－０３９８７７（ＪＰ，Ａ）
【文献】国際公開第２０１９／０５２９９８（ＷＯ，Ａ１）
【文献】特開２０１２－１９８８３３（ＪＰ，Ａ）
【文献】特開２０１４－１４２７２１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ １／００－１７／９５
(57)【特許請求の範囲】
【請求項1】
電波源の無線信号を受信する無線受信デバイスと自端末の移動量と回転量の測定を行うセンサと表示デバイスと制御装置を備えた携帯情報端末であって、前記制御装置は、
前記無線受信デバイスにより受信した電波源の受信強度と、前記センサで測定した自端末の移動量と回転量から前記電波源の位置を推定し、
携帯情報端末の位置から見た前記電波源の推定位置の相対的位置関係を示す３次元的な方向と距離を示す図形的ガイド表示を外界画像に重ねて前記表示デバイスに表示するとともに、前記電波源の推定位置の誤差を低減するためのガイダンスを前記表示デバイスに表示することを特徴とする携帯情報端末。
【請求項2】
請求項１に記載の携帯情報端末であって、前記制御装置は、前記電波源の推定位置の誤差範囲を３次元的方向による違いを含めて表示することを特徴とする携帯情報端末。
【請求項3】
電波源の無線信号を受信する無線受信デバイスと自端末の移動量と回転量の測定を行うセンサと表示デバイスと制御装置を備えた携帯情報端末であって、前記制御装置は、
前記無線受信デバイスにより受信した電波源の受信強度と、前記センサで測定した自端末の移動量と回転量から前記電波源の位置を推定し、
前記電波源の位置の推定の精度が所定以上となった場合、携帯情報端末の位置から見た前記電波源の推定位置の相対的位置関係を示す３次元的な方向と距離を示す図形的ガイド表示を外界画像に重ねて前記表示デバイスに表示することを特徴とする携帯情報端末。
【請求項4】
請求項３に記載の携帯情報端末であって、
前記電波源の位置の推定の精度が所定未満の場合、外界基準の電波源の位置推定を行うことを特徴とする携帯情報端末。
【請求項5】
請求項１ないし４のいずれかに記載の携帯情報端末であって、前記図形的ガイド表示の先端が、前記電波源の推定位置の表示に重なることを特徴とする携帯情報端末。
【請求項6】
請求項１ないし４のいずれかに記載の携帯情報端末であって、前記図形的ガイド表示の先端が、前記電波源の推定位置の表示に重ならないことを特徴とする携帯情報端末。
【請求項7】
請求項１ないし４のいずれかに記載の携帯情報端末であって、前記図形的ガイド表示が、外界の実体物との遮蔽関係も反映した表示であることを特徴とする携帯情報端末。
【請求項8】
請求項１ないし４のいずれかに記載の携帯情報端末であって、前記制御装置は、ユーザ視点の画像であり前記電波源が含まれる画像に対して、前記図形的ガイド表示を重畳させて表示することを特徴とする携帯情報端末。
【請求項9】
請求項１ないし４のいずれかに記載の携帯情報端末であって、前記制御装置は、前記電波源の位置の移動履歴を合わせて表示することを特徴とする携帯情報端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＲＦタグやビーコンなどの電波源の位置を推定し表示する電波源探索用の携帯情報端末に関する。
【背景技術】
【0002】
電波源の位置推定に関する技術分野の背景技術として特許文献１がある。特許文献１では、携帯型端末を位置移動させて異なる位置にて、発信機から受けた受信電波強度及び受信側である携帯型端末自身の位置を計測し、多地点で得られた計測結果としての受信電波強度及び受信側位置情報を統合して発信機の位置を推定し、２次元地図情報に重ねて推定電波源の位置を表示する点が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－１４２１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、２次元地図上で位置を示す必要があるので、まず、地図情報を取得できない環境では利用できない、という課題がある。また、屋内の場合、屋内測位ができない環境では、地図上の自端末位置が分からないため、電波源の位置も地図上でどこにあるのか分からない。さらに、地図情報に載っていない実体物があって、それに隠れて推定した電波源位置がわかりにくい、という場合もある。その他、電波源の高さについての情報が欠落しているという課題がある。
【0005】
本発明は、上記課題に鑑み、電波源を探索する場合において、推定された電波源位置をユーザに分かり易く提示する携帯情報端末およびその表示方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、その一例を挙げるならば、電波源の無線信号を受信する無線受信デバイスと自端末の移動量と回転量の測定を行うセンサと表示デバイスと制御装置を備えた携帯情報端末であって、制御装置は、無線受信デバイスにより受信した電波源の受信強度と、センサで測定した自端末の移動量と回転量から電波源の位置を推定し、携帯情報端末の位置から見た電波源の推定位置の相対的位置関係を示す３次元的な方向と距離を示す図形的ガイド表示を外界画像に重ねて表示デバイスに表示するように構成する。
【発明の効果】
【0007】
本発明によれば、電波源を探索する場合において、推定された電波源位置をユーザに分かり易く提示する携帯情報端末およびその表示方法を提供できる。
【図面の簡単な説明】
【0008】
【図1】実施例１における電波源探索システムの概略構成図である。
【図2A】実施例１における携帯情報端末がＨＭＤの場合の電波源推定位置の表示例である。
【図3】実施例１における携帯情報端末の一例としてのＨＭＤの外観構成例である。
【図4】実施例１における携帯情報端末（ＨＭＤ）の機能ブロック構成例である。
【図5】実施例１における電波源探索の処理フロー図である。
【図6】実施例１における電波源の方向推定の説明図である。
【図7】実施例１における電波源推定位置の表示の変形例である。
【図8】実施例２における電波源推定位置の表示例である。
【図9】実施例２における電波源探索の処理フロー図である。
【図10】実施例３における電波源推定位置の表示例である。
【図11】実施例４における電波源推定位置の表示例である。
【図12】実施例５における電波源探索システムの概略構成図である。
【図13】実施例５における電波源探索の処理フロー図である。
【図14A】実施例６における携帯情報端末がスマートウォッチの場合の電波源推定位置の表示例である。
【図15A】実施例６における携帯情報端末がスマートウォッチの場合の電波源推定位置の他の表示例である。
【図16】実施例７における相手端末探索システムの概略構成図である。
【図17A】実施例７における相手端末推定位置の表示例である。
【図17B】実施例７における相手端末推定位置の他の表示例である。
【図18】実施例７における相手端末探索の処理フロー図である。
【図19A】実施例８における電波源推定位置の表示例である。
【図20】実施例８における電波源探索の処理フロー図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施例について説明する。
【実施例1】
【0010】
図１は、本実施例における電波源探索システムの概略構成図である。図１において、電波源探索システムは、電波源８０の位置を探索し推定する携帯情報端末として、例えば、ＨＭＤ（Head Mount Display）である携帯情報端末１Ａ、スマートフォンである携帯情報端末１Ｂ、スマートウォッチである携帯情報端末１Ｃの少なくとも１つを持つ。以下の携帯情報端末の電波源探索動作は、これらの携帯情報端末が単独で行ってもよいし、連携して行ってもよい。なお、以下の記述では、携帯情報端末１Ａから１Ｃを総称して携帯情報端末１と記述する。また、携帯情報端末を単に端末と記述する場合がある。
【0011】
サーバ２は、通信網９を介して、各携帯情報端末１の処理を代行したり、各携帯情報端末１間の情報の送受信を媒介したり、必要な情報を提供したりする。サーバ２は例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。
【0012】
図２Ａは、本実施例における携帯情報端末がＨＭＤの場合の電波源推定位置の表示例である。図２Ａにおいて、外枠は、ＨＭＤが光学シースルーの場合はユーザの視野を表し、ビデオシースルーの場合はディスプレイの視野を表す。
【0013】
図２Ａに示すように、８１で示す丸が電波源推定位置を表示するマーク位置であり（以降、電波源推定位置８１と記す）、電波源推定位置８１とＨＭＤの装着者からの遠近感が直観的に分かるオブジェクトであるガイド８２を表示する。例えば、図２Ａに示すように、ガイド８２は一定間隔が分かるオブジェクトとすればよい。また、電波源推定位置８１とガイド８２を外界の画像に重ねて表示する。このように、本実施例における電波源推定位置の表示は、電波源の推定位置と共に、電波源推定位置の相対的位置関係を示す３次元的な方向と距離を示す図形的ガイド表示を外界画像に重ねて表示する。なお、図２Ａにおいて、電波源推定位置までの距離を８３に示すように表示してもよい。また、８４に示すように距離の目安になるポイント間の間隔を示してもよい。
【0014】
また、図２Ｂは、図２Ａにおいて電波源の位置が変化した場合の電波源推定位置の表示例である。図２Ｂに示すように、視野内における電波源推定位置８１にガイド８２の先端の表示位置に合わせる、すなわち重ねることで、より電波源推定位置の場所が強調されて分かり易くなる。また、目標までの距離間が分かるので、物に隠れている場合も、位置の認識がしやすい。
【0015】
図３は、本実施例における携帯情報端末の一例としてのＨＭＤの外観構成例である。図３において、ＨＭＤである携帯情報端末１Ａは、眼鏡状の筐体１０に、表示面１１を含む表示デバイスを備える。この表示デバイスは、例えば透過型表示デバイスであり、表示面１１には外界の実像が透過され、その実像上に画像が重畳表示される。筐体１０には、制御装置、カメラ１２、測距センサ１３、他のセンサ部１４等が実装されている。
【0016】
カメラ１２は、例えば筐体１０の左右両側に配置された２つのカメラを有し、ＨＭＤの前方を含む範囲を撮影して画像を取得する。測距センサ１３は、ＨＭＤと外界の物体との距離を測定するセンサである。測距センサ１３は、ＴＯＦ（Time Of Flight）方式のセンサを用いてもよいし、ステレオカメラや他の方式を用いてもよい。センサ部１４は、ＨＭＤの位置および向きの状態を検出するためのセンサ群を含む。筐体１０の左右には、マイクを含む音声入力装置１８、スピーカやイヤホン端子を含む音声出力装置１９等を備える。
【0017】
ＨＭＤである携帯情報端末１Ａには、リモートコントローラ等の操作器２０が付属していてもよい。その場合、ＨＭＤは、その操作器２０との間で例えば近距離無線通信を行う。ユーザは、手で操作器２０を操作することで、ＨＭＤの機能に関する指示入力や表示面１１でのカーソル移動等ができる。ＨＭＤは、外部のスマートフォンやＰＣ等と通信して連携を行ってもよい。例えば、ＨＭＤは、スマートフォンのアプリケーションからＡＲ（拡張現実：Augmented Reality）の画像データを受信してもよい。
【0018】
ＨＭＤである携帯情報端末１Ａは、ＡＲ等の仮想画像を表示面１１に表示させてもよい。例えば、ＨＭＤである携帯情報端末１Ａは、ユーザを誘導するための仮想画像を生成し、表示面１１に表示する。
【0019】
図４は、図３のＨＭＤである携帯情報端末１Ａの機能ブロック構成例である。基本的には、他の携帯情報端末１も同様の構成である。携帯情報端末１は、プロセッサ１０１、メモリ１０２、カメラ１２、測距センサ１３、センサ部１４、表示デバイス１０３、通信デバイス１０４、マイクを含む音声入力装置１８、スピーカ等を含む音声出力装置１９、無線送信デバイス１０５、無線受信デバイス１０６、操作入力部１０７、およびバッテリ１０８等を備える。これらの要素はバス等を通じて相互に接続されている。
【0020】
プロセッサ１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成され、ＨＭＤの制御装置を構成する。プロセッサ１０１は、メモリ１０２の制御プログラム３１やアプリケーションプログラム３２に従った処理を実行することにより、ＯＳ、ミドルウェア、アプリケーション等の機能や他の機能を実現する。メモリ１０２は、不揮発性記憶装置等で構成され、プロセッサ１０１等が扱う各種のデータや情報を記憶する。メモリ１０２には、一時的な情報として、カメラ１２等によって取得した画像や検出情報等も格納される。
【0021】
カメラ１２は、レンズから入射した光を撮像素子で電気信号に変換して画像を取得する。測距センサ１３は、例えばＴＯＦ（Time Of Flight）センサを用いる場合、外界に出射した光が物体に当たって戻ってくるまでの時間から、その物体までの距離を計算する。センサ部１４は、例えば、加速度センサ１４１、ジャイロセンサ（角速度センサ）１４２、地磁気センサ１４３、ＧＰＳ受信器１４４を含む。センサ部１４は、これらのセンサの検出情報を用いて、ＨＭＤの位置、向き、動き等の状態を検出する。ＨＭＤは、これに限らず、照度センサ、近接センサ、気圧センサ等を備えてもよい。
【0022】
表示デバイス１０３は、表示駆動回路や表示面１１を含み、表示情報３４の画像データに基づいて、表示面１１に仮想画像等を表示する。なお、表示デバイス１０３は、透過型表示デバイスに限らず、非透過型表示デバイス等としてもよい。
【0023】
通信デバイス１０４は、所定の各種の通信インタフェースに対応する通信処理回路やアンテナ等を含む。通信インタフェースの例は、モバイル網、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線等が挙げられる。通信デバイス１０４は、他の携帯情報端末１やアクセスポイントとの間での無線通信処理等を行う。通信デバイス１０４は、操作器との近距離通信処理も行う。
【0024】
無線送信デバイス１０５は、位置推定に用いる識別信号を伴った電波源の無線信号を送信する。ここで、識別情報を伴った無線信号とは、例えばＢｌｕｅｔｏｏｔｈ等の信号である。無線受信デバイス１０６は、上記の識別信号を伴った電波源の無線信号を受信し、受信強度を測定する。なお、無線送信デバイス１０５と無線受信デバイス１０６を使用して、情報通信を行ってもよい。また、無線信号の送信のみ、あるいは受信のみ行う携帯情報端末１の場合は、必要なデバイスを備えていればよい。
【0025】
音声入力装置１８は、マイクからの入力音声を音声データに変換する。音声出力装置１９は、音声データに基づいてスピーカ等から音声を出力する。音声入力装置は、音声認識機能を備えてもよい。音声出力装置は、音声合成機能を備えてもよい。操作入力部１０７は、ＨＭＤに対する操作入力、例えば電源オン／オフや音量調整等を受け付ける部分であり、ハードウェアボタンやタッチセンサ等で構成される。バッテリ１０８は、各部に電力を供給する。
【0026】
プロセッサ１０１による制御装置は、処理によって実現される機能ブロックの構成例として、通信制御部１０１Ａ、表示制御部１０１Ｂ、データ処理部１０１Ｃ、およびデータ取得部１０１Ｄを有する。
【0027】
メモリ１０２には、制御プログラム３１、アプリケーションプログラム３２、設定情報３３、表示情報３４、位置推定情報３５等が格納されている。制御プログラム３１は、携帯情報端末１間の相対的位置関係の推定を実現するためのプログラムである。アプリケーションプログラム３２は、ユーザに対する誘導機能を実現するプログラムである。設定情報３３は、各機能に係わるシステム設定情報やユーザ設定情報を含む。表示情報３４は、仮想画像を表示面１１に表示するための画像データや位置座標情報を含む。位置推定情報３５は、位置推定を行うための、携帯情報端末１の移動距離、外界に対する携帯情報端末１の向き、無線信号の受信強度に係る情報である。
【0028】
通信制御部１０１Ａは、他の携帯情報端末１との通信の際等に、通信デバイス１０４を用いた通信処理を制御する。表示制御部１０１Ｂは、表示情報３４を用いて、表示デバイス１０３の表示面１１への仮想画像等の表示を制御する。
【0029】
データ処理部１０１Ｃは、位置推定情報３５を読み書きし、自機と相手端末との相対的位置関係の推定等を行う。
【0030】
データ取得部１０１Ｄは、無線受信デバイス１０６から無線信号の強度を取得し、カメラ１２、測距センサ１３、およびセンサ部１４等の各種のセンサから各検出データを取得する。データ取得部１０１Ｄは、各種センサの検出データから、自位置を推定し、移動距離を測定する。
【0031】
図５は、本実施例における電波源探索の処理フロー図である。図５において、携帯情報端末１は、まずステップＳ１で探索開始指示を受けると、ステップＳ２で、無線受信デバイス１０６により電波源の無線信号を受信する。外界の電波源と自端末との相対的位置関係の把握の基礎となるため、携帯情報端末１は、外界における自端末の位置変化と向きの変化を常に測定している必要がある。そのため、携帯情報端末１は、同じくステップＳ２において、図４におけるセンサ部１４のセンサの検出データから自端末の移動量と向きの変化である回転量の測定を行う。そして、ステップＳ３で、プロセッサ１０１は電波源位置の推定を行い、ステップＳ４で電波源の推定位置とガイドの表示を行う。そして、探索終了の指示を受けるまで、ステップＳ２からＳ４の処理を続け、電波源の推定位置の表示とガイドの表示を更新し続ける。このように、電波源を探して移動している状況で、随時電波源位置を推定し、電波源の推定位置の表示とガイドの表示を更新し続ける。
【0032】
複数の地点での測定を統合して電波源位置の推定をする場合は、現在と過去における自端末の位置と向きの関係を知る必要がある。携帯情報端末１は、ステップＳ２における自端末の移動量と回転量の測定から、常に外界に対する自端末の移動量と向きの変化を把握しているので、現在と過去における自端末の位置と向きの関係も把握できる。
【0033】
電波源の位置推定方法の１例としては、下記がある。
【0034】
電波の受信強度は、反射波が十分に小さい状態では、距離の二乗に反比例する。この特性を表す関数を使い、複数地点のデータから最小二乗法でフィッティングを行うことにより、電波源位置の推定ができる。すなわち、受信強度Ｐは、下記で算出される。
【0035】
Ｐ＝ｋ／｛（Ｘ－Ｘ０）２＋（Ｙ－Ｙ０）２＋（Ｚ－Ｚ０）２｝
ここで、ｋ：電波源強度に依存した係数、（Ｘ０、Ｙ０、Ｚ０）：電波源位置、（Ｘ、Ｙ、Ｚ）：受信位置、である。
ここで、ｋ：電波源強度に依存した係数、（Ｘ０、Ｙ０、Ｚ０）：電波源位置、（Ｘ、Ｙ、Ｚ）：受信位置、である。
【0036】
そのため、複数の受信位置で受信強度Ｐを測定し、パラメータフィッティングにより、ｋと（Ｘ０、Ｙ０、Ｚ０）すなわち電波源位置を求める。反射波が強いときは誤差を生じるが、電波源に近づくに従って、相対的に反射波は弱くなるので、推定精度は向上する。フィッティング関数は、上記に限定されず、反射波による歪も考慮して、高次の項を取り入れる等してもよい。なお、位置推定の計算負荷が大きい場合は、携帯情報端末で行うのでなく、サーバ等、他の機器で計算を行ってもよい。
【0037】
また、電波源の位置推定方法の他の例として下記がある。
【0038】
ＵＷＢ（超広帯域無線、Ultra Wide Band）の技術を使うと、一か所の測定値で、電波源の位置を推定することができる。図６は、電波源の方向推定の説明図である。図６において、ＡＯＡ（Angle of Arrival） の方法で、アンテナの配列面７０に対する電波源８０の方向θが分かる。これに合わせて、電波源との距離情報ｄで電波源の位置が分かる。
【0039】
電波源との距離は、例えば以下の２つの方法で分かる。
（１）端末の時刻同期がある場合、電波の到達時刻の測定。
（２）端末側から送信したトリガに対する電波源からの返信にかかる時間を測定。
なお、上記の方法でも、誤差を低減するため、複数個所における推定電波源位置の平均値を使用してもよい。
（１）端末の時刻同期がある場合、電波の到達時刻の測定。
（２）端末側から送信したトリガに対する電波源からの返信にかかる時間を測定。
なお、上記の方法でも、誤差を低減するため、複数個所における推定電波源位置の平均値を使用してもよい。
【0040】
図７は、本実施例における電波源推定位置の表示の変形例である。図７において、ガイド８２を、ＨＭＤの装着者から電波源推定位置８１に向かう線上を避けて表示すると、電波源推定位置８１までの経路がよく見えるので、ガイド８２の先端位置を、電波源推定位置を表示するマーク位置から外して横へ表示してもよい。すなわち、ガイド８２の先端が、電波源推定位置の表示に重ならないようにしてもよい。
【0041】
このように、本実施例では、ＨＭＤを含めたユーザが携帯する携帯情報端末からの電波源推定位置の３次元的相対的位置関係、すなわち、携帯情報端末位置からの３次元的方向と距離を示す図形的ガイド表示を、外界画像に重ねて表示する。これにより、実際に見えている外界の様子と、電波源の位置関係が直観的に分かるので、電波源の位置認識がしやすい。
【0042】
以上のように、本実施例によれば、電波源を探索する場合において、推定された電波源位置をユーザに分かり易く提示する携帯情報端末およびその表示方法を提供できる。
【実施例2】
【0043】
図８は、本実施例における携帯情報端末がＨＭＤの場合の電波源推定位置の表示例である。
【0044】
図８に示すように、電波源推定位置が、物体の陰に隠れている、あるいは、カバン等の中にあるなど、外観から直接は確認できない位置にある場合、ガイド８２の外界の物体に遮蔽される部分を、その他の部分とは異なる形式で表示する。すなわち、図８では、ガイド８２の表示が外界の実体物との遮蔽関係も反映した表示となるように、遮蔽される部分を点線表示、遮蔽されない部分を実線表示としている。なお、その他の表示例としては、濃淡の別、色の別等で表示する。また、電波源推定位置８１も、同様に点線表示等の異なる形式で表示してもよい。これにより、電波源推定位置と外界の物体間の位置関係がより分かり易くなるという効果がある。
【0045】
図９は、本実施例における電波源探索の処理フロー図である。図９において、図５と同じ処理は同じ符号を付し、その説明は省略する。図９において、図５と異なる点は、ステップＳ２をステップＳ１０に置き替えた点である。すなわち、ステップＳ１０において、ガイド８２の表示に遮蔽関係を反映させるため、ステップＳ２の処理にさらに外界の物体までの距離の測定を加えた点である。
【実施例3】
【0046】
本実施例では、電波源推定位置の誤差に異方性がある場合、その異方性を反映した３次元的な形式で電波源推定位置を表示する点について説明する。
【0047】
図１０は、本実施例における電波源推定位置の表示例である。
【0048】
上記した電波源の位置推定方法の１つである、複数地点のデータから最小二乗法でフィッティングを行う方法の場合、水平面上に移動しながら測定を行うと、垂直方向の測定位置の広がりがなくなり、垂直方向の位置推定誤差が大きくなる場合がある。そのようなときに、図１０に示すように、誤差の大きい方向である垂直方向に延びた形状のマーク８５で電波源推定位置を表示する。すなわち、電波源推定位置の誤差範囲を３次元的方向による違いを含めて表示する。
【0049】
これにより、誤差の目安となると共に、測定位置を増やす場合の参考になる。なお、電波源推定位置の誤差を低減するための具体的な追加測定点のガイダンス８６を表示してもよい。
【実施例4】
【0050】
本実施例では、ショッピングセンターなどで、複数の店舗に設置された電波ビーコンをたよりに複数の店舗の場所を探す場合等、目標となる電波源が複数ある場合に、複数の電波源推定位置をガイドと共に表示する例について説明する。
【0051】
図１１は、本実施例における電波源推定位置の表示例である。図１１において、電波信号に含まれる電波源のＩＤ情報により、複数の電波源を区別して測定し、例えば第１の電波源推定位置８７と第２の電波源推定位置８８をそれぞれ表示する。
【0052】
表示方法としては、多様な表示方法を取りうる。すなわち、電波源推定位置の遠近による距離差に応じて、推定位置やガイドの表示の態様を異ならせてもよい。図１１では、遠い電波源ほど、電波源推定位置を表示するマークの大きさを小さくし（遠い第２の電波源推定位置８８を近い第１の電波源推定位置８７よりも小さくしている）、ガイド８２の線も細くしている。なお、遠近により、色を変えてもよい。さらにまた、外界がすっきり見えるように、近い電波源へのガイドのみ表示するようにしてもよい。
【0053】
また、携帯情報端末１は、地図情報が利用できる場合は、電波源に到達するための移動方向の案内８９をＡＲオブジェクトとして表示してもよい。これにより、電波源への距離感が分かるガイドと共に、移動方向の案内が表示されることにより、目標地点到達までの距離感が掴めることになり、ユーザにとり、安心感が増す。なお、この案内は電波源がひとつの場合でも有効である。電波源が複数の場合は、近い電波源から回るための道順で誘導してもよい。また、地図情報は、携帯情報端末に記録されているものでもよいし、サーバ２から取得してもよい。
【0054】
本実施例によれば、一度に複数の電波源推定位置を確認できるので、利便性が向上する。
【実施例5】
【0055】
本実施例では、スマートフォンで電波源の位置推定を行い、電波源推定位置とガイドの表示をＨＭＤで行う例について説明する。
【0056】
図１２は、本実施例における電波源探索システムの概略構成図である。図１２において、図１および図３と同じ構成は同じ符号を付し、その説明は省略する。図１２において、図１および図３と異なる点は、ＨＭＤ１Ａに、電波源（３０ａ～３０ｄ）を４つ搭載した点である。
【0057】
図１２に示すように、本実施例では、スマートフォン１ＢとＨＭＤ１Ａとの位置関係を測定するために、ＨＭＤ１ＡにＵＷＢの電波源を３つ以上搭載し、その電波源位置をスマートフォンから測定する。図１２では、電波源を４つ搭載する例を示した（３０ａ～３０ｄ）。スマートフォン１ＢとＨＭＤ１Ａの位置関係の情報から、スマートフォン１Ｂで測定した目標電波源位置をＨＭＤ１Ａの座標系での位置に変換する。
【0058】
図１３は、本実施例における電波源探索の処理フロー図である。図１３において、携帯情報端末１ＡがＨＭＤ。携帯情報端末１Ｂがスマートフォンである。まずステップＳ２１Ａ、Ｓ２１Ｂにおいて、探索開始のユーザ指示は、どちらの携帯情報端末に対して行ってもよく、携帯情報端末１Ａ、１Ｂ間の通信により、何れかの携帯情報端末への探索開始指示をトリガとして、それぞれの携帯情報端末１Ａ、１Ｂの電波源探索の処理が開始される。
【0059】
携帯情報端末１Ｂでは、ステップＳ２２Ｂで、図５で説明したステップＳ２と同様の無線信号の受信と自端末の移動量と回転量の測定を行う。そして、ステップＳ２３Ｂで、図５で説明したステップＳ３と同様の電波源位置の推定を行なう。
【0060】
次に、ステップＳ２４Ｂで、携帯情報端末１Ａ、１Ｂ間の位置関係を測定する。なお、この処理は、携帯情報端末１ＡのステップＳ２４Ａでも、対応した処理を行う。そして、ステップＳ２５Ｂで、ステップＳ２３Ｂで推定した電波源推定位置の情報を携帯情報端末１Ａへ送信し提供する。
【0061】
その後、ステップＳ２７Ｂにおいて、探索終了の指示を受けたかを判断し、探索終了の指示を受けるまで、ステップＳ２２ＢからＳ２５Ｂの処理を続け、電波源の推定位置の更新をし続ける。なお、探索終了のユーザ指示は、どちらの携帯情報端末に対して行ってもよく、携帯情報端末１Ａ、１Ｂ間の通信により、何れかの携帯情報端末への探索終了指示をトリガとして、それぞれの携帯情報端末１Ａ、１Ｂの電波源探索の処理が終了する。
【0062】
携帯情報端末１Ａでは、ステップＳ２２Ａにおいて、遮蔽関係の表示のため外界の物体の距離測定を行う。なお、ガイドの表示に遮蔽関係を反映させない場合は、測定しなくてもよい。
【0063】
次に、ステップＳ２４Ａで、携帯情報端末１Ａ、１Ｂ間の位置関係を測定し、ステップＳ２５Ａで、携帯情報端末１Ｂから送信された電波源推定位置の情報を受信する。
【0064】
そして、ステップＳ２６Ａで、携帯情報端末１Ａ、１Ｂ間の位置関係の情報をもとに、携帯情報端末１Ｂから送信された電波源推定位置を携帯情報端末１Ａの座標系での電波源推定位置に変換し、図５で説明したステップＳ４と同様の電波源の推定位置とガイドの表示を行う。
【0065】
その後、ステップＳ２７Ａにおいて、探索終了の指示を受けたかを判断し、探索終了の指示を受けるまで、ステップＳ２２ＡからＳ２６Ａの処理を続け、電波源の推定位置とガイドの表示の更新をし続ける。
【0066】
なお、図１では携帯情報端末間の連携関係を図示していないが、本実施例のように、複数の携帯情報端末で処理を分散してよい。また、携帯情報端末間の相対的位置関係が分かれば、電波の受信処理も協同で行ってもよい。
【0067】
以上のように、本実施例では、ＨＭＤで表示を行うことで、直観的に電波源位置を把握することができる。また、位置推定の計算をスマートフォンで行うことにより、ＨＭＤでの処理負担の軽量化が図れる。
【実施例6】
【0068】
本実施例では、電波源推定位置とガイドの表示領域が小さい場合の表示例について説明する。
【0069】
図１４Ａは、本実施例における携帯情報端末がスマートウォッチの場合の電波源推定位置の表示例である。図１４Ａにおいて、スマートウォッチ１Ｃのように表示領域が小さい携帯情報端末の場合、ガイド表示が小さく見づらくならないように、図２Ｂに示したようなガイド表示の先端を電波源推定位置に合わせる表示としない。すなわち、図１４Ａにおいて、スマートウォッチ１Ｃは、ガイド９１の先端を電波源推定位置に合わせず、電波源推定位置８１に対して、スマートウォッチ１Ｃの位置を規準に、奥行方向は上向き、手前方向は下向き、左右方向は左右への傾斜での表示とし、電波源推定位置までの直観的な感覚をガイド（ここでは矢印）の形状で表示する。言い換えれば、矢印の方向で電波源の方向を示し、長さで電波源までの距離を示す。なお、図１４Ａに示すように、電波源推定位置までの距離と角度を９２に示すように表示してもよいし、９３に示すように、ガイド９１の長さの距離の目安になるスケールを表示してもよい。
【0070】
図１４Ｂは、図１４Ａにおいて電波源の位置が変化し、電波源が構造物によって遮蔽された位置にある場合の電波源推定位置の表示例である。図１４Ｂに示すように、電波源が遮蔽された位置にある場合は、ガイド９１の矢印先端部分に斜線を付し、矢印先端部分の表示形態を変える。
【0071】
なお、ガイド９１を重畳させて表示する外界の画像は、ユーザ視点の画像であり電波源が含まれる画像である。そして、この画像は、ガイド表示時点に撮影したものでなくてもよい。さらに、別の端末により撮影されたものでもよい。
【0072】
図１５Ａは、本実施例における携帯情報端末がスマートウォッチの場合の電波源推定位置の他の表示例である。図１５Ａにおいて、図１４Ａと同じ構成は同じ符号を付し、その説明は省略する。図１５Ａにおいて、図１４Ａと異なる点は、スマートウォッチ１Ｃは、スマートウォッチ１Ｃの水平面、あるいは、表示面に対して、電波源のある方向が、下に向かう方向か、上に向かう方向かを、ガイド９１の矢印が先細りか先太りか、という形状により示している。すなわち、図１５Ａにおいては、矢印が先細りであるので、電波源が下に向かう方向にあることを示している。図１５Ｂは、電波源が上に向かう方向にあることを示している表示例である。
【0073】
なお、矢印が先細りか先太りかという形状に代えて、色を変える等、区別のつく表示であればよい。また、傾きにより、先太りの変化率を変える等、表示の態様を変えてもよい。これにより、小さい表示画面であっても、電波源のある高さの見当がつくという効果がある。
【0074】
また、水平面に対する傾きを表示した場合は、スマートウォッチ１Ｃの高さを変えて水平を示す高さを探れば、高さが分かる。また、表示面に対する傾きを表示した場合は、表示面の傾きを変えて、矢印の表示面に対する傾きが０となる角度を探れば、電波源位置が直観的に分かり易くなる。
【実施例7】
【0075】
本実施例では、双方の人間が、電波源探索機能を持った携帯情報端末を所持している場合、双方で相手側の端末位置を推定することができる例について説明する。
【0076】
図１６は、本実施例における電波源探索システムの概略構成図である。図１６において、図１と同じ構成は同じ符号を付し、その説明は省略する。図１６において、図１と異なる点は、ＨＭＤである携帯情報端末１Ａと１Ｄが電波源探索機能を持ち、双方で相手側の端末位置を推定する点である。
【0077】
図１７Ａは、本実施例における相手端末推定位置の表示例である。図１７Ａにおいて、相手端末推定位置９４を表示するとともに、相手端末が自端末を捕捉したかどうか、すなわち、十分な精度で位置推定ができたか、の表示９５を表示する。これにより、相手端末の状況把握ができる。
【0078】
図１７Ｂは、本実施例における相手端末推定位置の他の表示例である。図１７Ｂにおいて、相手端末推定位置９４を表示するとともに、相手端末の移動履歴９６を表示する。自端末の測定結果のみでも、移動履歴は分かるが、相手端末から移動情報を取得できれば、推定位置の変化を精密に知ることができる。
【0079】
図１８は、本実施例における相手端末探索の処理フロー図である。図１８において、まずステップＳ３１Ａ、Ｓ３１Ｄにおいて、探索開始のユーザ指示は、どちらの携帯情報端末に対して行ってもよく、携帯情報端末１Ａ、１Ｄ間の通信により、何れかの携帯情報端末への探索開始指示をトリガとして、それぞれの携帯情報端末１Ａ、１Ｄの相手端末探索の処理が開始される。
【0080】
以降のそれぞれの携帯情報端末１Ａ、１Ｄの相手端末探索の処理は同様の処理であるので携帯情報端末１Ａの処理を代表して説明する。
【0081】
携帯情報端末１Ａは、ステップＳ３２Ａで、図９で説明したステップＳ１０と同様の無線信号の受信と自端末の移動量と回転量の測定および外界物体までの距離の測定を行う。そして、ステップＳ３３Ａで、移動量と回転量情報の送受信を携帯情報端末１Ｄと行う。そして、ステップＳ３４Ａで、携帯情報端末１Ｄの移動量と回転量情報を合わせて、図５で説明したステップＳ３と同様の処理により携帯情報端末１Ｄの端末位置の推定を行なう。
【0082】
次のステップＳ３５Ａ、３６Ａは、相手端末からみた自端末の位置推定データを利用して、より推定精度を向上させる処理である。すなわち、相手端末の新しい位置の推定を行うと、自端末位置を始点とし、相手端末位置を終点とする端末間ベクトルＶ１が得られる。同様に、相手端末の測定による端末間ベクトルＶ２が得られる。この２つのベクトルは、同じ座標系の値に変換すれば、位置推定に誤差が無ければ逆ベクトルになるべきものである。なお、お互いの座標系の関係は、各端末の回転量のデータも含めた過去の位置測定におけるデータ交換により分かるので、相手端末が測定した端末間ベクトルは自端末の値に変換できる。よって、双方の端末において、下記式のように、この２つのベクトルの和から誤差Δを見積もることができる。
Δ＝（Ｖ１＋Ｖ２）／２
そのため、ステップＳ３５Ａで、推定位置情報の送受信を携帯情報端末間で行い、相手端末位置情報を入手する。そしてステップＳ３６Ａにより、この誤差Δを考慮して、相手端末位置の再推定を行う。再推定による端末間ベクトルＶ１’は下記である。
Ｖ１’＝Ｖ１―Δ＝（Ｖ１―Ｖ２）／２
この誤差修正は、電波源測定に起因する誤差以外にも、自端末の移動量と回転量の測定に起因する誤差の修正にもなっている。なお、推定精度を向上させる必要がなければ、この再推定は行わなくてもよい。その場合、ステップＳ３５Ａ、３６Ａはスキップする。
Δ＝（Ｖ１＋Ｖ２）／２
そのため、ステップＳ３５Ａで、推定位置情報の送受信を携帯情報端末間で行い、相手端末位置情報を入手する。そしてステップＳ３６Ａにより、この誤差Δを考慮して、相手端末位置の再推定を行う。再推定による端末間ベクトルＶ１’は下記である。
Ｖ１’＝Ｖ１―Δ＝（Ｖ１―Ｖ２）／２
この誤差修正は、電波源測定に起因する誤差以外にも、自端末の移動量と回転量の測定に起因する誤差の修正にもなっている。なお、推定精度を向上させる必要がなければ、この再推定は行わなくてもよい。その場合、ステップＳ３５Ａ、３６Ａはスキップする。
【0083】
次に、ステップＳ３７Ａで、図５で説明したステップＳ４と同様の処理の相手端末の推定位置とガイドの表示を行う。その後、ステップＳ３８Ａにおいて、探索終了の指示を受けたかを判断し、探索終了の指示を受けるまで、ステップＳ３２ＡからＳ３７Ａの処理を続け、相手端末の推定位置の表示とガイドの表示を更新し続ける。
【0084】
このように、本実施例によれば、相手側の端末位置の推定を行う際に、相手端末から見た自端末の位置は、ベクトルの方向を変えれば自端末から見た相手端末の位置であるので、双方の推定結果を併せれば、推定精度が向上できる。また、移動履歴も取得することにより、過去の推定結果も合わせて現在の位置推定のデータとして使用することができ、推定精度を向上させることができる。
【実施例8】
【0085】
本実施例では、他の探索方法と併用する例について説明する。
【0086】
図１９Ａは、本実施例における電波源推定位置の表示例である。図１９Ａにおいて、例えば、データ数が少ない、距離がある、等の理由で携帯情報端末の電波受信による直接の電波源推定の精度が低い場合、携帯情報端末１は、まず、他の探索方法である屋内測位等の測位技術による外界基準の電波源の位置推定、すなわち間接探索を行う。図１９Ａにおいて、間接探索中は、直接探索準備中等の表示９７を表示し、電波源推定位置を表示するマークも概略位置である広い範囲を示す電波源推定位置９８を表示する。
【0087】
図１９Ｂは、図１９Ａにおいて電波源の位置推定の精度が上がった場合の電波源推定位置の表示例である。図１９Ｂにおいて、データ数が増えるか、間接推定情報に基づいて電波源位置に近づくなどして、推定精度が上がった時点で、直接探索による推定位置の表示に切替える。すなわち、図１９Ｂに示すように、直接探索開始の表示９９を表示し、図２Ａと同様の、推定精度が上がった電波源推定位置８１およびガイド８２を表示する。
【0088】
図２０は、本実施例における電波源探索の処理フロー図である。図２０において、図５と同じ処理については同じ符号を付し、その説明は省略する。図２０において、携帯情報端末１は、ステップＳ１で探索開始指示を受けると、ステップＳ１５で他の探索方法である間接探索による電波源の位置推定を行い、図１９Ａに示す、概略位置である広い範囲を示す電波源推定位置の表示を行う。そして、図５と同様のステップＳ２で直接探索による無線信号を受信し自端末の移動量と回転量の測定を行う。そして、ステップＳ３で電波源位置の推定を行い、ステップＳ１６で推定位置誤差が所定値より小さいかを判定し、小さくなければ推定精度が低いと判断し、ステップＳ１５に戻り、推定精度が所定精度となるまで、間接探索による電波源位置推定を繰り返す。そして、推定精度が所定精度以上となると、ステップＳ２、Ｓ３で無線信号受信、自端末の移動量と回転量の測定、電波源位置の推定を更新し、ステップＳ４で、直接探索による推定位置の表示に切替え、図１９Ｂに示す電波源推定位置８１およびガイド８２を表示する。そして、探索終了の指示を受けるまで、ステップＳ２からＳ４の処理を続け、電波源の推定位置の表示とガイドの表示を更新し続ける。
【0089】
このように、本実施例では、直接探索による電波源の位置推定の精度が低い段階から、推定位置の目安がつくので、探索を効率的に行うことができる。本手法は、待ち合わせ等でも有効である。すなわち、最初は、地図情報を元にして、待ち合わせ場所に向かい、十分近くにきて、電波の受信が可能になってから、電波源探索による最後の精密な位置推定を用いて、より効率的に目標人物に会うことができる。
【0090】
以上実施例について説明したが、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0091】
１、１Ａ～１Ｄ：携帯情報端末、２：サーバ、９：通信網、１０：筐体、１１：表示面、１０１：プロセッサ、１０２：メモリ、１０３：表示デバイス、１０７：操作入力部、
８０：電波源、８１：電波源推定位置、８２：ガイド、８７：第１の電波源推定位置、８８：第２の電波源推定位置、９１：ガイド、９４：相手端末推定位置、９６：移動履歴
８０：電波源、８１：電波源推定位置、８２：ガイド、８７：第１の電波源推定位置、８８：第２の電波源推定位置、９１：ガイド、９４：相手端末推定位置、９６：移動履歴
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15A】
【図15B】
【図16】
【図17A】
【図17B】
【図18】
【図19A】
【図19B】
【図20】