特開 2024-140312 仮想案内表示装置、及び仮想案内表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024140312

(43)【公開日】2024-10-10

(54)【発明の名称】仮想案内表示装置、及び仮想案内表示方法

(51)【国際特許分類】

   G01C 21/26 20060101AFI20241003BHJP

   G01C 21/36 20060101ALI20241003BHJP

   G08G 1/005 20060101ALI20241003BHJP

   G16Y 10/40 20200101ALI20241003BHJP

   G16Y 20/20 20200101ALI20241003BHJP

   G16Y 40/60 20200101ALI20241003BHJP

【ＦＩ】

G01C21/26 P

G01C21/36

G08G1/005

G16Y10/40

G16Y20/20

G16Y40/60

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023051400

(22)【出願日】2023-03-28

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】石井 恒太郎

(72)【発明者】

【氏名】滝沢 和宏

(72)【発明者】

【氏名】問下 寛二

(72)【発明者】

【氏名】ラン イ

(72)【発明者】

【氏名】木村 あやの

【テーマコード（参考）】

2F129

5H181

【Ｆターム（参考）】

2F129AA02

2F129BB03

2F129BB07

2F129BB11

2F129BB13

2F129BB21

2F129BB36

2F129BB39

2F129BB56

2F129CC06

2F129DD13

2F129DD39

2F129EE22

2F129EE43

2F129EE78

2F129EE94

2F129FF02

2F129FF11

2F129FF12

2F129FF18

2F129FF20

2F129FF36

2F129FF62

2F129FF71

2F129HH12

2F129HH15

2F129HH19

2F129HH20

5H181AA21

5H181BB04

5H181BB05

5H181BB13

5H181FF04

5H181FF10

5H181FF13

5H181FF22

5H181FF24

5H181FF25

5H181FF33

(57)【要約】

【課題】目印のない、あるいは自位置の把握が困難な環境下においても好適な、ユーザの移動を補助する仮想案内表示装置、及び仮想案内表示方法を提供すること。
【解決手段】本開示に係る仮想案内表示装置は、ユーザの周辺の対象物の情報を示す周辺対象物情報を取得する第一取得部と、ユーザの位置情報と、ユーザの位置情報の変化履歴を取得する第二取得部と、位置情報と、周辺対象物情報に基づき、ユーザが自分の位置の把握が困難であるか否かを判定する判定部と、判定部が判定した結果に応じて、ユーザが認知可能な仮想案内表示情報を生成する生成部と、仮想案内表示情報を表示部に表示させるように制御信号を出力する出力部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザの周辺の対象物の情報を示す周辺対象物情報を取得する第一取得部と、
ユーザの位置情報と、ユーザの位置情報の変化履歴を取得する第二取得部と、
前記位置情報と、前記周辺対象物情報に基づき、ユーザが自分の位置の把握が困難であるか否かを判定する判定部と、
前記判定部が判定した結果に応じて、ユーザが認知可能な仮想案内表示情報を生成する生成部と、
前記仮想案内表示情報を表示部に表示させるように制御信号を出力する出力部と、を備える、
仮想案内表示装置。

【請求項2】

前記判定部は、ユーザの所定範囲内に存在する位置の把握の目印となる物体の認識が困難であることに基づいて、ユーザが自分の位置の把握が困難であるか否かを判定する、
請求項１に記載の仮想案内表示装置。

【請求項3】

前記第一取得部は、取得した周辺対象物情報から特定された対象物の位置情報をさらに取得し、
前記生成部は、特定された対象物の位置情報と、案内装置との相対的な位置関係に基づき、仮想案内表示情報を表示する位置を決定して、仮想案内表示情報を生成する、
請求項２に記載の仮想案内表示装置。

【請求項4】

アクセス許可されたサーバ装置から指示情報を受信する受信部と、をさらに備え、
前記生成部は、受信した指示情報に基づいて仮想案内表示情報を生成する、
請求項１から請求項３のいずれか１項に記載の仮想案内表示装置。

【請求項5】

ユーザの周辺の対象物の情報を示す周辺対象物情報を取得するステップと、
ユーザの位置情報と、ユーザの位置情報の変化履歴を取得するステップと、
前記位置情報と、前記周辺対象物情報に基づき、ユーザが自分の位置の把握が困難であるか否かを判定するステップと、
判定した結果に応じて、ユーザが認知可能な仮想案内表示情報を生成するステップと、
前記仮想案内表示情報を表示部に表示させるように制御信号を出力するステップと、
を含む、仮想案内表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想案内表示装置、及び仮想案内表示方法に関する。

【背景技術】

【0002】

レーザー照射システムなどの発光デバイスにより路面や壁面への情報描画を行う技術が知られている。これらの技術を用いて例えば、車両走行において経路や周囲の死角などの情報を表示するもの、登山での遭難時や道迷いなどでルート案内するものなどが知られている。

【0003】

例えば、下記の特許文献１には、車両に関する情報を取得可能な取得部と、取得部が取得した車両の方向指示器に関する情報に応じて、車両の進行方向を示す画像を路面に投射可能な画像投射部と、を備える車両が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１６７１９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の特許文献１に記載の技術は車両などを想定したものであるが、ルート案内や道迷いで進行すべき方向などを視覚的にユーザに示せるものである。しかしながら、明確な目的地が決まっていない場合には、進行方向を示す画像などは適さない。また、一面の砂漠や平原、海上などの目印となる指標が存在しない場合や、森、樹海、似たような建築物などが単調に連続するような環境下においては、表示案内に従って移動をしてもユーザの移動量などが把握しにくく効果を十分に発揮できない可能性があった。

【0006】

本開示は上記課題を鑑み、目印のない、あるいは自位置の把握が困難な環境下においても好適な、ユーザの移動を補助する仮想案内表示装置、及び仮想案内表示方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本開示に係る仮想案内表示装置は、ユーザの周辺の対象物の情報を示す周辺対象物情報を取得する第一取得部と、ユーザの位置情報と、ユーザの位置情報の変化履歴を取得する第二取得部と、前記位置情報と、前記周辺対象物情報に基づき、ユーザが自分の位置の把握が困難であるか否かを判定する判定部と、前記判定部が判定した結果に応じて、ユーザが認知可能な仮想案内表示情報を生成する生成部と、前記仮想案内表示情報を表示部に表示させるように制御信号を出力する出力部と、を備える。

【0008】

上述した課題を解決し、目的を達成するために、本開示に係る仮想案内表示方法は、ユーザの周辺の対象物の情報を示す周辺対象物情報を取得するステップと、ユーザの位置情報と、ユーザの位置情報の変化履歴を取得するステップと、前記位置情報と、前記周辺対象物情報に基づき、ユーザが自分の位置の把握が困難であるか否かを判定するステップと、判定した結果に応じて、ユーザが認知可能な仮想案内表示情報を生成するステップと、前記仮想案内表示情報を表示部に表示させるように制御信号を出力するステップと、を含む。

【発明の効果】

【0009】

本開示によれば、目印のない、あるいは自位置の把握が困難な環境下において好適な、ユーザの移動を補助する仮想案内表示装置、及び仮想案内表示方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本開示に係る仮想案内表示装置の使用場面の一例を模式的に示す図である。

【図2】図２は、本開示に係る仮想案内表示システムの構成例を示す図である。

【図3】図３は、本開示に係る仮想案内表示装置の構成例を示す図である。

【図4】図４は、本開示に係る仮想案内表示装置の生成部が生成する仮想案内表示情報の第一態様を示す図である。

【図5】図５は、本開示に係る仮想案内表示装置の生成部が生成する仮想案内表示情報の第二態様を示す図である。

【図6】図６は、本開示に係る仮想案内表示装置の生成部が生成する仮想案内表示情報の第三態様を示す図である。

【図7】図７は、本開示に係る仮想案内表示装置の生成部が生成する仮想案内表示情報の第四態様を示す図である。

【図8】図８は、本開示に係る仮想案内表示装置の生成部が生成する仮想案内表示情報の第五態様を示す図である。

【図9】図９は、本開示に係るサーバ装置の構成例を示す図である。

【図10】図１０は、本開示に係る仮想案内表示方法のフローを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

【0012】

（仮想案内表示装置の概要）
まず、本開示に係る仮想案内表示装置１００の概要について、図１を用いて説明する。図１は、本開示に係る仮想案内表示装置の使用場面の一例を模式的に示す図である。

【0013】

図１に示すように、仮想案内表示装置１００は、ユーザＵが頭に装着して、眼鏡型の画面に表示された情報を視認することによりユーザＵを案内する情報処理装置であってよい。仮想案内表示装置１００は、例えば、山菜採りなどで山を散策しているときの移動や、深い森の移動において使用されてよい。このような場合は、無意識のうちに方向感覚を失って円を描くように同一地点をさまよい歩く輪形彷徨（環形彷徨、リングワンダリング、リングワンデルングともいう）を誘発する原因となることがある。

【0014】

仮想案内表示装置１００は、このような目印のない、あるいは自位置の把握が困難な環境下においても好適な、ユーザの移動を補助する情報処理装置である。

【0015】

（仮想案内表示システムの構成）
次に、本開示に係る仮想案内表示システム１の構成について、図２を用いて説明する。図２は、本開示に係る仮想案内表示システムの構成例を示す図である。

【0016】

図２に示すように、仮想案内表示システム１は、仮想案内表示装置１００と、サーバ装置２００と、ネットワークＮを備える。

【0017】

本実施形態では仮想案内表示装置１００は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）などによりユーザに対して案内表示を行う情報処理装置である。仮想案内表示装置１００は、例えば、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）や眼鏡型ウェアラブル端末などにより案内表示を実現する。ＨＭＤは、本体前面にハーフミラーを備えて、ハーフミラーから透過する現実世界に、内蔵のディスプレイで映した仮想の案内表示のオブジェクトなどを重ねて表示するが、案内表示の方法はこれに限らず、例えば、建築物や地面などの現実世界の物体の表面にレーザー照射などで案内表示を直接描画してもよい。

【0018】

サーバ装置２００は、各種の情報を提供する情報処理装置である。サーバ装置２００は、例えば、仮想案内表示装置１００に指示情報を提供する。サーバ装置２００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＷＳ（Ｗｏｒｋ Ｓｔａｔｉｏｎ）、サーバの機能を備えるコンピュータなどの情報処理装置により実現されてよい。

【0019】

ネットワークＮは、仮想案内表示装置１００とサーバ装置２００を無線により相互に通信可能に接続する。ネットワークＮは、ＩＥＥＥ８０２．１１に規定される無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、第４世代移動通信システム（４Ｇ）、第５世代移動通信システム（５Ｇ）などにより実現されてよい。

【0020】

（仮想案内表示装置の構成）
次に、仮想案内表示装置１００の構成について、図３を用いて説明する。図３は、本開示に係る仮想案内表示装置の構成例を示す図である。図３に示すように、仮想案内表示装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、撮像部１４０と、位置情報センサ部１５０と、音出力部１６０と、表示部１７０と、を備える。これらの構成は一体型である必要はなく、各部が任意に分離したセパレート構造であってもよい。以下、これらの構成について順を追って説明する。

【0021】

通信部１１０は、仮想案内表示装置１００の内部と外部を相互に通信可能に接続し、仮想案内表示装置１００の内部と外部との間で相互に情報を送受信する。通信部１１０は、例えば、Ｗｉ－Ｆｉ（登録商標）などの無線通信モジュール、アンテナ等によって実現されてよい。そして、通信部１１０は、例えば、ネットワークＮと無線で接続され、サーバ装置２００との間で相互に情報の送受信を行ってもよい。

【0022】

記憶部１２０は、各種の情報を記憶する記憶装置である。記憶部１２０は、主記憶装置と補助記憶装置とを備える。主記憶装置は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等のような半導体メモリ素子によって実現されてよい。また、補助記憶装置は、例えばハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク等によって実現されてよい。

【0023】

図３に示すように、記憶部１２０は、地図情報記憶部１２１を備える。

【0024】

地図情報記憶部１２１は、例えば周辺対象物の把握などに用いるための各種の地図情報を記憶する。地図情報記憶部１２１が記憶する地図情報は、緑地や、砂漠、河川、海、道路の位置、道路の曲率半径、道路の車線数、道路の道幅、鉄道、都道府県等の区画の情報などが含まれ、緯度、及び経度に基づいて、所定のメッシュ状に区切られた情報であってよい。地図情報記憶部１２１には、緯度、及び経度に基づいて、所定のメッシュ状に区切れていることから、緯度と、経度と、メッシュの寸法を指定することにより、所定の位置の地図情報を読み出すことができる。地図情報は、さらに階層などの高度を含む位置に基づく立体的な情報としてもよく、高層ビル内や屋内地下など含む各種の詳細な地図情報を適時更新しつつ記憶する外部サーバなどから取得される情報であってもよい。

【0025】

制御部１３０は、仮想案内表示装置１００を司り、制御するコントローラである。制御部１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、記憶部１２０に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。

【0026】

図３に示すように、制御部１３０は、第一取得部１３１と、第二取得部１３２と、判定部１３３と、生成部１３４と、出力部１３５と、受信部１３６を備える。制御部１３０は、記憶部１２０からプログラム（ソフトウェア）を読み出して実行することで、これらの機能を実現して、これらの処理を実行する。なお、制御部１３０は、これらの構成を電子回路によって実現されてもよい。また、制御部１３０は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、複数のＣＰＵで、これらの処理を並列に実行してもよい。以下、これらの構成について順に説明する。

【0027】

第一取得部１３１は、ユーザの周辺の対象物の情報を示す周辺対象物情報を取得する。
例えば、第一取得部１３１は、後述して説明する撮像部１４０が撮像したユーザの周辺の画像に基づいて、画像認識処理を実行して、ユーザの周辺の対象物を検出する。そして、第一取得部１３１は、検出したユーザの周辺の対象物を分類する処理を実行することにより、周辺の対象物を分類して、周辺の対象物を認識する。そして、第一取得部１３１は、認識した周辺の対象物を周辺対象物情報として取得する。

【0028】

第一取得部１３１は、取得した周辺対象物情報から特定された対象物の位置情報をさらに取得する。例えば、第一取得部１３１は、後述して説明する第二取得部１３２が取得したユーザの位置情報に基づいて、地図情報記憶部１２１を参照して、ユーザの位置の周辺に存在する対象物と照らし合わせることによって、周辺対象物情報から特定された対象物の位置情報を取得してもよい。

【0029】

第二取得部１３２は、ユーザの位置情報と、ユーザの位置情報の変化履歴を取得する。例えば、第二取得部１３２は、後述して説明する位置情報センサ部１５０が計測したユーザの位置情報と、ユーザの位置情報の変化履歴を取得してもよい。ユーザの位置情報の変化履歴はユーザの移動の情報に相当する。なお、第二取得部１３２が取得するユーザの位置情報は、位置情報センサ部１５０から取得することに限定されることなく、通信部１１０を用いた基地局電波や、周辺のビーコン電波などを利用した測位に基づく位置情報、撮像部１４０による太陽位置などによる測位、図示しない加速度／角速度／地磁気センサなどによる推測航法、靴内の圧力センサなどによる歩行検知など公知の技術を組み合わせて位置情報、及び変化履歴を取得してもよい。

【0030】

判定部１３３は、位置情報と、周辺対象物情報に基づき、ユーザが自分の位置の把握が困難であるか否かを判定する。例えば、判定部１３３は、第二取得部１３２が取得したユーザの位置情報に基づいて、地図情報記憶部１２１に記憶された地図情報を参照して、ユーザが位置する場所が、ユーザが自分の位置の把握が困難と感じる環境であるか否かを判定する。上述したように、地図情報記憶部１２１には、位置に対応付けて、当該の場所に関する情報が記憶されていることから、判定部１３３は、ユーザが位置する場所に関する情報を参照して、判定する。なお、ユーザが自分の位置の把握が困難と感じる環境とは、例えば、右を向いても左を向いても一面が砂漠である環境や、海上などの目印となる指標が存在しない環境、ただひたすら一本道の環境、森、樹海、似たような建物が単調に連続するような環境、を含む。なお、判定部１３３は、夜間や降雪後、濃霧などの視界の影響を考慮して、ユーザが自分の位置の把握が困難であるか否かを判定してもよい。また、ユーザが自分の位置の把握が困難と感じる状況として、単に自分の立ち位置が把握できないことに限らず、自分の周辺の任意の対象物の見分けがつかないことや、例えば、自分の周辺の群衆内の特定の人物（別のユーザ）を見つけられないといった状況を含む。

【0031】

判定部１３３は、ユーザの所定範囲内に存在する位置の把握の目印となる物体の認識がユーザにとって困難であることに基づいて、ユーザが自分の位置の把握が困難であるか否かを判定してもよい。ここで、ユーザの所定範囲内に存在する位置の把握の目印となる物体の認識が困難であるとは、例えば、ユーザの所定範囲内に柱など同じに見えるものがひたすら繰り返し現れる道路や屋内エリア、森や林などの木が並んでいる環境などのように、似たような周辺対象物が並んでいることから、ユーザが自分の位置の把握が困難である環境であることを指している。なお、所定範囲内とは、任意に設定されて良いが、例えば、３００ｍ以内のことを指してもよい。例えば、判定部１３３は、第二取得部１３２が取得したユーザの位置情報に基づいて、地図情報記憶部１２１に記憶された地図情報を参照して、ユーザが位置する場所が、ユーザの所定範囲内に存在する位置の把握の目印となる物体の認識が困難であるか否かを判定する。例えば、ユーザの位置から２００ｍ以内に似たような周辺対象物が並んでいる環境であれば、ユーザが位置する場所が、ユーザの所定範囲内に存在する位置の把握の目印となる物体の認識が困難であることから、ユーザが自分の位置の把握が困難であると判定する。目印となる物体の認識が困難であることは画像認識されたユーザの周辺物体の色や形状の類似性からしてもよい。なお、ユーザが自分の位置の把握が困難であるかについては、ユーザが自ら申告するようなものとしてもよい。例えば、ユーザが自分の位置が分からなくなっていることを仮想案内表示装置１００の図示しない音声入力などの操作部を介して申告した情報に基づいて、ユーザが自分の位置の把握が困難であると判定してもよい。

【0032】

生成部１３４は、判定部１３３が判定した結果に応じて、ユーザが認知可能な仮想案内表示情報を生成する。ここで、仮想案内表示情報とは、ユーザが見ている現実世界に重ねて表示される仮想の案内表示の情報である。なお、仮想案内表示情報は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の技術を用いて生成されてよい。

【0033】

次に、生成部１３４が生成する仮想案内表示情報の第一態様について、図４を用いて説明する。図４は、本開示に係る仮想案内表示情報の第一態様を示す図である。図４には、複数の木が林立する現実世界に仮想案内表示情報Ｓ１が重ねて表示されている様子が示されている。なお、図においては、距離感などを把握させるために、現実世界にグリッド線が重ねて表示されている。グリッド線は一例であるが、現実世界の地物や視界上の位置などに座標固定されたオブジェクトとして表示されていると好適である。図４に示す仮想案内表示情報Ｓ１は、方位計であって、案内する方向の方位を示すことにより、ユーザが向いている方向を案内する。このように、生成部１３４は、ユーザが向いている方向を案内する方位計を仮想案内表示情報として生成し表示させることで、複数の木が林立することにより、方向感覚を失いそうな環境下でも、ユーザが向いている方向やそこから進むべき方向を把握することが可能となる。

【0034】

次に、生成部１３４が生成する仮想案内表示情報の第二態様について、図５を用いて説明する。図５は、本開示に係る仮想案内表示装置の生成部が生成する仮想案内表示情報の第二態様を示す図である。図５には、特徴のない建築物が続いているような現実世界に仮想案内表示情報Ｓ２が重ねて表示されている様子が示されている。図５に示す仮想案内表示情報Ｓ２は、所定の高さ（例えば、ユーザの身長と同等の高さ）を有するピンであって、案内するユーザ周辺の特定の場所（位置）に当該のピンを表示することによって、ユーザの周りを案内する。このように、生成部１３４は、ユーザの周りに案内するピンを仮想案内表示情報として生成し表示させることで、特徴のない建築物が続いていることにより、ユーザが相対位置を把握することが困難となる環境下でも、ユーザが表示されたピンを対象物として認識することで相対位置を把握することが可能となる。

【0035】

次に、生成部１３４が生成する仮想案内表示情報の第三態様について、図６を用いて説明する。図６は、本開示に係る仮想案内表示装置の生成部が生成する仮想案内表示情報の第三態様を示す図である。図６には、建物が林立し見通しの悪い現実世界に仮想案内表示情報Ｓ３が重ねて表示されている様子が示されている。図６に示す仮想案内表示情報Ｓ３は、仮想看板であって、案内するユーザが進む方向を示す矢印を当該の仮想看板上に示すことにより、ユーザが進む方向を案内する。このように、生成部１３４は、ユーザが進む方向を案内する仮想看板を仮想案内表示情報として生成し表示させることで、建物が林立し見通しが悪く、ユーザが行き先に迷いそうな環境下でも、進むべき方向を把握することが困難となることを防ぐことができる。

【0036】

次に、生成部１３４が生成する仮想案内表示情報の第四態様について、図７を用いて説明する。図７は、本開示に係る仮想案内表示装置の生成部が生成する仮想案内表示情報の第四態様を示す図である。図７には、似たような建物が林立する現実世界に仮想案内表示情報Ｓ４、Ｓ５、Ｓ６、及びＳ７が重ねて表示されている様子が示されている。図７に示す仮想案内表示情報Ｓ４、Ｓ５、Ｓ６、及びＳ７は、一例として連続する電柱をナンバリングした仮想テキストを当該の電柱に重畳したものであり、これによりユーザの周囲を案内する。生成部１３４は、仮想テキストを連続する電柱に仮想案内表示情報として生成し表示させることで、ユーザの周囲の似たような建物を識別できるようにし、また、例えば仮想テキストの番号の順番に従うことで、ユーザが進むべき方向なども把握することができる。

【0037】

また、ユーザの位置する場所や、仮想案内表示情報の表示位置は陸上や地物に限らない。例えば、生成部１３４は、ユーザが海上などを背泳ぎで移動している状態であれば、ユーザが見ている上空などの現実世界の空間上にグリッド線や、ユーザが進む方向を案内する立体的（例えば、三角錐の頂点が進む方向を案内する）に示す仮想案内表示情報を生成してもよい。

【0038】

生成部１３４は、特定された周辺対象物の位置情報と、仮想案内表示装置１００との相対的な位置関係に基づき、仮想案内表示情報を表示する位置を決定して、仮想案内表示情報を生成する。上述したように、第一取得部１３１は、取得した周辺対象物情報から特定された周辺対象物の位置情報をさらに取得する。このような場合、生成部１３４は、特定された周辺対象物の位置情報と、第二取得部１３２が取得したユーザの位置情報、言い換えると仮想案内表示装置１００の位置情報を照らし合わせる。そして、例えば、生成部１３４は、周辺対象物がユーザに対して円を描くように円周上に位置している場合であれば、円周上のうち周辺対象物の存在しない位置に向かう矢印を生成してもよい。また、例えば、生成部１３４は、周辺対象物がユーザの両側に並行に林立して位置している場合であれば、周辺対象物の並ぶ方向に沿った矢印を生成してもよい。これにより、ユーザが、例えば暗所などで周辺対象物に衝突することを避けるために進む方向を案内する仮想案内表示情報を生成することができる。

【0039】

生成部１３４は、受信した指示情報に基づいて仮想案内表示情報を生成する。後述して説明する受信部１３６は、アクセス許可されたサーバ装置２００から指示情報を受信する。なお、指示情報とは、ユーザが進むべき方向や注目してほしい場所や位置を案内する仮想案内表示情報の生成を指示する情報であって、例えば、群衆内に位置する他のユーザの位置に向かってユーザが進む方向を案内する仮想案内表示情報の生成を指示する情報であってよい。ここで、このような生成部１３４が生成する仮想案内表示情報の第五態様について、図８を用いて説明する。図８は、本開示に係る仮想案内表示装置の生成部が生成する仮想案内表示情報の第五態様を示す図である。図８には、多数の他のユーザＵ１、Ｕ２、及びＵ３などによって形成される群衆がいる現実世界に仮想案内表示情報Ｓ８が重ねて表示されている様子が示されている。図８に示す仮想案内表示情報Ｓ８は、群衆内に位置する、例えばユーザＵ３がサーバ装置２００を介して指示情報を、仮想案内表示装置１００に送信することによって生成されたものである。仮想案内表示情報Ｓ８は、群衆内に位置するユーザＵ３の位置を矢印によって示すものであり、これにより仮想案内表示装置１００のユーザの進むべき方向を案内する。このように、生成部１３４は、サーバ装置２００から送信された指示情報に基づいて、他のユーザの指示による位置を示す矢印を仮想案内表示情報として生成し、表示させることで、例えば、群衆内に位置するユーザＵ３の位置を把握することが困難な環境下でも、仮想案内表示情報により指示情報に基づいたユーザの進むべき方向や場所を好適に案内できる。

【0040】

出力部１３５は、仮想案内表示情報を表示部１７０に表示させるように制御信号を出力する。例えば、出力部１３５は、表示部１７０に仮想案内表示情報を表示させる制御信号を出力する。また、出力部１３５は、音出力部１６０に音声を出力させる制御信号を出力してもよい。

【0041】

受信部１３６は、アクセス許可されたサーバ装置２００から通信部１１０を介して指示情報を受信する。上述したように、指示情報とは、ユーザが進むべき方向や注目してほしい場所や位置を案内する仮想案内表示情報の生成を指示する情報である。サーバ装置２００は、スマートフォンなどの端末から指示情報の送信要求を受け付けて、指示情報によって指定された仮想案内表示装置１００に対して、指示情報を送信する。サーバ装置２００は、あらかじめ仮想案内表示装置１００の登録を受け付けており、仮想案内表示装置１００を登録することにより、サーバ装置２００へのアクセスが許可される。そのため、受信部１３６は、アクセス許可されたサーバ装置２００から自身の仮想案内表示装置１００に向けて送信された指示情報を受信する。

【0042】

撮像部１４０は、ユーザの周辺の対象物を撮像する。撮像部１４０は、例えばカメラであり、カメラは、光学素子と撮像素子を含む。光学素子は、例えばレンズ、ミラー、プリズム、フィルタなどの光学系を構成する素子である。撮像素子は、光学素子を通して入射した光を電気信号である画像信号に変換する素子である。なお、撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。対象物との距離や形状をより正確に把握するために、撮像部１４０は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）や、各種レーダなどのセンサ、複数カメラなどを組み合わせて構成してもよい。

【0043】

位置情報センサ部１５０は、仮想案内表示装置１００の位置を示す位置情報を計測する。位置情報センサ部１５０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ ）受信機であってよい。ＧＮＳＳ受信機は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星、欧州のＧａｌｉｌｅｏ衛星、ロシアのＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星、中国のＢｅｉＤｏｕ衛星などから送信される電波を受信する。ＧＮＳＳ受信機は、複数のＧＰＳ衛星などから送信される電波を受信し、電波を受信した時刻と、ＧＰＳ衛星などが電波を発信した時刻との差を用いて、ＧＰＳ衛星などから仮想案内表示装置１００までの距離を算出することによって、仮想案内表示装置１００の現在位置（例えば、緯度、経度、及び高度）を計測する。

【0044】

音出力部１６０は、制御指令にしたがって音を出力する。音出力部１６０は、例えばスピーカーや、ユーザが装着したワイヤレスイヤホンなどである。音出力部１６０は、例えば、出力部１３５が表示部１７０に表示させる仮想案内表示情報に応じて、メッセージなどを音声として出力してもよい。

【0045】

表示部１７０は、ユーザに向けて各種の情報を表示する。実施形態では、表示部１７０は、図１のようにユーザにＡＲやＭＲなどにより仮想案内表示情報を表示するディスプレイであり、例えば液晶ディスプレイと、ハーフミラーを備えて、液晶ディスプレイに映し出された映像をハーフミラーに投影することによって実現されてよい。仮想案内表示情報は、表示部１７０のＡＲやＭＲなどの表示態様に応じた形式に適宜変換される必要があるがこれらは公知の各種技術を用いて実現すればよい。

【0046】

（サーバ装置の構成）
次に、本開示に係るサーバ装置２００の構成について、図９を用いて説明する。図９は、本開示に係るサーバ装置の構成例を示す図である。図９に示すように、本開示に係るサーバ装置２００は、通信部２１０と、記憶部２２０と、制御部２３０を備える。以下、これらの構成について順を追って説明する。

【0047】

通信部２１０は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、無線ＬＡＮカード等によって実現される。そして、通信部２１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、仮想案内表示装置１００との間で各種の情報の送受信を行う。

【0048】

記憶部２２０は、各種の情報を記憶する記憶装置である。記憶部２２０は、主記憶装置と補助記憶装置とを備える。主記憶装置は、例えばＲＡＭ、ＲＯＭ、フラッシュメモリ等のような半導体メモリ素子によって実現されてよい。また、補助記憶装置は、例えばハードディスクやＳＳＤ、光ディスク等によって実現されてよい。

【0049】

制御部２３０は、例えば、ＣＰＵやＭＰＵ等によって、サーバ装置２００に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。

【0050】

図９に示すように、制御部２３０は、受付部２３１と、送信部２３２と、を有する。

【0051】

受付部２３１は、各種の端末から指示情報の送信要求を受け付ける。ここで、指示情報の送信要求とは、仮想案内表示装置１００に表示させる仮想案内表示情報の生成、及び表示を指示する情報の送信要求であって、仮想案内表示情報の生成内容に関する情報と、送信対象の仮想案内表示装置１００を識別する識別子などに関する情報が含まれる。例えば、受付部２３１は、別のユーザの所有するスマートフォンなどの端末から指示情報の送信要求を受け付ける。なお、別のユーザはスマートフォンなどの端末を介して、仮想案内表示情報の生成内容を、矢印やピンなどの複数の形状の選択肢から選択してよく、別のユーザが任意に描いた形状を生成内容として指定してもよい。

【0052】

送信部２３２は、受付部２３１が受け付けた指示情報の送信要求に基づいて、指示情報を指定された仮想案内表示装置１００に送信する。すなわち、送信部２３２は、通信部２１０を介して、ネットワークＮを経由して、指定された仮想案内表示装置１００に、受付部２３１が受け付けた指示情報を送信する。

【0053】

（仮想案内表示方法のフロー）
次に、図１０を用いて、本開示に係る仮想案内表示方法について説明する。図１０は、本開示に係る仮想案内表示方法のフローを示すフローチャートである。以下に、図１０に示すフローチャートに沿って、本開示に係る仮想案内表示方法を説明する。

【0054】

まず、仮想案内表示装置１００は、ユーザの周辺の対象物の情報を示す周辺対象物情報を取得する（ステップＳ１０１）。次に、仮想案内表示装置１００は、ユーザの位置情報と、ユーザの位置情報の変化履歴を取得する（ステップＳ１０２）。次に、仮想案内表示装置１００は、ユーザが自分の位置の把握が困難であるか否かを判定する（ステップＳ１０３）。ユーザが自分の位置の把握が困難である場合（ステップＳ１０３：Ｙｅｓ）、仮想案内表示装置１００は、ユーザが認知可能な仮想案内表示情報を生成する（ステップＳ１０４）。次に、仮想案内表示装置１００は、仮想案内表示情報を表示部に表示させるように制御信号を出力する（ステップＳ１０５）。

【0055】

なお、ステップＳ１０３において、ユーザが自分の位置の把握が困難ではない場合（ステップＳ１０３：Ｎｏ）、仮想案内表示装置１００は、仮想案内表示方法の処理を終了する。

【0056】

これによれば、ユーザが自分の位置の把握が困難である場合に、仮想案内表示情報を生成して、生成した仮想案内表示情報を表示させることができる。そのため、目印のない、あるいは自位置の把握が困難な環境下においても好適な、ユーザの移動を補助する仮想案内表示方法を提供することができる。

【0057】

（構成と効果）
本開示に係る仮想案内表示装置１００は、ユーザの周辺の対象物の情報を示す周辺対象物情報を取得する第一取得部１３１と、ユーザの位置情報と、ユーザの位置情報の変化履歴を取得する第二取得部１３２と、位置情報と、周辺対象物情報に基づき、ユーザが自分の位置の把握が困難であるか否かを判定する判定部１３３と、判定部１３３が判定した結果に応じて、ユーザが認知可能な仮想案内表示情報を生成する生成部１３４と、仮想案内表示情報を表示部１７０に表示させるように制御信号を出力する出力部１３５と、を備える。

【0058】

この構成によれば、ユーザが自分の位置の把握が困難である場合に、仮想案内表示情報を生成して、生成した仮想案内表示情報を表示させることができる。そのため、目印のない、あるいは自位置の把握が困難な環境下においても好適な、ユーザの移動を補助する仮想案内表示装置１００を提供することができる。

【0059】

本開示に係る仮想案内表示装置１００の判定部１３３は、ユーザの所定範囲内に存在する位置の把握の目印となる物体の認識が困難であることに基づいて、ユーザが自分の位置の把握が困難であるか否かを判定する。

【0060】

この構成によれば、ユーザの所定範囲内に存在する位置の把握の目印となる物体の認識が困難であることに基づいて、ユーザが自分の位置の把握が困難であるか否かを判定することができる。そのため、目印のない、あるいは自位置の把握が困難な環境下においても好適な、ユーザの移動を補助する仮想案内表示装置１００を提供することができる。

【0061】

本開示に係る仮想案内表示装置１００の第一取得部１３１は、取得した周辺対象物情報から特定された対象物の位置情報をさらに取得し、生成部１３４は、特定された対象物の位置情報と、仮想案内表示装置１００との相対的な位置関係に基づき、仮想案内表示情報を表示する位置を決定して、仮想案内表示情報を生成する。

【0062】

この構成によれば、屋内地下などのＧＮＳＳセンサによる位置情報の計測が困難な状況において、周辺対象物情報から対象物の位置情報を取得して、取得した対象物の位置情報と、仮想案内表示装置１００との相対的な位置関係に基づいて、仮想案内表示情報を表示する位置を決定して、仮想案内表示情報を生成して、生成した仮想案内表示情報を表示させることができる。そのため、目印のない、あるいは自位置の把握が困難な環境下においても好適な、ユーザの移動を補助する仮想案内表示装置１００を提供することができる。

【0063】

本開示に係る仮想案内表示装置１００は、アクセス許可されたサーバ装置２００から指示情報を受信する受信部１３６と、をさらに備え、生成部１３４は、受信した指示情報に基づいて仮想案内表示情報を生成する。

【0064】

この構成によれば、外部のサーバ装置２００からの指示情報に基づいて仮想案内表示情報を生成して、生成した仮想案内表示情報を表示させることができる。そのため、例えば、群衆内で自分の位置を示す仮想矢印を重ねて表示することができる。したがって、目印のない、あるいは自位置の把握が困難な環境下においても好適な、ユーザの移動を補助する仮想案内表示装置１００を提供することができる。

【0065】

本開示に係る仮想案内表示方法は、ユーザの周辺の対象物の情報を示す周辺対象物情報を取得するステップと、ユーザの位置情報と、ユーザの位置情報の変化履歴を取得するステップと位置情報と、周辺対象物情報に基づき、ユーザが自分の位置の把握が困難であるか否かを判定するステップと、判定した結果に応じて、ユーザが認知可能な仮想案内表示情報を生成するステップと、仮想案内表示情報を表示部に表示させるように制御信号を出力するステップと、を含む。

【0066】

この構成によれば、ユーザが自分の位置の把握が困難である場合に、仮想案内表示情報を生成して、生成した仮想案内表示情報を表示させることができる。そのため、目印のない、あるいは自位置の把握が困難な環境下においても好適な、ユーザの移動を補助する仮想案内表示方法を提供することができる。

【0067】

以上、本発明の実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【符号の説明】

【0068】

１ 仮想案内表示システム
１００ 仮想案内表示装置
１１０ 通信部
１２０ 記憶部
１２１ 地図情報記憶部
１３０ 制御部
１３１ 第一取得部
１３２ 第二取得部
１３３ 判定部
１３４ 生成部
１３５ 出力部
１３６ 受信部
１４０ 撮像部
１５０ 位置情報センサ部
１６０ 音出力部
１７０ 表示部
２００ サーバ装置
２１０ 通信部
２２０ 記憶部
２３０ 制御部
２３１ 受付部
２３２ 送信部
Ｎ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】