特許 7522026 案内表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】案内表示システム

(51)【国際特許分類】

   G01C 21/26 20060101AFI20240717BHJP

   G08G 1/005 20060101ALI20240717BHJP

   G06T 19/00 20110101ALI20240717BHJP

   G01C 21/34 20060101ALI20240717BHJP

【ＦＩ】

G01C21/26 P

G08G1/005

G06T19/00 600

G01C21/34

【請求項の数】 6

(21)【出願番号】P 2020211147

(22)【出願日】2020-12-21

(65)【公開番号】P2022097904

(43)【公開日】2022-07-01

【審査請求日】2023-10-04

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(73)【特許権者】

【識別番号】000241500

【氏名又は名称】トヨタ紡織株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】谷森 俊介

(72)【発明者】

【氏名】芹澤 和実

(72)【発明者】

【氏名】石川 さやか

(72)【発明者】

【氏名】小森谷 一記

(72)【発明者】

【氏名】三浦 正哉

(72)【発明者】

【氏名】田村 康司

(72)【発明者】

【氏名】日比野 清栄

(72)【発明者】

【氏名】向 里菜

(72)【発明者】

【氏名】稲垣 智也

(72)【発明者】

【氏名】狄 勤莉

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】特開２００９－０２５２２４（ＪＰ，Ａ）

【文献】特開２０１２－２０２７８２（ＪＰ，Ａ）

【文献】特開２０１９－２０７４１４（ＪＰ，Ａ）

【文献】特開２００９－０４０１０７（ＪＰ，Ａ）

【文献】特開２０１８－０８２３６３（ＪＰ，Ａ）

【文献】特開２００５－０３７１８１（ＪＰ，Ａ）

【文献】特開２０１２－０７８２２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０ － １３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ － １９／２０

(57)【特許請求の範囲】

【請求項1】

それぞれ異なる特定のテーマに基づいて構成される複数の施設のうち、所定の前記施設を目的地として、当該目的地までの案内表示を行う案内表示システムであって、
表示部と、現実世界の風景に案内用仮想物体の画像を重畳させた拡張現実画像を前記表示部に表示可能な表示制御部と、を備える表示装置と、
前記表示装置と無線接続されるサーバと、
を備え、
前記サーバは、
前記目的地の前記施設に対して設定されたキャラクタの情報が記憶された記憶部と、
前記目的地の前記施設のキャラクタを前記案内用仮想物体として抽出する抽出部と、
抽出された前記案内用仮想物体の画像データを前記表示制御部に送信する送信部と、
前記目的地の前記施設までの案内経路を作成する経路探索部と、
を備え、
前記表示制御部は、前記案内表示として、現実世界の風景のうち、前記案内経路に沿った進行方向前方に、前記案内用仮想物体を前記表示部に表示させ、
さらに、前記抽出部は、目的地設定時点において前記表示装置に最も近接する前記施設のキャラクタを見送り用仮想物体として抽出し、
前記送信部は、抽出された前記見送り用仮想物体の画像データを前記表示制御部に送信し、
前記表示制御部は、現実世界の風景に、前記案内用仮想物体に加えて、前記見送り用仮想物体を前記表示部に表示させる、
案内表示システム。

【請求項2】

請求項１に記載の案内表示システムであって、
前記サーバは、
複数の前記施設の各利用者密度を算出する利用者算出部を備え、
前記経路探索部は、複数の前記施設のうち、目的地設定時点において最も利用者密度の少ない前記施設を前記目的地として前記案内経路を作成する、
を備える、案内表示システム。

【請求項3】

請求項２に記載の案内表示システムであって、
前記表示装置は、
現実世界の風景を撮像する撮像部と、
撮像画像に含まれる物体を認識する画像認識部と、
を備え、
前記画像認識部によって前記撮像画像中に警告対象物体が認識されたときに、前記表示制御部は、前記表示部において前記警告対象物体を強調表示する、
案内表示システム。

【請求項4】

請求項３に記載の案内表示システムであって、
前記経路探索部は、前記警告対象物体を回避する経路となるように前記案内経路を作成する、
案内表示システム。

【請求項5】

請求項４に記載の案内表示システムであって、
複数の前記表示装置が所定の閾値距離以内に近接するときに、前記経路探索部は、それぞれの前記表示装置を回避するように、それぞれの前記案内経路を再作成する、
案内表示システム。

【請求項6】

請求項１に記載の案内表示システムであって、
前記表示装置は、現実世界の風景像が透過されるとともに前記案内用仮想物体が投影されるハーフミラーを備える、光透過型ディスプレイである、
案内表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、案内表示システム及びそのサーバが開示される。

【0002】

従来から、拡張現実（ＡＲ）技術を用いた案内表示装置が知られている。例えば特許文献１では、ナビゲーションシステムにおいて、目的地までの経路に沿って進行するキャラクタの画像を、現実世界の画像に重畳表示させている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２０８６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、例えば複数のテーマパークが設けられた複合娯楽施設では、テーマパーク別にキャラクタが設定されている場合があり、所定のテーマパークを目的地とする案内表示を行う際に、当該テーマパークの世界観に沿わないキャラクタ画像が表示されるおそれがある。

【0005】

そこで本明細書では、目的地となる、テーマパーク等の施設の世界観を損ねずに、拡張現実画像を用いた案内表示の可能な、案内表示システム及びそのサーバが開示される。

【課題を解決するための手段】

【0006】

本明細書では、特定のテーマに基づいて構成される施設を目的地として、当該目的地までの案内表示を行う、案内表示システムが開示される。当該システムは、表示装置及びサーバを備える。表示装置は、表示部と、現実世界の風景に案内用仮想物体の画像を重畳させた拡張現実画像を表示部に表示可能な表示制御部を備える。サーバは表示装置と無線接続される。さらにサーバは、記憶部、抽出部、及び送信部を備える。記憶部には、施設に対して設定されたキャラクタの情報が記憶される。抽出部は、目的地として設定された施設のキャラクタを案内用仮想物体として抽出する。送信部は、抽出された案内用仮想物体の画像データを表示制御部に送信する。

【0007】

上記構成によれば、目的地の施設（例えばテーマパーク）に対応するキャラクタが案内用仮想物体として表示されるので、目的地の施設の世界観を損ねずに案内表示が可能となる。

【0008】

また上記構成において、サーバは、利用者算出部及び経路探索部を備えてもよい。利用者算出部は、それぞれ異なるテーマに基づいて構成される複数の施設の各利用者密度を算出する。経路探索部は、複数の施設のうち、目的地設定時点において最も利用者密度の少ない施設を目的地として当該目的地までの案内経路を作成する。

【0009】

上記構成によれば、比較的空いている施設（例えばテーマパーク）が目的地として設定されることで、各施設の混雑率の平滑化が図られる。

【0010】

また上記構成において、抽出部は、目的地設定時点において表示装置に最も近接する施設のキャラクタを見送り用仮想物体として抽出してもよい。この場合、送信部は、抽出された見送り用仮想物体の画像データを表示制御部に送信する。

【0011】

上記構成によれば、案内用仮想物体に加えて見送り用仮想物体も拡張現実画像に表示可能とすることで、例えば退場した施設から次の施設に向かう途中まで見送り用仮想物体が付き添うような演出が可能となる。

【0012】

また上記構成において、表示装置は、現実世界の風景を撮像する撮像部と、撮像画像に含まれる物体を認識する画像認識部を備えてよい。この場合、画像認識部によって撮像画像中に警告対象物体が認識されたときに、表示制御部は、表示部において警告対象物体を強調表示する。

【0013】

上記構成によれば、表示装置の利用者が警告対象物体に接触することを抑制可能となる。

【0014】

また上記構成において、経路探索部は、警告対象物体を回避する経路となるように案内経路を作成してもよい。

【0015】

上記構成によれば、表示装置の利用者が警告対象物体を回避可能となる。

【0016】

また上記構成において、複数の表示装置が所定の閾値距離以内に近接するときに、経路探索部は、それぞれの表示装置を回避するように、それぞれの案内経路を再作成してもよい。

【0017】

上記構成によれば、表示装置の利用者同士の接触が回避可能となる。

【0018】

また上記構成において、表示装置は、現実世界の風景像が透過されるとともに案内用仮想物体が投影されるハーフミラーを備える、光透過型ディスプレイであってよい。

【0019】

また本明細書では、現実世界の風景に案内用仮想物体の画像を重畳させた拡張現実画像を表示可能な表示装置と無線接続される、案内表示システムのサーバが開示される。当該サーバは、記憶部、抽出部、及び送信部を備える。記憶部には、特定のテーマに基づいて構成される施設に対して設定されたキャラクタの情報が記憶される。抽出部は、目的地として設定された施設のキャラクタを案内用仮想物体として抽出する。送信部は、抽出された案内用仮想物体の画像データを表示装置に送信する。

【発明の効果】

【0020】

本明細書で開示される案内表示システム及びそのサーバによれば、目的地の施設の世界観を損ねずに、拡張現実技術を用いた案内表示が可能となる。

【図面の簡単な説明】

【0021】

【図1】本実施形態に係る案内表示システムを含む複合娯楽施設を例示する図である。

【図2】本実施形態に係る案内表示システムの表示装置及びサーバのハードウェア構成を例示する図である。

【図3】サーバの機能ブロックを例示する図である。

【図4】表示装置の例としてスマートフォンが示され、さらにスマートフォンが検出する方位及び向きの基準座標軸を例示する図である。

【図5】表示装置の機能ブロックを例示する図である。

【図6】目的地がユーザにより設定される場合の、案内表示プロセスの初期設定フローを例示する図である。

【図7】現実世界の風景を例示する図である。

【図8】ＡＲ表示装置に拡張現実画像が表示されたときの例を示す図である。

【図9】目的地がサーバにより設定される場合の、案内表示プロセスの初期設定フローを例示する図である。

【図10】警告対象物体に強調表示が施されたときの撮像画像を例示する図である。

【図11】警告対象物体を回避する案内経路を例示する図である。

【図12】ＡＲ表示装置の利用者同士の接触を回避するための案内経路を例示する図である。

【図13】ＡＲ表示装置の一例として、ヘッドマウントディスプレイ（ＨＭＤ）を例示する図である。

【図14】ＡＲ表示装置の一例として、車内に設置されたヘッドアップディスプレイ（ＨＵＤ）を例示する図である。

【発明を実施するための形態】

【0022】

図１には、複合娯楽施設１０が例示される。この施設内で、本実施形態に係る案内表示システムが利用される。複合娯楽施設１０は、複数のテーマパーク１２～１８が設けられる。テーマパークとは、特定のテーマ（主題）に基づいて世界観が構成され、当該世界観に基づいて、設備、イベント、景観などが総合的に構成され演出された施設を指す。テーマパーク１２～１８は、連絡通路２０により接続されており、利用者はこの連絡通路を介してそれぞれのテーマパーク１２～１８の往来が可能となっている。

【0023】

複合娯楽施設１０は、それぞれテーマの異なるテーマパークが設けられる。例えば複合娯楽施設１０には、テーマパークとして、アスレチックパーク１２、遊園地１４、水族館１６、及び動物園１８が設けられる。それぞれのテーマパーク１２～１８は、それぞれのテーマに基づいて、仮想物体のキャラクタが設定される。後述されるように、この仮想物体は、それぞれのテーマパーク１２～１８へＡＲ表示装置３０の利用者（ユーザ）を案内するために利用される。

【0024】

仮想物体のキャラクタは、それぞれのテーマパーク１２～１８のテーマ及び世界観に沿ったものに設定される。例えばアスレチックパーク１２では、冒険家、レンジャー、忍者等のキャラクタが仮想物体として設定される。例えば遊園地１４では、ピエロ、ゴーカート等のキャラクタが仮想物体として設定される。例えば水族館１６では、イルカ、金魚、サメ等のキャラクタが仮想物体として設定される。さらに例えば動物園１８では、象、パンダ、キリン等のキャラクタが仮想物体として設定される。設定されたこれらの仮想物体の情報は、サーバ７０のテーマパーク別キャラクタ記憶部８２（図３参照）に記憶される。記憶される仮想物体の情報の詳細は後述される。

【0025】

また、例えばこれらのテーマパーク１２～１８はそれぞれ有料施設であって、それぞれのテーマパーク１２～１８の利用者が計測される。この計測は例えば、それぞれのテーマパーク１２～１８に設けられた入退場ゲート装置（図示せず）によって行われる。計測された各テーマパーク１２～１８別の利用者数は、サーバ７０のパーク利用者記憶部８０（図３参照）に記憶される。

【0026】

それぞれのテーマパーク１２～１８を結ぶ連絡通路２０には、ビーコンの発信器２２（図１参照）が設けられる。発信器２２は連絡通路２０上に、例えば等間隔に複数個設けられる。例えば発信器２２は、案内表示用の支柱２８の上端に取り付けられる。後述されるように、この発信器２２からの信号をＡＲ表示装置３０のビーコン受信器３７（図２参照）が受信することで、ＡＲ表示装置３０の現在位置を取得可能となる。

【0027】

本実施形態に係る案内表示システムは、ＡＲ表示装置３０及びサーバ７０を含んで構成される。下記にて詳述されるように、本実施形態に係る案内表示システムは、テーマパーク１２～１８を目的地として、当該目的地までの案内表示が行われる。

【0028】

＜サーバの構成＞
図２には、ＡＲ表示装置３０及びサーバ７０のハードウェア構成が例示される。サーバ７０は、例えばコンピュータから構成される。サーバ７０は、無線ＬＡＮ等の通信手段によってＡＲ表示装置３０と無線接続される。サーバ７０は、キーボードやマウス等の入力部７１、演算装置のＣＰＵ７２、及びディスプレイ等の表示部７３を備える。またサーバ７０は記憶装置として、ＲＯＭ７４、ＲＡＭ７５及びハードディスクドライブ７６（ＨＤＤ）を備える。さらにサーバ７０は、情報の入出力を管理する入出力コントローラ７７を備える。これらの構成部品は内部バス７８に接続される。

【0029】

図３には、サーバ７０の機能ブロックが例示される。この機能ブロック図は、例えばＲＯＭ７４やＨＤＤ７６に記憶されるか、または、ＤＶＤ等の、非一過性の記憶媒体に記憶されたプログラムをＣＰＵ７２が実行することで構成される。

【0030】

サーバ７０は、ＡＲ表示装置３０、入退場ゲート装置（図示せず）等の外部機器の信号を受信する受信部８３を備える。またサーバ７０は、受信部８３から信号を受ける利用者算出部８４、経路探索部８５、及び３Ｄモデル抽出部８６を備える。さらにサーバ７０は、サーバ７０内で生成された信号をＡＲ表示装置３０等の外部機器に送信する送信部８７を備える。

【0031】

また、サーバ７０は、記憶部として、パーク利用者記憶部８０、施設マップ記憶部８１、及びテーマパーク別キャラクタ記憶部８２を備える。パーク利用者記憶部８０には、各テーマパーク１２～１８の利用者数及び利用者密度が記憶される。

【0032】

施設マップ記憶部８１には、複合娯楽施設１０内の地図情報が記憶される。例えば複合娯楽施設１０内の通路や施設等の位置情報等が記憶される。加えて、連絡通路２０内に設置されたフェンスや、連絡通路２０沿いに設けられた池等の、警告対象物体の属性情報及び位置情報が施設マップ記憶部８１に記憶される。さらに、各テーマパーク１２～１８の面積情報が施設マップ記憶部８１に記憶される。

【0033】

テーマパーク別キャラクタ記憶部８２には、テーマパーク１２～１８別に設定されたキャラクタの情報が記憶される。キャラクタの情報とは、例えば各キャラクタの３Ｄモデルデータであってよい。この３Ｄモデルデータには例えばキャラクタの３Ｄ画像データが含まれ、当該画像データは、形状データ、テクスチャデータ、及びモーションデータが含まれる。

【0034】

利用者算出部８４は、各テーマパーク１２～１８の入退場ゲート装置（図示せず）から送信された入退場者情報に基づいて、各テーマパーク１２～１８の利用者数を算出する。算出された利用者数情報はパーク利用者記憶部８０に記憶される。

【0035】

さらに利用者算出部８４は、施設マップ記憶部８１を参照して、各テーマパーク１２～１８の利用者密度（利用者数／テーマパーク面積）を算出する。算出された利用者密度情報はパーク利用者記憶部８０に記憶される。

【0036】

また後述されるように、ＡＲ表示装置３０によるナビゲーション機能が休止されているときには、利用者算出部８４は、各テーマパーク１２～１８の利用者密度に基づいて、当該ＡＲ表示装置３０の目的地を設定する。

【0037】

経路探索部８５は、ＡＲ表示装置３０のナビゲーション機能または利用者算出部８４により目的地として設定されたテーマパーク１２～１８への経路（案内経路）を作成する。例えばＡＲ表示装置３０から現在位置が送信されると、経路探索部８５は、施設マップ記憶部８１に記憶された複合娯楽施設１０の地図情報に基づいて、ＡＲ表示装置３０の現在位置から目的地であるテーマパーク１２～１８までの経路（案内経路）を作成する。案内経路データには、例えば、出発地であるＡＲ表示装置３０の現在位置また目的地であるテーマパーク１２～１６の入り口までの案内経路の位置座標情報が含まれる。

【0038】

３Ｄモデル抽出部８６は、ＡＲ表示装置３０のナビゲーション機能または利用者算出部８４により目的地として設定されたテーマパーク１２～１８のキャラクタを案内用仮想物体として抽出する。抽出されたキャラクタの仮想物体データ、つまり、３Ｄモデルデータは、案内経路とともに送信部８７からＡＲ表示装置３０に送信される。

【0039】

＜ＡＲ表示装置の構成＞
図１を参照して、ＡＲ表示装置３０は、複合娯楽施設１０の利用者（ユーザ）に利用される表示装置である。ＡＲ表示装置３０は、現実世界の風景に仮想物体の画像を重畳させた仮想現実（ＡＲ、Augmented Reality）画像を表示可能となっている。

【0040】

ＡＲ表示装置３０は、種々の視点による分類ができる。例えば携帯の可否、つまり可搬性という観点から、ＡＲ表示装置３０は、携帯型と据え置き型の２種類に分けることができる。

【0041】

携帯型のＡＲ表示装置３０として、例えばスマートフォンや、眼鏡型のヘッドマウントディスプレイ（ＨＭＤ）が挙げられる。また据え置き型のＡＲ表示装置３０として、例えばテーマパーク１２～１８間を移動する車両（モビリティ）に設置され、当該車両のフロントガラスに仮想物体を投影させる、ヘッドアップディスプレイ（ＨＵＤ）が挙げられる。

【0042】

また、ＡＲ表示装置３０は、現実世界の風景の表示態様という観点から、ビデオ透過型（Video See-Through）ディスプレイ（ＶＳＴディスプレイ）と、光学透過型（Optical See-Through）ディスプレイ（ＯＳＴディスプレイ）とに分けることができる。ＶＳＴディスプレイは、カメラ等の撮像器が現実世界の風景を撮像し、表示器にその撮像画像を表示する。一方でＯＳＴディスプレイは、ハーフミラー等の透過型の表示部を通して現実世界の風景が視認され、当該表示部に仮想物体が投影される。

【0043】

上述したスマートフォン等の、撮像器３５（図２参照）を備えるＡＲ表示装置３０は、ＶＳＴディスプレイに分類される。また上述したヘッドマウントディスプレイ（ＨＭＤ）やヘッドアップディスプレイ（ＨＵＤ）は、フロントガラスや眼鏡のレンズを表示部として、現実世界の風景が視認されるから、ＯＳＴディスプレイに分類される。

【0044】

図４には、ＡＲ表示装置３０の例として、携帯型かつＶＳＴディスプレイ型のスマートフォンが図示される。このスマートフォンは、複合娯楽施設１０の利用者の所有物であってもよいし、複合娯楽施設１０の利用者に対して貸与させるタブレット端末等のリース物品であってもよい。

【0045】

図２には、ＡＲ表示装置３０のハードウェア構成が、サーバ７０のハードウェア構成とともに例示される。ＡＲ表示装置３０は、ＣＰＵ３１（中央演算装置）、加速度センサ３２、ジャイロセンサ３３、地磁気センサ３４、撮像器３５、ＧＰＳ受信器３６、ビーコン受信器３７、振動器３８、入出力コントローラ３９、システムメモリ４０、ストレージ４１、ＧＰＵ４２、フレームメモリ４３、ＲＡＭＤＡＣ４４、表示制御部４５、表示部４６、及び入力部４７を備える。

【0046】

システムメモリ４０は、ＣＰＵ３１によって実行されるオペレーションシステム（ＯＳ）が使用する記憶装置である。ストレージ４１は、外部記憶装置であって、例えば後述する、仮想現実画像（ＡＲ画像）を表示させるためのプログラムが記憶される。

【0047】

撮像器３５は、例えばスマートフォンに搭載されたカメラデバイスであり、現実世界の風景を静止画及び動画にて撮像可能となっている。撮像器３５は、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成される。さらに撮像器３５は、現実世界の撮像に加えて、撮像器３５からの離隔距離を測定する機能を備えた、いわゆるＲＧＢ－Ｄカメラであってよい。離隔距離を測定する機能として、例えば撮像器３５には、上述した撮像デバイスに加えて、赤外線を用いた測距機構が設けられる。

【0048】

ＧＰＵ４２（Graphics Processing Unit）は、画像処理用の演算装置であって、後述する画像認識を行う際に主に稼働される。フレームメモリ４３は、撮像器３５により撮像されさらにＧＰＵ４２により演算処理された画像を記憶する記憶装置である。ＲＡＭＤＡＣ４４（Random Access Memory Digital-to-Analog Converter）は、フレームメモリ４３に記憶された画像データを、アナログディスプレイである表示部４６向けのアナログ信号に変換する。

【0049】

加速度センサ３２、ジャイロセンサ３３、及び地磁気センサ３４により、ＡＲ表示装置３０の向き及び方位が推定できる。加速度センサ３２は、ＡＲ表示装置３０の加速度を測定する。加速度センサ３２は、図４に例示されるように、直交する３軸方向の加速度をそれぞれ計測可能となっている。すなわち、表示部４６の表示面に平行であって、軸同士が直交するＸ軸及びＹ軸、並びに、表示部４６の表示面に直交するＺ軸のそれぞれの軸方向の加速度が、加速度センサ３２によって測定される。加速度センサ３２、ジャイロセンサ３３、及び地磁気センサ３４は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）等のいわゆるマイクロマシンから構成される。

【0050】

ジャイロセンサ３３は、ＡＲ表示装置３０の角速度を測定する。ジャイロセンサ３３は、図４に例示されるように、直交する３軸周りの回転を測定する。つまり、Ｘ軸周りの回転であるピッチ角、Ｙ軸周りの回転であるロール角、及び、Ｚ軸周りの回転であるアジマス角（ヨー角とも呼ばれる）が、ジャイロセンサ３３により測定される。また、地磁気センサ３４は、ＡＲ表示装置３０の、磁北からの傾きを検出する。

【0051】

ＧＰＳ受信器３６は、ＧＰＳ衛星２４（図１参照）から測位信号であるＧＰＳ信号を受信する。ＧＰＳ信号には、緯度、経度、高度の位置座標情報が含まれる。ビーコン受信器３７は、連絡通路２０をはじめとして複合娯楽施設１０内に設置されたビーコンの発信器２２からの位置信号を受信する。

【0052】

ここで、ＧＰＳ受信器３６とビーコン受信器３７は、ともに位置推定機能が重複する。したがって、ＡＲ表示装置３０には、ＧＰＳ受信器３６とビーコン受信器３７のどちらか一方のみが設けられていてもよい。

【0053】

入力部４７は文字入力や後述する目的地となるテーマパーク１２～１８の選択が可能となっている。例えば入力部４７は、表示部４６と一体化されたタッチパネルであってよい。

【0054】

表示制御部４５は、現実世界の風景に案内用仮想物体の画像を重畳させた拡張現実画像（ＡＲ画像）を表示部４６に表示可能となっている。例えば表示制御部４５は、現実世界の撮像画像から案内経路（通路）に該当する画像領域を抽出して、抽出された画像領域に案内用仮想物体の画像を重畳させる画像処理（レンダリング）を行い、表示部４６に表示させる。表示部４６は、例えば液晶ディスプレイまたは有機ＥＬディスプレイであってよい。

【0055】

図５には、ＡＲ表示装置３０の機能ブロック図が例示される。この機能ブロック図は、例えばシステムメモリ４０やストレージ４１に記憶されるか、または、ＤＶＤやコンピュータのハードディスク等の、非一過性の記憶媒体に記憶された、位置推定プログラムをＣＰＵ３１やＧＰＵ４２が実行することで構成される。

【0056】

図５には、図２にも例示されたハードウェア構成の一部と機能ブロックとが混在した状態で示される。図５にはハードウェア構成として、撮像器３５、表示制御部４５、及び表示部４６が例示される。

【0057】

また機能ブロックとして、ＡＲ表示装置３０は、位置推定部５０、送信制御部５１、送信部５２、入力部５３、ナビゲーション機能部５４、受信部５５、向き方位推定部５６、仮想物体加工部５７、画像認識部５８、及び学習済みモデル記憶部５９を備える。これらの機能ブロックは、ＣＰＵ３１、システムメモリ４０、ストレージ４１、ＧＰＵ４２、及びフレームメモリ４３等から構成される。

【0058】

入力部５３は、ＡＲ表示装置３０の利用者から種々の入力操作を受ける。この入力操作には、例えばＡＲ表示装置３０の撮像器３５に対する撮像操作、ナビゲーション機能を起動させる起動操作、及び、ナビゲーション機能実行時において目的地を入力する操作が含まれる。

【0059】

画像認識部５８は、撮像器３５による撮像画像データを受信して画像認識を行う。画像認識には、撮像画像中の物体の認識と、当該物体とＡＲ表示装置３０との離隔距離の推定が含まれる。このような画像認識に当たり、撮像画像データには例えば上述したように、現実世界の風景を撮像したカラー画像データに加えて、当該カラー画像データ内の各物体の、撮像器３５からの離隔距離データが含まれる。

【0060】

画像認識部５８は学習済みモデル記憶部５９に記憶された画像認識用の学習モデルを用いて、撮像画像の認識を行う。学習済みモデル記憶部５９には、例えば、外部のサーバ等によって学習済みの画像認識用のニューラルネットワークが記憶される。例えば複合娯楽施設１０を含む屋外の画像データであって、画像内の各物体のセグメント済み及びアノテーション済みのデータが、訓練用データとして準備される。この訓練用データを用いて、教師有り学習により機械学習された多階層のニューラルネットワークが形成され、学習済みモデル記憶部５９に記憶される。このニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ）であってよい。

【0061】

仮想物体加工部５７は、向き方位推定部５６により求められたカメラアングルに基づいて、ＡＲ画像に表示される案内用仮想物体の姿勢や向きを求める。表示制御部４５には、画像認識済みの現実世界画像と、姿勢及び向きの情報が設定された案内用仮想物体の３Ｄデータが送られる。表示制御部４５は、現実世界画像から案内経路の一部である通路部分を選択し、目的地に沿った進行方向前方に案内用仮想物体を重畳させる。この重畳画像が後述する図８のように表示部４６に表示される。

【0062】

＜利用者による目的地設定時の経路案内＞
図６には、本実施形態に係る案内表示システムによる経路案内プロセスのうち、特に初期設定時のフローチャートが例示される。この例では、ＡＲ表示装置３０の利用者（ユーザ）によって、ＡＲ表示装置３０が有する機能であるナビゲーション機能が起動されたときの例が示される。なお図６では、主にサーバ７０により実行される処理が（Ｓ）で表され、主にＡＲ表示装置３０により実行される処理が（Ｄ）で表される。

【0063】

なお、この経路案内は、複合娯楽施設１０（図１参照）内のテーマパーク間移動時に行われる。つまり連絡通路２０の移動時に、以下に説明される経路案内サービスが提供される。

【0064】

図３，５，６を参照して、ＡＲ表示装置３０の入力部５３にナビゲーション機能の起動操作が入力されると、ナビゲーション機能部５４が起動される。また送信制御部５１は、位置推定部５０により推定された現在位置情報を参照して、ＡＲ表示装置３０の現在位置がテーマパーク１２～１８外か否かを判定する（Ｓ１０）。

【0065】

ＡＲ表示装置３０の現在位置がテーマパーク１２～１８内であった場合には、図６のフローは終了される。一方、ＡＲ表示装置３０の現在位置がテーマパーク１２～１８外であった場合には、送信制御部５１は、送信部５２を介して、ＡＲ表示装置３０の現在位置と目的地となるテーマパーク（以下適宜、目的地パークと記載する）の情報をサーバ７０に送信する（Ｓ１２）。なおここで、目的地パークはナビゲーション機能を利用する利用者により入力または選択される。

【0066】

サーバ７０の受信部８３が受信した、ＡＲ表示装置３０の現在位置情報及び目的地パークの情報は経路探索部８５に送られる。経路探索部８５は、ＡＲ表示装置３０の現在位置から目的地パークまでの案内経路を探索して作成する（Ｓ１４）。例えば現在位置から目的地パークまでの最短距離の経路が探索され当該経路が案内経路となる。作成された案内経路情報は送信部８７に送られる。

【0067】

また、目的地パークの情報は３Ｄモデル抽出部８６に送られる。３Ｄモデル抽出部８６は、テーマパーク別キャラクタ記憶部８２を参照して、目的地パークに対して設定されたキャラクタを案内用仮想物体に設定する（Ｓ１６）。目的地パークに対して予め設定されているキャラクタが複数いる場合には、その中の任意のキャラクタが例えばランダムに選出される。

【0068】

案内用仮想物体に設定された当該キャラクタの３Ｄモデルデータは送信部８７に送られる。送信部８７からは、案内経路の情報と案内用仮想物体の３ＤモデルデータがＡＲ表示装置３０に送られる（Ｓ１８）。

【0069】

案内経路の情報と案内用仮想物体の３Ｄモデルデータを受信したＡＲ表示装置３０の表示制御部４５は、撮像器３５による撮像画像中、ＡＲ表示装置３０の現在位置から進行方向前方の位置に案内用仮想物体の画像を重畳表示させる。進行方向前方とは、案内経路に沿ってＡＲ表示装置３０から目的地パークに向かう方向を指す。例えば表示制御部４５は、撮像器３５による撮像画像のうち、通路と認識された画像領域の、目的地パーク寄りに所定距離離れた地点を、案内用仮想物体の表示位置（重畳位置）に設定する（Ｓ２０）。さらに表示制御部４５は、現実世界の風景に案内用仮想物体が重畳された重畳画像（ＡＲ画像）を、表示部４６に表示させる（Ｓ２２）。

【0070】

例えば図７には、連絡通路２０の透視図（パース）が例示される。この図では、動物園１８方面の経路２５及び遊園地１４方面の経路２７の分岐点に立った時の図が例示される。なおこの例では、目的地パークとして動物園１８が選択されているものとする。図８のように、ＡＲ表示装置３０の撮像器３５にてこの地点を撮像すると、画像認識部５８によって撮像画像の認識が行われ、経路２５や案内板２６等の特定が行われる。

【0071】

さらに特定された経路２５上であって、ＡＲ表示装置３０から目的地パーク（動物園１８）寄りに離隔された位置に、案内用仮想物体１００である鹿の画像が重畳される。なお図８では、図示を明確にするために、案内用仮想物体１００を平面的なシルエットで描画しているが、この形態に限らずに、案内用仮想物体１００の３Ｄ画像が表示されてよい。

【0072】

ＡＲ表示装置３０が経路２５を目的地パークに向かって前進すると、その分、案内用仮想物体１００も前方に移動する。このとき、案内用仮想物体１００の鹿が前進するようなアニメーションが表示されてよい。

【0073】

このように、本実施形態に係る案内表示システムでは、目的地パークに沿った案内用仮想画像が選択されるので、目的地パークの世界観を損ねることなく経路案内が可能となる。

【0074】

＜混雑緩和用の経路案内＞
図６のフローでは、ＡＲ表示装置３０の利用者がナビゲーション機能を起動させて目的地パークを設定していたが、本実施形態に係る案内表示システムは、混雑緩和の目的で利用することもできる。

【0075】

図９には、混雑緩和用の経路案内プロセスのうち、特に初期設定時のフローチャートが例示される。図６のフローと符号が同一のステップについては、内容が重複するため以下では適宜説明が省略される。

【0076】

このフローは、ＡＲ表示装置３０の撮像機能が起動されると開始される。送信制御部５１（図５参照）は、位置推定部５０により推定された現在位置を参照して、ＡＲ表示装置３０の現在位置がテーマパーク１２～１８外に含まれるか否かを判定する（Ｓ１０）。ＡＲ表示装置３０がテーマパーク１２～１８内に所在する場合には本フローは終了する。

【0077】

一方、ＡＲ表示装置３０がテーマパーク１２～１８外に所在する場合、典型的には連絡通路２０に所在する場合に、送信制御部５１はナビゲーション機能部５４の動作状況を参照して、ナビゲーション機能の実行有無を判定する（Ｓ３０）。ナビゲーション機能が実行中である場合には、利用者により目的地パークが設定されるので、本フローは終了する。

【0078】

一方、ナビゲーション機能が休止中である場合には、送信制御部５１は、ＡＲ表示装置３０の現在位置をサーバ７０に送信する（Ｓ３２）。サーバ７０では、利用者算出部８４が、テーマパーク１２～１８の入退場ゲート装置（図示せず）の入退場者数の情報に基づいて、目的地パーク設定時点（つまり現在時点）のテーマパーク１２～１８の利用者数を算出する。さらに利用者算出部８４は、施設マップ記憶部８１からテーマパーク１２～１８の面積を取得して、テーマパーク１２～１８の利用者密度を算出する（Ｓ３４）。

【0079】

利用者算出部８４により、目的地パーク設定時点（つまり現在時点）のテーマパーク１２～１８の利用者密度が求められると、さらに利用者算出部８４は、テーマパーク１２～１８の中で利用者密度が最も低いテーマパーク１２～１８を求めてこれを目的地パークに設定する（Ｓ３６）。経路探索部８５は、ＡＲ表示装置３０の現在位置から設定された目的地パークまでの案内経路を作成する。ステップＳ３６以降は設定された目的地パークを基準にして、図６と同様の経路案内フロー（Ｓ１６～Ｓ２２）が実行される。

【0080】

例えば一般的に、複合娯楽施設１０の利用者には、動物園１８の象が見たいといった、来場目的が明確である利用者層が含まれる。その一方で、複合娯楽施設１０に所定時間滞在することを目的とし、どのテーマパーク１２～１８に行くかどうかまでは決めていない利用者層も一定数存在し得る。このような後者の利用者層を、比較的空いているテーマパーク１２～１８に誘導させることで、それぞれのテーマパーク１２～１８の混雑率が平滑化され、その結果、混雑緩和が図られる。

【0081】

＜見送り用仮想物体の表示＞
上述した実施形態では、目的地パークに対して設定されたキャラクタを表示部４６に重畳表示させていたが、これに加えて表示制御部４５は、ＡＲ表示装置３０に最も近接するテーマパーク１２～１８のキャラクタを、見送り用仮想物体として表示部４６に重畳表示させてもよい。

【0082】

例えば図３を参照して、利用者算出部８４は、目的地パークに加えて、ＡＲ表示装置３０の現在位置に最も近接するテーマパーク１２～１８（以下適宜最寄りパークと記載する）の情報を３Ｄモデル抽出部８６に提供する。

【0083】

３Ｄモデル抽出部８６は、上述の通り、目的地パークに対して設定されたキャラクタの３Ｄモデルデータをテーマパーク別キャラクタ記憶部８２から抽出するとともに、同記憶部８２から、最寄りパークに対して設定されたキャラクタの３Ｄモデルデータも抽出する。
目的地パーク及び最寄りパークのキャラクタの３Ｄモデルデータは、案内経路情報とともに送信部８７からＡＲ表示装置３０に送信される。

【0084】

ＡＲ表示装置の表示制御部４５（図５参照）は、目的地パークのキャラクタを案内用仮想物体として表示部４６に重畳表示させるとともに、最寄りパークのキャラクタを見送り用仮想物体として表示部４６に重畳表示させる。

【0085】

見送り用仮想物体は、当該仮想物体のキャラクタが設定されたテーマパーク１２～１８から所定距離離隔されると、表示部４６に表示されなくなるような処理が施されてよい。このような演出機能を備えることで、例えば退場したばかりのテーマパーク１２～１８から、当該パークに所在するキャラクタが利用者を見送るような演出が可能となる。

【0086】

＜警告対象物体対応制御＞
ＡＲ技術は、ＶＲ（仮想現実）技術とは異なり現実世界の画像が表示されているので、いわゆる没入感は低いが、仮想物体１００に注視して、利用者がフェンス等の障害物に接触するおそれがある。そこで表示制御部４５は、これらの障害物を表示部４６に強調表示させてもよい。

【0087】

図５を参照して、撮像器３５による撮像画像を画像認識部５８が認識する際に、撮像画像中に警告対象物体が認識される。警告対象物体の教師データは予め学習済みモデル記憶部５９に記憶されている。警告対象物体は、例えばフェンスや池等が含まれる。

【0088】

表示制御部４５は、表示部４６に撮像画像を表示させるに当たり、図１０に例示されるように、警告対象物体であるフェンス１０２を強調表示する。この図ではフェンス１０２がハッチング処理される。このような強調表示を行うことで、利用者の注意を促すことが出来る。

【0089】

また、図３を参照して、施設マップ記憶部８１に、警告対象物体の位置情報が記憶されている場合には、経路探索部８５は、図１１に例示されるように、警告対象物体を回避する経路となるように案内経路を作成してもよい。つまり、仮想物体１００は、表示部４６上で警告対象物体を回避するように進む。ここで、警告対象物体に近づいたときに、振動器３８（図２参照）が振動駆動することで、警告対象物体との接触を避けるように利用者を促してもよい。

【0090】

また例えば、ＡＲ表示装置３０の撮像器３５を警告対象物体側に向けると仮想物体１００が表示部４６のフレームから外れて表示されなくなる等の演出も可能であり、警告対象物体の接触を回避しつつ、仮想物体１００による安全な経路案内が可能となる。

【0091】

＜衝突回避制御＞
図１２に例示されるように、動物園１８から水族館１６に向かう案内経路Ｒ１と、水族館１６から動物園１８に向かう案内経路Ｒ２とが移動の最中に近接して利用者同士が接触するおそれがある。そこでサーバ７０の経路探索部８５（図３参照）は、複数のＡＲ表示装置３０が所定の閾値距離以内に近接するときには、当初案内経路を修正して、衝突を回避するような案内経路に再作成してもよい。

【0092】

経路探索部８５には、複合娯楽施設１０内のすべてのＡＲ表示装置３０の位置情報が受信される。経路探索部８５は、複数のＡＲ表示装置３０の離隔間隔を求め、これらのＡＲ表示装置３０のうち、所定の閾値距離（例えば１ｍ）以内に近接する一対のＡＲ表示装置３０Ａ，３０Ｂ（図１２参照）に対して、案内経路を再作成する。

【0093】

例えば連絡通路２０を右側通行として利用者に通知している場合に、経路探索部８５は、図１２に例示されるように、当初経路Ｒ１，Ｒ２から右に逸れるようにして回避経路Ｒ１１，Ｒ２１を作成する。このような案内経路の再作成により、利用者同士の衝突が抑制可能となる。

【0094】

＜施設外の持ち出し警告＞
また、ＡＲ表示装置３０が、複合娯楽施設１０内に限定して使用される貸出機器である場合に、サーバ７０は、ＡＲ表示装置３０の位置情報に基づいて、複合娯楽施設１０の敷地外にいるＡＲ表示装置３０の表示部４６に、警告画像を表示させてもよい。例えば表示制御部４５は、複合娯楽施設１０内に戻るように促すメッセージを表示部４６に表示させる。

【0095】

＜ＡＲ表示装置の別例＞
上述した実施形態では、ＡＲ表示装置３０として、ビデオ透過型ディスプレイであるスマートフォンが例示されていたが、本実施形態に係るＡＲ表示装置３０はこの形態に限られない。例えば図１３に例示されるようなヘッドマウントディスプレイ（ＨＭＤ）のように、ＡＲ表示装置３０が光学透過型ディスプレイから構成されてもよい。

【0096】

この場合、ＡＲ表示装置３０は、表示部４６に対応するハーフミラー１１４、表示制御部４５に対応するプロジェクタ１１６、ならびに、位置推定部５０及び向き方位推定部５６に対応するセンサユニット１１２を含んで構成される。

【0097】

ハーフミラー１１４は、例えば眼鏡やゴーグルのレンズであってよい。ハーフミラー１１４は、現実世界からの光（像）が利用者まで透過される。一方、ハーフミラー１１４の上方に配置されたプロジェクタ１１６は、仮想物体の像をハーフミラー１１４に投影させる。これにより、現実世界の風景に案内用仮想物体の画像が重畳されたＡＲ画像が表示可能となる。

【0098】

仮想物体の重畳表示に当たり、センサユニット１１２によって利用者の視線の向き及び方位が推定される。プロジェクタ１１６は、その向き及び方位に基づいて、案内用仮想物体の３Ｄモデルの向き及び方位を求める。

【0099】

なお、このような光学透過型ディスプレイの場合、現実世界の風景を撮像する撮像器３５が設けられていない場合があり、そのような場合には、撮像機能の起動をトリガーとする図９のフローを同ディスプレイ用に調整する必要がある。例えば図９のフローの起点をステップＳ１０とする、つまり、テーマパーク１２～１８から利用者が退場したときにフローが起動するように、図９のフローが変形される。

【0100】

また、光学透過型ディスプレイのＡＲ表示装置３０の別例として、図１４には、車両１２０等の移動体（モビリティ）に設置された、据え付け型の表示装置であるヘッドアップディスプレイ（ＨＵＤ）が例示される。例えばテーマパーク１２～１８間の移動に際して、連絡通路２０上をこの車両１２０が走行する。この車両１２０は例えば家族単位での移動を念頭に、最大乗員が５名の小型車両であってよい。

【0101】

この場合、ＡＲ表示装置３０は、表示部４６に対応するフロントガラス１２４、表示制御部４５に対応するプロジェクタ１２６、ならびに、位置推定部５０に対応するＧＰＳ受信器１２２を含んで構成される。

【0102】

フロントガラス１２４は、現実世界からの光（像）が利用者まで透過される。一方、フロントガラス１２４の下方に配置されたプロジェクタ１２６は、仮想物体の像をフロントガラス１２４に投影させる。これにより、現実世界の風景に案内用仮想物体の画像が重畳されたＡＲ画像が表示可能となる。

【符号の説明】

【0103】

１０ 複合娯楽施設、１２ アスレチックパーク、１４ 遊園地、１６ 水族館、１８ 動物園、２０ 連絡通路、２２ ビーコン発信器、２４ ＧＰＳ衛星、３０ ＡＲ表示装置、３５ 撮像器、４５ 表示制御部、４６ 表示部、５４ ナビゲーション機能部、５７ 仮想物体加工部、５８ 画像認識部、５９ 学習済みモデル記憶部、７０ サーバ、８０ パーク利用者記憶部、８１ 施設マップ記憶部、８２ テーマパーク別キャラクタ記憶部、８３ 受信部、８４ 利用者算出部、８５ 経路探索部、８６ ３Ｄモデル抽出部、８７ 送信部、１００ 案内用仮想物体、１０２ フェンス、１１２ センサユニット、１１４ ハーフミラー、１１６ プロジェクタ、１２０ 車両、１２２ ＧＰＳ受信器、１２４ フロントガラス、１２６ プロジェクタ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】