特許 7372230 表示システム及び表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-23

(45)【発行日】2023-10-31

(54)【発明の名称】表示システム及び表示装置

(51)【国際特許分類】

   G01C 21/36 20060101AFI20231024BHJP

【ＦＩ】

G01C21/36

【請求項の数】 7

(21)【出願番号】P 2020210995

(22)【出願日】2020-12-21

(65)【公開番号】P2022097826

(43)【公開日】2022-07-01

【審査請求日】2022-09-05

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】小森谷 一記

(72)【発明者】

【氏名】芹澤 和実

(72)【発明者】

【氏名】石川 さやか

(72)【発明者】

【氏名】谷森 俊介

(72)【発明者】

【氏名】三浦 正哉

(72)【発明者】

【氏名】田村 康司

(72)【発明者】

【氏名】日比野 清栄

(72)【発明者】

【氏名】向 里菜

(72)【発明者】

【氏名】稲垣 智也

(72)【発明者】

【氏名】狄 勤莉

【審査官】田中 将一

(56)【参考文献】

【文献】特開２００７－２４８１６２（ＪＰ，Ａ）

【文献】国際公開第２０１２／０３３０９５（ＷＯ，Ａ１）

【文献】特開２０２０－０５３７９５（ＪＰ，Ａ）

【文献】特開２００５－２６６１４３（ＪＰ，Ａ）

【文献】国際公開第２０１９／０９７９１８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０１Ｃ ２３／００ － ２５／００

(57)【特許請求の範囲】

【請求項1】

表示部と、現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を前記表示部に表示可能な表示制御部と、を備える、利用者とともに移動可能な表示装置と、
前記表示装置と無線接続されるサーバと、
を備え、
前記表示装置は、特定のテーマに基づいて構成される施設を出発地とするときに、当該出発地の施設情報を前記サーバに送信し、
前記サーバは、
前記出発地の施設に対して設定されたキャラクタの情報が記憶された記憶部と、
前記出発地の施設に対して設定された前記キャラクタを前記出発地の仮想物体として当該出発地の仮想物体の画像データを前記表示装置に送信する送信部と、
を備え、
前記表示装置は車両に搭載され、
前記表示部は、車室内の複数の座席を隔てるように配置され、さらに、第一表示面及び当該第一表示面に背中合わせとなる第二表示面がそれぞれ車室側方に向けられ、
前記表示装置は、
前記第一表示面に表示される撮像画像として、車室の、前記第二表示面側を撮像する、第一撮像器と、
前記第二表示面に表示される撮像画像として、車室の、前記第一表示面側を撮像する、第二撮像器と、
前記第一撮像器及び前記第二撮像器の撮像画像の画像認識を行う画像認識部と、
を備え、
前記画像認識部が前記撮像画像中に人物を認識したときに、前記表示制御部は、認識された人物の画像領域を前記出発地の仮想物体に置換した前記撮像画像を生成して前記第一表示面及び前記第二表示面に表示させる、
表示システム。

【請求項2】

表示部と、現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を前記表示部に表示可能な表示制御部と、を備える、利用者とともに移動可能な表示装置と、
前記表示装置と無線接続されるサーバと、
を備え、
前記表示装置は、特定のテーマに基づいて構成される施設を出発地とするときに、当該出発地の施設情報を前記サーバに送信し、
前記サーバは、
前記出発地の施設に対して設定されたキャラクタの情報が記憶された記憶部と、
前記出発地の施設に対して設定された前記キャラクタを前記出発地の仮想物体として当該出発地の仮想物体の画像データを前記表示装置に送信する送信部と、
を備え、
前記表示装置は車両に搭載され、
前記表示部は、車窓に取り付けられるとともに表示面が車室内に向けられ、
前記表示装置は、
車外の風景を撮像する撮像器と、
前記撮像器の撮像画像の画像認識を行う画像認識部と、
を備え、
前記画像認識部が前記撮像画像中に人物を認識したときに、前記表示制御部は、認識された人物の画像領域を前記出発地の仮想物体に置換した前記撮像画像を生成して前記表示面に表示させる、
表示システム。

【請求項3】

請求項１または２に記載の表示システムであって、
前記表示制御部は、前記出発地の施設から離隔するほど、認識された全ての人物の画像領域に対する、前記出発地の仮想物体に置換される人物の画像領域の割合を減少させる、
表示システム。

【請求項4】

請求項３に記載の表示システムであって、
前記記憶部には、目的地である施設に対して設定されたキャラクタの情報が記憶され、
前記送信部は、前記目的地の施設に対して設定されたキャラクタを前記目的地の仮想物体として、当該目的地の仮想物体の画像データを前記表示装置に送信し、
前記表示制御部は、前記目的地の施設に近づくほど、認識された全ての人物の画像領域に対する、前記目的地の仮想物体に置換される人物の画像領域の割合を増加させる、
表示システム。

【請求項5】

請求項４に記載の表示システムであって、
前記記憶部には、前記出発地の仮想物体及び前記目的地の仮想物体として、それぞれ複数のキャラクタが設定され、
前記表示制御部は、時間帯に応じて、置換させる仮想物体のキャラクタを選択する、
表示システム。

【請求項6】

車両に搭載される表示装置であって、
特定のテーマに基づいて構成される施設に対して設定されたキャラクタの情報が記憶された記憶部と、
出発地として設定された施設に対して設定されたキャラクタを前記出発地の仮想物体として抽出する抽出部と、
車室内の複数の座席を隔てるように配置され、さらに、第一表示面及び当該第一表示面に背中合わせとなる第二表示面がそれぞれ車室側方に向けられた、表示部と、
現実世界の風景に、前記出発地の仮想物体の画像を重畳させた拡張現実画像を前記表示部に表示可能な表示制御部と、
前記第一表示面に表示される撮像画像として、車室の、前記第二表示面側を撮像する、第一撮像器と、
前記第二表示面に表示される撮像画像として、車室の、前記第一表示面側を撮像する、第二撮像器と、
前記第一撮像器及び前記第二撮像器の撮像画像の画像認識を行う画像認識部と、
を備え、
前記画像認識部が前記撮像画像中に人物を認識したときに、前記表示制御部は、認識された人物の画像領域を前記出発地の仮想物体に置換した前記撮像画像を生成して前記第一表示面及び前記第二表示面に表示させる、
表示装置。

【請求項7】

車両に搭載される表示装置であって、
特定のテーマに基づいて構成される施設に対して設定されたキャラクタの情報が記憶された記憶部と、
出発地として設定された施設に対して設定されたキャラクタを前記出発地の仮想物体として抽出する抽出部と、
車窓に取り付けられるとともに表示面が車室内に向けられた、表示部と、
現実世界の風景に、前記出発地の仮想物体の画像を重畳させた拡張現実画像を前記表示部に表示可能な表示制御部と、
車外の風景を撮像する撮像器と、
前記撮像器の撮像画像の画像認識を行う画像認識部と、
を備え、
前記画像認識部が前記撮像画像中に人物を認識したときに、前記表示制御部は、認識された人物の画像領域を前記出発地の仮想物体に置換した前記撮像画像を生成して前記表示面に表示させる、
表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、拡張現実画像（ＡＲ画像）を表示可能な表示システム及び当該システムに含まれる表示装置が開示される。

【0002】

従来から、拡張現実（ＡＲ、Augmented Reality）技術を用いた表示装置が知られている。例えば特許文献１では、ナビゲーションシステムにおいて、目的地までの経路に沿って進行するキャラクタの仮想画像を、現実世界の画像に重畳させた、拡張現実画像（ＡＲ画像）をディスプレイに表示させている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２０８６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、例えば特定のテーマ（主題）に基づいて世界観が構成されるテーマパークの利用者に対して、そのテーマパークの退出後にも、当該世界観に基づいたサービスが提供できれば、顧客満足度の向上に繋がる。

【0005】

そこで本明細書では、テーマパーク等の施設の利用者に対して、その施設の退出後にも、当該施設の世界観に基づいたサービスを提供可能な、表示システム及びそのシステムに含まれる表示装置が開示される。

【課題を解決するための手段】

【0006】

本明細書では、表示システムが開示される。当該表示システムは、表示装置及びその表示装置と無線接続されるサーバを備える。表示装置は、利用者とともに移動可能となっている。また表示装置は、表示部及び表示制御部を備える。表示制御部は、現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を表示部に表示可能となっている。表示装置は、特定のテーマに基づいて構成される施設を出発地とするときに、当該出発地の施設情報をサーバに送信する。サーバは、記憶部及び送信部を備える。記憶部には、出発地の施設に対して設定されたキャラクタの情報が記憶される。送信部は、出発地の施設に対して設定されたキャラクタを出発地の仮想物体としてその画像データを表示装置に送信する。

【0007】

上記構成によれば、出発地のテーマパーク等の施設に対して設定されたキャラクタが仮想現実画像に表示されるので、施設の退出後にも、その世界観に基づいたサービスを提供可能となる。

【0008】

また上記構成において、表示装置は車両に搭載されてよい。この場合、表示部は、車室内の複数の座席を隔てるように配置され、さらに、第一表示面及びこれに背中合わせとなる第二表示面がそれぞれ車室側方に向けられる。また表示装置は、第一撮像器、第二撮像器、及び画像認識部を備える。第一撮像器は、車室の、第二表示面側を撮像してその撮像画像が第一表示面に表示される。第二撮像器は、車室の、第一表示面側を撮像してその撮像画像が第二表示面に表示される。画像認識部は、第一撮像器及び第二撮像器の撮像画像の画像認識を行う。画像認識部が撮像画像中に人物を認識したときに、表示制御部は、認識された人物の画像領域を出発地の仮想物体に置換した撮像画像を生成して第一表示面及び第二表示面に表示させる。

【0009】

上記構成によれば、表示部を挟んで隣り合う人物（乗客）が仮想物体に置換されて表示されるため、仮想物体と車両に同乗しているかのような体験が得られる。

【0010】

また上記構成において、表示装置は車両に搭載されてよい。この場合、表示部は、車窓に取り付けられ表示面が車室内に向けられる。表示装置は、撮像器及び画像認識部を備える。撮像器は、車外の風景を撮像する。画像認識部は、撮像器の撮像画像の画像認識を行う。画像認識部が撮像画像中に人物を認識したときに、表示制御部は、認識された人物の画像領域を出発地の仮想物体に置換した撮像画像を生成して表示面に表示させる。

【0011】

上記構成によれば、車外の人物が仮想物体に置換されて車窓である表示面に表示されるので、テーマパーク等の施設内を車両で移動しているかのような体験が得られる。

【0012】

また上記構成において、表示制御部は、出発地の施設から離隔するほど、認識された全ての人物の画像領域に対する、出発地の仮想物体に置換される人物の画像領域の割合を減少させてもよい。

【0013】

上記構成によれば、出発地の施設から離れるほど、乗客を見送る当該施設のキャラクタが減少するといった演出が可能となる。

【0014】

また上記構成において、記憶部には、目的地である施設に対して設定されたキャラクタの情報が記憶されてよい。この場合、送信部は、目的地の施設に対して設定されたキャラクタを目的地の仮想物体としてその画像データを表示装置に送信する。表示制御部は、目的地の施設に近づくほど、認識された全ての人物の画像領域に対する、目的地の仮想物体に置換される人物の画像領域の割合を増加させる。

【0015】

上記構成によれば、目的地の施設に近づくほど、乗客を迎える当該施設のキャラクタが増加するといった演出が可能となる。

【0016】

また上記構成において、記憶部には、出発地の仮想物体及び目的地の仮想物体として、それぞれ複数のキャラクタが設定されてよい。この場合、表示制御部は、時間帯に応じて、置換させる仮想物体のキャラクタを選択する。

【0017】

上記構成によれば、日中は昼行性の動物を仮想物体として表示させ、日没後には夜行性の動物を仮想物体として表示させるといった演出が可能となる。

【0018】

また本明細書では、車両に搭載される表示装置が開示される。当該表示装置は、記憶部、抽出部、表示部、及び表示制御部を備える。記憶部には、特定のテーマに基づいて構成される施設に対して設定されたキャラクタの情報が記憶される。抽出部は、出発地として設定された施設に対して設定されたキャラクタを出発地の仮想物体として抽出する。表示部は、表示面が車室内に向けられる。表示制御部は、現実世界の風景に、出発地の仮想物体の画像を重畳させた拡張現実画像を表示部に表示可能となっている。

【発明の効果】

【0019】

本明細書で開示される表示システム及び表示装置によれば、テーマパーク等の施設の利用者に対して、その施設の退出後にも、当該世界観に基づいたサービスが提供可能となる。

【図面の簡単な説明】

【0020】

【図1】本実施形態に係る表示システムを含む複合娯楽施設を例示する図である。

【図2】連絡通路を走行する車両を例示する斜視図である。

【図3】車室内の様子を例示する図である。

【図4】本実施形態に係る表示システムの表示装置及びサーバのハードウェア構成を例示する図である。

【図5】サーバの機能ブロックを例示する図である。

【図6】表示装置の機能ブロックを例示する図である。

【図7】出発地グループの仮想物体の置換割合を例示する図である。

【図8】車室内の表示部に拡張現実画像が表示される例を示す図である。

【図9】拡張現実画像表示の初期設定フローを例示する図である。

【図10】拡張現実画像表示フローを説明する図である。

【図11】人物の画像領域を仮想物体画像に置換させる工程を説明する図である。

【図12】目的地グループの仮想物体の画像が重畳された拡張現実画像が、車窓として設けられた表示部に表示される例を示す図である。

【図13】出発地グループ及び目的地グループの仮想物体の置換割合を例示する図である。

【図14】出発地グループ及び目的地グループの仮想物体の画像を、拡張現実画像に表示させる際の初期設定フローを例示する図である。

【図15】出発地グループ及び目的地グループの仮想物体の画像を、拡張現実画像に表示させる際の、拡張現実画像表示フローを説明する図である。

【図16】車両が連絡通路を循環走行する例を示す図である。

【図17】表示装置の機能ブロックの別例を示す図である。

【発明を実施するための形態】

【0021】

＜複合娯楽施設の構成＞
図１には、複合娯楽施設１０が例示される。この施設内で、本実施形態に係る表示システムが利用される。複合娯楽施設１０には、複数のテーマパーク１２～１８が設けられる。テーマパークとは、特定のテーマ（主題）に基づいて世界観が構成され、当該世界観に基づいて、設備、イベント、景観などが総合的に構成され演出された施設を指す。

【0022】

複合娯楽施設１０は、それぞれテーマの異なるテーマパークが設けられる。例えば複合娯楽施設１０には、テーマパークとして、アスレチックパーク１２、遊園地１４、水族館１６、及び動物園１８が設けられる。それぞれのテーマパーク１２～１８は、それぞれのテーマに基づいて、仮想物体のキャラクタが設定される。後述される図８のように、この仮想物体は、車両９０内の表示部４１（車内表示部４１Ａ及び車窓表示部４１Ｂ）に拡張現実画像（ＡＲ画像）を表示する際に利用される。

【0023】

仮想物体のキャラクタは、それぞれのテーマパーク１２～１８のテーマ及び世界観に沿ったものに設定される。例えばアスレチックパーク１２では、冒険家、レンジャー、忍者等の、複数のキャラクタが仮想物体として設定される。例えば遊園地１４では、ピエロ、ゴーカート等の複数のキャラクタが仮想物体として設定される。例えば水族館１６では、イルカ、金魚、ペンギン等の複数のキャラクタが仮想物体として設定される。さらに例えば動物園１８では、象、パンダ、クマ等の複数のキャラクタが仮想物体として設定される。設定されたこれらの仮想物体の情報は、サーバ７０のテーマパーク別キャラクタ記憶部８２（図５参照）に記憶される。記憶される仮想物体の情報の詳細は後述される。

【0024】

＜車両の構成＞
テーマパーク１２～１８は、連絡通路２０により接続される。この連絡通路２０を、車両９０が走行する。車両９０は例えばテーマパーク１２～１８を結ぶ、乗り合い型の連絡バスであってよい。車両９０は運転者により操縦される手動運転が可能であってもよく、また自動運転機能を備えてもよい。自動運転機能について、例えば米国の自動車技術会（ＳＡＥ）による基準に基づいて、車両９０は、レベル４（高度自動運転）やレベル５（完全運転自動化）の運行が可能となっている。

【0025】

この車両９０に、本実施形態に係るＡＲ表示装置３０が搭載される。図２には車両９０の斜視図が例示される。車両９０の両側面９１，９１には、車外の風景を撮像するＡＲ表示装置３０の車外撮像器３３Ｃが設けられる。図３には車両９０の車室内の様子が例示される。車室内には車両９０の長手方向に複数の座席９２が並べられる。また車室には車幅方向中央に通路９３が設けられる。通路９３は車両長手方向に延設される。この通路９３を挟んで、座席９２の列が車両長手方向に延設される。

【0026】

通路９３上には、ＡＲ表示装置３０の車内表示部４１Ａが設けられる。複数の座席９２、具体的には一方の側方に並べられた座席列と、他方の側方に並べられた座席列は、車内表示部４１Ａに隔てられる。言い換えると、車内表示部４１Ａにより、車室内の空間は、右側の空間と左側の空間とに仕切られる。車内表示部４１Ａは板状のディスプレイ装置であって、立設状態で車両前後方向に延設される。車内表示部４１Ａは、例えば通路９３の床から車室の天井に至るまで立設される。

【0027】

車内表示部４１Ａは、両面が表示面となっている。すなわち、車内表示部４１Ａは、それぞれ車室側方を向く（車窓に面する）、第一表示面４１Ａ１及びこれと背中合わせ（反対向き）となる第二表示面４１Ａ２を備える。後述されるようにこれらの表示面には仮想現実画像が表示される。また、第一表示面４１Ａ１及び第二表示面４１Ａ２の、車両前後方向の中央部には、フレーム部材９４が高さ方向に延設される。このフレーム部材９４には、ＡＲ表示装置３０の第一車内撮像器３３Ａ及び第二車内撮像器３３Ｂが設けられる。

【0028】

第一車内撮像器３３Ａは、破線で示されるように図３の視点からはフレーム部材９４の裏に隠れるように配置されており、車室内の第二表示面４１Ａ２側、つまり紙面右側の風景を撮像する。この撮像画像は第一表示面４１Ａ１に表示される。同様にして、第二車内撮像器３３Ｂは、車室内の第一表示面４１Ａ１側、つまり紙面左側の風景を撮像する。この撮像画像は第二表示面４１Ａ２に表示される。

【0029】

このようにして、紙面左側の乗客は、第一表示面４１Ａ１から、車室内の紙面右側の様子を見ることができる。同様にして、紙面右側の乗客は、第二表示面４１Ａ２から、車室内の紙面左側の様子を見ることができる。後述されるように、第一表示面４１Ａ１及び第二表示面４１Ａ２には、第一車内撮像器３３Ａ及び第二車内撮像器３３Ｂの撮像画像中の人物が仮想物体に置換された拡張現実画像が表示される。

【0030】

車両９０の車窓として、ＡＲ表示装置３０の車窓表示部４１Ｂが設けられる。つまり車両９０には、車窓としてガラス窓が設けられる代わりに、ディスプレイ装置である車窓表示部４１Ｂが設けられる。車窓表示部４１Ｂは、表示面が車室に向けられるように配置される。

【0031】

車窓表示部４１Ｂには、ＡＲ表示装置３０の車外撮像器３３Ｃ（図２参照）が撮像した撮像画像が表示される。つまり、車窓の風景は車外撮像器３３Ｃ及び車窓表示部４１Ｂを介して車室内に表示される。後述されるように、車窓表示部４１Ｂには、車外撮像器３３Ｃの撮像画像中の人物が仮想物体に置換された拡張現実画像が表示される。

【0032】

＜サーバの構成＞
本実施形態に係る表示システムは、ＡＲ表示装置３０及びサーバ７０を含んで構成される。図４には、ＡＲ表示装置３０及びサーバ７０のハードウェア構成が例示される。サーバ７０は、例えばコンピュータから構成される。またサーバ７０は、例えば複合娯楽施設１０の管理ビル内に設置される。サーバ７０は、無線ＬＡＮ等の通信手段によってＡＲ表示装置３０と無線接続される。

【0033】

サーバ７０は、キーボードやマウス等の入力部７１、演算装置のＣＰＵ７２、及びディスプレイ等の表示部７３を備える。またサーバ７０は記憶装置として、ＲＯＭ７４、ＲＡＭ７５及びハードディスクドライブ７６（ＨＤＤ）を備える。さらにサーバ７０は、情報の入出力を管理する入出力コントローラ７７を備える。これらの構成部品は内部バス７８に接続される。

【0034】

図５には、サーバ７０の機能ブロックが例示される。この機能ブロック図は、例えばＲＯＭ７４やＨＤＤ７６に記憶されるか、または、ＤＶＤ等の、非一過性の記憶媒体に記憶されたプログラムをＣＰＵ７２が実行することで構成される。

【0035】

サーバ７０は、ＡＲ表示装置３０等の外部機器の信号を受信する受信部８３を備える。またサーバ７０は、経路探索部８４、３Ｄモデル抽出部８５、及び送信部８６を備える。さらにサーバ７０は、記憶部として、施設マップ記憶部８１及びテーマパーク別キャラクタ記憶部８２を備える。

【0036】

施設マップ記憶部８１には、複合娯楽施設１０内の地図情報が記憶される。例えば連絡通路２０を含む複合娯楽施設１０内の通路や施設等の位置情報等が記憶される。

【0037】

テーマパーク別キャラクタ記憶部８２には、テーマパーク１２～１８別に設定されたキャラクタの情報が記憶される。キャラクタの情報とは、例えば各キャラクタの画像データであってよく、この画像データとは、３Ｄモデルデータであってよい。この３Ｄモデルデータには例えばキャラクタの形状データ、テクスチャデータ、及びモーションデータが含まれる。

【0038】

受信部８３は、ＡＲ表示装置３０から、車両９０の出発地となるテーマパーク（以下適宜、出発地パークと記載する）の情報を受信する。このテーマパークの情報とは、例えば出発地パークの名称のテキスト情報が含まれる。これを受けて経路探索部８４は、施設マップ記憶部８１を参照して、目的地となるテーマパーク（以下適宜、目的地パークと記載する）を選択する。例えば出発地パークから最寄りのテーマパーク、または最も遠いテーマパークが目的地テーマパークとなる。さらに経路探索部８４は、出発地パークから目的地パークまでの連絡通路２０上の経路（案内経路）を作成する。

【0039】

出発地パークの情報は、経路探索部８４の他に３Ｄモデル抽出部８５に送られる。出発地パークの情報に基づいて、３Ｄモデル抽出部８５は、テーマパーク別キャラクタ記憶部８２を参照して、出発地パークに対して設定されたキャラクタを抽出する。さらに３Ｄモデル抽出部８５は、この抽出されたキャラクタを出発地グループの仮想物体に設定する。

【0040】

経路探索部８４により求められた案内経路及び３Ｄモデル抽出部８５により抽出された出発地グループの仮想物体の画像データは、送信部８６を介してＡＲ表示装置３０に送信される。

【0041】

＜ＡＲ表示装置の構成＞
図１を参照して、ＡＲ表示装置３０は、車両９０の利用者（乗客）に対して、拡張現実画像（ＡＲ画像）を表示可能となっている。拡張現実画像とは、現実世界の風景に仮想物体の画像を重畳させた画像を指している。また上述したように、ＡＲ表示装置３０は車両９０に搭載され、利用者（乗客）とともに移動可能となっている。

【0042】

図４には、ＡＲ表示装置３０のハードウェア構成が例示される。例えばＡＲ表示装置３０は、カメラ等の撮像器が現実世界の風景を撮像し、表示部にその撮像画像を表示する、ビデオ透過型（Video See-Through）ディスプレイである。図４の例では、第一車内撮像器３３Ａ、第二車内撮像器３３Ｂ、及び車外撮像器３３Ｃが撮像器に該当する。また車内表示部４１Ａ及び車窓表示部４１Ｂが表示部に該当する。

【0043】

ＡＲ表示装置３０は、システムメモリ３１、ＣＰＵ３２（中央演算装置）、第一車内撮像器３３Ａ、第二車内撮像器３３Ｂ、車外撮像器３３Ｃ、ＧＰＳ受信器３４、入出力コントローラ３５、ストレージ３６、ＧＰＵ３７、フレームメモリ３８、ＲＡＭＤＡＣ３９、表示制御部４０、車内表示部４１Ａ、及び車窓表示部４１Ｂを備える。

【0044】

システムメモリ３１は、ＣＰＵ３２によって実行されるオペレーションシステム（ＯＳ）が使用する記憶装置である。ストレージ３６は、外部記憶装置であって、例えば後述する、仮想現実画像（ＡＲ画像）を表示させるためのプログラムが記憶される。

【0045】

第一車内撮像器３３Ａ、第二車内撮像器３３Ｂ、及び車外撮像器３３Ｃは、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成される。さらにこれらの撮像器３３Ａ～３３Ｃは、現実世界の撮像に加えて、各撮像器３３Ａ～３３Ｃからの離隔距離を測定する機能を備えた、いわゆるＲＧＢ－Ｄカメラであってよい。離隔距離を測定する機能として、例えば撮像器３３Ａ～３３Ｃには、上述した撮像デバイスに加えて、赤外線を用いた測距機構が設けられる。

【0046】

車内表示部４１Ａ及び車窓表示部４１Ｂは、例えば液晶ディスプレイ装置や有機ＥＬディスプレイ装置であってよい。

【0047】

ＧＰＵ３７（Graphics Processing Unit）は、画像処理用の演算装置であって、後述する画像認識を行う際に主に稼働される。フレームメモリ３８は、第一車内撮像器３３Ａ、第二車内撮像器３３Ｂ、及び車外撮像器３３Ｃにより撮像されさらにＧＰＵ３７により演算処理された画像を記憶する記憶装置である。ＲＡＭＤＡＣ３９（Random Access Memory Digital-to-Analog Converter）は、フレームメモリ３８に記憶された画像データを、車内表示部４１Ａ及び車窓表示部４１Ｂ向けのアナログ信号に変換する。

【0048】

ＧＰＳ受信器３４は、ＧＰＳ衛星２４（図１参照）から測位信号であるＧＰＳ信号を受信する。ＧＰＳ信号には、緯度、経度、高度の位置座標情報が含まれる。この位置座標情報を得ることで、車両９０の現在位置が把握できる。

【0049】

図６には、ＡＲ表示装置３０の機能ブロック図が例示される。この機能ブロック図は、例えばシステムメモリ３１やストレージ３６に記憶されるか、または、ＤＶＤやコンピュータのハードディスク等の、非一過性の記憶媒体に記憶された、位置推定プログラムをＣＰＵ３２やＧＰＵ３７が実行することで構成される。

【0050】

図６には、図４にも例示されたハードウェア構成の一部と、機能ブロックとが混在した状態で示される。図６にはハードウェア構成として、第一車内撮像器３３Ａ、第二車内撮像器３３Ｂ、車外撮像器３３Ｃ、表示制御部４０、車内表示部４１Ａ、及び車窓表示部４１Ｂが例示される。

【0051】

また機能ブロックとして、ＡＲ表示装置３０は、送信部５１、位置推定部５２、ナビゲーション機能部５３、受信部５４、画像認識部５７、仮想物体データ記憶部５５、置換割合記憶部５６、及び学習済みモデル記憶部５８を備える。これらの機能ブロックは、ＣＰＵ３２、システムメモリ３１、ストレージ３６、ＧＰＵ３７、及びフレームメモリ３８等から構成される。

【0052】

仮想物体データ記憶部５５には、サーバ７０の３Ｄモデル抽出部８５（図５参照）により抽出された、出発地グループのキャラクタの仮想物体の画像データ（３Ｄモデルデータ）が記憶される。

【0053】

置換割合記憶部５６には、図７に例示される置換割合マップが記憶される。置換割合マップは横軸に経路を取り、縦軸に置換割合を取るグラフである。このグラフには、出発地グループの仮想物体の置換割合を示す特性線Ｌ１がプロットされる。なお、出発地グループとは、出発地パークに対して設定された複数の仮想物体群（キャラクタ群）を指す。

【0054】

置換割合とは、画像認識部５７によって認識された全ての人物の画像領域に対する、仮想物体に置換する人物の画像領域の割合を示すものである。この置換割合は、例えば出発地パークに車両９０がいるときを１００％とする。つまり、出発地パークにおいては、画像認識部５７によって認識された全ての人物の画像領域が出発地グループの仮想物体に置換される。

【0055】

置換割合は、出発地パークから離隔するほど減少する。さらに目的地パークにおいては、画像認識部５７によって認識されたいずれの人物の画像領域も、仮想物体には置換されない。つまり置換割合は０％となる。このような置換割合を設定することで、出発地パークから離れるほど、乗客を見送る当該テーマパークのキャラクタが減少するといった演出が可能となる。

【0056】

学習済みモデル記憶部５８には、例えば、外部のサーバ等によって学習済みの画像認識用のニューラルネットワークが記憶される。例えば車室内外の画像データであって、画像内の各物体、特に人物のセグメント済み及びアノテーション済みのデータが、訓練用データとして準備される。この訓練用データを用いて、教師有り学習により機械学習された多階層のニューラルネットワークが形成され、学習済みモデル記憶部５８に記憶される。このニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ）であってよい。

【0057】

画像認識部５７は、第一車内撮像器３３Ａ、第二車内撮像器３３Ｂ、及び車外撮像器３３Ｃによる撮像画像データを受信して画像認識を行う。画像認識には、撮像画像中の物体の認識と、当該物体とＡＲ表示装置３０との離隔距離の推定が含まれる。このような画像認識に当たり、撮像画像データには例えば上述したように、現実世界の風景を撮像したカラー画像データに加えて、当該カラー画像データ内の各物体の、各撮像器３３Ａ～３３Ｃからの離隔距離データが含まれる。

【0058】

画像認識部５７は、学習済みモデル記憶部５８に記憶された学習済みの画像認識用のニューラルネットワークを用いて、第一車内撮像器３３Ａ、第二車内撮像器３３Ｂ、及び車外撮像器３３Ｃによる撮像画像に人物が含まれるか否かを判定する。画像認識部５７が認識した、撮像画像中の人物画像領域は他の画像領域から区別（セグメンテーション）される。このような加工済みの撮像画像が表示制御部４０に送られる。

【0059】

表示制御部４０は、画像認識部５７から加工済み（人物認識済み）の撮像画像データを受ける他に、位置推定部５２から現在位置情報を取得する。また表示制御部４０は、ナビゲーション機能部５３から目的地パークまでの案内経路情報を取得する。さらに表示制御部４０は、仮想物体データ記憶部５５から出発地グループの仮想物体データの画像データ（３Ｄモデルデータ）を取得し、また置換割合記憶部５６から置換割合マップを取得する。

【0060】

表示制御部４０は、位置推定部５２から提供された現在位置と、ナビゲーション機能部５３から提供された案内経路情報をもとに、現在位置に対応する置換割合マップにおける置換割合を取得する。さらに表示制御部４０は、取得した置換割合に基づいて人物の画像領域と仮想物体との置換処理を行う。置換後の画像、つまり拡張現実画像は車内表示部４１Ａ及び車窓表示部４１Ｂに表示される。

【0061】

＜出発地グループの仮想物体が表示される拡張現実画像表示プロセス＞
図８には、本実施形態に係る表示システムによる、拡張現実画像表示の様子が例示される。この図では、仮想物体画像１０２が現実世界の撮像画像に重畳された仮想現実画像が、第一表示面４１Ａ１及び車窓表示部４１Ｂに表示される。なお、図示を明確にするために、仮想物体画像１０２は平面的な輪郭線図で示されるが、この形態に限らずに、仮想物体画像１０２は３Ｄ画像であってよい。

【0062】

図９には、本実施形態に係る表示システムによる拡張現実画像表示プロセスのうち、特に初期設定時のフローチャートが例示される。このフローチャートでは、主にサーバ７０により実行される処理が（Ｓ）で表され、主に車両９０のＡＲ表示装置３０により実行される処理が（Ｄ）で表される。

【0063】

図９に例示されるフローは、車両９０がいずれかのテーマパーク１２～１８に到着したとき、言い換えると、いずれかのテーマパーク１２～１８を出発地とするときに起動される。例えば図１を参照して、車両９０が各テーマパーク１２～１８前の停留所９５に停車した際に、このフローが起動される。

【0064】

車両９０のＡＲ表示装置３０では、位置推定部５２（図６参照）が現在位置を推定し、車両９０が停車しているテーマパーク１２～１８、つまり出発地テーマパークの情報を、送信部５１からサーバ７０に送信する（Ｓ１０）。出発地テーマパークの情報には、例えば出発地テーマパークのテキスト情報が含まれる。

【0065】

サーバ７０の受信部８３（図５参照）が出発地テーマパークの情報を受信すると、当該情報は経路探索部８４及び３Ｄモデル抽出部８５に送信される。経路探索部８４は、施設マップ記憶部８１に記憶されたパークマップデータを参照して、目的地パークを設定する（Ｓ１２）。目的地テーマパークは、例えば出発地テーマパークから最寄りのテーマパーク１２～１８であってよく、また出発地テーマパークから最も離れたテーマパーク１２～１８であってもよい。

【0066】

次に経路探索部８４は、出発地テーマパークから目的地テーマパークまでの連絡通路２０（図１参照）上の経路である案内経路を作成する。作成された案内経路は送信部８６を介してＡＲ表示装置３０に送信される（Ｓ１４）。

【0067】

一方、出発地テーマパークの情報を受けた３Ｄモデル抽出部８５は、テーマパーク別キャラクタ記憶部８２を参照して、出発地パークに対して設定されたキャラクタを表示用仮想物体に設定する。出発地パークに対して予め設定されているキャラクタが複数いる場合には、例えばその複数のキャラクタの全てが、出発地グループのキャラクタ（仮想物体）として選出される。表示用仮想物体に設定された、出発地グループのキャラクタを示す仮想物体の３Ｄモデルデータは、送信部８６を介してＡＲ表示装置３０に送られる（Ｓ１６）。

【0068】

案内経路の情報と表示用仮想物体の３Ｄモデルデータを受信したＡＲ表示装置３０の受信部５４は、ナビゲーション機能部５３に案内経路情報を送る。また受信部５４は、仮想物体データ記憶部５５に表示用仮想物体の３Ｄモデルデータを送る（Ｓ１８）。

【0069】

図１０には、上記の初期設定後の、拡張現実画像の表示プロセスのフローチャートが例示される。このフローチャートでは、全ての処理（ステップ）が、ＡＲ表示装置３０により実行される。なおこのフローチャートは、出発地パークから目的地パークに到着するまで繰り返し実行される。画像認識部５７は、第一車内撮像器３３Ａ、第二車内撮像器３３Ｂ、及び車外撮像器３３Ｃから撮像画像を取得する（Ｓ２０）。

【0070】

さらに画像認識部５７は、撮像画像に対して画像認識を行う（Ｓ２２）。この画像認識において、画像認識部５７は、撮像画像中の人物を認識する（Ｓ２４）。例えば学習済みモデル記憶部５８には、着席状態の人物画像や、歩行中の人物画像の教師データが記憶されており、当該教師データによって学習済みのニューラルネットワークが画像認識部５７による画像認識に使用される。

【0071】

撮像画像中に人物が含まれないと認識されると、図１０のフローは始点まで戻り、車内表示部４１Ａ及び車窓表示部４１Ｂには現実世界の撮像画像が表示される。一方、撮像画像中に人物が含まれると認識されると、画像認識部５７は、撮像画像中の人物画像領域を区分けするセグメンテーションを実行するとともに、当該画像領域が人物を示すと解釈するアノテーションを実行する。この、画像認識処理された撮像画像は表示制御部４０に送信される。

【0072】

表示制御部４０は、置換割合記憶部５６から置換割合マップ（図７参照）を取得する。さらに表示制御部４０はナビゲーション機能部５３から案内経路情報を取得するとともに、位置推定部５２から車両９０の現在位置を取得する。

【0073】

さらに表示制御部４０は、現在位置に基づいて、置換割合を求める。例えば表示制御部４０は、出発地パークから目的地パークまでの距離に対する、出発地パークから現在位置まで進んだ距離の比を求めて、当該比に対応する置換割合を、置換割合マップから取得する（Ｓ２６）。

【0074】

次に表示制御部４０は、画像認識部５７によって人物を認識された複数の画像領域のうち、仮想物体の画像に置換する画像領域を、置換割合に基づいて選択する（Ｓ２８）。また表示制御部４０は、出発地グループから、置換する仮想物体を選択する（Ｓ３０）。仮想物体データ記憶部５５に記憶された、出発地グループの仮想物体が複数種類に亘る場合、表示制御部４０は、例えば任意に仮想物体のキャラクタを選択する。

【0075】

または、時間帯に応じて、置換させる仮想物体のキャラクタが選択されてもよい。例えば表示制御部４０は、現在時刻を確認して、日中であれば昼行性の動物のキャラクタを、置換させる仮想物体として選択する。このような時間帯に応じたキャラクタの選択を行うことで、動物の現実の生態に即した演出が可能となる。

【0076】

さらに表示制御部４０は、選択された人物の画像領域を出発地パークのキャラクタの仮想物体画像に置換する（Ｓ３２）。

【0077】

図１１にはこの画像置換のプロセスが例示される。乗客画像領域１０１が撮像画像から削除され、当該削除領域に仮想物体画像１０２が挿入される。このとき、例えば座席の手摺の一部が仮想物体（ペンギン）の右手に隠されるなどの、いわゆる隠蔽処理が行われてもよい。

【0078】

また、乗客画像領域１０１と仮想物体画像１０２は形状及び面積が同一でないため、仮想物体画像を撮像画像に挿入しても画像の抜け部分が生じる。そこで表示制御部４０は基礎画像１０３から抜け部分を埋める背景画像１０４（ハッチングで表示される）を抜き出して、加工中の撮像画像に挿入する。基礎画像１０３は例えば乗客のいない状態の車内や連絡通路２０の撮像画像であって、ＡＲ表示装置３０の記憶部に記憶される。

【0079】

表示制御部４０は、上記のようにして形成された、人物が出発地パークのキャラクタに置換された拡張現実画像を、車内表示部４１Ａ及び車窓表示部４１Ｂに表示させる（Ｓ３４）。このように、本実施形態に係る表示システムによれば、出発地のテーマパークに対して設定されたキャラクタが仮想現実画像に表示されるので、テーマパークの退出後にも、その世界観に基づいたサービスを提供可能となる。

【0080】

＜出発地及び目的地グループの仮想物体が表示される拡張現実画像表示プロセス＞
上述した拡張現実画像表示プロセスでは、出発地グループの仮想物体が現実世界の画像に重畳されていたが、これに加えて目的地パークに対して設定された仮想物体のグループ（以下適宜目的地グループと記載する）の仮想物体を現実世界の画像に重畳させてもよい。

【0081】

例えば図１２には、出発地パークが水族館であり、目的地パークが動物園に設定されたときの、現実拡張画像の表示例が示される。この図では、車内表示部４１Ａの第一表示面４１Ａ１には出発地グループの仮想物体画像１０２（ペンギン）が表示されているのに対して、車窓表示部４１Ｂには目的地グループの仮想物体画像１０５（クマ）が示される。このような、出発地グループの仮想物体の画像データ、及び目的地グループの仮想物体の画像データは、サーバ７０のテーマパーク別キャラクタ記憶部８２に記憶される。

【0082】

このような仮想物体の表示を行うに当たり、置換割合記憶部５６には、図１３に例示されるような置換割合マップが記憶される。このマップでは、図７にも示された出発地グループの仮想物体の置換割合を示す特性線Ｌ１に加えて、目的地グループの仮想物体の置換割合を示す特性線Ｌ２がプロットされる。例えば、特性線Ｌ１，Ｌ２によって得られる置換割合は、どの地点においても総和が１００％となるように設定されていてよい。

【0083】

特性線Ｌ２では、例えば出発地パークにおける置換割合が０％に設定され、目的地パークにおける置換割合が１００％に設定される。またこれらの間は目的地パークに向かって一次関数的に増加する。

【0084】

この特性線Ｌ２によれば、画像認識部５７によって認識された全ての人物の画像領域に対する、目的地グループの仮想物体に置換する人物の画像領域の割合（置換割合）は、目的地パークに近づくほど増加する。このような置換割合を設定することで、目的地パークに近づくほど、乗客を迎える当該テーマパークのキャラクタが増加するといった演出が可能となる。

【0085】

図１４には、図１３に示される置換割合マップを用いた場合の、拡張現実画像表示プロセスのうち、特に初期設定時のフローチャートが例示される。なお以下では、図９に示されたステップと同一符号のステップについては、内容が同一であるため、適宜説明が省略される。

【0086】

このフローでは、サーバ７０（図５参照）において、経路探索部８４は、案内経路情報を、送信部８６に加えて３Ｄモデル抽出部８５にも送信する。３Ｄモデル抽出部８５は、出発地グループの仮想物体を選択する（Ｓ１６）とともに、目的地グループの仮想物体を選択する（Ｓ１７）。選択された出発地グループ及び目的地グループの仮想物体の画像データは、送信部８６からＡＲ表示装置３０の受信部５４を経て、仮想物体データ記憶部５５に記憶される。

【0087】

図１５には、上記の初期設定後の、拡張現実画像の表示プロセスのフローチャートが例示される。なお以下では、図１０に示されたステップと同一符号のステップについては、内容が同一であるため、説明が適宜省略される。

【0088】

ステップＳ２４において、画像認識部５７（図６参照）が、第一車内撮像器３３Ａ、第二車内撮像器３３Ｂ、及び車外撮像器３３Ｃによる撮像画像中に、人物を認識する（Ｓ２４）と、表示制御部４０は、現在位置に基づいて、出発地グループ及び目的地グループの置換割合を求める（Ｓ４６）。さらにステップＳ２８にて、それぞれの置換割合に基づいて、仮想物体の画像に置換する画像領域が選択されると、表示制御部４０は、出発地グループ及び目的地グループから、置換する仮想物体を選択する（Ｓ５０）。上述したように、仮想物体データ記憶部５５に記憶された、出発地グループ及び目的地グループの仮想物体が複数種類に亘る場合、表示制御部４０は、時間帯に応じて仮想物体（キャラクタ）を選択してもよい。

【0089】

＜表示装置単体で表示システムが構築される例＞
上述の実施形態では、ＡＲ表示装置３０とサーバ７０とによって表示システムが構成されていたが、本明細書にて開示される表示システムは、この形態に限られない。例えばサーバ７０の機能がＡＲ表示装置３０に搭載されてもよい。

【0090】

上述の実施形態において、サーバ７０の主な役割は、出発地パークに基づいて目的地パークを定め、案内経路を作成することと、出発地パークと目的地パークに基づいた仮想物体のグループを抽出することであった。

【0091】

ここで例えば、車両９０の運行が、図１６に例示されるような循環運行であって、予め出発地と目的地が定められている（固定値として設定されている）ような場合には、サーバ７０に目的地を選択させる必要は無い。したがって、仮想現実画像の表示プロセス、特に図９、図１４の初期設定において、一部の処理（ステップ）をサーバ７０に実行させる代わりに、ＡＲ表示装置３０が全ての処理を実行してもよい。

【0092】

図１７には、単体にて（サーバ７０無しにて）拡張現実画像の表示が可能な、ＡＲ表示装置３０の機能ブロックが例示されている。図５、図６と比較して、サーバ７０に設けられていた、テーマパーク別キャラクタ記憶部８２と施設マップ記憶部８１が、ＡＲ表示装置３０に設けられる。これにより、例えば図９、図１４のような初期設定フローでは、全ての処理（ステップ）をＡＲ表示装置３０にて実行することが出来る。また初期設定後、図１０、図１５に例示された拡張現実画像の表示フローでは、ＡＲ表示装置３０単体にて全ての処理（ステップ）を実行することができる。なおこの場合、サーバ７０の３Ｄモデル抽出部８５（図５）の機能は、ＡＲ表示装置３０の表示制御部４０が担うことが出来る。

【符号の説明】

【0093】

１０ 複合娯楽施設、１２ アスレチックパーク、１４ 遊園地、１６ 水族館、１８ 動物園、２０ 連絡通路、３０ ＡＲ表示装置、３３Ａ 第一車内撮像器（第一撮像器）、３３Ｂ 第二車内撮像器（第二撮像器）、３３Ｃ 車外撮像器、４０ 表示制御部、４１Ａ 車内表示部、４１Ａ１ 第一表示面、４１Ａ２ 第二表示面、４１Ｂ 車窓表示部、５２ 位置推定部、５３ ナビゲーション機能部、５５ 仮想物体データ記憶部、５６ 置換割合記憶部、５７ 画像認識部、５８ 学習済みモデル記憶部、７０ サーバ、８１ 施設マップ記憶部、８２ テーマパーク別キャラクタ記憶部、８３ サーバの受信部、８４ 経路探索部、８５ ３Ｄモデル抽出部、８６ サーバの送信部、９０ 車両、９２ 座席、９３ 通路、９４ フレーム部材、１０１ 乗客画像領域、１０２，１０５ 仮想物体画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】