特許 7556773 表示システム、表示装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-17

(45)【発行日】2024-09-26

(54)【発明の名称】表示システム、表示装置、及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240918BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 6

(21)【出願番号】P 2020211166

(22)【出願日】2020-12-21

(65)【公開番号】P2022097911

(43)【公開日】2022-07-01

【審査請求日】2023-10-04

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(73)【特許権者】

【識別番号】000241500

【氏名又は名称】トヨタ紡織株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】小森谷 一記

(72)【発明者】

【氏名】芹澤 和実

(72)【発明者】

【氏名】石川 さやか

(72)【発明者】

【氏名】谷森 俊介

(72)【発明者】

【氏名】三浦 正哉

(72)【発明者】

【氏名】田村 康司

(72)【発明者】

【氏名】日比野 清栄

(72)【発明者】

【氏名】向 里菜

(72)【発明者】

【氏名】稲垣 智也

(72)【発明者】

【氏名】狄 勤莉

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０２０－１７３６９９（ＪＰ，Ａ）

【文献】特開２０２０－０４０４２５（ＪＰ，Ａ）

【文献】特開２００９－２８９０３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

遠隔地で撮像された画像から人物画像を認識する画像認識部と、
前記人物画像に装飾画像を重畳可能であるとともに、現実世界の風景に装飾済みの前記人物画像を重畳させた拡張現実画像を生成可能な表示制御部と、
前記拡張現実画像を表示可能な表示部と、
自身の位置を取得する位置情報取得部と、
を備える表示装置と、
複数種類の前記装飾画像が記憶された記憶部と、
前記位置情報取得部にて取得された位置に基づいた前記装飾画像を、前記人物画像に重畳させる前記装飾画像として前記記憶部から抽出する抽出部と、
を備える、前記表示装置と通信可能なサーバと、
を備える表示システム。

【請求項2】

請求項１に記載の表示システムであって、
前記表示装置は、特定のテーマに基づいて構成される施設内に配置され、
前記記憶部には、前記施設内のキャラクタとして定められたキャラクタ画像が、前記装飾画像として記憶される、
表示システム。

【請求項3】

請求項２に記載の表示システムであって、
前記施設内の機器には撮像可能な識別子が表示され、
前記表示装置は前記施設内を撮像可能な撮像器を備え、
前記画像認識部が、前記撮像器が撮像した施設内撮像画像中に前記識別子を認識したときに、前記表示制御部は、前記識別子を含む画像領域を、前記装飾済みの前記人物画像の重畳領域に設定する、
表示システム。

【請求項4】

請求項３に記載の表示システムであって、
前記施設内での通話が可能な第一通話器と、
前記遠隔地にて前記第一通話器との通話が可能な第二通話器と、
を備える表示システム。

【請求項5】

遠隔地で撮像された画像から人物画像を認識する画像認識部と、
前記人物画像に装飾画像を重畳可能であるとともに、現実世界の風景に装飾済みの前記人物画像を重畳させた拡張現実画像を生成可能な表示制御部と、
前記拡張現実画像を表示可能な表示部と、
自身の位置を取得する位置情報取得部と、
複数種類の前記装飾画像が記憶された記憶部と、
前記位置情報取得部にて取得された位置に基づいた前記装飾画像を、前記人物画像に重畳させる前記装飾画像として前記記憶部から抽出する抽出部と、
を備える、表示装置。

【請求項6】

コンピュータを、
遠隔地で撮像された画像から人物画像を認識する画像認識部と、
前記人物画像に装飾画像を重畳可能であるとともに、現実世界の風景に装飾済みの前記人物画像を重畳させた拡張現実画像を生成可能な表示制御部と、
前記拡張現実画像を表示可能な表示部と、
自身の位置を取得する位置情報取得部と、
複数種類の前記装飾画像が記憶された記憶部と、
前記位置情報取得部にて取得された位置に基づいた前記装飾画像を、前記人物画像に重畳させる前記装飾画像として前記記憶部から抽出する抽出部と、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、拡張現実（ＡＲ、Augmented Reality）画像を表示する表示システム、表示装置、及びプログラムが開示される。

【0002】

従来から、拡張現実技術を用いた表示装置が知られている。例えば特許文献１では、玩具であるアクションフィギュア等の現実物体（現実オブジェクト）が、アニメーション付きの仮想アクションフィギュア等の仮想物体（仮想オブジェクト）に置換された拡張現実画像が表示される。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１６－５２２４８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上記のような拡張現実技術を用いて、遠隔コミュニケーションが可能となっている。例えばテーマパークなどの施設において、当該施設の撮像画像に遠隔地の人物画像を重畳表示させ、あたかも遠隔地の人物がその施設を周遊しているかのような演出が、拡張現実技術を用いて可能となる。

【0005】

本明細書では、周囲の世界観に沿った拡張現実画像の表示が可能な、表示システム、表示装置、及びプログラムが開示される。

【課題を解決するための手段】

【0006】

本明細書では、表示システムが開示される。当該表示システムは、表示装置及びサーバを備える。表示装置は、画像認識部、表示制御部、表示部、及び位置情報取得部を備える。画像認識部は、遠隔地で撮像された画像から人物画像を認識する。表示制御部は、人物画像に装飾画像を重畳可能であるとともに、現実世界の風景に装飾済みの人物画像を重畳させた拡張現実画像を生成可能となっている。表示部は、拡張現実画像を表示可能となっている。位置情報取得部は、自身の位置を取得する。サーバは、記憶部及び抽出部を備える。記憶部には、複数種類の装飾画像が記憶される。抽出部は、位置情報取得部にて取得された位置に基づいた装飾画像を、人物画像に重畳させる装飾画像として記憶部から抽出する。

【0007】

上記構成によれば、遠隔地の人物画像が表示装置の位置に基づいて装飾された仮想画像が、表示部に重畳可能となる。これにより、表示装置が所在する施設等の世界観に沿って遠隔地の人物画像が装飾されるという演出が可能となる。

【0008】

また上記構成において、表示装置は、特定のテーマに基づいて構成される施設内に配置されてよい。この場合、記憶部には、施設内のキャラクタとして定められたキャラクタ画像が、装飾画像として記憶される。

【0009】

上記構成によれば、遠隔地の人物が施設内のキャラクタに扮する演出が可能となる。

【0010】

また上記構成において、施設内の機器には撮像可能な識別子が表示されてよい。この場合、表示装置は施設内を撮像可能な撮像器を備える。また画像認識部が、撮像器が撮像した施設内撮像画像中に識別子を認識したときに、表示制御部は、識別子を含む画像領域を、装飾済みの人物画像の重畳領域に設定する。

【0011】

上記構成によれば、施設内撮像画像中における、遠隔地の人物画像の重畳領域が定められるので、例えば空中に人物画像が重畳されるような、不自然な重畳が抑制される。

【0012】

また上記構成において、表示システムは、施設内での通話が可能な第一通話器と、遠隔地にて第一通話器との通話が可能な第二通話器とを備えてもよい。

【0013】

上記構成によれば、現実拡張画像に重畳された人物との会話が施設内で可能となる。

【0014】

また本明細書では表示装置が開示される。この表示装置は、画像認識部、表示制御部、表示部、位置情報取得部、記憶部、及び抽出部を備える。画像認識部は、遠隔地で撮像された画像から人物画像を認識する。表示制御部は、人物画像に装飾画像を重畳可能であるとともに、現実世界の風景に装飾済みの人物画像を重畳させた拡張現実画像を生成可能となっている。表示部は、拡張現実画像を表示可能となっている。位置情報取得部は、自身の位置を取得する。記憶部には、複数種類の装飾画像が記憶される。抽出部は、位置情報取得部にて取得された位置に基づいた装飾画像を、人物画像に重畳させる装飾画像として記憶部から抽出する。

【0015】

また本明細書ではプログラムが開示される。このプログラムは、コンピュータを、画像認識部、表示制御部、表示部、位置情報取得部、記憶部、及び抽出部として機能させる。画像認識部は、遠隔地で撮像された画像から人物画像を認識する。表示制御部は、人物画像に装飾画像を重畳可能であるとともに、現実世界の風景に装飾済みの人物画像を重畳させた拡張現実画像を生成可能となっている。表示部は、拡張現実画像を表示可能となっている。位置情報取得部は、自身の位置を取得する。記憶部には、複数種類の装飾画像が記憶される。抽出部は、位置情報取得部にて取得された位置に基づいた装飾画像を、人物画像に重畳させる装飾画像として記憶部から抽出する。

【発明の効果】

【0016】

本明細書で開示される表示システム、表示装置、及びプログラムによれば、周囲の世界観に沿った拡張現実画像の表示が可能となる。

【図面の簡単な説明】

【0017】

【図1】本実施形態に係る表示システムが利用される複合娯楽施設及びその遠隔地である家屋を例示する図である。

【図2】複合娯楽施設内を走行可能な車両の内部を例示する図である。

【図3】本実施形態に係る表示システムに含まれる各機器のハードウェア構成を例示する図である。

【図4】本実施形態に係る表示システムの機能ブロックを例示する図である。

【図5】本実施形態に係る表示システムによる表示制御フローを例示する図である。

【図6】現実世界画像に遠隔人物画像が重畳された例を示す図である。

【図7】装飾処理が施された遠隔人物画像が現実世界画像に重畳された例を示す図である。

【図8】表示装置の別例として、ヘッドマウントディスプレイを例示する図である。

【図9】表示装置の機能ブロックの別例として、サーバの機能を包含させた例を示す図である。

【発明を実施するための形態】

【0018】

図１には、本実施形態に係る表示システムが利用される、複合娯楽施設１０及び当該施設に対して遠隔地に設置された家屋９２が例示される。

【0019】

＜複合娯楽施設の構成＞
複合娯楽施設１０には、複数のテーマパーク１４～１８が設けられる。テーマパークとは、特定のテーマ（主題）に基づいて世界観が構成され、当該世界観に基づいて、設備、イベント、景観などが総合的に構成され演出された施設を指す。例えばテーマパーク１４～１８は、連絡通路２０Ａにより接続されており、利用者はこの連絡通路２０Ａを介してそれぞれのテーマパーク１４～１８の往来が可能となっている。

【0020】

複合娯楽施設１０は、それぞれテーマの異なるテーマパークが設けられる。例えば複合娯楽施設１０には、テーマパークとして、遊園地１４、水族館１６、及び動物園１８が設けられる。

【0021】

それぞれのテーマパーク１４～１８は、それぞれのテーマに基づいて、キャラクタが設定される。キャラクタは、それぞれのテーマパーク１４～１８のテーマ及び世界観に沿ったものに設定される。例えば遊園地１４では、ピエロ、ゴーカート等のキャラクタが設定される。例えば水族館１６では、イルカ、金魚、サメ等のキャラクタが設定される。さらに例えば動物園１８では、象、ライオン、パンダ等のキャラクタが設定される。

【0022】

これらのキャラクタの画像（以下適宜、キャラクタ画像と記載される）は、後述されるように、遠隔地で撮像された人物画像に対して装飾を施す装飾画像として利用される。テーマパーク１４～１８のキャラクタ画像データは、各テーマパーク１４～１８の識別記号と関連付けられた状態で、サーバ７０（図４参照）の装飾画像記憶部８２に記憶される。サーバ７０は例えば複合娯楽施設１０内に設けられた管理者用のビル（図示せず）に設置される。装飾画像記憶部８２に記憶されるキャラクタ画像データの詳細は後述される。

【0023】

それぞれのテーマパーク１４～１８には、園内通路２０Ｂ～２０Ｄが設けられる。園内通路２０Ｂ～２０Ｄは連絡通路２０Ａと接続され、これらの通路を車両９０が走行可能となっている。

【0024】

図２には、車両９０の内部の様子が例示される。車両９０は例えば小型のいわゆる低速移動体（モビリティ）であってよく、４人乗りや６人乗り等の、家族単位での乗車が可能となっている。車両９０の内部には、撮像器３５Ｃが設けられる。撮像器３５Ｃは、複合娯楽施設１０内の風景を撮像可能であって、後述されるように遠隔地に置かれた表示装置３０Ｂ（図１参照）に、その撮像画像を表示可能となっている。撮像器３５Ｃの詳細は後述される。

【0025】

複合娯楽施設１０の、連絡通路２０Ａ及び園内通路２０Ｂ～２０Ｄに沿って、ビーコンの発信器２２が設けられる。発信器２２は例えば等間隔に複数個設けられる。後述されるように、この発信器２２からの信号を表示装置３０Ａのビーコン受信器３７（図３参照）が受信することで、表示装置３０Ａの現在位置が取得可能となる。

【0026】

複合娯楽施設１０とは離隔された遠隔地の家屋９２内に、表示装置３０Ｂ及び撮像器３５Ｂが配置される。表示装置３０Ｂ及び撮像器３５Ｂは例えば家屋９２内の人物９４により操作される。なお、撮像器３５Ｂ及び表示装置３０Ｂは、遠隔地の人物９４によって操作可能で、また表示装置３０Ａや撮像器３５Ｃとの通信が可能な環境にあればよく、例えば家屋９２に配置される代わりに屋外に配置されてもよい。

【0027】

以下に詳述されるように、本実施形態に係る表示システムは、複合娯楽施設１０の来場者が所持する表示装置３０Ａに、遠隔地の人物９４の画像を表示させるものである。例えば複合娯楽施設１０の来場者として家族が含まれ、また遠隔地の人物９４として、その家族に含まれ遠隔地に赴任中の保護者や、移動の困難な高齢の近親者等が含まれる。

【0028】

さらに本実施形態に係る表示システムは、表示装置３０Ａに遠隔地の人物９４の画像を表示させるに当たり、当該人物画像に装飾画像を重畳させる画像処理が実行される。この装飾画像として、表示装置３０Ａが所在するテーマパーク１４～１８に対して設定されたキャラクタ画像が抽出される。

【0029】

＜表示システムの各機器の構成＞
図３には、本実施形態に係る表示システムに含まれる機器のハードウェア構成が例示される。本実施形態に係る表示システムは、表示装置３０Ａ，３０Ｂ、撮像器３５Ｂ，３５Ｃ、及びサーバ７０を含んで構成される。

【0030】

なお、遠隔地の人物９４の画像が装飾画像により装飾され、装飾後の画像が、現実世界の風景である複合娯楽施設１０の風景に重畳されるとの機能に着目すれば、表示システムは少なくとも表示装置３０Ａ、撮像器３５Ｂ、及びサーバ７０を備えていればよい。

【0031】

＜表示装置３０Ｂの構成＞
表示装置３０Ｂは、遠隔地の人物９４（図１参照）によって操作、利用される。表示装置３０Ｂは例えばスマートフォンであってよい。表示装置３０Ｂは、演算装置のＣＰＵ３１Ｂ、記憶装置のシステムメモリ４０Ｂ及びストレージデバイス４１Ｂを備える。

【0032】

また表示装置３０Ｂは、表示部４６Ｂと当該表示部４６Ｂへの表示画像を制御する表示制御部４５Ｂを備える。さらに表示装置３０Ｂは、情報入力を行う入力部４７Ｂを備える。例えば入力部４７Ｂと表示部４６Ｂとが一体化されたタッチパネルディスプレイが表示装置３０Ｂに設けられる。また表示装置３０Ｂには、遠隔地にて表示装置３０Ａとの通話が可能な通話器３２Ｂ（第二通話器）が設けられる。さらに表示装置３０Ｂは、情報の入出力を管理する入出力コントローラ３９Ｂを備える。

【0033】

表示装置３０Ｂは、図示しない通信回線及び通信事業者の基地局等を経由して、表示装置３０Ａと無線通信可能となっている。通信されるデータは、例えば遠隔地の人物９４から通話器３２Ｂに発せられる音声データが含まれる。

【0034】

撮像器３５Ｂは、表示装置３０Ｂの近傍に配置され、遠隔地の人物９４にて操作可能となっている。撮像器３５Ｂは例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成され、静止画及び動画を撮像可能となっている。

【0035】

撮像器３５Ｂは遠隔地の人物９４を含む現実世界の風景を撮像可能となっている。例えば遠隔地の人物９４の全身像を視野内に収めるために、撮像器３５Ｂは人物９４から所定の距離離隔される。

【0036】

さらに撮像器３５Ｂは、現実世界の撮像機能に加えて、被写体の撮像器３５Ｂからの離隔距離を測定する機能を備えた、いわゆるＲＧＢ－Ｄカメラであってよい。離隔距離を測定する機能として、例えば撮像器３５Ｂには、上述した撮像デバイスに加えて、赤外線を用いた測距機構が設けられる。

【0037】

撮像器３５Ｂは通信回線と接続され、遠隔地の人物９４を含む画像（以下適宜、遠隔地撮像画像と記載される）のデータは、表示装置３０Ａに送信される。これを受けて、表示装置３０Ａの表示部４６Ａには、遠隔地の人物画像１００（図６参照）が表示可能となる。

【0038】

＜撮像器３５Ｃの構成＞
撮像器３５Ｃは、複合娯楽施設１０内に配置される。撮像器３５Ｃは、撮像器３５Ｂと同様に、ＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成され、静止画及び動画を撮像可能となっている。また撮像器３５Ｃは、赤外線を用いた測距機構が設けられる。

【0039】

図２には、複合娯楽施設１０内を走行する車両９０内に撮像器３５Ｃが配置された例が示される。撮像器３５Ｃは車内の座席９１、より詳しくはその座面に配置される。撮像器３５Ｃは、複合娯楽施設１０の来場者によって携帯される携帯型の機器であってもよい。この場合、撮像器３５Ｃは、いわゆる分身ロボットであってよい。また撮像器３５Ｃは、座席９１に固定された据え置き型の機器であってもよい。

【0040】

撮像器３５Ｃは、図示しない通信回線及び通信事業者の基地局等を経由して、遠隔地の表示装置３０Ｂと無線通信可能となっており、撮像された静止画像データまたは動画データが表示装置３０Ｂに送られる。

【0041】

図２を参照して、撮像器３５Ｃは、配置面（座面）に対して垂直に回転軸が設けられ、当該回転軸周りに首振り可能となっている。例えば遠隔地の表示装置３０Ｂの入力部４７Ｂ（図３参照）から操作信号を受信すると、当該信号に応じて首振りが行われ撮像器３５Ｃの視野が変化する。これにより遠隔地の人物９４は、複合娯楽施設１０内の所望の風景を、表示装置３０Ｂを介して観ることが出来る。

【0042】

また撮像器３５Ｃには、撮像可能な識別子であるＡＲマーカ３５Ｃ１が表示される。ＡＲマーカ３５Ｃ１は撮像器３５Ｃの表面に印刷される。ＡＲマーカ３５Ｃ１は拡張現実画像を表示させる際の識別子であって、例えば重畳させる仮想画像の表示領域を示す。例えば車両９０内を撮像したときに、ＡＲマーカ３５Ｃ１を含む画像領域が、仮想画像の重畳領域に設定される。

【0043】

このように、複合娯楽施設１０内に識別子であるＡＲマーカ３５Ｃ１が撮像可能な状態で表示されることで、遠隔地の人物画像１００（図６参照）の重畳領域が設定可能となる。例えば座席９１に遠隔地の人物９４が座っているかのような演出が可能となる。

【0044】

＜サーバの構成＞
図３を参照して、サーバ７０は、例えばコンピュータから構成され、例えば複合娯楽施設１０（図１参照）の管理ビル内に設置される。またサーバ７０は、無線ＬＡＮ等の通信手段によって表示装置３０Ａと無線接続される。

【0045】

サーバ７０は、キーボードやマウス等の入力部７１、演算装置のＣＰＵ７２、及びディスプレイ等の表示部７３を備える。またサーバ７０は記憶装置として、ＲＯＭ７４、ＲＡＭ７５及びハードディスクドライブ７６（ＨＤＤ）を備える。さらにサーバ７０は、情報の入出力を管理する入出力コントローラ７７を備える。これらの構成部品は内部バス７８に接続される。

【0046】

図４には、サーバ７０の機能ブロックが例示される。この機能ブロック図は、例えばＲＯＭ７４やＨＤＤ７６に記憶されるか、または、ＤＶＤ等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ７２が実行することで構成される。

【0047】

サーバ７０は、施設マップ記憶部８０、装飾画像記憶部８２、及び装飾画像抽出部８５を備える。

【0048】

施設マップ記憶部８０には、複合娯楽施設１０内の地図情報が記憶される。例えば複合娯楽施設１０内の通路（連絡通路２０Ａ及び園内通路２０Ｂ～２０Ｄ）や設備等の位置情報が記憶される。具体的には、施設マップ記憶部８０には、複合娯楽施設１０の平面図データが、位置情報と関連付けられた状態で記憶される。位置情報には、ＧＰＳ機能を用いた経度及び緯度情報や、ビーコン機能を用いた位置情報が含まれる。

【0049】

装飾画像記憶部８２には、表示装置３０Ａに表示される拡張現実画像のうち、仮想物体である装飾画像データが記憶される。図７には、装飾画像１１０として、ライオンの頭部画像が示される。装飾画像１１０は、遠隔地から送られる人物画像１００に重畳される。

【0050】

装飾画像記憶部８２に記憶される装飾画像データは、仮想物体である装飾物体の３Ｄモデルデータであってよい。この３Ｄモデルデータには例えば装飾物体の３Ｄ画像データが含まれ、当該画像データは、形状データ、テクスチャデータ、及びモーションデータが含まれる。

【0051】

装飾画像データは、テーマパーク１４～１８別に、それぞれ複数種類に亘って装飾画像記憶部８２に記憶される。例えば一つのテーマパークに対して１０種類以上１００種類以下の装飾画像データが装飾画像記憶部８２に記憶される。これらの装飾画像データは、テーマパーク１４～１８別に識別記号が付される。さらにそれぞれの装飾画像データには、固有の識別記号が付される。

【0052】

装飾画像データは、例えば、テーマパーク１４～１８内のキャラクタとして定められたキャラクタ画像である。例えば遊園地１４に対応する識別記号が付された装飾画像１１０には、玉乗り用の大玉の画像が含まれる。また水族館１６に対応する識別記号が付された装飾画像１１０には、魚の群れによるアーチの画像が含まれる。

【0053】

なお、図７では、図示を明確にするために、人物画像１００及び装飾画像１１０として輪郭図が図示されているが、この形態に限らずに、人物画像１００及び装飾画像１１０の３Ｄ画像が表示されてよい。

【0054】

装飾画像抽出部８５は、表示装置３０Ａの位置情報取得部５０（図４参照）が取得した現在位置情報に基づいて、表示装置３０Ａが、複合娯楽施設１０内の、どのテーマパーク１４～１８に所在しているのかを判定する。さらに表示装置３０Ａが、いずれかのテーマパーク１４～１８に所在している場合に、装飾画像抽出部８５は、所在中のテーマパーク１４～１８に対応して設定された装飾画像データを装飾画像記憶部８２から抽出して、表示装置３０Ａに送信する。

【0055】

＜表示装置３０Ａの構成＞
図１を参照して、表示装置３０Ａは、複合娯楽施設１０内に配置され、当該施設の来場者（ユーザ）に利用される。表示装置３０Ａは、現実世界の風景に仮想物体の画像を重畳させた仮想現実画像を表示可能となっている。

【0056】

表示装置３０Ａは、携帯型の機器であってよい。例えば表示装置３０Ａは、撮像装置及び表示部を備えたスマートフォンや、眼鏡型のヘッドマウントディスプレイ（ＨＭＤ）である。

【0057】

現実世界の風景の表示態様という観点から、表示装置３０Ａは、ビデオ透過型（Video See-Through）ディスプレイ（ＶＳＴディスプレイ）と、光学透過型（Optical See-Through）ディスプレイ（ＯＳＴディスプレイ）とに分けることができる。ＶＳＴディスプレイは、カメラ等の撮像器が現実世界の風景を撮像し、表示部にその撮像画像を表示する。一方でＯＳＴディスプレイは、ハーフミラー等の透過型の表示部を通して現実世界の風景が視認され、当該表示部に仮想物体が投影される。

【0058】

上述したスマートフォン等の、撮像器３５Ａ（図３参照）を備える表示装置３０Ａは、ＶＳＴディスプレイに分類される。また上述したヘッドマウントディスプレイ（ＨＭＤ）は、眼鏡のレンズを表示部として、現実世界の風景が視認されるから、ＯＳＴディスプレイに分類される。

【0059】

以下の実施形態では、図６に例示されるように、表示装置３０Ａの例として、携帯型かつＶＳＴディスプレイ型のスマートフォンが図示される。このスマートフォンは、複合娯楽施設１０の利用者の所有物であってもよいし、複合娯楽施設１０の利用者に対して貸与させるタブレット端末等のリース物品であってもよい。

【0060】

図３には、表示装置３０Ａのハードウェア構成が例示される。表示装置３０Ａは、ＣＰＵ３１Ａ（中央演算装置）、通話器３２Ａ（第一通話器）撮像器３５Ａ、ＧＰＳ受信器３６、ビーコン受信器３７、入出力コントローラ３９Ａ、システムメモリ４０Ａ、ストレージデバイス４１Ａ、ＧＰＵ４２、フレームメモリ４３、ＲＡＭＤＡＣ４４、表示制御部４５Ａ、表示部４６Ａ、及び入力部４７Ａを備える。

【0061】

システムメモリ４０Ａは、ＣＰＵ３１Ａによって実行されるオペレーションシステム（ＯＳ）が使用する記憶装置である。ストレージデバイス４１Ａは、外部記憶装置であって、例えば後述する、仮想現実画像（ＡＲ画像）を表示させるためのプログラムが記憶される。

【0062】

撮像器３５Ａは、例えばスマートフォンに搭載されたカメラデバイスであり、現実世界の風景を静止画及び動画にて撮像可能となっている。撮像器３５Ａは、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成される。さらに撮像器３５Ａは、現実世界の撮像に加えて、撮像器３５Ａからの離隔距離を測定する機能を備えた、いわゆるＲＧＢ－Ｄカメラであってよい。離隔距離を測定する機能として、例えば撮像器３５Ａには、上述した撮像デバイスに加えて、赤外線を用いた測距機構が設けられる。

【0063】

ＧＰＵ４２（Graphics Processing Unit）は、画像処理用の演算装置であって、後述する画像認識を行う際に主に稼働される。フレームメモリ４３は、撮像器３５Ａにより撮像されさらにＧＰＵ４２により演算処理された画像を記憶する記憶装置である。ＲＡＭＤＡＣ４４（Random Access Memory Digital-to-Analog Converter）は、フレームメモリ４３に記憶された画像データを、アナログディスプレイである表示部４６Ａ向けのアナログ信号に変換する。

【0064】

ＧＰＳ受信器３６は、ＧＰＳ衛星２４（図１参照）から測位信号であるＧＰＳ信号を受信する。ＧＰＳ信号には、緯度、経度、高度の位置座標情報が含まれる。ビーコン受信器３７は、連絡通路２０Ａ及び園内通路２０Ｂ～２０Ｄをはじめとして複合娯楽施設１０内に設置されたビーコンの発信器２２から出力される位置信号を受信する。

【0065】

ここで、ＧＰＳ受信器３６とビーコン受信器３７は、ともに位置推定機能が重複する。したがって、表示装置３０Ａには、ＧＰＳ受信器３６とビーコン受信器３７のどちらか一方のみが設けられていてもよい。

【0066】

入力部４７Ａは撮像器３５Ａへの起動指令や撮像指令を入力可能となっている。例えば入力部４７Ａは、表示部４６Ａと一体化されたタッチパネルであってよい。

【0067】

表示制御部４５Ａは、現実世界の風景に仮想物体の画像を重畳させた拡張現実画像（ＡＲ画像）を生成してこれを表示部４６Ａに表示可能となっている。例えば表示制御部４５Ａは、複合娯楽施設１０内を撮像する施設内画像のうち、ＡＲマーカ３５Ｃ１（図２参照）の画像領域に、仮想画像を重畳させる。この仮想画像は、遠隔地から送信され、さらに装飾画像１１０（図７参照）を装飾済みの人物画像１００が含まれる。この装飾処理は表示制御部４５Ａによって実行される。施設内画像に装飾済みの人物画像１００が重畳された拡張現実画像は表示制御部４５Ａによって表示部４６Ａに表示される。表示部４６Ａは、例えば液晶ディスプレイまたは有機ＥＬディスプレイであってよい。

【0068】

図４には、表示装置３０Ａの機能ブロック図が例示される。この機能ブロック図は、例えばシステムメモリ４０Ａやストレージデバイス４１Ａに記憶されたプログラムを、ＣＰＵ３１ＡやＧＰＵ４２が実行することで構成される。または、ＤＶＤやコンピュータのハードディスク等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ３１ＡやＧＰＵ４２が実行することで図４に例示される機能ブロックが構成される。

【0069】

図４には、図３にも例示されたハードウェア構成の一部と機能ブロックとが混在した状態で表示装置３０Ａの構成が示される。図４にはハードウェア構成として、撮像器３５Ａ、表示制御部４５Ａ、及び表示部４６Ａが例示される。

【0070】

また機能ブロックとして、表示装置３０Ａは、位置情報取得部５０及び画像認識部５８を備える。また記憶部として表示装置３０Ａは学習済みモデル記憶部５９を備える。これらの機能ブロックは、ＣＰＵ３１Ａ、システムメモリ４０Ａ、ストレージデバイス４１Ａ、ＧＰＵ４２、及びフレームメモリ４３等から構成される。

【0071】

位置情報取得部５０は、図３のＧＰＳ受信器３６及びビーコン受信器３７の少なくとも一方から、自身の現在位置の情報を取得する。この位置情報はいわゆるワールド座標系の位置情報であって、ＧＰＳ信号の場合は緯度、経度及び高度情報が位置情報に含まれる。また受信した位置情報がビーコン信号から取得したものである場合には、例えば複合娯楽施設１０の任意の地点を原点とした平面座標系のｘ座標及びｙ座標が位置情報に含まれる。

【0072】

画像認識部５８は、撮像器３５Ａ，３５Ｂによる撮像画像データを受信して画像認識を行う。画像認識には、撮像画像中の物体の認識と、当該物体と表示装置３０Ａや撮像器３５Ｂとの離隔距離の推定が含まれる。このような画像認識に当たり、撮像画像データには例えば上述したように、現実世界の風景を撮像したカラー画像データに加えて、当該カラー画像データ内の各物体の、撮像器３５Ａ，３５Ｂからの離隔距離データが含まれる。

【0073】

画像認識部５８は学習済みモデル記憶部５９に記憶された画像認識用の学習モデルを用いて、撮像画像の認識を行う。学習済みモデル記憶部５９には、例えば、外部のサーバ等によって学習済みの画像認識用のニューラルネットワークが記憶される。例えば複合娯楽施設１０を含む屋外の画像データであって、画像内の各物体のセグメント済み及びアノテーション済みのデータが、訓練用データとして準備される。また、撮像画像から人物画像を認識するための訓練用データも準備される。これらの訓練用データを用いて、教師有り学習により機械学習された多階層のニューラルネットワークが形成され、学習済みモデル記憶部５９に記憶される。このニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ）であってよい。

【0074】

後述されるように、学習済みモデルを用いることで、画像認識部５８は、遠隔地の撮像器３５Ｂが撮像した撮像画像から、人物画像が認識及び抽出可能となる。また学習済みモデルを用いることで、画像認識部５８は、複合娯楽施設１０内に表示された識別子であるＡＲマーカ３５Ｃ１を認識可能となる。

【0075】

＜拡張現実画像表示フロー＞
図５には、本実施形態に係る表示システムによる、拡張現実画像の表示フローが例示される。以下では拡張現実画像として、複合娯楽施設１０内の風景に、当該施設から離隔された遠隔地の人物の画像を重畳させる画像が含まれる。加えて、当該人物画像に仮想の装飾画像を重畳させた、装飾済みの人物画像を、複合娯楽施設１０内の風景に重畳させる画像が、拡張現実画像に含まれる。

【0076】

図５に例示される表示フローは、例えば表示装置３０Ａ（図３参照）のシステムメモリ４０Ａ及びストレージデバイス４１Ａ、ならびに、サーバ７０のＲＯＭ７４及びハードディスクドライブ７６に記憶されるプログラムを、ＣＰＵ３１Ａ，７２が実行することで実行される。または、ＤＶＤやコンピュータのハードディスク等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ３１Ａ，７２が実行することで図５の表示フローが実行される。

【0077】

また図５では、表示装置３０Ａにより実行されるステップが（Ｄ）で示され、サーバ７０により実行されるステップが（Ｓ）で示される。また、このフロー実行の前準備として、遠隔地にて人物９４（図１参照）が撮像器３５Ｂに撮像される。また、複合娯楽施設１０内、例えば車両９０（図２）の座席９１上に撮像器３５Ｃが配置され、その画像、つまり施設内撮像画像は遠隔地の表示装置３０Ｂに送信される。さらに複合娯楽施設１０内の表示装置３０Ａの通話器３２Ａ（第一通話器）と、遠隔地の表示装置３０Ｂの通話器３２Ｂ（第二通話器）とは通話可能な状態になっている。

【0078】

図５に加えて、図３、図４を参照して、表示装置３０Ａの入力部４７Ａから撮像指令が入力されると、本フローが起動される。撮像器３５Ａは、撮像指令に基づいて現実世界の画像、つまり複合娯楽施設１０内の画像を撮像する。得られた施設内撮像画像のデータは画像認識部５８に送信される。

【0079】

画像認識部５８は、受信した施設内撮像画像に対して画像認識を行う（Ｓ１０）。この画像認識には、施設内撮像画像に含まれる識別子であるＡＲマーカ３５Ｃ１の認識が含まれる。またこの認識は施設内撮像画像中の物体のセグメンテーション及びアノテーションが含まれる。さらにこの画像認識では、各物体の、表示装置３０Ａからの離隔距離が求められる。

【0080】

画像認識部５８は、撮像画像中にＡＲマーカ３５Ｃ１が認識されたか否かを判定する（Ｓ１２）。ＡＲマーカ３５Ｃ１が認識されなかった場合は、本フローが終了する。一方、撮像画像中にＡＲマーカ３５Ｃ１が認識された場合には、画像認識部５８は、ＡＲマーカ３５Ｃ１を所定期間に亘って追跡（いわゆるマーカトラッキング）し、ＡＲマーカ３５Ｃ１が当該所定期間継続して撮像画像に含まれたか否かを判定する（Ｓ１４）。所定期間は例えば５秒以上１０秒以下であってよい。

【0081】

所定期間の途中で、撮像画像からＡＲマーカ３５Ｃ１が消えた場合には、いわゆる意図しない写り込みと考えられるので、当該ＡＲマーカ３５Ｃ１により起動される拡張現実画像の生成は見送られる。つまり、拡張現実画像の表示部４６Ａへの表示が保留される。一方、所定期間継続してＡＲマーカ３５Ｃ１が撮像画像中に含まれた場合は、画像認識部５８は、ＡＲマーカ３５Ｃ１の画像領域を、人物画像１００（図７参照）及び装飾画像１１０の重畳領域に設定する。

【0082】

さらに位置情報取得部５０によって表示装置３０Ａの現在位置が取得される。この現在位置情報はサーバ７０に送信される（Ｓ１６）。サーバ７０が表示装置３０Ａの現在位置情報を受信すると、装飾画像抽出部８５は、表示装置３０Ａの現在位置が、複合娯楽施設１０のどの位置に対応するかを、施設マップ記憶部８０に記憶されたパークマップデータから確認する。さらに装飾画像抽出部８５は、表示装置３０Ａの現在位置が、いずれかのテーマパーク１４～１８内に含まれるか否かを判定する（Ｓ１８）。

【0083】

表示装置３０Ａの現在位置が、テーマパーク１４～１８のいずれからも外れている場合、装飾画像抽出部８５は、表示装置３０Ａに対して、現在位置がテーマパーク１４～１８から外れていることを通知する（Ｓ２０）。例えば車両９０（図１参照）が連絡通路２０Ａを走行中である場合に、このようなパーク外通知が表示装置３０Ａに送信される。

【0084】

パーク外通知を受けて表示装置３０Ａの画像認識部５８は、遠隔地の撮像器３５Ｂから当該遠隔地の撮像画像のデータを取得する。さらに画像認識部５８は、取得した遠隔地撮像画像から人物画像を認識する（Ｓ２２）。

【0085】

画像認識部５８は、遠隔地撮像画像から人物画像１００（図６参照）を抽出し、その画像データを表示制御部４５Ａに送信する。また表示制御部４５Ａには、画像認識済み、より詳細にはＡＲマーカ３５Ｃ１を認識済みの施設内撮像画像のデータが、画像認識部５８から送信される。

【0086】

表示制御部４５Ａは、図６に例示されるように、施設内撮像画像１０５に人物画像１００を重畳させた拡張現実画像を、表示部４６Ａに表示させる（Ｓ２４）。例えば表示制御部４５Ａによって、ＡＲマーカ３５Ｃ１の画像領域の重心が求められ、また、人物画像領域の重心が求められる。さらにＡＲマーカ３５Ｃ１の画像領域の重心と人物画像領域の重心とが一致するように、施設内撮像画像１０５に人物画像１００が重畳される。このような画像処理により、遠隔地にいる人物９４が、あたかも複合娯楽施設１０内にいるかのような演出が可能となる。

【0087】

ステップＳ１８に戻り、サーバ７０の装飾画像抽出部８５によって、表示装置３０Ａの現在位置がテーマパーク１４～１８のいずれかに含まれると判定されると、装飾画像抽出部８５は、装飾画像１１０（図７参照）を抽出する。つまり装飾画像抽出部８５は、表示装置３０Ａが滞在するテーマパーク１４～１８に関連付けられた装飾画像１１０のデータを、装飾画像記憶部８２から抽出する（Ｓ２６）。

【0088】

例えば装飾画像抽出部８５は、表示装置３０Ａが滞在するテーマパーク１４～１８の識別記号が付された装飾画像１１０のデータを抽出する。テーマパーク１４～１８別に、それぞれ複数種類の装飾画像が記憶されている場合には、同一のテーマパークの識別記号が付された装飾画像から任意の画像が抽出される。

【0089】

さらに装飾画像抽出部８５は抽出した装飾画像を表示装置３０Ａに送信する（Ｓ２８）。さらに、表示装置３０Ａの画像認識部５８は、遠隔地の撮像器３５Ｂから取得した遠隔地の撮像画像から人物画像を認識して当該画像を抽出する（Ｓ３０）。表示装置３０Ａの表示制御部４５Ａは、画像認識部５８から取得した遠隔地の人物画像１００に、装飾画像抽出部８５から取得した装飾画像１１０を重畳させる装飾処理を実行する（Ｓ３２）。

【0090】

例えば、この装飾処理に当たり、表示制御部４５Ａは、人物画像１００の身体部位と、装飾画像の身体部位とを対応付ける。例えば装飾画像１１０が動物の頭部の画像である場合に、画像認識部５８は人物画像１００を画像認識することで、人物画像１００の頭部を推定する。さらに表示制御部４５Ａは、人物画像１００の頭部領域を装飾画像１１０の重畳領域に定める。

【0091】

さらに表示制御部４５Ａは、図７に例示されるように、施設内撮像画像１０５に、装飾済み（装飾処理後）の人物画像１００を重畳させた拡張現実画像を、表示部４６Ａに表示させる（Ｓ３４）。例えば表示制御部４５Ａによって、ＡＲマーカ３５Ｃ１の画像領域の重心が求められ、また、装飾済みの人物画像領域の重心が求められる。さらにＡＲマーカ３５Ｃ１の画像領域の重心と人物画像領域の重心とが一致するように、施設内撮像画像１０５に人物画像１００が重畳される。このような画像処理により、複合娯楽施設１０の来場者が来場中のテーマパーク１４～１８のキャラクタに、遠隔地にいる人物９４が扮しているような演出が可能となる。

【0092】

＜表示装置の別例＞
上述した実施形態では、表示装置３０Ａとして、ビデオ透過型ディスプレイであるスマートフォンが例示されていたが、本実施形態に係る表示装置３０Ａはこの形態に限られない。例えば図８に例示されるようなヘッドマウントディスプレイ（ＨＭＤ）のように、表示装置３０Ａが光学透過型ディスプレイから構成されてもよい。

【0093】

この場合、表示装置３０Ａは、撮像器３５Ａ、表示部４６Ａに対応するハーフミラー１１４、表示制御部４５Ａ及び画像認識部５８に対応するプロジェクタ１１６、ならびに、位置情報取得部５０に対応するセンサユニット１１２を含んで構成される。

【0094】

ハーフミラー１１４は、例えば眼鏡やゴーグルのレンズであってよい。ハーフミラー１１４は、現実世界からの光（像）が利用者まで透過される。一方、ハーフミラー１１４の上方に配置されたプロジェクタ１１６は、仮想物体の像をハーフミラー１１４に投影させる。これにより、現実世界の風景である、複合娯楽施設１０内の風景に、遠隔地の人物画像１００や、装飾画像１１０が重畳された人物画像１００を重畳させた拡張現実画像を表示可能となる。

【0095】

＜表示装置の別例＞
上述の実施形態では、図５の拡張現実画像の表示フローを、表示装置３０Ａ及びサーバ７０にて行っていたが、これに代えて、当該フローの全ステップを表示装置３０Ａが実行してもよい。この場合、表示装置３０Ａは、例えば記憶容量がスマートフォンよりも大きいタブレット型端末から構成される。

【0096】

図９には、図４の変形例であって、表示装置３０Ａの機能ブロック図が例示される。この機能ブロック図は、例えばシステムメモリ４０Ａやストレージデバイス４１Ａに記憶されたプログラムを、ＣＰＵ３１ＡやＧＰＵ４２が実行することで構成される。または、ＤＶＤやコンピュータのハードディスク等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ３１ＡやＧＰＵ４２が実行することで、図９の機能ブロックが構成される。

【0097】

図９では、図４と比較して、表示装置３０Ａには、施設マップ記憶部８０、装飾画像記憶部８２、及び、装飾画像抽出部８５が設けられる。図４において、サーバ７０に設けられたこれらの構成が、表示装置３０Ａに設けられることで、仮想現実画像表示フローが、表示装置３０Ａ単体にて実行可能となる。例えば図５のフローにおいて、全てのステップが表示装置３０Ａにより実行される。さらに、表示装置３０Ａとサーバ７０とのデータのやり取りが不要となるので、ステップＳ１６，Ｓ２８が不要となる。

【0098】

＜識別子の別例＞
上述の実施形態では、表示装置３０Ａが拡張現実画像を生成するための識別子として、撮像器３５Ｃの表面にＡＲマーカ３５Ｃ１が付されていたが、本実施形態に係る表示システムは、この形態に限られない。例えば撮像器３５Ｃ（図２参照）にＡＲマーカ３５Ｃ１が付されないマーカレスＡＲ方式が採用されてもよい。具体的には、撮像器３５Ｃの立体形状が識別子として用いられてよい。

【符号の説明】

【0099】

１０ 複合娯楽施設、１４ テーマパーク、１４ 遊園地、１５ テーマパーク、１６ 水族館、１８ 動物園、２０Ａ 連絡通路、２０Ｂ～２０Ｄ 園内通路、２２ ビーコンの発信器、２４ ＧＰＳ衛星、３０Ａ，３０Ｂ 表示装置、３２Ａ 通話器（第一通話器）、３２Ｂ 通話器（第二通話器）、３５Ａ～３５Ｃ 撮像器、３５Ｃ１ ＡＲマーカ（識別子）、３６ ＧＰＳ受信器、３７ ビーコンの受信器、４５Ａ，４５Ｂ 表示制御部、４６Ａ，４６Ｂ 表示部、４７Ａ，４７Ｂ 入力部、５０ 位置情報取得部、５８ 画像認識部、５９ 学習済みモデル記憶部、７０ サーバ、７３ 表示部、８０ 施設マップ記憶部、８２ 装飾画像記憶部、８５ 装飾画像抽出部、９０ 車両、９１ 座席、９２ 家屋、９４ 遠隔地の人物、１００ 人物画像、
１０５ 施設内撮像画像、１１０ 装飾画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】