IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧 ▶ 株式会社NTTドコモの特許一覧

<>
  • 特許-表示システム及びサーバ 図1
  • 特許-表示システム及びサーバ 図2
  • 特許-表示システム及びサーバ 図3
  • 特許-表示システム及びサーバ 図4
  • 特許-表示システム及びサーバ 図5
  • 特許-表示システム及びサーバ 図6
  • 特許-表示システム及びサーバ 図7
  • 特許-表示システム及びサーバ 図8
  • 特許-表示システム及びサーバ 図9
  • 特許-表示システム及びサーバ 図10
  • 特許-表示システム及びサーバ 図11
  • 特許-表示システム及びサーバ 図12
  • 特許-表示システム及びサーバ 図13
  • 特許-表示システム及びサーバ 図14
  • 特許-表示システム及びサーバ 図15
  • 特許-表示システム及びサーバ 図16
  • 特許-表示システム及びサーバ 図17
  • 特許-表示システム及びサーバ 図18
  • 特許-表示システム及びサーバ 図19
  • 特許-表示システム及びサーバ 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】表示システム及びサーバ
(51)【国際特許分類】
   G06T 19/00 20110101AFI20231219BHJP
   A63F 13/213 20140101ALI20231219BHJP
   A63F 13/216 20140101ALI20231219BHJP
   A63F 13/53 20140101ALI20231219BHJP
   A63F 13/655 20140101ALI20231219BHJP
【FI】
G06T19/00 600
A63F13/213
A63F13/216
A63F13/53
A63F13/655
【請求項の数】 4
(21)【出願番号】P 2020211009
(22)【出願日】2020-12-21
(65)【公開番号】P2022097830
(43)【公開日】2022-07-01
【審査請求日】2022-09-05
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人YKI国際特許事務所
(72)【発明者】
【氏名】芹澤 和実
(72)【発明者】
【氏名】小森谷 一記
(72)【発明者】
【氏名】石川 さやか
(72)【発明者】
【氏名】谷森 俊介
(72)【発明者】
【氏名】三浦 正哉
(72)【発明者】
【氏名】田村 康司
(72)【発明者】
【氏名】日比野 清栄
(72)【発明者】
【氏名】向 里菜
(72)【発明者】
【氏名】稲垣 智也
(72)【発明者】
【氏名】狄 勤莉
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開2019-139425(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
A63F 13/00-13/98
(57)【特許請求の範囲】
【請求項1】
現実世界の風景を撮像する撮像器と、
前記撮像器による撮像画像内の現実物体を認識するとともに、認識されたそれぞれの前記現実物体の空間座標上の位置を認識する画像認識部と、
前記撮像画像内の前記空間座標上の指定位置に仮想物体を重畳表示させる表示制御部と、
を備え、
前記画像認識部は、前記撮像画像内の、前記仮想物体の前記指定位置に対する前記現実物体のジェスチャー操作を認識し、
前記表示制御部は、認識された前記ジェスチャー操作に応じて前記仮想物体に対する画像処理を実行する、
表示装置と、
前記仮想物体の前記指定位置を変更する操作指令を入力可能な入力部を備える操作装置と、
を備え
前記表示装置及び前記操作装置と通信可能なサーバをさらに備え、
前記表示装置は、それぞれ異なる特定のテーマに基づいて構成される複数の施設が設けられた複合施設内に配置され、
前記サーバは、
それぞれの前記施設内のキャラクタとして定められたキャラクタ画像が、前記複合施設の位置情報と関連付けて記憶された記憶部と、
前記キャラクタ画像のデータを、当該画像に関連付けられた位置情報とともに前記表示装置に送信する送信部と、
を備え、
前記表示制御部は、前記仮想物体の画像として、前記指定位置に応じた前記キャラクタ画像を選択して前記撮像画像に重畳表示させる、
表示システム。
【請求項2】
請求項に記載の表示システムであって、
前記ジェスチャー操作は、前記指定位置における捕捉動作であって、
前記表示装置は、前記画像認識部が前記現実物体による前記捕捉動作を認識したときに、前記サーバに捕捉通知を送信し、
前記サーバは、前記仮想物体の操作開始時点から前記捕捉動作の認識時点までの逃走期間に応じて、前記操作装置の操作者に対する報酬を定める報酬算出部を備える、
表示システム。
【請求項3】
請求項に記載の表示システムであって、
前記表示装置は、前記仮想物体を追跡する追跡ゲームの追跡者としての参加登録を入力する入力部を備え、
前記操作装置は、前記仮想物体の操作者としての前記追跡ゲームの参加登録を入力する入力部を備え、
前記サーバは、前記追跡ゲームに参加中の前記追跡者及び前記操作者の数を算出するとともに、前記操作者に操作される前記仮想物体と、前記追跡者に所持される前記表示装置の、前記複合施設内の位置を取得する参加者算出部を備え、
前記報酬算出部は、前記捕捉動作の認識時点における、捕捉された前記仮想物体周辺の仮想物体空間密度に応じて、前記操作者に対する報酬を定める、
表示システム。
【請求項4】
請求項に記載の表示システムであって、
前記報酬算出部は、前記捕捉動作の認識時点における、捕捉された前記仮想物体周辺の、追跡者空間密度に基づいて、前記操作装置の操作者に対する報酬を定める、
表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書では、拡張現実(AR、Augmented Reality)画像を表示する表示システム、及び同システムに含まれるサーバが開示される。
【0002】
従来から、拡張現実技術を用いた表示装置が知られている。例えば特許文献1では、仮想物体(仮想オブジェクト)に対してジェスチャー操作を行うことで、当該仮想オブジェクトに対する画像処理が行われる。例えばヘッドマウントディスプレイ(HMD)のディスプレイに、仮想物体であるフォルダアイコン(ストレージアイコン)が投影される。この立体アイコンを指でつまむ等のジェスチャー操作が行われることで、フォルダアイコンが展開する等の画像処理が実行される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-075125号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記のような拡張現実技術を用いて、逃走する仮想物体を追跡して捕捉するなどの、いわゆるARゲームのサービスを提供することが考えられる。このような場合に、逃走者である仮想物体の逃走経路がパターン化されていると、ゲームの魅力を維持することは困難となる。その一方で、逃走経路を複雑化させるためのアルゴリズムを作成すると、ARゲームを提供するシステムの負荷が過大となるおそれがある。
【0005】
本明細書では、ARゲームの提供に当たり、同ゲームを提供するシステムの負荷を抑制しつつ、ARゲームの魅力を維持可能な、表示システム及び同システムに含まれるサーバが開示される。
【課題を解決するための手段】
【0006】
本明細書では、表示システムが開示される。当該表示システムは、表示装置及び操作装置を備える。表示装置は、撮像器、画像認識部及び表示制御部を備える。撮像器は、現実世界の風景を撮像する。画像認識部は、撮像器による撮像画像内の現実物体を認識するとともに、認識されたそれぞれの現実物体の空間座標上の位置を認識する。表示制御部は、撮像画像内の空間座標上の指定位置に仮想物体を重畳表示させる。画像認識部は、撮像画像内の、仮想物体の指定位置に対する現実物体のジェスチャー操作を認識する。表示制御部は、認識されたジェスチャー操作に応じて仮想物体に対する画像処理を実行する。また操作装置は、仮想物体の指定位置を変更する操作指令を入力可能な入力部を備える。
【0007】
上記構成によれば、例えばARゲームにおける追跡対象となる仮想物体が、操作装置に操作指令を入力する操作者によって操作される。これにより、複雑なアルゴリズムを作成することなく、仮想物体の逃走経路のパターン化が避けられる。
【0008】
また上記構成において、表示システムは、表示装置及び操作装置と通信可能なサーバをさらに備えてもよい。この場合、表示装置は、それぞれ異なる特定のテーマに基づいて構成される複数の施設が設けられた複合施設内に配置される。サーバは、記憶部及び送信部を備える。記憶部には、それぞれの施設内のキャラクタとして定められたキャラクタ画像が、複合施設の位置情報と関連付けて記憶される。送信部は、キャラクタ画像のデータを、当該画像に関連付けられた位置情報とともに表示装置に送信する。表示制御部は、仮想物体の画像として、指定位置に応じたキャラクタ画像を選択して撮像画像に重畳表示させる。
【0009】
上記構成によれば、テーマパークなどの施設の世界観に沿ったキャラクタ画像が仮想物体の画像として表示可能となる。
【0010】
また上記構成において、ジェスチャー操作は、指定位置における捕捉動作であってよい。この場合、表示装置は、画像認識部が現実物体による捕捉動作を認識したときに、サーバに捕捉通知を送信する。サーバは、仮想物体の操作開始時点から捕捉動作の認識時点までの逃走期間に応じて、操作装置の操作者に対する報酬を定める報酬算出部を備える。
【0011】
上記構成によれば、時間を割いて仮想物体の操作を行うことへの動機づけとして、仮想物体の操作者に対して報酬が与えられる。
【0012】
また上記構成において、表示装置は、仮想物体を追跡する追跡ゲームの追跡者としての参加登録を入力する入力部を備えてもよい。この場合、操作装置は、仮想物体の操作者としての追跡ゲームの参加登録を入力する入力部を備える。サーバは、追跡ゲームに参加中の追跡者及び操作者の数を算出するとともに、操作者に操作される仮想物体と、追跡者に所持される表示装置の、複合施設内の位置を取得する参加者算出部を備える。報酬算出部は、捕捉動作の認識時点における、捕捉された仮想物体周辺の仮想物体空間密度に応じて、操作者に対する報酬を定める。
【0013】
上記構成によれば、例えば、仮想物体空間密度の高い状態、つまり捕捉されにくい状態と、仮想物体空間密度の低い状態、つまり捕捉されやすい状態とで、異なる報酬を与えることができる。
【0014】
また上記構成において、報酬算出部は、捕捉動作の認識時点における、捕捉された仮想物体周辺の、追跡者空間密度に基づいて、操作装置の操作者に対する報酬を定めてもよい。
【0015】
上記構成によれば、追跡者空間密度の高い状態、つまり捕捉されやすい状態と、追跡者空間密度の低い状態、つまり捕捉されにくい状態とで、異なる報酬を与えることができる。
【0016】
また本明細書ではサーバが開示される。このサーバは、表示装置と操作装置とに通信可能となっている。表示装置は、現実世界の風景を撮像した撮像画像中に仮想物体を表示させて仮想物体を追跡する追跡ゲームが実行可能となっている。操作装置は、仮想物体への操作指令を入力可能な入力部を備える。サーバは、記憶部及び送信部を備える。記憶部は、追跡ゲームに参加中の表示装置の位置情報と、操作装置により操作される仮想物体の位置情報を記憶する。送信部は、所定の表示装置の位置情報に基づいて、当該表示装置の周辺の仮想物体の位置情報を表示装置に送信する。
【発明の効果】
【0017】
本明細書で開示される表示システム及びサーバによれば、ARゲームを提供するシステムの負荷を抑制しつつ、ARゲームの魅力が維持可能となる。
【図面の簡単な説明】
【0018】
図1】本実施形態に係る表示システムが利用される複合娯楽施設及びその遠隔地である家屋を例示する図である。
図2】複合娯楽施設内のキャラクタ表示領域を説明する図である。
図3】本実施形態に係る表示システムに含まれる各機器のハードウェア構成を例示する図である。
図4】本実施形態に係るサーバの機能ブロックを例示する図である。
図5】表示装置の例としてスマートフォンが示された図である。
図6】本実施形態に係る表示装置の機能ブロックを例示する図である。
図7】本実施形態に係る操作装置である遠隔端末装置の機能ブロックを例示する図である。
図8】本実施形態に係る表示システムを用いた追跡ゲームのうち、追跡者フローを例示する図である。
図9】複合娯楽施設内の風景を例示する図である。
図10図9の風景を表示装置にて撮像したときの撮像画像を例示する図である。
図11】仮想物体の捕捉プロセスを例示する図(1/2)である。
図12】仮想物体の捕捉プロセスを例示する図(2/2)である。
図13】本実施形態に係る表示システムを用いた追跡ゲームのうち、逃走者フローを例示する図である。
図14】遠隔端末装置の表示部に表示されるゲーム画像を例示する図である。
図15】本実施形態の別例に係るサーバの機能ブロックを例示する図である。
図16】本実施形態の別例に係る表示装置の機能ブロックを例示する図である。
図17】本実施形態の別例に係る操作装置である遠隔端末装置の機能ブロックを例示する図である。
図18】本実施形態の別例に係る表示システムを用いた追跡ゲームのうち、追跡者フローを例示する図である。
図19】本実施形態の別例に係る表示システムを用いた追跡ゲームのうち、逃走者フローを例示する図である。
図20】本実施形態に係る表示装置の別例であって、ヘッドマウントディスプレイを例示する図である。
【発明を実施するための形態】
【0019】
図1には、本実施形態に係る表示システムが利用される、複合娯楽施設10及び家屋92が例示される。家屋92は、複合娯楽施設10に対して遠隔地に設置され、表示システムを用いる操作者94が所在する。表示システムは、複合娯楽施設10に設けられた表示装置30及びサーバ70と、家屋92に設けられた遠隔端末装置100(操作装置)を含んで構成される。
【0020】
<複合娯楽施設の構成>
複合娯楽施設10には、複数のテーマパーク14,16,18が設けられる。テーマパークとは、特定のテーマ(主題)に基づいて世界観が構成され、当該世界観に基づいて、設備、イベント、景観などが総合的に構成され演出された施設を指す。例えばテーマパーク14,16,18は、連絡通路20により接続されており、複合娯楽施設10の来場者はこの連絡通路20を介してそれぞれのテーマパーク14,16,18の往来が可能となっている。
【0021】
複合娯楽施設10は、それぞれテーマの異なるテーマパークが設けられる。例えば複合娯楽施設10には、テーマパークとして、遊園地14、水族館16、及び動物園18が設けられる。
【0022】
それぞれのテーマパーク14,16,18は、それぞれのテーマに基づいて、キャラクタが設定される。キャラクタは、それぞれのテーマパーク14,16,18のテーマ及び世界観に沿ったものに設定される。例えば遊園地14では、ピエロ、ゴーカート等のキャラクタが設定される。例えば水族館16では、魚やサメ等のキャラクタが設定される。さらに例えば動物園18では、サル、ライオン、パンダ等のキャラクタが設定される。
【0023】
これらのキャラクタの画像(以下適宜、キャラクタ画像と記載される)は、後述されるように、複合娯楽施設10内で利用可能なARゲームサービスである、追跡ゲームの逃走者の画像として利用される。
【0024】
追跡ゲームは、複合娯楽施設10の来場者が体験可能であって、拡張現実技術を用いた「鬼ごっこ」のようなゲームである。後述されるようにこの追跡ゲームでは、複合娯楽施設10内の撮像画像中に、追跡対象である逃走者の仮想画像が重畳され、その重畳画像(AR画像)が表示装置30に表示される。追跡者である来場者は、この仮想画像を捕捉するために、仮想画像を追いかける。さらに本実施形態に係る表示システムでは、逃走者である仮想画像の操作が、複合娯楽施設10から離隔された遠隔端末装置100により行われる。
【0025】
複合娯楽施設10は、各テーマパーク14,16,18内及び連絡通路20のみならず、同施設10内の通行が可能となっている。例えば連絡通路20の外側は散策可能な草地となっている。追跡ゲームでは、追跡可能領域(追跡フィールド)が例えば複合娯楽施設10の全域に設定される。さらに追跡ゲームでは、図2に例示されるように、複合娯楽施設10内の領域が、仮想的に複数の領域(エリア)に分割される。例えばこれらの領域は、遊園地14を含む遊園地エリア14A、水族館16を含む水族館エリア16A、及び動物園18を含む動物園エリア18Aの3つの領域に分けられる。なおこれらのエリアの境界は仮想的なものであって、フェンス等の物理的な境界手段は設けられない。複合娯楽施設10の来場者は各エリアへの自由な移動が可能となっている。
【0026】
追跡ゲームでは、各エリア14A~18Aにて表示される仮想物体の画像(キャラクタ画像)が異なるように設定される。例えば遊園地エリア14Aでは遊園地14に対して設定されたキャラクタ画像が仮想物体画像として表示される。同様にして、水族館エリア16Aでは水族館16に対して設定されたキャラクタ画像が仮想物体画像として表示され、動物園エリア18Aでは動物園18に対して設定されたキャラクタ画像が仮想物体画像として表示される。
【0027】
これらのテーマパーク14,16,18のキャラクタ画像のデータ(キャラクタ画像データ)は、各テーマパーク14,16,18の識別記号及び位置情報と関連付けられた状態で、サーバ70(図4参照)のテーマパーク別キャラクタ記憶部82に記憶される。サーバ70は例えば複合娯楽施設10内に設けられた管理者用のビル(図示せず)に設置される。テーマパーク別キャラクタ記憶部82に記憶されるキャラクタ画像データの詳細は後述される。
【0028】
図1に戻り、複合娯楽施設10内には、ビーコンの発信器22が設けられる。発信器22は例えば等間隔に複数個設けられる。後述されるように、この発信器22からの信号を表示装置30のビーコン受信器37(図3参照)が受信することで、表示装置30の現在位置が取得可能となる。
【0029】
複合娯楽施設10とは離隔された遠隔地の家屋92内に、遠隔端末装置100が配置される。以下に詳述されるように、本実施形態に係る表示システムでは、ARゲームとしての追跡ゲームにおいて、逃走者である仮想物体(キャラクタ)が、遠隔端末装置100により操作される。つまり、複合娯楽施設10の来場者が追跡者として追跡ゲームに参加する一方で、追跡対象である仮想物体は、複合娯楽施設10から離隔された操作者94が遠隔端末装置100に操作指令を入力することで操作される。
【0030】
<表示システムの各機器の構成>
図3には、本実施形態に係る表示システムに含まれる機器のハードウェア構成が例示される。本実施形態に係る表示システムは、表示装置30、サーバ70、及び遠隔端末装置100を含んで構成される。
【0031】
<サーバの構成>
図3を参照して、サーバ70は、例えばコンピュータから構成され、例えば複合娯楽施設10(図1参照)の管理ビル内に設置される。またサーバ70は、無線LAN等の通信手段によって表示装置30と無線接続される。さらにサーバ70は、インターネット等の通信手段により、遠隔端末装置100と通信可能となっている。
【0032】
サーバ70は、キーボードやマウス等の入力部71、演算装置のCPU72、及びディスプレイ等の表示部73を備える。またサーバ70は記憶装置として、ROM74、RAM75及びハードディスクドライブ76(HDD)を備える。さらにサーバ70は、情報の入出力を管理する入出力コントローラ77を備える。これらの構成部品は内部バス78に接続される。
【0033】
図4には、サーバ70の機能ブロックが例示される。この機能ブロック図は、例えばROM74やHDD76に記憶されるか、または、DVD等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、CPU72が実行することで構成される。
【0034】
サーバ70は、機能部として、受信部83、参加者算出部84、報酬算出部85、3Dモデル抽出部86、及び送信部87を備える。さらにサーバ70は、記憶部として、追跡ゲーム参加者記憶部80、施設マップ記憶部81、及びテーマパーク別キャラクタ記憶部82を備える。
【0035】
追跡ゲーム参加者記憶部80には、ARゲームである追跡ゲームの参加者情報が記憶される。参加者には追跡者及び逃走者が含まれる。追跡者は複合娯楽施設10の来場者のうち、当該来場者が所持する表示装置30から、追跡ゲームの追跡者としての参加登録の申請があったものが含まれる。一方、逃走者は、遠隔端末装置100から追跡ゲームの逃走者としての参加登録の申請があったものが含まれる。
【0036】
追跡ゲーム参加者記憶部80には、追跡ゲームに参加中の追跡者及び逃走者の情報が記憶される。例えば追跡者情報として、追跡者が所持している表示装置30の識別記号及び位置情報が含まれる。また逃走者情報として、操作者94(図1参照)が操作する遠隔端末装置100の識別記号と、遠隔端末装置100により操作される仮想物体の位置情報が含まれる。
【0037】
施設マップ記憶部81には、複合娯楽施設10内の地図情報であるパークマップデータが記憶される。例えばパークマップデータとして、複合娯楽施設10内の連絡通路20や設備等の位置情報が記憶される。また池12(図1参照)等の、進入禁止エリアの位置情報が記憶される。例えば進入禁止エリアは、逃走者の移動禁止領域に設定される。
【0038】
具体的には、施設マップ記憶部81には、パークマップデータとして、複合娯楽施設10の地図データが、位置情報と関連付けられた状態で記憶される。位置情報は、いわゆるワールド座標系上の位置情報である。ワールド座標系の位置情報には、GPS機能を用いて取得可能な、緯度、経度、高度情報や、ビーコン機能を用いて取得可能な空間座標情報が含まれる。
【0039】
加えて、施設マップ記憶部81には、図2に例示される、追跡ゲーム上のエリア14A,16A,18Aのデータが記憶される。例えばパークマップデータ上に、各エリア14A,16A,18Aの境界線が設定されるとともに、この境界線によって区画される各領域に、エリア14A,16A,18A別の識別記号が付与される。
【0040】
テーマパーク別キャラクタ記憶部82には、表示装置30に仮想物体画像として表示される逃走者の画像である、キャラクタ画像のデータが記憶される。キャラクタは、テーマパーク14,16,18内のキャラクタとして、それぞれの世界観に沿って設定される。例えば、テーマパーク14,16,18別に、複数種類に亘るキャラクタ画像データがテーマパーク別キャラクタ記憶部82に記憶される。例えば一つのテーマパークに対して10種類以上100種類以下のキャラクタ画像データがテーマパーク別キャラクタ記憶部82に記憶される。これらのキャラクタ画像データは、テーマパーク14,16,18別に、つまりエリア14A,16A,18A別に識別記号が付される。さらにそれぞれのキャラクタ画像データには、固有の識別記号が付される。
【0041】
また、仮想物体であるキャラクタ画像データは、当該データに関連付けられた位置情報とともにテーマパーク別キャラクタ記憶部82に記憶される。キャラクタ画像データに関連付けられた位置情報とは、当該画像データの表示が許可される、複合娯楽施設10内の領域情報が含まれる。以下では適宜、キャラクタ画像データ及びこれに関連付けられた位置情報データはまとめて「仮想物体データ」と記載される。
【0042】
例えば図2に例示されるように、遊園地14に対応する識別記号が付され、表示領域が遊園地エリア14Aに設定されたキャラクタ画像15として、玉乗り中のピエロの画像が含まれる。また水族館16に対応する識別記号が付され、表示領域が水族館エリア16Aに設定されたキャラクタ画像17として、遊泳中の魚の画像が含まれる。同様にして、動物園18に対応する識別記号が付され、表示領域が動物園エリア18Aに設定されたキャラクタ画像19として、走り回るサルの画像が含まれる。
【0043】
キャラクタの画像データは、3Dモデルデータであってよい。この3Dモデルデータには例えばキャラクタの3D画像データが含まれ、当該画像データは、形状データ、テクスチャデータ、及びモーションデータが含まれる。さらに当該画像データは、仮想物体の捕捉時における効果画像(エフェクト画像)のデータも含まれる。
【0044】
なお、図2では、図示を明確にするために、キャラクタ画像15、17、19として輪郭図が図示されているが、この形態に限らずに、キャラクタ画像15、17、19の3D画像が表示されてよい。
【0045】
参加者算出部84は、追跡ゲームに参加中の参加者の人数等を算出する。参加者には、追跡者及び逃走者が含まれる。また参加者算出部84は、追跡ゲームに参加中の追跡者、より詳細には追跡者に所持される表示装置30の複合娯楽施設10内の位置情報を取得する。さらに参加者算出部84は、追跡ゲームに参加中の操作者に操作される逃走者(仮想物体)の複合娯楽施設10内の位置情報を取得する。また例えば参加者算出部84は、追跡ゲーム参加者記憶部80を参照して、後述される追跡者空間密度や逃走者空間密度(仮想物体空間密度)を算出する。
【0046】
また参加者算出部84は、追跡ゲームに(追跡者として)参加中の表示装置30に対して、当該装置の位置情報に基づいて、その位置周辺の仮想物体(逃走者)の位置情報を提供する。さらに参加者算出部84は、追跡ゲームに(逃走者として)参加中の遠隔端末装置100に、パークマップデータと、逃走者及び追跡者の位置情報を提供する。
【0047】
3Dモデル抽出部86は、テーマパーク別キャラクタ記憶部82から、仮想物体の画像データである、キャラクタ画像データを抽出する。抽出された画像データは送信部87を介して表示装置30及び遠隔端末装置100に送信される。
【0048】
3Dモデル抽出部86は、すべてのエリア14A,16A,18Aのキャラクタ画像データを表示装置30及び遠隔端末装置100に送信してもよい。例えば各エリア14A,16A,18Aからそれぞれ任意の1種類のキャラクタ画像データが表示装置30及び遠隔端末装置100に送信される。
【0049】
報酬算出部85は、追跡ゲームにおいて逃走者を操作した操作者に与えられる報酬を算出する。例えば、逃走時間に基づいて報酬が算出される。また、報酬算出の別の要素として、捕捉された時点における、周囲の逃走者空間密度及び追跡者空間密度が含まれる。報酬とは、例えば複合娯楽施設10への入場料金の割引サービスであってよい。この報酬の算出については後述される。
【0050】
<表示装置30の構成>
図1を参照して、表示装置30は、複合娯楽施設10内に配置され、当該施設の来場者(ユーザ)に利用される。表示装置30は、現実世界の風景に仮想物体の画像を重畳させた仮想現実画像を表示可能となっている。
【0051】
表示装置30は、携帯型の機器であってよい。例えば表示装置30は、撮像装置及び表示部を備えたスマートフォンや、眼鏡型のヘッドマウントディスプレイ(HMD)である。
【0052】
現実世界の風景の表示態様という観点から、表示装置30は、ビデオ透過型(Video See-Through)ディスプレイ(VSTディスプレイ)と、光学透過型(Optical See-Through)ディスプレイ(OSTディスプレイ)とに分けることができる。VSTディスプレイは、カメラ等の撮像器が現実世界の風景を撮像し、表示部にその撮像画像を表示する。一方でOSTディスプレイは、ハーフミラー等の透過型の表示部を通して現実世界の風景が視認され、当該表示部に仮想物体が投影される。
【0053】
上述したスマートフォン等の、撮像器35(図3参照)を備える表示装置30は、VSTディスプレイに分類される。また上述したヘッドマウントディスプレイ(HMD)は、眼鏡のレンズを表示部として、現実世界の風景が視認されるから、OSTディスプレイに分類される。
【0054】
以下の実施形態では、図5に例示されるように、表示装置30の例として、携帯型かつVSTディスプレイ型のスマートフォンが図示される。このスマートフォンは、複合娯楽施設10の来場者の所有物であってもよいし、複合娯楽施設10の来場者に対して貸与させるタブレット端末等のリース物品であってもよい。
【0055】
図3には、表示装置30のハードウェア構成が例示される。表示装置30は、CPU31(中央演算装置)、加速度センサ32、ジャイロセンサ33、地磁気センサ34、撮像器35、GPS受信器36、及びビーコン受信器37を備える。さらに表示装置30は、入出力コントローラ39、システムメモリ40、ストレージデバイス41、GPU42、フレームメモリ43、RAMDAC44、表示制御部45、表示部46、及び入力部47を備える。
【0056】
システムメモリ40は、CPU31によって実行されるオペレーションシステム(OS)が使用する記憶装置である。ストレージデバイス41は、外部記憶装置であって、例えば後述する、仮想現実画像(AR画像)を表示させるためのプログラムが記憶される。
【0057】
加速度センサ32、ジャイロセンサ33、及び地磁気センサ34により、表示装置30の向き及び方位が推定できる。加速度センサ32は、表示装置30の加速度を測定する。加速度センサ32は、図5に例示されるように、直交する3軸方向の加速度をそれぞれ計測可能となっている。すなわち、表示部46の表示面に平行であって、軸同士が直交するX軸及びY軸、並びに、表示部46の表示面に直交するZ軸のそれぞれの軸方向の加速度が、加速度センサ32によって測定される。加速度センサ32、ジャイロセンサ33、及び地磁気センサ34は、例えばMEMS(Micro Electro Mechanical Systems)等のいわゆるマイクロマシンから構成される。
【0058】
ジャイロセンサ33は、表示装置30の角速度を測定する。ジャイロセンサ33は、図5に例示されるように、直交する3軸周りの回転を測定する。つまり、X軸周りの回転であるピッチ角、Y軸周りの回転であるロール角、及び、Z軸周りの回転であるアジマス角(ヨー角とも呼ばれる)が、ジャイロセンサ33により測定される。また、地磁気センサ34は、表示装置30の、磁北からの傾きを検出する。
【0059】
撮像器35は、例えばスマートフォンに搭載されたカメラデバイスであり、現実世界の風景を静止画及び動画にて撮像可能となっている。撮像器35は、例えばCMOSやCCD等の撮像デバイスを含んで構成される。さらに撮像器35は、現実世界の撮像に加えて、撮像器35からの離隔距離を測定する機能を備えた、いわゆるRGB-Dカメラであってよい。離隔距離を測定する機能として、例えば撮像器35には、上述した撮像デバイスに加えて、赤外線を用いた測距機構が設けられる。
【0060】
GPU42(Graphics Processing Unit)は、画像処理用の演算装置であって、後述する画像認識を行う際に主に稼働される。フレームメモリ43は、撮像器35により撮像されさらにGPU42により演算処理された画像を記憶する記憶装置である。RAMDAC44(Random Access Memory Digital-to-Analog Converter)は、フレームメモリ43に記憶された画像データを、アナログディスプレイである表示部46向けのアナログ信号に変換する。
【0061】
GPS受信器36は、GPS衛星24(図1参照)から測位信号であるGPS信号を受信する。GPS信号には、緯度、経度、高度の位置座標情報が含まれる。ビーコン受信器37は、複合娯楽施設10内に設置されたビーコンの発信器22から出力される位置信号を受信する。
【0062】
ここで、GPS受信器36とビーコン受信器37は、ともに位置推定機能が重複する。したがって、表示装置30には、GPS受信器36とビーコン受信器37のどちらか一方のみが設けられていてもよい。
【0063】
入力部47は撮像器35への起動指令や撮像指令を入力可能となっている。例えば入力部47は、表示部46と一体化されたタッチパネルであってよい。
【0064】
図6には、表示装置30の機能ブロック図が例示される。この機能ブロック図は、例えばシステムメモリ40やストレージデバイス41に記憶されたプログラムを、CPU31やGPU42が実行することで構成される。または、DVDやコンピュータのハードディスク等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、CPU31やGPU42が実行することで、図6に例示される機能ブロックが構成される。
【0065】
図6には、図3にも例示されたハードウェア構成の一部と機能ブロックとが混在した状態で表示装置30の構成が示される。図6にはハードウェア構成として、撮像器35、表示制御部45、入力部47、及び表示部46が例示される。
【0066】
また機能ブロックとして、表示装置30は、位置情報取得部50、送信部52、受信部55、向き方位推定部56、及び画像認識部58を備える。また記憶部として表示装置30は、仮想物体データ記憶部57、学習済みモデル記憶部59を備える。これらの機能ブロックは、CPU31、システムメモリ40、ストレージデバイス41、GPU42、及びフレームメモリ43等から構成される。
【0067】
位置情報取得部50は、図3のGPS受信器36及びビーコン受信器37の少なくとも一方から、自身の現在位置の情報を取得する。この位置情報はいわゆるワールド座標系の位置情報であって、GPS信号の場合は緯度、経度及び高度情報からなる空間座標系上の位置情報に含まれる。また受信した位置情報がビーコン信号から取得したものである場合には、ワールド座標系の位置情報として、例えば複合娯楽施設10の任意の地点を原点とした空間座標系上のx座標、y座標及びz座標が位置情報に含まれる。なおここでx座標及びy座標は水平面上の直交座標軸であってよく、またz座標は鉛直軸であってよい。
【0068】
向き方位推定部56は、表示装置30の向き及び方位を推定する。向き方位推定部56は、加速度センサ32(図3参照)、ジャイロセンサ33、及び地磁気センサ34を含んで構成される。地磁気センサ34により磁北に対する表示装置30の傾きが検出できる。また加速度センサ32及びジャイロセンサ33により、図5にて示された直交座標系における傾きが検出される。その結果、例えば磁北に対する撮像器35の光軸の向きを求めることができる。
【0069】
画像認識部58は、撮像器35による撮像画像データを受信して画像認識を行う。画像認識には、撮像画像中の現実物体の認識と、認識された現実物体と表示装置30との離隔距離の推定が含まれる。このような画像認識に当たり、撮像画像データには例えば上述したように、現実世界の風景を撮像したカラー画像データに加えて、当該カラー画像データの各画素の、撮像器35からの離隔距離データが含まれる。
【0070】
画像認識部58は学習済みモデル記憶部59に記憶された画像認識用の学習モデルを用いて、撮像画像中の現実物体の認識を行う。学習済みモデル記憶部59には、例えば、外部のサーバ等によって学習済みの画像認識用のニューラルネットワークが記憶される。例えば複合娯楽施設10を含む屋外の画像データであって、画像内の各物体のセグメント済み及びアノテーション済みのデータが、訓練用データとして準備される。この訓練用データを用いて、教師有り学習により機械学習された多階層のニューラルネットワークが形成され、学習済みモデル記憶部59に記憶される。このニューラルネットワークは、例えば畳み込みニューラルネットワーク(CNN)であってよい。
【0071】
上述したように、撮像器35は測距機能が設けられたRGB-Dカメラであって、撮像画像内の各画素の、撮像器35からの離隔距離が取得できる。この離隔距離を用いて、画像認識により認識された、撮像画像内の現実物体の、撮像器35からの離隔距離が求められる。これにより、撮像画像内のそれぞれの現実物体に対して、撮像器35の所定点(例えば焦点)を原点とする、いわゆるローカル座標系における位置情報が得られる。
【0072】
さらに向き方位推定部56による撮像器35の向きと、位置情報取得部50により取得された、ワールド座標系上の表示装置30の位置に基づけば、撮像画像中の現実物体に対して、ワールド座標系上の位置(空間座標系上の位置)を求めることができる。
【0073】
なお、撮像画像では、奥行き方向に遠方の現実物体も撮像されるが、追跡ゲームにおいては追跡者近傍の逃走者(キャラクタ)を捕捉するのが一般的である。そこで例えば、撮像画像の画素別に求められた距離情報について、所定の離隔距離(例えば100m)を超過した場合には、当該画素についてはワールド座標系上の位置が求められなくてもよい。
【0074】
仮想物体データ記憶部57には、逃走者を示す仮想物体、つまりキャラクタの画像データが記憶される。仮想物体データ記憶部57には、すべてのエリア14A,16A,18Aのキャラクタ画像データが記憶されてよい。例えば仮想物体データ記憶部57には、各エリア14A,16A,18A別に、それぞれ任意の1種類のキャラクタ画像データが記憶される。またこれらのキャラクタ画像データには、位置情報が関連付けられる。例えば仮想物体として表示可能な位置座標の範囲が、それぞれのキャラクタ画像データに関連付けられる。
【0075】
表示制御部45は、現実世界の風景に仮想物体の画像を重畳させた拡張現実画像(AR画像)を生成してこれを表示部46に表示可能となっている。例えば表示制御部45は、撮像器35が現実世界の風景を撮像した撮像画像に、仮想物体であるキャラクタの画像を重畳し、その重畳画像を表示部46に表示させる。表示部46は、例えば液晶ディスプレイまたは有機ELディスプレイであってよい。
【0076】
後述される図10のように、表示制御部45は、撮像器35による撮像画像に、追跡ゲームにおける逃走者である仮想物体の画像を重畳させる、拡張現実画像を生成する。表示制御部45は、サーバ70から逃走者(仮想物体)の位置情報(指定位置)を取得する。さらに表示制御部45は、撮像画像内の指定位置に、逃走者の画像であるキャラクタ画像を重畳させる。このとき、重畳されるキャラクタ画像として、指定位置に応じた、すなわち、指定位置に含まれるエリア14A,16A,18Aに対して設定された、キャラクタ画像が選択される。
【0077】
なお、追跡ゲームにおいては追跡者近傍の逃走者(キャラクタ)を捕捉するのが一般的であるため、指定位置が所定の離隔距離(例えば100m)を超過した場合には、当該指定位置に対応する逃走者については、キャラクタ画像を撮像画像に重畳させなくてもよい。
【0078】
<遠隔監視装置の構成>
遠隔端末装置100は、複合娯楽施設10から離隔された遠隔地の操作者94(図1参照)によって操作される操作装置である。図1では一台の遠隔端末装置100及び一人の操作者94が図示されているが、複数台の遠隔端末装置100がサーバ70に通信可能であり、したがって複数の操作者94が追跡ゲームへの、逃走者としての参加が可能となっている。
【0079】
遠隔端末装置100(操作装置)は例えばコンピュータであってよい。図3を参照して、遠隔端末装置100は、演算装置のCPU101、記憶装置のシステムメモリ102及びストレージデバイス104を備える。
【0080】
また遠隔端末装置100は、表示部106と当該表示部106への表示画像を制御する表示制御部105を備える。また遠隔端末装置100は、情報の入出力を管理する入出力コントローラ103を備える。遠隔端末装置100は、インターネット等の通信手段により、サーバ70と通信可能となっている。
【0081】
さらに遠隔端末装置100は、情報入力を行う入力部107を備える。入力部107は、例えばマウスやキーボードのような、逃走者への操作指令を入力可能な機器である。後述されるように、逃走者への操作指令とは、逃走者である仮想物体の位置(指定位置)を設定する指令が含まれる。
【0082】
図7には、遠隔端末装置100の機能ブロックが、図3のハードウェア構成とともに例示される。遠隔端末装置100は、機能ブロックとして、送信部110、受信部111、仮想物体データ記憶部112、及び施設マップ記憶部113を備える。
【0083】
仮想物体データ記憶部112には、逃走者の仮想物体であるキャラクタの画像データが記憶される。キャラクタ画像データは位置情報と関連付けられている。例えば逃走者を示す仮想物体の画像として表示が許可される、複合娯楽施設10上の位置座標の範囲が、キャラクタ画像データと関連付けられて仮想物体データ記憶部112に記憶される。
【0084】
施設マップ記憶部113には、複合娯楽施設10のパークマップデータが記憶される。このパークマップデータは、サーバ70(図4参照)の施設マップ記憶部81に記憶されたパークマップデータと同一のデータであってよい。
【0085】
表示制御部105は、後述される図14のように、パークマップの画像、つまり複合娯楽施設10の平面図上に、同施設内の逃走者及び追跡者の画像を重ねたゲーム画像を生成する。例えばサーバ70から、逃走者及び追跡者の現在位置情報が提供される。表示制御部105は、パークマップ上の、サーバ70から提供された現在位置に、逃走者及び追跡者の画像を重畳させる。
【0086】
<追跡ゲーム追跡者側フロー>
図8には、本実施形態に係る表示システムを用いたARゲームである、追跡ゲームの追跡者側のフローが例示される。追跡者側フローでは、サーバ70及び表示装置30が専らステップの実行主体となる。図8の各ステップにおいてサーバ70により実行されるステップが(S)で示される。また表示装置30により実行されるステップが(D)で示される。
【0087】
図4図6図8を参照して、この追跡者フローは、複合娯楽施設10に配置された表示装置30の入力部47に、追跡ゲームの参加登録申請が入力された時点で起動される。参加登録申請の入力を受けて、表示装置30の位置情報取得部50は、自身の現在位置を取得する。この現在位置はワールド座標系上の位置座標である。また参加登録申請の入力を受けて、撮像器35が起動して複合娯楽施設10内の風景を撮像する。
【0088】
位置情報取得部50が取得した位置情報及び入力部47から入力された参加登録情報は、送信部52からサーバ70に送信される(S10)。サーバ70の受信部83は、表示装置30の位置情報と参加登録情報を参加者算出部84に送信する。また受信部83は、表示装置30の位置情報を3Dモデル抽出部86に送信する。
【0089】
3Dモデル抽出部86は、テーマパーク別キャラクタ記憶部82から、仮想物体データを抽出する。仮想物体データとは、上述したように、キャラクタ画像データ及びこれに関連付けられた位置情報データ(表示領域データ)が含まれる。この仮想物体データは、送信部87から表示装置30に送信される(S12)。
【0090】
参加者算出部84は、受信部83から受信した位置情報及び参加登録情報を追跡ゲーム参加者記憶部80に記憶させる。さらに参加者算出部84は、追跡ゲーム参加者記憶部80から、追跡ゲームへの参加者の情報を取得する。この情報には、逃走者の位置情報が含まれる。逃走者の位置情報は、追跡ゲームに参加中の、すべての逃走者の位置情報であってよい。または、逃走者の位置情報は、表示装置30から所定距離内に含まれる逃走者の位置情報であってもよい。例えば、表示装置30の位置から半径100m以内の領域に含まれる逃走者の位置情報が、参加者算出部84に取得される。この逃走者の位置情報は、ワールド座標系の位置座標情報であってよい。参加者算出部84は、取得した逃走者の位置情報を表示装置30に送信する(S14)。
【0091】
表示装置30の画像認識部58は、撮像器35による撮像画像に対して画像認識を実行し、撮像画像中の現実物体のセグメンテーション及びアノテーションを行う。さらに画像認識部58は、撮像器35の測距機能に基づき、認識された各現実物体の、表示装置30からの離隔距離を求める(S16)。
【0092】
続けて画像認識部58は、向き方位推定部56から、撮像器35の光軸の向き及び方位を求める(S18)。例えば画像認識部58は、撮像器35の光軸の、磁北に対する方位(角度)と、光軸を含む直交3軸周りの回転角(向き)を求める。
【0093】
さらに画像認識部58は、表示装置30のワールド座標系上の位置を、位置情報取得部50から求める(S20)。また画像認識部58は、撮像画像内の現実物体のワールド座標系上の位置を求める(S22)。撮像画像と、同画像内にて認識された現実物体情報と、その現実物体のワールド座標系上の位置情報は、表示制御部45に送信される。
【0094】
表示制御部45は、撮像画像内に含まれる逃走者の位置座標を求める(S24)。例えばサーバ70から送信された、複数の逃走者の位置座標が、撮像画像内に含まれるか否かを判定する。
【0095】
さらに表示制御部45は、撮像画像内の逃走者の位置(指定位置)に、仮想物体画像であるキャラクタ画像を重畳させる(S26)。なおこのとき重畳されるキャラクタ画像は、逃走者の位置情報に基づいて選択される。例えば逃走者の位置が含まれるエリア14A,16A,18Aに対応して設定されたキャラクタ画像が選択され、当該画像が撮像画像に重畳される。
【0096】
図9には複合娯楽施設10内の風景が例示される。また図10には同風景を表示装置30の撮像器35にて撮像し、表示部46に撮像画像を表示させたときの例が示される。この例では撮像画像中に逃走者の位置である指定位置(x1,y1,z1)が含まれ、当該指定位置にキャラクタ画像19が重畳される。またこの例では、指定位置(x1,y1,z1)が動物園エリア18A(図2参照)に含まれる例が示され、同エリアに対して設定されたサルのキャラクタ画像19が撮像画像に重畳される。
【0097】
さらに画像認識部58は、仮想物体の捕捉判定を行う(S28)。図11を参照して、表示部46にキャラクタ画像19が表示されている状態で、追跡者の手120が撮像器35の撮像視野内に入る、つまり表示部46の対向面側に進入する。
【0098】
さらに追跡者の手120が撮像器35によって撮像され画像認識部58によって認識される。図12に例示されるように、撮像画像内の現実物体である追跡者の手121の位置が仮想物体の指定位置と一致し、さらに手121により所定のジェスチャー操作が行われると、画像認識部58は当該ジェスチャー操作を認識する。さらに画像認識部58は、ジェスチャー操作の認識により、図12に例示されるように、逃走者である仮想物体が追跡者に捕捉されたと判定する。このジェスチャー操作は、要するに表示部46上で仮想物体画像であるキャラクタ画像を手120で捕まえるような動作(捕捉動作)であればよい。画像認識部58は、キャラクタ画像に対する捕捉動作を認識したときに、捕捉通知を、送信部52を介してサーバ70に送信する(S30)。捕捉通知には、追跡者である自身(表示装置30)の識別記号、捕捉した位置、及び、捕捉した逃走者の識別記号が含まれる。
【0099】
また画像認識部58により、逃走者が捕捉されたと判定されると、表示制御部45は、仮想物体に対する捕捉時の画像処理を実行する。例えば図12に例示されるように、表示制御部45は、キャラクタ画像19が消えたことを示す放射状の線図122を表示部46に表示させる。
【0100】
捕捉通知はサーバ70の報酬算出部85に送信される。報酬算出部85は、捕捉に対する報酬を追跡者に付与する(S32)。例えば報酬として得点が表示装置30に送信される。表示装置30の表示部46にはその得点が表示される。逃走者の捕捉によって、捕捉した追跡者に対する追跡ゲームは終了する。
【0101】
一方、ステップS28にて逃走者(仮想物体)が追跡者に捕捉されていないと画像認識部58が判定した場合には、ステップS14まで戻り、逃走者の位置座標をサーバ70から再度取得する。
【0102】
このように、追跡ゲームにおいて追跡者は、表示装置30の表示部46に表示される仮想物体(逃走者)を追い掛けるゲームを楽しむことができる。さらに表示部46に表示される仮想物体の画像として、当該仮想物体が位置するエリア14A,16A,18Aに対応したキャラクタ画像が選択される。また例えば、仮想物体の位置座標がエリアを跨ぐと、表示されるキャラクタ画像が変化する。このような表示制御を行うことにより、複合娯楽施設10の各テーマパーク14,16,18の世界観に沿った演出が可能となる。
【0103】
<追跡ゲーム逃走者側フロー>
図13には、追跡ゲームの逃走者側のフローが例示される。このフローのステップは、専らサーバ70及び遠隔端末装置100により実行される。図13では、サーバ70により実行されるステップが(S)で示され、遠隔端末装置100により実行されるステップが(T)で示される。図4図7図13を参照して、遠隔端末装置100の入力部107に、追跡ゲームの参加登録申請が入力されると、図13のフロー(逃走者側フロー)が起動する。
【0104】
遠隔端末装置100は、参加登録情報をサーバ70に送信する(S50)。参加登録情報には、遠隔端末装置100またはその操作者94(図1参照)の識別記号が含まれる。参加登録情報を受信したサーバ70の受信部83は、当該情報を参加者算出部84に送信する。参加者算出部84は追跡ゲーム参加者記憶部80に参加登録情報を記憶させる。
【0105】
さらに参加者算出部84は、追跡ゲーム参加者記憶部80から、現在参加中のすべての追跡者の位置情報を取得する(S52)。次に参加者算出部84は、追跡者の近傍を逃走者の初期位置に設定する(S54)。追跡者が複数参加中である場合には、ランダムに追跡者が選択され、その近傍が逃走者の初期位置に設定される。追跡者の近傍とは、例えば追跡者の位置から半径1m以内の範囲を指す。
【0106】
さらに参加者算出部84は、施設マップ記憶部81からパークマップデータを取得して、送信部87を介して遠隔端末装置100に同データを送信する(S56)。また3Dモデル抽出部86は、参加登録情報を受けて、仮想物体データを遠隔端末装置100に送信する。
【0107】
次に参加者算出部84は、逃走者及び追跡者の位置情報を遠隔端末装置100に送信する(S58)。追跡者の位置情報には、複合娯楽施設10内にて追跡ゲームに参加中の、すべての追跡者の位置情報が含まれる。同様にして逃走者の位置情報には、複合娯楽施設10内にて追跡ゲームに参加中の、すべての逃走者の位置情報が含まれる。また、ステップS54にて設定した逃走者の初期位置情報、つまり自身の初期位置情報も、逃走者の位置情報に含まれる。
【0108】
遠隔端末装置100では、仮想物体データ記憶部112に仮想物体データが記憶される。また施設マップ記憶部113には、パークマップデータが記憶される。さらに表示制御部105は、追跡者と、自身を含む逃走者の仮想物体画像が重畳されたパークマップ画像を、ゲーム画像として生成して表示部106に表示させる(S60)。
【0109】
図14にはゲーム画像が例示される。このゲーム画像では、パークマップ画像上の、追跡者及び逃走者の位置座標に、キャラクタ画像15,17,19が重畳される。逃走者のキャラクタ画像15,17,19は、逃走者の位置がどのエリア14A,16A,18Aに含まれるかに応じて選択される。これに対して、追跡者のキャラクタ画像125はエリア14A,16A,18Aに関わらずに一律に設定されてよい。
【0110】
また、遠隔端末装置100を介して操作者が操作する逃走者を示すキャラクタ画像19Aについては、例えばハッチングが施されるなど、他のキャラクタ画像と識別可能な画像処理が施されていてよい。
【0111】
表示部106に図14のようなゲーム画像が表示されるのに応答して、操作者94(図1参照)は、操作対象の逃走者であるキャラクタ画像19Aが追跡者から逃れるように操作指令を入力部107に入力する(S62)。つまり操作者94は、現在位置よりも追跡者から離隔した位置を逃走者(仮想物体)の指定位置に設定するような操作指令を入力部107に入力する。
【0112】
入力された操作指令はサーバ70に送られる。ここで、報酬算出部85は、追跡者である表示装置30から、キャラクタ画像19Aに対する捕捉通知が送られているか否かを判定する(S64)。キャラクタ画像19Aに対して捕捉通知が送られていない場合には、ステップS58に戻る。
【0113】
一方、ステップS64において、キャラクタ画像19Aに対して捕捉通知がサーバ70に送られているときには、報酬算出部85は報酬の算出を行う。
【0114】
まず報酬算出部85は、キャラクタ画像19Aの逃走期間に基づいて、スコア係数k1を求める(S66)。逃走期間は、例えば仮想物体であるキャラクタ画像19Aの操作開始時点から捕捉動作の認識時点、つまり捕捉通知の出力時点までの期間を示す。スコア係数k1は、逃走期間と正比例して高い値に設定される。
【0115】
次に報酬算出部85は、キャラクタ画像19Aの捕捉時点における逃走者密度に基づいて、スコア係数k2を求める(S68)。逃走者密度は、仮想物体空間密度と呼ばれてもよく、仮想物体画像であるキャラクタ画像19A周辺の空間密度を表す。例えば捕捉されたキャラクタ画像19Aの位置座標から半径5m以内の仮想物体(逃走者)の空間密度が逃走者密度として算出される。なお逃走者密度として、捕捉動作の認識時点、つまり捕捉通知の出力時点における仮想物体(逃走者)の空間密度が算出される。
【0116】
逃走者密度が高いほど、逃走者が捕まりにくくなる。したがって、逃走者密度が高いほどスコア係数k2が低くなるように設定される。例えば逃走者密度とスコア係数k2は反比例の関係となるように設定される。
【0117】
次に報酬算出部85は、キャラクタ画像19Aの捕捉時点における追跡者密度に基づいて、スコア係数k3を求める(S70)。追跡者密度は、追跡者空間密度と呼ばれてもよく、キャラクタ画像19A周辺の、追跡者の空間密度を表す。例えばキャラクタ画像19Aの位置座標から半径5m以内の表示装置30の空間密度が追跡者密度として算出される。また追跡者密度として、キャラクタ画像19Aに対する捕捉動作の認識時点、つまり捕捉通知の出力時点における表示装置30の空間密度が算出される。
【0118】
追跡者密度が高いほど、逃走者が捕まり易くなる。したがって、追跡者密度が高いほど、スコア係数k3が高くなるように設定される。例えば追跡者密度とスコア係数k3は正比例の関係となるように設定される。
【0119】
さらに報酬算出部85は、所定の基本点にスコア係数k1,k2,k3を乗じた得点を算出してこれを遠隔端末装置100に付与する(S72)。例えば、遠隔端末装置100を介して逃走者を操作した操作者94(図1)は、複合娯楽施設10への来場時に、付与された得点に応じた割引サービスを受けることができる。
【0120】
以上説明した表示システムによれば、追跡ゲームにおける逃走者の逃走経路が、遠隔端末装置100の操作者によって定められる。したがって逃走者の逃走経路のパターン化が避けられる。
【0121】
また操作者にとっては、複合娯楽施設10から離隔された場所から、当該施設のイベントに参加することができる。加えて、複合娯楽施設10の来場時における割引サービスが受けられることから、同サービスが逃走者を操作する動機づけとなり、十分な数の逃走者を追跡ゲームに登場させることができる。
【0122】
さらに表示システムの提供者にとっては、逃走者の逃走経路を設定するアルゴリズムを作成する必要が無いため、その分、開発コストを抑制可能となる。
【0123】
<表示システムの別例>
図15図17には、本実施形態に係る表示システムの別例が示される。このシステムでは、現実世界の撮像画像に逃走者である仮想物体の画像が重畳された重畳画像が、サーバ70によって作成される。また、パークマップデータに逃走者及び追跡者の画像が重畳されたゲーム画像が、サーバ70によって作成される。
【0124】
図15を参照して、サーバ70には、図4にて示される機能ブロックに加え、表示制御部88が設けられる。図4と重複する機能ブロックについては、その機能は同一であるため、以下では適宜説明が省略される。表示制御部88は、表示装置30(図6参照)における表示制御部45と、遠隔端末装置100(図7参照)における表示制御部105の機能とを備える。つまり表示制御部88は、表示装置30に表示される拡張現実画像と、遠隔端末装置100に表示されるゲーム画像を生成する。
【0125】
またサーバ70に表示制御部88が設けられたのに伴い、図16に例示されるように、表示装置30では表示制御部45が省略される。また仮想物体データ記憶部57も省略される。また図17に例示されるように、遠隔端末装置100では、表示制御部105に加えて、仮想物体データ記憶部112及び施設マップ記憶部113が省略される。
【0126】
図18には、図15図16のサーバ70及び表示装置30による、追跡ゲームの追跡者フローが例示される。図8の追跡者フローと同一の符号が付されたステップは、その処理内容が変わらないため、以下では適宜説明が省略される。
【0127】
表示装置30から追跡ゲームへの参加登録を受けると、表示装置30はサーバ70に参加登録情報を送信する。当該情報には表示装置30の位置情報も含まれる。参加登録情報はサーバ70の追跡ゲーム参加者記憶部80に記憶される。
【0128】
さらにステップS16~S22にて、撮像画像内の現実物体の認識、及びこれらの現実物体のワールド座標系上の位置情報が、表示装置30によって求められる。次にこの位置情報付き撮像画像データが、表示装置30の位置情報と合わせて、サーバ70に送信される(S82)。さらにサーバ70の表示制御部88は、撮像画像内に含まれる逃走者の位置座標を求める(S84)。
【0129】
次のステップS28にて、逃走者が追跡者(つまり表示装置30の保持者)に捕捉されていない、つまり追跡ゲームが続行中である場合には、表示制御部88は、撮像画像内の逃走者の位置に逃走者である仮想物体のキャラクタ画像を重畳させる(S86)。重畳されるキャラクタ画像は、逃走者の位置に基づいて定められる。例えば逃走者の位置に含まれるエリア14A,16A,18Aに対応して設定されたキャラクタ画像が撮像画像に重畳される。さらにその重畳画像(AR画像)がサーバ70から表示装置30に送信される(S88)。
【0130】
図19には、図15図17のサーバ70及び遠隔端末装置100による、追跡ゲームの逃走者フローが例示される。図13の逃走者フローと同一の符号が付されたステップは、その処理内容が変わらないため、以下では適宜説明が省略される。
【0131】
ステップS58にてサーバ70の参加者算出部84が、追跡者及び逃走者の位置情報を、追跡ゲーム参加者記憶部80から取得すると、表示制御部88は、パークマップ画像に、追跡者と逃走者のキャラクタ画像が加えられたゲーム画像を作成する(S90)。なお、当該ゲーム画像を送信する送信先の遠隔端末装置100に対応する逃走者にはハッチング等の識別画像が追加される。作成されたゲーム画像は遠隔端末装置100に送信され(S92)、遠隔端末装置100の表示部106に表示される。
【0132】
上記実施形態によれば、表示装置30及び遠隔端末装置100から表示制御部が省略されるため、これらの装置に対する、拡張現実画像及びゲーム画像を作成する負荷が軽減される。
【0133】
<表示装置の別例>
上述した実施形態では、表示装置30として、ビデオ透過型ディスプレイであるスマートフォンが例示されていたが、本実施形態に係る表示装置30はこの形態に限られない。例えば図20に例示されるようなヘッドマウントディスプレイ(HMD)のように、表示装置30が光学透過型ディスプレイから構成されてもよい。
【0134】
この場合、表示装置30は、撮像器35、表示部46に対応するハーフミラー202、表示制御部45及び画像認識部58に対応するプロジェクタ203、ならびに、位置情報取得部50に対応するセンサユニット201を含んで構成される。
【0135】
ハーフミラー202は、例えば眼鏡やゴーグルのレンズであってよい。ハーフミラー202は、現実世界からの光(像)が着用者まで透過される。一方、ハーフミラー202の上方に配置されたプロジェクタ203は、仮想物体の像をハーフミラー202に投影させる。これにより、現実世界の風景である、複合娯楽施設10内の風景に、逃走者を示す仮想物体であるキャラクタの画像を重畳させた拡張現実画像が表示可能となる。
【符号の説明】
【0136】
10 複合娯楽施設、14 遊園地、14A 遊園地エリア、15 キャラクタ画像(ピエロ)、16 水族館、16A 水族館エリア、17 キャラクタ画像(魚)、18 動物園、18A 動物園エリア、19 キャラクタ画像(サル)、20 連絡通路、30 表示装置、35 撮像器、45 表示装置の表示制御部、46 表示装置の表示部、47 表示装置の入力部、50 位置情報取得部、56 向き方位推定部、57 仮想物体データ記憶部、58 画像認識部、59 学習済みモデル記憶部、70 サーバ、80 追跡ゲーム参加者記憶部、81 施設マップ記憶部、82 テーマパーク別キャラクタ記憶部、84 参加者算出部、85 報酬算出部、86 3Dモデル抽出部、94 操作者、100 遠隔端末装置、105 遠隔端末装置の表示制御部、106 遠隔端末装置の表示部、107 遠隔端末装置の入力部、112 遠隔端末装置の仮想物体データ記憶部、113 遠隔端末装置の施設マップ記憶部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20