特許 6228640 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6228640

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20171030BHJP

   G09G 5/14 20060101ALI20171030BHJP

   G09G 5/377 20060101ALI20171030BHJP

   G09G 5/38 20060101ALI20171030BHJP

   G06F 3/01 20060101ALI20171030BHJP

   G06F 3/0481 20130101ALI20171030BHJP

   G06F 3/0485 20130101ALI20171030BHJP

   G06T 19/00 20110101ALI20171030BHJP

   G02B 27/02 20060101ALN20171030BHJP

【ＦＩ】

   G09G5/00 550C

   G09G5/00 510B

   G09G5/00 530M

   G09G5/14 C

   G09G5/36 520M

   G09G5/38 A

   G06F3/01 510

   G06F3/0481 150

   G06F3/0485

   G06T19/00 300B

   !G02B27/02 Z

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2016-160084(P2016-160084)

(22)【出願日】2016年8月17日

【審査請求日】2016年11月30日

【早期審査対象出願】

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】110001416

【氏名又は名称】特許業務法人 信栄特許事務所

(72)【発明者】

【氏名】菅原 健太

【審査官】 橋本 直明

(56)【参考文献】

【文献】 特開平１０−２４０２１３（ＪＰ，Ａ）

【文献】 特開２００７−０８６７１６（ＪＰ，Ａ）

【文献】 特許第５９１４７３９（ＪＰ，Ｂ１）

【文献】 特許第５９６１７３６（ＪＰ，Ｂ１）

【文献】 特開２０１４−１２７９８７（ＪＰ，Ａ）

【文献】 特許第５８８２５１７（ＪＰ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０４８５

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／１４

Ｇ０９Ｇ ５／３７７

Ｇ０９Ｇ ５／３８

Ｇ０２Ｂ ２７／０２

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
（ａ）第一仮想カメラおよび表示オブジェクトを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、
（ｂ）前記第一仮想カメラの視野および前記第一仮想空間データに基づいて、前記ヘッドマウントディスプレイに第一視野画像を表示させるステップと、
（ｃ）前記ヘッドマウントディスプレイの動きと連動して前記第一仮想カメラを前記第一仮想空間内で動かすことにより、前記第一視野画像を更新するステップと、
（ｄ）第二仮想カメラを含み、３６０度空間画像データを特定する第二仮想空間を定義する第二仮想空間データを生成するステップと、
（ｅ）前記第二仮想カメラの視野および前記第二仮想空間データに基づいて、前記３６０度空間画像データのうち前記表示オブジェクトの形状に対応する部分として特定された第二視野画像を前記表示オブジェクトに表示させるステップと、
（ｆ）前記ヘッドマウントディスプレイの動きと連動して前記第二仮想カメラを前記第二仮想空間内で動かすことにより、前記第二視野画像を更新するステップと、
を含む、表示制御方法。

【請求項2】

前記ステップ（ｅ）では、前記表示オブジェクトが前記第一仮想カメラの視野内に入ったときに、前記表示オブジェクトへの前記第二視野画像の表示を開始する、請求項１に記載の表示制御方法。

【請求項3】

前記ステップ（ｅ）では、前記表示オブジェクトが前記第一仮想カメラの視野内に入ったときに、前記第二仮想カメラの視野の正面方向を前記表示オブジェクトに表示される前記第二視野画像に含める、請求項１または２に記載の表示制御方法。

【請求項4】

請求項１から３のいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラムに関する。

【背景技術】

【0002】

特許文献１は、ユーザが視認し易いように、広告等が表示された看板の表示位置及び表示方向を変更して仮想空間内に表示する方法を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−２４８８４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザの頭部に装着され、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間や拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間等の仮想空間として仮想空間画像を表示可能なヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ‐Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が知られている。特許文献１には、看板に表示される広告の表示態様についてその詳細は開示されていない。
また、仮想空間においては、例えば３６０°動画を広告として提供することが考えられる。従来より、ユーザの視野を提供するための仮想カメラとは別のカメラ（サブカメラ）の撮影画像を仮想空間内のオブジェクトにレンダリングするという手法が知られている。しかしながら、この方法により仮想空間内のオブジェクトに動画広告を流したとしても、その動画広告のサムネイルがオブジェクト上に平面的（二次元的）に表示されるだけであって、ユーザはその画像が３６０°動画広告なのかどうかを容易に把握することができない。

【0005】

本開示は、視野内に訴求力の高い動画、例えば３６０°動画が存在することをユーザが容易に認識可能な表示制御方法を提供することを目的とする。また、本開示は、当該表示制御方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示が示す一態様によれば、ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
当該表示制御方法は、
（ａ）第一仮想カメラおよび表示オブジェクトを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、
（ｂ）前記第一仮想カメラの視野および前記第一仮想空間データに基づいて、前記ヘッドマウントディスプレイに第一視野画像を表示させるステップと、
（ｃ）前記ヘッドマウントディスプレイの動きと連動して前記第一仮想カメラを前記第一仮想空間内で動かすことにより、前記第一視野画像を更新するステップと、
（ｄ）第二仮想カメラを含む第二仮想空間を定義する第二仮想空間データを生成するステップと、
（ｅ）前記第二仮想カメラの視野および前記第二仮想空間データに基づいて、前記表示オブジェクトに第二視野画像を表示させるステップと、
（ｆ）前記ヘッドマウントディスプレイの動きと連動して前記第二仮想カメラを前記第二仮想空間内で動かすことにより、前記第二視野画像を更新するステップと、
を含む。

【0007】

また、本開示が示す一態様によれば、ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
当該表示制御方法は、
（ａ）第一仮想カメラおよび表示オブジェクトを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、
（ｂ）前記第一仮想カメラの視野および前記第一仮想空間データに基づいて、前記ヘッドマウントディスプレイに第一視野画像を表示させるステップと、
（ｃ）前記ヘッドマウントディスプレイの動きと連動して前記第一仮想カメラを前記第一仮想空間内で動かすことにより、前記第一視野画像を更新するステップと、
（ｄ）前記第一視野画像とは異なる第二視野画像を、当該第二視野画像が３６０°動画であることが把握可能な表示態様で前記表示オブジェクトに表示するステップと、
を含む。

【発明の効果】

【0008】

本開示によれば、視野内に訴求力の高い動画、例えば３６０°動画が存在することをユーザが容易に認識可能な表示制御方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）システムを示す概略図である。

【図2】ＨＭＤを装着したユーザの頭部を示す図である。

【図3】制御装置のハードウェア構成を示す図である。

【図4】視野画像をＨＭＤに表示する処理を示すフローチャートである。

【図5】仮想空間の一例を示すｘｙｚ空間図である。

【図6】状態（ａ）は、図５に示す仮想空間のｙｘ平面図であり、状態（ｂ）は、図５に示す仮想空間のｚｘ平面図である。

【図7】本実施形態に係る表示制御方法を説明するためのフローチャートである。

【図8】本実施形態に係る表示制御方法を説明するための模式図である。

【図9】仮想カメラが、図８に示す位置から、視野内にモニタオブジェクトが含まれる位置に移動された状態を示す図である。

【発明を実施するための形態】

【0010】

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
（ａ）第一仮想カメラおよび表示オブジェクトを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、
（ｂ）前記第一仮想カメラの視野および前記第一仮想空間データに基づいて、前記ヘッドマウントディスプレイに第一視野画像を表示させるステップと、
（ｃ）前記ヘッドマウントディスプレイの動きと連動して前記第一仮想カメラを前記第一仮想空間内で動かすことにより、前記第一視野画像を更新するステップと、
（ｄ）第二仮想カメラを含む第二仮想空間を定義する第二仮想空間データを生成するステップと、
（ｅ）前記第二仮想カメラの視野および前記第二仮想空間データに基づいて、前記表示オブジェクトに第二視野画像を表示させるステップと、
（ｆ）前記ヘッドマウントディスプレイの動きと連動して前記第二仮想カメラを前記第二仮想空間内で動かすことにより、前記第二視野画像を更新するステップと、を含む。

【0011】

上記方法によれば、視野内に訴求力の高い動画、例えば３６０°動画が存在することをユーザが容易に認識することができる。

【0012】

（２）前記ステップ（ｄ）では、前記表示オブジェクトが前記第一仮想カメラの視野内に入ったときに、前記表示オブジェクトへの前記第二視野画像の表示を開始しても良い。

【0013】

上記方法によれば、ユーザがモニタオブジェクトを視認できる場合にのみ３６０°動画である第二視野画像を再生することで、データ処理量を減らすことができる。

【0014】

（３）前記ステップ（ｄ）では、前記表示オブジェクトが前記第一仮想カメラの視野内に入ったときに、前記第二仮想カメラの視野の正面方向を前記表示オブジェクトに表示される前記第二視野画像に含めても良い。

【0015】

上記方法によれば、例えばモニタオブジェクト上での３６０°動画の再生をその動画の正面方向から開始することで、当該３６０°動画の訴求力をさらに高めることができる。

【0016】

（４）ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
当該表示制御方法は、
（ａ）第一仮想カメラおよび表示オブジェクトを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、
（ｂ）前記第一仮想カメラの視野および前記第一仮想空間データに基づいて、前記ヘッドマウントディスプレイに第一視野画像を表示させるステップと、
（ｃ）前記ヘッドマウントディスプレイの動きと連動して前記第一仮想カメラを前記第一仮想空間内で動かすことにより、前記第一視野画像を更新するステップと、
（ｄ）前記第一視野画像とは異なる第二視野画像を、当該第二視野画像が３６０°動画であることが把握可能な表示態様で前記表示オブジェクトに表示するステップと、
を含む。

【0017】

上記方法によれば、視野画像内に３６０°動画が存在することをユーザが容易に認識することができる。

【0018】

（５）上記（１）から（４）のいずれかに記載の表示制御方法をコンピュータに実行させるためのプログラムである。

【0019】

この構成によれば、視野内に訴求力の高い動画、例えば３６０°動画が存在することをユーザが容易に認識することができるプログラムを提供することができる。

【0020】

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。なお、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

【0021】

図１は、本開示が示す実施形態（以下、単に本実施形態という。）に係る表示制御方法を実現するヘッドマウントディスプレイ（以下、単にＨＭＤという。）システム１を示す概略図である。図１に示すように、ＨＭＤシステム１は、ユーザＵの頭部に装着されたＨＭＤ１１０と、位置センサ１３０と、制御装置１２０と、外部コントローラ３２０とを備える。

【0022】

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、ヘッドホン１１６とを備えている。

【0023】

表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を覆うように構成された非透過型の表示装置を備えている。ＨＭＤ１１０は、透過型表示装置を備えており、当該透過型表示装置の透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。なお、表示部１１２は、ユーザＵの左眼に投影される左眼用の表示部とユーザＵの右眼に投影される右眼用の表示部とから構成されてもよい。

【0024】

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。

【0025】

ヘッドホン１１６は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドホン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。ヘッドホン１１６の右耳用のスピーカに出力される音声は、ヘッドホン１１６の左耳用のスピーカに出力される音声と異なってもよい。例えば、制御装置１２０は、頭部伝達関数に基づいて、右耳用スピーカに入力される音声データと、左耳用スピーカに入力される音声データを取得し、当該異なる２つの音声データをヘッドホン１１６の左耳用スピーカと右耳用スピーカのそれぞれに出力してもよい。なお、ＨＭＤ１１０にヘッドホン１１６を設けずに、ＨＭＤ１１０とは独立したスピーカ（例えば、２つの据置型スピーカ）やイヤホンを設けてもよい。

【0026】

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線または有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾きまたは発光強度に関する情報を検出するように構成されている。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

【0027】

制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。

【0028】

次に、図２を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図２は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０および／またはＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交し表示部１１２の中心とユーザＵとを結ぶ方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０および／またはＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、視野情報を定義する仮想カメラの視軸を制御するための角度情報を決定する。

【0029】

次に、図３を参照して、制御装置１２０のハードウェア構成について説明する。図３に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５とは、バス１２６を介して互いに通信可能に接続されている。

【0030】

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレットまたはウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０の内部に搭載されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

【0031】

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

【0032】

特に、プロセッサが本実施形態に係る表示制御方法をコンピュータに実行させるための表示制御プログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、メモリや記憶部１２３に格納された所定のアプリケーション（ゲームプログラム等）を実行することで、ＨＭＤ１１０の表示部１１２に仮想空間の少なくとも一部に対応する視野画像を提供する。これにより、ユーザＵは、表示部１１２に提供された仮想空間に没入することができる。

【0033】

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３には、表示制御プログラムが組み込まれてもよい。また、ユーザの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

【0034】

Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０と、をそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。なお、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０とのそれぞれと無線接続されていてもよい。

【0035】

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。

【0036】

次に、図４から図６を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図４は、視野画像をＨＭＤ１１０に表示するための処理を示すフローチャートである。図５は、仮想空間２００の一例を示すｘｙｚ空間図を示す。図６の状態（ａ）は、図５に示す仮想空間２００のｙｘ平面図であって、図６の状態（ｂ）は、図５に示す仮想空間２００のｚｘ平面図である。

【0037】

図４に示すように、ステップＳ１において、制御部１２１（図３参照）は、仮想カメラ３００を含む仮想空間２００を定義する仮想空間データを生成する。図５および図６に示すように、仮想空間２００は、中心位置２１を中心とした全天球として規定される（図５および図６では、上半分の天球のみが図示されている）。また、仮想空間２００には、中心位置２１を原点とするｘｙｚ座標系が設定されている。ＨＭＤシステム１の初期状態では、仮想カメラ３００が仮想空間２００の中心位置２１に配置されている。
仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、仮想カメラ３００を仮想空間２００内で移動させてもよい。

【0038】

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図６参照）を特定する。具体的には、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを決定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸に相当する基準視線Ｌを決定し、決定された基準視線Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域と一致する。換言すれば、視野ＣＶは、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に一致する。また、視野ＣＶは、図６の状態（ａ）に示すｘｙ平面において、基準視線Ｌを中心とした極角θαの角度範囲として設定される第１領域ＣＶａと、図６の状態（ｂ）に示すｘｚ平面において、基準視線Ｌを中心とした方位角θβの角度範囲として設定される第２領域ＣＶｂとを有する。

【0039】

このように、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを移動させることができる。

【0040】

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像を示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。すなわち、仮想カメラ３００の視野ＣＶにより、仮想空間データのうち視野画像データとして描画される範囲が定まる。

【0041】

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像を表示する。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。

【0042】

次に、本実施形態に係る表示制御方法について図７から図９を参照して説明する。図７は、本実施形態に係る表示制御方法を説明するためのフローチャートである。図８は、本実施形態に係る表示制御方法を説明するための模式図である。

【0043】

最初に、図８に示すように、仮想空間２００（第一仮想空間の一例）は、ＨＭＤ１１０の表示部１１２に表示される視野画像を生成するための空間であって、仮想カメラ３００（第一仮想カメラの一例）と、モニタオブジェクトＭ（表示オブジェクトの一例）と、を含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する第一仮想空間データを生成している。

【0044】

仮想カメラ３００は、ユーザＵが操作するＨＭＤシステム１に関連付けられている。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動する。すなわち、ユーザＵが装着するＨＭＤ１１０の動きに応じて、仮想カメラ３００の位置や向き（すなわち、仮想カメラ３００の視野ＣＶ１）が変更される。

【0045】

モニタオブジェクトＭは、仮想空間２００内の任意の位置に配置される。なお、ユーザＵがモニタオブジェクトＭを容易に視認可能となるように、モニタオブジェクトＭの表示位置やその方向は変更可能である。図８においては、モニタオブジェクトＭを横長矩形状の形態としているが、その形状は図８に示す矩形状に限られない。

【0046】

本実施形態では、仮想空間２００とは別に、仮想空間２００内のモニタオブジェクトＭに表示される画像Ｖ２に関連付けられた第二仮想空間データを生成するための仮想空間４００（第二仮想空間の一例）が規定されている。仮想空間４００は、３６０°カメラにより撮像された３６０°空間画像データにより生成される全天球の空間である（図８では、上半分の天球のみが図示されている）。３６０°空間画像データは、例えば企業等の宣伝用の３６０°動画広告であり、記憶部１２３に構築された広告情報データベースに記憶されている。制御部１２１は、広告情報データベースから所定の３６０°空間画像データを読出し、仮想カメラ５００を含む仮想空間４００を規定する第二仮想空間データを生成している。なお、３６０°空間画像データは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた３６０°空間画像データが記憶部１２３に組み込まれる。

【0047】

仮想空間４００は、仮想カメラ５００（第二仮想カメラの一例）を含む。仮想カメラ５００は、仮想カメラ３００と同様に、ユーザＵが操作するＨＭＤシステム１に関連付けられている。仮想カメラ３００と同様に、仮想カメラ５００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動する。すなわち、ユーザＵが装着するＨＭＤ１１０の動きに基づいて、仮想カメラ３００の視野ＣＶ１と同期しながら、仮想空間４００内における仮想カメラ５００の視野ＣＶ２（仮想カメラ５００の位置や向き）が変更される。

【0048】

まず、図７に示すように、ステップ１０において、制御部１２１は、仮想空間２００を規定する第一仮想空間データと、仮想カメラ３００の視野ＣＶ１とに基づいて、第一視野画像データＶＤ１を生成する（図４のステップＳ３参照）。そして、ステップＳ１２において、制御部１２１は、第一視野画像データＶＤ１に基づいて、ＨＭＤ１１０の表示部１１２に第一視野画像Ｖ１を表示する。

【0049】

次に、ステップＳ１４において、制御部１２１は、仮想空間４００を規定する第二仮想空間データと、仮想カメラ５００の視野ＣＶ２とに基づいて、第二視野画像データＶＤ２を生成する。そして、ステップＳ１６において、制御部１２１は、第二視野画像データＶＤ２に基づいて、仮想空間２００内のモニタオブジェクトＭに第二視野画像Ｖ２を表示させる。

【0050】

次に、ステップＳ１８において、制御部１２１は、ＨＭＤ１１０を装着したユーザＵが動いたか否か、すなわち、仮想空間２００内の仮想カメラ３００に対する移動入力があったか否かを判定する。そして、制御部１２１は、仮想カメラ３００に対する移動入力があったと判定した場合には（ステップＳ１８のＹｅｓ）、ステップＳ２０において、図９に示すように、当該移動入力に基づいて仮想空間２００内で仮想カメラ３００を動かす。すなわち、図８および図９に示す仮想カメラ３００の視野ＣＶ１を変更する。そして、ステップＳ２２において、制御部１２１は、視野ＣＶ１の変更に基づいて、表示部１１２に表示される第一視野画像Ｖ１を更新する。なお、図９では、図８に示す状態から、仮想カメラ３００の位置を固定したままで、仮想カメラ３００の向きを変更しているが、仮想カメラ３００に対する移動入力に基づき仮想カメラ３００の位置も移動され得る。

【0051】

次に、ステップＳ２４において、制御部１２１は、ステップＳ２０での仮想カメラ３００の動きに連動して、仮想空間４００内の仮想カメラ５００を動かす。すなわち、制御部１２１は、ステップＳ２０での仮想カメラ３００の視野ＣＶ１の変更と同期して、仮想カメラ５００の視野ＣＶ２を変更する。そして、ステップＳ２６において、制御部１２１は、視野ＣＶ２の変更に基づいて、モニタオブジェクトＭに表示されている第二視野画像Ｖ２を更新する。すなわち、仮想カメラ５００のｕｖｗ座標系の各軸が、ＨＭＤ１１０の動きに応じて図８に示す位置から図９に示す位置へと変更されたことに伴い、モニタオブジェクトＭに表示されている第二視野画像Ｖ２のｕｖｗ座標系の各軸の位置も変更される。

【0052】

そして、ユーザＵがモニタオブジェクトＭ上の第二視野画像Ｖ２に視線を送ると、ステップＳ２８において、制御部１２１は、仮想空間４００を全天球（表示部１１２に表示される視野画像を規定する全天球）に展開して３６０°動画広告の再生（仮想空間４００を規定する第二仮想空間データの再生）を開始する。そして、ステップＳ３０において、制御部１２１は、ＨＭＤ１１０の動きに応じた第二視野画像データＶＤ２を生成して、表示部１１２に３６０°動画広告を表示させる。ユーザＵによるモニタオブジェクトＭの注視は、ユーザＵの基準視線Ｌ、または、実際の視線方向に基づいて検知し得る。ユーザＵの実際の視線方向は、アイトラッキング機能を有する注視センサにより検知し得る。この注視センサは、ユーザＵの目に例えば赤外光を照射して、目（特に、角膜や虹彩）から反射された反射光を検出することで、眼球の回転角に関する情報を取得してもよい。このように、既にＨＭＤ１１０を装着しているユーザＵに対して、仮想空間２００においてモニタオブジェクトＭ上に３６０°動画広告をサムネイル画像として効果的に提供することで、ユーザＵに３６０°動画広告を積極的に見てもらう動機づけを与えることができる。

【0053】

以上説明したように、本実施形態によれば、制御部１２１は、仮想カメラ３００およびモニタオブジェクトＭを含む仮想空間２００を定義する第一仮想空間データを生成し、仮想カメラ３００の視野ＣＶ１および第一仮想空間データに基づいて、ＨＭＤ１１０に第一視野画像Ｖ１を表示させ、ＨＭＤ１１０の動きと連動して仮想カメラ３００を仮想空間２００内で動かすことにより、ＨＭＤ１１０に表示されている第一視野画像Ｖ１を更新する。それとともに、制御部１２１は、仮想カメラ５００を含む仮想空間４００を定義する第二仮想空間データを生成し、仮想カメラ５００の視野ＣＶ２および第二仮想空間データに基づいて、モニタオブジェクトＭに第二視野画像Ｖ２を表示させ、ＨＭＤ１１０の動きと連動して仮想カメラ５００を仮想空間４００内で動かすことにより、モニタオブジェクトＭに表示されている第二視野画像Ｖ２を更新する。第二視野画像Ｖ２は、例えば３６０°映像データから構成される仮想空間４００を仮想カメラ５００の視野ＣＶ２により切り取った映像である。そのため、モニタオブジェクトＭに表示される第二視野画像Ｖ２は、視野ＣＶ２の変更により更新されることで、それが３６０°動画であることが把握可能な表示態様で表示されている。したがって、ＨＭＤ１１０の表示部１１２に表示される第一視野画像Ｖ１内に３６０°動画（例えば、訴求力の高い３６０°動画広告）が存在することをユーザＵが容易に認識することができる。

【0054】

なお、制御部１２１は、モニタオブジェクトＭが仮想カメラ３００の視野ＣＶ１内に入ったときに、モニタオブジェクトＭへの第二視野画像Ｖ２の表示を開始しても良い。このように、ユーザＵがモニタオブジェクトＭを視認できる場合にのみ、モニタオブジェクトＭで第二視野画像Ｖ２を再生することで、データ処理量を減らすことができる。

【0055】

また、制御部１２１は、モニタオブジェクトＭが仮想カメラ３００の視野ＣＶ１内に入ったときに、仮想カメラ５００の視野ＣＶ２の正面方向をモニタオブジェクトＭに表示される第二視野画像Ｖ２に含めるように制御しても良い。ここで、「視野ＣＶ２の正面方向」とは、ユーザＵが仮想空間４００の中心領域を視認可能な方向、例えば３６０°動画に出演する出演者のいる方向として定義され得る。このように、モニタオブジェクトＭ上での３６０°動画の再生をその動画の正面方向から開始することで、３６０°動画広告の訴求力をさらに高めることができる。

【0056】

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

【0057】

例えば、ＨＭＤ１１０として、透過型ＨＭＤを採用してもよい。透過型ＨＭＤは、透過型の表示部１１２を備えており、ＨＭＤ１１０を介して現実空間を視認することができる（いわゆる、光学シースルー）。また、現実空間を撮影するカメラをＨＭＤ１１０に搭載し、撮影された現実空間の画像を非透過型の表示部１１２に表示することによって、ＨＭＤ１１０を介して現実空間を視認することとしても良い（いわゆる、ビデオシースルー）。これらの場合には、仮想空間２００としては現実空間の視野を採用することができ、現実空間の視野にモニタオブジェクトＭに表示される第二視野画像Ｖ２を重畳することによって仮想体験をユーザに提供できる。そして、第二視野画像Ｖ２を表示可能なモニタオブジェクトＭを注視したユーザに仮想空間４００を提供することにより、透過型ＨＭＤ１１０を使用中のユーザにも、効果的に３６０°動画広告を提供し得る。

【0058】

制御部１２１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ（プロセッサ）に実行させるための表示制御プログラムが記憶部１２３またはＲＯＭに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は本実施形態に係る表示制御方法を実行する。

【0059】

また、表示制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１２３に組み込まれる。

【符号の説明】

【0060】

１：ＨＭＤシステム
３：通信ネットワーク
２１：中心位置
１１０：ヘッドマウントディスプレイ（ＨＭＤ）
１１２：表示部
１１４：ＨＭＤセンサ
１１６：ヘッドホン
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
２００：仮想空間（第一仮想空間の一例）
３００：仮想カメラ（第一仮想カメラの一例）
４００：仮想空間（第二仮想空間の一例）
５００：仮想カメラ（第二仮想カメラの一例）
ＣＶ：視野
ＣＶ１：仮想カメラ３００の視野
ＣＶ２：仮想カメラ５００の視野
ＶＤ１：第一視野画像データ
ＶＤ２：第二視野画像データ
Ｖ１：第一視野画像
Ｖ２：第二視野画像
Ｍ：モニタオブジェクト
Ｕ：ユーザ

【要約】      （修正有）

【課題】視野内に訴求力の高い動画が存在することをユーザが認識可能な表示制御方法を提供する。
【解決手段】ＨＭＤを備えたシステムの表示制御方法は、第一仮想カメラおよび表示オブジェクトＭを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、第一仮想カメラの視野ＣＶ１および第一仮想空間データに基づいて、ＨＭＤに第一視野画像Ｖ１を表示させるステップと、ＨＭＤの動きと連動して第一仮想カメラを第一仮想空間内で動かすことにより、第一視野画像Ｖ１を更新するステップと、第二仮想カメラを含む第二仮想空間を定義する第二仮想空間データを生成するステップと、第二仮想カメラの視野ＣＶ２および第二仮想空間データに基づいて、表示オブジェクトＭに第二視野画像Ｖ２を表示させるステップと、ＨＭＤの動きと連動して第二仮想カメラを第二仮想空間内で動かすことにより、第二視野画像Ｖ２を更新するステップと、を含む。
【選択図】図８

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】