特許 6017664 情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6017664

(24)【登録日】2016年10月7日

(45)【発行日】2016年11月2日

(54)【発明の名称】情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20161020BHJP

   A63F 13/25 20140101ALI20161020BHJP

   A63F 13/52 20140101ALI20161020BHJP

   A63F 13/285 20140101ALI20161020BHJP

   G06T 19/00 20110101ALI20161020BHJP

   G06F 3/0346 20130101ALI20161020BHJP

   G06F 3/038 20130101ALI20161020BHJP

   H04S 1/00 20060101ALI20161020BHJP

   G06F 3/16 20060101ALI20161020BHJP

【ＦＩ】

   G06F3/01 510

   A63F13/25

   A63F13/52

   A63F13/285

   G06T19/00 300B

   G06F3/0346 423

   G06F3/038 310A

   H04S1/00 L

   G06F3/16 610

   G06F3/16 540

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2015-256033(P2015-256033)

(22)【出願日】2015年12月28日

【審査請求日】2016年6月10日

【早期審査対象出願】

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100162846

【弁理士】

【氏名又は名称】大牧 綾子

(72)【発明者】

【氏名】近藤 一平

【審査官】 鈴木 崇雅

(56)【参考文献】

【文献】 特開２０１５−２３２７８３（ＪＰ，Ａ）

【文献】 特開２０１５−２３１４４３（ＪＰ，Ａ）

【文献】 特開２００３−２０３２５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ １３／００−９８

Ｇ０６Ｆ ３／０１−１６

Ｇ０６Ｔ １９／００

Ｈ０４Ｓ １／００

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供する方法であって、
所定の位置に特定オブジェクトが配置された仮想現実空間を定義するステップと、
前記ヘッドマウントディスプレイを装着するユーザの基準視線を特定し、前記仮想現実空間から前記ユーザが視認する視界領域を特定するステップと、
前記特定オブジェクトが、第１所定期間に亘って、前記ヘッドマウントディスプレイを装着する前記ユーザの視線から一定範囲外に位置するかを判定するステップと、
前記判定するステップにて肯定された場合、前記特定オブジェクトに関連付けられた音を生成するステップと、
を含む、方法。

【請求項2】

ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供する方法であって、
所定の位置に、特定オブジェクトが配置された仮想現実空間を定義するステップと、
前記ヘッドマウントディスプレイを装着するユーザの基準視線を特定し、前記仮想現実空間から前記ユーザが視認する視界領域を特定するステップと、
前記特定オブジェクトが、ヘッドマウントディスプレイを装着するユーザの視線から一定範囲内に位置するかを判定する第１判定ステップと、
前記第１判定ステップにて肯定された場合、
前記特定オブジェクトを、第１グラフィックで描画した視界画像を生成するステップと、
前記特定オブジェクトが、その後、第１所定期間に亘って、前記ユーザの視線から一定範囲外に位置するかを判定する第２判定ステップと、
前記第２判定ステップにて肯定された場合、前記特定オブジェクトを、第２グラフィックで描画した視界画像を生成するステップ
を含む、方法。

【請求項3】

前記第２判定ステップにて肯定された場合、前記特定オブジェクトに関連付けられた音を生成するステップを更に含む、請求項２に記載の方法。

【請求項4】

前記特定オブジェクトに関連付けられた音は、前記特定オブジェクトの仮想現実空間内の位置に基づいて生成される、請求項１、３に記載の方法。

【請求項5】

前記ユーザの視線から一定範囲は、前記視界領域を最大とする範囲で規定される、請求項１、２に記載の方法。

【請求項6】

請求項１〜５のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、三次元仮想空間内の所定の発音位置から発音される音を、所定の聴取位置において音響シミュレーションすることが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００−２６７６７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術は、三次元仮想空間内に配置された音源の位置と聴取位置の距離との関係を考慮してオブジェクトの発音処理を行うものである。従って、特許文献１の技術では、ヘッドマウントディスプレイを頭部に装着しているユーザの視線から一定範囲外になり不可視の状態となっているオブジェクトについて、音響シミュレーションは作れない。

【0005】

本技術は、上記の点に鑑みてなされたものであり、その目的の１つは、三次元仮想現実空間内のオブジェクトの位置と、ヘッドマウントディスプレイ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：以下、ＨＭＤと称する）を装着しているユーザの視線から一定範囲外のオブジェクトの状態を変化させ、ユーザに当該オブジェクトの存在について注意喚起を図るようにしたことにある。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本技術の一態様は、ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供する方法であって、所定の位置に特定オブジェクトが配置された仮想現実空間を定義するステップと、前記ヘッドマウントディスプレイを装着するユーザの基準視線を特定し、前記仮想現実空間から前記ユーザが視認する視界領域を特定するステップと、前記特定オブジェクトが、第１所定期間に亘って、前記ヘッドマウントディスプレイを装着する前記ユーザの視線から一定範囲外に位置するかを判定するステップと、前記判定するステップにて肯定された場合、前記特定オブジェクトに関連付けられた音を生成するステップと、を含む、方法に関する。

【0007】

また、本技術の他の一態様は、ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供する方法であって、所定の位置に、特定オブジェクトが配置された仮想現実空間を定義するステップと、前記ヘッドマウントディスプレイを装着するユーザの基準視線を特定し、前記仮想現実空間から前記ユーザが視認する視界領域を特定するステップと、前記特定オブジェクトが、ヘッドマウントディスプレイを装着するユーザの視線から一定範囲内に位置するかを判定する第１判定ステップと、前記第１判定ステップにて肯定された場合、前記特定オブジェクトを、第１グラフィックで描画した視界画像を生成するステップと、前記特定オブジェクトが、その後、第１所定期間に亘って、前記ユーザの視線から一定範囲外に位置するかを判定する第２判定ステップと、前記第２判定ステップにて肯定された場合、前記特定オブジェクトを、第２グラフィックで描画した視界画像を生成するステップを含む、方法に関する。

【発明の効果】

【0008】

本技術によれば、三次元仮想現実空間内のオブジェクトの位置と、ユーザの視線から一定範囲外のオブジェクトの状態を変化させることが可能である。

【図面の簡単な説明】

【0009】

【図1】本技術の一実施形態によるＨＭＤシステムを示す図である。

【図2】ＨＭＤシステムの機能を実現するための、制御回路部の機能を示すブロック図である。

【図3】仮想空間の一例を示すＸＹＺ空間図である。

【図4】本技術の第１実施形態に係る制御回路部２００の動作例を示すフローチャートである。

【図5】オブジェクト情報の構成の一例を示す表である。

【図6】本技術の第２実施形態に係る制御回路部２００の動作例を示すフローチャートである。

【発明を実施するための形態】

【0010】

最初に、本技術の実施形態の内容を列記して説明する。本技術の一実施形態による情報処理方法、及びプログラムは、以下のような構成を備える。

【0011】

（項目１）
ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供する方法であって、
所定の位置に特定オブジェクトが配置された仮想現実空間を定義するステップと、
前記ヘッドマウントディスプレイを装着するユーザの基準視線を特定し、前記仮想現実空間から前記ユーザが視認する視界領域を特定するステップと、
前記特定オブジェクトが、第１所定期間に亘って、前記ヘッドマウントディスプレイを装着する前記ユーザの視線から一定範囲外に位置するかを判定するステップと、
前記判定するステップにて肯定された場合、前記特定オブジェクトに関連付けられた音を生成するステップと、
を含む、方法。

【0012】

（項目２）
ヘッドマウントディスプレイを用いてユーザが没入する仮想現実空間を提供する方法であって、
所定の位置に、特定オブジェクトが配置された仮想現実空間を定義するステップと、
前記ヘッドマウントディスプレイを装着するユーザの基準視線を特定し、前記仮想現実空間から前記ユーザが視認する視界領域を特定するステップと、
前記特定オブジェクトが、ヘッドマウントディスプレイを装着するユーザの視線から一定範囲内に位置するかを判定する第１判定ステップと、
前記第１判定ステップにて肯定された場合、
前記特定オブジェクトを、第１グラフィックで描画した視界画像を生成するステップと、
前記特定オブジェクトが、その後、第１所定期間に亘って、前記ユーザの視線から一定範囲外に位置するかを判定する第２判定ステップと、
前記第２判定ステップにて肯定された場合、前記特定オブジェクトを、第２グラフィックで描画した視界画像を生成するステップ
を含む、方法。

【0013】

（項目３）
前記第２判定ステップにて肯定された場合、前記特定オブジェクトに関連付けられた音を生成するステップを更に含む、項目２に記載の方法。

【0014】

（項目４）
前記特定オブジェクトに関連付けられた音は、前記特定オブジェクトの仮想現実空間内の位置に基づいて生成される、項目１、３に記載の方法。

【0015】

（項目５）
前記ユーザの視線から一定範囲は、前記視界領域を最大とする範囲で規定される、項目１、２に記載の方法。

【0016】

（項目６）
項目１〜５のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。

【0017】

〔第１実施形態の説明〕
以下、図面を参照しながら本技術の第１実施形態について説明する。なお、本技術はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

【0018】

図１は、本技術の一実施形態に係るＨＭＤシステム１００のハードウェア構成図である。ＨＭＤシステム１００は、ＨＭＤ１１０と、制御回路部２００を備える。ＨＭＤ１１０と制御回路部２００は、一例として有線ケーブル１４０によって電気的に接続され、相互に通信可能である。有線ケーブル１４０に代えて、無線接続が用いられてもよい。
以下、ＨＭＤシステム１００を構成する構成要素ＨＭＤ１１０、制御回路部２００について、図１、２を参照しながらそれぞれ詳細に説明する。

【0019】

〔ＨＭＤシステム１００の概要〕
〔ＨＭＤ１１０〕
ＨＭＤ１１０は、ユーザ１５０の頭に装着されて利用される表示デバイスである。ＨＭＤ１１０は、ディスプレイ１１２と、センサ１１４と、アイトラッキングデバイス（Eye Tracking Device：以下ＥＴＤと称する）１１６と、スピーカ（ヘッドホン）１１８とを備える。ＥＴＤ１１６とセンサ１１４は、どちらか一方だけが択一的に設けられてもよい。

【0020】

ディスプレイ１１２は、ＨＭＤ１１０を装着したユーザ１５０の視界に画像を提示するように構成される。例えば、ディスプレイ１１２は、非透過型ディスプレイとして構成することができる。この場合、ＨＭＤ１１０の外界の光景はユーザ１５０の視界から遮断され、ユーザ１５０の目にはディスプレイ１１２に映し出された画像だけが届けられる。ディスプレイ１１２には、例えば、コンピュータグラフィックスを用いて生成した画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想空間（例えばコンピュータゲームで作り出される世界）を画像化した仮想空間画像である。

【0021】

ディスプレイ１１２は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。この場合、左目用と右目用の２つの２次元画像がディスプレイ１１２に重畳されることにより、３次元の仮想空間画像がユーザ１５０に提供される。また、右目用画像と左目用画像を提供できれば、１つの表示装置で構成されていてもよい。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。

【0022】

ＥＴＤ１１６は、ユーザ１５０の眼球の動きを追跡して、ユーザ１５０の視線がどちらの方向に向けられているかを検出するように構成される。例えば、ＥＴＤ１１６は、赤外線光源と赤外線カメラとを備える。赤外線光源は、ＨＭＤ１１０を装着したユーザ１５０の目に向けて赤外線を照射する。赤外線カメラは、赤外線で照射されたユーザ１５０の目の画像を撮像する。赤外線はユーザ１５０の目の表面で反射されるが、瞳と瞳以外の部分とで赤外線の反射率が異なる。赤外線カメラで撮像されたユーザ１５０の目の画像には、赤外線の反射率の違いが画像の明暗となって現れる。この明暗に基づいて、ユーザ１５０の目の画像において瞳が識別され、更に、識別された瞳の位置に基づいて、ユーザ１５０の視線の方向が検出される。

【0023】

センサ１１４は、ユーザ１５０の頭部に装着されたＨＭＤ１１０の傾き及び、又は位置を検知するためのセンサである。センサ１１４としては、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせが用いられてよい。センサ１１４が磁気センサ、角速度センサ、又は加速度センサである場合、センサ１１４はＨＭＤ１１０に内蔵されて、ＨＭＤ１１０の傾きや位置に応じた値（磁気、角速度、又は加速度の値）を出力する。センサ１１４からの出力値を適宜の方法で加工することで、ユーザ１５０の頭部に装着されたＨＭＤ１１０の傾きや位置が算出される。ＨＭＤ１１０の傾きや位置は、ユーザ１５０が頭を動かした際にその動きに追従するようにディスプレイ１１２の表示画像を変化させるのに利用されてよい。例えば、ユーザ１５０が頭を右（又は左、上、下）に向けると、ディスプレイ１１２には、仮想現実空間においてユーザの右（又は左、上、下）方向にある仮想的光景が映し出されるのであってよい。これにより、ユーザ１５０が体感する仮想現実空間への没入感を更に高めることができる。

【0024】

なおセンサ１１４として、ＨＭＤ１１０の外部に設けられたセンサを適用することとしてもよい。例えば、センサ１１４は、ＨＭＤ１１０とは別体の、室内の固定位置に設置された赤外線センサであってよい。この赤外線センサを用いて、ＨＭＤ１１０の表面に設けられた赤外線発光体又は赤外線反射マーカーを検知する。このようなタイプのセンサ１１４は、ポジショントラッキングセンサと呼ばれることもある。

【0025】

スピーカ（ヘッドホン）１１８はＨＭＤ１１０を装着したユーザ１５０の左右の耳の周辺にそれぞれ設けられる。スピーカ１１８は、制御回路部２００によって生成された電気的な音信号を物理的な振動に変換し、ユーザの左右の耳に音を提供する。左右のスピーカから出力される音に時間差、音量差を設けることにより、ユーザ１５０は仮想空間内に配置された音源の方向、距離を知覚することができる。

【0026】

〔制御回路部２００〕
制御回路部２００は、ＨＭＤ１１０に接続されるコンピュータである。制御回路部２００はＨＭＤ１１０に搭載されていても、別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。また、制御回路部２００は、一部の機能をＨＭＤ１１０に実装し、残りの機能を別のハードウェアに実装してもよい。図１に示すように、制御回路部２００は、プロセッサ２０２と、メモリ２０４と、入出力インターフェイス２０６を含む。制御回路部２００は更に通信インターフェイス２０８（不図示）を含んでも良い。

【0027】

プロセッサ２０２は、メモリ２０４に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ２０２がメモリ２０４に格納された情報処理プログラムを実行することによって、後述する制御回路部２００の各機能が実現される。プロセッサ２０２は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）を含む。

【0028】

メモリ２０４には、少なくともオペレーティングシステムと情報処理プログラムとが格納されている。オペレーティングシステムは、制御回路部２００の全体的な動作を制御するためのコンピュータプログラムである。情報処理プログラムは、後述する制御回路部２００の各機能を実現するためのコンピュータプログラムである。メモリ２０４はまた、制御回路部２００の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ２０４の具体例は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、フラッシュメモリ、光ディスク等である。

【0029】

入出力インターフェイス２０６は、ＨＭＤシステム１００のユーザ１５０から制御回路部２００を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス２０６の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。

【0030】

通信インターフェイス２０８（不図示）は、ネットワークを介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、ＬＡＮ（Local Area Network）やインターネットを介して通信するための各種通信規格・プロトコルに適合するように構成されている。

【0031】

図２は、本技術の一実施形態に係る制御回路部２００の機能的な構成を示すブロック図である。制御回路部２００は記憶部２１０と及び処理部２２０を有する。記憶部２１０は更に、オブジェクト情報２１１と、仮想空間構成情報２１２とを備える。記憶部２１０は、図１に示されたメモリ２０４に対応する。処理部２２０は、オブジェクト配置部２２１と、ＨＭＤ動作検知部２２２と、視線検知部２２３と、基準視線特定部２２４と、視界領域決定部２２５と、判定部２２６と、音生成部２２７と、視界画像生成部２２８を備える。処理部２２０及び処理部２２０に含まれる各部２２１〜２２８は、図１に示されたプロセッサ２０２がメモリ２０４内のプログラムを読み出して実行することによって実現される。

【0032】

図３は、本技術の一実施形態に係る仮想空間の一例を示すＸＹＺ空間図である。ＸＺ平面は地表面を表し、Ｙ軸は高さ方向に延びている。仮想空間６は、中心３を中心として、例えば天球状に形成される。仮想空間６内には仮想カメラ１と、コンピュータ制御の複数のオブジェクト（不図示）が配置されている。仮想カメラ１は、仮想空間６の内部に配置される。仮想カメラ１は常に中心３に配置されてもよい。仮想カメラ１の動きは、ユーザ１５０の頭の動きや、ユーザ１５０の視線の動きに追随して変化する。

【0033】

〔制御回路部２００の動作例〕
本実施形態では、仮想空間６内に配置されたオブジェクトと、ユーザ１５０の視線との関係に基づいて、仮想空間６内に配置された特定のオブジェクトに関連付けられた音を生成する。例えば、ホラーゲームにおいて、ヘッドマウントディスプレイを装着するユーザ１５０のディスプレイ１１２に、複数のオブジェクト（例えば家具）の配置された暗い室内の仮想空間が表示されている。所定時間に亘って、仮想空間内に配置された特定のオブジェクト（例えば、肖像画）がユーザ１５０の視線から一定範囲外に位置する場合に、該特定のオブジェクトに関連付けられた音を生成し、出力する。

【0034】

図４は、本技術の第１実施形態に係る制御回路部２００の動作例を示すフローチャートである。第１実施形態に係る制御回路部２００の動作例について、図４を参照して説明する。

【0035】

まず、ステップＳ４０１において、図２に示されたオブジェクト配置部２２１は、記憶部２１０に格納されているオブジェクト情報２１１を参照して、特定オブジェクトが配置された仮想現実空間（仮想空間６）を定義する。オブジェクトは、特定オブジェクトと非特定オブジェクトを含むことができる。特定オブジェクトとは、ユーザ１５０の視線（又は視界領域５）との関係に基づいて変化を生じる（本実施形態では発音する）オブジェクトである。非特定オブジェクトとは、ユーザ１５０の視線（又は視界領域５）との関係に基づいて変化しないオブジェクトである。仮想空間内に配置するオブジェクトの所定の位置は、仮想空間内の固定位置であってもよいし、移動制御されている位置でもよい。また、仮想空間６内に配置されるオブジェクト（特定オブジェクト、非特定オブジェクト）はそれぞれ１つであっても複数であってもよい。

【0036】

ステップＳ４０２において、ＨＭＤ動作検出部２２２は、ユーザ１５０の視界方向を決定する。ＨＭＤ動作検出部２２２は、センサ１１４により検出されたＨＭＤ１１０の傾きや位置に応じた値（磁気、角速度、又は角速度の値）を経時的に取得し、適宜の方法で加工することにより、ＨＭＤ１１０の傾き及び、又は位置を取得する。そして、ＨＭＤ動作検出部２２２は、取得されたＨＭＤ１１０の傾き及び、又は位置に基づいて、ユーザ１５０の視界方向を決定する。

【0037】

ステップＳ４０３において、視線検知部２２３は、ＥＴＤ１１６によって検出されたユーザの右目および／又は左目の視線方向に基づいて、ユーザの視線方向を決定する。具体的には、視線検知部２２３は、ＥＴＤ１１６により検知されたユーザの右目および左目の視線方向に基づいて、ユーザの右目および左目の視線方向の交点である注視点を特定する。そして、視線検知部２２３は、該注視点に基づいてユーザの両目による視線方向を決定する。ユーザの両目による視線方向は、例えば、ユーザの右目および左目の中心と、注視点が通る直線の伸びる方向として定義される。

【0038】

ステップＳ４０４において、基準視線特定部２２４は、ＨＭＤ１１０の位置や傾きにより特定されたユーザ１５０の視界方向、及び／又はユーザ１５０の視線方向に基づいて基準視線４を特定する。例えば、ユーザ１５０の右目及び左目の中心と、視界方向に位置するディスプレイ１１２の中心とを結ぶ直線を基準視線４として特定する。また、例えば、注視センサ１４０により特定されたユーザの視線方向を基準視線４として特定する。

【0039】

ステップＳ４０５において、視界領域決定部２２５は、基準視線４に基づいて、仮想空間６における仮想カメラ１の視界領域５を決定する。視界領域５は、例えば図３に示すように基準視線４を中心とした所定の極角を含む範囲と、所定の方位角を含む範囲に設定される。

【0040】

ステップＳ４０６において、視界画像生成部２２８は、記憶部２１０に格納されている仮想空間構成情報２１２を参照して、視界領域５に対応する視界画像を生成する。仮想空間構成情報２１２は、仮想空間６の３次元現実空間画像を格納する。視界画像生成部２２８は、視界領域５内にオブジェクト（特定オブジェクト、非特定オブジェクト）が存在する場合は、該オブジェクトを仮想空間６内に配置した視界画像を生成する。

【0041】

さらに、ステップＳ４０６において、ＨＭＤ１１０は、視界画像に関する情報を制御回路部２００から受信して、ディスプレイ１１２に視界画像を出力し、表示させる。
そして、ステップＳ４０７において、判定部２２６は、特定オブジェクトが第１所定期間に亘って、ヘッドマウントディスプレイを装着するユーザ１５０の視線から一定範囲外に位置するかを判定する。第１所定期間とは、特定オブジェクトの存在を認識していないユーザに対し、特定オブジェクトの存在を認識させるために設けられる期間である。特定オブジェクトに関連する第１所定期間はあらかじめ設定されており、例えば１０秒である。ユーザ１５０の視線は、ＥＴＤ１１６によって検出されたユーザの視線方向に基づいて決定される。また、ユーザ１５０の視線は、ＨＭＤ１１０の傾き及び、または位置に基づいて決定されても良い。この場合、例えば、ユーザ１５０の右目及び左目の中心と、視界方向に位置するディスプレイ１１２の中心とを結ぶ直線に基づいてユーザの視線が決定される。また、ユーザ１５０の視線から一定範囲は、視界領域５を最大とする範囲で規定され、視界領域５よりも狭くてもよい。

【0042】

図５は記憶部２１０に格納されているオブジェクト情報２１１の構成の一例を示す図である。例えば、図５に示すようにオブジェクトは特定オブジェクトと非特定オブジェクトで構成される。特定オブジェクト及び、非特定オブジェクトには、それぞれの位置座標が例えば、直交座標系にて設定されている。また、特定オブジェクトには、「第１所定期間」や、後述する「音」、「第１グラフィック」、「第２グラフィック」が設定されるが、非特定オブジェクトにはこれらのパラメータは設定されない。上述したように特定オブジェクトは複数あっても良く、この場合、特定オブジェクト毎に異なる第１所定期間を設定してもよい。例えば、重要度の高い特定オブジェクト（例えば、宝箱）に対する第１所定期間を短く、重要度の低い特定オブジェクト（例えば、置物）に対する第１所定期間を長く設定する。重要度の高い特定オブジェクトの存在をユーザにより早く認識させるためである。

【0043】

ステップＳ４０７において、「はい」の場合、すなわち、特定オブジェクトが第１所定期間に亘って、ヘッドマウントディスプレイを装着するユーザ１５０の視線から一定範囲外に位置する場合に、音生成部２２７は、発音対象の該特定オブジェクトに関連付けられた音を生成する（ステップＳ４０８）。まず、音生成部２２７は、図５に示すオブジェクト情報２１１を参照して、特定オブジェクトに対応する、あらかじめ規定された音を決定する。そして、音生成部２２７は、オブジェクトの仮想空間内の所定の位置に基づいて、オブジェクト毎に規定された音を適宜処理して、左右のスピーカ用の音信号を生成する。オブジェクトが移動制御されている場合、音生成部２２７は、さらに、移動するオブジェクトの仮想空間内の位置を一定間隔で求め、該位置の各々に基づいて左右のスピーカ用の音信号を生成する。特定オブジェクトが複数ある場合、音生成部２２７は、１つの特定オブジェクトを選択し、該選択された１つの特定オブジェクトに関連付けられた音を生成するようにしてもよい。複数のオブジェクトから発音される音を同時に再生すると、スピーカから出力される音量が大きくなりすぎる場合があるからである。

【0044】

ステップＳ４０９において、ＨＭＤ１１０は、生成された左右のスピーカ用の音信号に関する情報を制御回路部２００から受信して、左右のスピーカ１１８にそれぞれ出力させる。左右のスピーカ１１８から出力された音により、ユーザは、特定オブジェクトがあたかも仮想空間内の所定の位置に存在しているかのように聞くことができる。

【0045】

一方、ステップＳ４０７にて、「いいえ」の場合、すなわち、特定オブジェクトが第１所定期間に亘って、ヘッドマウントディスプレイを装着するユーザ１５０の視線から一定範囲外に位置しない場合に、ステップＳ４０２〜Ｓ４０７の処理を繰り返す。

【0046】

本実施形態においては、特定オブジェクトが第１所定期間に亘って、ユーザ１５０の視線から一定範囲外に位置する場合に、該特定オブジェクトに関連付けられた音を生成し、スピーカに該音を出力させる。これにより、音によってユーザ１５０の注意を特定オブジェクトへ向けることができる。特定オブジェクトからの発音は、特に特定オブジェクトが移動している場合に有用である。ユーザ１５０はスピーカから出力された音を聴くことにより音源である特定ブジェクトの仮想空間内の方向及び、又は位置を特定することができる。ユーザ１５０は、音源である特定オブジェクトの方向及び、又は位置に頭部又は視線を動かすことにより、音源である特定オブジェクトを視界領域５内に入れることができる。オブジェクトが視界領域５内に位置する場合に、視界画像生成部２２８は、該オブジェクトに対応するグラフィックを描画してディスプレイ１１２へ出力してもよい。

【0047】

また、本実施形態は、ユーザ１５０が、所定期間に亘ってユーザが視認していない場所から音を出力させるものである。このような音による演出は仮想空間に没入しているユーザに対し不安感を与えることができ、特にホラーゲームの趣向性を向上させることができる。

【0048】

〔第２実施形態の説明〕
図６は、本技術の第２実施形態に係る制御回路部２００の動作例を示すフローチャートである。第２実施形態においては、仮想空間内に配置された特定オブジェクトと、ユーザの視線（又は視界領域）との関係に基づいて、オブジェクトの音ではなくグラフィックを変化させる点で、上述の第１実施形態と異なる。本実施形態においては、まず、ユーザ１５０の視線から一定範囲内に位置するオブジェクトは、第１グラフィックで描画される。その後、特定オブジェクトが、所定期間に亘ってユーザ１５０の視線から一定範囲外に位置する場合に、該特定オブジェクトは第１グラフィックと異なる第２グラフィックで描画される。すなわち、ユーザ１５０により特定オブジェクトがユーザにより視認されている間は、特定オブジェクトのグラフィックは変化しない。一旦ユーザにより目がそらされると、オブジェクトのグラフィックを変化させる。以下、本実施形態では第１実施形態の構成と同様な部分についてはその説明を省略又は簡略化し、第１実施形態と異なる部分を中心に説明する。

【0049】

図６に示すステップＳ６０１〜ステップＳ６０５の処理は、図４のステップＳ４０１〜ステップＳ４０５の処理と同じである。
ステップＳ６０７において、図２に示された判定部２２６は、ユーザ１５０の視線から一定範囲内に特定オブジェクトが位置するかを判定する（第１判定）。ステップＳ６０７において、「はい」の場合、すなわちユーザの視線から一定範囲内に特定オブジェクトが位置すると判定された場合には、ステップＳ６０８へ進む。

【0050】

ステップＳ６０８において、視界画像生成部２２８は、オブジェクト情報２１１を参照して、特定オブジェクトに対応する第１グラフィックを特定する。また、視界画像生成部２２８は、仮想空間構成情報２１２を参照して、視界領域５に対応する視界画像を生成する。そして、視界画像生成部２２８は、視界領域５に対応する視界画像に、第１グラフィックで描画された特定オブジェクトを重畳した視界画像を生成する。このとき、更に、特定オブジェクトが第２所定期間に亘って、ユーザ１５０の視線から一定範囲内に位置するかを判定しても良い。ユーザ１５０が、視線から一定範囲内に位置する特定オブジェクトの存在に気づくのに一定の期間を要すると想定されるからである。第２所定期間は、例えば３秒である。

【0051】

さらに、ステップＳ６０８において、ＨＭＤ１１０は、生成された視界画像に関する情報を制御回路部２００から受信して、ディスプレイ１１２に視界画像を出力し、表示させる。

【0052】

一方、ステップＳ６０７において、「いいえ」の場合、すなわち、ユーザの視線から一定範囲内に特定オブジェクトが位置しないと判定された場合は、ステップＳ６０６へ進む。

【0053】

ステップＳ６０６において、視界画像生成部２２８は、仮想空間構成情報２１２を参照して、視界領域５に対応する視界画像を生成する。さらに、ステップＳ６０６において、ＨＭＤ１１０は、生成された視界画像に関する情報を制御回路部２００から受信して、ディスプレイ１１２に視界画像を出力し、表示させる。そして、ステップＳ６０２へ戻る。

【0054】

ステップＳ６０９において、判定部２２６は、特定オブジェクトが、その後、第１所定期間に亘ってユーザの視線から一定範囲外に位置するかを判定する（第２判定）。ステップＳ６０９において、「いいえ」の場合、すなわち、第１所定期間に亘って、特定オブジェクトがユーザの視線から一定範囲外に位置しない場合、ステップＳ６０６へ進む。

【0055】

一方、ステップＳ６０９において「はい」の場合、すなわち、特定オブジェクトが、その後、第１所定期間に亘ってユーザの視線から一定範囲外に位置する場合、ステップＳ６１０に進む。

【0056】

ステップＳ６１０において、視界画像生成部２２８は、オブジェクト情報２１１を参照して、特定オブジェクトに対応する第２グラフィックを特定する。視界画像生成部２２８は、仮想空間構成情報２１２を参照して、視界領域５に対応する視界画像を生成する。そして、視界画像生成部２２８は、視界領域５に対応する視界画像に、第１グラフィックとは異なる第２グラフィックで描画された特定オブジェクトを重畳した視界画像を生成する。

【0057】

さらにステップＳ６１０において、ＨＭＤ１１０は、視界画像に関する情報を制御回路部２００から受信して、ディスプレイ１１２に視界画像を出力し、表示させる。
このように本実施形態に係るＨＭＤシステム１００によれば、ユーザの視線から一定範囲内に位置する特定オブジェクトのグラフィック（第１グラフィック）と、その後一旦ユーザの視線から一定範囲外に位置し、再度ユーザの視線から一定範囲内に位置する特定オブジェクトのグラフィック（第２グラフィック）とを異ならせる。

【0058】

本実施形態においては、第１グラフィック（例えば、若い女性の肖像画）で描画されている特定オブジェクトが、一旦視界領域外に位置し、再度ユーザにより視認されるときには、第２グラフィック（（例えば、老婆の肖像画））で描画されることになる。このようなグラフィックの変化は仮想空間に没入しているユーザに対し不安感を与えることができ、特にホラーゲームの趣向性を向上させることができる。

【0059】

更なる実施形態においては、第１実施形態と第２実施形態を組み合わせることができる。すなわち、仮想空間内に配置されたオブジェクトと、ユーザの視線との関係に基づいて、オブジェクトに音を発音させると共に、オブジェクトのグラフィックを変化させる。このような実施形態は、例えば、図６に示すステップＳ６０９とステップＳ６１０の間に、図４に示すステップＳ４０８とステップＳ４０９を挿入することにより実現される。

【0060】

更なる実施形態においては、１つの特定オブジェクトに対し、複数の音、及び複数のグラフィックをそれぞれ対応付けてもよい。例えば、音生成部２２７は、図５に示すように、特定オブジェクトに対応する複数の音（例えば、音１ａ，音１ｂ）のうち、音１ａ（例えば、「ガタン」）を選択し、選択された音１ａに基づいて、特定オブジェクトに関連付けられた音を生成する。このとき、視界画像生成部２２８は、音１ａに対応する第２グラフィック（グラフィック１ａ’、例えば、「老婆の肖像画」が傾いて壁に掛けられているグラフィック）で特定オブジェクトを描画する。また、例えば、音生成部２２７は、特定オブジェクトに対応する複数の音のうち、音１ｂ（例えば、「ガシャーン」）を選択し、選択された音１ｂに基づいて、特定オブジェクトに関連付けられた音を生成する。このとき、視界画像生成部２２８は、音１ｂに対応する第２グラフィック（グラフィック１ｂ’、例えば、「老婆の肖像画」が落ちて粉々に割れているグラフィック）で特定オブジェクトを描画する。このように、１つの特定オブジェクトに関連付けられた音を複数設け、各音に関連付けられるグラフィックをそれぞれ設けることにより、より複雑なゲーム空間をユーザに提供することができる。また、発音される音と、グラフィックが関連付けられているので、臨場感のあるゲーム空間が提供される。

【0061】

以上、本技術の実施の形態について説明したが、本技術は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、
様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

【0062】

例えば、上述の実施形態においては、ディスプレイ１１２は、非透過型ディスプレイであるが、透過型ディスプレイでもよい。この場合、ユーザ１５０の目には、ＨＭＤ１１０の外界の光景に、ディスプレイ１１２に映し出された画像（オブジェクト）が重畳して届けられる。

【符号の説明】

【0063】

１００…ヘッドマウントディスプレイ（ＨＭＤ）システム、１１０…ＨＭＤ、１１２…ディスプレイ、１１４…センサ部、１１６…ＥＴＤ、１１８…スピーカ、２００…制御回路部、２１０…記憶部、２２０…処理部、１…仮想カメラ、４…基準視線、５…視界領域、６…仮想空間

【要約】

【課題】ヘッドマウントディスプレイを装着しているユーザの視線と、仮想空間内に配置されているオブジェクトの位置との関係に基づいて、オブジェクトの状態を変化させることを可能にする。
【解決手段】仮想空間内の所定の位置に、特定のオブジェクトを配置し、特定のオブジェクトが、第１所定期間に亘って、ヘッドマウントディスプレイを装着するユーザの視線から一定範囲外に位置するかを判定する。そして、特定のオブジェクトが、第１所定期間に亘って、ユーザの視線から一定範囲外に位置する場合に、特定のオブジェクトに関連付けられた音を生成する。
【選択図】図４

【図1】

【図2】

【図4】

【図5】

【図6】

【図3】