特許 6223533 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6223533

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム

(51)【国際特許分類】

   A63F 13/54 20140101AFI20171023BHJP

   A63F 13/25 20140101ALI20171023BHJP

   A63F 13/52 20140101ALI20171023BHJP

   A63F 13/525 20140101ALI20171023BHJP

   A63F 13/55 20140101ALI20171023BHJP

   A63F 13/5375 20140101ALI20171023BHJP

   G06F 3/16 20060101ALI20171023BHJP

   G06F 3/0484 20130101ALI20171023BHJP

   G06F 3/01 20060101ALI20171023BHJP

【ＦＩ】

   A63F13/54

   A63F13/25

   A63F13/52

   A63F13/525

   A63F13/55

   A63F13/5375

   G06F3/16 530

   G06F3/0484 150

   G06F3/01 510

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2016-232434(P2016-232434)

(22)【出願日】2016年11月30日

【審査請求日】2017年3月24日

【早期審査対象出願】

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】110001416

【氏名又は名称】特許業務法人 信栄特許事務所

(72)【発明者】

【氏名】野口 裕弘

【審査官】 櫻井 茂樹

(56)【参考文献】

【文献】 特開２０１３−００５０２１（ＪＰ，Ａ）

【文献】 特開２０１３−１６２２８５（ＪＰ，Ａ）

【文献】 特開２０１４−０９０２５１（ＪＰ，Ａ）

【文献】 特開２００２−０５１３９９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ１３／００ −１３／９８、９／２４

Ｇ０６Ｆ ３／０１

３／０４８−３／０４８９

Ｈ０４Ｓ １／００ −７／００

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
仮想カメラと、前記ヘッドマウントディスプレイを装着したユーザに関連付けられた自己アバターオブジェクトに対して所定の作用を与えるべく動作されるよう制御される第一アバターオブジェクトと、第二アバターオブジェクトと、集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
前記自己アバターオブジェクトが前記第一アバターオブジェクトから前記所定の作用を受ける可能性がある場合に、前記第一アバターオブジェクトと前記集音オブジェクトとの間の相対位置関係を特定するステップと、
前記特定された相対位置関係に基づいて、前記第二アバターオブジェクトの位置を設定するステップと、
前記位置が設定された前記第二アバターオブジェクトから出力された所定の音声データを前記集音オブジェクトにより収集し、当該所定の音声データに対応する音声を前記音声出力部から出力するステップと、
を含む、情報処理方法。

【請求項2】

前記第二アバターオブジェクトの前記位置を設定するステップにおいて、前記第一アバターオブジェクトと前記第二アバターオブジェクトとが同一視野画像内に含まれるように、前記第二アバターオブジェクトの位置を指定する、請求項１に記載の情報処理方法。

【請求項3】

前記第二アバターオブジェクトの前記位置を設定するステップにおいて、前記第一アバターオブジェクトが前記視野内に含まれた場合に、前記視野画像において前記第一アバターオブジェクトと重複しない位置に前記第二アバターオブジェクトを配置する、請求項１または２に記載の情報処理方法。

【請求項4】

前記第二アバターオブジェクトの前記位置を設定するステップにおいて、前記第二アバターオブジェクトを、前記集音オブジェクトを中心とした一定距離の位置に配置する、請求項１から３のいずれか一項に記載の情報処理方法。

【請求項5】

前記集音オブジェクトは、前記仮想カメラと一体的に構成されている、請求項１から４のいずれか一項に記載の情報処理方法。

【請求項6】

前記仮想空間は、前記自己アバターオブジェクトをさらに含み、
前記集音オブジェクトは、前記自己アバターオブジェクトと一体的に構成されている、請求項１から４のいずれか一項に記載の情報処理方法。

【請求項7】

請求項１から６のいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。

【請求項8】

プロセッサと、コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は請求項１から６のうちいずれか一項に記載の情報処理方法を実行する、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

【背景技術】

【0002】

特許文献１には、ＦＰＳゲーム（Ｆｉｒｓｔ Ｐｅｒｓｏｎ Ｓｈｏｏｔｅｒ）において、プレイヤキャラクタが相手キャラクタから攻撃を受けた際に、プレイヤキャラクタの周囲に、攻撃を受けた方向を示すダメージマークを表示させる方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２４６８５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ‐Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を装着して仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間に没入できるゲーム（以下、ＶＲゲームと称することがある）が知られている。
しかしながら、特許文献１の方法をＶＲゲームに採用した場合、ダメージマークの表示態様が現実離れしているため、ＶＲ空間へのユーザの没入体験を損なう恐れがある。

【0005】

本開示は、ユーザの没入感を損なうことなく、周囲から何らかの作用を受ける可能性があることをユーザに容易に認識させることができる情報処理方法を提供することを目的とする。また、本開示は、当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示が示す一態様によれば、ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
当該情報処理方法は、
（ａ）仮想カメラと、第一アバターオブジェクトと、第二アバターオブジェクトと、集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
（ｃ）前記第一アバターオブジェクトから所定の作用を受ける可能性があるか否かを判定するステップと、
（ｄ）前記所定の作用を受ける可能性があると判定された場合に、前記第一アバターオブジェクトと前記集音オブジェクトとの間の相対位置関係を特定するステップと、
（ｅ）前記特定された相対位置関係に基づいて、前記第二アバターオブジェクトの位置を設定するステップと、
（ｆ）前記位置が設定された前記第二アバターオブジェクトから出力された所定の音声データを前記集音オブジェクトにより収集し、当該所定の音声データに対応する音声を前記音声出力部から出力するステップと、
を含む。

【発明の効果】

【0007】

本開示によれば、ユーザの没入感を損なうことなく、周囲から何らかの作用を受ける可能性があることをユーザに容易に認識させることができる情報処理方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）システムを示す概略図である。

【図2】ＨＭＤを装着したユーザの頭部を示す図である。

【図3】制御装置のハードウェア構成を示す図である。

【図4】視野画像をＨＭＤに表示する処理を示すフローチャートである。

【図5】仮想空間の一例を示すｘｙｚ空間図である。

【図6】（ａ）は、図５に示す仮想空間のｙｘ平面図であり、（ｂ）は、図５に示す仮想空間のｚｘ平面図である。

【図7】本実施形態に係る情報処理方法を説明するためのフローチャートである。

【図8】本実施形態に係る情報処理方法を説明するための模式図である。

【図9】本実施形態に係る情報処理方法を説明するための模式図である。

【図10】本実施形態に係る情報処理方法を説明するための模式図である。

【図11】本実施形態に係る情報処理方法に関する視野画像を示す図である。

【図12】ナビゲーターオブジェクトから音声メッセージが出力された場合の模式図である。

【図13】本実施形態の変形例に係る情報処理方法を説明するための模式図である。

【発明を実施するための形態】

【0009】

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
当該情報処理方法は、
（ａ）仮想カメラと、第一アバターオブジェクトと、第二アバターオブジェクトと、集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
（ｃ）前記第一アバターオブジェクトから所定の作用を受ける可能性があるか否かを判定するステップと、
（ｄ）前記所定の作用を受ける可能性があると判定された場合に、前記第一アバターオブジェクトと前記集音オブジェクトとの間の相対位置関係を特定するステップと、
（ｅ）前記特定された相対位置関係に基づいて、前記第二アバターオブジェクトの位置を設定するステップと、
（ｆ）前記位置が設定された前記第二アバターオブジェクトから出力された所定の音声データを前記集音オブジェクトにより収集し、当該所定の音声データに対応する音声を前記音声出力部から出力するステップと、
を含む。

【0010】

上記方法によれば、ユーザの没入感を損なうことなく、周囲から何らかの作用を受ける可能性があることをユーザに容易に認識させることができる。

【0011】

（２）前記ステップ（ｅ）において、前記第一アバターオブジェクトと前記第二アバターオブジェクトとが同一視野画像内に含まれるように、前記第二アバターオブジェクトの位置を指定しても良い。

【0012】

上記方法によれば、例えばナビゲータキャラクタである第二アバターオブジェクトに視線を送ったとき、例えば敵キャラクタである第一アバターオブジェクトが必ず視野内に収まっていることで、第二アバターオブジェクトの発する音に基づいて容易に第一アバターオブジェクトを視認することができる。

【0013】

（３）前記ステップ（ｅ）において、前記第一アバターオブジェクトが前記視野内に含まれた場合に、前記視野画像において前記第一アバターオブジェクトと重複しない位置に前記第二アバターオブジェクトを配置しても良い。

【0014】

上記方法によれば、第二アバターオブジェクトによって第一アバターオブジェクトの視認性が損なわれることが無い。

【0015】

（４）前記ステップ（ｄ）では、前記第二アバターオブジェクトを、前記集音オブジェクトを中心とした一定距離の位置に配置しても良い。

【0016】

上記方法によれば、集音オブジェクトを中心とする球体の表面上の所定位置に第二アバターオブジェクトが配置されるため、音声データ生成時等の情報処理量を抑制することができるとともに、集音オブジェクトと第二アバターオブジェクトとの位置関係により例えば左右の各イヤホンから出力される音声の調整を行うことで立体音響の再現を適切に実現することができる。

【0017】

（５）前記集音オブジェクトは、前記仮想カメラと一体的に構成されていても良い。

【0018】

上記方法によれば、特に一人称視点の場合に、よりリアルな音声を提供することができる。

【0019】

（６）前記仮想空間は、前記ヘッドマウントディスプレイのユーザに関連付けられた第三アバターオブジェクトをさらに含み、
前記集音オブジェクトは、前記第三アバターオブジェクトと一体的に構成されていても良い。

【0020】

上記方法によれば、ユーザの感覚により近い音声を提供することができ、直感的にユーザが状況を把握することができる。

【0021】

（７）上記（１）から（６）のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラムである。

【0022】

この構成によれば、ユーザの没入感を損なうことなく、周囲から何らかの作用を受けたことをユーザに容易に認識させることができるプログラムを提供することができる。

【0023】

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。なお、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

【0024】

図１は、本開示が示す実施形態（以下、単に本実施形態という。）に係る情報処理方法を実現するヘッドマウントディスプレイ（以下、単にＨＭＤという。）システム１を示す概略図である。図１に示すように、ＨＭＤシステム１は、ユーザＵの頭部に装着されたＨＭＤ１１０と、位置センサ１３０と、制御装置１２０と、外部コントローラ３２０とを備える。

【0025】

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、ヘッドホン１１６（音声出力部の一例）とを備えている。

【0026】

表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を覆うように構成された非透過型の表示装置を備えている。ＨＭＤ１１０は、透過型表示装置を備えており、当該透過型表示装置の透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。なお、表示部１１２は、ユーザＵの左眼に投影される左眼用の表示部とユーザＵの右眼に投影される右眼用の表示部とから構成されてもよい。

【0027】

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。

【0028】

ヘッドホン１１６は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドホン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。ヘッドホン１１６の右耳用のスピーカに出力される音声は、ヘッドホン１１６の左耳用のスピーカに出力される音声と異なってもよい。例えば、制御装置１２０は、頭部伝達関数に基づいて、右耳用スピーカに入力される音声データと、左耳用スピーカに入力される音声データを取得し、当該異なる２つの音声データをヘッドホン１１６の左耳用スピーカと右耳用スピーカのそれぞれに出力してもよい。なお、ＨＭＤ１１０にヘッドホン１１６を設けずに、ＨＭＤ１１０とは独立したスピーカ（例えば、２つの据置型スピーカ）やイヤホンを設けてもよい。

【0029】

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線または有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾きまたは発光強度に関する情報を検出するように構成されている。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

【0030】

制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。

【0031】

次に、図２を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図２は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０および／またはＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交し表示部１１２の中心とユーザＵとを結ぶ方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０および／またはＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、視野情報を定義する仮想カメラの視軸を制御するための角度情報を決定する。

【0032】

次に、図３を参照して、制御装置１２０のハードウェア構成について説明する。図３に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５とは、バス１２６を介して互いに通信可能に接続されている。

【0033】

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレットまたはウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０の内部に搭載されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

【0034】

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

【0035】

特に、プロセッサが本実施形態に係る情報処理方法をコンピュータに実行させるための情報処理プログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、メモリや記憶部１２３に格納された所定のアプリケーション（ゲームプログラム）を実行することで、ＨＭＤ１１０の表示部１１２に仮想空間（視野画像）を提供する。これにより、ユーザＵは、表示部１１２に提供された仮想空間に没入することができる。

【0036】

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３には、情報処理プログラムが組み込まれてもよい。また、ユーザの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

【0037】

Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、ヘッドホン１１６と、外部コントローラ３２０と、をそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。なお、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、ヘッドホン１１６と、外部コントローラ３２０とのそれぞれと無線接続されていてもよい。

【0038】

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。

【0039】

次に、図４から図６を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図４は、視野画像をＨＭＤ１１０に表示するための処理を示すフローチャートである。図５は、仮想空間２００の一例を示すｘｙｚ空間図を示す。図６（ａ）は、図５に示す仮想空間２００のｙｘ平面図であって、図６（ｂ）は、図５に示す仮想空間２００のｚｘ平面図である。

【0040】

図４に示すように、ステップＳ１において、制御部１２１（図３参照）は、仮想カメラ３００を含む仮想空間２００を定義する仮想空間データを生成する。図５および図６に示すように、仮想空間２００は、中心位置２１を中心とした全天球として規定される（図５および図６では、上半分の天球のみが図示されている）。また、仮想空間２００には、中心位置２１を原点とするｘｙｚ座標系が設定されている。ＨＭＤシステム１の初期状態では、仮想カメラ３００が仮想空間２００の中心位置２１に配置されている。
仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、仮想カメラ３００を仮想空間２００内で移動させてもよい。

【0041】

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図６参照）を特定する。具体的には、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを決定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸に相当する基準視線Ｌを決定し、決定された基準視線Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域と一致する。換言すれば、視野ＣＶは、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に一致する。また、視野ＣＶは、図６（ａ）に示すｘｙ平面において、基準視線Ｌを中心とした極角θαの角度範囲として設定される第１領域ＣＶａと、図６（ｂ）に示すｘｚ平面において、基準視線Ｌを中心とした方位角θβの角度範囲として設定される第２領域ＣＶｂとを有する。

【0042】

このように、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを移動させることができる。

【0043】

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像を示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。すなわち、仮想カメラ３００の視野ＣＶにより、仮想空間データのうち視野画像データとして描画される範囲が定まる。

【0044】

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像を表示する。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。

【0045】

次に、本実施形態に係る情報処理方法について、図７から図１２を参照して説明する。図７は、本実施形態に係る情報処理方法を説明するためのフローチャートである。図８から図１０は、本実施形態に係る情報処理方法を説明するための模式図である。図１１は、本実施形態に係る情報処理方法に関する視野画像を示す図である。図１２は、ナビゲーターオブジェクトから音声メッセージが出力された場合の模式図である。

【0046】

最初に、図８に示すように、仮想空間２００は、仮想カメラ３００と、自己アバターオブジェクトＳＣ（第三アバターオブジェクトの一例）と、相手アバターオブジェクトＥＣ（第一アバターオブジェクトの一例）と、ナビゲーターオブジェクトＮＣ（第二アバターオブジェクトの一例）と、集音オブジェクトＴＣと、を含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成している。

【0047】

仮想カメラ３００は、ユーザＵが操作するＨＭＤシステム１に関連付けられている。すなわち、ユーザＵが装着するＨＭＤ１１０の動きに応じて仮想カメラ３００の位置や向き（すなわち、仮想カメラ３００の視野ＣＶ）が変更される。

【0048】

自己アバターオブジェクトＳＣは、ユーザＵが操作するＨＭＤシステム１に関連付けられている。すなわち、自己アバターオブジェクトＳＣは、ユーザＵに関連付けられたアバターオブジェクトであって、ユーザＵの操作により制御される。本実施形態では、自己アバターオブジェクトＳＣは、仮想カメラ３００と一体的に構成されている。仮想カメラ３００は、例えば、自己アバターオブジェクトＳＣの頭部の位置に配置されていることが好ましい。

【0049】

相手アバターオブジェクトＥＣは、自己アバターオブジェクトＳＣに対して所定の作用（例えば、攻撃や問いかけ、など）を及ぼすことができるアバターオブジェクトである。相手アバターオブジェクトＥＣは、ユーザ同士の対戦型ゲームの場合にはユーザＵとは異なる他のユーザにより制御され、ユーザ対コンピュータの対戦型ゲームの場合には制御装置１２０（制御部１２１）により制御される。

【0050】

ナビゲーターオブジェクトＮＣは、例えば、ユーザＵのゲーム進行をサポートするためのアバターオブジェクトであって、制御部１２１により制御される。ナビゲーターオブジェクトＮＣは、原則として、集音オブジェクトＴＣを中心とした一定距離の位置に配置されるよう、その移動経路４００が設定されている。移動経路４００は、例えば、集音オブジェクトを中心とする球体（真円状でも楕円状でも良い）として設定され得る。

【0051】

集音オブジェクトＴＣは、仮想空間２００上を伝搬する音声、例えば相手アバターオブジェクトＥＣやナビゲーターオブジェクトＮＣが発する音声を収集する集音器として機能する。集音オブジェクトＴＣは、仮想カメラ３００に付随するオブジェクトである。集音オブジェクトＴＣは、仮想カメラ３００と一体的に構成され、例えば、仮想カメラ３００の略中心位置に配置されている。

【0052】

次に、自己アバターオブジェクトＳＣが相手アバターオブジェクトＥＣから所定の作用を受ける可能性があると判定された場合における、ナビゲーターオブジェクトＮＣの挙動について図７を参照して説明する。

【0053】

まず、図７に示すように、制御部１２１は、自己アバターオブジェクトＳＣが相手アバターオブジェクトＥＣから攻撃等の所定の作用を受ける可能性があるか否かを判定する（ステップＳ１０）。例えば、制御部１２１は、ゲームの進行に応じて、他のユーザあるいは制御部１２１自体によってなされた相手アバターオブジェクトＥＣに対する所定の入力操作を受け付けた場合に、当該入力操作が攻撃等の作用に関するものであるか否かや、当該入力操作の方向が自己アバターオブジェクトＳＣに向けたものであるか否かを判定する。入力操作の攻撃等の作用に関するものであり、且つ、当該入力操作の方向が自己アバターオブジェクトＳＣに向けたものである場合には、制御部１２１は、自己アバターオブジェクトＳＣが相手アバターオブジェクトＥＣから所定の作用を受ける可能性があると判定する（ステップＳ１０のＹｅｓ）。そして、制御部１２１は、仮想カメラ３００と一体的に構成されている集音オブジェクトＴＣと、相手アバターオブジェクトＥＣとの間の相対位置関係を特定する（ステップＳ１２）。すなわち、制御部１２１は、集音オブジェクトＴＣに対して、相手アバターオブジェクトＥＣが仮想空間２００内のどの方向に位置しているかを特定する。

【0054】

次に、制御部１２１は、ステップＳ１２で特定された相対位置関係に基づいて、ナビゲーターオブジェクトＮＣの位置を決定する（ステップＳ１４）。例えば、制御部１２１は、ナビゲーターオブジェクトＮＣを、移動経路４００上において、図８に示す位置から図９へ示す位置へと移動させる。この移動後のナビゲーターオブジェクトＮＣの位置は、図１０に示すように、仮想カメラ３００の視野ＣＶ内に相手アバターオブジェクトＥＣが含まれた場合に、同一の視野ＣＶ内にナビゲーターオブジェクトＮＣが含まれる位置となるように規定される。すなわち、制御部１２１は、相手アバターオブジェクトＥＣとナビゲーターオブジェクトＮＣとが同一視野画像内に含まれるように、ナビゲーターオブジェクトＮＣの位置を指定する。

【0055】

なお、図１１に示すように、制御部１２１は、相手アバターオブジェクトＥＣが仮想カメラ３００の視野ＣＶ内に含まれた場合に、ナビゲーターオブジェクトＮＣを、相手アバターオブジェクトＥＣと同一の視野画像Ｖ内であって、且つ、相手アバターオブジェクトＥＣと重複しない位置に配置することが好ましい。さらに、制御部１２１は、ナビゲーターオブジェクトＮＣが仮想カメラ３００の視野ＣＶの水平方向または上下方向における中心に配置された場合に、相手アバターオブジェクトＥＣが当該視野画像Ｖ内に含まれるように、ナビゲーターオブジェクトＮＣの配置位置を特定することが好ましい。これにより、ユーザＵはナビゲーターオブジェクトＮＣから発せられる音声に基づいてナビゲーターオブジェクトＮＣを視野ＣＶの中心に捉えた場合に、相手アバターオブジェクトＥＣを容易に視認することができる。

【0056】

次に、制御部１２１は、ナビゲーターオブジェクトＮＣに、相手アバターオブジェクトＥＣから受ける可能性のある所定の作用に関連付けられた音声メッセージを生成させる（ステップＳ１６）。すなわち、ナビゲーターオブジェクトＮＣは、相手アバターオブジェクトＥＣの動作に起因する所定の作用に関連付けられた音声データを生成する。例えば、図１２に示すように、ナビゲーターオブジェクトＮＣは、「敵（相手）アバターオブジェクトＥＣが攻撃してきます」というメッセージＭに対応する音声データを生成する。

【0057】

次に、制御部１２１は、集音オブジェクトＴＣに、ナビゲーターオブジェクトＮＣで生成された音声データを収集させる（ステップＳ１８）。そして、集音オブジェクトＴＣは、収集した音声データを制御部１２１に送信する。

【0058】

次に、制御部１２１は、仮想カメラ３００の向きを特定する（ステップＳ２０）。そして、制御部１２１は、ステップＳ２０で特定された仮想カメラ３００の向きに基づいて、集音オブジェクトＴＣから取得した音声データに対応する音声（例えば、図１２のメッセージＭ）を、ＨＭＤシステム１のヘッドホン１１６から出力させる（ステップＳ２２）。ヘッドホン１１６から出力された音声により、ユーザＵが音声が発せられた方向に視線を向ける、すなわち、仮想カメラ３００の向きが変更されることで、ユーザＵは相手アバターオブジェクトＥＣの存在を認識可能となる。

【0059】

以上説明したように、本実施形態によれば、制御部１２１は、自己アバターオブジェクトＳＣが相手アバターオブジェクトＥＣから所定の作用を受ける可能性があるか否かを判定し、所定の作用を受ける可能性があると判定された場合には相手アバターオブジェクトＥＣと集音オブジェクトＴＣとの間の相対位置関係を特定し、特定された相対位置関係に基づいて、ナビゲーターオブジェクトＮＣの位置を決定する。そして、制御部１２１は、ナビゲーターオブジェクトＮＣから出力された音声データを集音オブジェクトＴＣにより収集し、当該音声データに対応する音声をヘッドホン１１６に出力させる。これにより、例えば、ユーザＵは、ヘッドホン１１６から出力される音声の方向に基づいて相手アバターオブジェクトＥＣから受ける可能性のある作用（攻撃）の方向を直感的に認識することができる。このように、本実施形態の構成によれば、ユーザＵの没入感を損なうことなく、相手アバターオブジェクトＥＣから攻撃等の何らかの作用を受ける可能性があることをユーザＵに容易に認識させることができる。

【0060】

また、制御部１２１は、相手アバターオブジェクトＥＣとナビゲーターオブジェクトＮＣとが同一視野画像Ｖ内に含まれるように、ナビゲーターオブジェクトＮＣの位置を指定する。これにより、ナビゲーターオブジェクトＮＣに視線を送ったとき、相手アバターオブジェクトＥＣが必ず視野画像Ｖ内に収まっていることで、ナビゲーターオブジェクトＮＣが発する音声に基づいてユーザＵは容易に相手アバターオブジェクトＥＣを視認することができる。

【0061】

また、制御部１２１は、相手アバターオブジェクトＥＣが視野ＣＶ内に含まれた場合に、視野画像Ｖにおいて相手アバターオブジェクトＥＣと重複しない位置にナビゲーターオブジェクトＮＣを配置する。これにより、ナビゲーターオブジェクトＮＣによって相手アバターオブジェクトＥＣの視認性が損なわれることが無い。

【0062】

また、制御部１２１は、ナビゲーターオブジェクトＮＣを、集音オブジェクトＴＣを中心とした一定距離の位置に配置しても良い。これにより、音声メッセージ生成時等の情報処理量を抑制することができる。さらに、集音オブジェクトＴＣとナビゲーターオブジェクトＮＣの位置関係により、例えば左右のヘッドホン１１６から出力される音声の調整を行うことで、立体音響の再現を適切に実現することができる。

【0063】

また、集音オブジェクトＴＣは、仮想カメラ３００と一体的に構成されているため、特に一人称視点の場合に、よりリアルな音声を提供することができる。

【0064】

なお、上記の実施形態では、集音オブジェクトＴＣは仮想カメラ３００と一体的に構成されているが、この例に限られない。例えば、図１３に示すように、集音オブジェクトＴＣは、仮想カメラ３００ではなく自己アバターオブジェクトＳＣと一体的に構成されていても良い。この場合、ナビゲーターオブジェクトＮＣは、自己アバターオブジェクトＳＣを中心として一定距離となる位置に配置され得る。これにより、例えば、自己アバターオブジェクトＳＣの下方にいる相手アバターオブジェクトＥＣから攻撃を受ける可能性がある場合などに、ユーザＵの感覚により近い音声メッセージをナビゲーターオブジェクトＮＣから提供することができ、ユーザＵがより直感的に状況を把握することができる。なお、図１３では、仮想カメラ３００が自己アバターオブジェクトＳＣの頭部と一体的に構成された一人称視点の場合を示しているが、仮想カメラ３００が自己アバターオブジェクトＳＣと離隔して配置された三人称視点の構成であっても良い。

【0065】

また、上記の実施形態では、ナビゲーターオブジェクトＮＣを、集音オブジェクトＴＣを中心とした一定距離の位置、すなわち移動経路４００上に配置しているが、この例に限られない。ナビゲーターオブジェクトＮＣは、集音オブジェクトＴＣ（または、仮想カメラ３００）の周囲の任意の位置に配置可能としても良い。

【0066】

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

【0067】

制御部１２１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る情報処理方法をコンピュータ（プロセッサ）に実行させるための情報処理プログラムが記憶部１２３またはＲＯＭに予め組み込まれていてもよい。または、情報処理プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた情報処理プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は本実施形態に係る情報処理方法を実行する。

【0068】

また、情報処理プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１２３に組み込まれる。

【符号の説明】

【0069】

１：ＨＭＤシステム
３：通信ネットワーク
２１：中心位置
１１０：ヘッドマウントディスプレイ（ＨＭＤ）
１１２：表示部
１１４：ＨＭＤセンサ
１１６：ヘッドホン
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
２００：仮想空間
３００：仮想カメラ
４００：移動経路
ＣＶ：視野
Ｕ：ユーザ
ＳＣ：自己アバターオブジェクト（第三アバターオブジェクトの一例）
ＥＣ：相手アバターオブジェクト（第一アバターオブジェクトの一例）
ＮＣ：ナビゲーターオブジェクト（第二アバターオブジェクトの一例）
ＴＣ：集音オブジェクト

【要約】      （修正有）

【課題】周囲から何らかの作用を受ける可能性があることをユーザに容易に認識させる情報処理方法の提供。
【解決手段】（ａ）仮想カメラ３００と、第一アバターＥＣと、第二アバターＮＣと、集音オブジェクトＴＣとを含む仮想空間２００を生成するステップと、（ｂ）仮想カメラ３００の視野ＣＶおよび仮想空間データに基づいてＨＭＤに視野画像を表示させるステップと、（ｃ）第一アバターＥＣから所定の作用を受ける可能性があるか否かを判定するステップと、（ｄ）所定の作用を受ける可能性があると判定された場合に、第一アバターＥＣと集音オブジェクトＴＣとの間の相対位置関係を特定するステップと、（ｅ）特定された相対位置関係に基づいて、第二アバターＮＣの位置を設定するステップと、（ｆ）位置が設定された第二アバターＮＣから出力された所定の音声データを集音オブジェクトＴＣにより収集し、音声データに対応する音声出力するステップとを含む。
【選択図】図９

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】