IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

7030669情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
<>
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図1
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図2
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図3
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図4
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図5
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図6
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図7
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図8
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図9
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図10
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図11
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図12
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図13
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図14
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図15
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図16
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図17
  • -情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-25
(45)【発行日】2022-03-07
(54)【発明の名称】情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20220228BHJP
   G06F 3/0487 20130101ALI20220228BHJP
   G06F 3/01 20060101ALI20220228BHJP
   A63F 13/25 20140101ALI20220228BHJP
   A63F 13/55 20140101ALI20220228BHJP
   A63F 13/5255 20140101ALI20220228BHJP
【FI】
G06T19/00 300B
G06F3/0487
G06F3/01 510
A63F13/25
A63F13/55
A63F13/5255
【請求項の数】 12
(21)【出願番号】P 2018191318
(22)【出願日】2018-10-09
(62)【分割の表示】P 2017141868の分割
【原出願日】2017-07-21
(65)【公開番号】P2019049987
(43)【公開日】2019-03-28
【審査請求日】2020-07-01
(73)【特許権者】
【識別番号】509070463
【氏名又は名称】株式会社コロプラ
(72)【発明者】
【氏名】猪俣 篤
(72)【発明者】
【氏名】高野 友輝
【審査官】村松 貴士
(56)【参考文献】
【文献】特許第6419268(JP,B1)
【文献】特開2017-058971(JP,A)
【文献】特開2001-306477(JP,A)
【文献】特開2003-178328(JP,A)
【文献】特開2010-279460(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 13/00 - 13/80
G06T 19/00 - 19/20
A63F 13/00 - 13/98
G06F 3/01
G06F 3/048 - 3/0489
(57)【特許請求の範囲】
【請求項1】
表示部を備えるヘッドマウントデバイスを介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法であって、
前記コンピュータにより自動制御される第1アバターと、該第1アバターに関連付けられ前記コンピュータにより自動制御される第1キャラクタと、を含む仮想空間を規定する仮想空間データを特定するステップと、
前記第1アバターを自動制御するための第1制御データ及び前記第1キャラクタを自動制御するための第2制御データのそれぞれに基づいて、前記第1アバター及び前記第1キャラクタを制御するステップと、
前記仮想空間において、前記第1アバター及び前記第1キャラクタと関連付けられていない仮想視点を特定するステップと、
前記仮想空間データと、前記仮想空間における前記仮想視点の位置と、前記ヘッドマウントデバイスの姿勢に基づいて視野画像を生成し、前記視野画像を前記表示部に表示させるステップと、
を含み、
前記第1制御データは、前記仮想空間内の第1位置における前記第1アバターの動きを制御するための動き制御データを含み、
前記動き制御データは、前記第1アバターの動きを規定した第1の動きが関連付けられた第1条件を含み、
前記第1条件は、前記第1キャラクタ及び前記第1キャラクタ以外のオブジェクトである相手キャラクタの一方から他方に対する動作を含む事象に基づいて、前記第1キャラクタまたは前記相手キャラクタの状態が第2条件を満たしたことを含み、
前記第1の動きは、前記相手キャラクタに関連付けられた相手アバターを注目対象とした動きを含む、
情報処理方法。
【請求項2】
前記第1制御データは、前記第1アバターの位置を前記第1位置から第2位置に移動させるように制御するための位置制御データ、及び、前記第1アバターの外観を制御するための外観制御データの少なくとも一つをさらに含む、
請求項1に記載の情報処理方法。
【請求項3】
前記仮想空間は、前記ユーザに関連付けられた第2アバターを更に含み、
前記第1制御データは、前記動き制御データを含み、
前記情報処理方法は、
前記ユーザの動きに基づく動きデータを取得するステップと、
前記動きデータに基づいて前記第2アバターを動かすステップと、を更に含み、
前記動きデータの少なくとも一部を前記動き制御データとして適用し、
前記動き制御データとして適用された前記動きデータの少なくとも一部に基づいて、前記第1アバターの動きを制御する、
請求項2に記載の情報処理方法。
【請求項4】
前記動きデータが取得された場合に、前記動き制御データは、前記コンピュータによる自動制御のために予め設定された第1制御状態から、前記動きデータの少なくとも一部が適用された第2制御状態に更新され、前記第1アバターの動きは、前記第2制御状態の前記動き制御データに基づいて制御される、
請求項3に記載の情報処理方法。
【請求項5】
前記動き制御データとして適用される前記動きデータの少なくとも一部を取得した後の第1時間以内において、前記動きデータの少なくとも一部に基づいて前記第1アバターの動きを制御する、
請求項3または4に記載の情報処理方法。
【請求項6】
前記仮想空間は、前記ユーザによる操作入力に基づいて操作される第2キャラクタを含み、
前記動きデータは、前記動きデータの取得時における前記第2キャラクタの状態を表す状態情報と関連付けて取得され、
前記第1キャラクタの状態が第1状態である場合に、前記第1状態に関連付けられている前記動きデータの少なくとも一部が、前記動き制御データとして適用される、
請求項3~5のいずれか一項に記載の情報処理方法。
【請求項7】
前記仮想空間は、複数のユーザの各々に関連づけられた前記第2アバターを含み、
前記複数のユーザの各々の前記動きデータが取得され、
前記複数のユーザのいずれかの前記動きデータの少なくとも一部が、前記動き制御データとして適用される、
請求項3~6のいずれか一項に記載の情報処理方法。
【請求項8】
前記仮想空間において発生した事象が前記第1条件を満たした場合に、前記第1条件に関連付けられた前記第1の動きを前記第1アバターにさせる、
請求項2~7のいずれか一項に記載の情報処理方法。
【請求項9】
前記第1条件は、前記第1キャラクタと前記仮想空間に配置された注目対象との位置関係が第3条件を満たしたことを含み、
前記第1の動きは、前記第1アバターの視線を前記注目対象に向けさせることを含む、
請求項8に記載の情報処理方法。
【請求項10】
前記注目対象は、前記仮想空間に配置されているオブジェクトであって、前記第1アバターの視線方向に基づいて定義される前記第1アバターの視野に含まれているオブジェクトの中から選択される、
請求項9に記載の情報処理方法。
【請求項11】
請求項1~10のいずれか一項に記載の情報処理方法をコンピュータに実行させるプログラム。
【請求項12】
少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により請求項1~10のいずれか一項に記載の情報処理方法を実行する、装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【0002】
仮想空間におけるゲーム体験(VRゲーム)をユーザに提供するハードウェアとして、プレイステーション(登録商標)VRが知られている。プレイステーションVRでは、ユーザは、コントローラを用いて仮想空間におけるプレイヤキャラクタ等を操作することにより、VRゲームをプレイすることができる。コントローラを用いてVRゲームをプレイするための技術については、特許文献1,2にも開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-232783号公報
【文献】特開2016-158794号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
また、仮想空間におけるキャラクタを操作するゲームにおいて、ユーザの分身としての位置づけを有するオブジェクトであるアバターをキャラクタと共に仮想空間に混在させることによりエンタテイメント性を向上させることが行われている。
【0005】
そこで、本開示は、キャラクタとアバターとを混在させた仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示が示す一態様によれば、表示部を備えるヘッドマウントデバイスを介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法が提供される。この情報処理方法は、コンピュータにより自動制御される第1アバターと、該第1アバターに関連付けられコンピュータにより自動制御される第1キャラクタと、を含む仮想空間を規定する仮想空間データを特定するステップと、第1アバターを自動制御するための第1制御データ及び第1キャラクタを自動制御するための第2制御データのそれぞれに基づいて、第1アバター及び第1キャラクタを制御するステップと、仮想空間において、第1アバター及び第1キャラクタと関連付けられていない仮想視点を特定するステップと、仮想空間データと、仮想空間における仮想視点の位置と、ヘッドマウントデバイスの姿勢に基づいて視野画像を生成し、視野画像を表示部に表示させるステップと、を含む。
【発明の効果】
【0007】
本開示によれば、キャラクタとアバターとを混在させた仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することが可能となる。
【図面の簡単な説明】
【0008】
図1】ある実施の形態に従うHMDシステム100の構成の概略を表す図である。
図2】一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。
図3】ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。
図4】ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。
図5】ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
図6】仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。
図7】仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図8】ある実施の形態に従うコントローラ160の概略構成を表す図である。
図9】ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図10】ある実施の形態に従うHMDシステム100Aが実行する処理を表すフローチャートである。
図11】仮想空間の一例を模式的に表す図である。
図12】HMD装置を介してユーザに提供される視界画像の一例を表す図である。
図13】コンピュータにより自動制御される自動アバターの動きを制御するために実行される処理を表すフローチャートである。
図14】自動アバターの動きを制御するために実行される処理の第1の変形例を示すフローチャートである。
図15】自動アバターの動きを制御するために実行される処理の第2の変形例を示すフローチャートである。
図16】仮想空間において発生した事象に基づく自動アバターの制御の例を示す図である。
図17】仮想空間において発生した事象に基づく自動アバターの制御の他の例を示す図である。
図18】仮想空間における自動アバターの位置を移動させる制御の例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0010】
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[HMDシステムの構成]
【0011】
図1を参照して、HMD(Head Mount Device)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
【0012】
HMDシステム100は、HMD装置110(ヘッドマウントデバイス)と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD装置110は、モニタ112(表示部)と、マイク118と、注視センサ140とを含む。
【0013】
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。別の局面において、HMD装置110は、HMDセンサ120の代わりに、センサ114を含み得る。
【0014】
HMD装置110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD装置110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
【0015】
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD装置110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。モニタ112は、HMD装置110の本体と一体に構成されてもよいし、別体として構成されてもよい。
【0016】
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
【0017】
マイク118は、ユーザが発した音声を取得する。マイク118によって取得された音声は、音声解析処理によってユーザの感情を検知するために使用され得る。検知結果は、後述するアバターの表情等に反映されてもよい。当該音声は、仮想空間2に対して、音声による指示を与えるためにも使用され得る。また、当該音声は、ネットワーク19およびサーバ150等を介して、他のユーザが使用するHMDシステムに送られ、当該HMDシステムに接続されたスピーカ等から出力されてもよい。これにより、仮想空間を共有するユーザ間での会話(チャット)が実現される。
【0018】
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD装置110およびコントローラ160の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD装置110の位置および傾き、ならびにコントローラ160の位置および傾きを検出する。
【0019】
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD装置110およびコントローラ160の画像情報を用いて、画像解析処理を実行することにより、HMD装置110の位置および傾き、ならびにコントローラ160の位置および傾きを検出することができる。
【0020】
別の局面において、HMD装置110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD装置110は、センサ114を用いて、HMD装置110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD装置110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD装置110の3軸周りの角速度を経時的に検出する。HMD装置110は、各角速度に基づいて、HMD装置110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD装置110の傾きを算出する。また、HMD装置110は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD装置110に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。
【0021】
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
【0022】
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMD装置に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。なお、サーバ150は、一または複数のコンピュータ装置により構成され、後述するコンピュータ200のハードウェア構成と同様に、一般的なコンピュータが備えるハードウェア構成(プロセッサ、メモリ、ストレージ等)を備える。
【0023】
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。本実施形態では、コントローラ160は、ユーザ190によって両手で把持されるタイプの入力装置である。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ190によって与えられる操作を受け付ける。上述したように、現実空間におけるコントローラ160の位置および傾きは、HMDセンサ120(あるいはカメラ等)によって検出され得る。別の局面において、コントローラ160は、位置検出器として、上述したセンサ114と同様のセンサ(図示しない)を備えてもよい。この場合、当該センサにより、コントローラ160の位置および傾きが検出され得る。また、HMDセンサ120とコントローラ160が備えるセンサとが併用されてもよい。この場合、例えば、コントローラ160の位置はHMDセンサ120によって検出され、コントローラ160の傾きはコントローラ160が備えるセンサによって検出される。
[ハードウェア構成]
【0024】
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
【0025】
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
【0026】
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。メモリ11に保存されるデータは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発性メモリとして実現される。
【0027】
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ200との通信を実現するためのプログラム等を含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
【0028】
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。
【0029】
ある実施の形態において、入出力インターフェース13は、HMD装置110およびHMDセンサ120との間で信号を通信する。ある局面において、入出力インターフェース13は、USB(Universal Serial Bus)インターフェース、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェース13は上述のものに限られない。例えば、入出力インターフェース13は、Bluetooth(登録商標)等の無線通信インターフェースを含んでもよい。
【0030】
ある実施の形態において、入出力インターフェース13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェース13は、コントローラ160から出力された信号の入力を受ける。別の局面において、入出力インターフェース13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
【0031】
通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェース14は、例えば、LAN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェースとして実現される。なお、通信インターフェース14は上述のものに限られない。
【0032】
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェース13を介して、仮想空間を提供するための信号をHMD装置110に送る。HMD装置110は、その信号に基づいてモニタ112に映像を表示する。
【0033】
サーバ150は、ネットワーク19を介して複数のHMDシステム100の各々の制御装置と接続される。図2に示される例では、サーバ150は、HMD装置110Aを有するHMDシステム100Aと、HMD装置110Bを有するHMDシステム100Bとを含む複数のHMDシステム100を互いに通信可能に接続する。これにより、共通の仮想空間を用いた仮想体験が各HMDシステムを使用するユーザに提供される。なお、HMDシステム100A、HMDシステム100B、およびその他のHMDシステム100は、いずれも同様の構成を備える。ただし、各HMDシステム100は、互いに異なる機種であってもよいし、互いに異なる性能(処理性能および検知性能等)を有するものであってもよい。
【0034】
なお、図2に示される例では、コンピュータ200がHMD装置110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD装置110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
【0035】
また、コンピュータ200は、複数のHMD装置110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、このような場合、本実施形態における複数のHMDシステム100は、入出力インターフェース13により、コンピュータ200に直接接続されてもよい。また、本実施形態におけるサーバ150の各機能(例えば後述する同期処理等)は、コンピュータ200に実装されてもよい。
【0036】
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
【0037】
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD装置110の各光源から発せられた赤外線をそれぞれ検出すると、HMD装置110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD装置110を装着したユーザ190の動きに応じた、現実空間内におけるHMD装置110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD装置110の位置および傾きの時間的変化を検出できる。
【0038】
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD装置110の各傾きは、グローバル座標系におけるHMD装置110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD装置110の傾きに基づき、uvw視野座標系をHMD装置110に設定する。HMD装置110に設定されるuvw視野座標系は、HMD装置110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
【0039】
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD装置110の起動時に、グローバル座標系におけるHMD装置110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD装置110に設定する。
【0040】
図3に示されるように、HMD装置110は、HMD装置110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD装置110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD装置110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
【0041】
ある局面において、HMD装置110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD装置110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
【0042】
uvw視野座標系がHMD装置110に設定された後、HMDセンサ120は、HMD装置110の動きに基づいて、設定されたuvw視野座標系におけるHMD装置110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD装置110の傾きとして、uvw視野座標系におけるHMD装置110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD装置110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD装置110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD装置110の傾き角度を表す。
【0043】
HMDセンサ120は、検出されたHMD装置110の傾き角度に基づいて、HMD装置110が動いた後のHMD装置110におけるuvw視野座標系を、HMD装置110に設定する。HMD装置110と、HMD装置110のuvw視野座標系との関係は、HMD装置110の位置および傾きに関わらず、常に一定である。HMD装置110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD装置110のuvw視野座標系の位置および傾きが変化する。
【0044】
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD装置110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD装置110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
【0045】
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
【0046】
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
【0047】
HMD装置110の起動時、すなわちHMD装置110の初期状態において、仮想カメラ1は、例えば仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD装置110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD装置110の位置および向きの変化が、仮想空間2において同様に再現される。
【0048】
仮想カメラ1には、HMD装置110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD装置110のuvw視野座標系に連動するように規定されている。したがって、HMD装置110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD装置110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
【0049】
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD装置110を装着したユーザの視界に対応する。
【0050】
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD装置110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD装置110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
【0051】
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
【0052】
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
【0053】
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
【0054】
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
【0055】
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
【0056】
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
【0057】
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心として極角αを含む範囲を、領域24として規定する。
【0058】
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
【0059】
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD装置110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
【0060】
ユーザ190は、HMD装置110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
【0061】
ある局面において、プロセッサ10は、HMD装置110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD装置110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。すなわち、仮想カメラ1によって、仮想空間2におけるユーザ190の視野が定義される。
【0062】
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD装置110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
【0063】
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。図8の状態(A)は、コントローラ160の上面の外観構成を示しており、図8の状態(B)は、コントローラ160の奥側側面の外観構成を示している。ここで、コントローラ160の上面とは、ユーザ190がコントローラ160を両手で保持した場合に、ユーザ190の方を向く面である。
【0064】
図8の状態(A)に示されるように、コントローラ160の上面には、入力部としての、方向キー161、アナログスティック162L,162R、4種の操作ボタン163、タッチパッド164、および機能ボタン165等が設けられている。また、コントローラ160は、ユーザ190がコントローラ160を把持するための把持部166を有する。把持部166は、ユーザ190の左手によって把持される左把持部166Lとユーザ190の右手によって把持される右把持部166Rとを有する。また、図8の状態(B)に示されるように、コントローラ160の奥側側面には、入力部としての上部ボタン167L,167Rと、コントローラ160から送信される指示情報等に基づいて発光する発光部168とが設けられている。
【0065】
タッチパッド164は、方向キー161と操作ボタン163との間に設けられている。機能ボタン165は、左右のアナログスティック162L,162Rの間に設けられている。機能ボタン165は、例えばコントローラ160を起動したり、コントローラ160とコンピュータ200との間の通信接続をアクティブにしたりするために使用され得る。その他の入力部(方向キー161、アナログスティック162、操作ボタン163、および上部ボタン167)は、後述するアバターおよびプレイヤキャラクタの操作等に使用され得る。例えば、アナログスティック162は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動させるための操作を含む。
【0066】
方向キー161およびアナログスティック162Lは、ユーザ190の左手の親指による操作を受け付けることを想定して配置されている。操作ボタン163およびアナログスティック162Rは、ユーザ190の右手の親指による操作を受け付けることを想定して配置されている。上部ボタン167Lは、ユーザ190の左手の人差し指による操作を受け付けることを想定して配置されており、上部ボタン167Rは、ユーザ190の右手の人差し指による操作を受け付けることを想定して配置されている。ただし、コントローラ160の形状、各部の配置構成、および各部の機能は、上記例に限られない。例えば、操作ボタン163の個数は4つ以外(例えば2つ)であってもよいし、アナログスティック162L,162Rが省略されてもよい。
【0067】
ある局面において、コントローラ160は、発光部168その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、コントローラ160は、例えば、コンピュータ200のUSBインターフェースに接続され得る。この場合、コントローラ160は、電池を必要としない。
[HMD装置の制御装置]
【0068】
図9を参照して、HMD装置110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
【0069】
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト制御モジュール232と、コントローラ情報取得モジュール233と、データ共有モジュール234と、ゲーム状態判定モジュール235とを含む。
【0070】
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェース14によって実現される。
【0071】
ある局面において、表示制御モジュール220は、HMD装置110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、HMD装置110を装着したユーザの頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像を生成する。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
【0072】
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
【0073】
仮想オブジェクト制御モジュール232は、後述するオブジェクト情報242に基づいて、仮想空間2に配置されるオブジェクトを生成する。また、仮想オブジェクト制御モジュール232は、仮想空間2におけるオブジェクトの動作(移動および状態変化等)を制御する。また、仮想オブジェクト制御モジュール232は、後述するコントローラ情報取得モジュール233により取得されたコントローラ情報等に基づいて、アバターおよびプレイヤキャラクタの動作(動き、移動および状態変化等)を制御する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。アバターは、HMD装置110を装着したユーザに関連付けられたオブジェクトである。アバターは、仮想空間2におけるユーザの分身としての位置付けを有するオブジェクトである。一方、プレイヤキャラクタは、仮想空間2で展開されるゲームにおいて、ユーザによって操作されるキャラクタオブジェクトである。本実施形態では、仮想空間2で展開されるゲームは、複数のユーザが仮想空間2に用意されたゲームフィールド(例えば闘技場)上で各自のプレイヤキャラクタ同士を闘わせる対戦ゲーム(あるいは、複数のユーザ同士が協力して進めるアクションゲーム等)である。また、アバターは人型のオブジェクトであり、プレイヤキャラクタは動物を模したオブジェクトである。ただし、プレイヤキャラクタは、仮想空間2で展開されるゲームの内容に応じて適宜の形態を採り得る。例えば、プレイヤキャラクタは、人型のオブジェクトであってもよいし、ロボット等の生物以外を模したオブジェクトであってもよい。より具体的には、仮想空間2で展開されるゲームがラジコンカーを用いたレースゲームである場合、プレイヤキャラクタは、ラジコンカーを表すオブジェクトであってもよい。
【0074】
コントローラ情報取得モジュール233は、コントローラ160の状態を特定するための状態情報と、コントローラ160に対するユーザ190による入力操作の内容を示す操作情報とを含むコントローラ情報を取得する。状態情報は、例えば、上述したHMDセンサ120等により検出されたコントローラ160の位置および傾きを特定するための情報である。コントローラ情報は、コントローラ160の状態およびコントローラ160に対する入力操作の内容を仮想空間2におけるアバターまたはプレイヤキャラクタに反映させるために、仮想オブジェクト制御モジュール232に受け渡される。また、コントローラ情報取得モジュール233は、サーバ150を介して取得された他のユーザのコントローラ情報についても、適宜仮想オブジェクト制御モジュール232に受け渡す。これにより、他のユーザに関連付けられたアバターまたはプレイヤキャラクタを、他のユーザのコントローラ情報に基づいて動作させることができる。
【0075】
データ共有モジュール234は、ユーザ間で共有すべきデータを、サーバ150を介して他のユーザのHMDシステム100との間で送受信する。共有すべきデータとしては、アバターの身体の一部の動作を制御するための動き情報、およびプレイヤキャラクタの動作を制御するためのコントローラ情報等がある。動き情報は、例えば、HMDセンサ120等により検出されたHMD装置110の位置および傾きを特定するための情報(以下「向きデータ」)、および注視センサ140等により検出されたアイトラッキングデータ等である。本実施形態では、データ共有モジュール234は、動き情報とコントローラ情報とを含む情報(以下「プレイヤ情報」という。)を、ユーザ間で共有すべき情報として、サーバ150を介して他のユーザのHMDシステム100との間で送受信する。プレイヤ情報の送受信は、後述する通信制御モジュール250の機能を利用することにより実現される。
【0076】
ゲーム状態判定モジュール235は、仮想空間2で展開されるゲームにおいて発生した事象に関する判定を行う。ゲームにおいて発生する事象は、例えば、プレイヤキャラクタ、アバター及び仮想空間2に配置されたオブジェクトの相互の位置関係、並びに、プレイヤキャラクタまたはアバターによる他のオブジェクトに対する動作等を含む。
【0077】
ゲーム状態判定モジュール235は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。ゲーム状態判定モジュール235は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。ゲーム状態判定モジュール235は、例えばオブジェクト毎に設定されたコリジョンエリアに基づく公知の当たり判定を実行することにより、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。
【0078】
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。空間情報241には、例えば、仮想空間2を提供するために規定された1つ以上のテンプレートが含まれている。オブジェクト情報242には、例えば、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。オブジェクト情報242には、各オブジェクト(例えば、プレイヤキャラクタおよびアバター等)を描画するための描画情報も含まれている。また、オブジェクト情報242は、各オブジェクトに関連付けられた属性を示す属性情報も含み得る。オブジェクトの属性情報としては、例えば当該オブジェクトが可動物であるか固定物であるかを示す情報等が挙げられる。ユーザ情報243には、例えば、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。
【0079】
メモリモジュール240に格納されているデータおよびプログラムは、HMD装置110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
【0080】
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
【0081】
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
【0082】
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD-ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、メモリモジュール240に一旦格納される。そのソフトウェアは、プロセッサ10によってメモリモジュール240から読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
【0083】
図9に示されるコンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0084】
なお、データ記録媒体としては、CD-ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
【0085】
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
[制御構造]
【0086】
図10を参照して、本実施の形態に係るコンピュータ200の制御構造について説明する。図10は、ユーザ190Aによって使用されるHMDシステム100Aがユーザ190Aに仮想空間2を提供するために実行する処理を表すフローチャートである。
【0087】
ステップS1において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間2を定義する仮想空間データを取得する。ここで、プロセッサ10は、仮想空間2を共有する他のユーザのアバターおよびプレイヤキャラクタの初期配置等に関する情報をサーバ150等から受信することにより、当該他のユーザのアバターおよびプレイヤキャラクタを含む仮想空間2を定義する仮想空間データを生成することができる。あるいは、各HMDシステム100と通信可能に接続されたサーバ150によって、複数のユーザに共通の仮想空間2を定義する仮想空間データが生成されてもよい。この場合、プロセッサ10は、サーバ150から仮想空間データをダウンロードすることにより、仮想空間データを取得することができる。
【0088】
ステップS2において、プロセッサ10は、仮想カメラ制御モジュール221として、仮想カメラ1を初期化する。例えば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点(あるいはその他の予め規定されたデフォルト位置)に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
【0089】
ステップS3において、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD装置110に送られる。
【0090】
ステップS4において、HMD装置110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像を表示する。HMD装置110を装着したユーザ190Aは、視界画像を視認すると仮想空間2を認識し得る。
【0091】
ステップS5において、HMDセンサ120は、HMD装置110から発信される複数の赤外線光に基づいて、HMD装置110の位置と傾きを検知する。検知結果は、動き検知データ(動き情報の一部)として、コンピュータ200に送られる。
【0092】
ステップS6において、プロセッサ10は、視界領域決定モジュール222として、HMD装置110の位置と傾きとに基づいて、HMD装置110を装着したユーザ190Aの視界方向を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを配置する。
【0093】
ステップS7において、コントローラ160は、現実空間におけるユーザ190Aの操作を検出する。例えば、ある局面において、コントローラ160は、ユーザ190Aによってボタンが押下されたことを検出する。また、上述したようにHMDセンサ120またはコントローラ160自身が備えるセンサは、コントローラ160の位置および傾きを検出する。検出結果を示す信号は、HMDセンサ120またはコントローラ160からコンピュータ200に送られる。このようにして、コントローラ160に対するユーザ190Aによる入力操作の内容を示す操作情報とコントローラ160の状態(位置および傾き等)を特定するための状態情報とを含むコントローラ情報が、コンピュータ200に送られる。そして、プロセッサ10は、コントローラ情報取得モジュール233として、当該コントローラ情報を取得する。
【0094】
ステップS8において、プロセッサ10は、コントローラ情報取得モジュール233およびデータ共有モジュール234として、サーバ150から、仮想空間2を共有する他のユーザのプレイヤ情報(音声データ、動き情報、およびコントローラ情報等)を取得する。
【0095】
ステップS9において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ユーザ190Aを含む各ユーザ190のプレイヤ情報に基づいて、各ユーザのアバターおよびプレイヤキャラクタの動作を制御する。
【0096】
ステップS10において、プロセッサ10は、視界画像生成モジュール223として、ステップS9の処理結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをHMD装置110に出力する。
【0097】
ステップS11において、HMD装置110のモニタ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。
【0098】
図11は、仮想空間2の一例を模式的に表す図である。図11に示されるように、仮想空間2は、ユーザ190Aに関連付けられたアバターA21(第2アバター)と、ユーザ190Aにより使用されるコントローラ160Aに対する入力操作に基づいて操作されるプレイヤキャラクタC21(第2キャラクタ)と、ユーザ190Aとは異なるユーザ190Bに関連付けられたアバターA22(第2アバター)と、ユーザ190Bにより使用されるコントローラ160Bに対する入力操作に基づいて操作されるプレイヤキャラクタC22(第2キャラクタ)と、ユーザ190Aに装着され、モニタ112(表示部)を備えるHMD装置110A(ヘッドマウントデバイス)に提供される視界画像M1を定義する仮想カメラ1Aと、ユーザ190Bに装着され、モニタ112を備えるHMD装置110Bに提供される視界画像M2を定義する仮想カメラ1Bとを含む。また、図11に示される例では、仮想空間2は、さらに、コントローラ160A,160Bに対応する仮想的なコントローラを表すコントローラオブジェクトVC21,VC22を含む。
【0099】
また、仮想空間2は、コンピュータ200により自動制御される自動アバターA1(第1アバター)と、自動アバターA1に関連付けられコンピュータ200により自動制御される自動プレイヤキャラクタC1(第1キャラクタ)と、を含む。仮想区間2は、さらに、自動アバターA1に把持される仮想的なコントローラオブジェクトVC1を含んでもよい。仮想空間2に自動アバターA1及び自動プレイヤキャラクタC1を配置するために、図10に示すフローチャートのステップS1において、プロセッサ10は、自動アバターA1及び自動プレイヤキャラクタC1の初期配置等に関する情報をサーバ150から受信することにより、自動アバターA1及び自動プレイヤキャラクタC1を含む仮想空間を定義する仮想空間データを生成することができる。自動アバターA1及び自動プレイヤキャラクタC1を定義するための情報は、ユーザ間に共有される。
【0100】
プロセッサ10は、仮想オブジェクト制御モジュール232として、自動アバターA1を制御するための第1制御データに基づいて、自動アバターA1を制御する。また、プロセッサ10は、仮想オブジェクト制御モジュール232として、自動プレイヤキャラクタC1を制御するための第2制御データに基づいて、自動プレイヤキャラクタC1を制御する。第1制御データは、自動アバターA1の制御内容及び制御実施のための条件等を含む。プロセッサ10は、第1制御データを参照して、自動アバターA1を制御する。第2制御データは、自動プレイヤキャラクタC1の制御内容、制御実施のための条件等を含む。プロセッサ10は、第2制御データを参照して、自動プレイヤキャラクタC1を制御する。プロセッサ10は、第1制御データ及び第2制御データを、例えばサーバ150から、通信制御モジュール250を介して取得してもよい。第1制御データ及び第2制御データは、オブジェクト情報242としてメモリに格納されていてもよい。
【0101】
図11に示される例では、仮想空間2において、複数のユーザ190A,190Bが各自のプレイヤキャラクタC21,C22を操作して、ゲームフィールドF上で相手方のプレイヤキャラクタC22,C21及びコンピュータ200により自動制御される自動プレイヤキャラクタC1と闘わせる対戦ゲーム(ここでは、爆弾B1を投げ合うゲーム)が展開されている。仮想空間2では、ゲームに関連するプレイヤキャラクタC21,C22,C1だけでなく、コントローラオブジェクトVC21,VC22を保持するアバターA21,A22及び自動アバターA1が所定の位置に配置されている。これにより、仮想空間2において、各ユーザ190A,190BのアバターA21,A22及び自動アバターA1が各プレイヤキャラクタC21,C22及び自動プレイヤキャラクタC1を操作しているシチュエーションが表現されている。また、仮想カメラ1A,1Bは、アバターA21,A22の視点に関連付けられている。これにより、ユーザ190A,190Bに対して、アバターA21,A22の1人称視点における視界画像M1,M2(視野画像)が提供される。
【0102】
図12は、HMD装置110Aを介してユーザ190Aに提供される視界画像M1の一例を表す図である。図12に示されるように、視界画像M1には、ユーザ190A,190Bにより操作されるプレイヤキャラクタC21、C22及びユーザ190Bに関連付けられたアバターA22が含まれる。また、視界画像M1には、コンピュータ200により自動制御される自動アバターA1及び自動プレイヤキャラクタC1がさらに含まれている。ユーザ190Aは、視界画像M1を認識することによって、あたかも自分がアバターA21として仮想空間2に存在しているかのような仮想体験をすることができる。同様に、ユーザ190Bは、視界画像M2を認識することによって、あたかも自分がアバターA22として仮想空間2に存在しているかのような仮想体験をすることができる。
【0103】
このような仮想空間2によれば、各ユーザ190A,190Bに対して、アバターA21,A22を介したマルチプレイゲームを提供することができる。また、この仮想空間2には、各ユーザ190A,190BのアバターA21,A22およびプレイヤキャラクタC21,C22並びにコンピュータにより自動制御される自動アバターA1及び自動プレイヤキャラクタC1が存在する。このため、各ユーザ190A,190Bは、アバターA21,A22を介して互いの存在を認識すると共に、アバターA1として擬人化されたコンピュータを認識しつつ、仮想空間2において共通のゲームを楽しむことができる。これにより、各ユーザ190A,190Bの仮想体験のエンタテイメント性を向上させることができる。
【0104】
図13は、コンピュータにより自動制御される自動アバターA1の動きを制御するために実行される処理を表すフローチャートである。前述のとおり、自動アバターA1は、第1制御データに基づいて制御される。第1制御データは、自動アバターA1の動きを制御するための動き制御データ、自動アバターA1の位置を制御するための位置制御データ及び自動アバターA1の外観を制御するための外観制御データを含むことができる。図13に示されるフローチャートは、動き制御データに関する処理を表したものである。なお、図13に示される処理は、図10におけるS5~S9に示される処理と一部重複している。
【0105】
ステップS21において、プロセッサ10は、コントローラ情報取得モジュール233として、ユーザ190の動きに基づく動きデータを取得する。動きデータは、例えば、ゲームのプレイ中のある時間におけるユーザ190Aの動きに基づく動き情報及びコントローラ情報を含む。
【0106】
ステップS22において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ステップS21において取得された動きデータに基づいてユーザ190に関連付けられたアバターを動かす。具体的には、例えば、プロセッサ10は、ユーザ190Aの動きに基づく動きデータに基づいて、ユーザ190Aの動きを模すようにアバターA21を動かす。
【0107】
ステップS23において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ステップS22においてアバターを動かすために用いられた動きデータの少なくとも一部を、コンピュータ200により自動制御される自動アバターA1の動きを制御するための動き制御データに適用する。即ち、プロセッサ10は、ユーザ190Aの動きデータが取得された場合に、動き制御データの制御状態を、自動アバターA1の自動制御のために予め設定された第1制御状態から、動きデータの少なくとも一部が適用された第2制御状態に更新することができる。
【0108】
具体的には、プロセッサ10は、ゲーム中におけるある時間幅に対応するユーザ190Aの動きデータを、当該動きデータの取得時以後のある時間(第1時間)内における動き制御データとして適用する。動き制御データとして適用される動きデータに対応する時間幅は、例えば、一連の動きの開始時から終了時までであってもよく、例えば、ユーザ190Aが手を挙げてから振り下ろすまでの時間幅であってもよい。
【0109】
ステップS24において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ステップS23において動き制御データとして適用された動きデータの少なくとも一部に基づいて、自動アバターA1の動きを制御する。具体的には、プロセッサ10は、例えば、ある時間幅におけるユーザ190Aの一連の動きを示す動きデータが動き制御データとして適用された場合には、ユーザ190A及びアバターA21の一連の動きと同様の動きを自動アバターA1にさせる。これにより、自動アバターA1に人間らしい自然な動作をさせることができる。また、自動アバターA1がユーザ190Aと同様の動作をするので、ユーザ190Aに対して自動アバターA1に対する親しみを感じさせることができる。
【0110】
続いて、本実施の形態の第1の変形例について説明する。図14は、自動アバターA1の動きを制御するために実行される処理の第1の変形例を示すフローチャートである。
【0111】
ステップS31において、プロセッサ10は、コントローラ情報取得モジュール233として、ユーザ190の動きに基づく動きデータを当該ユーザ190のプレイヤキャラクタの状態情報と関連付けて取得する。状態情報は、例えば、ゲームの進行において用いられるプレイヤキャラクタに関連付けられたパラメータ等であって、プレイヤキャラクタの体力値であるヒットポイント(HP)等が例示される。具体的には、プロセッサ10は、例えば、ユーザ190Aの動きに基づく動きデータを、プレイヤキャラクタC21の状態情報と関連付けて取得する。
【0112】
ステップS32において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ステップS21において取得された動きデータに基づいてユーザ190に関連付けられたアバターを動かす。具体的には、例えば、プロセッサ10は、ユーザ190Aの動きに基づく動きデータに基づいて、ユーザ190Aの動きを模すようにアバターA21を動かす。
【0113】
ステップS33において、プロセッサ10は、仮想オブジェクト制御モジュール232として、自動プレイヤキャラクタC1の状態情報(第1状態)を取得する。前述のとおり、この状態情報は、例えば、自動プレイヤキャラクタC1のヒットポイント等のパラメータである。
【0114】
ステップS34において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ステップS31において取得された動きデータのうち、ステップS33において取得された状態情報と同値の状態情報に関連付けられている動きデータを抽出し、抽出した動きデータを自動アバターA1の動きを制御するための動き制御データに適用する。
【0115】
ステップS35において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ステップS34において動き制御データとして適用された動きデータに基づいて、自動アバターA1の動きを制御する。具体的には、プロセッサ10は、例えば、ある時間幅におけるユーザ190Aの一連の動きを示す動きデータが動き制御データとして適用された場合には、ユーザ190A及びアバターA21の一連の動きと同様の動きを自動アバターA1にさせる。これにより、自動アバターA1の制御に、自動プレイヤキャラクタC1の状態に応じた動きデータが用いられるので、自動アバターA1に自動プレイヤキャラクタC1の状態が加味された自然な動作をさせることができる。
【0116】
続いて、本実施の形態の第2の変形例について説明する。第2の変形例は、複数のユーザのそれぞれに関連付けられたアバター、及び、各ユーザによって操作される複数のプレイヤキャラクタが仮想空間2に含まれる場合における自動アバターAの動きの制御の例である。図15は、自動アバターA1の動きを制御するために実行される処理の第2の変形例を示すフローチャートである。
【0117】
ステップS41において、プロセッサ10は、コントローラ情報取得モジュール233及びデータ共有モジュール234として、複数のユーザ190のそれぞれの動きに基づく動きデータを取得する。具体的には、プロセッサ10は、例えば、ユーザ190A,190Bのそれぞれの動きに基づく動きデータを取得する。
【0118】
ステップS42において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ステップS41において取得された動きデータに基づいて各ユーザ190に関連付けられたアバターを動かす。具体的には、例えば、プロセッサ10は、ユーザ190Aの動きに基づく動きデータに基づいて、ユーザ190Aの動きを模すようにアバターA21を動かす。また、プロセッサ10は、ユーザ190Bの動きに基づく動きデータに基づいて、ユーザ190Bの動きを模すようにアバターA22を動かす。
【0119】
ステップS43において、プロセッサ10は、仮想オブジェクト制御モジュール232として、自動アバターA1の動き制御データに適用する動きデータの指定を取得する。具体的には、プロセッサ10は、ステップS41において取得された複数のユーザの動きデータのうちのいずれのユーザの動きデータを動き制御データに適用するかの指定を取得する。動きデータの指定は、例えば、ユーザ190のうちのいずれかによる明示的な指示入力に基づいてもよい。また、動きデータは、コンピュータ200またはサーバ150等によりランダムな選択に基づいてもよい。
【0120】
ステップS44において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ステップS43において指定された動きデータを自動アバターA1の動きを制御するための動き制御データに適用する。
【0121】
ステップS45において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ステップS44において動き制御データとして適用された動きデータに基づいて、自動アバターA1の動きを制御する。これにより、自動アバターA1の動きの制御に用いるために、所望のまたは好適な動きデータを選択できるので、ユーザ190がより好感を持ちやすい自然な動作を自動アバターA1にさせることができる。
【0122】
次に、図16図17を参照して、自動アバターA1の動きの制御の例を説明する。動き制御データは、自動アバターA1の所定の動きを規定した動作情報(第1の動き)が関連付けられた、仮想空間2における所定の事象を規定した事象条件(第1条件)を含むことができる。仮想空間2において発生した事象が動き制御データに含まれる事象条件を満たした場合に、プロセッサ10は、事象条件に関連付けられた動作情報に規定されている動きを自動アバターA1にさせる。
【0123】
図16は、仮想空間2において発生した事象に基づく自動アバターA1の制御の例を示す図である。図16に示される例では、動き制御データは、自動プレイヤキャラクタC1及び自動プレイヤキャラクタC1以外のプレイヤキャラクタC21,C22(相手キャラクタ)の一方から他方に対する動作を含む事象に基づいて、自動プレイヤキャラクタC1またはプレイヤキャラクタC21,C22の状態がある条件を満たしたこと(第2条件)を事象条件として含む。この事象条件には、プレイヤキャラクタC21,C22に関連付けられたアバターA21,A22を注目対象とした動きが動作情報として関連付けられている。
【0124】
具体的には、図16に示される例では、仮想空間2では、ゲームがプレイヤキャラクタC1,C21,C22が相互に闘う対戦ゲームが展開されており、自動プレイヤキャラクタC1がプレイヤキャラクタC22と闘って勝った状態が示されている。また、このゲームにおいて、動き制御データは、自動プレイヤキャラクタC1が相手のプレイヤキャラクタに勝ったことを事象条件として含む。そして、かかる事象条件が満たされた場合に、相手のプレイヤキャラクタに関連付けられたアバターを注目対象として、闘いに勝ったことを誇示するポーズを自動アバターA1にさせることが動作情報として関連付けられている。
【0125】
図16に示されるように、プロセッサ10は、ゲーム状態判定モジュール235として、自動プレイヤキャラクタC1がプレイヤキャラクタC22と闘って、例えばプレイヤキャラクタC22のヒットポイントが所定値以下となり、自動プレイヤキャラクタC1が闘いに勝ち、所定の事象条件が満たされたことを判定する。そして、所定の事象条件が満たされたので、プロセッサ10は、仮想オブジェクト制御モジュール232として、アバターA22を注目対象として闘いに勝ったことを誇示するポーズを自動アバターA1にさせる。これにより、自動アバターA1に、プレイヤキャラクタ同士の作用が反映された動作をさせることができるので、仮想体験のエンタテイメント性をより向上させ得る。
【0126】
図17は、仮想空間2において発生した事象に基づく自動アバターA1の制御の他の例を示す図である。図17に示される例では、動き制御データは、自動プレイヤキャラクタC1と仮想空間2に配置された注目対象との位置関係が所定の位置条件(第3条件)を満たしたことを事象条件として含む。この事象条件には、自動アバターA1の視線を注目対象に向けさせることが動作情報として関連付けられている。
【0127】
具体的には、図17に示される例では、仮想空間2では、ゲームがプレイヤキャラクタC1,C21,C22が相互に闘う対戦ゲームが展開されており、自動プレイヤキャラクタC1とアイテムI(注目対象)との距離が所定値以下になった状態が示されている。また、このゲームにおいて、動き制御データは、自動プレイヤキャラクタC1とアイテムIとの距離が所定値以下になったことを事象条件として含む。そして、かかる事象条件が満たされた場合に、アイテムIに視線を向ける動きを自動アバターA1にさせることが動作情報として関連付けられている。
【0128】
図17に示されるように、プロセッサ10は、ゲーム状態判定モジュール235として、自動プレイヤキャラクタC1とアイテムIとの距離が所定値以下となり、所定の事象条件が満たされたことを判定する。そして、所定の事象条件が満たされたので、プロセッサ10は、仮想オブジェクト制御モジュール232として、視線をアイテムIに向ける動きを自動アバターA1にさせる。これにより、自動アバターA1に、注目対象との位置関係に応じた自然な動きをさせることができる。
【0129】
なお、プロセッサ10は、ゲーム状態判定モジュール235として、仮想空間2に配置されているオブジェクトのうち、自動アバターA1の視線方向に基づいて定義される自動アバターA1の視野に含まれているオブジェクトの中から、注目対象としてのアイテムを選択することができる。即ち、自動アバターA1の視野にアイテムが含まれていることは、自動アバターA1の視線をそのアイテムに向けさせる条件として適切である。これにより、自動アバターA1に、自然な動きをさせることができる。
【0130】
図18は、仮想空間2における自動アバターA1の位置を移動させる制御の例を示す図である。第1制御データに含まれる位置制御データは、自動アバターA1の位置を、移動前の位置(第1位置)から、自動プレイヤキャラクタC1の位置に基づいて定義された位置(第2位置)に移動させることを含む。
【0131】
プロセッサ10は、仮想オブジェクト制御モジュール232として、自動プレイヤキャラクタC1の位置に基づいて、自動アバターA1を移動させる位置を定義する。具体的には、自動アバターA1はゲームフィールドFの外縁に沿って移動するので、プロセッサ10は、ゲームフィールドFの外縁において、ゲームフィールドF中の自動プレイヤキャラクタC1の位置に最も近い位置を、自動アバターA1を移動させる位置をして定義する。そして、図18に示されるように、プロセッサ10は、定義された位置に自動アバターA1を移動させる。
【0132】
また、前述のとおり、第1制御データは、自動アバターA1の外観を制御する外観制御データを含み得る。第1制御データが外観制御データを含む場合には、プロセッサ10は、仮想オブジェクト制御モジュール232として、自動プレイヤキャラクタC1の状態に基づいて、自動アバターA1の外観を制御してもよい。具体的には、プロセッサ10は、例えば、プレイヤキャラクタの体力値であるヒットポイント(HP)といったパラメータに基づいて、自動アバターA1の外観を制御することとしてもよい。この場合には、予め自動アバターA1の外観を定義する外観データとHP値とを関連付けておき、プロセッサ10は、ゲームの進行に応じて変化するHP値に応じた外観データを適用することにより、自動アバターA1の外観を制御する。
【0133】
本明細書に開示された主題は、例えば、以下のような項目として示される。
(項目1)
表示部(モニタ112)を備えるヘッドマウントデバイス(HMD装置110)を介してユーザ(ユーザ190)に仮想体験を提供するためにコンピュータ(コンピュータ200またはサーバ150)によって実行される情報処理方法であって、
前記コンピュータにより自動制御される第1アバター(自動アバターA1)と、該第1アバターに関連付けられ前記コンピュータにより自動制御される第1キャラクタ(自動プレイヤキャラクタC1)と、を含む仮想空間を規定する仮想空間データを特定するステップ(図10のステップS1)と、
前記第1アバターを自動制御するための第1制御データ及び前記第1キャラクタを自動制御するための第2制御データのそれぞれに基づいて、前記第1アバター及び前記第1キャラクタを制御するステップ(図10のステップS9または図13のステップS24)と、
前記仮想空間において、前記第1アバター及び前記第1キャラクタと関連付けられていない仮想視点を特定するステップ(図10のステップS6)と、
前記仮想空間データと、前記仮想空間における前記仮想視点の位置と、前記ヘッドマウントデバイスの姿勢に基づいて視野画像を生成し、前記視野画像を前記表示部に表示させるステップ(図10のステップS10,S11)と、
を含む情報処理方法。
本項目の情報処理方法によれば、コンピュータにより自動制御される第1アバター及び第1キャラクタが、それらのためにそれぞれ設けられた第1制御データ及び第2制御データに基づいて制御されることにより、自動制御されるアバター及びキャラクタを含む視野画像をユーザに提供できる。従って、仮想空間における仮想体験のエンタテイメント性を向上させ得る。
(項目2)
前記第1制御データは、前記仮想空間内の第1位置における前記第1アバターの動きを制御するための動き制御データ、前記第1アバターの位置を前記第1位置から第2位置に移動させるように制御するための位置制御データ、及び、前記第1アバターの外観を制御するための外観制御データの少なくとも一つを含む、
項目1に記載の情報処理方法。
本項目の情報処理方法によれば、第1アバターの動き、位置及び外観をそれぞれの制御データを用いて制御することにより、好適な自動制御が実現される。
(項目3)
前記仮想空間は、前記ユーザに関連付けられた第2アバターを更に含み、
前記第1制御データは、前記動き制御データを含み、
前記情報処理方法は、
前記ユーザの動きに基づく動きデータを取得するステップと、
前記動きデータに基づいて前記第2アバターを動かすステップと、を更に含み、
前記動きデータの少なくとも一部を前記動き制御データとして適用し、
前記動き制御データとして適用された前記動きデータの少なくとも一部に基づいて、前記第1アバターの動きを制御する、
項目2に記載の情報処理方法。
本項目の情報処理方法によれば、第1アバターの制御に、ユーザの動きを表す動きデータが用いられるので、コンピュータにより自動制御される第1アバターに、人間らしい自然な動作をさせることができる。
(項目4)
前記動きデータが取得された場合に、前記動き制御データは、前記コンピュータによる自動制御のために予め設定された第1制御状態から、前記動きデータの少なくとも一部が適用された第2制御状態に更新され、前記第1アバターの動きは、前記第2制御状態の前記動き制御データに基づいて制御される、
項目3に記載の情報処理方法。
本項目の情報処理方法によれば、動き制御データに対する動きデータの適用が好適に実現される。
(項目5)
前記動き制御データとして適用される前記動きデータの少なくとも一部を取得した後の第1時間以内において、前記動きデータの少なくとも一部に基づいて前記第1アバターの動きを制御する、
項目3または4に記載の情報処理方法。
本項目の情報処理方法によれば、自身の動きに基づいて第1アバターが動いていることをユーザが認識しやすいので、第1アバターに対する親しみをユーザ感じさせることができる。
(項目6)
前記仮想空間は、前記ユーザによる操作入力に基づいて操作される第2キャラクタを含み、
前記動きデータは、前記動きデータの取得時における前記第2キャラクタの状態を表す状態情報と関連付けて取得され、
前記第1キャラクタの状態が第1状態である場合に、前記第1状態に関連付けられている前記動きデータの少なくとも一部が、前記動き制御データとして適用される、
項目3~5のいずれか一項に記載の情報処理方法。
本項目の情報処理方法によれば、第1アバターの制御に、第1キャラクタの状態に応じた動きデータが用いられるので、自動制御される第1アバターに、第1キャラクタの状態が加味された自然な動作をさせることができる。
(項目7)
前記仮想空間は、複数のユーザの各々に関連づけられた前記第2アバターを含み、
前記複数のユーザの各々の前記動きデータが取得され、
前記複数のユーザのいずれかの前記動きデータの少なくとも一部が、前記動き制御データとして適用される、
項目3~6のいずれか一項に記載の情報処理方法。
本項目の情報処理方法によれば、第1アバターの制御に用いるために、所望のまたは好適な動きデータを選択できるので、ユーザがより好感を持ちやすい自然な動作を第1アバターにさせることができる。
(項目8)
前記動き制御データは、前記第1アバターの動きを規定した第1の動きが関連付けられた第1条件を含み、
前記仮想空間において発生した事象が前記第1条件を満たした場合に、前記第1条件に関連付けられた前記第1の動きを前記第1アバターにさせる、
項目2~7のいずれか一項に記載の情報処理方法。
本項目の情報処理方法によれば、仮想空間において発生した事象に応じた動作を第1アバターにさせることができるので、仮想空間における仮想体験のエンタテイメント性をより向上させ得る。
(項目9)
前記第1条件は、前記第1キャラクタ及び前記第1キャラクタ以外のオブジェクトである相手キャラクタの一方から他方に対する動作を含む事象に基づいて、前記第1キャラクタまたは前記相手キャラクタの状態が第2条件を満たしたことを含み、
前記第1の動きは、前記相手キャラクタに関連付けられた相手アバターを注目対象とした動きを含む、
項目8に記載の情報処理方法。
本項目の情報処理方法によれば、第1アバターに、キャラクタ同士の作用が反映された動作をさせることができるので、仮想体験のエンタテイメント性をより向上させ得る。
(項目10)
前記第1条件は、前記第1キャラクタと前記仮想空間に配置された注目対象との位置関係が第3条件を満たしたことを含み、
前記第1の動きは、前記第1アバターの視線を前記注目対象に向けさせることを含む、
項目8または9に記載の情報処理方法。
本項目の情報処理方法によれば、第1アバターに、注目対象との位置関係に応じた自然な動きをさせ得る。
(項目11)
前記注目対象は、前記仮想空間に配置されているオブジェクトであって、前記第1アバターの視線方向に基づいて定義される前記第1アバターの視野に含まれているオブジェクトの中から選択される、
項目10に記載の情報処理方法。
本項目の情報処理方法によれば、第1アバターの視界に注目対象が含まれていることは、第1アバターの視線を注目対象に向けさせる条件として適切であるので、第1アバターにより自然な動きをさせ得る。
(項目12)
前記第2位置は、前記第1キャラクタの位置に基づいて定義され、
前記位置制御データは、前記第1アバターの位置を、前記第1位置から、前記第1キャラクタの位置に基づいて定義された前記第2位置に移動させることを含む、
項目2~11のいずれか一項に記載の情報処理方法。
本項目の情報処理方法によれば、第1キャラクタを操作する仮想的なユーザである第1アバターの位置が第1キャラクタの位置に応じて制御されるので、現実感をより好適に演出できる。
(項目13)
前記外観制御データは、前記第1キャラクタの状態に基づいて、前記第1アバターの外観を制御することを含む、
項目2~12のいずれか一項に記載の情報処理方法。
本項目の情報処理方法によれば、第1キャラクタの状態に応じて第1アバターの外観が変化しうるので、仮想体験におけるエンタテイメント性を向上させることができる。
(項目14)
項目1~13のいずれか一項に記載の情報処理方法をコンピュータに実行させるプログラム。
(項目15)
少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により項目1~13のいずれか一項に記載の情報処理方法を実行する、装置。
【符号の説明】
【0134】
1,1A,1B…仮想カメラ、2…仮想空間、10…プロセッサ、11…メモリ、12…ストレージ、13…入出力インターフェース、14…通信インターフェース、15…バス、19…ネットワーク、100,100A,100B…HMDシステム、110,110A,110B…HMD装置、112…モニタ、114…センサ、118…マイク、120…センサ、140…注視センサ、150…サーバ、160,160A…コントローラ、190,190A,190B…ユーザ、200…コンピュータ、220…表示制御モジュール、221…仮想カメラ制御モジュール、222…視界領域決定モジュール、223…視界画像生成モジュール、224…基準視線特定モジュール、230…仮想空間制御モジュール、231…仮想空間定義モジュール、232…仮想オブジェクト制御モジュール、233…コントローラ情報取得モジュール、234…データ共有モジュール、235…ゲーム状態判定モジュール、240…メモリモジュール、241…空間情報、242…オブジェクト情報、243…ユーザ情報、250…通信制御モジュール、A1…自動アバター、A21,A22…アバター、C1…自動プレイヤキャラクタ、C21,C22…プレイヤキャラクタ、I…アイテム、VC1,VC21,VC22…コントローラオブジェクト。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18