特許 6982466 より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6982466

(24)【登録日】2021年11月24日

(45)【発行日】2021年12月17日

(54)【発明の名称】より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法

(51)【国際特許分類】

   A63F 13/655 20140101AFI20211206BHJP

   A63F 13/213 20140101ALI20211206BHJP

   A63F 13/335 20140101ALI20211206BHJP

   A63F 13/428 20140101ALI20211206BHJP

   A63F 13/5258 20140101ALI20211206BHJP

   A63F 13/73 20140101ALI20211206BHJP

   G06F 3/01 20060101ALI20211206BHJP

【ＦＩ】

   A63F13/655

   A63F13/213

   A63F13/335

   A63F13/428

   A63F13/5258

   A63F13/73

   G06F3/01 510

【請求項の数】37

【全頁数】48

(21)【出願番号】特願2017-207849(P2017-207849)

(22)【出願日】2017年10月27日

(62)【分割の表示】特願2016-518341(P2016-518341)の分割

【原出願日】2014年5月23日

(65)【公開番号】特開2018-69069(P2018-69069A)

(43)【公開日】2018年5月10日

【審査請求日】2017年11月24日

【審判番号】不服2020-7141(P2020-7141/J1)

【審判請求日】2020年5月26日

(31)【優先権主張番号】14/144,210

(32)【優先日】2013年12月30日

(33)【優先権主張国】US

(31)【優先権主張番号】61/832,776

(32)【優先日】2013年6月7日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ペリー、デイヴィッド

【合議体】

【審判長】 藤田 年彦

【審判官】 吉村 尚

【審判官】 藤本 義仁

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／００６５６９２（ＵＳ，Ａ１）

【文献】 米国特許第８２７５８９３（ＵＳ，Ｂ２）

【文献】 米国特許出願公開第２００９／０３２７９１８（ＵＳ，Ａ１）

【文献】 国際公開第２０１２／０４９６７４（ＷＯ，Ａ１）

【文献】 特開２００２−１５９０１９（ＪＰ，Ａ）

【文献】 特開２００１−２８１５９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

A63F9/24

A63F13/00-13/98

G06T1/00

G06T11/60-13/80

G06T17/05

G06T19/00-19/20

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイ（ＨＭＤ）とゲームクラウドの間の通信を処理し、前記ＨＭＤを介して拡張現実シーンを表示する方法であって、
ユーザが前記ＨＭＤを着用するとき前記ユーザを取り巻く現実世界環境の複数の画像を前記ＨＭＤのカメラによってキャプチャするステップと、
前記ＨＭＤによって前記複数の画像のデータを符号化して前記現実世界環境の前記複数の画像に対して生成される符号化された画像データを出力するステップと、
前記ＨＭＤのワイヤレスアクセス回路によって、前記現実世界環境の前記複数の画像に対して生成される前記符号化された画像データをパケット化してパケット化された現実世界環境のデータであって、前記符号化された画像データのストリームを含む前記パケット化された現実世界環境のデータを出力するステップと、
前記現実世界環境の前記複数の画像に対して生成される前記符号化された画像データの前記ストリームを含む前記パケット化されたデータを、前記ＨＭＤとルータの間のゲームコンソールを用いることなくインターネットに接続された前記ルータを介して前記ゲームクラウドに送信するステップとを含み、
前記ゲームクラウドはメディアデータを生成するためのプログラムを実行し、前記メディアデータを符号化およびパケット化して符号化メディアデータのストリームを出力し、前記符号化メディアデータは前記現実世界環境の前記複数の画像の上にオーバーレイされるべき仮想オブジェクトデータを提供し、
前記方法はさらに、
前記ワイヤレスアクセス回路によって、前記ゲームクラウドから受信した前記符号化メディアデータのストリームをパケット解除して、パケット解除されたデータを提供するステップと、
前記ＨＭＤのデコーダによって、前記パケット解除されたデータをデコードしてデコードされたメディアデータを出力するステップと、
前記ＨＭＤのマイクロコントローラによって、前記ＨＭＤのディスプレイデバイス上に前記拡張現実シーンを表示するために前記現実世界環境の前記複数の画像上のオーバーレイとして前記デコードされたメディアデータをレンダリングするステップとを含む方法。

【請求項2】

前記ＨＭＤは前記ゲームコンソールと連携するように構成される、請求項１に記載の方法。

【請求項3】

前記パケット化された現実世界環境のデータと前記符号化メディアデータのストリームをインターネットを介して転送するためにインターネットはインターネットプロトコル（ＩＰ）上で転送制御プロトコル（ＴＣＰ）を適用する、請求項１に記載の方法。

【請求項4】

前記ゲームクラウドは前記メディアデータの符号化を実行するためのコーデックを含む、請求項１に記載の方法。

【請求項5】

前記ＨＭＤのプロセッサによって、インターネットにアクセスするためのオペレーティングシステムを実行するステップと、
前記オペレーティングシステム上で前記プロセッサによって実行されるネットワークアクセスアプリケーションの選択を受け取るステップと、
前記ネットワークアクセスアプリケーションによって、前記マイクロコントローラにワイヤレスネットワークのリストを提供し、前記リストを前記ディスプレイデバイス上に表示するステップと、
前記ＨＭＤに結合したユーザ入力回路を介して、前記リストからの一つのワイヤレスネットワークの選択を受け取るステップと、
前記ネットワークアクセスアプリケーションによって、前記一つのワイヤレスネットワークにアクセスするためのパスワードを要求するステップと、
前記ネットワークアクセスアプリケーションによって、前記パスワードが認証された場合にインターネットへのアクセスを提供するステップと、
インターネットへのアクセスを提供することに反応してゲームアクセスアプリケーションへのアクセスを提供するステップと、
前記ユーザ入力回路を介して前記ゲームアクセスアプリケーションの選択を受け取るステップと、
前記ゲームアクセスアプリケーションの選択を受け取ることに反応して前記プログラムへのアクセスを提供するステップとをさらに含む、請求項１に記載の方法。

【請求項6】

前記ゲームアクセスアプリケーションを介して前記プログラムにアクセスするためのユーザネームとパスワードの要求を受け取るステップと、
ユーザから前記プログラムにアクセスするための前記ユーザネームと前記パスワードを受け取るステップと、
前記プログラムにアクセスするための前記ユーザネームと前記パスワードが真正であると判定された場合に前記プログラムへのアクセスを許可するステップとをさらに含む、請求項５に記載の方法。

【請求項7】

前記ゲームクラウドは前記パケット化された現実世界環境のデータをパケット解除して前記現実世界環境の前記符号化された画像データを抽出するように構成される、請求項１に記載の方法。

【請求項8】

前記現実世界環境の前記複数の画像上に前記メディアデータをスーパーインポーズするために前記メディアデータが前記現実世界環境の前記複数の画像のデータにもとづいて生成される、請求項７に記載の方法。

【請求項9】

前記ルータはインターネットと前記ＨＭＤの間に配置され、前記ＨＭＤは無線接続を介して前記ルータに接続される、請求項１に記載の方法。

【請求項10】

前記無線接続はＷｉ−Ｆｉ接続である、請求項９に記載の方法。

【請求項11】

前記ルータによって、インターネットから前記符号化メディアデータのストリームを受信するステップと、
前記ルータによって、前記ＨＭＤのアドレスにもとづいて前記ＨＭＤに前記符号化メディアデータのストリームをルーティングするステップとをさらに含む、請求項１に記載の方法。

【請求項12】

前記ルータによって、前記符号化メディアデータのストリームを受信するステップと、
前記ＨＭＤのストリームバッファによって、前記ルータによって受信された前記符号化メディアデータのストリームをバッファリングするステップとをさらに含む、請求項１に記載の方法。

【請求項13】

前記デコードするステップと前記パケット解除するステップは前記バッファリングするステップの後、前記ＨＭＤによって実行される、請求項１２に記載の方法。

【請求項14】

前記ＨＭＤの映像音声分離器によって、前記デコードされたメディアデータを音声データとビデオデータに分離するステップと、
前記ＨＭＤの映像音声同期器によって、前記ビデオデータを前記音声データと同期させるステップと、
前記ＨＭＤのオーディオコーデックによって、同期された前記音声データを変換して音声信号を生成するステップと、
前記ＨＭＤの１以上のスピーカによって、前記音声信号を再生して音声を生成するステップと、
前記ＨＭＤによって、同期されたビデオデータを変換し、アナログビデオ信号を生成するステップとをさらに含み、
前記レンダリングするステップは、前記アナログビデオ信号を表示して前記拡張現実シーンを表示する、請求項１に記載の方法。

【請求項15】

前記ユーザの目に向けられた前記ＨＭＤの内部デジタルカメラによって、前記ユーザの注視をキャプチャするために前記ユーザの目の画像データをキャプチャするステップと、
前記ワイヤレスアクセス回路によって、前記ユーザの目の前記画像データをパケット化して前記ユーザの目の前記画像データを含むパケット化されたデータを生成するステップと、
前記ルータおよびインターネットを介して前記ゲームクラウドに前記ユーザの目の前記画像データを含む前記パケット化されたデータを送信するステップとをさらに含む、請求項１に記載の方法。

【請求項16】

前記マイクロコントローラによって、前記ユーザの前記注視にもとづいて前記ディスプレイデバイスのディスプレイスクリーンを異なる解像度に分割するステップをさらに含み、前記異なる解像度は低解像度と高解像度を含み、前記高解像度を有する前記ディスプレイスクリーンの一部は前記注視の方向にある、請求項１５に記載の方法。

【請求項17】

前記ＨＭＤのコントローラ通信回路によって、手持型コントローラから入力信号を受信するステップと、
前記コントローラ通信回路によって、前記入力信号を入力データに変換するステップと、
前記ワイヤレスアクセス回路によって、前記コントローラ通信回路から前記入力データを受信するステップと、
前記ワイヤレスアクセス回路によって、前記入力データをパケット化してパケット化された入力データを生成するステップと、
前記ワイヤレスアクセス回路によって、前記ルータおよびインターネットを介して前記パケット化された入力データを前記ゲームクラウドのコーデックに送信するステップとをさらに含む、請求項１に記載の方法。

【請求項18】

前記ワイヤレスアクセス回路は、前記デコーダが統合されるチップとは別のチップに統合される、請求項１に記載の方法。

【請求項19】

ヘッドマウントディスプレイ（ＨＭＤ）を含むシステムであって、
前記ＨＭＤは、
前記ＨＭＤがユーザによって着用され、前記ユーザを取り巻く現実世界環境の複数の画像をキャプチャするように構成されたカメラと、
前記カメラに結合したワイヤレスアクセス回路であって、前記複数の画像のデータを符号化して前記現実世界環境の前記複数の画像に対して生成される符号化された画像データを出力し、前記現実世界環境の前記複数の画像に対して生成される前記符号化された画像データをパケット化してパケット化された現実世界環境のデータであって、前記符号化された画像データのストリームを含む前記パケット化された現実世界環境のデータを出力するように構成された前記ワイヤレスアクセス回路とを含み、
前記ワイヤレスアクセス回路は、前記現実世界環境の前記複数の画像に対して生成される前記符号化された画像データの前記ストリームを含む前記パケット化されたデータを、前記ＨＭＤとルータの間のゲームコンソールを用いることなく前記ルータとインターネットを介してゲームクラウドに送信するように構成され、
前記ゲームクラウドはメディアデータを生成するためのプログラムを実行し、前記メディアデータを符号化およびパケット化して符号化メディアデータのストリームを出力するように構成され、前記符号化メディアデータは前記現実世界環境の前記複数の画像の上にオーバーレイされるべき仮想オブジェクトデータを提供し、
前記ワイヤレスアクセス回路は、前記ゲームクラウドから受信した前記符号化メディアデータのストリームをパケット解除して、パケット解除されたデータを提供するように構成され、
前記ワイヤレスアクセス回路は、前記パケット解除されたデータをデコードしてデコードされたメディアデータを出力するように構成され、
前記ＨＭＤはさらに、
前記ワイヤレスアクセス回路に結合したマイクロコントローラであって、前記ＨＭＤのディスプレイデバイス上に拡張現実シーンを表示するために前記現実世界環境の前記複数の画像上に前記デコードされたメディアデータをオーバーレイするように構成された前記マイクロコントローラとを含む、システム。

【請求項20】

前記ＨＭＤは前記ゲームコンソールと連携するように構成される、請求項１９に記載のシステム。

【請求項21】

前記パケット化された現実世界環境のデータと前記符号化メディアデータのストリームをインターネットを介して転送するためにインターネットはインターネットプロトコル（ＩＰ）上で転送制御プロトコル（ＴＣＰ）を適用する、請求項１９に記載のシステム。

【請求項22】

前記ゲームクラウドは前記メディアデータの符号化を実行するためのコーデックを含む、請求項１９に記載のシステム。

【請求項23】

前記ＨＭＤはさらに、
インターネットにアクセスするためのオペレーティングシステムを実行するプロセッサを含み、
前記プロセッサは、前記オペレーティングシステム上で前記プロセッサによって実行されるネットワークアクセスアプリケーションの選択を受け取るように構成され、
前記ネットワークアクセスアプリケーションは、前記マイクロコントローラにワイヤレスネットワークのリストを提供し、前記リストを前記ディスプレイデバイス上に表示するように構成され、
前記ＨＭＤはさらに、
前記ＨＭＤに結合したユーザ入力回路であって、前記リストからの一つのワイヤレスネットワークの選択を受け取るように構成された前記ユーザ入力回路を含み、
前記ネットワークアクセスアプリケーションは、前記一つのワイヤレスネットワークにアクセスするためのパスワードを要求するように構成され、
前記ネットワークアクセスアプリケーションは、前記パスワードが真正であるという判定に反応してインターネットへのアクセスを提供するように構成され、
インターネットへのアクセスを提供することに反応してゲームアクセスアプリケーションがアクセスされ、
前記ユーザ入力回路は、前記ゲームアクセスアプリケーションの選択を受け取るように構成され、
前記ゲームアクセスアプリケーションの選択を受け取ることに反応して前記プログラムがアクセスされる、請求項１９に記載のシステム。

【請求項24】

前記ＨＭＤは、前記ゲームアクセスアプリケーションを介して前記プログラムにアクセスするためのユーザネームとパスワードの要求を受け取るように構成され、
前記ＨＭＤは、前記ユーザ入力回路から前記プログラムにアクセスするための前記ユーザネームと前記パスワードを受け取るように構成され、
前記プログラムにアクセスするための前記ユーザネームと前記パスワードが真正であると判定された場合に前記プログラムがアクセスされる、請求項２３に記載のシステム。

【請求項25】

前記ゲームクラウドは前記パケット化された現実世界環境のデータをパケット解除して前記現実世界環境の前記符号化された画像データを抽出するように構成される、請求項１９に記載のシステム。

【請求項26】

前記現実世界環境の前記複数の画像上に前記メディアデータをスーパーインポーズするために前記メディアデータが前記現実世界環境の前記複数の画像のデータにもとづいて生成される、請求項２５に記載のシステム。

【請求項27】

前記ルータはインターネットと前記ＨＭＤの間に配置され、前記ＨＭＤは無線接続を介して前記ルータに接続される、請求項１９に記載のシステム。

【請求項28】

前記無線接続はＷｉ−Ｆｉ接続である、請求項２７に記載のシステム。

【請求項29】

前記ルータは、インターネットから前記符号化メディアデータのストリームを受信するように構成され、
前記ルータは、前記ＨＭＤのアドレスにもとづいて前記ＨＭＤに前記符号化メディアデータのストリームをルーティングするように構成される、請求項１９に記載のシステム。

【請求項30】

前記ルータは、前記符号化メディアデータのストリームを受信するように構成され、
前記ＨＭＤは前記ワイヤレスアクセス回路に結合したストリームバッファを含み、前記ストリームバッファは、前記ルータによって受信された前記符号化メディアデータのストリームをバッファリングするように構成される、請求項１９に記載のシステム。

【請求項31】

前記ワイヤレスアクセス回路は、前記ストリームバッファにバッファされた前記符号化メディアデータのストリームにアクセスし、前記符号化メディアデータのストリームをパケット解除するように構成される、請求項３０に記載のシステム。

【請求項32】

前記ＨＭＤは、前記デコードされたメディアデータを音声データとビデオデータに分離するように構成された映像音声分離器を含み、
前記ＨＭＤは、前記ビデオデータを前記音声データと同期させるように構成された映像音声同期器を含み、
前記ＨＭＤは、同期された前記音声データを変換して音声信号を生成するように構成されたオーディオコーデックを含み、
前記ＨＭＤは、前記音声信号を再生して音声を生成するように構成された１以上のスピーカを含み、
前記ＨＭＤは、同期されたビデオデータをアナログビデオ信号に変換するように構成され、
前記マイクロコントローラは、前記アナログビデオ信号にレンダリングオペレーションを適用して前記拡張現実シーンを表示するように構成される、請求項１９に記載のシステム。

【請求項33】

前記ＨＭＤは、前記ユーザの注視をキャプチャするために前記ユーザの目の画像データをキャプチャするように構成された内部デジタルカメラを含み、前記内部デジタルカメラは前記ユーザの目に向けられるように構成され、
前記ワイヤレスアクセス回路は、前記ユーザの目の前記画像データをパケット化して前記ユーザの目の前記画像データを含むパケット化されたデータを生成するように構成され、
前記ワイヤレスアクセス回路は、前記ルータおよびインターネットを介して前記ゲームクラウドに前記ユーザの目の前記画像データを含む前記パケット化されたデータを送信するように構成される、請求項１９に記載のシステム。

【請求項34】

前記マイクロコントローラは、前記ユーザの前記注視にもとづいて前記ディスプレイデバイスのディスプレイスクリーンを異なる解像度に分割するように構成され、前記異なる解像度は低解像度と高解像度を含み、前記高解像度を有する前記ディスプレイスクリーンの一部は前記注視の方向にある、請求項３３に記載のシステム。

【請求項35】

前記ＨＭＤに結合した手持型コントローラをさらに含み、
前記ＨＭＤは、前記手持型コントローラから入力信号を受信するように構成されたコントローラ通信回路を含み、
前記コントローラ通信回路は、前記入力信号を入力データに変換するように構成され、
前記ワイヤレスアクセス回路は、前記コントローラ通信回路から前記入力データを受信するように構成され、
前記ワイヤレスアクセス回路は、前記入力データをパケット化してパケット化された入力データを生成するように構成され、
前記ワイヤレスアクセス回路は、前記ルータおよびインターネットを介して前記パケット化された入力データを前記ゲームクラウドのコーデックに送信するように構成される、請求項１９に記載のシステム。

【請求項36】

前記符号化メディアデータのストリームは、前記符号化メディアデータの複数のパケットを含み、
前記方法はさらに、
前記ワイヤレスアクセス回路によって、前記ルータから受信した前記符号化メディアデータの複数のパケットにアクセスするステップを含む、請求項１に記載の方法。

【請求項37】

前記符号化メディアデータのストリームは、前記符号化メディアデータの複数のパケットを含み、
前記ワイヤレスアクセス回路は、前記ルータから受信した前記符号化メディアデータの複数のパケットにアクセスするように構成された、請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法に関する。

【背景技術】

【0002】

据置型ゲーム機は一般に、拡張仮想現実ゲームを行うために使用される。たとえばユーザは通常、拡張仮想現実ゲームを行うためにコントローラ及びコンソールを購入する。コンソールはインターネットに接続されていてもよい。コンソール及びインターネットを介してゲームを行うために、ユーザはコンソールの電源を入れ、コントローラを操作する。しかしゲームプレイを容易にするためにゲームデータを仲介する、たとえばネットワーク機器の数などのホップ数が、拡張仮想現実ゲームのプレイの速度を落とす可能性がある。たとえば拡張仮想現実ゲームの特定のステージをプレイするために、ユーザに待ち時間が生じる場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示に記載の実施形態はこれに関連する。

【課題を解決するための手段】

【0004】

本開示に記載の実施形態は、本明細書に記載の、より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法を提供する。

【0005】

広義的に言えば、このシステム及び方法によりいくつかの実施形態において、ヘッドマウントディスプレイとネットワークとの間にルータをバイパスすることでメディアデータをネットワークからヘッドマウントディスプレイにストリーミングして拡張仮想現実ゲームプレイを行うことが可能になる。ルータを使用しないことで、ヘッドマウントディスプレイと、ユーザが拡張仮想現実ゲームをプレイするためにゲームプログラムを実行するゲームクラウドとの間のホップ数を削減する。

【0006】

いくつかの実施形態では、ゲームクラウドシステムを介したゲームプレイに使用されるヘッドマウントディスプレイが用いられる。ヘッドマウントディスプレイは、ネットワークを介したゲームプログラムに関連する現実世界のメディアを送信する通信回路を含む。現実世界のメディアはゲームクラウドシステムによって処理され、通信回路からゲームクラウドシステムへと直接ストリーミングされる。ヘッドマウントディスプレイはさらに、通信回路に接続されるゲーム処理回路を含む。コンピュータにより生成され、ネットワークを介してゲームクラウドシステムから受信された双方向メディアをデコードするために、ゲーム処理回路が用いられる。ゲーム処理回路は、コンピュータにより生成された双方向メディアを現実世界のメディア上にスーパーインポーズすることにより、ゲームプログラムに関連する双方向部分を駆動する。コンピュータにより生成された双方向メディアは現実世界のメディアに基づいて生成される。

【0007】

いくつかの実施形態では、ゲームクラウドシステムを介したゲームプレイ方法について記載する。この方法は、ネットワークを介したゲームプログラムに関連する現実世界のメディアの送信を含む。現実世界のメディアはゲームクラウドシステムによって処理され、ゲームクラウドシステムへと直接ストリーミングされる。この方法はネットワークを介してゲームクラウドシステムから受信する、コンピュータにより生成された双方向メディアのデコードを含む。この方法は、コンピュータにより生成された双方向メディアを現実世界のメディア上にスーパーインポーズすることによる、ゲームプログラムに関連する双方向部分の駆動を含む。コンピュータにより生成された双方向部分は現実世界のメディアに基づいて生成される。

【0008】

様々な実施形態では、ゲームクラウドシステムを介したコンピュータ実行可能命令を格納する非一時的なコンピュータ可読媒体について記載する。コンピュータ実行可能命令はコンピュータのプロセッサによって実行されると、ネットワークを介したゲームプログラムに関連する現実世界のメディアの送信を行う。現実世界のメディアはゲームクラウドシステムによって処理され、ゲームクラウドシステムへと直接ストリーミングされる。コンピュータ実行可能命令はプロセッサによって実行されると、ネットワークを介してゲームクラウドから受信したコンピュータにより生成された双方向メディアをデコードする。コンピュータ実行可能命令はプロセッサによって実行されると、コンピュータにより生成された双方向メディアを現実世界のメディア上にスーパーインポーズすることによって、ゲームプログラムに関連する双方向部分を駆動する。コンピュータにより生成される双方向部分は、現実世界のメディアに基づいて生成される。

【0009】

本明細書に記載の他の態様については、実施例として添付図面を用いて本開示に記載される実施形態の原理を実証する以下の詳細な説明により明らかにする。

【図面の簡単な説明】

【0010】

本開示に記載の様々な実施形態については、添付図面を参照して以下の説明を読むと、最もよく理解できる。

【0011】

【図1A】本開示に記載の一実施形態に係る、ゲームクラウドとヘッドマウントディスプレイ（ＨＭＤ）または手持型コントローラ（ＨＨＣ）との間でより少ない数のホップを用いて拡張仮想現実シーンをＨＭＤ内に生成するためのシステムの図である。

【0012】

【図1B】本開示に記載の一実施形態に係る、拡張仮想現実シーンをＨＭＤ内に生成することを目的とした、ネットワーク及びルータを介したＨＭＤまたはＨＨＣとゲームクラウドとの間のデータ転送のためのシステムの図である。

【0013】

【図1C】本開示に記載の一実施形態に係る、拡張仮想現実シーンをＨＭＤ内に生成することを目的とした、メディアデータの通信を行うためのコンソールを用いる、また入力データ及び／またはメディアデータ及び／または現実世界環境の通信を行うためのルータを用いる、あるいは用いないシステムの図である。

【0014】

【図2】本開示に記載の一実施形態に係る、ユーザの頭部の動き及び／または手の動きに基づく入力データ生成を例示するシステムの図である。

【0015】

【図3】本開示に記載の一実施形態に係る、図１ＡのＨＭＤの実施例であるＨＭＤの図である。

【0016】

【図4A】本開示に記載の一実施形態に係る、ワイヤレスネットワークにアクセスするために図３のＨＭＤの表示画面に表示される画像の図である。

【0017】

【図4B】本開示に記載の一実施形態に係る、ワイヤレスネットワークにアクセスするためにコンピュータの表示画面に表示される画像の図である。

【0018】

【図5A】本開示に記載の一実施形態に係る、ＨＭＤの表示画面の周辺領域が低解像度を有し、中央領域が高解像度を有する、図３のＨＭＤの表示画面に表示されるゲーム画像の図である。

【0019】

【図5B】本開示に記載の一実施形態に係る、ＨＭＤの表示画面の上部領域及び下部領域が低解像度を有し、上部及び下部領域の間の領域が高解像度を有する、図３のＨＭＤの表示画面に表示されるゲーム画像の図である。

【0020】

【図5C】本開示に記載の一実施形態に係る、ＨＭＤの表示画面の右側領域及び左側領域が低解像度を有し、右側及び左側領域の間の領域が高解像度を有する、図３のＨＭＤの表示画面に表示されるゲーム画像の図である。

【0021】

【図6】本開示に記載の一実施形態に係る、様々な種類のＨＨＣを例示する図である。

【0022】

【図7A】本開示に記載の一実施形態に係る、図３のＨＭＤの実施例であるＨＭＤの実施形態の図である。

【0023】

【図7B】本開示に記載の一実施形態に係る、図３のＨＭＤの実施例であるＨＭＤの実施形態の等軸側視図である。

【0024】

【図8A】本開示に記載の一実施形態に係る、デュアルショックコントローラを伴う図７ＢのＨＭＤの使用を例示する図である。

【0025】

【図8B】本開示に記載の一実施形態に係る、ムーブ（商標）コントローラを伴う図７ＢのＨＭＤの使用を例示する図である。

【0026】

【図9A】本開示に記載の一実施形態に係る、拡張仮想現実シーンにおいてゲームをプレイするための、図８Ａのデュアルショックコントローラを伴う図７ＢのＨＭＤの使用を例示する図である。

【0027】

【図9B】本開示に記載の一実施形態に係る、図９Ａの拡張仮想現実シーンを例示する図である。

【0028】

【図10】本開示に記載の一実施形態に係る、図３のＨＨＣ及びＨＭＤのインターフェイス接続に適合するコンソールのブロック図である。

【0029】

【図11】本開示に記載の一実施形態に係る、ゲームシステムの実施形態のブロック図である。

【発明を実施するための形態】

【0030】

ヘッドマウントシステムにおいて、より少ないホップを用いて拡張仮想現実を実現するためのシステム及び方法について記載する。たとえばルータ、リピータ、ハブ、コンピュータ、コンソールなどのネットワーク機器が、ネットワーク機器を介して転送中のデータに、ホップを追加する。１つまたは複数のネットワーク機器を、ヘッドマウントディスプレイ（ＨＭＤ）とネットワークとの間、かつ／または手持型コントローラ（ＨＨＣ）とネットワークとの間に配置してもよい。ネットワーク機器による別の機器からのデータの受信、ネットワーク機器によるデータのバッファリング、データの分析及び別の機器へのデータの再送の結果としてホップを追加してもよい。このシステム及び方法は、ＨＭＤとネットワークとの間、かつ／またはＨＨＣとネットワークとの間のネットワーク機器数を削減する。ネットワーク機器数の削減により、たとえばラグタイム、データのバッファリング時間、データの受信時間、データの分析時間、データの再送時間などの待ち時間が削減される。待ち時間が削減されると、ＨＭＤ及び／またはＨＭＣを用いて、ネットワークを介してゲームクラウドから受信された精緻なグラフィックスが最短の待ち時間で表示される。精緻なグラフィックスは、拡張仮想現実シーンを生成するために用いられる。本開示に記載の様々な実施形態については、これら特定の詳細の一部または全部がなくても実施することができる点に留意されたい。他の例において、周知のプロセス操作は本開示に記載の様々な実施形態を不必要に曖昧にしないために詳細に記載されていない。

【0031】

いくつかの実施形態では、このシステムはコンピュータ、ＨＨＣ及びＨＭＤを含む。様々な実施形態では、コンピュータはディスプレイ上でレンダリングされる双方向ゲームプログラムの１つまたは複数の部分を実行する専用コンピュータ、ゲーミングコンソール、携帯電話、タブレットまたは他のそのような機器であってもよい。これらの実施形態において、双方向ゲームプログラムの残りのあらゆる部分は、たとえば１つまたは複数の仮想マシン（ＶＭ）などのゲームクラウドシステムにおいて実行される。いくつかの実施形態では、ゲームクラウドシステムはゲームプログラムを実行するいくつかのサーバを含み、たとえばＨＭＤ、コンピュータスクリーン、テレビ画面などのゲーム機器上にゲーム環境を生成する。たとえばハイパーバイザがプロセッサ、記憶装置、サーバ物理などのリソース上で実行されることにより、いくつかのオペレーティングシステム及びいくつかのコンピュータソフトウェアアプリケーションが実行されてデータが生成され、そのデータをさらに用いてＨＭＤ上にゲーム環境が生成される。ゲーミングコンソールの実施例には、ソニー・コンピュータエンターテインメント（商標）及びその他メーカが製作したゲーミングコンソールが含まれる。双方向ゲームプログラムは複数ユーザがプレイするマルチユーザゲームプログラムまたは一名のユーザがコンピュータとプレイするシングルユーザゲームプログラムであってもよい。

【0032】

いくつかの実施形態では、双方向ゲームプログラムのすべての部分がゲームクラウドシステムまたはコンピュータ上で実行される。

【0033】

ＨＭＤは、ユーザの片目または両目の前にレンズや眼鏡などの小型のディスプレイオプティックを有する、ユーザの頭部に装着される装置またはヘルメットの一部である。いくつかの実施形態では、たとえば仮想シーン、拡張仮想現実シーンなどのワンシーンがＨＭＤの表示画面状に表示される。両目用には２つのオプティックが使用されるが、両目でワンシーンを見る。

【0034】

いくつかの実施形態では、ＨＭＤは映像出力をコンピュータから受信しレンダリングすることが可能である。様々な実施形態では、ＨＨＣ及び／またはＨＭＤは無線でコンピュータと通信し、これによって有線接続の場合よりもＨＨＣ及び／またはＨＭＤの動きが自由になる。

【0035】

ＨＨＣは、双方向ゲームプログラムへの入力を行うために、たとえばボタン、ジョイスティック、十字キー、トリガ、タッチパッド、手のジェスチャー、タッチスクリーンまたはその他の種類の入力機構などの様々な特徴を含んでもよい。ＨＨＣの実施例は、ソニー・コンピュータエンターテインメント（商標）製作のソニーデュアルショック４コントローラである。ＨＨＣの他の実施例は他社製の任意の型番やバージョン番号を有するコントローラを含む。

【0036】

さらにＨＨＣは、モーションコントローラを動かすことでユーザが双方向ゲームプログラムとインターフェイス接続を行い、双方向ゲームプログラムに入力することを可能にするモーションコントローラであってもよい。モーションコントローラの実施例はソニー・コンピュータエンターテインメント（商標）製作のプレイステーションムーブ（商標）コントローラを含む。

【0037】

同様にＨＭＤは、ＨＭＤを動かすことでユーザが双方向ゲームプログラムとインターフェイス接続を行い、双方向ゲームプログラムへの入力することを可能にするユーザ入力回路を含んでもよい。モーションコントローラ及び／またはＨＭＤのポジション及び動きを検知するために様々な技術が採用されてもよい。たとえばモーションコントローラ及び／またはユーザ入力回路は、加速度センサ、ジャイロスコープ及び磁力計などの様々な種類の慣性センサ回路を含んでもよい。いくつかの実施形態では、加速度センサは待ち時間の短い６軸加速度センサである。いくつかの実施形態では、モーションコントローラ及び／またはＨＭＤは１つまたは複数の、たとえば発光ダイオード（ＬＥＤ）、色点、反射鏡、マーカ、再帰反射材、定義済みの形状、定義済みの色、定義済みのオブジェクト、バーコード、タグ、クイックレスポンス（ＱＲ）コードなどの固定参照オブジェクトを含んでもよく、固定参照オブジェクトの画像は１つまたは複数のデジタルカメラによりキャプチャされる。いくつかの実施形態では、圧縮されたビデオデータを画像内ベースのモーションピクチャエキスパートグループ（ＭＰＥＧ）規格などの適切なフォーマットで送信することができるように、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ及びハードウェアベースのリアルタイムデータ圧縮ならびに符号化装置をさらに含むビデオカメラがデジタルカメラに含まれる。モーションコントローラ及び／またはＨＭＤのポジション及び動きについてはその後、１つまたは複数のデジタルカメラによりキャプチャされた画像の分析を通じて決定することができる。

【0038】

図１Ａは、ゲームクラウド１０２とＨＭＤ１０４またはＨＨＣ１０６との間でより少ない数のホップを用いて拡張仮想現実シーンをＨＭＤ１０４内に生成するためのシステム１００の実施形態の図である。いくつかの実施形態では、ゲームクラウド１０２は本明細書内でゲームクラウドシステムと称される。様々な実施形態では、ＨＭＤ１０４はユーザ１０８によって、ＨＭＤ１０４のレンズが自身の目の前に配置されるようにユーザ１０８がヘルメットを被るのと同様の方法で自身の頭部に置かれる。いくつかの実施形態では、ＨＭＤ１０４は度付き眼鏡、ゴーグルなどの眼鏡のように装着される。ＨＭＤ１０４のいくつかの実施形態において、ＨＭＤ１０４はユーザ１０８の両目を覆う。ＨＨＣ１０６はユーザ１０６が手で持つ。

【0039】

様々な実施形態では、ＨＨＣ１０６の代わりに、ユーザ１０６の手を用いて手のジェスチャー、指のジェスチャーなどのジェスチャーをＨＭＤ１０４に伝える。たとえばＨＭＤ１０４内のデジタルカメラがジェスチャーの画像をキャプチャし、ＨＭＤ１０４内のプロセッサがジェスチャーを分析して、ジェスチャーがＨＭＤ１０４内に表示されたゲームに影響を与えるかどうかを決定する。

【0040】

本明細書内では、プロセッサはマイクロプロセッサ、プログラマブルロジック装置（ＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ）またはそれらの組み合わせであってもよい。

【0041】

システム１００はローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）またはそれらの組み合わせであってもよいネットワーク１１０を含む。ネットワーク１１０の実施例にはインターネット、イントラネット、またはそれらの組み合わせが含まれる。いくつかの実施形態では、ネットワーク１１０が伝送制御プロトコル（ＴＣＰ）／インターネットプロトコル（ＩＰ）またはユーザデータグラムプロトコル／ＩＰ（ＵＤＰ／ＩＰ）を用いて、ネットワーク１１０を介しゲームクラウド１０２とＨＭＤ１０４またはＨＨＣ１０６との間でメディアデータを通信する。様々な実施形態では、ネットワーク１１０がイーサネット（登録商標）プロトコル、ＴＣＰ／ＩＰプロトコルまたは両方のプロトコルを用いて、ネットワーク１１０を介しゲームクラウド１０２とＨＭＤ１０４またはＨＨＣ１０６との間でメディアデータを通信する。ゲームクラウド１０２はコーダ／デコーダ（コーデック）１１２及びストリームバッファ１１４を含む。ストリームバッファ１１４は、ゲームプログラム１１７の実行の際に生成されるメディアデータ１１６のストリームを格納する。ゲームプログラム１１７は双方向ゲームプログラムの実施例であり、ゲームクラウド１０２の１つまたは複数のサーバによって実行される。

【0042】

メディアデータ１１６は仮想環境データ、仮想ゲームオブジェクトデータ、それらの組み合わせなどを含む。様々な実施形態において、仮想環境データはゲームの仮想環境を生成するためにレンダリングされ、仮想ゲームオブジェクトデータは仮想ゲームキャラクタ、仮想点、仮想景品、ゲームインターフェイスなどの１つまたは複数の仮想ゲームオブジェクトを生成するためにレンダリングされる。

【0043】

いくつかの実施形態では、ゲームの仮想環境は仮想ゲームオブジェクトを含む。仮想環境の実施例には仮想都市、仮想道路、仮想湖、仮想海などの仮想地域が含まれる。

【0044】

コーデック１１２の実施例はコンプレッサ／デコンプレッサを含む。たとえばコーデック１１２はメディアデータ１１６をコード化／デコードする。圧縮の実施例には非可逆的圧縮、可逆的圧縮などが含まれる。

【0045】

いくつかの実施形態では、コーデック１１２がパケット化及びパケット解除を行い、コード化及びデコードを行う。これらの実施形態では、コーデック１１２がストリームバッファ１１４を含む。

【0046】

ユーザ１０８はＨＭＤ１０４を用いて、ＨＭＤ１０４のプロセッサによって実行されるオペレーティングシステム（ＯＳ）にアクセスする。たとえば、ユーザ１０８はボタンを介してＨＭＤ１０４の電源を入れ、ＨＭＤ１０４のプロセッサがＯＳを実行する。

【0047】

いくつかの実施形態では、ＯＳによってＨＭＤ１０４のネットワーク１１０へのアクセスが可能になる。たとえばユーザ１０８が、ＯＳ上のＨＭＤ１０４のプロセッサによって実行されるネットワークアクセスアイコン、ネットワークアクセスシンボルなどのネットワークアクセスアプリケーションを選択する際に、ネットワークアクセスアプリケーションがＨＭＤ１０４のマイクロコントローラにネットワークのリストを提供し、それがユーザ１０８に対して表示される。ユーザ１０８はユーザ入力回路を用いてネットワーク１１０にアクセスするためにそれらネットワークの１つを選択する。たとえば、ユーザ１０８が頭部の傾き、まばたき、注視、凝視、うなずき、首振りなどの１つまたは複数の頭部の動きを行うと、それがユーザ入力回路により検知されてネットワークの１つの選択のための入力が生成される。別の実施例として、ユーザ１０８がＨＨＣ１０６上のボタンを選択し、ネットワークの１つが選択されて、その選択がＨＨＣ１０６の通信回路によってＨＨＣ１０６からＨＭＤ１０４へと通信される。通信回路の実施例には、トランシーバ、回路網の送信／受信、ネットワークインターフェイスコントローラまたはそれらの組み合わせなどが含まれる。ネットワークアクセスアプリケーションはまた、ネットワーク１１０にアクセスするためのセキュリティキー、パスコードなどのパスワードをユーザ１０８に要求する。パスワードが有効であると認証された場合には、ネットワークアクセスアプリケーションにより、ユーザ１０８はネットワーク１１０へのアクセスを許可される。

【0048】

ネットワーク１１０が一度アクセスされると、ＯＳによってＨＭＤ１０４のゲームプログラム１１７へのアクセスが可能になる。たとえばユーザ１０８がＯＳ上でＨＭＤ１０４のプロセッサにより実行されるゲームアクセスアイコン、ゲームアクセスシンボルなどのゲームアクセスアプリケーションを選択すると、ゲームアクセスアプリケーションがネットワーク１１０を介してゲームプログラム１１７へのアクセスを要求する。たとえばユーザ１０８が１つまたは複数の頭部の動きを行うと、それがユーザ入力回路により検知されて、ゲームアクセスアプリケーションを選択するための入力が生成される。別の実施例として、ユーザ１０８がゲームアクセスアプリケーションを選択するためにＨＨＣ１０６上のボタンを選択し、その選択がＨＨＣ１０６の通信回路によってＨＨＣ１０６からＨＭＤ１０４に通信される。

【0049】

ネットワーク１１０を介したゲームプログラム１１７へのアクセス取得時には、ＨＭＤ１０４のマイクロコントローラがＨＭＤ１０４の表示画面上にゲームを表示する。いくつかの実施形態におけるＨＭＤ１０４の表示画面は、ＨＭＤ１０４が急速に動かされた時のぶれを低減する高性能画面である。ユーザ１０８が１つまたは複数の頭部の動きを行うと、頭部の各々の動きがユーザ入力回路をトリガして、ゲームをプレイするために用いてもよい入力が生成される。いくつかの実施形態では、ユーザ１０８が自身の手を用いてＨＨＣ１０６の１つまたは複数のボタンの選択を行い、たとえば指を押し当てる、指を動かす、指を回転させる、指を上げる、指を下げる、指を右に向ける、指を左に向けるなどの各々の手の動きがＨＨＣ１０６をトリガして、ゲームをプレイするために用いてもよい入力が生成される。

【0050】

いくつかの実施形態では、ゲームアクセスアプリケーションがゲームプログラム１１７にアクセスするためのユーザ名及び／またはパスワードをユーザ１０８に要求する。ユーザ名及び／またはパスワードが有効であるとの認証がゲームクラウド１０２から受信されると、ゲームアクセスアプリケーションによりユーザ１０８のゲームプログラム１１７へのアクセスが可能になる。いくつかの実施形態では、１つもしくは複数の手の動きを行い、かつ／または１つもしくは複数の頭部の動きを行うことにより、ユーザ１０８がユーザ名及び／またはパスワードを提供する。

【0051】

様々な実施形態では、ゲームアクセスアプリケーションへのアクセスの代わりに、ユーザ１０８がネットワーク１１０へのアクセス時にウェブページへのアクセスを要求し、ウェブページがユーザ１０８のゲームプログラム１１７へのアクセスを可能にする。たとえばユーザ１０８は１つもしくは複数の頭部の動きを行うことによりユーザ入力回路を介して、または１つもしくは複数の手の動きを行うことによりＨＨＣ１０６を介してウェブブラウザアプリケーションを選択し、ウェブページにアクセスする。ユーザ１０８はウェブページにアクセスし、ウェブページに表示されるゲームをプレイする。ゲームプログラム１１７がゲームクラウド１０２上で実行されると、ゲームが表示される。

【0052】

いくつかの実施形態では、ゲームクラウド１０２上でゲームプログラム１１７が実行されると表示されるゲームを行うためにウェブページにアクセスする前に、ユーザ１０８のユーザ名及び／またはパスワードが認証される。ユーザ１０８がゲームアクセスアプリケーションにアクセスする際に、上記と同様の方法でユーザ名及び／またはパスワードが認証される。

【0053】

ゲームプログラム１１７がアクセスされると、コーデック１１２がメディアデータ１１６のデジタルデータストリームを圧縮するなどして符号化し、ネットワーク１１０を介して符号化されたメディアデータのストリームをＨＭＤ１０４へと送信する。いくつかの実施形態では、符号化されたメディアデータのデジタルデータストリームは、ネットワーク１１０を介して送信するためのパケットの形式を取る。ＨＭＤ１０４はネットワーク１１０を介してコーデック１１２から符号化されたメディアデータのデジタルデータストリームを受信し、デジタルデータストリームはたとえばデコードされる、パケット解除されるなどの処理を行われて、ＨＭＤ１０４の表示画面上にゲームを表示するためにレンダリングされる。

【0054】

ゲームがＨＭＤ１０４の表示画面上に表示されると、ＨＭＤ１０４の外部ビデオカメラがユーザ１０８を取り巻く現実世界環境の１つまたは複数の画像をキャプチャする。現実世界環境の実施例には、ユーザ１０８が置かれた部屋、ユーザ１０８が置かれた地域、ユーザ１０８の周囲の現実世界のオブジェクトなどが含まれる。地域の実施例には、公園、道、湖、都市、ランドマークなどが含まれる。現実世界のオブジェクトの実施例には、バス停、喫茶店、店舗、ゲーム用カード、カードのデッキ、バケツ、瓶、電話、携帯電話、ゲーム用カードのバーコード、オフィス、乗り物、部屋、机、テーブル、椅子などが含まれる。現実世界環境の１つまたは複数の画像である現実世界環境のデータは、ＨＭＤ１０４によりパケット化及び符号化されて、符号化された環境データのストリームとして、ネットワーク１１０を介してコーデック１１２へと送信される。たとえば現実世界環境のデータがルータを介して送信されない場合、現実世界環境のデータはＨＭＤ１０４からネットワーク１１０を介してゲームクラウド１０２へと直接送信される。いくつかの実施形態では、現実世界環境のデータは音声データ、ビデオデータまたはそれらの組み合わせを含む。様々な実施形態において、現実世界環境データは本明細書内で現実世界のメディアと称される。

【0055】

いくつかの実施形態においては、ＨＭＤ１０４の外部ビデオカメラの代わりにまたはＨＭＤ１０４の外部ビデオカメラに加えて、携帯型であるデジタルカメラが現実世界環境の画像をキャプチャするために用いられる。たとえばビデオカメラは、ユーザ１０８を取り巻きユーザ１０８を含む現実世界環境の画像をキャプチャするために、ロボット装置に接続される。ロボット装置の実施例には、マルチコプター、ロボットアーム、ロボット、ロボット車両、ロボットカー、クアッドコプターなどが含まれる。たとえばデジタルカメラは、ＨＭＤ１０４、ユーザ１０８及び／またはＨＨＣ１０６を取り巻く現実世界の画像をキャプチャするためにロボット装置に対して、その下、上、側面などに取り付けられる。

【0056】

符号化された現実世界環境データのストリームが受信されると、コーデック１１２は符号化された現実世界環境データをデコードし、ゲームクラウド１０２の１つまたは複数のサーバはストリームをパケット解除する。いくつかの実施形態では、ＨＭＤ１０４から受信される符号化された現実世界環境データのストリームがゲームクラウド１０２によってまずパケット解除され、その後デコードされる。

【0057】

デコードされた現実世界環境データに基づき、ゲームプログラム１１７は付加メディアデータを生成し、付加メディアデータがゲームクラウド１０２の１つまたは複数のサーバによりパケット解除されて、付加メディアデータのストリームが生成される。たとえばゲームプログラム１１７は、現実世界の机の画像の上に表示される仮想ゲームキャラクタを生成する。別の実施例として、ゲームプログラム１１７はユーザ１０８の現実世界のオフィスの画像内に表示される仮想表示画面を生成される。

【0058】

いくつかの実施形態では、生成される仮想ゲームオブジェクトは、現実世界のオブジェクト間の現実世界の関係に基づく。たとえば現実世界において、現実の車が現実の路上を走る。この実施例では、現実世界の道路の画像がゲームプログラム１１７によって受信されると、仮想車両が生成される。別の実施例として、現実の電話または現実のコンピュータが現実のオフィスの現実の机の上に置かれる。この実施例では、仮想電話または仮想表示画面が、現実世界のオフィスに位置する現実の机の画像上に置かれる。付加メディアデータは仮想ゲームオブジェクトデータ及び／または仮想環境データを含む。仮想ゲームオブジェクトデータ及び仮想環境データの実施例には、コンピュータにより生成されるオブジェクトデータ、ゲームクラウド１０２の１つまたは複数のサーバによって生成されるオブジェクトデータなどが含まれる。

【0059】

いくつかの実施形態では、付加メディアデータにはゲームクラウド１０２の１つまたは複数のサーバによって生成される仮想ゲームオブジェクトデータが含まれ、またネットワーク１１０を介してＨＭＤ１０４から受領される現実世界環境データを含まれる。

【0060】

付加メディアデータのストリームはストリームバッファ１１４に格納され、コーデック１１２によって符号化され、符号化された付加メディアデータのストリームとしてネットワーク１１０を介してＨＭＤ１０４へと送信される。いくつかの実施形態では、付加メディアデータがまず符号化され、その後パケット化されて、符号化された付加メディアデータのストリームが生成される。ＨＭＤ１０４は符号化された付加メディアデータのストリームを受信し、ストリームをパケット解除し、符号化された付加メディアデータをデコードして、付加メディアデータをＨＭＤ１０４のマイクロコントローラに提供する。

【0061】

ＨＭＤ１０４のマイクロコントローラは、付加メディアデータに基づいてゲームプログラム１１７によって実行されるゲームの表示を変更する。たとえばＨＭＤ１０４のマイクロコントローラが仮想ゲームオブジェクトデータをレンダリングして仮想ゲームオブジェクトの１つまたは複数の画像を生成し、仮想ゲームオブジェクトはマイクロコントローラによってＨＭＤ１０４の外部ビデオカメラがキャプチャした１つまたは複数の現実世界環境の画像の上に重ねられる。別の実施例として、アバターまたは仮想ゲームキャラクタがゲーム用カードのバーコードの上にスーパーインポーズされる。

【0062】

現実世界環境の１つまたは複数の画像上に重ねられる仮想ゲームオブジェクトの例示として、現実世界環境におけるテーブルの外観、色、形状、テクスチャなどが変更される。別の例示として、現実世界の部屋の中にある現実世界のオブジェクトはいくつかの現実世界のオブジェクト以外すべて除外される。

【0063】

現実世界環境の１つまたは複数の画像上に仮想ゲームオブジェクトのオーバーレイの前後など、ゲームのプレイ中に、１つまたは複数の入力がＨＭＤ１０４及び／またはＨＨＣ１０６から受信される。たとえば、ユーザ１０８はＨＭＤ１０４を装着して１つまたは複数の頭部の動きを行う。現実世界環境の１つまたは複数の画像上に重ねられる仮想ゲームオブジェクトまたは仮想環境の、位置を変更し、姿勢を変更し、外観を変更し、動きを変更するなどして、制御を行うために、１つまたは複数の頭部の動きが行われる。別の実施例としてユーザ１０８は現実世界環境の１つまたは複数の画像上に重ねられる仮想ゲームオブジェクトまたは仮想環境を制御するために、たとえばボタンの押圧、ジョイスティックの動き、手のジェスチャー、指のジェスチャー、それらの組み合わせなどの１つまたは複数の手の動きを行う。そして１つまたは複数の手の動きが行われると、ＨＨＣ１０６が入力データを生成し、その入力データはＨＭＤ１０４の通信回路へ送信するために、ＨＨＣ１０６の通信回路によって入力信号へと転換される。いくつかの実施形態では、ユーザ１０８が頭部の動き及び／または手の動きを行って、現実世界環境の１つまたは複数の画像上にスーパーインポーズされる仮想オブジェクトの位置及び／または方向を変更する。入力信号はＨＭＤ１０４の通信回路によってアナログ形式からデジタル形式に転換されて入力データが生成され、入力データはＨＭＤ１０４によってパケット化及び符号化されて、ネットワーク１１０を介してコーデック１１２へと送信される。

【0064】

いくつかの実施形態では、ゲームプログラム１１７は１つまたは複数の頭部の動きに基づいて生成される入力データを、１つまたは複数の手の動きに基づいて生成される入力データとともにマッピングし、ＨＭＤ１０４上に表示されるゲームの状態を変更するべきかどうかを決定する。たとえば頭部の傾きを示す入力がネットワーク１１０を介してＨＨＣ１０６上のボタンの押圧を示す入力とともに受信されると、ゲームプログラム１１７がゲームの状態の変更を決定する。そうでない場合、ゲームプログラム１１７はゲームのステージを変更しないことを決定する。

【0065】

１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づいて生成された入力の入力データは、ＨＭＤ１０４によってパケット化及び符号化されて、符号化された入力データのストリームとしてネットワーク１１０を介してコーデック１１２へと送信される。たとえば入力データがルータを介して送信されない時、入力データはＨＭＤ１０４からネットワーク１１０を介してゲームクラウド１０２へと直接送信される。ＨＭＤ１０４とネットワーク１１０との間のデータを宛先装置などへ導く、送信するなどしてルーティングするために、ルータをＨＭＤ１０４とネットワーク１１０との間においてもよい。

【0066】

コーデック１１２は、ネットワーク１１０を介してＨＭＤ１０４から受信した符号化された入力データのストリームを解凍するなどしてデコードし、デコードされた入力データはパケット解除してゲームプログラム１１７へと送信するために、ストリームバッファ１１４内でバッファリングされる。ゲームクラウド１０２の１つまたは複数のサーバはデコードされた入力データのストリームをパケット解除し、入力データをゲームプログラム１１７へと送信する。いくつかの実施形態では、ゲームクラウド１０２がまずパケット解除を行い、その後デコードを行う。

【0067】

入力データに基づいて、ゲームプログラム１１７は次のメディアデータを生成し、次のメディアデータはゲームクラウド１０２の１つまたは複数のサーバによりパケット化されて、次のメディアデータのストリームが生成される。次のメディアデータのストリームはストリームバッファ１１４内に格納されてコーデック１１２によって符号化され、符号化された次のメディアデータのストリームとしてネットワーク１１０を介してＨＭＤ１０４へと送信される。いくつかの実施形態では、ネットワーク１１０を介して次のメディアデータをＨＭＤ１０４へと送信する前に、次のメディアデータがまず符号化され、その後パケット化される。ＨＭＤ１０４は符号化された次のメディアデータのストリームを受信し、ストリームをパケット解除し、符号化された次のメディアデータをデコードして、次のメディアデータをＨＭＤ１０４のマイクロコントローラに提供する。

【0068】

いくつかの実施形態では、ゲーム環境はメディアデータ１１６、または付加メディアデータ、または次のメディアデータ、またはそれらの組み合わせを含む。

【0069】

ＨＭＤ１０４のマイクロコントローラはゲームプログラム１１７によって実行されるゲームの表示を、次のメディアデータに基づいて変更する。たとえば現実世界環境の１つまたは複数の画像上に重ねられる仮想ゲームオブジェクトの外観、ポジション及び／または方向を、マイクロコントローラが変更する。別の実施例として、ユーザ１０８がうなずくと、ユーザ１０８のアバターも、ゲームプログラム１１７の実行により生成されるゲームの仮想世界においてうなずく。この実施例では、アバターが現実世界環境の１つまたは複数の画像上に重ねられる。さらに別の実施例として、ユーザ１０８が否定の意で首を振る時、ユーザ１０８のアバターも、ゲームプログラム１１７の実行により生成されるゲームの仮想世界において首を振る。この実施例では、現実世界環境の１つまたは複数の画像上にアバターが重ねられる。別の実施例として、ユーザ１０８がＨＭＤ１０４の表示画面上に表示された仮想ゲームキャラクタを見ると、仮想ゲームキャラクタがユーザ１０８に視線を返す。ユーザ１０８が仮想ゲームキャラクタから視線を外すと、仮想ゲームキャラクタがユーザ１０８から視線を外す。さらにこの実施例においては、ＨＭＤ１０４の外部ビデオカメラがユーザ１０８の目または頭部の位置の画像をキャプチャする。目または頭部の位置による注視に基づき、ゲームプログラム１１７は仮想ゲームキャラクタの目の位置を変更する。

【0070】

１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づいて生成される入力の入力データがゲームの状態を変更する点に留意されたい。いくつかの実施形態では、ゲームの表示は本明細書内でゲームプログラム１１７に関連する双方向部分と称される。

【0071】

様々な実施形態では、１つまたは複数の手の動きに基づいて生成される入力データをＨＨＣ１０６からＨＭＤ１０４へと通信する代わりに、入力データがネットワーク１１０を介して直接ＨＨＣ１０６からコーデック１１２へと通信される。たとえば入力データがＨＨＣ１０６とネットワーク１１０との間のルータ（図示せず）を介して通信されない場合、入力データはネットワーク１１０を介して直接ＨＨＣ１０６からコーデック１１２へと通信される。１つまたは複数の手の動きに基づいて生成されるＨＭＤ１０４からの入力データは、入力データがＨＭＤ１０４により通信されるのと同様の方法で、ＨＨＣ１０６により通信される。たとえば１つまたは複数の手の動きに基づいて生成されるＨＭＤ１０４からの入力データは、ＨＨＣ１０６によって符号化及びパケット化され、ネットワーク１１０を介して符号化された入力データのストリームとしてコーデック１１２へと送信される。

【0072】

ＨＭＤ１０４とネットワーク１１０との間にルータ（図示せず）を置かないことで、ネットワーク１１０とＨＭＤ１０４との間のホップ数が削減される点に留意されたい。ルータのない実施形態において、たとえばメディアデータ１１６、付加メディアデータ、次のメディアデータなどのデータは、ゲームクラウド１０２のコーデック１１２によってネットワーク１１０を介してＨＭＤ１０４のワイヤレスアクセスカード（ＷＡＣ）に直接ストリーミングされる。さらにこれらの実施形態においては、たとえば入力データ、現実世界環境データなどのデータはＨＭＤ１０４のＷＡＣによってネットワーク１１０を介してゲームクラウド１０２のコーデック１１２に直接ストリーミングされる。ホップ数の削減が、ルータに関連する時間の節約になる。たとえばルータは別のネットワーク機器からデータを受信し、データをバッファリングし、データを分析し、別のネットワーク機器にデータを再送する。ＨＭＤ１０４とゲームクラウド１０２との間でネットワーク１１０を介してデータを転送する際に、ルータをバイパスすることでデータ受信、データのバッファリング、データ分析、データの再送の時間が節約される。また、ＨＨＣ１０６とゲームクラウド１０２との間でネットワーク１１０を介してデータを転送する際に、ルータをバイパスすることでデータ受信、データのバッファリング、データ分析、データの再送の時間が節約される。

【0073】

同様に、たとえばコンソール、モバイル機器などのコンピュータがＨＭＤ１０４またはＨＨＣ１０４とネットワーク１１０との間で用いられない場合は、データの受信、格納、分析、再送に関連する時間が節約される。

【0074】

図１Ｂは、ＨＭＤ１０４またはＨＨＣ１０６とゲームクラウド１０２との間のネットワーク１１０及びルータ１５２を介したデータ転送のためのシステム１５０の実施形態の図である。システム１５０については、システム１５０がＨＭＤ１０４とネットワーク１１０との間にルータ１５２を含む以外はシステム１００（図１Ａ）と同様である。ルータ１５２もまた、ＨＨＣ１０６とネットワーク１１０との間に配置する。

【0075】

ＨＭＤ１０４は、たとえばＢｌｕｅｔｏｏｔｈ（登録商標）接続、Ｗｉ−Ｆｉ（登録商標）接続などの無線接続を介して、ルータ１５２に接続される。さらにＨＨＣ１０６は、たとえばＢｌｕｅｔｏｏｔｈ（登録商標）接続、Ｗｉ−Ｆｉ（登録商標）接続などの無線接続を介して、ルータ１５２に接続される。いくつかの実施形態では、ルータ１５２は有線接続を介してネットワーク１１０に接続される。

【0076】

システム１５０については、符号化されたデータのストリームがＨＭＤ１０４またはＨＨＣ１０６からルータ１５２に送信される以外はシステム１００（図１Ａ）と同様に稼働する。ルータ１５２は符号化されたデータのストリームを導くなどしてネットワーク１１０上のパスへとルーティングし、ストリームのコーデック１１２への送信を容易にする。ルータ１５２はコーデック１１２のＩＰアドレス及び／またはメディアアクセス層（ＭＡＣ）アドレスを用いて、符号化されたデータのストリームをコーデック１１２へとルーティングする。いくつかの実施形態では、ルータ１５２はネットワークパス上のパケットトラフィック、ネットワークパス上の輻輳などの１つまたは複数のネットワークトラフィック要因に基づいて、ネットワーク１１０のネットワークパスを決定する。

【0077】

ルータ１５２は、ネットワーク１１０を介してゲームクラウド１０２から符号化されたデータのストリームを受信し、符号化されたデータのストリームをＨＭＤ１０４にルーティングする。たとえばルータ１５２は、ネットワーク１１０を介してゲームクラウド１０２から受信した符号化されたデータのストリームを、ＨＭＤ１０４のＩＰアドレス及び／またはＭＡＣアドレスに基づいてＨＭＤ１０４へとルーティングする。

【0078】

図１Ｃは、メディアデータの通信を行うためのコンピュータ１７２を用いる、また入力データ及び／またはメディアデータ及び／または現実世界環境データの通信を行うためにルータ１５２を用いる、あるいは用いないシステム１７０の実施形態の図である。

【0079】

いくつかの実施形態では、ワイヤレスネットワークの一覧がＨＭＤ１０４上ではなく、コンピュータ１７２に接続された、またはコンピュータ１７２内に配置された表示画面上に提示される。たとえばコンピュータ１７２が携帯電話である場合、コンピュータ１７２はワイヤレスネットワークの一覧を表示するための表示画面を含む。別の実施例として、コンピュータ１７２がテレビ表示画面に接続される場合、ワイヤレスネットワークの一覧は表示画面上に表示される。これらの実施形態においては、コンピュータ１７２のプロセッサ１７６がコンピュータ１７２の記憶装置内に格納されたワイヤレスアクセスアプリケーションを実行すると、ワイヤレスネットワークの一覧がアクセスされる。ユーザ１０８が１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きを行うことにより、ＨＭＤ１０４またはＨＨＣ１０６を介してワイヤレスアクセスアプリケーションにアクセスすると、プロセッサ１７６がワイヤレスアクセスアプリケーションを実行する。１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づいて生成された入力データは、ＨＭＤ１０４またはＨＨＣ１０６の通信回路からコンピュータ１７２へと送信される。コンピュータ１７２のプロセッサ１７６が入力データを受信すると、ワイヤレスネットワークの一覧を生成するためのワイヤレスアクセスアプリケーションが実行される。

【0080】

コンピュータ１７２は、ゲームクラウド１０２からゲームプログラム１１７の一部を要求ネットワークインターフェイスコントローラ（ＮＩＣ）１７４を含む。ＮＩＣの実施例には、ネットワークインターフェイスカード及びネットワークアダプタが含まれる。ゲームプログラム１１７の一部がコーデック１１２によって符号化され、ネットワーク１１０を介してコンピュータ１７２のＮＩＣ１７４へとストリーミングされる。コンピュータ１７２のプロセッサ１７６はゲームプログラム１１７の一部を実行してメディアデータを生成し、そのメディアデータはたとえばトランシーバ、送信／受信回路、ネットワークインターフェイスコントローラなどの通信回路１７８からＨＭＤ１０４へと、ＨＭＤ１０４の表示画面上に表示するために送信される。ＨＭＤ１０４の通信回路はメディアデータをコンピュータ１７２から受信し、メディアデータをＨＭＤ１０４の表示画面上に表示するためＨＭＤ１０４のマイクロコントローラへと送信する。

【0081】

さらにコンピュータ１７２の通信回路１７８は現実世界環境データをＨＭＤ１０４の通信回路から受信する。現実世界環境データに応じて、コンピュータ１７２内に格納されたゲームプログラム１１７の一部をプロセッサ１７６が実行して付加メディアデータを生成し、付加メディアデータが通信回路１７８からＨＭＤ１０４の通信回路へと送信される。

【0082】

付加メディアデータの受信前後に、１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づいて生成される、ＨＭＤ１０４及び／またはＨＨＣ１０６からの入力データがＨＭＤ１０４の通信回路によって通信回路１７８を介してプロセッサ１７６へと送信される。入力データに応じて、プロセッサ１７６はコンピュータ１７２内に格納されたゲームプログラム１１７の一部を実行して次のメディアデータを生成し、次のメディアデータは、通信回路１７８からＨＭＤ１０４の通信回路に送信される。次のメディアデータはＨＭＤ１０４の通信回路に送信されて、ゲームプログラム１１７の実行により表示される仮想ゲームオブジェクト及び／またはゲームの仮想環境を変更する。現実のゲームオブジェクト、仮想ゲームオブジェクトなどのゲームオブジェクト及び／または現実環境、仮想環境などの環境が変更されると、ゲームプログラム１１７の実行によって表示されたゲームのゲーム状態が変更される。

【0083】

いくつかの実施形態では、コンピュータ１７２のＮＩＣ１７４によって、ゲーム状態がルータ１５２およびネットワーク１１０を介してゲームクラウド１０２へと送信され、ゲームクラウド１０２の１つまたは複数のサーバにゲーム状態が通知される。

【0084】

様々な実施形態では、たとえばメディアデータ１１６、付加メディアデータ、次のメディアデータなどのメディアデータは、ゲームプログラム１１７の一部がゲームクラウド１０２からコンピュータ１７２にダウンロードされるまで、ネットワーク１１０及びルータ１５２を介してコーデック１１２からＨＭＤ１０４へと送信される。たとえば、ユーザ１０８は最初にゲームアクセスアプリケーションを用いてゲームプログラム１１７へとアクセスする。ゲームプログラム１１７の一部のアクセス中に、ＨＭＤ１０４の表示画面上に表示するために、メディアデータ１１６、付加メディアデータ、次のメディアデータなどのメディアデータがコーデック１１２からネットワーク１１０及びルータ１５２を介してＨＭＤ１０４へと送信される。ＨＭＤ１０４上に表示するために、メディアデータにゲームクラウド１０２からアクセスしている間に、コンピュータ１７２のＮＩＣ１７４がゲームクラウド１０２からネットワーク１１０及びルータ１５２を介してゲームプログラム１１７の一部をダウンロードする。

【0085】

いくつかの実施形態では、ゲームプログラム１１７の一部がコンソール１７２によりアクセスされると、ＨＭＤ１０４の表示画面上に表示するために、たとえばメディアデータ１１６、付加メディアデータ、次のメディアデータなどのメディアデータがコーデック１１２からネットワーク１１０を介してＨＭＤ１０４へと送信される。これらの実施形態では、ルータ１５２はホップ数を削減するためにバイパスされる。ルータ１５２のバイパス後にＨＭＤ１０４上に表示するために、たとえばメディアデータ１１６、付加メディアデータ、次のメディアデータなどのメディアデータにゲームクラウド１０２からアクセスしている間に、コンピュータ１７２のＮＩＣ１７４がゲームクラウド１０２からネットワーク１１０及びルータ１５２を介してゲームプログラム１１７の一部をダウンロードする。

【0086】

いくつかの実施形態において、１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動き及び／または現実世界環境データの一部に基づいて生成された入力データの一部が、ルータ１５２及びネットワーク１１０を介してＨＭＤ１０４からゲームクラウド１０２のコーデック１１２へと送信され、入力データの残りの部分及び／または現実世界環境データの残りの部分がＨＭＤ１０４の通信回路からコンピュータ１７２の通信回路１７８へと送信される。

【0087】

様々な実施形態では、１つまたは複数の手の動きに基づいて生成された入力データの一部が、ルータ１５２及びネットワーク１１０を介してＨＨＣ１０６の通信回路からゲームクラウド１０２のコーデック１１２へと送信され、入力データの残りの部分がＨＨＣ１０６の通信回路からコンピュータ１７２の通信回路１７８へと送信される。

【0088】

いくつかの実施形態では、１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動き及び／または現実世界環境データの一部に基づいて生成された入力データの一部が、ネットワーク１１０を介してＨＭＤ１０４からゲームクラウド１０２のコーデック１１２へと送信され、入力データの残りの部分及び／または現実世界環境データの残りの部分がＨＭＤ１０４の通信回路からコンピュータ１７２の通信回路１７８へと送信される。これらの実施形態では、ルータ１５２はバイパスされる。

【0089】

いくつかの実施形態では、１つまたは複数の手の動きに基づいて生成された入力データの一部が、ネットワーク１１０を介してＨＨＣ１０６の通信回路からゲームクラウド１０２のコーデック１１２へと送信され、入力データの残りの部分がＨＨＣ１０６の通信回路からコンピュータ１７２の通信回路１７８へと送信される。これらの実施形態では、ルータ１５２はバイパスされる。

【0090】

様々な実施形態では、メディアデータをレンダリングしてＨＭＤ１０４の表示画面上にゲームを表示するために、たとえばメディアデータ１１６、付加メディアデータ、次のメディアデータなどのゲームプログラム１１７の実行により生成されるメディアデータが、ネットワーク１１０及びルータ１５２を介してゲームクラウド１０２のコーデック１１２からＨＭＤ１０４へと送信され、コンピュータ１７２のプロセッサ１７６によりゲームプログラム１１７の一部が実行されることで生成されるメディアデータが、表示画面上にゲームを表示するために、コンピュータ１７２の通信回路１７８からＨＭＤ１０４へと送信される。これらの実施形態では、ゲームクラウド１０２及びコンピュータ１７２のゲーム状態が同期される。たとえば、コーデック１１２がゲームプログラム１１７の実行によって生成されるゲーム状態をネットワーク１１０及びルータ１５２を介してコンピュータ１７２のＮＩＣ１７４へと送信し、ゲーム状態をコンピュータ１７２に通知する。別の実施例として、コンピュータ１７２のＮＩＣ１７４がコンピュータ１７２上でゲームプログラム１１７の一部を実行することにより生成されるゲーム状態をルータ１５２及びネットワーク１１０を介してゲームクラウド１０２のコーデック１１２へと送信し、ゲーム状態を１つまたは複数のゲームクラウドサーバに通知する。

【0091】

いくつかの実施形態では、メディアデータをレンダリングしてＨＭＤ１０４の表示画面上にゲームを表示するために、たとえばメディアデータ１１６、付加メディアデータ、次のメディアデータなどのゲームプログラム１１７の実行により生成されるメディアデータが、ネットワーク１１０を介してゲームクラウド１０２のコーデック１１２からＨＭＤ１０４へと送信され、コンピュータ１７２のプロセッサ１７６によりゲームプログラム１１７の一部が実行されることで生成されるメディアデータが、表示画面上にゲームを表示するために、コンピュータ１７２の通信回路１７８からＨＭＤ１０４へと送信される。これらの実施形態では、メディアデータ１１６、付加メディアデータ、次のメディアデータなどのメディアデータがコーデック１１２からＨＭＤ１０４へと送信される際にルータ１５２はバイパスされる。これらの実施形態では、ゲームクラウド１０２及びコンピュータ１７２のゲーム状態が上記のように同期される。

【0092】

いくつかの実施形態では、メディアデータをレンダリングしてＨＭＤ１０４の表示画面上にゲームを表示するために、たとえばメディアデータ１１６、付加メディアデータ、次のメディアデータなどのゲームプログラム１１７の実行により生成され、ネットワーク１１０及びルータ１５２を介してゲームクラウド１０２のコーデック１１２からＨＭＤ１０４へと送信されるメディアデータについては、コンピュータ１７２のプロセッサ１７６によりゲームプログラム１１７の一部が実行されることで生成されるメディアデータよりもグラフィックス量が多い。

【0093】

いくつかの実施形態では、メディアデータをレンダリングしてＨＭＤ１０４の表示画面上にゲームを表示するために、たとえばメディアデータ１１６、付加メディアデータ、次のメディアデータなどのゲームプログラム１１７の実行により生成され、ネットワーク１１０を介してゲームクラウド１０２のコーデック１１２からＨＭＤ１０４へと送信されるメディアデータについては、コンピュータ１７２のプロセッサ１７６によりゲームプログラム１１７の一部が実行されることで生成されるメディアデータよりもグラフィックス量が多い。これらの実施形態では、メディアデータがネットワーク１１０を介してゲームクラウド１０２のコーデック１１２からＨＭＤ１０４へと送信される際にルータ１５２はバイパスされる。

【0094】

様々な実施形態では、ＨＭＤ１０４（図１Ａ〜１Ｃ、２）を用いて二次元または三次元画像を表示する。

【0095】

図２は、１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づく入力データ生成を例示するシステム２００の実施形態の図である。ユーザ１０８はＨＭＤ２０２を装着しており、ＨＨＣ２０４を握っている。ＨＭＤ２０２はＨＭＤ１０４（図１Ａ〜１Ｃ）の実施例であり、ＨＨＣ２０４はＨＨＣ１０６（図１Ａ〜１Ｃ）の実施例である。

【0096】

ＨＭＤ２０２は、たとえばマーカＭ１、マーカＭ２及びマーカＭ３などの１つまたは複数のマーカを含む。同様に、ＨＨＣ２０４はたとえばマーカＭ４、マーカＭ５及びマーカＭ６などの１つまたは複数のマーカを含む。各マーカは発光ダイオード、光源、色、反射材料などであってもよい。

【0097】

ビデオカメラ２０６はＨＭＤ２０２の画像をキャプチャする。ユーザ１０８の頭部が傾いたり動いたりすると、マーカＭ１〜Ｍ３のポジション及び位置がＸＹＺ座標系において変更される。ビデオカメラ２０６は、マーカＭ１〜Ｍ３の画像をキャプチャし、画像をコンピュータ１７２に送信する。マーカＭ１〜Ｍ３の画像は入力データの実施例である。三次元空間内（Ｘ、Ｙ、Ｚ）におけるＨＭＤ２０２のポジションは、画像内でのマーカＭ１〜Ｍ３のポジションに基づいてコンピュータ１７２のプロセッサ１７６（図１Ｃ）によって決定することができる。さらにＨＭＤ２０２のたとえば揺らす、傾ける、揺するなどの緩慢な動作はマーカＭ１〜Ｍ３の動きに基づいてコンピュータ１７２のプロセッサ１７６（図１Ｃ）によって決定される。

【0098】

様々な実施形態では、ビデオカメラ２０６は移動式である。たとえば、ビデオカメラ２０６はマルチコプター、ロボットアーム、ロボット、ロボット車両、ロボットカー、クアッドコプターなどのロボット装置に取り付けられる。たとえばビデオカメラ２０６は、ユーザ１０８及び／またはＨＭＤ２０２及び／またはＨＨＣ２０４の画像をキャプチャするためにロボット装置に対して、その下、上、側面などに取り付けられる。ＨＭＤ２０２はユーザ１０８の頭部の動きとともに移動する。いくつかの実施形態では、ビデオカメラ２０６の代わりにデジタルカメラが用いられる。

【0099】

いくつかの実施形態では、ビデオカメラ２０６はＨＨＣ２０４の画像をキャプチャする。ユーザ１０８の手が動くと、マーカＭ４〜Ｍ６のポジション及び位置が座標系において変更される。ビデオカメラ２０６はマーカＭ４〜Ｍ６の画像をキャプチャし、画像をコンピュータ１７２に送信する。マーカＭ４〜Ｍ６の画像は入力データの実施例である。ＨＨＣ２０４の三次元空間内（Ｘ、Ｙ、Ｚ）のポジションは画像内のマーカＭ４〜Ｍ６のポジションに基づいてコンピュータ１７２のプロセッサ１７６によって決定されてもよい。さらにＨＨＣ２０４のたとえば揺らす、傾ける、揺するなどの緩慢な動作はマーカＭ４〜Ｍ６に基づいてコンピュータ１７２のプロセッサ１７６によって決定される。

【0100】

いくつかの実施形態では、ＨＨＣ２０４の代わりにユーザ１０８の手がマーカＭ４〜Ｍ６でマークされる。

【0101】

図３はＨＭＤ１０４（図１Ａ〜１Ｃ）の実施例であるＨＭＤ２５０の実施形態の図である。ＨＭＤ２５０は、映像音声分離器２５４、ビデオデコーダ２５５、ＷＡＣ２５８、ストリームバッファ２５９、１つまたは複数のスピーカ２６０、ユーザ入力回路２６２、表示画面２６６、マイクロコントローラ２６８、オーディオバッファ２７２、外部ビデオカメラ２７４、オーディオコーデック２７６、内部デジタルカメラ２７８、ビデオバッファ２８０、映像音声同期装置２８２、マイクロフォン２８４及びコントローラ／コンピュータ通信回路２８７を含む。外部ビデオカメラ２７４はユーザ１０８の現実世界環境に向けられ、内部デジタルカメラ２７８はたとえばユーザ１０８の目、頭部など、ユーザ１０８に向けられる。

【0102】

いくつかの実施形態において、スピーカ２６０は音声回路である。様々な実施形態では、オーディオコーデック２７６、オーディオバッファ２７２及び／またはスピーカ２６０が音声回路である。いくつかの実施形態では、ビデオデコーダ２５５及びマイクロコントローラ２６８の組み合わせは本明細書内でゲーム処理回路と称される。様々な実施形態では、マイクロコントローラ２６８表示回路である。表示画面の実施例にはＬＥＤスクリーン、液晶表示（ＬＣＤ）スクリーン、シリコンスクリーン上の液晶、有機発光（ＯＬＥＤ）スクリーン、プラズマスクリーンなどが含まれる。外部デジタルカメラ２７４の実施例にはソニー・コンピュータエンターテインメント製作のプレイステーションアイ（登録商標）が含まれる。

【0103】

マイクロコントローラ２６８はレンダリングプログラム２８６及びオペレーティングシステム２８８を格納する。レンダリングプログラム２８６及びオペレーティングシステム２８８はマイクロコントローラ２８６の記憶装置内に格納され、マイクロコントローラ２６８のマイクロプロセッサにより実行される。マイクロコントローラ２６８の実施例には、表示画面２６６上にゲームを表示するために、表示画面２６６のＬＣＤなどの要素を、それに提供する信号を生成する、それをアクティブにするための信号を生成するなどして駆動する、ＬＣＤドライバなどのドライバを含む低価格のマイクロコントローラが含まれる。マイクロコントローラ２６８の別の実施例には、グラフィック処理ユニット（ＧＰＵ）が含まれる。

【0104】

いくつかの実施形態では、マイクロコントローラ２６８の記憶装置はフラッシュメモリまたはランダムアクセスメモリ（ＲＡＭ）以外である。たとえばマイクロコントローラの記憶装置はバッファである。様々な実施形態では、マイクロコントローラ２６８の記憶装置はフラッシュメモリまたはＲＡＭである。ユーザ入力回路２６２の実施例には、ジャイロスコープ、磁力計及び加速度センサが含まれる。ＷＡＣ２５８の実施例にはＮＩＣが含まれる。いくつかの実施形態では、ＷＡＣ２５８は本明細書内で通信回路と称される。

【0105】

符号化されたメディアデータのストリームは、ネットワーク１１０またはルータ１５２（図１Ｂ〜１Ｃ、２）からストリームバッファ２５９内で受信される。ストリームバッファ２５９により受信される符号化されたメディアデータの実施例には、符号化されたメディアデータ１１６（図１Ａ〜１Ｃ、２）、符号化された付加メディアデータ、符号化された次のメディアデータなどが含まれる。ルータ１５２がコンピュータ１７２（図２）に接続されると、コンピュータ１７２から受信されたデータは、ストリームバッファ２５９に格納される代わりにＨＭＤ２５０のバッファ（図示せず）に格納されることに留意されたい。

【0106】

ＷＡＣ２５８はストリームバッファ２５９から符号化されたメディアデータのストリームにアクセスし、ストリームのパケット解除を行う。さらにＷＡＣ２５８はまた、符号化されたメディアデータをデコードするデコーダを含む。

【0107】

符号化されたメディアデータのストリームがルータ１５２（図１Ｃ）を介してコンピュータ１７２（図１Ｃ）によって受信される実施形態においては、コンピュータ１７２のＮＩＣ１７４（図１Ｃ）が符号化されたメディアデータのストリームのパケット解除及びデコードを行いってデコードされたデータを生成し、そのデコードされたデータは格納のためにルータ１５２によってＨＭＤ２５０のバッファ（図示せず）へと送信される。

【0108】

デコードされたデータは映像音声分離器２５４によってＷＡＣ２５８から、またはＨＭＤ２５０のバッファ（図示せず）からアクセスされる。映像音声分離器２５４はデコードされたデータ内の音声データをビデオデータから分離する。

【0109】

映像音声分離器２５４は音声データをオーディオバッファ２７２に、ビデオデータビデオバッファ２８０に送信する。映像音声同期装置２８２は、ビデオバッファ２８０に格納されたビデオデータをオーディオバッファ２７２に格納された音声データと同期させる。たとえば映像音声同期装置２８２は、ビデオデータ及び音声データの再生時間を利用して、ビデオデータを音声データと同期させる。

【0110】

オーディオコーデック２７６は同期された音声データをデジタル形式からアナログ形式へと転換して音声信号を生成し、スピーカ２６０によって音声信号が再生されて音声が生成される。ビデオデコーダ２５５は、たとえばデジタル形式からアナログ形式に変更するなどして同期されたビデオデータをデコードし、アナログビデオ信号を生成する。マイクロコントローラ２６８は、ビデオデコーダ２５５により生成され、同期されたアナログビデオ信号に基づいて、レンダリングプログラム２８６を実行し、表示画面２６６上にゲームを表示する。いくつかの実施形態では、表示画面２６６上に表示されたゲームは、音声信号の再生と同期させて表示される。

【0111】

さらにユーザ１０８（図１Ａ〜１Ｃ、２）はマイクロフォン２８４に話しかけ、マイクロフォン２８４はたとえば声などの音響信号を音声信号などの電気信号に転換する。オーディオコーデック２７６は音声信号をアナログ形式からデジタル形式に転換して音声データを生成し、音声データはオーディオバッファ２７６に格納される。オーディオバッファ２７６に格納された音声データは、ユーザ１０８の音響に基づいて生成される入力データの実施例である。音声データはＷＡＣ２５８によってオーディオバッファ２７６からアクセスされ、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２（図１Ａ〜１Ｃ、２）のコーデック１１２（図１Ａ〜１Ｃ）に送信される。たとえばＷＡＣ２５８はオーディオバッファ２７６からアクセスされた音声データをパケット化し符号化して、ネットワーク１１０を介してコーデック１１２に送信する。

【0112】

いくつかの実施形態では、音声データはルータ１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２のコーデック１１２（図１Ａ〜１Ｃ）へと送信するために、ＷＡＣ２５８によってオーディオバッファ２７６からアクセスされる。たとえばＷＡＣ２５８はオーディオバッファ２７６からアクセスされた音声データをパケット化し符号化して、ルータ１５２及びネットワーク１１０を介してコーデック１１２へと送信する。

【0113】

内部デジタルカメラ２７８はユーザ１０８（図１Ａ〜１Ｃ、２）の１つまたは複数の頭部の動きの１つまたは複数の画像をキャプチャして、１つまたは複数の頭部の動きに基づいて生成される入力データの実施例である画像データを生成する。同様に外部ビデオカメラ２７４は、現実世界環境及び／またはＨＭＤ２５０もしくはユーザ１０８の手に配置されたマーカ及び／またはユーザ１０８の手の１つまたは複数の画像をキャプチャし、入力データの実施例である画像データを生成する。ユーザ１０８の手に配置されたマーカに基づいてまたはユーザ１０８の手の動きに基づいて生成された画像データは、手の動きに基づいて生成される入力データの実施例である。カメラ２７４及び２７８によってキャプチャされた画像データはビデオバッファ２８０に格納される。

【0114】

いくつかの実施形態では、カメラ２７４及び２７８によってキャプチャされた画像データはＨＭＤ２５０のバッファに格納されるが、このバッファはビデオバッファ２８０とは異なる。様々な実施形態では、カメラ２７４及び２７８によってキャプチャされた画像データは、表示画面２６６上に画像を表示するためにビデオデコーダ２５５によってデコードされてマイクロコントローラ２６８へと送信される。

【0115】

いくつかの実施形態では、カメラ２７４及び２７８によってキャプチャされた画像データはＷＡＣ２５８によってビデオバッファ２８０からアクセスされ、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２（図１Ａ〜１Ｃ、２）のコーデック１１２（図１Ａ〜１Ｃ）へと送信される。たとえばＷＡＣ２５８はビデオバッファ２８０からアクセスされた画像データをパケット化し符号化して、ネットワーク１１０を介してコーデック１１２へと送信する。

【0116】

いくつかの実施形態では、ビデオデータはＷＡＣ２５８によってビデオバッファ２８０からアクセスされ、ルータ１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２のコーデック１１２（図１Ａ〜１Ｃ）に送信される。たとえばＷＡＣ２５８はビデオバッファ２８０からアクセスされたビデオデータをパケット化し符号化して、ルータ１５２及びネットワーク１１０を介してコーデック１１２へと送信する。

【0117】

コントローラ／コンピュータ通信回路２８７は、ＨＭＤ２５０のバッファ（図示せず）に格納するためにメディアデータをコンピュータ１７２から受信する。さらにコントローラ／コンピュータ通信回路２８７はＨＨＣ１０６（図１Ａ〜１Ｃ、２）から入力信号を受信し、入力信号をアナログ形式からデジタル形式に転換して入力データを生成し、その入力データはＷＡＣ２５８によってアクセスされてネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２（図１Ａ〜１Ｃ、２）のコーデック１１２（図１Ａ〜１Ｃ）へと送信される。たとえばＷＡＣ２５８はコントローラ／コンピュータ通信回路２８７からアクセスされた入力データをパケット化し符号化して、ネットワーク１１０を介してコーデック１１２へと送信する。

【0118】

いくつかの実施形態では、入力データはＷＡＣ２５８によってコントローラ／コンピュータ通信回路２８７からアクセスされ、ルータ１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２のコーデック１１２（図１Ａ〜１Ｃ）へと送信される。たとえばＷＡＣ２５８はビデオバッファ２８０からアクセスされたビデオデータをパケット化し符号化して、ルータ１５２及びネットワーク１１０を介してコーデック１１２へと送信する。

【0119】

いくつかの実施形態では、コントローラ／コンピュータ通信回路２８７が現実世界環境データをＨＨＣ１０６（図１Ａ〜１Ｃ、２）から受信し、現実世界環境データはＷＡＣ２５８によってアクセスされ、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２（図１Ａ〜１Ｃ、２）のコーデック１１２（図１Ａ〜１Ｃ）へと送信される。たとえばＷＡＣ２５８は、ＨＨＣ１０６コントローラ／コンピュータ通信回路２８７の通信回路から受信された現実世界環境データを、ネットワーク１１０を介してコーデック１１２へと送信するためにパケット化し符号化する。

【0120】

いくつかの実施形態では、現実世界環境データはＷＡＣ２５８によって、コントローラ／コンピュータ通信回路２８７からアクセスされ、ルータ１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２のコーデック１１２（図１Ａ〜１Ｃ）へと送信される。たとえばＷＡＣ２５８はコントローラ／コンピュータ通信回路２８７からアクセスされた現実世界環境データを、ルータ１５２及びネットワーク１１０を介してコーデック１１２へと送信するためにパケット化し符号化する。

【0121】

コントローラ／コンピュータ通信回路２８７の代わりに、１つはデータを受信、送信するなどしてコンピュータ１７２（図１Ｂ）と通信させるため、もう１つはデータをＨＨＣ１０６（図１Ａ〜１Ｃ、２）と通信させるために、２つの異なる通信回路を用いてもよい点に留意されたい。

【0122】

いくつかの実施形態では、ＷＡＣ２５８のデコーダがＷＡＣ２５８の外部に配置される。様々な実施形態では、ストリームバッファ２５９はすＷＡＣ２５８内に配置される。

【0123】

いくつかの実施形態では、ＨＭＤ２５０には任意の個数のマイクロコントローラ、任意の個数のバッファ、及び／または任意の個数の記憶装置が含まれる。

【0124】

様々な実施形態では、たとえば映像音声分離器２５４、ワイヤレスアクセスカード２５８、ストリームバッファ２５９、１つまたは複数のスピーカ２６０、ユーザ入力回路２６２、表示画面２６６マイクロコントローラ２６８、オーディオバッファ２７２、外部ビデオカメラ２７４、オーディオコーデック２７６、内部デジタルカメラ２７８、ビデオバッファ２８０、映像音声同期装置２８２、マイクロフォン２８４及びコントローラ／コンピュータ通信回路２８７などの構成要素に電力を提供する１つまたは複数のバッテリがＨＭＤ２５０に含まれる。１つまたは複数のバッテリは、交流コンセントに接続することのできる充電器（図示せず）を用いて充電される。

【0125】

いくつかの実施形態では、ＨＭＤ２５０はペアリングを介したローカルユーザ間のピアツーピアマルチチャネル通信を容易にする通信回路（図示せず）を含む。たとえば、ＨＭＤ２５０には、マイクロフォン２８４から受信された音響信号を変調し、チャネルを介して変調された信号を別のＨＭＤ（図示せず）のトランシーバに送信するトランシーバが含まれる。他のＨＭＤのトランシーバは信号を復調して他のＨＭＤのスピーカに提供し、ユーザ間の通信を容易にする。

【0126】

様々な実施形態では、異なる他のＨＭＤとの通信を行うためにＨＭＤ２５０のトランシーバによって異なるチャネルが用いられる。たとえば変調された信号を第１の他のＨＭＤへと送信するチャネルは、変調された信号を第２の他のＨＭＤへと送信するチャネルとは異なる。

【0127】

いくつかの実施形態では、ＷＡＣ２５８、ユーザ入力回路２６２、マイクロコントローラ２６８及びビデオデコーダ２５５は１つまたは複数の個別の回路チップに統合される。たとえば、ＷＡＣ２５８、ビデオデコーダ２５５及びマイクロコントローラ２６８がある回路チップに統合され、ユーザ入力回路２６２は別の回路チップに統合される。別の実施例として、ＷＡＣ２５８、ユーザ入力回路２６２、マイクロコントローラ２６８及びビデオデコーダ２５５のそれぞれが別の回路チップに統合される。

【0128】

いくつかの実施形態では、ＨＭＤ２５０が外部デジタルカメラ２７４を有さず、かつ／または内部デジタルカメラ２７８を有しない。これらの実施形態では、ＨＭＤ２５０のポジション及び動作がゲームクラウド１０２の１つまたは複数のサーバによってユーザ入力回路２６２によって、かつ／またはコンピュータ１７２（図１Ｃ）のプロセッサ１７６（図１Ｃ）によって、生成される入力データに基づき決定され、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介して送信されるか、またはルータ１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０を介して送信されるか、またはルータ１５２、コンピュータ１７２及びネットワーク１１０を介して送信される。

【0129】

いくつかの実施形態では、内部デジタルカメラ２７８がユーザ１０８の目もしくは頭部を認識することができない場合及び／またはビデオカメラ２０６（図２）がユーザ１０８の頭部を認識することができない場合、ユーザ入力回路２６２が入力データを生成する。これらの実施形態では、ＨＭＤ２５０のポジション及び動作が、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２へと送信される入力データに基づいて、ゲームクラウド１０２の１つまたは複数のサーバによって、かつ／またはコンピュータ１７２（図１Ｃ）のプロセッサ１７６（図１Ｃ）によって決定されるか、または１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０を介して送信されるか、またはルータ１５２、コンピュータ１７２及びネットワーク１１０を介して送信される。

【0130】

いくつかの実施形態では、たとえばＨＭＤ２５０のＷＡＣ２５８などのＨＭＤ２５０が、２つ以上のモードの切り替えを行う。第１のモードには、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介したＨＭＤ２５０及びゲームクラウド１０２（図１Ａ〜１Ｃ、２）間のデータ通信における、ルータ１５２（図１Ｂ〜１Ｃ、２）及びコンピュータ１７２（図１Ｃ及び２）の利用が含まれる。第２のモードには、ＨＭＤ２５０及びゲームクラウド１０２間のデータ通信における、ネットワーク１１０を介したルータ１５２の利用が含まれる。第２のモードにおいて、データが通信される際にコンピュータ１７２はバイパスされる。第３のモードにはＨＭＤ２５０及びゲームクラウド１０２間のデータ通信における、ネットワーク１１０を介したネットワーク１１０の利用が含まれる。第３のモードにおいて、データが通信される際にルータ１５２及びコンピュータ１７２はバイパスされる。

【0131】

いくつかの実施形態では、ユーザ１０８はＨＭＤ１０４をＨＨＣ１０６とともに用い、ＨＭＤ１０４のポジション及び動作ならびにＨＨＣ１０６のポジション及び動作が単一の拡張仮想現実ゲームシーンにおいて表現される。たとえばＨＨＣ１０６はゲームプログラム１１７の実行によって生成され、ＨＭＤ１０４に表示される拡張仮想現実ゲーム内で仮想剣として表現される。この実施例においてゲームは、剣が現実世界の森林の画像に重ねられた拡張仮想現実ゲームシーンを有する。ユーザ１０８が自身の頭部を左に向けると、ユーザ１０８は森林の左側部分を見せられ、ユーザ１０８が自身の頭部を右に向けると、ユーザ１０８は森林の右側部分を見せられる。ゲームシーンの部分的な表示は、ＨＭＤ１０４のポジション及び動きに基づく。さらにユーザ１０８がＨＨＣ１０６を左に動かしてＨＭＤ１０４を左に動かすと、ユーザは森林の左側部分で左を指す剣を見せられる。ユーザ１０８がＨＨＣ１０６を左に動かしてＨＭＤ１０４を右に動かすと、ユーザ１０８は森林の右側部分を見せられ、剣は右側部分に表示されない。さらにユーザ１０８がＨＨＣ１０６を右に動かしてＨＭＣ１０４を右に動かすと、ユーザは森林の右側部分で右を指す剣を見せられる。ユーザ１０８がＨＨＣ１０６を右に動かしてＨＭＤ１０４を左に動かすと、ユーザ１０８は森林の左側部分を見せられ、剣は左側部分に表示されない。森林の一部における剣の表示の有無は、ＨＨＣ１０６のポジション及び動作に基づく。

【0132】

図４Ａは、ワイヤレスネットワークにアクセスするためにＨＭＤ２５０（図３）の表示画面２６６に表示される画像３００の実施形態の図である。ネットワークアクセスアプリケーションがマイクロコントローラ２６８（図３）によって実行される際に、画像３００がマイクロコントローラ２６８（図３）によって生成される。画像３００は、たとえばワイヤレスネットワークＡ、ワイヤレスネットワークＢ、ワイヤレスネットワークＣなどの、ゲームクラウド１０２からのゲームプログラム１１７へのアクセスのためにＨＭＤ２５０が接続することのできるネットワークの一覧を含む。ユーザ１０８は１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きを行うことによってワイヤレスネットワークＡ、Ｂ及びＣのうちの１つを選択し、ＨＭＤ２５０をワイヤレスネットワークに接続する。

【0133】

いくつかの実施形態では、画像３００は任意の個数のワイヤレスネットワークを一覧に含む。

【0134】

図４Ｂは、ワイヤレスネットワークにアクセスするためにコンピュータ１７２（図２）の画像３１２に表示される画像３１０の実施形態の図である。ネットワークアクセスアプリケーションがコンピュータ１７２のプロセッサ１７６（図２）によって実行される際に、画像３１０がコンピュータ１７２のＧＰＵによって生成される。画像３１０は、たとえばワイヤレスネットワークＡ、ワイヤレスネットワークＢ、ワイヤレスネットワークＣなどの、ルータ１５２及びコンピュータ１７２を介したゲームクラウド１０２からのゲームプログラム１１７へのアクセスのためにＨＭＤ２５０が接続することのできるネットワークの一覧を含む。ユーザ１０８は１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きを行うことによってワイヤレスネットワークＡ、Ｂ及びＣのうちの１つを選択し、ルータ１５２及びコンピュータ１７２を介してＨＭＤ２５０をワイヤレスネットワークに接続する。

【0135】

いくつかの実施形態では、画像３１０は任意の個数のワイヤレスネットワークを一覧に含む。

【0136】

図５Ａは、表示画面２６６（図３）の実施例である表示画面３２１に表示されるゲームの画像３２０の実施形態の図である。画像３２０の周辺領域３２２はマイクロコントローラ２６８（図３）によって低解像度で表示され、中央領域３２４はマイクロコントローラ２６８によって高解像度で表示される。高解像度はより低い解像度よりも解像度が高い。周辺領域３２２は表示画面３２１の端部Ｅ１〜Ｅ４に隣接する。

【0137】

いくつかの実施形態では、端部Ｅ１は端部Ｅ２及び端部Ｅ４に対して垂直である。端部Ｅ３は端部Ｅ２及びＥ４に対して垂直であり、端部Ｅ１に対して平行である。様々な実施形態では、端部Ｅ１はたとえば８７度から９３度ほどの角度で端部Ｅ２に対して、また端部Ｅ４に対して略垂直である。端部Ｅ３は端部Ｅ２及びＥ４に対して略垂直であり、端部Ｅ１に対して略平行である。

【0138】

いくつかの実施形態では、表示画面３２１がたとえば長方形、正方形、円形、楕円形、多角形、曲線などの任意の形状である点に留意されたい。

【0139】

内部デジタルカメラ２７８（図３）によりキャプチャされた注視画像に基づいて、マイクロコントローラ２６８（図３）が表示画面３２１を領域３２２及び３２４に分割する。たとえばユーザ１０８（図１Ａ〜１Ｃ、２）が中央領域３２４を注視していると決定されると、マイクロコントローラ２６８が、中央領域３２４が高解像度を有することを決定し、周辺領域３２２が低解像度を有することを決定し、さらにレンダリングプログラム２８６を実行して中央領域３２４を高解像度で表示し、周辺領域３２２については低解像度で表示する。

【0140】

図５Ｂは、表示画面３２１に表示される画像３３０の実施形態の図である。画像３３０は上部周辺領域３３２及び下部周辺領域３３４を有する。上部周辺領域３３２は端部Ｅ１に隣接し、下部周辺領域３３４は端部Ｅ３に隣接する。周辺領域３３２及び３３４は低解像度を有し、中間領域３３６は高解像度を有する。中間領域３３６は端部Ｅ２及びＥ４に隣接して配置され、領域３３２及び３３４の間に配置される。

【0141】

内部デジタルカメラ２７８（図３）によりキャプチャされた注視画像に基づいて、マイクロコントローラ２６８（図３）が表示画面３２１を領域３３２、３３４及び３３６に分割する。たとえばユーザ１０８（図１Ａ〜１Ｃ、２）が中間領域３３６を注視していると決定されると、マイクロコントローラ２６８が、中間領域３３６が高解像度を有することを決定し、周辺領域３３２及び３３４が低解像度を有することを決定し、さらにレンダリングプログラム２８６を実行して中間領域３３６を高解像度で表示し、周辺領域３３２及び３３４については低解像度で表示する。

【0142】

いくつかの実施形態では、周辺領域３３２が周辺領域３３４の解像度とは異なる解像度を有する。たとえば、周辺領域３３２は低解像度と高解像度の間である中解像度を有し、周辺領域３３４が低解像度を有する。別の実施例として、周辺領域３３４が中解像度を有し、周辺領域３３２が低解像度を有する。

【0143】

図５Ｃは、表示画面３２１に表示される画像３４０の実施形態の図である。画像３４０は右側周辺領域３４２及び左側周辺領域３４４を有する。右側周辺領域３４２は端部Ｅ２に隣接し、左側周辺領域３４４は端部Ｅ４に隣接する。周辺領域３４２及び３４４は低解像度を有し、中間領域３４６は高解像度を有する。中間領域３４６は端部Ｅ１及びＥ３に隣接して配置され、領域３４２と３４４との間に配置される。

【0144】

内部デジタルカメラ２７８（図３）によりキャプチャされた注視画像に基づいて、マイクロコントローラ２６８（図３）が表示画面３２１を領域３４２、３４４、及び３４６に分割する。たとえばユーザ１０８（図１Ａ〜１Ｃ、２）が中間領域３４６を注視していると決定されると、マイクロコントローラ２６８が、中間領域３４６が高解像度を有することを決定し、周辺領域３４２及び３４４が低解像度を有することを決定し、さらにレンダリングプログラム２８６を実行して中間領域３４６を高解像度で表示し、３４２及び３４４については低解像度で表示する。

【0145】

いくつかの実施形態では、周辺領域３４２は周辺領域３４４とは異なる解像度を有する。たとえば周辺領域３４２は低解像度と高解像の間である度中解像度を有し、周辺領域３４４は低解像度を有する。別の実施例として、周辺領域３４４は中解像度を有し、周辺領域３４２は低解像度を有する。

【0146】

様々な実施形態では、注視の代わりに任意の他の頭部の動きを用いて、表示画面３２１の１つまたは複数の領域が高解像度を有することを決定し、表示画面３２１の１つまたは複数の領域が低解像度を有することを決定する。

【0147】

いくつかの実施形態では、表示画面の周辺領域はたとえば曲線、半円形、多角形などの任意の形状であり、表示画面の中央または中間領域はたとえば長方形、円形、多角形、長円、形、曲線などの任意の形状である。

【0148】

図６は、様々な種類のＨＨＣ３５０、３５２、３５４、３５６、３５８及び３６０を例示する図である。ＨＨＣ３５０、３５２、３５４、３５６、３５８及び３６０のそれぞれはＨＨＣ１０６（図１Ａ〜１Ｃ、２）の実施例である。図示されるように、ＨＨＣ３５０はブーメランの形状を有し、ＨＨＣ３５２はマイクロフォンの形状を有し、ＨＨＣ３５４はステアリングホイールの形状を有する。さらにＨＨＣ３５６はユーザ１０８が自身の手に装着する手袋であり、ＨＨＣ３５８はユーザ１０８が自身の上半身に装着するジャケット、ボディスーツの上半身、またはシャツなどであり、ＨＨＣ３６０はユーザ１０８が自身の下半身に装着するズボンである。

【0149】

ＨＨＣ３５０、３５２、３５４、３５６、３５８及び３６０のそれぞれは、たとえばセンサ、圧縮機構、増量機構、減量機構、減圧機構、振動機構、触覚フィードバック機構、加熱機、冷却機、電気刺激機などの、ゲームプログラム１１７（図１Ａ〜１Ｃ、２）の実行によって表示される拡張仮想現実ゲームのプレイ時にユーザ１０８にフィードバックを提供するための１つまたは複数のフィードバック機構を含む。

【0150】

様々な実施形態では、ゲームプログラム１１７の実行によって表示される拡張仮想現実ゲームのプレイ時に、ユーザ１０８はＨＨＣ３５６を自身の手に装着し、仮想犬を撫でる。仮想犬は現実世界の公園の画像に重ねられる。触覚フィードバック機構がユーザ１０８に触覚フィードバックを提供し、ユーザ１０８は現実の犬を撫でているかのように感じることができる。ユーザ１０８が仮想犬を持ち上げると、増量機能によりユーザ１０８は現実の犬を持ち上げているかのように感じることができる。

【0151】

いくつかの実施形態において、ユーザ１０８はＨＭＤ１０４の装着に加えてＨＨＣ３５６を自身の手に装着し、ＨＭＤ１０４は東京、ニューヨークなどの現実世界の場所のシーンを生成する。ユーザ１０８が仮想のカップ入りコーヒーをつかもうと自身の手を伸ばすと、ゲームプログラム１１７が実行されてユーザ１０８の仮想の手をシーン内に表示し、拡張仮想現実シーンが生成される。ユーザ１０８がカップを持ち上げると、増量機構がユーザ１０８の現実の手に重量を掛け、ユーザ１０８は現実世界のカップを持ち上げているかのように感じることができる。シーン内の現実世界のテーブルの画像上にユーザ１０８がカップを置くと、減量機構がユーザ１０８の現実の手に掛かる重量を減少させ、ユーザ１０８は現実世界のカップを置いているかのように感じることができる。

【0152】

いくつかの実施形態では、ユーザ１０８はＨＭＤ１０４に加えてＨＨＣ３５８を装着し、仮想キャラクタとして現実世界の海の画像内での仮想スキューバダイビングに赴く。増量機構がユーザ１０８に掛かる重量を増加させ、ユーザ１０８は現実の海でスキューバダイビングを行っているかのように感じることができる。同様にユーザ１０８が海面に接近するにつれて、減量機構がユーザ１０８に掛かる重量を減少させる。

【0153】

いくつかの実施形態では、ＨＨＣ３５０、３５２、３５４、３５６、３５８及び３６０のそれぞれが、実施例が上記に提示される、ＨＨＣのポジション及び動作を決定するための１つまたは複数の固定参照オブジェクトを含む。

【0154】

様々な実施形態では、ＨＨＣ１０６は長方形、円形、楕円形、多角形、曲線、らせん状などの任意の形状を含む。

【0155】

図７Ａは、ＨＭＤ３７０の実施形態の図である。ＨＭＤ３７０はＨＭＤ２５０（図３）の実施例である。ＨＭＤ３７０は、ユーザ１０８が装着した時にユーザ１０８（図１Ａ〜１Ｃ、２）の後頭部に達するバンド３７２及び３７４を含む。さらにＨＭＤ３７０は、ゲームプログラム１１７（図１Ａ〜１Ｃ）の実行によってプレイされるゲームに関連する音を発する、たとえばスピーカなどのイヤフォン３７６Ａ及び３７６Ｂを含む。ＨＭＤ３７０は、ゲームプログラム１１７の実行によってプレイされ、表示画面２６６（図３）に表示されるゲームをユーザ１０８が視認することを可能にするレンズ３７８Ａ及び３７８Ｂを含む。溝３８０がユーザ１０８の鼻の上に置かれ、鼻の上でＨＭＤ３７０を支持する。

【0156】

いくつかの実施形態では、ユーザ１０８がサングラス、眼鏡または老眼鏡を装着するのと同様の方法で、ユーザ１０８はＨＭＤ３７０を装着する。

【0157】

図７Ｂは、ＨＭＤ２５０（図３）の実施例であるＨＭＤ４００の実施形態の等軸側視図である。いくつかの実施形態では、ＨＭＤ４００はソニー・コンピュータエンターテインメントアメリカの研究開発製品である。ＨＭＤ４００は、ヘッドサポート４０２を含む。ＨＭＤ４００はさらに、たとえばＬＥＤ４０４Ａ及び４０４Ｂ、赤外線発光器４０６Ａ、４０６Ｂ、４０６Ｃ、４０６Ｄ、４０６Ｅ、４０６Ｆ、４０６Ｇ、及び４０６Ｈなどのマーカを含む。赤外線発光器の実施例には、ＬＥＤが含まれる。ＨＭＤ４００は、ＨＭＤ４００の電源を入れ、または電源を切ることができるオンオフスイッチ４０８を含む。

【0158】

マーカはＨＭＤ４００のポジション及び動作を決定するために用いられる。たとえばユーザ１０８（図１Ａ〜１Ｃ、２）の頭部の動きによって、外部ビデオカメラ２７４（図３）によってキャプチャされたＬＥＤ４０４Ａ及び４０４Ｂの画像サイズが変更される。そのサイズに基づいて、コンピュータ１７２（図３）のプロセッサまたはゲームクラウド１０２の１つまたは複数のサーバ（図１Ａ〜１Ｃ、２）が座標系におけるＨＭＤ４００のポジション及び動作を決定する。

【0159】

図８Ａは本開示に記載の実施形態に係る、デュアルショックコントローラ４５０をともなう図７ＢのＨＭＤ４００の使用を例示する図である。ユーザ１０８はデュアルショックコントローラ４５０を操作し、現実世界のシーンに重ねられた仮想車、仮想キャラクタなどの仮想オブジェクトのポジション及び／または位置を変更する。仮想オブジェクトの現実世界のシーン上のオーバーレイは、ＨＭＤ４００内に表示される。

【0160】

図８Ｂは本開示に記載の実施形態に係る、たとえばＨＨＣ３５２などのムーブ（商標）コントローラをともなうＨＭＤ４００（図７Ｂ）の使用を例示する図である。ユーザ１０８はムーブコントローラを操作し、現実世界のシーンに重ねられた剣、ペンなどの仮想オブジェクトのポジション及び／または位置を変更する。仮想オブジェクトの現実世界のシーン上のオーバーレイは、ＨＭＤ４００内に表示される。

【0161】

図９Ａは本開示に記載の実施形態に係る、拡張仮想現実シーンにおいてゲームをプレイするための、デュアルショックコントローラ４５０をともなう図７ＢのＨＭＤ４００の使用を例示する図である。ユーザ１０８はデュアルショックコントローラ４５０及びＨＭＤ４００を操作し、拡張仮想現実シーンにおいてゲームをプレイする。デュアルショックコントローラ４５０及びＨＭＤ４００のポジション及び位置は、ビデオカメラ２０８によりキャプチャされた画像によって決定される。

【0162】

図９Ｂは本開示に記載の実施形態に係る、拡張仮想現実シーン４１０を例示する図である。拡張仮想現実シーン４１０はユーザ１０８が装着するＨＭＤ４００内に表示される。ユーザ１０８がデュアルショックコントローラ４５０（図９Ａ）を操作するために１つまたは複数の手の動きを行うと、ゲームプログラム１１７（図１Ａ〜１Ｃ、２）が実行され、仮想ステアリングホイール４１１が拡張仮想現実シーン４１０上に表示される。また、ゲームプログラム１１７は、たとえば現実世界の道、ユーザ１０８の現実の手などの現実世界のオブジェクトを表示するためにも実行される。ユーザ１０８の現実の手の画像４１２Ａ及び４１２Ｂは、仮想ステアリングホイール４１１上に重ねられる。いくつかの実施形態では、ゲームプログラム１１７が仮想環境上に現実世界環境の画像を重ねるために実行される。

【0163】

様々な実施形態では、画像４１２Ａ及び４１２Ｂの代わりに、手袋をはめた手、色のついた手などの仮想の手が拡張仮想現実シーン４１０上に表示される。いくつかの実施形態では、現実世界の道の画像４１３の代わりに、仮想の道の画像が拡張仮想現実シーン４１０において用いられる。

【0164】

図１０は、ＨＨＣ１０６及びＨＭＤ１０４（図１Ａ〜１Ｃ、２）のインターフェイス接続に適合するコンソール５００の実施形態のブロック図である。コンソール５００はゲームプログラム１１７の一部を実行し、レンダリングするために用いられてもよい。コンソール５００は、ＨＨＣ１０６及びＨＭＤ１０４（図１Ａ〜１Ｃ、２）のゲームプログラム１１７とのインターフェイス接続に適合する。コンソール５００は、コンソール５００に接続可能な様々な周辺機器とともに提供される。コンソール５００は、Ｃｅｌｌプロセッサ５２８、ラムバス（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット５２６、専用ビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット５３２をともなうリアリティシンセサイザーグラフィックスプロセッサユニット５３０及び入力／出力（Ｉ／Ｏ）ブリッジ５３４を有する。コンソール５００はまた、Ｉ／Ｏブリッジ５３４を通じてアクセス可能なディスク５４０ａ及び取り外し可能スロットインハードディスクドライブ（ＨＤＤ）５３６から読み取りを行うためのブルーレイ（登録商標）ディスク読み出し専用メモリ（ＢＤ−ＲＯＭ）光学ディスク５４０を有する。コンソール５００はまた、任意選択でコンパクトフラッシュ（登録商標）メモリーカード、メモリースティック（登録商標）メモリーカードなどの読み込みのための、同様にＩ／Ｏブリッジ５３４を通じてアクセス可能なメモリーカードリーダ５３８を含む。

【0165】

Ｉ／Ｏブリッジ５３４はまた、ユニバーサルシリアルバス（ＵＳＢ）２．０ポート５２４、ギガビットイーサネットポート５２２、ＩＥＥＥ ８０２．１１ｂ／ｇワイヤレスネットワーク（Ｗｉ−Ｆｉ（登録商標））ポート５２０及びＢｌｕｅｔｏｏｔｈ（登録商標）接続を支援することが可能であるＢｌｕｅｔｏｏｔｈ（登録商標）ワイヤレスリンクポート５１８に接続する。

【0166】

Ｉ／Ｏブリッジ５３４は稼働中すべての無線、ユニバーサルシリアルバス（ＵＳＢ）及びイーサネットデータを処理するが、それらデータは１つまたは複数のゲームコントローラ５０２及び５０３からの、またＨＭＤ２５０（図３）の実施例であるＨＭＤ５０５からのデータを含む。たとえば、ユーザ１０８（図１Ａ〜１Ｃ、２）がゲームプログラム１１７の一部（図１Ａ）の実行により生成されたゲームをプレイしている時、Ｉ／Ｏブリッジ５３４が入力データをゲームコントローラ５０２または５０３から、またはＨＭＤ５０５からＢｌｕｅｔｏｏｔｈ（登録商標）リンクを介して受信し、入力データをＣｅｌｌプロセッサ５２８へと導き、Ｃｅｌｌプロセッサ５２８がそれに応じてゲームの現在の状態を更新する。ゲームコントローラ５０２及び５０３のそれぞれは、ＨＨＣ１０６（図１Ａ〜１Ｃ、２）の実施例である。

【0167】

ワイヤレス、ＵＳＢ及びイーサネットポートはまた、ゲームコントローラ５０２及び５０３及びＨＭＤ５０５に加え、たとえばリモートコントロール５０４、キーボード５０６、マウス５０８、ソニープレイステーションポータブル（登録商標）エンターテイメント機器などの携帯型エンターテイメント機器５１０、アイトーイ（登録商標）ビデオカメラ５１２、マイクロフォンヘッドセット５１４及びマイクロフォン５１５などのビデオカメラ他の周辺機器に接続性を提供する。したがってこのような周辺機器は基本的にコンソール５００に無線で接続されてもよく、たとえばマイクロフォンヘッドセット５１４がＢｌｕｅｔｏｏｔｈ（登録商標）リンクを介して通信してもよい一方で、携帯型エンターテイメント機器５１０はＷｉ−Ｆｉ（登録商標）アドホック接続を介して通信を行ってもよい。

【0168】

これらインターフェイスの提供は、コンソール５００がまた、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、携帯型メディアプレーヤ、ボイスオーバーＩＰ電話、携帯電話、プリンタ及びスキャナなどの他の周辺機器と潜在的に適合することを意味する。

【0169】

さらにレガシーメモリーカードリーダ５１６は、ＵＳＢポート５２４を介してコンソール５００に接続されて、コンソール５００によって用いられる種類のメモリーカード５４８の読み取りを可能にしてもよい。

【0170】

ゲームコントローラ５０２ならびに５０３及びＨＭＤ５０５はＢｌｕｅｔｏｏｔｈ（登録商標）リンクを介してコンソール５００との無線での通信を行うよう、またはＵＳＢポートに接続されるように作動可能であり、それによってまた電力が提供され、その電力によりゲームコントローラ５０２ならびに５０３及びＨＭＤ５０５のバッテリが充電される。いくつかの実施形態では、ゲームコントローラ５０２ならびに５０３及びＨＭＤ５０５のそれぞれが、またメモリ、プロセッサ、メモリーカードリーダ、フラッシュメモリなどの永続メモリ、照明付き球状部などの発光体、ＬＥＤ、または赤外線、超音波通信のためのマイクロフォンならびにスピーカ、音響室、デジタルカメラ、内部クロック、ゲームコンソールに面する球状部などの認識できる形状及びたとえばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）などのプロトコルを用いる無線通信を含んでもよい。

【0171】

ゲームコントローラ５０２はユーザ１０８の両手で用いるよう設計されたコントローラであり、ゲームコントローラ５０３はアタッチメントの付いた片手用コントローラである。ＨＭＤ５０５はユーザ１０８の頭頂部及び／または目の前に取り付けられるよう設計されている。１つまたは複数のアナログジョイスティック及び従来のコントロールボタンに加えて、ゲームコントローラ５０２及び５０３のそれぞれは三次元位置決定の影響を受けやすい。同様に、ＨＭＤ５０５は三次元位置決定の影響を受けやすい。結果的に従来のボタンまたはジョイスティックのコマンドに加えてまたはその代わりに、ゲームコントローラ５０２ならびに５０３及びＨＭＤ５０５のユーザ１０８によるジェスチャー及び動きが、ゲームへと入力として変換されてもよい。プレイステーション（商標）ポータブル機器などの、他の無線で使用可能な周辺機器が任意選択でコントローラとして用いられてもよい。プレイステーション（商標）ポータブル機器の場合は、さらなるゲームまたは制御情報（たとえば、制御命令またはライフの数）が、機器の表示画面上に提示されてもよい。ダンスマット（図示せず）、ライトガン（図示せず）、及びステアリングホイールならびにペダル（図示せず）または特注のコントローラ、早押しクイズゲーム（これも図示せず）用の１つまたは複数の大型ボタンなどの他の代替的または補完的制御装置がまた用いられてもよい。

【0172】

リモートコントロール５０４はまた、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンクを介してコンソール５００と無線で通信するように作動可能である。リモートコントロール５０４は、ブルーレイ（商標）ディスクＢＤ−ＲＯＭリーダ５４０の作動に、またディスクの内容のナビゲーションに適したコントロールを備える。

【0173】

ブルーレイ（商標）ディスクＢＤ−ＲＯＭリーダ５４０は、従来の記録済みの、また記録可能なＣＤ及びいわゆるスーパーオーディオＣＤに加えて、コンソール５００に適合するＣＤ−ＲＯＭを読み取るように作動可能である。リーダ５４０はまた、従来の記録済みの、また記録可能なＤＶＤに加えてコンソール５００に適合するデジタルビデオディスク−ＲＯＭ（ＤＶＤ−ＲＯＭ）を読み取るように作動可能である。リーダ５４０はさらに、従来の記録済みの、また記録可能なブルーレイディスクと同様にコンソール５００に適合するＢＤ−ＲＯＭを読み取るように作動可能である。

【0174】

コンソール５００はリアリティシンセサイザーグラフィックスユニット５３０を介して生成されるあるいはデコードされる音声及び映像を、表示画面５４４及び１つまたは複数のラウドスピーカ５４６を有するモニタまたはテレビ受信機などの表示及び音声出力装置５４２へのオーディオコネクタ５５０及びビデオコネクタ５５２を通じて供給するように作動可能である。ビデオコネクタ５５２がコンポーネント映像信号、Ｓ映像、コンポジットビデオ及び１つまたは複数の高精細度マルチメディアインターフェイス（ＨＤＭＩ（登録商標））出力を様々に含んでもよい一方で、オーディオコネクタ５５０は従来のアナログ及びデジタル出力を含んでもよい。結果的に映像出力はＰＡＬまたはＮＴＳＣなどのフォーマット、または５２０ｐ、１０８０ｉもしくは１０８０ｐ高精細度などのフォーマットであってもよい。

【0175】

音声処理（生成、デコードなど）は、Ｃｅｌｌプロセッサ５２８によって行われる。コンソール５００のオペレーティングシステムはドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサラウンド（ＤＴＳ）及びブルーレイ（登録商標）ディスクからの７．１サラウンドサウンドのデコードをサポートする。

【0176】

いくつかの実施形態では、圧縮されたビデオデータが、コンソール５００によるデコードのためのイントラ画像ベースのＭＰＥＧ（モーションピクチャエキスパートグループ）規格などの適切なフォーマットで送信されてもよいように、ビデオカメラ５１２などのビデオカメラが単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ及びハードウェアベースのリアルタイムデータ圧縮ならびに符号化装置を備える。ビデオカメラ５１２のＬＥＤインジケータは、たとえば不利な照明条件を示すためにコンソール５００からの適切な制御データに応じて発光するように構成される。ビデオカメラ５１２の実施形態は、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ（登録商標）通信ポートを介したコンソール５００への接続を様々に行ってもよい。ビデオカメラの実施形態は１つまたは複数の関連マイクロフォンを含んでもよく、また音声データの送信が可能であってもよい。ビデオカメラの実施形態においては、ＣＣＤが高精細度ビデオキャプチャに適した解像度を有してもよい。使用時には、ビデオカメラによりキャプチャされた画像はたとえばゲーム内に組み込まれるか、またはゲーム制御入力として解釈されてもよい。別の実施形態においては、ビデオカメラは赤外線の検知に適した赤外線カメラである。

【0177】

様々な実施形態では、コンソール５００の通信ポートの１つを介したビデオカメラまたはリモートコントロールなどの周辺機器を用いてのデータ通信を成功させるために、デバイスドライバなどの適切なソフトウェアが提供される。

【0178】

いくつかの実施形態では、コンソール装置、ポータブルＨＨＣ及びポータブルＨＭＤを含む上述のシステム装置が、ＨＨＣ及びポータブルＨＭＤをゲームプログラム１１７（図１Ａ〜１Ｃ）の対話型セッションの映像を表示し、キャプチャすることを可能にする。コンソール装置はゲームプログラム１１７の対話型セッションを開始し、対話型セッションがユーザ１０８とゲームプログラム１１７との間のインタラクティブ性を定義する。システム装置は、ユーザ１０８が操作するＨＨＣ及び／またはＨＭＤの初期ポジション及び方向を決定する。コンソール装置は、ユーザ１０８とゲームプログラム１１７との間のインタラクティブ性に基づいてゲームプログラム１１７の現在の状態を決定する。システム装置はユーザ１０８のゲームプログラム１１７との対話型セッションの間に、追跡されたＨＨＣ及び／またはＨＭＤのポジション及び方向を追跡する。システム装置は、ゲームプログラム１１７の現在の状態及び追跡されたＨＨＣならびに／またはＨＭＤのポジション及び方向に基づいて、対話型セッションのギャラリービデオストリームを生成する。いくつかの実施形態では、ＨＨＣがＨＨＣの表示画面上のギャラリービデオストリームのレンダリングを行う。様々な実施形態では、ＨＭＤがＨＭＤの表示画面上のギャラリービデオストリームのレンダリングを行う。

【0179】

図１１は、本開示に記載の様々な実施形態に応じたゲームシステム６００のブロック図である。いくつかの実施形態では、ゲームシステム６００は、ハイパーバイザによってリソースとＶＭとの間で関係を確立した後で、サーバ、記憶装置などの１つまたは複数のリソースを用いてたとえばオペレーティングシステム、ソフトウェアアプリケーションなどのＶＭを実行するクラウドゲームシステムである。ゲームシステム６００は、１つまたは複数のクライアント６１０にネットワーク１１０（図１Ａ〜１Ｃ、２）の実施例であるネットワーク６１５を介してビデオストリームを提供するために用いられる。ゲームシステム６００は、ビデオサーバーシステム６２０及び任意のゲームサーバ６２５を含む。ビデオサーバーシステム６２０は、１つまたは複数のクライアント６１０にサービス品質でビデオストリームを提供するために用いられる。たとえば、ビデオサーバーシステム６２０は、たとえばゲームプログラム１１６（図１Ａ〜１Ｃ）などの実行によりプレイされるゲームなどのビデオゲームの状態またはそういったビデオゲーム内の視点を変更するゲームコマンドを受信してもよく、またこの状態の変化を反映する更新されたビデオストリームを、最短のラグタイムでクライアント６１０に提供してもよい。ビデオサーバーシステム６２０は、未定義のフォーマットを含む多種多様な代替的映像フォーマットでビデオストリームを提供するために用いられてもよい。さらにビデオストリームはユーザ１０８（図１Ａ〜１Ｃ、２）に対して多種多様なフレームレートで提示するために用いられるビデオフレームを含んでもよい。典型的なフレームレートは、毎秒３０フレーム、毎秒６０フレーム及び毎秒６２０フレームである。しかし本開示に記載の様々な実施形態には、より高いまたは低いフレームレートが含まれる。

【0180】

本明細書にてそれぞれ６１０Ａ、６１０Ｂなどと称されるクライアント６１０は、ＨＭＤ１０４（図１Ａ〜１Ｃ、２）、ＨＨＣ１０４（図１Ａ〜１Ｃ、２）、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線機器、デジタルパッド、独立型装置及び／またはそれに類するものを含んでもよい。クライアント６１０は符号化されたビデオストリームを受信し、ビデオストリームをデコードし、また得られた映像をたとえばゲームのプレーヤなどのユーザ１０８に提示するために用いられる。符号化されたビデオストリームの受信及び／またはビデオストリームのデコードの処理には、個別のビデオフレームのクライアントの受信バッファ内への格納が含まれる。ビデオストリームはクライアント６１０と一体となったディスプレイ上、またはモニタまたはテレビなどの別個の装置上でユーザ１０８に提示されてもよい。

【0181】

クライアント６１０は２人以上のゲームプレーヤをサポートするために任意選択で用いられる。たとえば、ゲームコンソールは２人、３人、４人またはそれ以上の同時プレーヤをサポートするために用いられてもよい。これらプレーヤのそれぞれが別個のビデオストリームを受信してもよいか、または単一のビデオストリームにたとえば各プレーヤの視点に基づいてそれぞれのプレーヤ向けに生成されたフレームの領域が含まれてもよい。

【0182】

クライアント６１０は、任意選択で地理的に分散される。ゲームシステム６００に含まれるクライアント数は１つまたは２つから数千、数万またはそれ以上まで大幅に異なってもよい。本明細書内では、「ゲームプレーヤ」の用語はゲームをプレイする人物を指すために用いられ、「ゲームプレイ機器」の用語はたとえばゲームプログラム１１６（図１Ａ〜１Ｃ）などの実行によってプレイされるゲームなどを行うために用いられる機器を指すために用いられる。いくつかの実施形態では、ゲームプレイ機器はゲーム体験をユーザ１０８に提供するために連携する複数のコンピュータ装置を指してもよい。たとえばゲームコンソール及びＨＭＤ１０４（図１Ａ〜１Ｃ、２）は、ＨＭＤ１０４を通じて視認されるゲームを提供するためにビデオサーバーシステム６２０と連携してもよい。ある実施形態においては、ゲームコンソールがビデオサーバーシステム６２０からビデオストリームを受信し、ゲームコンソールはレンダリングのためにＨＭＤ１０４へとビデオストリームを転送するか、またはビデオストリームを更新する。

【0183】

クライアント６１０はネットワーク６１５を介してビデオストリームを受信するために用いられる。ネットワーク６１５は、電話ネットワーク、インターネット、ワイヤレスネットワーク、電力線ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワーク及び／またはそれに類するものを含む任意の種類の通信ネットワークであってもよい。いくつかの実施形態では、ビデオストリームがＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準プロトコルを介して通信される。いくつかの実施形態においては、ビデオストリームが専有標準を介して通信される。

【0184】

クライアント６１０の１つの典型的な実施例は、プロセッサ、不揮発性メモリ、ディスプレイ、デコード論理、ネットワーク通信能力及び１つまたは複数の入力機器を含むパーソナルコンピュータである。デコード論理にはハードウェア、ファームウェア及び／または非一時的なコンピュータ可読媒体上に格納されるソフトウェアが含まれてもよい。

【0185】

クライアント６１０は受信された映像の修正のために用いられるシステムをさらに含んでもよいが、それは必須ではない。たとえばクライアントはさらなるレンダリングを行うために、あるビデオ画像を別のビデオ画像に重ね、ビデオ画像をクロップし、かつ／またはそれに類することを行うよう用いられてもよい。別の実施例として、クライアントは現実世界環境の画像上に仮想世界環境を重ね、表示画面上に拡張仮想現実シーンを作成する。別の実施例として、クライアント６１０はユーザ１０８のために、フレーム内符号化画像（Ｉフレーム）、予測フレーム（Ｐフレーム）及び双方向予測画像フレーム（Ｂフレーム）などの様々な種類のビデオフレームを受信するよう、またこれらフレームをたとえばゲームプログラム１１６（図１Ａ〜１Ｃ）の実行によりプレイされるゲームなどで表示するための画像への処理を行うように用いられてもよい。いくつかの実施形態では、クライアント６１０の構成要素はさらなるレンダリング、シェーディング、３−Ｄへの変換、または同様の操作をビデオストリーム上で行うために用いられてもよい。クライアント６１０の構成要素は任意選択で用いられて、２つ以上のオーディオまたはビデオストリームを受信する。

【0186】

クライアント６１０の入力機器には、たとえば片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャー認識システム、注視認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力覚呈示装置、動作及び／または位置検出器、マウス、タッチスクリーン、ニュートラルインターフェイス、カメラ、未開発の入力機器及び／またはそれに類するものが含まれてもよい。

【0187】

クライアント６１０より受信されたビデオストリーム及び任意選択によってオーディオストリームは、ビデオサーバーシステム６２０によって生成され、提供される。このビデオストリームにはビデオフレームが含まれ、オーディオストリームにはオーディオフレームが含まれる。適切なデータ構造における画素情報を含むビデオフレームは、ユーザ１０８に表示される画像に有意義な寄与を行う。本明細書内では、「ビデオフレーム」の用語は、ゲームプログラム１１６（図１Ａ〜１Ｃ）などの実行によってユーザ１０８がプレイするゲームなどに影響を与えるなどして寄与する情報を主に含むフレームを指すために用いられる。本明細書内の「ビデオフレーム」に関する教示のほとんどについては、「オーディオフレーム」にも適用可能である。

【0188】

様々な実施形態では、クライアント６１０はユーザ１０８からの入力を受信するために用いられる。これら入力には、ゲームプログラム１１６（図１Ａ〜１Ｃ）などの実行によってプレイされるゲームについては、ビデオゲームの状態を変更するため、またそれ以外の場合にはゲームプレイに影響を与えるために用いられるゲームコマンドが含まれてもよい。ゲームコマンドはたとえばユーザ入力回路２６２（図４）などの入力機器を用いて受信されてもよく、かつ／またはクライアント６１０上での演算命令の実行によって自動的に生成されてもよい。受信されたゲームコマンドは、クライアント６１０からネットワーク６１５を介してビデオサーバーシステム６２０及び／またはゲームサーバ６２５へと通信される。たとえばゲームコマンドはビデオサーバーシステム６２０を介してゲームサーバ６２５へと通信される。

【0189】

いくつかの実施形態では、ゲームコマンドの別個のコピーがクライアント６１０からゲームサーバ６２５及びビデオサーバーシステム６２０へと通信される。

【0190】

ゲームコマンドの通信は、任意選択でコマンドの識別に依存する。ゲームコマンドはクライアント６１０Ａにオーディオまたはビデオストリームを提供するために用いられる異なるルートまたは通信チャネルを通じて、任意選択でクライアント６１０Ａから通信される。

【0191】

ゲームサーバ６２５は任意選択で、ビデオサーバーシステム６２０とは異なる会社によって操作される。たとえば、ゲームサーバ６２５はゲームの発行元によって操作されてもよい。この実施例においては、ビデオサーバーシステム６２０は任意選択でゲームサーバ６２５によってクライアントとして認識され、任意選択でゲームサーバ６２５の視点からはゲームエンジンを実行するクライアントとして見なされるように用いられる。ビデオサーバーシステム６２０とゲームサーバ６２５との通信は、ネットワーク６１５を介して任意選択で発生する。このように、ゲームサーバ６２５はゲーム状態の情報をその１つがゲームサーバーシステム６２０である複数のクライアントへと送信するマルチプレーヤーゲームサーバであってもよい。

【0192】

ビデオサーバーシステム６２０はゲームサーバ６２５の複数のインスタンスとの通信を同時に行うために用いられてもよい。たとえばビデオサーバーシステム６２０は複数の異なるビデオゲームを異なるユーザに提供するために用いられてもよい。これら異なるビデオゲームのそれぞれは異なるゲームサーバ６２５によりサポートされ、かつ／または異なる会社により発行されてもよい。

【0193】

いくつかの実施形態では、いくつかの地理的に分布したビデオサーバーシステム６２０のインスタンスは複数の異なるユーザにゲームの映像を提供するために用いられる。ビデオサーバーシステム６２０のこれらインスタンスのそれぞれが、ゲームサーバ６２５の同じインスタンスとの通信を行ってもよい。

【0194】

ビデオサーバーシステム６２０と１つまたは複数のゲームサーバ６２５との間の通信が、専用通信チャネルを介して任意選択で発生する。たとえばビデオサーバーシステム６２０は、これらシステム間の通信専用の高帯域チャネル幅を介してゲームサーバ６２５に接続されてもよい。

【0195】

ビデオサーバーシステム６２０は、少なくとも映像ソース６３０、入出力装置６４５、プロセッサ６５０及びストレージ６５５を含む。ビデオサーバーシステム６２０は１つのコンピュータ装置を含むか、または複数のコンピュータ装置間に分布してもよい。これらコンピュータ装置はローカルエリアネットワークなどの通信システムを介して任意選択で接続される。

【0196】

映像ソース６３０は、動画を形成するたとえばストリーミング映像または一連のビデオフレームなどのビデオストリーム提供するために用いられる。いくつかの実施形態では、映像ソース６３０がビデオゲームエンジン及びレンダリング論理を含む。

【0197】

ビデオゲームエンジンはプレーヤからゲームコマンドを受信するため、また受信されたコマンドに基づいて、たとえばゲームプログラム１１６（図１Ａ〜１Ｃ）などの実行によってプレイされるゲームなどのビデオゲームの状態のコピーを維持するために用いられる。このゲーム状態には、ゲーム環境におけるオブジェクトのポジションが視点と同様に含まれる。ゲーム状態にはまた、オブジェクトのプロパティ、画像、色及び／またはテクスチャを含んでもよい。ゲーム状態は、動き、回転、攻撃、フォーカスの設定、相互作用、利用及び／またはそれに類するゲームコマンドと同様に、ゲームルールに基づいて維持される。ゲームエンジンの一部は任意選択によりゲームサーバ６２５内に配置される。ゲームサーバ６２５は複数のプレーヤから受信されたゲームコマンドに基づき、クライアントの地理的分散を利用してゲームの状態のコピーを維持してもよい。これらの場合には、ゲーム状態がゲームサーバ６２５によって、ゲーム状態のコピーが格納され、レンダリングが行われる映像ソース６３０へと提供される。ゲームサーバ６２５はネットワーク６１５を介してゲームコマンドをクライアント６１０から直接受信してもよく、かつ／またはビデオサーバーシステム６２０を介してゲームコマンドを受信してもよい。

【0198】

映像ソース６３０は、たとえばハードウェア、ファームウェア及び／またはストレージ６５５などの非一時的なコンピュータ可読媒体上に格納されたソフトウェアなどのレンダリング論理を含む。このレンダリング論理は、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するために用いられる。レンダリング論理の全部または一部は任意選択でＧＰＵ内に配置される。レンダリング論理にはオブジェクトの三次元空間的関係の決定のための、かつ／または適切なテクスチャなどの適用のための、ゲーム状態及び視点に基づいたステージの処理が含まれる。レンダリング論理は、その後通常はクライアント６１０との通信の前に符号化される生ビデオを生成する。たとえば生ビデオは、アドビフラッシュ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、リアルビデオ、ｍｐ３またはそれに類するものにしたがって符号化されてもよい。符号化処理によってビデオストリームが生成され、ビデオストリームはリモートデバイス上のデコーダへの送達のために任意選択でパッケージ化される。

【0199】

ビデオストリームは、フレームサイズ及びフレームレートによって特徴づけられる。典型的なフレームサイズには、８００ｘ６００、１２８０ｘ７２０（たとえば７２０ｐ）、１０２４ｘ７６８が含まれるが、他の任意のフレームサイズが用いられてもよい。フレームレートは、毎秒のビデオフレーム数である。ビデオストリームには、異なる種類のビデオフレームが含まれてもよい。たとえばＨ．２６４規格には、「Ｐ」フレーム及び「Ｉ」フレームが含まれる。Ｉフレームは表示装置上のすべてのマクロブロック／ピクセルをリフレッシュするための情報を含み、Ｐフレームがそのサブセットをリフレッシュするための情報を含む。ＰフレームのデータサイズはＩフレームよりも小さい。本明細書内では、「フレームサイズ」の用語はフレーム内の画素数への言及を意味する。「フレームデータサイズ」の用語は、フレームを格納するために必要なバイト数を指すために用いられる。

【0200】

いくつかの実施形態では、映像ソース６３０にはカメラなどの録画装置が含まれる。このカメラは、コンピュータゲームのビデオストリームに含まれてもよい生成遅延またはライブ映像を生成するために用いられてもよい。得られたビデオストリームには、スチールまたはビデオカメラを用いてレンダリングされた画像及び録画された画像がいずれも、任意選択で含まれる。映像ソース６３０は、ビデオストリームに含まれるようあらかじめ録画された映像を格納するために用いられる記憶装置を含んでもよい。映像ソース６３０はまた、ＨＭＤ１０４、ＨＨＣ１０６、またはユーザ１０８（図１Ａ〜１Ｃ、２）の動作またはポジションを検知するために用いられる動作または位置検出器及び、検知された動作ならびに／またはポジションに基づいてゲーム状態を決定するため、または映像を生成するために用いられるロジックを含んでもよい。

【0201】

映像ソース６３０は、他の映像上に重ねるオーバーレイを提供するために任意選択で用いられる。たとえばこれらのオーバーレイには、コマンドインターフェイス、ログイン命令、ゲームプレーヤへのメッセージ、他のゲームプレーヤの画像、他のゲームプレーヤの配信動画（たとえばウェブカメラ映像）が含まれてもよい。タッチスクリーンインターフェイスまたは注視検出インターフェイスを含むクライアント６１０Ａのいくつかの実施形態では、オーバーレイが仮想キーボード、ジョイスティック、タッチパッド及び／またはそれに類するものを含んでもよい。オーバーレイのある実施例においては、プレーヤの声がオーディオストリームに重ねられる。映像ソース６３０はさらに、任意選択で１つまたは複数の音源を含む。

【0202】

２人以上のプレーヤからの入力に基づいてビデオサーバーシステム６２０がゲーム状態を維持するために用いられる実施形態においては、各プレーヤが視線の及び方向を含む異なる視点を有してもよい。映像ソース６３０は任意選択で用いられ、プレーヤごとに自身の視点に基づいた別個のビデオストリームを提供する。さらに映像ソース６３０は異なるフレームサイズ、フレームデータサイズ及び／または符号化をクライアント６１０のそれぞれに提供するために用いられてもよい。映像ソース６３０は任意選択で ３−Ｄ映像を提供するために用いられる。

【0203】

ビデオサーバーシステム６２０が映像、コマンド、情報要求、ゲーム状態、注視情報、機器の動作、機器の位置、ユーザの動作、クライアントアイデンティティ、プレーヤーアイデンティティ、ゲームコマンド、セキュリティ情報、音声及び／またはそれに類するを情報送信及び／または受信するために、入出力装置６４５が用いられる。入出力装置６４５には、ネットワークインターフェイスカードまたはモデムなどの通信ハードウェアが含まれる。入出力装置６４５はゲームサーバ６２５、ネットワーク６１５及び／またはクライアント６１０と通信するために用いられる。

【0204】

プロセッサ６５０はたとえば本明細書にて論じるビデオサーバーシステム６２０の様々な構成要素内に含まれるソフトウェアなどの論理を実行するために用いられる。たとえばプロセッサ６５０は、映像ソース６３０、ゲームサーバ６２５及び／またはクライアント側修飾子６６０を機能させるためのソフトウェア命令でプログラムされてもよい。ビデオサーバーシステム６２０は、任意選択で２つ以上のプロセッサ６５０のインスタンスを含む。プロセッサ６５０はまた、ビデオサーバーシステム６２０によって受信されたコマンドを実行するための、または本明細書にて論じるゲームシステム６００の様々な要素の操作を調整するためのソフトウェア命令でプログラムされてもよい。プロセッサ６５０には１つまたは複数のハードウェア装置が含まれてもよい。プロセッサ６５０は電子プロセッサである。

【0205】

ストレージ６５５には、非一時的なアナログ及び／またはデジタル記憶装置が含まれる。たとえばストレージ６５５は、ビデオフレームを格納するために用いられるアナログ記憶装置を含んでもよい。ストレージ６５５は、ハードドライブ、光学ドライブ、または固体記憶装置などの非一時的なコンピュータ可読デジタルストレージを含んでもよい。ストレージ６１５は（たとえば適切なデータ構造またはファイルシステムによって）、ビデオフレーム、擬似的フレーム、ビデオフレーム及び擬似的フレームの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム及び／またはそれに類するものを格納するために用いられる。ストレージ６５５は複数の機器の間に任意選択で分布する。いくつかの実施形態では、ストレージ６５５が本明細書の他の場で論じられる映像ソース６３０のソフトウェア構成要素を格納するために用いられる。これら構成要素は、必要な場合に用意できるフォーマットで格納されてもよい。

【0206】

ビデオサーバーシステム６２０は、クライアント側修飾子６６０を任意選択でさらに含む。クライアント側修飾子６６０は、クライアント６１０Ａまたは６１０Ｂなどのクライアントの能力を遠隔決定するために用いられる。これら能力は、クライアント６１０Ａとビデオサーバーシステム６２０との間の１つまたは複数の通信チャネルの能力とクライアント６１０Ａ自体の能力の両方を含むことができる。たとえばクライアント側修飾子６６０は、ネットワーク６１５を通して通信チャネルをテストするために用いられてもよい。

【0207】

クライアント側修飾子６６０は、クライアント６１０Ａの能力を手動または自動で（たとえば発見するなどして）決定することができる。手動決定には、クライアント６１０Ａのユーザ１０８との通信及びユーザ１０８への能力の提供の依頼が含まれる。たとえばいくつかの実施形態では、画像、テキスト及び／またはそれに類するものをクライアント６１０Ａのウェブブラウザ内で表示するためにクライアント側修飾子６６０が用いられる。ある実施形態においては、クライアント６１０ＡがたとえばＨＭＤ１０４などの、ウェブブラウザを含むＨＭＤである。別の実施形態においては、クライアント６１０Ａは、ＨＭＤ上に表示されてもよいウェブブラウザを有するゲームコンソールである。表示されたオブジェクトは、ユーザ１０８にクライアント６１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、ネットワーク接続の種類、ディスプレイ解像度などの情報を入力するよう要求する。ユーザ１０８により入力された情報はクライアント側修飾子６６０へと通信される。

【0208】

たとえばクライアント６１０Ａ上のエージェントの実行によって、かつ／またはテスト映像のクライアント６１０Ａへの送信により、自動決定が行われてもよい。エージェントにはジャバスクリプトなどの、ウェブページ上に埋め込まれた、またはアドオンとしてインストールされた演算命令が含まれてもよい。エージェントは任意選択でクライアント側修飾子６６０によって提供される。様々な実施形態では、クライアント６１０Ａの処理能力、クライアント６１０Ａのデコード及び表示能力、クライアント６１０Ａとビデオサーバーシステム６２０との間のラグタイムの信頼性及び通信チャネルの帯域幅、クライアント６１０Ａの表示方式、クライアント６１０Ａ上に存在するファイアウォール、クライアント６１０Ａのハードウェア、クライアント６１０Ａ上で実行するソフトウェア、クライアント６１０Ａ内のレジストリエントリ及び／またはそれに類するものをエージェントが発見することができる。

【0209】

クライアント側修飾子６６０には、ハードウェア、ファームウェア及び／または非一時的なコンピュータ可読媒体上に格納されるソフトウェアが含まれる。クライアント側修飾子６６０は任意選択で、ビデオサーバーシステム６２０の１つまたは複数の他の要素とは別個のコンピュータ装置上に配置される。たとえばいくつかの実施形態では、クライアント６１０とビデオサーバーシステム６２０の２つ以上のインスタンスとの間の通信チャネルの特徴を決定するために、クライアント側修飾子６６０が用いられる。これらの実施形態においては、ビデオサーバーシステム６２０のどのインスタンスがクライアント６１０の１つのストリーミング映像の送達に最も適しているかを決定するために、クライアント側修飾子により発見された情報が用いられてもよい。

【0210】

いくつかの実施形態では、メディアデータが現実世界環境のデータ、仮想世界環境のデータ、またはそれらの組み合わせを含む。現実世界環境のデータには、たとえば現実の車両、現実の人々、現実の地理的位置、現実の建築物、現実の家屋、現実の樹木、現実の物体、現実の生物、現実の無生物などの、１つまたは複数の世界環境の画像から生成されるデータが含まれる。現実世界環境のデータはたとえばビデオカメラ、オーディオカメラなどのカメラが現実世界環境の画像をキャプチャすることで生成される。仮想世界環境のデータは、たとえばゲームプログラム１１７などを実行するプロセッサなどのコンピュータによって生成される。

【0211】

いくつかの実施形態では、たとえばユーザ１０８、別のユーザなどの１人または複数のユーザが、拡張仮想現実世界と相互作用してもよい。本明細書において、拡張仮想現実世界の用語には、現実世界環境及びたとえばコンピュータにより生成されるなどした架空の環境が含まれる。現実のユーザが１つまたは複数の表示画面を介して知覚してもよい、かつ／または１つまたは複数のユーザインターフェイス装置を介して相互作用してもよい１つまたは複数のプロセッサによってシミュレーションされる相互作用の規則を、架空の環境は有する。本明細書において、ユーザインターフェイス装置の用語は、ユーザ１０８が仮想世界へと入力を送信し、または拡張仮想現実世界からの出力を受信してもよい、たとえばＨＭＤ１０４、ＨＨＣ１０６（図１Ａ〜１Ｃ、２）などの現実の装置を指す。拡張仮想現実世界は、たとえばゲームクラウド１０２の１つまたは複数のサーバ（図１Ａ〜１Ｃ、２）、マイクロコントローラ２６８（図３）、プロセッサ１７６（図１Ｃ）などの１つまたは複数のプロセッサモジュールによって、シミュレーションされてもよい。１つまたは複数のプロセッサモジュールは、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介して結びつけられてもよい。ユーザ１０８は、ネットワーク１１０を介してプロセッサモジュール及び他のユーザインターフェイス装置と通信を行うことができるユーザインターフェイス装置を介して拡張仮想現実世界と相互作用してもよい。拡張仮想現実世界のある態様が、たとえばコンピューターモニタ、テレビモニタ、表示画面２６６、ＨＨＣ１０６の表示画面または同様のディスプレイなどの図形表示画面上にグラフィックス形式で、ユーザ１０８に対して提示されてもよい。拡張仮想現実世界のある他の態様が、図形表示に関連してもよい、たとえばスピーカ２６０（図３）、コンピュータ１７２（図１Ｃ）のスピーカ、ＨＨＣ１０６（図１Ａ〜１Ｃ）などのスピーカ上で可聴的な形式でユーザに対して提示されてもよい。

【0212】

拡張仮想現実世界内では、ユーザはアバターによって表現されてもよい。拡張仮想現実世界内の各アバターは異なるユーザに一意に関連してもよい。ユーザ１０８が別のユーザから容易に識別されるように、ユーザ１０８の氏名または仮名がアバターの隣に表示されてもよい。ユーザ１０８の拡張仮想現実世界との相互作用は、アバターに対応する１つまたは複数の動きによって表現されてもよい。たとえばユーザ１０８が頭部の動きを行うと、アバターが同様の頭部の動きを行う。別の実施例として、ユーザ１０８が手の動きを行うと、アバターが同様の手の動きを拡張仮想現実世界で行う。異なるユーザがたとえば拡張仮想現実地域などの拡張仮想現実パブリックスペースにおいて、自身のアバターを介して互いに相互作用してもよい。ユーザ１０８を表現するアバターは人物、動物または物体に似た外見を有する。人物の形式のアバターは、ユーザ１０８と同性または異性であってもよい。ユーザ１０８が拡張仮想現実世界の他のオブジェクトとともにアバターを視認できるように、たとえば表示画面２６６（図３）、表示画面５４４（図１０）、ＨＨＣ１０６（図１Ａ〜１Ｃ）の表示画面、コンピュータ１７２（図１Ｃ）の表示画面などの表示画面上にアバターが表示されてもよい。

【0213】

様々な実施形態では、たとえば表示画面２６６（図３）、表示画面５４４（図１０）、ＨＨＣ１０６（図１Ａ〜１Ｃ）の表示画面、コンピュータ１７２（図１Ｃ）の表示画面などの表示画面上に、アバターを表示することなく、アバターの視点からの拡張仮想現実世界が表示されてもよい。拡張仮想現実世界上のアバターの視界は、仮想カメラの視点として見なされてもよい。本明細書内では、仮想カメラとは拡張仮想現実世界内の視点を示し、仮想世界内の三次元のシーンの二次元画像をレンダリングするために用いられてもよい。ユーザは自身のアバターを通じて、各ロビーに関連するチャットチャネルによって拡張仮想現実世界において互いに相互作用してもよい。ユーザは自身のユーザインターフェイスを介して他のユーザとチャットするために、テキスト入力を行ってもよい。テキストはその後、ユーザのアバターの上または隣に、たとえばチャットバブルと称される場合もある、漫画の会話の吹き出しの形式で表示されてもよい。クイックチャットと称される場合もある定型チャットシステムの利用によって、このようなチャットが円滑化されてもよい。クイックチャットでは、ユーザ１０８がメニューから１つまたは複数のチャットフレーズを選択してもよい。

【0214】

いくつかの実施形態では、パブリックスペースがいかなる特定のユーザまたはユーザのグループにも一意に関連せず、どのユーザまたはユーザのグループもパブリックスペースから別のユーザを除外することができないという意味で、パブリックスペースはパブリックである。対照的に、プライベートスペースは、複数のユーザ間からの特定のユーザに関連する。プライベートスペースに関連する特定のユーザが他のユーザによるプライベートスペースへのアクセスを制限してもよいという意味で、プライベートスペースはプライベートである。プライベートスペースはありふれた私有不動産の外観の様相を呈してもよい。他の実施形態においてユーザは、たとえば表示画面２６６（図３）、表示画面５４４（図１０）、ＨＨＣ１０６（図１Ａ〜１Ｃ）の表示画面、コンピュータ１７２（図１Ｃ）の表示画面などの表示画面に表示されたアバターを制御する必要はない。仮想空間上に表示されるアバターは、たとえばプロセッサなどの機械によって制御されるボットであってもよい。したがってアバターボットは、ユーザ１０８によって制御されるアバターが行うのと同様の方法で拡張仮想現実世界を動き回ることができるが、どの現実世界のユーザも実際にアバターボットを制御しない。アバターボットは様々な方法で空間内を歩き回り、行動を起こし、メッセージを投稿し、あるメッセージに特権を割り当て、他のアバターボットまたは現実世界のユーザが制御するアバターと相互作用することができる。また、定義された方法で相互作用し、環境を修正し、広告を投稿し、メッセージを投稿し、仮想空間、仮想建造物を建築し、または仮想オブジェクト、オブジェクトの地理的表現を構築し、現実のまたは仮想通貨を両替することができるように、ボットを設定することができる。

【0215】

いくつかの実施形態では、オーバーレイまたはスーパーインポーズは透明、半透明または不透明である。たとえば現実世界のオブジェクトに重ねられる仮想オブジェクトは透明、半透明または不透明である。別の実施例として、現実世界環境に重ねられる仮想環境は透明、半透明または不透明である。

【0216】

本開示に記載の実施形態は、手持型装置、マイクロプロセッサシステム、マイクロプロセッサに基づくまたはプログラム可能な家庭用電気機械器具、小型コンピュータ、メインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施されてもよい。本開示に記載のいくつかの実施形態はまた、有線ベースの、またはワイヤレスネットワークを通じて結びつけられる遠隔処理装置によってタスクが行われるような分布したコンピューティング環境において実施することができる。

【0217】

上記の実施形態を念頭に置き、本開示に記載のいくつかの実施形態ではコンピュータシステムに格納されたデータをともなう様々なコンピュータ実装の操作を利用することができることを理解すべきである。これら操作は、物理量の物理的操作を必要とする。本開示に記載の様々な実施形態の一部である本明細書に記載の任意の操作は有用な機械操作である。本開示に記載のいくつかの実施形態はまた、これら操作を行うための機器または装置に関連する。装置は特に必要な目的のために構築することができ、または装置はコンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化されるまたは構成されるコンピュータとすることができる。特に、様々な機械は本明細書の教示にしたがって書かれたコンピュータプログラムとともに使用することができ、または、必要な操作を行うためにより特化した装置を構築するほうがより利便性が高い場合もある。

【0218】

本開示に記載の様々な実施形態はまた、非一時的なコンピュータ可読媒体上のコンピュータ可読コードとして実現することができる。非一時的なコンピュータ可読媒体は、たとえばＲＡＭ、ＲＯＭ、フラッシュメモリ、ディスクなどの、データを格納することができ、コンピュータシステムがその後読み取ることができる任意のデータ記憶装置である。コンピュータ可読媒体の実施例にはハードドライブ、ネットワーク接続記憶装置（ＮＡＳ）、ＲＯＭ、ＲＡＭ、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、書き込み可能ＣＤ（ＣＤ-Ｒ）、ＣＤ−リライタブル（ＲＷ）、磁気テープ及び他の光学ならびに非光学データ記憶装置が含まれる。非一時的なコンピュータ可読媒体は、コンピュータ可読コードが分布して格納され実行されるように、ネットワーク接続されたコンピュータシステム上に分布したコンピュータ可読有形的媒体を含んでもよい。

【0219】

方法の操作が特定の順序で記載されるが、オーバーレイ操作の処理が所望の方法で行われる限りにおいては、操作間に他のハウスキーピング操作が行われてもよく、または操作がわずかに異なる時間に発生するように調整されるか、もしくは処理に関連する様々な時間間隔での処理操作の発生を可能にするシステム上に分布されてもよく、または操作が異なる順序で行われてもよいことを理解すべきである。

【0220】

前述の実施形態は理解を明確にする目的のためにある程度詳細に説明してきたが、特定の変更及び改変を、添付の特許請求の範囲内で実施できることが明らかであろう。したがって、本実施形態は例示的であって制限的なものではないと考えられるべきであり、本開示に記載の様々な実施形態は本明細書内の所与の詳細に限定されるものではなく、添付の特許請求の範囲及び均等物内で改変することができる。

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】

【図11】