特許 7516615 ＨＭＤに対するコントローラの動きを判定するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-05

(45)【発行日】2024-07-16

(54)【発明の名称】ＨＭＤに対するコントローラの動きを判定するためのシステム及び方法

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20240708BHJP

   G06F 3/01 20060101ALI20240708BHJP

   A63F 13/213 20140101ALI20240708BHJP

   G02B 27/02 20060101ALI20240708BHJP

   H04N 5/64 20060101ALI20240708BHJP

【ＦＩ】

G06F3/0346 422

G06F3/01 510

A63F13/213

G02B27/02 Z

H04N5/64 511A

【請求項の数】 27

(21)【出願番号】P 2023083718

(22)【出願日】2023-05-22

(62)【分割の表示】P 2021530898の分割

【原出願日】2019-11-21

(65)【公開番号】P2023116480

(43)【公開日】2023-08-22

【審査請求日】2023-06-21

(31)【優先権主張番号】16/207,029

(32)【優先日】2018-11-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】スタフォード、ジェフリー、ロジャー

(72)【発明者】

【氏名】トクボ、トッド

【審査官】相川 俊

(56)【参考文献】

【文献】国際公開第２０１６／０９５０５７（ＷＯ，Ａ１）

【文献】特表２０１６－５３２１７８（ＪＰ，Ａ）

【文献】国際公開第２０１５／１３７１６５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／０１７３４５３（ＵＳ，Ａ１）

【文献】"徹底解説！PlayStationVR"，PlayStation.Blog［online］，2016年10月04日，［2024年6月14日検索］, <https://blog.ja.playstation.com/2016/10/04/20161004-psvr-2/>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０１

Ａ６３Ｆ １３／２１３

Ｇ０２Ｂ ２７／０２

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイ（ＨＭＤ）に対して相対的にコントローラをトラッキングするためのシステムであって、
前記コントローラと、
前記ＨＭＤとを含み、
前記コントローラは、ライトバー及び光源を含み、前記ライトバーは複数のエッジポイントを有し、
前記ＨＭＤは、第１のカメラを備えた下部領域を有し、前記第１のカメラは、前記コントローラが前記ＨＭＤの前部領域より下のレベルにあるとき、前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の第１の複数の画像をキャプチャするように構成されており、
前記ＨＭＤは、第２のカメラを備えた上部領域を有し、前記第２のカメラは、前記コントローラが前記ＨＭＤの前記前部領域より上のレベルにあるとき、前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の第２の複数の画像をキャプチャするように構成されており、
前記ライトバーの前記複数のエッジポイント及び前記光源は、前記ＨＭＤに対する前記コントローラの向きを定める、システム。

【請求項2】

前記ＨＭＤは、前記ＨＭＤを取り巻く実世界環境の複数の画像、前記第１の複数の画像及び前記第２の複数の画像を受信するように構成されており、前記実世界環境の複数の画像、前記第１の複数の画像、前記第２の複数の画像はそれぞれ、前記実世界環境内の前記ＨＭＤの位置及び動き、前記ＨＭＤに対して相対的な前記コントローラの第１の位置及び向き、前記ＨＭＤに対して相対的な前記コントローラの第２の位置及び向きの判定を容易にするために送信される、請求項１に記載のシステム。

【請求項3】

前記実世界環境内の前記ＨＭＤの位置及び動き、前記コントローラの第１の位置及び向き、前記コントローラの第２の位置及び向きは、複数の状態を修正するために判定され、前記ＨＭＤは、前記複数の状態に基づいて生成された画像データを受信し、前記画像データに応じて複数の画像を表示するように構成される、請求項２に記載のシステム。

【請求項4】

前記ＨＭＤはアイマスクとディスプレイ画面を含み、前記アイマスクは前記ディスプレイ画面の下に配置された前記下部領域を有し、前記下部領域は前記アイマスクの底面である、請求項１に記載のシステム。

【請求項5】

前記アイマスクは、前記下部領域に接続され前記下部領域に隣接する前記前部領域を有し、前記前部領域は前記ディスプレイ画面を含み、前記ＨＭＤは前記下部領域に接続されたフレームを含む、請求項４に記載のシステム。

【請求項6】

前記第１のカメラは、前記前部領域と前記フレームの間に配置され、前記ＨＭＤから下向きのキャプチャビューを有する、請求項５に記載のシステム。

【請求項7】

前記アイマスクは、前記ディスプレイ画面の上に配置された前記上部領域を含み、前記上部領域は前記アイマスクの上面である、請求項６に記載のシステム。

【請求項8】

前記アイマスクは、前記上部領域に隣接する前記前部領域を有し、前記前部領域は前記上部領域と前記下部領域の間に配置され、前記前部領域は前記上部領域と前記下部領域に接続されている、請求項７に記載のシステム。

【請求項9】

前記フレームは前記上部領域に接続され、前記第２のカメラは、前記前部領域と前記フレームの間に配置され、前記コントローラが前記ＨＭＤの前記前部領域より上のレベルにあるとき、前記コントローラの前記第２の複数の画像をキャプチャする、請求項８に記載のシステム。

【請求項10】

前記ＨＭＤは、前記フレームに接続されたヘッドバンドを含み、前記下部領域は前記フレームによって前記ヘッドバンドから分離されている、請求項９に記載のシステム。

【請求項11】

前記コントローラはハンドヘルドコントローラである、請求項１に記載のシステム。

【請求項12】

ヘッドマウントディスプレイ（ＨＭＤ）に対して相対的にコントローラをトラッキングするためのシステムであって、
前記コントローラと、
前記ＨＭＤと、
前記ＨＭＤに接続された処理デバイスとを含み、
前記コントローラは、ライトバー及び光源を含み、前記ライトバーは複数のエッジポイントを有し、
前記ＨＭＤは、第１のカメラを備えた下部領域を有し、前記第１のカメラは、前記ＨＭＤから下向きのキャプチャビューを有し、前記第１のカメラは、前記コントローラが前記ＨＭＤの前部領域より下のレベルにあるとき、前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の第１の複数の画像をキャプチャするように構成されており、
前記ＨＭＤは、第２のカメラを備えた上部領域を有し、前記第２のカメラは、前記コントローラが前記ＨＭＤの前記前部領域より上のレベルにあるとき、前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の第２の複数の画像をキャプチャするように構成されており、
前記処理デバイスは、前記ＨＭＤを取り巻く実世界環境の複数の画像、前記第１のカメラからの前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の前記第１の複数の画像、前記第２のカメラからの前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の前記第２の複数の画像を受信するように構成されており、前記処理デバイスは、前記実世界環境の前記複数の画像から前記実世界環境内の前記ＨＭＤの位置及び動きを、前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の前記第１の複数の画像から前記ＨＭＤに対して相対的な前記コントローラの第１の位置及び向きを、前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の前記第２の複数の画像から前記ＨＭＤに対して相対的な前記コントローラの第２の位置及び向きを判定するように構成されている、システム。

【請求項13】

前記処理デバイスは、前記実世界環境内の前記ＨＭＤの位置及び動き、前記コントローラの前記第１の位置及び向き、及び前記コントローラの前記第２の位置及び向きに応じて、アプリケーションの実行によって出力された複数の状態を修正するように構成されており、前記処理デバイスは、前記複数の状態を修正して画像データを生成し、前記画像データを前記ＨＭＤに送信するように構成されており、前記ＨＭＤは前記画像データに応じて複数の画像を表示するように構成される、請求項１２に記載のシステム。

【請求項14】

前記ＨＭＤはアイマスクとディスプレイ画面を含み、前記アイマスクは前記ディスプレイ画面の下に配置された前記下部領域を有し、前記下部領域は前記アイマスクの底面である、請求項１２に記載のシステム。

【請求項15】

前記アイマスクは、前記下部領域に接続され前記下部領域に隣接する前記前部領域を有し、前記前部領域は前記ディスプレイ画面を含み、前記ＨＭＤは前記下部領域に接続されたフレームを含む、請求項１４に記載のシステム。

【請求項16】

前記第１のカメラは、前記前部領域と前記フレームの間に配置され、前記ＨＭＤから下向きのキャプチャビューを有する、請求項１５に記載のシステム。

【請求項17】

前記アイマスクは、前記ディスプレイ画面の上に配置された前記上部領域を含み、前記上部領域は前記アイマスクの上面である、請求項１６に記載のシステム。

【請求項18】

前記アイマスクは、前記上部領域に隣接する前記前部領域を有し、前記前部領域は前記上部領域と前記下部領域の間に配置され、前記前部領域は前記上部領域と前記下部領域に接続されている、請求項１７に記載のシステム。

【請求項19】

前記フレームは前記上部領域に接続され、前記第２のカメラは、前記前部領域と前記フレームの間に配置され、前記コントローラが前記ＨＭＤの前記前部領域より上のレベルにあるとき、前記コントローラの前記第２の複数の画像をキャプチャする、請求項１８に記載のシステム。

【請求項20】

前記コントローラはハンドヘルドコントローラである、請求項１２に記載のシステム。

【請求項21】

ヘッドマウントディスプレイ（ＨＭＤ）に対して相対的にコントローラをトラッキングするための方法であって、
前記ＨＭＤは、第１のカメラを備えた下部領域を有し、前記ＨＭＤの前記第１のカメラによって、前記コントローラが前記ＨＭＤの前部領域より下のレベルにあるとき、前記コントローラのライトバーの複数のエッジポイント及び光源の第１の複数の画像をキャプチャすることと、
前記ＨＭＤは、第２のカメラを備えた上部領域を有し、前記ＨＭＤの前記第２のカメラによって、前記コントローラが前記ＨＭＤの前記前部領域より上のレベルにあるとき、前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の第２の複数の画像をキャプチャすることと
を含み、
前記ライトバーの前記複数のエッジポイント及び前記光源に基づいて、前記ＨＭＤに対する前記コントローラの向きが定められる、方法。

【請求項22】

前記ＨＭＤを取り巻く実世界環境の複数の画像、前記第１の複数の画像及び前記第２の複数の画像を送信することをさらに含み、
前記実世界環境の複数の画像、前記第１の複数の画像、前記第２の複数の画像はそれぞれ、前記実世界環境内の前記ＨＭＤの位置及び動き、前記ＨＭＤに対して相対的な前記コントローラの第１の位置及び向き、前記ＨＭＤに対して相対的な前記コントローラの第２の位置及び向きの判定を容易にするために送信される、請求項２１に記載の方法。

【請求項23】

前記実世界環境内の前記ＨＭＤの位置及び動き、前記コントローラの第１の位置及び向き、前記コントローラの第２の位置及び向きは、アプリケーションの実行によって出力された複数の状態を修正するために判定され、
前記複数の状態に基づいて生成された画像データを受信することと、
前記画像データに応じて複数の画像を表示することと
をさらに含む、請求項２２に記載の方法。

【請求項24】

前記ＨＭＤはアイマスクとディスプレイ画面を含み、前記アイマスクは前記ディスプレイ画面の下に配置された前記下部領域を有し、前記下部領域は前記アイマスクの底面であり、
前記アイマスクは、前記下部領域に接続され前記下部領域に隣接する前記前部領域を有し、前記前部領域は前記ディスプレイ画面を含み、前記ＨＭＤは前記下部領域に接続されたフレームを含み、
前記第１のカメラは、前記前部領域と前記フレームの間に配置され、前記ＨＭＤから下向きのキャプチャビューを有し、
前記アイマスクは、前記ディスプレイ画面の上に配置された前記上部領域を含み、前記上部領域は前記アイマスクの上面であり、
前記アイマスクは、前記上部領域に隣接する前記前部領域を有し、前記前部領域は前記上部領域と前記下部領域の間に配置され、前記前部領域は前記上部領域と前記下部領域に接続されており、
前記フレームは前記上部領域に接続され、前記第２のカメラは、前記前部領域と前記フレームの間に配置され、前記コントローラが前記ＨＭＤの前記前部領域より上のレベルにあるとき、前記コントローラの前記第２の複数の画像をキャプチャする、請求項２１に記載の方法。

【請求項25】

ヘッドマウントディスプレイ（ＨＭＤ）に対して相対的にコントローラをトラッキングするための方法であって、
前記ＨＭＤは、第１のカメラを備えた下部領域を有し、前記ＨＭＤの前記第１のカメラによって、前記コントローラが前記ＨＭＤの前部領域より下のレベルにあるとき、前記コントローラのライトバーの複数のエッジポイント及び光源の第１の複数の画像をキャプチャすることと、
前記ＨＭＤは、第２のカメラを備えた上部領域を有し、前記ＨＭＤの前記第２のカメラによって、前記コントローラが前記ＨＭＤの前記前部領域より上のレベルにあるとき、前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の第２の複数の画像をキャプチャすることと、
前記ＨＭＤを取り巻く実世界環境の複数の画像、前記第１のカメラからの前記コントローラの前記第１の複数の画像、前記第２のカメラからの前記コントローラの前記第２の複数の画像を受信することと、
前記実世界環境の前記複数の画像から前記実世界環境内の前記ＨＭＤの位置及び動きを、前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の前記第１の複数の画像から前記ＨＭＤに対して相対的な前記コントローラの第１の位置及び向きを、前記コントローラの前記ライトバーの前記複数のエッジポイント及び前記光源の前記第２の複数の画像から前記ＨＭＤに対して相対的な前記コントローラの第２の位置及び向きを判定することと
を含む。方法。

【請求項26】

前記実世界環境内の前記ＨＭＤの位置及び動き、前記コントローラの前記第１の位置及び向き、及び前記コントローラの前記第２の位置及び向きは、アプリケーションの実行によって出力された複数の状態を修正するために判定され、
前記複数の状態に基づいて生成された画像データを受信することと、
前記画像データに応じて複数の画像を表示することと
をさらに含む、請求項２５に記載の方法。

【請求項27】

前記ＨＭＤはアイマスクとディスプレイ画面を含み、前記アイマスクは前記ディスプレイ画面の下に配置された前記下部領域を有し、前記下部領域は前記アイマスクの底面であり、
前記アイマスクは、前記下部領域に接続され前記下部領域に隣接する前記前部領域を有し、前記前部領域は前記ディスプレイ画面を含み、前記ＨＭＤは前記下部領域に接続されたフレームを含み、
前記第１のカメラは、前記前部領域と前記フレームの間に配置され、前記ＨＭＤから下向きのキャプチャビューを有し、
前記アイマスクは、前記ディスプレイ画面の上に配置された前記上部領域を含み、前記上部領域は前記アイマスクの上面であり、
前記アイマスクは、前記上部領域に隣接する前記前部領域を有し、前記前部領域は前記上部領域と前記下部領域の間に配置され、前記前部領域は前記上部領域と前記下部領域に接続されており、
前記フレームは前記上部領域に接続され、前記第２のカメラは、前記前部領域と前記フレームの間に配置され、前記コントローラが前記ＨＭＤの前記前部領域より上のレベルにあるとき、前記コントローラの前記第２の複数の画像をキャプチャする、請求項２５に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ヘッドマウントディスプレイに対するコントローラの動きを判定するためのシステム及び方法に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイ（ＨＭＤ）は、ゲームをプレイするために使用される。プレーヤーはＨＭＤを自分の頭に装着している。プレーヤーは、プレーヤーがゲームをプレイするために使用するＤｕａｌＳｈｏｃｋ（商標）コントローラを保持している。カメラは、プレーヤーがゲームをプレイしているテレビ台などの部屋の中に配置されている。カメラはプレーヤーの画像をキャプチャする。

【0003】

本開示の実施形態が生じるのはこの状況においてである。

【発明の概要】

【0004】

本開示で説明される実施形態は、ヘッドマウントディスプレイ（ＨＭＤ）に対するコントローラの動きを判定するためのシステム及び方法を提供する。

【0005】

一実施形態では、ＨＭＤに対して相対的にハンドヘルドコントローラをトラッキングするためのシステムが説明されている。このシステムには、ハンドヘルドコントローラ、ＨＭＤ、及び処理デバイスが含まれている。ＨＭＤは、ユーザの頭に装着するように構成されている。ＨＭＤはさらに、アプリケーションの実行によって生成されたコンテンツを有する複数の画像シーンを表示するように構成されている。ＨＭＤには、カメラを備えた下部領域がある。カメラには、ＨＭＤから下向きのキャプチャビューがある。カメラは、ハンドヘルドコントローラの複数の画像をキャプチャするように構成されている。処理デバイスは、ＨＭＤを取り巻く実世界環境の複数の画像及びハンドヘルドコントローラの複数の画像を受信するためにＨＭＤと関連付けられている。処理デバイスは、実世界環境の複数の画像から実世界環境内のＨＭＤの位置及び動きを判定するように構成されている。処理デバイスは、ハンドヘルドコントローラの複数の画像から、ＨＭＤに対して相対的なハンドヘルドコントローラの位置を判定するように構成されている。処理デバイスは、ＨＭＤの位置及び動き、ならびにハンドヘルドコントローラの位置の変化に応じて、アプリケーションの実行によって出力された状態を修正するように構成されている。ＨＭＤは、状態の修正に応じて、ＨＭＤに表示された複数の画像シーンを更新するように構成されている。

【0006】

一実施形態では、ＨＭＤに対して相対的にハンドヘルドコントローラをトラッキングするための方法が説明されている。この方法は、アプリケーションの実行によって生成されたコンテンツを有する複数の画像シーンを表示することを含む。ＨＭＤにはカメラを備えた下部領域があり、カメラにはＨＭＤから下向きのキャプチャビューがある。この方法は、カメラによって、ＨＭＤに対するハンドヘルドコントローラの複数の画像をキャプチャすることをさらに含む。この方法は、ＨＭＤを取り巻く実世界環境の複数の画像及びハンドヘルドコントローラの複数の画像を受信することを含む。この方法は、実世界環境の複数の画像から実世界環境内のＨＭＤの位置及び動きを判定することをさらに含む。この方法は、ハンドヘルドコントローラの複数の画像から、ＨＭＤに対して相対的なハンドヘルドコントローラの位置を判定することを含む。この方法は、ＨＭＤの位置及び動き、ならびにハンドヘルドコントローラの位置の変化に応じて、アプリケーションの実行によって状態出力を修正することをさらに含む。この方法は、状態の修正に応じて、ＨＭＤに表示された複数の画像シーンを更新することを含む。

【0007】

一実施形態では、ＨＭＤに対して相対的にハンドヘルドコントローラをトラッキングするためのプログラム命令を含むコンピュータ可読媒体が説明されている。コンピュータシステムの１つ以上のプロセッサによるプログラム命令の実行により、１つ以上のプロセッサは、上記の方法の複数の動作を実行する。

【0008】

本明細書に記載のシステム及び方法のいくつかの利点には、ＨＭＤの下部領域上のカメラがハンドヘルドコントローラ（ＨＨＣ）に面していることが含まれる。そのため、ＨＨＣが下部領域のカメラから見えなくなる可能性が低くなる。また、下部領域のカメラは、ユーザと一緒に移動するＨＭＤと一緒に移動する。したがって、ＨＭＤに面するカメラなどのアウトサイドイントラッキングカメラがＨＨＣの動きをキャプチャできない場合、ＨＭＤの下部領域のカメラは、ＨＨＣの動きの１つ以上の画像をキャプチャする。

【0009】

本開示の他の態様は、本開示に説明されている実施形態の原理の例として示される添付図面と併せて、下記の発明を実施するための形態から、明らかになるであろう。

【図面の簡単な説明】

【0010】

本開示に説明される様々な実施形態は、添付図面と併せて、以下の記述を参照することによって、最も良く理解することができる。

【0011】

【図1A】ヘッドマウントディスプレイ（ＨＭＤ）のカメラによるハンドヘルドコントローラ（ＨＨＣ）のトラッキングを説明するための、システムの図である。

【0012】

【図1B】ＨＭＤの位置及び向きを判定するためにアウトサイドイントラッキングカメラを使用する必要がないことを説明するための、システムの実施形態の図である。

【0013】

【図1C】ＨＭＤが実世界環境において移動するときのＨＭＤの基準点を説明するための、システムの実施形態の図である。

【0014】

【図1D】ＨＭＤのカメラの視野の３次元ボリュームを説明するための、システムの実施形態の図である。

【0015】

【図2A】ＨＭＤのカメラ上の基準座標系に対するＨＨＣの位置１を説明するための、システムの実施形態の図である。

【0016】

【図2B】ＨＭＤのカメラ上の基準座標系に対するＨＨＣの別の位置２を説明するための、システムの実施形態の図である。

【0017】

【図2C】ＨＭＤのカメラ上の基準座標系に対するＨＨＣの別の位置３を説明するための、システムの実施形態の図である。

【0018】

【図3A】実世界環境の基準座標系に対するＨＭＤの位置ａを説明するための、システムの実施形態の図である。

【0019】

【図3B】実世界環境の基準座標系に対するＨＭＤの別の位置ｂを説明するための、システムの実施形態の図である。

【0020】

【図3C】実世界環境の基準座標系に対するＨＭＤの位置ｃを説明するための、システムの実施形態の図である。

【0021】

【図4A】実世界環境の基準座標系に対するＨＭＤの位置ａと、図３Ａのカメラの基準座標系に対するＨＨＣの位置１を説明するための、システムの実施形態の図である。

【0022】

【図4B】実世界環境の基準座標系に対するＨＭＤの位置ｂと、図３Ｂのカメラの基準座標系に対するＨＨＣの位置２を説明するための、システムの実施形態の図である。

【0023】

【図4C】実世界環境の基準座標系に対するＨＭＤの位置ｃと、図３Ｃのカメラの基準座標系に対するＨＨＣの位置３を説明するための、システムの実施形態の図である。

【0024】

【図5A】インタラクティブプログラムとインタフェースするためのビデオゲームコントローラの実施形態の斜視図である。

【0025】

【図5B】ＨＭＤのカメラによって見た向き１を有するビデオゲームコントローラの実施形態の図である。

【0026】

【図5C】ＨＭＤのカメラによって見た向き２を有するビデオゲームコントローラの実施形態の図である。

【0027】

【図5D】ＨＭＤのカメラによって見た向き３を有するビデオゲームコントローラの実施形態の図である。

【0028】

【図6】複数のカメラを備えたＨＭＤを説明するための、システムの実施形態の図である。

【0029】

【図7A】ＨＭＤの底面等角図の実施形態の図である。

【0030】

【図7B】図７ＡのＨＭＤの上面等角図の実施形態の図である。

【0031】

【図7C】ＨＭＤの下部領域にある複数のカメラを説明するための、ＨＭＤの実施形態の底面図である。

【0032】

【図7D】ＨＭＤの上部領域にある複数のカメラを説明するための、図７ＣのＨＭＤの実施形態の上面図である。

【0033】

【図8A】ＨＭＤの実施形態の底面図である。

【0034】

【図8B】ＨＭＤの実施形態の別の底面図である。

【0035】

【図8C】ＨＭＤの実施形態のさらに別の底面図である。

【0036】

【図8D】ＨＭＤの実施形態の底面図である。

【0037】

【図8E】ＨＭＤの実施形態の底面図である。

【0038】

【図9A】ＨＭＤの下部領域にある複数のカメラの位置を示すための、ＨＭＤの実施形態の底面図である。

【0039】

【図9B】ＨＭＤの下部領域にある複数のカメラの位置を示すための、ＨＭＤの実施形態の底面図である。

【0040】

【図9C】ＨＭＤの下部領域にある複数のカメラの位置を示すための、ＨＭＤの実施形態の底面図である。

【0041】

【図10A】基準座標系を基準にしたＨＭＤの位置の判定を説明するための、システムの実施形態の図である。

【0042】

【図10B】ＨＭＤの位置及び向きを判定するためのＨＭＤ上のプロジェクター及び検出器の使用を説明するための、システムの実施形態の図である。

【0043】

【図11】推測航法を説明するための、システムの実施形態の図である。

【0044】

【図12】ＨＨＣの画像がＨＭＤの異なるカメラによってキャプチャされる時間に基づいて画像フレームのスティッチングを説明するための、システムの実施形態の図である。

【0045】

【図13】ＨＭＤの等角図である。

【0046】

【図14】ビデオゲームのインタラクティブゲームプレイのためのシステムを示す。

【0047】

【図15】ＨＭＤを示す。

【0048】

【図16】ビデオゲームコンテンツを生成してユーザが装着するＨＭＤに提供できるコンピュータを使用したゲームプレイの一例を示す。

【0049】

【図17】ＨＭＤの例示のコンポーネントを示すブロック図である。

【0050】

【図18】情報サービスプロバイダアーキテクチャの実施形態を示す。

【0051】

【図19】ＨＨＣの例示のコンポーネントを示すブロック図である。

【発明を実施するための形態】

【0052】

ヘッドマウントディスプレイ（ＨＭＤ）に対するハンドヘルドコントローラ（ＨＨＣ）の動きを判定するためのシステム及び方法を説明する。

【0053】

本開示に説明されている様々な実施形態は、これらの特定の詳細の一部または全部なしでも実施できることに留意されたい。他の例では、本開示に説明されている様々な実施形態を不必要にわかりにくくすることを避けるため、公知のプロセス動作については詳述しない。

【0054】

図１Ａは、ＨＭＤ１０４のカメラ１０８によるＨＨＣ１０２のトラッキングを説明するための、システム１００の図である。システム１００は、コンピューティングデバイス１１２、コンピュータネットワーク１１４、ゲームクラウドシステム１１６、カメラ１１８、ＨＭＤ１０４、及びＨＨＣ１０２を含む。本明細書で使用されるカメラ１１８などのカメラの例には、魚眼カメラ、深度カメラ、画像キャプチャデバイス、赤外線ＬＥＤカメラ、及びＳｏｎｙ（商標）プレイステーション（商標）カメラが含まれる。カメラ１１８は、アウトサイドイントラッキングカメラであり、カメラ１０８は、インサイドアウトトラッキングカメラである。さらに、カメラ１０８の例には、深度カメラ、ＬＥＤカメラ、赤外線ＬＥＤカメラ、及び画像キャプチャデバイスが含まれる。コンピューティングデバイス１１２の例には、ゲームコンソール、コンピュータ、タブレット、ルータ、プロセッサ、及びスマートフォンが含まれる。コンピュータネットワーク１１４は、インターネットなどの広域ネットワーク（ＷＡＮ）またはイントラネットなどのローカルエリアネットワーク（ＬＡＮ）を含むことができる。ゲームクラウドシステム１１６は、ゲームアプリケーションまたはビデオ会議アプリケーションなどのアプリケーションを実行する１つ以上のサーバを含む。一例として、ゲームクラウドシステム１１６は、アプリケーションを実行するための仮想マシンまたは分散型ゲームノードを含む。ＨＨＣ１０２の例には、ビデオゲームコントローラ及びＳｏｎｙ（商標）ＤｕａｌＳｈｏｃｋ（商標）コントローラが含まれる。

【0055】

カメラ１０８は、カメラ１０８がＨＨＣ１０２に面するように、ＨＭＤ１０４の下部領域に取り付けられている。例えば、カメラ１０８は、ＨＭＤ１０４の湾曲した下面に取り付けられている。ＨＭＤ１０４の下部領域は、ＨＭＤ６０２のディスプレイ画面の下にある。カメラ１１８は、ユーザ１０６、ＨＭＤ１０４、及びＨＨＣ１０２が配置されている、部屋または閉鎖空間または小個室または倉庫などの実世界環境内に配置される。カメラ１１８は、ＨＭＤ１０４、ＨＨＣ１０２、及びユーザ１０６に面している。

【0056】

カメラ１１８は、有線または無線接続を介してコンピューティングデバイス１１２に結合されている。さらに、ＨＭＤ１０４は、有線または無線接続を介してコンピューティングデバイス１１２に結合されている。本明細書で使用される無線接続の例には、Ｂｌｕｅｔｏｏｔｈ（商標）接続及びＷｉ－Ｆｉ（商標）接続が含まれる。本明細書で使用される有線接続の例には、データのパラレル転送を提供するケーブル、またはユニバーサルシリアルバス（ＵＳＢ）接続であるケーブルが含まれる。コンピューティングデバイス１１２は、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に結合されている。

【0057】

ユーザ１０６はＨＭＤ１０４を自分の頭に装着している。さらに、ユーザ１０６はＨＨＣ１０２を自分の手に保持している。ユーザ１０６は、ＨＨＣ１０２上の１つ以上の入力ボタンを使用することによって、自分のログイン情報を提供する。ログイン情報は、ＨＨＣ１０２からコンピューティングデバイス１１２及びコンピュータネットワーク１１４を介してゲームクラウドシステム１１６に提供される。ゲームクラウドシステム１１６の１つ以上のサーバは、ログイン情報を認証して、ゲームクラウドシステム１１６内に格納されているユーザアカウントＡへのアクセスを提供する。ユーザアカウントＡは、ゲームクラウドシステム１１６の１つ以上のサーバによってユーザ１０６に割り当てられる。

【0058】

ユーザ１０６がユーザアカウントＡへのアクセスを提供されると、ユーザ１０６は、ＨＨＣ１０２上の１つ以上の入力ボタンを選択するか、ＨＨＣ１０２上の１つ以上のジョイスティックを動かすか、ＨＨＣ１０２を動かすか、ＨＭＤ１０４を動かすか、またはこれらの動きと選択の組み合わせを実行する。ＨＨＣ１０２が動かされ、及び／またはＨＨＣ１０２上の１つ以上の入力ボタンが選択され、及び／またはＨＨＣ１０２上の１つ以上のジョイスティックが動かされると、ＨＨＣ１０２の１つ以上のセンサが、有線または無線接続を介してＨＨＣ１０２からコンピューティングデバイス１１２へ送信される入力データを生成する。同様に、ＨＭＤ１０４が動かされると、ＨＭＤ１０４の１つ以上のセンサは、ＨＭＤ１０４から有線または無線接続を介してコンピューティングデバイス１１２に送信される入力データを生成する。ＨＭＤ１０４の動きは、実世界環境のｘｙｚ座標系などの基準座標系に対して発生する。例えば、実世界環境の基準座標系に対して、ＨＭＤ１０４の位置及び向きの変化がある。さらに、ＨＨＣ１０２の動きは、ＨＭＤ１０４に固定されているＸＹＺ座標系などの別の基準座標系に対して発生する。本明細書に記載されるような１つ以上のセンサの例には、静電容量センサ及び慣性センサが含まれる。慣性センサの例には、ジャイロスコープ、加速度計、磁力計が含まれる。

【0059】

さらに、ＨＭＤ１０４のカメラ１０８は、カメラ１０８の視野（ｆｉｅｌｄ－ｏｆ－ｖｉｅｗ、ＦＯＶ）１１０内のＨＨＣ１０２のユーザ１０６による１つ以上の動きの画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングデバイス１１２に送信する。ＦＯＶ１１０は、本明細書ではインタラクションゾーンと呼ばれることもある。カメラ１０８によってキャプチャされた画像は、ＦＯＶ１１０内にある実世界環境の一部の画像を含み、またＨＨＣ１０２の画像も含む。カメラ１０８は、ＨＭＤ１０４から下向きに向けられて、ＨＭＤ１０４、ＨＨＣ１０２、コンピューティングデバイス１１２、及びユーザ１０６が配置されている実世界環境の床に面する。床はＦＯＶ１１０内にある。例えば、カメラ１０８のレンズは、床から反射される光を受け取る開口を有する。この例では、開口は、開口が壁に面するようにユーザ１０６が自分の頭を持ち上げない限り、実世界環境のどの壁からも反射された光を受け取らない。ユーザ１１０が壁に面しているとき、カメラ１０８の開口は床に向かって下向きであり、したがってＦＯＶ１１０は床に向かって下向きに延びる。

【0060】

ＦＯＶ１１０は、ｙ方向に高さ、ｘ方向に幅、ｚ方向に深度を有する３次元視野である。以下に、ｙ方向、ｘ方向、ｚ方向について説明する。また、ＨＭＤ１０４に面しているカメラ１１８は、実世界環境の１つ以上の画像をキャプチャし、画像は、カメラ１１８の視野１１１内でのＨＭＤ１０４のユーザ１０６による動きを含む。カメラ１１８のＸＹＺ座標系に対するＨＭＤ１０４の動きの１つ以上の画像のキャプチャは、本明細書では、アウトサイドイントラッキングと呼ばれることがある。カメラ１１８によってキャプチャされた画像は、有線または無線接続を介してコンピューティングデバイス１１２に送信される。

【0061】

コンピューティングデバイス１１２は、ＨＭＤ１０４から受信した入力データ、ＨＨＣ１０２から受信した入力データ、カメラ１０８から受信した画像、及びカメラ１１８から受信した画像などの情報データを、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６の１つ以上のサーバへ送信する。ゲームクラウドシステム１１６の１つ以上のサーバは、情報データを受信し、アプリケーションを実行して、ＨＭＤ１０４のディスプレイ画面に表示されている仮想シーンの状態を変更し、仮想シーンの別の状態を出力する。仮想シーンの状態は、本明細書ではコンテンツと呼ばれることがある。例示のために、ゲームクラウドシステム１１６の１つ以上のサーバは、カメラ１１８のｘｙｚ座標系に対するＨＭＤ１０４の動きの画像を受信し、画像内のＨＭＤ１０４の動きから、ＨＭＤ１０４の１つ以上の位置への変更、及びＨＭＤ１０４の１つ以上の向きへの変更を判定する。ＨＭＤ１０４の１つ以上の位置への変更は、ＨＭＤ１０４の他の１つ以上の位置を判定するためにゲームクラウドシステム１１６によって分析され、ＨＭＤ１０４の１つ以上の向きへの変更は、ＨＭＤ１０４の他の１つ以上の向きを判定するためにゲームクラウドシステム１１６によって分析される。例えば、点Ａから点ＢへのＨＭＤ１０４の位置の変化は、ＨＭＤ１０４が現在点Ｂにあることを判定するために分析される。別の例として、向きＡから向きＢへのＨＭＤ１０４の向きの変化が分析され、ＨＭＤ１０４が向きＢにあると判定される。ＨＭＤ１０４の他の１つ以上の位置及びＨＭＤ１０４の他の１つ以上の向きは、仮想シーンの他の状態に対応する。カメラ１１８のｘｙｚ座標系に対するＨＭＤ１０４の動きは、実世界環境におけるＨＭＤ１０４の動きである。

【0062】

説明を続けると、ゲームクラウドシステム１１６の１つ以上のサーバは、ＨＭＤ１０４のＸＹＺ座標系に対するＨＨＣ１０２の動きの画像を受信し、アプリケーションを実行して、ＨＨＣ１０２の動きからＨＨＣ１０２の１つ以上の位置への変化を判定し、ＨＨＣ１０２の他の１つ以上の位置及びＨＨＣ１０２の１つ以上の向きを判定し、ＨＨＣ１０２の他の１つ以上の向きを判定する。ＨＨＣ１０２の他の１つ以上の位置及びＨＨＣ１０２の他の１つ以上の向きは、仮想シーンの他の状態に対応する。ＨＨＣ１０２の１つ以上の位置への変更及び１つ以上の向きへの変更は、カメラ１０８のＸＹＺ座標系を基準にして判定される。動きは、複数の位置及び／または複数の向きを含むことに留意されたい。例えば、ＨＨＣ１０２の動きは、ＨＨＣ１０２の複数の位置及び／または複数の向きを含み、ＨＭＤ１０４の動きは、ＨＭＤ１０４の複数の位置及び／またはＨＭＤ１０４の複数の向きを有する。

【0063】

ＨＨＣ１０２の位置は、ＸＹＺ座標系の原点などの基準座標からのＸ方向の距離、ＸＹＺ座標系の基準座標からのＹ方向の距離、及びＸＹＺ座標系の基準座標からのＺ方向の距離を含むことに留意されたい。また、ＨＨＣ１０２の向きは、ＸＹＺ座標系のＸ軸に対する角度、ＸＹＺ座標系のＹ軸に対する角度、及びＸＹＺ座標系のＺ軸に対する角度を含む。Ｘ軸はＹ軸とＺ軸のそれぞれに垂直であり、Ｙ軸はＺ軸に垂直である。Ｘ方向はＸ軸の方向、Ｙ方向はＹ軸の方向、Ｚ方向はＺ軸の方向である。

【0064】

同様に、実世界環境におけるＨＭＤ１０４の位置は、ｘｙｚ座標系の原点（０，０，０）などの基準座標ＲＭからのｘ方向の距離、ｘｙｚ座標系の基準座標ＲＭからのｙ方向の距離、及びｘｙｚ座標系の基準座標ＲＭからのｚ方向の距離を含むことに留意されたい。また、ＨＭＤ１０４の向きは、基準座標ＲＭを有するｘｙｚ座標系のｘ軸に対する角度、ｘｙｚ座標系のｙ軸に対する角度、及びｘｙｚ座標系のｚ軸に対する角度を含む。ｘ軸はｙ軸とｚ軸のそれぞれに垂直であり、ｙ軸はｚ軸に垂直である。ｘ方向はｘ軸の方向、ｙ方向はｙ軸の方向、ｚ方向はｚ軸の方向である。

【0065】

仮想シーンの状態の例には、仮想シーン内の１つ以上の仮想オブジェクトのテクスチャ、または仮想オブジェクトの色、または仮想オブジェクトの強度、または仮想オブジェクトのグラフィックス、または仮想オブジェクトの表示と共に出力されるオーディオデータ、または仮想オブジェクトの位置、または仮想オブジェクトの向き、または仮想シーンの仮想背景のテクスチャ、または仮想背景の色、または仮想背景の強度、または仮想背景のグラフィックス、または仮想背景の表示と共に出力されるオーディオデータ、または仮想背景の位置、または仮想背景の向きが含まれる。仮想背景の例には、仮想オブジェクトを含まない仮想シーンの一部がある。

【0066】

ゲームクラウドシステム１１６の１つ以上のサーバは、仮想シーンの状態を変更して、画像またはオーディオフレームなどの複数のフレームを生成し、複数のフレームを符号化して、複数の符号化されたフレームを出力する。複数のフレームには、修正された仮想シーンの、他の状態などの修正された状態が含まれる。ゲームクラウドシステム１１６の１つ以上のサーバは、符号化されたフレームをコンピュータネットワーク１１４を介してコンピューティングデバイス１１２に送信する。コンピューティングデバイス１１２は、符号化されたフレームを復号し、復号されたフレームを有線または無線接続を介してＨＭＤ１０４に送信する。ＨＭＤ１０４のビデオプロセッサは、復号されたフレームに従って仮想シーンの表示を変更または更新して、修正された仮想シーンをＨＭＤ１０４に表示し、及び／またはＨＭＤ１０４のオーディオプロセッサは、仮想シーンと共に音声出力を変更する。音声は、ＨＭＤ１０４の１つ以上のスピーカを介して出力される。

【0067】

一実施形態では、ＨＨＣ１０２の代わりに、銃型コントローラまたはＳｏｎｙ（商標）Ｍｏｖｅ（商標）コントローラなどの別のタイプのコントローラが使用される。

【0068】

一実施形態では、ＨＭＤ１０４とゲームクラウドシステム１１６との間に使用されるコンピューティングデバイス１１２はない。例えば、本明細書で説明されるコンピューティングデバイス１１２によって実行されていた機能は、代わりにＨＭＤ１０４によって実行され、ＨＭＤ１０４とコンピュータネットワーク１１４との間に配置されたコンピューティングデバイス１１２はない。さらに説明すると、コンピューティングデバイス１１４によって実行されるものとして本明細書に記載される機能は、ＨＭＤ１０４内に統合された１つ以上のプロセッサによって実行される。別の例として、ＨＭＤ１０４とゲームクラウドシステム１１６との間でデータを転送する本明細書に記載の機能は、ＨＭＤ１０４内のワイヤレスアクセスカード（ＷＡＣ）によって実行される。ＨＭＤ１０４のＷＡＣは、コンピュータネットワーク１１４と通信する。別の説明として、ＨＭＤ１０４とゲームクラウドシステム１１６との間で本明細書に記載のデータを転送する本明細書に記載の機能は、ＨＭＤ１０４内のブロードバンド通信集積回路（ＩＣ）によって実行される。ブロードバンド通信ＩＣの例は、加入者識別モジュール（ＳＩＭ）カードである。ブロードバンド通信ＩＣは、本明細書で説明されるデータを、コンピュータネットワーク１１４と通信する複数のセルタワーを含むセルラーネットワークと通信する。さらに別の例として、ＨＭＤ１０４は、Ｗｉ－Ｆｉ（商標）プロトコルまたはＢｌｕｅｔｏｏｔｈ（商標）プロトコルなどの短距離無線プロトコルを介してルータに通信するための通信回路を含む。ルータは実世界環境内にあり、コンピュータネットワーク１１４に結合されている。

【0069】

図１Ｂは、ＨＭＤ１０４の位置及び向きを判定するためにカメラ１１８（図１Ａ）を使用する必要がないことを説明するための、システム１２０の実施形態の図である。むしろ、インサイドアウトトラッキングは、カメラ１０８を用いて実行される。実世界環境のｘｙｚ座標系などの基準座標系に対するＨＭＤ１０４の位置、動き、及び向きは、ＨＭＤ１０４のカメラ１０８を使用してトラッキングされる。

【0070】

システム１２０は、ＨＭＤ１０４、ＨＨＣ１０２、及びコンピューティングデバイス１１２を含む。コンピューティングデバイス１１２は、ＨＭＤ１０４及びＨＨＣ１０２が配置されている実世界環境内に配置されているテーブルまたはテレビ台などの支持体１２２上に置かれている。サポート１１２の下部には、実世界環境のｘｙｚ座標系が配置されている。

【0071】

ユーザ１０６が実世界環境のｘｙｚ座標系の原点（０，０，０）などの基準点ＲＡに近づいたり遠ざかったりすると、カメラ１０８は基準点ＲＡに対するＨＭＤ１０４の位置の変化をトラッキングする。同様に、ユーザ１０６が基準点ＲＡに対して自分の頭を動かすと、カメラ１０８は、実世界環境のｘｙｚ座標系に対するＨＭＤ１０４の向きの変化をトラッキングする。実世界環境のｘｙｚ座標系に対するＨＭＤ１０４の位置及び向きのカメラ１０８によるトラッキングは、本明細書では、ＨＭＤ１０４のインサイドアウトトラッキングと呼ばれることがある。カメラ１０８は、カメラ１０８のＦＯＶ１１０内の実世界環境の一部の１つ以上の画像をキャプチャし、１つ以上の画像は、基準点ＲＡを含む。

【0072】

ＨＭＤ１０４のカメラ１０８によるＨＭＤ１０４の位置及び向きのトラッキングに加えて、ＨＭＤ１０４は、ＨＭＤ１０４の加速度の測定値、ＨＭＤ１０４の角速度の測定値、ＨＭＤ１０４の位置の測定値、及び慣性センサの座標系に対するＨＭＤ１０４の向きの測定値などの慣性データを出力する慣性センサを含む。例えば、ＨＭＤ１０４のジャイロスコープは、ジャイロスコープの座標系に対するＨＭＤ１０４の向きの角速度を測定する。ジャイロスコープの座標系にはスピン軸がある。スピン軸は、上記のｙ軸と同等であり、一方向に垂直に上向き、反対方向に下向きである。ＨＭＤ１０４の慣性センサの座標系は、実世界環境の座標系の一例であることに留意されたい。ＨＭＤ１０４のセンサによって生成される慣性データは、ＨＭＤ１０４によって生成される入力データの例である。

【0073】

カメラ１０８によってキャプチャされた実世界環境の１つ以上の画像、及びＨＭＤ１０４のセンサによって生成された慣性データは、有線または無線接続を介してコンピューティングデバイス１１２に送信される。コンピューティングデバイス１１２は、実世界環境の１つ以上の画像と、ＨＭＤ１０４のセンサによって生成された慣性データを、仮想シーンの状態を変更するためにコンピュータネットワーク１１４（図１Ａ）を介してゲームクラウドシステム１１６（図１Ａ）に送信する。

【0074】

一実施形態では、実世界環境のｘｙｚ座標系は、支持体１２２の表面上の任意の点、または実世界環境内の任意の点に配置されている。例えば、実世界環境のｘｙｚ座標系は、ＨＭＤ１０４及びＨＨＣ１０２が配置されている部屋のコーナーに配置されている。

【0075】

一実施形態では、カメラ１０８がＨＭＤ１０４の下部領域に配置される代わりに、カメラ（図示せず）がＨＨＣ１０２の上面１２２に配置される。上面１２２は、ＨＨＣ１０２のボタン及びジョイスティックが配置される面である。ＨＨＣ１０２の上面１２２に配置されたカメラ（図示せず）は、ＨＭＤ１０４の１つ以上の画像をキャプチャし、原点などの基準点がカメラ（図示せず）に配置された基準座標系を有する。ＨＨＣ１０２の上面１２２上でカメラ（図示せず）によってキャプチャされたＨＭＤ１０４の１つ以上の画像は、カメラ（図示せず）の基準座標系に対するＨＭＤ１０４の位置及び向きを含む。ＨＨＣ１０２は、ＨＨＣ１０２のカメラ（図示せず）によってキャプチャされた画像を、有線または無線接続を介してコンピューティングデバイス１１２に送信する。コンピューティングデバイス１１２は、ＨＨＣ１０２のカメラ（図示せず）によってキャプチャされた画像を、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する。ゲームクラウドシステム１１６は、ＨＨＣ１０２のカメラ（図示せず）によってキャプチャされた画像から、ＨＨＣ１０２に対するＨＭＤ１０４の位置、動き、及び向きを判定し、その位置と向きに応じて仮想シーンの状態を変更する。

【0076】

一実施形態では、ＨＭＤ１０４の慣性センサによって測定されたＨＭＤ１０４の位置及び向きは、ユーザ１０６によるＨＭＤ１０４の使用のしばらく後にドリフトする。例えば、ＨＭＤ１０４の慣性センサによってトラッキングされるＨＭＤ１０４の位置及び向きはしばらくすると不正確になり、誤差が発生する。この場合、実世界環境のカメラ１１８及び／またはカメラ１０８によって生成された１つ以上の画像は、ゲームクラウドシステム１１６の１つ以上のサーバによって使用されて、ＨＭＤ１０４の不正確な位置及び不正確な向きを調整する。例えば、ＨＭＤ１０４の慣性センサによって測定された不正確な向きが（Ｘ１，Ｙ１，Ｚ１）であり、ゲームクラウドシステム１１６の１つ以上のサーバによって１つ以上の画像から導出されたＨＭＤ１０４の向きが（Ｘ２，Ｙ２，Ｚ２）である場合、ゲームクラウドシステム１１６の１つ以上のサーバは、ＨＭＤ１０４の向きが（Ｘ１，Ｙ１，Ｚ１）ではなく（Ｘ２，Ｙ２，Ｚ２）であることを判定する。したがって、ゲームクラウドシステム１１６の１つ以上のサーバは、ＨＭＤ１０４の慣性センサのドリフトを補正する。

【0077】

一実施形態では、カメラ１０８は、カメラ１０８を取り巻く実世界環境を事前スキャンして、基準点ＲＡを有するオブジェクトと、実世界環境内の１つ以上の他の基準点を有する１つ以上の追加オブジェクトの画像をキャプチャする。例えば、ゲームプレイのためのアプリケーションの実行の前に、カメラ１０８は、実世界環境の画像をキャプチャする。ゲームプレイの前に、ＨＭＤ１０４は、ユーザ１０６が自分の頭を動かして、実世界環境の部分的なビューまたは３６０度ビューなどの全体的なビューを取得するための指示を表示することができる。指示を見ると、ユーザ１０６は自分の頭を動かし、ＨＭＤ１０４のカメラ１０８は、オブジェクト及び１つ以上の追加のオブジェクトの画像をキャプチャする。画像は、コンピューティングデバイス１１２及びコンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信される。ゲームクラウドシステム１１６は、画像からオブジェクトを識別し、基準点を修正する。ゲームプレイ中またはアプリケーションの実行中に、カメラ１０８は、実世界環境の基準点ＲＡ及び１つ以上の他の基準点を有する１つ以上の追加の画像をキャプチャし、その画像をコンピューティングデバイス１１２及びコンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する。ゲームクラウドシステム１１６は、基準点ＲＡ及び１つ以上の他の基準点に対するＨＭＤ１０４の動きを判定する。

【0078】

図１Ｃは、ＨＭＤ１０４が実世界環境において移動するときのＨＭＤ１０４の基準点を説明するための、システム１３０の実施形態の図である。図１Ｂのユーザ１０６が移動すると、ＨＭＤ１０４が移動する。ＨＭＤ１０４の基準点は、時間ｔ１において位置Ｐ１にある。時間ｔ１において、ＨＨＣ１０２は、実世界環境内の位置ＰＯ１にある。ＨＨＣ１０２の位置ＰＯ１は、時間ｔ１におけるＨＭＤ１０４の位置Ｐ１を基準にして判定される。例えば、時間ｔ１において、ＨＭＤ１０４のカメラ１０８は、ＨＭＤ１０４の位置Ｐ１を基準にして、コントローラＨＨＣ１０２の位置ＰＯ１を含む１つ以上の画像をキャプチャする。ゲームクラウドシステム１１６（図１Ａ）の１つ以上のサーバは、カメラ１０８からコンピューティングデバイス１１２（図１Ａ）及びコンピュータネットワーク１１４（図１Ａ）を介して１つ以上の画像を受信して、ＨＭＤ１０４の位置Ｐ１を基準にしてコントローラＨＨＣ１０２の位置ＰＯ１を識別する。次に、位置ＰＯ１及びＰ１は、仮想シーンの状態を変更するためにアプリケーションを実行するために、ゲームクラウドシステム１１６の１つ以上のサーバによって使用される。

【0079】

ＨＭＤ１０４の基準点は、時間ｔ２において位置Ｐ１から位置Ｐ２に移動する。また、時間ｔ２において、ＨＨＣ１０２は、実世界環境内の位置ＰＯ２にある。時間ｔ２において、ＨＭＤ１０４のカメラ１０８は、ＨＭＤ１０４の位置Ｐ２を基準にして、ＨＨＣ１０２の位置ＰＯ２を含む１つ以上の画像をキャプチャする。ゲームクラウドシステム１１６の１つ以上のサーバは、コンピューティングデバイス１１２及びコンピュータネットワーク１１４を介して１つ以上の画像を受信し、ＨＭＤ１０４の位置Ｐ２を基準にしてＨＨＣ１０２の位置ＰＯ２を識別して、ＨＨＣ１０２のＰＯ１からＰＯ２への位置及びＨＭＤ１０４のＰ１からＰ２への位置の変化に基づいて仮想シーンの状態を変更する。

【0080】

同様に、時間ｔ３において、カメラ１０８は、仮想シーンの状態の変化を容易にするために、ＨＭＤ１０４の位置Ｐ３に対するＨＨＣ１０２の位置ＰＯ３をキャプチャする。仮想シーンの状態は、ＨＭＤ１０４の位置の位置Ｐ２から位置Ｐ３への変化、及びＨＭＤ１０４の位置の位置ＰＯ２から位置ＰＯ３への変化に基づいて変化する。また、時間ｔ４において、カメラ１０８は、仮想シーンの状態の変化を容易にするために、ＨＭＤ１０４の位置Ｐ４に対するＨＨＣ１０２の位置ＰＯ４をキャプチャする。仮想シーンの状態は、ＨＭＤ１０４の位置の位置Ｐ３から位置Ｐ４への変化、及びＨＭＤ１０４の位置の位置ＰＯ３から位置ＰＯ４への変化に基づいて変化する。

【0081】

図１Ｄは、カメラ１０８のＦＯＶ１１０の、多角形ボリュームなどの３次元ボリュームを説明するための、システム１３０の実施形態の図である。システム１３０は、ＨＭＤ１０４及び実世界環境を含む。ＦＯＶ１１０は、カメラ１０８から始まり、実世界環境の床Ｆ上に位置する部分１３２まで延びる３次元ボリュームを作成する。床Ｆは、実世界環境の壁Ｗ１に垂直であり、壁Ｗ１は、実世界環境の別の壁Ｗ２に垂直または実質的に垂直である。床Ｆはまた、壁Ｗ２に対して垂直または実質的に垂直である。部分１３２は、対角線ＤＲ、長さＬＲ、及び幅ＷＲを有する長方形の部分である。長さＬＲは、本明細書では垂直範囲と呼ばれることがあり、幅ＷＲは、本明細書では水平範囲と呼ばれることがあり、対角線ＤＲは、本明細書では対角線範囲と呼ばれることがある。

【0082】

ＦＯＶ１１０内には、床Ｆ上に配置されたオブジェクトＯ１がある。オブジェクトＯ１は、垂直面ＶＳ及び水平面ＨＳを有する。水平面ＨＳは、オブジェクトＯ１の上面であり、垂直面ＶＳに隣接している。一例として、水平面ＨＳは、垂直面ＶＳに対して垂直または実質的に垂直である。水平面ＨＳと垂直面ＶＳとの交点には、基準座標系の原点（０，０，０）などの基準座標ＲＢが配置されている。オブジェクトＯ１上に基準座標ＲＢを持つ基準座標系は、実世界環境のｘｙｚ座標系である。オブジェクトＯ１上のｘｙｚ座標系には、ｘ軸、ｙ軸、及びｚ軸がある。

【0083】

カメラ１０８は、オブジェクトＯ１及び部分１３２の１つ以上の画像をキャプチャし、ＨＭＤ１０４はその画像を、図１Ａのコンピューティングデバイス１１２及び図１Ａのコンピュータネットワーク１１４を介して、図１Ａのゲームクラウドシステム１１６に送信する。ゲームクラウドシステム１１６の１つ以上のサーバは、基準座標ＲＢに対するカメラ１０８の位置を識別し、その位置は、オブジェクトＯ１上の基準座標ＲＢからのｘ方向に沿った距離、基準座標ＲＢからのｙ方向に沿った距離、及び基準座標ＲＢからのｚ方向に沿った距離を含む。また、ゲームクラウドシステム１１６の１つ以上のサーバは、カメラ１０８の向きを識別し、その向きは、オブジェクトＯ１上の基準座標系のｘ軸に対する基準座標ＲＢに対して形成される角度、オブジェクトＯ１上の基準座標系のｙ軸に対して形成される角度、及びオブジェクトＯ１上の基準座標系のｚ軸に対して形成される角度を含む。

【0084】

一実施形態では、部分１３２は、多角形または楕円形または円形または台形または菱形などの別の形状を有する。

【0085】

一実施形態では、実世界環境の基準座標系１３３は、壁Ｗ１、壁Ｗ２、及び床Ｆの交点に配置されている。基準座標系１３３は、ｘ軸、ｙ軸、及びｚ軸を含み、ｘ、ｙ、及びｚ軸の交点は、原点（０，０，０）などの基準点である。交点は、壁Ｗ１、壁Ｗ２、及び床Ｆの交点にある。ｘ軸は基準点から壁Ｗ２の方向にあり、ｙ軸は基準点から壁Ｗ１の方向にあり、ｚ軸は基準点から床Ｆの方向にある。ＦＯＶ１１０は、カメラ１０８の開口がＦＯＶ１１０に向けられているときの基準点を含む。

【0086】

図２Ａ～２Ｃは、ＨＭＤ１０４が静止しているときのＨＨＣ１０２の位置の変化、及びＨＭＤ１０４上に表示される仮想シーン上の位置の変化の影響を説明するための、システム２００の実施形態の図である。図２Ａは、カメラ１０８上の基準座標系に対するＨＨＣ１０２の位置１を説明するための、システム２００の実施形態の図である。システム２００は、ＨＨＣ１０２及びＨＭＤ１０４を含む。カメラ１０８上の基準座標系は、原点（０，０，０）などの基準座標Ｒ１を有する。ＨＨＣ１０２の位置１は、カメラ１０８上の基準座標系の基準座標Ｒ１に対する座標（Ｘ１，Ｙ１，Ｚ１）を有する。

【0087】

カメラ１０８は、位置１のＨＨＣ１０２の１つ以上の画像をキャプチャし、その画像をコンピューティングデバイス１１２（図１Ａ）及びコンピュータネットワーク１１４（図１Ａ）を介してゲームクラウドシステム１１６（図１Ａ）に送信する。ゲームクラウドシステム１１６は、画像から識別された位置１に基づいて、ＨＭＤ１０４のディスプレイ画面に表示された仮想シーンの状態の変化を判定し、ＨＭＤ１０４で表示される仮想シーン２０２Ａの状態を有する１つ以上のフレームを生成する。仮想シーンは、本明細書では画像シーンと呼ばれることもある。仮想シーン２０２Ａの状態を有するフレームは、ゲームクラウドシステム１１６によって符号化されて、１つ以上の符号化されたフレームを出力する。仮想シーン２０２Ａの状態を有する１つ以上の符号化されたフレームは、ゲームクラウドシステム１１６からコンピュータネットワーク１１４を介してコンピューティングデバイス１１２に送信される。コンピューティングデバイス１１４は、仮想シーン２０２Ａの状態を有する符号化フレームを復号して１つ以上のフレームを出力し、１つ以上のフレームを有線または無線接続を介してＨＭＤ１０４に送信して、ＨＭＤ１０４上に仮想シーン２０２Ａを表示する。仮想シーン２０２Ａは、仮想家屋、仮想銃、仮想木、及び仮想十字線などの１つ以上の仮想オブジェクトを含む。仮想シーン２０２Ａの仮想十字線は、カメラ１０８上の基準座標Ｒ１に対するＨＨＣ１０２の位置１に基づいてゲームクラウドシステム１１６によって判定される位置Ａを有する。

【0088】

図２Ｂは、カメラ１０８上の基準座標系に対するＨＨＣ１０２の別の位置２を説明するための、システム２００の実施形態の図である。図２Ａに示されているＨＭＤ１０４の位置と比較して、ＨＭＤ１０４の動きはまったくないか、または最小限である。カメラ１０８上の基準座標系は、同じ基準座標Ｒ１を有する。例えば、基準座標Ｒ１は、カメラ１１８（図１Ａ）に対して同じ場所または実質的に同じ場所にある実世界環境内の位置にある。ＨＨＣ１０２の位置２は、カメラ１０８上の基準座標系の基準座標Ｒ１に対する座標（Ｘ２，Ｙ２，Ｚ２）を有する。ＨＨＣ１０２の位置２は、ユーザ１０６がＨＨＣ１０２の位置１（図２Ａ）と比較して、ＨＨＣ１０２を自分の右に動かすときに達成される。

【0089】

カメラ１０８は、位置２のＨＨＣ１０２の１つ以上の画像をキャプチャし、その画像をコンピューティングデバイス１１２（図１Ａ）及びコンピュータネットワーク１１４（図１Ａ）を介してゲームクラウドシステム１１６（図１Ａ）に送信する。ゲームクラウドシステム１１６は、画像から識別された位置２に基づいて、仮想シーンの状態の変化を判定し、ＨＭＤ１０４で表示される仮想シーン２０２Ｂの状態を有する１つ以上のフレームを生成する。仮想シーン２０２Ｂの状態を有するフレームは、ゲームクラウドシステム１１６によって符号化されて、１つ以上の符号化されたフレームを出力する。仮想シーン２０２Ｂの状態を有する１つ以上の符号化されたフレームは、ゲームクラウドシステム１１６からコンピュータネットワーク１１４を介してコンピューティングデバイス１１２に送信される。コンピューティングデバイス１１４は、仮想シーン２０２Ｂの状態を有する符号化フレームを復号して１つ以上のフレームを出力し、１つ以上のフレームを有線または無線接続を介してＨＭＤ１０４に送信して、ＨＭＤ１０４上に仮想シーン２０２Ｂを表示する。仮想シーン２０２Ｂは、図２Ａを参照して上で説明された仮想オブジェクトを含む。仮想シーン２０２Ｂ内の仮想十字線は、ＨＨＣ１０２の位置２に基づいてゲームクラウドシステム１１６によって判定される位置Ｂを有する。位置Ｂが、シーン２０２Ａ内の仮想十字線の位置Ａの右側に移動したことに留意されたい。

【0090】

図２Ｃは、カメラ１０８上の基準座標系に対するＨＨＣ１０２のさらに別の位置３を説明するための、システム２００の実施形態の図である。カメラ１０８上の基準座標系は、同じ基準座標Ｒ１を有する。ＨＨＣ１０２の位置３は、カメラ１０８上の基準座標系の基準座標Ｒ１に対する座標（Ｘ３，Ｙ３，Ｚ３）を有する。ＨＨＣ１０２の位置３は、ユーザ１０６がＨＨＣ１０２の位置２（図２Ｂ）と比較して、ＨＨＣ１０２を自分の右に動かすときに達成される。

【0091】

カメラ１０８は、位置３のＨＨＣ１０２の１つ以上の画像をキャプチャし、その画像をコンピューティングデバイス１１２（図１Ａ）及びコンピュータネットワーク１１４（図１Ａ）を介してゲームクラウドシステム１１６（図１Ａ）に送信する。ゲームクラウドシステム１１６は、画像から識別された位置３に基づいて、仮想シーンの状態の変化を判定し、ＨＭＤ１０４で表示される仮想シーン２０２Ｃの状態を有する１つ以上のフレームを生成する。仮想シーン２０２Ｃの状態を有するフレームは、ゲームクラウドシステム１１６によって符号化されて、１つ以上の符号化されたフレームを出力する。仮想シーン２０２Ｃの状態を有する１つ以上の符号化されたフレームは、ゲームクラウドシステム１１６からコンピュータネットワーク１１４を介してコンピューティングデバイス１１２に送信される。コンピューティングデバイス１１４は、仮想シーン２０２Ｃの状態を有する符号化フレームを復号して１つ以上のフレームを出力し、１つ以上のフレームを有線または無線接続を介してＨＭＤ１０４に送信して、ＨＭＤ１０４上に仮想シーン２０２Ｃを表示する。仮想シーン２０２Ｃは、図２Ａを参照して上で説明された仮想オブジェクトを含む。仮想シーン２０２Ｃ内の仮想十字線は、ＨＨＣ１０２の位置３に基づいてゲームクラウドシステム１１６によって判定される位置Ｃを有する。位置Ｃが、シーン２０２Ｂ内の仮想十字線の位置Ｂの右側に移動したことに留意されたい。

【0092】

図２Ａ～２Ｃでは、ユーザ１０６の頭部の動きがまったくないか、または最小限である場合、カメラ１０８には動きがないか、または最小限であることに留意されたい。ユーザ１０６の頭は、図２Ａ～２Ｃにおいて静止しているか、または実質的に静止している。

【0093】

一実施形態では、仮想シーン２０２Ｂは、仮想シーン２０２Ａ内の仮想オブジェクトと比較して１つ以上の追加の仮想オブジェクトを含むか、または仮想シーン２０２Ａに示される仮想オブジェクトの１つ以上を除外する。同様に、仮想シーン２０２Ｃは、仮想シーン２０２Ａ内の仮想オブジェクトと比較して１つ以上の追加の仮想オブジェクトを含むか、または仮想シーン２０２Ａに示される仮想オブジェクトの１つ以上を除外する。

【0094】

一実施形態では、ＨＨＣ１０２が位置１にあるとき、ＨＨＣ１０２は、カメラ１０８上の基準座標系に対して向きＡにある。向きＡは、（角度Ｘ１、角度Ｙ１、角度Ｚ１）の角度を形成する。角度Ｘ１は、カメラ１０８上の基準座標系のＸ軸を基準にして形成され、角度Ｙ１は、カメラ１０８上の基準座標系のＹ軸に対して形成され、角度Ｚ１は、カメラ１０８上の基準座標系のＺ軸に対して形成される。同様に、ＨＨＣ１０２が位置２にあるとき、ＨＨＣ１０２は、カメラ１０８上の基準座標系に対して向きＢにある。向きＢは、（角度Ｘ２、角度Ｙ２、角度Ｚ２）の角度を形成する。角度Ｘ２は、カメラ１０８上の基準座標系のＸ軸を基準にして形成され、角度Ｙ２は、カメラ１０８上の基準座標系のＹ軸に対して形成され、角度Ｚ２は、カメラ１０８上の基準座標系のＺ軸に対して形成される。また、ＨＨＣ１０２が位置３にあるとき、ＨＨＣ１０２は、カメラ１０８上の基準座標系に対して向きＣにある。向きＣは、（角度Ｘ３、角度Ｙ３、角度Ｚ３）の角度を形成する。角度Ｘ３は、カメラ１０８上の基準座標系のＸ軸を基準にして形成され、角度Ｙ３は、カメラ１０８上の基準座標系のＹ軸に対して形成され、角度Ｚ３は、カメラ１０８上の基準座標系のＺ軸に対して形成される。一実施形態では、角度Ｘ１は、角度Ｘ２及びＸ３と同じであり、角度Ｙ１は、角度Ｙ２及びＹ３と同じであり、角度Ｚ１は、角度Ｚ２及びＺ３と同じである。

【0095】

図３Ａ～３Ｃは、ＨＨＣ１０２が静止しているか実質的に静止しているときのＨＭＤ１０４の位置の変化、及びＨＭＤ１０４上に表示される仮想シーン上の位置の変化の影響を説明するための、システム２００の実施形態の図である。図３Ａは、実世界環境の基準座標系に対するＨＭＤ１０４の位置ａを説明するための、システム２００の実施形態の図である。実世界環境の基準座標系は、ＨＨＣ１０２上のカメラの位置（図示せず）、またはカメラ１１８の位置（図１Ａ）、または実世界環境内の壁もしくは床もしくはオブジェクトなどの構造上の点にあり得る。カメラ１０８上の基準座標系は、実世界環境の基準座標系に対して位置ａにある基準座標Ｒ１を有する。ＨＭＤ１０４の位置ａは、実世界環境の基準座標系に対して座標（ｘａ，ｙａ，ｚａ）を有する。さらに、ＨＨＣ１０２は、ＨＭＤ１０４を基準にして位置１にある。

【0096】

カメラ１１８またはＨＨＣ１０２上のカメラ（図示せず）などの実世界環境のカメラは、位置ａのＨＭＤ１０４の１つ以上の画像をキャプチャし、その画像をコンピューティングデバイス１１２（図１Ａ）及びコンピュータネットワーク１１４（図１Ａ）を介してゲームクラウドシステム１１６（図１Ａ）に送信する。ゲームクラウドシステム１１６は、画像から識別された位置ａに基づいて、ＨＭＤ１０４のディスプレイ画面上に表示された仮想シーンの状態の変化を判定し、ＨＭＤ１０４上で表示される仮想シーン２０２Ａの状態を有する１つ以上のフレームを生成する。仮想シーン２０２Ａの状態を有するフレームは、符号化され、ＨＭＤ１０４上に仮想シーン２０２Ａを表示するために、ゲームクラウドシステム１１６からコンピュータネットワーク１１４及びコンピューティングデバイス１１２を介して送信される。仮想シーン２０２Ａの仮想十字線は、ＨＭＤ１０４のカメラ１０８上の基準座標Ｒ１に対するＨＨＣ１０２の位置１に基づいてゲームクラウドシステム１１６によって判定される位置Ａを有する。

【0097】

図３Ｂは、実世界環境の基準座標系に対するＨＭＤ１０４の位置ｂを説明するための、システム２００の実施形態の図である。カメラ１０８上の基準座標系は、実世界環境の基準座標系に対して位置ｂにある基準座標Ｒ２を有する。ＨＭＤ１０４の位置ｂは、実世界環境の基準座標系に対して座標（ｘｂ，ｙｂ，ｚｂ）を有する。また、ＨＨＣ１０２は、ＨＭＤ１０４を基準にして位置１にある。ＨＨＣ１０２は、ＨＭＤ１０４のカメラ１０８に対して同じ位置または実質的に同じ位置にあり、図３Ａに示されるＨＨＣ１０２の位置１と図３Ｂに示される位置１との間には動きがまったくないか、または最小限である。

【0098】

実世界環境のカメラは、位置ｂのＨＭＤ１０４の１つ以上の画像をキャプチャし、その画像をコンピューティングデバイス１１２（図１Ａ）及びコンピュータネットワーク１１４（図１Ａ）を介してゲームクラウドシステム１１６（図１Ａ）に送信する。ゲームクラウドシステム１１６は、画像から識別された位置ｂに基づいて、ＨＭＤ１０４のディスプレイ画面に表示された仮想シーンの状態の変化を判定し、ＨＭＤ１０４で表示される仮想シーン３０２Ａの状態を有する１つ以上のフレームを生成する。仮想シーン３０２Ａの状態を有する１つ以上のフレームは、ゲームクラウドシステム１１６によって符号化されて、１つ以上の符号化されたフレームを出力する。仮想シーン３０２Ａの状態を有する１つ以上の符号化されたフレームは、ゲームクラウドシステム１１６からコンピュータネットワーク１１４を介してコンピューティングデバイス１１２に送信される。コンピューティングデバイス１１２は、仮想シーン３０２Ａの状態を有する符号化されたフレームを復号して、１つ以上のフレームを出力し、有線または無線接続を介してフレームをＨＭＤ１０４に送信する。ＨＭＤ１０４は、仮想シーン３０２Ａの状態を有するフレームを受信し、仮想シーン３０２ＡをＨＭＤ１０４のディスプレイ画面に表示する。仮想シーン３０２Ａは、仮想シーン２０２Ａ内の仮想家屋の完全な画像と比較して、仮想家屋の部分的な画像を有する。さらに、仮想シーン３０２Ａは、仮想シーン２０２Ａ内の仮想木の部分的な画像と比較して、仮想木の完全な画像を有する。また、仮想シーン３０２Ａは、仮想十字線が仮想家屋を指しているのではなく、仮想シーン２０２Ａの仮想背景の一部を指している仮想シーン２０２Ａと比較して、仮想家屋を指している仮想十字線を有する。仮想シーン３０２Ａでは、図３ＡのＨＭＤ１０４の位置ａと比較してＨＭＤ１０４が右に移動するため、仮想シーン３０２Ａ内のすべての仮想オブジェクトは、仮想シーン２０２Ａと比較して左に移動する。

【0099】

仮想シーン３０２Ａの仮想十字線は、カメラ１０８の基準座標Ｒ２の代わりにカメラ１０８の基準座標Ｒ１に対するＨＨＣ１０２の位置１に基づいてゲームクラウドシステム１１６によって判定される、同じ位置Ａを有する。ＨＨＣ１０２の位置１は、ＨＭＤ１０４が位置ａから位置ｂに移動したとしても、ＨＭＤ１０４の位置ａを基準にして判定される。例えば、カメラ１０８は、位置１のＨＨＣ１０２の１つ以上の画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングユニット１１２に送信する。また、実世界環境のカメラは、位置ｂのＨＭＤ１０４の１つ以上の画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングユニット１１２に送信する。コンピューティングユニット１１２は、位置１のＨＨＣ１０２の画像及び位置ｂのＨＭＤ１０４の画像を、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する。

【0100】

ゲームクラウドシステム１１６は、画像から、ＨＨＣ１０２の位置１及びＨＭＤ１０４の位置ｂを判定する。ゲームクラウドシステム１１６は、ＨＨＣ１０２の位置１が変化しておらず、ＨＭＤ１０４の位置が位置ａから位置ｂに変化したと判定する。ＨＨＣ１０２の位置１が変化しておらず、ＨＭＤ１０４の位置が位置ａから位置ｂに変化したと判定すると、ゲームクラウドシステム１１６は、仮想クロスバーの位置Ａが仮想シーン２０２Ａのそれと同じままである仮想シーン３０２Ａの状態を生成する。ゲームクラウドシステム１１６は、ＨＨＣ１０２の位置１が変化していないと判定すると、位置ａから位置ｂへのＨＭＤ１０４の位置の変化を無視する。位置１のＨＨＣ１０２と位置ａのＨＭＤ１０４との間の相対位置から、位置１のＨＨＣ１０２と位置ｂのＨＭＤ１０４との間の相対位置に変化があるが、ゲームクラウドシステム１１６は、仮想クロスバーの位置Ａを変更しない。むしろ、仮想シーン２０２Ａ内の仮想木及び仮想家屋などの仮想オブジェクトが移動される。

【0101】

図３Ｃは、実世界環境の基準座標系に対するＨＭＤ１０４の位置ｃを説明するための、システム２００の実施形態の図である。カメラ１０８上の基準座標系は、実世界環境の基準座標系に対して位置ｃにある基準座標Ｒ３を有する。ＨＭＤ１０４の位置ｃは、実世界環境の基準座標系に対して座標（ｘｃ，ｙｃ，ｚｃ）を有する。また、ＨＨＣ１０２は、ＨＭＤ１０４を基準にして位置１にある。図３Ｂに示されている位置１からのＨＨＣ１０２の動きには変化がまったくないか、または最小限である。

【0102】

実世界環境のカメラは、位置ｃのＨＭＤ１０４の１つ以上の画像をキャプチャし、その画像をコンピューティングデバイス１１２（図１Ａ）及びコンピュータネットワーク１１４（図１Ａ）を介してゲームクラウドシステム１１６（図１Ａ）に送信する。ゲームクラウドシステム１１６は、画像から識別された位置ｃに基づいて、ＨＭＤ１０４のディスプレイ画面上に表示された仮想シーンの状態の変化を判定し、ＨＭＤ１０４上に表示される仮想シーン３０２Ｂの状態を有する１つ以上のフレームを生成する。仮想シーン３０２Ｂの状態を有する１つ以上のフレームは、ゲームクラウドシステム１１６によって符号化されて、１つ以上の符号化されたフレームを出力する。仮想シーン３０２Ｂの状態を有する１つ以上の符号化されたフレームは、ゲームクラウドシステム１１６からコンピュータネットワーク１１４を介してコンピューティングデバイス１１２に送信される。コンピューティングデバイス１１２は、仮想シーン３０２Ｂの状態を有する符号化されたフレームを復号して、１つ以上のフレームを出力し、フレームを有線または無線接続を介してＨＭＤ１０４に送信する。ＨＭＤ１０４は、仮想シーン３０２Ｂの状態を有するフレームを受信し、仮想シーン３０２ＢをＨＭＤ１０４のディスプレイ画面に表示する。仮想シーン３０２Ｂは、仮想シーン３０２Ａ内の仮想家屋の部分画像と比較して、仮想家屋の画像を有していない。さらに、仮想シーン３０２Ｂは、仮想シーン３０２Ａ内の仮想木の完全な画像と比較して、仮想木の部分的な画像を有する。また、仮想シーン３０２Ｂは、仮想十字線が仮想家屋を指している仮想シーン３０２Ａと比較して、仮想木を指している仮想十字線を有する。仮想シーン３０２Ｂでは、図３ＢのＨＭＤ１０４の位置ｂと比較してＨＭＤ１０４が右に移動するため、仮想シーン３０２Ｂ内のすべての仮想オブジェクトは、仮想シーン３０２Ａと比較して左に移動する。

【0103】

仮想シーン３０２Ｂの仮想十字線は、カメラ１０８の基準座標Ｒ３の代わりにカメラ１０８の基準座標Ｒ１に対するＨＨＣ１０２の位置１に基づいてゲームクラウドシステム１１６によって判定される、同じ位置Ａを有する。ＨＨＣ１０２の位置１は、ＨＭＤ１０４が位置ｂから位置ｃに移動したとしても、ＨＭＤ１０４の位置ａを基準にして判定される。例えば、カメラ１０８は、位置１のＨＨＣ１０２の１つ以上の画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングユニット１１２に送信する。また、実世界環境のカメラは、位置ｃのＨＭＤ１０４の１つ以上の画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングユニット１１２に送信する。コンピューティングユニット１１２は、位置１のＨＨＣ１０２の画像及び位置ｃのＨＭＤ１０４の画像を、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する。

【0104】

ゲームクラウドシステム１１６は、画像から、ＨＨＣ１０２の位置１及びＨＭＤ１０４の位置ｃを判定する。ゲームクラウドシステム１１６は、ＨＨＣ１０２の位置１が変化しておらず、ＨＭＤ１０４の位置が位置ｂから位置ｃに変化したと判定する。ＨＨＣ１０２の位置１が変化しておらず、ＨＭＤ１０４の位置が位置ｂから位置ｃに変化したと判定すると、ゲームクラウドシステム１１６は、仮想クロスバーの位置Ａが仮想シーン２０２Ａのそれと同じままである仮想シーン３０２Ｂの状態を生成する。ゲームクラウドシステム１１６は、ＨＨＣ１０２の位置１が変化していないと判定すると、位置ｂから位置ｃへのＨＭＤ１０４の位置の変化を無視する。位置１のＨＨＣ１０２と位置ｂのＨＭＤ１０４との間の相対位置から、位置１のＨＨＣ１０２と位置ｃのＨＭＤ１０４との間の相対位置への変化があるが、ゲームクラウドシステム１１６は仮想クロスバーの位置Ａを変更しない。

【0105】

図３Ａ～３Ｃでは、ユーザ１０６の手の動きがまったくないか、または最小限である場合、ＨＨＣ１０２には動きがまったくないか、または最小限であることに留意されたい。ユーザ１０６の手は、図３Ａ～３Ｃにおいて静止しているか、または実質的に静止している。

【0106】

一実施形態では、仮想シーン３０２Ａは、仮想シーン２０２Ａ内のものと比較して１つ以上の追加の仮想オブジェクトを含むか、または仮想シーン２０２Ａに示される仮想オブジェクトの１つ以上を除外する。同様に、仮想シーン３０２Ｂは、仮想シーン２０２Ａ内のものと比較して１つ以上の追加の仮想オブジェクトを含むか、または仮想シーン２０２Ａに示される仮想オブジェクトの１つ以上を除外する。

【0107】

図４Ａ～４Ｃは、ＨＨＣ１０２の位置の変化と同時のＨＭＤ１０４の位置の変化、及びＨＭＤ１０４上に表示される仮想シーン上の位置の変化の影響を説明するための、システム２００の実施形態の図である。図４Ａは、実世界環境の基準座標系に対するＨＭＤ１０４の位置ａと、カメラ１０８の基準座標系Ｒ１に対するＨＨＣ１０２の位置１を説明するための、システム２００の実施形態の図である。また、ＨＨＣ１０２は、ＨＭＤ１０４を基準にして位置１にある。

【0108】

実世界環境のカメラは、位置ａのＨＭＤ１０４の１つ以上の画像をキャプチャし、カメラ１０８は、位置１のＨＨＣ１０２の１つ以上の画像をキャプチャする。実世界環境のカメラ及びカメラ１０８によってキャプチャされた画像は、コンピューティングデバイス１１２（図１Ａ）及びコンピュータネットワーク１１４（図１Ａ）を介してゲームクラウドシステム１１６（図１Ａ）に送信される。ゲームクラウドシステム１１６は、ＨＭＤ１０４の画像から識別された位置ａ及びＨＨＣ１０２の画像から識別された位置１に基づいて、ＨＭＤ１０４のディスプレイ画面上に表示された仮想シーンの状態の変化を判定し、ＨＭＤ１０４で表示される仮想シーン２０２Ａの状態を有する１つ以上のフレームを生成する。仮想シーン２０２Ａの状態を有するフレームは、符号化され、ＨＭＤ１０４上に仮想シーン２０２Ａを表示するために、ゲームクラウドシステム１１６からコンピュータネットワーク１１４及びコンピューティングデバイス１１２を介して送信される。仮想シーン２０２Ａの仮想十字線は、ＨＭＤ１０４のカメラ１０８上の基準座標Ｒ１に対するＨＨＣ１０２の位置１に基づいてゲームクラウドシステム１１６によって判定される位置Ａを有する。

【0109】

図４Ｂは、ＨＨＣ１０２が位置２にある間の実世界環境の基準座標系に対するＨＭＤ１０４の位置ｂを説明するための、システム２００の実施形態の図である。カメラ１０８は、位置２のＨＨＣ１０２の１つ以上の画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングユニット１１２に送信する。また、実世界環境のカメラは、位置ｂのＨＭＤ１０４の１つ以上の画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングユニット１１２に送信する。コンピューティングユニット１１２は、位置２のＨＨＣ１０２の画像及び位置ｂのＨＭＤ１０４の画像を、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する。ゲームクラウドシステム１１６は、画像から識別された位置２及びｂに基づいて、ＨＭＤ１０４のディスプレイ画面に表示された仮想シーンの状態の変化を判定し、ＨＭＤ１０４で表示される仮想シーン４０２Ａの状態を有する１つ以上のフレームを生成する。仮想シーン４０２Ａの状態を有する１つ以上のフレームは、ゲームクラウドシステム１１６によって符号化されて、１つ以上の符号化されたフレームを出力する。仮想シーン４０２Ａの状態を有する１つ以上の符号化されたフレームは、ゲームクラウドシステム１１６からコンピュータネットワーク１１４を介してコンピューティングデバイス１１２に送信される。コンピューティングデバイス１１２は、仮想シーン４０２Ａの状態を有する符号化されたフレームを復号して、１つ以上のフレームを出力し、そのフレームを有線または無線接続を介してＨＭＤ１０４に送信する。ＨＭＤ１０４は、仮想シーン４０２Ａの状態を有するフレームを受信し、仮想シーン４０２ＡをＨＭＤ１０４のディスプレイ画面に表示する。仮想シーン４０２Ａは、仮想シーン２０２Ａ内の仮想家屋の完全な画像と比較して、仮想家屋の部分的な画像を有する。さらに、仮想シーン４０２Ａは、仮想シーン２０２Ａ内の仮想木の部分的な画像と比較して、仮想木の完全な画像を有する。また、仮想シーン４０２Ａは、仮想十字線が別の場所を指している仮想シーン２０２Ａと比較して異なる場所を指している仮想十字線を有する。仮想シーン４０２Ａでは、図４ＡのＨＭＤ１０４の位置ａと比較してＨＭＤ１０４が右に移動するため、仮想シーン４０２Ａ内のすべての仮想オブジェクトは、仮想シーン２０２Ａと比較して左に移動する。

【0110】

また、仮想シーン４０２Ａの仮想十字線は、カメラ１０８の基準座標Ｒ２の代わりにカメラ１０８の基準座標Ｒ１に対するＨＨＣ１０２の位置２に基づいてゲームクラウドシステム１１６によって判定される、位置Ｂを有する。ＨＨＣ１０２の位置２は、ＨＭＤ１０４が位置ａから位置ｂに移動したとしても、ＨＭＤ１０４の位置ａを基準にして判定される。例えば、ゲームクラウドシステム１１６は、カメラ１０８及び実世界環境のカメラから受信した画像から、ＨＨＣ１０２の位置２及びＨＭＤ１０４の位置ｂを判定する。ゲームクラウドシステム１１６は、ＨＨＣ１０２の位置１がＨＭＤ１０４の前の位置ａに対して位置２に変化し、ＨＭＤ１０４の位置が位置ａから位置ｂに変化したと判定する。ＨＨＣ１０２の位置１がＨＭＤ１０４の前の位置ａに対して位置２に変更され、ＨＭＤ１０４の位置が位置ａから位置ｂに変更されたと判定すると、ゲームクラウドシステム１１６は、仮想クロスバーの位置Ａが仮想シーン４０２Ａの位置Ｂに変化する仮想シーン４０２Ａの状態を生成する。ゲームクラウドシステム１１６は、仮想クロスバーの位置Ｂを判定する際に、位置ａから位置ｂへのＨＭＤ１０４の位置の変化を無視する。位置１のＨＨＣ１０２と位置ａのＨＭＤ１０４との間の相対位置から、位置２のＨＨＣ１０２と位置ｂのＨＭＤ１０４との間の相対位置への変化があるが、ゲームクラウドシステム１１６は、ＨＭＤ１０４位置の変化を考慮せずに仮想クロスバーの位置Ｂを判定する。

【0111】

図４Ｃは、ＨＨＣ１０２が位置３にある間の実世界環境の基準座標系に対するＨＭＤ１０４の位置ｃを説明するための、システム２００の実施形態の図である。カメラ１０８は、位置３のＨＨＣ１０２の１つ以上の画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングユニット１１２に送信する。また、実世界環境のカメラは、位置ｃのＨＭＤ１０４の１つ以上の画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングユニット１１２に送信する。コンピューティングユニット１１２は、位置３のＨＨＣ１０２の画像及び位置ｃのＨＭＤ１０４の画像を、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する。ゲームクラウドシステム１１６は、画像から識別された位置３及びｃに基づいて、ＨＭＤ１０４のディスプレイ画面上に表示された仮想シーンの状態の変化を判定し、ＨＭＤ１０４で表示される仮想シーン４０２Ｂの状態を有する１つ以上のフレームを生成する。

【0112】

仮想シーン４０２Ｂの状態を有する１つ以上のフレームは、ゲームクラウドシステム１１６によって符号化されて、１つ以上の符号化されたフレームを出力する。仮想シーン４０２Ｂの状態を有する１つ以上の符号化されたフレームは、ゲームクラウドシステム１１６からコンピュータネットワーク１１４を介してコンピューティングデバイス１１２に送信される。コンピューティングデバイス１１２は、仮想シーン４０２Ｂの状態を有する符号化されたフレームを復号して、１つ以上のフレームを出力し、そのフレームを有線または無線接続を介してＨＭＤ１０４に送信する。ＨＭＤ１０４は、仮想シーン４０２Ｂの状態を有するフレームを受信し、仮想シーン４０２ＢをＨＭＤ１０４のディスプレイ画面に表示する。仮想シーン４０２Ｂは、仮想シーン４０２Ａ内の仮想家屋の部分的な画像と比較して、仮想家屋の画像を有していない。さらに、仮想シーン４０２Ｃは、仮想シーン４０２Ａ内の仮想木の完全な画像と比較して、仮想木の部分的な画像を有する。また、仮想シーン４０２Ｂは、仮想十字線が別の場所を指している仮想シーン４０２Ａと比較して仮想シーン４０２Ｂ内の異なる場所を指している仮想十字線を有する。仮想十字線は、仮想シーン４０２Ｂの位置Ｃにあり、仮想シーン４０２Ａの位置Ｂにある。仮想シーン４０２Ｂでは、図４ＢのＨＭＤ１０４の位置ｂと比較してＨＭＤ１０４が右に移動するため、仮想シーン４０２Ｂ内のすべての仮想オブジェクトは、仮想シーン４０２Ａと比較して左に移動する。

【0113】

仮想十字線の位置Ｃは、カメラ１０８の基準座標Ｒ３の代わりにカメラ１０８の基準座標Ｒ１に対するＨＨＣ１０２の位置３に基づいて、ゲームクラウドシステム１１６によって判定される。ＨＨＣ１０２の位置３は、ＨＭＤ１０４が位置ｂから位置ｃに移動したとしても、ＨＭＤ１０４の位置ａを基準にして判定される。例えば、ゲームクラウドシステム１１６は、カメラ１０８及び実世界環境のカメラから受信した画像から、ＨＨＣ１０２の位置３及びＨＭＤ１０４の位置ｃを判定する。ゲームクラウドシステム１１６は、ＨＨＣ１０２の位置２がＨＭＤ１０４の前の位置ａに対して位置３に変化し、ＨＭＤ１０４の位置が位置ｂから位置ｃに変化したと判定する。ＨＨＣ１０２の位置２がＨＭＤ１０４の前の位置ａに対して位置３に変更され、ＨＭＤ１０４の位置が位置ｂから位置ｃに変更されたと判定すると、ゲームクラウドシステム１１６は、仮想クロスバーの位置Ｂが仮想シーン４０２Ｂ内の位置Ｃに変化する仮想シーン４０２Ｂの状態を生成する。ゲームクラウドシステム１１６は、仮想クロスバーの位置Ｃを判定する際に、位置ｂから位置ｃへのＨＭＤ１０４の位置の変化を無視する。位置２のＨＨＣ１０２と位置ｂのＨＭＤ１０４との間の相対位置から、位置３のＨＨＣ１０２と位置ｃのＨＭＤ１０４との間の相対位置への変化があるが、ゲームクラウドシステム１１６は、ＨＭＤ１０４位置の変化を考慮せずに仮想クロスバーの位置Ｃを判定する。

【0114】

仮想シーン内の仮想クロスバーの位置は、仮想シーンのコーナー上の点に対してゲームクラウドシステム１１６によって判定されることに留意されたい。例えば、仮想シーン３０２Ａ（図３Ｂ）内の仮想クロスバーの位置は、仮想シーン３０２Ａの右上コーナーの点を基準にして判定される。本明細書で説明する各仮想シーンは、長方形または正方形などの多角形状を有する。長方形または正方形の形状には４つのコーナーがある。

【0115】

図５Ａは、本開示で説明される実施形態による、ゲームクラウドシステム１１６（図１Ａ）によって実行されるアプリケーションなどのインタラクティブプログラムとインタフェースするためのビデオゲームコントローラ５００の斜視図を示す。ビデオゲームコントローラ５００は、図１ＡのＨＨＣ１０２の一例である。ビデオゲームコントローラ５００は、本体５０２と、本体５０２から延びる延長部５０４Ａ及び５０４Ｂとを含む。延長部５０４Ａ及び５０４Ｂは、それぞれ、ユーザ１０６（図１Ａ）の左手及び右手によって保持され、したがって、ユーザ１０６によるビデオゲームコントローラ５００の安全な把持を可能にするハンドルとして機能する。本体５０２の上面には、ボタン５０６Ａ、５０６Ｂ、５０６Ｃ、及び５０６Ｄ、ジョイスティック５０８Ａ及び５０８Ｂ、ならびに複数の方向パッド５１０Ａ、５１０Ｂ、５１０Ｃ、及び５１０Ｄなどの様々な入力デバイスが含まれている。また、ビデオゲームコントローラ５００の本体５０２を通って上から下に延びる３次元（３Ｄ）制御バー５１２の上部も示されている。スピーカ５１４は、ユーザ１０６にフィードバックを提供する音声を再生するために提供される。

【0116】

さらに、ビデオゲームコントローラ５００は、延長部５０４Ａ及び５０４Ｂがユーザ１０６によってそれぞれ左手及び右手で保持されたときにユーザ１０６に面する本体５０２の裏側に沿って画定された、タッチパネル５１６を含む。タッチパネル５１６は、実質的に垂直に配向され、延長部５０４Ａと５０４Ｂの間に配置され、その結果、延長部５０４Ａ及び５０４Ｂを保持するユーザ１０６は、ユーザ１０６のいずれかの手の親指でタッチパネル５１６を容易に使用できる。タッチパネル５１６は、タッチセンシティブ技術（例えば、抵抗性、容量性など）を利用して、ユーザ１０６によって行われたタッチジェスチャを検出する。図示の実施形態では、タッチパネル５１６はまた、上から下へのわずかな外向きの湾曲を有し、これは、ユーザ１０６がタッチパネル５１６上の自分の親指のおおよその垂直位置を感覚だけに基づいて容易に判定することを可能にするその形状によって触覚を提供する。

【0117】

ビデオゲームコントローラ５００は、タッチパッド５１８を含む。タッチパッド５１８は、ユーザ１０６からタッチ、またはクリックなどの選択を受け取って入力データを生成する。タッチパッド５１８は、ジョイスティック５０８Ａ及び５０８Ｂの上に、かつボタン５０６Ａ、５０６Ｂ、５０６Ｃ、及び５０６Ｄのグループ５２０と、方向パッド５１０Ａ、５１０Ｂ、５１０Ｃ、及び５１０Ｄの別のグループ５２２との間に配置される。タッチパッド５１８の下には、ライトバー５２４がある。ライトバー５２４は、一連の発光ダイオード（ＬＥＤ）または一連の白熱灯または赤外線ライトバーなどの光源を含む。ライトバー５２４の他の例には、反射テープまたはマーカーが含まれる。ライトバー５２４は、タッチパッド５１８を介してカメラ１０８（図１Ａ）に見える。ライトバー５２４は、タッチパッド５１８の一部であり、その部分は、半透明の材料または透明な材料から作られている。ライトバー５２４は、ビデオゲームコントローラ５００内の電池によって電力を供給される。

【0118】

図５Ｂは、ＨＭＤ１０４のカメラ１０８（図１Ａ）によって見た向き１を有するビデオゲームコントローラ５００の実施形態の図である。本体５０２上に、グループ５２０と５２２との間に位置するマーカー５２６が存在する。マーカー５２６の例には、ＬＥＤ光源または白熱光源または反射テープが含まれる。マーカー５２６は、三角形５２８の頂点に位置している。三角形５２８の残りの２つの頂点は、ライトバー５２４のエッジポイント５２８及び５３０によって形成される。

【0119】

コントローラ５００の向き１は、カメラ１０８のＸ軸に対して形成される角度、カメラ１０８のＹ軸に対して形成される角度、及びカメラ１０８のＺ軸に対して形成される角度を含む。例えば、向き１は（θ１，φ１，γ１）であり、ここで、θ１はカメラ１０８のＸ軸に対して形成される角度であり、φ１はカメラ１０８のＹ軸に対して形成される角度であり、γ１は、カメラ１０８のＺ軸に対して形成される角度である。カメラ１０８は、カメラ１０８によって見られるように、ライトバー５２４がマーカー５２６の水平レベル５３２の上にある向き１の１つ以上の画像をキャプチャする。ライトバー５２４が水平レベル５３２の上にあるとき、ライトバー５２４のエッジポイント５２８及び５３０は、マーカー５２６の上にある。

【0120】

図５Ｃは、ＨＭＤ１０４のカメラ１０８（図１Ａ）によって見た向き２を有するビデオゲームコントローラ５００の実施形態の図である。向き２は（θ２，φ２，γ２）であり、ここで、θ２はカメラ１０８のＸ軸に対して形成される角度であり、φ２はカメラ１０８のＹ軸に対して形成される角度であり、γ２は、カメラ１０８のＺ軸に対して形成される角度である。カメラ１０８は、カメラ１０８によって見られるように、ライトバー５２４がマーカー５２６の同じ水平レベル５３２またはほぼ同じ水平レベル５３２にある向き２の１つ以上の画像をキャプチャする。ライトバー５２４が同じ水平レベル５３２またはほぼ同じ水平レベル５３２にあるとき、ライトバー５２４のエッジポイント５２８はマーカー５２６の上にあり、ライトバー５２４のエッジポイント５３０はマーカー５２６の下にある。

【0121】

図５Ｄは、ＨＭＤ１０４のカメラ１０８（図１Ａ）によって見た向き３を有するビデオゲームコントローラ５００の実施形態の図である。向き３は（θ３，φ３，γ３）であり、ここで、θ３はカメラ１０８のＸ軸に対して形成される角度であり、φ３はカメラ１０８のＹ軸に対して形成される角度であり、γ３は、カメラ１０８のＺ軸に対して形成される角度である。カメラ１０８は、カメラ１０８によって見られるように、ライトバー５２４がマーカー５２６の水平レベル５３２の下にある向き３の１つ以上の画像をキャプチャする。ライトバー５２４が水平レベル５３２の下にあるとき、ライトバー５２４のエッジポイント５２８及び５３０は、マーカー５２６の下に位置する。

【0122】

一実施形態では、ビデオゲームコントローラ５００は、実世界環境から音声をキャプチャするための１つ以上のマイクロフォンを含む。一例として、マイクロフォンはマイクロフォンのアレイとして配置される。配置は、マイクの線形配列である。３つ以上のマイクロフォンがマイクロフォンのアレイに含まれる場合、マイクロフォンアレイによってキャプチャされたオーディオデータの分析に基づいて、マイクロフォンアレイに対して相対的な音源の位置を判定することが可能である。より具体的には、音源は、マイクロフォンアレイの各マイクロフォンによってキャプチャされたその音声の相対的なタイミングに基づいて、マイクロフォンアレイに対して相対的に位置特定することができる。ビデオゲームコントローラ５００の位置及び向き、ひいてはマイクロフォンアレイの位置及び向きと組み合わせて、インタラクティブ環境内の音源の位置を判定することができる。さらに、キャプチャされた音声を処理して、実世界環境の特定の領域から発せられない音声を除外することができる。

【0123】

図６は、複数のカメラ６０４Ａ及び６０４Ｂを備えたＨＭＤ６０２を説明するための、システム６００の実施形態の図である。カメラ６０４Ａ及び６０４Ｂは、ＨＭＤ６０２の下部領域に配置されている。ＨＭＤ６０２の下部領域は、ＨＭＤ６０２の１つ以上のディスプレイ画面の下にある。ＨＭＤ６０２は、図１ＡのＨＭＤ１０４の例である。例えば、カメラ６０４Ｂは、カメラ１０８がＨＭＤ１０４の中央下部領域の近くに配置されるのではなく、ＨＭＤ１０４の左下領域の近くに配置される場合のカメラ１０８の例である。

【0124】

カメラ６０４Ａは、ＨＭＤ６０２の下部領域の一端に配置され、カメラ６０４Ｂは、下部領域の反対側の端に配置されている。カメラ６０４Ａは、原点（０，０，０）などの基準座標Ｒ４を有するＸＡＹＡＺＡ基準座標系などの基準座標系を提供する。同様に、カメラ６０４Ｂは、原点（０，０，０）などの基準座標Ｒ５を有するＸＢＹＢＺＢ基準座標系などの別の基準座標系を提供する。カメラ６０４Ａは、コントローラ１０２に向かって下向きの視野６０６Ａを有し、カメラ６０４Ｂは、コントローラ１０２がユーザ１０６によってＨＭＤ６０２の水平レベルより下のレベルに保持されたときに、同じくコントローラ１０２に向かって下向きの別の視野６０６Ｂを有する。カメラ６０４Ａは、有線または無線接続を介して図１Ａのコンピューティングデバイス１１２に結合され、カメラ６０４Ｂは、有線または無線接続を介してコンピューティングデバイス１１２に結合されている。

【0125】

カメラ６０４Ａは、視野６０６Ａ内のＨＨＣ１０２の１つ以上の画像をキャプチャし、カメラ６０４Ｂは、視野６０６Ｂ内のＨＨＣ１０２の１つ以上の画像をキャプチャする。カメラ６０４Ａ及び６０４Ｂによってキャプチャされた画像は、ＨＭＤ６０２から、有線または無線接続を介して、図１Ａのコンピューティングデバイス１１２に送信される。図１Ａのコンピューティングデバイス１１２は、カメラ６０４Ａ及び６０４Ｂによってキャプチャされた画像を、コンピュータネットワーク１１４を介して、図１Ａのゲームクラウドシステム１１６に送信する。ゲームクラウドシステム１１６は、カメラ６０４Ａ及び６０４Ｂによってキャプチャされた画像から、ＨＨＣ１０２の位置１及び向きを判定する。一例として、位置１は、基準座標Ｒ４からＸＡ１の距離、基準座標Ｒ４からＹＡ１の距離、及び基準座標Ｒ４からＺＡ１の距離を有する。同様に、カメラ６０４Ａによってキャプチャされた画像から判定されるＨＨＣ１０２の向きは、ＸＡＹＡＺＡ基準座標系のＸＡ軸からθＡ１の角度、ＸＡＹＡＺＡ基準座標系のＹＡ軸からφＡ１の角度、及びＸＡＹＡＺＡ基準座標系のＺＡ軸からのγＡ１の角度を有する。別の例として、位置１は、基準座標Ｒ５からＸＢ１の距離、基準座標Ｒ５からＹＢ１の距離、及び基準座標Ｒ５からＺＢ１の距離を有する。同様に、カメラ６０４Ｂによってキャプチャされた画像から判定されるＨＨＣ１０２の向きは、ＸＢＹＢＺＢ基準座標系のＸＢ軸からθＢ１の角度、ＸＢＹＢＺＢ基準座標系のＹＢ軸からφＢ１の角度、及びＸＢＹＢＺＢ基準座標系のＺＢ軸からのγＢ１の角度を有する。

【0126】

ゲームクラウドシステム１１６は、カメラ６０４Ａ及び６０４Ｂによってキャプチャされた画像から判定されるように、ＨＨＣ１０２の位置１及び向きに基づいて仮想シーンの状態を修正する。ＨＨＣ１０２がカメラ６０４Ａの視野６０６Ａの外側にあるとき、カメラ６０４ＢはＨＨＣ１０２の画像をキャプチャすることに留意されたい。同様に、ＨＨＣ１０２がカメラ６０４Ｂの視野６０６Ｂの外側にあるとき、カメラ６０４ＡはＨＨＣ１０２の画像をキャプチャする。カメラ６０４Ａ及び６０４Ｂの両方による方が、カメラ１０８によるよりもＨＨＣ１０２の動きのカバー範囲がより広い。

【0127】

図７Ａは、ＨＭＤ７００の底面等角図の実施形態の図であり、これは、図１ＡのＨＭＤ１０４または本明細書に記載の他の任意のＨＭＤの例である。ＨＭＤ７００は、前部領域７０４と、ＨＭＤ７００のアイマスク７０３の底面である下部領域７０２とを含む、アイマスク７０３を有する。前部領域７０４は、アイマスク７０３の前面であり、前面は、ユーザ１０６の目を覆うように、ユーザ１０６の目の前に配置される。ＨＭＤ７００は、ヘッドバンド７０６を有し、これは、本明細書では、トップヘッドバンドストラップと呼ばれることもある。ヘッドバンド７０６は、アイマスク７０３に結合され、ユーザ１０６（図１Ａ）の頭の周りを包むかまたは周りに延びる。アイマスク７０３は、ゴムまたはプラスチックで作られたフレーム７０５を含み、フレーム７０５は、ユーザ１０６の目の周りにフィットする。下部領域７０２は、ヘッドバンド７０６に接続されておらず、フレーム７０５によってヘッドバンド７０６から分離されている。また、下部領域７０２は、ユーザ１０６の目を覆うことができず、ユーザ１０６の目の下にある。フレーム７０５は、取り付けられるか接続されるなどして、下部領域７０２に結合されており、前部領域７０４は、下部領域７０２に結合されている。例えば、フレーム７０５は、下部領域７０２に接着されるかネジ止めされており、前部領域７０４は、下部領域７０２にネジ止めされている。下部領域７０２は前部領域７０４に隣接しており、フレーム７０５は下部領域７０２に隣接している。ヘッドは、フレーム７０５とヘッドバンド７０６との間に形成された空間を通過する。

【0128】

ＨＭＤ７００の１つ以上のディスプレイ画面は、前部領域７０４内に配置されている。また、カメラ７１０は、カメラ７１０のレンズが下部領域７０２の外面を通って延びるように、下部領域７０２に取り付けられている。カメラ７１０は、前部領域７０４とフレーム７０５との間に配置されている。カメラ７１０は、図１Ａのカメラ１０８の例である。レンズは、下部領域７０２の外面内に埋め込まれているか、または外面から延在している。カメラ７１０は、下部領域７０２の外面内に埋め込まれている複数の光源７０８Ａ及び７０８Ｂの間に配置されている。光源７０８Ａ及び７０８Ｂは、ＨＭＤ７００の位置及び向きを判定するために使用されるマーカーの例である。例えば、図１Ａのカメラ１１８は、光７０８Ａ及び７０８ＢならびにＨＭＤ７００の表面上の他の任意の光源の１つ以上の画像をキャプチャして、実世界環境におけるＨＭＤ７００の位置及び向きを判定する。本明細書に記載されるマーカーの他の例には、再帰反射テープまたは反射テープまたは蛍光色が含まれる。光源の例には、赤外線光源またはＬＥＤ光源が含まれる。カメラ７１０は、下部領域７０２の前部に配置され、前部は、フレーム７０５に対してよりも前部領域７０４に対して近い。

【0129】

前部領域７０４とフレーム７０５との間に光源７０７Ｂが存在する。同様に、前部領域７０４とフレーム７０５との間に別の光源７０７Ａが存在する。光源７０７Ａは、前部領域７０４の別の側と比較して、前部領域７０４の反対側にある。前部領域７０４の反対側は、光源７０７Ｂに隣接している。

【0130】

一実施形態では、前部領域７０４は、光源７０７Ａ及び７０７Ｂを含むように拡張される。光源７０７Ａは、光源７０７Ｂが配置されている前部領域７０４の側よりも前部領域７０４の側に配置されている。

【0131】

一実施形態では、カメラ７１０は、ＨＭＤ７００の前部領域７０４または任意の他の領域に配置されている。

【0132】

一実施形態では、カメラ７１０は、下部領域７０２の後部に配置され、後部は、前部領域７０４に対してよりもフレーム７０５に対して近い。

【0133】

図７Ｂは、ＨＭＤ７００の上面等角図の実施形態の図である。ＨＭＤ７００のアイマスク７０３は、前部領域７０４に隣接する頂部領域などの上部領域７１２を含む。上部領域７１２は、アイマスク７０３の上面である。上部領域７１２は、前部領域７０４に結合されている。例えば、上部領域７１２は、前部領域７０４にネジ止めされるかまたは取り付けられている。前部領域７０４は、上部領域７１２と下部領域７０２との間に位置する。上部領域７１２は、前部領域７０４の隣などに隣接して、図７Ａの下部領域７０２に面している。上部領域７１２、前部領域７０４、及び下部領域７０２は、ＨＭＤ７００のアイマスク７０３の一部を形成する。上部領域７１２は、フレーム７０５に隣接し、フレーム７０５に結合されている。例えば、上部領域７１２は、フレーム７０５にネジ止めされるかまたは接着されている。アイマスク７０３は、フレーム７０５に隣接している。ヘッドバンド７０６は、上部領域７１２に、ネジ止めされるか、取り付けられるか、または接着されるなどして結合されている。上部領域７１２内には、上部領域７１２の外面内に埋め込まれた光源７０８Ｃ及び７０８Ｄが存在する。

【0134】

図７Ｃは、複数のカメラ７１０、７５２Ａ、及び７５２Ｂを説明するための、ＨＭＤ７５０の実施形態の底面図である。ＨＭＤ７５０は、ＨＭＤ７５０に光源７０７Ａ、７０７Ｂ、７０８Ａ、７０８Ｂ、７０８Ｃ、及び７０８Ｄ（図７Ａ及び７Ｂ）がないことを除いて、図７ＡのＨＭＤ７００と構造及び機能が同じである。代わりに、ＨＭＤ７５０にはカメラ７５２Ａ及び７５２Ｂが含まれている。ＨＭＤ７５０はＨＭＤ１０４（図１Ａ）の一例である。カメラ７５２Ａ及び７５２Ｂは、床Ｆ及びＨＨＣ１０２から反射された光を受け取るために床Ｆに面しているレンズを有し、床Ｆに対するＨＨＣ１０２の動きの１つ以上の画像をキャプチャする。

【0135】

カメラ７５２Ａは、下部領域７０２内で、カメラ７１０の片側に配置されている。また、カメラ７５２Ｂは、下部領域７０２内に、カメラ７５２Ａが配置されている側とは反対側のカメラ７１０の側に配置されている。カメラ７５２Ｂは、カメラ７１０のＦＯＶ１１０及びカメラ７５２Ａの視野とは異なる視野を有する。ＦＯＶ１１０は、カメラ７５２Ａの視野とは異なる。カメラ７１０のＦＯＶ１１０内にないＨＨＣ１０２のあらゆる動きは、カメラ７５２ＡのＦＯＶによって、またはカメラ７５２ＢのＦＯＶ内にキャプチャされる。

【0136】

各カメラ７５２Ａ及び７５２Ｂは、有線または無線接続を介してコンピューティングデバイス１１２（図１Ａ）に結合されている。カメラ７５２Ａ及び７５２Ｂによってキャプチャされた画像は、ＨＭＤ７５０のプロセッサに送信される。ＨＭＤ７５０のプロセッサは、ＨＭＤ７５０のＢｌｕｅｔｏｏｔｈ（商標）モジュールまたはＷｉ－Ｆｉ（商標）モジュールなどの短距離通信モジュールを介して、画像をコンピューティングデバイス１１２に送信する。コンピューティングデバイス１１２は、カメラ７５２Ａ及び７５２Ｂによってキャプチャされた画像を、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する（図１Ａ）。ゲームクラウドシステム１１６は、カメラ７１０によってキャプチャされた画像及び／またはカメラ７５２Ａによってキャプチャされた画像及び／またはカメラ７５２Ｂによってキャプチャされた画像から、ＨＨＣ１０２の位置及び向きを判定して、仮想シーンの状態を変更する。

【0137】

図７Ｄは、複数のカメラ７５４Ａ、７５４Ｂ、及び７５４Ｃを説明するための、ＨＭＤ７５０の実施形態の上面図である。ＨＭＤ７５０は、ＨＭＤ７５０の上部領域７１２にカメラ７５４Ａ、７５４Ｂ、及び７５４Ｃを含む。カメラ７５４Ｂは、カメラ７５４Ａと７５４Ｃとの間に配置されている。カメラ７５４Ａ、７５４Ｂ、及び７５４Ｃは、天井及びＨＨＣ１０２から反射された光を受け取るために実世界環境の天井に面しているレンズを有し、天井に対するＨＨＣ１０２の動きの１つ以上の画像をキャプチャする。天井は床Ｆの反対側にあり、壁Ｗ１とＷ２（図１Ｄ）に対して実質的に垂直または垂直である。天井は床Ｆと平行または実質的に平行である。

【0138】

カメラ７５４Ａは、カメラ７５４Ｂ及びカメラ７５４Ｃとは異なる視野を有する。また、カメラ７５４Ｂは、カメラ７５４Ｃとは異なる視野を有する。カメラ７５４ＡのＦＯＶ内にないＨＨＣ１０２のあらゆる動きは、カメラ７５４ＢのＦＯＶ、またはカメラ７５４ＣのＦＯＶによってキャプチャされる。

【0139】

各カメラ７５４Ａ、７５４Ｂ、及び７５４Ｃは、有線または無線接続を介してコンピューティングデバイス１１２（図１Ａ）に結合されている。カメラ７５４Ａ、７５４Ｂ、及び７５４Ｃによってキャプチャされた画像は、ＨＭＤ７５０のプロセッサに送信される。ＨＭＤ７５０のプロセッサは、画像をＨＭＤ７５０の短距離通信モジュールを介してコンピューティングデバイス１１２に送信する。コンピューティングデバイス１１２は、カメラ７５４Ａ、７５４Ｂ、及び７５４Ｃによってキャプチャされた画像を、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する（図１Ａ）。ゲームクラウドシステム１１６は、カメラ７５４Ａによってキャプチャされた画像及び／またはカメラ７５４Ｂによってキャプチャされた画像及び／またはカメラ７５４Ｃによってキャプチャされた画像から、ＨＨＣ１０２の位置及び向きを判定して、仮想シーンの状態を変更する。

【0140】

カメラ７５４Ａ、７５４Ｂ、及び７５４Ｃは、ＨＨＣ１０２がアイマスク７０３より上のレベルにあるときにＨＨＣ１０２の動きの画像をキャプチャすることに留意されたい。ＨＨＣ１０２がアイマスク７０３の上のレベルにあるとき、ＨＨＣ１０２の動きは、カメラ７１０、カメラ７５２Ａ、及びカメラ７５２Ｂ（図７Ｃ）によってキャプチャされない。同様に、カメラ７１０、７５２Ａ、及び７５２Ｂは、ＨＨＣ１０２がアイマスク７０３より下のレベルにあるときにＨＨＣ１０２の動きの画像をキャプチャする。ＨＨＣ１０２がアイマスク７０３より下のレベルにあるとき、ＨＨＣ１０２の動きは、カメラ７５４Ａ、７５４Ｂ、及び７５４Ｃによってキャプチャされない。

【0141】

一実施形態では、１つ以上のカメラがヘッドバンド７０６上に配置されて、実世界環境に対するＨＭＤ７５０の動きの画像をキャプチャする。ヘッドバンド７０６の１つ以上のカメラは、ＨＭＤ７５０のプロセッサに画像を提供し、プロセッサは、その画像をＨＭＤ７５０の短距離通信モジュールに送信する。ＨＭＤ７５０の短距離通信モジュールは、画像をコンピューティングデバイス１１２に送信し、コンピューティングデバイス１１２は、その画像をコンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する。ゲームクラウドシステム１１６は、画像からＨＭＤ７５０の動きを判定し、動きは、画像にキャプチャされた実世界環境の基準座標系を基準にして判定される。次に、その動きは、仮想シーンの状態を変更するためにゲームクラウドシステム１１６によって使用される。

【0142】

一実施形態では、ＨＭＤ７５０は、図７Ｃ及び７Ｄに示されているものよりも少ないかまたは多い数のカメラを含む。例えば、ＨＭＤ７５０は、カメラ７５２Ａ、７５２Ｂ、７５４Ａ及び７５４Ｃを備えていない。別の例として、ＨＭＤ７５０は、カメラ７１０及び７５４Ｂを備えていない。

【0143】

図８Ａは、図７Ａ及び７ＢのＨＭＤ７００の例である、ＨＭＤ８００の実施形態の底面図である。ＨＭＤ８００は、図７Ａ及び７Ｂの前部領域７０４の例である前部領域８０４を有する。ＨＭＤ８００はまた、図７Ａの下部領域７０２の例である下部領域８０２を有する。カメラ１０８は、下部領域８０２に取り付けられている。例えば、カメラ１０８は、図７Ａの光源７０８Ａと７０８Ｂとの間に取り付けられ、フレーム７０５に対してよりも前部領域８０４に対して近い。カメラ１０８は、基準座標Ｒ１を有する。

【0144】

図８Ｂは、ＨＭＤ８２０の実施形態の底面図である。ＨＭＤ８２０は、ＨＭＤ８２０がＨＭＤ７００上のカメラ１０８とは異なる位置に取り付けられたカメラ１０８を有することを除いて、図７Ａ及び７ＢのＨＭＤ７００の例である。ＨＭＤ８２０は、前部領域８０４及び下部領域８０２を有する。ＨＭＤ８２０のカメラ１０８は、ＨＭＤ８２０の下部領域８０２に取り付けられている。例えば、カメラ１０８は、図７Ａの光源７０８Ａと７０８Ｂとの間に取り付けられ、フレーム７０５からの距離とほぼ同じ距離で、前部領域８０４から離れている。説明のために、カメラ１０８は、フレーム７０５からの距離と同じ距離で、前部領域８０４から離れている。カメラ１０８は、カメラ１０８のＸＹＺ基準座標系の原点（０，０，０）である基準座標Ｒ６を有する。

【0145】

図８Ｃは、ＨＭＤ８２２の実施形態の底面図である。ＨＭＤ８２２は、ＨＭＤ８２２がＨＭＤ７００上のカメラ１０８とは異なる位置に取り付けられたカメラ１０８を有することを除いて、図７Ａ及び７ＢのＨＭＤ７００の例である。ＨＭＤ８２２は、前部領域８０４及び下部領域８０２を有する。ＨＭＤ８２２のカメラ１０８は、ＨＭＤ８２２の下部領域８０２に取り付けられている。例えば、カメラ１０８は、図７Ａの光源７０８Ａと７０８Ｂとの間に取り付けられ、前部領域８０４に対してよりも図７Ａのフレーム７０５に対して近い。カメラ１０８は、カメラ１０８のＸＹＺ基準座標系の原点（０，０，０）である基準座標Ｒ７を有する。

【0146】

図８Ｄは、ＨＭＤ８２４の実施形態の底面図である。ＨＭＤ８２４は、ＨＭＤ８２４がＨＭＤ７００上のカメラ１０８とは異なる位置に取り付けられたカメラ１０８を有することを除いて、図７Ａ及び７ＢのＨＭＤ７００の例である。ＨＭＤ８２４は、前部領域８０４及び下部領域８０２を有する。ＨＭＤ８２４のカメラ１０８は、ＨＭＤ８２４の下部領域８０２に取り付けられている。例えば、カメラ１０８は、図７Ａの光源７０８Ａに対してよりも光源７０８Ｂに対して近くに取り付けられ、フレーム７０５からの距離とほぼ同じ距離で、前部領域８０４から離れている。カメラ１０８は、カメラ１０８のＸＹＺ基準座標系の原点（０，０，０）である基準座標Ｒ８を有する。

【0147】

一実施形態では、ＨＭＤ８２４のカメラ１０８は、前部領域８０４に対してよりもフレーム７０５に対して近くに配置されている。一実施形態では、ＨＭＤ８２４のカメラ１０８は、前部フレーム７０５に対してよりも領域８０４に対して近くに配置されている。

【0148】

図８Ｅは、ＨＭＤ８２６の実施形態の底面図である。ＨＭＤ８２６は、ＨＭＤ８２６がＨＭＤ７００上のカメラ１０８とは異なる位置に取り付けられたカメラ１０８を有することを除いて、図７Ａ及び７ＢのＨＭＤ７００の例である。ＨＭＤ８２６は、前部領域８０４及び下部領域８０２を有する。ＨＭＤ８２６のカメラ１０８は、ＨＭＤ８２６の下部領域８０２に取り付けられている。例えば、カメラ１０８は、図７Ａの光源７０８Ｂに対してよりも光源７０８Ａに対して近くに取り付けられ、フレーム７０５からの距離とほぼ同じ距離で、前部領域８０４から離れている。カメラ１０８は、カメラ１０８のＸＹＺ基準座標系の原点（０，０，０）である基準座標Ｒ９を有する。

【0149】

一実施形態では、ＨＭＤ８２６のカメラ１０８は、前部領域８０４に対してよりもフレーム７０５に対して近くに配置されている。一実施形態では、ＨＭＤ８２６のカメラ１０８は、フレーム７０５に対してよりも前部領域８０４に対して近くに配置されている。

【0150】

図９Ａは、ＨＭＤ９０２の下部領域８０２におけるカメラ６０４Ａ及び６０４Ｂの位置を説明するための、ＨＭＤ９０２の実施形態の底面図である。ＨＭＤ９０２は、ＨＭＤ９０２が１つではなく２つのカメラ６０４Ａ及び６０４Ｂを有することを除いて、図７Ａ及び７ＢのＨＭＤ７００の例であり、下部領域８０２及び前部領域８０４を有する。

【0151】

カメラ６０４Ａは、図７Ａの光源７０８Ｂとカメラ６０４Ｂとの間に配置されている。また、カメラ６０４Ａは、光源７０８Ａに対してよりも光源７０８Ｂに対して近くに配置されている。同様に、カメラ６０４Ｂは、図７Ａの光源７０８Ａとカメラ６０４Ａとの間に配置されている。また、カメラ６０４Ｂは、光源７０８Ｂに対してよりも光源７０８Ａに対して近くに配置されている。カメラ６０４Ａ及び６０４Ｂの両方は、図７Ａのフレーム７０５に対してよりも前部領域８０４に対して近くに配置されている。基準座標Ｒ４は、ＨＭＤ９０２のカメラ６０４Ａにあり、基準座標Ｒ５は、ＨＭＤ９０２のカメラ６０４Ｂにある。

【0152】

図９Ｂは、ＨＭＤ９０２の下部領域８０２にあるカメラ６０４Ａ及び６０４Ｂの位置を説明するための、ＨＭＤ９０４の実施形態の底面図である。ＨＭＤ９０４は、ＨＭＤ９０４が１つではなく２つのカメラ６０４Ａ及び６０４Ｂを有することを除いて、図７Ａ及び７ＢのＨＭＤ７００の例であり、下部領域８０２及び前部領域８０４を有する。

【0153】

カメラ６０４Ａ及び６０４Ｂの位置は、カメラ６０４Ａ及び６０４Ｂの両方が図７Ａのフレーム７０５からの距離とほぼ同じ距離またはほぼ同じ距離で前部領域８０４から離れて配置されることを除いて、図９Ａを参照して上記で説明したものと同じである。例えば、カメラ６０４Ａ及び６０４Ｂは、図７Ａのフレーム７０５からの距離と同じ距離で、前部領域８０４から離れて配置されている。基準座標Ｒ８は、ＨＭＤ９０４のカメラ６０４Ａにあり、基準座標Ｒ９は、ＨＭＤ９０４のカメラ６０４Ｂにある。

【0154】

図９Ｃは、ＨＭＤ９０２の下部領域８０２におけるカメラ６０４Ａ及び６０４Ｂの位置を説明するための、ＨＭＤ９０６の実施形態の底面図である。ＨＭＤ９０６は、ＨＭＤ９０６が１つではなく２つのカメラ６０４Ａ及び６０４Ｂを有することを除いて、図７Ａ及び７ＢのＨＭＤ７００の例であり、下部領域８０２及び前部領域８０４を有する。

【0155】

カメラ６０４Ａ及び６０４Ｂの位置は、カメラ６０４Ａ及び６０４Ｂの両方が前部領域８０４に対してよりも図７Ａのフレーム７０５に対して近くに配置されていることを除いて、図９Ａを参照して上記で説明したものと同じである。原点（０，０，０）などの基準座標Ｒ１０は、ＨＭＤ９０６のカメラ６０４Ａにあり、基準座標Ｒ１１は、ＨＭＤ９０６のカメラ６０４Ｂにある。基準座標Ｒ１１は、ＨＭＤ９０６のカメラ６０４Ｂにある原点（０，０，０）である。

【0156】

図１０Ａは、基準座標ＲＣを有するｘｙｚ座標系などの基準座標系を基準にしたＨＭＤ１００２の位置の判定を説明するための、システム１０００の実施形態の図である。基準座標ＲＣは原点（０，０，０）である。基準座標ＲＣは壁Ｗ２上の点にある。基準座標ＲＣを有する基準座標系は、ｘ軸、ｙ軸、及びｚ軸を有する。

【0157】

ＨＭＤ１００２は、図７のＨＭＤ７００の例である。ＨＭＤ１００２は、カメラ１０８及び別のカメラ１００４を有する。カメラ１００４は、ＨＭＤ１００２の前部領域１００６に配置されている。例えば、カメラ１００４のレンズは、ＨＭＤ１００２の前の実世界環境に面するように、前部領域１００６を通って延びる。カメラ１００４は、外向きのカメラである。前部領域１００６は、図７Ａの前部領域７０４の例である。カメラ１００４及び１０８の両方は、同じ有線または無線接続を介してコンピューティングデバイス１１２に結合されている。

【0158】

カメラ１００４は、ＨＭＤ１００２の前にある実世界環境の１つ以上の画像をキャプチャする。例えば、カメラ１００４は、壁Ｗ２または壁Ｗ１の画像をキャプチャする。カメラ１００４は、画像を有線接続を介してコンピューティングデバイス１１２に送信する。コンピューティングデバイス１１２は、その画像をコンピュータネットワーク１１４（図１Ａ）を介してゲームクラウドシステム１１６（図１Ａ）に転送する。ゲームクラウドシステム１１６は、カメラ１００４から画像を受信し、基準座標ＲＣを有する基準座標系を基準にして、ＨＭＤ１００２の位置及び向きを判定する。例えば、ゲームクラウドシステム１１６は、基準座標ＲＣからのｘ方向のカメラ１００４の距離、基準座標ＲＣからのｙ方向のカメラ１００４の距離、及び基準座標ＲＣからｚ方向のカメラ１００４の距離を判定する。ゲームクラウドシステム１１６は、基準座標ＲＣのｘ軸を基準にしたカメラ１００４の角度、基準座標ＲＣのｙ軸に対するカメラ１００４の角度、及び基準座標ＲＣのｚ軸に対するカメラ１００４の角度を判定する。ゲームクラウドシステム１１６は、基準座標ＲＣを有する基準座標系を基準にして、ＨＭＤ１００２の位置及び向きに応じて仮想シーンの状態を変更する。

【0159】

図１０Ｂは、ＨＭＤ１０２４の位置及び向きを判定するためのプロジェクターＡ及びＢとＨＭＤ１０２４上の検出器との使用を説明するための、システム１０２０の実施形態の図である。システム１０２０はＨＭＤ１０２４を有し、カメラ１０８はＨＭＤ１０２４の下部領域に取り付けられている。ＨＭＤ１０２４は、図７Ａ及び７ＢのＨＭＤ７００の例である。システム１０２０は、コンピューティングデバイス１１２と、ＨＨＣ１０２と、プロジェクターＡ及びＢとをさらに含む。本明細書で使用されるプロジェクターの例は、レーザー光源及びミラーを含むプロジェクターである。レーザー光源は、複数の軸に対して移動するミラー上に投影される光を生成し、リサージュパターンなどの所定のパターンで光を反射する。反射された光は、実世界環境のボリューム内に所定のパターンを作成する。

【0160】

ＨＭＤ１０２４には、複数の検出器Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、及びＤ６がある。検出器は、ＨＭＤ１０２４の前部領域に配置されている。本明細書で使用される検出器の例は、光センサまたは光を電流に変換するｐｎ接合を有するセンサであり、これは電気信号の例である。ＨＭＤ１０２４は、有線または無線接続を介してコンピューティングデバイス１１２に結合されている。同様に、ＨＭＤ１０２４は、有線または無線接続を介してプロジェクターＡに結合され、ＨＭＤ１０２４は、有線または無線接続を介してプロジェクターＢに結合されている。

【0161】

プロジェクターＡとＢは発光して、実世界環境内で所定のパターンのボリュームを作成する。検出器Ｄ１からＤ６は、ボリューム内の光を検出して、複数の電気信号を出力する。例えば、各検出器Ｄ１からＤ６は、対応する電気信号を出力する。ＨＭＤ１０２４は、電気信号内の光強度などの情報をコンピューティングデバイス１１２に送信する。コンピューティングデバイス１１２は、ＨＭＤ１０２４から受信した情報を、コンピュータネットワーク１１４（図１Ａ）を介してゲームクラウドシステム１１６（図１Ａ）に送信する。ゲームクラウドシステム１１６は、情報を処理して、プロジェクターＡのｘａｙａｚａ座標系などの基準座標系に対するＨＭＤ１０２４の向きを判定する。同様に、ゲームクラウドシステム１１６は、情報を処理して、プロジェクターＢのｘｂｙｂｚｂ座標系などの基準座標系に対するＨＭＤ１０２４の向きを判定する。ｘａｙａｚａ基準座標系は、ｘａ軸、ｙａ軸、及びｚａ軸を有する。ｙａ軸はｘａ軸に垂直であり、ｚａ軸はｙａ軸とｘａ軸に垂直である。同様に、ｘｂｙｂｚｂ基準座標系は、ｘｂ軸、ｙｂ軸、及びｚｂ軸を有する。ｙｂ軸はｘｂ軸に垂直であり、ｚｂ軸はｙｂ軸とｘｂ軸に垂直である。ゲームクラウドシステム１１６は、検出器Ｄ１からＤ６によって出力される電気信号の強度から、ｘａ軸に対するＨＭＤ１０２４の角度、ｙａ軸に対するＨＭＤ１０２４の角度、及びｚａ軸に対するＨＭＤ１０２４の角度を含む、ｘａｙａｚａ基準座標系に対するＨＭＤ１０２４の向きを判定する。また、ゲームクラウドシステム１１６は、検出器Ｄ１からＤ６によって出力される電気信号の強度から、ｘｂ軸に対するＨＭＤ１０２４の角度、ｙｂ軸に対するＨＭＤ１０２４の角度、及びｚｂ軸に対するＨＭＤ１０２４の角度を含む、ｘｂｙｂｚｂ基準座標系に対するＨＭＤ１０２４の向きを判定する。

【0162】

さらに、ゲームクラウドシステム１１４は、基準座標系ｘａｙａｚａ及びｘｂｙｂｚｂに対するＨＭＤ１０２４の向きから、基準座標系ｘａｙａｚａの原点などの基準座標からのＨＭＤ１０２４の位置、及び基準座標系ｘｂｙｂｚｂの原点などの基準座標からのＨＭＤ１０２４の位置を判定する。例えば、ゲームクラウドシステム１１４は、三角測量を適用して、基準座標系ｘａｙａｚａに対するＨＭＤ１０２４の向き及び基準座標系ｘｂｙｂｚｂに対するＨＭＤ１０２４の向きに基づいて、ＨＭＤ１０２４の位置を判定する。プロジェクターＡに対するＨＭＤ１０２４の位置及びプロジェクターＢに対するＨＭＤ１０２４の位置を判定する例は、米国特許出願第１５／４７２，１９３号、現在は米国特許第９，９８３，６９２号として発行されており、参照によりその全体が本明細書に組み込まれる。

【0163】

ゲームクラウドシステム１１４は、基準座標系ｘａｙａｚａまたは基準座標系ｘｂｙｂｚｂに対するＨＭＤ１０２４の向き、及び基準座標系ｘａｙａｚａ及びｘｂｙｂｚｂに対するＨＭＤ１０２４の位置から判定して、仮想シーンの状態を変更する。また、ゲームクラウドシステム１１４は、コンピューティングデバイス１１２及びコンピュータネットワーク１１４を介してカメラ１０８から受信された画像から、ＨＭＤ１０２４に対するＨＨＣ１０２の位置及び向きを判定する。ＨＭＤ１０２４のＸＹＺ座標系などの基準座標系に対するＨＨＣ１０２の位置及び向きは、仮想シーンの状態を変更するためにゲームクラウドシステム１１６によって処理される。

【0164】

ゲームクラウドシステム１１６は、仮想シーンの状態が変化する１つ以上のフレームを生成し、フレームを符号化して、符号化されたフレームを出力する。符号化されたフレームは、ゲームクラウドシステム１１６からコンピュータネットワーク１１４を介してコンピューティングデバイス１１２に送信される。コンピューティングデバイス１１２は、符号化されたフレームを復号して画像フレームを出力し、その画像フレームを有線または無線接続を介してＨＭＤ１０２４に送信する。ＨＭＤ１０２４は、コンピューティングデバイス１１２から受信した画像フレームにレンダリングプログラムを適用して、ＨＭＤ１０２４のディスプレイ画面上に仮想シーンの１つ以上の画像を表示する。

【0165】

一実施形態では、ＨＭＤ１０２４は、５個、４個、または１０個などの別の数の検出器を有する。

【0166】

一実施形態では、複数の検出器は、ＨＭＤ１０２４の前部領域に配置されることに加えて、ＨＭＤ１０２４のヘッドバンドに配置される。

【0167】

図１１は推測航法を説明するための、システム１１００の実施形態の図である。システム１１０は、ＨＭＤ１０４、ＨＨＣ１０２、及びコンピューティングデバイス１１２を含む。ＨＨＣ１０２がＨＭＤ１０４のカメラ１０８のＦＯＶ１１０の外側にあるとき、ＨＨＣ１０２の磁力計、加速器、及びジャイロスコープなどの１つ以上の慣性センサは、ＨＨＣ１０２の加速度の測定値、ＨＨＣ１０２の位置の測定値、ＨＨＣ１０２の角速度の測定値、及び慣性センサの座標系に対するＨＨＣ１０２の向きの測定値などの、慣性データを生成する。例えば、ＨＨＣ１０２のジャイロスコープは、ジャイロスコープの座標系に対するＨＨＣ１０２の向きの角速度を測定する。ＨＨＣ１０２のジャイロスコープの座標系にはスピン軸がある。ＨＨＣ１０２の慣性センサの座標系は、実世界環境の座標系の例である。ＨＨＣ１０２のセンサによって生成される慣性データは、ＨＨＣ１０２によって生成される入力データの例である。

【0168】

ＨＨＣ１０２は、ＨＨＣ１０２からの入力データを、有線または無線接続を介してコンピューティングデバイス１１２に通信する通信デバイスを含む。例えば、ＨＨＣ１０２のＷｉ－Ｆｉ（商標）通信デバイスまたはＢｌｕｅｔｏｏｔｈ（商標）通信デバイスは、ＨＨＣ１０２の慣性センサに結合され、慣性センサから受信した入力データを通信する。入力データは、ＨＨＣ１０２のＷｉ－Ｆｉ（商標）通信デバイスまたはＢｌｕｅｔｏｏｔｈ（商標）通信デバイスから、無線接続を介してコンピューティングデバイス１１２に通信される。

【0169】

また、カメラ１０８は、ＦＯＶ１１０内のカメラ１０８によってキャプチャされた１つ以上の画像を、有線または無線接続を介してコンピューティングデバイス１１２に送信する。例えば、ＨＨＣ１０２の通信デバイスは、カメラ１０８から画像を受信し、その画像を無線接続を介してコンピューティングデバイス１１２に送信する。コンピューティングデバイス１１２は、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に、カメラ１０８から受信した画像を送信するかまたは向かわせ、ＨＨＣ１０２から受信した入力データを送信するかまたは向かわせる。

【0170】

ゲームクラウドシステム１１６は、ＨＭＤ１０４のカメラ１０８から受信した画像から、コントローラ１０２の位置及び向きを判定することができるかどうかを判定する。例えば、ゲームクラウドシステム１１６は、ＨＨＣ１０２の形状をハンドヘルドコントローラの所定の形状と比較して、ＨＨＣ１０２の形状と所定の形状との間に一致があるかどうかを判定する。一致が発生してないと判定すると、ゲームクラウドシステム１１６は、カメラ１０８に対するＨＨＣ１０２の現在の位置及び現在の向きを画像から判定することができないと判定する。ＨＨＣ１０２の現在の位置及び現在の向きが画像から判定できないと判定すると、ゲームクラウドシステム１１６は、ＨＨＣ１０２から受信した入力データから、及びＨＨＣ１０２の以前に判定された位置及び以前に判定された向きから、実世界環境におけるＨＨＣ１０２の現在の位置及び現在の向きを判定する。一例として、ゲームクラウドシステム１１６は、カメラ１０８によってキャプチャされ、ＨＨＣ１０２がＦＯＶ１１０の外側にある前に受信された１つ以上の画像から、以前に判定された位置を判定する。ゲームクラウドシステム１１６はさらに、ＨＨＣ１０２の加速度、以前に判定された位置、以前に判定された位置を判定するための画像がカメラ１０８によってキャプチャされた以前の時間、及びＨＨＣ１０２の現在位置の入力データがＨＨＣ１０２によって生成される現在の時間から、ＨＨＣ１０２の現在の位置を判定する。ＨＨＣ１０２は、入力データが生成される現在の時間を、コンピューティングデバイス１１２及びコンピュータネットワーク１１４を介してゲームクラウドシステム１１６に提供する。以前に判定された位置を判定するための画像がカメラ１０８によってキャプチャされる、以前の時間は、カメラ１０８からコンピューティングデバイス１１２及びコンピュータネットワーク１１４を介してゲームクラウドシステム１１６によって受信される。別の例として、ゲームクラウドシステム１１６は、カメラ１０８によってキャプチャされ、ＨＨＣ１０２がＦＯＶ１１０の外側にある前に受信された１つ以上の画像から、以前に判定された向きを判定する。ゲームクラウドシステムはさらに、ＨＨＣ１０２の角速度、以前に判定された向き、以前に判定された向きを判定するための画像がカメラ１０８によってキャプチャされた以前の時間、及びＨＨＣ１０２の現在の向きを判定するための入力データがＨＨＣ１０２によって出力される現在の時間から、ＨＨＣ１０２の現在の向きを判定する。ＨＨＣ１０２は、ＨＨＣ１０２の現在の向きを判定するための入力データが出力される現在の時間を送信する。現在の時間は、ＨＨＣ１０２からコンピューティングデバイス１１２及びコンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信される。以前に判定された向きを判定するための画像がカメラ１０８によってキャプチャされる以前の時間は、カメラ１０８からコンピューティングデバイス１１２及びコンピュータネットワーク１１４を介して受信される。ＨＨＣ１０２がＦＯＶ１１０から出た後にＦＯＶ１１０に戻ると、ゲームクラウドシステム１１６は、カメラ１０８から受信した画像から、カメラ１０８の基準座標系に対するＨＨＣ１０２の位置及び向きを判定する。

【0171】

一実施形態では、ＨＭＤ１０４内のクロック源は、ＨＨＣ１０２内のクロック源と同期していることに留意されたい。例えば、仮想シーンの状態は、時間ｔ１におけるカメラ１０８に対するＨＨＣ１０２の位置及び向き、ならびに時間ｔ１における実世界環境に対するＨＭＤ１０４の位置及び向きに基づいて、ゲームクラウドシステム１１６によって生成される。クロック源の例には、クロックジェネレータ、クロックオシレータ、プロセッサなどのデジタルクロック源が含まれる。ＨＭＤ１０４とＨＨＣ１０２のクロック源の間のタイミングに差がある場合、実世界環境におけるＨＭＤ１０４の位置及び向き、ならびにカメラ１０８を基準にするＨＨＣ１０２の位置及び向きに基づいて状態を判定する際に不正確さが存在する。状態が不正確である場合、ＨＭＤ１０４に表示される仮想シーンは不正確である。したがって、ＨＭＤ１０４のクロック源は、ＨＨＣ１０２のクロック源と同期している。

【0172】

一実施形態では、ＨＭＤ１０４のクロック源は、ＨＨＣ１０２のクロック源と同期している。例えば、ＨＭＤ１０４のクロック源は、コンピュータネットワーク１１４からコンピューティングデバイス１１２を介してクロック信号を受信し、ＨＭＤ１０４のクロック源によって生成されたクロック信号を、コンピュータネットワーク１１４から受信されたクロック信号と同期させる。同様に、ＨＨＣ１０２のクロック源は、コンピュータネットワーク１１４からコンピューティングデバイス１１２を介してクロック信号を受信し、ＨＨＣ１０２のクロック源によって生成されたクロック信号を、コンピュータネットワーク１１４から受信されたクロック信号と同期させる。別の例として、ゲームクラウドシステム１１４は、クロック信号の高論理状態または低論理状態を示す同期信号を、コンピュータネットワーク１１４及びコンピューティングデバイス１１２を介して、ＨＭＤ１０４及びＨＨＣ１０２の両方に送信して、ＨＭＤ１０４の信号をＨＨＣ１０２クロックと同期させる。

【0173】

一実施形態では、ＨＭＤ１０４、ＨＨＣ１０２、及びゲームクラウドシステム１１６のクロック信号は同期されている。例えば、ＨＭＤ１０４のクロック源は、コンピュータネットワーク１１４からコンピューティングデバイス１１２を介してクロック信号を受信し、ＨＭＤ１０４のクロック源によって生成されたクロック信号を、コンピュータネットワーク１１４から受信されたクロック信号と同期させる。同様に、ＨＨＣ１０２のクロック源は、コンピュータネットワーク１１４からコンピューティングデバイス１１２を介してクロック信号を受信し、ＨＨＣ１０２のクロック源によって生成されたクロック信号を、コンピュータネットワーク１１４から受信されたクロック信号と同期させる。また、ゲームクラウドシステム１１６のクロック源は、コンピュータネットワーク１１４からクロック信号を受信し、ゲームクラウドシステム１１６のクロック源によって生成されたクロック信号を、コンピュータネットワーク１１４から受信したクロック信号と同期させる。

【0174】

一実施形態では、慣性データは、ＨＨＣ１０２がＨＭＤ１０４のカメラ１０８のＦＯＶ１１０内にあるかどうかに関係なく、ＨＨＣ１０２の慣性センサによって測定される。例えば、慣性データは、ＨＨＣ１０２がＦＯＶ１１０内にあるときに、ＨＨＣ１０２の慣性センサによって測定される。

【0175】

一実施形態では、ＨＭＤ１０４の慣性センサによって測定された慣性データは、有線または無線接続を介してコンピューティングデバイス１１２に送信される。また、ＨＨＣ１０２の慣性センサによって測定された慣性データは、有線または無線接続を介してコンピューティングデバイス１１２に送信される。コンピューティングデバイス１１２は、ＨＭＤ１０４から受信した慣性データ及びＨＨＣ１０２から受信した慣性データを、ネットワーク１１４を介してゲームクラウドシステム１１６に送信する。ゲームクラウドシステム１１６は、ＨＨＣ１０２によって測定された慣性データ及びＨＭＤ１０４によって測定された慣性データから、ＨＭＤ１０４に対するＨＨＣ１０２の位置及び向きを判定する。例えば、ゲームクラウドシステム１１６は、実世界環境のｙ軸を基準にしたＨＭＤ１０４の向きが角度Ｍ１であり、実世界環境のｙ軸に対するＨＨＣ１０２の向きが角度Ｎ１であると判定する。ゲームクラウドシステム１１６は、ＨＭＤ１０４のＹ軸に対するＨＨＣ１０２の向きが角度Ｍ１及びＮ１の和であると判定する。別の例として、ゲームクラウドシステム１１６は、実世界環境の基準座標を基準とする実世界環境のｘ軸に沿ったＨＭＤ１０４の位置が位置Ａ１であると判定する。ゲームクラウドシステム１１６はさらに、実世界環境の基準座標を基準とする実世界環境のｘ軸に沿ったＨＭＤ１０４の位置が位置Ｂ１であると判定する。ゲームクラウドシステム１１６は、ＨＭＤ１０４の位置に対するＨＨＣ１０２の位置が、位置Ａ１及びＢ１の和であると判定する。

【0176】

図１２は、ＨＨＣ１０２の画像がＨＭＤ１２０４の異なるカメラ１０８、１２０２Ａ及び１２０２Ｂによってキャプチャされる時間に基づく画像フレームのスティッチングを説明するための、システム１２００の実施形態の図である。ＨＭＤ１２０４は、図７ＡのＨＭＤ７００の例である。カメラ１２０２Ａは、前部領域７０４（図７Ａ）の部分に配置され、カメラ１２０２Ｂは、前部領域７０４の別の部分に配置されている。例えば、カメラ１２０２Ａは、前部領域７０４の右半分部分に取り付けられ、カメラ１２０２Ｂは、前部領域７０４の左半分部分に取り付けられる。さらに説明すると、カメラ１２０２Ａは、光源７０７Ａと比較して光源７０７Ｂ（図７Ａ）により近く、カメラ１２０２Ｂは、光源７０７Ｂと比較して光源７０７Ａにより近い。

【0177】

カメラ１２０２Ａは、ユーザ１０６の右側を向いているＦＯＶ１２０８Ａを有し、カメラ１２０２Ｂは、ユーザ１０６の左側を向いているＦＯＶ１２０８Ｂを有する。比較すると、ＦＯＶ１１０は床Ｆに向かって下向きである。ユーザ１０６は、ＨＨＣ１０２をＦＯＶ１１０内にある位置２からＦＯＶ１１０の外側でＦＯＶ１２０８Ａ内にある位置４に移動させる。

【0178】

カメラ１０８は、ＦＯＶ１１０内のＨＨＣ１０２の１つ以上の画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングデバイス１１２に送信する。加えて、ＨＭＤ１２０４のクロック源は、カメラ１０８に結合されて、カメラ１２０８Ａが画像をキャプチャする時間ｔｘを判定し、時間ｔｘを有線または無線接続を介してコンピューティングデバイス１１２に送信する。コンピューティングデバイス１１２は、ＦＯＶ１１０内のＨＨＣ１０２の画像及び時間ｔｘを、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する。

【0179】

同様に、カメラ１２０２Ａは、ＦＯＶ１２０８Ａ内のＨＨＣ１０２の１つ以上の画像をキャプチャし、その画像を有線または無線接続を介してコンピューティングデバイス１１２に送信する。加えて、ＨＭＤ１２０４のクロック源は、カメラ１２０２Ａに結合されて、カメラ１２０２Ａが画像をキャプチャする時間ｔｙを判定し、時間ｔｙを有線または無線接続を介してコンピューティングデバイス１１２に送信する。コンピューティング装置１１２は、ＦＯＶ１２０８Ａ内のＨＨＣ１０２の画像及び時間ｔｙを、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６に送信する。

【0180】

ゲームクラウドシステム１１６は、時間ｔｙが時間ｔｘに連続していると判定する。例えば、ゲームクラウドシステム１１６は、時間ｔｘが時間ｔｙに先行し、時間ｔｘとｔｙの間にカメラ１０８及び１２０２Ａによってキャプチャされた他の画像がないと判定する。ゲームクラウドシステム１１６は、カメラ１０８から受信した画像から時間ｔｘについてのＨＨＣ１０２の位置及び向きを判定し、カメラ１２０２Ａから受信した画像から時間ｔｙについてのＨＨＣ１０２の位置及び向きを判定する。ゲームクラウドシステム１１６はまた、ＨＨＣ１０２の位置及び向きは、時間ｔｙでカメラ１０８によって出力された画像から判定することができないと判定する。ゲームクラウドシステム１１６は、ＨＨＣ１０２の位置及び向きから判定される仮想シーンの状態の変化に従って画像フレームＸを生成し、カメラ１０８によってキャプチャされた画像から位置及び向きが判定される。また、ゲームクラウドシステム１１６は、ＨＨＣ１０２の位置及び向きから判定される仮想シーンの状態のさらなる変化に従って画像フレームＹを生成し、カメラ１２０２Ａによってキャプチャされた画像から位置及び向きが判定される。

【0181】

ゲームクラウドシステム１１６は、時間ｔｘ及びｔｙに基づいて、画像フレームＹを画像フレームＸとスティッチする。例えば、ゲームクラウドシステム１１６は、仮想シーンが最初に画像フレームＸに従って、次に画像フレームＹに従って変化することを判定する。ゲームクラウドシステム１１６は、画像フレームＸ及びＹを、画像フレームがコンピュータネットワーク１１４を介してコンピューティングデバイス１１２にＨＭＤ１２０４上に表示されるシーケンスで送信する。画像フレームＹが表示される前に、画像フレームＸが表示される。コンピューティングデバイス１１２は、画像フレームＸ及びＹを有線または無線接続を介してＨＭＤ１２０４に送信する。ＨＭＤ１２０４は、画像フレームＹを表示する前に画像フレームＸを表示する。同様に、ＨＨＣ１０２がＦＯＶ１２０８Ｂ内にあり、ＦＯＶ１１０及び１２０８Ａの外側にある場合、カメラ１２０２Ｂによってキャプチャされた画像は、ゲームクラウドシステム１１６によって使用されて、ＨＨＣ１０２の位置及び向きを判定して仮想シーンの状態をさらに変更する。

【0182】

ゲームクラウドシステム１１４によって実行されるものとして本明細書に記載されている機能は、ゲームクラウドシステム１１４の１つ以上のサーバまたは、１つ以上のサーバの１つ以上のプロセッサによって実行されることに留意されたい。同様に、コンピューティングデバイス１１２によって実行されるものとして本明細書に記載されている機能は、コンピューティングデバイス１１２の１つ以上のプロセッサによって実行されることに留意されたい。

【0183】

一実施形態では、ゲームクラウドシステム１１６によって実行されるものとして本明細書に記載されている１つ以上の機能は、代わりに、コンピューティングデバイス１１２によって実行される。

【0184】

一実施形態では、カメラ７５２Ａ、１０８、７５２Ｂ（図７Ｃ）、７５４Ａ、７５４Ｂ、及び７５４Ｃ（図７Ｄ）の２つ以上によってキャプチャされた画像は、カメラ１２０２Ａ及び１０８を参照して上記で説明したのと同様の方法でゲームクラウドシステム１１６によって一緒にスティッチされ、仮想シーンの状態を変更する。

【0185】

図１３は、ＨＭＤ１０４（図１Ａ）の例であるＨＭＤ１３００の等角図である。ＨＭＤ１３００は、ユーザ１０６（図１Ａ）が装着したときにユーザ１０６の頭の後ろに行くバンド１３０２及び１３０４を含む。さらに、ＨＭＤ１３００は、インタラクティブ環境、例えば、ゲーム環境、仮想シーン、仮想シーン内のオブジェクト、インタラクティブツアー環境などに関連する、例えば、ゲームプログラム、インタラクティブ環境生成プログラムなどのアプリケーションの実行によって提示される音声を発する、イヤホン１３０６Ａ及び１３０６Ｂ、例えば、スピーカなどを含む。ＨＭＤ１３００は、ユーザ１０６がＨＭＤ１３００のディスプレイ画面に表示されるインタラクティブ環境を見ることができるようにするレンズ１３０８Ａ及び１３０８Ｂを含む。溝１３８０は、ユーザ１０６の鼻に載って鼻の上でＨＭＤ１３００を支持する。

【0186】

いくつかの実施形態では、ＨＭＤ１３００は、サングラス、眼鏡、または読書用眼鏡がユーザ１０６によって装着されるのと同様の方法で、ユーザ１０６によって装着される。

【0187】

図１４は、本開示に記載の一実施形態による、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す。ユーザ１０６は、ＨＭＤ１０４を装着して示されている。ＨＭＤ１０４は、眼鏡、ゴーグル、またはヘルメットと同じようにして装着され、ビデオゲームまたは他のコンテンツをユーザ１０６に表示するように構成されている。ＨＭＤ１０４は、ユーザの目に近接したディスプレイ機構（例えば、光学系及びディスプレイ画面）、及びＨＭＤ１０４に配信されるコンテンツのフォーマットの提供によって、没入型体験をユーザ１０６に提供する。一例では、ＨＭＤ１０４は、ユーザ１０６の各眼に表示領域を提供し、表示領域は、ユーザ１０６の眼の視野の大部分または全体さえも占める。別の例として、ユーザ１０６は、自分が、例えば、ＨＭＤ１０４に表示されるインタラクティブ環境の中にいるかその一部であるかのように感じる。

【0188】

一実施形態では、ＨＭＤ１０４は、コンピューティングデバイス１１２（図１Ａ）の例であるコンピュータ１４０２に接続されている。コンピュータ１４０２への接続は、有線または無線であってもよい。コンピュータ１４０２は、一実施形態では、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレット、モバイルデバイス、スマートフォン、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス、スマートテレビなどを含むがこれらに限定されない任意の汎用または特殊目的のコンピュータである。いくつかの実施形態では、ＨＭＤ１０４は、インターネットに直接接続し、これは別個のローカルコンピュータを必要とせずにクラウドゲームを可能にし得る。例えば、コンピュータ１４０２の機能は、ＨＭＤ１０４の１つ以上のプロセッサに統合されている。一実施形態では、コンピュータ１４０２は、ビデオゲーム（及び他のデジタルコンテンツ）を実行し、ＨＭＤ１０４によるレンダリングのためにビデオゲームからビデオ及びオーディオデータを出力する。

【0189】

一実施形態では、コンピュータ１４０２は、ローカルまたはリモートコンピュータであり、コンピュータ１４０２は、エミュレーションソフトウェアを実行する。クラウドゲームの実施形態では、コンピュータ１４０２は、ゲームクラウドシステム１１６内などの遠隔地にあり、データセンターに実装される複数のコンピューティングサービスによって表される。ここで、ゲームシステム／ロジックが使用されてコンピュータネットワーク１１４を介してユーザ１０６に配布される。

【0190】

ユーザ１０６は、ＨＨＣ１０２を操作して、インタラクティブ環境に入力データを提供する。一例では、カメラＣ１は、ユーザ１０６が位置している実世界環境の画像をキャプチャする。カメラＣ１は、カメラ１１８（図１Ａ）の例である。これらのキャプチャされた画像を分析して、ユーザ１０６、ＨＭＤ１０４、及びＨＨＣ１０２の位置及び動きを判定する。一実施形態では、ＨＨＣ１０２は、その位置及び向きを判定するためにトラッキングされる１つまたは複数のライトを含む。さらに、一実施形態では、ＨＭＤ１０４は、１つ以上のライトを含み、これらは、インタラクティブ環境の表示中に実質的にリアルタイムでＨＭＤ１０４の位置及び向きを判定するためのマーカーとしてトラッキングされる。

【0191】

一実施形態では、カメラＣ１は、実世界の空間から音声をキャプチャするためのマイクロフォンアレイの１つ以上のマイクロフォンを含む。カメラＣ１のマイクロフォンアレイによってキャプチャされた音声は、音源の位置を識別するよう処理される。識別された位置からの音声は、識別された位置からでない他の音声を排除するために選択的に利用または処理される。さらに、一実施形態では、カメラＣ１は、複数の画像キャプチャデバイス、例えば、立体視可能な一対のカメラ、赤外線（ＩＲ）カメラ、深度カメラ、及びそれらの組み合わせを含む。

【0192】

いくつかの実施形態では、コンピュータ１４０２は、コンピュータ１４０２の１つ以上のプロセッサなどの処理ハードウェア上でローカルにゲームを実行する。ゲームまたはコンテンツは、物理メディア形式（例えば、デジタルディスク、テープ、カード、サムドライブ、ソリッドステートチップまたはカードなど）などの任意の形式で、またはコンピュータネットワーク１１４からダウンロードすることによって取得される。一実施形態では、コンピュータ１４０２は、コンピュータネットワーク１１４を通じたゲームクラウドシステム１１６との通信において、クライアントとして機能する。ゲームクラウドシステム１１６は、ユーザ１０６がプレイしているビデオゲームを維持し、実行する。コンピュータ１４０２は、ＨＭＤ１０４及びＨＨＣ１０２から受信した入力データ、及び／またはカメラＣ１から受信した画像をゲームクラウドシステム１１６に送信し、ゲームクラウドシステム１１６は、入力データ及び画像を処理して、仮想シーンのゲーム状態に影響を与える。実行中のビデオゲームからの、ビデオデータ、オーディオデータ、及び触覚フィードバックデータなどの出力は、コンピュータ１４０２に送信される。コンピュータ１４０２はさらに、送信の前にデータを処理し、または関連するデバイスにデータを直接送信する。例えば、ビデオストリーム及びオーディオストリームがＨＭＤ１０４に提供され、一方、振動フィードバックコマンドがＨＨＣ１０２に提供される。

【0193】

一実施形態では、ＨＭＤ１０４、ＨＨＣ１０２、及びカメラＣ１は、ゲームクラウドシステム１１６と通信するようコンピュータネットワーク１１４に接続するネットワーク化されたデバイスである。例えば、コンピュータ１４０２は、ビデオゲーム処理を実行しないが、ネットワークトラフィックの通過、例えば、受信及び送信を容易にする、ルータなどのローカルネットワークデバイスである。ＨＭＤ１０４、ＨＨＣ１０２、及びカメラＣ１によるコンピュータネットワーク１１４への接続は、有線または無線の接続である。いくつかの実施形態では、ＨＭＤ１０４上に表示されるか、またはディスプレイデバイス１４１４、例えば、テレビ、液晶ディスプレイ（ＬＣＤ）ディスプレイデバイス、発光ダイオード（ＬＥＤ）ディスプレイデバイス、プラズマディスプレイデバイス、コンピュータモニタなどに表示されるコンテンツは、コンテンツソース１４１６のいずれかから取得される。コンテンツソースの例には、例えば、ダウンロード可能なコンテンツ及び／またはストリーミングコンテンツを提供するインターネットウェブサイトが含まれる。いくつかの例では、コンテンツは、映画、ゲーム、静的／動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト、インタラクティブツアーコンテンツ、漫画コンテンツなどのような任意のタイプのマルチメディアコンテンツを含む。

【0194】

一実施形態では、ユーザ１０６は、ＨＭＤ１０４上でゲームをプレイしており、ここではそのようなコンテンツは、没入型の三次元インタラクティブコンテンツである。ユーザ１０６がプレイしている間、ＨＭＤ１０４上のコンテンツは、ディスプレイデバイス１４１４に共有される。一実施形態では、ディスプレイデバイス１４１４に共有されるコンテンツは、ユーザ１０６に近接しているかリモートの他のユーザが、ユーザ１０６のゲームプレイと共に視聴することを可能にする。さらに別の実施形態では、ディスプレイデバイス１４１４上でユーザ１０６のゲームプレイを見ている別のプレーヤーは、ユーザ１０６とインタラクティブに参加する。例えば、ディスプレイデバイス１４１４上でゲームプレイを見ているユーザは、ゲームシーン内のキャラクターを制御し、フィードバックを提供し、ソーシャルインタラクションを提供し、及び／または（テキスト、音声、アクション、ジェスチャーなどを介して）コメントを提供し、これは、ＨＭＤ１０４を装着していないユーザがユーザ１０６とソーシャルインタラクションすることを可能にする。

【0195】

一実施形態では、本明細書で言及されるコンピュータ１４０２は、パーソナルコンピュータ、またはゲームコンソール、またはタブレットコンピュータ、またはスマートフォン、またはセットトップボックス、またはキオスク、または無線デバイス、またはデジタルパッド、またはスタンドアロンデバイス、またはハンドヘルドゲームプレイデバイスなどを含む。一実施形態では、コンピュータ１４０２は、符号化されたビデオストリームを受信し、ビデオストリームを復号し、結果として得られたビデオをユーザ１０６、例えばゲームのプレーヤーに提示する。符号化されたビデオストリームを受信しかつ／またはビデオストリームを復号するプロセスは通常、コンピュータ１４０２の受信バッファに個々のビデオフレームを格納することを含む。ビデオストリームは、コンピュータ１４０２に一体化したディスプレイ上で、またはモニタもしくはテレビもしくはＨＭＤなどの別個のデバイス上でユーザ１０６に提示される。

【0196】

コンピュータ１４０２は、一実施形態では、複数のゲームプレーヤーをサポートする。例えば、ゲームコンソールは、２人、３人、４人、またはそれ以上の同時プレーヤー（例えば、Ｐ１、Ｐ２、．．．Ｐｎ）をサポートする。これらのプレーヤーの各々は、ビデオストリームを受信または共有し、あるいは単一のビデオストリームが、各プレーヤーのために特別に生成された、例えば各プレーヤーの視点に基づいて生成されたフレームの領域を含む。任意の数のコンピュータがローカルである（例えば、同じ場所にある）か、地理的に分散している。ゲームシステムに含まれるコンピュータの数は、１または２から数千、数万、またはそれ以上まで幅広く変わる。本明細書で使用するとき、「ゲームプレーヤー」という用語は、ゲームをプレイする人を指すのに使用され、「ゲームプレイデバイス」という用語は、ゲームをプレイするのに用いられるデバイスを指すのに使用される。

【0197】

いくつかの実施形態では、ゲームプレイデバイスは、ゲーム体験をユーザに提供するために協働する複数のコンピューティングデバイスを指す。例えば、ゲームコンソール及びＨＭＤは、ＨＭＤを介して見るゲームを配信するために、ビデオサーバシステムと協働する。別の例として、ゲームコンソールはビデオストリームをビデオサーバシステムから受信し、ゲームコンソールは、レンダリングするために、ＨＭＤ及び／またはテレビにビデオストリームまたはビデオストリームに対する更新を転送する。

【0198】

さらに、ＨＭＤは、例えば、ビデオゲームコンテンツ、映画コンテンツ、ビデオクリップコンテンツ、ウェブコンテンツ、広告コンテンツ、コンテストコンテンツ、ギャンブルゲームコンテンツ、電話会議／会議コンテンツ、ソーシャルメディアコンテンツ（投稿、メッセージ、メディアストリーム、フレンドイベント及び／またはゲームプレイなど）、ビデオ部分及び／またはオーディオコンテンツ、及びブラウザを介してインターネット上のソースから消費するために作成されたコンテンツ及びアプリケーションとあらゆるタイプのストリーミングコンテンツなど、作成または使用される任意のタイプのコンテンツを表示及び／またはインタラクションするために使用される。もちろん、前述のコンテンツのリストは、どのタイプのコンテンツも、それがＨＭＤで表示されるか、ＨＭＤの画面にレンダリングされる限りレンダリングされるため、限定的なものではない。

【0199】

一実施形態では、コンピュータは、受信したビデオを修正するシステムをさらに含む。例えば、コンピュータは、更なるレンダリングを実行して、１つのビデオ画像を別のビデオ画像上にオーバーレイし、ビデオ画像をクロッピングし、及び／または同様のことを行う。別の例として、コンピュータは、Ｉフレーム、Ｐフレーム、及びＢフレームなどの各種のビデオフレームを受信して、これらのフレームをユーザに表示するための画像に処理する。いくつかの実施形態では、コンピュータの一部は、ビデオストリームに対して、さらなるレンダリング、シェーディング、３Ｄへの変換、２次元（２Ｄ）画像への変換、歪み除去、サイジング、または同様の動作を実行する。一実施形態では、コンピュータの一部は、複数のオーディオまたはビデオストリームを受信する。

【0200】

コンピュータの入力デバイスは、例えば、片手ゲームコントローラ、または両手ゲームコントローラ、またはジェスチャー認識システム、または視線認識システム、または音声認識システム、またはキーボード、またはジョイスティック、またはポインティングデバイス、または力フィードバック装置、またはモーション検知装置及び／もしくは位置感知デバイス、またはマウス、またはタッチスクリーン、またはニューラルインタフェース、またはカメラ、またはこれらの２つ以上の組み合わせを含む。

【0201】

ビデオソースは、レンダリングロジック、例えば、ハードウェア、ファームウェア、及び／またはストレージなどのコンピュータ可読媒体上に記憶されたソフトウェアなどを含む。このレンダリングロジックは、ゲーム状態に基づいて、ビデオストリームのビデオフレームを作成する。レンダリングロジックのすべてまたは一部は、任意選択で、１つ以上のグラフィック処理ユニット（ＧＰＵ）内に配置される。レンダリングロジックは、ゲーム状態及び視点に基づいて、オブジェクト間の３次元空間的関係を判定するため、及び／または適切なテクスチャなどを適用するための処理段階を含む。レンダリングロジックは、符号化された生のビデオを生成する。例えば、未処理ビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、ＨＴＭＬ－５、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣー１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧーｘ、Ｘｖｉｄ、ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６－８、ｒｅａｌｖｉｄｅｏ、ｍｐ３、または同種のものに従って符号化される。符号化処理は、デバイス上のデコーダに配信するために任意選択でパッケージ化されたビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。任意の他のフレームサイズを使用し得るが、典型的なフレームサイズには、８００×６００ピクセル、１２８０×７２０ピクセル、１０２４×７６８ピクセル、１０８０ピクセルがある。フレームレートは、１秒あたりのビデオフレームの数である。一実施形態では、ビデオストリームは、様々な種類のビデオフレームを含む。例えば、Ｈ．２６４規格は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉフレームは、ディスプレイデバイス上のすべてのマクロブロック／画素を更新する情報を含み、一方、Ｐフレームは、そのサブセットを更新する情報を含む。Ｐフレームは、典型的には、Ｉフレームよりもデータサイズが小さい。本明細書で使用する「フレームサイズ」という用語は、フレーム内の画素数を指すことを意味する。「フレームデータサイズ」という用語は、フレームを格納するのに必要なバイト数を指すのに使用される。

【0202】

いくつかの実施形態では、コンピュータは、汎用コンピュータ、専用コンピュータ、ゲームコンソール、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルコンピューティングデバイス、ポータブルゲームデバイス、携帯電話、セットトップボックス、ストリーミングメディアインタフェース／デバイス、スマートテレビまたはネットワーク化されたディスプレイ、または本明細書で定義されるコンピュータの機能を実現するように構成することができる任意のその他のコンピューティングデバイスである。一実施形態では、クラウドゲームサーバは、ユーザ１０６によって利用されているコンピュータのタイプを検出し、ユーザのコンピュータに適切なクラウドゲーム体験を提供するように構成されている。例えば、画像設定、オーディオ設定、及びその他の種類の設定は、ユーザのコンピュータ用に最適化されている。

【0203】

図１５は、本開示に記載の実施形態によるヘッドマウントディスプレイ（ＨＭＤ）１５００を示す。ＨＭＤ１５００は、ＨＭＤ１０４（図１Ａ）の例であり、ＨＭＤ１５００の前面１５０６の一端からＨＭＤ１５００の前面１５０６の反対側の端まで延びる長さ１５０４を有する。前面１５０６は、前部領域７０４（図７Ａ）の例である。示されるように、ＨＭＤ１５００は、複数の光源１５０２Ａ～Ｈ、Ｊ及びＫを含む（例えば、１５０２Ｋ及び１５０２Ｊは、ＨＭＤヘッドバンドの後部または背面に向かって配置されている）。これらのライトはそれぞれ特定の形状及び／または位置を有し、同じ色または異なる色をしている。ライト１５０２Ａ、１５０２Ｂ、１５０２Ｃ、及び１５０２Ｄは、ＨＭＤ１５００の前面に配置されている。ライト１５０２Ｅ及び１５０２Ｆは、ＨＭＤ１５００の側面に配置されている。また、ライト１５０２Ｇ及び１５０２Ｈは、ＨＭＤ１５００の前面と側面とにまたがるように、ＨＭＤ１５００のコーナーに配置されている。ライトは、ユーザ１０６がＨＭＤ１５００を使用するインタラクティブ環境のキャプチャされた画像において識別されることが理解されよう。

【0204】

ＨＭＤ１５００のライトの識別及びトラッキングに基づいて、インタラクティブ環境におけるＨＭＤ１５００の位置及び向きが判定される。さらに、画像キャプチャデバイス、例えば、カメラ、デジタルカメラ、深度カメラ、赤外線カメラなどに対するＨＭＤ１５００の特定の向きに応じて、ライトのいくつかが見えるか、または見えないことが理解されよう。また、画像キャプチャデバイスに対して相対的なＨＭＤ１５００の向きに応じて、ライトの異なる部分（例えば、ライト１５０２Ｇ及び１５０２Ｈ）が画像キャプチャのために露出される。いくつかの実施形態では、慣性センサは、ＨＭＤ１５００内に配置され、これはライトを必要とせずに、位置決めに関するフィードバックを提供する。いくつかの実施形態では、ＨＭＤ１５００のライト及び慣性センサが連動して、位置／動きデータの混合及び選択を可能にする。

【0205】

一実施形態では、ＨＭＤ１５００のライトは、ＨＭＤ１５００の現在の状態を現実空間にいる他のユーザに表示するように構成されている。例えば、ライトの一部またはすべては、色の配置、強度の配置を有し、点滅し、オン／オフ構成、またはＨＭＤ１５００の現在の状態を表示する他の配置を有する。一例として、ＨＭＤ１５００のライトは、ビデオゲームのアクティブなゲームプレイ（一般に、アクティブなタイムライン中またはゲームのシーン内で発生するゲームプレイ）中に、メニューインタフェース内の移動またはゲーム設定の構成など、（その間にゲームのタイムラインまたはシーンが非アクティブであり、または一時停止される）ビデオゲームの他の非アクティブなゲームプレイの態様とは対照的に、異なる構成を表示する。

【0206】

一実施形態では、ライトは、ゲームプレイの相対的な強度レベルを示す。例えば、ゲームプレイの強度が増加するとき、ライトの強さ、または点滅の割合が大きくなる。

【0207】

ＨＭＤ１５００は、一実施形態では、１つ以上のマイクロフォンをさらに含んでもよい。図示の実施形態では、ＨＭＤ１５００は、ＨＭＤ１５００の前面に配置されたマイクロフォン１５０４Ａ及び１５０４Ｂと、ＨＭＤ１５００の側面に配置されたマイクロフォンとを含む。マイクロフォンのアレイを利用することにより、マイクロフォンのそれぞれからの音声を処理して、音源の位置を判定する。この情報は、不要な音源の排除、音源と視覚的な識別との関連付けなどを含む様々な形で利用される。

【0208】

ＨＭＤ１５００には、カメラなどの１つ以上の画像キャプチャデバイスが含まれている。図示の実施形態では、ＨＭＤ１５００は、画像キャプチャデバイス１５０６Ａ及び１５０６Ｂを含むことを示す。一実施形態では、立体視可能な一対の画像キャプチャデバイスを利用することにより、ＨＭＤ１５００の前の実世界環境の３Ｄ画像及びビデオが、ＨＭＤ１５００の視点からキャプチャされる。ＨＭＤ１５００を装着している間に、そのようなビデオがユーザ１０６に提示されて、ユーザに「ビデオシースルー」機能が提供される。すなわち、ユーザ１０６は、厳密な意味でＨＭＤ１５００を通して見ることはできないが、それでも、あたかもＨＭＤ１５００を通して見ているかのように、画像キャプチャデバイス１５０６Ａ及び１５０６Ｂによってキャプチャされたビデオは、ＨＭＤ１５００の外部の実世界環境を見ることができることと等価な機能を提供する。

【0209】

このようなビデオは、一実施形態では、拡張現実体験を提供するためにインタラクティブ要素で拡張され、または他の方法でインタラクティブ要素と組み合わせられ、もしくは混合される。図示の実施形態では、２つのカメラをＨＭＤ１５００の前面に示しているが、任意の数の外向きのカメラが存在してもよく、または、単一のカメラがＨＭＤ１５００に備え付けられて任意の方向に向けられてもよいことが理解されよう。例えば、別の実施形態では、環境のパノラマ画像を追加しキャプチャするために、ＨＭＤ１５００の側部に取り付けられたカメラが存在する場合がある。

【0210】

図１６は、ＨＭＤ１０４上でレンダリングするためにユーザ１０６が装着するＨＭＤ１０４にビデオゲームコンテンツを生成及び提供することができるコンピュータ１４０２を使用するゲームプレイの一例を示している。この図では、ＨＭＤ１０４に提供される仮想オブジェクト、例えば、ゲームコンテンツなどの状態は、リッチなインタラクティブ３Ｄ空間にある。上で論じたように、インタラクティブオブジェクトの状態は、コンピュータ１４０２にダウンロードされるか、または一実施形態では、ゲームクラウドシステム１１６によって実行される。ゲームクラウドシステム１１６は、特定のゲーム１６３０へのアクセス、他の友人との経験の共有、コメントの投稿、及び彼らのアカウント情報の管理を許可されるユーザのユーザ識別子１６０４のデータベースを含む。

【0211】

ゲームクラウドシステム１１６は、特定のユーザ識別子に対するゲームデータ１６０６を格納し、ゲームデータ１６０６は、ゲームプレイ中、将来のゲームプレイ、ソーシャルメディアネットワークとの共有に使用でき、またはトロフィー、賞、ステータス、ランキングなどの格納に使用される。ソーシャルデータ１６０８は、ゲームクラウドシステム１１６によって管理される。一実施形態では、ソーシャルデータ１６０８は、コンピュータネットワーク１１４を介してゲームクラウドシステム１１６とインタフェースされる別個のソーシャルメディアネットワークによって管理される。コンピュータネットワーク１１４を介して、コンピュータ１４０２を含む任意の数のコンピュータ１６１０が、コンテンツへのアクセス及び他のユーザとのインタラクションのために接続されている。

【0212】

図１６の例を続けると、ＨＭＤ１０４で見られる３次元インタラクティブシーンは、３Ｄビューで示されるキャラクターなどのゲームプレイ、または別のインタラクティブ環境を含む。１つのキャラクター、例えば、Ｐ１などは、ＨＭＤ１０４を装着しているユーザ１０６によって制御される。この例は、２人のプレーヤー間のバスケットボールシーンを示しており、ＨＭＤユーザ１０６によって制御されるアバターなどのキャラクターが、３Ｄビューで別のキャラクターにボールをダンクしている。他のキャラクターは、ゲームのＡＩ（人工知能）キャラクターであるか、別のプレーヤーまたは複数のプレーヤー（Ｐｎ）によって制御される。カメラ１６１２は、しかしながら、ＨＭＤの使用のために、部屋のディスプレイ画面の上に配置されて示されている。一実施形態では、カメラ１６１２は、ＨＭＤ１０４の画像をキャプチャする任意の場所に配置される。カメラ１６１２は、カメラＣ１（図１４）の例である。したがって、ユーザ１０６は、カメラ１６１２から約９０度回転して示されている。ディスプレイデバイス１６１３は、ＨＭＤ１０４でレンダリングされたコンテンツを表示し、ディスプレイデバイス１６１３内のシーンは、カメラ１６１２の観点から、ＨＭＤ１０４が配置される方向に依存する。もちろん、ＨＭＤの使用中、ユーザ１０６は、ＨＭＤ１０４によってレンダリングされた動的なインタラクティブシーンを利用する必要に応じて、動き回り、頭を回し、様々な方向を見ている。

【0213】

図１７を参照すると、本開示に記載の一実施形態によるＨＭＤ１７００の例示の構成要素を説明する図が示されている。ＨＭＤ１７００は、ＨＭＤ１０４（図１）またはＨＭＤ６０２（図６）またはＨＭＤ７００（図７Ａ及び７Ｂ）、またはＨＭＤ８００（図８Ａ）、またはＨＭＤ８２０（図８Ｂ）、またはＨＭＤ８２２（図８Ｃ）、またはＨＭＤ８２４（図８Ｄ）、またはＨＭＤ８２６（図８Ｅ）、またはＨＭＤ９０２（図９Ａ）、またはＨＭＤ９０４（図９Ｂ）、またはＨＭＤ９０６（図９Ｃ）、またはＨＭＤ１００２（図１０Ａ）、またはＨＭＤ１０２４（図１０Ｂ）、またはＨＭＤ１２０４（図１２）、またはＨＭＤ１３００（図１３）、またはＨＭＤ１５００（図１５）の例である。一実施形態では、有効な構成及び機能に応じて、多かれ少なかれコンポーネントがＨＭＤ１７００に含まれるかまたはそこから除外されることを理解されたい。ＨＭＤ１７００は、プログラム命令を実行するためのプロセッサ１７０２を含む。メモリ１７０４が、記憶の目的で備えられており、一実施形態では、揮発性メモリ及び不揮発性メモリの両方を含む。ユーザ１０６が見る視覚インタフェースを提供するディスプレイ１７０６が含まれている。ディスプレイ１７０６の例には、１つ以上のディスプレイ画面を有する１つ以上のディスプレイデバイスが含まれる。

【0214】

ディスプレイ１７０６は、１つの単一のディスプレイによって画定されるか、または各眼のための別個のディスプレイ画面の形で画定される。２つのディスプレイ画面が提供されている場合、左目と右目のビデオコンテンツを別々に提供することが可能である。例えば、ビデオコンテンツを各目に個別に表示すると、３Ｄコンテンツの没入型制御が向上する。本明細書で説明するように、一実施形態では、第２の画面には、片方の目に対して出力を使用し、次に２Ｄフォーマットで表示するためにコンテンツをフォーマットすることによって、ＨＭＤ１７００の第２の画面コンテンツが提供される。一実施形態では、片目は左目ビデオフィードであるが、他の実施形態では、右目ビデオフィードである。

【0215】

電池１７０８は、ＨＭＤ１７００の構成要素のための電源として提供される。他の実施形態では、電源は、電力へのコンセント接続を含む。他の実施形態では、電源及びバッテリ１７０８へのコンセント接続が提供される。動き検出モジュール１７１０は、磁力計１７１２、加速度計１７１４及びジャイロスコープ１７１６などの、様々な種類の動き検知ハードウェアのいずれかを含む。

【0216】

加速度計は、本明細書で説明する場合、加速度及び重力誘起反力を測定するデバイスである。単軸及び多軸（例えば、６軸）モデルは、異なる方向における加速度の大きさ及び方向を検出することができる。加速度計は、傾き、振動、及び衝撃を感知するために使用される。一実施形態では、３つの加速度計が重力の方向を提供するために使用され、これは２つの角度（世界空間ピッチ及び世界空間ロール）に対する絶対基準を与える。

【0217】

本明細書に記載する磁力計は、ＨＭＤ付近の磁場の強度及び方向を測定する。一実施形態では、３つの磁力計は、ＨＭＤ内で使用され、ワールド空間ヨー角度についての絶対基準を保証する。一実施形態では、磁力計は、±８０マイクロステラの地磁場範囲を有するように設計される。磁力計は金属の影響を受け、実際のヨーに対して単調なヨー測定を提供する。磁場は環境内の金属により歪み、これによりヨー測定に歪みが生じる。必要な場合、この歪みは、ジャイロスコープまたはカメラなどの他のセンサからの情報を用いて、較正される。一実施形態では、ＨＭＤ１７００の傾斜角及び方位角を得るために、加速度計１７１４が磁力計１７１２と共に使用される。

【0218】

ジャイロスコープは、本明細書で使用される場合、角運動量の原理に基づいて、向きを測定または維持するためのデバイスである。一実施形態では、３つのジャイロスコープが、慣性感知に基づいて、それぞれの軸（ｘ、ｙ及びｚ）にわたる動きについての情報を提供する。ジャイロスコープは、高速回転を検出するのに有用である。しかしながら、ジャイロスコープは、絶対基準が存在しないと、時間の経過と共にドリフトする。ドリフトを低減するために、ジャイロスコープは定期的にリセットされ、これは、オブジェクトの視覚トラッキング、加速度計、磁力計などに基づく位置／向きの判定など、他の入手可能な情報を使用して行われる。

【0219】

実世界環境の画像及び画像ストリームをキャプチャするために、カメラ１７１８が備えられている。カメラ１７１８は、ＨＭＤ１０４のカメラ１０８、またはＨＭＤ６０２（図６）のカメラ６０４Ａ、またはＨＭＤ６０２のカメラ６０４Ｂ、またはＨＭＤ７００のカメラ７１０（図７Ａ）、またはカメラ７５２Ａ（図７Ｃ）、またはカメラ７５２Ｂ（図７Ｃ）、またはカメラ７５４Ａ（図７Ｄ）、またはカメラ７５４Ｂ（図７Ｄ）、またはカメラ７５４Ｃ（図７Ｄ）の例である。一実施形態では、後向きの、例えば外向きのカメラ（ユーザ１０６がＨＭＤ１７００のディスプレイを見ているときに、ユーザ１０６から離れる方向に向けられる）など、及び前向きのカメラ（ユーザ１０６がＨＭＤ１７００のディスプレイを見ているときに、ユーザ１０６に向けられる）を含む、複数のカメラが（任意選択的に）ＨＭＤ１７００に含まれている。加えて、一実施形態では、深度カメラ１７２０は、実世界環境におけるオブジェクトの深度情報を感知するためにＨＭＤ１７００に含まれる。深度カメラ１７２０は、外向きのカメラである。深度カメラ１７２０は、ＨＭＤ１０４のカメラ１０８、またはＨＭＤ６０２のカメラ６０４Ａ（図６）、またはＨＭＤ６０２のカメラ６０４Ｂ、またはＨＭＤ７００のカメラ７１０（図７）、またはカメラ７５２Ａ（図７Ｃ）、またはカメラ７５２Ｂ（図７Ｃ）、またはカメラ７５４Ａ（図７Ｄ）、またはカメラ７５４Ｂ（図７Ｄ）、またはカメラ７５４Ｃ（図７Ｄ）の別の例である。

【0220】

ＨＭＤ１７００は、オーディオ出力を提供するためのスピーカ１７２２を含む。また、一実施形態では、周囲環境からの音声、ユーザ１０６によって行われた発話などを含む、実世界空間からのオーディオをキャプチャするためのマイクロフォン１７２４が含まれる。一実施形態では、ＨＭＤ１７００は、ユーザ１０６に触覚フィードバックを提供するための触覚フィードバックモジュール１７２６、例えば、触覚フィードバックデバイスなどを含む。一実施形態では、触覚フィードバックモジュール１７２６は、触覚フィードバックをユーザ１０６に提供することができるように、ＨＭＤ１７００の動き及び／または振動を引き起こすことが可能である。

【0221】

ＬＥＤ１７３０は、ＨＭＤ１７００の状態の視覚インジケータとして提供される。例えば、ＬＥＤは、バッテリレベル、電源投入などを示す。カードリーダ１７３２は、ＨＭＤ１７００がメモリカードへ、またこのメモリカードからの情報を読み出し、書き込むことを可能にするために提供される。ペリフェラルデバイスの接続、または他のデバイス、例えば、他のポータブルデバイス、コンピュータなどへの接続を可能にするためのインタフェースの１つの例としてＵＳＢインタフェース１７３４を含む。ＨＭＤ１７００の様々な実施形態において、様々な種類のインタフェースのいずれかが、ＨＭＤ１７００のより高い接続性を可能にするために含まれてもよい。

【0222】

一実施形態では、無線ネットワーク技術を介してコンピュータネットワーク１１４またはコンピューティングデバイス１１２への接続を可能にするために、Ｗｉ－Ｆｉ（商標）モジュール１７３６が含まれる。また、一実施形態では、ＨＭＤ１７００は、他のデバイス、例えば、ゲームコンソール、コンピューティングデバイス１１２などへの無線接続を可能にするためのＢｌｕｅｔｏｏｔｈ（商標）モジュール１７３８を含む。他のデバイスへの接続のための通信リンク１７４０が含まれる。一実施形態では、通信リンク１７４０は、無線通信のために赤外線伝送を利用する。他の実施形態では、通信リンク１７４０は、他のデバイスとの通信のために、様々な無線または有線の伝送プロトコルのいずれかを利用する。

【0223】

入力ボタン／センサ１７４２は、ユーザ１０６について入力インタフェースを提供するために含まれる。ボタンなどの様々な種類の入力インタフェースのいずれかを含めてもよい。一実施形態では、超音波技術を介して他のデバイスとの通信を促進するために、超音波通信モジュール１７４４がＨＭＤ１７００に含まれる。

【0224】

一実施形態では、バイオセンサ１７４６は、ユーザ１０６からの生理学的データ、例えば、バイオメトリック情報などの検出を可能にするために含まれる。１つの実施形態において、バイオセンサ１７４６は、ユーザの皮膚、声検出、網膜検出を通してユーザ１０６の生体電気信号を検出してユーザ／輪郭などを識別するための１つ以上の乾燥電極を含む。

【0225】

ＨＭＤ１７００のプロセッサ１７０２などの１つ以上のプロセッサは、メモリ１７０４、ディスプレイ１７０６、バッテリ１７０８、動き検出モジュール１７１０、カメラ１７１８、深度カメラ１７２０、スピーカ１７２２、マイクロフォン１７２４、触覚フィードバックモジュール１７２６、ＬＥＤ１７３０、カードリーダ１７３２、ＵＳＢインタフェース１７３４、Ｗｉ－Ｆｉ（商標）モジュール１７３６、Ｂｌｕｅｔｏｏｔｈ（商標）モジュール１７３８、通信リンク１７４０、入力ボタン／センサ１７４２、超音波通信モジュール１７４４、及びバイオセンサ１７４６に結合されている。

【0226】

ＨＭＤ１７００の前述の構成要素は、ＨＭＤ１７００内に含まれることができる単なる例示的な構成要素として記述されている。本開示に記載の様々な実施形態では、ＨＭＤ１７００は、上記の様々な構成要素の一部を含んでもよいし、または含まなくてもよい。ＨＭＤ１７００の実施形態は、本明細書に説明されるような本発明の態様を容易にする目的のために、ここでは説明されていないが、当該技術分野において既知である他の構成要素を追加で含んでもよい。

【0227】

一実施形態では、ＨＭＤ１７００は、コンピュータネットワーク１１４と通信するために、ネットワークインタフェースコントローラ（ＮＩＣ）またはネットワークインタフェースカードなどのワイヤレスアクセスカード（ＷＡＣ）を含む。

【0228】

図１８は、情報サービスプロバイダアーキテクチャの実施形態を示す。情報サービスプロバイダ（ＩＳＰ）１８０２は、ネットワーク１１４を介して地理的に分散され、接続されたユーザ１８００－１、１８００－２、１８００－３、１８００－４などに多数の情報サービスを供給する。一実施形態では、ＩＳＰは、株価更新などの１種類のサービス、または放送メディア、ニュース、スポーツ、ゲームなどの様々なサービスを提供することができる。さらに、各ＩＳＰによって提供されるサービスは動的であり、つまり、任意の時点でサービスが追加されるかまたは取り除かれる。したがって、特定の個人に特定の種類のサービスを提供するＩＳＰは、時間の経過に伴って変わる。例えば、ユーザ１０６が地元にいる間はユーザ１０６の付近のＩＳＰによってユーザ１０６にサービスが行われ、ユーザ１０６が異なる街に移動したときは異なるＩＳＰによってユーザ１０６にサービスが行われる。地元のＩＳＰは、情報及びデータを新しいＩＳＰに転送することになり、その結果、ユーザ１０６に関する情報が新しい街までユーザ１０６に「追従」し、データがユーザ１０６により近づき、データによりアクセスしやすくする。別の実施形態では、ユーザ１０６の情報を管理するマスタＩＳＰと、マスタＩＳＰからの制御下のユーザ１０６と直接的にインタフェースをとるサーバＩＳＰとの間に、マスタとサーバの関係が確立される。別の実施形態では、コンピュータが世界中を移動するときにデータが１つのＩＳＰから別のＩＳＰに転送され、ユーザ１０６にサービスを提供するのにより良い位置にあるＩＳＰがこれらのサービスを提供するものとなる。

【0229】

ＩＳＰ１８０２は、ネットワーク１１４を経由して顧客にコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ（ＡＳＰ）１８０６を含む。ＡＳＰモデルを使用して供されるソフトウェアは、オンデマンドソフトウェアまたはソフトウエアアズアサービス（ＳａａＳ）と呼ばれることもある。特定のアプリケーションプログラム（顧客関係管理など）へのアクセスを提供する簡単な形式は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）などの標準プロトコルの使用によるものである。アプリケーションソフトウェアは、ベンダのシステムに常駐し、ハイパーテキストマークアップ言語（ＨＴＭＬ）を使用するウェブブラウザを通じて、ベンダによって提供された専用クライアントソフトウェア、またはシンクライアントなどの他のリモートインタフェースにより、ユーザによってアクセスされる。

【0230】

広い地理的地域にわたって供給されるサービスは、多くの場合にはクラウドコンピューティングを使用する。クラウドコンピューティングとは、動的にスケーラブルなリソースがネットワーク１１４を介したサービスとして提供される、コンピューティング様式である。ユーザは、ユーザをサポートする「クラウド」のテクノロジインフラストラクチャの専門家である必要はない。一実施形態では、クラウドコンピューティングは、インフラストラクチャアズアサービス（ＩａａＳ）、プラットフォームアズアサービス（ＰａａＳ）、及びソフトウエアアズアサービス（ＳａａＳ）などの異なるサービスに分けられる。クラウドコンピューティングサービスは、多くの場合には、ウェブブラウザからアクセスされる共通のビジネスアプリケーションをオンラインで提供するが、ソフトウェア及びデータはサーバ上に格納される。クラウドという用語は、インターネットがコンピュータネットワーク図にどのように描かれているかに基づき、（例えば、サーバ、ストレージ、及びロジックを使用した）インターネットのメタファとして使用され、メタファが隠す複雑なインフラストラクチャの抽象的概念である。

【0231】

さらに、ＩＳＰ１８０２は、ゲームコンピュータによってシングル及びマルチプレーヤービデオゲームをプレイするために使用されるゲーム処理サーバ（ＧＰＳ）１８０８を含む。インターネット経由でプレイされる大部分のビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームはプレーヤーからのデータを収集し、それを他のプレーヤーに配信する専用サーバアプリケーションを使用する。これは、ピアツーピア構成よりも効率的かつ効果的であるが、サーバアプリケーションをホストする別個のサーバが必要となる。別の実施形態でプレーヤー１８０８は、プレーヤー及びそれぞれのゲームプレイデバイスの間の通信を確立し、集中型ＧＰＳ１８０８に依存せずに情報を交換する。

【0232】

専用ＧＰＳは、コンピュータとは無関係に稼働するサーバである。このようなサーバは、通常、データセンターに配置された専用ハードウェア上で稼働し、より多くの帯域幅及び専用処理能力を提供する。専用サーバは、大部分のＰＣベースのマルチプレーヤーゲームのためのゲームサーバをホスティングするのに好ましい方法である。大規模なマルチプレーヤーオンラインゲームは、通常ゲームタイトルを所有するソフトウェア会社によってホスティングされた専用サーバ上で実行されて、その専用サーバがコンテンツを管理及び更新することを可能にする。

【0233】

放送処理サーバ（ＢＰＳ）１８１０は、視聴者にオーディオまたはビデオ信号を配信する。非常に狭い範囲の視聴者への放送はナローキャスティングと呼ばれることもある。放送配信の最終工程は、信号が聴取者または視聴者にどのように達するかであり、信号は、ラジオ局またはテレビ局と同様にアンテナ及び受信機に地上波で到来し得るか、または局を介してケーブルテレビもしくはケーブルラジオ（もしくは「無線ケーブル」）を通じて到来し得るか、またはネットワークから直接到来し得る。インターネットはまた、特に信号及び帯域幅を共有できるマルチキャストを用いて、ラジオまたはテレビのいずれかを受信者に届けてもよい。歴史的に、放送は、全国放送または地域放送などの地理的領域によって区切られてきた。しかしながら、高速インターネットの普及に伴い、コンテンツは世界のほぼすべての国に到達し、放送は地域によって定められない。

【0234】

ストレージサービスプロバイダ（ＳＳＰ）１８１２は、コンピュータストレージ空間及び関連する管理サービスを提供する。ＳＳＰは定期的なバックアップ及びアーカイビングも供する。ストレージをサービスとして供することにより、ユーザは必要に応じてより多くのストレージを注文する。別の大きな利点は、ＳＳＰにバックアップサービスが含まれており、コンピュータのハードドライブに障害が発生してもユーザがすべてのデータを失うことがないことである。さらに、一実施形態では、複数のＳＳＰは、ユーザデータの全部または一部のコピーを有し、ユーザがどこに位置するか、またはデータにアクセスするために使用されているデバイスとは無関係に、ユーザは効率的な手法でデータにアクセスすることができる。例えば、ユーザ１０６は、家のコンピュータ内の個人的ファイルにアクセスし、さらに、ユーザ１０６が移動している間は携帯電話内の個人的ファイルにアクセスする。

【0235】

通信プロバイダ１８１４は、ユーザに接続性を提供する。通信プロバイダの１つの種類は、インターネットへのアクセスを供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰは、ダイヤルアップ、デジタル加入者線（ＤＳＬ）、ケーブルモデム、ファイバ、無線、または専用の高速インターコネクトなどのインターネットプロトコルデータグラムの供給に適したデータ伝送技術を使用して顧客を接続する。通信プロバイダは、電子メール、インスタントメッセージング及びショートメッセージサービス（ＳＭＳ）テキストメッセージなどのメッセージングサービスも提供する。通信プロバイダの別の種類は、インターネットへの直接のバックボーンアクセスを提供することによって帯域幅またはネットワークアクセスを販売するネットワークサービスプロバイダ（ＮＳＰ）である。ネットワークサービスプロバイダは、一実施形態では、電気通信事業者、データ通信事業者、無線通信プロバイダ、インターネットサービスプロバイダ、高速インターネットアクセスを提供するケーブルテレビ事業者などを含む。

【0236】

データ交換１８０４は、ＩＳＰ１８０２内のいくつかのモジュールを相互接続し、ネットワーク１１４を介してこれらのモジュールをユーザ１６００に接続する。データエクスチェンジ１８０４は、ＩＳＰ１８０２のすべてのモジュールが近接している小さい領域をカバーし、または様々なモジュールが地理的に分散しているときには大きな地理的領域をカバーする。例えば、データ交換１６８８は、データセンターのキャビネット内に高速ギガビットイーサネット（登録商標）（またはより高速）、または大陸間インタラクティブエリアネットワーク（ＶＬＡＮ）を含む。

【0237】

各ユーザ１８００－１、１８００－２、１８００－３、及び１８００－４は、少なくともＣＰＵ、ディスプレイ及び入出力インタフェース（Ｉ／Ｏ）を含むクライアントデバイス１８２０を用いてリモートサービスにアクセスする。一実施形態では、クライアントデバイスは、パーソナルコンピュータ（ＰＣ）、携帯電話、ネットブック、タブレット、ゲームシステム、携帯情報端末（ＰＤＡ）、ＨＭＤ、コンピューティングデバイス、ＨＭＤとコンピューティングの組み合わせなどである。一実施形態では、ＩＳＰ１８０２は、クライアントデバイスのタイプを認識し、使用される通信方法を調整する。他の場合には、クライアントデバイスは、ＨＴＭＬなどの標準的な通信方法を使用して、ＩＳＰ１８０２にアクセスする。

【0238】

図１９を参照すると、本開示に記載の一実施形態によるＨＨＣ１９００の例示の構成要素を説明する図が示されている。ＨＨＣ１９００は、ＨＨＣ１０２（図１Ａ）またはＨＨＣ５００（図５Ａ）の例である。一実施形態では、有効な構成及び機能に応じて、多かれ少なかれコンポーネントがＨＨＣ１９００に含まれるかまたはそこから除外されることを理解されたい。ＨＨＣ１９００は、プログラム命令を実行するためのプロセッサ１９０２を含む。メモリ１９０４が、記憶の目的で備えられており、一実施形態では、揮発性メモリ及び不揮発性メモリの両方を含む。ユーザ１０６が見る視覚インタフェースを提供するディスプレイ１９０６が含まれている。

【0239】

電池１９０８は、ＨＨＣ１９００のための電源として提供される。他の実施形態では、電源は、電力へのコンセント接続を含む。他の実施形態では、電源及びバッテリ１９０８へのコンセント接続が提供される。動き検出モジュール１９１０は、磁力計１９１２、加速度計１９１４及びジャイロスコープ１９１６などの、様々な種類の動き検知ハードウェアのいずれかを含む。

【0240】

磁力計は、ＨＨＣ付近の磁場の強度及び方向を測定する。一実施形態では、３つの磁力計がＨＨＣ内で使用され、ワールド空間ヨー角度についての絶対基準を保証する。一実施形態では、ＨＨＣ１９００の傾斜角及び方位角を得るために、加速度計１９１４が磁力計１９１２と共に使用される。

【0241】

ＨＨＣ１９００を取り巻く実世界環境の画像及び画像ストリームをキャプチャするために、カメラ１９１８が備えられている。例えば、カメラ１９１８は、ＨＭＤ１０４（図１Ａ）または本明細書で説明されるＨＭＤ７００（図７Ａ）などの他の任意のＨＭＤの画像をキャプチャする。一実施形態では、（任意選択的に）２つ以上のカメラがＨＨＣ１９００に含まれ、これには、外向きの（ＨＨＣ１９００から離れる方向に向けられた）カメラが含まれる。加えて、一実施形態では、深度カメラ１９２０は、実世界環境におけるオブジェクトの深度情報を感知するためにＨＨＣ１９００に含まれる。深度カメラ１９２０は、外向きのカメラである。例えば、深度カメラ１９２０は、ＨＭＤ１０４（図１Ａ）または本明細書で説明されるＨＭＤ７００（図７Ａ）などの他の任意のＨＭＤの画像をキャプチャする。

【0242】

ＨＨＣ１９００には、オーディオ出力を提供するためのスピーカ１９２２が含まれている。また、一実施形態では、周囲環境からの音声、ユーザ１０６により行われる発話などを含む、実世界空間からのオーディオをキャプチャするためのマイクロフォン１９２４が含まれる。一実施形態では、ＨＨＣ１９００は、触覚フィードバックをユーザ１０６へ提供するための触覚フィードバックモジュール１９２６、例えば触覚フィードバックデバイスを含む。一実施形態では、触覚フィードバックモジュール１９２６は、触覚フィードバックをユーザ１０６に提供することができるように、ＨＨＣ１９００の動き及び／または振動を引き起こすことが可能である。

【0243】

ＬＥＤ１９３０は、ＨＨＣ１９００の状態の視覚インジケータとして提供される。例えば、ＬＥＤはバッテリレベル、電源オンなどを示す。周辺デバイスの接続、または他のポータブルデバイス、コンピュータなどの他のデバイスへの接続を可能にするためのインタフェースの一例として、ＵＳＢインタフェース１９３４が含まれる。ＨＨＣ１９００の様々な実施形態では、ＨＨＣ１９００の接続性を高めることを可能にするために、様々な種類のインタフェースのいずれかが含まれ得る。

【0244】

一実施形態では、コンピューティングデバイス１１２を介してコンピュータネットワーク１１４に接続するための無線ネットワーキング技術を介してコンピューティングデバイス１１２への接続を可能にするために、Ｗｉ－Ｆｉ（商標）モジュール１９３６が含まれる。また、一実施形態では、ＨＨＣ１９００は、他のデバイス、例えば、コンピューティングデバイス１１２などへの無線接続を可能にするためのＢｌｕｅｔｏｏｔｈ（商標）モジュール１９３８を含む。通信リンク１９４０は、ＨＭＤ１０４または本明細書に記載されている他のＨＭＤなどの他のデバイスへの接続のために含まれる。一実施形態では、通信リンク１９４０は、無線通信のために赤外線伝送を利用する。他の実施形態では、通信リンク１９４０は、他のデバイスとの通信のために、様々な無線または有線の伝送プロトコルのいずれかを利用する。

【0245】

入力ボタン／センサ１９４２は、ユーザ１０６について入力インタフェースを提供するために含まれる。ボタン、容量性デバイス、タッチパッド、ジョイスティック、トラックボールなど、様々な種類の入力インタフェースのいずれかを含めてもよい。一実施形態では、超音波技術を介して他のデバイスとの通信を促進するために、超音波通信モジュール１９４４がＨＨＣ１９００に含まれる。

【0246】

一実施形態では、バイオセンサ１９４６は、ユーザ１０６からの生理学的データ、例えば、バイオメトリック情報などの検出を可能にするために含まれる。一実施形態では、バイオセンサ１９４６は、ユーザの皮膚、声検出、網膜検出を通してユーザ１０６の生体電気信号を検出してユーザ／輪郭などを識別するための１つ以上の乾燥電極を含む。

【0247】

ＨＨＣ１９００のプロセッサ１９０２などの１つ以上のプロセッサは、メモリ１９０４、ディスプレイ１９０６、バッテリ１９０８、動き検出モジュール１９１０、カメラ１９１８、深度カメラ１９２０、スピーカ１９２２、マイクロフォン１９２４、触覚フィードバックモジュール１９２６、ＬＥＤ１９３０、ＵＳＢインタフェース１９３４、Ｗｉ－Ｆｉ（商標）モジュール１９３６、Ｂｌｕｅｔｏｏｔｈ（商標）モジュール１９３８、通信リンク１９４０、入力ボタン／センサ１９４２、超音波通信モジュール１９４４、及びバイオセンサ１９４６に結合されている。

【0248】

一実施形態では、ＨＨＣ１９００は、コンピュータネットワーク１１４と通信するために、ＮＩＣまたはネットワークインタフェースカードなどのＷＡＣを含む。

【0249】

ＨＨＣ１９００の前述の構成要素は、ＨＨＣ１９００内に含まれることができる単なる例示的な構成要素として記述されている。本開示に記載の様々な実施形態では、ＨＨＣ１９００は、上記の様々な構成要素の一部を含んでもよいし、または含まなくてもよい。ＨＨＣ１９００の実施形態は、本明細書に説明されるような本発明の態様を容易にする目的のために、ここでは説明されていないが、当該技術分野において既知である他の構成要素を追加で含んでもよい。

【0250】

一実施形態では、コンピューティングデバイス１１２及び／またはゲームクラウドシステム１１６の１つ以上のサーバは、本明細書では処理デバイスと呼ばれることがある。例えば、コンピューティングデバイス１１２の１つ以上のプロセッサ及び／またはゲームクラウドシステム１１６の１つ以上のプロセッサは、本明細書では処理デバイスと呼ばれることがある。

【0251】

本開示に記載の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な一般消費者向け電気製品、小型コンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施され得る。本開示に記載の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。

【0252】

前述の実施形態を念頭に置いて、本開示に記載の実施形態は、コンピュータシステムに記憶されたデータを伴う様々なコンピュータ実施動作を用い得ることを、理解されたい。これらの動作は、物理量の物理的操作を要する動作である。本開示に記載の実施形態の一部を形成する、本明細書で説明される動作のうちのいずれも、有用な機械動作である。本開示に記載のいくつかの実施形態はまた、これら動作を実行するためのデバイスまたは装置に関する。本装置は、必要な目的のために特別に構築することができ、または本装置は、コンピュータに記憶されたコンピュータプログラムにより選択的に起動または構成される汎用コンピュータであり得る。具体的には、様々な汎用機械を、本明細書の教示に従って書かれたコンピュータプログラムと共に使用することができ、あるいは、必要な動作を実行するためにより専門的な装置を構築する方がより好都合である場合もある。

【0253】

本開示に記載されているいくつかの実施形態はまた、コンピュータ可読媒体上のコンピュータ可読コードとして具体化することができる。コンピュータ可読媒体は、後でコンピュータシステムにより読み出され得るデータを格納できる任意のデータストレージデバイスである。コンピュータ可読媒体の例には、ハードドライブ、ＮＡＳ、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、光学データストレージデバイス、非光学データストレージデバイスなどが含まれる。コンピュータ可読媒体は、コンピュータ可読コードが分散方式で格納及び実行されるように、ネットワーク結合コンピュータシステム上に分散されたコンピュータ可読有形媒体を含むことができる。

【0254】

一実施形態では、本開示の実施形態で説明される１つ以上の特徴は、本開示で説明される別の実施形態で説明される１つ以上の特徴と組み合わせることができることに留意されたい。

【0255】

さらに、上記の実施形態のいくつかは、ゲーム環境に関して説明されているが、いくつかの実施形態では、ゲームの代わりに、他の環境、例えば、ビデオ会議環境などが使用される。

【0256】

方法動作は特定の順序で説明されたが、オーバーレイ動作の処理が所望の方法で実行される限り、動作間に他の維持管理動作が実行されてもよく、または動作がわずかに異なる時間に起こるように調整されてもよく、またはシステム内に動作を分散することで、処理に関連する様々な間隔で処理動作が起こることを可能にしてもよいことを、理解すべきである。

【0257】

本開示に記載の前述の実施形態は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は例示的であって限定的ではないと見なされるべきであり、実施形態は本明細書に記載された詳細に限定されるものではなく、添付の特許請求の範囲及び均等物の範囲内で修正され得る。

【図1A】

【図1B】

【図1C】

【図1D】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】

【図9A】

【図9B】

【図9C】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】