特許 6526721 仮想現実コンテンツをレンダリングするモバイルコンピューティングデバイスを備えたインタフェースを有する頭部装着型デバイス（ＨＭＤ）システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6526721

(24)【登録日】2019年5月17日

(45)【発行日】2019年6月5日

(54)【発明の名称】仮想現実コンテンツをレンダリングするモバイルコンピューティングデバイスを備えたインタフェースを有する頭部装着型デバイス（ＨＭＤ）システム

(51)【国際特許分類】

   H04N 13/341 20180101AFI20190527BHJP

   H04N 13/398 20180101ALI20190527BHJP

   G02B 27/02 20060101ALI20190527BHJP

   G02B 27/22 20060101ALI20190527BHJP

   H04N 21/41 20110101ALI20190527BHJP

   H04N 21/431 20110101ALI20190527BHJP

   H04N 5/64 20060101ALI20190527BHJP

   G06F 3/16 20060101ALI20190527BHJP

   G06F 3/01 20060101ALI20190527BHJP

   G06F 3/0481 20130101ALI20190527BHJP

   G06F 3/0484 20130101ALI20190527BHJP

   H04M 1/00 20060101ALI20190527BHJP

【ＦＩ】

   H04N13/341

   H04N13/398

   G02B27/02 Z

   G02B27/22

   H04N21/41

   H04N21/431

   H04N5/64 511A

   G06F3/16 630

   G06F3/01 570

   G06F3/0481 150

   G06F3/0484

   H04M1/00 R

【請求項の数】21

【全頁数】36

(21)【出願番号】特願2016-570342(P2016-570342)

(86)(22)【出願日】2015年5月18日

(65)【公表番号】特表2017-528935(P2017-528935A)

(43)【公表日】2017年9月28日

(86)【国際出願番号】US2015031435

(87)【国際公開番号】WO2015183621

(87)【国際公開日】20151203

【審査請求日】2016年12月1日

(31)【優先権主張番号】62/006,022

(32)【優先日】2014年5月30日

(33)【優先権主張国】US

(31)【優先権主張番号】14/712,886

(32)【優先日】2015年5月14日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】513244960

【氏名又は名称】ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー

(74)【代理人】

【識別番号】100099324

【弁理士】

【氏名又は名称】鈴木 正剛

(72)【発明者】

【氏名】ゲイリー エム． ザルースキ

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２０１１−１４５４８８（ＪＰ，Ａ）

【文献】 特開平０７−１４０４１６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／００７９３５６（ＵＳ，Ａ１）

【文献】 英国特許出願公開第０２４９９１０２（ＧＢ，Ａ）

【文献】 特開２００７−２５６９６０（ＪＰ，Ａ）

【文献】 特開２０１２−０９４９３６（ＪＰ，Ａ）

【文献】 特開２００７−０７１７８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／３９８

Ｇ０２Ｂ ２７／０２

Ｇ０２Ｂ ２７／２２

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｆ ３／１６

Ｈ０４Ｍ １／００

Ｈ０４Ｎ ５／６４

Ｈ０４Ｎ ２１／４１

Ｈ０４Ｎ ２１／４３１

(57)【特許請求の範囲】

【請求項1】

ストラップを介してユーザの頭部に取り付けられるハウジングを有し、
前記ハウジング内に一体化した光学素子であって、前記ハウジングの内側に向けられ、前記ハウジングが前記ユーザの前記頭部に取り付けられると、前記ユーザの目の側に向くように構成されるディスプレイ光学素子を有し、
前記ハウジング内に一体化して、スマートフォンを受け入れるように構成されるホルダを有し、前記スマートフォンの画面が前記ハウジングの前記ディスプレイ光学素子側に向けられ、前記スマートフォンが前記ホルダとのデータ接続部を有することによって、前記ハウジングの電子素子と前記スマートフォンの電子素子とのデータ通信が可能になり、
前記ハウジングの前記電子素子とインタフェースで接続されて光学素子の左目側のシャッターと光学素子の右目側のシャッターとを制御するシャッター制御ロジックを有し、
前記光学素子とインタフェースで接続される光学素子制御ロジックを有し、
前記シャッター制御ロジックと前記光学素子制御ロジックとインタフェースで接続されるように構成されたプロセッサを有し、このプロセッサは、前記スマートフォンの前記画面にレンダリングされた画像データが、前記光学素子の左目側のみを通して見ることができ、次に、前記光学素子の右目側のみを通して見ることができるようにすることを連続して切り替えるように前記シャッター制御ロジックを設定するように構成され、前記画像データが前記光学素子の左目側及び右目側に与えられたときに表示が最適化されるように、前記光学素子制御ロジックとインタフェースで接続されるようにさらに構成されるプロセッサとを備える仮想現実コンテンツレンダリングシステムであって、
前記シャッター制御ロジックによって、前記ハウジングの前記光学素子を通して見たときに前記スマートフォンの前記画面上でレンダリングされた前記画像データから３次元画像を表示することができる、仮想現実コンテンツレンダリングシステム。

【請求項2】

前記スマートフォンを前記ハウジングに接続するデバイスインタフェースをさらに備えることを特徴とする、請求項１に記載のシステム。

【請求項3】

ハウジングの慣性センサを有し、前記慣性センサはハウジングの移動および向きデータを提供し、前記移動および向きデータは前記スマートフォンに伝えられる前記ハウジングの慣性センサを更に備えるものであり、
前記スマートフォンは、前記スマートフォンがレンダリングする仮想現実シーンへのビュー方向及び視点に影響を与えるまたはビュー方向及び視点を更新するために、前記ハウジングの前記移動及び向きデータを、前記スマートフォンの慣性センサが生成する移動及び向きとともに使用して、前記ハウジングの移動及び向きを微調整する、請求項１に記載のシステム。

【請求項4】

前記ハウジングの前記慣性センサからの少なくともいくつかのデータを、前記スマートフォンの前記慣性センサからのデータと組み合わせて、前記ハウジングのトラッキングを改善することをさらに含むことを特徴とする、請求項３に記載のシステム。

【請求項5】

前記ハウジングの１つの面に配置され、少なくとも１つのカメラを使用して前記ハウジングの位置をトラッキングするのに使用される複数の発光ダイオードをさらに備える、請求項１に記載のシステム。

【請求項6】

前記ハウジングの１つの面に配置され、前記ハウジングがトラッキングされる空間に位置する少なくとも１つの発光デバイスを使用して前記ハウジングの位置をトラッキングするのに使用される複数の発光ダイオードをさらに備える請求項１に記載のシステム。

【請求項7】

透視モードを処理するための前記ハウジングの前記電子素子の回路であって、前記スマートフォンの前向きのカメラを有効にする回路をさらに備え、
前記シャッター制御ロジックが休止され、前記透視モードにあるとき、前記スマートフォンの前記前向きのカメラを介して現実世界のビューを示す前記スマートフォンの前記画面からの画像データの表示を前記光学素子制御ロジックが可能にする、請求項１に記載のシステム。

【請求項8】

透視モードを処理するための前記ハウジングの前記電子素子の回路であって、前記ハウジングの前向きのカメラを有効にする回路をさらに備え、
前記シャッター制御ロジックが休止され、前記透視モードにあるとき、前記ハウジングの前記前向きのカメラを介して現実世界のビューを示す前記スマートフォンの前記画面からの画像データの表示を前記光学素子制御ロジックが可能にする、請求項１に記載のシステム。

【請求項9】

前記ハウジングと一体化して、ストリーミングコンテンツまたは対話型ストリーミングコンテンツの一方であるデジタルコンテンツを有するインターネットサイトに接続するネットワークへのアクセスを与えるネットワークインタフェースをさらに備え、前記対話型ストリーミングコンテンツは、前記ハウジングの前記光学素子を介して表示するように、前記スマートフォンによってレンダリングされる、請求項１に記載のシステム。

【請求項10】

前記スマートフォンによって与えられ、ストリーミングコンテンツまたは対話型ストリーミングコンテンツの一方であるデジタルコンテンツを有するインターネットサイトに接続するネットワークへのアクセスを与えるネットワークインタフェースをさらに備え、前記対話型ストリーミングコンテンツは、前記ハウジングの前記光学素子を介して表示するように、前記スマートフォンによってレンダリングされる、請求項１に記載のシステム。

【請求項11】

前記ハウジング内に一体化される前記光学素子は、左目用光学素子及び右目用光学素子を含む、請求項１に記載のシステム。

【請求項12】

前記ハウジングは、前記スマートフォンが生成する前記画像データ内のレンダリングされる対話型コンテンツシーンの少なくとも一部を制御するためのユーザ入力を受信するように構成されるデバイス入力部を含む、請求項１に記載のシステム。

【請求項13】

前記ユーザ入力は、コントローラ、ハンドジェスチャ、タッチジェスチャ、音声制御、またはそれらの組み合わせを介する、請求項１２に記載のシステム。

【請求項14】

ハウジングと、
前記ハウジング内に配置される光学素子と、
前記ハウジング内に配置されるプロセッサと、
前記プロセッサとインタフェースで接続され、前記光学素子の左目側のシャターを開放して、前記光学素子の右目側のシャッターを閉止することと、前記光学素子の前記右目側のシャッターを開放して、前記光学素子の前記左目側のシャッターを閉止することとを交互に行うよう動作するように構成されるシャッター制御ロジックと、
前記ハウジングと一体化して、ディスプレイ画面を有するスマートデバイスを受け入れるように構成されるホルダ部を有し、頭部装着型ディスプレイ（ＨＭＤ）システムをユーザが着用しているときに、前記ディスプレイ画面は、前記ユーザの顔に向かう方向で前記ハウジングの前記光学素子の側に向けられており、かつ、前記スマートデバイスは、前記ハウジングの電子素子と前記スマートデバイスの電子素子とのデータ通信を可能とする、前記ホルダ部とのデータ接続部を有し、
前記シャッター制御ロジックは、前記光学素子の右目側のシャッターが開放されたときに前記スマートデバイスの前記ディスプレイ画面上にレンダリングされる画像データが前記光学素子の右目側を通じて見ることができるように、かつ、前記光学素子の前記左目側のシャッターが開放されたときに前記光学素子の左目側を通じて見ることができるように、前記スマートデバイスの前記ディスプレイ画面上にレンダリングされる画像データの３次元ビューを可能にするように構成される、頭部装着型ディスプレイ（ＨＭＤ）システム。

【請求項15】

前記左目側または右目側の光学素子を閉止するように動作する前記シャッターは、前記光学素子を透明とは対照的な不透明にするように構成される、請求項１４に記載の頭部装着型ディスプレイ（ＨＭＤ）システム。

【請求項16】

画像歪み調整、サイジング調整またはその組み合わせを実行するための光学素子を更に有する、請求項１４に記載の頭部装着型ディスプレイ（ＨＭＤ）システム。

【請求項17】

前記ハウジングは、少なくとも１つの前向きのカメラを含む、請求項１４に記載の頭部装着型ディスプレイ（ＨＭＤ）システム。

【請求項18】

前記ハウジングは、前記ハウジングのトラッキングを可能にし、あらかじめ定義された間隔で前記ハウジングの１つの面に配置されるフォトダイオードを含む、請求項１４に記載の頭部装着型ディスプレイ（ＨＭＤ）システム。

【請求項19】

前記ハウジングは、カメラによる前記ハウジングのトラッキングを可能にする発光ダイオードを含む、請求項１４に記載の頭部装着型ディスプレイ（ＨＭＤ）システム。

【請求項20】

前記ハウジングと一体化して、ストリーミングコンテンツまたは対話型ストリーミングコンテンツの一方であるデジタルコンテンツを有するインターネットサイトに接続するネットワークへのアクセスを与えるネットワークインタフェースをさらに備え、
前記対話型ストリーミングコンテンツは、前記ハウジングの前記光学素子を介して表示するように、前記スマートデバイスによってレンダリングされる、請求項１４に記載の頭部装着型ディスプレイ（ＨＭＤ）システム。

【請求項21】

前記スマートデバイスによって与えられ、ストリーミングコンテンツまたは対話型ストリーミングコンテンツの一方であるデジタルコンテンツを有するインターネットサイトに接続するネットワークへのアクセスを与えるネットワークインタフェースをさらに備え、
前記対話型ストリーミングコンテンツは、前記ハウジングの前記光学素子を介して表示するように、前記スマートデバイスによってレンダリングされる、請求項１４に記載の頭部装着型ディスプレイ（ＨＭＤ）システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メディアコンテンツを見るのに使用されるヘッドセットに関し、より詳しくはスマートデバイスを一体化して、３Ｄレンダリング用に画像を処理することができるヘッドセットに関する。

【背景技術】

【0002】

コンピュータ産業及びビデオゲーム産業はここ何年かで多くの変化を経験してきた。計算能力が拡大するにつれ、ビデオゲームの開発者は増加する計算能力に適応させたゲームソフトウエアを作成してきた。この目的を達成するために、ビデオゲームの開発者は、最新の演算及び数値演算を取り入れたゲームを符号化して、非常に現実的なゲーム経験を生み出した。

【0003】

これらのゲームは、ゲームコンソール、ゲームデバイスを含むゲームシステムの一部として提示され、及び／またはサーバ若しくはクラウドを通してサービスとして提供される。公知なように、ゲームコンソールは、モニタ（通常テレビ）に接続し、ユーザが携帯コントローラ／入力デバイスを通じて対話できるように設計されている。ゲームコンソールは、ＣＰＵを含む処理専門ハードウエア、集中的なグラフィックス演算を処理するグラフィックス処理装置、幾何学変換を行うベクトルユニット、ならびに他のグルーハードウエア、ファームウエア及びソフトウエアを含んでいてよい。ゲームコンソールを、ゲームコンソールを通じてローカルプレイをするためのゲームコンパクトディスクを受け入れる光学ディスクトレイを備えるようにさらに設計してもよい。さらに、オンラインマルチプレイヤゲームも可能で、この場合、ユーザはインターネットを通して他のユーザと対戦するか、一緒に対話式にゲームをすることができる。ゲームの複雑さがプレイヤーの興味をそそるので、ゲーム及びハードウエアメーカーは、さらに、より現実的な対話性が可能になるように革新を続けてきた。

【0004】

コンピュータゲーム産業では、ユーザとゲームシステム間の対話を増やすゲームの開発が増える傾向にある。より豊かな対話経験を達成する一つの方法が、移動とジェスチャをゲームシステムにトラッキングされるワイヤレスゲームコントローラを使用することである。これらの移動やジェスチャを、ゲームの入力として使用する。一般的に言って、ジェスチャ入力とは、コンピューティングシステム、ビデオゲームコンソール、スマート電化製品などの電子デバイスに、電子デバイスが取り込んだゲームをしながらユーザが行うあるジェスチャに反応させることを指している。

【0005】

より没入型の対話経験を達成する別の方法が、頭部装着型ディスプレイ（ＨＭＤ）を使用することである。頭部装着型ディスプレイは、ユーザが装着して、仮想空間のビューなどさまざまなグラフィックスを、ＨＭＤの表示部において提示するよう構成することができる。頭部ディスプレイで提示されたグラフィックスは、広範な部分またはユーザの視野全体までもカバーすることができる。したがって、頭部装着型ディスプレイは、没入型経験をユーザに提供することができる。インターネット接続が増加し続けるにつれ、ＨＭＤシステムのより多くの構成が導入されるようになったが、それぞれいくつかの利点と関連の制約を持つ。

【0006】

このような状況において、本発明の実施形態が生まれた。

【発明の概要】

【0007】

ディスプレイ画面へのコンテンツのレンダリングを可能にするシステム、方法及び装置に関する実施形態、特に頭部装着型ディスプレイ（ＨＭＤ）について説明する。レンダリング対象のコンテンツは、リッチな３次元コンテンツを含んでもよく、リッチな３次元コンテンツを、没入型仮想現実コンテンツという文脈でレンダリングしてよい。

【0008】

１つの実施態様において、スマートフォンを受け入れるスロットまたはホルダを含むデバイスを提供する。デバイスは、スマートフォンをスロットまたはホルダ内に位置付けることができるように、ストラップまたは頭部接着型構造を備えて構成される。１つの構成において、スマートフォンの画面は、従来のＨＭＤが内部に一体化させた画面と同様にユーザには見える。したがって、デバイスはディスプレイ画面を含まないが、代わりに、スマートフォンのディスプレイ画面を使用して、ユーザが見る画像をレンダリングする。１つの実施態様において、スマートフォンはインターネットと通信をして、コンテンツにアクセスする、またはスマートフォンのストレージからのコンテンツにアクセスすることになる。接続モードで、スマートフォンは、ストリーミングコンテンツまたはダウンロードしたコンテンツを入手してよく、スマートフォンが頭部装着型デバイスとして動作すると、そのコンテンツをスマートフォン上でレンダリングすることができる。１つの実施態様において、スマートフォンのディスプレイ上でレンダリングしたコンテンツを歪ませて、３次元 画像を生成し、スマートフォン保持デバイスの光学素子が、スマートフォンが表示するコンテンツを、デバイスの光学素子を介して見るとき、リッチな３次元画像／ビデオ／対話型データに見えるように、画像の歪みを解消することができる。１つの構成では、頭部装着型デバイスは、デバイスの右目用及び左目用の光学素子を制御することができるシャッター制御ロジックを含むことになるので、画像データに対してシャッターが即座に下ろされて、左、右、左、右、左、右．．．の画像を示し、これによって実質的に頭部装着型ディスプレイ（すなわち保持デバイス及びスマートフォン）がレンダリングした画像データを、３次元、リッチ、かつ没入型にすることができる。

【0009】

頭部装着型ディスプレイ（ＨＭＤ）システムを提供する。システムは、ハウジングと、ハウジング内に配置される光学素子とを含む。システムは、ハウジング内に配置されるプロセッサと、プロセッサとインタフェースで接続されるシャッター制御ロジックとをさらに含む。シャッター制御ロジックは、光学素子の左目側を開放して、光学素子の右目側を閉止することと、光学素子の右目側を開放して、光学素子の左目側を閉止することとを交互に行うよう動作するように構成される。ホルダ部は、ハウジングと一体化する。ホルダ部は、ディスプレイ画面を有するスマートデバイスを受け入れるように構成される。ＨＭＤシステムをユーザが着用している時に、ディスプレイ画面は、ユーザの顔に向かう方向でハウジングの光学素子の側に向く。シャッター制御ロジックは、スマートデバイスのディスプレイ画面上でレンダリングされる画像データの３次元ビューを可能にするように構成される。

【0010】

別の実施形態において、仮想現実コンテンツレンダリングシステムを提供する。システムは、ストラップを介してユーザの頭部に取り付けられるハウジングを含む。システムは、ハウジング内に配置される光学素子をさらに含む。ディスプレイ光学素子は、ハウジングの内側部に向かい、ハウジングがユーザの頭部に取り付けられると、ユーザの目の側に向くように構成される。ホルダ部は、ハウジング内に一体化する。ホルダは、スマートフォンまたはスマートデバイス（すなわち、画面付きのタブレットまたはデバイス）を受け入れるように構成される。１つの実施例では、スマートフォンの画面は、ハウジングの表示光学素子の側に向く。スマートフォンは、ホルダとのデータ接続部を有することによって、ハウジングの電子素子とスマートフォンの電子素子とのデータ通信が可能になる。シャッター制御ロジックは、ハウジングの電子素子とインタフェースで接続される。光学素子制御ロジックは、光学素子とインタフェースで接続される。プロセッサは、シャッター制御ロジック及び光学素子制御ロジックとインタフェースで接続するよう構成される。プロセッサは、スマートフォンの画面から入手する画像データを、光学素子の左目側のみにレンダリングして、次に、光学素子の右目側のみにレンダリングすることを連続して切り替えるようにシャッター制御ロジックを設定するように構成される。プロセッサは、画像データを光学素子の左目側及び右目側に与えられるためにレンダリングを最適化するように、光学制御ロジックとインタフェースで接続されるようにさらに構成される。シャッター制御ロジックによって、ハウジングの光学素子を通して見ると、スマートフォンの画面上でレンダリングされる画像データから、ユーザが認知するように、３次元画像を表示することができる。

【0011】

いくつかの実施態様において、システムは、スマートフォンをハウジングに接続させる（有線または無線の）デバイスインタフェースを含む。

【0012】

いくつかの実施態様において、システムは、ハウジングの慣性センサを含む。慣性センサは、ハウジングの移動及び向きデータを与え、ハウジングの移動及び向きは、スマートフォンに伝えられる。スマートフォンは、スマートフォンがレンダリングする仮想現実シーンへのビュー方向及び視点に影響を与えるまたはビュー方向及び視点を更新するために、ハウジングの移動及び向きデータを、スマートフォンの慣性センサが生成する移動及び向きとともに使用して、ハウジングの移動及び向き（あるいは方向）を微調整する。

【0013】

いくつかの実施態様において、システムは、ハウジングの慣性センサからの少なくともいくつかのデータを、スマートフォンの慣性センサからのデータと組み合わせて、ハウジングのトラッキングを改善する。

【0014】

いくつかの実施態様において、システムは、ハウジングの１つの面に配置され、少なくとも１つのカメラを使用してハウジングの位置をトラッキングするのに使用される複数の発光ダイオードを含む。

【0015】

いくつかの実施態様において、システムは、ハウジングの１つの面に配置され、ハウジングがトラッキングされる空間に位置する少なくとも１つの発光素子を使用してハウジングの位置をトラッキングするのに使用される複数のフォトダイオードを含む。

【0016】

いくつかの実施態様において、システムは、透視モードを処理するためのハウジングの電子素子の回路であって、スマートフォンの前向きのカメラを有効にする回路を含む。シャッター制御ロジックが休止され、透視モードにあるとき、スマートフォンの前向きのカメラを介して現実世界のビューを示すスマートフォンの画面からの画像データの表示を光学素子制御ロジックが可能にする。

【0017】

いくつかの実施態様において、システムは、透視モードを処理するためのハウジングの電子素子の回路であって、ハウジングの前向きのカメラを有効にする回路を含む。シャッター制御ロジックが休止され、透視モードにあるとき、ハウジングの前向きのカメラを介して現実世界のビューを示すスマートフォンの画面からの画像データの表示を光学素子制御ロジックが可能にする。

【0018】

いくつかの実施態様において、システムは、ハウジングと一体化するネットワークインタフェースを含む。ネットワークインタフェースは、デジタルコンテンツを有するインターネットサイトに接続するネットワークへのアクセスを与える。デジタルコンテンツは、ストリーミングコンテンツまたは対話型ストリーミングコンテンツの一方であり、ストリーミング対話型コンテンツは、ハウジングの光学素子を介して表示するように、スマートフォンによってレンダリングされる。

【0019】

いくつかの実施態様において、システムは、スマートフォンが与えるネットワークインタフェースを含む。ネットワークインタフェースは、デジタルコンテンツを有するインターネットサイトに接続するネットワークへのアクセスを与える。デジタルコンテンツは、ストリーミングコンテンツまたは対話型ストリーミングコンテンツの一方であり、ストリーミング対話型コンテンツは、ハウジングの光学素子を介して表示するように、スマートフォンによってレンダリングされる。

【0020】

いくつかの実施形態において、ハウジング内に一体化される光学素子は、左目用光学素子及び右目用光学素子を含む。

【0021】

いくつかの実施形態において、ハウジングは、デバイス入力部（すなわち、入力デバイスまたは情報と通信するインタフェース）を含む。デバイス入力部は、スマートフォンが生成する画像データ内のレンダリングされる対話型コンテンツシーンの少なくとも一部を制御するためのユーザ入力を受信するように構成される。

【0022】

１つの実施態様において、ユーザ入力は、コントローラ、ハンドジェスチャ、タッチジェスチャ、音声制御、またはそれらの組み合わせを介して行われる。

【図面の簡単な説明】

【0023】

【図1A】１つの実施形態に係る、スマートフォンまたはスマートデバイスを受け入れるハウジングなどのデバイスであって、メガネまたは頭部装着型デバイス（ＨＭＤ）の形態のデバイスを装着するユーザを示す。

【図1B】１つの実施形態に係る、電子部品及びスマートフォン用ホルダを含むメガネの側面図を示す。

【図1C】１つの実施形態に係る、スマートフォンを保持するスロットを備えるメガネの斜視図を示す。

【図1D】１つの実施形態に係る、スマートデバイス、タブレットデバイスまたはコンテンツ表示用画面を有する任意のデバイスも含むことが可能なスマートフォンの一実施例を示す。

【図2】１つの実施形態に係る、スマートフォン、及びＨＭＤデバイスがレンダリングするシーンとの対話を含むＨＭＤデバイスを装着するユーザを示す。

【図3A】スマートフォンを保持することができる受け入れユニットなどのハウジングのフォームファクタの一実施例であって、スマートフォンのカメラは前向きである。

【図3B】１つの実施形態に係る、スマートフォンがワイヤでハウジング受け入れユニット及び受け入れユニット／ハウジングの光学機器に接続される構成の一実施例を示す。

【図4A】１つの実施形態に係る、受け入れユニットまたはハウジングの一部をなす電子素子、及び光学素子ならびにスマートフォンを備える例示的電子機器のインタフェースを示す。

【図4B】１つの実施形態に係る、スマートフォンのソフトウエアが、アップレンダリング（拡大）を含む、フレーム選択及び右／左目選択を処理し、ＨＭＤハウジングの光学機器を通して表示する、および見る処理を実行するように構成されたスマートフォンのソフトウエアの一実施例を示す。

【図4C】１つの実施形態に係る、シャッターロジックが右／左と交互に見るように光学機器を設定する一実施例を示す。

【図5】１つの実施形態に係る、シャッター制御ロジック、コントローラ光学素子、プロセッサ、ネットワークインタフェース、慣性センサ、メモリ、フレームバッファ、及びスマートフォンと接続し、デジタルコンテンツにインターネットアクセスするためのデバイスインタフェースを含み得るハウジングの電子素子の一実施例を示す。

【図6】１つの実施形態に係る、同一場所にいるユーザがコンテンツを局地的に、クラウドシステムを含め、たとえばピアツーピアで共有できる一実施例を示す。

【図7】スマートフォン及びシャッターロジックを使用してＶＲ経験におけるリッチ３Ｄコンテンツを提供するＨＭＤシステムの別の実施例を示す。

【図8A】１つの実施形態に係る、コンピューティングデバイス及びトラッキングで使用するカメラとインタフェースで接続されるＨＭＤを装着するユーザの一実施例を示す。

【図8B】１つの実施形態に係る、カメラトラッキングで使用可能な複数のＬＥＤ、及び場合によっては、フォトダイオードをハウジング表面に一体化させて、レーザまたは発光源を使用したトラッキングを行わせることができることを示す。

【図9】クライアントシステムを使用したゲームプレイの一実施例を示す。

【図10】１つの実施形態に係る、ゲームコンソールを介してトラッキング及びプレイを行うＨＭＤの一実施例を示す。

【図11】１つの実施形態に係る、ハウジングまたはＨＭＤシステムの一部となりうる電子素子の一例を示す。

【図12】１つの実施形態に係る、データセンタ、ならびに例えば、マルチプレイヤー対話、通信及び／またはプレイ用ネットワークを介した複数のユーザとのインタフェースへのアクセスの一実施例を示す。

【発明を実施するための形態】

【0024】

ディスプレイ画面へのコンテンツのレンダリングを可能にするシステム、方法及び装置に関する実施形態を説明する。レンダリング対象のコンテンツは、リッチな３次元コンテンツを含んでもよく、リッチな３次元コンテンツを、没入型仮想現実コンテンツという文脈でレンダリングしてよい。コンテンツは、ゲーム関連、エンターテインメント関連、通信関連、ソーシャルコミュニケーション若しくは共有関連、またはこれらの組み合わせ、ならびに他のタイプのメディア及び情報であってよい。図１Ａ〜図７を参照して説明するいくつかの実施例では、第２のコンピューティングデバイスと通信するように構成してもよいヘッドセットデバイスを示す。１つの実施例では、第２のコンピューティングデバイスは、スマートフォン、タブレット、コンピュータ、または画像コンテンツを入手するために通信を行い、そのような画像コンテンツのレンダリングが可能にする何らかのデバイスでありうる。

【0025】

１つの実施態様において、頭部装着型デバイスを提供するが、頭部装着型デバイスは、スマートフォンを受け入れるスロットまたはホルダを含み、スマートフォンの画面が頭部装着型デバイスのディスプレイになるようにする。したがって、この実施例では、頭部装着型デバイスはディスプレイ画面を含まないが、代わりに、スマートフォンが頭部装着型デバイスのホルダに挿入または配置されると、スマートフォンのディスプレイ画面を使用することになる。スマートフォンを、有線または無線接続によって頭部装着型デバイスに接続してもよい。そのような実施態様において、スマートフォンはインターネットと通信をして、ストリーミングコンテンツまたはダウンロードコンテンツなどのコンテンツにアクセスして、スマートフォンが頭部装着型デバイスに挿入または連結されると、スマートフォン上でそのコンテンツをレンダリングすることができる。基本形態で、頭部装着型デバイスは、有線無線に関わらず、スマートフォンと通信をするための電子素子を含むことになる。頭部装着型デバイスは、ディスプレイ上でレンダリングされたコンテンツを見ることを可能にする光学素子を含んでいてもよい。

【0026】

１つの実施態様において、スマートフォンのディスプレイ上でレンダリングしたコンテンツを歪ませて、３次元画像を生成し、頭部装着型ディスプレイの光学素子が、スマートフォンが表示するコンテンツを、頭部装着型デバイスの光学素子を介して見るとき、リッチな３次元画像／ビデオ／対話型データに見えるように、画像の歪みを解消することができる。別の実施形態において、スマートフォンのディスプレイ上でレンダリングしたコンテンツを、スマートフォンを頭部装着型デバイスに挿入するとき、頭部装着型デバイスが処理できる画像をレンダリングして、３次元画像に見えるようにする。１つの実施形態において、頭部装着型デバイスは、頭部装着型デバイスの右目用及び左目用の光学素子を制御することができるシャッター制御ロジックを含むことになるので、画像データに対してシャッターが即座に下ろされて、左、右、左、右、左、右．．．の画像を示し、これによって実質的に頭部装着型ディスプレイがレンダリングした画像データを、３次元、リッチ、かつ没入型にすることができる。

【0027】

図１Ａは、頭部装着型デバイスを装着するユーザの一実施例を示し、頭部装着型デバイスに保持され、挿入され、クリップされ、滑り込む、関連する、または対をなすスマートフォン６０を含んでもよい。１つの実施形態において、メガネ５０は、スマートフォン６０がＨＭＤに挿入される場合のＨＭＤを定義してもよい。頭部装着型デバイスは、定位置にスマートフォン６０を保持し、スマートフォン６０の画面まで見るための光学素子を与える単純なシェル型デバイスでありうる。別の実施形態において、頭部装着型デバイスはよりインテリジェントになり得、スマートフォン６０が頭部装着型デバイスに接続される、近接する、または関連する場合にスマートフォン６０と通信をする電子素子を含むことができる。この図では、メガネ５０として、メガネに接続またはクリップされたスマートフォンを有する頭部装着型デバイスが示されている。

【0028】

スマートフォンは、インターネットなどのネットワーク１１０と通信するために、固有の無線通信回路を使用することができる。スマートフォン６０は、クラウドゲームコンテンツ、クラウドエンターテインメントコンテンツ、ソーシャルメディアコンテンツ、またはインターネットやプライベートネットワークを通してアクセス可能な他の任意のタイプのコンテンツを含む様々なコンテンツサイトと通信をすることができる。１つの実施形態において、スマートフォン６０がアクセスしたコンテンツは、そのコンテンツがいったん受信されると、スマートフォンがダウンロードして実行することができる。別の実施形態において、コンテンツをインターネットソースからストリーム配信し、必要に応じて、スマートフォン６０に配信することができる。１つの実施形態において、コンテンツが、スマートフォンを頭部装着型デバイスまたはメガネ５０とともに用いるときに、スマートフォンが消費するためのゲーム、コンテンツ、エンターテインメントコンテンツ、または他のマルチメディアを提供するサービスプロバイダからストリーム配信される。

【0029】

図１Ｂは、スマートフォン６０がメガネ５０に挿入または保持されるとき、スマートフォン６０とインタフェースで接続される電子素子を含む１対のメガネ５０の側面図を示す。この実施例において、スマートフォン６０は、メガネ５０のスロットまたはホルダ内に鉛直に設置され、スマートフォン６０のカメラが正面を向いて、メガネ５０をユーザがかけるとき、環境の透視またはパススルービューが得られるようにする。メガネ５０の本体がハウジング７０を定義する。ハウジング７０は、電子素子９０を保持することができ、ホルダ９１を含むことができる。本明細書に記載のホルダは、スマートフォンを保持する、クリップする、クランプする、固定する、装着する、または別の方法でスマートフォンを定位置に保持する任意の構造を含むものとする。１つの実施形態において、透視モード（すなわち、透明または半透明モード）を有効にするのは、ユーザがメガネ５０を通してスマートフォン６０が表示する仮想シーンと対話して、ユーザが別の人と対話するためにその仮想シーンから離れたいと考え、電話をかけ、ゲームを休止し、セッションを休止するか、対話型セッションまたは通信を休止する場合である。透視モードは、信号を受信するとき、または安全警報若しくは通知が必要な場合など、自動的にトリガすることもできる。

【0030】

図１Ｃは、メガネの一実施例を示し、メガネは、メガネ５０とスマートフォン６０が互いに接続される場合のメガネ５０とスマートフォン６０のプラグ、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ及び他の無線プロトコル、または有線接続、プラグ、コネクタと通信するための電子素子９０を含む。この実施例では、スマートフォンの画面６０ａ側は、ユーザの目の位置、またはメガネをかけるか、ユーザの顔の上で挿入する場合のほぼ目に向かって対向するものになる。スマートフォンの裏側は、前向きのスマートフォンカメラを含む。１つの実施形態において、メガネ５０は、スマートフォンの裏側のカメラがメガネ５０のケーシングから透視できるように、スロットまたは穴７０ａを含むことができる。別の実施形態において、メガネ５０のケーシングは、透かしまたは透明のパネルを含み、スマートフォン６０のカメラがパネルを透視可能にすることができる。
図１Ｄは、スマートフォン６０の１つの実施例を示し、スマートフォン６０は、裏側及び正面側にも位置するカメラを含むことができる。スマートフォンの画面側６０ａは、メガネ５０に挿入時、ユーザの目の側に正面を向いている。下記で述べるように、１つの実施形態において、メガネ５０は、ユーザの目とスマートフォン６０の画面６０ａとの間に存在する光学素子８０を含んでいてよい。光学素子８０は、スマートフォンの画面６０ａが与えるコンテンツを見るようにさせ、レンダリング、サイジング、リサイジング、鮮明さ、指示、及び他の歪みまたは歪みなしの調整を最適化するように適応させることができる。

【0031】

図２は、スマートフォン６０を受け入れた、または受け入れようとしている頭部装着型デバイス（メガネ）５０を装着するユーザの１実施例を示す。１つの実施形態では、スマートフォン６０を、光学素子８０がスマートフォン６０のロジック、ソフトウエア、ファームウエアと同期でき、光学素子８０を通してスマートフォンの画面６０ａの画像をユーザに対してレンダリングできるように、頭部装着型デバイス５０の電子素子９０に接続する。１つの実施形態において、スマートフォン６０がレンダリングするコンテンツは、仮想現実の３次元コンテンツとなり、ダウンロードするアプリケーション形式、またはウェブサイト、サービス、サービスプロバイダ、コンテンツプロバイダ、エンターテインメントプロバイダなどからストリーミング形式でスマートフォン６０に配信される。１つの実施形態において、スマートフォン６０上でレンダリングするコンテンツは、ＶＲ空間として定義される一例としての画面に示される仮想現実レンダリングコンテンツである。

【0032】

スマートフォン６０の前向きのカメラは、メガネ５０の正面のビューを監視して、ユーザ１２が、手１４をシーン１６内に置いて、ＶＲ空間内でコンテンツと対話することができるようにするなど、ユーザがシーンと対話する支援をするようにしてもよい。したがって、現実世界空間にいるユーザが、自分の手を前向きのカメラのビュー空間に置き、スマートフォン上で動作するソフトウエアがこれを検出して、ユーザの手１４をＶＲ空間内に融合することができるようになる。ユーザの手を、ユーザの現実の手として、または拡張現実として、若しくは拡張と現実世界の画像の融合として、ＶＲ空間内にレンダリングすることができる。

【0033】

図３Ａは、メガネ５０の１つの実施例を示し、メガネ５０は、スマートフォン６０を受け入れるクリップまたは棚７１を含むハウジングとして示されている。ハウジングの形状及びエルゴノミクスを、特定の実施態様に応じて変更可能であることを理解されたい。したがって、本明細書で提示する例示的な実施態様は、一例にすぎず、様々な実施形態に従って機能し、デバイス間の対話性をもたらす限りは変更してもよい。

【0034】

この特定の実施例では、ハウジングは、前向きのカメラが、ユーザの現実世界での正面空間または領域を自由に見ることができるようにするクリップ７１（またはホルダ）を含む。上述のとおり、１つの実施形態において、仮想現実空間の外側を見るためにコンテンツを透明モードから切り替え、現実世界の空間に戻ってもよい。したがって、前向きのカメラ２０は、ユーザが現実世界を見ることと、ＶＲ空間から出ることを望むとき、現実世界のビューを与える。別の実施形態において、前向きのカメラ２０は、ユーザがＶＲ空間内で対話中に、ユーザに対して安全通知を与えることができる。例えば、ユーザが特定の空間を歩き回り、階段、壁、または何か別の対象に近づいて危険な場合、頭部装着型ディスプレイ内で、メッセージ、通知、アラーム、音声、触覚フィードバックなどとしてユーザに通知を与えることができる。

【0035】

したがって、カメラ２０は、ユーザが仮想現実空間に没入しているときに、現実世界空間についての安全通知を与えるのに役立つ。ユーザは、部分的に透明なビュー、完全に透明なビュー、完全と部分的な透明のビューの融合、または、スマートフォン６０が有効にする頭部装着型デバイスを装着中に、ユーザが興味を持つ現実の特徴を示すか、危険かもしれない部分的なビューで仮想現実空間から現実世界空間に遷移することも可能になる。

【0036】

図３Ｂは、頭部装着型デバイスの１実施例を示し、頭部装着型デバイスはヘッドバンド及びハウジング７０を含む。ハウジング７０は、電子素子９０及び光学素子８０を含んで示され、これらの素子は、スマートフォン６０がスロット、ホルダ、クリップまたは接続部７１内に設置されるとき、ユーザの目が存在する場所と、スマートフォン６０の画面の正面との間に配置される。電子素子９０に電力を供給するためにバッテリもハウジングとともに設けてもよい。

【0037】

別の実施形態において、コネクタプラグまたはワイヤ３０を、ハウジング７０内に配置されるバッテリ３２を介して電力を供給するのに使用することができる。別の実施形態において、スマートフォン６０のバッテリは、頭部装着型デバイス５０の電子素子９０を作動させることができる。上述のとおり、スマートフォン６０は、タブレット、コンピュータユニット、部分的コンピュータユニット、またはディスプレイ画面を備えたハイブリッドデバイスになることも可能である。この例では、スマートフォン６０は、ＵＳＢリンクコネクタ３６を介してレシーバユニットに接続される。したがって、スマートフォン６０を、レシーバユニットの電子素子９０に接続して、画像データを光学素子８０の動作と同期化するなど、スマートフォン６０から受信する情報を処理する。

【0038】

図４Ａは、電子ユニット９０の１つの実施例を示し、電子ユニット９０は、頭部装着型デバイス５０で使用してよい。１つの実施例では、電子ユニット９０は、スマートフォン６０に接続するためのデバイスインタフェース９８を含むことができる。デバイスインタフェース９８を、マイクロプロセッサ９４及びメモリ９６と通信させることができる。マイクロプロセッサ９４を、電子ユニット９０またはレシーバユニットの一部をなす慣性センサ９１に結合することができる。慣性センサ９１は、加速度計、ジャイロスコープ、磁力計、及びこれらの１つ以上の組み合わせ、またはそれらのデバイスの組み合わせを含んでもよい。一般的に、慣性センサ９１は、ユーザが装着時に、ハウジング７０の移動及び位置からのデータを与える。

【0039】

これらの動き及び移動を、レンダリングするまたは適合する仮想現実コンテンツに関して、トラッキングで使用でき、スマートフォン６０が提供する画像（すなわち画像コンテンツ）を示す、または変更するのに使用することができる位置に関する情報に変換することができる。例えば、ユーザ１２が頭部をあちこち移動させるにつれ、異なる画像及びシーンを、ユーザが見ている方向の場所または見ていない場所に関連するコンテンツに基づいて、スマートフォン６０のディスプレイ６０ａが提供することができる。また、マイクロプロセッサ９４を、ディスプレイシャッターロジック９２と通信させることもできる。ディスプレイシャッターロジック９２を、光学素子コントローラロジック９３に連結させて、その後レシーバユニット（すなわちハウジング）の光学素子８０と連結することができる。１つの実施形態において、コンテンツを、フォーマット化した３次元形式または通常のフォーマット化されていない形式でリモートサーバからスマートフォン６０に提供することができる。例えば、各フレームは、左右の目の画像を含むことができるが、これは左右の両方の目に与えられ、歪んだ形式で与えられる実質的に同一な画像である。１つの実施形態において、このフレームのストリームを、光学素子８０を介してレシーバユニットで表示するように、サービスからスマートフォンにストリーミング形式でダウンロードすることができる。

【0040】

ディスプレイシャッターロジック９２は、受信したフレームについて画像をそれぞれの目に左、右、左、右、左、右などと連続して示すようにシステムを構成することができる。このように、左目は、受信したフレームについてフレームの左側からコンテンツを見て、その後、右目が次に受信したフレームについてフレームの右側からコンテンツを見て、次に、左目が受信したフレームの左側を見て、その後、右側が次のフレームについてフレームの右側からコンテンツを見るなどとなる。これは、図４Ｃを参照するとより詳細に示されている。

【0041】

図４Ｂは、スマートフォン６０が挿入された状態の頭部装着型デバイスを装着するユーザ１２の１つの実施例を示す。この実施例では、スマートフォンの処理により、３次元ゲームを携帯デバイスに配信してもよいクラウド処理システムからフレームのストリームを受信する。この図において、スマートフォンに配信されている各フレームは、それぞれ左右の目の画像コンテンツを含む。スマートフォン６０、頭部装着型デバイス-の電子素子９０、または頭部装着型デバイスの電子素子９０とスマートフォン６０の両方で実行されるソフトウエアモジュールが、フレーム（すなわち、クラウド処理システムからのフレームのストリーム）の受信を実行することになる。フレームのストリームを、たとえば毎秒３０フレームレートで配信することができる。実施態様に応じて、他のフレームレートも可能である。

【0042】

図示のように、受信した画像フレームモジュールは、画像を受信し、アップレンダリング（拡大）モジュールは、１つの画像フレームの選択した左または右部分を拡大することになる。（選択した左または右の画像フレームが拡大され、スマートフォンデバイスにより小さな没入型形式で左右両方の目を示させるのではなく、スマートフォン６０の画面全体で表示するように、スマートフォン６０のディスプレイに与えられることになる。さらに、ソフトウエアは、頭部装着型デバイスが左目または右目を連続してシャッターで閉じるように選択できるようなロジックを含むことができるので、左目または右目で連続してスマートフォンがレンダリングした画面全体を見ることになる。一例では、フレーム０、１、２、３、４、５が示される。これらのフレームがクラウドシステムからストリーミングされ、各フレームが左右の目の画像コンテンツを含むことになる。１つの実施形態に従い、フレーム０について、ソフトウエアは、フレームから左目画像コンテンツを選択し、携帯デバイスで表示するためにその左目のコンテンツを拡大してレンダリングすることになる。

【0043】

同時に、ソフトウエアは、拡大した画像がスマートフォンのディスプレイ画面全体に与えられるときに、ユーザが左目について画面全体を見るように左目に対するシャッターを開くようにメガネのシャッターシステムに命令を与える。同様の処理がフレーム１についても発生するが、ただし右目のコンテンツは拡大され、ディスプレイ画面に示され、シャッターがユーザの右目にコンテンツを示すという点が異なる。スマートフォンが表示するコンテンツに３次元効果を与えるように、この処理を連続的に続ける。１つの実施形態において、スマートフォンのソフトウエアは、１つのフレームについて、選択、アップレンダリング、及びシャッター選択の指令をメガネに実質的に与えている。

【0044】

１つの代替実施形態において、ソースから受信する画像データはフル画像を与えるので、アップレンダリングする必要がなくなる。この場合、シャッターロジックは、単に左右の目にコンテンツを示し、連続して左右を入れ替え、３次元効果を与える。そのため、３Ｄ効果を、配信または光学素子８０を介してスマートフォン６０が表示する画像コンテンツを予めフォーマット化して、あるいはフォーマット化せずに処理することができる。したがって、この実施形態において、シャッターロジックは、単にスマートフォンの画面がレンダリングした画像のフレームレートと同期し、左右のシャッターによって、必要な３次元効果が与えられる。いくつかの実施形態において、画像データ（例えば対話型ビデオ）を、シャッターシステムで使用するために送るものがある一方で、画像データを単に送信して、ハウジング７０の電子素子９０がシャッターを掛けるという実施形態もある。

【0045】

図４Ｃは、ストリーミングサービスから毎秒３０フレームで到着するストリームの１つの実施例を示す。この実施例では、メガネのシャッターシステムを用いて、それぞれの目で毎秒１５フレームを見る。時間０で、スマートフォンは、拡大した左目用画像コンテンツを表示し、そのコンテンツを見るために左目のシャッターを開く。時間１で、ソフトウエアは、拡大したフレームから右目用コンテンツを選択し、スマートフォンのディスプレイの画面全体を見られるように右目のシャッターを開くことになる。この処理は、時間２、時間３などについて継続されることになる。別の実施形態において、帯域幅に応じて、スマートフォン６０に入る画像のストリームについて、フレームレートを上げることができる。１つの実施形態において、ストリームフレームのフレームレートが毎秒６０フレームの場合、それぞれの目で毎秒３０フレームを見る。要するに、フレームの１つの画像の部分を選択してから拡大版をディスプレイ画面に表示するシャッターシステムを使用するだけで、コンテンツをリッチな３次元コンテンツにすることができる。上述のとおり、拡大は任意選択であり、システムは、受信した画像フレームのそのままの倍率で作動し、シャッターをかけ、光学素子８０を介して表示することができる。いくつかの実施形態において、フレームレートを、帯域幅及び処理力に応じて、毎秒１２０、２４０またはそれ以上にすることもできる。

【0046】

さらに別の実施例では、図４Ｂ及び図４Ｃを参照して、３次元ビデオストリームを頭部装着型ディスプレイ（すなわち、スマートフォン６０の外面６０ａ）に送信する。３次元ビデオストリームの各フレームには、左目用画像及び右目用画像の両方が含まれる。所与のフレームを処理して、左目用画像か右目用画像の両方ではなくどちらか一方を抽出する。所与のフレームについて、抽出画像（左目または右目用）をアップレンダリングして、頭部装着型ディスプレイのディスプレイサイズに合わせ、頭部装着型ディスプレイのシャッターを設定して、現在抽出されて、アップレンダリングされている（左目か右目のどちらか用の）所与のフレームの部分の表示ができるようにする。その後、所与のフレームが抽出され、アップレンダリングされた部分が表示される。

【0047】

連続するフレームについて、抽出、アップレンダリング、シャッター設定、及び表示操作が、左目用画像と右目用画像で交互に行われるので、所与のフレームについて、左目用画像または右目用画像部分の一方のみが処理され、次のフレームについては、左目用画像または右目用画像の他方が処理され、これが続く。通常のフレームレートでは、所与のフレームの左目用画像部分または右目用画像部分のみを交互に処理しても、人間の光学系では識別できないので、３次元ビデオストリームを処理する際の効率を向上する。重ねて言えば、ビデオストリームは、非３Ｄ画像データを与えることもでき、シャッター処理による所与の３Ｄ効果である。また、いくつかの実施形態において、画像データをアップレンダリングする必要はなく、フルサイズ画像にシャッター処理をすることができる。

【0048】

図５は、電子ユニット９０の１つの実施例を示し、電子ユニット９０は、別の機能、回路、ファームウエア、ロジック、プロセッサ、メモリなどを含んでもよい。これらの特徴は一例にすぎず、いくつかのシステムは、実施態様に応じて、より多くのデバイスを含むもの、またはより少ないデバイスを含むものがあってよい。図５で与える１つの実施例では、電子ユニット９０は、メガネ５０の一部であってよい。電子ユニット９０は、グラフィックスプロセッサ、すなわちＧＰＵ、または一般的なプロセッサを含むことができるプロセッサ９４を含むことになる。いくつかの実施形態において、複数のプロセッサ、またはマルチコアプロセッサを設けてもよい。プロセッサ９４は、メガネまたは頭部装着型デバイスの一部であってよい慣性センサ９１と通信することができる。慣性センサ９１は、動き、移動、推測及びトラッキングについて情報を収集することができる。この情報を、プロセッサ９４と共有することができる。

【0049】

別の実施形態において、複数のフォトダイオードを、ハウジングの表面に配置する。フォトダイオードは、ハウジングがトラッキングされる空間／部屋内に位置する少なくとも１つの発光素子を使用して、ハウジング位置をトラッキングするのに使用される。例えば、フォトダイオードを、ハウジングの表面に、例えば、公知な方法で互いに物理的に分離させて配置することができる。例えば、発光体は、様々な方向に光を放出して、光のいくつかがフォトダイオードと接触／フォトダイオードに到達するようにする。タイミングプロファイルを算出または校正するので、タイミングは既知であるか、検出及び発光と同期する。このように、フォトダイオードのいくつかが光を検出すると、発光体（例えば、部屋にある１つまたは２つの回転発光体）の場所及びタイミングが既知であるので、フォトダイオードを有するハウジングの位置を識別することができる。ＨＭＤシステムを使用中、発光及び検出が続くので、ＨＭＤ／ハウジングのトラッキングが容易になる。

【0050】

プロセッサは、シャッター制御ロジック９２を制御することもでき、シャッター制御ロジック９２は、制御可能な光学素子９３とインタフェースで接続することができ、光学素子９３は、メガネの左右の目の光学素子８０を制御することができる。１つの実施形態において、プロセッサはまた、フレームバッファ９５及びメモリ９６、またはメモリ９６だけに連結することができる。フレームバッファ９５はまた、画像データを光学素子８０の左右の目に画像データも与える画像レンダリングロジック９７と通信可能である。例えば、頭部装着型デバイス（メガネ）５０は、スマートフォン６０が受信して、スマートフォンの画面６０ａが表示するコンテンツと融合可能な、インターネットからのコンテンツまたはデータの別のフィードを受信することもできる。１つの実施形態において、スマートフォン６０が表示するコンテンツを、頭部装着型ディスプレイ５０が与える追加コンテンツで拡張することもできる。１つの実施形態において、頭部装着型デバイス（メガネ）５０が入手するコンテンツを、スマートフォンが受信して表示するコンテンツと融合、多重化、または適合させることができる。例えば、コンテンツを、頭部装着型デバイスが受信したコンテンツとスマートフォン６０が受信したコンテンツの間で切り替えることができる。

【0051】

別の実施形態において、表示されるコンテンツに応じて、通信情報、第２チャネルチャットフィード、ソーシャルネットワークデータ、写真表示データ内の写真、または他のコンテンツを、メガネの光学素子を通して左目または右目または両目に与えて、スマートフォンデバイス６０が与えるデータと融合、取り替え、またはインタレースすることができる。１つの実施形態において、スマートフォンデバイス６０及び電子ユニット９０は、ネットワークインタフェース９９及びデバイスインタフェース９８を含むことができ、インターネットとの通信及び様々なコンテンツサイトへのアクセスが可能となっている。コンテンツサイトは、ＶＲレンダリング、画像制作、通信、ソーシャルネットワーク共有、仮想現実ツアー、デスティネーションツーリングコンテンツ（ｄｅｓｔｉｎａｔｉｏｎ
ｔｏｕｒｉｎｇ ｃｏｎｔｅｎｔ）、クラウドゲームコンテンツ、クラウドエンターテインメントコンテンツ、ソーシャルメディアコンテンツ、ストリーミングサーバ、近くの頭部装着型ディスプレイプレイヤー、及び他の情報について、デバイスにコンテンツを提供することができる。

【0052】

１つの実施形態において、アクティブシャッター３Ｄシステム（例えば、交互フレーム順序、交互画像、ＡＩ、交互フィールド、フィールドシーケンシャルまたはエクリプス法）を使用して、立体的な３Ｄ画像を表示するようにしてもよい。１つの構成において、システムは、右目の視野をブロックしながら左目用の画像を提示し、次に、左目をブロックしながら右目用画像を処理し、これを割り込みが２つの画像の１つの３Ｄ画像への認知融合を妨害しないほどの速さで繰り返すことだけで、機能する。

【0053】

いくつかのアクティブシャッター３Ｄシステムは、液晶シャッターメガネ（いわゆる「ＬＣシャッターメガネ」または「アクティブシャッターメガネ」）を使用する。ＯＬＥＤスクリーンも使用可能である。それぞれの目のメガネは、電圧が印加されると半透明になり、それ以外は透明な特性を持つ液晶層を含む。メガネは、タイミング信号で制御され、メガネは、画面のリフレッシュレートに同期して、交互に一方の目、次に他方の目をブロックすることができる。ビデオ機器とのタイミング同期は、有線信号を介して、または赤外線あるいは無線周波数（例えば、Ｂｌｕｅｔｏｏｔｈ、ＤＬＰリンク）送信機によって無線で達成してもよい。アクティブシャッター３Ｄシステムを、いくつかの劇場で３Ｄ映画を上映するために実装することもでき、また、ＣＲＴ、プラズマ、ＬＣＤでの３Ｄ画像の提示、ＨＭＤシステム、ＶＲディスプレイシステム、スマートフォン、ゲームコンソール、画面、ディスプレイ、及びこれらの組み合わせで３Ｄ画像を提示することができる。

【0054】

図６は、マルチプレイヤーまたはマルチユーザ環境の１つの例を示し、ここでは複数のユーザがスマートフォン６０を備えた頭部装着型デバイス５０を使用している。１つの実施形態において、スマートフォン６０はクラウドシステムと通信可能で、クラウドシステムはストリーミングＶＲコンテンツを提供することができる。１つの実施形態において、ユーザは互いに非常に近接してもよく、これによって、スマートフォンとＶＲコンテンツミキシングに関連するシステム及びソフトウエアが、通信モードを切り替えることが可能となる。例えば、ユーザのペアが仮想現実サイト若しくは場所、あるいは対話ゾーンを共有している場合、コンテンツのいくつかまたはすべてを、ピアツークラウドネットワークから変化したモードであるピアツーピアネットワークを介して（すなわちペアモードで）ユーザ間で通信することができる。

【0055】

切り替えは、ユーザが近接していることが検出されるとき、またはユーザの設定若しくは要求があるごとに、時間とともに動的に発生する。局所ピアツーピア通信を有効にすることにより、待ち時間を削減することもできる。ピアツーピアへの切り替えは、対話型ビデオをユーザ両者にストリーミングしながら、データ、例えばデータチャネルなどを選択する場合に可能である。例えば、メッセージ、チャット、音声チャネル、及び通知などの局所通信を、対話型データをサーバから各ユーザにストリーミングしながら、ピアツーピアを介して伝達することができる。いくつかの場合では、例えば一方のユーザが他方のユーザより高い帯域幅で接続している場合、いくつかのストリーミングデータを一方のユーザに送ることができ、このデータを他方のユーザと共有する。したがって、これらの実施形態によって、ユーザはＶＲ空間を共有して、混合モード方法で互いにデータを共有することができ、混合モード方法では、クラウドシステムへの通信とピアツーピア通信の両方、近距離通信、Ｗｉ−Ｆｉ通信、Ｂｌｕｅｔｏｏｔｈ通信、または他の有線若しくは無線リンク接続の組み合わせが可能となる。

【0056】

図７は、スマートフォン６０を受け入れるスロット７１を含むことができる頭部装着型デバイス５０の別の実施例を示す。上述のとおり、スマートフォン６０を、コネクタ４０を介して頭部装着型デバイスまたはハウジング７０に接続することができる。コネクタ４０は、有線接続または無線接続でありうる。一旦スマートフォン６０がハウジングのホルダ７１に挿入されると、スマートフォン６０は、その前向きのカメラに前方を向かせる。１つの実施形態において、ハウジングは、スマートフォンのカメラがブロックされることなく前方を見ることができるように設計される。頭部装着型デバイス５０は、さらに、上述のとおり、電子素子９０及び光学素子８０を含む。この実施形態において、頭部装着型デバイスは、さらに、ＨＭＤ５０のハウジングの左カメラと右カメラなどの２つの追加のカメラを含むことができる。これらの追加のカメラによって、ユーザが、例えばパススルーモード（またはトランスポートかセミトランスポートモード）で、現実生活の仮想現実シーンとユーザの目の前の現実世界のシーンとを次々と切り替えることを決めた場合、ユーザ目の前で、３次元でコンテンツを見せることができる。

【0057】

この実施例では、頭部装着型デバイス５０の電子素子９０は、インターネットと通信可能な無線ネットワークインタフェース９９または有線インタフェースを含むことができる。ハウジングのホルダ７１に挿入されるように示されるスマートフォン６０は、固有のインターネット接続を含むこともできる。スマートフォンのカメラは前向きのカメラであるが、他のカメラも含むことができる。言うまでもなく、スマートフォン６０は、（図示しない）固有の慣性センサを含むことができる。さらに、頭部装着型デバイス５０は、頭部装着型デバイス５０のプロセッサ９４と通信も行う慣性センサ９１を含むことができる。頭部装着型デバイス５０の慣性センサ９１は、スマートフォンの慣性センサと通信可能である。

【0058】

１つの実施形態において、融合、ミキシング、またはデッドレコニング（又は自律航法）は、頭部装着型デバイス５０の慣性センサ９１から収集したデータとスマートフォン６０の間で行われ、ＶＲシーンでコンテンツを見る場合に不自然になりかねないポジティブの間違い、ぎくしゃくした移動、予期しない動き、またはトリガを回避する。この実施例では、プロセッサ９４がシャット制御９２、及び左右の目についての光学素子制御９３と通信する左右カメラ選択部と通信する。メモリ及び／またはフレームバッファ９５は、さらに、プロセッサ９４が、スマートフォンのディスプレイ画面が与えるものとは異なるデータをディスプレイ画面に与えることができるように設けられるか、あるいは、融合した、重合した、オーバレイ、メッセージオーバレイ、ソーシャル接続オーバレイなどを、スマートフォンが与えるコンテンツだけでなく、頭部装着型デバイスが与えることができる。１つの実施形態において、プロセッサは、左右カメラ選択部を選択するよう機能することができるので、頭部装着型デバイスの前向きの左右のカメラを、ユーザがデバイスを通して見ること、現実世界で見ることを望む場合に有効にすることができる。

【0059】

２つのカメラを通して現実世界を見ることは、継続して、連続的に左右の目を次々と切り替えるシャッター制御９２によって行うことができる。この機能により、現実世界に関連する画像をよりリアルにして、単一の前向きのカメラシステムでは与えられない３次元深度の透視図を含む画像が提供されることになる。さらに別の実施形態において、頭部装着型デバイス５０の前向きのカメラは、ユーザが壁、物体、階段または危険なゾーンに接近しているときにユーザにアドバイスするような安全特徴について支援することができる。

【0060】

さらに別の実施例では、図４Ｂと４Ｃを参照して、３次元ビデオストリームを、頭部装着型ディスプレイに送信する。３次元ビデオストリームの各フレームには、左目用画像及び右目用画像の両方が含まれる。所与のフレームを処理して、左目用画像か右目用画像の両方ではなくどちらか一方を抽出する。所与のフレームについて、抽出画像（左目または右目用）をアップレンダリングして、頭部装着型ディスプレイのディスプレイサイズに合わせ、頭部装着型ディスプレイのシャッターを設定して、現在抽出されて、アップレンダリングされている（左目か右目のどちらか用の）所与のフレームの部分の表示ができるようにする。その後、所与のフレームの、抽出され、アップレンダリングされた部分が表示される。

【0061】

連続するフレームについて、抽出、アップレンダリング、シャッター設定、及び表示操作が、左目用画像と右目用画像で交互に行われるので、所与のフレームについて、左目用画像または右目用画像部分の一方のみが処理され、次のフレームについては、左目用画像または右目用画像の他方が処理され、これが続く。通常のフレームレートでは、所与のフレームの左目用画像部分または右目用画像部分のみを交互に処理しても、人間の光学系では識別できないので、３次元ビデオストリームを処理する際の効率を向上する。

【0062】

別の実施形態において、ＨＭＤまたはスマートフォンとは別個にカメラを設けてもよい。カメラを、ＨＭＤをトラッキングするためにＨＭＤに向けることができる。いくつかの実施形態において、ＨＭＤのカメラを含んでよいカメラ、スマートフォンのカメラ、及び（例えば、コンピュータに接続された）ＨＭＤを見るカメラを組み合わせて用いてもよい。そのため、図１Ａ〜図７を参照して説明した実施形態またはその実施形態の一部を、図８〜図１２を参照して説明した部分、構成要素、特徴または実施形態と組み合わせて、様々な複合実施形態を定義してもよいことを理解されたい。

【0063】

上記を念頭において、図８〜図１２を参照して、追加の実施形態を説明する。

【0064】

１つの実施例では、ユーザが装着するＨＭＤは、ユーザにリッチなマルチメディアコンテンツを見るようにさせるものであり、リッチなマルチメディアコンテンツは、ビデオゲーム、映画、インターネットコンテンツ、及びほかのタイプの対話型、非対話型コンテンツを含むことができる。ＨＭＤのトラッキングは、システムを組み合わせて使用して実行する。システムは、ＨＭＤ内の慣性センサ、及び１つ以上のカメラを使用した光学トラッキングを含むが、これに限定されるものではない。光学トラッキングで使用するカメラは、ＨＭＤを装着するユーザのビデオを取り込むことができるので、ユーザがＨＭＤとともに動き回ると、ビデオフレームを解析して、ＨＭＤの位置、オリエンテーション（向きあるいは方向）及び移動を判定することができる。大まかに言えば、ＨＭＤが提示するいくつかのコンテンツはＨＭＤの移動に動的に依存する。

【0065】

例えば、ＨＭＤによって１つのビューをシーン内に与えると、ユーザはそのシーンを見ようと自然に頭を動かすことができる。ビデオゲームの例では、ＨＭＤを装着するユーザは、仮想シーン内及び回りで移動するために頭を任意の方向に動かすことができる。１つの実施形態において、仮想シーンは、リッチな３次元（３Ｄ）形式でレンダリングされる。その結果、ＨＭＤでスムーズにコンテンツをレンダリングするために、ＨＭＤの移動を高忠実度でトラッキングすることになる。

【0066】

ＨＭＤの１つの構成では、図８Ａ及び８Ｂに示すように、クライアントシステム１０６と通信するように構成され、クライアントシステム１０６がＨＭＤに提示されるコンテンツをレンダリングする。コンテンツ（例えば、ゲーム、映画、ビデオ、音声、画像、マルチメディアなど）を、いくつかの実施形態において、クラウドゲームインフラを使用して１つまたは複数のリモートサーバからストリーミングしてよい。いくつかの実施例では、コンテンツはクライアントシステム１０６にダウンロードされ、クライアントシステム１０６が、コンテンツをレンダリングしてからＨＭＤに転送する。

【0067】

上述のとおり、トラッキングには、ＨＭＤ内に配置される慣性センサを使用することが含まれていてよい。慣性センサの例としては、１つ以上の加速度計及び１つ以上のジャイロスコープが挙げられる。いくつかの実施態様は、数の差こそあれ慣性センサを含んでいるものであってよい。慣性センサに加えて、カメラを使用してＨＭＤをトラッキングすることができる。１つの実施形態において、ＨＭＤは、マーカとして機能するいくつかのライト（例えば発光ダイオード（ＬＥＤ））を備えて構成される。マーカは、クライアントシステムで、カメラが取り込んだ１つ以上のビデオフレームを解析することによって容易に識別可能である。１つの構成では、ＨＭＤは、前方ユニット（例えば、光学素子ブロックとも称される）の四隅の４つのＬＥＤ、及び後部の２つのＬＥＤを含む。

【0068】

１つの実施例では、前方ユニット１０２ａは、前面及び各側部に側面を含み、前面及び側面が実質的に連続面を定義する。本明細書で提示する様々な実施例では、前方のＬＥＤは、前方ユニット１０２ａのハウジング内で定義され、ＬＥＤをオンにすると、照らされる透明のプラスチックとともに配置される。さらに、いくつかの実施形態において、前方のＬＥＤは、前面に部分的に配置され、側面に部分的に配置されて、部分的なＬ形、湾曲したＬ形、ブーメラン形、湾曲した矩形、曲線、スポット、円、パターンまたはこれらの組み合わせを定義する。

【0069】

この形状によって、ユーザがカメラ１０８を直視しているとき、かつユーザがカメラ１０８に直視の状態から背を向け始めるとき、前方ユニット１０２ａをトラッキングすることができる。ユーザが側方を向き、カメラに直視の状態からさらに背けるにつれ、前方の１つの側部のＬＥＤだけ、および後ろ側のＬＥＤの１つが目に見えるまで、前方のＬＥＤが目に見えている。これは、前方のＬＥＤから前方と後方のＬＥＤへの遷移である。この遷移により、上述のとおり、前方と後方のＬＥＤの間に分離距離が必要になるので、正確なトラッキングを行うことが可能となる。

【0070】

さらには、ＨＭＤを装着するユーザがカメラと対向すると、カメラは４つのＬＥＤすべてを見ることができなくてはいけない。４つの前方のＬＥＤの分離は、クライアントシステム１０６には知られている。例えば、ＨＭＤの幾何学モデルを、クライアントシステム１０６上で実行するプログラムによって推定して、ユーザがＨＭＤを装着する時の（カメラに対する）深度及び向き（あるいは方向）を判定することができる。例えば、１つの実施形態において、４つのＬＥＤは（例えば、矩形の輪郭となる）隅に配置されるので、取り込んだビデオフレームから、ユーザが下向きか、上向きか、横向きかを判定することができる。

【0071】

しかしながら、ＨＭＤでレンダリング可能な対話型コンテンツは、仮想上は無限であるので、ユーザはほぼすべての次元で仮想シーンを見てかつ対話することができる。したがって、ＨＭＤを装着するユーザは、任意の方向に頭を向けることを決めてもよく、この方向は、必ずしもカメラに対して前方を向く方向である必要はない。実際、レンダリングするコンテンツ（例えば、没入型対話型ビデオゲーム、映画、バーチャルツアー、クリップ、音声及びそれらの組み合わせ）に応じて、ユーザは、何度もカメラの側部に向く、及びカメラから背くことになる。

【0072】

そのような対話型セッション中、ＨＭＤをトラッキングするカメラは、前方の４つのＬＥＤを見ることから、しばしば、４つのＬＥＤのうち２つの側部及び後方のＬＥＤの１つを見ることまで行うことになる。前方の４つのＬＥＤは、相対的向きが固定されたままであるが、後方のＬＥＤの位置は、ＨＭＤの幾何学モデルに基づき、ＨＭＤのヘッドバンドの設定調整に応じて変化させてもよい。例えば、頭のサイズの小さなユーザがヘッドバンドを頭に合わせて調整する場合、前方のＬＥＤと後方のＬＥＤ間の（例えば側方から見た時の）距離は、別のユーザの先のユーザよりサイズが大きな頭について設定を調整する場合と比較して、狭くなる。

【0073】

ヘッドバンド調整での変化を把握するために、処理をＨＭＤの幾何学モデルを校正するように構成するので、前方のＬＥＤと後方のＬＥＤ間の（例えば、ユーザが法線からカメラに頭を向ける場合に側方から見たときの）間隔を利用して、ＨＭＤへのシーンコンテンツを正確にレンダリングして、所望の視点、角度及び／または向きからのシーンを与えることが可能となる。１つの実施態様において、幾何学モデルはコンピュータモデルであり、コンピュータ支援設計（ＣＡＤ）描画が示すのと同様に、ＨＭＤ１０２の次元及び／または３次元輪郭を記憶し／含む。しかしながら、幾何学モデルは描画として表示されず、その代わりにデータセットとして記憶され、ゲーム、映画、ソフトウエア、ファームウエア、ハードウエアまたはこれらの組み合わせによってアクセス可能となるので、正確なトラッキングを実行することができる。

【0074】

さらに一例として、ＨＭＤ１０２の３次元輪郭は、１つの実施形態において、ＨＭＤの各形状とＬＥＤ領域の形状の輪郭、輪郭内での形状に対するＬＥＤの場所、ＨＭＤの物理構造の角度と輪郭線、ならびにＨＭＤの特徴及び構造の測定値を定義するデータセットを含むことができる。特に、幾何学モデルは、前方ユニット１０２ａでのＬＥＤの正確な相対配置を定義する次元データを含んでいてもよい。しかしながら、後方のＬＥＤは調整可能なヘッドバンドに連結するので、校正中に分離距離を更新しなくてはならず、そのため、幾何学モデルを、前方と後方のＬＥＤ間のより正確な距離で更新することが可能となる。

【0075】

１つの実施形態において、校正処理は、（例えば、前方のＬＥＤのみが見えているときから開始するなど）、ビデオフレームの解析によって、後方のＬＥＤの１つが見えていると判定された後に開始するよう構成される。例えば、セッション（例えばゲームプレイまたは対話型セッション）の開始時、通常ユーザはＨＭＤをカメラに向ける。ある時点で、ユーザはカメラから頭を背けるので、後方のＬＥＤの少なくとも１つを露出させることになる。この時点で、継続中のビデオフレーム解析によって、後方のＬＥＤの登場を検出することになる。

【0076】

１つの実施形態において、ユーザが、見えている後方のＬＥＤ及び見えている前方のＬＥＤを慣性データと関連付けるように動き続けるにつれ、処理はいくつかのフレームを解析することになる。各フレームについて存在する慣性データは、例えば、見えている後方のＬＥＤと見えている前方のＬＥＤ間の推定分離距離に関連するように使用される。１つの実施例では、ＨＭＤからのジャイロスコープデータを使用して、ＨＭＤが移動するにつれユーザの頭部の回転運動を判定する。さらに、一例として、ＨＭＤからの加速度計データを使用して、位置（例えば傾き／ピッチ）及び回転などの移動を判定する。

【0077】

したがって、ＨＭＤの取り込んだビデオフレームからの画像データを使用して（すなわち、後方と前方のＬＥＤが見えているとき）、画像データと組み合わせた慣性データが、ＨＭＤのヘッドバンドの現在のサイズ設定について、前方のＬＥＤと後方のＬＥＤ間の推定分離距離をレンダリングすることになる。次にこのデータを使用して、ＨＭＤの幾何学モデルを校正するが、幾何学モデルは推定分離距離を含む。１つの実施形態において、校正は時々刻々と更新することができ、さらにＨＭＤの各側部とは無関係に校正することもできる。

【0078】

一旦ＨＭＤの幾何学モデルの校正が終了すると、ユーザはセッション中の対話に進んでよい。しかしながら、一旦セッションが終了すると、別のユーザがＨＭＤへのアクセスを希望することも可能である。そのような時、新しいユーザがＨＭＤのヘッドバンドを別のサイズに調整して、前方のＬＥＤと後方のＬＥＤ間の実際の分離距離が変化することになる。１つの実施形態において、前回更新した校正、または元の幾何学モデルからの寸法のいずれかを使用して、新しいセッションが始まる。

【0079】

開始時に、ゲームプレイまたは対話型セッションが円滑に進行して、ＨＭＤに提示されるシーンは、ユーザの頭部の動きに基づきレンダリングされている。これは、ＨＭＤを装着するユーザがカメラに向かって前方を向いて、ＨＭＤの前方の４つのＬＥＤの間の固定の分離距離は既知である間続く。しかしながら、一旦ユーザがカメラから背を向けて、後方のＬＥＤが見えると、自動校正しなければ、システムでは、ＨＭＤ内でレンダリングしたコンテンツでジャンプまたはポップが行われる。これは、位置を識別するためにＬＥＤのマーカトラッキングを利用するＨＭＤのトラッキングは、ＨＭＤの真の位置と同期しないためである。

【0080】

１つの実施形態において、再校正が必要かどうかの判定は、ユーザがＨＭＤを側部に向けるたびに（すなわち、前方のＬＥＤのみ、または後方のＬＥＤのみが見えている場合になると）実行され、前方と後方のＬＥＤが可視化される。１つの実施例では、現在のセッションについて校正が発生すると、現在の校正とともにセッションが継続され、システムはバックグラウンドで校正を実行して、現在の校正は予め定義した許容差内にあるかどうかを判定する。例えば、同じユーザがゲームプレイ中にヘッドバンドを調整する、またはわずかなサイズ調整のためにＨＭＤを取り外す、若しくは他の人がＨＭＤを一時的に試そうとする場合、前方と後方の現実の間隔は、初期の校正中に間隔を推定するのに使用した場合とは異なるであろう。

【0081】

新たなバックグラウンド校正によって、（例えば、ＨＭＤでレンダリングしたビデオコンテンツにおいて）レンダリング異常、スキップまたはポップが発生する可能性があることが示されると、新たな校正が現在の校正になるように、許容差が構成されるか選択される。

【0082】

さらに別の実施形態において、ＨＭＤは、フラグを設定するヘッドバンド調整検出器を含むことになる。フラグを、システム及び／または実行中のゲームが読み出すことができ、このフラグを使用して、幾何学モデルの再校正を要求することができる。例えば、ユーザがＨＭＤの使用中にヘッドバンドを調整すると、システムは、校正を再度実行すべきであるという警告を、フラグを介して受ける。たとえ同じセッションが進行中であっても、別のユーザがＨＭＤを試そうとしたために調整が発生するような場合も同様であろう。さらに別の実施形態において、新しいセッションの開始時に、またはＨＭＤがしばらく静止すなわち動きがないことをシステムが検出するとき、フラグを生成することができる。このようなインジケータを、新しいセッションが発生する前、またはセッション中であっても、ヘッドバンドが調整されていた可能性としてみなすことができる。

【0083】

図８Ａは、本発明の１つの実施形態に係る、ビデオゲームの対話的ゲームプレイのためのシステムを示す。頭部装着型ディスプレイ（ＨＭＤ）１０２を装着しているユーザ１００が示される。ＨＭＤ１０２は、メガネ、ゴーグルまたはヘルメットと同様な方法で装着され、ユーザ１００にビデオゲームまたは他のコンテンツを表示するように構成される。ＨＭＤ１０２は、ディスプレイ機構（例えば、光学素子及びディスプレイ画面）をユーザの目の間近に設け、ＨＭＤに配信するコンテンツの形式によって、ユーザに没入型経験を与えるように構成される。１つの実施例では、ＨＭＤ１０２は、ユーザの視野の大部分または全体をも占めるユーザの目のそれぞれにディスプレイ領域を与えることができる。

【0084】

１つの実施形態において、ＨＭＤ１０２をコンピュータ１０６に接続することができる。コンピュータ１０６への接続は有線か無線によって可能となる。コンピュータ１０６は、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シン・クライアント、セットトップボックス、メディアストリーミングデバイスなどを含む、ただしこれらに限定されることはない、任意の汎用または特殊用途のコンピュータであってよい。いくつかの実施形態において、ＨＭＤ１０２は、インターネットに直接接続することができ、これによって、別個のローカルコンピュータを必要とすることなくクラウドゲームが可能となる。１つの実施形態において、コンピュータ１０６は、ビデオゲーム（及び他のデジタルコンテンツ）を実行し、ＨＭＤ１０２でレンダリングするためにビデオゲームからビデオ及び音声を出力するように構成することができる。コンピュータ１０６は、本明細書においてはクライアントシステム１０６ａとも称し、これは１つの実施例ではビデオゲームコンソールである。

【0085】

いくつかの実施形態において、コンピュータはローカルまたはリモートコンピュータであってよく、コンピュータはエミュレーションソフトウエアを実行してもよい。クラウドゲームの実施形態において、コンピュータはリモートであり、データセンタで仮想化されるような複数のコンピューティングサービスによって代表されるものであってよく、データセンタではゲームシステム／ロジックを仮想化して、ネットワークによってユーザに分配することができる。

【0086】

ユーザ１００は、ビデオゲームのための入力をするために、コントローラ１０４を操作してもよい。１つの実施例では、カメラ１０８は、ユーザ１００が位置する対話型環境の画像を取り込むように構成することができる。これらの取り込んだ画像を解析して、ユーザ１００、ＨＭＤ１０２及びコントローラ１０４の場所及び移動を判定することができる。１つの実施形態において、コントローラ１０４は、コントローラの場所及び向きを判定するためにトラッキングすることができる１つの光（または複数の光）を含む。また、以下でさらに詳細に説明するように、ＨＭＤ１０２は、ゲームプレイ中に実質的にリアルタイムでＨＭＤ１０２の場所及び向きを判定するために、マーカとしてトラッキングできる１つ以上の光を含む。

【0087】

カメラ１０８は、対話型環境から音声を取り込むために１つ以上のマイクロホンを含むことができる。マイクロホン配列が取り込んだ音声を処理して、音声源の場所を識別するように処理してもよい。識別した場所からの音声を、選択的に利用または処理して識別した場所からではない他の音声を排除することができる。さらに、カメラ１０８を、複数の画像取り込みデバイス（例えば、カメラの立体対）、ＩＲカメラ、深度カメラ、及びそれらの組み合わせを含むように定義することができる。

【0088】

いくつかの実施形態において、コンピュータ１０６は、コンピュータ１０６の処理用ハードウエア上で局地的にゲームを実行することができる。ゲームまたはコンテンツを、物理メディア形態（例えば、デジタルディスク、テープ、カード、サムドライブ、固体チップまたはカード他）などの任意の形態で、またはネットワーク１１０を介してインターネットからダウンロードすることによって入手することができる。別の実施形態において、コンピュータ１０６は、クラウドゲームプロバイダ１１２とネットワーク上で通信するクライアントとして機能する。クラウドゲームプロバイダ１１２は、ユーザ１００がプレイしているビデオゲームを維持及び実行してもよい。コンピュータ１０６は、ＨＭＤ１０２、コントローラ１０４及びカメラ１０８からの入力を、クラウドゲームプロバイダに送信し、クラウドゲームプロバイダが入力を処理して、実行中のビデオゲームのゲーム状態に影響を与える。ビデオデータ、音声データ、及び触覚フィードバックデータなどの実行中のビデオゲームからの出力を、コンピュータ１０６に送信する。コンピュータ１０６は、送信前にデータを処理してもよいし、あるいは、データを関連デバイスに直接送信してもよい。例えば、ビデオ及び音声ストリームをＨＭＤ１０２に与え、一方、振動フィードバック命令をコントローラ１０４に与える。

【0089】

１つの実施形態において、ＨＭＤ１０２、コントローラ１０４及びカメラ１０８は、それ自体がネットワーク１１０に接続して、クラウドゲームプロバイダ１１２と通信するネットワークデバイスであってよい。例えば、コンピュータ１０６は、ルータなどのローカルネットワークデバイスであってよく、そうでない場合はビデオゲーム処理を実行しないが、通過ネットワークトラフィックを円滑にする。ＨＭＤ１０２、コントローラ１０４、及びカメラ１０８によるネットワークへの接続は、有線でも無線でもよい。いくつかの実施形態において、ＨＭＤ１０２上で実行される、またはディスプレイ１０７上で表示されるコンテンツを、任意のコンテンツ源１２０から入手することができる。コンテンツ源の例としては、例えば、ダウンロード可能なコンテンツ及び／またはストリーミングコンテンツを提供するインターネットウェブサイトを含めることができる。いくつかの実施例では、コンテンツは、映画、ゲーム、静的／動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイトなどの任意のタイプのマルチメディアコンテンツを含むことができる。

【0090】

以下でより詳細に説明するように、プレイヤー１００は、ＨＭＤ１０２上でゲームプレイをしてもよく、ＨＭＤ１０２では、このようなコンテンツは没入型３Ｄ対話型コンテンツである。ＨＭＤ１０２上のコンテンツは、プレイヤーがプレイ中、ディスプレイ１０７に共有することができる。１つの実施形態において、ディスプレイ１０７に共有されるコンテンツによって、プレイヤー１００に近接する他のユーザまたは遠隔のユーザがユーザのプレイとともに見ることができる。さらに別の実施形態において、プレイヤー１００のゲームプレイをディスプレイ１０７で見る別のプレイヤーは、プレイヤー１００と対話形式で参加してもよい。例えば、ディスプレイ１０７でゲームプレイを見るユーザは、ゲームシーンのキャラクタを制御する、フィードバックをする、ソーシャル対話をする、及び／または、ＨＭＤ１０２を装着していないユーザがプレイヤー１００、ゲームプレイ、またはＨＭＤ内でレンダリングされているコンテンツとソーシャル対話できるようなコメントを（テキストを介して、音声を介して、動きを介して、ジェスチャを介してなどで）与えるようにしてもよい。

【0091】

図８Ｂは、本発明の１つの実施形態に係る頭部装着型ディスプレイ（ＨＭＤ）を示す。図示のように、ＨＭＤ１０２は、複数のライト２００Ａ〜２００Ｈ、２００Ｊ及び２００Ｋ（例えば、２００Ｋ及び２００ＪはＨＭＤヘッドバンドの後方または裏面に面して位置する）。これらのライトを、それぞれ特定の形状及び／または位置を持つように構成してもよく、また同一または異なる色を持つように構成することができる。ライト２００Ａ、２００Ｂ、２００Ｃ及び２００Ｄは、ＨＭＤ１０２の前面に配置される。ライト２００Ｅ及び２００Ｆは、ＨＭＤ１０２の側面に配置される。さらに、ライト２００Ｇ及び２００Ｈは、ＨＭＤ１０２の隅に配置されて、ＨＭＤ１０２の前面及び側面に跨るようにする。ライトは、ユーザがＨＭＤ１０２を使用する対話型環境の取り込んだ画像内で識別可能であることが理解されよう。

【0092】

ライトの識別及びトラッキングに基づき、対話型環境でのＨＭＤ１０２の場所及び向きを判定することができる。さらに、ライトのいくつかは、画像取り込みデバイスに対するＨＭＤ１０２の向きに応じて、見える場合と見えない場合があってよいことが理解されよう。また、異なる部分のライト（例えばライト２００Ｇ及び２００Ｈ）を、画像取り込みデバイスに対するＨＭＤ１０２の特定の向きに応じて、画像取り込みのために露出してもよい。いくつかの実施形態において、慣性センサがＨＭＤ１０２内に配置され、ライトを必要とすることなく位置決めに関するフィードバックを行う。いくつかの実施形態において、ライト及び慣性センサは協働して、位置／動きデータのミキシング及び選択を可能にする。

【0093】

１つの実施形態において、ライトを、ＨＭＤの現在の状態を近くにいるほかの人に示すように構成することができる。例えば、ライトのいくつかまたはすべてを、特定のカラー配列、強度配列を持つように構成して、点滅するように構成して、特定のオン／オフ構成、またはＨＭＤ１０２の現在の状態を示す他の配列を持つように構成してもよい。一例として、ライトを、メニューインタフェースをナビゲートするまたはゲーム設定を構成するなど（ゲームのタイムラインまたはシーンが動いていないまたは休止している）のビデオゲームの他の非アクティブなゲームプレイ側面に対して、ビデオゲームのアクティブなゲームプレイ（通常は、アクティブなタイムライン中またはゲームのシーン内で発生するゲームプレイ）中に異なる構成を表示するように構成することができる。また、ライトを、ゲームプレイの相対的な強度レベルを示すように構成してもよい。例えば、ゲームプレイの強度が上がると、ライトの強度または点滅速度が上がるようにしてもよい。

【0094】

ＨＭＤ１０２は、さらに１つ以上のマイクロホンを含んでいてもよい。図示の実施形態において、ＨＭＤ１０２は、ＨＭＤ１０２の前面で画定されるマイクロホン２０４Ａ及び２０４Ｂ、ならびにＨＭＤ１０２の側面で画定されるマイクロホン２０４Ｃを含む。マイクロホンの配列を利用することにより、各マイクロホンからの音を処理して、音源の場所を判定することができる。この情報を、不要な音源を排除すること、ある音源を視覚識別に関連付けることなどを含む様々な方法で利用することができる。

【0095】

ＨＭＤ１０２は、さらに１つ以上の画像取り込みデバイスを含んでいてもよい。図示の実施形態において、ＨＭＤ１０２は、画像取り込みデバイス２０２Ａ及び２０２Ｂを含んでいるものとして示されている。画像取り込みデバイスの立体対を利用することによって、環境の３次元（３Ｄ）画像及びビデオをＨＭＤ１０２の視野から取り込むことができる。そのようなビデオをユーザに提示して、ユーザに、ＨＭＤ１０２を装着しながら「ビデオ透視」能力を与えることができる。つまり、ユーザは厳密にはＨＭＤ１０２を透視することができないが、そうであっても、画像取り込みデバイス２０２Ａ及び２０２Ｂが取り込む画像によって、あたかもＨＭＤ１０２を通して見てかのいるように、ＨＭＤ１０２の外部の環境を見ることができることと等価な機能を与えることができる。

【0096】

そのようなビデオを仮想要素で拡張して、拡張現実経験を与えることができる、あるいは、他のやり方で仮想要素と組み合わせるか融合させてもよい。図示の実施形態において、２つのカメラがＨＭＤ１０２の前面に示されているが、任意の数の外向きのカメラまたは１つのカメラをＨＭＤ１０２に設置することができ、任意の方向に向けることができることは理解されよう。例えば、別の実施形態において、環境のパノラマ画像を追加で与えるためにＨＭＤ１０２の側部に取り付けられたカメラがあってもよい。

【0097】

図９は、ビデオゲームコンテンツをユーザ１００のＨＭＤ１０２にレンダリングすることができるクライアントシステム１０６を使用するゲームプレイの１つの実施例を示す。この図では、ＨＭＤに与えられるゲームコンテンツは、リッチな対話型３Ｄ空間内にある。上述のとおり、ゲームコンテンツは、クライアントシステム１０６にダウンロードできるか、１つの実施形態ではクラウド処理システムによって実行することができる。クラウドゲームサービス１１２は、ユーザ１４０のデータベースを含むことができ、データベースによって、特定のゲームにアクセスする、他の友人と経験を共有する、コメントを書き込む、及びアカウント情報を管理することができる。

【0098】

クラウドゲームサービスは、特定のユーザ用のゲームデータ１５０も記憶することができ、ゲームデータ１５０を、ゲームプレイ中、今後のゲームプレイ、ソーシャルメディアネットワークに共有、またはトロフィー、表彰、ステータス、ランキングなどを格納するために利用可能となる。ソーシャルデータ１６０もまた、クラウドゲームサービス１１２が管理することができる。ソーシャルデータを、別のソーシャルメディアネットワークが管理することができ、別のソーシャルメディアネットワークは、インターネット１１０上でクラウドゲームサービス１１２とインタフェースで接続することができる。インターネット１１０上で、任意の数のクライアントシステム１０６を、コンテンツへのアクセス及び他のユーザとの対話のために接続することができる。

【0099】

図９の実施例を続けて参照すると、ＨＭＤで見る３次元対話型シーンは、３Ｄビューで描かれるキャラクタなどのゲームプレイを含むことができる。１つのキャラクタ、例えばＰ１を、ＨＭＤ１０２を装着しているユーザ１００が制御することができる。この実施例は、二人のプレイヤーの間のバスケットボールのシーンを示しており、ＨＭＤユーザ１００が、３Ｄビューで別のキャラクタにボールをダンクしている。他方のキャラクタは、ゲームのＡＩ（人工知能）キャラクタでよく、または、別の一人のプレイヤー若しくは複数のプレイヤーによって制御可能である。ユーザ１００は、ＨＭＤ１０２を装着して、利用空間を動き回っているように示されているが、ＨＭＤは、ユーザの頭部の移動及び体の位置に基づき動き回ってよい。カメラ１０８は、部屋の中でディスプレイ画面の上に配置されているように示されているが、ＨＭＤを使用する場合、カメラ１０８は、ＨＭＤ１０２の画像を取り込むことができる任意の場所に配置することができる。そのため、ＨＭＤ１０２でレンダリングするコンテンツが、カメラ１０８の視野から、ＨＭＤ１０２が配置される方向に依存するので、ユーザは、カメラ１０８及びディスプレイ１０７から約９０度回転しているように示される。言うまでもなく、ＨＭＤがレンダリングする動的仮想シーンを利用するのに必要なので、ＨＭＤを使用中、ユーザ１００は動き回り、頭を回転させ、様々な方向を見ることになる。

【0100】

図１０は、１つの実施形態に係る、ＨＭＤ１０２を装着し、使用中のユーザを示す。この実施例では、カメラ１０８が取り込んだビデオフレームから入手した画像データを使用して、ＨＭＤがトラッキングされる８０２ことが示されている。さらに、カメラ１０８が取り込んだビデオフレームから入手した画像を使用して、コントローラもトラッキングされる８０４ことが示されている。さらに、ＨＭＤがケーブル８０６を介してコンピューティングシステム１０６に接続される構成も示される。１つの実施形態において、ＨＭＤは、そのケーブルから電力を得る、または別のケーブルに接続することができる。さらに別の実施形態において、ＨＭＤは、追加の電源コードを回避するために、再充電可能なバッテリを有することができる。

【0101】

図１１を参照すると、本発明の１つの実施形態に係る、頭部装着型ディスプレイ１０２の構成要素例を示した図が示されている。構成及び有効にする機能に応じて、ある程度の構成要素を、ＨＭＤ１０２に含めるまたはＨＭＤ１０２から取り除くことができる。頭部装着型ディスプレイ１０２は、プログラム指令を実行するプロセッサ９００を含んでいてもよい。メモリ９０２をストレージ用に設け、揮発性及び不揮発性メモリを含んでいてもよい。ユーザが見る仮想インタフェースを与えるディスプレイ９０４が含まれる。

【0102】

ディスプレイ９０４は、単一のディスプレイによって、または片目毎に別のディスプレイ画面の形態で定義することができる。２つのディスプレイ画面が設けられると、左右の目用のビデオコンテンツを別々に与えることができる。例えば、片目ごとにビデオコンテンツを別々に提示することで、３次元（３Ｄ）コンテンツをより没入型制御することができる。上述のとおり、１つの実施態様において、第２の画面１０７には、一方の目用の出力を使用して、次に２Ｄ形式の表示用のコンテンツをフォーマット化することにより、ＨＭＤ１０２の第２の画面コンテンツが与えられる。１つの実施形態において、一方の目が左目用ビデオフィードでありうるが、別の実施形態においては、右目用のビデオフィードの場合もある。

【0103】

バッテリ９０６を、頭部装着型ディスプレイ１０２の電源として設けてもよい。他の実施形態において、電源は、電力へのコンセント接続部を含むことができる。他の実施形態においては、電力へのコンセント接続部及びバッテリ９０６を設けてもよい。動き検出モジュール９０８は、磁力計９１０、加速度計９１２及びジャイロスコープ９１４など、様々な種類のうちの任意の種類の動き感知ハードウエアを含んでいてよい。

【0104】

加速度計は、加速度及び重力誘発性反力を測定するデバイスである。単一及び複数の軸（例えば６軸）モデルは、異なる方向で加速度の大きさ及び方向を検出することができる。加速度計は、傾斜、振動及び衝撃を感知するために使用される。１つの実施形態において、３つの加速度計９１２が、重力方向を求めるために使用して、重力方向が、２つの角度（ワールドスペースにおけるピッチ及びワールドスペースにおけるロール）のための絶対基準となる。

【0105】

磁力計は、頭部装着型ディスプレイの近くにある磁界の強度及び方向を計測する。１つの実施形態において、３つの磁力計９１０が頭部装着型ディスプレイ内で使用され、ワールドスペースにおけるヨー角度についての絶対基準を確保する。１つの実施形態において、磁力計は、地球の磁界、±８０マイクロテスラを測定するよう設計される。磁力計は金属に影響を受け、実際のヨーに単調なヨー測定を行う。磁界は、環境内の金属によってゆがむ場合があり、ヨー測定のゆがみの原因となる。必要であれば、ジャイロスコープやカメラなどの他のセンサからの情報を使用してゆがみを校正することができる。１つの実施形態において、加速度計９１２を磁力計９１０とともに使用して、頭部装着型ディスプレイ１０２の傾斜及び方位角を入手する。

【0106】

ジャイロスコープは、角運動量の原理に基づいて、向きを測定または維持するデバイスである。１つの実施形態において、３つのジャイロスコープ９１４は、管制感知に基づくそれぞれの軸（ｘ、ｙ、ｚ）を交差した移動についての情報を提供する。ジャイロスコープは、高速回転の検出を支援する。しかしながら、ジャイロスコープは、絶対基準の存在がない場合、時間の経過とともにドリフトする可能性がある。このため、ジャイロスコープを定期的に再設定する必要があり、再設定は、オブジェクト、加速度計、磁力計などの視覚トラッキングに基づく位置／向きの判定などの他の利用可能な情報を使用して行うことができる。

【0107】

カメラ９１６は、現実の環境の画像及び画像ストリームを取り込むために設けられる。２つ以上のカメラを（任意選択で）、頭部装着型ディスプレイ１０２に含むようにしてもよく、カメラは、（ユーザが頭部装着型ディスプレイ１０２のディスプレイを見ているときにユーザから離れるような方向になる）後ろ向きのカメラ、及び（ユーザが頭部装着型ディスプレイ１０２のディスプレイを見ているときにユーザ側の方向になる）前向きのカメラを含む。さらに、現実の環境におけるオブジェクトの深度情報を感知するために、深度カメラ９１８を頭部装着型ディスプレイ１０２に含めてもよい。

【0108】

頭部装着型ディスプレイ１０２は、音声出力を行うためのスピーカ９２０を含む。さらに、周囲環境、ユーザによる会話などの音を含めた、現実の環境からの音声を取り込むためにマイクロホン９２２を含んでいてもよい。頭部装着型ディスプレイ１０２は、触覚フィードバックをユーザに行うための触覚フィードバックモジュール９２４を含む。１つの実施形態において、触覚フィードバックモジュール９２４は、触覚フィードバックをユーザに行うために、頭部装着型ディスプレイ１０２の移動及び／または振動を引き起こすことができる。

【0109】

ＬＥＤ９２６は、頭部装着型ディスプレイ１０２の状態を視覚インジケータとして設けられる。例えば、１つのＬＥＤがバッテリレベル、パワーオンなどを示すものであってよい。カードリーダ９２８は、頭部装着型ディスプレイ１０２を有効にして、メモリカードに対する情報の読み出し及び書き込みを行うために設けられる。ＵＳＢインタフェース９３０は、周辺デバイスの接続、または他の携帯デバイス、コンピュータ等など他のデバイスへの接続を有効にするインタフェースの一例として含まれる。頭部装着型ディスプレイ１０２の様々な実施形態において、頭部装着型ディスプレイ１０２の接続能力をより高めることができるように、様々な種類のうちの任意の種類のインタフェースを含めるようにしてもよい。

【0110】

ＷｉＦｉモジュール９３２を、無線ネットワーキング技術を介してインターネットへの接続を可能にするために含めるようにしてもよい。さらに、頭部装着型ディスプレイ１０２は、他のデバイスへの無線接続を可能にするためにＢｌｕｅｔｏｏｔｈ９３４を含んでいてもよい。他のデバイスへの接続のために、通信リンク９３６を含んでいてもよい。１つの実施形態において、通信リンク９３６は、無線通信用の赤外線伝送を利用する。他の実施形態において、通信リンク９３６は、他のデバイスとの通信用に様々な無線または有線伝送プロトコルの任意のプロトコルを利用する場合もある。

【0111】

ユーザ用の入力インタフェースを与えるために、入力ボタン／センサ９３８が含まれる。ボタン、ジェスチャ、タッチパッド、ジョイスティック、トラックボール他など様々な種類の入力インタフェースの任意の入力インタフェースを含んでいてもよい。超音波技術によって他のデバイスとの通信を促進するために、頭部装着型ディスプレイ１０２は、超音波通信モジュール９４０を含んでいてもよい。

【0112】

ユーザからの生理的データの検出を可能にするために、バイオセンサ９４２が含まれる。１つの実施形態において、バイオセンサ９４２は、ユーザ／プロファイルなどの識別のためにユーザの皮膚を通したユーザの生体電気信号検出、音声検出、目の網膜検出用の１つ以上のドライ電極を含む。

【0113】

頭部装着型ディスプレイ１０２の上記の構成要素は、頭部装着型ディスプレイ１０２に含まれる可能性のある構成要素の単なる一例として説明してきた。本発明の様々な実施形態において、頭部装着型ディスプレイ１０２は、様々な前述の構成要素のいくつかを含んでも含まなくてもよい。頭部装着型ディスプレイ１０２の実施形態は、本明細書に記載のように本発明の態様を簡単にするために、ここでは説明していないが、当該技術では公知の他の構成要素をさらに含んでいてもよい。

【0114】

本発明の様々な実施形態において、様々な対話型機能を与えるために、前述の携帯デバイスを、ディスプレイに表示される対話型アプリケーションとともに利用してもよいことは、当業者であれば理解するであろう。本明細書に記載の一例としての実施形態は、例示目的にすぎず、限定する目的ではない。

【0115】

１つの実施形態において、本明細書で参照するように、クライアント及び／またはクライアントデバイスが、頭部装着型ディスプレイ（ＨＭＤ）、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、ワイヤレスデバイス、デジタルパッド、スタンドアロンデバイス、携帯ゲームプレイデバイス及び／または他を含んでいてもよい。通常、クライアントは、符号化ビデオストリームを受信し、ビデオストリームを復号し、その結果得られるビデオをユーザ、例えばゲームのプレイヤーに提示するように構成される。通常、符号化ビデオストリームの受信及び／またはビデオストリームの復号の処理は、クライアントの受信バッファに個々のビデオフレームを保存することを含む。ビデオストリームを、クライアントと一体化したディスプレイ、またはモニタ若しくはテレビなど別個のデバイス上でユーザに提示してもよい。

【0116】

クライアントは、任意選択で、２人以上のゲームプレイヤーをサポートするように構成される。例えば、ゲームコンソールを、２人、３人、４人、またはそれ以上の同時にプレイするプレイヤー（例えばＰ１、Ｐ２．．．Ｐｎ）をサポートするように構成してもよい。これらのプレイヤーは各々、ビデオストリームを受信するか共有する、または、単一のビデオストリームが、各プレイヤー専用に生成される、例えば、プレイヤーの視点に基づいて生成されるフレームの領域を含んでいてもよい。任意の数のクライアントは、ローカル（例えば共同場所にある）、または地理的に分散していることもありうる。ゲームシステムに含まれるクライアントの数は、１か２から数千、数万またはそれ以上と大きく変動してもよい。本明細書で使用するように、「ゲームプレイヤー」という用語は、ゲームをプレイする人を指すために使用し、「ゲームプレイデバイス」という用語はゲームをプレイするのに使用されるデバイスを指すために使用する。いくつかの実施形態において、ゲームプレイデバイスは、協働してゲーム経験をユーザに配信する複数のコンピューティングデバイスを指すことがある。

【0117】

例えば、ゲームコンソール及びＨＭＤがビデオサーバシステムと協働して、ＨＭＤを通して見るゲームを配信する。いくつかの実施形態において、ゲームコンソールは、ビデオサーバシステムからビデオストリームを受信し、ゲームコンソールは、ビデオストリームをレンダリングのためにＨＭＤ及び／またはテレビに転送する、またはビデオストリームを更新する。

【0118】

さらに、ＨＭＤを使用して、ビデオゲームコンテンツ、映画コンテンツ、ビデオクリップコンテンツ、ウェブコンテンツ、広告コンテンツ、コンテストコンテンツ、ギャンブルゲームコンテンツ、電話会議／ミーティングコンテンツ、ソーシャルメディアコンテンツ（例えば、投稿、メッセージ、メディアストリーム、友達のイベント及び／またはゲームプレイ）、ビデオの一部分及び／または音声コンテンツ、ならびに、ブラウザ及びアプリケーションを介したインターネット上のソースから消費用に作られたコンテンツ、及び任意のタイプのストリーミングコンテンツなど、制作または使用される任意のタイプのコンテンツを見る及び／またはコンテンツと対話することができる。もちろん、ＨＭＤで見ることができる、またはＨＭＤの１つまたは複数の画面にレンダリングできるものであれば、任意のタイプのコンテンツをレンダリングすることができるように、上述のコンテンツのリストは限定するものではない。

【0119】

クライアントは、受信したビデオを修正するために構成されるシステムをさらに含んでいてもよいが、そのシステムは必須ではない。たとえば、クライアントを、さらにレンダリングを実行する、１つのビデオ画像を別のビデオ画像にオーバレイする、ビデオ画像をトリミングする及び／またはその他をするように構成してもよい。例えば、クライアントを、Ｉフレーム、Ｐフレーム及びＢフレームなどの様々なタイプのビデオフレームを受信し、これらのフレームを処理してユーザに表示する画像にするよう構成してもよい。いくつかの実施形態において、クライアントのメンバーを、さらなるレンダリング、シェーディング、３Ｄ変換、２Ｄ変換、歪み除去、サイジングなどの操作をビデオストリームに実行するように構成する。クライアントのメンバーを、任意選択で、２枚以上の音声またはビデオストリームを受信するように構成する。

【0120】

クライアントの入力デバイスは、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジェスチャ認識システム、注視認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動き及び／または場所感知デバイス、マウス、タッチスクリーン、ニューラルインタフェース、カメラ、今後開発予定の入力デバイス及び／またはその他を含んでよい。

【0121】

ビデオソースは、レンダリングロジック、例えば、ストレージなどコンピュータ可読媒体に記憶したハードウエア、ファームウエア及び／またはソフトウエアを含んでいてよい。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するよう構成される。レンダリングロジックのすべてまたは一部を、任意選択で、１つ以上のグラフィックス処理ユニット（ＧＰＵ）内に配置する。通常、レンダリングロジックは、オブジェクト間の３次元空間関係を判定する、及び／または適切なテクスチャなどをゲーム状態及び視点に基づき適用するように構成される。レンダリングロジックは、符号化する生ビデオを生成する。例えば、生ビデオをＡｄｏｂｅ Ｆｌａｓｈ（登録商標）ｓｔａｎｄａｒｄ、ＨＴＭＬ−５，．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ． Ｘｖｉｄ． ＦＦｍｐｅｇ， ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３などにしたがって符号化する。符号化処理では、デバイス上のデコーダに配信するために任意選択でパッケージ化されるビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートに特徴がある。他の任意のフレームサイズを使用することができるが、典型的なフレームサイズには、８００×６００、１２８０×７２０ （例えば７２０ｐ）、１０２４×７６８、１０８０ｐが含まれる。フレームレートは、１秒当たりのビデオフレーム数である。ビデオストリームは、異なるタイプのビデオフレームを含んでいてもよい。例えば、Ｈ．２６４標準は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉフレームは、ディスプレイデバイス上ですべてのマクロブロック／画素をリフレッシュするための情報を含み、一方、Ｐフレームは、そのサブセットをリフレッシュするための情報を含む。通常、Ｐフレームは、Ｉフレームよりデータサイズが小さい。本明細書で使用する「フレームサイズ」という用語は、１つのフレーム内の画素数を指すことを意図している。「フレームデータサイズ」という用語は、フレームを記憶するのに必要なバイト数を指すように使用される。

【0122】

いくつかの実施形態において、クライアントは、汎用コンピュータ、特殊用途コンピュータ、ゲームコンソール、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルコンピューティングデバイス、携帯ゲームデバイス、携帯電話、セットトップボックス、ストリーミングメディアインタフェース／デバイス、スマートテレビ若しくはネットワークディスプレイ、または、ここで定義するようなクライアントの機能を遂行するように構成することができる他のあらゆるコンピューティングデバイスでありえる。１つの実施形態において、クラウドゲームサービスは、ユーザが利用中のクライアントデバイスの種類を検出して、ユーザのクライアントデバイスに適したクラウドゲーム経験を与えるように構成される。例えば、画像設定、音声設定、及び他の設定を、ユーザのクライアントデバイスに最適化してもよい。

【0123】

図１２は、「情報サービスプロバイダ」アーキテクチャの１つの実施形態を示す。情報サービスプロバイダ（ＩＳＰ）１０７０は、地理的に分散し、ネットワーク１０８６を介して接続されたユーザ１０８２に対して、複数の情報サービスを配信する。ＩＳＰは、株価更新など１つのタイプのサービスだけを、または放送メディア、ニュース、スポーツ、ゲーム他など様々なサービスを配信することができる。さらに、各ＩＳＰが提供するサービスは動的である、すなわち、サービスを任意の時点で追加または除去することができる。したがって、特定の個人に特定のタイプのサービスを提供するＩＳＰは、時間の経過とともに変化する可能性がある。例えば、あるユーザが自分の地元にいるあいだは、ユーザに近接しているＩＳＰからサービスを提供され、別の街に旅行に行くと、異なるＩＳＰからサービスを提供されるようにしてもよい。地元のＩＳＰは、新しいＩＳＰに対して、必要な情報及びデータを転送することになるので、ユーザ情報は、ユーザを「フォローし」新しい街に行き、データをユーザにより近い、よりアクセスしやすいものにする。別の実施形態において、ユーザについて情報を管理するマスターＩＳＰと、マスターＩＳＰからの制御の下、ユーザと直接インタフェースで接続されるサーバＩＳＰとの間にマスター／サーバ関係を確立してもよい。別の実施形態において、クライアントが世界中を動き回り、ユーザにサービスを提供するのによりよい位置のＩＳＰを、これらのサービスを配信するＩＳＰにするので、データはあるＩＳＰから別のＩＳＰに転送される。

【0124】

ＩＳＰ１０７０は、「アプリケーションサービスプロバイダ」（ＡＳＰ）１０７２を含み、ＡＳＰ１０７２は、ネットワーク上で顧客に対してコンピュータベースのサービスを提供する。ＡＳＰモデルを使用して提供されるソフトウエアを、オンデマンドソフトウエア、またはサービス型ソフトウエア（ＳａａＳ）としばしば称される。（顧客関係管理などの）特定のアプリケーションプログラムにアクセスさせる単純な形態は、ＨＴＴＰなどの標準プロトコルを使用することによる形態である。アプリケーションソフトウエアは、業者のシステムにあり、ＨＴＭＬを使用したウェブブラウザを通して、業者が提供する特殊用途クライアントソフトウエアによって、または、シン・クライアントなどのほかのリモートインタフェースによってユーザがアクセスする。

【0125】

広域地理的領域にわたって配信されるサービスでは、しばしばクラウドコンピューティングが使用される。クラウドコンピューティングは、動的な拡張性があり、しばしば仮想化されるリソースを、インターネット上でサービスとして提供するスタイルのコンピューティングである。ユーザをサポートする「クラウド」においては、ユーザは技術インフラに熟練している必要はない。クラウドコンピューティングを、サービス型インフラ（ＩａａＳ）、サービス型プラットフォーム（ＰａａＳ）及びサービス型ソフトウエア（ＳａａＳ）などの異なるサービスに分割することができる。クラウドコンピューティングサービスは、しばしばソフトウエア及びデータをサーバに記憶しつつ、ウェブブラウザからアクセスされる共有ビジネス用アプリケーションをオンライン上で提供する。クラウドという用語は、インターネットがコンピュータネットワーク図でどのように描かれているかに基づき、（例えば、サーバ、ストレージ及びロジックを使用する）インターネットのメタファーとして使用され、秘匿する複雑なインフラについての抽象的概念である。

【0126】

さらに、ＩＳＰ１０７０は、単一プレイヤー及びマルチプレイヤー用ビデオゲームをプレイするためにゲームクライアントが使用する「ゲーム処理サーバ」（ＧＰＳ）１０７４を含む。インターネット上でプレイするビデオゲームのほとんどは、ゲームサーバに接続することで作動する。通常、ゲームは、プレイヤーからデータを収集して、そのデータを他のプレイヤーに分配する専用サーバアプリケーションを使用する。これは、ピアツーピア配列よりも効率及び効果が優れているが、サーバアプリケーションをホストするために別のサーバが必要となる。別の実施形態において、ＧＰＳは、プレイヤーとそれぞれのゲームプレイデバイスとの間で通信を確立し、集中型ＧＰＳに頼ることなく情報を交換させる。

【0127】

専門のＧＰＳは、クライアントと無関係に実行するサーバである。そのようなサーバは通常、データセンタに配置される専用ハードウエア上で実行し、より多くの帯域幅及び処理力をもたらす。専用サーバは、ほとんどのＰＣベースのマルチプレイヤーゲームにとって、ゲームサーバをホストする好ましい方法である。多人数同時参加型オンラインゲームは、ゲームの所有権を持つソフトウエア会社が通常ホストする専用サーバで実行し、コンテンツの制御及び更新を行うことができる。

【0128】

「放送処理サーバ」（ＢＰＳ）１０７６は、音声またはビデオ信号を視聴者に分配する。非常に狭い範囲の視聴者への放送は、しばしばナローキャスティングと称される。放送分布の最後の行程は、信号をどのように聴取者または視聴者に到達させるかということであり、ラジオ局またはテレビ局がアンテナ及び受信機に送る場合と同様に無線で送られるか、ケーブルテレビまたはケーブルラジオ（または「無線ケーブル」）を通して局を介して、またはネットワークから直接送られる場合がある。インターネットもまた、特にマルチキャスティングによって信号及び帯域幅を共有可能にして、ラジオまたはテレビを受信者に届ければよい。歴史的に見て、放送は、全国放送または地方放送など地理的地域によって境界を定められてきた。しかしながら、高速インターネットが普及するにつれ、コンテンツを世界のほぼすべての国に届けることができるので、放送は地理によって定義されない。

【0129】

「ストレージサービスプロバイダ」（ＳＳＰ）１０７８は、コンピュータストレージ空間及び関連の管理サービスを提供する。さらに、ＳＳＰは定期的なバックアップ及びアーカイブも提供する。ストレージをサービスとして提供することによって、ユーザは必要に応じてより多くのストレージを要求することができる。別の大きな効果は、ＳＳＰがバックアップサービスを含み、ユーザは自分のコンピュータのハードドライブが故障してもデータをすべて失うことはないという点である。さらに、複数のＳＳＰがユーザデータの全体または一部の複製を有することができるので、ユーザがいる場所またはデータアクセスのために使用するデバイスに関係なく、ユーザは効率的な方法でデータにアクセスすることができる。例えば、ユーザは、家庭用コンピュータで個人ファイルにアクセスでき、同様にして、移動中は携帯電話でアクセスできる。

【0130】

「通信プロバイダ」１０８０は、ユーザへの接続能力を提供する。通信プロバイダの１つの種類が、インターネットへのアクセスを提供する「インターネットサービスプロバイダ」（ＩＳＰ）である。ＩＳＰは、ダイアルアップ、ＤＳＬ、ケーブルモデム、ファイバー、無線または専用の高速相互接続など、インターネットプロトコルデータグラム配信するのに適切なデータ伝送技術を使用して、顧客を接続させる。通信プロバイダは、ｅメール、インスタントメッセージ、及びＳＭＳテキストメッセージなどのメッセージサービスも提供することができる。通信プロバイダの別の種類が、インターネットへの直接バックボーンアクセスを行うことにより、帯域幅またはネットワークアクセスを販売する「ネットワークサービスプロバイダ」（ＮＳＰ）である。ネットワークサービスプロバイダは、高速インターネットアクセスを提供する電気通信会社、データキャリヤ、無線通信プロバイダ、インターネットサービスプロバイダ、ケーブルテレビ事業者などからなってよい。

【0131】

データ交換１０８８は、ＩＳＰ１０７０内でいくつかのモジュールを相互接続させ、これらのモジュールを、ネットワーク１０８６を介してユーザ１０８２に接続する。データ交換１０８８は、ＩＳＰ１０７０のモジュールが非常に近接する小さな領域をカバーする、または異なるモジュールが地理的に分散した大きな地理的地域をカバーすることができる。例えば、データ交換１０８８は、データセンタのキャビネット内に高速（またはより高速な）ギガビットイーサネット、または大陸間仮想エリアネットワーク（ＶＬＡＮ）を含むことができる。

【0132】

ユーザ１０８２は、クライアントデバイス１０８４でリモートサーバにアクセスするが、クライアントデバイス１０８４は、ＣＰＵ、ディスプレイ、及びＩ／Ｏを少なくとも含む。クライアントデバイスは、ＰＣ、携帯電話、ネットワーク、タブレット、ゲームシステム、ＰＤＡなどであり得る。１つの実施形態において、ＩＳＰ１０７０は、クライアントが使用するデバイスのタイプを認識し、用いる通信方法を調整する。他の場合、クライアントデバイスは、ｈｔｍｌなどの標準的な通信方法を使用して、ＩＳＰ１０７０にアクセスする。

【0133】

本発明の実施形態を、携帯デバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な消費家電、ミニコンピュータ、メインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施してもよい。さらに、本発明を、有線ベースまたは無線ネットワークを通してリンクされるリモート処理デバイスがタスクを実行する分散型コンピュータ環境で実施することもできる。

【0134】

上記実施形態を念頭において、本発明は、コンピュータシステムに記憶されるデータを伴う様々なコンピュータに実装された動作を用いることができることを理解されたい。これらの動作は、物理量の物理的操作を必要とする動作である。本発明の一部をなす、本明細書に記載のいずれの操作も、有用な機械動作である。本発明はさらに、これらの動作を実行するデバイスまたは装置にも関する。装置を、要求される用途のため特別に構築することができる、または、装置を、コンピュータが記憶するコンピュータプログラムによって選択的に有効化または構成される汎用コンピュータであってもよい。特に、様々な汎用マシンを、本明細書の教示に従って書き込まれるコンピュータプログラムとともに使用することができる、または、要求される動作を実行するためにより専門化した装置を構築するほうが便利な場合もある。

【0135】

さらに、本発明を、コンピュータ可読媒体上のコンピュータ可読コードとして体現することもできる。コンピュータ可読媒体は、データを記憶することができる任意のデータストレージデバイスであって、データをその後コンピュータシステムが読み出すことができる。コンピュータ可読媒体の例としては、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び他の光学式、非光学式データストレージデバイスが挙げられる。コンピュータ可読媒体は、コンピュータ可読コードを配信型で記憶し、実行するように、ネットワーク連結コンピュータシステム上で配信されるコンピュータ可読有形的表現媒体を含むことができる。

【0136】

方法の動作を特定の順序で説明してきたが、オーバレイ動作の処理が所望な方法で実行される限り、動作の間に他のハウスキーピング動作を実行してもよいし、わずかに異なる時間で発生するように動作を調整してもよいし、あるいは動作を処理に関連する様々な間隔で処理動作が発生するようなシステム内に配信されてもよいことが理解されるべきである。

【0137】

上述の発明を、明確に理解できるように多少詳しく説明してきたが、添付の特許請求の範囲内であれば、何らかの変更及び修正を行うことができることは明らかであろう。したがって、本件の実施形態は、例示的であり限定するものではないとみなされるべきであり、本発明は本明細書で記載した詳細に限定されず、特許請求の範囲及び等価物内で修正してもよい。

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】