特許 7177054 ユーザ頭部回転ガイド付きヘッドマウントディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-14

(45)【発行日】2022-11-22

(54)【発明の名称】ユーザ頭部回転ガイド付きヘッドマウントディスプレイ

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221115BHJP

   G02B 27/02 20060101ALI20221115BHJP

   A63F 13/5375 20140101ALI20221115BHJP

   A63F 13/213 20140101ALI20221115BHJP

   A63F 13/428 20140101ALI20221115BHJP

   A63F 13/28 20140101ALI20221115BHJP

   H04N 5/64 20060101ALI20221115BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 560

G02B27/02 Z

A63F13/5375

A63F13/213

A63F13/428

A63F13/28

H04N5/64 511A

【請求項の数】 13

(21)【出願番号】P 2019529870

(86)(22)【出願日】2017-12-06

(65)【公表番号】

(43)【公表日】2020-01-16

(86)【国際出願番号】 GB2017053676

(87)【国際公開番号】W WO2018104732

(87)【国際公開日】2018-06-14

【審査請求日】2020-09-11

(31)【優先権主張番号】1620985.0

(32)【優先日】2016-12-09

(33)【優先権主張国・地域又は機関】GB

【前置審査】

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ベンソン、サイモン マーク

(72)【発明者】

【氏名】ホール、サイモン ジョン

(72)【発明者】

【氏名】ウォード－フォクストン、ニコラス

【審査官】酒井 優一

(56)【参考文献】

【文献】国際公開第２０１６／１８５６３４（ＷＯ，Ａ１）

【文献】特開２０１６－１９２０２７（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１６－００２７６２７（ＫＲ，Ａ）

【文献】国際公開第２００６／０８７７０９（ＷＯ，Ａ１）

【文献】特許第５９８１００６（ＪＰ，Ｂ１）

【文献】米国特許出願公開第２０１５／００９４１４２（ＵＳ，Ａ１）

【文献】特開２０１５－２３２７８３（ＪＰ，Ａ）

【文献】特開２０１３－２５８６１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０２Ｂ ２７／０２

Ａ６３Ｆ １３／５３７５

Ａ６３Ｆ １３／２１３

Ａ６３Ｆ １３／４２８

Ａ６３Ｆ １３／２８

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイ（ＨＭＤ）と、
前記ＨＭＤの基本向きからの前記ＨＭＤの現在の向きの偏差を検出する検出部と、
前記ＨＭＤの装着者に自分の頭部を回転させるように促して前記ＨＭＤの向きを前記基本向きに変更するために前記ＨＭＤの装着者に提示するコンテンツを生成する生成部とを備え、
前記ＨＭＤは前記装着者の頭部の片側またはその反対側に備えられた１以上の振動デバイスを含み、
前記生成部は、生成される前記コンテンツとして、前記装着者に自分の頭部を振動の方向に向けるようにまたは振動の方向から離れるように回転させるように促すために、前記装着者の頭部の片側またはその反対側に備えられた前記１以上の振動デバイスが振動するように制御するための信号を生成するように構成され、
前記検出部は、前記生成部によって生成された前記コンテンツの提示の後、前記ＨＭＤの向きの変化を検出するように構成され、
検出された前記ＨＭＤの向きの前記変化が、前記基本向きから離れる方向にある場合、前記生成部は、検出された前記ＨＭＤの向きの前記変化の方向を逆転させるように前記ＨＭＤの装着者に促す内容に、生成された前記コンテンツを変更するように構成される、
仮想現実装置。

【請求項2】

１以上の画像をキャプチャするためのカメラをさらに備え、
前記ＨＭＤの前記基本向きは、前記カメラに対面する向きである、
請求項１に記載の装置。

【請求項3】

前記カメラによってキャプチャされた１以上の画像から、（ｉ）前記ＨＭＤの現在の向き、および（ｉｉ）前記ＨＭＤの現在の位置の内、１つ以上を検出する画像プロセッサと、
前記画像プロセッサによる検出にしたがって、データ処理機能を指示するデータプロセッサとをさらに備える、
請求項２に記載の装置。

【請求項4】

前記データ処理機能はゲームプレイ機能である、請求項３に記載の装置。

【請求項5】

前記カメラは深度カメラである、請求項３または４に記載の装置。

【請求項6】

前記ＨＭＤは１以上の光学的に検出可能な特徴を有する、請求項２から５のいずれかに記載の装置。

【請求項7】

前記１以上の光学的に検出可能な特徴は、複数の発光体を含む、請求項６に記載の装置。

【請求項8】

前記ＨＭＤは、前記ＨＭＤの装着者に見える１以上の照明デバイスを含み、
前記生成部は、生成される前記コンテンツとして、前記１以上の照明デバイスが照明するように制御するための信号を生成するように構成される、
請求項１から７のいずれかに記載の装置。

【請求項9】

前記ＨＭＤは、仮想環境の表現を表示するように構成され、
前記生成部は、生成される前記コンテンツとして、前記ＨＭＤによる前記仮想環境の現在のビュー、および前記ＨＭＤの現在の向きに対する前記ＨＭＤの前記基本向きの方向に依存して、前記仮想環境の位置において１以上の特徴を生成するように構成される、
請求項１から８のいずれかに記載の装置。

【請求項10】

前記検出部は、閾値偏差未満の偏差を破棄するように構成される、請求項１から９のいずれかに記載の装置。

【請求項11】

ヘッドマウントディスプレイ（ＨＭＤ）の基本向きからの前記ＨＭＤの現在の向きの偏差を検出するステップと、
前記ＨＭＤの装着者に自分の頭部を回転させるように促して前記ＨＭＤの向きを前記基本向きに変更するために前記ＨＭＤの装着者に提示するコンテンツを生成するステップとを備え、
前記ＨＭＤは前記装着者の頭部の片側またはその反対側に備えられた１以上の振動デバイスを含み、
前記生成するステップは、生成される前記コンテンツとして、前記装着者に自分の頭部を振動の方向に向けるようにまたは振動の方向から離れるように回転させるように促すために、前記装着者の頭部の片側またはその反対側に備えられた前記１以上の振動デバイスが振動するように制御するための信号を生成するように構成され、
前記検出するステップは、前記生成するステップによって生成された前記コンテンツの提示の後、前記ＨＭＤの向きの変化を検出するように構成され、
検出された前記ＨＭＤの向きの前記変化が、前記基本向きから離れる方向にある場合、前記生成するステップは、検出された前記ＨＭＤの向きの前記変化の方向を逆転させるように前記ＨＭＤの装着者に促す内容に、生成された前記コンテンツを変更するように構成される、
方法。

【請求項12】

コンピュータによって実行されたとき、請求項１１の方法をコンピュータに実行させる、コンピュータソフトウェア。

【請求項13】

請求項１２に記載のコンピュータソフトウェアを格納する非一時的で機械読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想現実システムおよび方法に関する。

【背景技術】

【0002】

本明細書で提供される「背景」の説明は、本開示の文脈を一般的に提示することを目的としている。本背景技術の欄に記載されている限りにおいて、出願時の先行技術として適格ではない可能性がある当該説明の態様と同様に、本発明者らの研究は、明示的にも暗示的にも本開示に対する先行技術として認められない。

【0003】

ヘッドマウントディスプレイ（ＨＭＤ）は、ＨＭＤ装着者が仮想環境を見る仮想現実システムで使用するための頭部装着可能装置の一例である。ＨＭＤにおいて、頭部にまたはヘルメットの一部として着用することができる画像またはビデオ表示装置が提供される。片目または両目のいずれかに小型の電子ディスプレイデバイスが設けられる。

【0004】

表示された画像を現実世界のビューに重ね合わせることが可能なＨＭＤがある。この種のＨＭＤは、光学シースルーＨＭＤと呼ぶことができ、一般に、ディスプレイデバイスをユーザの目の真正面以外のどこかに配置することを必要とする。そしてユーザが見ることができるように表示画像を偏向させる何らかの方法が必要になる。これは、ユーザが鏡を通して見ることができるようにするだけでなく、ディスプレイデバイスの出力の反射を見ることもできるように、ユーザの目の前に配置された部分反射鏡を使用することによって可能である。ＥＰ?Ａ?１７３１９４３およびＵＳ?Ａ?２０１０／０１５７４３３に開示されている別の構成では、全反射を利用する導波路構成を使用して、表示画像をユーザの頭の側面に配置されたディスプレイデバイスから伝達する。それにより、ユーザは表示画像を見ることができるが、それでもなお導波路を通して現実世界のビューを見ることができる。ここでもやはり、これらの種類の構成のいずれにおいても、リラックスした視聴を可能にするために適切なサイズおよび距離でユーザが虚像を見られるように、ディスプレイの虚像が（既知の技法を使用して）作成される。例えば、物理的なディスプレイデバイスが非常に小さく（例えば、１０ｍｍ×１０ｍｍ）、ユーザの目からほんの数ミリメートル離れていても、（例えば）ユーザから２０ｍの距離で５ｍ×５ｍの知覚サイズを有するものとしてユーザに知覚されるように、虚像を構成してもよい。

【0005】

しかしながら、他のＨＭＤは、ユーザが表示画像を見ることのみを可能にし、それはＨＭＤがユーザを取り巻く現実世界の環境を見えなくするということである。このタイプのＨＭＤでは、ユーザがリラックスした方法で焦点を合わせられるように、仮想表示画像を適切な距離で－たとえば、上述の光学シースルーＨＭＤと同様の仮想距離および知覚サイズで－配置する適切なレンズまたは他の光学部品と関連づけて、実際のディスプレイデバイスをユーザの目の前に配置することができる。このタイプのデバイスは、映画または同様の記録されたコンテンツを視聴するために、あるいはユーザを取り囲む仮想空間を表現するいわゆる仮想現実コンテンツを視聴するために使用してもよい。しかしながら、もちろん、例えば前向きカメラを使用してディスプレイデバイス上に表示するための画像を生成することによって、このタイプのＨＭＤ上に現実世界のビューを表示することも可能である。

【0006】

ＨＭＤおよびバーチャルリアリティの当初の開発はおそらくこれらのデバイスの軍用および専門的用途によって推進されたが、ＨＭＤは、例えばコンピュータゲームまたは家庭用コンピュータ用途において、カジュアルユーザによる使用のためにより一般的になりつつある。

【発明の概要】

【0007】

前述の段落は一般的な紹介として提供されたものであり、添付の特許請求の範囲を限定することを意図するものではない。記載された実施の形態は、さらなる利点と共に、添付の図面と併せて以下の詳細な説明を参照することによって最もよく理解されるであろう。

【0008】

本開示の様々な態様および特徴は、添付の特許請求の範囲および添付の説明の本文内に定義されており、少なくともディスプレイなどのヘッドマウント可能装置およびヘッドマウント可能装置の操作方法、ならびにコンピュータプログラムを含む。

【図面の簡単な説明】

【0009】

本開示およびその付随する多くの利点のより完全な理解は、添付の図面と関連して考慮されるとき、以下の詳細な説明を参照することによってよりよく理解されるにしたがって、容易に得られるであろう。

【0010】

【図1】ユーザによって装着されたＨＭＤを概略的に示す図である。

【図2】ＨＭＤの概略平面図である。

【図3】ＨＭＤによる虚像の形成を概略的に示す図である。

【図4】ＨＭＤで使用するための他の種類のディスプレイを概略的に示す図である。

【図5】一対の立体画像を概略的に示す図である。

【図6】ソニー（登録商標）プレイステーション３（登録商標）ゲーム機に接続されたＨＭＤを装着しているユーザを概略的に示す図である。

【図7】同上

【図8】ＨＭＤのユーザの視野の変化を概略的に示す図である。

【図9a】動き検知を有するＨＭＤを概略的に示す図である。

【図9b】同上

【図10】オプティカルフロー検出に基づく位置センサを概略的に示す図である。

【図11】ＨＭＤの検出位置または位置の変化に応じて実行される画像処理を概略的に示す図である。

【図12】仮想現実システムを概略的に示す図である。

【図13】ＨＭＤの概略側面図である。

【図14】ＨＭＤの概略正面図である。

【図15】カメラの概略図である。

【図16】ハンドヘルドコントローラの概略図である。

【図17a】ＨＭＤを装着しているユーザの、カメラに対する向きを概略的に表す図である。

【図18a】同上

【図19a】同上

【図17b】図１７ａの構成のキャプチャ画像を概略的に表す図である。

【図18b】図１８ａの構成のキャプチャ画像を概略的に表す図である。

【図19b】図１９ａの構成のキャプチャ画像を概略的に表す図である。

【図20】制御技術を表す概略フローチャートである。

【図21】方法を示す概略フローチャートである。

【図22】方法を示す概略フローチャートである。

【図23】ＨＭＤを着用しているユーザを概略的に示す図である。

【図24】方法を示す概略フローチャートである。

【図25】表示画像の例を概略的に示す図である。

【図26】同上

【発明を実施するための形態】

【0011】

ここで図１を参照すると、ユーザ１０は（一般的な頭部装着可能装置または仮想現実装置の一例として）ＨＭＤ２０を装着している。ＨＭＤは、この例では後部ストラップおよび上部ストラップから形成されたフレーム４０と、ディスプレイ部分５０とを備える。

【0012】

図１のＨＭＤは、他の図面に関連して以下に説明されるが、この最初の説明を明確にするために図１には示されていないさらなる特徴を含んでもよいことに留意されたい。

【0013】

図１のＨＭＤは、完全に（または少なくとも実質的に完全に）周囲の環境がユーザの視界に入らないようにする。ユーザが見ることができるのは、ＨＭＤ内に表示された一対の画像だけである。

【0014】

ＨＭＤには、ユーザの左右の耳７０にはまるヘッドホンオーディオトランスデューサまたはイヤホン６０が関連付けられている。イヤホン６０は、外部ソースから提供されるオーディオ信号を再生する。この外部ソースはユーザの目に表示するためのビデオ信号を提供するビデオ信号ソースと同じであってもよい。ブームマイクロホン７５は、ユーザの口に向かって延びるようにＨＭＤに取り付けられる。

【0015】

ユーザがＨＭＤによって表示されるものだけを見ることができ、イヤホンおよび関連する電子機器のノイズ遮断またはアクティブノイズキャンセレーションの特性の制限下で、イヤホンを介して提供されるものだけを聞くことができるという事実の組み合わせは、このＨＭＤは、いわゆる「フルイマージョン（完全没入）」ＨＭＤと見なすことができることを意味する。しかしながら、いくつかの実施の形態では、ＨＭＤはフルイマージョンＨＭＤではなく、ユーザがユーザの周囲を見るおよび／または聞くための少なくともいくつかの機能を提供してもよいことに留意されたい。このことは、ディスプレイ構成にある程度の透明度または部分的な透明度を提供すること、および／またはＨＭＤのディスプレイを介して（カメラ、例えばＨＭＤに取り付けられたカメラを使用して取り込まれた）外部のビューを投影することによって、および／またはイヤホンを通り過ぎる周囲音の伝達を可能にすることによって、および／または周囲音に依存して（イヤホンへの伝達のための）入力音声信号を生成するためのマイクロホンを提供することによって、可能である。

【0016】

使用中、前面カメラ１２２は、ＨＭＤの前面に画像を取り込むことができる。Ｂｌｕｅｔｏｏｔｈ（登録商標）アンテナ１２４は、通信設備を提供してもよく、または近くのＢｌｕｅｔｏｏｔｈ送信機の方向の検出を可能にするために単に指向性アンテナとして配置されてもよい。

【0017】

動作中、ビデオ信号はＨＭＤによる表示のために提供される。これは、ビデオゲーム機または（パーソナルコンピュータなどの）データ処理装置などの外部ビデオ信号源８０によって提供することができ、その場合、信号は、有線または無線接続８２によってＨＭＤに送信することができる。適切な無線接続の例は、ブルートゥース（登録商標）接続を含む。イヤホン６０のためのオーディオ信号は、同じ接続によって搬送することができる。同様に、ＨＭＤからビデオ（オーディオ）信号源に渡される任意の制御信号は、同じ接続によって搬送されてもよい。さらに、（１つまたは複数の電池を含む、および／または商用電源コンセントに接続可能である）電源８３をケーブル８４によってＨＭＤに接続することができる。なお、電源８３と映像信号源８０とは別々のユニットとしてもよいし、同一の物理的装置として構成してもよい。電源とビデオ（そして実際にはオーディオ）の信号供給用に別々のケーブルがあってもよく、あるいは単一のケーブルで運ぶために結合されてもよい（例えばＵＳＢケーブルのように別々の導体を使って、あるいは、物理的な通信回線の同じ集合体の上でデータがバランスの取れた信号として伝送され、電力が直流として伝送される「パワーオーバーイーサネット（登録商標）（ＰｏＥ）」構成に似た方法で）。ビデオおよび／またはオーディオ信号は、例えば光ファイバケーブルによって搬送されてもよい。他の実施の形態では、ユーザに提示するための画像信号および／または音声信号を生成することに関連する機能の少なくとも一部は、ＨＭＤ自体の一部を形成する回路および／または処理によって実行されてもよい。ＨＭＤ自体の一部として電源を提供してもよい。

【0018】

本開示のいくつかの実施の形態は、ＨＭＤを電源および／またはビデオ（および／またはオーディオ）信号源などの別の装置にリンクする少なくとも１つの電気ケーブルおよび／または光ケーブルを有するＨＭＤに適用可能である。したがって、本開示の実施の形態は、例えば、以下を含むことができる：
（ａ）（ＨＭＤ構成の一部として）それ自身の電源を有するが、ビデオおよび／またはオーディオ信号源へのケーブル接続を有するＨＭＤ；
（ｂ）単一の物理的なケーブルまたは複数の物理的なケーブルとして具体化された、電源およびビデオおよび／またはオーディオ信号源へのケーブル接続を有するＨＭＤ；
（ｃ）（ＨＭＤ構成の一部として）それ自体のビデオおよび／またはオーディオ信号源と、電源へのケーブル接続とを有するＨＭＤ；または
（ｄ）ビデオおよび／またはオーディオ信号源への無線接続と、電源へのケーブル接続とを有するＨＭＤ。

【0019】

１つ以上のケーブルが使用される場合、ケーブル８２および／または８４がＨＭＤに入るまたはＨＭＤに結合する物理的位置は、技術的観点からは特に重要ではない。審美的に、そしてケーブルが操作中にユーザの顔をこするのを避けるために、ケーブルは（通常の操作で着用したときのユーザの頭の向きに対して）ＨＭＤの側面または背面でＨＭＤに入るかまたは結合するであろう。したがって、図１のＨＭＤに対するケーブル８２、８４の位置は単に概略図として扱われるべきである。

【0020】

したがって、図１の構成は、観察者の頭部に装着され、片目または両目の表示位置を画定し、使用時には観察者のそれぞれの目の前に配置されるフレームと、それぞれの目の表示位置に対して搭載され、ビデオ信号源から観察者の目へのビデオ信号のビデオ表示の虚像を提供するディスプレイ要素とを備えるヘッドマウントディスプレイシステムの例を提供する。

【0021】

図１は、ＨＭＤの一例を示す。他のフォーマットも可能である。例えば、ＨＭＤは、従来の眼鏡に関連したものにより類似したフレーム、すなわち表示部分からユーザの耳の後部の上部へと延びて、おそらく耳の後ろで丸くなっている実質的に水平な脚を使用することができる。他の（完全没入ではない）例では、外部環境に対するユーザのビューは、実際には完全には遮られていなくてもよく、表示された画像は、（ユーザの観点から）外部環境に重ね合わせるように配置することができる。そのような構成の一例を、図４を参照して以下に説明する。

【0022】

図１の例では、各ユーザの目に対して別々のそれぞれの表示が提供されている。これがどのように達成されるかについて概略平面図が図２として提供され、これはユーザの目の位置１００およびユーザの鼻の相対位置１１０を示す。ディスプレイ部分５０は、概略的には、ユーザの目から周辺光を遮蔽するための外部シールド１２０と、一方の目が他方の目用のディスプレイを見るのを防ぐ内部シールド１３０とを含む。ユーザの顔、外部シールド１２０、および内部シールド１３０の組み合わせは、各眼に１つずつ、２つの区画１４０を形成する。各区画には、ディスプレイ要素１５０と１つ以上の光学要素１６０が設けられている。ディスプレイ要素と光学要素とが協働してユーザに表示を提供する方法について、図３を参照しながら説明する。

【0023】

図３を参照すると、ディスプレイ要素１５０は、（この例では）光学要素１６０（凸レンズとして概略的に示されているが複合レンズまたは他の要素を含み得る）によって屈折された表示画像を生成して虚像１７０を生成する。この虚像は、ディスプレイ要素１５０によって生成された実際の画像よりも大きくかつかなり離れているようにユーザに見える。一例として、虚像は、１ｍを超える見かけの画像サイズ（画像の対角線）を有し、ユーザの目から（またはＨＭＤのフレームから）１ｍを超える距離に配置されてもよい。一般論として、ＨＭＤの目的に応じて、虚像をユーザからかなりの距離を置いて配置することが望ましい。例えば、ＨＭＤが映画などを視聴するためのものである場合、そのような視聴中にユーザは目をリラックスさせることが望ましく、それは少なくとも数メートルの（虚像までの）距離を必要とする。図３では、（線１８０などの）実線は実光線を示すのに使用され、（線１９０などの）破線は仮想光線を示すのに使用される。

【0024】

別の構成が図４に示されている。この構成は、外部環境に対するユーザの視界が完全には遮られていないことが望まれる場合に使用することができる。しかしながら、それはまた、ユーザの外界の視界が完全に遮られているＨＭＤにも適用可能である。図４の構成では、ディスプレイ要素１５０と光学要素２００は協働して鏡２１０に投影される像を提供し、鏡２１０はその像をユーザの目の位置２２０に向けて偏向させる。ユーザは、虚像がユーザの前にあり、ユーザから適切な距離にある位置２３０に位置していると知覚する。

【0025】

ユーザの外界の視界が完全に遮られているＨＭＤの場合、ミラー２１０は実質的に１００％の反射ミラーとすることができる。その場合、図４の構成は、ディスプレイ要素および光学要素をユーザの頭の重心およびユーザの目の側部の近くに配置することができるという利点を有し、これにより、ユーザが着用するのにかさばらないＨＭＤを生成することができる。あるいは、ＨＭＤが外部環境のユーザの視界を完全に遮らないように設計されている場合、ミラー２１０が部分的に反射するようにして、ユーザが、ミラー２１０を介して、現実の外部環境に仮想画像を重畳させて、外部環境を見るようにすることができる。

【0026】

ユーザの眼ごとに別々のディスプレイが設けられている場合、立体画像を表示することができる。左右の目に表示するための一対の立体画像の一例を図５に示す。これらの画像は、互いに対して横方向のずれを示し、画像特徴のずれは、画像をキャプチャしたカメラの（実際のまたはシミュレートされた）横方向の間隔、カメラの角度の収束、およびカメラ位置からの各画像特徴の（実際のまたはシミュレートされた）距離に依存する。

【0027】

図５の横方向変位は、実際には反対方向にもなり得ることに留意されたい。すなわち、描かれる左目画像は実際には右目画像であり、描かれるような右目画像は実際には左目画像であり得る。これは、ある立体視ディスプレイは、ユーザが立体視ウインドウを通して向こうのシーンを見ているという考えをシミュレートするために、右目画像では右に、左目画像では左にオブジェクトを移動させる傾向があるからである。しかしながら、あるＨＭＤは、図５に示される配置を使用する。これは、ユーザが一対の双眼鏡を通してシーンを見ているという印象をユーザに与えるからである。これら２つの配置の間の選択はシステム設計者の裁量にある。

【0028】

状況によっては、ＨＭＤは単に映画などを見るために使用してもよい。この場合、ユーザがユーザの頭部を例えば左右に回転させても、表示される画像の見かけ上の視点に変更は必要ない。しかしながら、バーチャルリアリティ（ＶＲ）または拡張現実（ＡＲ）システムに関連するもののような他の用途では、ユーザの視点は、ユーザが位置する現実空間または仮想空間に関して動きを追跡する必要がある。

【0029】

図６は、バーチャルリアリティシステムの一例を概略的に示し、特に、ベースデバイスの一例であるソニー（登録商標）プレイステーション３（登録商標）ゲームコンソール３００に接続されたＨＭＤを装着しているユーザを示す。ゲーム機３００は、主電源３１０と（任意に）主表示画面（図示せず）とに接続されている。ケーブルは、上述のケーブル８２、８４として機能し（したがって、電源ケーブルと信号ケーブルの両方として機能し）、ＨＭＤ２０をゲームコンソール３００にリンクし、例えば、コンソール３００のＵＳＢソケット３２０に差し込まれる。本実施の形態では、ケーブル８２、８４の機能を満たす単一の物理ケーブルが提供されていることに留意されたい。図６において、ユーザはまた、一対のハンドヘルドコントローラ３３０を保持するように示されており、一対のハンドヘルドコントローラ３３０は、例えば、ゲーム機３００と無線で通信して現在実行されているゲームプログラムに関するゲーム操作を制御する（またはその制御に寄与する）Ｓｏｎｙ（登録商標）Ｍｏｖｅ（登録商標）コントローラであってもよい。

【0030】

ＨＭＤ２０内のビデオディスプレイは、ゲームコンソール３００によって生成された画像を表示するように構成され、ＨＭＤ２０内のイヤホン６０は、ゲームコンソール３００によって生成された音声信号を再生するように構成される。ＵＳＢタイプのケーブルが使用される場合、これらの信号は、それらがＨＭＤ２０に到達したときにデジタル形式であるため、ＨＭＤ２０は、再生のために少なくともオーディオ信号をアナログ形式に変換し戻すためのデジタル－アナログ変換器（ＤＡＣ）を備えることになる。

【0031】

ＨＭＤ２０に搭載されたカメラ１２２からの画像は、ケーブル８２、８４を介してゲーム機３００に戻される。同様に、動きセンサまたは他のセンサがＨＭＤ２０に設けられている場合、これらのセンサからの信号は、ＨＭＤ２０において少なくとも部分的に処理されてもよく、および／またはゲームコンソール３００において少なくとも部分的に処理されてもよい。そのような信号の使用および処理は以下にさらに説明される。

【0032】

ゲームコンソール３００からのＵＳＢ接続もまた、ＵＳＢ規格に従って、ＨＭＤ２０に電力を供給する。

【0033】

図６はまた、テレビジョンまたは他の公然と見ることのできるディスプレイなどの別個のディスプレイ３０５（ＨＭＤ装着者以外の視聴者がディスプレイ３０５によって表示された画像を見ることができることを意味する）および装置の動作中に（たとえば）ユーザ（ＨＭＤ装着者など）に向けられるカメラ３１５を示す。適切なカメラの例は、プレイステーションアイカメラであるが、より一般的には一般的な「ウェブカメラ」であり、有線（ＵＳＢなど）または無線（ＷｉＦｉ（登録商標）またはブルートゥースなど）でコンソール３００に接続される。

【0034】

ディスプレイ３０５は、いわゆる「ソーシャルスクリーン」の機能を提供するように（ゲームコンソールの制御下で）構成されてもよい。ＨＭＤを使用してコンピュータゲームをプレイすることは、ＨＭＤの着用者にとっては非常に魅力的であり得るが、付近の他の人々にとっては（特に彼ら自身がＨＭＤを着用していない場合）それほどではない。動作中のＨＭＤの数がユーザの数より少ないユーザのグループに改善された体験を提供するために、ソーシャルスクリーン上に画像を表示することができる。ソーシャルスクリーン上に表示される画像は、ＨＭＤを装着しているユーザに表示されるものと実質的に類似しているので、ＨＭＤ装着者が見るように、ソーシャルスクリーンの視聴者は仮想環境（またはそのサブセット、あるバージョンまたは表現）を見ることができる。他の例では、ソーシャルスクリーンは、進行中のコンピュータゲームを通じたＨＭＤ装着者の現在の進捗に関する情報などの他の資料を表示することができる。例えば、ＨＭＤ装着者は一人称視点からゲーム環境を見ることができる一方、ソーシャルスクリーンはＨＭＤ装着者のアバタの活動および動きの第三者表示、または仮想環境の大部分の概観を提供することができる。これらの例では、画像生成器（例えば、ゲームコンソールの機能の一部）は、ヘッドマウントディスプレイとは別のディスプレイによる表示のためにいくつかの仮想環境画像を生成するように構成される。

【0035】

図７は、ＨＭＤ２０がケーブルリンク８２、８４によって接続されたベースデバイスまたは中間デバイス３５０として機能するいわゆる「ブレイクアウトボックス」にゲームコンソールが（有線または無線リンクによって）接続されている同様の構成（仮想現実システムの別の例）を概略的に示す。ブレイクアウトボックスには、この点に関してさまざまな機能がある。１つの機能は、（例えば）電力制御、輝度制御、入力ソースセレクタ、音量制御などＨＭＤの動作に関連するいくつかのユーザ制御のために、ユーザに近い場所を提供することである。別の機能は、（議論される実施の形態に従ってそれが必要とされる場合）ＨＭＤ用のローカル電源を提供することである。別の機能は、局部的なケーブル固定点を提供することである。この最後の機能では、ブレイクアウトボックス３５０を地面または家具に固定することは想定していないが、ゲームコンソール３００からの非常に長いトレーリングケーブルを有するのではなく、ブレイクアウトボックスが局所的に重りの付いた地点を提供することにより、ブレイクアウトボックスに連結するケーブル８２、８４がブレイクアウトボックスの位置の周りを移動する傾向をＨＭＤ２０がもつようにすることができる。これにより、非常に長いトレーリングケーブルを使用しなくても済むようになり、ユーザの安全性と快適性を向上させることができる。

【0036】

ＨＭＤが相互接続されたデバイスの集合または群の一部を形成してもよい（換言すると、データ転送または信号転送の目的のために相互接続されているが、必ずしも物理的なケーブルで接続されているわけではない）ことを仮定すると、全体的な効果を変えることなく、本願に記載された様々な技術における処理の局在化を変えることができることが理解できる。したがって、ＨＭＤなどの１つのデバイスにおいて行われると説明されている処理は、ゲーム機（ベースデバイス）またはブレイクアウトボックスなどの別のデバイスに委譲することができる。処理タスクはデバイス間で共有することができる。必要に応じて、処理が行われることになっているソース信号を別のデバイスに配信することができ、あるいはそれらのソース信号の処理からの処理結果を別のデバイスに送信することができる。したがって、特定のデバイスで行われる処理への言及はすべてこの文脈で理解されるべきである。同様に、２つのデバイス間の相互作用が基本的に対称的である場合、例えば１つのデバイス上のカメラまたはセンサが他のデバイスの信号または特徴を検出する場合、文脈がこれを禁じない限り、２つのデバイスは機能を喪失せずに相互に入れ替えることができる。

【0037】

上述のように、仮想現実（ＶＲ）または拡張現実（ＡＲ）システムに関連するものなどＨＭＤのいくつかの用途では、ユーザの視点は、ユーザが位置する現実空間または仮想空間に関して動きを追跡する必要がある。

【0038】

この追跡は、ＨＭＤの動きを検出し、見かけの視点が動きを追跡するように表示画像の見かけの視点を変化させることによって実行される。

【0039】

図８は、ＶＲまたはＡＲシステムにおけるユーザの頭の動きの影響を概略的に示す。

【0040】

図８を参照すると、仮想環境は、ユーザの周りの（仮想）球状シェル２５０によって表される。これは仮想表示画面（ＶＤＳ）の例である。この配置を二次元の紙の図面上に表現する必要があるため、シェルは、表示された虚像をユーザから分離するのと等価なユーザからの距離にある円の一部によって表される。ユーザは最初第１の位置２６０にあり、仮想環境の一部２７０に向いている。ユーザのＨＭＤのディスプレイ要素１５０に表示される画像に表されるのはこの部分２７０である。図面から分かるように、ＨＭＤ装着者がＨＭＤの向きに従ってＶＤＳの現在の部分を見ることができるように、ＶＤＳがＨＭＤ装着者の空間内の位置の周りの（仮想的な意味の）３次元空間に存在する。

【0041】

次にユーザが自分の頭を新しい位置および／または向き２８０に移動させる状況を考える。仮想現実または拡張現実表示の正しい感覚を維持するために、仮想環境の表示された部分も移動し、その結果、移動の終わりに、新しい部分２９０がＨＭＤによって表示される。

【0042】

したがって、この配置では、仮想環境内の見かけの視点は頭の動きと共に動く。例えば、図８に示すように頭部が右側に回転すると、見かけの視点もまたユーザの視点から右側に移動する。表示されたオブジェクト３００のような表示されたオブジェクトの観点から状況が考えられる場合、これは頭の動きと反対方向に事実上動くであろう。したがって、頭の動きが右向きである場合、見かけの視点は右に移動するが、仮想環境内で静止している表示オブジェクト３００などのオブジェクトは表示画像の左に向かって移動し、最終的に表示画像の左手側から消える。仮想環境の表示された部分が右側に移動したのに対して表示オブジェクト３００は仮想環境内で移動しなかったという単純な理由からである。

【0043】

図９ａおよび図９ｂは、動き検知を伴うＨＭＤを概略的に示す。２つの図面は、図２に示されているものと同じ形式である。すなわち、図面はＨＭＤの概略平面図であり、ディスプレイ要素１５０および光学要素１６０は単純な箱型で表されている。図を明確にするために、図２の多くの特徴は示されていない。両図は、観察者の頭部の動きを検出するための動き検出器を有するＨＭＤの例を示す。

【0044】

図９ａでは、前方カメラ３２２がＨＭＤの前面に設けられる。これは、上述したカメラ１２２と同じカメラでもよく、または追加のカメラでもよい。これは必ずしもユーザに表示するための画像を提供するわけではない（ただし、拡張現実の構成ではそれも可能である）。その代わりに、本実施の形態におけるその主な目的は、動き検知を可能にすることである。カメラ３２２によってキャプチャされた画像をモーションセンシングに使用するための技術は、図１０に関連して以下に説明される。これらの構成では、動き検出器は、フレームと共に動くように取り付けられたカメラと、画像間の動きを検出するためにカメラによってキャプチャされた連続画像を比較するように動作可能である画像比較器とを含む。

【0045】

図９ｂはハードウェア動き検出器３３２を利用する。これは、ＨＭＤ内またはＨＭＤ上のどこにでも取り付けることができる。適切なハードウェア動作検出器の例は、圧電加速度計または光ファイバジャイロスコープである。ハードウェア動き検出とカメラベースの動き検出の両方を同じデバイスで使用することができ、その場合、一方のセンシング構成を他方のセンシング構成が利用できないときのバックアップとして使用することができる。また、一方のセンシング構成（カメラなど）が表示された画像の見かけの視点を変更するためのデータを提供することができる一方、他方のセンシング構成（加速度計など）は画像安定化のためのデータを提供することができる。

【0046】

図１０は、図９ａのカメラ３２２を用いた動き検出の一例を概略的に示す。

【0047】

カメラ３２２はビデオカメラであり、例えば毎秒２５画像の画像キャプチャレートで画像をキャプチャする。各画像がキャプチャされると、その画像は格納のために画像ストア４００に渡され、また画像比較器４１０によって画像ストアから検索された先行画像と比較される。この比較は、先行画像がキャプチャされた時点から実質的に全体の画像が移動したかどうかを確かめるために既知のブロックマッチング技術（いわゆる「オプティカルフロー」検出）を使用する。局所化された動きは、カメラ３２２の視野内の動いている物体を示すかもしれないが、実質的に画像全体の大域的な動きは、キャプチャされたシーンにおける個々の特徴よりもむしろカメラの動きを示す傾向がある。本事例では、カメラがＨＭＤに取り付けられているため、カメラの動きはＨＭＤの動きに対応し、ひいてはユーザの頭の動きに対応する。

【0048】

画像比較器４１０によって検出されるような、ある画像と次の画像の間の変位は、動き検出器４２０によって動きを示す信号に変換される。必要ならば、動き信号は積分器４３０によって位置信号に変換される。

【0049】

上述のように、ＨＭＤに関連付けられたビデオカメラによってキャプチャされた画像間で画像間の動きを検出することによる動き検出の代替として、またはそれに加えて、ＨＭＤは、加速度計などメカニカルまたは半導体検出器３３２を用いて頭部の動きを検出することができる。ビデオベースのシステムの応答時間がせいぜい画像キャプチャレートの逆数であると仮定すると、これは実際、動きの表示に関してより速い応答を与えることができる。したがって、場合によっては、検出器３３２は、より高い周波数の動き検出で使用するのにより適している。しかしながら、他の例では、例えば、高画像レートカメラ（例えば、２００Ｈｚのキャプチャレートカメラ）が使用される場合、カメラベースのシステムがより適切であり得る。図１０に関して、動き検出器４２０に直接入力を提供するために、検出器３３２はカメラ３２２、画像記憶装置４００および比較器４１０の代わりになることができる。あるいは、検出器３３２が動き検出器４２０の代わりにもなり、物理的な動きを示す出力信号を直接提供することもできる。

【0050】

他の位置または動き検出技術ももちろん可能である。例えば、ＨＭＤが可動パンタグラフアームによって定点（例えば、データ処理装置上または家具上）に連結される機械的構成を使用することができ、位置および方位センサは、パンタグラフアームのたわみにおける変化を検出する。他の実施の形態では、ＨＭＤ上および固定点上に取り付けられた１つまたは複数の送信機および受信機のシステムを使用して、三角測量技法によるＨＭＤの位置および向きの検出を可能にすることができる。例えば、ＨＭＤは１つまたは複数の指向性送信機を搭載することができ、既知または固定点に関連付けられた受信機のアレイは１つまたは複数の送信機からの相対信号を検出することができる。あるいは、送信機を固定し、受信機をＨＭＤ上に置くこともできる。送信機および受信機の例には、赤外線変換器、超音波変換器および無線周波数変換器が含まれる。無線周波数変換器は、ブルートゥース（登録商標）リンクなどの、ＨＭＤへのおよび／またはＨＭＤからの無線周波数データリンクの一部を形成することもできるという点で、二重の目的を有することができる。

【0051】

図１１は、ＨＭＤの検出位置または位置の変化に応答して実行される画像処理を概略的に示す。

【0052】

図１０に関連して上述したように、仮想現実および拡張現実配置などのいくつかの用途では、ＨＭＤのユーザに表示されるビデオの見かけの視点は、ユーザの頭の実際の位置または向きの変化に応答して変化する。

【0053】

図１１を参照すると、これは、動きおよび／または現在位置を示すデータを必須の画像位置検出器４６０に供給する動きセンサ４５０（図１０の構成および／または図９ｂの動き検出器３３２など）によって達成される。画像位置検出器４６０は、ＨＭＤの実際の位置を表示に必要な画像を定義するデータに変換する。画像生成器４８０は、必要に応じて画像ストア４７０に格納されている画像データにアクセスし、ＨＭＤによる表示のために適切な視点から必要な画像を生成する。外部ビデオ信号源は、画像生成器４８０の機能を提供し、検出された動きの方向に観察者の見かけの視点を変えるために、検出された動きの方向とは反対方向に表示画像を移動させるように表示画像の視点を変更することによって観察者の頭部の運動の低周波数成分を補償するコントローラとして働くことができる。

【0054】

図１２は、ＨＭＤ１２００、１つまたは複数のユーザコントロール１２１０、ゲームエンジン１２２０、画像プロセッサ１２３０、カメラ１２４０、および任意選択で上述したタイプのソーシャルスクリーン１２５０を含む仮想現実システムまたは装置を概略的に示す。

【0055】

使用中、ユーザはＨＭＤ１２００を装着し、１つまたは複数の制御装置またはコントローラ１２１０を操作することができる。適切なユーザコントロールの例は、図６および図７に示されるコントローラ３３０を含む。ゲームエンジン１２２０は、有線または無線接続１２６０を介して画像および音声コンテンツなどの他のコンテンツをＨＭＤに提供し、接続１２６０を介してまたはカメラ１２４０を介してコントローラ１２１０から入力を受け取る。

【0056】

カメラ１２４０は、使用中のＨＭＤおよび／またはコントローラに向けられる。したがって、カメラ１２４０は、ＨＭＤ１２００の現在位置および／または向き、ならびにコントローラ１２１０の現在位置および／または向きをキャプチャすることができ、これらのそれぞれは、キャプチャされた画像から画像プロセッサ１２３０によって検出される。これらのキャプチャされた位置および／または向きは、ゲーム制御動作などのゲームエンジン１２２０のデータ処理動作を制御するために使用することができる。

【0057】

したがって、例では、ゲームエンジン１２２０への様々な種類の制御入力がある。たとえば、カメラ１２４０によってキャプチャされたキャプチャ画像から画像プロセッサ１２３０によって導出された制御入力１２７０、および／または、有線または無線接続１２６０を介して制御１２１０から受信された制御入力などである。画像プロセッサ１２３０は、カメラ１２４０によってキャプチャされた１つまたは複数の画像から、（ｉ）ＨＭＤ１２００の現在の向きおよび（ｉｉ）ＨＭＤ１２００の現在位置のうちの１つまたは複数を検出するための画像プロセッサの一例を提供する。ゲームエンジン１２２０は、画像プロセッサによる検出に従ってデータ処理機能を指示するデータプロセッサの一例を提供する。いくつかの例では、データ処理機能はゲームプレイ機能である。

【0058】

以下に論じるように、図１２の装置によって実行することができるさらなる機能は、基本向きに対するＨＭＤの現在の向きを検出することである。いくつかの例では、ＨＭＤの基本向きは、カメラ１２４０に面する向きであるが、他の基本向きを使用することもできる。ゲームエンジンは、ＨＭＤにコンテンツを提供して基本向きへの動きを開始することができる。この構成の例は以下に詳細に説明される。

【0059】

したがって、例示的構成では、図１２は、ＨＭＤ１２００と、ＨＭＤの基本方位からのＨＭＤの現在の向きの偏差を検出するための検出器（１２３０、１２２０）と、ＨＭＤの向きを基本向きに向けて変えるようにＨＭＤの着用者に自分の頭を向けるように促すためにＨＭＤの着用者に提示するためのコンテンツ（後述する）を生成するための生成器１２２０と、を備える仮想現実装置を提供する。

【0060】

ＨＭＤの現在の向きおよび／または位置を検出するための例示的な技法について、図１３から図１５を参照しながら説明する。特に、図１３はＨＭＤの概略側面図、図１４はＨＭＤの概略正面図、図１５はカメラ１２４０のようなカメラの概略図である。

【0061】

図１３を参照すると、ＨＭＤ１３００はユーザの頭１３１０上に示されており、ＨＭＤをユーザの頭に保持する１つまたは複数のストラップは概略破線１３２０で示されている。同図では、ユーザはページの右側を向いているように表される。

【0062】

１つ以上の光学的に検出可能な特徴がＨＭＤ上に提供される。図１３の例では、光学的に検出可能な特徴は、この例では発光ダイオード（ＬＥＤ）１３３０として設けられている複数の発光体である。同様に、図１４の正面図（ユーザの頭部はＨＭＤの正面図１４１０に対する破線１４００として示されているため、この例ではユーザはページの外を見ているように示されている）において、さらなるＬＥＤがある。実際、ＨＭＤがユーザの頭の周りで湾曲する構成例では、ＬＥＤ１４２０または１４３０は、側面図から図１３で見えるもののうちのいくつかと同じである。さらなるＬＥＤ１４４０がＨＭＤの中央に向かって設けられる。

【0063】

これらのＬＥＤは、カメラ１２４０によって光学的に検出可能であるように構成することができる。いくつかの例では、これは、カメラ１２４０によってキャプチャされた画像によって表されるシーン内の光の輝点を検出することによるものである。他の例では、１つまたは複数のＬＥＤの色は、ゲームエンジン１２２０の制御下で選択可能であり、例えば、非対称の（左から右への）照明パターンを提供し、かつ／または同じキャプチャ画像に存在する複数のＨＭＤユーザを区別することを可能にする。さらなる例では、ＬＥＤの時間ベースの変調を使用して、ここでもシステムに複数のユーザを区別する能力を与え、非対称の照明パターンを与え、および／またはＬＥＤの存在の検出を支援することができる。これらの技術のうちの任意の１つまたは複数を組み合わせることができる。

【0064】

ＨＭＤの前面および側面にＬＥＤが存在すると、カメラに面する好ましいまたは基本的な向きが生じる。しかしながら、他の基本向きも使用可能である。例えば、マーキングおよび／またはＬＥＤがＨＭＤストラップに設けられている場合、基本向きは、ユーザの頭がカメラから背けられていることである。マーキングおよび／またはＬＥＤがＨＭＤの上部ストラップまたは表面に設けられている場合、好ましい向きはＨＭＤの上にカメラがあることである。マーキングやＬＥＤは必須ではなく、システムは、その代わりに（または同様に）ＨＭＤの形状および／または構成、および／またはユーザの頭部の外観などの他の特徴を認識することができることに留意されたい。

【0065】

カメラ１２４０は、深度カメラの機能を提供するために、横方向に間隔を置いて配置されたカメラの立体視ペア１５１０、１５２０を有するカメラ構成１５００として図１５に概略的に示されている。図１５の立体カメラは深度カメラの一例に過ぎない。いわゆる構造化赤外光（例えば、赤外線センサを使用して深さ情報を取得することができる赤外線の投影グリッド）を使用するものなどの他の種類のカメラも、キャプチャされた画像内の画像素材の深さパラメータを検出するための深度カメラとして機能することができる。他の深度カメラ技術は、超音波深度検出を使用する構成を含むことができる。

【0066】

深度検出の態様はＨＭＤの位置の検出に関するものであるのに対して、現在の向きの検出は深度機能を持たないカメラによって実行することができることが理解されよう。したがって、いくつかの例は深度カメラを提供するが、これは、ＨＭＤの現在の向きのＨＭＤの基本向きからの偏差の検出に関する事例の不可欠な特徴ではない。

【0067】

向きの検出およびその基本向きからの偏差については、図１７Ａから図１９Ｂを参照して以下に説明する。

【0068】

図１６は、１つまたは複数のボタン１６００と、照明部分１６１０とを備えるハンドヘルドコントローラの概略図である。ユーザがボタン１６００のうちの１つまたは複数を押すと、リンク１２６０によって信号をゲームエンジン１２２０に送ることができる。照明部分１６１０の位置は、カメラ１２４０によってキャプチャされた画像から検出することができる。ここでも、例えば、検出を支援したり、複数のゲームコントローラを互いに区別したりするのを助けるために、ゲームエンジン１２２０によって色、明るさ、および時間変調（またはこれらのうちの任意の１つもしくは複数）を制御することができる。

【0069】

図１７Ａ、図１８Ａ、および図１９Ａは、ＨＭＤを装着しているユーザのカメラに対する向きを概略的に表し、図１７Ｂ、図１８Ｂ、および図１９Ｂは、それぞれ図１７Ａ、図１８Ａ、および図１９Ａの構成のキャプチャされた画像を概略的に表す。

【0070】

図１７Ａでは、ＨＭＤ１７１０を装着してカメラ１７２０、例えば上述のカメラ１２４０に面しているユーザ１７００の平面図（すなわち、下向きの概略図）が示されている。図１７Ｂは、ＨＭＤを装着しているユーザの頭部の画像または画像の一部の概略図を示し、カメラに面するＨＭＤに特有の発光体１７３０のパターンは画像プロセッサ１２３０によって検出される。

【0071】

図１８Ａでは、ユーザは頭をわずかに片側に向けているので、（図１８Ｂに概略的に示すように）カメラ１７２０によってキャプチャされたビューは、ユーザが自分の頭を横に向けたことを示すＬＥＤ１７３０の特徴的なパターンを表し、描画されたパターンの非対称性によって、ユーザがどちらの方向を向いたかを示す。

【0072】

図１９Ａでは、ユーザは、カメラ１７２０に対して自分の頭を側面に９０度回転させている。図１９Ｂに概略的に示されるキャプチャ画像は、ユーザが自分の頭をカメラ１７２０から十分に背けたことを示す、より少数のＬＥＤを示す。

【0073】

特に、完全没入型のバーチャルリアリティシステムでは、ユーザがそうしているとは必ずしも認識せずに、ユーザがカメラ１２４０から顔を背けるように移動することは十分にありうる。例示的な実施の形態は、例えばゲームプレイ状況において、ユーザのＨＭＤの使用を必ずしも邪魔することなく、便利で邪魔しない方法で、カメラに面する方向である基本方向（図１７Ａ）に戻るようにユーザに促す技術を提供する。

【0074】

図２０を参照すると、ゲームエンジン１２２０によって使用される制御技術を表す概略フローチャートは、以下のステップを含む。ステップ２０００において（カメラ１２４０によって）ＨＭＤの画像を検出する。ステップ２０２０においてＨＭＤの３Ｄ位置を検出し、ステップ２２２０において（画像プロセッサ１２３０によって）ＨＭＤの向きを検出する。ステップ２０３０において、検出された３Ｄ位置および検出された向きに応答してゲームエンジン１２２０によってゲームプレイを制御するなどのデータ処理機能を制御する。上述したように、３Ｄ位置の検出は任意選択であり、ステップ２０１０、２０２０は画像プロセッサ１２３０によっていずれかの順序で又は実際には両方一緒に実行することができることにも留意されたい。

【0075】

図２１は、画像プロセッサ１２３０および／またはゲームエンジン１２２０が、（ステップ２１００において）ＨＭＤがその向きを基本向きに向かって変更するために移動すべき方向を検出し、ステップ２１１０において、ゲームエンジンが生成器として機能し、ＨＭＤの着用者に提示するためのコンテンツを生成し、ＨＭＤの着用者に頭を回転させてＨＭＤの向きを基本向きに変更するように促す方法を示す概略フローチャートである。

【0076】

図１８Ｂおよび図１９Ｂに示す例では、カメラに面する方向などの基本方向に戻るための基本方向の変化が、矢印１８００、１９００によって概略的に示されている。

【0077】

図２２は、これを達成するための例示的構成のより詳細を提供する概略フローチャートである。

【0078】

ステップ２２００において、画像プロセッサおよび／またはゲームエンジンは、ＨＭＤがカメラに面していないことを検出する、または言い換えると、ＨＭＤの現在の向きとＨＭＤの基本向きとの偏差を検出する。ステップ２２００において、検出器は、基本方位からの閾値偏差（±１０度など）未満の偏差を破棄するように構成することができることに留意されたい。

【0079】

ステップ２２１０において、画像プロセッサおよび／またはゲームエンジンは、ＨＭＤの向きを基本向きに向けて変更するために移動するのに必要な方向を検出する。上述したように、これは、例えば、現在検出されている向きを基本向きの変化にマッピングすることによって達成することができる。言い換えれば、図１８Ｂを参照すると、この検出は、ユーザが図１８Ａによって表される方向に頭を向けたことであり、したがって必要な変化は、矢印１８００によって示される反対方向の変化である。ユーザがＨＭＤの向きを基本向きから変えたという事実は、図１７Ｂに示す照明のパターンまたは他の検出可能なマーカがないことによって検出可能である。変化の感知または方向は、残りの可視照明マーカおよび照明マーカの非対称性を含むそれらの相対的な構成から検出することができる（たとえば、ＨＭＤの各側端の照明マーカが異なる色を有する場合、キャプチャされた画像に残っている色は、ユーザがＨＭＤをどちらの方向に向けたかを示す）。他の例では、ＨＭＤが最後にカメラに面していた以降のＨＭＤの動きが追跡され検出される（例えば、ＨＭＤ１２００から接続１２６０を介してゲームエンジンに送信される）ように、図９Ａ、図９Ｂ、図１０および図１１の任意の動き検出技術を使用することができる。その結果、対面向きに戻るために必要な方向は、その最後の機会以降に検出された正味の動きの反対方向から導き出される。

【0080】

ステップ２２２０において、ゲームエンジンは、ＨＭＤの着用者に頭を回転させてＨＭＤの向きを基本向きに変更するように促すためにＨＭＤの着用者に提示するコンテンツを生成することによってプロンプトを生成する。このプロンプトは、ＨＭＤの装着者に提示されるか、またはステップ２２２０において適用される。

【0081】

次に、ステップ２２３０において、生成器によって生成されたコンテンツをＨＭＤの装着者に提示した後、検出器（画像プロセッサおよび／またはゲームエンジン）は、ＨＭＤの向きのさらなる変化または後続の変化を検出し、検出された向きの変化が、基本向きに向かう方向または基本向きから離れる方向にあるかどうかを検出するように構成される。検出された向きの変化が「正しい」感覚の場合、すなわちそれが基本向きに向かっている場合、ステップ２２４０において、画像プロセッサおよび／またはゲームエンジンは基本向きに到達したかどうかを検出する。そうである場合、プロセスはステップ２２５０で終了し、そうでない場合、ステップ２２２０でプロンプト（または別のプロンプト）が適用される。

【0082】

しかし、ステップ２２３０において、ユーザがＨＭＤの向きを変えたが「誤った」方向にある、すなわち基本向きから離れていることを検出した場合、検出器（画像プロセッサおよび／またはゲームエンジン）はステップ２２１０における方向検出に誤りがあった可能性があることを検出することができ、ステップ２２４０において検出された方向を逆転させ、次回のステップ２２２０において反対の感覚または方向になるようにユーザにプロンプトを適用する。したがって、検出された向きの変化が基本向きから離れる方向にあるとき、生成器は生成される内容を変えるように構成される。

【0083】

ユーザにＨＭＤの向きを変更するように促すことができるコンテンツをユーザに提供するための技術が、図２３から図２６を参照してここで説明される。

【0084】

図２３は、ＨＭＤ２３１０を装着しているユーザ２３００（ページから外に向いている）を概略的に表す。ＨＭＤは、非対称に配置されたコンテンツ提供要素２３２０、２３３０を含む。いくつかの例では、これらは振動要素である。他の例では、これらは、ＨＭＤの着用者に見える照明デバイスである。さらなる実施の形態において、これらの両方を提供することができる。

【0085】

図２３の例では、コンテンツの生成および提供、ならびにユーザへのコンテンツの提示は、以下を含むことができる。
ａ）要素２３２０、２３３０が振動デバイスを含む場合、生成器は、生成されるコンテンツとして、１つ以上の振動デバイスが振動するように制御するための信号を生成するように構成される。これらの例では、ユーザがユーザの頭の片側または他の側に感じる軽いバズのような振動によって、ユーザに自分の頭をその方向に向けるように指示することができる（または実際には、異なる構成は、ユーザが自分の頭部を振動から離れるように回転させるように促されることを意味してもよい。利用する構成をユーザに示すことができるか、あるいはユーザはそれを試行錯誤によって単に学ぶことができる）。
ｂ）要素２３２０、２３３０がＨＭＤの装着者に見える１つまたは複数の照明装置を含む場合、生成器は、生成されるコンテンツとして、１つまたは複数の照明装置が点灯するように制御するための信号を生成するように構成することができる。ここでもまた、利用する構成が事前にユーザに提示されるか、試行錯誤によってユーザによって学習された状態で、ユーザは、照明された照明装置からの光に向かって頭を向けるか、実際にはその光から頭を背けるように促される。
ｃ）これらは両方とも同じＨＭＤで使用することができる。

【0086】

図２４は、ＨＭＤの装着者に頭を向けるように促すように仮想環境を修正する方法を示す概略フローチャートである。

【0087】

ステップ２４００において、必要な移動方向が検出される（図２２のステップ２２１０に対応する）。

【0088】

次に、ステップ２４１０において、ゲームエンジンは、ＨＭＤを着用しているユーザによる仮想環境の現在のビューを検出する。これは、ゲームを表す仮想環境でも別の種類の仮想環境でもよい。しかし、図８を参照して上述したように、ユーザは現在のビュー（図８では仮想環境２５０のビュー２７０または２９０として示されている）を持つ。その仮想環境内で、ステップ２４２０において、ゲームエンジンはプロンプトまたはキャラクタまたは他のアイテムをシーンに導入することができる。

【0089】

ステップ２４２０は、ユーザに関心のあるアイテム（例えば、ゲーム環境では、賞品または友好的なアバタ）を、ユーザの現在の視点の片側（しかし、依然として現在ユーザには見えている）に導入し、導入されたアイテムやキャラクタに目を向けるようにユーザに促す方向に移動させることを含むことができる。他の例では、仮想環境においてユーザが避けたいと思うアイテムまたはキャラクタをユーザの現在の視点の片側に導入して、その方向から離れる（したがって、ＨＭＤの基本方向に向かう）ようにユーザに促すことができる。例えば、危険または敵を仮想環境に持ち込むことができる。

【0090】

図２５は、上述した図５に示したものと同様の表示画像の例を概略的に示しており、仮想キャラクタ２５００がユーザの現在の視点の片側に導入されている。仮想キャラクタ２５００が敵である場合、ユーザは、敵２５００から遠ざかるように頭を左２５１０に向ける可能性が高い。仮想キャラクタ２５００が友人であると知覚される場合、ユーザは、仮想キャラクタ２５００に向かう方向に自分の頭を右２５２０に向ける可能性が高い。バーチャルハザードまたはバーチャル賞品を含む例にも、同様の取り決めが適用される。

【0091】

図２６には、再び左右の目に対する表示例が示されており、ここでは、ユーザが自分の頭を向けるべき方向を示すより単純な指示２６００が片方または両方の目に設けられている。これは仮想環境内で提供することができるが、ユーザがどの方向を向くべきかに関してユーザが疑うことがないように描かれた矢印のような直接的な指示として提供することができる。いくつかの例では、指示２６００にしたがうユーザは、例えば、仮想賞金、またはカメラが要求する向きでのゲーム環境内の他の利益の存在によって報酬を受けることができる。

【0092】

したがって、これらの構成は、ＨＭＤが仮想環境の表現を表示するように構成され、生成器（例えば、画像プロセッサおよび／またはゲームエンジン）が、ＨＭＤによる仮想環境の現在のビュー、およびＨＭＤの現在の向きに対するＨＭＤの基本向きの方向に依存して、生成されるコンテンツとして、仮想環境内の位置における１つまたは複数の特徴または関心点を生成する（または「生み出す」）ように構成される例を提供する。

【0093】

例示的な実施の形態は、ゲーム機などの汎用コンピューティングシステム上で動作するコンピュータソフトウェアによって実装することができることが理解されよう。これらの例では、コンピュータによって実行されたときにコンピュータに上述の方法のいずれかを実行させるコンピュータソフトウェアは、本開示の実施の形態と見なされる。同様に、本開示の実施の形態は、そのようなコンピュータソフトウェアを記憶する非一時的な機械可読記憶媒体によって提供される。

【0094】

上記の教示に照らして、本開示の多数の修正および変形が可能であることもまた明らかであろう。したがって、添付の特許請求の範囲内で、本明細書に具体的に記載されているのとは別の方法で本開示を実施することができることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17a】

【図17b】

【図18a】

【図18b】

【図19a】

【図19b】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】