特許 7193539 データ処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-12

(45)【発行日】2022-12-20

(54)【発明の名称】データ処理

(51)【国際特許分類】

   G06T 7/80 20170101AFI20221213BHJP

   G06F 3/0346 20130101ALI20221213BHJP

【ＦＩ】

G06T7/80

G06F3/0346 422

【請求項の数】 22

(21)【出願番号】P 2020532041

(86)(22)【出願日】2018-12-20

(65)【公表番号】

(43)【公表日】2021-02-22

(86)【国際出願番号】 GB2018053723

(87)【国際公開番号】W WO2019122901

(87)【国際公開日】2019-06-27

【審査請求日】2021-08-30

(31)【優先権主張番号】1721422.2

(32)【優先日】2017-12-20

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ラゴーバーダヤル、シャーウィン ウィネシュ

(72)【発明者】

【氏名】ビッカースタッフ、イアン ヘンリー

【審査官】佐藤 実

(56)【参考文献】

【文献】国際公開第０３／０３６８２９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１４／０２２５９１６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

画像キャプチャ期間に従って連続画像をキャプチャするカメラと、
複数の光学的に検出可能な状態を有し、前記複数の光学的に検出可能な状態において分散周期を有する遷移パターンに従って前記複数の光学的に検出可能な状態の間を遷移するように構成された光学的に検出可能なインジケータと、
基準期間と、前記画像キャプチャ期間よりも短く、前記画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含む前記遷移パターンと、
前記カメラによってキャプチャされた、前記光学的に検出可能なインジケータの画像からタイミング情報を検出するプロセッサと、を備えるデータ処理装置。

【請求項2】

前記プロセッサは、前記基準期間における前記光学的に検出可能なインジケータの画像のキャプチャと第２の期間における前記光学的に検出可能なインジケータの画像のキャプチャとの間の多数の画像キャプチャ期間に応じて前記タイミング情報を検出するように構成される、請求項１に記載の装置。

【請求項3】

前記光学的に検出可能なインジケータは、第１および第２の光学的に検出可能な状態を有する、請求項１または請求項２に記載の装置。

【請求項4】

前記遷移パターンは、前記光学的に検出可能なインジケータが前記基準期間および前記第２の期間において前記第１の光学的に検出可能な状態にあり、他の時間では前記第２の光学的に検出可能な状態にあるようなパターンである、請求項３に記載の装置。

【請求項5】

前記光学的に検出可能なインジケータは、電気的に点灯可能な要素を備える、請求項４に記載の装置。

【請求項6】

前記光学的に検出可能なインジケータは、発光ダイオードを備える、請求項５に記載の装置。

【請求項7】

前記第１の光学的に検出可能な状態は、前記光学的に検出可能なインジケータの点灯によって表される、請求項５または請求項６に記載の装置。

【請求項8】

前記カメラは、連続画像をキャプチャするように構成され、前記キャプチャされた画像のそれぞれの異なる部分が前記画像キャプチャ期間内のそれぞれの異なるキャプチャ時間でキャプチャされるように、それぞれの画像キャプチャ期間中に各画像がキャプチャされる、請求項１から７のいずれか一項に記載の装置。

【請求項9】

前記プロセッサは、所与のキャプチャされた画像内における前記光学的に検出可能なインジケータの画像の位置に応じて前記タイミング情報を検出するように構成される、請求項８に記載の装置。

【請求項10】

前記光学的に検出可能なインジケータは、１つ以上の関連付けられたマーカ部を有する、請求項９に記載の装置。

【請求項11】

前記プロセッサは、前記１つ以上の関連付けられたマーカ部の画像位置を参照して、キャプチャされた画像内における前記光学的に検出可能なインジケータの前記位置を検出するように構成される、請求項１０に記載の装置。

【請求項12】

前記マーカ部は、空間的に互いに分離されかつ前記光学的に検出可能なインジケータから分離された２つ以上のマーカ部を備え、
前記プロセッサは、前記所与のキャプチャされた画像内の前記マーカ部の画像のそれぞれの画像位置を検出するように構成される、請求項１１に記載の装置。

【請求項13】

前記カメラによってキャプチャされた画像から、前記カメラに対するリモートマーカの相対位置を示す情報を検出し、相対位置が検出された時間を示すタイムスタンプを、前記検出された相対位置に関連付ける検出器を備える、請求項８または請求項９に記載の装置。

【請求項14】

前記検出器は、所与のキャプチャされた画像内の前記マーカの画像を検出し、前記マーカの前記画像の前記所与のキャプチャされた画像内の位置に応じてそれぞれのタイムスタンプを導出するように構成される、請求項１３に記載の装置。

【請求項15】

前記検出器は、前記プロセッサによって検出されたタイミング情報に応じて前記タイムスタンプを導出するように構成される、請求項１４に記載の装置。

【請求項16】

前記カメラは、ヘッドマウント可能なディスプレイに設けられている、請求項１から１５のいずれか一項に記載の装置。

【請求項17】

複数の光学的に検出可能な状態を有し、前記複数の光学的に検出可能な状態において分散周期を有する遷移パターンに従って前記複数の光学的に検出可能な状態の間を遷移するように構成された光学的に検出可能なインジケータの連続画像を、画像キャプチャ期間に従ってキャプチャするカメラであって、前記遷移パターンは、基準期間と、前記画像キャプチャ期間よりも短く、前記画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含み、
前記カメラによってキャプチャされた、前記光学的に検出可能なインジケータの画像からタイミング情報を検出するプロセッサと、を備えるデータ処理デバイス。

【請求項18】

前記デバイスは、ヘッドマウント可能なディスプレイである、請求項１７に記載のデバイス。

【請求項19】

画像キャプチャ期間に従って連続画像をキャプチャすることと、
複数の光学的に検出可能な状態を有する光学的に検出可能なインジケータを、前記複数の光学的に検出可能な状態において分散周期を有する遷移パターンに従って前記複数の光学的に検出可能な状態の間で遷移させることであって、前記遷移パターンは、基準期間と、前記画像キャプチャ期間よりも短く、前記画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含み、
カメラによってキャプチャされた、前記光学的に検出可能なインジケータの画像からタイミング情報を検出することと、を備えるデータ処理方法。

【請求項20】

複数の光学的に検出可能な状態を有し、前記複数の光学的に検出可能な状態において分散周期を有する遷移パターンに従って前記複数の光学的に検出可能な状態の間を遷移するように構成された光学的に検出可能なインジケータの連続画像を、画像キャプチャ期間に従ってキャプチャすることであって、前記遷移パターンは、基準期間と、前記画像キャプチャ期間よりも短く、前記画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含み、
カメラによってキャプチャされた、前記光学的に検出可能なインジケータの画像からタイミング情報を検出することと、を備えるデータ処理方法。

【請求項21】

コンピュータソフトウェアであって、コンピュータによって実行されると、前記コンピュータに請求項１９または２０に記載の前記方法を実行させるコンピュータソフトウェア。

【請求項22】

請求項２１に記載のコンピュータソフトウェアを記憶する非一時的な機械可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、仮想現実システムおよび方法に関する。

【背景技術】

【0002】

本明細書に提供する「背景技術」の記述は、本開示の位置付けを概括的に提示することを目的とする。ここで列挙されている発明者らの研究は、この背景技術ならびに出願の時点で従来技術と見なされない本記述の態様において説明される範囲において、明示的にも暗示的にも本開示に対する従来技術と認められるものではない。

【0003】

ヘッドマウント可能なディスプレイ（ＨＭＤ）は、ＨＭＤ着用者が仮想環境を見る仮想現実システムで使用するためのヘッドマウント可能な装置の一例である。ＨＭＤには、頭部に、またはヘルメットの一部として着用可能な、画像またはビデオ表示デバイスが設けられる。片目または両目に対して、小型の電子表示デバイスが設けられる。

【0004】

（ＨＭＤなどの）１つのデバイス上のカメラを使用して、例えば、別のデバイス上の１つ以上のマーカの画像を検出することにより、別のデバイスに対する１つのデバイスの相対位置を検出する検出機構を設けることが提案されている。

【0005】

ＨＭＤと仮想現実の元々の開発は、おそらくはこれらのデバイスの軍事および専門的な用途によって推進されたが、ＨＭＤは、例えば、コンピュータゲームや家庭用コンピューティングアプリケーションなどの普通のユーザ向けの利用に対して、ますます人気が高まっている。

【0006】

上記の段落は、概括的な導入として提供されており、以下の特許請求の範囲を限定することは意図されていない。添付の図面と併せて以下の詳細な説明を参照することにより、記載される実施形態は、更なる利点と共に、最もよく理解されるであろう。

【発明の概要】

【0007】

例示的な実施形態によって提供されるデータ処理装置は、
画像キャプチャ期間に従って連続画像をキャプチャするカメラと、
複数の光学的に検出可能な状態を有し、前記複数の光学的に検出可能な状態において分散周期を有する遷移パターンに従って前記複数の光学的に検出可能な状態の間を遷移するように構成された光学的に検出可能なインジケータと、
基準期間と、前記画像キャプチャ期間よりも短く、前記画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含む前記遷移パターンと、
前記カメラによってキャプチャされた、前記光学的に検出可能なインジケータの画像からタイミング情報を検出するプロセッサと、を備える。

【0008】

別の例示的な実施形態によって提供されるデータ処理デバイスは、
複数の光学的に検出可能な状態を有し、前記複数の光学的に検出可能な状態において分散周期を有する遷移パターンに従って前記複数の光学的に検出可能な状態の間を遷移するように構成された光学的に検出可能なインジケータの連続画像を、画像キャプチャ期間に従ってキャプチャするカメラであって、前記遷移パターンは、基準期間と、前記画像キャプチャ期間よりも短く、前記画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含み、
前記カメラによってキャプチャされた、前記光学的に検出可能なインジケータの画像からタイミング情報を検出するプロセッサと、を備える。

【0009】

別の例示的な実施形態によって提供されるデータ処理方法は、
画像キャプチャ期間に従って連続画像をキャプチャすることと、
複数の光学的に検出可能な状態を有する光学的に検出可能なインジケータを、前記複数の光学的に検出可能な状態において分散周期を有する遷移パターンに従って前記複数の光学的に検出可能な状態の間で遷移させることであって、前記遷移パターンは、基準期間と、前記画像キャプチャ期間よりも短く、前記画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含み、
前記カメラによってキャプチャされた、前記光学的に検出可能なインジケータの画像からタイミング情報を検出することと、を備える。

【0010】

別の例示的な実施形態によって提供されるデータ処理方法は、
複数の光学的に検出可能な状態を有し、前記複数の光学的に検出可能な状態において分散周期を有する遷移パターンに従って前記複数の光学的に検出可能な状態の間を遷移するように構成された光学的に検出可能なインジケータの連続画像を、画像キャプチャ期間に従ってキャプチャすることであって、前記遷移パターンは、基準期間と、前記画像キャプチャ期間よりも短く、前記画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含み、
前記カメラによってキャプチャされた、前記光学的に検出可能なインジケータの画像からタイミング情報を検出することと、を備える。

【0011】

例示的な実施形態によって提供されるコンピュータソフトウェアは、コンピュータによって実行されると、前記コンピュータに前記方法のいずれか一つの工程を実行させる。
例示的な実施形態によって提供される機械可読な非一時的な記憶媒体は、そのようなコンピュータソフトウェアを記憶する。

【0012】

本開示のさまざまな他の態様および特徴は、添付の特許請求の範囲および付属の説明文内で定義され、少なくともディスプレイなどのヘッドマウント可能な装置、およびヘッドマウント可能な装置の操作方法、ならびにコンピュータプログラムを含む。

【図面の簡単な説明】

【0013】

本開示が添付の図面と関連付けて考察されたときに、以下の詳細な説明を参照することによってよりよく理解されるのに伴い、この開示と、それに付随する利点の多くとの、より完全な認識が容易に得られるであろう。

【0014】

【図1】ユーザが着用するＨＭＤを概略的に示す図である。

【図2】ＨＭＤの概略平面図である。

【図3】ＨＭＤによる虚像の形成を概略的に示す図である。

【図4】ＨＭＤで使用される別のタイプのディスプレイを概略的に示す図である。

【図5】一対の立体画像を概略的に示す図である。

【図6】Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ３（登録商標）ゲームコンソールに接続されたＨＭＤを着用しているユーザを概略的に示す図である。

【図7】Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ３（登録商標）ゲームコンソールに接続されたＨＭＤを着用しているユーザを概略的に示す図である。

【図8】ＨＭＤのユーザの視界の変化を概略的に示す図である。

【図9a】モーションセンシングを備えたＨＭＤを概略的に示す図である。

【図9b】モーションセンシングを備えたＨＭＤを概略的に示す図である。

【図10】オプティカルフロー検出に基づく位置センサを概略的に示す図である。

【図11】ＨＭＤの検出された位置または位置の変化に応じて実行される画像処理を概略的に示す図である。

【図12】ＨＭＤを着用し、ビデオゲームをしているユーザを概略的に示す図である。

【図13】それぞれＨＭＤの正面および背面概略図である。

【図14】それぞれＨＭＤの正面および背面概略図である。

【図15】ライトバーを概略的に示す図である。

【図16】カメラを概略的に示す図である。

【図17】ハンドヘルドコントローラを概略的に示す図である。

【図18】データ処理デバイスを概略的に示す図である。

【図19】検出器を概略的に示す図である。

【図20】ローリングカメラシャッタの動作を示す概略図である。

【図21】センサーバー画像の処理を概略的に示す図である。

【図22】センサーバー画像の処理を概略的に示す図である。

【図23】概略的なタイミング図である。

【図24】装置を概略的に示す図である。

【図25】センサーバー画像の処理を概略的に示す図である。

【図26】センサーバー画像の処理を概略的に示す図である。

【図27】概略的なタイミング図である。

【図28】システムを概略的に示す図である。

【図29】装置を概略的に示す図である。

【図30】データ処理装置を概略的に示す図である。

【図31】それぞれの方法を示す概略フローチャートである。

【図32】それぞれの方法を示す概略フローチャートである。

【発明を実施するための形態】

【0015】

ここで図１を参照すると、ユーザ１０は、（汎用のヘッドマウント可能な装置または仮想現実装置の例として）ＨＭＤ２０を着用している。この例において、ＨＭＤは、リアストラップとトップストラップで形成されたフレーム４０と、表示部５０とを備えている。

【0016】

図１のＨＭＤは、この冒頭の説明を分かりやすくするために図１には示されていない、他の図面とともに後述する更なる機能を含み得ることに留意されたい。

【0017】

図１のＨＭＤは、周囲環境に対するユーザの視界を完全に（または少なくとも実質的に完全に）遮る。ユーザが見ることができるのは、ＨＭＤ内に表示される一対の画像だけである。

【0018】

ＨＭＤは、ユーザの左耳および右耳７０に合うヘッドホンオーディオトランスデューサまたはイヤホン６０を関連付けている。イヤホン６０は、外部ソースから提供されるオーディオ信号を再生し、外部ソースは、ユーザの目に表示するビデオ信号を提供するビデオ信号ソースと同じであってもよい。ブームマイク７５は、ユーザの口に向かって延びるようにＨＭＤに取り付けられている。

【0019】

ユーザがＨＭＤによって表示されるものだけを見ることができ、イヤホンおよび関連付けられた電子機器のノイズブロッキングまたはアクティブキャンセレーション特性の制限を受けて、イヤホンを介して提供されるものだけを聞くことができるという事実の組み合わせは、このＨＭＤをいわゆる「完全没入型」ＨＭＤと見なすことができることを意味する。ただし、一部の実施形態では、ＨＭＤが完全没入型のＨＭＤではなく、ユーザがユーザの周囲を見たり聞いたりするための少なくともなにかしらの機能を提供する場合があることに留意されたい。これは、ディスプレイ機構にある程度の透過性または部分的な透過性を提供すること、および／またはＨＭＤのディスプレイを介して（例えば、ＨＭＤに取り付けられたカメラを使用してキャプチャされた）外部の視界を投影すること、および／またはイヤホンを通過する周囲音の伝送を可能にすること、および／またはマイクロホンを提供して、周囲音に依存する（イヤホンへの伝送のための）入力音信号を生成することによりなされる可能性がある。

【0020】

前向きカメラ１２２は、使用時に、ＨＭＤの前方の画像をキャプチャしてもよい。Ｂｌｕｅｔｏｏｔｈ（登録商標）アンテナ１２４は、通信機能を提供してもよく、または単に近くのＢｌｕｅｔｏｏｔｈ送信機の方向の検出を可能にする指向性アンテナとして構成されてもよい。

【0021】

動作中、ＨＭＤにより表示用ビデオ信号が提供される。このビデオ信号は、ビデオゲーム機またはデータ処理装置（パーソナルコンピュータなど）などの外部ビデオ信号ソース８０により提供され得る。その場合、信号は、有線または無線接続８２によってＨＭＤに送信され得る。好適な無線接続の例には、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続が含まれる。イヤホン６０向けのオーディオ信号は、同じ接続で搬送できる。同様に、ＨＭＤからビデオ（オーディオ）信号ソースに渡される制御信号は、いずれも同じ接続で搬送されてもよい。さらに、電源８３（１つ以上の電池を含み、および／または主電源コンセントに接続可能である）は、ケーブル８４によってＨＭＤに接続されてもよい。電源８３およびビデオ信号ソース８０は、別個のユニットであってもよく、または同じ物理的ユニットとして統合されてもよいことに留意されたい。電源とビデオ（および実際にはオーディオ）信号供給用に別々のケーブルが存在してもよく、または（例えば、ＵＳＢケーブルのように別々の導体を使用するか、またはデータが同一の物理的ワイヤの集合を介して、平衡信号および直流電力として搬送される「Ｐｏｗｅｒ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（登録商標）」機構のように）これらを組み合わせて、１本のケーブルで搬送してもよい。ビデオおよび／またはオーディオ信号は、例えば、光ファイバケーブルによって搬送されてもよい。他の実施形態では、ユーザ提示用の画像および／またはオーディオ信号の生成に関連付けられる機能の少なくとも一部は、ＨＭＤの一部を形成する回路および／または処理によって実行されてもよい。電源は、ＨＭＤの一部として提供されてもよい。

【0022】

本開示のいくつかの実施形態は、ＨＭＤを電源および／またはビデオ（および／またはオーディオ）信号ソースなどの別のデバイスに接続する少なくとも１つの電気および／または光ケーブルを有するＨＭＤに適用可能である。従って、本開示の実施形態は、例えば、
（ａ）独自の電源を（ＨＭＤ機構の一部として）備えるが、ビデオおよび／またはオーディオ信号ソースにケーブルで接続するＨＭＤと、
（ｂ）電源およびビデオおよび／またはオーディオ信号ソースに、単一の物理ケーブルまたは複数の物理ケーブルとして具現化されたケーブルで接続するＨＭＤと、
（ｃ）独自のビデオおよび／またはオーディオ信号ソースを（ＨＭＤ機構の一部として）備え、電源にケーブルで接続するＨＭＤと、
（ｄ）ビデオおよび／またはオーディオ信号ソースに無線で接続し、電源にはケーブルで接続するＨＭＤと、
（ｅ）独自のビデオおよび／またはオーディオ信号ソースと独自の電源を（両者ともＨＭＤ機構の一部として）備えたＨＭＤと、を含み得る。

【0023】

１本以上のケーブルが使用される場合、ケーブル８２および／または８４がＨＭＤに挿入または結合する物理的な位置は、技術的な観点からは特に重要ではない。見た目の観点から、そして操作中にケーブルがユーザの顔を擦るのを避けるために、通常、ケーブルは、（通常の操作での着用時におけるユーザの頭の向きに対して）ＨＭＤの側面または背面からＨＭＤに挿入または結合することになる。従って、図１に示すＨＭＤに対するケーブル８２、８４の位置は、単に概略的なものとして扱われるべきである。

【0024】

従って、図１の機構は、観察者の頭部に取り付けられるフレームを含むヘッドマウント可能な表示システムの例を提供する。フレームは、使用中に観察者のそれぞれの目の前に位置付けられる１つまたは２つの目の表示位置と、目の表示位置のそれぞれに対して取り付けられた表示要素とを定め、表示要素は、ビデオ信号ソースからのビデオ信号のビデオ表示の虚像を観察者の目に提供する。

【0025】

図１は、ＨＭＤのほんの一例を示す。他の構成も可能であり、例えば、ＨＭＤは、従来の眼鏡に付随するフレームによく似たフレーム、つまり、表示部からユーザの耳の上部の後ろまで伸び、場合によっては耳の後ろに向かって曲がっている、実質的に水平な脚を使用し得る。（完全没入型ではない）他の例では、外部環境に対するユーザの視界が、実際には完全に遮られなくてもよい。表示された画像は、外部環境に（ユーザの視点から）重畳するように配置され得る。そのような配置の例は、図４を参照して以下に説明される。

【0026】

図１に示す例では、ユーザのそれぞれの目に個別の表示が提供される。これがどのように達成されるかの概略平面図が図２として提供され、ユーザの目の位置１００とユーザの鼻の相対位置１１０を示している。表示部５０は、概略的な形で、ユーザの目を環境光から遮断する外部シールド１２０と、一方の目が他方の目用の表示を見るのを防ぐ内部シールド１３０とを含む。ユーザの顔、外部シールド１２０および内部シールド１３０の組み合わせによって、２つの区画１４０が形成され、それぞれの目に１つの区画１４０が設けられる。各区画には、表示要素１５０と１つ以上の光学要素１６０が設けられる。図３を参照して、表示要素と光学要素とが協働してユーザに表示を提供する方法を説明する。

【0027】

図３を参照すると、表示要素１５０は、（この例では）光学要素１６０（概略的に凸レンズとして示されるが、複合レンズまたは他の要素を含み得る）によって屈折される表示画像を生成して、仮想画像１７０を生成する。仮想画像１７０は、表示要素１５０によって生成された実画像よりも大きく、かなり離れているようにユーザには見える。一例として、仮想画像は、１ｍを超える見かけの画像サイズ（画像の対角線）を有し、ユーザの目から（またはＨＭＤのフレームから）１ｍを超える距離に配置されてもよい。一般的に、ＨＭＤの目的に合わせて、仮想画像をユーザからかなり離れたところに配置することが望ましい。例えば、ＨＭＤが映画等を見るためのものである場合、（虚像まで）少なくとも数メートルの距離を必要とするそのような鑑賞の間、ユーザの目がリラックスしていることが望ましい。図３では、実線（例えば、ライン１８０）を使って実際の光線を示し、破線（例えば、ライン１９０）を使って仮想光線を示す。

【0028】

別の機構を図４に示す。この機構は、外部環境に対するユーザの視界が完全に遮られていないことが望ましい場合に使用されてもよい。ただし、この機構は、外部へのユーザの視界が完全に遮られるＨＭＤにも適用可能である。図４の機構では、表示要素１５０と光学要素２００が協働して、ユーザの目の位置２２０に向けて画像を偏向させるミラー２１０に投影される画像を提供する。ユーザは、ユーザの前にありユーザから適切な距離にある位置２３０に仮想画像が、配置されていると認識する。

【0029】

外部環境へのユーザの視界が完全に遮られるＨＭＤの場合、ミラー２１０は、実質的に１００％の反射ミラーとすることができる。図４の機構は、表示要素と光学要素がユーザの頭の重心とユーザの目の側の近くに配置可能であるという利点がある。これにより、ユーザが着用する際にかさばらないＨＭＤにすることができる。あるいは、ＨＭＤが外部環境へのユーザの視界を完全に遮らないように設計されている場合、ミラー２１０に部分的な反射性を持たせることで、ユーザは、仮想画像が実際の外部環境に重畳した状態で、ミラー２１０を通して外部環境を見ることができる。

【0030】

使用者のそれぞれの目に別々のディスプレイを設けることで、立体画像を表示することができる。左右の目に表示する一対の立体画像の例を図５に示す。画像は、互いに横方向にずれており、画像の特徴のずれは、画像をキャプチャしたカメラの（実際またはシミュレートされた）横方向の間隔、カメラの角度収束、およびカメラの位置からの各画像の（実際またはシミュレートされた）距離に依存する。

【0031】

図５の横方向のずれは、実際には逆であること、つまり図示された左目画像は、実際には右目画像であり、図示された右目画像は、実際には左目画像である可能性があることに留意されたい。これは、一部の立体視ディスプレイは、右目画像ではオブジェクトを右に、左目画像では左にシフトする傾向があるため、ユーザが立体視ウィンドウを通してその向こう側の景色を見ているという考えをシミュレートするためである。ただし、一部のＨＭＤは、図５の構成を使用する。これは、双眼鏡で景色を見ているような印象をユーザに与えるためである。これら２つの構成のどちらを選択するかは、システム設計者の裁量に任されている。

【0032】

状況によっては、単に映画などを見るためにＨＭＤを使用してもよい。この場合、ユーザが頭を、例えば、横に振ったときに、表示された画像の見かけ上の視点に変更を加える必要はない。しかし、例えば、仮想現実（ＶＲ）または拡張現実（ＡＲ）システムに関連付けられた用途などの他の用途では、ユーザの視点は、ユーザがいる実空間または仮想空間に対する動きに追従する必要がある。

【0033】

図６は、例示的な仮想現実システムを概略的に示し、特に、ベースデバイスの例として、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ３（登録商標）ゲームコンソール３００に接続されたＨＭＤを着用しているユーザを示す。ゲームコンソール３００は、主電源３１０および（必要に応じて）主ディスプレイスクリーン（図示せず）に接続されている。上述のケーブル８２、８４として機能する（つまり、電源ケーブルおよび信号ケーブルとして機能する）ケーブルは、ＨＭＤ２０をゲームコンソール３００に接続し、例えば、コンソール３００のＵＳＢソケット３２０に差し込まれる。本実施形態では、ケーブル８２、８４の機能を満たす単一の物理ケーブルが提供されることに留意されたい。

【0034】

ＨＭＤ２０のビデオディスプレイは、ゲームコンソール３００によって生成された画像を表示するように構成され、ＨＭＤ２０のイヤホン６０は、ゲームコンソール３００によって生成されたオーディオ信号を再生するように構成される。ＵＳＢタイプのケーブルが使用される場合、これらの信号は、ＨＭＤ２０に到達したときにはデジタル形式であるため、ＨＭＤ２０は、デジタルアナログコンバータ（ＤＡＣ）を備え、少なくともオーディオ信号をアナログ形式に変換し、再生する。

【0035】

ＨＭＤ２０に取り付けられたカメラ１２２からの画像は、ケーブル８２、８４を介してゲームコンソール３００に戻される。同様に、モーションセンサまたは他のセンサがＨＭＤ２０に設けられている場合、それらのセンサからの信号は、ＨＭＤ２０で少なくとも部分的に処理され、および／またはゲームコンソール３００で少なくとも部分的に処理されてもよい。そのような信号の使用および処理については、以下でさらに説明する。

【0036】

ゲームコンソール３００からのＵＳＢ接続はまた、ＵＳＢ規格に従って、ＨＭＤ２０に電力を供給する。

【0037】

図６はまた、テレビまたは他の観覧可能なディスプレイ（それによって、ＨＭＤ着用者以外の観覧者がディスプレイ３０５によって表示される画像を見ることができることを意味する）などの別個のディスプレイ３０５およびカメラ３１５を示し、カメラ３１５は、（例えば）装置の操作中にユーザ（ＨＭＤ着用者など）に向けられてもよい。好適なカメラの例は、有線（ＵＳＢなど）または無線（ＷｉＦｉ（登録商標）またはＢｌｕｅｔｏｏｔｈなど）接続によってコンソール３００に接続されるＰｌａｙＳｔａｔｉｏｎ Ｅｙｅカメラであり、より一般的には汎用の「ウェブカメラ」である。

【0038】

ディスプレイ３０５は、いわゆる「ソーシャルスクリーン」の機能を提供するように（ゲームコンソールの制御下で）構成されてもよい。ＨＭＤを使用してコンピュータゲームをプレイすることは、ＨＭＤの着用者にとって非常に魅力的であり得るが、近くにいる（特に、ＨＭＤを着用していない）他の人々にとってはそれほど魅力的でないことに留意されたい。動作中のＨＭＤの数がユーザの数よりも少ないユーザグループに、さらに良いエクスペリエンスを提供するために、画像をソーシャルスクリーンに表示できる。ソーシャルスクリーンに表示される画像は、ＨＭＤを着用しているユーザに表示されるものと実質的に同じであってもよく、ソーシャルスクリーンの観覧者は、ＨＭＤ着用者が見る仮想環境（またはそのサブセット、バージョン、または表現）を見ることになる。他の例では、ソーシャルスクリーンは、進行中のコンピュータゲームにおけるＨＭＤ着用者の現在の進行状況に関する情報など、他のコンテンツの表示も可能となり得る。例えば、ＨＭＤ着用者は、一人称視点でゲーム環境を見ることが可能である一方、ソーシャルスクリーンは、ＨＭＤ着用者のアバターのアクティビティや動きの三人称視点で提供したり、仮想環境の大部分の概要を提供することも可能となり得る。これらの例では、画像生成器（例えば、ゲームコンソールの機能の一部）は、ヘッドマウント可能なディスプレイとは別のディスプレイで表示するための仮想環境画像の一部を生成するように構成される。

【0039】

図６では、ユーザは、１つまたは２つのいわゆる触覚グローブ３３１を着用している。これらは、例えば、コンソール３００によって実行される処理の制御下で、触覚フィードバックをユーザに提供するためのアクチュエータを含むことができる。それらはまた、以下で説明されるように、構成および／または位置感知を提供してもよい。

【0040】

他の触覚インタフェースを使用して、１つ以上のアクチュエータおよび／または１つ以上のセンサを提供できることに留意されたい。例えば、ユーザがいわゆる触覚スーツを着用してもよい。触覚靴は、１つ以上のアクチュエータおよび１つ以上のセンサを含んでもよい。または、ユーザは、触覚インタフェースデバイス上に立つか、触覚インタフェース装置を持つこともあり得る。これらのデバイスに関連付けられた１つ以上のアクチュエータは、それぞれ異なる周波数応答と使用可能な振動の振幅を有してもよい。従って、以下で説明する構成例では、触覚生成器は、触覚インタフェースの機能を定義する属性に対応できる。一部の例では、属性は、触覚インタフェースの周波数応答を定義する。一部の例では、属性は、触覚インタフェースによって表すことができる最大振幅を定義する。

【0041】

図７は、ゲームコンソールがベースまたは中間デバイス３５０として機能するいわゆる「ブレークアウトボックス」に（有線または無線リンクによって）接続され、ケーブル接続されたリンク８２、８４によってＨＭＤ２０が「ブレークアウトボックス」に接続されている同様の構成（仮想現実システムの別の例）を概略的に示す。ブレークアウトボックスは、この点に関しさまざまな機能を有する。そのうちの１つの機能は、（例えば）電源コントロール、輝度調整、入力ソースセレクタ、音量調整などのうちの１つ以上など、ＨＭＤの操作に関連する一部のユーザコントロールに対して、ユーザの近くに場所を提供することである。別の機能は、ＨＭＤにローカル電源を提供することである（説明している実施形態に従って必要な場合）。別の機能は、ローカルケーブルの定着点を提供することである。最後の機能では、ブレークアウトボックス３５０が地面または家具に固定されることは想定されていないが、ＨＭＤ２０をブレークアウトボックスに接続するケーブル８２、８４がブレークアウトボックスの位置の周りを移動する傾向があるので、ブレークアウトボックスは、ゲームコンソール３００からの非常に長いトレーリングケーブルを有するのではなく、局所的に重み付けされたポイントを提供する。これにより、非常に長いトレーリングケーブルの使用を回避することで、ユーザの安全性と快適性を向上させることができる。

【0042】

図７では、ゲームコンソール３００と無線で通信して、現在実行中のゲームプログラムに関連するゲーム操作を制御（またはゲームの制御に寄与）する一対のハンドヘルドコントローラ３３０を保持するユーザも示されており、ハンドヘルドコントローラ３３０ｓは、例えば、Ｓｏｎｙ（登録商標）Ｍｏｖｅ（登録商標）コントローラでもよい。図６とともに説明したように、ユーザは１つまたは２つの触覚グローブを着用していてもよい。

【0043】

ＨＭＤが相互接続された（すなわち、データまたは信号の伝送目的で相互接続されているが、必ずしも物理的なケーブルで接続されていない）デバイスのセットまたは集合の一部を形成し得ることを考えると、本出願に記載されたさまざまな技術における処理の局所化は、全体的な効果を変更することなく可変であることが理解される。従って、ＨＭＤなどの１つのデバイス「で」行われると説明されている処理は、ゲームコンソール（ベースデバイス）やブレークアウトボックスなどの別のデバイスに移管されることもあり得る。処理タスクは、デバイス間で共有可能である。必要に応じて、処理が行われる基となるソース信号を別のデバイスに配信したり、それらのソース信号の処理結果を別のデバイスに送信したりすることもあり得る。従って、特定のデバイスで行われる処理へのいかなる言及も、この文脈で理解されるべきである。同様に、２つのデバイス間の相互作用が基本的に対称である場合、例えば、一方のデバイスのカメラまたはセンサが他方のデバイスの信号または機能を検出する場合、その文脈がこれを禁止しない限り、２つのデバイスは、機能性を損失することなく、やり取りすることもあり得る。

【0044】

上記のように、仮想現実（ＶＲ）または拡張現実（ＡＲ）システムに関連付けられるなどの、ＨＭＤの一部の用途では、ユーザの視点は、ユーザがいる実空間または仮想空間に対する動きに追従する必要がある。

【0045】

この追従は、ＨＭＤの動きを検出し、表示された画像の見かけの視点を変化させて、見かけの視点が動きを追従することによって行われる。

【0046】

図８は、ＶＲまたはＡＲシステムにおけるユーザの頭の動きの影響を概略的に示す。

【0047】

図８を参照すると、仮想環境は、ユーザの周りの（仮想）球形シェル２５０によって表される。これは、仮想ディスプレイスクリーン（ＶＤＳ）の例である。この構成を２次元の紙の図面で表す必要があるため、シェルは、ユーザからの表示仮想画像の離隔距離と同じだけユーザから離れた部分円で表される。ユーザは、初めは第１の位置２６０で仮想環境の部分２７０を向いている。ユーザのＨＭＤの表示要素１５０に表示される画像に表されるのは、この部分２７０である。図から、ＶＤＳは、ＨＭＤ着用者の空間内の位置の周りの（仮想的な）３次元空間に存在し、ＨＭＤ着用者は、ＨＭＤの向きに従ってＶＤＳの現在の部分を見るということが分かる。

【0048】

次に、ユーザが自分の頭を新しい位置および／または向き２８０に動かす状況を考えてみる。仮想現実または拡張現実ディスプレイの正しい感覚を維持するために、仮想環境の表示部分も移動し、その結果、その移動の終わりに、新しい部分２９０がＨＭＤによって表示される。

【0049】

従って、この構成では、仮想環境内の見かけ上の視点が頭の動きに合わせて動く。例えば、図８に示すように、頭が右側に回転すると、見かけ上の視点もユーザの視点から右に移動する。表示オブジェクト３００のような表示オブジェクトの面から状況を考慮すると、これは、事実上頭の動きと反対方向に動く。従って、頭が右に動くと、見かけの視点は右に動くが、仮想環境で静止している表示オブジェクト３００などのオブジェクトは、表示画像の左に向かって移動し、最終的には表示画像の左側から消えることになる。これは、仮想環境の表示部分は、右に移動したが、表示オブジェクト３００は、仮想環境内で移動していないという単純な理由によるものである。

【0050】

図９ａおよび図９ｂは、モーションセンシングを備えたＨＭＤを概略的に示す。この２つの図面は、図２に示すものと同様の形式である。すなわち、これら図面は、ＨＭＤの概略平面図であり、表示素子１５０および光学素子１６０は、単純な箱形状で表されている。図を分かりやすくするために、図２の機能の多くは、示されていない。どちらの図も、観察者の頭の動きを検出する動き検出器を備えたＨＭＤの例を示す。

【0051】

図９ａでは、前向きカメラ３２２がＨＭＤの前面に設けられている。これは、上述のカメラ１２２と同じカメラであっても、追加のカメラであってもよい。これは、必ずしもユーザに対する表示用画像を提供するものではない（拡張現実の構成についても同じことが言える）。それよりも、本実施形態における主な目的は、モーションセンシングを可能にすることである。カメラ３２２によってキャプチャされた画像をモーションセンシングに使用する技術について、図１０とともに以下で説明する。これらの構成では、動き検出器は、フレームと一緒に移動するように取り付けられたカメラおよびカメラによってキャプチャされた連続画像を比較して、画像間の動きを検出するように動作可能な画像比較器を含む。

【0052】

図９ｂでは、ハードウェア動き検出器３３２を利用する。これは、ＨＭＤ内またはＨＭＤ上の任意の場所に取り付けることができる。好適なハードウェア動き検出器として、圧電加速度計または光ファイバジャイロスコープが挙げられる。もちろん、ハードウェア動き検出とカメラベース動き検出の両方を同じデバイスで使用可能であることは理解されよう。その場合、一方のセンシング機構を、他方の機構が利用できない場合は、バックアップとして使用したり、一方のセンシング機構（カメラなど）は、表示画像の見かけ上の視点を変更するためのデータを提供し、他方の機構（加速度計など）は、画像を安定させるためのデータを提供したりすることもできる。

【0053】

図１０は、図９ａのカメラ３２２を使用する動き検出の一例を概略的に示す。

【0054】

カメラ３２２は、ビデオカメラであり、例えば、毎秒２５枚の画像キャプチャレートで画像をキャプチャする。各画像がキャプチャされると、その画像は、画像記憶装置４００に渡され記憶され、画像比較器４１０によって、画像記憶装置から読みだされた先行画像と比較される。この比較では、既知のブロックマッチング法（いわゆる「オプティカルフロー」検出）を使用して、先行画像がキャプチャされた時点から実質的に画像全体が移動したかどうかを確かめる。局所的な動きは、カメラ３２２の視野内で動くオブジェクトを示す場合があるが、実質的な画像全体の全体的な動きは、キャプチャされたシーンの個々の特徴ではなく、カメラの動きを示す傾向がある。この場合、カメラがＨＭＤに取り付けられているので、カメラの動きは、ＨＭＤの動きに対応し、ひいてはユーザの頭の動きに対応する。

【0055】

画像比較器４１０によって検出される１つの画像と次の画像との間の変位は、動き検出器４２０によって動きを示す信号に変換される。必要に応じて、動き信号は、積分器４３０によって位置信号に変換される。

【0056】

上述のように、ＨＭＤに関連付けられたビデオカメラによってキャプチャされた画像間の動きを検出することによる動き検出の代替として、またはそれに加えて、ＨＭＤは、加速度計などの機械的または固体状態検出器３３２を使用して頭部の動きを検出できる。ビデオベースシステムの応答時間がせいぜい画像キャプチャレートの逆数であることを考えると、これは、実際には動きの表示に関してより速い応答を与えることができる。従って、いくつかの例では、検出器３３２は、より高い周波数の動き検出に対して、より好適に使用できる。しかしながら、他の例では、例えば、高画像レートカメラ（２００Ｈｚのキャプチャレートカメラなど）が使用される場合、カメラベースのシステムがより適切かもしれない。図１０に関して、検出器３３２は、カメラ３２２、画像記憶装置４００、および比較器４１０に取って代わり、動き検出器４２０に直接入力することもあり得る。あるいは、検出器３３２は、同様に動き検出器４２０に取って代わり、物理的な動きを示す出力信号を直接提供することもあり得る。

【0057】

もちろん、他の位置または動き検出技術も可能である。例えば、ＨＭＤが可動パンタグラフアームによって固定点（例えば、データ処理デバイスまたは家具の一部）に接続される機械的機構が使用され、位置および方向センサがパンタグラフアームのたわみの変化を検出してもよい。他の実施形態では、ＨＭＤおよび固定点に取り付けられた１つ以上送信機および受信機のシステムを使用して、三角測量法によるＨＭＤの位置および向きの検出を可能にすることができる。例えば、ＨＭＤは、１つ以上の指向性送信機を保持することができ、既知または固定点に関連付けられた受信機のアレイは、１つ以上の送信機からの相対信号を検出することができる。または、送信機を固定し、受信機をＨＭＤ上に置くこともあり得る。送信機と受信機の例として、赤外線トランスデューサ、超音波トランスデューサ、無線周波トランスデューサが挙げられる。無線周波トランスデューサは、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンクなど、ＨＭＤとの間の無線周波データリンクの一部を形成でき得るという点で、兼用とすることもあり得る。

【0058】

図１１は、ＨＭＤの検出された位置または位置の変化に応じて実行される画像処理を概略的に示す。

【0059】

図１０とともに上述したように、仮想現実や拡張現実機構などの一部の用途では、ＨＭＤのユーザに表示されるビデオの見かけ上の視点がユーザの頭の実際の位置や向きの変化に応じて変化する。

【0060】

図１１を参照すると、これは、動きおよび／または現在の位置を示すデータを必要な画像位置検出器４６０に供給する動きセンサ４５０（図１０の構成および／または図９ｂの動き検出器３３２など）によってなされ、ＨＭＤの実際の位置を、必要な表示用画像を定義するデータに変換する。画像生成器４８０は、必要に応じて画像記憶装置４７０に記憶された画像データにアクセスし、ＨＭＤによる表示のために適切な視点から必要な画像を生成する。外部ビデオ信号ソースは、画像発生器４８０の機能を提供し、表示画像の視点を変更して、検出された動きとは反対方向に表示画像を移動して、検出された動きの方向に観察者の見かけ上の視点を変えることによって、観察者の頭の動きの低周波成分を補償するコントローラとして機能することができる。

【0061】

図１２は、ＨＭＤを着用し、ビデオゲームをしているユーザを概略的に示す。図１２の構成は、多くの点で上述の図７の構成と同様であるが、図を分かりやすくするために、ケーブル接続８２、８４および図７のオプションのブレークアウトボックス３５０は示されていない。ただし、図１２は、通常の操作におけるユーザと他のコンポーネントの相対的な位置の例を示す。

【0062】

図１２では、ユーザ１２００は、ＨＭＤの前部に１つ以上のマーカ１２２０（「前部」は、ユーザの頭の向きに対して相対的なものである）とＨＭＤの後部、例えば、ヘッドストラップ上に１つ以上のマーカ１２３０を有するＨＭＤ１２１０を着用している。ユーザは、（この例では）それぞれの手にハンドヘルドコントローラ１２４０を保持している。ユーザは、テレビ画面１２５０と向かい合っている。もちろん、ユーザがＨＭＤ１２１０を着用しているとき、ユーザ自身は、テレビ画面を見ないことが分かる。しかしながら、テレビ画面と向かい合うことは、装置の他の構成要素に対して自然な向きとなる。上述のように、テレビ画面は、近くにいるＨＭＤを着用していない他の人々が楽しめるよう、ユーザ１２００がプレイしているゲームアクションを示す画像を表示する、いわゆる「ソーシャルスクリーン」を提供してもよい。

【0063】

以下で説明するライトバー１２６０、ゲームコンソール１２７０、およびカメラ１２８０は、テレビ画面の周囲に位置する。

【0064】

動作中、１つ以上のデバイス（つまり、ＨＭＤ１２１０、コンソール１２７０、およびハンドヘルドコントローラ１２４０）は、少なくとも１つのカメラを有し、そのカメラを使用して、デバイスは、キャプチャされた画像内のマーカを検出することにより、他のデバイスの位置を（または少なくとも相対位置）を検出する。これを支援するために、ＨＭＤは、上述のように前部マーカと後部マーカを備える。ライトバー１２６０は、テレビ画面コンソールの位置またはそれに対する相対位置を示すマーカを提供することができ、ハンドヘルドコントローラ１２４０は、それぞれのマーカを提供することができる。他のデバイス（例えば、別のユーザが着用する第２のＨＭＤ、および／または１つ以上の他の周辺デバイス）も、図１２に示すデバイスの相対位置を検出し、これらのデバイスによって検出されることもできる。いくつかの例では、デバイスは、それぞれのカメラを使用して検出された他のデバイスの相対位置を定義するデータを共有するので、集合的に、または位置データの収集と混合を担うコンソール１２７０などのマスターデバイスを介して、各デバイスのゲーム実行領域内のマップまたは位置の指定を、それぞれの相対位置検出に基づいて導き出すことができる。

【0065】

図１３では、ユーザが着用するＨＭＤの前面１３００には、複数のＬＥＤ（または別の発光部、点灯部、または受動機能１３１０）が配置されており、これらの機能は、ＨＭＤに向けられたカメラによって検出できる。ＬＥＤまたは機能１３１０は、集合的に、複数のマーカ部（個々のＬＥＤなど）を有する「マーカ」と見なすことができる。複数のマーカ部を有する理由は、キャプチャされた画像における他の画像の特徴からマーカを区別するのを助けるためである。また、複数のマーカ部を有することで、カメラから検出されたマーカまでの離隔距離が推定され、ＬＥＤなどのマーカ部間の（キャプチャされた画像内の）距離は、（画像をキャプチャするカメラに対して）ＨＭＤが離れている場合、短くなり、ＨＭＤが近い場合、長くなる。このように、マーカは、空間的に離れた２つ以上のマーカ部を含む。そして、検出器は、所与のキャプチャされた画像におけるマーカ部の画像のそれぞれの画像位置を検出するように構成される。

【0066】

図１４は、複数のマーカ部１４００を含む更なるマーカが提供されるＨＭＤの背面図を概略的に示す。従って、ユーザがコンソールとそれに関連付けられたカメラに背を向けた場合、または使用中にユーザの背後に他の周辺デバイスが配置されている場合、カメラを使用して、ＨＭＤの位置を光学的に検出できる。

【0067】

図１５は、マーカ部（ＬＥＤなど）１５００、１５１０を含むマーカを有する、図１２に示されるタイプのライトバーを概略的に示す。例えば、システム内の他のデバイスにタイミング情報を与えるために、ＬＥＤまたはインジケータ１５２０をさらに設けることができる。ＬＥＤ１５２０を使用して光パルスの符号化ストリームを送信することにより、装置全体の他のデバイスによる光学的位置検出を、コンソールによって指定された共通の時間フレームに同期させることができる。マーカ部１５００、１５１０の間にＬＥＤ１５２０を配置することにより、ＬＥＤ１５２０が点灯していないときでさえ、キャプチャされた画像においてその位置を推測することができる。従って、マーカ部１５００、１５１０に対して相対的なその位置のおかげで、ＬＥＤ１５２０の点灯および非点灯のパターンを検出することができる。従って、例では、光学的に検出可能なインジケータ（インジケータ１５２０）は、発光ダイオードなどの電気的に点灯可能な要素を含む。

【0068】

図１６は、コンソールに関連付けられ、図１２の例では、コンソールの近くに位置付けられたカメラ１６００を概略的に示す。

【0069】

図１７は、ハンドヘルドコントローラ１７００を概略的に示し、ハンドヘルドコントローラ１７００は、その遠位端に配置された複数のマーカ部１７２０からなるマーカ１７１０を有する。また、カメラ１７３０も設けられる。

【0070】

従って、図１２に示す各デバイスは、１つ以上のマーカ部を有するマーカおよびカメラを提供してもよい。コンソールの場合、カメラは、図１６のカメラ１６００である。ハンドヘルドコントローラの場合、カメラは、図１７のカメラ１７３０として設けられる。ＨＭＤの場合、ＨＭＤの向きは、使用中に劇的に変化する可能性があるため、前方を向くカメラ１３２０、１３３０および後方を向くカメラ１４１０など複数のカメラを設けてもよい。

【0071】

図１８は、例えば、図１２のＨＭＤ、ハンドヘルドコントローラおよびコンソールのうちの１つ以上を表す、データ処理デバイスを概略的に示す。ここでの説明に関連する機能のみが図１８に示され、図１８に示されていない他のデータ処理機能が設けられてもよい。

【0072】

図１８では、データ処理デバイス１８００は、画像キャプチャ期間に従って連続画像をキャプチャするように構成されたカメラ１８１０を備える。以下で説明するように、各画像は、それぞれの画像キャプチャ期間中にキャプチャされ、いわゆるローリングシャッタを使用するので、キャプチャされた画像のそれぞれの異なる部分が画像キャプチャ期間内のそれぞれの異なるキャプチャ時間でキャプチャされる。検出器１８２０は、カメラ１８１０によってキャプチャされた画像から、データ処理デバイス１８００に対する除去マーカの相対位置を示す情報を検出し、相対位置が検出された時間を示すタイムスタンプを、検出された相対位置に関連付けるように構成される。例えば、検出器は、所与のキャプチャされた画像内のマーカの画像を検出し、マーカの画像の所与のキャプチャされた画像内の位置に応じてそれぞれのタイムスタンプを導出するように構成されてもよい。検出器は、後述する技術を使用するプロセッサ（光学的に検出可能なインジケータのカメラによってキャプチャされた画像からタイミング情報を検出するプロセッサ）によって検出されたタイミング情報に応じてタイムスタンプを導出するように構成されてもよい。

【0073】

慣性モーションセンサなどのモーションセンサ１８３０は、データ処理デバイス１８００の動きを検出し、必要に応じて、検出器１８２０の動作を検出された動きに応じて制御するように構成される。データ処理デバイス１８００はまた、例えば、上述のように１つ以上のマーカ部を有するマーカ１８４０を提供してもよい。通信モジュール１８５０は、装置全体における他のデータ処理デバイスとのデータ通信を提供する。

【0074】

図１９は、上述のライトバー１２６０とともに、コンソールまたは基地局１２７０などの基地局の機能の一部を概略的に示す。図１９に示す機能は、コンソールまたは基地局の他の機能とともに提供されてもよい。

【0075】

時間信号生成器１９００は、基準時間信号を生成し、基準時間信号に対する装置全体の他の部分による位置検出のタイムスタンプを参照することができる。時間信号生成器１９００は、通信経路１９１０を介して、以下で説明する基地局またはコンソールの他の部分と通信することができる。

【0076】

パルス生成器１９１０は、図１５のインジケータ１５２０などのインジケータ１９２０によってパルス信号から光出力に変換される光パルスのパターンを生成する。

【0077】

図２０は、ローリングカメラシャッタの動作を示す概略図である。

【0078】

上記のように、いわゆるローリングシャッタを使用すると、図２０の画像２０００などの画像が画像キャプチャ期間２０１０中にキャプチャされる。画像の異なる部分が画像キャプチャ期間内のそれぞれ異なる時間にキャプチャされる。

【0079】

図２０の例は、垂直走査ローリングシャッタに関し、画像２０００は、ラインごとに（ラインとは、例えば、ピクセルライン）キャプチャされ、各ラインは、画像キャプチャ期間内の異なる時間にキャプチャされる。例えば、ローリングシャッタは、曲線２０４０で表されるような例示的な時間的関係を使用して、画像の上部２０２０から下部２０３０に亘って実装できるため、キャプチャして出力されるピクセルの最初のラインは、図示時の最上部のラインとなり、そして最後のラインは、図示時の最下部のラインとなる。従って、画像内の例示的な位置２０５０などの任意の垂直位置の場合、曲線２０４０によって定義された関係を使用して、対応するキャプチャ時間ｔ１２０６０を導出することができる。従って、これらの例では、カメラは、連続画像を複数のピクセルラインとしてキャプチャするように構成され、キャプチャされた画像のそれぞれの異なるピクセルラインが画像キャプチャ期間内のそれぞれの異なるキャプチャ時間でキャプチャされる。

【0080】

ローリングシャッタは、垂直方向または水平方向、どちらの方向にも実装できる。従って、他の実施形態では、ローリングシャッタは、画像２０００のピクセルの最下部のラインが最初にキャプチャされ、最上部のラインが最後にキャプチャされるようになってもよい。

【0081】

別の例では、ピクセルのラインまたは行（または実際にはピクセルの列）が、必ずしも画像の上下に亘って単調プログレッションでキャプチャされるような線形プログレッションである必要はない。しかしながら、本例では、そのような線形プログレッションを使用する。

【0082】

ローリングシャッタは、機械的または電子的に実装できる。電子ローリングシャッタを使用するイメージセンサの多くの例では、いわゆるＣＭＯＳセンサを採用している。これは、本例で使用されているタイプのセンサとなる。

【0083】

（本例では）画像キャプチャ期間２０１０内における垂直画像位置と時間との間の曲線２０４０によって定義される関係から、キャプチャされた画像内の画像特徴の（本例では）垂直位置に従って、タイムスタンプをキャプチャされた画像の画像特徴に関連付けることができる。

【0084】

図２１は、図１２に示され、図１５を参照して説明されるタイプのライトバー１２６０の画像のキャプチャされた画像２１００における検出された位置を概略的に示す。

【0085】

上述のように、ライトバーは、ＬＥＤ１５００、１５１０などのマーカ部のパターンを含む。少なくともいくつかの例では、ＬＥＤ１５００、１５１０は永続的に点灯される（ここで、「永続的に」とは、少なくとも、センシング動作および／またはゲームプレイの期間を指す）。キャプチャされた画像２１００において、示されたマーカ部のパターン例を使用して、マーカ部１５００、１５１０の検出された画像の中心を通る中心間線２１１０によって、キャプチャされた画像内のライトバー６０の長手軸が定まる。マーカ部１５００、１５１０の検出された画像の中心間にある中間点２１２０において、線２１１０との交点は、インジケータ１５２０の予想位置となる。しかしながら、上述のように、インジケータは常に点灯しているわけではなく（つまり、通常の動作中に断続的に点灯する）、実際には、点灯と非点灯のパターンによるタイミング情報を伝達している。従って、図２１に示される特定の画像では、インジケータ１５２０の点灯のパターンのタイミングに対して、画像がキャプチャされた時間によってはインジケータが点灯されるか、または点灯されない場合がある。しかしながら、マーカ部１５００、１５１０の位置によって、インジケータが非点灯時でも、インジケータ１５２０の画像における予想位置が検出可能となる。

【0086】

従って、これらの例では、光学的に検出可能なインジケータは、１つ以上の関連付けられたマーカ部を有する。（例えば、ＨＭＤの）プロセッサは、１つ以上の関連付けられたマーカ部の画像位置を参照して、キャプチャされた画像における光学的に検出可能なインジケータの位置を検出するように構成可能である。いくつかの例では、マーカ部は、空間的に互いに分離されかつ光学的に検出可能なインジケータから分離された２つ以上のマーカ部を含む。そして、プロセッサは、所与のキャプチャされた画像におけるマーカ部の画像のそれぞれの画像位置を検出するように構成される。

【0087】

図２２は、キャプチャされた画像（画像２２００）内の画像２１００内の位置と同様の位置にあるライトバーと、時間とローリングシャッタカメラによってキャプチャされた画像の画像内の垂直位置との例示的な関係を定義する曲線２０４０を概略的に示す。破線２２１０は、インジケータ１５２０の検出された位置の垂直範囲と、インジケータ自体がキャプチャされる全体的な画像キャプチャ期間内における期間２２２０との間のマッピングを概略的に示す。

【0088】

従って、点灯されたインジケータ１５２０の画像が全体画像２２００の一部としてキャプチャされるためには、期間２２２０の間にインジケータが点灯されなければならないことが分かる。インジケータがその期間中および他の期間中に点灯される場合、画像２２００は、点灯されたインジケータの画像を含むことになる。しかしながら、インジケータ１５２０が期間２２２０の間に点灯されない場合、画像キャプチャ期間の他の部分の間に点灯されるかどうかにかかわらず、画像２２００は、点灯されたインジケータの画像を含まないことになる。

【0089】

図２３は、上述のインジケータ１５２０の点灯とカメラの画像キャプチャ期間との間のタイミング関係を概略的に示す。図２３の上段２３００は、単なる例として、インジケータ１５２０の点灯のパターンを概略的に示す。

【0090】

インジケータ１５２０は、複数の光学的に検出可能な状態を有し、複数の光学的に検出可能な状態における分散周期を有する遷移パターンに従って複数の光学的に検出可能な状態の間で遷移するように構成された光学的に検出可能なインジケータの例を示す。インジケータ１５２０の例では、光学的に検出可能なインジケータは、第１および第２の光学的に検出可能な状態を有する。これらの２つの状態は、「オン」および「オフ」であってもよく、（例えば）第１の光学的に検出可能な状態は、光学的に検出可能なインジケータの点灯によって示される。ただし、「赤」、「緑」、「オフ」など、３つ以上の状態を使用することもあり得る。または、（例えば）単に「赤」と「緑」を光学的に検出可能な状態として使用することもあり得る。他の例では、インジケータ１５２０は、（例えば）反射状態と実質的に非反射状態との間で制御可能な、微小電気機械システム（ＭＥＭＳ）反射器または反射器アレイなどの反射マーキングとすることができる。

【0091】

例示的な点灯パターンは、少なくとも全体の画像キャプチャ期間、いくつかの例では、２つ以上の連続画像キャプチャ期間を包含する第１の長パルスまたは基準期間２３１０を含む。

【0092】

長パルス２３１０に続くのは、１つの画像キャプチャ期間未満であって、それぞれがパルス長さ２３２０を有するより短いまたは第２のパルスと、画像キャプチャ期間とは異なる間隔２３３０との連続である。この例では、間隔２３３０は、画像キャプチャ期間２３４０よりも短い。しかしながら、間隔２３３０は、画像キャプチャ期間２３４０よりも長くなることもある。

【0093】

これらのパルスまたは期間は共に、基準期間と、画像キャプチャ期間よりも短く、画像キャプチャ期間とは異なる分離期間によって分離される２つ以上の第２の期間とを含む遷移パターンの例を形成する。例えば、遷移パターンは、光学的に検出可能なインジケータが基準期間および第２の期間において第１の光学的に検出可能な状態にあり、他の時には第２の光学的に検出可能な状態にあるようなパターンであり得る。ただし、反対の極性を使用したり、（例えば）第１の状態（「赤」など）を基準パルスに使用したり、第２の状態（「緑」など）を２番目のパルスに使用したり、第３の状態（「オフ」など）を分散周期に使用したりすることもあり得る。当業者は、さまざまな異なる順列が可能であることを理解されよう。

【0094】

ペア２３５０のような縦の破線のペアは、図２２で採用されたものと同様のフォーマットを使用して、インジケータ１５２０に対応する画像位置がキャプチャされる画像キャプチャ期間中の関連する期間を示す。従って、上述のように、破線２３５０によって示される期間中にインジケータが点灯される場合、対応する画像部分は、点灯された状態のインジケータの画像を示す。破線２３５０によって示される期間ではなく、画像キャプチャ期間中の他の任意の時点でインジケータが点灯する場合、インジケータは、画像には点灯された状態では現れない。

【0095】

図２３では、カメラとインジケータの相対的な向きと位置は、図２３の水平範囲によって表される期間中は変化しないと想定される。このような変化が発生する他の状況については、以下で説明する。

【0096】

インジケータ１５２０のキャプチャされた画像における点灯または非点灯は、図２３の最下行２３６０によって示される。長パルス２３１０の間、インジケータは、トップハット曲線２３７０によって示されるように、点灯された状態でキャプチャされる。次に、長パルス２３１０に対応する最後のキャプチャされた点灯と、インジケータが再び点灯された状態でキャプチャされる１つ以上の機会の最初の機会２３９０との間の期間２３８０が続く。期間２３８０は、２つの主な要因、すなわち、パルスの繰り返し期間２３３０と画像キャプチャ期間２３４０の長さとの関係、およびインジケータ１５２０の位置の画像内における位置に発生する変化に依存する。図２３には、第１の点灯２３９０および第２の点灯２３９５が示されており、その両方の間において、破線の垂直線によって示される期間は、短パルスのうちの１つにおけるインジケータの点灯に（少なくとも部分的に）対応する。

【0097】

図２４は、図１８の検出器１８２０の機能の一部を概略的に示す。検出器は、上述のようにライトバーの範囲を示すマーカ部を検出し、これらから、（この特定の例では）インジケータ１５２０の位置を示す中心点を検出して、インジケータ１５２０が現在点灯しているか否かを検出するように構成されたインジケータ位置検出器２４００を含む。パルス検出器２４１０は、連続する各フレーム内で検出された位置でインジケータが点灯しているかどうかを検出し、特に図２３の期間２３８０を検出する。タイミング生成器２４２０は、マーカ部の検出された各位置に付随するタイムスタンプの生成で使用するインジケータのパルスのパターンによって指定されたタイミング情報に合わせて（従って、メインコンソールで使用されるタイミング情報に合わせて）タイミング情報を生成する。

【0098】

次に、上述の処理中にライトバーおよびインジケータが移動する例示的な状況について説明する。

【0099】

図２５は、上述の図２２に示されるのと同じ位置にあるライトバーを概略的に示し、インジケータ１５２０が点灯されているものとしてキャプチャされるために、画像キャプチャ期間内にインジケータ１５２０が点灯されなければならない期間２５００が生じている。

【0100】

図２６では、ライトバーは、方向２６００に移動しており、これは、期間２５００の代わりに関連期間が期間２６１０となるように、インジケータ１５２０の位置が移動したことを意味する。時間差２６２０は、図２５の画像に関して検出された元の期間２５００と図２６の画像に関して検出された修正された期間２６１０との間に適用される。

【0101】

図２７は図２３に似ているが、不確定な長さのギャップを示す一対の線２７００の後、画像において点灯されたように表示されるためにインジケータをキャプチャする必要がある期間を示す破線２７１０は、画像キャプチャ期間２７２０内を移動して、図２６に示されている変化に対応する。改めて、その動きを考慮しても、長パルス２３１０に関連する最後のキャプチャ機会とキャプチャされた短パルスが検出される最初の機会２７４０との間の期間２７３０は、検出可能であり、以下に示すように処理される。

【0102】

信号２３００を基準パルス信号ＴＰと見なす。

【0103】

２３１０は、長パルスＴＬである。
２３２０は、短パルスＴＳである。
２３３０は、基準単位パルス周期ＴＵである。
２３４０は、カメラのＶＳＹＮＣ間隔ＴＣである。

【0104】

Ｔｖは、カメラのフレームレートとわずかに同期ずれしている基準パルスレートを表す乗数であり、例えば、Ｔｖ＝１．０１である。

【0105】

ＴＵの長さがＴＣ×Ｔｖに設定されるため、カメラとの同期は外れるが、既知の方向となる。

【0106】

カメラとトラッカは、カメラが１つ以上のＬＥＤの位置を正確に追跡できるように構成される。

【0107】

アルゴリズムは、次のとおりである。

【0108】

ロング：カメラが可視パルス（ＬＥＤオン）を観測すると、時間をＳ１にコピーする。このフレームを０と呼ぶ。

【0109】

次のフレームで、カメラが別のパルスを観測した場合、Ｓ１が開始パルスＴＬとして使用される。カメラが別のパルスを観測しなかった場合は、上記の「ロング」ラベルにおける前の検出に戻る。

【0110】

ショート：次のフレーム数のために、システムは、経過フレーム数ＣＦをカウントしながら、カメラが別のパルスを確認するまで待機する。

【0111】

別のパルスが観測されると、時間をＳ２にコピーする。

【0112】

次の後続フレーム（前述の検出後）で別のパルスを観測した場合、別の長パルスＴＬが入力され（これは正しくない。短パルスが欠落しているはず）、Ｓ２からＳ１にコピーして、ラベル「ショート」に戻る。

【0113】

次の後続フレームにパルスが含まれていない場合、ＴＳが特定される。システムは、次の長パルスＴＬに到達するまで待機し、ＴＳの時刻をＳ３にコピーする。

【0114】

画面の垂直位置から、ＶＳＹＮＣ＋（画面ｙオフセットｘ垂直走査速度のスケーリング係数）のときに短パルスが検出されたことが分かる。

【0115】

そして、次のことが分かる。
・短パルスから次の長パルスまでの時間。
・最後の長パルスから短パルスまでの時間。

【0116】

全体的な目的は、複数のデバイスを同期させることであり、そのため、さまざまなデバイスからすべてのパルス観測を収集するホストから、どの位置でどのパルスが検出されたかを判断し、ローリングシャッタ間の時間変動を導き出すことができる。

【0117】

例えば、デバイスは、画面の下２５％で３番目の短パルスを観測したため、次の長パルスまで２フレームあった。６０Ｈｚフレームの場合、これは，長パルスＶＳＹＮＣが０．２５×１６．６７＋（２．０－（１．０－０．２５）×１６．６７＝４．１６７５＋２９．１５５＝～３３．３２２５ｍｓになるまでの時間を意味する。

【0118】

従って、これらの例では、プロセッサは、基準期間における光学的に検出可能なインジケータの画像のキャプチャと、第２の期間における光学的に検出可能なインジケータの画像のキャプチャとの間の多くの画像キャプチャ期間に応じてタイミング情報を検出するように構成される。

【0119】

また、これらの例では、プロセッサは、所与のキャプチャされた画像内の、光学的に検出可能なインジケータの画像の位置に応じてタイミング情報を検出するように構成される。

【0120】

図２８は、関連付けられたライトバー２８１０およびカメラ２８２０を有するゲームコンソール２８００と、（本例では）３つの周辺デバイス２８３０、２８４０、２８５０とを含む例示的なデータ処理装置を概略的に示す。

【0121】

周辺デバイス２８３０．．．２８５０はそれぞれ、ライトバー２８１０の画像をキャプチャし、それらの画像から、（ａ）（特定のデバイスに対する）ライトバーの相対的な位置およびライトバー上のインジケータ１５２０からタイミング情報を検出する。カメラ２８ ２０は、デバイス２８３０．．．２８５０のそれぞれの画像をキャプチャし、ゲームコンソール２８００の観点から、デバイスのそれぞれの相対位置を検出する。また、デバイス２８３０．．．２８５０はそれぞれ、他の各デバイスの関連する位置を検出できる。

【0122】

すべての探知位置は、それぞれのタイムスタンプに関連付けられており、位置とタイムスタンプを表すデータは、デバイスとゲームコンソール２８００を用いたフラッシュホールの間で共有できる。

【0123】

図２９は、ゲームコンソール２８００の機能の一部を概略的に示す。ゲームコンソール２８００は、ゲームコンソール２８００によって作成された検出のタイムスタンプの他に、さまざまなデバイス２８３０．．．２８５０によって作成され、ゲームコンソール２８００に伝達された位置検出のタイムスタンプを検出するように構成されたタイムスタンプ検出器２９００と、タイムスタンプによって表される特定の時間における各位置検出によって提供される相対位置情報に対して、図２８の装置におけるデバイス２８００、２８３０、２８４０、２８５０の集合の位置を示す位置マップ２９２０を構築するように構成された位置プロセッサ２９１０と、を含む。

【0124】

図３０は、（例えば、基地局またはコンソールおよびＨＭＤからなる）上述のタイプのデータ処理装置を概略的に示す。データ処理装置は、
画像キャプチャ期間に従って連続画像をキャプチャする（例えば、ＨＭＤにおける）カメラ３０００と、
複数の光学的に検出可能な状態を持ち、複数の光学的に検出可能な状態において分散周期を持つ遷移パターンに従って複数の光学的に検出可能な状態の間で遷移するように構成された光学的に検出可能なインジケータ３０１０（例えば、基地局またはコンソールに関連付けられたライトバーにおける、上述のインジケータ）と、
基準期間と、画像キャプチャ期間よりも短く、画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含む遷移パターンと、
カメラによってキャプチャされた、光学的に検出可能なインジケータの画像からタイミング情報を検出する（例えば、ＨＭＤにおける）プロセッサ３０２０と、を含む。

【0125】

従って、図３０の表記を使用して、ＨＭＤまたは他のデバイスによって、データ処理デバイスの例を提供できる。データ処理デバイスは、
複数の光学的に検出可能な状態を持ち、複数の光学的に検出可能な状態において分散周期を持つ遷移パターンに従って複数の光学的に検出可能な状態の間で遷移するように構成された光学的に検出可能なインジケータの連続画像を、画像キャプチャ期間に従ってキャプチャするカメラ３０００であって、遷移パターンは、基準期間と、画像キャプチャ期間よりも短く、画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含み、
カメラによってキャプチャされた、光学的に検出可能なインジケータの画像からタイミング情報を検出するプロセッサ３０２０と、を含む。

【0126】

図３１は、例えば図２９の装置によって実行される、データ処理方法を示す概略フローチャートである。データ処理方法は、
（ステップ３１００において）画像キャプチャ期間に従って連続画像をキャプチャすることと、
（ステップ３１１０において）複数の光学的に検出可能な状態を持つ光学的に検出可能なインジケータを、複数の光学的に検出可能な状態において分散周期を持つ遷移パターンに従って複数の光学的に検出可能な状態の間で遷移させることであって、遷移パターンは、基準期間と、画像キャプチャ期間よりも短く、画像キャプチャ期間とは異なる分離期間によって分離された２つ以上の第２期間とを含み、
（ステップ３１２０において）カメラによってキャプチャされた、光学的に検出可能なインジケータの画像からタイミング情報を検出することと、を含む。

【0127】

図３２は、例えばＨＭＤによるデータ処理方法を示す概略フローチャートである。データ処理方法は、
（ステップ３２００において）複数の光学的に検出可能な状態を持ち、複数の光学的に検出可能な状態において分散周期を持つ遷移パターンに従って複数の光学的に検出可能な状態の間で遷移するように構成された光学的に検出可能なインジケータの連続画像を、画像キャプチャ期間に従ってキャプチャすることであって、遷移パターンは、基準期間と、画像キャプチャ期間よりも短く、画像キャプチャ期間とは異なる分散周期によって分離された２つ以上の第２期間とを含み、
（ステップ３２１０において）カメラによってキャプチャされた、光学的に検出可能なインジケータの画像からタイミング情報を検出することと、を含む。

【0128】

例示的な実施形態は、ゲーム機などの汎用コンピューティングシステム上で動作するコンピュータソフトウェアによって実装可能であることが理解されよう。これらの例では、コンピュータに上記の方法のいずれかを実行させるコンピュータソフトウェアは、コンピュータによって実行されると、本開示の実施形態と見なされる。同様に、本開示の実施形態は、そのようなコンピュータソフトウェアを記憶する非一時的な機械可読記憶媒体によって提供される。

【0129】

また、上記の教示に照らして、本開示の多くの改変および変形が可能であることも明らかであろう。従って、添付の特許請求の範囲内で、本明細書に具体的に記載されている以外の方法で本開示を実施され得ることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】