特表 2024-536004 ヘッドマウントディスプレイシステムについての位置トラッキングシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-04

(54)【発明の名称】ヘッドマウントディスプレイシステムについての位置トラッキングシステム及び方法

(51)【国際特許分類】

   H04N 5/64 20060101AFI20240927BHJP

   G06F 3/01 20060101ALI20240927BHJP

   G06F 3/0346 20130101ALI20240927BHJP

   G09G 5/00 20060101ALI20240927BHJP

【ＦＩ】

H04N5/64 511A

G06F3/01 510

G06F3/0346 425

G09G5/00 510A

G09G5/00 550C

G09G5/00 510V

G09G5/00 X

G09G5/00 550B

G09G5/00 555G

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024514112

(86)(22)【出願日】2022-09-27

(85)【翻訳文提出日】2024-04-01

(86)【国際出願番号】 US2022044890

(87)【国際公開番号】W WO2023055732

(87)【国際公開日】2023-04-06

(31)【優先権主張番号】63/249,348

(32)【優先日】2021-09-28

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】517160525

【氏名又は名称】バルブ コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】フレッチャー、エヴァン

(72)【発明者】

【氏名】ムチャ、ジェフリー ウォルター

(72)【発明者】

【氏名】ハドマン、ジョシュア マーク

(72)【発明者】

【氏名】ヤテス、アラン

(72)【発明者】

【氏名】ストール、ゴードン ウェイン

(72)【発明者】

【氏名】レインバウフ、ジェフリー ジョージ

(72)【発明者】

【氏名】ロール、チャールズ

【テーマコード（参考）】

5B087

5C182

5E555

【Ｆターム（参考）】

5B087AA07

5B087BB14

5C182AA02

5C182AA03

5C182AA26

5C182AB01

5C182AB02

5C182AB08

5C182AB14

5C182AB34

5C182AB35

5C182AC46

5C182BA03

5C182BA04

5C182BA14

5C182BA25

5C182BA27

5C182BA29

5C182BA35

5C182BA39

5C182BA45

5C182BA46

5C182BA47

5C182BB01

5C182BB11

5C182BC03

5C182BC22

5C182BC25

5C182BC26

5C182CC24

5C182DA02

5C182DA26

5C182DA32

5C182DA41

5C182DA44

5C182DA52

5C182DA66

5C182DA70

5E555AA64

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA42

5E555CA44

5E555CB21

5E555CC03

5E555DA08

5E555DB53

5E555DC09

5E555DD03

5E555EA19

5E555EA27

5E555FA00

(57)【要約】

ＨＭＤシステムの１または複数のヘッドマウントディスプレイ（ＨＭＤ）システムコンポーネントの位置をトラッキングするためのシステム及び方法。ＨＭＤコンポーネントは、複数の角度感知検出器または他のタイプの検出器を保持し得る。ＨＭＤシステムは、破損した位置トラッキングサンプルを検出するように作用し得、このようなサンプルが無視されることを可能にし、それにより位置トラッキング処理を改善する。制御回路は、光源に、指定されたパターンに従って光を放射させ、複数の検出器からセンサデータを受信する。制御回路は、例えば、機械学習または他の技法を使用して、センサデータを処理し、１または複数のＨＭＤコンポーネントの位置をトラッキングし得る。

【特許請求の範囲】

【請求項1】

ユーザによって保持または装着されるよう構成されている第１ヘッドマウントディスプレイシステムコンポーネント；
前記第１ヘッドマウントディスプレイシステムコンポーネントによって保持される複数の角度感知検出器、動作中に、前記複数の角度感知検出器の各々は、１または複数の光源から放射された光の到着角度を示すセンサデータをキャプチャする；
１または複数の光源を含む第２ヘッドマウントディスプレイシステムコンポーネント；及び
前記１または複数の光源に光を放射させること；
前記複数の角度感知検出器の１または複数からセンサデータを受信すること；
１または複数の破損したセンサデータサンプルの識別を含む、前記受信されたセンサデータを処理すること、前記１または複数の破損したセンサデータサンプルの各々は、前記１または複数の光源から、前記複数の角度感知検出器の１つによって直接的に受信された光を表していない可能性が高いと識別された、前記複数の角度感知検出器の前記１つからのセンサデータサンプルを含む
前記受信されたセンサデータの前記処理に少なくとも部分的に基づいて、前記第２ヘッドマウントディスプレイシステムコンポーネントの位置をトラッキングすること
のために作用する制御回路
を備えるヘッドマウントディスプレイシステム。

【請求項2】

前記第２ヘッドマウントディスプレイシステムコンポーネントの前記位置をトラッキングするために、前記制御回路は、前記破損したセンサデータサンプルを無視する、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項3】

前記１または複数の破損したセンサデータサンプルの前記識別は、前記第１ヘッドマウントディスプレイシステムコンポーネント及び前記第２ヘッドマウントディスプレイシステムコンポーネントの少なくとも１つの既知のジオメトリに少なくとも部分的に基づく、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項4】

前記１または複数の破損したセンサデータサンプルの前記識別は：
前記第１ヘッドマウントディスプレイシステムコンポーネント及び前記第２ヘッドマウントディスプレイシステムコンポーネントの少なくとも１つの過去の位置または向き；
前記第１ヘッドマウントディスプレイシステムコンポーネント及び前記第２ヘッドマウントディスプレイシステムコンポーネントの少なくとも１つの現在の位置または向き；または
前記第１ヘッドマウントディスプレイシステムコンポーネント及び前記第２ヘッドマウントディスプレイシステムコンポーネントの少なくとも１つの予測される未来の位置または向き
の１または複数に少なくとも部分的に基づく、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項5】

前記１または複数の破損したセンサデータサンプルの前記識別は、前記第１ヘッドマウントディスプレイシステムコンポーネントまたは前記第２ヘッドマウントディスプレイシステムコンポーネントの少なくとも１つの投影モデルを利用して、前記複数の角度感知検出器のどれが、前記複数の光源の前記１または複数から光を直接的に受信していない可能性が高いかを判定することを含む、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項6】

少なくとも１つの投影モデルを利用することは、受信されたセンサデータサンプルを前記少なくとも１つの投影モデルと比較すること、及び、前記少なくとも１つの投影モデルと一致しない、前記受信されたセンサデータサンプルを、破損したセンサデータサンプルとして識別することを含む、請求項５に記載のヘッドマウントディスプレイシステム。

【請求項7】

前記少なくとも１つの投影モデルと一致しない前記受信されたセンサデータサンプルを、破損したセンサデータサンプルとして識別することは、定義された閾値内において前記少なくとも１つの投影モデルと一致しない前記受信されたセンサデータサンプルを、破損したセンサデータサンプルとして識別することを含む、請求項６に記載のヘッドマウントディスプレイシステム。

【請求項8】

サンプルの数または期間にわたって、前記破損したセンサデータサンプルに関連付けられた前記複数の角度感知検出器の１または複数を無効化することを更に備える、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項9】

前記サンプルの数または前記期間は、前記第１ヘッドマウントディスプレイシステムコンポーネントまたは前記第２ヘッドマウントディスプレイシステムコンポーネントの少なくとも１つの動きに基づいて選択的に変動する、請求項８に記載のヘッドマウントディスプレイシステム。

【請求項10】

前記第２ヘッドマウントディスプレイシステムコンポーネントは、前記ユーザの頭部に着用可能なヘッドマウントディスプレイデバイスまたはハンドヘルドコントローラを含む、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項11】

前記複数の角度感知検出器の各々は、フォトダイオード検出器または位置感知検出器のうちの１つを含む、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項12】

前記複数の角度感知検出器の各々は、少なくとも４つのセルを有するフォトダイオード検出器を含む、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項13】

前記第１ヘッドマウントディスプレイシステムコンポーネントは、ヘッドマウントディスプレイデバイス、コントローラ、または基地局のうちの１つを含み、前記第２ヘッドマウントディスプレイシステムコンポーネントは、ヘッドマウントディスプレイデバイス、コントローラ、または基地局のうち別のものを含む、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項14】

前記第１ヘッドマウントディスプレイシステムコンポーネントまたは前記第２ヘッドマウントディスプレイシステムコンポーネントのうちの少なくとも１つは、前記ヘッドマウントディスプレイシステムが操作される環境に近接する場所に固定されるコンポーネントを含む、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項15】

前記複数の角度感知検出器のうちの１または複数で受信される光が、前記複数の角度感知検出器のうちの前記１または複数に到着する前に反射または散乱されたかものかどうかを示す散乱光検出器データをキャプチャする散乱光検出器を更に備え、ここで、前記散乱光検出器データは、前記１または複数の破損したセンサデータサンプルの前記識別に使用される、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項16】

前記制御回路は、前記散乱光検出器データを処理して前記１または複数の破損したセンサデータサンプルを識別し、前記第２ヘッドマウントディスプレイシステムコンポーネントの前記位置の前記トラッキング中に、前記破損したセンサデータサンプルを無視する、請求項１５に記載のヘッドマウントディスプレイシステム。

【請求項17】

複数の散乱光検出器を更に備え、前記散乱光検出器の各々は、前記複数の角度感知検出器のうちの１または複数で受信された光が、前記複数の角度感知検出器のうちの１または複数に到着する前に反射または散乱されたものかどうかを示す散乱光検出器データをキャプチャし、ここで、前記散乱光検出器データは、前記１または複数の破損したセンサデータサンプルの前記識別に使用される、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項18】

前記受信されたセンサデータを処理するために、前記制御回路は、前記受信されたセンサデータを、訓練された機械学習モデルへの入力として提供する、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項19】

動作中に、前記制御回路は、前記１または複数の光源に、多重化を使用して光を放射させる、請求項１に記載のヘッドマウントディスプレイシステム。

【請求項20】

前記多重化は、時間多重、波長多重、周波数多重、または偏光多重の少なくとも１つを含む、請求項１９に記載のヘッドマウントディスプレイシステム。

【請求項21】

動作中、前記制御回路は、前記１または複数の光源に、波長分割多重接続（ＷＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）または直交周波数分割多元接続（ＯＦＤＭＡ）のうちの少なくとも１つを使用して光を放射させる、請求項１から２０のいずれか一項に記載のヘッドマウントディスプレイシステム。

【請求項22】

ユーザによって保持または装着されるよう構成されている第１ヘッドマウントディスプレイシステムコンポーネント；
前記第１ヘッドマウントディスプレイシステムコンポーネントによって保持される光学検出器、動作中に前記光学検出器は、１または複数の光源から放射された光を示すセンサデータをキャプチャする；
１または複数の光源を含む第２ヘッドマウントディスプレイシステムコンポーネント；及び
前記光学検出器から光学検出器データを受信すること；
受信された前記光学検出器データを処理すること；及び
処理された前記光学検出器データに少なくとも部分的に基づいて、前記１または複数の光源のうち少なくとも１つの輝度を適合的に調整すること
のために作用する制御回路
を備えるヘッドマウントディスプレイシステム。

【請求項23】

前記制御回路は、前記光学検出器のダイナミックレンジに基づいて、前記１または複数の光源のうちの前記少なくとも１つの前記輝度を適合的に調整する、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項24】

前記制御回路は、前記１または複数の光源の前記少なくとも１つの前記輝度を適合的に調整し、前記１または複数の光源のうちの前記少なくとも１つに供給される信号のパルス幅を調整する、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項25】

前記制御回路は、前記１または複数の光源を無効化し、前記１または複数の光源が無効化されている間に、前記光学検出器から前記光学検出器データを受信する、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項26】

前記制御回路は、前記ヘッドマウントディスプレイシステムの少なくとも１つのコンポーネントのパラメータに少なくとも部分的に基づいて変動する速度で前記１または複数の光源のうちの前記少なくとも１つの前記輝度を適合的に調整する、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項27】

前記パラメータは、前記ヘッドマウントディスプレイシステムの前記少なくとも１つのコンポーネントの動きを含む、請求項２６に記載のヘッドマウントディスプレイシステム。

【請求項28】

前記制御回路は、前記ヘッドマウントディスプレイシステムが操作される環境における周囲光の量に少なくとも部分的に基づいて変動する速度で前記１または複数の光源の前記少なくとも１つの前記輝度を適合的に調整する、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項29】

前記制御回路は、受信された前記光学検出器データを処理して、前記第１ヘッドマウントディスプレイシステムコンポーネントまたは前記第２ヘッドマウントディスプレイシステムコンポーネントのうちの少なくとも１つの位置をトラッキングする、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項30】

前記光学検出器は、角度感知検出器によって検出された前記光の到着角度を検出するように作用する前記角度感知検出器を含む、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項31】

前記第１ヘッドマウントディスプレイシステムコンポーネントは、前記ユーザの頭部に着用可能なヘッドマウントディスプレイデバイスまたはハンドヘルドコントローラを含む、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項32】

前記光学検出器は、フォトダイオード検出器または位置感知検出器のうちの１つを含む、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項33】

前記光学検出器は、少なくとも４つのセルを有するフォトダイオード検出器を備える、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項34】

前記第１ヘッドマウントディスプレイシステムコンポーネントは、ヘッドマウントディスプレイデバイス、コントローラ、または基地局のうちの１つを含み、前記第２ヘッドマウントディスプレイシステムコンポーネントは、ヘッドマウントディスプレイデバイス、コントローラ、または基地局のうち別のものを含む、請求項２２に記載のヘッドマウントディスプレイシステム。

【請求項35】

受信された前記光学検出器データを処理するために、前記制御回路は、受信された前記光学検出器データを入力として、訓練された機械学習モデルに提供する、請求項２２から３４のいずれか一項に記載のヘッドマウントディスプレイシステム。

【請求項36】

ユーザによって着用可能な第１ヘッドマウントディスプレイシステムコンポーネント；
前記第１ヘッドマウントディスプレイシステムコンポーネントによって保持される角度感知検出器、動作中に前記角度感知検出器は、１または複数の光源から放射される光の到着角度を示すセンサデータをキャプチャし、ここで、前記角度感知検出器は、複数のセンサセルを含み、動作中にセンサセルの各々は、前記センサセルに入射する光の強度を表すセンサセルサンプルを出力する；
１または複数の光源を含む第２ヘッドマウントディスプレイシステムコンポーネント；及び
前記１または複数の光源に、照射期間中に光を放射させること；
前記照射期間中に前記複数のセンサセルからセンサセルサンプルを順次にキャプチャすることを含む、前記角度感知検出器からセンサデータを受信すること；
前記センサセルサンプルの前記順次のキャプチャ中に前記１または複数の光源の不均一な輝度を考慮するために較正データを前記センサセルサンプルに適用することを含む、前記受信されたセンサデータを処理すること；及び
前記受信されたセンサデータの前記処理に少なくとも部分的に基づいて、前記第２ヘッドマウントディスプレイシステムコンポーネントの位置をトラッキングすること
のために作用する制御回路
を備えるヘッドマウントディスプレイシステム。

【請求項37】

前記較正データは、前記照射期間中に前記１または複数の光源の前記輝度の特徴的勾配を表す、請求項３６に記載のヘッドマウントディスプレイシステム。

【請求項38】

動作中に前記制御回路は、更新された較正データを反復的に判定し、更新された前記較正データを使用して前記第２ヘッドマウントディスプレイシステムコンポーネントの前記位置をトラッキングする、請求項３６または３７に記載のヘッドマウントディスプレイシステム。

【請求項39】

更新された前記較正データを判定するために、前記制御回路は：
較正期間にわたって前記１または複数の光源を無効化する；
前記較正期間中に前記複数のセンサセルからセンサセルサンプルを順次にキャプチャする；
キャプチャされた前記センサセルサンプルを内挿する；及び
キャプチャされた前記センサセルサンプルの前記内挿に基づいて、更新された前記較正データを判定する、
請求項３８に記載のヘッドマウントディスプレイシステム。

【請求項40】

ヘッドマウントディスプレイシステムコンポーネントを較正する方法であって、前記ヘッドマウントディスプレイシステムコンポーネントは、動作中に１または複数の光源から放射された光の到着角度を示すセンサデータをキャプチャする角度感知検出器を含み、ここで前記角度感知検出器は、複数のセンサセルを含み、動作中に各センサセルは、前記センサセルに入射する光の強度を表すセンサセルサンプルを出力し、前記方法は：
前記１または複数の光源に、照射期間にわたって光を放射させる段階；
前記複数のセンサセルからセンサセルサンプルを順次にキャプチャすることを含む、前記照射期間中に前記角度感知検出器からセンサデータを受信する段階；
前記受信されたセンサセルサンプルを処理して、前記照射期間中に前記１または複数の光源の不均一な輝度を考慮する較正データを生成する段階；及び
ヘッドマウントディスプレイシステムの少なくとも１つのコンポーネントをトラッキングすることに後に使用するために、非一時的プロセッサ可読記憶媒体に前記較正データを記憶する段階
を備える方法。

【請求項41】

前記較正データは、前記照射期間中の前記１または複数の光源上の前記輝度の特徴的勾配を表す、請求項４０に記載の方法。

【請求項42】

前記受信されたセンサセルサンプルを処理することは：
前記キャプチャされたセンサセルサンプルを内挿すること；及び
前記キャプチャされたセンサセルサンプルの前記内挿に基づいて、前記較正データを決定すること
を含む、請求項４０または４１に記載の方法。

【請求項43】

ユーザによって着用可能な第１ヘッドマウントディスプレイシステムコンポーネント；
前記第１ヘッドマウントディスプレイシステムコンポーネントによって保持される複数の光学検出器；
複数の光源を含む第２ヘッドマウントディスプレイシステムコンポーネント；及び
前記複数の光源の１または複数に光を放射させること；
前記複数の光学検出器のうちの１または複数からセンサデータを受信すること；
前記受信されたセンサデータに少なくとも部分的に基づいて前記第２ヘッドマウントディスプレイシステムコンポーネントの位置をトラッキングすること；
決定された無効化基準に基づいて、前記光学検出器または前記光源のうちのいずれか１つを無効化するかどうかを判定することを含む、前記受信されたセンサデータを処理すること；及び
前記第２ヘッドマウントディスプレイシステムコンポーネントの前記位置の前記トラッキング中に、それぞれの無効化された期間にわたって、前記無効化基準を満たす前記光学検出器または前記光源の各々を無効化すること
のために作用する制御回路
を備えるヘッドマウントディスプレイシステム。

【請求項44】

前記無効化基準は、前記第１ヘッドマウントディスプレイシステムコンポーネント及び前記第２ヘッドマウントディスプレイシステムコンポーネントの間の決定された相対位置に少なくとも部分的に基づく、請求項４３に記載のヘッドマウントディスプレイシステム。

【請求項45】

それぞれの前記無効化された期間は、前記第１ヘッドマウントディスプレイシステムコンポーネント及び前記第２ヘッドマウントディスプレイシステムコンポーネントのうちの少なくとも１つの動きに少なくとも部分的に基づく、請求項４３に記載のヘッドマウントディスプレイシステム。

【請求項46】

前記第２ヘッドマウントディスプレイシステムコンポーネントの前記複数の光源の各々について、前記無効化基準は、前記光源によって放射された光が、前記第１ヘッドマウントディスプレイシステムコンポーネントの前記光学検出器のいずれかによって受信される可能性が低いという判定を提供する、請求項４３に記載のヘッドマウントディスプレイシステム。

【請求項47】

前記第１ヘッドマウントディスプレイシステムコンポーネントの前記複数の光学検出器の各々について、前記無効化基準は、前記第２ヘッドマウントディスプレイシステムコンポーネントの前記複数の光源のいずれかによって放射された光が、前記光学検出器によって受信される可能性が低いという判定を提供する、請求項４３に記載のヘッドマウントディスプレイシステム。

【請求項48】

前記無効化された光源または光学検出器の各々についてのそれぞれの前記無効化された期間は：
前記第１ヘッドマウントディスプレイシステムコンポーネント及び前記第２ヘッドマウントディスプレイシステムコンポーネントの間の相対的な位置；または
前記第１ヘッドマウントディスプレイシステムコンポーネント及び前記第２ヘッドマウントディスプレイシステムコンポーネントの間の相対的な動き
のうちの少なくとも１つに少なくとも部分的に基づいて決定される、請求項４３に記載のヘッドマウントディスプレイシステム。

【請求項49】

前記無効化された光源の各々についてのそれぞれの前記無効化された期間は、前記第２ヘッドマウントディスプレイシステムコンポーネント上の前記光源の位置に少なくとも部分的に基づいて決定される、請求項４３に記載のヘッドマウントディスプレイシステム。

【請求項50】

前記無効化された光学検出器の各々についてのそれぞれの前記無効化された前記期間は、前記第１ヘッドマウントディスプレイシステムコンポーネント上の前記光学検出器の位置に少なくとも部分的に基づいて決定される、請求項４３に記載のヘッドマウントディスプレイシステム。

【請求項51】

前記無効化基準は、前記複数の光源の第１サブセットにおける各光源によって放射された光が、前記第１ヘッドマウントディスプレイシステムコンポーネントの前記光学検出器の少なくとも１つによって受信される可能性が高いという判定を提供し、前記無効化基準は、それぞれの無効化された期間にわたって、前記光源の第１サブセットの内の光源の第２サブセットを無効化するように作用する、請求項４３に記載のヘッドマウントディスプレイシステム。

【請求項52】

無効化された前記光源の第２サブセットにおける前記光源は、無効化されていない、互いに比較的離れている、前記光源の第１サブセットにおける光源を提供するために選択され、前記光源によって放射される前記光を検出する前記光学検出器に関して比較的大きい離隔の角度を提供する、請求項５１に記載のヘッドマウントディスプレイシステム。

【請求項53】

前記無効化基準は、前記複数の光学検出器のうちの１または複数から以前に受信されたセンサデータに少なくとも部分的に基づく、請求項４３から５２のいずれか一項に記載のヘッドマウントディスプレイシステム。

【請求項54】

ヘッドマウントディスプレイシステムであって、
ユーザによって着用可能な第１ヘッドマウントディスプレイシステムコンポーネント；
前記第１ヘッドマウントディスプレイシステムコンポーネントによって保持される慣性測定ユニット；
前記第１ヘッドマウントディスプレイシステムコンポーネントによって保持される複数の角度感知光学検出器；
前記第１ヘッドマウントディスプレイシステムコンポーネントによって保持されるカメラ；及び
前記慣性測定ユニットから慣性センサデータを受信すること
前記複数の角度感知光学検出器のうちの１または複数から光学センサデータを受信すること；
イメージセンサデータを前記カメラから受信すること；
受信された前記慣性センサデータ、前記光学センサデータ、及び前記イメージセンサデータを処理すること；及び
受信された前記慣性センサデータ、前記光学センサデータ、及び前記イメージセンサデータの前記処理に少なくとも部分的に基づいて、前記ヘッドマウントディスプレイシステムの少なくとも１つのヘッドマウントディスプレイシステムコンポーネントの位置をトラッキングすること
のために作用する制御回路
を備えるヘッドマウントディスプレイシステム。

【請求項55】

１または複数の光源を含む第２ヘッドマウントディスプレイシステムコンポーネントを更に備え、ここで前記制御回路は動作中に、前記１または複数の光源に、前記複数の角度感知光学検出器のうちの１または複数によって検出される光を放射させる、 請求項５４に記載のヘッドマウントディスプレイシステム。

【請求項56】

前記第２ヘッドマウントディスプレイシステムコンポーネントは、ヘッドマウントディスプレイデバイス、コントローラまたは基地局を含む、請求項５５に記載のヘッドマウントディスプレイシステム。

【請求項57】

前記第１ヘッドマウントディスプレイシステムコンポーネントは、前記ユーザの頭部に着用可能なヘッドマウントディスプレイデバイスを含む、請求項５４に記載のヘッドマウントディスプレイシステム。

【請求項58】

前記複数の角度感知光学検出器の各々は、フォトダイオード検出器または位置感知検出器のうちの１つを含む、請求項５４に記載のヘッドマウントディスプレイシステム。

【請求項59】

前記複数の角度感知光学検出器の各々は、少なくとも４つのセルを有するフォトダイオード検出器を含む、請求項５４に記載のヘッドマウントディスプレイシステム。

【請求項60】

受信された前記慣性センサデータ、前記光学センサデータ、及び前記イメージセンサデータを処理するために、前記制御回路は、前記慣性センサデータ、前記光学センサデータ、及び前記イメージセンサデータを入力として、訓練された機械学習モデルに提供する、請求項５４から５９のいずれか一項に記載のヘッドマウントディスプレイシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は概して、ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイシステムに関連付けられたコントローラなどのオブジェクトについての位置トラッキングに関する。

【背景技術】

【0002】

仮想現実（ＶＲ）または拡張現実（ＡＲ）体験の１つの現在の世代は、スマートフォンに組み合わされる、及び／または、統合される据え付けのコンピュータ（パーソナルコンピュータ（ＰＣ）、ラップトップ、またはゲームコンソールなど）、及び／または、その関連付けられたディスプレイに結合され得る、または自己完結型であり得るヘッドマウントディスプレイ（ＨＭＤ）を使用して作成される。概して、ＨＭＤは、１つの眼（単眼ＨＭＤ）または各目（双眼ＨＭＤ）の前方に小型のディスプレイデバイスを有する、ユーザの頭部に装着されるディスプレイデバイスである。これらのディスプレイユニットは、典型的には小型化されており、例えば、ＣＲＴ技術、ＬＣＤ技術、シリコン上液晶（ＬＣｏｓ）技術またはＯＬＥＤ技術を含み得る。双眼ＨＭＤは、異なる画像をそれぞれの目に表示する可能性を有する。この機能は、立体画像を表示するために用いられる。

【0003】

スマートフォン、高精細度テレビ及び他の電子デバイスの発展に伴い、高性能のディスプレイの需要が高まっている。仮想現実システム及び拡張現実システム、特に、ＨＭＤを用いたものが普及してきていることで、そのような需要はさらに高まっている。仮想現実システムは、一般的に、装着者の目を完全に包み込み、装着者の前における実際のまたは物理的なビュー（または実際の現実）を、"仮想"現実で置換する一方で、拡張現実システムは、一般的に、装着者の目の前における１または複数の画面の半透明または透明なオーバーレイを提供して、実際のビューが追加の情報とともに拡張されるようにし、媒介現実システムは、現実世界の要素を仮想要素と組み合わせた情報を視認者に同様に提示してよい。多くの仮想現実及び拡張現実システムにおいて、ユーザの移動を反映するように画像が示されることを可能にし、インタラクティブな環境を可能にするために、そのようなヘッドマウントディスプレイの装着者の移動は、ヘッドマウントディスプレイにおけるセンサ、コントローラ、または外部センサを介するなど、様々な方式でトラッキングされ得る。

【0004】

位置トラッキングにより、ＨＭＤシステムは、互い及び周囲の環境に対する１または複数のコンポーネントの位置を推定することが可能となる。位置トラッキングは、ハードウェア及びソフトウェアの組み合わせを利用して、ＨＭＤシステムのコンポーネントの絶対的な位置の検出を達成し得る。位置トラッキングは、ＡＲまたはＶＲシステムにとって重要な技術であり、６自由度（６ＤＯＦ）でＨＭＤ（及び／またはコントローラまたは他の周辺機器）の動きをトラッキングすることを可能とする。

【0005】

位置トラッキング技術は、ジャンプまたはしゃがむ等の異なるアクションを反映するようにユーザの視点を変化させるために用いられてよく、仮想環境内におけるユーザの手や他のオブジェクトの正確な表現を可能としてよい。位置トラッキングは、また、例えば、手の位置を用いて仮想オブジェクトをタッチにより移動することによって、物理及び仮想環境との間の接続を増加してよい。位置トラッキングは、視差のためユーザの仮想環境の３次元認識を改善し、距離の認識を支援する。また、位置トラッキングは、目で見ているものと、ユーザの耳の前庭系により感じていることとの入力の不一致により引き起こされる乗り物酔いを最低減に抑えることを支援してよい。

【0006】

位置トラッキングの異なる複数の方法が存在する。このような方法は、音響トラッキング、慣性トラッキング、磁気トラッキング、光学トラッキング、それらの組み合わせ等を含んでよい。

【図面の簡単な説明】

【0007】

図面において、同一の参照番号は、同様の要素または動作を識別する。図面内の要素のサイズ及び相対位置は、必ずしも縮尺通りに描かれているわけではない。例えば、様々な要素の形状及び角度は、必ずしも縮尺通りに描かれておらず、これらの要素のうちのいくつかは、図面の読みやすさを向上させるために任意に拡大及び配置され得る。さらに、要素の描かれている特定の形状は、特定の要素の実際の形状に関する何らかの情報を伝えることが必ずしも意図されているわけではなく、図面内での認識を容易にするために選択されているに過ぎない可能性がある。

【0008】

【図1】トラッキングサブシステムの実施形態を含む、本開示において説明される少なくともいくつかの技法を実行するのに適した１または複数のシステムを含むネットワーク接続環境の概略図である。

【0009】

【図2】説明される技法のうちの少なくともいくつかが、ビデオレンダリングコンピューティングシステムに繋げられるとともにユーザに仮想現実ディスプレイを提供する一例のヘッドマウントディスプレイデバイスとともに使用される、一例の環境を示す図である。

【0010】

【図3】双眼ディスプレイサブシステム及び複数の角度感知検出器を有するＨＭＤデバイスの絵図である。

【0011】

【図4】ＨＭＤデバイスと共に使用され得るコントローラの絵図である。

【0012】

【図5】本開示の一例の実施形態によるＨＭＤデバイスの概略的ブロック図である。

【0013】

【図6】１つの非限定的な例示の実装に係る、ＨＭＤデバイスのトラッキングサブシステムを実装するために機械学習技法が使用され得る環境の概略図である。

【0014】

【図7】本開示の一例の実施形態による、使用中にＨＭＤシステムのコンポーネントの位置、向き、及び／または移動をトラッキングするためにＨＭＤシステムの位置トラッキングシステムを操作する方法のフロー図である。

【0015】

【図8】本開示の実装の１または複数において使用され得る例示的な角度感知検出器の透視図を示す。

【0016】

【図9】角度感知フォトダイオード構造の第１直線偏光子、空間変動偏光子、及び第２直線偏光子、ならびに、それらを通過してフォトダイオードに到達する光または光点の偏光を示す。

【0017】

【図10】角度感知フォトダイオード構造の第１直線偏光子、空間変動偏光子、及び第２直線偏光子、ならびに、それらを通過してフォトダイオードに到達する光または光点の偏光を示す。

【0018】

【図11A】本開示の実装の１または複数において使用され得る例示的な角度感知検出器の上面図である。

【0019】

【図11B】図１１Ａに示される角度感知検出器の透視図である。

【0020】

【図12】１つの非限定的に示される実装による、光源及び角度感知検出器を使用してＨＭＤシステムのコンポーネントの位置を判定することを示す簡略化された図である。

【0021】

【図13】１つの非限定的に示される実装による、光源及び角度感知検出器の例示的な光学システムを示す図である。

【0022】

【図14】１つの非限定的に示される実装による、トラッキングシステムの一例の散乱光検出モジュール及び光源の動作を示す図である。

【0023】

【図15】１つの非限定的に示される実装による、トラッキングシステムの光源及び散乱光検出モジュールのコンポーネントを示す図である。

【0024】

【図16】散乱または反射された光を検出するように作用し、ＨＭＤデバイスまたはそのコンポーネントの位置トラッキング中にそのような散乱光を無視するために使用され得る、双眼ディスプレイサブシステム、複数の角度感知検出器、及び複数の散乱光検出モジュールを有するＨＭＤデバイスの絵図である。

【0025】

【図17】１つの非限定的に示される実装による、トラッキングシステムの光源及び散乱光検出モジュールのコンポーネントの透視図である。

【0026】

【図18】本開示の一例の実施形態による、使用中にＨＭＤシステムのコンポーネントの位置、向き、及び／または移動をトラッキングするためにＨＭＤシステムの位置トラッキングシステムを操作する方法のフロー図である。

【0027】

【図19】本開示の一例の実施形態による、ＨＭＤシステムの位置トラッキングシステムの複数の光源または光学検出器の輝度を適合的に調整する方法についてのフロー図である。

【0028】

【図20】本開示の一例の実施形態による、１または複数のパラメータの変化に基づいて、ＨＭＤシステムの位置トラッキングシステムの複数の光源または光学検出器の輝度を適合的に調整する方法のためのフロー図である。

【0029】

【図21】本開示の一例の実施形態による、ＨＭＤシステムの位置トラッキングシステムの光源の不均一な輝度を補償する方法についてのフロー図である。

【0030】

【図22】本開示の一例の実施形態による、ＨＭＤシステムのトラッキングサブシステムのコンポーネント（例えば、光源、光学検出器）を適合的に有効化及び無効化する方法についてのフロー図である。

【0031】

【図23】本開示の一例の実施形態による、慣性センサデータ、光学センサデータ、及び画像データを融合することによって、ＨＭＤシステムのコンポーネントの位置、向き及び／または動きをトラッキングするようにＨＭＤシステムの位置トラッキングシステムを動作させる方法のためのフロー図である。

【発明を実施するための形態】

【0032】

以下の説明では、様々な開示される実装についての完全な理解を提供すべく、特定の具体的な詳細を記載する。しかしながら、当業者であれば、これらの具体的な詳細のうちの１または複数なしで、または他の方法、コンポーネント、材料等を用いて実装が実施され得ることを認識するであろう。他の事例では、実装の説明を不必要に不明瞭にすることを回避するために、コンピュータシステム、サーバコンピュータ及び／または通信ネットワークに関連する周知の構造については、詳細に図示または説明していない。

【0033】

文脈上別段の解釈が必要でない限り、本明細書及びそれに続く特許請求の範囲の全体にわたって、「備える」という語は、「含む」と同義であり、包含的またはオープンエンドである（すなわち、追加の記載されていない要素または方法の動作を排除しない）。

【0034】

本明細書の全体にわたって、「一実装」または「実装」への言及は、当該実装に関連して説明する特定の特徴、構造または特性が少なくとも１つの実装に含まれることを意味する。故に、本明細書の全体にわたって様々な箇所に「一実装において」または「実装において」という語句が現れた場合、必ずしも全てが同じ実装に言及しているわけではない。さらに、特定の特徴、構造または特性は、１または複数の実装において任意の適切な方式で組み合わされ得る。

【0035】

本明細書及び添付の特許請求の範囲において用いられる場合、文脈上別段の明確な記載がない限り、単数形は、「ａ」、「ａｎ」及び「ｔｈｅ」を形成し、複数形は、複数の指示対象を含む。文脈上別段の明確な記載がない限り、「または」という用語は概して、「及び／または」を含む意味で使用されていることにも留意されたい。

【0036】

本明細書において提供される開示の見出し及び要約書は、便宜のためのみのものであり、実装の範囲または意味を解釈するものではない。

【0037】

本開示の１または複数の実装は、ヘッドマウントディスプレイ（ＨＭＤ）システムのコンポーネント（例えば、ＨＭＤ、コントローラ、周辺機器）の位置を正確にトラッキングするためのシステム及び方法に関する。少なくともいくつかの実装において、ＨＭＤは、前方を向くカメラ（「前方カメラ」または「フロントカメラ」）及び複数の角度感知検出器または光源を保持する支持構造を含む。同様に、１または複数のコントローラは、複数の角度感知検出器または光検出器を含み得る。他の実装において、ＨＭＤは前方カメラを含まない。前方カメラは、第１フレームレート（例えば、３０Ｈｚ、９０Ｈｚ）で、前方カメラの視野におけるイメージセンサデータをキャプチャし得る。少なくともいくつかの実装において、ＨＭＤシステムは角度感知検出器を含まないことがあり得、または、他のタイプの光学検出器（例えばフォトダイオード）を含み得る。したがって、本明細書に説明されるシステム及び方法は適宜、非角度感知検出器または角度感知検出器を利用し得る。

【0038】

下で更に説明されるように、動作中に、１または複数の固定または移動可能の光源（例えば、ＩＲ ＬＥＤ）に光を放射させ得る。光源は、ＨＭＤ、コントローラ、環境中に配置される固定オブジェクト（例えば基地局）などに結合され得る。複数の角度感知検出器の各々は、前方カメラ（存在する場合）の第１フレームレートより大きいことがあり得る第２フレームレート（例えば、１０００Ｈｚ、２０００Ｈｚ）で、複数の角度感知検出器それぞれの視野におけるセンサデータをキャプチャする。少なくともいくつかの実装において、角度感知検出器の視野は、前方カメラの視野より狭いことがあり得るが、これは必須ではない。例えば、前方カメラは、９０°、１２０°、または１５０°の比較的広い前方カメラの視野を有し得、角度感知検出器の各々は、比較的狭いセンサＩＣの視野（例えば、２５°、４５°、７５°）を有し得る。少なくともいくつかの実装において、角度感知検出器視野は、角度感知検出器視野の各々が前方カメラ視野の異なる部分と重なることにより、前方カメラ視野の少なくとも大部分、または前方カメラ視野よりもはるかに大きい部分を、集合的にカバーしてよい。

【0039】

動作中、複数の角度感知検出器に動作可能に結合された少なくとも１つのプロセッサは、複数の光源（例えば、ＬＥＤ、レーザ、他の光源）からの光をキャプチャするセンサデータを受信し得る。少なくとも１つのプロセッサは、受信されたイメージセンサデータを処理して、受信されたイメージセンサデータの処理に少なくとも部分的に基づいて、ヘッドマウントディスプレイのコンポーネントの位置をトラッキングし得る。例えば、少なくとも１つのプロセッサは、角度感知検出器からのセンサデータを融合して、環境に存在する１または複数の特徴をトラッキングし得る。少なくとも１つのプロセッサは、機械学習技法、ソルバ、または別の方法を利用してセンサデータを処理し、ＨＭＤシステムの１または複数のコンポーネントの位置（例えば、場所、向き、移動）を判定し得る。少なくともいくつかの実装において、センサデータは、ＨＭＤシステムコンポーネントの前方カメラまたは慣性測定ユニット（ＩＭＵ）からのセンサデータなど、他のセンサからのセンサデータと融合され得る。少なくともいくつかの実装において、１または複数の散乱光検出モジュール、または「散乱光検出器」は、光が１または複数の角度感知検出器に到達する前にいつ散乱または反射されたかを検出するために使用され得、そのような光は、光が放射された光源の場所を角度が正確に示さないので、トラッキングシステムによって無視され得る。この技法を使用すると、位置トラッキングの正確度が大きく改善され得る。本開示の実装の様々な特徴は、図を参照して以下で詳細に述べられる。

【0040】

図１は、ローカルメディアレンダリング（ＬＭＲ）システム１１０（例えば、ゲーミングシステム）を備えるネットワーク接続環境１００の概略図であり、ＬＭＲシステム１１０は、本明細書において説明される少なくともいくつかの技法を実行するのに適したローカルコンピューティングシステム１２０、ディスプレイデバイス１８０（例えば、２つ（各目に１つ）のディスプレイパネルを有するＨＭＤデバイス）、及び、１または複数のコントローラ１８２を備える。図１の図示された実施形態では、ローカルコンピューティングシステム１２０は、送信リンク１１５（図２において示されるような１または複数のケーブル（ケーブル２２０）を介して等で有線接続されるかまたは繋げられてもよいし、その代わりにワイヤレスであってもよい）を介してディスプレイデバイス１８０に通信可能に接続されている。コントローラ１８２は、好適な有線または無線リンク１８６及び１８４を介して、それぞれローカルコンピューティングシステム１２０またはディスプレイデバイス１８０に結合され得る。他の実施形態では、ローカルコンピューティングシステム１２０は、ＨＭＤデバイス１８０に加えてであるかまたはその代わりにであるかを問わず、有線または無線リンクを介してパネルディスプレイデバイス（例えば、ＴＶ、コンソールまたはモニタ）に、表示のための符号化画像データを提供してよく、ディスプレイデバイスは各々、１または複数のアドレス指定可能ピクセルアレイを備える。様々な実施形態において、ローカルコンピューティングシステム１２０は、汎用コンピューティングシステム、ゲーミングコンソール、ビデオストリーム処理デバイス、モバイルコンピューティングデバイス（例えば、携帯電話、ＰＤＡ（登録商標）、または他のモバイルデバイス）、ＶＲもしくはＡＲ処理デバイス、または他のコンピューティングシステムを含んでよい。

【0041】

図示された実施形態では、ローカルコンピューティングシステム１２０は、１または複数のハードウェアプロセッサ（例えば、中央処理ユニット、または「ＣＰＵ」）１２５と、メモリ１３０と、様々なＩ／Ｏ（「入力／出力」）ハードウェアコンポーネント１２７（例えば、キーボード、マウス、１または複数のゲーミングコントローラ、スピーカ、マイクロフォン、ＩＲ送信機及び／または受信機等）と、１または複数の専用ハードウェアプロセッサ（例えば、グラフィックス処理ユニット、または「ＧＰＵ」）１４４及びビデオメモリ（ＶＲＡＭ）１４８を含むビデオサブシステム１４０と、コンピュータ可読ストレージ１５０と、ネットワーク接続１６０とを含むコンポーネントを有する。また、図示された実施形態では、トラッキングサブシステム１３５の一実施形態は、説明される技法のうちの少なくともいくつかを実装する自動化動作を実行するためにＣＰＵ１２５及び／またはＧＰＵ１４４を使用することによって等で、それらの説明される技法を実行するためにメモリ１３０において実行され、メモリ１３０は、任意選択で、（例えば、ゲームプログラム等の、表示されるビデオまたは他の画像を生成するための）１または複数の他のプログラム１３３を更に実行してよい。本明細書において説明される少なくともいくつかの技法を実装する自動化動作の一部として、メモリ１３０において実行されるトラッキングサブシステム１３５及び／またはプログラム１３３は、例示のデータベースでは、ストレージ１５０のデータ構造を含む様々なタイプのデータを記憶または検索してよく、この例では、使用されるデータは、データベース（「ＤＢ」）１５４内の様々なタイプの画像データ情報、ＤＢ１５２内の様々なタイプのアプリケーションデータ、ＤＢ１５７内の様々なタイプの構成データを含んでよく、システムデータまたは他の情報等の追加の情報を含んでよい。

【0042】

ＬＭＲシステム１１０は、図示された実施形態では、画像生成プログラム１３３に加えてであるかまたはその代わりにであるかを問わず、表示のためにＬＭＲシステム１１０にコンテンツを更に提供し得る例示的なネットワークアクセス可能メディアコンテンツプロバイダ１９０にも、１または複数のコンピュータネットワーク１０１及びネットワークリンク１０２を介して通信可能に接続されている。簡潔性のために、ネットワークアクセス可能メディアコンテンツプロバイダについてのいくつかの詳細は示されていないが、メディアコンテンツプロバイダ１９０は、１または複数のハードウェアプロセッサ、Ｉ／Ｏコンポーネント、ローカルストレージデバイス及びメモリを含む、ローカルコンピューティングシステム１２０のコンポーネントと同様のコンポーネントを各々有し得る１または複数のコンピューティングシステム（図示せず）を含んでよい。

【0043】

図１の図示された実施形態ではディスプレイデバイス１８０はローカルコンピューティングシステム１２０とは区別され、別個であるものとして示されているが、特定の実施形態では、ローカルメディアレンダリングシステム１１０のいくつかまたは全てのコンポーネントは、モバイルゲーミングデバイス、ポータブルＶＲエンターテイメントシステム、ＨＭＤデバイス等のような単一のデバイス内に統合または収容されてよいことが理解されよう。そのような実施形態では、送信リンク１１５は、例えば、１または複数のシステムバス及び／またはビデオバスアーキテクチャを含んでよい。

【0044】

ローカルメディアレンダリングシステム１２０によってローカルに実行される動作を伴う１つの例として、ローカルコンピューティングシステムはゲーミングコンピューティングシステムであり、それにより、アプリケーションデータ１５２がメモリ１３０を使用してＣＰＵ１２５を介して実行される１または複数のゲーミングアプリケーションを含むこと、及び、様々なビデオフレームディスプレイデータは、ビデオサブシステム１４０のＧＰＵ１４４と組み合わせて等で、画像生成プログラム１３３によって生成及び／または処理されることを仮定する。高品質のゲーミング体験を提供するために、（ビデオフレームごとの高い画像解像度、及びおよそ６０～１８０のそのようなビデオフレーム毎秒の高い「フレームレート」に対応する）高ボリュームのビデオフレームデータが、ローカルコンピューティングシステム１２０によって生成され、有線またはワイヤレス送信リンク１１５を介してディスプレイデバイス１８０に提供される。

【0045】

コンピューティングシステム１２０及びディスプレイデバイス１８０は、単に例示であり、本開示の範囲を限定するように意図されていないことも理解されよう。その代わりに、コンピューティングシステム１２０は、複数のインタラクトするコンピューティングシステムまたはデバイスを含んでもよく、インターネット等の１または複数のネットワークを通したもの、ウェブを介したもの、またはプライベートネットワーク（例えば、モバイル通信ネットワーク等）を介したものを含む、示されていない他のデバイスに接続されてよい。より一般的には、コンピューティングシステムまたは他のコンピューティングノードは、インタラクトし、説明されるタイプの機能を実行し得るハードウェアまたはソフトウェアの任意の組み合わせを含んでよく、これは、限定するものではないが、デスクトップまたは他のコンピュータ、ゲームシステム、データベースサーバ、ネットワークストレージデバイス及び他のネットワークデバイス、ＰＤＡ、携帯電話、ワイヤレス電話、ページャ、電子手帳、インターネット機器、（例えば、セットトップボックス及び／またはパーソナル／デジタルビデオレコーダを使用する）テレビベースシステム、並びに適切な通信能力を含む様々な他の民生品を含む。ディスプレイデバイス１８０は、同様に、様々なタイプ及び形態の１または複数のディスプレイパネルを有する１または複数のデバイスを含んでよく、任意選択で、様々な他のハードウェア及び／またはソフトウェアコンポーネントを含んでよい。

【0046】

加えて、トラッキングサブシステム１３５によって提供される機能は、いくつかの実施形態では１または複数のコンポーネント（例えば、ローカル及びリモート演算処理システム、ＨＭＤ、コントローラ、基地局）に分散されてよく、いくつかの実施形態では、トラッキングサブシステム１３５の機能のうちのいくつかは提供されなくてもよく、及び／または他の追加の機能が利用可能であってよい。様々なアイテムが、使用されている間メモリ内またはストレージ上に記憶されているものとして示されているが、メモリ管理またはデータインテグリティのために、これらのアイテムまたはそれらの一部はメモリと他のストレージデバイスとの間で転送されてよいことも理解されよう。それゆえ、いくつかの実施形態では、説明される技法のうちのいくつかまたは全ては、（例えば、１または複数のソフトウェアプログラムのソフトウェア命令の実行によって、及び／またはそのようなソフトウェア命令及び／またはデータ構造の記憶によって）１または複数のソフトウェアプログラムによって（例えば、トラッキングサブシステム１３５またはそのコンポーネントによって）及び／またはデータ構造によって構成される場合等で、１または複数のプロセッサまたは他の構成されたハードウェア回路またはメモリまたはストレージを含むハードウェアによって実行されてよい。コンポーネント、システム及びデータ構造のうちのいくつかまたは全ては、ハードディスクもしくはフラッシュドライブもしくは他の不揮発性ストレージデバイス、揮発性もしくは不揮発性メモリ（例えば、ＲＡＭ）、ネットワークストレージデバイス、または適切なドライブ（例えば、ＤＶＤディスク、ＣＤディスク、光学ディスク等）によってまたは適切な接続を介して読み取られるポータブル媒体製品等の非一時的コンピュータ可読記憶媒体上に（例えば、ソフトウェア命令または構造化データとして）記憶されてもよい。システム、コンポーネント及びデータ構造は、いくつかの実施形態では、無線ベース媒体及び有線／ケーブルベースの媒体を含む様々なコンピュータ可読送信媒体上の生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）送信されてもよく、様々な形態を（例えば、単一のまたは多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）取ってよい。そのようなコンピュータプログラム製品は、他の実施形態では他の形態を取ってもよい。したがって、本発明は、他のコンピュータシステム構成とともに実践されてよい。

【0047】

図２は、説明される技法のうちの少なくともいくつかが、人間のユーザ２０６に仮想現実ディスプレイを提供するために、繋げられた接続２２０（または他の実施形態では無線接続）を介してビデオレンダリングコンピューティングシステム２０４に結合される例示のＨＭＤデバイス２０２とともに使用される一例の環境２００を示している。ユーザは、ＨＭＤデバイス２０２を装着し、コンピューティングシステム２０４からＨＭＤデバイスを介して、実際の物理的環境とは異なる模擬環境の表示情報を受信し、コンピューティングシステムは、ゲームプログラム及び／またはコンピューティングシステム上で実行される他のソフトウェアプログラムによって生成される画像等の、模擬環境の画像を、ユーザへの表示のためにＨＭＤデバイスに供給する画像レンダリングシステムとして機能する。ユーザは、この例では実際の物理的環境２００のトラッキング対象体積２０１内で動き回ることが更に可能であり、ユーザが模擬環境と更にインタラクトすることを可能にする１または複数のＩ／Ｏ（「入力／出力」）デバイスを更に有してよく、これは、この例ではハンドヘルドコントローラ２０８及び２１０を含む。

【0048】

図示された例では、環境２００は、ＨＭＤデバイス２０２またはコントローラ２０８及び２１０のトラッキングを容易にし得る１または複数の基地局２１４（２つが示されており、ラベル付けされた基地局２１４ａ及び２１４ｂ）を含んでよい。ユーザが場所を移動するかまたはＨＭＤデバイス２０２の向きを変更するにつれて、ＨＭＤデバイスの位置がトラッキングされ、例えば、模擬環境の対応する部分をＨＭＤデバイス上でユーザに表示することが可能になり、コントローラ２０８及び２１０は、コントローラの位置をトラッキングする際に使用するために（及び、任意選択で、ＨＭＤデバイスの位置を決定または検証するのを支援するためにその情報を使用するために）同様の技法を更に利用してよい。ＨＭＤデバイス２０２のトラッキング位置が知られた後、対応する情報がテザー２２０を介してまたは無線でコンピューティングシステム２０４に送信され、これは、トラッキング位置情報を使用して、ユーザに表示するための模擬環境の１または複数の次の画像を生成する。

【0049】

本明細書に記載される光学トラッキングは、限定するものではないが、とりわけ音響トラッキング、慣性トラッキング、または磁気トラッキングを含む、位置トラッキングの様々な方法と組み合わせて使用され得る。

【0050】

少なくともいくつかの実装において、ＨＭＤデバイス２０２及びコントローラ２０８及び２１０の少なくとも１つは、本開示のトラッキング機能または他の態様を実装するために使用され得る１または複数の受光器またはセンサを含み得る。少なくともいくつかの実装において、ＨＭＤデバイス２０２、コントローラ２０８及び２１０、または他のコンポーネントの少なくとも１つは、受光器の１または複数によって検出された光を放射し得る１または複数の光源（例えばＬＥＤ）を含み得る。光源は、固定位置にあり得るか、または、ＨＭＤデバイスまたはコントローラなど、可動のコンポーネント上にあり得る。

【0051】

少なくともいくつかの実装において、固定点光源の生成に加えて、または、それに代えて、基地局２１４は各々、トラッキング対象体積２０１にわたって光学信号で走査し得る。各特定の実装の要件に応じて、各基地局２１４は、１つよりも多い光学信号を生成してよい。 例えば、６自由度のトラッキングのために単一の基地局２１４で典型的には十分であるが、いくつかの実施形態ではＨＭＤデバイス及び周辺機器についてのロバストな室内規模のトラッキングを提供するために複数の基地局（例えば、基地局２１４ａ、２１４ｂ）が必要であるかまたは所望される場合がある。この例では、角度感知検出器または散乱光検出器などの受光器は、ＨＭＤデバイス２０２及び／または他のトラッキング対象オブジェクト、例えばコントローラ２０８及び２１０に組み込まれる。少なくともいくつかの実装では、受光器は、低レイテンシセンサ融合をサポートするために、各トラッキング対象デバイス上で加速度計及びジャイロスコープ慣性測定ユニット（「ＩＭＵ」）と対にされてよい。

【0052】

少なくともいくつかの実装では、各基地局２１４は、互いに直交する軸上でトラッキング対象ボリューム２０１にわたって直線ビームを走査する２つのロータを備える。各走査サイクルの開始時、基地局２１４は、トラッキング対象オブジェクトに対して、全てのセンサにとって可視である無指向性光パルス（「同期信号」と称される）を放射してよい。それゆえ、各センサは、同期信号とビーム信号との間の継続時間を計時することによって走査体積における一意の角度位置を計算する。センサの距離及び向きは、単一の剛体に固定された複数のセンサを使用して求められてよい。

【0053】

トラッキングされたオブジェクト（例えば、ＨＭＤデバイス２０２、コントローラ２０８及び２１０）上に位置決めされた１または複数のセンサは、ロータから被変調光を検出することが可能である光電子デバイスを含んでよい。可視光または近赤外（ＮＩＲ）光の場合、シリコンフォトダイオード及び適した増幅器／検出器回路が使用されてよい。環境２００は基地局２１４信号の信号と同様の波長を有する静止信号及び時変信号（光雑音）を含み得るので、少なくともいくつかの実装では、基地局光は、いずれの干渉信号からも区別すること、及び／または基地局信号の波長以外の放射のいずれの波長からもセンサをフィルタリングすることを容易にするように変調されてよい。下で更に説明されるように、角度感知検出器の少なくともいくつかの実装が、ＨＭＤシステムの１または複数のコンポーネントをトラッキングするために使用され、１または複数の散乱光検出器が、光学検出器によって検出される前に散乱または反射され得る光を無視するために使用され得る。

【0054】

インサイドアウトトラッキング（ｉｎｓｉｄｅ－ｏｕｔ ｔｒａｃｋｉｎｇ）も、ＨＭＤデバイス２０２及び／または他のオブジェクト（例えば、コントローラ２０８及び２１０、タブレットコンピュータ、スマートフォン）の位置をトラッキングするのに使用され得る一タイプの位置トラッキングである。インサイドアウトトラッキングは、ＨＭＤコンポーネントの場所を決定するのに使用されるカメラまたは他のセンサの位置によってアウトサイドイントラッキング（ｏｕｔｓｉｄｅ－ｉｎ ｔｒａｃｋｉｎｇ）とは異なる。インサイドアウトトラッキングの場合、カメラまたはセンサはＨＭＤコンポーネント、またはトラッキングされるオブジェクト上に位置し、その一方、アウトサイドアウトトラッキング（ｏｕｔｓｉｄｅ－ｏｕｔ ｔｒａｃｋｉｎｇ）において、カメラまたはセンサは環境内の静止位置に置かれる。

【0055】

インサイドアウトトラッキングを利用するＨＭＤは、その位置が環境に対してどのように変化するのかを決定するように「外を見る（ｌｏｏｋ ｏｕｔ）」ために１または複数のセンサを利用する。ＨＭＤが動くとき、センサは、部屋内の自身の場所を再調整し、仮想環境は、これに応じてリアルタイムにおいて応答する。このタイプの位置トラッキングは、環境内に配置されたマーカを用いてまたはこれらを用いずに達成することができる。ＨＭＤ上に配置されるカメラは、周囲環境の特徴を観察する。マーカを使用する場合、マーカは、トラッキングシステムによって容易に検出されるように設計され、特定のエリア内に配置される。「マーカなし」インサイドアウトトラッキングを用いる場合、ＨＭＤシステムは、環境内に元々存在する際立った特徴（例えば、自然の特徴）を使用して、位置及び向きを決定する。ＨＭＤシステムのアルゴリズムは、特定の画像または形状を識別し、それらを使用して、空間におけるデバイスの位置を計算する。加速度計及びジャイロスコープからのデータは、位置トラッキングの精度を上げるためにも用いられ得る。

【0056】

図３は、ユーザ３４２の頭部上に装着されたときの例示のＨＭＤデバイス３４４の前面図を示す情報３００を示している。ＨＭＤデバイス３４４は、前面または前方カメラ３４６をサポートする前面構造３４３及び１または複数の種類の複数の角度感知検出器３４８ａ～３４８ｆ（集合的に３４８）、または他のタイプの光学検出器を含む。１つの例として、１または複数の外部デバイス（図示せず、例えば、図２の基地局２１４、コントローラ）から放射された光情報を検出及び使用する光センサ等の、角度感知検出器３４８のうちのいくつかまたは全ては、空間におけるデバイス３４４の場所及び向きを決定するのを支援してよい。角度感知検出器３４８は、光源から放射された光の到着角度を検出するように作用する任意のタイプの検出器であり得る。角度感知検出器の非限定的な例は、フォトダイオード検出器（例えば、バイセル検出器、クアドランドセル検出器）、抵抗性シートを使用する位置感知検出器などを含む。

【0057】

示されているように、前方カメラ３４６及び角度感知検出器３４８は、ユーザ３４２がＨＭＤデバイス３４４を操作する実際のシーンまたは環境（図示せず）に向けて前方に向けられる。より一般には、角度感知検出器３４８は、他のエリア（例えば、上、下、左、右、後ろ）に向けられ、（例えばユーザ３４２によって保持される）コントローラ、または、様々な場所（例えば、壁、天井）に搭載されたオブジェクトなど様々なソースからの光を検出し得る。実際の物理的環境は、例えば、１または複数のオブジェクト（例えば、壁、天井、家具、階段、車、木、トラッキングマーカ、光源、または任意の他のタイプのオブジェクト）を含んでよい。センサ３４８の特定の数は、図示されているセンサの数よりも少ない（例えば、２、４）または多い（例えば、１０、２０、３０、４０）ものであってよい。ＨＭＤデバイス３４４は、（例えば、加速度計及びジャイロスコープ、並びに任意選択で磁力計の組み合わせを使用して）ＨＭＤデバイス３４４の特定の力、角速度、及び／またはＨＭＤデバイスを囲む磁界を測定及び報告するＩＭＵ（慣性測定ユニット）３４７電子デバイス等の、前面構造に取り付けられていない（例えば、ＨＭＤデバイスの内部にある）１または複数の追加コンポーネントを更に備えてよい。ＨＭＤデバイス３４４は、１または複数のディスプレイパネル及び光学レンズ系を含む、示されていない追加コンポーネントを更に備えてよく、１または複数のディスプレイパネル及び光学レンズ系は、ユーザの目（図示せず）に向けられ、任意選択でＨＭＤデバイス内の光学レンズ系及び／またはディスプレイパネルのうちの１または複数の位置合わせまたは他の位置決めを変更するための１または複数の取り付けられた内部モータを有する。

【0058】

ＨＭＤデバイス３４４の図示された例は、ＨＭＤデバイス３４４のハウジングに取り付けられ、ユーザの頭部の周囲に全体的または部分的に延びる１または複数のストラップ３４５に少なくとも部分的に基づいて、ユーザ３４２の頭部上で支持される。ここでは示されていないが、ＨＭＤデバイス３４４は、ストラップ３４５のうちの１または複数に取り付けられるもの等の１または複数の外部モータを更に有してよく、自動化補正動作は、ユーザの頭部上でのＨＭＤデバイスの位置合わせまたは他の位置決めを修正するためにそのようなストラップを調整するのにそのようなモータを使用することを含んでよい。ＨＭＤデバイスは、図示されたストラップに加えてであるかまたはこれらの代わりにであるかを問わず、ここでは示されていない他の支持構造（例えば、ノーズピース、あご紐等）を備えてよいこと、及び、いくつかの実施形態は、ユーザの頭部上でのＨＭＤデバイスの位置合わせまたは他の位置決めを修正するために自身の形状及び／または場所を同様に調整するように、１または複数のそのような他の支持構造に取り付けられたモータを備えてよいことが理解されよう。ユーザの頭部に固定されていない他のディスプレイデバイスは、ディスプレイデバイスの位置決めに影響を与える１または複数の構造に同様に取り付けられるかまたはその一部であってよく、少なくともいくつかの実施形態では、ディスプレイデバイスの１人または複数人のユーザの１または複数の瞳孔に対するディスプレイデバイスの位置合わせまたは他の位置決めを修正するために自身の形状及び／または場所を同様に修正するモータまたは他の機械的アクチュエータを備えてよい。

【0059】

図４は、ハンドコントローラ４００の一例をより詳細に示す。実際には、ＨＭＤシステムは、上で説明されたコントローラ１８２、２０８及び２１０と同様または同一であり得る、図４のハンドコントローラ４００と同様または同一の２つのハンドコントローラを含み得る。示されるように、コントローラ４００は、角度感知検出器４０２が位置決めされる様々な表面を有する。角度感知検出器４０２は、様々な異なる方向からの光学信号を受信するように配置される。コントローラ４００は、ボタン、センサ、光コントロール、ノブ、インジケータ、ディスプレイなどを有し得、様々な方式のユーザによるインタラクションを可能にする。更に、上で説明されたように、少なくともいくつかの実装において、コントローラ４００及びＨＭＤデバイス３４４の一方は、複数の光源を含み得、コントローラ及びＨＭＤデバイスの他方は、複数の角度感知検出器、または、他のタイプの検出器またはセンサを含み得る。本明細書において記載される技法は、様々なタイプの位置トラッキングに使用され得、ＨＭＤ、コントローラなどに限定されない。

【0060】

図５は、本開示の１または複数の実装によるＨＭＤデバイス５００の概略ブロック図を示す。ＨＭＤデバイス５００は、本明細書の別の箇所で説明されたＨＭＤデバイスと同様または同一であり得る。故に、ＨＭＤデバイスに関する上の説明はＨＭＤデバイス５００にも適用し得る。更に、ＨＭＤデバイス５００のコンポーネントの少なくともいくつかは、コントローラ、基地局などのＨＭＤシステムの他のコンポーネントに存在し得る。故に、下の説明の少なくともいくつかは、そのような他のコンポーネントに適用可能であり得る。

【0061】

ＨＭＤデバイス５００は、プロセッサ５０２、前面または前方カメラ５０４、複数の角度感知検出器５０６（例えば、クアッドセルフォトダイオード、位置感知検出器）を含み、任意選択で、ＩＭＵ５０７または複数の光源５０９を含む。いくつかの実装において、ＨＭＤデバイス５００は、角度感知検出器または光源の一方を含み得、他のコンポーネント（例えば、コントローラ、基地局）は、角度感知検出器または光源の他方を含み得る。下で説明されたように、少なくともいくつかの実装において、ＨＭＤデバイス５００は、１または複数の散乱光検出モジュールまたは散乱光検出器を含み得る。これは、角度感知検出器のうち１または複数によって受信された光が散乱または反射されたかどうかを検出するために使用され得、したがって、無視されるべきである。ＨＭＤデバイス５００は、ディスプレイサブシステム５０８（例えば、２つのディスプレイ及び対応する光学システム）を含み得る。ＨＭＤデバイス５００はまた、位置トラッキング５１２のための命令またはデータ、ディスプレイ機能５１４（例えばゲーム）のための命令またはデータ、及び／または、他のプログラム５１６を記憶し得る非一時的データストレージ５１０を含み得る。ＨＭＤシステム５００は、図１に示され上で説明されるローカルコンピューティングシステム１２０またはメディアコンテンツプロバイダ１９０の機能のいくつかを含み得、または、可能にし得る。

【0062】

ＨＭＤデバイス５００はまた、１または複数のユーザインタフェース（例えば、ボタン、タッチパッド、スピーカ、１または複数の有線または無線通信インタフェースなど）を含み得る様々なＩ／Ｏコンポーネント５１８を含み得る。一例として、Ｉ／Ｏコンポーネント５１８は、ＨＭＤデバイス５００が有線または無線通信リンク５２２を介して外部デバイス５２０と通信することを可能にする通信インタフェースを含み得る。非限定的な例として、外部デバイス５２０は、ホストコンピュータ、サーバ、モバイルデバイス（例えば、スマートフォン、ウェアラブルコンピュータ）、コントローラなどを含み得る。ＨＭＤデバイス５００の様々なコンポーネントは、単一のハウジングに収容され得、別個のハウジング（例えばホストコンピュータ）に収容され得、または、その任意の組み合わせであり得る。

【0063】

示されたコンピューティングシステム及びデバイスは単に例示的なものであり、本開示の範囲を制限することを意図されていないことが理解されるであろう。例えば、ＨＭＤ５００及び／または外部デバイス５２０は、インターネットのような１または複数のネットワークを通して、またはウェブを介してなど、図示されていない他のデバイスに接続されてよい。より一般的には、このようなコンピューティングシステムまたはデバイスは、デスクトップコンピュータ、ラップトップコンピュータ、スレートコンピュータ、タブレットコンピュータ、または、他のコンピュータ、スマートフォンコンピューティングデバイス、及び、他の携帯電話、インターネット機器、ＰＤＡ、及び、他の電子手帳、データベースサーバ、ネットワークストレージデバイス、及び、他のネットワークデバイス、ワイヤレス電話、ページャ、テレビベースシステム（例えば、セットトップボックス、及び／または、パーソナル／デジタルビデオレコーダ、及び／または、ゲームコンソール、及び／または、メディアサーバの使用）、及び、適切な相互通信機能を含む他の様々なコンシューマ製品を含むがこれらに限定されない適切なソフトウェアでプログラムされたまたはそうでなければ構成された場合など、記載されたタイプの機能とインタラクトして実行できるハードウェアの任意の組み合わせを備えてよい。例えば、例示のシステム５００及び５２０は、特定のコンピューティングシステムまたはデバイスによりロード及び／または実行されると、それらシステムまたはデバイスのプロセッサを構成するように、それらシステムまたはデバイスをプログラムまたはそうでなければ構成するために使用され得る、少なくともいくつかの実施形態における実行可能ソフトウェア命令及び／またはデータ構造を含んでよい。代替的に、他の実施形態において、ソフトウェアシステムのいくつかまたは全てが、別のデバイス上のメモリで実行され、コンピュータ間通信を介して、図示されたコンピューティングシステム／デバイスと通信し得る。さらに、様々なアイテムが様々な時間（例えば使用中）にメモリまたはストレージに格納されるように示されているが、これらアイテムまたはそれらの一部は、メモリ管理及び／またはデータインテグリティの目的で、メモリとストレージ間及び／またはストレージデバイス間（例えば、異なる場所の）で転送されることができる。

【0064】

したがって、少なくともいくつかの実施形態において、例示のシステムは、プロセッサ及び／または他のプロセッサ手段により実行されると、システムのための記載された動作を自動的に実行するようにプロセッサをプログラムするソフトウェア命令を含むソフトウェアベースシステムである。さらに、いくつかの実施形態において、システムのいくつかまたは全ては、１または複数の特定用途向け集積回路（ＡＳＩＣ）、標準的な集積回路、コントローラ（例えば、適切な命令を実行し、マイクロコントローラ及び／または組み込まれたコントローラを含むことによって）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）等を含むがこれらに限定されない少なくとも部分的にファームウェア及び／またはハードウェア手段のような、他の方式で実装または提供されてよい。システムまたはデータ構造のいくつかまたは全てはまた、ハードディスクまたはフラッシュドライブまたは他の不揮発性ストレージデバイス、揮発性または不揮発性メモリ（例えば、ＲＡＭ）、ネットワークストレージデバイス、または適切なドライブによりまたは適切な接続を介して読み取られるポータブル媒体製品（例えば、ＤＶＤディスク、ＣＤディスク、光学ディスク、フラッシュメモリデバイス等）のような非一時的コンピュータ可読記憶媒体に（例えば、ソフトウェア命令コンテンツまたは構造化データコンテンツとして）格納されてよい。システム、モジュール、及び、データ構造はまた、いくつかの実施形態において、無線ベース及び有線／ケーブルベースの媒体を含み、様々な形式（例えば、単一のまたは多重化されたアナログ信号または複数の個別のデジタルパケットまたはフレームの一部として）をとることができる様々なコンピュータ可読送信媒体上で、生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）送信されてよい。そのようなコンピュータプログラム製品は、他の実施形態では他の形態を取ってもよい。したがって、本開示は、他のコンピュータシステム構成で実施されてよい。

【0065】

図６は、１つの非限定的に示された実装による、本明細書で説明されたトラッキングサブシステムなど、ＨＭＤデバイス、１または複数のコントローラ、または他のコンポーネントをトラッキングするためのトラッキングサブシステムを実装するために機械学習技法が使用され得る環境６００の概略図である。環境６００は、モデル訓練部６０１及び推論部６０３を備える。訓練部６０１では、訓練データ６０２が機械学習アルゴリズム６０４にフィードされて、訓練された機械学習モデル６０６が生成される。訓練データは、例えば、１または複数の光源（例えば、ＬＥＤ）に対する特定のオブジェクトの位置及び／または向きを指定する、角度感知検出器からのラベル付けされたデータ、ラベル付きされた、または、ラベル付けされていない散乱光検出器データ（下で説明される）、または他のタイプのデータを含み得る。非限定的な例として、３０の角度感知検出器を有するコンポーネント（例えば、ＨＭＤ、コントローラ）を含む一実施形態において、各訓練サンプルは、角度感知検出器の各々またはサブセットからの出力、コンポーネントの既知または推論された位置または向き、及び、１または複数の光源の位置または方向についての情報を含み得る。下で説明されるように、各角度感知検出器は、単一のデータ点（例えば角度）を出力し得るか、または、角度感知検出器の特定の能動素子（例えば、サブ検出器またはセル、抵抗性シートなど）で受信された光のパワーまたは強度を各々示す２または４つの信号など複数のデータ点を出力し得る。データはまた、下で説明される散乱光検出器など、１または複数の散乱光検出器からのデータを含み得る。そのようなデータは、偏光情報（例えば、偏光のタイプまたは程度）、検出された光が散乱されたかどうかに関する情報、または他のタイプのデータを含み得る。

【0066】

訓練データ６０２は、ＨＭＤシステムの複数のユーザから及び／または単一のユーザから得られてよい。訓練データ６０２は、制御された環境内で、及び／またはユーザによる実際の使用中（「フィールド訓練」）に、得られてよい。さらに、少なくともいくつかの実装では、モデル６０６は、正確な位置トラッキング予測を提供するために時折（例えば、周期的に、連続的に、特定のイベント後に）更新または較正されてよい。

【0067】

推論部６０３では、ランタイムデータ６０８が、訓練された機械学習モデル６０６への入力として提供され、訓練された機械学習モデル６０６は、位置トラッキング予測６１０を生成する。上の例に続いて、角度感知検出器の出力データ（例えば、強度データ、角度データ）、任意選択で、１または複数の光源についての情報、及び任意選択で、１または複数の散乱光検出器からの情報は、データを処理してコンポーネントの位置を予測し得る、訓練された機械学習モデル６０６に入力として提供され得る。トラッキング予測６１０は次に、ＨＭＤデバイスに関連付けられた１または複数のコンポーネント、例えば、１または複数のＶＲまたはＡＲアプリケーション、１または複数のディスプレイまたはレンダリングモジュール、１または複数の機械的コントロール、１または複数の追加的な位置トラッキングサブシステムなどに提供され得る。

【0068】

本明細書において論述される特徴を実装するために利用される機械学習技法は、任意のタイプの適した構造または技法を含んでよい。非限定的な例として、機械学習モデル６０６は、決定木、統計的階層モデル（ｓｔａｔｉｓｔｉｃａｌ ｈｉｅｒａｒｃｈｉｃａｌ ｍｏｄｅｌ）、サポートベクタマシン、人工ニューラルネットワーク（ＡＮＮ）、例えば畳み込みニューラルネットワーク（ＣＮＮ）もしくは再帰型ニューラルネットワーク（ＲＮＮ）（例えば、長短期記憶（ＬＳＴＭ）ネットワーク）、混合密度ネットワーク（ＭＤＮ：ｍｉｘｔｕｒｅ ｄｅｎｓｉｔｙ ｎｅｔｗｏｒｋ）、隠れマルコフモデルのうちの１または複数を含んでもよいし、他のものも使用することができる。ＲＮＮを利用する実装等の少なくともいくつかの実装では、機械学習モデル６０６は、１または複数のＨＭＤコンポーネントの位置を予測するために過去の入力（メモリ、フィードバック）情報を利用してよい。そのような実装は、有利なことに、運動情報または以前の位置予測を決定するためにシーケンシャルデータを利用してよく、これにより、より正確なリアルタイム位置予測が提供され得る。

【0069】

図７は、使用中にＨＭＤコンポーネントの位置をトラッキングするためにＨＭＤシステムを操作する一例の方法７００のフロー図である。方法７００は、例えば、図５に示されるＨＭＤシステム５００の位置トラッキングシステムまたはモジュール５１２によって実行され得る。上で説明されたように、方法７００は、ＨＭＤデバイス、１または複数のコントローラなどの任意のコンポーネントの位置をトラッキングするために使用され得る。

【0070】

方法７００の示される実装は、動作７０２で開始し、ここで、複数の角度感知検出器を有する第１ＨＭＤシステムコンポーネントが提供される。複数の角度感知検出器は、固定的に位置決めされ得る（例えば、壁または天井に搭載される）、または、可動的であり得る（例えば、ＨＭＤまたはコントローラに結合される）１または複数の光源から放射される光を検出するように作用し得る。動作中に、複数の角度感知検出器の各々は、あるフレームレートで、複数の角度感知検出器のそれぞれの視野におけるセンサデータをキャプチャする。センサデータは、角度感知検出器に対する光源の存在及び方向を検出するために制御回路（例えばプロセッサ）によって利用可能である任意のタイプのデータを含み得る。少なくともいくつかの実装において、角度感知検出器の各々は、画像検知回路及び画像処理回路を有する１または複数のセンサ（例えばフォトダイオード）を含み得る。角度感知検出器は、比較的未加工のデータ（例えば、光強度またはパワーデータ）または処理されたデータ（例えば、入射角データ）を出力し得る。

【0071】

７０４において、複数の光源（例えば、近ＩＲ ＬＥＤ）を含む第２ＨＭＤシステムコンポーネントが提供され得る。第２ＨＭＤシステムコンポーネントは、例えば固定された場所（例えば、天井、壁）に位置決めされたコントローラ、ＨＭＤデバイス、または光源を含み得る。

【0072】

７０６において、ＨＭＤシステムの少なくとも１つのプロセッサは、光源に光を放射させ得る。光源は、角度感知検出器の各々が単一の光源からの光を同時に検出し得る方式で、またはより一般に、角度感知検出器によって検出された光が受信されどの光源から照射されたかをシステムが判定することが可能であり得る方式で照射され得る。これは、時間多重化、波長多重化、周波数多重化、偏光多重化、または、使用中に角度感知検出器の各々から受信された光の光源をシステムが知ることを可能にする他の技法など、任意の好適なタイプの技術を使用して、光源の照射を変調または多重化することによって達成され得る。

【0073】

時間多重化の一例として、少なくとも１つのプロセッサは、光源のサブセット（例えば、１、２、４）のみを同時に照射し得る。例えば、少なくとも１つのプロセッサは、同時に１つのサブセットで、光源を順次照射し、光源の各々に応答してセンサデータを収集し得る。

【0074】

波長多重化の一例として、光源の異なるサブセットは、異なる波長の光を放射し得、角度感知検出器の異なるサブセットは、異なる波長の光を検知するように作用し得る。故に、異なる波長を有する光源は、同時に照射され、対応する波長感知検出器によって検出され得る。

【0075】

周波数多重化の一例として、光の特定の光源を識別するために角度感知検出器によって検出可能である判定されたパターンまたは周波数で、光源のサブセットが照射され得る。

【0076】

偏光多重化の一例として、光源のサブセットが、異なるように（例えば、直線、円）偏光され得、角度感知検出器の対応するサブセットが、複数の光源が同時に照射されることを可能にする特定の偏光された光を（例えば、対応する偏光を有する光を通過させる偏光子を使用して）検出するよう構成され得る。

【0077】

光源を照射するための他の例示的な技法は、周波数または波長分割多重接続（ＦＤＭＡまたはＷＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）及び直交周波数分割多元接続（ＯＦＤＭＡ）のうちの１または複数を含み得る。少なくともいくつかの実装において、照射パターンまたは方式は、電気システムの時間、波長、または周波数のうちの１または複数に関して直交するよう構成され得る（例えば、米国の電気システムにおいて使用される６０Ｈｚ周波数の２倍である１２０Ｈｚ、または、欧州の電気システムにおいて使用される５０Ｈｚ周波数の２倍である１００Ｈｚ）。更に、変調方式は、各個別のマーカまたはＬＥＤの光の振幅に、または、２またはより多くのマーカまたはＬＥＤの１または複数のグループに、または、その任意の組み合わせに適用され得る。少なくともいくつかの実装において、光放射コンポーネント、光検出コンポーネント、または処理コンポーネント（例えば、ホストシステム）のうちの２またはより多くは、互いに同期され得、それにより、例えば、ＣＤＭＡ技法等の使用中に、更なる特長を提供し得る。

【0078】

７０８において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは、複数の角度感知検出器からセンサデータを受信し得る。上に記載されたように、各角度感知検出器について、センサデータは、既知の光源から放射された光の到着角度を示し得る。７１０において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは任意選択で、慣性トラッキング機能、または、１または複数の追加のセンサからのセンサデータを提供するように作用する慣性測定ユニット（ＩＭＵ）からセンサデータを受信し得る。

【0079】

７１２において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは、受信したセンサデータを処理してよい。例えば、少なくとも１つのプロセッサは、センサデータのいくつかまたは全てをともに融合して、ＨＭＤシステムが動作する環境に存在する１または複数の特徴をトラッキングしてよい。センサデータは、複数の角度感知検出器からのセンサデータ、任意選択で、ＩＭＵまたはカメラからのセンサデータを含み得る。少なくとも１つのプロセッサは、例えば、機械学習モデル（例えば、モデル６０６）、または別のソルバを使用してセンサデータを処理し得る。下で更に説明されるように、少なくとも１つのプロセッサの少なくともいくつかの実装は、散乱または反射された受信済みの光を有する可能性が高いと判定された、１または複数のセンサからのデータを無視し得る。

【0080】

７１４において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは、環境においてユーザによってＨＭＤシステムが使用されている間にリアルタイムで、ＨＭＤシステムのコンポーネントの位置（例えば、場所、向き、または移動）をトラッキングし得る。ＨＭＤの動作中、方法７００は引き続き、上で説明されたように、ＨＭＤシステムのコンポーネントの位置を連続的にトラッキングし得る。

【0081】

図８は、本開示の実装の１または複数において使用され得る例示的な角度感知検出器８００の透視図を示す。この例において、角度感知検出器８００は、角度感知フォトダイオード構造８０４を含む。角度感知フォトダイオード構造８０４は、フォトダイオード８０６、第２直線偏光子８０８、空間変動偏光子８１０、及び第１直線偏光子８１２を含む。フォトダイオード８０６は、光を受信し、光に関連付けられた強度を判定し、強度を表す信号（またはデータ）を出力する任意のデバイスであり得る。第１及び第２直線偏光子８１２、８０８は各々、光が入射する任意のタイプの光フィルタであり得る。第１及び第２直線偏光子８１２、８０８は、入射光の（例えば、鉛直に偏光された、または水平に偏光された）直線偏光成分を出力し、入射光の他のコンポーネントをフィルタリングして除外（例えば、反射、または、拒絶、吸収）し得る。

【0082】

少なくともいくつかの実装において、空間変動偏光子８１０は、マルチツイスト位相差板（ＭＴＲ）から形成され得る。これは、単一の薄膜において、広帯域、狭帯域、または、複数帯域の位相差の精密でカスタマイズされたレベルを提供する、波長板のような位相差フィルムである。より具体的には、ＭＴＲは、単一の位置合わせ層と共に、単一の基板上に２以上のねじれた液晶（ＬＣ）層を含む。後のＬＣ層は、前の層によって直接的に整列され、単純な製造を可能にし、自動的な層間位置合わせを達成し、連続的に変動する光学軸を有するモノリシックのフィルムを生じさせる。

【0083】

空間変動偏光子８１０は、複屈折材料から形成される位相差板を含み得る。複屈折は、光の偏光及び伝搬方向に依存する屈折率を有する材料の特性である。位相差板は、位相差板を通って進む光の偏光状態または位相を変更する。位相差板は、遅相軸（または特別な軸）及び進相軸（通常の軸）を有し得る。偏光された光が位相差板を通って進むとき、進相軸に沿った光は、遅相軸に沿った光より速く進む。

【0084】

図８に示されるように、第２直線偏光子８０８、空間変動偏光子８１０、及び第１直線偏光子８１２は、フォトダイオード８０６上に積み重ねられ、フォトダイオード８０６上で連続的に層を形成し得る。本明細書では、偏光子８１２、８０８は直線偏光子として記載されているが、様々な実施形態において、偏光子８１２、８０８は、非直線偏光子であり得る、例えば、楕円または円偏光子であり得ることに留意されたい。偏光子８１２、８０８は同一の光フィルタリング特性を有し得、特定の偏光を有する光を同様にまたは同一に拒絶し得る、または通過させ得る。この簡略化された例において、角度感知検出器８００は、光源８２０からの光８１８が通過することを可能にする開口８１６を有するカバー８１４を含む。示されるように、開口８１６を通過する光８１８は、光８１８の角度、したがって、角度感知検出器８００に対する光源８２０の角度を判定するように電気的に特徴づけられ得る光点８２２を形成する。下で説明されるように、本開示のシステム及び方法は、複数の光源及び角度感知検出器を利用して、ＨＭＤシステムのコンポーネントの位置を判定し得る。

【0085】

図９は、角度感知フォトダイオード構造８０４の第１直線偏光子８１２、空間変動偏光子８１０、及び、第２直線偏光子８０８、ならびに、それらを通過してフォトダイオード８０６に到達する光８１８または光点８２２の偏光を示す。最初、光８１８は第１直線偏光子８１２に入射する。光８１８は任意の偏光を有し得、したがって、少なくともいくつかの実装において、無偏光であると言われ得る。少なくともいくつかの実装において、光は直線偏光され、円偏光され、または概して楕円偏光され得る。

【0086】

第１直線偏光子８１２は、光８１８の直線偏光成分８２４を通過させ、光８１８の残りの偏光成分を拒絶（吸収または反射）する。第１直線偏光子８１２が鉛直偏光フィルタとして示されるが、様々な実施形態において、第１直線偏光子８１２は、とりわけ水平偏光フィルタまたは円偏光フィルタであり得る。

【0087】

直線偏光成分８２４は次に、第１直線偏光子８１２の下に位置決めされた空間変動偏光子８１０に入射する。空間変動偏光子８１０は、直線偏光成分８２４（または任意の入射光）が空間変動偏光子８１０に入射する空間変動偏光子８１０上の位置にしたがって変動する光偏光特性を有するように調整される。図９に示される例において、空間変動偏光子８１０は、入射する直線偏光成分８２４を変更する。

【0088】

空間変動偏光子８１０が、入射する直線偏光成分８２４を変更する方式は、入射する直線偏光成分８２４が空間変動偏光子８１０に入射する位置にしたがって変動する。位置は、光８１８が角度感知フォトダイオード構造８０４に入射する位置と実質的に同一であり得る。

【0089】

この図の例において、空間変動偏光子８１０の第１端８２６（右上に示される）において、空間変動偏光子８１０は、入射する直線偏光成分８２４を鉛直偏光光信号として保持する。空間変動偏光子８１０は、鉛直偏光を通過させ、他の偏光成分をブロックする。第１端８２６に入射する直線偏光成分８２４は、そのまま通過する。

【0090】

空間変動偏光子８１０の偏光フィルタリング特性は、非限定的な例として、第１端までの距離の関数として徐々に変化し得る。空間変動偏光子８１０の第２端８２８（左下に示される）において、空間変動偏光子８１０は、鉛直偏光された入射した直線偏光成分８２４を水平偏光光信号にほぼ変換する。特に、第２端８２８において、空間変動偏光子８１０は１７５°の直線偏光の向きを有する。したがって、第２端８２８において、空間変動偏光子８１０は、鉛直偏光成分より大きい水平偏光成分を有する光を出力する。逆に、空間変動偏光子８１０の中心近くにおいて、空間変動偏光子８１０は、約１３５°の直線偏光の向きを有し、したがって、空間変動偏光子８１０は、入射する直線偏光成分８２４の偏光（鉛直偏光を有する）を約４５°の角度だけ水平偏光に向かって回転させる。その中心近くで空間変動偏光子８１０を出る光は、水平偏光成分と同一の大きさを有する鉛直偏光成分を有する。

【0091】

空間変動偏光子８１０の空間的に変動する特性は、直線偏光成分８２４が入射する位置または可能な位置を識別することを可能にする。空間変動偏光子８１０は、図９に示されるように、フィルタリングされた光８３０を通過させる。水平または鉛直偏光のいずれかにおける、フィルタリングされた光８３０の強度は、直線偏光成分８２４が空間変動偏光子８１０に入射した位置または可能な位置を表す。直線偏光成分８２４が第１端８２６に入射するとき、フィルタリングされた光８３０は、最高の鉛直偏光の大きさを有する。鉛直偏光の大きさは、第１端８２６からの距離に反比例し得る。

【0092】

フィルタリングされた光８３０は次に、フィルタリングされた光８３０の任意の水平成分を除去して鉛直光成分を通過させるように動作する第２直線偏光子８０８に入射する。第２直線偏光子８０８は、フィルタリングされた直線偏光成分８３２を通過させる。第２直線偏光子８０８は、フォトダイオード８０６へ通過した光が、鉛直偏光を排他的に含み、水平偏光を除外することを確実にし得る。

【0093】

フォトダイオード８０６は、フィルタリングされた直線偏光成分８３２を受信して、フィルタリングされた直線偏光成分８３２の強度を検出する。フィルタリングされた直線偏光成分８３２の強度は、光８１８が空間変動偏光子８１０、結果的に角度感知フォトダイオード構造８０４に入射する位置または位置のセットを表す。

【0094】

図９を参照して記載される具体的な偏光は、説明を容易にするための例として作られていることに留意されたい。代替的な実施形態において、異なる偏光子、偏光、または偏光パターンが利用され得る。例えば、直線偏光の代わりに、第１及び第２直線偏光子８１２、８０８ならびに空間変動偏光子８１０は、円偏光、楕円偏光または任意の他のタイプの偏光を利用し得る。

【0095】

再び図８を参照すると、開口８１６のサイズ及び位置は、角度感知フォトダイオード構造８０４上に形成された光点８２２のサイズを規定する。フォトダイオード８０６によって検出された強度は、第１及び第２直線偏光子８１２、８０８ならびに空間変動偏光子８１０を通過した（またはそれによってフィルタリングされた）光点８２２の強度を表す。光点８２２の強度は、光点８２２から構成される光線の強度の和であり得る。光点８２２の直線偏光成分８２４が、１つの点ではなく、空間変動偏光子８１０のエリアに入射するという事実により、空間変動偏光子８１０の設計において、位置検出の改善を可能にするために追加の自由度が与えられる。空間変動偏光子８１０は、光点８２２の位置検出を改善することを可能にするために、領域によって変化する特性を有し得る。

【0096】

いくつかの実施形態において、第１及び第２直線偏光子８１２、８０８の１つが省略され得ることに留意されたい。一実施形態において、第１直線偏光子８１２は省略され得、水平偏光のみが位置または角度決定のために放射され得る。

【0097】

一実施形態において、改善された位置検出は、複数の局地的なセルを有するフォトダイオード８０６を使用することによって達成され得る。

【0098】

図１０は、角度感知フォトダイオード構造８０４の第１直線偏光子８１２、空間変動偏光子８１０、及び、第２直線偏光子８０８、ならびに、それらを通過してフォトダイオード８０６に到達する光８１８または光点８２２の偏光を示す。図１０において、フォトダイオード８０６は、小さいギャップによって隔てられる４つの別個のフォトダイオードアクティブエリアまたは素子８０２ａ－８０２ｄを含むクアドランドセル（クアッドセル）フォトダイオードである。より少ない、または、より多いセルを有するフォトダイオード検出器、位置感知検出器（ＰＳＤ）など、他のタイプの角度感知検出器も使用され得ることが理解されるべきである。

【0099】

各素子８０２ａ～８０２ｄのアクティブエリア（例えばアノード）は個別に利用可能であり、その結果、単一の象限を照射する光点は、その象限のみにあるものとして電気的に特徴づけられ得る。光点のエネルギーは、隣接素子８０２ａ～８０２ｄ間で分散され、各素子に対する電気的寄与の差が、角度感知検出器の中心に関する光点の相対位置を定義する。素子８０２ａ～８０２ｄの相対強度プロファイルは、空間変動偏光子８１０の相対強度プロファイルと組み合わせて光点の位置を判定するために使用され得る。

【0100】

一実施形態において、空間変動偏光子８１０は、ベースライン強度を識別するためにオフに切り替えられ得る。空間変動偏光子８１０は、コントローラに結合され得る。マイクロコントローラもしくはマイクロプロセッサ、または、特に１または複数のコントローラ１８２またはプロセッサ５０２であり得る、本明細書に記載されるコントローラは、空間変動偏光子８１０のオンまたはオフを切り替え得る。空間変動偏光子８１０がオンに切り替えられるとき、空間変動偏光子８１０は、本明細書に記載されるように光をフィルタリングする。逆に、空間変動偏光子８１０がオフに切り替えられるとき、空間変動偏光子８１０は、偏光フィルタリングを中止し、代わりに、直線偏光成分８２４をそのまま通過させ得る。

【0101】

空間変動偏光子８１０がオフに切り替えられるとき、フォトダイオード８０６は、第１及び第２直線偏光子８１２、８０８と組み合わせて空間変動偏光子８１０によって実行される減衰なしで光８１８（または光点８２２）の強度を検出する。検出された強度は、ベースライン強度または最大検出強度として扱われ得る。ベースライン強度または最大検出強度は、第１端８２６に入射する光８１８の強度に対応し得る。

【0102】

空間変動偏光子８１０がオンに切り替えられるとき、フォトダイオード８０６は、適切な位置依存的偏光フィルタリングを用いて、光８１８（または光点８２２）の強度を検出する。位置依存的偏光フィルタリングがベースライン強度に対して適切であるときの光８１８（または光点８２２）の検出強度の間の関係は、光８１８が角度感知フォトダイオード構造８０４に入射する位置または位置のセットを示す。

【0103】

本明細書に記載されるように、第１及び第２直線偏光子８１２、８０８のフィルタリングと組み合わせて空間変動偏光子８１０によって実行される偏光変換は、光８１８の空間的に変動する振幅（または強度）減衰をもたらす。振幅（または強度）は次に、フォトダイオード８０６によって検出され、位置決定に使用される。

【0104】

図１１Ａ及び図１１Ｂは、本開示の実装の１または複数において使用され得る例示的な角度感知検出器１１００の上面図及び透視図をそれぞれ示す。この例において、角度感知検出器１１００は、共通の基板１１０４上の小さいギャップによって隔てられた４つの別個のフォトダイオードアクティブエリアまたは要素１１０２Ａ～１１０２Ｄを含むクアドランドセル（クアッドセル）フォトダイオードを含む。より少ない、または、より多いセルを有するフォトダイオード検出器、位置感知検出器など、他のタイプの角度感知検出器も使用され得ることが理解されるべきである。

【0105】

非限定的に示される例において、各要素１１０２Ａ－１１０２Ｄのアクティブエリア（例えばアノード）は個別に利用可能であり、その結果、単一の象限を照射する光点は、その象限のみにあるものとして電気的に特徴づけられ得る。光点が角度感知検出器１１００で変換されると、光点のエネルギーは、隣接素子１１０２Ａ－１１０２Ｄ間で分散され、各素子に対する電気的寄与の差は、角度感知検出器の中心に関する光点の相対位置を定義する。素子１１０２Ａ～１１０２Ｄの相対強度プロファイルは、光点の位置を判定するために使用され得る。

【0106】

この簡略化された例において、角度感知検出器１１００は、光源１１１２からの光１１１４が通過することを可能にする開口１１０８を有するカバー１１１０を含む。示されるように、開口１１０８を通過して光点１１０６を形成する光１１１４は、角度感知検出器１１００に対する光１１１４の角度、ひいては、光源１１１２の角度を決定するために、電気的に特徴づけられ得る。下で説明されるように、本開示のシステム及び方法は、複数の光源及び角度感知検出器を利用して、ＨＭＤシステムのコンポーネントの位置を判定し得る。

【0107】

本開示の角度感知検出器は、クアッドセルフォトダイオード検出器、抵抗性シートを利用する位置感知検出器（ＰＳＤ）、より少ない（例えば２）またはより多い（例えば１６）独立感知素子を有するフォトダイオード検出器、または、光源から放射される光の到着角度を検出することを可能にする任意の他の検出器を含む任意の好適なタイプの検出器の１または複数を含み得ることが理解されるべきである。更に、下で説明されるように、少なくともいくつかの実装において、本開示の角度感知検出器または光源は、フィルタ、レンズ、偏光子など、様々な光学コンポーネントを利用して、本明細書に説明されるシステム及び方法の機能を改善し得る。

【0108】

図１２は、１つの非限定的に示される実装による、光源及び角度感知検出器を使用してＨＭＤシステムのコンポーネントの位置を判定するＨＭＤシステムの環境１２００の簡略化された図である。この例において、ＨＭＤなどの第１コンポーネント１２０２は、複数の光源１２０６（１２０６ａ及び１２０６ｂの２つが示される）を含み、ＨＭＤシステムのコントローラなどの第２コンポーネント１２０４は、複数の角度感知検出器１２０８（１２０８ａ及び１２０８ｂの２つが示される）を含む。角度感知検出器１２０８ａ及び１２０８ｂは、第２コンポーネント１２０４上で既知の距離ｄ_１だけ互いに隔てられ、光源１２０６ａ及び１２０６ｂは、第１コンポーネント１２０２上で既知の距離ｄ_２だけ互いに隔てられる。第１及び第２コンポーネントは、ＨＭＤ、コントローラ、基地局、据え付けまたはモバイル光源、据え付けまたはモバイル角度感知検出器など、ＨＭＤシステムの任意のコンポーネントであり得る。

【0109】

この例において、角度感知検出器１２０８ａは、光が角度１２１０で光源１２０６ａから到着し、光が角度１２１２で光源１２０６ｂから到着すると判定するように作用する。同様に、角度感知検出器１２０８ｂは、光が角度１２１４で光源１２０６ｂから到着し、光が角度１２１６で光源１２０６ａから到着すると判定するように作用する。検出された到着角度１２１０、１２１２、１２１４及び１２１６、ならびに、光源１２０６と検出器１２０８との間の既知の幾何学的関係（例えば、距離ｄ_１及びｄ_２）を考慮して、第１コンポーネント１２０２と第２コンポーネント１２０４との間の相対位置、向き、または移動を判定及びトラッキングするための方法（例えば三角測量）が使用され得る。上で説明されるように、ＨＭＤシステムの光源に関する情報を示す角度感知検出器及び／または光源データからのセンサデータを使用して、コンポーネントの位置を判定するために、１または複数のソルバまたは機械学習方法が使用され得る。

【0110】

図１３は、本開示の一例の光源１３０２及び角度感知検出器１３０４の実例１３００である。光源１３０２及び角度感知検出器１３０４は、本明細書において説明される光源及び角度感知検出器のいずれかと同様または同一であり得、本開示の実装のいずれかにおいて使用され得る。示される例において、光源１３０２は光学サブシステム１３０６を含み得、角度感知検出器１３０４は光学サブシステム１３０８を含み得る。光学サブシステム１３０６及び１３０８は互いに同一でも、異なってもよく、各々が１または複数の光学コンポーネントを含み得る。光学サブシステム１３０６及び１３０８は、光源１３０２及び角度感知検出器１３０４に統合され得るか、または、別個のコンポーネントであり得る。光学コンポーネントの非限定的な例は、１または複数のレンズ、１または複数の偏光子、１または複数のフィルタ、１または複数の開口などを含む。少なくともいくつかの実装において、光源のサブセットは、１つのタイプの光学サブシステムを含み得、１または複数の他のサブセットの光源は、別のタイプの光学サブシステムを含み得る。同様に、角度感知検出器のサブセットは、１つのタイプの光学サブシステムを含み得、１または複数の他のサブセットの角度感知検出器は、別のタイプの光学サブシステムを含み得る。一例として、光学サブシステムは、可視光または他のタイプの光をフィルタリングで除去するフィルタを含み得る。上で更に説明されるように、光学サブシステムは、放射された光の光源に関する混乱なしで複数の光源が同時に照射されることを可能にする、上で説明された様々なタイプの多重化のうち１または複数を容易にするコンポーネントを含み得る。

【0111】

図１４は、１または複数の光学検出器（例えば、角度感知または他のタイプの検出器）によって受信された光が、１または複数の光学検出器によって受信される前に反射または散乱されたかどうかを判定するために使用され得る、本開示の散乱光検出モジュールまたは散乱光検出器１４０２の実例１４００である。そのような情報を使用することにより、少なくとも１つのプロセッサは、散乱または反射された光信号であると判定された光データを無視するように作用し得る。なぜなら、そのような信号は、信号が放射された光源の位置を直接的に示さないからである。少なくともいくつかの実装において、散乱光検出器１４０２は、位置トラッキングに使用される１または複数の光学検出器と組み合わせて使用される別個のコンポーネントであり得る。他の実装において、散乱光検出器１４０２は、位置トラッキングに使用される１または複数の光学検出器（例えば角度感知検出器）に統合され得る。１または複数の散乱光検出器１４０２は、本開示の実施形態のいずれかにおいて使用され得る。更に、散乱光検出器データを処理し、本開示のトラッキングシステムの位置トラッキング機能を改善するために、様々な機械学習または人工知能ベースの方法が使用され得る。例えば、トラッキング忠実度を改善するのに役立つ偏光情報を使用するようにトラッキングシステムを訓練するために、機械学習または他のＡＩ方法が使用され得る。

【0112】

非限定的に示される例において、散乱光検出器１４０２が示され、第１及び第２光源１４０８及び１４１０も示される。実際には、多くの散乱光検出器及び多くの光源があり得る。非限定的な例として、散乱光検出器１４０２は、ＨＭＤ及びコントローラの一方に位置し得、光源１４０８及び１４１０は、ＨＭＤ及びコントローラの他方に位置し得る。少なくともいくつかの実装において、散乱光検出器１４０２及び光源１４０８及び１４１０の１または複数は、固定オブジェクト（例えば、壁、天井、スタンド）または可動オブジェクト（例えば、ＨＭＤ、コントローラ）に位置する、または、それに結合され得る。散乱光検出器１４０２及び光源１４０８及び１４１０は、本明細書において説明される光源及び散乱光検出器のいずれかと同様または同一であり得、本開示の実装のいずれかにおいて使用され得る。

【0113】

示される例において、散乱光検出器１４０２は、任意選択で角度感知検出器であり得る光学検出器１４０４及び光学サブシステム１４０６を含み得る。光源１４０８は、光１４２０を放射する光エミッタ１４１２（例えばＬＥＤ）及び光学サブシステム１４１４を含み得、光源１４１０は、光１４２２を放射する光エミッタ１４１６及び光学サブシステム１４１４を含み得る。光学サブシステム１４０６、１４１４及び１４１８のいくつか、またはすべては、互いに同一でも、または異なってもよく、各々が１または複数の光学コンポーネントを含み得る。光学サブシステム１４０６、１４１４及び１４１８は、検出器１４０４及び光源１４０８及び１４１０にそれぞれ統合され得るか、または、別個のコンポーネントであり得る。光学コンポーネントの非限定的な例は、１または複数のレンズ、１または複数の偏光子、１または複数の位相差板、１または複数のフィルタ、１または複数の開口などを含む。少なくともいくつかの実装において、光源のサブセットは、１つのタイプの光学サブシステムを含み得、１または複数の他のサブセットの光源は、別のタイプの光学サブシステムを含み得る。同様に、散乱光検出器１４０２のサブセットは、１つのタイプの光学サブシステムを含み得、散乱光検出器の１または複数の他のサブセットは、別のタイプの光学サブシステムを含み得る。一例として、光学サブシステムは、可視光または他のタイプの光をフィルタリングで除去するフィルタを含み得る。上で更に説明されるように、光学サブシステムは、放射された光の光源に関する混乱なしで複数の光源が同時に照射されることを可能にする、上で説明された様々なタイプの多重化のうち１または複数を容易にするコンポーネントを含み得る。

【0114】

光学サブシステム１４０６、１４１４及び１４１８の設計は、光源１４０８及び１４１０からの光が散乱または反射されたかどうか、または、光が散乱または反射なく直接的に散乱光検出器に到達したかどうかを検出するように散乱光検出器１４０２が作用するように調整され得る。例えば、散乱光検出器１４０２は、散乱または反射に起因して光源によって放射された光の偏光のタイプまたは程度の変化を検出するように作用し得る。示される例において、光源１４０８からの光１４２０は、散乱光検出器１４０２によって直接的に受信され、一方、光源１４１０からの光１４２２は、散乱光検出器１４０２によって受信される光１４２４として表面１４２３で反射される。この例において、光１４２０は、散乱光検出器１４０２に関する光源１４０８の相対位置を示し、一方、表面１４２３から反射した光１４２４は、散乱光検出器１４０２に関する光源１４１０の相対位置を示さない。したがって、光１４２４が散乱または反射されたと検出することによって、トラッキングシステムは、位置トラッキングを実行するとき、散乱光検出器と同様の位置及び向きのセンサなど、１または複数のセンサからの光信号を無視または拒絶し得、それにより、システムの位置トラッキング機能を改善する。

【0115】

散乱光検出器１４０２が、光源からの光が散乱または反射され、したがって、１または複数の検出器によって無視されるべきであるかどうかを検出できることを可能にし得る複数の構成があり得る。概して、少なくともいくつかの実装において、光源１４０８及び１４１０によって放射された光は、光学システム１４１４及び１４１８によって決定された方式でそれぞれ偏光され得、散乱光検出器１４０２は、光源１４０８及び１４１０から直接的に受信された光と、散乱光検出器によって受信される前に散乱または反射された光源からの光とを区別するよう構成され得る。例えば、光源からの光の偏光のタイプまたは程度は、散乱または鏡面反射の結果変更され得、散乱光検出器１４０２は、そのような変更を検出するよう構成され得る。１つの非限定的な例として、光源１４０８の光学サブシステム１４１４及び光源１４１０の光学サブシステム１４１８は、右手または左手円偏光子の一方を含み得、散乱光検出器１４０２の光学サブシステム１４０６は、右手または左手円偏光子の他方を含み得る。例えば、光源１４０８の光学サブシステム１４１４及び光源１４１０の光学サブシステム１４１８は、右手円偏光子を含み得、散乱光検出器１４０２の光学サブシステム１４０６は、左手円偏光子を含み得る。この構成において、散乱光検出器１４０２の光学サブシステム１４０６は、偏光解消表面（例えば、ランダム偏光を有する）で反射された光、または、非偏光解消表面（例えば、ガラス、金属、アクリルなど）で反射され、反射後に左円偏光された光を検出するために使用され得る。そのような光が判定閾値の上である場合、トラッキングシステムは、反射または散乱された光も受信した可能性が高いと判定された１または複数の検出器からの信号を無視し得る。

【0116】

この構成の一例は、図１５の実例１５００に示される。これは、散乱光検出器１５０２及び光源１５０４を示す。光源１５０４は、光エミッタ１５０６（例えばＬＥＤ）、及び、右手円偏光子１５０８を含む光学サブシステムを含む。この実装における円偏光子１５０８は、直線偏光子１５１０及び４分の１波長位相差板または波長板１５１２を含み、右手円偏光を有する光１５２２を提供する。

【0117】

散乱光検出器１５０２は、光学検出器１５１４（例えば、クアッドセル検出器、単一セル検出器）、及び、左手円偏光子１５１６を含む光学サブシステムを含む。左手円偏光子１５１６は、４分の１波長位相差板または波長板１５１８及び直線偏光子１５２０を含む。散乱光検出器１５０２は、光源の円偏光子１５０８とは反対の利き手の円偏光子を含むので、散乱光検出器は、反射された円偏光の利き手が反対の利き手に（すなわち、この例では右手から左手に）切り替わることに起因して、鏡面反射を介して反射された光を検出する。

【0118】

動作中、散乱光検出器１５０２が、散乱または反射された（例えば、決定された閾値より上の）光を検出したとき、トラッキングシステムは、同一の光を受信した可能性が高いことがあり得る１または複数の光学センサ（例えば、散乱光検出器と同様の位置または向きのセンサ）からの光を拒絶または無視し得る。

【0119】

図１６は、ユーザ１６４２の頭部に装着されたときの例示のＨＭＤデバイス１６４４の前面図を示す情報１６００を示す。ＨＭＤデバイス１６４４は、前面または前方カメラ１６４６及び１または複数のタイプの複数の角度感知検出器１６４８ａ－１６４８ｆ（まとめて１６４８）を支持する前面構造１６４３を含む。一例として、角度感知検出器１６４８のいくつかまたはすべては、１または複数の外部デバイス（示されないが、例えば、図２の基地局２１４、コントローラ）から放射された光情報を検出及び使用するための光センサなど、空間におけるデバイス１６４４の場所及び向きを判定することを支援し得る。角度感知検出器１６４８は、光源から放射された光の到着角度を検出するために作用する任意のタイプの検出器であり得る。角度感知検出器の非限定的な例は、フォトダイオード検出器（例えば、バイセル検出器、クアドランドセル検出器）、抵抗性シートを使用する位置感知検出器などを含む。

【0120】

示されるように、前方カメラ１６４６及び角度感知検出器１６４８は、ユーザ１６４２がＨＭＤデバイス１６４４を操作する実際のシーンまたは環境（図示せず）に向かって前方に向けられる。より一般には、角度感知検出器１６４８は、（例えばユーザ１６４２によって保持される）コントローラ、または、様々な場所（例えば、壁、天井）に搭載されるオブジェクトなど、様々なソースからの光を検出するために、他のエリア（例えば、上、下、左、右、後ろ）に向けられ得る。実際の物理的環境は、例えば、１または複数のオブジェクト（例えば、壁、天井、家具、階段、車、木、トラッキングマーカ、光源、または任意の他のタイプのオブジェクト）を含んでよい。センサ１６４８の特定の数は、図示されているセンサの数よりも少ない（例えば、２、４）または多い（例えば、１０、２０、３０、４０）ものであってよい。ＨＭＤデバイス１６４４は、（例えば、加速度計及びジャイロスコープ、並びに任意選択で磁力計の組み合わせを使用して）ＨＭＤデバイス１６４４の特定の力、角速度、及び／またはＨＭＤデバイスを囲む磁界を測定及び報告するＩＭＵ（慣性測定ユニット）１６４７電子デバイス等の、前面構造に取り付けられていない（例えば、ＨＭＤデバイスの内部にある）１または複数の追加コンポーネントを更に備えてよい。ＨＭＤデバイス１６４４は、１または複数のディスプレイパネル及び光学レンズ系を含む、示されていない追加コンポーネントを更に備えてよく、１または複数のディスプレイパネル及び光学レンズ系は、ユーザの目（図示せず）に向けて配向され、任意選択でＨＭＤデバイス内の光学レンズ系及び／またはディスプレイパネルのうちの１または複数の位置合わせまたは他の位置決めを変更するための１または複数の取り付けられた内部モータを有する。

【0121】

ＨＭＤデバイス１６４４の図示された例は、ＨＭＤデバイス１６４４のハウジングに取り付けられ、ユーザの頭部の周囲に全体的または部分的に延びる１または複数のストラップ１６４５に少なくとも部分的に基づいて、ユーザ１６４２の頭部上で支持される。ここでは示されていないが、ＨＭＤデバイス１６４４は、ストラップ１６４５のうちの１または複数に取り付けられるもの等の１または複数の外部モータを更に有してよく、自動化補正動作は、ユーザの頭部上でのＨＭＤデバイスの位置合わせまたは他の位置決めを修正するためにそのようなストラップを調整するのにそのようなモータを使用することを含んでよい。ＨＭＤデバイスは、図示されたストラップに加えてであるかまたはこれらの代わりにであるかを問わず、ここでは示されていない他の支持構造（例えば、ノーズピース、あご紐等）を備えてよいこと、及び、いくつかの実施形態は、ユーザの頭部上でのＨＭＤデバイスの位置合わせまたは他の位置決めを修正するために自身の形状及び／または場所を同様に調整するように、１または複数のそのような他の支持構造に取り付けられたモータを備えてよいことが理解されよう。ユーザの頭部に固定されていない他のディスプレイデバイスは、ディスプレイデバイスの位置決めに影響を与える１または複数の構造に同様に取り付けられるかまたはその一部であってよく、少なくともいくつかの実施形態では、ディスプレイデバイスの１人または複数人のユーザの１または複数の瞳孔に対するディスプレイデバイスの位置合わせまたは他の位置決めを修正するために自身の形状及び／または場所を同様に修正するモータまたは他の機械的アクチュエータを備えてよい。

【0122】

ＨＭＤデバイス１６４４はまた、複数の散乱光検出器１６５０、１６５２及び１６６６を含む。散乱光検出器１６５０、１６５２及び１６６６は、本明細書において説明される散乱光検出器のいずれかと同様または同一であり得、ＨＭＤデバイス１６４４に関連付けられた光源１６５８、１６６２及び１６７０からのそれぞれの光１６６０、１６６４及び１６７２が、ＨＭＤデバイスに到達する前に表面で反射または散乱されたかどうかを検出するように作用し得る。上で説明されたように、散乱された光が検出されると、同一の光を受信した可能性が高いと判定された１または複数のセンサからのセンサデータは無視され得る。

【0123】

少なくともいくつかの実装において、単一の散乱光検出器が検出器１６４８のすべてについて提供され得る。他の実装において、別個の散乱光検出器が、検出器１６４８の各々について提供され得るか、または、散乱光検出器が検出器１６４８の１または複数の一部として含まれ得る。示される簡略化された例において、前面構造１６４３の右側に位置する散乱光検出器１６５０は、領域１６５４における光源（例えば光源１６５８）からユーザ１６４２の右側への光を検出するために使用される検出器１６４８ａ、１６４８ｂ及び１６４８ｅに対応する。すなわち、反射または散乱された光を散乱光検出器１６５０が検出した場合、トラッキングシステムは、散乱光検出器１６５０と同様の向きに起因して、同一の光を受信した可能性が高いと判定された検出器１６４８ａ、１６４８ｂ及び１６４８ｅのうち１または複数からの信号を無視し得る。同様に、前面構造１６４３の左側に位置する散乱光検出器１６５２は、領域１６５６における光源（例えば光源１６６２）からユーザ１６４２の左側への光を検出するために使用される検出器１６４８ｃ、１６４８ｄ及び１６４８ｇに対応する。前面構造１６４３の上領域の散乱光検出器１６６６は、ユーザ１６４２の上の領域１６６８における光源（例えば光源１６７０）からの光を検出するために使用される検出器１６４８ｆに対応する。上に説明されるように、どの光源または光源のグループからの光が検出器１６４８、１６５０、１６５２及び１６６６によって受信されたかをシステムが知ることを可能にするために、多重化（例えば、時間、波長、パターン、コード）が使用され得る。

【0124】

図１７は、本開示の実装の１または複数において使用され得る角度感知検出器または散乱光検出器１７００の透視図を示す。この非限定的な例において、共通の基板１７０４上の小さいギャップによって隔てられる４つの別個のフォトダイオードアクティブエリアまたは素子１７０２Ａ～１７０２Ｄを含む散乱光検出器１７００は、クアドランドセル（クアッドセル）フォトダイオードを含む。より少ない、または、より多いセルを有するフォトダイオード検出器、位置感知検出器など、他のタイプの検出器も使用され得ることが理解されるべきである。

【0125】

非限定的に示される例において、各要素１７０２Ａ～１７０２Ｄのアクティブエリア（例えばアノード）は個別に利用可能であり、その結果、単一の象限を照射する光点は、その象限のみにあるものとして電気的に特徴づけられ得る。光点が検出器１７００で変換されると、光点のエネルギーは、隣接素子１７０２Ａ～１７０２Ｄ間で分散され、各素子に対する電気的寄与の差は、検出器の中心に関する光点の相対位置を定義する。素子１７０２Ａ～１７０２Ｄの相対強度プロファイルは、光点の位置を判定するために使用され得る。

【0126】

この簡略化された例において、検出器１７００は、光源１７１２からの光１７１４が通過することを可能にする開口１７０８を有する不透明なカバーまたはマスク１７１０を含む。示されるように、開口１７０８を通過する光１７１４は、検出器１７００に対する光１７１４の角度、したがって、光源１７１２の角度を判定するように電気的に特徴づけられ得る光点１７０６を形成する。下で説明されるように、本開示のシステム及び方法は、複数の光源及び検出器を利用して、ＨＭＤシステムのコンポーネントの位置を判定し得る。

【0127】

示される例において、第１円偏光子１７１６は、光源１７１２に近接して（例えば隣に）位置し、第２偏光子１７１８は、検出器１７００に近接して位置する。少なくともいくつかの実装において、光源１７１２によって放射された光は、第１円偏光子１７１６及び第２円偏光子１７１８によって、決定された方式で偏光され得、散乱光検出器１７００は、光源１７１２から直接的に受信された光と、散乱光検出器１７００によって受信される前に散乱または反射された光源からの光とを区別するよう構成され得る。１つの非限定的な例において、第１及び第２円偏光子１７１６及び１７１８の一方はそれぞれ、右手または左手円偏光子の一方を含み得、第１及び第２円偏光子１７１６及び１７１８の他方は、右手または左手円偏光子の他方を含み得る。例えば、光源１７１２の第１円偏光子１７１６は、右手円偏光子を含み得、散乱光検出器１７００の第２円偏光子１７１８は、左手円偏光子を含み得る。この構成において、散乱光検出器１７００の第２円偏光子１７１８は、偏光解消表面（例えば、ランダム偏光を有する）で反射された光、または、非偏光解消表面（例えば、ガラス、金属、アクリルなど）で反射され、反射後に左円偏光された光を検出するために使用され得る。そのような光が判定閾値の上である場合、トラッキングシステムは、反射または散乱された光も受信した可能性が高いと判定された１または複数の検出器からの信号を無視し得る。

【0128】

図１８は、使用中にＨＭＤコンポーネントの位置をトラッキングするためにＨＭＤシステムを操作する一例の方法１８００のフロー図である。方法１８００は、例えば、図５に示されるＨＭＤシステム５００の位置トラッキングシステムまたはモジュール５１２により実行されてよい。上で説明されたように、方法１８００は、ユーザの頭部に着用可能なＨＭＤデバイス、１または複数のハンドヘルドコントローラ等、任意のコンポーネントの位置をトラッキングするために使用され得る。

【0129】

方法１８００の示される実装は、動作１８０２で開始し、ここで、複数の角度感知検出器を有する第１ＨＭＤシステムコンポーネントが提供される。複数の角度感知検出器は、固定的に位置決めされ得る（例えば、壁または天井に搭載される）、または、可動的であり得る（例えば、ＨＭＤヘッドセットまたはコントローラに結合される）１または複数の光源から放射される光を検出するように作用し得る。動作中に、複数の角度感知検出器の各々は、あるフレームレートで、複数の角度感知検出器のそれぞれの視野におけるセンサデータをキャプチャする。センサデータは、角度感知検出器に対する光源の存在及び方向を検出するために制御回路（例えばプロセッサ）によって利用可能である任意のタイプのデータを含み得る。少なくともいくつかの実装において、角度感知検出器の各々は、画像検知回路及び任意選択で画像処理回路を有する１または複数のセンサ（例えばフォトダイオード）を含み得る。角度感知検出器は、比較的未加工のデータ（例えば、光強度またはパワーデータ）または処理されたデータ（例えば、入射角データ）を出力し得る。

【0130】

１８０４において、複数の光源（例えば、近ＩＲ ＬＥＤ）を含む第２ＨＭＤシステムコンポーネントが提供され得る。第２ＨＭＤシステムコンポーネントは、例えば、コントローラ、ＨＭＤヘッドセット、または固定位置（例えば、天井、壁）に配置された光源を含んでよい。

【0131】

１８０６において、ＨＭＤシステムの少なくとも１つのプロセッサは、光源に光を放射させ得る。光源は、角度感知検出器の各々が単一の光源からの光を同時に検出し得る方式で、またはより一般に、角度感知検出器によって検出された光が受信されどの光源から照射されたかをシステムが判定することが可能であり得る方式で照射され得る。これは、時間多重化、波長多重化、周波数多重化、偏光多重化、または、使用中に角度感知検出器の各々から受信された光の光源をシステムが知ることを可能にする他の技法など、任意の好適なタイプの多重化を使用して、光源の照射を多重化することによって達成され得る。

【0132】

時間多重化の一例として、少なくとも１つのプロセッサは、光源のサブセット（例えば、１、２、４）のみを同時に照射し得る。例えば、少なくとも１つのプロセッサは、同時に１つのサブセットで、光源を順次照射し、光源の各々に応答してセンサデータを収集し得る。

【0133】

波長多重化の一例として、光源の異なるサブセットは、異なる波長の光を放射し得、角度感知検出器の異なるサブセットは、異なる波長の光を検知するように作用し得る。故に、異なる波長を有する光源は、同時に照射され、対応する波長感知検出器によって検出され得る。

【0134】

周波数多重化の一例として、光の特定の光源を識別するために角度感知検出器によって検出可能である判定されたパターンまたは周波数で、光源のサブセットが照射され得る。

【0135】

偏光多重化の一例として、光源のサブセットが、異なるように（例えば、直線、円）偏光され得、角度感知検出器の対応するサブセットが、複数の光源が同時に照射されることを可能にする特定の偏光された光を（例えば、対応する偏光を有する光を通過させる偏光子を使用して）検出するよう構成され得る。

【0136】

光源を照射するための他の非限定的な例の技法は、周波数または波長分割多重接続（ＦＤＭＡまたはＷＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多元接続（ＯＦＤＭＡ）等を含み得る。

【0137】

１８０８において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは、複数の角度感知検出器からセンサデータを受信し得る。上に記載されたように、各角度感知検出器について、センサデータは、既知の光源から放射された光の到着角度を示し得る。１８１０において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは任意選択で、慣性トラッキング機能、または、１または複数の追加のセンサからのセンサデータを提供するように作用する慣性測定ユニット（ＩＭＵ）からセンサデータを受信し得る。

【0138】

１８１２において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは、下で更に説明されるように、破損したデータの検出を含む、受信されたセンサデータの処理を行い得る。例えば、少なくとも１つのプロセッサは、センサデータのいくつかまたは全てをともに融合して、ＨＭＤシステムが動作する環境に存在する１または複数の特徴をトラッキングしてよい。センサデータは、複数の角度感知検出器からのセンサデータ、及び任意選択で、ＩＭＵ、カメラ、または他のセンサデータからのセンサデータを含み得る。少なくとも１つのプロセッサは、例えば、機械学習モデル（例えば、モデル６０６）、または別のソルバを使用してセンサデータを処理し得る。下で更に説明されるように、少なくともいくつかの実装において、少なくとも１つのプロセッサは、破損されたと判定された１または複数のセンサからのデータ、例えばＨＭＤシステムの光源から直接的に受信された可能性が低く、別の光源から散乱、反射、または受信された光からのデータを無視し得る。

【0139】

１８１４において、ＨＭＤシステムに関連付けられた少なくとも１つのプロセッサは、環境においてユーザによってＨＭＤシステムが使用されている間にリアルタイムで、ＨＭＤシステムのコンポーネントの位置（例えば、場所、向き、または移動）をトラッキングし得る。ＨＭＤの動作中、方法１８００は引き続き、上で説明されたように、ＨＭＤシステムのコンポーネントの位置を連続的にトラッキングし得る。

【0140】

受信されたセンサデータの処理において、制御回路は、１または複数の破損したセンサデータサンプルを識別し得、ここで、１または複数の破損したセンサデータサンプルの各々は、１または複数の光源から複数の角度感知検出器の１つによって直接的に受信された光を表していない可能性が高いと識別された複数の角度感知検出器の１つからのセンサデータサンプルを含む。少なくともいくつかの実装において、制御回路は、トラッキングプロセス中に、破損したセンサデータサンプルを無視するよう構成され、固定または可変の期間にわたって、その光学検出器からのサンプルを無視し続け得る。

【0141】

破損したセンサデータサンプルの識別は、第１及び第２ヘッドマウントディスプレイシステムコンポーネントのうちの少なくとも１つの既知のジオメトリに少なくとも部分的に基づき得る。例えば、第１ヘッドマウントディスプレイシステムコンポーネントまたは第２ヘッドマウントディスプレイシステムコンポーネントのうちの少なくとも１つの投影モデルが、複数の角度感知検出器のうちのどれが、複数の光源の１または複数から直接的に光を受信していない可能性が高いかを判定するために利用され得、そのような検出器からのデータは、ある期間にわたって無視され得る。例えば、受信されたセンサデータサンプルは、少なくとも１つの投影モデルと比較され得、定義された閾値内の少なくとも１つの投影モデルと一致しない受信されたセンサデータサンプルは、無視されるべき破損したセンサデータサンプルと識別され得る。

【0142】

追加的または代替的に、１または複数の破損したセンサデータサンプルの識別は、少なくとも部分的に、第１及び第２ヘッドマウントディスプレイシステムコンポーネントのうちの少なくとも１つの過去の位置または向き、第１及び第２ヘッドマウントディスプレイシステムコンポーネントのうちの少なくとも１つの現在の位置または向き、または、第１及び第２ヘッドマウントディスプレイシステムコンポーネントのうちの少なくとも１つの予測される未来の位置または向きの１または複数に基づき得る。

【0143】

少なくともいくつかの実装において、１または複数の検出器が無効化されるサンプルの数または期間は、第１ヘッドマウントディスプレイシステムコンポーネントまたは第２ヘッドマウントディスプレイシステムコンポーネントのうちの少なくとも１つの実際のまたは予測される動き（例えば、方向、速度、回転）等の様々な基準に基づいて選択的に変動し得る。一例として、投影モデルとの比較は、検出器がオブジェクト（例えば、壁、人、他のコンポーネント）によって遮られること、または、ＨＭＤシステムの光源から別の方を向いており、したがって、ある期間にわたってＨＭＤシステムの光源の１つから直接的に光を受信する可能性が低いことを示し得る。制御回路は、１または複数のコンポーネントの位置または動きをトラッキングして、期間を決定し得る。その期間の後、検出器は、複数の光源のうちの少なくとも１つから再び光を受信することが予想される。このとき、システムは、トラッキングの目的で検出器からのサンプルを再び使用し得る。

【0144】

ヘッドマウントディスプレイシステムコンポーネントは、ユーザの頭部に着用可能であるヘッドマウントディスプレイデバイス、コントローラ、基地局、または他のＨＭＤシステムコンポーネントを備え得る。本明細書の別の箇所で説明されたように、受信されたセンサデータを処理するために、制御回路は、受信されたセンサデータを入力として１または複数の訓練済み機械学習モデルに提供し得る。

【0145】

図１９は、本開示の一例の実施形態による、ＨＭＤシステムの位置トラッキングシステムの複数の光源の輝度を適合的に調整する方法についてのフロー図である。方法１９００は、例えば、図５に示されるＨＭＤシステム５００の位置トラッキングシステムまたはモジュール５１２によって実行され得る。上で説明されたように、方法１９００は、例えば、図１８の方法１８００と組み合わせて、ユーザの頭部に着用可能なＨＭＤデバイス、１または複数のハンドヘルドコントローラ等の任意のコンポーネントの位置のトラッキング中に実装され得る。有利なことに、本明細書において説明される適合的な輝度の特徴は、検出器の比較的多いダイナミックレンジを利用することによって向上した性能を提供し得、また、電力消費を低減することによって、バッテリ寿命を増加させ得る。

【0146】

方法１９００は１９０２で開始し、ここで、ＨＭＤシステムの制御回路は、光学検出器（例えば、フォトダイオード、角度感知検出器）から光学検出器データを受信する。１９０４において、制御回路は、受信された光学検出器データを処理し得、１９０６において、制御回路は、処理された光学検出器データに少なくとも部分的に基づいて、複数の光源のうちの少なくとも１つの輝度を適合的に調整し得る。少なくともいくつかの実装において、制御回路は、光学検出器のダイナミックレンジに基づいて、１または複数の光源のうちの少なくとも１つの輝度を適合的に調整し、例えば、光学検出器のダイナミックレンジを最大化する。輝度を調整するために、１または複数の光源に供給される信号のパルス幅は、選択的に調整され得る。

【0147】

少なくともいくつかの実装において、制御回路は、１または複数の光源を無効化し（「暗測定」）、１または複数の光源が無効化されている間に光学検出器から光学データを受信し得る。そのような特徴は、１または複数の光センサの輝度が、ＨＭＤシステムが操作される環境における周囲光レベルに基づいて適合されることを可能にし得る。

【0148】

この特徴の一例の方法２０００が図２０に示される。２００２において、制御回路は、ＨＭＤシステムの１または複数（例えば全て）の光源を無効化し得る。２００４において、１または複数の光源が無効化されている間に、制御回路は、光学検出器からのセンサデータをキャプチャし得る。２００６において、制御回路は、キャプチャされたセンサデータに基づいて１または複数の光源の輝度設定を調整し得る。２００８において、制御回路は任意選択で、１または複数のコンポーネントの動き、経過時間、サンプルの数、周囲光の量、周囲光の検出された変化等、１または複数のパラメータの変化に基づいて、輝度調整のためにセンサデータキャプチャの速度を調整し得る。１または複数の光源の輝度を適合的に調整するために、本明細書の別の箇所で説明されるように、受信された光学検出器データは入力として、１または複数の訓練された機械学習モデルに提供され得る。少なくともいくつかの実装において、制御回路は、光測定を周期的に（例えば、５サンプルごとに、５０サンプルごとに）実行し、測定の結果に基づいて、測定の各々の後に、光源の輝度を調整し得る。

【0149】

図２１は、本開示の一例の実施形態による、ＨＭＤシステムの位置トラッキングシステムの光源の不均一な輝度を補償する方法についてのフロー図である。実際には、クアッドフォトダイオード（ＱＰＤ）等の角度感知検出器は、（例えば多重化を介して）時間中に順次に読み取られるチャネルの数を含み得る。したがって、検出器のチャネルの全ての測定は同時にキャプチャされないので、光源の輝度におけるいかなる不均一性も不正確な測定を引き起こし得る。例えば、照射期間にわたってＬＥＤが照射されると、その強度は、熱及び他の影響（例えば、「ドループ」）に起因して、照射期間にわたって変動し得る。下で説明されるように、方法２１００は、この効果を補償し、これは有利なことに、位置トラッキングに使用される、より正確な測定を提供する。

【0150】

方法２１００は、例えば、図５に示されるＨＭＤシステム５００の位置トラッキングシステムまたはモジュール５１２によって実行され得る。上で説明されたように、方法２１００は、例えば、図１８の方法１８００と組み合わせて、ユーザの頭部に着用可能なＨＭＤデバイス、１または複数のハンドヘルドコントローラ等の任意のコンポーネントの位置のトラッキング中に実装され得る。

【0151】

方法２１００は２１０２で開始し、ここで、制御回路は、１または複数の光源に、照射期間中に光を放射させ得る。２１０４において、制御回路は、センサデータを角度感知検出器から受信し得、これは、上で説明されたように、照射期間中に複数のセンサセルからセンサセルサンプルを順次にキャプチャすることを含む。例えば、制御回路は、アナログ－デジタルコンバータ（ＡＤＣ）を含み得、マルチプレクサが、角度感知検出器の複数（例えば４）のセンサセルの各々から、センサセルサンプルにおいて順次に読み取るために使用され得る。照射データは、時間に関して光源についての照射プロファイルを提供することが可能である他の方法を使用してキャプチャされ得る。

【0152】

２１０６において、制御回路は、受信されたセンサデータを処理し得、これは、センサセルサンプルの順次のキャプチャ中に１または複数の光源の不均一な輝度を考慮するための訂正を決定することを含む。２１０８において、制御回路は、決定された訂正を使用して、較正データをセンサセルサンプルに適用し、較正されたセンサセルサンプルを使用して第１ヘッドマウントディスプレイシステムコンポーネントの位置をトラッキングし得る。較正データは、例えば照射期間中の１または複数の光源の輝度の特徴的な勾配を表し得る。

【0153】

少なくともいくつかの実装において、制御回路は、更新された較正データを反復的に決定し得、更新された較正データを使用して第１ヘッドマウントディスプレイシステムコンポーネントの位置をトラッキングし得る。一例として、更新された較正データを決定するために、制御回路は、較正期間にわたって１または複数の光源を無効化し、較正期間中に複数のセンサセルからセンサセルサンプルを順次にキャプチャし、キャプチャされたセンサセルサンプルを内挿し、キャプチャされたセンサセルサンプルの内挿に基づいて、更新された較正データを決定し得る。

【0154】

較正データは、追加的または代替的に、ＨＭＤシステムの製造または設計プロセス中に決定され得る。例えば、光源（例えば、ＬＥＤ）の特徴的な勾配または機能は、角度感知検出器または他のタイプの光学検出器を使用して経験的に決定され得、そのような情報は、ＨＭＤシステムの動作中に光源（または同様または同一の光源）の不均一性を補償するためにＨＭＤシステムに提供され得る。より一般的に、ヘッドマウントディスプレイシステムコンポーネントを較正する方法は、１または複数の光源に、照射期間にわたって光を放射させる段階、角度感知検出器の複数のセンサセルからセンサセルサンプルを順次にキャプチャする段階、受信されたセンサセルサンプルを処理して、照射期間中に１または複数の光源の不均一な輝度を考慮する較正データを生成する段階、及び、ヘッドマウントディスプレイシステムの少なくとも１つのコンポーネントのトラッキングにおいて後に使用するために、非一時的なプロセッサ可読記憶媒体に較正データを格納する段階を備え得る。

【0155】

図２２は、本開示の一例の実施形態による、ＨＭＤシステムのトラッキングサブシステムのコンポーネントを適合的に有効化及び無効化する方法のフロー図である。光源（例えばＬＥＤ）の文脈において、方法２２００の実装は、ＬＥＤの「適合的ファイヤリング」と称され得、これにより、例えば、電力消費を低減し、したがって、バッテリ寿命を延長し得る。上で説明されたように、方法２２００は、例えば、図１８の方法１８００と組み合わせて、ユーザの頭部に着用可能なＨＭＤデバイス、１または複数のハンドヘルドコントローラ等の任意のコンポーネントの位置のトラッキング中に実装され得る。

【0156】

方法２２００は２２０２で開始し、ここで、制御回路は、複数の光源の１または複数に光を放射させる。２２０４において、本明細書の別の箇所で説明されるように、制御回路は、複数の光学検出器の１または複数からセンサデータを受信し、受信されたセンサデータに少なくとも部分的に基づいて第１ヘッドマウントディスプレイシステムコンポーネントの位置をトラッキングする。

【0157】

２２０６において、制御回路は、受信されたセンサデータを処理し得、これは、決定された無効化基準に基づいて、光学検出器または光源のいずれか１つを無効化するかどうか決定することを含む。２２０８において、制御回路は、第１ヘッドマウントディスプレイシステムコンポーネントの位置のトラッキング中に、それぞれの無効化期間にわたって、無効化基準を満たす光学検出器または光源の各々を無効化し得る。

【0158】

一般に、無効化基準は、光源によって放射された光が、第１ヘッドマウントディスプレイシステムコンポーネントの光学検出器のいずれかによって受信される可能性が低いという判定を提供または促進する。例えば、無効化基準は、特定の光源がＨＭＤシステムの光学検出器とは別の方を向いている、または、ＨＭＤシステムが操作されている環境においてオブジェクト（例えば、人、コンポーネント、家具、壁）によって遮られていると判定し得る。同様に、制御回路は、光学検出器が、光源から光を受信する可能性が低く、したがって、固定または可変の期間にわたって無効化され得ると判定し得る。

【0159】

無効化基準は、コントローラ及びヘッドセットの間の相対的な位置または動き、コントローラ及び基地局の間の相対的な位置または動き、または、ヘッドセット及び基地局の間の相対的な位置または動き等、第１ヘッドマウントディスプレイシステムコンポーネント及び第２ヘッドマウントディスプレイシステムコンポーネントの間の決定された相対的な位置または動きに少なくとも部分的に基づき得る。上で説明されるように、光源からの光がＨＭＤシステムの光学センサによって直接的に受信されると予測されるかどうかを評価するために、１または複数の投影モデルが使用され得る。少なくともいくつかの実装において、特定のコンポーネント（例えば、光源、検出器）がいつ無効化され得るか、及び、そのようなコンポーネントがいつ再有効化されるべきかを予測するために、位置トラッキング情報が使用され得る。

【0160】

少なくともいくつかの実装において、無効化基準は、複数の光源の第１サブセットにおける各光源によって放射される光が、第１ヘッドマウントディスプレイシステムコンポーネントの光学検出器のうちの少なくとも１つによって受信される可能性が高いという判定を提供または促進し、無効化基準は、それぞれ無効化期間にわたって光源の第１サブセット内の光源の第２サブセットを無効化するように作用する。例えば、システムは、離れている４つの光源の第１サブセットが、１または複数の検出器によって検出される可能性が高いと決定し得、ある期間にわたって２つの光源のみが有効化されるように第１サブセットの２つの光源（すなわち、第２サブセット）を無効化し得る。この特徴により、光学センサによって検出可能な光源をなお提供しながら、バッテリ寿命を増加し得る。少なくともいくつかの実装において、無効化されない光源の第１サブセットにおける光源は、互いに比較的離れている光源であり得、これにより、光源によって放射された光を検出する光学検出器に関して比較的大きい離隔の角度を提供し、それにより、測定正確度を向上し得る。

【0161】

図２３は、本開示の一例の実施形態による、慣性センサデータ、光学センサデータ、及び画像データを融合することによって、使用中のＨＭＤシステムのコンポーネントの位置、向き及び／または動きをトラッキングするようにＨＭＤシステムの位置トラッキングシステムを動作させる方法のためのフロー図である。上で説明されたように、方法２３００は、例えば、図１８の方法１８００と組み合わせてユーザの頭部に着用可能なＨＭＤデバイス、１または複数のハンドヘルドコントローラ等の任意のコンポーネントの位置のトラッキング中に実装され得る。

【0162】

ヘッドマウントディスプレイシステムは、第１ヘッドマウントディスプレイシステムコンポーネント、第１ヘッドマウントディスプレイシステムコンポーネントによって保持される慣性測定ユニット（ＩＭＵ）、第１ヘッドマウントディスプレイシステムコンポーネントによって保持される複数の角度感知光学検出器（または他のタイプの光学検出器）、及び第１ヘッドマウントディスプレイシステムコンポーネントによって保持される少なくとも１つのカメラを備え得る。２３０２において、ＨＭＤシステムに関連する制御回路は、慣性測定ユニットから慣性センサデータを受信し得る。２３０４において、制御回路は、複数の角度感知光学検出器または他のタイプの光学検出器の１または複数から光学センサデータを受信し得る。２３０６において、制御回路は、イメージセンサデータをカメラから受信し得る。一例として、カメラは、ユーザの頭部に着用可能である、前方を向いたＨＭＤデバイスのカメラであり得る。

【0163】

２３０８において、制御回路は、受信された慣性センサデータ、光学センサデータ及びイメージセンサデータを処理または融合し得る。例えば、制御回路は、中心極限定理アルゴリズム、カルマンフィルタ、ベイジアンネットワーク、デンプスター－シェーファーアルゴリズム、または畳み込みニューラルネットワークを含むがこれらに限定されない１または複数のセンサ融合アルゴリズムを利用し得る。２３１０において、制御回路は、受信された慣性センサデータ、光学センサデータ及びイメージセンサデータの処理に少なくとも部分的に基づいて、第１ヘッドマウントディスプレイシステムコンポーネントの位置をトラッキングし得る。少なくともいくつかの実装において、本明細書の別の箇所で説明されるように（例えば、図６を参照）、受信された慣性センサデータ、光学センサデータ及びイメージセンサデータを処理するために、制御回路は、慣性センサデータ、光学センサデータ及びイメージセンサデータを入力として１または複数の訓練された機械学習モデルに提供し得る。

【0164】

前述の詳細な説明は、ブロック図、概略図、及び例を使用することにより、デバイス及び／または処理の様々な実装を示してきた。そのような複数のブロック図、概略図、及び例が１または複数の機能及び／または動作を含む限りにおいて、当業者は、そのような複数のブロック図、フロー図、または例における各機能及び／または動作が広範なハードウェア、ソフトウェア、ファームウェア、または実質的に、それらのいずれかの組み合わせにより個別に、及び／または集合的に実装され得ることを理解するであろう。一実装において、本主題は、特定用途向け集積回路（ＡＳＩＣ）を介して実装されてよい。しかしながら、当業者は、本明細書に開示された実装が、１または複数のコンピュータ上で動作する１または複数のコンピュータプログラムとして（例えば、１または複数のコンピュータシステム上で動作する１または複数のプログラムとして）、１または複数のコントローラ（例えば、マイクロコントローラ）上で動作する１または複数のプログラムとして、１または複数のプロセッサ（例えば、マイクロプロセッサ）上で動作する１または複数のプログラムとして、ファームウェアとして、または、回路の設計及び／またはソフトウェアまたはファームウェアのコードの書き込みが本開示に照らして当業者の技能の十分な範囲内である仮想的にそれらの任意の組み合わせとして、全体的または部分的に、標準的な集積回路で同等に実装できることを認識するであろう。

【0165】

当業者は、本明細書に記載された方法またはアルゴリズムセットの多くが、追加の動作を採用し得、いくつかの動作を省略し得、及び／または規定とは異なる順序で動作を実行し得ることを認識するであろう。

【0166】

加えて、当業者は、本明細書で教示される複数の機構が、様々な形式でプログラム製品として配布可能であり、例示的な実装は、実際に配布を実行するために用いられる信号担持媒体の特定のタイプにかかわらず等しく適用されることを理解するであろう。信号担持媒体の例としては、フロッピディスク、ハードディスクドライブ、ＣＤ－ＲＯＭ、デジタルテープ、及びコンピュータメモリ等、記録可能なタイプの媒体が挙げられるが、これらに限定されない。

【0167】

上記の様々な実装を組み合わせて、さらなる実装を提供することができる。本明細書における具体的な教示及び定義と矛盾しない限り、本明細書において参照される米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、及び非特許公開のすべては、全体的に参照によって本明細書に組み込まれる。必要に応じて、実装の複数の態様を変更して、様々な特許、アプリケーション、及び、公報のシステム、回路、及び、概念を採用し、さらに別の実装を提供することができる。

【0168】

上記の詳細な説明に照らして、これら及び他の変更を実装に加えることができる。一般に、以下の請求項において、使用される用語は、請求項を明細書及び請求項に開示された特定の実装に制限するものと解釈されるべきではなく、そのような請求の対象となる同等の範囲全体に沿って可能なすべての実装を含むものと解釈されるべきである。したがって、特許請求の範囲は開示によって限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【国際調査報告】