特開 2024-31946 ヘッドセット調整

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024031946

(43)【公開日】2024-03-07

(54)【発明の名称】ヘッドセット調整

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240229BHJP

   G06T 7/20 20170101ALI20240229BHJP

   G06F 3/048 20130101ALI20240229BHJP

   G02B 27/02 20060101ALI20240229BHJP

【ＦＩ】

G06F3/01 510

G06T7/20 300B

G06F3/048

G02B27/02 Z

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023136021

(22)【出願日】2023-08-24

(31)【優先権主張番号】17/894,470

(32)【優先日】2022-08-24

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】515046968

【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー

【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】モデル， ドミトリー

(72)【発明者】

【氏名】ポファム， ジェイコブ ディーン

(72)【発明者】

【氏名】ケラー， ブレイズ マイケル

【テーマコード（参考）】

2H199

5E555

5L096

【Ｆターム（参考）】

2H199CA43

2H199CA66

2H199CA67

2H199CA72

2H199CA73

2H199CA74

2H199CA92

2H199CA96

5E555AA42

5E555BA38

5E555BB38

5E555BC04

5E555CA42

5E555CB65

5E555DA08

5E555DD01

5E555EA22

5E555FA00

5L096DA01

5L096FA66

5L096FA69

5L096HA05

5L096JA11

(57)【要約】      （修正有）

【課題】ヘッドセットまたはヘッドマウントディスプレイ、およびユーザのフィットの最適化を支援する方法を提供する。
【解決手段】方法は、ユーザがヘッドセットを着用したことを検出することと、センサーを使用してユーザの眼の眼線追跡データを捕捉することと、眼線追跡データを使用して、着用したヘッドセットと所定の最適な着用位置との間の６自由度オフセットを推定することと、カメラによって取得されたユーザの顔の下部の画像内の顔ランドマークを使用して、着用したヘッドセットと所定の最適な着用位置との間のピッチオフセットを推定することと、６自由度オフセットおよびピッチオフセットに基づいて、所定の最適な着用位置に近づくようにヘッドセットを調整するようにユーザをガイドする命令を生成することとを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
ユーザがヘッドセットを着用したことを検出することと、
前記ヘッドセットの眼線追跡センサーを使用して、前記ユーザの眼の眼線追跡データを捕捉することと、
前記ヘッドセットのカメラを使用して、前記ユーザの顔の下部の画像を捕捉することと、
前記眼線追跡データを使用して、前記ユーザによって着けられた前記ヘッドセットと前記ヘッドセットの所定の最適な着用位置との間の６自由度（６ＤｏＦ）オフセットを推定することであって、前記６ＤｏＦオフセットが、３つの並進オフセット、ロールオフセット、ヨーオフセットおよび瞳孔間距離（ＩＰＤ）オフセットを含む、６ＤｏＦオフセットを推定することと、
前記画像内の顔ランドマークを使用して、前記ユーザによって着けられた前記ヘッドセットと前記ヘッドセットの前記所定の最適な着用位置との間のピッチの差を示すピッチオフセットを推定することと、
前記６ＤｏＦオフセットおよび前記ピッチオフセットに基づいて、前記ヘッドセットの前記所定の最適な着用位置により近くなるように前記ヘッドセットを調整するように前記ユーザをガイドするための１つまたは複数のユーザ命令を生成することと
を含む、方法。

【請求項2】

現在の眼の位置のオフセットが、６自由度に対する瞳孔位置を検出する眼線追跡プログラムを従事させることによって決定される、請求項１に記載の方法。

【請求項3】

生成された前記命令が、ロールおよびヨーを調整することを含む、請求項１に記載の方法。

【請求項4】

前記ピッチオフセットの値が、前記ユーザの顔上の１つまたは複数のランドマークを検出することによって決定される、請求項１に記載の方法。

【請求項5】

最適な顔の位置が、前記ユーザの顔上の前記１つまたは複数のランドマークのうちの１つ以上が前記カメラの検出限界内にないという決定に応答して、デフォルトに設定される、請求項４に記載の方法。

【請求項6】

前記ユーザがアプリケーションを開くことに応答して始動される、請求項１に記載の方法。

【請求項7】

現在の眼の位置のオフセットおよび前記ピッチオフセットが設定パラメータ内にあるという決定後に前記方法が始動および終了する前にプログラムが従事する、請求項１に記載の方法。

【請求項8】

現在の眼の位置のオフセットを減少させるために前記ヘッドセットの調整方向を決定することと、前記ピッチオフセットを減少させるために前記ヘッドセットの調整方向を決定することとが、同時に行われる、請求項１に記載の方法。

【請求項9】

ソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアは、実行されたときに、
ユーザがヘッドセットを着用したことを検出することと、
前記ヘッドセットの眼線追跡センサーを使用して、前記ユーザの眼の眼線追跡データを捕捉することと、
前記ヘッドセットのカメラを使用して、前記ユーザの顔の下部の画像を捕捉することと、
前記眼線追跡データを使用して、前記ユーザによって着けられた前記ヘッドセットと前記ヘッドセットの所定の最適な着用位置との間の６自由度（６ＤｏＦ）オフセットを推定することであって、前記６ＤｏＦオフセットが、３つの並進オフセット、ロールオフセット、ヨーオフセットおよび瞳孔間距離（ＩＰＤ）オフセットを含む、６ＤｏＦオフセットを推定することと、
前記画像内の顔ランドマークを使用して、前記ユーザによって着けられた前記ヘッドセットと前記ヘッドセットの前記所定の最適な着用位置との間のピッチの差を示すピッチオフセットを推定することと、
前記６ＤｏＦオフセットおよび前記ピッチオフセットに基づいて、前記ヘッドセットの前記所定の最適な着用位置により近くなるように前記ヘッドセットを調整するように前記ユーザをガイドするための１つまたは複数のユーザ命令を生成することと
を行うように動作可能な、
媒体。

【請求項10】

前記ソフトウェアが、実行されたときに、５自由度に対する瞳孔位置を検出する眼線追跡プログラムを従事させることによって、現在の眼の位置のオフセットを決定するようにさらに動作可能である、請求項９に記載の媒体。

【請求項11】

生成された前記命令が、ロールおよびヨーを調整することを含む、請求項９に記載の媒体。

【請求項12】

前記ピッチオフセットの値が、前記ユーザの顔上の１つまたは複数のランドマークを検出することによって決定される、請求項９に記載の媒体。

【請求項13】

最適な顔の位置が、前記ユーザの顔上の前記１つまたは複数のランドマークのうちの１つ以上が前記カメラの検出限界内にないという決定に応答して、デフォルトに設定される、請求項９に記載の媒体。

【請求項14】

前記ソフトウェアが、実行されたときに、現在の眼の位置のオフセットを減少させるために前記ヘッドセットの調整方向を決定し、同時に、前記ピッチオフセットを減少させるために前記ヘッドセットの調整方向を決定するようにさらに動作可能である、請求項９に記載の媒体。

【請求項15】

１つまたは複数のプロセッサと、
前記プロセッサのうちの１つまたは複数に結合された、１つまたは複数のコンピュータ可読非一時的記憶媒体と
を備える、システムであって、前記媒体は、前記プロセッサのうちの１つまたは複数によって実行されたときに、前記システムに、
ユーザがヘッドセットを着用したことを検出することと、
前記ヘッドセットの眼線追跡センサーを使用して、前記ユーザの眼の眼線追跡データを捕捉することと、
前記ヘッドセットのカメラを使用して、前記ユーザの顔の下部の画像を捕捉することと、
前記眼線追跡データを使用して、前記ユーザによって着けられた前記ヘッドセットと前記ヘッドセットの所定の最適な着用位置との間の６自由度（６ＤｏＦ）オフセットを推定することであって、前記６ＤｏＦオフセットが、３つの並進オフセット、ロールオフセット、ヨーオフセットおよび瞳孔間距離（ＩＰＤ）オフセットを含む、６ＤｏＦオフセットを推定することと、
前記画像内の顔ランドマークを使用して、前記ユーザによって着けられた前記ヘッドセットと前記ヘッドセットの前記所定の最適な着用位置との間のピッチの差を示すピッチオフセットを推定することと、
前記６ＤｏＦオフセットおよび前記ピッチオフセットに基づいて、前記ヘッドセットの前記所定の最適な着用位置により近くなるように前記ヘッドセットを調整するように前記ユーザをガイドするための１つまたは複数のユーザ命令を生成することと
を実行させるように動作可能な命令を含む、
システム。

【請求項16】

前記プロセッサが、前記命令を実行するときに、５自由度に対する瞳孔位置を検出する眼線追跡プログラムを従事させることによって現在の眼の位置のオフセットを決定するようにさらに動作可能である、請求項１５に記載のシステム。

【請求項17】

生成された前記命令が、ロールおよびヨーを調整することを含む、請求項１５に記載のシステム。

【請求項18】

前記ピッチオフセットの値が、前記ユーザの顔上の１つまたは複数のランドマークを検出することによって決定される、請求項１５に記載のシステム。

【請求項19】

最適な顔の位置が、前記ユーザの顔上の前記１つまたは複数のランドマークのうちの１つ以上が前記カメラの検出限界内にないという決定に応答して、デフォルトに設定される、請求項１８に記載のシステム。

【請求項20】

現在の眼の位置のオフセットを減少させるために前記ヘッドセットの調整方向を決定することと、前記ピッチオフセットの値を減少させるために前記ヘッドセットの調整方向を決定することとが、同時に行われる、請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、ヘッドセットまたはヘッドマウントディスプレイ、およびユーザのフィットの最適化を支援する方法に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイ（ＨＭＤ）およびニアアイディスプレイ（ＮＥＤ）などのウェアラブルディスプレイシステムを使用して、仮想風景およびオブジェクトをユーザに提示することができるか、または現実環境を動的情報、データもしくは仮想オブジェクトで拡張することができる。仮想現実（ＶＲ）または人工現実（ＡＲ）の風景は、体験を向上させるとともに、仮想オブジェクトとユーザによって観察される実オブジェクトとを一致させるために、３次元（３Ｄ）とすることができる。シミュレートされた環境または拡張された環境へのより良い没入体験を提供するために、眼の位置、注視方向および／またはユーザの向きがリアルタイムで追跡され得、表示される風景および／またはオブジェクトは、ユーザの頭の向きおよび注視方向に応じて動的に調整され得る。いくつかのウェアラブルディスプレイシステムは、個人化された表情を捕捉し、時には再現するために、ユーザの顔の下部に向けられたカメラをさらに含む。

【0003】

ウェアラブルディスプレイシステムおよびその個々の構成要素（カメラ、センサーなど）の配置は、「スイートスポット」を有することが多い。ユーザの眼に焦点が合っている部分については、この「スイートスポット」は、すなわち、ユーザの眼の幾何学的領域であり得、仮想風景または拡張風景のビューが画質、視野、画像アーチファクト、眼線追跡精度および忠実度などの点で最適である場所であり得る。これを達成するために、ユーザの片眼または両眼の周りで調整が必要な場合がある。このタスクは、多種多様な人々の頭部形状および瞳孔間距離（ＩＰＤ）、ならびに眼のくぼみ、額および鼻の突出などの異なる顔の特徴を考慮すると、実際には達成することが困難な場合がある。さらに、顔の下部に向けられたカメラおよび／またはセンサーの１つまたは複数は、最適な位置／配置／角度を有し得る。これについても、カメラおよびセンサーの配置が、ユーザに所望の体験を提供するために必要なデータを正確に捕捉することができる点で最適である「スイートスポット」が存在し得る。

【発明の概要】

【0004】

本開示は、ＶＲ／ＡＲプログラムで使用するためのヘッドセットの適切なフィットを決定する方法を説明する。この方法は、７自由度からのオフセット、眼線追跡からの６自由度のオフセット、および顔追跡からのピッチからのオフセットに依存するプログラムを使用することを含み得、これらのオフセットはすべて、ユーザの眼に向けられたセンサー、およびユーザの顔の下部の画像を捕捉するように配置されたカメラの両方から取得される。一実施形態は、ユーザがヘッドセットを着用したことをコンピュータが検出した後にプログラムを実行することを含む。ユーザがヘッドセットを着用したことをプログラムが検出した後、眼線追跡センサーから取得された眼線追跡データを使用して、ユーザによって着けられたヘッドセットと事前定義されたヘッドセットの最適な着用位置との間の６自由度（６ＤｏＦ）オフセットを推定することができる。６ＤｏＦオフセットは、３つの並進オフセット（水平、垂直、深さ）、ロールオフセット、ヨーオフセット、および瞳孔間距離（ＩＰＤ）オフセットを含み得る。並進オフセットは、ユーザの顔に対して上／下、左／右、および前／後であり得る。ロールオフセットは、ヘッドセットがユーザの一方の耳から他方の耳まで中心からずれて傾いている距離または角度を表し得る。言い換えれば、これは、長手方向軸、すなわち右耳から左耳へ、またはその逆に頭部を通って描かれた軸に沿ったオフセットであり得る。ヨーオフセットは、ユーザの首が垂直軸としても知られる軸である場合など、ヘッドセットがユーザの頭部の周りで中心からずれて回転している距離または角度を表し得る。ＩＰＤオフセットは、軸間距離（ＩＡＤ）、すなわち左右のアイカップ間の間隔と、ユーザの瞳孔間距離（ＩＰＤ）との間の差を表し得る。６ＤｏＦに加えて、プログラムは、画像内の顔ランドマークを使用してピッチオフセットを推定することができ、ピッチオフセットは、ユーザによって着けられたヘッドセットと事前定義されたヘッドセットの最適な着用位置との間のピッチの差を示す。ピッチオフセットは、ユーザの鼻を通って頭部の後ろまで描かれたような軸に沿って回転しているような、ユーザの頭部中央の中心からずれている距離または角度であり得る。一実施形態では、これらの推定オフセット（６ＤｏＦオフセットおよびピッチオフセット）を使用して、ユーザに表示するための１つまたは複数の命令を生成することができ、この命令は、ユーザがヘッドセットをどのように調整してヘッドセットの所定の最適な着用位置に近づけることができるかを詳述し、したがってユーザへのガイドとして機能する。

【0005】

本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、本明細書で開示される実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、前の請求項への意図的な参照（特に複数の従属関係）から生じる主題も請求され得、その結果、請求項とその特徴との任意の組合せが、開示され、添付の特許請求の範囲で選定された従属関係にかかわらず請求され得る。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。

【図面の簡単な説明】

【0006】

【図1】ＶＲ／ＡＲディスプレイシステムのヘッドセットとしても知られる例示的なヘッドマウントデバイスを示す。

【図2】ヘッドセット着用最適化のための例示的な方法を示す。

【図3】コンピュータを使用してヘッドセットのフィットを最適化する例示的な方法を示す。

【図4】プログラムが、この方法の一部として使用され得る異なるタイプの着用ガイダンスのために実装することができる命令を示す。

【図5】例示的なコンピュータシステムを示す。

【発明を実施するための形態】

【0007】

本開示は、ユーザがヘッドセットを最適に着用することを保証するためにコンピュータによって実行されるシステムのための方法を説明する。限定ではなく、明確さおよび効率を目的として、このようなシステムは、本開示を通して「ヘッドセット調整」と呼ばれる。ガイダンスは、１）ヘッドセットを使用している間にユーザが最適な視聴体験を有することを保証すること、２）ソーシャルプレゼンスのより良い体験を提供するために顔追跡システムが顔（特に顔の下部）を適切に見ることができることを保証すること、および３）ソーシャルプレゼンスおよび視線中心窩レンダリング（ＧＦＲ）または眼線追跡を使用する任意の他のアプリケーションのより良い体験を提供するために眼線追跡システムが眼を適切に見ることができることを保証すること、のいずれかまたはすべての利益を提供することができる。ソーシャルプレゼンスは、仮想体験を現実の体験により近づけるためにユーザのより正確な表現を作成するＶＲ／ＡＲ体験の一部である。良好なソーシャルプレゼンスが存在するためには、ユーザに関連付けられたアバターがユーザのように見えなければならない。本開示では、ヘッドマウントデバイス上の１つまたは複数のカメラによって検出および追跡され得る顔の特徴によって、顔の特徴および表情の両方を含む、よりユーザに似て見えるアバターを作成する、アバターを生成するコンピュータプログラムが可能になる。１つまたは複数のカメラがユーザの顔の特徴および表情の正確な表現を作成するために、１つまたは複数のカメラは、特徴および表情を捕捉できるように配置されなければならない。したがって、コンピュータプログラムを使用してユーザにフィットを補正する命令を提供する方法またはシステムが必要とされている。

【0008】

上記で説明したように、仮想現実デバイスおよび人工現実デバイスは、より自然な社会的体験の感覚を作り出すのを助けるソーシャルプレゼンスを作成する能力を有する。ソーシャルプレゼンスの効果を最大化するために、ユーザの顔の特徴および表情は、リアルタイムで捕捉され得る。これにより、コンピューティングシステムが、ユーザの外観およびユーザの変化する表情の両方をより正確に再現することが可能になる。両方を正確に捕捉するために、ヘッドセットは適切な位置になければならない。したがって、いくつかの実施形態では、ユーザが最適な位置を得るのを助けるために、命令が生成され、ユーザに提示されてもよい。さらに、本開示は、他の方式で快適さおよび体験の質の両方を高める。体験の質は、たとえば、ユーザの動きおよびモーションをより良く捕捉することによって高めることができる。しかしながら、命令の生成および提示が効率的に行われない場合、命令は長々しくなり、ユーザ体験の妨げになる可能性がある。したがって、本開示は、これらの懸念を均衡させるヘッドセット補正手法を提示する。

【0009】

本開示によれば、ウェアラブルディスプレイヘッドセットのセンサーから取得可能な情報を使用して、ユーザの頭部へのヘッドセットの正しい配置、およびヘッドセットの正しい調整を容易にすることができる。たとえば、眼線追跡カメラなどのセンサーを使用して、たとえば、現在のユーザの瞳孔間距離（ＩＰＤ）に対応するように、各眼に画像を提示するディスプレイモジュールまたはディスプレイモジュール部分間の距離を調整することができる。この情報はまた、ユーザの頭部のヘッドセット位置を調整するようにユーザをガイドするために使用され得る。調整は手動であってもよく、または自動であってもよい。追加的または代替的に、ＥＴ推定瞳孔位置は、仮想世界が公称の眼の位置ではなくユーザの実際の眼の位置の視点からレンダリングされ得るように、各ディスプレイパネルの元の座標、すなわち（０，０）座標がある場所を電子的に操作するために使用され得る。

【0010】

本開示によれば、ヘッドセット調整の方法であって、ヘッドセットが、センサーと、ユーザに画像を表示する電子ディスプレイを備えるディスプレイモジュールとを備え、方法が、センサーを使用して、ヘッドセットのアイボックス内の最適な眼の位置に対するヘッドセットを着けているユーザの現在の眼の位置のオフセット、および最適な位置に対するヘッドセットを着けているユーザの現在の顔の位置のオフセットを決定することと、オフセットを減少させるためにヘッドセットの調整方向を決定することと、決定された方向にヘッドセットの調整を実行するための命令を提供することとを含む、方法が提供される。

【0011】

本開示によれば、プロセッサによって実行された場合に、プロセッサに、ユーザに画像を表示する電子ディスプレイを備えるディスプレイモジュールを備えるヘッドセットの１つまたは複数のセンサーおよび／またはカメラを使用して、ヘッドセットのアイボックス内の最適な眼の位置に対するヘッドセットを着けているユーザの現在の眼の位置のオフセット、および顔ランドマークに基づくピッチオフセットを決定させ；オフセットを減少させるためにヘッドセットの調整方向を決定し；決定された方向にヘッドセットの調整を実行する命令を提供する命令を記憶した非一時的メモリが提供される。

【0012】

本開示によれば、ヘッドセットと処理モジュールとを備えるウェアラブルディスプレイシステムがさらに提供される。ヘッドセットは、ヘッドセット本体と、ヘッドセット本体内のディスプレイモジュールと、ヘッドセットのユーザに画像を表示する電子ディスプレイを備えるディスプレイモジュールとを含む。処理モジュールは、１つまたは複数のセンサーおよび／またはカメラを使用して、現在の眼の位置対公称の眼の位置のオフセットおよび顔ランドマークに基づくピッチオフセットを決定し、オフセットを減少させるためにヘッドセットの調整方向を決定し；決定された方向にヘッドセットの調整を実行する命令を提供するように構成される。

【0013】

いくつかの実施形態では、眼線追跡は、３つの並進オフセット（水平、垂直、深さ）、ロールオフセット、ヨーオフセットおよびＩＰＤオフセットを含む、６自由度（６ＤｏＦ）に対するオフセットを決定することを含む。追加的または代替的に、顔追跡は、ユーザの顔の特徴の位置およびピッチオフセットを決定することを含む。特徴の位置は、それらの特徴の可視性を確認するシステムによって追跡され、その結果、それらは、ソーシャルプレゼンスの作成に使用するためにカメラおよび／またはセンサーによって後で捕捉され得る。ガイダンスアルゴリズムの役割は、現在の着用推定を、３つの結果：１）どのタイプのガイダンスを示すべきか（たとえば、ロールピッチ、アイレリーフの調整など）、２）ユーザをどの方向にガイドすべきか（上／下、内／外、ＣＷ／ＣＷＷ）、および３）補正の大きさに変換することである。

【0014】

ソーシャルプレゼンスを作成すること以外に、本開示で提示される方法の別の利益は、カメラまたはセンサーがユーザの視線、顔の特徴および／または表情を正確に検出することを困難にする可能性がある特徴またはオブジェクトの検出である。本開示の目的のために、カメラおよび／またはセンサーが適切に機能することができないユーザは、「マージナルユーザ」として説明される。これは、１つまたは複数の特定の特徴の測定値が、カメラおよび／またはセンサーが最適に機能することができる範囲内に入らないためである。たとえば、瞳孔検出は、ユーザが着けている眼鏡からのグレアによって妨げられ得る。状況によってはカメラおよび／またはセンサーの処理を妨げる可能性があるものの別の例は、顔の毛であり、これは、たとえばユーザの口角を隠す可能性がある。ユーザがプログラムによってマージナルユーザであると決定された場合、プログラムは、適切な瞳孔検出および追跡にとって過大なグレアを生成する眼鏡を人が着けている場合、デフォルトの視線などのデフォルトを使用することができる。

【0015】

本開示は、少なくとも２つのアルゴリズムを含むことができ、１つは眼線追跡、１つは顔追跡のためである。アイボックスは、眼線追跡のためのより良い位置合わせを行うために移動可能であり得る。眼線追跡システムは、ユーザの眼の位置および向きを追跡することができる。これは、たとえば、典型的には赤外光などの不可視光を用いてユーザの眼を照らす照明器のアレイ、電子ディスプレイからの可視光を透過しながら、ユーザの眼および顔の眼領域によって散乱された赤外光を反射するホットミラー、ならびに眼の位置および向きを決定する、瞳孔および「グリント」と呼ばれることもある眼からの照明器の反射を有する眼の画像を検出するカメラを使用して行うことができる。ここで、「眼領域」とは、眼を含む顔の領域を表し、眉毛、鼻梁、両眼の目尻、および両眼の下の頬骨までを含み得る。眼領域は、眼自体を含み、特に視線追跡の対象となるのは、角膜、虹彩および瞳孔である。それらの眼線追跡システムは、眼の位置および視線角度の決定の精密度および忠実度が許容可能なレベルで動作するように構成されてもよい。ヘッドセット自体は、眼線追跡および／または顔追跡のためのより良い位置合わせを行うために移動可能であり得る。

【0016】

本開示の方法は、ユーザがヘッドセットを最適な位置に調整する方法に関する命令を見て実行する効率を改善する。これは、５自由度のオフセットおよびピッチオフセットを使用するので、可能であり得る。したがって、そうでない場合に可能であるステップよりも少ないステップを使用して、配置を固定するようにユーザをガイドすることができる。ユーザのフラストレーションを可能な限り最低レベルにして、最小限の時間で最高の着用を提供することが目標である。これを行う１つの方式は、ヘッドマウントデバイスの配置における誤差のマージンを許容することであり、これは、バウンディングボックスによって表すことができる。バウンディングボックスは、許容可能なＤｏＦ（ｍｍ、度、または他の何らかの測定形式）の範囲を指すことができる。使用事例に応じて異なるバウンディングボックス閾値を使用することができる。いくつかの実施形態では、ユーザの混乱を制限するために完全なフィットは必要とされない場合がある。

【0017】

図１は、ＶＲ／ＡＲディスプレイシステムのヘッドセットとしても知られる例示的なヘッドマウントデバイスを示す。ＨＭＤ１００は、ＡＲ／ＶＲ環境への没入の程度を高めるための、ユーザの顔を取り囲むＡＲ／ＶＲウェアラブルディスプレイシステムの一例である。ＨＭＤ１００は、ウェアラブルディスプレイシステムの一実施形態である。ＨＭＤ１００の機能は、コンピュータ生成された像で物理的現実世界の環境のビューを拡張すること、および／または、完全に仮想の３Ｄ像を生成することである。ＨＭＤ１００は、前部本体１０２およびバンド１０４を含むことができる。前部本体１０２は、安定性が高く快適な様式でユーザの眼の前に配置されるように構成され、バンド１０４は、前部本体１０２をユーザの頭に固定するように伸ばされ得る。ディスプレイシステム１８０は、ＡＲ／ＶＲ像をユーザに提示するために、前部本体１０２に配置され得る。前部本体１０２には、ＡＲ／ＶＲプログラムに関連付けられたデータを捕捉および表示するのに有用および／または必要なＨＭＤ１００の構成要素が取り付けられてもよい。前部本体１０２の側面１０６は、不透明または透明であり得る。

【0018】

いくつかの実施形態では、前部本体１０２は、ロケータ１０８と、ＨＭＤ１００の加速度を追跡する慣性測定ユニット（ＩＭＵ）１１０と、ＨＭＤ１００の位置を追跡する位置センサー１１２とを含む。ＩＭＵ１１０は、ＨＭＤ１００のモーションに応答した１つまたは複数の測定信号から受信した測定信号に基づいて、ＨＭＤ１００の位置を示すデータを生成する電子デバイスである。位置センサー１１２の例には、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、モーションを検出する別の好適なタイプのセンサー、ＩＭＵ１１０の誤差補正に使用されるタイプのセンサー、またはそれらの何らかの組合せが含まれる。位置センサー１１２は、ＩＭＵ１１０の外部、ＩＭＵ１１０の内部、またはそれらの何らかの組合せに配置され得る。

【0019】

ロケータ１０８は、仮想現実システムが、ＨＭＤ１００全体の位置および向きを追跡することができるように、仮想現実システムの外部撮像デバイスによって追跡される。ＩＭＵ１１０および位置センサー１１２によって生成された情報は、ＨＭＤ１００の位置および向きの追跡精度を高めるために、ロケータ１０８を追跡することによって取得された位置および向きと比較され得る。正確な位置および向きは、ユーザが３Ｄ空間を移動および回転するときにユーザに適切な仮想風景を提示するために重要である。

【0020】

ＨＭＤ１００は、リアルタイムでユーザの眼の向きおよび位置を決定する眼線追跡システム１１４をさらに含むことができる。ユーザの眼の決定された位置により、ＨＭＤ１００は、図４Ａ～図４Ｆにさらに示すように、ＨＭＤ１００を最も効率的に調整する方法についてユーザに与えられる命令を含み得る、記載の（自己）調整手順を実行することが可能になる。取得されたユーザの眼の位置および向きはまた、ＨＭＤ１００が、ユーザの注視方向を決定することと、それに応じてディスプレイシステム１８０によって生成された画像を調整することとを可能にする。一実施形態において、ユーザの視線の輻輳角、すなわち収束角度が決定される。決定された注視方向および輻輳角は、画角および眼の位置に応じて視覚的アーチファクトをリアルタイムで補償するためにも使用され得る。さらに、決定された輻輳角および視線角度は、ユーザとの対話、オブジェクトの強調表示、オブジェクトの最前面への移動、追加のオブジェクトまたはポインタの作成などに使用され得る。たとえば、前部本体１０２内に内蔵された１組の小さなスピーカーを含む、音響システムも設けられ得る。

【0021】

ＨＭＤ１００は、眼の位置および向きの追跡、視線角度および収束角度の決定などを行う眼線追跡システム１１４と、３Ｄ空間内のＨＭＤ１００の位置および向きを決定するＩＭＵ１１０と、外部環境を捕捉するＤＣＡ１１１と、ＨＭＤ１００の位置を独立して決定する位置センサー１１２と、ＡＲ／ＶＲコンテンツをユーザに表示するディスプレイシステム１８０とを含み得る。ディスプレイシステム１８０は、電子ディスプレイを含み得る。これは、たとえば、限定されるものではないが、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ディスプレイ（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｓｐｌａｙ）、無機発光ディスプレイ（ＩＬＥＤ：ｉｎｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｓｐｌａｙ）、アクティブマトリックス式有機発光ダイオード（ＡＭＯＬＥＤ：ａｃｔｉｖｅ－ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ：ｔｒａｎｓｐａｒｅｎｔ ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、プロジェクタ、またはこれらの組合せであり得る。ディスプレイシステム１８０は、光学ブロック１３０をさらに含み、光学ブロック１３０の機能は、電子ディスプレイ１２５によって生成された画像をユーザの眼に伝えることである。光学ブロックは、たとえば屈折レンズ、フレネルレンズ、回折レンズ、能動または受動パンチャラトナム－ベリー位相（ＰＢＰ：Ｐａｎｃｈａｒａｔｎａｍ－Ｂｅｒｒｙ ｐｈａｓｅ）レンズ、液体レンズ、液晶レンズなどの様々なレンズ、瞳複製導波路、格子構造、コーティングなどを含むことができる。ディスプレイシステム１８０は、光学ブロック１３０の一部であり得る、可変焦点モジュール１３５をさらに含むことができる。可変焦点モジュール１３５の機能は、たとえば、輻輳調節矛盾（ｖｅｒｇｅｎｃｅ－ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ）を補償すること、特定のユーザの視覚障害を補正すること、光学ブロック１３０の収差をオフセットすることなどのために、光学ブロック１３０の焦点を調整することである。

【0022】

ＨＭＤ１００は、ユーザの顔の特徴および表情を追跡する顔追跡システムをさらに含み得る。ＨＭＤ１００は、顔データ、特に人物の顔の下部からの顔データを捕捉するためのカメラ１２０を含み得る。これは、たとえば、ピッチオフセットを計算するために、および／またはより優れたソーシャルプレゼンスを作成するために使用されるアルゴリズムへの入力として使用され得る。

【0023】

Ｉ／Ｏインターフェース１１５は、ユーザがアクション要求を送り、コンソール１９０から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実行するための要求である。たとえば、アクション要求は、画像データもしくは映像データの捕捉を開始もしくは終了するための命令、またはアプリケーション内で特定のアクションを実行するための命令であり得る。Ｉ／Ｏインターフェース１１５には、キーボード、マウス、ゲームコントローラ、またはアクション要求を受信してアクション要求をコンソール１９０に通信する任意の他の好適なデバイスなどの１つまたは複数の入力デバイスが含まれ得る。Ｉ／Ｏインターフェース１１５によって受信されたアクション要求は、コンソール１９０に通信され、コンソール１９０は、そのアクション要求に対応するアクションを実行する。いくつかの実施形態では、Ｉ／Ｏインターフェース１１５は、Ｉ／Ｏインターフェース１１５の初期位置に対するＩ／Ｏインターフェース１１５の推定位置を示す較正データを捕捉するＩＭＵを含む。いくつかの実施形態では、Ｉ／Ｏインターフェース１１５は、コンソール１９０から受信された命令に従って、ユーザに触覚的フィードバックを提供し得る。たとえば、触覚的フィードバックは、アクション要求が受信されたとき、すなわち、コンソール１９０がアクションを実行したときに、コンソール１９０がＩ／Ｏインターフェース１１５に命令を通信してＩ／Ｏインターフェース１１５に触覚的フィードバックを生成させたときに、提供され得る。

【0024】

コンソール１９０は、ＨＭＤ１００に、ＩＭＵ１１０、ＤＣＡ１１１、眼線追跡システム１１４、およびＩ／Ｏインターフェース１１５のうちの１つまたは複数から受信した情報に従って、処理のためにコンテンツを供給し得る。いくつかの実施形態では、コンソール１９０は、アプリケーションストア１５５と、追跡モジュール１６０と、処理モジュール１６５とを含む。コンソール１９０のいくつかの実施形態は、これとは異なるモジュールまたは構成要素を有し得る。同様に、以下でさらに説明される機能は、図１に関して説明したものとは異なる様式でコンソール１９０の構成要素の間で分散され得る。

【0025】

アプリケーションストア１５５は、コンソール１９０によって実行される１つまたは複数のアプリケーションを記憶することができる。アプリケーションは、プロセッサによって実行されると、ユーザに提示するためのコンテンツを生成する命令群である。アプリケーションによって生成されたコンテンツは、ＨＭＤ１００またはＩ／Ｏインターフェース１１５の動きを介してユーザから受信した入力に応答し得る。アプリケーションの例には、ゲームアプリケーション、プレゼンテーションおよび会議アプリケーション、ビデオ再生アプリケーション、またはその他の好適なアプリケーションが含まれる。

【0026】

追跡モジュール１６０は、ＨＭＤ１００もしくはＩ／Ｏインターフェース１１５の動き、ＩＭＵ１１０、またはそれらの何らかの組合せを追跡することができる。追跡モジュール１６０はまた、１つまたは複数の較正パラメータを使用してＡＲ／ＶＲシステム１５０を較正することができ、１つまたは複数の較正パラメータを調整して、ＨＭＤ１００またはＩ／Ｏインターフェース１１５の位置決定における誤差を低減することができる。追跡モジュール１６０によって実行される較正は、ＨＭＤ１００中のＩＭＵ１１０および／または、もしあれば、Ｉ／Ｏインターフェース１１５中に含まれるＩＭＵから受信した情報も考慮する。さらに、ＨＭＤ１００の追跡が失われた場合、追跡モジュール１６０は、ＡＲ／ＶＲシステム１５０の一部または全部を再較正することができる。

【0027】

処理モジュール１６５は、ＡＲ／ＶＲシステム１５０内でアプリケーションを実行し、追跡モジュール１６０から、ＨＭＤ１００の位置情報、加速度情報、速度情報、予測される今後の位置、またはこれらの何らかの組合せを受信する。処理モジュール１６５は、受信した情報に基づいて、ＨＭＤ１００に提供する、ユーザに提示するためのコンテンツを決定する。さらに、処理モジュール１６５は、Ｉ／Ｏインターフェース１１５から受信したアクション要求に応答して、コンソール１９０上で実行されているアプリケーション内でアクションを実行し、アクションが実行されたとのフィードバックをユーザに提供する。提供されるフィードバックは、ＨＭＤ１００による視覚的もしくは聴覚的フィードバック、またはＩ／Ｏインターフェース１１５による触覚的フィードバックであり得る。

【0028】

図２は、ＨＭＤまたはヘッドセットの着用最適化のための例示的な方法を示す。本方法は、開始コマンドが開始されるステップ２０１で始動し得る。一実施形態では、ヘッドセット調整を開始して着用するために、コンピュータシステムが開始コマンドを発行する。この開始コマンドは、様々な時間に、様々なトリガに応答して発行され得る。たとえば、ユーザがヘッドマウントデバイスを着用してすぐに、またはユーザが特定のアプリケーションを起動したときに始動し得る。いくつかの実施形態では、較正は連続的であってもよい。具体的には、一実施形態では、ヘッドセット調整は、システムのセットアップ時に起動し得る。これは、ユーザがユーザの最初の体験のためにヘッドセットを適切に着用することを保証し、さらにヘッドセットがどのように感じられるべきかの感覚をユーザに与えることができる。これは各セッションの始動時に行われてもよいため、ヘッドセットが各セッションで適切に着用されることを保証することができる。別の実施形態では、ソーシャルプレゼンスもしくはＧＦＲ対応アプリ、または眼線追跡（ＥＴ）に依存する任意の他のアプリの最初の起動時に起動されてもよい。これは、ユーザがソーシャルプレゼンス、ＧＦＲ、またはＥＴに依存する任意の他のアプリを使用することを明示的に選択しているときに行われるという利益を有し得る。このことの潜在的な利益は、既に長い場合があるシステムセットアップのプロセスに追加のステップを追加しないことであり得る。いくつかの実施形態では、ユーザはヘッドセット調整を実行することに同意するので、システムセットアップ時にヘッドセット調整を起動させると、初期セットアップ中に追加のプロンプトも追加され、実際に着用を利用するアプリケーションから調整期間が分離され、ヘッドセット調整が追加する利益をユーザが理解する可能性が低くなる。アプリを開く際にヘッドセット調整を起動することにより、この分離が減少し、ユーザにとって利益がより明白になり、ユーザがそれを利用する可能性が高くなる。別の任意選択の実施形態は、ソーシャルプレゼンスまたはＧＦＲ対応アプリが実行されている間の継続的な監視を含む。このシナリオでは、ヘッドセット調整は、ソーシャルプレゼンス／ＧＦＲアプリケーションがアクティブに実行されているときはいつでもバックグラウンドで静かに実行される。ユーザを混乱させる閾値は、煩わしさを最小限に抑えるためにより高くなる。これには、特徴が常に最適に実行されるという利点がある。ＧＦＲ対応アプリの場合、いくつかの実施形態では、眼線追跡監視のみで十分であり得る。

【0029】

１つまたは複数のカメラおよび／または１つまたは複数のセンサーは、眼および／またはユーザの顔の残りの部分の位置および詳細を捕捉する位置に配置され得る。ステップ２１０において、カメラおよび／またはセンサーを使用して眼の位置を捕捉することができ、動きに対して、眼線追跡サービス２１５の一部として使用されるプログラムが従事する。眼線追跡サービス２１５は、少なくともＭＬ瞳孔推定器２１２および６ＤｏＦ推定器２１４を含み得る。ＭＬ瞳孔推定器２１２は、左眼および／または右眼の瞳孔座標を３次元で、たとえば、ｍｍ単位のｘ、ｙ、ｚで出力することができる。６ＤｏＦ推定器２１４は、各自由度の推定デルタまたは変化を出力することができる。言い換えれば、左眼および／または右眼の３Ｄ座標に基づいて、プログラムは、現在のヘッドセットの着用対公称位置を推定し、それらの２つの値からデルタを見つける。眼線追跡サービス２１５を使用して、リアルタイムでユーザの眼の向きおよび位置を決定することができる。眼線追跡サービス２１５によって取得された眼の位置および向きにより、プログラムがユーザの視線および方向を決定し、それに応じてディスプレイシステムによって生成された画像を調整することが可能になり得る。いくつかの実施形態では、輻輳、すなわちユーザの眼の視線の収束角度は、システムによって決定される。決定された注視方向および輻輳角は、画角および眼の位置に応じて視覚的アーチファクトをリアルタイムで補正するためにも使用され得る。さらに、決定された輻輳角および視線角度は、ユーザとの対話、オブジェクトの強調表示、オブジェクトの最前面への移動、追加のオブジェクトまたはポインタの作成などに使用され得る。たとえば、前部本体内に内蔵された１組の小さなスピーカーを含む、音響システムも設けられ得る。

【0030】

眼線追跡サービス２１５を実行するプログラムの動作より前に、それに続いて、またはそれと同時に、プログラムは顔追跡サービス２２５に従事することができる。ステップ２２０において、カメラおよび／またはセンサーを使用して、顔ランドマークなどのユーザの顔に関連するデータを捕捉することができる。顔追跡サービス２２５は、少なくともランドマーク検出器２２２およびピッチ推定器２２４を含み得る。ランドマーク検出器２２２は、「ｎ」点の顔ランドマークを出力することができる。言い換えれば、プログラムは、顔の下部に対してランドマーク検出を実行することができる。この段階でのランドマーク検出により、ランドマークがカメラに見えるようにカメラが配置されているかどうかを決定することができる。一実施形態では、焦点は、ランドマークを顔モデルにフィットさせることではなく、可視性にあり得る。この目的は、仮想環境でユーザを表すために作成されたアバターが表情を正確に模倣することができるようにすることであり得る。ピッチ推定器２２４は、推定ピッチオフセットを出力することができる。ピッチオフセットは、ヘッドセットのピッチ対公称位置を推定し、それら２つの間の差を計算することによって計算され得る。眼線追跡サービス２１５および顔追跡サービス２２５のいずれかまたは両方によって処理されたデータは、収集されたデータまたは機械学習アルゴリズムから決定され得るコンテキスト固有の許容範囲でプログラムされたヘッドセット調整ガイダンスコンピュータ２３０によって受信され得る。いくつかの実施形態では、ヘッドセット調整ガイダンスコンピュータ２３０は、眼線追跡サービス２１５および顔追跡サービス２２５から取得した少なくともデータと、コンテキスト固有の許容範囲とを使用して、ＨＭＤ１００のフィットを補正するために必要な方向および大きさのコマンド２３５を生成する。ヘッドセット調整ガイダンスコンピュータは、各サービスからの出力を組み合わせて７ＤｏＦ推定値にする。現在位置に基づいて、コンピュータは、ユーザに与える最良の命令と、行う必要がある補正の方向および大きさを決定する。方向および大きさのコマンド２３５は、ＨＭＤ１００をユーザの頭部の最適な位置に調整するために必要な方向および大きさの命令を含む。次いで、方向および大きさのコマンド２３５は、ユーザ体験２４０の一部としてユーザに提示される。（方向および大きさのコマンド２３５の形態で）ユーザに命令が提示された後、ユーザは、ＨＭＤ１００のフィットを調整することができる。次いで、ステップ２５０において、プロセスが繰り返され、眼線追跡サービス２１５および顔追跡サービス２２５を実行するプログラムによって検出された変動が、コンテキスト固有の許容範囲に基づいて指定された閾値を下回るまで続けて繰り返される。特定の実施形態は、適切な場合、図２の方法の１つまたは複数のステップを繰り返し得る。本開示は、図２の方法の特定のステップが特定の順序で発生するものとして説明し、示すが、本開示は、図２の方法の任意の好適なステップが任意の好適な順序で発生することを企図する。その上、本開示は、図２の方法の特定のステップを含む、ヘッドセット着用最適化のための例示的な方法を説明し、示すが、本開示は、適切な場合、図２の方法のステップのすべてを含むか、いくつかを含むか、またはいずれも含まないことがある、任意の好適なステップを含む、ヘッドセット着用最適化のための任意の好適な方法を企図する。さらに、本開示は、図２の方法の特定のステップを実行する特定の構成要素、デバイス、またはシステムを説明し、示すが、本開示は、任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せが、図２の方法の任意の好適なステップを実行することを企図する。

【0031】

図３は、コンピュータを使用してヘッドセットのフィットを最適化する例示的な方法を示す。ステップ３０１において、プログラムは、ユーザがデバイスを着用したことを検出する。ステップ３０２において、ヘッドセット調整（例示的なプログラム）は、設定の読取りを開始および／または始動する。ステップ３０３において、ヘッドセット調整はバックグラウンド監視を実行する。ステップ３０３は、ステップ３２０において、コンピュータプログラムがフィット不良を検出するまで続く。同じまたは別の実施形態では、ヘッドセット調整は、各ＤｏＦに対してアルゴリズムを実行し、特定のパラメータに適合しているか、または不適合であるかを決定する。ＤｏＦが許容範囲内にあるか、または適合する場合、コンピュータは停止コマンドを発行することができる。次いで、ステップ３２１において、システムは、顔追跡および眼線追跡がマージナルであるかどうかを決定する。これは、何らかの理由でユーザの１つまたは複数の特徴を検出することが困難になるために最適化アルゴリズムを不正確にする可能性が高い特徴がユーザの顔にあることを意味する。たとえば、ユーザは、眼線追跡システムがユーザの瞳孔を適切に追跡できないように光を反射する眼鏡を着けている可能性がある。眼線追跡プログラムが最適に動作することができないために、プログラムが、ユーザがマージナルユーザであると決定した場合、システムは、プログラムの残りを実行するのではなく、デフォルトの設定に切り替えることができる。追加的または代替的に、ユーザは、デバイスのカメラまたはセンサーの範囲外にある顔の特徴を有し得る。たとえば、顔追跡装置が、カメラおよび／またはセンサーがユーザの顔の特徴を適切に検出できないと決定した場合、プログラムをトリガしてリップシンク・デフォルト・モードを実装することができる。顔追跡および眼線追跡がマージナルである場合、ステップ３２２において、ヘッドセット調整がセッションに対して無効にされ、プロセスはステップ３２４において終了し、適切なデフォルトが設定され得る。顔追跡および眼線追跡のいずれかまたは両方がマージナルでない場合、プログラムは、ステップ３２３において、現在のフィットが許容可能なフィットよりも良いかどうかを決定する。現在のフィットが許容可能なフィットよりも良い場合、ステップ３２８において、ヘッドセット調整が抑制され、プロセスはステップ３４０において終了する。しかしながら、現在のフィットが許容可能なフィットよりも良いと決定されなかった場合、プログラムは、ステップ３２５においてヘッドセット調整が抑制されるかどうかを決定し、この抑制は、設定の際にユーザによって、またはさらなる最適化が効率的および／または可能ではないという以前の決定によって行われている場合がある。ヘッドセット調整が抑制されている場合、プロセスはステップ３２４で終了する。ヘッドセット調整が抑制されていない場合、ステップ３２６において、プログラムはヘッドセット調整ユーザインターフェース（ＵＩ）体験を開始する。次いで、ステップ３２７において、プログラムは、ユーザがプログラムを終了したかどうかを決定する。答えが「はい」である場合、プログラムはステップ３２８でヘッドセット調整を抑制し、プロセスはステップ３４０で終了する。しかしながら、答えが「いいえ」である場合、プログラムは、ステップ３２９で、ユーザの顔に対してフィットが許容可能であるか否かを決定する。答えが「いいえ」である場合、ステップ３３２において、セッションは、顔追跡がマージナルであることを意味する「ＦＴマージナル」とマークされ、ステップ３３４において、顔追跡プログラムとの通信が行われ、顔追跡に対して次の最良オプション、たとえば、リップシンクを提供するデフォルト設定に戻る。ステップ３３４の後、またはステップ３２９でユーザの顔に対してフィットが許容可能であるとプログラムが決定した場合、ステップ３３０で最後の許容可能な顔のフィットが記憶される。次いで、ステップ３２９でユーザの顔に対してフィットが許容可能であるかどうかを判定する前または判定した後に、ステップ３１５において、プログラムは、ユーザの眼に対してフィットが許容可能であるかどうかを決定する。答えが「いいえ」である場合、ステップ３１２において、セッションは「ＥＴマージナル」とマークされ、これは眼線追跡がマージナルであることを意味し、ステップ３１４において、眼線追跡との通信が行われ、眼線追跡に対して次の最良オプションを提供するデフォルト設定に戻る。ステップ３１４の後、またはステップ３１５でユーザの眼に対してフィットが許容可能であると決定された場合、プログラムは、ステップ３１０で、最後の許容可能な眼を記憶する。最後の許容可能な顔のフィットおよび最後の許容可能な眼のフィットのいずれかまたは両方が記憶された後、プログラムは、ヘッドセット調整バックグラウンド監視に戻る。

【0032】

いくつかの実施形態では、プログラムは、ユーザが設定の際にこれを決定した場合など、デバイスの初期化時にのみ実行され得る。特定の実施形態は、適切な場合には、図３の方法の１つまたは複数のステップを繰り返し得る。本開示は、図３の方法の特定のステップが特定の順序で発生するものとして説明し、示すが、本開示は、図３の方法の任意の好適なステップが任意の好適な順序で発生することを企図する。その上、本開示は、図３の方法の特定のステップを含む、ヘッドセットのフィットを最適化する例示的な方法を説明し、示すが、本開示は、適切な場合、図３の方法のステップのすべてを含むか、いくつかを含むか、またはいずれも含まないことがある、任意の好適なステップを含む、ヘッドセットのフィットを最適化する任意の好適な方法を企図する。さらに、本開示は、図３の方法の特定のステップを実行する特定の構成要素、デバイス、またはシステムを説明し、示すが、本開示は、任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せが、図３の方法の任意の好適なステップを実行することを企図する。

【0033】

図４Ａ～図４Ｆは、プログラムが、この方法の一部として使用され得る異なるタイプの着用ガイダンスのために実装することができる命令を示す。たとえば、図４Ａに示すように、１命令セットは、左右のレンズを互いに近づけたり遠ざけたりすることによって軸間距離（ＩＡＤ）を調整するように、ユーザに命令することができる。たとえば、図４Ｂに示すように、別の命令セットは、ユーザに、アイレリーフを調整するように命令することができる。図４Ｃに示すように、別の命令セットは、ヘッドセットロールを調整するか、時計回りまたは反時計回りに回転させることによって湾曲したヘッドセットを固定するようにユーザに命令することができる。図４Ｄに示すように、別の命令セットは、ヘッドセットを上または下に回転させることによってヘッドセットピッチを調整するようにユーザに命令することができる。図４Ｅに示すように、別の命令セットは、ヘッドセットを上または下に調整するようにユーザに命令することができ、別の命令セットは、たとえば図４Ｆに示すように、ヘッドセットを左または右に調整するようにユーザに命令することができる。命令の具体的な組合せおよび順序は、ヘッドセットの配置を固定するためのタスクの最も効率的な組合せであるとプログラムが決定したものに応じて変わる。

【0034】

いくつかの実施形態では、ヘッドセット調整のための視覚的合図は、最適な位置に対する両眼の位置を示す目標画像を含み得る。たとえば、表示された画像は、現在のユーザの眼の位置およびＩＰＤに対応する生成された目標位置と、それぞれのオフセットによって目標位置から離れた、生成された現在のアイボックス位置とを含む。ユーザは、第１の現在のアイボックス位置を対応する第１の目標位置に一致させ、第２の現在のアイボックス位置を対応する第２の目標位置に一致させることによって、オフセットを低減するようにヘッドセット本体位置およびディスプレイモジュール間の距離を調整することができる。いくつかの実施形態では、ディスプレイモジュールは、たとえば、電子ディスプレイを見ながらヘッドセットに配置されたダイヤルを回すことによってユーザによって移動され得る、並進ステージ上に配置されてもよい。ユーザは、現在のアイボックス位置間の距離が目標位置間の距離と一致するまで、ダイヤルを回すことができる。次いで、ユーザは、ヘッドセットを左から右に調整して、両方の現在位置を対応する目標位置と重ね合わせ、理想的にはオフセットを０に低減することができる。この調整の順序は逆であってもよく、すなわち、左から右への調整が最初に行われてもよい。両方の調整は、交互に反復的に行うこともできる。

【0035】

システムおよび方法
図５は、例示的なコンピュータシステム５００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム５００は、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実行する。特定の実施形態では、１つまたは複数のコンピュータシステム５００は、本明細書で説明または示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム５００上で稼働しているソフトウェアは、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実行するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム５００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。

【0036】

本開示は、任意の好適な数のコンピュータシステム５００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム５００を企図する。限定としてではなく一例として、コンピュータシステム５００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）など）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。適切な場合、コンピュータシステム５００は、１つまたは複数のコンピュータシステム５００を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、あるいは１つまたは複数のネットワーク中の１つまたは複数のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、１つまたは複数のコンピュータシステム５００は、実質的な空間的または時間的制限なしに、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実行し得る。限定としてではなく一例として、１つまたは複数のコンピュータシステム５００は、リアルタイムでまたはバッチモードで、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実行し得る。１つまたは複数のコンピュータシステム５００は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実行し得る。

【0037】

特定の実施形態では、コンピュータシステム５００は、プロセッサ５０２と、メモリ５０４と、ストレージ５０６と、入出力（Ｉ／Ｏ）インターフェース５０８と、通信インターフェース５１０と、バス５１２とを含む。本開示は、特定の配置において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な配置において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。

【0038】

特定の実施形態では、プロセッサ５０２は、コンピュータプログラムを作成する命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ５０２は、内部レジスタ、内部キャッシュ、メモリ５０４、またはストレージ５０６から命令を取り出し（またはフェッチし）、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、メモリ５０４、またはストレージ５０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ５０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ５０２を企図する。限定としてではなく一例として、プロセッサ５０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含み得る。命令キャッシュ中の命令は、メモリ５０４またはストレージ５０６中の命令のコピーであり得、命令キャッシュは、プロセッサ５０２によるそれらの命令の取出しを高速化し得る。データキャッシュ中のデータは、プロセッサ５０２において実行する命令が動作する対象のメモリ５０４またはストレージ５０６中のデータのコピー、プロセッサ５０２において実行する後続の命令によるアクセスのための、またはメモリ５０４もしくはストレージ５０６に書き込むための、プロセッサ５０２において実行された前の命令の結果、あるいは他の好適なデータであり得る。データキャッシュは、プロセッサ５０２による読取りまたは書込み動作を高速化し得る。ＴＬＢは、プロセッサ５０２のための仮想アドレストランスレーション（ｖｉｒｔｕａｌ－ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ）を高速化し得る。特定の実施形態では、プロセッサ５０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ５０２を企図する。適切な場合、プロセッサ５０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つまたは複数のプロセッサ５０２を含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。

【0039】

特定の実施形態では、メモリ５０４は、プロセッサ５０２が実行するための命令、またはプロセッサ５０２が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム５００は、ストレージ５０６または別のソース（たとえば、別のコンピュータシステム５００など）からメモリ５０４に命令をロードすることができる。プロセッサ５０２は、次いで、メモリ５０４から内部レジスタまたは内部キャッシュに命令をロードすることができる。命令を実行するために、プロセッサ５０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号することができる。命令の実行中または実行後に、プロセッサ５０２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込むことができる。プロセッサ５０２は、次いで、メモリ５０４にそれらの結果のうちの１つまたは複数を書き込むことができる。特定の実施形態では、プロセッサ５０２は、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ５０６または他の場所ではなく）メモリ５０４中の命令のみを実行し、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ５０６または他の場所ではなく）メモリ５０４中のデータのみに対して動作する。１つまたは複数のメモリバス（各々がアドレスバスおよびデータバスを含み得る）が、プロセッサ５０２をメモリ５０４に結合することができる。バス５１２は、以下で説明されるように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ５０２とメモリ５０４との間に常駐し、プロセッサ５０２によって要求されるメモリ５０４へのアクセスを容易にする。特定の実施形態では、メモリ５０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。その上、適切な場合、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを企図する。メモリ５０４は、適切な場合、１つまたは複数のメモリ５０４を含み得る。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。

【0040】

特定の実施形態では、ストレージ５０６は、データまたは命令のための大容量ストレージを含む。限定としてではなく一例として、ストレージ５０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。ストレージ５０６は、適切な場合、リムーバブルまたは非リムーバブル（または固定）媒体を含み得る。ストレージ５０６は、適切な場合、コンピュータシステム５００の内部または外部にあり得る。特定の実施形態では、ストレージ５０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、ストレージ５０６は、読取り専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量ストレージ５０６を企図する。ストレージ５０６は、適切な場合、プロセッサ５０２とストレージ５０６との間の通信を容易にする１つまたは複数のストレージ制御ユニットを含み得る。適切な場合、ストレージ５０６は、１つまたは複数のストレージ５０６を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。

【0041】

特定の実施形態では、Ｉ／Ｏインターフェース５０８は、コンピュータシステム５００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム５００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム５００との間の通信を可能にし得る。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインターフェース５０８とを企図する。適切な場合、Ｉ／Ｏインターフェース５０８は、プロセッサ５０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース５０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース５０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。

【0042】

特定の実施形態では、通信インターフェース５１０は、コンピュータシステム５００と、１つまたは複数の他のコンピュータシステム５００または１つまたは複数のネットワークとの間の通信（たとえば、パケットベース通信など）のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース５１０は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース５１０とを企図する。限定としてではなく一例として、コンピュータシステム５００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム５００は、ワイヤレスＰＡＮ（ＷＰＡＮ）（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなど）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、携帯電話ネットワーク（たとえば、モバイル通信用グローバルシステム（ＧＳＭ）ネットワークなど）、または他の好適なワイヤレスネットワーク、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。コンピュータシステム５００は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インターフェース５１０を含み得る。通信インターフェース５１０は、適切な場合、１つまたは複数の通信インターフェース５１０を含み得る。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。

【0043】

特定の実施形態では、バス５１２は、コンピュータシステム５００の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、バス５１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス規格協会ローカル（ＶＬＢ）バス、または別の好適なバス、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。バス５１２は、適切な場合、１つまたは複数のバス５１２を含み得る。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。

【0044】

本明細書では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。

【0045】

本明細書では、「または」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。その上、「および」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、共同と個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「共同でまたは個別に、ＡおよびＢ」を意味する。

【0046】

本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、配置されるか、実施することが可能であるか、実施するように構成されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】