(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024102191
(43)【公開日】2024-07-30
(54)【発明の名称】ウェアラブルデバイスのための周囲光管理システムおよび方法
(51)【国際特許分類】
G02B 27/02 20060101AFI20240723BHJP
【FI】
G02B27/02 Z
【審査請求】有
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2024073578
(22)【出願日】2024-04-30
(62)【分割の表示】P 2022527122の分割
【原出願日】2020-11-12
(31)【優先権主張番号】62/935,056
(32)【優先日】2019-11-13
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ヴァイブハブ マトゥール
(72)【発明者】
【氏名】ジョシュア ナアマン ハドック
(72)【発明者】
【氏名】テッド ディール
(72)【発明者】
【氏名】チュルウ オ
(72)【発明者】
【氏名】クリントン カーライル
(57)【要約】
【課題】好適なウェアラブルデバイスのための周囲光管理システムおよび方法を提供すること。
【解決手段】光学システムを動作させるための技法が、説明される。いくつかの実施形態では、世界オブジェクトと関連付けられる、光が、光学システムにおいて受光される。仮想画像光が、光学システムの接眼レンズ上に投影される。少なくとも部分的に調光されるべき光学システムのシステム視野の一部が、光学システムによって検出された情報に基づいて決定される。本システム視野の一部のための複数の空間的に分解された調光値が、検出された情報に基づいて決定され得る。検出された情報は、光情報、視線情報、および/または画像情報を含んでもよい。光学システムの調光器は、複数の調光値に従って、システム視野の一部内の世界オブジェクトと関連付けられる、光の強度を低減させるように調節され得る。
【選択図】
図31
【特許請求の範囲】
【請求項1】
ディスプレイデバイスであって、
接眼レンズスタックと、
調光器アセンブリを含む周囲光管理モジュール(ALMM)であって、前記ALMMは、プラスチック基板、角度減衰器アセンブリ、および世界に向いたフィルムのうちの少なくとも1つ以上を含む、ALMMと
を備える、ディスプレイデバイス。
【請求項2】
前記ALMMは、前記少なくとも1つのプラスチック基板と前記調光器アセンブリとの間に配置される第1の偏光器をさらに備える、請求項1に記載のディスプレイデバイス。
【請求項3】
前記ALMMは、前記調光器アセンブリと少なくとも1つの角度減衰器アセンブリとの間に配置される第2の偏光器をさらに備える、請求項2に記載のディスプレイデバイス。
【請求項4】
前記ALMMは、前記少なくとも1つの角度減衰器アセンブリと少なくとも1つの世界に向いたフィルムとの間に配置される第3の偏光器をさらに備える、請求項3に記載のディスプレイデバイス。
【請求項5】
前記第1、第2および第3の偏光器は、線形である、請求項4に記載のディスプレイデバイス。
【請求項6】
前記ALMMは、湾曲、アーチ形または球状構成を備える、請求項1に記載のディスプレイデバイス。
【請求項7】
前記ALMMは、可変光条件下で仮想コンテンツ中実度を保つように構成される、請求項1に記載のディスプレイデバイス。
【請求項8】
前記ALMMは、回折アーチファクトを管理し、可視アーチファクトの透過損失を最小限にするようにさらに構成される、請求項7に記載のディスプレイデバイス。
【請求項9】
前記調光器アセンブリは、可撓性の有機薄膜トランジスタ(O-TFT)ベースの液晶(LC)空間光変調器を備える、請求項1に記載のディスプレイデバイス。
【発明の詳細な説明】
【背景技術】
【0001】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。
【0002】
これらのディスプレイ技術において成された進歩にもかかわらず、当技術分野において、拡張現実システム、特に、ディスプレイシステムに関連する、改良された方法、システム、およびデバイスの必要性が存在する。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示は、概して、可変周囲光条件下における光学システムを改良するための技法に関する。より具体的には、本開示の実施形態は、調光要素を備える、拡張現実(AR)デバイスを動作させるためのシステムおよび方法を提供する。本発明は、ARデバイスを参照して説明されるが、本開示は、コンピュータビジョンおよび画像ディスプレイシステムにおける種々の用途に適用可能である。
【0004】
本発明の概要が、いくつかの実施例を参照して下記に提供される。下記で使用されるように、一連の実施例の任意の参照は、それらの実施例のそれぞれの分離参照として理解されるべきである(例えば、「実施例1-4」は、「実施例1、2、3、または4」として理解されるべきである)。
【0005】
実施例1は、光学システムを動作させる方法であって、光学システムにおいて、世界オブジェクトと関連付けられる光を受光するステップと、仮想画像光を接眼レンズ上に投影するステップと、光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップと、調光器を調節し、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるステップとを含む、方法である。
【0006】
実施例2は、光学システムが、世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される、光センサを備え、検出された情報が、光情報を含む、実施例1に記載の方法である。
【0007】
実施例3は、光情報が、複数の空間的に分解された光値を含む、実施例1-2に記載の方法である。
【0008】
実施例4は、光情報が、大域的光値を含む、実施例1-3に記載の方法である。
【0009】
実施例5は、光学システムが、光学システムのユーザの眼に対応する視線情報を検出するように構成される、眼追跡器を備え、検出された情報が、視線情報を含む、実施例1-4に記載の方法である。
【0010】
実施例6は、視線情報が、ユーザの眼の視線ベクトルと交差する、ピクセル場所を含む、実施例1-5に記載の方法である。
【0011】
実施例7は、視線情報が、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの1つまたはそれを上回るものを含む、実施例1-6に記載の方法である。
【0012】
実施例8は、仮想画像光に対応する画像情報を検出するステップであって、検出された情報が、画像情報を含む、ステップをさらに含む、実施例1-7に記載の方法である。
【0013】
実施例9は、画像情報が、複数の空間的に分解された画像明度値を含む、実施例1-8に記載の方法である。
【0014】
実施例10は、画像情報が、大域的画像明度値を含む、実施例1-9に記載の方法である。
【0015】
実施例11は、検出された情報に基づいて、システム視野の一部に関する複数の空間的に分解された調光値を決定するステップであって、調光器が、複数の調光値に従って調節される、ステップをさらに含む、実施例1-10に記載の方法である。
【0016】
実施例12は、調光器が、複数のピクセルを備える、実施例1-11に記載の方法である。
【0017】
実施例13は、調光器が、システム視野の全て内の世界オブジェクトと関連付けられる光の強度を完全に遮断するように調節される、実施例1-12に記載の方法である。
【0018】
実施例14は、仮想画像光と関連付けられる明度を調節するステップをさらに含む、実施例1-13に記載の方法である。
【0019】
実施例15は、仮想画像光が、画像視野によって特徴付けられ、画像視野が、システム視野に等しい、実施例1-14に記載の方法である。
【0020】
実施例16は、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップが、少なくとも部分的に、少なくとも1つの世界オブジェクトに基づく、実施例1-15に記載の方法である。
【0021】
実施例17は、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップが、少なくとも部分的に、仮想画像内に含まれる少なくとも1つのオブジェクトに基づく、実施例1-16に記載の方法である。
【0022】
実施例18は、非一過性コンピュータ可読媒体であって、プロセッサによって実行されると、プロセッサに、光学システムにおいて、世界オブジェクトと関連付けられる光を受光するステップと、仮想画像光を接眼レンズ上に投影するステップと、光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップと、調光器を調節し、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体である。
【0023】
実施例19は、光学システムが、世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される、光センサを備え、検出された情報が、光情報を含む、実施例18に記載の非一過性コンピュータ可読媒体である。
【0024】
実施例20は、光情報が、複数の空間的に分解された光値を含む、実施例19に記載の非一過性コンピュータ可読媒体である。
【0025】
実施例21は、光情報が、大域的光値を含む、実施例19に記載の非一過性コンピュータ可読媒体である。
【0026】
実施例22は、光学システムが、光学システムのユーザの眼に対応する視線情報を検出するように構成される、眼追跡器を備え、検出された情報が、視線情報を含む、実施例18に記載の非一過性コンピュータ可読媒体である。
【0027】
実施例23は、視線情報が、ユーザの眼の視線ベクトルと交差する、ピクセル場所を含む、実施例22に記載の非一過性コンピュータ可読媒体である。
【0028】
実施例24は、視線情報が、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの1つまたはそれを上回るものを含む、実施例22に記載の非一過性コンピュータ可読媒体である。
【0029】
実施例25は、動作がさらに、仮想画像光に対応する画像情報を検出するステップであって、検出された情報が、画像情報を含む、ステップを含む、実施例18に記載の非一過性コンピュータ可読媒体である。
【0030】
実施例26は、画像情報が、複数の空間的に分解された画像明度値を含む、実施例25に記載の非一過性コンピュータ可読媒体である。
【0031】
実施例27は、画像情報が、大域的画像明度値を含む、実施例25に記載の非一過性コンピュータ可読媒体である。
【0032】
実施例28は、動作がさらに、検出された情報に基づいて、システム視野の一部に関する複数の空間的に分解された調光値を決定するステップであって、調光器が、複数の調光値に従って調節される、ステップを含む、実施例18に記載の非一過性コンピュータ可読媒体である。
【0033】
実施例29は、調光器が、複数のピクセルを備える、実施例18に記載の非一過性コンピュータ可読媒体である。
【0034】
実施例30は、調光器が、システム視野の全て内の世界オブジェクトと関連付けられる光の強度を完全に遮断するように調節される、実施例18に記載の非一過性コンピュータ可読媒体である。
【0035】
実施例31は、動作がさらに、仮想画像光と関連付けられる明度を調節するステップを含む、実施例18に記載の非一過性コンピュータ可読媒体である。
【0036】
実施例32は、仮想画像光が、画像視野によって特徴付けられ、画像視野が、システム視野に等しい、実施例18に記載の非一過性コンピュータ可読媒体である。
【0037】
実施例33は、光学システムであって、仮想画像光を接眼レンズ上に投影するように構成される、プロジェクタと、世界オブジェクトと関連付けられる光を調光するように構成される、調光器と、プロジェクタおよび調光器に通信可能に結合される、プロセッサであって、光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップと、調光器を調節し、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるステップとを含む、動作を実施するように構成される、プロセッサとを備える、光学システムである。
【0038】
実施例34は、世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される、光センサをさらに備え、検出された情報が、光情報を含む、実施例33に記載の光学システム。
【0039】
実施例35は、光情報が、複数の空間的に分解された光値を含む、実施例34に記載の光学システムである。
【0040】
実施例36は、光情報が、大域的光値を含む、実施例34に記載の光学システムである。
【0041】
実施例37は、光学システムのユーザの眼に対応する視線情報を検出するように構成される、眼追跡器をさらに備え、検出された情報が、視線情報を含む、実施例33に記載の光学システム。
【0042】
実施例38は、視線情報が、ユーザの眼の視線ベクトルと交差する、ピクセル場所を含む、実施例37に記載の光学システムである。
【0043】
実施例39は、視線情報が、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの1つまたはそれを上回るものを含む、実施例37に記載の光学システムである。
【0044】
実施例40は、動作がさらに、仮想画像光に対応する画像情報を検出するステップであって、検出された情報が、画像情報を含む、ステップを含む、実施例33に記載の光学システムである。
【0045】
実施例41は、画像情報が、複数の空間的に分解された画像明度値を含む、実施例40に記載の光学システムである。
【0046】
実施例42は、画像情報が、大域的画像明度値を含む、実施例40に記載の光学システムである。
【0047】
実施例43は、動作がさらに、検出された情報に基づいて、システム視野の一部に関する複数の空間的に分解された調光値を決定するステップであって、調光器が、複数の調光値に従って調節される、ステップを含む、実施例33に記載の光学システムである。
【0048】
実施例44は、調光器が、複数のピクセルを備える、実施例33に記載の光学システムである。
【0049】
実施例45は、調光器が、システム視野の全て内の世界オブジェクトと関連付けられる光の強度を完全に遮断するように調節される、実施例33に記載の光学システムである。
【0050】
実施例46は、動作がさらに、仮想画像光と関連付けられる明度を調節するステップを含む、実施例33に記載の光学システムである。
【0051】
実施例47は、仮想画像光が、画像視野によって特徴付けられ、画像視野が、システム視野に等しい、実施例33に記載の光学システムである。
【0052】
実施例48は、光学システムであって、光学システムのユーザの頭部を中心として装着されるように構成される、フレームと、フレームによって担持され、ユーザの眼とユーザの環境との間に位置付けられるように構成される、調光コンポーネントと、ユーザの眼の位置付けを監視するように構成される、眼追跡器と、調光コンポーネントおよび眼追跡器に通信可能に結合される、制御回路網であって、眼追跡器からのデータを受信し、眼追跡器から受光されたデータに基づいて、ユーザの眼の特定の解剖学的領域が位置付けられる、ユーザの眼の光学軸に沿った場所を決定し、ユーザの環境内に位置する3次元空間内の1つまたはそれを上回る点を識別し、ユーザの環境内の1つまたはそれを上回る識別された点毎に、少なくとも部分的に、ユーザの眼の特定の解剖学的領域の決定された場所およびユーザの環境内に位置する3次元空間内の個別の点に基づいて、調光コンポーネントの1つまたはそれを上回るピクセルのセットを識別し、調光コンポーネントを制御し、1つまたはそれを上回るピクセルの識別されたセットを調光するように構成される、制御回路網とを備える、光学システムである。
【0053】
実施例49は、ユーザの眼の特定の解剖学的領域が、ユーザの眼の回転中心を備える、実施例48に記載の光学システムである。
実施例50は、ユーザの眼の特定の解剖学的領域が、ユーザの眼の瞳孔中心を備える、実施例48に記載の光学システムである。
【0054】
実施例51は、仮想コンテンツを表す光を放出するように構成される、プロジェクタと、フレームによって担持され、ユーザの眼と調光コンポーネントとの間に位置付けられるように構成される、導波管であって、光をプロジェクタから受光し、ユーザの眼に指向するように構成される、導波管とをさらに備える、実施例48に記載の光学システムである。
【0055】
実施例52は、制御回路網は、プロジェクタに通信可能に結合され、制御回路網がさらに、プロジェクタを制御し、仮想コンテンツの1つまたはそれを上回るピクセルを表す、光を放出するように構成される、実施例51に記載の光学システムである。
【0056】
実施例53は、ユーザの環境内に位置する、3次元空間内の1つまたはそれを上回る点が、仮想コンテンツの1つまたはそれを上回るピクセルが、それぞれ、ユーザによって知覚されることになる、3次元空間内の1つまたはそれを上回る場所に対応する、実施例52に記載の光学システムである。
【0057】
実施例54は、仮想コンテンツの1つまたはそれを上回るピクセルが、仮想オブジェクトの複数のピクセルを備える、実施例52に記載の光学システムである。
【0058】
実施例55は、ユーザの環境内に位置する、3次元空間内の1つまたはそれを上回る点が、仮想オブジェクトと関連付けられる仮想陰影の1つまたはそれを上回るピクセルが、それぞれ、ユーザによって知覚されることになる、3次元空間内の1つまたはそれを上回る場所に対応する、実施例54に記載の光学システムである。
【0059】
実施例56は、ユーザの環境内に位置する、3次元空間内の1つまたはそれを上回る点が、ユーザの環境内の実世界オブジェクトによって物理的に占有される、3次元空間内の1つまたはそれを上回る点に対応する、実施例48に記載の光学システムである。
【0060】
実施例57は、調光コンポーネントの1つまたはそれを上回るピクセルのセットを識別するために、制御回路網が、1つまたはそれを上回る光線のセットをユーザの環境内に位置する3次元空間内の個別の点からユーザの眼の特定の解剖学的領域の決定された場所に投射し、1つまたはそれを上回る光線のセットと調光コンポーネントとの間の交点の1つまたはそれを上回る点のセットを識別するように構成される、実施例48に記載の光学システムである。
【0061】
実施例58は、調光コンポーネントが、湾曲形状である、実施例48に記載の光学システムである。
【0062】
実施例59は、制御回路網がさらに、それぞれ、調光コンポーネントの1つまたはそれを上回るピクセルの識別されたセットのための1つまたはそれを上回る調光値のセットを決定するように構成され、制御回路網が、調光コンポーネントを制御し、1つまたはそれを上回る調光値の決定されたセットに従って、1つまたはそれを上回るピクセルの識別されたセットを調光するように構成される、実施例48に記載の光学システムである。
【0063】
実施例60は、制御回路網がさらに、眼追跡器から受信されたデータに基づいて、ユーザの眼の1つまたはそれを上回る特性を決定するように構成され、制御回路網が、それぞれ、少なくとも部分的に、ユーザの眼の1つまたはそれを上回る決定された特性に基づいて、調光コンポーネントの1つまたはそれを上回るピクセルの識別されたセットのための1つまたはそれを上回る調光値のセットを決定するように構成される、実施例59に記載の光学システムである。
【0064】
実施例61は、ユーザの眼の1つまたはそれを上回る特性が、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、ユーザの眼の錐体および桿体場所、およびユーザの眼の水晶体の遠近調節状態のうちの1つまたはそれを上回るものを含む、実施例60に記載の光学システムである。
【0065】
実施例62は、制御回路網が、少なくとも部分的に、ユーザの眼の1つまたはそれを上回る決定された特性に基づいて、調光コンポーネントの1つまたはそれを上回るピクセルのセットを識別するように構成される、実施例61に記載の光学システムである。
【0066】
実施例63は、制御回路網に通信可能に結合され、仮想コンテンツを表す、光を放出するように構成される、プロジェクタと、フレームによって担持され、ユーザの眼と調光コンポーネントとの間に位置付けられるように構成される、導波管であって、光をプロジェクタから受光し、ユーザの眼に指向するように構成される、導波管とをさらに備え、制御回路網がさらに、プロジェクタを制御し、それぞれ、仮想コンテンツの1つまたはそれを上回るピクセルを表す、光を、明度の1つまたはそれを上回るレベルで放出するように構成され、制御回路網が、それぞれ、少なくとも部分的に、仮想コンテンツの1つまたはそれを上回るピクセルの明度の1つまたはそれを上回るレベルに基づいて、調光コンポーネントの1つまたはそれを上回るピクセルの識別されたセットのための1つまたはそれを上回る調光値のセットを決定するように構成される、実施例59に記載の光学システム。
【0067】
実施例64は、制御回路網が、それぞれ、少なくとも部分的に、仮想コンテンツのために規定された所定のコントラストおよび所定のレベルの可視度のうちの1つまたはそれを上回るものに基づいて、調光コンポーネントの1つまたはそれを上回るピクセルの識別されたセットのための1つまたはそれを上回る調光値のセットを決定するように構成される、実施例63に記載の光学システムである。
【0068】
実施例65は、仮想コンテンツが、仮想オブジェクトを備え、制御回路網が、少なくとも部分的に、仮想オブジェクトの1つまたはそれを上回る特性に基づいて、調光コンポーネントの1つまたはそれを上回るピクセルのセットを識別するように構成される、実施例63に記載の光学システムである。
【0069】
実施例66は、仮想オブジェクトの1つまたはそれを上回る特性が、仮想オブジェクトのサイズ、仮想オブジェクトの形状、仮想オブジェクトがユーザによって知覚されることになる、ユーザの環境内の位置、および仮想オブジェクトがユーザによって知覚されることになる、深度のうちの1つまたはそれを上回るものを含む、実施例65に記載の光学システムである。
【0070】
実施例67は、制御回路網に通信可能に結合され、それぞれ、ユーザの環境の1つまたはそれを上回る部分と関連付けられる光の明度の1つまたはそれを上回るレベルを監視するように構成される、光学センサをさらに備え、制御回路網が、それぞれ、少なくとも部分的に、ユーザの環境の1つまたはそれを上回る部分と関連付けられる明度の1つまたはそれを上回るレベルに基づいて、調光コンポーネントの1つまたはそれを上回るピクセルの識別されたセットのための1つまたはそれを上回る調光値のセットを決定するように構成される、実施例59に記載の光学システム。
【0071】
実施例68は、光学センサが、カメラを備える、実施例67に記載の光学システムである。
【0072】
実施例69は、光学センサが、1つまたはそれを上回る光ダイオードを備える、実施例67に記載の光学システムである。
【0073】
実施例70は、制御回路網に通信可能に結合され、仮想コンテンツを表す、光を放出するように構成される、プロジェクタと、フレームによって担持され、ユーザの眼と調光コンポーネントとの間に位置付けられるように構成される、導波管であって、光をプロジェクタから受光し、ユーザの眼に指向するように構成される、導波管とをさらに備え、制御回路網がさらに、プロジェクタを制御し、仮想コンテンツの1つまたはそれを上回るピクセルを表す、光を放出するように構成される、実施例67に記載の光学システム。
【0074】
実施例71は、仮想コンテンツが、仮想オブジェクトを備え、それと明度の1つまたはそれを上回るレベルが関連付けられる、ユーザの環境の1つまたはそれを上回る部分が、仮想オブジェクトによってオクルードされるようにユーザによって知覚されることになる、ユーザの環境の特定の部分を含む、実施例70に記載の光学システムである。
【0075】
実施例72は、制御回路網がさらに、プロジェクタを制御し、少なくとも部分的に、ユーザの環境の1つまたはそれを上回る部分と関連付けられる明度の1つまたはそれを上回るレベルに基づいて、仮想コンテンツの1つまたはそれを上回るピクセルを表す、光を放出するように構成される、実施例70に記載の光学システムである。
【0076】
実施例73は、眼追跡器が、調光コンポーネントに対するユーザの眼の位置付けを監視するように構成される、実施例48に記載の光学システムである。
【0077】
実施例74は、光学システムであって、光学システムのユーザの頭部を中心として装着されるように構成される、フレームと、フレームによって担持され、ユーザの左眼とユーザの環境との間に位置付けられるように構成される、左調光コンポーネントと、フレームによって担持され、ユーザの右眼とユーザの環境との間に位置付けられるように構成される、右調光コンポーネントと、左および右調光コンポーネントに通信可能に結合される、制御回路網であって、ユーザの環境内に位置する、3次元空間内の1つまたはそれを上回る点を識別し、ユーザの環境内の1つまたはそれを上回る識別された点毎に、少なくとも部分的に、ユーザの環境内に位置する、3次元空間内の個別の点に基づいて、左調光コンポーネントの1つまたはそれを上回るピクセルのセットを識別し、少なくとも部分的に、ユーザの環境内に位置する、3次元空間内の個別の点に基づいて、右調光コンポーネントの1つまたはそれを上回るピクセルのセットを識別し、左調光コンポーネントを制御し、左調光コンポーネントの1つまたはそれを上回るピクセルの識別されたセットを調光し、右調光コンポーネントを制御し、右調光コンポーネントの1つまたはそれを上回るピクセルの識別されたセットを調光するように構成される、制御回路網とを備える、光学システムである。
【0078】
実施例75は、制御回路網に通信可能に結合され、ユーザの左眼の位置付けを監視するように構成される、左眼追跡器と、制御回路網に通信可能に結合され、ユーザの左眼の位置付けを監視するように構成される、右眼追跡器とをさらに備え、制御回路網がさらに、左および右眼追跡器からのデータを受信し、左眼追跡器から受信されたデータに基づいて、ユーザの左眼の特定の解剖学的領域が位置付けられる、ユーザの左眼の光学軸に沿った場所を決定し、右眼追跡器から受信されたデータに基づいて、ユーザの右眼の特定の解剖学的領域が位置付けられる、ユーザの右眼の光学軸に沿った場所を決定するように構成される、実施例74に記載の光学システムである。
【0079】
実施例76は、制御回路網が、少なくとも部分的に、ユーザの左眼の特定の解剖学的領域の決定された場所およびユーザの環境内に位置する3次元空間内の個別の点に基づいて、左調光コンポーネントの1つまたはそれを上回るピクセルのセットを識別し、少なくとも部分的に、ユーザの右眼の特定の解剖学的領域の決定された場所およびユーザの環境内に位置する3次元空間内の個別の点に基づいて、右調光コンポーネントの1つまたはそれを上回るピクセルのセットを識別するように構成される、実施例75に記載の光学システムである。
【0080】
一実施形態では、光学デバイスが、その形状が、少なくとも1次元において曲率を呈する、プラスチック基板と、プラスチック基板上にラミネートされる、複数のコンポーネントとを含む。複数のコンポーネントは、反射性フィルムおよび着色されたフィルムのうちの少なくとも1つを備える、コンポーネントの外側スタックと、コンポーネントの外側スタックとプラスチック基板との間に位置付けられる、複屈折フィルムのスタックと、複屈折フィルムのスタックとプラスチック基板との間に位置付けられる、空間光変調器アセンブリとを含む。
【0081】
1つまたはそれを上回る実施形態では、複数のコンポーネントはまた、空間光変調器アセンブリとプラスチック基板との間に位置付けられる、第1の偏光器と、複屈折フィルムのスタックと空間光変調器アセンブリとの間に位置付けられる、第2の偏光器とを含む。複屈折フィルムのスタックは、第1の4分の1波長板(QWP)と、第2のQWPと、第1および第2のQWP間に位置付けられる、C-プレートとを含んでもよい。プラスチック基板の形状は、2次元において曲率を呈してもよい。複数のコンポーネントはまた1つまたはそれを上回る4分の1波長板(QWP)、無彩色QWP(AQWP)、リターダ、反射防止性層、多層反射性偏光器(MLP)、ラミネートの層、またはそれらの組み合わせ、を含んでもよい。
【0082】
1つまたはそれを上回る実施形態では、空間光変調器アセンブリは、ピクセル電極の層と、平面電極と、ピクセル電極の層と平面電極との間に位置付けられる、液晶(LC)の層とを含む。空間光変調器アセンブリは、電極の層に隣接して位置付けられる、第1のプラスチック層と、平面電極に隣接して位置付けられる、第2のプラスチック層とを含んでもよい。ピクセル電極の層は、セグメント化された電極と、セグメント化された電極に電気的に結合される、回路網とを含んでもよい。回路網は、有機薄膜トランジスタ(O-TFT)を含んでもよい。複数のコンポーネント内の各コンポーネントの形状は、プラスチック基板の曲率に共形化してもよい。コンポーネントの外側スタックは、ワイヤグリッド偏光器およびコレステリック液晶(CLC)反射体のうちの少なくとも1つを含んでもよい。
【0083】
別の実施形態では、ウェアラブルディスプレイシステムが、接眼レンズと、光学デバイスとを含む。光学デバイスは、その形状が、少なくとも1次元において曲率を呈する、プラスチック基板と、プラスチック基板上にラミネートされる、複数のコンポーネントとを含む。複数のコンポーネントは、反射性フィルムおよび着色されたフィルムのうちの少なくとも1つを備える、コンポーネントの外側スタックと、コンポーネントの外側スタックとプラスチック基板との間に位置付けられる、複屈折フィルムのスタックと、複屈折フィルムのスタックとプラスチック基板との間に位置付けられる、空間光変調器アセンブリとを含む。
【0084】
1つまたはそれを上回る実施形態では、ウェアラブルディスプレイシステムはまた、ユーザの頭部を中心として装着されるように構成される、フレームを含む。接眼レンズは、フレームがユーザによって装着されると、ユーザの眼と光学デバイスとの間に位置付けられるように構成されてもよい。接眼レンズは、複数の導波管を含んでもよい。接眼レンズの形状は、少なくとも1次元において曲率を呈してもよい。ウェアラブルディスプレイシステムはまた、空間光変調器アセンブリに通信可能に結合される、制御回路網を含んでもよい。
【0085】
さらに別の実施形態では、ディスプレイデバイスは、接眼レンズスタックと、調光器アセンブリを含む、周囲光管理モジュール(ALMM)とを含む。ALMMは、プラスチック基板、角度減衰器アセンブリ、および少なくとも1つの世界に向いたフィルムのうちの1つまたはそれを上回るものを含んでもよい。
【0086】
多数の利点が、従来の技法に優る本開示の方法によって達成される。例えば、本明細書に説明される拡張現実(AR)デバイスは、ユーザの眼に到達する周囲光を大域的に調光および/または選択的に調光することによって、暗い屋内から明るい屋外へと変動する光レベルにおいて使用されてもよい。本発明の実施形態は、ピクセル化された調光器を使用して、世界光を99%を上回って減衰させることによって、単一デバイス内でARおよび仮想現実(VR)能力を可能にする。本発明の実施形態はまた、離散または連続可変深度面切替技術を用いて、可変焦点要素を使用して、輻輳・開散運動遠近調節競合を軽減させる。本発明の実施形態は、検出された周囲光の量に基づいて、プロジェクタ明度を最適化することによって、ARデバイスのバッテリ寿命を改良する。本開示の他の利点も、当業者に容易に明白となるであろう。
本発明は、例えば、以下を提供する。
(項目1)
光学デバイスであって、
プラスチック基板であって、前記プラスチック基板は、その形状が、少なくとも1次元において曲率を呈する、プラスチック基板と、
前記プラスチック基板上にラミネートされる複数のコンポーネントであって、前記複数のコンポーネントは、
反射性フィルムおよび着色されたフィルムのうちの少なくとも1つを備えるコンポーネントの外側スタックと、
前記コンポーネントの外側スタックと前記プラスチック基板との間に位置付けられる複屈折フィルムのスタックと、
前記複屈折フィルムのスタックと前記プラスチック基板との間に位置付けられる空間光変調器アセンブリと
を備える、複数のコンポーネントと
を備える、光学デバイス。
(項目2)
前記複数のコンポーネントはさらに、
前記空間光変調器アセンブリと前記プラスチック基板との間に位置付けられる第1の偏光器と、
前記複屈折フィルムのスタックと前記空間光変調器アセンブリとの間に位置付けられる第2の偏光器と
を備える、項目1に記載の光学デバイス。
(項目3)
前記複数のコンポーネントはさらに、
前記コンポーネントの外側スタックと前記複屈折フィルムのスタックとの間に位置付けられる第3の偏光器
を備える、項目2に記載の光学デバイス。
(項目4)
前記複屈折フィルムのスタックは、
第1の4分の1波長板(QWP)と、
第2のQWPと、
前記第1のQWPと第2のQWPとの間に位置付けられるC-プレートと
を備える、項目1に記載の光学デバイス。
(項目5)
前記空間光変調器アセンブリは、
ピクセル電極の層と、
平面電極と、
前記ピクセル電極の層と前記平面電極との間に位置付けられる液晶(LC)の層と
を備える、項目1に記載の光学デバイス。
(項目6)
前記空間光変調器アセンブリはさらに、
前記電極の層に隣接して位置付けられる第1のプラスチック層と、
前記平面電極に隣接して位置付けられる第2のプラスチック層と
を備える、項目5に記載の光学デバイス。
(項目7)
前記ピクセル電極の層は、セグメント化された電極と、前記セグメント化された電極に電気的に結合される回路網とを備える、項目5に記載の光学デバイス。
(項目8)
前記回路網は、有機薄膜トランジスタ(O-TFT)を備える、項目7に記載の光学デバイス。
(項目9)
前記複数のコンポーネント内の各コンポーネントの形状は、前記プラスチック基板の曲率に共形化する、項目1に記載の光学デバイス。
(項目10)
前記コンポーネントの外側スタックは、ワイヤグリッド偏光器およびコレステリック液晶(CLC)反射体のうちの少なくとも1つを備える、項目1に記載の光学デバイス。
(項目11)
プラスチック基板であって、前記プラスチック基板の形状は、2次元において曲率を呈する、項目1に記載の光学デバイス。
(項目12)
前記複数のコンポーネントはさらに、1つまたはそれを上回る4分の1波長板(QWP)、無彩色QWP(AQWP)、リターダ、反射防止性層、多層反射性偏光器(MLP)、ラミネートの層、またはそれらの組み合わせを備える、項目1に記載の光学デバイス。
(項目13)
ウェアラブルディスプレイシステムであって、
接眼レンズと、
項目1に記載の光学デバイスと
を備える、ウェアラブルディスプレイシステム。
(項目14)
ユーザの頭部を中心として装着されるように構成されるフレームをさらに備える、項目13に記載のウェアラブルディスプレイシステム。
(項目15)
前記接眼レンズは、前記フレームが前記ユーザによって装着されると、前記ユーザの眼と前記光学デバイスとの間に位置付けられるように構成される、項目14に記載のウェアラブルディスプレイシステム。
(項目16)
前記接眼レンズは、複数の導波管を備える、項目13に記載のウェアラブルディスプレイシステム。
(項目17)
前記接眼レンズの形状は、少なくとも1次元において曲率を呈する、項目13に記載のウェアラブルディスプレイシステム。
(項目18)
前記空間光変調器アセンブリに通信可能に結合される制御回路網をさらに備える、項目13に記載のウェアラブルディスプレイシステム。
(項目19)
ディスプレイデバイスであって、
接眼レンズスタックと、
調光器アセンブリを含む周囲光管理モジュール(ALMM)と
を備える、ディスプレイデバイス。
(項目20)
前記ALMMはさらに、プラスチック基板、角度減衰器アセンブリ、および少なくとも1つの世界に向いたフィルムのうちの1つまたはそれを上回るものを含む、項目19に記載のディスプレイデバイス。
【図面の簡単な説明】
【0087】
【
図1】
図1は、本明細書に説明されるいくつかの実施形態による、ウェアラブルARデバイスを通して視認されるような拡張現実(AR)場面を図示する。
【0088】
【
図2A】
図2Aは、本発明による、ARデバイスの1つまたはそれを上回る一般的特徴を図示する。
【0089】
【
図2B】
図2Bは、調光される面積が検出された光情報に基づいて決定される、ARデバイスの実施例を図示する。
【0090】
【
図2C】
図2Cは、調光される面積が仮想画像に基づいて決定される、ARデバイスの実施例を図示する。
【0091】
【
図2D】
図2Dは、調光される面積が視線情報に基づいて決定される、ARデバイスの実施例を図示する。
【0092】
【
図3】
図3は、本発明による、ウェアラブルARデバイスの概略図を図示する。
【0093】
【
図4】
図4は、光学システムを動作させるための方法を図示する。
【0094】
【
図5】
図5は、接眼レンズおよびピクセル化された調光要素を伴う、ARデバイスを図示する。
【0095】
【
図6】
図6は、ユーザの眼の瞳孔位置に基づいて視線ベクトルを決定するための技法を図示する。
【0096】
【
図7】
図7は、ユーザの眼の回転中心に基づいて視線ベクトルを決定するための技法を図示する。
【0097】
【
図8】
図8は、検出された光情報および眼内の錐体および桿体場所に基づいて視線ベクトルを決定するための技法を図示する。
【0098】
【
図9】
図9は、瞳孔が縮瞳される、高光量条件下の決定された視線ベクトルを図示する。
【0099】
【
図10】
図10は、瞳孔が散瞳される、低光量条件下の決定された視線ベクトルを図示する。
【0100】
【
図11】
図11は、高光量条件における視線ベクトルおよび対応する調光される面積を決定するための3つの技法を図示する。
【0101】
【
図12】
図12は、低光量条件における視線ベクトルおよび対応する調光される面積を決定するための3つの技法を図示する。
【0102】
【
図13】
図13は、瞳孔位置を使用して計算される視線ベクトルを使用して決定された調光される面積を生産するように調節されている、調光器を図示する。
【0103】
【
図14】
図14は、高光量条件における錐体および桿体場所を使用して計算される視線ベクトルを使用して決定された調光される面積を生産するように調節されている、調光器を図示する。
【0104】
【
図15】
図15は、低光量条件における錐体および桿体場所を使用して計算される視線ベクトルを使用して決定された調光される面積を生産するように調節されている、調光器を図示する。
【0105】
【
図16】
図16は、調光される面積が環状領域内の中心部分を含む、実施例を図示する。
【0106】
【
図17】
図17は、眼の回転中心を使用して計算される視線ベクトルを使用して決定された調光される面積を生産するように調節されている、調光器を図示する。
【0107】
【
図18A】
図18Aおよび18Bは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。
【
図18B】
図18Aおよび18Bは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。
【0108】
【
図19A】
図19Aおよび19Bは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。
【
図19B】
図19Aおよび19Bは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。
【0109】
【
図20】
図20は、調光器を調節する、および/またはプロジェクタを調節することによって、仮想コンテンツの不透明度を改良する、実施例を図示する。
【0110】
【
図21】
図21は、仮想オブジェクトに対応するシステム視野の一部を調光することによって、仮想コンテンツの不透明度を改良する、実施例を図示する。
【0111】
【
図22】
図22は、仮想画像明度と周囲光レベルとの間の関係を示す、プロットを図示する。
【0112】
【
図23A】
図23Aおよび23Bは、世界場面に及ぼされる小オクルージョンの影響を示す、略図を図示する。
【
図23B】
図23Aおよび23Bは、世界場面に及ぼされる小オクルージョンの影響を示す、略図を図示する。
【0113】
【
図24】
図24は、角度範囲の関数として調光要素の透過率に及ぼされるオクルーザ直径の変動の影響を示す、プロットを図示する。
【0114】
【
図25】
図25は、単一オクルーザを使用した調光の実施例を図示する。
【0115】
【
図26】
図26は、光学シースルー(OST)頭部搭載可能ディスプレイ(HMD)のアーキテクチャの実施例を図示する。
【0116】
【
図27】
図27は、OST-HMDのアーキテクチャの付加的実施例を図示する。
【0117】
【
図28】
図28は、OST-HMDのアーキテクチャの付加的実施例を図示する。
【0118】
【
図29】
図29は、本発明による、ARデバイスの概略図を図示する。
【0119】
【
図30】
図30および31は、いくつかの実施形態による、周囲光管理モジュール(ALMM)を含む、AR HMDの実施例を図示する。
【
図31】
図30および31は、いくつかの実施形態による、周囲光管理モジュール(ALMM)を含む、AR HMDの実施例を図示する。
【
図32】
図32は、本明細書に説明されるいくつかの実施形態による、簡略化されたコンピュータシステムを図示する。
【発明を実施するための形態】
【0120】
詳細な説明
光学シースルー(OST)拡張現実(AR)デバイスに関する継続中の技術的課題は、変動する周囲光条件下での仮想コンテンツの不透明度および/または可視度の変動である。問題は、完全に暗い部屋または完全に明るい太陽光下の屋外等、極限照明条件において悪化する。本発明の実施形態は、ARデバイスの視野内の異なる空間場所における世界光を調光することによって、これらおよび他の問題を解決する。それに対して調光が適用される視野の部分および適用される調光の量はそれぞれ、ARデバイスによって検出された種々の情報に基づいて決定される。本情報は、検出された周囲光、検出された視線情報、および/または投影されている仮想コンテンツの検出された明度を含んでもよい。ARデバイスの機能性はさらに、周囲光と関連付けられる方向を検出することによって、例えば、複数の空間的に分解された光値を検出することによって、改良される。これは、ARデバイスが、調光が必要とされる視野の部分のみを調光する、および/または視野のある部分内のプロジェクタ明度を増加させることによって、そのバッテリ寿命を改良することを可能にする。故に、本発明の実施形態は、従来の可能性として考えられるものよりはるかに広い種々の条件においてARデバイスの使用を有効にする。
【0121】
図1は、本発明のいくつかの実施形態による、ウェアラブルARデバイスを通して視認されるようなAR場面100を図示する。AR技術のユーザに、人々、木々、背景における建物、および実世界コンクリートプラットフォーム120等の種々の実世界オブジェクト130を特徴とする、実世界公園状設定106が見えている、AR場面100が、描写される。これらのアイテムに加え、AR技術のユーザはまた、実世界コンクリートプラットフォーム120上に立っているロボット像102-2と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ102-1等、種々の仮想オブジェクト102が「見える」と知覚するが、これらの要素(キャラクタ102-1および像102-2)は、実世界には存在しない。ヒト視知覚および神経系の著しい複雑性に起因して、他の仮想または実世界画像要素の中への、仮想画像要素の快適で、自然のような感覚の、豊かな提示を促進する、仮想現実(VR)またはAR技術を生産することが困難である。
【0122】
図2Aは、本発明による、ARデバイス200の1つまたはそれを上回る一般的特徴を図示する。いくつかの実施形態では、ARデバイス200は、接眼レンズ202および動的調光器203を通して見ているとき、ユーザが1つまたはそれを上回る世界オブジェクト230を視認し得るように、ARデバイス200が非アクティブモードまたはオフモードにあるとき、透明または半透明であるように構成される、接眼レンズ202および動的調光器203を含んでもよい。図示されるように、接眼レンズ202および動的調光器203は、並置構成に配列され得、接眼レンズ202および動的調光器203を通して見ているときにユーザに見える、システム視野を形成し得る。いくつかの実施形態では、システム視野は、接眼レンズ202および動的調光器203の一方または両方によって占有される、2次元領域全体として定義される。
図2Aは、単一接眼レンズ202および単一動的調光器203を図示する(例証的理由から)が、ARデバイス200は、ユーザの片眼毎に、2つの接眼レンズおよび2つの動的調光器を含んでもよい。
【0123】
動作の間、動的調光器203は、動的調光器203上に衝突する、世界オブジェクト230と関連付けられる世界光232の強度を低減させるように調節され、それによって、調光される面積236をシステム視野内に生産し得る。調光される面積236は、システム視野の一部またはサブセットであってもよく、部分的または完全に、調光されてもよい。動的調光器203は、調光される面積236のための複数の空間的に分解された調光値に従って調節されてもよい。さらに、ARデバイス200の動作の間、プロジェクタ214は、仮想画像光222(すなわち、仮想コンテンツと関連付けられる光)を接眼レンズ202上に投影してもよく、これは、ユーザによって、世界光232とともに観察され得る。
【0124】
仮想画像光222を接眼レンズ202上に投影することは、ユーザが対応する仮想コンテンツをユーザの環境内のある場所に位置付けられるように知覚するように、ライトフィールド(すなわち、仮想コンテンツの角度表現)をユーザの網膜上に投影させ得る。例えば、接眼レンズ202によって外部結合された仮想画像光222は、ユーザに、キャラクタ202-1が第1の仮想深度面210-1に位置付けられるように、像202-2が第2の仮想深度面210-2に位置付けられるように知覚させ得る。ユーザは、プラットフォーム120等の1つまたはそれを上回る世界オブジェクト230に対応する世界光232とともに、仮想コンテンツを知覚する。
【0125】
いくつかの実施形態では、ARデバイス200は、世界光232を検出するように構成される、周囲光センサ234を含んでもよい。周囲光センサ234は、周囲光センサ234によって検出された世界光232が、動的調光器203および/または接眼レンズ202上に衝突する世界光232に類似する、および/またはそれを表すように、位置付けられてもよい。いくつかの実施形態では、周囲光センサ234は、動的調光器203の異なるピクセルに対応する、複数の空間的に分解された光値を検出するように構成されてもよい。これらの実施形態では、周囲光センサ234は、例えば、結像センサ(例えば、CMOS、CCD等)または(例えば、アレイまたは別の空間的に分散された配列における)複数の光ダイオードに対応してもよい。いくつかの実施形態では、または同一実施形態では、周囲光センサ234は、世界光232の平均光強度または単一光強度に対応する、大域的光値を検出するように構成されてもよい。これらの実施形態では、周囲光センサ234は、例えば、1つまたはそれを上回る光ダイオードのセットに対応してもよい。他の可能性も、検討される。
【0126】
図2Bは、調光される面積236が、世界光232に対応する、検出された光情報に基づいて決定される、ARデバイス200の実施例を図示する。具体的には、周囲光センサ234は、太陽250と関連付けられる世界光232を検出し得、太陽250と関連付けられる世界光232がARデバイス200を通して通過する、システム視野の方向および/または部分をさらに検出し得る。それに応答して、動的調光器203は、調光される面積236を設定し、検出された世界光に対応するシステム視野の部分を網羅するように調節されてもよい。図示されるように、動的調光器203は、調光される面積236の端部を上回る量において、調光される面積236の中心における世界光232の強度を低減させるように調節されてもよい。
【0127】
図2Cは、調光される面積236が仮想画像光222に基づいて決定される、ARデバイス200の実施例を図示する。具体的には、調光される面積236は、ユーザが仮想画像光222を観察することから生じる、ユーザによって知覚される仮想コンテンツに基づいて決定されてもよい。いくつかの実施形態では、ARデバイス200は、可能性の中でもとりわけ、仮想画像光222の場所(例えば、それを通してユーザが仮想コンテンツを知覚する、動的調光器203内の場所)および/または仮想画像光222の明度(例えば、知覚される仮想コンテンツおよび/またはプロジェクタ214において生成される光の明度)を含む、画像情報を検出してもよい。図示されるように、動的調光器203は、調光される面積236を設定し、仮想画像光222に対応するシステム視野の部分を網羅するように調節されてもよい、または代替として、いくつかの実施形態では、調光される面積236は、仮想画像光222と整合されない、システム視野の部分を網羅してもよい。いくつかの実施形態では、調光される面積236の調光値は、周囲光センサ234によって検出された世界光232および/または仮想画像光222の明度に基づいて決定されてもよい。
【0128】
図2Dは、調光される面積236がユーザの眼に対応する視線情報に基づいて決定される、ARデバイス200の実施例を図示する。いくつかの実施形態では、視線情報は、ユーザの視線ベクトル238および/または視線ベクトル238が動的調光器203と交差する動的調光器203のピクセル場所を含む。図示されるように、動的調光器203は、調光される面積236を設定し、視線ベクトル238と動的調光器203との間の交点(または交差領域)に対応するシステム視野の部分を網羅するように調節されてもよい、または代替として、いくつかの実施形態では、調光される面積236は、視線ベクトル238と動的調光器203との間の交点(または交差領域)に対応しない、システム視野の部分を網羅してもよい。いくつかの実施形態では、調光される面積236の調光値は、周囲光センサ234によって検出された世界光232および/または仮想画像光222の明度に基づいて決定されてもよい。いくつかの実施形態では、視線情報は、ARデバイス200に搭載される、眼追跡器240によって検出されてもよい。
【0129】
図3は、本発明による、ウェアラブルARデバイス300の概略図を図示する。ARデバイス300は、並置構成に配列される、左接眼レンズ302Aおよび左動的調光器303Aと、同様に並置構成に配列される、右接眼レンズ302Bおよび右動的調光器303Bとを含んでもよい。いくつかの実施形態では、ARデバイス300は、限定ではないが、直接、左接眼レンズ302Aまたはその近くに取り付けられる、左正面に向いた世界カメラ306Aと、直接、右接眼レンズ302Bまたはその近くに取り付けられる、右正面に向いた世界カメラ306Bと、直接、左接眼レンズ302Aまたは近くに取り付けられる、左側に向いた世界カメラ306Cと、直接、右接眼レンズ302Bまたは近くに取り付けられる、右側に向いた世界カメラ306Dと、ユーザの左眼を観察するように位置付けられる、左眼追跡器340Aと、ユーザの右眼を観察するように位置付けられる、右眼追跡器340Bと、周囲光センサ334とを含む、1つまたはそれを上回るセンサを含む。いくつかの実施形態では、ARデバイス300は、左接眼レンズ302Aに光学的にリンクされる、左プロジェクタ314Aと、右接眼レンズ302Bに光学的にリンクされる、右プロジェクタ314B等、1つまたはそれを上回る画像投影デバイスを含む。
【0130】
ARデバイス300のコンポーネントのいくつかまたは全ては、投影された画像がユーザによって視認され得るように、頭部搭載型であってもよい。1つの特定の実装では、
図3に示されるARデバイス300のコンポーネントは全て、ユーザによって装着可能な単一デバイス(例えば、単一ヘッドセット)上に搭載される。別の実装では、処理モジュール350が、ARデバイス300の他のコンポーネントと物理的に別個であって、1つまたはそれを上回る有線および/または無線接続によって、それに通信可能に結合される。例えば、処理モジュール350が、フレームに固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザに除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において等)等、種々の構成において搭載されてもよい。
【0131】
処理モジュール350は、プロセッサ352と、不揮発性メモリ(例えば、フラッシュメモリ)等の関連付けられるデジタルメモリ356とを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、カメラ306、周囲光センサ334、眼追跡器340、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等、(例えば、ARデバイス300に動作可能に結合される、または別様にユーザに取り付けられ得る)センサから捕捉されたデータを含んでもよい。例えば、処理モジュール350は、画像320をカメラ306から受信してもよい。具体的には、処理モジュール350は、左正面画像320Aを左正面に向いた世界カメラ306Aから、右正面画像320Bを右正面に向いた世界カメラ306Bから、左側画像320Cを左側に向いた世界カメラ306Cから、右側画像320Dを右側に向いた世界カメラ306Dから受信してもよい。いくつかの実施形態では、画像320は、単一画像、一対の画像、画像のストリームを備えるビデオ、ペアリングされた画像のストリームを備えるビデオ、および同等物を含んでもよい。画像320は、ARデバイス300が電源投入されている間、周期的に、生成され、処理モジュール350に送信されてもよい、または処理モジュール350によってカメラのうちの1つまたはそれを上回るものに送信される命令に応答して、生成されてもよい。別の実施例として、処理モジュール350は、光情報を周囲光センサ334から受信してもよい。いくつかの実施形態では、周囲光センサ334の機能性のいくつかまたは全ては、世界カメラ306A-306Dのうちの1つまたはそれを上回るものを用いて提供されてもよい。別の実施例として、処理モジュール350は、視線情報を眼追跡器340の一方または両方から受信してもよい。別の実施例として、処理モジュール350は、画像情報(例えば、画像明度値)をプロジェクタ314の一方または両方から受信してもよい。
【0132】
接眼レンズ302Aおよび302Bは、それぞれ、プロジェクタ314Aおよび314Bからの光を指向するように構成される、透明または半透明導波管を備えてもよい。具体的には、処理モジュール350は、左プロジェクタ314Aに、左仮想画像光322Aを左接眼レンズ302A上に出力させ(左仮想画像光322Aと関連付けられる対応するライトフィールドをユーザの網膜上に投影させ)てもよく、右プロジェクタ314Bに、右仮想画像光322Bを右接眼レンズ302B上に出力させ(右仮想画像光322Bと関連付けられる対応するライトフィールドをユーザの網膜上に投影させ)てもよい。いくつかの実施形態では、接眼レンズ302はそれぞれ、異なる色および/または異なる深度面に対応する、複数の導波管を備えてもよい。いくつかの実施形態では、動的調光器303は、接眼レンズ302に結合される、および/またはそれと統合されてもよい。例えば、動的調光器303のうちの1つは、多層接眼レンズの中に組み込まれてもよく、接眼レンズ302のうちの1つを構成する、1つまたはそれを上回る層を形成してもよい。
【0133】
カメラ306Aおよび306Bは、それぞれ、ユーザの左および右眼の視野と実質的に重複する、画像を捕捉するように位置付けられてもよい。故に、カメラ306の設置は、ユーザの眼の近くであるが、ユーザの視野を不明瞭にするほど近くではないようになり得る。代替として、または加えて、カメラ306Aおよび306Bは、それぞれ、仮想画像光322Aおよび322Bの内部結合場所と整合するように位置付けられてもよい。カメラ306Cおよび306Dは、ユーザの側面、例えば、ユーザの周辺視覚内またはユーザの周辺視覚外に対して画像を捕捉するように位置付けられてもよい。カメラ306Cおよび306Dを使用して捕捉された画像320Cおよび320Dは、必ずしも、カメラ306Aおよび306Bを使用して捕捉された画像320Aおよび320Bと重複する必要はない。
【0134】
ARデバイス300の1つまたはそれを上回るコンポーネントは、
図2A-2Dを参照して説明される、1つまたはそれを上回るコンポーネントに類似してもよい。例えば、いくつかの実施形態では、接眼レンズ302、動的調光器303、プロジェクタ314、周囲光センサ334、および眼追跡器340の機能性は、それぞれ、接眼レンズ202、動的調光器203、プロジェクタ214、周囲光センサ234、および眼追跡器240に類似してもよい。いくつかの実施形態では、処理モジュール350の機能性は、別個に格納されるが、通信可能に結合される、電子ハードウェアコンポーネントの2つまたはそれを上回るセットによって実装されてもよい。例えば、処理モジュール350の機能性は、ヘッドセットに物理的にテザリングされるコンピューティングデバイス内に格納される、電子ハードウェアコンポーネント、ヘッドセットの環境内の1つまたはそれを上回る電子デバイス(例えば、スマートフォン、コンピュータ、周辺デバイス、スマート家電等)、1つまたはそれを上回る遠隔に位置するコンピューティングデバイス(例えば、サーバ、クラウドコンピューティングデバイス等)、またはそれらの組み合わせと併せて、ヘッドセット内に格納される、電子ハードウェアコンポーネントによって行われてもよい。そのような構成の一実施例は、
図29を参照して下記にさらに詳細に説明される。
【0135】
図4は、光学システム(例えば、ARデバイス200または300)を動作させるための方法400を図示する。方法400のステップは、
図4に示されるものと異なる順序で実施されてもよく、ステップの全てが、実施される必要はない。例えば、いくつかの実施形態では、ステップ406、408、および410のうちの1つまたはそれを上回るものは、方法400の実施の間、省略されてもよい。方法400の1つまたはそれを上回るステップは、プロセッサ(例えば、プロセッサ352)または光学システム内のある他のコンポーネントによって実施されてもよい。
【0136】
ステップ402では、世界オブジェクト(例えば、世界オブジェクト230)と関連付けられる光(例えば、世界光232)が、光学システムにおいて受光される。世界オブジェクトは、光学システムのユーザによって視認される、木、人物、家、建物、太陽等、任意の数の実世界オブジェクトであってもよい。いくつかの実施形態では、世界オブジェクトと関連付けられる光は、最初に、動的調光器(例えば、動的調光器203または303)または光学システムの外部の審美的レンズによって受光される。いくつかの実施形態では、世界オブジェクトと関連付けられる光は、光が光学システムの1つまたはそれを上回るコンポーネントに到達すると(例えば、光が動的調光器に到達すると)、光学システムにおいて受光されたと見なされる。
【0137】
ステップ404では、仮想画像光(例えば、仮想画像光222または322)が、接眼レンズ(例えば、接眼レンズ202または302)上に投影される。仮想画像光は、光学システムのプロジェクタ(例えば、プロジェクタ214または314)によって接眼レンズ上に投影されてもよい。仮想画像光は、単一画像、一対の画像、画像のストリームを備えるビデオ、ペアリングされた画像のストリームを備えるビデオ、および同等物に対応してもよい。いくつかの実施形態では、仮想画像光は、仮想画像光と関連付けられる任意の光が接眼レンズに到達すると、接眼レンズ上に投影されたと見なされる。いくつかの実施形態では、仮想画像光を接眼レンズ上に投影することは、ユーザが対応する仮想コンテンツがユーザの環境内のある場所に位置付けられるように知覚するように、ライトフィールド(すなわち、仮想コンテンツの角度表現)をユーザの網膜上に投影させる。
【0138】
ステップ406、408、および410の間、情報が、例えば、光学システムの1つまたはそれを上回るセンサを使用して、光学システムによって検出されてもよい。ステップ406では、世界オブジェクトと関連付けられる光に対応する光情報が、検出される。光情報は、光学システムに搭載される光センサ(例えば、周囲光センサ234または334)を使用して検出されてもよい。いくつかの実施形態では、光情報は、複数の空間的に分解された光値を含む。複数の空間的に分解された光値はそれぞれ、システム視野内の2次元位置に対応してもよい。例えば、光値はそれぞれ、動的調光器のピクセルと関連付けられてもよい。他の実施形態では、または同一実施形態では、光情報は、大域的光値を含んでもよい。大域的光値は、システム視野全体と関連付けられてもよい(例えば、動的調光器の全てのピクセル上に衝突する光の平均光値)。
【0139】
ステップ408では、光学システムのユーザの眼に対応する視線情報が、検出される。視線情報は、光学システムに搭載される眼追跡器(例えば、眼追跡器240または340)を使用して検出されてもよい。いくつかの実施形態では、視線情報は、ユーザの眼の視線ベクトル(例えば、視線ベクトル238)を含む。いくつかの実施形態では、視線情報は、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの1つまたはそれを上回るものを含む。視線ベクトルは、瞳孔位置、眼の回転中心、瞳孔サイズ、瞳孔直径、および/または錐体および桿体場所等、視線情報の1つまたはそれを上回る成分に基づいて決定されてもよい。視線ベクトルが、錐体および桿体場所に基づいて決定されるとき、さらに、錐体および桿体場所を含有する、眼の網膜層内の視線ベクトルの原点を決定するように、光情報(例えば、大域的光値)に基づいて決定されてもよい。いくつかの実施形態では、視線情報は、視線ベクトルが動的調光器と交差する、動的調光器のピクセルまたはピクセルのグループを含む。
【0140】
ステップ410では、プロジェクタによって接眼レンズ上に投影された仮想画像光(例えば、仮想画像光222または322)に対応する、画像情報が、検出される。画像情報は、プロジェクタによって、プロセッサ(例えば、プロセッサ352)によって、または別個の光センサによって検出されてもよい。いくつかの実施形態では、画像情報は、ユーザが仮想画像光を観察するとき、それを通してユーザが仮想コンテンツを知覚する、動的調光器内の1つまたはそれを上回る場所を含む。いくつかの実施形態では、画像情報は、複数の空間的に分解された画像明度値(例えば、知覚される仮想コンテンツの明度)を含む。例えば、画像明度値はそれぞれ、接眼レンズまたは動的調光器のピクセルと関連付けられてもよい。1つの特定の実装では、プロセッサが、命令をプロジェクタに送信し、仮想画像光を接眼レンズ上に投影するとき、プロセッサは、命令に基づいて、空間的に分解された画像明度値を決定してもよい。別の特定の実装では、プロジェクタが、命令をプロセッサから受信し、仮想画像光を接眼レンズ上に投影するとき、プロジェクタは、空間的に分解された画像明度値をプロセッサに送信する。別の特定の実装では、接眼レンズ上またはその近くに位置付けられる、光センサが、空間的に分解された画像明度値を検出し、プロセッサに送信する。他の実施形態では、または同一実施形態では、画像情報は、大域的画像明度値を含む。大域的画像明度値は、システム視野全体と関連付けられてもよい(例えば、仮想画像光の全ての平均画像明度値)。
【0141】
ステップ412では、少なくとも部分的に調光されることになるシステム視野の一部は、検出された情報に基づいて決定される。検出された情報は、ステップ406の間に検出された光情報、ステップ408の間に検出された視線情報、および/またはステップ410の間に検出された画像情報を含んでもよい。いくつかの実施形態では、システム視野の一部は、システム視野全体に等しい。種々の実施形態では、システム視野の一部は、システム視野の1%、5%、10%、25%、50%、または75%等に等しくてもよい。いくつかの実施形態では、異なるタイプの情報は、少なくとも部分的に調光されることになる部分を決定する際、異なるように加重されてもよい。例えば、視線情報は、利用可能であるとき、少なくとも部分的に調光されることになる部分を決定する際、光情報および画像情報より重く加重されてもよい。1つの特定の実装では、情報の各タイプは、独立して、少なくとも部分的に調光されることになるシステム視野の異なる部分を決定するために使用されてもよく、続いて、異なる部分は、AND演算またはOR演算を使用して、単一部分に組み合わせられてもよい。
【0142】
いくつかの実施形態では、少なくとも部分的に調光されることになるシステム視野の一部を決定するために使用される情報は、仮想コンテンツ内に提示される、1つまたはそれを上回るオブジェクトと関連付けられる、情報を含む。例えば、仮想コンテンツは、テキスト、ナビゲーションインジケータ(例えば、矢印)、および/または他のコンテンツを含んでもよい。そのようなコンテンツが提示されることになる視野の部分および/またはコンテンツの近位の視野は、ユーザが、コンテンツをより容易に読み取り、知覚し、理解し、コンテンツを世界オブジェクトから区別し得るように、調光されることができる。調光器は、1つまたはそれを上回るピクセルおよび/またはピクセルのゾーンを選択的に調光する、またはコンテンツの視認を向上させることができる。一実施例では、視野の下側部分の区分は、選択的および動的に調光され、ユーザに、指向性(例えば、ナビゲーション)矢印、テキストメッセージ等がより容易に見えるようにすることができる。そのような調光は、コンテンツが、そのようなコンテンツが表示されることになることの決定に応答して表示されている間に実施されてもよく、調光は、コンテンツがもはや表示されなくなると、除去されてもよい。いくつかのインスタンスでは、調光は、視野全体にわたる調光を有効にするピクセル構造によって生じる、アーチファクトを軽減させるために実施されてもよい。
【0143】
ステップ414では、システム視野の一部に関する複数の空間的に分解された調光値が、検出された情報に基づいて決定される。いくつかの実施形態では、調光値は、仮想コンテンツの所望の不透明度または可視度に基づく公式アプローチを使用して決定される。1つの特定の実装では、仮想コンテンツの可視度は、以下の方程式を使用して計算されてもよい。
【化1】
式中、Vは、可視度であり、I
maxは、画像情報によって示されるような仮想画像光の明度であり、I
backは、光情報(決定された調光値によって修正されてもよい)によって示されるような世界オブジェクトと関連付けられる光値に関連され、Cは、所望のコントラスト(例えば、100:1)である。例えば、可視度方程式は、調光器の各ピクセル場所において、特定のピクセル場所における仮想画像光の明度と、特定のピクセル場所における世界オブジェクトと関連付けられる光値とを使用して、特定のピクセル場所のための調光値を計算するために使用されてもよい。いくつかの実施形態では、I
backは、以下の方程式を使用して定義されてもよい。
【化2】
式中、T
vは、調光器の1つまたはそれを上回るピクセルを通して通過することを可能にされる、光のパーセンテージであり、I
worldは、光情報によって示されるような世界からの周囲光の明度である。いくつかの実施例では、T
vは、調光値を表す、またはそれに関連され得る。
【0144】
ステップ416では、調光器は、システム視野の一部内のオブジェクトと関連付けられる光の強度を低減させるように調節される。例えば、調光器は、調光器の各ピクセル場所上に衝突する、オブジェクトと関連付けられる光の強度が、その特定のピクセル場所のために決定された調光値に従って低減されるように調節されてもよい。本開示で使用されるように、調光器を調節するステップは、調光器を初期化するステップ、調光器をアクティブ化するステップ、調光器の電源を投入するステップ、以前に初期化され、アクティブ化され、および/または電源を投入された調光器を修正または変更するステップ、および同等物を含んでもよい。いくつかの実施形態では、プロセッサは、システム視野の一部および複数の空間的に分解された調光値の両方を示す、データを調光器に送信してもよい。
【0145】
ステップ418では、プロジェクタは、仮想画像光と関連付けられる明度を調節するように調節される。例えば、いくつかの実施形態では、仮想オブジェクトの明度を増加または減少させずに、仮想コンテンツの所望の不透明度または可視度を達成することは、困難であり得る。そのような実施形態では、仮想画像光の明度は、調光器を調節する前、その後、それと同時に、またはそれと並行して、調節されてもよい。
【0146】
図5は、接眼レンズ502と、種々のレベルの調光を有し得る、調光面積(すなわち、ピクセル)の空間グリッドを備える、ピクセル化された調光要素503とを伴う、ARデバイス500を図示する。調光面積はそれぞれ、関連付けられるサイズ510(すなわち、幅)と、関連付けられる間隔520(すなわち、ピッチ)とを有してもよい。図示されるように、調光面積の空間グリッドは、入射光の完全調光を提供する、1つまたはそれを上回る暗いピクセル506と、入射光の完全透過を提供する、1つまたはそれを上回るクリアなピクセル508とを含んでもよい。ピクセル化された調光要素503内の隣接するピクセルは、境を接してもよい(例えば、ピッチがサイズに等しいとき)、または間隙によって分離されてもよい(例えば、ピッチがサイズを上回るとき)。種々の実施形態では、ピクセル化された調光要素503は、染料ドープまたはゲストホスト液晶、ねじれネマチック(TN)または垂直整合(VA)液晶、または強誘電性液晶等の液晶技術を採用してもよい。いくつかの実施形態では、ピクセル化された調光要素503は、可能性の中でもとりわけ、エレクトロクロミックデバイスを備えてもよい。いくつかの実装では、ピクセル化された調光要素503は、ECBセル等の電気的に制御された複屈折(「ECB」)技術を採用してもよい。
【0147】
図6は、ユーザの眼の瞳孔位置に基づいて視線ベクトル610を決定するための技法を図示する。いくつかのインスタンスでは、ARデバイスに対する瞳孔位置605が、眼追跡器を使用して検出され、視線ベクトル610は、続いて、瞳孔位置605における眼の表面に直交するベクトルとして定義される。視線ベクトル610は、代替として、または加えて、眼の回転中心および瞳孔位置605と交差するベクトルとして定義されてもよい。回転中心は、眼追跡器によって集められたデータを使用して、推定されてもよい。視線ベクトル610は、代替として、または加えて、眼および瞳孔位置605の幾何学的中心と交差するベクトルとして定義されてもよい。眼の幾何学的中心は、眼追跡器によって集められたデータを使用して推定されてもよい。他の可能性も、検討される。
【0148】
瞳孔位置605を使用して、視線ベクトル610を決定することに関する、いくつかの固有の問題のうちの1つが、
図6に図示される。上側略図では、眼が、概して、接眼レンズ602の中心に向かって見ているときの、瞳孔位置605と接眼レンズ602との間の第1の距離D
1が、示される。下側略図では、眼が、概して、接眼レンズの上部に向かって見ているときの、瞳孔位置と接眼レンズとの間の第2の距離D
2が、示される。ここでは、第1の距離D
1は、第2の距離D
2未満であって、ユーザの眼が移動するにつれた輻輳・開散運動距離の変動に起因して、レンダリング位置合わせ問題を生じさせる。
【0149】
図7は、ユーザの眼の回転中心に基づいて視線ベクトル710を決定するための技法を図示する。回転中心720が、眼追跡器によって集められたデータを使用して推定されてもよく、視線ベクトル710は、続いて、回転中心720および瞳孔位置705を接続することによって形成される、ベクトルとして定義されてもよい。視線ベクトル710を決定するために回転中心720を使用することのいくつかの利点のうちの1つは、回転中心720と接眼レンズ702との間の距離が、眼が見ている方向に関係なく、同一であり得ることである。
図7の上側略図では、眼が、概して、接眼レンズ702の中心に向かって見ているときの、回転中心720と接眼レンズ702との間の第3の距離D
3が、示される。下側略図では、眼が、概して、接眼レンズ702の上部に向かって見ているときの、回転中心720と接眼レンズ702との間の第4の距離D
4が、示される。ここでは、第3の距離D
3は、第4の距離D
4と同一であって、それによって、レンダリング位置合わせを改良する。
【0150】
図8は、検出された光情報および眼内の錐体804および桿体806場所に基づいて視線ベクトルを決定するための技法を図示する。錐体804は、高光量条件854において光により敏感であって、桿体806は、低光量条件856において光により敏感であるため、検出された周囲光(例えば、大域的光値)が減少850するにつれて、視線ベクトルの原点は、高密度の錐体804に対応する網膜層の中心位置から高密度の桿体806に対応する環に沿った1つまたはそれを上回る点に外向きに調節されてもよい。故に、高光量条件854では、決定される視線ベクトルは、網膜層の中心位置を瞳孔位置に接続することによって形成される、単一の視線ベクトル814であり得、低光量条件856では、決定される視線ベクトルは、網膜層825の中心位置を囲繞する環に沿った1つまたはそれを上回る点を瞳孔位置に接続することによって形成される、単一または複数の視線ベクトル816であり得る。代替として、または加えて、複数の視線ベクトルは、視線ベクトルの円錐、すなわち、無限数の可能性として考えられる視線ベクトルを備える「視線円錐」として説明される/表されてもよい。
【0151】
錐体804および桿体806場所は、眼追跡器によって集められた情報を使用して推定されてもよい、またはいくつかの実施形態では、高密度の錐体804に対応する網膜層の中心位置は、瞳孔位置を使用して決定された視線ベクトルが、高光量条件854における錐体804および桿体806場所を使用して決定された視線ベクトルと共線であるように、瞳孔位置を使用して決定された視線ベクトルを眼を通して眼の背面に向かって継続することによって定義されてもよい。いくつかの実施形態では、ARデバイスは、視線ベクトルが、低光量条件856(例えば、「低光量モード」)では、錐体804および桿体806場所を使用して決定され、高光量条件854では、眼の回転中心を使用して決定されるように構成される。そのような実施形態では、検出された光値が光閾値を下回るとき、視線ベクトルを錐体804および桿体806場所を使用して決定させ、検出された光値が光閾値を上回るとき、視線ベクトルを眼の回転中心を使用して決定させるように、それに対して検出された光値が評価され得る、光閾値が、確立されてもよい。
【0152】
調光される面積が有意に大きいおよび/または調光値が有意に高い、いくつかの実施形態では、ARデバイスの光センサを使用して検出された周囲光は、眼に到達する実際の光の量を示さない場合がある。そのような実施形態では、瞳孔のサイズは、眼に到達する光の量に関する代替的指標として使用されてもよい。例えば、ARデバイスは、瞳孔サイズが瞳孔サイズ閾値を超えるとき、「低光量モード」に切り替えてもよい(視線ベクトルを錐体804および桿体806場所を使用して決定させる)。例えば、いくつかの実装では、瞳孔サイズ閾値は、高光量条件854では、ユーザの平均瞳孔サイズを20%上回るように設定されてもよい(例えば、瞳孔サイズは、瞳孔の面積、直径、円周等に対応してもよい)。別の特定の実施形態では、瞳孔サイズ閾値は、低光量856および高光量条件854における平均の既知の瞳孔サイズに基づいて事前決定されてもよい。他の可能性も、検討される。
【0153】
図9は、瞳孔が縮瞳される、高光量条件において決定された視線ベクトル914を図示する。いくつかの実施形態では、瞳孔サイズ930は、減少する周囲光950等の周囲光(例えば、大域的光値)を推定するために使用されてもよい、または代替として、または加えて、視線ベクトル914の原点が、周囲光950の推定または検出を伴わずに、直接、瞳孔サイズ930を使用して決定されてもよい。例えば、異なる瞳孔直径は、視線ベクトルの原点が定義され得る、網膜層925内の異なる錐体904および桿体906場所に関連し得る。
【0154】
図10は、瞳孔が散瞳される、低光量条件において決定された視線ベクトル1016を図示する。高光量条件におけるシナリオと同様に、低光量条件では、瞳孔サイズ1032が、減少する周囲光1050等の周囲光(例えば、大域的光値)を推定するために使用されてもよい、または代替として、または加えて、視線ベクトルの原点が、直接、瞳孔サイズを使用して決定されてもよい。
図9の実施例と同様に、異なる瞳孔径は、視線ベクトルの原点が定義され得る、網膜層1025内の異なる錐体1004および桿体1006場所に関連し得る。
【0155】
図11は、高光量条件、例えば、5,000ニットを有する屋外周囲光1155における視線ベクトルを決定するための3つの技法および3つの技法のそれぞれを使用して決定された対応する調光される面積を図示する。第1の技法では、視線ベクトルが、瞳孔位置を使用して決定され、瞳孔の表面から調光される面積A(またはいくつかの実施形態では、調光されない面積)に向かって直交して延在する、視線ベクトル1110Aをもたらす。第2の技法では、視線ベクトルは、眼内の錐体1104および桿体1106場所を使用して決定され、網膜層の中心位置から瞳孔位置を通して調光される面積B(またはいくつかの実施形態では、調光されない面積)に向かって延在する、視線ベクトル1110Bをもたらす。第2の技法は、瞳孔位置(視線ベクトルを定義するための第2の点を提供するため)、検出された周囲光(網膜層に沿った視線ベクトルの原点を決定するため)、および瞳孔サイズ/直径(周囲光を推定するため、および/または網膜層1125に沿った視線ベクトルの原点を直接決定するため)のうちの1つまたはそれを上回るものによってさらに促進されてもよい。第3の技法では、視線ベクトルは、眼の回転中心を使用して決定され、眼の回転中心から瞳孔位置を通して調光される面積C(またはいくつかの実施形態では、調光されない面積)に向かって延在する、視線ベクトル1110Cをもたらす。
図12の実施例では、調光される面積Aは、調光される面積Bと同一である。
【0156】
図12は、
図11に図示されるものと同一であるが、低光量条件、例えば、100ニットを有する、屋外周囲光1257における技法を図示する。決定された視線ベクトル1210Aおよび1210Cおよび対応する調光される面積AおよびCは、第1および第3の技法を使用して(それぞれ、瞳孔位置および回転中心を使用して)同一であるが、第2の技法を使用して(錐体1204および桿体1206場所を使用して)修正されている。第2の技法では、視線ベクトルは、眼内の錐体1204および桿体1206場所を使用して決定され、網膜層1225の中心位置を囲繞する環に沿った種々の点から瞳孔位置を通して調光される面積B’(またはいくつかの実施形態では、調光されない面積)に向かって延在する、視線ベクトル1210B’のセットをもたらす。
図12に示される実施例では、調光される面積A、B’、およびCはそれぞれ、相互に異なる。
【0157】
図13は、瞳孔位置を使用して計算される視線ベクトルを使用して決定された調光される面積Aを生産するように調節されている、調光器1303を図示する。
【0158】
図14は、高光量条件、例えば、5,000ニットを有する、屋外周囲光1455における錐体および桿体場所を使用して計算される視線ベクトルを使用して決定された調光される面積Bを生産するように調節されている、調光器1403を図示する。
【0159】
図15は、低光量条件、例えば、100ニットを有する、屋外周囲光1557における錐体および桿体場所を使用して計算される視線ベクトルを使用して決定された調光される面積B’を生産するように調節されている、調光器1503を図示する。代替実施形態では、調光される面積B’は、
図15に示される環状領域の部分のみを含み、全体としてその領域を含まなくてもよい。
【0160】
図16は、さらに環状領域内の中心部分を含む、100ニットを有する、屋外周囲光1657内で調光される面積B’を生産するように調節されている、調光器1603を図示する。
【0161】
図17は、例えば、5,000ニットを有する、屋外周囲光1755において、調光される面積Cを生産するように調節されている、調光器1703を図示する。生産された調光される面積Cは、眼の回転中心を使用して計算される視線ベクトルを使用して決定される。
【0162】
図18Aおよび18Bは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。例えば、
図18Aおよび18Bに示される1つまたはそれを上回るステップは、ステップ410および/または412に対応してもよい。いくつかの実施形態では、ARデバイスは、仮想コンテンツが点1802-01、1802-02、および1802-03等の接眼レンズ1812および動的調光器1803を越えた空間内の種々の点においてユーザによって知覚されるように、光を接眼レンズ1812上に投影してもよい。点1802(例えば、1802-01、1802-02、および1802-03)は、例えば、接眼レンズ1812を通して提示されるとき、仮想コンテンツ(例えば、1つまたはそれを上回る仮想オブジェクト)のピクセルがユーザによって知覚されることになる、場所、暗い仮想コンテンツ(例えば、接眼レンズ1812を通して提示される仮想コンテンツによって投射される、または別様にそれと関連付けられる、仮想「陰影」)がユーザによって知覚されることになる、場所、ユーザの環境内に位置する、1つ(1人)またはそれを上回る実世界オブジェクトまたは人物(例えば、ユーザの環境内のある人の頭部にアンカリングされる、仮想黒色「シルクハット」)によって物理的に占有される、場所、および同等物を含む、3次元空間内の場所に対応してもよい。いくつかの実装では、点1802(例えば、1802-01、1802-02、および1802-03)は、仮想コンテンツからランダムにサンプリングされてもよい、またはいくつかの実施形態では、点1802は、可能性の中でもとりわけ、表面の縁、角、中心等の仮想コンテンツのキー特徴に基づいて選択されてもよい。いくつかの実施形態では、点1802(例えば、1802-01、1802-02、および1802-03)は、仮想コンテンツの外周からサンプリングされてもよい(基準点から視認されるように)。他の実施形態では、または同一実施形態では、仮想コンテンツの画像明度もまた、点1802(例えば、1802-01、1802-02、および1802-03)のそれぞれにおいて決定され、これは、仮想コンテンツの所望の可視度Vを達成するための点1802における調光のレベル(すなわち、調光値)を決定するために使用されてもよい。使用される点1802の数は、速度-正確度トレードオフに基づいて変動し得る。
【0163】
知覚される仮想コンテンツと整合して調光するために、ベクトル1804(例えば、1804-01、1804-02、および1804-03)は、点1802(例えば、1802-01、1802-02、および1802-03)のそれぞれと瞳孔位置(すなわち、基準点)と交差するものとして定義されてもよい。交点1806(例えば、1806-01、1806-02、および1806-03)が、次いで、ベクトル1804が動的調光器1803と交差する、各場所において定義されてもよい。
図18Bを参照して示されるように、調光される部分1808(例えば、1808-01、1808-02、および1808-03)は、交点1806(例えば、1806-01、1806-02、および1806-03)に基づいて決定されてもよい。いくつかの実装では、1つまたはそれを上回るレイまたは円錐キャスティング技法が、ベクトル1804(例えば、1804-01、1804-02、および1804-03)を定義し、交点1806(例えば、1806-01、1806-02、および1806-03)を識別または別様に決定するために採用されてもよい。いくつかの実施形態では、調光される部分1808(例えば、1808-01、1808-02、および1808-03)はそれぞれ、交点1806(例えば、1806-01、1806-02、および1806-03)のそれぞれを包含する面積、または交点1806を包含する動的調光器1803の特定のピクセルに設定されてもよい。いくつかの実施形態では、調光される部分1808(例えば、1808-01、1808-02、および1808-03)のサイズは、サンプリングされる点1802(例えば、1802-01、1802-02、および1802-03)の数および/または点1802の密度の関数であってもよい。例えば、いくつかのインスタンスでは、調光される部分1808(例えば、1808-01、1808-02、および1808-03)のサイズは、点1802(例えば、1802-01、1802-02、および1802-03)の数に反比例してもよい。点1802(例えば、1802-01、1802-02、および1802-03)が仮想コンテンツの外周からサンプリングされる、実施形態では、調光される部分1808(例えば、1808-01、1808-02、および1808-03)は、近傍の交点1806(例えば、1806-01、1806-02、および1806-03)を接続し、封入された面積を調光することによって形成されてもよい。いくつかの実施例では、調光される部分1808(例えば、1808-01、1808-02、および1808-03)のサイズおよび/または陰影は、基準点から交点1806(例えば、1806-01、1806-02、および1806-03)までの決定された距離、交点1806(例えば、1806-01、1806-02、および1806-03)から点1802(例えば、1802-01、1802-02、および1802-03)までの決定された距離、またはそれらの組み合わせの関数であってもよい。
図18Aおよび18Bの実施例では、そこからベクトル1804(例えば、1804-01、1804-02、および1804-03)が定義される、場所(すなわち、基準点)である、瞳孔位置(例えば、瞳孔中心)は、眼1800移動が生じるにつれて、経時的変化し得る。したがって、交点1806(例えば、1806-01、1806-02、および1806-03)および調光される部分1808(例えば、1808-01、1808-02、および1808-03)の場所もまた、眼1800移動が生じるにつれて、経時的に変化し得る。
【0164】
図19Aおよび19Bは、
図18Aおよび18Bを参照して示されるものに類似するが、異なる基準点を伴う、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。いくつかの実施形態では、ARデバイスは、仮想コンテンツが点1902等の接眼レンズ1912および動的調光器1903を越えた空間内の種々の点においてユーザによって知覚されるように、光を接眼レンズ1912上に投影してもよい。点1902(例えば、1902-01、1902-02、および1902-03)は、仮想コンテンツがユーザによって知覚される、空間内の異なる点を表し得る。ベクトル1904(例えば、1904-01、1904-02、および1904-03)は、点1902(例えば、1902-01、1902-02、および1902-03)のそれぞれおよび眼1900の回転中心1920(すなわち、基準点)と交差するものとして定義されてもよい。交点1906(例えば、1906-01、1906-02、および1906-03)が、次いで、ベクトル1904(例えば、1904-01、1904-02、および1904-03)が動的調光器と交差する、各場所において定義されてもよい。
図19Bを参照して示されるように、調光される部分1908(例えば、1908-01、1908-02、および1908-03)は、交点1906(例えば、1906-01、1906-02、および1906-03)に基づいて決定されてもよい。いくつかの実施形態では、調光される部分1908(例えば、1908-01、1908-02、および1908-03)はそれぞれ、交点1906(例えば、1906-01、1906-02、および1906-03)のそれぞれを包含する面積、または交点1906を包含する動的調光器の特定のピクセルに設定されてもよい。いくつかの実施例では、調光される部分1908(例えば、1908-01、1908-02、および1908-03)のサイズおよび/または陰影は、基準点から交点1906(例えば、1906-01、1906-02、および1906-03)までの決定される距離、交点1906から点1902(例えば、1902-01、1902-02、および1902-03)までの決定される距離、またはそれらの組み合わせの関数であってもよい。
図19Aおよび19Bの実施例では、そこからベクトル1904(例えば、1904-01、1904-02、および1904-03)が定義される、場所(すなわち、基準点)である、眼1900の回転中心1920の位置は、眼1900の移動が生じるにつれて、
図18Aおよび18Bの実施例では、基準点である、瞳孔位置のものより経時的に安定し得る。
図19Aおよび19Bの実施例では、交点1906(例えば、1906-01、1906-02、および1906-03)の場所および調光される部分1908(例えば、1908-01、1908-02、および1908-03)は、眼1900移動が生じるにつれて、静的なままである、または経時的に比較的に殆ど変化し得ないということになる。瞳孔位置および眼1900の回転中心1920は、調光されることになるシステム視野の一部を決定する際に利用され得る、基準点の実施例として、
図18A、18B、19A、および19Bを参照して上記で説明されるが、そのような基準点の実施例はまた、眼の光学軸に沿った種々の他の場所のいずれかを含んでもよいことを理解されたい。
【0165】
図20は、光情報、視線情報、および/または画像情報に基づいて、調光器を調節する、および/またはプロジェクタを調節する等、本明細書に説明される技法のいずれかを使用して、表示される仮想コンテンツの中実度を改良する実施例を図示する。左および右側視野の両方を参照すると、世界オブジェクト2002とともに表示される、仮想コンテンツ2004は、仮想コンテンツ2004の部分2006を除き、色褪せて現れ、仮想コンテンツは、仮想コンテンツ2004の残りの部分より中実に現れる。図示される実施例に示されるように、仮想コンテンツの中実度は、ユーザが見ているシステム視野の一部においてのみ改良される。
【0166】
図21は、仮想オブジェクトに対応するシステム視野の一部を調光することによって、表示される仮想オブジェクト2102の中実度を改良する実施例を図示する。図示されるように、調光を伴う領域内の仮想オブジェクト2102の部分2104の不透明度および可視度は、調光を伴わない領域内の仮想オブジェクト2102の部分2106のものを比較的に上回る。部分2104における世界オブジェクト2108と関連付けられる光を調光することによって、仮想コンテンツは、ユーザによってより明確に知覚されることができる。
【0167】
図22は、0.7に等しい可視度(すなわち、V=0.7)を維持するための仮想画像光明度(x-軸)と周囲光レベルとの間の関係を示す、プロットを図示する。実線傾線は、異なる周囲光レベル条件に関する(V=0.7のための)固定可視度レベル線である。例えば、約100ニットの屋内面積内において使用されている200ニットのプロジェクタ明度に関して、30%に近い調光レベルが、0.7に近い可視度を保つために採用され得る。再び、
図4を参照して上記で説明される可視度方程式を参照すると、いくつかの実施例では、
図22に図示されるプロットのxおよびy軸は、それぞれ、I
maxおよびT
vに対応し得る一方、実線傾線は、異なるI
world値に関する(V=0.7のための)固定可視度レベル線である。
【0168】
図23Aおよび23Bは、世界場面に及ぼされる小オクルージョンの影響を示す、略図を図示する。
図23Aは、ユーザの眼が無限遠を見ている、単純な例を図示する。眼は、網膜2302と、瞳孔2304と、水晶体2306とを含む。異なる角度からの光が、網膜2302上の異なる位置に合焦される。
図23Bは、瞳孔2304から離れた距離dにおいて眼の正面に設置される、オクルーザ2308を示す。網膜における勾配円盤は、単純光線幾何学形状を使用して構築されてもよい。回折を無視すると、勾配円盤の中心における相対的透過率は、t
0=1-(h/p)
2であり、式中、hは、オクルーザの直径であり、pは、瞳孔の直径である。換言すると、t
0=1-A
occlusor/A
pupil、式中、A
occlusorは、オクルーザの面積であり、A
pupilは、瞳孔の面積である。
【0169】
図24は、角度範囲(度)の関数としての調光要素の透過率に及ぼされる変動するオクルーザ直径の影響を示す、プロットを図示する。図示されるように、より小さいオクルーザ直径(例えば、1mm)は、透過率に非常にわずかのみ影響を及ぼすが、透過率により大きい影響を及ぼし、角度範囲にわたって有意に変動する、より大きいオクルーザ直径(例えば、4mm)より角度範囲にわたってはるかに安定する。
【0170】
図25は、d=17mm、p=4mm、およびh=1mmの単一オクルーザを使用した調光の実施例を図示する。調光される面積は、単一ピクセルの点拡がり関数(PSF)2502を示す。示される調光を使用すると、使用される特定の調光要素のためのピクセルサイズ要件は、200μmピクセルと推定されることができる。
【0171】
図26は、仮想コンテンツをユーザの眼に送達する(例えば、ディスプレイ光2636を介して)、回折導波管接眼レンズ2602を備える、OST頭部搭載可能ディスプレイ(HMD)のオクルーザ透過2650アーキテクチャの実施例を図示する。いくつかの実施形態では、HMDは、ユーザの頭部上に装着され得る、ウェアラブルデバイスである。回折導波管接眼レンズ2602は、内部結合格子(ICG)、直交瞳エクスパンダ(OPE)、および/または射出瞳エクスパンダ(EPE2640)等の1つまたはそれを上回る回折光学要素(DOE)を含んでもよい。世界光2632はまた、同一要素を通して通過し、ユーザの眼に到達する。示されるように、動的調光器2604は、仮想コンテンツをある不透明度レベルに保つための世界光レベル(例えば、調光される世界光2634)の管理を可能にする。いくつかの実施形態では、調光器2604は、
図5を参照して上記に説明されるようなピクセル化された調光要素503に機能的に類似または匹敵する、ピクセル化された調光要素に対応してもよい。他の実施形態では、調光器2604は、大域的(非ピクセル化)調光要素に対応してもよい。
図26に示されるように、いくつかの実装では、調光器2604は、OST-HMDの美観および/または機能性を改良するように、接眼レンズから独立して成形および湾曲されてもよい。
【0172】
図27は、中継光学系システムを用いて光2736を回折導波管構造の内部結合格子の中に送達する、マイクロディスプレイ(例えば、LCOS、MEMS、またはファイバスキャナディスプレイタイプ)を備える、OST-HMDのアーキテクチャの付加的実施例を図示する。導波管構造は、入力像面を拡大し、ユーザの眼2700に送達する、外部結合格子(例えば、EPE2740)を含んでもよい。示されるように、種々の要素が、ユーザの眼2700と世界オブジェクトとの間に位置付けられてもよい。接眼レンズ2702は、仮想光2736をユーザの眼2700に送達し、また、世界光2732がそれを通して透過することを可能にする、回折導波管コンバイナであってもよい。可変焦点要素2704は、仮想ディスプレイに作用するための眼2700と接眼レンズ2702との間の深度面変動/切替要素を備えてもよい。いくつかの実施形態では、可変焦点要素2704は、背面レンズアセンブリ(BLA)2706である。BLAはまた、常に、世界光に作用し、したがって、正面レンズアセンブリ(FLA)2708が、世界ディスプレイに及ぼされる影響を相殺するように追加される。
【0173】
本実施形態における動的調光要素2710は、統合されたスタックの外側上に搭載される。これは、ARモードのための透明ディスプレイからVRモードのための世界光を完全に遮断する不透明ディスプレイへの切替を可能にする。調光要素2710は、大域的調光要素またはピクセル化された調光要素に対応してもよい。外部レンズ2712は、OST-HMDのための保護および/または支持構造を提供するように、光学スタックと別個に位置付けられる。外部レンズ2712はまた、ある量の調光をシステム視野全体に提供してもよい。
【0174】
図28は、平坦動的調光器2802が、湾曲外部審美的レンズ2804の内側に沿って位置付けられ、世界光2832を調光された世界光2834に変換する、OST-HMDのアーキテクチャの付加的実施例を図示する。調光器2802は、大域的調光要素またはピクセル化された調光要素に対応してもよい。いくつかの実施形態では、外部審美的レンズ2804は、ある量の調光をシステム視野全体に提供してもよく、これは、動的調光器2802の空間的に分解された調光値を決定するときに考慮されてもよい。OST-HMDはまた、本明細書に説明されるように、接眼レンズ2806と、適応BLA2808と、適応FLA2810と、EPE2840とを含み、光2836をユーザの眼2800に表示してもよい。
【0175】
図29は、本発明による、ARデバイス2900の概略図を図示する。ARデバイス2900は、概して、ローカルモジュール2910と、遠隔モジュール2912とを含む。ローカルモジュール2910と遠隔モジュールとの間のARデバイス2900のコンポーネントのパーティション化は、ARデバイス2900が使用されるとき、ユーザの頭部の近くに位置付けられるものからの嵩張るおよび/または高電力消費コンポーネントの分離を可能にし、それによって、ユーザ快適性およびデバイス性能を増加させ得る。ローカルモジュール2910は、頭部搭載型であってもよく、種々の機械的および電子モジュールを含み、ピクセル化された調光器2903および空間光変調器2904の制御を促進してもよい。空間光変調器2904の制御は、仮想コンテンツを接眼レンズ2902上に投影させ得、これは、調光器2903によって修正される世界光と併せて、ARデバイス2900のユーザによって視認される。ローカルモジュール2910の1つまたはそれを上回るセンサ2934は、世界および/またはユーザからの情報を検出し、検出された情報をセンサヘッドセットプロセッサ2940に送信してもよく、これは、データストリームをローカルモジュール2910のディスプレイヘッドセットプロセッサ2942に、未加工または処理された画像を遠隔モジュール2912の知覚処理ユニット2944に送信してもよい。
【0176】
いくつかの実施形態では、ローカルモジュール2910の1つまたはそれを上回るコンポーネントは、
図3を参照して説明される1つまたはそれを上回るコンポーネントに類似してもよい。例えば、そのような実施形態では、接眼レンズ2902および調光器2903の機能性は、それぞれ、接眼レンズ302および調光器303のものに類似してもよい。いくつかの実施例では、1つまたはそれを上回るセンサ2934は、それぞれ、世界カメラ306、周囲光センサ334、および/または眼追跡器340のうちの1つまたはそれを上回るものに類似する、1つまたはそれを上回る世界カメラ、周囲光センサ、および/または眼追跡器を含んでもよい。いくつかの実施形態では、空間光変調器2904の機能性は、プロジェクタ314内に含まれる1つまたはそれを上回るコンポーネントのものに類似してもよく、センサヘッドセットプロセッサ2940およびディスプレイヘッドセットプロセッサ2942の一方または両方の機能性は、処理モジュール350内に含まれる1つまたはそれを上回るコンポーネントのものに類似してもよい。
【0177】
いくつかの実施形態では、ディスプレイヘッドセットプロセッサ2942は、仮想コンテンツデータおよびピクセル化された調光器データを遠隔モジュール2912のグラフィック処理ユニット(GPU)2946から受信してもよく、ピクセル化された調光器2903および空間光変調器2904を制御することに先立って、種々の補正およびワーピング技法を実施してもよい。ディスプレイヘッドセットプロセッサ2942によって生成された調光器データは、調光器2903を制御するための電圧を修正または生成し得る、1つまたはそれを上回るドライバを通して通過してもよい。いくつかの実施形態では、ディスプレイヘッドセットプロセッサ2942は、調光および投影された仮想コンテンツの正確度を改良するために使用され得る、深度画像およびヘッドセット姿勢をセンサヘッドセットプロセッサ2940から受信してもよい。
【0178】
遠隔モジュール2912は、可能性の中でもとりわけ、1つまたはそれを上回る有線または無線接続を通して、ローカルモジュール2910に電気的に結合されてもよく、ユーザに固定して取り付けられる、またはユーザによって搬送されてもよい。遠隔モジュール2912は、環境照明マップ、ヘッドセット姿勢、および眼感知を実施/生成するための知覚処理ユニット2944を含んでもよい。知覚処理ユニット2944は、データをCPU2948に送信してもよく、これは、パス可能世界幾何学形状およびアプリ場面幾何学形状を実施/生成するように構成されてもよい。CPU2948は、データをGPU2946に送信してもよく、これは、動作の中でもとりわけ、最小世界輝度スループットのチェック、調光ピクセル整合、後のフレーム時間ワーピング、およびレンダリングパイプラインを実施するように構成されてもよい。いくつかの実施形態では、CPU2948は、単一処理ユニットが、それぞれを参照して説明される機能のうちの1つまたはそれを上回るものを実施し得るように、GPU2946と統合されてもよい。いくつかの実施形態では、遠隔モジュール2912内に含まれるコンポーネントのうちの1つまたはそれを上回るものの機能性は、処理モジュール350内に含まれる1つまたはそれを上回るコンポーネントのものに類似してもよい。
【0179】
実際、本明細書に説明されるシステムおよび技法によって実証されるように、動的空間周囲光減衰が、有利なこととして、可変光条件下で仮想コンテンツ中実度を維持するために、回折導波管コンバイナを用いて、光学シースルー拡張現実(AR)頭部搭載型ディスプレイ(HMD)内で活用され得る。しかしながら、異なる照明条件は、それらの仮想コンテンツ中実度に関連するもの以外の付加的課題を呈し得る。例えば、いくつかの状況では、AR HMDのユーザの環境内のオーバーヘッド照明条件は、回折アーチファクトをユーザの視野内にもたらし得る。種々の他の要因および照明条件もまた、回折アーチファクトをユーザの視野の中に導入する役割を果たし得る。したがって、照明環境の範囲内のユーザの視野内で回折アーチファクトを管理するために、1つまたはそれを上回るシステムおよび/または技法をそのようなAR HMD内で採用することが望ましくあり得る。
【0180】
いくつかの実装では、回折アーチファクト管理機能性を提供するように構成される、1つまたはそれを上回るコンポーネントが、上記に説明されるもののうちの1つまたはそれを上回るもの等の調光器アセンブリ(例えば、動的調光器)の中に組み込まれ、および/またはそれに隣接して配置されてもよい。いくつかの実装では、調光器アセンブリを用いて、AR HMD内の回折アーチファクトを管理するための1つまたはそれを上回るそのようなシステムおよび技法は、
図1-29を参照して上記に説明される動的調光器のうちの1つまたはそれを上回るものに類似または匹敵する調光器アセンブリを伴う、AR HMD内で採用されてもよい。いくつかの実装では、AR HMD内の回折アーチファクトを管理するための1つまたはそれを上回るそのようなシステムおよび技法は、前述の調光器アセンブリのうちの1つまたはそれを上回るものに類似または匹敵する調光器アセンブリを伴う、AR HMD内で採用されてもよい。
【0181】
いくつかの実施形態では、回折アーチファクトを管理するための前述のシステムおよび技法のうちの1つまたはそれを上回るものは、それぞれ、
図26および28を参照して上記に説明されるような動的調光器2604および動的調光器2802のうちの1つまたはそれを上回るものに類似または匹敵する調光器アセンブリを伴う、AR HMD内で採用されてもよい。そのような実施形態では、また、調光器アセンブリが、ある美観的および産業設計(ID)要件(製品のルックアンドフィール)を満たし、および/または本システムの接眼レンズおよび他の繊細なコンポーネントを効果的に保護するように、耐破砕性をもたらすことが重要であり得る。可変光条件下で仮想コンテンツ中実度を維持し、および/または回折アーチファクトを管理するための前述のシステムおよび技法の多くは、AR HMDの光学スタックの中への付加的層(例えば、フィルム、レンズ、および他の光学コンポーネント)の組み込みを伴うことを前提として、そのような美観的および物理的要件を満たすことは、困難であり得る。さらに、層をAR HMDの光学スタックに追加することはまた、増加された厚さおよび質量につながり、いくつかの状況では、また、透過損失および可視アーチファクトを導入し得る。下記にさらに詳細に説明されるように、いくつかの実装では、これらの問題点に対処する、新規設計を有する、周囲光管理モジュール(ALMM)が、AR HMD内で採用されてもよい。
【0182】
いくつかの実施形態では、ALMMは、単一の統合された光学要素である。ALMMは、プラスチックまたは他の好適な基板上に加工されてもよく、ディスプレイコンバイナの世界側上のAR HMDの中に組み込まれてもよい。いくつかの実施例では、ALMMは、1または2次元において、形状が湾曲されてもよい。本単一の統合された要素は、可変光条件下で仮想コンテンツ中実度を維持し、回折アーチファクトを管理するために構成されるが、比較的にわずかな厚さおよび質量をAR HMDの光学スタックに追加し、殆ど(または全く)付加的透過損失および可視アーチファクトを導入しない。
【0183】
図30は、いくつかの実施形態による、周囲光管理モジュール(ALMM3050)を含む、AR HMDの実施例を図示する。
図31は、いくつかの実施形態による、
図30のAR HMDおよびALMM3150さらなる詳細な実施例を図示する。
図30に示されるように、AR HMDは、ユーザの眼3000と世界3030との間に位置付けられる、ALMM3050と、ユーザの眼3000とALMM3050との間に位置付けられる、接眼レンズスタック3005とを含む。いくつかの実装では、ALMM3050は、以下、すなわち、1次元または2次元(双湾曲、球状)曲率プラスチック基板3010(1D/2D湾曲基板)、コンテンツ中実度を改良するための空間光減衰のための調光器アセンブリ3003、セグメント化された調光器、高角度光減衰のための角度減衰器アセンブリ3008(レインボーアーチファクト軽減層)、および/または本デバイスの美観的または審美的外観のための他の世界側に向いたフィルム3012のうちの1つまたはそれを上回るものを含んでもよい。
図30および31に描写される実施例等のいくつかの実施形態では、ALMM3050はさらに、プラスチック基板と調光器アセンブリ3003との間に位置付けられる、偏光器P1と、調光器アセンブリ3003と角度減衰器アセンブリ3008との間に位置付けられる、偏光器P2と、角度減衰器アセンブリ3008と世界に向いたフィルム3012との間に位置付けられる、偏光器P3とを含む。いくつかの実施例では、偏光器P1-P3は、線形偏光器であってもよい。例えば、そのような実装では、偏光器P1-P3の機能性は、偏光器1120a-1120cのものに類似または匹敵してもよい。実施形態はまた、ALMM3050内へのより多いまたはより少ない偏光器の含有をサポートする。
【0184】
プラスチック基板3010の曲率は、ALMM3050の美観的外観を向上させる役割を果たし得る。いくつかの実装では、ALMM3050のプラスチック基板3010は、10~30度の1または2次元曲率角度を有してもよい。いくつかの実施例では、ALMM3050のプラスチック基板3010は、100~200mm(例えば、120mm、140mm等)の1または2次元曲率半径を有してもよい。加えて、いくつかの実施例では、ALMM3050のプラスチック基板3010は、20~60mm(例えば、35mm、45mm等)の直径を有してもよい。加えて、いくつかの実施形態では、プラスチック基板3010は、AR HMD製品のための破砕保護要件を満たすために十分にロバストおよび/または強くてもよい(例えば、ボールの落下に耐えることができる)。
【0185】
図31に示されるように、AR HMDは、ユーザの眼3100と世界3130との間に位置付けられる、ALMM3150と、ユーザの眼3100とALMM3150との間に位置付けられる、接眼レンズスタック3105とを含んでもよい。いくつかの実装では、調光器アセンブリ3003/3103は、1D/2D湾曲プラスチック基板上にラミネートされる、可撓性の有機薄膜トランジスタ(O-TFT)ベースの液晶(LC)空間光変調器を備える。
図31に示されるように、いくつかの実施形態では、調光器アセンブリ3103は、複数の層D1-D5を含んでもよい。いくつかの実施例では、層D1およびD5は、調光器アセンブリ3103をともに保持し、および/またはその中に含有される他の層を保護するように構成される、プラスチックフィルムまたは基板に対応する。いくつかの実施例では、層D2は、ピクセル電極および薄膜トランジスタの層に対応し、層D3は、液晶(LC)の層に対応し、層D4は、共通平面電極に対応する。調光器アセンブリ3103の電極は、例えば、伝導性、酸化インジウムスズ(ITO)等、同様に伝導性である、光学的に透過性の材料から作製されてもよい。調光器アセンブリ3103のコンポーネントは、概して、湾曲プラスチック基板3110によって記載される輪郭に共形化するような様式において、調光器アセンブリ3103が、ALMM3150内に配置され得るように、性質上、可撓性であってもよい。例えば、いくつかの実施形態では、層D2のピクセル電極は、1つまたはそれを上回るピクセル幾何学形状に類似または匹敵する幾何学形状を有してもよい。これらの実施形態のうちの少なくともいくつかでは、ピクセル電極は、xおよびy次元において、前述のピクセル幾何学形状のうちの1つまたはそれを上回るものに類似または匹敵する幾何学形状を呈し得、さらに、z次元において、ALMMの曲率に共形化するように成形されてもよい。いくつかの実施例では、層D2およびD4の位置は、入れ替えられてもよい。
【0186】
いくつかの実装では、角度減衰器アセンブリ3018/3108は、1D/2D湾曲プラスチック基板3110上にラミネートされる、複屈折フィルムを備え、回折アーチファクト/レインボー軽減フィルムを形成する。
図31に示されるように、いくつかの実施形態では、角度減衰器アセンブリ3108は、複数の層A1-A3を含んでもよい。いくつかの実施例では、層A1およびA3は、4分の1波長板(QWP)に対応し、層A2は、C-プレートに対応する。
【0187】
いくつかの実装では、世界に向いたフィルム3012/3112は、1D/2D湾曲プラスチック基板上にラミネートされる、1つまたはそれを上回るワイヤグリッド偏光器またはコレステリック液晶(CLC)フィルムを備え、本デバイスが外側から視認されるとき、反射性および/または色調をユーザに提供する。
図31に示されるように、いくつかの実施形態では、世界に向いたフィルム3112は、複数の層W1およびW2を含んでもよい。いくつかの実装では、層W1は、ワイヤグリッド偏光器(WGP)または多層反射性偏光器(MLP)に対応し、層W2は、スーパーリターダ/無彩色QWP(AQWP)に対応する。他の実装では、層W1は、AQWPに対応し、層W2は、CLC偏光器(CLCP)に対応する。いくつかの実施形態では、世界に向いたフィルム3012/3112は、2つを上回る層(例えば、4つの層、5つの層等)を含む。
【0188】
図30および31には図示されないが、いくつかの実施形態では、2つまたはそれを上回るラミネートの層が、ALMM3050/3150内に、またはそれに隣接して配置されてもよい。いくつかの実施例では、ALMM3050/3150は、残影アーチファクトを減衰させるように構成される、1つまたはそれを上回る付加的層を含んでもよい。いくつかの実装では、ALMM3050/3150は、1つまたはそれを上回る付加的QWPを含んでもよい。例えば、そのような実装では、ALMM3050/3150は、プラスチック基板と偏光器P1との間に位置付けられる、QWP、偏光器P1と調光器アセンブリとの間に位置付けられる、QWP、調光器アセンブリと偏光器P2との間に位置付けられる、QWP、またはそれらの組み合わせを含んでもよい。さらに、いくつかの実施形態では、ALMM3050/3150は、1つまたはそれを上回る反射防止性層を含んでもよい。例えば、そのような実施形態では、ALMM3050/3150は、プラスチック基板と偏光器P1との間に位置付けられる、反射防止性層、世界に向いたフィルムと世界との間に位置付けられる、反射防止性層、またはそれらの組み合わせを含んでもよい。加えて、いくつかの実装では、ALMM3050/3150と接眼レンズスタック3005/3105との間の空間は、少なくとも部分的に、屈折率整合された材料で充填されてもよい。
【0189】
いくつかの実施例では、
図30および31の接眼レンズスタック3005/3105は、ALMM3050/3150のものに類似する様式において、湾曲されてもよい。加えて、
図30および31の接眼レンズスタック3005/3105は、複数の導波管を含んでもよい。いくつかの実施形態では、複数の導波管のうちの1つまたはそれを上回るものは、ポリマーベースの材料から作製されてもよい。
【0190】
図32は、本明細書に説明される実施形態による、簡略化されたコンピュータシステム3200を図示する。
図32に図示されるようなコンピュータシステム3200は、本明細書に説明されるようなARデバイス200または300等のデバイスの中に組み込まれてもよい。
図32は、種々の実施形態によって提供される方法のステップの一部または全部を実施し得る、コンピュータシステム3200の一実施例の概略化された例証を提供する。
図32は、種々のコンポーネントの一般化された例証を提供するためだけに意図され、そのいずれかまたは全てが、必要に応じて利用されてもよいことに留意されたい。
図32は、したがって、広義には、個々のシステム要素が比較的に分離された様式または比較的により統合された様式において実装され得る状況を図示する。
【0191】
コンピュータシステム3200は、バス3205を介して電気的に結合されることができる、または必要に応じて別様に通信し得る、ハードウェア要素を備えるように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および/または同等物等の、1つまたはそれを上回る汎用プロセッサおよび/または1つまたはそれを上回る特殊目的プロセッサを含む、1つまたはそれを上回るプロセッサ3210と、限定ではないが、マウス、キーボード、カメラ、および/または同等物を含むことができる、1つまたはそれを上回る入力デバイス3215と、限定ではないが、ディスプレイデバイス、プリンタ、および/または同等物を含むことができる、1つまたはそれを上回る出力デバイス3220とを含んでもよい。
【0192】
コンピュータシステム3200はさらに、限定ではないが、ローカルおよび/またはネットワークアクセス可能記憶装置を備えることができ、および/または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および/または同等物であることができる、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ(「RAM」)等のソリッドステート記憶デバイス、および/または読取専用メモリ(「ROM」)を含むことができる、1つまたはそれを上回る非一過性記憶デバイス3225を含む、および/またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および/または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。
【0193】
コンピュータシステム3200はまた、限定ではないが、Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備等、および/または同等物等のモデム、ネットワークカード(無線または有線)、赤外線通信デバイス、無線通信デバイス、および/またはチップセットを含むことができる、通信サブシステム3219を含み得る。通信サブシステム3219は、1つまたはそれを上回る入力および/または出力通信インターフェースを含み、データが、一実施例として挙げるために以下に説明されるネットワーク、すなわち、他のコンピュータシステム、テレビ、および/または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および/または他の実装懸念に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム3219を介して、画像および/または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第1の電子デバイスは、コンピュータシステム3200、例えば、電子デバイスの中に入力デバイス3215として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム3200はさらに、作業メモリ3235を備え、これは、上記に説明されるようなRAMまたはROMデバイスを含むであろう。
【0194】
コンピュータシステム3200はまた、種々の実施形態によって提供されるコンピュータプログラムを備え得る、および/または本明細書に説明されるような他の実施形態によって提供される方法を実装し、および/またはシステムを構成するように設計され得る、1つまたはそれを上回るアプリケーションプログラム3245等のオペレーティングシステム3240、デバイスドライバ、実行可能ライブラリ、および/または他のコードを含む、作業メモリ3235内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、一例として、上記に議論される方法に関して説明される1つまたはそれを上回るプロシージャは、コンピュータまたはコンピュータ内のプロセッサによって実行可能なコードおよび/または命令として実装され得、ある側面では、次いで、そのようなコードおよび/または命令は、説明される方法に従って1つまたはそれを上回る動作を実施するように汎用コンピュータまたは他のデバイスを構成および/または適合するために使用されることができる。
【0195】
これらの命令および/またはコードのセットは、上記に説明される記憶デバイス3225等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム3200等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等の可撤性媒体である、および/または記憶媒体が、汎用コンピュータをその上に記憶される命令/コードを用いてプログラム、構成、および/または適合するために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム3200によって実行可能である、実行可能コードの形態をとり得る、および/または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティ等のいずれかを使用したコンピュータシステム3200上へのコンパイルおよび/またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび/またはインストール可能コードの形態をとり得る。
【0196】
実質的な変形例が、具体的要件に従って構成されてもよいことが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および/または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含むソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。
【0197】
上記に述べられたように、一側面では、いくつかの実施形態は、コンピュータシステム3200等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全部は、プロセッサ3210が、オペレーティングシステム3240の中に組み込まれ得る、1つまたはそれを上回る命令の1つまたはそれを上回るシーケンス、および/または作業メモリ3235内に含有される、アプリケーションプログラム3245等の他のコードを実行することに応答して、コンピュータシステム3200によって実施される。そのような命令は、記憶デバイス3225のうちの1つまたはそれを上回るもの等の別のコンピュータ可読媒体から作業メモリ3235の中に読み取られてもよい。単に、一例として、作業メモリ3235内に含有される命令のシーケンスの実行は、プロセッサ3210に、本明細書に説明される方法の1つまたはそれを上回るプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊ハードウェアを通して実行されてもよい。
【0198】
用語「機械可読媒体」および「コンピュータ可読媒体」は、本明細書で使用されるとき、機械を具体的方式で動作させるデータを提供することに関わる、任意の媒体を指す。コンピュータシステム3200を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のための命令/コードをプロセッサ3210に提供する際に関わり得る、および/またはそのような命令/コードを記憶および/または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および/または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス3225等の光学および/または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ3235等の動的メモリを含む。
【0199】
一般的形態の物理的および/または有形コンピュータ可読媒体は、例えば、フロッピー(登録商標)ディスク、可撓性ディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および/またはコードを読み取ることができる、任意の他の媒体を含む。
【0200】
種々の形態のコンピュータ可読媒体が、実行のための1つまたはそれを上回る命令の1つまたはそれを上回るシーケンスをプロセッサ3210に搬送する際に関わってもよい。単に、一例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび/または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム3200によって受信および/または実行される伝送媒体を経由して、命令を信号として送信し得る。
【0201】
通信サブシステム3219および/またはそのコンポーネントは、概して、信号を受信し、バス3205が、次いで、信号および/または信号によって搬送されるデータ、命令等を作業メモリ3235に搬送し得、そこから、プロセッサ3210が、命令を読み出し、実行する。作業メモリ3235によって受信された命令は、随意に、プロセッサ3210による実行前または後のいずれかにおいて、非一過性記憶デバイス3225上に記憶されてもよい。
【0202】
上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、および/または種々の段階は、追加される、省略される、および/または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示の範囲または請求項を限定するものではない。
【0203】
具体的詳細が、実装を含む、例示的構成の完全な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を曖昧にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。
【0204】
また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、シーケンシャルプロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されることができる。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。
【0205】
いくつかの例示的構成が説明されたが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、前述の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の用途に優先する、または別様にそれを修正してもよい。また、いくつかのステップは、前述の要素が検討される前、間、または後に行われてもよい。故に、前述の説明は、請求項の範囲を束縛するものではない。
【0206】
本明細書および添付の請求項で使用されるように、単数形「a」、「an」、および「the」は、文脈によって明確に別様に示されない限り、複数参照を含む。したがって、例えば、「ユーザ」の言及は、複数のそのようなユーザを含み、「プロセッサ」の言及は、1つまたはそれを上回るプロセッサおよび当業者に公知のその均等物等の言及を含む。
【0207】
また、単語「comprise(~を備える)」、「comprising(~を備える)」、「contains(~を含有する)」、「containing(~を含有する)」、「include(~を含む)」、「including(~を含む)」、および「includes(~を含む)」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定するために意図されるが、それらは、1つまたはそれを上回る他の特徴、整数、コンポーネント、ステップ、行為、またはグループの存在または追加を除外するものではない。
【0208】
また、本明細書に説明される実施例および実施形態は、例証目的のみのためのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付の請求項の範囲内に含まれることを理解されたい。