(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024111004
(43)【公開日】2024-08-16
(54)【発明の名称】拡張現実デバイスのための空間的に分解された動的調光
(51)【国際特許分類】
G09G 5/10 20060101AFI20240808BHJP
G09G 5/00 20060101ALI20240808BHJP
G02B 27/02 20060101ALI20240808BHJP
H04N 5/66 20060101ALI20240808BHJP
【ＦＩ】
G09G5/10 B
G09G5/00 510B
G09G5/00 550C
G09G5/00 550H
G02B27/02 Z
H04N5/66 A
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024092963
(22)【出願日】2024-06-07
(62)【分割の表示】P 2021510460の分割
【原出願日】2019-08-30
(31)【優先権主張番号】62/725,993
(32)【優先日】2018-08-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/858,252
(32)【優先日】2019-06-06
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100104824
【弁理士】
【氏名又は名称】穐場 仁
(74)【代理人】
【識別番号】100121463
【弁理士】
【氏名又は名称】矢口 哲也
(74)【代理人】
【識別番号】100137969
【弁理士】
【氏名又は名称】岡部 憲昭
(72)【発明者】
【氏名】ヴァイブハブ マトゥール
(72)【発明者】
【氏名】デイビッド マンリー
(72)【発明者】
【氏名】ジャジャ アイ． トリスナディ
(72)【発明者】
【氏名】クリントン カーライル
(72)【発明者】
【氏名】ライオネル アーネスト エドウィン
(72)【発明者】
【氏名】マイケル アンソニー クルグ
(57)【要約】
【課題】拡張現実デバイスのための空間的に分解された動的調光の提供。
【解決手段】光学システムを動作させるための技法が、説明される。いくつかの実施形態では、世界オブジェクトと関連付けられる光が、光学システムにおいて受光される。仮想画像光が、光学システムの接眼レンズ上に投影される。少なくとも部分的に調光されることになる光学システムのシステム視野の一部が、光学システムによって検出された情報に基づいて決定される。システム視野の一部に関する複数の空間的に分解された調光値が、検出された情報に基づいて決定され得る。検出された情報は、光情報、視線情報、および／または画像情報を含み得る。光学システムの調光器は、複数の調光値に従って、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるように調節され得る。
【選択図】図２Ａ
【解決手段】光学システムを動作させるための技法が、説明される。いくつかの実施形態では、世界オブジェクトと関連付けられる光が、光学システムにおいて受光される。仮想画像光が、光学システムの接眼レンズ上に投影される。少なくとも部分的に調光されることになる光学システムのシステム視野の一部が、光学システムによって検出された情報に基づいて決定される。システム視野の一部に関する複数の空間的に分解された調光値が、検出された情報に基づいて決定され得る。検出された情報は、光情報、視線情報、および／または画像情報を含み得る。光学システムの調光器は、複数の調光値に従って、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるように調節され得る。
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、その内容が、その全体として本明細書に内に組み込まれる、２０１８年８月３１日に出願され、「ＳＰＡＴＩＡＬＬＹ－ＲＥＳＯＬＶＥＤ ＤＹＮＡＭＩＣ ＤＩＭＭＩＮＧ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＤＥＶＩＣＥ」と題された、米国仮特許出願第６２／７２５，９９３号、および２０１９年６月６日に出願され、「ＳＰＡＴＩＡＬＬＹ－ＲＥＳＯＬＶＥＤ ＤＹＮＡＭＩＣ ＤＩＭＭＩＮＧ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＤＥＶＩＣＥ」と題された、米国仮特許出願第６２／８５８，２５２号の優先権の利益を主張する。
本願は、その内容が、その全体として本明細書に内に組み込まれる、２０１８年８月３１日に出願され、「ＳＰＡＴＩＡＬＬＹ－ＲＥＳＯＬＶＥＤ ＤＹＮＡＭＩＣ ＤＩＭＭＩＮＧ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＤＥＶＩＣＥ」と題された、米国仮特許出願第６２／７２５，９９３号、および２０１９年６月６日に出願され、「ＳＰＡＴＩＡＬＬＹ－ＲＥＳＯＬＶＥＤ ＤＹＮＡＭＩＣ ＤＩＭＭＩＮＧ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＤＥＶＩＣＥ」と題された、米国仮特許出願第６２／８５８，２５２号の優先権の利益を主張する。
【背景技術】
【0002】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。
【0003】
これらのディスプレイ技術において成された進歩にもかかわらず、当技術分野において、拡張現実システム、特に、ディスプレイシステムに関連する、改良された方法、システム、およびデバイスの必要性が存在する。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示は、概して、周囲光条件を変動させるために、光学システムを改良するための技法に関する。より具体的には、本開示の実施形態は、調光要素を備える、拡張現実（ＡＲ）デバイスを動作させるためのシステムおよび方法を提供する。本発明は、ＡＲデバイスを参照して説明されるが、本開示は、コンピュータビジョンおよび画像ディスプレイシステムにおける種々の用途に適用可能である。
【0005】
本発明の概要が、いくつかの実施例を参照して下記に提供される。下記で使用されるように、一連の実施例の任意の参照は、それらの実施例のそれぞれの分離参照として理解されるべきである（例えば、「実施例１－４」は、「実施例１、２、３、または４」として理解されるべきである）。
【0006】
実施例１は、光学システムを動作させる方法であって、光学システムにおいて、世界オブジェクトと関連付けられる光を受光するステップと、仮想画像光を接眼レンズ上に投影するステップと、光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップと、調光器を調節し、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるステップとを含む、方法である。
【0007】
実施例２は、光学システムは、世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される、光センサを備え、検出された情報は、光情報を含む、実施例１に記載の方法である。
【0008】
実施例３は、光情報は、複数の空間的に分解された光値を含む、実施例１－２に記載の方法である。
【0009】
実施例４は、光情報は、大域的光値を含む、実施例１－３に記載の方法である。
【0010】
実施例５は、光学システムは、光学システムのユーザの眼に対応する視線情報を検出するように構成される、眼追跡器を備え、検出された情報は、視線情報を含む、実施例１－４に記載の方法である。
【0011】
実施例６は、視線情報は、ユーザの眼の視線ベクトルと交差する、ピクセル場所を含む、実施例１－５に記載の方法である。
【0012】
実施例７は、視線情報は、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの１つ以上のものを含む、実施例１－６に記載の方法である。
【0013】
実施例８は、仮想画像光に対応する画像情報を検出するステップであって、検出された情報は、画像情報を含む、ステップをさらに含む、実施例１－７に記載の方法である。
【0014】
実施例９は、画像情報は、複数の空間的に分解された画像明度値を含む、実施例１－８に記載の方法である。
【0015】
実施例１０は、画像情報は、大域的画像明度値を含む、実施例１－９に記載の方法である。
【0016】
実施例１１は、検出された情報に基づいて、システム視野の一部に関する複数の空間的に分解された調光値を決定するステップであって、調光器は、複数の調光値に従って調節される、ステップをさらに含む、実施例１－１０に記載の方法である。
【0017】
実施例１２は、調光器は、複数のピクセルを備える、実施例１－１１に記載の方法である。
【0018】
実施例１３は、調光器は、システム視野の全て内の世界オブジェクトと関連付けられる光の強度を完全に遮断するように調節される、実施例１－１２に記載の方法である。
【0019】
実施例１４は、仮想画像光と関連付けられる明度を調節するステップをさらに含む、実施例１－１３に記載の方法である。
【0020】
実施例１５は、仮想画像光は、画像視野によって特徴付けられ、画像視野は、システム視野に等しい、実施例１－１４に記載の方法である。
【0021】
実施例１６は、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップは、少なくとも部分的に、少なくとも１つの世界オブジェクトに基づく、実施例１－１５に記載の方法である。
【0022】
実施例１７は、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップは、少なくとも部分的に、仮想画像内に含まれる少なくとも１つのオブジェクトに基づく、実施例１－１６に記載の方法である。
【0023】
実施例１８は、非一過性コンピュータ可読媒体であって、プロセッサによって実行されると、プロセッサに、光学システムにおいて、世界オブジェクトと関連付けられる光を受光するステップと、仮想画像光を接眼レンズ上に投影するステップと、光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップと、調光器を調節し、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体である。
【0024】
実施例１９は、光学システムは、世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される、光センサを備え、検出された情報は、光情報を含む、実施例１８に記載の非一過性コンピュータ可読媒体である。
【0025】
実施例２０は、光情報は、複数の空間的に分解された光値を含む、実施例１９に記載の非一過性コンピュータ可読媒体である。
【0026】
実施例２１は、光情報は、大域的光値を含む、実施例１９に記載の非一過性コンピュータ可読媒体である。
【0027】
実施例２２は、光学システムは、光学システムのユーザの眼に対応する視線情報を検出するように構成される、眼追跡器を備え、検出された情報は、視線情報を含む、実施例１８に記載の非一過性コンピュータ可読媒体である。
【0028】
実施例２３は、視線情報は、ユーザの眼の視線ベクトルと交差する、ピクセル場所を含む、実施例２２に記載の非一過性コンピュータ可読媒体である。
【0029】
実施例２４は、視線情報は、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの１つ以上のものを含む、実施例２２に記載の非一過性コンピュータ可読媒体である。
【0030】
実施例２５は、動作はさらに、仮想画像光に対応する画像情報を検出するステップであって、検出された情報は、画像情報を含む、ステップを含む、実施例１８に記載の非一過性コンピュータ可読媒体である。
【0031】
実施例２６は、画像情報は、複数の空間的に分解された画像明度値を含む、実施例２５に記載の非一過性コンピュータ可読媒体である。
【0032】
実施例２７は、画像情報は、大域的画像明度値を含む、実施例２５に記載の非一過性コンピュータ可読媒体である。
【0033】
実施例２８は、動作はさらに、検出された情報に基づいて、システム視野の一部に関する複数の空間的に分解された調光値を決定するステップであって、調光器は、複数の調光値に従って調節される、ステップを含む、実施例１８に記載の非一過性コンピュータ可読媒体である。
【0034】
実施例２９は、調光器は、複数のピクセルを備える、実施例１８に記載の非一過性コンピュータ可読媒体である。
【0035】
実施例３０は、調光器は、システム視野の全て内の世界オブジェクトと関連付けられる光の強度を完全に遮断するように調節される、実施例１８に記載の非一過性コンピュータ可読媒体である。
【0036】
実施例３１は、動作はさらに、仮想画像光と関連付けられる明度を調節するステップを含む、実施例１８に記載の非一過性コンピュータ可読媒体である。
【0037】
実施例３２は、仮想画像光は、画像視野によって特徴付けられ、画像視野は、システム視野に等しい、実施例１８に記載の非一過性コンピュータ可読媒体である。
【0038】
実施例３３は、光学システムであって、仮想画像光を接眼レンズ上に投影するように構成される、プロジェクタと、世界オブジェクトと関連付けられる光を調光するように構成される、調光器と、プロジェクタおよび調光器に通信可能に結合される、プロセッサであって、光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップと、調光器を調節し、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるステップとを含む、動作を実施するように構成される、プロセッサとを備える、光学システムである。
【0039】
実施例３４は、世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される、光センサをさらに備え、検出された情報は、光情報を含む、実施例３３に記載の光学システム。
【0040】
実施例３５は、光情報は、複数の空間的に分解された光値を含む、実施例３４に記載の光学システムである。
【0041】
実施例３６は、光情報は、大域的光値を含む、実施例３４に記載の光学システムである。
【0042】
実施例３７は、光学システムのユーザの眼に対応する視線情報を検出するように構成される、眼追跡器をさらに備え、検出された情報は、視線情報を含む、実施例３３に記載の光学システム。
【0043】
実施例３８は、視線情報は、ユーザの眼の視線ベクトルと交差する、ピクセル場所を含む、実施例３７に記載の光学システムである。
【0044】
実施例３９は、視線情報は、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの１つ以上のものを含む、実施例３７に記載の光学システムである。
【0045】
実施例４０は、動作はさらに、仮想画像光に対応する画像情報を検出するステップであって、検出された情報は、画像情報を含む、ステップを含む、実施例３３に記載の光学システムである。
【0046】
実施例４１は、画像情報は、複数の空間的に分解された画像明度値を含む、実施例４０に記載の光学システムである。
【0047】
実施例４２は、画像情報は、大域的画像明度値を含む、実施例４０に記載の光学システムである。
【0048】
実施例４３は、動作はさらに、検出された情報に基づいて、システム視野の一部に関する複数の空間的に分解された調光値を決定するステップであって、調光器は、複数の調光値に従って調節される、ステップを含む、実施例３３に記載の光学システムである。
【0049】
実施例４４は、調光器は、複数のピクセルを備える、実施例３３に記載の光学システムである。
【0050】
実施例４５は、調光器は、システム視野の全て内の世界オブジェクトと関連付けられる光の強度を完全に遮断するように調節される、実施例３３に記載の光学システムである。
【0051】
実施例４６は、動作はさらに、仮想画像光と関連付けられる明度を調節するステップを含む、実施例３３に記載の光学システムである。
【0052】
実施例４７は、仮想画像光は、画像視野によって特徴付けられ、画像視野は、システム視野に等しい、実施例３３に記載の光学システムである。
【0053】
実施例４８は、光学システムであって、光学システムのユーザの頭部を中心として装着されるように構成される、フレームと、フレームによって担持され、ユーザの眼とユーザの環境との間に位置付けられるように構成される、調光コンポーネントと、ユーザの眼の位置付けを監視するように構成される、眼追跡器と、調光コンポーネントおよび眼追跡器に通信可能に結合される、制御回路網であって、眼追跡器からのデータを受信し、眼追跡器から受光されたデータに基づいて、ユーザの眼の特定の解剖学的領域が位置付けられる、ユーザの眼の光学軸に沿った場所を決定し、ユーザの環境内に位置する３次元空間内の１つ以上の点を識別し、ユーザの環境内の１つ以上の識別された点毎に、少なくとも部分的に、ユーザの眼の特定の解剖学的領域の決定された場所およびユーザの環境内に位置する３次元空間内の個別の点に基づいて、調光コンポーネントの１つ以上のピクセルのセットを識別し、調光コンポーネントを制御し、１つ以上のピクセルの識別されたセットを調光するように構成される、制御回路網とを備える、光学システムである。
【0054】
実施例４９は、ユーザの眼の特定の解剖学的領域は、ユーザの眼の回転中心を備える、実施例４８に記載の光学システムである。
実施例５０は、ユーザの眼の特定の解剖学的領域は、ユーザの眼の瞳孔の中心を備える、実施例４８に記載の光学システムである。
実施例５０は、ユーザの眼の特定の解剖学的領域は、ユーザの眼の瞳孔の中心を備える、実施例４８に記載の光学システムである。
【0055】
実施例５１は、仮想コンテンツを表す光を放出するように構成される、プロジェクタと、フレームによって担持され、ユーザの眼と調光コンポーネントとの間に位置付けられるように構成される、導波管であって、光をプロジェクタから受光し、ユーザの眼に指向するように構成される、導波管とをさらに備える、実施例４８に記載の光学システムである。
【0056】
実施例５２は、制御回路網は、プロジェクタに通信可能に結合され、制御回路網はさらに、プロジェクタを制御し、仮想コンテンツの１つ以上のピクセルを表す、光を放出するように構成される、実施例５１に記載の光学システムである。
【0057】
実施例５３は、ユーザの環境内に位置する、３次元空間内の１つ以上の点は、仮想コンテンツの１つ以上のピクセルが、それぞれ、ユーザによって知覚されることになる、３次元空間内の１つ以上の場所に対応する、実施例５２に記載の光学システムである。
【0058】
実施例５４は、仮想コンテンツの１つ以上のピクセルは、仮想オブジェクトの複数のピクセルを備える、実施例５２に記載の光学システムである。
【0059】
実施例５５は、ユーザの環境内に位置する、３次元空間内の１つ以上の点は、仮想オブジェクトと関連付けられる仮想陰影の１つ以上のピクセルが、それぞれ、ユーザによって知覚されることになる、３次元空間内の１つ以上の場所に対応する、実施例５４に記載の光学システムである。
【0060】
実施例５６は、ユーザの環境内に位置する、３次元空間内の１つ以上の点は、ユーザの環境内の実世界オブジェクトによって物理的に占有される、３次元空間内の１つ以上の点に対応する、実施例４８に記載の光学システムである。
【0061】
実施例５７は、調光コンポーネントの１つ以上のピクセルのセットを識別するために、制御回路網は、１つ以上の光線のセットをユーザの環境内に位置する３次元空間内の個別の点からユーザの眼の特定の解剖学的領域の決定された場所に投射し、１つ以上の光線のセットと調光コンポーネントとの間の交点の１つ以上の点のセットを識別するように構成される、実施例４８に記載の光学システムである。
【0062】
実施例５８は、調光コンポーネントは、湾曲形状である、実施例４８に記載の光学システムである。
【0063】
実施例５９は、制御回路網はさらに、それぞれ、調光コンポーネントの１つ以上のピクセルの識別されたセットのための１つ以上の調光値のセットを決定するように構成され、制御回路網は、調光コンポーネントを制御し、１つ以上の調光値の決定されたセットに従って、１つ以上のピクセルの識別されたセットを調光するように構成される、実施例４８に記載の光学システムである。
【0064】
実施例６０は、制御回路網はさらに、眼追跡器から受信されたデータに基づいて、ユーザの眼の１つ以上の特性を決定するように構成され、制御回路網は、それぞれ、少なくとも部分的に、ユーザの眼の１つ以上の決定された特性に基づいて、調光コンポーネントの１つ以上のピクセルの識別されたセットのための１つ以上の調光値のセットを決定するように構成される、実施例５９に記載の光学システムである。
【0065】
実施例６１は、ユーザの眼の１つ以上の特性は、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、ユーザの眼の錐体および桿体場所、およびユーザの眼の水晶体の遠近調節状態のうちの１つ以上のものを含む、実施例６０に記載の光学システムである。
【0066】
実施例６２は、制御回路網は、少なくとも部分的に、ユーザの眼の１つ以上の決定された特性に基づいて、調光コンポーネントの１つ以上のピクセルのセットを識別するように構成される、実施例６１に記載の光学システムである。
【0067】
実施例６３は、制御回路網に通信可能に結合され、仮想コンテンツを表す、光を放出するように構成される、プロジェクタと、フレームによって担持され、ユーザの眼と調光コンポーネントとの間に位置付けられるように構成される、導波管であって、光をプロジェクタから受光し、ユーザの眼に指向するように構成される、導波管とをさらに備え、制御回路網はさらに、プロジェクタを制御し、それぞれ、仮想コンテンツの１つ以上のピクセルを表す、光を、明度の１つ以上のレベルで放出するように構成され、制御回路網は、それぞれ、少なくとも部分的に、仮想コンテンツの１つ以上のピクセルの明度の１つ以上のレベルに基づいて、調光コンポーネントの１つ以上のピクセルの識別されたセットのための１つ以上の調光値のセットを決定するように構成される、実施例５９に記載の光学システム。
【0068】
実施例６４は、制御回路網は、それぞれ、少なくとも部分的に、仮想コンテンツのために規定された所定のコントラストおよび所定のレベルの可視度のうちの１つ以上のものに基づいて、調光コンポーネントの１つ以上のピクセルの識別されたセットのための１つ以上の調光値のセットを決定するように構成される、実施例６３に記載の光学システムである。
【0069】
実施例６５は、仮想コンテンツは、仮想オブジェクトを備え、制御回路網は、少なくとも部分的に、仮想オブジェクトの１つ以上の特性に基づいて、調光コンポーネントの１つ以上のピクセルのセットを識別するように構成される、実施例６３に記載の光学システムである。
【0070】
実施例６６は、仮想オブジェクトの１つ以上の特性は、仮想オブジェクトのサイズ、仮想オブジェクトの形状、仮想オブジェクトがユーザによって知覚されることになる、ユーザの環境内の位置、および仮想オブジェクトがユーザによって知覚されることになる、深度のうちの１つ以上のものを含む、実施例６５に記載の光学システムである。
【0071】
実施例６７は、制御回路網に通信可能に結合され、それぞれ、ユーザの環境の１つ以上の部分と関連付けられる光の明度の１つ以上のレベルを監視するように構成される、光学センサをさらに備え、制御回路網は、それぞれ、少なくとも部分的に、ユーザの環境の１つ以上の部分と関連付けられる明度の１つ以上のレベルに基づいて、調光コンポーネントの１つ以上のピクセルの識別されたセットのための１つ以上の調光値のセットを決定するように構成される、実施例５９に記載の光学システム。
【0072】
実施例６８は、光学センサは、カメラを備える、実施例６７に記載の光学システムである。
【0073】
実施例６９は、光学センサは、１つ以上の光ダイオードを備える、実施例６７に記載の光学システムである。
【0074】
実施例７０は、制御回路網に通信可能に結合され、仮想コンテンツを表す、光を放出するように構成される、プロジェクタと、フレームによって担持され、ユーザの眼と調光コンポーネントとの間に位置付けられるように構成される、導波管であって、光をプロジェクタから受光し、ユーザの眼に指向するように構成される、導波管とをさらに備え、制御回路網はさらに、プロジェクタを制御し、仮想コンテンツの１つ以上のピクセルを表す、光を放出するように構成される、実施例６７に記載の光学システム。
【0075】
実施例７１は、仮想コンテンツは、仮想オブジェクトを備え、それと明度の１つ以上のレベルが関連付けられる、ユーザの環境の１つ以上の部分は、仮想オブジェクトによってオクルードされるようにユーザによって知覚されることになる、ユーザの環境の特定の部分を含む、実施例７０に記載の光学システムである。
【0076】
実施例７２は、制御回路網はさらに、プロジェクタを制御し、少なくとも部分的に、ユーザの環境の１つ以上の部分と関連付けられる明度の１つ以上のレベルに基づいて、仮想コンテンツの１つ以上のピクセルを表す、光を放出するように構成される、実施例７０に記載の光学システムである。
【0077】
実施例７３は、眼追跡器は、調光コンポーネントに対するユーザの眼の位置付けを監視するように構成される、実施例４８に記載の光学システムである。
【0078】
実施例７４は、光学システムであって、光学システムのユーザの頭部を中心として装着されるように構成される、フレームと、フレームによって担持され、ユーザの左眼とユーザの環境との間に位置付けられるように構成される、左調光コンポーネントと、フレームによって担持され、ユーザの右眼とユーザの環境との間に位置付けられるように構成される、右調光コンポーネントと、左および右調光コンポーネントに通信可能に結合される、制御回路網であって、ユーザの環境内に位置する、３次元空間内の１つ以上の点を識別し、ユーザの環境内の１つ以上の識別された点毎に、少なくとも部分的に、ユーザの環境内に位置する、３次元空間内の個別の点に基づいて、左調光コンポーネントの１つ以上のピクセルのセットを識別し、少なくとも部分的に、ユーザの環境内に位置する、３次元空間内の個別の点に基づいて、右調光コンポーネントの１つ以上のピクセルのセットを識別し、左調光コンポーネントを制御し、左調光コンポーネントの１つ以上のピクセルの識別されたセットを調光し、右調光コンポーネントを制御し、右調光コンポーネントの１つ以上のピクセルの識別されたセットを調光するように構成される、制御回路網とを備える、光学システムである。
【0079】
実施例７５は、制御回路網に通信可能に結合され、ユーザの左眼の位置付けを監視するように構成される、左眼追跡器と、制御回路網に通信可能に結合され、ユーザの左眼の位置付けを監視するように構成される、右眼追跡器とをさらに備え、制御回路網はさらに、左および右眼追跡器からのデータを受信し、左眼追跡器から受信されたデータに基づいて、ユーザの左眼の特定の解剖学的領域が位置付けられる、ユーザの左眼の光学軸に沿った場所を決定し、右眼追跡器から受信されたデータに基づいて、ユーザの右眼の特定の解剖学的領域が位置付けられる、ユーザの右眼の光学軸に沿った場所を決定するように構成される、実施例７４に記載の光学システムである。
【0080】
実施例７６は、制御回路網は、少なくとも部分的に、ユーザの左眼の特定の解剖学的領域の決定された場所およびユーザの環境内に位置する３次元空間内の個別の点に基づいて、左調光コンポーネントの１つ以上のピクセルのセットを識別し、少なくとも部分的に、ユーザの右眼の特定の解剖学的領域の決定された場所およびユーザの環境内に位置する３次元空間内の個別の点に基づいて、右調光コンポーネントの１つ以上のピクセルのセットを識別するように構成される、実施例７５に記載の光学システムである。
【0081】
多数の利点が、従来の技法に優る本開示の方法によって達成される。例えば、本明細書に説明される拡張現実（ＡＲ）デバイスは、ユーザの眼に到達する周囲光を大域的に調光および／または選択的に調光することによって、暗い屋内から明るい屋外へと変動する光レベルにおいて使用されてもよい。本発明の実施形態は、ピクセル化された調光器を使用して、世界光を９９％を上回って減衰させることによって、単一デバイス内でＡＲおよび仮想現実（ＶＲ）能力を可能にする。本発明の実施形態はまた、離散または持続可変深度平面切替技術を用いて、可変焦点要素を使用して、輻輳・開散運動遠近調節競合を軽減させる。本発明の実施形態は、検出された周囲光の量に基づいて、プロジェクタ明度を最適化することによって、ＡＲデバイスのバッテリ寿命を改良する。本開示の他の利点も、当業者に容易に明白となるであろう。
本発明は、例えば、以下を提供する。
（項目１）
光学システムを動作させる方法であって、
前記光学システムにおいて、世界オブジェクトと関連付けられる光を受光することと、
仮想画像光を接眼レンズ上に投影することと、
前記光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる前記光学システムのシステム視野の一部を決定することと、
調光器を調節し、前記システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させることと
を含む、方法。
（項目２）
前記光学システムは、前記世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される光センサを備え、前記検出された情報は、前記光情報を含む、項目１に記載の方法。
（項目３）
前記光情報は、複数の空間的に分解された光値を含む、項目２に記載の方法。
（項目４）
前記光学システムは、前記光学システムのユーザの眼に対応する視線情報を検出するように構成される眼追跡器を備え、前記検出された情報は、前記視線情報を含む、項目１に記載の方法。
（項目５）
前記仮想画像光に対応する画像情報を検出することであって、前記検出された情報は、前記画像情報を含む、こと
をさらに含む、項目１に記載の方法。
（項目６）
前記画像情報は、複数の空間的に分解された画像明度値を含む、項目５に記載の方法。
（項目７）
前記検出された情報に基づいて、前記システム視野の一部に関する複数の空間的に分解された調光値を決定することであって、前記調光器は、前記複数の調光値に従って調節される、こと
をさらに含む、項目１に記載の方法。
（項目８）
前記調光器は、複数のピクセルを備える、項目１に記載の方法。
（項目９）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を備え、前記命令は、プロセッサによって実行されると、前記プロセッサに、
光学システムにおいて、世界オブジェクトと関連付けられる光を受光することと、
仮想画像光を接眼レンズ上に投影することと、
前記光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる前記光学システムのシステム視野の一部を決定することと、
調光器を調節し、前記システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させることと
を含む動作を実施させる、非一過性コンピュータ可読媒体。
（項目１０）
前記光学システムは、前記世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される光センサを備え、前記検出された情報は、前記光情報を含む、項目９に記載の非一過性コンピュータ可読媒体。
（項目１１）
前記光情報は、複数の空間的に分解された光値を含む、項目１０に記載の非一過性コンピュータ可読媒体。
（項目１２）
前記光学システムは、前記光学システムのユーザの眼に対応する視線情報を検出するように構成される眼追跡器を備え、前記検出された情報は、前記視線情報を含む、項目９に記載の非一過性コンピュータ可読媒体。
（項目１３）
前記動作はさらに、
前記仮想画像光に対応する画像情報を検出することであって、前記検出された情報は、前記画像情報を含む、こと
を含む、項目９に記載の非一過性コンピュータ可読媒体。
（項目１４）
前記画像情報は、複数の空間的に分解された画像明度値を含む、項目１３に記載の非一過性コンピュータ可読媒体。
（項目１５）
前記動作はさらに、
前記検出された情報に基づいて、前記システム視野の一部に関する複数の空間的に分解された調光値を決定することであって、前記調光器は、前記複数の調光値に従って調節される、こと
を含む、項目９に記載の非一過性コンピュータ可読媒体。
（項目１６）
前記調光器は、複数のピクセルを備える、項目９に記載の非一過性コンピュータ可読媒体。
（項目１７）
光学システムであって、
仮想画像光を接眼レンズ上に投影するように構成されるプロジェクタと、
世界オブジェクトと関連付けられる光を調光するように構成される調光器と、
前記プロジェクタおよび前記調光器に通信可能に結合されるプロセッサであって、前記プロセッサは、
前記光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる前記光学システムのシステム視野の一部を決定することと、
前記調光器を調節し、前記システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させることと
を含む動作を実施するように構成される、プロセッサと
を備える、光学システム。
（項目１８）
前記世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される光センサをさらに備え、前記検出された情報は、前記光情報を含む、項目１７に記載の光学システム。
（項目１９）
前記光学システムのユーザの眼に対応する視線情報を検出するように構成される眼追跡器をさらに備え、前記検出された情報は、前記視線情報を含む、項目１７に記載の光学システム。
（項目２０）
前記動作はさらに、
前記仮想画像光に対応する画像情報を検出することであって、前記検出された情報は、前記画像情報を含む、こと
を含む、項目１７に記載の光学システム。
本発明は、例えば、以下を提供する。
（項目１）
光学システムを動作させる方法であって、
前記光学システムにおいて、世界オブジェクトと関連付けられる光を受光することと、
仮想画像光を接眼レンズ上に投影することと、
前記光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる前記光学システムのシステム視野の一部を決定することと、
調光器を調節し、前記システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させることと
を含む、方法。
（項目２）
前記光学システムは、前記世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される光センサを備え、前記検出された情報は、前記光情報を含む、項目１に記載の方法。
（項目３）
前記光情報は、複数の空間的に分解された光値を含む、項目２に記載の方法。
（項目４）
前記光学システムは、前記光学システムのユーザの眼に対応する視線情報を検出するように構成される眼追跡器を備え、前記検出された情報は、前記視線情報を含む、項目１に記載の方法。
（項目５）
前記仮想画像光に対応する画像情報を検出することであって、前記検出された情報は、前記画像情報を含む、こと
をさらに含む、項目１に記載の方法。
（項目６）
前記画像情報は、複数の空間的に分解された画像明度値を含む、項目５に記載の方法。
（項目７）
前記検出された情報に基づいて、前記システム視野の一部に関する複数の空間的に分解された調光値を決定することであって、前記調光器は、前記複数の調光値に従って調節される、こと
をさらに含む、項目１に記載の方法。
（項目８）
前記調光器は、複数のピクセルを備える、項目１に記載の方法。
（項目９）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を備え、前記命令は、プロセッサによって実行されると、前記プロセッサに、
光学システムにおいて、世界オブジェクトと関連付けられる光を受光することと、
仮想画像光を接眼レンズ上に投影することと、
前記光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる前記光学システムのシステム視野の一部を決定することと、
調光器を調節し、前記システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させることと
を含む動作を実施させる、非一過性コンピュータ可読媒体。
（項目１０）
前記光学システムは、前記世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される光センサを備え、前記検出された情報は、前記光情報を含む、項目９に記載の非一過性コンピュータ可読媒体。
（項目１１）
前記光情報は、複数の空間的に分解された光値を含む、項目１０に記載の非一過性コンピュータ可読媒体。
（項目１２）
前記光学システムは、前記光学システムのユーザの眼に対応する視線情報を検出するように構成される眼追跡器を備え、前記検出された情報は、前記視線情報を含む、項目９に記載の非一過性コンピュータ可読媒体。
（項目１３）
前記動作はさらに、
前記仮想画像光に対応する画像情報を検出することであって、前記検出された情報は、前記画像情報を含む、こと
を含む、項目９に記載の非一過性コンピュータ可読媒体。
（項目１４）
前記画像情報は、複数の空間的に分解された画像明度値を含む、項目１３に記載の非一過性コンピュータ可読媒体。
（項目１５）
前記動作はさらに、
前記検出された情報に基づいて、前記システム視野の一部に関する複数の空間的に分解された調光値を決定することであって、前記調光器は、前記複数の調光値に従って調節される、こと
を含む、項目９に記載の非一過性コンピュータ可読媒体。
（項目１６）
前記調光器は、複数のピクセルを備える、項目９に記載の非一過性コンピュータ可読媒体。
（項目１７）
光学システムであって、
仮想画像光を接眼レンズ上に投影するように構成されるプロジェクタと、
世界オブジェクトと関連付けられる光を調光するように構成される調光器と、
前記プロジェクタおよび前記調光器に通信可能に結合されるプロセッサであって、前記プロセッサは、
前記光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる前記光学システムのシステム視野の一部を決定することと、
前記調光器を調節し、前記システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させることと
を含む動作を実施するように構成される、プロセッサと
を備える、光学システム。
（項目１８）
前記世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される光センサをさらに備え、前記検出された情報は、前記光情報を含む、項目１７に記載の光学システム。
（項目１９）
前記光学システムのユーザの眼に対応する視線情報を検出するように構成される眼追跡器をさらに備え、前記検出された情報は、前記視線情報を含む、項目１７に記載の光学システム。
（項目２０）
前記動作はさらに、
前記仮想画像光に対応する画像情報を検出することであって、前記検出された情報は、前記画像情報を含む、こと
を含む、項目１７に記載の光学システム。
【図面の簡単な説明】
【0082】
【0083】
【0084】
【0085】
【0086】
【0087】
【0088】
【0089】
【0090】
【0091】
【0092】
【0093】
【0094】
【0095】
【0096】
【0097】
【0098】
【0099】
【0100】
【0101】
【0102】
【0103】
【0104】
【0105】
【0106】
【0107】
【0108】
【0109】
【0110】
【0111】
【0112】
【0113】
【0114】
【0115】
【0116】
【0117】
【発明を実施するための形態】
【0118】
光学シースルー（ＯＳＴ）拡張現実（ＡＲ）デバイスに関する継続中の技術的課題は、変動する周囲光条件下での仮想コンテンツの不透明度および／または可視度の変動である。問題は、完全に暗い部屋または完全に明るい太陽光下の屋外等、極限照明条件において悪化する。本発明の実施形態は、ＡＲデバイスの視野内の異なる空間場所における世界光を調光することによって、これらおよび他の問題を解決する。それに対して調光が適用される視野の部分および適用される調光の量はそれぞれ、ＡＲデバイスによって検出された種々の情報に基づいて決定される。本情報は、検出された周囲光、検出された視線情報、および／または投影されている仮想コンテンツの検出された明度を含んでもよい。ＡＲデバイスの機能性はさらに、周囲光と関連付けられる方向を検出することによって、例えば、複数の空間的に分解された光値を検出することによって、改良される。これは、ＡＲデバイスが、調光が必要とされる視野の部分のみを調光する、および／または視野のある部分内のプロジェクタ明度を増加させることによって、そのバッテリ寿命を改良することを可能にする。故に、本発明の実施形態は、従来の可能性として考えられるものよりはるかに広い種々の条件においてＡＲデバイスの使用を有効にする。
【0119】
図１は、本発明のいくつかの実施形態による、ウェアラブルＡＲデバイスを通して視認されるようなＡＲ場面１００を図示する。ＡＲ技術のユーザに、人々、木々、背景における建物、および実世界コンクリートプラットフォーム１２０等の種々の実世界オブジェクト１３０を特徴とする、実世界公園状設定１０６が見えている、ＡＲ場面１００が、描写される。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界コンクリートプラットフォーム１２０上に立っているロボット像１０２－２と、それによってマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１０２－１と等、種々の仮想オブジェクト１０２が「見える」と知覚するが、これらの要素（キャラクタ１０２－１および像１０２－２）は、実世界には存在しない。ヒト視知覚および神経系の著しい複雑性に起因して、他の仮想または実世界画像要素の中への、仮想画像要素の快適で、自然のような感覚の、豊かな提示を促進する、仮想現実（ＶＲ）またはＡＲ技術を生産することが困難である。
【0120】
図２Ａは、本発明による、ＡＲデバイス２００の１つ以上の一般的特徴を図示する。いくつかの実施形態では、ＡＲデバイス２００は、接眼レンズ２０２および動的調光器２０３を通して見ているとき、ユーザが１つ以上の世界オブジェクト２３０を視認し得るように、ＡＲデバイス２００が非アクティブモードまたはオフモードにあるとき、透明または半透明であるように構成される、接眼レンズ２０２および動的調光器２０３を含んでもよい。図示されるように、接眼レンズ２０２および動的調光器２０３は、並置構成に配列され得、接眼レンズ２０２および動的調光器２０３を通して見ているときにユーザに見える、システム視野を形成し得る。いくつかの実施形態では、システム視野は、接眼レンズ２０２および動的調光器２０３の一方または両方によって占有される、２次元領域全体として定義される。図２Ａは、単一接眼レンズ２０２および単一動的調光器２０３を図示する（例証的理由から）が、ＡＲデバイス２００は、ユーザの片眼毎に、２つの接眼レンズおよび２つの動的調光器を含んでもよい。
【0121】
動作の間、動的調光器２０３は、動的調光器２０３上に衝突する、世界オブジェクト２３０と関連付けられる世界光２３２の強度を低減させるように調節され、それによって、調光される面積２３６をシステム視野内に生産し得る。調光される面積２３６は、システム視野の一部またはサブセットであってもよく、部分的または完全に、調光されてもよい。動的調光器２０３は、調光される面積２３６のための複数の空間的に分解された調光値に従って調節されてもよい。さらに、ＡＲデバイス２００の動作の間、プロジェクタ２１４は、仮想画像光２２２（すなわち、仮想コンテンツと関連付けられる光）を接眼レンズ２０２上に投影してもよく、これは、ユーザによって、世界光２３２とともに観察され得る。
【0122】
仮想画像光２２２を接眼レンズ２０２上に投影することは、ユーザが対応する仮想コンテンツをユーザの環境内のある場所に位置付けられるように知覚するように、ライトフィールド（すなわち、仮想コンテンツの角度表現）をユーザの網膜上に投影させ得る。例えば、接眼レンズ２０２によって外部結合された仮想画像光２２２は、ユーザに、キャラクタ２０２－１が第１の仮想深度平面２１０－１に位置付けられるように、像２０２－２が第２の仮想深度平面２１０－２に位置付けられるように知覚させ得る。ユーザは、プラットフォーム１２０等の１つ以上の世界オブジェクト２３０に対応する世界光２３２とともに、仮想コンテンツを知覚する。
【0123】
いくつかの実施形態では、ＡＲデバイス２００は、世界光２３２を検出するように構成される、周囲光センサ２３４を含んでもよい。周囲光センサ２３４は、周囲光センサ２３４によって検出された世界光２３２が、動的調光器２０３および／または接眼レンズ２０２上に衝突する世界光２３２に類似する、および／またはそれを表すように、位置付けられてもよい。いくつかの実施形態では、周囲光センサ２３４は、動的調光器２０３の異なるピクセルに対応する、複数の空間的に分解された光値を検出するように構成されてもよい。これらの実施形態では、周囲光センサ２３４は、例えば、結像センサ（例えば、ＣＭＯＳ、ＣＣＤ等）または複数の光ダイオード（例えば、アレイまたは別の空間的に分散された配列において）に対応してもよい。いくつかの実施形態では、または同一実施形態では、周囲光センサ２３４は、世界光２３２の平均光強度または単一光強度に対応する、大域的光値を検出するように構成されてもよい。これらの実施形態では、周囲光センサ２３４は、例えば、１つ以上の光ダイオードのセットに対応してもよい。他の可能性も、検討される。
【0124】
図２Ｂは、調光される面積２３６が、世界光２３２に対応する、検出された光情報に基づいて決定される、ＡＲデバイス２００の実施例を図示する。具体的には、周囲光センサ２３４は、太陽と関連付けられる世界光２３２を検出し得、太陽と関連付けられる世界光２３２がＡＲデバイス２００を通して通過する、システム視野の方向および／または部分をさらに検出し得る。それに応答して、動的調光器２０３は、調光される面積２３６を設定し、検出された世界光に対応するシステム視野の部分を網羅するように調節されてもよい。図示されるように、動的調光器２０３は、調光される面積２３６の端部を上回る量において、調光される面積２３６の中心における世界光２３２の強度を低減させるように調節されてもよい。
【0125】
図２Ｃは、調光される面積２３６が仮想画像光２２２に基づいて決定される、ＡＲデバイス２００の実施例を図示する。具体的には、調光される面積２３６は、ユーザが仮想画像光２２２を観察することから生じる、ユーザによって知覚される仮想コンテンツに基づいて決定されてもよい。いくつかの実施形態では、ＡＲデバイス２００は、可能性の中でもとりわけ、仮想画像光２２２の場所（例えば、それを通してユーザが仮想コンテンツを知覚する、動的調光器２０３内の場所）および／または仮想画像光２２２の明度（例えば、知覚される仮想コンテンツおよび／またはプロジェクタ２１４において生成される光の明度）を含む、画像情報を検出してもよい。図示されるように、動的調光器２０３は、調光される面積２３６を設定し、仮想画像光２２２に対応するシステム視野の部分を網羅するように調節されてもよい、または代替として、いくつかの実施形態では、調光される面積２３６は、仮想画像光２２２と整合されない、システム視野の部分を網羅してもよい。いくつかの実施形態では、調光される面積２３６の調光値は、周囲光センサ２３４によって検出された世界光２３２および／または仮想画像光２２２の明度に基づいて決定されてもよい。
【0126】
図２Ｄは、調光される面積２３６がユーザの眼に対応する視線情報に基づいて決定される、ＡＲデバイス２００の実施例を図示する。いくつかの実施形態では、視線情報は、ユーザの視線ベクトル２３８および／または視線ベクトル２３８が動的調光器２０３と交差する動的調光器２０３のピクセル場所を含む。図示されるように、動的調光器２０３は、調光される面積２３６を設定し、視線ベクトル２３８と動的調光器２０３との間の交点（または交差領域）に対応するシステム視野の部分を網羅するように調節されてもよい、または代替として、いくつかの実施形態では、調光される面積２３６は、視線ベクトル２３８と動的調光器２０３との間の交点（または交差領域）に対応しない、システム視野の部分を網羅してもよい。いくつかの実施形態では、調光される面積２３６の調光値は、周囲光センサ２３４によって検出された世界光２３２および／または仮想画像光２２２の明度に基づいて決定されてもよい。いくつかの実施形態では、視線情報は、ＡＲデバイス２００に搭載される、眼追跡器２４０によって検出されてもよい。
【0127】
図３は、本発明による、ウェアラブルＡＲデバイス３００の概略図を図示する。ＡＲデバイス３００は、並置構成に配列される、左接眼レンズ３０２Ａおよび左動的調光器３０３Ａと、同様に並置構成に配列される、右接眼レンズ３０２Ｂおよび右動的調光器３０３Ｂとを含んでもよい。いくつかの実施形態では、ＡＲデバイス３００は、限定ではないが、直接、左接眼レンズ３０２Ａまたはその近くに取り付けられる、左正面に向いた世界カメラ３０６Ａと、直接、右接眼レンズ３０２Ｂまたはその近くに取り付けられる、右正面に向いた世界カメラ３０６Ｂと、直接、左接眼レンズ３０２Ａまたは近くに取り付けられる、左側に向いた世界カメラ３０６Ｃと、直接、右接眼レンズ３０２Ｂまたは近くに取り付けられる、右側に向いた世界カメラ３０６Ｄと、ユーザの左眼を観察するように位置付けられる、左眼追跡器３４０Ａと、ユーザの右眼を観察するように位置付けられる、右眼追跡器３４０Ｂと、周囲光センサ３３４とを含む、１つ以上のセンサを含む。いくつかの実施形態では、ＡＲデバイス３００は、左接眼レンズ３０２Ａに光学的にリンクされる、左プロジェクタ３１４Ａと、右接眼レンズ３０２Ｂに光学的にリンクされる、右プロジェクタ３１４Ｂと等、１つ以上の画像投影デバイスを含む。
【0128】
ＡＲデバイス３００のコンポーネントのいくつかまたは全ては、投影された画像がユーザによって視認され得るように、頭部搭載型であってもよい。１つの特定の実装では、図３に示されるＡＲデバイス３００のコンポーネントは全て、ユーザによって装着可能な単一デバイス（例えば、単一ヘッドセット）上に搭載される。別の実装では、処理モジュール３５０が、物理的に別個であって、１つ以上の有線および／または無線接続によって、ＡＲデバイス３００の他のコンポーネントに通信可能に結合される。例えば、処理モジュール３５０が、フレームに固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザに除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において等）等、種々の構成において搭載されてもよい。
【0129】
処理モジュール３５０は、プロセッサ３５２と、不揮発性メモリ（例えば、フラッシュメモリ）等の関連付けられるデジタルメモリ３５６とを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、カメラ３０６、周囲光センサ３３４、眼追跡器３４０、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等、（例えば、ＡＲデバイス３００に動作可能に結合される、または別様にユーザに取り付けられ得る）センサから捕捉されたデータを含んでもよい。例えば、処理モジュール３５０は、画像３２０をカメラ３０６から受信してもよい。具体的には、処理モジュール３５０は、左正面画像３２０Ａを左正面に向いた世界カメラ３０６Ａから、右正面画像３２０Ｂを右正面に向いた世界カメラ３０６Ｂから、左側画像３２０Ｃを左側に向いた世界カメラ３０６Ｃから、右側画像３２０Ｄを右側に向いた世界カメラ３０６Ｄから受信してもよい。いくつかの実施形態では、画像３２０は、単一画像、一対の画像、画像のストリームを備えるビデオ、ペアリングされた画像のストリームを備えるビデオ、および同等物を含んでもよい。画像３２０は、ＡＲデバイス３００が電源投入されている間、周期的に、生成され、処理モジュール３５０に送信されてもよい、または処理モジュール３５０によってカメラのうちの１つ以上のものに送信される命令に応答して、生成されてもよい。別の実施例として、処理モジュール３５０は、光情報を周囲光センサ３３４から受信してもよい。いくつかの実施形態では、周囲光センサ３３４の機能性のいくつかまたは全ては、世界カメラ３０６Ａ－３０６Ｄのうちの１つ以上のものを用いて提供されてもよい。別の実施例として、処理モジュール３５０は、視線情報を眼追跡器３４０の一方または両方から受信してもよい。別の実施例として、処理モジュール３５０は、画像情報（例えば、画像明度値）をプロジェクタ３１４の一方または両方から受信してもよい。
【0130】
接眼レンズ３０２Ａおよび３０２Ｂは、それぞれ、プロジェクタ３１４Ａおよび３１４Ｂからの光を指向するように構成される、透明または半透明導波管を備えてもよい。具体的には、処理モジュール３５０は、左プロジェクタ３１４Ａに、左仮想画像光３２２Ａを左接眼レンズ３０２Ａ上に出力させ（左仮想画像光３２２Ａと関連付けられる対応するライトフィールドをユーザの網膜上に投影させ）てもよく、右プロジェクタ３１４Ｂに、右仮想画像光３２２Ｂを右接眼レンズ３０２Ｂ上に出力させ（右仮想画像光３２２Ｂと関連付けられる対応するライトフィールドをユーザの網膜上に投影させ）てもよい。いくつかの実施形態では、接眼レンズ３０２はそれぞれ、異なる色および／または異なる深度平面に対応する、複数の導波管を備えてもよい。いくつかの実施形態では、動的調光器３０３は、接眼レンズ３０２に結合される、および／またはそれと統合されてもよい。例えば、動的調光器３０３のうちの１つは、多層接眼レンズの中に組み込まれてもよく、接眼レンズ３０２のうちの１つを構成する、１つ以上の層を形成してもよい。
【0131】
カメラ３０６Ａおよび３０６Ｂは、それぞれ、ユーザの左および右眼の視野と実質的に重複する、画像を捕捉するように位置付けられてもよい。故に、カメラ３０６の設置は、ユーザの眼の近くであるが、ユーザの視野を不明瞭にするほど近くではないようになり得る。代替として、または加えて、カメラ３０６Ａおよび３０６Ｂは、それぞれ、仮想画像光３２２Ａおよび３２２Ｂの内部結合場所と整合するように位置付けられてもよい。カメラ３０６Ｃおよび３０６Ｄは、ユーザの側面、例えば、ユーザの周辺視覚内またはユーザの周辺視覚外に対して画像を捕捉するように位置付けられてもよい。カメラ３０６Ｃおよび３０６Ｄを使用して捕捉された画像３２０Ｃおよび３２０Ｄは、必ずしも、カメラ３０６Ａおよび３０６Ｂを使用して捕捉された画像３２０Ａおよび３２０Ｂと重複する必要はない。
【0132】
ＡＲデバイス３００の１つ以上のコンポーネントは、図２Ａ－２Ｄを参照して説明される、１つ以上のコンポーネントに類似してもよい。例えば、いくつかの実施形態では、接眼レンズ３０２、動的調光器３０３、プロジェクタ３１４、周囲光センサ３３４、および眼追跡器３４０の機能性は、それぞれ、接眼レンズ２０２、動的調光器２０３、プロジェクタ２１４、周囲光センサ２３４、および眼追跡器２４０に類似してもよい。いくつかの実施形態では、処理モジュール３５０の機能性は、別個に格納されるが、通信可能に結合される、電子ハードウェアコンポーネントの２つ以上のセットによって実装されてもよい。例えば、処理モジュール３５０の機能性は、ヘッドセットに物理的にテザリングされるコンピューティングデバイス内に格納される、電子ハードウェアコンポーネント、ヘッドセットの環境内の１つ以上の電子デバイス（例えば、スマートフォン、コンピュータ、周辺デバイス、スマート家電等）、１つ以上の遠隔に位置するコンピューティングデバイス（例えば、サーバ、クラウドコンピューティングデバイス等）、またはそれらの組み合わせと併せて、ヘッドセット内に格納される、電子ハードウェアコンポーネントによって行われてもよい。そのような構成の一実施例は、図２９を参照して下記にさらに詳細に説明される。
【0133】
図４は、光学システム（例えば、ＡＲデバイス２００または３００）を動作させるための方法４００を図示する。方法４００のステップは、図４に示されるものと異なる順序で実施されてもよく、ステップの全てが、実施される必要はない。例えば、いくつかの実施形態では、ステップ４０６、４０８、および４１０のうちの１つ以上のものは、方法４００の実施の間、省略されてもよい。方法４００の１つ以上のステップは、プロセッサ（例えば、プロセッサ３５２）または光学システム内のある他のコンポーネントによって実施されてもよい。
【0134】
ステップ４０２では、世界オブジェクト（例えば、世界オブジェクト２３０）と関連付けられる光（例えば、世界光２３２）が、光学システムにおいて受光される。世界オブジェクトは、光学システムのユーザによって視認される、木、人物、家、建物、太陽等、任意の数の実世界オブジェクトであってもよい。いくつかの実施形態では、世界オブジェクトと関連付けられる光は、最初に、動的調光器（例えば、動的調光器２０３または３０３）または光学システムの外部の審美的レンズによって受光される。いくつかの実施形態では、世界オブジェクトと関連付けられる光は、光が光学システムの１つ以上のコンポーネントに到達すると（例えば、光が動的調光器に到達すると）、光学システムにおいて受光されたと見なされる。
【0135】
ステップ４０４では、仮想画像光（例えば、仮想画像光２２２または３２２）が、接眼レンズ（例えば、接眼レンズ２０２または３０２）上に投影される。仮想画像光は、光学システムのプロジェクタ（例えば、プロジェクタ２１４または３１４）によって接眼レンズ上に投影されてもよい。仮想画像光は、単一画像、一対の画像、画像のストリームを備えるビデオ、ペアリングされた画像のストリームを備えるビデオ、および同等物に対応してもよい。いくつかの実施形態では、仮想画像光は、仮想画像光と関連付けられる任意の光が接眼レンズに到達すると、接眼レンズ上に投影されたと見なされる。いくつかの実施形態では、仮想画像光を接眼レンズ上に投影することは、ユーザが対応する仮想コンテンツがユーザの環境内のある場所に位置付けられるように知覚するように、ライトフィールド（すなわち、仮想コンテンツの角度表現）をユーザの網膜上に投影させる。
【0136】
ステップ４０６、４０８、および４１０の間、情報が、例えば、光学システムの１つ以上のセンサを使用して、光学システムによって検出されてもよい。ステップ４０６では、世界オブジェクトと関連付けられる光に対応する光情報が、検出される。光情報は、光学システムに搭載される光センサ（例えば、周囲光センサ２３４または３３４）を使用して検出されてもよい。いくつかの実施形態では、光情報は、複数の空間的に分解された光値を含む。複数の空間的に分解された光値はそれぞれ、システム視野内の２次元位置に対応してもよい。例えば、光値はそれぞれ、動的調光器のピクセルと関連付けられてもよい。他の実施形態では、または同一実施形態では、光情報は、大域的光値を含んでもよい。大域的光値は、システム視野全体と関連付けられてもよい（例えば、動的調光器の全てのピクセル上に衝突する光の平均光値）。
【0137】
ステップ４０８では、光学システムのユーザの眼に対応する視線情報が、検出される。視線情報は、光学システムに搭載される眼追跡器（例えば、眼追跡器２４０または３４０）を使用して検出されてもよい。いくつかの実施形態では、視線情報は、ユーザの眼の視線ベクトル（例えば、視線ベクトル２３８）を含む。いくつかの実施形態では、視線情報は、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの１つ以上のものを含む。視線ベクトルは、瞳孔位置、眼の回転中心、瞳孔サイズ、瞳孔直径、および／または錐体および桿体場所等、視線情報の１つ以上の成分に基づいて決定されてもよい。視線ベクトルが、錐体および桿体場所に基づいて決定されるとき、さらに、錐体および桿体場所を含有する、眼の網膜層内の視線ベクトルの原点を決定するように、光情報（例えば、大域的光値）に基づいて決定されてもよい。いくつかの実施形態では、視線情報は、視線ベクトルが動的調光器と交差する、動的調光器のピクセルまたはピクセルのグループを含む。
【0138】
ステップ４１０では、プロジェクタによって接眼レンズ上に投影された仮想画像光（例えば、仮想画像光２２２または３２２）に対応する、画像情報が、検出される。画像情報は、プロジェクタによって、プロセッサ（例えば、プロセッサ３５２）によって、または別個の光センサによって検出されてもよい。いくつかの実施形態では、画像情報は、ユーザが仮想画像光を観察するとき、それを通してユーザが仮想コンテンツを知覚する、動的調光器内の１つ以上の場所を含む。いくつかの実施形態では、画像情報は、複数の空間的に分解された画像明度値（例えば、知覚される仮想コンテンツの明度）を含む。例えば、画像明度値はそれぞれ、接眼レンズまたは動的調光器のピクセルと関連付けられてもよい。１つの特定の実装では、プロセッサが、命令をプロジェクタに送信し、仮想画像光を接眼レンズ上に投影するとき、プロセッサは、命令に基づいて、空間的に分解された画像明度値を決定してもよい。別の特定の実装では、プロジェクタが、命令をプロセッサから受信し、仮想画像光を接眼レンズ上に投影するとき、プロジェクタは、空間的に分解された画像明度値をプロセッサに送信する。別の特定の実装では、接眼レンズ上またはその近くに位置付けられる、光センサが、空間的に分解された画像明度値を検出し、プロセッサに送信する。他の実施形態では、または同一実施形態では、画像情報は、大域的画像明度値を含む。大域的画像明度値は、システム視野全体と関連付けられてもよい（例えば、仮想画像光の全ての平均画像明度値）。
【0139】
ステップ４１２では、少なくとも部分的に調光されることになるシステム視野の一部は、検出された情報に基づいて決定される。検出された情報は、ステップ４０６の間に検出された光情報、ステップ４０８の間に検出された視線情報、および／またはステップ４１０の間に検出された画像情報を含んでもよい。いくつかの実施形態では、システム視野の一部は、システム視野全体に等しい。種々の実施形態では、システム視野の一部は、システム視野の１％、５％、１０％、２５％、５０％、または７５％等に等しくてもよい。いくつかの実施形態では、異なるタイプの情報は、少なくとも部分的に調光されることになる部分を決定する際、異なるように加重されてもよい。例えば、視線情報は、利用可能であるとき、少なくとも部分的に調光されることになる部分を決定する際、光情報および画像情報より重く加重されてもよい。１つの特定の実装では、情報の各タイプは、独立して、少なくとも部分的に調光されることになるシステム視野の異なる部分を決定するために使用されてもよく、続いて、異なる部分は、ＡＮＤおよび／またはＯＲ演算を使用して、単一部分に組み合わせられてもよい。
【0140】
いくつかの実施形態では、少なくとも部分的に調光されることになるシステム視野の一部を決定するために使用される情報は、仮想コンテンツ内に提示される、１つ以上のオブジェクトと関連付けられる、情報を含む。例えば、仮想コンテンツは、テキスト、ナビゲーションインジケータ（例えば、矢印）、および／または他のコンテンツを含んでもよい。そのようなコンテンツが提示されることになる視野の部分および／またはコンテンツの近位の視野は、ユーザが、コンテンツをより容易に読み取り、知覚し、理解し、コンテンツを世界オブジェクトから区別し得るように、調光されることができる。調光器は、１つ以上のピクセルおよび／またはピクセルのゾーンを選択的に調光する、またはコンテンツの視認を向上させることができる。一実施例では、視野の下側部分の区分は、選択的および動的に調光され、ユーザに、指向性（例えば、ナビゲーション）矢印、テキストメッセージ等がより容易に見えるようにすることができる。そのような調光は、コンテンツが、そのようなコンテンツが表示されることになることの決定に応答して表示されている間に実施されてもよく、調光は、コンテンツがもはや表示されなくなると、除去されてもよい。いくつかのインスタンスでは、調光は、視野全体にわたる調光を有効にするピクセル構造によって生じる、アーチファクトを軽減させるために実施されてもよい。
【0141】
ステップ４１４では、システム視野の一部に関する複数の空間的に分解された調光値が、検出された情報に基づいて決定される。いくつかの実施形態では、調光値は、仮想コンテンツの所望の不透明度または可視度に基づく公式アプローチを使用して決定される。１つの特定の実装では、仮想コンテンツの可視度は、以下の方程式を使用して計算されてもよい。
式中、Ｖは、可視度であり、Ｉｍａｘは、画像情報によって示されるような仮想画像光の明度であり、Ｉｂａｃｋは、光情報（決定された調光値によって修正されてもよい）によって示されるような世界オブジェクトと関連付けられる光値に関連され、Ｃは、所望のコントラスト（例えば、１００：１）である。例えば、可視度方程式は、調光器の各ピクセル場所において、特定のピクセル場所における仮想画像光の明度と、特定のピクセル場所における世界オブジェクトと関連付けられる光値とを使用して、特定のピクセル場所のための調光値を計算するために使用されてもよい。いくつかの実施形態では、Ｉｂａｃｋは、以下の方程式を使用して定義されてもよい。
式中、Ｔｖは、調光器の１つ以上のピクセルを通して通過することを可能にされる、光のパーセンテージであり、Ｉｗｏｒｌｄは、光情報によって示されるような世界からの周囲光の明度である。いくつかの実施例では、Ｔｖは、調光値を表す、またはそれに関連され得る。
【化1】
式中、Ｖは、可視度であり、Ｉｍａｘは、画像情報によって示されるような仮想画像光の明度であり、Ｉｂａｃｋは、光情報（決定された調光値によって修正されてもよい）によって示されるような世界オブジェクトと関連付けられる光値に関連され、Ｃは、所望のコントラスト（例えば、１００：１）である。例えば、可視度方程式は、調光器の各ピクセル場所において、特定のピクセル場所における仮想画像光の明度と、特定のピクセル場所における世界オブジェクトと関連付けられる光値とを使用して、特定のピクセル場所のための調光値を計算するために使用されてもよい。いくつかの実施形態では、Ｉｂａｃｋは、以下の方程式を使用して定義されてもよい。
【化2】
式中、Ｔｖは、調光器の１つ以上のピクセルを通して通過することを可能にされる、光のパーセンテージであり、Ｉｗｏｒｌｄは、光情報によって示されるような世界からの周囲光の明度である。いくつかの実施例では、Ｔｖは、調光値を表す、またはそれに関連され得る。
【0142】
ステップ４１６では、調光器は、システム視野の一部内のオブジェクトと関連付けられる光の強度を低減させるように調節される。例えば、調光器は、調光器の各ピクセル場所上に衝突する、オブジェクトと関連付けられる光の強度が、その特定のピクセル場所のために決定された調光値に従って低減されるように調節されてもよい。本開示で使用されるように、調光器を調節するステップは、調光器を初期化するステップ、調光器をアクティブ化するステップ、調光器の電源を投入するステップ、以前に初期化され、アクティブ化され、および／または電源を投入された調光器を修正または変更するステップ、および同等物を含んでもよい。いくつかの実施形態では、プロセッサは、システム視野の一部および複数の空間的に分解された調光値の両方を示す、データを調光器に送信してもよい。
【0143】
ステップ４１８では、プロジェクタは、仮想画像光と関連付けられる明度を調節するように調節される。例えば、いくつかの実施形態では、仮想オブジェクトの明度を増加または減少させずに、仮想コンテンツの所望の不透明度または可視度を達成することは、困難であり得る。そのような実施形態では、仮想画像光の明度は、調光器を調節する前、その後、それと同時に、またはそれと並行して、調節されてもよい。
【0144】
図５は、接眼レンズ５０２と、種々のレベルの調光を有し得る、調光面積（すなわち、ピクセル）の空間グリッドから成る、ピクセル化された調光要素５０３とを伴う、ＡＲデバイス５００を図示する。調光面積はそれぞれ、関連付けられるサイズ（すなわち、幅）と、関連付けられる間隔（すなわち、ピッチ）とを有してもよい。図示されるように、調光面積の空間グリッドは、入射光の完全調光を提供する、１つ以上の暗いピクセル５０６と、入射光の完全透過を提供する、１つ以上のクリアなピクセル５０８とを含んでもよい。ピクセル化された調光要素５０３内の隣接するピクセルは、境を接してもよい（例えば、ピッチがサイズに等しいとき）、または間隙によって分離されてもよい（例えば、ピッチがサイズを上回るとき）。種々の実施形態では、ピクセル化された調光要素５０３は、染料ドープまたはゲストホスト液晶、ねじれネマチック（ＴＮ）または垂直整合（ＶＡ）液晶、または強誘電性液晶等の液晶技術を採用してもよい。いくつかの実施形態では、ピクセル化された調光要素５０３は、可能性の中でもとりわけ、エレクトロクロミックデバイスを備えてもよい。いくつかの実装では、ピクセル化された調光要素５０３は、ＥＣＢセル等の電気的に制御された複屈折（「ＥＣＢ」）技術を採用してもよい。
【0145】
図６は、ユーザの眼の瞳孔位置に基づいて視線ベクトルを決定するための技法を図示する。いくつかのインスタンスでは、ＡＲデバイスに対する瞳孔位置が、眼追跡器を使用して検出され、視線ベクトルは、続いて、瞳孔位置における眼の表面に直交するベクトルとして定義される。視線ベクトルは、代替として、または加えて、眼の回転中心および瞳孔位置と交差するベクトルとして定義されてもよい。回転中心は、眼追跡器によって集められたデータを使用して、推定されてもよい。視線ベクトルは、代替として、または加えて、眼および瞳孔位置の幾何学的中心と交差するベクトルとして定義されてもよい。眼の幾何学的中心は、眼追跡器によって集められたデータを使用して推定されてもよい。他の可能性も、検討される。
【0146】
瞳孔位置を使用して、視線ベクトルを決定することに関する、いくつかの固有の問題のうちの１つが、図６に図示される。上側略図では、眼が、概して、接眼レンズの中心に向かって見ているときの、瞳孔位置と接眼レンズとの間の第１の距離Ｄ１が、示される。下側略図では、眼が、概して、接眼レンズの上部に向かって見ているときの、瞳孔位置と接眼レンズとの間の第２の距離Ｄ２が、示される。ここでは、第１の距離Ｄ１は、第２の距離Ｄ２未満であって、ユーザの眼が移動するにつれた輻輳・開散運動距離の変動に起因して、レンダリング位置合わせ問題を生じさせる。
【0147】
図７は、ユーザの眼の回転中心に基づいて視線ベクトルを決定するための技法を図示する。本技法は、２０１８年１月１７日に出願され、「ＥＹＥ ＣＥＮＴＥＲ ＯＦ ＲＯＴＡＴＩＯＮ ＤＥＴＥＲＭＩＮＡＴＩＯＮ， ＤＥＰＴＨ ＰＬＡＮＥ ＳＥＬＥＣＴＩＯＮ， ＡＮＤ ＲＥＮＤＥＲ ＣＡＭＥＲＡ ＰＯＳＩＴＩＯＮＩＮＧ ＩＮ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ」と題された、米国特許出願第６２／６１８，５５９号（その開示は、参照することによって本明細書に組み込まれる）に詳細に説明される。回転中心が、眼追跡器によって集められたデータを使用して推定されてもよく、視線ベクトルは、続いて、回転中心および瞳孔位置を接続することによって形成される、ベクトルとして定義されてもよい。回転中心を使用して視線ベクトルを決定することのいくつかの利点のうちの１つは、回転中心と接眼レンズとの間の距離が、眼が見ている方向に関係なく、同一であり得ることである。図７の上側略図では、眼が、概して、接眼レンズの中心に向かって見ているときの、回転中心と接眼レンズとの間の第３の距離Ｄ３が、示される。下側略図では、眼が、概して、接眼レンズの上部に向かって見ているときの、回転中心と接眼レンズとの間の第４の距離Ｄ４が、示される。ここでは、第３の距離Ｄ３は、第４の距離Ｄ４と同一であって、それによって、レンダリング位置合わせを改良する。
【0148】
図８は、検出された光情報および眼内の錐体および桿体場所に基づいて視線ベクトルを決定するための技法を図示する。錐体は、高光量条件において光により敏感であって、桿体は、低光量条件において光により敏感であるため、検出された周囲光（例えば、大域的光値）が減少するにつれて、視線ベクトルの原点は、高密度の錐体に対応する網膜層の中心位置から高密度の桿体に対応する環に沿った１つ以上の点に外向きに調節されてもよい。故に、高光量条件では、決定される視線ベクトルは、網膜層の中心位置を瞳孔位置に接続することによって形成される、単一の視線ベクトルであり得、低光量条件では、決定される視線ベクトルは、網膜層の中心位置を囲繞する環に沿った１つ以上の点を瞳孔位置に接続することによって形成される、単一または複数の視線ベクトルであり得る。代替として、または加えて、複数の視線ベクトルは、視線ベクトルの円錐、すなわち、無限数の可能性として考えられる視線ベクトルを備える「視線円錐」として説明される／表されてもよい。
【0149】
錐体および桿体場所は、眼追跡器によって集められた情報を使用して推定されてもよい、またはいくつかの実施形態では、高密度の錐体に対応する網膜層の中心位置は、瞳孔位置を使用して決定された視線ベクトルが、高光量条件における錐体および桿体場所を使用して決定された視線ベクトルと共線であるように、瞳孔位置を使用して決定された視線ベクトルを眼を通して眼の背面に向かって継続することによって定義されてもよい。いくつかの実施形態では、ＡＲデバイスは、視線ベクトルが、低光量条件（例えば、「低光量モード」）では、錐体および桿体場所を使用して決定され、高光量条件では、眼の回転中心を使用して決定されるように構成される。そのような実施形態では、検出された光値が光閾値を下回るとき、視線ベクトルを錐体および桿体場所を使用して決定させ、検出された光値が光閾値を上回るとき、視線ベクトルを眼の回転中心を使用して決定させるように、それに対して検出された光値が評価され得る、光閾値が、確立されてもよい。
【0150】
調光される面積が有意に大きいおよび／または調光値が有意に高い、いくつかの実施形態では、ＡＲデバイスの光センサを使用して検出された周囲光は、眼に到達する実際の光の量を示さない場合がある。そのような実施形態では、瞳孔のサイズは、眼に到達する光の量に関する代替的指標として使用されてもよい。例えば、ＡＲデバイスは、瞳孔サイズが瞳孔サイズ閾値を超えるとき、「低光量モード」に切り替えてもよい（視線ベクトルを錐体および桿体場所を使用して決定させる）。例えば、いくつかの実装では、瞳孔サイズ閾値は、高光量条件では、ユーザの平均瞳孔サイズを２０％上回るように設定されてもよい（例えば、瞳孔サイズは、瞳孔の面積、直径、円周等に対応してもよい）。別の特定の実施形態では、瞳孔サイズ閾値は、低光量および高光量条件における平均の既知の瞳孔サイズに基づいて事前決定されてもよい。他の可能性も、検討される。
【0151】
図９は、瞳孔が縮瞳される、高光量条件において決定された視線ベクトルを図示する。いくつかの実施形態では、瞳孔サイズは、周囲光（例えば、大域的光値）を推定するために使用されてもよい、または代替として、または加えて、視線ベクトルの原点が、周囲光の推定または検出を伴わずに、直接、瞳孔サイズを使用して決定されてもよい。例えば、異なる瞳孔直径は、視線ベクトルの原点が定義され得る、網膜層内の異なる錐体および桿体場所に関連し得る。
【0152】
図１０は、瞳孔が散瞳される、低光量条件において決定された視線ベクトルを図示する。高光量条件におけるシナリオと同様に、低光量条件では、瞳孔サイズが、周囲光（例えば、大域的光値）を推定するために使用されてもよい、または代替として、または加えて、視線ベクトルの原点が、直接、瞳孔サイズを使用して決定されてもよい。
【0153】
図１１は、高光量条件における視線ベクトルを決定するための３つの技法および３つの技法のそれぞれを使用して決定された対応する調光される面積を図示する。第１の技法では、視線ベクトルが、瞳孔位置を使用して決定され、すなわち、「視線ベクトル（Ａ）」は、瞳孔の表面から調光される面積Ａ（またはいくつかの実施形態では、調光されない面積）に向かって直交して延在する、視線ベクトルをもたらす。第２の技法では、視線ベクトルは、眼内の錐体および桿体場所を使用して決定され、すなわち、「視線ベクトル（Ｂ）」は、網膜層の中心位置から瞳孔位置を通して調光される面積Ｂ（またはいくつかの実施形態では、調光されない面積）に向かって延在する、視線ベクトルをもたらす。第２の技法は、瞳孔位置（視線ベクトルを定義するための第２の点を提供するため）、検出された周囲光（網膜層に沿った視線ベクトルの原点を決定するため）、および瞳孔サイズ／直径（周囲光を推定するため、および／または網膜層に沿った視線ベクトルの原点を直接決定するため）のうちの１つ以上のものによってさらに促進されてもよい。第３の技法では、視線ベクトルは、眼の回転中心を使用して決定され、すなわち、「視線ベクトル（Ｃ）」は、眼の回転中心から瞳孔位置を通して調光される面積Ｃ（またはいくつかの実施形態では、調光されない面積）に向かって延在する、視線ベクトルをもたらす。図１２の実施例では、調光される面積Ａは、調光される面積Ｂと同一である。
【0154】
図１２は、図１１に図示されるものと同一であるが、低光量条件における技法を図示する。決定された視線ベクトルおよび対応する調光される面積は、第１および第３の技法を使用して（それぞれ、瞳孔位置および回転中心を使用して）同一であるが、第２の技法を使用して（錐体および桿体場所を使用して）修正されている。第２の技法では、視線ベクトルは、眼内の錐体および桿体場所を使用して決定され、すなわち、「視線ベクトル（Ｂ’）」は、網膜層の中心位置を囲繞する環に沿った種々の点から瞳孔位置を通して調光される面積Ｂ’（またはいくつかの実施形態では、調光されない面積）に向かって延在する、視線ベクトルのセットをもたらす。図１２に示される実施例では、調光される面積Ａ、Ｂ’、およびＣはそれぞれ、相互に異なる。
【0155】
図１３は、瞳孔位置を使用して計算される視線ベクトルを使用して決定された調光される面積Ａを生産するように調節されている、調光器を図示する。
【0156】
図１４は、高光量条件における錐体および桿体場所を使用して計算される視線ベクトルを使用して決定された調光される面積Ｂを生産するように調節されている、調光器を図示する。
【0157】
図１５は、低光量条件における錐体および桿体場所を使用して計算される視線ベクトルを使用して決定された調光される面積Ｂ’を生産するように調節されている、調光器を図示する。代替実施形態では、調光される面積Ｂ’は、図１５に示される環状領域の部分のみを含み、全体としてその領域を含まなくてもよい。
【0158】
図１６は、調光される面積Ｂ’がさらに環状領域内の中心部分を含む、実施例を図示する。
【0159】
図１７は、眼の回転中心を使用して計算される視線ベクトルを使用して決定された調光される面積Ｃを生産するように調節されている、調光器を図示する。
【0160】
図１８Ａおよび１８Ｂは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。例えば、図１８Ａおよび１８Ｂに示される１つ以上のステップは、ステップ４１０および／または４１２に対応してもよい。いくつかの実施形態では、ＡＲデバイスは、仮想コンテンツが点１８０２等の接眼レンズおよび動的調光器を越えた空間内の種々の点においてユーザによって知覚されるように、光を接眼レンズ上に投影してもよい。点１８０２は、例えば、接眼レンズを通して提示されるとき、仮想コンテンツ（例えば、１つ以上の仮想オブジェクト）のピクセルがユーザによって知覚されることになる、場所、暗い仮想コンテンツ（例えば、接眼レンズを通して提示される仮想コンテンツによって投射される、または別様にそれと関連付けられる、仮想「陰影」）がユーザによって知覚されることになる、場所、ユーザの環境内に位置する、１つ（１人）以上の実世界オブジェクトまたは人物（例えば、ユーザの環境内のある人の頭部にアンカリングされる、仮想黒色「シルクハット」）によって物理的に占有される、場所、および同等物を含む、３次元空間内の場所に対応してもよい。いくつかの実装では、点１８０２は、仮想コンテンツからランダムにサンプリングされてもよい、またはいくつかの実施形態では、点１８０２は、可能性の中でもとりわけ、表面の縁、角、中心等の仮想コンテンツのキー特徴に基づいて選択されてもよい。いくつかの実施形態では、点１８０２は、仮想コンテンツの外周界からサンプリングされてもよい（基準点から視認されるように）。他の実施形態では、または同一実施形態では、仮想コンテンツの画像明度もまた、点１８０２のそれぞれにおいて決定され、これは、仮想コンテンツの所望の可視度Ｖを達成するための点１８０２における調光のレベル（すなわち、調光値）を決定するために使用されてもよい。使用される点１８０２の数は、速さ－正確度トレードオフに基づいて変動し得る。
【0161】
知覚される仮想コンテンツと整合して調光するために、ベクトル１８０４は、点１８０２のそれぞれと瞳孔位置（すなわち、基準点）と交差するものとして定義されてもよい。交点１８０６が、次いで、ベクトル１８０４が動的調光器と交差する、各場所において定義されてもよい。図１８Ｂを参照して示されるように、調光される部分１８０８は、交点１８０６に基づいて決定されてもよい。いくつかの実装では、１つ以上のレイまたは円錐キャスティング技法が、ベクトル１８０４を定義し、交点１８０６を識別または別様に決定するために採用されてもよい。いくつかの実施形態では、調光される部分１８０８はそれぞれ、交点１８０６のそれぞれを包含する面積、または交点１８０６を包含する動的調光器の特定のピクセルに設定されてもよい。いくつかの実施形態では、調光される部分１８０８のサイズは、サンプリングされる点１８０２の数および／または点１８０２の密度の関数であってもよい。例えば、いくつかのインスタンスでは、調光される部分１８０８のサイズは、点１８０２の数に反比例してもよい。点１８０２が仮想コンテンツの外周界からサンプリングされる、実施形態では、調光される部分１８０８は、近傍の交点１８０６を接続し、封入された面積を調光することによって形成されてもよい。いくつかの実施例では、調光される部分１８０８のサイズおよび／または陰影は、基準点から交点１８０６までの決定された距離、交点１８０６から点１８０２までの決定された距離、またはそれらの組み合わせの関数であってもよい。図１８Ａおよび１８Ｂの実施例では、そこからベクトル１８０４が定義される、場所（すなわち、基準点）である、瞳孔位置（例えば、瞳孔の中心）は、眼移動が生じるにつれて、経時的変化し得る。したがって、交点１８０６および調光される部分１８０８の場所もまた、眼移動が生じるにつれて、経時的に変化し得る。
【0162】
図１９Ａおよび１９Ｂは、図１８Ａおよび１８Ｂを参照して示されるものに類似するが、異なる基準点を伴う、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。点１９０２は、仮想コンテンツがユーザによって知覚される、空間内の異なる点を表し得る。ベクトル１９０４は、点１９０２のそれぞれおよび眼の回転中心（すなわち、基準点）と交差するものとして定義されてもよい。交点１９０６が、次いで、ベクトル１９０４が動的調光器と交差する、各場所において定義されてもよい。図１９Ｂを参照して示されるように、調光される部分１９０８は、交点１９０６に基づいて決定されてもよい。いくつかの実施形態では、調光される部分１９０８はそれぞれ、交点１９０６のそれぞれを包含する面積、または交点１９０６を包含する動的調光器の特定のピクセルに設定されてもよい。いくつかの実施例では、調光される部分１９０８のサイズおよび／または陰影は、基準点から交点１９０６までの決定される距離、交点１９０６から点１９０２までの決定される距離、またはそれらの組み合わせの関数であってもよい。図１９Ａおよび１９Ｂの実施例では、そこからベクトル１９０４が定義される、場所（すなわち、基準点）である、眼の回転中心の位置は、眼移動が生じるにつれて、図１８Ａおよび１８Ｂの実施例では、基準点である、瞳孔位置のものより経時的に安定し得る。図１９Ａおよび１９Ｂの実施例では、交点１９０６の場所および調光される部分１９０８は、眼移動が生じるにつれて、静的なままである、または経時的に比較的に殆ど変化し得ないということになる。瞳孔位置および眼の回転中心は、調光されることになるシステム視野の一部を決定する際に利用され得る、基準点の実施例として、図１８Ａ、１８Ｂ、１９Ａ、および１９Ｂを参照して上記で説明されるが、そのような基準点の実施例はまた、眼の光学軸に沿った種々の他の場所のいずれかを含んでもよいことを理解されたい。瞳孔の中心および眼の回転中心等の光学軸に沿ってある、眼の光学軸および眼の特定の解剖学的領域の場所を識別するためのシステムおよび技法は、２０１８年１月１７日に出願され、「ＥＹＥ ＣＥＮＴＥＲ ＯＦ ＲＯＴＡＴＩＯＮ ＤＥＴＥＲＭＩＮＡＴＩＯＮ， ＤＥＰＴＨ ＰＬＡＮＥ ＳＥＬＥＣＴＩＯＮ， ＡＮＤ ＲＥＮＤＥＲ ＣＡＭＥＲＡ ＰＯＳＩＴＩＯＮＩＮＧ ＩＮ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ」と題された、米国特許出願第６２／６１８，５５９号（上記に述べられたように、参照することによってその全体として本明細書に組み込まれる）にさらに詳細に説明される。
【0163】
図２０は、光情報、視線情報、および／または画像情報に基づいて、調光器を調節する、および／またはプロジェクタを調節する等、本明細書に説明される技法のいずれかを使用して、表示される仮想コンテンツの中実度を改良する実施例を図示する。左および右側視野の両方を参照すると、世界オブジェクト２００２とともに表示される、仮想コンテンツ２００４は、仮想コンテンツ２００４の部分２００６を除き、色褪せて現れ、仮想コンテンツは、仮想コンテンツ２００４の残りの部分より中実に現れる。図示される実施例に示されるように、仮想コンテンツの中実度は、ユーザが見ているシステム視野の一部においてのみ改良される。
【0164】
図２１は、仮想オブジェクトに対応するシステム視野の一部を調光することによって、表示される仮想オブジェクト２１０２の中実度を改良する実施例を図示する。図示されるように、調光を伴う領域内の仮想オブジェクト２１０２の部分２１０４の不透明度および可視度は、調光を伴わない領域内の仮想オブジェクト２１０２の部分２１０６のものを比較的に上回る。部分２１０４における世界オブジェクト２１０８と関連付けられる光を調光することによって、仮想コンテンツは、ユーザによってより明確に知覚されることができる。
【0165】
図２２は、０．７に等しい可視度（すなわち、Ｖ＝０．７）を維持するための仮想画像光明度（ｘ－軸）と周囲光レベルとの間の関係を示す、プロットを図示する。実線傾線は、異なる周囲光レベル条件に関する固定可視度レベル線である（Ｖ＝０．７のための）。例えば、約１００ｎｉｔｓの屋内面積内で使用されている２００ｎｉｔｓのプロジェクタ明度に関して、３０％に近い調光レベルが、０．７に近い可視度を保つために採用され得る。再び、図４を参照して上記で説明される可視度方程式を参照すると、いくつかの実施例では、図２２に図示されるプロットのｘおよびｙ軸は、それぞれ、ＩｍａｘおよびＴｖに対応し得る一方、実線傾線は、異なるＩｗｏｒｌｄ値に関する固定可視度レベル線（ｆｏｒＶ＝０．７）である。
【0166】
図２３Ａおよび２３Ｂは、世界場面に及ぼされる小オクルージョンの影響を示す、略図を図示する。図２３Ａは、ユーザの眼が無限遠を見ている、単純な例を図示する。眼は、網膜２３０２と、瞳孔２３０４と、水晶体２３０６とを含む。異なる角度からの光が、網膜２３０２上の異なる位置に集束される。図２３Ｂは、瞳孔２３０４から離れた距離ｄにおいて眼の正面に設置される、オクルーザ２３０８を示す。網膜における勾配円盤は、単純光線幾何学形状を使用して構築されてもよい。回折を無視すると、勾配円盤の中心における相対的透過率は、ｔ０＝１－（ｈ／ｐ）２であり、式中、ｈは、オクルーザの直径であり、ｐは、瞳孔の直径である。換言すると、ｔ０＝１－Ａｏｃｃｌｕｓｏｒ／Ａｐｕｐｉｌ、式中、Ａｏｃｃｌｕｓｏｒは、オクルーザの面積であり、Ａｐｕｐｉｌは、瞳孔の面積である。
【0167】
図２４は、角度範囲（度）の関数としての調光要素の透過率に及ぼされる変動するオクルーザ直径の影響を示す、プロットを図示する。図示されるように、より小さいオクルーザ直径（例えば、１ｍｍ）は、透過率に非常にわずかのみ影響を及ぼすが、透過率により大きい影響を及ぼし、角度範囲にわたって有意に変動する、より大きいオクルーザ直径（例えば、４ｍｍ）より角度範囲にわたってはるかに安定する。
【0168】
図２５は、ｄ＝１７ｍｍ、ｐ＝４ｍｍ、およびｈ＝１ｍｍの単一オクルーザを使用した調光の実施例を図示する。調光される面積は、単一ピクセルの点拡がり関数（ＰＳＦ）２５０２を示す。示される調光を使用すると、使用される特定の調光要素のためのピクセルサイズ要件は、２００μｍピクセルと推定されることができる。
【0169】
図２６は、仮想コンテンツをユーザの眼に送達する、回折導波管接眼レンズ２６０２から成る、ＯＳＴ頭部搭載型ディスプレイ（ＨＭＤ）のアーキテクチャの実施例を図示する。回折導波管接眼レンズ２６０２は、内部結合格子（ＩＣＧ）、直交瞳エクスパンダ（ＯＰＥ）、および／または射出瞳エクスパンダ（ＥＰＥ）等の１つ以上の回折光学要素（ＤＯＥ）を含んでもよい。世界光はまた、同一要素を通して通過し、ユーザの眼に到達する。示されるように、動的調光器２６０４は、仮想コンテンツをある不透明度レベルに保つための世界光レベルの管理を可能にする。いくつかの実施形態では、調光器２６０４は、図５を参照して上記に説明されるようなピクセル化された調光要素５０３に機能的に類似または匹敵する、ピクセル化された調光要素に対応してもよい。他の実施形態では、調光器２６０４は、大域的（非ピクセル化）調光要素に対応してもよい。図２６に示されるように、いくつかの実装では、調光器２６０４は、ＯＳＴ－ＨＭＤの審美性および／または機能性を改良するように、接眼レンズから独立して成形および湾曲されてもよい。
【0170】
図２７は、中継光学系システムを用いて光を回折導波管構造の内部結合格子の中に送達する、マイクロディスプレイ（例えば、ＬＣＯＳ、ＭＥＭＳ、またはファイバスキャナディスプレイタイプ）から成る、ＯＳＴ－ＨＭＤのアーキテクチャの付加的実施例を図示する。導波管構造は、入力像面を拡大し、ユーザのアイボックスに送達する、外部結合格子（例えば、ＥＰＥ）を含んでもよい。示されるように、種々の要素が、ユーザの眼と世界オブジェクトとの間に位置付けられてもよい。接眼レンズ２７０２は、仮想光をユーザの眼に送達し、また、世界光がそれを通して透過することを可能にする、回折導波管コンバイナであってもよい。可変焦点要素２７０４は、仮想ディスプレイに作用するための眼と接眼レンズとの間の深度平面変動／切替要素から成ってもよい。いくつかの実施形態では、可変焦点要素２７０４は、背面レンズアセンブリ（ＢＬＡ）２７０６である。ＢＬＡはまた、常に、世界光に作用し、したがって、正面レンズアセンブリ（ＦＬＡ）２７０８が、世界ディスプレイに及ぼされる影響を相殺するように追加される。
【0171】
本実施形態における動的調光要素２７１０は、統合されたスタックの外側上に搭載される。これは、ＡＲモードのための透明ディスプレイからＶＲモードのための世界光を完全に遮断する不透明ディスプレイへの切替を可能にする。調光要素２７１０は、大域的調光要素またはピクセル化された調光要素に対応してもよい。外部レンズ２７１２は、ＯＳＴ－ＨＭＤのための保護および／または支持構造を提供するように、光学スタックと別個に位置付けられる。外部レンズ２７１２はまた、ある量の調光をシステム視野全体に提供してもよい。
【0172】
図２８は、平坦動的調光器２８０２が湾曲外部審美的レンズ２８０４の内側に沿って位置付けられる、ＯＳＴ－ＨＭＤのアーキテクチャの付加的実施例を図示する。調光器２８０２は、大域的調光要素またはピクセル化された調光要素に対応してもよい。いくつかの実施形態では、外部審美的レンズ２８０４は、ある量の調光をシステム視野全体に提供してもよく、これは、動的調光器の空間的に分解された調光値を決定するときに考慮されてもよい。ＯＳＴ－ＨＭＤはまた、本明細書に説明されるように、接眼レンズ２８０６と、適応ＢＬＡ２８０８と、適応ＦＬＡ２８１０とを含んでもよい。
【0173】
図２９は、本発明による、ＡＲデバイス２９００の概略図を図示する。ＡＲデバイス２９００は、概して、ローカルモジュール２９１０と、遠隔モジュール２９１２とを含む。ローカルモジュール２９１０と遠隔モジュールとの間のＡＲデバイス２９００のコンポーネントのパーティション化は、ＡＲデバイス２９００が使用されるとき、ユーザの頭部の近くに位置付けられるものからの嵩張るおよび／または高電力消費コンポーネントの分離を可能にし、それによって、ユーザ快適性およびデバイス性能を増加させ得る。ローカルモジュール２９１０は、頭部搭載型であってもよく、種々の機械的および電子モジュールを含み、ピクセル化された調光器２９０３および空間光変調器２９０４の制御を促進してもよい。空間光変調器２９０４の制御は、仮想コンテンツを接眼レンズ２９０２上に投影させ得、これは、調光器２９０３によって修正される世界光と併せて、ＡＲデバイス２９００のユーザによって視認される。ローカルモジュール２９１０の１つ以上のセンサ２９３４は、世界および／またはユーザからの情報を検出し、検出された情報をセンサヘッドセットプロセッサ２９４０に送信してもよく、これは、データストリームをローカルモジュール２９１０のディスプレイヘッドセットプロセッサ２９４２に、未加工または処理された画像を遠隔モジュール２９１２の知覚処理ユニット２９４４に送信してもよい。
【0174】
いくつかの実施形態では、ローカルモジュール２９１０の１つ以上のコンポーネントは、図３を参照して説明される１つ以上のコンポーネントに類似してもよい。例えば、そのような実施形態では、接眼レンズ２９０２および調光器２９０３の機能性は、それぞれ、接眼レンズ３０２および調光器３０３のものに類似してもよい。いくつかの実施例では、１つ以上のセンサ２９３４は、それぞれ、世界カメラ３０６、周囲光センサ３３４、および／または眼追跡器３４０のうちの１つ以上のものに類似する、１つ以上の世界カメラ、周囲光センサ、および／または眼追跡器を含んでもよい。いくつかの実施形態では、空間光変調器２９０４の機能性は、プロジェクタ３１４内に含まれる１つ以上のコンポーネントのものに類似してもよく、センサヘッドセットプロセッサ２９４０およびディスプレイヘッドセットプロセッサ２９４２の一方または両方の機能性は、処理モジュール３５０内に含まれる１つ以上のコンポーネントのものに類似してもよい。
【0175】
いくつかの実施形態では、ディスプレイヘッドセットプロセッサ２９４２は、仮想コンテンツデータおよびピクセル化された調光器データを遠隔モジュール２９１２のグラフィック処理ユニット（ＧＰＵ）２９４６から受信してもよく、ピクセル化された調光器２９０３および空間光変調器２９０４を制御することに先立って、種々の補正およびワーピング技法を実施してもよい。ディスプレイヘッドセットプロセッサ２９４２によって生成された調光器データは、調光器２９０３を制御するための電圧を修正または生成し得る、１つ以上のドライバを通して通過してもよい。いくつかの実施形態では、ディスプレイヘッドセットプロセッサ２９４２は、調光および投影された仮想コンテンツの正確度を改良するために使用され得る、深度画像およびヘッドセット姿勢をセンサヘッドセットプロセッサ２９４０から受信してもよい。
【0176】
遠隔モジュール２９１２は、可能性の中でもとりわけ、１つ以上の有線または無線接続を通して、ローカルモジュール２９１０に電気的に結合されてもよく、ユーザに固定して取り付けられる、またはユーザによって搬送されてもよい。遠隔モジュール２９１２は、環境照明マップ、ヘッドセット姿勢、および眼感知を実施／生成するための知覚処理ユニット２９４４を含んでもよい。知覚処理ユニット２９４４は、データをＣＰＵ２９４８に送信してもよく、これは、パス可能世界幾何学形状およびアプリ場面幾何学形状を実施／生成するように構成されてもよい。ＣＰＵ２９４８は、データをＧＰＵ２９４６に送信してもよく、これは、動作の中でもとりわけ、最小世界輝度スループットのチェック、調光ピクセル整合、後のフレーム時間ワーピング、およびレンダリングパイプラインを実施するように構成されてもよい。いくつかの実施形態では、ＣＰＵ２９４８は、単一処理ユニットが、それぞれを参照して説明される機能のうちの１つ以上のものを実施し得るように、ＧＰＵ２９４６と統合されてもよい。いくつかの実施形態では、遠隔モジュール２９１２内に含まれるコンポーネントのうちの１つ以上のものの機能性は、処理モジュール３５０内に含まれる１つ以上のコンポーネントのものに類似してもよい。
【0177】
図３０は、焦点外ピクセル化調光を鮮明化するための方法３０００を図示する。方法３０００は、調光器の性能を改良するための方法４００に加え、使用されてもよい。例えば、方法３０００の１つ以上のステップは、ステップ４１６に先立って、および／またはステップ４１４に続いて、実施されてもよい。方法３０００のステップは、図３０に示されるものと異なる順序で実施されてもよく、ステップの全てが、実施される必要はない。例えば、いくつかの実施形態では、ステップ３００２、３００４、および３００６のうちの１つ以上のものは、方法３０００の実施の間、省略されてもよい。方法３０００の１つ以上のステップは、プロセッサ（例えば、プロセッサ３５２）またはＡＲデバイス内のある他のコンポーネントによって実施されてもよい。
【0178】
ステップ３００２では、ピクセル化されたマスクが、生成される。方法３０００が、方法４００と併用されると、ピクセル化されたマスクは、ステップ４１２において決定された調光されることになるシステム視野の一部および／またはステップ４１４において決定された調光値（すなわち、調光される面積２３６）に基づいて生成されてもよい。いくつかの実施形態では、ピクセル化されたマスクは、図３１および３２を参照して説明される技法の一方または両方を使用して生成されてもよい。
【0179】
ステップ３００４では、調光器が、ピクセル化されたマスクに従って調節される。例えば、調光器の各ピクセルは、ピクセル化されたマスクによって示されるように、特定の調光値に設定されてもよい。方法３０００が方法４００と併用される実施例に関して、ステップ３００４の１つ以上の動作は、少なくとも部分的に、ステップ４１６の１つ以上の動作に対応してもよい。
【0180】
ステップ３００６では、ユーザが、調光器を通して見ると、観察可能な調光（ユーザに対して）は、単一ピクセルのＰＳＦを用いて畳み込まれるピクセル化されたマスクに匹敵する。故に、ステップ３００６は、ユーザがＡＲデバイスを装着しているとき、直接、ＡＲデバイスのコンポーネントによって実施されるのではなく、本質的に、眼の光学系によって実施される。他方では、ステップ３００２および３００４は、例えば、ＡＲデバイスの１つ以上のコンポーネントによって実施されてもよい。
【0181】
図３１は、ステップ３１０２が、所望のピクセル化されたマスクが生成される、ステップ３１０８と、ピクセル化されたマスクが所望のピクセル化されたマスクに設定される、ステップ３１１０とを含む、焦点外ピクセル化調光を鮮明化するための方法３１００を図示する。ユーザに対して観察可能な調光（ステップ３１０６に隣接して示される）は、単一ピクセルのＰＳＦによって生じるスミアに起因して、ピクセル化されたマスク（ステップ３１０４に隣接して示される）と比較して、著しくぼかされる。いくつかの実施形態では、方法３１００の１つ以上のステップは、方法３０００の１つ以上のステップに対応してもよい。
【0182】
図３２は、ステップ３２０２が、逆畳み込み技法を含む、焦点外ピクセル化調光を鮮明化するための方法３２００を図示する。ステップ３２０８では、ユーザの眼の瞳孔の直径が、眼に指向されるセンサ（例えば、眼追跡器２４０等のカメラ）を使用して検出される。ステップ３２１０では、眼の水晶体の遠近調節状態が、ステップ３２０８において使用されるものと同一または異なるセンサを使用して検出される。
【0183】
ステップ３２１２では、単一ピクセルのＰＳＦが、瞳孔直径、眼の水晶体の遠近調節状態、ピクセルのサイズ／形状、およびピクセルから瞳孔までの距離に基づいて推定される。ピクセルの形状が、円形を使用して近似され得るとき、ピクセルのサイズ／形状は、直径ｈとして、瞳孔直径は、直径ｐとして、ピクセルから瞳孔までの距離は、距離ｄとして表され得る（図２３Ａおよび２３Ｂにおいて確立される命名法を使用）。いくつかの実施形態では、ピクセルから瞳孔までの距離は、推定されるＰＳＦがピクセルに依存し得るように、調光器の異なるピクセルに関して異なり得る。いくつかの実施形態では、最中心ピクセルから瞳孔までの距離は、残りのピクセルに関して近似として使用される。
【0184】
ステップ３２１４では、仮想コンテンツの深度における所望のピクセル化されたマスクが、生成される。ステップ３２１６では、所望のピクセル化されたマスクは、単一ピクセルの推定されるＰＳＦを使用して逆畳み込みされる。いくつかの実施形態では、仮想コンテンツの深度における所望のピクセル化されたマスクのフーリエ変換を単一ピクセルの推定されるＰＳＦのフーリエ変換によって除算し、逆フーリエ変換を実施することによって、逆畳み込みは、空間周波数ドメイン内で実施される。代替として、または加えて、逆畳み込みは、単一ピクセルの推定されるＰＳＦのフーリエ変換を仮想コンテンツの深度における所望のピクセル化されたマスクのフーリエ変換によって除算し、逆フーリエ変換を実施することによって、実施されてもよい。続いて、ステップ３２０４において使用される、ピクセル化されたマスクは、逆畳み込みの結果に設定される。
【0185】
方法３２００を実施する結果として、ユーザに対して観察可能な調光（ステップ３２０６に隣接して示される）は、ピクセル化されたマスク（ステップ３２０４に隣接して示される）と所望のピクセル化されたマスク（ステップ３２１４に隣接して示される）との間の非類似性にもかかわらず、方法３１００における技法と比較して、有意に殆どぼかされない。いくつかの実施形態では、方法３２００の１つ以上のステップは、方法３０００および３１００の１つ以上のステップに対応してもよい。いくつかの実施形態では、方法３２００の１つ以上のステップは、省略または修正されてもよい。
【0186】
図３３は、本明細書に説明される実施形態による、簡略化されたコンピュータシステム３３００を図示する。図３３に図示されるようなコンピュータシステム３３００は、本明細書に説明されるようなＡＲデバイス２００または３００等のデバイスの中に組み込まれてもよい。図３３は、種々の実施形態によって提供される方法のステップの一部または全部を実施し得る、コンピュータシステム３３００の一実施例の概略化された例証を提供する。図３３は、種々のコンポーネントの一般化された例証を提供するためだけに意図され、そのいずれかまたは全てが、必要に応じて利用されてもよいことに留意されたい。図３３は、したがって、広義には、個々のシステム要素が比較的に分離された様式または比較的により統合された様式において実装され得る状況を図示する。
【0187】
コンピュータシステム３３００は、バス３３０５を介して電気的に結合されることができる、または必要に応じて別様に通信し得る、ハードウェア要素を備えるように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および／または同等物等の、１つ以上の汎用プロセッサおよび／または１つ以上の特殊目的プロセッサを含む、１つ以上のプロセッサ３３１０と、限定ではないが、マウス、キーボード、カメラ、および／または同等物を含むことができる、１つ以上の入力デバイス３３１５と、限定ではないが、ディスプレイデバイス、プリンタ、および／または同等物を含むことができる、１つ以上の出力デバイス３３２０とを含んでもよい。
【0188】
コンピュータシステム３３００はさらに、限定ではないが、ローカルおよび／またはネットワークアクセス可能記憶装置を備えることができ、および／または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および／または同等物であることができる、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ（「ＲＡＭ」）等のソリッドステート記憶デバイス、および／または読取専用メモリ（「ＲＯＭ」）を含むことができる、１つ以上の非一過性記憶デバイス３３２５を含む、および／またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および／または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。
【0189】
コンピュータシステム３３００はまた、限定ではないが、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラー通信設備等、および／または同等物等のモデム、ネットワークカード（無線または有線）、赤外線通信デバイス、無線通信デバイス、および／またはチップセットを含むことができる、通信サブシステム３３１９を含み得る。通信サブシステム３３１９は、１つ以上の入力および／または出力通信インターフェースを含み、データが、一実施例として挙げるために以下に説明されるネットワーク、すなわち、他のコンピュータシステム、テレビ、および／または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および／または他の実装懸念に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム３３１９を介して、画像および／または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第１の電子デバイスは、コンピュータシステム３３００、例えば、電子デバイスの中に入力デバイス３３１９として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム３３００はさらに、作業メモリ３３３５を備え、これは、上記に説明されるようなＲＡＭまたはＲＯＭデバイスを含むであろう。
【0190】
コンピュータシステム３３００はまた、種々の実施形態によって提供されるコンピュータプログラムを備え得る、および／または本明細書に説明されるような他の実施形態によって提供される方法を実装し、および／またはシステムを構成するように設計され得る、１つ以上のアプリケーションプログラム３３４５等のオペレーティングシステム３３４０、デバイスドライバ、実行可能ライブラリ、および／または他のコードを含む、作業メモリ３３３５内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、一例として、上記に議論される方法に関して説明される１つ以上のプロシージャは、コンピュータまたはコンピュータ内のプロセッサによって実行可能なコードおよび／または命令として実装され得、ある側面では、次いで、そのようなコードおよび／または命令は、説明される方法に従って１つ以上の動作を実施するように汎用コンピュータまたは他のデバイスを構成および／または適合するために使用されることができる。
【0191】
これらの命令および／またはコードのセットは、上記に説明される記憶デバイス３３２５等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム３３００等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等の可撤性媒体である、および／または記憶媒体が、汎用コンピュータをその上に記憶される命令／コードを用いてプログラム、構成、および／または適合するために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム３３００によって実行可能である、実行可能コードの形態をとり得る、および／または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティ等のいずれかを使用したコンピュータシステム３３００上へのコンパイルおよび／またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび／またはインストール可能コードの形態をとり得る。
【0192】
実質的な変形例が、具体的要件に従って構成されてもよいことが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および／または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含む、ソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。
【0193】
上記に述べられたように、一側面では、いくつかの実施形態は、コンピュータシステム３３００等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全部は、プロセッサ３３１０が、オペレーティングシステム３３４０の中に組み込まれ得る、１つ以上の命令の１つ以上のシーケンス、および／または作業メモリ３３３５内に含有される、アプリケーションプログラム３３４５等の他のコードを実行することに応答して、コンピュータシステム３３００によって実施される。そのような命令は、記憶デバイス３３２５のうちの１つ以上のもの等の別のコンピュータ可読媒体から作業メモリ３３３５の中に読み取られてもよい。単に、一例として、作業メモリ３３３５内に含有される命令のシーケンスの実行は、プロセッサ３３１０に、本明細書に説明される方法の１つ以上のプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊ハードウェアを通して実行されてもよい。
【0194】
用語「機械可読媒体」および「コンピュータ可読媒体」は、本明細書で使用されるとき、機械を具体的方式で動作させるデータを提供することに関わる、任意の媒体を指す。コンピュータシステム３３００を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のための命令／コードをプロセッサ３３１０に提供する際に関わり得る、および／またはそのような命令／コードを記憶および／または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および／または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス３３２５等の光学および／または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ３３３５等の動的メモリを含む。
【0195】
一般的形態の物理的および／または有形コンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、可撓性ディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および／またはコードを読み取ることができる、任意の他の媒体を含む。
【0196】
種々の形態のコンピュータ可読媒体が、実行のための１つ以上の命令の１つ以上のシーケンスをプロセッサ３３１０に搬送する際に関わってもよい。単に、一例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび／または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム３３００によって受信および／または実行される伝送媒体を経由して、命令を信号として送信し得る。
【0197】
通信サブシステム３３１９および／またはそのコンポーネントは、概して、信号を受信し、バス３３０５が、次いで、信号および／または信号によって搬送されるデータ、命令等を作業メモリ３３３５に搬送し得、そこから、プロセッサ３３１０が、命令を読み出し、実行する。作業メモリ３３３５によって受信された命令は、随意に、プロセッサ３３１０による実行前または後のいずれかにおいて、非一過性記憶デバイス３３２５上に記憶されてもよい。
【0198】
上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、および／または種々の段階は、追加される、省略される、および／または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示の範囲または請求項を限定するものではない。
【0199】
具体的詳細が、実装を含む、例示的構成の完全な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を曖昧にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。
【0200】
また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、シーケンシャルプロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されることができる。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。
【0201】
いくつかの例示的構成が説明されたが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、前述の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の用途に優先する、または別様にそれを修正してもよい。また、いくつかのステップは、前述の要素が検討される前、間、または後に行われてもよい。故に、前述の説明は、請求項の範囲を束縛するものではない。
【0202】
本明細書および添付の請求項で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈によって明確に別様に示されない限り、複数参照を含む。したがって、例えば、「ユーザ」の言及は、複数のそのようなユーザを含み、「プロセッサ」の言及は、１つ以上のプロセッサおよび当業者に公知のその均等物等の言及を含む。
【0203】
また、単語「ｃｏｍｐｒｉｓｅ（～を備える）」、「ｃｏｍｐｒｉｓｉｎｇ（～を備える）」、「ｃｏｎｔａｉｎｓ（～を含有する）」、「ｃｏｎｔａｉｎｉｎｇ（～を含有する）」、「ｉｎｃｌｕｄｅ（～を含む）」、「ｉｎｃｌｕｄｉｎｇ（～を含む）」、および「ｉｎｃｌｕｄｅｓ（～を含む）」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定するために意図されるが、それらは、１つ以上の他の特徴、整数、コンポーネント、ステップ、行為、またはグループの存在または追加を除外するものではない。
【0204】
また、本明細書に説明される実施例および実施形態は、例証目的のみのためのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付の請求項の範囲内に含まれることを理解されたい。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図19A】
【図19B】
【図20】
【図21】
【図22】
【図23A】
【図23B】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【手続補正書】
【提出日】2024-06-07
【手続補正1】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正の内容】
【図20】
【手続補正2】
【補正対象書類名】図面
【補正対象項目名】図２１
【補正方法】変更
【補正の内容】
【図21】
【手続補正3】
【補正対象書類名】図面
【補正対象項目名】図２５
【補正方法】変更
【補正の内容】
【図25】
【外国語明細書】