IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マジック リープ, インコーポレイテッドの特許一覧

特許7534420眼球運動測定査定のための拡張および仮想現実ディスプレイシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】眼球運動測定査定のための拡張および仮想現実ディスプレイシステム
(51)【国際特許分類】
   A61B 3/113 20060101AFI20240806BHJP
   G02B 27/02 20060101ALI20240806BHJP
   G09G 5/00 20060101ALI20240806BHJP
   G06T 19/00 20110101ALI20240806BHJP
   H04N 5/64 20060101ALN20240806BHJP
【FI】
A61B3/113
G02B27/02 Z
G09G5/00 550C
G09G5/00 510A
G06T19/00 600
H04N5/64 511A
【請求項の数】 18
(21)【出願番号】P 2022545997
(86)(22)【出願日】2021-01-28
(65)【公表番号】
(43)【公表日】2023-03-24
(86)【国際出願番号】 US2021015558
(87)【国際公開番号】W WO2021155047
(87)【国際公開日】2021-08-05
【審査請求日】2024-01-18
(31)【優先権主張番号】62/968,887
(32)【優先日】2020-01-31
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ファーマー, ダニエル
(72)【発明者】
【氏名】リストン, ドリオン ブライス
【審査官】増渕 俊仁
(56)【参考文献】
【文献】米国特許出願公開第2017/0237974(US,A1)
【文献】国際公開第2020/069037(WO,A1)
【文献】米国特許出願公開第2017/0290504(US,A1)
【文献】米国特許第10420465(US,B1)
【文献】米国特許出願公開第2019/0150727(US,A1)
【文献】米国特許出願公開第2016/0262613(US,A1)
【文献】米国特許出願公開第2016/0270656(US,A1)
【文献】米国特許出願公開第2020/0249753(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
G02B 27/02
G09G 5/00
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
1つまたはそれを上回るプロセッサを備えるシステムであって、前記システムは、仮想コンテンツを前記システムのユーザに提示するように構成され、前記システムは、非一過性コンピュータ記憶媒体をさらに備え、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
対照母集団および実験母集団と関連付けられる眼追跡情報にアクセスすることであって、前記眼追跡情報は、前記対照母集団および実験母集団の各ユーザに対し、前記ユーザと関連付けられる眼追跡メトリックを反映させ、前記眼追跡情報は、前記ユーザによって使用されるディスプレイデバイスから取得され、前記ディスプレイデバイスは、同一構成を有する、および/または同一眼球運動測定プロトコルを実装する、ことと、
前記対照母集団と関連付けられる前記眼追跡情報に基づいて、前記眼追跡情報をスケーリングすることと、
生理学的条件に関連する代償性の対照母集団および前記生理学的条件に関連する非代償性の実験母集団と関連付けられる眼追跡情報にアクセスすることであって、前記眼追跡情報は、前記対照母集団および実験母集団の各ユーザに対し、前記ユーザと関連付けられる眼追跡メトリックを反映させ、前記眼追跡情報は、前記ディスプレイデバイスが同一眼球運動測定プロトコルに従って視覚的刺激を前記ユーザに提示する間に前記ユーザによって使用されるディスプレイデバイスから取得され、異なるユーザのディスプレイデバイスは、同一構成を有する、ことと、
前記対照母集団と関連付けられる前記眼追跡メトリックの中央値および標準偏差に基づいて、前記対照母集団および前記実験母集団の前記眼追跡情報をスケーリングすることと、
前記対照母集団および実験母集団内の個々のユーザに対し、尤度メトリックを表す個別のスカラーインデックスを決定することであって、各スカラーインデックスは、前記対照母集団に関する単位正規分布が取得されるように、個々のユーザのスケーリングされた眼追跡メトリックとテンプレートとの間のドット積を介して算出される、ことと、
前記スカラーインデックスに基づいて、前記生理学的条件を検出することにおける前記ディスプレイデバイスの構成および前記眼球運動測定プロトコルの感度を反映させる感度測定値を決定することであって、前記感度測定値は、前記対照母集団と実験母集団との間の距離測定値として計算される、ことと
を含む動作を実施させる、システム。
【請求項2】
前記眼球運動測定プロトコルは、前記ディスプレイデバイスが異なる知覚深度または深度面において前記視覚的刺激を前記ユーザに提示したことを含む、請求項1に記載のシステム。
【請求項3】
前記実験母集団は、前記生理学的条件を有しかつ同一コホート内に該当するユーザを含む、請求項1に記載のシステム。
【請求項4】
前記感度測定値は、前記ディスプレイデバイスの構成および前記眼球運動測定プロトコルと関連付けられる、請求項1に記載のシステム。
【請求項5】
前記決定された感度測定値は、異なる感度測定値と比較され、前記異なる感度測定値は、異なるディスプレイデバイスおよび異なる眼球運動測定プロトコルと関連付けられる、請求項1に記載のシステム。
【請求項6】
1つまたはそれを上回るプロセッサを備える頭部搭載型ディスプレイシステムをさらに備え、前記頭部搭載型ディスプレイシステムは、仮想コンテンツを前記頭部搭載型ディスプレイシステムのユーザに提示するように構成され、前記頭部搭載型ディスプレイシステムは、非一過性コンピュータ記憶媒体をさらに備え、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、前記感度測定値にアクセスさせ、前記感度測定値に基づいて、前記頭部搭載型ディスプレイシステムの動作パラメータを修正させる、請求項1に記載のシステム。
【請求項7】
1つまたはそれを上回るプロセッサを備える頭部搭載型ディスプレイシステムをさらに備え、前記頭部搭載型ディスプレイシステムは、仮想コンテンツを前記頭部搭載型ディスプレイシステムのユーザに提示するように構成され、前記頭部搭載型ディスプレイシステムは、非一過性コンピュータ記憶媒体をさらに備え、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、前記感度測定値にアクセスさせ、前記感度測定値に基づいて、前記頭部搭載型ディスプレイシステムによって提示される測定プロトコルを修正させる、請求項1に記載のシステム。
【請求項8】
システムの作動方法であって、前記システムは、仮想コンテンツを前記システムのユーザに提示するためのシステムであり、前記システムは、プロセッサを備え、前記作動方法は、
前記プロセッサが、生理学的条件に関連する代償性の対照母集団および前記生理学的条件に関連する非代償性の実験母集団と関連付けられる眼追跡情報にアクセスすることであって、前記眼追跡情報は、前記対照母集団および実験母集団の各ユーザに対し、前記ユーザと関連付けられる眼追跡メトリックを反映させ、前記眼追跡情報は、ディスプレイデバイスが同一眼球運動測定プロトコルに従って視覚的刺激を前記ユーザに提示する間に前記ユーザによって使用される前記ディスプレイデバイスから取得され、異なるユーザのディスプレイデバイスは、同一構成を有する、ことと、
前記プロセッサが、前記対照母集団と関連付けられる前記眼追跡メトリックの中央値および標準偏差に基づいて、前記対照母集団および前記実験母集団の前記眼追跡情報をスケーリングすることと、
前記プロセッサが、前記対照母集団および実験母集団内の個々のユーザに対し、尤度メトリックを表す個別のスカラーインデックスを決定することであって、各スカラーインデックスは、前記対照母集団に関する単位正規分布が取得されるように、前記プロセッサによって、個々のユーザのスケーリングされた眼追跡メトリックとテンプレートとの間のドット積を介して算出される、ことと、
前記プロセッサが、前記スカラーインデックスに基づいて、前記生理学的条件を検出することにおける前記ディスプレイデバイスの構成および前記眼球運動測定プロトコルの感度を反映させる感度測定値を決定することであって、前記感度測定値は、前記プロセッサによって、前記対照母集団と実験母集団との間の距離測定値として計算される、ことと
を含む、作動方法。
【請求項9】
前記眼球運動測定プロトコルは、前記ディスプレイデバイスが異なる知覚深度または深度面において前記視覚的刺激を前記ユーザに提示したことを含む、請求項8に記載の作動方法。
【請求項10】
前記実験母集団は、前記生理学的条件を有しかつ同一コホート内に該当するユーザを含む、請求項8に記載の作動方法。
【請求項11】
前記感度測定値は、前記ディスプレイデバイスの構成および前記眼球運動測定プロトコルと関連付けられる、請求項8に記載の作動方法。
【請求項12】
前記決定された感度測定値は、前記プロセッサによって、異なる感度測定値と比較され、前記異なる感度測定値は、異なるディスプレイデバイスおよび異なる眼球運動測定プロトコルと関連付けられる、請求項8に記載の作動方法。
【請求項13】
前記生理学的条件は、視力以外である、請求項8に記載の作動方法。
【請求項14】
1つまたはそれを上回る非一過性コンピュータ記憶媒体であって、前記1つまたはそれを上回る非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサを備えるシステムであって、前記システムは、仮想コンテンツを前記システムのユーザに提示するように構成されるシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
生理学的条件に関連する代償性の対照母集団および前記生理学的条件に関連する非代償性の実験母集団と関連付けられる眼追跡情報にアクセスすることであって、前記眼追跡情報は、前記対照母集団および実験母集団の各ユーザに対し、前記ユーザと関連付けられる眼追跡メトリックを反映させ、前記眼追跡情報は、ディスプレイデバイスが同一眼球運動測定プロトコルに従って視覚的刺激を前記ユーザに提示する間に前記ユーザによって使用される前記ディスプレイデバイスから取得され、異なるユーザのディスプレイデバイスは、同一構成を有する、ことと、
前記対照母集団と関連付けられる前記眼追跡メトリックの中央値および標準偏差に基づいて、前記対照母集団および前記実験母集団の前記眼追跡情報をスケーリングすることと、
前記対照母集団および実験母集団内の個々のユーザに対し、尤度メトリックを表す個別のスカラーインデックスを決定することであって、各スカラーインデックスは、前記対照母集団に関する単位正規分布が取得されるように、個々のユーザのスケーリングされた眼追跡メトリックとテンプレートとの間のドット積を介して算出される、ことと、
前記スカラーインデックスに基づいて、前記生理学的条件を検出することにおける前記ディスプレイデバイスの構成および前記眼球運動測定プロトコルの感度を反映させる感度測定値を決定することであって、前記感度測定値は、前記対照母集団と実験母集団との間の距離測定値として計算される、ことと
を含む動作を実施させる、1つまたはそれを上回る非一過性コンピュータ記憶媒体。
【請求項15】
前記眼球運動測定プロトコルは、前記ディスプレイデバイスが異なる知覚深度または深度面において前記視覚的刺激を前記ユーザに提示したことを含む、請求項14に記載の1つまたはそれを上回る非一過性コンピュータ記憶媒体。
【請求項16】
前記感度測定値は、前記ディスプレイデバイスの構成および前記眼球運動測定プロトコルと関連付けられる、請求項14に記載の1つまたはそれを上回る非一過性コンピュータ記憶媒体。
【請求項17】
前記実験母集団は、前記生理学的条件を有しかつ同一コホート内に該当するユーザを含む、請求項14に記載の1つまたはそれを上回る非一過性コンピュータ記憶媒体。
【請求項18】
前記決定された感度測定値は、異なる感度測定値と比較され、前記異なる感度測定値は、異なるディスプレイデバイスおよび異なる眼球運動測定プロトコルと関連付けられる、請求項14に記載の1つまたはそれを上回る非一過性コンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(参照による組み込み)
本願は、以下、すなわち、米国仮特許出願第62/968887号、米国特許公開第2019/0243448号、米国特許公開第2016/0270656号、および“Oculometric Assessment of Sensorimotor Impairment Associated with TBI”, Liston DB.Wong LR, Stone LS.Optom VisSci.2017 Jan;94(1):51-59のそれぞれの全体を参照することによって組み込む。
【0002】
本開示は、ディスプレイシステムに関し、より具体的には、拡張および仮想現実ディスプレイシステムおよびデバイスに関する。
【背景技術】
【0003】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」シナリオは、一種のARシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、MRシナリオは、実世界内のオブジェクトによって遮断されて見える、または別様にそれと相互作用するように知覚される、AR画像コンテンツを含んでもよい。
【0004】
図1を参照すると、AR場面10が、描写されている。AR技術のユーザには、人々、木々、背景における建物、コンクリートプラットフォーム30を特徴とする、実世界公園状設定20が見える。ユーザはまた、実世界プラットフォーム30上に立っているロボット像40と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ50等の「仮想コンテンツ」を「見ている」と知覚する。これらの要素50、40は、実世界には存在しないという点で、「仮想」である。ある場合には、本コンテンツは、頭部搭載型ディスプレイを介して、ユーザに提示されてもよい。ある他の場合には、本コンテンツは、スマートフォンまたはタブレット等のポータブルデバイスを介して、ユーザに提示されてもよい。ヒトの視知覚系および仮想コンテンツの提示は、複雑であるため、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、AR技術を生産することは、困難である。
【発明の概要】
【課題を解決するための手段】
【0005】
いくつかの実施形態によると、1つまたはそれを上回るプロセッサのシステムによって実装される、方法が、説明される。本方法は、対照母集団および実験母集団と関連付けられる、眼追跡情報にアクセスすることであって、眼追跡情報は、対照母集団および実験母集団の各試験対象に対して対象と関連付けられる、眼追跡メトリックを反映させる、ことと、対照母集団と関連付けられる、眼追跡情報に基づいて、眼追跡情報をスケーリングすることと、対照母集団と実験母集団との間の距離測定値を反映させる、感度測定値を決定することとを含む。
【0006】
距離測定は、有利なこととして、異なるデバイス、測定プラットフォーム、および/または測定プロトコルによって提供される、測定感度を比較するために利用されてもよい。例えば、距離測定は、2つの異なるデバイス、測定プラットフォーム、および/または測定プロトコル間の比率を提供するために利用されてもよい。いくつかの実施形態では、対照母集団と実験母集団との間の最大距離測定値を提供する、デバイス、測定プラットフォーム、または測定プロトコルは、特定の条件に関する最高レベルの感度を提供すると理解され得る。いくつかの実施形態では、相対的感度の本決定は、特定の条件を評価するためのデバイスまたは測定プロトコルパラメータを決定するために使用されてもよい。いくつかの実施形態では、相対的感度の決定は、評価されるべき条件または施行されるべき試験に応じてデバイスまたは測定プロトコルパラメータを修正するための選択基準を提供するために利用されてもよい。
【0007】
いくつかの実施形態では、眼を追跡し、測定情報を提供するために使用される、デバイスは、ユーザの眼を追跡するための内向きに向いたカメラを有する、拡張または仮想現実ディスプレイシステムであってもよい。そのような場合、ユーザは、試験対象である。有利なこととして、測定のための拡張または仮想現実ディスプレイシステムの使用は、長持続時間にわたってデータを収集する能力を可能にし、いくつかの実施形態では、例えば、個々のユーザから収集されたデータに関する高レベルの感度を提供するように、複数の試験が施行され、パラメータ(例えば、視覚的刺激の提示のため)が変動および較正されることを可能にする。
【0008】
いくつかの付加的実施例は、下記に説明される。
【0009】
実施例1:1つまたはそれを上回るプロセッサのシステムによって実装される、方法であって、対照母集団および実験母集団と関連付けられる、眼追跡情報にアクセスすることであって、眼追跡情報は、対照母集団および実験母集団の各ユーザに対し、ユーザと関連付けられる、眼追跡メトリックを反映させる、ことと、対照母集団と関連付けられる、眼追跡情報に基づいて、眼追跡情報をスケーリングすることと、対照母集団と実験母集団との間の距離測定値を反映させる、感度測定値を決定することとを含み、感度測定値は、ユーザによって使用されるディスプレイデバイスの眼追跡を使用して、健康条件を識別することを向上させるために使用可能である、方法。
【0010】
実施例2:眼追跡情報は、ユーザによって使用されるディスプレイデバイスから取得されたものであって、ディスプレイデバイスは、同一構成を有する、および/または同一眼球運動測定プロトコルを実装する、実施例1に記載の方法。
【0011】
実施例3:眼球運動測定プロトコルは、ディスプレイデバイスが異なる知覚深度または深度面において刺激をユーザに提示することを含む、実施例2に記載の方法。
【0012】
実施例4:実験母集団は、同一生理学的条件を有する、および/または同一コホート内に該当する、ユーザを含む、実施例1に記載の方法。
【0013】
実施例5:スケーリングは、対照母集団から決定される、中央値および標準偏差に基づく、スケーリングを備える、実施例1に記載の方法。
【0014】
実施例6:感度測定値は、ディスプレイデバイスの構成および/または眼球運動測定プロトコルと関連付けられる、実施例1に記載の方法。
【0015】
実施例7:決定された感度測定値は、異なる感度測定値と比較され、異なる感度測定値は、異なるディスプレイデバイスおよび/または異なる眼球運動測定プロトコルと関連付けられる、実施例1に記載の方法。
【0016】
実施例8:1つまたはそれを上回るプロセッサを備える、システムであって、本システムは、仮想コンテンツをシステムのユーザに提示するように構成され、本システムはさらに、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、対照母集団および実験母集団と関連付けられる、眼追跡情報にアクセスすることであって、眼追跡情報は、対照母集団および実験母集団の各ユーザに対し、ユーザと関連付けられる、眼追跡メトリックを反映させる、ことと、対照母集団と関連付けられる、眼追跡情報に基づいて、眼追跡情報をスケーリングすることと、対照母集団と実験母集団との間の距離測定値を反映させる、感度測定値を決定することとを含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体を備え、感度測定値は、ユーザによって使用されるディスプレイデバイスの眼追跡を使用して、健康条件を識別することを向上させるために使用可能である、システム。
【0017】
実施例9:眼追跡情報は、ユーザによって使用されるディスプレイデバイスから取得されたものであって、ディスプレイデバイスは、同一構成を有する、および/または同一眼球運動測定プロトコルを実装する、実施例8に記載のシステム。
【0018】
実施例10:眼球運動測定プロトコルは、ディスプレイデバイスが異なる知覚深度または深度面において刺激をユーザに提示することを含む、実施例9に記載のシステム。
【0019】
実施例11:実験母集団は、同一生理学的条件を有する、および/または同一コホート内に該当する、ユーザを含む、実施例8に記載のシステム。
【0020】
実施例12:スケーリングは、対照母集団から決定される、中央値および標準偏差に基づく、スケーリングを備える、実施例8に記載のシステム。
【0021】
実施例13:感度測定値は、ディスプレイデバイスの構成および/または眼球運動測定プロトコルと関連付けられる、実施例8に記載のシステム。
【0022】
実施例14:決定された感度測定値は、異なる感度測定値と比較され、異なる感度測定値は、異なるディスプレイデバイスおよび/または異なる眼球運動測定プロトコルと関連付けられる、実施例8に記載のシステム。
【0023】
実施例15:1つまたはそれを上回るプロセッサを備える、頭部搭載型ディスプレイシステムをさらに備え、頭部搭載型ディスプレイシステムは、仮想コンテンツを頭部搭載型ディスプレイシステムのユーザに提示するように構成され、頭部搭載型ディスプレイシステムはさらに、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、感度測定値にアクセスさせ、感度測定値に基づいて、頭部搭載型ディスプレイシステムの動作パラメータを修正させる、命令を記憶する、非一過性コンピュータ記憶媒体を備える、実施例8に記載のシステム。
【0024】
実施例16:1つまたはそれを上回るプロセッサを備える、頭部搭載型ディスプレイシステムをさらに備え、頭部搭載型ディスプレイシステムは、仮想コンテンツを頭部搭載型ディスプレイシステムのユーザに提示するように構成され、頭部搭載型ディスプレイシステムシステムはさらに、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、感度測定値にアクセスさせ、感度測定値に基づいて、頭部搭載型ディスプレイシステムによって提示される測定プロトコルを修正させる、命令を記憶する、非一過性コンピュータ記憶媒体を備える、実施例8に記載のシステム。
【0025】
実施例17:非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサを備え、仮想コンテンツをシステムのユーザに提示するように構成される、システムによって実行されると、1つまたはそれを上回るプロセッサに、対照母集団および実験母集団と関連付けられる、眼追跡情報にアクセスすることであって、眼追跡情報は、対照母集団および実験母集団の各ユーザに対し、ユーザと関連付けられる、眼追跡メトリックを反映させる、ことと、対照母集団と関連付けられる、眼追跡情報に基づいて、眼追跡情報をスケーリングすることと、対照母集団と実験母集団との間の距離測定値を反映させる、感度測定値を決定することとを含む、動作を実施させる、命令を記憶し、感度測定値は、ユーザによって使用されるディスプレイデバイスの眼追跡を使用して、健康条件を識別することを向上させるために使用可能である、非一過性コンピュータ記憶媒体。
【0026】
実施例18:眼追跡情報は、ユーザによって使用されるディスプレイデバイスから取得されたものであって、ディスプレイデバイスは、同一構成を有する、および/または同一眼球運動測定プロトコルを実装する、実施例17に記載のコンピュータ記憶媒体。
【0027】
実施例19:眼球運動測定プロトコルは、ディスプレイデバイスが異なる知覚深度または深度面において刺激をユーザに提示することを含む、実施例18に記載のコンピュータ記憶媒体。
【0028】
実施例20:感度測定値は、ディスプレイデバイスの構成および/または眼球運動測定プロトコルと関連付けられる、実施例17に記載のコンピュータ記憶媒体。
本発明は、例えば、以下を提供する。
(項目1)
1つまたはそれを上回るプロセッサのシステムによって実装される方法であって、前記方法は、
対照母集団および実験母集団と関連付けられる眼追跡情報にアクセスすることであって、前記眼追跡情報は、前記対照母集団および実験母集団の各ユーザに対し、前記ユーザと関連付けられる眼追跡メトリックを反映させる、ことと、
前記対照母集団と関連付けられる前記眼追跡情報に基づいて、前記眼追跡情報をスケーリングすることと、
前記対照母集団と実験母集団との間の距離測定値を反映させる感度測定値を決定することと
を含み、
前記感度測定値は、ユーザによって使用されるディスプレイデバイスの眼追跡を使用して、健康条件を識別することを向上させるために使用可能である、方法。
(項目2)
前記眼追跡情報は、前記ユーザによって使用される前記ディスプレイデバイスから取得されたものであり、前記ディスプレイデバイスは、同一構成を有する、および/または同一眼球運動測定プロトコルを実装する、項目1に記載の方法。
(項目3)
前記眼球運動測定プロトコルは、前記ディスプレイデバイスが異なる知覚深度または深度面において刺激を前記ユーザに提示することを含む、項目2に記載の方法。
(項目4)
前記実験母集団は、同一生理学的条件を有する、および/または同一コホート内に該当する、ユーザを含む、項目1に記載の方法。
(項目5)
前記スケーリングは、前記対照母集団から決定される中央値および標準偏差に基づくスケーリングを備える、項目1に記載の方法。
(項目6)
前記感度測定値は、ディスプレイデバイスの構成および/または眼球運動測定プロトコルと関連付けられる、項目1に記載の方法。
(項目7)
前記決定された感度測定値は、異なる感度測定値と比較され、前記異なる感度測定値は、異なるディスプレイデバイスおよび/または異なる眼球運動測定プロトコルと関連付けられる、項目1に記載の方法。
(項目8)
1つまたはそれを上回るプロセッサを備えるシステムであって、前記システムは、仮想コンテンツを前記システムのユーザに提示するように構成され、前記システムはさらに、非一過性コンピュータ記憶媒体を備え、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
対照母集団および実験母集団と関連付けられる眼追跡情報にアクセスすることであって、前記眼追跡情報は、前記対照母集団および実験母集団の各ユーザに対し、前記ユーザと関連付けられる眼追跡メトリックを反映させる、ことと、
前記対照母集団と関連付けられる前記眼追跡情報に基づいて、前記眼追跡情報をスケーリングすることと、
前記対照母集団と実験母集団との間の距離測定値を反映させる感度測定値を決定することと
を含む動作を実施させ、
前記感度測定値は、ユーザによって使用されるディスプレイデバイスの眼追跡を使用して、健康条件を識別することを向上させるために使用可能である、システム。
(項目9)
前記眼追跡情報は、前記ユーザによって使用される前記ディスプレイデバイスから取得されたものであり、前記ディスプレイデバイスは、同一構成を有する、および/または同一眼球運動測定プロトコルを実装する、項目8に記載のシステム。
(項目10)
前記眼球運動測定プロトコルは、前記ディスプレイデバイスが異なる知覚深度または深度面において刺激を前記ユーザに提示することを含む、項目9に記載のシステム。
(項目11)
前記実験母集団は、同一生理学的条件を有する、および/または同一コホート内に該当するユーザを含む、項目8に記載のシステム。
(項目12)
前記スケーリングは、前記対照母集団から決定される中央値および標準偏差に基づくスケーリングを備える、項目8に記載のシステム。
(項目13)
前記感度測定値は、ディスプレイデバイスの構成および/または眼球運動測定プロトコルと関連付けられる、項目8に記載のシステム。
(項目14)
前記決定された感度測定値は、異なる感度測定値と比較され、前記異なる感度測定値は、異なるディスプレイデバイスおよび/または異なる眼球運動測定プロトコルと関連付けられる、項目8に記載のシステム。
(項目15)
1つまたはそれを上回るプロセッサを備える頭部搭載型ディスプレイシステムをさらに備え、前記頭部搭載型ディスプレイシステムは、仮想コンテンツを前記頭部搭載型ディスプレイシステムのユーザに提示するように構成され、前記頭部搭載型ディスプレイシステムはさらに、非一過性コンピュータ記憶媒体を備え、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、前記感度測定値にアクセスさせ、前記感度測定値に基づいて、前記頭部搭載型ディスプレイシステムの動作パラメータを修正させる、項目8に記載のシステム。
(項目16)
1つまたはそれを上回るプロセッサを備える頭部搭載型ディスプレイシステムをさらに備え、前記頭部搭載型ディスプレイシステムは、仮想コンテンツを前記頭部搭載型ディスプレイシステムのユーザに提示するように構成され、前記頭部搭載型ディスプレイシステムシステムはさらに、非一過性コンピュータ記憶媒体を備え、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、前記感度測定値にアクセスさせ、前記感度測定値に基づいて、前記頭部搭載型ディスプレイシステムによって提示される測定プロトコルを修正させる、項目8に記載のシステム。
(項目17)
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサを備え、かつ仮想コンテンツをシステムのユーザに提示するように構成されるシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
対照母集団および実験母集団と関連付けられる眼追跡情報にアクセスすることであって、前記眼追跡情報は、前記対照母集団および実験母集団の各ユーザに対し、前記ユーザと関連付けられる眼追跡メトリックを反映させる、ことと、
前記対照母集団と関連付けられる前記眼追跡情報に基づいて、前記眼追跡情報をスケーリングすることと、
前記対照母集団と実験母集団との間の距離測定値を反映させる感度測定値を決定することと
を含む動作を実施させ、
前記感度測定値は、ユーザによって使用されるディスプレイデバイスの眼追跡を使用して、健康条件を識別することを向上させるために使用可能である、非一過性コンピュータ記憶媒体。
(項目18)
前記眼追跡情報は、前記ユーザによって使用される前記ディスプレイデバイスから取得されたものであり、前記ディスプレイデバイスは、同一構成を有する、および/または同一眼球運動測定プロトコルを実装する、項目17に記載のコンピュータ記憶媒体。
(項目19)
前記眼球運動測定プロトコルは、前記ディスプレイデバイスが異なる知覚深度または深度面において刺激を前記ユーザに提示することを含む、項目18に記載のコンピュータ記憶媒体。
(項目20)
前記感度測定値は、ディスプレイデバイスの構成および/または眼球運動測定プロトコルと関連付けられる、項目17に記載のコンピュータ記憶媒体。
【図面の簡単な説明】
【0029】
図1図1は、ARデバイスを通した拡張現実(AR)のユーザのビューを図示する。
【0030】
図2図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。
【0031】
図3図3A-3Cは、曲率半径と焦点半径との間の関係を図示する。
【0032】
図4A図4Aは、ヒト視覚系の遠近調節-輻輳・開散運動応答の表現を図示する。
【0033】
図4B図4Bは、一対のユーザの眼の異なる遠近調節状態および輻輳・開散運動状態の実施例を図示する。
【0034】
図4C図4Cは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の実施例を図示する。
【0035】
図4D図4Dは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。
【0036】
図5図5は、波面発散を修正することによって3次元画像をシミュレートするためのアプローチの側面を図示する。
【0037】
図6図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。
【0038】
図7図7は、導波管によって出力された出射ビームの実施例を図示する。
【0039】
図8図8は、スタックされた接眼レンズの実施例を図示し、各深度面は、複数の異なる原色を使用して形成される画像を含む。
【0040】
図9A図9Aは、それぞれ、内部結合光学要素を含む、スタックされた導波管のセットの実施例の断面側面図を図示する。
【0041】
図9B図9Bは、図9Aの複数のスタックされた導波管の実施例の斜視図を図示する。
【0042】
図9C図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。
【0043】
図9D図9Dは、複数のスタックされた導波管の別の実施例の上下平面図を図示する。
【0044】
図9E図9Eは、ウェアラブルディスプレイシステムの実施例を図示する。
【0045】
図10図10は、感度測定値を決定するための例示的プロセスに関するフローチャートである。
【0046】
図11図11は、感度測定値を比較するための例示的プロセスに関するフローチャートである。
【発明を実施するための形態】
【0047】
詳細な説明
本明細書に説明されるものは、眼移動情報を分析し、試験対象または試験対象の母集団の神経プロセス等の生理学的条件を定量化するために使用される、データを取得するためのデバイスまたは測定プロトコルの感度を改良するための技法である。いくつかの実施形態では、測定デバイスは、ディスプレイデバイスであってもよく、試験対象は、ディスプレイデバイスのユーザであってもよい。ディスプレイデバイスは、眼追跡を実施するために使用される、画像センサ(例えば、カメラ)等のセンサを含んでもよい。生理学的条件を試験するために利用されることに加え、眼追跡は、実施例として、仮想現実、拡張現実、または複合現実、コンテンツ(本明細書では、「仮想コンテンツ」と称される)の提示を知らせるために使用されてもよい。例示的ディスプレイデバイスは、図2-9Eに関して下記に説明される。
【0048】
人物に関するある健康情報は、刺激(例えば、視覚的刺激)に応答した人物の眼移動を追跡することに基づいて決定され得ることを理解されたい。例えば、眼球運動挙動は、神経病理学の機能的結果を反映させ得る。実施例として、精神的病気の兆候が、人物が揺動する振り子を視認する際の人物の水平眼移動を追跡することに基づいて決定され得る。付加的実施例として、薬物毒性、脳傷害、神経学的疾患等のある定質的眼球運動兆候が、対象の眼移動に基づいて決定され得る。しかしながら、歴史的に使用されている、眼追跡デバイスは、特殊ハードウェアである。例えば、人物が、その健康専門家の所まで行き、眼追跡ベースの試験を受けることが要求され得、これは、そのような試験の可用性を限定し得る。
【0049】
対照的に、本明細書に説明されるディスプレイデバイスは、有利なこととして、ユーザが、通常の動作の過程において、ディスプレイデバイスを利用している間、眼追跡を実施するように構成されることができる。例えば、ユーザは、ディスプレイデバイスを使用して、上記に説明される仮想コンテンツ(例えば、ロボット像40)を視認してもよい。本実施例では、仮想コンテンツは、ユーザを楽しませるものであり得る。本明細書に説明されるように、仮想コンテンツは、実世界内に固定されているように知覚されるように提示されてもよい。本提示をもたらすために、ディスプレイデバイスは、眼追跡画像センサ等のセンサを活用して、ユーザの眼の画像またはビデオを取得してもよい。ユーザの頭部姿勢を示す、これらの画像および情報に基づいて、仮想コンテンツは、更新および知覚されてもよい。
【0050】
眼追跡に基づいて、ユーザは、ある眼球運動挙動を有することが決定され得、これは、ある生理学的条件を有するユーザまたは人物のあるコホート内に該当するユーザを示す。例示的コホートは、同一生理学的条件を伴う人々、同一仕事に従事する人々(例えば、プロのスポーツリーグ、建設業)、同一地理的面積内において生活している人々等、1つまたはそれを上回る条件を共有する、人々を含んでもよい。
【0051】
異なるデバイス、特定のデバイス上の異なる動作パラメータ、異なる測定プロトコル等が、異なるレベルの感度を特定の条件を検出するための関連データに提供し得ることを理解されたい。その結果、異なるデバイス、異なる動作パラメータ、異なる測定プロトコル等を横断した感度を比較する能力が、特定の条件を検出するための眼追跡測定値を収集するための適切なデバイス、動作パラメータ、測定プロトコル等の選択のために有益となり得る。いくつかの実施形態では、本明細書に開示される比較は、有利なこととして、動作パラメータおよび測定プロトコル(例えば、提示される試験)が、特定のユーザまたはコホートに関する増加された感度を可能にするように選択されることを可能にし得る。
【0052】
例えば、本明細書に説明されるディスプレイデバイスは、異なる構成と関連付けられ得、各構成は、生理学的条件またはコホートの検出のためのデータを測定することに対してより敏感である、またはあまり敏感ではない。例示的構成は、使用される特定の画像センサ、画像センサ位置、眼を照明するための技法、使用される露光および/またはサンプリングレート、機械的分断、アルゴリズム選択等に基づいて、変動し得る。例えば、第1のディスプレイデバイスは、第1の周波数(例えば、30Hz)においてユーザの視線を決定することが可能であってもよい。加えて、本第1のディスプレイデバイスは、第1の技法に従って、視線を決定してもよい。対照的に、第2のディスプレイデバイスは、第2の周波数(例えば、90Hz)において、ユーザの視線を決定することが可能であってもよい。本第2のディスプレイデバイスは、第2の技法に従って、視線を決定してもよく、これは、第1の技法のものと明確に異なってもよい。したがって、第1のディスプレイデバイスおよび第2のディスプレイデバイスは、異なる構成(すなわち、2つの異なる構成を伴う同一デバイスまたは2つの異なるデバイスであってもよい)を有してもよい。説明されるであろうように、これらのディスプレイデバイスは、ある生理学的条件またはユーザがあるコホート内に該当するかどうかを検出することに対して異なる感度を有してもよい。
【0053】
本明細書に説明されるように、感度測定値(例えば、スカラー値)が、ディスプレイデバイスの特定の構成のために決定されてもよい。感度測定値は、対照母集団と実験母集団との間の距離測定値を決定することに対するディスプレイデバイスの感度を表し得る。例えば、実験母集団は、特定の生理学的条件を共有する、および/または特定のコホート内に該当する、人物を含んでもよい。したがって、実施例として、感度測定値は、特定の生理学的条件の検出のための特定の構成の感度を示し得る。加えて、または代替として、感度測定値は、特定の眼球運動測定プロトコルのために決定されてもよい。例示的眼球運動測定プロトコルは、ユーザに提示されることになる、特定の仮想コンテンツを含んでもよい。例えば、第1の眼球運動測定プロトコルは、ある視覚的パターンをある時間に提示してもよい。別の実施例として、第2の眼球運動測定プロトコルは、異なる視覚的パターンを提示してもよい。いくつかの実施形態では、眼球運動測定プロトコルは、仮想コンテンツをユーザから異なる深度および/または異なる知覚3次元位置に提示してもよい。
【0054】
これらの感度測定値は、ディスプレイデバイスの第1の構成とディスプレイデバイスの第2の構成との間の「A/B」比較を実施するために使用されてもよい。本方法では、第1の構成のある特徴が対照母集団と実験母集団との間の差異を決定することに対してより高い感度を有効にすることが決定され得る。
【0055】
加えて、ディスプレイデバイスは、これらの感度測定値を使用して、ユーザのための健康情報を提供してもよい。例えば、ある構成および/またはある眼球運動測定プロトコルが、個別の生理学的条件の存在を決定するために有利(例えば、最適)であることが決定され得る。したがって、第1の構成および/または第1の眼球運動測定プロトコルは、第1の生理学的条件のために有利であり得る。したがって、ディスプレイデバイスは、随意に、ユーザがディスプレイデバイスを使用する際、異なる構成をとってもよい。例えば、ディスプレイデバイスは、画像センサ位置、照明技法、露光情報、サンプリングレート、アルゴリズム選択等のうちの1つまたはそれを上回るものを調節してもよい。ディスプレイデバイスはまた、異なる眼球運動測定プロトコルを選択してもよい。したがって、ディスプレイデバイスは、異なる仮想コンテンツをユーザに提示してもよい。構成の調節および/または眼球運動測定プロトコルの各調節に対し、ディスプレイデバイスは、ユーザが関連付けられる生理学的条件を有する尤度を決定してもよい。上記に説明される第1の構成に関して、ディスプレイデバイスは、ユーザが第1の生理学的条件を有する尤度を決定してもよい。
【0056】
このように、本明細書に説明される技法は、あるプロトコルが、ある条件(例えば、生理学的条件)および/またはある母集団内のある条件により敏感であるかどうかを検出するために使用可能であり得る。例えば、A/B試験が、1つのプロトコルが、別の兆候より特定の条件の兆候に関して、別のプロトコルより敏感であるかどうかを試験するために実施されてもよい(例えば、随意に、母集団およびデバイスを固定して保つ)。別の実施例として、A/B試験は、2つのデバイス間の差異を試験するために実施されてもよい(例えば、随意に、プロトコルおよび母集団を固定して保つ)。したがって、本技法は、デバイスを使用して、眼追跡技法を向上させ、ある母集団内の健康条件を識別するために使用可能であり得る。
例示的拡張現実ディスプレイシステム
【0057】
図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、各眼210、220に対し、1つの同一仮想オブジェクトの若干異なるビューを伴う2つの明確に異なる画像190、200を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る、両眼キューを提供する。
【0058】
図2を継続して参照すると、画像190、200は、z-軸上で距離230だけ眼210、220から離間される。z-軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを固視している状態の視認者の光学軸と平行である。画像190、200は、平坦であって、眼210、220から固定距離にある。それぞれ、眼210、220に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、必然的に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼210、220のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、3次元画像の提供は、従来、ユーザの眼210、220の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。
【0059】
しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図3A-3Cは、距離と光線の発散との間の関係を図示する。オブジェクトと眼210との間の距離は、減少距離R1、R2、およびR3の順序で表される。図3A-3Cに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点(オブジェクトまたはオブジェクトの一部)によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率は、オブジェクトと眼210との間の距離の減少に伴って増加する。単眼210のみが、例証を明確にするために、図3A-3Cおよび本明細書の種々の他の図に図示されるが、眼210に関する議論は、視認者の両眼210および220に適用され得る。
【0060】
図3A-3Cを継続して参照すると、視認者の眼が固視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼかしは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮をトリガし、それによって、レンズを保持する提靱帯に印加される力を変調し、したがって、固視されているオブジェクトの網膜ぼかしが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、固視されているオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、固視されているオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。
【0061】
ここで図4Aを参照すると、ヒト視覚系の遠近調節-輻輳・開散運動応答の表現が、図示される。オブジェクトを固視するための眼の移動は、眼にオブジェクトからの光を受光させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼかしの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体がオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動移動(眼の回転)を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。図4Aを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。図4Aに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを固視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがz-軸上の異なる深度における新しいオブジェクトを固視する場合、変化し得る。
【0062】
理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「3次元」であると知覚し得ると考えられる。上記に記載されるように、2つの眼の相互に対する輻輳・開散運動移動(例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転)は、眼の水晶体の遠近調節と密接に関連付けられる。正常条件下、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の形状の変化は、「遠近調節-輻輳・開散運動反射」として知られる関係下、同一距離への輻輳・開散運動の合致する変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化は、正常条件下、水晶体形状における合致する変化を誘起するであろう。
【0063】
ここで図4Bを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼222aは、光学無限遠におけるオブジェクトを固視する一方、対の眼222bは、光学無限遠未満におけるオブジェクト221を固視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼222aは、まっすぐ指向される一方、対の眼222は、オブジェクト221上に収束する。各対の眼222aおよび222bを形成する眼の遠近調節状態もまた、水晶体210a、220aの異なる形状によって表されるように異なる。
【0064】
望ましくないことに、従来の「3-D」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。上記に記載されるように、多くの立体視または「3-D」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態に対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節-輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
【0065】
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節-輻輳・開散運動整合を提供してもよい。
【0066】
図4Bを継続して参照すると、眼210、220からの空間内の異なる距離に対応する、2つの深度面240が、図示される。所与の深度面240に関して、輻輳・開散運動キューが、各眼210、220に対し、適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度面240に関して、各眼210、220に提供される画像を形成する光は、その深度面240の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。
【0067】
図示される実施形態では、点221を含有する、深度面240のz-軸に沿った距離は、1mである。本明細書で使用されるように、z-軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって、1mの深度に位置する深度面240は、眼が光学無限遠に向かって指向される状態におけるそれらの眼の光学軸上のユーザの眼の射出瞳から1m離れた距離に対応する。近似値として、z-軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ(例えば、導波管の表面)から測定され、デバイスとユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、20mmであると仮定され得、1mの深度における深度面は、ディスプレイの正面の980mmの距離にあり得る。
【0068】
ここで図4Cおよび4Dを参照すると、整合遠近調節-輻輳・開散運動距離および不整合遠近調節-輻輳・開散運動距離の実施例が、それぞれ、図示される。図4Cに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼210、220に提供してもよい。画像は、眼210、220に、眼が深度面240上の点15上に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度面240における実オブジェクトに対応する波面曲率を有する光によって形成され得る。その結果、眼210、220は、画像がそれらの眼の網膜上に合焦された遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度面240上の点15にあるように知覚し得る。
【0069】
眼210、220の遠近調節および輻輳・開散運動状態はそれぞれ、z-軸上の特定の距離と関連付けられることを理解されたい。例えば、眼210、220からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられる距離は、遠近調節距離Aと称され得る。同様に、特定の輻輳・開散運動状態または相互に対する位置における眼と関連付けられる特定の輻輳・開散運動距離Vが、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言え得る。これは、視認者のために最も快適なシナリオと見なされる。
【0070】
しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離は、常時、整合しない場合がある。例えば、図4Dに図示されるように、眼210、220に表示される画像は、深度面240に対応する波面発散を伴って表示され得、眼210、220は、その深度面上の点15a、15bが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼210、220に表示される画像は、眼210、220を深度面240上に位置しない点15上に収束させる、輻輳・開散運動のためのキューを提供し得る。その結果、いくつかの実施形態では、遠近調節距離は、眼210、220の射出瞳から深度面240までの距離に対応する一方、輻輳・開散運動距離は、眼210、220の射出瞳から点15までのより大きい距離に対応する。遠近調節距離は、輻輳・開散運動距離と異なる。その結果、遠近調節-輻輳・開散運動不整合が存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離(例えば、V-A)に対応し、ジオプタを使用して特徴付けられ得ることを理解されたい。
【0071】
いくつかの実施形態では、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、眼210、220の射出瞳以外の参照点が、遠近調節-輻輳・開散運動不整合を決定するための距離を決定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度面まで、網膜から深度面まで、接眼レンズ(例えば、ディスプレイデバイスの導波管)から深度面まで等で測定され得る。
【0072】
理論によって限定されるわけではないが、ユーザは、不整合自体が有意な不快感を生じさせずに、依然として、最大約0.25ジオプタ、最大約0.33ジオプタ、および最大約0.5ジオプタの遠近調節-輻輳・開散運動不整合が生理学的に正しいとして知覚し得ると考えられる。いくつかの実施形態では、本明細書に開示されるディスプレイシステム(例えば、ディスプレイシステム250、図6)は、約0.5ジオプタまたはそれ未満の遠近調節-輻輳・開散運動不整合を有する画像を視認者に提示する。いくつかの他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節-輻輳・開散運動不整合は、約0.33ジオプタまたはそれ未満である。さらに他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節-輻輳・開散運動不整合は、約0.25ジオプタまたはそれ未満であって、約0.1ジオプタまたはそれ未満を含む。
【0073】
図5は、波面発散を修正することによって、3次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光770を受光し、その光をユーザの眼210に出力するように構成される、導波管270を含む。導波管270は、所望の深度面240上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光650を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。
【0074】
いくつかの実施形態では、単一導波管が、単一または限定数の深度面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および/または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度面のための異なる波面発散量を提供し、および/または異なる範囲の波長の光を出力するために利用されてもよい。本明細書で使用されるように、深度面は、平面であり得る、または湾曲表面の輪郭に追従し得ることを理解されたい。
【0075】
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム250は、複数の導波管270、280、290、300、310を使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ260を含む。ディスプレイシステム250は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ260はまた、接眼レンズとも称され得る。
【0076】
いくつかの実施形態では、ディスプレイシステム250は、輻輳・開散運動するための実質的に連続キューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、選択可能離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。換言すると、ディスプレイシステム250は、可変レベルの波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度面に対応し、導波管270、280、290、300、310のうちの特定の1つによって提供されてもよい。
【0077】
図6を継続して参照すると、導波管アセンブリ260はまた、複数の特徴320、330、340、350を導波管の間に含んでもよい。いくつかの実施形態では、特徴320、330、340、350は、1つまたはそれを上回るレンズであってもよい。導波管270、280、290、300、310および/または
【0078】
複数のレンズ320、330、340、350は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス360、370、380、390、400は、導波管のための光源として機能してもよく、画像情報を導波管270、280、290、300、310の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼210に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス360、370、380、390、400の出力表面410、420、430、440、450から出射し、導波管270、280、290、300、310の対応する入力表面460、470、480、490、500の中に投入される。いくつかの実施形態では、入力表面460、470、480、490、500はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部(すなわち、世界510または視認者の眼210に直接向いた導波管表面のうちの1つ)であってもよい。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度(および発散量)において眼210に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。いくつかの実施形態では、画像投入デバイス360、370、380、390、400のうちの単一の1つは、複数(例えば、3つ)の導波管270、280、290、300、310と関連付けられ、その中に光を投入してもよい。
【0079】
いくつかの実施形態では、画像投入デバイス360、370、380、390、400はそれぞれ、対応する導波管270、280、290、300、310の中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス360、370、380、390、400は、例えば、1つまたはそれを上回る光学導管(光ファイバケーブル等)を介して、画像情報を画像投入デバイス360、370、380、390、400のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス360、370、380、390、400によって提供される画像情報は、異なる波長または色(例えば、本明細書に議論されるように、異なる原色)の光を含んでもよいことを理解されたい。
【0080】
いくつかの実施形態では、導波管270、280、290、300、310の中に投入される光は、光投影システム520によって提供され、これは、光モジュール530を備え、これは、発光ダイオード(LED)等の光エミッタを含んでもよい。光モジュール530からの光は、ビームスプリッタ550を介して、光変調器540、例えば、空間光変調器によって指向および修正されてもよい。光変調器540は、導波管270、280、290、300、310の中に投入される光の知覚される強度を変化させ、光を画像情報でエンコードするように構成されてもよい。空間光変調器の実施例は、シリコン上液晶(LCOS)ディスプレイを含む、液晶ディスプレイ(LCD)を含む。いくつかの他の実施形態では、空間光変調器は、デジタル光処理(DLP)デバイス等のMEMSデバイスであってもよい。画像投入デバイス360、370、380、390、400は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管270、280、290、300、310の関連付けられるものの中に出力するように構成される、共通投影システム内の異なる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ260の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、空間光変調器540であってもよく、画像は、深度面上の画像であってもよい。
【0081】
いくつかの実施形態では、ディスプレイシステム250は、光を種々のパターン(例えば、ラスタ走査、螺旋走査、リサジューパターン等)で1つまたはそれを上回る導波管270、280、290、300、310の中に、最終的には、視認者の眼210に投影するように構成される、1つまたはそれを上回る走査ファイバを備える、走査ファイバディスプレイであってもよい。いくつかの実施形態では、図示される画像投入デバイス360、370、380、390、400は、光を1つまたは複数の導波管270、280、290、300、310の中に投入するように構成される、単一走査ファイバまたは走査ファイバの束を図式的に表し得る。いくつかの他の実施形態では、図示される画像投入デバイス360、370、380、390、400は、複数の走査ファイバまたは走査ファイバの複数の束を図式的に表し得、それぞれ、光を導波管270、280、290、300、310のうちの関連付けられる1つの中に投入するように構成される。1つまたはそれを上回る光ファイバは、光を光モジュール530から1つまたはそれを上回る導波管270、280、290、300、310に透過させるように構成されてもよいことを理解されたい。1つまたはそれを上回る介在光学構造が、走査ファイバまたは複数のファイバと、1つまたはそれを上回る導波管270、280、290、300、310との間に提供され、例えば、走査ファイバから出射する光を1つまたはそれを上回る導波管270、280、290、300、310の中に再指向してもよいことを理解されたい。
【0082】
コントローラ560は、画像投入デバイス360、370、380、390、400、光源530、および光変調器540の動作を含む、スタックされた導波管アセンブリ260のうちの1つまたはそれを上回るものの動作を制御する。いくつかの実施形態では、コントローラ560は、ローカルデータ処理モジュール140の一部である。コントローラ560は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管270、280、290、300、310への画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性媒体内の命令)を含む。いくつかの実施形態では、コントローラは、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ560は、いくつかの実施形態では、処理モジュール140または150(図9E)の一部であってもよい。
【0083】
図6を継続して参照すると、導波管270、280、290、300、310は、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管270、280、290、300、310はそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管270、280、290、300、310はそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼210に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素570、580、590、600、610を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素570、580、590、600、610は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明を容易にし、図面を明確にするために、導波管270、280、290、300、310の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、本明細書にさらに議論されるように、上部および/または底部主要表面に配置されてもよく、および/または導波管270、280、290、300、310の容積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、透明基板に取り付けられ、導波管270、280、290、300、310を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管270、280、290、300、310は、材料のモノリシック片であってもよく、外部結合光学要素570、580、590、600、610は、その材料片の表面上および/または内部に形成されてもよい。
【0084】
図6を継続して参照すると、本明細書に議論されるように、各導波管270、280、290、300、310が、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管270は、眼210にコリメートされた光(そのような導波管270の中に投入された)を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管280は、眼210に到達し得る前に、第1のレンズ350(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第1のレンズ350は、眼/脳が、その次の上方の導波管280から生じる光を光学無限遠から眼210に向かって内向きにより近い第1の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管290は、眼210に到達する前に、その出力光を第1のレンズ350および第2のレンズ340の両方を通して通過させる。第1のレンズ350および第2のレンズ340の組み合わせられた屈折力は、眼/脳が、第3の導波管290から生じる光が次の上方の導波管280からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
【0085】
他の導波管層300、310およびレンズ330、320も同様に構成され、スタック内の最高導波管310が、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ260の他側の世界510から生じる光を視認/解釈するとき、レンズ320、330、340、350のスタックを補償するために、補償レンズ層620が、スタックの上部に配置され、下方のレンズスタック320、330、340、350の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい(すなわち、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
【0086】
いくつかの実施形態では、導波管270、280、290、300、310のうちの2つまたはそれを上回るものは、同一の関連付けられる深度面を有してもよい。例えば、複数の導波管270、280、290、300、310が、同一深度面に設定される画像を出力するように構成されてもよい、または導波管270、280、290、300、310の複数のサブセットが、各深度面に対して1つのセットを伴う、同一の複数の深度面に設定される画像を出力するように構成されてもよい。これは、それらの深度面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。
【0087】
図6を継続して参照すると、外部結合光学要素570、580、590、600、610は、導波管と関連付けられる特定の深度面のために、光をそれらの個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管は、外部結合光学要素570、580、590、600、610の異なる構成を有してもよく、これは、関連付けられる深度面に応じて、異なる量の発散を伴って光を出力する。いくつかの実施形態では、光抽出光学要素570、580、590、600、610は、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素570、580、590、600、610は、立体ホログラム、表面ホログラム、および/または回折格子であってもよい。いくつかの実施形態では、特徴320、330、340、350は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、空隙を形成するためのクラッディング層および/または構造)。
【0088】
いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、回折パターンを形成する回折特徴または「回折光学要素」(また、本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差部で眼210に向かって偏向される一方、残りがTIRを介して、導波管を通して移動し続けるように、十分に低回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼210に向かって非常に均一なパターンの出射放出となる。
【0089】
いくつかの実施形態では、1つまたはそれを上回るDOEは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なDOEは、微小液滴がホスト媒体中に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
【0090】
いくつかの実施形態では、カメラアセンブリ630(例えば、可視光および赤外線光カメラを含む、デジタルカメラ)が、眼210および/または眼210の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および/またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ630は、画像捕捉デバイスと、光(例えば、赤外線光)を眼に投影し、次いで、眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ630は、フレームまたは支持構造80(図9E)に取り付けられてもよく、カメラアセンブリ630からの画像情報を処理し得る、処理モジュール140および/または150と電気通信してもよい。いくつかの実施形態では、1つのカメラアセンブリ630が、各眼に対して利用され、各眼を別個に監視してもよい。
【0091】
カメラアセンブリ630は、いくつかの実施形態では、ユーザの眼移動等のユーザの移動を観察してもよい。実施例として、カメラアセンブリ630は、眼210の画像を捕捉し、眼210の瞳孔(または眼210のある他の構造)のサイズ、位置、および/または配向を決定してもよい。カメラアセンブリ630は、所望に応じて、ユーザが見ている方向(例えば、眼姿勢または視線方向)を決定するために使用される、画像(本明細書に説明されるタイプの処理回路網によって処理される)を取得してもよい。いくつかの実施形態では、カメラアセンブリ630は、複数のカメラを含んでもよく、そのうちの少なくとも1つは、各眼に対して利用され、独立して、各眼の眼姿勢または視線方向を別個に決定してもよい。カメラアセンブリ630は、いくつかの実施形態では、コントローラ560またはローカルデータ処理モジュール140等の処理回路網と組み合わせて、カメラアセンブリ630内に含まれる光源から反射された光(例えば、赤外線光)の閃光(例えば、反射)に基づいて、眼姿勢または視線方向を決定してもよい。
【0092】
ここで図7を参照すると、導波管によって出力された出射ビームの実施例が、示される。1つの導波管が図示されるが、導波管アセンブリ260(図6)内の他の導波管も同様に機能し得、導波管アセンブリ260は、複数の導波管を含むことを理解されたい。光640が、導波管270の入力表面460において導波管270の中に投入され、TIRによって導波管270内を伝搬する。光640がDOE570上に衝突する点において、光の一部が、出射ビーム650として導波管から出射する。出射ビーム650は、略平行として図示されるが、本明細書に議論されるように、また、導波管270と関連付けられる深度面に応じて、(例えば、発散出射ビームを形成する)ある角度で眼210に伝搬するように再指向されてもよい。略平行出射ビームは、眼210からの遠距離(例えば、光学無限遠)における深度面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットが、より発散する、出射ビームパターンを出力してもよく、これは、眼210がより近い距離に遠近調節し、網膜上に合焦させることを要求し、光学無限遠より眼210に近い距離からの光として脳によって解釈されるであろう。
【0093】
いくつかの実施形態では、フルカラー画像が、原色、例えば、3つまたはそれを上回る原色のそれぞれに画像をオーバーレイすることによって、各深度面において形成されてもよい。図8は、スタックされた導波管アセンブリの実施例を図示し、各深度面は、複数の異なる原色を使用して形成される画像を含む。図示される実施形態は、深度面240a-240fを示すが、より多いまたはより少ない深度もまた、検討される。各深度面は、第1の色Gの第1の画像、第2の色Rの第2の画像、および第3の色Bの第3の画像を含む、それと関連付けられる3つまたはそれを上回る原色画像を有してもよい。異なる深度面は、文字G、R、およびBに続くジオプタ(dpt)に関する異なる数字によって図に示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ(1/m)、すなわち、視認者からの深度面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度面の正確な場所は、変動してもよい。例えば、所与の深度面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得、および/または色収差を減少させ得る。
【0094】
いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度面は、それと関連付けられる複数の導波管を有してもよい。そのような実施形態では、文字G、R、またはBを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、3つの導波管は、深度面毎に提供されてもよく、3つの原色画像が、深度面毎に提供される。各深度面と関連付けられる導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に1つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、複数の原色が、例えば、単一導波管のみが深度面毎に提供され得るように、同一導波管によって出力されてもよい。
【0095】
図8を継続して参照すると、いくつかの実施形態では、Gは、緑色であって、Rは、赤色であって、Bは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられる他の色も、赤色、緑色、または青色のうちの1つまたはそれを上回るものに加えて使用されてもよい、またはそれらに取って代わってもよい。
【0096】
本開示全体を通した所与の光の色の言及は、その所与の色として視認者によって知覚される、光の波長の範囲内の1つまたはそれを上回る波長の光を包含するものと理解されると理解されたい。例えば、赤色光は、約620~780nmの範囲内である1つまたはそれを上回る波長の光を含んでもよく、緑色光は、約492~577nmの範囲内である1つまたはそれを上回る波長の光を含んでもよく、青色光は、約435~493nmの範囲内である1つまたはそれを上回る波長の光を含んでもよい。
【0097】
いくつかの実施形態では、光源530(図6)は、視認者の視覚的知覚範囲外の1つまたはそれを上回る波長、例えば、赤外線および/または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ250の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および/またはユーザ刺激用途のために、本光をディスプレイからユーザの眼210に向かって指向および放出するように構成されてもよい。
【0098】
ここで図9Aを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図9Aは、それぞれ、内部結合光学要素を含む、複数またはセット660のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、1つまたはそれを上回る異なる波長または1つまたはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック660は、スタック260(図6)に対応し得、スタック660の図示される導波管は、複数の導波管270、280、290、300、310の一部に対応してもよいが、画像投入デバイス360、370、380、390、400のうちの1つまたはそれを上回るものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。
【0099】
スタックされた導波管の図示されるセット660は、導波管670、680、および690を含む。各導波管は、関連付けられる内部結合光学要素(導波管上の光入力面積とも称され得る)を含み、例えば、内部結合光学要素700は、導波管670の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素710は、導波管680の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素720は、導波管690の主要表面(例えば、上側主要表面)上に配置される。いくつかの実施形態では、内部結合光学要素700、710、720のうちの1つまたはそれを上回るものは、個別の導波管670、680、690の底部主要表面上に配置されてもよい(特に、1つまたはそれを上回る内部結合光学要素は、反射性偏向光学要素である)。図示されるように、内部結合光学要素700、710、720は、その個別の導波管670、680、690の上側主要表面(または次の下側導波管の上部)上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素700、710、720は、個別の導波管670、680、690の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素700、710、720は、他の光の波長を透過しながら、1つまたはそれを上回る光の波長を選択的に再指向するような波長選択的である。その個別の導波管670、680、690の片側または角に図示されるが、内部結合光学要素700、710、720は、いくつかの実施形態では、その個別の導波管670、680、690の他の面積内に配置されてもよいことを理解されたい。
【0100】
図示されるように、内部結合光学要素700、710、720は、これらの内部結合光学要素に伝搬する光の方向における、図示される真正面図に見られるように、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受光するようにオフセットされてもよい。例えば、各内部結合光学要素700、710、720は、図6に示されるように、光を異なる画像投入デバイス360、370、380、390、および400から受光するように構成されてもよく、光を内部結合光学要素700、710、720の他のものから実質的に受光しないように、他の内部結合光学要素700、710、720から分離されてもよい(例えば、側方に離間される)。
【0101】
各導波管はまた、関連付けられる光分散要素を含み、例えば、光分散要素730は、導波管670の主要表面(例えば、上部主要表面)上に配置され、光分散要素740は、導波管680の主要表面(例えば、上部主要表面)上に配置され、光分散要素750は、導波管690の主要表面(例えば、上部主要表面)上に配置される。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられる導波管670、680、690の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられる導波管670、680、690の上部および底部両方の主要表面上に配置されてもよい、または光分散要素730、740、750は、それぞれ、異なる関連付けられる導波管670、680、690内の上部および底部主要表面の異なるもの上に配置されてもよい。
【0102】
導波管670、680、690は、例えば、材料のガス、液体、および/または固体層によって離間および分離されてもよい。例えば、図示されるように、層760aは、導波管670および680を分離してもよく、層760bは、導波管680および690を分離してもよい。いくつかの実施形態では、層760aおよび760bは、低屈折率材料(すなわち、導波管670、680、690の直近のものを形成する材料より低い屈折率を有する材料)から形成される。好ましくは、層760a、760bを形成する材料の屈折率は、導波管670、680、690を形成する材料の屈折率よりも0.05またはそれを上回る、または0.10またはそれを下回る。有利なこととして、より低い屈折率層760a、760bは、導波管670、680、690を通して光の全内部反射(TIR)(例えば、各導波管の上部および底部主要表面間のTIR)を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層760a、760bは、空気から形成される。図示されないが、導波管の図示されるセット660の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。
【0103】
好ましくは、製造および他の考慮点を容易にするために、導波管670、680、690を形成する材料は、類似または同一であって、層760a、760bを形成する材料は、類似または同一である。いくつかの実施形態では、導波管670、680、690を形成する材料は、1つまたはそれを上回る導波管間で異なってもよい、および/または層760a、760bを形成する材料は、依然として、前述の種々の屈折率関係を保持しながら、異なってもよい。
【0104】
図9Aを継続して参照すると、光線770、780、790が、導波管のセット660に入射する。光線770、780、790は、1つまたはそれを上回る画像投入デバイス360、370、380、390、400(図6)によって導波管670、680、690の中に投入されてもよいことを理解されたい。
【0105】
いくつかの実施形態では、光線770、780、790は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素700、710、720はそれぞれ、光が、TIRによって、導波管670、680、690のうちの個別の1つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素700、710、720はそれぞれ、他の波長を下層導波管および関連付けられる内部結合光学要素に透過させながら、1つまたはそれを上回る特定の光の波長を選択的に偏向させる。
【0106】
例えば、内部結合光学要素700は、それぞれ、異なる第2および第3の波長または波長範囲を有する、光線780および790を透過させながら、第1の波長または波長範囲を有する、光線770を偏向させるように構成されてもよい。透過された光線780は、第2の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素710に衝突し、それによって偏向される。光線790は、第3の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素720によって偏向される。
【0107】
図9Aを継続して参照すると、偏向された光線770、780、790は、対応する導波管670、680、690を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素700、710、720は、光をその対応する導波管670、680、690の中に偏向させ、光を対応する導波管の中に内部結合する。光線770、780、790は、光をTIRによって個別の導波管670、680、690を通して伝搬させる角度で偏向される。光線770、780、790は、導波管の対応する光分散要素730、740、750に衝突するまで、TIRによって個別の導波管670、680、690を通して伝搬する。
【0108】
ここで図9Bを参照すると、図9Aの複数のスタックされた導波管の実施例の斜視図が、図示される。上記に記載されるように、内部結合された光線770、780、790は、それぞれ、内部結合光学要素700、710、720によって偏向され、次いで、それぞれ、導波管670、680、690内でTIRによって伝搬する。光線770、780、790は、次いで、それぞれ、光分散要素730、740、750に衝突する。光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820に向かって伝搬するように、光線770、780、790を偏向させる。
【0109】
いくつかの実施形態では、光分散要素730、740、750は、直交瞳エクスパンダ(OPE)である。いくつかの実施形態では、OPEは、光を外部結合光学要素800、810、820に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素730、740、750は、省略されてもよく、内部結合光学要素700、710、720は、光を直接外部結合光学要素800、810、820に偏向させるように構成されてもよい。例えば、図9Aを参照すると、光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820と置換されてもよい。いくつかの実施形態では、外部結合光学要素800、810、820は、光を視認者の眼210(図7)に指向させる、射出瞳(EP)または射出瞳エクスパンダ(EPE)である。OPEは、少なくとも1つの軸においてアイボックスの寸法を増加させるように構成されてもよく、EPEは、OPEの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各OPEは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、OPEに衝打する光の一部を同一導波管のEPEに再指向するように構成されてもよい。OPEへの衝突に応じて、再び、残りの光の別の部分は、EPEに再指向され、その部分の残りの部分は、導波管等を辿ってさらに伝搬し続ける。同様に、EPEへの衝打に応じて、衝突光の一部は、導波管からユーザに向かって指向され、その光の残りの部分は、EPに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突する光の別の部分は、導波管から指向される等となる。その結果、内部結合される光の単一ビームは、その光の一部がOPEまたはEPEによって再指向される度に、「複製」され、それによって、図6に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、OPEおよび/またはEPEは、光のビームのサイズを修正するように構成されてもよい。
【0110】
故に、図9Aおよび9Bを参照すると、いくつかの実施形態では、導波管のセット660は、各原色に対し、導波管670、680、690と、内部結合光学要素700、710、720と、光分散要素(例えば、OPE)730、740、750と、外部結合光学要素(例えば、EP)800、810、820とを含む。導波管670、680、690は、各1つの間に空隙/クラッディング層を伴ってスタックされてもよい。内部結合光学要素700、710、720は、(異なる波長の光を受光する異なる内部結合光学要素を用いて)入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波管670、680、690内にTIRをもたらすであろう角度で伝搬する。示される実施例では、光線770(例えば、青色光)は、前述の様式において、第1の内部結合光学要素700によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素(例えば、OPE)730、次いで、外部結合光学要素(例えば、EP)800と相互作用する。光線780および790(例えば、それぞれ、緑色および赤色光)は、導波管670を通して通過し、光線780は、内部結合光学要素710上に衝突し、それによって偏向される。光線780は、次いで、TIRを介して、導波管680を辿ってバウンスし、その光分散要素(例えば、OPE)740、次いで、外部結合光学要素(例えば、EP)810に進むであろう。最後に、光線790(例えば、赤色光)は、導波管690を通して通過し、導波管690の光内部結合光学要素720に衝突する。光内部結合光学要素720は、光線が、TIRによって、光分散要素(例えば、OPE)750、次いで、TIRによって、外部結合光学要素(例えば、EP)820に伝搬するように、光線790を偏向させる。外部結合光学要素820は、次いで、最後に、光線790を視認者に外部結合し、視認者はまた、他の導波管670、680からの外部結合した光も受光する。
【0111】
図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。本上下図は、内部結合光学要素800、810、820に向かう光の伝搬方向に見られるように、真正面図とも称され得る、すなわち、上下図は、画像光がページに対して法線に入射する、導波管の図であることを理解されたい。図示されるように、導波管670、680、690は、各導波管の関連付けられる光分散要素730、740、750および関連付けられる外部結合光学要素800、810、820とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素700、710、720は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する(例えば、上下図に見られるように、側方に離間される)。本明細書でさらに議論されるように、本非重複空間配列は、1対1ベースで異なるソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。
【0112】
空間的に重複する面積は、上下図に見られるように、その面積の70%またはそれを上回る、80%またはそれを上回る、または90%またはそれを上回る側方重複を有し得ることを理解されたい。他方では、側方に偏移される面積は、上下図に見られるように、その面積の30%未満が重複する、20%未満が重複する、または10%未満が重複する。いくつかの実施形態では、側方に偏移される面積は、重複を有していない。
【0113】
図9Dは、複数のスタックされた導波管の別の実施例の上下平面図を図示する。図示されるように、導波管670、680、690は、垂直に整合されてもよい。しかしながら、図9Cの構成と比較して、別個の光分散要素730、740、750および関連付けられる外部結合光学要素800、810、820は、省略される。代わりに、光分散要素および外部結合光学要素が、事実上、重畳され、上下図に見られるように、同一面積を占有する。いくつかの実施形態では、光分散要素(例えば、OPE)が、導波管670、680、690の1つの主要表面上に配置されてもよく、外部結合光学要素(例えば、EPE)が、それらの導波管の他の主要表面上に配置されてもよい。したがって、各導波管670、680、690は、集合的に、それぞれ、組み合わせられたOPE/EPE1281、1282、1283と称される、重畳された光分散および外部結合光学要素を有してもよい。そのような組み合わせられたOPE/EPEに関するさらなる詳細は、2018年12月14日に出願された、米国特許出願第16/221,359号(その開示全体は、参照することによって本明細書に組み込まれる)に見出され得る。内部結合光学要素700、710、720は、光を内部結合し、それぞれ、組み合わせられたOPE/EPE1281、1282、1283に指向する。いくつかの実施形態では、図示されるように、内部結合光学要素700、710、720は、偏移された瞳空間配列を有する場合、側方に偏移されてもよい(例えば、それらは、図示される上下図に見られるように、側方に離間される)。図9Cの構成と同様に、本側方に偏移された空間配列は、1対1のベースで、異なる導波管の中への異なる波長の光の投入を促進する(例えば、異なる光源から)。
【0114】
図9Eは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム60の実施例を図示する。いくつかの実施形態では、ディスプレイシステム60は、図6のシステム250であって、図6は、そのシステム60のいくつかの部分をより詳細に図式的に示す。例えば、図6の導波管アセンブリ260は、ディスプレイ70の一部であってもよい。
【0115】
図9Eを継続して参照すると、ディスプレイシステム60は、ディスプレイ70と、そのディスプレイ70の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ70は、フレーム80に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者90によって装着可能であって、ディスプレイ70をユーザ90の眼の正面に位置付けるように構成される。ディスプレイ70は、いくつかの実施形態では、アイウェアと見なされ得る。ディスプレイ70は、内部結合される画像光を中継し、その画像光をユーザ90の眼に出力するように構成される、導波管270等の1つまたはそれを上回る導波管を含んでもよい。いくつかの実施形態では、スピーカ100が、フレーム80に結合され、ユーザ90の外耳道に隣接して位置付けられるように構成される(いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供してもよい)。ディスプレイシステム60はまた、1つまたはそれを上回るマイクロホン110または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム60に提供することを可能にするように構成され(例えば、音声メニューコマンドの選択、自然言語質問等)、および/または他の人物(例えば、類似ディスプレイシステムの他のユーザ)とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ(例えば、ユーザおよび/または環境からの音)を収集してもよい。いくつかの実施形態では、ディスプレイシステム60はさらに、オブジェクト、刺激、人々、動物、場所、またはユーザの周囲の世界の他の側面を検出するように構成される、1つまたはそれを上回る外向きに指向される環境センサ112を含んでもよい。例えば、環境センサ112は、1つまたはそれを上回るカメラを含んでもよく、これは、例えば、ユーザ90の通常の視野の少なくとも一部に類似する画像を捕捉するように外向きに向いて位置してもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ120aを含んでもよく、これは、フレーム80と別個であって、ユーザ90の身体(例えば、ユーザ90の頭部、胴体、四肢等)上に取り付けられてもよい。周辺センサ120aは、いくつかの実施形態では、ユーザ90の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ120aは、電極であってもよい。
【0116】
図9Eを継続して参照すると、ディスプレイ70は、有線導線または無線コネクティビティ等の通信リンク130によって、ローカルデータ処理モジュール140に動作可能に結合され、これは、フレーム80に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ90に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載されてもよい。同様に、センサ120aは、通信リンク120b、例えば、有線導線または無線コネクティビティによって、ローカルデータ処理モジュール140に動作可能に結合されてもよい。ローカル処理およびデータモジュール140は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリまたはハードディスクドライブ)等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。随意に、ローカル処理およびデータモジュール140は、1つまたはそれを上回る中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含んでもよい。データは、a)センサ(画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、ジャイロスコープ、および/または本明細書に開示される他のセンサ(例えば、フレーム80に動作可能に結合される、または別様にユーザ90に取り付けられ得る))から捕捉されるデータ、および/またはb)可能性として、処理または読出後にディスプレイ70への通過のために、遠隔処理モジュール150および/または遠隔データリポジトリ160(仮想コンテンツに関連するデータを含む)を使用して入手および/または処理されるデータを含んでもよい。ローカル処理およびデータモジュール140は、これらの遠隔モジュール150、160が相互に動作可能に結合され、ローカル処理およびデータモジュール140に対するリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク170、180によって、遠隔処理モジュール150および遠隔データリポジトリ160に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール140は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープのうちの1つまたはそれを上回るものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの1つまたはそれを上回るものは、フレーム80に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール140と通信する、独立構造であってもよい。
【0117】
図9Eを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール150は、データおよび/または画像情報を分析および処理するように構成される、1つまたはそれを上回るプロセッサを備えてもよく、例えば、1つまたはそれを上回る中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含む。いくつかの実施形態では、遠隔データリポジトリ160は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ160は、1つまたはそれを上回る遠隔サーバを含んでもよく、これは、情報、例えば、仮想コンテンツを生成するための情報をローカル処理およびデータモジュール140および/または遠隔処理モジュール150に提供する。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。随意に、CPU、GPU等を含む、外部システム(例えば、1つまたはそれを上回るプロセッサ、1つまたはそれを上回るコンピュータのシステム)が、処理(例えば、画像情報を生成する、データを処理する)の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール140、150、160に提供し、情報をそこから受信してもよい。

感度測定値
【0118】
上記に説明されるように、ディスプレイデバイス(例えば、ディスプレイデバイス60)が、ユーザに関する健康情報を提供するために使用されてもよい。異なる構成を伴う、および/または異なる眼球運動測定プロトコルを実装する、ディスプレイデバイス等のあるディスプレイデバイスは、ある生理学的条件および/または人物のあるコホートにより敏感であり得る。説明されるであろうように、対照母集団と実験母集団との間の距離測定値を表す、感度測定値が、決定されてもよい。感度測定値は、ディスプレイデバイスの特定の構成および/または特定の眼球運動測定プロトコルに関して決定されてもよい。異なる感度測定値が、比較され(例えば、「A/B」比較)、異なる構成および/または眼球運動測定プロトコルが容易に比較されることを可能にしてもよい。このように、ある構成および/または眼球運動測定プロトコルは、実験母集団に対して有利である(例えば、最も敏感である)ことが決定され得る。
【0119】
感度測定値を決定するために、眼追跡情報が、システムによって取得および分析されてもよい。眼追跡情報は、対照母集団および実験母集団に関する眼追跡メトリックを含んでもよい。これらの眼追跡メトリックは、対照および実験母集団内の人物が、ディスプレイデバイスの同一構成を使用しており、および/または同一眼球運動測定プロトコルを視認している間に取得される、異なるメトリックを表し得る。眼追跡メトリックに基づいて、本システムは、次いで、本明細書に説明される感度測定値を決定してもよい。
【0120】
ユーザの眼の追跡に関連する例示的説明は、米国特許公開第2019/0243448号(その全体が、参照することによって本明細書に組み込まれる)内に含まれる。ユーザの眼の追跡および健康および/または条件情報の決定に関連するさらなる例示的説明は、米国特許公開第2016/0270656号内に含まれる。
【0121】
図10は、感度測定値を決定するための例示的プロセス1000に関するフローチャートである。便宜上、プロセス1000は、1つまたはそれを上回るコンピュータのシステムによって実施されるものとして説明されるであろう。例示的システムは、随意に、情報をユーザによって使用される例示的ディスプレイデバイスに提供してもよい。例えば、本システムは、同一構成と関連付けられる、ディスプレイデバイスから、眼追跡情報を要求してもよい。別の実施例として、本システムは、同一眼球運動測定プロトコルを使用するデバイス等のディスプレイデバイスから、眼追跡情報を要求してもよい。いくつかの実施形態では、本システムは、ディスプレイデバイスに、特定の構成をとり、および/または特定の眼球運動測定プロトコルを使用するように命令してもよい。
【0122】
ブロック1002では、本システムは、対照母集団および実験母集団に関する眼追跡情報を取得する。本システムは、対照母集団および実験母集団内に含まれるユーザによって使用されるディスプレイデバイスから、眼追跡情報を取得してもよい。これらのディスプレイデバイスは、同一画像センサ等の同一構成、画像センサの同一設置、眼を追跡するための同一技法等を有してもよい。加えて、これらのディスプレイデバイスは、同一眼球運動測定プロトコルを実装してもよい。例えば、眼球運動測定プロトコルは、特定の仮想コンテンツを定義し、ユーザに提示してもよい。実験母集団は、随意に、1つまたはそれを上回る同一生理学的条件を有し、および/または同一コホート内に含まれる、ユーザを含んでもよい。
【0123】
眼追跡情報は、対照母集団および実験母集団内に含まれる各ユーザに対する眼追跡メトリックを反映させ得る。これらのメトリックは、例えば、各ユーザによって使用されるディスプレイデバイスによって決定されてもよい。いくつかの実施形態では、本システムは、未加工眼追跡情報を受信してもよく、眼追跡メトリックを決定してもよい。例えば、未加工眼追跡情報は、ユーザの眼と関連付けられる、位置情報を示してもよい。例示的眼追跡メトリックは、待ち時間情報、眼加速情報、サッカード情報、応答性情報、眼の移動経路等を含んでもよい。いくつかの例示的眼追跡メトリックは、「Oculometric Assessment of Sensorimotor Impairment Associated with TBI」にさらに詳細に説明され、これは、本明細書に記載される場合と同様に、参照することによって組み込まれ、本開示の一部を形成する。
【0124】
参照を容易にするために、対照母集団内に含まれるN人のユーザとともに、「M」個の眼追跡メトリックが存在し得る。本システムは、いくつかの実施形態では、本情報をN行×M列の行列の中に編成し得る。加えて、実験母集団内に含まれるQ人のユーザが存在し得る。
【0125】
ブロック1004では、本システムは、対照母集団情報に基づいて、対照および実験母集団情報をスケーリングする。いくつかの実施形態では、本システムは、対照母集団を横断した眼追跡メトリックの中央値および標準偏差を決定する。したがって、本システムは、眼追跡メトリックの中心傾向(例えば、中央値、平均値、最頻値)の測定値を備える、[1×M]ベクトルを算出してもよい。加えて、本システムは、対照母集団の眼追跡メトリックに基づいて、共分散行列を決定してもよい。本共分散行列は、したがって、[M×M]行列であり得る。
【0126】
本システムは、次いで、中央値および標準偏差に基づいて、対照母集団情報をスケーリングしてもよい。例えば、M人の対照母集団ユーザの各々に対し、本システムは、中央値を減算し、対応する眼追跡メトリックに関する標準偏差によってスケーリングしてもよい。
【0127】
いくつかの実施形態では、本システムは、中央値および標準偏差に基づいて、実験母集団情報をスケーリングしてもよい。例えば、Q人の実験母集団ユーザの各々に対し、本システムは、中央値を減算し、対応する眼追跡メトリックに関する標準偏差によってスケーリングしてもよい。
【0128】
ブロック1006では、本システムは、感度測定値を決定する。上記に説明されるように、本システムは、対照母集団と実験母集団との間の距離測定値を表す、値(例えば、スカラー値)を決定してもよい。このように、感度測定値は、眼追跡情報に基づいて、対照母集団内のユーザと実験母集団内のユーザとを弁別する、ディスプレイデバイスの感度を反映させ得る。
【0129】
いくつかの実施形態では、本システムは、対照母集団および実験母集団内の各ユーザに対するスカラーインデックスを決定する。スカラーインデックスは、尤度メトリックを表し得、ユーザのスケーリングされた眼追跡メトリックと所定のテンプレートとの間のドット積として算出され得る。テンプレートは、当技術分野において公知のように、欠点または改良点のためのテンプレートを表し得る。本ドット積は、次いで、対照母集団の共分散行列内のクラスタ化を考慮するようにスケーリングされてもよい。このように、対照母集団に関する単位正規分布(例えば、ゼロ平均値、単位分散)が、達成され得る。
【0130】
これらのスカラーインデックスは、次いで、対照母集団に関する[1×N]ベクトルおよび実験母集団に関する[1×Q]ベクトル内に含まれてもよい。
【0131】
本システムは、これらのスカラーインデックスに基づいて、感度測定値を決定する。例えば、本システムは、対照母集団が単位法線であることに基づいて、d’距離測定値を算出してもよい。例えば、本システムは、以下を算出してもよい。
【化1】
式中、「std」は、標準偏差演算を表す。
【0132】
例示的感度測定値d’を伴う例示的表が、表1に関して下記に再現される。
【表1】
【0133】
いくつかの実施形態では、感度値(例えば、d’)が0から離れるほど、特定の構成および/または眼球運動測定プロトコルの感度は、生理学的条件および/またはコホートに関して高くなる。例えば、表1は、ディスプレイデバイスの特定の構成と関連付けられ得る。表1は、異なる実験母集団および関連付けられる情報を反映させる。本実施例では、特定の構成は、HE代償性のユーザと比較して、肝性脳症(HE)(非代償性)を有するユーザを含む、実験母集団により敏感であり得る。
【0134】
図11は、感度測定値を決定するための例示的プロセス1000に関するフローチャートである。便宜上、プロセス1100は、1つまたはそれを上回るコンピュータのシステムによって実施されるものとして説明されるであろう(例えば、図10に説明されるシステム)。
【0135】
ブロック1102では、本システムは、第1の感度測定値と、第2の感度測定値とを取得する。第1の感度測定値および第2の感度測定値は、同一または実質的に類似する実験母集団と、同一または実質的に類似する対照母集団とに関して生成されている。例えば、実験母集団は、同一コホート内に該当し、および/または同一生理学的条件を伴うユーザを含み得る。
【0136】
ブロック1104では、本システムは、第1および第2の感度測定値に関するディスプレイデバイス構成および/または眼球運動測定プロトコルを識別する情報にアクセスする。例えば、第1の感度測定値は、第2の感度測定値と比較して、異なる構成を伴うディスプレイデバイスからの眼追跡情報に基づいて生成されていてもよい。例示的な異なる構成は、眼移動が追跡される、異なる周波数を含んでもよい。別の実施例として、第1の感度測定値は、異なる眼球運動測定プロトコルを実装するディスプレイデバイスからの眼追跡情報に基づいて、生成されていてもよい。例示的な異なる眼球運動測定プロトコルは、異なる視覚的刺激を提示する、刺激を異なる知覚深度または深度面に提示すること等を含んでもよい。したがって、第1および第2の感度測定値は、刺激を異なる深度面に(例えば、異なる深度面上に)提示することに基づいて生成されていてもよい。
【0137】
ブロック1106では、本システムは、A/B比較を実施する。本システムは、第1の感度測定値と第2の感度測定値を、それらの間の比を決定すること等によって、比較してもよい。本システムは、したがって、実験母集団により敏感である、感度測定値を決定し得る。いくつかの実施形態では、本システムは、実験母集団に関する多数の感度測定値を比較してもよい。これらの比較に基づいて、本システムは、より高い感度を示す、または別様に、それと相関するように現れる、ある特徴を決定してもよい。例えば、本システムは、実験母集団に関するより高い感度と関連付けられる、画像センサのある配置を決定し得る。
【0138】
一般に、本システムは、異なる認知ドメイン、すなわち、注意、インパルス制御、感覚運動性能、記憶、オブジェクト特徴の結合、または生理学的兆候(例えば、振戦)を査定するように設計されるタスクを使用して、疾患をスクリーニングする能力を評価し得る。例えば、記憶タスクは、海馬内に形成され、外向きに拡散する等の疾患プロセスを伴う、アルツハイマー病の早期兆候を検出するために、平滑追従タスクより効果的であり得る。
【0139】
感度測定値に基づいて、本システムは、実験母集団に最も敏感である、特定の構成および/または特定の眼球運動測定プロトコルを決定してもよい。ディスプレイデバイスのユーザは、いくつかの実施形態では、ユーザが特定の実験母集団内に該当するかどうかを決定するための試験を受けてもよい。例えば、ディスプレイデバイスは、ユーザが、最初に、ディスプレイデバイスを装着すると、および/またはユーザが、試験を実施するオプションを選択すると、試験を実施してもよい。
【0140】
実施例として、ディスプレイデバイスは、その構成のある特徴を調節してもよい。例えば、ディスプレイデバイスは、その画像センサを回転、移動等させ、ユーザの眼の画像を取得してもよい、または感度を増加させるための調節を行うための命令を提供してもよい(例えば、ユーザに)。ディスプレイデバイスはまた、照明(例えば、光の量、照明周波数等)を調節してもよい。ディスプレイデバイスはまた、ユーザの眼を追跡するための技法を調節してもよい。これらの調節は、ディスプレイデバイスに、ある実験母集団に最も敏感である、異なる構成をとらせ得る。各構成に対し、ディスプレイデバイスは、ユーザが関連付けられる実験母集団内に該当するかどうかを決定してもよい。実施例として、ディスプレイデバイスは、ユーザのために眼追跡メトリックを生成してもよい。ディスプレイデバイスは、次いで、眼追跡メトリックと関連付けられる実験母集団内のユーザに関する眼追跡との間の類似性の測定値を決定してもよい。ディスプレイデバイスはまた、ユーザの眼追跡メトリックを実験母集団として使用して、上記に説明されるプロセス1000を実施してもよい。結果として生じる感度測定値に基づいて、本システムは、ユーザが関連付けられる実験母集団内に該当するかどうかを決定してもよい。
【0141】
同様に、ディスプレイデバイスは、眼球運動測定プロトコルを調節してもよい。例えば、ディスプレイデバイスは、本明細書に説明されるように、異なる仮想コンテンツを出力してもよい。いくつかの実施形態では、ディスプレイデバイスは、その構成を調節し、また、眼球運動測定プロトコルを調節してもよい。
他の実施形態
【0142】
本発明の種々の例示的実施形態が、本明細書に説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。
【0143】
例えば、有利なこととして、複数の深度面を横断して画像を提供する、ARディスプレイとともに利用されるが、本明細書に開示される仮想コンテンツはまた、画像を単一深度面上に提供する、システムによって表示されてもよい。
【0144】
加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例はそれぞれ、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを意図している。
【0145】
本発明は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、ユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順番およびイベントの列挙された順序で行なわれてもよい。
【0146】
加えて、本明細書に説明される、および/または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0147】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0148】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(140)、遠隔処理モジュール(150)、および遠隔データリポジトリ(160)のうちの1つまたはそれを上回るものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0149】
本明細書に説明される、および/または添付される図に描写される任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切である他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
【0150】
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本発明の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの実施形態に関しても当てはまり得る。
【0151】
加えて、本発明は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して検討されるように説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、均等物(本明細書に列挙されるか、またはある程度の簡潔目的のために含まれていないかにかかわらず)が、本発明の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本発明内に包含されるものと理解されたい。
【0152】
また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の1つまたはそれを上回るものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、存在する複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられる請求項で使用されるように、単数形「a」、「an」、「said」、および「the」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも1つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「~ を備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。
【0153】
故に、請求項は、本明細書に示される実施形態に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
図1
図2
図3A
図3B
図3C
図4A
図4B
図4C
図4D
図5
図6
図7
図8
図9A
図9B
図9C
図9D
図9E
図10
図11