IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マジック リープ, インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-27
(45)【発行日】2024-09-04
(54)【発明の名称】非球面角膜モデルを使用した眼追跡
(51)【国際特許分類】
   G06F 3/01 20060101AFI20240828BHJP
   G06F 3/0346 20130101ALI20240828BHJP
   G06F 3/038 20130101ALI20240828BHJP
【FI】
G06F3/01 510
G06F3/0346 423
G06F3/038 310A
【請求項の数】 18
(21)【出願番号】P 2023501582
(86)(22)【出願日】2021-07-14
(65)【公表番号】
(43)【公表日】2023-08-08
(86)【国際出願番号】 US2021041618
(87)【国際公開番号】W WO2022015847
(87)【国際公開日】2022-01-20
【審査請求日】2024-06-19
(31)【優先権主張番号】63/052,392
(32)【優先日】2020-07-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/139,750
(32)【優先日】2021-01-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/140,202
(32)【優先日】2021-01-21
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】チャン, リッチモンド ビー.
(72)【発明者】
【氏名】ジャオ, ウェンイー
(72)【発明者】
【氏名】ウー, ビン
【審査官】三田村 陽平
(56)【参考文献】
【文献】特表2019-512726(JP,A)
【文献】特開2011-081807(JP,A)
【文献】米国特許出願公開第2019/0042842(US,A1)
【文献】米国特許出願公開第2011/0069277(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048- 3/04895
G06F 3/033- 3/039
G02B 27/00 -30/60
G09G 5/00 - 5/42
H04N 5/64 - 5/655
A61B 3/00 - 3/18
(57)【特許請求の範囲】
【請求項1】
光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムであって、前記眼は、角膜と、瞳孔とを有し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成される、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
複数の光エミッタと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記1つ以上の眼追跡カメラによって捕捉された前記ユーザの眼の画像を受信することであって、異なる光エミッタの閃光反射が、前記1つ以上の眼追跡カメラによって捕捉された前記眼の画像内で観察可能である、ことと、
前記1つ以上の眼追跡カメラによって捕捉された前記画像内の前記閃光反射の場所に少なくとも部分的に基づいて、前記ユーザの眼の角膜中心の場所を推定することと
を行うように構成され、
前記処理電子機器は、前記角膜の非球面モデルを数値計算において採用し、前記ユーザの眼の前記角膜中心の場所を推定する、処理電子機器と
を備え
前記処理電子機器は、加えて、前記角膜の球面モデルをさらなる数値計算において採用し、前記角膜中心の場所を推定し、
前記角膜の球面モデルから決定される前記角膜中心の推定値は、前記角膜中心の場所を決定するために、前記数値計算において前記非球面モデルに適用される、ディスプレイシステム。
【請求項2】
前記角膜の前記球面モデルは、前記1つ以上の眼追跡カメラによって生産された前記画像内の前記閃光反射の場所と、前記1つ以上の追跡カメラの場所と、個別の閃光反射を生産した前記エミッタの場所とに基づいて、前記角膜中心の場所を決定するために、前記さらなる数値計算において使用される、請求項に記載のディスプレイシステム。
【請求項3】
前記処理電子機器は、反復プロセスを使用して、前記角膜中心の推定値を決定するようにさらに構成される、請求項1に記載のディスプレイシステム。
【請求項4】
前記非球面モデルは、光エミッタの場所に基づいて、前記閃光反射の場所を予測するために使用される、請求項1に記載のディスプレイシステム。
【請求項5】
前記非球面モデルに基づいて予測される前記閃光反射の場所は、球面表面の曲率の中心を決定するために使用される、請求項に記載のディスプレイシステム。
【請求項6】
前記処理電子機器は、球面モデルを使用して、非球面表面の1つ以上のパラメータを決定するように構成される、請求項1に記載のディスプレイシステム。
【請求項7】
前記処理電子機器は、非球面モデルを使用して、球面表面の1つ以上のパラメータを決定するように構成される、請求項1に記載のディスプレイシステム。
【請求項8】
前記非球面モデルは、回転対称である非球面表面を備える、請求項1に記載のディスプレイシステム。
【請求項9】
前記非球面モデルは、非回転対称である表面を備える、請求項1に記載のディスプレイシステム。
【請求項10】
前記ユーザの眼を結像するように構成される前記1つ以上の眼追跡カメラは、第1および第2の眼追跡カメラを備える、請求項1に記載のディスプレイシステム。
【請求項11】
前記処理電子機器は、
前記第1の眼追跡カメラによって生産された1つ以上の画像内の前記閃光反射の場所に基づいて、かつ前記第1の眼追跡カメラの場所および前記閃光反射を生産した前記エミッタの場所に基づいて、前記ユーザの眼の角膜曲率の中心に向かった第1の方向を決定することと、
前記第2の眼追跡カメラによって生産された1つ以上の画像内の前記閃光反射の場所に基づいて、かつ前記第2の眼追跡カメラの場所および前記閃光反射を生産した前記エミッタの場所に基づいて、前記ユーザの眼の前記角膜中心に向かった第2の方向を決定することと
を行うようにさらに構成される、請求項10に記載のディスプレイシステム。
【請求項12】
前記処理電子機器は、前記ユーザの眼の前記角膜中心に向かった前記第1および第2の方向に基づいて、前記ユーザの眼の前記角膜中心の場所を推定するようにさらに構成される、請求項11に記載のディスプレイシステム。
【請求項13】
前記処理電子機器は、前記第1および第2の方向の収束に基づいて、前記ユーザの眼の角膜中心の推定値を取得するようにさらに構成される、請求項11に記載のディスプレイシステム。
【請求項14】
前記処理電子機器は、異なる眼姿勢に関する前記ユーザの眼の前記角膜中心の複数の決定に基づいて、前記ユーザの眼の前記角膜中心の推定値を取得するようにさらに構成される、請求項に記載のディスプレイシステム。
【請求項15】
前記処理電子機器は、前記角膜中心を使用して、前記非球面モデルの適用のための非球面表面の配向の推定値を取得するようにさらに構成される、請求項1に記載のディスプレイシステム。
【請求項16】
前記処理電子機器は、前記第1および第2の眼追跡カメラによって取得される画像から決定される角膜中心の推定値と、瞳孔中心を通して通過する複数のベクトルの収束の推定値とに基づいて、前記非球面モデルの適用のための非球面表面の配向の推定値を取得するようにさらに構成される、請求項10に記載のディスプレイシステム。
【請求項17】
前記1つ以上の眼追跡カメラは、前記ユーザの眼を結像するように構成される第1、第2、および第3の眼追跡カメラを備え、前記処理電子機器は、前記第1、第2、および第3の眼追跡カメラと通信し、前記光エミッタの前記閃光反射、前記第1、第2、および第3の眼追跡カメラによって捕捉された前記眼の画像内で観察可能である、請求項1に記載のディスプレイシステム。
【請求項18】
前記処理電子機器は、前記第1および第3の眼追跡カメラによって決定された前記ユーザの眼のパラメータと、前記第1および第2の眼追跡カメラによって決定された前記ユーザの眼のパラメータとに基づいて、前記ユーザの眼の前記角膜中心を推定するようにさらに構成される、請求項17に記載のディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本特許出願は、米国特許法第119条(e)下、参照することによってその全体として本明細書に組み込まれる、2020年7月15日に出願され、「EYE TRACKING USING ASPHERIC CORNEA MODEL」と題された、米国仮出願第63/052392号、2021年1月20日に出願され、「EYE TRACKING USING ASPHERIC CORNEA MODEL」と題された、米国仮出願第63/139750号、および2021年1月21日に出願され、「EYE TRACKING USING ASPHERIC CORNEA MODEL」と題された、米国仮出願第63/140202号の優先権を主張する。
【0002】
本願は、参照することによって本明細書に組み込まれる、「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題され、2019年1月17日に出願された、米国出願第16/250,931号、および2019年8月8日に公開された、対応する米国公開第2019/0243448A1号、および「IRIS BOUNDARY ESTIMATION USING CORNEA CURVATURE」と題され、2018年1月18日に公開された、米国特許公開第2018/0018515号に関連する。前述の特許出願、および「EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS」と題され、2020年7月15日に出願された、国際出願第PCT/US2020/042178号、および2021年1月21日に公開された、対応する国際公開第WO2021/011686号はそれぞれ、あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる。
【0003】
(分野)
本開示は、ディスプレイシステム、仮想現実、および拡張現実結像および可視化システムに関し、より具体的には、角膜データを使用して計算される眼の回転中心を使用した眼追跡に関する。
【背景技術】
【0004】
(背景)
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実、すなわち、「MR」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、VR、AR、またはMR技術を生産することは、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、およびMR技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【0005】
(要約)
複合現実システムにおける深度面選択の種々の実施例が、開示される。
【0006】
ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成されることができる。ユーザの眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し得る。ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの1つにおいて、光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる時間周期において生じるように現れる、ディスプレイと、ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、該1つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の推定値を取得するように構成される、処理電子機器とを含むことができる。
【0007】
処理電子は、加えて、該角膜の球面および/または非球面モデルを使用して、該眼の角膜曲率の中心の場所を推定してもよい。ある場合には、処理電子機器は、該球面および/または非球面モデルを数値計算において使用して、値(例えば、基準フレームまたは座標系に対するx、y、zまたはr、θ、φ等の1つ以上の座標によって記述されるx、y、z場所等の3次元場所)を決定する、または該1つ以上のカメラによって生産された画像内の閃光反射の場所と、1つ以上の追跡カメラの場所と、該個別の閃光反射を生産したエミッタの場所とに基づいて、角膜曲率の中心の場所を推定する。いくつかの実装では、角膜曲率の中心の場所は、眼カメラの基準フレームまたは座標系、または頭部搭載型ディスプレイに対する固定された基準フレームに対して決定されてもよい。
【0008】
光をユーザの片眼または両眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示する、下記に列挙される実施例等のディスプレイシステムの種々の実施例が、本明細書に説明される。
【0009】
実施例1:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、複数の光エミッタと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射は、第1および第2の眼追跡カメラによって捕捉された眼の画像内で観察可能であって、該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第1および第2の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0010】
実施例2:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、複数の光エミッタと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射は、第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ該第1および第2の眼追跡カメラの両方の場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の該回転中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0011】
実施例3:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、ユーザの眼を結像するように構成される、複数の眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、複数の閃光に基づいて、該眼の回転中心の推定値を取得するステップとを含み、該眼の回転中心の推定値を取得するステップは、複数の閃光に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定するステップと、3次元表面を角膜曲率の中心の複数の推定値から生成するステップと、3次元表面を使用して、ユーザの眼の回転中心の推定値を決定するステップとを含む、方法。
【0012】
実施例4:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、ユーザの眼の複数の対の捕捉された画像を第1および第2の眼追跡カメラから受信し、それぞれ、第1および第2の眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得し、個別の第1および第2の眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に基づいて、3次元表面を決定し、3D表面の曲率の中心を識別し、ユーザの眼の回転中心の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0013】
実施例5:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、第1および第2の場所において眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0014】
実施例6:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、第1の場所および第2の場所において眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ該眼追跡カメラの第1および第2の場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の該回転中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0015】
実施例7:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、ユーザの眼を結像するように構成される、眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、複数の閃光に基づいて、該眼の回転中心の推定値を取得するステップとを含み、該眼の回転中心の推定値を取得するステップは、複数の閃光に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定するステップと、3次元表面を角膜曲率の中心の複数の推定値から生成するステップと、3次元表面を使用して、ユーザの眼の回転中心の推定値を決定するステップとを含む、方法。
【0016】
実施例8:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、ユーザの眼の複数の対の捕捉された画像を眼追跡カメラから受信し、それぞれ、眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得し、眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に基づいて、3次元表面を決定し、3D表面の曲率の中心を識別し、ユーザの眼の回転中心の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0017】
実施例9:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、少なくとも1つの眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、第1および第2の場所において少なくとも1つの眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該少なくとも1つの眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0018】
実施例10:光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、瞳孔とを有し、該ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、複数の光エミッタと、ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、異なる光エミッタの閃光反射が1つ以上の追跡カメラによって捕捉された該眼の画像内で観察可能である、1つ以上の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、少なくとも部分的に、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定するように構成され、該処理電子機器は、該角膜の非球面モデルを数値計算において使用し、該ユーザの眼の角膜曲率の中心の該場所を推定する、処理電子機器とを備える、ディスプレイシステム。
【0019】
実施例11:光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、瞳孔とを有し、該ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、複数の光エミッタと、ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、異なる光エミッタの閃光反射が1つ以上の追跡カメラによって捕捉された該眼の画像内で観察可能である、1つ以上の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、ユーザの眼の第1のパラメータを推定するように構成され、該処理電子機器は、該角膜の非球面モデルを数値計算において使用し、該ユーザの眼の第1のパラメータを推定する、処理電子機器とを備える、ディスプレイシステム。
【0020】
上記の実施例または付加的実施例のいずれかは、組み合わせられることができる。加えて、上記の実施例または付加的実施例のいずれかは、頭部搭載型ディスプレイと統合されることができる。加えて、上記の実施例または付加的実施例のいずれかは、単一深度面および/または1つ以上の可変深度面を用いて実装されることができる(例えば、経時的に変動する遠近調節キューを提供する、可変集束力を伴う、1つ以上の要素)。
【0021】
さらに、限定ではないが、解剖学的、光学的、および幾何学的特徴、場所、および配向等の種々の値、パラメータを決定するための装置および方法が、本明細書に開示される。そのようなパラメータの実施例は、例えば、眼の回転中心、角膜曲率の中心、瞳孔中心、瞳孔の境界、虹彩の中心、虹彩の境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心を含むが、これらに限定ではない。本明細書に列挙されるような値、パラメータ等の決定は、その推定値を含み、必ずしも、実際の値と精密に一致する必要はない。例えば、眼の回転中心、角膜曲率の中心、瞳孔または虹彩の中心または境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心等の決定は、推定値、近似値、またはそれに近い値であって、実際の(例えば、解剖学的、光学的、または幾何学的)値またはパラメータと同一ではなくてもよい。ある場合には、例えば、二乗平均平方根推定技法が、そのような値の推定値を取得するために使用される。実施例として、本明細書に説明されるある技法は、光線またはベクトルが交差する、場所または点を識別することに関する。しかしながら、そのような光線またはベクトルは、交差しなくてもよい。本実施例では、場所または点は、推定されてもよい。例えば、場所または点は、二乗平均平方根または他の推定技法に基づいて決定されてもよい(例えば、場所または点は、光線またはベクトルに近いまたは最も近いものであるように推定されてもよい)。他のプロセスもまた、近似値を推定する、または別様に、実際の値と一致しない場合がある値を提供するために使用されてもよい。故に、用語「~を決定する」および「~を推定する」または「決定される」および「推定される」は、本明細書では、同義的に使用される。そのような決定された値の参照は、したがって、推定値、近似値、または実際の値に近い値を含み得る。故に、上記または本明細書のいずれかの場所のパラメータまたは値の決定の参照は、実際の値に精密に限定されるべきではなく、推定値、近似値、またはそれに値に近い値を含んでもよい。
【0022】
本明細書に説明される主題の1つ以上の実装の詳細が、付随の図面および下記の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
(項目1)
光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムであって、前記眼は、角膜と、瞳孔とを有し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成される、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
複数の光エミッタと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記異なる光エミッタの閃光反射が前記1つ以上の追跡カメラによって捕捉された前記眼の画像内で観察可能である前記1つ以上の眼追跡カメラによって捕捉された前記ユーザの眼の画像を受信することと、
少なくとも部分的に、前記1つ以上の眼追跡カメラによって生産された前記画像内の前記閃光反射の場所に基づいて、前記ユーザの眼の角膜中心の場所を推定することと
を行うように構成され、
前記処理電子機器は、前記角膜の非球面モデルを数値計算において使用し、前記ユーザの眼の角膜中心の場所を推定する、処理電子機器と
を備える、ディスプレイシステム。
(項目2)
前記処理電子機器は、加えて、前記角膜の球面モデルを数値計算において採用し、前記角膜中心の場所を推定する、項目1に記載のディスプレイシステム。
(項目3)
前記角膜の球面モデルは、数値計算において使用され、1つ以上の眼追跡カメラによって生産された前記画像内の前記閃光反射の場所と、1つ以上の追跡カメラの場所と、個別の閃光反射を生産した前記エミッタの場所とに基づいて、前記角膜中心の場所を決定する、項目2に記載のディスプレイシステム。
(項目4)
前記角膜の球面モデルから決定される前記角膜中心の推定値は、数値計算において前記非球面モデルに適用され、前記角膜中心の場所を決定する、項目2または3に記載のディスプレイシステム。
(項目5)
前記処理電子機器は、反復プロセスを使用して、前記角膜中心の推定値を決定するように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目6)
前記非球面モデルは、光エミッタの場所に基づいて、複数の閃光の場所を予測するために使用される、上記項目のいずれかに記載のディスプレイシステム。
(項目7)
前記非球面モデルに基づいて予測される前記閃光の場所は、球面表面の曲率の中心を決定するために使用される、項目6に記載のディスプレイシステム。
(項目8)
前記処理電子機器は、球面モデルを使用して、非球面表面の1つ以上のパラメータを決定するように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目9)
前記処理電子機器は、非球面モデルを使用して、球面表面の1つ以上のパラメータを決定するように構成される、上記項目のいずれかに記載のディスプレイシステム。
(項目10)
前記非球面モデルは、回転対称である非球面表面を備える、上記項目のいずれかに記載のディスプレイシステム。
(項目11)
前記非球面モデルは、非回転対称である表面を備える、上記項目のいずれかに記載のディスプレイシステム。
(項目12)
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラは、第1および第2の眼追跡カメラを備える、項目1に記載のディスプレイシステム。
(項目13)
前記処理電子機器は、
前記第1の眼追跡カメラによって生産された1つ以上の画像内の前記閃光反射の場所に基づいて、かつ前記第1の眼追跡カメラの場所および前記閃光反射を生産した前記エミッタの場所に基づいて、前記ユーザの眼の角膜曲率の中心に向かった第1の方向を決定することと、
前記第2の眼追跡カメラによって生産された1つ以上の画像内の前記閃光反射の場所に基づいて、かつ前記第2の眼追跡カメラの場所および前記閃光反射を生産した前記エミッタの場所に基づいて、前記ユーザの眼の角膜中心に向かった第2の方向を決定することと
を行うように構成される、項目12に記載のディスプレイシステム。
(項目14)
前記処理電子機器は、前記ユーザの眼の角膜中心に向かった前記第1および第2の方向に基づいて、前記ユーザの眼の角膜中心の場所を推定するように構成される、項目13に記載のディスプレイシステム。
(項目15)
前記処理電子機器は、
前記第1および第2の方向の収束に基づいて、前記ユーザの眼の角膜中心の推定値を取得するように構成される、
項目12-14のいずれかに記載のディスプレイシステム。
(項目16)
前記処理電子機器は、異なる眼姿勢に関する前記ユーザの眼の角膜中心の複数の決定に基づいて、前記ユーザの眼の角膜中心の推定値を取得するように構成される、項目12-15のいずれかに記載のディスプレイシステム。
(項目17)
前記処理電子機器は、前記角膜中心を使用して、前記非球面モデルの適用のための非球面表面の配向の推定値を取得するように構成される、上記の項目のいずれかに記載のディスプレイシステム。
(項目18)
前記処理電子機器は、前記第1および第2の眼追跡カメラによって取得される画像から決定される角膜中心の推定値と、瞳孔中心を通して通過する複数のベクトルの収束の推定値とに基づいて、前記非球面モデルの適用のための非球面表面の配向の推定値を取得するように構成される、項目12-17のいずれかに記載のディスプレイシステム。
(項目19)
前記少なくとも1つの眼追跡カメラは、前記ユーザの眼を結像するように構成される第1、第2、および第3の眼追跡カメラを備え、前記処理電子機器は、前記第1、第2、および第3の眼追跡カメラと通信し、光エミッタの閃光反射が、前記第1、第2、および第3の眼追跡カメラによって捕捉された前記眼の画像内で観察可能である、上記項目のいずれかに記載のディスプレイシステム。
(項目20)
前記処理電子機器は、前記第1および第3の眼追跡カメラによって決定された前記ユーザの眼のパラメータと、前記第1および第2の眼追跡カメラによって決定された前記ユーザの眼のパラメータとに基づいて、前記ユーザの眼の角膜中心を推定するように構成される、項目19に記載のディスプレイシステム。
【図面の簡単な説明】
【0023】
図1図1は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
【0024】
図2図2は、ウェアラブルシステムの実施例を図式的に図示する。
【0025】
図3図3は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。
【0026】
図4図4は、画像情報をユーザに出力するためのウェアラブルデバイスの導波管スタックの実施例を図式的に図示する。
【0027】
図5図5は、眼の実施例を図式的に図示する。
【0028】
図5A図5Aは、眼の眼姿勢を決定するための例示的座標系を図式的に図示する。
【0029】
図6図6は、眼追跡システムを含む、ウェアラブルシステムの概略図である。
【0030】
図7A図7Aは、眼追跡システムを含む、ウェアラブルシステム内で使用され得る、例示的眼追跡モジュールのブロック図である。
【0031】
図7B図7Bは、ウェアラブルシステム内のレンダリングコントローラのブロック図である。
【0032】
図7C図7Cは、眼の光学軸および視軸と、眼の回転中心とを含む、眼の実施例を図示する。
【0033】
図8A図8Aは、眼の角膜球面を示す、眼の概略図である。
【0034】
図8B図8Bは、眼追跡カメラによって検出される、例示的角膜閃光を図示する。
【0035】
図8C図8C-8Eは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの角膜中心を位置特定する、例示的段階を図示する。
図8D図8C-8Eは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの角膜中心を位置特定する、例示的段階を図示する。
図8E図8C-8Eは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの角膜中心を位置特定する、例示的段階を図示する。
【0036】
図9A図9A-Eは、眼追跡モジュールによる使用のための眼画像データを捕捉するためのウェアラブルシステムの例示的構成の図を図示する。
図9B図9A-Eは、眼追跡モジュールによる使用のための眼画像データを捕捉するためのウェアラブルシステムの例示的構成の図を図示する。
図9C図9A-Eは、眼追跡モジュールによる使用のための眼画像データを捕捉するためのウェアラブルシステムの例示的構成の図を図示する。
図9D図9A-Eは、眼追跡モジュールによる使用のための眼画像データを捕捉するためのウェアラブルシステムの例示的構成の図を図示する。
図9E図9A-Eは、眼追跡モジュールによる使用のための眼画像データを捕捉するためのウェアラブルシステムの例示的構成の図を図示する。
【0037】
図10図10は、眼追跡モジュールによって実施され得る、例示的回転中心(CoR)決定プロセスのグラフィック図を示す。
【0038】
図11図11は、推定される回転中心を決定するための眼追跡モジュールによって使用される、任意の眼上の閃光の例示的画像を示す。
【0039】
図12A図12A-Dは、第1の閃光、閃光の画像を捕捉するカメラ、および第1の閃光を生産する照明源の場所を含む、第1の平面の例示的決定におけるステップを図示する。
図12B図12A-Dは、第1の閃光、閃光の画像を捕捉するカメラ、および第1の閃光を生産する照明源の場所を含む、第1の平面の例示的決定におけるステップを図示する。
図12C図12A-Dは、第1の閃光、閃光の画像を捕捉するカメラ、および第1の閃光を生産する照明源の場所を含む、第1の平面の例示的決定におけるステップを図示する。
図12D図12A-Dは、第1の閃光、閃光の画像を捕捉するカメラ、および第1の閃光を生産する照明源の場所を含む、第1の平面の例示的決定におけるステップを図示する。
【0040】
図13A図13A-Dは、第2の閃光、カメラ、および第2の閃光を生産する照明源の場所を含む、第2の平面の例示的決定におけるステップを図示する。
図13B図13A-Dは、第2の閃光、カメラ、および第2の閃光を生産する照明源の場所を含む、第2の平面の例示的決定におけるステップを図示する。
図13C図13A-Dは、第2の閃光、カメラ、および第2の閃光を生産する照明源の場所を含む、第2の平面の例示的決定におけるステップを図示する。
図13D図13A-Dは、第2の閃光、カメラ、および第2の閃光を生産する照明源の場所を含む、第2の平面の例示的決定におけるステップを図示する。
【0041】
図14A図14A-Cは、図12A-Dの第1の平面と図13A-Dの第2の平面との間の交差部を図示する。本交差部は、それに沿って角膜中心が存在し得る、ベクトルに対応する。
図14B図14A-Cは、図12A-Dの第1の平面と図13A-Dの第2の平面との間の交差部を図示する。本交差部は、それに沿って角膜中心が存在し得る、ベクトルに対応する。
図14C図14A-Cは、図12A-Dの第1の平面と図13A-Dの第2の平面との間の交差部を図示する。本交差部は、それに沿って角膜中心が存在し得る、ベクトルに対応する。
【0042】
図15A図15A-15Bは、複数のカメラを使用して取得される、それに沿って角膜中心が存在し得る、複数のベクトルを図示する。これらのベクトルは、角膜中心に対応する、またはそれに近い場所において、収束または交差し得る。
図15B図15A-15Bは、複数のカメラを使用して取得される、それに沿って角膜中心が存在し得る、複数のベクトルを図示する。これらのベクトルは、角膜中心に対応する、またはそれに近い場所において、収束または交差し得る。
【0043】
図16A図16A-16Cは、複数のカメラ間の共有照明源を使用した、それに沿って角膜中心が存在し得る、ベクトルの例示的決定における例示的ステップを図示する。
図16B図16A-16Cは、複数のカメラ間の共有照明源を使用した、それに沿って角膜中心が存在し得る、ベクトルの例示的決定における例示的ステップを図示する。
図16C図16A-16Cは、複数のカメラ間の共有照明源を使用した、それに沿って角膜中心が存在し得る、ベクトルの例示的決定における例示的ステップを図示する。
【0044】
図17A図17A-17Bは、計算された角膜中心に基づく、3D表面の推定を示す。
図17B図17A-17Bは、計算された角膜中心に基づく、3D表面の推定を示す。
【0045】
図18A図18Aおよび18Bは、角膜中心に基づいて計算される、3D表面に対して法線方向の複数の表面法線ベクトルの収束における、回転中心の例示的推定を示す。
図18B図18Aおよび18Bは、角膜中心に基づいて計算される、3D表面に対して法線方向の複数の表面法線ベクトルの収束における、回転中心の例示的推定を示す。
【0046】
図19-1】図19A-1および19A-2は、選択された推定される角膜中心への例示的表面適合を図示する。
【0047】
図19-2】図19B-1および19B-2は、推定される角膜中心に適合される表面に対して法線方向であり得る、例示的表面法線ベクトルを示す。
【0048】
図19-3】図19C-1および19C-2は、表面法線ベクトルの交差部の点に基づいて推定されるCoR領域を図示する。
【0049】
図19-4】図19D-1および19D-2は、角膜中心の別の選択への例示的適合表面を図示する。
【0050】
図20図20は、眼追跡モジュールによって実装され得る、例示的回転中心抽出プロセスを図示する。
【0051】
図21図21は、角膜曲率の中心を使用して推定される回転中心を決定するための図20のプロセスを使用し得る、例示的眼追跡プロセスを図示する。
【0052】
図22A図22Aは、眼球の斜視図を図式的に図示する。
【0053】
図22B図22Bは、眼の角膜の2D断面図を図式的に図示する。
【0054】
図22C図22Cは、2つの光源からの光の球面および回転楕円体反射表面からの鏡面反射の2D断面図を図式的に図示する。
【0055】
図23A図23Aは、円錐パラメータの異なる値に関する、X-Z平面にプロットされる、軸方向対称回転楕円面の2D断面プロファイルを示す。
【0056】
図23B図23Bは、X-Z平面にプロットされる、2つの軸方向対称回転楕円体の2D断面を示し、一方は、ゼロの円錐パラメータ(球面)を伴い、他方は、-0.25の円錐パラメータ(Arizona眼モデル回転楕円体)を伴う。これらの表面のそれぞれのものからの光線の鏡面反射もまた、示される。
【0057】
図24図24は、片眼カメラを使用して、回転楕円体角膜モデルに基づいて、角膜の中心の場所を推定するために使用され得る、例示的プロシージャを図示する、ブロック図である。
【0058】
図25A図25A-25Dは、図24に図示されるプロシージャに基づく、角膜中心の例示的決定における例示的ステップを図示する。
図25B図25A-25Dは、図24に図示されるプロシージャに基づく、角膜中心の例示的決定における例示的ステップを図示する。
図25C図25A-25Dは、図24に図示されるプロシージャに基づく、角膜中心の例示的決定における例示的ステップを図示する。
図25D図25A-25Dは、図24に図示されるプロシージャに基づく、角膜中心の例示的決定における例示的ステップを図示する。
【0059】
図26図26は、3D回転楕円体角膜中心推定モジュールと組み合わせられ、図24に図示されるプロシージャに基づいて、回転楕円体角膜モデルを使用して、角膜中心を推定し得る、例示的眼追跡モジュールの相互接続されたサブモジュールのサブセットを図示する、ブロック図である。
【0060】
図27図27は、2つのカメラが、頭部搭載型ディスプレイフレームの接眼レンズ上に配置され、同様にフレーム上に配置される、3つの光源によって生成された閃光の画像を捕捉する、例示的構成である。
【0061】
図28図28は、2つの眼カメラによって捕捉された画像を使用して、回転楕円体角膜モデルに基づいて、角膜の中心の場所を推定するための例示的プロシージャを図示する、ブロック図である。
【0062】
図29A図29A-29Dは、図28に図示されるプロシージャに基づく、角膜中心の例示的決定における例示的ステップを図示する。
図29B図29A-29Dは、図28に図示されるプロシージャに基づく、角膜中心の例示的決定における例示的ステップを図示する。
図29C図29A-29Dは、図28に図示されるプロシージャに基づく、角膜中心の例示的決定における例示的ステップを図示する。
図29D図29A-29Dは、図28に図示されるプロシージャに基づく、角膜中心の例示的決定における例示的ステップを図示する。
【0063】
図30図30は、3D回転楕円体角膜中心推定モジュールと組み合わせられ、回転楕円体角膜モデルおよび図28に図示されるプロシージャに基づいて、角膜中心を推定し得る、例示的眼追跡モジュールの相互接続されたサブモジュールのサブセットを図示する、ブロック図である。
【0064】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。
【発明を実施するための形態】
【0065】
(詳細な説明)
ここで、図面を参照するが、同様の参照番号は、全体を通して同様の部分を指す。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
A.ウェアラブルシステムの3Dディスプレイの実施例
【0066】
ウェアラブルシステム(本明細書では、拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、VR、AR、またはMR環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ARデバイス(ARD)と同義的に使用されることができる。さらに、本開示の目的のために、用語「AR」は、用語「MR」と同義的に使用される。
【0067】
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図1では、MR場面100が、描写され、MR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、MR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
【0068】
3Dディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
【0069】
VR、AR、およびMR体験は、複数の深度面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度面毎に異なってもよく(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
【0070】
図2は、ウェアラブルシステム200の実施例を図示し、これは、AR/VR/MR場面を提供するように構成されることができる。ウェアラブルシステム200はまた、ARシステム200と称され得る。ウェアラブルシステム200は、ディスプレイ220と、ディスプレイ220の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ220は、ユーザ、装着者、または視認者210によって装着可能である、フレーム230に結合されてもよい。ディスプレイ220は、ユーザ210の眼の正面に位置付けられることができる。ディスプレイ220は、AR/VR/MRコンテンツをユーザに提示することができる。ディスプレイ220は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ(HMD)を備えることができる。
【0071】
いくつかの実施形態では、スピーカ240が、フレーム230に結合され、ユーザの外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。ディスプレイ220は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ(例えば、マイクロホン)232を含むことができる。いくつかの実施形態では、示されない1つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム200は、音声または発話認識をオーディオストリームに実施することができる。
【0072】
ウェアラブルシステム200は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム464(図4に示される)を含むことができる。ウェアラブルシステム200はまた、ユーザの眼移動を追跡し得る、内向きに面した結像システム462(図4に示される)を含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面した結像システム462は、フレーム230に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ210の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール260または270と電気通信してもよい。内向きに面した結像システム462は、1つ以上のカメラを含んでもよい。例えば、少なくとも1つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。
【0073】
実施例として、ウェアラブルシステム200は、外向きに面した結像システム464または内向きに面した結像システム462を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
【0074】
ディスプレイ220は、有線導線または無線接続等によって、フレーム230に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ210に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載され得る、ローカルデータ処理モジュール260に動作可能に結合されることができる(250)。
【0075】
ローカル処理およびデータモジュール260は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、(a)画像捕捉デバイス(例えば、内向きに面した結像システムおよび/または外向きに面した結像システム内のカメラ)、オーディオセンサ(例えば、マイクロホン)、慣性測定ユニット(IMU)、加速度計、コンパス、全地球測位システム(GPS)ユニット、無線デバイス、またはジャイロスコープ等の(例えば、フレーム230に動作可能に結合される、または別様にユーザ210に取り付けられ得る)センサから捕捉されるデータ、または、(b)可能性として、処理または読出後にディスプレイ220への通過のために、遠隔処理モジュール270または遠隔データリポジトリ280を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール260は、これらの遠隔モジュールがローカル処理およびデータモジュール260へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク262または264によって、遠隔処理モジュール270または遠隔データリポジトリ280に動作可能に結合されてもよい。加えて、遠隔処理モジュール280および遠隔データリポジトリ280は、相互に動作可能に結合されてもよい。
【0076】
いくつかの実施形態では、遠隔処理モジュール270は、データまたは画像情報を分析および処理するように構成される、1つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ280は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
B.ウェアラブルシステムの例示的コンポーネント
【0077】
図3は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図3は、ウェアラブルシステム200を示し、これは、ディスプレイ220と、フレーム230とを含むことができる。引き伸ばし図202は、ウェアラブルシステム200の種々のコンポーネントを図式的に図示する。ある実装では、図3に図示されるコンポーネントのうちの1つ以上のものは、ディスプレイ220の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム200のユーザまたはユーザの環境と関連付けられる種々のデータ(例えば、聴覚的または視覚的データ等)を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図3は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
【0078】
図3は、例示的ウェアラブルシステム200を示し、これは、ディスプレイ220を含むことができる。ディスプレイ220は、ユーザの頭部、またはフレーム230に対応する、筐体またはフレーム230に搭載され得る、ディスプレイレンズ226を備えることができる。ディスプレイレンズ226は、筐体230によって、ユーザの眼302、304の正面に位置付けられる、1つ以上の透明ミラーを備えてもよく、投影された光338を眼302、304の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム338の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、2つの広視野マシンビジョンカメラ316(世界カメラとも称される)が、筐体230に結合され、ユーザの周囲の環境を結像することができる。これらのカメラ316は、二重捕捉式可視光/非可視(例えば、赤外線)光カメラであることができる。カメラ316は、図4に示される外向きに面した結像システム464の一部であってもよい。世界カメラ316によって入手された画像は、姿勢プロセッサ336によって処理されることができる。例えば、姿勢プロセッサ336は、1つ以上のオブジェクト認識装置708を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別することができる。
【0079】
図3を継続して参照すると、光338を眼302、304の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面(例えば、深度のために)光投影モジュールが、示される。描写される図はまた、ユーザの眼302、304を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、赤外線光源326(発光ダイオード「LED」等)とペアリングされる、2つの小型赤外線カメラ324を示す。カメラ324は、図4に示される、内向きに面した結像システム462の一部であってもよい。ウェアラブルシステム200はさらに、センサアセンブリ339を特徴とすることができ、これは、X、Y、およびZ軸加速度計能力および磁気コンパスおよびX、Y、およびZ軸ジャイロスコープ能力を備え、好ましくは、200Hz等の比較的に高周波数でデータを提供し得る。センサアセンブリ339は、図2を参照して説明される、IMUの一部であってもよい。描写されるシステム200はまた、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、またはARMプロセッサ(高度縮小命令セット機械)等の頭部姿勢プロセッサ336を備えることができ、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス316から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ336は、ハードウェアプロセッサであることができ、図2に示されるローカル処理およびデータモジュール260の一部として実装されることができる。
【0080】
ウェアラブルシステムはまた、1つ以上の深度センサ234を含むことができる。深度センサ234は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ234は、レーザスキャナ(例えば、LIDAR)、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ316が深度感知能力を有する、ある実装では、カメラ316はまた、深度センサ234と見なされ得る。
【0081】
また、示されるものは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ339からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ332である。プロセッサ332は、図2に示される、ローカル処理およびデータモジュール260の一部であってもよい。ウェアラブルシステム200はまた、図3に示されるように、例えば、GPS337(全地球測位システム)等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、GPSはさらに、ユーザの環境についての遠隔ベース(例えば、クラウドベース)の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。
【0082】
ウェアラブルシステムは、GPS337および遠隔コンピューティングシステム(例えば、遠隔処理モジュール270、別のユーザのARD等)によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供することができる。一実施例として、ウェアラブルシステムは、GPSデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられる仮想オブジェクトを含む、世界マップを読み出すことができる(例えば、遠隔処理モジュール270と通信することによって)。別の実施例として、ウェアラブルシステム200は、世界カメラ316(図4に示される外向きに面した結像システム464の一部であってもよい)を使用して、環境を監視することができる。世界カメラ316によって入手された画像に基づいて、ウェアラブルシステム200は、環境内のオブジェクトを検出することができる(例えば、1つ以上のオブジェクト認識装置を使用することによって)。ウェアラブルシステムはさらに、GPS337によって入手されたデータを使用して、キャラクタを解釈することができる。
【0083】
ウェアラブルシステム200はまた、レンダリングエンジン334を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されることができる。レンダリングエンジン334は、ハードウェアプロセッサ(例えば、中央処理ユニットまたはグラフィック処理ユニット等)によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール260の一部である。レンダリングエンジン334は、ウェアラブルシステム200の他のコンポーネントに通信可能に結合されることができる(例えば、有線または無線リンクを介して)。例えば、レンダリングエンジン334は、通信リンク274を介して、眼カメラ324に結合され、通信リンク272を介して、投影サブシステム318(網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼302、304の中に投影することができる)に結合されることができる。レンダリングエンジン334はまた、それぞれ、リンク276および294を介して、例えば、センサ姿勢プロセッサ332および画像姿勢プロセッサ336等の他の処理ユニットと通信することができる。
【0084】
カメラ324(例えば、小型赤外線カメラ)は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度(眼の輻輳・開散運動を用いて推定されてもよい)を含んでもよい。GPS337、ジャイロスコープ、コンパス、および加速度計339は、大まかなまたは高速姿勢推定を提供するために利用されてもよい。カメラ316のうちの1つ以上のものは、画像および姿勢を入手することができ、これは、関連付けられるクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。
【0085】
図3に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの1つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図3に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネント内に搭載または格納されてもよい。一実施例として、画像姿勢プロセッサ336、センサ姿勢プロセッサ332、およびレンダリングエンジン334は、ベルトパック内に位置付けられ、超広帯域、Wi-Fi、Bluetooth(登録商標)等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写される筐体230は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム200のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ240が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。
【0086】
ユーザの眼302、304の中への光338の投影に関して、いくつかの実施形態では、カメラ324は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の3次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼302、304に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルシステムおよび他のディスプレイシステムの実施例はまた、米国特許公開第2016/0270656号(参照することによってその全体として本明細書に組み込まれる)に説明される。
【0087】
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを3次元として知覚し得る。相互に対する2つの眼の輻輳・開散運動移動(例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動)は、眼の水晶体の合焦(または「遠近調節」)と緊密に関連付けられる。通常条件下、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節-輻輳・開散運動反射」として知られる関係下、同一距離への輻輳・開散運動の合致する変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
【0088】
さらに、約0.7ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく解決され得る。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ324を用いて追跡されてもよく、レンダリングエンジン334および投影サブシステム318は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい(例えば、意図的に作成されたぼけを使用して)。好ましくは、システム220は、ユーザに、約60フレーム/秒またはそれを上回るフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ324は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。
【0089】
いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約20ミリ秒未満の待ち時間、約0.1度未満の角度整合、および約1弧分の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム220は、位置特定システムと統合されてもよく、これは、GPS要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい(例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう)。
【0090】
いくつかの実施形態では、ウェアラブルシステム200は、ユーザの眼の遠近調節に基づいて、1つ以上の仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の3Dディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される1つ以上の画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、1mの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を3mに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のウェアラブルシステム200は、ユーザの眼がより自然な様式において機能することを可能にする。
【0091】
そのようなウェアラブルシステム200は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム200の種々の実施形態は、1つ以上の可変焦点要素(VFE)を通して、仮想画像を可変焦点距離に投影するように構成される。1つ以上の実施形態では、3D知覚は、画像をユーザから固定された焦点面に投影する、多面焦点システムを通して達成されてもよい。他の実施形態は、可変平面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、z-方向に往復して移動される。
【0092】
多面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム200は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム200は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するウェアラブルシステム200のディスプレイの能力は、ユーザがオブジェクトを3Dにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第2016/0270656号(参照することによってその全体として本明細書に組み込まれる)にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を1つ以上の導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
C.導波管スタックアセンブリ
【0093】
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応し得、図4は、そのウェアラブルシステム200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合されてもよい。
【0094】
図4を継続して参照すると、導波管アセンブリ480はまた、複数の特徴458、456、454、452を導波管の間に含んでもよい。いくつかの実施形態では、特徴458、456、454、452は、レンズであってもよい。他の実施形態では、特徴458、456、454、452は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、空気間隙を形成するためのクラッディング層または構造)。
【0095】
導波管432b、434b、436b、438b、440bまたは複数のレンズ458、456、454、452は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス420、422、424、426、428は、それぞれ、眼410に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管440b、438b、436b、434b、432bの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス420、422、424、426、428の出力表面から出射し、導波管440b、438b、436b、434b、432bの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度(および発散量)において眼410に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。
【0096】
いくつかの実施形態では、画像投入デバイス420、422、424、426、428は、それぞれ、対応する導波管440b、438b、436b、434b、432bの中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス420、422、424、426、428は、例えば、1つ以上の光学導管(光ファイバケーブル等)を介して、画像情報を画像投入デバイス420、422、424、426、428のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
【0097】
コントローラ460が、スタックされた導波管アセンブリ480および画像投入デバイス420、422、424、426、428の動作を制御する。コントローラ460は、導波管440b、438b、436b、434b、432bへの画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性コンピュータ可読媒体内の命令)を含む。いくつかの実施形態では、コントローラ460は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ460は、いくつかの実施形態では、処理モジュール260または270(図2に図示される)の一部であってもよい。
【0098】
導波管440b、438b、436b、434b、432bは、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管440b、438b、436b、434b、432bはそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管440b、438b、436b、434b、432bはそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼410に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素440a、438a、436a、434a、432aを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素(440a、438a、436a、434a、432a)は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確性にするために、導波管440b、438b、436b、434b、432bの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、上部または底部主要表面に配置されてもよい、または導波管440b、438b、436b、434b、432bの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、透明基板に取り付けられ、導波管440b、438b、436b、434b、432bを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管440b、438b、436b、434b、432bは、材料のモノリシック片であってもよく、光抽出光学要素440a、438a、436a、434a、432aは、その材料片の表面上または内部に形成されてもよい。
【0099】
図4を継続して参照すると、本明細書に議論されるように、各導波管440b、438b、436b、434b、432bは、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管432bは、そのような導波管432bの中に投入されるにつれて、コリメートされた光を眼410に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管434bは、眼410に到達し得る前に、第1のレンズ452(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。第1のレンズ452は、眼/脳が、その次の上方の導波管434bから生じる光を光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管436bは、眼410に到達する前に、その出力光を第1のレンズ452および第2のレンズ454の両方を通して通過させる。第1および第2のレンズ452および454の組み合わせられた屈折力は、眼/脳が、第3の導波管436bから生じる光が次の上方の導波管434bからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
【0100】
他の導波管層(例えば、導波管438b、440b)およびレンズ(例えば、レンズ456、458)も同様に構成され、スタック内の最高導波管440bを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ480の他側の世界470から生じる光を視認/解釈するとき、レンズ458、456、454、452のスタックを補償するために、補償レンズ層430が、スタックの上部に配置され、下方のレンズスタック458、456、454、452の集約力を補償してもよい。(補償レンズ層430およびスタックされた導波管アセンブリ480は、全体として、世界470から生じる光が、最初にスタックされた導波管アセンブリ480によって受光されたときに光が有していたものと実質的に同一レベルの発散(またはコリメーション)で眼410に伝達されるように構成され得る。)そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい(例えば、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
【0101】
図4を継続して参照すると、光抽出光学要素440a、438a、436a、434a、432aは、導波管と関連付けられる特定の深度面のために、光をそれらの個別の導波管から外に再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管が、関連付けられる深度面に応じて、異なる量の発散を伴う光を出力する、光抽出光学要素の異なる構成を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素440a、438a、436a、434a、432aは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素440a、438a、436a、434a、432aは、立体ホログラム、表面ホログラム、および/または回折格子であってもよい。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明される。
【0102】
いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、回折パターンを形成する回折特徴または「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみが、DOEの各交差部で眼410に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼304に向かって非常に均一なパターンの出射放出となり得る。
【0103】
いくつかの実施形態では、1つ以上のDOEは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なDOEは、小液滴がホスト媒体内に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
【0104】
いくつかの実施形態では、深度面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である1つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間された深度面の数は、減少された瞳孔サイズに伴って減少され得る。例えば、視認者は、一方の深度面から他方の深度面への眼の遠近調節を調節することなく、第1の深度面および第2の深度面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの2つの深度面は、同時に、遠近調節を変化させることなく、別の瞳孔サイズにおいてユーザにとって十分に合焦し得る。
【0105】
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、2つの導波管と関連付けられる2つの深度面間を区別不能である場合、コントローラ460(ローカル処理およびデータモジュール260の実施形態であり得る)は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切替可能である実施形態では、DOEは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
【0106】
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
【0107】
ウェアラブルシステム400は、世界470の一部を結像する、外向きに面した結像システム464(例えば、デジタルカメラ)を含むことができる。世界470の本部分は、世界カメラの視野(FOV)と称され得、結像システム464は、時として、FOVカメラとも称される。世界カメラのFOVは、視認者210のFOVと同一である場合とそうではない場合があり、これは、視認者210が所与の時間に知覚する、世界470の一部を包含する。例えば、いくつかの状況では、世界カメラのFOVは、ウェアラブルシステム400の視認者210の視認者210より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚し得るため、ウェアラブルシステム400を囲繞する4πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のFORは、より小さい立体角に接し得る。外向きに面した結像システム464から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界470内のオブジェクトを検出する等のために、使用されることができる。
【0108】
ウェアラブルシステム400は、オーディオセンサ232、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、1つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ232は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム400は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するために等、外向きに面した結像システム464およびオーディオセンサ230の両方からの情報を使用することができる。例えば、ウェアラブルシステム400は、単独で、または話者の反射された画像(例えば、鏡に見られるように)と組み合わせて、音声認識を使用して、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム400は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム400は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別(例えば、名前または他の人口統計情報)を決定することができる。
【0109】
ウェアラブルシステム400はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム466(例えば、デジタルカメラ)を含むことができる。内向きに面した結像システム466は、眼410の画像を捕捉し、眼304の瞳孔のサイズおよび/または配向を決定するために使用されてもよい。内向きに面した結像システム466は、ユーザが見ている方向(例えば、眼姿勢)を決定する際に使用するため、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも1つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼410のみの瞳孔直径または配向(例えば、対の眼あたり単一カメラのみを使用して)が、決定され、ユーザの両眼に関して類似すると仮定された。内向きに面した結像システム466によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム400によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム400はまた、IMU、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部配向)を決定してもよい。
【0110】
ウェアラブルシステム400は、ユーザが、コマンドをコントローラ460に入力し、ウェアラブルシステム400と相互作用し得る、ユーザ入力デバイス466を含むことができる。例えば、ユーザ入力デバイス466は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含むことができる。マルチDOFコントローラは、コントローラの一部または全部の可能性として考えられる平行移動(例えば、左/右、前方/後方、または上/下)または回転(例えば、ヨー、ピッチ、またはロール)におけるユーザ入力を感知することができる。平行移動をサポートする、マルチDOFコントローラは、3DOFと称され得る一方、平行移動および回転をサポートする、マルチDOFコントローラは、6DOFと称され得る。ある場合には、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム400に提供してもよい(例えば、ユーザ入力をウェアラブルシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス466は、ウェアラブルシステム400の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス466は、ウェアラブルシステム400と有線または無線通信することができる。
D.ウェアラブルシステムの他のコンポーネント
【0111】
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
【0112】
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、1つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、無有生オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造(例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ)を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの1つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの1つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いずれの物理的キーまたはトラックパッドまたはセンサも有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス466(図4に示される)は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
【0113】
本開示のウェアラブルデバイス、HMD、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明される。
E.眼画像の実施例
【0114】
図5は、眼瞼504と、強膜508(「白眼」)と、虹彩512と、瞳孔516とを伴う、眼500の画像を図示する。曲線516aは、瞳孔516と虹彩512との間の瞳孔境界を示し、曲線512aは、虹彩512と強膜508との間の辺縁境界を示す。眼瞼504は、上側眼瞼504aと、下側眼瞼504bとを含む。眼500は、自然静置姿勢(例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される)に図示される。眼500の自然静置姿勢は、自然静置方向520によって示され得、該方向は、自然静置姿勢にあるときの眼500の表面に直交する方向(例えば、図5に示される眼500に対する面から直接外に出る)であり、本実施例では、瞳孔516内に心合される。
【0115】
眼500が、異なるオブジェクトに向かって見るように移動するにつれて、眼姿勢は、自然静置方向520に対して変化するであろう。現在の眼姿勢は、眼の表面に直交する(かつ瞳孔516内に心合される)方向であるが、眼が現在指向されているオブジェクトに向かって配向される、眼姿勢方向524を参照して決定されることができる。図5Aに示される例示的座標系を参照すると、眼500の姿勢は、両方とも眼の自然静置方向520に対する、眼の眼姿勢方向524の方位角偏向および天頂偏向を示す、2つの角度パラメータとして表され得る。例証目的のために、これらの角度パラメータは、θ(基点方位角から決定される、方位角偏向)およびφ(時として、極性偏向とも称される、天頂偏向)として表され得る。いくつかの実装では、眼姿勢方向524の周囲の眼の角度ロールが、眼姿勢の決定に含まれることができ、角度ロールは、以下の分析に含まれることができる。他の実装では、眼姿勢を決定するための他の技法が、例えば、ピッチ、ヨー、および随意に、ロール系が、使用されることができる。
【0116】
眼画像は、任意の適切なプロセスを使用して、例えば、画像を1つ以上のシーケンシャルフレームから抽出し得る、ビデオ処理アルゴリズムを使用して、ビデオから取得されることができる。眼の姿勢は、種々の眼追跡技法を使用して、眼画像から決定されることができる。例えば、眼姿勢は、提供される光源に及ぼす角膜のレンズ効果を検討することによって決定されることができる。任意の好適な眼追跡技法が、眼姿勢を決定するために使用されることができる。
F.眼追跡システムの実施例
【0117】
図6は、眼追跡システムを含む、ウェアラブルシステム600の概略図を図示する。ウェアラブルシステム600は、少なくともいくつかの実施形態では、頭部搭載型ユニット602内に位置するコンポーネントと、非頭部搭載型ユニット604内に位置するコンポーネントとを含んでもよい。非頭部搭載型ユニット604は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。ウェアラブルシステム600のコンポーネントのうちのいくつかを非頭部搭載型ユニット604内に組み込むことは、頭部搭載型ユニット602のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実装では、頭部搭載型ユニット602および/または非頭部搭載型604の1つ以上のコンポーネントによって実施されているように説明される機能性の一部または全部は、ウェアラブルシステム600内のいずれかに含まれる1つ以上のコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット602のCPU612と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット604のCPU616を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、ウェアラブルシステム600の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全部は、図2を参照して上記に説明されたものに類似する様式において、1つ以上のクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。
【0118】
図6に示されるように、ウェアラブルシステム600は、ユーザの眼610の画像を捕捉する、カメラ324を含む、眼追跡システムを含むことができる。所望に応じて、眼追跡システムはまた、光源326aおよび326b(発光ダイオード「LED」等)を含んでもよい。光源326aおよび326bは、閃光(例えば、カメラ324によって捕捉された眼の画像内に現れる、ユーザの眼からの反射)を生成し得る。カメラ324に対する光源326aおよび326bの位置は、既知であり得、その結果、カメラ324によって捕捉された画像内の閃光の位置が、ユーザの眼を追跡する際に使用されてもよい(図7に関連して下記により詳細に議論されるであろうように)。少なくとも一実施形態では、1つの光源326と、ユーザの眼610の片方と関連付けられる1つのカメラ324とが存在してもよい。別の実施形態では、1つの光源326と、ユーザの眼610のそれぞれと関連付けられる1つのカメラ324とが存在してもよい。さらに他の実施形態では、1つ以上のカメラ324と、ユーザの眼610の一方またはそれぞれと関連付けられる1つ以上の光源326とが存在してもよい。具体的実施例として、2つの光源326aおよび326bと、ユーザの眼610のそれぞれと関連付けられる1つ以上のカメラ324とが存在してもよい。別の実施例として、光源326aおよび326b等の3つ以上の光源と、ユーザの眼610のそれぞれと関連付けられる1つ以上のカメラ324とが存在してもよい。本明細書に説明されるいくつかの実装では、2つ以上のカメラが、所与の眼を結像するために採用されてもよい。
【0119】
眼追跡モジュール614は、画像を眼追跡カメラ324から受信してもよく、画像を分析し、種々の情報を抽出してもよい。実施例として、眼追跡モジュール614は、ユーザの眼姿勢、眼追跡カメラ324(および頭部搭載型ユニット602)に対するユーザの眼の3次元位置、合焦されているユーザの眼610の一方または両方の方向、ユーザの輻輳・開散運動深度(例えば、ユーザが合焦しているユーザからの深度)、ユーザの瞳孔の位置、ユーザの角膜および/または角膜球面の位置、ユーザの眼の1つまたはそれぞれの回転中心、およびユーザの眼の1つまたはそれぞれの視点の中心、またはそれらの任意の組み合わせを検出してもよい。眼追跡モジュール614は、図7-11に関連して下記に説明される技法を使用して、そのような情報を抽出してもよい。図6に示されるように、眼追跡モジュール614は、頭部搭載型ユニット602内のCPU612を使用して実装される、ソフトウェアモジュールであってもよい。
【0120】
1つのカメラ324が、眼を結像するように図6に示されるが、いくつかの実装では、本明細書に議論されるように、複数のカメラが、眼を結像し、角膜中心および/または回転中心測定等の測定のために使用される、または別様に眼追跡または他の目的のために使用されてもよい。
【0121】
眼追跡モジュール614からのデータは、ウェアラブルシステム内の他のコンポーネントに提供されてもよい。実施例として、そのようなデータは、ライトフィールドレンダリングコントローラ618および位置合わせオブザーバ620のためのソフトウェアモジュールを含む、CPU616等の非頭部搭載型ユニット604内のコンポーネントに伝送されてもよい。
【0122】
レンダリングコントローラ618は、レンダリングエンジン622(例えば、GPU620内のソフトウェアモジュールであり得、画像をディスプレイ220に提供し得る、レンダリングエンジン)によって、眼追跡モジュール614からの情報を使用して、ユーザに表示される画像を調節してもよい。実施例として、レンダリングコントローラ618は、ユーザの回転中心または視点の中心に基づいて、ユーザに表示される画像を調節してもよい。特に、レンダリングコントローラ618は、ユーザの視点の中心に関する情報を使用して、レンダリングカメラをシミュレートしてもよく(例えば、ユーザの視点からの画像の収集をシミュレートする)、シミュレートされたレンダリングカメラに基づいて、ユーザに表示される画像を調節してもよい。
【0123】
時として、「ピンホール透視投影カメラ」(または単に、「透視投影カメラ」)または「仮想ピンホールカメラ」(または単に、「仮想カメラ」)とも称される、「レンダリングカメラ」は、可能性として、仮想世界内のオブジェクトのデータベースからの仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、および可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。換言すると、レンダリングカメラは、そこからユーザまたは装着者がレンダリング空間の3D仮想コンテンツ(例えば、仮想オブジェクト)を視認すべきである、レンダリング空間内の視点を表し得る。レンダリングカメラは、レンダリングエンジンによって管理され、該眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされ得る。例えば、仮想画像は、固有のパラメータの具体的セット(例えば、焦点距離、カメラピクセルサイズ、主点座標、歪/歪曲パラメータ等)と、付帯パラメータの具体的セット(例えば、仮想世界に対する平行移動成分および回転成分)とを有する、ピンホールカメラ(「レンダリングカメラ」に対応する)によって捕捉されたかのようにレンダリングされ得る。仮想画像は、レンダリングカメラの位置および配向(例えば、レンダリングカメラの付帯パラメータ)を有する、そのようなカメラの視点から撮影される。システムは、固有のおよび付帯レンダリングカメラパラメータを定義および/または調節し得るということになる。例えば、システムは、仮想画像が、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされるように、特定のセットの付帯レンダリングカメラパラメータを定義してもよい。システムは、後に、該具体的場所との位置合わせを維持するように、付帯レンダリングカメラパラメータをオンザフライで動的に調節してもよい。同様に、固有のレンダリングカメラパラメータも、定義され、経時的に動的に調節されてもよい。いくつかの実装では、画像は、開口(例えば、ピンホール)をユーザまたは装着者の眼に対する具体的場所(視点の中心または回転中心または他の場所等)に有するカメラの視点から捕捉されたかのようにレンダリングされる。
【0124】
いくつかの実施形態では、システムは、ユーザの眼が、相互から物理的に分離され、したがって、一貫して異なる場所に位置付けられるにつれて、ユーザの左眼のための1つのレンダリングカメラおよびユーザの右眼のために別のレンダリングカメラを作成または動的に再位置付および/または再配向してもよい。少なくともいくつかの実装では、視認者の左眼と関連付けられるレンダリングカメラの視点からレンダリングされた仮想コンテンツは、頭部搭載型ディスプレイ(例えば、頭部搭載型ユニット602)の左側の接眼レンズを通してユーザに提示され得、ユーザの右眼と関連付けられるレンダリングカメラの視点からレンダリングされた仮想コンテンツは、そのような頭部搭載型ディスプレイの右側の接眼レンズを通してユーザに提示され得るということになる。レンダリングプロセスにおけるレンダリングカメラの作成、調節、および使用について議論するさらなる詳細は、「METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION」と題された米国特許出願第15/274,823号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。
【0125】
いくつかの実施例では、システム600の1つ以上のモジュール(またはコンポーネント)(例えば、ライトフィールドレンダリングコントローラ618、レンダリングエンジン620等)は、ユーザの頭部および眼の位置および配向(例えば、それぞれ、頭部姿勢および眼追跡データに基づいて決定されるように)に基づいて、レンダリング空間内のレンダリングカメラの位置および配向を決定してもよい。すなわち、システム600は、事実上、ユーザの頭部および眼の位置および配向を3D仮想環境内の特定の場所および角位置にマッピングし、レンダリングカメラを3D仮想環境内の特定の場所および角位置に設置および配向し、レンダリングカメラによって捕捉されるであろうにつれて、仮想コンテンツをユーザのためにレンダリングし得る。実世界/仮想世界マッピングプロセスについて議論するさらなる詳細は、「SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONAL SPACE」と題された米国特許出願第15/296,869号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。実施例として、レンダリングコントローラ618は、画像が、画像を表示するために任意の所与の時間に利用される深度面(または複数の深度面)を選択することによって表示される、深度を調節してもよい。いくつかの実装では、そのような深度面切替は、1つ以上の固有のレンダリングカメラパラメータの調節を通して、行われてもよい。例えば、ライトフィールドレンダリングコントローラ618は、深度面切替または調節を実行するとき、レンダリングカメラの焦点距離を調節してもよい。下記にさらに詳細に説明されるように、深度面は、ユーザの決定された輻輳・開散運動または固視深度に基づいて、切り替えられてもよい。
【0126】
位置合わせオブザーバ620は、眼追跡モジュール614からの情報を使用して、頭部搭載型ユニット602がユーザの頭部上に適切に位置付けられているかどうかを識別してもよい。実施例として、眼追跡モジュール614は、カメラ324に対するユーザの眼の3次元位置を示す、ユーザの眼の回転中心の位置等の眼場所情報を提供してもよく、頭部搭載型ユニット602および眼追跡モジュール614は、場所情報を使用して、ディスプレイ220がユーザの視野内に適切に整合されているかどうか、または頭部搭載型ユニット602(またはヘッドセット)が滑脱している、または別様にユーザの眼と不整合状態であるかどうかを決定してもよい。実施例として、位置合わせオブザーバ620は、頭部搭載型ユニット602が、ユーザの鼻梁から滑脱しており、したがって、ディスプレイ220をユーザの眼から離れさせ、そこから下方に移動させている(望ましくあり得ない)かどうか、頭部搭載型ユニット602が、ユーザの鼻梁の上方に移動しており、したがって、ディスプレイ220をユーザの眼により近づけ、そこから上方に移動させているかどうか、頭部搭載型ユニット602が、ユーザの鼻梁に対して左または右に偏移されているかどうか、頭部搭載型ユニット602が、ユーザの鼻梁の上方に持ち上げられているかどうか、または頭部搭載型ユニット602が、これらまたは他の方法において、所望の位置または位置の範囲から離れて移動されているかどうかを決定することが可能であり得る。一般に、位置合わせオブザーバ620は、一般に、頭部搭載型ユニット602、特に、ディスプレイ220が、ユーザの眼の正面に適切に位置付けられているかどうかを決定することが可能であり得る。換言すると、位置合わせオブザーバ620は、ディスプレイシステム220内の左ディスプレイが、ユーザの左眼と適切に整合されており、ディスプレイシステム220内の右ディスプレイが、ユーザの右眼と適切に整合されているかどうかを決定し得る。位置合わせオブザーバ620は、頭部搭載型ユニット602が、ユーザの眼に対する位置および/または配向の所望の範囲内に位置付けられ、配向されているかどうかを決定することによって、頭部搭載型ユニット602が適切に位置付けられているかどうかを決定してもよい。
【0127】
少なくともいくつかの実施形態では、位置合わせオブザーバ620は、アラート、メッセージ、または他のコンテンツの形態におけるユーザフィードバックを生成してもよい。そのようなフィードバックは、ユーザに提供され、ユーザに、頭部搭載型ユニット602の任意の不整合を、不整合を補正する方法に関する随意のフィードバック(頭部搭載型ユニット602を特定の様式において調節するための提案等)とともに知らせてもよい。
【0128】
位置合わせオブザーバ620によって利用され得る、例示的位置合わせ観察およびフィードバック技法は、2017年9月27日に出願された、米国特許出願第15/717,747号(弁理士整理番号MLEAP.052A2)および2018年3月16日に出願された、米国仮特許出願第62/644,321号(弁理士整理番号MLEAP.195PR)(両方とも、参照することによってその全体として本明細書に組み込まれる)に説明される。
G.眼追跡モジュールの実施例
【0129】
例示的眼追跡モジュール614の詳細なブロック図が、図7Aに示される。図7Aに示されるように、眼追跡モジュール614は、種々の異なるサブモジュールを含んでもよく、種々の異なる出力を提供してもよく、ユーザの眼を追跡する際に、種々の利用可能なデータを利用してもよい。実施例として、眼追跡モジュール614は、光源326および頭部搭載型ユニット602に対する眼追跡カメラ324の幾何学的配列、ユーザの角膜曲率の中心とユーザの眼の平均回転中心との間の典型的距離(例えば、5.7または5.7mm±1mmまたはその近似値であり得る)またはユーザの角膜曲率の中心と瞳孔中心との間の距離(例えば、4.7または4.7mm±1mmまたはその近似値であり得る)等の仮定された眼寸法704、またはユーザの回転中心と視点中心との間の距離、および特定のユーザの瞳孔間距離等のユーザ毎の較正データ706等の眼追跡の付帯性質および固有性質を含む、利用可能なデータを利用してもよい。眼追跡モジュール614によって採用され得る、付帯性質、固有性質、および他の情報の付加的実施例は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7号)(参照することによってその全体として本明細書に組み込まれる)に説明される。
【0130】
画像前処理モジュール710は、画像を眼カメラ324等の眼カメラから受信してもよく、1つ以上の前処理(例えば、調整)動作を受信された画像上に実施してもよい。実施例として、画像前処理モジュール710は、ガウスぼけを画像に適用してもよい、画像をより低い分解能にダウンサンプリングしてもよい、アンシャープマスクを適用してもよい、縁シャープニングアルゴリズムを適用してもよい、または後の検出、位置特定、および眼カメラ324からの画像内の閃光、瞳孔、または他の特徴の標識化を補助する、他の好適なフィルタを適用してもよい。画像前処理モジュール710は、高周波数雑音を瞳孔境界516a(図5参照)等から除去し、それによって瞳孔および閃光決定を妨害し得る、雑音を除去し得る、オープンフィルタ等の低域通過フィルタまたは形態学的フィルタを適用してもよい。画像前処理モジュール710は、前処理された画像を瞳孔識別モジュール712および閃光検出および標識化モジュール714に出力してもよい。
【0131】
瞳孔識別モジュール712は、前処理された画像を画像前処理モジュール710から受信してもよく、ユーザの瞳孔を含む、それらの画像の領域を識別してもよい。瞳孔識別モジュール712は、いくつかの実施形態では、カメラ324からの眼追跡画像内のユーザの瞳孔の位置の座標、すなわち、中心または重心の座標を決定してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール712は、眼追跡画像内の輪郭(例えば、瞳孔虹彩境界の輪郭)を識別し、輪郭モーメント(例えば、質量中心)を識別し、スターバースト瞳孔検出および/またはCanny縁検出アルゴリズムを適用し、強度値に基づいて外れ値を除外し、サブピクセル境界点を識別し、眼カメラ歪曲(例えば、眼カメラ324によって捕捉された画像内の歪曲)を補正し、ランダムサンプルコンセンサス(RANSAC)反復アルゴリズムを適用し、楕円形を眼追跡画像内の境界に適合させ、追跡フィルタを画像に適用し、ユーザの瞳孔重心のサブピクセル画像座標を識別してもよい。瞳孔識別モジュール712は、(ユーザの瞳孔を示すと識別された前処理画像モジュール712の領域を示し得る)瞳孔識別データを、閃光検出および標識化モジュール714に出力してもよい。瞳孔識別モジュール712は、各眼追跡画像内のユーザの瞳孔の2D座標(例えば、ユーザの瞳孔の重心の2D座標)を閃光検出モジュール714に提供してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール712はまた、同一種類の瞳孔識別データを座標系正規化モジュール718に提供してもよい。
【0132】
瞳孔識別モジュール712によって利用され得る、瞳孔検出技法は、2017年2月23日に公開された米国特許公開第2017/0053165号および2017年2月23日に公開された米国特許公開第2017/0053166号(それぞれ、参照することによってその全体として本明細書に組み込まれる)に説明される。
【0133】
閃光検出および標識化モジュール714は、前処理された画像をモジュール710から、瞳孔識別データをモジュール712から受信してもよい。閃光検出モジュール714は、本データを使用して、閃光(すなわち、光源326からの光のユーザの眼からの反射)をユーザの瞳孔を示す前処理された画像の領域内で検出および/または識別してもよい。実施例として、閃光検出モジュール714は、ユーザの瞳孔の近傍にある、時として、本明細書では、「ブロブ」または局所強度最大値とも称される、眼追跡画像内の明るい領域を検索してもよい。少なくともいくつかの実施形態では、閃光検出モジュール714は、瞳孔楕円形を再スケーリング(例えば、拡大)し、付加的閃光を包含してもよい。閃光検出モジュール714は、サイズおよび/または強度によって、閃光をフィルタリングしてもよい。閃光検出モジュール714はまた、眼追跡画像内の閃光のそれぞれの2D位置を決定してもよい。少なくともいくつかの実施例では、閃光検出モジュール714は、瞳孔-閃光ベクトルとも称され得る、ユーザの瞳孔に対する閃光の2D位置を決定してもよい。閃光検出および標識化モジュール714は、閃光を標識化し、標識された閃光を伴う前処理画像を3D角膜中心推定モジュール716に出力してもよい。閃光検出および標識化モジュール714はまた、モジュール710からの前処理された画像およびモジュール712からの瞳孔識別データ等のデータを伝えてもよい。いくつかの実装では、閃光検出および標識化モジュール714は、各識別された閃光を生産した(例えば、赤外線光源326aおよび326bを含む、システムの複数の光源の中の)光源を決定してもよい。これらの実施例では、閃光検出および標識化モジュール714は、閃光を関連付けられる光源を識別する情報で標識化し、標識された閃光を伴う前処理画像を3D角膜中心推定モジュール716に出力してもよい。
【0134】
モジュール712および714等のモジュールによって実施されるような瞳孔および閃光検出は、任意の好適な技法を使用することができる。実施例として、縁検出が、眼画像に適用され、閃光および瞳孔を識別することができる。縁検出は、種々の縁検出器、縁検出アルゴリズム、またはフィルタによって適用されることができる。例えば、Canny縁検出器が、画像に適用され、画像の線等の縁を検出することができる。縁は、局所最大導関数に対応する、線に沿って位置する点を含んでもよい。例えば、瞳孔境界516a(図5参照)が、Canny縁検出器を使用して、位置特定されることができる。瞳孔の場所が決定されると、種々の画像処理技法が、瞳孔116の「姿勢」を検出するために使用されることができる。眼画像の眼姿勢の決定は、眼画像の眼姿勢の検出とも称され得る。姿勢は、視線、向いている方向、または眼の配向とも称され得る。例えば、瞳孔は、オブジェクトに向かって左を見ている場合があり、瞳孔の姿勢は、左向き姿勢として分類され得る。他の方法も、瞳孔または閃光の場所を検出するために使用されることができる。例えば、同心リングが、Canny縁検出器を使用した眼画像内に位置し得る。別の実施例として、積分微分演算子が、瞳孔または虹彩の角膜輪部境界を見出すために使用されてもよい。例えば、Daugman積分微分演算子、Hough変換、または他の虹彩セグメント化技法が、瞳孔または虹彩の境界を推定する、曲線を返すために使用されることができる。
【0135】
3D角膜中心推定モジュール716は、検出された閃光データおよび瞳孔識別データを含む、前処理された画像を、モジュール710、712、714から受信してもよい。3D角膜中心推定モジュール716は、これらのデータを使用して、ユーザの角膜の3D位置を推定してもよい。いくつかの実施形態では、3D角膜中心推定モジュール716は、眼の角膜曲率またはユーザの角膜球面の中心、例えば、概して、ユーザの角膜と同延の表面部分を有する、想像上の球面の中心の3D位置を推定してもよい。3D角膜中心推定モジュール716は、角膜球面および/またはユーザの角膜の推定された3D座標を示すデータを、座標系正規化モジュール718、光学軸決定モジュール722、および/またはライトフィールドレンダリングコントローラ618に提供してもよい。3D角膜中心推定モジュール716の動作のさらなる詳細は、図11-16Cに関連して本明細書に提供される。3D角膜中心推定モジュール716および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、角膜または角膜球面等の眼特徴の位置を推定するための例示的技法は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7)(参照することによってその全体として本明細書に組み込まれる)に議論される。
【0136】
座標系正規化モジュール718は、随意に、(その破線輪郭によって示されるように)眼追跡モジュール614内に含まれてもよい。座標系正規化モジュール718は、ユーザの角膜の中心(および/またはユーザの角膜球面の中心)の推定された3D座標を示すデータを、3D角膜中心推定モジュール716から受信してもよく、また、データを他のモジュールから受信してもよい。座標系正規化モジュール718は、眼カメラ座標系を正規化してもよく、これは、ウェアラブルデバイスの滑脱(例えば、位置合わせオブザーバ620によって識別され得る、ユーザの頭部上のその通常静置位置からの頭部搭載型コンポーネントの滑脱)を補償することに役立ち得る。座標系正規化モジュール718は、座標系を回転させ、座標系のz-軸(例えば、輻輳・開散運動深度軸)と角膜中心(例えば、3D角膜中心推定モジュール716によって示されるように)を整合させてもよく、カメラ中心(例えば、座標系の原点)を30mm等の角膜中心から離れた所定の距離に平行移動させてもよい(例えば、モジュール718は、眼カメラ324が所定の距離より近くまたは遠くにあるように決定されるかどうかに応じて、眼追跡画像を拡大または収縮し得る)。本正規化プロセスを用いることで、眼追跡モジュール614は、比較的に、ユーザの頭部上に位置付けられるヘッドセットの変動から独立して、眼追跡データ内の一貫した配向および距離を確立することが可能であり得る。座標系正規化モジュール718は、角膜(および/または角膜球面)の中心の3D座標、瞳孔識別データ、および前処理された眼追跡画像を3D瞳孔中心ロケータモジュール720に提供してもよい。
【0137】
3D瞳孔中心ロケータモジュール720は、正規化または非正規化座標系内において、ユーザの角膜(および/または角膜球面)の中心の3D座標、瞳孔場所データ、および前処理された眼追跡画像を含む、データを受信してもよい。3D瞳孔中心ロケータモジュール720は、そのようなデータを分析して、正規化または非正規化眼カメラ座標系内のユーザの瞳孔中心の3D座標を決定してもよい。3D瞳孔中心ロケータモジュール720は、瞳孔重心の2D位置(モジュール712によって決定されるように)、角膜中心の3D位置(モジュール716によって決定されるように)、典型的ユーザの角膜球面のサイズおよび角膜中心から瞳孔中心までの典型的距離等の仮定された眼寸法704、および角膜の屈折率(空気の屈折率に対する)等の眼の光学性質、または任意のこれらの組み合わせに基づいて、3次元におけるユーザの瞳孔の場所を決定してもよい。3D瞳孔中心ロケータモジュール720および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、瞳孔等の眼特徴の位置を推定するための技法は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7)(参照することによってその全体として本明細書に組み込まれる)に議論される。
【0138】
光学軸決定モジュール722は、ユーザの角膜およびユーザの瞳孔中心の3D座標を示すデータを、モジュール716および720から受信してもよい。そのようなデータに基づいて、光学軸決定モジュール722は、角膜中心の位置から(例えば、角膜球面の中心から)、ユーザの眼の光学軸を定義し得る、ユーザの瞳孔中心までのベクトルを識別してもよい。光学軸決定モジュール722は、実施例として、ユーザの光学軸を規定する出力をモジュール724、728、730、および732に提供してもよい。
【0139】
回転中心(CoR)推定モジュール724は、ユーザの眼の光学軸のパラメータ(例えば、頭部搭載型ユニット602に対して既知の関係を伴う座標系内の光学軸の方向を示すデータ)を含むデータを、モジュール722から受信してもよい。例えば、CoR推定モジュール724は、ユーザの眼の回転中心を推定し得る。回転中心は、ユーザの眼が左、右、上、および/または下に回転するとき、その周囲でユーザの眼が回転する、点を示し得る。眼が、単点の周囲で完璧に回転し得ない場合でも、単点が十分であり得ると仮定する。少なくともいくつかの実施形態では、CoR推定モジュール724は、瞳孔中心(モジュール720によって識別される)または角膜曲率の中心(モジュール716によって識別されるように)から網膜に向かって光学軸(モジュール722によって識別される)に沿って特定の距離だけ移動させることによって、眼の回転中心を推定し得る。本特定の距離は、仮定された眼寸法704であってもよい。一実施例として、角膜曲率の中心とCoRとの間の特定の距離は、例えば、5.7mm、4.7mm、5.7mm±1mm、またはその近似値であってもよい。本距離は、ユーザの年齢、性別、視覚処方箋、他の関連特性等を含む、任意の関連データに基づいて、特定のユーザのために変動され得る。
【0140】
少なくともいくつかの実施形態では、CoR推定モジュール724は、ユーザの眼のそれぞれの回転中心のその推定値を経時的に精緻化してもよい。実施例として、時間が経過するにつれて、ユーザは、最終的に、その眼を回転させ(他の場所、より近く、より遠くの何らかのもの、またはある時に左、右、上、または下を見るため)、その眼のそれぞれの光学軸において偏移を生じさせるであろう。CoR推定モジュール724は、次いで、モジュール722によって識別される2つ(またはそれを上回る)光学軸を分析し、それらの光学軸の交差部の3D点を位置特定してもよい。CoR推定モジュール724は、次いで、その交差部の3D点にある回転中心を決定してもよい。そのような技法は、経時的に改良する正確度を伴う、回転中心の推定値を提供し得る。
【0141】
種々の技法が、CoR推定モジュール724および左および右眼の決定されたCoR位置の正確度を増加させるために採用されてもよい。実施例として、CoR推定モジュール724は、種々の異なる眼姿勢に関して経時的に決定された光学軸の交差部の平均点を見出すことによって、CoRを推定してもよい。付加的実施例として、モジュール724は、推定されたCoR位置を経時的にフィルタリングまたは平均化してもよく、推定されたCoR位置の移動平均を経時的に計算してもよく、および/またはカルマンフィルタおよび眼および眼追跡システムの既知の動態を適用し、CoR位置を経時的に推定してもよい。いくつかの実装では、最小二乗アプローチが、光学軸の交差部の1つ以上の点を決定するためにとられ得る。そのような実装では、システムは、所与の時点において、所与のセットの光学軸までの二乗距離の和が光学軸交差部の点として低減または最小限にされる、場所を識別し得る。具体的実施例として、モジュール724は、決定されたCoRが、ユーザに関する眼追跡データが取得されるにつれて、仮定されたCoR位置(例えば、眼の角膜曲率の中心またはその近似値の4.7mm、または5.7mm、または5.7mm±1mm背後)からユーザの眼内の若干異なる場所に経時的にゆっくりと移り、それによって、CoR位置のユーザ毎精緻化を可能にし得るように、光学軸交差部の決定された点および仮定されたCoR位置(眼の角膜曲率の中心またはその近似値から5.7mm、または4.7mm、または5.7mm±1mm等)の加重平均を計算してもよい。
【0142】
理想的条件下では、HMDに対するユーザの眼の真のCoRの3D位置は、ユーザがその眼を移動させるにつれて(例えば、ユーザの眼がその回転中心の周囲で回転するにつれて)、無視可能であるまたは最小限の量だけ経時的に変化するはずである。換言すると、眼移動の所与のセットに関して、(HMDに対する)ユーザの眼の真のCoRの3D位置は、仮説上、ユーザの眼の光学軸に沿った任意の他の点ほど経時的に変動しないはずである。したがって、光学軸に沿った点がユーザの眼の真のCoRから離れるほど、その3D位置は、ユーザがその眼を移動させるにつれて、より多くの変動量または分散量を経時的に呈するであろうということになる。いくつかの実施形態では、CoR推定モジュール724および/または眼追跡モジュール614の他のサブモジュールは、本統計的関係を利用して、CoR推定正確度を改良してもよい。そのような実施形態では、CoR推定モジュール724および/または眼追跡モジュール614の他のサブモジュールは、低変動量(例えば、低分散量または標準偏差)を有する、そのCoR推定値の変動量を識別することによって、CoR 3D位置のその推定値を経時的に精緻化してもよい。
【0143】
第1の実施例として、CoR推定モジュール724が、複数の異なる光学軸の交差部(それぞれ、異なる方向を見ているユーザと関連付けられる)に基づいて、CoRを推定する、実施形態では、CoR推定モジュール724は、共通オフセットを光学軸のそれぞれの方向に導入し(例えば、各軸をある均一量だけ偏移させる)、オフセットされた光学軸が、低変動量、例えば、低分散量または標準偏差を有する交点において相互に交差するかどうかを決定することによって、本統計的関係(真のCoRは、低分散量を有するはずである)を利用してもよい。これは、光学軸の方向の計算におけるわずかな体系的誤差を補正し、CoRの推定される位置が真のCoRにより近くなるように精緻化することに役立ち得る。
【0144】
第2の実施例として、CoR推定モジュール724が、光学軸(または他の軸)に沿って特定の距離(例えば、角膜曲率の中心とCoRとの間の距離等)だけ移動させることによって、CoRを推定する、実施形態では、システムは、推定されるCoR位置の変動量、例えば、分散量および/または標準偏差を低減または最小限にするような様式において、角膜曲率の中心とCoRとの間の特定の距離を経時的に変動させる、最適化する、調整する、または別様に調節してもよい(例えば、異なる時間において捕捉された眼の大規模な画像のグループに関して)。例えば、CoR推定モジュール724が、最初に、4.7mm、または5.7mm、または5.7mm±1mm、またはその近似値の特定の距離値(角膜曲率の中心から、光学軸に沿って)を使用し、CoR位置推定値を取得するが、所与のユーザの眼の真のCoRが、眼の角膜曲率の中心の4.9mm背後に位置付けられ得る(光学軸に沿って)場合、CoR推定モジュール724によって取得されるCoR位置推定値の初期セットは、比較的に高量の変動量、例えば、分散量または標準偏差を呈し得る。そのような比較的に高量の変動量(例えば、分散量または標準偏差)の検出に応答して、CoR推定モジュール724は、より低量の変動量(例えば、分散量または標準偏差)を有する、光学軸に沿った1つ以上の点を探索および識別してもよく、最低変動量(例えば、分散量または標準偏差)を有する、4.9mm距離を識別してもよく、したがって、利用される特定の距離値を4.9mmに調節してもよい。
【0145】
CoR推定モジュール724は、現在のCoR推定値が比較的に高量の変動量(例えば、分散量または標準偏差)を有することを検出することに応答して、より低い変動量(例えば、分散量および/または標準偏差)を有する、代替CoR推定値を探索してもよい、または初期CoR推定値を取得後、当然のように、より低い変動量(例えば、分散量または標準偏差)を有する、代替CoR推定値を探索してもよい。いくつかの実施例では、そのような最適化/調節は、経時的に徐々に発生してもよい一方、他の実施例では、そのような最適化/調節は、初期ユーザ較正セッションの間に行われることができる。そのようなプロシージャが較正プロシージャの間に行われる、実施例では、CoR推定モジュール724は、最初に、任意の仮定される特定の距離に賛同/遵守しなくてもよく、むしろ、眼追跡データのセットを経時的に収集し、統計的分析を眼追跡データのセット上で実施し、統計的分析に基づいて、最も少ない可能性として考えられる量(例えば、大域的最小値)の変動量(例えば、分散量または標準偏差)を伴うCoR位置推定値をもたらす、特定の距離値を決定してもよい。
【0146】
瞳孔間距離(IPD)推定モジュール726は、ユーザの左および右眼の回転中心の推定された3D位置を示すデータを、CoR推定モジュール724から受信してもよい。IPD推定モジュール726は、次いで、ユーザの左および右眼の回転中心間の3D距離を測定することによって、ユーザのIPDを推定してもよい。一般に、ユーザの左眼の推定されたCoRとユーザの右眼の推定されたCoRとの間の距離は、ユーザが光学無限遠を見ている(例えば、ユーザの眼の光学軸が相互に略平行である)とき、ユーザの瞳孔中心間の距離と概ね等しくあり得、これは、瞳孔間距離(IPD)の典型的定義である。ユーザのIPDは、ウェアラブルシステム内の種々のコンポーネントおよびモジュールによって使用されてもよい。実施例として、ユーザのIPDは、位置合わせオブザーバ620に提供され、ウェアラブルデバイスがユーザの眼と整合されている程度(例えば、左および右ディスプレイレンズが、ユーザのIPDに従って適切に離間されているかどうか)を査定する際に使用されてもよい。別の実施例として、ユーザのIPDは、輻輳・開散運動深度推定モジュール728に提供され、ユーザの輻輳・開散運動深度を決定する際に使用されてもよい。モジュール726は、CoR推定モジュール724に関連して議論されるもの等の種々の技法を採用し、推定されたIPDの正確度を増加させてもよい。実施例として、IPD推定モジュール724は、正確な様式におけるユーザのIPDの推定の一部として、フィルタリング、経時的な平均、仮定されたIPD距離を含む、加重平均、カルマンフィルタ等を適用してもよい。
【0147】
輻輳・開散運動深度推定モジュール728は、データを眼追跡モジュール614内の種々のモジュールおよびサブモジュール(図7Aに関連して示されるように)から受信してもよい。特に、輻輳・開散運動深度推定モジュール728は、瞳孔中心の推定された3D位置(例えば、上記に説明されるモジュール720によって提供されるように)、光学軸の1つ以上の決定されたパラメータ(例えば、上記に説明されるモジュール722によって提供されるように)、回転中心の推定された3D位置(例えば、上記に説明されるモジュール724によって提供されるように)、推定されたIPD(例えば、回転中心の推定された3D位置間のユークリッド距離)(例えば、上記に説明されるモジュール726によって提供されるように)、および/または光学軸および/または視軸の1つ以上の決定されたパラメータ(例えば、下記に説明されるモジュール722および/またはモジュール730によって提供されるように)を示すデータを採用してもよい。輻輳・開散運動深度推定モジュール728は、ユーザの眼が合焦されるユーザからの距離であり得る、ユーザの輻輳・開散運動深度の測定値を検出または別様に取得してもよい。実施例として、ユーザが、彼らの正面から3フィートのオブジェクトを見ているとき、ユーザの左および右眼は、3フィートの輻輳・開散運動深度を有する一方、ユーザが遠距離の景観を見ている(例えば、ユーザの眼の光学軸が、ユーザの瞳孔中心間の距離が、ユーザの左および右眼の回転中心間の距離と概ね等しくあり得るように、相互に略平行である)とき、ユーザの左および右眼は、無限遠の輻輳・開散運動深度を有する。いくつかの実装では、輻輳・開散運動深度推定モジュール728は、ユーザの瞳孔の推定された中心(例えば、モジュール720によって提供されるように)を示すデータを利用し、ユーザの瞳孔の推定された中心間の3D距離を決定してもよい。輻輳・開散運動深度推定モジュール728は、瞳孔中心間のそのような決定された3D距離と推定されたIPD(例えば、回転中心の推定された3D位置間のユークリッド距離)(例えば、上記に説明されるモジュール726によって示されるように)を比較することによって、輻輳・開散運動深度の測定値を取得してもよい。瞳孔中心間の3D距離および推定されたIPDに加え、輻輳・開散運動深度推定モジュール728は、既知の、仮定された、推定された、および/または決定された幾何学形状を利用して、輻輳・開散運動深度を計算してもよい。実施例として、モジュール728は、瞳孔中心間の3D距離、推定されたIPD、および三角法計算における3D CoR位置を組み合わせて、ユーザの輻輳・開散運動深度を推定(例えば、決定)してもよい。実際、推定されたIPDに対する瞳孔中心間のそのような決定された3D距離の評価は、光学無限遠に対するユーザの現在の輻輳・開散運動深度の測定値を示す役割を果たし得る。いくつかの実施例では、輻輳・開散運動深度推定モジュール728は、単に、輻輳・開散運動深度のそのような測定値を取得する目的のために、ユーザの瞳孔の推定された中心間の推定された3D距離を示すデータを受信する、またはそれにアクセスしてもよい。いくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、ユーザの左および右光学軸を比較することによって、輻輳・開散運動深度を推定してもよい。特に、輻輳・開散運動深度推定モジュール728は、ユーザの左および右光学軸が交差する(または水平平面等の平面上のユーザの左および右光学軸の投影が交差する)、ユーザからの距離を位置特定することによって、輻輳・開散運動深度を推定してもよい。モジュール728は、ゼロ深度をユーザの左および右光学軸がユーザのIPDによって分離される深度であると設定することによって、本計算において、ユーザのIPDを利用してもよい。少なくともいくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、眼追跡データを、既知のまたは導出された空間関係とともに三角測量することによって、輻輳・開散運動深度を決定してもよい。
【0148】
いくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、ユーザが合焦している距離のより正確なインジケーションを提供し得る、ユーザの視軸の交差部に基づいて(その光学軸の代わりに)、ユーザの輻輳・開散運動深度を推定してもよい。少なくともいくつかの実施形態では、眼追跡モジュール614は、光学軸/視軸マッピングモジュール730を含んでもよい。図10に関連してさらに詳細に議論されるように、ユーザの光学軸および視軸は、概して、整合されない。視軸は、それに沿って人物が見ている軸である一方、光学軸は、その人物の水晶体および瞳孔中心によって定義され、人物の網膜の中心を通して進み得る。特に、ユーザの視軸は、概して、ユーザの網膜の中心からオフセットされ、それによって、異なる光学および視軸をもたらし得る、ユーザの中心窩の場所によって定義される。これらの実施形態のうちの少なくともいくつかでは、眼追跡モジュール614は、光学軸/視軸マッピングモジュール730を含んでもよい。光学軸/視軸マッピングモジュール730は、ユーザの光学軸と視軸との間の差異を補正し、輻輳・開散運動深度推定モジュール728およびライトフィールドレンダリングコントローラ618等のウェアラブルシステム内の他のコンポーネントに対するユーザの視軸に関する情報を提供してもよい。いくつかの実施例では、モジュール730は、光学軸と視軸との間の内向きの(鼻側に、ユーザの鼻に向かって)約5.2°の典型的オフセットを含む、仮定された眼寸法704を使用してもよい。換言すると、モジュール730は、ユーザの左および右光学軸の方向を推定するために、ユーザの左光学軸を5.2°鼻に向かって(鼻側に)右に、ユーザの右光学軸を5.2°鼻に向かって(鼻側に)左に偏移させ得る。他の実施例では、モジュール730は、光学軸(例えば、上記に説明されるモジュール722によって示されるように)を視軸にマッピングする際、ユーザ毎較正データ706を利用してもよい。付加的実施例として、モジュール730は、ユーザの光学軸を鼻側に4.0°~6.5°、4.5°~6.0°、5.0°~5.4°等、またはこれらの値のいずれかによって形成される任意の範囲だけ偏移させてもよい。いくつかの配列では、モジュール730は、少なくとも部分的に、その年齢、性別、視覚処方箋、または他の関連特性等の特定のユーザの特性に基づいて、偏移を適用してもよく、および/または少なくとも部分的に、特定のユーザのための較正プロセス(例えば、特定のユーザの光学軸-視軸オフセットを決定するため)に基づいて、偏移を適用してもよい。少なくともいくつかの実施形態では、モジュール730はまた、左および右光学軸の原点を偏移させ、ユーザのCoRの代わりに、ユーザのCoP(モジュール732によって決定されるように)に対応させてもよい。
【0149】
随意の視点中心(CoP)推定モジュール732が、提供されるとき、ユーザの左および右視点中心(CoP)の場所を推定してもよい。CoPは、ウェアラブルシステムのための有用な場所であって、少なくともいくつかの実施形態では、瞳孔の真正面の位置であり得る。少なくともいくつかの実施形態では、CoP推定モジュール732は、ユーザの瞳孔中心の3D場所、ユーザの角膜曲率の中心の3D場所、またはそのような好適なデータ、またはそれらの任意の組み合わせに基づいて、ユーザの左および右視点中心の場所を推定してもよい。実施例として、ユーザのCoPは、角膜曲率の中心の正面の約5.01mm(例えば、角膜球面中心から、眼の角膜に向かい、光学軸に沿った方向に5.01mm)にあり得、光学または視軸に沿ってユーザの角膜の外面の約2.97mm背後にあり得る。ユーザの視点中心は、その瞳孔中心の真正面にあり得る。実施例として、ユーザのCoPは、ユーザの瞳孔から約2.0mm未満、ユーザの瞳孔から約1.0mm未満、またはユーザの瞳孔から約0.5mm未満、またはこれらの値のいずれかの間の任意の範囲であり得る。別の実施例として、視点中心は、眼の前房内の場所に対応し得る。他の実施例として、CoPは、ユーザの瞳孔から1.0mm~2.0mm、約1.0mm、0.25mm~1.0mm、0.5mm~1.0mm、または0.25mm~0.5mmにあり得る。
【0150】
(レンダリングカメラのピンホールの潜在的に望ましい位置およびユーザの眼内の解剖学的位置としての)本明細書に説明される視点中心は、望ましくない視差偏移を低減および/または排除する役割を果たす、位置であり得る。特に、ユーザの眼の光学系は、レンズの正面のピンホールが画面上に投影することによって形成される理論的システムにほぼ概ね匹敵し、ピンホール、レンズ、および画面は、それぞれ、ユーザの瞳孔/虹彩、水晶体、および網膜に概ね対応する。さらに、ユーザの眼から異なる距離における2つの点光源(またはオブジェクト)が、ピンホールの開口部を中心として厳密に回転する(例えば、ピンホールの開口部からのその個別の距離と等しい曲率半径に沿って回転される)とき、殆どまたは全く視差偏移が存在しないことが望ましくあり得る。したがって、CoPは、眼の瞳孔中心に位置するはずであると考えられるであろう(およびそのようなCoPが、いくつかの実施形態では、使用されてもよい)。しかしながら、ヒトの眼は、水晶体および瞳孔のピンホールに加え、付加的屈折力を網膜に向かって伝搬する光に付与する、角膜を含む。したがって、本段落に説明される理論的システム内のピンホールの解剖学的均等物は、ユーザの眼の角膜の外面とユーザの眼の瞳孔または虹彩の中心との間に位置付けられる、ユーザの眼の領域であり得る。例えば、ピンホールの解剖学的均等物は、ユーザの眼の前房内の領域に対応し得る。本明細書で議論される種々の理由から、CoPをユーザの眼の前房内のそのような位置に設定することが所望され得る。
【0151】
上記に議論されるように、眼追跡モジュール614は、左および右眼回転中心(CoR)の推定された3D位置、輻輳・開散運動深度、左および右眼光学軸、ユーザの眼の3D位置、ユーザの角膜曲率の左および右中心の3D位置、ユーザの左および右瞳孔中心の3D位置、ユーザの左および右視点中心の3D位置、ユーザのIPD等のデータを、ウェアラブルシステム内のライトフィールドレンダリングコントローラ618および位置合わせオブザーバ620等の他のコンポーネントに提供してもよい。眼追跡モジュール614はまた、ユーザの眼の他の側面と関連付けられるデータを検出および生成する、他のサブモジュールを含んでもよい。実施例として、眼追跡モジュール614は、ユーザが瞬目する度に、フラグまたは他のアラートを提供する、瞬目検出モジュールと、ユーザの眼がサッカードする(例えば、焦点を別の点に迅速に偏移させる)度に、フラグまたは他のアラートを提供する、サッカード検出モジュールとを含んでもよい。
【0152】
眼追跡および回転中心を決定する他の方法も、可能性として考えられる。故に、眼追跡モジュール614は、異なってもよい。下記に説明される眼追跡モジュールの種々の実装では、例えば、回転中心の推定値は、複数の角膜曲率の中心値に基づいて決定される。いくつかの実装では、例えば、図17A-19Dを参照して議論されるように、眼追跡モジュール614は、可能性として、異なる眼姿勢に関する、複数の角膜の曲率の中心に適合される表面の表面法線ベクトルの間の収束または交差部を決定することによって、眼の回転中心を推定し得る。なお、上記または本明細書のいずれかの場所に説明される眼追跡モジュール614からの1つ以上の特徴が、眼追跡モジュールの他の実装に含まれてもよい。
H.レンダリングコントローラの実施例
【0153】
例示的ライトフィールドレンダリングコントローラ618の詳細なブロック図が、図7Bに示される。図6および7Bに示されるように、レンダリングコントローラ618は、眼追跡情報を眼追跡モジュール614から受信してもよく、出力をレンダリングエンジン622に提供してもよく、これは、ウェアラブルシステムのユーザによって視認するために表示されるべき画像を生成し得る。実施例として、レンダリングコントローラ618は、輻輳・開散運動深度、左および右眼回転中心(および/または視点中心)、および瞬目データ、サッカードデータ等の他の眼データを受信してもよい。
【0154】
深度面選択モジュール750は、輻輳・開散運動深度情報および他の眼データを受信してもよく、そのようなデータに基づいて、レンダリングエンジン622に、特定の深度面(例えば、特定の遠近調節または焦点距離)を伴うコンテンツをユーザに伝達させてもよい。図4に関連して議論されるように、ウェアラブルシステムは、それぞれ、可変レベルの波面曲率を伴う画像情報を伝達する、複数の導波管によって形成される、複数の離散深度面を含んでもよい。いくつかの実施形態では、ウェアラブルシステムは、経時的に変動するレベルの波面曲率を伴う画像情報を伝達する、光学要素等の1つ以上の可変深度面を含んでもよい。これらおよび他の実施形態では、深度面選択モジュール750が、レンダリングエンジン622に、部分的に、ユーザの輻輳・開散運動深度に基づいて、コンテンツを選択された深度においてユーザに伝達させてもよい(例えば、レンダリングエンジン622に、ディスプレイ220に深度面を切り替えるように指示させる)。少なくともいくつかの実施形態では、深度面選択モジュール750およびレンダリングエンジン622は、コンテンツを異なる深度にレンダリングし、また、深度面選択データを生成し、および/またはディスプレイ220等のディスプレイハードウェアに提供してもよい。ディスプレイ220等のディスプレイハードウェアは、深度面選択モジュール750およびレンダリングエンジン622等のモジュールによって生成および/または提供される深度面選択データ(制御信号であり得る)に応答して、電気深度面切替を実施してもよい。
【0155】
一般に、深度面選択モジュール750が、ユーザが正確な遠近調節キューを提供されるように、ユーザの現在の輻輳・開散運動深度に合致する深度面を選択することが望ましくあり得る。しかしながら、また、慎重かつ目立たない様式において深度面を切り替えることが望ましくあり得る。実施例として、深度面間の過剰な切替を回避することが望ましくあり得、および/または瞬目または眼サッカードの間等のユーザが切替に気付く可能性が低い時間に深度面を切り替えることが望ましくあり得る。
【0156】
ヒステリシス帯交差部検出モジュール752は、特に、ユーザの輻輳・開散運動深度が2つの深度面間の中点または遷移点で変動するとき、深度面間の過剰な切替を回避することに役立ち得る。特に、モジュール752は、深度面選択モジュール750に、ヒステリシスを深度面のその選択に呈させてもよい。実施例として、モジュール752は、深度面選択モジュール750に、ユーザの輻輳・開散運動深度が第1の閾値を通過した後のみ、第1のより遠い深度面から第2のより近い深度面に切り替えさせてもよい。同様に、モジュール752は、深度面選択モジュール750に(ひいては、ディスプレイ220等のディスプレイに指示し得る)、ユーザの輻輳・開散運動深度が第1の閾値よりユーザから遠い第2の閾値を通過した後のみ、第1のより遠い深度面に切り替えさせてもよい。第1の閾値と第2の閾値との間の重複領域では、モジュール750は、深度面選択モジュール750に、いずれかの深度面が選択された深度面として現在選択されているように維持させ、したがって、深度面間の過剰な切替を回避してもよい。
【0157】
眼球イベント検出モジュール750は、他の眼データを図7Aの眼追跡モジュール614から受信してもよく、深度面選択モジュール750に、眼球イベントが生じるまで、いくつかの深度面切替を遅延させてもよい。実施例として、眼球イベント検出モジュール750は、深度面選択モジュール750に、ユーザ瞬目が検出されるまで、計画された深度面切替を遅延させてもよく、眼追跡モジュール614内の瞬目検出コンポーネントから、ユーザが現在瞬目していることを示す、データを受信してもよく、それに応答して、深度面選択モジュール750に、瞬目イベントの間、計画された深度面切替を実行させてもよい(モジュール750に、瞬目イベントの間、ディスプレイ220に深度面切替を実行するように指示させることによって等)。少なくともいくつかの実施形態では、ウェアラブルシステムは、ユーザが偏移を知覚する可能性が低いように、瞬目イベントの間、コンテンツを新しい深度面上に偏移させることが可能であり得る。別の実施例として、眼球イベント検出モジュール750は、眼サッカードが検出されるまで、計画された深度面切替を遅延させてもよい。眼瞬目に関連して議論されるように、そのような配列は、深度面の離散偏移を促進し得る。
【0158】
所望に応じて、深度面選択モジュール750は、眼球イベントの不在下であっても、深度面切替を実行する前に、限定された時間周期にわたってのみ、計画された深度面切替を遅延させてもよい。同様に、深度面選択モジュール750は、眼球イベントの不在下であっても、ユーザの輻輳・開散運動深度が、現在選択されている深度面外に実質的にあるとき(例えば、ユーザの輻輳・開散運動深度が、深度面切替のための通常閾値を超える所定の閾値を超えたとき)、深度面切替を実行してもよい。これらの配列は、眼球イベント検出モジュール754が、深度面切替を無限に遅延させず、大遠近調節誤差が存在するとき、遅延深度面切替を遅延させないことを確実にすることに役立ち得る。
【0159】
レンダリングカメラコントローラ758は、ユーザの左および右眼の場所を示す情報を、レンダリングエンジン622に提供してもよい。レンダリングエンジン622は、次いで、カメラをユーザの左および右眼の位置においてシミュレートし、シミュレートされたカメラの視点に基づいて、コンテンツを生成することによって、コンテンツを生成してもよい。上記に議論されるように、レンダリングカメラは、可能性として、仮想世界内のオブジェクトのデータベースから仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。レンダリングカメラは、レンダリングエンジン内に含まれ、該眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされてもよい。例えば、仮想画像は、仮想世界内のオブジェクトを視認する、開口、レンズ、および検出器を有する、カメラ(「レンダリングカメラ」に対応する)によって捕捉されたかのようにレンダリングされてもよい。仮想画像は、「レンダリングカメラ」の位置を有する、そのようなカメラの視点から撮影される。例えば、仮想画像は、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされてもよい。いくつかの実装では、画像は、ユーザまたは装着者の眼に対する具体的場所(本明細書に議論されるような視点中心または回転中心または他の場所等)に開口を有する、カメラ視点から捕捉されたかのようにレンダリングされる。
【0160】
レンダリングカメラコントローラ758は、CoR推定モジュール724によって決定された左および右眼回転中心(CoR)に基づいて、および/またはCoP推定モジュール732によって決定された左および右眼視点中心(CoP)に基づいて、左および右カメラの位置を決定してもよい。いくつかの実施形態では、レンダリングカメラコントローラ758は、種々の要因に基づいて、CoR場所とCoP場所との間で切り替えてもよい。実施例として、レンダリングカメラコントローラ758は、種々のモードでは、レンダリングカメラをCoR場所に常時位置合わせする、レンダリングカメラをCoP場所に常時位置合わせする、種々の要因に基づいて、経時的に、CoR場所へのレンダリングカメラの位置合わせとCoP場所へのレンダリングカメラの位置合わせとの間でトグルする、または離散的に切り替える、または種々の要因に基づいて、経時的に、CoR場所とCoP場所との間で光学(または視)軸に沿った異なる位置の範囲のいずれかにレンダリングカメラを動的に位置合わせしてもよい。CoRおよびCoP位置は、随意に、平滑フィルタ756を通して通過し得(レンダリングカメラ位置付けのための前述のモードのいずれかにおいて)、これは、CoRおよびCoP場所を経時的に平均し、これらの位置における雑音を低減させ、シミュレートされたレンダリングカメラをレンダリングする際のジッタを防止し得る。
【0161】
少なくともいくつかの実施形態では、レンダリングカメラは、眼追跡モジュール614によって識別される推定されたCoRまたはCoPの位置に配置されるピンホールを伴うピンホールカメラとしてシミュレートされてもよい。CoPは、CoRからオフセットされるため、レンダリングカメラの位置がユーザのCoPに基づくときは常時、レンダリングカメラおよびそのピンホールの両方の場所が、ユーザの眼が回転するにつれて偏移する。対照的に、レンダリングカメラの位置が、ユーザのCoRに基づくときは常時、レンダリングカメラのピンホールの場所は、眼回転に伴って移動しないが、レンダリングカメラ(ピンホールの背後)は、いくつかの実施形態では、眼回転に伴って移動し得る。レンダリングカメラの位置がユーザのCoRに基づく、他の実施形態では、レンダリングカメラは、ユーザの眼に伴って移動(すなわち、回転)しなくてもよい。
I.光学軸と視軸との間の差異の実施例
【0162】
図7Aの光学軸/視軸マッピングモジュール730に関連して議論されるように、ユーザの光学軸および視軸は、部分的に、ユーザの視軸がその中心窩によって定義され、中心窩が概して人物の網膜の中心にないことに起因して、概して、整合されない。したがって、人物が、特定のオブジェクトに集中することを所望するとき、人物は、その視軸をそのオブジェクトと整合させ、その光学軸(その瞳孔中心およびその角膜曲率の中心によって定義される)が、実際には、そのオブジェクトから若干オフセットされる間、オブジェクトからの光がその中心窩上に当たることを確実にする。図7Cは、眼の光学軸902と、眼の視軸904と、これらの軸間のオフセットとを図示する、眼900の実施例である。加えて、図7Cは、眼の瞳孔中心906と、眼の角膜曲率の中心908と、眼の平均回転中心(CoR)910とを図示する。少なくともいくつかの母集団では、眼の角膜曲率の中心908は、寸法912によって示されるように、眼の平均回転中心(CoR)910またはその近似値の正面の約4.7mm、または5.7mm、または5.7mm±1mmにあり得る。加えて、眼の視点中心914は、眼の角膜曲率の中心908の正面の約5.01mm、ユーザの角膜の外面916の約2.97mm背後、および/またはユーザの瞳孔中心906の真正面(例えば、眼900の前房内の場所に対応する)にあり得る。付加的実施例として、寸法912は、2.0mm~8.0mm、3.0mm~7.0mm、4.0~6.0mm、4.5~5.0mm、または4.6~4.8mm、5.0mm~6.0mm、5.6mm~5.8mm、5.5mm~6.0mm、またはこれらの範囲のいずれか内の任意の値と任意の値との間の任意の範囲であってもよい。眼の視点中心(CoP)914は、少なくともいくつかの実施形態では、レンダリングカメラをCoPに位置合わせすることが、視差アーチファクトを低減または排除することに役立ち得るため、ウェアラブルシステムのための有用な場所であり得る。
【0163】
図7Cはまた、それとレンダリングカメラのピンホールが整合され得る、ヒトの眼900内のそのような場所を図示する。図7Cに示されるように、レンダリングカメラのピンホールは、ヒトの眼900の(a)瞳孔または虹彩906の中心および(b)角膜曲率の中心908の両方より角膜の外面に近い、ヒトの眼900の光学軸902または視軸904に沿った場所914と位置合わせされてもよい。例えば、図7Cに示されるように、レンダリングカメラのピンホールは、角膜916の外面から後方に約2.97ミリメートルおよび角膜曲率の中心908から前方に約5.01ミリメートルにある、ヒトの眼900の光学軸902に沿った場所914と位置合わせされてもよい。レンダリングカメラのピンホールの場所914および/またはそれに対して場所914が対応するヒトの眼900の解剖学的領域は、ヒトの眼900の視点中心を表すと見なされ得る。図7Cに示されるようなヒトの眼900の光学軸902は、角膜曲率の中心908および瞳孔または虹彩906の中心を通る最短線を表す。ヒトの眼900の視軸904は、ヒトの眼900の中心窩から瞳孔または虹彩906の中心まで延在する線を表すため、光学軸902と異なる。
J.単一カメラを使用して角膜の中心を位置特定する実施例
【0164】
いくつかの実装では、3D角膜中心推定モジュール716は、単一カメラによって捕捉された1つ以上の画像上の1つ以上の光源によって生成された1つ以上の閃光の測定された位置に基づいて、角膜の中心を推定してもよい。上記の図7Aに図示される3D角膜中心推定モジュール716は、例えば、片眼追跡カメラから取得される1つ以上の画像に基づいて、角膜曲率の中心の推定値を提供してもよい。いくつかの実装では、球面眼モデルも、使用されてもよい。本球面モデルは、球面形状または曲率を有する表面に基づいて、角膜の形状または曲率をモデル化してもよい。
【0165】
図8Aは、眼の角膜球面を示す、眼の概略図である。図8Aに示されるように、ユーザの眼810は、角膜812と、瞳孔822と、水晶体820とを有し得る。角膜812は、角膜球面814によって示される、略球状形状を有し得る。角膜球面814は、角膜中心とも称される、中心点816と、半径818とを有し得る。ユーザの眼の半球状角膜は、角膜中心816の周囲に湾曲し得る。
【0166】
図8B-8Eは、3D角膜中心推定モジュール716および眼追跡モジュール614を使用してユーザの角膜中心816を位置特定する、実施例を図示する。
【0167】
図8Bに示されるように、3D角膜中心推定モジュール716は、角膜閃光854を含む、眼追跡画像852を受信してもよい。3D角膜中心推定モジュール716は、次いで、光線856を眼カメラ座標系内に投射するために、眼カメラ座標系850内において、眼カメラ324および光源326の既知の3D位置(眼追跡付帯性質および固有性質データベース702、仮定された眼寸法データベース704、および/またはユーザ毎較正データ706内のデータに基づき得る)をシミュレートしてもよい。少なくともいくつかの実施形態では、眼カメラ座標系850は、その原点を眼追跡カメラ324の3D位置に有してもよい。
【0168】
図8Cでは、3D角膜中心推定モジュール716は、第1の位置における角膜球面814a(データベース704からの仮定された眼寸法に基づき得る)および角膜曲率中心816aをシミュレートする。3D角膜中心推定モジュール716は、次いで、角膜球面814aが光を光源326から閃光位置854に適切に反射させるであろうかどうかをチェックしてもよい。図8Cに示されるように、第1の位置は、光線860aが光源326と交差しないため、合致しない。
【0169】
図8Dと同様に、3D角膜中心推定モジュール716は、第2の位置における角膜球面814bおよび角膜曲率中心816bをシミュレートする。3D角膜中心推定モジュール716は、次いで、角膜球面814bが、光を光源326からの閃光位置854に適切に反射させるかどうかをチェックする。図8Dに示されるように、第2の位置もまた、合致しない。
【0170】
図8Eに示されるように、3D角膜中心推定モジュール716は、最終的に、角膜球面の正しい位置が角膜球面814cおよび角膜曲率中心816cであることを決定することが可能である。3D角膜中心推定モジュール716は、源326からの光が、角膜球面から適切に反射し、カメラ324によって画像852上の閃光854の正しい場所に結像されるであろうことをチェックすることによって、図示される位置が正しいことを確認する。本配列、および光源326、カメラ324の既知の3D位置、およびカメラの光学性質(焦点距離等)を用いることで、3D角膜中心推定モジュール716は、角膜曲率の中心816の3D場所(ウェアラブルシステムに対する)を決定し得る。
【0171】
少なくとも図8C-8Eに関連して本明細書に説明されるプロセスは、事実上、ユーザの角膜中心の3D位置を識別するための反復、繰り返し、または最適化プロセスであり得る。したがって、複数の技法(例えば、反復、最適化技法等)のいずれかが、効率的かつ迅速に選別する、または可能性として考えられる位置の検索空間を低減させるために使用されてもよい。さらに、いくつかの実装では、システムは、光源326等の2つ、3つ、4つ、またはそれよりも多くの光源を含んでもよく、これらの光源の全てのうちのいくつかは、異なる位置に配置され、画像852上の異なる位置に位置する、閃光854等の複数の閃光および異なる原点および方向を有する、光線856等の複数の光線をもたらしてもよい。そのような設計は、モジュール716が、閃光および光線の一部または全部がその個別の光源と画像852上のその個別の位置との間に適切に反射される結果をもたらす、角膜位置を識別することを模索し得るため、3D角膜中心推定モジュール716の正確度を向上させ得る。換言すると、これらの実施形態では、光源の一部または全部の位置が、図8B-8Eの3D角膜位置決定(例えば、反復、最適化技法等)プロセスに依拠し得る。いくつかの実装では、システムは、最適化プロセスを実施する前に、それに沿って角膜の中心が常駐する、ベクトルまたは光線(すなわち、2D角膜中心位置)を決定してもよい。そのような実装では、3D角膜中心推定モジュール716は、そのようなベクトルに沿って、角膜位置のみを検索し得、これは、角膜曲率の中心の推定値を決定するための最適化プロセスまたは他のプロセスを実施するとき、算出および/または時間節約を提供する役割を果たし得る。これらの実装のうちの少なくともいくつかでは、そのようなベクトルを決定する前に、システムは、最初に、(i)眼カメラ座標系850の原点と、第1の光源(例えば、光源326a)と、第1の光源によって生産された第1の閃光(例えば、閃光854a)との間の第1の平面を定義し、(ii)眼カメラ座標系850の原点と、第2の光源(例えば、光源326b)と、第2の光源によって生産された第2の閃光(例えば、閃光854b)との間の第2の平面を定義してもよい。システムは、次いで、単に、第1の平面および第2の平面のクロス積を計算し、それに沿って角膜の中心が常駐する、ベクトルまたは光線(すなわち、2D角膜中心位置)を決定し得る。アプローチおよび他の方法および構成の変形例も、潜在的に、採用されてもよい。
K.例示的ウェアラブルデバイス構成
【0172】
図9A-Eは、眼追跡モジュール614による使用のための眼画像データを捕捉するための例示的ウェアラブルデバイス2000のコンポーネントの例示的構成を図示する。例えば、図9Aに図示されるように、ウェアラブルデバイス2000は、図2-4を参照して上記に説明されるようなウェアラブルシステムの一部であってもよい。ウェアラブルデバイス2000は、左接眼レンズ2010Aと、右接眼レンズ2010Bとを含んでもよい。左接眼レンズ2010Aは、ユーザの左眼を結像することが可能であり得、右接眼レンズ2010Bは、ユーザの右眼を結像することが可能であり得る。
【0173】
図9Bに図示されるように、左接眼レンズ2010Aは、1つ以上の照明源2022を含んでもよい。同様に、右接眼レンズ2010Bは、1つ以上の照明源2024を含んでもよい。例えば、4つの照明源2022と、4つの照明源2024とが存在してもよい。照明源2022は、左接眼レンズ2010A内に位置付けられ、光をユーザの左眼2012Aに向かって放出してもよい。照明源2022は、左接眼レンズ2010Aを通して、ユーザのビューを遮らないように位置付けられてもよい。例えば、照明源2022は、ディスプレイを通してユーザのビューを遮らないように、左接眼レンズ2010A内のディスプレイの辺縁の周囲に位置付けられてもよい。同様に、照明源2024は、右接眼レンズ2010B内に位置付けられ、光をユーザの右眼2012Bに向かって放出してもよい。照明源2024は、右接眼レンズ2010Bを通して、ユーザのビューを遮らないように位置付けられてもよい。例えば、照明源20204は、ディスプレイを通してユーザのビューを遮らないように、右接眼レンズ2010B内のディスプレイの辺縁の周囲に位置付けられてもよい。照明源2022、2024は、可視または非可視光において、光を放出してもよい。例えば、照明源2022、2024は、赤外線(IR)LEDであってもよい。代替として、照明源は、異なるように位置または構成されてもよい。
【0174】
図9Bに図示されるように、左接眼レンズ2010Aは、左眼結像システムを含んでもよい。左眼結像システムは、1つ以上の内向きに向いたカメラ(2014、2016)を含むことができる。例えば、左眼結像システムは、それぞれ、相互の左および右に、可能性として、それぞれ、左接眼レンズの中心の左および右に位置する、左接眼レンズ2010Aのための左眼追跡カメラ2014と、左接眼レンズ2010Aのための右眼追跡カメラ2016とを含むことができる。同様に、右接眼レンズ2010Bは、右眼結像システムを含んでもよい。右眼結像システムは、1つ以上の内向きに向いたカメラ(2018、2020)を含むことができる。例えば、右眼結像システムは、それぞれ、相互の左および右に、可能性として、それぞれ、右接眼レンズの中心の左および右に位置する、右接眼レンズ2010Bのための左眼追跡カメラ2018と、右接眼レンズ2010Bのための右眼追跡カメラ2020とを含むことができる。左眼追跡システム2010A内の1つ以上のカメラおよび右眼追跡システム2010B内の1つ以上のカメラは、ユーザの眼の画像を邪魔にならないように捕捉するように、ウェアラブルデバイス2000内に置かれてもよい。他の構成も、可能性として考えられる。
【0175】
左接眼レンズ2010Aのための結像システムの視野は、多くの異なる眼姿勢位置において、ユーザの左眼2012Aの全てまたは有用な部分を結像することが可能であり得る(必ずしも、眼追跡のために有用な右眼またはその一部を結像するとは限らない)。同様に、右接眼レンズ2010Bのための結像システムの視野は、多くの異なる眼姿勢位置において、ユーザの右眼2012Bの全てまたは有用な部分を結像することが可能であり得る(必ずしも、眼追跡のために有用な左眼またはその一部を結像するとは限らない)。例えば、ユーザは、通常移動の間、任意の方向に、中心視線から最大50度まで、その眼を移動させることが可能であり得る。結像システムは、集合的に、その通常移動の間、ユーザの眼の(例えば、50度の)完全運動範囲の実質的に全てを結像するように置かれてもよい。
図9Cは、左接眼レンズ2010Aの右眼追跡カメラ2016の例示的視野2030と、右接眼レンズ2010Bの右眼追跡カメラ2020の例示的視野2032とを図示する。図9Dは、左接眼レンズ2010Aの右眼追跡カメラ2014の例示的視野2040と、右接眼レンズ2010Bの右眼追跡カメラ2018の例示的視野2042とを図示する。図9Eは、左接眼レンズ2010Aの左眼追跡カメラ2014および右眼追跡カメラ2016からの視野2030および2040が、ユーザの左眼2012Aの実質的に全てを結像するように、それぞれ、重複し得る様子を図示する。加えて、図9Eは、右接眼レンズ2010Bの左眼追跡カメラ2018および右眼追跡カメラ2020からの視野2040および2042が、画像ユーザの右眼2012Bの実質的に全てを結像するように、それぞれ、重複し得る様子を図示する。変形例も、可能性として考えられる。例えば、カメラの数および場所は、異なり得る。他のタイプの結像システムもまた、使用されてもよい。
L.眼追跡システムを用いて回転中心を位置特定する実施例
【0176】
眼追跡システム(または眼追跡モジュール614内のプロセス)を簡略化するために、ヒトの眼の回転中心(CoR)を決定するために要求される変数の数を低減させることが望ましくあり得る。有利なこととして、CoRを決定するために使用される変数の数を低減させることはまた、眼追跡正確度を改良することができる。例えば、CoRは、眼追跡において使用するための視線ベクトルを決定するために使用され得るため、CoRにおける増加された誤差は、あまり正確ではない眼追跡をもたらし得る。CoRにおける誤差は、CoRを計算するために使用される変数の決定の間に導入される、誤差から生じ得る。例えば、CoR計算は、瞳孔円中心を抽出し、角膜球面をモデル化するステップを伴い得る。それらのプロセスは両方とも、誤差を導入し、不正確度に寄与し得る。したがって、限定された数の変数を使用して、CoRを抽出することが有利であり得る。
【0177】
本明細書に説明されるものは、主にまたは全体的に、角膜データから、CoRを抽出するためのシステムおよび方法である。有利なこととして、上記に議論されるものと類似理由に起因して、本システムは、眼追跡システムの正確度を改良することができる。例えば、本システムは、いくつかの仮定を要求し、したがって、誤差の導入の潜在性を低減させ得る。改良された正確度に加えて、またはその代替として、本システムは、眼追跡システムの他の側面を改良することができる。例えば、本システムは、照明源へのより短い眼暴露に依拠し得る。より短い眼暴露は、照明源への長期眼暴露と関連付けられる、リスクを低減させ、照明電力消費を低減させ、かつ高周囲光阻止率を提供することができる。別の実施例では、本システムは、広視野を要求しなくてもよい。低減された視野要件は、ウェアラブルシステムのハードウェア設計におけるより多くの柔軟性を可能にすることができる。
【0178】
いくつかの実施例では、ヒトの眼の回転中心(CoR)は、角膜データから抽出されることができる。図10は、眼追跡モジュール614によって実施され得る、例示的CoR抽出システム1000のグラフィック図を示す。例えば、ウェアラブルシステムは、1つ以上の照明源を備える、照明システムを使用して、2つ以上の閃光をユーザの眼1010の角膜1020上に生成してもよい。種々の実装では、照明システムは、光が出力される、複数の別個の領域を備える。これらの領域は、分離された光エミッタまたは光源に対応し得る。閃光検出および標識化モジュール714が、眼1010の角膜1020上の閃光場所を抽出してもよい。下記に説明されるように、3D角膜中心推定モジュール716は、閃光場所に基づいて、近似角膜曲率1018を決定し、その近似される角膜曲率1018の推定される中心1012を計算してもよい。異なる眼姿勢は、異なる近似される角膜曲率1018および角膜曲率1012の関連付けられる推定される中心を提供し得る。CoR推定モジュール724は、表面を推定される中心1012に適用させ、表面に対して法線方向の表面法線ベクトル1014のセットの収束または交差部の領域1016を決定することによって、角膜曲率1012の複数の推定される中心に基づいて、推定されるCoRを決定してもよい。推定されるCoRは、本領域1016から取得されてもよい、例えば、推定されるCoRは、本領域1016またはその中にあり得る。
【0179】
随意に、CoR推定は、眼追跡モジュール614を使用して、さらにチェックされてもよい。例えば、下記にさらに詳細に説明されるように、CoRが、ウェアラブルデバイスの使用の間、本デバイスに対して移動していた場合、角膜中心1012の新しい測定が、新しく計算された角膜中心1012と計算された角膜中心1012のセットに適合された表面との間の距離を測定することによって、試験されてもよい。距離が、大きすぎる場合、眼追跡モジュール614は、眼追跡を一時停止する、またはCoRを決定する異なる方法または異なる眼追跡方法に切り替えてもよい。いくつかの実施例では、切替は、十分なデータが全体的誤差を低減させるために収集されるまでの一時的であってもよい。
【0180】
有利なこととして、CoR抽出1000は、いくつかの仮定を採用してもよい。例えば、CoR抽出1000は、閃光抽出が正確である、眼1010の幾何学形状が既知である、角膜の半径(または角膜非点収差の場合、2つの半径)が既知である、またはデータがユーザの視線の正常またはランダム運動の間に収集されたと仮定してもよい。
M.例示的眼追跡環境
【0181】
上記に議論されるように、CoRは、角膜曲率1012の複数の推定される中心から決定されてもよい。例えば、表面は、角膜曲率1012の推定される中心に適合されてもよく、本表面に対して法線方向の複数の表面法線ベクトル1014が、取得されてもよい。これらの表面法線ベクトル1014のセットの収束の領域1016が、識別されてもよい。推定されるCoRは、本収束の領域1016から取得されてもよい、例えば、推定されるCoRは、本領域1016またはその中にあり得る。
【0182】
角膜曲率1012の複数の推定される中心を取得するために、閃光が、照明源を使用して、眼上に生産され、上記に説明されるようなカメラによって結像されてもよい。図11は、推定される回転中心を決定するための眼追跡モジュールによって使用される、任意の眼上の閃光の例示的画像を示す。例えば、上記に議論されるように、ウェアラブルシステムは、結像システムを含んでもよい。結像システムは、ユーザの眼1110を結像し、眼画像1101を生産してもよい。ウェアラブルシステムは、光を出力する空間的に別個の領域を備える、1つ以上の照明源1102を含んでもよい。故に、照明源1102からの光は、光を照射するこれらの空間的に別個の領域の反射である、1つ以上の閃光1104をユーザの眼1110上に生産してもよい。
【0183】
ウェアラブルシステムの結像システムは、眼追跡アセンブリの一部であってもよい(例えば、図9A-Eに示されるように)。結像システムは、1つ以上のカメラを含んでもよい。例えば、結像システムは、ユーザの眼1110と関連する場所1106に、単一カメラを含むことができる。別の実施例では、結像システムは、ユーザの眼1110に関連する異なる場所に位置し得る、複数のカメラを含むことができる。
【0184】
照明源1102は、発光ダイオード(LED)等の1つ以上の光源を含むことができる。照明源は、可視または非可視光内の光(例えば、赤外線(IR)光)を放出してもよい。例えば、照明源1102は、赤外線(IR)LEDであることができる。照明源1102は、眼追跡アセンブリの一部であることができる(例えば、図9A-Eに図示されるように)。
【0185】
照明源1102は、1つ以上の鏡面反射1104をユーザの眼1110の角膜上に生産してもよい。鏡面反射1104は、閃光とも称され得る。例えば、2つの照明源(1102A、1102B)が、存在してもよい。照明源は、2つ以上の離散閃光(1104A、1104B)をユーザの眼1110上に生産するように構成されてもよい。図11は、その上に閃光を伴う、ユーザの眼の画像を示す。図11はまた、眼1110およびその上の閃光1104A、1104Bの場所と比較して、かつその相対的場所における照明源1102A、1102Bに対して、カメラ1106(座標系の原点によって表される)の図を示す。
N.単一カメラを使用した、それに沿って角膜中心が位置する、ベクトルの例示的抽出
【0186】
上記に議論されるように、場所1106におけるカメラは、照明源1102A、1102Bによって生産される、ユーザの眼1110上の閃光1104A、1104Bを結像してもよい。図12A-Dでは、閃光1104A、場所1106における閃光の画像を捕捉するカメラ、および閃光を生産する照明源1102Aの場所を含む、第1の平面1220が、決定されることができる。特に、モジュールは、第1の照明源1102Aおよび第1の閃光1104Aを含む、第1の平面1220を決定してもよい。同様に、図13A-Dに図示されるように、閃光1104B、場所1106における閃光の画像を捕捉するカメラ、および閃光を生産する照明源1102Bの場所を含む、第2の平面1320が、決定されることができる。特に、モジュール716は、第2の照明源1102Bおよび第2の閃光1104Bに基づいて、第2の平面1320を決定してもよい。図14A-Cに図示されるように、モジュール716は、第1の平面1220と第2の平面1320との間の交差部を決定してもよい。第1の平面1220と第2の平面1320との間の交差部は、角膜中心が位置する場所に沿って指向される、ベクトル1410を画定し得る。図14A-Cに示されるように、本ベクトル1410はまた、カメラの場所1106を含む、方向に沿って延在し得る。
【0187】
いくつかの実装では、モジュール716は、第1の照明源1102Aと、第1の閃光1104Aと、カメラ場所1106との間の線1210、1212、1214のセットを決定することによって、第1の平面1220を決定してもよい。図12Aに図示されるように、モジュール716は、カメラ場所1106と、第1の照明源1102Aによって生産され得る、第1の閃光1104Aの像面1101A内の場所との間に延在する、第1の線1210を決定してもよい。図12Bに図示されるように、モジュール716は、カメラ場所1106と、第1の閃光1104Aを生産した照明源1102Aの場所との間に延在する、第2の線1212を決定してもよい。図12Cに図示されるように、モジュール716は、照明源1102Aの像面1101A内の場所と第1の閃光1104Aとの間に投射される、第3の線1214を決定してもよい。図12Dに図示されるように、これらの線1210、1210、および1214のうちの任意の2つのものは、その中に角膜中心が存在し得る、平面1220を画定し得る。
【0188】
同様に、いくつかの実装では、モジュール716は、第2の照明源1102Bと、第2の閃光1104Bと、カメラ場所1106との間の線1310、1312、1314のセットを決定することによって、第2の平面1320を決定してもよい。図13Aに図示されるように、モジュール716は、カメラ場所1106と、第2の照明源1102Bによって生産され得る、第2の閃光1104Bの像面1101A内の場所との間に延在する、第1の線1310を決定してもよい。図13Bに図示されるように、モジュール716は、カメラ場所1106と、第2の閃光1104Aを生産した第2の照明源1102Bの場所との間に延在する、第2の線1313を決定してもよい。図13Cに図示されるように、モジュール716は、第2の閃光1104Bの像面1101A内の場所と第2の照明源1102Bとの間に延在する、第3の線1314を決定してもよい。図13Dに図示されるように、線1310、1310、および1314は、その中に角膜中心が存在し得る、平面1320を画定し得る。
【0189】
しかしながら、いくつかの実装では、第1の平面1220は、必ずしも、線1210、1210、および1214を別個に画定せずに、第1の照明源1102Aおよび第1の閃光1104Aの場所およびカメラ場所1106から、直接、決定されることができる。同様に、第2の平面1320は、必ずしも、線1310、1310、および1314を別個に画定せずに、第2の照明源1102Bおよび第2の閃光1104Bの場所およびカメラ場所1106から、直接、決定されることができる。
【0190】
モジュール716は、第1および第2の平面1220と1320との間の交差部を識別してもよい。図14Aおよび14Bに図示されるように、第1の平面1220と第2の平面1320の交差部は、カメラ場所1106の原点を伴う、または別様にカメラ場所を含み得る方向に沿って延在する、ベクトル1410を画定し得る。図14Cに示されるように、ベクトル1410は、角膜中心場所に向かって指し得る。
【0191】
モジュール716は、複数回、推定プロセスを繰り返し、1つ以上の角膜ベクトル1410を生成してもよい。例えば、モジュール716は、第1の平面1220を決定してもよく、それを用いて、複数の異なるカメラ場所1106を伴う第1の照明源1102Aおよび第1の閃光1104Aに基づいて、ベクトルを画定する。カメラ場所1106は、ユーザの眼1110に関連して(例えば、ユーザの眼1110までの距離、または眼に対する水平または垂直位置、またはそれらの任意の組み合わせに関して)、または照明源(1102A、1102B)の場所に関して変動されることができる。モジュール716は、カメラ場所1106のうちの1つ以上のものに関するベクトル1410を決定してもよい。モジュール716は、次いで、上記に説明されるように、2つ以上のベクトルの交差部から、角膜中心を決定してもよい。2つ以上のベクトルが、交差しない場合、角膜中心は、ベクトルデータから補間または別様に外挿されてもよい。加えて、または代替として、眼追跡モジュール614は、より多くのデータを収集および分析し、角膜中心を決定してもよい。
【0192】
モジュール716は、眼追跡環境1100と関連付けられる、1つ以上のパラメータを変動させながら、推定プロセスを繰り返してもよい。例えば、モジュール716は、異なるカメラ場所を用いて、またはユーザの眼の異なる視線方向に関して、プロセスを繰り返してもよい。眼追跡モジュール614は、視線標的を利用して、パラメータが変動される間、ユーザがその眼姿勢を維持することを確実にしてもよい。例えば、眼追跡モジュール614は、カメラの場所1106または照明源1102の場所等のパラメータを変動させながら、ユーザがその視線を視線標的に指向する間、1つ以上のベクトル1410を推定してもよい。加えて、または代替として、眼追跡モジュール614は、ウェアラブルデバイスの使用中、ユーザが、自然に、その視線を移動させている間、1つ以上のベクトル1410を推定してもよい。例えば、眼追跡モジュール614は、ユーザの眼の自然移動の間、異なるパラメータと関連付けられる、データを捕捉してもよい。
【0193】
繰り返される推定プロセスは、特定の眼姿勢と関連付けられる角膜中心に向いている、複数のベクトル1410をもたらし得る。モジュール716は、複数のベクトル1410の交差部または収束の領域を決定し、角膜曲率の推定される中心を生成してもよい。
O.複数のカメラを使用した、それに沿って角膜中心が位置する、ベクトルの例示的抽出
【0194】
種々の実装では、複数のカメラが、眼を結像するために採用されてもよく、複数のカメラからの画像は、その眼の角膜曲率の中心を決定するために使用されてもよい。特に、モジュール716は、それに沿って角膜中心が位置し得る、ベクトル(1510、1530)を決定してもよい。図15A-16Cは、複数のカメラを用いてそのようなベクトルを決定するための例示的プロセスにおけるステップを図示する。例えば、図15Aに図示されるように、第1の場所1506における第1のカメラは、照明源1502A、1502Bによって生産される、ユーザの眼1501上の閃光1504A、1504Bを結像してもよく、場所1526における第2のカメラは、照明源1522A、1522Bによって生産される、ユーザの眼1501上の閃光1524A、1524Bを結像してもよい。モジュール716は、場所1506における第1のカメラおよび照明源1502A、1502Bと関連付けられる、データに基づいて、第1のベクトル1510を決定してもよく、場所1526における第2のカメラおよび照明源1522A、1522Bと関連付けられる、第2のベクトル1530を決定してもよい。図15Bに図示されるように、モジュール716は、第1のベクトル1510と第2のベクトル1530との間の収束または交差部を決定することによって、角膜中心1520を推定し得る。
【0195】
第1のベクトル1510を取得するために、モジュール716は、第1の照明源1502Aと、像面1503A内の第1の閃光場所1504Aと、第1の場所1506における第1のカメラとの間の線(図示せず)のセットを決定することによって、第1の平面1512を識別してもよい。モジュール716は、第2の照明源1502Bと、像面1503A内の第2の閃光場所1504Bと、第2のカメラ場所1506との間の線(図示せず)のセットを決定することによって、第2の平面1514を決定してもよい。モジュール716は、これらの第1および第2の平面1512と1514との間の交差部を決定することによって、ベクトル1510を決定してもよい。これらの平面1512と1514の交差部は、角膜曲率の中心場所に向かって指す、カメラ場所1506における原点を伴う、ベクトル1510を画定し得る。
【0196】
しかしながら、いくつかの実装では、第1の平面1512は、必ずしも、1つ以上の線を別個に画定せずに、第1の照明源1502A、第1の閃光1504A、および第1のカメラ1106の場所から、直接、決定されることができる。同様に、第2の平面1514は、必ずしも、1つ以上の線を別個に画定せずに、第2の照明源1502B、第2の閃光1504B、および第1のカメラ1506の場所から、直接、決定されることができる。
【0197】
モジュール716は、同様に、第1の照明源1522Aと、像面1503B内の第1の閃光場所1524Aと、場所1526における第1のカメラとの間の線(図示せず)のセットを決定することによって、第1の平面1532を決定してもよい。モジュール716は、第2の照明源1522Bと、像面1503B内の第2の閃光場所1524Bと、カメラ場所1526との間の線(図示せず)のセットを決定することによって、第2の平面1534を決定してもよい。モジュール716は、これらの第1および第2の平面1532と1534との間の交差部を決定することによって、第2のベクトル1530を決定してもよい。平面1532と1534の交差部は、角膜曲率の中心場所に向かって指し得る、カメラ場所1526に原点を伴う、ベクトル1530を画定し得る。しかしながら、いくつかの実装では、第1の平面1532は、必ずしも、1つ以上の線を別個に画定せずに、第1の照明源1522A、第1の閃光1524A、および第2のカメラ1526の場所から、直接、決定されることができる。同様に、第2の平面1534は、必ずしも、1つ以上の線を別個に画定せずに、第2の照明源1522B、第2の閃光1524B、および第2のカメラ1526の場所から、直接、決定されることができる。
【0198】
図15Bに図示されるように、モジュール716は、これらの第1および第2のベクトル1510および1530に基づいて、角膜曲率の中心場所を決定してもよい。例えば、モジュール716は、これらのベクトル1510と1530の収束または交差部1520を決定してもよい。収束または交差部1520は、近似角膜中心場所に対応し得る。ベクトル1510および1530が、交差しない場合、角膜曲率の中心は、ベクトルデータから補間または別様に外挿されてもよい。加えて、または代替として、眼追跡モジュール614は、より多くのデータを収集および分析し、角膜曲率の中心1520を決定してもよい。
【0199】
図16A-16Cは、複数のカメラを使用して角膜曲率の中心を決定するための別の例示的プロセスを図示する。図16Aに図示されるように、ウェアラブルシステムは、複数の眼カメラと併用され得る、共有照明源1602A、1602Bのセットを有してもよい。共有照明源1602A、1602Bは、加えて、または代替として、1つ以上のカメラと関連付けられる、別個の照明源のセットであってもよい。共有照明源1602A、1602Bのセットは、閃光1604A、1604B、1604C、1604Dをユーザの眼上に生産してもよい。
【0200】
図16Bに図示されるように、モジュール716は、共有照明源1602A、1602Bを使用して、平面のセットを決定してもよい。例えば、モジュール716は、第1の照明源1602Aと、像面1503A内の第1の閃光場所1604Aと、場所1506における第1のカメラとの間の線(図示せず)のセットを決定することによって、第1の平面1630を決定してもよい。モジュール716は、第2の照明源1602Bと、第1の像面1503A内の第2の閃光場所1604Bと、第1のカメラ場所1506との間の線(図示せず)のセットを決定することによって、第2の平面1632を決定してもよい。
【0201】
しかしながら、いくつかの実装では、第1の平面1630は、必ずしも、1つ以上の線を別個に画定せずに、第1の照明源1602A、第1の像面1503A内の第1の閃光1604A、および第1のカメラ1506の場所から、直接、決定されることができる。同様に、第2の平面1632は、必ずしも、1つ以上の線を別個に画定せずに、第2の照明源1602B、第2の閃光1604B、および第1のカメラ1506の場所から、直接、決定されることができる。
【0202】
モジュール716は、第1の照明源1602Aと、像面1503B内の第1の閃光場所1604Cと、場所1526における第2のカメラとの間の線(図示せず)のセットを決定することによって、異なる第1の平面1634を決定してもよい。モジュール716は、第2の照明源1602Bと、第2の像面1503B内の第2の閃光場所1604Dと、第2のカメラ場所1526との間の線(図示せず)のセットを決定することによって、別個の異なる平面1636を決定してもよい。
【0203】
しかしながら、いくつかの実装では、異なる第1の平面1634は、必ずしも、1つ以上の線を別個に画定せずに、第1の照明源1602A、像面1503B内の第1の閃光1604C、および第2のカメラ1526の場所から、直接、決定されることができる。同様に、異なる第2の平面1636は、必ずしも、1つ以上の線を別個に画定せずに、第2の照明源1602B、第2の閃光1604D、および第2のカメラ1526の場所から、直接、決定されることができる。
【0204】
図16Cに図示されるように、モジュール614は、平面1630と1632との間の交差部を決定し、ベクトル1610を決定してもよい。平面1630と1632の交差部は、角膜中心場所に向かって指し得る、カメラ場所1506に原点を伴う、ベクトル1610を画定し得る。同様に、モジュール614は、平面1634と1636との間の交差部を決定し、ベクトル1630を決定してもよい。平面1634と1636の交差部は、角膜中心場所に向かって指し得る、カメラ場所1526に原点を伴う、ベクトル1630を画定し得る。
【0205】
図16Cを継続して参照すると、モジュール716は、ベクトル1610および1630に基づいて、角膜曲率の中心場所を決定してもよい。例えば、モジュール716は、第1および第2のベクトル1610と1630の収束または交差部1620を決定してもよい。収束または交差部1620は、角膜曲率の近似中心場所に対応し得る。第1および第2のベクトル1610および1630が、交差しない場合、角膜曲率の中心は、ベクトルデータから補間または別様に外挿されてもよい。加えて、または代替として、眼追跡モジュール614は、より多くのデータを収集および分析し、角膜曲率の中心を決定してもよい。
【0206】
モジュール716は、ユーザの眼の複数の視線方向のための推定プロセスを繰り返してもよい。例えば、ウェアラブルシステムは、それに対してユーザがその視線を指向させ得る、1つ以上の視線標的を表示してもよい。眼追跡モジュール614は、ユーザがその視線を視線標的に指向する間、1つ以上のベクトル1410を推定してもよい。加えて、または代替として、眼追跡モジュール614は、ウェアラブルデバイスの使用中、ユーザが、自然に、その視線を移動させている間、1つ以上のベクトル1410を推定してもよい。例えば、眼追跡モジュール614は、ユーザの眼の自然移動の間、異なるパラメータと関連付けられるデータを捕捉してもよい。下記に説明されるように、ユーザの眼の異なる眼姿勢または視線ベクトルにおいて捕捉されたデータは、複数の角膜中心を計算するために使用されてもよく、これは、CoRを推定するために、CoR推定モジュール724によって使用されてもよい。
P.回転中心の推定
【0207】
回転中心(CoR)推定モジュール724は、角膜曲率1012の推定される中心に基づいて、推定される回転中心を決定してもよい。例えば、CoR推定モジュール724は、表面を曲率の1つ以上の推定される角膜中心に適合させ、適合される表面に対して法線方向の表面法線ベクトルのセットを決定してもよい。表面法線ベクトルは、推定されるCoRに対応し得る、点または領域において、収束または交差し得る。
【0208】
表面を決定するために、モジュール614は、複数の眼画像を分析してもよい。例えば、ウェアラブルシステムは、ユーザの眼1501が1つ以上の眼姿勢にある間、ユーザの眼1501を結像してもよい(例えば、内向きに面した結像システム462を用いて)。いくつかの実装では、モジュール614は、ウェアラブルデバイスのディスプレイ上での視線標的の表示を通して、1つ以上の眼姿勢または視線方向をプロンプトしてもよい。加えて、または代替として、モジュール614は、ウェアラブルデバイスの使用中に自然に生じる、1つ以上の眼姿勢と関連付けられるデータを収集してもよい。
【0209】
図17Aおよび17Bに図示されるように、モジュール614は、ユーザの眼が1つ以上の眼姿勢にある間、ウェアラブルシステムによって収集されたデータに基づいて、曲率1712の複数の角膜中心を決定してもよい。例えば、モジュール614は、複数回(例えば、ユーザの眼1501の異なる視線方向または眼姿勢に関して)、上記に説明されるように、モジュール716の一部として、1つ以上のカメラを用いて、角膜曲率の中心推定プロセスを実施してもよい。モジュール716の角膜中心推定プロセスの出力は、曲率1712の複数の推定される角膜中心を含んでもよい。
【0210】
曲率1712の複数の角膜中心は、3次元(3D)空間の領域1710内に置かれ得る。領域1710は、角膜球面1022内に該当し得る。任意の特定の科学的理論に賛同するわけではないが、曲率1712の複数の角膜中心は、角膜曲率1018の形状に従って、領域1710内にほぼ整合し得る。例えば、曲率1712の複数の角膜中心は、角膜1020の形状と略平行または実質的に同一の形状の輪郭を描くように、領域1710内に整合し得る。角膜が、略球状である場合、複数の角膜中心1712は、角膜の半径にほぼ相当する距離において、角膜曲率1018にほぼ追従し得る。非点収差の場合(または角膜が略球状ではない場合)、複数の角膜中心1712は、角膜幾何学形状の1つ以上の半径にほぼ匹敵する距離において、角膜曲率1018にほぼ追従し得る。
【0211】
種々の実装では、モジュール614は、複数の角膜中心1712が、角膜の表面1022から角膜球面の中心1022までの予期される距離の決定された許容差内に該当するかどうかを決定してもよい。例えば、角膜球面1022は、球状または非点収差であり得る(例えば、球状形状以外の幾何学形状を有する)。予期される距離は、角膜球面1022の幾何学形状の中心までの距離に対応し得る。例えば、角膜幾何学形状が、球状である場合、予期される距離は、角膜球面1022の半径であり得る。角膜中心1712が、決定された許容差外に該当する場合、モジュール614は、さらなる分析において、外れ値の寄与を低減させ得る。例えば、モジュール614は、外れ値データ点をさらなる分析から除外してもよい。加えて、または代替として、閾値数の角膜中心1712が、決定された許容差外に該当する場合、モジュール614は、さらなるデータが、入手される、または回転中心を決定する異なる方法に切り替えるまで、分析を停止してもよい。
【0212】
図17Bに示されるように、モジュール724は、3D表面1714を複数の角膜中心1712に適合させてもよい。モジュール724は、例えば、回帰分析を使用して、3D表面を適合させてもよい。モジュール724は、好適な表面または曲線適合技法を利用して、適合を決定してもよい。モジュール724は、例えば、多項式回帰を使用して、角膜中心1712を低次多項式3D表面1714に適合させてもよい。別の実施例では、モジュール724は、幾何学的適合を角膜中心1712に適用してもよい(例えば、全最小二乗適合)。いくつかの実施例では、表面1714は、角膜曲率1018と類似曲率を有し得る。他の実施例では、表面1714は、角膜曲率1018と異なる形状を有し得る。
【0213】
モジュール724は、表面1714に対して法線方向である、表面法線ベクトルのセットを決定してもよい。図18Aは、表面法線ベクトル1814を使用した、CoR(または眼球中心「EBC」)の例示的計算1800を図示する。例えば、モジュール716は、推定される角膜中心1812のセットを決定してもよい。モジュール724は、表面1714(図17Bに示されるように)を推定される角膜中心1812に適合させてもよい。モジュール724は、次いで、表面1714に対して法線方向である、1つ以上の表面法線ベクトル1814を決定してもよい。表面法線ベクトル1814は、角膜曲率1812の推定される中心から生じ得る。例えば、モジュール724は、表面1714を決定するために使用される角膜曲率1812の推定される中心毎に、表面法線ベクトル1814を決定してもよい。より少ない表面法線が、ある実装では使用されてもよい。加えて、または代替として、表面法線ベクトル1814は、表面1714上の他の点から生じ得る。
【0214】
モジュール724は、表面法線ベクトル1814の収束の領域1802を決定してもよい。例えば、図18Aの差込図1801に図示されるように、表面法線ベクトル1814のいくつかまたは全てが、3D空間の領域1802内で収束または交差し得る。3D空間の領域1802は、法線ベクトルが交差および/または収束する、交差部の点または3D空間のボリューム(例えば、図19Cおよび19Dにおけるボリューム1920)であり得る。3D空間のボリュームは、表面法線ベクトル1814の交差部または収束の中央点の周囲に心合され得る。3D空間のボリュームは、交点の大部分を包含するために十分に大きくあり得る。
【0215】
収束の領域1802は、異なる視線方向または眼姿勢に対応する、収束または交差部の異なる面積を含むことができる。例えば、収束の領域1802は、第1の視線方向(例えば、下方視線)に対応する、サブ領域1820と、第2の視線方向(例えば、上方視線)に対応する、サブ領域1822とを含むことができる。いくつかの実施例では、サブ領域1820、1822は、ウェアラブルデバイスのディスプレイの領域と関連付けられる、近似されるCoRに対応し得る。例えば、第1のサブ領域1820は、ディスプレイの上側領域に対応し得、第2のサブ領域1822は、ディスプレイの下側領域に対応し得る。
【0216】
モジュール724は、収束の領域1802を分析することによって、CoRを決定してもよい。例えば、モジュール724は、ベクトル1814の収束または交点の最頻値または中央値を決定することによって、CoRを決定してもよい。加えて、または代替として、モジュール724は、最初に、サブ領域1820、1822内のベクトル1814の収束または交点の最頻値または中央値等の視線ベースの収束または交点を決定し、次いで、それらの視線ベースの収束または交点に基づいて、最頻値または中央値を決定することによって、CoRを決定してもよい。加えて、または代替として、モジュール724は、収束または交点の異なる分析を実施し、CoRを決定してもよい。例えば、モジュール724は、機械学習アルゴリズムを利用して、CoRを決定してもよい。
【0217】
いくつかの実施例では、曲率の計算された角膜中心における変動は、交差部の単一点とは対照的に、より広い収束の領域1824をもたらし得る。図18Bは、領域1824を用いた例示的CoR計算1803を図示する。例えば、曲率1832の計算される角膜中心は、適合される3D表面1830に対して雑音が多くあり得る。雑音が多い角膜中心1832は、その中でCoRまたは眼球中心(EBC)が角膜中心1832に原点を伴うベクトル(図示せず)の交差部に基づく可能性が高い、領域1824をもたらし得る。いくつかの実装では、モジュール614は、視線方向を計算する際に、領域1824を使用してもよい。例えば、モジュール614は、領域1824または領域1824内または上または別様にそれに基づくある他の場所の中心として、CoRを決定してもよい。
【0218】
種々の実装では、モジュール724は、推定される角膜中心1910の一部を選択し、CoRを決定してもよい。図19A-1および19A-2は、データ低減プロセスを使用して選択され得る、推定される角膜中心1910の一部に適合される、例示的表面1912を図示する。図19B-1および19B-2は、表面1912に対して法線方向であり得る、例示的ベクトル1916を示す。ベクトル1916は、選択された推定される角膜中心1910に生じ得る。図19C-1および19C-2は、ベクトル1916の領域収束または交差部の点に基づいて、推定されるCoR領域1920を図示する。モジュール724が表面1912に適合させるための角膜中心1910を選択しない、図19D-1および19D-2に示されるように、ベクトル1922の多くは、領域1920内で収束または交差し得ない。
【0219】
種々の実装では、モジュール724は、法線ベクトル1916の収束の決定された領域に基づいて、推定される角膜中心1910を選択してもよい。例えば、モジュール724は、その中で法線ベクトル1922が交差する、大領域を決定してもよい。いくつかの実装では、大領域が、閾値ボリュームを上回るボリュームを有する場合、モジュール724は、角膜中心1910のより小さいセットを決定し、それを用いて、CoRを決定してもよい。ある実装では、閾値ボリュームは、そのCoRに基づいて、視線追跡の閾値正確度と関連付けられる、CoRを決定するための好適なボリュームを含むことができる。例えば、ユーザの眼のボリュームの30パーセントのボリュームは、視線追跡における正確度の80%減少と関連付けられ得る。決定されたボリュームが、閾値ボリュームを上回る場合、モジュール724は、下記に説明されるように、任意の数の好適なデータ選択基準に基づいて、角膜中心1910のより小さいセットを選択してもよい。
【0220】
加えて、または代替として、モジュール724は、機械学習アルゴリズムまたはフィルタレーションプロセス等の任意の数のデータ低減プロセスを使用して、分析のために、推定される角膜中心1910を選択してもよい。例えば、モジュール724は、データをフィルタリングし、外れ値を排除してもよい。フィルタは、所与の角膜中心1910と関連付けられる、信頼度スコアを決定し、その信頼度スコアに基づいて、角膜中心1910を選択するステップを含んでもよい。いくつかの実施例では、信頼度スコアは、二次計算からの曲率1910の角膜中心の偏差または曲率1910または表面1912の角膜中心の決定に基づいて決定されてもよい。いくつかの実施例では、信頼度スコアは、適合表面1912に関連した曲率1910の角膜中心の場所(例えば、適合表面1912からの角膜中心1910の偏差)に基づいてもよい。いくつかの実施例では、信頼度スコアは、曲率1910の角膜中心を決定するための利用される、閃光抽出内で計算された誤差に基づいて決定されてもよい。例えば、閃光抽出は、閃光を抽出するために分析される眼画像内に誤差が存在する場合(例えば、ぼけ、画像内の障害物、歪曲、または他の雑音源に起因して)、高誤差を有し得る。
Q.回転抽出の角膜曲率の中心の例示的用途
【0221】
図20は、眼追跡モジュール614によって実装され得る、例示的回転中心抽出プロセス2100を図示する。例えば、回転中心抽出プロセス2100は、1つ以上の角膜中心推定プロセス2108と、適用ブロック2116と、ベクトル決定ブロック2118と、収束または交差部決定ブロック2120と、回転中心決定ブロック2122とを含むことができる。
【0222】
モジュール614は、1つ以上の角膜中心推定プロセス2108の一部として、いくつかのブロックを実施することができる。例えば、角膜中心推定プロセス2108は、画像受信ブロック2110と、閃光決定ブロック2112と、角膜中心決定ブロック2114とを含むことができる。
【0223】
画像受信ブロック2110では、モジュール614は、ユーザの眼の1つ以上の画像を受信することができる。画像は、ユーザによって装着されるウェアラブルデバイスと関連付けられる、結像システムから取得されることができる。例えば、ウェアラブルデバイスは、図9A-9Dに図示されるように、内向きに面したカメラ2014、2016、2018、および2020を含む、結像システムを伴う、左接眼レンズ2010Aと、右接眼レンズ2010Bとを含む、頭部搭載型ディスプレイであることができる。モジュール614は、随意に、品質に関して画像を分析することができる。例えば、モジュール614は、画像が品質閾値に合格するかどうかを決定することができる。閾値は、ぼけ、障害物、望ましくない閃光に関連する画像の品質のためのメトリック、または回転中心分析の正確度に影響を及ぼし得る、他の品質メトリックを含むことができる。モジュール614が、画像が画質閾値に合格することを決定する場合、モジュール614は、さらなる分析において、画像を使用してもよい。
【0224】
閃光決定ブロック2112では、モジュール614は、ブロック2110から受信された画像を分析し、画像内の1つ以上の閃光の場所を決定してもよい。図12A-16Cを参照して上記に説明されるように、閃光場所は、像面内の1つ以上の照明源によって生産された1つ以上の閃光の場所に対応し得る。加えて、または代替として、閃光場所は、ユーザの眼の座標フレーム内の1つ以上の照明源によって生産される、1つ以上の閃光の場所に対応し得る。閃光はまた、異なるカメラおよび/または異なるカメラ場所に関して取得されることができる。
【0225】
角膜中心決定ブロック2114では、モジュール614は、閃光場所を分析し、角膜曲率の推定される中心を決定することができる。図12A-16Cを参照して上記に説明されるように、決定は、閃光、照明源、およびカメラ場所に基づいて、それに沿って角膜曲率の中心が位置する、ベクトルを決定するステップを伴うことができる。決定はまた、それらのベクトルのうちの1つ以上のものの交差場所に基づいて、角膜曲率の推定される中心を決定するステップを伴うことができる。
【0226】
加えて、または代替として、モジュール614は、複数回、ブロック2110、2112、および2114を実施することができる。例えば、モジュール614は、1つ以上の角膜曲率の中心を計算するために、眼画像または眼画像のセット毎に、複数回、ブロック2110から、2112および2114を実施してもよい。別の実施例では、モジュール614は、複数の眼姿勢または条件に関して、ブロック2110、2112、および2114を実施してもよい。例えば、モジュール614は、異なる眼姿勢または異なる視線方向において、ユーザの眼の画像を受信することができる。加えて、または代替として、モジュール614は、ユーザの眼からのカメラ距離、ユーザの眼に対する垂直または水平場所、またはそれらの任意の組み合わせ等の異なるカメラ条件を用いて、ユーザの眼の画像を受信することができ、これは、異なるカメラ視点および/または異なる場所および/または視点を有する異なるカメラを提供し得る。上記に説明されるように、ウェアラブルデバイスは、ディスプレイの異なる領域内の視線標的の表示を引き起こすことによって、ユーザに、異なる眼姿勢に従事するようにプロンプトすることができる。例えば、ウェアラブルデバイスは、ディスプレイの上側中心領域、ディスプレイの下側中心領域、ディスプレイの中心領域、ディスプレイの中心領域の左、およびディスプレイの中心領域の右に対応する、5つの視線標的を表示することができる。5つの視線標的は、ユーザの5つの異なる眼姿勢に対応し得る。加えて、または代替として、ウェアラブルシステムは、ウェアラブルシステムの使用の間のユーザの眼の自然移動の間に生じる、異なる眼姿勢を捕捉してもよい。
【0227】
モジュール614は、閾値基準が満たされるまで、データを収集し続けてもよい。例えば、閾値基準は、誤差の許容差、データ点の数、または眼姿勢の最小値、閾値、または標的多様度を含むことができる。いくつかの実施例では、誤差の許容差は、曲率の計算された角膜中心の最小値、閾値、または標的数、計算された回転中心または適合された表面からの曲率の角膜中心の偏差内で達成される、最小値、閾値、または標的誤差レベル、それらのある組み合わせ、または同等物に対応し得る。他のアプローチも、可能性として考えられる。
【0228】
ブロック2116では、モジュール614は、表面をプロセス2108から出力された1つ以上の角膜中心に適合させてもよい。図17Aおよび17Bを参照して上記に説明されるように、モジュール614は、回帰分析を実施し、適合された表面を生成してもよい。例えば、モジュール614は、多項式回帰を実施し、角膜中心に対する低次多項式3D表面を生成してもよい。しかしながら、他の技法も、使用されてもよい。
【0229】
ブロック2118では、モジュール614は、表面法線ベクトルをブロック2116における表面適合から決定してもよい。図18Aを参照して上記に説明されるように、モジュール614は、曲率の角膜中心において生じる、またはそれを通して進む、適合された表面に対して法線方向である、表面法線ベクトルを決定してもよい。加えて、または代替として、モジュール614は、適合された表面上の任意の点から生じる、表面法線ベクトルを決定してもよい。他のアプローチもまた、可能性として考えられる。
【0230】
ブロック2120では、モジュール614は、ブロック2118において決定された表面法線ベクトルの収束の領域を決定してもよい。図19A-19Eを参照して上記に説明されるように、モジュール614は、表面法線ベクトルの収束の点または領域を決定してもよい。収束の領域は、その中で表面法線ベクトルの実質的部分が収束および/または交差する、空間のボリュームであり得る。収束の点または領域は、ユーザの眼の回転中心にほぼ対応する、またはそれを推定することを補助し得る。
【0231】
ブロック2122では、モジュール614は、ブロック2120から決定された収束の領域に基づいて、回転中心を決定してもよい。回転中心は、例えば、収束の領域、その中、またはその上にあり得る。他の場所もまた、収束の領域に基づいて、回転中心のために決定されてもよい。いくつかの実装では、上記に説明されるように、モジュール614は、閾値基準(例えば、誤差)に関して収束の領域を分析してもよい。モジュール614が、収束の領域が閾値基準を満たさないことを決定する場合(例えば、誤差および/またはボリュームに関して)、モジュール614は、回転中心を出力しなくてもよい。モジュール614が、収束の領域が閾値基準を満たすことを決定する場合、モジュール614は、回転中心が収束の領域の中心であることを決定し得る。
R.回転中心抽出のための角膜曲率の中心を使用した例示的眼追跡プロセス
【0232】
図21は、回転中心抽出のために角膜曲率の中心を決定するプロセス2100(例えば、図20を参照して上記に説明されるように)を使用し得る、例示的眼追跡プロセス2200を図示する。プロセス2200は、本実施例では、回転中心決定ブロック2210と、誤差決定ブロック2212と、閾値決定ブロック2214と、代替眼追跡ブロック2216と、角膜眼追跡ブロック2218とを含むことができる。
【0233】
回転中心決定ブロック2210では、モジュール614は、角膜データを使用して、回転中心を決定することができる。例えば、モジュール614は、図21を参照して上記に説明されるプロセス2100を使用して、回転中心を決定してもよい。誤差決定ブロック2212では、モジュール614は、ブロック2210からの回転中心と関連付けられる、誤差を決定することができる。ブロック2214では、モジュール614は、ブロック2212からの誤差を分析し、閾値誤差値を超えるかどうかを決定することができる。いくつかの実装では、閾値誤差値は、予期される値からの回転中心の偏差(例えば、最高または閾値偏差)と関連付けられる、値に対応し得る。いくつかの実装では、予期される値は、異なる回転中心決定プロセスに基づく回転中心、眼幾何学形状に基づく予期される回転中心、ユーザの母集団を横断した平均回転中心、または別の好適な回転中心値の場所を含むことができる。他の閾値が、使用されてもよい。誤差が閾値を超える場合、モジュール614は、ブロック2216において、代替眼追跡または回転中心推定方法を利用してもよい。誤差が閾値を超えない場合、モジュール614は、ブロック2218において、ブロック2210から計算された回転中心を利用してもよい。
S.非球面角膜モデルを使用した角膜の中心の3D位置の決定
【0234】
大部分の眼において、角膜は、完璧に球面形状ではなく、むしろ、回転楕円体である。図22Aは、眼球2230の概略斜視図を図示する。図示されるように、角膜2232は、角膜頂点2233から角膜2232と強膜2234との間の周縁部2236に向かって徐々に減少する(例えば、曲率半径が増加する)曲率を伴う、非球面表面を有する。図22Bは、角膜2232、強膜2234、虹彩2238、瞳孔2245、および天然水晶体2240を示す、眼の2D断面図を図示する。球面表面2242は、強膜2234と角膜2232との間の境界2236に向かった角膜頂点2233の近くの角膜表面2232の曲率に関する非常に正確な近似値であり得るが、角膜の実際の曲率は、いくつかの球面角膜モデル内で使用される、球面表面の曲率を著しく下回る状態になる。上記に議論されるように、種々の実装では、角膜曲率中心(角膜中心)は、ライトフィールドレンダリングコントローラ618(図7Aおよび7B参照)への入力パラメータのうちの1つであり得、したがって、その正確度は、直接、頭部搭載型ディスプレイ(HMD)によってレンダリングされる画像の配向および/または場所に影響を及ぼし得る。さらに、角膜中心は、眼の光学軸および/または瞳孔中心を推定する際に使用され得る、パラメータである。種々の方法およびシステムにおいて、光学軸および/または瞳孔中心は、潜在的に、ある場合には、ライトフィールドレンダリングコントローラ618への入力パラメータのうちの1つであり得る、眼球の回転中心(CoR)を推定するために使用され得る。したがって、角膜中心の推定される場所と実際の場所との間の差異は、潜在的に、HMDの装着者によって意図されるように知覚されない、画像をレンダリングする結果をもたらし得る。
【0235】
いくつかの実装では、角膜曲率の中心(角膜曲率中心)または角膜の中心は、角膜の一部の曲率の中心または角膜の表面の一部と一致する球面表面の曲率の中心を指す。例えば、可能性として、下記に議論される眼の回転楕円体モデル等の非球面モデルに関するようないくつかの実装では、角膜曲率の中心または角膜の中心は、角膜頂点における曲率の中心または角膜頂点2233における表面の一部と一致する球面表面の曲率の中心を指す。角膜中心はまた、例えば、角膜の形状、角膜の表面の形状、角膜の一部の形状、または角膜の表面の一部の形状と近似的に一致する、球面等の表面の中心を指し得る。同様に、角膜中心はまた、例えば、角膜の形状、角膜の表面の形状、角膜の一部の形状、または角膜の表面の一部の形状と近似的に一致する、非球面回転楕円体等の非球面表面の中心を指し得る。
【0236】
上記に議論されるように、角膜中心は、1つ以上の眼カメラ(眼追跡カメラ)によって捕捉された1つ以上の画像上の2つ以上の閃光の場所を使用して、推定されてもよい。閃光は、HMDフレーム上に添着された2つ以上の光源(例えば、IR LED)によって生成された光の鏡面反射によって生成されてもよい。光源の既知の位置と、座標系(例えば、眼カメラの座標系)に対する1つ以上の閃光の測定された位置とを入力として使用して、処理モジュールは、HMDの非一過性メモリ内に記憶される命令のセットを通して、角膜モデルに基づいて、角膜中心を推定し得る。上記に説明されるいくつかの方法では、球面角膜モデルは、角膜中心を推定するために使用される。
【0237】
いくつかの方法は、閃光、眼カメラ、および光源の場所を使用して、角膜中心に向いている、2つ以上の角膜ベクトルを生成し、次いで、生成された角膜ベクトルの交差部または収束の領域を決定し、角膜曲率の中心を推定してもよい。例えば、角膜ベクトルは、図11図14を参照して上記に説明されるプロシージャに基づいて、1つのカメラと、2つの光源とによって捕捉された画像を使用して生成されてもよい。他の実施例では、角膜ベクトルは、図15を参照して説明されるプロシージャに基づいて、2つの眼カメラと、4つの光源とによって捕捉された画像を使用して生成されてもよい。さらに他の実施例では、角膜ベクトルは、図16を参照して説明されるプロシージャに基づいて、2つのカメラと、2つの共有光源とによって捕捉された画像を使用して推定されてもよい。種々の実装では、角膜ベクトルを計算するために使用される方法は、閃光が球面角膜表面からの鏡面反射によって生成されるという仮定に基づいて、角膜中心の場所に関する推定値を提供する。
【0238】
いくつかの付加的方法はまた、眼の捕捉された画像上の閃光の場所を使用して、球面角膜モデルに基づいて、角膜中心を推定してもよい。例えば、アルゴリズムが、既知の場所を伴う、光源による照明に応じて、捕捉された画像上に現れるものと重複する閃光画像を生成する、反射性球面表面の中心を見出すために使用されてもよい。2つ以上の光源と、1つのカメラとを使用し得る、そのような方法に基づく、角膜中心推定プロシージャの実施例は、図8A-8Eに関して上記に、および第US2019/0243448A1号(参照することによってその全体として本明細書に組み込まれる)に説明される。
【0239】
しかしながら、角膜が球面形状を有すると仮定する、これらの方法のいずれかを使用することは、潜在的に、誤った推定または少なくとも部分的に誤ったまたはあまり正確ではない推定角膜の中心(角膜曲率の中心)をもたらし得る。図22Cは、例えば、反射の法則が、2つの光源2220/2221の場所と、眼カメラの像面2222上の結果として生じる閃光2224/2225の場所とに基づいて、軸方向対称反射表面(例えば、角膜の表面)に関する曲率の中心を計算するために使用され得る方法を図示する。本実施例では、2つの光源は、角膜表面の対称軸から等距離にある。図によって図示されるように、角膜の表面が、球面形状2242を有すると仮定される場合、推定される角膜中心2246の場所は、角膜の表面が非球面回転楕円体形状2244を有すると仮定して推定される、角膜中心2248と異なる。換言すると、2つの画像2224/225が、2つの光源2220/2221が軸方向対称反射性表面を照明する結果として生成される場合、少なくとも表面の特定の部分に関する推定される曲率の中心(例えば、入射点における表面に対する法線と表面の対称軸との間の交差部)は、可能性として、仮定される表面形状(例えば、球面または非球面回転楕円体または他の非球面形状)に依存する。図22Cに示される実施例では、角膜曲率の中心2246/2248の2つの推定される値間の差異の大きさは、閃光が角膜頂点2233からより遠い角膜の領域からの鏡面反射から生成されるとき、より大きくなる。HMDフレーム上の光源および眼カメラの固定された場所および装着者の視線方向が常に変化しているという事実を前提として、常時、その頂点に近い角膜の領域からの鏡面反射から生成された閃光画像を提供する(推定誤差を低減または最小限にするために)、構成を維持することは、実践的ではあり得ない。結果として、多くの構成およびシナリオ(例えば、利用可能な光源およびカメラの異なる組み合わせを使用して、異なる視線方向における測定)では、球面眼モデルのみに依拠する方法に基づく、推定される角膜中心の場所は、角膜の非球面モデルを採用する方法ほど正確な角膜中心に関する推定値を提供し得ない。
【0240】
角膜の非球面形状を考慮する、モデルを使用することは、推定される眼パラメータの正確度、したがって、眼追跡器の全体的正確度を改良し得る。具体的には、非球面モデル(例えば、非球面回転楕円体モデル)に基づく推定は、視線追跡、角膜の中心、およびCoR計算の正確度を改良し得る。有利なこととして、いくつかの実装では、そのようなモデルは、可能性として、ユーザ特有の較正の必要なく、眼追跡器の正確度を改良し得る。しかしながら、いくつかの種々の実装は、ユーザ特有の較正を含み、可能性として、正確度をさらに改良する。
【0241】
球面角膜モデルと異なり、角膜の非球面回転楕円体モデル等の角膜の種々の非球面モデルは、角膜の中心決定問題に対して閉形式解を生み出すという利益をもたらさない。本明細書で議論される種々の方法論は、非球面モデルに基づいて角膜中心の3D位置を推定するためのアプローチおよびプロシージャを採用し、向上された正確度をもたらす。下記に説明される開示される方法論は、片眼カメラを使用し、かつ上記に説明されるもの等の2つの眼カメラを使用する、HMDシステム内の角膜中心の3D位置を推定するための算出上効率的プロシージャを含み得る。また、第US2019/0243448A1号(参照することによってその全体として本明細書に組み込まれる)も参照されたい。
回転楕円体眼モデル
【0242】
本明細書で議論される、いくつかの例示的方法およびシステムでは、回転楕円体眼モデルは、例えば、以下の方程式の一方または両方によって説明される回転面を、ユーザの角膜の形状に関する推定値として使用してもよい。
【化1】
【0243】
式中、Rは、角膜頂点2303/2233における半径であって、Z-軸は、回転楕円体の回転軸であって、また、角膜の光学軸でもあって、Qは、X-ZまたはY-Z平面における楕円体の形状を改変する、非球面度または円錐パラメータである。Rの大きさは、平均7.8mm(例えば、平均成人ユーザに関して)を有し得るが、本値と異なってもよい。Rの大きさの分布は、例えば、正視を伴う成人に関して、7.8mmの平均値および0.26mmの標準偏差を伴って、正規分布に接近し得る。
【0244】
図23Aは、Qのいくつかの値に関する、X-Z平面(Y=0)にプロットされる、方程式(1A)を示す。方程式(1A)によって定義された表面は、Z-軸2306の周囲において回転対称(回転楕円体)であって、したがって、Rの所与の値およびQの異なる値に関して、Y-Z平面におけるそのような表面のプロファイルは、図23Aに示されるものに類似するであろう。加えて、X-Y平面における方程式(1A)によって形成される表面の断面は、円形となるであろう。0~-1(例えば、0>Q>-1)のQの値は、偏長回転楕円体から等の楕円形形状の断面2314aおよび2314bをもたらす一方、0~+1(例えば、0<Q<+1)のQの値は、偏平回転楕円体から等の楕円形形状の断面2314cおよび2314dをもたらす。図23Aでは、+1.0のQに関する値は、放物線2310断面をもたらすように示される一方、+2.0のQに関する値は、双曲線2308断面を生産する。Qが、ゼロに等しいとき、方程式(1A)は、Z=Rに心合される半径Rを伴う、球面2312を記述し、回転楕円体モデルは、球面モデルに縮尺される。円形断面が、したがって、Q=0に関する、図23Aに示される。パラメータRおよびQは、異なる回転楕円体モデルに関して変動し、角膜中心2218と角膜頂点2233との間の距離に関する異なる値と、異なるプロファイル(例えば、球面、偏長、または偏平楕円形プロファイル)とをもたらし得る。例えば、周知のArizona眼モデルでは、角膜形状は、R=0.78mmおよびQ=-0.25を伴う、偏長回転楕円体に基づく。図23Bは、Q=0およびQ=-0.25に関する、X-Z平面(Y=0)にプロットされた方程式(1A)を示し、球面モデルおよびより現実的非球面回転楕円体モデル(この場合、Arizona回転楕円体モデル)に基づく、角膜の断面プロファイル間の比較を提供する。図23Aおよび23Bでは、座標軸2303の原点は、角膜2232の頂点2233にある(Qの両方の値に関して)。図23Bに示されるように、球面角膜2319および非球面回転楕円体角膜2315は、単一入射ビーム2317を2つの異なる方向に反射させる(異なる形状の角膜の頂点が重複すると仮定する)。球面角膜から反射された光線2320と、非球面回転楕円体角膜から反射された光線2322との軌道間の比較は、眼球と眼カメラとの間の距離を前提として、これらの光線によって生成された閃光画像の位置間の差異が、測定できるほどに異なり得ることを示す。結果として、球面角膜からの反射によって生成された閃光に基づいて推定される、角膜中心2316は、非球面回転楕円体角膜からの反射によって生成された閃光に基づいて推定される、角膜中心2318と異なる可能性が高いであろう。本明細書に議論されるように、所与の角膜半径Rに関して、非球面回転楕円体モデルが、1つのカメラと、少なくとも2つの光源とを使用して、角膜中心を推定するために使用されてもよい。しかしながら、加えて、2つのカメラを用いて、角膜中心は、角膜半径Rの値を把握せずに、2つの光源を使用して推定されることができる。
【0245】
正常角膜は、多くの場合、非点収差を示す(例えば、角膜曲率半径は、水平において、垂直経線より大きい)ため、いくつかの実施例では、非球面モデルはまた、角膜を表す表面がZ-軸を中心として回転対称ではあり得ないことを考慮し得る。例えば、非点収差角膜表面は、X-Y平面における円錐形プロファイルと、また、X-Zにおける円錐形プロファイルと異なり、かつそれから独立する、Y-Z平面における円錐形プロファイルとを有する、双円錐面であり得る。そのような双円錐面に関する方程式は、以下のように記述され得る。
【化2】
【0246】
方程式1Cは、一般的双円錐面を表し、これは、正視、近視、遠視、または非点収差である、大部分の眼に関する角膜形状をモデル化するために使用され得る。(Rx,)および(R,Q)は、それぞれ、水平および垂直寸法における、角膜表面の半径および円錐パラメータを規定する。異なる眼に関して測定されたRおよびRの分布は、異なる眼に関して測定されたR(方程式1Aまたは1B内で使用される)と同一分布であり得、これは、例えば、7.8mmの平均値および0.26mmの標準偏差を有し得る。異なる眼に関して測定されたQおよびQの分布は、Q(方程式1Aまたは1B内で使用される)と同一分布であり得、これは、例えば、-0.26の平均および0.18の標準偏差を有し得る。モデルが、非点収差角膜表面を表すために使用されるとき、方程式1Cによって定義された表面は、光学軸(Z-軸)の周囲において回転され(例えば、0~180度)、角膜表面の非点収差軸と整合され得る。したがって、4つの独立tパラメータが、一般的双円錐面の形状を定義するために要求され得、第5の独立パラメータが、双円錐面と角膜の非点収差軸を整合させるために要求され得る。
【0247】
さらに他の実施例では、非点収差角膜表面は、X-Y平面における円錐形プロファイルと、また、異なるY-Z平面における円錐形プロファイル(潜在的に、X-Zにおける円錐形プロファイルから独立し得ない)とを有する、非回転楕円体としてモデル化されてもよい。そのような楕円面に関する方程式は、以下のように記述され得る。
(X/Q )+(Y/Q )+[(Z-Q/Q ]=1 (1D)
【0248】
これは、Z=0に位置するその頂点(角膜の頂点)のうちの1つを有する、楕円体を定義する。ここでは、Q、Q、およびQは、楕円体の形状を決定する、楕円体の半軸であって、その値は、眼モデルによって提供され得る。
【0249】
方程式1B(または1A)および1Dは、方程式1Cによって定義される一般的双円錐面に関する特殊表面であり得ることに留意されたい。一般的双円錐面は、R=R=RおよびQ=Q=Qであるとき、回転楕円面となり、Rx=Q /Q、Ry=Q /Q、Q=(Q /Q )-1、およびQy=(Q /Q )-1であるとき、楕円面となる。いくつかの実施例では、非回転楕円体が3つのみの独立パラメータを有するという事実は、角膜の非点収差の中心を推定するとき、計算の複雑性を低減させ得る。
片眼カメラおよび非球面モデルを使用した角膜中心の3D位置の決定
【0250】
いくつかの実施例では、非球面眼モデルが、片眼カメラによって捕捉された1つ以上の画像上のいくつかの閃光の測定された位置に基づいて、角膜中心を推定するために使用されることができる。閃光は、HMDフレーム上に添着されたいくつかの光源によって放出される光の鏡面反射によって生産され得る。光源は、既知の場所、例えば、座標系(例えば、眼カメラ座標系)内の光エミッタの位置と関連付けられる、既知の座標を有し得る。図11は、例えば、2つの光源によって生成された画像1110上の2つの閃光1104A/1104Bを図示する。
【0251】
いくつかのそのような実施例では、角膜中心の推定値を提供するための閃光、したがって、光源の数(例えば、最小数)が、モデル内の未知のパラメータの数および非球面(例えば、非球面回転楕円体)モデルによって課される制約の数、カメラの場所、および光源の場所を使用して、計算されてもよい。具体的眼モデル(例えば、Arizona眼モデルから)の頂点における角膜の半径(R)および円錐パラメータ(Q)が、既知であると仮定して、所与の座標系(例えば、眼カメラ座標系)内の角膜中心の3次元位置(例えば、角膜中心の位置座標)を決定することは、3つのパラメータ、すなわち、CX、CY、およびCZ(角膜中心の座標)の計算を伴い得る。しかしながら、対応する計算における中間ステップはまた、同一座標系に対して測定されたその対称軸(例えば、図23におけるZ-軸)に関するピッチおよびヨーパラメータによって定義された回転楕円体の配向を伴い得る。これらの2つの中間パラメータは、画像上の閃光の場所と角膜中心(R、Qの所与の値に関して、光源の座標)との間の関係が、光源によって生成された光線の角膜表面からの鏡面反射に基づいて定義され得る(したがって、その配向によって影響され得る)ため、使用される。いくつかの実施例では、Rの値は、7.8mmであり得、Qの値は、-0.25であり得る(例えば、Arizona眼モデルから)。加えて、角膜表面上の閃光の3次元場所(そこで光が角膜表面上に反射される、点に対応する、GX、GY、およびGZ)が、同様に推定されてもよい。
【0252】
したがって、各閃光を推定において使用することは、さらに3つの未知のパラメータを追加し得る。結果として、未知数の総数は、(5+3)×NGであり得、式中、NGは、推定において使用される閃光の総数である。いくつかの実施例では、制約が、3つの関係、すなわち、1)閃光の場所(GX、GY、およびGZ)と、カメラの場所と、光源の場所との間の関係によって決定される。本関係は、2つの制約、すなわち、2)閃光の場所(GX、GY、およびGZ)と角膜中心の場所(CX、CY、およびCZ)との間の関係をもたらし得る。本関係は、1つの制約、すなわち、3)閃光の場所(GX、GY、およびGZ)とカメラの場所との間の関係をもたらし得る。本関係は、2つの制約をもたらす。結論として、5×NG個の制約が、いくつかの実装では、3つ以上の閃光の数をもたらす、(5+3)×NG個の未知数を推定するために使用され得る。しかしながら、他の変形例も、可能性として考えられる。例えば、閃光の数および光源の数は、より多いまたはより少なくてもよい。
【0253】
図24は、頭部搭載型ディスプレイフレーム上に添着された、1つ以上の潜在的に複数の光源が、3つ以上の閃光を眼カメラの像面上に生成する間、可能性として1つのみの眼カメラによって捕捉された1つ以上の画像を使用して、非球面回転楕円体角膜モデルに基づいて、角膜の中心の場所(例えば、基準フレームに対するx、y、zまたはr、θ、φ等の1つ以上の座標によって記述される、x、y、z場所等の3次元場所)を推定するために使用され得る、反復プロシージャを図示する、ブロック図である。眼カメラの位置および眼カメラに対する光源の位置は、システムメモリ内に記憶される、既知の値であり得る。いくつかの実装では、角膜曲率の中心の場所は、眼カメラの基準フレームまたは座標系または頭部搭載型ディスプレイに対して固定された基準フレームに対して決定されてもよい。
【0254】
いくつかの実施例では、本プロシージャは、例えば、図8A-8Eに関して上記に説明される、またはUS2019/0243448A1号(参照することによってその全体として本明細書に組み込まれる)に説明されるように、球面角膜モデルを使用した、角膜の中心の場所の推定に従ってもよい。ある他の実施例では、CoRは、プロシージャの一部として決定されてもよい。いくつかの実装では、角膜曲率半径(球面および非球面回転楕円体モデルに基づく計算内で使用される)および/またはQパラメータ(非球面回転楕円体モデルに基づく計算内で使用される)は、モデルの既知の値であり得る、または既知の眼モデルを使用して推定され得る。いくつかの実施例では、角膜曲率半径(R)および回転楕円体のQパラメータに関する値は、既知の眼モデル(例えば、Arizona眼モデル)におけるこれらのパラメータの値であってもよい。
【0255】
いくつかの実施例では、プロシージャの各反復は、下記に説明される5つのステップに分化されてもよい。
【0256】
ステップ1:画像が、ブロック2402において、フレーム上に添着された、複数の、例えば、3つ以上の光源が、光を出力し、3つ以上の閃光の出現を捕捉された画像上にもたらす間、眼カメラ(眼追跡カメラ)によって捕捉される。眼カメラの像面上の閃光の位置が、ブロック2404において決定され得る。図7Aに示される、閃光検出および標識モジュール714が、可能性として、例えば、使用されてもよい。眼の角膜中心(CSo)が、眼の球面モデルに基づいて、決定される。例えば、ブロック2412において参照される球面角膜モデル、ブロック2406によって表される光源の既知の場所、およびブロック2402において捕捉された画像内のブロック2404において決定された閃光場所の測定された値を使用して、眼の角膜中心(CSo)が、ブロック2410において計算されてもよい。いくつかの例示的方法では、CSoは、それぞれ、米国特許出願第2019/0243448A1号の図8Eおよび/または図10における角膜曲率の中心816cおよび/または1008に対応し得る。本計算のために実施され得る、いくつかの演算が、例えば、上記の図8B-8Eのうちの1つ以上のものおよび米国特許出願第2019/0243448A1号(参照することによってその全体として本明細書に組み込まれる)に関連して議論される。いくつかのプロセスでは、CSoは、ブロック2410において、2つのみの光源を使用して、例えば、上記の図11-14を参照して説明されるプロシージャを使用して等、推定されてもよい。他のアプローチおよび光源の他の数もまた、可能性として考えられる。
【0257】
ブロック2419を参照して図示されるように、CoRが、球面モデルに基づいて、ブロック2410において求められた推定される角膜の中心CSo値から決定されてもよい。ブロック2415を参照して図示されるように、瞳孔中心は、可能性として、球面モデルに基づいて、ブロック2410において求められた推定される角膜の中心CSoから決定されてもよい。
【0258】
ステップ2:角膜は、非球面回転楕円体モデルおよび非球面回転楕円面によって表されると仮定して、回転楕円体の中心に関する初期値(CQe_1)が、ブロック2403において選択される。プロシージャの第1の反復では、本初期値は、例えば、回転楕円体の中心が、ステップ1における球面モデルに基づいて推定される、角膜の中心(CSo)の背後のある固定距離内にあるという事実を考慮し得る、裏付け推測に基づいて、選択されてもよい。いくつかの実施例では、例えば、ブロック2413において使用される、回転楕円体の中心に関する初期値(CQe_1)は、球面モデルを使用して、ブロック2410において決定されるようなCSoに等しいと仮定されることができる。後続反復では、ブロック2408内で使用される値は、前の反復において生成された出力値であってもよい(例えば、ブロック2428によって提供されるように示される)。ブロック2408からの非球面回転楕円体の中心に関する値(CQe_1)と、ブロック2419において以前に決定された眼の回転中心(CoR)とを使用して、回転楕円体の配向は、ブロック2420において、ブロック2413において参照されるように、非球面回転楕円体モデルを使用して、決定されることができる。ブロック2019および2015とブロック2013との間の接続によって図示されるように、回転中心(CoR)および/または瞳孔中心は、ブロック2013の回転楕円体モデル内で使用されてもよい。
【0259】
いくつかの実施例では、CoR(例えば、ブロック2419から)は、可能性として、ステップ-1におけるブロック2402において捕捉された画像および/または第US2019/0243448A1号(参照することによってその全体として本明細書に組み込まれる)に説明される1つ以上のプロシージャを使用して、CoR推定のために使用される、モジュール(図7A参照)によって推定されてもよい。いくつかの実施例では、CoR(例えば、ブロック2419において参照される)は、ステップ-1において捕捉された画像および上記に説明されるプロシージャを使用して、推定されてもよい。
【0260】
いくつかの実装では、ブロック2419からのCoRを使用する代わりに、ブロック2415からの瞳孔中心が、ブロック2420において、回転楕円体の配向を決定するために使用されてもよい。これらの実装では、ブロック2415からの瞳孔中心は、3D瞳孔中心ロケータモジュールによって、可能性として、ステップ-1におけるブロック2402において捕捉された画像および上記に説明されるプロシージャを使用して、推定されてもよい。
【0261】
図25Aは、4つの光源2506(例えば、4つのIR LED)によって生成された4つの光線の、球面モデルCSo2510に基づいて計算される中心に心合される、球面角膜表面2508からの鏡面反射を図示する。これらの光線は、4つの閃光画像2504を眼カメラの像面2503上(例えば、カメラの検出器アレイ上)に生成する。図25Bは、CQe2508に心合され、可能性として、最初に、回転楕円体モデルから決定される、CoR2518を使用して決定された、方向に配向される、非球面回転楕円体2514の実施例を図示する。上記に議論されるように、回転楕円体中心の初期値CQe2508は、球面モデルCSo2510に基づいて計算される、角膜中心に基づいて、推定されてもよく、したがって、球面モデルに基づいて、計算または決定されてもよい。
【0262】
ステップ3:種々の実装では、光源2406の既知の場所を使用して、ブロック2414において参照されるような回転楕円体モデルを適用して、像面内の閃光画像の予期される場所(例えば、眼カメラ基準フレームに対する)が、ブロック2422において推定される。眼の角膜を表す、非球面回転楕円面は、CQeに心合され、ステップ-2(例えば、ブロック2420)において計算される、回転楕円体配向の推定される値に従って、座標系(例えば、眼カメラ座標系)に対して配向されると仮定される。図25Cは、4つの光源2506(例えば、4つのIR LED)および回転楕円体反射表面2514からの鏡面反射の場所に基づく、像面2503上の4つの閃光画像2504の場所の推定値の実施例を図示し、その中心CQe2508および配向は、ステップ2において計算される。
【0263】
ステップ4:ステップ-3(ブロック2422)において決定された閃光の予期される場所、光源2406の既知の場所を使用して、ブロック2417において参照される球面角膜モデルを適用して、ステップ-3において推定される、予期される場所2422における閃光画像を生成するであろう、球面角膜の中心(CSe)が、ブロック2424において決定される。部分的に非球面回転楕円体モデルを使用して決定される、本球面角膜の中心(CSe)と、回転楕円体モデルではなく、球面モデルを使用して決定される、角膜中心(CSo)とは、Δだけ相互から異なり得る。例えば、Δは、CSoおよびCSeを減算することによって決定され得、いくつかの実装では、CSo-Cseの絶対値に対応し得る。図25Dは、CoR2518、CQe2508、CSo2510、およびCSe2524の相対的場所を図示する。種々の実装では、CQe、CSo、およびCSeは、3-要素ベクトル、すなわち、ベクトルを定義する3つの成分または項を備える、ベクトルであり得る。
【0264】
ステップ5:差異ΔおよびCQeの以前に推定された値を使用して、ブロック2421の非球面回転楕円体モデルにおいて、非球面回転楕円体の中心に関する新しい値(CQo_1)が、種々の実装では、ブロック2428において決定され、プロシージャの第1の反復を完了する。いくつかの実施例では、CQo_1は、Newton法の簡略化されたバージョンを使用して推定されてもよい。例えば、いくつかの実装では、プロセスは、以下の関係を採用してもよい。
X(j+1)=CQo=X(j)-(J(X))-1*F(X) (2)
【0265】
式中、F(X)=CSe-CSoであって、J(X)=F(X)のヤコビ行列であって、X=CQeである。CSeおよびCSoの値の収束を用いることで、CSeとCSoとの間の差異(例えば、CSe-CSo)は、ゼロに接近する。方程式(2)によって示されるように、CSeとCSoとの間の差異がゼロに接近するにつれて、X(j)とX(j+1)との間の差異はまた、より小さくなるであろう。故に、種々の実装では、方程式F(X)=0は、例えば、数値的に解かれる。Newton法が、例えば、方程式F(X)=0、F(X)=CSe-CSoを解くために使用されてもよい。
【0266】
ヤコビ行列
【化3】
は、単一反復にわたる単位行列であると仮定され得、例えば、CSoおよびCSeの値は、相互に近似する。方程式(2)は、ある場合には、したがって、以下であると見なされ得る。
CQe_updated=CQe+K*(CSo-CSe) (3)
【0267】
式中、K=(J(X))-1は、単位行列に等しく、J(X)は、3×3ヤコビ行列である。本行列の要素は、単位行列から最大約30%の標準偏差内まで変動し得る。いくつかの実施例では、上記に説明される方法の単一反復は、60%と同程度だけ、角膜中心推定と関連付けられる誤差を低減させる、合理的解を提供し得る。付加的反復はさらに、誤差を低減させ得るが、1回の反復が、ある場合には、使用されてもよい。
【0268】
いくつかの実施例では、2回以上の反復が、可能性として、所望のパーセンテージ(例えば、60%を上回る)だけ、角膜中心推定の正確度を改良するために使用されてもよい。そのような実施例では、第1の反復の最後の(第5の)ステップにおいて生成された回転楕円体の中心の最終値(CQo_1)が、第2の反復のステップ-2において、回転楕円体の中心の初期値(CQe_2)として使用されるであろう。同様に、後続反復では、各反復のステップ-2において必要とされる、回転楕円体の中心に関する初期値(CQe_n)が、最後の(第5の)ステップにおいて生成される回転楕円体の中心の最終値(CQo_n-1)となるであろう。いくつかの実施例では、所与の反復におけるCQo_nは、簡略化されたNewton法を使用して、推定されてもよい。
【0269】
ある他の実施例では、所与の反復におけるCQo_nは、例えば、ブロック2428において、例えば、勾配降下法を使用して、Δの関数(例えば、Δ)を低減または最小限にすることによって、決定されてもよい。
【0270】
種々の実装では、例えば、F(X)=0を解くために、H(x)等のコスト関数が、低減または最小限にされてもよい。
H(X)=(CSe-CSo) (4)
【0271】
勾配降下法が、いくつかの実装では、使用されてもよい。例えば、関係は、以下となる。
【化4】
【0272】
式中、Kは、ステップサイズであって、これは、一定であってもよい、また、例えば、ステップにわたる適応的変化が、採用されてもよい。いくつかの実装では、ステップサイズKは、異なるステップに伴って変化してもよい(例えば、複数のステップのために、または各ステップに伴って)。種々の形態の勾配降下法が、使用されてもよく、および/または種々のステップサイズが、選択されてもよい。
【0273】
いくつかの実装では、ステップサイズは、Newtonステップであってもよく、これは、以下であるため、方程式(3)に戻り得る。
【化5】
【0274】
例えば、方程式(6)を方程式(5)の中に代入することは、方程式(3)につながる。
【0275】
他の方法が、Newton法ベースのアプローチまたは勾配降下法およびその変形例に加え、採用されてもよい。
【0276】
いくつかの実施例では、新しい画像または複数の画像が、例えば、閃光を取得するために、捕捉され、異なる反復、例えば、可能性として、各反復または複数回の反復のために使用されてもよい。いくつかのそのような実施例では、CoRまたは瞳孔中心の値は、新しい画像または複数の画像に基づいて、再計算されてもよい。ある他の実施例では、CoRおよび/または瞳孔中心の値は、複数回の反復(例えば、全ての反復、ある一連における全ての反復、またはその他)において、固定および所定の値であってもよい。
【0277】
上記のプロシージャに基づいて、非球面回転楕円体角膜モデルを使用して推定される、角膜中心は、ウェアラブルディスプレイシステムの光学軸決定モジュール(例えば、図7Aおよび関連付けられる議論参照)によって使用され、種々の眼パラメータ(例えば、輻輳・開散運動深度、CoR、透視中心、または他のパラメータ)に関するより正確な値を提供してもよい。そのようなパラメータは、例えば、ライトフィールドレンダリングコントローラモジュール618に提供されてもよい。角膜中心は、異なる実装では、他の方法で使用されてもよい。
【0278】
いくつかの実施例では、上記に説明される方法の異なる変形例が、非球面角膜モデルに基づいて、角膜の中心を推定するために使用されてもよい。いくつかの変形例では、1つ以上のステップは、追加される、省略される、変更される、または他のステップによって代用されてもよい。ある他の変形例では、ステップの順序および/または配列は、異なってもよい。同様に、図24におけるブロック図によって表されるプロシージャの異なる変形例が、プロシージャの主側面から逸脱することなく、実装されてもよい。例えば、ブロックは、追加される、省略される、改変される、または他のブロックによって代用されてもよく、ブロックは、並べ替えられる、または再配列される、またはこれらのいずれかの任意の組み合わせであってもよい。
【0279】
上記のプロシージャは、1つ以上のプロセッサと、HMDシステムのモジュール(例えば、図7A参照)と併せて、関連命令を記憶し得る、1つ以上の非一過性メモリとによって実施されてもよい。図26は、非球面回転楕円体角膜モデルに基づいて、例えば、いくつかの実装では、上記に説明されるプロシージャに類似し得る、反復プロシージャ等の数値プロシージャを使用して、3D角膜中心推定のために構成される、第2の3D角膜中心推定サブモジュール2660と組み合わせられ得る、例示的眼追跡モジュール(例えば、図7Aに示される眼追跡モジュール614)において使用されるサブモジュールのサブセットを図示する、ブロック図である。眼カメラ2634、画像処理モジュール2610、瞳孔識別モジュール2612、および閃光検出モジュール2614はともに、第1の2616および第2の2660 3D角膜中心推定モジュールによって使用され得る、閃光の場所を提供してもよい。座標系正規化モジュール2618、3D瞳孔中心ロケータモジュール2620、および第1の3D角膜中心推定モジュール2616は、眼の光学軸の配向を推定するためのパラメータを光学軸決定モジュール2622に提供してもよい。CoR推定モジュール2624は、光学軸決定モジュール2622によって推定される光学軸の配向を使用して、CoRを推定することができる。いくつかの実施例では、CoR推定モジュール2624によって提供されるCoRおよび閃光検出および標識モジュール2614によって提供される閃光場所は、第1の2616および第2の2660 3D角膜中心推定モジュールによって、非球面回転楕円体角膜の中心を推定するために使用されてもよい。いくつかの実施例では、前述のモジュールのうちの1つ以上のものは、共有非一過性メモリおよびプロセッサのセットを使用して実装されてもよい。いくつかの実施例では、1つ以上のモジュールを備える、モジュールの異なるサブセットは、非一過性メモリおよびプロセッサのセットを共有してもよい。いくつかの実施例では、モジュールのうちの1つ以上のものは、具体的プログラム言語で記述され、非一過性メモリ内に記憶され、1つ以上のプロセッサによって実行される、アルゴリズムであることができる。ある実装では、1つ以上のモジュールを備える、これらのモジュールの1つ以上のサブセットは、別個のハードウェア(例えば、FPGA)上に実装されてもよい。
【0280】
シミュレーションが、R=7.8mmおよびQ=-0.25を伴う回転楕円体モデルに関する単位行列に等しいJ(X)を用いて、上記に説明されるプロシージャの単一反復を使用して、角膜中心を推定するために実施された。結果が、4つの閃光を使用して、水平および垂直方向に、+/-20度以内の1,000回のランダム眼視線のシミュレーションから取得された。表1は、推定される角膜中心の場所を定義する、3つの座標に関するRMS誤差(mm単位)を示す。3つの座標に関する総RMS誤差もまた、示される。球面モデルおよび非球面回転楕円体モデルの両方を使用して計算される、曲率の中心に関するRMS誤差が、示される。
【表1】
【0281】
非球面回転楕円体モデルを使用して計算されるデータ点と、球面モデルを使用して計算されるものとの間の比較は、回転楕円体モデルが使用されるとき、約60%の誤差低減を示す。
2つの眼カメラおよび回転楕円体モデルを使用した角膜中心の3D位置の決定
【0282】
上記に議論されるように、異なるプロシージャは、非球面回転楕円体モデル等の非球面モデルを利用してもよく、広範囲の変数が、そのようなプロシージャ内に含まれ得る。いくつかのプロセスでは、例えば、2つのカメラが、採用されてもよい。2つのカメラは、眼上の閃光を結像し、眼の位置および/または配向に関する情報を提供し得る。
【0283】
図27は、2つのカメラ2739/2737が、頭部搭載型ディスプレイフレーム2741の接眼レンズ2731上に配置され、同様にフレーム2741上に配置される、3つの光源2735によって生成された閃光の画像を捕捉する、例示的構成である。これらの画像は、下記に説明される方法を使用して、眼球2733の角膜の中心2718の場所を推定するために使用されてもよい。
【0284】
図28は、頭部搭載型ディスプレイフレーム上に添着された複数の光源が、2つ以上の、例えば、4つ以上の、閃光を各眼カメラの像面上に生成する間、2つの眼カメラによって捕捉された画像を使用して、非球面回転楕円体角膜モデルに基づいて、角膜の中心の場所(例えば、基準フレームに対するx、y、zまたはr、θ、φ等の1つ以上の座標によって記述されるx、y、z場所等の3次元場所)を推定するためのプロシージャを図示する、ブロック図である。異なる数の光源が、他の実装では、使用されてもよい。座標系(例えば、眼カメラの座標系)に対する眼カメラの位置および光源の位置は、HMDシステムの非一過性メモリ内に記憶される既知の値であり得る。しかしながら、いくつかの実装では、2つの眼カメラの使用は、角膜の半径(R)を把握せずに、眼の角膜中心の決定を有効にする。いくつかの実装では、角膜曲率の中心の場所は、眼カメラの基準フレームまたは座標系または頭部搭載型ディスプレイに対して固定された基準フレームに対して決定されてもよい。
【0285】
有利なこととして、2つのカメラによって捕捉された画像および下記に説明されるプロシージャを使用することは、片眼カメラ(例えば、上記に説明される方法)を使用する方法と比較して、非球面モデル(例えば、非球面回転楕円体モデル)に基づいて角膜中心を推定するための時間を低減させ得る。ある場合には、プロシージャは、非反復性である。
【0286】
いくつかの実施例では、本プロシージャは、上記に説明される(例えば、図9、11、13、14、15、および16を参照して)角膜および/または瞳孔ベクトルの推定(球面モデルに基づいて)のいくつかまたは一部を含んでもよい。いくつかの実施例では、角膜および/または瞳孔ベクトルは、プロシージャの一部として決定されてもよい。
【0287】
いくつかの実装に関して、プロシージャは、下記に説明される7つのステップまたはその1つ以上の部分を含んでもよい。
【0288】
ステップ1:それぞれ、図28に示される、第1および第2のブロック2802および2804によって参照されるように、第1の画像が、第1の眼カメラ(眼追跡カメラ)によって捕捉され、第2の画像が、第2の眼カメラ(眼追跡カメラ)によって捕捉される。フレーム上に添着された2つ以上の光源は、光を出力し、2つ以上の閃光の出現を各捕捉された画像上にもたらすように構成される。いくつかの実装では、第1および第2のカメラは、図9B-9Eにおけるカメラ2014および2016またはカメラ2018および2020に対応し得る。第1および第2の眼カメラの像面に対する閃光の位置が、決定され得る(それぞれ、ブロック2808および2806参照)。閃光位置の本決定は、画像前処理モジュール710および閃光検出および標識モジュール714によって実施されてもよい。いくつかの実施例では、一対の光源が、2つの閃光を、それぞれ、第1および第2の眼カメラによって捕捉された第1および第2の画像上に生成してもよい。例えば、図29Aを参照されたい。いくつかの実施例では、第1の対の光源は、2つの閃光を第1のカメラによって捕捉された第1の画像上に生成してもよく、第2の対の光源は、2つの閃光を第2のカメラによって捕捉された第2の画像上に生成してもよい。異なる数の光源が、他の実装では、採用されてもよい。
【0289】
ステップ2:図29Bは、閃光が、眼に向かって、例えば、角膜曲率の中心に向かって指向されるベクトルを決定するために採用され得る方法を図示する。第1のカメラによって捕捉された第1の画像上の2つの閃光の位置を使用して、第1の角膜ベクトルCV1が、ブロック2812において決定される。第2のカメラによって捕捉された第2の画像上の2つの閃光の位置を使用して、第2の角膜ベクトルCV2が、ブロック2810において決定される。
【0290】
いくつかの実施例では、CV1およびCV2は、図15Aおよび15Bを参照して上記に説明されるプロシージャに基づいて、それぞれ、第1および第2の対の光源によって生成された、第1の捕捉された画像内の2つの閃光と、第2の捕捉された画像内の2つの閃光とを使用して決定されてもよい。第1および第2の角膜ベクトルCV1およびCV2は、例えば、図15Aおよび15Bにおけるベクトル1510および1530に対応し得る。これらの実施例では、CV1は、第1のカメラの場所、第1の対の光源の場所、および第1の捕捉された画像内の2つの閃光の場所を使用して、ブロック2812において決定される。同様に、CV2は、第2のカメラの場所、第2の対の光源の場所、および第2の捕捉された画像上の2つの閃光の場所を使用して、ブロック2810において決定される。
【0291】
ある他の実施例では、CV1およびCV2は、図16A-16Cを参照して上記に説明されるプロシージャに基づいて、可能性として、球面角膜形状の仮定に基づいて、2つの閃光を捕捉された画像のそれぞれのもの上に生成する、2つのみの光源を使用して決定されてもよい。第1および第2の角膜ベクトルCV1およびCV2は、図16A-16Cにおけるベクトル1610および1630に対応し得る。これらの実施例では、CV1は、第1のカメラの場所、2つの光源の場所、および第1の捕捉された画像上の2つの閃光の場所を使用して、決定2812されてもよい。同様に、CV2は、第2のカメラの場所、2つの光源の場所、および第2の捕捉された画像上の2つの閃光の場所を使用して、決定2810される。いくつかの実装では、CV1およびCV2は、加えて、座標系正規化モジュール718(図7参照)によって、ウェアラブルデバイスの座標系に変換される。
【0292】
ステップ3:ステップ-2において決定された角膜ベクトルCV1およびCV2を使用して、角膜中心(CC)の3次元座標が、ブロック2814によって表されるように、ウェアラブルデバイスの座標系に対して識別され得る(ステップ-2では、CV1およびCV2が、種々の実装において、ウェアラブルデバイスの座標系に変換されるため)。図29Bにおけるようないくつかの実施例では、角膜中心またはそれを中心とする領域の3次元座標が、そこでベクトルCV1およびCV2が交差する、点または領域を見出すことによって決定されてもよい。本交差部は、図15A-16Cにおける点1520または1620に対応し得、段落172(または179)に説明されるプロシージャを使用して決定されてもよい。ある場合には、ベクトルは、ある点において交差しないが、しかしながら、ベクトルは、収束し得る。故に、種々の実装では、ベクトルが収束する、またはベクトル間の距離が低減される、または最小である、場所が存在する。ある他の実施例では、角膜中心は、二乗平均平方根推定技法等の1つ以上の推定技法を使用して、推定されてもよい。
【0293】
ステップ4:加えて、第1の眼カメラによって捕捉された第1の画像を使用して、第1の瞳孔ベクトルPV1が、決定2816されてもよい。同様に、第2の眼カメラによって捕捉された第2の画像を使用して、第2の瞳孔ベクトルPV2が、決定2818されてもよい。いくつかの実施例では、第1および第2の瞳孔ベクトルPV1およびPV2は、図29Cに図示されるように、それぞれ、第1および第2の眼カメラ座標系の原点から、第1および第2の像面内の瞳孔中心の場所を通して、延在し得る。いくつかの実施例では、第1の2816および第2の2818瞳孔ベクトルPV1およびPV2は、第1および第2の角膜ベクトルCV1およびCV2に類似し得る。
【0294】
ステップ5:そこでPV1 2816およびPV2 2818が交差する、点(PC)の3次元座標が、ステップ-3において使用される同一座標系(例えば、ウェアラブルデバイスの座標系)に対して決定2820される。ある場合には、ベクトルは、ある点において交差しないが、しかしながら、ベクトルは、収束し得る。故に、種々の実装では、ベクトルが収束する、またはベクトル間の距離が低減される、または最小である、場所が存在する。そのような場合、本領域と関連付けられる、例えば、その中の場所は、PCに対応し得る。いくつかの実施例では、点PCは、二乗平均平方根推定技法等の1つ以上の推定技法を使用して、近似されてもよい。
【0295】
ステップ6:ステップ-3(図28のブロック2814)において決定された交差部または収束場所CCと、ステップ5(ブロック2820)において決定された交差部の点または収束領域PCとを使用して、点PCおよびCCを通して延在する、ベクトルPC-CCが、ブロック2822において決定される。点CCおよびPCおよびベクトルPC-CCは、種々の実装では、ウェアラブルデバイスの座標系に対して決定されてもよい。いくつかの実施例では、ベクトルPC-CCは、ユーザの眼の光学軸にほぼ対応し得る。いくつかの実施例では、角膜中心は、推定されるベクトルPC-CCに沿って位置し得る。
【0296】
ステップ7:非球面回転楕円体角膜モデル2824(例えば、所与のQ値を伴う)、第1および第2の画像上の閃光の場所(ブロック2806および2808)、ステップ-3(ブロック2814)において決定された点CC、およびステップ6(ブロック2822)において決定されたベクトルPC-CCを使用して、3次元空間内の非球面回転楕円体の位置および配向が、ブロック2826において参照されるように、推定されることができる。回転楕円体の配向は、PC-CCから決定され得る、例えば、回転楕円体の軸は、PC-CCと平行であって、および/またはそれに沿ってあり得る。回転楕円体の中心の位置もまた、PC-CCベクトルを把握することによって、推定されることができる。回転楕円体中心の位置は、種々の実装では、PC-CCベクトルに沿ってあると仮定され得る。いくつかの実施形態では、球面モデルが、例えば、PC-CCベクトルに沿った非球面回転楕円体の位置を推定するために使用される。これらの実施形態では、例えば、ブロック2814において決定された交差部の点CC、カメラおよび光源の場所情報、および第1および第2の画像上の閃光の場所を使用して、球面モデルと関連付けられる、球面反射表面の中心の場所が、計算される。例えば、少なくとも部分的に非球面回転楕円体角膜モデルと関連付けられる、Qの所与の円錐パラメータに基づいて、偏移値が、計算され、非球面回転楕円体の中心の場所が、偏移値を使用して決定され、例えば、CC点からの偏移を決定する。特に、いくつかの実施例では、非球面回転楕円体の中心は、PC-CCベクトルに沿って、球面反射表面の中心を、回転楕円体の形状に基づいて、例えば、Q値に基づいて、計算され得る、偏移値だけ偏移させることによって決定される。ある場合には、偏移値は、少なくとも部分的に、カメラおよび光源の場所情報および第1および第2の画像上の閃光の場所に基づいて、計算される。いくつかの実施例では、Qの所与の値は、具体的眼モデルに基づくQの平均値(例えば、Arizona眼モデルに関する-0.25またはNavarro眼モデルに関する-0.26)、Qの公開された(例えば、研究論文または教科書において公開された)値、またはユーザ特有のQパラメータの値であってもよい。
【0297】
加えて、またはその代替として、回転楕円体の中心の位置は、反復的に決定されてもよい。例えば、非球面回転楕円体の中心は、PC-CCベクトルに沿ったある場所、例えば、CC点、または偏移が回転楕円体の形状(例えば、Q値)に基づく、上記で参照される偏移された場所等のCCから固定距離に位置すると仮定されてもよい。光エミッタの場所を把握することで、閃光の場所は、例えば、非球面回転楕円面から反射された光エミッタからの光の光線を光線トレーシングすることによって、計算されることができる。これらの計算された閃光は、測定された閃光場所と比較されることができる。非球面回転楕円体は、例えば、回転楕円体の中心をPC-CCベクトルに沿って偏移させることによって、PC-CCベクトルに沿って、偏移されることができる。再び、光エミッタの場所を把握することによって、閃光の場所は、非球面回転楕円面から反射された光エミッタからの光の光線を光線トレーシングすることによって計算されることができる。これらの計算される閃光は、測定された閃光場所と比較されることができる。本プロセスは、例えば、PC-CCベクトルに沿った回転楕円体(および回転楕円体の中心)の場所が、識別されるまで、繰り返されることができ、計算された閃光場所は、閃光の測定された場所に近似する、例えば、閾値に関して、十分に近似する。いくつかの実装では、例えば、低減されたまたは最短距離を生産する、回転楕円体の場所が、選択されてもよい。故に、いくつかの設計では、3次元空間内の非球面回転楕円体の位置が、ブロック2826において参照されるように推定される。
【0298】
上記で参照されるように、いくつかの実施例では、3次元空間内の回転楕円体の配向は、PC-CCベクトル2822の配向に対応し得る、例えば、3次元空間内の回転楕円体の配向は、そこでベクトルPC-CC2822が非球面回転楕円体の中心および回転楕円体の両頂点/極を通して通過する、配向に対応し得る。いくつかのそのような実施例では、非球面回転楕円体の配向は、ユーザの視線ベクトルの方向を推定するために十分であり得る。これらの実施例では、ユーザの異なる視線方向において捕捉された画像に基づいて、視線ベクトルの大集合を推定することが、低減された算出費用を用いて、CoRを推定するために使用されてもよい。例えば、上記および「Eye Center of Rotation Determination, Depth Plane Selection, and Render Camera Positioning ni Display Systems」と題された、米国特許公開第US2019/0243448A1号(参照することによってその全体として本明細書に組み込まれる)に議論されるように、複数の視線ベクトルまたは光学軸が、異なる視線方向に関して評価され、視線ベクトルまたは光学軸の交差部または収束を識別してもよく、これは、眼の回転中心の推定値として使用され得る。故に、いくつかの実施形態では、眼追跡モジュール614は、角膜中心または角膜曲率の中心の位置を決定せずに、非球面回転楕円体の配向を使用してもよい。これらの実施形態では、有意な量の算出時間が、潜在的に、角膜曲率の中心を計算しない一方、眼の視線方向を追跡することを有効にすることによって、節約され得る。
【0299】
いくつかの実装では、全ての上記に述べられたステップは、モジュール716(図7A参照)によって実施されてもよい。
【0300】
図29A-29Dは、図28に関して上記で議論されるプロシージャに基づいてベクトルPC-CC2836の決定のためのプロシージャを図式的に図示し、例えば、2つの対の光源が、一対の閃光を2つの個別の眼カメラによって生成された2つの別個の画像上に生成するために使用される。示されるように、第1の対の光源2902は、第1の対の閃光2905を第1の眼カメラの像面2908上に生成する。第2の対の光源2904は、第2の対の閃光2912を第2の眼カメラの像面2910上に生産する(図29A参照)。第1の眼カメラ2914、第1の対の閃光2906、および第1の対の光源2902の座標を使用して、第1の角膜ベクトルCV1 2918が、決定される。第2の眼カメラ2916、第2の対の閃光2912、および第2の対の光源2904の座標を使用して、第2の角膜ベクトルCV2 2920が、決定される。上記に議論されるように、単一対の光源が、いくつかの実装では、第1および第2のカメラの両方によって結像される、2つの閃光を生産するために使用されることができる。2つの角膜ベクトルCV1 2918およびCV2 2920が交わる、または収束する、いくつかの実施例では、切片または収束点CC3330の座標が、決定される(図29Bおよび上記に議論される図16A-16C参照)。
【0301】
上記に議論されるように、像面2908上の瞳孔2922の場所および第1の眼カメラの座標系2914の原点を使用して、第1の瞳孔ベクトルPV1 2926が、決定される。第2の像面2910上の瞳孔2924の場所および第2の眼カメラの座標系2916の原点を使用して、第2の瞳孔ベクトルPV2 2928が、決定される。2つの角膜ベクトルPV1 2926およびCV2 2928が交わる、または収束する、いくつかの実施例では、切片または収束点または領域PC2932の座標が、図29Cにおける推定される角膜曲率の中心場所CC2930の座標を決定するために使用される同一座標系に対して決定されてもよい。
【0302】
また、上記に議論されるように、角膜を表す、非球面回転楕円体2944の配向が、ベクトルPC-CC2942(CC2930およびPC2932を接続するベクトルとして定義される)を使用して決定される(図29D参照)。いくつかの実施例では、回転楕円体の配向は、ベクトルPC-CC2942が非球面回転楕円体の中心および回転楕円体の両頂点/極を通して通過すると仮定することによって決定されてもよい。
【0303】
加えて、いくつかの実施例では、ベクトルPC-CC2942に沿った非球面回転楕円体の中心の場所は、その中心がベクトルPC-CC2942に沿った点にある、回転楕円体からの光線(既知の場所における光源によって生成された)の鏡面反射に基づいて、第1および第2の像面2908/2910上の閃光2906/2912の測定された場所と、各像面2908/2910上の閃光の計算された場所をマッチングさせることによって推定されてもよい。他の方法も、使用されてもよい。
【0304】
いくつかの実施例では、上記に説明される方法の異なる変形例が、非球面回転楕円体角膜モデルに基づいて、角膜の中心および配向を推定するために使用されてもよい。いくつかの変形例では、1つ以上のステップが、追加される、省略される、変更される、他のステップによって代用される、またはそれらの任意の組み合わせであってもよい。ある他の変形例では、ステップの順序は、変更される、またはステップは、別様に再配列されてもよい。同様に、図28におけるブロック図によって表されるプロシージャの異なる変形例が、プロシージャの主側面から逸脱することなく、実装されてもよい。例えば、あるブロックは、追加される、省略される、変更される、再配列される、他のブロックによって代用される、またはそれらの任意の組み合わせであってもよい。他の変更も、可能性として考えられる。
【0305】
上記に述べられたプロシージャは、1つ以上のプロセッサと、HMDシステムのモジュール(図7A)と併せて、関連命令を記憶し得る、1つ以上の非一過性メモリとによって実施されてもよい。図30は、例示的眼追跡モジュール(例えば、図7Aに示される眼追跡モジュール614)において使用され得、非球面回転楕円体角膜モデルに基づく3D角膜中心推定のために構成される、新しい3D角膜中心推定サブモジュール3060と組み合わせられ得る、サブモジュールのサブセットを図示する、ブロック図である。いくつかの実装では、プロセスは、例えば、図28に関して上記に説明されるプロシージャを採用してもよい。図28に関して上記に説明されるプロシージャのいくつかの実装では、2つの眼カメラ3034/3035、画像処理モジュール3010、瞳孔識別モジュール3012、および閃光検出モジュール3014はともに、閃光の場所を3D角膜曲率中心推定モジュール3060に提供してもよいことに留意されたい。閃光場所は、ステップ-7において解説されるように、3D角膜中心推定モジュール3060によって角膜を表す非球面回転楕円体の中心および/または配向を推定するために使用され得る、角膜ベクトル2918/2920(CV1およびCV2)を、3D角膜中心推定モジュール3060によって決定するために使用されてもよい。座標系モジュール3018および3D瞳孔中心ロケータモジュール3020は、瞳孔ベクトル2926/2928(PV1およびPV2)を決定するために必要とされる、瞳孔場所を提供してもよい。角膜ベクトル、瞳孔ベクトル、および閃光の場所を使用して、3D角膜中心推定モジュール3060は、角膜を表す、非球面回転楕円体の中心および配向を推定することができる。他の方法および/または構成も、可能性として考えられる。
【0306】
種々の実装では、1つ以上の眼追跡カメラによって生産された画像内の閃光反射の場所に基づいて、ユーザの眼の角膜中心の場所を推定することは、該1つ以上のカメラによって生産された画像内の閃光反射の場所、1つ以上の追跡カメラの場所、および該個別の閃光反射を生産したエミッタの場所に基づいて、角膜曲率の中心の値(例えば、基準フレームに対するx、y、zまたはr、θ、φ等の1つ以上の座標によって記述されるx、y、z場所等の3次元場所)または推定値または場所を決定するための数値計算を含む。
【0307】
いくつかの実施例では、前述のモジュールは、共有非一過性メモリおよびプロセッサのセットを使用して実装されてもよいが、しかしながら、他の構成も、可能性として考えられる。いくつかの実施例では、1つ以上のモジュールを備える、モジュールのサブセットは、非一過性メモリおよびプロセッサのセットを共有してもよい。いくつかの実施例では、モジュールのうちの1つ以上のものは、具体的プログラム言語で記述され、非一過性メモリ内に記憶され、1つ以上のプロセッサによって実行される、アルゴリズムを備えることができる。ある実装では、1つ以上のサブモジュールを備える、これらのモジュールの1つ以上のサブセットは、別個のハードウェア(例えば、FPGAまたは専用プロセッサ)を使用して実装されてもよい。
【0308】
いくつかの実装では、眼の角膜の中心および配向は、非球面眼モデルを使用して、推定されてもよく、角膜は、非回転対称表面によって表される。非球面眼モデルは、例えば、双円錐または楕円面を採用してもよく、これは、任意の軸の周囲で回転対称ではない。これらの形状は、異なる平面(例えば、水平または垂直)における角膜の異なる曲率を捕捉するために使用されてもよい。例えば、上記の方程式(1C)および(1D)およびその議論を参照されたい。故に、種々の実装では、双円錐または楕円面等の非回転対称表面を使用して、角膜をモデル化する、そのような非回転対称モデルは、本明細書に説明される方法と併用されてもよい。
【0309】
いくつかのそのような実装では、例えば、非回転楕円体が、角膜の表面(例えば、方程式1Dによって定義された表面)をモデル化するために使用されてもよい。そのような場合、第3の既知のパラメータ(QおよびRに加え)が、角膜をモデル化する楕円面の位置および/または配向を推定するために使用されてもよい。いくつかの実施例では、第3のパラメータの値は、眼モデルによって提供されてもよい。図24図28を参照して、または本明細書のいずれかの場所に説明される、プロシージャの同一または修正されたバージョンを備える、方法が、角膜の非球面回転楕円体モデルの代わりに、角膜の非回転楕円体眼モデル等の非回転対称モデルと併用されてもよい。
【0310】
いくつかの他の実装では、非球面角膜モデルは、双円錐モデルであってもよく、角膜の表面は、一般的双円錐面(例えば、方程式1Cによって定義された双円錐面)によって表される。上記に述べられたように、双円錐モデルは、例えば、正視、近視、遠視、または非点収差眼と関連付けられる、多様な眼形状に関する角膜形状をモデル化するために使用されてもよい。いくつかのそのような実施例では、双円錐面は、5つのパラメータを使用して、規定されてもよい。方程式1Cを参照すると、(Rx,)および(R,Q)が、それぞれ、水平および垂直寸法における角膜表面の半径および円錐パラメータを規定してもよい。加えて、角膜の非点収差軸に対する双円錐面の配向は、0~180度に及ぶ、角度(第5のパラメータ)によって規定されてもよい。いくつかの実施例では、これらのパラメータの値は、既知の眼モデルまたは文献において報告される平均値から取得されてもよい。図24図28を参照して、または本明細書のいずれかの場所に説明されるプロシージャの同一または修正されたバージョンを備える、方法が、角膜の非球面回転楕円体モデルの代わりに、角膜の双円錐眼モデルと併用されてもよい。
【0311】
いくつかのそのような実施例では、双円錐回転楕円体モデルの5つのパラメータは、図24および図28を参照して説明される、プロシージャの拡張バージョンに基づいて、推定されてもよく、付加的ステップが、モデル内の1つ以上の未知のパラメータを推定するために追加されてもよい。ある場合には、付加的閃光および可能性として、付加的光源および/または画像が、採用されてもよい。いくつかのそのような実施例では、4つ以上の閃光が、角膜中心、視線方向、および眼球中心を推定するために使用されてもよい。
【0312】
ある他の実施例では、眼モデル内の1つ以上のパラメータの範囲または統計的分布に関するいくつかの制約が、算出を促進する(例えば、拡張プロシージャにおける付加的ステップを低減させる)ために使用されることができる。例えば、RおよびRの統計的分布は、Rと同一であってもよく、したがって、それらは、同一平均値(例えば、7.8mm)および同一標準偏差(例えば、0.26mm)を有してもよい。QおよびQの分布は、Qと同一であってもよく、したがって、それらは、同一平均値(例えば、-0.26または-0.25)および同一標準偏差(例えば、0.18)を有してもよい。大部分の非点収差角膜は、例えば、アイウェアの座標系に基づいて定義される、垂直または水平軸により近い、非点収差軸を有し得る。加えて、多くの眼パラメータは、多くの場合、右および左眼対において類似する。いくつかの実施例では、眼(眼の角膜)が、非点収差ではない場合、Rは、Rに等しく、かつRに等しくあり得る。同様に、非非点収差眼に関して、Qは、Qに等しく、かつQに等しくあり得る。そのような場合、双円錐楕円体眼モデルは、回転楕円体眼モデルに縮尺され得る。
【0313】
上記に議論されるように、角膜中心および視線方向は、1つ以上の眼カメラによって捕捉された閃光画像を使用して、推定されてもよい。
【0314】
いくつかの実施形態では、Qパラメータのユーザ特有の値は、Q較正プロセスを使用して、推定されてもよい。いくつかの実施形態では、Q較正プロセスの間、図24および図28またはその一部に関して等、本明細書に説明される1つ以上のプロシージャ等が、使用されてもよい、またはいずれかの場所に説明される方法が、HMDを装着しているユーザの眼の角膜中心を推定するために使用される、非球面回転楕円体モデルに関するQパラメータのユーザ特有の値を決定するために採用されてもよい。例えば、上記に説明され、図7Aに示されるように、角膜中心(例えば、ブロック716において推定される)および眼の対応する回転中心(CoR)(例えば、角膜中心に基づいて、ブロック724において推定される)は、例えば、ライトフィールドレンダリングコントローラ618への入力パラメータであり得る。したがって、推定される角膜中心は、HMDによってレンダリングされる画像の特性に影響を及ぼし得る。有利なこととして、Qパラメータのユーザ特有の値は、パラメータ値をライトフィールドレンダリングコントローラ618(例えば、CoR推定モジュール732およびCoP推定モジュール724)にフィードし、意図される方法により近い方法でユーザによって知覚される、画像をレンダリングする、ライトフィールドレンダリングコントローラ618および/または1つ以上の他のモジュールによって使用されてもよい。
【0315】
いくつかの実施形態では、Qパラメータのユーザ特有の値は、測定/データ収集および分析/推定を備える、プロセスを使用して、推定されてもよい。測定およびデータ収集は、1つ以上の光エミッタが、ユーザの眼を照明し、閃光をその上に形成し、1つ以上の眼追跡カメラを使用して、眼の1つ以上の画像を捕捉する間、ユーザが見るための標的を提供することを含む、反復的プロシージャであってもよく、1つ以上の画像は、標的の場所によって決定される、視線方向と関連付けられる。ある場合には、本プロセスは、標的場所がユーザの視線方向を改変するように変更されることに伴って、繰り返されることができる。
【0316】
これらのプロシージャを使用して、眼の複数の画像が、収集されてもよく、例えば、片眼カメラによって捕捉された異なる画像または2つの眼追跡カメラによって捕捉された異なる対の画像が、異なる個別の視線方向と関連付けられる。ある場合には、片眼カメラによって捕捉された画像または2つの眼追跡カメラによって捕捉された一対の画像は、1つ以上の光エミッタと関連付けられる、閃光反射を含み得る。複数の画像は、例えば、眼追跡モジュール614のメモリまたはHMDのメモリ内に記憶されてもよい。
【0317】
分析および推定ステップでは、眼の複数の画像が、Qパラメータのユーザ特有の値を決定するために使用されてもよい。いくつかの実装では、分析および推定は、反復プロセスであってもよい。いくつかの実装では、反復は、本明細書に説明される1つ以上のプロシージャ/方法(例えば、図24または図28に関して説明される1つ以上のプロシージャ)または他の方法を使用して、複数のCoR値を推定することを含んでもよい。CoRの推定は、可能性として、眼の複数の画像、閃光を生産したエミッタの場所、Qパラメータの初期値または前の反復において生成されたQパラメータの値、またはこれらのうちの任意の1つ以上のものを採用してもよい。例えば、異なる所定のQ値に関する推定されるCoR値と関連付けられる、統計的パラメータまたはメトリック(例えば、分散、標準偏差)が、計算されてもよい。統計的メトリックは、特定のQ値に関するCoRにおける変動、不安定性、不確実性、または誤差を測定する、または別様に示してもよい。統計的パラメータまたはメトリック(例えば、分散、標準偏差)は、複数の推定されるCoR値またはCoR値を決定するプロセスを使用して、計算されてもよい。統計的メトリックは、例えば、図18Bにおける収束の領域1824、または図19C-1、19C-2、19C-3、19C-4における推定されるCoR領域1920、または米国特許公開第US2019/0243448A1号(参照することによってその全体として本明細書に組み込まれる)に説明されるような異なる視線方向に関して計算される光学軸の収束の領域のサイズと相関し得、そこからCoRが、決定されてもよい。Qパラメータの新しい値が、少なくとも部分的に、計算された統計的パラメータまたはメトリックに基づいて、生成されてもよい。例えば、統計的メトリックは、監視されてもよく、Qの選択は、統計的メトリックの値に基づいてもよい。例えば、低減されたまたは最小統計的メトリックまたは閾値を下回る統計的メトリックに対応する、Q値が、選択されてもよい。ある場合には、Q値は、可能性として、他のQ値および/または統計的メトリックまたはそれに基づく値に基づいて、同様に修正(例えば、平均、スケーリング等)されてもよい。
【0318】
いくつかの実施形態では、第1の反復は、Qパラメータの初期値を使用してもよい。後続反復は、いくつかの実装では、各後続反復の直前に実施される反復において生成されたQパラメータの値を使用してもよいが、他のアプローチも、可能性として考えられる。Qパラメータの初期値は、例えば、何人かの対象、1つ以上の眼モデル、および同等物から収集された、測定されたデータに基づいて推定された値であってもよい。いくつかの実施例では、Qパラメータの初期値は、-0.25±0.1であってもよい。
【0319】
いくつかの実装では、分析および推定は、非反復プロセスであってもよい。例えば、推定は、Qパラメータの複数の所定の値からの1つ以上のQ値の選択を含んでもよい。いくつかの実施例では、非反復プロセスは、異なるQ値に関する複数のCoR値を推定することを含んでもよい。上記に説明されるように、CoRは、本明細書に説明される方法(例えば、図24または図28に関して説明される1つ以上の方法)または他の方法を使用して決定されてもよい。CoRの推定は、可能性として、眼の複数の画像、閃光を生産したエミッタの場所、Qパラメータの複数の所定の値、またはこれらのうちの1つ以上のものを採用してもよい。例えば、異なる所定のQ値に関する推定されるCoR値と関連付けられる、統計的パラメータまたはメトリック(例えば、分散、標準偏差)が、計算されてもよい。統計的メトリックは、特定のQ値に関するCoRにおける変動、不安定性、不確実性、または誤差を測定する、または別様に示してもよい(上記に議論されるように、統計的メトリックは、例えば、図18Bにおける収束の領域1824、または図19C-1、19C-2、19C-3、19C-4における推定されるCoR領域1920、または米国特許公開第US2019/0243448A1号(参照することによってその全体として本明細書に組み込まれる)に説明されるような異なる視線方向に関して計算される光学軸の収束の領域のサイズに相関し得、そこからCoRが、決定されてもよい。故に、所望の、または改良された、例えば、低減された、最小限の、または他のより望ましいまたは最良の統計的パラメータまたはメトリックをもたらす、Qパラメータが、選択され得る。ある場合には、Q値は、可能性として、他のQ値および/または統計的メトリックまたはそれに基づく値に基づいて、同様に修正(例えば、平均、スケーリング等)されてもよい。
【0320】
いくつかの実施例では、Qパラメータの複数の所定の値は、文献(例えば、研究論文、教科書、参考書籍、および同等物)において公開される値であってもよい。ある他の実施例では、Qパラメータの複数の所定の値は、母集団に関するQパラメータの複数の計算された値であってもよい。例えば、角膜トポグラファが、対象(例えば、10、50、100人対象以上の)のグループの眼の角膜形状を測定するために使用されてもよく、Qパラメータの値は、測定された角膜形状を使用して計算されてもよい。Q値を取得する他の方法もまた、可能性として考えられる。
【0321】
故に、種々の実装では、計算される統計的メトリックは、例えば、異なる視線方向に関する推定されるCoR値の統計的分布の変動の測定値であってもよい。いくつかの実装では、Qパラメータの新しい値が、分散を低減または最小限にするように選択されてもよい。代替として、メトリックは、複数のQ値に関して決定されてもよく、Q値は、異なる視線方向に関して取得されるCoR値における変動、不確実性、誤差等を低減させるように、メトリックに基づいて、例えば、メトリックの値を低減させるために選択される。
【0322】
いくつかの実装では、上記に説明されるプロセスは、HMDの眼追跡モジュール614によって実施されてもよい。ある他の構成では、測定およびデータ収集は、眼追跡モジュールによって実施されてもよく、分析および推定は、HMDの別のモジュール(例えば、プロセッサおよびメモリを備える、処理モジュール)によって実施されてもよい。
【0323】
いくつかの実施形態では、3つ以上の眼カメラが、角膜の中心等のパラメータを推定するために、眼画像を捕捉するために使用されてもよい。パラメータ、例えば、角膜の中心は、球面モデルおよび/または非球面回転楕円体モデルを使用して、推定されてもよい。いくつかのそのような実施形態では、眼追跡モジュール614は、一対の眼カメラを3つ以上の眼カメラから選択し、対のカメラを使用して、パラメータ、例えば、3D角膜中心、3D瞳孔中心CoR、または他のパラメータを推定してもよい。例えば、3つ以上の眼カメラの一対の眼カメラは、ユーザ(例えば、HMDを装着しているユーザ)の眼の2つの(以上の)画像を捕捉するように選択されることができ、そこからパラメータが、例えば、上記に説明される方法を使用して、推定されることができる。3つ以上の眼カメラの異なる対の眼カメラは、ユーザ(例えば、HMDを装着しているユーザ)の眼の2つ(以上)の画像を捕捉するように選択されることができ、パラメータは、再び、本対のカメラからの画像に基づいて、推定されることができる。本プロセスは、可能性として、別の異なる対のカメラを選択して繰り返されることができる。例えば、第1および第2のカメラが、最初に、選択され、その後、第2および第3のカメラが続き、その後、第1および第3のカメラが続くことができる。順序またはプロシージャは、変動し得る。異なるカメラ対を用いて取得される値は、統計的に組み合わせられ、例えば、平均され、または別様に、ともに使用され、パラメータの推定値を決定してもよい。本パラメータは、そのようなパラメータを取得するために、角膜中心、回転中心、透視中心、または中間値の推定値等、ユーザの眼の物理的、光学的、および/または構造的特徴を備えてもよい。いくつかの実装では、そのような値は、推定される角膜の中心および/または他のパラメータに基づいて画像をレンダリングする際に採用されてもよい。
上記に説明される種々の実施形態では、種々の眼パラメータ(例えば、角膜中心、瞳孔中心、回転中心、および同等物)の場所(例えば、3次元場所)が、1つ以上の正規化された座標系に対して計算されてもよい。ある場合には、眼カメラ座標系は、正規化された座標系であってもよく、像面の場所は、眼カメラ座標系に対して決定されてもよい。正規化された座標系は、例えば、眼追跡モジュール614の座標系正規化モジュール718(図7A参照)によって、例えば、「Eye Center of Rotation Determination, Depth Plane Selection, and Render Camera Positioning in Display Systems」と題された、米国特許公開第US2019/0243448A1号(参照することによってその全体として本明細書に組み込まれる)に議論される方法を使用して、決定されてもよいが、しかしながら、他の変動またはアプローチも、座標/場所を正規化する、または別様に、例えば、別の座標系等の別の系に変換するために採用されてもよい。
T.眼追跡が利用不可能であるときの実施例
【0324】
いくつかの実施形態では、眼追跡は、提供されない場合がある、または一時的に利用不可能である場合がある。実施例として、眼追跡カメラ324または光源326が、曇る、損傷される、またはユーザによって無効にされる、環境の照明条件が、眼追跡を著しく困難にし得る、ウェアラブルシステムが、眼追跡を妨害するように不適切にフィットされ得る、ユーザが、睇視している、または容易に追跡されない眼の状態を有し得ること等が、挙げられる。そのようなとき、ウェアラブルシステムは、眼追跡データの不在下、レンダリングカメラを位置付け、深度面を選択するための種々の方略に依拠するように構成されてもよい。
【0325】
例えば、レンダリングカメラに関して、ウェアラブルシステムは、ユーザの瞳孔が、数秒または典型的瞬眼より長い時間等、所定の閾値より長い時間にわたって検出されない場合、レンダリングカメラをデフォルト位置に位置付けてもよい。ウェアラブルシステムは、可能性として、例えば、過減衰発振器モデルに追従し得る平滑な移動において、レンダリングカメラをデフォルト位置に移動させてもよい。いくつかの実装では、デフォルト位置は、特定のユーザに対するウェアラブルシステムの較正プロセスの一部として決定されてもよい。しかしながら、デフォルト位置は、ユーザの左および右眼の回転中心であってもよい。これらは、単なる例証的実施例である。
U.周囲環境内のオブジェクトを検出するためのコンピュータビジョン
【0326】
上記に議論されるように、ディスプレイシステムは、ユーザを囲繞する環境内のオブジェクトまたはその性質を検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ(例えば、カメラ、オーディオセンサ、温度センサ等)を含む、種々の技法を使用して遂行されてもよい。
【0327】
いくつかの実施形態では、環境内に存在するオブジェクトは、コンピュータビジョン技法を使用して、検出されてもよい。例えば、本明細書に開示されるように、ディスプレイシステムの前向きに面したカメラは、周囲環境を結像するように構成されてもよく、ディスプレイシステムは、画像分析を画像上で実施し、周囲環境内のオブジェクトの存在を決定するように構成されてもよい。ディスプレイシステムは、外向きに面した結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施してもよい。他の実施例として、ディスプレイシステムは、顔および/または眼認識を実施し、ユーザの視野内の顔および/またはヒトの眼の存在および場所を決定するように構成されてもよい。1つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、配向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキーポイント(BRISK)、高速網膜キーポイント(FREAK)、Viola-Jonesアルゴリズム、Eigenfacesアプローチ、Lucas-Kanadeアルゴリズム、Horn-Schunkアルゴリズム、Mean-shiftアルゴリズム、視覚的同時位置推定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節、適応閾値化(および他の閾値化技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトルマシン、k最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等を含む。
【0328】
これらのコンピュータビジョン技法のうちの1つ以上のものはまた、他の環境センサ(例えば、マイクロホン等)から入手されたデータと併用され、センサによって検出されたオブジェクトの種々の性質を検出および決定してもよい。
【0329】
本明細書に議論されるように、周囲環境内のオブジェクトは、1つ以上の基準に基づいて、検出されてもよい。ディスプレイシステムが、コンピュータビジョンアルゴリズムを使用して、または1つ以上のセンサアセンブリ(ディスプレイシステムの一部である場合とそうではない場合がある)から受信されたデータを使用して、周囲環境内の基準の存在または不在を検出するとき、ディスプレイシステムは、次いで、オブジェクトの存在を信号伝達してもよい。
V.機械学習
【0330】
種々の機械学習アルゴリズムは、周囲環境内のオブジェクトの存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含み得、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、ベイズアルゴリズム(例えば、単純ベイズ等)、クラスタリングアルゴリズム(例えば、k-平均クラスタリング等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、深層学習アルゴリズム(例えば、Deep Boltzmann Machine、すなわち、深層ニューラルネットワーク等)、次元削減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、Stacked Gneralization等)、および/または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶してもよい。ベースモデルは、開始点として使用され、データタイプ(例えば、特定のユーザ)、データセット(例えば、取得される付加的画像のセット)、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
【0331】
オブジェクトを検出するための基準は、1つ以上の閾値条件を含んでもよい。環境センサによって入手されたデータの分析が、閾値条件に達したことを示す場合、ディスプレイシステムは、周囲環境内のオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および/または定質的測定値を伴ってもよい。例えば、閾値条件は、反射および/またはオブジェクトが環境内に存在する尤度と関連付けられるスコアまたはパーセンテージを含んでもよい。ディスプレイシステムは、環境センサのデータから計算されるスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、ディスプレイシステムは、反射および/またはオブジェクトの存在を検出し得る。いくつかの他の実施形態では、ディスプレイシステムは、スコアが閾値より低い場合、環境内のオブジェクトの存在を信号伝達してもよい。いくつかの実施形態では、閾値条件は、ユーザの感情状態および/またはユーザの周囲環境との相互作用に基づいて決定されてもよい。
【0332】
いくつかの実施形態では、閾値条件、機械学習アルゴリズム、またはコンピュータビジョンアルゴリズムは、具体的コンテキストのために特殊化されてもよい。例えば、診断コンテキストでは、コンピュータビジョンアルゴリズムは、刺激に対するある応答を検出するために特殊化されてもよい。別の実施例として、ディスプレイシステムは、本明細書に議論されるように、顔認識アルゴリズムおよび/またはイベントトレーシングアルゴリズムを実行し、刺激に対するユーザの反応を感知してもよい。
【0333】
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0334】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0335】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(140)、遠隔処理モジュール(150)、遠隔データリポジトリ(160)のうちの1つ以上のものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0336】
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
W.他の考慮点
【0337】
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0338】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0339】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0340】
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【0341】
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
【0342】
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能性として考えられる組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【0343】
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴の群も、あらゆる実施形態に必要または必須ではない。
【0344】
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等の本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つ以上の実施形態に対していかようにも要求されること、または1つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを含意することを意図されない。用語「~を備える(comprising)」、「~を含む(including)」、「~を有する(having)」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、例えば、要素のリストを接続するために使用されると、用語「または」が、リスト内の要素のうちの1つ、いくつか、または全てを意味するように、その包括的意味で使用される(かつその排他的意味で使用されない)。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」または「少なくとも1つ」を意味するように解釈されるべきである。
【0345】
本明細書で使用されるように、項目のリスト「~のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、およびA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図するものではない。
【0346】
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序で、または連続的順序で実施される必要がない、または全ての図示される動作が実施される必要はないことを認識されたい。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成し得る。
X. 実施例
【0347】
下記に列挙される実施例等の仮想画像コンテンツを該ユーザの視野内に表示するためのユーザのために構成される、ディスプレイシステムの実施例が、本明細書に説明される。
パート-A
【0348】
実施例1:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、複数の光エミッタと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射は、第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第1および第2の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0349】
実施例2:該処理電子機器は、該第1の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第1の方向を決定し、該第2の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第2の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第2の方向を決定するように構成される、実施例1に記載のディスプレイシステム。
【0350】
実施例3:該処理電子機器は、第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって、第1の方向を決定するように構成される、実施例2に記載のディスプレイシステム。
【0351】
実施例4:該処理電子機器は、第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する、光エミッタの場所を含む、第3の平面を定義し、第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する、光エミッタの場所を含む、第4の平面を定義し、第2の方向に沿って延在する、収束の領域である、第3の平面および第4の平面の収束の領域を決定することによって、第2の方向を決定するように構成される、実施例3に記載のディスプレイシステム。
【0352】
実施例5:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0353】
実施例6:該処理電子機器は、第1の眼追跡カメラから受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、第2の眼追跡カメラから受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0354】
実施例7:該処理電子機器は、第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0355】
実施例8:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0356】
実施例9:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0357】
実施例10:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0358】
実施例11:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、該点の軌跡に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10に記載のディスプレイシステム。
【0359】
実施例12:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
【0360】
実施例13:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
【0361】
実施例14:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例10または11に記載のディスプレイシステム。
【0362】
実施例15:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例12、13、または14のいずれかに記載のディスプレイシステム。
【0363】
実施例16:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
【0364】
実施例17:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
【0365】
実施例18:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、複数の光エミッタと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射は、第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ該第1および第2の眼追跡カメラの両方の場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の該回転中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0366】
実施例19:該眼の回転中心の推定値を取得するために、処理電子機器は、複数の眼姿勢に関する複数の閃光反射に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定し、該複数の眼姿勢に関するユーザの眼の角膜曲率の中心の複数の推定値に基づいて、ユーザの眼の回転中心の推定値を決定するように構成される、実施例18に記載のシステム。
【0367】
実施例20:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、該複数のエミッタの少なくとも一部および眼追跡カメラの第1のカメラの個別の場所に基づいて、角膜曲率の中心に向かう第1の方向を決定し、該複数のエミッタの少なくとも一部および眼追跡カメラの第2のカメラの個別の場所に基づいて、角膜曲率の中心に向かう第2の方向を決定し、該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の中心の推定値を決定するように構成される、実施例19に記載のシステム。
【0368】
実施例21:該処理電子機器は、第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって、第1の方向を決定するように構成される、実施例20に記載のディスプレイシステム。
【0369】
実施例22:該処理電子機器は、第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって、第2の方向を決定するように構成される、実施例21に記載のディスプレイシステム。
【0370】
実施例23:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、第1の方向と第2の方向との間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するように構成される、実施例20-22のいずれかに記載のシステム。
【0371】
実施例24:該眼の回転中心の推定値を取得するために、処理電子機器は、角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成し、3次元表面に基づいて、ユーザの眼の回転中心の推定値を決定するように構成される、実施例19-23のいずれかに記載のシステム。
【0372】
実施例25:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、表面を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例24に記載のシステム。
【0373】
実施例26:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、球面を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例24に記載のシステム。
【0374】
実施例27:ユーザの眼の回転中心の推定値を決定するために、処理電子機器は、3次元表面に対する2つ以上の法線を決定し、2つ以上の法線の収束の領域を決定するように構成され、収束の領域は、ユーザの眼の回転中心の推定値を備える、実施例24-26のいずれかに記載のシステム。
【0375】
実施例28:ユーザの眼の1つ以上の画像は、ユーザの眼の異なる視線ベクトルと関連付けられる、1つ以上の画像を備える、実施例21-27のいずれかに記載のシステム。
【0376】
実施例29:処理電子機器は、視線標的を使用して、ユーザの眼の角膜をマッピングするように構成される、実施例21-28のいずれかに記載のシステム。
【0377】
実施例30:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例18-29のいずれかに記載のディスプレイシステム。
【0378】
実施例31:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、実施例18-30のいずれかに記載のディスプレイシステム。
【0379】
実施例32:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、ユーザの眼を結像するように構成される、複数の眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、複数の閃光に基づいて、該眼の回転中心の推定値を取得するステップとを含み、該眼の回転中心の推定値を取得するステップは、複数の閃光に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定するステップと、3次元表面を角膜曲率の中心の複数の推定値から生成するステップと、3次元表面を使用して、ユーザの眼の回転中心の推定値を決定するステップとを含む、方法。
【0380】
実施例33:ユーザの眼の角膜曲率の複数の推定値を決定するステップは、複数の光エミッタの少なくとも一部の場所および複数の眼追跡カメラの第1のカメラの場所に基づいて、角膜曲率の中心に向かって指向される第1のベクトルを決定するステップと、複数の光エミッタの少なくとも一部の場所および複数の眼追跡カメラの第2のカメラの場所に基づいて、角膜曲率の中心に向かって指向される第2のベクトルを決定するステップと、第1のベクトルと第2のベクトルとの間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するステップとを含む、実施例32に記載の方法。
【0381】
実施例34:第1の方向は、第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって決定される、実施例33に記載の方法。
【0382】
実施例35:第2の方向は、第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって決定される、実施例33に記載の方法。
【0383】
実施例36:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、表面を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例32-35のいずれかに記載の方法。
【0384】
実施例37:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、球体を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例32-35のいずれかに記載の方法。
【0385】
実施例38:ユーザの眼の回転中心の推定値を決定するステップは、3次元表面に対して法線方向の2つ以上のベクトルを決定するステップと、3次元表面に対して法線方向の2つ以上のベクトルの収束の領域を決定するステップであって、収束の領域は、ユーザの眼の回転中心の推定値を備える、ステップとを含む、実施例32-37のいずれかに記載の方法。
【0386】
実施例39:ユーザの眼の複数の画像は、ユーザの眼の異なる視線方向と関連付けられる、画像を備える、実施例32-38のいずれかに記載の方法。
【0387】
実施例40:視線標的を使用して、ユーザの眼の角膜をマッピングするステップをさらに含む、実施例32-39のいずれかに記載の方法。
【0388】
実施例41:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、第1および第2の眼追跡カメラと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、ユーザの眼の複数の対の捕捉された画像を第1および第2の眼追跡カメラから受信し、それぞれ、第1および第2の眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得し、個別の第1および第2の眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に基づいて、3次元表面を決定し、3D表面の曲率の中心を識別し、ユーザの眼の回転中心の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0389】
実施例42:該処理電子機器は、3次元表面を、個別の第1および第2の眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に適合させるように構成される、実施例41に記載のディスプレイシステム。
【0390】
実施例43:少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するために、処理電子機器は、第1の眼追跡カメラから受信された第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第1のベクトルを決定し、第2の眼追跡カメラから受信された第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第2のベクトルを決定し、第1および第2の画像は、該対の画像のうちの1つに対応し、第1のベクトルおよび第2のベクトルの方向に延在する経路間の収束の領域を識別し、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、実施例41または42に記載のディスプレイシステム。
【0391】
実施例44:ユーザの眼を照明し、閃光反射をその上に形成するように構成される、複数の光エミッタをさらに備え、対の捕捉された画像の第1の画像に基づいて、第1のベクトルを決定するために、処理電子機器は、第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域を識別し、収束の領域は、第1のベクトルの方向に沿って延在するように構成される、実施例43に記載のディスプレイシステム。
【0392】
実施例45:各対の捕捉された画像内の第2の画像に基づいて、第2のベクトルを決定するために、処理電子機器は、第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域を識別し、収束の領域は、第2のベクトルの方向に沿って延在するように構成される、実施例44に記載のディスプレイシステム。
【0393】
実施例46:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例41-45のいずれかに記載のディスプレイシステム。
【0394】
実施例47:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、実施例41-46のいずれかに記載のディスプレイシステム。
【0395】
実施例48:該ディスプレイの少なくとも一部は、透明であって、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0396】
実施例49:光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、異なる光エミッタの閃光反射が眼追跡カメラによって捕捉された該眼の画像内で観察可能である、第1および第2の場所における眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0397】
実施例50:該処理電子機器は、該眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かった第1の方向を決定し、該眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第2の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かった第2の方向を決定するように構成される、実施例49に記載のディスプレイシステム。
【0398】
実施例51:該処理電子機器は、第1の眼追跡カメラの場所、第1の閃光反射の場所、および該第1の閃光反射に対応する、光エミッタの場所を含む、第1の平面を定義し、第1の眼追跡カメラの場所、第2の閃光反射の場所、および該第2の閃光反射に対応する、光エミッタの場所を含む、第2の平面を定義し、収束の領域が第1の方向に沿って延在する、第1の平面および第2の平面の収束の領域を決定することによって、第1の方向を決定するように構成される、実施例50に記載のディスプレイシステム。
【0399】
実施例52:該処理電子機器は、第2の眼追跡カメラの場所、第3の閃光反射の場所、および該第3の閃光反射に対応する、光エミッタの場所を含む、第3の平面を定義し、第2の眼追跡カメラの場所、第4の閃光反射の場所、および該第4の閃光反射に対応する、光エミッタの場所を含む、第4の平面を定義し、収束の領域が第2の方向に沿って延在する、第3の平面および第4の平面の収束の領域を決定することによって、第2の方向を決定するように構成される、実施例51に記載のディスプレイシステム。
【0400】
実施例53:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かった該第1および第2の方向に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0401】
実施例54:該処理電子機器は、第1の眼追跡カメラの場所から受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、第2の眼追跡カメラの場所から受信された少なくとも第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向を決定するように構成され、該第1および第2の方向は、ある領域に向かって収束する、上記実施例のいずれかに記載のディスプレイシステム。
【0402】
実施例55:該処理電子機器は、
【0403】
第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0404】
実施例56:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かった該第1および第2の方向の収束の領域を識別することによって、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0405】
実施例57:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0406】
実施例58:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0407】
実施例59:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、該点の軌跡に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58に記載のディスプレイシステム。
【0408】
実施例60:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
【0409】
実施例61:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
【0410】
実施例62:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する領域を決定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例58または59に記載のディスプレイシステム。
【0411】
実施例63:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例60、61、または62のいずれかに記載のディスプレイシステム。
【0412】
実施例64:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
【0413】
実施例65:該ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
【0414】
実施例66:光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、異なる光エミッタの閃光反射が眼追跡カメラによって捕捉された該眼の画像内で観察可能である、第1の場所および第2の場所における眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、該眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ該第1および第2の眼追跡カメラの場所および複数の眼姿勢に関する該閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の回転中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0415】
実施例67:該眼の回転中心の推定値を取得するために、処理電子機器は、複数の眼姿勢に関する複数の閃光反射に基づいてユーザの眼の角膜曲率の中心の複数の推定値を決定し、該複数の眼姿勢に関するユーザの眼の角膜曲率の中心の複数の推定値に基づいて、ユーザの眼の回転中心の推定値を決定するように構成される、実施例66に記載のシステム。
【0416】
実施例68:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、該複数のエミッタの少なくとも一部の個別の場所および眼追跡カメラの第1の場所に基づいて、角膜曲率の中心に向かう第1の方向を決定し、該複数のエミッタの少なくとも一部の少なくとも個別の場所および眼追跡カメラの第2の場所に基づいて、角膜曲率の中心に向かう第2の方向を決定し、該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の中心の推定値を決定するように構成される、実施例67に記載のシステム。
【0417】
実施例69:該処理電子機器は、眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、眼追跡カメラの第1の場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって、第1の方向を決定するように構成される、実施例68に記載のディスプレイシステム。
【0418】
実施例70:該処理電子機器は、眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって、第2の方向を決定するように構成される、実施例69に記載のディスプレイシステム。
【0419】
実施例71:ユーザの眼の角膜曲率の該複数の推定値を決定するために、処理電子機器は、第1の方向と第2の方向との間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するように構成される、実施例68-70のいずれかに記載のシステム。
【0420】
実施例72:該眼の回転中心の推定値を取得するために、処理電子機器は、角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成し、3次元表面に基づいて、ユーザの眼の回転中心の推定値を決定するように構成される、実施例19-71のいずれかに記載のシステム。
【0421】
実施例73:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、表面を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例72に記載のシステム。
【0422】
実施例74:角膜曲率の中心の複数の推定値と関連付けられる、3次元表面を生成するために、処理電子機器は、球体を角膜曲率の中心の複数の推定値に適合させるように構成される、実施例73に記載のシステム。
【0423】
実施例75:ユーザの眼の回転中心の推定値を決定するために、処理電子機器は、3次元表面に対する2つ以上の法線を決定し、2つ以上の法線の収束の領域を決定するように構成され、収束の領域は、ユーザの眼の回転中心の推定値を備える、実施例72-74のいずれかに記載のシステム。
【0424】
実施例76:ユーザの眼の1つ以上の画像は、ユーザの眼の異なる視線ベクトルと関連付けられる、1つ以上の画像を備える、実施例69-75のいずれかに記載のシステム。
【0425】
実施例77:処理電子機器は、視線標的を使用して、ユーザの眼の角膜をマッピングするように構成される、実施例69-76のいずれかに記載のシステム。
【0426】
実施例78:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例66-77のいずれかに記載のディスプレイシステム。
【0427】
実施例79:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、実施例66-78のいずれかに記載のディスプレイシステム。
【0428】
実施例80:仮想画像コンテンツを該ユーザの視野内に表示するための光をユーザの眼に投影するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、ユーザの眼を結像するように構成される、眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉するステップであって、該画像は、複数の閃光を備える、ステップと、複数の閃光に基づいて、該眼の回転中心の推定値を取得するステップとを含み、該眼の回転中心の推定値を取得するステップは、複数の閃光に基づいて、ユーザの眼の角膜曲率の中心の複数の推定値を決定するステップと、3次元表面を角膜曲率の中心の複数の推定値から生成するステップと、3次元表面を使用して、ユーザの眼の回転中心の推定値を決定するステップとを含む、方法。
【0429】
実施例81:ユーザの眼の角膜曲率の複数の推定値を決定するステップは、複数の光エミッタの少なくとも一部の場所および眼追跡カメラの第1の場所に基づいて、角膜曲率の中心に向かって指向される第1のベクトルを決定するステップと、複数の光エミッタの少なくとも一部の場所および眼追跡カメラの第2の場所に基づいて、角膜曲率の中心に向かって指向される第2のベクトルを決定するステップと、第1のベクトルと第2のベクトルとの間の収束の領域を決定し、ユーザの眼の角膜曲率の中心の推定値を決定するステップとを含む、実施例80に記載の方法。
【0430】
実施例82:第1の方向は、眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、眼追跡カメラの第1の場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって決定される、実施例81に記載の方法。
【0431】
実施例83:第2の方向は、眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって決定される、実施例82に記載の方法。
【0432】
実施例84:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、表面を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例81-83のいずれかに記載の方法。
【0433】
実施例85:3次元表面を角膜曲率の中心の複数の推定値から生成するステップは、球体を角膜曲率の中心の複数の推定値に適合させるステップを含む、実施例81-83のいずれかに記載の方法。
【0434】
実施例86:ユーザの眼の回転中心の推定値を決定するステップは、3次元表面に対して法線方向の2つ以上のベクトルを決定するステップと、3次元表面に対して法線方向の2つ以上のベクトルの収束の領域を決定するステップであって、収束の領域は、ユーザの眼の回転中心の推定値を備える、ステップとを含む、実施例81-85のいずれかに記載の方法。
【0435】
実施例87:ユーザの眼の複数の画像は、ユーザの眼の異なる視線方向と関連付けられる、画像を備える、実施例81-86のいずれかに記載の方法。
【0436】
実施例88:視線標的を使用して、ユーザの眼の角膜をマッピングするステップをさらに含む、実施例81-87のいずれかに記載の方法。
【0437】
実施例89:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、眼追跡カメラと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、ユーザの眼の複数の対の捕捉された画像を眼追跡カメラから受信し、それぞれ、眼追跡カメラから受信された、対の画像に関して、少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得し、眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に基づいて、3次元表面を決定し、3D表面の曲率の中心を識別し、ユーザの眼の回転中心の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0438】
実施例90:該処理電子機器は、3次元表面を、眼追跡カメラから受信されたユーザの眼の複数の対の捕捉された画像に基づいて取得される、ユーザの眼の角膜曲率の推定される中心に適合させるように構成される、実施例89に記載のディスプレイシステム。
【0439】
実施例91:少なくとも部分的に、個別の対の捕捉された画像に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するために、処理電子機器は、眼追跡カメラの第1の場所から受信された第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第1のベクトルを決定し、眼追跡カメラの第2の場所から受信された第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、第2のベクトルを決定し、第1および第2の画像は、該対の画像のうちの1つに対応し、第1のベクトルおよび第2のベクトルの方向に延在する経路間の収束の領域を識別し、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、実施例89または90に記載のディスプレイシステム。
【0440】
実施例92:ユーザの眼を照明し、閃光反射をその上に形成するように構成される、複数の光エミッタをさらに備え、対の捕捉された画像の第1の画像に基づいて、第1のベクトルを決定するために、処理電子機器は、眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、眼追跡カメラの第1の場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域を識別し、収束の領域は、第1のベクトルの方向に沿って延在するように構成される、実施例91に記載のディスプレイシステム。
【0441】
実施例93:各対の捕捉された画像内の第2の画像に基づいて、第2のベクトルを決定するために、処理電子機器は、眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域を識別し、収束の領域は、第2のベクトルの方向に沿って延在するように構成される、実施例92に記載のディスプレイシステム。
【0442】
実施例94:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、実施例89-93のいずれかに記載のディスプレイシステム。
【0443】
実施例95:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、実施例89-94のいずれかに記載のディスプレイシステム。
【0444】
実施例96:該ディスプレイの少なくとも一部は、透明であって、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0445】
実施例97:仮想画像コンテンツをユーザの視野内に表示するための光を該ユーザの眼に投影するように構成される、ディスプレイシステムであって、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、少なくとも1つの眼追跡カメラと、複数の光エミッタと、ディスプレイおよび眼追跡カメラと通信する、処理電子機器であって、第1および第2の場所において少なくとも1つの眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、異なる光エミッタの閃光反射が、眼追跡カメラによって捕捉された該眼の画像内で観察可能であって、該少なくとも1つの眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0446】
実施例98:該処理電子機器は、該少なくとも1つの眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの第1の場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第1の方向を決定し、該少なくとも1つの眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ少なくとも1つの眼追跡カメラの第2の場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かう第2の方向を決定するように構成される、実施例97に記載のディスプレイシステム。
【0447】
実施例99:該処理電子機器は、少なくとも1つの眼追跡カメラの第1の場所、第1の閃光反射の場所、および該第1の閃光反射に対応する光エミッタの場所を含む、第1の平面を画定し、少なくとも1つの眼追跡カメラの第1の場所、第2の閃光反射の場所、および該第2の閃光反射に対応する光エミッタの場所を含む、第2の平面を画定し、第1の平面および第2の平面の収束の領域であって、第1の方向に沿って延在する、収束の領域を決定することによって、第1の方向を決定するように構成される、実施例98に記載のディスプレイシステム。
【0448】
実施例100:該処理電子機器は、少なくとも1つの眼追跡カメラの第2の場所、第3の閃光反射の場所、および該第3の閃光反射に対応する光エミッタの場所を含む、第3の平面を画定し、少なくとも1つの眼追跡カメラの第2の場所、第4の閃光反射の場所、および該第4の閃光反射に対応する光エミッタの場所を含む、第4の平面を画定し、第3の平面および第4の平面の収束の領域であって、第2の方向に沿って延在する、収束の領域を決定することによって、第2の方向を決定するように構成される、実施例99に記載のディスプレイシステム。
【0449】
実施例101:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向に基づいて、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0450】
実施例102:該処理電子機器は、少なくとも1つの眼追跡カメラの第1の場所から受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、少なくとも1つの眼追跡カメラの第2の場所から受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向を決定し、該第1および第2の方向は、ある領域に向かって収束するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0451】
実施例103:
【0452】
該処理電子機器は、第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0453】
実施例104:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かう該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の角膜曲率の該中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0454】
実施例105:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0455】
実施例106:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、点の軌跡を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0456】
実施例107:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の推定値に対応する、該点の軌跡に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106に記載のディスプレイシステム。
【0457】
実施例108:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
【0458】
実施例109:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
【0459】
実施例110:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する、領域を決定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例106または107に記載のディスプレイシステム。
【0460】
実施例111:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例108、109、または110のいずれかに記載のディスプレイシステム。
【0461】
実施例112:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、該回転中心によって決定された位置を有する、上記実施例のいずれかに記載のディスプレイシステム。
【0462】
実施例113:該ディスプレイは、少なくとも1つの異なる発散およびコリメーション量において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
【0463】
実施例114:ユーザの眼を結像するように構成される、第3のカメラをさらに備え、該処理電子機器は、該第3の眼追跡カメラと通信し、光エミッタの閃光反射は、第3の眼追跡カメラによって捕捉された眼の画像内で観察可能である、上記実施例のいずれかに記載のディスプレイシステム。
【0464】
実施例115:該処理電子機器は、該第1、第2、および第3の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、ユーザの眼の角膜中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0465】
実施例116:該処理電子機器は、該第1および第3の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第1および第3の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0466】
実施例117:該処理電子機器は、該第2および第3の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第2および第3の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0467】
実施例118:該処理電子機器は、該第1および第3の眼追跡カメラによって決定されたユーザの眼の角膜中心の場所と、該第1および第2の眼追跡カメラによって決定されたユーザの眼の角膜中心の場所とに基づいて、ユーザの眼の角膜中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0468】
実施例119:該処理電子機器は、該第2および第3の眼追跡カメラによって決定されたユーザの眼の角膜中心の場所と、該第1および第2の眼追跡カメラによって決定されたユーザの眼の角膜中心の場所とに基づいて、ユーザの眼の角膜中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0469】
実施例118:該処理電子機器は、該第1および第3の眼追跡カメラによって決定されたユーザの眼の角膜中心の場所と、該第1および第2の眼追跡カメラによって決定されたユーザの眼の角膜中心の場所との平均に基づいて、ユーザの眼の角膜中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0470】
実施例119:該処理電子機器は、該第2および第3の眼追跡カメラによって決定されたユーザの眼の角膜中心の場所と、該第1および第2の眼追跡カメラによって決定されたユーザの眼の角膜中心の場所との平均に基づいて、ユーザの眼の角膜中心の場所を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0471】
実施例120:該ユーザの眼の角膜中心は、ユーザの眼の角膜曲率の中心を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0472】
実施例121:該ユーザの眼の角膜中心は、ユーザの眼の角膜の角膜頂点曲率の中心を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0473】
実施例122:光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、第1および第2のユーザの眼を結像するように構成される、眼追跡カメラと、複数の光エミッタと、処理電子機器と通信するディスプレイおよび第1および第2の眼追跡カメラ、異なる光エミッタの閃光反射が第1および第2の眼追跡カメラによって捕捉された該眼の画像内で観察可能である、第1および第2の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、ユーザの眼のパラメータを推定するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0474】
実施例123:該処理電子機器は、該第1および第2の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第1および第2の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼のパラメータを推定するように構成される、実施例122に記載のディスプレイシステム。
【0475】
実施例124:該処理電子機器は、該第1の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜中心に向かった第1の方向を決定し、該第2の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第2の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜中心に向かった第2の方向を決定するように構成される、実施例122または123に記載のディスプレイシステム。
【0476】
実施例125:該処理電子機器は、第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する、光エミッタの場所を含む、第1の平面を定義し、第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する、光エミッタの場所を含む、第2の平面を定義し、収束の領域が第1の方向に沿って延在する、第1の平面および第2の平面の収束の領域を決定することによって、第1の方向を決定するように構成される、実施例124に記載のディスプレイシステム。
【0477】
実施例126:該処理電子機器は、第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する、光エミッタの場所を含む、第3の平面を定義し、第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する、光エミッタの場所を含む、第4の平面を定義し、第2の方向に沿って延在する、収束の領域である、第3の平面および第4の平面の収束の領域を決定することによって、第2の方向を決定するように構成される、実施例125に記載のディスプレイシステム。
【0478】
実施例127:該処理電子機器は、ユーザの眼の角膜中心に向かった該第1および第2の方向に基づいて、ユーザの眼の該角膜中心の場所を推定するように構成される、実施例122-126のいずれかに記載のディスプレイシステム。
【0479】
実施例128:該処理電子機器は、第1の眼追跡カメラから受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜中心が位置すると推定される、該第1の方向を決定し、第2の眼追跡カメラから受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜中心が位置すると推定される、該第2の方向を決定するように構成され、該第1および第2の方向は、ある領域に向かって収束する、実施例122-127のいずれかに記載のディスプレイシステム。
【0480】
実施例129:該処理電子機器は、第1および第2の方向の収束に基づいて、ユーザの眼の角膜中心の推定値を取得するように構成される、実施例122-128のいずれかに記載のディスプレイシステム。
【0481】
実施例130:該処理電子機器は、ユーザの眼の角膜中心に向かった該第1および第2の方向の収束の領域を識別することによって、ユーザの眼の角膜中心の場所を推定するように構成される、実施例122-129のいずれかに記載のディスプレイシステム。
【0482】
実施例131:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例122-130のいずれかに記載のディスプレイシステム。
【0483】
実施例132:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜中心の推定値に対応する、点の軌跡を決定するように構成される、実施例122-131のいずれかに記載のディスプレイシステム。
【0484】
実施例133:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜中心の推定値に対応する、該点の軌跡に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例132に記載のディスプレイシステム。
【0485】
実施例134:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、ユーザの眼の回転中心の推定値を取得するように構成される、実施例132または133に記載のディスプレイシステム。
【0486】
実施例135:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面の曲率の中心を推定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例132または133に記載のディスプレイシステム。
【0487】
実施例136:該処理電子機器は、該点の軌跡に基づいて、表面を決定し、該表面に対する複数の法線が収束する領域を決定することによって、ユーザの眼の回転中心の推定値を取得するように構成される、実施例132または133に記載のディスプレイシステム。
【0488】
実施例137:該処理電子機器は、該表面を該点の軌跡に適合させ、該表面を取得するように構成される、実施例134、135、または136のいずれかに記載のディスプレイシステム。
【0489】
実施例138:該パラメータは、眼の回転中心を備える、実施例122-137のいずれかに記載のディスプレイシステム。
【0490】
実施例139:該処理電子機器は、レンダリングカメラを使用して、ユーザの眼に提示されるべき仮想画像をレンダリングするように構成され、該レンダリングカメラは、回転中心によって決定された位置を有する、実施例131-138のいずれかに記載のディスプレイシステム。
【0491】
実施例140:該ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる時間周期において、異なる深度から生じるように現れる、実施例122-139のいずれかに記載のディスプレイシステム。
【0492】
実施例141:ユーザの眼を結像するように構成される、第3のカメラをさらに備え、該処理電子機器は、該第3の眼追跡カメラと通信し、光エミッタの閃光反射は、第3の眼追跡カメラによって捕捉された眼の画像内で観察可能である、上記実施例のいずれかに記載のディスプレイシステム。
【0493】
実施例142:該処理電子機器は、該第1、第2、および第3の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、該ユーザの眼のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0494】
実施例143:該処理電子機器は、該第1および第3の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第1および第3の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0495】
実施例144:該処理電子機器は、該第2および第3の眼追跡カメラの両方によって生産された該画像内の閃光反射の場所に基づいて、かつ第2および第3の眼追跡カメラの両方の場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0496】
実施例145:該処理電子機器は、該第1および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとに基づいて、該パラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0497】
実施例146:該処理電子機器は、該第2および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとに基づいて、該ユーザの眼のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0498】
実施例147:該処理電子機器は、該第1および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとの平均に基づいて、該ユーザの眼のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0499】
実施例148:該処理電子機器は、該第2および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼の角膜中心のパラメータとの平均に基づいて、該ユーザの眼のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0500】
実施例149:該パラメータ該処理電子機器は、角膜中心を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0501】
実施例150:該ユーザの眼の角膜中心は、ユーザの眼の角膜曲率の中心を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0502】
実施例151:該ユーザの眼の角膜中心は、ユーザの眼の角膜の角膜頂点曲率の中心を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0503】
実施例152:該パラメータ該処理電子機器は、眼の回転中心を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
パート-B
【0504】
実施例1:光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、瞳孔とを有し、該ディスプレイシステムは、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
異なる光エミッタの閃光反射が1つ以上の追跡カメラによって捕捉された眼の画像内で観察可能である、1つ以上の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、
少なくとも部分的に、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定する、
ように構成され、該処理電子機器は、該角膜の非球面モデルを数値計算において使用し、該ユーザの眼の角膜曲率の中心の該場所を推定する、処理電子機器と、
を備える、ディスプレイシステム。
【0505】
実施例2:該処理電子機器は、加えて、該角膜の球面モデルを数値計算において採用し、該角膜曲率の中心の値を推定する、実施例1に記載のディスプレイシステム。
【0506】
実施例3:該角膜の球面モデルは、数値計算において使用され、1つ以上の眼追跡カメラによって生産された、該画像内の閃光反射の場所と、1つ以上の追跡カメラの場所と、該個別の閃光反射を生産したエミッタの場所とに基づいて、該角膜曲率の中心の値を決定する、実施例2に記載のディスプレイシステム。
【0507】
実施例4:該角膜の球面モデルから決定される、該角膜曲率の中心の推定値は、数値計算において該非球面モデルに適用され、該角膜曲率の中心の値を決定する、実施例2または3に記載のディスプレイシステム。
【0508】
実施例5:該処理電子機器は、反復プロセスを使用して、該角膜曲率の中心の推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0509】
実施例6:該処理電子機器は、該推定値を使用して、該曲率の中心の推定値を繰り返し評価し、該非球面モデルを使用して、該曲率の中心の別の異なる推定値を再計算することを含む、反復プロセスを使用して、該角膜曲率の中心の推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0510】
実施例7:該処理電子機器は、該推定値を使用して、該曲率の中心の推定値を繰り返し評価し、該球面モデルおよび該非球面モデルを使用して、該曲率の中心の別の異なる推定値を再計算する、反復プロセスを使用して、該角膜曲率の中心の推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0511】
実施例8:該角膜の球面モデルから決定される、該角膜曲率の中心の推定値は、該非球面モデルのための曲率の中心を推定するために数値計算において使用され、該角膜曲率の中心の値を決定する、実施例2または3に記載のディスプレイシステム。
【0512】
実施例9:該角膜の球面モデルから決定される、該角膜曲率の中心の推定値は、該非球面モデルから決定される非球面回転楕円体の配向を推定するために数値計算において使用され、該角膜曲率の中心の値を決定する、実施例2、3、または8に記載のディスプレイシステム。
【0513】
実施例10:該眼の回転中心または該眼に関する瞳孔中心は、該非球面モデルから決定される非球面回転楕円体の配向を推定するために数値計算において推定および使用され、該角膜曲率の中心の値を決定する、実施例1-9に記載のディスプレイシステム。
【0514】
実施例11:該非球面モデルは、光源の場所に基づいて、複数の閃光の場所を予測するために使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0515】
実施例12:該非球面モデルは、光源の場所に基づいて、複数の閃光の場所を予測するために使用される、実施例2、3、または8-10に記載のディスプレイシステム。
【0516】
実施例13:該非球面モデルに基づいて予測される、該閃光の場所は、球面モデルを決定するために使用される、実施例12に記載のディスプレイシステム。
【0517】
実施例14:該処理電子機器は、該非球面モデルに基づいて予測される、該閃光の場所に基づいて決定される、該球面モデルの曲率の中心を決定するように構成される、実施例13に記載のディスプレイシステム。
【0518】
実施例15:該処理電子機器は、該非球面モデルに基づいて予測される、該閃光の場所に基づいて決定される、該球面モデルの曲率の中心と、該非球面モデルの中心を決定するために使用された該球面モデルを使用して決定された、該曲率の中心を比較するように構成される、実施例14に記載のディスプレイシステム。
【0519】
実施例16:該処理電子機器は、2つの球面モデルから取得される2つの曲率の中心間の比較を使用して、更新された非球面モデルを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0520】
実施例17:該処理電子機器は、該球面モデルのうちの1つが非球面モデルに基づいて決定される、2つの球面モデルから取得される2つの曲率の中心間の比較を使用して、更新された非球面モデルを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0521】
実施例18:該処理電子機器は、該比較を使用して、更新された該非球面モデルの曲率の中心を決定するように構成される、実施例15に記載のディスプレイシステム。
【0522】
実施例19:該処理電子機器は、球面モデルを使用して、非球面モデルの1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0523】
実施例20:該処理電子機器は、非球面モデルを使用して、球面モデルの1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0524】
実施例21:該処理電子機器は、非球面モデルを使用して、球面モデルの1つ以上のパラメータを決定し、更新された非球面モデルの1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0525】
実施例22:該処理電子機器は、該更新された非球面モデルを使用して、さらなる更新された非球面モデルの1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0526】
実施例23:該処理電子機器は、該更新された非球面モデルを使用して、球面モデルの1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0527】
実施例24:該処理電子機器は、該更新された非球面モデルを使用して、球面モデルの1つ以上のパラメータを決定して、更新された非球面モデルの1つ以上のパラメータさらなるを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0528】
実施例25:該処理電子機器は、該更新された非球面モデルに基づいて決定される、球面モデルの1つ以上のパラメータと、別の球面モデルの1つ以上のパラメータの比較を使用して、さらなる更新された非球面モデルの1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0529】
実施例26:該非球面モデルは、回転対称である、非球面表面を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0530】
実施例27:該非球面モデルは、回転楕円体を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0531】
実施例28:回転楕円体を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0532】
実施例29:該非球面モデルは、非回転対称である表面を備える、実施例1-25のいずれかに記載のディスプレイシステム。
【0533】
実施例30:該非球面モデルは、2つの直交断面に沿って異なる曲率を有する、表面を備える、実施例1-25のいずれかに記載のディスプレイシステム。
【0534】
実施例31:該非球面モデルは、水平方向に沿って、第1の曲率、垂直方向に沿って、第2の曲率を有し、該第2の曲率は、該第1の曲率と異なり、非球面モデルは、回転対称ではない、実施例1-25のいずれかに記載のディスプレイシステム。
【0535】
実施例32:該非球面モデルは、楕円体を備える、実施例1-25のいずれかに記載のディスプレイシステム。
【0536】
実施例33:該非球面モデルは、偏長楕円体を備える、実施例1-25のいずれかに記載のディスプレイシステム。
【0537】
実施例34:非球面表面を表す方程式が、該角膜曲率の中心の値を決定するための該数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0538】
実施例35:該方程式は、該非球面表面上の位置を定義する、3つの変数と、非球面表面の形状を決定する、2つの定数とを含む、実施例34に記載のディスプレイシステム。
【0539】
実施例36:該方程式は、X+Y+(1+Q)Z=2ZRと同一またはそれに匹敵し、式中、X、Y、およびZは、該非球面表面上の位置を定義し、QおよびRは、非球面表面の形状を決定する、実施例34または35に記載のディスプレイシステム。
【0540】
実施例37:該方程式は、該非球面表面上の位置を定義する、3つの変数と、非球面表面の形状を決定する、3つの定数とを含む、実施例34のいずれかに記載のディスプレイシステム。
【0541】
実施例38:楕円面を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、実施例1-34および37のいずれかに記載のディスプレイシステム。
【0542】
実施例39:偏長楕円面を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、実施例1-33および37のいずれかに記載のディスプレイシステム。
【0543】
実施例40:球面表面を表す方程式および非球面表面を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0544】
実施例41:該ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラは、第1および第2の眼追跡カメラを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0545】
実施例42:該処理電子機器は、
該第1の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かった第1の方向を決定し、
該第2の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第2の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かった第2の方向を決定する、
ように構成される、実施例41に記載のディスプレイシステム。
【0546】
実施例43:該処理電子機器は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する、光エミッタの場所を含む、第1の平面を定義し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する、光エミッタの場所を含む、第2の平面を定義し、
収束の領域が第1の方向に沿って延在する、第1の平面および第2の平面の収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例42に記載のディスプレイシステム。
【0547】
実施例44:該処理電子機器は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する、光エミッタの場所を含む、第3の平面を定義し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する、光エミッタの場所を含む、第4の平面を定義し、
収束の領域が第2の方向に沿って延在する、第3の平面および第4の平面の収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例43に記載のディスプレイシステム。
【0548】
実施例45:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かった該第1および第2の方向に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、実施例42-44のいずれかに記載のディスプレイシステム。
【0549】
実施例46:該処理電子機器は、
第1の眼追跡カメラから受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、
第2の眼追跡カメラから受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向を決定する、
ように構成され、該第1および第2の方向は、ある領域に向かって収束する、実施例42-45のいずれかに記載のディスプレイシステム。
【0550】
実施例47:該処理電子機器は、
第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、
実施例42-46のいずれかに記載のディスプレイシステム。
【0551】
実施例48:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かった第1および第2の方向の収束の領域を識別することによって、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、実施例41-47のいずれかに記載のディスプレイシステム。
【0552】
実施例49:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例41-48のいずれかに記載のディスプレイシステム。
【0553】
実施例50:該処理電子機器は、角膜曲率の中心を使用して、非球面モデルの配向の推定値を取得するように構成される、上記の実施例のいずれかに記載のディスプレイシステム。
【0554】
実施例51:該処理電子機器は、第1および第2の眼追跡カメラによって取得される画像から決定される、角膜曲率の中心の推定値と、瞳孔中心を通して通過する、複数のベクトルの収束の推定値とに基づいて、非球面モデルの配向の推定値を取得するように構成される、実施例41-50のいずれかに記載のディスプレイシステム。
【0555】
実施例52:該処理電子機器は、該角膜曲率の中心を含む線に沿って中心を有する、非球面モデルの位置の推定値と、瞳孔中心を通して通過する、複数のベクトルの収束の推定値とを取得するように構成される、実施例51に記載のディスプレイシステム。
【0556】
実施例53:該処理電子機器は、三角測量を使用して、該非球面モデルの位置を決定するように構成される、実施例51または52に記載のディスプレイシステム。
【0557】
実施例54:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0558】
実施例55:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、異なる量の発散のうちの少なくとも1つにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0559】
実施例56:該ディスプレイは、発散する、光を該ユーザの眼の中に投影し、異なる深度から生じるように現れる、仮想画像コンテンツをユーザの視野に表示するようにコリメートされる、光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0560】
実施例57:光をユーザの眼に投影し、仮想画像コンテンツ該ユーザの視野内に表示するように構成される、ディスプレイシステム内に、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉することであって、該画像は、複数の異なる光エミッタの閃光反射を備える、ことと、
1つ以上の眼追跡カメラによって生産された、該画像内の閃光反射の場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定することと、
を含み、該角膜の非球面モデルは、数値計算において使用され、該ユーザの眼の角膜曲率の中心の該場所を推定する、
方法。
【0561】
実施例58:球面モデルおよび非球面モデルの両方が、該角膜曲率の中心の値を決定する際に使用される、実施例57に記載の方法。
【0562】
実施例59球面モデルおよび非球面モデルの両方が、該角膜曲率の中心の値を決定するための数値計算において使用される、実施例57に記載の方法。
【0563】
実施例60:該非球面モデルは、回転対称である、実施例57-59のいずれかに記載の方法。
【0564】
実施例61:該非球面モデルは、回転楕円体を備える、実施例57-60のいずれかに記載の方法。
【0565】
実施例62:該非球面モデルは、非回転対称である、実施例57-59のいずれかに記載の方法。
【0566】
実施例63:該非球面モデルは、2つの直交断面に沿って、異なる曲率を有する、実施例57-59または62のいずれかに記載の方法。
【0567】
実施例64:該非球面モデルは、水平方向に沿って、第1の曲率、垂直方向に沿って、第2の曲率を有し、該第2の曲率は、該第1の曲率と異なり、非球面モデルは、回転対称ではない、実施例57-59または62のいずれかに記載の方法。
【0568】
実施例65:該非球面モデルは、楕円体を備える、実施例57-59または62-64のいずれかに記載の方法。
【0569】
実施例66該非球面モデルは、偏長楕円体を備える、実施例57-59または62-64のいずれかに記載の方法。
【0570】
実施例67:該角膜曲率の中心の場所を推定することは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定することを含む、実施例57-66のいずれかに記載の方法。
【0571】
実施例68:該処理電子機器は、2つの曲率の中心間の比較を使用して、更新された非球面モデルを決定するように構成される、実施例56-66に記載のディスプレイシステム。
【0572】
実施例69:該電子プロセッサは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、実施例1-56のいずれかに記載のディスプレイシステム。
【0573】
実施例70:該電子プロセッサは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、実施例41-64のいずれかに記載の方法。
【0574】
実施例71:ユーザの眼の角膜曲率の中心の場所を推定するコンピュータ実装方法であって、該眼は、角膜と、瞳孔とを有し、
光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムのコンピューティングシステムによって、
1つ以上の眼追跡カメラによって捕捉されたユーザの眼の画像を受信することであって、1つ以上の光エミッタの閃光反射は、1つ以上の追跡カメラによって捕捉された該眼の画像内で観察可能であって、1つ以上の眼追跡カメラは、ユーザの眼を結像するように構成される、ことと、
該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定することであって、該角膜の非球面モデルは、該ユーザの眼の角膜曲率の中心の該場所を数値的に推定するために使用される、ことと、
を含む、方法。
【0575】
実施例72:該角膜の球面モデルは、該角膜曲率の中心の値を推定するために使用される、実施例71に記載のコンピュータ実装方法。
【0576】
実施例73:該角膜の球面モデルは、数値計算において使用され、1つ以上の眼追跡カメラによって生産された、該画像内の閃光反射の場所と、1つ以上の追跡カメラの場所と、該個別の閃光反射を生産したエミッタの場所とに基づいて、該角膜曲率の中心の値を決定する、実施例72に記載のコンピュータ実装方法。
【0577】
実施例74:該角膜の球面モデルから決定される、該角膜曲率の中心の推定値は、数値計算において該非球面モデルに適用され、該角膜曲率の中心の値を決定する、実施例72または73に記載のコンピュータ実装方法。
【0578】
実施例75:反復プロセスが、該角膜曲率の中心の推定値を決定するために使用される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0579】
実施例76:該推定値を使用して、該曲率の中心の推定値を繰り返し評価し、該非球面モデルを使用して、該曲率の中心の別の異なる推定値を再計算することを含む、反復プロセスが、該角膜曲率の中心の推定値を決定するために使用される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0580】
実施例77:該推定値を使用して、該曲率の中心の推定値を繰り返し評価し、該球面モデルおよび該非球面モデルを使用して、該曲率の中心の別の異なる推定値を再計算する、反復プロセスが、該角膜曲率の中心の推定値を決定するために使用される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0581】
実施例78:該角膜の球面モデルから決定される、該角膜曲率の中心の推定値は、該非球面モデルのための曲率の中心を推定するために数値計算において使用され、該角膜曲率の中心の値を決定する、上記実施例のいずれかに記載のコンピュータ実装方法。
【0582】
実施例79:該角膜の球面モデルから決定される、該角膜曲率の中心の推定値は、該非球面モデルから決定される回転楕円体の配向を推定するために数値計算において使用され、該角膜曲率の中心の値を決定する、実施例72、73、または78のいずれかに記載のコンピュータ実装方法。
【0583】
実施例80:該眼の回転中心または該眼に関する瞳孔中心が、該非球面モデルから決定される回転楕円体の配向を推定するために数値計算において推定および使用され、該角膜曲率の中心の値を決定する、実施例71-79に記載のコンピュータ実装方法。
【0584】
実施例81:該非球面モデルは、光源の場所に基づいて、複数の閃光の場所を予測するために使用される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0585】
実施例82:該非球面モデルは、光源の場所に基づいて、複数の閃光の場所を予測するために使用される、実施例72、73、または78-80に記載のコンピュータ実装方法。
【0586】
実施例83:該非球面モデルに基づいて予測される、該閃光の場所は、球面モデルを決定するために使用される、実施例82に記載のコンピュータ実装方法。
【0587】
実施例84:該非球面モデルに基づいて予測される、該閃光の場所に基づいて決定される、該球面モデルの曲率の中心が、決定される、実施例83に記載のコンピュータ実装方法。
【0588】
実施例85:該非球面モデルに基づいて予測される、該閃光の場所に基づいて決定される、該球面モデルの曲率の中心は、該非球面モデルの中心を決定するために使用された、該球面モデルを使用して決定された該曲率の中心と比較される、実施例84に記載のコンピュータ実装方法。
【0589】
実施例86:2つの球面モデルから取得される2つの曲率の中心間の比較が、更新された非球面モデルを決定するために使用される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0590】
実施例87:該球面モデルのうちの1つが非球面モデルに基づいて決定される、2つの球面モデルから取得される2つの曲率の中心間の比較が、更新された非球面モデルを決定するために使用される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0591】
実施例88:該比較は、非球面モデルに関する更新された曲率の中心を決定するために使用される、実施例85に記載のコンピュータ実装方法。
【0592】
実施例89:球面モデルが、非球面モデルの1つ以上のパラメータを決定するために使用される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0593】
実施例90:非球面モデルが、球面モデルの1つ以上のパラメータを決定するために使用される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0594】
実施例91:非球面モデルが、球面モデルの1つ以上のパラメータを決定し、更新された非球面モデルの1つ以上のパラメータを決定するために使用される、上記実施例に記載のコンピュータ実装方法。
【0595】
実施例92:該更新された非球面モデルは、さらなる更新された非球面モデルの1つ以上のパラメータを決定するために使用される、上記実施例に記載のコンピュータ実装方法。
【0596】
実施例93:該更新された非球面モデルは、球面モデルの1つ以上のパラメータを決定するために使用される、上記実施例に記載のコンピュータ実装方法。
【0597】
実施例94:球面モデルの1つ以上のパラメータを決定するための該更新された非球面モデルは、さらなる更新された非球面モデルの1つ以上のパラメータを決定するために使用される、上記実施例に記載のコンピュータ実装方法。
【0598】
実施例95:該更新された非球面モデルに基づいて決定される、球面モデルの1つ以上のパラメータと、別の球面モデルの1つ以上のパラメータの比較が、さらなる更新された非球面モデルの1つ以上のパラメータを決定するために使用される、上記実施例に記載のコンピュータ実装方法。
【0599】
実施例96:該非球面モデルは、回転対称である、非球面表面を備える、上記実施例に記載のコンピュータ実装方法。
【0600】
実施例97:該非球面モデルは、回転楕円体を備える、上記実施例に記載のコンピュータ実装方法。
【0601】
実施例98:回転楕円体を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、上記実施例に記載のコンピュータ実装方法。
【0602】
実施例99:該非球面モデルは、非回転対称である表面を備える、実施例71-95のいずれかに記載のコンピュータ実装方法。
【0603】
実施例100:該非球面モデルは、2つの直交断面に沿って異なる曲率を有する、表面を備える、実施例71-95のいずれかに記載のコンピュータ実装方法。
【0604】
実施例101:該非球面モデルは、水平方向に沿って、第1の曲率、垂直方向に沿って、第2の曲率を有し、該第2の曲率は、該第1の曲率と異なり、非球面モデルは、回転対称ではない、実施例71-95のいずれかに記載のコンピュータ実装方法。
【0605】
実施例102:該非球面モデルは、楕円体を備える、実施例71-95に記載のコンピュータ実装方法。
【0606】
実施例103:該非球面モデルは、偏長楕円体を備える、実施例71-95に記載のコンピュータ実装方法。
【0607】
実施例104:非球面表面を表す方程式が、該角膜曲率の中心の値を決定するための該数値計算において使用される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0608】
実施例105:該方程式は、該非球面表面上の位置を定義する、3つの変数と、非球面表面の形状を決定する、2つの定数とを含む、実施例104に記載のコンピュータ実装方法。
【0609】
実施例106:該方程式は、X+Y+(1+Q)Z=2ZRと同一またはそれに匹敵し、式中、X、Y、およびZは、該非球面表面上の位置を定義し、QおよびRは、非球面表面の形状を決定する、実施例104または105に記載のコンピュータ実装方法。
【0610】
実施例107:該方程式は、該非球面表面上の位置を定義する、3つの変数と、非球面表面の形状を決定する、3つの定数とを含む、実施例104に記載のコンピュータ実装方法。
【0611】
実施例108:楕円面を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、実施例71-104および107に記載のコンピュータ実装方法。
【0612】
実施例109:偏長楕円面を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、実施例71-103および107に記載のコンピュータ実装方法。
【0613】
実施例110:球面表面を表す方程式および非球面表面を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0614】
実施例111:該ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラは、第1および第2の眼追跡カメラを備える、上記実施例のいずれかに記載のコンピュータ実装方法。
【0615】
実施例112:ユーザの眼の角膜曲率の中心に向かった第1の方向が、該第1の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、決定され、
ユーザの眼の角膜曲率の中心に向かった第2の方向が、該第2の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第2の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、決定される、
実施例111に記載のコンピュータ実装方法。
【0616】
実施例113:第1の方向は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する、光エミッタの場所を含む、第1の平面を定義し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する、光エミッタの場所を含む、第2の平面を定義し、
収束の領域が第1の方向に沿って延在する、第1の平面および第2の平面の収束の領域を決定する、
ことによって決定される、実施例112に記載のコンピュータ実装方法。
【0617】
実施例114:第2の方向は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する、光エミッタの場所を含む、第3の平面を定義し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する、光エミッタの場所を含む、第4の平面を定義し、
収束の領域が第2の方向に沿って延在する、第3の平面および第4の平面の収束の領域を決定する、
ことによって決定される、実施例113に記載のコンピュータ実装方法。
【0618】
実施例115:該ユーザの眼の角膜曲率の中心の場所は、ユーザの眼の角膜曲率の中心に向かった該第1および第2の方向に基づいて決定される、実施例112-114に記載のコンピュータ実装方法。
【0619】
実施例116:第1の眼追跡カメラから受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向と、第2の眼追跡カメラから受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第2の方向とが、決定され、該第1および第2の方向は、ある領域に向かって収束する、実施例112-115に記載のコンピュータ実装方法。
【0620】
実施例117:ユーザの眼の角膜曲率の中心の推定値は、第1および第2の方向の収束に基づいて取得される、実施例112-116のいずれかに記載のコンピュータ実装方法。
【0621】
実施例118:該ユーザの眼の角膜曲率の中心の場所は、ユーザの眼の角膜曲率の中心に向かった第1および第2の方向の収束の領域を識別することによって推定される、実施例111-117のいずれかに記載のコンピュータ実装方法。
【0622】
実施例119:ユーザの眼の回転中心の推定値が、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて取得される、実施例111-118のいずれかに記載のコンピュータ実装方法。
【0623】
実施例120:角膜曲率の中心を使用した非球面モデルの配向の推定値が、取得される、上記実施例のいずれかに記載のコンピュータ実装方法。
【0624】
実施例121:非球面モデルの配向の推定値が、第1および第2の眼追跡カメラによって取得される画像から決定される、角膜曲率の中心の推定値と、瞳孔中心を通して通過する、複数のベクトルの収束の推定値とに基づいて取得される、実施例111-120のいずれかに記載のコンピュータ実装方法。
【0625】
実施例122:該角膜曲率の中心を含む線に沿って中心を有する、非球面モデルの位置の推定値と、瞳孔中心を通して通過する、複数のベクトルの収束の推定値とが、取得される、実施例121に記載のコンピュータ実装方法。
【0626】
実施例123:三角測量方法が、該非球面モデルの位置を決定するために使用される、実施例121または122に記載のコンピュータ実装方法。
【0627】
実施例124:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のコンピュータ実装方法。
パート-C
【0628】
実施例1:光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、瞳孔とを有し、該ディスプレイシステムは、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
異なる光エミッタの閃光反射が1つ以上の追跡カメラによって捕捉された眼の画像内で観察可能である、1つ以上の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、
少なくとも部分的に、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、ユーザの眼の第1のパラメータを推定する、
ように構成され、該処理電子機器は、該角膜の非球面モデルを数値計算において使用し、該ユーザの眼の第1のパラメータを推定する、処理電子機器と、
を備える、ディスプレイシステム。
【0629】
実施例2:該処理電子機器は、加えて、該角膜の球面モデルを数値計算において採用し、該第1のパラメータの値を推定する、実施例1に記載のディスプレイシステム。
【0630】
実施例3:該角膜の球面モデルは、数値計算において使用され、1つ以上の眼追跡カメラによって生産された、該画像内の閃光反射の場所と、1つ以上の追跡カメラの場所と、該個別の閃光反射を生産したエミッタの場所とに基づいて、該第1のパラメータの値を決定する、実施例2に記載のディスプレイシステム。
【0631】
実施例4:該角膜の球面モデルから決定される、該第1のパラメータの推定値は、数値計算において該非球面モデルに適用され、該第1のパラメータの値を決定する、実施例2または3に記載のディスプレイシステム。
【0632】
実施例5:該処理電子機器は、反復プロセスを使用して、該第1のパラメータの推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0633】
実施例6:該処理電子機器は、該推定値を使用して、該第1のパラメータを繰り返し評価し、該非球面モデルを使用して、該第1のパラメータの別の異なる推定値を再計算することを含む、反復プロセスを使用して、該第1のパラメータの推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0634】
実施例7:該処理電子機器は、該推定値を使用して、該第1のパラメータの推定値を繰り返し評価し、該球面モデルおよび該非球面モデルを使用して、該第1のパラメータの別の異なる推定値を再計算する、反復プロセスを使用して、該第1のパラメータの推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0635】
実施例8:該角膜の球面モデルから決定される、該第1のパラメータの推定値は、該非球面モデルに関する該第1のパラメータの値を推定するために数値計算において使用され、該第1のパラメータの値を決定する、実施例2または3に記載のディスプレイシステム。
【0636】
実施例9:該非球面モデルは、回転対称である、非球面表面を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0637】
実施例10:該非球面モデルは、回転楕円体を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0638】
実施例11:回転楕円体を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0639】
実施例12:該非球面モデルは、非回転対称である表面を備える、実施例1-8のいずれかに記載のディスプレイシステム。
【0640】
実施例13:該非球面モデルは、2つの直交断面に沿って異なる曲率を有する、表面を備える、実施例1-8のいずれかに記載のディスプレイシステム。
【0641】
実施例14:該非球面モデルは、水平方向に沿って、第1の曲率、垂直方向に沿って、第2の曲率を有し、該第2の曲率は、該第1の曲率と異なり、非球面モデルは、回転対称ではない、実施例1-8のいずれかに記載のディスプレイシステム。
【0642】
実施例15:該非球面モデルは、楕円体を備える、実施例1-8のいずれかに記載のディスプレイシステム。
【0643】
実施例16:該非球面モデルは、偏長楕円体を備える、実施例1-8のいずれかに記載のディスプレイシステム。
【0644】
実施例17:非球面表面を表す方程式が、該第1のパラメータの値を決定するための該数値計算において使用される、実施例1-8のいずれかに記載のディスプレイシステム。
【0645】
実施例18:該方程式は、該非球面表面上の位置を定義する、3つの変数と、非球面表面の形状を決定する、2つの定数とを含む、実施例17に記載のディスプレイシステム。
【0646】
実施例19:該方程式は、X+Y+(1+Q)Z=2ZRと同一またはそれに匹敵し、式中、X、Y、およびZは、該非球面表面上の位置を定義し、QおよびRは、非球面表面の形状を決定する、実施例17または18に記載のディスプレイシステム。
【0647】
実施例20:該方程式は、該非球面表面上の位置を定義する、3つの変数と、非球面表面の形状を決定する、3つの定数とを含む、実施例17のいずれかに記載のディスプレイシステム。
【0648】
実施例21:楕円面を表す方程式が、該第1のパラメータの値を決定するための数値計算において使用される、実施例1-17および20のいずれかに記載のディスプレイシステム。
【0649】
実施例22:偏長楕円面を表す方程式が、該第1のパラメータの値を決定するための数値計算において使用される、実施例1-17および20のいずれかに記載のディスプレイシステム。
【0650】
実施例23:球面表面を表す方程式および非球面表面を表す方程式が、該第1のパラメータの値を決定するための数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0651】
実施例24:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0652】
実施例25:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、異なる量の発散のうちの少なくとも1つにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0653】
実施例26:該ディスプレイは、発散する、光を該ユーザの眼の中に投影し、異なる深度から生じるように現れる、仮想画像コンテンツをユーザの視野に表示するようにコリメートされる、光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0654】
実施例27:該電子プロセッサは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0655】
実施例28:光をユーザの眼に投影し、仮想画像コンテンツ該ユーザの視野内に表示するように構成される、ディスプレイシステム内に、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉することであって、該画像は、複数の異なる光エミッタの閃光反射を備える、ことと、
1つ以上の眼追跡カメラによって生産された、該画像内の閃光反射の場所に基づいて、ユーザの眼の第1のパラメータを推定することと、
を含み、該角膜の非球面モデルは、数値計算において使用され、該ユーザの眼の第1のパラメータの場所を推定する、方法。
【0656】
実施例29:球面モデルおよび非球面モデルの両方が、該第1のパラメータの値を決定する際に使用される、実施例28に記載の方法。
【0657】
実施例30:球面モデルおよび非球面モデルの両方が、該第1のパラメータの値を決定するための数値計算において使用される、実施例28に記載の方法。
【0658】
実施例31:該非球面モデルは、回転対称である、実施例28-30のいずれかに記載の方法。
【0659】
実施例32:該非球面モデルは、回転楕円体を備える、実施例28-31のいずれかに記載の方法。
【0660】
実施例33:該非球面モデルは、非回転対称である、実施例28-30のいずれかに記載の方法。
【0661】
実施例34:該非球面モデルは、2つの直交断面に沿って、異なる曲率を有する、実施例28-30または33のいずれかに記載の方法。
【0662】
実施例35:該非球面モデルは、水平方向に沿って、第1の曲率、垂直方向に沿って、第2の曲率を有し、該第2の曲率は、該第1の曲率と異なり、非球面モデルは、回転対称ではない、実施例28-30または33のいずれかに記載の方法。
【0663】
実施例36:該非球面モデルは、楕円体を備える、実施例28-30または31-35のいずれかに記載の方法。
【0664】
実施例37:該非球面モデルは、偏長楕円体を備える、実施例28-30または31-35のいずれかに記載の方法。
【0665】
実施例38:該第1のパラメータを推定することは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の第1のパラメータを推定することを含む、実施例28-37のいずれかに記載の方法。
【0666】
実施例39:該電子プロセッサは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の第1のパラメータの値を推定するように構成される、実施例28-38のいずれかに記載の方法。
【0667】
実施例40:第1のパラメータは、該角膜曲率の中心の場所を備える、上記実施例のいずれかに記載の方法。
【0668】
実施例41:第1のパラメータは、眼の位置および/または配向と関連付けられる、パラメータを備える、上記実施例のいずれかに記載の方法。
【0669】
実施例42:第1のパラメータは、眼の位置を伴う、パラメータを備える、上記実施例のいずれかに記載の方法。
【0670】
実施例43:第1のパラメータは、眼の位置に依存する、パラメータを備える、上記実施例のいずれかに記載の方法。
【0671】
実施例44:第1のパラメータは、眼の位置を決定するために使用され得る、パラメータを備える、上記実施例のいずれかに記載の方法。
【0672】
実施例45:第1のパラメータは、眼の位置および/または配向と関連付けられる、パラメータを備える、実施例1-27のいずれかに記載のディスプレイ。
【0673】
実施例46:実施例1-27のいずれかに記載のディスプレイ第1のパラメータは、眼の位置と関連付けられる、パラメータを備える。
【0674】
実施例47:第1のパラメータは、眼の位置に依存する、パラメータを備える、実施例1-27のいずれかに記載のディスプレイ。
【0675】
実施例48:第1のパラメータは、眼の位置を決定するために使用され得る、パラメータを備える、実施例1-27のいずれかに記載のディスプレイ。
【0676】
実施例49:第1のパラメータは、該角膜曲率の中心の場所を備える、実施例1-27のいずれかに記載のディスプレイ。
【0677】
実施例50:該処理電子機器はさらに、少なくとも1回の反復に基づいて、該非球面モデルの形状に影響を及ぼす、パラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0678】
実施例51:該処理電子機器はさらに、少なくとも1回の反復に基づいて、該非球面モデルの形状を特性評価する、定数を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0679】
実施例52:該処理電子機器はさらに、少なくとも1回の反復に基づいて、非球面回転楕円体モデルの形状を特性評価する、定数を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0680】
実施例53:該処理電子機器はさらに、少なくとも1回の反復に基づいて、非球面回転楕円体モデルの形状を特性評価する、Qの値を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0681】
実施例54:該処理電子機器はさらに、複数回の反復にわたって、該非球面モデルの形状に影響を及ぼす、パラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0682】
実施例55:該処理電子機器はさらに、複数回の反復にわたって、該非球面モデルの形状を特性評価する、定数を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0683】
実施例56:該処理電子機器はさらに、複数回の反復にわたって、非球面回転楕円体モデルの形状を特性評価する、定数を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0684】
実施例57:該処理電子機器はさらに、複数回の反復にわたって、非球面回転楕円体モデルの形状を特性評価する、Qの値を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0685】
実施例58:該処理電子機器はさらに、回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0686】
実施例59:該処理電子機器はさらに、異なる眼視線に関する回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0687】
実施例60:該処理電子機器はさらに、較正プロセスの間、異なる眼視線に関する回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0688】
実施例61:該処理電子機器はさらに、較正プロセスの間、異なる眼視線に関する回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを更新するように構成され、固定標的が、ユーザの視線を改変するために、該ディスプレイ上で視認者に提供される、上記実施例のいずれかに記載のディスプレイシステム。
【0689】
実施例62:該処理電子機器はさらに、付加的較正が実施されるまで、該非球面モデルの形状に影響を及ぼす、該値、定数、またはパラメータを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0690】
実施例63:該処理電子機器はさらに、ユーザの眼のパラメータを決定するための付加的較正が実施されるまで、該非球面モデルの形状に影響を及ぼす、該値、定数、またはパラメータを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0691】
実施例64:該処理電子機器はさらに、ユーザの眼の角膜中心を決定するための付加的較正が実施されるまで、該非球面モデルの形状に影響を及ぼす、該値、定数、またはパラメータを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0692】
実施例65:該処理電子機器はさらに、ユーザの眼の角膜中心を決定するための付加的較正が実施されるまで、該非球面モデルの形状に影響を及ぼす、該値、定数、またはパラメータを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0693】
実施例66:該処理電子機器はさらに、ユーザの眼の回転中心を決定するための付加的較正が実施されるまで、該非球面モデルの形状に影響を及ぼす、該値、定数、またはパラメータを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0694】
実施例67:該少なくとも1つの眼追跡カメラは、ユーザの眼を結像するように構成される、第1、第2、および第3の眼追跡カメラを備え、該処理電子機器は、該第1、第2、および第3の眼追跡カメラと通信し、光エミッタの閃光反射は、第1、第2、および第3の眼追跡カメラによって捕捉された眼の画像内で観察可能である、上記実施例のいずれかに記載のディスプレイシステム。
【0695】
実施例68:該処理電子機器は、該第1、第2、および第3の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、該ユーザの眼の第1のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0696】
実施例69:該処理電子機器は、該第1、第2、および第3の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ該第1、第2、および第3の眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の第1のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0697】
実施例70:該処理電子機器は、該第1および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとに基づいて、該ユーザの眼のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0698】
実施例71:該処理電子機器は、該第2および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとに基づいて、該ユーザの眼のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0699】
実施例72:該処理電子機器は、該第1および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとの平均に基づいて、該ユーザの眼の第1のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0700】
実施例73:該処理電子機器は、該第2および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとの平均に基づいて、該ユーザの眼の第1のパラメータを推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0701】
実施例74:該第1のパラメータ該処理電子機器は、角膜中心を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0702】
実施例75:該ユーザの眼の角膜中心は、ユーザの眼の角膜曲率の中心を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0703】
実施例76:該ユーザの眼の角膜中心は、ユーザの眼の角膜の角膜頂点曲率の中心を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0704】
実施例77:該第1のパラメータ該処理電子機器は、眼の回転中心を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0705】
実施例78:該処理電子機器はさらに、複数の1つ以上の眼追跡カメラによって捕捉されたユーザの眼の画像を使用して、該非球面モデルの形状に影響を及ぼす、ユーザ特有のパラメータの値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0706】
実施例79:該ユーザ特有のパラメータの値は、該ユーザの眼と関連付けられる、実施例78に記載のディスプレイシステム。
【0707】
実施例80:ユーザの眼の該複数の画像の異なる画像は、個別の標的場所と関連付けられる、異なる視線方向において捕捉され、標的場所は、ディスプレイシステムによって決定され、標的場所は、ユーザの眼の該複数の画像の異なる画像に関して異なる、実施例78に記載のディスプレイシステム。
【0708】
実施例81:ユーザの眼の該複数の画像の異なる対の画像は、個別の標的場所と関連付けられる、異なる視線方向において捕捉され、標的場所は、ディスプレイシステムによって決定され、標的場所は、ユーザの眼の該複数の画像の異なる対の画像に関して異なる、実施例78に記載のディスプレイシステム。
【0709】
実施例82:処理電子機器は、反復プロセスに基づいて、該非球面モデルの形状に影響を及ぼす、該ユーザ特有のパラメータの値を決定し、反復は、
少なくとも部分的に、該非球面モデルの形状に影響を及ぼす、パラメータの値に基づいて、ユーザの眼の複数の回転中心を推定することと、
推定されるユーザの眼の複数の回転中心と関連付けられる、統計的メトリックの値を計算することと、
少なくとも部分的に、計算された統計的メトリックに基づいて、該非球面モデルの形状に影響を及ぼす、該パラメータの修正された値を生成することと、
を含む、実施例80または81のいずれかに記載のディスプレイシステム。
【0710】
実施例83:該非球面モデルの形状に影響を及ぼす、パラメータの値は、前の反復において生成された、該非球面モデルの形状に影響を及ぼす、該パラメータの修正された値である、実施例82に記載のディスプレイシステム。
【0711】
実施例84:反復プロセスの第1の反復内で使用される、該非球面モデルの形状に影響を及ぼす、パラメータの値は、眼モデルによって決定された初期値である、実施例82に記載のディスプレイシステム。
【0712】
実施例85:眼モデルは、Arizona眼モデルであって、該非球面モデルの形状に影響を及ぼす、パラメータの初期値は、-0.26である、実施例84に記載のディスプレイシステム。
【0713】
実施例86:該非球面モデルの形状に影響を及ぼす、該パラメータの修正された値は、統計的メトリックの値を低減させる、実施例82に記載のディスプレイシステム。
【0714】
実施例87:統計的メトリックは、複数の回転中心の統計的分布の変動を備える、実施例86に記載のディスプレイシステム。
【0715】
実施例88:統計的メトリックは、分散または標準偏差を備える、実施例87に記載のディスプレイシステム。
【0716】
実施例89:複数のユーザの眼の回転中心は、少なくとも部分的に、該非球面モデルと、1つ以上の追跡カメラの場所と、該個別の閃光反射を生産したエミッタの場所とに基づいて、推定される、実施例82に記載のディスプレイシステム。
【0717】
実施例90:第1のパラメータは、角膜中心の場所を備える、上記実施例のいずれかに記載のディスプレイ。
【0718】
実施例91:第1のパラメータは、角膜中心の場所を備える、上記実施例のいずれかに記載の方法。
【0719】
実施例92:第1のパラメータは、眼の回転中心の場所を備える、上記実施例のいずれかに記載の方法。
パート-D
【0720】
実施例1:光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、瞳孔とを有し、該ディスプレイシステムは、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
異なる光エミッタの閃光反射が1つ以上の追跡カメラによって捕捉された眼の画像内で観察可能である、1つ以上の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、
少なくとも部分的に、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定する、
ように構成され、該処理電子機器は、該角膜の非球面モデルを数値計算において使用し、該ユーザの眼の角膜曲率の中心の該場所を推定する、処理電子機器と、
を備える、ディスプレイシステム。
【0721】
実施例2:該処理電子機器は、加えて、該角膜の球面モデルを数値計算において採用し、該角膜曲率の中心の値を推定する、実施例1に記載のディスプレイシステム。
【0722】
実施例3:該角膜の球面モデルは、数値計算において使用され、1つ以上の眼追跡カメラによって生産された、該画像内の閃光反射の場所と、1つ以上の追跡カメラの場所と、該個別の閃光反射を生産したエミッタの場所とに基づいて、該角膜曲率の中心の値を決定する、実施例2に記載のディスプレイシステム。
【0723】
実施例4:該角膜の球面モデルから決定される、該角膜曲率の中心の推定値は、数値計算において該非球面モデルに適用され、該角膜曲率の中心の値を決定する、実施例2または3に記載のディスプレイシステム。
【0724】
実施例5:該処理電子機器は、反復プロセスを使用して、該角膜曲率の中心の推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0725】
実施例6:該処理電子機器は、該推定値を使用して、該曲率の中心の推定値を繰り返し評価し、該非球面モデルを使用して、該曲率の中心の別の異なる推定値を再計算することを含む、反復プロセスを使用して、該角膜曲率の中心の推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0726】
実施例7:該処理電子機器は、該推定値を使用して、該曲率の中心の推定値を繰り返し評価し、該球面モデルおよび該非球面モデルを使用して、該曲率の中心の別の異なる推定値を再計算する、反復プロセスを使用して、該角膜曲率の中心の推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0727】
実施例8:該角膜の球面モデルから決定される、該角膜曲率の中心の推定値は、数値計算における該非球面モデルの適用のために、非球面表面の曲率の中心を推定するために使用され、該角膜曲率の中心の値を決定する、実施例2または3に記載のディスプレイシステム。
【0728】
実施例9:該角膜の球面モデルから決定される、該角膜曲率の中心の推定値は、数値計算における該非球面モデルの適用のために、非球面表面の配向を推定するために使用され、該角膜曲率の中心の値を決定する、実施例2、3、または8に記載のディスプレイシステム。
【0729】
実施例10:該眼の回転中心または該眼に関する瞳孔中心は、推定および数値計算における該非球面モデルの適用のために、非球面表面の配向を推定するために使用され、該角膜曲率の中心の値を決定する、実施例1-9に記載のディスプレイシステム。
【0730】
実施例11:該非球面モデルは、光源の場所に基づいて、複数の閃光の場所を予測するために使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0731】
実施例12:該非球面モデルは、光源の場所に基づいて、複数の閃光の場所を予測するために使用される、実施例2、3、または8-10に記載のディスプレイシステム。
【0732】
実施例13:該非球面モデルに基づいて予測される、該閃光の場所は、球面表面の曲率中心を決定するために使用される、実施例12に記載のディスプレイシステム。
【0733】
実施例14:該処理電子機器は、該非球面モデルに基づいて予測される、該閃光の場所に基づいて、球面表面の曲率の中心を決定するように構成される、実施例13に記載のディスプレイシステム。
【0734】
実施例15:該処理電子機器は、該非球面モデルに基づいて予測される、該閃光の場所に基づいて決定される、該球面表面の曲率の中心と、該非球面表面の曲率の中心を決定するために使用された、該球面モデルを使用して決定された、該曲率の中心を比較するように構成される、実施例14に記載のディスプレイシステム。
【0735】
実施例16:該処理電子機器は、2つの球面表面に関する2つの曲率の中心間の比較を使用して、該非球面表面の曲率の更新された中心を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0736】
実施例17:該処理電子機器は、該球面表面のうちの1つが非球面モデルに基づいて決定される、球面モデルの適用から取得される2つの球面表面の曲率の2つの中心間の比較を使用して、該非球面表面の更新された曲率の中心を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0737】
実施例18:該処理電子機器は、該比較を使用して、該非球面表面の更新された曲率の中心を決定するように構成される、実施例15に記載のディスプレイシステム。
【0738】
実施例19:該処理電子機器は、球面モデルを使用して、非球面表面の1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0739】
実施例20:該処理電子機器は、非球面モデルを使用して、球面表面の1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0740】
実施例21:該処理電子機器は、非球面モデルを使用して、球面表面の1つ以上のパラメータを決定し、非球面表面の1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0741】
実施例22:該処理電子機器は、該非球面モデルの適用のために、該非球面表面の更新された曲率の中心を使用して、該非球面表面の曲率の中心をさらに更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0742】
実施例23:該処理電子機器は、非球面モデルの適用のために、該非球面表面の更新された曲率の中心を使用して、球面表面の1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0743】
実施例24:該処理電子機器は、球面モデルの適用のために、該非球面表面の更新された曲率の中心を使用して、球面表面の1つ以上のパラメータを決定して、該非球面表面の曲率の中心をさらに更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0744】
実施例25:該処理電子機器は、該更新された非球面表面に基づいて決定される、球面表面の1つ以上のパラメータと、別の球面表面の1つ以上のパラメータの比較を使用して、該非球面表面の1つ以上のパラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0745】
実施例26:該非球面モデルは、回転対称である、非球面表面を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0746】
実施例27:該非球面モデルは、回転楕円体を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0747】
実施例28:回転楕円体を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0748】
実施例29:該非球面モデルは、非回転対称である表面を備える、実施例1-25のいずれかに記載のディスプレイシステム。
【0749】
実施例30:該非球面モデルは、2つの直交断面に沿って異なる曲率を有する、表面を備える、実施例1-25のいずれかに記載のディスプレイシステム。
【0750】
実施例31:該非球面モデルは、水平方向に沿って、第1の曲率、垂直方向に沿って、第2の曲率を有し、該第2の曲率は、該第1の曲率と異なり、非球面モデルは、回転対称ではない、実施例1-25のいずれかに記載のディスプレイシステム。
【0751】
実施例32:該非球面モデルは、楕円体を備える、実施例1-25のいずれかに記載のディスプレイシステム。
【0752】
実施例33:該非球面モデルは、偏長楕円体を備える、実施例1-25のいずれかに記載のディスプレイシステム。
【0753】
実施例34:非球面表面を表す方程式が、該角膜曲率の中心の値を決定するための該数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0754】
実施例35:該方程式は、該非球面表面上の位置を定義する、3つの変数と、非球面表面の形状を決定する、2つの定数とを含む、実施例34に記載のディスプレイシステム。
【0755】
実施例36:該方程式は、X+Y+(1+Q)Z=2ZRと同一またはそれに匹敵し、式中、X、Y、およびZは、該非球面表面上の位置を定義し、QおよびRは、非球面表面の形状を決定する、実施例34または35に記載のディスプレイシステム。
【0756】
実施例37:該方程式は、該非球面表面上の位置を定義する、3つの変数と、非球面表面の形状を決定する、3つの定数とを含む、実施例34に記載のディスプレイシステム。
【0757】
実施例38:楕円面を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、実施例1-34および37のいずれかに記載のディスプレイシステム。
【0758】
実施例39:偏長楕円面を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、実施例1-33および37のいずれかに記載のディスプレイシステム。
【0759】
実施例40:球面表面を表す方程式および非球面表面を表す方程式が、該角膜曲率の中心の値を決定するための数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0760】
実施例41:該ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラは、第1および第2の眼追跡カメラを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0761】
実施例42:該処理電子機器は、
該第1の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かった第1の方向を決定し、
該第2の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第2の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かった第2の方向を決定する、
ように構成される、実施例41に記載のディスプレイシステム。
【0762】
実施例43:該処理電子機器は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する、光エミッタの場所を含む、第1の平面を定義し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する、光エミッタの場所を含む、第2の平面を定義し、
収束の領域が第1の方向に沿って延在する、第1の平面および第2の平面の収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例42に記載のディスプレイシステム。
【0763】
実施例44:該処理電子機器は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する、光エミッタの場所を含む、第3の平面を定義し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する、光エミッタの場所を含む、第4の平面を定義し、
収束の領域が第2の方向に沿って延在する、第3の平面および第4の平面の収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例43に記載のディスプレイシステム。
【0764】
実施例45:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かった該第1および第2の方向に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、実施例42-44のいずれかに記載のディスプレイシステム。
【0765】
実施例46:該処理電子機器は、
第1の眼追跡カメラから受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、該第1の方向を決定し、
第2の眼追跡カメラから受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜曲率の中心が位置すると推定される、
ように構成され、該第2の方向を決定する、該第1および第2の方向は、ある領域に向かって収束する、
実施例42-45のいずれかに記載のディスプレイシステム。
【0766】
実施例47:該処理電子機器は、
第1および第2の方向の収束に基づいて、ユーザの眼の角膜曲率の中心の推定値を取得するように構成される、
実施例42-46のいずれかに記載のディスプレイシステム。
【0767】
実施例48:該処理電子機器は、ユーザの眼の角膜曲率の中心に向かった第1および第2の方向の収束の領域を識別することによって、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、実施例41-47のいずれかに記載のディスプレイシステム。
【0768】
実施例49:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜曲率の中心の複数の決定に基づいて、ユーザの眼の回転中心の推定値を取得するように構成される、実施例41-48のいずれかに記載のディスプレイシステム。
【0769】
実施例50:該処理電子機器は、角膜曲率の中心を使用して、非球面モデルの適用のために、非球面表面の配向の推定値を取得するように構成される、上記の実施例のいずれかに記載のディスプレイシステム。
【0770】
実施例51:該処理電子機器は、第1および第2の眼追跡カメラによって取得される画像から決定される、角膜曲率の中心の推定値と、瞳孔中心を通して通過する、複数のベクトルの収束の推定値とに基づいて、非球面モデルの適用のために、非球面表面の配向の推定値を取得するように構成される、実施例41-50のいずれかに記載のディスプレイシステム。
【0771】
実施例52:該処理電子機器は、該角膜曲率の中心を含む、線に沿った中心を有する、非球面モデルの適用のための非球面表面の位置の推定値と、瞳孔中心を通して通過する、複数のベクトルの収束の推定値とを取得するように構成される、実施例51に記載のディスプレイシステム。
【0772】
実施例53:該処理電子機器は、三角測量を使用して、該非球面表面の位置を決定するように構成される、実施例51または52に記載のディスプレイシステム。
【0773】
実施例54:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0774】
実施例55:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、異なる量の発散のうちの少なくとも1つにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0775】
実施例56:該ディスプレイは、発散する、光を該ユーザの眼の中に投影し、異なる深度から生じるように現れる、仮想画像コンテンツをユーザの視野に表示するようにコリメートされる、光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0776】
実施例57:光をユーザの眼に投影し、仮想画像コンテンツ該ユーザの視野内に表示するように構成される、ディスプレイシステム内に、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉することであって、該画像は、複数の異なる光エミッタの閃光反射を備える、ことと、
1つ以上の眼追跡カメラによって生産された、該画像内の閃光反射の場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定することと、
を含み、該角膜の非球面モデルは、数値計算において使用され、該ユーザの眼の角膜曲率の中心の該場所を推定する、
方法。
【0777】
実施例58:球面モデルおよび非球面モデルの両方が、該角膜曲率の中心の値を決定する際に使用される、実施例57に記載の方法。
【0778】
実施例59:球面モデルおよび非球面モデルの両方が、該角膜曲率の中心の値を決定するための数値計算において使用される、実施例57に記載の方法。
【0779】
実施例60:該非球面モデルは、回転対称である、実施例57-59のいずれかに記載の方法。
【0780】
実施例61:該非球面モデルは、回転楕円体を備える、実施例57-60のいずれかに記載の方法。
【0781】
実施例62:該非球面モデルは、非回転対称である、実施例57-59のいずれかに記載の方法。
【0782】
実施例63:該非球面モデルは、2つの直交断面に沿って、異なる曲率を有する、実施例57-59または62のいずれかに記載の方法。
【0783】
実施例64:該非球面モデルは、水平方向に沿って、第1の曲率、垂直方向に沿って、第2の曲率を有し、該第2の曲率は、該第1の曲率と異なり、非球面モデルは、回転対称ではない、実施例57-59または62のいずれかに記載の方法。
【0784】
実施例65:該非球面モデルは、楕円体を備える、実施例57-59または62-64のいずれかに記載の方法。
【0785】
実施例66:該非球面モデルは、偏長楕円体を備える、実施例57-59または62-64のいずれかに記載の方法。
【0786】
実施例67:該角膜曲率の中心の場所を推定することは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定することを含む、実施例56-66のいずれかに記載の方法。
【0787】
実施例68:該処理電子機器は、球面表面の2つの曲率の中心間の比較を使用して、更新された非球面表面の曲率の中心を決定するように構成される、実施例56-66に記載のディスプレイシステム。
【0788】
実施例69:該電子プロセッサは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、実施例1-56のいずれかに記載のディスプレイシステム。
【0789】
実施例70:該電子プロセッサは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の角膜曲率の中心の場所を推定するように構成される、実施例41-64のいずれかに記載の方法。
パート-E
【0790】
実施例1:光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、瞳孔とを有し、該ディスプレイシステムは、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
複数の光エミッタと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
異なる光エミッタの閃光反射が1つ以上の追跡カメラによって捕捉された眼の画像内で観察可能である、1つ以上の眼追跡カメラによって捕捉されたユーザの眼の画像を受信し、
少なくとも部分的に、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、ユーザの眼の角膜中心の場所を推定する、
ように構成され、該処理電子機器は、該角膜の非球面モデルを数値計算において使用し、ユーザの眼の角膜中心の場所を推定する、処理電子機器と、
を備える、ディスプレイシステム。
【0791】
実施例2:該処理電子機器は、加えて、該角膜の球面モデルを数値計算において採用し、該角膜中心の値を推定する、実施例1に記載のディスプレイシステム。
【0792】
実施例3:該角膜の球面モデルは、数値計算において使用され、1つ以上の眼追跡カメラによって生産された、該画像内の閃光反射の場所と、1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所とに基づいて、該角膜中心の値を決定する、実施例2に記載のディスプレイシステム。
【0793】
実施例4:該角膜の球面モデルから決定される、該角膜中心の推定値は、数値計算において該非球面モデルに適用され、該角膜中心の値を決定する、実施例2または3に記載のディスプレイシステム。
【0794】
実施例5:該処理電子機器は、反復プロセスを使用して、該角膜中心の推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0795】
実施例6:該処理電子機器は、該推定値を使用して、該角膜中心の推定値を繰り返し評価し、該非球面モデルを使用して、該角膜中心の別の異なる推定値を再計算することを含む、反復プロセスを使用して、該角膜中心の推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0796】
実施例7:該処理電子機器は、該推定値を使用して、該角膜中心の推定値を繰り返し評価し、該球面モデルおよび該非球面モデルを使用して、該角膜中心の別の異なる推定値を再計算する、反復プロセスを使用して、該角膜中心の推定値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0797】
実施例8:該角膜の球面モデルから決定される、該角膜中心の推定値は、数値計算における該非球面モデルの適用のために、非球面表面の角膜中心を推定するために使用され、該角膜中心の値を決定する、実施例2または3に記載のディスプレイシステム。
【0798】
実施例9:該角膜の球面モデルから決定される、該角膜中心の推定値は、数値計算における該非球面モデルの適用のために、非球面表面の配向を推定するために使用され、該角膜中心の値を決定する、実施例2、3、または8に記載のディスプレイシステム。
【0799】
実施例10:該眼の回転中心または該眼に関する瞳孔中心は、数値計算における該非球面モデルの適用のために、非球面表面の配向を推定するために推定および使用され、該角膜中心の値を決定する、実施例1-9に記載のディスプレイシステム。
【0800】
実施例11:該非球面モデルは、光エミッタの場所に基づいて、複数の閃光の場所を予測するために使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0801】
実施例12:該非球面モデルは、光エミッタの場所に基づいて、複数の閃光の場所を予測するために使用される、実施例2、3、または8-10に記載のディスプレイシステム。
【0802】
実施例13:該非球面モデルに基づいて予測される、該閃光の場所は、球面表面の曲率の中心を決定するために使用される、実施例12に記載のディスプレイシステム。
【0803】
実施例14:該処理電子機器は、該非球面モデルに基づいて予測される、該閃光の場所に基づいて、球面表面の曲率の中心を決定するように構成される、実施例13に記載のディスプレイシステム。
【0804】
実施例15:該処理電子機器は、該非球面モデルに基づいて予測される、該閃光の場所に基づいて決定される、該球面表面の曲率の中心と、該非球面表面の中心を決定するために使用された該球面モデルを使用して決定される、該曲率の中心を比較するように構成される、実施例14に記載のディスプレイシステム。
【0805】
実施例16:該処理電子機器は、2つの球面表面に関する2つの曲率の中心間の比較を使用して、更新された該非球面表面の中心を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0806】
実施例17:該処理電子機器は、該球面表面のうちの1つが非球面モデルに基づいて決定される、球面モデルの適用から取得される2つの球面表面の2つの曲率中心間の比較を使用して、更新された該非球面表面の中心を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0807】
実施例18:該処理電子機器は、該比較を使用して、更新された該非球面表面の中心を決定するように構成される、実施例15に記載のディスプレイシステム。
【0808】
実施例19:該処理電子機器は、球面モデルを使用して、非球面表面の1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0809】
実施例20:該処理電子機器は、非球面モデルを使用して、球面表面の1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0810】
実施例21:該処理電子機器は、非球面モデルを使用して、球面表面の1つ以上のパラメータを決定し、非球面表面の1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0811】
実施例22:該処理電子機器は、該非球面モデルの適用のために、該更新された該非球面表面の中心を使用して、該非球面表面の中心をさらに更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0812】
実施例23:該処理電子機器は、非球面モデルの適用のために、該更新された該非球面表面の中心を使用して、球面表面の1つ以上のパラメータを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0813】
実施例24:該処理電子機器は、球面モデルの適用のために、該更新された該非球面表面の中心を使用して、球面表面の1つ以上のパラメータを決定し、該非球面表面の中心をさらに更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0814】
実施例25:該処理電子機器は、該更新された非球面表面に基づいて決定される、球面表面の1つ以上のパラメータと、別の球面表面の1つ以上のパラメータの比較を使用して、該非球面表面の1つ以上のパラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0815】
実施例26:該非球面モデルは、回転対称である、非球面表面を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0816】
実施例27:該非球面モデルは、回転楕円体を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0817】
実施例28:回転楕円体を表す方程式が、該角膜の角膜中心の値を決定するための数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0818】
実施例29:該非球面モデルは、非回転対称である表面を備える、実施例1-25のいずれかに記載のディスプレイシステム。
【0819】
実施例30:該非球面モデルは、2つの直交断面に沿って異なる曲率を有する、表面を備える、実施例1-25または29のいずれかに記載のディスプレイシステム。
【0820】
実施例31:該非球面モデルは、水平方向に沿って、第1の曲率、垂直方向に沿って、第2の曲率を有し、該第2の曲率は、該第1の曲率と異なり、非球面モデルは、回転対称ではない、実施例1-25、29、または30のいずれかに記載のディスプレイシステム。
【0821】
実施例32:該非球面モデルは、楕円体を備える、実施例1-25または29-31のいずれかに記載のディスプレイシステム。
【0822】
実施例33:該非球面モデルは、偏長楕円体を備える、実施例1-25または29-32のいずれかに記載のディスプレイシステム。
【0823】
実施例34:非球面表面を表す方程式が、該角膜の角膜中心の値を決定するための該数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0824】
実施例35:該方程式は、該非球面表面上の位置を定義する、3つの変数と、非球面表面の形状を決定する、2つの定数とを含む、実施例34に記載のディスプレイシステム。
【0825】
実施例36:該方程式は、X+Y+(1+Q)Z=2ZRと同一またはそれに匹敵し、式中、X、Y、およびZは、該非球面表面上の位置を定義し、QおよびRは、非球面表面の形状を決定する、実施例34または35に記載のディスプレイシステム。
【0826】
実施例37:該方程式は、該非球面表面上の位置を定義する、3つの変数と、非球面表面の形状を決定する、3つの定数とを含む、実施例34のいずれかに記載のディスプレイシステム。
【0827】
実施例38:楕円面を表す方程式が、該角膜の角膜中心の値を決定するための数値計算において使用される、実施例1-34および37のいずれかに記載のディスプレイシステム。
【0828】
実施例39:偏長楕円面を表す方程式が、該角膜の角膜中心の値を決定するための数値計算において使用される、実施例1-33および37のいずれかに記載のディスプレイシステム。
【0829】
実施例40:球面表面を表す方程式および非球面表面を表す方程式が、該角膜の角膜中心の値を決定するための数値計算において使用される、上記実施例のいずれかに記載のディスプレイシステム。
【0830】
実施例41:該ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラは、第1および第2の眼追跡カメラを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0831】
実施例42:該処理電子機器は、
該第1の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第1の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜曲率の中心に向かった第1の方向を決定し、
該第2の眼追跡カメラによって生産された1つ以上の画像内の閃光反射の場所に基づいて、かつ第2の眼追跡カメラの場所および該閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜中心に向かった第2の方向を決定する、
ように構成される、実施例41に記載のディスプレイシステム。
【0832】
実施例43:該処理電子機器は、
第1の眼追跡カメラ、第1の閃光反射の場所、および該第1の閃光反射に対応する、光エミッタの場所を含む、第1の平面を定義し、
第1の眼追跡カメラ、第2の閃光反射の場所、および該第2の閃光反射に対応する、光エミッタの場所を含む、第2の平面を定義し、
収束の領域が第1の方向に沿って延在する、第1の平面および第2の平面の収束の領域を決定する、
ことによって、第1の方向を決定するように構成される、実施例42に記載のディスプレイシステム。
【0833】
実施例44:該処理電子機器は、
第2の眼追跡カメラ、第3の閃光反射の場所、および該第3の閃光反射に対応する、光エミッタの場所を含む、第3の平面を定義し、
第2の眼追跡カメラ、第4の閃光反射の場所、および該第4の閃光反射に対応する、光エミッタの場所を含む、第4の平面を定義し、
収束の領域が第2の方向に沿って延在する、第3の平面および第4の平面の収束の領域を決定する、
ことによって、第2の方向を決定するように構成される、実施例43に記載のディスプレイシステム。
【0834】
実施例45:該処理電子機器は、ユーザの眼の角膜中心に向かった該第1および第2の方向に基づいて、ユーザの眼の角膜中心の場所を推定するように構成される、実施例42-44のいずれかに記載のディスプレイシステム。
【0835】
実施例46:該処理電子機器は、
第1の眼追跡カメラから受信された少なくとも1つの第1の画像に基づいて、それに沿ってユーザの眼の角膜中心が位置すると推定される、該第1の方向を決定し、
第2の眼追跡カメラから受信された少なくとも1つの第2の画像に基づいて、それに沿ってユーザの眼の角膜中心が位置すると推定される、該第2の方向を決定するように構成され、
該第1および第2の方向は、ある領域に向かって収束する、
実施例42-45のいずれかに記載のディスプレイシステム。
【0836】
実施例47:該処理電子機器は、
第1および第2の方向の収束に基づいて、ユーザの眼の角膜中心の推定値を取得するように構成される、
実施例42-46のいずれかに記載のディスプレイシステム。
【0837】
実施例48:該処理電子機器は、ユーザの眼の角膜中心に向かった第1および第2の方向の収束の領域を識別することによって、ユーザの眼の角膜中心の場所を推定するように構成される、実施例41-47のいずれかに記載のディスプレイシステム。
【0838】
実施例49:該処理電子機器は、異なる眼姿勢に関するユーザの眼の角膜中心の複数の決定に基づいて、ユーザの眼の角膜中心の推定値を取得するように構成される、実施例41-48のいずれかに記載のディスプレイシステム。
【0839】
実施例50:該処理電子機器は、角膜中心を使用して、非球面モデルの適用のための非球面表面の配向の推定値を取得するように構成される、上記の実施例のいずれかに記載のディスプレイシステム。
【0840】
実施例51:該処理電子機器は、第1および第2の眼追跡カメラによって取得される画像から決定される、角膜中心の推定値と、瞳孔中心を通して通過する、複数のベクトルの収束の推定値とに基づいて、非球面モデルの適用のための非球面表面の配向の推定値を取得するように構成される、実施例41-50のいずれかに記載のディスプレイシステム。
【0841】
実施例52:該処理電子機器は、該角膜中心を含む線に沿った中心を有する、非球面モデルの適用のための非球面表面の位置の推定値と、瞳孔中心を通して通過する、複数のベクトルの収束の推定値とを取得するように構成される、実施例51に記載のディスプレイシステム。
【0842】
実施例53:該処理電子機器は、三角測量を使用して、該非球面表面の位置を決定するように構成される、実施例51または52に記載のディスプレイシステム。
【0843】
実施例54:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0844】
実施例55:該ディスプレイは、表示される仮想画像コンテンツが異なる深度から生じるように現れるように、異なる量の発散のうちの少なくとも1つにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0845】
実施例56:該ディスプレイは、発散する、光を該ユーザの眼の中に投影し、異なる深度から生じるように現れる、仮想画像コンテンツをユーザの視野に表示するようにコリメートされる、光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0846】
実施例57:光をユーザの眼に投影し、仮想画像コンテンツ該ユーザの視野内に表示するように構成される、ディスプレイシステム内に、仮想画像コンテンツをレンダリングするために、眼と関連付けられる、1つ以上のパラメータを決定する方法であって、該眼は、角膜を有し、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、該眼に対して配置され、閃光をその上に形成する、複数の光エミッタとを用いて、ユーザの眼の複数の画像を捕捉することであって、該画像は、複数の異なる光エミッタの閃光反射を備える、ことと、
1つ以上の眼追跡カメラによって生産された、該画像内の閃光反射の場所に基づいて、ユーザの眼の角膜中心の場所を推定することと、
【0847】
を含み、該角膜の非球面モデルは、数値計算において使用され、ユーザの眼の角膜中心の場所を推定する、方法。
【0848】
実施例58:球面モデルおよび非球面モデルの両方が、際に使用される該角膜中心の値を決定する、実施例57に記載の方法。
【0849】
実施例59:球面モデルおよび非球面モデルの両方が、該角膜中心の値を決定するための数値計算において使用される、実施例57に記載の方法。
【0850】
実施例60:該非球面モデルは、回転対称である、実施例57-59のいずれかに記載の方法。
【0851】
実施例61:該非球面モデルは、回転楕円体を備える、実施例57-60のいずれかに記載の方法。
【0852】
実施例62:該非球面モデルは、非回転対称である、実施例57-59のいずれかに記載の方法。
【0853】
実施例63:該非球面モデルは、2つの直交断面に沿って、異なる曲率を有する、実施例57-59または62のいずれかに記載の方法。
【0854】
実施例64:該非球面モデルは、水平方向に沿って、第1の曲率、垂直方向に沿って、第2の曲率を有し、該第2の曲率は、該第1の曲率と異なり、非球面モデルは、回転対称ではない、実施例57-59または62のいずれかに記載の方法。
【0855】
実施例65:該非球面モデルは、楕円体を備える、実施例57-59または62-64のいずれかに記載の方法。
【0856】
実施例66:該非球面モデルは、偏長楕円体を備える、実施例57-59または62-64のいずれかに記載の方法。
【0857】
実施例67:該角膜中心の場所を推定することは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜中心の場所を推定することを含む、実施例56-66のいずれかに記載の方法。
【0858】
実施例68:実該処理電子機器は、球面表面の2つの曲率の中心間の比較を使用して、更新された非球面表面の中心を決定するように構成される、施例56-66に記載のディスプレイシステム。
【0859】
実施例69:該電子プロセッサは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の角膜の角膜中心の場所を推定するように構成される、実施例1-56のいずれかに記載のディスプレイシステム。
【0860】
実施例70:該電子プロセッサは、該1つ以上の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ1つ以上の追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、ユーザの眼の角膜中心の場所を推定するように構成される、実施例41-64のいずれかに記載の方法。
【0861】
実施例71:該処理電子機器はさらに、少なくとも1回の反復に基づいて、該非球面モデルの形状に影響を及ぼす、パラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0862】
実施例72:該処理電子機器はさらに、少なくとも1回の反復に基づいて、該非球面モデルの形状を特性評価する、定数を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0863】
実施例73:該処理電子機器はさらに、少なくとも1回の反復に基づいて、非球面回転楕円体モデルの形状を特性評価する、定数を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0864】
実施例74:該処理電子機器はさらに、少なくとも1回の反復に基づいて、非球面回転楕円体モデルの形状を特性評価する、Qの値を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0865】
実施例75:該処理電子機器はさらに、複数回の反復にわたって、該非球面モデルの形状に影響を及ぼす、パラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0866】
実施例76:該処理電子機器はさらに、複数回の反復にわたって、該非球面モデルの形状を特性評価する、定数を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0867】
実施例77:該処理電子機器はさらに、複数回の反復にわたって、非球面回転楕円体モデルの形状を特性評価する、定数を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0868】
実施例78:該処理電子機器はさらに、複数回の反復にわたって、非球面回転楕円体モデルの形状を特性評価する、Qの値を更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0869】
実施例79:該処理電子機器はさらに、回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0870】
実施例80:該処理電子機器はさらに、異なる眼視線に関する回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0871】
実施例81:該処理電子機器はさらに、較正プロセスの間、異なる眼視線に関する回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを更新するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0872】
実施例82:該処理電子機器はさらに、較正プロセスの間、異なる眼視線に関する回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを更新するように構成され、固定標的が、ユーザの視線を改変するために、該ディスプレイ上で視認者に提供される、上記実施例のいずれかに記載のディスプレイシステム。
【0873】
実施例83:該処理電子機器はさらに、付加的較正が実施されるまで、該非球面モデルの形状に影響を及ぼす、該値、定数、またはパラメータを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0874】
実施例84:該処理電子機器はさらに、ユーザの眼のパラメータを決定するための付加的較正が実施されるまで、該非球面モデルの形状に影響を及ぼす、該値、定数、またはパラメータを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0875】
実施例85:該処理電子機器はさらに、ユーザの眼の角膜中心を決定するための付加的較正が実施されるまで、該非球面モデルの形状に影響を及ぼす、該値、定数、またはパラメータを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0876】
実施例86:該処理電子機器はさらに、ユーザの眼の角膜中心を決定するための付加的較正が実施されるまで、該非球面モデルの形状に影響を及ぼす、該値、定数、またはパラメータを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0877】
実施例87:該処理電子機器はさらに、ユーザの眼の回転中心を決定するための付加的較正が実施されるまで、該非球面モデルの形状に影響を及ぼす、該値、定数、またはパラメータを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0878】
実施例88:該少なくとも1つの眼追跡カメラは、ユーザの眼を結像するように構成される、第1、第2、および第3の眼追跡カメラを備え、該処理電子機器は、該第1、第2、および第3の眼追跡カメラと通信し、光エミッタの閃光反射が、第1、第2、および第3の眼追跡カメラによって捕捉された眼の画像内で観察可能である、上記実施例のいずれかに記載のディスプレイシステム。
【0879】
実施例89:該処理電子機器は、該第1、第2、および第3の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、該ユーザの眼の角膜中心を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0880】
実施例90:該処理電子機器は、該第1、第2、および第3の眼追跡カメラによって生産された該画像内の閃光反射の場所に基づいて、かつ該第1、第2、および第3の眼追跡カメラの場所および該個別の閃光反射を生産したエミッタの場所に基づいて、該ユーザの眼の角膜中心を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0881】
実施例91:該処理電子機器は、該第1および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとに基づいて、ユーザの眼の角膜中心を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0882】
実施例92:該処理電子機器は、該第2および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとに基づいて、該ユーザの眼の角膜中心を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0883】
実施例93:該処理電子機器は、該第1および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとの平均に基づいて、該ユーザの眼の角膜中心を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0884】
実施例94:該処理電子機器は、該第2および第3の眼追跡カメラによって決定されたユーザの眼のパラメータと、該第1および第2の眼追跡カメラによって決定されたユーザの眼のパラメータとの平均に基づいて、該ユーザの眼の角膜中心を推定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0885】
実施例95:該ユーザの眼の角膜中心は、ユーザの眼の角膜曲率の中心を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0886】
実施例96:該ユーザの眼の角膜中心は、ユーザの眼の角膜の角膜頂点曲率の中心を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0887】
実施例97:該処理電子機器はさらに、複数の1つ以上の眼追跡カメラによって捕捉されたユーザの眼の画像を使用して、該非球面モデルの形状に影響を及ぼす、ユーザ特有のパラメータの値を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0888】
実施例98:該ユーザ特有のパラメータの値は、該ユーザの眼と関連付けられる、実施例97に記載のディスプレイシステム。
【0889】
実施例99:ユーザの眼の該複数の画像の異なる画像は、個別の標的場所と関連付けられる、異なる視線方向において捕捉され、標的場所は、ディスプレイシステムによって決定され、標的場所は、ユーザの眼の該複数の画像の異なる画像に関して異なる、実施例97に記載のディスプレイシステム。
【0890】
実施例100:ユーザの眼の該複数の画像の異なる対の画像は、個別の標的場所と関連付けられる、異なる視線方向において捕捉され、標的場所は、ディスプレイシステムによって決定され、標的場所は、ユーザの眼の該複数の画像の異なる対の画像に関して異なる、実施例97に記載のディスプレイシステム。
【0891】
実施例101:処理電子機器は、反復プロセスに基づいて、該非球面モデルの形状に影響を及ぼす、該ユーザ特有のパラメータの値を決定し、反復は、
少なくとも部分的に、該非球面モデルの形状に影響を及ぼす、パラメータの値に基づいて、ユーザの眼の複数の回転中心を推定することと、
推定されるユーザの眼の複数の回転中心と関連付けられる、統計的メトリックの値を計算することと、
少なくとも部分的に、計算された統計的メトリックに基づいて、該非球面モデルの形状に影響を及ぼす、該パラメータの修正された値を生成することと、
を含む、実施例99または100のいずれかに記載のディスプレイシステム。
【0892】
実施例102:該非球面モデルの形状に影響を及ぼす、パラメータの値は、前の反復において生成された、該非球面モデルの形状に影響を及ぼす、該パラメータの修正された値である、実施例101に記載のディスプレイシステム。
【0893】
実施例103:反復プロセスの第1の反復内で使用される、該非球面モデルの形状に影響を及ぼす、パラメータの値は、眼モデルによって決定された初期値である、実施例101に記載のディスプレイシステム。
【0894】
実施例104:眼モデルは、Arizona眼モデルであって、該非球面モデルの形状に影響を及ぼす、パラメータの初期値は、-0.26である、実施例103に記載のディスプレイシステム。
【0895】
実施例105:該非球面モデルの形状に影響を及ぼす、該パラメータの修正された値は、統計的メトリックの値を低減させる、実施例101に記載のディスプレイシステム。
【0896】
実施例106:統計的メトリックは、複数の回転中心の統計的分布の変動を備える、実施例105に記載のディスプレイシステム。
【0897】
実施例107:統計的メトリックは、分散または標準偏差を備える、実施例106に記載のディスプレイシステム。
【0898】
実施例108:複数のユーザの眼の回転中心は、少なくとも部分的に、該非球面モデルと、1つ以上の追跡カメラの場所と、該個別の閃光反射を生産したエミッタの場所とに基づいて、推定される、実施例101に記載のディスプレイシステム。
【0899】
実施例109:該処理電子機器はさらに、該非球面モデルの形状に影響を及ぼす、パラメータを変更するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0900】
実施例110:該処理電子機器はさらに、該非球面モデルの形状を特性評価する、定数を変更するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0901】
実施例111:該処理電子機器はさらに、非球面回転楕円体モデルの形状を特性評価する、定数を変更するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0902】
実施例112:該処理電子機器はさらに、非球面回転楕円体モデルの形状を特性評価する、Qの値を変更するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0903】
実施例113:該処理電子機器はさらに、回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを選択するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0904】
実施例114:該処理電子機器はさらに、異なる眼視線に関する回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを選択するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0905】
実施例115:該処理電子機器はさらに、較正プロセスの間、異なる眼視線に関する回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを選択するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0906】
実施例116:該処理電子機器はさらに、較正プロセスの間、異なる眼視線に関する回転中心の計算される値における変動、不確実性、または誤差を低減させる、値、定数、またはパラメータを決定することによって、該値、定数、またはパラメータを選択するように構成され、固定標的が、ユーザの視線を改変するために、該ディスプレイ上で視認者に提供される、上記実施例のいずれかに記載のディスプレイシステム。
【0907】
上記の実施例または付加的実施例のいずれかは、組み合わせられることができる。加えて、上記の実施例または付加的実施例のいずれかは、頭部搭載型ディスプレイと統合されることができる。加えて、上記の実施例または付加的実施例のいずれかは、単一深度面および/または1つ以上の可変深度面を用いて実装されることができる(例えば、経時的に変動する遠近調節キューを提供する、可変集束力を伴う、1つ以上の要素)。
【0908】
さらに、限定ではないが、解剖学的、光学的、および幾何学的特徴、場所、および配向等の種々の値、パラメータを決定するための装置および方法が、本明細書に開示される。そのようなパラメータの実施例は、例えば、眼の回転中心、角膜曲率の中心、瞳孔中心、瞳孔の境界、虹彩の中心、虹彩の境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心を含むが、これらに限定ではない。本明細書に列挙されるような値、パラメータ等の決定は、その推定値を含み、必ずしも、実際の値と精密に一致する必要はない。例えば、眼の回転中心、角膜曲率の中心、瞳孔または虹彩の中心または境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心等の決定は、推定値、近似値、またはそれに近い値であって、実際の(例えば、解剖学的、光学的、または幾何学的)値またはパラメータと同一ではなくてもよい。ある場合には、例えば、二乗平均平方根推定技法が、そのような値の推定値を取得するために使用されてもよい。実施例として、本明細書に説明されるある技法は、光線またはベクトルが交差する、場所または点を識別することに関する。しかしながら、そのような光線またはベクトルは、交差しなくてもよい。本実施例では、場所または点は、推定されてもよい。例えば、場所または点は、二乗平均平方根または他の推定技法に基づいて決定されてもよい(例えば、場所または点は、光線またはベクトルに近いまたは最も近いものであるように推定されてもよい)。他のプロセスもまた、近似値を推定する、または別様に、実際の値と一致しない場合がある値を提供するために使用されてもよい。故に、用語「~を決定する」および「~を推定する」または「決定される」および「推定される」は、本明細書では、同義的に使用される。そのような決定された値の参照は、したがって、推定値、近似値、または実際の値に近い値を含み得る。故に、上記または本明細書のいずれかの場所のパラメータまたは値の決定の参照は、実際の値に精密に限定されるべきではなく、推定値、近似値、またはそれに値に近い値を含んでもよい。
図1
図2
図3
図4
図5
図6
図7A
図7B
図7C
図8A
図8B
図8C
図8D
図8E
図9A
図9B
図9C
図9D
図9E
図10
図11
図12A
図12B
図12C
図12D
図13A
図13B
図13C
図13D
図14A
図14B
図14C
図15A
図15B
図16A
図16B
図16C
図17A
図17B
図18A
図18B
図19A-1】
図19A-2】
図19B-1】
図19B-2】
図19C-1】
図19C-2】
図19D-1】
図19D-2】
図20
図21
図22A
図22B
図22C
図23A
図23B
図24
図25A
図25B
図25C
図25D
図26
図27
図28
図29A
図29B
図29C
図29D
図30