IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マジック リープ, インコーポレイテッドの特許一覧

特許7344896視認デバイスのコンポーネントの変形に起因する画像補正
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-06
(45)【発行日】2023-09-14
(54)【発明の名称】視認デバイスのコンポーネントの変形に起因する画像補正
(51)【国際特許分類】
   G09G 5/00 20060101AFI20230907BHJP
   G06F 3/0346 20130101ALI20230907BHJP
   G06T 19/00 20110101ALI20230907BHJP
   G06T 7/70 20170101ALI20230907BHJP
   G06T 7/60 20170101ALI20230907BHJP
   G09G 5/38 20060101ALI20230907BHJP
【FI】
G09G5/00 550C
G06F3/0346 423
G06T19/00 A
G06T7/70 Z
G06T7/60 150S
G09G5/00 550H
G09G5/38 100
【請求項の数】 15
(21)【出願番号】P 2020549034
(86)(22)【出願日】2019-03-15
(65)【公表番号】
(43)【公表日】2021-08-02
(86)【国際出願番号】 US2019022620
(87)【国際公開番号】W WO2019178567
(87)【国際公開日】2019-09-19
【審査請求日】2022-02-25
(31)【優先権主張番号】62/643,672
(32)【優先日】2018-03-15
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ニュースタイン, アダム
【審査官】塚本 丈二
(56)【参考文献】
【文献】特表2016-502120(JP,A)
【文献】国際公開第2017/051595(WO,A1)
【文献】米国特許出願公開第2014/0191946(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00-5/42
G09G 3/20-3/38
G06F 3/0346
G06T 7/70
G06T 7/60
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
レンダリングされたコンテンツを表示するための視認デバイスであって、前記視認デバイスは、
光学ディスプレイを含むディスプレイアセンブリであって、前記ディスプレイアセンブリは、前記ディスプレイアセンブリ上の選択された場所において仮想オブジェクトを表示するように構成されており、前記仮想オブジェクトを視認する眼は、予期される注視方向を有する、ディスプレイアセンブリと、
前記ディスプレイアセンブリに接続されている変形検出システムと
を備え、
前記変形検出システムは、
前記眼から反射された光を捕捉するように構成されている眼追跡カメラと、
前記眼追跡カメラによって捕捉された前記光に基づいて、前記ディスプレイアセンブリ上の前記仮想オブジェクトを視認する前記眼の測定された注視方向を計算することと、前記測定された注視方向に基づいて、前記ディスプレイアセンブリの変形を計算することとを行うように構成されている注視角度計算モジュールであって、前記注視角度計算モジュールによって計算される前記測定された注視方向は、前記眼追跡カメラの変形および前記光学ディスプレイの変形に起因する改変された注視方向であり、前記眼追跡カメラの変形に起因する前記改変された注視方向は現在の眼中心位置と最初の眼中心位置との間の前記眼追跡カメラに対する眼中心位置の差異から計算されるカメラ変形ベクトルによって表され、前記最初の眼中心位置は、前記ディスプレイアセンブリが変形されていないときの眼中心位置であり、前記光学ディスプレイの変形に起因する前記改変された注視方向は、前記測定された注視方向を表す合成ベクトルから前記カメラ変形ベクトルを差し引くことによって計算される、注視角度計算モジュールと
を含む、視認デバイス。
【請求項2】
前記視認デバイスは、前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続されている補正システムをさらに備え、
前記補正された場所における前記仮想オブジェクトを視認する前記眼の測定された注視方向は、補正された注視方向であり、
前記予期される注視方向と前記補正された注視方向との間の差異は、前記予期される注視方向と前記改変された注視方向との間の差異よりも小さい、請求項1に記載の視認デバイス
【請求項3】
前記光学ディスプレイは、ディスプレイ変形方向において変形され、前記改変された注視方向は、前記ディスプレイ変形方向において前記予期される注視方向に対して移動される、請求項1に記載の視認デバイス
【請求項4】
前記光学ディスプレイは、透明であり、前記仮想オブジェクトは、前記眼と対向する前記光学ディスプレイの側上の場所において前記眼によって視認可能である、請求項3に記載の視認デバイス
【請求項5】
前記予期される注視方向と前記改変された注視方向との間の差異は、第1の方向にあり、前記眼追跡カメラの変形に起因する前記測定された注視方向の変化は、第2の方向にあり、前記第1の方向および前記第2の方向は、相互に対して90度よりも小さく、
前記視認デバイスは、前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続されている補正システムをさらに備え、
前記補正された場所における前記仮想オブジェクトを視認する前記眼は、前記改変された注視方向から前記予期される注視方向に向かって移動される補正された注視方向を有する、請求項1に記載の視認デバイス
【請求項6】
前記予期される注視方向から前記改変された注視方向への変化は、第1の方向にあり、前記眼追跡カメラの変形に起因する前記測定された注視方向の変化は、第2の方向にあり、前記第1の方向および前記第2の方向は、相互に対して90度よりも大きいことによって分離される、請求項1に記載の視認デバイス
【請求項7】
前記視認デバイスは、前記ディスプレイアセンブリを用いて、前記改変された場所から前記仮想オブジェクトを移動させることなく前記仮想オブジェクトを表示するために、前記変形検出システムに接続されている補正システムをさらに備える、請求項6に記載の視認デバイス
【請求項8】
前記視認デバイスは、前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続されている補正システムをさらに備え、
前記補正された場所における前記仮想オブジェクトを視認する前記眼は、補正された注視方向である測定された注視方向を有し、前記補正された注視方向は、前記改変された注視方向から前記予期される注視方向に向かって移動される、請求項6に記載の視認デバイス
【請求項9】
前記視認デバイスは、前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続されている補正システムをさらに備え、
前記補正された場所における前記仮想オブジェクトを視認する前記眼は、前記ディスプレイアセンブリの変形に起因する前記測定された注視方向の変化と対向する方向に移動される補正された注視方向を有する、請求項に記載の視認デバイス
【請求項10】
前記変形検出システムは、
複数の測定された注視方向測定値を受信および分析するように構成されている統計システムと、
複数の注視方向を計算する注視角度計算ユニットであって、各注視方向は、個別の測定値に関する、注視角度計算ユニットと、
複数の実際の注視方向測定値に基づいて、前記改変された注視方向を決定する補正計算ユニットと
を含む、請求項1に記載の視認デバイス
【請求項11】
前記変形検出システムは、注意発生ユニットを含み、前記注意発生ユニットは、前記変形を検出する前に、前記仮想オブジェクトの表示を改変することと、ユーザの注意を前記仮想オブジェクトに引き付けることとを行うように構成されている、請求項1に記載の視認デバイス
【請求項12】
前記注意発生ユニットは、前記仮想オブジェクトの色を変更することによって、前記ユーザの注意を引き付けるように構成されている、請求項11に記載の視認デバイス
【請求項13】
前記注意発生ユニットは、前記仮想オブジェクトのサイズを縮小することによって、前記ユーザの注意を前記仮想オブジェクトに引き付けるように構成されている、請求項11に記載の視認デバイス
【請求項14】
レンダリングされたコンテンツを表示する方法であって、
光学ディスプレイを含むディスプレイアセンブリを用いて、前記ディスプレイアセンブリ上の選択された場所において仮想オブジェクトを表示することであって、前記仮想オブジェクトを視認する眼は、予期される注視方向を有する、ことと、
前記眼から反射された光を捕捉するように構成されている眼追跡カメラを用いて、前記ディスプレイアセンブリの変形を検出することであって、前記変形は、前記仮想オブジェクトを改変された場所において視認可能にさせ、前記眼は、改変された注視方向を有する、ことと、
注視角度計算モジュールを用いて、前記眼追跡カメラによって捕捉された前記光に基づいて、前記ディスプレイアセンブリ上の前記仮想オブジェクトを視認する前記眼の測定された注視方向を計算することと、
前記測定された注視方向に基づいて、前記ディスプレイアセンブリの変形を計算することであって、前記注視角度計算モジュールによって計算される前記測定された注視方向は、前記眼追跡カメラの変形および前記光学ディスプレイの変形に起因する前記改変された注視方向であり、前記眼追跡カメラの変形に起因する前記測定された注視方向は現在の眼中心位置と最初の眼中心位置との間の前記眼追跡カメラに対する眼中心位置の差異から計算されるカメラ変形ベクトルによって表され、前記最初の眼中心位置は、前記ディスプレイアセンブリが変形されていないときの眼中心位置であり、前記光学ディスプレイの変形に起因する前記改変された注視方向は、前記測定された注視方向を表す合成ベクトルから前記カメラ変形ベクトルを差し引くことによって計算される、ことと
を含む、方法。
【請求項15】
前記方法は、ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示することをさらに含み、
前記補正された場所における前記仮想オブジェクトを視認する前記眼は、前記改変された注視方向から前記予期される注視方向に向かって移動される補正された注視方向を有する、請求項14に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、その全てが、参照することによってその全体として本明細書に組み込まれる、2018年3月15日に出願された、米国仮特許出願第62/643,672号からの優先権を主張する。
【0002】
1)発明の分野
本発明は、概して、レンダリングされたコンテンツを表示する視認デバイスおよび方法に関し、より具体的には、視認デバイスのコンポーネントの変形を検出および補正することに関する。
【背景技術】
【0003】
2)関連分野の議論
レンダリングされた画像を提供する視認デバイスが、コンピューティング、エンターテインメント、および他の目的のために普及してきている。視認デバイスは、通常、画像をレンダリングするためのディスプレイを伴うウェアラブルデバイスであり、ユーザに3次元画像を見させ、実世界環境内のその場所を固定するかどうかを問わず、ユーザに実世界環境内でレンダリングを見させ、ビデオまたは他の移動するレンダリングをユーザに表示する能力等の種々の特徴を含み得る。
【0004】
視認デバイスは、その使用に起因して経時的に変形する種々のコンポーネントを有する。これらのコンポーネントが、変形すると、レンダリングされる仮想オブジェクトは、視認デバイスが、依然として新しいものであったときにも、その元々の場所にない場合がある。例えば、バックグラウンドアプリケーションは、視認デバイスに対して固定された場所において、またはユーザを囲繞する実世界オブジェクトに対して固定された場所において、仮想オブジェクトを表示し得る。いくつかの事例では、視認デバイスは、ユーザが、実世界オブジェクトを見て、実世界オブジェクトに対して固定された場所におけるレンダリングされたオブジェクトを知覚し得るように、シースルーディスプレイを有し得る。ユーザは、例えば、実世界のテーブル上のレンダリングされたコーヒーマグを知覚し得る。視認デバイスのコンポーネントが、変形すると、コーヒーマグは、もはやテーブル上にレンダリングされず、代わりに、テーブルの上方のある距離に浮かぶ場合がある。コーヒーマグは、したがって、現実に即した様式でユーザに表示されない。加えて、コーヒーマグが、ユーザがバックグラウンドアプリケーションと相互作用するためのインターフェース要素として使用される場合、バックグラウンドアプリケーションがコーヒーマグがあると予期する場所とユーザがコーヒーマグと相互作用する場所との間の不整合が、存在し得る。
【発明の概要】
【課題を解決するための手段】
【0005】
本発明は、ディスプレイアセンブリ上の選択された場所において仮想オブジェクトを表示するように構成される、ディスプレイアセンブリであって、仮想オブジェクトを視認する眼は、予期される注視方向を有する、ディスプレイアセンブリと、ディスプレイアセンブリに接続され、ディスプレイアセンブリ上の仮想オブジェクトを視認する眼の測定された注視方向を検出し、測定された注視方向が予期される注視方向と異なる改変された注視方向であることに基づいて、ディスプレイアセンブリの変形を計算するように構成される、変形検出システムとを含む、レンダリングされたコンテンツを表示するための視認デバイスを提供する。
【0006】
本発明はまた、ディスプレイアセンブリを用いて、ディスプレイアセンブリ上の選択された場所において仮想オブジェクトを表示するステップであって、仮想オブジェクトを視認する眼は、予期される注視方向を有する、ステップと、ディスプレイアセンブリの変形を検出するステップであって、変形は、仮想オブジェクトを改変された場所において視認可能にさせ、眼は、改変された注視方向を有する、ステップとを含む、レンダリングされたコンテンツを表示する方法を提供する。
例えば、本願は以下の項目を提供する。
(項目1)
レンダリングされたコンテンツを表示するための視認デバイスであって、
ディスプレイアセンブリ上の選択された場所において仮想オブジェクトを表示するように構成されるディスプレイアセンブリであって、前記仮想オブジェクトを視認する眼は、予期される注視方向を有する、ディスプレイアセンブリと、
変形検出システムであって、前記変形検出システムは、前記ディスプレイアセンブリに接続され、前記ディスプレイアセンブリ上の前記仮想オブジェクトを視認する前記眼の測定された注視方向を検出し、前記測定された注視方向が前記予期される注視方向と異なる改変された注視方向であることに基づいて、前記ディスプレイアセンブリの変形を計算するように構成される、変形検出システムと
を備える、視認デバイス。
(項目2)
前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続される補正システムをさらに備え、前記補正された場所における前記仮想オブジェクトを視認する前記眼の測定された注視方向は、補正された注視方向であり、前記予期される注視方向と前記補正された注視方向との間の差異は、前記予期される注視方向と前記改変された注視方向との間の差異を下回る、項目1に記載のシステム。
(項目3)
前記ディスプレイアセンブリは、光学ディスプレイを含み、前記変形は、前記光学ディスプレイの変形である、項目1に記載のシステム。
(項目4)
前記光学ディスプレイは、ディスプレイ変形方向において変形され、前記改変された注視方向は、前記ディスプレイ変形方向において前記予期される注視方向に対して移動される、項目3に記載のシステム。
(項目5)
前記光学ディスプレイは、透明であり、前記仮想オブジェクトは、前記眼と対向する前記光学ディスプレイの側上の場所において前記眼によって視認可能である、項目4に記載のシステム。
(項目6)
前記変形検出システムは、
前記眼から反射された光を捕捉するように構成される眼追跡カメラと、
注視角度計算モジュールであって、前記注視角度計算モジュールは、前記眼追跡カメラによって捕捉された前記光に基づいて、前記眼の測定された注視方向を計算するように構成される、注視角度計算モジュールと
を含む、項目3に記載のシステム。
(項目7)
前記注視角度計算モジュールによって計算される前記測定された注視方向は、前記眼追跡カメラおよび前記光学ディスプレイのうちの少なくとも1つの変形に起因する前記改変された注視方向である、項目6に記載のシステム。
(項目8)
前記予期される注視方向と前記改変された注視方向との間の前記差異は、第1の方向にあり、前記眼追跡カメラの変形に起因する前記測定された注視方向の変化は、第2の方向にあり、前記第1および第2の方向は、相互に対して90度を下回り、さらに、
前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続される補正システムを備え、前記補正された場所における前記仮想オブジェクトを視認する前記眼は、前記改変された注視方向から前記予期される注視方向に向かって移動される補正された注視方向を有する、項目7に記載のシステム。
(項目9)
前記予期される注視方向から前記改変された注視方向への変化は、第1の方向にあり、前記眼追跡カメラの変形に起因する前記測定された注視方向の変化は、第2の方向にあり、前記第1および第2の方向は、相互に対して90度を上回って分離される、項目7に記載のシステム。
(項目10)
前記ディスプレイアセンブリを用いて、前記改変された場所から前記仮想オブジェクトを移動させることなく前記仮想オブジェクトを表示するために、前記変形検出システムに接続される補正システムをさらに備える、項目9に記載のシステム。
(項目11)
前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続される補正システムをさらに備え、前記補正された場所における前記仮想オブジェクトを視認する前記眼は、補正された注視方向である測定された注視方向を有し、前記補正された注視方向は、前記改変された注視方向から前記予期される注視方向に向かって移動される、項目9に記載のシステム。
(項目12)
前記眼追跡カメラの変形に起因する前記測定された注視方向の変化を検出するための基準システムと、
補正計算ユニットであって、前記補正計算ユニットは、前記変形検出システムによって検出される前記注視角度の変化から、前記眼追跡カメラの変形に起因する前記測定された注視方向の変化を差し引くことによって、前記ディスプレイアセンブリの変形に起因する前記測定された注視方向の変化を決定する、補正計算ユニットと、
前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続される補正システムであって、前記補正された場所における前記仮想オブジェクトを視認する前記眼は、前記ディスプレイアセンブリの変形に起因する前記注視角度の変化と対向する方向に移動される補正された注視方向を有する、補正システムと
をさらに備える、項目11に記載のシステム。
(項目13)
前記変形検出システムは、
複数の測定された注視方向測定値を受信および分析するように構成される統計システムと、
複数の注視方向を計算する注視角度計算ユニットであって、各注視方向は、個別の測定値に関する、注視角度計算ユニットと、
複数の実際の注視方向測定値に基づいて、前記改変された注視方向を決定する補正計算ユニットと
を含む、項目1に記載のシステム。
(項目14)
前記変形検出システムは、前記変形を検出する前に、前記仮想オブジェクトの表示を改変し、ユーザの注意を前記仮想オブジェクトに引き付けるように構成される注意発生ユニットを含む、項目1に記載のシステム。
(項目15)
前記注意発生ユニットは、前記仮想オブジェクトの色を変更することによって、前記ユーザの注意を引き付けるように構成される、項目14に記載のシステム。
(項目16)
前記注意発生ユニットは、前記仮想オブジェクトのサイズを縮小することによって、前記ユーザの注意を前記仮想オブジェクトに引き付けるように構成される、項目14に記載のシステム。
(項目17)
レンダリングされたコンテンツを表示する方法であって、
ディスプレイアセンブリを用いて、前記ディスプレイアセンブリ上の選択された場所において仮想オブジェクトを表示することであって、前記仮想オブジェクトを視認する眼は、予期される注視方向を有する、ことと、
前記ディスプレイアセンブリの変形を検出することであって、前記変形は、前記仮想オブジェクトを改変された場所において視認可能にさせ、前記眼は、改変された注視方向を有する、ことと
を含む、方法。
(項目18)
ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示することをさらに含み、前記補正された場所における前記仮想オブジェクトを視認する前記眼は、前記改変された注視方向から前記予期される注視方向に向かって移動される、補正された注視方向を有する、項目17に記載の方法。
【図面の簡単な説明】
【0007】
本発明はさらに、実施例を用いて説明される。
【0008】
図1図1は、レンダリングされたコンテンツをユーザの眼に表示する、本発明のある実施形態による、視認デバイスを示す、ブロック図である。
【0009】
図2A図2Aは、眼および視認デバイスの光学ディスプレイの斜視図であり、光学ディスプレイは、変形されていない。
【0010】
図2B図2Bは、光学ディスプレイが変形されている、図2Aに類似する図である。
【0011】
図3A図3Aは、レンダリングされたオブジェクトの場所が確立される様子を図示する、斜視図である。
【0012】
図3B図3Bおよび3Cは、レンダリングされたオブジェクトが移動される様子を図示する、正面図である。
図3C図3Bおよび3Cは、レンダリングされたオブジェクトが移動される様子を図示する、正面図である。
【0013】
図3D図3Dは、レンダリングされたオブジェクトの場所がレーザプロジェクタによって提供される異なる挿入角度を使用して移動され得る様子を図示する、上部平面図である。
【0014】
図4図4は、潜在的注視ベクトル誤差を図示する、斜視図である。
【0015】
図5図5A-5Dは、仮想オブジェクトの可能性の高い場所およびその変位を補正するための仮想オブジェクトの増分移動を決定するための統計的アプローチを図示する。
【0016】
図6図6A-6Cは、ディスプレイ変形に起因する仮想オブジェクトの移動および仮想オブジェクトの移動の補正を図示する。
【0017】
図7図7A-7Eは、注視角度の対応する変化を伴うディスプレイ変形に起因する仮想オブジェクトの移動(図7A-7B)、計算された注視角度に対する眼追跡カメラの変形の効果(図7Cおよび7D)、および注視角度の補正(図7E)を図示する。
【0018】
図8図8A-8Dは、仮想オブジェクトの移動および注視ベクトルの対応する変化(図8Aおよび8B)および計算された注視角度に対する眼追跡カメラの変形の効果(図8Cおよび8D)を図示する。
【0019】
図9図9は、図8Dに表されるような結果として生じる注視角度の変化を調整するための1つのソリューションを図示する。
【0020】
図10図10A-10Cは、図8Dの結果として生じる注視角度を調整するための図9と異なるソリューションを図示する。
【0021】
図11図11は、図10A-10Cに示されるプロセスを統合する目的のために視認デバイスの基準システムをさらに図示する、図1に類似する図である。
【0022】
図12図12は、視認デバイスの機能を図示する、フローチャートである。
【0023】
図13図13は、本発明の一実施形態による、本発明システムにおける用途を見出し得るコンピュータの形態における機械のブロック図である。
【発明を実施するための形態】
【0024】
付随の図面の図1は、レンダリングされたコンテンツをユーザの眼22に表示するために使用される、本発明のある実施形態による、視認デバイス20を図示する。視認デバイス20は、ディスプレイアセンブリ24と、変形検出システム26と、ユーザ入力デバイス28と、補正システム30とを含む。
【0025】
ディスプレイアセンブリ24は、相互に直接または間接的に接続される、ビデオデータ受信機32と、プロジェクタ34と、光学ディスプレイ36とを含む。ディスプレイアセンブリ24は、ユーザの眼22の正面に光学ディスプレイ36を伴ってユーザの頭部に固着可能である構造(図示せず)を含む。光学ディスプレイ36は、眼22が光学ディスプレイ36の後方の実世界のオブジェクトを見ることを可能にし、現実および仮想オブジェクトと関連付けられる光が、ユーザに可視であるように、仮想画像をユーザに同時に投影し得る、透明コンポーネントである。
【0026】
ビデオデータ受信機32は、ピクセルの色および強度値を搬送するビデオデータチャネルに接続される、または接続可能である。プロジェクタ34は、ビデオデータに基づいて2次元パターンを作成することが可能である、レーザと、走査装置とを有する。光学ディスプレイ36は、プロジェクタ34のレーザがレーザ光を光学ディスプレイ36の中に結合するためのある位置に位置する。レーザ光は、次いで、光学ディスプレイ36を通して伝搬し、光学ディスプレイ36の瞳を通して、眼22に向かって光学ディスプレイ36から出射する。眼22は、したがって、光学ディスプレイ36の後方の実世界オブジェクトからの光およびプロジェクタ34によって発生される光を受光する。拡張現実ビューが、次いで、眼22の網膜38上に作成され、拡張現実ビューは、仮想コンテンツを表すプロジェクタ34によって作成される光と組み合わせられる、光学ディスプレイ36を通してユーザに可視である実世界シーンからの光を含む。
【0027】
変形検出システム26は、注意発生ユニット40と、入力トリガ42と、眼追跡カメラ44と、注視角度計算モジュール46と、統計システム48と、補正計算ユニット50とを含む。
【0028】
注意発生ユニット40は、ビデオデータ受信機32に接続される。注意発生ユニット40は、ビデオデータ受信機32に対するオーバーライド機能性を提供するように構成される。注意発生ユニット40は、例えば、眼22に、その注視角度を仮想オブジェクトに向けて指向させ、仮想オブジェクトに合焦させる目的のために、ビデオデータ受信機32によって受信されるデータストリーム内に仮想オブジェクトを挿入する、仮想オブジェクトの色を変更する、および/または仮想オブジェクトのサイズを縮小してもよい。注意発生ユニット40が、説明されるが、拡張現実システムを較正するための基礎として使用され得る仮想コンテンツが、概して、レンダリングシステムまたはモジュールによって提供されてもよい。
【0029】
入力トリガ42は、ユーザ入力デバイス28に接続され、ユーザ入力デバイス28を通したユーザ入力を検出する。ユーザ入力デバイス28は、例えば、ジョイスティック、ワンド、ユーザの身体部分を追跡するカメラ、ボタン、タッチパッド、センサ装備手袋、マウス、キーボード等のうちの1つ以上のものであってもよい。ユーザ入力デバイス28は、入力を入力トリガ42に提供する。
【0030】
眼追跡カメラ44は、眼22の画像を捕捉するためのある位置においてディスプレイアセンブリ24に搭載される。いくつかの実施形態では、眼あたり1つ以上のカメラが、ユーザの眼を撮像するために使用される。代替として、ユーザの眼の両方を含む画像を捕捉するために十分に広い角度を有する単一のカメラが、使用されてもよい。
【0031】
注視角度計算モジュール46は、眼追跡カメラ44および入力トリガ42に接続される。注視角度計算モジュール46は、眼追跡カメラ44によって捕捉される画像に基づいて、眼22の注視角度を計算する。注視角度計算モジュール46は、入力トリガ42に接続され、注視角度が、ユーザ入力が、検出されると、注視角度計算モジュール46によって計算されるように、入力トリガ42によってアクティブ化される。本システムは、計算された注視角度を使用して説明されるが、例えば、注視ベクトル、注視座標、視軸配向、または角膜中心場所等の任意の他の眼注視配向特性もまた、使用されてもよい。加えて、左眼および右眼からの注視データが、ユーザの眼が合焦される場所についての情報を集めるために、組み合わせて使用されてもよい。
【0032】
統計システム48は、注視角度計算モジュール46に接続され、多数の注視角度計算測定値を受信する。統計システム48は、入力トリガ42が、注視角度計算モジュール46をアクティブ化する度に、注視角度計算モジュール46から受信される注視角度を記録する。統計システム48は、したがって、ある時間周期にわたっていくつかの注視角度を収集する。統計システム48は、次いで、統計的に関連する注視角度、例えば、統計システム48によって記録される注視角度からの中央値の注視角度を計算する。代表的注視角度が、選択または計算されてもよく、仮想コンテンツを表示することと関連付けられる予期される注視角度との比較において使用されてもよい。代表的注視角度が、予期される注視角度と実質的に異なる場合、本システム内の変形が、起こっていると結論付けられる。
【0033】
補正計算ユニット50は、統計システム48に接続される。補正計算ユニット50は、注意発生ユニット40によって作成または修正されるレンダリングされた仮想オブジェクトの場所における所望の補正を計算する。
【0034】
補正システム30は、補正計算ユニット50に接続される。補正システム30は、補正計算ユニット50から補正データを受信する。ビデオデータ受信機32は、補正システム30に接続される。補正システム30は、注意発生ユニット40によって作成または修正される仮想オブジェクトの場所を修正する。補正システム30はまた、注意発生ユニット40によって発生および修正された仮想オブジェクトの場所が補正されるものと同一の量および方向だけ、ビデオストリーム内の全ての他のオブジェクトの場所を修正する。
【0035】
使用時、ユーザは、視認デバイス20を、光学ディスプレイ36を眼22の正面にして自身の頭部に取り付ける。ユーザは、次いで、透過光学ディスプレイ36を通して実世界オブジェクトを見ることができ、レンダリングされた仮想コンテンツを同時に視認することができる。
【0036】
ビデオデータ受信機32は、バックグラウンドアプリケーションからビデオデータを受信する。バックグラウンドアプリケーションは、例えば、動画、ゲーム、ウェブブラウザ、メニュー、ランチャ、2次元コンテンツ、3次元コンテンツ、または任意の他のタイプの仮想コンテンツを表示するための動画アプリケーションであってもよい。ビデオデータは、ビデオデータレートにおいて受信される画像のフレームを表すデータを含む。ビデオデータは、強度および色値を伴うピクセルを含む。ビデオデータ受信機32は、ビデオデータをプロジェクタ34に提供する。プロジェクタ34は、フレーム毎に2次元パターンを作成する。パターンは、レーザ光バンドルを含み、各バンドルは、個別のピクセルを表し、その強度および色は、変調されてもよい。プロジェクタ34は、直接、またはレンズ、ミラー、格子、または同等物を通して間接的にのいずれかで、パターンを光学ディスプレイ36の中に結合する。パターンは、光学ディスプレイ36を通して透過し、眼22に向かって光学ディスプレイ36から出射する。光ビーム54は、光学ディスプレイ36から眼22に向かって透過する光を表す。しかしながら、仮想オブジェクトを表す多くの光ビームは、網膜38によって受光される画像が、プロジェクタ34によって作成されるパターンに類似するように、光学ディスプレイ36から投影されることを理解されたい。いくつかの実施形態では、仮想オブジェクトは、仮想オブジェクトを表す光に適用される1つ以上の波面成形技法に起因して、3次元であるようにユーザによって知覚されてもよい。動的画像が、パターンがビデオデータ受信機32によってプロジェクタ34に提供されるデータの各フレームとともに連続的に変化する実施形態において、ユーザによって見られることができる。
【0037】
ビデオデータ受信機32によって受信されるビデオデータは、眼22の網膜38上に表示されるべき1つ以上のオブジェクトを表すデータを含む。ビデオデータ受信機32によって受信されるデータ内に表される仮想オブジェクトは、実際に、光学ディスプレイ36上に表示されてもよい。しかしながら、そのような仮想オブジェクトは、光学ディスプレイ36がシースルーディスプレイであること、および/または光学ディスプレイ36が主としてプロジェクタ34と眼22との間で光を指向するための導波管としての役割を果たすことを含む、いくつかの因子に起因して、光学ディスプレイ36の表面上で可視ではない、または容易に識別可能ではないことが、可能性として考えられる。ビデオデータ受信機32によってプロジェクタ34に提供されるビデオデータは、仮想オブジェクトが、光学ディスプレイ36の表面上で可視であり得ない場合であっても、依然として、オブジェクトを表すデータを含む。議論の目的のために、仮想オブジェクトまたは複数の仮想オブジェクトが、光学ディスプレイ36の表面上で可視であると仮定されるであろう。しかしながら、容易な例証のために、複数のオブジェクトが、光学ディスプレイ36の表面上に示されることを理解されたい。本発明は、主として、オブジェクトが実際に光学ディスプレイ36の表面上で可視であるか、または可視ではないかにかかわらず、同一である較正方法論を扱う。
【0038】
視認デバイスの通常動作の間、注意発生ユニット40は、ビデオデータ受信機32の通常動作に対してオーバーライド機能性を提供しない。全てのビデオデータは、変形検出システム26のいかなる干渉も伴わずに、あるビデオリフレッシュレートにおいてユーザに提示される。変形検出システム26は、1日あたり数回(例えば、1日あたり50~100回の継続使用)のみ、ビデオデータ受信機32の通常機能性にオーバーライドし、ビデオデータ受信機32が残りの時間にわたって中断することなく続行している間に測定を行う。ユーザ入力デバイス28および眼追跡カメラ44は、バックグラウンドアプリケーションに接続される。ビデオデータ受信機32の通常動作の間、ユーザは、ユーザ入力デバイス28を使用し、1つ以上の眼追跡カメラ44が眼22を監視し続けている間、バックグラウンドアプリケーションに命令を提供する、または別様に光学ディスプレイ36上にレンダリングされる仮想コンテンツと相互作用してもよい。ユーザは、例えば、ユーザ入力デバイス28を使用し、バックグラウンドアプリケーションが、ユーザが仮想オブジェクトを眺めているときを把握するために眼追跡カメラ44に依拠している間、光学ディスプレイ36を介してユーザに表示される仮想オブジェクトと相互作用してもよい。
【0039】
視認デバイス20の工場較正後に、ディスプレイアセンブリ24の変形は、殆どまたは全く存在しない。光学ディスプレイ36を使用して表示されるオブジェクトは、眼22の注視角度に対するその予期される場所にある。視認デバイス20の使用とともに経時的に、ディスプレイアセンブリ24を含む、またはそれに接続される、視認デバイス20のコンポーネントは、変形し始める。変形は、光学ディスプレイ36の変形、ヒンジの変形、および視認デバイス20をユーザの頭部に搭載する構造において使用される材料の変形において現れ得る。変形は、通常、ディスプレイアセンブリ24のコンポーネントに加えられる小さいまたは大きい応力およびディスプレイアセンブリ24のコンポーネントの材料の組み合わせに起因する。応力は、例えば、光学ディスプレイ36に接続される配線が、光学ディスプレイ36を引っ張るとき、ユーザが、視認デバイス20を自身の頭部に適合させる、またはこれを自身の頭部から除去するとき、およびユーザが、視認デバイス20を開梱または保管する目的のためにヒンジ、ばね、または他の動的コンポーネントを動作させるときに生成され得る。ディスプレイアセンブリ24のコンポーネントの材料性質は、応力が、反復されるとき、疲労を受け得、プラスチック材料は、経時的に応力を受けると、「クリープ」を被ることが公知である。視認デバイス20のいくつかの材料はまた、熱負荷を被り得、そのような温度の変化は、1つ以上のコンポーネントの変形に寄与し得る。変形の結果として、仮想オブジェクトが変形された視認デバイス20上でユーザに見える実際の場所は、それらの仮想オブジェクトの意図されるレンダリング場所ではない。その結果、ユーザの実際の注視は、ユーザが、その意図されるレンダリング場所においてレンダリングされた仮想コンテンツを眺めていたことになる場合に予期されるであろう注視と異なる。加えて、変形は、連続的であり、したがって、ユーザによって知覚されるような仮想オブジェクトのレンダリング場所は、意図されるレンダリング場所に対して経時的に移動し続けるであろうことが予期される。ディスプレイアセンブリ24は、最初に、選択された場所において仮想オブジェクトを表示し、眼22は、予期される注視方向を有する。ディスプレイアセンブリ24の変形は、仮想オブジェクトを改変された場所において視認可能にさせ、眼22は、改変された注視方向を有する。
【0040】
変形検出システム26の1つ以上のコンポーネントは、ディスプレイアセンブリの変形を検出するために、機能的および構造的にディスプレイアセンブリ24に接続されてもよい。補正システム30は、変形検出システム26に接続される。補正システム30は、ディスプレイアセンブリ24を用いて、補正された場所において仮想オブジェクトを表示する。仮想オブジェクトが、補正された場所において表示されると、補正された場所における仮想オブジェクトを視認する眼22は、改変された注視方向よりも予期される注視方向に近接して移動される、補正された注視方向を有する。変形検出システム26は、上記に説明される視認デバイス20の通常動作に対するオーバーライドまたは拡張機能性を提供する。変形検出システム26は、断続的に、例えば、連続動作の間に1時間あたり10~20回アクティブ化される。加えて、変形検出システム26は、数秒、例えば、3~7秒にわたってのみアクティブ化され、これは、測定を行い、調節を行うために必要とされるものと同程度に長い。視認デバイス20は、残りの時間の間に正常に動作する。
【0041】
変形検出システム26の機能は、ユーザ入力デバイス28が、入力トリガ42に接続され、眼追跡カメラ44が、眼22を監視し続けている間に注意発生ユニット40をアクティブ化することによって開始される。主として要求されるものは、ユーザが、注視ベクトル誤差を最小限にするために十分に小さい、バックグラウンドアプリケーションからビデオデータ受信機32によって受信されるレンダリングされたオブジェクトと相互作用することである。注意発生ユニット40はまた、ユーザの注意を引き、眼22を仮想オブジェクトが位置する小さい点に引き寄せることに役立つために、仮想オブジェクトの色を修正する、またはそのサイズを縮小してもよい。ビデオデータ受信機32は、仮想オブジェクトを表すデータをプロジェクタ34に提供する。プロジェクタ34は、次いで、光を発生させ、仮想オブジェクトを表す光をユーザによる視認のために光学ディスプレイ36に向かって投影する。
【0042】
注意発生ユニット40によって設置または修正されている仮想オブジェクトは、ユーザがユーザ入力デバイス28を使用してレンダリングされた仮想オブジェクトと相互作用することを要求する種類のものである。そのような仮想オブジェクトは、例えば、再生ボタン、標的、アプリケーション起動アイコン等であってもよい。ユーザが、レンダリングされた仮想オブジェクトと相互作用するためにユーザ入力デバイス28を使用するとき、ユーザの眼22は、光学ディスプレイ36上のそのレンダリングされた仮想オブジェクトを眺めていると仮定される。眼追跡カメラ44は、眼22の画像を捕捉し、画像データを注視角度計算モジュール46に提供する。ユーザ入力デバイス28は、入力トリガ42をアクティブ化し、これは、眼追跡カメラ44から受信されたデータを使用して、眼22の注視角度を計算するように注視角度計算モジュール46に命令する。注視角度計算モジュール46によって計算される注視角度は、ユーザによって知覚されるような光学ディスプレイ36上のレンダリングされた仮想オブジェクトの実際の場所を表す。
【0043】
注視角度計算モジュール46は、注視角度を統計システム48に提供する。統計システム48は、注視角度を記憶する。変形検出システム26が、2回目にアクティブ化されると、プロセスは、繰り返され、統計システム48は、第2の注視角度を記憶する。プロセスは、統計システム48が、統計システム48が統計的に関連する改変された注視角度を計算することを可能にするために十分な注視角度を記憶するまで繰り返される。統計システム48は、例えば、収集された注視角度から代表値、平均値、または中央値注視角度を計算してもよい。統計システムは、全ての測定値から統計的に関連する注視角度を計算し得るが、統計システムが、統計的に関連する注視角度を計算するためのデータ点として所定の誤差範囲(例えば、90分角(arc minute))外である注視角度のみを使用することが、好ましい。代替として、いくつかの実施形態では、増分補正を実施する前に統計的に決定された注視角度を計算するために複数の測定値を蓄積するのではなく、予期される注視角度の許容誤差外に位置すると決定される各測定された注視角度が、仮想コンテンツのレンダリング場所に対する増分補正をもたらしてもよい。
【0044】
統計システム48は、改変された注視角度を補正計算ユニット50に提供する。補正計算ユニット50は、注視角度を改変された注視角度から予期される注視角度に戻すために注視角度において必要とされる補正の量を決定する。補正計算ユニット50は、要求される補正の方向および量の両方を計算し、次いで、要求される補正のごくわずかな部分である実際の補正を計算する。補正計算ユニット50は、次いで、実際の補正を補正システム30に提供する。補正システム30は、補正をビデオデータ受信機32に提供する。ビデオデータ受信機32は、次いで、補正システム30から受信される実際の補正の方向および大きさに従って、注意発生ユニット40によって発生される仮想オブジェクトおよび全ての他のオブジェクトを移動させる。
【0045】
統計システム48は、改変された注視角度を補正計算ユニット50に提供する前に、多数の測定値、例えば、50~100個の測定値を要求してもよい。加えて、行われるいずれの補正も、ディスプレイアセンブリ24の変形に起因する注視角度の実際の変化のごくわずかな部分である。累積補正は、したがって、緩慢なプロセスである。実施例として、単一の補正のみが、1日に8時間の連続動作の間に行われてもよく、注視角度が予期される注視角度の許容範囲内に補正されるために、数日または数週間かかり得る。代替として、いくつかの小さい補正が、本デバイスの使用の間に行われてもよい。補正の回数は、ユーザが、注視角度計算およびレンダリング場所較正のために信頼性があると見なされる仮想コンテンツと相互作用する回数に依存し得る。そのような緩慢なプロセスは、間違いが生じる場合に再計算を可能にし、ディスプレイアセンブリ24の継続される変形を前提として、行われる必要性がある要求される補正を過剰に行うリスクを殆ど伴わずに、ディスプレイアセンブリ24の変形の継続される加速および減速を可能にする。
【0046】
図2Aでは、変形されていない形状60は、変形前の光学ディスプレイ36を表す。レンダリングされたオブジェクト62が、ユーザの注意を引き付けるために、光学ディスプレイ36内に設置される。ユーザが、レンダリングされたオブジェクト62を眺めるとき、実際の注視ベクトル64が、定義されることができる。実際の注視ベクトル64は、それに沿って眼22が仮想オブジェクトを視認する目的のために指向される方向または軸である。実際の注視ベクトルは、眼22の中心点22から眼の瞳孔の中心を通して延在する。実際の注視ベクトル64を計算するために、1つのアプローチは、最初に、眼22の実際の中心点22を計算することであろう。また、眼22の実際の中心点22を計算することなく、代わりに、その目的のために眼の他の解剖学的情報を使用して、実際の注視ベクトル64を計算することも、可能であり得る。予期される注視ベクトル64は、光学ディスプレイ36を通して延在し、ユーザは、レンダリングされたオブジェクト62を拡張されたオブジェクト68として知覚する。拡張されたオブジェクト68は、変形されていない形状70によって表される平面内に位置する。変形されていない形状70の平面は、光学ディスプレイ36の平面よりも遠いため、ユーザは、拡張されたオブジェクト68をレンダリングされたオブジェクト62よりも大きいと知覚し、変形されていない形状70によって定義されるフィールドを変形されていない形状60によって定義されるフィールドよりも大きいと知覚する。ユーザはまた、テーブル72を知覚する。ユーザが有する知覚は、拡張されたオブジェクト68によって図2Aに表されるレンダリングされた仮想コンテンツを用いて拡張されるテーブル72のものである。
【0047】
複数の赤外発光ダイオード(LED)74が、眼追跡システム内に含まれてもよい。各LED74は、眼22の表面上に個別の赤外スポット(「グリント」)76を形成する赤外光を透過する。参照番号78は、スポット76から眼追跡カメラ44に向かって反射する赤外光を表す。眼追跡カメラ44は、眼22の表面上にLED74によって作成されるスポットの全ての場所を捕捉する。スポット76の場所は、注視角度計算モジュール46によって、眼22の注視角度または注視ベクトルを計算するために使用される。いくつかの実施形態では、眼追跡カメラはまた、瞳孔の場所を捕捉してもよい。瞳孔場所データは、眼位置を決定するために、赤外グリントと組み合わせて使用されることができる。注視角度または注視ベクトルは、眼位置情報に基づいて計算または別様に決定されてもよい。
【0048】
予期される注視ベクトル64は、レンダリングされたオブジェクト62および拡張されたオブジェクト68の中心を通過するように図2Aに示される。参照番号82は、眼追跡カメラ44によって捕捉される、眼22から反射する光を表す。いくつかの実施形態では、眼追跡カメラ44は、したがって、眼の配向および瞳孔80の場所を捕捉する。注視角度計算モジュール46は、少なくとも、相互作用可能なレンダリングされた仮想コンテンツの場所を使用して、(図2Aにおいて予期される注視ベクトル64に一致する)実際の注視ベクトルを計算する。いくつかの実施形態では、光学ディスプレイ36に対する眼22の場所もまた、使用されてもよい。
【0049】
変形前注視角度を決定する目的のために測定を行うことは、必ずしも必要であるわけではない場合がある。例えば、視認デバイス20が、新しいとき、ディスプレイアセンブリ24は、変形されておらず、眼22の注視角度は、レンダリングされたオブジェクト62が、示されるように位置しているとき、予期される注視ベクトル64によって表されるようなものであると仮定されることができる。レンダリングされたオブジェクト62は、したがって、示されるように位置することができ、予期される初期注視ベクトル64は、いかなる付加的測定も伴わずに決定されることができる。予期される注視角度および実際の注視角度は、レンダリングされたコンテンツの場所に基づいて変化するであろう。「初期」注視角度または「変形前」注視角度が、計算され得るが、予期される注視ベクトルが、バックグラウンドアプリケーションから、または以前の計算から仮定されることができる。仮定された予期される注視角度と新しく計算されている実際の注視角度との間の差異が、次いで、計算されることができる。
【0050】
図2Bでは、形状86は、光学ディスプレイ36の変形を表す。光学ディスプレイ36の変形は、変形されていない形状60と比較されたときの形状86における差異によって表される。レンダリングされたオブジェクト62は、依然として、ディスプレイ上の同一の(x,y)場所にレンダリングされるが、ユーザに対するディスプレイの変形は、ユーザに、意図される場所と異なる場所においてコンテンツを知覚させる。変形に起因して、レンダリングされたオブジェクト62は、図2Aに示される場所にもはやないが、これは、ベクトル88によって表されるような距離および方向だけ移動している。レンダリングされたオブジェクト62は、したがって、レンダリングされたオブジェクト62の面積における光学ディスプレイ36の変形の結果である方向に移動している。改変された注視ベクトル90が、眼22とレンダリングされたオブジェクト62との間に定義される。ユーザは、レンダリングされたオブジェクト62を、形状92によって表されるような平面内の拡張されたオブジェクト68として視認する。形状92は、形状86と変形されていない形状60との間の変形に類似する様式で、変形されていない形状70に対して変形される。
【0051】
ユーザが、拡張されたオブジェクト68を眺めると、実際の注視ベクトル90は、眼22から、変形された形状92内の拡張されたオブジェクト68の場所まで通過する。本実施例では、実際の注視ベクトル90は、予期される注視ベクトル64と異なる。眼追跡カメラ44は、注視角度計算モジュール46が、実際の注視ベクトル90を計算し、これを予期される注視ベクトル64と比較し、ディスプレイアセンブリ変形が起こっているかどうかを推測し得るように、画像内の瞳孔場所および/またはグリント反射パターンに基づき得る、眼場所情報を捕捉し続ける。
【0052】
図3Aは、レンダリングされたオブジェクト62の場所が補正される様子を図示する。プロジェクタ34は、仮想画像またはオブジェクトと関連付けられる画像光94を、光学ディスプレイ36に向かって所定の角度において投影する。画像光94は、光学ディスプレイ36の一部として導波管101内またはその上に配置される、内部結合格子95、直交瞳エキスパンダ97、および射出瞳エキスパンダ99等の1つ以上の回折光学要素に遭遇してもよい。画像光94が、導波管101を通して伝搬するにつれて、回折光学要素は、光を異なる方法で再指向し、最終的に、画像光94が、射出瞳エキスパンダ99を通してユーザの眼22に向かって導波管から出射することをもたらす。ユーザの眼22は、ユーザがレンダリングされたオブジェクト62を知覚するために、網膜上のある場所に画像光94を集束させることができる。
【0053】
図3Bおよび3Cを参照すると、画像光94として投影される画像の2つの実施例が、示される。図3Bでは、仮想コンテンツオブジェクト115が、画像94aの中心に示される。画像94aが、変形されていない光学ディスプレイ36に向かって投影され、そのコンポーネントを通して進行するとき、ユーザは、視野の中心にある仮想コンテンツオブジェクト115を見るであろう。しかしながら、画像94aが、変形されたディスプレイに向かって投影される場合、仮想コンテンツオブジェクト115は、例えば、これが、もはや視野の中心にないように、右に偏移したようにユーザによって知覚され得る。変形によって引き起こされ、予期される注視ベクトルおよび実際の注視ベクトルを比較することによって検出される偏移を補正するために、画像94bが、画像94aの代わりに投影されてもよい。画像94bでは、仮想コンテンツオブジェクト115は、光が、右方向偏移において変形されたディスプレイから出射すると、ディスプレイの右偏移が、コンテンツの左偏移を相殺し、仮想コンテンツオブジェクト115が、視野の中心にあるようにユーザに見えるように、画像の左に向かって偏移される。ピクセル偏移は、LEDまたは他の類似する光源を使用して、プロジェクタ34内の空間光変調器(SLM)の異なるピクセルを点灯させることによって遂行されてもよい。そのような調節方法では、実際のおよび予期される注視角度または注視ベクトルを表示座標系に変換することが、有用であり得る。例えば、本システムは、ユーザの注視が、座標(x1,y1)におけるピクセルに集中することを予期し得るが、ユーザの注視が、実際には、表示座標系において座標(x2,y2)におけるピクセルに集中されることを見出す。そのような方法では、ピクセル偏移は、予期される視認座標とユーザの注視ベクトルによって決定されるような実際の視認座標との間の差異に等しい、かつそれと対向する量だけ調節されることができる。仮想コンテンツのレンダリング場所を調節するための代替手段もまた、使用されてもよい。
【0054】
いくつかの実施形態では、図3Dに示されるように、補正は、プロジェクタ34自体を調節することによって遂行されてもよい。完全な補正に関して、レンダリングされたオブジェクト62のレンダリング場所は、場所100から、ベクトル102によって表される方向において、補正された場所104に移動する必要性がある。完全な補正に関して、プロジェクタ34は、レンダリングされたオブジェクト62が、視野内の意図される場所のより近傍で視認可能であるように、調節された角度において光106を光学ディスプレイ36の回折光学要素の中に挿入してもよい。ユーザは、場所100からベクトル102に沿って場所104に向かって移動したようにレンダリングされたオブジェクト62を知覚するであろう。しかしながら、完全な補正は、行われない。代わりに、レンダリングされたオブジェクト62は、ベクトル102によって表される方向に沿って場所100と場所104との間の距離のわずかな部分だけ移動される。プロジェクタ34は、部分的補正を行う目的のために、したがって、画像光94よりもわずかに急であるが、光106ほど急ではない角度において光を挿入する。
【0055】
図4は、2つのユーザ相互作用事象における潜在的な注視ベクトル誤差120および122を図示する。解剖学的に、眼は、これが、拡張されたオブジェクト68等の静的画像に合焦されているとき、連続的に移動している。自然な眼移動は、典型的には、眼の選択された解剖学的マーカ、例えば、眼22の中心点66から拡張されたオブジェクト68への直接経路に対応する、中心注視ベクトルからの約60分角の誤差または逸脱をもたらす。いくつかの実施形態では、注視ベクトルは、眼の角膜の中心から拡張されたオブジェクト68への直接経路として定義されてもよい、または眼の視軸の延長として定義されてもよい。ユーザが、拡張されたオブジェクト68を眺める場合、注視ベクトル90から60分角半径を有する予期される注視ベクトル範囲内の注視ベクトルは、拡張されたオブジェクト68の場所に向かって指向されていると見なされてもよい。図1の注視角度計算モジュール46はまた、所与の眼サイズ、形状等に関するある程度の誤差を有してもよく、そのような付加的誤差は、例えば、約30分角を予期される注視ベクトル範囲半径に追加することができる。ユーザが、拡張されたオブジェクト68を眺めており、計算される注視ベクトルが、注視ベクトル90の90分角半径以内であると決定されるとき、本システムは、十分に較正されていると見なされる。
【0056】
1つの課題は、注視ベクトルにおける誤差の比較的に大きい90分角半径が、拡張されたオブジェクト68の実際の知覚される位置の厳密な場所を決定することを困難にすることである。潜在的誤差を考慮するために、図1の統計システム48は、傾向を発見するために、複数のデータ点を収集してもよい。決定された注視ベクトルにおける傾向は、ある程度の量の変形を有するシステムによって表示されるような拡張されたオブジェクト68の実際の知覚される位置の可能性が高い場所を発見するために蓄積される。眼運動またはアルゴリズム誤差に起因して雑音である位置不一致の量および図1のディスプレイアセンブリ24の実際の変形に起因する量が、依然として不確かであるため、注視方向の完全な補正は、実行されない。実施例として、補正増分は、0.01~0.5分角、例えば、0.1分角であり得る。代替として、補正増分量は、検出される変形の量に基づき、より大きい変形は、より大きい増分を必要とし得る。実施例として、補正増分は、検出される変形量よりも2桁小さくてもよい。
【0057】
図5A-5Dは、展開され得る多くのシナリオのうちの1つを図示する。図5Aでは、場所124A-124Cを指す、いくつかの注視ベクトル測定が、行われる。場所124A-124Cの空の円は、計算された測定された注視角度を表す。場所126の暗い円は、これが、本システムが仮想オブジェクトがあると予期した場所であることを示す。測定された注視ベクトル場所124A-124Cは、仮想オブジェクトが現在位置している可能性が高い場所の統計的に関連する場所130を計算するために本システムによって使用される。場所124A-124Cにおける測定された注視ベクトルは、仮想オブジェクトが、初期の予期される場所126から、ベクトル128によって表されるような方向において、統計的に決定された改変された場所130に移動している場合があることを示す。図5Bでは、仮想オブジェクトレンダリング位置は、ベクトル128によって表される方向と対向し、大きさにおいてより小さい、ベクトル132によって表される方向に移動される。仮想オブジェクトは、場所130に位置し、新しい場所134に、ベクトル132の方向に沿って、予期されるレンダリング場所126に向かって移動されたと仮定される。
【0058】
図5Cでは、さらなるデータ点124D-124Gが、収集され、これらは、仮想オブジェクトが改変された場所136に位置すると統計的に決定する。場所136は、場所130と対向する場所126の側上にある。オブジェクト場所の変化は、ディスプレイシステムの継続された変形の結果であり得る。また、仮想オブジェクトが場所130にあった、および/または仮想オブジェクトが対向する方向に移動したと決定するとき、誤差が、図5Aにおける雑音が多いデータに起因して生じたことが、可能性として考えられる。図5Bに示されるようなベクトル132によってレンダリング場所を調節するとき、仮想オブジェクトが、実際には、図5Cに示されるような場所136にあるように知覚された場合、図5Bの不正確な再較正を通して、仮想オブジェクトが、新しい場所138に移動されている場合があることが可能性として考えられることが分かり得る。図5Bのベクトル132の場所は、したがって、本システムが、これが図5Bの時点で仮想オブジェクトを移動させていたと「考えた」様子を表すが、ベクトル132が、図5Cにおいて異なる場所にあり、ここでより多くのデータが仮想オブジェクトの場所を分析する目的のために利用可能であるため、仮想オブジェクトが図5Bの時点で移動された可能性がより高い様子を表すことがここで分かり得る。ベクトル132は、図5Bおよび5Cにおいて同一の大きさおよび方向を有する。図5Bと5Cとの間のベクトル132における唯一の差異は、ベクトル132の場所が異なることであり、図5Bのベクトル132の場所は、本システムが、これが仮想オブジェクトを移動させていたと考えた様子を表し、図5Cのベクトル132の場所は、仮想オブジェクトが図5Cにおいて移動されたときに起こった可能性が高い内容を表す。図5Cでは、図5Bに遡られ得る、場所136から、ベクトル132によって表される方向における、場所138への仮想オブジェクトの移動は、仮想オブジェクトが、これにより近傍する代わりに、予期される場所126からより遠くに移動されたため、誤差であったことが分かり得る。そのような実施例では、完全な調節ではなく、増分調節が行われることが、有利である。
【0059】
図5Dでは、さらなるデータ点124H-124Lが、収集され、これらは、仮想オブジェクトが新しい場所140にある可能性が高いと示す。ベクトル132は、図5Dにおいて、図5Cにおけるものとその同一の場所にあり、図5Bの時点で生じた誤差を表す。場所140は、場所138を通過しており、仮想オブジェクトをベクトル132によって表される方向において場所138に移動させることによって生じた間違いは、したがって、解消された。
【0060】
図5A-5Dは、展開され得るあらゆる可能性として考えられるシナリオを図示しておらず、単に、ディスプレイアセンブリ24の変形に起因する仮想オブジェクトの全ての移動を補正することを試みる単一の大きい移動と対照的に、小さい増分において仮想オブジェクトを移動させることによって、雑音が多いデータに基づいて行われ得る不正確な調節が、ユーザに顕著になることを防止されることを図示する役割を果たす。
【0061】
図6Aは、実世界のテーブル72と、例えば、図2Bの形状70および92の平面における拡張されたオブジェクト68であり得る、コーヒーマグの形態におけるレンダリングされたオブジェクトとを含む、ユーザによって見られるようなビューを図示する。コーヒーマグは、ベクトル150によって表されるようにユーザのビュー内で移動されている。ベクトル150における指定「ディスプレイ」は、変形されていない形状、すなわち、ベクトル150によって示されるような仮想オブジェクトの移動が図1のディスプレイアセンブリ24の変形に起因することを示す。
【0062】
図6Bは、図1の眼追跡カメラ44のビューに基づいて、図1の注視角度計算モジュール46によって計算されるような注視角度の移動を図示する。図1のディスプレイアセンブリ24の変形は、ベクトル152によって示される方向における眼追跡カメラ44によって測定されるような注視角度の移動をもたらす。図6Aおよび6Bのベクトル150および152は、相互に等しい。図6Bにおいて計算される注視角度の移動は、したがって、図4を参照して説明されるような眼および追跡アルゴリズムの許容範囲に従って、図6Aに示されるようなユーザの視界内の仮想オブジェクトの移動と同一である。
【0063】
図6Cでは、仮想オブジェクトは、ベクトル154によって示される方向に増分的に移動される。ベクトル154は、ベクトル152と対向する方向にあるが、各ベクトルは、ベクトル152の長さの一部にすぎない。ベクトル154の和は、対向する方向にあることを除いて、ベクトル152に等しい。仮想オブジェクトが、全てのベクトル154の距離全体だけ移動される場合、仮想オブジェクトは、経時的に、図6Aに示されるようなディスプレイアセンブリ24の変形前のその位置に戻され、ディスプレイ変形に起因する仮想オブジェクトの以前の移動が、考慮される。
【0064】
図6A-6Cは、図1の眼追跡カメラ44のいかなる変形も存在しないシナリオを図示する。眼追跡カメラ44のいかなる変形も、存在しないため、眼追跡カメラ44によって行われる測定は、上記に議論される許容範囲に従って、ディスプレイに対するユーザの眼22の実際の注視角度に合致する注視角度の測定をもたらす。
【0065】
図7A-7Eは、図1の眼追跡カメラ44の変形がディスプレイの変形と組み合わせて有し得る効果を集合的に図示する。図7Aは、カメラの変形が、考慮されない場合、図1のディスプレイアセンブリ24の変形に起因するユーザのビュー内の仮想オブジェクトの移動を図示する。図7Aは、したがって、図6Aと同一である。眼追跡カメラ44のいかなる変形も、図7Aに図示されるようなユーザの視界内の仮想オブジェクトの位置付けに影響を及ぼさないが、ディスプレイに関して計算される注視ベクトルに影響を及ぼすことに留意されたい。したがって、カメラ変形もまた、存在し、カメラ変形の影響が、考慮される場合であっても、図7Aは、依然として、ユーザの視界内の仮想オブジェクトの移動を表すであろう。
【0066】
図7Bは、図7Aのように、カメラ変形の影響を考慮しない場合、眼追跡カメラ44から受信される画像データに基づいて、図1の注視角度計算モジュール46によって計算されるような注視角度の移動を図示する。図7Bは、したがって、眼追跡カメラ44のいかなる変形も仮定せず、したがって、図6Bと同一である。
【0067】
図7Cは、眼追跡カメラ44の変形の効果を考慮するが、ディスプレイの変形の効果を伴わないときの計算される注視角度の効果を図示する。図2Aを参照すると、眼追跡カメラ44の変形は、眼追跡カメラ44のビュー内の眼22の位置測定値における誤差を引き起こす。眼追跡カメラ44におけるそのような誤差は、眼追跡カメラ44が図1の注視角度計算モジュール46に提供する画像データの変化を引き起こす。注視角度計算モジュール46によって計算される注視角度は、したがって、眼追跡カメラ44の変形によって影響を受ける。図7Cは、眼追跡カメラ44の変形に起因して計算され、ベクトル156によって表される、注視角度の移動を図示する。カメラ変形によって引き起こされるディスプレイに関する注視角度正確度の誤差は、通常、比較的に小さい。カメラ変形に起因する注視角度の移動は、典型的には、ディスプレイ変形に起因する注視角度の移動の約1/20ほどである。
【0068】
図7Dは、ベクトル152および156の合成158を図示する。本実施例では、カメラ変形の効果を表すベクトル156は、ディスプレイ変形を表すベクトル152の90°未満の角度にある。合成158のベクトルは、したがって、ディスプレイ変形の効果を表すベクトル152よりも長い。
【0069】
図7Eでは、仮想オブジェクトは、ベクトル160によって表されるように、ユーザの視界内で移動される。各ベクトル160は、図7Dの合成58と対向する方向にある。仮想オブジェクトは、ユーザが、適格である仮想オブジェクトと相互作用する度に、増分において移動される。数日または数週間の周期にわたって、補正ベクトル160は、解剖学的眼の許容範囲内の合成158に加えて、追跡アルゴリズムによって要求される任意の許容範囲を合計する。前述のように、カメラ変形の効果は、比較的に小さい。仮想オブジェクトは、したがって、図7Eに示されるその場所よりも図7Aに示されるその場所に近接する場所から移動される。テーブル72上に位置しているようにユーザに見えることが意図される仮想コーヒーマグの場合では、コーヒーマグは、したがって、テーブルの上に、またはテーブルの上に非常に近接して戻るであろう。
【0070】
図8Aおよび8Bは、図7Aおよび7Bに類似する。図8Cでは、カメラ変形の効果は、ベクトル164によって表されるような注視角度の移動をもたらす。ベクトル164とベクトル152との間の角度は、90°を上回る。
【0071】
図8Dは、合成ベクトル166を図示する。合成ベクトル166は、ディスプレイ変形およびカメラ変形に起因する注視角度の計算された変化を表す。合成ベクトル166は、ディスプレイ変形の効果を表すベクトル152よりも小さい。ディスプレイ変形およびカメラ変形の効果は、図8Dにおいて「対向する」方向にあり、図7Dにおいて「同一の」方向にあると考えられることができる。
【0072】
図9は、ディスプレイ変形の効果およびカメラ変形の効果が、計算された注視角度に対して対向する方向にあるときの1つの可能性として考えられるソリューションを図示する。図1の補正システム30は、仮想オブジェクトの位置付けを修正しない。ユーザは、例えば、「再生」ボタンがテーブル上に位置するか、またはテーブルの上方のある距離に浮かんでいるかを気にしなくてもよい。加えて、再生ボタンは、バックグラウンドアプリケーションのためのインターフェース要素として適切に機能するはずである。
【0073】
図10A-10Cは、図9のソリューションの代替としてのソリューションを図示する。図10Aでは、カメラの変形に起因する注視角度変化は、視認デバイスが、「アウトオブボックス」状態とも称される、依然として新しいときに開始されるように計算される。カメラ変形に起因する眼追跡カメラに対する計算された眼位置の変化は、眼追跡カメラ44および発生された眼追跡画像のデータ分析を使用して、周期的に決定される。任意の特定の時点における眼位置または眼中心を計算するための方法論は、図2Aを参照して説明される方法論に類似する。眼22の画像は、1つ以上の眼追跡カメラに対する各眼の眼中心位置を計算するための基礎としての役割を果たし続ける。収集された画像フレーム内の眼中心位置の変化は、眼に対する眼追跡カメラの場所の変化に帰することができる。デバイス適合およびユーザが本デバイスを装着する方法の一貫性と関連付けられるある程度の誤差が、存在するが、データ分析における複数の画像フレームの使用は、眼追跡カメラ変形を決定する正確度を改良する。例えば、本デバイスの設定段階の間に撮影された眼追跡画像から計算される眼中心は、ある座標場所(x,y,z)にあるように決定される。経時的に、眼追跡カメラ変形が、カメラが、わずかに下向きに傾斜するように起こり得る。変形された眼追跡カメラを用いて捕捉された画像内の眼の位置は、眼中心が、眼追跡画像内のより高いy軸場所に、例えば、座標場所(x,y+1,z)にあるように示されるように変化するであろう。2つの座標場所の間の変化は、眼追跡カメラにおける変化に連結され、その差異は、ディスプレイ上の仮想コンテンツのレンダリング場所を補正するために使用されることができる。眼追跡カメラ変形は、ベクトル170として図10Aに表され、1、2、または3次元において起こり得る。
【0074】
眼追跡カメラ44は、連続的に、例えば、1秒あたり30フレームのレートにおいて実行される。眼追跡カメラ44の変形を決定する際、データ収集が行われるために特定の仮想コンテンツレンダリングとユーザが相互作用することを待機することは、必要ではない。画像データのストリームが、任意の所与の時点でベースラインとの比較のために利用可能であってもよい。ベースラインデータと比較するための眼追跡カメラ44からのデータ点のセットの使用は、ロバストなシステムを提供する。例えば、眼追跡カメラ44からの少なくとも最後の10枚の画像の使用は、1つまたは2つのみの画像の使用に優って正確度を改良することができる。
【0075】
図10Bは、ベクトル166がベクトル152および170の和であることを図示する。ベクトル152は、ベクトル166からカメラ変形ベクトル170を差し引くことによって計算されることができる。ベクトル152は、仮想オブジェクトの場所に対するディスプレイ変形の効果を表すため、仮想オブジェクトは、ベクトル152と対向する方向に移動されることができる。
【0076】
図10Cでは、仮想オブジェクトは、ベクトル172によって表されるように増分的に移動される。ベクトル172の和は、対向する方向にあることを除いて、ベクトル152に等しい。
【0077】
図11に示されるように、視認デバイス20はさらに、図10A-10Cに示されるような計算を行う目的のための基準システム180を含んでもよい。基準システム180は、瞳孔間距離、眼中心場所、デバイス適合情報、眼形状情報、視軸場所等の多くのベースライン計算、画像、および/または測定を含んでもよい。基準システム180は、視認デバイス20が、依然として新しいときに計算される、アウトオブボックス基準注視角度182を含む。アウトオブボックス基準注視角度182は、メモリ内に記憶される。基準システム180はさらに、メモリ内に記憶される更新された注視角度184を有する。更新された注視角度184は、周期的ベースで計算され、直近で計算された注視角度を表す。基準システム180はさらに、カメラ変形に起因する注視角度の変化186を含む。変化186は、更新された注視角度184とアウトオブボックス基準注視角度182との間の差異である。変化186は、ベクトル170の和によって図10Aに表される。補正計算ユニット50は、図10Bにおけるベクトル152を計算するように機能する。図11の視認デバイス20の他の側面は、図1の視認デバイスと同一であり、類似する参照番号は、類似するコンポーネントを示す。アウトオブボックス基準注視角度は、比較のためのベースラインであるように説明されるが、任意の他の眼の特性、測定、計算、または画像が、アウトオブボックス基準注視角度の代わりに、またはそれに加えて使用されてもよい。
【0078】
図12は、本明細書に前述で説明されるような方法を図示する。200において、仮想オブジェクトが、選択された場所において表示され、仮想オブジェクトを視認する眼が、予期される注視方向を有する。202において、予期される注視ベクトル範囲が、選択された場所に基づいて決定される。204において、ユーザ相互作用事象が、検出され、ユーザは、仮想オブジェクトと相互作用する。206において、眼から反射された光が、眼追跡カメラを用いて捕捉される。208において、改変された注視ベクトルが、眼追跡カメラによって捕捉された光に基づいて計算される。210において、決定された改変された注視ベクトルと予期される注視ベクトル範囲との間の比較が、行われる。要素200-210は、要素212に、すなわち、ディスプレイアセンブリの変形を検出するためにグループ化されることができ、変形は、仮想オブジェクトを改変された場所において視認可能にさせ、眼は、改変された注視方向を有する。要素200-210として列挙される具体的要素を伴わずに要素212を実行することが、可能であり得る。さらに、注視ベクトルが、計算されるが、注視ベクトルの計算を要求するもの以外の方法を使用して注視方向を決定することが、可能であり得る。
【0079】
214において、実際の注視ベクトルが注視ベクトルの範囲外であるかどうかの決定が、行われる。214における決定が、否定的である場合、プロセスは、200に戻る。214における決定が、肯定的である場合、仮想コンテンツレンダリング場所の補正量および方向量が、計算される。220において、仮想コンテンツレンダリング場所は、計算された補正量および方向によって調節される。要素218および220は、要素222に、すなわち、補正された場所における仮想オブジェクトの表示のためにグループ化されることができ、補正された場所における仮想オブジェクトを視認する眼は、改変された注視方向よりも予期される注視方向に近接して移動される、補正された注視方向を有する。
【0080】
図13は、その中で、機械に本明細書に議論される方法論のうちのいずれか1つ以上のものを実施させるための命令のセットが実行され得る、コンピュータシステム900の例示的形態における機械の図表現を示す。代替実施形態では、機械は、スタンドアロンデバイスとして動作する、または他の機械に接続(例えば、ネットワーク化)されてもよい。さらに、単一の機械のみが、図示されるが、用語「機械」はまた、本明細書に議論される方法論のうちのいずれか1つ以上のものを実施するための命令のセット(または複数のセット)を個々に、または共同で実行する、機械の任意の集合を含むように解釈されるものとする。
【0081】
例示的コンピュータシステム900は、バス908およびレーザドライバチップ12または他の光源ドライバを介して相互に通信する、プロセッサ902(例えば、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、または両方)、主要メモリ904(例えば、読取専用メモリ(ROM)、フラッシュメモリ、同期DRAM(SDRAM)またはラムバスDRAM(RDRAM)等のダイナミックランダムアクセスメモリ(DRAM)等)、および静的メモリ906(例えば、フラッシュメモリ、スタティックランダムアクセスメモリ(SRAM)等)を含む。
【0082】
コンピュータシステム900はさらに、ディスクドライブユニット916と、ネットワークインターフェースデバイス920とを含んでもよい。
【0083】
ディスクドライブユニット916は、その上に本明細書に説明される方法論または機能のうちのいずれか1つ以上のものを具現化する命令924(例えば、ソフトウェア)の1つ以上のセットが記憶される、機械可読媒体922を含む。ソフトウェアはまた、コンピュータシステム900によるその実行の間に、完全に、または少なくとも部分的に、主要メモリ904内および/またはプロセッサ902内に常駐してもよく、主要メモリ904およびプロセッサ902もまた、機械可読媒体を構成する。
【0084】
ソフトウェアはさらに、ネットワークインターフェースデバイス920を介してネットワーク928を経由して伝送または受信されてもよい。
【0085】
機械可読媒体924は、単一の媒体であるように例示的実施形態に示されるが、用語「機械可読媒体」は、命令の1つ以上のセットを記憶する単一の媒体または複数の媒体(例えば、集中または分散データベースおよび/または関連付けられるキャッシュおよびサーバ)を含むように解釈されるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶する、エンコードする、または搬送することが可能であり、機械に、本発明の方法論のうちのいずれか1つ以上のものを実施させる、任意の媒体を含むように解釈されるものとする。用語「機械可読媒体」は、それに応じて、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むように解釈されるものとする。
【0086】
レーザドライバチップ12は、データストア161と、その独自のプロセッサ162とを含む。データストア161は、レーザ源の動作に特有である命令およびデータ構造を記憶するために使用される。プロセッサ162は、データストアから命令を読み出し、レーザ源が、レーザ光を発生させるようにレーザ源を駆動するルーチンを実行するためのデータ構造へのアクセスを有する。レーザ源は、ビデオデータ等のデータを受信するプロジェクタの一部を形成する。走査装置が、プロジェクタの一部を形成し、プロジェクタが、2次元面積にわたって、およびいくつかの事例では、3次元空間内にレーザ光を表示することを可能にし、プロジェクタによって作成される任意のパターン、色、彩度、および他の光品質は、ビデオデータ内の値に基づく。
【0087】
レーザ源およびレーザドライバチップ12が、例証および議論されたが、他のディスプレイシステムを使用することも、可能であり得る。他のディスプレイシステムは、例えば、発光ダイオード(LED)技術、有機発光ダイオード(OLED)技術、高輝度発光ダイオード(SLED)、または同等物を利用するディスプレイを含んでもよい。
【0088】
ある例示的実施形態が、説明され、付随の図面に示されたが、そのような実施形態は、単に、本発明の例証であり、その制限ではなく、本発明は、修正が、当業者に想起され得るため、示され、説明される具体的構造および配列に制限されないことを理解されたい。
図1
図2A
図2B
図3A
図3B
図3C
図3D
図4
図5A
図5B
図5C
図5D
図6
図7
図8
図9
図10
図11
図12
図13