IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マジック リープ, インコーポレイテッドの特許一覧

特開2023-133345視認システムのホモグラフィ変換行列ベースの温度較正
<>
  • 特開-視認システムのホモグラフィ変換行列ベースの温度較正 図1
  • 特開-視認システムのホモグラフィ変換行列ベースの温度較正 図2
  • 特開-視認システムのホモグラフィ変換行列ベースの温度較正 図3
  • 特開-視認システムのホモグラフィ変換行列ベースの温度較正 図4
  • 特開-視認システムのホモグラフィ変換行列ベースの温度較正 図5
  • 特開-視認システムのホモグラフィ変換行列ベースの温度較正 図6
  • 特開-視認システムのホモグラフィ変換行列ベースの温度較正 図7
  • 特開-視認システムのホモグラフィ変換行列ベースの温度較正 図8
  • 特開-視認システムのホモグラフィ変換行列ベースの温度較正 図9
  • 特開-視認システムのホモグラフィ変換行列ベースの温度較正 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133345
(43)【公開日】2023-09-22
(54)【発明の名称】視認システムのホモグラフィ変換行列ベースの温度較正
(51)【国際特許分類】
   G09G 5/00 20060101AFI20230914BHJP
   G02B 27/02 20060101ALI20230914BHJP
   H04N 5/64 20060101ALI20230914BHJP
   G06T 19/00 20110101ALI20230914BHJP
【FI】
G09G5/00 550C
G09G5/00 550D
G02B27/02 Z
H04N5/64 511A
G06T19/00 F
【審査請求】有
【請求項の数】1
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023114940
(22)【出願日】2023-07-13
(62)【分割の表示】P 2020567766の分割
【原出願日】2019-06-03
(31)【優先権主張番号】62/681,063
(32)【優先日】2018-06-05
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】レイ ジャン
(57)【要約】
【課題】好適な視認システムのホモグラフィ変換行列ベースの温度較正を提供すること。
【解決手段】複数の温度と、複数のホモグラフィ変換行列とを含む、較正セットが、記憶デバイス上に記憶され、各個別のホモグラフィ変換行列は、個別の温度に関するものである。温度が、検出される。ホモグラフィ変換行列の個別のものは、温度に合致する温度に関して選択される。幾何学的変化が、選択されたホモグラフィ関係に基づいて計算される。ローカルコンテンツを表すデータが、受信される。ローカルコンテンツのレンダリングが、幾何学的変化に基づいて生成され、ユーザに表示される。
【選択図】図1
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、その全てが、参照することによってその全体として本明細書に組み込まれる、2018年6月5日に出願された、米国仮特許出願第62/681,063号の優先権を主張する。
【0002】
(1.開示の分野)
本開示は、一般に、視認システムに関し、より具体的には、温度較正のためのホモグラフィ行列の使用に関する。
【背景技術】
【0003】
(2.関連技術の説明)
現代のコンピューティングおよびディスプレイ技術は、「仮想現実」視認デバイス等の視知覚デバイスの開発を促進している。仮想現実視認デバイスは、ユーザに、左眼に1つおよび右眼に1つの2つの画像を提示する、ウェアラブルデバイスであり得る。画像内のオブジェクトは、脳がオブジェクトを3次元オブジェクトとして処理することを可能にする様式において、相互に異なり得る。画像が、常に変化するとき、3次元における移動が、シミュレートされ得る。仮想現実視認デバイスは、典型的には、他の実世界オブジェクトに対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。
【0004】
他の視知覚デバイス、いわゆる「拡張現実」視認デバイスは、通常、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルおよび仮想画像情報の提示を可能にする、技術を含む。拡張現実視認デバイスは、例えば、ユーザに接眼レンズの背後の実世界オブジェクトが見えることを可能にする、1つまたはそれを上回る透明接眼レンズを有し得る。そのような接眼レンズは、それを通して光がプロジェクタからユーザの眼に向かって伝搬する、導波管としての役割を果たすことができる。プロジェクタによって作成された光パターンは、眼の網膜上で可視となる。眼の網膜は、次いで、接眼レンズの背後の実世界オブジェクトからの光およびプロジェクタからの光を受光する。実世界オブジェクトは、したがって、ユーザの知覚において、プロジェクタからの画像データで拡張される。
【0005】
熱は、視認システムが非均一温度分布を有するほど、そのような視認システムのある面積内に凝集する傾向にある。加えて、種々の材料は、温度に伴って、異なる率で拡張/収縮する。これら等の視認システムは、典型的には、定常状態動作温度、例えば、40℃で較正される。しかしながら、室温の「低温状態」から較正された温度に到達するまでの時間は、数十分間かかり、その間、ユーザが、視認システムをその較正プロファイル外で使用し得る、有意な時間周期を残し得る。色分離は、典型的には、始動時、最小限である。色分離の帯域は、典型的には、視認システムが加熱すると増加し、次いで、視認システムがその較正温度に到達すると、より小さい帯域に戻る。
【発明の概要】
【課題を解決するための手段】
【0006】
本開示は、記憶デバイスと、1つまたはそれを上回る温度と、1つまたはそれを上回るホモグラフィ変換行列とを含む、記憶デバイス上に記憶される、較正セットであって、各個別のホモグラフィ変換行列は、個別の温度に関するものである、較正セットと、温度センサと、温度センサによって検出された温度に合致する温度に関するものである、ホモグラフィ変換行列の個別のものを選択する、行列選択器と、選択されたホモグラフィ関係に基づいて、幾何学的変化を計算する、幾何学的変化計算機と、ローカルコンテンツを表すデータを受信するためのデータソースと、データを受信するためのデータソースに接続され、幾何学的変化を受信するための幾何学的変化計算機に接続され、幾何学的変化に基づいて、ローカルコンテンツをレンダリングする、レンダリングエンジンと、レンダリングエンジンに接続され、レンダリングエンジンから受信されたレンダリングをユーザに表示するように適合される、ディスプレイシステムとを含む、視認システムを提供する。
【0007】
本開示はまた、1つまたはそれを上回る温度と、複数のホモグラフィ変換行列とを含む、較正セットを記憶デバイス上に記憶するステップであって、各個別のホモグラフィ変換行列は、個別の温度に関するものである、ステップと、温度を検出するステップと、その温度に合致する温度に関するものである、ホモグラフィ変換行列の個別のものを選択するステップと、選択されたホモグラフィ関係に基づいて、幾何学的変化を計算するステップと、ローカルコンテンツを表すデータを受信するステップと、幾何学的変化に基づいて、ローカルコンテンツのレンダリングを生成するステップと、レンダリングをユーザに表示するステップとを含む、視認方法を提供する。
本明細書は、例えば、以下の項目も提供する。
(項目1)
視認システムであって、
記憶デバイスと、
前記記憶デバイス上に記憶される較正セットであって、前記較正セットは、複数の温度と、複数のホモグラフィ変換行列とを含み、各個別のホモグラフィ変換行列は、個別の温度範囲に関するものである、較正セットと、
温度センサと、
前記温度センサによって検出された温度に対応する前記ホモグラフィ変換行列の個別のものを選択する行列選択器と、
前記選択されたホモグラフィ変換行列に基づいて、幾何学的変化を計算する幾何学的変化計算機と、
ローカルコンテンツを表すデータを受信するためのデータソースと、
レンダリングエンジンであって、前記レンダリングエンジンは、前記データを受信するためのデータソースに接続され、前記幾何学的変化を受信するための幾何学的変化計算機に接続され、前記幾何学的変化に基づいて、前記ローカルコンテンツをレンダリングする、レンダリングエンジンと、
前記レンダリングエンジンに接続され、前記レンダリングエンジンから受信されたレンダリングを表示するように適合されるディスプレイシステムと
を備える、視認システム。
(項目2)
前記較正セットの各温度は、複数の色ホモグラフィ変換行列を有し、前記データは、複数の色チャネルを含み、前記行列選択器は、前記温度センサによって検出された温度に合致する複数の前記色ホモグラフィ変換行列を選択し、前記レンダリングエンジンは、複数の色レンダリングをレンダリングし、各色レンダリングは、前記選択された色ホモグラフィ変換行列の個別のものおよび前記色チャネルの個別のもののローカルコンテンツに基づく、項目1に記載の視認システム。
(項目3)
各ホモグラフィ変換行列は、アフィン変換行列であり、各アフィン変換行列(A)は、2次元(2D)変換行列([[A00,A01,A02],[A10,A11,A12]])である、項目2に記載の視認システム。
(項目4)
A00に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、項目3に記載の視認システム。
(項目5)
全ての色チャネルに関するA00は、温度の増加に伴って減少する、項目3に記載の視認システム。
(項目6)
A01に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、項目3に記載の視認システム。
(項目7)
少なくとも1つの色チャネルに関するA01は、温度の増加に伴って減少し、温度の増加に伴って1つの色チャネルに関して増加する、項目3に記載の視認システム。
(項目8)
A02に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、項目3に記載の視認システム。
(項目9)
少なくとも1つの色チャネルに関するA02は、温度の増加に伴って減少し、温度の増加に伴って1つの色チャネルに関して増加する、項目3に記載の視認システム。
(項目10)
A10に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、項目3に記載の視認システム。
(項目11)
少なくとも1つの色チャネルに関するA10は、温度の増加に伴って減少し、温度の増加に伴って1つの色チャネルに関して増加する、項目3に記載の視認システム。
(項目12)
A11に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、項目3に記載の視認システム。
(項目13)
全ての色チャネルに関するA11は、温度の増加に伴って減少する、項目3に記載の視認システム。
(項目14)
A21に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、項目3に記載の視認システム。
(項目15)
少なくとも1つの色チャネルに関するA12は、温度の増加に伴って減少し、温度の増加に伴って1つの色チャネルに関して増加する、項目3に記載の視認システム。
(項目16)
前記較正セットは、複数の回転行列(R)を含み、各個別の回転行列は、個別の温度に関するものであり、
前記行列選択器は、前記温度センサによって検出された温度に合致する温度に関するものである前記回転行列の個別のものを選択し、前記幾何学的変化計算機は、前記回転行列に基づいて、幾何学的変化を計算し、前記レンダリングエンジンは、前記幾何学的変化を受信し、前記回転行列に基づく前記幾何学的変化に基づいて、前記ローカルコンテンツをレンダリングする、項目1に記載の視認システム。
(項目17)
前記回転行列(R)は、3成分回転ベクトル([Rx, Ry, Rz])として表される、項目16に記載の視認システム。
(項目18)
Rxは、温度の増加に伴って線形に増加する、項目17に記載の視認システム。
(項目19)
前記ディスプレイシステムは、左ディスプレイおよび右ディスプレイを有し、Ryは、前記左ディスプレイに関して温度の増加に伴って線形に増加し、Ryは、前記右ディスプレイに関して温度の増加に伴って線形に減少する、項目17に記載の視認システム。
(項目20)
頭部ユニット本体をさらに備え、前記ディスプレイシステムは、
少なくとも1つのディスプレイであって、
実世界環境からの光が前記頭部ユニット本体を装着しているユーザの眼を通して通過することを可能にする前記頭部ユニット本体に固着される透明導波管と、
前記ローカルコンテンツを表すデータを光に変換するプロジェクタであって、前記プロジェクタからの光は、入射瞳において前記導波管の中に入射し、射出瞳において前記導波管から前記ユーザの眼へと出射する、プロジェクタと
を有する、少なくとも1つのディスプレイ
を含む、項目1に記載の視認システム。
(項目21)
視認方法であって、
複数の温度と、複数のホモグラフィ変換行列とを含む較正セットを記憶デバイス上に記憶することであって、各個別のホモグラフィ変換行列は、個別の温度に関するものである、ことと、
温度を検出することと、
前記温度に合致する温度に関するものである前記ホモグラフィ変換行列の個別のものを選択することと、
前記選択されたホモグラフィ関係に基づいて、幾何学的変化を計算することと、
ローカルコンテンツを表すデータを受信することと、
前記幾何学的変化に基づいて、前記ローカルコンテンツのレンダリングを生成することと、
前記レンダリングを表示することと
を含む、方法。
【0008】
本開示はさらに、付随の図面を参照して、一例として説明される。
【図面の簡単な説明】
【0009】
図1図1は、いくつかの実施形態による、視認システムと相互作用する、ビューアの斜視図である。
【0010】
図2図2は、いくつかの実施形態による、視認システムの部分的上面図および部分的ブロック図である。
【0011】
図3図3は、いくつかの実施形態による、視認システムの1つのディスプレイおよびユーザの片眼の斜視図である。
【0012】
図4図4は、いくつかの実施形態による、2×3のアフィン変換行列および3成分回転ベクトルであって、温度の増加に伴う、視認システムの左ディスプレイのための色チャネル別の、アフィン変換行列およびベクトルの変化を図示する。
【0013】
図5図5は、いくつかの実施形態による、2×3のアフィン変換行列および3成分回転ベクトルであって、温度の増加に伴う、視認システムの右ディスプレイのための色チャネル別の、アフィン変換行列およびベクトルの変化を図示する。
【0014】
図6図6は、いくつかの実施形態による、ディスプレイ両眼照合誤差が低減されることを示す、グラフを図示する。
【0015】
図7図7は、いくつかの実施形態による、単眼照合誤差が低減されることを示す、グラフを含む。
【0016】
図8図8は、いくつかの実施形態による、左ディスプレイのアフィン変換行列および回転行列を含み、6つの視認システム間の温度係数を示す。
【0017】
図9図9は、いくつかの実施形態による、右ディスプレイのアフィン変換行列および回転行列を含み、6つの視認システム間の温度係数を示す。
【0018】
図10図10は、いくつかの実施形態による、開示されるシステム内で用途を見出し得る、コンピュータの形態における機械のブロック図である。
【発明を実施するための形態】
【0019】
付随の図面の図1は、ユーザ10と、視認システム12と、テーブルの形態における実世界オブジェクト14と、図示されるものの、図の視点から不可視であるが、ユーザ10には可視である、マグカップの形態における仮想オブジェクト16とを図示する。
【0020】
視認システム12は、頭部ユニット18と、ベルトパック20と、ネットワーク22と、サーバ24とを含む。
【0021】
頭部ユニット18は、頭部ユニット本体26と、ディスプレイシステム28とを含む。頭部ユニット本体26は、ユーザの頭部10にわたって適合する、形状を有する。ディスプレイシステム28は、頭部ユニット本体26に固着される。
【0022】
ベルトパック20は、プロセッサと、プロセッサに接続される、記憶デバイスとを有する。視覚アルゴリズムおよび温度フィードバックシステムが、記憶デバイス上に記憶され、プロセッサによって実行可能である。ベルトパック20は、例えば、ケーブル接続30を用いて、ディスプレイシステム28に通信可能に接続される。ベルトパック20はさらに、ベルトパック20が、ネットワーク22とのリンク32を経由して、無線で接続することを可能にする、ネットワークインターフェースデバイスを含む。サーバ24は、ネットワーク22に接続される。
【0023】
使用時、ユーザ10は、頭部ユニット本体26をその頭部に固着させる。ディスプレイシステム28は、ユーザ10に、導波管を通して、実世界オブジェクト14が見え得るように、透明である、光学導波管(図示せず)を含む。
【0024】
ベルトパック20は、ネットワーク22およびリンク32を経由して、画像データをサーバ24からダウンロードしてもよい。ベルトパック20は、画像データを、例えば、ケーブル接続30を通して、ディスプレイシステム28に提供する。ディスプレイシステム28は、画像データに基づいて光を作成する、1つまたはそれを上回るプロジェクタを有する。光は、1つまたはそれを上回る光学導波管を通して、ユーザの眼10に伝搬する。各導波管は、眼にディスプレイシステム28の背後のある距離において仮想オブジェクト16が見えるように、光を個別の眼の網膜上の特定の焦点距離に作成する。眼には、したがって、仮想オブジェクト16が3次元空間内で見える。加えて、若干異なる画像が、ユーザ10の脳が仮想オブジェクト16を3次元空間内で知覚するように、眼毎に作成される。ユーザ10には、したがって、3次元空間内の仮想オブジェクト16で拡張された実世界オブジェクト14が見える。
【0025】
図2は、視覚アルゴリズム38とともに、ディスプレイシステム28をさらに詳細に図示する。視覚アルゴリズム38は、主に、図1におけるベルトパック20内に常駐する。他の実施形態では、視覚アルゴリズム38は、頭部ユニット内に全体的に常駐してもよい、または頭部ユニットとベルトパックとの間に分裂されてもよい。
【0026】
図2はさらに、データソース40を含む。本実施例では、データソース40は、ベルトパック20の記憶デバイス上に記憶される、画像データを含む。画像データは、例えば、仮想オブジェクト16をレンダリングするために使用され得る、3次元画像データであってもよい。いくつかの実施形態では、画像データは、2または3次元で移動するビデオの作成を可能にする、時系列画像データであってもよく、実世界オブジェクト上に位置する、またはユーザがその頭部を移動させると、ユーザの正面の固定位置にあってもよい。
【0027】
視覚アルゴリズム38は、レンダリングエンジン42と、立体視分析器44と、ディスプレイ調節アルゴリズム46と、同時位置特定およびマッピング(SLAM)システム47とを含む。
【0028】
レンダリングエンジン42は、データソース40およびディスプレイ調節アルゴリズム46に接続される。レンダリングエンジン42は、種々のシステム、本実施例では、ディスプレイ調節アルゴリズム46からの入力を受信し、ディスプレイ調節アルゴリズム46に基づいて、画像データをユーザ10によって視認されることになるフレーム内に位置付けることが可能である。ディスプレイ調節アルゴリズム46は、SLAMシステム47に接続される。SLAMシステム47は、画像データを受信し、画像データの画像内のオブジェクトを決定する目的のために、画像データを分析し、オブジェクトの場所を画像データ内に記録することが可能である。
【0029】
立体視分析器44は、レンダリングエンジン42に接続される。立体視分析器44は、レンダリングエンジン42によって提供されるデータストリームから、左および右画像データセットを決定することが可能である。
【0030】
ディスプレイシステム28は、左および右プロジェクタ48Aおよび48Bと、左および右導波管50Aおよび50Bと、検出デバイス52とを含む。左および右プロジェクタ48Aおよび48Bは、電力供給源に接続される。各プロジェクタ48Aまたは48Bは、画像データが個別のプロジェクタ48Aまたは48Bに提供されるための個別の入力を有する。個別のプロジェクタ48Aまたは48Bは、給電されると、光を2次元パターンで生成し、光をそこから発出する。左および右導波管50Aおよび50Bは、それぞれ、左および右プロジェクタ48Aおよび48Bからの光を受光するように位置付けられる。左および右導波管50Aおよび50Bは、透明導波管である。
【0031】
検出デバイス52は、頭部ユニット慣性運動ユニット(IMU)60と、1つまたはそれを上回る頭部ユニットカメラ62とを含む。頭部ユニットIMU60は、1つまたはそれを上回るジャイロスコープと、1つまたはそれを上回る加速度計とを含む。ジャイロスコープおよび加速度計は、典型的には、半導体チップ内に形成され、3つの直交軸に沿った移動と、3つの直交軸を中心とする回転とを含む、頭部ユニットIMU60および頭部ユニット本体26の移動を検出することが可能である。
【0032】
頭部ユニットカメラ62は、画像を頭部ユニット本体26の周囲の環境から継続的に捕捉する。画像は、相互に比較され、頭部ユニット本体26およびユーザの頭部10の移動を検出することができる。
【0033】
SLAMシステム47は、頭部ユニットカメラ62に接続される。ディスプレイ調節アルゴリズム46は、頭部ユニットIMU60に接続される。当業者は、検出デバイス52と視覚アルゴリズム38との間の接続が、ハードウェア、ファームウェア、およびソフトウェアの組み合わせを通して遂行されることを理解されるであろう。視覚アルゴリズム38のコンポーネントは、サブルーチンまたはコールを通して相互にリンクされる。
【0034】
使用時、ユーザ10は、頭部ユニット本体26をその頭部に搭載する。頭部ユニット本体26のコンポーネントは、例えば、ユーザの頭部10の背面の周囲に巻着する、ストラップ(図示せず)を含んでもよい。左および右導波管50Aおよび50Bは、次いで、ユーザ10の左および右眼120Aおよび120Bの正面に位置する。
【0035】
レンダリングエンジン42は、画像データをデータソース40から受信する。レンダリングエンジン42は、画像データを立体視分析器44の中に入力する。画像データは、図1における仮想オブジェクト16の3次元画像データである。立体視分析器44は、画像データを分析し、画像データに基づいて、左および右画像データセットを決定する。左および右画像データセットは、ユーザ10に3次元レンダリングの知覚を与える目的のために、相互に若干異なる、2次元画像を表す、データセットである。本実施形態では、画像データは、経時的に変化しない、静的データセットである。
【0036】
立体視分析器44は、左および右画像データセットを左および右プロジェクタ48Aおよび48Bの中に入力する。左および右プロジェクタ48Aおよび48Bは、次いで、左および右光パターンを作成する。ディスプレイシステム28のコンポーネントは、平面図に示されるが、左および右パターンは、正面立面図に示されるとき、2次元パターンであることを理解されたい。各光パターンは、複数のピクセルを含む。例証目的のために、ピクセルのうちの2つからの光線124Aおよび126Aが、左プロジェクタ48Aから出射し、左導波管50Aに入射するように示される。光線124Aおよび126Aは、左導波管50Aの側面から反射する。光線124Aおよび126Aは、左導波管50A内で左から右に内部反射を通して伝搬することが示されるが、光線124Aおよび126Aはまた、屈折性および反射性システムを使用して、紙面の向こう側への方向にも伝搬することを理解されたい。
【0037】
光線124Aおよび126Aは、瞳孔128Aを通して、左光導波管50Aから出射し、次いで、左眼120Aの瞳孔130Aを通して、左眼120Aに入射する。光線124Aおよび126Aは、次いで、左眼120Aの網膜132Aに当たる。このように、左光パターンは、左眼120Aの網膜132Aに当たる。ユーザ10は、網膜132A上に形成されるピクセルが、ユーザ10が左眼120Aに対向する左導波管50Aの側のある距離にあると知覚する、ピクセル134Aおよび136Aであるという知覚を与えられる。深度知覚は、光の焦点距離を操作することによって作成される。
【0038】
同様に、立体視分析器44は、右画像データセットを右プロジェクタ48Bの中に入力する。右プロジェクタ48Bは、光線124Bおよび126Bの形態におけるピクセルによって表される、右光パターンを伝送する。光線124Bおよび126Bは、右導波管50B内で反射し、瞳孔128Bを通して出射する。光線124Bおよび126Bは、次いで、右眼120Bの瞳孔130Bを通して入射し、右眼120Bの網膜132Bに当たる。光線124Bおよび126Bのピクセルは、右導波管50Bの背後のピクセル134Bおよび136Bとして知覚される。
【0039】
網膜132Aおよび132B上に作成されたパターンは、左および右画像として個々に知覚される。左および右画像は、立体視分析器44の機能に起因して、相互に若干異なる。左および右画像は、ユーザ10の頭では、3次元レンダリングとして知覚される。
【0040】
述べられたように、左および右導波管50Aおよび50Bは、透明である。眼120Aおよび120Bに対向する左および右導波管50Aおよび50Bの側の実在のオブジェクトからの光は、左および右導波管50Aおよび50Bを通して投影され、網膜132Aおよび132Bに当たることができる。特に、図1における実世界オブジェクト14からの光は、ユーザ10に実世界オブジェクト14が見え得るように、網膜132Aおよび132Bに当たる。拡張現実が、作成され、実世界オブジェクト14は、組み合わせてユーザ10によって知覚される、左および右画像に起因して、ユーザ10によって知覚される仮想オブジェクト16の3次元レンダリングで拡張される。
【0041】
頭部ユニットIMU60は、ユーザ10の頭部のあらゆる移動を検出する。ユーザ10が、例えば、その頭部を反時計回りに移動させ、同時に、その身体をその頭部とともに右に向かって移動させる場合、そのような移動は、頭部ユニットIMU60内のジャイロスコープおよび加速度計によって検出されるであろう。頭部ユニットIMU60は、ジャイロスコープおよび加速度計からの測定値をディスプレイ調節アルゴリズム46に提供する。ディスプレイ調節アルゴリズム46は、設置値を計算し、設置値をレンダリングエンジン42に提供する。レンダリングエンジン42は、データソース40から受信された画像データを修正し、ユーザ10の頭部の移動を補償する。レンダリングエンジン42は、ユーザ10への表示のために、修正された画像データを立体視分析器44に提供する。
【0042】
頭部ユニットカメラ62は、ユーザ10がその頭部を移動させるにつれて、画像を継続的に捕捉する。SLAMシステム47は、画像を分析し、画像内のオブジェクトの画像を識別する。SLAMシステム47は、オブジェクトの移動を分析し、頭部ユニット本体26の姿勢位置を決定する。SLAMシステム47は、姿勢位置をディスプレイ調節アルゴリズム46に提供する。ディスプレイ調節アルゴリズム46は、姿勢位置を使用して、ディスプレイ調節アルゴリズム46がレンダリングエンジン42に提供する、設置値をさらに精緻化する。レンダリングエンジン42は、したがって、頭部ユニットIMU60内の運動センサと頭部ユニットカメラ62によって撮影された画像の組み合わせに基づいて、データソース40から受信された画像データを修正する。実践的実施例として、ユーザ10が、その頭部を右に回転させる場合、仮想オブジェクト16の場所は、ユーザ10の視野内で左に回転し、したがって、ユーザ10に、仮想オブジェクト16の場所が実世界オブジェクト14に対して定常のままであるという印象を与える。
【0043】
図3は、光線のうちの1つ、特定の場合として、光線124Aが辿る、経路をさらに詳細に図示する。光線124Aは、内部結合格子140を通して、左導波管50Aに入射する。光線124Aは、左導波管50A上または内にあって、左プロジェクタ48Aとともに、左ディスプレイシステム146の一部を形成する、いくつかの回折光学要素、特に、内部結合格子140、直交瞳エクスパンダ142、および出射瞳エクスパンダ144に遭遇する。光線124Aが、左導波管50Aを通して伝搬するにつれて、回折光学要素は、異なる方法において、光を再指向し、最終的に、左導波管50Aから出射瞳エクスパンダ144の複数の瞳を通して左眼120Aに向かって出射する、画像光をもたらす。左眼120Aは、次いで、画像光が、図1における仮想オブジェクト16を知覚するように、図2における網膜132Aに当たるように、瞳のうちの1つからの画像光に合焦し得る。
【0044】
再び図2を参照すると、視認システム12はさらに、温度センサ148と、温度フィードバックシステム150とを含む。
【0045】
温度センサ148は、頭部ユニット本体26に対して固定位置に搭載される。温度センサ148は、左または右導波管50Aまたは50Bのうちの1つの十分に近くに位置し、左および右導波管50Aおよび50Bの温度を検出する。いくつかの実施形態では、温度センサ148は、左および右導波管50Aと50Bとの間にあってもよい。いくつかの実施形態では、複数の温度センサが存在してもよく、例えば、第1の温度センサは、左導波管50Aの十分に近くにあって、第2の温度センサは、右導波管50Bの十分に近くにある。
【0046】
温度フィードバックシステム150は、アフィン変換行列(A)152と、回転行列(R)154とを含む、ホモグラフィ変換行列151と、行列選択器156と、幾何学的変化計算機158とを含む。ホモグラフィ変換行列151は、アフィン変換行列152と回転行列154の積として算出され得、回転行列154は、回転ベクトルによって定義される。いくつかの実施形態では、回転ベクトルは、Rodriguesのベクトルであってもよい。いくつかの実施形態では、行列選択器156は、温度センサ148とのハードウェアおよびソフトウェア接続を通して接続される、ソフトウェアルーチンである。温度センサ148は、信号を行列選択器156に提供する。温度センサ148によって行列選択器156に提供される信号は、温度センサ148によって感知される温度を表す、データを含む。
【0047】
ホモグラフィ変換行列151は、1つまたはそれを上回る色チャネルの色チャネル毎に、個別のホモグラフィ変換行列を含む。加えて、ホモグラフィ変換行列151は、色チャネル毎に、温度によって変動する。各ホモグラフィ変換行列は、個別の温度に対応する。アフィン変換行列152は、1つまたはそれを上回る色チャネルの色チャネル毎に、個別のアフィン変換行列を含む。加えて、アフィン変換行列152は、色チャネル毎に、温度によって変動する。各アフィン変換行列は、個別の温度に対応する。いくつかの実施形態では、各変換行列(例えば、ホモグラフィ変換行列および/またはアフィン変換行列)は、個別の温度範囲に対応する。例えば、各変換行列は、特定の(絶対)温度のあるパーセンテージ(例えば、5%)以内の温度の範囲に対応してもよい。当業者は、温度の範囲が、例えば、摂氏等の温度単位に対する他の方法において定義されてもよいことを理解するであろう。回転行列154もまた、温度に従って変動する。各回転行列は、個別の温度に対応する。いくつかの実施形態では、各回転行列は、例えば、変換行列に関して上記に説明されるように、個別の温度範囲に対応する。
【0048】
幾何学的変化計算機158は、行列選択器156に接続される。幾何学的変化計算機158は、出力をレンダリングエンジン42に提供する。
【0049】
使用時、温度センサ148は、視認システム12の温度を継続的に測定する。行列選択器156は、温度を温度センサ148から受信する。いくつかの実施形態では、行列選択器156は、ホモグラフィ変換行列151からの温度に関して、全ての色チャネルに関するホモグラフィ変換行列を読み出す。いくつかの実施形態では、行列選択器156は、アフィン変換行列152からの温度に関して、全ての色チャネルに関するアフィン変換行列を読み出し、回転行列154からの温度に対応する、回転行列を読み出す。いくつかの実施形態では、回転行列154からの回転行列は、回転ベクトルとして表され得る。
【0050】
いくつかの実施形態では、行列選択器156は、温度に関する選択されたホモグラフィ変換行列を幾何学的変化計算機158に提供する。いくつかの実施形態では、行列選択器156は、温度に関する選択されたアフィン変換行列および温度に関する選択された回転行列を幾何学的変化計算機158に提供する。いくつかの実施形態では、幾何学的変化計算機158は、次いで、選択されたホモグラフィ変換行列に基づいて、ホモグラフィ変換を計算する。いくつかの実施形態では、幾何学的変化計算機158は、次いで、選択されたアフィン変換行列および回転行列に基づいて、偏移および回転を計算する。いくつかの実施形態では、ホモグラフィ変換は、左および右導波管50Aおよび50B内の各色チャネルの場所を確立する。いくつかの実施形態では、偏移および回転の組み合わせは、左および右導波管50Aおよび50B内の各色チャネルの場所を確立する。いくつかの実施形態では、レンダリングエンジン42は、ホモグラフィ変換を幾何学的変化計算機158から受信する。いくつかの実施形態では、レンダリングエンジン42は、偏移および変換を幾何学的変化計算機158から受信する。補正は、任意の偏移または回転を補償するために行われないことに留意されたい。代わりに、レンダリングエンジン42は、レンダリングエンジン42によって作成されるレンダリングを種々の色チャネルの場所を基準とする。例えば、0.05分弧の偏移が、生じた場合、レンダリングエンジン42は、最初に、偏移された場所に表示される必要がある内容を決定し、次いで、偏移された場所に正しく表示されるように、仮想オブジェクト16をレンダリングする。
【0051】
着目すべきことは、ルックアップテーブルが、ディスプレイのピクセル毎に補正データを記憶するために使用されないことである。代わりに、はるかに小さいファイルコンポーネントが、使用される。いくつかの実施形態では、はるかに小さいファイルコンポーネントは、1つまたはそれを上回るホモグラフィ変換行列の形態にある。いくつかの実施形態では、はるかに小さいファイルコンポーネントは、1つまたはそれを上回るアフィン変換行列および1つまたはそれを上回る回転行列の形態にある。そのような変換行列および回転行列の処理は、高度にプロセッサ集約的技法である、ルックアップテーブルの使用と比較して、最小限である。加えて、アフィン変換行列および回転行列は、線形化され、メモリ内に記憶され、視認システムのプロセッサによって使用される、単純式によって表されてもよい。
【0052】
図4および5は、それぞれ、左ディスプレイおよび右ディスプレイのための9つのディスプレイパラメータ対温度を示す。実線は、第1のデータ点を通した線形適合集合である。アフィン変換は、温度に伴う変化を説明するために使用される。
【化1】

は、温度
【化2】

における正規化された光線方向であって、
【化3】

である。
【化4】

は、温度Tにおける正規化された光線方向である。可能な限り近い全てのiに関して
【化5】

を満たす、2Dアフィン変換
【化6】

を見出す。
【0053】
図4および5におけるパラメータの傾きは、事前に算出されてもよい。オンライン補正は、工場較正データに基づいてもよい。例えば、表1の下線付き値は、45.1666℃におけるピクセル(0,0)のルックアップテーブル値である。
【表1】

次いで、測定された温度において、アフィン変換行列Aのデルタが、dA=dTA_slopeに従って計算される。表2では、下線付き値は、26℃で計算されている。
【表2】

正規化されたベクトルを求めるために、1が、(0,0)および(1,1)要素に追加され、表3内のアフィン変換行列Aを求める。
【表3】

次に、アフィン変換行列が、表1のステップにおける値に適用され、表4に示されるようなピクセル(0,0)に関する新しいルックアップテーブル値を求める。Ramakrishnan MukundanによるAdvanced Methods in Computer Graphics:With examples in OpenGLは、補正値をアフィン変換行列から決定するために使用される、式を説明する。
【表4】
【0054】
ディスプレイ回転の変化(付帯的)は、
【化7】

として表され得、これは、3成分回転ベクトル
【化8】

としてパラメータ化され得る。
【0055】
以下の傾向が、観察され得る。
・A00およびA11は、温度に伴って線形に減少し、ルックアップテーブルが温度の増加に伴って「縮小」する、すなわち、仮想コンテンツが、温度が増加するにつれてより小さく現れるであろうことを示唆する。スケールダウン係数は、0.05%/℃である。
・A02およびA12は、温度に伴って線形に変動し、傾きは、チャネル依存である。これは、色が、分離され、深度平面横断整合が、温度が増加するにつれて劣化することを示唆する。色/深度分離は、0.5分弧/℃である。
・Rは、左および右ディスプレイの両方に関して、温度に伴って線形に増加する。仮想コンテンツが、0.4分弧/温度の増加℃ずつ上方に移動することを示唆する。
・Rは、左ディスプレイにおいて増加し、右ディスプレイにおいて減少し、仮想コンテンツが、0.002ジオプタ/℃の率で、温度が増加するにつれて、より近くに現れることを示唆する。
【0056】
当業者は、アフィン行列および回転行列の代わりに、単一ホモグラフィ行列A=[[A00,A01,A02],[A10,A11,A12],[A20,A21,A22]]を使用することもできることを容易に認識するであろう。
【0057】
温度差異に基づいて、これらの9つのパラメータを線形調節することによって、照合誤差が補正され得ることを示すために、以下の3つの場合におけるディスプレイ照合測定が、実施され得る。
・coldcal_hotverify:視認システムが、約50℃であるが、約40℃において取得された較正を使用して、照合を行う。
・correctedcal_hotverify:視認システムが、約50℃であるが、約40℃において取得された較正を使用し、図4および5における上記に述べられた9つのパラメータを使用した較正ファイルを線形方法において補正する。
・hotcal_hotverify:視認システムが、約50℃で較正および照合される。
【0058】
補正された較正ファイルは、照合誤差の大部分を補正することが可能であることが明白である。図6は、ディスプレイ両眼照合(原位置)誤差が低減されることを示す。図7は、単眼照合誤差が低減されることを示す。
【0059】
図8および9は、6つの視認システム間の左および右ディスプレイ温度係数を示す。データは、複数の温度における視認システム毎の較正が要求されることを示す。
【0060】
図10は、いくつかの実施形態による、その中で、機械に本明細書で議論される方法論のうちの任意の1つまたはそれを上回るものを実施させるための命令のセットが、実行され得る、コンピュータシステム900の例示的形態における、機械の概略表現を示す。代替実施形態では、機械は、独立型視認システムとして動作する、または他の機械に接続(例えば、ネットワーク化)されてもよい。さらに、単一機械のみが、図示されるが、用語「機械」はまた、個々に、またはともに、本明細書で議論される方法論のうちの任意の1つまたはそれを上回るものを実施するための命令のセット(または複数のセット)を実行する、機械の任意の集合を含むものと捉えられるものとする。
【0061】
例示的コンピュータシステム900は、プロセッサ902(例えば、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、または両方)と、メインメモリ904(例えば、読取専用メモリ(ROM)、フラッシュメモリ、同期DRAM(SDRAM)またはRambus DRAM(RDRAM)等の動的ランダムアクセスメモリ(DRAM)等)と、静的メモリ906(例えば、フラッシュメモリ、静的ランダムアクセスメモリ(SRAM)等)とを含み、これらは、バス908を介して相互に通信する。
【0062】
コンピュータシステム900はさらに、ディスクドライブユニット916と、ネットワークインターフェースデバイス920とを含んでもよい。
【0063】
ディスクドライブユニット916は、その上に、本明細書に説明される方法論または機能のうちの任意の1つまたはそれを上回るものを具現化する、1つまたはそれを上回る命令924のセット(例えば、ソフトウェア)が記憶される、機械可読媒体922を含む。ソフトウェアはまた、完全または少なくとも部分的に、コンピュータシステム900によるその実行の間、メインメモリ904および/またはプロセッサ902内に常駐してもよく、メインメモリ904およびプロセッサ902もまた、機械可読媒体を構成する。
【0064】
ソフトウェアはさらに、ネットワーク928を経由して、ネットワークインターフェースデバイス920を介して伝送または受信されてもよい。
【0065】
コンピュータシステム900は、プロジェクタを駆動し、レーザ光を生成するために使用される、レーザドライバチップ950を含む。レーザドライバチップ950は、その独自のデータ記憶装置960と、その独自のプロセッサ962とを含む。
【0066】
機械可読媒体922は、例示的実施形態では、単一媒体であるように示されるが、用語「機械可読媒体」は、1つまたはそれを上回る命令のセットを記憶する、単一媒体または複数の媒体(例えば、集中型または分散型データベースおよび/または関連付けられるキャッシュおよびサーバ)を含むものと捉えられるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶、エンコーディング、または搬送することが可能であって、機械に本開示の方法論のうちの任意の1つまたはそれを上回るものを実施させる、任意の媒体を含むものと捉えられるものとする。用語「機械可読媒体」は、故に、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むものと捉えられるものとする。
【0067】
ある例示的実施形態が、説明され、付随の図面に示されたが、そのような実施形態は、単に、本開示の例証であって、制限ではなく、本開示は、修正が当業者に想起され得るため、図示および説明される具体的構造および配列に制限されないことを理解されたい。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
【外国語明細書】