特許 7580174 ディスプレイシステム較正のための眼球カメラシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-31

(45)【発行日】2024-11-11

(54)【発明の名称】ディスプレイシステム較正のための眼球カメラシステムおよび方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20241101BHJP

   G09G 5/02 20060101ALI20241101BHJP

   G09G 5/10 20060101ALI20241101BHJP

   G06T 1/00 20060101ALI20241101BHJP

   G06T 3/00 20240101ALI20241101BHJP

   G06T 7/60 20170101ALI20241101BHJP

   G06T 7/80 20170101ALI20241101BHJP

   G06T 7/90 20170101ALI20241101BHJP

   H04N 7/18 20060101ALI20241101BHJP

【ＦＩ】

G09G5/00 550C

G09G5/02 B

G09G5/10 B

G09G5/00 530H

G06T1/00 510

G06T3/00

G06T7/60 150G

G06T7/80

G06T7/90 Z

H04N7/18 U

【請求項の数】 22

(21)【出願番号】P 2022500895

(86)(22)【出願日】2020-07-10

(65)【公表番号】

(43)【公表日】2022-09-12

(86)【国際出願番号】 US2020041717

(87)【国際公開番号】W WO2021011420

(87)【国際公開日】2021-01-21

【審査請求日】2023-06-19

(31)【優先権主張番号】62/873,641

(32)【優先日】2019-07-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100104824

【弁理士】

【氏名又は名称】穐場 仁

(74)【代理人】

【識別番号】100121463

【弁理士】

【氏名又は名称】矢口 哲也

(74)【代理人】

【識別番号】100137969

【弁理士】

【氏名又は名称】岡部 憲昭

(72)【発明者】

【氏名】ジア， ジヘン

(72)【発明者】

【氏名】ダイカー， ジェフリー トッド

(72)【発明者】

【氏名】エリス， ティム

(72)【発明者】

【氏名】リー， シャオ

(72)【発明者】

【氏名】グラータ， ジェレミー エー．

【審査官】西田 光宏

(56)【参考文献】

【文献】特表２０１９－５０１５６４（ＪＰ，Ａ）

【文献】特表２０１４－５１１６０８（ＪＰ，Ａ）

【文献】特表２００９－５３６４７７（ＪＰ，Ａ）

【文献】国際公開第２０１３／１７５９２３（ＷＯ，Ａ１）

【文献】特表２００１－５１７４１４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０７３９６９（ＷＯ，Ａ１）

【文献】特開２００４－０１５２５６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／００５０６４２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２７／００－３０／６０

Ｇ０６Ｔ １／００－１９／２０

Ｇ０９Ｆ ９／００－９／４６

Ｇ０９Ｇ ５／００－５／４２

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １３／００－１７／０６

(57)【特許請求の範囲】

【請求項1】

補正を仮想画像ディスプレイシステムに適用するためのシステムであって、前記システムは、
仮想画像を表示するように構成されるディスプレイデバイスと、
前記ディスプレイデバイスの正面に位置付けられる画像捕捉デバイスであって、前記画像捕捉デバイスは、１つ以上の性質を有する１つ以上の人工角膜、人工瞳孔、または人工虹彩で構成される１つ以上の人工眼球を有する、画像捕捉デバイスと、
プロセッサであって、前記プロセッサは、前記ディスプレイデバイスおよび前記画像捕捉デバイスに結合され、画像データを前記画像捕捉デバイスから受信し、前記プロセッサは、
場面の第１の画像を実世界画像捕捉デバイスから受信することと、
前記第１の画像と関連付けられる視覚的性質の第１のセットを決定することと、
前記画像捕捉デバイスを用いて捕捉された前記場面の第２の画像を受信することと、
前記第２の画像と関連付けられる視覚的性質の第２のセットを決定することであって、前記視覚的性質の第１のセットおよび前記視覚的性質の第２のセットには、空間位置付け、色、または幾何学形状属性の少なくとも１つが含まれる、ことと、
前記視覚的性質の第１のセットと前記視覚的性質の第２のセットとの間の相違を識別することと、
前記画像捕捉デバイスの１つ以上の性質を使用して、前記仮想画像ディスプレイシステムに適用し、少なくとも部分的に、前記相違を補正するための補正を決定することと、
前記画像捕捉デバイスの１つ以上の性質に基づいて、前記補正を前記仮想画像ディスプレイシステムに適用することと
を行うようにプログラムされる、プロセッサと
を備える、システム。

【請求項2】

前記画像捕捉デバイスの前記１つ以上の性質は、前記人工角膜の角膜位置、前記人工角膜の角膜幾何学形状、前記人工眼球の眼球位置、前記人工瞳孔の瞳孔サイズ、前記人工瞳孔の瞳孔位置、前記人工眼球の視線距離、または前記人工眼球の視線配向のうちの１つ以上を含む、請求項１に記載のシステム。

【請求項3】

前記画像捕捉デバイスは、前記画像捕捉デバイスの前記１つ以上の特性を推定するために、眼追跡カメラと併用される、請求項１に記載のシステム。

【請求項4】

前記ディスプレイデバイスは、ユーザの第１の眼と関連付けられる第１のディスプレイと、前記ユーザの第２の眼と関連付けられる第２のディスプレイとを備え、前記画像捕捉デバイスは、前記第１のディスプレイの正面に位置付けられる第１の画像捕捉要素と、前記第２のディスプレイの正面に位置付けられる第２の画像捕捉要素とを含む、請求項１に記載のシステム。

【請求項5】

前記第１の画像捕捉要素および前記第２の画像捕捉要素は、相互から独立して移動するように構成される、請求項４に記載のシステム。

【請求項6】

前記ディスプレイデバイスに結合され、前記第１の画像を捕捉するように構成される実世界画像捕捉デバイスをさらに備え、前記補正は、前記仮想画像ディスプレイシステムに適用され、前記実世界画像捕捉デバイスを較正する、請求項１に記載のシステム。

【請求項7】

前記視覚的性質の第１のセットおよび前記視覚的性質の第２のセットは、空間位置付けを含み、前記プロセッサはさらに、
前記第１の画像内の点の空間位置付けを決定することと、
前記第１の画像内の点の空間位置付けと前記第２の画像内の対応する点の空間位置付けとの間の相違を識別することと、
前記仮想画像ディスプレイシステムに適用し、前記第１の画像内の点と前記第２の画像内の対応する点を整合させるための補正を決定することと、
前記補正を前記仮想画像ディスプレイシステムに適用することと
を行うようにプログラムされる、請求項１に記載のシステム。

【請求項8】

前記視覚的性質の第１のセットおよび前記視覚的性質の第２のセットは、色を含み、前記プロセッサはさらに、
前記第１の画像内の面積の色を決定することと、
前記第１の画像内の面積の色と前記第２の画像内の対応する面積の色との間の相違を識別することと、
前記仮想画像ディスプレイシステムに適用し、前記第１の画像内の面積の色と前記第２の画像内の対応する面積の色を合致させるための補正を決定することと、
前記補正を前記仮想画像ディスプレイシステムに適用することと
を行うようにプログラムされる、請求項１に記載のシステム。

【請求項9】

前記補正は、色相、彩度、またはコントラストにおける補正のうちの１つ以上のものを含む、請求項８に記載のシステム。

【請求項10】

前記視覚的性質の第１のセットおよび前記視覚的性質の第２のセットは、幾何学形状属性を含み、前記プロセッサはさらに、
前記第１の画像内のオブジェクトの幾何学形状属性を決定することと、
前記第１の画像内のオブジェクトの幾何学形状属性と前記第２の画像内の対応するオブジェクトの幾何学形状属性との間の相違を識別することと、
前記仮想画像ディスプレイシステムに適用し、前記第１の画像内のオブジェクトの幾何学形状属性と前記第２の画像内の対応するオブジェクトの幾何学形状属性を合致させるための補正を決定することと、
前記補正を前記仮想画像ディスプレイシステムに適用することと
を行うようにプログラムされる、請求項１に記載のシステム。

【請求項11】

前記補正は、前記第２の画像内のオブジェクトの曲率、長さ、幅、形状、サイズ、または空間配向における補正のうちの１つ以上のものを含む、請求項１０に記載のシステム。

【請求項12】

補正を仮想画像ディスプレイシステムに適用するための方法であって、前記方法は、
プロセッサによって、場面の第１の画像を実世界画像捕捉デバイスから受信することと、
前記プロセッサによって、前記第１の画像と関連付けられる視覚的性質の第１のセットを決定することと、
前記プロセッサによって、画像捕捉デバイスから、１つ以上の性質を有する１つ以上の人工角膜、人工瞳孔、または人工虹彩で構成される１つ以上の人工眼球を有する前記画像捕捉デバイスを用いて捕捉された前記場面の第２の画像を受信することであって、前記画像捕捉デバイスは、ディスプレイデバイスの正面に位置付けられる、ことと、
前記プロセッサによって、前記第２の画像と関連付けられる視覚的性質の第２のセットを決定することであって、前記視覚的性質の第１のセットおよび前記視覚的性質の第２のセットには、空間位置付け、色、または幾何学形状属性の少なくとも１つが含まれる、ことと、
前記プロセッサによって、前記視覚的性質の第１のセットと前記視覚的性質の第２のセットとの間の相違を識別することと、
前記プロセッサによって、前記画像捕捉デバイスの１つ以上の性質を使用して、前記仮想画像ディスプレイシステムに適用し、少なくとも部分的に前記相違を補正するための補正を決定することと、
前記プロセッサによって、前記画像捕捉デバイスの１つ以上の性質に基づいて、前記補正を前記仮想画像ディスプレイシステムに適用することと
を含む、方法。

【請求項13】

前記画像捕捉デバイスの前記１つ以上の性質は、前記人工角膜の角膜位置、前記人工角膜の角膜幾何学形状、前記人工眼球の眼球位置、前記人工瞳孔の瞳孔サイズ、前記人工瞳孔の瞳孔位置、前記人工眼球の視線距離、または前記人工眼球の視線配向のうちの１つ以上を含む、請求項１２に記載の方法。

【請求項14】

前記画像捕捉デバイスは、前記プロセッサが前記画像捕捉デバイスの前記１つ以上の特性を推定するように、眼追跡カメラと併用される、請求項１２に記載の方法。

【請求項15】

前記ディスプレイデバイスは、ユーザの第１の眼と関連付けられる第１のディスプレイと、前記ユーザの第２の眼と関連付けられる第２のディスプレイとを備え、前記画像捕捉デバイスは、前記第１のディスプレイの正面に位置付けられる第１の画像捕捉要素と、前記第２のディスプレイの正面に位置付けられる第２の画像捕捉要素とを含む、請求項１２に記載の方法。

【請求項16】

前記第１の画像捕捉要素および前記第２の画像捕捉要素は、相互から独立して移動するように構成される、請求項１５に記載の方法。

【請求項17】

前記第１の画像は、前記ディスプレイデバイスに結合される実世界画像捕捉デバイスから受信され、前記補正を適用することはさらに、
前記実世界画像捕捉デバイスを較正することを含む、請求項１２に記載の方法。

【請求項18】

前記視覚的性質の第１のセットおよび前記視覚的性質の第２のセットは、空間位置付けを含み、前記方法はさらに、
前記プロセッサによって、前記第１の画像内の点の空間位置付けを決定することと、
前記プロセッサによって、前記第１の画像内の点の空間位置付けと前記第２の画像内の対応する点の空間位置付けとの間の相違を識別することと、
前記プロセッサによって、前記仮想画像ディスプレイシステムに適用し、前記第１の画像内の点と前記第２の画像内の対応する点を整合させるための補正を決定することと、
前記プロセッサによって、前記補正を前記仮想画像ディスプレイシステムに適用することと
を含む、請求項１２に記載の方法。

【請求項19】

前記視覚的性質の第１のセットおよび前記視覚的性質の第２のセットは、色を含み、前記方法はさらに、
前記プロセッサによって、前記第１の画像内の面積の色を決定することと、
前記プロセッサによって、前記第１の画像内の面積の色と前記第２の画像内の対応する面積の色との間の相違を識別することと、
前記プロセッサによって、前記仮想画像ディスプレイシステムに適用し、前記第１の画像内の面積の色と前記第２の画像内の対応する面積の色を合致させるための補正を決定することと、
前記プロセッサによって、前記補正を前記仮想画像ディスプレイシステムに適用することと、
を含む、請求項１２に記載の方法。

【請求項20】

前記補正は、色相、彩度、またはコントラストにおける補正のうちの１つ以上のものを含む、請求項１２に記載の方法。

【請求項21】

前記視覚的性質の第１のセットおよび前記視覚的性質の第２のセットは、幾何学形状属性を含み、前記方法はさらに、
前記プロセッサによって、前記第１の画像内のオブジェクトの幾何学形状属性を決定することと、
前記プロセッサによって、前記第１の画像内のオブジェクトの幾何学形状属性と前記第２の画像内の対応するオブジェクトの幾何学形状属性との間の相違を識別することと、
前記プロセッサによって、前記仮想画像ディスプレイシステムに適用し、前記第１の画像内のオブジェクトの幾何学形状属性と前記第２の画像内の対応するオブジェクトの幾何学形状属性を合致させるための補正を決定することと、
前記プロセッサによって、前記補正を前記仮想画像ディスプレイシステムに適用することと
を含む、請求項１２に記載の方法。

【請求項22】

前記補正は、前記第２の画像内のオブジェクトの曲率、長さ、幅、形状、サイズ、または空間配向における補正のうちの１つ以上のものを含む、請求項２１に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

（関連出願の相互参照）
本願は、あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる、「ＥＹＥ ＢＡＬＬ ＣＡＭＥＲＡ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＣＡＬＩＢＲＡＴＩＯＮ」と題され、２０１９年７月１２日に出願された、米国特許出願第６２／８７３，６４１号の非仮出願であって、その利点を請求する。

【0002】

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に生産された画像またはその一部が、本物であるように見える、もしくはそのように知覚され得る様式で、ウェアラブルデバイス内でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

【0003】

ウェアラブルデバイスは、拡張および／または仮想現実眼鏡を含み得る。カメラは、眼鏡に結合され得る。実世界オブジェクトの実際の場所を拡張および／または仮想現実眼鏡上で視認するために、カメラは、較正される必要がある。カメラを較正するステップは、カメラの固有および／または付帯パラメータを決定するステップを含み得る。固有のパラメータは、３－Ｄカメラの座標から２－Ｄ画像座標への投影変換を表す。固有のパラメータは、焦点距離（ｆ_ｘ，ｆ_ｙ）、主点、および歪曲係数を含み得る。他方では、付帯パラメータは、世界座標系からカメラの座標系への変換を表す。付帯パラメータは、回転行列および平行移動ベクトルを含む。付帯パラメータは、カメラ中心の位置および世界座標内のカメラの進行方向を決定することに役立ち得る。

【0004】

故に、カメラ較正は、カメラのレンズおよび画像センサのパラメータを推定し得る。決定されたパラメータは、レンズ歪曲を補正する、世界ユニット内のオブジェクトのサイズを測定する、または３－Ｄ場面再構築内の場面の中のカメラの場所を決定するために使用され得る。

【0005】

結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術を生産することは、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、ならびにＭＲ技術に関連する種々の課題に対処する。

【発明の概要】

【課題を解決するための手段】

【0006】

実施形態は、概して、ディスプレイシステム較正のための画像ディスプレイシステムおよび方法に関する。実施形態は、幾何学形状、光学性能、および／または運動における、ヒトの眼を模倣する、カメラ設計（例えば、眼球カメラ）を提供する。眼球カメラは、ヒトの眼からの同一角膜および瞳孔幾何学形状を採用し、複数のテクスチャ、色、または直径オプションとともに構成される、虹彩および瞳孔を有する。眼球カメラの分解能は、典型的２０／２０ヒト視覚の視力に合致するように設計され、焦点は、いくつかの実装では、０～４ジオプタまで調節される。一対の眼球カメラは、２つの六脚上に独立して搭載され、ヒトの眼の視線および輻輳・開散運動をシミュレートすることができる。知覚される仮想および実世界は、したがって、眼球カメラを使用して、瞳孔場所および視線のような眼条件に基づいて、較正および評価されることができる。眼球カメラは、ブリッジとしての役割を果たし、眼追跡のような空間コンピューティングからのデータ、デジタル世界の３Ｄ幾何学形状、ディスプレイ色正確度／均一性、およびディスプレイ光学品質（鮮明度、コントラスト等）を組み合わせる。

【0007】

種々の実施形態は、補正を仮想画像ディスプレイシステムに適用するためのシステムを提供する。本システムは、仮想画像を表示するように構成される、ディスプレイデバイスと、ディスプレイデバイスの正面に位置付けられる、画像捕捉デバイスと、ディスプレイデバイスおよび画像捕捉デバイスに結合され、画像データを画像捕捉デバイスから受信する、プロセッサとを含む。画像捕捉デバイスは、ヒトの眼に類似する１つ以上の性質を有する。プロセッサは、（ａ）場面の第１の画像を受信し、（ｂ）第１の画像と関連付けられる、視覚的性質の第１のセットを決定し、（ｃ）画像捕捉デバイスを用いて捕捉された場面の第２の画像を受信し、（ｄ）第２の画像と関連付けられる、視覚的性質の第２のセットを決定し、（ｅ）視覚的性質の第１のセットと視覚的性質の第２のセットとの間の相違を識別し、（ｆ）画像捕捉デバイスの１つ以上の性質を使用して、仮想画像ディスプレイシステムに適用し、少なくとも部分的に、相違を補正するための補正を決定し、（ｇ）画像捕捉デバイスの１つ以上の性質に基づいて、補正を仮想画像ディスプレイシステムに適用するようにプログラムされる。

【0008】

種々の実施形態は、補正を仮想画像ディスプレイシステムに適用する方法を提供する。本方法は、プロセッサによって、場面の第１の画像を実世界画像捕捉デバイスから受信するステップを含む。プロセッサは、第１の画像と関連付けられる、視覚的性質の第１のセットを決定する。本方法はさらに、プロセッサによって、画像捕捉デバイスから、ヒトの眼に類似する１つ以上の性質を有する、画像捕捉デバイスを用いて捕捉された場面の第２の画像を受信するステップを含む。画像捕捉デバイスは、ディスプレイデバイスの正面に位置付けられる。本方法はまた、プロセッサによって、第２の画像と関連付けられる、視覚的性質の第２のセットを決定するステップと、プロセッサによって、視覚的性質の第１のセットと視覚的性質の第２のセットとの間の相違を識別するステップとを含む。プロセッサは、画像捕捉デバイスの１つ以上の性質を使用して、仮想画像ディスプレイシステムに適用し、少なくとも部分的に、相違を補正するための補正を決定し、画像捕捉デバイスの１つ以上の性質に基づいて、補正を仮想画像ディスプレイシステムに適用する。

【0009】

従来の技法に優る多数の利点が、本開示の方法によって達成される。例えば、実施形態は、ヒトの眼を模倣する、１つ以上のカメラ（例えば、眼球カメラ）を使用して、実世界画像捕捉デバイスおよび／またはＡＲ／ＶＲディスプレイシステムを較正する、方法およびシステムを提供する。角膜位置、角膜幾何学形状、眼球位置、瞳孔サイズ、瞳孔位置、視線距離、または視線配向のうちの１つ以上のもの等の眼球カメラの性質が、把握され、制御されることができる。したがって、較正は、既知および制御可能パラメータのセットを使用して、実施されることができる。例えば、視線を無限遠上に固定し、データを使用して、デバイスを較正することが可能である。したがって、実施形態は、ＡＲ／ＶＲディスプレイシステムのより正確な較正を提供し、したがって、より正確かつシームレスなＡＲ／ＶＲ体験をもたらす。

【0010】

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および下記の説明に記載される。他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。

【図面の簡単な説明】

【0011】

【図1】図１は、本開示のいくつかの実施形態による、ディスプレイデバイスの較正のための例示的システムを図示する。

【0012】

【図2】図２Ａ－２Ｂは、本開示のいくつかの実施形態による、例示的画像捕捉要素を図示する。

【0013】

【図3】図３は、本開示のいくつかの実施形態による、カメラリグを図示する、簡略化された概略図である。

【0014】

【図4】図４は、本開示のいくつかの実施形態による、仮想画像ディスプレイシステムを較正するための方法を図示する、例示的ブロック図である。

【0015】

【図5】図５は、本開示のいくつかの実施形態による、仮想画像ディスプレイシステムに関連して実施され得る、種々の較正を図示する、例示的ブロック図である。

【0016】

【図6】図６は、本開示のいくつかの実施形態による、仮想画像ディスプレイシステムに関連して実施される、眼追跡照合を図示する、例示的ブロック図である。

【0017】

【図7】図７は、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用するための方法を図示する、簡略化されたフローチャートである。

【0018】

【図8】図８は、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用し、ディスプレイ色を調節するための方法を図示する、簡略化されたフローチャートである。

【0019】

【図9】図９は、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用し、幾何学形状属性を調節するための方法を図示する、簡略化されたフローチャートである。

【0020】

【図10】図１０は、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用し、空間位置付けを調節するための方法を図示する、簡略化されたフローチャートである。

【発明を実施するための形態】

【0021】

実施形態は、ディスプレイシステム較正のための画像ディスプレイシステムおよび方法を対象とする。空間コンピューティングは、デジタルライトフィールド、感知、およびコンピューティングの組み合わせを通して、空間的に相互作用する方法において、デジタル世界コンテンツを実世界コンテンツ上にオーバーレイすることを可能にする。空間コンピューティング技法によって提示されるデジタルコンテンツは、好ましくは、実世界周囲と、そして、より重要なこととして、システムの成功の最終判断である、ヒトの眼－脳系と連動して機能する。結果として、そのような空間コンピューティングシステムを開発するために、ヒトの眼－脳系が空間コンピューティングシステムの性能を較正および照合するための代用物を有することが不可欠となるであろう。

【0022】

実施形態は、少なくとも以下の側面、すなわち、幾何学形状、光学性能、および／または運動のうちの１つ以上のものにおいて、ヒト生理学（例えば、ヒトの眼）を模倣する、カメラ設計を提供する。具体的には、実施形態は、ヒトの眼からの同一角膜および瞳孔幾何学形状を採用するだけではなく、また、複数のテクスチャ、色、または直径オプションとともに構成され得る、虹彩および瞳孔を有する、カメラ（例えば、眼球カメラ）を提供する。さらに、眼球カメラの分解能は、典型的２０／２０ヒト視覚の視力に合致するように設計され、焦点は、ピエゾモータまたは他の好適な機械的システムによって、例えば、０～４ジオプタまで調節されることができる。

【0023】

種々の実施形態によると、一対の眼球カメラが、２つの六脚上に独立して搭載され、ヒトの眼の視線および輻輳・開散運動をシミュレートする。眼球カメラの助けを借りることで、知覚される仮想および実世界コンテンツの両方が、決定的かつ定量化可能眼条件、例えば、瞳孔場所および視線において、較正および評価されることができる。種々の実施形態によると、眼球カメラは、総合的ビューのために、ブリッジとしての役割を果たし、眼追跡のような空間コンピューティングからのデータ、デジタル世界の３Ｄ幾何学形状、ディスプレイ色正確度／均一性、およびディスプレイ光学品質（鮮明度、コントラスト等）を組み合わせ、これは、仮想および実世界をともにシームレスに効果的に混成することに役立つ。

【0024】

図１は、仮想画像ディスプレイシステム１１０を較正するための例示的システム１００を図示する。システム１００は、仮想画像ディスプレイシステム１１０と、画像捕捉デバイス１２０と、データ処理モジュール１４０とを含んでもよい。仮想画像ディスプレイシステム１１０は、仮想画像を表示するように構成される、ディスプレイデバイス１１２と、画像を捕捉し、ディスプレイデバイス１１２上に表示するように構成される、実世界画像捕捉デバイス１５０と、仮想画像ディスプレイシステム１１０の機能をサポートするための種々の機械的および電子モジュールおよびシステムとを含んでもよい。ディスプレイデバイス１１２は、フレーム１３０に結合されてもよく、これは、ディスプレイシステムのユーザ、装着者、または視認者によって装着可能であって、使用の間、ディスプレイデバイス１１２を装着者の眼の正面に位置付けるように構成される。ディスプレイデバイス１１２は、ライトフィールドディスプレイであってもよい。いくつかの実施形態では、スピーカが、フレーム１３０に結合され、ユーザの外耳道に隣接して位置付けられてもよい（いくつかの実施形態では、示されない、別のスピーカが、ユーザの他の外耳道に隣接して位置付けられ、ステレオ／調節可能音制御を提供する）。実世界画像捕捉デバイス１５０は、有線導線または無線コネクティビティを介して、ディスプレイデバイス１１２に結合されてもよい。いくつかの実施形態では、実世界画像捕捉デバイス１５０は、フレーム１３０上に提供されてもよい。他の実施形態では、実世界画像捕捉デバイス１５０は、フレーム１３０と別個に提供され、仮想画像ディスプレイシステム１１０のユーザによって装着されるように構成されてもよい、（例えば、頭部カメラとして頭部上に、ベルト、腕輪、または腕時計として、身体上に）。

【0025】

種々の実施形態によると、画像捕捉デバイス１２０は、ディスプレイデバイス１１２の正面に位置付けられてもよい。本システムはまた、有線導線または無線コネクティビティ等によって、仮想画像ディスプレイシステム１１０および画像捕捉デバイス１２０に動作可能に結合される、データ処理モジュール１４０を含んでもよい。データ処理モジュール１４０は、種々の入／出力デバイスを含んでもよく、外部モジュールからのデータを受信してもよい。

【0026】

データ処理モジュール１４０は、実世界画像捕捉デバイス１５０によって捕捉された画像またはビデオ情報等のデータおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサを含んでもよい。画像またはビデオデータは、データ処理モジュール１４０内にローカルで、および／または遠隔データリポジトリ内に遠隔で、記憶されてもよい。いくつかの実施形態では、遠隔データリポジトリは、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、データ処理モジュール１４０内で実施され、遠隔モジュールから完全に自律的使用を可能にする一方、他の実施形態では、データ記憶および／または算出は、分散される。当業者は、多くの変形例、修正、および代替を認識するであろう。

【0027】

ディスプレイデバイス１１２は、第１のディスプレイ１０６（例えば、左ディスプレイ要素）と、第２のディスプレイ１０８（例えば、右ディスプレイ要素）とを含んでもよい。同様に、画像捕捉デバイス１２０は、第１の画像捕捉要素１０２（例えば、左画像捕捉要素）と、第２の画像捕捉要素１０４（例えば、右画像捕捉要素）とを含んでもよい。画像捕捉デバイス１２０は、第１の画像捕捉要素１０２が、第１のディスプレイ１０６の正面に位置付けられ、第２の画像捕捉要素１０４が、第２のディスプレイ１０８の正面に位置付けられるように、ディスプレイデバイス１１２の正面に位置付けられてもよい。

【0028】

種々の実施形態によると、画像捕捉デバイス１２０は、ヒトの眼をシミュレートしてもよい。すなわち、画像捕捉デバイス１２０は、ヒトの眼に類似する性質を含んでもよい。例えば、第１の画像捕捉要素１０２および第２の画像捕捉要素１０４はそれぞれ、ある角膜位置、ある角膜幾何学形状、ある眼球位置、ある瞳孔サイズ、ある瞳孔位置、ある視線距離、ある視線配向、およびある虹彩色を含んでもよい。これらの性質は、第１の画像捕捉要素１０２および第２の画像捕捉要素１０４のうちの１つ毎に、相互から独立して、構成可能であって、制御されてもよい。例えば、第１の画像捕捉要素１０２および第２の画像捕捉要素１０４は、眼球カメラを含んでもよい。

【0029】

図２Ａおよび２Ｂは、本開示のいくつかの実施形態による、第１の画像捕捉要素１０２を図示する。第２の画像捕捉要素１０４は、第１の画像捕捉要素１０２と類似し（または同じであって）、第１の画像捕捉要素１０２の説明は、第２の画像捕捉要素１０４にも適用可能である。第１の画像捕捉要素１０２および／または第２の画像捕捉要素１０４は、ヒトの眼をシミュレートし、カメラ本体２１０に結合される、レンズ搭載部２０６の端部に搭載される、人工角膜２００と、人工瞳孔２０２と、人工虹彩２０４とを含んでもよい。人工角膜２００、人工瞳孔２０２、および人工虹彩２０４は、人工眼球２２０と称され得る。カメラ本体２１０は、カメラシャッタおよび画像センサ等のカメラ要素を格納する、遮光性ボックスを含んでもよい。

【0030】

人工角膜２００、人工瞳孔２０２、および人工虹彩２０４の種々の性質は、種々の実施形態に従って構成されてもよい。例えば、人工角膜２００の位置および／または幾何学形状、人工瞳孔２０２の位置およびサイズ、ならびに人工虹彩２０４の位置および／または色は、種々の実施形態に従って、構成、カスタマイズ、または別様に調節されてもよい。同様に、レンズ搭載部２０６の端部における人工眼球２２０の位置もまた、構成されてもよい。実施形態は、第１の画像捕捉要素１０２および／または第２の画像捕捉要素１０４の輻輳・開散運動（収束、すなわち、より近くのオブジェクトを見ているときに生じる、相互に向かった眼の回転と、発散、すなわち、遠く離れたオブジェクトを見ているときに生じる、相互から離れるような眼の回転とを含む）、視線距離、および／または視線配向を決定および調節することを可能にする。例えば、実施形態は、所望の（事前に決定された）時間量にわたって、視線距離を無限遠に固定することを可能にする。ヒトの眼は、定常視線を無限遠に保持することが不可能であるため、第１の画像捕捉要素１０２および／または第２の画像捕捉要素１０４は、ヒトの眼の能力を模倣し、それに応じて構築し得る。したがって、実施形態は、仮想画像ディスプレイシステム１１０（すなわち、仮想画像ディスプレイシステム１１０の実世界画像捕捉デバイス１５０）のより正確な較正を可能にする。

【0031】

種々の実施形態によると、第１の画像捕捉要素１０２の性質は、第２の画像捕捉要素１０４から独立して、構成および調節されることができる。同様に、第１の画像捕捉要素１０２は、第２の画像捕捉要素１０４から独立して移動するように制御されることができる。これは、図３に図示されるように、第１の画像捕捉要素１０２および第２の画像捕捉要素１０４のそれぞれを別個の個々の六脚上に設置することによって達成されてもよい。

【0032】

図３は、本開示のいくつかの実施形態による、カメラリグ３００を図示する、簡略化された概略図である。カメラリグ３００は、第１の制御可能搭載部３０２と、第２の制御可能搭載部３０４とを含んでもよい。制御可能搭載部３０２、３０４は、相互から独立して、または相互に同時に、移動するように制御されてもよい。制御可能搭載部３０２、３０４は、ヒトの眼筋ならびにヒト頭部を模倣するように制御されてもよい。

【0033】

図３に図示されるように、第１の画像捕捉要素１０２は、第１の制御可能搭載部３０２上に搭載されてもよく、第２の画像捕捉要素１０４は、第２の制御可能搭載部３０４上に搭載されてもよい。カメラリグ３００および画像捕捉要素１０２、１０４は、ともに協働し、その眼窩内で移動する一対のヒトの眼を模倣（例えば、シミュレート）してもよい。

【0034】

種々の実施形態によると、制御可能搭載部３０２、３０４は、底部プラットフォーム３０８および／または上部プラットフォーム３１０に結合される、１つ以上のアクチュエータ３０６（例えば、線形アクチュエータ、直動関節、または同等物）を含んでもよい。いくつかの実施形態では、制御可能搭載部３０２、３０４は、６つの線形アクチュエータを含む、平行マニピュレータの形態にあってもよい。

【0035】

制御可能搭載部３０２、３０４は、有線または無線接続を介して制御可能搭載部３０２、３０４と通信するように構成される、コンピューティングデバイス３５０を介して制御されてもよい。いくつかの実施形態では、コンピューティングデバイス３５０は、データ処理モジュール１４０と連動して機能するために、データ処理モジュール１４０を含んでもよい、またはデータ処理モジュール１４０に結合されてもよい。種々の実施形態によると、コンピューティングデバイス３５０は、（例えば、信号の形態における）コマンドを制御可能搭載部３０２、３０４に送信し、（例えば、信号の形態における）フィードバックを制御可能搭載部３０２、３０４から受信してもよい。

【0036】

種々の実施形態によると、カメラリグ３００は、仮想画像ディスプレイシステムの生産の間、仮想画像ディスプレイシステムの較正を微調整するために使用されてもよい。さらにいくつかの実施形態では、カメラリグ３００は、ユーザが、較正のために、またはユーザの特定の眼性質（例えば、幾何学形状、色、視力）に従って仮想画像ディスプレイシステムを微調整するために、その仮想画像ディスプレイシステム１１０を持ち込み得る、小売場所に提供されるようにサイズおよび寸法調整されてもよい。

【0037】

実施形態は、画像捕捉デバイス（１つ以上の画像捕捉要素を含む）を使用して、仮想画像ディスプレイシステム（例えば、ＡＲ／ＶＲシステムの実世界画像捕捉デバイス）を較正することを可能にする。いくつかの実施形態では、画像捕捉デバイスは、ヒトの眼を模倣するように制御または構成されてもよい。

【0038】

図４は、本開示のいくつかの実施形態による、仮想画像ディスプレイシステムを較正するための方法を図示する、例示的ブロック図を示す。実世界４００内の場面、環境、またはオブジェクトの画像４５０が、実世界画像捕捉デバイス（例えば、世界カメラ）４０２を使用して捕捉されてもよい。捕捉された画像４５０は、レンダリングエンジン４１０に送信されてもよく、これは、次いで、受信された画像を処理し、処理された画像をプロジェクタ４１２に伝送し、これは、次いで、ディスプレイデバイス（例えば、仮想画像ディスプレイシステムの接眼レンズ）４１４上に表示するであろう。表示される画像は、ディスプレイデバイス４１４上に照明されるピクセル４１６のグループに対応し得る。しかしながら、表示される画像は、画像が表すとされる、実世界４００と正確に合致（例えば、整合）しない場合がある。例えば、画像内のオブジェクトの輪郭は、実世界内のオブジェクトの輪郭と整合しない場合がある。本不整合を補正するために、実世界画像捕捉デバイス４０２は、較正される必要があり得る。

【0039】

例えば、実世界画像捕捉デバイス４０２を使用して捕捉された画像は、眼追跡カメラ４０４および１つ以上の眼追跡光エミッタ（例えば、発光ダイオード（ＬＥＤ））４０６からのデータを使用して、処理（例えば、精緻化）されてもよい。眼追跡カメラ４０４および１つ以上の眼追跡光エミッタ４０６からのデータは、画像を具体的深度または範囲においてレンダリングするために、ユーザが見ている場所についての付加的情報を含んでもよい。例えば、眼の輻輳・開散運動が、眼追跡カメラ４０４および１つ以上の眼追跡光エミッタ４０６を使用して決定されてもよく、仮想画像ディスプレイシステムのための較正／調節が、輻輳・開散運動／遠近調節モデルを使用して決定されてもよい。

【0040】

種々の実施形態によると、眼追跡カメラ４０４は、ユーザの角膜位置を検出し、角膜位置に基づいて、眼開口を決定し、ユーザの視線を計算する。すなわち、眼追跡カメラ４０４は、ユーザの眼位置を推定する。したがって、仮想画像ディスプレイシステムをより正確に較正するために、ユーザの眼の幾何学形状、位置、および視線の詳細を把握することが望ましいであろう。

【0041】

実施形態は、仮想画像ディスプレイシステムを較正するために、画像捕捉デバイス４０８を使用して、ヒトの眼（または一対のヒトの眼）をシミュレートしてもよい。画像捕捉デバイス４０８は、眼追跡カメラ４０４と併用されてもよい。種々の実施形態によると、画像捕捉デバイス４０８は、ヒトの眼の物理的性質を有してもよい。例えば、図２Ａ－２Ｂに関連して説明されるように、画像捕捉デバイス４０８は、人工角膜と、人工瞳孔と、人工虹彩とを含む、ヒトの眼の幾何学形状に類似する幾何学形状を有してもよい。したがって、眼追跡カメラ４０４および１つ以上の眼追跡光エミッタ４０６は、画像捕捉デバイス４０８と併用されるとき、仮想画像ディスプレイシステムを較正するためのより正確なデータを提供する。

【0042】

画像捕捉デバイス４０８の性質は、既知であるため、眼追跡カメラ４０４および１つ以上の眼追跡光エミッタ４０６は、これらの性質を推定または決定する代わりに、性質（例えば、角膜位置、角膜幾何学形状、眼球位置、瞳孔サイズ、瞳孔位置、視線距離、および視線配向）に関するデータを使用する。仮想画像ディスプレイシステムのための補正が、実世界画像捕捉デバイス４０２から受信された画像４５０と画像捕捉デバイス４０８を使用して捕捉された実世界４００内の同一場面、環境、またはオブジェクトの画像４６０をより正確に整合させるために、画像捕捉デバイス４０８のこれらの性質のうちの１つ以上のものに基づいて決定されてもよい。

【0043】

レンダリングエンジン４１０は、画像４６０を画像捕捉デバイス４０８から受信し、画像４６０と実世界画像捕捉デバイス４０２から受信された画像４５０を比較してもよい。画像４６０および画像４５０が、所定の程度または標的まで重複しないと決定される場合、レンダリングエンジン４１０は、実世界４００内の場面、環境、またはオブジェクトの画像をより正確に捕捉するために実世界画像捕捉デバイス４０２に適用されるべき１つ以上の補正を決定してもよい。仮想画像ディスプレイシステム（より具体的には、実世界画像捕捉デバイス４０２および／またはディスプレイデバイス４１４）は、実世界画像捕捉デバイス４０２によって捕捉された画像４５０が画像捕捉デバイス４０８を用いて捕捉された画像４６０と所定の閾値内まで整合するまで、較正されてもよい。

【0044】

図５は、仮想画像ディスプレイシステムに関連して実施され得る、種々の較正を図示する、例示的ブロック図を示す。同様に図１に関連して説明されるように、仮想画像ディスプレイシステム５００は、感知コンポーネント５０２（例えば、実世界画像捕捉デバイス１５０）と、ディスプレイコンポーネント５０４（例えば、ディスプレイデバイス１１２）とを有してもよい。感知コンポーネント５０２は、眼追跡カメラ較正５０６および眼追跡ＬＥＤ較正５０８を使用して較正され、眼追跡５１４を照合および改良してもよい。ディスプレイコンポーネント５０４は、表示されるオブジェクトの幾何学形状５１６を照合および改良するための幾何学形状較正５１０と、表示されるオブジェクトの色５１８を照合および改良するための色較正５１２とを使用して較正されることができる。全体として、仮想画像ディスプレイシステムのディスプレイ品質５２０が、照合および改良され得る。

【0045】

種々の実施形態に関連して説明されるヒトの眼をシミュレートする、画像捕捉デバイスは、仮想画像ディスプレイシステムのための眼追跡、幾何学形状、色、およびディスプレイ品質を改良するために、全ての上記に説明される較正を組み合わせ、並行して実施するために使用されてもよい。

【0046】

図６は、眼追跡照合の詳細なビューを図示する、例示的ブロック図を示す。眼追跡カメラ６０４および眼追跡ＬＥＤ６０６は、角膜位置、角膜幾何学形状、眼球位置、瞳孔サイズ、瞳孔位置、視線距離、および視線配向等の画像捕捉デバイス６０２の性質６１０を推定することができる。推定される性質６１０は、これらの性質に関する実際の値６１２とともに、コンピューティングデバイス６１４（例えば、データ処理モジュール１４０）に提供されてもよい。コンピューティングデバイスは、推定される性質６１０と画像捕捉デバイス６０２のこれらの性質に関する実際の値６１２を比較し、視線方向、深度面切替、レンダリング中心、収束平面等に基づいて、仮想画像ディスプレイシステムのための１つ以上の補正６２０を決定してもよい。

【0047】

図７は、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用するための方法を図示する、簡略化されたフローチャート７００である。仮想画像ディスプレイシステムは、少なくともディスプレイデバイスと、世界カメラとを含んでもよい。種々の実施形態によると、ヒトの眼（または一対のヒトの眼）をシミュレートする、画像捕捉要素が、仮想画像ディスプレイシステムに結合されてもよい。

【0048】

ブロック７０２では、プロセッサを含む、コンピューティングデバイスが、第１の画像と、第２の画像とを仮想画像ディスプレイシステムから受信する。第１の画像は、仮想画像ディスプレイシステムの世界カメラを使用して捕捉されてもよく、第２の画像は、画像捕捉デバイス（例えば、眼球カメラ）を使用して捕捉されてもよい。画像捕捉デバイスは、限定ではないが、角膜位置、角膜幾何学形状、眼球位置、瞳孔サイズ、瞳孔位置、視線距離、および／または視線配向を含む、ヒトの眼に類似する１つ以上の性質を有する。画像捕捉デバイスのこれらの性質は、所定の値を有してもよく、構成可能であってもよい。

【0049】

ブロック７０４では、コンピューティングデバイスは、第１の画像および第２の画像の視覚的性質を決定してもよい。コンピューティングデバイスは、最初に、第１の画像と関連付けられる、視覚的性質の第１のセットと、第２の画像と関連付けられる、視覚的性質の第２のセットを決定してもよい。視覚的性質の第１のセットおよび視覚的性質の第２のセットは、オブジェクトの特殊位置付け（例えば、画像内のオブジェクトの場所、座標、または画像内の２つのオブジェクトもしくは点間の距離）、オブジェクトの色（例えば、オブジェクトの色相、彩度、またはコントラスト）、オブジェクトの幾何学形状属性（オブジェクトの共線形性、曲率、長さ、幅、範疇、追加されたマーク、欠測マーク、多数性、形状、サイズ、空間グループ化、および要素の空間配向）を含んでもよい。

【0050】

ブロック７０６では、コンピューティングデバイスは、第１の画像の視覚的性質の第１のセットと第２の画像の視覚的性質の第２のセットとの間の相違を識別してもよい。

【0051】

ブロック７０８では、コンピューティングデバイスは、画像捕捉デバイスの１つ以上の既知の性質を使用して、仮想画像ディスプレイシステムに適用するための補正を決定し、少なくとも部分的に、相違を補正してもよい。

【0052】

ブロック７１０では、コンピューティングデバイスは、画像捕捉デバイスの１つ以上の性質に基づいて、補正を仮想画像ディスプレイシステムに適用してもよい。補正は、仮想画像ディスプレイシステムのディスプレイデバイスまたは世界カメラを較正してもよい。

【0053】

図７に図示される具体的ステップは、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用するための特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って実施されてもよい。例えば、代替実施形態は、異なる順序において、図７において概略されたステップを実施してもよい。さらに、図７に図示される個々のステップは、個々のステップの必要に応じて種々のシーケンス内で実施され得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。

【0054】

図８は、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用し、ディスプレイ色を調節するための方法を図示する、簡略化されたフローチャート８００である。仮想画像ディスプレイシステムは、少なくともディスプレイデバイスと、世界カメラとを含んでもよい。種々の実施形態によると、ヒトの眼（または一対のヒトの眼）をシミュレートする、画像捕捉要素が、仮想画像ディスプレイシステムに結合されてもよい。

【0055】

ブロック８０２では、プロセッサを含む、コンピューティングデバイスが、第１の画像と、第２の画像とを仮想画像ディスプレイシステムから受信する。第１の画像は、仮想画像ディスプレイシステムの世界カメラを使用して捕捉されてもよく、第２の画像は、画像捕捉デバイス（例えば、眼球カメラ）を使用して捕捉されてもよい。画像捕捉デバイスは、限定ではないが、角膜位置、角膜幾何学形状、眼球位置、瞳孔サイズ、瞳孔位置、視線距離、および／または視線配向を含む、ヒトの眼に類似する１つ以上の性質を有する。画像捕捉デバイスのこれらの性質は、所定の値を有してもよく、構成可能であってもよい。

【0056】

ブロック８０４では、コンピューティングデバイスは、第１の画像および第２の画像の視覚的性質を決定してもよい。コンピューティングデバイスは、最初に、第１の画像内の点の空間位置付けと、第２の画像内の対応する点の空間位置付けとを決定してもよい。

【0057】

ブロック８０６では、コンピューティングデバイスは、第１の画像内の点の空間位置付けと第２の画像内の対応する点の空間位置付けとの間の相違を識別してもよい。

【0058】

ブロック８０８では、コンピューティングデバイスは、仮想画像ディスプレイシステムに適用するための補正を決定し、第１の画像内の点と第２の画像内の対応する点を整合させてもよい。

【0059】

ブロック８１０では、コンピューティングデバイスは、画像捕捉デバイスの１つ以上の性質に基づいて、補正を仮想画像ディスプレイシステムに適用してもよい。補正は、仮想画像ディスプレイシステムのディスプレイデバイスまたは世界カメラを較正し、第２の画像内の対応する点とより正確に整合する、第１の画像の点をもたらし得る。

【0060】

図８に図示される具体的ステップは、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用し、ディスプレイ色を調節するための特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って実施されてもよい。例えば、代替実施形態は、異なる順序において、図８において概略されたステップを実施してもよい。さらに、図８に図示される個々のステップは、個々のステップの必要に応じて種々のシーケンス内で実施され得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。

【0061】

図９は、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用し、幾何学形状属性を調節するための方法を図示する、簡略化されたフローチャート９００である。仮想画像ディスプレイシステムは、少なくともディスプレイデバイスと、世界カメラとを含んでもよい。種々の実施形態によると、ヒトの眼（または一対のヒトの眼）をシミュレートする、画像捕捉要素が、仮想画像ディスプレイシステムに結合されてもよい。

【0062】

ブロック９０２では、プロセッサを含む、コンピューティングデバイスが、第１の画像と、第２の画像とを仮想画像ディスプレイシステムから受信する。第１の画像は、仮想画像ディスプレイシステムの世界カメラを使用して捕捉されてもよく、第２の画像は、画像捕捉デバイス（例えば、眼球カメラ）を使用して捕捉されてもよい。画像捕捉デバイスは、限定ではないが、角膜位置、角膜幾何学形状、眼球位置、瞳孔サイズ、瞳孔位置、視線距離、および／または視線配向を含む、ヒトの眼に類似する１つ以上の性質を有する。画像捕捉デバイスのこれらの性質は、所定の値を有してもよく、構成可能であってもよい。

【0063】

ブロック９０４では、コンピューティングデバイスは、第１の画像および第２の画像の視覚的性質を決定してもよい。コンピューティングデバイスは、第１の画像内の面積（例えば、点、オブジェクト、またはピクセル）の色（例えば、色相、彩度、またはコントラスト）と、第２の画像内の対応する面積の色とを決定してもよい。

【0064】

ブロック９０６では、コンピューティングデバイスは、第１の画像内の面積の色と第２の画像内の対応する面積の色との間の相違を識別してもよい。

【0065】

ブロック９０８では、コンピューティングデバイスは、仮想画像ディスプレイシステムに適用するための補正を決定し、第１の画像内の面積の色と第２の画像内の対応する面積の色を合致させてもよい。

【0066】

ブロック９１０では、コンピューティングデバイスは、画像捕捉デバイスの１つ以上の性質に基づいて、補正を仮想画像ディスプレイシステムに適用してもよい。補正は、仮想画像ディスプレイシステムのディスプレイデバイスまたは世界カメラを較正し、第２の画像内の対応する面積の色とより正確に合致する、第１の画像内の面積の色をもたらし得る。補正は、ディスプレイデバイス上に表示される画像の色相、彩度、およびコントラストのうちの１つ以上のものを調節してもよい。

【0067】

図９に図示される具体的ステップは、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用し、幾何学形状属性を調節するための特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って実施されてもよい。例えば、代替実施形態は、異なる順序において、図９において概略されたステップを実施してもよい。さらに、図９に図示される個々のステップは、個々のステップの必要に応じて種々のシーケンス内で実施され得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。

【0068】

図１０は、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用し、空間位置付けを調節するための方法を図示する、簡略化されたフローチャート１０００である。仮想画像ディスプレイシステムは、少なくともディスプレイデバイスと、世界カメラとを含んでもよい。種々の実施形態によると、ヒトの眼（または一対のヒトの眼）をシミュレートする、画像捕捉要素が、仮想画像ディスプレイシステムに結合されてもよい。

【0069】

ブロック１００２では、プロセッサを含む、コンピューティングデバイスが、第１の画像と、第２の画像とを仮想画像ディスプレイシステムから受信する。第１の画像は、仮想画像ディスプレイシステムの世界カメラを使用して捕捉されてもよく、第２の画像は、画像捕捉デバイス（例えば、眼球カメラ）を使用して捕捉されてもよい。画像捕捉デバイスは、限定ではないが、角膜位置、角膜幾何学形状、眼球位置、瞳孔サイズ、瞳孔位置、視線距離、および／または視線配向を含む、ヒトの眼に類似する１つ以上の性質を有する。画像捕捉デバイスのこれらの性質は、所定の値を有してもよく、構成可能であってもよい。

【0070】

ブロック１００４では、コンピューティングデバイスは、第１の画像および第２の画像の視覚的性質を決定してもよい。コンピューティングデバイスは、第１の画像内のオブジェクトの幾何学形状属性（例えば、形態、共線形性、曲率、長さ、幅、範疇、追加されたマーク、欠測マーク、多数性、形状、サイズ、空間グループ化、および／または空間配向）と、対第２の画像内の対応するオブジェクトの幾何学形状属性とを決定してもよい。

【0071】

ブロック１００６では、コンピューティングデバイスは、第１の画像内のオブジェクトの幾何学形状属性と第２の画像内の対応するオブジェクトの幾何学形状属性との間の相違を識別してもよい。

【0072】

ブロック１００８では、コンピューティングデバイスは、仮想画像ディスプレイシステムに適用するための補正を決定し、第１の画像内のオブジェクトの幾何学形状属性と第２の画像内の対応するオブジェクトの幾何学形状属性を合致させてもよい。

【0073】

ブロック１０１０では、コンピューティングデバイスは、画像捕捉デバイスの１つ以上の性質に基づいて、補正を仮想画像ディスプレイシステムに適用してもよい。補正は、仮想画像ディスプレイシステムのディスプレイデバイスまたは世界カメラを較正し、第２の画像内の対応する面積の幾何学形状属性とより正確に合致する、第１の画像内のオブジェクトの幾何学形状属性をもたらし得る。補正は、ディスプレイデバイス上に表示されるオブジェクトの共線形性、曲率、長さ、幅、範疇、追加されたマーク、欠測マーク、多数性、形状、サイズ、空間グループ化、および／または空間配向のうちの１つ以上のものを調節してもよい。

【0074】

図１０に図示される具体的ステップは、本開示のいくつかの実施形態による、補正を決定し、仮想画像ディスプレイシステムに適用し、空間位置付けを調節するための特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って実施されてもよい。例えば、代替実施形態は、異なる順序において、図１０において概略されたステップを実施してもよい。さらに、図１０に図示される個々のステップは、個々のステップの必要に応じて種々のシーケンス内で実施され得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。

【0075】

実施形態は、従来技術のシステムに優るいくつかの利点を提供する。実施形態は、ヒトの眼を模倣する、１つ以上のカメラ（例えば、眼球カメラ）を使用して、実世界画像捕捉デバイスおよび／またはＡＲ／ＶＲディスプレイシステムを較正することを可能にする。角膜位置、角膜幾何学形状、眼球位置、瞳孔サイズ、瞳孔位置、視線距離、または視線配向のうちの１つ以上のもの等の眼球カメラの性質が、把握され、制御されることができる。したがって、較正は、既知および制御可能パラメータのセットを使用して、実施されることができる。例えば、視線を無限遠上に固定し、データを使用して、デバイスを較正することが可能である。したがって、実施形態は、ＡＲ／ＶＲディスプレイシステムのより正確な較正を提供し、したがって、より正確かつシームレスなＡＲ／ＶＲ体験をもたらす。

【0076】

本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

【0077】

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアもしくは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

【0078】

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、無作為アクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

【0079】

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変動が、可能である。

【0080】

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

【0081】

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

【0082】

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいてアクションするものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変動を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。

【0083】

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、もしくは１つ以上の実施形態が、著者の入力もしくは促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを合意することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」もしくは「少なくとも１つ」を意味するように解釈されるべきである。

【0084】

本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図するものではない。

【0085】

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】