特許 6876683 軸外イメージャを用いた眼の撮像

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6876683

(24)【登録日】2021年4月28日

(45)【発行日】2021年5月26日

(54)【発明の名称】軸外イメージャを用いた眼の撮像

(51)【国際特許分類】

   G02B 27/02 20060101AFI20210517BHJP

   H04N 5/64 20060101ALI20210517BHJP

   H04N 13/344 20180101ALI20210517BHJP

   A61B 3/113 20060101ALI20210517BHJP

【ＦＩ】

   G02B27/02 Z

   H04N5/64 511A

   H04N13/344

   A61B3/113

【請求項の数】17

【全頁数】35

(21)【出願番号】特願2018-514408(P2018-514408)

(86)(22)【出願日】2016年9月21日

(65)【公表番号】特表2018-530781(P2018-530781A)

(43)【公表日】2018年10月18日

(86)【国際出願番号】US2016052814

(87)【国際公開番号】WO2017053382

(87)【国際公開日】20170330

【審査請求日】2019年7月5日

(31)【優先権主張番号】62/222,671

(32)【優先日】2015年9月23日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】クルグ， マイケル アンソニー

(72)【発明者】

【氏名】ケーラー， エイドリアン

【審査官】 鈴木 俊光

(56)【参考文献】

【文献】 特開２００３−２２５２０７（ＪＰ，Ａ）

【文献】 特開２００３−２３０５３９（ＪＰ，Ａ）

【文献】 特開２０１５−１４１３１２（ＪＰ，Ａ）

【文献】 米国特許第０７４０１９２０（ＵＳ，Ｂ１）

【文献】 国際公開第２０１５／１３４７３８（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１３／０３２２８１０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２７／０１ − ２７／０２

Ｈ０４Ｎ ５／６４

Ｈ０４Ｎ １３／３４４

Ａ６１Ｂ ３／１１３

(57)【特許請求の範囲】

【請求項1】

ユーザの頭部上に装着されるように構成される頭部搭載型ディスプレイ（ＨＭＤ）であって、前記ＨＭＤは、
一対の耳用支えを備えるフレームと、
一対の光学要素であって、前記一対の光学要素は、前記一対の光学要素のそれぞれが、前記ユーザの眼の正面に配置されることが可能であるように、前記フレームによって支持され、前記一対の光学要素のそれぞれは、画像を前記ユーザに表示するように構成される、一対の光学要素と、
前記一対の耳用支えのうちの１つに搭載される前向きイメージャと、
前記一対の光学要素のうちの１つの内部または表面上に配置される反射要素であって、前記反射要素は、前記反射要素によって反射された赤外線光を受信するように構成される、前記前向きイメージャに向かって赤外線光を反射させるように構成され、前記反射要素は、複数のセグメントを備え、前記複数のセグメント内の各セグメントは、前記複数のセグメント内の少なくとも１つの他のセグメントの光学性質と異なる光学性質を有する、反射要素と
を備える、ＨＭＤ。

【請求項2】

前記一対の光学要素のそれぞれは、可視光に透過性である、請求項１に記載のＨＭＤ。

【請求項3】

前記一対の光学要素のそれぞれは、ライトフィールドディスプレイを備える、請求項１に記載のＨＭＤ。

【請求項4】

ユーザの頭部上に装着されるように構成される頭部搭載型ディスプレイ（ＨＭＤ）であって、前記ＨＭＤは、
一対の耳用支えを備えるフレームと、
一対の光学要素であって、前記一対の光学要素は、前記一対の光学要素のそれぞれが、前記ユーザの眼の正面に配置されることが可能であるように、前記フレームによって支持され、前記一対の光学要素のそれぞれは、画像を前記ユーザに表示するように構成される、一対の光学要素と、
前記一対の耳用支えのうちの１つに搭載される前向きイメージャと、
前記一対の光学要素のうちの１つの内部または表面上に配置される反射要素であって、前記反射要素は、前記反射要素によって反射された赤外線光を受信するように構成される、前記前向きイメージャに向かって赤外線光を反射させるように構成される、反射要素と
を備え、
前記一対の光学要素のそれぞれは、ライトフィールドディスプレイを備え、
前記ライトフィールドディスプレイは、前記画像を前記ユーザに出力するように構成される導波管スタックを備える、ＨＭＤ。

【請求項5】

前記反射要素は、ホットミラー、軸外回折光学要素（ＤＯＥ）、軸外ホログラフィックミラー（ＯＡＨＭ）、または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備える、請求項１から４のいずれか１項に記載のＨＭＤ。

【請求項6】

前記反射要素は、可視光に透過性である、請求項１に記載のＨＭＤ。

【請求項7】

前記光学性質は、反射角度または屈折力を含む、請求項１に記載のＨＭＤ。

【請求項8】

前記複数のセグメントは、２、３、４、５、６、７、８、または９つのセグメントを備える、請求項１に記載のＨＭＤ。

【請求項9】

前記前向きイメージャは、前記一対の耳用支えのうちの１つのこめかみ部分に搭載される、請求項１に記載のＨＭＤ。

【請求項10】

前記前向きイメージャは、遠近制御レンズアセンブリを備える、請求項１に記載のＨＭＤ。

【請求項11】

ユーザの頭部上に装着されるように構成される頭部搭載型ディスプレイ（ＨＭＤ）であって、前記ＨＭＤは、
一対の耳用支えを備えるフレームと、
一対の光学要素であって、前記一対の光学要素は、前記一対の光学要素のそれぞれが、前記ユーザの眼の正面に配置されることが可能であるように、前記フレームによって支持され、前記一対の光学要素のそれぞれは、画像を前記ユーザに表示するように構成される、一対の光学要素と、
前記一対の耳用支えのうちの１つに搭載される前向きイメージャと、
前記一対の光学要素のうちの１つの内部または表面上に配置される反射要素であって、前記反射要素は、前記反射要素によって反射された赤外線光を受信するように構成される、前記前向きイメージャに向かって赤外線光を反射させるように構成される、反射要素と
を備え、
前記前向きイメージャは、遠近制御レンズアセンブリを備え、
前記遠近制御レンズアセンブリは、偏移レンズ、傾斜レンズ、または偏移−傾斜レンズを備える、ＨＭＤ。

【請求項12】

ディスプレイシステムであって、
画像をユーザに表示するように構成される光学要素であって、前記光学要素は、前記ユーザの眼の正面に位置付けられるように構成される、光学要素と、
前向きイメージャと、
前記光学要素の内部または表面上に配置される反射要素であって、前記反射要素は、前記前向きイメージャに向かって、前記ユーザの眼から受信された赤外線光を反射させるように構成される、反射要素と
を備え、
前記反射要素は、異なる屈折力または異なる反射角度を有する複数のセグメントを備える、ディスプレイシステム。

【請求項13】

前記光学要素は、ライトフィールドディスプレイを備える、請求項１２に記載のディスプレイシステム。

【請求項14】

前記反射要素は、ホットミラー、軸外回折光学要素（ＤＯＥ）、軸外ホログラフィックミラー（ＯＡＨＭ）、または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備える、請求項１２に記載のディスプレイシステム。

【請求項15】

前記前向きイメージャによって得られる前記ユーザの眼の画像を記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサと
をさらに備え、
前記ハードウェアプロセッサは、
前記眼の画像にアクセスすることと、
前記ユーザの眼を追跡すること、
前記ユーザの眼と関連付けられたバイオメトリック情報を抽出すること、
前記ユーザの眼の一部の形状を再構築すること、
前記ユーザの眼の遠近調節状態を推定すること、または
前記ユーザの眼の網膜、虹彩、または他の要素を撮像すること
のうちの１つ以上を行うことと
を行うようにプログラムされる、請求項１２から１４のいずれか１項に記載のディスプレイシステム。

【請求項16】

前記光学要素が前記ユーザの第１の眼の正面に位置付けられるように、請求項１２に記載のディスプレイシステムを支持するように構成されるフレームを備える、頭部搭載型ディスプレイシステム。

【請求項17】

請求項１２に記載のディスプレイシステムを２つ支持するように構成されるフレームを備える、頭部搭載型ディスプレイシステムであって、その２つのディスプレイシステムのうちの一方の前記光学要素が前記ユーザの第１の眼の正面に位置付けられ、その２つのディスプレイシステムのうちの他方の前記光学要素が前記ユーザの第２の眼の正面に位置付けられる、頭部搭載型ディスプレイシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１５年９月２３日に出願され“ＥＹＥ ＩＭＡＧＩＮＧ ＷＩＴＨ ＡＮ ＯＦＦ−ＡＸＩＳ ＩＭＡＧＥＲ”と題された米国仮出願第６２／２２２，６７１号に対する３５ Ｕ．Ｓ．Ｃ．§１１９（ｅ）のもとでの優先権の利益を主張するものであり、該仮出願は、その全体が参照により本明細書中に援用される。

【0002】

（背景）
本開示は、仮想現実および拡張現実イメージングおよび可視化システムに関し、特に、眼の画像を取得するためのイメージングシステムに関する。

【背景技術】

【0003】

（関連分野の説明）
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化の拡張としてデジタルもしくは仮想画像情報の提示を伴う、または複合現実「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術を生成することは、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。

【発明の概要】

【課題を解決するための手段】

【0004】

ユーザの頭部上に装着されるように構成される、頭部搭載型ディスプレイ（ＨＭＤ）の実施形態が、開示される。ＨＭＤは、一対の耳用支えを備える、フレームと、一対の光学要素がそれぞれユーザの眼の正面に配置されることが可能であるように、フレームによって支持される一対の光学要素と、一対の耳用支えのうちの１つに搭載される、前向きイメージャと、一対の光学要素のうちの１つ内または上に配置される、反射要素であって、反射要素によって反射された赤外線光を受信するように構成される、前向きイメージャに向かって赤外線光を反射させるように構成される、反射要素とを備える。一対の光学要素はそれぞれ、可視光に透過性であることができる。反射要素は、同一または異なる光学性質を有する、複数のセグメントを含むことができる。イメージャは、ＨＭＤの装着者の眼の画像を取得するように構成されることができる。ＨＭＤは、眼追跡、バイオメトリック識別、眼の形状の多視点再構成のために、イメージャによって取得された画像を分析する、眼の遠近調節状態を推定する、または眼の網膜を撮像する、プロセッサを含むことができる。
本明細書は、例えば、以下の項目も提供する。
（項目１）
ユーザの頭部上に装着されるように構成される、頭部搭載型ディスプレイ（ＨＭＤ）であって、前記ＨＭＤは、
一対の耳用支えを備える、フレームと、
一対の光学要素であって、前記一対の光学要素のそれぞれは、前記ユーザの眼の正面に配置されることが可能であるように、前記フレームによって支持される、一対の光学要素と、
前記一対の耳用支えのうちの１つに搭載される、前向きイメージャと、
前記一対の光学要素のうちの１つ内または上に配置される、反射要素であって、前記反射要素によって反射された赤外線光を受信するように構成される、前記前向きイメージャに向かって赤外線光を反射させるように構成される、反射要素と
を備える、ＨＭＤ。
（項目２）
前記一対の光学要素のそれぞれは、可視光に透過性である、項目１に記載のＨＭＤ。
（項目３）
前記一対の光学要素のそれぞれは、画像を前記ユーザに表示するように構成される、項目１に記載のＨＭＤ。
（項目４）
前記一対の光学要素のそれぞれは、ライトフィールドディスプレイを備える、項目３に記載のＨＭＤ。
（項目５）
前記ライトフィールドディスプレイは、前記画像を前記ユーザに出力するように構成される、導波管スタックを備える、項目４に記載のＨＭＤ。
（項目６）
前記反射要素は、ホットミラー、軸外回折光学要素（ＤＯＥ）、軸外ホログラフィックミラー（ＯＡＨＭ）、または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備える、項目１から５のいずれか１項に記載のＨＭＤ。
（項目７）
前記反射要素は、可視光に透過性である、項目１に記載のＨＭＤ。
（項目８）
前記反射要素は、複数のセグメントを備え、前記複数のセグメント内の各セグメントは、前記複数のセグメント内の少なくとも１つの他のセグメントの光学性質と異なる、光学性質を有する、項目１に記載のＨＭＤ。
（項目９）
前記光学性質は、反射角度または屈折力を含む、項目８に記載のＨＭＤ。
（項目１０）
前記複数のセグメントは、２、３、４、５、６、７、８、または９つのセグメントを備える、項目８に記載のＨＭＤ。
（項目１１）
前記前向きイメージャは、前記一対の耳用支えのうちの１つのこめかみ部分に搭載される、項目１に記載のＨＭＤ。
（項目１２）
前記イメージャは、遠近制御レンズアセンブリを備える、項目１に記載のＨＭＤ。
（項目１３）
前記遠近制御レンズアセンブリは、偏移レンズ、傾斜レンズ、または偏移−傾斜レンズを備える、項目１２に記載のＨＭＤ。
（項目１４）
ディスプレイシステムであって、
画像をユーザに表示するように構成される光学要素であって、前記光学要素は、前記ユーザの眼の正面に位置付けられるように構成される、光学要素と、
前向きイメージャと、
前記光学要素内または上に配置される反射要素であって、前記反射要素は、前記前向きイメージャに向かって、前記ユーザの眼から受信された赤外線光を反射させるように構成される、反射要素と
を備える、ディスプレイシステム。
（項目１５）
前記光学要素は、ライトフィールドディスプレイを備える、項目１４に記載のディスプレイシステム。
（項目１６）
前記反射要素は、ホットミラー、軸外回折光学要素（ＤＯＥ）、軸外ホログラフィックミラー（ＯＡＨＭ）、または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備える、項目１４に記載のディスプレイシステム。
（項目１７）
前記反射要素は、異なる屈折力または異なる反射角度を有する、複数のセグメントを備える、項目１４に記載のディスプレイシステム。
（項目１８）
前記前向きイメージャによって得られる前記ユーザの眼の画像を記憶するように構成される、非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記眼の画像にアクセスすることと、
前記ユーザの眼を追跡すること、
前記ユーザの眼と関連付けられたバイオメトリック情報を抽出すること、
前記ユーザの眼の一部の形状を再構築すること、
前記ユーザの眼の遠近調節状態を推定すること、または
前記ユーザの眼の網膜、虹彩、または他の要素を撮像すること、
のうちの１つまたはそれを上回るものを行うことと
を行うようにプログラムされる、ハードウェアプロセッサと
をさらに備える、項目１４から１７のいずれか１項に記載のディスプレイシステム。
（項目１９）
前記光学要素が前記ユーザの第１の眼の正面に位置付けられるように、項目１４に記載のディスプレイシステムを支持するように構成されるフレームを備える、頭部搭載型ディスプレイシステム。
（項目２０）
前記フレームは、第２のディスプレイシステムの光学要素が第２の前記ユーザの眼の正面に位置付けられるように、項目１４に記載の第２のディスプレイシステムを支持する、項目１９に記載の頭部搭載型ディスプレイシステム。

【0005】

本明細書に説明される主題の１つまたはそれを上回る実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。

【図面の簡単な説明】

【0006】

【図1】図１は、人物によって視認されるある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。

【0007】

【図2】図２は、ウェアラブルディスプレイシステムの実施例を図式的に図示する。

【0008】

【図3】図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。

【0009】

【図4】図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。

【0010】

【図5】図５は、導波管によって出力され得る、例示的出射ビームを示す。

【0011】

【図6】図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、ディスプレイシステムを示す、概略図である。

【0012】

【図7A】図７Ａ−７Ｆは、反射軸外回折光学要素（ＤＯＥ）を使用して装着者の眼を撮像する前向きカメラを備える、イメージングシステムの実施例を図式的に図示する。

【図7B】図７Ａ−７Ｆは、反射軸外回折光学要素（ＤＯＥ）を使用して装着者の眼を撮像する前向きカメラを備える、イメージングシステムの実施例を図式的に図示する。

【図7C】図７Ａ−７Ｆは、反射軸外回折光学要素（ＤＯＥ）を使用して装着者の眼を撮像する前向きカメラを備える、イメージングシステムの実施例を図式的に図示する。

【図7D】図７Ａ−７Ｆは、反射軸外回折光学要素（ＤＯＥ）を使用して装着者の眼を撮像する前向きカメラを備える、イメージングシステムの実施例を図式的に図示する。

【図7E】図７Ａ−７Ｆは、反射軸外回折光学要素（ＤＯＥ）を使用して装着者の眼を撮像する前向きカメラを備える、イメージングシステムの実施例を図式的に図示する。

【図7F】図７Ａ−７Ｆは、反射軸外回折光学要素（ＤＯＥ）を使用して装着者の眼を撮像する前向きカメラを備える、イメージングシステムの実施例を図式的に図示する。

【0013】

【図7G】図７Ｇおよび７Ｈは、それぞれ異なる光学性質（例えば、反射角度、屈折力等）を有し得る複数のセグメントを有する、ＤＯＥの実施例を図式的に示す。

【図7H】図７Ｇおよび７Ｈは、それぞれ異なる光学性質（例えば、反射角度、屈折力等）を有し得る複数のセグメントを有する、ＤＯＥの実施例を図式的に示す。

【0014】

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。

【発明を実施するための形態】

【0015】

概要
頭部搭載型ディスプレイ（ＨＭＤ）の装着者の眼は、反射軸外回折光学要素（ＤＯＥ）を使用して撮像されることができる。いくつかの実装では、ＤＯＥは、ホログラフィック光学要素（ＨＯＥ）、軸外ホログラフィックミラー（ＯＡＨＭ）、または軸外立体回折光学要素（ＯＡＶＤＯＥ）であってもよい。結果として生じる画像は、片眼または両眼を追跡する、網膜を撮像する、眼形状を３次元において再構築する、バイオメトリック情報（例えば、虹彩識別）を眼から抽出する等のために使用されることができる。

【0016】

頭部搭載型ディスプレイ（ＨＭＤ）は、種々の目的のために、装着者の眼の状態についての情報を使用し得る。例えば、本情報は、装着者の視線方向を推定するため、またはバイオメトリック識別のために使用されることができる。しかしながら、ＨＭＤの装着者の眼の撮像は、困難であり得る。ＨＭＤと装着者の眼との間の距離は、短い。さらに、視線追跡は、より大きい視野を要求する一方、バイオメトリック識別は、虹彩上の標的に比較的に高ピクセル数を要求する。これらの目的の両方の遂行を試みるであろう、イメージングシステムに関して、２つのタスクの要件は、著しく対立する。さらに、両問題は、眼瞼および睫毛による閉塞によってさらに複雑になり得る。

【0017】

本明細書に説明されるイメージングシステムの実施形態は、これらの問題の一部または全部に対処する。例えば、イメージングシステムは、装着者の眼を視認するように構成される、イメージャを備えることができる。イメージングシステムは、装着者のこめかみに近接して（例えば、装着可能ディスプレイシステムのフレーム、例えば、耳用支え上に）搭載されることができる。いくつかの実施形態では、第２のイメージャが、各眼が別個に撮像されるように、装着者の他方の眼のために使用されることができる。イメージャは、赤外線放射に敏感である、赤外線デジタルカメラを含むことができる。イメージャは、後向きではなく、前向きであって（装着者の視覚の方向に）、眼に指向されるように、搭載されることができる。イメージャを装着者の耳により近づけて配置することによって、イメージャの重量もまた、耳により近づき得、ＨＭＤは、イメージャが後向きであって、ＨＭＤの正面により近づけて配置される、ＨＭＤと比較して、より装着が容易となり得る。加えて、前向きイメージャを装着者のこめかみの近傍に設置することによって、装着者の眼からイメージャまでの距離は、ＨＭＤの正面の近傍に配置される後向きイメージャと比較して、約２倍となる。画像の被写界深度は、本距離にほぼ比例するため、前向きイメージャのための被写界深度は、後向きイメージャと比較して約２倍となる。イメージャのためのより大きい被写界深度は、大きいまたは突出する鼻、眉弓等を有する、装着者の眼領域を撮像するために有利となり得る。

【0018】

イメージャは、その他の点では透明である光学要素の内側表面を視認するように位置付けられることができる。光学要素は、ＨＭＤ（または一対の眼鏡内のレンズ）のディスプレイの一部であることができる。光学要素は、第１の範囲の波長を反射させるが、第２の範囲の波長（第１の範囲の波長と異なる）に対して実質的に透過性である、表面を備えることができる。第１の範囲の波長は、赤外線内にあることができ、第２の範囲の波長は、可視内にあることができる。例えば、光学要素は、赤外線光を反射させるが、可視光を透過させる、ホットミラーを備えることができる。外側世界からの可視光は、光学要素を通して伝送されることができ、装着者によって知覚されることができる。実際、イメージングシステムは、装着者の眼に向かって逆指向される仮想イメージャのように作用する。仮想イメージャは、装着者の眼から光学要素を通して伝搬される仮想赤外線光を撮像することができる。ホットミラー（または本明細書に説明される他のＤＯＥ）は、光学要素の内側表面上、光学要素の外側表面上、または光学要素（例えば、立体ＨＯＥ）内に配置されることができる。

【0019】

赤外線放射は、７００ｎｍ〜１０μｍの範囲内の波長を伴う放射を含むことができる。赤外線放射は、７００ｎｍ〜１．５μｍの範囲内の波長を伴う近赤外線放射を含むことができる。多くの実装では、眼の撮像は、７００ｎｍ〜９００ｎｍの波長における近赤外線内で行われる。
（３Ｄディスプレイ）

【0020】

図１は、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。図１は、拡張現実場面１００を描写し、ＡＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。

【0021】

３次元（３Ｄ）ディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な撮像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。

【0022】

ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。

【0023】

図２は、ＶＲ、ＡＲ、またはＭＲ体験をディスプレイシステム装着者または視認者２０４に提示するために使用され得る、ウェアラブルディスプレイシステム２００の実施例を図示する。ディスプレイシステム２００は、ディスプレイ２０８と、ディスプレイ２０８の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ２０８は、ディスプレイシステムユーザ、装着者、または視認者２０４によって装着可能であって、ディスプレイ２０８を装着者２０４の眼の正面に位置付けるように構成される、フレーム２１２に結合されてもよい。ディスプレイ２０８は、ライトフィールドディスプレイであってもよい。いくつかの実施形態では、スピーカ２１６が、フレーム２１２に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。ディスプレイ２０８は、有線導線または無線接続等によって、フレーム２１２に固定して取り付けられる、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２０４に（例えば、バックパック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール２２４に動作可能に結合される２２０。

【0024】

ローカル処理およびデータモジュール２２４は、ハードウェアプロセッサならびに不揮発性メモリ（例えば、フラッシュメモリ）等の非一過性デジタルメモリを備えてもよく、その両方は、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等の（例えば、フレーム２１２に動作可能に結合される、または別様にユーザ２０４に取り付けられ得る）センサから捕捉されるデータ、および／または（ｂ）場合によってはそのような処理もしくは読出後にディスプレイ２０８の通過のために、遠隔処理モジュール２２８および／または遠隔データリポジトリ２３２を使用して取得および／または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２２４は、これらの遠隔モジュール２２８、２３２が、ローカル処理およびデータモジュール２２４へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク２３６および／または２４０によって、遠隔処理モジュール２２８および／または遠隔データリポジトリ２３２に動作可能に結合されてもよい。加えて、遠隔処理モジュール２２８および遠隔データリポジトリ２３２は、相互に動作可能に結合されてもよい。

【0025】

いくつかの実施形態では、遠隔処理モジュール２２８は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび／または画像情報を分析ならびに処理するように構成される、１つもしくはそれを上回るプロセッサを備えてもよい。ビデオデータは、ローカル処理およびデータモジュール２２４および／または遠隔データリポジトリ２３２内でローカルに記憶されてもよい。いくつかの実施形態では、遠隔データリポジトリ２３２は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール２２４において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。

【0026】

ヒト視覚系は、複雑であり、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散（ｖｅｒｇｅｎｃｅ）運動および遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、眼の視線を収束させ、オブジェクト上に固定させるための相互に向かったまたはそこから離れるような瞳孔の回転運動）は、眼の水晶体の集束（または「遠近調節」）と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変化させる、または眼を遠近調節し、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、「遠近調節−輻輳・開散運動反射」として知られる関係のもとで、自動的に、輻輳・開散運動における整合的変化を同一距離に生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、遠近調節における合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムは、３次元画像のより現実的または快適なシミュレーションを形成し得る。

【0027】

図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ−軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ−軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有して、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ−軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態において眼と合焦するように、物理的空間内で湾曲されてもよいことを理解されたい。理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数の深度面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。
（導波管スタックアセンブリ）

【0028】

図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム４００は、複数の導波管４２０、４２２、４２４、４２６、４２８を使用して、３次元知覚を眼４１０または脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４０５を含む。いくつかの実施形態では、ディスプレイシステム４００は、図２のシステム２００に対応してもよく、図４は、そのシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４０５は、図２のディスプレイ２０８の中に統合されてもよい。

【0029】

図４を継続して参照すると、導波管アセンブリ４０５はまた、複数の特徴４３０、４３２、４３４、４３６を導波管の間に含んでもよい。いくつかの実施形態では、特徴４３０、４３２、４３４、４３６は、レンズであってもよい。いくつかの実施形態では、特徴４３０、４３２、４３４、４３６は、レンズではなくてもよい。むしろ、それらは、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層および／または構造）。

【0030】

導波管４２０、４２２、４２４、４２６、４２８および／または複数のレンズ４３０、４３２、４３４、４３６は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４４０、４４２、４４４、４４６、４４８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４２０、４２２、４２４、４２６、４２８の中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４４０、４４２、４４４、４４６、４４８の出力表面から出射し、導波管４２０、４２２、４２４、４２６、４２８の対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。

【0031】

いくつかの実施形態では、画像投入デバイス４４０、４４２、４４４、４４６、４４２は、離散ディスプレイであり、これらの各々は、それぞれ、対応する導波管４２０、４２２、４２４、４２６、４２８の中に投入するための画像情報を生成する。いくつかの他の実施形態では、画像投入デバイス４４０、４４２、４４４、４４６、４４８は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４４０、４４２、４４４、４４６、４４８のそれぞれにパイピングし得る、単一の多重化されたディスプレイの出力端である。

【0032】

コントローラ４５０が、スタックされた導波管アセンブリ４０５および画像投入デバイス４４０、４４２、４４４、４４６、４４８の動作を制御する。いくつかの実施形態では、コントローラ４５０は、導波管４２０、４２２、４２４、４２６、４２８への画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４５０は、単一一体型デバイスまたは有線もしくは無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４５０は、いくつかの実施形態では、処理モジュール２２４または２２８（図２に図示される）の一部であってもよい。いくつかの実施形態では、コントローラは、内向きに面したイメージングシステム４５２（例えば、デジタルカメラ）、外向きに面したイメージングシステム４５４（例えば、デジタルカメラ）、および／またはユーザ入力デバイス４６６と通信してもよい。内向きに面したイメージングシステム４５２（例えば、デジタルカメラ）は、眼４１０の画像を捕捉し、例えば、眼４１０の瞳孔のサイズおよび／または配向を判定するために使用されることができる。外向きに面したイメージングシステム４５４は、世界４５６の一部を撮像するために使用されることができる。ユーザは、ユーザ入力デバイス４６６を介して、コマンドをコントローラ４５０に入力し、ディスプレイシステム４００と相互作用することができる。

【0033】

導波管４２０、４２２、４２４、４２６、４２８は、全内部反射（ＴＩＲ）によって、光を各個別の導波管内で伝搬させるように構成されてもよい。導波管４２０、４２２、４２４、４２６、４２８はそれぞれ、主要上部および底部表面と、それらの主要上部と底部表面との間に延在する縁とを伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４２０、４２２、４２４、４２６、４２８はそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４６０、４６２、４６４、４６６、４６８を含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素（４６０、４６２、４６４、４６６、４６８）は、例えば、反射および／または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４２０、４２２、４２４、４２６、４２８の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４６０、４６２、４６４、４６６、４６８は、上部および／または底部主要表面に配置されてもよい、および／または導波管４２０、４２２、４２４、４２６、４２８の容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４６０、４６２、４６４、４６６、４６８は、透明基板に取り付けられ、導波管４２０、４２２、４２４、４２６、４２８を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４２０、４２２、４２４、４２６、４２８は、モノリシック材料片であってもよく、光抽出光学要素４６０、４６２、４６４、４６６、４６８は、その材料片の表面上および／または内部に形成されてもよい。

【0034】

図４を継続して参照すると、本明細書に議論されるように、各導波管４２０、４２２、４２４、４２６、４２８は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４２０は、そのような導波管４２０の中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管４２２は、眼４１０に到達し得る前に、第１のレンズ４３０（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４３０は、眼／脳が、その次の導波管４２２から生じる光が光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の導波管４２４は、眼４１０に到達する前に、その出力光を第１のレンズ４３０および第２のレンズ４３２の両方を通して通過させる。第１および第２のレンズ４３０および４３２の組み合わせられた屈折力は、眼／脳が、第３の導波管４２４から生じる光を次の導波管４２２からの光よりも光学無限遠から人物に向かって内向きにさらにより近い第２の焦点面から生じていると解釈するように、波面曲率の別の増分量を生成するように構成されてもよい。

【0035】

他の導波管層（例えば、導波管４２６、４２８）およびレンズ（例えば、レンズ４３４、４３６）も同様に、スタック内の最高導波管４２８を用いて、人物に最も近い焦点面を表す集約焦点パワーのために、その出力をそれと眼との間のレンズの全てを通して送出するように構成される。スタックされた導波管アセンブリ４０５の他側の世界４５６から生じる光を視認／解釈するとき、レンズ４３０、４３２、４３４、４３６のスタックを補償するために、補償レンズ層４３８が、スタックの上部に配置され、下方のレンズスタック４３０、４３２、４３４、４３６の集約パワーを補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管４２０、４２２、４２４、４２６、４２８の光抽出光学要素４６０、４６２、４６４、４６６、４６８およびレンズ４３０、４３２、４３４、４３６の集束側面は両方とも、静的であってもよい（例えば、動的または電気アクティブではない）。いくつかの代替実施形態では、いずれかまたは両方とも、電気アクティブ特徴を使用して、動的であってもよい。

【0036】

図４を継続して参照すると、光抽出光学要素４６０、４６２、４６４、４６６、４６８は、光をその個別の導波管から再指向させることと、導波管と関連付けられた特定の深度平面のための適切な量の発散またはコリメーションを用いて、本光を出力することとの両方を行うように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４６０、４６２、４６４、４６６、４６８は、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４６０、４６２、４６４、４６６、４６８は、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明されている。いくつかの実施形態では、特徴４３０、４３２、４３４、４３６は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層および／または構造）。

【0037】

いくつかの実施形態では、光抽出光学要素４６０、４６２、４６４、４６６、４６８は、回折パターンを形成する回折特徴、すなわち、「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交差点を用いて、眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低い回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼４１０に向かって非常に均一な出射放出パターンとなる。

【0038】

いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体中に回折パターンを構成する、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率と実質的に合致するように切り替えられることができる（その場合、パターンは、入射光を著しく回折しない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折する）。

【0039】

いくつかの実施形態では、深度平面および／または被写界深度の数および分布は、視認者の眼の瞳孔サイズおよび／または配向に基づいて、動的に変動されてもよい。いくつかの実施形態では、内向きに面したイメージングシステム４５２（例えば、デジタルカメラ）が、眼４１０の画像を捕捉し、眼４１０の瞳孔のサイズおよび／または配向を判定するために使用されてもよい。いくつかの実施形態では、内向きに面したイメージングシステム４５２は、フレーム２１２（図２に図示されるように）に取り付けられてもよく、内向きに面したイメージングシステム４５２からの画像情報を処理し、例えば、ユーザ２０４の眼の瞳孔直径および／または配向を判定し得る、処理モジュール２２４および／または２２８と電気通信してもよい。

【0040】

いくつかの実施形態では、内向きに面したイメージングシステム４５２（例えば、デジタルカメラ）は、眼移動および顔移動等、ユーザの移動を観察することができる。内向きに面したイメージングシステム４５２は、眼４１０の画像を捕捉し、眼４１０の瞳孔のサイズおよび／または配向を判定するために使用されてもよい。内向きに面したイメージングシステム４５２は、ユーザが見ている方向（例えば、眼姿勢）を判定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）の画像を得るために使用されることができる。内向きに面したイメージングシステム４５２によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにディスプレイシステム４００によって使用され得る、ユーザの眼姿勢および／または気分を判定するために分析されてもよい。ディスプレイシステム４００はまた、慣性測定ユニット（ＩＭＵ）、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を判定してもよい。頭部の姿勢は、単独で、または眼姿勢と組み合わせて、支え追跡と相互作用する、および／またはオーディオコンテンツを提示するために使用されてもよい。

【0041】

いくつかの実施形態では、１つのカメラが、眼毎に利用され、各眼の瞳孔サイズおよび／または配向を別個に判定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に利用され、独立して、各眼の瞳孔サイズおよび／または眼姿勢を別個に判定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの他の実施形態では、片眼４１０のみの瞳孔直径および／または配向（例えば、一対の眼あたり単一カメラのみを使用して）が、判定され、視認者２０４の両眼に対して類似すると仮定される。

【0042】

例えば、被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。

【0043】

いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の判定に基づいて、もしくは特定の瞳孔サイズおよび／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４５０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。

【0044】

いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの判定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。

【0045】

ディスプレイシステム４００は、世界４５６の一部を撮像する、外向きに面したイメージングシステム４５４（例えば、デジタルカメラ）を含むことができる。世界４５６の本部分は、視野（ＦＯＶ）と称され得、イメージングシステム４５４は、ＦＯＶカメラとも称される。視認者２０４による視認または撮像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、ディスプレイシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。ディスプレイシステム４００のいくつかの実装では、ＦＯＲは、ユーザ２０４が、ユーザを囲繞するオブジェクトを見るためにその頭部および眼を移動させ得るため、ディスプレイシステム４００のユーザ２０４の周囲の立体角の実質的に全てを含んでもよい（ユーザの正面、背面、上方、下方、または側面）。外向きに面したイメージングシステム４５４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４５６内のオブジェクトを検出する等のために、使用されることができる。

【0046】

ディスプレイシステム４００は、ユーザが、コマンドをコントローラ４５０に入力し、ディスプレイシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下するかまたはその上でスワイプし、入力をディスプレイシステム４００に提供してもよい（例えば、ユーザ入力をディスプレイシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ディスプレイシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ディスプレイシステム４００と有線または無線で通信することができる。

【0047】

図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が、図示されるが、導波管アセンブリ４０５内の他の導波管も、同様に機能してもよく、導波管アセンブリ４０５は、複数の導波管を含むことを理解されたい。光５０５が、導波管４２０の入力縁５１０において導波管４２０の中に投入され、ＴＩＲによって導波管４２０内を伝搬する。光５０５がＤＯＥ４６０に衝突する点において、光の一部が、出射ビーム５１５として導波管から出射する。出射ビーム５１５は、略平行として図示されるが、それらはまた、導波管４２０と関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビームを形成する）。略平行出射ビームは、光を外部結合し、眼４１０から長距離（例えば、光学無限遠）において深度平面上に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう、より多く発散する出射ビームパターンを出力してもよい。

【0048】

図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含む、ディスプレイシステム４００の別の実施例を示す。ディスプレイシステム４００は、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。ディスプレイシステム４００は、１つまたはそれを上回る一次平面導波管６０４（１つのみのが図６に示される）と、一次導波管６０４の少なくともいくつかのそれぞれと関連付けられた１つまたはそれを上回るＤＯＥ６０８とを含むことができる。平面導波管６０４は、図４を参照して議論される導波管４２０、４２２、４２４、４２６、４２８に類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ−軸）に沿って中継し、第１の軸（例えば、Ｙ−軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６１２と、分散平面導波管６１２と関連付けられた少なくとも１つのＤＯＥ６１６（二重破線によって図示される）とを含んでもよい。分散平面導波管６１２は、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６０４と類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６１６は、少なくともいくつかの点において、ＤＯＥ６０８と類似または同じであってもよい。例えば、分散平面導波管６１２および／またはＤＯＥ６１６は、それぞれ、一次平面導波管６０４および／またはＤＯＥ６０８と同一材料から成ってもよい。図６に示される光学システムは、図２に示されるウェアラブルディスプレイシステム２００の中に統合されることができる。

【0049】

中継され、射出瞳が拡張された光は、分散導波管装置から１つまたはそれを上回る一次平面導波管６０４の中に光学的に結合される。一次平面導波管６６２は、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ−軸）に沿って、光を中継する。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６０４は、その第２の軸（例えば、Ｘ−軸）に沿って、光の有効射出経路を拡張させる。例えば、分散平面導波管６１２は、光を垂直またはＹ−軸に沿って中継および拡張させ、光を水平またはＸ−軸に沿って中継および拡張させる、一次平面導波管６０４にその光を通過させることができる。

【0050】

ディスプレイシステム４００は、単一モード光ファイバ６２４の近位端の中に光学的に結合され得る、１つまたはそれを上回る着色光源（例えば、赤色、緑色、および青色レーザ光）６２０を含んでもよい。光ファイバ６２４の遠位端は、圧電材料の中空管６２８を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６３２として、管６２８から突出する。圧電管６２８は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６２８の外側、外側表面もしくは外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６２８のコア、中心、内側周縁、または内径に位置する。

【0051】

例えば、ワイヤ６４０を介して電気的に結合される、駆動電子機器６３６は、対向する対の電極を駆動し、圧電管６２８を２つの軸において独立して屈曲させる。光ファイバ６２４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６２４の直径、長さ、および材料性質に依存し得る。圧電管６２８をファイバカンチレバー６３２の第１の機械的共鳴モードの近くで振動させることによって、ファイバカンチレバー６３２は、振動させられ、大偏向を通して掃引し得る。

【0052】

２つの軸において共振振動を刺激することによって、ファイバカンチレバー６３２の先端は、２次元（２−Ｄ）走査を充填する面積内において２軸方向に走査される。光源６２０の強度をファイバカンチレバー６３２の走査と同期して変調させることによって、ファイバカンチレバー６３２から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。

【0053】

光学結合器サブシステムのコンポーネント６４４は、走査ファイバカンチレバー６３２から発せられる光をコリメートする。コリメートされた光は、ミラー付き表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６１６を含有する、狭分散平面導波管６１２の中に反射される。コリメートされた光は、全内部反射によって分散平面導波管６１２に沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６１６と繰り返し交差する。ＤＯＥ６１６は、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６１６との交差点の各点においてより大きい一次平面導波管６０４の縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６１２の長さを辿ってそのオリジナル軌道上で継続させる。

【0054】

ＤＯＥ６１６との交差点の各点において、付加的光が、一次導波管６１２の入口に向かって回折される。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６１２内のＤＯＥ６１６によって垂直に拡張される。分散平面導波管６１２から外部結合された本垂直に拡張された光は、一次平面導波管６０４の縁に進入する。

【0055】

一次導波管６０４に進入する光は、ＴＩＲを介して、一次導波管６０４に沿って（図６の図に対して）水平に伝搬する。光は、複数の点においてＤＯＥ６０８と交差するにつれて、ＴＩＲを介して、一次導波管６０４の長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６０８は、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６０８は、有利には、ビームの光の一部のみが、ＤＯＥ６０８の各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６０４を通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。

【0056】

伝搬する光とＤＯＥ６０８との間の交差点の各点において、光の一部は、一次導波管６０４の隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６０４の面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６０８の半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。

【0057】

故に、これらの異なる経路は、異なる角度におけるＤＯＥ６０８の多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６０４の外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（軸外イメージャを用いた眼の撮像のための例示的光学システム）

【0058】

頭部搭載型ディスプレイ（ＨＭＤ）（例えば、図２に示される装着可能ディスプレイシステム２００）の装着者の眼が、反射軸外回折光学要素（ＤＯＥ）（いくつかの実装では、ホログラフィック光学要素（ＨＯＥ）であってもよい）を使用して撮像されることができる。結果として生じる画像は、片眼または両眼を追跡する、網膜を撮像する、眼形状を３次元において再構築する、バイオメトリック情報を眼から抽出する（例えば、虹彩識別）等のために使用されることができる。

【0059】

頭部搭載型ディスプレイ（ＨＭＤ）が装着者の眼の状態についての情報を使用し得る、種々の理由がある。例えば、本情報は、装着者の視線方向を推定するため、またはバイオメトリック識別のために使用されることができる。しかしながら、本問題は、ＨＭＤと装着者の眼との間の短距離のため、困難である。これはさらに、視線追跡がより大きい視野を要求する一方、バイオメトリック識別が虹彩上の標的に比較的に高ピクセル数を要求するという事実によって複雑になる。これらの目的の両方の遂行を試みるであろう、イメージングシステムに関して、２つのタスクの要件は、著しく対立する。最後に、両問題はさらに、眼瞼および睫毛による閉塞によって複雑になる。本明細書に説明されるイメージングシステムの実施形態は、これらの問題の一部または全部に対処する。図７Ａ−７Ｈを参照して本明細書に説明されるイメージングシステム７００の種々の実施形態は、本明細書に説明されるディスプレイデバイス（例えば、図２に示される装着可能ディスプレイシステム２００、図４および６に示されるディスプレイシステム４００）を含む、ＨＭＤと併用されることができる。

【0060】

図７Ａは、眼３０４を視認するために使用され、装着者のこめかみに近接して（例えば、装着可能ディスプレイシステム２００のフレーム２１２、例えば、耳用支え上に）搭載される、イメージャ７０２ｂを備える、イメージングシステム７００の実施例を図式的に図示する。他の実施形態では、第２のイメージャが、各眼が別個に撮像されるように、装着者の他方の眼３０２のために使用される。イメージャ７０２ｂは、赤外線放射に敏感である、赤外線デジタルカメラを含むことができる。イメージャ７０２ｂは、後向きではなく、前向きであって（装着者の視覚の方向に）、眼３０４に指向されるように搭載される（図４に示されるカメラ４５２のように）。イメージャ７０２ｂを装着者の耳により近づけて配置することによって、イメージャ７０２ｂの重量もまた、耳により近づき、ＨＭＤは、イメージャが、後向きであって、ＨＭＤの正面により近づいて配置される（例えば、ディスプレイ２０８に近接する）、ＨＭＤと比較して、より装着が容易となり得る。加えて、前向きイメージャ７０２ｂを装着者のこめかみの近傍に設置することによって、装着者の眼３０４からイメージャまでの距離は、ＨＭＤの正面の近傍に配置される後向きイメージャと比較して、約２倍となる（例えば、図４に示されるカメラ４５２と比較して）。画像の被写界深度は、本距離にほぼ比例するため、前向きイメージャ７０２ｂのための被写界深度は、後向きイメージャと比較して約２倍となる。イメージャ７０２ｂのより大きい被写界深度は、大きいまたは突出する鼻、眉弓等を有する、装着者の眼領域を撮像するために有利となり得る。

【0061】

イメージャ７０２ｂは、その他の点では透明である光学要素７０６の内側表面７０４を視認するために位置付けられる。光学要素７０６は、ＨＭＤ（または一対の眼鏡内のレンズ）のディスプレイ２０８の一部であることができる。光学要素は、光学要素に入射する可視光の少なくとも１０％、２０％、３０％、４０％、５０％、またはそれを上回るものに対して透過性であることができる。他の実施形態では、光学要素７０６は、透過性である必要はない（例えば、仮想現実ディスプレイでは）。光学要素７０６は、反射要素７０８を備えることができる。反射要素７０８は、第１の範囲の波長を反射させるが、第２の範囲の波長（第１の範囲の波長と異なる）に実質的に透過性である、表面であることができる。第１の範囲の波長は、赤外線内であることができ、第２の範囲の波長は、可視内であることができる。例えば、反射要素７０８は、赤外線光を反射させるが、可視光を透過させる、ホットミラーを備えることができる。そのような実施形態では、装着者からの赤外線光７１０ａ、７１２ａ、７１４ａは、光学要素７０６に伝搬し、そこから反射し、反射された赤外線光７１０ｂ、７１２ｂ、７１４ｂをもたらし、これは、イメージャ７０２ｂによって撮像されることができる。いくつかの実施形態では、イメージャ７０２ｂは、反射要素７０８によって反射された第１の範囲の波長の少なくともサブセット（非空サブセットおよび／または全部未満のサブセット等）に敏感である、またはそれを捕捉可能であることができる。例えば、反射要素７０８は、７００ｎｍ〜１．５μｍの範囲内の赤外線光を反射させてもよく、イメージャ７０２ｂは、７００ｎｍ〜９００ｎｍの波長における近赤外線光に敏感である、またはそれを捕捉可能であってもよい。別の実施例として、反射要素７０８は、７００ｎｍ〜１．５μｍの範囲内の赤外線光を反射させてもよく、イメージャ７０２ｂは、イメージャ７０２ｂが７００ｎｍ〜９００ｎｍの波長における近赤外線光を捕捉し得るように、９００ｎｍ〜１．５μｍの範囲内である赤外線光をフィルタ除去する、フィルタを含んでもよい。

【0062】

外側世界４５６からの可視光は、光学要素７０６を通して伝送され、装着者によって知覚されることができる。実際、図７Ａに示されるイメージングシステム７００は、装着者の眼３０４に向かって逆指向される仮想イメージャ７０２ｃのように作用する。仮想イメージャ７０２ｃは、装着者の眼３０４から光学要素７０６を通して伝搬される、仮想赤外線光７１０ｃ、７１２ｃ、７１４ｃ（点線として示される）を撮像することができる。ホットミラー（または本明細書に説明される他のＤＯＥ）は、光学要素７０６の内側表面７０４上に配置されることができるが、これは、限定ではない。他の実施形態では、ホットミラーまたはＤＯＥは、光学要素７０６の外側表面上または光学要素７０６（例えば、立体ＨＯＥ）内に配置されることができる。

【0063】

図７Ｂは、イメージングシステム７００の別の実施例を図式的に図示する。本実施形態では、遠近歪曲が、遠近制御レンズアセンブリ７１６ｂ（例えば、偏移レンズアセンブリ、傾斜レンズアセンブリ、または傾斜−偏移レンズアセンブリ）とイメージャ７０２ｂの併用によって低減または排除され得る。いくつかの実施形態では、遠近制御レンズアセンブリ７１６ｂは、イメージャ７０２ｂのレンズの一部であってもよい。遠近制御レンズ７１６ｂは、イメージャ７０２ｂに対する法線が、ＤＯＥ（またはＨＯＥ）またはホットミラーを含む、表面７０４の領域に対する法線と略平行であるように構成されることができる。実際、図７Ｂに示されるイメージングシステム７００は、装着者の眼３０４に向かって逆指向される、仮想遠近制御レンズアセンブリ７１６ｃを伴う仮想イメージャ７０２ｃのように作用する。

【0064】

加えて、または代替として、図７Ｃに図式的に示されるように、光学要素７０６の反射要素７０８は、その表面７０４上に、光７１０ａ、７１２ａ、７１４ａを反射させ、反射された光７１０ｂ、７１２ｂ、７１４ｂを捕捉するカメライメージャ７０２ｂによる眼３０４の視認を促進するために使用される、軸外ホログラフィックミラー（ＯＡＨＭ）を有してもよい。ＯＡＨＭ７０８は、屈折力も同様に有してもよく、その場合、図７Ｄに図式的に示されるように、軸外立体回折光学要素（ＯＡＶＤＯＥ）であることができる。図７Ｄに示される実施例では、仮想カメラ７０２ｃの有効場所は、無限遠（図７Ｄに図示せず）にある。

【0065】

いくつかの実施形態では、ＨＯＥ（例えば、ＯＡＨＭまたはＯＡＶＤＯＥ）は、複数のセグメントに分割されることができる。これらのセグメントはそれぞれ、例えば、セグメントが入射（赤外線）光を反射させる反射角度または屈折力を含む、異なる光学性質または特性を有することができる。セグメントは、光が各セグメントからイメージャ７０２ｂに向かって反射されるように構成されることができる。その結果、イメージャ７０２ｂによって取得された画像もまた、対応する数のセグメントに分割され、それぞれ、異なる角度から眼を効果的に視認する。図７Ｅは、それぞれ、眼３０４を異なる角度場所において撮像する個別の仮想カメラ７０２ｃ１、７０２ｃ２、７０２ｃ３として作用する、３つのセグメント７１８ａ１、７１８ａ２、７１８ａ３を伴うＯＡＨＭを有する、ディスプレイシステム７００の実施例を図式的に図示する。

【0066】

図７Ｆは、それぞれ、屈折力（例えば、セグメント化されたＯＡＶＤＯＥ）を有し、各セグメントが、仮想カメラを無限遠に発生させ、眼３０４を異なる角度場所において撮像する、３つのセグメント７１８ａ１、７１８ａ２、７１８ａ３を伴うＯＡＨＭを有する、ディスプレイシステム７００の別の実施例を図式的に図示する。３つのセグメントが、図７Ｅおよび７Ｆに図式的に図示されるが、これは、例証であって、限定ではない。他の実施形態では、２つ、４つ、５つ、６つ、７つ、８つ、９つ、またはそれを上回るセグメントが、利用されることができる。ＨＯＥのこれらのセグメントのいずれも、屈折力を有していない、またはその一部もしくは全てが、屈折力を有することができる。

【0067】

３つのセグメント７１８ａ１、７１８ａ２、７１８ａ３は、図７Ｅおよび７Ｆでは、光学要素７０６を水平に横断して離間されて示される。他の実施形態では、セグメントは、光学要素７０６上に垂直に離間されることができる。例えば、図７Ｇは、２つの垂直に離間されたセグメント７１８ａ１および７１８ａ２を有する、ＤＯＥ７１８を図式的に示し、セグメント７１８ａ１は、光をイメージャ７０２ｂ（セグメント７１８ａ１と同一略水平平面にあってもよい）に向かって逆反射させるように構成され、セグメント７１８ａ２は、光をイメージャ７０２ｂに向かって上向きに反射させるように構成される。二焦点レンズと同様に、図７Ｇに示される配列は、イメージングシステム７００が、装着者がＨＭＤの上側部分を通して正面を見ているとき、上側セグメント７１８ａ１からイメージャ７０２ｂによって取得された反射画像（実線矢印線を介して図式的に示される）を使用し、装着者がＨＭＤの下側部分を通して下向きに見ているとき、下側セグメント７１８ａ２からの反射画像（破線矢印線を介して図式的に示される）を使用することを可能にする際に有利となり得る。

【0068】

水平に離間されたセグメントと垂直に離間されたセグメントの混合も、他の実施形態では使用されることができる。例えば、図７Ｈは、３×３アレイのセグメントを伴う、ＨＯＥ７１８の別の実施例を示す。イメージャ７０２ｂは、これらの９つのセグメントのそれぞれから、眼領域の異なる面積および角度方向から生じる光線を表す反射データを取得することができる。ＨＯＥ７１８の眼領域から伝搬し、イメージャ７０２ｂに逆反射する、２つの例示的光線が、実線および破線として示される。イメージングシステム７００（または処理モジュール２２４または２２８）は、複数のセグメントからの反射データを分析し、眼の３次元形状または眼の視線方向（例えば、眼姿勢）を多焦点的に計算することができる。

【0069】

セグメントを利用する光学システム７００の実施形態は、複数の利点を有し得る。例えば、セグメントは、特定のタスクに最良に適した特定のセグメントを選択することによって、個々に使用されることができる、またはそれらは、眼の３次元形状または姿勢を多焦点的に推定するために集合的に使用されることができる。前者の場合、本選択性は、例えば、眼瞼または睫毛による最も少ない閉塞を有する装着者の虹彩の画像を選択するために使用されることができる。後者の場合、眼の３次元再構成が、配向（例えば、角膜の膨隆の場所の推定によって）または遠近調節状態（例えば、瞳孔の見掛け場所上のレンズ誘発歪曲の推定によって）を推定するために使用されることができる。
（付加的側面）

【0070】

第１の側面では、ユーザの頭部上に装着されるように構成される、頭部搭載型ディスプレイ（ＨＭＤ）が、開示される。ＨＭＤは、一対の耳用支えを備える、フレームと、一対の光学要素であって、該一対の光学要素がそれぞれユーザの眼の正面に配置されることが可能であるように、フレームによって支持される、一対の光学要素と、一対の耳用支えのうちの１つに搭載される、前向きイメージャと、一対の光学要素のうちの１つ内または上に配置される、反射要素であって、反射要素によって反射された赤外線光を受信するように構成される、前向きイメージャに向かって赤外線光を反射させるように構成される、反射要素とを備える。

【0071】

第２の側面では、一対の光学要素はそれぞれ、可視光に透過性である、側面１に記載のＨＭＤ。

【0072】

第３の側面では、一対の光学要素はそれぞれ、画像をユーザに表示するように構成される、側面１または側面２に記載のＨＭＤ。

【0073】

第４の側面では、一対の光学要素はそれぞれ、ライトフィールドディスプレイを備える、側面３に記載のＨＭＤ。

【0074】

第５の側面では、ライトフィールドディスプレイは、画像をユーザに出力するように構成される、導波管スタックを備える、側面４に記載のＨＭＤ。

【0075】

第６の側面では、反射要素は、ホットミラー、軸外回折光学要素（ＤＯＥ）、軸外ホログラフィックミラー（ＯＡＨＭ）、または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備える、側面１から５のうちのいずれか１つに記載のＨＭＤ。

【0076】

第７の側面では、反射要素は、可視光に透過性である、側面１から６のうちのいずれか１つに記載のＨＭＤ。

【0077】

第８の側面では、反射要素は、複数のセグメントを備え、複数のセグメント内の各セグメントは、複数のセグメント内の少なくとも１つの他のセグメントの光学性質と異なる、光学性質を有する、側面１から７のうちのいずれか１つに記載のＨＭＤ。

【0078】

第９の側面では、光学性質は、反射角度または屈折力を含む、側面８に記載のＨＭＤ。

【0079】

第１０の側面では、複数のセグメントは、２、３、４、５、６、７、８、または９つのセグメントを備える、側面８または側面９に記載のＨＭＤ。

【0080】

第１１の側面では、前向きイメージャは、一対の耳用支えのうちの１つのこめかみ部分に搭載される、側面１から１０のうちのいずれか１つに記載のＨＭＤ。

【0081】

第１２の側面では、イメージャは、遠近制御レンズアセンブリを備える、側面１から１１のうちのいずれか１つに記載のＨＭＤ。

【0082】

第１３の側面では、遠近制御レンズアセンブリは、偏移レンズ、傾斜レンズ、または偏移−傾斜レンズを備える、側面１２に記載のＨＭＤ。

【0083】

第１４の側面では、ディスプレイシステムが、開示される。ディスプレイシステムは、画像をユーザに表示するように構成される、光学要素であって、ユーザの眼の正面に位置付けられるように構成される、光学要素と、前向きイメージャと、光学要素内または上に配置される、反射要素であって、前向きイメージャに向かって、ユーザの眼から受信された赤外線光を反射させるように構成される、反射要素とを備える。

【0084】

第１５の側面では、光学要素は、ライトフィールドディスプレイを備える、側面１４に記載のディスプレイシステム。

【0085】

第１６の側面では、反射要素は、ホットミラー、軸外回折光学要素（ＤＯＥ）、軸外ホログラフィックミラー（ＯＡＨＭ）、または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備える、側面１４または１５に記載のディスプレイシステム。

【0086】

第１７の側面では、反射要素は、異なる屈折力または異なる反射角度を有する、複数のセグメントを備える、側面１４から１６のうちのいずれか１つに記載のディスプレイシステム。

【0087】

第１８の側面では、側面１４から１７のうちのいずれか１つに記載のディスプレイシステムは、前向きイメージャによって得られるユーザの眼の画像を記憶するように構成される、非一過性メモリと、非一過性メモリと通信する、ハードウェアプロセッサであって、該ハードウェアプロセッサは、眼の画像にアクセスすることと、ユーザの眼を追跡すること、ユーザの眼と関連付けられたバイオメトリック情報を抽出すること、ユーザの眼の一部の形状を再構築すること、ユーザの眼の遠近調節状態を推定すること、またはユーザの眼の網膜、虹彩、または他の要素を撮像することのうちの１つまたはそれを上回るものを実行することとを行うようにプログラムされる、ハードウェアプロセッサとをさらに備える。

【0088】

第１９の側面では、頭部搭載型ディスプレイシステムが、開示される。ＨＤＭは、光学要素がユーザの第１の眼の正面に位置付けられるように、側面１４から１８のうちのいずれか１つに記載のディスプレイシステムを支持するように構成されるフレームを備える。

【0089】

第２０の側面では、フレームは、第２のディスプレイシステムの光学要素がユーザの第２の眼の正面に位置付けられるように、側面１４から１８のうちのいずれか１つに記載の第２のディスプレイシステムを支持する、側面１９に記載の頭部搭載型ディスプレイシステム。

【0090】

第２１の側面では、イメージングシステムが、開示される。イメージングシステムは、第１の波長範囲内の光を反射させる、反射要素と、第１の波長範囲の全て未満の非空サブセット内の光に敏感なイメージャであって、反射要素によって反射された光を捕捉するように配向されるように構成される、イメージャとを備える。

【0091】

第２２の側面では、反射要素は、ホットミラー、ホログラフィック光学要素（ＨＯＥ）、軸外ホログラフィックミラー（ＯＡＨＭ）、または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備える、側面２１に記載のイメージングシステム。

【0092】

第２３の側面では、第１の波長範囲は、赤外線波長範囲を備える、側面２１−２２のうちのいずれか１つに記載のイメージングシステム。

【0093】

第２４の側面では、イメージングシステムは、光学要素を備え、光学要素は、反射要素を備え、光学要素は、光学要素に入射する可視光の少なくとも５０％に対して透過性である、側面２１−２３のうちのいずれか１つに記載のイメージングシステム。

【0094】

第２５の側面では、反射要素は、複数のセグメントを備える、側面２１−２４のうちのいずれか１つに記載のイメージングシステム。

【0095】

第２６の側面では、複数のセグメント内の第１のセグメントは、複数のセグメント内の第２のセグメントの光学性質と異なる光学性質を有する、側面２５に記載のイメージングシステム。

【0096】

第２７の側面では、複数のセグメント内の第１のセグメントの光学性質または複数のセグメント内の第２のセグメントの光学性質は、反射角度または屈折力を備える、側面２６に記載のイメージングシステム。

【0097】

第２８の側面では、複数のセグメントは、少なくとも２つのセグメントを備える、側面２５−２７のうちのいずれか１つに記載のイメージングシステム。

【0098】

第２９の側面では、複数のセグメントのうちの２つは、水平に配列される、側面２５−２８のうちのいずれか１つに記載のイメージングシステム。

【0099】

第３０の側面では、複数のセグメントのうちの２つは、垂直に配列される、側面２５−２９のうちのいずれか１つに記載のイメージングシステム。

【0100】

第３１の側面では、複数のセグメントのうちのいくつかは、グリッド内に配列される、側面２５−３０のうちのいずれか１つに記載のイメージングシステム。

【0101】

第３２の側面では、イメージャはさらに、遠近制御レンズアセンブリを備える、側面２１−３１のうちのいずれか１つに記載のイメージングシステム。

【0102】

第３３の側面では、遠近制御レンズアセンブリは、偏移レンズ、傾斜レンズ、または偏移−傾斜レンズを備える、側面３２に記載のイメージングシステム。

【0103】

第３４の側面では、ユーザの眼の画像を間接的に捕捉するためのイメージングシステムが、開示される。イメージングシステムは、第１の波長範囲内の光を反射させる、反射要素であって、軸外ホログラフィックミラー（ＯＡＨＭ）または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備え、イメージングシステムがユーザの眼の正面に設置されると、ユーザの眼から伝搬する光を反射させるように配向される、反射要素と、第１の波長範囲の全て未満の非空サブセット内の光に敏感なイメージャであって、反射要素によって反射されたユーザの眼から伝搬する光を捕捉することによって、ユーザの眼の画像を撮像するように配向される、イメージャとを備える。

【0104】

第３５の側面では、イメージャによって撮像されるユーザの眼の画像およびユーザの眼の正面に設置されたカメラによって撮像されるユーザの眼の画像は、区別不能である、側面３４に記載のイメージングシステム。

【0105】

第３６の側面では、イメージャによって撮像されるユーザの眼の画像は、事実上、ユーザの眼の正面に設置されたカメラによって撮像される、側面３５に記載のイメージングシステム。

【0106】

第３７の側面では、ユーザの眼の正面に設置されたカメラの有効場所は、無限遠にある、側面３５−３６のうちのいずれか１つに記載のイメージングシステム。

【0107】

第３８の側面では、第１の波長範囲は、赤外線波長範囲を備える、側面３５−３７のうちのいずれか１つに記載のイメージングシステム。

【0108】

第３９の側面では、イメージングシステムは、光学要素を備え、光学要素は、反射要素を備え、光学要素は、光学要素に入射する可視光の少なくとも５０％に対して透過性である、側面３５−３８のうちのいずれか１つに記載のイメージングシステム。

【0109】

第４０の側面では、反射要素は、複数のセグメントを備える、側面３５−３９のうちのいずれか１つに記載のイメージングシステム。

【0110】

第４１の側面では、複数のセグメント内の第１のセグメントは、複数のセグメント内の第２のセグメントの光学性質と異なる光学性質を有する、側面４０に記載のイメージングシステム。

【0111】

第４２の側面では、複数のセグメント内の第１のセグメントの光学性質または複数のセグメント内の第２のセグメントの光学性質は、反射角度または屈折力を備える、側面４１に記載のイメージングシステム。

【0112】

第４３の側面では、複数のセグメントは、少なくとも２つのセグメントを備える、側面４０−４２のうちのいずれか１つに記載のイメージングシステム。

【0113】

第４４の側面では、複数のセグメントのうちの２つは、水平に配列される、側面４０−４３のうちのいずれか１つに記載のイメージングシステム。

【0114】

第４５の側面では、複数のセグメントのうちの２つは、垂直に配列される、側面４０−４４のうちのいずれか１つに記載のイメージングシステム。

【0115】

第４６の側面では、複数のセグメントのうちのいくつかは、グリッド内に配列される、側面４０−４５のうちのいずれか１つに記載のイメージングシステム。

【0116】

第４７の側面では、イメージャはさらに、遠近制御レンズアセンブリを備える、側面３４−４６のうちのいずれか１つに記載のイメージングシステム。

【0117】

第４８の側面では、遠近制御レンズアセンブリは、偏移レンズ、傾斜レンズ、または偏移−傾斜レンズを備える、側面４７に記載のイメージングシステム。

【0118】

第４９の側面では、イメージングシステムが、開示される。イメージングシステムは、第１の波長範囲内の光を反射させる、反射要素であって、ホットミラー、軸外ホログラフィックミラー（ＯＡＨＭ）、または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備える、反射要素と、第１の波長範囲内の光に敏感なイメージャであって、少なくとも反射要素によって反射された光を捕捉するように配向されるように構成される、イメージャとを備える、ディスプレイを備える。

【0119】

第５０の側面では、第１の波長範囲は、赤外線波長範囲を備える、側面４９に記載のイメージングシステム。

【0120】

第５１の側面では、ディスプレイは、実質的に可視光に透過性である、側面４９または側面５０に記載のイメージングシステム。

【0121】

第５２の側面では、反射要素は、複数のセグメントを備え、複数のセグメント内の各セグメントは、複数のセグメント内の少なくとも１つの他のセグメントの光学性質と異なる、光学性質を有する、側面４９−５１のうちのいずれか１つに記載のイメージングシステム。

【0122】

第５３の側面では、光学性質は、反射角度または屈折力を含む、側面５２に記載のイメージングシステム。

【0123】

第５４の側面では、複数のセグメントは、２、３、４、５、６、７、８、または９つのセグメントを備える、側面５２または側面５３に記載のイメージングシステム。

【0124】

第５５の側面では、イメージャはさらに、遠近制御レンズアセンブリを備える、側面４９から５４のうちのいずれか１つに記載のイメージングシステム。

【0125】

第５６の側面では、遠近制御レンズアセンブリは、偏移レンズ、傾斜レンズ、または偏移−傾斜レンズを備える、側面５５に記載のイメージングシステム。

【0126】

第５７の側面では、イメージャによって取得された画像を記憶するように構成される、非一過性データ記憶装置と、非一過性データ記憶装置と通信する、ハードウェアプロセッサであって、画像を分析し、眼追跡、バイオメトリック識別、眼の形状の多視点再構成、眼の遠近調節状態の推定、または眼のパターンを区別する網膜、虹彩、またはその他の撮像のうちの１つまたはそれを上回るものを行うための実行可能命令でプログラムされる、ハードウェアプロセッサとをさらに備える、側面２１から５６のうちのいずれか１つに記載のイメージングシステム。

【0127】

第５８の側面では、頭部搭載型ディスプレイ（ＨＭＤ）が、開示される。ＨＭＤは、側面２１から５７のうちのいずれか１つに記載のイメージングシステムを備える。

【0128】

第５９の側面では、ＨＭＤは、耳の近傍に装着されるように構成される部分を有する、フレームを備え、イメージャは、その部分の近傍に配置される、側面５８に記載のＨＭＤ。

【0129】

第６０の側面では、イメージングシステムは、装着者の第１の眼を撮像するように構成され、ＨＭＤは、側面２１から５７のうちのいずれか１つに記載の第２のイメージングシステムを備え、第２のイメージングシステムは、装着者の第２の眼を撮像するように構成される、側面５８または側面５９に記載のＨＭＤ。

【0130】

第６１の側面では、ＨＭＤは、拡張現実デバイス（ＡＲＤ）である、側面５８−６０のうちのいずれか１つに記載のＨＭＤ。

【0131】

第６２の側面では、仮想カメラを作成する方法が、開示される。本方法は、イメージングシステムを撮像されるべきオブジェクトの正面に提供し、仮想カメラをオブジェクトの正面に作成するステップであって、イメージングシステムは、第１の波長範囲内の光を反射させる、反射要素であって、軸外ホログラフィックミラー（ＯＡＨＭ）または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備え、イメージングシステムがオブジェクトの正面に設置されると、オブジェクトから伝搬する光を反射させるように配向される、反射要素と、第１の波長範囲の全て未満の非空サブセット内の光に敏感なイメージャであって、イメージャは、反射要素によって反射されたオブジェクトから伝搬する光を捕捉することによって、オブジェクトの画像を撮像するように配向され、イメージャによって撮像されるオブジェクトの画像およびオブジェクトの正面のカメラによって撮像されるオブジェクトの画像は、区別不能である、イメージャとを備える、ステップを含む。

【0132】

第６３の側面では、第１の波長範囲は、赤外線波長範囲を備える、側面６２に記載の方法。

【0133】

第６４の側面では、イメージングシステムは、光学要素を備え、光学要素は、反射要素を備え、光学要素は、光学要素に入射する可視光の少なくとも５０％に対して透過性である、側面６２−６３のいずれか１つに記載の方法。

【0134】

第６５の側面では、反射要素は、複数のセグメントを備える、側面６２−６４のいずれか１つに記載の方法。

【0135】

第６６の側面では、複数のセグメント内の第１のセグメントは、複数のセグメント内の第２のセグメントの光学性質と異なる光学性質を有する、側面６５に記載の方法。

【0136】

第６７の側面では、複数のセグメント内の第１のセグメントの光学性質または複数のセグメント内の第２のセグメントの光学性質は、反射角度または屈折力を備える、側面６６に記載の方法。

【0137】

第６８の側面では、複数のセグメントは、少なくとも２つのセグメントを備える、側面６５−６７のいずれか１つに記載の方法。

【0138】

第６９の側面では、複数のセグメントのうちの２つは、水平に配列される、側面６５−６８のいずれか１つに記載の方法。

【0139】

第７０の側面では、複数のセグメントのうちの２つは、垂直に配列される、側面６５−６９のいずれか１つに記載の方法。

【0140】

第７１の側面では、複数のセグメントのうちのいくつかは、グリッド内に配列される、側面６５−７０のいずれか１つに記載の方法。

【0141】

第７２の側面では、イメージャはさらに、遠近制御レンズアセンブリを備える、側面６２−７１のいずれか１つに記載の方法。

【0142】

第７３の側面では、遠近制御レンズアセンブリは、偏移レンズ、傾斜レンズ、または偏移−傾斜レンズを備える、側面７２に記載の方法。

【0143】

第７４の側面では、仮想カメラを使用してオブジェクトを撮像する方法が、開示される。本方法は、イメージングシステムを撮像されるべきオブジェクトの正面に提供し、仮想カメラをオブジェクトの正面に作成するステップであって、イメージングシステムは、第１の波長範囲内の光を反射させる、反射要素であって、軸外ホログラフィックミラー（ＯＡＨＭ）または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備え、イメージングシステムがオブジェクトの正面に設置されると、オブジェクトから伝搬する光を反射させるように配向される、反射要素と、第１の波長範囲の全て未満の非空サブセット内の光に敏感なイメージャであって、反射要素によって反射されたオブジェクトから伝搬する光を捕捉することによって、オブジェクトの画像を撮像するように配向される、イメージャとを備える、ステップと、仮想カメラを使用してオブジェクトを撮像するステップであって、反射要素によって反射されたオブジェクトから伝搬する光を捕捉することによって、オブジェクトの画像を撮像するステップを含み、イメージャによって撮像されるオブジェクトの画像およびオブジェクトの正面におけるカメラによって撮像されるオブジェクトの画像は、区別不能である、ステップとを含む。

【0144】

第７５の側面では、第１の波長範囲は、赤外線波長範囲を備える、側面７４に記載の方法。

【0145】

第７６の側面では、イメージングシステムは、光学要素を備え、光学要素は、反射要素を備え、光学要素は、光学要素に入射する可視光の少なくとも５０％に対して透過性である、側面７４−７５のいずれか１つに記載の方法。

【0146】

第７７の側面では、反射要素は、複数のセグメントを備える、側面７４−７６のいずれか１つに記載の方法。

【0147】

第７８の側面では、複数のセグメント内の第１のセグメントは、複数のセグメント内の第２のセグメントの光学性質と異なる光学性質を有する、側面７７に記載の方法。

【0148】

第７９の側面では、複数のセグメント内の第１のセグメントの光学性質または複数のセグメント内の第２のセグメントの光学性質は、反射角度または屈折力を備える、側面７８に記載の方法。

【0149】

第８０の側面では、複数のセグメントは、少なくとも２つのセグメントを備える、側面７７−７９のいずれか１つに記載の方法。

【0150】

第８１の側面では、複数のセグメントのうちの２つは、水平に配列される、側面７７−８０のいずれか１つに記載の方法。

【0151】

第８２の側面では、複数のセグメントのうちの２つは、垂直に配列される、側面７７−８１のいずれか１つに記載の方法。

【0152】

第８３の側面では、複数のセグメントのうちのいくつかは、グリッド内に配列される、側面７７−８２のいずれか１つに記載の方法。

【0153】

第８４の側面では、イメージャはさらに、遠近制御レンズアセンブリを備える、側面７４−８３のいずれか１つに記載の方法。

【0154】

第８５の側面では、遠近制御レンズアセンブリは、偏移レンズ、傾斜レンズ、または偏移−傾斜レンズを備える、側面８４に記載の方法。

【0155】

第８６側面の側面では、イメージングアセンブリが、開示される。イメージングアセンブリは、シースルー要素（例えば、ディスプレイ）と、ディスプレイを視認するように設置された視認カメラと、そのカメラと関連付けられたレンズと、ディスプレイをディスプレイが敏感である波長の全部または一部に対して反射性にする、ディスプレイ上の反射要素とを備える。

【0156】

第８７の側面では、反射要素は、ホットミラー、軸外ホログラフィックミラー（ＯＡＨＭ）または軸外立体回折光学要素（ＯＡＶＤＯＥ）を備える、側面８６に記載のアセンブリ。

【0157】

第８８の側面では、アセンブリは、一対の眼鏡またはヘルメット等の装着可能構造の中に統合される、側面８６−８７のうちのいずれか１つに記載のアセンブリ。

【0158】

第８９の側面では、反射要素は、セグメント化される、側面８６−８８のうちの任意の１つに記載のアセンブリ。

【0159】

第９０の側面では、アセンブリは、特定のタスク（例えば、視線追跡またはバイオメトリック識別）のための最良可能視認角度を選択するためにセグメント化されたＯＡＨＭの使用のために構成される、側面８９に記載のアセンブリ。

【0160】

第９１の側面では、アセンブリは、眼の形状の立体視または多視点３次元再構成のための複数のセグメントサブ画像の使用のために構成される、側面８９−９０のうちのいずれか１つに記載のアセンブリ。

【0161】

第９２の側面では、眼の形状の３次元再構成は、眼の遠近調節状態を推定するために使用される、側面９１に記載のアセンブリ。

【0162】

第９３の側面では、眼の遠近調節状態の推定は、アセンブリの同一装着者の複数の画像を横断して眼の瞳孔および虹彩の見掛け場所および形状を比較することを含む、側面９２に記載のアセンブリ。

【0163】

第９４の側面では、眼の遠近調節状態の推定は、水晶体の拡大状態を判定するために使用される、側面９２−９３のうちのいずれか１つに記載のアセンブリ。

【0164】

第９５の側面では、アセンブリは、情報融合アルゴリズムへの入力としての画像セグメントの使用のために構成される、側面８６−９４のうちのいずれか１つに記載のアセンブリ。

【0165】

第９６の側面では、情報融合アルゴリズムは、眼の見掛け分解能またはそこからの情報抽出の品質を改良するために使用される、側面９５に記載のアセンブリ。

【0166】

第９７側面の側面では、情報融合アルゴリズムは、画像超分解能技法を備える、側面９５−９６のうちのいずれか１つに記載のアセンブリ。

【0167】

第９８の側面では、情報融合アルゴリズムは、眼の虹彩の画像を改良するために使用される、側面９５−９７のうちのいずれか１つに記載のアセンブリ。

【0168】

第９９の側面では、情報融合アルゴリズムは、虹彩コード抽出（例えば、Ｊｏｈｎ Ｄａｕｇｍａｎ， ｅｔ ａｌ． ２００６）と、装着者の虹彩コードの単一推定値を形成するための結果として生じる虹彩コードの後続融合とを備える、側面９５−９８のうちのいずれか１つに記載のアセンブリ。

【0169】

第１００の側面では、アセンブリは、眼姿勢推定または追跡を改良するための画像セグメントの使用のために構成される、側面８６−９９のうちの任意の１つに記載のアセンブリ。

【0170】

第１０１の側面では、眼、虹彩、瞳孔、および角膜（またはこれらの任意のサブセット）の３次元再構成は、姿勢推定において眼の被覆率を改良するために、直接、画像セグメントと併用される、側面１００に記載のアセンブリ。

【0171】

第１０２の側面では、反射要素は、ビーム発散を追加または低減させるための屈折力を含む、ＯＡＶＤＯＥを備える、側面８６−１０１のうちのいずれか１つに記載のアセンブリ。

【0172】

第１０３の側面では、反射要素は、任意の数のセグメント（例えば、２つ、３つ、６つ、または９つのセグメント）を含む、側面８６−１０２のうちのいずれか１つに記載のアセンブリ。

【0173】

第１０４の側面では、反射要素は、赤外線光を反射させるように構成され、視認カメラは、赤外線光に敏感である、側面８６−１０３のうちのいずれか１つに記載のアセンブリ。

【0174】

第１０５の側面では、反射要素は、赤外線を反射させるが、そうでなければ可視光に透過性であるように構成される、ホットミラーを備える、側面１０４に記載のアセンブリ。

【0175】

第１０６の側面では、反射要素を備える表面の法線と平行な視認カメラに対する法線を伴う、オフセットレンズ（例えば、傾斜偏移写真におけるように）をさらに備える、側面８６−１０５のうちのいずれか１つに記載のアセンブリ。

【0176】

第１０７の側面では、頭部搭載型ディスプレイ（ＨＭＤ）が、開示される。ＨＭＤは、一対のディスプレイを備え、各ディスプレイは、側面８６−１０６のうちのいずれか１つに記載のイメージングアセンブリを備え、一対のうちの１つのアセンブリは、装着者の眼毎に構成される。
（結論）

【0177】

本明細書に説明される、ならびに／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

【0178】

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つもしくはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

【0179】

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

【0180】

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つもしくはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

【0181】

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

【0182】

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

【0183】

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。

【0184】

とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／もしくはステップが、１つもしくはそれを上回る実施形態に対していかようにも要求されること、または１つもしくはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。

【0185】

本明細書で使用されるように、項目のリスト「〜のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

【0186】

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図7F】

【図7G】

【図7H】