特表 2023-536212 頭部搭載型ディスプレイのプレノプティックカメラ測定および較正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-24

(54)【発明の名称】頭部搭載型ディスプレイのプレノプティックカメラ測定および較正

(51)【国際特許分類】

   G01M 11/00 20060101AFI20230817BHJP

   H04N 17/00 20060101ALI20230817BHJP

   G02B 27/02 20060101ALI20230817BHJP

【ＦＩ】

G01M11/00 T

H04N17/00 200

G02B27/02 Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022578826

(86)(22)【出願日】2021-07-02

(85)【翻訳文提出日】2022-12-20

(86)【国際出願番号】 US2021040369

(87)【国際公開番号】W WO2022010803

(87)【国際公開日】2022-01-13

(31)【優先権主張番号】63/048,331

(32)【優先日】2020-07-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】シャック， ミラー ハリー ザ サード

【テーマコード（参考）】

2G086

2H199

【Ｆターム（参考）】

2G086EE10

2G086EE12

2H199CA02

2H199CA42

2H199CA47

2H199CA48

2H199CA64

2H199CA92

2H199CA93

2H199CA94

2H199CA95

(57)【要約】

頭部搭載型ディスプレイモジュールの性能を測定するための方法であって、方法は、頭部搭載型ディスプレイモジュールをプレノプティックカメラアセンブリに対して、頭部搭載型ディスプレイモジュールの射出瞳がプレノプティックカメラアセンブリの瞳と一致するように配列することと、頭部搭載型ディスプレイモジュールがプレノプティックカメラアセンブリに対して配列される間、頭部搭載型ディスプレイモジュールから光を放出することと、光を頭部搭載型ディスプレイモジュールの射出瞳においてフィルタリングすることと、プレノプティックカメラアセンブリを用いて、フィルタリングされた光とともに、頭部搭載型ディスプレイモジュールから投影された１つ以上の明視野画像を入手することと、入手された明視野画像に基づいて、頭部搭載型ディスプレイモジュールの性能についての情報を判定することとを含む。

【特許請求の範囲】

【請求項1】

システムであって、
像面を画定する、カメラレンズと、カメラセンサと、前記像面における光を前記カメラセンサに対して結像するように配列される、マイクロレンズアレイとを備える、プレノプティックカメラアセンブリと、
頭部搭載型ディスプレイモジュールを受容し、前記頭部搭載型ディスプレイモジュールを前記プレノプティックカメラアセンブリに対して、前記頭部搭載型ディスプレイモジュールの射出瞳が前記プレノプティックカメラアセンブリの瞳と一致するように位置付けるための段と、
前記プレノプティックカメラアセンブリの瞳に位置付けられる、１つ以上のフィルタアレイであって、前記１つ以上のフィルタアレイのそれぞれは、前記カメラレンズの開口を横断して延在する、複数の空間的に離散したフィルタを備える、１つ以上のフィルタアレイと、
前記プレノプティックカメラアセンブリと通信するシステムコントローラであって、前記システムコントローラは、前記システムの動作の間、前記頭部搭載型ディスプレイモジュールから投影された１つ以上の明視野画像を入手させ、前記入手された明視野画像に基づいて、前記頭部搭載型ディスプレイモジュールの性能についての情報を判定させるようにプログラムされる、システムコントローラと
を備える、システム。

【請求項2】

前記フィルタアレイのうちの１つは、空間的に離散したカラーフィルタを備える、請求項１に記載のシステム。

【請求項3】

前記空間的に離散したカラーフィルタは、Ｘ、Ｙ、Ｚ三刺激カラーフィルタを備える、請求項２に記載のシステム。

【請求項4】

前記フィルタアレイのうちの１つは、空間的に離散した偏光フィルタを備える、請求項１－３のいずれか１項に記載のシステム。

【請求項5】

前記フィルタアレイのうちの１つは、空間的に離散した中性濃度フィルタを備える、請求項１－４のいずれか１項に記載のシステム。

【請求項6】

前記１つ以上のフィルタアレイは、第１の空間的に離散したカラーフィルタのアレイと、第１のセットと重複する、第２の空間的に離散したフィルタのアレイとを備え、前記第１および第２の空間的に離散したフィルタのアレイは、前記光の異なる性質をフィルタリングする、請求項１－５のいずれか１項に記載のシステム。

【請求項7】

前記光の性質は、色、偏光、および強度から成る群から選択される、請求項６に記載のシステム。

【請求項8】

前記頭部搭載型ディスプレイモジュールの射出瞳の複数の異なる場所から放出される光を組み合わせ、複数の重複画像を前記プレノプティックカメラアセンブリのセンサにおいて形成するように構成される、前記プレノプティックカメラアセンブリの瞳に配列される、光学アセンブリをさらに備え、前記複数の重複画像のそれぞれは、前記頭部搭載型ディスプレイモジュールのための異なるユーザビューに対応する、請求項１－７のいずれか１項に記載のシステム。

【請求項9】

前記光学アセンブリは、前記頭部搭載型ディスプレイモジュールの射出瞳内の異なる場所に配列される、１つ以上の偏光ビームスプリッタと、前記偏光ビームスプリッタのそれぞれからの光を受光し、各偏光ビームスプリッタからの光を共通経路に沿って前記カメラレンズに指向するように配列される、前記プレノプティックカメラアセンブリの瞳内に配列される、ビームコンバイナとを備える、請求項８に記載のシステム。

【請求項10】

頭部搭載型ディスプレイモジュールの性能を測定するための方法であって、前記方法は、
前記頭部搭載型ディスプレイモジュールをプレノプティックカメラアセンブリに対して、前記頭部搭載型ディスプレイモジュールの射出瞳が前記プレノプティックカメラアセンブリの瞳と一致するように配列することと、
前記頭部搭載型ディスプレイモジュールが前記プレノプティックカメラアセンブリに対して配列される間、前記頭部搭載型ディスプレイモジュールから光を放出することと、
前記光を前記頭部搭載型ディスプレイモジュールの射出瞳においてフィルタリングすることと、
前記プレノプティックカメラアセンブリを用いて、前記フィルタリングされた光とともに、前記頭部搭載型ディスプレイモジュールから投影された１つ以上の明視野画像を入手することと、
入手された明視野画像に基づいて、前記頭部搭載型ディスプレイモジュールの性能についての情報を判定することと
を含む、方法。

【請求項11】

前記光は、前記プレノプティックカメラアセンブリの瞳に位置付けられる、複数の空間的に離散したフィルタによってフィルタリングされる、請求項１０に記載の方法。

【請求項12】

前記空間的に離散したフィルタは、カラーフィルタを備える、請求項１１に記載の方法。

【請求項13】

前記カラーフィルタは、Ｘ、Ｙ、Ｚ等色関数カラーフィルタを備える、請求項１２に記載の方法。

【請求項14】

前記空間的に離散したフィルタは、偏光フィルタを備える、請求項１１に記載の方法。

【請求項15】

前記空間的に離散したフィルタは、中性濃度フィルタを備える、請求項１１に記載の方法。

【請求項16】

前記光は、第１のセットの空間的に離散したフィルタと、前記第１のセットと重複する、第２のセットの空間的に離散したフィルタとによってフィルタリングされ、前記第１および第２の空間的に離散したフィルタのセットは、前記光の異なる性質をフィルタリングする、請求項１０－１５のいずれか１項に記載の方法。

【請求項17】

前記光の性質は、色、偏光、および強度から成る群から選択される、請求項１６に記載の方法。

【請求項18】

前記１つ以上の明視野画像を入手することは、マイクロレンズアレイを使用して、実画像を前記頭部搭載型ディスプレイモジュールから多要素センサに再結像することを含む、請求項１０－１７のいずれか１項に記載の方法。

【請求項19】

前記マイクロレンズアレイは、前記プレノプティックカメラアセンブリのレンズの射出瞳の一部をサンプリングし、前記頭部搭載型ディスプレイモジュールからの前記実画像の異なる角度ビューを提供する、請求項１８に記載の方法。

【請求項20】

前記プレノプティックカメラアセンブリは、前記瞳からセンサアレイまでの光経路を画定し、前記プレノプティックカメラアセンブリは、前記光経路内に、前記プレノプティックカメラアセンブリの瞳を画定し、像面を画定する、カメラレンズアセンブリを備え、前記プレノプティックカメラアセンブリはさらに、前記像面と前記センサアレイとの間の前記光経路内に集束要素のアレイを備える、請求項１０－１９のいずれか１項に記載の方法。

【請求項21】

前記頭部搭載型ディスプレイモジュールの性能についての前記情報は、放射輝度、輝度、色、幾何学的歪曲、仮想画像距離、および像面湾曲から成る群から選択される、性能パラメータのうちの少なくとも１つについての情報を備える、請求項１０－２０のいずれか１項に記載の方法。

【請求項22】

前記頭部搭載型ディスプレイモジュールの性能についての前記情報を判定することは、前記頭部搭載型ディスプレイモジュールの着目３次元体積にわたって、複数の異なる深度において２次元画像を計算することを含む、請求項１０－２１のいずれか１項に記載の方法。

【請求項23】

前記情報を判定することはさらに、前記２次元画像のそれぞれの１つ以上の性質についての情報を判定することを含む、請求項２２に記載の方法。

【請求項24】

前記頭部搭載型ディスプレイモジュールの射出瞳の複数の異なる場所から放出される光を組み合わせ、複数の重複画像を前記プレノプティックカメラアセンブリのセンサにおいて形成することをさらに含み、前記複数の重複画像のそれぞれは、前記頭部搭載型ディスプレイモジュールのための異なるユーザビューに対応する、請求項１０－２３のいずれか１項に記載の方法。

【請求項25】

頭部搭載型ディスプレイを較正するための方法であって、
請求項１０－２４のいずれか１項に記載の方法を使用して、前記頭部搭載型ディスプレイの性能を測定することと、
前記測定された性能に基づいて、前記頭部搭載型ディスプレイの動作を調節することと
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

（優先権の主張）
本願は、米国特許法第１１９条（ｅ）下、その全内容が、参照することによって本明細書に組み込まれる、２０２０年７月６日に出願された、米国特許出願第６３／０４８，３３１号の優先権を主張する。

【0002】

（開示の分野）
本開示は、頭部搭載型ディスプレイの測定および較正に関し、より具体的には、頭部搭載型ディスプレイ内で使用される接眼レンズの較正のためのプレノプティックカメラの使用に関する。

【背景技術】

【0003】

（背景）
ウェアラブル頭部搭載型ディスプレイシステムは、それを通してユーザが外界を視認する、１つ以上の接眼レンズを含む。接眼レンズは、典型的には、情報が、接眼レンズを通して、ユーザに投影され、同時に、外界のビューを透過させ得るように、透明な高度に屈折性の材料から形成される。多くの場合、頭部搭載型ディスプレイ内の接眼レンズは、較正プロセスを受け、ウェアラブルディスプレイシステムのユーザに表示される明視野を正規化し、頭部搭載型ディスプレイシステム間の一貫した画像を確実にする。

【0004】

ある場合には、較正プロセスは、大ダイナミックレンジを横断して、接眼レンズを通して投影される、複数の白色視野画像の評価を伴う。これらの画像は、カメラおよび種々の中性濃度フィルタを使用して、入手されることができる。類似プロセスが、赤色、緑色、および青色色平衡、ならびに接眼レンズからのいくつかの逃がしおよび位置を評価し、複数のユーザ瞳孔場所および瞳孔間距離をシミュレートするために使用されることができる。これらの画像から、較正プロセスは、頭部搭載型ディスプレイを調節し、画像野を外部規格に合致させることを含むことができる。一般に、これらのステップは、頭部搭載型ディスプレイシステム毎に実施されるべきであって、時間およびコストがかかるプロセスをもたらす。

【発明の概要】

【課題を解決するための手段】

【0005】

（要約）
本開示は、プレノプティックカメラを使用して、頭部搭載型ディスプレイを較正するための方法およびシステムを説明する。明視野カメラとも称される、プレノプティックカメラは、場面から発出する明視野についての情報を捕捉する。明視野は、場面からの光の強度と、また、光線が空間内で進行する方向との両方を指す。対照的に、通常のカメラは、場面についての強度情報のみを捕捉する。

【0006】

本明細書に開示されるシステムでは、プレノプティックカメラのための光学システムは、瞳を横断して、空間的に離散したフィルタをアレイ化し、瞳を横断して、異なる光性質（例えば、輝度、偏光、スペクトル成分の）多重化された測定を有効にするために、物理的にアクセス可能である、瞳を特徴とする。例えば、測定および較正システム内のプレノプティックカメラアセンブリは、１つ以上のフィルタアレイのための十分な物理的空間を提供する、カメラアセンブリのレンズの外部にある、入射瞳を含むことができる。本システムは、ディスプレイの射出瞳がプレノプティックカメラのための入射瞳と同一場所に位置する、試験下の頭部搭載型ディスプレイを位置付ける、段を含むことができる。

【0007】

いくつかの実施形態では、測定および較正システムは、単一画像内のいくつかの瞳位置からのビューを提供し、１回の捕捉において、いくつかのユーザ瞳位置の較正を可能にし、測定および較正時間を節約する、光学アセンブリを含むことができる。

【0008】

本発明の種々の側面は、以下のように要約される。

【0009】

一般に、第１の側面では、本発明は、頭部搭載型ディスプレイモジュールの性能を測定するための方法を特徴とし、方法は、頭部搭載型ディスプレイモジュールをプレノプティックカメラアセンブリに対して、頭部搭載型ディスプレイモジュールの射出瞳がプレノプティックカメラアセンブリの瞳と一致するように配列することと、頭部搭載型ディスプレイモジュールがプレノプティックカメラアセンブリに対して配列される間、頭部搭載型ディスプレイモジュールから光を放出することと、光を頭部搭載型ディスプレイモジュールの射出瞳においてフィルタリングすることと、プレノプティックカメラアセンブリを用いて、フィルタリングされた光とともに、頭部搭載型ディスプレイモジュールから投影された１つ以上の明視野画像を入手することと、入手された明視野画像に基づいて、頭部搭載型ディスプレイモジュールの性能についての情報を判定することとを含む。

【0010】

ウェアラブルディスプレイシステムを使用して画像を表示するための本方法の実施形態は、以下の特徴のうちの１つ以上を含むことができる。光は、プレノプティックカメラアセンブリの瞳に位置付けられる、複数の空間的に離散したフィルタによってフィルタリングされることができる。空間的に離散したフィルタは、カラーフィルタを含むことができる。カラーフィルタは、Ｘ、Ｙ、Ｚ等色関数カラーフィルタを含むことができる。空間的に離散したフィルタは、偏光フィルタを含むことができる。空間的に離散したフィルタは、中性濃度フィルタを含むことができる。

【0011】

光は、第１のセットの空間的に離散したフィルタと、第１のセットと重複する、第２のセットの空間的に離散したフィルタとによってフィルタリングされることができ、第１および第２の空間的に離散したフィルタのセットは、光の異なる性質をフィルタリングする。光の性質は、色、偏光、および強度から成る群から選択されることができる。

【0012】

１つ以上の明視野画像を入手することは、マイクロレンズアレイを使用して、実画像を頭部搭載型ディスプレイモジュールから多要素センサに再結像することを含むことができる。

【0013】

マイクロレンズアレイは、プレノプティックカメラアセンブリのレンズの射出瞳の一部をサンプリングし、頭部搭載型ディスプレイモジュールからの実画像の異なる角度ビューを提供することができる。

【0014】

プレノプティックレンズアセンブリは、瞳からセンサまでの光経路を画定することができ、プレノプティックレンズアセンブリは、光経路内に、プレノプティックカメラアセンブリの瞳を画定し、像面を画定する、カメラレンズアセンブリを含むことができ、プレノプティックカメラアセンブリはさらに、像面とセンサアレイとの間の光経路内に集束要素のアレイを含むことができる。

【0015】

頭部搭載型ディスプレイモジュールの性能についての情報は、放射輝度、輝度、色、幾何学的歪曲、仮想画像距離、および像面湾曲から成る群から選択される、性能パラメータのうちの少なくとも１つについての情報を含むことができる。

【0016】

頭部搭載型ディスプレイモジュールの性能についての情報を判定することは、頭部搭載型ディスプレイモジュールの着目３次元体積にわたって、複数の異なる深度において２次元画像を計算することを含むことができる。

【0017】

情報を判定することはさらに、２次元画像のそれぞれの１つ以上の性質についての情報を判定することを含むことができる。

【0018】

本方法はさらに、頭部搭載型ディスプレイモジュールの射出瞳の複数の異なる場所から放出される光を組み合わせ、複数の重複画像をプレノプティックカメラアセンブリのセンサにおいて形成することを含むことができ、複数の重複画像のそれぞれは、頭部搭載型ディスプレイモジュールのための異なるユーザビューに対応する。

【0019】

第２の側面では、本発明は、頭部搭載型ディスプレイを較正するための方法を特徴とし、方法は、頭部搭載型ディスプレイモジュールの性能を測定するための方法を使用して、頭部搭載型ディスプレイの性能を測定することと、測定された性能に基づいて、頭部搭載型ディスプレイの動作を調節することとを含む。

【0020】

第３の側面では、本発明は、システムであって、像面を画定する、カメラレンズと、カメラセンサと、像面における光をカメラセンサに対して結像するように配列される、マイクロレンズアレイとを含む、プレノプティックカメラアセンブリと、頭部搭載型ディスプレイを受容し、頭部搭載型ディスプレイをプレノプティックカメラアセンブリに対して、頭部搭載型ディスプレイモジュールの射出瞳がプレノプティックカメラアセンブリの瞳と一致するように位置付けるための段と、プレノプティックカメラアセンブリの瞳に位置付けられる、１つ以上のフィルタアレイであって、１つ以上のフィルタアレイのそれぞれは、カメラレンズの開口を横断して延在する、複数の空間的に離散したフィルタを含む、１つ以上のフィルタアレイと、プレノプティックカメラアセンブリと通信し、本システムの動作の間、頭部搭載型ディスプレイモジュールから投影された１つ以上の明視野画像を入手させ、入手された明視野画像に基づいて、頭部搭載型ディスプレイモジュールの性能についての情報を判定させるようにプログラムされる、システムコントローラとを含む、システムを特徴とする。

【0021】

本システムの実施形態は、以下の特徴のうちの１つ以上を含むことができる。フィルタアレイのうちの１つは、空間的に離散したカラーフィルタを含むことができる。空間的に離散したカラーフィルタは、Ｘ、Ｙ、Ｚ三刺激カラーフィルタを含むことができる。

【0022】

フィルタアレイのうちの１つは、空間的に離散した偏光フィルタを含むことができる。

【0023】

フィルタアレイはのうちの１つ、空間的に離散した中性濃度フィルタを含むことができる。

【0024】

１つ以上のフィルタアレイは、第１の空間的に離散したカラーフィルタのアレイと、第１のセットと重複する、第２の空間的に離散したフィルタのアレイとを含むことができ、第１および第２の空間的に離散したフィルタのアレイは、光の異なる性質をフィルタリングする。光の性質は、色、偏光、および強度から成る群から選択される。

【0025】

本システムはさらに、頭部搭載型ディスプレイモジュールの射出瞳の複数の異なる場所から放出される光を組み合わせ、複数の重複画像をプレノプティックカメラアセンブリのセンサにおいて形成するように構成される、プレノプティックカメラアセンブリの瞳に配列される、光学アセンブリを備え、複数の重複画像のそれぞれは、頭部搭載型ディスプレイモジュールのための異なるユーザビューに対応する。

【0026】

光学アセンブリは、頭部搭載型ディスプレイモジュールの射出瞳内の異なる場所に配列される、１つ以上の偏光ビームスプリッタと、偏光ビームスプリッタのそれぞれからの光を受光し、各偏光ビームスプリッタからの光を共通経路に沿ってカメラレンズに指向するように配列される、プレノプティックカメラアセンブリの瞳内に配列される、ビームコンバイナとを含むことができる。

【0027】

他の特徴および利点は、説明、図面、および請求項から明白となるであろう。

【図面の簡単な説明】

【0028】

【図1】図１は、ウェアラブルヘッドセットディスプレイのための例示的測定および較正システムの概略図である。

【0029】

【図2A】図２Ａは、図１に示されるシステムにおいて使用するための例示的カラーフィルタアレイの平面図である。

【0030】

【図2B】図２Ｂは、図１に示されるシステムにおいて使用するための例示的中性濃度フィルタアレイの平面図である。

【0031】

【図2C】図２Ｃは、図１に示されるシステムにおいて使用するための例示的偏光フィルタアレイの平面図である。

【0032】

【図3】図３は、プレノプティックカメラの入射瞳を延在させ、複数のユーザ瞳孔位置を包含する、例示的光学アセンブリの概略図である。

【0033】

【図4】図４は、ウェアラブルヘッドセットディスプレイシステムの実施例を示す、概略図である。

【発明を実施するための形態】

【0034】

図中では、同様の記号は、同様の要素を示す。

【0035】

（詳細な説明）
図１を参照すると、ウェアラブルヘッドセットディスプレイ１５０（例えば、接眼レンズ）のための例示的測定および較正システム１００は、プレノプティックカメラアセンブリ１０１と、フィルタモジュール１２０と、ディスプレイ１５０を支持し、それをプレノプティックカメラアセンブリ１０１に対して位置付けるための段１３０とを含む。具体的には、ディスプレイ１５０は、ディスプレイ１５０の射出瞳がプレノプティックカメラアセンブリ１０１の入射瞳１０３と一致するように配列される。プレノプティックカメラアセンブリ１０１およびディスプレイ１５０と通信する、システムコントローラ１１０（例えば、コンピュータコントローラ）が、カメラアセンブリ１０１およびディスプレイ１５０の両方の動作を制御し、ディスプレイを較正するために、画像をディスプレイから入手し、分析するようにプログラムされる。

【0036】

一般に、入射瞳１０３は、システム１００の結像光学系の一部ではない、他の光学コンポーネントのためにアクセス可能な場所にある。例えば、図１に描写されるように、入射瞳１０３は、カメラアセンブリとディスプレイ１５０との間の空間内のプレノプティックカメラアセンブリ１０１の外部にある。

【0037】

フィルタモジュール１２０が、入射瞳１０３に位置付けられる。フィルタモジュール１２０は、３つの空間的に離散したフィルタ１２０ａ、１２０ｂ、および１２０ｃを含み、それぞれ、軸１０２に対して同一位置に位置する。フィルタは、それらが入射瞳１０３の非重複面積を占有するため、空間的に離散される。搭載部１２１が、位置フィルタアレイ１２０を軸１０２に沿って、適切な場所に位置付ける。

【0038】

プレノプティックカメラアセンブリ１０１は、カメラアセンブリの軸１０２に沿って、順に配列される、センサ１０６と、マイクロレンズアレイ１０５と、カメラレンズ１０４とを含む。センサ１０６、マイクロレンズアレイ１０５、およびカメラレンズ１０４は、各コンポーネントの相対的位置を維持し、それぞれを環境から保護するための搭載要素を特徴とする、共通筐体内に格納される。

【0039】

段１３０が、ディスプレイ１５０によって投影された画像からの光１６０が、軸１０２に沿って、カメラアセンブリによって受光されるように、プレノプティックカメラアセンブリ１０１に面したディスプレイ１５０を支持する。カメラレンズ１０４は、ディスプレイ１５０を像面１０８に対して結像する。マイクロレンズアレイ１０５の各マイクロレンズは、ディスプレイの画像をセンサに中継するが、しかしながら、センサ１０６における画像のそれぞれは、強度に加え、光の方向についての情報も捕捉する。概して、センサは、マイクロレンズアレイ１０５が有するレンズより多くのピクセルを有し、各マイクロレンズが画像をセンサの異なる面積に形成することを可能にすることに留意されたい。センサ１０６は、典型的には、ピクセルの規則的アレイを含む、ソリッドステート画像センサデバイスである。例えば、センサ１０６は、電荷結合素子（ＣＣＤ）またはアクティブピクセルセンサ（ＣＭＯＳ）であることができる。センサ１０６から読み取られる、結果として生じる画像は、マイクロ画像のアレイに対応し、それぞれ、結像されているオブジェクト（この場合、ディスプレイ１５０）の若干異なる角度視高に対応する。

【0040】

カメラレンズ１０４は、単一レンズ要素として描写されるが、典型的には、カメラレンズ１０４は、集合的に、ディスプレイを像面１０８に対して結像する、２つ以上のレンズ要素を含む、複合レンズである。概して、カメラレンズ１０４は、球状、非球面、円錐、またはアナモルフィックレンズ要素、またはそれらの任意の組み合わせを含み、システム１００のために適切な十分に低収差結像を提供することができる。

【0041】

動作の間、プレノプティックカメラアセンブリ１０１は、システムコントローラ１１０によって処理するために、頭部搭載型ディスプレイモジュールのディスプレイ１５０から投影された明視野画像を捕捉する。システムコントローラ１１０は、デジタル電子回路網を使用して、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェア内に、またはそれらのうちの１つ以上の組み合わせにおいて、実装されることができる。例えば、ある場合には、システムコントローラ１１０は、少なくとも部分的に、１つ以上のコンピュータプログラム（例えば、データ処理装置による実行のために、またはその動作を制御するために、コンピュータ記憶媒体上にエンコーディングされる、コンピュータプログラム命令の１つ以上のモジュール）として実装されることができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうちの１つ以上の組み合わせであることができる、もしくはその中に含まれることができる。用語「処理装置」は、一例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、または前述の複数のもの、もしくは組み合わせを含む、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。装置は、特殊目的論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含むことができる。装置はまた、ハードウェアに加え、当該コンピュータプログラムのための実行環境を作成する、コード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想機械、またはそれらのうちの１つ以上の組み合わせを構成する、コードを含むことができる。装置および実行環境は、ウェブサービス、分散型コンピューティング、およびグリッドコンピューティングインフラストラクチャ等の種々の異なるコンピューティングモデルインフラストラクチャを実現することができる。

【0042】

一般に、種々の異なるタイプのフィルタアレイが、フィルタモジュール１２０として使用されることができる。例えば、いくつかの実施形態では、フィルタ１２０ａ、１２０ｂ、および１２０ｃは、中性濃度フィルタであって、それぞれ、異なる減衰を有する。例えば、フィルタ１２０ａ、１２０ｂ、および１２０ｃは、ディスプレイ１５０からの異なる量の光を減衰させることができる。故に、単一捕捉において、センサ１０６は、異なる体積捕捉を伴う、異なる強度レベルを捕捉する必要なく、高ダイナミックレンジを横断して、ディスプレイ１５０からある画像体積を入手することができる。

【0043】

図１に描写されるフィルタモジュール１２０は、３つの異なるフィルタのアレイを含むが、他のフィルタアレイ配列も、可能性として考えられる。さらに、いくつかの実施形態では、複数のフィルタアレイが、軸１０２に沿って、シーケンスにおいて配列されることができる。例えば、図２Ａおよび２Ｂを参照すると、カラーフィルタアレイ２２０および中性濃度フィルタアレイ２２２は、測定および較正システムが、ディスプレイから、異なるスペクトルプロファイルに関し、かつ高ダイナミックレンジを横断して、スペクトルプロファイル情報毎に、情報を含む、明視野画像を入手し得るように、軸に沿って、シーケンスにおいて配列されるように設計される。本実施例では、フィルタアレイ２２０は、３つの異なるカラーフィルタ２２０ａ、２２０ｂ、および２２０ｃを伴う、カラーフィルタアレイである。例えば、フィルタ２２０ａは、ＣＩＥ１９３１等色関数Ｘのためのフィルタであることができ、２２０ｂは、ＣＩＥ１９３１等色関数Ｙのためのフィルタであることができ、フィルタ２２０ｃは、ＣＩＥ１９３１等色関数Ｚのためのフィルタであることができる。他のスペクトルフィルタアレイもまた、可能性として考えられる。フィルタアレイは、平面図に描写され、軸１０２がページの平面と垂直であるように、システム１００内に配列される。

【0044】

フィルタアレイ２２２は、３つの中性濃度フィルタ（例えば、５０％またはそれを上回る減衰、８０％またはそれを上回る減衰、９０％またはそれを上回る減衰）２２２ａ、２２２ｄ、および２２２ｅと、３つの透明ウィンドウ２２２ｂ、２２２ｃ、および２２２ｆ（すなわち、殆どまたは全く光減衰を提供しない）とから成る。フィルタアレイ２２０および２２２は、システム１００のフィルタモジュール内に位置付けられると、カラーフィルタ２２０ａが中性濃度フィルタ２２２ａおよびクリアウィンドウ２２２ｂと重複するように、定寸および成形される。同様に、カラーフィルタ２２０ｂは、中性濃度フィルタ２２２ｄおよびクリアウィンドウ２２２ｃと重複し、カラーフィルタ２２０ｃは、中性濃度フィルタ２２２ｅおよびクリアウィンドウ２２２ｆと重複する。

【0045】

故に、システム１００内でともに配列されると、フィルタアレイ２２０および２２２は、その中で入射瞳の一部が、中性濃度フィルタによって提供されるような高ダイナミックレンジを横断して、３つの異なるスペクトル組成を伴う、光をサンプリングする、明視野捕捉を提供する。

【0046】

図２Ｃは、システム１００内で使用され得る、フィルタアレイのさらなる実施例を示す。フィルタアレイ２２４は、４つのフィルタ２２４ａ、２２４ｂ、２２４ｃ、および２２４ｄを含む、それぞれ、異なる通過軸配向を伴う、線形偏光器から成る。代替として、いくつかの実施形態では、４つの偏光フィルタは、直交軸を伴う、２つの線形偏光器と、直交円偏光状態のための２つの円偏光器とを含むことができる。偏光フィルタアレイを使用して入手された明視野画像は、試験下のディスプレイの異なるコンポーネント内の複屈折等の性質を査定する際に有用であり得る。

【0047】

他のフィルタアレイ配列もまた、可能性として考えられる。例えば、偏光フィルタアレイは、４つの偏光フィルタがフィルタアレイ２２２内の各フィルタと重複するように配列される、２４のフィルタを含むことができる。そのような配列を用いることで、単一明視野画像は、高ダイナミックレンジを横断して、色および偏光情報を含有することができる。

【0048】

フィルタモジュールの代替として、またはそれに加え、他のコンポーネントも、プレノプティックカメラアセンブリ１０１の入射瞳内に位置付けられ、付加的機能性をシステム１００に提供することができる。例えば、いくつかの実施形態では、多重化アセンブリが、単一明視野捕捉内において、複数のユーザ瞳孔位置を横断して明視野を捕捉するために使用されることができる。そのようなアセンブリの実施例は、図３に示され、これは、プレノプティックカメラアセンブリ１０１の外部入射瞳１０３に配列され、瞳面を延在させ、試験下のディスプレイの射出瞳３２０のより大きいセクションを捕捉する、光学アセンブリ３００を描写する。光学アセンブリ３００は、交差プリズム３０２の対向側上に添着される、２つの偏光ビームスプリッタ（ＰＢＳ）３０４ａおよび３０４ｂを含む。２つの高遅延フィルム３０６ａおよび３０６ｂが、それぞれ、２つの偏光ビームスプリッタ３０４ａおよび３０４ｂと試験下のディスプレイとの間に位置付けられる。随意に、線形偏光器３０８が、交差プリズム３０２とカメラアセンブリ１０１との間に位置付けられる。

【0049】

一般に、頭部搭載型ディスプレイの射出瞳３２０は、ユーザの瞳孔より有意に大きく、ユーザの眼移動に対応する、複数の異なるユーザ瞳孔位置に適応することができる。図３に示されるアセンブリ３００は、プレノプティックカメラアセンブリ１０１の入射瞳を３つの異なるユーザ瞳孔位置と同延であるように拡張させる。特に、矢印３１０ａ、３１０ｂ、および３１０ｃは、３つの異なる瞳におけるディスプレイからの光を表す。光３１０ａは、ＰＢＳ３０４ａが、第１の偏光状態を有する本光の成分を交差プリズム３０２に向かって指向する前に、遅延フィルム３０６ａを通して通過する。同様に、光３１０ｃは、ＰＢＳ３０４ｂが、第２の偏光状態を有する本光の成分を交差プリズム３０２に向かって指向する前に、遅延フィルム３０６ｂを通して通過する。遅延フィルム３０６ａおよび３０６ｂは、試験下のディスプレイからの光の偏光をランダム化する効果を有することができる。第１および第２の偏光状態は、同一であることができる。光３１０ｂは、第１および第２の偏光状態の組み合わせであることができる、または直交であることができる。

【0050】

交差プリズム３０２は、ＰＢＳ３０４ａおよび３０４ｂからの光と光３１０ｂを組み合わせ、本光をプレノプティックカメラアセンブリ１０１に向かって指向する。交差プリズム３０２表面は、５０％反射性（例えば、５０％透過性）であってもよい、または３つの光学経路を通して類似透過を作成するように調整されてもよい。ＰＢＳおよび交差プリズムの反射性表面は、平面表面であって、射出瞳３２０における明視野を表す光線の指向性性質を保存することに留意されたい。故に、カメラアセンブリに進入する光は、３つの異なる瞳からの光から成り、本光から捕捉された明視野画像は、これらの瞳のそれぞれからの情報を含むであろう。３つの瞳位置の和の性能は、したがって、単一明視野画像に基づいて評価されることができる。

【0051】

アセンブリ３００は、典型的には、入射瞳１０３におけるアセンブリの精密な位置付けを可能にする、搭載装置（例えば、光学機械搭載部）によって、ディスプレイとプレノプティックカメラアセンブリとの間の光学経路内に位置付けられる。いくつかの実施形態では、１つ以上のアクチュエータが、入射瞳１０３における種々の光学コンポーネントを自動的に切り替えるために使用されることができる。実施例は、フィルタホイールであって、これは、異なるフィルタアレイを光学経路の内外に回転させることができる。これらのコンポーネントの手動交換もまた、可能性として考えられる。

【0052】

概して、システム１００は、上記に説明されるものと組み合わせて、付加的コンポーネントを含むことができる。例えば、いくつかの実施形態では、本システムは、無限焦点光学中継システムを段とプレノプティックカメラアセンブリとの間に含むことができる。そのような中継システムは、光学系の結像性質に有意な影響を及ぼさずに、付加的空間を光学経路内に提供することができる。代替として、または付加的、１つ以上の折畳ミラーが、本システムの光学経路を折畳し、例えば、本システムのためのよりコンパクトな形状因子を提供するために使用されることができる。

【0053】

一般に、システム１００は、ディスプレイと関連付けられる、種々の異なる性能パラメータを特性評価するために使用されることができる。これらの性能パラメータは、限定ではないが、放射輝度、輝度、色、幾何学的歪曲、仮想画像距離、および像面湾曲を含むことができる。従来の明視野分析技法も、ディスプレイの性能を特性評価するために使用されることができる。

【0054】

いくつかの実装では、超解像技術技法が、ピクセル場所の正確度を向上させるために使用される。例えば、幾何学的補正は、非常に正確なピクセル場所測定を要求し得、超解像技術技法の使用から利益を享受し得る。

【0055】

ディスプレイ較正は、ディスプレイの射出瞳を横断して、１つ以上の性能パラメータの均一性を比較し、および／または性能パラメータと規格を比較することによって、実施されることができる。ディスプレイの動作は、測定に基づいて、調節され、付加的測が、調節を査定するために実施されることができる。測定および調節シーケンスは、性能パラメータが事前に確立された閾値内に来るまで、繰り返されることができる。

【0056】

システム１００は、拡張現実頭部搭載型ディスプレイシステムのために好適である、性能パラメータを測定し、ディスプレイを較正するために使用されることができる。そのようなシステムの実施例は、図４に示され、これは、ディスプレイ（または接眼レンズ）７０と、そのディスプレイ７０の機能をサポートするための種々の機械的および電子モジュールおよびシステムとを含む、例示的頭部搭載型ディスプレイシステム６０を示す。ディスプレイ７０は、フレーム８０内に格納されてもよく、これは、ディスプレイシステムユーザ２０によって装着可能であって、ディスプレイ７０をユーザ２０の眼の正面に位置付けるように構成される。ディスプレイ７０は、いくつかの実施形態では、アイウェアと見なされてもよい。世界視認（例えば、ユーザの環境に面し、類似視野を有する）カメラ８１が、フレーム８０内に搭載される。いくつかの実施形態では、スピーカ９０が、フレーム８０に結合され、ユーザ２０の外耳道に隣接して位置付けられる。ディスプレイシステムはまた、１つ以上のマイクロホン１１２を含み、音を検出してもよい。マイクロホン１１２は、ユーザが、入力またはコマンドをシステム６０に提供することを可能にすることができ（例えば、音声メニューコマンドの選択、自然言語質問等）、および／または他の人物（例えば、類似ディスプレイシステムの他のユーザ）とのオーディオ通信を可能にすることができる。マイクロホン１１２はまた、オーディオデータ（例えば、ユーザおよび／または環境からの音）をユーザの周囲から収集することができる。いくつかの実施形態では、ディスプレイシステムもまた、周辺センサ１２２ａを含んでもよく、これは、フレーム８０と別個であって、ユーザ２０の身体（例えば、頭部、胴体、四肢等上）に取り付けられてもよい。周辺センサ１２２ａは、いくつかの実施形態では、ユーザ２０の生理学的状態を特徴付けるデータを取得してもよい。

【0057】

ディスプレイ７０は、有線導線または無線コネクティビティ等の通信リンク１３２によって、ローカルデータ処理モジュール１４０に動作可能に結合され、これは、フレーム８０に固定して取り付けられる、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２０に除去可能に取り付けられる（例えば、リュック式構成において、またはベルト結合式構成において）等、種々の構成において搭載されてもよい。同様に、センサ１２２ａは、通信リンク１２２ｂ（例えば、有線導線または無線コネクティビティ）によって、ローカルプロセッサおよびデータモジュール１４０に動作可能に結合されてもよい。ローカル処理およびデータモジュール１４０は、ハードウェアプロセッサならびに不揮発性メモリ（例えば、フラッシュメモリまたはハードディスクドライブ）等のデジタルメモリを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、１）画像捕捉デバイス（例えば、カメラ）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ、および／または本明細書に開示される他のセンサ等の（例えば、フレーム８０に動作可能に結合される、または別様にユーザ２０に取り付けられ得る）センサから捕捉されるデータ、および／または２）可能性として、処理または読出後にディスプレイ７０への通過のために、遠隔処理モジュール１５２および／または遠隔データリポジトリ１６２（仮想コンテンツに関連するデータを含む）を使用して取得および／または処理されたデータを含んでもよい。ローカル処理およびデータモジュール１４０は、これらの遠隔モジュール１５２、１６２が相互に動作可能に結合され、ローカル処理およびデータモジュール１４０に対するリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク１７０、１８０によって、遠隔処理モジュール１５２および遠隔データリポジトリ１６２に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール１４０は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープのうちの１つ以上を含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの１つ以上は、フレーム８０に取り付けられてもよい、または有線もしくは無線通信経路によってローカル処理およびデータモジュール１４０と通信する、独立デバイスであってもよい。

【0058】

遠隔処理モジュール１５２は、画像およびオーディオ情報等のデータを分析および処理するための１つ以上のプロセッサを含んでもよい。いくつかの実施形態では、遠隔データリポジトリ１６２は、デジタルデータ記憶設備であり得、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ１６２は、情報（例えば、拡張現実コンテンツを生成するための情報）をローカル処理およびデータモジュール１４０および／または遠隔処理モジュール１５２に提供する、１つ以上の遠隔サーバを含んでもよい。他の実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。

【0059】

他の実施形態は、以下の請求項にある。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【国際調査報告】