(58)【調査した分野】(Int.Cl.,DB名)
前記複数の色彩較正のうちの前記1つまたはそれを上回るものは、前記眼位置に最も近い較正位置と関連付けられた色彩較正を備える、請求項1に記載のディスプレイシステム。
前記ディスプレイは、前記ユーザの第1の眼と関連付けられた第1のディスプレイと、前記ユーザの第2の眼と関連付けられた第2のディスプレイとを備え、前記ハードウェアプロセッサは、前記第1のディスプレイに対する前記ユーザの眼位置を判定し、前記第2のディスプレイのための補正を計算するために前記判定された眼位置を適用するようにプログラムされる、請求項1に記載のディスプレイシステム。
前記ディスプレイは、前記ユーザの第1の眼と関連付けられた第1のディスプレイと、前記ユーザの第2の眼と関連付けられた第2のディスプレイとを備え、前記複数の較正の少なくともいくつかは、前記第1のディスプレイおよび前記第2のディスプレイのための平均較正を表す、請求項1に記載のディスプレイシステム。
前記ディスプレイは、複数の導波管を備える、スタック可能導波管アセンブリを備え、前記複数のディスプレイ色層におけるあるディスプレイ色層は、前記複数の導波管のうちの少なくとも1つを備える、請求項1に記載のディスプレイシステム。
前記複数の色彩較正における各色彩較正は、前記複数のディスプレイ色層の前記2つまたはそれを上回るディスプレイ色層間の輝度の調整を含む、請求項1に記載のディスプレイシステム。
前記色彩較正にアクセスすることは、1つまたはそれを上回る色彩較正を複数の色彩較正から選択することを含み、各色彩較正は、前記ディスプレイに対する異なる較正位置と関連付けられる、請求項14に記載の方法。
前記ディスプレイの前記ユーザの眼の画像にアクセスし、少なくとも部分的に、前記眼の画像に基づいて、前記眼位置を判定することをさらに含む、請求項14に記載の方法。
前記ハードウェアプロセッサは、前記眼位置における変化を監視する、フィードバックループを介して、前記補正を適用するようにプログラムされる、請求項19に記載のウェアラブルディスプレイシステム。
前記ハードウェアプロセッサは、前の眼位置に対する前記眼位置における変化を判定し、前記変化が閾値を超える場合、前記補正を計算するようにプログラムされる、請求項19に記載のウェアラブルディスプレイシステム。
前記複数の色彩較正における各色彩較正は、前記複数のディスプレイ色層の前記2つまたはそれを上回るディスプレイ色層間の輝度の調整を含む、請求項19−21のいずれか1項に記載のウェアラブルディスプレイシステム。
前記複数のディスプレイ色層のうちの前記2つまたはそれを上回るディスプレイ色層は、第1の輝度を有する第1の色層と、第2の輝度を有する第2の色層とを備え、前記第1の輝度は、前記第2の輝度を上回り、
前記輝度の調整は、前記第2の輝度の値までの前記第1の輝度の低減を含む、請求項13に記載のディスプレイシステム。
前記複数のディスプレイ色層のうちの前記2つまたはそれを上回るディスプレイ色層は、第1の輝度を有する第1の色層と、第2の輝度を有する第2の色層とを備え、前記第1の輝度は、前記第2の輝度を上回り、
前記輝度の調整は、前記第2の輝度の値までの前記第1の輝度の低減を含む、請求項23に記載のウェアラブルディスプレイシステム。
【発明を実施するための形態】
【0007】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
【0008】
(概要)
3次元(3D)ディスプレイが、深度の真の感覚、より具体的には、表面深度のシミュレートされた感覚をもたらすためには、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に応答する遠近調節が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を被り、不安定イメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
【0009】
VRおよびAR体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に、異なり得(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴を合焦させるために要求される眼の遠近調節に基づいて、および/または合焦から外れた異なる深度平面上の異なる画像特徴の観察に基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、真実味のある深度の知覚を提供する。
【0010】
(3Dディスプレイ)
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。
図1は、拡張現実場面100を描写し、AR技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
【0011】
3次元(3D)ディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
【0012】
VR、AR、およびMR体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および/または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
【0013】
図2は、VR、AR、またはMR体験をディスプレイシステム装着者または視認者204に提示するために使用され得る、ウェアラブルディスプレイシステム200の実施例を図示する。ディスプレイシステム200は、ディスプレイ208と、ディスプレイ208の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ208は、ディスプレイシステムユーザ、装着者、または視認者204によって装着可能であって、ディスプレイ208を装着者204の眼の正面に位置付けるように構成される、フレーム212に結合されてもよい。ディスプレイ208は、ライトフィールドディスプレイであってもよい。いくつかの実施形態では、スピーカ216が、フレーム212に結合され、ユーザの外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音響制御を提供する)。ディスプレイ208は、有線導線または無線接続等によって、フレーム212に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ204に(例えば、バックパック式構成において、ベルト結合式構成において)可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール224に動作可能に結合される220。
【0014】
ローカル処理およびデータモジュール224は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリ)等の非一過性デジタルメモリを備えてもよく、その両方は、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、(a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等の(例えば、フレーム212に動作可能に結合される、または別様にユーザ204に取り付けられ得る)センサから捕捉されるデータ、および/または(b)場合によってはそのような処理または読出後にディスプレイ208の通過のために、遠隔処理モジュール228および/または遠隔データリポジトリ232を使用して取得および/または処理されるデータを含んでもよい。ローカル処理およびデータモジュール224は、これらの遠隔モジュール228、232が、ローカル処理およびデータモジュール224へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク236および/または240によって、遠隔処理モジュール228および遠隔データリポジトリ232に動作可能に結合されてもよい。加えて、遠隔処理モジュール228および遠隔データリポジトリ232は、相互に動作可能に結合されてもよい。
【0015】
いくつかの実施形態では、遠隔処理モジュール228は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび/または画像情報を分析および処理するように構成される、1つまたはそれを上回るプロセッサを備えてもよい。ビデオデータは、ローカル処理およびデータモジュール224および/または遠隔データリポジトリ232内でローカルに記憶されてもよい。いくつかの実施形態では、遠隔データリポジトリ232は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール224において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
【0016】
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動(vergence)および遠近調節(accommodation)の組み合わせに起因して、オブジェクトを3次元として知覚し得ると考えられる。相互に対する2つの眼の輻輳・開散運動(すなわち、眼の視線を収束させ、オブジェクト上に固定させるための相互に向かって、またはそこから離れるような瞳の回転運動)は、眼の水晶体の集束(または「遠近調節」)と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変化させる、または眼を遠近調節し、1つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、「遠近調節−輻輳・開散運動反射」として知られる関係下、自動的に、輻輳・開散運動における合致する変化を同一距離に生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、遠近調節における合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムは、3次元画像のより現実的または快適なシミュレーションを形成し得る。
【0017】
図3は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。
図3を参照すると、z−軸上の眼302および304からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼302および304によって遠近調節される。眼302および304は、特定の遠近調節された状態をとり、オブジェクトをz−軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有して、深度平面306のうちの特定の1つと関連付けられると言え得る。いくつかの実施形態では、3次元画像は、眼302および304毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼302および304の視野は、例えば、z−軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態において眼と合焦するように、物理的空間内で湾曲されてもよいことを理解されたい。理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数深度面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。
【0018】
(導波管スタックアセンブリ)
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム400は、複数の導波管420、422、424、426、428を使用して、3次元知覚を眼410または脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ405を含む。いくつかの実施形態では、ディスプレイシステム400は、
図2のシステム200に対応してもよく、
図4は、そのシステム200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ405は、
図2のディスプレイ208の中に統合されてもよい。
【0019】
図4を継続して参照すると、導波管アセンブリ405はまた、複数の特徴430、432、434、436を導波管の間に含んでもよい。いくつかの実施形態では、特徴430、432、434、436は、レンズであってもよい。いくつかの実施形態では、特徴430、432、434、436は、レンズではなくてもよい。むしろ、それらは、スペーサであってもよい(例えば、空気間隙を形成するためのクラッディング層および/または構造)。
【0020】
導波管420、422、424、426、428および/または複数のレンズ430、432、434、436は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス440、442、444、446、448は、それぞれ、眼410に向かって出力するために、各個別の導波管にわたって入射光を分散させるように構成され得る、導波管420、422、424、426、428の中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス440、442、444、446、448の出力表面から出射し、導波管420、422、424、426、428の対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度(および発散量)において眼410に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
【0021】
いくつかの実施形態では、画像投入デバイス440、442、444、446、442は、それぞれ、それぞれの対応する導波管420、422、424、426、428の中に投入するための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス440、442、446、446、448は、例えば、1つまたはそれを上回る光学導管(光ファイバケーブル等)を介して、画像情報を画像投入デバイス440、442、444、446、448のそれぞれにパイピングし得る、単一の多重化されたディスプレイの出力端である。
【0022】
コントローラ450が、スタックされた導波管アセンブリ405および画像投入デバイス440、442、444、446、448の動作を制御する。いくつかの実施形態では、コントローラ450は、導波管420、422、424、426、428への画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性コンピュータ可読媒体内の命令)を含む。いくつかの実施形態では、コントローラ450は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ450は、いくつかの実施形態では、処理モジュール224および/または228(
図2に図示される)の一部であってもよい。いくつかの実施形態では、コントローラは、内向きに面したイメージングシステム452(例えば、デジタルカメラ)、外向きに面したイメージングシステム454(例えば、デジタルカメラ)、および/またはユーザ入力デバイス466と通信してもよい。内向きに面したイメージングシステム452(例えば、デジタルカメラ)は、眼410の画像を捕捉し、例えば、眼410の瞳のサイズおよび/または配向を判定するために使用されることができる。外向きに面したイメージングシステム454は、世界456の一部をイメージングするために使用されることができる。ユーザは、ユーザ入力デバイス466を介して、コマンドをコントローラ450に入力し、ディスプレイシステム400と相互作用することができる。
【0023】
導波管420、422、424、426、428は、全内部反射(TIR)によって、光を各個別の導波管内で伝搬させるように構成されてもよい。導波管420、422、424、426、428はそれぞれ、主要上部および底部表面と、それらの主要上部と底部表面との間に延在する縁とを伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管420、422、424、426、428はそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼410に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素460、462、464、466、468を含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素(460、462、464、466、468)は、例えば、反射および/または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管420、422、424、426、428の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素460、462、464、466、468は、上部および/または底部主要表面に配置されてもよい、および/または直接導波管420、422、424、426、428の容積内に配置されてもよい。いくつかの実施形態では、光抽出光学要素460、462、464、466、468は、透明基板に取り付けられ、導波管420、422、424、426、428を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管420、422、424、426、428は、モノリシック材料片であってもよく、光抽出光学要素460、462、464、466、468は、その材料片の表面上および/または内部に形成されてもよい。
【0024】
図4を継続して参照すると、本明細書に議論されるように、各導波管420、422、424、426、428は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管420は、そのような導波管420の中に投入されるにつれて、コリメートされた光を眼410に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管422は、眼410に到達し得る前に、第1のレンズ430(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。第1のレンズ430は、眼/脳が、その次の導波管422から生じる光が光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の導波管424は、眼410に到達する前に、その出力光を第1のレンズ430および第2のレンズ432の両方を通して通過させる。第1および第2のレンズ430および432の組み合わせられた屈折力は、眼/脳が、第3の導波管424から生じる光が次の導波管422からの光であった光学無限遠から人物に向かって内向きにさらにより近い第2の焦点面から生じるように解釈するように、波面曲率の別の増分量を生成するように構成されてもよい。
【0025】
他の導波管層(例えば、導波管426、428)およびレンズ(例えば、レンズ434、436)も同様に、スタック内の最高導波管428を用いて、人物に最も近い焦点面を表す集約焦点パワーのために、その出力をそれと眼との間のレンズの全てを通して送出するように構成される。スタックされた導波管アセンブリ405の他側の世界456から生じる光を視認/解釈するとき、レンズ430、432、434、436のスタックを補償するために、補償レンズ層438が、スタックの上部に配置され、下方のレンズスタック430、432、434、436の集約パワーを補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管420、422、424、426、428の光抽出光学要素460、462、464、466、468およびレンズ430、432、434、436の集束側面は両方とも、静的であってもよい(例えば、動的または電気アクティブではない)。いくつかの代替実施形態では、いずれかまたは両方とも、電気アクティブ特徴を使用して、動的であってもよい。
【0026】
図4を継続して参照すると、光抽出光学要素460、462、464、466、468は、光をその個別の導波管から再指向することと、導波管と関連付けられた特定の深度平面のための適切な量の発散またはコリメーションを用いて、本光を出力することとの両方を行うように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素460、462、464、466、468は、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素460、462、464、466、468は、立体ホログラム、表面ホログラム、および/または回折格子であってもよい。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明されている。いくつかの実施形態では、特徴430、432、434、436は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、空気間隙を形成するためのクラッディング層および/または構造)。
【0027】
いくつかの実施形態では、光抽出光学要素460、462、464、466、468は、回折パターンを形成する回折特徴、すなわち、「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみが、DOEの各交差点を用いて、眼410に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼410に向かって非常に均一な出射放出パターンとなる。
【0028】
いくつかの実施形態では、1つまたはそれを上回るDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、微小液滴がホスト媒体中に回折パターンを構成する、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率と実質的に合致するように切り替えられることができる(その場合、パターンは、入射光を著しく回折しない)、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる(その場合、パターンは、入射光を能動的に回折する)。
【0029】
いくつかの実施形態では、深度平面および/または被写界深度の数および分布は、視認者の眼の瞳サイズおよび/または配向に基づいて、動的に変動されてもよい。いくつかの実施形態では、内向きに面したイメージングシステム452(例えば、デジタルカメラ)が、眼410の画像を捕捉し、眼410の瞳のサイズおよび/または配向を判定するために使用されてもよい。いくつかの実施形態では、内向きに面したイメージングシステム452は、フレーム212(
図2に図示されるように)に取り付けられてもよく、内向きに面したイメージングシステム452からの画像情報を処理し、例えば、ユーザの眼204の瞳直径および/または配向を判定し得る、処理モジュール224および/または228と電気通信してもよい。
【0030】
いくつかの実施形態では、内向きに面したイメージングシステム452(例えば、デジタルカメラ)は、眼移動および顔移動等、ユーザの移動を観察することができる。内向きに面したイメージングシステム452は、眼410の画像を捕捉し、眼410の瞳のサイズおよび/または配向を判定するために使用されてもよい。内向きに面したイメージングシステム452は、ユーザが見ている方向(例えば、眼姿勢)を判定する際に使用するため、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)の画像を得るために使用されることができる。内向きに面したイメージングシステム452によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにディスプレイシステム400によって使用され得る、ユーザの眼姿勢および/または気分を判定するために分析されてもよい。ディスプレイシステム400はまた、慣性測定ユニット(IMU)、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部配向)を判定してもよい。頭部の姿勢は、単独で、または眼姿勢と組み合わせて、支え追跡と相互作用する、および/またはオーディオコンテンツを提示するために使用されてもよい。
【0031】
いくつかの実施形態では、1つのカメラが、眼毎に利用され、各眼の瞳サイズおよび/または配向を別個に判定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの実施形態では、少なくとも1つのカメラが、眼毎に利用され、独立して、各眼の瞳サイズおよび/または眼姿勢を別個に判定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの他の実施形態では、片眼410のみの瞳直径および/または配向(例えば、対の眼あたり単一カメラのみを使用して)が、判定され、視認者204の両眼に対して類似すると仮定される。
【0032】
例えば、被写界深度は、視認者の瞳サイズと反比例して変化してもよい。その結果、視認者の眼の瞳のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である1つの平面が、判別可能となり、瞳サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第1の深度平面および第2の深度平面の両方の詳細を1つの瞳サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの2つの深度平面は、同時に、遠近調節を変化させずに、別の瞳サイズにおいてユーザに合焦するには十分であり得る。
【0033】
いくつかの実施形態では、ディスプレイシステムは、瞳サイズおよび/または配向の判定に基づいて、または特定の瞳サイズおよび/または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、2つの導波管と関連付けられた2つの深度平面間を区別不能である場合、コントローラ450は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切替可能である実施形態では、DOEは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
【0034】
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳のサイズの判定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳サイズにわたって満たされる。例えば、瞳サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
【0035】
ディスプレイシステム400は、世界456の一部をイメージングする、外向きに面したイメージングシステム454(例えば、デジタルカメラ)を含むことができる。世界456の本部分は、視野(FOV)と称され得、イメージングシステム454は、時として、FOVカメラとも称される。視認者204による視認またはイメージングのために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、ディスプレイシステム400を囲繞する4πステラジアンの立体角を含んでもよい。ディスプレイシステム400のいくつかの実装では、FORは、ユーザ204が、ユーザを囲繞するオブジェクトを見るためにその頭部および眼を移動させ得るため、ディスプレイシステム400のユーザ204の周囲の立体角の実質的に全てを含んでもよい(ユーザの正面、背面、上方、下方、または側面)。外向きに面したイメージングシステム454から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界456内のオブジェクトを検出する等のために、使用されることができる。
【0036】
ディスプレイシステム400は、ユーザが、コマンドをコントローラ450に入力し、ディスプレイシステム400と相互作用し得る、ユーザ入力デバイス466を含むことができる。例えば、ユーザ入力デバイス466は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含むことができる。ある場合には、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をディスプレイシステム400に提供してもよい(例えば、ユーザ入力をディスプレイシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス466は、ディスプレイシステム400の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス466は、ディスプレイシステム400と有線または無線通信することができる。
【0037】
図5は、導波管によって出力された出射ビームの実施例を示す。1つの導波管が、図示されるが、導波管アセンブリ405内の他の導波管も、同様に機能してもよく、導波管アセンブリ405は、複数の導波管を含むことを理解されたい。光505が、導波管420の入力縁510において導波管420の中に投入され、TIRによって導波管420内を伝搬する。光505がDOE460に衝突する点において、光の一部が、出射ビーム515として導波管から出射する。出射ビーム515は、略平行として図示されるが、それらはまた、導波管420と関連付けられた深度平面に応じて、ある角度で眼410に伝搬するように再指向されてもよい(例えば、発散出射ビームを形成する)。略平行出射ビームは、光を外部結合し、眼410から長距離(例えば、光学無限遠)において深度平面上に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、眼410がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼410に近い距離からの光として脳によって解釈されるであろう、より多く発散する出射ビームパターンを出力してもよい。
【0038】
図6は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含む、ディスプレイシステム400の別の実施例を示す。ディスプレイシステム400は、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。ディスプレイシステム400は、1つまたはそれを上回る一次平面導波管604(1つのみのが
図6に示される)と、一次導波管604の少なくともいくつかのそれぞれと関連付けられた1つまたはそれを上回るDOE608とを含むことができる。平面導波管604は、
図4を参照して議論される導波管420、422、424、426、428に類似することができる。光学システムは、分散導波管装置を採用し、光を第1の軸(
図6の図では、垂直またはY−軸)に沿って中継し、第1の軸(例えば、Y−軸)に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管612と、分散平面導波管612と関連付けられた少なくとも1つのDOE616(二重破線によって図示される)とを含んでもよい。分散平面導波管612は、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管604と類似または同じであってもよい。同様に、少なくとも1つのDOE616は、少なくともいくつかの点において、DOE608と類似または同じであってもよい。例えば、分散平面導波管612および/またはDOE616は、それぞれ、一次平面導波管604および/またはDOE608と同一材料から成ってもよい。
図6に示される光学システムは、
図2に示されるウェアラブルディスプレイシステム200の中に統合されることができる。
【0039】
中継され、射出瞳が拡張された光は、分散導波管装置から1つまたはそれを上回る一次平面導波管604の中に光学的に結合される。一次平面導波管662は、好ましくは、第1の軸に直交する、第2の軸(例えば、
図6の図では、水平またはX−軸)に沿って、光を中継する。着目すべきこととして、第2の軸は、第1の軸に対して非直交軸であることができる。一次平面導波管604は、その第2の軸(例えば、X−軸)に沿って、光の有効射出経路を拡張させる。例えば、分散平面導波管612は、光を垂直またはY−軸に沿って中継および拡張させ、光を水平またはX−軸に沿って中継および拡張させる、一次平面導波管604にその光を通過させることができる。
【0040】
ディスプレイシステム400は、単一モード光ファイバ624の近位端の中に光学的に結合され得る、1つまたはそれを上回る着色光源(例えば、赤色、緑色、および青色レーザ光)620を含んでもよい。光ファイバ624の遠位端は、圧電材料の中空管628を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー632として、管628から突出する。圧電管628は、4つの象限電極(図示せず)と関連付けられることができる。電極は、例えば、管628の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極(図示せず)もまた、管628のコア、中心、内側周縁、または内径に位置する。
【0041】
例えば、ワイヤ640を介して電気的に結合される、駆動電子機器636は、対向する対の電極を駆動し、圧電管628を独立して2つの軸において屈曲させる。光ファイバ624の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ624の直径、長さ、および材料性質に依存し得る。圧電管628をファイバカンチレバー632の第1の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー632は、振動させられ、大偏向を通して掃引し得る。
【0042】
2つの軸において共鳴振動を刺激することによって、ファイバカンチレバー632の先端は、2次元(2−D)走査を充填する面積内において2軸方向に走査される。光源620の強度をファイバカンチレバー632の走査と同期して変調させることによって、ファイバカンチレバー632から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第2014/0003762号(参照することによってその全体として本明細書に組み込まれる)に提供されている。
【0043】
光学結合器サブシステムのコンポーネント644は、走査ファイバカンチレバー632から発せられる光をコリメートする。コリメートされた光は、ミラー付き表面648によって、少なくとも1つの回折光学要素(DOE)616を含有する、狭分散平面導波管612の中に反射される。コリメートされた光は、全内部反射によって分散平面導波管612に沿って(
図6の図に対して)垂直に伝搬し、そうすることによって、DOE616と繰り返し交差する。DOE616は、好ましくは、低回折効率を有する。これは、光の一部(例えば、10%)をDOE616との交差点の各点においてより大きい一次平面導波管604の縁に向かって回折させ、光の一部をTIRを介して分散平面導波管612の長さを辿ってそのオリジナル軌道上で継続させる。
【0044】
DOE616との交差点の各点において、付加的光が、一次導波管612の入口に向かって回折される。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管612内のDOE616によって垂直に拡張される。分散平面導波管612から外部結合された本垂直に拡張された光は、一次平面導波管604の縁に進入する。
【0045】
一次導波管604に進入する光は、TIRを介して、一次導波管604に沿って(
図6の図に対して)水平に伝搬する。光は、複数の点においてDOE608と交差するにつれて、TIRを介して、一次導波管604の長さの少なくとも一部に沿って水平に伝搬する。DOE608は、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。DOE608は、有利には、ビームの光の一部のみが、DOE608の各交差点において視認者の眼に向かって偏向される一方、光の残りが、TIRを介して、導波管604を通して伝搬し続けるように、低回折効率(例えば、10%)を有し得る。
【0046】
伝搬する光とDOE608との間の交差点の各点において、光の一部は、一次導波管604の隣接面に向かって回折され、光がTIRから逃散し、一次導波管604の面から発せられることを可能にする。いくつかの実施形態では、DOE608の半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形(例えば、曲率を付与する)することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。
【0047】
故に、これらの異なる経路は、異なる角度におけるDOE608の多重度、焦点レベル、および/または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管604の外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット(例えば、3層)が、個別の色(例えば、赤色、青色、緑色)を生成するために採用されてもよい。したがって、例えば、第1の3つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第1の焦点深度において生成するために採用されてもよい。第2の3つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第2の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル3Dまたは4Dカラー画像ライトフィールドを生成するために採用されてもよい。
【0048】
(ARシステムの他のコンポーネント)
多くの実装では、ARシステムは、ウェアラブルディスプレイシステム80(または光学システム100)に加え、他のコンポーネントを含んでもよい。ARデバイスは、例えば、1つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触感覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造体)に触れると、圧力および/またはテクスチャの触感覚を提供してもよい。触感覚は、仮想オブジェクトが表す、物理的オブジェクトの感触を再現してもよい、または仮想コンテンツが表す、想像上のオブジェクトまたはキャラクタ(例えば、ドラゴン)の感触を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブに)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
【0049】
ARシステムは、例えば、入力またはARシステムとの相互作用を可能にするためにユーザによって操作可能である、1つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称される。いくつかのトーテムは、無生物オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。代替として、いくつかのトーテムは、生物オブジェクト、例えば、ユーザの手の形態をとってもよい。本明細書に説明されるように、トーテムは、実際には、任意の物理的入力構造(例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ)を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ARシステムは、トーテムの1つまたはそれを上回る表面上にあるようにユーザに見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ARシステムは、トーテムの1つまたはそれを上回る表面上に常駐して現れるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ARシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に現れるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ARシステムは、長方形プレートを用いたユーザ操作または相互作用またはタッチを仮想キーボードおよび/または仮想トラックパッドを介して行われた選択または入力として検出してもよい。
【0050】
本開示のARデバイス、HMD、およびディスプレイシステムと併用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明される。
【0051】
(ディスプレイシステム上の誤差補正を行う実施例)
上記に説明されるように、ディスプレイシステムは、眼に衝突するデジタル化されたライトフィールドを生成する光を再指向するための回折格子を伴う、基板材料の複数のディスプレイ層を有する、
図4−6に図示されるもの等のスタックされた導波管アセンブリを備えてもよい。いくつかの実施形態では、導波管アセンブリは、深度あたりの色につき1つの基板層を備える。例えば、2深度平面RGBディスプレイは、合計6つの導波管層を有することができる。ディスプレイシステムは、ウェアラブルディスプレイシステム80の実施形態であることができる。
【0052】
スタックされた導波管アセンブリでは、アーチファクトを導入し、劣化された画質を生じさせ得る、潜在的現象の範囲が、存在する。これらは、残影(多重画像)、歪曲、不整合(色または深度間)、および視野にわたる色強度変動を含み得る。加えて、あるタイプのアーチファクトも、他のタイプの条件において、例えば、LEDとは対照的にレーザで照明するとき(例えば、スペックル、帯形成、ニュートン縞)、または外部結合されたビームの密度がある量未満であるとき(例えば、網戸または杭柵を通して見ているかのように知覚され得る、波面希薄性)、生じ得る。
【0053】
ライトフィールドディスプレイの光学における不完全度に起因して、レンダリングエンジン内の完璧な3次元グリッドは、光学を通して表示されるとき、歪曲され得る。予期される画像と実際の表示される画像との間の歪曲を識別および補正するために、格子縞パターン等の較正パターンが、ディスプレイシステムを使用して投影されることができる。
【0054】
図7は、較正パターン702をディスプレイシステムによって投影させるときに生じ得る、例示的歪曲を図示する。較正パターン702は、空間または色彩較正を行うために好適な任意のタイプのパターンであることができる(例えば、複数の格子縞正方形を備える、格子縞パターン)。較正パターン702は、幾何学的パターンまたは無作為な確率的パターン等、任意のタイプの試験または較正パターンを含むことができる。投影された較正パターン702は、生成されたライトフィールド画像704をもたらす。画像704内に存在する歪曲は、空間歪曲(例えば、可視ピクセルが視野内の予期される場所にないとき)および色彩歪曲(例えば、可視ピクセルの色値が予期されるものと異なるとき)を含み得る。例えば、パターン702の格子縞正方形は、画像704内のその予期される位置から偏移され得る(例えば、空間誤差)。加えて、黒色および白色で現れている格子縞正方形の代わりに、画像704内のいくつかの格子縞正方形は、紫色等の他の色で現れ得る(例えば、色彩誤差)。ディスプレイ誤差は、ディスプレイによって投影された較正パターンの画像を取得するように位置付けられるデジタルカメラを含み得る、ライトフィールド計測システムを使用して測定されることができる。いくつかの実施形態では、予期される位置対実際の位置に関するより細かい粒度の情報を取得するために、異なる場所に偏移された較正画像に対応する、複数の画像が、捕捉されてもよい。デジタルカメラは、表示される画像の異なる領域(例えば、表示される較正パターン上の特徴)が合焦する深度を判定するために、異なる焦点深度に合焦するように構成されることができる。
【0055】
いくつかの実施形態による、複数の画像を異なる焦点深度において捕捉し、表示される画像の異なる領域の深度を判定するステップは、
図17−20と関連付けて以下により詳細に説明される。種々の実施形態において使用され得る、異なるタイプの較正パターンは、
図22−24と関連付けて以下により詳細に説明される。
【0056】
(空間誤差)
空間誤差は、いくつかの異なる表出を含み得る。例えば、空間不整合は、ディスプレイ層の平行移動または回転を含む。空間誤差はまた、ディスプレイの深度平面の視野(FOV)にわたって変動する、非線形空間歪曲を伴い得る。
【0057】
空間誤差は、ディスプレイシステム内の機械的または光学的欠陥の現れであり得る。測定された空間誤差を解釈することによって、システムの光機械的品質を定量化し、改良のための方法を示唆する、メトリックが、導出され得る。例えば、深度平面回転を表す空間誤差は、ディスプレイが所望の位置に対して機械的に回転されることを示唆し得る。色平面毎のスケーリングは、レンズシステムが十分に収色性ではないことを示唆し得る。
【0058】
空間誤差を識別するために、デジタルカメラ等の画像捕捉装置を備える、ライトフィールド計測システムが、ディスプレイシステムによって投影された1つまたはそれを上回る画像(例えば、較正パターンの投影)を捕捉し、予期される画像からの実際の表示される画像の逸脱を表す、ベクトル場を生成するために使用されることができる。ベクトル場は、ディスプレイのx−y平面における面内逸脱およびz−方向(深度)における面外逸脱を含む、3次元ベクトル場、またはx−y平面のみにおける逸脱を含む、2次元ベクトル場であってもよい。いくつかの実施形態では、ベクトル場は、ディスプレイシステムの深度平面または色平面毎に生成されてもよい。いくつかの実施形態では、深度は、ジオプタ(メートル単位の層の焦点距離の逆数を表す)で測定されてもよい。
【0059】
図8は、投影されたライトフィールド内の点の予期される位置とその実際の表示される位置との間の逸脱をマッピングする、1つまたはそれを上回る捕捉された画像から生成され得る、ベクトル場の実施例を図示する。投影されたライトフィールド内の点は、較正画像内の特徴(例えば、較正格子縞正方形の中心および角)に対応し得る。ベクトル場内の各ベクトルは、ライトフィールド内の予期される位置とその対応する実際の位置との間の歪曲を表す。本実施例では、歪曲ベクトル場は、2Dである。図示されるベクトル場では、特徴の予期される位置は、第1の色およびマーカタイプ(例えば、予期される位置のための「O」802)を使用してマークされる一方、特徴の実際の表示される位置は、第2の色(例えば、検出された位置のための「X」804)を使用してマークされる。各対の対応する予期される位置および表示される位置は、検出された表示される位置が予期される位置にあるように補正するために必要とされる補正の方向を示す矢印を含み得る、線806によって接続される。
【0060】
ベクトル場を使用して、局所的または大域的歪曲情報(例えば、以下に説明される、面内平行移動、集合スケーリング、集合回転、平均ピクセルワーピング、またはジオプタ誤差)が、抽出されることができる。例えば、歪曲グラフが、判定されたベクトル場から生成されてもよい。歪曲グラフは、生成されたベクトル場にわたるピクセル位置誤差値(例えば、ベクトル振幅)の分布を分析するために使用されることができる。歪曲グラフは、ピクセル位置誤差の周波数を示す、ヒストグラムであってもよい(例えば、ピクセル位置誤差振幅を誤差振幅がベクトル場内に現れる周波数に対してプロットする)。他のタイプのグラフは、ベクトル場の他の属性(例えば、歪曲方向)を分析するために使用されてもよい。
【0061】
空間誤差は、広義には、面内および面外空間誤差に分割されることができる。面内空間誤差は、特定の深度(z−軸上で測定される)における特定の深度平面(例えば、
図6に図示される座標系に従うxy−平面)に沿った空間誤差を指す。ベクトル場(例えば、
図8に図示されるように)は、空間誤差の異なるカテゴリに関する1つまたはそれを上回るメトリックを導出するために使用されることができる。これらのメトリックはそれぞれ、層毎(例えば、色および深度の特定の組み合わせ(例えば、赤色−3ジオプタディスプレイ層、緑色−1ジオプタディスプレイ層等)に対応する個々のディスプレイ層毎)またはディスプレイ毎(例えば、簡潔なパラメータにおいてディスプレイの全体的忠実性を定量化するため)に定義されてもよい。
【0062】
(面内空間誤差)
いくつかの実施形態では、面内空間誤差は、複数の異なるコンポーネントに分割されることができ、それぞれ、異なるタイプの誤差に対応する。これらのコンポーネントは、平行移動誤差、回転誤差、スケーリング誤差、または非線形空間誤差を含むことができる。これらの誤差コンポーネントはそれぞれ、個々に、または連続して、補正されることができる。
【0063】
(面内平行移動誤差)
図9Aは、例示的面内(xy)平行移動空間誤差(また、xy偏芯とも称される)を図示する。xy平行移動誤差は、その予期される位置からのディスプレイ層の表示される画像の中心のx−および/またはy−ピクセル偏移を指し、機械的またはディスプレイ整合を知らせるように意図される。
図9Aでは、予期される画像位置900(本実施例では、赤色長方形として示される)は、表示される画像位置900a(非直線縁を有する緑色形状として示される)に平行移動される。xy平行移動誤差は、表示される画像900aの中心位置902および予期される画像900の中心位置904を識別し、表示される中心位置902が予期される中心位置904と整合されるように(ディスプレイの機械的整合、ディスプレイ画像のソフトウェア補正、または両方の組み合わせを通して)、1つまたはそれを上回る偏移を行う(判定された平行移動ベクトル901に沿って)ことによって補正され得る。測定されたxy平行移動空間誤差に関する1つまたはそれを上回るメトリックは、層中心対予期または基準位置(例えば、ディスプレイの光学軸)を測定する、層毎に測定される平行移動誤差、または全体的平行移動位置合わせを定量化するために、任意の2つのディスプレイ層間の最大平行移動を示す、ディスプレイ毎に測定される最大平行移動オフセットを含むことができる。
【0064】
(集合回転誤差)
図9Bは、例示的集合回転空間誤差を図示する。集合回転は、画像の予期される位置に対するその中心のまわりの表示される画像の全体的回転角度を指す。空間歪曲は、常時、単純アフィン回転によって完全に記述可能ではない場合があるが、集合回転測定値が、ピクセル位置誤差(表示される画像位置対予期される画像位置間)が最小限にされる回転角度を提供するために使用されることができる。集合回転メトリックは、機械的またはディスプレイ整合を知らせるように意図される。
図9Bに図示されるように、集合回転は、指定される回転量907によって中心点908の周囲の表示される画像906を予期される位置に対応する位置910まで回転させることによって補正され得る(ディスプレイの機械的整合を通して、表示される画像のソフトウェア補正を通して、または両方)。報告されるメトリックは、測定された配向対予期または基準配向(例えば、ディスプレイの水平軸に対して)を示す、層毎に測定された回転誤差と、全体的回転位置合わせを定量化するための任意の2つのディスプレイ層間の最大回転誤差を示す、ディスプレイ毎に測定された最大回転オフセットとを含むことができる。
【0065】
(集合スケーリング誤差)
図9Cは、集合スケーリング空間誤差の実施例を図示する。集合スケーリングは、予期される画像に対するその中心のまわりの表示される画像の全体的スケーリング係数を示す。空間歪曲は、単純アフィンスケーリングによって完全に記述されない場合があるが、集合スケーリング測定値は、ピクセル位置誤差が最小限にされる、スケーリング係数を示し得る。集合スケーリングメトリックは、光学設計またはディスプレイ整合を知らせるように意図される。
図9Cに図示されるように、集合スケーリング空間誤差は、指定されるスケーリング量913によって表示される画像912のサイズをスケーリングし、予期される画像914のものに合致させることによって補正され得る。集合スケーリングに関する報告されるメトリックは、画像スケーリング対予期または基準スケーリングを測定する(例えば、較正される設定における物理的標的を参照して)、層毎に測定されたスケーリング誤差と、全体的スケール位置合わせを定量化するための任意の2つのディスプレイ層間の最大スケーリングを示す、ディスプレイ毎に測定された最大スケーリングオフセットとを含むことができる。
【0066】
図9Dは、集合スケーリング空間誤差の別の実施例を図示する。表示される画像916は、予期される画像918と比較してより小さく現れる。スケーリング誤差を補正するために、表示される画像916は、スケーリング量917によって上方スケーリングされ、予期される画像918のサイズに合致する。
【0067】
(ピクセルワーピング誤差)
図9Eは、XY平行移動、回転、およびスケーリングの補正が行われた後の残りの空間誤差の実施例を図示する。残りの誤差(また、ピクセルワーピングまたは空間マッピングとも称される)は、xy平行移動、回転、およびスケーリングが、全体的空間歪曲プロファイルから取り除かれた後(例えば、
図9A−9Dに図示されるように)の平均残留ユークリッドピクセル位置誤差を示し、ディスプレイシステムの非線形または非アフィンワーピング特性の測定値を与え、ディスプレイ設計および品質制御を知らせるために使用されてもよい。ピクセルワーピングに関して報告されるメトリックは、完璧なグリッドを参照してxy平行移動、回転、およびスケーリングが取り除かれた後の平均残留ユークリッドピクセル位置誤差を示す、層毎に測定された平均ピクセルワーピング(MPW)と、全体的ワーピングを定量化するためのディスプレイの層間のMPWの最大値を示す、ディスプレイ毎に測定された最大平均ピクセルワーピング(最大MPW)とを含んでもよい。いくつかの実施形態では、残りのピクセルワーピングは、処理モジュール(例えば、モジュール224または228)を使用して行われる空間マッピングを通して補正され、表示される画像920と予期される画像922とを整合させることができる。
【0068】
(面外空間誤差)
図4−6に図示されるもの等のデジタルライトフィールドディスプレイシステムは、視認者から異なる深度(z−方向)に現れる、深度平面を生成することが可能である(例えば、
図3参照)。いくつかの実施形態では、深度平面は、視認者から異なる距離に設置されるように現れる、平坦平面に対応する。光学において一般的であるように、ディスプレイからの深度平面の距離を参照するのではなく、ジオプタ(m
−1)単位で測定された逆数距離が、異なる深度平面を参照するために使用されることができる。例えば、ディスプレイは、3ジオプタ(1/3m)および1ジオプタ(1m)の深度に位置付けられる、2つの深度平面を有してもよい。ディスプレイシステム内の不完全度に起因して、深度平面にわたるジオプタプロファイルは、予期されるようなものではない場合がある。例えば、深度層上に表示される画像は、正しくない距離またはディスプレイのFOVにわたって変動する焦点を伴う、ジオプタプロファイルを有し得る。
【0069】
面外空間誤差(また、ジオプタ誤差とも称される)は、深度平面のジオプタ(深度)誤差の測定値であって、光学、機械的、および導波管整合または設計における誤差を知らせるように意図される。ジオプタ誤差に関して報告されるメトリックは、深度平面の予期される深度と測定された深度との間の誤差量を示す、層毎に測定されたジオプタ誤差と、深度平面間の最大深度誤差を示す、最大ジオプタ誤差とを含んでもよい。
【0070】
図10Aは、異なる深度において視認されるように意図される、複数の深度平面の実施例を図示する。図示される実施例では、3つの異なる深度平面が、示されるが、ディスプレイシステムは、より多いまたはそれを上回る少ない深度平面を含有してもよい。加えて、各深度平面は、複数の導波管層(例えば、RGB色層)に対応してもよい。
【0071】
図10B−10Dは、
図10Aに示される投影された深度平面を視認するときに生じ得る、面外空間誤差のタイプの実施例を図示する。例えば、投影された深度平面は、予期されるものより大きいまたは小さい深度に現れるように、異なる深度に偏移され得る(
図10B)。深度平面は、予期される深度からバルク回転を呈するように不整合され得る(
図10C)。深度平面は、格子不完全度の非均一プロファイル特性を呈し得る(
図10D)。深度平面は、
図10B−10Dに図示される誤差の組み合わせを呈し得る。
【0072】
図10Eは、面外空間誤差の別の実施例を図示する。投影された深度平面1002は、予期される深度平面1004に対して不整合される。図示される実施例では、不整合は、深度平面回転を備える。面外空間誤差を補正するために、回転軸1006が、識別され、投影された深度平面1002が予期される深度平面1004と実質的に整合するように、識別された回転軸1006を中心として投影された深度平面1002上で回転が行われ得る。回転軸1006は、予期される深度平面1004の軸(例えば、垂直軸)と平行として図示されるが、回転軸は、任意の方向であり得ることを理解されたい。
【0073】
ジオプタ誤差は、面内歪曲に関連する、面内空間誤差と明確に異なるが、ジオプタ誤差は、例えば、ピクセル深度の正しくない仮定に起因して、視野依存空間歪曲を導入することによって、潜在的に、面内空間誤差に影響を及ぼし得る。例えば、予期されるものと異なる深度における領域を伴う欠陥深度平面に関して、ピクセルは、視認者位置に対して非均一に偏移し、変動する画像ワーピングを導入し得る。
【0074】
いくつかの実施形態では、面内空間誤差(例えば、xy偏芯、集合スケーリング、集合回転、および空間マッピング)に関する本明細書に説明される誤差補正技法は、3次元まで拡張されることができる。例えば、偏芯は、xyz座標系上の表示される平面の中心点の場所を識別し、中心点が予期される場所と整合するように、平面を偏移させる(例えば、x、y、およびz軸に沿って)ことによって3次元で行われてもよい。
【0075】
(歪曲ベクトル場に基づく空間誤差の定量化)
図8を参照して本明細書に説明されるように、多次元(例えば、2Dまたは3D)歪曲ベクトル場が、予期される位置から表示される位置までの画像特徴の変位を測定することによって生成されることができる。歪曲ベクトル場は、多層ディスプレイ(例えば、スタックされた導波管アセンブリ405を備える、ディスプレイ)の層毎に計算されることができる。歪曲ベクトル場は、ディスプレイによって投影されたライトフィールドの歪曲を捕捉および特性評価するために使用されることができる。例えば、ベクトル分析オペレーションは、ある空間誤差を判定するために歪曲ベクトル場上で行われることができる。ライトフィールド計測システムは、ディスプレイによって投影された較正パターン(例えば、格子縞)に関して計測カメラ(例えば、デジタルカメラまたはライトフィールドカメラ)によって得られる画像の分析の一部として、そのようなベクトルオペレーションを計算することができる。そのようなベクトル分析技法は、ライトフィールドディスプレイに限定されず、任意のタイプのディスプレイの任意の多次元計測または較正に適用されることができる。
【0076】
多次元歪曲ベクトル場を前提として、ベクトル場のカールが、局所回転を判定するために算出されることができる。ディスプレイのFOV内の領域にわたるカールの平均は、領域内の集合回転誤差の測定値を提供する。ライトフィールドディスプレイの離散深度平面実装では、歪曲ベクトル場のカールの計算は、層の面内回転または面外回転に関する情報を提供することができる。
【0077】
歪曲ベクトル場の発散は、スケーリング誤差を判定するために算出されたことができる。各深度におけるフルカラー画像を生成するための複数の層(例えば、RGB色層)を有する実装では、本スケーリング誤差は、スケーリング較正に関する情報を提供するために使用されることができる。
【0078】
ベクトル積分型定理(例えば、ストークスの定理または発散定理(ガウスの定理))が、歪曲ベクトル場に適用され、ディスプレイのFOV内の領域にわるベクトル場のカールおよび発散を算出することができる(例えば、領域の集合回転または集合スケーリングを見出すために)。歪曲ベクトル場内のベクトルのユークリッド平均が、歪曲によって導入される空間変換の非アフィン性についての情報を得るために算出されることができる。
【0079】
(色彩誤差の定量化)
色彩誤差は、可視ピクセルの色値が予期される色値と異なるときに生じる。色彩誤差を評価するために、較正画像が、ディスプレイシステムを使用して投影されてもよい。較正画像は、空間誤差補正を行うために使用される同一較正画像であってもよい、または異なる較正画像であってもよい。例えば、較正画像は、特定の輝度レベル(例えば、最大明るさ)における赤色等の特定の色のベタ画像を備えることができる。較正画像を投影させることからの出力は、画像捕捉デバイス(例えば、1つまたはそれを上回るカメラ)を使用して捕捉されることができる。
図11は、投影された較正画像の捕捉された画像の実施例を図示する。較正画像は、画像全体を通して一定である輝度レベルを有し得るが、表示される較正画像の輝度は、色彩誤差の存在に起因して、ディスプレイの視野にわたって変動する。例えば、捕捉された画像のある領域1102は、高輝度レベルであり得る一方、他の領域1104は、より低い輝度レベルを呈し、暗色領域または帯をディスプレイにわたって現れさせ得る。いくつかの実施形態では、較正画像は、無色ではなく、着色較正パターンを備えることができる。
【0080】
ディスプレイのいくつかの実施形態では、観察される輝度トポロジは、波長に依存し得る。例えば、輝度変動は、赤色、緑色、および青色に関して異なり、投影された画像を予期されるもの以外の色で現れさせ得る(赤色、緑色、青色成分間の不平衡を示す)。例えば、投影された白色較正画像は、赤色および青色のものより低い、緑色の輝度レベルの紫色であるように現れ得る。加えて、輝度変動はまた、観察者場所に基づき得る(例えば、カメラが移動される場合、1102における暗色帯は、FOV内の異なる場所に移動するように現れ得る)。本現象は、FOVにわたって色均一性および白色平衡を維持することの困難につながり(特に、輝度または色彩平衡が観察者場所に依存し得るため)、最終的には、表示されているコンテンツの色正確度に影響を及し得る。
【0081】
ディスプレイシステム内の各ディスプレイ層は、明るさまたは強度を測定する、色彩特性、測定色、および輝度特性と関連付けられる。したがって、色彩誤差は、広義には、輝度平坦性誤差および色彩均一性誤差に分割され得る。
【0082】
(輝度平坦性)
輝度平坦性メトリックは、単一ディスプレイ層によって露見される輝度における変動量を定量化するために使用されることができる。一般に、スタックされた導波管アセンブリでは、異なるディスプレイ層は、各ディスプレイ層がスタック内の異なる導波管によって生成されることに起因して、潜在的に、視野にわたって異なる輝度変動を有し得る(例えば、
図4における導波管アセンブリ405参照)。
【0083】
ディスプレイ層に関する輝度平坦性を測定するために、輝度値(また、強度値とも称される)が、捕捉された画像の一部または全部のピクセルに関して判定されることができる。本開示は、主に、ピクセルの輝度値を参照するが、他の実装では、輝度値は、個々のピクセルの代わりに、複数のピクセル(例えば、ピクセルのN×Mグリッド)を備える領域に関して判定されることができる。いくつかの実施形態では、各判定された輝度値は、1つまたはそれを上回る輝度値の範囲を備える、輝度ビンを割り当てられることができる。例えば、8ビット色ディスプレイシステムに関して、8ビット色に対応する256ビンが、使用されることができる。
【0084】
判定された輝度値から、いくつかの輝度平坦性メトリックが、計測システムによって計算されることができる。例えば、表示される場にわたって最も一般的ピクセル輝度値を示す、最頻値が、計算されることができる。最頻値から、ピクセル集団の50%を網羅する最頻値に隣接する輝度範囲または輝度ビンの数を示す、半ピクセル集団範囲(HPPR)が、判定されることができる。小HPPRは、ディスプレイ層に関する輝度がディスプレイにわたって実質的に均一であることを示す。輝度値はまた、強度値と称され得る。本願の目的のために、用語「輝度」および「強度」は、同義的に使用され得る。
【0085】
図12Aは、投影された較正画像の捕捉された画像から生成され得る、強度ヒストグラムを図示する(例えば、
図11に図示されるように)。強度ヒストグラムは、輝度値をそれらが捕捉された画像内に現れる頻度に対してプロットする(例えば、輝度値を有する、ピクセルの数)。最頻値は、画像内の(例えば、場所1202において)最高発生数を有する、輝度値によって示される。
【0086】
図12Bは、投影された較正画像の捕捉された画像から生成された強度プロファイルを図示する。図示される強度プロファイルでは、最頻値は、輝度値1204において生じる(本実施例では、236の値を有する)。最頻値から、輝度値1206と輝度値1208との間の範囲として示される、最頻値1204を中心とする逸脱範囲が、画像のピクセル集団の50%を網羅することが判定される。HPPRは、計算された逸脱範囲(例えば、輝度値1206と輝度値1208との間の差異)に基づいて判定される。
【0087】
理想的ディスプレイ層に関して、強度値は、所与の入力照明に関する場にわたって均一となるであろう(例えば、HPPR=0)。本理想的挙動からの逸脱は、最頻値から離れたピクセル強度値の分布として露見するであろう。HPPR測定は、最頻値から離れた分布を計測することを試みる。実質的に均一な輝度は、小HPPR、例えば、最頻値または可能性として考えられる輝度値(例えば、8ビット色に関して255)の範囲と比較して小さい、HPPRを有し得る。例えば、実質的に均一(例えば、平坦)な輝度ディスプレイは、約10%未満、約5%未満、約1%未満、または約0.1%未満の総色範囲に対するHPPRの比率を有し得る。
【0088】
HPPRは、四分位数範囲の変動と見なされることができ、これは、最頻値の代わりに、中央値から離れた分布を測定する。ピクセル強度値の中央値は、ディスプレイ層の所望の平坦−強度応答との直接関係を有していない場合がある。
図13は、最頻値、中央値、および平均値間の差異(μ)を図示する、例示的強度ヒストグラム1302、1304を図示する。2つの分布1302、1304の中央値は、本実施例では、同一である。2つの分布1302、1304は、それぞれ、0.8および2の標準偏差σを有する。
図13に図式的に図示されるように、画像の強度分布が、法線に近い場合(例えば、強度分布1302)、最頻値、中央値、および平均値は全て、非常に類似し得る。一方、強度分布が、法線分布に近くない場合(例えば、強度分布1304)、強度分布の最頻値、中央値、および平均値は、相互から実質的に異なり得る。
【0089】
ディスプレイのディスプレイ層毎に、輝度平坦化は、表示される視野にわたって輝度変動を低減させることを試みる。典型的には、ピクセルの輝度強度は、その最大値を超えて増加されることができないため、輝度平坦化は、概して、全体的輝度低減ステップであって、ピクセル輝度は、その層の輝度が可能な限り平坦であるように、層特有のプロファイル内で圧縮される。
【0090】
例えば、輝度平坦化は、ピクセル輝度が、最低輝度値を伴うピクセルの輝度値において最大値を有し、ディスプレイ層の輝度を実質的最小輝度まで低減させるように行われることができる。代替として、ピクセル輝度は、最低輝度値を伴うピクセルの輝度値を上回る、選択された輝度値における最大値を有するように構成されることができる。これは、依然として、選択された値を下回る輝度値を有するピクセルが存在し得、輝度非均一性が残り得るため、全体的輝度を最小値まで低減させない場合がある。いくつかの実施形態では、ピクセルまたはピクセルのグループに関する輝度値を低下させることは、ピクセルまたはピクセルのグループの輝度値を低減させるための値を識別するステップを含む。他の実施形態では、ピクセルまたはピクセルのグループに関する輝度値を低下させることは、ピクセルまたはピクセルのグループの輝度値を最小輝度値または閾値輝度値まで下方スケーリングするためのスケーリング係数を識別するステップを含む。
【0091】
いくつかの実施形態では、ディスプレイ層の初期輝度平坦性が、良好である(例えば、HPPRが閾値を下回る)場合、輝度値は、平坦輝度場を提供するために、最小のものまで低減され得る。一方、輝度平坦性が、不良である(例えば、HPPRが閾値を超える)、または最小輝度値が、低い(例えば、最小閾値に到達しない)場合、選択された最大輝度値が、選定され得る。輝度平坦化は、ソフトウェアモジュール(例えば、処理モジュール224、228)内で行われることができる。
【0092】
輝度が輝度平坦化を行うときに低減されるレベルは、ディスプレイ層毎に異なってもよい。しかしながら、同一色クラスタ(例えば、RGB層クラスタ)内の異なる層に関する異なる輝度レベルは、白色平衡の損失につながり得、これは、ディスプレイの色彩均一性を補正することによって対処されることができる。
【0093】
(色彩均一性)
色彩は、概して、輝度から独立したディスプレイの色成分を指す。上記に説明されるように、ディスプレイシステム内のディスプレイ層は、赤色ディスプレイ層、緑色ディスプレイ層、および青色ディスプレイ層を備えてもよいが、他の実装では、他の数、タイプ、または色のディスプレイ層、またはディスプレイ層の組み合わせが、使用されてもよいことを理解されたい。以下の実施例では、RGB色層が、例証目的のために説明されるあろうが、これは、色彩平衡のための方法(ディスプレイ色の任意のセットに適用されることができる)に関する限定ではない。
【0094】
対応する赤色、緑色、および青色ディスプレイ層の輝度変動が、同じである場合、色彩は、ディスプレイにわたって維持される。一方、対応する赤色、緑色、および青色ディスプレイ層を横断する輝度変動が、異なる場合、表示される画像の色彩は、予期されるものと異なるであろう。例えば、白色較正画像に関して、赤色および青色層が、緑色層より高い輝度を有する場合、白色較正画像の領域は、紫色の色で現れ得る。意図される白色からのこれらの逸脱は、オフグレースケールと称され得る。
【0095】
色彩均一性メトリックは、画像のオフグレースケールの程度を捕捉するために使用されることができる。メトリックは、それぞれ、赤色、緑色、および青色の対応する平均からの赤色、緑色、および青色の逸脱のFOVにわたる平均を示す、平均色誤差を含んでもよい。平均色誤差が小さいほど、画像が現れるであろうグレースケールに近くなる。平均色誤差は、平均色または可能性として考えられる色の範囲(例えば、8ビット色に関して255)によって除算することによって、無次元値に正規化されてもよい。種々の実装では、ディスプレイは、平均色誤差が、10%未満、5%未満、1%未満、またはある他の閾値である場合、達成される色彩均一性を有すると見なされることができる。
【0096】
図14Aは、投影された試験画像の捕捉された画像から生成された赤色−緑色−青色(RGB)強度マップの実施例を図示する。赤色および青色層1402および1404は、概して、相互に類似する、輝度を有し、赤色および青色層1402および1404は両方とも、緑色層1406よりはるかに高い輝度を有する。その結果、白色試験画像の投影は、紫色(赤色+青色、例えば、
図11B参照)となるように現れる、領域を有するであろう。
【0097】
図14Bは、最大色非平衡誤差をマッピングする、プロット1408を図示する。平均輝度1410は、赤色、緑色、および青色層の平均輝度値として判定されることができる。「平均+最大誤差」表面1412は、赤色、緑色、および青色層の最大輝度値を示す一方、「平均−最大誤差」表面1414は、赤色、緑色、および青色層の最小輝度値を示す。
【0098】
図15は、色彩補正後の
図14Aに図示されるような表示される視野にわたる異なる強度を有する赤色、緑色、および青色層を伴う、ディスプレイシステムに関するRGB強度マップを図示する。以下に説明され、プロット1500に図示されるように、本実施例では、最大RおよびB輝度値は、色彩均一性を提供するために、ディスプレイの大部分においてより低いG輝度値のレベルまで低減された。
【0099】
図14Aに図示されるように、色補正に先立って、赤色および青色層の輝度は、FOVの大部分にわたる緑色層のものよりはるかに高く、これは、白色較正画像の捕捉された画像の大領域が紫色で現れる結果をもたらし得る。本実施例では、深度平面の点毎の色補正の間、深度平面と関連付けられた色層(例えば、赤色、緑色、および青色)の最低輝度値が、識別され、色層毎の輝度値が、その点に関する最低輝度値に設定される。例えば、
図15に図示されるように、赤色および青色層1502および1504の色輝度は、緑色層1506のものに合致するように低下される(例えば、
図14AのRGB強度マップと
図15のRGB強度マップを比較して)。その結果、赤色および青色層の輝度は、それらが、緑色層の強度に合致し、投影された画像のオフグレースケール量を低減させるように補正される。
【0100】
(画像補正プロセス)
画像較正は、以前に定義された画質メトリック(例えば、
図7−15を参照した説明参照)に関連するディスプレイデバイスの特性評価を指す。画像補正は、画質を改良するために行われる補正アクションを指す。画質メトリックは、ディスプレイデバイス画質メトリックを改良または最適化することを試みる、行われる補正アクションを知らせる。したがって、画像補正は、画質メトリックのそれぞれに緊密に結び付けられる。
【0101】
図16は、ディスプレイシステム上で画像補正を行うためのプロセス1600の実施例のフローチャートである。ブロック1602では、投影された画像を捕捉するために使用されるカメラ(例えば、以下に説明される計測システム1800のカメラ1806)が、較正される。カメラ較正は、実際の視覚的/ディスプレイ情報を捕捉および表す際のカメラの正確度の特性評価を含む。捕捉された画像からの任意の測定されたメトリックが、ディスプレイシステムに起因し、カメラと関連付けられた誤差のものではないことを確実にするために、画像補正のために使用されるカメラは、画像補正が試みられる前に、完全に較正されるべきである。
【0102】
いくつかの実施形態では、カメラ較正は、平坦場補正(例えば、カメラの強度応答がそのFOVにわたって均一であることを確実にする)、レンズ歪曲補正(例えば、レンズ歪曲を識別および補償する)、またはピクセルスケーリング(例えば、カメラの画像捕捉に関するピクセルサイズ対ディスプレイシステムのピクセルサイズ間の関係を識別する)のうちの少なくとも1つを行うステップを含む。いくつかの実装では、ディスプレイ/カメラピクセルマッピングが、ディスプレイピクセル値とカメラピクセル値との間の変換を行うために適用されることができる。ディスプレイ/カメラピクセルマッピングは、ディスプレイ色ピクセル値を第1の中間色空間にマッピングする、第1の大域的非線形ガンマ関数、第1の中間色空間を第2の中間色空間にマッピングする、局所的ピクセル依存結合関数、および第2の中間色空間をカメラ色空間内のピクセル強度にマッピングする、第2の大域的非線形ガンマ関数に基づくことができる。例示的ディスプレイ/カメラピクセルマッピングの詳細は、
図21を参照して以下に説明される。
【0103】
ブロック1604では、空間誤差補正が、ディスプレイシステムに行われることができる。空間誤差補正は、表示される画像場所と予期される画像場所との間の歪曲を示すベクトル場を生成するために使用され得る、較正されたカメラを使用して、投影されたライトフィールドの1つまたはそれを上回る画像を捕捉するステップを含むことができる。いくつかの実施形態では、個々のベクトル場は、ディスプレイ層毎に生成される。生成されたベクトル場を使用して、1つまたはそれを上回る空間補正が、行われることができ、これは、XY偏芯(ブロック1604a)、集合回転(ブロック1604b)、集合スケーリング(1604c)、または空間マッピング(ブロック1604d)を含むことができる。いくつかの実施形態では、これらの補正はそれぞれ、層毎に行われる。
【0104】
XY偏芯は、予期される画像位置に対するディスプレイ層の表示される画像の中心の平行移動空間誤差を指し得る。XY偏芯を行うことは、表示される画像の中心点を識別し、中心点が予期される中心位置に対応するように、判定された平行移動ベクトルに沿って画像を偏移させるステップを含むことができる。XY偏芯補正の実施例は、
図9Aを参照して説明される。
【0105】
集合回転は、表示される画像と予期される位置との間の全体的回転誤差を指し得る。集合回転を行うことは、表示される画像の中心点を識別し、指定される回転量によって(例えば、予期される画像位置に対するピクセル位置誤差が最小限にされる位置まで)識別された中心点を中心として画像を回転させるステップを含むことができる。集合回転補正の実施例は、
図9Bを参照して説明される。
【0106】
集合スケーリングは、表示される画像と予期される画像との間の全体的スケーリング誤差を指し得る。集合スケーリングを行うことは、表示される画像の中心点を識別し、指定される係数(例えば、予期される画像位置に対するピクセル位置誤差が最小限にされる係数)によって識別された中心点を中心として画像をスケーリングするステップを含むことができる。集合スケーリングの実施例は、
図9Cおよび9Dを参照して説明される。
【0107】
xy偏芯、集合回転、および集合スケーリングは、線形またはアフィン空間誤差を補正するために使用されることができるが、ディスプレイ層の表示される画像はまた、付加的非線形または非アフィン空間誤差を含有し得る。空間マッピングが、XY偏芯、集合回転、および集合スケーリング補正が行われた後に残る、任意の残りの誤差(例えば、非線形または非アフィン誤差)を補正するために行われることができる。空間マッピングはまたピクセルワーピングと称され得、実施例は、
図9Eを参照して説明される。
【0108】
いくつかの実施形態では、空間誤差は、面内空間誤差および面外空間誤差(時として、ジオプタ誤差とも称される)に分割され得る。例えば、ディスプレイ層は、最初に、面外空間誤差に関して補正される前に、面内空間誤差に関して補正される、またはその逆であってもよい。代替として、面内空間誤差および面外空間誤差は、ともに補正されることができる。
【0109】
ブロック1606では、色誤差補正が、ディスプレイシステム上で行われることができる。色誤差補正は、輝度平坦化(ブロック1606a)または色彩平衡(ブロック1606b)を備えてもよい。いくつかの実施形態では、輝度平坦化は、層毎に行われる一方、色彩平衡は、色クラスタ毎(例えば、RGBクラスタ毎)に行われる。
【0110】
輝度平坦化は、ディスプレイ層にわたる輝度変動の低減を指し得る。いくつかの実施形態では、輝度平坦化は、表示されるFOV内の全てのピクセルの輝度を最小輝度値まで低減させるステップを含む。代替として、最大値または閾値を上回る輝度を有する、表示されるFOV内の全てのピクセルは、その輝度を最大値/閾値まで低減させる一方、最大値/閾値未満の輝度を伴うピクセルは、不変のままであり得る。いくつかの実施形態では、輝度値は、輝度と閾値輝度値との間の距離に基づいて、スケーリングされてもよい。輝度平坦化の実施例は、
図12Aおよび12Bを参照して説明される。
【0111】
色彩平衡は、色クラスタ(例えば、RGBクラスタ)内の異なる色層間の強度における不整合によって生じるオフグレースケール効果を低減させるステップを含んでもよい。色彩平衡は、深度平面内の各場所における色層の輝度を低下させ、その場所における最低輝度を有する色クラスタ内の色層のものに合致させることによって行われることができる。例えば、FOV内のピクセル毎に、各場所における赤色、緑色、および青色層に関する輝度が全て、その場所における3つの色層の最低値に設定される。いくつかの実施形態では、閾値輝度値を上回る輝度は、閾値輝度値またはその場所における色クラスタ内の最小輝度値のいずれか大きい方まで低下される。いくつかの実施形態では、輝度は、輝度と閾値輝度値との間の距離に基づいて、スケーリングされてもよい。色彩平衡の実施例は、
図14A−15を参照して説明される。
【0112】
いくつかの実装では、画像較正(画質メトリックを定量化するため)は、製造プロセスの間、ディスプレイシステム毎に行われる。画質メトリックと関連付けられた情報と、ディスプレイシステムを改良または最適化するために使用され得る補正とが、ディスプレイシステムと関連付けられた非一過性メモリ(例えば、データモジュール224またはデータリポジトリ232)内に記憶されることができる。ディスプレイシステムの使用の間、画像補正情報が、ディスプレイに適用され、ディスプレイシステムのユーザが、ディスプレイ内の画像誤差を低減または排除する、改良または最適化された画像を提供されるように、適切な補正を行うことができる。例えば、ローカルまたは遠隔処理モジュール224、228は、画像補正情報を使用して、リアルタイムベースで、改良された画像をユーザに提供することができる。例示的較正プロセスの詳細は、
図27および28を参照して以下に説明される。
【0113】
(深度平面計測の実施例)
本明細書に説明されるディスプレイシステムの実施形態は、ライトフィールド(例えば、
図1−6を参照した説明参照)を生成可能である。したがって、ディスプレイの装着者からある距離における実際の(物理的)オブジェクトが、眼に衝突するライトフィールドを生成するであろうように、ある深度に設置された仮想オブジェクトは、意図される深度に合焦して現れさせるであろう、(デジタル化された)ライトフィールドを作成するであろう。これは、輻輳・開散運動−遠近調節整合およびより真実味のある混合現実ディスプレイを可能にする。
【0114】
コンテンツ作成者は、生成されたライトフィールドの不完全度に起因して(例えば、導波管アセンブリ405の導波管内の不完全度に起因して)、仮想オブジェクトをレンダリングエンジン内で視認者からある深度に設置し得るが、仮想オブジェクトは、意図されたものと異なる深度に合焦して現れ得る。これは、輻輳・開散運動−遠近調節不整合をもたらし得る。ある場合には、仮想オブジェクトの異なる部分が、異なる深度に合焦して現れ得る。これらの深度不整合は、
図10A−10Eに図示されるもの等の面外空間誤差のタイプに対応し得る。
【0115】
故に、本開示は、ディスプレイによって生成されたライトフィールドの品質を測定することができる、計測システムの実施例を説明する。いくつかのそのような計測システムは、ディスプレイによって生成されたライトフィールドのトポロジおよび品質をマッピングすることができ、ディスプレイによって生成されたライトフィールドの品質の査定につながる情報を提供することができる。いくつかのそのような計測システムは、ディスプレイによって生成されたベクトルライトフィールド(例えば、方向および振幅)を捕捉し、ディスプレイ内の焦点および深度不完全度の分析を可能にすることができる。ライトフィールドディスプレイのための空間および色彩較正技法は、本明細書に説明される計測システムによって生成された情報を利用するように開発された。本明細書に説明される計測システムの実施形態は、ライトフィールドディスプレイ(例えば、ディスプレイシステム80、100の実施形態)に対する特定の用途を有するが、これは、限定ではなく、計測システムの他の実施形態も、任意のタイプのディスプレイから生じる光を測定するために使用されることができる。計測システムの実施形態は、ディスプレイのための有用な空間較正情報を導出するために使用され得る、3D歪曲場を判定するために使用されることができる。計測システムはまた、両眼較正および単眼RGBおよび深度平面間較正のために使用されることができる。
【0116】
図17Aは、正常ライトフィールドを有する眼304によって視認される、オブジェクト1702の実施例を図示する。オブジェクト1702は、不完全度が実質的にないライトフィールドを用いて生成された実際のオブジェクトまたは仮想オブジェクトに対応してもよい。オブジェクト1702上の点と関連付けられた光線1706は、単一点から発散するように現れ、眼304から距離1708において合焦するように現れるオブジェクト1702の点をもたらす。
【0117】
図17Bは、不完全なライトフィールドを伴って視認される、オブジェクト1710の実施例を図示する。オブジェクト1710は、ディスプレイシステム(例えば、
図4および6に図示されるようなディスプレイシステム400)を使用して生成された仮想オブジェクト等の仮想オブジェクトに対応してもよい。生成されたライトフィールド内の不完全度に起因して、例えば、導波管420、422、424、426、428、604内の不完全度に起因して、オブジェクト1710上の特定の点に対応することが意図される、光線1712は、異なる点から発散するように現れる、またはそうでなければ意図されるものと異なる発散を呈し得る。その結果、オブジェクト1710は、距離1708における合焦から外れて現れ得る。加えて、オブジェクト1710の異なる部分も、異なる深度または距離に合焦するように現れ得る。
【0118】
計測システムは、ディスプレイによって生成されたライトフィールドの品質を測定するために使用されることができる。
図18は、ディスプレイ1802のライトフィールド品質を測定するための計測システム1800の実施例を図示する。ディスプレイ1802は、カメラ1806に向かって指向される光線1804を有する、ライトフィールドを生成する。ディスプレイデバイス1802は、スタックされた導波管アセンブリ(例えば、
図4に図示されるようにスタックされた導波管アセンブリ405)に対応してもよい。光線1804は、略平行として図示されるが、これは、例証のためのものであって、光線1804は、ライトフィールド内に表される1つまたはそれを上回る仮想オブジェクトの異なる深度を伝達するために、異なる方向(例えば、発散)に投影されてもよい。加えて、光線1804は、ディスプレイ1802内の不完全度に起因して、非平行であり得る(例えば、
図17B参照)。
【0119】
いくつかの実施形態では、カメラ1806は、例えば、ライトフィールド内に表される仮想オブジェクトの知覚された深度を測定するために、生成されたライトフィールドの少なくとも一部を捕捉するために使用されることができる。カメラ1806は、特定の深度または距離上に合焦するように構成されることができる(以降、また、「焦点深度」とも称される)。いくつかの実施形態では、これは、小焦点深度(DOF)を有するレンズを使用して行われてもよい。例えば、DOFは、ディスプレイ内の不完全度が、典型的には、焦点深度を意図される焦点深度から逸脱させる、Z−距離未満(例えば、
図19Cに示される深度マップ1924のピークと意図される焦点深度1922との間の距離未満)であってもよい。他の実施例では、DOFは、カメラとディスプレイとの間の距離のある係数倍未満であってもよく、係数は、約0.1未満、約0.01未満、約0.001未満等であってもよい。カメラ1806は、ライトフィールドの具体的部分またはライトフィールド全体を捕捉するように構成可能であってもよい。カメラ1806は、ライトフィールドを使用して表示されるべき特定の仮想オブジェクトと関連付けられたライトフィールドの一部を捕捉するように構成されてもよい。カメラ1806は、眼304によって知覚されるであろうものに実質的に類似する画像を捕捉可能であるように、位置付けられてもよい。カメラ1806およびディスプレイ1802は、ライトフィールドをマッピングするために相互に対して移動可能であることができる。例えば、相対的運動は、ディスプレイ1802と平行(例えば、
図18に示されるX−方向またはXおよびZと垂直であるY−方向(図示せず))またはディスプレイ1802と垂直(例えば、
図18に示されるZ−方向)であることができる。他の実装では、走査光学(図示せず)が、カメラ1806およびディスプレイ1802を相対的に走査するために使用されることができる。いくつかの実施形態では、カメラ1806は、投影された画像内の空間誤差(例えば、
図9A−9Eに図示されるような面内空間誤差または
図10A−10Eに図示されるような面外空間誤差)を識別するために使用され得る、歪曲マップ(
図8に図示されるもの等)を判定するために、生成されたライトフィールドの一部を捕捉するために使用されてもよい。加えて、カメラ1806は、生成されたライトフィールド内の輝度または色彩誤差を識別するために使用されてもよい(例えば、
図11−15に図示されるように)。
【0120】
いくつかの実施形態では、カメラ1806は、異なる方向に配向されるように移動可能である。例えば、カメラ1806は、ディスプレイ1802に直交に面するように図示されるが、カメラ1806はまた、ディスプレイ1802に対して異なる角度に面し、カメラ1806が異なる方向または配向においてディスプレイ1802によって生成されたライトフィールドを測定することを可能にするように、回転されてもよい(例えば、Y−回転軸またはX−回転軸に沿って)。
【0121】
種々の実施形態では、カメラ1806は、デジタルカメラ、例えば、短焦点デジタルカメラであることができる。他の実施形態では、カメラ1806は、ライトフィールドカメラであることができる。
【0122】
カメラ1806は、カメラ1806の焦点深度、カメラ1806の視野、暴露時間、カメラ1806とディスプレイ1802の相対的移動、および同等物を制御するために使用され得る、コントローラ1808に接続されることができる。いくつかの実施形態では、コントローラ1808は、
図4に図示されるようなコントローラ450に対応してもよい。コントローラ1808は、ハードウェアプロセッサと、非一過性データ記憶装置とを備えることができる。
【0123】
図19Aは、特定の焦点深度上に集束されるカメラ(例えば、カメラ1806)によって捕捉され得る、画像1900の実施例の略図である。画像1900は、合焦する1つまたはそれを上回る領域1902および合焦から外れた1つまたはそれを上回る領域904を含有してもよい。カメラ1806は、異なる焦点深度において合焦するように構成されることができるため、合焦する、または合焦から外れた画像の領域は、変化し得る。例えば、カメラが、異なる焦点深度上の焦点に変化される場合、領域1902は、合焦から外れて現れ得る一方、領域1904の部分は、合焦し得る。複数の異なる焦点深度にわたるライトフィールドの複数の画像を捕捉することによって、ライトフィールドの種々の領域に関する知覚された深度が、判定されることができる。例えば、カメラによって捕捉された画像の各ピクセルは、ピクセルに対応するライトフィールドの部分が合焦する、焦点深度に対応する特定の焦点深度と関連付けられてもよい。深度マップまたはグラフが、生成されたライトフィールドの領域とその知覚された深度をマッピングするように構築されてもよい。加えて、深度マップまたはグラフはまた、ディスプレイによって投影されることが意図された焦点深度を規定し、それによって、ライトフィールドに表示される仮想オブジェクトの意図される焦点深度と実際の測定焦点深度との間の比較を可能にしてもよい。
【0124】
図19Bは、計測システム1800の実施形態によって行われ得る、焦点深度測定を図式的に図示する、深度グラフの実施例である。グラフ1910は、生成されたライトフィールドの測定された焦点深度1912をディスプレイ1802から放出されるライトフィールドにわたる線に沿って(例えば、
図18に図示されるように、ライトフィールドの水平X−軸に沿って)プロットする。いくつかの実施形態では、グラフ1910は、複数の異なる焦点深度にわたってカメラ1806の焦点深度を掃引することによって生成されてもよい。例えば、カメラ1806は、焦点深度1914に集束されてもよい(水平破線によって図示される)。完璧なディスプレイでは、ディスプレイによって生成されたライトフィールドは、仮想オブジェクトの実際に測定された深度が、正確に意図される深度であるようなものとなるであろうが、実際のディスプレイでは、2つは、ディスプレイ内の不完全度のため、異なり得る。したがって、焦点深度1914に近似する測定された焦点深度を伴う、ライトフィールドの任意の領域(例えば、領域1916)は、実質的に合焦していると知覚され得る一方、焦点深度1914と有意に異なる測定された焦点深度を伴うライトフィールドの領域(例えば、領域1918)は、合焦から外れたように知覚され得る。
【0125】
図19Cは、1つまたはそれを上回る捕捉された画像に基づいて生成され得る、深度マップの実施例を図示する。深度マップ1920は、ディスプレイ1802によって生成された画像が合焦すべき意図される深度位置1922(
図19Cでは水平平面として図示される)と、画像が実際に合焦する焦点深度(Z)を示す、測定された深度マップ1924とを含有する。意図される焦点深度1922と測定された焦点深度1924との間の比較は、ディスプレイ1802によって生成されたライトフィールドの不完全度がディスプレイの視野(FOV)にわたって識別および定量化されることを可能にする。
【0126】
例えば、意図される焦点深度が、水平位置(X
0、Y
0)において収束されるべき光に関するZ
0であって、その位置における測定された焦点深度がZである場合、(Z−Z
0)は、位置(X
0、Y
0)におけるディスプレイの焦点不完全度の測定値となる。いくつかの実装では、光線が集束される、実際の水平位置(X、Y)が、測定されることができる。いくつかのそのような実装では、意図される焦点位置に対する実際の焦点位置のベクトル測定値(X、Y、Z)−(X
0、Y
0、Z
0)が、ディスプレイによって生成されたライトフィールド内の不完全度を特性評価するために使用されることができる。ディスプレイ不完全度の本ベクトル測定値は、面内および面外(例えば、ジオプタ)誤差の両方の3D表現を提供する。いくつかの実施形態では、面内誤差のみが、2Dベクトル誤差測定値(X、Y)−(X
0、Y
0)を使用して、測定される(および較正される)。ある場合には、焦点誤差は、ディスプレイのためのピクセル毎に判定されることができる。しかしながら、多くのディスプレイ内の多数のピクセル(例えば、数百万ピクセル)に起因して、焦点誤差データは、ディスプレイの一部またはディスプレイをサンプリングするピクセルのグループ(例えば、ディスプレイにわたって10×10または100×100サンプル)のみに関して判定され得る。格子縞パターンは、正方形である必要はなく、ディスプレイのピクセル構造に共形化するように設計されることができる。
【0127】
図20は、ライトフィールドディスプレイを使用して生成された仮想標的パターンの品質を測定するためのプロセス2001の実施例のフローチャートである。プロセス2001は、計測システム1800、例えば、コントローラ1808によって行われることができる。仮想標的パターンは、いくつかの実装では、交互明色および暗色領域のアレイを伴う、格子縞パターンである。格子縞パターンは、ディスプレイの一部(例えば、10×10または100×100、または他のサイズ格子縞)をサンプリングするために使用されてもよい、またはディスプレイの各寸法におけるピクセルの数に対応するサイズを有してもよい。他の場合には、ピクセル毎データが、連続して、1つの(またはそれを上回る)ピクセルのグループをオンおよびオフにし、オンにされたピクセルの画像を取得することによって、取得されることができる。格子縞パターン(またはピクセルをオン/オフにするシーケンス)は、明色および暗色領域の無作為確率的シーケンスまたは明色および暗色領域の幾何学的パターンまたは任意の他のタイプの較正パターンを含んでもよい。格子縞パターンおよびピクセルオン−オフシーケンスの実施例は、
図22−23Bを参照して以下に説明される。ブロック2002では、初期焦点深度が、設定されてもよい。いくつかの実施形態では、これは、カメラ上の焦点深度レンズを構成するステップを含んでもよい。初期焦点深度は、仮想標的パターンで表され得る、任意の深度に対応してもよい。例えば、初期深度は、仮想標的パターンと関連付けられた最小または最大深度に対応してもよい。
【0128】
ブロック2004では、仮想標的パターンの画像が、選択された焦点深度において捕捉される。いくつかの実施形態では、画像は、合焦する部分および合焦から外れた部分を備えてもよい。いくつかの実施形態では、画像の範囲は、仮想標的パターンと関連付けられた特定の仮想オブジェクト上に集束されてもよい。他の実施形態では、画像は、複数の仮想オブジェクトを備える、ライトフィールド全体に対応してもよい。画像は、仮想標的パターンにわたるピクセル毎の焦点深度情報を備えてもよい。
【0129】
ブロック2006では、画像が撮影されるべき付加的焦点深度が存在するかどうかの判定が行われる。付加的焦点深度が存在することが判定される場合、ブロック2008では、新しい焦点深度が、選択されてもよい。いくつかの実施形態では、焦点深度の数は、少なくとも部分的に、ディスプレイシステムによって表示され得る、異なる深度の数(例えば、
図3に図示されるような深度平面306の数または
図4に図示される導波管アセンブリ内の導波管の数)に基づいてもよい。いくつかの実施形態では、画像が、特定の仮想オブジェクト上に集束される場合、焦点深度の範囲は、仮想オブジェクトと関連付けられた1つまたはそれを上回る深度(例えば、仮想オブジェクトと関連付けられた最小深度および最大深度)に基づいてもよい。
【0130】
画像が撮影されるべきさらなる焦点深度が存在しないことが判定される場合、ブロック2010では、仮想標的パターンの捕捉された画像が、標的パターンの異なる領域が実際に合焦する、深度、Zまたは側方位置(X、Y)を識別するために分析されることができる。例えば、特定の焦点深度に対応する仮想標的パターンの各捕捉された画像は、合焦する部分および合焦から外れた部分を含有してもよい。いくつかの実施形態では、各画像は、ライトフィールドの領域に対応する1つまたはそれを上回る領域に分割されてもよい。自動焦点技法が、各領域が合焦した深度を判定するために使用されてもよい。いくつかの実施形態では、各領域は、ピクセルに対応してもよい。
【0131】
ブロック2012では、深度マップは、少なくとも部分的に、測定された焦点深度(または側方位置)に基づいて、作成されてもよい。深度マップは、ライトフィールド場所と焦点深度をマッピングする、任意のタイプのデータ構造または可視化を備えてもよい。例えば、深度マップは、捕捉された画像の1つまたはそれを上回るピクセルに関する深度情報(例えば、Z−軸焦点深度または側方焦点位置(Xおよび/またはY位置)の測定値と組み合わせたZ−軸焦点深度)を備えてもよい。いくつかの実施形態では、ピクセルは、標的仮想オブジェクトと関連付けられたピクセルクラウドに対応してもよい。したがって、深度マップは、ディスプレイ光学を通して見られるときの仮想オブジェクトの実際の知覚された深度を規定し得る。
【0132】
ブロック2014では、深度マップは、1つまたはそれを上回る所望の焦点深度と比較されてもよく、所望の焦点深度は、1つまたはそれを上回る仮想オブジェクトが表示されることが意図される、深度に対応する。仮想オブジェクトの実際の知覚された深度と仮想オブジェクトが現れるように意図される焦点深度との間の差異を調べることによって、ライトフィールド内の不完全度および/または逸脱は、識別されてもよい。
【0133】
ブロック2006では、誤差補正は、少なくとも部分的に、深度マップと所望の焦点深度との間の比較に基づいて、行われてもよい。誤差補正は、ディスプレイから投影された画像のライトフィールドディスプレイまたはコンテンツ内の不完全度を補償することができる。
【0134】
プロセス2001は、ライトフィールドディスプレイの導波管アセンブリ405内の導波管毎に繰り返され、導波管のそれぞれの不完全度をマッピングすることができる。ある場合には、複数の深度平面に対応する複数の導波管および複数の色(例えば、赤色(R)、緑色(G)、および青色(B))に対応する複数の導波管が存在し得る。例えば、いくつかのディスプレイに関して、深度平面毎に、3つの色平面が存在し、したがって、2つの深度平面を伴う導波管アセンブリは、2×3=6つの導波管を有することができる。カメラ1806は、複数の色に敏感なカメラ、または、それぞれが色のサブセットに敏感であるカメラの組み合わせであることができる。計測システム1800によって得られる焦点深度情報は、焦点誤差の空間分布およびディスプレイの色彩(色)不完全度の分布を判定するために使用されることができる。
【0135】
いくつかの実施形態では、複数の異なる焦点深度において複数の画像を捕捉する(例えば、掃引される焦点を伴うデジタルカメラを使用して)代わりに、ライトフィールドカメラは、ディスプレイ1802によって生成されたライトフィールドを捕捉するために使用されることができる。捕捉されたライトフィールドは、焦点および/または深度不完全度に関して分析されることができる。捕捉されたライトフィールド内の光線のベクトルを分析することによって、種々の領域に関する焦点深度が、判定され得る。識別された焦点深度は、次いで、1つまたはそれを上回る意図される焦点深度と比較されてもよく、適切な誤差補正、行われてもよい(ブロック2016におけるように)。例えば、意図される焦点位置(X
0、Y
0、Z
0)に対する実際の焦点位置(X、Y、Z)のベクトル測定値が、ベクトル誤差=(X、Y、Z)−(X
0、Y
0、Z
0)として判定されることができ、ディスプレイによって生成されたライトフィールド内の不完全度を特性評価するために使用されることができる。
【0136】
(ディスプレイを彩度的に平衡するための例示的方法)
前述のように、フルカラーディスプレイのいくつかの実装は、ディスプレイから投影された光の赤色(R)、緑色(G)、および青色(B)波長を組み合わせることによって、視認者の網膜上に三刺激応答を生成する。理想的ディスプレイは、これらの3つの色層に関して空間的に均一輝度を有する。しかしながら、実際のディスプレイは、ハードウェア不完全度のため、視野にわたって輝度にある程度の変動量を有し得る。本変動が、異なる色層に関して異なる場合、ディスプレイの視野(FOV)にわたって色彩に非均一性をもたらす(例えば、
図11に図示されるように)。本開示は、色彩変動を補正し、FOVにわたって色彩を均一にすることを試みる、方法の実施例を説明する。例えば、ディスプレイの個別の色層(例えば、R、G、およびB)の強度は、ディスプレイの白色点がFOVにわたって実質的に均一であり得るように調整されることができる。
【0137】
いくつかの実装では、本明細書に説明されるライトフィールド計測システムは、ディスプレイの色平衡を特性評価するために使用されることができる。例えば、デジタルカラーカメラは、ディスプレイの色彩応答がディスプレイのピクセルの一部または全部に関して判定され得る、ディスプレイの画像を撮影することができる(例えば、
図18に図示されるような計測システム1800を使用して)。多くのディスプレイでは、3つの色層(例えば、R、G、およびB)が存在するが、しかしながら、本方法は、RGBまたは3色ディスプレイに限定されない。本方法は、任意の数の色層(例えば、2、3、4、5、6、またはそれを上回る)および任意の色の選択肢(例えば、シアン色、マゼンタ色、黄色、黒色)に適用されることができる。
【0138】
RGBディスプレイの特定の実装のための測定された色平衡の実施例は、
図14A(色彩較正前)および
図15(色彩較正後)に示される。
図14Aおよび15は、ディスプレイのピクセル(水平軸)にわたるR、G、およびB強度(垂直軸)の分布のプロット(それぞれ、1400、1500)を含む。
図14Bは、ディスプレイのピクセル(水平軸)に関する最大色非平衡(垂直軸)のプロット1408を含み、色補正に先立った平均および平均±最大誤差を示す。
【0139】
前述のように、
図14Aは、較正されていないディスプレイがディスプレイのピクセルにわたって実質的色彩非均一性を有することを示す。赤色および青色応答は、ほぼ同一であって、RおよびB強度は、プロット1400の右に向かってピークとなる。緑色応答は、概して、RまたはB応答より小さく、プロット1400の右に向かって減少する。
図15は、以下に説明される色彩較正の適用後、較正されたディスプレイがディスプレイのピクセルにわたってより均一色彩応答を有することを示す。
【0140】
本明細書に説明される色彩平衡システムおよび方法の実施形態は、ディスプレイの白色点がディスプレイのFOVにわたって実質的に均一であるように、マルチカラーディスプレイ内の色層の少なくともいくつかの強度を調整するための技法を提供する。種々の実装では、ディスプレイは、ライトフィールドディスプレイであることができる。例えば、ディスプレイは、複数の深度平面における色画像を視認者に提示する能力を有することができる。色彩平衡システムおよび方法の実施形態は、ディスプレイ208(
図2)、ディスプレイシステム400(
図4−6)、およびディスプレイ2500(
図25A、25B、26)を彩度的に平衡するために適用されることができる。
【0141】
ヒトの眼は、線形方式において光レベルを知覚しない。例えば、理想的線形ディスプレイと比較して、ヒトの眼は、ヒトの視覚系が広範囲の明るさレベルにわたって動作することを可能にする明るい色調における類似変化より暗い色調における変化に敏感である。実世界ディスプレイはまた、精密に線形な明るさ応答を提供し得ない。さらに、デジタル画像は、多くの場合、より知覚的に均一である色調レベルを表すようにエンコードされる。ヒトの視覚的知覚、ディスプレイ出力、および画像エンコーディングは、一般に、明るさまたは色レベルに対して近似的冪乗則関係に従うようにモデル化される。例えば、出力レベルは、入力レベルのガンマ乗に比例する、すなわち、V
out∝V
inγとなる。本非線形冪乗則挙動は、一般に、ガンマ補正、ガンマエンコーディング、または単にガンマと称される。
【0142】
ある実施形態では、ディスプレイ内の個別の色層の輝度平坦性が、ディスプレイのFOVにわたってほぼ均一である場合、色彩平衡は、個別の色層の強度をスケーリングして、ディスプレイにわたって均一色彩平衡を達成するステップを含むことができる。ディスプレイは、ディスプレイのFOVにわたる輝度における変動が、種々の実施形態では、1%未満、5%未満、10%未満である場合、好適な輝度平坦性を有し得る。ディスプレイおよびヒトの視覚的知覚のガンマ応答に起因して、本単純スケーリングは、ある場合には、ある不利点を有し得る。
【0143】
ディスプレイの色層が、実質的輝度平坦性を有していない場合、色彩平衡は、個別の色層の強度を単にスケーリングすること以上のことを含み得る。例えば、色彩平衡は、ディスプレイの各ピクセルにおいて(またはピクセルのグループにわたって)白色点を独立して平衡しようとし得る。いくつかのそのような実装では、ディスプレイのFOVにわたる色彩平衡は、FOVにわたる輝度の平坦化もまた行うことなく、達成されることができる。輝度平坦化は、色彩平衡に加えて、または代替として行われることができる。
【0144】
ディスプレイを彩度的に平衡する目標は、ディスプレイのヒト視認者がディスプレイのFOVにわたって均一色平衡を知覚することである。ディスプレイの色平衡を測定および調整するために、較正カメラ(ヒトの眼ではなく)が、ディスプレイ出力の画像を記録するために使用される。カメラは、ディスプレイ出力のヒト知覚を表し、ディスプレイのカメラ画像が彩度的に平衡される場合、次いで、ディスプレイのヒト視認者の知覚もまた、彩度的に平衡されるであろうと仮定され得る。
【0145】
いくつかの実装では、以下のモデルが、ディスプレイの色層に関するピクセル値と較正カメラによって測定された色に関するピクセル値との間の変換のために使用される。以下の実施例では、R、G、およびBであると仮定される、3つの色層が存在する。しかしながら、これは、例証目的のためであって、限定ではない。他の場合には、色層の任意の数および色相が、色彩平衡技法の実施形態と併用可能である。さらに、モデルの適用に先立って、ディスプレイのピクセルサイズとカメラとの間の適切なスケーリングが、考慮されることができる。
【数1】
【0146】
方程式(1)では、[Rd,Gd,Bd]は、ディスプレイに送信されるRGB画像に関する強度値を表す。多くの場合(例えば、標準的RGBまたはsRGB)、強度値は、0〜255である。Gamma1{}は、ディスプレイ色レベルを中間色表現[R1 G1 B1]にマッピングする、第1の非線形ガンマ関数(指数γ
1を伴う)を表す。Coupling()は、色値[R1 G1 B1]を第2の中間色表現[R2 G2 B2]にマッピングする、関数を表す。coupling()関数は、線形関数、例えば、3×3マトリクス(3色層の場合)であることができる。他の実装では、coupling()関数は、非線形であることができる。Gamma2{}は、第2の中間色表現[R2 G2 B2]を較正カメラによって位置合わせされたピクセル強度[Rc Gc Bc]にマッピングする、第2の非線形ガンマ関数(指数γ
2を伴う)を表す。
【0147】
いくつかの実装では、第1および第2のガンマ関数は、ディスプレイのFOVにわたる大域関数である(例えば、指数γ
1およびγ
2は、FOVにわたって一定である)。Coupling()は、FOVにわたってピクセル毎に変動する、局所(ピクセル依存)関数であることができる。Coupling()関数によって提供されるピクセル毎色マッピングは、ピクセル毎色彩平衡を可能にする。
【0148】
関数Gamma1{}、Gamma2{}、およびCoupling()を判定するために、ディスプレイの一連の1つまたはそれを上回る画像が、カメラによって捕捉されることができ、反復最適化アルゴリズム(例えば、山登り法、局所検索、シンプレックス法、遺伝子アルゴリズム等)を行い、ディスプレイのための合理的色彩平衡を提供する、ガンマおよび結合関数のために好適な適合を見つけるようにプログラムされる、分析システムによって分析されてもよい。分析システムは、分析システムがガンマおよび結合関数のための好適な適合を検索するにつれて、ディスプレイの付加的画像を捕捉することによって、反復プロセスの間、フィードバックを使用してもよい。例えば、関数Gamma1{}、Gamma2{}、およびCoupling()は、これらの関数を反復的に調節し、ディスプレイのFOVにわたってカメラ画像の色彩平衡を改良または最適化することによって、判定されることができる。関数は、反復プロセスの間に取得されたカメラ画像の白色点がディスプレイのFOVにわたって実質的に均一となるまで、反復的に調節されることができる。種々の実装では、実質的に均一な白色点分布は、測定された色システム内の白色点値の10%未満、5%未満、または1%未満のFOVにわたる白色点における変動と関連付けられる。例えば、国際照明委員会(CIE)によって提供される色空間が、使用されてもよい。いくつかの実装では、実質的に均一な白色点分布は、色空間の丁度可知差異(JND)に基づく、閾値量より小さい白色点における変動と関連付けられてもよい。いくつかの実装では、ガンマ伝達関数Gamma1{}およびGamma2{}は、最初に、反復的に算出され、次いで、いったんガンマ関数(例えば、指数γ
1よびγ
2)が算出されると、Coupling()関数が、算出される。
【0149】
製造環境においてディスプレイを較正するための生産プロセスは、生産ラインに沿って輸送されるにつれて、ディスプレイを自動的に特性評価することができる。例えば、生産プロセスにおける好適な点において、本明細書に説明される較正カメラおよび分析システムが、反復分析を行い、特定のディスプレイに関するガンマ伝達関数および結合関数を求め、結果として生じるガンマおよび結合関数をディスプレイと関連付けられたメモリ内に記憶することができる。ディスプレイは、次いで、色彩平衡を自動的に行う能力を有する。
【0150】
特定のディスプレイの使用の間、いったんガンマ伝達関数、Gamma1{}およびGamma2{}、およびCoupling()関数が、特定のディスプレイに関して既知となると、適切なディスプレイピクセル値[Rd Gd Bd]が、方程式(1)に入力され、彩度的に平衡された出力を達成することができる。例えば、特定のディスプレイに関して判定されたガンマ指数およびCoupling()関数は、ディスプレイにアクセス可能なメモリ内に記憶され、アクセスされ、入力画像ピクセル色値を変換し、ディスプレイからの彩度的に平衡された出力を提供することができる。いくつかの実装では、ウェアラブルディスプレイシステム200のローカル処理およびデータモジュール224は、ガンマ変換および結合関数を記憶することができ、処理モジュールは、方程式(1)を利用して、リアルタイムの彩度的に平衡された画像を出力することができる(
図2)。他の実装では、ディスプレイシステム400のコントローラ450が、方程式(1)および記憶されたガンマおよび結合関数に基づいて、色彩平衡を行うことができる(
図4)。さらに他の実装では、動的較正システム2600の動的較正プロセッサ2610が、以下に説明されるであろうように、方程式(1)および記憶されたガンマおよび結合関数を使用して、ディスプレイ2500のために色彩平衡を行うことができる(
図26)。
【0151】
それぞれ、以下により詳細に説明される
図27、28を参照して説明される、眼追跡に基づいて、ディスプレイを動的に較正するための方法2700またはプロセスフロー2805の実施形態は、色彩平衡および他の誤差補正/較正機能を行うことができる。例えば、方法2700のブロック2720においてアクセスされる較正は、ガンマおよび結合関数を含むことができ、ブロック2730では、ディスプレイの色彩不完全度が、方程式(1)およびアクセスされたガンマおよび結合関数の使用によって補正されることができる。別の実施例として、プロセスフロー2805のブロック2880は、ガンマおよび結合関数にアクセスし、較正の間、それらを適用することができる。
【0152】
図21は、ディスプレイを較正するための方法2150の実施例を図示する、フローチャートである。ディスプレイは、ライトフィールドディスプレイであることができる。ディスプレイは、ディスプレイ208(
図2)、ディスプレイシステム400(
図4−6)、およびディスプレイ2500(
図25A、25B、26)であることができる。方法2150は、ディスプレイのための製造プロセスの生産ラインの一部として(例えば、
図28を参照して説明されるプロセス2805の一部として))分析システム(カメラおよび
図18に示される計測システム1800等のコンピュータハードウェアによって実行される分析プログラムを含む)によって行われることができる。方法2150は、
図16を参照して説明されるプロセス1600のブロック1602を参照して説明される、カメラ較正の一部として行われることができる。いくつかの実装では、方法2700は、方程式(1)を適用し、ディスプレイとカメラ(ディスプレイのヒト視認者の視覚的知覚を表すと仮定される)との間の適切な変換を判定する。ブロック2160では、ディスプレイの画像が、カメラによって取得される。ブロック2170では、ディスプレイとカメラとの間の変換の大域的変換パラメータが、判定される。大域的変換パラメータは、ディスプレイのFOVにわたって変動しない、パラメータ(例えば、ピクセル依存ではないパラメータ)を含むことができる。例えば、大域的変換パラメータは、Gamma1{}およびGamma2{}関数を含むことができる。ある場合には、方法2150は、ブロック2160に戻り、大域的変換パラメータを判定するための反復フィードバックプロセスの一部として、1つまたはそれを上回る付加的画像を取得してもよい。大域的変換パラメータへの好適な適合が得られた後、方法2150は、ブロック2180に移動し、そこで、局所的(例えば、ピクセル依存)変換パラメータが、カメラ画像に適合される。例えば、局所的変換パラメータは、Coupling()関数(例えば、ディスプレイのFOVにわたるピクセル場所における本関数の値)を含むことができる。ある場合には、方法2150は、ブロック2160に戻り、局所的変換パラメータを判定するための反復フィードバックプロセスの一部として、1つまたはそれを上回る付加的画像を取得してもよい。いくつかの実装では、ブロック2160において付加的画像を取得後、方法2150は、大域的変換パラメータが以前に判定されたため、ブロック2170に進むのではなく、ブロック2180に戻り、局所的変換パラメータの適合を継続してもよい。局所的変換パラメータへの好適な適合が、カメラ画像に適合された後、方法2150は、ブロック2190に進み、そこで、局所的および大域的変換パラメータが、ディスプレイと関連付けられたメモリ(例えば、ローカルデータモジュール71)内に記憶される。前述のように、ディスプレイを動的に較正するための方法2700のブロック2720では、局所的および大域的変換パラメータは、ディスプレイのための較正の一部としてアクセスされることができ、ブロック2730では、局所的および大域的変換パラメータおよび方程式(1)が、適用され、ディスプレイからの彩度的に平衡された画像を生成することができる。
【0153】
ディスプレイのための色彩平衡の場合に関して説明されたが、本システムおよび方法は、そのように限定されず、ディスプレイの他の色彩(または空間)不完全度(例えば、上記に説明される色彩または空間不完全度のいずれか)を補正するために適用されることができる。例えば、上記に説明されるように、ディスプレイは、輝度平坦性変動を呈し得、開示される分析技法の実施形態は、輝度平坦性不完全度を補正する、輝度平坦性較正を判定することができる。加えて、または代替として、ディスプレイは、面内平行移動、回転、スケーリング、またはワーピング誤差および面外(例えば、焦点深度)誤差を含む、空間不完全度を呈し得る。開示される分析技法の実施形態は、そのような空間誤差の一部または全部のための較正を判定することができる。
【0154】
(較正パターンを使用したディスプレイ較正の実施例)
ディスプレイ内の不完全度は、ディスプレイによって投影された仮想オブジェクトを空間的にまたは彩度的に歪曲させて現わせ得る。これらの歪曲を補正するために、ディスプレイは、最初に、歪曲を測定し、次いで、任意の必要誤差補正を行う(例えば、
図18に図示される計測システム1800を使用して)ことによって、較正されてもよい。ディスプレイ較正は、ディスプレイを使用して、較正パターン、例えば、格子縞パターン(例えば、
図7に図示されるように)を投影させ、結果として生じる画像をカメラで捕捉するステップを伴うことができる。捕捉された画像は、次いで、パターン特徴点の予期される位置対その測定された位置間の誤差を定量化することによって、較正パターンの特徴点場所における歪曲を判定するように処理されることができる。別個の色層(例えば、赤色(R)、緑色(G)、および青色(B)層)を伴うディスプレイに関して、本較正はまた、色位置合わせおよび画質を補正することができる。
【0155】
図22は、較正パターンを使用した例示的較正システム2200を図示する。ディスプレイ2202は、カメラ2208等のイメージングデバイスを使用して捕捉され得る生成されたライトフィールド2206として、較正パターン2204を投影させるように構成されることができる。いくつかの実施形態では、ディスプレイ2202は、スタックされた導波管アセンブリ(例えば、
図4または6に図示されるように)または他のタイプのライトフィールドディスプレイを備える。いくつかの実施形態では、カメラ2208(またはディスプレイ2202)は、システム2200が、異なる側方位置、深度、または角度からライトフィールド706の画像を捕捉することを可能にするであろうように、移動可能であるように構成される。いくつかの実施形態では、較正システム2200は、
図18の計測システム1800に類似してもよい。例えば、ディスプレイ2202、ライトフィールド2206、およびカメラ2208は、計測システム1800のディスプレイ1802、ライトフィールド1804、およびカメラ1806に対応してもよい。
【0156】
本実施例では、較正パターン2204は、格子縞パターンを備え、異なる領域は、例えば、輝度(例えば、明色または暗色)、色彩、色相、飽和、色等の異なる(例えば、交互)光学特性を有する。格子縞パターンは、規則的パターン(例えば、
図22に図示されるように)または不規則的パターンであることができる。較正パターン2204は、カメラ2208によって捕捉された画像内の歪曲量を測定するために使用され得る、複数の特徴点を含有する。例えば、格子縞パターンの特徴点は、境界上の点および格子縞の格子間の角または格子縞の中心における点を含む。較正パターン2204は、ディスプレイ2202と同一サイズまたはより小さくあることができる。より小さい較正パターンは、ディスプレイ2202にわたって偏移されることができ、カメラ2208は、システム2200がディスプレイ2202の歪曲を測定するとき、ディスプレイにわたって偏移するにつれて、較正パターン2204の複数の画像を撮影してもよい。いくつかの実装では、較正パターン2204は、数学的に最適化されたシーケンスに従って、確率的にサンプリングされることができる。
【0157】
ディスプレイ2202内の誤差(例えば、1つまたはそれを上回る導波管またはレンズ内の不完全度)に起因して、ライトフィールド2206は、ライトフィールド内の仮想オブジェクトまたはパターンを歪曲して現れさせる不完全度を含有し得る。これは、較正パターン2204上の特徴点の予期される焦点位置(側方または深度)とカメラ2208によって捕捉された画像内のその実際の測定された位置との間の逸脱をもたらし得る。較正パターン2204の特徴点の実際の測定された位置とこれらの特徴点の予期される位置を比較することによって、歪曲によって生じる逸脱が、識別および測定されることができる。いくつかの実装では、較正パターンは、ディスプレイ2202の色誤差がシステム2200によって定量化され得るように、色情報を含む。いくつかの実施形態では、歪曲マップが、ディスプレイ2202の空間または色誤差の誤差補正のために使用されるために生成されてもよい(例えば、
図8に図示されるように)。
【0158】
いくつかの実装では、較正パターン2204内の各格子2304は、ピクセル毎のディスプレイ不完全度の直接測定を可能にし得る、ディスプレイ2202の単一ピクセルに対応する。他の実装では、各格子2304は、複数のピクセルに対応する(例えば、ピクセルのN×Mグリッドであって、NまたはMのうちの少なくとも1つは、1を上回る)。いくつかのそのような実装では、較正パターンの粗い品質は、歪曲情報がサンプル点において得られ、ピクセル毎歪曲情報を得るために内挿されることができることを意味する。例えば、
図23Aに図示される格子縞パターンでは、歪曲情報が、格子の境界、角、または中心上の点等の特徴点2302に対応するパターン場所に関して測定されてもよい。パターンの格子領域2304内の他の点に関する歪曲情報は、近傍特徴点2302と関連付けられた測定された歪曲値で推測または内挿されることができる。
【0159】
格子縞投影捕捉プロシージャは、特徴点(例えば、格子の縁)を識別し、歪曲較正のための予期される位置対測定された位置の誤差を定量化する。特徴点は、ディスプレイ内のピクセルの数と比較して、低密度であってもよい。例えば、高解像度ディスプレイは、数百万ピクセル(例えば、1920×1080ピクセル分解能のための2.1百万ピクセル)を備えてもよい一方、較正パターン内の格子804の数は、実質的に少なくてもよい(例えば、50×50、100×100、500×500パターンのため)。したがって、単一投影捕捉アプローチを使用するシステム2200の実施形態は、ピクセル毎歪曲を推定するために内挿され得る、サンプリングされた測定値をもたらす。
【0160】
ディスプレイのための正確なピクセル毎歪曲情報を得るために、システム2200の実施形態は、異なるまたは偏移された較正パターンを実装することによって歪曲情報を得るタスクを自動化することができる。異なる較正パターンが、投影されることができる、または同一パターンが、ディスプレイ2202のピクセル空間全体が測定されるように、徐々に偏移されることができる。自動化された画像投影および捕捉または異なる偏移された較正パターンは、ディスプレイ2202の歪曲のピクセル精細マッピングを可能にする。
【0161】
格子縞投影捕捉を自動的に繰り返すことによって(しかし、例えば、1−ピクセルずつ偏移された較正パターンを用いて)、システム2200は、ピクセル毎の改良された歪曲情報を得ることができる。例えば、カメラ2208は、パターンが偏移される度に、パターンの画像を得ることができる。各繰り返される画像捕捉を用いると、投影された較正パターンの特徴点は、異なるピクセルのセットに対応する。較正パターンの本偏移は、ディスプレイの歪曲場の高密度サンプリングが取得されるまで、繰り返されることができる。例えば、格子縞は、格子縞の格子のピクセルに対応するいくつかの位置を通して投影および偏移され、歪曲情報がディスプレイのピクセル毎に測定されることを可能にし得る。他の実装では、偏移は、1つのピクセル、例えば、2、3、4、5、8、16、またはそれを上回るピクセルと異なることができる。偏移は、ディスプレイの異なる方向に関して異なることができる、例えば、x−偏移は、y−偏移と同一である必要はない。
【0162】
本開示は、主に、実施例の目的のために、格子縞パターンを参照するが、他のタイプのパターンもまた、使用されてもよいことを理解されたい。例えば、他の幾何学的パターンが、使用されることができる、無作為確率的パターンが、使用されることができる、または任意の他のタイプの較正または試験パターンが、使用されることができる。いくつかの実施形態では、ディスプレイ内の単一ピクセルのみが一度にオンにされる較正パターンが使用される。
図23Bは、単一ピクセル2306のみがオンにされている、例示的単一ピクセル較正パターンを図示する。各結果として生じるフレームの捕捉された画像から、ディスプレイデバイスから視認者場面までのピクセル毎伝達関数が、定量化されることができる。各画像捕捉後、表示されるピクセル2306の場所は、ディスプレイにわたって(例えば、矢印2308によって示される方向に)設定距離(例えば、単一ピクセル)だけ偏移されてもよい。各ディスプレイのピクセルを通して自動的に掃引することによって、ディスプレイデバイスの品質の完全な定量化が、得られることができる。他の実装では、照明されたピクセルの偏移は、異なる数のピクセル、例えば、2、3、4、5、8、16、またはそれを上回るピクセルであることができる、偏移は、ディスプレイ上の異なる側方方向に関して異なることができる、または複数のピクセル(
図23Bに図示されるように単一ピクセルではなく)が、各画像捕捉において照明されることができる。
【0163】
図24は、自動化されたディスプレイ較正を行うための例示的プロセス2400のフローチャートである。プロセス2400は、例えば、
図27および28を参照して説明されるプロセス2700および2805の一部として、行われることができる。ブロック2402では、較正パターンが、ディスプレイによって投影される。較正パターンは、ディスプレイによって生成され得る、1つまたはそれを上回る特徴点を有する、任意のパターンを備えてもよい。いくつかの実施形態では、較正パターンは、格子縞パターンを備える。他の実施形態では、単一ピクセルパターン等の他のタイプの較正パターンが、使用されてもよい。
【0164】
ブロック2404では、表示される較正パターンの画像が、カメラまたは他のタイプの画像捕捉デバイスを使用して捕捉される。誤差または不完全度が、ディスプレイによって生成されたライトフィールド内に存在する場合、表示される較正パターンの一部は、歪曲され得、較正パターン内の1つまたはそれを上回る特徴点は、予期されるものと異なる場所に現れ得る。画像の輝度または色彩は、較正パターンから予期されるものと異なり得る。
【0165】
ブロック2406では、較正パターンの特徴点の予期される場所と特徴点の捕捉された場所との間の誤差に対応する歪曲が、判定される。例えば、単一ピクセル較正パターンに関して、歪曲情報は、パターンの特定のピクセル場所に関して計算されることができる。格子縞パターンに関して、歪曲情報は、格子縞の特徴点(例えば、格子の縁、角、または中心)に対応するピクセルに関して計算されることができる。いくつかの実装では、較正パターンの輝度または色彩と較正パターンの捕捉された画像の対応する輝度または色彩との間の輝度または色彩誤差が、判定される。
【0166】
ブロック2408では、較正パターンが投影されるべきディスプレイにわたって任意の付加的位置が存在するかどうかの判定が行われる。付加的位置が存在することが判定される場合、ブロック2410では、較正パターンが、新しい位置において偏移および投影されてもよく、較正パターンの画像が、捕捉され(ブロック2404)、歪曲量を計算するために使用されてもよい(ブロック2406)。いくつかの実施形態では、較正パターンを表示するための異なる位置の数は、使用される較正パターンに基づく。例えば、単一ピクセル較正パターンに関して、位置の数は、ディスプレイによって表示可能なピクセルの総数に対応してもよい。格子縞パターンに関して、位置の数は、各格子内のピクセルの数に基づいてもよい。
【0167】
いったん較正パターンが、全ての所望の位置に表示されると、ブロック912では、計算された歪曲は、集約され、ディスプレイのピクセル(またはピクセルのグループ)毎の歪曲情報を備える、歪曲マップを生成するために使用されてもよい。歪曲情報は、焦点誤差(例えば、面内誤差または面外誤差)または色誤差(例えば、輝度または色彩誤差)に起因して、空間歪曲を含み得る。ブロック2414では、誤差補正が、計算された歪曲マップを使用して、ディスプレイ上で行われてもよい。例えば、歪曲情報(例えば、歪曲マップ)は、
図2に図示されるウェアラブルディスプレイシステム200のデータモジュール224、232によって記憶されることができる。ウェアラブルディスプレイシステム200の処理モジュール224、228は、歪曲情報を使用して、ディスプレイシステム80の装着者204によって知覚される画像が少なくとも部分的に補償されるように、ディスプレイ208内の空間または色彩誤差を補正することができる。
【0168】
いくつかの実施形態では、
図24に図示されるプロセス2400は、ライトフィールドディスプレイのために行われることができる。実施例として、プロセス2400は、ライトフィールドディスプレイの導波管アセンブリ405内の導波管毎に行われ、導波管のそれぞれを較正することができる。ある場合には、複数の深度平面に対応する複数の導波管および複数の色(例えば、赤色(R)、緑色(G)、および青色(B))に対応する複数の導波管が存在し得る。例えば、深度平面毎に3つの色平面が存在するいくつかのディスプレイに関して、したがって、2つの深度平面を伴う導波管アセンブリは、2×3=6つの導波管を有することができる。加えて、ピクセル位置に加え、色位置合わせおよび品質もまた、ディスプレイの色彩(色)不完全度を補正するために、較正されてもよい。例えば、カメラ2208は、複数の色に敏感なカメラまたはそれぞれ色のサブセットに敏感なカメラの組み合わせであって、投影されたパターン2204の捕捉された色または輝度値と予期される色または輝度値との間の逸脱が識別され得る、ライトフィールド2208の画像を捕捉するために使用されることができる。
【0169】
(例示的導波管ディスプレイ)
図25Aは、導波管2505と、内部結合光学要素2507と、光再分散要素2511と、外部結合光学要素2509とを含む、ディスプレイ2500の実施例を図式的に図示する、上面図である。
図25Bは、軸A−A’に沿って
図25Aに描写される、ディスプレイ2500の断面図を図式的に図示する。
【0170】
導波管2505は、
図4に示されるディスプレイシステム400内の導波管405のスタックの一部であってもよい。例えば、導波管2505は、導波管420、422、424、426、428のうちの1つに対応してもよく、外部結合光学要素2509は、ディスプレイシステム400の光抽出光学要素460、462、464、466、468に対応してもよい。
【0171】
ディスプレイ2500は、光線2503i1、2503i2、および2503i3(それぞれ、実線、破線、および破線二重点線)によって表される異なる波長の着信入射光が、内部結合光学要素2507によって導波管2505の中に結合されるように構成される。導波管2505への着信入射光は、画像投入デバイス(
図4に図示される画像投入デバイス440、442、444、446、448のうちの1つ等)から投影されることができる。内部結合光学要素2507は、全内部反射(TIR)を介した導波管2505を通した伝搬を支援する適切な角度において、入射光の波長を導波管2505の中に結合するように構成されることができる。
【0172】
光再分散要素2511は、光2503i1、2503i2、および2503i3の異なる波長が導波管2505を通して伝搬する、光学経路内に配置されることができる。光分散要素2511は、内部結合光学要素2507からの光の一部を外部結合光学要素2509に向かって再指向し、それによって、伝搬方向に沿って光と相互作用するビームサイズを拡大させるように構成されることができる。故に、光分散要素2511は、ディスプレイデバイス2500の射出瞳を拡大させる際に有利であり得る。いくつかの実施形態では、光分散要素2511は、したがって、直交瞳拡大素子(OPE)として機能し得る。
【0173】
外部結合光学要素2509は、視認者が良好な視覚的品質の色画像を知覚し得るように、異なる波長および異なる深度平面における光の適切なオーバーレイを促進するための適切な角度(例えば、z−方向に)および効率において、導波管2505のx−y平面から要素2509上に入射する、内部結合された光を再指向するように構成されることができる。外部結合光学要素2509は、導波管2505を通して出射する光によって形成される画像がある深度から生じるように(視認者に)現れるように、導波管2505を通して出射する光に発散を提供する、屈折力を有することができる。外部結合光学要素2509は、ディスプレイ2500の射出瞳を拡大することができ、光を視認者の眼に指向する、射出瞳拡大素子(EPE)と称され得る。
【0174】
内部結合光学要素2507、外部結合光学要素1009、および光分散要素2511は、例えば、アナログ表面起伏格子(ASR)、バイナリ表面起伏構造(BSR)、体積ホログラフィック光学要素(VHOE)、デジタル表面起伏構造、および/または体積位相ホログラフィック材料(例えば、体積位相ホログラフィック材料内に記録されるホログラム)、または切替可能な回折光学要素(例えば、ポリマー分散液晶(PDLC)格子)等の複数の格子を含むことができる。種々の実施形態では、内部結合光学要素2507は、1つまたはそれを上回る光学プリズム、または1つまたはそれを上回る回折要素および/または屈折要素を含む、光学コンポーネントを含むことができる。種々のセットの回折または格子構造は、回折構造の射出圧縮成形、UV複製、またはナノインプリント等の加工方法を使用することによって、導波管上に配置されることができる。
【0175】
内部結合光学要素2507、外部結合光学要素1009、または光分散要素2511は、単一要素(例えば、
図25Aおよび25Bに図式的に描写されるように)である必要はなく、各そのような要素は、複数のそのような要素を含むことができる。これらの要素は、導波管2505の主要表面2505a、2505bの一方(または両方)上に配置されることができる。
図25Aおよび25Bに示される実施例では、内部結合光学要素2507、外部結合光学要素2509、および光分散要素2511は、導波管2505の主要表面2505a上に配置される。
【0176】
いくつかの実施形態では、1つまたはそれを上回る波長選択的フィルタが、内部結合光学要素2507、外部結合光学要素2509、または光分散要素2511と統合される、またはそれに隣接して配置されてもよい。
図25Aに図示されるディスプレイ2500は、導波管2505の表面の中またはその上に統合される、波長選択的フィルタ2513を含む。波長選択的フィルタは、導波管2505内の種々の方向に沿って伝搬し得る、1つまたはそれを上回る波長における光の一部をフィルタ除去するように構成されることができる。波長選択的フィルタは、色帯吸収体等の吸収性フィルタであることができる。
【0177】
(眼追跡に基づくARまたはVRディスプレイの動的較正の実施例)
ディスプレイシステムは、較正され(空間的におよび/または彩度的に)、改良された品質画像を生成することができる。ある接眼ディスプレイ(例えば、
図2に示されるディスプレイ208または
図25Aおよび25Bを参照して説明されるディスプレイ2500内で使用されるような
図4に示されるスタックされた導波管アセンブリ405)の場合、本較正は、公称上固定される眼位置(例えば、ディスプレイ208を通して真っ直ぐに見ている装着者)に関して合理的に正確であるが、他の眼姿勢方向または位置に関してはあまり正確ではない場合がある。したがって、ディスプレイのための較正は、眼位置または眼方向に依存し得る。単一(例えば、基準)位置のみに関する較正が使用される場合、装着者が異なる位置に向かって(例えば、基準位置から離れて)見ているときに補正されない、誤差が存在し得る。
【0178】
本開示はまた、眼追跡を使用する、ウェアラブルディスプレイシステム400のための動的較正の実施例を説明し、空間および/または色較正は、眼位置(またはある場合には、眼方向)における変化に応答して変化することができる。あるそのような較正は、広範囲の眼運動に関する高品質画像の維持をもたらし得る、フィードフォワード較正システムを提供する。いくつかの実装では、較正は、特殊ハードウェアの追加を伴わずに、ハードウェアプロセッサ(例えば、ウェアラブルディスプレイシステム200の処理モジュール224、228またはディスプレイシステム400のコントローラ450)を介して、リアルタイムで行われる。
【0179】
較正は、ディスプレイの視野内の空間誤差および/または色彩(色)誤差を補償(または補正する)することができる。例えば、空間誤差は、面内平行移動、回転、スケーリング、またはワーピング誤差および面外(例えば、焦点深度)誤差を含むことができる。色彩誤差は、表示され得る色(例えば、R、G、およびB)毎の輝度平坦性または色彩均一性誤差を含むことができる。
【0180】
図26は、ディスプレイ2500のための動的較正システム2600の実施例を図式的に図示し、較正は、基準位置のグリッド(ドット2602によって示される)において空間および/または色彩誤差を補正するために適用されることができる。動的較正システム2600は、ディスプレイ2500と、眼追跡カメラ500等の内向きに面したイメージングシステムと、動的較正プロセッサ2610(較正を読み出し、適用する)とを含むことができる。
図26は、
図25Aおよび25Bを参照して説明される光学要素の実施形態を含む、ディスプレイ2500の別の実施例を図式的に図示する。外部結合光学要素2509は、光を視認者の眼に指向する。視認者の眼が、外部結合光学要素2509に対して異なる位置2602に位置付けられるにつれて、その特定の眼位置(
図26にドット2602として図式的に示される)に関するディスプレイ2500の光学較正は、異なってもよい。例えば、眼が外部結合光学要素2509の中心の近傍の位置2602aにわたって位置付けられる場合の較正は、眼が外部結合光学要素2509の左上角に向かって位置2602bにわたって位置付けられる場合の較正と異なり、同様に、光学要素2509上の他の例示的位置2602のいずれかに関する較正とも異なり得る。
【0181】
ユーザの眼が、ディスプレイに対して移動するにつれて、ディスプレイの視野(FOV)は、ほぼ同一のままであるが、ディスプレイ内の空間および/または色彩歪曲は、眼がディスプレイに対して平行移動するにつれて変化し得る。FOVは、画像がユーザに提示される角度の範囲を含むため、較正データ(ディスプレイに対する所与の位置における)は、眼の実質的に全ての配向または視認角度を考慮することができる。例えば、ユーザが、その視覚を異なる角度に配向すると(ディスプレイに対して同一位置を維持しながら)、ユーザは、単に、同一の全体的歪曲を有する、画像の異なる部分を視認し得る。したがって、任意の所与の位置において、眼の配向が変化する(例えば、眼視線方向が変化する)につれて、眼の視界が、概して、ディスプレイのFOV内に留まり、同一較正(その所与の眼位置のための)が、実質的に全ての眼配向に関して使用されることができる。故に、較正システムのある実施形態は、位置依存較正を利用し、これは、加えて、配向依存ではない。
【0182】
ドット2602、2602a、2602bは、基準のためだけのものであって、外部結合光学要素2509またはディスプレイ2500の一部を形成しないことに留意されたい。さらに、3×3グリッド内の9つの位置2602が、
図26に図式的に図示されるが、これは、例証目的のためのものであって、ディスプレイ2500の較正のための位置の数(または配列)は、
図26に示されるものと異なり得ることを理解されたい。例えば、種々の実装では、1、2、3、4、5、6、7、8、9、10、11、12、16、20、25、100、256、またはそれを上回る較正位置が、使用される。較正位置は、2×2、3×3、4×4、5×5、6×6、7×7、9×9、または他の寸法グリッドまたは位置の他のパターンまたは配列で配列されることができる。
【0183】
ディスプレイ2500上の1つまたはそれを上回る位置に関する較正は、ディスプレイから投影された較正パターン(例えば、格子縞)内の誤差を測定する、ライトフィールド計測システムを使用して判定されることができる。較正は、ディスプレイが視認されるディスプレイにわたる位置に依存し得る。例えば、計測システムは、ユーザの眼に関する位置の範囲をシミュレートする、眼プロキシカメラをディスプレイに対して掃引することができる(例えば、カメラおよびディスプレイを相対的に平行移動させることによって)。カメラが、各サンプル点2602において、ディスプレイに対して掃引されるにつれて、計測システムは、較正(補正)値を構築し、それによって、較正対眼プロキシ位置のセットをもたらすことができる。特定のディスプレイに関する較正は、ウェアラブルディスプレイシステム200のデータモジュール224、228によって、ルックアップテーブル(LUT)(または他の効率的データ構造)として記憶されてもよい。他の実装では、分析モデルは、計測システムから得られた較正データに適合されることができ、適合された分析モデルは、ウェアラブルディスプレイシステム200によって記憶されることができる。他のモデル化またはデータ参照方法も、較正を記憶するために使用されることができる。前述のように、較正は、ディスプレイの較正位置(例えば、
図26に示される例示的ディスプレイ2500に関する較正位置の3×3グリッド)毎に生成された空間および/または色彩補正を含むことができる。種々の実装では、較正を捕捉するために、ディスプレイが、固定カメラに対して掃引(平行移動)される、カメラが、固定ディスプレイに対して掃引(平行移動)される、またはカメラおよびディスプレイの両方が、相互に対して掃引(平行移動)されることに留意されたい。
【0184】
眼プロキシカメラの視野(FOV)がディスプレイのFOVを上回る実装では、較正カメラをディスプレイに対していくつかの離散位置に(例えば、ドット2602によって示される位置にわたって)設置し、1つまたはそれを上回る較正画像を撮影することは、離散位置毎に較正を判定するために、ディスプレイの不完全度に関する十分な情報を提供する。いくつかのそのような実装では、カメラは、ディスプレイの全FOVを捕捉することができ、位置2602のそれぞれにおけるカメラの配向(例えば、向いている方向)を変動する必要がなくあり得る。他の実装では、較正カメラの配向(各位置2602における)は、付加的画像を取得し、ディスプレイのFOVをマップするために変動されてもよい(例えば、カメラのFOVがディスプレイのFOV未満であるとき)。
【0185】
較正位置は、ディスプレイ2500に対する眼位置を表すことができる。例えば、ディスプレイ2500の装着者は、典型的には、装着者の眼(x−y平面における)が、外部結合光学要素2509のほぼ中心近傍となる、例えば、装着者の眼が位置2602aにわたって位置付けられるように、ディスプレイを位置付けるであろう。位置2602aに関する(光学要素2509の中心の近傍の)較正は、したがって、ディスプレイ2500と略垂直に(例えば、z−方向に実質的に沿って)伝搬する光に対応し、動的較正プロセッサ2610によって適用されることができる。装着者の眼が、位置2602bにわたって上向きかつ左に移動する場合(光学要素2509の左上角の近傍)、位置2602bに関する較正が、プロセッサ2510によって適用されることができる。眼追跡カメラ500は、眼をイメージングすることができ(例えば、リアルタイムで)、動的較正プロセッサ2510が、眼追跡データを使用して、眼の位置を判定し、適切な較正を選択し(判定された眼位置に基づいて)、較正をディスプレイに適用することができる。いくつかの実装では、眼位置は、角膜位置および視線方向から判定される。さらに、他の実施形態では、眼配向(例えば、視線方向)が、判定されてもよく、配向依存である較正が、使用されてもよい。
【0186】
ウェアラブルディスプレイシステム200の実施形態は、
図8に図式的に図示される動的較正システム2600の実施形態を含むことができる。例えば、眼追跡カメラ500(
図4を参照して説明される)が、ウェアラブルディスプレイシステム200のフレームに添着されることができ、装着者の眼姿勢(例えば、眼位置または眼方向)を動的に測定することができる。カメラ500からの画像は、動的較正プロセッサ2610によって使用され、装着者の眼姿勢をリアルタイムまたはほぼリアルタイムで判定することができる。動的に較正されるシステムが動作時、眼追跡カメラは、リアルタイムまたはほぼリアルタイムで、動的較正プロセッサ2610に、装着者の現在の眼姿勢を知らせることができる。動的較正プロセッサ2610は、測定された眼姿勢(例えば、位置または配向)に基づいて、適切な較正(例えば、データモジュール224、228内に記憶される適切な較正LUT)をフェッチおよび適用することができる。装着者が直接記憶された較正位置を見ていない場合、または装着者の眼が較正位置の直上に位置しない場合、動的較正プロセッサは、近傍較正位置(例えば、少なくとも、装着者の眼姿勢に最も近い較正位置を含む)に関する較正間で内挿(または外挿)し、装着者の現在の眼姿勢のために適用するための適切な較正を判定することができる。故に、ディスプレイシステム200(動的較正システム2600を伴う)は、ディスプレイ内の不完全度(空間または色彩)を補正し、それによって、良好な品質の色画像を装着者に提供することができる。本明細書に説明されるように、ある場合には、較正は、眼配向(例えば、視線方向)ではなく、ディスプレイに対する眼位置に依存するが、これは、限定ではない。
【0187】
動的較正プロセッサ2610は、メモリ(例えば、データモジュール224、228)内に記憶されるソフトウェアとして実装されることができ、ソフトウェア命令は、処理モジュール224、228の一方または両方によって、またはコントローラ450によって、実行されることができる。故に、較正の連続調節は、装着者の眼の広範囲の入力運動にわたって高品質画像をもたらすことができる。
【0188】
いくつかの実装では、較正は、低減された数の較正位置(例えば、2×2または3×3グリッド)に記憶され、データ記憶の量を低減させる。上記に説明されるように、動的較正プロセッサは、内挿または外挿し、直接記憶された較正位置にない眼姿勢に関する較正を判定することができる。
【0189】
いくつかの実施形態では、ウェアラブルディスプレイシステム200は、単一眼追跡カメラを使用して、装着者の単一眼の姿勢を測定し、動的較正プロセッサ2610は、ディスプレイシステム200に対する装着者の他方の眼の姿勢を推測する(両眼は、典型的には、同一方向に向かって向いているため)。他の実施形態では、ウェアラブルディスプレイシステム200は、2つの眼追跡カメラ(眼毎に1つ)を使用して、各眼の姿勢を独立して測定する。いくつかの実施形態では、別個の較正が、ディスプレイ毎に、ウェアラブルシステム内に記憶される(多くの場合、装着者の眼のそれぞれの正面に1つずつ、2つのディスプレイが存在し、したがって、2つの較正が記憶される)。他の実施形態では、単一較正(例えば、平均較正)は、ウェアラブルシステム200内のディスプレイの全てに関して記憶および使用される。
【0190】
眼追跡カメラ(または他のタイプの内向きに面したイメージングシステム)は、ユーザの顔の眼球周囲領域をイメージングすることができる。眼球周囲領域は、眼および眼の周囲の領域を含むことができる。例えば、眼球周囲領域は、眼(眼窩等)および眼の周囲の領域を含むことができる。眼の周囲の領域は、例えば、眉毛、鼻の一部、頬、および額を含んでもよい。眼球周囲領域は、眉毛の形状、目頭、眼瞼の特性等、種々の特徴を有し得る。いくつかの実装では、これらの特徴のうちの1つまたはそれを上回るものは、主要点、点群、または他のタイプの数学的表現によって表されてもよい。ウェアラブルデバイスは、画像内のこれらの特徴を識別し、これらの特徴を使用して、ウェアラブルディスプレイシステムとユーザの顔との間の相対的位置を判定することができる。ある実施形態では、ウェアラブルディスプレイシステム200は、眼毎に、相対的位置を別個に計算してもよい。例えば、ウェアラブルデバイスが、それぞれ、ユーザの1つの眼をイメージングするように構成される、1つまたは2つの眼カメラを有するとき、ウェアラブルデバイスは、左眼とウェアラブルディスプレイシステムとの間の1つの相対的位置と、右眼とウェアラブルディスプレイシステムとの間の別の相対的位置とを計算してもよい。ウェアラブルデバイスはまた、個別の眼に関する相対的位置を別個に追跡することができる。左眼とウェアラブルディスプレイシステムとの間の相対的位置は、右眼とウェアラブルディスプレイシステムとの間の相対的位置と異なり得るため(ウェアラブルシステムが片側に傾斜しているとき等)、仮想オブジェクトのレンダリング場所に対する調節は、左眼ディスプレイおよび右眼ディスプレイに関して異なってもよい。
【0191】
ウェアラブルディスプレイシステムは、スケール不変特徴変換(SIFT)、高速化ロバスト特徴(SURF)、配向付き高速および回転BRIEF(ORB)、バイナリロバストな不変スケーラブル主要点(BRISK)、高速網膜主要点(FREAK)等のニューラルネットワークまたは視覚的主要点技法を使用して、眼球周囲特徴を算出および追跡することができる。いくつかの実施形態では、特定の顔特徴が、その特定の顔特徴に関して具体的に設計される検出器を使用して追跡されてもよい。例えば、目頭、鼻特徴、口角等の眼球周囲特徴が、種々のアルゴリズムを使用して、別個に識別および追跡されてもよい。これらの眼球周囲特徴のうちの1つまたはそれを上回るものを別個に追跡することは、ユーザが自身を表現している間または話し中である間、実質的運動を受けやすいため、有利であり得る。これらの眼球周囲特徴と関連付けられた検出器は、移動性の範囲を考慮してもよい。実施例として、いくつかの顔特徴は、ある方向により移動する可能性が高くあり得、他の方向には安定する(例えば、眉毛は、上下に移動するが、左右には移動しない傾向にある)。ウェアラブルシステムは、顔特徴の移動を統計的に分析することができる。これらの統計は、顔特徴がある方向に移動するであろうという尤度を判定するために使用されてもよい。いくつかの実施形態では、1つまたはそれを上回る顔特徴は、除去または追跡解除されてもよい。例えば、ウェアラブルディスプレイシステムは、眼球周囲領域の位置を追跡するとき、眼移動を無視してもよい。
【0192】
ウェアラブルディスプレイシステムはまた、逐次ベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節等の視覚的同時場所およびマッピング(vSLAM)技法を使用して、顔特徴を識別および追跡することができる。いくつかの実施形態では、ウェアラブルデバイスは、深度知覚を可能にするように構成されてもよい。例えば、ウェアラブルシステムは、1つまたはそれを上回るカメラによって取得されたデータからの顔の少なくとも一部をエンコードする、高密度マップを構築することができる。主要点マップではなく、高密度マップは、その3D形状が測定される、顔のパッチまたは領域を備えてもよい。パッチまたは領域は、反復最近傍アルゴリズムまたは類似アルゴリズム等の技法を使用して、ユーザの顔に対するHMDの場所を算出するために使用されてもよい。
【0193】
いくつかの実装では、眼カメラによって取得された画像は、ウェアラブルディスプレイシステム200が眼球周囲特徴を追跡するために高品質画像である必要がないため、低分解能画像であってもよい。加えて、または代替として、眼イメージャから得られた画像の分解能は、そのオリジナル分解能または他の用途(例えば、眼追跡)で使用される分解能に対してダウンサンプリングされてもよい。
【0194】
ウェアラブルディスプレイシステム200は、種々の技法を使用して、一方または両方の眼カメラによって得られる画像を分析し、ディスプレイシステムのディスプレイとユーザとの間の相対的位置を判定することができる。ディスプレイとユーザの眼との間の相対的位置は、ユーザの顔に対するディスプレイシステム200の通常静止位置であってもよい。ディスプレイシステム200の通常静止位置は、ウェアラブルシステムの初期フェーズの間、判定されてもよい。例えば、ユーザが、最初に、ウェアラブルシステムを使用するとき、ウェアラブルシステムは、顔モデル(例えば、ユーザの顔のマップ)を構築し、顔モデルに基づいて、ユーザの眼に対するディスプレイの通常静止位置を判定してもよい。
【0195】
ユーザが、ウェアラブルシステム200を使用している間、ウェアラブルシステムは、種々の技法を使用して、ディスプレイとユーザとの間の相対的位置を追跡することができる。例えば、ウェアラブルデバイスは、眼球周囲特徴と関連付けられた視覚的主要点を識別および追跡することができる。ウェアラブルシステムはまた、取得された画像内で識別された顔の領域をユーザの顔の高密度マップに対して合致させ、顔に対するディスプレイの場所を算出することができる。
【0196】
故に、種々の眼追跡または顔イメージング技法が、ユーザの眼とディスプレイシステムのディスプレイとの間の相対的位置を(静的または動的に)判定するために使用されることができる。ディスプレイシステム200は、次いで、少なくとも部分的に、本明細書にさらに説明されるように、判定された相対的眼位置に基づいて、適切な空間および/または色彩較正を選択し、ディスプレイに適用することができる。
【0197】
図27は、眼追跡に基づいてディスプレイを動的に較正するための例示的方法2700を図示する、フローチャートである。方法2700は、動的較正システム2600によって行われることができる。ブロック2710では、ユーザの眼が、追跡され、ディスプレイに対するユーザの眼位置を判定する。例えば、ディスプレイシステム2600のカメラ500が、ユーザの眼位置を判定することができる。一方または両方の眼が、追跡されることができる。ブロック2720では、判定された眼位置に基づく較正が、アクセスされる。ブロック2730では、較正は、ディスプレイ内の空間および/または色彩不完全度を補正するためにディスプレイに適用される。例えば、動的較正プロセッサ2610は、所望の光ビームがディスプレイによって出力されるように、補正を適用し、ディスプレイの導波管の中に投入される光の性質を調節することができる。ある場合には、光が、若干異なる色または位置または配向で投入され、ディスプレイ不完全度のために調節してもよい。例えば、ディスプレイによって投影されるべき入力画像内のRGB色値のうちの1つまたはそれを上回るものは、対応するRGB較正を介して修正され(ユーザの眼位置に基づいて)、修正されたRGB値は、投影のためにディスプレイに送信されることができる。修正されたRGB値を投影させる不完全なディスプレイの正味効果は、少なくとも部分的に、ディスプレイの不完全度(空間および/または色彩)を補正する、投影された画像を生成することである。他の場合には、導波管アセンブリ内の能動的に制御される回折光学要素が、少なくとも部分的に、ディスプレイ内の不完全度を補正する、光ビームがディスプレイから投影されるように、動的較正プロセッサによって調節されることができる。いくつかの実装では、方法2700は、眼追跡カメラ500がユーザの眼を監視し、眼位置における変化が検出される場合、新しい較正(新しい眼位置に関する)が、ディスプレイを較正するために使用されるように、フィードバックループとしてリアルタイムで行われる。ある場合には、眼位置における変化が閾値(例えば、較正位置のグリッド間の間隔の割合)を超える場合、新しい較正が適用される。いくつかのそのような実装は、有利には、ユーザが視認するための較正されたディスプレイを持続的に提供し得る。いくつかの実装では、方法2700は、随時(例えば、ユーザがディスプレイをユーザの眼にわたって設置するとき)または周期的に(例えば、ディスプレイとユーザの眼との間の偶発的滑脱を補正するため)行われてもよい。
【0198】
図28は、工場較正システムと特定のディスプレイと関連付けられた動的較正システムの相互作用の実施例を図式的に図示する、プロセスフロー
図2805である。本実施例では、眼プロキシカメラ較正システム2810が、工場(製造)設定において使用され、製造されているディスプレイに関する位置依存較正を判定する。ブロック2820では、プロセスは、製造されている特定のディスプレイ毎に1つまたはそれを上回る較正画像を分析し、眼プロキシ位置毎に較正を生成する。ブロック2830では、較正が、各ディスプレイが、製造プロセスの間、その特定のディスプレイのためにカスタマイズされる、較正へのアクセスを有するように、特定のディスプレイと関連付けられたメモリ内に記憶される。例えば、較正は、ディスプレイ208のデータモジュール224または遠隔データリポジトリ232内にルックアップテーブル(LUT)として記憶されてもよい。プロセスフロー2805の本部分は、ディスプレイ毎にカスタマイズされた較正を提供するように、製造の間、ディスプレイ毎に1回、行われてもよい。
【0199】
本実施例では、各ディスプレイシステム(例えば、ウェアラブルディスプレイシステム200の実施形態)は、ブロック2830において記憶された較正を使用して、リアルタイム較正を行うことができる。例えば、ディスプレイの眼追跡システム2840(眼追跡カメラ500を含んでもよい)は、眼の角膜の位置および眼の視線方向を判定し、眼の位置を判定してもよい。ブロック2850では、ディスプレイシステム(例えば、動的較正プロセッサ2610を介して)は、判定された眼位置に基づいて、メモリから、適切な較正をフェッチしてもよい。ブロック2860では、較正が、ディスプレイ(例えば、動的較正プロセッサ2610を介して)に適用され、ディスプレイの空間および/または色彩誤差を補正する。ブロック2870では、装着者は、較正されたディスプレイによって投影された画像を視認可能である。ディスプレイに対する装着者の眼の位置が変化するにつれて、ディスプレイシステム内のプロセスフローは、較正を、例えば、リアルタイムで更新してもよい。
【0200】
動的較正システム2600の実施形態が、ウェアラブルディスプレイシステム内のディスプレイの状況で説明されたが、これは、限定ではなく、動的較正システム(例えば、眼追跡カメラおよび動的較正プロセッサ)は、任意のディスプレイ(ウェアラブルまたは非ウェアラブル)のために使用されることができ、その較正は、公称視認位置(例えば、ディスプレイの中心と垂直)に近似することによってのみ良好となる。例えば、動的較正システムは、フラットパネルディスプレイ、液晶ディスプレイ、発光ダイオードディスプレイ、微小電気機械システム(MEMS)ディスプレイ等のために使用されることができる。
【0201】
(画像補正を行うための付加的側面)
第1の側面では、画像補正をディスプレイ上で行うためのコンピュータ実装方法が、開示される。本方法は、コンピュータハードウェアと、カメラとを備える、ディスプレイ較正システムの制御下にあって、カメラを較正するステップと、カメラを用いて、ディスプレイによって投影されたライトフィールドの画像を捕捉するステップであって、ライトフィールドは、ディスプレイのディスプレイ層と関連付けられる、ステップと、少なくとも部分的に、捕捉された画像に基づいて、投影された位置とディスプレイ層の点の予期される位置との間の逸脱に対応するベクトルを備える、ベクトル場を生成するステップと、生成されたベクトル場を使用して、ディスプレイのために、偏芯補正、集合回転補正、集合スケーリング補正、または空間マッピングのうちの少なくとも1つを行うステップと、少なくとも部分的に、捕捉された画像に基づいて、ディスプレイ層上の複数の点に対応する複数の輝度値を判定するステップと、判定された複数の輝度値を使用して、ディスプレイのために、輝度平坦化または色彩平衡のうちの少なくとも1つを行うステップとを含む。
【0202】
第2の側面では、偏芯補正を行うステップは、投影されたディスプレイ層の中心点を識別するステップと、平行移動ベクトルを判定するステップであって、平行移動ベクトルは、識別された中心点と予期される中心点位置との間の平行移動誤差に対応する、ステップとを含む、側面1に記載のコンピュータ実装方法。
【0203】
第3の側面では、集合回転を行うステップは、投影されたディスプレイ層の中心点を識別するステップと、回転量を判定するステップであって、回転量は、投影された位置と予期される位置との間のピクセル誤差量が最小限にされるように中心点を中心として投影されたディスプレイ層の回転に対応する、ステップとを含む、側面1または側面2に記載のコンピュータ実装方法。
【0204】
第4の側面では、集合スケーリングを行うステップは、投影されたディスプレイ層の中心点を識別するステップと、スケーリング量を判定するステップであって、スケーリング量は、投影された位置と予期される位置との間のピクセル誤差量が最小限にされるように中心点を中心として投影されたディスプレイ層のスケーリングに対応する、ステップとを含む、側面1−3のいずれか1項に記載のコンピュータ実装方法。
【0205】
第5の側面では、空間マッピングを行うステップは、非線形変換を識別し、ディスプレイ層の投影された位置と予期される位置とを整合させるステップを含む、側面1−4のいずれか1項に記載のコンピュータ実装方法。
【0206】
第6の側面では、輝度平坦化を行うステップは、複数の輝度値の最小輝度値を判定するステップと、複数の輝度値の全ての輝度値を最小輝度値まで低下させるステップとを含む、側面1−5のいずれか1項に記載のコンピュータ実装方法。
【0207】
第7の側面では、輝度平坦化を行うステップは、閾値輝度値を判定するステップと、閾値輝度値を上回る複数の輝度値の全ての輝度値を閾値輝度値まで低下させるステップとを含む、側面1−5のいずれか1項に記載のコンピュータ実装方法。
【0208】
第8の側面では、色彩平衡を行うステップは、ディスプレイ層と関連付けられた色クラスタを識別するステップであって、色クラスタは、少なくとも1つの付加的ディスプレイ層を含む、ステップと、ディスプレイ層上の複数の点の点毎に、ディスプレイ層上の点に対応する輝度値と付加的ディスプレイ層上の点に対応する輝度値を比較するステップと、複数の輝度値の各輝度値をその対応する点と関連付けられた最低輝度値まで低下させるステップとを含む、側面1−7のいずれか1項に記載のコンピュータ実装方法。
【0209】
第9の側面では、集合回転補正を行うステップは、ベクトル場のカールを計算するステップを含む、側面1−8のいずれか1項に記載のコンピュータ実装方法。
【0210】
第10の側面では、集合スケーリング補正を行うステップは、ベクトル場の発散を計算するステップを含む、側面1−9のいずれか1項に記載のコンピュータ実装方法。
【0211】
第11の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面1−10のいずれか1項に記載のコンピュータ実装方法。
【0212】
第12の側面では、ライトフィールドディスプレイは、スタックされた導波管アセンブリを備える、側面11に記載のコンピュータ実装方法。
【0213】
第13の側面では、スタックされた導波管アセンブリは、それぞれ、2つまたはそれを上回る深度平面に対応する、2つまたはそれを上回る導波管を備える、側面12に記載のコンピュータ実装方法。
【0214】
第14の側面では、各深度平面は、赤色ディスプレイ層、緑色ディスプレイ層、および青色ディスプレイ層と関連付けられる、側面13に記載のコンピュータ実装方法。
【0215】
第15の側面では、ディスプレイを較正する方法が、開示される。本方法は、コンピュータハードウェアを備える、ディスプレイ較正システムの制御下にあって、ディスプレイによって投影された較正パターンの画像にアクセスするステップと、投影されたライトフィールド内の較正点の予期される位置と画像内の実際の表示される位置との間の空間歪曲を判定するステップと、空間歪曲を分析し、ディスプレイのための空間較正を判定するステップと、空間較正をディスプレイと関連付けられた非一過性メモリ内に記憶するステップとを含む。
【0216】
第16の側面では、空間較正は、面内空間誤差または面外空間誤差のうちの1つまたはそれを上回るものを補正する、側面15に記載の方法。
【0217】
第17の側面では、空間較正は、平行移動誤差、回転誤差、スケーリング誤差、またはピクセルワーピングのうちの1つまたはそれを上回るものを補正する、側面15または側面16に記載の方法。
【0218】
第18の側面では、色彩歪曲を画像から判定するステップと、色彩歪曲を分析し、ディスプレイのための色彩較正を判定するステップと、色彩較正をディスプレイと関連付けられた非一過性メモリ内に記憶するステップとをさらに含む、側面15−17のいずれか1項に記載の方法。
【0219】
第19の側面では、色彩較正は、ディスプレイの輝度平坦性または色彩均一性を補正する、側面18に記載の方法。
【0220】
(光学計測システムの付加的側面)
第20の側面では、ディスプレイによって生成されたライトフィールド内の不完全度を測定するための光学計測システムが、開示される。光学計測システムは、意図される焦点位置を有する仮想オブジェクトを備える標的ライトフィールドを投影させるように構成される、ディスプレイと、標的ライトフィールドの画像を得るように構成される、カメラと、ライトフィールドの一部に対応する1つまたはそれを上回る画像にアクセスし、1つまたはそれを上回る画像を分析し、仮想オブジェクトが合焦する位置に対応する測定された焦点位置を識別し、少なくとも部分的に、測定された焦点位置と意図される焦点位置の比較に基づいて、ライトフィールド内の不完全度を判定するように実行可能命令を用いてプログラムされる、プロセッサとを備える。
【0221】
第21の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面20に記載の光学計測システム。
【0222】
第22の側面では、ディスプレイは、光を出力し、仮想オブジェクトを特定の深度平面に投影させるように構成される、導波管のスタックを備える、側面20または側面21に記載の光学計測システム。
【0223】
第23の側面では、カメラは、小焦点深度を有する、デジタルカメラを備える、側面20−22のいずれか1項に記載の光学計測システム。
【0224】
第24の側面では、カメラは、焦点を有し、システムは、ある範囲の焦点にわたってカメラの焦点を掃引し、1つまたはそれを上回る画像を得るように構成される、側面23に記載の光学計測システム。
【0225】
第25の側面では、カメラは、ライトフィールドカメラを備える、側面20−22のいずれか1項に記載の光学計測システム。
【0226】
第26の側面では、仮想オブジェクトは、格子縞パターン、幾何学的パターン、または確率的パターンを備える、側面20−25のいずれか1項に記載の光学計測システム。
【0227】
第27の側面では、ディスプレイは、複数のピクセルを備え、標的ライトフィールドは、照明されている複数のピクセルの全て未満のサブセットに対応する、側面20−26のいずれか1項に記載の光学計測システム。
【0228】
第28の側面では、測定された焦点位置は、焦点深度を含む、側面20−27のいずれか1項に記載の光学計測システム。
【0229】
第29の側面では、測定された焦点位置はさらに、側方焦点位置を含む、側面28に記載の光学計測システム。
【0230】
第30の側面では、判定された不完全度は、少なくとも部分的に、意図される焦点位置と測定された焦点位置との間の誤差ベクトルに基づく、側面29に記載の光学計測システム。
【0231】
第31の側面では、判定された不完全度は、空間不完全度を備える、側面20−30のいずれか1項に記載の光学計測システム。
【0232】
第32の側面では、判定された不完全度は、色彩不完全度を備える、側面20−31のいずれか1項に記載の光学計測システム。
【0233】
第33の側面では、プロセッサはさらに、少なくとも部分的に、判定された不完全度に基づいて、ディスプレイに関する誤差補正を判定するようにプログラムされる、側面20−32のいずれか1項に記載の光学計測システム。
【0234】
第34の側面では、ライトフィールド内の不完全度を測定するための方法が、開示され、本方法は、ディスプレイによって投影されたライトフィールドの一部に対応する、1つまたはそれを上回る画像にアクセスするステップであって、ライトフィールドの一部は、意図される焦点位置を有する、ステップと、1つまたはそれを上回る画像を分析し、ライトフィールドの一部が合焦する位置に対応する、測定された焦点位置を識別するステップと、少なくとも部分的に、測定された焦点位置と意図される焦点位置の比較に基づいて、ライトフィールド内の不完全度を判定するステップとを含む。
【0235】
第35の側面では、カメラの焦点を掃引し、1つまたはそれを上回る画像を得るステップを含む、側面34に記載の方法。
【0236】
第36の側面では、ライトフィールドカメラを使用して、1つまたはそれを上回る画像を得るステップを含む、側面34に記載の方法。
【0237】
第37の側面では、格子縞パターンを備えるライトフィールド画像を投影させるステップをさらに含む、側面34−36のいずれか1項に記載の方法。
【0238】
第38の側面では、少なくとも部分的に、判定された不完全度に基づいて、ライトフィールドのための誤差補正を判定するステップをさらに含む、側面34−37のいずれか1項に記載の方法。
【0239】
(ディスプレイの較正の付加的側面)
第39の側面では、ディスプレイのための較正システムが、提供される。較正システムは、ディスプレイの画像を取得するように構成される、カメラと、カメラと通信するハードウェアプロセッサであって、ディスプレイの画像を受信し、ディスプレイのための較正を判定し、較正をディスプレイと関連付けられたメモリ内に記憶するようにプログラムされる、ハードウェアプロセッサとを備える。
【0240】
第40の側面では、較正は、ディスプレイ内の空間不完全度を補正するための空間較正を備える、側面39に記載の較正システム。
【0241】
第41の側面では、較正は、ディスプレイ内の色不完全度を補正するための色彩較正を備える、側面39に記載の較正システム。
【0242】
第42の側面では、ディスプレイは、視野内の複数のピクセルを備え、較正を判定するために、ハードウェアプロセッサは、ディスプレイの視野内のピクセルから独立する大域的変換パラメータを判定し、ディスプレイの視野内のピクセルに依存する局所的変換パラメータを判定するようにプログラムされる、側面39−41のいずれか1項に記載の較正システム。
【0243】
第43の側面では、大域的変換パラメータは、1つまたはそれを上回る非線形ガンマ補正を備える、側面42に記載の較正システム。
【0244】
第44の側面では、局所的変換は、線形関数を備える、側面42または側面43に記載の較正システム。
【0245】
第45の側面では、較正を判定するために、ハードウェアプロセッサは、カメラによって取得された画像からのフィードバックを使用して、較正を反復的に求めるようにプログラムされる、側面39−44のいずれか1項に記載の較正システム。
【0246】
第46の側面では、較正は、色彩較正を備え、ディスプレイは、白色点を提供し得る、複数の色レベルを備え、較正を判定するために、ハードウェアプロセッサは、白色点がディスプレイの視野にわたって実質的に均一であるように、色レベルの強度を調整するようにプログラムされる、側面39−45のいずれか1項に記載の較正システム。
【0247】
第47の側面では、較正を判定するために、ハードウェアプロセッサは、ディスプレイに送信される色レベルを第1の中間色表現にマッピングする、第1のガンマ補正を求め、第1の中間色表現を第2の中間色表現にマッピングする、ピクセル依存結合関数を求め、第2の中間色表現をカメラによって位置合わせされた色レベルにマッピングする、第2のガンマ補正を求めるようにプログラムされる、側面46に記載の較正システム。
【0248】
第48の側面では、ハードウェアプロセッサは、ピクセル依存結合関数を求めることに先立って、第1のガンマ補正および第2のガンマ補正を求めるようにプログラムされる、側面47に記載の較正システム。
【0249】
第49の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面39−48のいずれか1項に記載の較正システム。
【0250】
第50の側面では、ディスプレイは、複数の導波管を備える、スタック可能導波管アセンブリを備える、側面39−49のいずれか1項に記載の較正システム。
【0251】
第51の側面では、ディスプレイは、ウェアラブルディスプレイシステムのために構成される、側面39−50のいずれか1項に記載の較正システム。
【0252】
第52の側面では、ディスプレイを較正するための方法が、提供される。本方法は、コンピュータハードウェアによって行われる動的較正システムの制御下にあって、ディスプレイのための較正にアクセスするステップと、少なくとも部分的に、アクセスされた較正に基づいて、少なくとも部分的に、ディスプレイ内の不完全度を補正するためにディスプレイに適用するための補正を判定するステップと、補正をディスプレイに適用するステップとを含む。
【0253】
第53の側面では、較正にアクセスするステップは、色彩較正を含む、側面52に記載の方法。
【0254】
第54の側面では、ディスプレイは、視野内の複数のピクセルを備え、色彩較正は、複数のピクセル独立非線形ガンマ補正およびピクセル依存結合関数を備える、側面53に記載の方法。
【0255】
第55の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面52−54のいずれか1項に記載の方法。
【0256】
第56の側面では、ディスプレイと、較正を記憶するように構成される、メモリと、非一過性メモリと通信し、側面14−17のいずれか1項に記載の方法を行うようにプログラムされる、ハードウェアプロセッサとを備える、頭部搭載型ディスプレイが、提供される。
【0257】
(較正パターンの付加的側面)
第57の側面では、ディスプレイによって生成されたライトフィールドを較正するための光学システムであって、特徴点を含有する較正パターンを備える、標的ライトフィールドを投影させるように構成される、ディスプレイと、標的ライトフィールドの画像を得るように構成される、カメラと、複数の位置毎に、ディスプレイに較正パターンを複数の位置内の位置に投影させ、カメラに投影された較正パターンの画像を得させ、特徴点の歪曲を計算し、歪曲は、特徴点の予期される場所と特徴点の測定された場所との間の誤差または較正パターンの予期される輝度または色彩と較正パターンの測定された輝度または色彩との間の誤差に対応し、複数の位置内の次の位置の判定に応答して、表示されるべき較正パターンを次の位置に偏移させるように実行可能命令を用いてプログラムされる、プロセッサとを備える。
【0258】
第58の側面では、較正パターンは、格子縞パターンを備える、側面57に記載の光学システム。
【0259】
第59の側面では、複数の位置の数は、格子縞パターンの格子内のピクセルの数に対応する、側面57に記載の光学システム。
【0260】
第60の側面では、較正パターンは、単一ピクセルパターンを備える、側面57に記載の光学システム。
【0261】
第61の側面では、複数の位置の数は、表示されるピクセルの数に対応する、側面60に記載の光学システム。
【0262】
第62の側面では、プロセッサはさらに、少なくとも部分的に、複数の位置に対応する計算された歪曲に基づいて、歪曲マップを生成するようにプログラムされる、側面57−61のいずれか1項に記載の光学システム。
【0263】
第63の側面では、プロセッサはさらに、少なくとも部分的に、複数の位置に対応する計算された歪曲に基づいて、ディスプレイに関する誤差補正を判定するようにプログラムされる、側面57−62のいずれか1項に記載の光学システム。
【0264】
第64の側面では、ディスプレイは、別個の赤色、緑色、および青色層を備える、側面57−63のいずれか1項に記載の光学システム。
【0265】
第65の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面57−64のいずれか1項に記載の光学システム。
【0266】
第66の側面では、ライトフィールドディスプレイは、スタックされた導波管アセンブリを備える、側面65に記載の光学システム。
【0267】
第67の側面では、スタックされた導波管アセンブリは、それぞれ、2つまたはそれを上回る深度平面に対応する、2つまたはそれを上回る導波管を備える、側面66に記載の光学システム。
【0268】
第68の側面では、計算される歪曲はさらに、輝度歪曲または色彩歪曲を備える、側面57−67のいずれか1項に記載の光学システム。
【0269】
第69の側面では、ディスプレイによって生成されたライトフィールドを較正するための方法が、提供される。本方法は、複数の位置毎に、ディスプレイに較正パターンを複数の位置内の位置に投影させるステップと、投影された較正パターンの画像をカメラに得させるステップと、特徴点の歪曲を計算するステップであって、歪曲は、特徴点の予期される場所と特徴点の測定された場所との間の誤差または特徴点の予期される輝度または色彩と特徴点の測定された輝度または色彩との間の誤差に対応する、ステップと、複数の位置内の次の位置の判定に応答して、表示されるべき較正パターンを次の位置に偏移させるステップとを含む。
【0270】
第70の側面では、較正パターンは、格子縞パターンである、側面69に記載の方法。
【0271】
第71の側面では、複数の位置の数は、格子縞パターンの格子内のピクセルの数に対応する、側面70に記載の方法。
【0272】
第72の側面では、較正パターンは、単一ピクセルパターン、確率的パターン、または幾何学的パターンを備える、側面69に記載の方法。
【0273】
第73の側面では、複数の位置の数は、表示されるピクセルの数に対応する、側面72に記載の方法。
【0274】
第74の側面では、少なくとも部分的に、複数の位置に対応する計算された歪曲に基づいて、歪曲マップを生成するステップをさらに含む、側面69−73のいずれか1項に記載の方法。
【0275】
第75の側面では、少なくとも部分的に、複数の位置に対応する計算された歪曲に基づいて、ディスプレイに関する誤差補正を判定するステップをさらに含む、側面69−74のいずれか1項に記載の方法。
【0276】
第76の側面では、ディスプレイは、別個の赤色、緑色、および青色層を備える、側面69−75のいずれか1項に記載の光学システム。
【0277】
第77の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面69−76のいずれか1項に記載の光学システム。
【0278】
第78の側面では、ライトフィールドディスプレイは、スタックされた導波管アセンブリを備える、側面77に記載の光学システム。
【0279】
第79の側面では、スタックされた導波管アセンブリは、それぞれ、2つまたはそれを上回る深度平面に対応する、2つまたはそれを上回る導波管を備える、側面78に記載の光学システム。
【0280】
第80の側面では、計算される歪曲はさらに、輝度歪曲または色彩歪曲を備える、側面69−79のいずれか1項に記載の光学システム。
【0281】
(動的較正の実施の付加的側面)
第81の側面では、ディスプレイシステムが、提供される。ディスプレイシステムは、眼追跡カメラと、ディスプレイと、ディスプレイのために、複数の較正を記憶するように構成される、非一過性データ記憶装置であって、複数の較正における各較正は、ディスプレイに対する較正位置と関連付けられる、非一過性データ記憶装置と、眼追跡カメラ、ディスプレイ、および非一過性データ記憶装置と通信する、ハードウェアプロセッサであって、ディスプレイのユーザに関するディスプレイに対する眼位置を判定し、少なくとも部分的に、判定された眼位置に基づいて、複数の較正のうちの1つまたはそれを上回るものにアクセスし、少なくとも部分的に、複数の較正のうちの1つまたはそれを上回るものに基づいて、少なくとも部分的に、ディスプレイ内の不完全度を補正するためにディスプレイに適用するための補正を判定し、補正をディスプレイに適用するようにプログラムされる、ハードウェアプロセッサとを備える。
【0282】
第82の側面では、較正位置の数は、2、3、4、5、6、7、8、9、またはそれを上回る、側面81に記載のディスプレイシステム。
【0283】
第83の側面では、較正位置は、グリッド内でディスプレイにわたって分散される、側面81または側面82に記載のディスプレイシステム。
【0284】
第84の側面では、グリッドは、2×2、3×3、5×5、または9×9グリッドを備える、側面83に記載のディスプレイシステム。
【0285】
第85の側面では、複数の較正のうちの1つまたはそれを上回るものは、眼位置に最も近い較正位置と関連付けられた較正を備える、側面81−84のいずれか1項に記載のディスプレイシステム。
【0286】
第86の側面では、補正を判定するために、ハードウェアプロセッサは、複数の較正のうちの1つまたはそれを上回るものの間で内挿または外挿するようにプログラムされる、側面81−85のいずれか1項に記載のディスプレイシステム。
【0287】
第87の側面では、複数の較正における各較正は、ディスプレイの空間不完全度、ディスプレイの色彩不完全度、または空間不完全度および色彩不完全度の両方を補正する、側面81−86のいずれか1項に記載のディスプレイシステム。
【0288】
第88の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面81−87のいずれか1項に記載のディスプレイシステム。
【0289】
第89の側面では、ディスプレイは、複数の導波管を備える、スタック可能導波管アセンブリを備える、側面81−88のいずれか1項に記載のディスプレイシステム。
【0290】
第90の側面では、ディスプレイは、ウェアラブルディスプレイシステムとして構成される、側面81−89のいずれか1項に記載のディスプレイシステム。
【0291】
第91の側面では、側面81−90のいずれか1項に記載のディスプレイシステムを備える、頭部搭載型ディスプレイが、提供される。
【0292】
第92の側面では、ディスプレイを較正するための方法が、提供される。本方法は、コンピュータハードウェアによって行われる動的較正システムの制御下にあって、ディスプレイのユーザに関する眼位置を判定するステップと、少なくとも部分的に、判定された眼位置に基づいて、ディスプレイのための較正にアクセスするステップであって、較正は、判定された眼位置の近傍の較正位置と関連付けられる、ステップと、少なくとも部分的に、アクセスされた較正に基づいて、少なくとも部分的に、ディスプレイ内の不完全度を補正するためにディスプレイに適用するための補正を判定するステップと、補正をディスプレイに適用するステップとを含む。
【0293】
第93の側面では、較正にアクセスするステップは、1つまたはそれを上回る較正を複数の較正から選択するステップを含み、各較正は、ディスプレイに対する異なる較正位置と関連付けられる、側面92に記載の方法。
【0294】
第94の側面では、較正位置は、ディスプレイにわたってグリッド内に配列される、側面93に記載の方法。
【0295】
第95の側面では、較正は、ディスプレイの空間不完全度、ディスプレイの色彩不完全度、または空間不完全度および色彩不完全度の両方を補正する、側面92-94のいずれか1項に記載の方法。
【0296】
第96の側面では、補正を判定するステップは、眼姿勢の近傍の較正位置と関連付けられた1つまたはそれを上回る較正間で内挿または外挿するステップを含む、側面92−95のいずれか1項に記載の方法。
【0297】
第97の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面92−96のいずれか1項に記載の方法。
【0298】
第98の側面では、眼追跡システムと、側面92−97のいずれか1項に記載の方法を行うようにプログラムされる、ハードウェアプロセッサとを備える、頭部搭載型ディスプレイが、提供される。
【0299】
(光学計測システムの付加的側面)
第99の側面では、ディスプレイによって生成されたライトフィールド内の不完全度を測定するための光学計測システムが、提供される。光学計測システムは、意図される焦点位置を有する仮想オブジェクトを備える標的ライトフィールドを投影させるように構成される、ディスプレイと、標的ライトフィールドの画像を得るように構成される、カメラと、ライトフィールドの一部に対応する1つまたはそれを上回る画像にアクセスし、1つまたはそれを上回る画像を分析し、仮想オブジェクトが合焦する位置に対応する測定された焦点位置を識別し、少なくとも部分的に、測定された焦点位置と意図される焦点位置の比較に基づいて、ライトフィールド内の不完全度を判定するように実行可能命令を用いてプログラムされる、ハードウェアプロセッサとを備える。
【0300】
第100の側面では、ディスプレイは、光を出力し、仮想オブジェクトを少なくとも1つの深度平面に投影させるように構成される、導波管のスタックを備える、側面99に記載の光学計測システム。
【0301】
第101の側面では、カメラは、小焦点深度を有する、デジタルカメラを備える、側面99−100のいずれかに記載の光学計測システム。
【0302】
第102の側面では、カメラは、焦点を有し、システムは、ある範囲の焦点にわたってカメラの焦点を掃引し、1つまたはそれを上回る画像を得るように構成される、側面101に記載の光学計測システム。
【0303】
第103の側面では、カメラは、ライトフィールドカメラを備える、側面99−102のいずれかに記載の光学計測システム。
【0304】
第104の側面では、仮想オブジェクトは、格子縞パターン、幾何学的パターン、または確率的パターンを備える、側面99−103のいずれかに記載の光学計測システム。
【0305】
第105の側面では、ディスプレイは、複数のピクセルを備え、標的ライトフィールドは、照明されている複数のピクセルの全て未満のサブセットに対応する、側面99−104のいずれかに記載の光学計測システム。
【0306】
第106の側面では、測定された焦点位置は、焦点深度を含む、側面99−105のいずれかに記載の光学計測システム。
【0307】
第107の側面では、測定された焦点位置はさらに、側方焦点位置を含む、側面106に記載の光学計測システム。
【0308】
第108の側面では、判定された不完全度は、少なくとも部分的に、意図される焦点位置と測定された焦点位置との間の誤差ベクトルに基づく、側面99−107のいずれかに記載の光学計測システム。
【0309】
第109の側面では、ハードウェアプロセッサはさらに、少なくとも部分的に、判定された不完全度に基づいて、ディスプレイに関する誤差補正を判定するようにプログラムされる、側面99−108のいずれかに記載の光学計測システム。
【0310】
第110の側面では、ハードウェアプロセッサはさらに、ディスプレイ/カメラピクセルマッピングを適用し、ディスプレイのピクセル値をカメラのピクセル値に変換するようにプログラムされる、側面99−109のいずれかに記載の光学計測システム。
【0311】
第111の側面では、ディスプレイ/カメラピクセルマッピングは、ディスプレイの色レベルを第1の中間色表現にマッピングする、第1のガンマ補正と、第1の中間色表現を第2の中間色表現にマッピングする、ピクセル依存結合関数と、第2の中間色表現をカメラによって位置合わせされた色レベルにマッピングする、第2のガンマ補正とを備える、側面110に記載の光学計測システム。
【0312】
第112の側面では、判定された不完全度は、空間不完全度を備える、側面99−111のいずれかに記載の光学計測システム。
【0313】
第113の側面では、空間不完全度は、面内平行移動、回転、スケーリング、またはワーピング誤差、または面外または焦点深度誤差のうちの1つまたはそれを上回るものを備える、側面112に記載の光学計測システム。
【0314】
第114の側面では、判定された不完全度は、色彩不完全度を備える、側面99−113のいずれかに記載の光学計測システム。
【0315】
第115の側面では、色彩不完全度は、ディスプレイによって表示可能な色と関連付けられた輝度平坦性または色彩均一性誤差のうちの1つまたはそれを上回るものを備える、側面114に記載の光学計測システム。
【0316】
第116の側面では、ディスプレイ上で画像補正を行うための光学計測システムが、提供される。本システムは、ディスプレイによって投影されたライトフィールドの画像を捕捉するように構成される、カメラであって、ライトフィールドは、ディスプレイのディスプレイ層と関連付けられる、カメラと、少なくとも部分的に、カメラによって捕捉された画像に基づいて、ベクトル場を生成し、ベクトル場は、投影された位置とディスプレイ層の点の予期される位置との間の逸脱に対応するベクトルを備え、少なくとも部分的に、ベクトル場に基づいて、ディスプレイのために、偏芯補正、集合回転補正、集合スケーリング補正、または空間マッピングのうちの少なくとも1つを計算し、少なくとも部分的に、カメラによって捕捉された画像に基づいて、ディスプレイ層上の複数の点に対応する輝度値を計算し、少なくとも部分的に、判定された輝度値に基づいて、ディスプレイのために、輝度平坦化補正または色彩平衡補正を計算するように実行可能命令を用いてプログラムされる、ハードウェアプロセッサとを備える。
【0317】
第117の側面では、ディスプレイのディスプレイ層は、色層または深度層を備える、側面116に記載の光学計測システム。
【0318】
第118の側面では、カメラは、小焦点深度を有する、ライトフィールドカメラまたはデジタルカメラを備える、側面116−117のいずれかに記載の光学計測システム。
【0319】
第119の側面では、偏芯補正を計算するために、ハードウェアプロセッサは、投影されたディスプレイ層の識別された中心点と予期される中心点位置との間の平行移動誤差に対応する平行移動ベクトルを判定するようにプログラムされる、側面116−118のいずれかに記載の光学計測システム。
【0320】
第120の側面では、集合回転補正を計算するために、ハードウェアプロセッサは、投影された位置と予期される位置との間のピクセル誤差量が低減または最小限にされるように、中心点を中心とした投影されたディスプレイ層の回転に対応する回転量を判定するようにプログラムされる、側面116−119のいずれかに記載の光学計測システム。
【0321】
第121の側面では、集合回転補正を計算するために、ハードウェアプロセッサは、ベクトル場のカールを計算するようにプログラムされる、側面116−120のいずれかに記載の光学計測システム。
【0322】
第122の側面では、集合スケーリング補正を計算するために、ハードウェアプロセッサは、投影された位置と予期される位置との間のピクセル誤差量が低減または最小限にされるように、中心点を中心とした投影されたディスプレイ層のスケーリングに対応するスケーリング量を判定するようにプログラムされる、側面116−121のいずれかに記載の光学計測システム。
【0323】
第123の側面では、集合スケーリング補正を計算するために、ハードウェアプロセッサは、ベクトル場の発散を計算するようにプログラムされる、側面116−122のいずれかに記載の光学計測システム。
【0324】
第124の側面では、空間マッピングを計算するために、ハードウェアプロセッサは、ディスプレイ層の投影された位置と予期される位置とを整合させるための非線形変換を判定するようにプログラムされる、側面116−123のいずれかに記載の光学計測システム。
【0325】
第125の側面では、輝度平坦化補正を計算するために、ハードウェアプロセッサは、閾値輝度値を判定し、閾値輝度値を上回る各輝度値を閾値輝度値まで低下させる量を計算するようにプログラムされる、側面116−124のいずれかに記載の光学計測システム。
【0326】
第126の側面では、色彩平衡補正を計算するために、ハードウェアプロセッサは、ディスプレイ層と関連付けられた色クラスタを識別し、色クラスタは、少なくとも1つの付加的ディスプレイ層を構成し、ディスプレイ層の点毎に、ディスプレイ層上の点に対応する輝度値と付加的ディスプレイ層上の点に対応する輝度値を比較し、各輝度値をその対応する点と関連付けられた最低輝度値まで低下させる量を計算するようにプログラムされる、側面116−125のいずれかに記載の光学計測システム。
【0327】
(動的ディスプレイ較正の付加的側面)
第127の側面では、ディスプレイシステムが、提供される。ディスプレイシステムは、眼追跡カメラと、ディスプレイと、ディスプレイのために、複数の較正を記憶するように構成される、非一過性データ記憶装置であって、複数の較正における各較正は、ディスプレイに対する較正位置と関連付けられる、非一過性データ記憶装置と、眼追跡カメラ、ディスプレイ、および非一過性データ記憶装置と通信する、ハードウェアプロセッサであって、眼追跡カメラからの情報に基づいて、ディスプレイのユーザのディスプレイに対する眼位置を判定し、少なくとも部分的に、判定された眼位置に基づいて、複数の較正のうちの1つまたはそれを上回るものにアクセスし、少なくとも部分的に、複数の較正のうちの1つまたはそれを上回るものに基づいて、少なくとも部分的に、ディスプレイ内の不完全度を補正するためにディスプレイに適用するための補正を計算し、補正をディスプレイに適用するようにプログラムされる、ハードウェアプロセッサとを備える。
【0328】
第128の側面では、較正位置の数は、2、3、4、5、6、7、8、9、またはそれを上回る、側面127に記載のディスプレイシステム。
【0329】
第129の側面では、較正位置は、グリッド内でディスプレイにわたって分散される、側面127−128のいずれかに記載のディスプレイシステム。
【0330】
第130の側面では、グリッドは、2×2、3×3、5×5、または9×9グリッドを備える、側面129に記載のディスプレイシステム。
【0331】
第131の側面では、複数の較正のうちの1つまたはそれを上回るものは、眼位置に最も近い較正位置と関連付けられた較正を備える、側面127−130のいずれかに記載のディスプレイシステム。
【0332】
第132の側面では、補正を計算するために、ハードウェアプロセッサは、少なくとも部分的に、複数の較正のうちの1つまたはそれを上回るものの較正位置および判定された眼位置に基づいて、複数の較正のうちの1つまたはそれを上回るものの間で内挿または外挿するようにプログラムされる、側面127−131のいずれかに記載のディスプレイシステム。
【0333】
第133の側面では、ディスプレイは、ユーザの第1の眼と関連付けられた第1のディスプレイと、ユーザの第2の眼と関連付けられた第2のディスプレイとを備え、ハードウェアプロセッサは、第1のディスプレイに対するユーザの眼位置を判定し、第2のディスプレイのための補正を計算するために判定された眼位置を適用するようにプログラムされる、側面127−132のいずれかに記載のディスプレイシステム。
【0334】
第134の側面では、ディスプレイは、ユーザの第1の眼と関連付けられた第1のディスプレイと、ユーザの第2の眼と関連付けられた第2のディスプレイとを備え、複数の較正の少なくともいくつかは、第1のディスプレイおよび第2のディスプレイのための平均較正を表す、側面127−133のいずれかに記載のディスプレイシステム。
【0335】
第135の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面127−134のいずれかに記載のディスプレイシステム。
【0336】
第136の側面では、ディスプレイは、複数の導波管を備える、スタック可能導波管アセンブリを備える、側面127−135のいずれかに記載のディスプレイシステム。
【0337】
第137の側面では、ディスプレイは、頭部搭載型ウェアラブルディスプレイシステムとして構成される、側面127−136のいずれかに記載のディスプレイシステム。
【0338】
第138の側面では、複数の較正における各較正は、ディスプレイの空間不完全度、ディスプレイの色彩不完全度、または空間不完全度および色彩不完全度の両方を補正する、側面127−137のいずれか1項に記載のディスプレイシステム。
【0339】
第139の側面では、空間不完全度は、面内平行移動、回転、スケーリング、またはワーピング誤差、または面外または焦点深度誤差のうちの1つまたはそれを上回るものを備える、側面138に記載のディスプレイシステム。
【0340】
第140の側面では、色彩不完全度は、ディスプレイによって表示可能な色と関連付けられた輝度平坦性または色彩均一性誤差のうちの1つまたはそれを上回るものを備える、側面138に記載のディスプレイシステム。
【0341】
第141の側面では、ディスプレイを較正するための方法が、提供される。本方法は、コンピュータハードウェアによって行われる動的較正システムの制御下にあって、ディスプレイのユーザに関する眼位置を判定するステップと、少なくとも部分的に、判定された眼位置に基づいて、ディスプレイのための較正にアクセスするステップであって、較正は、関連付けられた較正位置および判定された眼位置に基づいて選択される、ステップと、少なくとも部分的に、アクセスされた較正に基づいて、少なくとも部分的に、ディスプレイ内の不完全度を補正するためにディスプレイに適用するための補正を計算するステップと、補正をディスプレイに適用するステップとを含む。
【0342】
第142の側面では、較正にアクセスするステップは、1つまたはそれを上回る較正を複数の較正から選択するステップを含み、各較正は、ディスプレイに対する異なる較正位置と関連付けられる、側面141に記載の方法。
【0343】
第143の側面では、較正位置は、ディスプレイにわたってグリッド内に配列される、側面142に記載の方法。
【0344】
第144の側面では、補正を計算するステップは、複数の較正のうちの1つまたはそれを上回るものの関連付けられた較正位置および判定された眼位置に基づいて、複数の較正のうちの1つまたはそれを上回るものの間で内挿または外挿するステップを含む、側面142−143のいずれかに記載の方法。
【0345】
第145の側面では、ディスプレイのユーザの眼の画像にアクセスし、少なくとも部分的に、眼の画像に基づいて、眼位置を判定するステップをさらに含む、側面141−144のいずれかに記載の方法。
【0346】
第146の側面では、較正を計算するステップは、ディスプレイの空間不完全度、ディスプレイの色彩不完全度、または空間不完全度および色彩不完全度の両方を較正するステップを含む、側面141−145のいずれか1項に記載の方法。
【0347】
第147の側面では、内向きに面したイメージングシステムと、ディスプレイと、ディスプレイのために、複数の較正を記憶するように構成される、非一過性データ記憶装置であって、複数の較正における各較正は、ディスプレイに対する較正位置と関連付けられる、非一過性データ記憶装置と、内向きに面したイメージングシステム、ディスプレイ、および非一過性データ記憶装置と通信する、ハードウェアプロセッサであって、内向きに面したイメージングシステムを使用して、ディスプレイのユーザのディスプレイに対する眼位置を判定し、少なくとも部分的に、判定された眼位置および複数の較正のうちの1つまたはそれを上回るものに基づいて、少なくとも部分的に、ディスプレイ内の空間不完全度またはディスプレイ内の色彩不完全度のうちの1つまたはそれを上回るものを補正するためにディスプレイに適用するための補正を計算し、補正をディスプレイに適用するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルディスプレイシステムが、提供される。
【0348】
第148の側面では、ハードウェアプロセッサは、眼位置における変化を監視する、フィードバックループを介して、補正を適用するようにプログラムされる、側面147に記載のウェアラブルディスプレイシステム。
【0349】
第149の側面では、ハードウェアプロセッサは、前の眼位置に対する眼位置における変化を判定し、変化が閾値を超える場合、補正を計算するようにプログラムされる、側面147−148のいずれかに記載のウェアラブルディスプレイシステム。
【0350】
第150の側面では、空間不完全度は、面内平行移動、回転、スケーリング、またはワーピング誤差、または面外または焦点深度誤差のうちの1つまたはそれを上回るものを備える、側面147−149のいずれか1項に記載のウェアラブルディスプレイシステム。
【0351】
第151の側面では、色彩不完全度は、ディスプレイによって表示可能な色と関連付けられた輝度平坦性または色彩均一性誤差のうちの1つまたはそれを上回るものを備える、側面147−150のいずれか1項に記載のウェアラブルディスプレイシステム。
【0352】
(結論)
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0353】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0354】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、無作為アクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0355】
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変動が、可能である。
【0356】
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
【0357】
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【0358】
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして主に請求され得るが、請求される組み合わせからの1つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変動を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
【0359】
とりわけ、「〜できる(can)」、「〜し得る(could)」、「〜し得る(might)」、「〜し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つまたはそれを上回る実施形態に対していかようにも要求されること、または1つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つまたはそれを上回る」または「少なくとも1つ」を意味するように解釈されるべきである。
【0360】
本明細書で使用されるように、項目のリスト「〜のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、およびA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図されない。
【0361】
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。