(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6661832
(24)【登録日】2020年2月14日
(45)【発行日】2020年3月11日
(54)【発明の名称】眼の特徴付けのための反射波面分析に基づくフレームレンダリングを有するニアアイディスプレイ
(51)【国際特許分類】
H04N 5/33 20060101AFI20200227BHJP
H04N 5/369 20110101ALI20200227BHJP
H04N 13/344 20180101ALI20200227BHJP
H04N 13/383 20180101ALI20200227BHJP
H04N 13/398 20180101ALI20200227BHJP
A61B 3/103 20060101ALI20200227BHJP
G02B 27/02 20060101ALI20200227BHJP
G09G 5/00 20060101ALI20200227BHJP
G09G 5/36 20060101ALI20200227BHJP
【FI】
H04N5/33
H04N5/369
H04N13/344
H04N13/383
H04N13/398
A61B3/103
G02B27/02 Z
G09G5/00 510A
G09G5/00 550C
G09G5/36 520D
G09G5/00 X
【請求項の数】17
【全頁数】16
(21)【出願番号】特願2019-508179(P2019-508179)
(86)(22)【出願日】2018年3月14日
(65)【公表番号】特表2020-503905(P2020-503905A)
(43)【公表日】2020年2月6日
(86)【国際出願番号】US2018022440
(87)【国際公開番号】WO2018231303
(87)【国際公開日】20181220
【審査請求日】2019年6月21日
(31)【優先権主張番号】62/520,295
(32)【優先日】2017年6月15日
(33)【優先権主張国】US
(31)【優先権主張番号】15/917,375
(32)【優先日】2018年3月9日
(33)【優先権主張国】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】ペロー,ジョン・ディ
(72)【発明者】
【氏名】リュル,パトリック
【審査官】
鈴木 明
(56)【参考文献】
【文献】
米国特許出願公開第2017/0038590(US,A1)
【文献】
特表2007−505364(JP,A)
【文献】
特表2017−515162(JP,A)
【文献】
国際公開第2016/158151(WO,A1)
【文献】
国際公開第2012/147702(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/30−5/378
H04N 13/00−13/398
A61B 3/103
G02B 27/02
G09G 5/00
G09G 5/36
(57)【特許請求の範囲】
【請求項1】
ニアアイディスプレイシステム(100)であって、
小型レンズ(206)のアレイ(120)と、
前記小型レンズのアレイに面したディスプレイパネル(118)とを備え、前記ディスプレイパネルは、
投光素子(218)のアレイを備え、各投光素子は、前記小型レンズのアレイのうちの対応する小型レンズの軸と同軸であり、前記ディスプレイパネルはさらに、
光検出素子(220)のアレイと、
サブピクセル素子(210,212,214,216,222,224,226,228,230)のアレイと、
光スポット(504)のパターン(506)をユーザの眼に向かって投影するために、および前記眼からの前記投影された光スポットのパターンの反射を表す画像(164)をキャプチャするように前記光検出素子のアレイを制御するために、前記ディスプレイパネルに結合され、前記投光素子のアレイを作動させるように構成される制御コンポーネント(160)と、
前記キャプチャされた画像内の光スポットのうちの少なくともサブセットの予測される位置(514,524)と実際の位置(512,522)との間の変位(516,526)を決定し、前記変位に基づき前記眼を特徴付けるための分析コンポーネント(162)とを備える、ニアアイディスプレイシステム。
【請求項2】
前記分析コンポーネントは、前記変位に基づき前記眼における屈折収差を検出することによって前記眼を特徴付けるためのものである、請求項1に記載のニアアイディスプレイシステム。
【請求項3】
前記分析コンポーネントは、前記変位に基づき前記眼の調整状態を検出することによって前記眼を特徴付けるためのものである、請求項1に記載のニアアイディスプレイシステム。
【請求項4】
前記ディスプレイパネルに結合され、前記サブピクセル素子のアレイを介して前記ユーザに表示するためのライトフィールドフレーム(153)のシーケンスをレンダリングするように構成されたレンダリングコンポーネント(104)をさらに備える、請求項1〜3のいずれかに記載のニアアイディスプレイシステム。
【請求項5】
前記レンダリングコンポーネントは、前記眼の前記特徴付けに基づき前記ライトフィールドフレームのシーケンスのためのレンダリング処理の少なくとも1つの態様を調節するためのものである、請求項4に記載のニアアイディスプレイシステム。
【請求項6】
前記分析コンポーネントは、前記変位に基づき前記眼の収差を検出することによって前記眼を特徴付けるためのものであり、
前記レンダリングコンポーネントは、前記検出された収差を補正するように、前記ライトフィールドフレームのシーケンスをレンダリングするためのものである、請求項5に記載のニアアイディスプレイシステム。
【請求項7】
前記分析コンポーネントは、前記変位に基づき前記眼の現在の調整状態を検出することによって前記眼を特徴付けるためのものであり、
前記レンダリングコンポーネントは、前記ライトフィールドフレームのシーケンスを前記現在の調整状態から決定される焦点面に基づきレンダリングするためのものである、請求項5に記載のニアアイディスプレイシステム。
【請求項8】
前記投光素子のアレイは、前記光スポットのパターンを赤外光スポットのパターンとして投影するように構成される、請求項1〜7のいずれかに記載のニアアイディスプレイシステム。
【請求項9】
前記ディスプレイパネルは、ディスプレイ素子(204−1,204−2)のアレイ(202)を備え、各ディスプレイ素子(204−1,204−2)は、前記サブピクセル素子(210,212,214,216,222,224,226,228,230)のアレイのうちの少なくとも1つのサブピクセル素子を備え、前記ディスプレイ素子(204−1,204−2)のアレイのうちの少なくとも第1のサブセットの各ディスプレイ素子は、前記光検出素子のアレイのうちの1つの光検出素子(220)をさらに含み、前記ディスプレイ素子(204−1)のアレイのうちの少なくとも第2のサブセットの各ディスプレイ素子は、前記投光素子(218)のアレイのうちの1つの投光素子(218)をさらに含む、請求項8に記載のニアアイディスプレイシステム。
【請求項10】
請求項1のニアアイディスプレイシステム(100)において実行される方法であって、
小型レンズアレイ(202)を通してユーザの眼に向かってディスプレイパネル(118)の投光素子(218)のアレイから光スポット(504)のパターン(506)を投影することと、
前記ディスプレイパネルの光検出素子(220)のアレイを介して、前記光スポットのパターンの前記眼からの反射を表す画像(164)をキャプチャすることと、
前記画像の光スポットのうちの少なくともサブセットの各光スポットに対して、前記キャプチャされた画像内の前記光スポットの予測される位置(514,524)と実際の位置(512,522)との間の変位(516,526)を決定することと、
前記光スポットの前記サブセットに対する前記変位に基づき、前記眼の1つまたは複数の特徴付けを決定することとを含む、方法。
【請求項11】
前記眼の1つまたは複数の特徴付けを決定することは、前記変位に基づき前記眼における屈折収差を検出することを含む、請求項10に記載の方法。
【請求項12】
前記眼の1つまたは複数の特徴付けを決定することは、前記変位に基づき前記眼の調整状態を検出することを含む、請求項10に記載の方法。
【請求項13】
前記ディスプレイパネルを介して前記ユーザに表示するためのライトフィールドフレーム(153)のシーケンスをレンダリングすることをさらに含む、請求項10〜12のいずれかに記載の方法。
【請求項14】
前記ライトフィールドフレームのシーケンスの前記レンダリングを、前記眼の前記特徴付けに基づき調節することをさらに含む、請求項13に記載の方法。
【請求項15】
前記眼の1つまたは複数の特徴付けを決定することは、前記変位に基づき前記眼の収差を検出することを含み、
前記レンダリングを調節することは、前記検出された収差を補正するように前記ライトフィールドフレームのシーケンスの前記レンダリングを制御することを含む、請求項14に記載の方法。
【請求項16】
前記眼の1つまたは複数の特徴付けを決定することは、前記変位に基づき前記眼の現在の調整状態を検出することを含み、
前記レンダリングを調節することは、前記現在の調整状態から決定される焦点面に基づき、前記ライトフィールドフレームのシーケンスの前記レンダリングを制御することを含む、請求項14に記載の方法。
【請求項17】
前記光スポットのパターンを投影することは、赤外光スポットのパターンを投影することを含む、請求項10〜16のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
背景
開示の分野
本発明は、一般にニアアイディスプレイに関し、より具体的に、コンピュータ計算のニアアイディスプレイのためのフレームレンダリングに関する。
【背景技術】
【0002】
関連技術の説明
3次元(3D)グラフィクスの実行的なディスプレイを提供するために、ヘッドマウントディスプレイ(HMD)およびその他のニアアイディスプレイシステムは、ニアアイライトフィールドディスプレイまたはその他のコンピュータ計算のディスプレイを利用することができる。一般に、ニアアイライトフィールドディスプレイは、1つまたは複数のディスプレイパネルと、当該1つまたは複数のディスプレイパネルに重畳する、小型レンズ、ピンホール、または、その他の光学系機構のアレイを用いる。レンダリングシステムは、要素画像のアレイをレンダリングし、各要素画像は、対応する視点または仮想カメラ位置からの対象物またはシーンの画像またはビューを表す。
【発明の概要】
【発明が解決しようとする課題】
【0003】
一般に、要素画像の各アレイは、特定の焦点面を参照してレンダリングされ、ユーザの眼が実質的に収差を有さないという仮定に基づきレンダリングされる。しかし、ユーザの眼が屈折異常またはその他収差に影響される場合、表示されるイメージは、ぼやけるか歪められて見え得る。そのような問題を避けるため、ニアアイディスプレイデバイスは、ユーザが矯正的眼鏡を装着することを可能とするために設計されることができるが、典型的に、結果として生じるフォームファクタは、重量、慣性、および大きさの理由のために実用性がない。同様に、要素画像のアレイがレンダリングされる焦点面と、ユーザの眼の現在の調整状態とが一致しない場合、不一致の奥行き手掛りをもたらし、その結果、ユーザに対して認知疲労をもたらし、このためユーザエクスペリエンスを損ない得る。
【0004】
図面の簡単な説明
添付の図面を参照することによって、本開示はよりよく理解されることができ、その多数の特徴および利点は、当業者に明らかとなるであろう。異なる図面における同じ参照符号の使用は、類似のまたは同一の項目を示す。
【図面の簡単な説明】
【0005】
【
図1】いくつかの実施形態に従う、波面歪み推計を介する眼の特徴付けに基づくライトフィールドフレームレンダリングを採用するニアアイディスプレイシステムを例示する図である。
【
図2】いくつかの実施形態に従う、
図1のニアアイディスプレイシステムのディスプレイパネルおよび重畳する小型レンズアレイをより詳細に例示する図である。
【
図3】いくつかの実施形態に従う、波面歪み推計に基づきユーザの眼を特徴付けるための、および眼の特徴付けに基づきイメージレンダリング処理を制御するための方法を例示するフロー図である。
【
図4】いくつかの実施形態に従う、眼の特徴付け処理中のディスプレイパネルおよび重畳する小型レンズアレイの断面図を例示する図である。
【
図5】いくつかの実施形態に従う、ユーザの眼からの
図2のディスプレイパネルによって投影された光スポットパターンの反射をキャプチャする画像を例示する図である。
【発明を実施するための形態】
【0006】
詳細な説明
図1〜
図5は、ニアアイディスプレイシステムにおいて波面歪み推計を使用したユーザの眼の特徴付けに基づく、改善された画像レンダリングのための例のシステムおよび技術を例示する。少なくとも1つの実施形態では、ユーザに没入型の仮想現実(VR)または拡張現実(AR)エクスペリエンスを提供するために、ニアアイディスプレイシステムは、ユーザに対してイメージのニアアイライトフィールドフレームを表示するための1つまたは複数のディスプレイパネルから構成されるコンピュータ計算ディスプレイを用いる。各ニアアイライトフィールドフレームは、要素画像のアレイで構成され、各要素画像は、異なる対応する視点からの対象物またはシーンのビューを表す。小型レンズのアレイは、各ディスプレイパネルに重畳し、要素画像のアレイをユーザに単一のオートステレオスコピック画像として提示するために動作する。
【0007】
ARまたはVRビデオイメージをユーザに表示することに加えて、ディスプレイパネルはまた、波面歪み推計処理を介して一方または両方のユーザの眼の特徴付けを容易にする。この目的のため、少なくとも1つの実施形態では、ディスプレイパネルは、小型レンズアレイを通して眼に向かって光スポットのパターンを伝播するための投光素子(たとえば赤外(IR)光投影ダイオード)のアレイと、眼の構造からの光スポットパターンの反射をパターン反射画像としてキャプチャするための光検出素子(たとえばフォトダイオード)のアレイの両方を組み込む。
【0008】
収差を有さない眼では、光スポットパターンの反射の結果として眼を出る波面は、完全に平坦であり、このため波面小型レンズアレイの小型レンズに真直に当たるであろう。結果として、反射された光スポットパターンのキャプチャされた画像における光スポットのパターンは、投光素子のアレイによって投影された光スポットパターン内の光スポットのパターンと合致するだろう。すなわち、完全な眼においては、完全に平坦な波面を仮定して、当該キャプチャされた反射されたパターンにおける光スポットの実際の位置は、対応する光スポットの予測される位置に合うだろう。対照的に、角膜、網膜、または眼の形状またはその他の眼の収差のうちの1つまたは複数における不完全性は、眼を出る波面を歪める。次いで、波面内のこれらの歪みは、波面の対応する光線が小型レンズアレイの対応する小型レンズに角度をなしてぶつかることを引き起こし、次いで対応する反射された光スポットの実際の位置が反射されたパターン画像における対応する予測される位置からずれることを引き起こす。
【0009】
反射された光スポットの予測される位置からの実際の位置の変位の大きさは、対応する小型レンズにおける波面の位置領域の傾きに比例し、一方、変位角度は、この傾きの方向または角度に基づく。これらの原理を考慮して、ニアアイディスプレイシステムは、波面の形状を反射された光スポットの実際の/予測される位置変位から決定することができる。そしてニアアイディスプレイシステムは、いくつかのまたはすべての識別された波面歪み(すなわち、平坦な波面からの波面の形状の逸脱)をユーザの眼を特徴付けるために使用してもよい。このユーザの眼の特徴付けは、たとえば、ユーザの眼に存在する収差の識別、ユーザの眼の現在の調整状態の識別等を含むことができる。
【0010】
ニアアイディスプレイシステムは、ディスプレイパネルにおいて表示されるべきライトフィールドフレームのシーケンスのためのレンダリング処理の1つまたは複数の態様を制御するために、眼の特徴付けを利用する。実例を示すために、いくつかの実施形態では、ニアアイディスプレイシステムは、ユーザの眼内において検出された収差を補正するために、ライトフィールドフレームのレンダリングを制御する。そのような方法では、ニアアイディスプレイシステムは、さもなければユーザが矯正目的のために眼鏡、コンタクトレンズ、またはその他の矯正レンズを装着することを要する眼の様々な不完全性に対する規範的な矯正を提供してもよく、このためユーザがニアアイディスプレイシステムを利用している間にそのような矯正レンズを装着する必要性を除去する。このため、ニアアイディスプレイシステムは、ユーザが使用中に眼鏡をかけることを容易にする必要性をもはや有さないので、ニアアイディスプレイシステムは、小型レンズアレイおよびディスプレイパネルをユーザの眼のより近くに配置する構成を実現でき、このため、より小さく軽量のフォームファクタをもたらす。別の例として、いくつかの実施形態では、ニアアイディスプレイシステムは、特定された焦点面に基づいてライトフィールドフレームをレンダリングし、ニアアイディスプレイシステムは、眼の現在の調整状態を決定するために眼の特徴付けを使用してもよく、この現在の調整状態からライトフィールドフレームの適切なレンダリングのための焦点面を選択してもよく、これにより、ユーザは現在の調整状態と一致したライトフィールドフレーム内の奥行き手掛りを提示され、このためユーザに対して没入型エクスペリエンスを効果的に有効にする。
【0011】
図1は、少なくとも1つの実施形態に従う、眼の特徴付けに基づくグラフィクスレンダリングを組み込む、ニアアイディスプレイシステム100を例示する。例示される例では、ニアアイディスプレイシステム100は、コンピュータ計算ディスプレイサブシステム102と、レンダリングコンポーネント104と、ユーザの左眼を特徴付けるための眼の特徴付けコンポーネント106およびユーザの右眼を特徴付けるための眼の特徴付けコンポーネント108の一方または両方といった1つまたは複数の眼の特徴付けコンポーネントとを含む。コンピュータ計算ディスプレイサブシステム102は、装置114(たとえば、ゴーグル、眼鏡等)内に取り付けられる、左眼ディスプレイ110および右眼ディスプレイ112を含み、装置114は、ユーザの左眼と右眼それぞれの正面にディスプレイ110,112を配置する。
【0012】
図2を簡単に参照して、少なくとも1つの実施形態に従うディスプレイ110の拡張図が図示される。ディスプレイ112は、同様に構成される。示されるように、ディスプレイ110は、ニアアイライトフィールドフレームのシーケンスまたは連続物(以降、参照の容易さのために「ライトフィールドフレーム」)を表示するために、少なくとも1つのディスプレイパネル118を含み、その各々は、要素画像のアレイを備える。参照の容易さのために、要素画像のアレイは、ここではライトフィールドフレームとも称され得る。ディスプレイ110は、ディスプレイパネル118に重畳する(一般的に「マイクロレンズ」とも称される)小型レンズ206のアレイ120をさらに含む。例示的に、小型レンズアレイ120内の小型レンズ206の数は、ライトフィールドフレーム内の要素画像の数に等しいが、その他の実施においては、小型レンズ206の数は、要素画像の数よりも多くても少なくてもよい。
図1の例は、図示の容易さのために5×4の小型レンズ206のアレイ120を図示するが、典型的な実施において、ライトフィールドフレーム内の要素画像の数および小型レンズアレイ120内の小型レンズ206の数は、典型的にはるかにより多いということに留意すべきである。さらに、いくつかの実施形態では、ディスプレイ110,112の各々に対して別個のディスプレイパネル118が実装され、その他の実施形態では、左眼ディスプレイ110および右眼ディスプレイ112は、単一のディスプレイパネル118を共有し、ディスプレイパネル118の左半分は、左眼ディスプレイ110のために使用され、ディスプレイパネル118の右半分は、右眼ディスプレイ112のために使用される。
【0013】
図2に示されるように、ディスプレイパネル118は、ディスプレイ素子204(たとえば、「ピクセル」)のアレイ202を実装し、各ディスプレイ素子204は、赤、緑、青、および白サブピクセルのセットといった1つまたは複数のカラーサブピクセルを備え、これらは、強度において制御され、これにより、それらの組み合わせられた光出力は、特定のカラーの単一の「ピクセル」として眼によって知覚される。このようにして、レンダリングコンポーネント104は、シーンのイメージを表すライトフィールドフレームのシーケンスをディスプレイするために、アレイ202を制御できる。
【0014】
さらに、ここにより詳細に説明するように、ニアアイディスプレイシステム100は、小型レンズアレイ120を通してユーザの眼に光スポットパターンを投影し、小型レンズアレイ120を通して光スポットパターンの反射の画像をキャプチャし、これにより、収差の検出のために、調整状態の推計のために、またはその他の方法で眼を特徴付けるために、眼を分析する。少なくとも1つの実施形態では、ニアアイディスプレイシステム100は、ディスプレイパネル118を、光スポットパターンを投影するためと、結果として生じる反射された光スポットパターンの画像をキャプチャするためとの両方に使用する。この目的のため、ディスプレイパネル118はまた、作動されたときに、小型レンズアレイ120を介してユーザの眼に向かって光スポットパターンを投影する光投影素子のセットと、駆動されると、ユーザの眼から小型レンズアレイ120を通して投影された光スポットパターンの反射を表す画像を一緒にキャプチャする光検出素子のセットとを組み込む。
【0015】
少なくとも1つの実施形態では、光投影素子のセットおよび光検出素子のセットは、ディスプレイ素子204のアレイ202内に組み込まれ、これによりディスプレイ素子204のサブセットは、光投影素子のセットのうちの1つの光投影素子を組み込み、ディスプレイ素子204のサブセットは、光検出素子のセットのうちの1つの光検出素子を組み込む。アレイ202のディスプレイ素子204のサブセットは、たとえば、ディスプレイ素子204−1として実施されてもよく、これは、拡大
図208によって示されるように、赤(R)サブピクセル210、緑(G)サブピクセル212、青(B)サブピクセル214、および白(W)サブピクセル216といった、カラーサブピクセルのセットを含む。このサブセットのディスプレイ素子204−1は、投影された光スポットパターンの一部としてIR光を射出するように動作する赤外(IR)サブピクセル218(光投影素子の1つの実施形態)をさらに含む。IRサブピクセル218は、たとえば、IR投影垂直共振器面発光レーザ(VECSEL)、IR光投影ダイオード(LED)等として実施される。いくつかのまたはすべてのディスプレイ素子204−1は、ディスプレイパネル118上のIR光入射と、特に対応する光スポットパターン内のディスプレイ素子204−1のIRサブピクセル218によって投影されたIR光の反射とを検出するように動作するIR検出フォトダイオード(PD)220(光検出素子の1つの実施形態)をさらに含むことができる。さらに、アレイ202のディスプレイ素子204の別のサブセットは、ディスプレイ素子204−2として実施されてもよく、これは、拡大
図221によって示されるように、赤サブピクセル222、緑サブピクセル224,226、青サブピクセル228、白サブピクセル230、および(光検出素子の1つとしての)IRフォトダイオード220といった、カラーサブピクセルのセットを含む。ディスプレイ素子204−1および204−2内のサブピクセルの構成および種類は、例にすぎず、その他のサブピクセルの構成、編成、および組み合わせが実施されてもよいことに留意すべきである。
【0016】
IR投影能力を有するディスプレイ素子204−1は、特定のパターンにおいてアレイ202全体に分散され、これにより、ディスプレイ素子204−1のIRサブピクセル218が一緒に作動されるときに、結果として生じる投影されたIR光は、光スポットのパターン(たとえば、等間隔に配置されたスポットの長方形のまたはその他多角形グリッド)内に投影され、この例は、以下に
図5を参照して説明される。さらに、以下に説明するように、ディスプレイ素子204−1は、小型レンズアレイ120の対応する小型レンズ206と同軸となるように配置され、これにより、投影されたIR光は、対応する小型レンズに真直にぶつかる。IR検出能力を有するディスプレイ素子204−1および204−2は、フォトダイオード220の位置に対応するディスプレイパネル118の領域上のIR光入射をキャプチャするために、これらのディスプレイ素子のフォトダイオード220が一緒に作動されることを可能とする方法でアレイ202全体に分散され、キャプチャの時間におけるこの入射IR光が主にユーザの眼から離れる投影されたIR光スポットパターンの反射で構成されるので、フォトダイオード220は、この反射されたIR光スポットパターンの画像をキャプチャするために一緒に動作する。こうして、この画像は、ここでは「反射されたスポットパターン画像」とも称され、この例は、
図5を参照して以下に説明される。
【0017】
再び
図1を参照して、レンダリングコンポーネント104は、図示される中央処理ユニット(CPU)136およびグラフィックス処理ユニット(GPU)138,140といった1つまたは複数のプロセッサのセット、および1つまたは複数のプロセッサ136,138,140がここで説明される様々なタスクを行うよう操作するために、プロセッサ136,138,140によってアクセスされ実行されるソフトウェアプログラムまたはその他実行可能な命令を格納するための、システムメモリ142といった、1つまたは複数のストレージコンポーネントを含む。そのようなソフトウェアプログラムは、たとえば、以下に説明するようなライトフィールドフレームレンダリング処理のための実行可能な命令を備えるレンダリングプログラム144、並びにまた以下に説明されるような波面歪み分析に基づきユーザの眼の一方または両方を特徴付けるための実行可能な命令を備える眼の特徴付けプログラム146を含む。
【0018】
動作において、レンダリングコンポーネント104は、レンダリング情報148をローカルまたはリモートコンテンツソース150から受信し、レンダリング情報148は、対象物またはシーン、すなわちディスプレイサブシステム102においてレンダリングされ表示されるべき被写イメージを表す、グラフィクスデータ、ビデオデータ、またはその他データを表す。レンダリングプログラム144を実行するために、CPU136は、レンダリング情報148を使用してGPU138,140への描画命令を送信し、次いで描画命令を利用して、任意の様々な既知のVR/ARコンピュータ計算/ライトフィールドレンダリング処理を使用し、左眼ディスプレイ110においてディスプレイするためのライトフィールドフレーム151のシリーズと右眼ディスプレイ112においてディスプレイするためのライトフィールドフレーム153のシリーズとを並列にレンダリングする。このレンダリング処理の一部として、CPU136は、慣性管理ユニット(IMU)154から姿勢情報152を受信してもよく、姿勢情報152は、ディスプレイサブシステム102の姿勢を表し、CPU136は、ライトフィールドフレーム151,153の1つまたは複数の対のレンダリングがその姿勢からの対象物またはシーンの視点を反映するように制御してもよい。
【0019】
眼の特徴付けコンポーネント106,108は並列に動作し、ここで説明される波面歪み分析処理を使用してユーザの両眼を動的に特徴付け、決定される眼の特徴付けを左眼および右眼それぞれに対する眼の特徴付け情報156,158としてレンダリングコンポーネント104に提供する。特徴付け処理は、小型レンズアレイ120を通してユーザの眼にディスプレイパネル118からIR光スポットパターンを投影することと、そしてディスプレイパネルを介して反射された光パターンの画像キャプチャすることと、キャプチャされた画像内で反射される光スポットが予測される場所とキャプチャされた画像内で反射された光スポットが実際に位置された場所との間の変位を決定することとを含む。これらの変位は、ユーザの眼からの光スポットパターンの反射を表す波面内の歪みを表し、このため、眼の屈折収差、現在の調整状態、またはその他の特徴付けを識別するために使用されてもよく、これらは、対応する眼の特徴付け情報156,158のうちの1つに表される。
【0020】
この動作を容易にするために、眼の特徴付けコンポーネント106は、制御コンポーネント160および画像解析コンポーネント162を実装する。制御コンポーネント160は、光スポットパターンを投影するために、ディスプレイパネル118の投光素子のセットの作動をトリガするように動作し、投影された光スポットパターンの結果として生じる反射を表す反射されたスポットパターン画像164をキャプチャするために、ディスプレイパネル118の光検出素子の作動をトリガするように動作する。画像解析コンポーネント162は、左眼を特徴付けるためにスポットパターン画像164を分析するように動作し、レンダリングコンポーネント104のための眼の特徴付け情報156を生成する。眼の特徴付けコンポーネント108は、同様に反射されたスポットパターン画像166をキャプチャし分析するための制御コンポーネントおよび画像解析コンポーネントから構成され、右眼のための眼の特徴付け情報158を生成する。制御コンポーネントおよび画像解析コンポーネントは、ハードウェア、プログラマブルロジック、ソフトウェアを実行するプロセッサ、またはそれらの組み合わせとして実装されてもよい。実例を示すために、1つの実施形態では、制御コンポーネント160は、少なくとも部分的にディスプレイパネル118のためのディスプレイ制御部(図示しない)のハードウェア内に実装され、画像解析コンポーネント162は、眼の特徴付けプログラム146の命令の対応するセットを実行する1つまたは複数のプロセッサ136,138,140によって実装される。
【0021】
以下に詳細に説明されるように、レンダリングコンポーネント104は、一方または両方の眼の特徴付けコンポーネント106,108からの一方または両方の眼の特徴付け情報156,158を使用し、ライトフィールドフレーム151,153のシーケンスの生成においてライトフィールドフレームレンダリング処理の様々な態様を制御する。実例を示すために、眼の特徴付け情報156は、左眼内の1つまたは複数の収差を識別する情報を含んでもよく、このためCPU136は、これらの収差を補正するためにライトフィールドフレーム151のレンダリングを調節するようにGPU138の動作を制御してもよく、これによってユーザがニアアイディスプレイシステム100を使用している間に矯正レンズの装着をやめることを可能とする。別の例として、眼の特徴付け情報156は、眼の現在の調整状態を識別する情報を含んでもよく、レンダリングコンポーネント104は、これを、現在の調整状態と一致する焦点面のためのライトフィールドフレーム151をレンダリングするために使用してもよい。
【0022】
図3は、ユーザの眼を特徴付け1つまたは複数のレンダリング動作をそれに従って制御するための、ニアアイディスプレイシステム100の動作の例の方法300を例示する。図示の容易さのために、方法300は、小型レンズアレイ120に重畳し、ユーザの眼404に面したA−A切断線(
図2)に沿うディスプレイパネル118の断面
図400,402を示す
図4と、反射されたスポットパターン画像164の例を示す
図5とを参照して説明される。さらに、方法300は、眼の特徴付けコンポーネント106を含む、左眼(眼404)に関するニアアイディスプレイシステム100の動作を特に参照して説明される。しかし、これと同じ方法が、眼の特徴付けコンポーネント108を有する右眼に対するニアアイディスプレイシステム100の動作に対して適用され得る。
【0023】
図3に例示されるように、方法300は、並列に行われる、ブロック302,304,306,308によって表される眼の特徴付け処理と、ブロック310によって表されるライトフィールドフレームレンダリング処理との2つの処理を含む。始めに、眼の特徴付け処理に着目して、ブロック302において、制御コンポーネント160は、ディスプレイパネル118を制御し、
図4の断面
図400によって例示されるような小型レンズアレイ120を介して眼404に向けられた光スポットパターン内のIR光を射出するようにディスプレイパネル118のフォトダイオード220(
図4内に例示されるフォトダイオード220−1,220−2,220−3,220−4を含む)をトリガする。光スポットパターンの発光と同時に、ブロック304において、制御コンポーネント160は、(光検出素子のセットとして)ディスプレイパネル118のフォトダイオード220を作動し、眼404から離れる投影された光スポットパターンの反射を表した、小型レンズアレイ120を介してディスプレイパネル118上に焦点を合わされた、反射されたスポットパターン画像164をキャプチャする。
【0024】
断面
図400によって例示されるように、例示的に光スポットパターン生成のために使用されるフォトダイオード220の各々は、対応する小型レンズ206の光学軸と実質的に同軸であり(たとえば、フォトダイオード220−1は、
図4内の小型レンズ206−1の光学軸406軸と同軸であり)、こうして、フォトダイオード220によって投影されたIR光は、対応する小型レンズ206に真直にぶつかり、このため小型レンズアレイ120から眼404に向かって実質的に平坦な波面408として伝播される(すなわち、光スポットパターンは、眼404に向かって著しい歪みなしに伝播される)。
【0025】
断面
図402によって例示されるように、そのように伝播される光スポットパターンは、眼404の瞳孔、水晶体、角膜、網膜、およびその他構造にぶつかり、波面410によって表される反射された光スポットパターンとして、小型レンズアレイ120およびディスプレイパネルに向かって後方に反射される。理想的な眼では、収差がないことにより、反射された光スポットパターンは何らの歪みを有さず、このため波面410は、歪められない。そのような状況では、小型レンズアレイ120上に入射する歪められない反射された波面は、結果的に反射された光パターンの中のスポットを表す光線がディスプレイパネル118の予測される位置にぶつかることになる。実例を示すために、仮に眼404が収差のない理想的な眼だったとすれば、反射された波面410は、歪められず、このため結果的に(反射された光スポットパターン内の対応するスポットを表す)光線411,412,413,414は、予測される位置421,422,423,424それぞれにおいてディスプレイパネル118にぶつかる。
【0026】
しかし、眼404といった現実の眼では、眼内の収差は、反射された光スポットパターン内の局部歪みをもたらし、すなわち、反射された波面410は、眼404内の収差によって歪められる。反射された波面410内の局所的な歪みは、波面410の歪められた領域が対応する小型レンズ206に真直というよりはむしろ角度をなしてぶつかることを引き起こし、結果として生じる光線は、ディスプレイパネル118に予測される位置とは異なる位置においてぶつかる。実例を示すために、断面
図402において、眼404は、波面410を歪める収差を有し、これにより、小型レンズアレイ120によって伝播される実際の光線431,432,433,434は、対応する光線に対して予測される位置とは異なり得る、実際の位置441,442,443,444においてディスプレイパネル118にぶつかる。小型レンズアレイ120が瞳孔共役面であるので、波面410の形状は、眼404の瞳孔の形状を表し、キャプチャされた反射されたスポットパターン画像内の光スポットの実際の位置と予測される位置との間の線形変位の大きさは、対応する小型レンズ206にぶつかった波面410の局所領域の傾きに比例し、同時に、線形変位の方向は、波面410の局所領域の傾きの方向を表す。次いで波面410の局所領域の傾きの大きさおよび方向は、眼404に存在する任意の屈折収差並びに現在の調整状態を含む、眼404の特徴付けを表す。
【0027】
実例を示すために、
図5は、反射されたスポットパターン画像164の例を説明する。示されるように、反射されたスポットパターン画像164は、スポット(たとえば、スポット504)のアレイ502を備え、各スポットは、ブロック302において、光スポットパターンの伝播中に、眼404から反射された検出された光スポットの実際の位置を反映する。比較の目的のために、
図5はまた、眼404内の任意の収差が存在しない場合の(すなわち、眼404が理想的な眼だった場合の)、スポットの予測される位置(たとえば、予測される位置508)のアレイ506を含む。図示されるように、ディスプレイパネル118の投光素子のアレイが規則的な等間隔パターンにおいて光スポットのパターンを投影するように配置されることを仮定して、予測される位置のアレイ506は、同様に規則的な等間隔パターンを表す。しかし、ユーザの眼404が理想的な眼であることはまず無いので、ユーザの眼404内の収差は、反射される波面410を歪め、このため、キャプチャされたスポットパターン画像164内の少なくともいくつかのスポットの実際の位置は、それらの予測される位置からずらされることになるだろう。実例を示すために拡張
図510を参照して、眼404内の収差が波面410内の局所的な歪みを引き起こし、このことは次いで、(変位D(K1)とも付された)変位516の分だけその予測される位置514から変位される、実際の位置512において入射する対応する反射されたスポットをもたらす。別の例として、拡張
図520によって示されるように、眼404内の同じまたは異なる収差が波面410内の局所的な歪みを引き起こし、このことは、(変位D(K2)とも付された)変位526の分だけその予測される位置524から変位される、実際の位置522において入射する反射されたスポットをもたらす。
【0028】
そのため、反射されたスポットパターン画像164内の反射されたスポットの実際の位置、およびそれらの対応する予測される位置からのそれらの変位は、眼404のある特徴付けを表す。したがって、ブロック308において、画像解析コンポーネント162は、反射されたスポットパターン画像164内にキャプチャされた反射されたスポットの実際の位置と予測される位置との間の変位を分析し、眼404を特徴付け、決定された眼の特徴付けを表すデータをレンダリングコンポーネント104に眼の特徴付け情報156として提供する。
【0029】
眼404の任意の様々な特徴付けが決定され得、そのような特徴付けを決定するために任意の様々な波面歪み分析処理が用いられ得る。実例を示すために、反射されたスポットパターン画像164が従来型のシャックハルトマン波面センサによってキャプチャされた歪められた波面に類似し得るので、そのような従来型のシャックハルトマン波面センサを使用して一般的に適用される任意の様々な既知の眼収差計技術(たとえば、Complete Ophthalmic AnalysisSystem、またはCOAS技術)は、眼404内の低次収差および/または高次収差を特徴付けるために、同様に適合され用いられてもよい。実例を示すために、上述のように、スポットの変位は、波面異常の局所的勾配に直接関連付けられ(Δx=f×[dW/dx])、このためスポット変位マップを空間的に統合することによって、画像解析コンポーネント162は、波面異常Wを(重要性の低い)いくらかの一定のオフセットにまで回復させることができる。波面異常の多項式展開における項は、異なる収差(たとえば焦点ぼけ、非点収差、球状等)に対応する。このため画像解析コンポーネント162は、測定された波面異常に多項式を当てはめ、ライトフィールドレンダリング内の、異なる収差の係数または相対重みを決定するか、波面異常の逆関数をエンコードすることができる。
【0030】
別の例として、画像解析コンポーネント162は、眼404の現在の調整状態を決定するために、反射されたスポットパターン画像164内の変位を分析してもよい。上記の段落に概略された収差検出手法と同様に、調整状態は、波面異常の二次項(すなわちW=W_焦点ぼけ×r^2)である。そのため、非点収差は、x、y方向に沿って異なる量の焦点ぼけ、または二次係数を可能とする。
【0031】
ブロック302,304,306,308によって表される眼の特徴付け処理は、任意の様々な方法でトリガされ得る。たとえば眼の特徴付け処理は、スタートアップ時においてユーザの眼内の収差を特徴付けるだめに一度トリガされ得、結果として生じる眼の特徴付け情報は、ニアアイディスプレイシステム100がリセットされるまで、または別のユーザがニアアイディスプレイシステム100を使用し始めるまで固定され得る。その他実施形態では、眼の特徴付け処理は、特に幾分かの頻度で変化することが予測される眼の現在の調整状態または眼のその他パラメータを特徴付けにおいて決定すること含む実装では、周期的にまたはその他の基準に基づき繰り返されてもよい。
【0032】
眼の特徴付け処理と並列に、レンダリングコンポーネント104は、ブロック310によって表されるレンダリング処理を行い、これによって、左眼のためのディスプレイパネル118においてディスプレイするためのライトフィールドフレーム151のシリーズが生成される(また同様に、右眼のためのディスプレイのためにライトフィールドフレーム153のシリーズが生成される)。ライトフィールドフレームが生成され表示されるために、レンダリングコンポーネント104は、ライトフィールドフレームとしてユーザの対応する眼に表示されるべき画像コンテンツを識別する。少なくとも1つの実施形態では、レンダリングコンポーネント104は、ジャイロスコープ、加速度計、磁力計、全地球測位システム(GPS)センサ等といった姿勢に関連付けられた様々なセンサからのデータを表す姿勢情報152を受信し、姿勢情報152からディスプレイ110,112をユーザの眼の近くに取り付けるために使用された装置114(たとえば、HMD)の姿勢を決定する。この姿勢から、レンダリングプログラム144を実行するCPU136は、被写シーンまたは対象物の対応する現在の視点を決定することができ、この視点とレンダリング情報148として提供されるシーンまたは対象物のグラフィカルなおよび空間的な描写とから、その姿勢に対してレンダリングされるべきイメージを決定する。
【0033】
少なくとも1つの実施形態では、プロセッサ136,138,140は、眼の特徴付け処理の現在のイタレーションのブロック308において生成される眼の特徴付け情報に基づき、このレンダリング処理を制御する。すなわち、ライトフィールドフレームは、レンダリングコンポーネント104によって、ユーザの眼の1つまたは複数の識別された特徴付けに基づきレンダリングされる。実例を示すために、眼404のための眼の特徴付け情報156が眼404内の識別された収差を表すデータを含むとき、レンダリングコンポーネント104は、ライトフィールドフレームのレンダリング151を、それが識別された収差を補正するように調節することができる。実例を示すために、波面異常(たとえば焦点ぼけ、調整状態)が測定された後に、ライトフィールドレンダリングを構成する要素画像間の相対的シフトの関係が画像解析コンポーネント164によって決定され(dx=d_レンズ×f_レンズ×φ、ここでW_焦点ぼけ=φ/2)、ライトフィールドフレームをレンダリングするときにレンダリングコンポーネント104によって実装され得る。より直接的に、ライトフィールドフレームのレンダリング中に、レンダリングコンポーネント104は、波面異常の逆関数をエンコードすることができる。
【0034】
上述のように、眼の特徴付け情報は、眼404の現在の調整状態を含むことができる。現在の調整状態は、眼の光学システムの現在の光学的屈折力を反映し、このため、眼404の現在の焦点距離を表す。眼404に表示されるライトフィールド画像の焦点面とこの焦点距離との間の不一致は、ヒトの視力システムがこの不一致または矛盾を考慮するためにかなりの認知努力を費やすことを引き起こしかねず、このことは次いでユーザを疲労させかねない。したがって、そのような調整/焦点面不一致を最小化するために、少なくとも1つの実施形態では、レンダリングコンポーネント104は、眼の特徴付け情報156内に表される眼404の現在の調整状態を利用し、現在の調整状態と一致した焦点距離/焦点面を識別し、識別された焦点距離/焦点面に基づいて1つまたは複数のライトフィールドフレーム151の次のセットをレンダリングし、このため表示されるイメージは、眼404の現在の焦点距離により良好に合致し、これにより表示されるイメージを見ているユーザが費やす認知努力を削減させる。実例を示すために、眼の既知の調整状態がライトフィールドレンダリングを容易にし得る、少なくとも2つのシナリオが存在する。第1に、ライトフィールドディスプレイは、調整状態のダイナミックレンジを有し、それは、小型レンズのための被写界深度が与えられると、dφ=2c/(d_レンズ×f_レンズ)を同時に提示することができ、式中cは、システムの最小のスポット/ピクセルサイズである。この深度ダイナミックレンジと横方向の空間分解能との間にトレードオフが存在するため、調整レンジは、任意に大きくされることはできない。バリフォーカル技術(たとえば、LC光路差変調器、レンズディスプレイ距離変調)は、制限されたダイナミックレンジをユーザが焦点を合わせようと試みている平面に対してシフトするために使用されることができる。第2のシナリオは、レンダリングライトフィールド画像のためのコンピュータ計算の帯域幅要件に関連し、計算は、表されるN個の平面に線形的に比例し、このことは、モバイルプラットフォームまたは比較的制限された計算リソースを有する他のシステムにとって大きな課題である。このため、レンダリングコンポーネント104は、単一のz平面において各ライトフィールドフレームをレンダリングし得、バリフォーカルモダリティ(撮画手段)とは別個にまたはそれに合わせて、ライトフィールドレンダリングをその平面にシフトするために、測定された調整状態を使用し得る。
【0035】
いくつかの実施形態では、上述の技術のある態様は、ソフトウェアを実行する処理システムの1つまたは複数のプロセッサによって実施されてもよい。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に格納されるかそうでなければそこに有形に具現化された実行可能な命令の1つまたは複数のセットを備える。ソフトウェアは、1つまたは複数のプロセッサによって実行されると、当該1つまたは複数のプロセッサに上述の技術の1つまたは複数の態様を行わせるように操作するための、命令および特定のデータを含むことができる。非一時的コンピュータ可読記憶媒体は、例えば、磁気または光ディスク記憶装置、フラッシュメモリなどの固体記憶装置、キャッシュ、ランダムアクセスメモリ(RAM)、またはその他の1つまたは複数の不揮発性メモリ装置等を含むことができる。非一時的コンピュータ可読記憶媒体に記憶された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または1つまたは複数のプロセッサによって解釈されるかそうでなければ実行可能である他の命令フォーマットであり得る。
【0036】
コンピュータ可読記憶媒体は、命令および/またはデータをコンピュータシステムに提供するために、コンピュータシステムによって使用中にアクセス可能な任意の記憶媒体または記憶媒体の組み合わせを含むことができる。そのような記憶媒体は、光媒体(例えばコンパクトディスク(CD)、デジタル多用途ディスク(DVD)、ブルーレイディスク)磁気媒体(例えばフロッピー(登録商標)ディスク、磁気テープ、または磁気ハードドライブ)揮発性メモリ(例えば、ランダムアクセスメモリ(RAM)またはキャッシュ)不揮発性メモリ(例えば、読み出し専用メモリ(ROM)またはフラッシュメモリ)、または微小電気機械システム(MEMS)ベースの記憶媒体を含むことができるが、これらに限定されない。コンピュータ可読記憶媒体は、コンピューティングシステムに埋め込まれるか(例えば、システムのRAMまたはROM)、コンピューティングシステムに固定的に取り付けられるか(例えば、磁気ハードドライブ)、コンピューティングシステムに取り外し可能に取り付けられるか(例えば、光ディスクまたはユニバーサルシリアルバス(USB)ベースのフラッシュメモリ)、有線または無線ネットワークを介してコンピュータシステムに結合され(例えば、ネットワークアクセス可能ストレージ(NAS))てもよい。
【0037】
一般的な説明において上述されたすべての動作または要素が必須とされるわけではなく、特定の動作または装置の一部は必須ではなく、説明したものに加えて、1つ以上のさらに他の動作が実行され得、または1つ以上のさらに他の要素が含められ得る。さらにまた、動作が列挙される順序は、必ずしもそれらが実行される順序とは限らない。また、概念は、特定の実施形態を参照して説明された。しかし、当業者は、本開示の範囲から逸脱することなく、下記の特許請求の範囲に記載されるように、様々な修正および変更が可能であることを理解するであろう。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味において考慮されるべきであり、そのような修正は、すべて本開示の範囲内に含まれることが意図される。
【0038】
利益、他の利点、および問題に対する解決策は、特定の実施形態に関して上記で説明された。しかし、利益、利点、問題に対する解決策、および任意の利益、利点、解決策を生ずるかより顕著にし得る特徴は、任意のまたはすべての請求項の、決定的なまたは必須のまたは不可欠の機能の特徴として解釈されるべきではない。さらに、本明細書の教示の利益を享受する当業者にとって明らかなように、異なる均等の方法で本開示の主題を修正し実施することができるため、上記に開示した特定の実施形態は例示にすぎない。下記の特許請求の範囲に記載されているもの以外に、本明細書に示されている構造または設計の詳細に対する限定は意図されていない。したがって、上記に開示された特定の実施形態は、変更または変形されてもよく、そのような変形形態は、すべて開示された主題の範囲内にあると考えられることが明らかである。したがって、ここで求められる保護は、下記の特許請求の範囲に記載の通りである。