(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6952123
(24)【登録日】2021年9月29日
(45)【発行日】2021年10月20日
(54)【発明の名称】拡張された調節範囲の調整を有するニアアイディスプレイ
(51)【国際特許分類】
G02B 27/02 20060101AFI20211011BHJP
G02B 30/10 20200101ALI20211011BHJP
G02B 30/36 20200101ALI20211011BHJP
H04N 13/344 20180101ALI20211011BHJP
H04N 13/307 20180101ALI20211011BHJP
H04N 13/383 20180101ALI20211011BHJP
G09G 5/00 20060101ALI20211011BHJP
【FI】
G02B27/02 Z
G02B30/10
G02B30/36
H04N13/344
H04N13/307
H04N13/383
G09G5/00 550C
G09G5/00 510A
【請求項の数】17
【全頁数】19
(21)【出願番号】特願2019-546240(P2019-546240)
(86)(22)【出願日】2018年2月15日
(65)【公表番号】特表2020-521991(P2020-521991A)
(43)【公表日】2020年7月27日
(86)【国際出願番号】US2018018432
(87)【国際公開番号】WO2018217252
(87)【国際公開日】20181129
【審査請求日】2019年10月28日
(31)【優先権主張番号】62/511,567
(32)【優先日】2017年5月26日
(33)【優先権主張国】US
(31)【優先権主張番号】15/897,633
(32)【優先日】2018年2月15日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Google LLC
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】ペロー,ジョン・ディ
(72)【発明者】
【氏名】リュル,パトリック
【審査官】
鈴木 俊光
(56)【参考文献】
【文献】
国際公開第2017/005614(WO,A1)
【文献】
特開2000−249974(JP,A)
【文献】
国際公開第2015/134740(WO,A1)
【文献】
米国特許出願公開第2014/0292620(US,A1)
【文献】
国際公開第2015/198477(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 27/01 − 27/02
G02B 30/00 − 30/60
H04N 13/30 − 13/398
(57)【特許請求の範囲】
【請求項1】
ニアアイディスプレイシステム(100)における方法であって、前記方法は、
前記ニアアイディスプレイシステム(100)のアイトラッキングコンポーネント(106,108)を使用してユーザの眼(132)の第1の姿勢を決定することと、
前記ユーザの眼の前記第1の姿勢に基づき一体型ライトフィールドフレーム(120)を形成する要素画像のアレイ(122)のための所望の焦点を決定することと、
決定された前記所望の焦点に基づき小型レンズアレイ(124)から投影される光の焦点距離を変化させることと、
前記要素画像のアレイ(122)を前記一体型ライトフィールドフレーム(120)内の位置にレンダリングすることと、
前記一体型ライトフィールドフレームを前記ニアアイディスプレイシステム(100)のディスプレイパネル(118)に表示することとを備え、
前記焦点距離を変化させることは、電圧を前記ディスプレイパネル(118)と前記小型レンズアレイ(124)との間に配置された可変屈折率材料(158)を構成する複数の領域の各々に個別に印加して、前記可変屈折率材料(158)の屈折率に変化を誘発することを備え、前記屈折率の前記変化は、前記小型レンズアレイ(124)に出入りする光の入射角を変化させる、方法。
【請求項2】
ニアアイディスプレイシステム(100)における方法であって、前記方法は、
前記ニアアイディスプレイシステム(100)のアイトラッキングコンポーネント(106,108)を使用してユーザの眼(132)の第1の姿勢を決定することと、
前記ユーザの眼の前記第1の姿勢に基づき一体型ライトフィールドフレーム(120)を形成する要素画像のアレイ(122)のための所望の焦点を決定することと、
決定された前記所望の焦点に基づき小型レンズアレイ(124)から投影される光の焦点距離を変化させることと、
前記要素画像のアレイ(122)を前記一体型ライトフィールドフレーム(120)内の位置にレンダリングすることと、
前記一体型ライトフィールドフレームを前記ニアアイディスプレイシステム(100)のディスプレイパネル(118)に表示することとを備え、
前記焦点距離を変化させることは、電圧を、可変屈折率材料を備える前記小型レンズアレイ(124)内の複数の小型レンズ(126)の各々に個別に印加して、前記複数の小型レンズ(126)の屈折率の変化を誘発することを備え、前記屈折率の前記変化は、前記小型レンズアレイ(124)に出入りする光の出射角を変化させる、方法。
【請求項3】
ニアアイディスプレイシステム(100)における方法であって、前記方法は、
前記ニアアイディスプレイシステム(100)のアイトラッキングコンポーネント(106,108)を使用してユーザの眼(132)の第1の姿勢を決定することと、
前記ユーザの眼の前記第1の姿勢に基づき一体型ライトフィールドフレーム(120)を形成する要素画像のアレイ(122)のための所望の焦点を決定することと、
決定された前記所望の焦点に基づき小型レンズアレイ(124)から投影される光の焦点距離を変化させることと、
前記要素画像のアレイ(122)を前記一体型ライトフィールドフレーム(120)内の位置にレンダリングすることと、
前記一体型ライトフィールドフレームを前記ニアアイディスプレイシステム(100)のディスプレイパネル(118)に表示することとを備え、
前記焦点距離を変化させることは、電圧を前記小型レンズアレイ(124)の第1の部分に備え付けられた可変屈折率材料を構成する複数の領域の各々に個別に印加して、前記可変屈折率材料の屈折率の変化を誘発することを備え、前記小型レンズアレイ(124)の前記第1の部分は、前記小型レンズアレイの第2の部分に対して独立にアドレス指定可能であり、さらに前記屈折率の前記変化は、前記小型レンズアレイの前記第2の部分に出入りする光の出射角を変化させることなく、前記第1の部分に出入りする光の出射角を変化させる、方法。
【請求項4】
前記ユーザの眼の前記第1の姿勢を決定することは、
前記ディスプレイパネル(118)と前記ディスプレイパネルに重畳する前記小型レンズアレイ(124)との間に配置された撮像カメラを使用して前記ユーザの眼(132)のイメージを捕捉することを備える、請求項1〜3のいずれかに記載の方法。
【請求項5】
前記要素画像のアレイのための前記所望の焦点を決定することは、
前記ユーザの眼(132)内の既存の屈折異常に基づくシフトを含むように、前記所望の焦点(222)を決定することを備える、請求項1から4のいずれか1項に記載の方法。
【請求項6】
前記要素画像のアレイのための前記所望の焦点を決定することは、
前記ユーザの眼の前記第1の姿勢によって焦点を合わせられた対象物体(502)の仮想深度を、前記一体型ライトフィールドフレーム内の他の物体(504)の前記仮想深度に対して識別することを備える、請求項1から4のいずれか1項に記載の方法。
【請求項7】
ニアアイディスプレイシステムにおける方法であって、
第1に、前記ニアアイディスプレイシステム(100)のアイトラッキングコンポーネント(106,108)を使用して前記ニアアイディスプレイシステム(100)のディスプレイパネル(118)に対するユーザの眼(132)の第1の姿勢を決定することと、
要素画像のアレイ(122)を備える一体型ライトフィールドフレーム(120)をレンダリングすることと、
前記ユーザの眼の前記第1の姿勢に基づき、小型レンズアレイ(124)における前記眼(132)の焦点が合う範囲を、第1の調節範囲(506)に調節することと、
前記小型レンズアレイ(124)を使用して表示のための前記一体型ライトフィールドフレーム(120)を提示することとを備え、さらに、
第2に、前記アイトラッキングコンポーネント(106,108)を使用して前記ディスプレイパネルに対する前記ユーザの眼(132)の第2の姿勢を決定することとを備え、前記第2の姿勢は、前記第1の姿勢とは異なり、前記方法はさらに、
前記ユーザの眼の前記第2の姿勢に基づき前記小型レンズアレイの前記第1の調節範囲(506)を第2の調節範囲(512)へと調整し、前記小型レンズアレイ(124)を使用して表示のための前記一体型ライトフィールドフレーム(120)を提示することとを備え、前記第2の調節範囲(512)は、前記第1の調節範囲(506)とは異なり、
前記第1の調節範囲を前記第2の調節範囲に調整することは、電圧を前記ディスプレイパネル(118)と前記小型レンズアレイ(124)との間に配置された可変屈折率材料(158)を構成する複数の領域の各々に個別に印加して、前記可変屈折率材料(158)の屈折率の変化を誘発することを備え、前記屈折率の前記変化は、前記小型レンズアレイ(124)に出入りする光の入射角を変化させる、方法。
【請求項8】
ニアアイディスプレイシステムにおける方法であって、
第1に、前記ニアアイディスプレイシステム(100)のアイトラッキングコンポーネント(106,108)を使用して前記ニアアイディスプレイシステム(100)のディスプレイパネル(118)に対するユーザの眼(132)の第1の姿勢を決定することと、
要素画像のアレイ(122)を備える一体型ライトフィールドフレーム(120)をレンダリングすることと、
前記ユーザの眼の前記第1の姿勢に基づき、小型レンズアレイ(124)における前記眼(132)の焦点が合う範囲を、第1の調節範囲(506)に調節することと、
前記小型レンズアレイ(124)を使用して表示のための前記一体型ライトフィールドフレーム(120)を提示することとを備え、さらに、
第2に、前記アイトラッキングコンポーネント(106,108)を使用して前記ディスプレイパネルに対する前記ユーザの眼(132)の第2の姿勢を決定することとを備え、前記第2の姿勢は、前記第1の姿勢とは異なり、前記方法はさらに、
前記ユーザの眼の前記第2の姿勢に基づき前記小型レンズアレイの前記第1の調節範囲(506)を第2の調節範囲(512)へと調整し、前記小型レンズアレイ(124)を使用して表示のための前記一体型ライトフィールドフレーム(120)を提示することとを備え、前記第2の調節範囲(512)は、前記第1の調節範囲(506)とは異なり、
前記第1の調節範囲を前記第2の調節範囲に調整することは、電圧を、可変屈折率材料を備える前記小型レンズアレイ(124)内の複数の小型レンズ(126)の各々に個別に印加して、前記複数の小型レンズの屈折率の変化を誘発することを備え、前記屈折率の前記変化は、前記小型レンズアレイ(124)に出入りする光の出射角を変化させる、方法。
【請求項9】
ニアアイディスプレイシステムにおける方法であって、
第1に、前記ニアアイディスプレイシステム(100)のアイトラッキングコンポーネント(106,108)を使用して前記ニアアイディスプレイシステム(100)のディスプレイパネル(118)に対するユーザの眼(132)の第1の姿勢を決定することと、
要素画像のアレイ(122)を備える一体型ライトフィールドフレーム(120)をレンダリングすることと、
前記ユーザの眼の前記第1の姿勢に基づき、小型レンズアレイ(124)における前記眼(132)の焦点が合う範囲を、第1の調節範囲(506)に調節することと、
前記小型レンズアレイ(124)を使用して表示のための前記一体型ライトフィールドフレーム(120)を提示することとを備え、さらに、
第2に、前記アイトラッキングコンポーネント(106,108)を使用して前記ディスプレイパネルに対する前記ユーザの眼(132)の第2の姿勢を決定することとを備え、前記第2の姿勢は、前記第1の姿勢とは異なり、前記方法はさらに、
前記ユーザの眼の前記第2の姿勢に基づき前記小型レンズアレイの前記第1の調節範囲(506)を第2の調節範囲(512)へと調整し、前記小型レンズアレイ(124)を使用して表示のための前記一体型ライトフィールドフレーム(120)を提示することとを備え、前記第2の調節範囲(512)は、前記第1の調節範囲(506)とは異なり、
前記第1の調節範囲を前記第2の調節範囲に調整することは、電圧を前記小型レンズアレイ(124)の第1の部分に備え付けられた可変屈折率材料を構成する複数の領域の各々に個別に印加して前記可変屈折率材料の屈折率の変化を誘発することを備え、前記小型レンズアレイの前記第1の部分は、前記小型レンズアレイの第2の部分(124)に対して独立にアドレス指定可能であり、さらに前記屈折率の前記変化は、前記小型レンズアレイの前記第2の部分(124)に出入りする光の出射角を変化させることなく、前記第1の部分に出入りする光の出射角を変化させる、方法。
【請求項10】
前記ユーザの眼の前記第1の姿勢によって焦点を合わせられた物体(502)の仮想深度を前記一体型ライトフィールドフレーム内の他の物体(504)の前記仮想深度に対して識別することと、
前記小型レンズアレイ(124)の屈折率が、前記第1の調節範囲内の仮想深度における他の物体に焦点を合わせて提示するように、前記第1の調節範囲(506)を計算することをさらに備える、請求項7から9のいずれか1項に記載の方法。
【請求項11】
前記ユーザの眼の前記第1の姿勢によって焦点を合わせられた対象物体(502)の仮想深度を、前記一体型ライトフィールドフレーム内の他の物体(504)の前記仮想深度に対して識別することと、
前記ユーザの眼の視線が前記対象物体(502)に焦点を合わせたときに、前記小型レンズアレイ(124)の屈折率が、前記第1の調節範囲内の仮想深度における他の物体を焦点を外して提示するように前記第1の調節範囲(506)を計算することとをさらに備える、請求項7から9のいずれか1項に記載の方法。
【請求項12】
ニアアイディスプレイシステムであって、
要素画像のアレイ(122)を備える一体型ライトフィールドフレーム(120)を表示するためのディスプレイパネル(118)と、
ユーザの眼(132)の姿勢を追跡するためのアイトラッキングコンポーネント(106,108)と、
前記一体型ライトフィールドフレーム(120)を前記ユーザの眼(132)に提示するための小型レンズアレイ(124)と、
小型レンズアレイ(124)から投影される光の焦点距離を変化させることにより、前記一体型ライトフィールドフレーム(120)内の前記要素画像のアレイのための焦点を調節するためのレンダリングコンポーネント(104)とを備え、
前記レンダリングコンポーネントは、
前記ユーザの眼の前記姿勢によって焦点を合わせられた対象物体(502)の仮想深度を前記一体型ライトフィールドフレーム内の他の物体(504)の前記仮想深度に対して識別することと、
電圧を前記小型レンズアレイ(124)に備え付けられた可変屈折率材料を構成する複数の領域の各々に個別に印加して、前記可変屈折率材料の前記屈折率の変化を誘発し、前記小型レンズアレイ(124)に出入りする光の出射角を変化させることによって、前記要素画像のアレイのための前記焦点を調節するためのものである、ニアアイディスプレイシステム。
【請求項13】
ニアアイディスプレイシステムであって、
要素画像のアレイ(122)を備える一体型ライトフィールドフレーム(120)を表示するためのディスプレイパネル(118)と、
ユーザの眼(132)の姿勢を追跡するためのアイトラッキングコンポーネント(106,108)と、
前記一体型ライトフィールドフレーム(120)を前記ユーザの眼(132)に提示するための小型レンズアレイ(124)と、
小型レンズアレイ(124)から投影される光の焦点距離を変化させることにより、前記一体型ライトフィールドフレーム(120)内の前記要素画像のアレイのための焦点を調節するためのレンダリングコンポーネント(104)とを備え、
前記小型レンズアレイは、可変屈折率材料を備え、さらに前記レンダリングコンポーネントは、電圧を前記小型レンズアレイ(124)内の複数の小型レンズ(126)の各々に独立して印加して、前記複数の小型レンズ(126)の前記屈折率の変化を誘発し、前記小型レンズアレイ(124)に出入りする光の出射角を変化させることによって、前記要素画像のアレイのための前記焦点を調節するためのものである、ニアアイディスプレイシステム。
【請求項14】
ニアアイディスプレイシステムであって、
要素画像のアレイ(122)を備える一体型ライトフィールドフレーム(120)を表示するためのディスプレイパネル(118)と、
ユーザの眼(132)の姿勢を追跡するためのアイトラッキングコンポーネント(106,108)と、
前記一体型ライトフィールドフレーム(120)を前記ユーザの眼(132)に提示するための小型レンズアレイ(124)と、
小型レンズアレイ(124)から投影される光の焦点距離を変化させることにより、前記一体型ライトフィールドフレーム(120)内の前記要素画像のアレイのための焦点を調節するためのレンダリングコンポーネント(104)とを備え、
前記ディスプレイパネル(118)と前記小型レンズアレイ(124)との間に配置された可変屈折率材料(158)をさらに備え、
前記可変屈折率材料(158)は、複数の領域により構成され、前記複数の領域の各々に個別に印加することにより、前記可変屈折率材料の前記屈折率の変化を誘発し、前記小型レンズアレイ(124)に出入りする光の入射角を変化させる、ニアアイディスプレイシステム。
【請求項15】
前記アイトラッキングコンポーネントは、
光を前記ユーザの眼上へと投影するための1つまたは複数の赤外(IR)照明器の組と、
前記小型レンズアレイ(124)と前記ディスプレイパネル(118)との間に配置され、前記小型レンズアレイ(124)を通して前記ユーザの眼(132)に向かって配向された撮像カメラとを備える、請求項12から14のいずれか1項に記載のニアアイディスプレイシステム。
【請求項16】
レンダリングシステムであって、
少なくとも1つのプロセッサ(136,138,140)と、
アイトラッキングコンポーネント(106,108)からのデータを受信するための入力とを備え、前記データは、ニアアイディスプレイパネル(118)に対するユーザの眼の姿勢を表し、前記レンダリングシステムはさらに、
実行可能な命令の組を格納するためのストレージコンポーネント(142)を備え、実行可能な命令の前記組は、前記少なくとも1つのプロセッサ(136,138,140)を操作して、要素画像のアレイ(122)を備える一体型ライトフィールドフレーム(120)をレンダリングさせるように構成され、実行可能な命令の前記組は、前記少なくとも1つのプロセッサ(136,138,140)を操作して、前記ユーザの眼(132)の前記姿勢に基づき前記一体型ライトフィールドフレーム(120)内の前記要素画像のアレイのための焦点を調節させるように構成され、
実行可能な命令の前記組は、前記少なくとも1つのプロセッサを操作して、
前記ユーザの眼(132)の前記姿勢によって焦点を合わせられた対象物体(502)の仮想深度を前記一体型ライトフィールドフレーム内の他の物体(504)の前記仮想深度に対して識別することと、
小型レンズアレイに備え付けられた可変屈折率材料を構成する複数の領域の各々に個別に印加されるべき電圧を計算し、前記可変屈折率材料の前記屈折率の変化を誘発して、前記小型レンズアレイ(124)に出入りする光の出射角を変化させることによって前記焦点を調節させることとにより構成される、レンダリングシステム。
【請求項17】
請求項1から11のいずれか1項に記載の方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【背景技術】
【0001】
背景
3次元(3D)グラフィクスの実行的なディスプレイを提供するために、ヘッドマウントディスプレイ(HMD)および他のニアアイディスプレイシステムは、一体型ライトフィールドディスプレイまたは他のコンピュータ計算ディスプレイを利用することができる。一般に、一体型ライトフィールドディスプレイは、1つまたは複数のディスプレイパネルと、当該1つまたは複数のディスプレイパネルに重畳する、小型レンズ、ピンホール、または、他の光学系機構のアレイを用いる。レンダリングシステムは、要素画像のアレイをレンダリングし、各要素画像は、対応する視点または仮想カメラ位置からの対象物またはシーンの画像またはビューを表す。そのような一体型ライトフィールドディスプレイは、解像度が小型レンズの密度に比例するため、典型的に解像度と調節範囲との間のトレードオフを呈する。このため、満足のゆく解像度を提供するために、一体型ライトフィールドディスプレイを用いる従来のニアアイディスプレイシステムは、典型的に表示解像度を制限する低い密度の大きなサイズの小型レンズを有し、または調節範囲を制限する高い密度のより小さいサイズの小型レンズを有する。
【0002】
図面の簡単な説明
本開示は、添付の図面を参照することによって、よりよく理解されることができ、その多数の特徴および利点は、当業者に明らかとなるであろう。異なる図面における同じ参照符号の使用は、類似のまたは同一の項目を示す。
【図面の簡単な説明】
【0003】
【
図1】いくつかの実施形態に従い動的焦点距離調整を提供するためにアイトラッキングおよび対応する要素画像シフトを用いるニアアイディスプレイシステムを示す図である。
【
図2】いくつかの実施形態に従う
図1のニアアイディスプレイシステム内の動的焦点距離調整の例を示す図である。
【
図3】いくつかの実施形態に従う
図1のニアアイディスプレイシステム内の動的焦点距離調整の追加的な例を示す図である。
【
図4】いくつかの実施形態に従う
図1のニアアイディスプレイシステム内の動的焦点距離調整のための方法を示すフロー図である。
【
図5】いくつかの実施形態に従う
図1のニアアイディスプレイシステム内の動的調節範囲調整の例である。
【
図6】いくつかの実施形態に従う
図1のニアアイディスプレイシステム内の動的焦点距離調整のための例示的可変焦点小型レンズアレイを示す図である。
【発明を実施するための形態】
【0004】
詳細な説明
図1〜
図6は、ニアアイディスプレイシステム内のユーザの眼の姿勢に基づく動的焦点距離および調節範囲調整のための例示的方法およびシステムを示す。少なくとも1つの実施形態では、ユーザに没入型の仮想現実(VR)または拡張現実(AR)エクスペリエンスを提供するために、ニアアイディスプレイシステムは、ユーザに対してイメージの一体型ライトフィールドフレームを表示するためのコンピュータ計算ディスプレイを用いる。各一体型ライトフィールドフレームは、要素画像のアレイで構成され、各要素画像は、異なる対応する視点からの対象物またはシーンのビューを表す。小型レンズのアレイは、ディスプレイパネルに重畳し、要素画像のアレイをユーザに単一のオートステレオスコピック画像として提示するために動作する。
【0005】
コンピュータ計算ディスプレイの解像度が小型レンズ焦点距離に対する小型レンズの大きさの比に比例するので、大きい小型レンズを使用して解像度を増加させる試みは、一般に減少された焦点距離および調節範囲をもたらし、その逆も成立する。改善された解像度を調節範囲の対応する減少なく提供するために、少なくとも1つの実施形態では、ここで説明されるニアアイディスプレイシステムは、アイトラッキングコンポーネントがユーザの眼の現在の姿勢(位置および/または回転)を決定するために利用され、この現在の姿勢に基づき、可変屈折率材料に印加されるべき電圧を決定し、可変屈折率材料によって小型レンズから投影された光がそれらの焦点距離を変化させられ、これにより画像の部分がユーザの眼の現在の姿勢に基づきどのように焦点を合わされ知覚されるかを変化させる動的手法を使用する。例として、材料の屈折率は、第1の調節範囲を生成するように初期的に設定され得、この範囲内で物体が焦点の合った状態で知覚され得る。その後、材料の屈折率は、変化され、第2の調節範囲を生成し得、この範囲内で物体が焦点の合った状態で知覚され得る。ユーザの視線が変化する際に、材料の屈折率は、変化され、調節範囲を動的に調節し、この範囲内で物体が焦点の合った状態で知覚され得る。このため、ユーザの眼の姿勢の変化に応答して屈折率を動的に変化することおよび調節範囲をシフトすることは、ニアアイディスプレイシステムの解像度の対応する減少を要さずに大きい調節範囲を効果的に提供する。
【0006】
図1は、少なくとも1つの実施形態に従い動的調節範囲調整を組み込むニアアイディスプレイシステム100を示す。図示される例では、ニアアイディスプレイシステム100は、コンピュータ計算ディスプレイサブシステム102と、レンダリングコンポーネント104と、ユーザの左眼を追跡するためのアイトラッキングコンポーネント106およびユーザの右眼を追跡するためのアイトラッキングコンポーネント108のうちの1つまたは両方といった1つまたは複数アイトラッキングコンポーネントと含む。コンピュータ計算ディスプレイサブシステム102は、装置114(たとえば、ゴーグル、眼鏡等)内に取り付けられる、左眼ディスプレイ110および右眼ディスプレイ112を含み、装置114は、ユーザの左眼と右眼それぞれの正面にディスプレイ110,112を配置する。
【0007】
ビュー116に示されるように、各ディスプレイ110,112は、一体型ライトフィールドフレームのシーケンスまたは連続物(以降、参照の容易さのために「ライトフィールドフレーム」)を表示するために、少なくとも1つのディスプレイパネル118を含み、その各々は、要素画像122のアレイ120を備える。参照の容易さのために、要素画像122のアレイ120は、ここではライトフィールドフレームとも称され得る。ディスプレイ110,112の各々は、ディスプレイパネル118に重畳する(一般的に「マイクロレンズ」とも称される)小型レンズ126のアレイ124をさらに含む。典型的に、小型レンズアレイ124内の小型レンズ126の数は、アレイ120内の要素画像122の数に等しいが、他の実装においては、小型レンズ126の数は、要素画像122の数よりも多くても少なくてもよい。
図1の例は、図示の容易さのために5×4の要素画像122のアレイおよび対応する5×4の小型レンズ126のアレイ120を図示するが、典型的な実装において、ライトフィールドフレーム120内の要素画像122の数および小型レンズアレイ124内の小型レンズ126の数は、典型的にはるかにより多いということに留意すべきである。さらに、いくつかの実施形態では、ディスプレイ110,112の各々に対して別個のディスプレイパネル118が実装され、他の実施形態では、左眼ディスプレイ110および右眼ディスプレイ112は、単一のディスプレイパネル118を共有し、ディスプレイパネル118の左半分は、左眼ディスプレイ110のために使用され、ディスプレイパネル118の右半分は、右眼ディスプレイ112のために使用される。
【0008】
図1の断面
図128は、ディスプレイパネル118に重畳する小型レンズアレイ124のA−A線に沿う断面図を示し、小型レンズアレイ124は、小型レンズアレイ124がディスプレイ表面130とユーザの対応する眼132との間に配置されるようにディスプレイパネル118のディスプレイ表面130に重畳する。この構成では、各小型レンズ126は、ディスプレイ表面130の対応する領域を眼の瞳孔134上へと集束し、そのような各領域は、少なくとも部分的に1つまたは複数の隣接する領域と重畳する。このため、そのようなコンピュータ計算ディスプレイ構成では、要素画像122のアレイ120がディスプレイパネル118のディスプレイ表面130に表示され、小型レンズアレイ124を通して眼132によって視られると、ユーザは、要素画像122のアレイ120をシーンの単一の画像として知覚する。このため、ユーザの左眼および右眼の両方に対してその間に適切な視差が実装された状態でこの処理が並列に行われるときに、結果は、ユーザに対するオートステレオスコピック3次元(3D)イメージの提示である。
【0009】
また
図1に示されるように、レンダリングコンポーネント104は、図示される中央処理ユニット(CPU)136およびグラフィックス処理ユニット(GPU)138,140といった1つまたは複数のプロセッサの組、および1つまたは複数のプロセッサ136,138,140がここで説明される様々なタスクを行うよう操作するために、プロセッサ136,138,140によってアクセスされ実行されるソフトウェアプログラムまたは他の実行可能な命令を格納するための、システムメモリ142といった、1つまたは複数のストレージコンポーネントを含む。そのようなソフトウェアプログラムは、たとえば、以下に説明するような調節範囲調整処理ならびにアイトラッキング処理のための実行可能な命令並びにまた以下に説明するようなアイトラッキングプログラム146のための実行可能な命令を備える。
【0010】
動作において、レンダリングコンポーネント104は、レンダリング情報148をローカルまたはリモートコンテンツソース150から受信し、レンダリング情報148は、対象物またはシーン、すなわちディスプレイサブシステム102においてレンダリングされ表示されるべき被写イメージを表す、グラフィクスデータ、ビデオデータ、または他のデータを表す。レンダリングプログラム144を実行するために、CPU136は、レンダリング情報148を使用してGPU138,140への描画命令を送信し、次いで描画命令を利用して、任意の様々な既知のVR/ARコンピュータ計算/ライトフィールドレンダリング処理を使用し、左眼ディスプレイ110においてディスプレイするためのライトフィールドフレーム151のシリーズと右眼ディスプレイ112においてディスプレイするためのライトフィールドフレーム153のシリーズとを並列にレンダリングする。このレンダリング処理の一部として、CPU136は、慣性管理ユニット(IMU)154から姿勢情報150を受信してもよく、姿勢情報150は、ディスプレイサブシステム102の現在の姿勢を表し、CPU136は、ライトフィールドフレーム151,153の1つまたは複数の対のレンダリングが現在の姿勢からの対象物またはシーンの視点を反映するように制御し得る。
【0011】
以下に詳細に説明するように、レンダリングコンポーネント104は、アイトラッキングコンポーネント106,108のうちの1つのまたは両方からの眼の姿勢情報をさらに使用して、表示されるべきライトフィールドフレームのために要素画像122の投影の焦点距離を小型レンズアレイ124から眼132へとシフトし得、これによりそのように表示されるライトフィールドフレームのための1つまたは複数の要素画像122の焦点を調節する。この目的のため、アイトラッキングコンポーネント106,108の各々は、赤外(IR)光を用いて眼を照射するための(ここでは「IR照明器」とも称される)1つまたは複数のIR光源と、対応する眼から反射されたIR光を対応する眼の画像(眼の画像情報156)として捕捉するための対応する1つまたは複数の撮像カメラと、反射されたIR光を撮像カメラに導くための1つまたは複数の鏡、導波管、ビームスプリッタ等と、アイトラッキングプログラム146を実行し、これにより捕捉された眼の画像からの対応する眼の現在位置、現在の配向、または両方(単独でまたは集合的にここでは「姿勢」とも称される)を決定するための1つまたは複数のプロセッサとを含み得る。任意のさまざまなよく知られたアイトラッキング装置および技法は、ユーザの1つまたは両方の眼を追跡するためのアイトラッキングコンポーネント146,148として用いられ得る。
【0012】
従来のコンピュータ計算ディスプレイに基づくシステムでは、ディスプレイに重畳する小型レンズアレイの属性は、典型的に固定され(すなわち、小型レンズの物理寸法および/または材料構造は、固定され、しばしばすべての小型レンズに対して同一である)、ひいては小型レンズの光学属性が固定されることをもたらす。結果として、ユーザが表示されるイメージを知覚する焦点を変化させることは、小型レンズアレイをユーザの眼のより近くにまたはより遠くに物理的に動かすために、機械的な作動をしばしば含む。ニアアイディスプレイシステムでは、小型レンズの小さい焦点距離は、それらを小さいレンズ−ディスプレイ間隔公差にさらす。結果として、小型レンズアレイの初期的構造における任意の不正確さまたは動作中の機械的な遷移における任意の不正確さは、焦点の喪失または表示されるイメージ内のぼやけた物体といった、表示されるイメージのユーザの知覚への意図されない影響をもたらす可能性がある。
【0013】
ここで説明されるように、少なくとも1つの実施形態では、ニアアイディスプレイシステム100は、投影されたイメージの焦点距離がユーザの眼の現在の姿勢により近く整列するように調節するよう構成された可変焦点長の小型レンズアレイを実装することによって、表示されるイメージの焦点への調節の精度を改善する。これは、ユーザの1つのまたは両方の眼を追跡するためのアイトラッキングコンポーネント106,108を使用して、表示されるべき対応するライトフィールドフレームのための1つまたは両方の眼の現在の姿勢を決定することによって達成される。決定された現在の姿勢を用いて、レンダリングコンポーネント104はそして、小型レンズアレイ内の1つまたは複数の小型レンズ126から投影された光の焦点距離を電気的に調節し、ユーザの眼132に対してレンダリングされるライトフィールドフレーム内の1つまたは複数の要素画像122の焦点を変化させる。この焦点への変化は、ディスプレイパネル118によって表示される物体がユーザの知覚から焦点を合わせられ、または焦点を外されることをもたらす。このようにして、小型レンズ126の焦点距離(複数可)は、動的に調節され、ユーザの眼の現在の姿勢を調節し得る。
【0014】
いくつかの実施形態では、小型レンズアレイ124は、ネマチック液晶セルから構築される小型レンズを含む。ネマチック液晶セルは、たとえば、電圧源(図示しない)を使用して電気的にアドレス指定可能である。小型レンズ126に印加された電圧の変化は、小型レンズの屈折率の変化を引き起こし、これによって小型レンズの焦点距離を変化させる。他の実施形態では、ネマチック液晶セルを使用して構築される小型レンズよりもむしろ、可変屈折率材料158の層(ネマチック液晶セルまたは可変焦点距離を有するように構成される他の可変焦点光学部品から構築されるものなど)は、ディスプレイパネル118と小型レンズアレイ124との間に配置されるように位置決めされる。
【0015】
ここではネマチック液晶の文脈で記載されるが、当業者は、本開示の範囲から逸脱することなく、任意の可変屈折率材料および/または可変焦点光学部品が使用され得ることを認識するであろう。例えば、そのような光学部品は、変形可能なメンブレンミラー(DMM)、流体レンズ、空間光変調器(SLM)、電気光学ポリマーなどを含むことができるが、これらに限定されない。追加的に、いくつかの他の実施形態では、小型レンズアレイ124から投影された光の焦点距離は、小型レンズアレイ124、可変屈折率材料158の層、ディスプレイパネル118、および眼132の間の物理距離を変化させるために、可変屈折率材料の可変屈折小型レンズまたは層を機械的なアクチュエータ(図示しない)と組み合わせることによってさらに調節され得る。たとえば、そのような機械的アクチュエータは、圧電アクチュエータ、ボイスコイルアクチュエータ、または電気活性ポリマーアクチュエータを含み得る。
【0016】
1つの実施形態では、電圧は、小型レンズアレイ124または可変屈折率材料158の層全体に印加される。従って、各個々の小型レンズ126または可変屈折率材料158の層全体は、その屈折率を調節するために同じ電圧を受信し、これによって小型レンズアレイ124全体から投影された光の焦点距離を変化させる。これは、小型レンズアレイ124を眼132のより近くにまたは遠くに機械的に作動し遷移させるのと同じ効果を達成し、さらに所望の焦点距離を達成する精度を改善する。他の実施形態では、小型レンズ126の各々は、個々にアドレス指定可能であり、互いに異なる電圧を受信することができる。同様に、可変屈折率材料158の層は、小型レンズアレイのものと一致する寸法を有してピクセル化され得、可変屈折率材料158の層のピクセル化された領域の各々は、個々にアドレス指定可能であり得る。これは、各小型レンズ126から投影された光の焦点距離についてより詳細に制御することを可能とする。従って、各小型レンズ126から投影された光は、モジュール化されることができ、要素画像122の各々は、画像内の物体に対して異なる視距離を有する画像の異なる部分を提示し得る。焦点についての制御のさらなる粒度を提供するために、いくつかの実施形態では、可変屈折率材料158の層は、各小型レンズ126に対応する各要素画像122の異なる部分が一意の焦点距離へと個々にアドレス指定され得るような寸法を有するサブ小型レンズレベルにおいて、ピクセル化され得る。
【0017】
代替的に、焦点についての制御のさらなる粒度を提供するために、他の実施形態では、ニアアイディスプレイシステム100は、ディスプレイパネル118と小型レンズアレイ124との間に配置されるように位置決めされる任意の位相マスク160を含む。たとえば、
図1に示されるように、任意の位相マスク160は、ディスプレイ118からの(またはいくつかの実施形態では、可変屈折率材料158からの)到来光を受光し、出力される光ビームの位相を空間的に変調するピクセル化された空間光変調器(SLM)である。従って、各小型レンズ126は、異なる光線に対して複数の空間的に変化する位相を有する入射ビームを受信し、これにより各々要素画像122の異なる部分は、異なる焦点距離に集束され得る。
【0018】
他の実施形態では、小型レンズアレイ124または可変屈折率材料158の層は、2つ以上のパーティションへとセグメント化され得る。各パーティションは、同じ電圧を用いてアドレス指定され得、これによってそのパーティションのみに対して焦点距離を変化させる。たとえば、小型レンズアレイ124または可変屈折率材料158の層は、各々が異なる電圧信号を受信する4つの等しい象限へと、アドレス指定可能である個々の行へと、個々の列へと等、セグメント化され得る。当業者は、小型レンズアレイ124または可変屈折率材料158の層の空間的に可変のアドレス指定可能なパーティションへの任意のセグメント化は、本開示の範囲を逸脱すること無く使用され得るということを認識するだろう。
【0019】
図示のために、
図2は、可変屈折率小型レンズを使用するニアアイディスプレイシステム100内で利用されるものといったコンピュータ計算ディスプレイの断面
図200を示す。この図に示されるように、小型レンズアレイ124の小型レンズ126の各々は、眼132上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、ディスプレイパネル118において表示される要素画像のアレイからの合成仮想画像202を形成する際に1つまたは複数の隣接するプロジェクタと重畳する。図示のために、小型レンズ126−1は、仮想画像202の領域210からの(領域204によって表された)対応する要素画像を投影し、小型レンズ126−2は、仮想画像202の領域212からの(領域206によって表された)対応する要素画像を投影し、小型レンズ126−3は、仮想画像202の領域214からの(領域208によって表された)対応する要素画像を投影する。
図2によって示されるように、領域210および領域212は、サブ領域216において重畳し、領域212および領域214は、サブ領域220において重畳し、すべての3つの領域210,212,214は、サブ領域218において重畳する。
【0020】
このため、この例では、ディスプレイパネル118の領域206において位置決めされる要素画像が第1の時間t
1において眼132によって焦点を合わせられると仮定すると、小型レンズ126−2の屈折率は、(たとえば、レンダリングコンポーネント104によって)計算され、電気的に変更され得、小型レンズ126−2からの画像データを含む光は、眼132の後方において第1の焦点222に集束される。従って、仮想画像202の領域212の部分は、第1の時間t
1において焦点が合っているように見える。その後、この例では、ユーザが第2の時間t
2において眼をそらし、ディスプレイパネル118の領域204に位置決めされる要素画像に焦点を合わせると仮定する。ユーザの眼に対する新たな姿勢への変化を説明するために、小型レンズ126−2の屈折率は、(たとえば、レンダリングコンポーネント104によって)計算され、電気的に変化され得、これにより小型レンズ126−2からの画像データを含む光は、ユーザの眼の調節範囲が画像のその部分に焦点を合わせることができないように第2の焦点224に集束される。従って、仮想画像202の領域212部分は、第2の時間t
2において焦点が合っていない(たとえば、ぼやけている)ように見える。
【0021】
代替的な実施形態では、
図3は、可変屈折率材料の層を使用するニアアイディスプレイシステム100内で利用されるものといったコンピュータ計算ディスプレイの断面
図300を示す。この図に示されるように、小型レンズアレイ124の小型レンズ126の各々は、眼132上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、ディスプレイパネル118において表示される要素画像のアレイから合成仮想画像202を形成する際に、1つまたは複数の隣接するプロジェクタに重畳する。図示のために、小型レンズ126−1は、仮想画像302の領域310からの(領域304によって表される)対応する要素画像を投影し、小型レンズ126−2は、仮想画像302の領域312からの(領域306によって表された)対応する要素画像を投影し、小型レンズ126−3は、仮想画像302の領域314からの(領域308によって表された)対応する要素画像を投影する。
図3によって示されるように、領域310および領域312は、サブ領域316において重畳し、領域312および領域314は、サブ領域320において重畳し、すべての3つの領域310,312,314は、サブ領域318において重畳する。
図3において図示された実施形態では、(
図1に対して以前に説明されたような)可変屈折率材料158の層は、その屈折率を変化させ、小型レンズ126上の光の入射を変化させ、ひいては小型レンズ126から投影された光の焦点距離を変化させる。
【0022】
このため、この例では、ディスプレイパネル118の領域306において位置決めされる要素画像が眼132によって第1の時間t
1において焦点を合わせられると仮定すると、可変屈折率材料158の層の屈折率は、(たとえば、レンダリングコンポーネント104によって)計算され、電気的に変更され得、これにより小型レンズ126−2から投影された画像データを含む光は、眼132の後方において第1の焦点322に集束される。従って、仮想画像302の領域312の部分は、第1の時間t
1において焦点が合っているように見える。その後、この例では、ユーザが第2の時間t
2において眼をそらし、ディスプレイパネル118の領域304において位置決めされる要素画像上に焦点を合わせると仮定する。ユーザの眼に対する新たな姿勢への変化を説明するために、可変屈折率材料158の層の屈折率は、(たとえば、レンダリングコンポーネント104によって)計算され、電気的に変更され得、これにより小型レンズ126−2からの画像データを含む光は、ユーザの眼の調節範囲が画像のその部分に焦点を合わせることができないように第2の焦点324に集束される。従って、仮想画像302の領域312の部分は、第2の時間t
2において焦点が外れて(たとえば、ぼやけて)見える。
【0023】
図4は、いくつかの実施形態に従い動的画像焦点調整を提供するために調節可能な焦点距離を有する小型レンズを使用してライトフィールドフレームをレンダリングするためのニアアイディスプレイシステム100の動作の方法400を示す。方法400は、左眼ディスプレイ110または右眼ディスプレイ112のうちの1つのためのライトフィールドフレームのレンダリングおよび表示のための処理の1回の繰り返しを例示し、このため例示された処理は、ディスプレイ110,112の各々に対して反復して並列に行われ、異なる時点において各眼のためのライトフィールドフレームの異なるストリームまたはシーケンスを生成し表示し、このため3DのオートステレオスコピックVRまたはAR体験をユーザに提供する。
【0024】
ライトフィールドフレームが生成され表示されるために、方法400は、ブロック402において開始し、レンダリングコンポーネント402は、ライトフィールドフレームとしてユーザの対応する眼に表示されるべき画像コンテンツを識別する。少なくとも1つの実施形態では、レンダリングコンポーネント104は、ジャイロスコープ、加速度計、磁力計、全地球測位システム(GPS)センサ等といった姿勢に関連付けられた様々なセンサからのデータを表すIMU情報152を受信し、IMU情報150からディスプレイ110,112をユーザの眼の近くに取り付けるために使用された装置114(たとえば、HMD)の現在の姿勢を決定する。この現在の姿勢から、CPU136は、レンダリングプログラム144を実行して、被写シーンまたは対象物の対応する現在の視点を決定することができ、この視点とレンダリング情報148として提供されるシーンまたは対象物のグラフィカルなおよび空間的な描写とから、現在の姿勢に対してレンダリングされるべきイメージを決定する。
【0025】
ブロック404において、CPU136は、アイトラッキングプログラム146を実行して、ユーザの対応する眼の現在の姿勢を決定する。ここに説明されるように、眼の現在の姿勢は、任意のさまざまなアイトラッキング技法を使用して決定され得る。一般に、そのような技法は、眼の瞳孔および角膜から反射されたIR光の1つまたは複数の画像の捕捉を含む。アイトラッキングプログラム146はそして、CPU136またはGPU138,140を操作して、画像を分析させ、瞳孔反射または角膜反射のうちの1つまたは両方の対応する位置に基づき眼の姿勢を決定し得る。さらに、次いで角膜に対する瞳孔の配向は、眼の配向(すなわち、眼の視線の方向)を決定するために使用され得る。ブロック404が
図4においてブロック402に続いて示されるが、ブロック404の処理は、ブロック402の処理前に、処理中に、または処理後に行われ得るということが留意されるべきである。
【0026】
ユーザの眼の現在の姿勢が決定されると、ブロック406においてレンダリングプログラム144は、CPU136を操作して、ユーザの眼の現在の姿勢に基づき小型レンズアレイ124内の1つまたは複数の小型レンズ126のための(たとえば、所望の焦点または焦点面への)所望の焦点距離を計算する。上述のように、焦点距離は、小型レンズから投影された(画像データを伝播する)光を見るときに、最も鮮明な焦点が得られる距離を提示する。特に、所望の焦点距離は、ユーザの眼の視線が向けられた画像要素(たとえば、仮想画像内の物体、個人、シーン等)が、小型レンズ126を通した投影後に焦点が合った状態で知覚されることを可能とするよう意図される。すなわち、所望の焦点距離は、小型レンズから投影された光線が集まり眼の現在の姿勢に一致する距離を動的に調節するために機能し、これによって画像コンテンツの異なるビューが知覚される焦点を変化させる。
【0027】
少なくとも1つの実施形態では、所望の焦点距離の計算は、ユーザがディスプレイパネル118に対するユーザの眼の現在の姿勢を使用して彼または彼女の視線を向けている仮想画像内の仮想物体の識別に少なくとも部分的に基づく。図示のために、
図5の断面
図500によって示される例示的シナリオを参照して、仮想画像は、異なる深度において眼132によって知覚されることを意図されるいくつかの物体を含むことができる。たとえば、仮想画像は、仮想画像内の深度d
1およびd
2それぞれにおいて位置決めされるココナツ502および木504を提示する画像データを含む。この例では、ブロック404において決定された眼の現在の姿勢が、ユーザの視線がココナツ502に焦点を合わせていると決定すると仮定し、所望の焦点距離は、計算され得、これにより小型レンズ126−3から投影されたココナツ502のための画像データを含む光は、眼132の後方において第1の焦点508に集束される。従って、仮想画像内のココナツ502は、焦点が合っているように見える。
【0028】
いくつかの実施形態では、所望の焦点距離の計算は、仮想画像内の物体が焦点の合った状態で知覚される深度の範囲を一般に指す調節範囲の決定をさらに含む。調節範囲内で位置決めされる物体は、焦点の合った状態で知覚され得、調節範囲外に位置決めされる(すなわち、仮想深度において眼に近すぎるまたは眼から遠すぎる)物体は、眼の現在の姿勢がその調節範囲外の物体に直接的に視線を向けていても、焦点の合った状態で知覚されない。たとえば、再び
図5を参照して、木504は、眼の現在の姿勢が木504に直接的に視線を向けていても、それが調節範囲506外に位置決めされるので、焦点の合った状態で知覚されない。
【0029】
対照的に、調節範囲512が決定された場合、ココナツ502および木504の両方が眼132に対して焦点が合っているように見える。特に、この例では、ブロック404において決定された眼の現在の姿勢が、ユーザの視線が第1の時間t
1においてココナツ502に焦点を合わせていると決定すると仮定した場合、仮想画像内のココナツ502は、調節範囲512内に位置決めされるので、焦点が合っているように見える。いくつかの実施形態では、第1の時間t
1において、仮想画像内の木504は、調節範囲512内に位置決めされるが、眼の現在の姿勢がココナツ502に焦点を合わせているので、焦点が合って知覚されない。すなわち、調節範囲の決定は、調節範囲内に位置決めされるが、ユーザの視線によって焦点を合わせられない物体が、完全に焦点の合った状態で知覚されないような、1つまたは複数の所望の焦点距離を決定することをさらに含む。
【0030】
焦点距離は、向けられた視線が物体を焦点の合った状態で知覚する1つまたは複数の焦点領域および焦点ずれしたぼやけが提供される1つまたは複数の焦点ずれ領域を提供するために決定されることができ、これによって網膜のぼやけの形態の調節手がかりを提供し、深度知覚の模倣を支援する。しかし、後の時間t
2において、ユーザの視線が変化され、木504上に焦点を合わせると、仮想画像内の木504は、調節範囲512内に位置決めされるので、焦点が合っているように見える。同様に、ココナツ502は、調節範囲512内に位置決めされるが、第2の時間t
2において眼の現在の姿勢が木504に焦点を合わせているので、焦点が合って知覚されない。
【0031】
他の実施形態では、ブロック406において所望の焦点距離を計算することは、ユーザの眼内の既存の屈折異常(たとえば、近視、遠視)のための補償を任意に含むことができる。たとえば、平坦なシフトは、一体型ライトフィールドの各部分のための所望の焦点距離に適用され、ユーザの近視または遠視を修正し得、矯正レンズ(たとえば、眼鏡またはコンタクトレンズ)を通常着用しなければならないユーザがそのような矯正レンズを着用することなく画像を焦点の合った状態で見ることを可能とする。同様の補償はまた、製造からの環境条件またはアセンブリ公差による機械的な/熱的なドリフトを説明するために適用されることができる。
【0032】
所望の焦点距離が決定されると、ブロック408においてレンダリングプログラム144は、CPU136を操作して、可変屈折率材料に印加されるべき電圧を計算させる。この処理の一部として、CPU136はまた、計算された電圧が可変屈折率材料の屈折率の変化を誘発するために印加されるように命令し、これは次いでここに説明された小型レンズに出入りする光の入射角を変化させる。たとえば、
図1および
図2を再度参照して、いくつかの実施形態は、可変屈折率材料から小型レンズを構築することを含む。従って、計算された電圧を小型レンズに印加することは、それらの屈折率および小型レンズアレイを出入りする光の入射角を直接的に変化させる。他の実施形態では、
図3に対して説明されたように、可変屈折率材料は、ディスプレイパネル118と小型レンズアレイ124との間に配置された層として提供されることができる。そのような実施形態では、計算された電圧を可変屈折率材料158の層のみに印加することは、屈折率および可変屈折率材料158の層を出入りする光の入射角を直接的に変化させる。しかし、可変屈折率材料158の層を出入りする光の入射角への変化は、小型レンズアレイ124が受光する光の入射角の変化をもたらし、これによって小型レンズ126の焦点および長さを変化させる。GPUはその後、ライトフィールドフレームをブロック210においてレンダリングし、ブロック406およびブロック408の焦点距離への調整を有する、ユーザの眼132に表示するためのライトフィールドフレームを、対応するコンピュータ計算ディスプレイ110,112のうちの1つに提供する。ブロック410が
図4において方法400の最終ステップとして示されるが、ブロック410の処理はまた、ブロック402の処理前、処理中に、または処理後に行われ得るということにも留意されるべきである。
【0033】
上述のように、ここで説明される動的調節範囲調整および焦点距離変更処理は、対応する眼の現在の姿勢を決定するためにアイトラッキングコンポーネント(たとえば、アイトラッキングコンポーネント106,108)を利用する。このアイトラッキングコンポーネントは、眼を照射するための1つまたは複数のIR照明器、眼からのIR反射のイメージを捕捉するための撮像カメラ、反射されたIR光を眼から撮像カメラに導くための1つまたは複数のレンズ、導波管、または他の光学要素、およびソフトウェアプログラムを実行して捕捉されたイメージを分析する1つまたは複数のプロセッサを典型的に含む。
【0034】
図5は、いくつかの実施形態に従い可変屈折率材料を使用して調節範囲を拡張するためのニアアイディスプレイシステム100において利用されるものといった追加的な例示的コンピュータ計算ディスプレイを示す。断面
図500によって示されるように、この構成では、小型レンズアレイ124の小型レンズ126の各々は、眼132上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、ディスプレイパネル118において表示される要素画像のアレイから合成仮想画像を形成する際に、1つまたは複数の隣接するプロジェクタと重畳する。
【0035】
図500によって示されるように、仮想画像は、異なる深度において眼132によって知覚されることを意図されるいくつかの物体を含むことができる。たとえば、仮想画像は、仮想画像内の深度d
1およびd
2それぞれにおいて位置決めされるココナツ502および木504を提示する画像データを含む。この例では、眼132の現在の姿勢が、ユーザの視線が第1の時間t
1においてココナツ502に焦点を合わせていると決定すると仮定した場合、可変屈折率材料158の層の屈折率は、(たとえば、レンダリングコンポーネント104によって)計算され、電気的に変更され得、これにより小型レンズから投影された画像データを含む光は、調節範囲506と関連付けられる。
【0036】
小型レンズ126−3から投影されたココナツ502のための画像データは、眼132の後方において第1の焦点508に集束される。従って、仮想画像内のココナツ502は、第1の時間t
1において焦点が合っているように見える。しかし、第1の時間t
1における可変屈折率材料158の層の屈折率に基づき、小型レンズ126−1からの木504のための画像データを含む光は、第2の焦点510に集束される。換言すると、木504は、調節範囲506の外に位置決めされる。従って、仮想画像内の木504は、第1の時間t
1において焦点が外れて(たとえば、ぼやけて)見える。対照的に、可変屈折率材料158の層の屈折率が計算され、調節範囲512が生成されていた場合、ココナツ502および木504の両方は、眼132に対して焦点が合っているように見える。
【0037】
図6は、いくつかの実施形態に従う
図1のニアアイディスプレイシステム内の動的焦点距離調整のための例示的可変焦点小型レンズアレイを示す図である。上面
図600によって示されるように、この構成では、小型レンズアレイ124は、立方位相プレート604の第1のアレイ602および立方位相プレート604の第2のアレイ606を含む。
図6に示されるように、立方位相プレート602の第1のアレイの立方位相プレート604の第2のアレイに対する、たとえば2つのアレイ間の横方向変位による空間的な遷移は、立方位相プレート604の焦点距離を変化させる。2つの重ねられた立方位相機能を遷移させることで、可変二次(すなわち、可変焦点)効果は、導入される。同様に、小型レンズアレイ124は、レンズ間の焦点距離がレンズ間の横方向の変位によって変化するローマン・アルバレス可変焦点レンズなどの自由形状位相プレートの2つのアレイを含むことができる。これは、良好に規定された表面関数を使用することにより、動的焦点距離調整を可能とする。いくつかの実施形態では、上述の技法のある局面は、ソフトウェアを実行する処理システムの1つまたは複数のプロセッサによって実装され得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に格納されるかそうでなければそこに有形に具現化された実行可能な命令の1つまたは複数のセットを備える。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に格納されるかそうでなければそこに有形に具現化された実行可能な命令の1つまたは複数の組を備える。ソフトウェアは、1つまたは複数のプロセッサによって実行されると、当該1つまたは複数のプロセッサに上述の技術の1つまたは複数の態様を行わせるように操作するための、命令および特定のデータを含むことができる。非一時的コンピュータ可読記憶媒体は、例えば、磁気または光ディスク記憶装置、フラッシュメモリなどの固体記憶装置、キャッシュ、ランダムアクセスメモリ(RAM)、または他の1つまたは複数の不揮発性メモリ装置等を含むことができる。非一時的コンピュータ可読記憶媒体に記憶された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または1つまたは複数のプロセッサによって解釈されるかそうでなければ実行可能である他の命令フォーマットであり得る。
【0038】
コンピュータ可読記憶媒体は、命令および/またはデータをコンピュータシステムに提供するために、コンピュータシステムによって使用中にアクセス可能な任意の記憶媒体または記憶媒体の組み合わせを含むことができる。そのような記憶媒体は、光媒体(例えばコンパクトディスク(CD)、デジタル多用途ディスク(DVD)、ブルーレイディスク)磁気媒体(例えばフロッピー(登録商標)ディスク、磁気テープ、または磁気ハードドライブ)揮発性メモリ(例えば、ランダムアクセスメモリ(RAM)またはキャッシュ)不揮発性メモリ(例えば、読み出し専用メモリ(ROM)またはフラッシュメモリ)、または微小電気機械システム(MEMS)ベースの記憶媒体を含むことができるが、これらに限定されない。コンピュータ可読記憶媒体は、コンピューティングシステムに埋め込まれるか(例えば、システムのRAMまたはROM)、コンピューティングシステムに固定的に取り付けられるか(例えば、磁気ハードドライブ)、コンピューティングシステムに取り外し可能に取り付けられるか(例えば、光ディスクまたはユニバーサルシリアルバス(USB)ベースのフラッシュメモリ)、有線または無線ネットワークを介してコンピュータシステムに結合され(例えば、ネットワークアクセス可能ストレージ(NAS))てもよい。
【0039】
一般的な説明において上述されたすべての動作または要素が必須とされるわけではなく、特定の動作またはデバイスの一部は必須ではなく、説明したものに加えて、1つ以上のさらに他の動作が実行され得、または1つ以上のさらに他の要素が含められる得る。さらにまた、動作が列挙される順序は、必ずしもそれらが実行される順序とは限らない。また、概念は、特定の実施形態を参照して説明された。しかし、当業者は、本開示の範囲から逸脱することなく、下記の特許請求の範囲に記載されるように、様々な修正および変更が可能であることを理解するであろう。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味において考慮されるべきであり、そのような修正は、すべて本開示の範囲内に含まれることが意図される。
【0040】
利益、他の利点、および問題に対する解決策は、特定の実施形態に関して上記で説明された。しかし、利益、利点、問題に対する解決策、および任意の利益、利点、解決策を生ずるかより顕著にし得る特徴は、任意のまたはすべての請求項の、決定的なまたは必須のまたは不可欠の機能の特徴として解釈されるべきではない。さらに、本明細書の教示の利益を享受する当業者にとって明らかなように、異なる均等の方法で本開示の主題を修正し実施することができるため、上記に開示した特定の実施形態は例示にすぎない。下記の特許請求の範囲に記載されているもの以外に、本明細書に示されている構造または設計の詳細に対する限定は意図されていない。したがって、上記に開示された特定の実施形態は、変更または変形されてもよく、そのような変形形態は、すべて開示された主題の範囲内にあると考えられることが明らかである。したがって、ここで求められる保護は、下記の特許請求の範囲に記載の通りである。