特許 7024105 拡張現実ライトフィールドヘッドマウントディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-14

(45)【発行日】2022-02-22

(54)【発明の名称】拡張現実ライトフィールドヘッドマウントディスプレイ

(51)【国際特許分類】

   G02B 27/02 20060101AFI20220215BHJP

   G02B 30/10 20200101ALI20220215BHJP

   H04N 13/344 20180101ALI20220215BHJP

   H04N 13/307 20180101ALI20220215BHJP

   H04N 13/15 20180101ALI20220215BHJP

   H04N 13/122 20180101ALI20220215BHJP

   H04N 13/161 20180101ALI20220215BHJP

【ＦＩ】

G02B27/02 Z

G02B30/10

H04N13/344

H04N13/307

H04N13/15

H04N13/122

H04N13/161

【請求項の数】 8

(21)【出願番号】P 2020544847

(86)(22)【出願日】2019-01-29

(65)【公表番号】

(43)【公表日】2021-04-30

(86)【国際出願番号】 US2019015613

(87)【国際公開番号】W WO2019164642

(87)【国際公開日】2019-08-29

【審査請求日】2020-12-07

(31)【優先権主張番号】15/905,192

(32)【優先日】2018-02-26

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】ペロー，ジョン・ディ

(72)【発明者】

【氏名】リュル，パトリック

【審査官】井亀 諭

(56)【参考文献】

【文献】国際公開第２０１４／１２９６３０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／０３２３４８２（ＵＳ，Ａ１）

【文献】特表２０１７－５１５１６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１９２８２７（ＵＳ，Ａ１）

【文献】特開２００６－２１５２５６（ＪＰ，Ａ）

【文献】特開２０１２－２４２５１３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０３４０３８９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２７／０２

Ｇ０２Ｂ ３０／１０

Ｈ０４Ｎ １３／３４４

Ｈ０４Ｎ １３／３０７

Ｈ０４Ｎ １３／１５

Ｈ０４Ｎ １３／１２２

Ｈ０４Ｎ １３／１６１

(57)【特許請求の範囲】

【請求項1】

要素画像の配列を含むニアアイライトフィールドフレームを表示するための、実世界からの光を通過させる透光ディスプレイパネルを備え、
前記要素画像の配列の各要素画像は、異なる対応する視点からのオブジェクトまたはシーンの光景を表し、
ユーザの眼に提示するために前記ニアアイライトフィールドフレームの光線および前記実世界からの光をコリメートして重畳するためのビームスプリッターアレイをさらに備え、
前記透光ディスプレイパネルは、前記ユーザの眼と、前記ビームスプリッターアレイとの間に位置し、
前記ビームスプリッターアレイは、前記ニアアイライトフィールドフレームの光線および前記実世界からの光をコリメートして重畳するために、前記実世界からの光を透過させ、前記ニアアイライトフィールドフレームの光線を反射する、ニアアイディスプレイシステム。

【請求項2】

前記透光ディスプレイパネルは、
透過型バックライトと、
前記透過型バックライトからの光線を、前記ビームスプリッターアレイまで透過させる前に受光する透過型空間光変調器（ＳＬＭ：Ｓｐａｔｉａｌ Ｌｉｇｈｔ Ｍｏｄｕｌａｔｏｒ）とを含む、請求項１に記載のニアアイディスプレイシステム。

【請求項3】

前記透過型空間光変調器は、前記透過型空間光変調器内に埋め込まれた格子をさらに含み、前記格子は、前記透過型空間光変調器を光が透過することによって生じる高回折次数を相殺するように構成される、請求項２に記載のニアアイディスプレイシステム。

【請求項4】

前記透過型バックライトは、
光源から光線を受光する平面導波路と、
前記光線を、前記透過型空間光変調器まで透過させるために、前記平面導波路外に回折
させるように構成されるホログラフィックアウトカプラとを含む、請求項２または３に記載のニアアイディスプレイシステム。

【請求項5】

前記透過型バックライトは、
光源からの光線を受光する平面導波路を含み、前記平面導波路は、前記光線を、前記透過型空間光変調器まで透過させるために、前記平面導波路外に回折させるように構成される複数の表面のきずを含む、請求項２または３に記載のニアアイディスプレイシステム。

【請求項6】

前記透過型バックライトは、
透明基板のＳＬＭに面した表面上にパターンが形成された単色ＬＥＤ発光部の配列を含む、請求項２～５のいずれか１項に記載のニアアイディスプレイシステム。

【請求項7】

前記配列は、前記単色ＬＥＤ発光部の各々が前記ビームスプリッターアレイに含まれるビームスプリッター間の間隔とほぼ同じ間隔を空けるように配置される、請求項６に記載のニアアイディスプレイシステム。

【請求項8】

前記要素画像の配列の各要素画像は、前記単色ＬＥＤ発光部の個々から出射される光に対応する、請求項６または７に記載のニアアイディスプレイシステム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）およびその他のニアアイディスプレイシステムは、ライトフィールドディスプレイまたはその他のコンピュテーショナルディスプレイを利用して効果的な３次元（３Ｄ）グラフィックスの表示を提供することができる。一般に、ライトフィールドディスプレイは、１つ以上のディスプレイパネルと、当該１つ以上のディスプレイパネル上に置かれた小型レンズ、ピンホール、またはその他の光学機能のアレイとを採用する。描画システムは、要素画像の配列を描画する。各要素画像は、対応する見え方または仮想カメラの位置からのオブジェクトまたはシーンの画像もしくはビューを表す。ＨＭＤの場合、仮想オブジェクトは、ユーザが視聴する写真（たとえば、実世界シーン）上に重畳されて拡張現実（ＡＲ）または複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）没入型体験を提供することができる。

【発明の概要】

【課題を解決するための手段】

【0002】

実施の形態の概要
一態様によると、ニアアイディスプレイシステムは、要素画像の配列を含むニアアイライトフィールドフレームを表示するための、光を通過させる透光ディスプレイパネルと、ユーザの眼に提示するためにニアアイライトフィールドフレームの光線をコリメートするためのビームスプリッターアレイとを備える。いくつかの実施の形態では、透光ディスプレイパネルは、透過型バックライトと、透過型バックライトからの光線を、ビームスプリッターアレイまで透過させる前に受光する透過型空間光変調器（ＳＬＭ：Ｓｐａｔｉａｌ Ｌｉｇｈｔ Ｍｏｄｕｌａｔｏｒ）とを含む。透過型空間光変調器は、空間光変調器内に埋め込まれた格子をさらに含んでもよく、格子は、透過型空間光変調器を光が透過することによって生じる高回折次数を相殺するように構成される。これに加えて、透過型バックライトは、光源から光線を受光する平面導波路と、光線を、透過型空間光変調器まで透過させるために、平面導波路外に回折させるように構成されるホログラフィックアウトカプラとを含んでもよい。透過型バックライトは、光源からの光線を受光する平面導波路をさらに含んでもよく、平面導波路は、光線を、透過型空間光変調器まで透過させるために、平面導波路外に回折させるように構成される複数の表面のきずを含む。

【0003】

いくつかの態様では、透過型バックライトは、透明基板のＳＬＭに面した表面上にパターンが形成された単色ＬＥＤ発光部の配列を含む。配列は、単色ＬＥＤ発光部の各々がビームスプリッターアレイに含まれるビームスプリッター間の間隔とほぼ同じ間隔を空けるように配置されてもよい。要素画像の配列の各要素画像は、単色ＬＥＤ発光部の個々から出射される光に対応する。

【0004】

いくつかの態様によると、ニアアイディスプレイシステム要素画像の配列を含むニアアイライトフィールドフレームを表示するための、光を通過させる透光ディスプレイパネルと、ユーザの眼に提示するためにニアアイライトフィールドフレームの光線をコリメートするための複屈折レンズアレイとを備える。透光ディスプレイパネルは、ニアアイライトフィールドフレームの光線を、ユーザの眼から遠ざけるよう、ワイヤグリッド偏光子に向けて透過させるように構成されてもよく、さらに、ワイヤグリッド偏光子は、第１偏光状態の光線を透光ディスプレイパネルに向けて反射するように構成される。透光ディスプレイパネルは、第１偏光状態の反射した光線を、ユーザの眼に提示する前にコリメートするために複屈折レンズアレイまで透過させるために、通過させるようにさらに構成されてもよい。ワイヤグリッド偏光子は、第２偏光状態の実世界環境から生じた光線を透光ディスプレイパネルまで透過させるように構成されてもよく、透光ディスプレイパネルは、第２偏光状態の光線を、複屈折レンズアレイまで透過させるために、通過させるように構成されてもよく、さらに、複屈折レンズアレイおよびワイヤグリッド偏光子は、第２偏光状態の光線を、ユーザの眼に提示するために、移動経路を変えることなく通過させる。透光ディスプレイパネルは、ニアアイライトフィールドフレームの光線をユーザの眼に向けて透過させ、ユーザの眼に提示する前にコリメートするために複屈折レンズアレイに向けて透過させるようにさらに構成されてもよい。いくつかの態様では、透光ディスプレイパネルによって透過された光線の第１部分は、複屈折レンズアレイによって屈折させられる所望の仮想イメージデータを表す第１偏光状態の光線を含み、さらに、透光ディスプレイパネルによって透過された光線の第２部分は、移動経路を変えることなく複屈折レンズアレイを通過する焦点が合っていないイメージデータを表す第２偏光状態の光線を含む。このような態様では、ニアアイシステムは、ユーザの眼の近傍に位置する第２のワイヤグリッド偏光子と、第２のワイヤグリッド偏光子と複屈折レンズアレイとの間に位置する可変半波長板とをさらに備えてもよく、可変半波長板は、複屈折レンズアレイから受光した光線の第２偏光状態を回転させるように構成される。所望の仮想イメージデータがユーザの眼に提示されるために第２のワイヤグリッド偏光子を通過できるように、可変半波長板は、第１偏光状態の光線の第１部分を第２偏光状態に回転させてもよい。さらには、焦点が合っていないイメージデータがユーザの眼に到達する前に第２のワイヤグリッド偏光子によって遮られるよう、可変半波長板は、第２偏光状態の光線の第２部分を第１偏光状態に回転させてもよい。

【0005】

いくつかの態様では、描画システムは、少なくとも１つのプロセッサと、実行可能な命令のセットを格納するための記憶部とを備え、実行可能な命令のセットは、少なくとも１つのプロセッサを操作して、要素画像の配列を含む積分ライトフィールドフレームを描画するように構成され、実行可能な命令のセットは、少なくとも１つのプロセッサを操作して、カラーフィールド要素画像の空間多重化に基づいて積分ライトフィールドフレームをエンコードするようにさらに構成される。実行可能な命令のセットは、少なくとも１つのプロセッサを操作して、カラーフィールド要素画像の各々の中央部分のコントラストを下げてｄｏｕｂｌｅ－ｐａｓｓ再構成アーティファクトの認識性を抑えることによって、積分ライトフィールドフレームを調整するように構成されてもよい。

【0006】

添付の図面を参照することによって、本開示は理解され、その多くの特徴および利点が当業者に明らかになるであろう。異なる図面における同一の参照符号の使用は、同様または同一の項目を示す。

【図面の簡単な説明】

【0007】

【図1】いくつかの実施の形態に係る、背面照光式ライトフィールドディスプレイが組み込まれたニアアイディスプレイシステムを示す図である。

【図2】いくつかの実施の形態に係る、図１のニアアイディスプレイシステムの背面照光式ライトフィールドディスプレイの例を示す図である。

【図3A】いくつかの実施の形態に係る、図１のニアアイディスプレイシステムにおける例示的な透過型バックライトの断面図を示す。

【図3B】いくつかの実施の形態に係る、図１のニアアイディスプレイシステムにおける例示的な透過型バックライトの断面図を示す。

【図3C】いくつかの実施の形態に係る、図１のニアアイディスプレイシステムにおける例示的な透過型バックライトの断面図を示す。

【図3D】いくつかの実施の形態に係る、図１のニアアイディスプレイシステムにおける例示的な透過型バックライトの断面図を示す。

【図4A】いくつかの実施の形態に係る、図１のニアアイディスプレイシステムにおける例示的な透光ディスプレイの断面図を示す。

【図4B】いくつかの実施の形態に係る、図１のニアアイディスプレイシステムにおける例示的な透光ディスプレイの断面図を示す。

【図5】いくつかの実施の形態に係る、ライトフィールドエンコーディングを透光ディスプレイとともに示す図である。

【図6】いくつかの実施の形態に係る、図１のニアアイディスプレイシステムにおいて利用されるような、ライトフィールドディスプレイ用の例示的な複屈折レンズアレイの図である。

【図7】いくつかの実施の形態に係る、図１のニアアイディスプレイシステムにおいて利用されるような、ライトフィールドディスプレイ用の例示的な可変偏光回転子の図である。

【発明を実施するための形態】

【0008】

詳細な説明
図１～図７は、ニアアイディスプレイシステムにおける透過型ライトフィールドＡＲディスプレイのための例示的なシステムを示す。少なくとも１つの実施の形態では、ニアアイディスプレイシステムは、ＡＲまたはＭＲ体験を提供するように、コンピュテーショナルディスプレイを採用してイメージの積分ライトフィールドフレームをユーザに表示する。各積分ライトフィールドフレームは、要素画像の配列から構成され、各要素画像は、異なる対応する視点からのオブジェクトまたはシーンのビューを表す。

【0009】

コンピュテーショナルディスプレイのアイボックス寸法または「サイズ」は光学素子の焦点距離に対するアイレリーフの割合に比例するため、アイボックスサイズを大きくしようとすると、大体において、視野（ＦＯＶ）が狭くなってしまい、ＦＯＶを広げようとするとアイボックスサイズが小さくなってしまう。ＦＯＶが対応して狭くなってしまうことなくＡＲディスプレイのアイボックスサイズを改善するために、少なくとも１つの実施の形態において、本明細書に記載のニアアイディスプレイシステムは、透過型バックライトと、透明ディスプレイパネルと、タイル型光学部品とを利用して、ビーム分割およびライトフィールド画像の網膜上でのニアアイ再構成を可能にする。例として、ニアアイディスプレイシステムは、要素画像の配列を含むニアアイライトフィールドフレームを表示するための透光ディスプレイパネルを含んでもよい。透光ディスプレイパネルは、ニアアイライトフィールドフレームの光線をユーザの眼から遠ざけるよう、湾曲したビームスプリッターのアレイに向けて透過させるように構成される。湾曲したビームスプリッターは、透過した光線をコリメートし、コリメートされた当該光線をユーザの眼まで通過（すなわち、透過）させるよう、透光ディスプレイパネルに向かって反射し返す。このように、透過型光学素子の使用によって光線が進むパス長が長くなるので、ＦＯＶおよびアイボックスサイズを、ニアアイディスプレイシステムのフォームファクターを増やすことなく大きくすることができる。

【0010】

図１は、いくつかの実施の形態に係る、背面照光式ライトフィールドディスプレイが組み込まれたニアアイディスプレイシステム１００を示す。図示した例では、ニアアイディスプレイシステム１００は、コンピュテーショナルディスプレイサブシステム１０２と、描画コンポーネント１０４と、ユーザの左眼を追跡するためのアイトラッキングコンポーネント１０６およびユーザの右眼を追跡するためのアイトラッキングコンポーネント１０８のいずれか一方またはその両方など、１つ以上のアイトラッキングコンポーネントとを備える。コンピュテーショナルディスプレイサブシステム１０２は、装置１１４（たとえば、ゴーグル、眼鏡、その他のヘッドマウントディスプレイ（ＨＭＤ）など）に搭載された左眼用ディスプレイ１１０と右眼用ディスプレイ１１２とを含む。装置１１４は、ディスプレイ１１０、１１２をそれぞれユーザの左眼と右眼の前に配置する。

【0011】

ビュー１１６によって示されるように、ディスプレイ１１０、１１２の各々は、一連のまたは連続した積分ライトフィールドフレーム（参照の便宜上、以下、「ライトフィールドフレーム」）を表示するための少なくとも１つのディスプレイパネル１１８を含む。積分ライトフィールドフレームの各々は、要素画像１２２の配列１２０から構成される。また、参照の便宜上、要素画像１２２の配列１２０は、本明細書において、ライトフィールドフレームと称される場合がある。ディスプレイ１１０、１１２の各々は、ディスプレイパネル１１８を覆うビームスプリッター１２６のアレイ１２４をさらに含む。いくつかの実施の形態では、ビームスプリッターアレイ１２４に含まれるビームスプリッター１２６の数は、配列１２０に含まれる要素画像１２２の数に等しい。しかしながら、その他の実装形態において、ビームスプリッター１２６の数は、要素画像１２２の数よりも少なくてもよく、多くてもよい。なお、図１の例では、説明を容易にするために、５×４配列の要素画像１２２と、対応する５×４配列１２４のビームスプリッター１２６とを示しているが、通常の実装形態では、ライトフィールドフレームに含まれる要素画像１２２の数と、ビームスプリッターアレイ１２４に含まれるビームスプリッター１２６の数は、通常、それよりも遙かに多い。さらには、いくつかの実施の形態では、ディスプレイ１１０、１１２の各々について別個のディスプレイパネル１１８が実装されるが、その他の実施の形態において、左眼用ディスプレイ１１０および右眼用ディスプレイ１１２は、左半分が左眼用ディスプレイ１１０用に利用され、右半分が右眼用ディスプレイ１１２用に利用される１つのディスプレイパネル１１８を共有してもよい。

【0012】

図１の断面図１２８は、ビームスプリッターアレイ１２４と対応するユーザの眼１３２との間にディスプレイパネル１１８が配置されるよう、ビームスプリッターアレイ１２４がディスプレイパネル１１８のディスプレイ面１３０を覆うようにディスプレイパネル１１８を覆っているビームスプリッターアレイ１２４のＡ－Ａ線に沿った断面図を示す。ここでさらに詳細を説明すると、ディスプレイパネル１１８は、透過型バックライト１３４と、透光ディスプレイパネル１３６とを含む。この構成において、（たとえば、透過型バックライト１３４から透光ディスプレイパネル１３６を通過して）ディスプレイパネル１１８からビームスプリッターアレイ１２４に向けて光が照射され、各ビームスプリッター１２６は、対応するディスプレイ面１３０の領域を再び眼１３２の瞳に向ける（たとえば、反射させる）。各領域は、１つ以上の隣接する領域と少なくとも一部重なり合っている。

【0013】

このようなコンピュテーショナルディスプレイ構成では、要素画像１２２の配列１２０がディスプレイパネル１１８のディスプレイ面１３０に表示されてからビームスプリッターアレイ１２４のビームスプリッター１２６によって再び眼１３２に向けられると、ユーザは、要素画像１２２の配列１２０を１つの仮想画像として認識する。この処理が、左眼と右眼との視差を適切に実現しつつ、ユーザの左眼および右眼の両方に対して並列に行われた場合、裸眼立体視３次元（３Ｄ）仮想イメージがユーザに提示されることになる。これに加えて、実世界（たとえば、ユーザが位置する実世界環境）からの光が、ビームスプリッターアレイ１２４、透光ディスプレイパネル１３６、そして透過型バックライト１３４を通過して眼１３２に向かう。よって、仮想イメージが実世界イメージ上に重畳されるまたは実世界イメージと合成されて、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）イメージおよび／または複合現実（ＭＲ：Ｍｉｘｅｄ－Ｒｅａｌｉｔｙ）イメージがユーザに提示される。

【0014】

図１にも示すように、描画コンポーネント１０４は、図示したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３８およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４０など、１つ以上のプロセッサのセットと、ソフトウェアプログラムまたはその他の実行可能な命令を格納するためのシステムメモリ１４２などの１つ以上のストレージコンポーネントとを含む。この実行可能な命令は、プロセッサ１３８、１４０のうちの１つ以上を操作して本明細書に記載する様々なタスクを実行させるように、プロセッサ１３８、１４０によってアクセスされて実行される命令である。このようなソフトウェアプログラムは、たとえば、後述する描画処理のための実行可能な命令を含む描画プログラム１４４と、こちらも後述するアイトラッキング処理のための実行可能な命令を含むアイトラッキングプログラム１４６とを含む。

【0015】

動作中、描画コンポーネント１０４は、ローカルまたはリモートのコンテンツソース１５０から描画情報１４８を受け付ける。描画情報１４８は、グラフィックスデータ、映像データ、描画されてディスプレイサブシステム１０２に表示されるイメージの対象であるオブジェクトまたはシーンを表すその他のデータを表す。描画プログラム１４４を実行すると、ＣＰＵ１３８は、描画情報１４８を使用して描画命令をＧＰＵ１４０に送信する。そして、ＧＰＵ１４０は、この描画命令を使用して、様々な周知のＶＲ／ＡＲ／ＭＲの計算ライトフィールド描画処理を利用することにより、左眼用ディスプレイ１１０に表示するための一連のライトフィールドフレーム１５１と右眼用ディスプレイ１１２に表示するための一連のライトフィールドフレーム１５３とを並列に描画する。この描画処理の一部として、ＣＰＵ１３８は、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍａｎａｇｅｍｅｎｔ Ｕｎｉｔ）１５４から姿勢情報１５１を受け付けてもよい。姿勢情報１５１は、ディスプレイサブシステム１０２の現在の姿勢を表す情報であり、ライトフィールドフレーム１５１、１５３のペアの１つ以上を描画することを制御して、現在の姿勢からのオブジェクト（複数可）またはシーン（複数可）の視点を反映させる。

【0016】

さらに説明すると、図２は、いくつかの実施の形態に係る、ニアアイディスプレイシステム１００において利用されるような例示的な背面照光式ライトフィールドディスプレイの断面図２００を示す。この図に示すように、透過型バックライト１３４から照射された光は、透光ディスプレイパネル１３６を通過する。様々な実施の形態では、透光ディスプレイパネル１３６は、透過型バックライト１３４からの入射光を受光する透過型空間光変調器（ＳＬＭ：Ｓｐａｔｉａｌ Ｌｉｇｈｔ Ｍｏｄｕｌａｔｏｒ）である。ここでさらに説明すると、ＳＬＭを透過することによる光の変調により、透過型バックライト１３４から照射された光が折り返しおよび／または回折され、虹回折効果（たとえば、複数の高回折次数などによって生じる）として目に見えるようになる。

【0017】

いくつかの実施の形態では、図２に示すように、透光ディスプレイパネル１３６は、この回折効果を相殺するように動作する埋込形格子２０２（または、透光ディスプレイパネル１３６内に埋め込まれるのではなく、透光ディスプレイパネル１３６と積み重ねられる）を含む。ＳＬＭ自体が入射光線の位相および／または強度を変調する（すなわち、ＳＬＭ自体が１つの格子として作用する）ため、透光ディスプレイパネル１３６を格子２０２と対にしたものを、格子（ＳＬＭによって行われる変調に応じて、振幅格子または位相格子のいずれか）のスタックドペア（ｓｔａｃｋｅｄ ｐａｉｒ）としてモデル化することができる。したがって、ＳＬＭに対して位置が変えられるよう、かつＳＬＭと同じピッチを有するように格子２０２を特定の方向に向けることによって、高回折次数が相殺され、虹回折効果をなくすまたは低減することができる。

【0018】

様々な実施の形態では、湾曲したビームスプリッター１２６は、反射性を有するように、振幅、スペクトル（すなわち、波長ベースの）、または偏光ビームスプリッターコーティングでコーティングされている。透光ディスプレイパネル１３６を通過する光線２０４は、湾曲したビームスプリッター１２６によって反射される。湾曲したビームスプリッター１２６によってコリメートされる反射した光線２０６は、透光ディスプレイパネル１３６と透過型バックライト１３４とを通過してユーザの眼１３２に戻って認識される。図示したように、反射した光線２０６は、仮想オブジェクト２０８に対応する。図２では湾曲したビームスプリッター１２６を背景に説明されているが、当業者であれば、本開示の範囲内で透光ディスプレイパネル１３６からの入射光線２０４に上述したコリメート作業を行うことができる光学素子を利用してもよいことがわかるであろう。

【0019】

いくつかの実施の形態では、図２に示すような、物理的に湾曲した表面にビームスプリッターコーティングが施された（そして、基板２１０に埋め込まれた）湾曲したビームスプリッター１２６のアレイ１２４を利用するのではなく、ビームスプリッターは、基板２１０上にパターニングされている回折反射板を含む。また、非埋込形光学素子は、基板埋め込み構造と比較して、製造するのが容易であるというメリットがある。たとえば、様々なホロラフィックな厚型／薄型回折フレネルゾーン構造またはメタマテリアルのナノフォトニクス配列要素が、基板２１０の表面２１２に面したディスプレイパネル上にパターン（図示せず）形成され得る。湾曲したビームスプリッター１２６と同様に、このような光学素子は、振幅、スペクトル（すなわち、波長ベース）、または偏光ビームスプリッターの挙動に作用する。一般に、様々な実施の形態によると、ビームスプリッターは、反射であろうと、屈折であろうと、回折であろうと、入射光線をコリメートすることができる光学素子を含む。

【0020】

ユーザが位置し、かつ、その視線が向けられている実世界環境２１４など、実世界からの光は、ビームスプリッターアレイ１２４、透光ディスプレイパネル１３６、そして透過型バックライト１３４を通過して眼１３２に向かう。たとえば、実体オブジェクト２１８に関係する光線２１６は、ビームスプリッターアレイ１２４、透光ディスプレイパネル１３６、そして透過型バックライト１３４を通過して眼１３２に向かう。光線２０４がビームスプリッターアレイ１２４のビームスプリッター１２６によって再び眼１３２に向けられると、ユーザは、仮想画像も認識するようになる。よって、仮想イメージが実世界イメージ上に重畳されるまたは実世界イメージと合成されて、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）イメージおよび／または複合現実（ＭＲ：Ｍｉｘｅｄ－Ｒｅａｌｉｔｙ）イメージがユーザに提示される。

【0021】

図３Ａ～図３Ｄは、いくつかの実施の形態に係る、図１のニアアイディスプレイシステムにおける例示的な透過型バックライトの断面図を示す。図３Ａの透過型バックライト１３４は、平面導波路３０２を含む。平面導波路３０２内では、ＲＧＢ（Ｒｅｄ－Ｇｒｅｅｎ－Ｂｌｕｅ）ＬＥＤなど、光源３０４からの光が全反射される。平面導波路３０２は、ホログラフィックアウトカプラ３０６に連結されており、ホログラフィックアウトカプラ３０６に光線が入射すると、この光線は、全反射される代わりに、平面導波路３０２外に回折される。別の実施の形態では、図３Ｂの透過型バックライト１３４は、ＬＥＤ発光部３１０のスパースアレイのパターンが形成されたクリア基板３０８（たとえば、プレキシガラスまたはアクリル素材）を含む。同様に、図３Ｃの実施の形態では、透過型バックライト１３４は、ＬＥＤ３１２がパターン形成されたクリア基板３０８（たとえば、プレキシガラスまたはアクリル素材）を含む。この例では、スパースアレイが基板３０８全体を覆うのではなく、幅広ＬＥＤ３１２のペアが透光ディスプレイパネル（図示せず）のＳＬＭ全体にユーザの視野の外側から光を提供する。図３Ｄの実施の形態は、図３Ａと同様であり、透過型バックライト１３４は、平面導波路３０２を含み、平面導波路３０２内では、ＲＧＢ（Ｒｅｄ－Ｇｒｅｅｎ－Ｂｌｕｅ）ＬＥＤなどの光源３０４からの光が全反射される。しかしながら、平面導波路３０２がホログラフィックアウトカプラ（ｏｕｔ－ｃｏｕｐｌｅｒ）３０６に連結される代わりに、平面導波路３０２は、複数の工夫された表面のきず３１４を含む（たとえば、図３Ｄでは表面の凸部として例示されているが、凹みも使用可能である）。この複数の工夫された表面のきず３１４に光線が入射すると、光線は、全反射される代わりに、平面導波路３０２外に回折される。このように、透過型バックライト１３４は、ユーザへの透過性を保ちながら、仮想イメージ生成用の光を提示するために用意されている。

【0022】

図４Ａ～図４Ｂは、いくつかの実施の形態に係る、図１のニアアイディスプレイシステムにおける透光ディスプレイの例の断面図を示す。図４Ａの透光ディスプレイパネル４０２は、透過型ＳＬＭ４０６（たとえば、図１～図２のＳＬＭ１３６）の１つ以上の表面上に、パターン形成された超小型レンズ４０４の配列を含む。図に示すように、超小型レンズ４０４は、透過型バックライト１３４がビームスプリッター１２６に向かって出射した光４０８、またはビームスプリッター１２６を反射してユーザの眼１３２に向かう光４１０など、ＳＬＭを通過する光にフォーカスするように構成されるよう配置される。たとえば、透光ディスプレイパネル４０２のフィルファクタを限定する背面の電子機器（図示せず）の存在のために、ＳＬＭ４０６と格子４１４とのペアによって形成される各絞り４１２の表面積の全体よりも少ない表面積が有効であることを理解されたい。しかしながら、ＳＬＭ４０６に当たる光が絞り４１２を通して絞られるように画素サイズの超小型レンズ４０４をパターン形成することにより、実効フィルファクタが向上する。

【0023】

その他の実施の形態では、透過型バックライト１３４および透光ディスプレイパネル１３６の２つの個別の光学素子を含むのではなく、ディスプレイパネル１１８は、１つの光学素子を含む。たとえば、図４Ｂは、画素が実際に発光するように透明基板４２０の表面上にパターンが形成された透過型有機発光ダイオード（ＯＬＥＤ）４１８の配列を含む、ＯＬＥＤディスプレイパネル４１６を示す。

【0024】

図５は、いくつかの実施の形態に係る、ライトフィールドエンコーディングを透光ディスプレイとともに示す図である。図５の例では、透過型バックライト１３４は、ＬＥＤ発光部５０４のスパースアレイのパターンが形成されたクリア基板５０２（たとえば、プレキシガラスまたはアクリル素材）を含む。ＬＥＤ発光部の各々は、湾曲したビームスプリッター１２６間の間隔とほぼ同じ間隔をおいて配置される。よって、この図に示すように、ビームスプリッターアレイの湾曲したビームスプリッター１２６の各々は、目に対する別個の「プロジェクタ」として機能し、ディスプレイパネル１１８（たとえば、透過型バックライト１３４および透光ディスプレイパネル１３６）によって表示された要素画像５０６の配列から複合仮想画像を形成する際、各「プロジェクタ」は、１つ以上の隣接するプロジェクタに重なり合っている（要素画像が眼１３２の水晶体を通過する際に重なり合うため）。

【0025】

図に示すように、ＬＥＤ発光部５０４の各々は、特定の色のＲＧＢ ＬＥＤである。また、湾曲したビームスプリッター１２６当たり１つのＬＥＤ発光部５０４という上述した構成によって、結果として得られるカラーフィールド要素画像５０６の各々も、ＲＧＢカラーのうちの１つ色であり、連続したカラーフィールド要素画像を用いてライトフィールドフレームがエンコードされる。ＲＧＢカラーフィールド要素画像５０６によって、色の空間多重化が可能になる（フレームレートの無駄をなくす時間分割多重化の代わりに）。ライトフィールドフレームはすでに重複した画素を含んでいるので、ＲＧＢ成分を分解することによって隣接する要素画像を使用できるようになり、分解能を目に見えて下げることなく異なる色情報を提供できるようになる。

【0026】

また、各ＲＢＧのＬＥＤ発光部５０４が十分に発光し、たとえば、サブ画素分割を行って波長領域ごとに光をフィルターにかける吸収性ベイヤーフィルターを含まないので、ＲＧＢライトフィールドエンコーディングのほうが、光量子効率がよい。吸収性フィルターを使用して光を通過させるとき、当該光の強度のほぼ３分の２がフィルター処理によって取り除かれ、３色のうちの１色を通過させる。よって、カラーフィールド要素画像を用いたライトフィールドエンコーディングのほうが、吸収性フィルターを用いるシステムと比べて情報スループット損失が低減されるので、フィルターベースの機構よりも計算コスト効率がよい。

【0027】

図６は、いくつかの実施の形態に係る、ニアアイディスプレイシステム１００において用いられるようなライトフィールドディスプレイ用の例示的な複屈折レンズアレイの斜視図６００である。この図に示すように、透過型ＯＬＥＤディスプレイパネル６１６（たとえば、図４の透過型ＯＬＥＤディスプレイパネル４１６）から出射された光線６０２は、ワイヤグリッド偏光子６０４を反射する。ワイヤグリッド偏光子６０４は、平面上に配置された多数の平行金属ワイヤ（図示せず）を含む。ワイヤグリッド偏光子６０４は、非透過偏光のほとんどを反射し、偏光ビームスプリッターとして用いられる。

【0028】

たとえば、一実施の形態において、透過型ＯＬＥＤディスプレイパネル６１６から出射された光線６０２は、垂直方向に偏光される（すなわち、Ｓ波方向に偏光される）。電界の成分が金属ワイヤに平行に位置合わせされた電磁波は、ワイヤの長さに沿った電子の移動を誘発することになる。電子は自由にこの方向に移動するため、偏光子は、光を反射するときの金属の表面と同様に挙動し、その波は反射される。しかしながら、電界が金属ワイヤに直交する電磁波の場合、電子が各ワイヤを幅方向に端から端まで遠くに移動することができない。そのため、エネルギーがほとんど反射されず、入射した波は、反射されずに通過する。そのため、ワイヤグリッド偏光子６０４は、垂直偏光用のミラーのように作用し、平行偏光を通過させる。別の実施の形態では、透過型ＯＬＥＤディスプレイパネル６１６から出射された光線６０２は、水平方向に偏光される（すなわち、Ｐ波方向に偏光される）。そのため、実施の形態におけるワイヤグリッド偏光子６０４の金属ワイヤは、ワイヤグリッド偏光子６０４が水平偏光用ミラーのように作用して垂直偏光を通過させるよう、９０度回転させられている。

【0029】

実世界６０６（たとえば、ユーザが位置する実世界環境）の光は、一般に、偏光されず、Ｓ波状態の成分とＰ波状態の成分とが等しい。よって、実世界６０６のＰ波状態の（すなわち、水平偏光されている）光は、ワイヤグリッド偏光子６０４を通過する。実世界６０６のＳ波状態の（すなわち、垂直偏光されている）光は、ワイヤグリッド偏光子６０４の表面６０８に面した実世界を反射して周囲の実世界環境に戻る。しかしながら、これによって、ユーザの眼１３２まで通過する世界光のうちの半分が失われてしまう。

【0030】

また、ニアアイディスプレイシステムは、ユーザの眼１３２と透過型ＯＬＥＤディスプレイパネル６１６との間に位置する複屈折レンズアレイ６１０を備える。いくつかの実施の形態では、複屈折レンズアレイ６１０は、液晶分子が光の偏光および伝播方向によって屈折率が異なる複屈折材料を形成するように特定の方向に向けられた複屈折レンズ６１２を含む。本明細書では液晶複屈折レンズを背景に詳細を説明しているが、本開示の範囲内で任意の複屈折材料が用いられてもよい。たとえば、その他の実施の形態では、複屈折レンズアレイ６１０は、複屈折を呈するように工夫されたナノフォトニクス材料またはメタマテリアルを含んだ複屈折レンズ６１２を含む。

【0031】

複屈折レンズ６１２は、ある偏光状態の場合にはコリメートレンズとして作用し、別の偏光状態の場合には光を湾曲させずにまっすぐに通過させる。特に、図６に示すように、複屈折レンズ６１２は、水平偏光世界光６１４（すなわち、Ｐ波状態）を通過させる。よって、ワイヤグリッド偏光子６０４、透過型ＯＬＥＤディスプレイパネル６１６、および複屈折レンズアレイ６１０のすべてを水平偏光世界光６１４が干渉なしに通過することにより、眼１３２が実世界６０６を光学干渉なしに認識できるようになる。一方で、図６に示すように、複屈折レンズ６１２は、垂直偏光６０２（すなわち、Ｓ波状態）をコリメートする。よって、垂直偏光６０２は、ＯＬＥＤディスプレイパネル６１６から出射されてワイヤグリッド偏光子６０４によって反射された後、コリメートされ、実世界イメージに重ね合わされた仮想イメージとして眼１３２に提示される。

【0032】

本明細書に記載のシステムは、（たとえば、図２および図６でより詳細に説明したように）エンコードされた光がＳＬＭを２回通過する実施の形態を含むことを理解されたい。たとえば、図２の１つの画素から出射された光子の経路を追跡すると、当該画素からの光線２０４が円錐状の光になって移動する。光線２０４は、湾曲したビームスプリッター１２６に当たった後、反射し返されて眼１３２にほぼ平行に向かう。したがって、当該１画素に関する（画像データを含んだ）光は、その隣接する画素の光とフーリエ空間で多重化されて、これにより、再構成アーティファクトが生じ得る。本明細書において、再構成アーティファクトを、「ｄｏｕｂｌｅ－ｐａｓｓ再構成アーティファクト」とも称する。

【0033】

いくつかの実施の形態では、ｄｏｕｂｌｅ－ｐａｓｓ再構成アーティファクトの認識性は、エンコードされるソース画像の中央領域のコントラストを下げることによって抑えられる。たとえば、ソース画像の各要素画像のエッジにおける元のコントラストに向けて徐々にコントラスト量を下げつつ、カラーフィールド要素画像の各々の中央部分のコントラストを下げる。各要素画像における中央の画素群のコントラストを下げることによって、結果として得られるライトフィールドフレームにおけるｄｏｕｂｌｅ－ｐａｓｓ再構成アーティファクトの認識性が抑えられる。

【0034】

異なる実施の形態では、図６の光線６０２の２重経路（すなわち、ＯＬＥＤディスプレイパネル６１６を出る経路および入る経路）をなくすために、図７は、いくつかの実施の形態に係る、ニアアイディスプレイシステム１００において利用されるような、ライトフィールドディスプレイ用の例示的な可変偏光回転子の斜視図７００を示す。図６の実施の形態では、複屈折レンズアレイ６１０から焦点距離の半分の距離離れた位置にＯＬＥＤディスプレイパネル６１６を配置し、光線６０２をワイヤグリッド偏光子６０４に反射させている。これにより、ｄｏｕｂｌｅ－ｐａｔｈアーティファクト問題が生じる可能性がある。一方で、図７の実施の形態では、ＯＬＥＤディスプレイパネル６１６は、複屈折レンズアレイ６１０から焦点距離の半分の距離離れた位置に配置されている。

【0035】

図７に示すように、ニアアイディスプレイシステムは、図６のワイヤグリッド偏光子６０４と同様の第１ワイヤグリッド偏光子７０４ａを備える。平行偏光（すなわち、Ｐ波状態）が第１ワイヤグリッド偏光子７０４ａを通過する一方で、垂直偏光（すなわち、Ｓ波状態）が第１ワイヤグリッド偏光子７０４ａの表面７０８に面した実世界を反射して周囲の実世界環境に戻るように、第１ワイヤグリッド偏光子７０４ａは、実世界７０６の光にフィルターをかける。水平偏光世界光７１４（すなわち、Ｐ波状態）は、光学干渉なしで複屈折レンズアレイ７１０の複屈折レンズ７１２を通過する。続いて、水平偏光世界光７１４は、そのまま第２のワイヤグリッド偏光子７０４ｂを通過して眼１３２に到達する。

【0036】

しかしながら、ＯＬＥＤディスプレイパネル６１６から出射された光線７０２は、偏光されていない光であり、Ｓ波状態およびＰ波状態の両方の成分を有する。偏光されていない光線７０２の半分は複屈折レンズアレイ７１０によって屈折され（すなわち、垂直偏光Ｓ波状態光）、偏光されていない光線７０２の半分（すなわち、水平偏光Ｐ波状態光）は、水平偏光世界光７１４と同様に通過する。水平偏光されているＰ波状態の光線は、仮想イメージについての焦点の合っていない光を表し、これは、可変半波長板７１６によって遮光される。可変半波長板７１６は、偏光されていない光線７０２の偏光が回転させられるように、偏光回転子として作用する。このように、所望の仮想イメージデータを含んだ以前の垂直偏光Ｓ波状態の光は、第２のワイヤグリッド偏光子７０４ｂを通過して眼１３２に到達し、実世界イメージに重ね合わされた仮想イメージとして認識されるよう、回転させられてＰ波状態にされる。一方で、焦点の合っていない光を表す、以前の水平偏光Ｐ波状態の光は、眼１３２に到達しないように回転させられてＳ波状態にされる。したがって、可変半波長板７１６が積極的に制御され、その動作時間の一部（たとえば、ほぼ半分）は実世界７０６イメージを通過させることに、動作時間の別の一部（たとえば、ここでも、ほぼ半分）は仮想世界イメージを変調して通過させることに充てられる。

【0037】

いくつかの実施形態において、上述の技術のいくつかの態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実装されてもよい。ソフトウェアは、非一時的なコンピュータ読取可能な記憶媒体に格納されるまたは有形に含まれる実行可能な命令の１つ以上のセットから構成される。ソフトウェアは、１つ以上のプロセッサによって実行された場合に１つ以上のプロセッサに上述の技術の１つ以上の態様を実行させる命令および特定のデータを含み得る。非一時的なコンピュータ読取可能な記憶媒体は、たとえば、磁気または光ディスク記憶装置、フラッシュメモリ、キャッシュ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、またはその他の１つまたは複数の非一時的なメモリ素子など、固体記憶装置を含み得る。非一時的なコンピュータ読取可能な記憶媒体に格納された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈されるまたは実行可能なその他の命令形式で格納されてもよい
コンピュータ読み取り可能な記憶媒体は、任意の記憶媒体または記憶媒体の組合せを含んでもよく、これらは、使用中、コンピュータシステムによってアクセス可能であって、命令および／またはデータをコンピュータシステムに提供する。このような記憶媒体は、光学媒体（たとえば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、デジタル多用途ディスク（ＤＶＤ）、Ｂｌｕ－Ｒａｙディスク）、磁気媒体（たとえば、フロッピー（登録商標）ディスク、磁気テープ、または磁気ハードドライブ）、揮発性メモリ（たとえば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはキャッシュ）、不揮発性メモリ（たとえば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）またはフラッシュメモリ）、またはＭＥＭＳ（Ｍｉｃｒｏｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）ベースの記憶媒体を含み得るが、これらに限定されない。コンピュータ読み取り可能な記憶媒体は、コンピューティングシステムに埋め込まれてもよく（たとえば、システムＲＡＭまたはＲＯＭ）、コンピューティングシステムに固定して取り付けられてもよく（たとえば、磁気ハードドライブ）、コンピューティングシステムに取り外し可能に取り付けられてもよく（たとえば、光ディスクまたはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ベースのフラッシュメモリ）、有線またはワイヤレスネットワークを介してコンピュータシステムに連結されてもよい（たとえば、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｃｃｅｓｓｉｂｌｅ Ｓｔｏｒａｇｅ））。

【0038】

なお、全体的な説明に上述された動作または構成要素のすべてが必要であるわけではない。特定の動作または装置の一部を必要としなくてもよい。記載されたものに加えて、１つ以上のさらなる動作が実行されてもよく、１つ以上のさらなる構成要素が含まれてもよい。さらに、動作が挙げられている順番は、必ずしもそれらが実行される順番ではない。また、具体的な実施の形態を例に概念を説明した。しかしながら、当業者は、様々な変形、変更を、添付の請求項に記載の本開示の範囲から逸脱することなく行うことが可能であることがわかる。したがって、明細書および図面は、厳密ではなく、例示であるとみなされるべきであり、すべてのこのような変形は、本開示の範囲に含まれるものとする。

【0039】

利益、その他の利点、および問題の解決策を、具体的な実施の形態を例に説明した。しかしながら、利益、利点、問題の解決策、およびいずれの利益、利点、または解決策を生じさせ得るまたはより顕著にさせ得るいかなる特徴も、請求項のいずれかまたはすべての重大な特徴、必要な特徴、または必須の特徴として解釈されないものとする。また、開示した発明の主題は、本明細書の教示の利益を有する当業者にとって明らかな、違いはあるが同等の方法で変更して実施されてもよいため、上述した特定の実施の形態は、以下の特許請求の範囲に記載されている内容以外に、いかなる限定もされるものではない。そのため、上述した特定の実施の形態は、変更されたり、改良されたりしてもよく、このような変形例のすべては、開示した発明の主題の範囲に含まれるとみなされることは明らかである。したがって、本明細書において要求する保護は、添付の特許請求の範囲に記載の通りである。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図5】

【図6】

【図7】