特許 7005658 非平面コンピュテーショナルディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-07

(45)【発行日】2022-01-21

(54)【発明の名称】非平面コンピュテーショナルディスプレイ

(51)【国際特許分類】

   H04N 13/344 20180101AFI20220114BHJP

   G09G 5/00 20060101ALI20220114BHJP

   G09G 5/36 20060101ALI20220114BHJP

   G09G 5/38 20060101ALI20220114BHJP

   G02B 27/02 20060101ALI20220114BHJP

   H04N 13/307 20180101ALI20220114BHJP

   H04N 13/383 20180101ALI20220114BHJP

   H04N 5/64 20060101ALI20220114BHJP

【ＦＩ】

H04N13/344

G09G5/00 510

G09G5/00 555D

G09G5/36 510V

G09G5/00 550C

G09G5/38 A

G09G5/36 520K

G09G5/00 X

G02B27/02 Z

H04N13/307

H04N13/383

H04N5/64 511A

【請求項の数】 20

(21)【出願番号】P 2019567233

(86)(22)【出願日】2018-05-15

(65)【公表番号】

(43)【公表日】2020-09-10

(86)【国際出願番号】 US2018032675

(87)【国際公開番号】W WO2019013865

(87)【国際公開日】2019-01-17

【審査請求日】2020-03-19

(31)【優先権主張番号】62/532,123

(32)【優先日】2017-07-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/952,508

(32)【優先日】2018-04-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】ペロー，ジョン・ディ

(72)【発明者】

【氏名】リュル，パトリック

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０１７／０７４６１４（ＷＯ，Ａ３）

【文献】特表２０１９－５００６３３（ＪＰ，Ａ）

【文献】国際公開第２０１７／０４４７９０（ＷＯ，Ａ３）

【文献】特表２０１８－５３３２３２（ＪＰ，Ａ）

【文献】特開平９－３２２１９７（ＪＰ，Ａ）

【文献】国際公開第２０１７／０６６８０２（ＷＯ，Ａ３）

【文献】特表２０１８－５３３７６５（ＪＰ，Ａ）

【文献】特開２０１２－２４４４５３（ＪＰ，Ａ）

【文献】特開２０１７－２８４４６（ＪＰ，Ａ）

【文献】特開２０１６－２４２７３（ＪＰ，Ａ）

【文献】特開２００８－３３２１９（ＪＰ，Ａ）

【文献】特開２０１６－２１８３６６（ＪＰ，Ａ）

【文献】特開２０１６－１８２１３（ＪＰ，Ａ）

【文献】特開２０１５－９５０４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００－１３／３９８

Ｇ０９Ｇ ５／００－５／４０

Ｇ０２Ｂ ２７／００－３０／６０

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

方法であって、
ニアアイディスプレイシステムにおいて、
前記ニアアイディスプレイシステムの１つ以上のディスプレイパネルを含む非平面ディスプレイ用のディスプレイ形状データを受信するステップと、
前記ディスプレイ形状データに対応付けられた立体焦点体積に基づいてニアアイライトフィールドフレーム内の位置に要素画像の配列を描画するステップとを含み、前記非平面ディスプレイは、焦点が合わせられる前記立体焦点体積内にオブジェクトを提示し、前記方法は、さらに、
前記ニアアイディスプレイシステムの前記非平面ディスプレイの前記１つ以上のディスプレイパネルに表示するために前記ニアアイライトフィールドフレームを伝達するステップを含む、方法。

【請求項2】

前記ディスプレイ形状データを受信するステップは、
前記非平面ディスプレイが複数のディスプレイパネル区分を含むことを示すデータを受信するステップを含む、請求項１に記載の方法。

【請求項3】

前記立体焦点体積を判断するステップは、
前記複数のディスプレイパネル区分の各々について焦点体積を判断するステップをさらに含み、前記複数のディスプレイパネル区分の各々は、それに対応する焦点体積内に、焦点が合わせられるオブジェクトを提示し、前記立体焦点体積を判断するステップは、さらに、
前記複数のディスプレイパネル区分の各々についての前記焦点体積間の共通部分に少なくとも一部基づいて、前記立体焦点体積を判断するステップを含む、請求項２に記載の方法。

【請求項4】

前記ディスプレイ形状データを受信するステップは、
前記非平面ディスプレイの湾曲形状を示すデータを受信するステップを含む、請求項１から３のいずれか１項に記載の方法。

【請求項5】

前記ディスプレイ形状データを受信するステップは、
前記１つ以上のディスプレイパネルのディスプレイボーダーの位置を表すディスプレイボーダーデータのセットを示すデータを受信するステップを含む、請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記ニアアイディスプレイシステムの視線追跡コンポーネントを用いてユーザの眼の姿勢を判断するステップと、
前記ユーザの眼の姿勢および前記ディスプレイボーダーデータのセットに基づいて前記要素画像の配列の描画を修正して、前記１つ以上のディスプレイパネルの前記ディスプレイボーダーが前記ユーザの眼によって知覚されるのを防ぐステップとをさらに含む、請求項５に記載の方法。

【請求項7】

前記ユーザの眼の姿勢を判断するステップは、
前記非平面ディスプレイと前記ユーザの眼との間に配置された撮像カメラを用いて前記ユーザの眼のイメージを撮影するステップを含む、請求項６に記載の方法。

【請求項8】

前記要素画像の配列の表示位置をシフトさせることによって前記立体焦点体積内の仮想平面の位置を回転させるステップをさらに含む、請求項１～７のいずれか１項に記載の方法。

【請求項9】

２つ以上のディスプレイパネル間の折り曲げ角度を変えることによって前記立体焦点体積内の仮想平面の位置を回転させるステップをさらに含む、請求項１～７のいずれか１項に記載の方法。

【請求項10】

要素画像の配列を含むニアアイライトフィールドフレームを表示するための１つ以上のディスプレイパネルを含む非平面ディスプレイと、
前記非平面ディスプレイのディスプレイ形状データのセットに対応付けられた立体焦点体積に基づいて、前記立体焦点体積内のオブジェクトに焦点が合っているとユーザの眼によって知覚されるように前記要素画像の配列を前記ニアアイライトフィールドフレームに描画するための描画コンポーネントと、
前記ニアアイライトフィールドフレームを前記ユーザの眼に提示するための小型レンズアレイとを備える、ニアアイディスプレイシステム。

【請求項11】

前記立体焦点体積を判断するためのプロセッサをさらに備え、前記立体焦点体積は、
前記非平面ディスプレイが複数のディスプレイパネル区分を含むことを示すデータを受信することと、
前記複数のディスプレイパネル区分の各々について焦点体積を判断することとによって判断され、前記複数のディスプレイパネル区分の各々は、それに対応する焦点体積内に、焦点が合わせられるオブジェクトを提示し、前記立体焦点体積は、さらに、
前記複数のディスプレイパネル区分の各々についての前記焦点体積間の共通部分に少なくとも一部基づいて前記立体焦点体積を判断することによって判断される、請求項１０に記載のニアアイディスプレイシステム。

【請求項12】

前記立体焦点体積を判断するためのプロセッサをさらに備え、前記立体焦点体積は、
前記１つ以上のディスプレイパネルのディスプレイボーダーの位置を表すディスプレイボーダーデータのセットを示すデータを受信することと、
前記ニアアイディスプレイシステムの視線追跡コンポーネントを用いてユーザの眼の姿勢を判断することと、
前記ユーザの眼の姿勢および前記ディスプレイボーダーデータのセットに基づいて前記要素画像の配列の描画を修正して、前記１つ以上のディスプレイパネルの前記ディスプレイボーダーが前記ユーザの眼によって知覚されるのを防ぐこととによって判断される、請求項１０に記載のニアアイディスプレイシステム。

【請求項13】

前記ユーザの眼の姿勢を追跡するための視線追跡コンポーネントをさらに備え、前記視線追跡コンポーネントは、前記ユーザの眼に光を投影するための１つ以上の赤外線照明器のセットと、前記小型レンズアレイと前記非平面ディスプレイとの間に配置され、前記小型レンズアレイを通して前記ユーザの眼の方向に向けられた撮像カメラとを含む、請求項１０または１１に記載のニアアイディスプレイシステム。

【請求項14】

前記非平面ディスプレイは、
異なる湾曲度合いを有する異なる側面部分を含んだ１つの連続したディスプレイパネルを含む、請求項１０に記載のニアアイディスプレイシステム。

【請求項15】

前記非平面ディスプレイは、
互いに非平面な向きで配置された複数のフラットパネルディスプレイを含む、請求項１０に記載のニアアイディスプレイシステム。

【請求項16】

少なくとも１つのプロセッサと、
ニアアイディスプレイシステムの１つ以上のディスプレイパネルを含む非平面ディスプレイ用のディスプレイ形状データのセットを示すデータを受信するための入力装置と、
実行可能な命令のセットを格納するためのストレージコンポーネントとを備え、前記実行可能な命令のセットは、前記ディスプレイ形状データのセットに対応付けられた立体焦点体積に基づいてニアアイライトフィールドフレーム内の位置に要素画像の配列を描画するよう、前記少なくとも１つのプロセッサを操作するように構成され、前記非平面ディスプレイは、焦点が合わせられる前記立体焦点体積内にオブジェクトを提示する、描画システム。

【請求項17】

前記実行可能な命令のセットは、前記立体焦点体積を判断するようにさらに構成され、前記立体焦点体積は、
前記１つ以上のディスプレイパネルのディスプレイボーダーの位置を表すディスプレイボーダーデータのセットを示すデータを受信することと、
前記ニアアイディスプレイシステムの視線追跡コンポーネントを用いてユーザの眼の姿勢を判断することと、
前記ユーザの眼の姿勢および前記ディスプレイボーダーデータのセットに基づいて前記要素画像の配列の描画を修正して、前記１つ以上のディスプレイパネルの前記ディスプレイボーダーが前記ユーザの眼によって知覚されるのを防ぐこととによって判断される、請求項１６に記載の描画システム。

【請求項18】

前記ディスプレイ形状データのセットは、前記非平面ディスプレイが複数のディスプレイパネル区分を含むことを示すデータを含む、請求項１６または１７に記載の描画システム。

【請求項19】

前記実行可能な命令のセットは、前記立体焦点体積を判断するようにさらに構成され、前記立体焦点体積は、
前記複数のディスプレイパネル区分の各々について焦点体積を判断することによって判断され、前記複数のディスプレイパネル区分の各々は、それに対応する焦点体積内に、焦点が合わせられるオブジェクトを提示し、前記立体焦点体積は、さらに、
前記複数のディスプレイパネル区分の各々についての前記焦点体積間の共通部分に少なくとも一部基づいて前記立体焦点体積を判断することによって判断される、請求項１８に記載の描画システム。

【請求項20】

前記実行可能な命令のセットは、
前記要素画像の配列の表示位置をシフトさせることによって前記立体焦点体積内の仮想平面の位置を回転させることによって、前記要素画像の配列を描画するようにさらに構成される、請求項１６～１９のいずれか１項に記載の描画システム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
没入型仮想現実（ＶＲ）システムおよび拡張現実（ＡＲ）システムは、通常、ヘッドマウントディスプレイ（ＨＭＤ）および他のニアアイディスプレイシステムを利用して、ユーザに３次元（３Ｄ）シーンの中に存在している感覚を与えるよう、立体視イメージを提示する。従来のＨＭＤは、ニアアイライトフィールドディスプレイまたは他のコンピュテーショナルディスプレイを利用して、３次元（３Ｄ）グラフィックスの表示を提供できる。一般に、ニアアイライトフィールドディスプレイは、１つ以上のディスプレイパネルと、複数のレンズ、ピンホール、または、１つ以上のディスプレイパネルの上に重なる他の光学素子とを採用する。描画システムは、要素画像の配列を描画する。要素画像の各々は、対応する視点または仮想カメラの位置からのオブジェクトまたはシーンの画像またはビューを表す。

【発明の概要】

【0002】

本開示は、添付の図面を参照することによって、当業者によって理解され、その数多くの特徴および利点が当業者に明らかになるであろう。異なる図面における同一の参照符号の使用は、同様または同一の項目を示す。

【図面の簡単な説明】

【0003】

【図1】いくつかの実施形態に係る、立体焦点体積を生成するための非平面ディスプレイを内蔵したニアアイディスプレイシステムを説明する図である。

【図2】いくつかの実施形態に係る、立体焦点体積を生成するための非平面ディスプレイを内蔵する図１のニアアイディスプレイシステムの斜視図である。

【図3】いくつかの実施形態に係る、立体焦点体積を生成するための図１のニアアイディスプレイシステムにおける非平面コンピュテーショナルディスプレイの例を示す図である。

【図4】いくつかの実施形態に係る、図１のニアアイディスプレイシステムにおける仮想平面の回転例を示す図である。

【図5】いくつかの実施形態に係る、立体焦点体積を生成するための図１のニアアイディスプレイシステムに含まれる非平面コンピュテーショナルディスプレイの別の例を説明する図である。

【図6】いくつかの実施形態に係る、立体焦点体積を生成するための図１のニアアイディスプレイシステムにおける非平面コンピュテーショナルディスプレイのさらに別の例を説明する図である。

【図7】いくつかの実施形態に係る、非平面コンピュテーショナルディスプレイに潜む間隙の例を示す図である。

【図8】いくつかの実施形態に係る、立体焦点体積の生成方法を説明するフロー図である。

【発明を実施するための形態】

【0004】

詳細な説明
図１～図８は、ニアアイディスプレイシステムにおいて非平面ディスプレイを内蔵し、かつ、立体焦点体積を生成するための例示的な方法およびシステムを説明する図である。少なくとも１つの実施形態では、ニアアイディスプレイシステムは、非平面コンピュテーショナルディスプレイを採用して、ユーザに没入型ＶＲまたはＡＲ体験を提供するよう、ニアアイライトフィールドフレームからなるイメージをユーザに表示する。各ニアアイライトフィールドフレームは、要素画像の配列から構成されている。各要素画像は、異なる対応する視点からのオブジェクトまたはシーンのビューを表す。

【0005】

多くの従来のＨＭＤ装置は、１つはユーザの左眼用で１つは右眼用の２つの独立した表示領域に分かれた１つのフラットディスプレイ、または、ユーザの各眼に１つの独立したフラットディスプレイのペアを実装している。また、このような装置は、通常、ユーザの眼にディスプレイの画像全体の焦点を合わせるよう、各眼に１つのレンズを備える。しかしながら、複数のフラットディスプレイと各眼に１つのレンズとを使用すると、多くの場合、ＨＭＤフォームファクターがかさばってしまい、使用時に大きな慣性モーメントを与えてしまう。また、フラットディスプレイおよびレンズは、全体的な横方向の視野（ＦＯＶ）を、多くの場合、１１０度以下に制約してしまう。これらの従来のＨＭＤ装置のサイズのかさばりと視野が制限されていることで、表示された画像の中に存在しているというユーザの感覚に悪影響を及ぼすので、提示されたシーンに没入しているという感覚を妨げてしまう可能性がある。

【0006】

視野（ＦＯＶ）および／または被写界深度を縮小しないでＨＭＤフォームファクターを改善するために、少なくとも１つの実施形態では、本明細書に記載のニアアイディスプレイシステムは、非平面コンピュテーショナルディスプレイ構成を利用する。非平面コンピュテーショナルディスプレイ構成では、非平面コンピュテーショナルディスプレイ（複数可）に対応付けられた立体焦点体積内のオブジェクトは、焦点が合っていると知覚される。例として、従来のニアアイディスプレイシステムは、多くの場合、平面ＨＭＤフォームファクターを有している。平面ＨＭＤフォームファクターは、焦点が合っているとオブジェクトが知覚されるためには、左画像平面および右画像平面（すなわち、ＨＭＤの左眼用ディスプレイパネルおよび右眼用ディスプレイパネルの像面）の両方が同一平面上にある必要がある。しかしながら、このような平面ＨＭＤフォームファクターは、大型ディスプレイパネルを必要とし、十分なＦＯＶを維持するために外形が「ダイビングマスク」製品の形状になってしまう。本明細書に記載のニアアイディスプレイシステムは、３次元（３Ｄ）空間に焦点体積を描画するために、より大きな被写界深度を有する小型レンズアレイと１つ以上のディスプレイパネルとを対にすることによって、ぐるりと囲むフォームファクターまたは非平面フォームファクターを可能にする。これらの焦点体積が重なり合っている体積は、ニアアイディスプレイシステムのＦＯＶを減少させることなく、オブジェクトに焦点が合っているとユーザの両眼が知覚する立体焦点体積を表す。

【0007】

図１は、少なくとも１つの実施形態に係る、立体焦点体積を生成するための非平面ディスプレイを内蔵するニアアイディスプレイシステム１００を示す図である。いくつかの実施形態では、ニアアイディスプレイシステム１００は、ＨＭＤがユーザの顔に装着されるフォームファクターを有するＨＭＤ装置であってもよい。図示した例では、ニアアイディスプレイシステム１００は、コンピュテーショナルディスプレイサブシステム１０２と、描画コンポーネント１０４と、ユーザの左眼を追跡するための視線追跡コンポーネント１０６およびユーザの右眼を追跡するための視線追跡コンポーネント１０８のうちの１つまたは両方など、１つ以上の視線追跡コンポーネントとを備える。コンピュテーショナルディスプレイサブシステム１０２は、非平面ディスプレイである。装置１１４（たとえば、ゴーグル、眼鏡など）に実装された左眼用ディスプレイ１１０と右眼用ディスプレイ１１２とを含む。装置１１４は、ディスプレイ１１０、１１２をそれぞれユーザの左眼および右眼の前に配置させる。

【0008】

ディスプレイ１１０、１１２の各々は、一続きまたは連続するニアアイライトフィールドフレーム（以下、参照の便宜上、「ライトフィールドフレーム」）を表示するための少なくとも１つのディスプレイパネル１１８を含む。ニアアイライトフィールドフレームの各々は、要素画像１２２の配列１２０から構成される。参照の便宜上、要素画像１２２の配列１２０もライトフィールドフレーム１２０と称される場合がある。ディスプレイ１１０、１１２の各々は、ディスプレイパネル１１８の上に重なる小型レンズ１２６（共通して、「マイクロレンズ」とも称する）のアレイ１２４をさらに含む。通常、小型レンズアレイ１２４に含まれる小型レンズ１２６の数は、配列１２０に含まれる要素画像１２２の数に等しいが、別の実装形態では、小型レンズ１２６の数は、要素画像１２２の数よりも少なくてもよいし、多くてもよい。なお、図１の例では、説明を容易にするために、要素画像１２２の１０ｘ４配列および対応する小型レンズ１２６の１０×４配列１２０を示しているが、通常の実装形態では、ライトフィールドフレーム１２０に含まれる要素画像１２２の数および小型レンズアレイ１２４に含まれる小型レンズ１２６の数は、通常、はるかに多い。さらに、いくつかの実施形態では、ディスプレイ１１０、１１２の各々に対して別個のディスプレイパネル１１８が実装される一方、その他の実施形態では、左眼用ディスプレイ１１０と右眼用ディスプレイ１１２とが単一ディスプレイパネル１１８を共有し、ディスプレイパネル１１８の左半分が左眼用ディスプレイ１１０のために使用され、ディスプレイパネル１１８の右半分が右眼用ディスプレイ１１２のために使用される。

【0009】

図１の断面図１２８は、小型レンズアレイ１２４の線Ａ－Ａに沿った断面図を示しており、表示面１３０と対応するユーザの眼１３２との間に小型レンズアレイ１２４が配置されるように各ディスプレイパネル１１８の表示面１３０の上に小型レンズアレイ１２４が重なるように、小型レンズアレイ１２４がディスプレイパネル１１８の上に重なっている。この構成では、各小型レンズ１２６は、表示面１３０の対応する領域の焦点を、各々のこのような領域が少なくとも部分的に１つ以上の隣接した領域に重なり合った状態で、眼の瞳孔１３４に合わせる。よって、要素画像１２２の配列１２０がディスプレイパネル１１８の表示面１３０に表示され、小型レンズアレイ１２４を通して眼１３２によって視認されたとき、ユーザは、要素画像１２２の配列１２０をシーンの１つの画像として知覚する。したがって、両目の間に正しい視差を実現させた状態でユーザの左眼および右眼に対してこの処理を並行して行う場合、裸眼立体視３次元（３Ｄ）イメージがユーザに提示されることになる。

【0010】

さらに、断面図１２８に示すように、左眼用ディスプレイ１１０のディスプレイパネル１１８および右眼用ディスプレイ１１２のディスプレイパネル１１８は、（ディスプレイパネルによって提示される左眼用像面および右眼用像面が同一平面上にある従来のＶＲ／ＡＲディスプレイとは対照的に）互いに対して非平面の向きで配置される。つまり、（ディスプレイパネル１１８を備える）コンピュテーショナルディスプレイサブシステム１０２は、非平面ディスプレイである。断面図１２８に示すように、左眼用ディスプレイ１１０のディスプレイパネル１１８および右眼用ディスプレイ１１２のディスプレイパネル１１８は、各々、個々に平面であってもよい。しかしながら、２つのディスプレイパネル１１８は、同一平面上にない。代わりに、ディスプレイパネル１１８は、使用時に装着者の顔を部分的に覆うよう、互いに角度がつけられている。左眼用ディスプレイ１１０および右眼用ディスプレイ１１２の各々は、この例において、単一ディスプレイパネル１１８を有するとして示されているが、その他の実施形態では、ディスプレイ１１０、１１２の各々は、任意の「Ｎ」個のディスプレイパネル区分（各々は、本明細書において、「ディスプレイパネルタイル」とも称する）を含んでもよい。たとえば、いくつかの実施形態では、（図５に関連して後述するように）、ディスプレイ１１０、１１２の各々は、２つのディスプレイパネルを含む。当業者であれば、ディスプレイパネル区分の数が増えるとディスプレイ１１０、１１２の表示面が次第に曲線に近似することが分かるであろう。いくつかの実施形態では、個々のディスプレイパネル１１８自体が非平面（すなわち、湾曲）であってもよい。

【0011】

その他の実施形態では、ディスプレイ１１０、１１２の各々は、Ｎ個のディスプレイパネル区分を有するのではなく、異なる湾曲度合い（または、実質的に湾曲なし）、異なる向き、または、それらの組合せを有する異なる側面部分の各々が（図２および図５に関連して後述するように）ディスプレイ１１０、１１２の別個の論理部分または「タイル」を表すように当該異なる側面部分を有する１つの連続したディスプレイパネルを含む。つまり、左眼用ディスプレイ１１０および右眼用ディスプレイ１１２の各々は、ディスプレイパネルの横の広がり全体の端から端まで延在する、同じディスプレイドライバハードウェアによって駆動される画素行のセットを含んでいるが、ディスプレイパネルは、隣接する側面部分のセットとして、当該部分におけるディスプレイパネルの湾曲の変化に基づいて、または、対応するユーザの眼に対する当該部分の向きに基づいて論理的に構成されてもよい。湾曲した左眼用ディスプレイ１１０および右眼用ディスプレイ１１２は、所望の湾曲および部分の向きに曲げられ、支持フレームを介してこのまま維持される薄膜フレキシブルＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ベースのディスプレイなど、ディスプレイパネルの湾曲または向き構成を変えさせることが可能な各種ディスプレイ技術を用いて実装されてもよい。さらに、小型レンズアレイ１２４は、関連するディスプレイパネルの対応する部分に焦点が合わせられる複数の小型レンズ１２６を含む。つまり、各小型レンズ１２６の光軸は、関連するディスプレイパネル部（本明細書において、「ディスプレイパネルタイル」と称する）の表示面１３０と交わり、いくつかの実施形態では、この光軸は、対応するディスプレイパネルの面に対して垂直である。

【0012】

図１にも示すように、描画コンポーネント１０４は、図示したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３６およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３８、１４０などの１つ以上のプロセッサのセット、ならびに、プロセッサ１３６、１３８、１４０のうちの１つ以上を操作して本明細書に記載の様々なタスクを実行させるよう、プロセッサ１３６、１３８、１４０によってアクセスされて実行されるソフトウェアプログラムまたは他の実行可能な命令を格納するためのシステムメモリ１４２など、１つ以上のストレージコンポーネントを含む。このようなソフトウェアプログラムは、たとえば、後述するライトフィールドフレーム描画処理のための実行可能な命令を含んだ描画プログラム１４４、および、こちらも後述するが、立体体積生成処理のための実行可能な命令を含んだ視線追跡プログラム１４６を含む。

【0013】

動作中、描画コンポーネント１０４は、ローカルまたはリモートコンテンツソース１５０から描画情報１４８を受信する。描画情報１４８は、グラフィックスデータ、映像データ、または、描画されるイメージの対象かつディスプレイサブシステム１０２において表示されるオブジェクトまたはシーンを表す他のデータを表す。描画プログラム１４４の実行中、ＣＰＵ１３６は、描画情報１４８を使用して描画命令をＧＰＵ１３８、１４０に送る。ＧＰＵ１３８、１４０は、この描画命令を利用し、各種周知のＶＲ／ＡＲコンピュテーショナル／ライトフィールド描画処理を用いて、左眼用ディスプレイ１１０に表示するための一連のライトフィールドフレーム１５１と右眼用ディスプレイ１１２を表示するための一連のライトフィールドフレーム１５３とを平行して描画する。この描画処理の一部として、ＣＰＵ１３６は、ディスプレイサブシステム１０２の姿勢を表す姿勢情報１５０をＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍａｎａｇｅｍｅｎｔ Ｕｎｉｔ）１５４から受信し、ライトフィールドフレーム１５１、１５３の１つ以上のペアの描画処理を制御して、オブジェクトまたはシーンの当該姿勢からの視点を反映してもよい。

【0014】

このために、視線追跡コンポーネント１０６、１０８の各々は、対応する眼をＩＲ光で照射するための１つ以上の赤外線（ＩＲ）光源（本明細書において、「ＩＲ照明器」と称する）と、対応する眼を反射したＩＲ光を対応する眼画像（眼画像情報１５６）として撮影する１つ以上の撮像カメラと、反射したＩＲ光を撮像カメラに向けるための１つ以上のミラー、導波路、ビームスプリッターなどと、対応する眼の現在位置、現在の向き、またはその両方（本明細書において、個々に、またはまとめて、「姿勢」と称する）を撮影された眼画像から判断するように視線追跡プログラム１４６を実行するための１つ以上のプロセッサとを含んでもよい。各種周知の視線追跡装置および技術を視線追跡コンポーネント１０６、１０８として採用してユーザの片眼または両眼を追跡してもよい。

【0015】

少なくとも１つの実施形態では、ニアアイディスプレイシステム１００は、眼の姿勢を過去の眼の姿勢、現在の眼の姿勢、もしくは予測される（未来の）眼の姿勢、または、それらの組合せとして判断してもよい。特に、未来の眼の姿勢の予測によって性能または応答時間が改善されてもよく、各種の眼球運動予測アルゴリズムを実施して未来の眼の姿勢を予測してもよい。また、場合によっては、視線追跡コンポーネント１０６、１０８は、シーン情報（たとえば、描画されるイメージ内の顔の場所、または顕著性ヒューリスティクス）を、眼の姿勢を算出するためのユーザの眼の未来の視線を予測する際の入力として利用してもよい。このように、用語「眼の姿勢」は、本明細書において使用するとき、前の、現在の、もしくは予測された眼の姿勢、またはそれらの何らかの組合せを指してもよい。

【0016】

本明細書においてさらに詳細を説明するが、少なくとも１つの実施形態では、ニアアイディスプレイシステム１００は、オブジェクトに焦点が合っているようにユーザの左眼および右眼１３２に見える立体焦点体積を判断することによって立体焦点体積を生成する。ユーザの眼に対して湾曲および／または向きが異なるディスプレイパネル部を使用することによって、ユーザの頭部の近くにＨＭＤのかさばりを維持するフォームファクターを有するニアアイディスプレイシステム１００が製造されてもよく、その慣性モーメントを低減し、かつ、より幅広い横方向の視野およびより美しい見た目を提供することができるようになる。

【0017】

図２は、いくつかの実施形態に係る、立体焦点体積を生成するための、ニアアイディスプレイシステム１００において利用されるような非平面コンピュテーショナルディスプレイの斜視図である。本開示の例示的な実施形態によると、図２は、ユーザによって装着されたときにユーザの耳の上または後ろに位置するテンプル２０２、２０４を介してＨＭＤ装置２００がユーザの顔に装着される「眼鏡」フォームファクターを有するＨＭＤ２００としてニアアイディスプレイシステム１００を示す図である。しかしながら、その他の実施形態では、ＨＭＤ装置２００は、ＨＭＤ装置２００が１つ以上のストラップ、ハーネス、または他の取り付け装置を介してユーザの顔に装着される「マスク」フォームファクターを有して実装されてもよい。さらに、説明を容易にするために省略しているが、ＨＭＤ装置２００は、周辺光の侵入を制限する目的でユーザの顔を封止する１つ以上のフェイスガスケットも含んでもよい。図示した例では、ＨＭＤ２００装置は、筐体２０６を有し、筐体２０６の上または筐体２０６内に搭載された表示装置（たとえば、図１の左眼用ディスプレイ１１０および右眼用ディスプレイ１１２）がユーザの眼の前に配置される。本明細書においてさらに説明するが、筐体２０６に連結または埋め込まれたプロセッサは、表示装置において表示するためのＡＲ／ＶＲコンテンツを生成することによって、ＡＲ／ＶＲコンテンツに対応付けられたＡＲ／ＶＲ環境にユーザを没入させることができる。

【0018】

図３は、いくつかの実施形態に係る、図１のＡ－Ａ線に沿って切り取られた、ニアアイディスプレイシステム１００において利用されるような非平面コンピュテーショナルディスプレイの断面図３００を説明する図である。図に示すように、ディスプレイパネル１１８および小型レンズ１２６は、ニアアイディスプレイシステム１００を装着したときのユーザの中央矢状面に対応する正中面３０２を中心に実質的に対称である。さらに、ディスプレイパネル１１８は、互いに対して、および平面３０４に対して非平面である。平面３０４は、ユーザの冠状面に概ね平行であり、さらに、従来のＨＭＤのディスプレイが配置される平面に概ね一致する。

【0019】

この図に示すように、ユーザの眼１３２は、仮想画像３０８内の点３０６に向けられている。仮想画像３０８は、異なる深度で眼１３２によって知覚されるように意図されたいくつかのオブジェクト（図示せず）を含んでいる。小型レンズ１２６による被写界深度３１０（すなわち、焦点が合っていると眼１３２によって知覚される最も近いオブジェクトと最も遠いオブジェクトとの距離）によって、オブジェクトに焦点が合っているように見える仮想画像３０８内に体積が生じる。

【0020】

特に、左眼焦点体積３１２内のオブジェクトは、表示するために左眼用ディスプレイ１１０のディスプレイパネル１１８によって提示されると、焦点が合っているようにユーザの左眼１３２に見える。同様に、右眼焦点体積３１４内のオブジェクトは、表示するために右眼用ディスプレイ１１２のディスプレイパネル１１８によって提示されると、焦点が合っているようにユーザの右眼１３２に見える。様々な実施形態では、左眼焦点体積３１２および右眼焦点体積３１４の被写界深度は、下記の式を用いて求められてもよい。

【0021】

ｄＰｈｉ＝２ｃ／（ｄ×ｆ） （１）
ここで、ｄＰｈｉは、ジオプトリ単位での被写界深度を表し、ｃは、メートル単位での表示画素寸法を表し、ｄは、メートル単位での小型レンズ径を表し、ｆは、メートル単位での小型レンズ焦点距離を表す。

【0022】

図３に説明するように、左眼焦点体積３１２と右眼焦点体積３１４とは立体焦点体積３１６において重なり合っている。したがって、ライトフィールドフレームは、ディスプレイパネル１１８の非平面構成に基づいて描画され、立体焦点体積３１６内のオブジェクトは、焦点が合っているようにユーザの左眼および右眼１３２に見える。

【0023】

いくつかの実施形態では、たとえば、非平面ディスプレイ（すなわち、コンピュテーショナルディスプレイサブシステム１０２）の物理的寸法および形状に関するディスプレイ形状データのセットが描画コンポーネント１０４に提供される。たとえば、ディスプレイ形状データのセットは、ディスプレイパネル１１８および小型レンズ１２６のうちの１つ以上のディスプレイパネル１１８および小型レンズ１２６の物理的寸法および形状を含んでもよい。たとえば、ディスプレイ形状データのセットは、ディスプレイパネル１１８の幅、眼１３２とパネル１１８との間の視距離、パネル１１８と平面３０４との成す角度、パネルと正中面３０２との成す角度など、様々なデータを含んでもよい。当業者であれば、３Ｄ空間における左眼焦点体積３１２および右眼焦点体積３１４の位置が小型レンズ１２６およびディスプレイパネル１１８の寸法／形状によって決まることが分かるであろう。しかしながら、様々な実施形態では、このような左眼焦点体積および右眼焦点体積３１２、３１４ならびに立体焦点体積３１６内の仮想平面位置は、当該これらの焦点体積内で回転されてもよい。

【0024】

たとえば、図４は、仮想平面４０２を回転させた非平面コンピュテーショナルディスプレイの断面図４００を示す図である。様々な実施形態では、仮想平面４０２は、下記の式を用いて要素画像の表示位置をある量だけシフトさせることによって回転されてもよい。

【0025】

ｄｘ＝ｎ×Φ×ｄ×ｆ＋（ｎ×Φ×ｄ）^２×ｆ×ｔａｎ（θ） （２）
ｎ＝［－Ｎ／２，Ｎ／２］は、小型レンズ数を表し、Φ＝１／ｚは、仮想平面までの距離をジオプトリ単位で表し、θは、小型レンズに対する仮想平面４０２の傾き（すなわち、ディスプレイと小型レンズとの接線と描画された仮想平面４０２との成す角度）を表す。これに加えて、いくつかの実施形態では、ディスプレイパネル同士が成す折り曲げ角度（図示せず）は、調整可能であってもよく、センサを用いて、描画コンポーネント１０４が要素画像の表示位置のシフトを判断できるよう、θが求められる。なお、視線追跡は、このような実施形態では必要ではないが、折り曲げ角度が変わった場合、またはユーザの眼１３２に対してニアアイディスプレイシステム１００が移動した場合、その他の視野パラメータ（たとえば、アイレリーフ距離および瞳孔位置）を判断するために必要に応じて利用してもよい。

【0026】

別の実施形態では、図５は、いくつかの実施形態に係る、立体焦点体積を生成するための非平面コンピュテーショナルディスプレイの別の実装形態の断面図５００を示す図である。図１に関連して前述したように、いくつかの実施形態では、左眼用ディスプレイ１１０および右眼用ディスプレイ１１２の各々は、任意の「Ｎ」個のディスプレイパネル区分を含んでもよい。たとえば、ビュー５００に示すように、ディスプレイ１１０、１１２の各々は、２つのディスプレイパネル区分（すなわち、ディスプレイパネル区分１１８ａおよび１１８ｂ）を含んでいる。この図に示すように、ユーザの眼１３２は、仮想画像５０４内の点５０２に向けられている。仮想画像５０４は、異なる深度で眼１３２によって知覚されるように意図されたいくつかのオブジェクト（図示せず）を含んでいる。小型レンズ１２６による被写界深度５０６（すなわち、焦点が合っていると眼１３２によって知覚されることになる最も近いオブジェクトと最も遠いオブジェクトとの距離）によって、オブジェクトに焦点が合っているように見える仮想画像５０４内に体積が生じる。

【0027】

図３に関連して説明した例示的な実装形態と同様に、ディスプレイパネル区分（たとえば、ディスプレイ１１０、１１２のディスプレイパネル区分１１８ａおよび１１８ｂ）の各々は、対応する焦点体積に関連付けられる。対応する焦点体積内では、オブジェクトは、それぞれの眼１３２に表示するために提示されると、焦点が合っているように見える。図５に説明するように、これらの焦点体積は、立体焦点体積５０８において重なり合っている。したがって、ディスプレイパネル区分１１８ａ、１１８ｂの非平面構成に基づいてライトフィールドフレームが描画され、立体焦点体積５０８内のオブジェクトは、焦点が合っているようにユーザの左眼および右眼１３２に見える。さらに、図４に関連して説明した例示的な実装形態と同様に、立体焦点体積５０８にある仮想平面（図示せず）は、上記式（２）に基づいて様々な表示区分１１８ａおよび１１８ｂに沿って要素画像の表示位置をシフトすることによって回転されてもよい。

【0028】

別の実施形態では、図６は、いくつかの実施形態に係る、立体焦点体積を生成するための非平面コンピュテーショナルディスプレイのさらに別の実装形態の断面図６００を示す図である。図３の例示的な実施形態と同様に、小型レンズ１２６は、ニアアイディスプレイシステム１００を装着したときのユーザの中央矢状面に対応する正中面６０２を中心に実質的に対称である。このディスプレイは、湾曲したディスプレイパネル６０４であって、従来のＨＭＤのディスプレイが配置される平面に比べて概ね非平面である。Ｎ個のディスプレイパネル区分およびＮ個の重なり合う焦点体積（すなわち、図５における４つの区分および４つの重なり合う焦点体積）を有するのではなく、Ｎ区分を有する多角形は、Ｎが大きくなると、湾曲／円形状の表面にほぼ近づく。図６に示すように、小さい角度で回転された対応するより多くの重なり合う四角形の焦点体積６０６ができ、図示した楕円形状の焦点体積の重なりが形成される。しかしながら、図５の例示的な実施形態と同様に、立体焦点体積６０８は、ディスプレイパネルのエッジにおける最大傾斜によって限定されたままであり、概ねダイヤモンド形状である。焦点体積６０６内の任意の平面において仮想平面が描画されてもよく、立体焦点体積６０８内で立体視融合が実現されてもよい。仮想平面は、Ｚ軸方向に沿ってシフトさせることができる。さらに、画像の描画を変更して湾曲したディスプレイパネル６０４のために調整するために上述した同じ描画用の式（２）を用いてもよい。このとき、θは、描画された仮想平面（すなわち、局所的な空間導関数または湾曲した表面の接線）に対するディスプレイパネル６０４との局所的な傾き（または、角度）によって求められる。

【0029】

当業者であれば、ディスプレイパネルを分割するために、いくつかの実施形態では、左眼用ディスプレイ１１０および右眼用ディスプレイ１１２の総表面積の一部のみがユーザの眼に見えることが分かるであろう。説明すると、図７は、図４のビュー４００に関連して説明したニアアイディスプレイシステムにおいて利用されるような、小型レンズおよびディスプレイパネル区分を用いたコンピュテーショナルディスプレイの断面図７００を示す。このビュー７００に示すように、たとえば、ディスプレイボーダー／ディスプレイパネル区分１１８ａ、１１８ｂを保持する筐体の外側フレームにより、ディスプレイパネル区分１１８ａと１１８ｂとの間に間隙７０２が存在する。

【0030】

小型レンズアレイ１２４の小型レンズ１２６の各々は、眼１３２に対する別個の「プロジェクタ」として機能する。各「プロジェクタ」は、ディスプレイパネル１１８において表示される要素画像の配列から複合仮想画像７０４を形成する際、１つ以上の隣接するプロジェクタと重なり合う。説明すると、小型レンズ１２６－２は、対応する要素画像（領域７０６によって表される）を仮想画像７０４の領域７１０から投影し、小型レンズ１２６－４は、対応する要素画像（領域７０８によって表される）を仮想画像７０４の領域７１２から投影する。図２によって示されるように、サブ領域７１４において領域７１０と７１２とが重なり合っている。よって、この重なり合うサブ領域７１４からの画像データを用いて、ディスプレイパネル区分１１８ａ、１１８ｂによって表示される要素画像を描画し、ユーザの眼１３２によって知覚される複合仮想画像７０４が間隙７０２の存在を認識しないようにディスプレイパネル区分１１８ａと１１８ｂとの間の間隙７０２を隠してもよい。

【0031】

いくつかの実施形態では、仮想画像７０４の平面にディスプレイボーダーが投影された場合、ディスプレイのベゼル／エッジが位置する位置に暗い箇所ができる。周辺の要素画像内の複製された（たとえば、重なり合う）画素の輝度は、分数Ｎ＋１／Ｎによってスケール変更される。Ｎは、ブロックされた画素領域を共有する要素画像の数である。つまり、間隙７０２を取り除くために、領域７０６および７０８に対応する要素画像の輝度が調整されてもよい。

【0032】

さらに、様々な実施形態では、図１の視線追跡コンポーネント１０６、１０８は、ユーザの眼１３２の姿勢を追跡し、姿勢情報を描画コンポーネント１０４に提供して、ディスプレイパネル区分の間に間隙を有する左眼用ディスプレイ１１０および右眼用ディスプレイ１１２の一部に向けられ得るユーザの眼１３２の視線を考慮に入れる。

【0033】

図８は、いくつかの実施形態に係る、立体焦点体積に基づいてライトフィールドフレームを描画するための非平面コンピュテーショナルディスプレイを有するニアアイディスプレイシステム１００の動作方法８００である。理解を容易にするために、図１～図７によって示されるシナリオ例を頻繁に参照して方法８００を後述する。方法８００は、左眼用ディスプレイ１１０または右眼用ディスプレイ１１２の１つのライトフィールドフレームを描画して表示するための処理の１回の実行を説明しているため、例示の処理は、それぞれ異なる時点の眼毎のライトフィールドフレームの異なるストリームまたはシーケンスを生成して表示するために、ディスプレイ１１０、１１２の各々について並列で繰り返し実行される。このように、３Ｄの裸眼立体視ＶＲまたはＡＲ体験をユーザに提供する。

【0034】

ライトフィールドフレームを生成して表示するために、方法８００は、ブロック８０２から開始される。ブロック８０２では、描画コンポーネント１０４は、対応するユーザの眼にライトフィールドフレームとして表示される画像コンテンツを識別する。少なくとも１つの実施形態では、描画コンポーネント１０４は、ジャイロスコープ、加速度計、磁力計、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなど、様々な姿勢関連センサからのデータを表すＩＭＵ情報１５２を受信し、ＩＭＵ情報１５０から、ユーザの眼の近くにディスプレイ１１０、１１２を装着するために使用される装置１１４（たとえば、ＨＭＤ）の姿勢を判断する。この姿勢から、描画プログラム１４４を実行するＣＰＵ１３６は、対象シーンまたはオブジェクトの対応する現在の視点を判断でき、この視点および描画情報１４８として提供される当該シーンまたはオブジェクトのグラフィック記述および空間記述から、この姿勢に関して描画されるイメージを判断することができる。

【0035】

ブロック８０４では、ＣＰＵ１３６は、ニアアイディスプレイシステム１００の非平面ディスプレイ用のディスプレイ形状データのセットを受信する。少なくとも１つの実施形態では、ディスプレイ形状データのセットは、図３に示すように、ユーザの眼（複数可）に対する１つ以上のディスプレイパネルの形状構成（たとえば、光軸の角度）を表すデータを含む。その他の実施形態では、ディスプレイ形状データのセットは、図４に示すように、１つ以上の非平面ディスプレイパネルが分割され、複数のディスプレイパネル区分を含むことを示すデータを含む。ニアアイディスプレイシステム１００が複数のディスプレイパネル区分を含む場合、ディスプレイ形状データのセットは、ディスプレイパネル区分のディスプレイボーダー／ベゼルの位置を表すデータをさらに含んでもよい。その他の実施形態では、ディスプレイ形状データのセットは、図５および図６に示すように、非平面ディスプレイの湾曲形状を示すデータを含む。

【0036】

任意のブロック８０６では、視線追跡プログラム１４６を実行中のＣＰＵ１３６は、対応するユーザの眼の姿勢を判断する。本明細書において説明したように、眼の姿勢は、各種の視線追跡技術を用いて判断されてもよい。一般に、このような技術は、眼の瞳孔および角膜に反射したＩＲ光の１つ以上の画像をキャプチャすることを含む。次に、視線追跡プログラム１４６は、ＣＰＵ１３６またはＧＰＵ１３８、１４０を操作して画像を分析し、瞳孔の反射または角膜の反射のうちの１つまたは両方の対応する位置に基づいて眼の姿勢を判断してもよい。たとえば、いくつかの実施形態では、単眼視線追跡を実行して関心領域情報を取得し、描画されたシーンのどこにユーザの眼が調節しようとしているのか（たとえば、シーンに含まれるどのオブジェクト（複数可）に視線が向けられているか）を算出する。眼毎に単眼視線追跡を実行することによって、眼と眼の相対的な角度のずれを測定し、輻輳を判断する。したがって、判断された輻輳（たとえば、差動視線追跡）に基づいて調節が算出される。その他の実施形態では、両眼視線追跡が実行されて、描画されたシーンコンテンツとは無関係に調節が判断され、および／または、角膜に対する瞳孔の向きを用いて眼の向き（すなわち、眼の視線方向）が判断されてもよい。なお、ブロック８０６は、図８において、ブロック８０２および８０４の後続ブロックであると示されているが、ブロック３０６の処理は、ブロック８０２および８０４の処理の間または後に実行されてもよい。

【0037】

非平面ディスプレイの形状（および、いくつかの実施形態では、ユーザの眼の姿勢）が判断された状態で、ブロック８０８において、描画プログラム１４４は、ＣＰＵ１３６を操作して、ブロック８０２において識別された画像コンテンツを用いて配列１２０を有するライトフィールドフレームを描画するよう、ＧＰＵ１３８、１４０のうちの対応するＧＰＵを指示する。ライトフィールドフレームは、要素画像の配列を含んでいる。いくつかの実施形態では、この処理の一部として、ＣＰＵ１３６は、表示される画像コンテンツ（すなわち、仮想画像）内の立体焦点体積を算出する。特に、ＣＰＵ１３６は、焦点が合わせられる立体焦点体積内に非平面ディスプレイがオブジェクトを提示するよう、当該立体焦点体積を算出する。たとえば、図３において、左眼焦点体積３０８は、表示するために左眼用ディスプレイ１１０のディスプレイパネル１１８によって提示されると、焦点が合っているようにユーザの左眼１３２に見える。同様に、右眼焦点体積３１０内のオブジェクトは、表示するために右眼用ディスプレイ１１２のディスプレイパネル１１８によって提示されると、焦点が合っているようにユーザの右眼１３２に見える。したがって、ＣＰＵ１３６は、左眼焦点体積３０８と右眼焦点体積３１０とが立体焦点体積３１２において重なり合うと判断し、立体焦点体積３１２内のオブジェクトに焦点が合っているようにユーザの左眼および右眼１３２に見えるよう、ライトフィールドフレームが描画される。

【0038】

いくつかの実施形態では、図５のように、左眼用ディスプレイ１１０および右眼用ディスプレイ１１２の各々は、任意の「Ｎ」個のディスプレイパネル区分を含んでもよい。たとえば、ビュー５００に示すように、ディスプレイ１１０、１１２の各々は、２つのディスプレイパネル区分（すなわち、ディスプレイパネル区分１１８ａおよび１１８ｂ）を含む。ディスプレイパネル区分（たとえば、ディスプレイ１１０、１１２のディスプレイパネル区分１１８ａおよび１１８ｂ）の各々は、対応する焦点体積に関連付けられる。対応する焦点体積内では、オブジェクトは、それぞれの眼１３２に表示するために提示されると、焦点が合っているように見える。したがって、ＣＰＵ１３６は、立体焦点体積４０８においてこれらの焦点体積が重なり合っていると判断し、立体焦点体積４０８内のオブジェクトに焦点が合っているようにユーザの左眼および右眼１３２に見えるよう、ライトフィールドフレームが描画される。

【0039】

さらに、その他の実施形態では、図７のように、たとえば、ディスプレイパネル区分１１８ａ、１１８ｂを保持する筐体の外側フレーム／ディスプレイボーダーによって、ディスプレイパネル区分１１８ａと１１８ｂとの間に間隙７０２が存在する。したがって、ＣＰＵ１３６は、ブロック８０４のディスプレイパネル区分のディスプレイボーダー／ベゼルの位置、およびブロック８０６のユーザの眼の姿勢を表すデータをＧＰＵに提供し、ユーザの眼１３２によって知覚される複合仮想画像７０４が間隙７０２の存在を検出しないようにディスプレイパネル区分１１８ａと１１８ｂとの間の間隙７０２を隠すように要素画像が描画されるようにライトフィールドフレームを描画するよう、ＧＰＵに指示する。つまり、領域７０６および７０８に対応する要素画像の輝度を調整して、１つ以上のディスプレイパネルのディスプレイボーダーによって生じた間隙７０２が知覚されることを取り除き、かつ、防いでもよい。ＧＰＵは、ブロック８１０においてライトフィールドフレームを順次描画し、ユーザの眼１３２に表示するためにライトフィールドフレームをコンピュテーショナルディスプレイ１１０、１１２のうちの対応するコンピュテーショナルディスプレイに提供する。

【0040】

図１～図７によって示された非平面コンピュテーショナルディスプレイ構成は、大きな視野を保持しつつ、眼により近い「眼鏡」フォームファクターを提供するという利点がある。つまり、本明細書に記載の実施形態によって、（従来のＨＭＤの「分割マスク」フォームファクターと比べて）コンパクトかつ軽量のフォームファクターが可能になる。ユーザの眼に対して湾曲および／または向きが異なるディスプレイパネル部を使用することによって、ユーザの頭部のより近くにＨＭＤ装置のかさばりを維持するフォームファクターを有するＨＭＤ装置が製造されてもよく、その慣性モーメントを低減し、かつ、より幅広い横方向の視野およびより美しい見た目を提供することができるようになる。これに加えて、湾曲および角度が異なる部分を有する非平面ディスプレイを用いることによって、従来のＨＭＤ装置よりも視野全体に均一の色および明るさ、および簡単なディスプレイ／光学アセンブリ構成を提供しつつ、１つ以上のフラットディスプレイパネルを利用する従来のＨＭＤ装置よりも精密にユーザの頭部に合ったフォームファクターを有するＨＭＤ装置の実装が可能になる。

【0041】

いくつかの実施形態において、上述の技術のいくつかの態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実装されてもよい。ソフトウェアは、非一時的なコンピュータ読取可能な記憶媒体に格納されるまたは有形に含まれる実行可能な命令の１つ以上のセットから構成される。ソフトウェアは、１つ以上のプロセッサによって実行された場合に１つ以上のプロセッサに上述の技術の１つ以上の態様を実行させる命令および特定のデータを含めることができる。非一時的なコンピュータ読取可能な記憶媒体は、たとえば、磁気または光ディスク記憶装置、フラッシュメモリ、キャッシュ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、またはその他の１つまたは複数の非一時的なメモリ素子など、固体記憶装置を含めることができる。非一時的なコンピュータ読取可能な記憶媒体に格納された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈されるまたは実行可能なその他の命令形式で格納されてもよい。

【0042】

コンピュータ読み取り可能な記憶媒体は、コンピュータシステムによって使用中に命令および／またはデータをコンピュータシステムに提供するためにアクセス可能な任意の記憶媒体または記憶媒体の組合せを含んでもよい。このような記憶媒体は、光学媒体（たとえば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、デジタル多用途ディスク（ＤＶＤ）、Ｂｌｕ－Ｒａｙディスク）、磁気媒体（たとえば、フロッピー（登録商標）ディスク、磁気テープ、もしくは磁気ハードドライブ）、揮発性メモリ（たとえば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）もしくはキャッシュ）、不揮発性メモリ（たとえば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）もしくはフラッシュメモリ）、または、ＭＥＭＳ（Ｍｉｃｒｏｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ベースの記憶媒体を含み得るが、これらに限定されない。コンピュータ読み取り可能な記憶媒体は、コンピューティングシステム（たとえば、システムＲＡＭまたはＲＯＭ）に埋め込まれてもよく、コンピューティングシステム（たとえば、磁気ハードドライブ）に固定して取り付けられてもよく、コンピューティングシステム（たとえば、光ディスクまたはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）に取り外し可能に取り付けられてもよく、または、有線またはワイヤレスネットワークを介してコンピュータシステム（たとえば、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｃｃｅｓｓｉｂｌｅ Ｓｔｏｒａｇｅ））に連結されてもよい。

【0043】

なお、一般的な説明に上述された動作または構成要素のすべてが必要であるわけではない。特定の動作または装置の一部を必要としなくてもよい。記載されたものに加えて、１つ以上のさらなる動作が実行されてもよく、１つ以上のさらなる構成要素が含まれてもよい。さらに、動作が挙げられている順番は、必ずしもそれらが実行される順番ではない。また、具体的な実施形態を例に概念を説明した。しかしながら、当業者であれば、さまざまな変形、変更を、添付の請求項に記載の本開示の範囲から逸脱することなく行うことが可能であることがわかるであろう。したがって、明細書および図面は、厳密ではなく、例示であるとみなされるべきであり、すべてのこのような変形は、本開示の範囲に含まれるものとする。

【0044】

具体的な実施形態についての利益、その他の利点、および問題の解決策を説明した。しかしながら、利益、利点、問題の解決策、およびいかなる利益、利点、または解決策を生じさせ得るまたはより明白にさせ得るいかなる特徴（複数可）も、請求項のいずれかまたはすべての重大な特徴、必要な特徴、または必須の特徴として解釈されないものとする。また、開示の主題は、本明細書における教示の利益を有する当業者に明らかである、異なるが均等な方法で変形および実施されてもよいため、上に開示した特定の実施形態は、例示にすぎない。添付の特許請求の範囲に記載されるもの以外に、本明細書において示した構成または設計の内容に限定されない。そのため、上に開示した特定の実施形態が変更または変形されてもよく、このような変形例のすべてが開示の主題の範囲に含まれるとみなされることは明白である。したがって、本明細書において求められる保護は、添付の特許請求の範囲に記載の通りである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】