特表 2023-500234 眼追跡器を組み込む明視野ディスプレイと、眼追跡情報を使用して明視野ディスプレイのためのビューを生成するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-05

(54)【発明の名称】眼追跡器を組み込む明視野ディスプレイと、眼追跡情報を使用して明視野ディスプレイのためのビューを生成するための方法

(51)【国際特許分類】

   H04N 13/368 20180101AFI20221223BHJP

   H04N 13/307 20180101ALI20221223BHJP

   H04N 13/117 20180101ALI20221223BHJP

   G02B 30/27 20200101ALI20221223BHJP

   G09G 5/36 20060101ALI20221223BHJP

   G09G 5/00 20060101ALI20221223BHJP

   G09G 5/377 20060101ALI20221223BHJP

   G06T 7/557 20170101ALI20221223BHJP

   G06F 3/04815 20220101ALI20221223BHJP

   G06F 3/01 20060101ALI20221223BHJP

【ＦＩ】

H04N13/368

H04N13/307

H04N13/117

G02B30/27

G09G5/36 510V

G09G5/36 520P

G09G5/00 550C

G09G5/00 530M

G09G5/36 520L

G09G5/00 530T

G09G5/00 X

G09G5/00 550X

G09G5/36 520E

G09G5/36 520C

G06T7/557

G06F3/04815

G06F3/01 510

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022524639

(86)(22)【出願日】2020-11-02

(85)【翻訳文提出日】2022-06-22

(86)【国際出願番号】 US2020058527

(87)【国際公開番号】W WO2021087450

(87)【国際公開日】2021-05-06

(31)【優先権主張番号】62/929,666

(32)【優先日】2019-11-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520414402

【氏名又は名称】ラキシウム インコーポレイテッド

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】プーリ， カリ

(72)【発明者】

【氏名】ウェツスタイン， ゴードン

(72)【発明者】

【氏名】スパイサー， ライアン

(72)【発明者】

【氏名】ジョーンズ， アンドリュー

(72)【発明者】

【氏名】マイラ， トミー

(72)【発明者】

【氏名】エコノム， ジシモス

【テーマコード（参考）】

2H199

5C061

5C182

5E555

5L096

【Ｆターム（参考）】

2H199BA08

2H199BA42

2H199BA44

2H199BA45

2H199BA49

2H199BA63

2H199BB03

5C061AA06

5C061AB12

5C061AB14

5C061AB16

5C182AA02

5C182AA26

5C182AA27

5C182AA28

5C182AA31

5C182AB01

5C182AB02

5C182AB11

5C182AB14

5C182AB33

5C182AC46

5C182BA14

5C182BA27

5C182BA28

5C182BA29

5C182BA39

5C182BA46

5C182BA47

5C182BA55

5C182BA56

5C182BC03

5C182BC29

5C182BC43

5C182BC45

5C182CB02

5C182CB04

5C182CB42

5C182CB45

5C182CB52

5C182CC21

5C182CC24

5C182DA26

5C182DA44

5C182DA52

5C182DA66

5C182DA68

5C182DA70

5E555AA27

5E555AA64

5E555BA02

5E555BB02

5E555BC08

5E555BD05

5E555BE16

5E555CA41

5E555CA42

5E555CB65

5E555CC26

5E555DA11

5E555DB53

5E555DC05

5E555DC19

5E555DC63

5E555DC84

5E555EA11

5E555EA14

5E555FA00

5L096AA02

5L096AA06

5L096AA09

5L096DA01

5L096EA16

5L096FA59

5L096FA66

5L096FA67

5L096FA69

5L096GA30

5L096GA55

5L096HA05

(57)【要約】

マルチビュー自動立体視ディスプレイは、角度ピクセルのアレイを含む、ディスプレイ面積と、眼追跡器と、処理システムとを含む。各角度ピクセルは、その角度ピクセルの視野を横断して変動する、色を放出する。角度ピクセルのアレイは、異なるビューをディスプレイの視野を横断して異なる視認ゾーン内に表示する。眼追跡器は、具体的視認ゾーン内の少なくとも１人の視認者の眼の存在を検出し、具体的視認ゾーン内の検出された眼の場所を含む、眼追跡情報を生産する。処理システムは、検出された眼毎に、検出された眼を伴う視認ゾーン内の検出された眼の場所に基づいて、具体的ビューをレンダリングし、角度ピクセルのアレイに関する制御情報を生成し、具体的ビューを、検出された眼毎に、その眼が検出された、視認ゾーン内に表示させる。

【特許請求の範囲】

【請求項1】

複数のビューを視認者に提供するためのマルチビュー自動立体視ディスプレイであって、
角度ピクセルのアレイを備えるディスプレイ面積であって、
各角度ピクセルは、その角度ピクセルの視野を横断して変動する光を放出するために構成され、
前記角度ピクセルのアレイは、異なるビューを前記ディスプレイの視野を横断して異なる視認ゾーン内に表示するために構成される、
ディスプレイ面積と、
少なくとも１つの眼追跡器であって、前記少なくとも１つの眼追跡器は、具体的視認ゾーン内の前記視認者の眼の存在を検出し、前記具体的視認ゾーン内のそのように検出された前記眼の場所に関連する眼追跡情報を生産するために構成される、少なくとも１つの眼追跡器と、
処理システムであって、前記処理システムは、
そのように検出された前記眼の片眼毎に、その眼が検出された前記視認ゾーン内のその眼の場所に基づいて、具体的ビューをレンダリングすることと、
前記角度ピクセルのアレイに関する制御情報を生成し、前記具体的ビューを、その眼のために、その眼が検出された前記視認ゾーン内に表示させることと
を行うために構成される、処理システムと
を備える、マルチビュー自動立体視ディスプレイ。

【請求項2】

前記処理システムは、更新されたビューを、そのように検出された前記眼の片眼毎に、その眼が以前に検出された前記視認ゾーン内のその眼に関する更新された場所に基づいてレンダリングするために構成される、請求項１に記載のマルチビュー自動立体視ディスプレイ。

【請求項3】

前記処理システムは、前記検出された眼に関する前の場所と前記検出された眼に関する更新された場所との間の相対的運動に基づいて、前記更新されたビューをレンダリングするために構成される、請求項２に記載のマルチビュー自動立体視ディスプレイ。

【請求項4】

前記少なくとも１つの眼追跡器は、前記視認者の場所を決定することと、そのように決定された前記視認者の場所に基づいて、前記視認者の頭部の場所を決定することと、そのように決定された前記視認者の頭部の場所に基づいて、前記視認者の眼の場所を決定することとを含む階層眼追跡プロセスを実施することによって、前記具体的視認ゾーン内の前記検出された眼の場所を検出するために構成される、請求項１に記載のマルチビュー自動立体視ディスプレイ。

【請求項5】

前記処理システムは、眼追跡情報に基づいて、具体的視認ゾーン内における表示のために、低減された分解能ビュー、低減された密度ビュー、および２次元ビューのうちの少なくとも１つをレンダリングするために構成される、請求項１に記載のマルチビュー自動立体視ディスプレイ。

【請求項6】

前記眼追跡情報は、追跡される眼場所と関連付けられる不確実性のレベルを示す信頼度情報を含み、
前記処理システムはさらに、前記信頼度情報に従って、前記レンダリングを調節するために構成される、
請求項５に記載のマルチビュー自動立体視ディスプレイ。

【請求項7】

前記処理システムは、制御情報を生成し、眼追跡情報に基づいて、前記角度ピクセルのアレイ内のエミッタのアクティブ化を制御し、具体的視認ゾーン内におけるビューの表示を防止するために構成される、請求項１に記載のマルチビュー自動立体視ディスプレイ。

【請求項8】

前記処理システムは、そのように検出された前記眼の片眼毎に、その眼が検出された前記視認ゾーン内のその眼の場所に基づいて、かつ決定された視認者特有瞳孔間距離によって制約される様式において、具体的ビューをレンダリングするために構成される、請求項１に記載のマルチビュー自動立体視ディスプレイ。

【請求項9】

前記少なくとも１つの眼追跡器は、前記視認者の検出された眼毎に視線方向を決定するために構成される少なくとも１つの視線追跡器を備え、
前記処理システムは、検出された眼毎に、前記眼が検出された前記視認ゾーン内の前記検出された眼の場所と、前記検出された眼の視線方向とに基づいて、具体的ビューをレンダリングするために構成される、
請求項１に記載のマルチビュー自動立体視ディスプレイ。

【請求項10】

前記処理システムは、複数の論理エミッタに関する制御情報を生成するために構成され、
前記ディスプレイ面積はさらに、前記複数の論理エミッタに関する制御情報を受信し、前記複数の論理エミッタに関する制御情報を前記ディスプレイ面積内の前記角度ピクセルのアレイに関する制御情報に対して補間するために構成されるバックプレーン回路網を備える、
請求項１に記載のマルチビュー自動立体視ディスプレイ。

【請求項11】

前記マルチビュー自動立体視ディスプレイは、第１の視認者および第２の視認者によって視認可能なビューを提供するために構成され、
前記少なくとも１つの眼追跡器はさらに、前記第１および第２の視認者の眼を同時に追跡するために構成され、
前記処理システムはさらに、
前記第１の視認者の検出された眼毎に、第１の場面に基づいて、具体的ビューをレンダリングすることと、
前記第２の視認者の検出された眼毎に、第２の場面に基づいて、付加的ビューをレンダリングすることであって、前記第２の場面は、少なくとも部分的に、前記第１の場面と異なる、ことと、
同時に、
前記第１の視認者の検出された眼毎の前記具体的ビューが、前記第１の視認者の眼が検出された視認ゾーン内に表示され、
前記第２の視認者の検出された眼毎の前記付加的ビューが、前記第２の視認者の眼が検出された視認ゾーン内に表示される
ように、前記角度ピクセルのアレイに関する制御情報を生成することと
を行うために構成される、請求項１に記載のマルチビュー自動立体視ディスプレイ。

【請求項12】

前記処理システムによってそのように生成された制御情報は、ビューを、前記第１および第２の視認者の眼のうちの少なくとも１つが検出された前記視認ゾーン外に表示させない、請求項１１に記載のマルチビュー自動立体視ディスプレイ。

【請求項13】

前記マルチビュー自動立体視ディスプレイは、第１の視認者および第２の視認者によって視認可能なビューを提供するために構成され、
前記少なくとも１つの眼追跡器は、前記第１の視認者の眼を追跡するための第１の眼追跡器と、前記第２の視認者の眼を追跡するための第２の眼追跡器とを含み、
前記処理システムはさらに、
前記第１の視認者の検出された眼毎に、第１の場面に基づいて、具体的ビューをレンダリングすることと、
前記第２の視認者の検出された眼毎に、第２の場面に基づいて、付加的ビューをレンダリングすることであって、前記第２の場面は、少なくとも部分的に、前記第１の場面と異なる、ことと、
同時に、
前記第１の視認者の検出された眼毎の前記具体的ビューが、前記第１の視認者の眼が検出された視認ゾーン内に表示され、
前記第２の視認者の検出された眼毎の前記付加的ビューが、前記第２の視認者の眼が検出された前記視認ゾーン内に表示される
ように、前記角度ピクセルのアレイに関する制御情報を生成することと
を行うために構成される、請求項１に記載のマルチビュー自動立体視ディスプレイ。

【請求項14】

前記処理システムによってそのように生成された制御情報は、ビューを、前記第１および第２の視認者の眼のうちの少なくとも１つが検出された前記視認ゾーン外に表示させない、請求項１３に記載のマルチビュー自動立体視ディスプレイ。

【請求項15】

マルチビュー自動立体視ディスプレイであって、
角度ピクセルのアレイを含むディスプレイ面積であって、
各角度ピクセルは、その角度ピクセルの視野を横断して変動する光を放出するために構成され、前記角度ピクセルは、複数のエミッタおよび光学系を含み、前記複数のエミッタの少なくとも一部は、前記ディスプレイ面積から具体的光線方向における所与の強度を伴って放出される光に寄与する、
ディスプレイ面積と、
角度ピクセルのアレイに関する較正情報を記憶するために構成されるメモリと、
処理システムであって、
複数の標的ビューを前記角度ピクセルのアレイの視野を横断して具体的視認ゾーン内にレンダリングすることと、
前記複数の標的ビューが生成されるべき前記具体的視認ゾーン内の前記複数の標的ビューに基づいて、前記ディスプレイ面積からの光線方向のセットに関する標的強度を決定することと、
前記較正情報および前記標的強度に基づいて、前記ディスプレイ面積内の角度ピクセル内の前記複数のエミッタに関する制御情報を生成することと、
前記制御情報に基づいて、前記角度ピクセルを使用して、複数の明視野ビューを生成することと
を行うために構成される、処理システムと
を備える、マルチビュー自動立体視ディスプレイ。

【請求項16】

前記マルチビュー自動立体視ディスプレイの視認者の眼の場所を決定し、前記場所を含む、眼追跡情報を生産するために構成される少なくとも１つの眼追跡器をさらに備え、
前記処理システムはさらに、少なくとも部分的に、前記眼追跡情報に基づいて、前記光線方向のセットを選択するために構成される、
請求項１５に記載のマルチビュー自動立体視ディスプレイ。

【請求項17】

前記制御情報を生成することはさらに、前記眼追跡情報に基づいて、そのように検出された前記視認者の眼の場所において明視野ビューに寄与するエミッタを含む角度ピクセルのサブセットを識別することを含む、請求項１６に記載のマルチビュー自動立体視ディスプレイ。

【請求項18】

複数のビューを視認者に提供するためのマルチビュー自動立体視ディスプレイであって、
角度ピクセルのアレイを含むディスプレイ面積と、
眼追跡器と、
処理システムと
を備え、
各角度ピクセルは、その角度ピクセルの視野を横断して変動する光を放出するために構成され、
前記角度ピクセルのアレイは、異なるビューを前記ディスプレイの視野を横断して異なる視認ゾーン内に表示するために構成され、
前記眼追跡器は、具体的視認ゾーン内の前記視認者の眼の存在を検出し、前記具体的視認ゾーン内のそのように検出された前記眼の場所に関連する眼追跡情報を生産するために構成され、
前記処理システムは、その眼が検出された前記視認ゾーン内のそのように検出された前記眼の片眼毎に、具体的ビューをレンダリングするために構成され、
前記処理システムはさらに、前記角度ピクセルのアレイに関する制御情報を生成し、前記具体的ビューを、そのように検出された前記眼の片眼毎に、その眼が検出された前記視認ゾーン内に表示させるために構成される、マルチビュー自動立体視ディスプレイ。

【請求項19】

前記処理システムはさらに、前記眼追跡情報に基づいて、具体的視認ゾーン内における表示のために、低減された分解能ビュー、低減された密度ビュー、および２次元ビューのうちの少なくとも１つをレンダリングするために構成される、請求項１８に記載のマルチビュー自動立体視ディスプレイ。

【請求項20】

前記制御情報は、前記角度ピクセルのアレイに関するアクティブ化情報を含み、前記眼追跡情報に基づいて、前記角度ピクセルのアレイ内のエミッタのアクティブ化を制御し、その眼が検出された前記視認ゾーン外のビューに寄与する前記エミッタの一部をオフにする、請求項１８に記載のマルチビュー自動立体視ディスプレイ。

【請求項21】

前記処理システムはさらに、エイリアシング、残影、視認ゾーン間の光学クロストーク、およびピクセルレベル光学クロストークのうちの少なくとも１つを軽減するために、前記制御情報を最適化するために構成される、請求項１８に記載のマルチビュー自動立体視ディスプレイ。

【発明の詳細な説明】

【技術分野】

【0001】

（優先権の主張）
本願は、参照することによってその全体として本明細書に組み込まれる、２０１９年１１月１日に出願され、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｄｉｓｐｌａｙｓ Ｉｎｃｏｒｐｏｒａｔｉｎｇ Ｅｙｅ Ｔｒａｃｋｅｒｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｖｉｅｗｓ ｆｏｒ Ｍｕｌｔｉｖｉｅｗ Ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙ Ｕｓｉｎｇ Ｅｙｅ Ｔｒａｃｋｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ」と題された、同時係属中の米国特許出願第６２／９２９，６６６号の利益を主張する。

【0002】

本発明は、概して、３次元（３Ｄ）ディスプレイに関し、より具体的には、眼追跡器を組み込む、マルチビュー自動立体視３Ｄディスプレイに関する。

【背景技術】

【0003】

ヒトの視覚系は、オクルージョン、遠近感、見なれた大きさ、および大気中の濁度等のキューを使用して、３Ｄ構造を２Ｄ投影から解釈することが可能である。しかしながら、２Ｄ画像は、立体視差、運動視差、遠近調節、および収束を含む、いくつかの有意な深度キューを表すことが不可能である。異なる画像を視認者の各眼に提供する、３Ｄディスプレイは、立体視ディスプレイと称される。大部分の市販の３Ｄディスプレイ技術は、視認者が、ディスプレイが異なる画像を装着者の各眼に提示することを可能にする、特殊眼鏡を装着することを要求する。特殊眼鏡を利用して、異なる画像を装着者の各眼に提供する、３Ｄディスプレイの限界は、画像が、典型的には、装着者の頭部位置に依存しないことである。図１に概念的に図示されるように、ディスプレイ１００は、それぞれ、左（Ｌ）および右（Ｒ）画像を、理想的には、理想的視認場所１０２に位置する、視認者の左および右眼に提示する。これらの画像は、視認者の場所にかかわらず、同一であって、深度キューは、場所１０４および１０６等における、視認者が理想的視認場所から遠くに位置するほど、場面コンテンツと一致しなくなり得る。

【0004】

特殊眼鏡を使用することの代替は、２つの小ディスプレイを、一対のゴーグルまたはヘッドセット内に等、視認者の眼の正面に搭載することである。視認者の頭部が、移動し、頭部運動が、ヘッドセットによって追跡されるにつれて（例えば、加速度計、ジャイロスコープ、位置センサ、赤外線放出、カメラ、および／または磁力計を使用して）、ディスプレイは、視点依存画像を２つのディスプレイ上に提示し、立体視差および運動視差を提供することができる。ヘッドセットを装着する必要性および結果として生じる実世界からの隔離は、仮想現実、複合現実、および／または拡張現実眼鏡等の頭部装着型３Ｄディスプレイの有用性を有意に限定し得る。

【0005】

自動立体視ディスプレイは、ユーザが眼鏡またはヘッドセット等の特殊ヘッドギヤを装着する要件を伴わずに、３Ｄ深度の両眼知覚を作成する。自動立体視ディスプレイは、典型的には、画像の空間多重化を利用し、これは、ディスプレイの正面への視差障壁の設置、ディスプレイの正面へのレンチキュラーレンズアレイまたはマイクロレンズアレイの設置、およびプロジェクタのアレイの使用を含む、種々の方法で実装されることができる。

【0006】

マルチビュー自動立体視明視野ディスプレイは、異なる画像をディスプレイの視野を横断して異なる視認ゾーン内に形成する、自動立体視ディスプレイのクラスである。結果として、マルチビュー自動立体視明視野ディスプレイは、単に、所与の時間において、異なる画像を視認者の眼のそれぞれに提供することに限定されず、ユーザが移動するにつれて、各眼に表示される画像が、視認者の場所に依存する様式において変動する。このように、マルチビュー自動立体視明視野ディスプレイは、立体および運動視差の両方を提供することができる。しかしながら、マルチビュー自動立体視明視野ディスプレイの商業化は、多くのビューを表示し得る、ディスプレイを構築することの難点と、全てのビューを同時に生成することの算出複雑性とに起因して、困難であることが証明されている。

【発明の概要】

【課題を解決するための手段】

【0007】

以下は、１つまたはそれを上回る側面の、そのような側面の基本理解を提供するための簡略化された説明を提示する。本概要は、全ての検討される側面の広範な概要ではなく、全ての側面の重要または必須要素を識別する、もしくは任意または全ての側面の範囲を区切るように意図されるものではない。その目的は、後に提示されるより詳細な説明に対する前置きとして、１つまたはそれを上回る側面のいくつかの概念を簡略化された形態で提示することである。

【0008】

ある側面では、複数のビューを視認者に提供するためのマルチビュー自動立体視ディスプレイが、提示される。ディスプレイは、角度ピクセルのアレイを含む、ディスプレイ面積を含む。各角度ピクセルは、その角度ピクセルの視野を横断して変動する、光を放出するために構成される。角度ピクセルのアレイは、異なるビューをディスプレイの視野を横断して異なる視認ゾーン内に表示するために構成される。ディスプレイはさらに、具体的視認ゾーン内の視認者の眼の存在を検出し、具体的視認ゾーン内のそのように検出された眼の場所に関連する眼追跡情報を生産するために構成される、少なくとも１つの眼追跡器を含む。ディスプレイは、加えて、そのように検出された眼の片眼毎に、その眼が検出された、視認ゾーン内のその眼の場所に基づいて、具体的ビューをレンダリングし、角度ピクセルのアレイに関する制御情報を生成し、具体的ビューを、その眼のために、その眼が検出された、視認ゾーン内に表示させるために構成される、処理システムを含む。

【0009】

別の側面では、マルチビュー自動立体視ディスプレイの処理システムはさらに、具体的視認ゾーン内における表示のために、眼追跡情報に基づいて、低減された分解能ビュー、低減された密度ビュー、および２次元ビューのうちの少なくとも１つをレンダリングするために構成される。

【0010】

さらに別の側面では、眼追跡情報は、追跡される眼場所と関連付けられる、不確実性のレベルを示す、信頼度情報を含み、処理システムはさらに、信頼度情報に従って、レンダリングを調節するために構成される。

【0011】

さらに別の側面では、処理システムは、複数の論理エミッタに関する制御情報を生成するために構成される。ディスプレイ面積はさらに、複数の論理エミッタに関する制御情報を受信し、複数の論理エミッタに関する制御情報をディスプレイ面積内の角度ピクセルのアレイに関する制御情報に対して補間するために構成される、バックプレーン回路網を含む。

【0012】

別の側面では、ディスプレイは、第１の視認者および第２の視認者によって視認可能なビューを提供するために構成される。少なくとも１つの眼追跡器はさらに、第１および第２の視認者の眼を同時に追跡するために構成される。処理システムはさらに、第１の視認者の検出された眼毎に、第１の場面に基づいて、具体的ビューをレンダリングし、第２の視認者の検出された眼毎に、第２の場面に基づいて、付加的ビューをレンダリングするために構成され、第２の場面は、少なくとも部分的に、第１の場面と異なる。処理システムはまた、同時に、第１の視認者の検出された眼毎の具体的ビューが、第１の視認者の眼が検出された、視認ゾーン内に表示され、第２の視認者の検出された眼毎の付加的ビューが、第２の視認者の眼が検出された、視認ゾーン内に表示されるように、角度ピクセルのアレイに関する制御情報を生成するために構成される。さらなる側面では、処理システムによってそのように生成された制御情報は、ビューを、第１および第２の視認者の眼のうちの少なくとも１つが検出された、視認ゾーン外に表示されない。なおもさらなる側面では、ディスプレイは、第１の視認者の眼を追跡するための第１の眼追跡器と、第２の視認者の眼を追跡するための第２の眼追跡器とを含む。

【0013】

別の側面では、処理システムはさらに、角度ピクセルのアレイに関する較正情報を記憶するために構成される、メモリを含む。処理システムは、較正情報およびディスプレイ面積からの光線方向のセットに関する標的強度に基づいて、ディスプレイ面積内の角度ピクセル内の複数のエミッタに関する制御情報を生成する。

【0014】

さらに別の側面では、処理システムはさらに、残影、視認ゾーン間の光学クロストーク、およびピクセルレベル光学クロストークのうちの少なくとも１つを軽減するための制御情報を最適化するために構成される。

【図面の簡単な説明】

【0015】

添付の図面は、検討される実装のうちのいくつかのみを図示し、したがって、範囲の限定と見なされるべきではない。

【0016】

【図1】図１は、眼鏡を利用して、異なる画像を装着者の各眼に提供する、３Ｄディスプレイを概念的に図示する。

【0017】

【図2】図２は、本発明のある実施形態による、角度ピクセルのアレイによって形成される、ディスプレイ面積と、１つまたはそれを上回る眼追跡器とを含む、明視野ディスプレイを図示する。

【0018】

【図3】図３は、本発明のある実施形態による、明視野ディスプレイとともに組み込まれる、パーソナルコンピュータ内で利用される処理システムの高レベル概要を概念的に図示する。

【0019】

【図4】図４は、本発明のある実施形態による、レンズ要素と、エミッタのアレイとによって形成される、角度ピクセルを含む、明視野ディスプレイを図示する。

【0020】

【図5】図５は、本発明のある実施形態による、プロジェクタを使用して実装される、明視野ディスプレイを図示する。

【0021】

【図6A】図６Ａは、階層眼追跡プロセスを図示する。

【0022】

【図6B】図６Ｂは、階層視線追跡プロセスを図示する。

【0023】

【図7】図７は、本発明のある実施形態による、明視野ディスプレイ内のエミッタによって生成される、光円錐を概念的に図示する。

【0024】

【図8】図８はエイリアシングが視認者が自動立体視ディスプレイによって生産されたビュー内の背景断続性を知覚する結果をもたらし得る、様式を概念的に図示する。

【0025】

【図9】図９は、本発明のある実施形態による、自動立体視明視野ディスプレイの視認ゾーン内に、視認者の眼の追跡される場所に基づいてレンダリングされる、ビューの表示を概念的に図示する。

【0026】

【図10】図１０は、本発明のある実施形態による、明視野ディスプレイを動作させ、視認者の眼の追跡される場所に基づいて、視認者の眼によって占有される視認ゾーン内に表示されるビューを修正する、プロセスを図示する。

【0027】

【図11】図１１は、残影の現象を概念的に図示する。

【0028】

【図12】図１２は、本発明のある実施形態による、眼追跡情報に基づいて、視認ゾーン内に表示される画像をレンダリングし、残影を低減させるために、明視野ディスプレイによって利用され得る、プロセスを概念的に図示する。

【0029】

【図13】図１３は、本発明のある実施形態による、眼追跡における不確実性が、同一色および強度を追跡される眼に隣接する視認ゾーン内に表示することによって適応され得る、様式を図示する。

【0030】

【図14】図１４は、視線方向および眼位置における不確実性の表現を５Ｄ確率分布として図示する。

【0031】

【図15】図１５は、本発明のある実施形態による、眼および視線追跡情報における不確実性を考慮する様式において、眼および視線追跡情報に基づいて、明視野ディスプレイを用いて中心窩化レンダリングを実施するための、プロセスを概念的に図示する。

【0032】

【図16】図１６は、本発明のある実施形態による、明視野ディスプレイ内のエミッタのアクティブ化を制御するための、プロセスを概念的に図示する。

【0033】

【図17】図１７は、本発明のある実施形態による、追跡される眼によって占有される視認ゾーンに隣接する視認ゾーン内におけるビューの表示を有効にする、プロセスを概念的に図示する。

【0034】

【図18】図１８は、簡略化されたコンテンツを追跡される眼によって占有されない視認ゾーン内に表示する、本発明のある実施形態による、明視野ディスプレイを概念的に図示する。

【0035】

【図19A】図１９Ａは、マイクロレンズ内クロストークが露見し得る、様式を概念的に図示する。

【0036】

【図19B】図１９Ｂは、マイクロレンズ間クロストークが露見し得る、様式を概念的に図示する。

【0037】

【図20】図２０は、本発明のある実施形態による、ビューを追跡される眼によって占有される視認ゾーン内に表示するために、眼追跡情報に基づいて、明視野ディスプレイのエミッタのアクティブ化を制御するための、プロセスを図示する。

【0038】

【図21】図２１は、本発明のある実施形態による、眼追跡を組み込む、明視野ディスプレイのためのビューレンダリングパイプラインを概念的に図示する。

【発明を実施するための形態】

【0039】

詳細な説明
ここで図面に目を向けると、眼追跡器と、本発明の種々の実施形態による、マルチビュー自動立体視ディスプレイのためのビューの生成において眼追跡データを利用する、プロセスとを組み込む、明視野ディスプレイが、図示される。用語「明視野ディスプレイ」は、本明細書では、従来の自動立体視ディスプレイより数桁多いエミッタを含む、マルチビュー自動立体視ディスプレイのクラスを指すために使用される。故に、明視野ディスプレイは、従来の自動立体視ディスプレイと比較して、より有意に高い密度の異なるビューを達成する。増加されたビューの数は、マルチビュー自動立体視ディスプレイのために利用されるビューの数を生成するために要求される、処理の潜在的比例増加を伴う。

【0040】

本発明のいくつかの実施形態による、システムおよび方法は、眼追跡器を利用して、自動立体視ディスプレイのために生成される、ビューの数を低減させる。多くの実施形態では、ビューは、追跡される眼の具体的場所に対応して生成される。これらのビューは、追跡される眼によって占有される、視認ゾーン内に、多くのインスタンスでは、視認ゾーンに隣接して、表示され、眼追跡不確実性に適応することができる。多くの実施形態では、ビューは、視認者の網膜上へのビューの重畳が所望の画像を作成するように、重複視認ゾーン内における表示のためにレンダリングされる。眼追跡器情報と明視野ディスプレイのためのビューの生成に関連するデータの統合は、そのようなマルチビュー自動立体視ディスプレイによって明視野ビューを提供する際に要求される、算出およびエネルギー負荷を低減させるための種々の利点を提供する。

【0041】

眼追跡器は、１人またはそれを上回る人々の眼の場所を追跡し得る、システムである。眼追跡器は、典型的には、３次元空間内の視認者の各眼の場所を決定し、多くのインスタンスでは、基準フレームに対する各眼の回転を決定し、視線方向をもたらす。いくつかの実施形態では、眼追跡器は、各眼の瞳孔中心を追跡する。本発明の多くの実施形態では、眼追跡器は、各眼の焦点面の中心の場所を決定する。例えば、眼の焦点面は、瞳孔を上に網膜上の瞳孔に近似的に対向するため、したがって、焦点面の場所は、既知の瞳孔場所から推測され得る。いくつかの実施形態では、階層眼追跡プロセスが、利用される。眼追跡器は、単に、視認者の頭部の場所を決定する、頭部追跡器と区別され得る。眼追跡器はまた、視認者の眼の場所および視認者が見ている方向を決定する、視線追跡器とも区別され得る。続く議論の多くは、少なくとも１つの眼追跡器を組み込み、眼追跡情報を利用して、マルチビュー自動立体視ディスプレイのためのビューを生成する、明視野ディスプレイに関するが、本発明のいくつかの実施形態による、システムおよび方法は、具体的用途の要件に起因して、必要に応じて、眼追跡器の代替として、またはそれに加え、視線追跡器および／または頭部追跡器を利用することができる。さらに、本発明の多くの実施形態による、明視野ディスプレイは、その中で眼および／または視線追跡が、頭部搭載型ディスプレイ内の（限定ではないが）加速度計等のセンサを使用して、頭部姿勢追跡と併せて、頭部搭載型ディスプレイによって実施される、頭部搭載型ディスプレイ内でも利用されることができる。

【0042】

上記に述べられ、かつさらに下記に議論されるように、眼が位置する、視認ゾーンを識別する能力は、本発明の多くの実施形態による、明視野ディスプレイが、エネルギー、処理、および／または設計効率性を達成することを有効にする。いくつかの実施形態では、明視野ディスプレイは、眼追跡情報に基づいて、エミッタをオフにし、視認者が位置する可能性が高い、視認ゾーンに表示されるビューを限定することができる。このように、明視野ディスプレイは、有意なエネルギー節約を達成することができる。さらに、ディスプレイの処理システムとバックプレーン制御回路網との間の帯域幅要件も、アクティブエミッタに関する、および／または実際の数の物理的エミッタより有意に少ない論理エミッタのセットに対する、エミッタ制御データのみを提供することによって、低減されることができる。いくつかの実施形態では、明視野ディスプレイは、それに対して視差が、追跡される眼が検出されない、視認場所（例えば、追跡される眼が検出される、視認ゾーンに隣接する視認ゾーン）内に表示される、ビュー内にレンダリングされる、分解能および／または範囲を変動させることによって、付加的処理効率性を達成することができる。視線追跡情報が、明視野ディスプレイに利用可能である場合、付加的処理効率性が、レンダリングされたビュー内の分解能および／または視差情報が視線方向に基づいて変動する、中心窩化ビューをレンダリングすることによって達成されることができる。本発明の多くの実施形態による、並列処理システムを組み込む、明視野ディスプレイはまた、ビュー処理の間に受信された眼追跡情報更新に基づいて、レンダリング後、３Ｄおよび／または２Ｄワーピングおよび平行移動を適用し、そこからビューがレンダリングされる、視点を持続的に更新する、高度なレンダリングパイプラインを採用することができる。このように、そこから表示されるビューがレンダリングされる、視点は、可能な限り、明視野ディスプレイが、リフレッシュされ、ビューが、表示される時点における、視認者の各眼の場所に近づくように対応し得る。

【0043】

眼追跡情報に基づいて、異なるビューを異なる視認ゾーン内にレンダリングする能力はまた、本発明のいくつかの実施形態による、明視野ディスプレイが、種々の有用なモードをサポートすることを有効にする。多くの実施形態では、明視野ディスプレイは、少なくとも部分的に、異なる視認者に対して異なる、場面のビューをレンダリングすることができる。本コンテキストでは、場面は、視認ユーザのために提示される、３Ｄモデルまたはコンテンツの断片を指す。このように、２人またはそれを上回る視認者は、本発明の種々の実施形態によると、明視野ディスプレイを介して、同時に、コンテンツの２つまたはそれを上回る異なる断片を視認することができる。いくつかの実施形態では、明視野ディスプレイは、ビューが表示される、視認ゾーンが、認可された視認者の眼によって占有される視認ゾーンに基づいて決定される、プライバシモードをサポートすることができる。明視野ディスプレイは、非認可視認者の眼が検出される視認ゾーンにビューを表示する、エミッタをアクティブ化解除するか、またはプライバシ警告もしくは無害のコンテンツを含有する、ビューを提示するかのいずれかを行うことができる。

【0044】

いくつかの実施形態では、眼追跡器の使用は、明視野ディスプレイが、水平視差および垂直視差を表示するために、ハイブリッドアプローチを採用することを有効にする。エミッタを提供して、垂直視差をハンドリングする代わりに、眼追跡が、ディスプレイ面積に対する視認者の眼の垂直位置および距離を決定するために利用されることができる。いったんディスプレイに対する視認者の眼の垂直位置および距離が、既知になると、視認者の目線が、その中に視認者の眼が位置する、視認ゾーン内に表示されるビューを生成するために利用されることができる。このように、眼追跡器は、各角度ピクセルが、単列のエミッタとともに、水平視差をハンドリングするために実装され得、垂直視差が、算出上ハンドリングされるため、明視野ディスプレイ内のエミッタの総数を低減させることができる。眼追跡の不在下では、複数の列のエミッタが、垂直視差をハンドリングするために使用され得る。

【0045】

いくつかの実施形態では、明視野ディスプレイ内で利用される角度ピクセルは、角度ピクセル内のエミッタからの光が主要な意図される方向以外の光線方向に漏出させる結果をもたらし得る、光学収差をもたらす、マイクロレンズを組み込む。例えば、複数の望ましくない光線方向への角度ピクセル内の１つのエミッタからの光の漏出は、光学クロストークの形態である。いくつかの実施形態では、角度ピクセル内のエミッタのグループは、全てのエミッタの放出される強度の所望の線形組み合わせを達成するために、ともに制御されることができる。多くの実施形態では、角度ピクセル内のエミッタの強度は、１つまたはそれを上回る具体的視認ゾーン内で知覚される角度ピクセルからの光線が、可能な限り、意図される光線に近づくように決定される。いくつかの実施形態では、複数の角度ピクセルからのエミッタの光放出は、１つまたはそれを上回る具体的視認ゾーン内で知覚される明視野ディスプレイからの光線が、可能な限り、意図される光線に近づくように決定される。ある実施形態では、眼追跡情報が、追跡される眼によって占有される視認ゾーン内に表示されるビューに寄与する、具体的エミッタを決定するために利用されることができる。例えば、ユーザが、明視野ディスプレイエミッタから離れているとき、明視野ディスプレイのより大きい面積を被覆する、より多数の角度ピクセルが、知覚される光線に寄与し得る。同様に、知覚される光線が、ユーザの視野の中心窩（すなわち、視野の中心）にあるとき、知覚される光線に寄与する、角度ピクセルは、知覚される光線がユーザの視野の周縁内にあるときより小さい面積の明視野ディスプレイを表す。多くの実施形態では、ともに制御されるエミッタの強度は、知覚される明視野と標的明視野との間の差異を最小限にするように決定される。しかしながら、いくつかの実施形態では、（限定ではないが）明視野ディスプレイのダイナミックレンジおよび／または黒色レベルを増加させる、制約を含む、付加的制約が、ともに制御されるエミッタに課される。容易に理解され得るように、本発明の種々の実施形態による、明視野ディスプレイ内の１つまたはそれを上回る角度ピクセルの中のともに制御エミッタに利用される具体的制約は、主として、所与の用途の要件に依存する。

【0046】

本明細書の議論の多くは、明視野ディスプレイのコンテキストにおけるものであるが、本発明の種々の実施形態による、プロセスは、（限定ではないが）所与の用途の要件の必要に応じて、１つまたはそれを上回る眼追跡器を組み込む、視差障壁、レンチキュラー、マイクロレンズ、ホログラフィック、頭部搭載型、および／またはプロジェクタベースのマルチビュー自動立体視ディスプレイシステムを含む、任意のマルチビュー自動立体視ディスプレイシステムにおいて利用されることができる。本発明のいくつかの実施形態による、眼追跡器と、眼追跡データを利用して、マルチビュー自動立体視ディスプレイのための画像を生成するためのプロセスとを組み込む、明視野ディスプレイは、下記にさらに議論される。
眼追跡器を組み込む、明視野ディスプレイ

【0047】

本発明のある実施形態による、角度ピクセルのアレイによって形成される、ディスプレイ面積２０２と、１つまたはそれを上回る眼追跡器２０４とを含む、明視野ディスプレイ２００が、図２に図示される。各角度ピクセルは、その外観がディスプレイの視野を横断して変動し得る、差異を伴う、２Ｄディスプレイ内の従来のピクセルに類似すると見なされ得る。このように、明視野ディスプレイの各視認ゾーンは、明視野ディスプレイ内の角度ピクセルの数に等しい分解能を伴う、画像を表示することができる。各角度ピクセルは、例えば、「Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｅｌｅｍｅｎｔｓ ｉｎ ａ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｄｉｓｐｌａｙ」と題された、米国特許公開第ＵＳ２０１９／０３３３４４３Ａ１号、「Ｐａｒｔｉａｌ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｄｉｓｐｌａｙ」と題された、米国特許公開第ＵＳ２０１９／０３３５１６５Ａ１号、および「Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｅｌｅｍｅｎｔｓ ｉｎ ａ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｄｉｓｐｌａｙ」と題された、米国特許公開第ＵＳ２０１９／０３３３４４４Ａ１号（その出願の全てが、参照することによってその全体として本明細書に組み込まれる）に説明されるような光エミッタのアレイを含むことができる。下記にさらに議論されるように、各角度ピクセルを実装するために使用されるエミッタの数は、角度ピクセルの数より数桁多くあり得る。

【0048】

ビューが明視野ディスプレイによって自動立体視ディスプレイのために生成される、様式は、主として、明視野ディスプレイが利用されている、特定の用途に依存する。本発明のある実施形態による、明視野ディスプレイを組み込む、パーソナルコンピュータ内で利用される処理システムの高レベル概要が、図３に概念的に図示される。処理システム３００は、眼追跡システム３０１を含む。ある実施形態では、眼追跡システム３０１は、デジタルセンサアレイ、赤外線センサ、および／または深度センサ等の１つまたはそれを上回る画像センサ３０２を含む。例えば、画像センサ３０２は、眼追跡プロセスにおいて使用するためのディスプレイの視認者に関する情報を捕捉してもよい。加えて、画像センサ３０２は、明視野ディスプレイによって表示されるためのライブ画像および／またはビデオを捕捉してもよい。眼追跡システム３０１は、随意に、専用内蔵システム３０４を含み、これは、画像センサ３０２から入力される画像を処理し、眼追跡情報を生成するための専用ユニットとして、眼追跡システム３０１の中に統合されてもよい。眼追跡情報を生成する際に使用され得る、具体的プロセスは、下記でさらに詳細に説明される。代替として、画像センサ３０２は、画像データを、直接、角度ピクセルアレイ３０８を駆動する、ディスプレイストリームプロセッサ３０６に提供する。ディスプレイストリームプロセッサ３０６は、画像センサ３０２から入力される画像を処理し、眼および／または視線追跡情報を生成してもよい、または情報をホストパーソナルコンピュータ（ＰＣ）３１０に渡し、眼追跡情報を生成してもよい。画像センサ３０２、随意の専用内蔵システム３０４、ディスプレイストリームプロセッサ３０６、角度ピクセルアレイ３０８、およびホストパーソナルコンピュータ（ＰＣ）３１０間のデータの交換は、（限定ではないが）ＭＩＰＩ、Ｉ２Ｃ、ＵＳＢ、ディスプレイポート、ビデオ、ＨＤＭＩ（登録商標）、ＰＣＩＥ、および／または他の接続を含む、種々の接続のいずれかを介して生じてもよい。図示される実施形態では、角度ピクセルアレイ３０８による表示のためのビューのレンダリングは、（限定ではないが）アプリケーションプロセッサ（例えば、中央処理ユニット（ＣＰＵ））およびグラフィック処理ユニット（ＧＰＵ）等のホストパーソナルコンピュータ（ＰＣ）３１０を伴う、処理システムを使用して実施される。ホストＰＣ３１０は、ディスプレイストリームプロセッサ３０６を介して、眼および／または視線追跡情報を専用内蔵システム３０４から受信することができ、情報を利用して、具体的ビューをレンダリングすることができ、これは、次いで、ディスプレイストリームプロセッサによって、制御情報を角度ピクセルアレイ３０８のバックプレーンに提供するために利用されることができ、これは、明視野ビューを生成するために利用される。

【0049】

具体的ハードウェア構成が、図３に関して上記に説明されるが、種々の専用および／またはソフトウェア構成処理ハードウェアのいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、眼追跡情報を取得し、眼追跡情報に基づいて、明視野ディスプレイを制御するために使用されるビューをレンダリングするために利用されることができる。さらに、具体的ハードウェアコンポーネントおよび／またはハードウェアコンポーネントの場所は、典型的には、明視野ディスプレイのためのユースケース（例えば、パーソナルコンピュータ、ゲーム用コンピュータ、テレビディスプレイ、広告板等）および明視野ディスプレイをレンダリングするために利用される技法に応じて変動するであろう。

【0050】

いくつかの実施形態では、各角度ピクセルは、レンズアレイ内の各レンズ要素の下方に位置付けられる、エミッタのアレイによって形成される。レンズ要素と、エミッタのアレイとによって形成される、角度ピクセルを含む、明視野ディスプレイ４００が、図４に図示される。上記に述べられたように、従来のマルチビュー自動立体視ディスプレイは、典型的には、レンズ要素あたり比較的に少数のエミッタ（すなわち、最大で数十個のエミッタ）を有する。本発明のいくつかの実施形態による、明視野ディスプレイは、数百または数千個のエミッタを含むことができる。例えば、各エミッタアレイは、図４に示されるように、百個またはそれを上回るエミッタを含んでもよく、各エミッタは、ビューＡおよびＢのうちの１つ等の多重ビューのうちの少なくとも１つに寄与する。

【0051】

別の実施形態では、図５の明視野ディスプレイ５００は、背面投影アーキテクチャを利用して、多数の明視野ビューを提供する。明視野ディスプレイ５００は、図４の明視野ディスプレイ４００に類似する様式において、複数のエミッタアレイと、レンズアレイとを含む。しかしながら、図４におけるように、２つの明確に異なる立体視ビューＡおよびＢを提供するのではなく、エミッタアレイおよびレンズアレイは、投影画面を越えた異なる場所において視認者によって視認可能ビューの扇によって表されるように、協働して、多重ビューを投影画面上の各点に提供するように構成される。したがって、異なる場所に位置する視認者には、明視野ディスプレイ５００から異なるビューが見える。

【0052】

続く議論の多くは、図４に示されるように、レンズ要素と、エミッタのアレイとを使用して実装される、明視野ディスプレイを指すが、本発明の種々の実施形態による、明視野ディスプレイはまた、図５に示される明視野ディスプレイ５００に類似する様式において、プロジェクタを使用して実装されることもできる。加えて、明視野ディスプレイは、プロジェクタのアレイを使用して、直接投影を介して、実装されることもできる。明視野ディスプレイの使用は、明視野ディスプレイによって生産され得る、ビューの密度に起因して、望ましいが、本発明の種々の実施形態による、システムおよび方法は、いかようにも明視野ディスプレイの使用に限定されない。故に、本発明のいくつかの実施形態による、システムおよび方法は、具体的用途の要件の必要に応じて、種々の従来のマルチビュー自動立体視ディスプレイを使用して実装される。
眼および視線追跡プロセス

【0053】

下記に議論されるように、明視野ディスプレイが異なるビューをディスプレイの視野を横断して視認ゾーン内に提示する、様式は、眼追跡システムが１人またはそれを上回る視認者の眼を追跡することが可能である、信頼度によって影響される。多くの実施形態では、明視野ディスプレイは、追跡される眼の存在または不在および／または一対の眼が位置していることの信頼度に基づいて、特定の視認ゾーン内に表示される画像の品質を円滑に劣化させるように設計される。いくつかの実施形態では、複数の眼追跡システムおよび／または眼追跡モダリティが、明視野ディスプレイが視認者の眼の場所を確実に追跡することが可能である、尤度を増加させるために利用されることができる。例えば、既知のベースラインを用いて位置付けられる、複数の眼追跡システムが、視認者の眼の３Ｄ位置が推定される、信頼性を改良するために利用されることができる。さらに、異なる視野を伴う眼追跡器および／または異なる角度に配向される複数の眼追跡器を提供することは、眼追跡が、視認者の眼のうちの１つまたはそれを上回るものが、眼追跡器のうちの１つの視野内でオクルードされるが、第２の眼追跡器の視野内にあるとき、継続することを有効にすることができる。

【0054】

本発明の種々の実施形態による、明視野ディスプレイ内で利用される眼追跡器は、種々の市販の眼追跡技術のいずれかを使用して、眼追跡情報を提供するために実装されることができ、これは、典型的には、追跡される眼毎の３Ｄ場所情報、多くのインスタンスでは、追跡される眼の検出における信頼度および／または追跡される眼に関する場所情報の正確度を反映させる、１つまたはそれを上回る信頼度メトリックを含む。下記の議論から理解され得るように、眼追跡器によって提供される３Ｄ眼追跡情報の正確度が高いほど、眼追跡情報は、明視野ディスプレイに対してより有用となる。

【0055】

いくつかの実施形態では、赤外線光を投影する、センサシステムと、赤外線チャネルを含む、場面の画像を捕捉する、カメラシステムとを使用して実装される、眼追跡器が、利用される。眼追跡のための赤外線光の使用は、眼追跡器が屋内および／または低光量環境内で良好に機能するという利点を有する。投影された赤外線光に基づく、深度推定は、典型的には、自然太陽光の存在下では、良好に機能しない。したがって、本発明のいくつかの実施形態による、眼追跡器はまた、複数のカメラを利用して、例えば、マルチビュー技法を使用して、眼を追跡することができる。いくつかの実施形態では、眼場所は、異なる視点から捕捉された複数の画像内で決定されることができ、眼場所間の視差が、１つまたはそれを上回るカメラから眼場所までの距離を決定するために利用されることができる。本構成では、カメラは、モノクロである、および／または複数のカラーチャネル内で画像データを捕捉することができる。いくつかの実施形態では、眼追跡器内で採用される、カメラシステムは、スペクトルの可視および赤外線部分内の画像データを捕捉することが可能である。複数のカメラ（特に、２つを上回るカメラ）の使用は、正確度を改良し、オクルージョンをよりロバストにハンドリングし、および／またはより広い視野を横断して眼追跡をサポートすることができる。いくつかの実施形態では、明視野カメラベースの眼追跡が、利用される。本明細書では、明視野ディスプレイにおいて使用するための眼追跡情報を取得するために利用される、具体的眼追跡センサは、主として、所与の用途の要件に依存することが認識される。眼追跡情報が、本発明の種々の実施形態による、マルチビュー自動立体視ディスプレイのためのビューを生成するために利用され得る、様式は、下記にさらに議論される。

【0056】

再び図２を参照すると、明視野ディスプレイは、ディスプレイ面積２０２の上方に位置付けられる、眼追跡システム２０４を含むことができる。本発明の種々の実施形態による、明視野ディスプレイは、ディスプレイ面積２０２の上方、下方、側面に位置する、またはその中に統合される、１つまたはそれを上回る眼追跡システムを含むことができる。いくつかの実施形態では、角度ピクセルのアレイによって形成される、ディスプレイ面積２０２と別個に格納される、明確に異なるユニットであって、独立して位置付けられ得る、１つまたはそれを上回る眼追跡システムが、提供される。代替として、ディスプレイ面積２０２内の具体的面積は、眼追跡情報を提供するために構成される、センサを含んでもよい。

【0057】

一般に、眼追跡は、雑音の多いプロセスであり得る。例えば、眼追跡雑音が、目線雑音を導入し、および／または明視野ディスプレイを使用してレンダリングするためのビューを決定する複雑性を増加させ得る。種々のフィルタリングプロセスが、眼追跡測定に適用され、所与の眼の瞬間追跡場所における誤差を減少させることができる。しかしながら、フィルタリングプロセスの適用は、（いくつかのインスタンスでは）センサデータが捕捉される瞬間とセンサデータからの信頼性のある追跡される眼場所の決定との間に時間遅延を導入し得る。加えて、フィルタリングプロセスは、眼追跡プロセスが高速眼移動に迅速に反応しないように妨害し得る。下記にさらに詳細に議論されるように、明視野ディスプレイの品質は、ビューをレンダリングするために利用される眼場所とビューが表示される時点における追跡される眼の実際の場所との間の差異によって影響され得る。したがって、フィルタリングプロセスを使用して、眼が特定の時点において追跡される、正確度を増加させる利点は、プロセスの待ち時間が、眼がもはやビューが表示のためにレンダリングされるときの追跡される場所である可能性が高くないことを意味するとき、減少する。加えて、フィルタリングプロセスによって適用される、平滑化は、実際には、高速眼移動が生じるとき、誤差源を導入し得る。特定の時点において眼追跡プロセスによって生成された眼の追跡される場所とその時点における眼の実際の場所との間の差異は、多くの場合、追跡される位置と実際の位置との間の遅れと称される。眼追跡が実施される、レートを増加させることは、有意な時間遅れを導入せずに、追跡される眼場所内の雑音（すなわち、誤差）を低減させるための効果的方法であり得る。

【0058】

いくつかの実施形態では、全部または一部をともに、または階層追跡を使用して、頭部、顔、顔特徴、眼、虹彩、および瞳孔を追跡することは、眼追跡システム内の待ち時間を有意に増加させずに、高サンプリングレートにおいて、眼を追跡する算出効率性を増加させることができる。いくつかの実施形態では、少なくとも１人の視認者の存在を検出および追跡することを伴う、階層眼追跡プロセスが、利用される。多くのインスタンスでは、視認者追跡は、異なる視認者を区別する、様式において実施される。追跡される視認者毎に、階層眼追跡プロセスはまた、各視認者の頭部および／または顔特徴を検出および追跡することができる。図６Ａに示されるようなある実施形態では、頭部追跡プロセスは、各視認者の頭部の場所および／または配向を決定することが可能である。いったん視認者の頭部が、位置特定されると、本発明の多くの実施形態による、階層眼追跡プロセスは、視認者の瞳孔間距離（ＩＰＤ）を決定することができる。本ＩＰＤは、連続フレーム／観察にわたって精緻化されてもよい。階層眼追跡プロセスはまた、顔、顔特徴、眼対、眼、虹彩、および／または瞳孔場所ならびに配向の組み合わせを検出および追跡することができる。いくつかの実施形態では、ＩＰＤは、視認者の眼のための検索を制約し、眼追跡プロセスの算出効率性を増加させるために利用されることができる。加えて、（限定ではないが）統計的フィルタリングプロセスを含む、フィルタリングおよび／または予測プロセスもまた、特定の眼に関する追跡がある時間周期にわたって喪失された場合、（潜在的に、別の追跡される眼の場所および／またはＩＰＤに基づいて）追跡される瞳孔場所の場所を予測するために利用されることができる。

【0059】

容易に理解され得るように、（限定ではないが）図６Ｂに概念的に図示されるプロセスに類似する、階層視線追跡プロセスを含む、種々の共同、部分的に共同、および／または階層追跡プロセスのいずれかが、具体的用途の要件の必要に応じて、眼を追跡するために利用されることができる。例えば、図６Ａに図示されるプロセス階層眼追跡のように、図６Ｂの階層視線追跡プロセスは、視線方向を決定するために、身体場所、次いで、頭部場所、顔配向、眼配向、次いで、瞳孔配向の識別から開始する。さらに、利用される、具体的眼および／または視線追跡プロセスは、主として、眼追跡を実施するために利用可能なセンサ、処理電力、および／または具体的用途の正確度要件に依存する。本発明の種々の実施形態による、明視野ディスプレイが、眼追跡および／または視線追跡情報を利用して、異なる視認ゾーン内への表示のためにビューをレンダリングし得る、様式は、下記にさらに議論される。
眼位置依存レンダリング

【0060】

明視野レンダリングは、Ｌｅｖｏｙ， Ｍ． ａｎｄ Ｈａｎｒａｈａｎ， Ｐ．， １９９６，Ａｕｇｕｓｔ， “Ｌｉｇｈｔ ｆｉｅｌｄ ｒｅｎｄｅｒｉｎｇ， ”Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ（ｐｐ．３１－４２）， ＡＣＭに説明される。本刊行物は、参照することによってその全体として本明細書に組み込まれる。明視野レンダリングでは、場面は、非関与媒体を仮定して、位置および角度にわたる４次元関数として表され得る。明視野は、カメラ平面（ｕ，ｖ）と焦点面（ｓ，ｔ）との間のあらゆる可能性として考えられる光線として、パラメータ化されることができる。そのような光線毎に、明視野は、色を記憶する。実践では、明視野のサブセットは、多くの場合、２次元画像のアレイとして表される。（ｓ，ｔ）平面は、明視野を構成する画像の分解能によって量子化されることができ、（ｕ，ｖ）平面は、カメラ位置によって量子化されることができる。恣意的眼位置を前提として、明視野の新規ビューは、出力画像のピクセル毎に光線Ｌ（ｕ， ｖ，ｓ，ｔ）をサンプリングすることによって、合成され得る。光線Ｌ（ｕ，ｖ，ｓ，ｔ）が、利用不可能である場合、明視野内に記憶される、近隣の光線Ｌ（ｕ’，ｖ’，ｓ’，ｔ’）値から補間されてもよい。場面を表すために要求される光線の数は、２乗ではなく、４乗で増大するため、明視野レンダリングは、歴史的には、算出上多くを要求するものと見なされている。

【0061】

本発明の多くの実施形態による、明視野ディスプレイは、明視野レンダリングを利用して、特定の視認ゾーン内における表示のために、ビューをレンダリングすることができる。本レンダリングは、ソフトウェア内で、および／またはハードウェア内で生じてもよい。多くの実施形態では、レンダリングプロセスは、ディスプレイに対するいくつかの視認者眼場所（ｘ，ｙ，ｚ）を規定する、眼追跡情報へのアクセスを有する。いくつかの実施形態では、眼追跡情報はまた、特定の追跡される眼場所と関連付けられる、不確実性のレベルを示す、信頼度情報を含む。いくつかの実施形態では、より多くの処理リソースを明視野Ｌ（ｕ，ｖ，ｓ，ｔ）から光線をサンプリングおよび／または補間することに費やし、視認者の網膜によって観察される可能性が高い視認ゾーン内への表示のために、ビューを生成する一方、観察者に可視である可能性が低い光線が、より少ない処理リソースを伴い得る、レンダリングプロセスが、利用されることができる。

【0062】

ある実施形態では、特定のビューのレンダリングに専用の算出リソースは、光線が角度および／または空間内でサンプリングされる密度を制御することによって、変調されることができる。加えて、算出リソースは、特定のビューがレンダリングされる、分解能を制御することによって、修正されることができる。ラスタ化実施形態では、（ｕ，ｖ）および／または（ｓ，ｔ）平面のサンプリング、すなわち、個々のビューの空間分解能または隣接するビュー間の角度間隔は、より多くのリソースを観察される可能性が高い光線に、より少ないリソースを視認者間に当たる可能性が高い光線に配分するように修正されてもよい。光線トレース実施形態では、サンプリングされる光線の密度は、追跡される眼位置の周囲の面積と交差する、光線を優先するように調節されてもよい。固定された数の光線をトレースするために要求される、算出リソースを前提として、眼位置が、より高い信頼度を有するとき、空間のより小さい球体を通して通過する、より多くの光線が、トレースされ得る。眼位置が、より低い精度のみを伴って既知である場合、可能性が高い眼位置の周囲の球体は、拡張し、同一数の光線は、より大きい空間を横断して分散され得る。故に、本発明の多くの実施形態による、明視野ディスプレイは、追跡される視点のセットおよび追跡情報の信頼度に基づいて、フレームあたり所与の量の総レンダリング容量を配分することができる。

【0063】

下記にさらに議論されるように、本発明の多くの実施形態による、明視野ディスプレイは、追跡される眼および／または視線場所を利用して、算出複雑性を低減させ、および／またはレンダリングアーチファクトを低減させることができる。いくつかの実施形態では、レンダリングプロセスの目標は、視認者が、正しい運動視差、遠近感、立体視差（すなわち、両眼離反運動）、および遠近調節を知覚するように、眼追跡情報を利用して、ビューをレンダリングすることである。加えて、レンダリングプロセスは、重複ビュー間の残影を限定および／または排除し、視認者の眼場所の変化の不在下、経時的に変化するビューを回避する、安定視認体験を提供すべきである。本発明の種々の実施形態による、レンダリングプロセスが、下記に議論される。
眼位置依存レンダリング

【0064】

完璧な明視野ディスプレイでは、各角度ピクセルは、無限数の光エミッタを含むであろう。本発明の多くの実施形態による、明視野ディスプレイは、従来のマルチビュー自動立体視ディスプレイより１桁多いエミッタを含むことができるが、エミッタのピッチは、依然として、非ゼロであって、したがって、視認ゾーンは、ディスプレイの視野を横断して量子化され、平滑に持続的ではない。したがって、各エミッタは、図７に概念的に図示されるようなディスプレイによって生成された光円錐に対応する。エミッタ７０２によって生産された光円錐７００は、図７におけるディスプレイ平面の上方に示されるデバイス空間内の特定の視認ゾーン内で視認される画像に寄与する、単一ピクセル（例えば、光エミッタのアレイを含む）からの指向性光円錐に対応する。従来のマルチビュー自動立体視ディスプレイによって直面される課題は、角度ピクセルが場面を表す、空間分解能が、深度依存であることである。換言すると、空間分解能は、ディスプレイ平面からより遠い場所と比較して、ディスプレイ平面により近い場所においてより高い。図７から理解され得るように、エミッタ７０２によって生産された光円錐７００は、ディスプレイ平面からより遠い深度面７０６における領域よりディスプレイ平面により近い深度面７０４における狭い領域に対応する。２次元アレイ等における複数のエミッタ７０２が、そこから投影される明視野画像に寄与するように、ディスプレイ平面内に配置されると仮定されることに留意されたい。換言すると、最小可視詳細のサイズは、コンテンツ空間内のディスプレイ平面により近い深度面７０４に位置するオブジェクトのより細かい詳細が、ディスプレイ平面からより遠い深度面７０６に位置するオブジェクトより可視であろうように、ディスプレイ平面からの距離に関連する。したがって、ディスプレイの深度予算内に位置する前景（すなわち、近深度面７０４）内のオブジェクトは、背景（すなわち、深度面７０６）におけるオブジェクトより細かい詳細を伴ってレンダリングされることができる。結果として、マルチビュー自動立体視ディスプレイのための画像の生成は、典型的には、ディスプレイ平面からの距離の増加に伴って減少する、空間周波数を伴う、場面のサンプリングを伴う。

【0065】

高度にテクスチャ化された場面（例えば、背景が大量の微細な詳細を含む、場面）の空間サンプリング周波数を減少させることは、視認体験に有害であり得る、エイリアシングをもたらし得る。自動立体視ディスプレイのコンテキストにおいて、エイリアシングは、典型的には、視認者が隣接する視認ゾーン間で移動するにつれた場面の背景内の断続性またはジャンプとして知覚される。これらの断続性の影響は、視認者が、その眼が視認ゾーン内およびその間で移動するにつれて、現実的運動視差を体験しないことになる。エイリアシングが、視認者が背景断続性を知覚する結果をもたらす、例示的様式は、図８に概念的に図示される。角度ピクセル内の異なるエミッタは、それぞれ、隣接する第１および第２の視認ゾーン８０４および８０６内の画像内の同一ピクセル場所に対応する、それぞれ、第１および第２の光円錐８００および８０２を生産する。隣接する視認ゾーン内に生産される、画像が、エイリアシングを含有するとき、視認者は、結像された場面が２つのビューゾーン間で定常のままである場合でも、その眼が第１の視認ゾーン８０４から第２の視認ゾーン８０６に移動するにつれて、視認される場面内に断続性を体験するであろう。

【0066】

エイリアシングは、エイリアシングを導入する可能性が高い場面の高周波数成分を除去する、事前フィルタリングを通して、幾分対処され得る。事前フィルタリングプロセスの適用は、マルチビュー自動立体視ディスプレイによって表示される画像が、視認者が隣接する視認ゾーン間で移動するにつれて一貫する、ぼかされた背景を有する結果をもたらし得る。詳細な背景を伴う前景内のオブジェクトの画像への深度依存事前フィルタリング（多くの場合、深度依存アンチエイリアシングフィルタと称される）の適用の影響は、背景の詳細のぼけ、ならびに潜在的に、前景オブジェクトの詳細における低減をもたらす。事前フィルタリングに起因する、そのような画像忠実性の喪失は、多くの場合、望ましくない。しかしながら、本明細書に説明されるシステムおよび方法は、視認者の追跡される眼の場所に従って、隣接する視認ゾーンにおける表示される画像を調節することによって、視認者が１つの視認ゾーンから次の認ゾーンに移動することから生じる、エイリアシングの影響を低減させることができる。

【0067】

別の実施例では、本発明のいくつかの実施形態による、システムおよび方法は、眼追跡データを利用して、視認者が視認ゾーン内および視認ゾーン間で移動するにつれて、視認者によって知覚される画像を修正することによって、運動視差正確度を増加させることができる。プロセスは、図９に概念的に図示される。視認者の眼が、図９に示される左の光の円錐内の視認ゾーンを横断して移動するにつれて、眼の場所が、場面が運動中の視認者の眼の新しい視点から再サンプリングされるように、明視野ディスプレイと統合された眼追跡機構によって追跡される。明視野ディスプレイは、次いで、明視野ディスプレイ内のエミッタアレイからの指向性光の強度を修正し、再サンプリングされた画像を各眼場所に表示することができる。視認者が移動するにつれて、場面を再サンプリングすることによって、場面は、ディスプレイの視認ゾーンの角分解能より高い空間周波数において、効果的にサンプリングされる。このように、エイリアシングを軽減させることに関して上記のプロセスと同様に、視認ゾーン間の急激な遷移の代わりに、視認者の眼の場所に基づく、場面のほぼ持続的再サンプリングは、隣接する視認ゾーン間の平滑遷移をもたらし得る。場面を再サンプリングし、ディスプレイを更新することは、故に、明視野ディスプレイが、深度依存アンチエイリアシングフィルタの適用を伴わなくても、そうでなければエイリアシングに起因して生じるであろう、背景断続性の範囲を低減させる、または全体的に排除することを有効にする。

【0068】

視認者が、視認ゾーン内を、さらに、隣接する視認ゾーンを横断して、移動するにつれて、場面を再サンプリングし、レンダリングされるビューを更新することに加え、エイリアシングアーチファクトはさらに、場面内の種々のオブジェクトがレンダリングされる、深度を管理することによって、低減されることができる。いくつかの実施形態では、場面の深度情報は、明視野ディスプレイによるレンダリングの間、場面のコンテンツの大部分が明視野ディスプレイの平面に位置するように修正される。いくつかの実施形態では、場面内のオブジェクトは、レンダリングの間、それらが、ディスプレイの中心から視認者の方向に延在する軸に沿って、ともにより近接して位置付けられるように平坦化される。このように、場面は、レンダリングの間、視認者毎に、視認者場所に応じて、異なる様式において平坦化される。平坦化の効果は、レンダリングされたビューの鮮明度を増加させ、エイリアシングを減少させることである。平坦が、視点依存であるとき、平坦化プロセスは、視認者が移動するにつれて、オブジェクト設置場所間の一貫性を保存し、予期される運動視差を模倣することができる。場面内のオブジェクトに割り当てられる深度情報が、レンダリングプロセスの間に修正される、範囲は、主として、具体的用途の要件に依存する。

【0069】

眼追跡場所情報における不確実性は、視認者の眼の一方または両方の実際の視点と異なる目線から、視認ゾーン内への表示のためにビューをレンダリングする結果をもたらし得る。視認者が、移動するにつれて、視認者は、運動視差を観察することを予期する。観察される運動視差の量は、典型的には、移動の量に依存する。初期ビューが、眼追跡場所における誤差に基づいてレンダリングされ、後続ビューが、追跡誤差を補正する様式においてレンダリングされる場合、初期ビューから補正されたビューまでの運動視差の範囲は、視認者がその身体移動の範囲に基づいて予期するものを上回って現れ得る。

【0070】

現実的運動視差を保存するために、本発明のいくつかの実施形態による、明視野ディスプレイは、絶対眼追跡場所とは対照的に、追跡される眼場所間の相対的運動に基づいて、ビューのシーケンスをレンダリングする。このように、ビューは、視認者の移動の範囲に対応する運動視差をもたらす様式において、レンダリングされることができる。例えば、視認者が、追跡される眼場所から眼を逸らす、その眼を急速に移動させる、および／または瞬目するとき、明視野ディスプレイは、追跡される眼場所を更新し、蓄積された追跡誤差を排除することができる。いくつかの実施形態では、明視野ディスプレイは、絶対的追跡される眼場所および眼移動の範囲の両方に依存して、眼追跡における経時的に前の誤差を補正する様式において、そこからビューをレンダリングすべき目線を決定することができる。多くの実施形態では、正しい目線は、コンテンツ自体がフレームのシーケンスにわたって急速に変化させるとき、復元される。実際の追跡される眼場所からビューをレンダリングするように適応し、および／またはユーザが移動するにつれて被られる運動視差の正確度を保存する、種々のプロセスのいずれかが、本発明の種々の実施形態に従って、具体的用途の要件の必要に応じて、利用されることができる。

【0071】

さらに、視認者によって観察される深度キューは、視認者の眼毎にレンダリングされたビュー間の立体視差の範囲を含む。ビュー間レンダリングされたの立体視差の範囲は、典型的には、視認者の眼または瞳孔間距離（ＩＰＤ）間のベースライン距離に依存する。本発明のいくつかの実施形態では、視認者の眼の追跡は、視認者毎に、ほぼ一定ＩＰＤの要件を課す様式において実施される。このように、追跡不確実性は、視認者の眼が運動中であっても、視認者の眼のそれぞれによって占有される視認ゾーン内への表示のためにレンダリングされたビュー間の立体視差深度キューの一貫性を施行する様式において、制約されることができる。

【0072】

加えて、ビューのシーケンスは、視認者の眼の追跡される場所に基づいて、レンダリングされることができる。多くの実施形態では、ビューの時系列がレンダリングされる、様式は、視認者の移動に基づいて、視認者によって観察されることが予期される、運動視差範囲を考慮することができる。

【0073】

いくつかのインスタンスでは、視認者の瞳孔は、複数の潜在的に重複する視認ゾーンに及び得る。その場合、本発明の多くの実施形態による、明視野ディスプレイは、視認者の眼に可視の複数の視認ゾーン内への表示のために、複数の眼／瞳孔位置依存ビューをレンダリングすることができる。ビューが、一貫しない様式において、視認者の眼に可視の異なる視認ゾーン内にレンダリングされるとき、視認者は、残影を知覚し得る。具体的眼に可視の多重ビューが、ビューの全てを一貫した様式において移動させる、方法でレンダリングされるとき、ビューは、遠近調節深度キューを提供することができる。故に、本発明の多くの実施形態による、明視野ディスプレイは、同一ビューが、眼に可視の重複視認ゾーン内に表示される、または遠近調節キューを含有する、異なるビュー（例えば、ビューの角距離が視認ゾーン間の角距離と同一であるようにレンダリングされる）が、重複視認ゾーン内に表示される、１つまたはそれを上回るモードをサポートする。視認ゾーンの一部のみが、視認者の瞳孔と交差するとき、その視認ゾーンと近傍の視認ゾーンとの間の角距離は、瞳孔に可視の視認ゾーンのセグメントの中心から決定されることができる。上記に説明されるシナリオと同様に、レンダリングはまた、追跡される眼の瞳孔間距離および相対的場所を考慮し、明視野ディスプレイによってレンダリングされるビュー内に存在する、運動視差深度キューと立体深度キューとの間の一貫性を保存することができる。

【0074】

本発明のある実施形態による、明視野ディスプレイによって、視認者の眼の追跡される場所に基づいて、視認者の眼によって占有される視認ゾーン内に表示されるビューを修正するために利用され得る、プロセスが、図１０に示される。視認者の眼の追跡される場所に従って、明視野ディスプレイの処理システムは、視点依存様式において、表示のための場面のビューをレンダリングすることができる。図１０に図示されるプロセス１０００は、単一視認者に関する眼追跡に焦点を当てるが、プロセス１０００は、複数の視認者の眼を別個に追跡する付加的能力が利用可能であることを前提として、複数の視認者に拡張されることができる。プロセス１０００は、ステップ１００１において、視認者の眼の場所を追跡することを試みるステップを含む。視認者の眼が高信頼度を伴って位置特定されていると、決定１００２が、行われると、プロセス１０００は、決定１００３に進み、視認者の眼の両方が同一視認ゾーン内にあるかどうかを決定する。

【0075】

決定１００３が、視認者の眼の両方が同一視認ゾーン内にあることを決定する場合、プロセスは、ステップ１００４において、両眼のための単一の共同眼位置依存ビューをレンダリングすることができる。いくつかの実施形態では、共同眼位置依存ビューは、２つの追跡される眼場所間の中間点（潜在的に、視認者特有瞳孔間距離によって制約される）に基づいて、レンダリングされることができる。

【0076】

決定１００３が、視認者の各眼が異なる視認ゾーン内に位置することを決定する場合、一意の眼／瞳孔位置依存ビューが、場面を視認者の眼のそれぞれの視点からサンプリング１００６することによって、眼毎にレンダリングされることができる。いくつかの実施形態では、場面のサンプリング１００６は、レンダリングされたビュー間の角距離を視認者依存瞳孔間距離に対応するように制限するように制約され、キュー視認者によって知覚される立体視差深度と、（限定ではないが）運動視差深度キューを含む、他の深度キューの一貫性を増加させる。

【0077】

視認者の眼が、同一視認ゾーン内に位置するかどうかにかかわらず、ステップ１００４または１００６においてレンダリングされたビューは、次いで、視点依存画像を視認者の眼のそれぞれによって占有される適切な視認ゾーン内に表示する、明視野ディスプレイ内のエミッタのアクティブ化を制御１００７するために使用されることができる。このように、視認者に表示されるビューは、視認者の眼によって占有される具体的視認ゾーンだけではなく、それらの視認ゾーン内の視認者の眼の追跡される場所にも依存する。

【0078】

決定１００２に戻り、視認者の眼のいずれも、高信頼度を伴って位置特定されない場合、場面のサンプリング１０１２は、従来のマルチビュー自動立体視ディスプレイのためのレンダリングに制限される。換言すると、眼が検出され得ない、および／または追跡される眼場所内の雑音または不確実性が高いことの決定１００２は、明視野ディスプレイが、特定の視認ゾーン内のビューが視認ゾーン内の視認者の眼の場所に基づいて変化しない様式において、異なるビューが明視野ディスプレイの視野を横断して各視認ゾーン内に表示される、従来のマルチビュー自動立体視ディスプレイのための場面をサンプリングする結果をもたらし得る。眼追跡が、不確実であるとき、ビューを視点依存様式においてレンダリングするように試みることは、単に、従来のマルチビュー自動立体視ディスプレイの様式においてビューをレンダリングすることより、明視野ディスプレイの知覚される体験を悪化させ得る。いくつかの実施形態では、明視野ディスプレイは、同一ビューが、追跡される眼を含有しない、各視認ゾーン内にも表示される、従来の２Ｄディスプレイに類似する様式において機能するように、エミッタを制御することによって、視認ゾーン内の追跡される眼の不在または信頼性のある眼追跡の喪失に応答することができる。次いで、明視野ディスプレイ内のエミッタは、ステップ１０１２からレンダリングされたビューを対応する視認ゾーン内に表示するように制御１０１４される。いくつかの実施形態では、明視野ディスプレイは、より粗い空間分解能および／または立体視を伴ってレンダリングされた自動立体視ビューを、追跡される眼を含有しない、視認ゾーン内に表示する。複数の視認者の眼が追跡される、不確実性、および／または非理想的明視野ディスプレイ内の潜在的に重複する視認ゾーンによって導入される、不確実性に依存する様式において、ビューをレンダリングし得る、本発明の種々の実施形態による、プロセスが、下記にさらに議論される。

【0079】

視認者の眼を追跡１００１し、場面をレンダリング１００４または１００６または１０１２し、ディスプレイを制御１００７または１０１４するプロセスは、プロセスが完了したことの決定１００８が行われる（例えば、ディスプレイをアクティブ化解除するユーザ命令、またはある時間周期にわたって、ユーザ命令が受信されないことが検出される）まで、繰り返されることができる。

【0080】

上記の議論は、主に、単一視認者の追跡される眼によって占有される視認ゾーン内への自動立体視ビューの表示に焦点を当てるが、複数の視認者の眼を追跡し、視認者の追跡される各眼によって占有される視認ゾーンに特有のビューをレンダリングする能力は、本発明の多くの実施形態による、明視野ディスプレイが、異なる場面を異なる視認者に表示することを有効にする。例えば、複数の視認者が、マルチプレーヤビデオゲームをプレーし得、明視野ディスプレイの各視認者は、異なる場面を知覚するであろう。明視野ディスプレイが、異なる視認者のための異なる場面をレンダリングおよび表示することが有益であり得る、状況は、ゲーム用に限定されず、明確に異なるコンテンツを個々の視認者に提示するためのディスプレイに関する決定は、本発明の種々の実施形態による、具体的用途の要件のみによって限定される。代替として、本発明のいくつかの実施形態による、明視野ディスプレイは、各視認者に好ましい視点が見える、モードをサポートすることができる。同一視点を全ての視認者に表示する能力は、（限定ではないが）訓練用の提示、および／またはそれに関して不十分な深度情報が完全明視野ディスプレイのために利用可能である、旧来の立体コンテンツの表示を含む、用途のために有用なであり得る。

【0081】

眼追跡器が、視認者の眼を追跡することが不可能である（例えば、視認者が、検出されない、および／または眼追跡器が、視認者の眼の一方または両方の追跡を喪失する）とき、本発明の多くの実施形態による、明視野ディスプレイは、具体的用途の要件の必要に応じて、いくつかの異なるモードに戻ることができる。
視認ゾーン間の光学クロストークの低減

【0082】

製造公差に起因して、角度ピクセルを実装するために使用される、マイクロレンズ等の明視野ディスプレイ内で利用される光学コンポーネントは、エミッタからの光を光放出の主要な意図される方向以外の光線方向に漏出させ得る、収差を含み得る。複数の光線方向へのエミッタからの光の漏出は、重複される光円錐を隣接する視認ゾーン間にもたらす、光学クロストークの形態であると見なされる。いくつかの実施形態では、エミッタは、明視野ディスプレイから所望の性能を達成するために、ともに制御される。いくつかの実施形態では、エミッタは、標的明視野を達成するために、ともに制御される。いくつかの実施形態では、エミッタは、眼追跡情報を含む、情報に基づいて、特定のビューを具体的視認ゾーン内に表示するために、ともに制御される。ある実施形態では、エミッタは、最小および／または最大許容エミッタ強度に関連する制約に従って、ともに制御される。本発明の種々の実施形態による、明視野ディスプレイ内に実装され、光学クロストークを低減させ得る、種々の共同制御プロセスが、下記に議論される。

【0083】

多くの実施形態では、角度ピクセルのエミッタは、１つまたはそれを上回る具体的光線方向における角度ピクセルの強度が、可能な限り、標的強度に近づくように制御される。いくつかの実施形態では、放出される強度と標的強度の合致は、１つまたはそれを上回る具体的光線方向におけるエミッタの放出される強度の線形組み合わせが、可能な限り、その標的強度に近づくように、ともに制御されるエミッタのそれぞれの強度を制御することによって達成される。下記に議論されるように、１つまたはそれを上回る具体的光線方向は、視認者の眼に可視である、特定の視認ゾーン内の表示に寄与する、光線方向を識別するために、眼追跡情報を使用して決定されることができる。

【0084】

いくつかの実施形態では、較正プロセスが、具体的光線方向への個々のエミッタの寄与を決定するために実施されることができる。下記にさらに議論されるように、較正はまた、１つまたはそれを上回る特定の視認ゾーン内に表示されるビューの具体的領域への個々のエミッタの寄与に対処し得る。較正データは、角度ピクセルのための混合行列を定義するために使用されることができる。いくつかの実施形態では、混合行列は、エミッタ強度を各光線方向にマッピングする。多くの実施形態では、混合行列を展開するために使用される較正プロセスは、各明視野ディスプレイに対して実施されない。代わりに、代表的明視野ディスプレイが、その角度ピクセルのための混合行列を展開するために特性評価されることができる。これらの混合行列は、次いで、直接、他の明視野ディスプレイによって、または較正情報を利用する特定の明視野ディスプレイに特有の第２の較正プロセスによって決定される修正とともに、利用されることができる。いくつかの実施形態では、較正データは、温度依存であり得、温度センサおよび／または他の環境センサが、適切な較正データの選択を有効にするために、ディスプレイを横断して提供される。

【0085】

混合行列が、角度ピクセルのために定義されると、具体的光線方向のセットにおける標的強度を達成し得る、エミッタの強度が、混合行列を反転させることによって決定されることができる。反転された混合行列を具体的光線方向における標的強度のセットによって乗算することは、実世界において物理的に達成不可能である、エミッタ強度のセットをもたらし得る。例えば、具体的光線方向における標的強度のセットを反転された混合行列によって乗算することは、負の強度および／またはエミッタによって実際に生成され得る強度より大きい強度をもたらし得る。いくつかの実施形態では、制約が、許容される標的強度に課され、制御プロセスが物理的に達成可能なエミッタ強度を生成する尤度を増加させ、および／またはそれを保証する。ある実施形態では、標的強度は、ゼロを上回る最小値と最大達成可能エミッタ強度未満である最大値との間に制約される。最小標的強度は、ディスプレイの黒色レベルを決定することを可能にされる。さらに、最大標的強度は、明視野ディスプレイのダイナミックレンジを決定することを可能にされる。

【0086】

多くの実施形態では、角度ピクセルのエミッタ強度は、光線方向ω∈Ωにおけるその角度ピクセルの標的強度Ｌ_Ｔ(ω）と、角度ピクセルのための混合行列Ａによって乗算される、光線方向ωにおける特定のエミッタ場所ｘでのエミッタ強度Ｌ_Ａ（ｘ，ω）の積との間の光線方向のセットΩに関する差異を最小限にすることを求める、最適化プロセスを使用して決定されることができる。最適化関数は、以下のように公式化されることができる。

【化1】

式中、

【化2】

であって、Ａ_ｘ，ωは、混合行列Ａの要素である。

【0087】

特定の光線方向における標的強度とその光線方向におけるエミッタ強度の線形組み合わせとの間の距離は、（限定ではないが）Ｌ_１ノルムおよび／またはＬ_２ノルムを含む、種々の距離メトリックのいずれかを使用して決定されることができる。ある実施形態では、エミッタ強度は、知覚される画質を示す出力を生成するように訓練される、ニューラルネットワークに基づいて、エミッタ強度を最適化するプロセスを使用して、決定されることができる。種々の目的関数のいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、角度ピクセルのエミッタ強度の最適化において利用されることができる。

【0088】

いくつかの実施形態では、最適化は、具体的光線方向における放出される強度と所望の標的強度との間の差異を最小限にするように試みるが、具体的最小および最大許容標的強度に従う、制約された最適化である。このように、画質は、ディスプレイの黒色レベルおよび／またはダイナミックレンジに対してトレードオフされ得る。ディスプレイの画質と黒色レベルおよび／またはダイナミックレンジとの間のトレードオフは、（限定ではないが）表示されるコンテンツ、視認者の数、および／または周囲照明条件を含む、要因に応答して、動的に決定されることができる。さらに、種々の他の代替および／または付加的制約のいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、明視野ディスプレイ内の角度ピクセルのエミッタの強度を制御する、様式を決定するために利用されることができる。

【0089】

上記の議論の多くは、光線方向のセットにおける所望の標的強度に基づいて、単一角度ピクセル内のエミッタを制御することに関するが、本発明の多くの実施形態による、明視野ディスプレイは、光線方向のセットにおける所望の標的強度に基づいて、複数の角度ピクセル内のエミッタをともに制御することができる。（単一角度ピクセルのエミッタとは対照的に）複数の角度ピクセルのエミッタを横断して総和される、特定の光線方向ωにおける寄与の和が決定される、制御プロセスが、実施されることができる。典型的には、いくつかの角度ピクセルは、特定の視認ゾーン内のピクセルの知覚される強度に寄与するであろう。特定の視認ゾーン内のピクセルの知覚される強度に寄与する、角度ピクセルの数は、典型的には、明視野ディスプレイからの視認者の距離に依存する。例えば、視認者が、明視野ディスプレイから遠いとき、視認者の眼によって占有される視認ゾーン内のピクセルの知覚される強度に寄与する、エミッタを含む、角度ピクセルの数は、視認者が明視野ディスプレイにより近いときを上回る。

【0090】

いくつかの実施形態では、眼追跡情報が、追跡される眼が位置する（または位置する可能性が高い）、視認ゾーンを決定するために利用される。本情報は、次いで、追跡される眼が位置する、またはその可能性が高い、視認ゾーン内に表示されるビューに寄与する、明視野ディスプレイ内の種々の角度ピクセルのための光線方向のセットを決定するために利用されることができる。上記に述べられたように、明視野ディスプレイからの視認者の距離は、明視野ディスプレイに、複数の角度ピクセルを特定の光線方向に放出される強度に寄与するように取り扱わせ、明視野ディスプレイ内のエミッタをともに制御する算出複雑性を低減させることができる。加えて、種々の角度ピクセルのための光線方向のセットにおける光線方向毎の標的強度が、定義されることができる。光線方向のセットのための標的強度は、次いで、上記に概略されたプロセスのいずれかに類似するプロセスを使用して、１つまたはそれを上回る角度ピクセル内のエミッタをともに制御し、標的強度に対する所定の目的を達成する、放出される強度を提供するために利用されることができる。

【0091】

１つまたはそれを上回る視認ゾーン内への１つまたはそれを上回るビューの表示に対する具体的目標を達成するために、単一角度ピクセルおよび／または角度ピクセルのセット内のエミッタをともに制御するための種々のプロセスが、上記に説明されるが、種々のプロセスのいずれかは、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、１つまたはそれを上回る角度ピクセル内のエミッタの強度をともに制御する、様式を決定するために利用されることができる。
眼追跡を使用した残影の低減

【0092】

明視野結像では、明視野画像が、視認ゾーン内にビューを形成するように組み合わせられる、光線方向のセットに光を放出する、種々の角度ピクセルによって、具体的視認ゾーン内に形成される。しかしながら、角度ピクセルは、光を単一光線において放出しない。むしろ、角度ピクセルは、光円錐を具体的光線方向に放出する。近傍の光線方向の光円錐が、重複しない場合、各角度ピクセルが、ディスプレイが理想的に作成すべき明視野に最近似するために、放出するべき光量を算出することは、容易であろう。しかしながら、実践では、近傍の光線方向の光円錐は、明視野ディスプレイからの距離の増加に伴って重複する。上記に述べられたように、一部の光は、散乱およびディスプレイの光学コンポーネント内の不完全性に起因して、他の非明白である方向に漏出し得る。

【0093】

多くの場合、残影または漏出と称される、光学クロストークの形態は、視認者が重複視認ゾーン内に表示される多重ビューを知覚するときに生じ得る。用語「残影」は、典型的には、視認者の眼が、異なるビューが表示される、重複視認ゾーン内に位置し、したがって、視認者が、画像の重複、すなわち、「残影」を知覚する、現象を指すために利用される。用語「残影」は、殆どの場合、左および右画像が、視認者に提示され、視認者の眼のうちの少なくとも１つが、左および右画像の両方を知覚する（分離して、左眼に左画像が見え、右眼に右画像が見える代わりに）、現象を指すために、立体視ディスプレイのコンテキストにおいて使用される。マルチビュー自動立体視ディスプレイのコンテキストでは、残影は、眼に隣接する視認ゾーンからの複数の画像が見える結果として、露見し得る。いくつかの実施形態では、眼追跡情報が、マルチビュー自動立体視ディスプレイの視認者が残影を体験する、範囲を低減させるために利用される。

【0094】

残影の現象は、図１１に概念的に図示される。図示される実施例では、角度ピクセル１１００内のエミッタが、隣接する視認ゾーン内に表示されるビュー寄与する、光円錐１１００、１１０２を生産する。図示される実施例では、角度ピクセルの光学システムは、完璧であると仮定され、２つの光円錐１１０１および１１０２は、重複しない。多くの実施形態では、光円錐１１０１および１１０２は、重複する可能性が高い。視認者の眼が、第１の視認ゾーン１１０４から第２の視認ゾーン１１０６に移動するにつれて、視認者の眼は、残影ゾーン１１０８を占有し、その中では、眼は、同時に、２つの隣接する視認ゾーン１１０４、１１０６内に表示されるビューを知覚する。残影から生じる、不快感および／または知覚される画像劣化の範囲は、典型的には、隣接する視認ゾーン内に表示されるビュー間の類似性に依存するであろう。いくつかの実施形態では、残影に関する情報は、具体的光線方向における標的強度を決定するために利用されることができ、本情報は、次いで、上記に説明されるものに類似するプロセスにおいて利用され、明視野ディスプレイの種々の角度ピクセル内のエミッタをともに制御し、残影を低減させることができる。

【0095】

本発明のある実施形態による、明視野ディスプレイによって、眼追跡情報に基づいて、視認ゾーン内に表示される画像をレンダリングし、残影を低減させ得る、プロセスが、図１２に概念的に図示される。角度ピクセル１２００の光学システムは、完璧であるものとして示され、２つの光円錐１２０１および１２０２は、重複しない。上記に述べられたように、光円錐１２０１、１２０２は、実践的に実装可能な明視野ディスプレイでは、重複する可能性が高い。視認者の眼が、残影ゾーン１２０８内に位置するとき、眼は、同時に、２つの隣接する視認ゾーン１２０４、１２０６内に表示されるビューを知覚する。いくつかの実施形態では、明視野ディスプレイは、異なるビューを２つの隣接する視認ゾーン１２０４、１２０６内に表示することを中止し、代わりに、視認者の眼が視認ゾーン１２０４と１２０６との間で進行するにつれて、同一ビューを光円錐１２１０および１２１２内に表示することができる。上記に述べられたように、２つの隣接する視認ゾーン１２０４、１２０６内に表示されるビューは、視認者の眼の具体的場所に基づいてレンダリングされ、エイリアシングを低減させることができる。代替として、明視野ディスプレイは、ビューの和が所望のビューを視認者の眼の場所に作成するような方法において重畳する、異なるビューを光円錐１２１０および１２１２内にレンダリングすることができる。

【0096】

図１２は、ある実施形態による、残影低減の単純実施例を図示する。多くのインスタンスでは、複数の視認ゾーンが、重複し、明視野ディスプレイの角度ピクセルの強度が、視認者の眼によって知覚されるビューの和が所望のビューに近似して合致するように決定される。本明細書に説明される明視野ディスプレイは、（限定ではないが）重複視認ゾーンが、視点依存様式においてレンダリングされる、同一ビューを表示する、モード、および／または異なるビューが、ビューの和を所望のビューに対応する特定の視点にもたらす様式において、重複視認ゾーン内に表示される、モードを含む、ディスプレイモードをもたらすことができる。

【0097】

ここで図１３を参照すると、いくつかの実施形態では、眼追跡における不確実性は、図１３に図示される様式において、角度ピクセル１３００を使用することによって、常時、同一色および強度１３０１、１３０２を視認ゾーン１３０４、１３０６内において追跡される眼に隣接して表示するように適応されることができる。一貫した色を隣接する視認ゾーン１３０４、１３０６を横断して維持することは、隣接するエミッタが、画像を追跡される眼によって占有される視認ゾーン内に表示するために使用されるエミッタと同一色を表示するように、角度ピクセル内のエミッタを制御することによって達成されることができる。このように、眼が、隣接する視認ゾーン１３０４と１３０６との間の視認ゾーン１３０８内に位置するときでも、追跡される眼には、一貫した色が見え、したがって、エイリアシングおよび他の望ましくない効果を低減させる。図１３における概念的例証は、視認者の眼の位置に基づいて、不変量であるものとしてエミッタの色を示すが、多くの実施形態では、色は、視認者の眼が移動するにつれて変動し、上記に説明される様式において、エイリアシングを低減させる。明視野ディスプレイ（複数の角度ピクセル１３００から形成される）は、単に、それらが、追跡される眼場所に基づいて、表示されるビューが変化するにつれて、同一色を生産するように、隣接するエミッタを制御する。

【0098】

故に、本発明のいくつかの実施形態による、明視野ディスプレイは、上記の図１０に示されるプロセスに類似するプロセスを利用して、追跡される眼によって占有される視認ゾーン内への表示のために、ビューをレンダリングし、同一ビューが隣接する視認ゾーン内に表示されるように、エミッタを制御する。図１２および１３を参照して上記に議論される実施形態は、２つの隣接する視認ゾーンを図示するが、本発明の多くの実施形態による、明視野ディスプレイは、２つを上回る隣接または重複する視認ゾーン内に表示されるビューが、（限定ではないが）残影の低減および／または排除を含む、理由のために、同一であるように、エミッタを制御することができることを理解されたい。

【0099】

上記の議論の多くは、残影の低減および／または排除に焦点を当てるが、同一ビューを隣接する視認ゾーン内に表示し／隣接するエミッタを制御し、同一色を生産する、別の利点は、明視野ディスプレイの画質が、眼追跡情報における誤差および／またはマイクロレンズ内クロストークに対してよりロバストになることである。同一ビューが、隣接する視認ゾーン内に表示されると、眼追跡情報における誤差は、（例えば、明視野ディスプレイが、視認者の眼が、実際には、残影ゾーン内に位置し、２つの異なるビューを知覚していることを認知していないことに起因する）残影の固有のリスクを搬送しない。加えて、隣接するエミッタ間のマイクロレンズ内クロストーク（下記でさらに詳細に議論される）は、エミッタが同一色を生産するにつれて、知覚される画質の劣化をもたらさない。

【0100】

残影に対処するためのいくつかのプロセスが、上記に説明されているが、残影に対処するための種々の技法のいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、利用されることができる。いくつかの実施形態では、隣接する視認ゾーン間の重複の範囲に関する較正情報が、視認者のための一貫したビューを作成する様式において組み合わせられる、ビューを隣接する視認ゾーン内にレンダリングするために利用されることができる。このように、隣接するエミッタによって形成される、重複ビューの重畳は、特定の角度ピクセルの強度が、眼が視認ゾーンの視野を横断して移動するにつれて、均一であるように、追跡される眼の場所に基づいて、ビューのレンダリングに考慮されることができる。
視線追跡を使用した中心窩化明視野レンダリング

【0101】

算出効率性が、明視野ディスプレイが、本発明の種々の実施形態による、視線追跡ハードウェアを組み込むとき、達成されることができる。ある実施形態では、視線追跡情報が、下記にさらに議論されるように、明視野ディスプレイ内のエミッタの共同制御において利用される光線方向のセットをさらに定義し、視線方向に基づいて、中心窩化ビューのレンダリングをサポートするために使用されることができる。図６Ａを参照して上記に述べられたように、眼追跡は、視認者の眼の場所を追跡することを伴う。図６Ｂに示されるように、視線追跡は、視認者の眼が位置する場所だけではなく、視認者が見ている場所も追跡することを伴う。視認者の眼によって知覚される可能性が高い視認ゾーン（および潜在的に、隣接する視認ゾーン）内への表示のためにビューをレンダリングする算出複雑性は、完全分解能および視差情報を伴うビューを、視認者の視線が指向される可能性が高いディスプレイの領域に対応する、中心窩化領域内にのみレンダリングすることによって、低減されることができる。すなわち、視認者の視線の追跡は、眼追跡より複雑となり得るが、明視野ディスプレイの中への視線追跡の組み込みは、レンダリングされる明視野ビューを、視認者が注視する、それらの場所のみに制限することによって、画像レンダリングの算出複雑性を低減させることができる。

【0102】

研究において公知であるように、色情報に対するヒトの感度は、概して、中心窩と称される、網膜の中心において最高である一方、網膜視力および色感度は、典型的には、網膜の中心から離れるほど不良となる。しかしながら、強度または移動の高速変化を感知する能力は、網膜の中心外で高度に発達される。立体視に対するヒトの感度は、視覚の軸の周囲の視覚の中心円錐（典型的には、１０°）において最高であって、本面積外では、深度キューは、ディスプレイの知覚される品質における有意な低減を伴わずに、高周波数コンテンツに関して低減され得る。故に、明視野ディスプレイは、視線追跡情報を使用して、視認者の眼によって占有される視認ゾーン内への表示のためにレンダリングされるべきビューの中心窩化領域を識別することができる。中心窩化領域、すなわち、網膜の中心によって視認されるそれらのビュー内では、ビューは、最大サポート分解能において、立体視を伴って、レンダリングされることができる。中心窩化領域の外側では、画像の分解能は、減少され得、立体視は、大特徴または低周波数コンテンツに対してのみ維持される必要がある。視線情報はまた、それに対して視認者の視線が指向される、場面内の具体的点に基づいて、トーンマッピングおよび／または深度依存ぼけの適用のために利用されることができる。

【0103】

多くの実施形態では、中心窩化レンダリングを採用する、明視野ディスプレイは、サッカード抑制の間、レンダリングされたビューの異なる領域のレンダリングされる分解能および／または視差を変化させることが可能である（例えば、追跡される眼が、瞬目すると、明視野ディスプレイは、新しい視線追跡情報を入手し、視認者のサッカード抑制の完了に先立って、新しい中心窩化ビューをレンダリングすることができる）。代替として、明視野ディスプレイは、気付かれないように、異なる領域内の分解能および／または立体視の範囲を徐々に調節することができる。

【0104】

いくつかの実施形態では、明視野ディスプレイは、追跡される眼の場所および追跡される眼の視線方向の決定における不確実性に適応する、様式において、中心窩化レンダリングを採用する。網膜視力、色感度、グレースケール分解能および感度、ならびに網膜位置に伴う時間分解能および運動感度が、特徴ベクトルとして表され得る。３Ｄ眼位置および２Ｄ視線方向に関する情報が、把握されると、網膜特徴ベクトルは、４Ｄ光線空間内のベクトルフィールドにマッピングされることができる。網膜上で終端し、瞳孔を通して通過する、各光線は、光線が終端する、網膜点に関連する特徴ベクトル値を割り当てられることができる。網膜上で終端しない、全ての光線は、ゼロのベクトル値を割り当てられることができる。（限定ではないが）視力および／または色感度を含む、網膜の特性に依存する様式において、値を割り当てることによって、明視野ディスプレイは、眼が見ている、角度ピクセルから生じ、瞳孔を通して通過する、光線上に、大部分の詳細および色を伴って、ビューをレンダリングすることができる。同一プロセスを使用して、視認者の視線の中心にない、または視認者の瞳孔を通して通過する可能性が低い、角度ピクセルから生じる光線に対応する、ビューの領域内には、殆ど詳細および色が、レンダリングされ得ない。いくつかの実施形態では、レンダリングは、視認者の視線の中心外の光線のために平滑遷移を提供することによって、周辺視覚内の強度の突然の変化に対する眼の感度に適応する。ある実施形態では、明視野ディスプレイからの視認者の距離もまた、検討され、ビューは、視認者が位置する距離で観察され得る、詳細のレベルに適切な詳細のレベルを伴ってレンダリングされる。

【0105】

視線方向および眼位置が、正確に把握されない場合、視線方向および眼位置が、図１４に図示されるように、５Ｄ確率分布（すなわち、位置に関連する３次元および視線に関連する２次元）として表され得る。多くの実施形態では、中心窩化レンダリングは、５Ｄ確率密度関数を用いて、眼位置および視線方向毎に、特徴ベクトルフィールドに加重し、次いで、３Ｄ眼位置および２Ｄ視線方向にわたって、積分することによって、不確実性を考慮することができる。結果は、４Ｄ光線空間内の特徴ベクトルフィールドφ（ｘ，ｙ，ｕ，ｖ）となり、全ての特徴の観点から各光線の重要性を定義する。ビューは、次いで、本結果として生じる特徴ベクトル関数φ（ｘ，ｙ，ｕ，ｖ）に基づいて、レンダリング光線によってレンダリングされることができる。特徴ベクトルフィールドは、（限定ではないが）最大、平均、または最小等の集約関数を使用して、１人またはそれを上回る視認者の複数の眼に関して集約されることができる。

【0106】

本発明のある実施形態による、眼および視線追跡情報における不確実性を考慮する様式において、眼および視線追跡情報に基づいて中心窩化レンダリングを実施するために利用され得る、プロセスが、図１５に概念的に図示される。プロセス１５００は、入力として、それぞれ、眼および視線追跡システム１５０２、１５０３から取得される眼位置および視線方向を受け取る。いくつかの実施形態では、眼および視線追跡情報に対する信頼度情報が、それぞれ、眼位置および視線方向確率モデル１５０４、１５０５を使用して、眼および視線確率分布を生成するために利用されることができる。これらの分布は、明視野ディスプレイ内の角度ピクセルに関する制御情報の生成の際に利用され得る、組み合わせられた眼位置および視線方向確率モデル１５０６を生成するために利用されることができる。制御情報を生成するプロセスは、例えば、眼および視線確率モデル１５０６からの組み合わせられた眼位置および視線方向確率情報を使用して、明視野重要性計算機１５０８を使用して、明視野内の光線の重要性を決定し、特徴ベクトル関数ｌ（ｘ，ｙ，ｕ，ｖ）を生成することを伴う。明視野プロセッサ１５１０は、特徴ベクトル関数ｌ（ｘ，ｙ，ｕ，ｖ）と場面コンテンツ１５１２を組み合わせ、ビュー要求をレンダラ１５１４に提供することができ、これは、次いで、ビューをレンダリングし、明視野プロセッサ１５１０に返す。これらのビューは、次いで、明視野プロセッサ１５１０によって、制御情報を明視野ディスプレイの角度ピクセルのための具体的ピクセル値として生成するために利用される。

【0107】

視線追跡情報に基づいて、中心窩化ビューをレンダリングするための具体的プロセスが、図１５を参照して上記に説明されるが、種々のプロセスのいずれかが、本発明の種々の実施形態による、具体的用途の要件の必要に応じて、可変分解能および深度キューの表現を有する、ビューをレンダリングし、明視野ディスプレイの算出効率性を増加させるために利用されることができる。頭部または眼追跡情報のみが、利用可能である（および視線追跡はそうではない）、システムでは、明視野ディスプレイは、ビューの複雑性に基づいて、画像詳細および深度キューを知覚する視認者の能力に基づいてレンダリングすることの決定を行うことができる。いくつかの実施形態では、分解能および深度キューの表現は、ディスプレイからの視認者の距離に基づいて変動する。他の実施形態では、種々の要因のいずれかが、明視野ディスプレイによって表示のためにレンダリングされる、ビューの詳細レベルおよび／または数を決定する際に考慮され得る。

【0108】

１人またはそれを上回る視認者の眼の追跡される場所に基づいて、表示のために、場面をサンプリングし、画像をレンダリングするための種々のプロセスが、図１０－１５を参照して上記に説明されているが、種々のプロセスのいずれかが、本発明の種々の実施形態による、所与の用途の要件の必要に応じて、視認ゾーン内の追跡される眼の場所に基づいて、明視野ディスプレイまたは従来のマルチビュー自動立体視ディスプレイの視認ゾーン内に表示されるビューを修正するために利用されることができる。例えば、本発明のいくつかの実施形態による、明視野ディスプレイは、アンチエイリアシング事前フィルタリングと眼場所依存レンダリングの組み合わせを利用する。いくつかの実施形態では、明視野ディスプレイは、眼追跡の喪失に応答して、直ちに、従来のマルチビュー自動立体視または２Ｄディスプレイに戻らず、以前に追跡された眼場所に基づいて、眼場所を推定することができる。ある実施形態では、眼場所予測もまた、予測される眼場所を使用して、将来的時間に表示されるであろう、ビューをレンダリングするために利用される。さらに、眼を追跡する利点は、明視野ディスプレイの知覚される被写界深度の増加に限定されない。眼追跡情報はまた、下記にさらに議論されるように、明視野ディスプレイのエネルギー、処理、および／または帯域幅要件を低減させるためにも利用されることができる。
眼追跡情報を使用したエネルギー、処理、および／または帯域幅の低減

【0109】

本発明の多くの実施形態による、明視野ディスプレイは、眼追跡情報を使用して、処理システムと明視野ディスプレイのバックプレーンとの間で、ディスプレイを駆動するために要求される、エネルギー消費を低減させ、および／または帯域幅の量を低減させることができる。追跡される眼を含有する、明視野ディスプレイの視認ゾーンに関する情報を提供する、眼追跡情報に加え、眼追跡情報は、追跡される眼を含有しない、視認ゾーンを識別することができる。上記に述べられたように、多くの眼追跡システムは、眼追跡情報と、眼が特定の場所内に位置する、尤度を示す、信頼度メトリックの両方を提供する。故に、明視野ディスプレイは、眼が視認ゾーン内に不在であることを決定し、適宜、決定を行うことができる。多くの実施形態では、明視野ディスプレイは、そうでなければ、占有されていない視認ゾーン内のビューを表示するために使用されるであろう、エミッタをオフにすることによって、エネルギーを保存することができる。エミッタをアクティブ化解除する、別の利点は、クロストークの低減に起因する、画質の改良である。有意な処理効率性もまた、追跡される眼を含有する、視認ゾーンのためのビューのみをレンダリングすることによって、達成されることができる。加えて、明視野ディスプレイの処理システムと明視野ディスプレイのバックプレーンとの間に要求される帯域幅も、アクティブエミッタ（例えば、視認者の眼によって占有される視認ゾーン内にビューを表示するために利用される、エミッタ）に関する制御情報のみを伝送することによって、低減されることができる。処理システムと明視野ディスプレイのバックプレーンとの間の固定された総帯域幅を前提として、帯域幅は、明視野ディスプレイの視野を横断して視認ゾーン内にレンダリングされるビューの角度および空間分解能を制御し、高知覚品質を追跡される視認者に提供する、様式において、信頼度を伴って識別された視点のセットに基づいて、配分されてもよい。
眼追跡情報を使用したエミッタアクティブ化のエネルギー効率的制御

【0110】

本発明のある実施形態による、明視野ディスプレイ内のエミッタのアクティブ化を制御するためのプロセスが、図１６に概念的に図示される。図示される実施形態では１６００、２人の視認者１６０２および１６０４のセットが、示され、明視野ディスプレイのディスプレイ平面１６１０が、マルチビュー自動立体視ビュー１６１２、１６１４、１６１６、および１６１８を視認者の眼のそれぞれによって占有される視認ゾーン内に生成する。明視野ディスプレイは、視認者の眼によって占有されない視認ゾーン（Ｘマーキング１６２０によって示される）に関する情報を活用し、ビューをそれらの視認ゾーン内に表示することに関与するエミッタをオフに切り替える。

【0111】

いくつかの実施形態では、明視野ディスプレイはまた、ビューを、図１７に概念的に図示されるように、追跡される眼によって占有される視認ゾーンに隣接する視認ゾーン内に表示する。図１７に示されるように、実施形態１７００は、明視野ディスプレイのディスプレイ平面１７１０によって生成されるマルチビュー自動立体視ビュー１７１２および１７１４を視認する、視認者１７０２を含む一方、視認ゾーンの外側（Ｘマーキング１７２０によって示される）のビューに寄与するエミッタは、オフに切り替えられる、またはその中のビューは、分解能および／または明度が低減された。この場合、ディスプレイ平面１７１０また、ビューを視認者１７０２の可能性が高い眼位置の周囲のゾーン１７３０内にも生成する。ある程度の不確実性が、追跡される眼の場所に対して存在し得、本発明の多くの実施形態による、明視野ディスプレイはまた、図１７における実施例に図示されるように、ビューを追跡される眼によって占有される視認ゾーンに隣接する視認ゾーンのためにもレンダリングするであろう。すなわち、視認者の眼の具体的場所に不確実性が存在する場合でも、図１７に示されるようなシステムは、不確実性に適応することができる一方、依然として、エネルギーおよび算出における節約を提供する。

【0112】

加えて、本発明のいくつかの実施形態による、明視野ディスプレイは、追跡の喪失に先立った眼の追跡された軌道に基づいて、以前に追跡された眼によって占有される可能性が高い、視認ゾーン内に、ビューをレンダリングすることによって、眼追跡の喪失に応答する。多くの実施形態では、明視野ディスプレイは、図１８に概念的に図示されるように、より低い分解能の自動立体視ビューおよび／または２Ｄコンテンツ（例えば、視認ゾーン間で変動しない、単一ビュー）を、追跡される眼によって占有されない、視認ゾーンの多くまたは全て内に表示する。例えば、図１８における実施形態では１８００、視認者１８０２は、明視野ディスプレイのディスプレイ平面１８１０によって生成される、マルチビュー自動立体視ビュー１８１２および１８１４を視認する。ビュー１８１２および１８１４の外側では、均一２Ｄコンテンツまたはより低い分解能の明視野画像が、ディスプレイ平面１８１０によって、視認者の眼の外側の領域１８４０内に提供される。加えて、領域１８４０内のビューは、より低いフレームレートでリフレッシュされ、それらが視認者によって観察される可能性が低い、視認ゾーン内にレンダリングする算出要件を低減させることができる。本明細書では、明視野ディスプレイが、眼追跡不確実性および／または特定の視認ゾーン内の追跡される眼の不在に応答する、具体的様式は、主として、所与の用途の要件に依存することが認識される。

【0113】

ある実施形態では、明視野ディスプレイは、視認者の具体的眼を追跡し、マルチビュー自動立体視ビューを視認者の眼によって占有される視認ゾーンおよび潜在的に隣接する視認ゾーン内のみに生成することによって、ディスプレイのプライバシを保存するように構成される。いくつかの実施形態では、非認可視認者の眼の存在が、検出されることができ、明視野ディスプレイは、能動的に、非認可視認者の眼によって占有される視認ゾーン内におけるビューの表示を防止することができる。多くの実施形態では、視認者の頭部の場所および画像が、視認者が認可または非認可視認者であるかどうかを決定するために利用される。いくつかの実施形態では、顔認識および／または基点が、認可と非認可視認者を区別するために利用されることができる。
眼追跡情報を使用したピクセルレベル光学クロストークの低減

【0114】

眼追跡情報に基づいて、明視野ディスプレイ内のアクティブエミッタの数を低減させることはさらに、マイクロレンズ内およびマイクロレンズ間クロストークの両方を低減させることによって、画質を改良することができる。例えば、角度ピクセルの光学システム内の内部反射および散乱は、角度ピクセル内（マイクロレンズ内クロストークと称され得る）および角度ピクセル間（マイクロレンズ間クロストークと称され得る）の両方のクロストークを引き起こし得る。

【0115】

マイクロレンズ内クロストーク、すなわち、単一角度ピクセル内の光エミッタからの光放出間のクロストークが露見し得る、様式の実施例が、図１９Ａに概念的に図示される。例示的システム１９００は、図１９Ａに示されるように、複数の角度ピクセル１９０２を含む。角度ピクセル１９０２のうちの１つ内の第１のエミッタ１９０４が、破線矢印１９０６によって表される、光の円錐を放出する。光の円錐内の光線の大部分は、角度ピクセルの光学システム１９０８（例えば、マイクロレンズアレイ）によって、具体的視認ゾーンに向かって指向されるが、迷光線１９１０は、隣接する角度ピクセル内およびその間の界面において反射または屈折され、システム１９００内の第２のエミッタ１９２２によって放出される光円錐（実線矢印１９２０によって表される）の中に結合され得る。このように、第２のエミッタ１９２２の光円錐１９２０と交差する、視認ゾーン内に眼を伴う視認者は、第１のエミッタ１９０４および第２のエミッタ１９２２からの光の混合物を知覚するであろう。本明細書では、第１のエミッタからの光を受光する視認ゾーン内に、追跡される眼が存在しないとき、第１のエミッタ１９０４をオフに切り替える能力は、図１２に示されるような角度ピクセルを含む明視野ディスプレイが、第２のエミッタ１９２２からの光を受光する視認ゾーン内のマイクロレンズ内クロストークを低減させることを有効にすることが認識される。

【0116】

マイクロレンズ間クロストーク、すなわち、異なる角度ピクセルからの光放出間のクロストークが露見し得る、様式が、図１９Ｂに概念的に図示される。例示的システム１９５０は、図１９Ｂに示されるように、複数の角度ピクセル１９５２を含む。角度ピクセル１９５２のうちの１つ内の第１のエミッタ１９５４が、角度ピクセルの光学システム１９５８（例えば、マイクロレンズアレイ）によって具体的視認ゾーンに向かって指向される、実線１９５６によって表される、光円錐を生産する。光円錐１９５６の一部は、反射光（線１９６０によって表される）として、空気－マイクロレンズ界面において反射される。反射された光線はまた、細矢印１９６２によって表されるように、明視野ディスプレイ内で反射され、近傍の角度ピクセルから出現し得る。さらに、内部反射は、破線矢印１９６４によって表されるような近傍の角度ピクセルからの付加的迷光をもたらし得る。すなわち、視認ゾーン内に、第１のエミッタからの光を受光する、追跡される眼が存在しないとき、第１のエミッタ１９５４をオフに切り替える能力は、明視野ディスプレイが、隣接する角度ピクセル内のマイクロレンズ間クロストークを低減させることを有効にする。

【0117】

マイクロレンズ内およびマイクロレンズ間クロストークの両方が、明視野ディスプレイによって生成される、範囲は、主として、明視野ディスプレイ内の角度ピクセルの中で反射または散乱される、光の量に依存する。故に、追跡される眼によって占有される視認ゾーン内のビューに寄与する、エミッタのみをオンにすることは、マイクロレンズ内およびマイクロレンズ間クロストークの量を有意に低減させることができる。を用いることで、具体的にマイクロレンズ内クロストークに関して、各角度ピクセル内のアクティブエミッタの数を低減させることは、角度ピクセルの光学システム内で内部から反射される、光の量を有意に減少させることができる。故に、反射または散乱された光と、視認者の眼において知覚される、直接放出される光の比率は、全てのエミッタが常時アクティブである、システムと比較して、低減される。同様に、角度ピクセル内のアクティブエミッタの数を低減させることは、隣接する角度ピクセルの中に反射または散乱される、光の量を低減させる。したがって、反射または散乱された光と、視認者の眼において知覚される、直接放出される光の比率は、同様に、全てのエミッタがアクティブである、システムと比較して、低減される。さらに、上記に議論されるように、追跡される眼場所に提示されるビューに寄与しない、エミッタをオフにすることはまた、エネルギーおよび算出帯域幅節約につながり、したがって、明視野ディスプレイの効率性を改良し得る。
眼追跡情報を使用したエミッタアクティブ化の制御

【0118】

明視野ビューを生成する際に要求される算出帯域幅、処理システム上の算出負荷、ならびに明視野ディスプレイの内部帯域幅要件に具体的に対処することは、レンダリングされるビューの数およびディスプレイのフレームレートに伴って増加する。さらに、明視野ディスプレイのエネルギー要件は、視認ゾーンの数に伴って増加する。故に、本発明の多くの実施形態による、明視野ディスプレイの処理、帯域幅、および／またはエネルギー要件は、追跡される眼に対応する、具体的視認ゾーン内にのみへの表示のために、ビューをレンダリングするかどうかに関する決定、そのためにビューがレンダリングされる、視認ゾーンの数、２Ｄまたは３Ｄビューを付加的視認ゾーン内にレンダリングおよび表示すべきかどうか、その中に２Ｄビューを表示すべき視認ゾーンの数、および／または非アクティブと見なされる、視認ゾーンの数によって、有意に影響され得る。本発明の種々の実施形態による、明視野ディスプレイが、眼追跡情報に基づいて、アクティブ視認ゾーン内への表示のために、ビューをレンダリングするように構成される、具体的様式は、主として、ディスプレイの能力および所与の用途の要件に依存する。

【0119】

本発明のある実施形態による、追跡される眼によって占有される視認ゾーン内にビューを表示するために、眼追跡情報に基づいて、エミッタのアクティブ化を制御するためのプロセスが、図２０に図示される。プロセス２０００は、開始ステップ２００１から開始し、その後、ステップ２００２が続き、例えば、図２に示されるような明視野ディスプレイと統合された眼追跡器配列を使用して、視認者の眼を追跡する。次いで、視認者の眼が位置することの決定２００４が、行われる。眼追跡情報は、追跡される眼によって占有される視認ゾーンを識別するために利用されることができ、明視野ディスプレイ処理システムは、識別されたアクティブ視認ゾーン内への表示のために、ビューをレンダリング２００６することができる。例えば、ビューは、視点依存であって、視認ゾーンのために具体的にレンダリングされ、視認者のための立体および運動視差を保存することができる。随意に、ディスプレイ面積内のアレイまたは角度ピクセルのエミッタのための工場設定等の較正データ、または上記に説明されるような他の較正情報が、処理ユニット上等のディスプレイのメモリ内に記憶される場合、較正情報が、ステップ２００７において、ステップ２００６からレンダリングされたビューの中に組み込まれることができる。ステップ２００８では、レンダリングされたビューは、次いで、角度ピクセル内のエミッタに関する制御情報を生成し、ディスプレイによってビューを実際に生成するために使用される。決定２０１０が、眼追跡およびビューレンダリングプロセスが完了したかどうかを決定するために行われる。決定２０１０の回答が、「はい」である場合、プロセスは、完了され、次いで、プロセス２０００は、終了ステップ２０１２に進む。決定２０１０が、眼追跡およびビューレンダリングプロセスがまだ完了していないと結論付ける場合、プロセスは、ステップ２００２に戻り、視認者の眼を追跡するように試みる。

【0120】

明視野ディスプレイが、決定２００４が、眼が位置特定されなかったことの回答をもたらすように、眼追跡を喪失すると、明視野ディスプレイの処理システムは、以前の追跡情報または他の先験的情報に基づいて、視認者の眼によって占有される可能性が高い視認ゾーンのために、ビューをレンダリング２０２０することができる。例えば、処理システムは、別個にレンダリングされた２Ｄビューまたはより低い分解能ビューをレンダリングまたは利用し、以前の追跡情報に基づいて、視認者の眼によって占有される可能性が高い視認ゾーン内に、ビューを表示することができる。関連制御情報が、次いで、ステップ２００８において生成され、プロセスは、再び、決定２０１０に進み、プロセスが完了されたかどうかを決定する。

【0121】

いくつかの実施形態では、ビューはまた、図１７に図示されるように、追跡される眼によって占有される視認ゾーンに隣接する視認ゾーンのためにもレンダリングされることができる。いくつかの実施形態では、追跡される眼によって占有される視認ゾーンの外側のこれらのビューは、より低い分解能において、および／または詳細な深度キューを殆ど伴わずに、レンダリングされ、視認者の眼によって占有され得ない視認ゾーン内に、付加的ビューをレンダリングすることと関連付けられる、算出オーバーヘッドを低減させることができる。ある実施形態では、２Ｄビューはまた、図１８に図示されるように、追跡される眼によって占有されない、視認ゾーンのいくつかまたは全て内への表示のためにも、レンダリングされることができる。多くの実施形態では、明視野ディスプレイは、図１６に図示されるように、追跡される眼によって占有されない、いくつかの視認ゾーン内に、ビューを表示しない。加えて、明視野ディスプレイは、所与の用途の要件の必要に応じて、上記に説明されるように、視認ゾーンが追跡される眼によって占有されないとき、異なるモードを有し、および／または決定論理を採用し、エミッタをアクティブ化し、２Ｄビューを表示するか、またはエミッタをオフに切り替えるかどうかを決定してもよい。

【0122】

レンダリングされたビューは、次いで、明視野ディスプレイ内のエミッタをアクティブ化し、適切な明視野ビューに寄与するための制御情報を生成２００８するために利用されることができる。多くの実施形態では、アクティブエミッタは、ビューを表示するために利用される、エミッタである。上記に述べられたように、視認ゾーンは、視認ゾーンのために具体的にレンダリングされたビュー（例えば、特定の視認ゾーンが、追跡される眼を含有するとき）または複数の視認ゾーン内に表示されるビュー（２Ｄビューまたはより低い分解能ビュー等）を表示することができる。処理システムが制御情報を明視野ディスプレイのバックプレーン（すなわち、制御回路網）に提供するために要求される、帯域幅は、典型的には、明視野ディスプレイによって表示される、ビューの数に依存するため、帯域幅は、制御情報が、アクティブ視認ゾーン内のビューに寄与するアクティブエミッタのみのために提供されるとき、低減される。いくつかの実施形態では、処理システムは、その中に２Ｄビューが表示される視認ゾーンを示す、メタデータとともに、複数の視認ゾーンに共通のビュー（２Ｄビュー）を提供する。多くの実施形態では、バックプレーンに伝送される、情報の量は、明視野ディスプレイコントローラが、所与の角度ピクセル内に存在する物理的エミッタより少ない数の論理エミッタを制御することを有効にすることによって、低減されることができる。このように、コントローラと明視野ディスプレイのエミッタアレイのバックプレーンとの間の帯域幅要件は、低減されることができる。さらに、バックプレーン内の回路網は、論理エミッタに関する制御情報を角度ピクセル内のより多数のエミッタに関する制御情報に対して補間することに関与するように作製されることができる。

【0123】

一例として、レンズレットと組み合わせて、角度ピクセルを形成する、５００×５００個の物理的光エミッタが、存在し得る。しかしながら、コントローラは、１００方向に対応する、エミッタのみを制御することが可能であり得る。例えば、一意の色が、５００×５００物理的エミッタに対応する、論理エミッタの１０×１０グリッド内の論理エミッタ毎に規定され得、対応する制御情報は、次いで、バックプレーンによって、各論理エミッタに対応する、物理的エミッタの５０×５０サブグリッド内の値を補間するために利用される。別の制御モードでは、コントローラは、視認者の追跡される眼によって知覚されるビューに寄与する物理的エミッタに対応する、１００個の論理エミッタに対応する、論理エミッタの具体的セットをアドレス指定することができる。バックプレーン制御回路は、次いで、これらの１００個の論理エミッタに対応する、制御情報を取り込み、角度ピクセル内の残りの物理的エミッタのアクティブ化を制御し、および／または色を補間することができる。コントローラよってアドレス指定される、具体的論理エミッタは、インデックスを提供し、および／または論理エミッタのより大きいアレイ内のサブウィンドウを提供し、角度ピクセルを形成する物理的エミッタを制御することを含む、（限定ではないが）いくつかの方法でアドレス指定されることができる。さらに、コントローラとバックプレーンとの間の制御情報は、連長エンコーディングされ、コントローラとバックプレーンとの間を通過する制御情報の帯域幅要件をさらに低減させることができる。

【0124】

上記で参照される論理および物理的エミッタの数は、単に、一例として提供され、明視野ディスプレイは、任意の数のエミッタのアレイを含む、角度ピクセルを使用することができる。加えて、処理システムによって明視野ディスプレイのバックプレーンに提供される、アクティブエミッタおよび関連付けられるメタデータを説明する、具体的制御情報は、主として、具体的用途の要件に依存する。さらに、明視野ディスプレイが、視認者の眼の一方または両方の追跡の喪失に応答し得る、具体的様式は、典型的には、所与の用途の要件に依存する。また、眼追跡情報に加え、視線追跡情報の可用性は、下記にさらに議論されるように、付加的効率性利得を有効にすることができる。

【0125】

眼追跡および／または視線追跡情報に基づいて、明視野ディスプレイを介した表示のために、ビューをレンダリングし、アクティブピクセルに関する制御情報を明視野ディスプレイの制御回路網に提供するためのいくつかのプロセスが、図を参照して上記に説明されるが、種々の技法のいずれかが、本発明の種々の実施形態による、所与の用途の要件の必要に応じて、頭部、眼、および／または視線追跡情報に基づいて、ビューをレンダリングし、ビューをレンダリングすべき視認ゾーンを決定するために利用されることができる。
レンダリング後画像ワーピングを使用したビュー合成の加速

【0126】

多くのインスタンスでは、追跡される眼によって占有される各視認ゾーン内への表示のために、場面の３Ｄモデルから場面のビューを直接レンダリングするためにかかる時間は、低速すぎて、所望のディスプレイフレームレートに適応することができない場合がある。加えて、眼は、ディスプレイリフレッシュレートよりはるかに高速で移動し得る。したがって、眼位置は、明視野ディスプレイが眼のためのビューのレンダリングを開始する、時点から、レンダリングが完了され、ビューが眼に表示される、時点で変化し得る。故に、本発明の多くの実施形態による、明視野ディスプレイは、（限定ではないが）ＧＰＵ等の並列処理ユニット上で起動される、一連の連続的により単純かつより高速となるレンダラを利用して、眼追跡情報に基づいて、所望のフレームレートで、表示されるビューが、ディスプレイがリフレッシュされる時点において、視認者の眼の視点に対して適切である尤度を増加させる様式において、ビューをレンダリングする、画像レンダリングパイプラインを採用する。いくつかの実施形態では、付随の深度マップを伴う、２Ｄビューのセットを持続的に生産する、初期レンダラが、並列処理ユニット上に実装される。付随の深度マップを伴う、これらの２Ｄビューは、次いで、視認者の眼によって占有される視認ゾーン内に表示される、最終ビューが、ビューが表示される時点において、可能な限り、視認ゾーン内の視認者の眼の場所の近くに対応する、視点からレンダリングされるように、はるかに高速の後処理３Ｄおよび／または２Ｄワーピングならびに平行移動を実施するために利用されることができる。換言すると、ビューレンダリングパイプライン内の各点において、最新眼追跡情報が、その時点で実施される処理の中にフィードされ、したがって、追跡される眼場所のためにより高速かつより正確なビューレンダリングを提供する。

【0127】

本発明のある実施形態による、ビューレンダリングパイプライン２１００が、図２１に概念的に図示される。ビューレンダリングパイプライン２１００は、眼追跡器プロセス２１０２から、視認者の追跡される眼の場所に関する眼追跡情報を受信する。眼追跡情報は、現在利用可能な機器を使用して、著しく高レート（例えば、３０ｋＨｚ）でリフレッシュすることができる。初期３Ｄレンダリングプロセス２１０４は、並列処理ユニット上で実施されることができ、その中で、付随の深度マップを伴う、２Ｄ画像のセットが、生成される。多くの実施形態では、レンダラは、ディスプレイのフレームレートに類似する、レート（例えば、２４Ｈｚ、３０Ｈｚ、６０Ｈｚ等）において、画像のセットを生成する。いくつかの実施形態では、画像および付随の深度マップのセットは、検出された視認者の数を上回る、画像および付随の深度マップの数を含んでもよい。レンダリングプロセスは、画像および深度マップを検出された眼の視点（または近隣の視点）および付加的視点から生成することができる。下記に議論されるように、付加的視点は、補間およびワーピングが、追跡される眼によって占有される視認ゾーン内に表示される、最終ビューを生産することを有効にする。いくつかの実施形態では、レンダリングされた２Ｄ画像は、後続ワーピングおよび平行移動プロセスに適応するために、明視野ディスプレイによって表示され得るビューより大きく、より高い分解能を有する、ビューに対応する。

【0128】

図２１の参照を継続すると、表示に先立って、一連のレンダリング後ワーピングおよび平行移動が、更新された眼追跡情報に基づいて、３Ｄレンダリングプロセス２１０４からの２Ｄ画像および付随の深度マップのセットを使用して実施され、表示される最終ビューを生成する。図示される実施形態では、レンダリング後３Ｄワーピングプロセス２１０６は、その付随の深度情報に基づいて、隣接する２Ｄ画像を融合させ、更新された２Ｄ画像および付随の深度マップを追跡される眼の更新された場所に対応する視点から形成するように実施される。多くの実施形態では、レンダリング後ワーピングおよび平行移動は、初期レンダリングプロセスより１桁高速である、プロセスを使用して、実施されることができる。

【0129】

付加的眼追跡更新が、処理システムによって受信されるにつれて、ビューレンダリングパイプライン２１００は、さらにより高速のプロセスを使用した表示に先立って、レンダリングされたビューを調節し続けることができる。本図示される実施形態では、２Ｄワーピングプロセス２１０８が、さらに更新された眼追跡情報に応答して、２Ｄワーピングおよび平行移動を適用し、更新された２Ｄ画像を調節するために利用される。いくつかの実施形態では、２Ｄワーピングプロセス２１０８は、再び、３Ｄワーピングプロセス２１０６より１桁高速である。これらの２Ｄワーピングされた画像は、次いで、最後に、明視野ディスプレイから表示されるための出力として送信される直前に、最終眼追跡場所に基づいて、著しく高速の２Ｄ平行移動プロセス２１１０を使用して、調節されることができる。ある実施形態では、２Ｄ平行移動プロセス２１１０は、再び、２Ｄワーピングプロセス２１０８より１桁高速であって、眼の追跡プロセスのサンプリングレートに匹敵するレートにおいて、２Ｄワーピングプロセスを実施することが可能であり得る。このように、具体的視認ゾーン内に表示される、ビューは、各視認者の眼の直近で追跡された場所の近くに対応する、視点からレンダリングされる。上記に述べられたように、単に、視認者の眼によって占有される具体的視認ゾーンとは対照的に、視認者の眼の場所に特有のビューをレンダリングする能力は、視認者によって知覚される、深度依存エイリアシングおよび他のアーチファクトの範囲を有意に減少させることができる。

【0130】

更新された眼追跡情報に依存する様式において、並列処理ユニットを使用して、ビューをレンダリングするための具体的プロセスが、図２１を参照して、上記に説明されるが、種々のレンダリングプロセスおよび／またはパイプラインのいずれかが、具体的用途の要件および／またはビデオコンテンツがエンコーディングされる様式の必要に応じて、利用されることができる。いくつかの実施形態では、ビデオコンテンツは、場面の３Ｄモデルを使用して生成される。いくつかの実施形態では、ビデオコンテンツは、複数のエンコーディングされた２Ｄ画像および１つまたはそれを上回る解凍もしくは圧縮された深度マップおよび／またはオクルージョンマップを提供する、マルチビュービデオコーデックを使用して、エンコーディングされる。故に、画像処理パイプラインが、後続３Ｄおよび／または２Ｄワーピングならびに平行移動プロセスにおいて利用され得る、２Ｄ画像および付随の深度マップの初期セットをレンダリングする、様式は、主として、具体的用途の要件に依存する。

【0131】

上記の説明は、本発明の多くの具体的実施形態を含有するが、これらは、本発明の範囲に関する限界としてではなく、むしろ、その特定の実施形態の実施例として解釈されるべきである。例えば、上記の議論は、頻繁に、眼追跡器を組み込む、明視野ディスプレイを参照する。容易に理解され得るように、上記に説明されるシステムおよびプロセスの多くは、従来のマルチビュー自動立体視ディスプレイ内および／または頭部追跡ならびに／もしくは視線追跡情報を捕捉するディスプレイ内に実装されることができる。加えて、異なる視認者を区別するための顔認識または他の方法が、眼追跡システムの中に統合される場合、明示的ユーザ認識およびユーザ特有の個人化されたコンテンツのレンダリング（すなわち、他のユーザによって視認可能ではない）が、実装されることができる。完全自動立体視視認体験のサブセットとしての上記に説明される概念の別の拡張は、追跡される立体ビュー（すなわち、２つのみのビュー）を単一または複数のユーザのためのマルチビューディスプレイ上に示すことであろう。

【0132】

繰り返しになるが、上記に説明される実施形態の側面のうちのいくつかは、例えば、以下を含む。

【0133】

－少なくとも１人の視認者の眼の追跡される位置に基づいて、ビューレンダリングを提供する、１つまたはそれを上回る眼追跡器を含む、眼追跡システムと統合される、マルチビュー自動立体視ディスプレイの組み合わせ。

【0134】

－ディスプレイは、角度ピクセルのアレイを含み、各角度ピクセルは、複数のエミッタを含む、眼追跡システムと統合される、マルチビュー自動立体視ディスプレイ。いくつかの実施形態では、角度ピクセルは、１つまたはそれを上回るマイクロレンズと、他の光学要素とを含む。

【0135】

－眼追跡システムは、階層追跡プロセスを使用して、少なくとも１人の視認者の眼を追跡する、眼追跡システムと統合される、マルチビュー自動立体視ディスプレイ。

【0136】

－レンダリングされるビューの画像分解能、ビューの密度、およびビューのタイプ（２または３次元）は、追跡される眼位置に依存する、眼追跡システムと統合される、マルチビュー自動立体視ディスプレイ。

【0137】

－眼が位置特定される、それらの視認ゾーン外のビューは、オフにされる、眼追跡システムと統合される、マルチビュー自動立体視ディスプレイ。

【0138】

－より高い分解能またはビューの密度を伴う、ビューが、眼または視線が追跡されている、少なくとも１つの中心窩化領域に提示される、眼追跡システムと統合される、マルチビュー自動立体視ディスプレイ。

【0139】

－ディスプレイの複数の視認者の眼が、追跡される、眼追跡システムと統合される、マルチビュー自動立体視ディスプレイ。いくつかの実施形態では、１つの眼追跡器が、複数の視認者の眼を追跡する。他の実施形態では、複数の眼追跡器が、複数の視認者の眼を追跡するために使用される。

【0140】

－異なるビューが、眼追跡情報に従って、異なる視認ゾーンに提示される、眼追跡システムと統合される、マルチビュー自動立体視ディスプレイ。より高い分解能またはより高い密度のビューは、視認者の眼が位置特定されている、視認ゾーンに提示されることができる。より低い分解能またはより低い密度のビュー、２次元のみのビューが、視認者の眼が位置特定されていない、視認ゾーンに提示される、またはさらに、ビューは、提示されないこともできる。具体的視認ゾーンに提示されるビューを修正するための決定はまた、眼追跡情報が正確であると見なされる、信頼度を考慮することができる。このように、ディスプレイエネルギー消費および／または画像処理ならびにデータ転送帯域幅における節約が、達成されることができる。

【0141】

－処理システムはさらに、非理想的光学要素および／またはエミッタ性能から生じ得る、視認ゾーン間の光学クロストーク（例えば、残影、エイリアシング）およびピクセルレベル光学クロストーク等の画質に影響を及ぼす種々の要因のうちの少なくとも１つを軽減するために、角度ピクセルを制御するために送信される制御情報を最適化するために構成される、眼追跡システムと統合される、マルチビュー自動立体視ディスプレイ。

【0142】

－処理システム内のビューレンダリングパイプラインが、ビューレンダリングプロセスの間、ビューレンダリングプロセスにおいて要求される算出帯域幅を低減させながら、視認者によって見られるような画質を改良するように、更新された眼追跡情報を考慮する、眼追跡システムと統合される、マルチビュー自動立体視ディスプレイ。

【0143】

故に、本発明の範囲は、図示される実施形態によってではなく、添付の請求項およびその均等物によって決定されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19A】

【図19B】

【図20】

【図21】

【国際調査報告】