特許 7279283 ホログラフィック感覚データ生成、操作および伝送システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-15

(45)【発行日】2023-05-23

(54)【発明の名称】ホログラフィック感覚データ生成、操作および伝送システムおよび方法

(51)【国際特許分類】

   H04N 13/302 20180101AFI20230516BHJP

【ＦＩ】

H04N13/302

【請求項の数】 38

(21)【出願番号】P 2019501664

(86)(22)【出願日】2017-07-17

(65)【公表番号】

(43)【公表日】2019-12-05

(86)【国際出願番号】 US2017042469

(87)【国際公開番号】W WO2018014047

(87)【国際公開日】2018-01-18

【審査請求日】2020-07-17

(31)【優先権主張番号】62/362,602

(32)【優先日】2016-07-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/366,076

(32)【優先日】2016-07-24

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/507,500

(32)【優先日】2017-05-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】PCT/US2017/042275

(32)【優先日】2017-07-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】PCT/US2017/042276

(32)【優先日】2017-07-14

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】519006883

【氏名又は名称】ライト フィールド ラボ、インコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】カラフィン、ジョナサン、ショーン

(72)【発明者】

【氏名】ベヴェンシー、ブレンダン、エルウッド

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２００９－１７５８６６（ＪＰ，Ａ）

【文献】特開２０１６－０４５６４４（ＪＰ，Ａ）

【文献】特開２００５－０２６７７２（ＪＰ，Ａ）

【文献】特開２０１４－１２７７８９（ＪＰ，Ａ）

【文献】特開２０１３－１９６５３２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

Ｇ０２Ｂ ３０／００

Ｇ０３Ｂ ３５／００

(57)【特許請求の範囲】

【請求項1】

コンテンツデータのための４次元プレノプティック座標（４Ｄプレノプティック座標）を決定する方法であって、
コンテンツデータを受信する段階と、
前記コンテンツデータのデジタル立体表現を生成するために、第１の表面に対するデータ点の位置を決定する段階であって、前記第１の表面が基準表面であり、前記データ点は前記コンテンツデータに含まれる立体表現のデータ点である、決定する段階と、
複数の位置を通って前記第１の表面まで前記データ点の各々の位置を追跡することであって、前記複数の位置が第２の表面にある、追跡する段階と、
前記第１の表面および前記第２の表面における複数の追跡された交点に基づいて、各データ点のための１つのセットの４Ｄプレノプティック座標を決定する段階であって、前記複数の追跡された交点は、前記第２の表面における前記複数の位置を通って追跡された前記第１の表面における前記データ点の位置である、決定する段階と、
第１のデータ点に第１の収束点を有する第１のセットの４Ｄプレノプティック座標に対する第１のセットのエネルギー源変調値を決定する段階であって、前記第１の収束点は前記第１のセットのエネルギー源変調値に従って伝搬された変調されたエネルギーの複数のエネルギー伝搬経路の交点である、決定する段階と、
前記第１のデータ点とは異なる第２のデータ点に第２の収束点を有する第２のセットの４Ｄプレノプティック座標に対する第２のセットのエネルギー源変調値を決定する段階であって、前記第２の収束点は前記第１の収束点とは異なる複数のエネルギー伝搬経路の交点であり、変調されたエネルギーが前記第２のセットのエネルギー源変調値に従って前記第２の収束点で収束する前記複数のエネルギー伝搬経路に沿って伝搬される、決定する段階と、を含み、
前記第１のセットおよび前記第２のセットの４Ｄプレノプティック座標が、前記第１の表面および前記第２の表面における異なる複数の追跡された交点に基づいて決定される、方法。

【請求項2】

前記コンテンツデータが、視覚、聴覚、触覚、感覚、または嗅覚によって知覚可能な信号を含む、請求項１に記載の方法。

【請求項3】

前記コンテンツデータが、対象物位置、非対象物位置における形状のコンテンツ、前記基準表面からのコンテンツ、対象物のセグメンテーション、および階層化コンテンツのうちの少なくとも１つを含む、請求項１または２に記載の方法。

【請求項4】

前記コンテンツデータが、２次元空間（２Ｄ空間）内のデータ点を含み、位置を決定する段階が、２次元空間内の前記データ点に深度マップを適用することを含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記コンテンツデータが、３次元空間（３Ｄ空間）内のデータ点を含み、位置を決定する段階が、前記３Ｄ空間内で前記データ点を調整する段階を含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

調整する段階が、前記３Ｄ空間内の前記データ点に深度マップを適用することを含む、請求項５に記載の方法。

【請求項7】

調整する段階が、新たなデータ点を追加することを含む、請求項５または６に記載の方法。

【請求項8】

調整する段階が、遮蔽されたデータ点を再構成することを含む、請求項５から７のいずれか一項に記載の方法。

【請求項9】

前記第２の表面が、エネルギー指向装置の導波路システムに対応し、エネルギーが、前記データ点の前記４Ｄプレノプティック座標に従って、前記コンテンツデータの検出可能な立体表現を形成するために、前記導波路システムを介して指向するように動作可能である、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記方法が、前記導波路システムの第１の側のエネルギー位置と、前記導波路システムの第２の側の導波路素子からのエネルギー伝搬経路の角度方向との間にマッピングを適用する段階をさらに含み、前記データ点の前記４Ｄプレノプティック座標に対応する、前記導波路システムの前記第１の側の複数のエネルギー位置が、前記マッピングを適用することによって決定され、前記導波路システムの第１の側の前記エネルギー位置は前記第２の表面におけるエネルギー源位置である、請求項９に記載の方法。

【請求項11】

前記マッピングを適用する段階が、前記導波路システム内の歪みについて較正する段階を含む、請求項１０に記載の方法。

【請求項12】

前記導波路システム内の歪みについて較正する段階が、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正することを含む、請求項１１に記載の方法。

【請求項13】

前記エネルギー指向装置が、前記導波路システムの第１の側にリレーシステムをさらに備え、前記リレーシステムが、前記導波路システムに隣接する第１の表面を有し、さらに前記導波路システムの前記第１の側のエネルギー位置が、前記リレーシステムの第２の表面に隣接して位置付けられている、請求項９から１２のいずれか一項に記載の方法。

【請求項14】

マッピングを適用する段階が、前記導波路システム内の歪みについて較正する段階を含む、請求項１３に記載の方法。

【請求項15】

マッピングを適用する段階が、前記リレーシステム内の歪みについて較正する段階を含む、請求項１３または１４に記載の方法。

【請求項16】

前記マッピングを適用する段階が、前記導波路システム内の歪みについて較正する段階を含む、請求項１５に記載の方法。

【請求項17】

前記リレーシステム内の歪みについて較正する段階が、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正する段階を含む、請求項１５または１６に記載の方法。

【請求項18】

前記受信されたコンテンツデータが、ベクトル化された材料特性データをさらに含み、前記方法が、前記コンテンツデータの前記デジタル立体表現を前記ベクトル化された材料特性データに関連付ける段階をさらに含み、エネルギー源変調値を決定することが、少なくとも前記コンテンツデータの前記デジタル立体表現に関連付けられた前記ベクトル化された材料特性データに基づく、請求項１から１７のいずれか一項に記載の方法。

【請求項19】

前記方法の少なくとも一部が、リアルタイムで実施される、請求項１から１８のいずれか一項に記載の方法。

【請求項20】

方法が、完全にリアルタイムで実行される、請求項１から１９のいずれか一項に記載の方法。

【請求項21】

前記方法の少なくとも２つの部分が、異なる期間に実行される、請求項１から２０のいずれか一項に記載の方法。

【請求項22】

コンテンツデータのための４次元プレノプティック座標（４Ｄプレノプティック座標）を決定するためのシステムであって、
コンテンツデータを受信するように構成されている入出力インターフェースと、
前記入出力インターフェースと通信し、感覚データプロセッサおよびトレーシングエンジンを含む処理サブシステムとを備え、
前記感覚データプロセッサが、第１の表面に対する前記コンテンツデータのデータ点の位置を決定し、前記コンテンツデータのデジタル立体表現を生成するように構成され、前記第１の表面が基準表面であり、前記データ点は前記コンテンツデータに含まれる立体表現のデータ点であり、
前記トレーシングエンジンが、複数の位置を通って前記第１の表面まで、前記データ点の各々の前記位置を追跡するように構成され、前記複数の位置が第２の表面にあり、
前記トレーシングエンジンが、前記第１の表面および前記第２の表面における複数の追跡された交点に基づいて、各データ点のために１つのセットの４Ｄプレノプティック座標を決定し、第１のデータ点に第１の収束点を有する第１のセットの４Ｄプレノプティック座標に対する第１のセットのエネルギー源変調値を決定し、前記第１のデータ点とは異なる第２のデータ点に第２の収束点を有する第２のセットの４Ｄプレノプティック座標に対する第２のセットのエネルギー源変調値を決定するようにさらに構成され、
前記複数の追跡された交点は、前記第２の表面における前記複数の位置を通って追跡された前記第１の表面における前記データ点の位置であり、前記第１の収束点は前記第１のセットのエネルギー源変調値に従って伝搬された変調されたエネルギーの複数のエネルギー伝搬経路の交点であり、前記第１のセットのエネルギー源変調値は前記第２の表面を通って追跡されたエネルギー位置であり、前記第２の収束点は前記第１の収束点とは異なる複数のエネルギー伝搬経路の交点であり、変調されたエネルギーが前記第２のセットのエネルギー源変調値に従って前記第２の収束点で収束する前記複数のエネルギー伝搬経路に沿って伝搬され、前記第２のセットのエネルギー源変調値は前記第２の表面を通って追跡された前記第１のセットのエネルギー源変調値とは異なるエネルギー位置であり、
前記第１のセットおよび前記第２のセットの４Ｄプレノプティック座標が、前記第１の表面および前記第２の表面における異なる複数の追跡された交点に基づいて決定される、システム。

【請求項23】

前記コンテンツデータが、視覚、聴覚、触覚、感覚、または嗅覚によって知覚可能な信号を含む、請求項２２に記載のシステム。

【請求項24】

前記コンテンツデータが、対象物位置、非対象物位置における形状のコンテンツ、前記基準表面からのコンテンツ、対象物のセグメンテーション、および階層化コンテンツのうちの少なくとも１つを含む、請求項２２または２３に記載のシステム。

【請求項25】

前記コンテンツデータが、２次元空間（２Ｄ空間）内のデータ点を含み、位置を決定することが、２次元空間内の前記データ点に深度マップを適用することを含む、請求項２２から２４のいずれか一項に記載のシステム。

【請求項26】

前記コンテンツデータが、３次元空間（３Ｄ空間）内のデータ点を含み、位置を決定することが、前記３Ｄ空間内で前記データ点を調整することを含む、請求項２２から２５のいずれか一項に記載のシステム。

【請求項27】

調整することが、前記３Ｄ空間内の前記データ点に深度マップを適用することを含む、請求項２６に記載のシステム。

【請求項28】

調整することが、新たなデータ点を追加することを含む、請求項２６または２７に記載のシステム。

【請求項29】

調整することが、遮蔽されたデータ点を再構成することを含む、請求項２６から２８のいずれか一項に記載のシステム。

【請求項30】

前記第２の表面が、エネルギー指向装置の導波路システムに対応し、エネルギーが、前記データ点の前記４Ｄプレノプティック座標に従って、前記コンテンツデータの検出可能な立体表現を形成するために、前記導波路システムを介して指向するように構成されている、請求項２２から２９のいずれか一項に記載のシステム。

【請求項31】

前記トレーシングエンジンが、前記導波路システムの第１の側のエネルギー位置と、前記導波路システムの第２の側の導波路素子からのエネルギー伝搬経路の角度方向との間にマッピングを適用するようにさらに構成され、前記データ点の前記４Ｄプレノプティック座標に対応する前記導波路システムの前記第１の側の複数のエネルギー位置が、前記マッピングを適用することによって決定され、前記導波路システムの第１の側の前記エネルギー位置は前記第２の表面におけるエネルギー源位置である、請求項３０に記載のシステム。

【請求項32】

前記マッピングを適用することが、前記導波路システム内の歪みについて較正することを含む、請求項３１に記載のシステム。

【請求項33】

前記導波路システム内の前記歪みについて較正することが、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正することを含む、請求項３２に記載のシステム。

【請求項34】

前記エネルギー指向装置が、前記導波路システムの第１の側にリレーシステムをさらに備え、前記リレーシステムが、前記導波路システムに隣接する第１の表面を有し、さらに前記導波路システムの前記第１の側のエネルギー位置が、前記リレーシステムの第２の表面に隣接して位置付けられている、請求項３０に記載のシステム。

【請求項35】

マッピングを適用することが、前記導波路システム内の歪みについて較正することを含む、請求項３４に記載のシステム。

【請求項36】

前記マッピングを適用することが、前記リレーシステム内の歪みについて較正することを含む、請求項３５に記載のシステム。

【請求項37】

前記リレーシステム内の前記歪みについて較正することが、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正することを含む、請求項３６に記載のシステム。

【請求項38】

前記システムの少なくとも２つの機能が、異なる期間に実行される、請求項２２から３７のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、感覚情報を含むホログラフィックコンテンツの生成に関し、より具体的には、非ホログラフィック情報からのホログラフィックコンテンツの生成に関する。

【背景技術】

【0002】

Ｇｅｎｅ ＲｏｄｄｅｎｂｅｒｒｙのＳｔａｒ Ｔｒｅｋにより世間一般に普及され、１９００年代初期に作家Ａｌｅｘａｎｄｅｒ Ｍｏｓｚｋｏｗｓｋｉによって当初計画された「ホロデッキ」室内のインタラクティブな仮想世界の夢は、ほぼ一世紀の間、空想科学小説および技術革新に対するインスピレーションである。しかしながら、この経験の画期的な実現は、文献、メディア、ならびに子供達および同様に大人達の総体的な想像力の外には、全く存在していない。

【発明の概要】

【0003】

一実施形態では、コンテンツデータのための４次元（４Ｄ）プレノプティック座標を決定する方法は、コンテンツデータを受信することと、第１の表面に対するデータ点の位置を決定してコンテンツデータのデジタル立体表現を生成することであって、この第１の表面が基準表面である、生成することと、４Ｄ関数が適用される第２の表面まで、立体表現内の位置データ点を追跡することによって、第２の表面におけるデータ点の４Ｄプレノプティック座標を決定することと、第１の収束点を有する４Ｄプレノプティック座標に対するエネルギー源位置値を決定することと、を含み得る。

【0004】

一実施形態では、コンテンツデータのための４次元（４Ｄ）プレノプティック座標を決定する方法は、コンテンツデータを受信することと、基準点位置に対するデータ点の位置を決定することと、基準点位置に基づいて、データ点のベクトルを生成することによって、データ点をベクトル化することと、このベクトル化されたデータ点に基づいて、コンテンツデータのデジタル立体表現を生成することに対して、第１の表面に対するデータ点の位置を決定することであって、この第１の表面が基準表面である、決定することと、４Ｄ関数が適用される第２の表面まで、立体表現内の位置データ点を追跡することによって、第２の表面におけるデータ点の４Ｄプレノプティック座標を決定することと、を含み得る。

【0005】

一実施形態では、ベクトル化の方法は、第１のコンテンツデータを受信することと、このコンテンツデータ内の表面を識別することと、この表面の表面識別を決定することと、この表面の材料特性データを決定することと、この表面識別を表面の材料特性データと関連付けることと、材料特性データのベクトルを生成することと、生成されたベクトルに基づいて、ベクトル化された材料特性データを生成することと、を含み得る。

【0006】

一実施形態では、コンテンツデータのための４次元（４Ｄ）プレノプティック座標を決定するためのシステムは、コンテンツデータを受信するように動作可能な入出力インテーフェースと、この入出力インターフェースと通信し、感覚データプロセッサとベクトル化エンジンとトレーシングエンジンとを含む処理サブシステムと、を備えることができ、感覚データプロセッサは、第１の表面に対するコンテンツデータ内のデータ点の位置を決定して、コンテンツデータのデジタル立体表現を生成するように動作可能であり、この第１の表面は、基準表面であり、トレーシングエンジンは、４Ｄ関数が適用される第２の表面まで、デジタル立体表現内のデータ点の位置を追跡することによって、第２の表面におけるデータ点の４Ｄプレノプティック座標を決定するように動作可能であり、トレーシングエンジンは、第１の収束点を有する４Ｄプレノプティック座標に対するエネルギー源位置値を決定するように動作可能である。

【0007】

一実施形態では、コンテンツデータのための４次元（４Ｄ）プレノプティック座標を決定するためのシステムは、コンテンツデータを受信するように動作可能な入出力インテーフェースと、この入出力インターフェースと通信し、感覚データプロセッサとベクトル化エンジンとトレーシングエンジンとを含む処理サブシステムと、を備えることができ、感覚データプロセッサは、基準点位置に対するコンテンツデータ内のデータ点の位置を決定するように動作可能であり、ベクトル化エンジンは、基準点位置に基づいて、データ点をベクトル化するように動作可能であり、感覚データプロセッサは、ベクトル化されたデータ点に基づいて、第１の表面に対するデータ点の位置を決定して、コンテンツデータのデジタル立体表現を生成するようにさらに動作可能であり、この第１の表面は、基準表面であり、トレーシングエンジンは、４Ｄ関数が適用される第２の表面まで、立体表現内のデータ点の位置を追跡することによって、第２の表面におけるデータ点の４Ｄプレノプティック座標を決定するように動作可能である。

【0008】

一実施形態では、ベクトル化のためのシステムは、コンテンツデータを受信するように動作可能な入出力インテーフェースと、この入出力インターフェースと通信し、ベクトル化エンジンを含む処理サブシステムとを備えることができ、ベクトル化エンジンは、コンテンツデータ内以内の表面を識別して、この表面の表面識別を決定し、この表面の材料特性データを決定し、表面識別を表面の材料特性データと関連付けるように動作可能であり、ベクトル化エンジンは、材料特性データのベクトルを生成し、生成されたベクトルに基づいて、ベクトル化された材料特性データを生成するようにさらに動作可能である。

【0009】

一実施形態では、コンテンツデータのための４次元（４Ｄ）プレノプティック座標を決定するためのシステムは、コンテンツデータを受信するように動作可能な入出力インテーフェースと、この入出力インターフェースと通信し、感覚データプロセッサとベクトル化エンジンとトレーシングエンジンとを含む処理サブシステムと、処理サブシステムおよび入出力インターフェースと通信する圧縮エンジンと、この圧縮モジュール、入出力インターフェース、および処理サブシステムと通信する任意選択的なメモリと、を備えることができ、感覚データプロセッサは、基準点位置に対するコンテンツデータ内のデータ点の位置を決定するように動作可能であり、ベクトル化エンジンは、基準点位置に基づいて、データ点をベクトル化するように動作可能であり、感覚データプロセッサは、ベクトル化されたデータ点に基づいて、第１の表面に対するデータ点の位置を決定して、コンテンツデータのデジタル立体表現を生成するようにさらに動作可能であり、この第１の表面は、基準表面であり、トレーシングエンジンは、４Ｄ関数が適用される第２の表面まで、立体表現内のデータ点の位置を追跡することによって、第２の表面におけるデータ点の４Ｄプレノプティック座標を決定するように動作可能であり、圧縮エンジンは、処理サブシステムからデータを受信して、このデータを圧縮し、圧縮されたデータを任意選択的なメモリに格納するか、または圧縮されたデータを入出力インターフェースに送信するように動作可能であり、任意選択的なメモリは、入出力インターフェース、処理サブシステム、および圧縮エンジンからデータを受信して、このデータを格納し、格納されたデータを入出力インターフェース、処理サブシステム、または圧縮エンジンのいずれかに送信するように構成されている。

【図面の簡単な説明】

【0010】

【図1】エネルギー指向システムの設計パラメータを示す概略図である。

【図2】機械的エンベロープを有する能動装置領域を有するエネルギーシステムを示す概略図である。

【図3】エネルギーリレーシステムを示す概略図である。

【図4】互いに接着されてベース構造体に固定されたエネルギーリレー素子の一実施形態を示す概略図である。

【図5A】マルチコア光ファイバを介して中継された画像の一例を示す概略図である。

【図5B】横方向アンダーソン局在原理の特性を示すエネルギーリレーを介して中継された画像の一例を示す概略図である。

【図6】エネルギー表面から視認者に伝搬する光線を示す概略図である。

【図7A】本開示の一実施形態による、ベース構造体と、４つのエネルギー装置と、シームレスなエネルギー表面を形成する４つのエネルギーリレー素子とを有するエネルギー導波路システムの斜視図を示す。

【図7B】本開示の一実施形態による、エネルギーリレーシステムを示す。

【図7C】本開示の一実施形態による、エネルギー導波路システムの一実施形態のトップダウン透視図を示す。

【図7D】図７Ｃに示す実施形態の正面斜視図である。

【図7E】エネルギー抑制素子の様々な実施形態を示す。

【図7F】エネルギー抑制素子の様々な実施形態を示す。

【図7G】エネルギー抑制素子の様々な実施形態を示す。

【図7H】エネルギー抑制素子の様々な実施形態を示す。

【図7I】エネルギー抑制素子の様々な実施形態を示す。

【図7J】エネルギー抑制素子の様々な実施形態を示す。

【図7K】エネルギー抑制素子の様々な実施形態を示す。

【図7L】エネルギー抑制素子の様々な実施形態を示す。

【図8】ホログラフィック感覚データを処理するためのプロセスの一実施形態の一実施形態を示すフローチャートである。

【図9】感覚データから構築された仮想環境の概略図である。

【図10】エネルギー追跡の一実施形態を示す概略図である。

【図11】追跡プロセス実施中のエネルギー指向装置１０００の一実施形態を示す概略図である。

【図12】ホログラフィック感覚データを処理するための処理システムの概略図である。

【図13】ベクトル化プロセスの一実施形態を示すブロック図である。

【発明を実施するための形態】

【0011】

ホロデッキ（Ｈｏｌｏｄｅｃｋ）（集合的に「ホロデッキ設計パラメータ」と呼ばれる）の一実施形態は、十分なエネルギー刺激を提供して人間の感覚受容器を欺き、仮想的、社会的、およびインタラクティブな環境内で受容されたエネルギーインパルスが真実であると信じ込ませ、１）外付けアクセサリ、ヘッドマウントアイウェア、または他の周辺機器を伴わない両眼視差、２）任意の数の視認者に対して同時に視体積全域にわたる正確な運動視差、遮へい、および不透明度、３）知覚されたすべての光線に対する、同期収束、目の遠近調節、および縮瞳を介した視覚的焦点、ならびに４）視覚、聴覚、触覚、味覚、嗅覚、および／またはバランスに対して人間の感覚「解像度」を超えるほどの十分な密度および解像度の収束エネルギー波伝搬を提供する。

【0012】

これまでの従来の技術に基づいて、視覚系、聴覚系、体性感覚系、味覚系、嗅覚系、および前庭系を含むホルデッキ設計パラメータ（Ｈｏｌｏｄｅｃｋ Ｄｅｓｉｇｎ Ｐａｒａｍｅｔｅｒ）によって示唆されたように、画期的な方法ですべての受容野を提供することが可能な技術から、我々は、数世紀とまでは言わないが、数十年経過したところにある。

【0013】

本開示では、ライトフィールドおよびホログラフィックという用語は、任意の感覚受容器応答の刺激のためのエネルギー伝搬を定義するために、同義的に使用され得る。最初の開示は、ホログラフィック画像および体積触覚に対するエネルギー表面を通るエネルギーおよび機械的エネルギー伝搬の例に言及し得るが、あらゆる形態の感覚受容器が、本開示の中で想定される。さらに、伝搬経路に沿ったエネルギー伝搬に対する本明細書に開示された原理は、エネルギー放出およびエネルギー捕捉の両方に適用可能であり得る。

【0014】

今日、多くの技術が存在し、それらは、残念ながら、レンチキュラー印刷、ペッパーズゴースト、裸眼立体ディスプレイ、水平視差ディスプレイ、ヘッドマウントＶＲおよびＡＲディスプレイ（ＨＭＤ）、ならびに「フォークスログラフィ」として一般化された他のそのような錯覚を含む、ホログラムと混同されていることが多い。これらの技術は、真のホログラフィックディスプレイの所望の特性のいくつかを呈し得るが、識別された４つのホルデッキ設計パラメータのうちの少なくとも２つに対処するのに十分な任意の方法で、人間の視覚感覚応答を刺激する能力が不足している。

【0015】

ホログラフィックエネルギー伝搬に十分シームレスなエネルギー表面を生成するために、これらの挑戦的な取り組みは、従来の技術によっては首尾よく実施されていない。しかしながら、体積式および方向多重化ライトフィールドディスプレイを実施するには、視差バリア、ホーゲル、ボクセル、回折光学素子、マルチビュー投影、ホログラフィック拡散器、回転ミラー、多層ディスプレイ、時系列ディスプレイ、ヘッドマウントディスプレイ等を含む様々なアプローチがあるが、従来のアプローチは、画質、解像度、角度サンプリング密度、サイズ、コスト、安全性、フレームレート等に関する妥協を必要とすることがあり、最終的には実行不可能な技術となる可能性がある。

【0016】

視覚系、聴覚系、体性感覚系のためのホルデッキ設計パラメータを達成するために、それぞれの各系のそれぞれの人間の鋭敏さが研究され、人間の感覚受容器を十分に欺くためにエネルギー波を伝搬させることが理解される。視覚系は、おおよそ１分まで解像することができ、聴覚系は、わずか３度の配置差を区別することができ、手の体性感覚系は、２～１２ｍｍ離れた点を識別することができる。これらの鋭敏さを測定するには、様々な相反する方法があるが、これらの値は、エネルギー伝搬の知覚を刺激するためのシステムおよび方法を理解するには十分である。

【0017】

よく知られている感覚受容器のうち、人間の視覚系は、単一の光子でさえ感覚を誘発することができるならば、はるかに感度が高い。この理由のため、本導入の多くは、視覚エネルギー波伝搬に焦点を絞り、開示されたエネルギー導波路表面内に結合された極めて低い解像度のエネルギーシステムが、適切な信号を収束させ、ホログラフィック感覚上の知覚を誘発することができる。特に断りのない限り、すべての開示は、すべてのエネルギーおよび感覚領域に当てはまる。

【0018】

視体積および視距離が与えられた視覚系の場合のエネルギー伝搬の有効設計パラメータを計算する場合、所望のエネルギー表面は、有効エネルギー位置密度の多くのギガピクセルを含むように設計されることができる。広い視体積、または近視野観察の場合、所望のエネルギー表面の設計パラメータは、数百ギガピクセルまたはそれ以上の有効エネルギー位置密度を含むことができる。比較すると、所望のエネルギー源は、入力環境変数に依存して、体積触覚学の超音波伝搬の場合の１～２５０有効ギガピクセルのエネルギー位置密度、またはホログラフィック音響の音響伝搬の場合の３６～３，６００個の有効エネルギー位置のアレイを有するように設計されることができる。注目すべき重要なことは、開示された双方向エネルギー表面アーキテクチャでは、すべての構成要素が、ホログラフィック伝搬を可能にするために、任意のエネルギー領域に対して適切な構造を形成するように構成され得ることである。

【0019】

しかしながら、今日、ホロデックキ（Ｈｏｌｏｄｅｃｋ）を可能にするための主な課題は、利用可能な視覚技術およびエネルギー装置の限界を内包している。音響装置および超音波装置は、それぞれの受容野における感覚的鋭敏さに基づいて所望の密度の大きさに数桁の違いがあるならば、それほど困難なものではないが、その複雑さを軽視すべきではない。ホログラフィックエマルジョンは、所望の密度を上回る解像度を伴って存在し、静止画像内の干渉パターンを符号化するが、これに対して、最先端のディスプレイ装置は、解像度、データ歩留まり、および製造可能性によって制限される。これまで、並外れたディスプレイ装置でも、視力に対してほぼ近いホログラフィック解像度を有する明視野を有意に生成することができなかった。

【0020】

画期的な明視野ディスプレイのための所望の解像度を満たすことが可能な単一のシリコンベースの装置の製造は、現実的ではなく、現在の製造能力を超える極めて複雑な製造プロセスをもたらし得る。既存の複数のディスプレイ装置を一緒にタイル状に並べることに対する制約により、パッケージング、電子機器回路、筐体、光学部品により形成された継ぎ目および間隙、ならびに撮像、コスト、および／またはサイズの観点から結果として必然的に実行不可能な技術となる他の多くの課題をもたらす。

【0021】

本明細書に開示された実施形態は、ホロデッキを構築するための現実世界の道筋を提供することができる。

【0022】

ここで、これ以降の本明細書に、添付図面を参照して、実施形態例について説明するが、添付図面は、本明細書の一部を形成し、実施することが可能な実施形態例を示している。本開示および付属の特許請求の範囲の中で使用されているように、「実施形態」、「実施形態例」、および「例示的実施形態」という用語は、必ずしも単一の実施形態を指しているわけではないが、それらは単一の実施形態であってもよく、また、様々な実施形態例が、実施形態例の範囲または趣旨から逸脱しなければ、容易に組み合わせられ、交換されることができる。さらに、本明細書内で使用される専門用語は、実施形態例を説明することのみを目的としており、限定されたものであることを意図されていない。この点において、本明細書内で使用されているように、用語「ｉｎ」は、「の中（ｉｎ）」および「の上（ｏｎ）」を含むことができ、用語「ａ」、「ａｎ」、および「ｔｈｅ」は、単数および複数の参照を含み得る。さらに、本明細書内で使用されているように、用語「ｂｙ」は、また、その文脈に応じて「から（ｆｒｏｍ）」をも意味し得る。さらに、本明細書内で使用されているように、用語「ｉｆ」は、また、その文脈に応じて「ｗｈｅｎ（の場合）」または「ｏｎ（のとき）」をも意味し得る。さらに、本明細書内で使用されているように、単語「および／または」は、関連して列挙された項目のうちの１つまたは複数の任意およびすべての可能な組み合わせを指し、包含し得る。

【0023】

［ホログラフィックシステムの考察］
［ライトフィールドエネルギー伝搬解像度の概要］
ライトフィールドおよびホログラフィック表示は、複数の投影の結果であり、ここで、エネルギー表面位置は、視体積内に伝搬された角度、色、および強度の情報を提供する。開示されたエネルギー表面は、追加の情報が同じ表面を通過して共存および伝搬する機会を提供し、他の感覚系応答を誘発する。立体表示とは異なり、空間内の収束エネルギー伝搬経路の視認される位置は、視認者が視体積の周りを移動しても変化せず、多数の視認者が、あたかも対象物が本当にそこに存在するかのように、現実世界の空間内に伝搬された対象物を同時に見ることができる。いくつかの実施形態では、エネルギーの伝搬は、同じエネルギー伝搬経路内に配置されることができるが、反対方向に配置されてもよい。例えば、エネルギー伝搬経路に沿ったエネルギー放出およびエネルギー捕捉は、本開示のいくつかの実施態様では、両方とも可能である。

【0024】

図１は、感覚受容器応答の刺激に関連した変数を例示する概略図である。これらの変数には、表面対角１０１、表面幅１０２、表面高さ１０３、確定したターゲット着座距離１１８、ディスプレイの中心からのターゲット着座視野視野１０４、両眼の間のサンプルとして本明細書に示された中間サンプルの数１０５、成人の瞳孔間の平均離隔距離１０６、人間の目の角度分単位の平均解像度１０７、ターゲット視認者位置と表面幅との間に形成される水平視野１０８、ターゲット視認者位置と表面高さとの間に形成される垂直視野１０９、結果として生じる表面全体の水平導波路素子解像度、または素子の総数１１０、結果として生じる表面全体の垂直導波路素子解像度、または素子の総数１１１、両眼の間における瞳孔間間隔、および両眼の間の角度投影に対する中間サンプル数に基づいたサンプル距離１１２、が含まれ、角度サンプリングは、サンプル距離およびターゲット着座距離に基づくことができ１１３、所望の角度サンプリングから導出された導波路素子当たり総水平解像度１１４、所望の角度サンプリングから導出された導波路素子当たり総垂直解像度１１５、装置水平は、所望の慎重なエネルギー源の確定数のカウントであり１１６、装置垂直は、所望の慎重なエネルギー源の確定数のカウントである１１７。

【0025】

所望の最小解像度を理解するための方法は、視覚（または他の）感覚受容器応答の十分な刺激を保証するための以下の基準、すなわち、表面サイズ（例えば、８４インチ対角線）、表面アスペクト比（例えば、１６：９）、着座距離（例えば、ディスプレイから１２８インチ）、着座視野（例えば、ディスプレイの中心に対して１２０度または±６０度）、ある距離における所望の中間サンプル数（例えば、両眼の間に１つの追加伝搬経路）、成人の瞳孔間の平均離隔距離（ほぼ６５ｍｍ）、および人間の目の平均解像度（ほぼ１角度分）に基づくことができる。これらの例の値は、具体的なアプリケーション設計パラメータに応じたプレースホルダとみなされる必要がある。

【0026】

さらに、視覚感覚受容器に起因する各々の値は、他の系と置き換えられ、所望の伝搬経路パラメータを決定することができる。他のエネルギー伝搬の実施形態の場合、聴覚系の角度感度を３度と低くなるように、また、手の体性感覚系の空間解像度を２～１２ｍｍと小さくなるように考慮することができる。

【0027】

これらの知覚の鋭敏さを測定するための様々な、相反する方法が存在するが、これらの値は、仮想エネルギー伝搬の知覚を刺激するシステムおよび方法を理解するのに十分である。設計解像度を考慮するための多くの方法が存在するが、以下に提案される原理体系は、実用的な製品検討と感覚系の生物学的な解像限界とを組み合わせる。当業者には理解されるように、以下の概要は、かかる任意のシステム設計を単純化したものであり、単なる例示的な目的のみのために考慮されるべきである。

【0028】

感覚系の解像限界が理解されると、以下が与えられれば、受け取る感覚系が、単一のエネルギー導波路素子と隣接する素子とを識別できないように、総エネルギー導波路素子密度を計算することができる。
［数１］

［数２］

［数３］

［数４］

［数５］

［数６］

［数７］

【0029】

上記の計算の結果、ほぼ３２×１８°の視野が得られ、ほぼ１９２０×１０８０個（最も近いフォーマットに丸められた）のエネルギー導波路素子が所望される。また、視野が（ｕ，ｖ）の両方に対して両立し、エネルギー位置のより規則正しい空間サンプリング（例えば、ピクセルアスペクト比）を提供するように、変数を制約することもできる。システムの角度サンプリングが、以下のように与えられた、最適化された距離における２点間で定義されたターゲット視体積位置、および追加伝搬エネルギー経路を仮定する。
［数８］

［数９］

【0030】

この場合、眼間距離を利用してサンプル距離を計算するが、任意の尺度を利用して所与の距離として適切なサンプル数を説明することができる。上記の変数を考慮すると、０．５７°当たりほぼ１本の光線が所望され得、独立した感覚系当たりの系全体の解像度は、以下を考慮すると算出することができる。
［数１０］

［数１１］

［数１２］

【0031】

上記のシナリオを使って、視力システムに対して対処されたエネルギー表面のサイズ、および角度解像度が与えられると、その結果得られるエネルギー表面は、望ましくは、ほぼ４００ｋ×２２５ｋピクセルのエネルギー解像度位置、または９０ギガピクセルのホログラフィック伝搬密度を含むことができる。これらの与えられた変数は、単なる例示的な目的のみのためであり、他の多くの感覚およびエネルギー計測学上の考察は、エネルギーのホログラフィック伝搬の最適化の場合に検討されるべきである。追加の実施形態では、１ギガピクセルのエネルギー解像度位置が、入力変数に基づいて求められ得る。追加の実施形態では、１，０００ギガピクセルのエネルギー解像度位置が、入力変数に基づいて求められ得る。

【0032】

［現在の技術の制限］
［能動領域、装置電子機器回路、パッケージング、および機械的エンベロープ］
図２は、ある特定の機械的形状因子を伴う能動領域２２０を有する装置２００を示す。装置２００は、電力供給のためのドライバ２３０および電子機器回路２４０を含み、能動領域２２０に接続することができ、その能動領域は、ｘおよびｙの矢印により示されるような寸法を有する。この装置２００は、電力および冷却のコンポーネントを駆動するためのケーブル配線および機械的構造を考慮に入れておらず、機械的実装面積は、可撓ケーブルを装置２００の中に導入することによってさらに最小化され得る。また、かかる装置２００の最小実装面積は、Ｍ：ｘおよびＭ：ｙの矢印により示されるような寸法を有する機械的エンベロープ２１０と呼ばれることもできる。この装置２００は、単に説明目的のみのためであり、特定用途向け電子機器回路設計は、機械的エンベロープ間接費をさらに減少させ得るが、ほとんどすべての場合において、装置の能動領域の正確なサイズとはなり得ない。一実施形態では、この装置２００は、マイクロＯＬＥＤ、ＤＬＰチップ、もしくはＬＣＤパネル、または画像照明の目的を有する他の任意の技術に対する能動画像領域２２０と関連するため、電子機器回路の依存性を示す。

【0033】

いくつかの実施形態では、より大規模な全体ディスプレイ上に複数の画像を集約するために、他の投影技術を検討することも可能となり得る。しかしながら、このことは、投写距離、最小焦点、光学品質、均一なフィールド解像度、色収差、熱特性、較正、位置合わせ、追加サイズ、または形状因子がより複雑になることのコストをもたらし得る。最も実用的な応用の場合、数十または数百個のこれらの投影ソース２００をホストとして機能させることは、結果として、より信頼性が低く、より大規模な設計となり得る。

【0034】

単に例示的な目的だけのため、３８４０×２１６０サイトのエネルギー位置密度を有するエネルギー装置を仮定すると、以下に与えられたエネルギー表面に対して所望される個別のエネルギー装置（例えば、装置１００）の数を算出することができる。
［数１３］

［数１４］

【0035】

上記の解像度の考慮を前提とすると、図２に示すものと同様の、ほぼ１０５×１０５個の装置が所望され得る。数多くの装置が、規則正しい格子状にマッピングされ、またはマッピングされなくてもよいような様々なピクセル構造体から構成されることに注意されたい。各完全なピクセル内に追加のサブピクセルまたは位置が存在するという場合には、これらは、活用され、追加の解像度または角度密度を生成することができる。追加の信号処理を使用して、ピクセル構造体の指定された位置に応じて、ライトフィールドを正しい（ｕ，ｖ）座標に変換する方法を決定することができ、各装置の、既知の、較正された明示的な特性とすることができる。さらに、他のエネルギー領域は、これらの比率および装置構造の異なる取り扱いを必要とし得、当業者は、所望の周波数領域のそれぞれの間にある直接的な内在的関係を理解するであろう。これについては、以降の開示の中でより詳細に示され、考察されるであろう。

【0036】

結果得られた計算を使用して、最大解像度エネルギー表面を生成するには、これらの個別の装置のうちのどれだけの個数が所望され得るかを理解することができる。この場合、視力閾値を達成するには、ほぼ１０５×１０５個、またはほぼ１１，０８０個の装置が所望され得る。十分な感覚ホログラフィック伝搬のためにこれらの利用可能なエネルギー位置からシームレスなエネルギー表面を作り出すことの中には、挑戦および斬新さが存在する。

【0037】

［シームレスなエネルギー表面の概要］
［アレイエネルギーリレーの構成および設計］
いくつかの実施態様では、各装置の機械的構造の制約による継ぎ目がない個別装置のアレイから高エネルギー位置強度を生成する課題に対処するためのアプローチについて開示されている。一実施形態では、エネルギー伝搬リレーシステムにより、能動装置領域の有効サイズを増加させることが、機械的寸法を満たすか、または超過することを可能にして、リレーのアレイを構成し、かつ単一のシームレスなエネルギー表面を形成することができる。

【0038】

図３は、かかるエネルギーリレーシステム３００の一実施形態を示す。図に示すように、リレーシステム３００は、機械的エンベロープ３２０に搭載された装置３１０を含み得、エネルギーリレー素子３３０が、装置３１０からエネルギーを伝搬させる。リレー素子３３０は、装置の複数の機械的エンベロープ３２０が複数の装置３１０のアレイ中に配置されているときに生じ得る任意の間隙３４０を減らす機能を提供するように構成されることができる。

【0039】

例えば、装置の能動領域３１０が２０ｍｍ×１０ｍｍであり、機械的エンベロープ３２０が４０ｍｍ×２０ｍｍである場合、エネルギーリレー素子３３０は、２：１の倍率で設計されて、縮小端部（矢印Ａ）において約２０ｍｍ×１０ｍｍ、拡大端部（矢印Ｂ）において４０ｍｍ×２０ｍｍであるテーパ形状を作り出すことができ、各装置３１０の機械的エンベロープ３２０を変更または衝突させることなく、これらの素子３３０のアレイを一緒にシームレスに整列させる能力を提供し得る。機械的に、リレー素子３３０は、一緒に接合または融着され、各装置３１０間の最低限の継ぎ目間隙３４０を保証しながら整列され、かつ研磨されることができる。かかる一実施形態では、目の視力限界より小さい継ぎ目間隙３４０を達成することが可能になる。

【0040】

図４は、一緒に形成され、追加の機械的構造体４３０に確実に固定されたエネルギーリレー素子４１０を有するベース構造体４００の一例を示す。シームレスなエネルギー表面４２０の機械的構造体は、複数のエネルギーリレー素子４１０、４５０を、リレー素子４１０、４５０を搭載するための結合または他の機械的プロセスを通じて、同じベース構造体に直列に結合する機能を提供する。いくつかの実施態様では、各リレー素子４１０は、融着され、結合され、接着され、圧力嵌合され、整列され、またはそれ以外では、一緒に取り付けられて、その結果得られるシームレスなエネルギー表面４２０を形成することができる。いくつかの実施態様では、装置４８０は、リレー素子４１０の後部に搭載され、決められた公差を維持する範囲内で適切なエネルギー位置に調芯することを保証するように、パッシブまたはアクティブ調芯されることができる。

【0041】

一実施形態では、シームレスなエネルギー表面は、１つまたは複数のエネルギー位置を含み、１つまたは複数のエネルギーリレー素子スタックは、第１および第２の側面を含み、各エネルギーリレー素子スタックは、１つまたは複数のエネルギー位置とシームレスなエネルギー表面との間で拡大する伝搬経路に沿ってエネルギーを指向する単一のシームレスなエネルギー表面を形成するように配置され、ここで、終端エネルギーリレー素子の任意の２つの隣接する第２の側面の端部間距離は、単一のシームレスなエネルギー表面の幅より大きい距離において視力２０／４０よりも良好な人間の視力によって定義されるような最小の認知可能な輪郭よりも小さい。

【0042】

一実施形態では、シームレスなエネルギー表面の各々は、横方向および長手方向に第１および第２の表面を形成する１つまたは複数の構造体をそれぞれ有する１つまたは複数のエネルギーリレー素子を含む。第１のリレー表面は、結果として正または負の倍率となる第２のリレー表面と異なる領域を有し、第２のリレー表面全体を横切る表面輪郭の法線に対して±１０度の角度を実質的に満たすように、第２のリレー表面を通ってエネルギーを通過させる第１および第２のリレー表面の両方に対して明白な表面輪郭を伴って構成される。

【0043】

一実施形態では、複数のエネルギー領域は、視覚、聴覚、触覚、または他のエネルギー領域を含む１つまたは複数の感覚ホログラフィックエネルギー伝搬経路を指向するように、単一エネルギーリレー内、または複数のエネルギーリレーの間に構成され得る。

【0044】

一実施形態では、シームレスなエネルギー表面は、１つまたは複数のエネルギー領域を同時に受信および放出の両方を行って、そのシステム全体にわたって双方向のエネルギー伝搬を提供するように、各第２の側面に対する２つ以上の第１の側面を含むエネルギーリレーで構成される。

【0045】

一実施形態では、エネルギーリレーは、ゆるやかなコヒーレント素子として提供される。

【0046】

［コンポーネント加工構造体概論：
横方向アンダーソン局在エネルギーリレーに関する開示された進展］
エネルギーリレーの特性は、横方向アンダーソン局在を誘発させるエネルギーリレー素子の本明細書に開示された原理に従って大幅に最適化されることができる。横方向アンダーソン局在は、横方向には無秩序であるが長手方向には一貫性のある物質を通過して輸送される光線の伝搬である。

【0047】

これは、アンダーソン局在現象を生じさせる物質の影響が、波の干渉が横方向の伝搬を完全に制限し得る一方で長手方向の伝搬を継続するような多重散乱経路間のランダム化によるよりも、全反射による影響を受けにくい可能性があることを意味している。

【0048】

追加の重要な利点としては、従来のマルチコア光ファイバ材料のクラッドを除去することである。このクラッドは、ファイバ間のエネルギーの散乱を機能的に除去するが、同時に光線エネルギーに対する障壁として機能し、これによって少なくともコア対クラッド比（例えば、７０：３０のコア対クラッド比では、受信されたエネルギー伝送のうちの最大７０％で送信し得る）まで伝送を減少させ、伝搬されたエネルギー内にピクセル化パターニングをさらに形成する。

【0049】

図５Ａは、かかる１つの非アンダーソン局在エネルギーリレー５００の一例の端面図を示し、ここでは、画像が、光ファイバの固有の特性のためにピクセル化およびファイバノイズが現れ得るマルチコア光ファイバを介して中継されている。従来のマルチモードおよびマルチコア光ファイバを使うと、中継された画像は、離散的なアレイコアの全反射特性のために本質的にピクセル化されやすく、そこでは、任意のコア間クロストークが変調伝達関数を低下させ、かつ輪郭ボケを増加させ得る。従来のマルチコア光ファイバを使って結果として生成された画像は、図３に示すものと同様の残留固定ノイズファイバパターンを有する傾向がある。

【0050】

図５Ｂは、横方向アンダーソン局在の特性を示す材料を含むエネルギーリレーを通過する同じ中継画像５５０の一例を示し、ここでは、中継パターンが、図５Ａの固定されたファイバパターンと比較して、より大きな密度の粒子構造を有する。一実施形態では、ランダム化された微小コンポーネント加工構造体を含むリレーは、横方向アンダーソン局在を誘発し、市販のマルチモードガラス光ファイバよりも高い解決可能な解像度の伝搬で光をより効率的に輸送する。

【0051】

コストおよび重量の両方に関して、横方向アンダーソン局在材料特性には大きな利点があり、ここで、同様の光学グレードのガラス材料が、一実施形態内で生成された同じ材料のコストよりも１０～１００倍以上のコストおよび重量がかかる可能性があり、ここでは、開示されたシステムおよび方法は、当技術分野で既知の他の技術に勝ってコストおよび品質の両方を改善する重要な機会を示すランダム化された微小コンポーネント加工構造体を含む。

【0052】

一実施形態では、横方向アンダーソン局在を示すリレー素子は、一次元格子状に配置された３つの各々の直交平面内に、複数の少なくとも２つの異なるコンポーネント加工構造体を含むことができ、その複数の構造体は、一次元格子内の横方向平面内の物質波伝搬特性のランダム化された分布、および一次元格子内の長手方向平面内の物質波伝搬特性の同値チャネルを形成し、そこでは、エネルギーリレーを通過して伝搬する局在エネルギー波が、横方向に対して長手方向により高い輸送効率を有する。

【0053】

一実施形態では、複数のエネルギー領域は、単一の横方向アンダーソン局在エネルギーリレー内、または複数の横方向アンダーソン局在エネルギーリレーの間に構成され、視覚、聴覚、触覚、または他のエネルギー領域を含む１つまたは複数の感覚ホログラフィックエネルギー伝搬経路を指向することができる。

【0054】

一実施形態では、シームレスなエネルギー表面は、１つまたは複数のエネルギー領域を同時に受信および放出の両方を行って、そのシステム全体にわたって双方向のエネルギー伝搬を提供するように、各第２の側面に対して２つ以上の第１の側面を含む横方向アンダーソン局在エネルギーリレーで構成される。

【0055】

一実施形態では、横方向アンダーソン局在エネルギーリレーは、ゆるやかなコヒーレント素子、またはフレキシブルなエネルギーリレー素子として構成されている。

【0056】

［４Ｄプレノプティック関数に関する考察］
［ホログラフィック導波路アレイを通過するエネルギーの選択的伝搬］
上記および本明細書全体にわたって考察されているように、ライトフィールドディスプレイシステムは、一般に、エネルギー源（例えば、照明源）、および上記の考察で明確に示したような、十分なエネルギー位置密度で構成されたシームレスなエネルギー表面を含む。複数のリレー素子を使用して、エネルギー装置からシームレスなエネルギー表面にエネルギーを中継することができる。一旦、エネルギーが所要のエネルギー位置密度を有するシームレスなエネルギー表面に送達されると、エネルギーは、開示されたエネルギー導波路システムを介して４Ｄプレノプティック関数に従って伝搬されることができる。当業者により理解されるように、４Ｄプレノプティック関数は、当技術分野で公知であり、本明細書では、これ以上詳述しない。

【0057】

エネルギー導波路システムは、４Ｄプレノプティック関数の角度コンポーネントを表すことを通じて通過するエネルギー波の角度方向を変化させるように構成された構造体と共に、４Ｄプレノプティック関数の空間座標を表すシームレスなエネルギー表面に沿って複数のエネルギー位置を通過するエネルギーを選択的に伝搬させ、ここでは、伝搬されたエネルギー波は、４Ｄプレノプティック関数により指向された複数の伝搬経路に従って空間に収束することができる。

【0058】

ここで、４Ｄプレノプティック関数に従って、４Ｄ画像空間におけるライトフィールドエネルギー表面の一例を示した図６を参照する。この図は、エネルギーの光線が視体積内の様々な位置から空間６３０内でどのように収束するかを説明する際の視認者６２０へのエネルギー表面６００の光線追跡を示している。図に示すように、各導波路素子６１０は、エネルギー表面６００を通過するエネルギー伝搬６４０を説明する４次元情報を規定する。２つの空間次元（本明細書では、ｘおよびｙと呼ばれる）は、画像空間内で観察され得る物理的な複数のエネルギー位置、および角度成分θおよびφ（本明細書では、ｕおよびｖと呼ばれる）であり、このことは、エネルギー導波路アレイを通過して投影されるときに仮想空間内で観察される。通常、および４Ｄプレノプティック関数によれば、複数の導波路（例えば、小型レンズ）は、本明細書に記載されたホログラフィックまたはライトフィールドシステムを形成する際、ｕ、ｖ角度成分により定義された方向に沿って、ｘ、ｙ次元から仮想空間内の特定の位置にエネルギー位置を指向することができる。

【0059】

しかしながら、当業者であれば、ライトフィールドおよびホログラフィックディスプレイ技術に対する重要な課題は、回折、散乱、拡散、角度方向、較正、焦点、視準、曲率、均一性、素子クロストーク、ならびに減少する有効解像度ならびに極めて忠実にエネルギーを正確に収束させることができないことの一因となる他の多数のパラメータのいずれかを正確に考慮しなかった設計のために、制御されていないエネルギー伝搬を引き起こすことを理解するであろう。

【0060】

一実施形態では、ホログラフィックディスプレイに関する課題に対処するための選択的エネルギー伝搬へのアプローチは、エネルギー抑制素子、および４Ｄプレノプティック関数により画成された環境の中に、導波路の開口部をほぼ平行化されたエネルギーで実質的に満たすことを含み得る。

【0061】

一実施形態では、エネルギー導波路のアレイは、単一の導波路素子のみを通過するように各エネルギー位置の伝搬を制限するよう位置付けられた１つまたは複数の素子によって抑制されたシームレスなエネルギー表面に沿った複数のエネルギー位置に向う、所定の４Ｄ関数によって画成された固有の方向に、導波路素子の有効口径を貫通して、この有効口径を実質的に満たすように構成された各導波路素子のための複数のエネルギー伝搬経路を画成することができる。

【0062】

一実施形態では、複数のエネルギー領域は、視覚、聴覚、触覚、または他のエネルギー領域を含む１つまたは複数の感覚ホログラフィックエネルギー伝搬を指向するように、単一エネルギー導波路内、または複数のエネルギー導波路の間に構成され得る。

【0063】

一実施形態では、エネルギー導波路およびシームレスなエネルギー表面は、システム全体にわたって双方向のエネルギー伝搬を提供するように、１つまたは複数のエネルギー領域の受信および放出の両方を行うように構成される。

【0064】

一実施形態では、エネルギー導波路は、非線形または不規則分布のエネルギーを伝搬するように構成され、ｎｏｎ－ｔｒａｎｓｍｉｔｔｉｎｇ ｖｏｉｄ ｒｅｇｉｏｎｓ、ｌｅｖｅｒａｇｉｎｇ ｄｉｇｉｔａｌｌｙ ｅｎｃｏｄｅｄ、回折、屈折、反射、ＧＲＩＮ、ホログラフィック、フレネルなどの、壁、テーブル、床、天井、部屋、または他の形状ベースの環境を含む任意のシームレスなエネルギー表面の向きのための導波路構成を含む。追加の実施形態では、エネルギー導波路素子は、３６０度構成で、ユーザーがエネルギー表面の周りのいたるところからからホログラフィック画像を見ることを可能にする、任意の表面プロファイルおよび／または卓上観察を提供する、様々な形状を生成するように構成され得る。

【0065】

一実施形態では、エネルギー導波路アレイ素子は、反射面とすることができ、素子の配置は、六角形、正方形、不規則、半規則、湾曲、非平面、球形、円筒形、傾斜規則、傾斜不規則、空間的に変化、および／または多層化とすることができる。

【0066】

シームレスなエネルギー表面内の任意のコンポーネントについて、導波路またはリレーのコンポーネントには、光ファイバーリレー、シリコンリレー、ガラスリレー、ポリマーリレー、光学リレー、回折素子、ホログラフィック素子、屈折素子または反射素子、光学フェースプレート、エネルギー結合器、ビームスプリッタ、プリズム、偏光素子、空間光変調器、アクティブピクセル、液晶セル、透明ディスプレイ、またはアンダーソン局在または全反射を示す任意の同様の材料が含まれ得るが、これらに限定されない。

【0067】

［ホロデッキの実現：
ホログラフィック環境内で人間の感覚受容器を刺激するための双方向シームレスエネルギー表面システムの集約］
複数のシームレスなエネルギー表面を一緒にタイル状に張り、融合し、接着し、貼付し、および／または縫い合わせて、部屋全体を含む任意のサイズ、形状、輪郭または形状因子を形成することによって、シームレスエネルギー表面システムの大規模環境を構築することができる。各エネルギー表面システムは、双方向ホログラフィックエネルギー伝搬、放出、反射、または感知用に集合的に構成された、ベース構造体、エネルギー表面、リレー、導波路、デバイス、および電子機器回路を有するアセンブリを備え得る。

【0068】

一実施形態では、タイル状のシームレスエネルギーシステムの環境は、所与の環境内の全表面までを含んだ装置を含む大きなシームレス平面壁または湾曲壁を形成するように集約され、シームレス、不連続平面状、切子面状、湾曲、円筒状、球形、幾何学的、または不規則な形状の任意の組み合わせとして構成される。

【0069】

一実施形態では、平坦な表面の集合タイルは、劇場用または会場ベースのホログラフィックエンターテイメント用の壁サイズのシステムを形成する。一実施形態では、平坦な表面の集合タイルは、洞窟ベースのホログラフィック装置のための天井と床の両方を含む４～６つの壁を有する部屋を覆う。一実施形態では、湾曲した表面の集合タイルは、没入型ホログラフィック装置のための円筒形のシームレス環境を作り出す。一実施形態では、シームレスな球面の集合タイルは、没入型ホロデッキベースの経験のためのホログラフィックドームを形成する。

【0070】

一実施形態では、シームレスな湾曲したエネルギー導波路の集合タイルは、エネルギー導波路構造体内のエネルギー抑制素子の境界に沿った正確なパターンに従った機械的エッジを提供し、隣接する導波路表面の隣接するタイル状の機械的エッジを接着、整列、または融合させて、モジュール式のシームレスなエネルギー導波路システムをもたらす。

【0071】

集合タイル状環境のさらなる実施形態では、エネルギーは、複数の同時エネルギー領域に対して双方向に伝搬される。追加の実施形態では、エネルギー面は、ライトフィールドデータが照明源によって導波路を通じて投影され、同時に同じエネルギー表面を通じて受信され得るように設計された導波路を用いて、同じエネルギー表面から同時に表示および捕捉する能力を提供する。追加の実施形態では、追加の深さ検知および能動スキャニング技術を利用して、正しいワールド座標におけるエネルギー伝搬と視認者との間の相互作用を可能にすることができる。追加の実施形態では、エネルギー表面および導波路は、触覚または体積触覚のフィードバックを誘発するために、周波数を放射、反射または収束するように動作可能である。いくつかの実施形態では、双方向エネルギー伝搬と集合表面との任意の組み合わせが可能である。

【0072】

一実施形態では、このシステムは、シームレスなエネルギー表面の同じ部分に対して、少なくとも２つのエネルギー装置を対にするために、２つ以上の経路のエネルギー結合器と独立に対にされた１つまたは複数のエネルギー装置を有するエネルギー表面を通して、エネルギーの双方向の放出および検知が可能なエネルギー導波路を備える、または１つまたは複数のエネルギー装置が、エネルギー表面の後ろの、ベース構造体に固定された追加のコンポーネントに近接して、または軸外直接または反射投影もしくは感知のための導波路のＦＯＶの前および外部の位置に近接して固定されており、結果得られたエネルギー表面が、導波路がエネルギーを収束すること、第１の装置がエネルギーを放出すること、および第２の装置がエネルギーを検知することを可能にし、ここで、情報は、伝搬されたエネルギーパターン内の干渉の、目および網膜による４Ｄプレノプティック追跡または検知、深度予測、近接、動き追跡、画像、色または音の形成、または他のエネルギー周波数解析を含むがこれらに限定されない、コンピュータビジョンに関連したタスクを実行するように処理される。さらなる実施形態では、追跡された位置は、双方向捕捉データと投影情報との間の干渉に基づいて、エネルギーの位置を能動的に計算し修正する。

【0073】

いくつかの実施形態では、超音波センサ、可視エネルギーディスプレイ、および超音波放射装置を含む３つのエネルギー装置の複数の組み合わせは、単一の第２のエネルギーリレー表面に結合されたエネルギーを伝搬する３つの第１のリレー表面の各々のために共に構成されており、この３つの第１の表面の各々は、各装置のエネルギー領域に特有の設計された特性を含み、２つの設計された導波路素子は、各装置のエネルギーを独立に、および別のエネルギー領域用に構成された他の導波路素子によって実質的に影響されないように、指向および収束させる能力を提供するように、超音波およびエネルギー用にそれぞれ構成されている。

【0074】

いくつかの実施形態では、システムアーチファクトを除去し、符号化／復号化技術と共に使用するための、結果得られたエネルギー表面の幾何学的マッピングを生成するために、効率的な製造を可能にする較正手順、および較正された構成ファイルに基づいて、データを、エネルギー伝搬に適切な較正された情報に変換するための専用の統合システムが開示されている。

【0075】

いくつかの実施形態では、直列の追加のエネルギー導波路、および１つまたは複数のエネルギー装置をシステムに統合して、不透明ホログラフィックピクセルを生成することができる。

【0076】

いくつかの実施形態では、導波路の直径よりも大きい空間解像度および／または角度解像度を提供するために、または他の超解像目的で、エネルギー抑制素子、ビームスプリッタ、プリズム、アクティブ視差バリアまたは偏光技術を含む、追加の導波路素子を統合することができる。

【0077】

いくつかの実施形態では、開示されたエネルギーシステムは、仮想現実（ＶＲ）または拡張現実（ＡＲ）などの着用可能な双方向デバイスとして構成することもできる。他の実施形態では、エネルギーシステムは、視認者のために、表示または受信されたエネルギーを、空間内の決定された平面に近接して焦点させる調整光学素子を含むことができる。いくつかの実施形態では、導波路アレイは、ホログラフィックヘッドマウントディスプレイに組み込むことができる。他の実施形態では、システムは、視認者がエネルギーシステムと現実世界の環境の両方を見ることを可能にするために、複数の光路を含むことができる（例えば、透明ホログラフィックディスプレイ）。これらの例では、システムは、他の方法に加えて、近接場として提供され得る。

【0078】

いくつかの実施形態では、データの送信は、情報およびメタデータの任意のデータセットを受信し、このデータセットを分析し、材料特性、ベクトル、表面ＩＤ、よりまばらなデータセットを形成する新しいピクセルデータを受信または割り当てる、選択可能または可変の圧縮比を用いた符号化プロセスを含み、受信されたデータは、２Ｄ、立体、マルチビュー、メタデータ、ライトフィールド、ホログラフィック、形状、ベクトルまたはベクトル化されたメタデータを含むことができ、符号器／復号器は、２Ｄ、２Ｄプラス深度、メタデータ、または他のベクトル化された情報、立体、立体プラス深度、メタデータ、または他のベクトル化された情報、マルチビュー、マルチビュープラス深度、メタデータ、または他のベクトル化された情報、ホログラフィック、またはライトフィールドコンテンツのための画像処理を含む、深度メタデータありまたはなしの深度推定アルゴリズムを通じて、データをリアルタイムまたはオフラインで変換する能力を提供することができ、 逆光線追跡の方法論は、様々な２Ｄ、立体、マルチビュー、体積、ライトフィールドまたはホログラフィックデータから逆光線追跡によって生成された、結果としての変換されたデータを、特徴付けられた４Ｄプレノプティック関数を通じて現実世界に適切にマッピングする。これらの実施形態では、所望の総データ送信は、生のライトフィールドデータセットよりも送信された情報が複数桁少なくなり得る。

【0079】

［ホログラフィック感覚データの提示に適したエネルギー指向装置］
一実施形態では、光学機械式表示装置は、光を放射および誘導して、２Ｄ、立体、マルチビュー、プレノプティック、４Ｄ、体積、ライトフィールド、ホログラフィック、または任意の他の光の視覚的表現を形成することができる。

【0080】

図７Ａは、発光型表示装置、光学リレー、およびマイクロレンズアレイなどの屈折素子のアレイとして実現される導波路を用いて構成された場合のライトフィールド光学機械システムの一例であり、１つまたは複数のディスプレイからの可視画像は、光学的に中継された後にエネルギー表面に送信され得、屈折素子のアレイは、４Ｄ体積ライトフィールド画像が投影され得るように、エネルギー表面上の各位置とその位置からの光の投射方向との間のマッピングを提供する。

【0081】

一実施形態では、導波路は、観察者の視点から、輻輳と遠近調節の両方を引き起こすように光線を収束させるように動作可能であり得る。

【0082】

一実施形態では、導波路およびエネルギーリレーは、様々な表面形状を有して形成または研磨され得る。一実施形態では、エネルギーリレーは、横方向アンダーソン局在を誘発する素子を含む。一実施形態では、エネルギーリレーは双方向性であり、エネルギーを放出および／または投影することができる。

【0083】

一実施形態では、４次元（４Ｄ）プレノプティック関数に従って、エネルギーを指向するように構成されたエネルギーシステムは、複数のエネルギー装置を含む。いくつかの実施形態では、複数のエネルギー装置は、画像情報を放出する照明源を含んでおり、この画像情報は、可視、ＩＲ、ＵＶ、コヒーレント、レーザ、赤外線、偏光、または任意の他の電磁照明源を利用する、発光、投影、または反射ディスプレイ技術を含んでいる。他の実施形態では、複数のエネルギー装置は、音場から没入型音声または体積触覚を提供するように構成された機械的エネルギー放出装置を含む。

【0084】

いくつかの実施形態では、上記のように構成されたエネルギーシステムは、複数のエネルギー装置、エネルギーリレーシステム、およびエネルギー導波路システムがすべてベース構造体に結合され得るように、ベース構造体（例えば７２）をさらに含み得る。他の実施形態では、複数のエネルギー装置、エネルギーリレーシステム、およびエネルギー導波路システムは、１つまたは複数の取り付けブラケットを用いてベース構造体に結合することができる。

【0085】

いくつかの実施形態では、複数のエネルギー装置は、機械的、化学、伝達、熱、電気、ポテンシャル、運動、磁気、重力、放射、エネルギー、構造化、非構造化、または他の形態のエネルギーを含む、エネルギーを捕捉または検知するためのエネルギー装置を含む。他の実施形態では、複数のエネルギー装置は、機械的、化学、伝達、熱、電気、ポテンシャル、運動、磁気、重力、放射、エネルギー、構造化、非構造化、または他の形態のエネルギーを含む、エネルギーを伝搬または放出するためのエネルギー装置を含む。さらに他の実施形態では、複数のエネルギー装置は、感覚フィードバックまたは可聴制御を提供するように構成された音響受信装置を含む。

【0086】

一実施形態では、エネルギーシステムは、１つまたは複数のエネルギーリレー素子を有するエネルギーリレーシステム（例えば、図７Ｂに最もよく示される６１１０）をさらに含み、１つまたは複数のエネルギーリレー素子の各々は第１の表面および第２の表面を含み、１つまたは複数のエネルギーリレー素子の第２の表面は、エネルギーリレーシステムの単一のシームレスなエネルギー表面を形成するように配置され、第１の複数のエネルギー伝搬経路は、複数のエネルギー装置内のエネルギー位置からエネルギーリレーシステムの単一のシームレスなエネルギー表面を通って延在する。これについては、以下でより詳細に考察する。

【0087】

ここで、本開示の一実施形態による、エネルギーリレーシステム６１１０を直交ビューで示した図７Ｂを参照する。一実施形態では、エネルギーリレーシステム６１１０は、２つ以上のリレー素子６１１２を含むことができ、各リレー素子６１１２は、１つまたは複数の構造体で形成され、各リレー素子６１１２は、第１の表面６１１４、第２の表面６１１６、横方向（一般に、表面６１１４，６１１６に平行）および長手方向（一般に、表面６１１４、６１１６に対して垂直）を有する。一実施形態では、第１の表面６１１４の表面積は、第２の表面６１１６の表面積とは異なり得る。例えば、第１の表面６１１４の表面積は、第２の表面６１１６の表面積より大きくても小さくてもよい。別の実施形態では、第１の表面１１４の表面積は、第２の表面６１１６の表面積と同じであり得る。エネルギー波は、第１の表面６１１４から第２の表面６１１６へ、またはその逆に通過することができる。

【0088】

一実施形態では、エネルギーリレーシステム６１１０のリレー素子６１１２は、第１の表面６１１４と第２の表面６１１６との間に傾斜した輪郭部分６１１８を含む。動作中、第１の表面６１１４と第２の表面６１１６との間を伝搬するエネルギー波は、横方向よりも長手方向の方が高い輸送効率を有することができ、リレー素子６１１２を通過するエネルギー波は、空間拡大率または空間縮小率をもたらすことができる。言い換えれば、リレー素子装置６１１０のリレー素子６１１２を通過するエネルギー波は、増大した拡大率または減少した縮小率を経験する可能性がある。いくつかの実施形態では、エネルギーリレー素子６１１０を形成するための１つまたは複数の構造体は、ガラス、カーボン、光ファイバ、光学フィルム、プラスチック、ポリマー、またはそれらの混合物を含み得る。

【0089】

一実施形態では、第１の表面６１１４を通過するエネルギー波は第１の解像度を有し、第２の表面６１１６を通過するエネルギー波は第２の解像度を有し、第２の解像度は第１の解像度の約５０％以上である。別の実施形態では、エネルギー波は、第１の表面に提供されたときには均一なプロファイルを有するが、第２のリレー表面の位置に関係なく、第２の表面の法線に対して±１０度の開き角を有するコーンを実質的に満たす、前方方向のエネルギー密度であらゆる方向に放射しながら第２の表面を通過することができる。

【0090】

いくつかの実施形態では、第１の表面６１１４は、エネルギー波源からエネルギーを受信するように構成することができ、エネルギー波源は、第１の表面６１１４および第２の表面６１１６のうちの少なくとも１つの幅とは異なる幅を有する機械的エンベロープを含む。

【0091】

各リレー６１１２において、エネルギーは、長手方向を画定する第１および第２の表面の間で輸送され、リレーの各々の第１および第２の表面は一般に、第１および第２の方向によって画定される横方向に沿って延在し、長手方向は、横方向に対して実質的に垂直である。一実施形態では、複数のリレーを通って伝搬するエネルギー波は、長手方向の最小屈折率変動と相まって横方向のランダム屈折率変動のために、横方向よりも長手方向の方が高い輸送効率を有する。各リレーがマルチコアファイバで構築されているいくつかの実施形態では、各リレー素子内を伝搬するエネルギー波は、この向きのファイバの配列によって決定される長手方向に進行し得る。

【0092】

一実施形態では、終端エネルギーリレー素子の任意の２つの隣接する第２の側面の端部間の間隔は、単一のシームレスなエネルギー表面の高さ、または単一のシームレスなエネルギー表面の幅のうちの小さいほうよりも大きい、シームレスなエネルギー表面からの距離における視力２０／４０よりも良い値を有する人間の視力によって規定される最小の認知可能な輪郭よりも小さくなり得る。

【0093】

一実施形態では、積層構成の複数のエネルギーリレー素子は、複数のフェースプレートを含むことができる。いくつかの実施形態では、複数のフェースプレートは、異なる長さを有してもよく、またはゆるやかなコヒーレント光学リレーである。他の実施形態では、複数の素子は、図７Ｂのものと同様の傾斜した輪郭部分を有することができ、傾斜した輪郭部分は、傾斜、直線、湾曲、テーパ、切子面状、またはリレー素子の法線軸に対して非直角に配列させ得る。さらに別の実施形態では、複数のリレー素子を通って伝搬するエネルギー波は、長手方向の最小屈折率変動と相まって横方向のランダム屈折率変動のために、横方向よりも長手方向の方が高い輸送効率を有する。各エネルギーリレーがマルチコアファイバで構築されている実施形態では、各リレー素子内を伝搬するエネルギー波は、この向きのファイバの配列によって決定される長手方向に進行し得る。

【0094】

いくつかの実施形態では、１つまたは複数のリレー素子（例えば６１１２）は、融着された、またはタイル状のモザイクを含み、隣接する融着された、またはタイル状のモザイクの間の任意の継ぎ目は、単一のシームレスなエネルギー表面の幅または高さで、またはそれより大きい距離において視力２０／４０よりも良い値を有する人間の視力によって定義されるような最小の認知可能な輪郭によって離隔される、または最小の認知可能な輪郭より小さい。

【0095】

他の実施形態では、１つまたは複数のリレー素子（例えば６１１２）は、光ファイバ、シリコン、ガラス、ポリマー、光学リレー、回折素子、ホログラフィック光学素子、屈折素子、反射素子、光学フェースプレート、光結合器、ビームスプリッタ、プリズム、偏光コンポーネント、空間光変調器、アクティブピクセル、液晶セル、透明ディスプレイ、または単一のシームレスなエネルギー表面を形成するための、アンダーソン局在または全反射特性を有する任意の同様の材料を含む。

【0096】

さらに他の実施形態では、１つまたは複数のリレー素子（例えば６１１２）は、平面、球形、円筒形、円錐形、切子面状、タイル状、規則的、非規則的、または指定されたアプリケーションのための任意の他の幾何学的形状を含む、単一のシームレスなエネルギー表面の形状に適応するように構成される。

【0097】

別の実施形態では、システムは、エネルギー導波路のアレイを有するエネルギー導波路システム（例えば、図７Ｃ～図７Ｌに最もよく示される７１００）をさらに含み、第２の複数のエネルギー伝搬経路は、単一のシームレスなエネルギー表面からエネルギー導波路のアレイを通って、４Ｄプレノプティック関数によって決定される方向に延在する。

【0098】

図７Ｃは、複数のエネルギー伝搬経路７１０８を画成するように動作可能なエネルギー導波路システム７１００の一実施形態のトップダウン透視図を示す。エネルギー導波路システム７１００は、複数のエネルギー伝搬経路７１０８に沿ってエネルギー導波路のアレイ７１１２を通過するようにエネルギーを指向するよう構成されたエネルギー導波路のアレイ７１１２を備える。一実施形態では、複数のエネルギー伝搬経路７１０８は、アレイの第１の側７１１６の複数のエネルギー位置７１１８を通ってアレイの第２の側７１１４まで延びる。

【0099】

図７Ｃおよび図７Ｌを参照すると、一実施形態では、複数のエネルギー伝搬経路７１０８の第１のサブセット７２９０は、第１のエネルギー位置７１２２を通って延びる。第１のエネルギー導波路７１０４は、複数のエネルギー伝搬経路７１０８の第１のサブセット７２９０の第１のエネルギー伝搬経路７１２０に沿ってエネルギーを指向するように構成される。第１のエネルギー伝搬経路７１２０は、第１のエネルギー位置７１２２と第１のエネルギー導波路７１０４との間に形成された第１の主光線７１３８によって画成され得る。第１のエネルギー伝搬経路７１２０は、第１のエネルギー位置７１２２と第１のエネルギー導波路７１０４との間に形成され、それぞれエネルギー伝搬経路７１２０Ａおよび７１２０Ｂに沿って第１のエネルギー導波路７１０４によって指向される光線７１３８Ａおよび７１３８Ｂを含むことができる。第１のエネルギー伝搬経路７１２０は、第１のエネルギー導波路７１０４からアレイの第２の側７１１４に向かって延び得る。一実施形態では、第１のエネルギー伝搬経路７１２０に沿って指向されるエネルギーは、第１の主光線７１３８が第２の側７１１４を通って伝搬される角度と実質的に平行な方向に第１のエネルギー導波路７１０４を通って指向されるエネルギー伝搬経路７１２０Ａと７１２０Ｂとの間またはこれらを含む１つまたは複数のエネルギー伝搬経路を含む。

【0100】

実施形態は、第１のエネルギー伝搬経路７１２０に沿って指向されるエネルギーが、エネルギー伝搬経路７１２０Ａおよび７１２０Ｂ、ならびに第１の主光線７１３８と実質的に平行な方向に第１のエネルギー導波路７１０４を出ることができるように構成され得る。第２の側７１１４のエネルギー導波路素子７１１２を通って延びるエネルギー伝搬経路は、実質的に同様の伝搬方向の複数のエネルギー伝搬経路を含むと仮定することができる。

【0101】

図７Ｄは、エネルギー導波路システム７１００の一実施形態の正面図である。第１のエネルギー伝搬経路７１２０は、少なくとも第１のエネルギー位置７１２２によって決定される、第１のエネルギー導波路７１０４から延びる一意の方向７２０８に、アレイの第２の側７１１４に向かって延び得る。第１のエネルギー導波路７１０４は空間座標７２０４によって定義され得、少なくとも第１のエネルギー位置７１２２によって決定される一意の方向７２０８は、第１のエネルギー伝搬経路７１２０の方向を定義する角度座標７２０６によって定義され得る。空間座標７２０４および角度座標７２０６は、第１のエネルギー伝搬経路７１２０の一意の方向７２０８を定義する４次元プレノプティック座標セット７２１０を形成することができる。

【0102】

一実施形態では、第１のエネルギー導波路７１０４を通って第１のエネルギー伝搬経路７１２０に沿って指向されるエネルギーは、第１のエネルギー導波路７１０４の第１の開口部７１３４を実質的に満たし、エネルギー伝搬経路７１２０Ａと７１２０Ｂとの間に位置し、第１のエネルギー伝搬経路７１２０の方向と平行な１つまたは複数のエネルギー伝搬経路に沿って伝搬する。実施形態では、第１の開口部７１３４を実質的に満たす１つまたは複数のエネルギー伝搬経路は、第１の開口部７１３４の直径の５０％超を含んでもよい。

【0103】

好ましい実施形態では、第１の開口部７１３４を実質的に満たす第１のエネルギー導波路７１０４を通って第１のエネルギー伝搬経路７１２０に沿って指向されるエネルギーは、第１の開口部７１３４の直径の５０％～８０％を含み得る。

【0104】

図７Ｃおよび図７Ｅ～図７Ｌを再び参照すると、一実施形態では、エネルギー導波路システム７１００は、第１の側７１１６と第２の側７１１４との間のエネルギーの伝搬を制限し、隣接する導波路７１１２間のエネルギー伝搬を抑制するように位置付けられた「エネルギー抑制素子７１２４をさらに備え得る。一実施形態では、エネルギー抑制素子は、第１の開口部７１３４を貫通しない、複数のエネルギー伝搬経路７１０８の第１のサブセット７２９０の一部に沿ったエネルギー伝搬を抑制するように構成される。一実施形態では、エネルギー抑制素子７１２４は、第１の側７１１６で、エネルギー導波路７１１２のアレイと複数のエネルギー位置７１１８との間に配置され得る。一実施形態では、エネルギー抑制素子７１２４は、第２の側７１１４で、複数のエネルギー位置７１１８とエネルギー伝搬経路７１０８との間に配置され得る。一実施形態では、エネルギー抑制素子７１２４は、第１の側７１１６または第２の側７１１４で、エネルギー導波路７１１２のアレイまたは複数のエネルギー位置７１１８と直交に配置することができる。

【0105】

一実施形態では、第１のエネルギー伝搬経路７１２０に沿って指向されるエネルギーは、第２のエネルギー導波路７１２８を通る第２のエネルギー伝搬経路７１２６に沿って指向されるエネルギーと収束し得る。第１および第２のエネルギー伝搬経路は、アレイ７１１２の第２の側７１１４の位置７１３０に収束し得る。一実施形態では、第３および第４のエネルギー伝搬経路７１４０、７１４１も、アレイ７１１２の第１の側７１１６の位置７１３２に収束し得る。一実施形態では、第５および第６のエネルギー伝搬経路７１４２、７１４３もまた、アレイ７１１２の第１および第２の側７１１６、７１１４の間の位置７１３６に収束し得る。

【0106】

図７Ｅ～図７Ｌは、エネルギー抑制素子７１２４の様々な実施形態を示す。疑義を避けるために明記すると、これらの実施形態は例示目的で提供されており、決して本開示の範囲内で提供される組み合わせまたは実装の範囲を限定するものではない。

【0107】

図７Ｅは、エネルギー抑制素子７２５１が、エネルギー位置７１１８の表面に隣接して配置され、特定の屈折、回折、反射、または他のエネルギー変更特性を含む、複数のエネルギー位置７１１８の実施形態を示す。エネルギー抑制素子７２５１は、エネルギー伝搬経路７２５２に沿ったエネルギーの伝搬を抑制することによって、エネルギー伝搬経路７２９０の第１のサブセットをより狭い範囲の伝搬経路７２５３に制限するように構成され得る。一実施形態では、エネルギー抑制素子は、１未満の開口数を有するエネルギーリレーである。

【0108】

図７Ｆは、エネルギー抑制構造体７２５４がエネルギー位置７１１８の領域間に直交して配置され、エネルギー抑制構造体７２５４が吸収特性を示し、エネルギー抑制構造体７２５４が、特定のエネルギー伝搬経路７２５５が抑制されるように、エネルギー伝搬経路７２５６に沿って画定された高さを有する、複数のエネルギー位置７１１８の一実施形態を示す。一実施形態では、エネルギー抑制構造体７２５４は六角形の形状である。一実施形態では、エネルギー抑制構造体７２５４は円形である。一実施形態では、エネルギー抑制構造体７２５４は、伝搬経路の任意の向きに沿った形状またはサイズが不均一である。一実施形態では、エネルギー抑制構造体７２５４は、追加の特性を有する別の構造体内に埋め込まれる。

【0109】

図７Ｇは、第１のエネルギー抑制構造体７２５７が、それを通って伝搬するエネルギー７２５９を実質的に第１の状態に配向するように構成された、複数のエネルギー位置７１１８を示す。第２のエネルギー抑制構造体７２５８は、実質的に第１の状態に配向されているエネルギー７２５９がそれを通って伝搬することを可能にし、第１の状態と実質的に異なるように配向されたエネルギー７２６０の伝搬を制限するように構成される。一実施形態では、エネルギー抑制素子７２５７、７２５８はエネルギー偏光素子対である。一実施形態では、エネルギー抑制素子７２５７、７２５８はエネルギー波帯域通過素子対である。一実施形態では、エネルギー抑制素子７２５７、７２５８は回折導波路対である。

【0110】

図７Ｈは、複数のエネルギー位置７１１８のうちのどれを通ってエネルギー伝搬経路７２６３が延びるかに応じて、エネルギー伝搬経路７２６３をある程度変更するようにエネルギー抑制素子７２６１が構成される、複数のエネルギー位置７１１８の一実施形態を示す。エネルギー抑制素子７２６１は、特定のエネルギー伝搬経路７２６２が抑制されるように、エネルギー伝搬経路７２６３に沿って均一または不均一にエネルギー伝搬経路７２６３を変更することができる。エネルギー抑制構造体７２５４はエネルギー位置７１１８の領域間に直交して配置され、エネルギー抑制構造体７２５４は吸収特性を示し、エネルギー抑制構造体７２５４は、特定のエネルギー伝搬経路７２６２が抑制されるように、エネルギー伝搬経路７２６３に沿って画定された高さを有する。一実施形態では、抑制素子７２６１はフィールドレンズである。一実施形態では、抑制素子７２６１は回折導波路である。一実施形態では、抑制素子７２６１は湾曲した導波路表面である。

【0111】

図７Ｉは、エネルギー抑制素子７２６４が、吸収特性を提供してエネルギー７２６６の伝搬を制限しながら、他の伝搬経路７２６７を通過可能にする、複数のエネルギー位置７１１８の一実施形態を示す。

【0112】

図７Ｊは、第１のエネルギー抑制構造体７２６８が、それを通って伝搬するエネルギー７２７０を実質的に第１の状態に配向するように構成された、複数のエネルギー位置７１１８、および複数のエネルギー導波路７１１２の一実施形態を示す。第２のエネルギー抑制構造体７２７１は、実質的に第１の状態に配向されているエネルギー７２７０が、それを通って伝搬することを可能にし、第１の状態と実質的に異なるように配向されたエネルギー７２６９の伝搬を制限するように構成される。漂遊エネルギー伝搬７２７２によって例示される、システムを通るエネルギー伝搬をさらに制御するために、エネルギー抑制構造体７２６８、７２７１は、エネルギー伝搬が正確な伝搬経路を維持することを確実にするために、複合エネルギー抑制素子を必要とし得る。

【0113】

図７Ｋは、エネルギー抑制素子７２７６は、吸収特性を提供してエネルギー伝搬経路７２７８に沿ったエネルギーの伝搬を制限しながら、エネルギー伝搬経路７２７７に沿った他のエネルギーが、導波路７１１２のアレイ内の有効開口部７２８４のための一対のエネルギー導波路７１１２を通過することを可能にする、複数のエネルギー位置７１１８の一実施形態を示す。一実施形態では、エネルギー抑制素子７２７６はブラッククロムを含む。一実施形態では、エネルギー抑制素子７２７６は吸収性材料を含む。一実施形態では、エネルギー抑制素子７２７６は透明画素アレイを含む。一実施形態では、エネルギー抑制素子７２７６は陽極酸化材料を含む。

【0114】

図７Ｌは、第１のエネルギー抑制構造体７２５１が、エネルギー位置７１１８の表面に隣接して配置され、特定の屈折、回折、反射、または他のエネルギー変更特性を含む、複数のエネルギー位置７１１８および複数のエネルギー導波路７１１２を含む一実施形態を示す。エネルギー抑制構造体７２５１は、エネルギー伝搬経路７２７４に沿ったエネルギーの伝搬を抑制することによって、エネルギー伝搬経路７２９０の第１のサブセットをより狭い範囲の伝搬経路７２７５に制限するように構成され得る。第２のエネルギー抑制構造体７２６１は、エネルギー伝搬経路７２７５が複数のエネルギー位置７１１８のうちのどれを通って延びるかに応じて、エネルギー伝搬経路７２７５をある程度変更するように構成される。エネルギー抑制構造体７２６１は、特定のエネルギー伝搬経路７２７４が抑制されるように、エネルギー伝搬経路７２７５を均一または不均一に変更することができる。第３のエネルギー抑制構造体７２５４は、エネルギー位置７１１８の領域間に直交して配置されている。エネルギー抑制構造体７２５４は、吸収特性を示し、特定のエネルギー伝搬経路７２７４が抑制されるようにエネルギー伝搬経路７２７５に沿って画定された高さを有する。エネルギー抑制素子７２７６は、吸収特性を提供してエネルギー２８０の伝搬を制限しながら、エネルギー７２８１の通過を可能にする。類似または異なる導波路素子７１１２の複合システムは、導波路素子の有効開口部７２８５を複数のエネルギー位置７１１８からのエネルギーで実質的に満たし、特定のシステムによって画定されるエネルギーの伝搬経路７２７３を変更するように位置付けられる。

【0115】

一実施形態では、エネルギー抑制構造体７１２４は、第１のエネルギー位置７１２２に近接して配置され、一般に第１のエネルギー導波路７１０４に向かって延在し得る。一実施形態では、エネルギー抑制構造体７１２４は、第１のエネルギー導波路７１０４に近接して配置され、一般に第１のエネルギー位置７１２２に向かって延在し得る。

【0116】

一実施形態では、エネルギーシステムは、第２の複数のエネルギー伝搬経路に沿ったエネルギーを、エネルギー導波路システムを通って単一のシームレスなエネルギー表面に指向し、第１の複数のエネルギー伝搬経路に沿ったエネルギーを、単一のシームレスなエネルギー表面からエネルギーリレーシステムを通って複数のエネルギー装置に指向するように構成される。

【0117】

別の実施形態では、エネルギーシステムは、第１の複数のエネルギー伝搬経路に沿ったエネルギーを、複数のエネルギー装置からエネルギーリレーシステムを通って単一のシームレスなエネルギー表面に指向し、第２の複数のエネルギー伝搬経路に沿ったエネルギーを、単一のシームレスなエネルギー表面からエネルギー導波路システムを通るように指向するように構成される。

【0118】

さらに別の実施形態では、単一のシームレスなエネルギー表面は、局所的な光透過を３つ以下の波長の可視光に規制するように動作可能である。

【0119】

［ホログラフィックディスプレイに好適な感覚データ］
エネルギー指向表面からの表面を通るプレノプティック４Ｄ関数は、エネルギー位置を含み、エネルギー伝搬経路のベクトルｆ_ｌ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）を定義する導波パラメータｕ_ｌ、ｖ_ｌを含む第２の面に沿って第２の座標を通して指向される、第１の表面から２つの空間座標ｘ_ｌ、ｙ_ｌを提供する。複数のエネルギー指向表面を考慮すると、プレノプティック５Ｄ関数は、１つまたは複数のエネルギー位置を含み、エネルギー伝搬経路のベクトルｆ_ｌ（ｘ_ｌ、ｙ_ｌ、ｚ_ｌ、ｕ_ｌ、ｖ_ｌ）を定義する導波パラメータｕ_ｌ、ｖ_ｌを含む面に沿って第２の座標を通して指向される、第１の座標から３つの空間座標ｘ_ｌ、ｙ_ｌ、ｚ_ｌを提供する。４Ｄまたは５Ｄのそれぞれについて、関数の簡略化および考察のために明示的に注記されていなくても、時間および色のための追加の変数ｆ_ｌ（λ_ｌ、ｔ_ｌ）は、用途に必要であるとして、プレノプティック関数のいずれかを含むものと考慮及び推定され得る。疑義を避けるために明記すると、エネルギー指向表面への言及は、例示目的のみであり、５Ｄ座標のローカライゼーションのための空間内の任意の追加の点、位置、方向、または平面を含むことができ、「エネルギー指向表面」と総称される。

【0120】

図８は、コンテンツデータ用の４次元（４Ｄ）プレノプティック座標を決定するためのプロセス８００の一実施形態を示すフローチャート図である。プロセス８００は、視覚、聴覚、触覚、感覚、または嗅覚センサによって知覚可能な任意の信号を含み得るコンテンツデータが受信されるステップ８０２を含むことができる。図９は以下、対象の位置、材料特性（材料特性９０６、９０７および９０８など）、仮想光源９０４、非対象位置における形状９０２、基準表面からのコンテンツ、仮想カメラ位置９１４、対象のセグメンテーション９１０、背景テクスチャ９１２、および階層化コンテンツのうちの少なくとも１つを含み得るコンテンツデータの一実施形態を示す概略図である。

【0121】

図８および図９を参照すると、プロセス８００は、コンテンツデータのデジタル立体表現９２２の生成に対して、データ点の位置が第１の表面９２０に対して決定されるステップ８０４をさらに含むことができる。第１の表面９２０は、空間内のデータ点の位置を定義するための基準面として使用され得る。一実施形態では、プロセス８００は、立体表現内のデータ点の位置を４Ｄ関数が適用される第２の表面まで追跡することによって、データ点の４Ｄプレノプティック座標が第２の表面で決定されるステップ８０６をさらに含むことができる。一実施形態では、プロセス８００は、エネルギー源位置値が第１の収束点を有する４Ｄプレノプティック座標に対して決定されるステップ８０８をさらに含むことができる。

【0122】

ステップ８０２で受信されたコンテンツデータはＮ個のビューを含むことができ、ここでＮは１以上である。単一のビューは、深度チャネルを用いて、または用いずに提示され得る。立体ビューは、深度チャネルを用いて、または用いずに提示され得る。マルチビュー画像は、深度チャネルを用いて、または用いずに提示され得る。さらに、４Ｄライトフィールドは、深度チャネルを用いて、または用いずに提示され得る。

【0123】

ステップ８０６の追跡では、グローバルモデルまたは個別に特徴付けられたシステムまたはこの２つの方法論の何らかの組み合わせとしてメモリに格納することができる、エネルギーシステムの較正された形状の事前知識を使用することができる。

【0124】

一実施形態では、入力データと出力エネルギー源との間のマッピングは、様々なビット速度源の間で正確にマッピングするための方法論を提供する。ステップ８０６の追跡は、先に列挙した部分サンプルから完全な４Ｄ体積データセットを推論する能力を提供する。深度情報は、提供されるか、または利用可能なデータから計算する必要がある。既知のまたは計算された深度情報を用いて、４Ｄ空間への深度座標に基づいて、既知の立体表現からのサンプルの三角測量によってＮ個のビューを逆追跡することができる。

【0125】

三角測量では、エネルギー導波路とエネルギー源位置フォーマット解像度との間のマッピングが提供される場合、Ｎソースコンテンツ内の各利用可能なエネルギー源位置が、各エネルギー導波路に対するエネルギー源位置を表すと仮定することができる。Ｎ個のソースコンテンツの解像度がより低い場合には、超解像またはスケーリングアルゴリズムを実施することができる。Ｎ個のソース画像の解像度がエネルギー指向装置内のエネルギー導波路の数よりも高い場合には、スーパーサンプリングされたエネルギー源位置間の補間を実行して、結果としての４Ｄ光線逆追跡においてエネルギー導波路当たりより多くのエネルギー源位置を生成することができる。

【0126】

上記では、距離情報は、提供または計算された深度情報の形式に応じて正確であるまたは正確でない可能性のある深度マップから決定することができると仮定しており、既知のまたは仮定された距離情報があれば、ｘ－ｙエネルギー源位置座標、およびエネルギー指向装置の特性によって決定される（ｕ、ｖ）角度情報と組み合わされた距離情報は、限定された撮像データサンプルを有する４Ｄまたは５Ｄライトフィールドとみなさすことができる。撮像サンプルは、距離情報に基づいて、各エネルギー導波路の後ろにそれぞれ存在し得る適切なエネルギー源位置に三角測量により戻され、本明細書に含まれる開示を通して、ステップ８０８で欠落データが生成され得る。

【0127】

図７Ｃ、図８、図９、および図１０を参照すると、一実施形態では、エネルギー位置は第１の表面９２０内に位置し得、４Ｄ関数が適用される第２の表面はエネルギー指向装置の導波路システム７１００に対応し得、エネルギーは、データ点の４Ｄプレノプティック座標に従って導波路システムを通って指向され、コンテンツデータの検出可能な立体表現を形成するように動作可能である。

【0128】

一実施形態では、プロセス８００は、エネルギー源位置値が、第１の収束点を有する４Ｄ座標に対して決定されるステップ８１０をさらに含むことができる。本開示の例示的な実装例を提供するために、図１１は、画像１００２の形態のコンテンツデータが、エネルギー位置１０１０に関連して決定された最小位置１００６および最大位置１００８の範囲内に提供または計算され得る距離位置１００４と一緒に提供される追跡プロセスを経るエネルギー指向装置１０００の一実施形態を示す。一実施形態では、エネルギー位置１０１０は、エネルギー指向装置の表面を含み得る。４Ｄプレノプティック関数によって規定されたエネルギー位置１０１０からの既知の形状は、画像１００２の仮想表面上の点１０１４の三角測量により、光線１０１６に沿って、各々が一意のｘ－ｙ座標を有する特定のエネルギー位置１０１８まで遡ることを可能にする。欠落したサンプルは、データセット内に含まれている利用可能な情報に基づいて、コンピュータにより計算することができる。

【0129】

追加のＮ個のサンプルが提供される場合には、同じ方法論が、より豊富なセットの逆光線追跡サンプルを生成する追加の多視点撮像データを使用して適用され、優れたホログラフィック結果を提供する。複数のＮ個のサンプルからの深度情報が、ソース位置（Ｎ＋Ｘ個の視点）とソース深度マップ（Ｎ＋Ｘ個の深度マップ）との間の既知のマッピングを有する単一の深度マップ、またはＮ個までもしくはＮ個を超える数の深度マップを通じて提供され、適切な逆光線追跡が実行されることを確実にすることができる。

【0130】

例えば中心のＮ個の視点のための単一の深度マップが提供される場合には、隣接するビューの各々の間の差異について計算することによって追加の深度マップを補間し、Ｎ個の視点とＮ＋Ｘ個の視点との間のソースおよびターゲットの位置を正確にマッピングすることができる。この方法を使用して、正しい視点が、適切な導波路座標に投影され、関連する視点での正しい視野依存性を維持する視認者の能力をもたらすように、視野依存マッピングを４Ｄライトフィールドまで逆光線追跡することができる。

【0131】

符号器および復号器は頑強であり、２Ｄ／フラットファイル、深度を有する２Ｄ、立体、単一深度チャネルを有する立体、デュアル深度チャネルを有する立体、深度を有しないＮ＋Ｘマルチビュー、Ｎ＋Ｙ深度を有するＮ＋Ｘマルチビュー、テクスチャ、形状、照明、材料特性などを含んで環境を再構築し得る、形状またはベクトルベースのシーンファイル、複数のＲＧＢＡＺ値が、各ｘ－ｙ座標、４Ｄまたは５Ｄ（４Ｄプラス深度）ライトフィールドのために提供され得る、または決定されたエネルギー指向装置の視野のために必要な特定の量のエネルギー源位置データをレンダリングするためだけのより低い帯域幅の方法論を深度チャネルが提供するＮ＋ＸビュープラスＮ＋Ｙデルタチャネルデータセットとして提供され得るディープイメージングファイルを含むための、これらに限定されない複数のデータタイプを解釈することができる。ワールド座標位置を含んでまたはそれを含まないで、補償された最小および最大投影ワールド位置を含んでまたはそれを含まないで、ならびに特徴付けられたおよび／または設計されたものとして固有のエネルギー指向装置を考慮して、視認者に提示すべき適切な４Ｄライトフィールドをプロビジョニングするために、プロセッサはリアルタイム速度まで、またはそれを超える速度で逆光線追跡することができる。

【0132】

一実施形態では、プロセス８００は、導波路システム７１００の第１の側のエネルギー位置７１２２と、導波路システム７１００の第２の側の導波路素子７１００からのエネルギー伝搬経路７１２０の角度方向との間のマッピングが適用されるステップ８１２をさらに含むことができる。そうすることによって、データ点の４Ｄプレノプティック座標に対応する導波路システム７１００の第１の側の複数のエネルギー位置を決定することが可能になる。

【0133】

図１２は、感覚データプロセッサ１２０２、ベクトル化エンジン１２０４、およびトレーシングエンジン１２０６を有する処理サブシステムと通信するデータ入出力インターフェース１２０１を備える処理システム１２００の概略図である。感覚データプロセッサ１２０２、ベクトル化エンジン１２０４、およびトレーシングエンジン１２０６は、個別であれ、それらの任意の組み合わせであれ、１つまたは複数のプロセッサ上で実装され得ることを理解すべきである。プロセス８００のステップ８０２は、コンテンツデータをデータ入出力インターフェース１２０１を介して処理サブシステム１２２０に入力することができる。ステップ８０４は感覚データプロセッサ１２０２によって実行されて、コンテンツデータの立体表現を生成することができる（ステップ８０６）。

【0134】

一実施形態では、マッピングの適用は、導波路システム７１００内の歪みについて較正することを含み得、空間歪み、角度歪み、強度歪み、および色ひずからなる群から選択される少なくとも１つの歪みについて較正することをさらに含み得る。

【0135】

一実施形態では、エネルギー指向装置は、導波路システム７１００の第１の側にリレーシステム６１１０をさらに備えることができ、このリレーシステムは、導波路システム７１００に隣接する第１の表面６１１６を有し、導波路システムの第１の側のエネルギー位置７１１２は、リレーシステム６１１０の第２の表面６１１４に隣接して位置付けられ得る。

【0136】

一実施形態では、マッピングの適用は、導波路システム７１００内の歪みについて較正することを含み得る。一実施形態では、マッピングを適用することは、リレーシステム６１１０内の歪みおよび導波路システム７１００内の歪みの両方について較正することを含み得る。一実施形態では、較正される歪みは、空間歪み、角度歪み、強度歪み、および色ひずからなる群から選択される少なくとも１つの歪みを含み得る。

【0137】

一実施形態では、この方法の一部はリアルタイムで実行することができるか、もしくはこの方法は完全にリアルタイムで実行することができるか、またはこの方法の少なくとも２つの部分を異なる期間に実行することができる。

【0138】

［２Ｄからライトフィールドへの変換］
一実施形態では、コンテンツデータは、２次元（２Ｄ）空間内のデータ点を含むことができ、ステップ７０４の位置を決定することは、２次元空間内のデータ点に深度マップを適用することを含み得る。

【0139】

２次元または平面画像をライトフィールドデータに変換するためのいくつかの方法が存在する。これらは、動き分析からの深度を通じての深度情報の推定、手動もしくはレンダリングされた手段により提供される深度チャネル、または視差、深度、閉塞、形状の手動生成、ならびに／または手動および自動化されたプロセスによる環境全体の再生成を通じて完全なライトフィールドを再生成する、視覚効果コンテンツ生成のための標準として既知の任意の他の方法論を含む。

【0140】

第１の実施形態では、利用可能なエネルギー源位置情報から深度の推定を実行するためのリアルタイムまたはオフラインプロセッサを含むシステムが可能である。これは、エネルギー指向装置でセットトップボックスとして、またはオフラインプロセスとして実行することができる。時間情報および／または最先端のテクスチャ合成または当技術分野で既知の他の技術を利用して、欠落している体積データのための追加の計算を実行することができる。

【0141】

第２の実施形態では、深度情報は、画像ストリームとして提供され、画像フォーマットに埋め込むことができる。同様に、欠落した体積測定データのために追加の計算を実行することができる。

【0142】

第３の実施形態では、アーティストまたはプロセスを利用して欠落した環境情報を生成するが、これには、シーン内の各対象を分離またはセグメント化し、経時的に対象を手動で、半自動的に、または自動的に追跡し、視差空間、エネルギー指向装置空間、光学空間またはワールド座標を利用し、環境を再生成するために背景、透明度、縁部の詳細などを再生成する既知の視覚効果プロセスにより背景および前景の欠落情報を合成して対象を空間内に配置するプロセスを含み得る。疑義を避けるために明記すると、実施されるプロセスは、これらの環境の再構成のために列挙された実施形態のうちのいずれか、全くなし、またはすべてであり得る。生成された環境情報は、エネルギー指向装置の画角によって決定されるできるだけ多くの欠落した情報を含むべきであり、これらの画角は、適切な閉塞および視野依存情報が的確に生成されることを確実にすることをアーティストは知っているであろう。

【0143】

さらに、部分モデルまたは完全に構築されたモデルのいずれかとして、シーン内の各対象の表面モデルを生成することができ、画像データからのテクスチャを形状の表面に投影して、次の逆光線追跡のための適切な形状を提供する。

【0144】

さらに、材料特性を計算して、または手動で導入して、仮想照明源を用いて視野依存照明を導入して４Ｄライトフィールドの再生成の精度をさらに高め得ることを確実にすることができる。

【0145】

さらに、ＣＧまたは合成コンテンツの追加を導入して、既存の変換材料を増強することができる。体積データの追加も組み込むことができる。Ｎ＋Ｘコンテンツの相互混合も導入して、ＣＧ、２Ｄ、立体、マルチビューおよび／または４Ｄメディア間のシームレスなブレンドを単一の合成画像内に提供することができる。

【0146】

結果として得られる２Ｄからライトフィールドへ変換されたコンテンツは、ＣＧシーン自体に示されるような、形状、テクスチャ、照明、材料などを含む形状シーンファイルとして保持され得、Ｎ＋Ｄ深度チャネルを有するＮ＋Ｘビューとしてレンダリングされ得、４Ｄまたは５Ｄ（４Ｄ＋深度）ライトフィールド、ｘ－ｙ座標あたりＺサンプルの積み重ねの制限のあるまたはないｘ－ｙエネルギー源位置座標あたり複数のＲＧＢＡＺサンプルを可能にするフォーマットである深層画像としてレンダリングされ得、または決定されたエネルギー指向装置の視野のために必要な特定の量のエネルギー源位置データをレンダリングするためだけのより低い帯域幅の方法論を深度チャネルが提供するＮ＋ＸビュープラスＮ＋Ｙデルタチャネルデータセットとして提供され得る。これらのそれぞれの出力フォーマットの全部、一部、または１つの生成を可能にするためのツールが提供され得る。

【0147】

［立体およびマルチビューからライトフィールドへの変換］
単一視野のコンテンツを利用する上記からのプロセスを、立体視材料およびマルチビュー材料に適用することができる。深度情報の推定は、動き分析からの、ならびに立体、マルチビューおよび／または視差解析、手動またはレンダリングされた手段を通じて提供される１つの深度チャネルまたは提供される複数の深度チャネル、もしくは視差、深度、閉塞、形状の手動生成、ならびに／または手動もしくは自動化されたプロセスによる環境全体の再生成を通じて、および適切なデータを利用して完全なライトフィールドを再生成する視覚効果コンテンツ生成のための標準として既知の任意の他の方法論からの、深度を通じて得られる。

【0148】

一実施形態では、ステップ１０２で受信されるコンテンツデータは３次元（３Ｄ）空間内のデータ点を含み得、位置の決定は、３Ｄ空間内のデータ点を調整することを含み得る。

【0149】

一実施形態では、３Ｄ空間内のデータ点の調整は、３Ｄ空間内のデータ点に深度マップを適用すること、新しいデータ点を追加すること、閉塞されたデータ点を再構成すること、またはそれらの任意の組み合わせを含み得る。

【0150】

このアプローチの重要な利点は、立体視差推定の精度が、運動視差または他の類似の２Ｄ推定プロセスだけのものよりもはるかに高いということにある。さらに、結果として得られる変換された４Ｄライトフィールドの画質は、照明、透明度、材料、閉塞などを含むがこれらに限定されない視野依存条件のいくつかの利用可能性のために、より正確である。

【0151】

マルチビュー画像データの明確な角度依存性を保持する能力は、中央視点カメラ、または他の何らかの定義された中心点に関して面法線を計算する能力に依存する。これらの法線および視差または深度情報が既知であれば、エネルギー指向装置の画角に基づいて視点間を補間することが可能であり、得られた補間は次に、逆光線追跡に直接適用されるか、または逆光線追跡の間、テクスチャ合成の一部として合成される。

【0152】

簡略化のために、２Ｄからライトフィールド画像への再構成のための以前に開示された方法論のすべては、立体またはマルチビューデータセットの再構成に適用され得る。

【0153】

［４Ｄまたは５ＤライトフィールドからのＮ×Ｎ ＲＧＢ画像の生成］
４Ｄまたは５Ｄライトフィールドを利用することによって、Ｎ×Ｎの数、またはＮ×Ｎまでの任意の値の数のＲＧＢマルチビュー画像を生成することが可能である。このプロセスは、正方形グリッド、０、０位置、およびＮ、Ｎ位置としての右上位置を仮定して、各導波路の下の各左下座標を考慮することによって適応される。このグリッドは単なる例示であり、他のマッピング方法論も利用することができる。０、０からＮ、Ｎの各位置に対して、利用される捕捉システムに基づいて可能な限り広い被写界深度で、ライトフィールドからフル解像度の画像を形成することが可能であり、アレイ内の各導波路は単一のエネルギー源位置と考えられ、各導波路の下の各座標は、０、０からＮ、Ｎまでの各完全画像に対する、より大きなエネルギー源位置アレイのなかの単一のエネルギー源位置である。これは、５Ｄライトフィールドの深度情報についても繰り返され得る。このようにして、様々な分布の理由から、２Ｄ、立体、マルチビュー、点群、ＣＧシーンファイル、または４Ｄもしくは５Ｄライトフィールドから導出され得るデータの任意の他の所望の組み合わせを含むことが所望されるデータセットの任意のサブセットに対して、４Ｄまたは５Ｄライトフィールド間を容易に変わることが可能である。不規則または正方形充填４Ｄまたは５Ｄ構造については、エネルギー源位置を規則的グリッドに整列させるためにさらなる補間が必要である、またはエネルギー源位置と非正方形充填構造との間の線形マッピングが実施行され得、結果得られた画像は直線的に見えない可能性があり、エネルギー源位置のアーチファクトを含む可能性がある。

【0154】

図１１は、エネルギー導波路素子位置およびエネルギー位置座標のそれぞれに従って、各エネルギー導波路素子１１０４の下からエネルギー位置１１０２を配置することによって、４Ｄまたは５Ｄライトフィールドから複数の視点に変換する方法論を例示したものである。これにより、シームレスに、ライトフィールドとより小さいデータセットとの間をシームレスに移転する能力が提供される。

【0155】

［Ｎ＋Ｘ ＲＧＢおよびＮ＋Ｙ深度データセット］
データ送信サイズのバランスを有して最高品質を提供する理想的なデータセットのフォーマットは、Ｎ＋Ｘ ＲＧＢおよびＮ＋Ｙ深度＋ベクトル化チャネルの使用を含み、ここでＮ＋Ｘ ＲＧＢ情報は、特定の解像度およびフォーマットを表し得るＮ個のＲＧＢ画像と、より低い解像度、デルタ情報などを含めるためにＲＧＢデータ用の異なる解像度およびフォーマットを表し得るＸと、特定の解像度およびフォーマットを表し得るＮ深度＋ベクトル化チャネル、およびより低い解像度、デルタ情報などを含めるために深度＋ベクトルデータ用の異なる解像度およびフォーマットを表し得るＹを含むＮ＋Ｙ深度＋ベクトル化チャネルとを含む。

【0156】

Ｎ＋Ｘビューの数は、規則的なグリッド上に、中心ビューを有してまたは有しないで中心点の周りの１つの半径から、中心ビューを有してまたは有しないで中心点の周りの複数の半径、またはビューの数と、関連するパッキングまたは視線位置とのマッピングを決定するための任意方法論から、生成され得る。視点のための構成はファイルのメタデータに含むことができる、または提供される深度＋ベクトル化チャンネルは、他の必要なメタデータなしに撮像データがＸＹＺ空間の同じ座標に整列するように、ワールド座標への直接マッピングを含むことができる。

【0157】

［４Ｄディスク反転およびエネルギー指向装置の互換性処理］
４Ｄまたは５Ｄライトフィールドシステムの光学シミュレーションを使用する仮想リグで捕捉されたものを含む可能性のある、プレノプティックまたはライトフィールド４Ｄまたは５Ｄシステムを使用して捕捉された任意のデータについては、結果得られるフライアイパースペクティブは、ライトフィールドのｕｖベクトルを表すディスクを含んでいる。しかしながら、これらの座標は、エネルギー指向装置には存在しない可能性のあるエネルギー集束素子を仮定している。提案されたエネルギー指向装置のソリューションでは、集束素子は視認者の目であり得、捕捉システム間のマッピング、および元の捕捉方法と観察されたエネルギー指向装置との間のマッピングはもはや正しくない。

【0158】

これを反転させて、捕捉システムと比較したときにシステム内の追加的に欠落しているエネルギー指向素子を補正するために、各ディスクを独立して個別にフリップすることが可能であり、各導波路の中心点に基づいて各（ｕ、ｖ）座標のｘ－ｙ位置がリターゲットされる。このようにして、主導波路の結果として形成する像の反転が反転され、ライトフィールドエネルギー指向装置が光線を正しいｘ－ｙ－ｕ－ｖ方向に投射することを可能にする。

【0159】

これのさらなる実施形態は、エネルギー導波路アレイを活用することが、提示されたすべてのエネルギー導波路のエネルギー源位置の直接反転を提供する、ハードウェア修正を実装し得る。ライトフィールドエネルギー指向装置にとって、これは、予想される捕捉システムとエネルギー指向装置との間の直接マッピングを有する利点がある。これは、正確なｘ－ｙ－ｕ－ｖ座標のために追加の回数中継する必要性をなくすことによって、アレイ全体の中の一群のエネルギー導波路を除去できるように、ＨＭＤシステムまたは体積不透明エネルギー指向装置を含む実施形態がさらに有利であり得る。

【0160】

さらに、すべてのライトフィールドが同一ではない。それらは、異なるＮＡ、ＦＯＶ、Ｎ値、光学的処方などを用いて捕捉され得る。入力ライトフィールドデータの内因性および外因性は理解され得、エネルギー指向装置の特性に変換し得る。これは、ホログラフィックデータおよびライトフィールドデータのユニバーサルパラメータ化のための本開示内に含まれる実施形態によって実行され得る。

【0161】

［エネルギー指向システムのための逆エネルギー追跡および感覚特性のベクトル化によるホログラフィック感覚データ輸送のユニバーサルパラメータ化］
エネルギー指向表面からの表面を通るプレノプティック４Ｄ関数は、エネルギー位置を含み、エネルギー伝搬経路のベクトルｆ_ｌ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）を定義する導波パラメータｕ_ｌ、ｖ_ｌを含む第２の面に沿って第２の座標を通して指向される、第１の表面から２つの空間座標ｘ_ｌ、ｙ_ｌを提供する。複数のエネルギー指向表面を考慮すると、プレノプティック５Ｄ関数は、１つまたは複数のエネルギー位置を含み、エネルギー伝搬経路のベクトルｆ_ｌ（ｘ_ｌ、ｙ_ｌ、ｚ_ｌ、ｕ_ｌ、ｖ_ｌ）を定義する導波パラメータｕ_ｌ、ｖ_ｌを含む面に沿って第２の座標を通して指向される、第１の座標から３つの空間座標ｘ_ｌ、ｙ_ｌ、ｚ_ｌを提供する。４Ｄまたは５Ｄのそれぞれについて、時間および色のための追加の変数ｆ_ｌ（λ_ｌ、ｔ_ｌ）を考慮して、関数および説明を簡単にするために明示的に注記されていなくても、アプリケーションのために必要な場合、プレノプティック関数のいずれかを含むものとみなすことができる。疑義を避けるために明記すると、エネルギー指向表面への言及は例示目的のみであり、５Ｄ座標のローカライゼーションのための空間内の任意の追加の点、位置、方向、または平面を含むことができ、「エネルギー指向表面」と総称される。

【0162】

エネルギー伝搬経路の第１のベクトルに沿って、エネルギーの収束を含む複数の交点が追加のエネルギー伝搬経路と共に発生し得る。この交点では、３Ｄ点または深度パラメータが、４Ｄまたは５Ｄ関数を有する複数のエネルギー伝搬経路の間の位置Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌに形成し、ここで、１つまたは複数のエネルギー指向表面内に含まれる各ｘ_ｌ、ｙ_ｌまたはｘ_ｌ、ｙ_ｌ、ｚ_ｌ座標に対して、第１の座標と３Ｄ収束点との間に形成する単一のｕ_ｌ、ｖ_ｌ伝搬経路のみが存在する、複数のエネルギー伝搬経路の間の３Ｄ収束点Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌ。４Ｄ関数 ｆ_ｚ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）または５Ｄ関数ｆ_ｚ（ｘ_ｌ、ｙ_ｌ、ｚ_ｌ、ｕ_ｌ、ｖ_ｌ）は、すべての４Ｄｘ_ｌ、ｙ_ｌまたは５Ｄｘ_ｌ、ｙ_ｌ、ｚ_ｌ座標、および各収束点に対してＸ_ｌ、Ｙ_ｌ、Ｚ_ｌに存在する、対応するｕ_ｌ、ｖ_ｌ伝搬経路を集合的に画定する。

【0163】

エネルギー指向表面Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌを通る複数のエネルギー伝搬経路に沿ったエネルギーの収束によって生じる第１の５Ｄ座標では、この座標は、より大きい対象、体積、粒子または局所的なエネルギーパラメータ内の点を表すことができ、第１の５Ｄ座標に近接する追加の座標において収束するエネルギーは、環境またはホログラフィックデータセット内の感覚エネルギーに対して追加のベクトル化された特性を示し得る。これらのベクトル化された特性は、各５Ｄ座標、４Ｄデータセット内の各エネルギー位置座標、４Ｄまたは５Ｄデータセットのいずれか内の領域、またはエネルギー表面を含む座標の他のサブセットに関する情報を含み得る。

【0164】

一実施形態では、ラスターおよびベクトルの２Ｄ、３Ｄ、４Ｄおよび５Ｄデータセットのために、視覚エネルギー、聴覚エネルギー、体性感覚エネルギー、味覚エネルギー、嗅覚エネルギー、前庭エネルギー、または感覚系の応答のための他の所望のエネルギーの伝搬のための４Ｄおよび５Ｄホログラフィック感覚エネルギー特性のユニバーサルパラメータ化が開示されており、４Ｄエネルギー指向表面の第２の面の第２の座標に関して、２Ｄデータは単一の角度サンプルを含むことができ、３Ｄデータは単一の次元に２つ以上の角度サンプルを含むことができ、４Ｄデータは２つの次元に複数の角度サンプルを含むことができ、または５Ｄデータは３つ以上の次元に複数の角度サンプルを含むことができる。
受信サンプルデータの実施形態は、以下のいずれかを含み得る：
１）２Ｄもしくはモノスコピック、フラット、点群、ＵＶマッピングジオメトリ、内的幾何形状、深層画像、レイヤードイメージ、ＣＡＤファイル（固有）、単点サンプリング、シングルカメラキャプチャ、シングルプロジェクター投影、ボリュメトリック（体積内のベクトルを有するモノスコピック単一サンプル点）、３自由度のソース（ＤｏＦ、単一点を中心としたモノスコピックｘ、ｙ、ｚ回転を有するラスター）、非ライトフィールド６ ＤｏＦのソース（ラスター＋モノスコピックサンプルからのベクトル）、体積エネルギー指向装置（体積内のモノスコピックサンプル）、ペッパーズゴーストのソース（シングルポイント投影）、２Ｄ ＡＲ ＨＭＤのソース（モノスコピック単一または複数焦点面、レイヤードモノスコピック）、２Ｄ ＶＲ ＨＭＤのソース（モノスコピック単一または複数焦点面、レイヤードモノスコピック）、または２次元ラスターもしくはベクトル情報の任意の他の表現。
２）３Ｄもしくはステレオスコピック、トリスコピック（シングルベースライン）、マルチビュー（１Ｄ）、１Ｄマルチサンプル、１Ｄ多視点、水平もしくは垂直のみの視差、１Ｄ投影アレイ、２点サンプリング、１Ｄポイントサンプリング、水平もしくは垂直アレイ、バレットタイム、３ＤｏＦのソース（ラスター、単一点を中心としたステレオスコピックｘ、ｙ、ｚ回転）、３ＤｏＦのソース（単一点を中心としたステレオスコピックｘ、ｙ、ｚ回転内の３Ｄラスター）、非ライトフィールド６ ＤｏＦのソース（３Ｄラスター＋ステレオスコピックサンプルからのベクトル）、１Ｄ体積エネルギー指向装置のソース（１Ｄ視差含有サンプル）、オートステレオスコピックデータのソース、水平多視点エネルギー指向装置のソース、３Ｄ ＡＲ ＨＭＤのソース（ステレオスコピック単一もしくは複数焦点面、レイヤードステレオスコピック）、３Ｄ ＶＲ ＨＭＤのソース（ステレオスコピック単一焦点面または複数焦点面、レイヤードステレオスコピック）、または３次元ラスターもしくはベクトル情報の任意の他の表現。
３）４Ｄもしくはプレノプティック（５Ｄ）、マルチスコピック、積分画像、ライトフィールド（４Ｄ）、ホログラフィック（４Ｄ）、２Ｄマルチビュー、２Ｄマルチサンプル、２Ｄ多視点、２Ｄ視差、水平および垂直視差、２Ｄ投影アレイ、２Ｄポイントサンプリング、モーションキャプチャステージ（表面に沿った）、平面アレイ、目撃カメラアレイ、レンダリングもしくはレイトレースによる形状表現（４Ｄ表現）、外的幾何形状（４Ｄ表現）、ライトフィールド６ ＤｏＦのソース（平面ライトフィールドサンプル内の４Ｄラスター）、自由視点６ ＤｏＦのソース（４Ｄラスター＋４Ｄライトフィールドサンプルからのベクトル）、４Ｄ体積エネルギー指向装置のソース（２Ｄ視差含有サンプル）、ライトフィールドエネルギー指向装置のソース（４Ｄサンプリング）、ライトフィールドＨＭＤのソース（ニアフィールド４Ｄサンプリング）、ホログラフィックエネルギー指向装置のソース（４Ｄサンプリング）、または４次元ラスターもしくはベクトル情報の任意の他の表現。
４）５Ｄもしくはプレノプティック＋深度、ライトフィールド＋深度、ホログラフィック（５Ｄサンプリング、４Ｄ＋深度）、任意のマルチビュー（ｘ、ｙ、およびｚ軸すべてに沿って）、マルチサンプル（ｘｙｚすべてに沿って）、多視点（ｘｙｚすべてに沿って）、体積視差（ｘｙｚすべてに沿って）、投影アレイ（ｘｙｚすべてに沿って）、ポイントサンプリング（ｘｙｚすべてに沿って）、モーションキャプチャステージ（ｘｙｚすべてに沿って）、目撃カメラアレイ（任意のｘｙｚ構成）、レンダリングもしくはレイトレースによる形状表現（５Ｄ表現）、立方体もしくは体積レンダリング（ｘｙｚすべてに沿って）、外的幾何形状（５Ｄ表現）、ライトフィールド６ ＤｏＦのソース（体積ライトフィールドサンプル内の５Ｄラスター）、自由視点６ ＤｏＦのソース（５Ｄラスター＋５Ｄライトフィールドサンプルからのベクトル）、５Ｄ体積エネルギー指向装置のソース（マルチプレーナ４Ｄサンプリング）、５Ｄライトフィールドエネルギー指向装置のソース（５Ｄサンプリング、４Ｄ＋複数平面）、５ＤライトフィールドＨＭＤのソース（ニアフィールド５Ｄサンプリング、４Ｄ＋複数平面）、ホログラフィックエネルギー指向装置のソース（５Ｄサンプリング、４Ｄ＋複数平面）、または５次元ラスターもしくはベクトル情報の任意の他の表現。

【0165】

第２の座標のそれぞれにおいて、提供されるデータは、ラスターサンプルまたはベクトルサンプルのいずれかのサブセットもしくはスーパーセットを含むことができ、サンプルは、ラスターサンプルまたはベクトルサンプルのサブセットもしくはスーパーセットの解釈または処理を通じて、増加したサンプリング密度への変換を可能にする追加のベクトル化情報を表し、含むことができる。

【0166】

２Ｄ、３Ｄ、４Ｄ、または５Ｄの提供されるデータセットの各々について、情報はベクトル化情報、手動識別、コンピュータビジョン解析、自動処理、または提供されたサンプルを元のデータセットから５Ｄ座標系に変換する他の手段によって変換される。２Ｄ、３Ｄ、４Ｄ、もしくは５Ｄの提供されるデータセットの各々について、情報は、４Ｄエネルギー指向表面の第２の平面の第２の座標を参照して、各提供されたデータセットのための、元の角度サンプリングコンポーネントに関する複数のサンプルもしくはサンプルの層および追加のベクトル化された特性を含むことができる、または２Ｄ、３Ｄ、４Ｄ、もしくは５Ｄの追加の提供されたデータセットのいずれかのための寄与サンプルの組み合わせを含むことができる。

【0167】

提供されたサンプルの各々は、所望の座標ごとに固有エネルギーを含み、固有エネルギーは追加の外在的エネルギー属性を含むことができ、固有エネルギーは、他の外部サンプル、特性または環境条件がない場合の所与の５Ｄ座標における値を表す。電磁スペクトルにおいて、これは、すべての入射放射線を反射する白体に対応し、無次元値の範囲が特定の感覚エネルギーに相応する各所望の感覚エネルギーに明らかに及ぶ、反射率の無次元測定値としてアルベドと呼ばれることがある。視覚系内ではこの範囲は約４００ｎｍ～７００μｍであり、聴覚系内ではこの範囲は約２０Ｈｚ～２０ｋＨｚである。

【0168】

過去数十年にわたり、検出された感覚、香り、および風味の高度パターン認識を電子的手段によって人為的に活用して、人間の感覚の再現を可能にする莫大な技術的改良。電磁スペクトルの外側に存在し得る他の系では、これらの無次元値は、感知された鋭さ応答に基づいて同じ方法で特徴付けることができる。ホログラフィック感覚エネルギー技術が新たに出現しているが、この実施形態内に開示されている、は仮想環境においてすべての人間の感覚を刺激するためのシステム、方法およびフォーマットを含んでおり、様々な感覚パラメータのためのユニバーサルな構築を明確にし、そうすることによって、データの適切な処理、送信、保存、ベクトル化、構築された仮想環境の完全な投入のために所望される任意の感覚エネルギーパラメータまたは装置への、それらからの、またはそれらの間の移転をプロビジョニングするものであり、ホログラフィック感覚技術のためのエネルギー伝搬の実施形態が、将来の出願において開示されるであろう。さらに、古典的な「スメロビジョン」のような目先の変わった商品、またはＦｅｅｌＲｅａｌの匂いがするＶＲヘッドセットのような現代バージョンを含む他のアナログ装置が、本明細書のデータセットのベクトル化内に提供されるパラメータ化された値を活用できるようにすることが、本開示の意図である。

【0169】

一実施形態では、体性感覚系は、５０Ｈｚ～３００Ｈｚで正規化され得る皮膚内の圧力感受性範囲を有するテクスチャ用の機械受容体、０℃～５０℃で正規化され得る皮膚内の温度感受性範囲を有する温度受容器（ただし、この範囲は過度の温度によって画定される上限および下限を有するはるかに広い範囲となり得る）、または他の動力学特性の中の時間、歪み、弾性率用の変数を含む多くの物理的特性を提供し、本開示の目的のために、花こう岩などの動かない固体に対しては０で、水のような低粘性流体に対しては１の値を有する無次元正規化スケールに単純化された、経時的に応力と歪みとの間の変形を被るときの、粘性的および弾性的両方の材料測定の粘弾性挙動の範囲を定義する表面変形性を含む、感受性を規定するコンポーネントに基づいて定義され得る。当業者は、提供される実際のベクトルは、材料の粘弾性を適切に定義するために必要な物理的特性を含み、例示の目的のためにのみ正規化されることを理解するであろう。

【0170】

最後に、味覚装置および嗅覚装置を含む人工電子センシングにおける技術水準の進歩は、ホロデッキ設計パラメータについて開示された感覚パラメータをさらにベクトル化し、本明細書に記載されたようなホログラフィック導波手段を介して人工の味覚および嗅覚の電子的再生を可能にする実行可能な道筋を示す。人工電子味覚および嗅覚受容体は、新たに出現したナノデバイスを通じてかなりの進歩を遂げており、人間の味覚を構成する味の検出をもたらすパターン認識システムを通じて、サンプリングされた化学組成の周波数として味を繰り返しおよび正確に検出する周波数ベースのパルスへの符号化および変換を通じて化学的刺激の強度をサンプリングするための酵素バイオセンサを使用する周波数ベースの人工味覚受容器。この技術はあらゆる種類の検出可能な味に拡張され得ると考えられており、人工嗅覚システムにおける同様の進歩が、電子信号の変化によって特定の嗅覚応答の周波数内に含まれるパターンをさらにパラメータ化する現在行われている研究と共に、鼻甲介を標的とする弱い電気パルスを使用して人の嗅受容器体を刺激するためのデジタルインターフェースを実証した。

【0171】

嗅覚、味覚および他の感覚系を表す周波数および複雑な電子パターンを任意に生成するための経路が確立され、一実施形態では、酸味、塩味、苦味（スパイシーさ）、甘味、およびおいしさ（うまみ）のためのベクトルを含み得るがこれらに限定されない、平均的な人間の２，０００～８，０００個の味覚芽を飽和させるための最小および最大味覚応答を表す０～１のスケールに沿って電子的に制御されるパラメータの各々のための正規化されたスケールを含むように味覚の鋭さ応答をベクトル化することができ、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得る。

【0172】

別の実施形態では、よい香り、果物臭、柑橘類臭、木質（樹脂）臭、薬品臭、甘い匂い、ミント（ペパーミント）臭、こんがり焼けた（ナッツの）匂い、刺激臭および腐敗臭のためのベクトルを含み得るがこれらに限定されない、非常に複雑な嗅覚空間の各々ついて、人間の平均１０ｃｍ^２の嗅上皮を飽和させるための最小および最大嗅覚応答を表す０～１のスケールに沿って電子的に制御されるパラメータの各々のための正規化されたスケールを含むように嗅覚の鋭さ応答をさらにベクトル化することができ、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得る。

【0173】

これらのベクトルの各々は、提供されたベクトル化値の適切な適用のために、必要に応じて、波、振幅、大きさ、または他の属性に変換された味、匂い、または他の感覚領域のためにこれらのパターンを表す正規化された値を提供し得る。嗅覚および味覚は、感覚系内の最も劣化した感覚のうちの２つであるが、複雑な融合体をベクトル化するためのパラメータ化された値があれば、実施形態において、任意のそのような感覚エネルギーの感受性のユーザーベースの対話型制御を提供して、視覚系、聴覚系、体性感覚系、味覚系、嗅覚系、前庭系または他の所望の感覚系応答の各々の個別化のカスタマイズを提供することがさらに可能である。

【0174】

一実施形態では、サンプルの表された感覚アルベドエネルギー値の各々は、他の外部サンプル、特性または環境条件のそれぞれについて提供された各サンプルの加算結果を表す単一のサンプル値にベークインされた外在的エネルギー属性をさらに含み得る。この構成では、複合サンプル値は、物理ベースのまたはシミュレートされた環境において、他のサンプルからの他のエネルギーの潜在的属性を示してもよく、または示さなくてもよい。パラメータ化され再構成されたホログラフィックデータセットを送信するための最も効率的で純粋な方法は、簡略化されより低い帯域幅の周波数情報を提供する単一の固有サンプル情報に基づいているが、この方法は、特に物理ベースの撮像または音響システムでは、完全な合成環境の外で受信することは必ずしも可能ではない。任意の実世界環境では、結果として得られるサンプル情報に対するある程度の外因的寄与が常にある。ライトステージのような特定のシステム、または反射率、形状、テクスチャ、およびモーションキャプチャの推定を容易にすることが当該技術分野で既知の他のシステムは、何らかの形態の構造化照明、およびアルベド、深度情報、面法線および双方向散乱分布の表面特性の直接または間接解析を提供する１つまたは複数の撮像装置を利用する。

【0175】

双方向散乱分布関数（ＢＳＤＦ）は、超関数ｆ_ｒ（ｗ_ｉ、ｗ_ｒ）で表され、当技術分野で知られているコンピュータグラフィックスおよび視覚アルゴリズムにおいて表面特性をパラメータ化し識別するためのモデルとして集合的に作用する、双方向透過率分布関数（ＢＴＤＦ）、双方向テクスチャ関数（ＢＴＦ）、および双方向反射率分布関数（ＢＲＤＦ）の一般化されたスーパーセットである。この関数は、面法線が対象表面の接線に垂直である場合に、エネルギー伝搬経路に対して入射光の入射方向ｗ_ｉおよび出射光の反射または透過方向ｗ_ｒが与えられたときに、可視光がどのように反射され、透過され、またはそうでなければ表面と相互作用するかを表し、関数は、出射経路ｗ_ｒに沿って出射する反射放射輝度の入射経路ｗ_ｉに沿って表面に入射する放射照度に対する割合を表し、ｗ_ｉ、ｗ_ｒの各々は、入射経路および出射経路の各々のパラメータ化された方位角および天頂角を規定する４Ｄ関数を含み得る。

【0176】

表面に当たるエネルギーλ_ｉの第１の位置ｘ_ｉ、および材料特性がこのエネルギーをエネルギー λ_ｒの第２の位置ｘ_ｒに内部散乱させた後の出口のためにこれらの機能をさらに明確にして、虹色、発光、表面下散乱、非局所散乱効果、鏡面反射、影付け、マスキング、相互反射など、表面の材料特性に基づいて得られる出力エネルギー、入力エネルギーおよび位置、および対象、体積または点の表面全体にわたる出力エネルギーおよび位置などの可視波長の影響を説明することができる。

【0177】

したがって、波長または周波数依存性、および空間的に変化する材料特性または表面を含むために、表面に当たる任意の２つのエネルギー線の間にエネルギーがどのように輸送されるかを説明するための一般化された特性は１０Ｄ関数として表すことができ、データセット内の利用可能または提供されたサンプルの各々またはいずかに対してｆ_ｒ（λ_ｉ、ｘ_ｉ、ｗ_ｉ、λ_ｒ、ｘ_ｒ、ｗ_ｒ）として指定して、入力エネルギー、ベクトル化された表面形状の影響、および反射、屈折、鏡面、透過、散乱、拡散、または任意のエネルギー領域からの他の材料特性の結果の出力を、関数の一般化ｆ_ｒが与えられたときに説明することができる。

【0178】

ここでエネルギー指向表面を考慮すると、プレノプティック４Ｄ関数は、エネルギー位置を含み、エネルギー伝搬経路のベクトルｆ_ｌ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）を定義する導波パラメータｕ_ｌ、ｖ_ｌを含む第２の平面に沿って第２の座標を通して指向される第１の平面から２つの空間座標ｘ_ｌ、ｙ_ｌを提供する。複数のエネルギー指向表面を考慮すると、プレノプティック５Ｄ関数は、１つまたは複数のエネルギー位置を含み、エネルギー伝搬経路のベクトルｆ_ｌ（ｘ_ｌ、ｙ_ｌ、ｚ_ｌ、ｕ_ｌ、ｖ_ｌ）を定義する導波パラメータｕ_ｌ、ｖ_ｌを含む平面に沿って第２の座標を通して指向される、第１の座標から３つの空間座標ｘ_ｌ、ｙ_ｌ、ｚ_ｌを提供する。４Ｄまたは５Ｄのそれぞれについて、時間および色のための追加の変数ｆ_ｌ（λ_ｌ、ｔ_ｌ）を考慮して、関数および説明を簡単にするために明示的に注記されていなくても、アプリケーションのために必要な場合、プレノプティック関数のいずれかを含むものとみなすことができる。

【0179】

エネルギー伝搬経路の第１のベクトルに沿って、エネルギーの収束を含む複数の交点が追加のエネルギー伝搬経路と共に発生し得る。この交点では、３Ｄ点または深度パラメータが、４Ｄまたは５Ｄプレノプティック関数を有する複数のエネルギー伝搬経路の間の位置Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌに形成し、ここで、エネルギー指向４Ｄ表面または５Ｄ表面内に含まれる各ｘ_ｌ、ｙ_ｌまたはｘ_ｌ、ｙ_ｌ、ｚ_ｌ座標に対して、第１の座標と３Ｄ収束点との間に形成する単一のｕ_ｌ、ｖ_ｌ伝搬経路角度のみが存在する、複数のエネルギー伝搬経路の間の３Ｄ収束点Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌ。４Ｄ関数ｆ_ｚ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）または５Ｄ関数ｆ_ｚ（ｘ_ｌ、ｙ_ｌ，ｚ_ｌ、ｕ_ｌ、ｖ_ｌ）は、すべての４Ｄｘ_ｌ、ｙ_ｌまたは５Ｄｘ_ｌ、ｙ_ｌ、ｚ_ｌ座標、および各収束点に対してＸ_ｌ、Ｙ_ｌ、Ｚ_ｌに存在する、対応するｕ_ｌ、ｖ_ｌ伝搬経路を集合的に画定する。

【0180】

収束座標Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌに表面が形成され、この表面は、収束エネルギー伝搬経路の３Ｄ位置を含む点、体積、物体または他の具象を含むことができる。各表面位置に対して提供されるサンプルは、結果得られるエネルギーを特徴付ける、またはそうでなければ処理するための１つまたは複数の表面特性、ベクトル、材料、特徴付け、または他の識別特性Ｖ_ｉ、ならびに表面位置に近接した特定の点に当たる１つまたは複数の入力エネルギー源を含むことができ、反射率関数はここで、表面の様々な特性のための、１１Ｄユニバーサルオブジェクトパラメータ化関数ｆ_ｒ（λ_ｉ、ｘ_ｉ、ｗ_ｉ、λ_ｒ、ｘ_ｒ、ｗ_ｒ、Ｖ_ｉ）として表される一般化されたベクトルを含む。

【0181】

１１Ｄユニバーサルホログラフィックパラメータ化関数ｆ_ｒ（λ_ｉ、ｘ_ｉ、ｗ_ｉ、λ_ｒ、ｘ_ｒ、ｗ_ｒ、Ｖ_ｉ）は特定の環境およびベクトル化された特性のための結果得られる値を規定し、４Ｄ関数ｆ_ｌ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）はエネルギー指向装置表面からのエネルギー伝搬経路を規定し、そのため、１５Ｄユニバーサルホログラフィックパラメータ化関数ｆ_ｒ（λ_ｉ、ｘ_ｉ、ｗ_ｉ、λ_ｒ、ｘ_ｒ、ｗ_ｒ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）、Ｖ_ｉ）としてさらに一般化することができ、ここで、送信される方向ｗ_ｒがｕ_ｌ、ｖ_ｌの伝搬経路を規定して等しくし、それにより空間座標ｘ_ｌ、ｙ_ｌを規定し、各送信される方向ｗ_ｒでは、ｗ_ｒ＝ｕ_ｌ、ｖ_ｌを満たすただ１つのｆ_ｌ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）セットの値が存在する。当業者は、４Ｄおよび５Ｄホログラフィック感覚エネルギー特性の開示されたユニバーサルパラメータ化に関連するレンダリングの要件に加えて、様々な変換および数学的構成概念を理解するであろう。

【0182】

空間内の収束点から形成される表面と一致するようにすべての感覚エネルギー特性をベクトル化することを示す完全な１５Ｄ関数を用いて、複数桁の必要なデータが根本的に省かれ、真にホログラフィックデータセットの送信を可能にする実行可能な経路をプロビジョニングする。

【0183】

ベクトル化された特性は、合成的にプログラムされ得る、捕捉され得る、またはコンピュータにより評価され得る特性に対する感覚領域の各々の正確な物理的特性を提供することを目指しており、Ｖ_ｉは、以下のものを含む、一般的なシステムメタデータ用、またはそれぞれのもしくは任意の感覚エネルギー領域用に提供されるデータセット内の特定のサンプルについて、対象に関する各表面、体積または３Ｄ座標Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌでベクトル化された特性の属性を指定することができる。
１）システムメタデータは、法線、深度情報、環境特性、所与の３Ｄ座標に対する複数の角度サンプル、プロシージャルテクスチャ、幾何学的形状、点群、ディープイメージデータ、静的フレーム、時間フレーム、ビデオデータ、表面ＩＤ、表面パス、座標マップ、仮想カメラ座標、仮想照明および可視エネルギー情報、環境マップ、視覚サンプル情報のフィールド外のシーン情報、曲線、頂点、時間情報、ネットワークデータ、データベース、対象認識、エネルギー装置、外部データフィード、システムの変更および対話のためのセンサ、システムステータス、音声認識、嗅覚検出、聴覚検出、顔認識、体性感覚認識、味覚認識、ＵＩ、ＵＸ、ユーザープロファイル、フローおよびモーションベクトル、レイヤー、領域、透明度、セグメント、アニメーション、シーケンス情報、手順情報、変位マップ、または各サンプルの適正な処理のための十分なデータを提供するのに必要な任意の他のシーンデータを含む、各サンプルの表面特性に関する感覚エネルギー特有の属性またはシステム全体の参照のうちのいずれかを提供し得る。
２）視覚エネルギーは、可視または非可視電磁エネルギー、虹色、発光、表面下散乱、非局所散乱効果、鏡面反射、影付け、吸光度、透過率、マスキング、相互反射、アルベド、透明性、物理的特性、動力学的特性、反射、屈折、回折、光学効果、大気効果、周波数、変調、表面形状、テクスチャ、変位マップ、プロビジョニングされたエネルギーに基づいて特に他の感覚エネルギーと相互関係を持ち応答するための物理的特性および動力学的特性（例えば、反射率特性を変える音の振動、または表面の変形を引き起こす触感材料の変形）、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積などに関連する他の材料特性の適切なレンダリングを規定するための表面特性を提供し得る。
３）聴覚エネルギー：局所音場の配置、大きさ、振幅、質量、材料伝搬パラメータ、吸光度、透過率、音響反射率を示す材料特性、拡散、透過率、増強、マスキング、散乱、局在化、周波数依存性または変調、ピッチ、トーン、粘性、滑らかさ、テクスチャ、弾性率、物体内の音波の伝搬を決定する任意の他のパラメータ、表面、媒体またはその他、プロビジョニングされたエネルギーに基づいて特に他の感覚エネルギーと相互関係を持ち応答するための物理的特性および動力学的特性（例えば、素材の音を変える温度）、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積などに関連する他の材料特性、に関係するベクトル。
４）テクスチャのための機械的受容器、圧力、温度受容器、温度、他の動力学特性の中の時間、歪み、弾性率用の変数を含む多くの物理的特性を提供し、経時的に応力と歪みとの間の変形を被るときの、粘性的および弾性的両方の材料測定の粘弾性挙動の範囲を規定する表面変形性パラメータおよびベクトル、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の体性感覚パラメータに関連する他の材料特性、に関連する体性感覚エネルギーベクトル。
５）よい香り、果物臭、柑橘類臭、木質（樹脂）臭、薬品臭、甘い匂い、ミント（ペパーミント）臭、こんがり焼けた（ナッツの）匂い、刺激臭および腐敗臭に対する味覚エネルギーベクトル、ここで、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得、持続時間、大きさ、周波数、長さ、時間、半径、変調、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の味覚パラメータに関連する他の材料特性をさらに提供する。
６）酸味、塩味、苦味（スパイシーさ）、甘味、およびおいしさ（うまみ）に対する嗅覚エネルギーベクトル、ここで、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得、持続時間、大きさ、周波数、長さ、時間、半径、変調、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の味覚パラメータに関連する他の材料特性をさらに提供する。
７）あるいは任意の他の感覚サンプルデータセットからの物理的な、合成の、伝達された、または計算上の相互依存性、必要とされる、設計された、または要求された感覚ベクトル、および特定の特徴のパラメータ化が、一般化されたホログラフィック構成データの再構成、保存、処理または送信に有益な場合の任意の追加の感覚特性、に基づく他の相互に関連する感覚ダイナミックス。

【0184】

単一の角度サンプルを有する２Ｄデータ、単一の次元に２つ以上の角度サンプルを有する３Ｄデータ、２つの次元に複数の角度サンプルを有する４Ｄデータ、または３つ以上の次元に複数の角度サンプルを有する５Ｄデータを含む受信されたデータセットがあれば。

【0185】

提供されるすべてのソース材料について、各ソース材料は、ホログラフィックデータセットの効率的なベクトル化の準備を適切に行うために、追加のプロセスを経ることができる。より低い空間分解能または角度分解能のそのエネルギー指向面を示す任意の提供されたシース材料について、元のソースを４Ｄまたは５Ｄデータセットに正確に変換するために、変換プロセスが必要になることがある。

【0186】

適切な準備のために、一実施形態では、提供される２Ｄまたは３Ｄソース材料は、標準のイメージングシステムからの写真捕捉を含む。この一連の画像内には、ラスター反射、屈折、透明要素、および物理ベースの照明との材料特性の相互作用の他の同様の例がある。

【0187】

既にラスター化された材料特性を有する表面の表面ＩＤを単に識別することによってコンテンツが準備される場合、有効なデータは４Ｄ座標系に収斂するのに十分であり得るが、これらの表面に適用される任意の追加のレンダリングは、写真特性、およびパラメータ化された、合成レンダリングされた反射特性の物理的特性のために二重像を示すであろう。効率的なホログラフィック送信のための理想的なソースデータセットは、サンプルソース情報のアルベド表現と、アルベドマルチビューサンプルのオブジェクトベースの体積サンプリングを形成するメタデータを有する特定のエネルギー領域の各々のためのベクトル化された材料特性とを含み、すべての材料特性は、特定のベクトル化された表面特性に正確に基づいて、正確な表面識別およびレンダリング、ならびに他の感覚エネルギーの局在化または投影を提供する。

【0188】

一実施形態では、手動、半自動、コンピュータビジョン、または自動化プロセスが、ソースサンプルデータセット内のコンテンツをアルゴリズム的にまたは手動で評価するためにプロビジョニングされ、手動またはアルゴリズム的解析が実行され、それによりセグメンテーションおよび当技術分野で既知の他のオブジェクト分離方法が実行されて、所望されない物理的ラスター化効果を含む領域を識別する。一実施形態では、背景の前で人物が撮影され、人物の物質的特性は環境からの反射を含み、背景オブジェクトは撮影された人物によって遮られる。これらの領域が望ましくないと識別された後、プロセスを利用して、１）問題のオブジェクトを隔離すること、２）すべてのオブジェクト要素を分離して、閉塞、透明度、エッジ、または他の要素を明らかにすること、ができ、３）機械学習、コンピュータビジョン、およびシーン、オブジェクトおよび／または環境に関する情報を追加的に捕捉した追加のハードウェアおよびエネルギー装置の容易化により、画像解析、時間解析、エネルギー解析を通じて、または完全に手動の手段を通じて、材料特性を示すべき任意の表面が、コンピュータビジョン、アルゴリズム、プロセッサ、または手動視覚効果によって除去された任意のそのようなベークイン材料特性を有するように、オブジェクト要素がプロビジョニングされ、ここで手動プロセスは、外因的な材料特性がないときに内在性材料特性を再生して、前記データセットの最も効率的な送信および伝搬のためのコンテンツを準備するために、ワイヤー消し、ペイントフィックス、クリーンプレート、画像修復、アルファマット作成、オクルージョンフィリング、オブジェクトレクリエーション、画像投影、モーショントラッキング、カメラトラッキング、ロトスコープ、オプティカルフローなどを実行する方法用に一般に当技術分野で既知のものである、４）上記の追加のプロセスは、所望のサンプルの各々について、深度または３Ｄ座標値の手動またはコンピュータ支援識別を含む、５）さらにこの実施形態の範囲内には、エネルギー指向装置のディスプレイドライバ内、またはパラメータ化されたデータセットを符号化または復号化することが可能な任意の追加のシステム内でデータが容易にさらにレンダリングされ得るように、点、データ領域、表面、オブジェクト、または材料の他の表現を各々が表す、関連する材料特性の識別がある。

【0189】

一実施形態では、上記からのデータセットは、各々が複数レイヤーのｒｇｂａ情報、各セグメント化された材料を表面ＩＤに関連付けるための一連のベクトル化された材料特性、および外因性画像データの除去前に元のソースデータセットを厳密に再構成するための一連の表面パラメータを有する、アルベド視覚エネルギーサンプルを用いて準備された３Ｄマルチビューサンプルを含み、音響データセットは、視覚エネルギーシステムの材料特性、ならびに各々が識別された周波数、変調、空間配置および他の音源定位特性を有する複数の音響チャネルに関連付けられたベクトル化された材料特性を有してプロビジョニングされ、いずれもが他のベクトル化されたデータセットに関係付けられた、粘弾性および温度のベクトル化された材料特性の両方をさらに含むように、体性感覚エネルギーデータセットが、視覚エネルギーデータセット内に含まれる表面のサブセットに対して提供される。

【0190】

任意の提供されたデータセットから、視覚エネルギーデータセットからの各提供されたサンプルが、エネルギー指向装置の表面に対する相対深度位置について評価され、視覚エネルギーサンプルのいずれかについて、サンプルの各々が３Ｄ座標系に配置され、提供されたサンプルの各々に対するエネルギー伝搬経路長が、４Ｄまたは５Ｄプレノプティック関数内の複数のエネルギー伝搬経路の中の位置Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌにおいて第１の３Ｄ点と交差する複数の共存する収束エネルギー伝搬経路に関して各３Ｄ座標を相関させる関数に関して評価され、ここでエネルギー指向４Ｄ表面または５Ｄ表面内に含まれる各ｘ_ｌ、ｙ_ｌまたはｘ_ｌ、ｙ_ｌ、ｚ_ｌ座標については、第１の座標と３Ｄ収束点との間に形成する単一のｕ_ｌ、ｖ_ｌ伝搬経路角度のみが存在する。４Ｄ関数ｆ_ｚ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）または５Ｄ関数ｆ_ｚ（ｘ_ｌ、ｙ_ｌ、ｚ_ｌ、ｕ_ｌ、ｖ_ｌ）は、エネルギー指向装置内に含まれるすべての４Ｄ ｘ_ｌ、ｙ_ｌ、または５Ｄ ｘ_ｌ、ｙ_ｌ、ｚ_ｌ座標、およびＸ_ｌ、Ｙ_ｌ、Ｚ_ｌにおける各収束点に対して対応するｕ_ｌ、ｖ_ｌ伝搬経路を集合的に画定し、この解析プロセス実行後に、提供されるまたは利用可能な４Ｄ ｘ_ｌ、ｙ_ｌ、または５Ｄ ｘ_ｌ、ｙ_ｌ、ｚ_ｌ空間座標当たりのサンプルの総数が既知となり、位置Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌにおける各３Ｄ点と４Ｄまたは５Ｄ座標位置との間の総エネルギー伝搬経路長が既知となり、４Ｄまたは５Ｄ座標当たりの利用可能な総サンプルに基づいた重み付け分布、および利用可能な複数の３Ｄ座標データからサンプリングされた３Ｄ座標値までの最小経路長が、任意のデータセットからの４Ｄまたは５Ｄライトフィールドの完全なサンプリングを提供する。

【0191】

上記のさらなる実施形態として、１）視覚、聴覚、体性感覚、および任意の他の提供されるエネルギーサンプルのいずれかに対するサンプルの各々が、２）提供されたデータセット、追加の処理、または追加のベクトル化された特性に基づいて３Ｄ座標系に配置された後、および座標解析を実行する前に、３）１５Ｄユニバーサルホログラフィックパラメータ化関数ｆ_ｒ（λ_ｉ、ｘ_ｉ、ｗ_ｉ、λ_ｒ、ｘ_ｒ、ｗ_ｒ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）、Ｖ_ｉ）が評価され、４）独立したベクトル化された材料特性を各々が有する、追加の既知の環境シーン、幾何学的形状、メタデータなどが提供され、５）仮想照明情報が提供されて、追加の感覚エネルギーメタデータ特性が、レンダリング機能を変更する可能性のある特性の間の任意の可能性のある干渉について評価され、６）１５Ｄパラメータ化関数が、各提供された３Ｄ座標および対応するベクトル化された材料特性について評価を行って、７）任意の提供されたデータセットが与えられると、レンダリングプロセスをオンライン、オフライン、リアルタイム、ＡＳＩＣ、ＦＰＧＡ，クラウド、または他の形態のレンダリングプロセスを介して実行して新たな複数の角度変化する材料特性をもたらし、ここで８）このレンダリングプロセスは、伝搬経路ｕ_ｌ、ｖ_ｌの各々を画定し、それらに等しい送信方向ｗ_ｒの各々に特有であり、こうして空間座標ｘ_ｌ、ｙ_ｌを規定し、各送信方向ｗ_ｒに対して、ｗ_ｒ＝ｕ_ｌ、ｖ_ｌを満たすだた１つのセットのｆ_ｌ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）の値のみが存在し得、９）レンダリングの結果および結果として得られた利用可能な新たな角度変化する材料特性に基づいて、提供されたサンプルの各々に対するエネルギー伝搬経路長を含む４Ｄまたは５Ｄ座標の各々について、４Ｄまたは５Ｄプレノプティック関数内の複数のエネルギー伝搬経路の中の位置Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌにおける第１の３Ｄ点に交差する複数の共存する収束エネルギー伝搬経路に対して各３Ｄ座標を関連付ける関数に関連して評価され、ここでエネルギー指向４Ｄまたは５Ｄ表面内に含まれる各ｘ_ｌ、ｙ_ｌまたはｘ_ｌ、ｙ_ｌ、ｚ_ｌ座標に対して、第１の座標と収束３Ｄ点との間に形成するただ１つのｕ_ｌ、ｖ_ｌ伝搬経路角度のみが存在する。４Ｄ関数ｆ_ｚ（ｘ_ｌ、ｙ_ｌ、ｕ_ｌ、ｖ_ｌ）または５Ｄ関数ｆ_ｚ（ｘ_ｌ、ｙ_ｌ、ｚ_ｌ、ｕ_ｌ、ｖ_ｌ）は、エネルギー指向装置内に含まれるすべての４Ｄ ｘ_ｌ、ｙ_ｌ、または５Ｄ ｘ_ｌ、ｙ_ｌ、ｚ_ｌ座標、および各収束点に対してＸ_ｌ、Ｙ_ｌ、Ｚ_ｌにおいて存在する、対応するｕ_ｌ、ｖ_ｌ伝搬経路を集合的に画定し、この解析プロセス実行後に、提供されるまたは利用可能な４Ｄ ｘ_ｌ、ｙ_ｌ、または５Ｄ ｘ_ｌ、ｙ_ｌ、ｚ_ｌ空間座標当たりのサンプルの総数が既知となり、位置Ｘ_ｌ、Ｙ_ｌ、Ｚ_ｌにおける各３Ｄ点と４Ｄまたは５Ｄ座標位置との間の総エネルギー伝搬経路長が既知となり、４Ｄまたは５Ｄ座標当たりの利用可能な総サンプルに基づいた重み付け分布、および利用可能な複数の３Ｄ座標データからサンプリングされた３Ｄ座標値までの最小経路長が、任意のデータセットからの全ての提供される感覚エネルギーについて、４Ｄまたは５Ｄライトフィールドの完全なサンプリングを提供する。

【0192】

実世界環境の照明を表す感知された電磁エネルギー、または環境内の特定の音響周波数の吸光度が、レンダリングプロセスまたは他の感知された対話型の実世界素子に対して動的またはオフラインでの更新をもたらし得るように、レンダリングが双方向エネルギー指向表面をさらに明らかにする、上述のシステムのさらなる実施形態が評価され、照明および音響または他のソースが、環境条件の変更に適応するように調整される。

【0193】

図８を再び参照し、上記の原理を考慮すると、プロセス８００の一実施形態では、受信されたコンテンツデータはベクトル化された材料特性データをさらに含むことができ、プロセス８００は、コンテンツデータのデジタル立体表現が、ベクトル化された材料特性データに関連付けられるステップ８３０をさらに含み、ステップ８０４では、エネルギー源位置値を決定することは、少なくとも、コンテンツデータの体積表現に関連付けられたベクトル化された材料特性データに基づく。

【0194】

図９および図１３を参照すると、一実施形態では、ベクトル化プロセス１３００は、第１のコンテンツデータが受信されるステップ１３０２と、コンテンツデータ内の表面９１５を識別するステップ１３０４と、を含み得る。一実施形態では、表面９１５を識別することは、コンテンツデータ内のセグメンテーションデータを使用することを含み得る。ベクトル化プロセス１３００は、表面９１５の表面識別が決定されるステップ１３０６と、表面９１５の材料特性データが決定されるステップ１３０８と、をさらに含み得る。一実施形態では、材料特性データを決定することは、手動での決定、または所定のプロセスを使用することを含み得る。ステップ１３０６および１３０８の後、ベクトル化プロセス１３００は、表面識別が表面９１５の材料特性データと関連付けられるステップ１３１０をさらに含み得る。ベクトル化プロセス１３００は、材料特性データのベクトルが生成されるステップ１３１２をさらに含み得る。ベクトル化プロセス１３００は、生成されたベクトルに基づいて、ベクトル化された材料特性データが生成されるステップ１３１４をさらに含み得る。

【0195】

一実施形態では、プロセス１３００は、材料特性データが第１のコンテンツデータから除去され、ステップ１３１４でベクトル化された材料特性データに置き換えられるステップ１３１６を任意選択的に含むことができる。一実施形態では、ステップ１３１４でベクトル化された材料特性データを、上述したようにプロセス８００で使用して、上述したように本開示のエネルギー指向装置の４Ｄプレノプティック座標を決定することができる。

【0196】

プロセス１３００は、処処理システム１２００を含む、本開示の任意の処理システムを使用して実行することができる。一実施形態では、コンテンツデータは、ステップ１３０２でデータ入出力インターフェース１２０１を介して受信され得、ベクトル化プロセス１３００のステップ１３０４～１３１４は、ベクトル化エンジン１２０４を使用して実行され得る。さらに、ステップ１３１４で生成されたベクトル化された材料特性データは、上述したようにプロセス８００のステップに従って処理するために、感覚データプロセッサ１２０２およびトレーシングエンジン１２０６によって使用され得る。ステップ８０８および８１２は、ホログラフィック表示のための４Ｄ座標を決定するために、トレーシングエンジンによって実行され得る。ステップ８１０は、感覚データプロセッサ１２０２によって実行され得る。処理サブシステムの出力は、圧縮エンジン１２１０に提供され得、そこから圧縮データがメモリに格納されるか、またはシステム１２１０にローカルまたはリモートに接続されたエネルギー指向システムに送信するために、データ入出力インターフェース１２０１に提供され得る。データはまた、後で検索されるまで、メモリ１２０８に格納され得る。

【0197】

ホーゲルは、ライトフィールドホログラムの一部である。図のホーゲルは、レンダリングされ得る。

【0198】

本明細書に開示された原理に従って様々な実施形態を上述してきたが、これらは、あくまで例示を目的としており、限定は目的としていないことを理解されたい。したがって本発明の範囲は、上述した例示的な実施形態のいずれによっても限定されず、特許請求の範囲および本開示から生じるそれらの均等物に従ってのみ定義されるべきである。さらに、説明した実施形態において利点および特徴を提示したが、これらは、そのような発行された特許請求の範囲の適用を上記の利点のいずれかまたはすべてを達成するプロセスおよび構造に限定するものではない。

【0199】

本開示の主な特徴は、本開示の範囲から逸脱することなく、様々な実施形態において採用され得ることが理解されるであろう。当業者であれば、本明細書に記載されている特定の手順に対する多数の等価物を認識し、または通常の実験を使用して、確認することができるであろう。そのような等価物は本開示の範囲内であり、特許請求の範囲によって網羅されている。

【0200】

さらに、本明細書における節の見出しは、米国特許法施行規則第１．７７条との整合性のために、あるいはそうでなければ構成の手がかりを提供するために提供される。これらの見出しは、本開示から発行される可能性のある任意の請求項に記載されている発明を限定または特徴付けるものではない。具体的に、かつ例として、見出しは「発明の分野」を指すが、そのような請求項は、いわゆる技術分野を説明するこの見出しの下の言葉によって限定されるべきではない。さらに、「発明の背景」の節における技術の説明は、その技術が本開示における任意の発明に対する先行技術であることの承認として解釈されるべきではない。「発明の概要」も、発行された特許請求の範囲に記載された発明の特徴付けとみなされるべきでもない。さらに、本開示における単数形での「発明」への言及は、本開示には単一の新規点しかないという議論に使用されるべきではない。本開示から生じる複数の請求項の限定に従って複数の発明を提示することができ、かかる請求項は、それ相応に、それによって保護される発明およびその等価物を定義する。いかなる場合においても、そのような請求項の範囲は、この開示に照らしてそれら自体の長所に関して考慮されるべきであるが、本明細書に記載される見出しによって制約されるべきではない。

【0201】

単語「１つの（ａまたはａｎ）」の使用は、特許請求の範囲および／または明細書中の用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」と組み合わせて使用される場合「１つ」を意味し得るが、「１つまたは複数」、「少なくとも１つ」、および「１つまたは１つを超える」の意味とも整合している。特許請求の範囲における「または（ｏｒ）」という用語の使用は、本開示が代替物のみおよび「および／または（ａｎｄ／ｏｒ）」を指す定義を支持するとはいえ、代替物のみを意味すると明確に示されておらずかつ代替物が互いに排他的でない限り、「および／または（ａｎｄ／ｏｒ）」を意味するために使用される。本出願全体を通して、「約（ａｂｏｕｔ）」という用語は、ある値が、その値を決定するために用いられている装置または方法に関して誤差の固有のばらつき、または研究課題の間に存在するばらつきを含むことを示すために使用される。一般に、ただし上述の論議に従うことを条件に、「約（ａｂｏｕｔ）」などの近似の語によって修飾される本明細書中の数値は、少なくとも±１、２、３、４、５、６、７、１０、１２、または１５％だけ記載された値から変わり得る。

【0202】

本明細書および請求項において使用されるとき、単語「含む（ｃｏｍｐｒｉｓｉｎｇ）」（ならびに「含む（ｃｏｍｐｒｉｓｅ）」および「含む（ｃｏｍｐｒｉｓｅｓ）」などの含む（ｃｏｍｐｒｉｓｉｎｇ）の任意の形態）、「有する（ｈａｖｉｎｇ）」（ならびに「有する（ｈａｖｅ）」および「有する（ｈａｓ）」などの有する（ｈａｖｉｎｇ）の任意の形態）、「含む（ｉｎｃｌｕｄｉｎｇ）」（ならびに「含む（ｉｎｃｌｕｄｅｓ）」および「含む（ｉｎｃｌｕｄｅ）」などの含む（ｉｎｃｌｕｄｉｎｇ）の任意の形態）、または「含む（ｃｏｎｔａｉｎｉｎｇ）」（ならびに「含む（ｃｏｎｔａｉｎｓ）」および「含む（ｃｏｎｔａｉｎ）」などの含む（ｃｏｎｔａｉｎｉｎｇ）の任意の形態）は、包含的または非限定的であり、さらなる記載されていない要素または方法のステップを除外しない。

【0203】

「時点で（ａｔ ｔｈｅ ｔｉｍｅ）」、「等価の（ｅｑｕｉｖａｌｅｎｔ）」、「間（ｄｕｒｉｎｇ）」、「完全（ｃｏｍｐｌｅｔｅ）」などのような比較、測定およびタイミングの単語は、「実質的に～の時点で（ｓｕｂｓｔａｎｔｉａｌｌｙ ａｔ ｔｈｅ ｔｉｍｅ）」、「実質的に～の間（ｓｕｂｔａｎｔｉａｌｌｙ ｄｕｒｉｎｇ）」、「実質的に等価（ｓｕｂｓｔａｎｔｉａｌｌｙ ｅｑｕｉｖａｌｅｎｔ）」、「実質的に完全（ｓｕｂｓｔａｎｔｉａｌｌｙ ｃｏｍｐｌｅｔｅ）」などを意味するものと理解されるべきであり、ここで「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」は、そのような比較、測定およびタイミングが暗黙的にまたは明示的に述べられた所望の結果を達成するために実行可能であることを意味する。「近い（ｎｅａｒ）」、「近接した（ｐｒｏｘｉｍａｔｅ）」、「隣接した（ａｄｊａｃｅｎｔ ｔｏ）」などの要素の相対位置に関する用語は、それぞれのシステム要素の相互作用に重要な影響を与えるのに十分に近いことを意味するものとする。他の近似の単語は同様に、そのように修飾されたときに、必ずしも絶対でも完全でもないと理解されるが、その条件が存在すると指定することを当業者が保証するのに十分近いと考えられる条件を指す。説明が変化し得る範囲は、どれほど大きな変化が起こり得るかに依存し、修飾された特徴が、修飾されない特徴に必要とされる特徴および能力を依然として持つことを当業者にさらに認識させる。

【0204】

本明細書において使用されるとき、用語「またはこれらの組み合わせ（ｏｒ ｃｏｍｂｉｎａｔｉｏｎｓ ｔｈｅｒｅｏｆ）」は、その用語の前に列挙された項目のすべての順列および組み合わせを指す。例えば、「Ａ、Ｂ、Ｃ、又またはこれらの組み合わせ」は、Ａ、Ｂ、Ｃ、ＡＢ、ＡＣ、ＢＣ、またはＡＢＣと、特定の文脈において順序が重要である場合には、さらに、ＢＡ、ＣＡ、ＣＢ、ＣＢＡ、ＢＣＡ、ＡＣＢ、ＢＡＣ、またはＣＡＢとの少なくとも１つを含むことが意図される。この例について続けると、はっきりと含まれるのは、ＢＢ、ＡＡＡ、ＡＢ、ＢＢＣ、ＡＡＡＢＣＣＣＣ、ＣＢＢＡＡＡ、ＣＡＢＡＢＢなどの１つまたは複数の項目または用語の繰り返しを含む組み合わせである。当業者は、そうでないことが文脈から明らかでない限り、任意の組み合わせにおける項目または用語の数に通常制限がないことを理解するであろう。

【0205】

本明細書において開示され、特許請求された構成および／または方法のすべては、本開示に照らして過度の実験をすることなく製造および実行することができる。本開示の構成および方法が好ましい実施形態に関して説明されているが、本開示の概念、趣旨、および範囲を逸脱することなく、構成および／または方法に対して、ならびに本明細書において説明された方法のステップまたはステップのシーケンスにおいて、変更が適用され得ることは、当業者に明らかであろう。当業者に明らかなすべてのそのような同様の代用および修正は、添付の特許請求の範囲によって定義されるような、本開示の趣旨、範囲、および概念内にあるとみなされる。
［項目１］
コンテンツデータのための４次元プレノプティック座標（４Ｄプレノプティック座標）を決定する方法であって、
コンテンツデータを受信する段階と、
前記コンテンツデータのデジタル立体表現を生成するために、第１の表面に対するデータ点の位置を決定する段階であって、前記第１の表面が基準表面である、決定する段階と、
複数の位置を通って前記第１の表面まで前記データ点の各々の位置を追跡することであって、前記複数の位置が第２の表面にある、追跡する段階と、
前記第１の表面および前記第２の表面における複数の追跡された交点に基づいて、各データ点のための１つのセットの４Ｄプレノプティック座標を決定する段階と、
第１のデータ点に第１の収束点を有する第１のセットの４Ｄプレノプティック座標に対する第１のセットのエネルギー源位置値を決定する段階と、
前記第１のデータ点とは異なる第２のデータ点に第２の収束点を有する第２のセットの４Ｄプレノプティック座標に対する第２のセットのエネルギー源位置値を決定する段階と、を含み、
前記第１のセットおよび前記第２のセットの４Ｄプレノプティック座標が、前記第１の表面および前記第２の表面における異なる複数の追跡された交点に基づいて決定される、方法。
［項目２］
前記コンテンツデータが、視覚、聴覚、触覚、感覚、または嗅覚セニョールによって知覚可能な信号を含む、項目１に記載の方法。
［項目３］
前記コンテンツデータが、対象物位置、材料特性、仮想光源、非対象物位置における形状のコンテンツ、前記基準表面からのコンテンツ、仮想カメラ位置、対象物のセグメンテーション、および階層化コンテンツのうちの少なくとも１つを含む、項目１または２に記載の方法。
［項目４］
前記コンテンツデータが、２次元空間（２Ｄ空間）内のデータ点を含み、位置を決定する段階が、２次元空間内の前記データ点に深度マップを適用することを含む、項目１から３のいずれか一項に記載の方法。
［項目５］
前記コンテンツデータが、３次元空間（３Ｄ空間）内のデータ点を含み、位置を決定する段階が、前記３Ｄ空間内で前記データ点を調整することを含む、項目１から４のいずれか一項に記載の方法。
［項目６］
調整する段階が、前記３Ｄ空間内の前記データ点に深度マップを適用することを含む、項目５に記載の方法。
［項目７］
調整する段階が、新たなデータ点を追加することを含む、項目５または６に記載の方法。
［項目８］
調整する段階が、遮蔽されたデータ点を再構成することを含む、項目５から７のいずれか一項に記載の方法。
［項目９］
前記第２の表面が、エネルギー指向装置の導波路システムに対応し、エネルギーが、前記データ点の前記４Ｄプレノプティック座標に従って、前記コンテンツデータの検出可能な立体表現を形成するために、前記導波路システムを介して指向するように動作可能である、項目１から８のいずれか一項に記載の方法。
［項目１０］
前記方法が、前記導波路システムの第１の側のエネルギー位置と、前記導波路システムの第２の側の導波路素子からのエネルギー伝搬経路の角度方向との間にマッピングを適用する段階をさらに含み、前記データ点の前記４Ｄプレノプティック座標に対応する、前記導波路システムの前記第１の側の複数のエネルギー位置が、前記マッピングを適用することによって決定される、項目９に記載の方法。
［項目１１］
前記マッピングを適用する段階が、前記導波路システム内の歪みについて較正する段階を含む、項目１０に記載の方法。
［項目１２］
前記導波路システム内の歪みについて較正する段階が、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正することを含む、項目１１に記載の方法。
［項目１３］
前記エネルギー指向装置が、前記導波路システムの第１の側にリレーシステムをさらに備え、前記リレーシステムが、前記導波路システムに隣接する第１の表面を有し、さらに前記導波路システムの前記第１の側のエネルギー位置が、前記リレーシステムの第２の表面に隣接して位置付けられている、項目９から１２のいずれか一項に記載の方法。
［項目１４］
マッピングを適用する段階が、前記導波路システム内の歪みについて較正する段階を含む、項目１３に記載の方法。
［項目１５］
マッピングを適用する段階が、前記リレーシステム内の歪みについて較正する段階を含む、項目１３または１４に記載の方法。
［項目１６］
前記マッピングを適用する段階が、前記導波路システム内の歪みについて較正する段階を含む、項目１５に記載の方法。
［項目１７］
前記リレーシステム内の歪みについて較正する段階が、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正する段階を含む、項目１５または１６に記載の方法。
［項目１８］
エネルギー位置が、前記第１の表面内に配置されている、項目９から１７のいずれか一項に記載の方法。
［項目１９］
前記受信されたコンテンツデータが、ベクトル化された材料特性データをさらに含み、前記方法が、前記コンテンツデータの前記デジタル立体表現を前記ベクトル化された材料特性データに関連付ける段階をさらに含み、エネルギー源位置値を決定することが、少なくとも前記コンテンツデータの前記デジタル立体表現に関連付けられた前記ベクトル化された材料特性データに基づく、項目１から１８のいずれか一項に記載の方法。
［項目２０］
前記方法の少なくとも一部が、リアルタイムで実施される、項目１から１９のいずれか一項に記載の方法。
［項目２１］
方法が、完全にリアルタイムで実行される、項目１から２０のいずれか一項に記載の方法。
［項目２２］
前記方法の少なくとも２つの部分が、異なる期間に実行される、項目１から２１のいずれか一項に記載の方法。
［項目２３］
コンテンツデータのための４次元プレノプティック座標（４Ｄプレノプティック座標）を決定する方法であって、
コンテンツデータを受信する段階と、
基準点位置に対するデータ点の位置を決定する段階と、
前記基準点位置に基づいて、前記データ点のベクトルを生成することによって、前記データ点をベクトル化する段階と、
前記ベクトル化されたデータ点に基づいて、前記コンテンツデータのデジタル立体表現を生成するために、第１の表面に対するデータ点の位置を決定する段階であって、前記第１の表面が基準表面である、決定する段階と、
複数の位置を通って前記第１の表面まで前記データ点の各々の前記位置を追跡する段階であって、前記複数の位置が第２の表面にある、追跡する段階と、
前記第１の表面および前記第２の表面における複数の追跡された交点に基づいて、各データ点のための１つのセットの４Ｄ座標を決定する段階と、を含む、方法。
［項目２４］
前記コンテンツデータが、視覚、聴覚、触覚、感覚、または嗅覚セニョールによって知覚可能な信号を含む、項目２３に記載の方法。
［項目２５］
前記コンテンツデータが、対象物位置、材料特性、仮想光源、非対象物位置における形状のコンテンツ、前記基準表面からのコンテンツ、仮想カメラ位置、対象物のセグメンテーション、および階層化コンテンツのうちの少なくとも１つを含む、項目２３または２４に記載の方法。
［項目２６］
前記コンテンツデータが、２次元空間（２Ｄ空間）内のデータ点を含み、位置を決定する段階が、２次元空間内の前記データ点に深度マップを適用する段階を含む、項目２３から２５のいずれか一項に記載の方法。
［項目２７］
前記コンテンツデータが、３次元空間（３Ｄ空間）内のデータ点を含み、位置を決定する段階が、前記３Ｄ空間内で前記データ点を調整することを含む、項目２３から２６のいずれか一項に記載の方法。
［項目２８］
調整する段階が、前記３Ｄ空間内の前記データ点に深度マップを適用する段階を含む、項目２７に記載の方法。
［項目２９］
調整する段階が、新たなデータ点を追加することを含む、項目２７または２８に記載の方法。
［項目３０］
調整することが、遮蔽されたデータ点を再構成することを含む、項目２７から２９のいずれか一項に記載の方法。
［項目３１］
前記第２の表面が、エネルギー指向装置の導波路システムに対応し、エネルギーが、前記データ点の前記４Ｄプレノプティック座標に従って、前記コンテンツデータの検出可能な立体表現を形成するために、前記導波路システムを介して指向するように動作可能である、項目２３から３０のいずれか一項に記載の方法。
［項目３２］
前記方法が、前記導波路システムの第１の側のエネルギー位置と、前記導波路システムの第２の側の導波路素子からのエネルギー伝搬経路の角度方向との間にマッピングを適用する段階をさらに含み、前記データ点の前記４Ｄプレノプティック座標に対応する、前記導波路システムの前記第１の側の複数のエネルギー位置が、前記マッピングを適用することによって決定される、項目３１に記載の方法。
［項目３３］
前記マッピングを適用する段階が、前記導波路システム内の歪みについて較正する段階を含む、項目３２に記載の方法。
［項目３４］
前記導波路システム内の歪みについて較正する段階が、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正する段階を含む、項目３３に記載の方法。
［項目３５］
前記エネルギー指向装置が、前記導波路システムの第１の側にリレーシステムをさらに備え、前記リレーシステムが、前記導波路システムに隣接する第１の表面を有し、さらに前記導波路システムの前記第１の側のエネルギー位置が、前記リレーシステムの第２の表面に隣接して位置付けられている、項目３１から３４のいずれか一項に記載の方法。
［項目３６］
マッピングを適用する段階が、前記導波路システム内の歪みについて較正することを含む、項目３５に記載の方法。
［項目３７］
マッピングを適用する段階が、前記リレーシステム内の歪みについて較正することを含む、項目３５または３６に記載の方法。
［項目３８］
前記マッピングを適用する段階が、前記導波路システム内の歪みについて較正することを含む、項目３７に記載の方法。
［項目３９］
前記リレーシステム内の前記歪みについて較正する段階が、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正する段階を含む、項目３７または３８に記載の方法。
［項目４０］
エネルギー位置が、前記第１の表面内に配置されている、項目３１から３９のいずれか一項に記載の方法。
［項目４１］
前記受信されたコンテンツデータが、ベクトル化された材料特性データをさらに含み、前記方法が、前記コンテンツデータの前記デジタル立体表現を前記ベクトル化された材料特性データに関連付ける段階をさらに含み、エネルギー源位置値を決定する段階が、少なくとも前記コンテンツデータの前記デジタル立体表現に関連付けられた前記ベクトル化された材料特性データに基づく、項目２３から４０のいずれか一項に記載の方法。
［項目４２］
第１のコンテンツデータを受信する段階と、
前記第１のコンテンツデータ内の表面を識別する段階と、
前記表面の材料特性データを決定する段階と、
前記材料特性データのベクトルを生成する段階と、
前記生成されたベクトルに基づいて、ベクトル化された材料特性データを生成する段階であって、前記ベクトル化された材料特性データが、１つのセットの４次元プレノプティック座標（４次元プレノプティク座標）によって定義される、さもなければ前記ベクトル化された材料特性データとは独立した、前記表面の表面識別との関連付けに適応可能なフォーマットを含む、生成する段階と、を含むベクトル化についての方法。
［項目４３］
前記表面を識別する段階が、前記第１のコンテンツデータ内のセグメンテーションデータを使用することを含む、項目４２に記載の方法。
［項目４４］
前記材料特性データを決定する段階が、手動による決定を含む、項目４２または４３に記載の方法。
［項目４５］
前記材料特性データを決定する段階が、予め定められたプロセスを使用することを含む、項目４２から４４のいずれか一項に記載の方法。
［項目４６］
前記第１のコンテンツデータのデジタル立体表現を生成する段階についての基準表面に関する前記表面のデータ点の位置を決定する段階と、
前記第１のコンテンツデータの前記デジタル立体表現を前記ベクトル化された材料特性データに関連付ける段階と、
４Ｄ関数が適用される第２の表面まで、前記デジタル立体表現内の前記データ点の前記位置を追跡する段階によって、４Ｄ適用表面における前記表面の前記データ点の前記セットの４Ｄプレノプティック座標を決定することと、
第１の収束点を有する４Ｄ座標のエネルギー源位置値を決定する段階であって、エネルギー源位置値を決定することが、少なくとも前記第１のコンテンツデータの前記デジタル立体表現に関連付けられた前記ベクトル化された材料特性データに基づく、決定する段階と、をさらに含む、項目４２から４５のいずれか一項に記載の方法。
［項目４７］
材料特性データを除去する段階をさらに含む、項目４６に記載の方法。
［項目４８］
コンテンツデータのための４次元プレノプティック座標（４Ｄプレノプティック座標）を決定するためのシステムであって、
コンテンツデータを受信するように構成されている入出力インターフェースと、
前記入出力インターフェースと通信し、感覚データプロセッサおよびトレーシングエンジンを含む処理サブシステムとを備え、
前記感覚データプロセッサが、第１の表面に対する前記コンテンツデータのデータ点の位置を決定し、前記コンテンツデータのデジタル立体表現を生成するように構成され、前記第１の表面が基準表面であり、
前記トレーシングエンジンが、複数の位置を通って前記第１の表面まで、前記データ点の各々の前記位置を追跡するように構成され、前記複数の位置が第２の表面にあり、
前記トレーシングエンジンが、前記第１の表面および前記第２の表面における複数の追跡された交点に基づいて、各データ点のために１つのセットの４Ｄプレノプティック座標を決定し、第１のデータ点に第１の収束点を有する第１のセットの４Ｄプレノプティック座標に対する第１のセットのエネルギー源位置値を決定し、前記第１のデータ点とは異なる第２のデータ点に第２の収束点を有する第２のセットの４Ｄプレノプティック座標に対する第２のセットのエネルギー源位置値を決定するようにさらに構成され、
前記第１のセットおよび前記第２のセットの４Ｄプレノプティック座標が、前記第１の表面および前記第２の表面における異なる複数の追跡された交点に基づいて決定される、システム。
［項目４９］
前記コンテンツデータが、視覚、聴覚、触覚、感覚、または嗅覚セニョールによって知覚可能な信号を含む、項目４８に記載のシステム。
［項目５０］
前記コンテンツデータが、対象物位置、材料特性、仮想光源、非対象物位置における形状のコンテンツ、前記基準表面からのコンテンツ、仮想カメラ位置、対象物のセグメンテーション、および階層化コンテンツのうちの少なくとも１つを含む、項目４８または４９に記載のシステム。
［項目５１］
前記コンテンツデータが、２次元空間（２Ｄ空間）内のデータ点を含み、位置を決定することが、２次元空間内の前記データ点に深度マップを適用することを含む、項目４８から５０のいずれか一項に記載のシステム。
［項目５２］
前記コンテンツデータが、３次元空間（３Ｄ空間）内のデータ点を含み、位置を決定することが、前記３Ｄ空間内で前記データ点を調整することを含む、項目４８から５１のいずれか一項に記載のシステム。
［項目５３］
調整することが、前記３Ｄ空間内の前記データ点に深度マップを適用することを含む、項目５２に記載のシステム。
［項目５４］
調整することが、新たなデータ点を追加することを含む、項目５２または５３に記載のシステム。
［項目５５］
調整することが、遮蔽されたデータ点を再構成することを含む、項目５２から５４のいずれか一項に記載のシステム。
［項目５６］
前記第２の表面が、エネルギー指向装置の導波路システムに対応し、エネルギーが、前記データ点の前記４Ｄプレノプティック座標に従って、前記コンテンツデータの検出可能な立体表現を形成するために、前記導波路システムを介して指向するように構成されている、項目４８から５５のいずれか一項に記載のシステム。
［項目５７］
前記トレーシングエンジンが、前記導波路システムの第１の側のエネルギー位置と、前記導波路システムの第２の側の導波路素子からのエネルギー伝搬経路の角度方向との間にマッピングを適用するようにさらに構成され、前記データ点の前記４Ｄプレノプティック座標に対応する前記導波路システムの前記第１の側の複数のエネルギー位置が、前記マッピングを適用することによって決定される、項目５６に記載のシステム。
［項目５８］
前記マッピングを適用することが、前記導波路システム内の歪みについて較正することを含む、項目５７に記載のシステム。
［項目５９］
前記導波路システム内の前記歪みについて較正することが、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正することを含む、項目５８に記載のシステム。
［項目６０］
前記エネルギー指向装置が、前記導波路システムの第１の側にリレーシステムをさらに備え、前記リレーシステムが、前記導波路システムに隣接する第１の表面を有し、さらに前記導波路システムの前記第１の側のエネルギー位置が、前記リレーシステムの第２の表面に隣接して位置付けられている、項目５６に記載のシステム。
［項目６１］
マッピングを適用することが、前記導波路システム内の歪みについて較正することを含む、項目６０に記載のシステム。
［項目６２］
前記マッピングを適用することが、前記リレーシステム内の歪みについて較正することを含む、項目６１に記載のシステム。
［項目６３］
前記リレーシステム内の前記歪みについて較正することが、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正することを含む、項目６２に記載のシステム。
［項目６４］
エネルギー位置が、前記第１の表面内に配置されている、項目５６から６３のいずれか一項に記載のシステム。
［項目６５］
前記システムの少なくとも２つの機能が、異なる期間に実行される、項目４８から６４のいずれか一項に記載のシステム。
［項目６６］
コンテンツデータのための４次元プレノプティック座標（４Ｄプレノプティック座標）を決定するためのシステムであって、
コンテンツデータを受信するように構成されている入出力インターフェースと、
前記入出力インターフェースと通信し、感覚データプロセッサ、ベクトル化エンジン、およびトレーシングエンジンを含む処理サブシステムとを備え、
前記感覚データプロセッサが、基準点位置に対する前記コンテンツデータ内のデータ点の位置を決定するように構成され、
前記ベクトル化エンジンが、前記基準点位置に基づいて、前記データ点をベクトル化するように構成され、
前記感覚データプロセッサが、前記ベクトル化されたデータ点に基づいて、第１の表面に対するデータ点の位置を決定して、前記コンテンツデータのデジタル立体表現を生成するようにさらに構成され、前記第１の表面が基準表面であり、
前記トレーシングエンジンが、複数の位置を通って前記第１の表面まで、前記データ点の各々の前記位置を追跡するように構成され、前記複数の位置が第２の表面にあり、
前記トレーシングエンジンが、前記第１の表面および前記第２の表面における複数の追跡された交点に基づいて、各データ点のために１つのセットの４Ｄプレノプティック座標を決定し、第１のデータ点に第１の収束点を有する第１のセットの４Ｄプレノプティック座標に対する第１のセットのエネルギー源位置値を決定し、前記第１のデータ点とは異なる第２のデータ点に第２の収束点を有する第２のセットの４Ｄプレノプティック座標に対する第２のセットのエネルギー源位置値を決定するようにさらに構成され、
前記第１のセットおよび前記第２のセットの４Ｄプレノプティック座標が、前記第１の表面および前記第２の表面における異なる複数の追跡された交点に基づいて決定される、システム。
［項目６７］
前記コンテンツデータが、視覚、聴覚、触覚、感覚、または嗅覚セニョールによって知覚可能な信号を含む、項目６６に記載のシステム。
［項目６８］
前記コンテンツデータが、対象物位置、材料特性、仮想光源、非対象物位置における形状のコンテンツ、前記基準表面からのコンテンツ、仮想カメラ位置、対象物のセグメンテーション、および階層化コンテンツのうちの少なくとも１つを含む、項目６６または６７に記載のシステム。
［項目６９］
前記コンテンツデータが、２次元空間（２Ｄ空間）内のデータ点を含み、位置を決定することが、２次元空間内の前記データ点に深度マップを適用することを含む、項目６６から６８のいずれか一項に記載のシステム。
［項目７０］
前記コンテンツデータが３次元空間（３Ｄ空間）内のデータ点を含み、位置を決定することが、前記３Ｄ空間内で前記データ点を調整することを含む、項目６６から６９のいずれか一項に記載のシステム。
［項目７１］
調整することが、前記３Ｄ空間内の前記データ点に深度マップを適用することを含む、項目７０に記載のシステム。
［項目７２］
調整することが、新たなデータ点を追加することを含む、項目７０または７１に記載のシステム。
［項目７３］
調整することが、遮蔽されたデータ点を再構成することを含む、項目７０から７２のいずれか一項に記載のシステム。
［項目７４］
前記第２の表面が、エネルギー指向装置の導波路システムに対応し、エネルギーが、前記データ点の前記４Ｄプレノプティック座標に従って、前記コンテンツデータの検出可能な立体表現を形成するために、前記導波路システムを介して指向するように構成されている、項目６６から７２のいずれか一項に記載のシステム。
［項目７５］
前記システムが、前記導波路システムの第１の側のエネルギー位置と、前記導波路システムの第２の側の導波路素子からのエネルギー伝搬経路の角度方向との間にマッピングを適用することをさらに含み、前記データ点の前記４Ｄプレノプティック座標に対応する、前記導波路システムの前記第１の側の複数のエネルギー位置が、前記マッピングを適用することによって決定される、項目７４に記載のシステム。
［項目７６］
前記マッピングを適用することが、前記導波路システム内の歪みについて較正することを含む 、項目７５に記載のシステム。
［項目７７］
前記導波路システム内の前記歪みについて較正することが、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される、少なくとも１つの歪みについて較正することを含む、項目７６に記載のシステム。
［項目７８］
前記エネルギー指向装置が、前記導波路システムの第１の側にリレーシステムをさらに備え、前記リレーシステムが前記導波路システムに隣接する第１の表面を有し、さらに前記導波路システムの前記第１の側のエネルギー位置が、前記リレーシステムの第２の表面に隣接して位置付けられている、項目７４から７７のいずれか一項に記載のシステム。
［項目７９］
マッピングを適用することが、前記導波路システム内の歪みについて較正することを含む、項目７８に記載のシステム。
［項目８０］
マッピングを適用することが、前記リレーシステム内の歪みについて較正することを含む、項目７８または７９に記載のシステム。
［項目８１］
前記リレーシステム内の前記歪みについて較正することが、空間歪み、角度歪み、強度歪み、および色歪みからなる群から選択される少なくとも１つの歪みについて較正することを含む、項目８０に記載のシステム。
［項目８２］
エネルギー位置が、前記第１の表面内に配置されている、項目７４から８１のいずれか一項に記載のシステム。
［項目８３］
前記受信されたコンテンツデータが、ベクトル化された材料特性データをさらに含み、前記処理サブシステムが、前記コンテンツデータの前記デジタル立体表現を前記ベクトル化された材料特性データに関連付け、少なくとも前記コンテンツデータの前記デジタル立体表現に関連付けられた前記ベクトル化された材料特性データに基づいて、エネルギー源位置値を決定するようにさらに構成されている、項目６６から８２のいずれか一項に記載のシステム。
［項目８４］
ベクトル化のためのシステムであって、
コンテンツデータを受信するように構成されている入出力インターフェースと、
前記入出力インターフェースと通信し、ベクトル化エンジンを備える、処理サブシステムと、を備え、
前記ベクトル化エンジンが、前記コンテンツデータ内の表面を識別し、前記表面の材料特性データを決定するように構成され、
前記ベクトル化エンジンが、前記材料特性データのベクトルを生成し、前記生成されたベクトルに基づいて、ベクトル化された材料特性データを生成するようにさらに構成され、
前記ベクトル化された材料特性データが、さもなければ前記ベクトル化された材料特性データとは独立した１つのセットの４次元プレノプティック座標（４Ｄプレノプティック座標）によって定義される前記表面の表面識別との関連付けに適応可能なフォーマットを含んでいる、システム。
［項目８５］
前記表面を識別することが、前記コンテンツデータ内のセグメンテーションデータを使用することを含む、項目８４に記載のシステム。
［項目８６］
前記材料特性データを決定することが、手動による決定を含む、項目８４または８５に記載のシステム。
［項目８７］
前記材料特性データを決定することが、予め定められたプロセスを使用することを含む、項目８４から８６のいずれか一項に記載のシステム。
［項目８８］
前記処理サブシステムが、
第１のコンテンツデータのデジタル立体表現を生成することに対して、基準表面に対する前記表面のデータ点の位置を決定し、前記第１のコンテンツデータの前記デジタル立体表現を前記材料特性データに関連付けるように構成されている感覚データプロセッサと、
４Ｄ関数が適用される第２の表面まで、前記デジタル立体表現内の前記データ点の前記位置を追跡することによって、４Ｄ適用表面における前記表面の前記データ点の前記セットの４Ｄプレノプティック座標を決定するように構成されているトレーシングエンジンと、をさらに備え、
前記トレーシングエンジンが、第１の収束点を有する４Ｄ座標に対するエネルギー源位置値を決定するようにさらに構成され、エネルギー源位置値を決定することが、少なくとも前記第１のコンテンツデータの前記デジタル立体表現に関連付けられた前記ベクトル化された材料特性データに基づく、項目８４から８７のいずれか一項に記載のシステム。
［項目８９］
材料特性データを除去することをさらに含む、項目８８に記載のシステム。
［項目９０］
コンテンツデータのための４次元プレノプティック座標（４Ｄプレノプティック座標）を決定するためのシステムであって、
コンテンツデータを受信するように構成されている入出力インターフェースと、
前記入出力インターフェースと通信し、感覚データプロセッサと、ベクトル化エンジンと、トレーシングエンジンと、を備える、処理サブシステムと、
前記処理サブシステムおよび前記入出力インターフェースと通信する圧縮エンジンと、
前記圧縮エンジン、前記入出力インターフェース、および前記処理サブシステムと通信する任意選択的なメモリと、を備え、
前記感覚データプロセッサが、基準点位置に対する前記コンテンツデータ内のデータ点の位置を決定するように構成され、
前記ベクトル化エンジンが、前記基準点位置に基づいて、前記データ点をベクトル化するように構成され、
前記感覚データプロセッサが、前記ベクトル化されたデータ点に基づいて、前記コンテンツデータのデジタル立体表現を生成するために、第１の表面に対するデータ点の位置を決定するようにさらに構成され、前記第１の表面が、基準表面であり、
前記トレーシングエンジンが、複数の位置を通って前記第１の表面まで、前記データ点の各々の前記位置を追跡するように構成され、前記複数の位置が、第２の表面にあり、
前記トレーシングエンジンが、前記第１の表面および前記第２の表面における複数の追跡された交点に基づいて、各データ点のために１つのセットの４Ｄプレノプティック座標を決定し、第１のデータ点に第１の収束点を有する第１のセットの４Ｄプレノプティック座標に対する第１のセットのエネルギー源位置値を決定し、前記第１のデータ点とは異なる第２のデータ点に第２の収束点を有する第２のセットの４Ｄプレノプティック座標に対する第２のセットのエネルギー源位置値を決定するようにさらに構成され、
前記第１のセットおよび前記第２のセットの４Ｄプレノプティック座標が、前記第１の表面および前記第２の表面における異なる複数の追跡された交点に基づいて決定され、
前記圧縮エンジンが、前記処理サブシステムからデータを受信し、前記データを圧縮し、前記圧縮されたデータを前記任意選択的なメモリに格納するか、または前記圧縮されたデータを前記入出力インターフェースに送信するように構成され、
前記任意選択的なメモリが、前記入出力インターフェース、前記処理サブシステム、および前記圧縮エンジンからデータを受信し、前記データを格納し、前記格納されたデータを前記入出力インターフェース、前記処理サブシステム、または前記圧縮エンジンのいずれかに送信するように構成されている、システム。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図7F】

【図7G】

【図7H】

【図7I】

【図7J】

【図7K】

【図7L】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】