IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ライト フィールド ラボ、インコーポレイテッドの特許一覧

特許75217453D環境からデータをレンダリングするためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-16
(45)【発行日】2024-07-24
(54)【発明の名称】3D環境からデータをレンダリングするためのシステムおよび方法
(51)【国際特許分類】
   G06T 15/06 20110101AFI20240717BHJP
【FI】
G06T15/06
【請求項の数】 13
【外国語出願】
(21)【出願番号】P 2023061038
(22)【出願日】2023-04-04
(62)【分割の表示】P 2020538963の分割
【原出願日】2019-01-14
(65)【公開番号】P2023098929
(43)【公開日】2023-07-11
【審査請求日】2023-05-08
(31)【優先権主張番号】62/617,286
(32)【優先日】2018-01-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】519006883
【氏名又は名称】ライト フィールド ラボ、インコーポレイテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】カラフィン,ジョナサン,シーン
(72)【発明者】
【氏名】ベヴェンシー,ブレンダン,エルウッド
【審査官】鈴木 明
(56)【参考文献】
【文献】特表2010-528325(JP,A)
【文献】特表2016-537901(JP,A)
【文献】特開2015-114775(JP,A)
【文献】特開2009-300268(JP,A)
【文献】国際公開第2015/074718(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 15/06
(57)【特許請求の範囲】
【請求項1】
エネルギー装置を動作させるための命令をレンダリングするための方法であって、
シーン情報を含む3次元(3D)環境内のシーンを提供する段階、
複数のサンプルエネルギー位置に対して適用される4次元(4D)エネルギー関数に基づいて前記シーン情報のオブジェクトのサンプルを決定する段階、ここで、前記サンプルは、視認者焦点または視認者位置から独立している体積内の前記オブジェクトのホログラフィック表現を同時に定義するように動作可能であり、
ここで、前記サンプルは、前記サンプルエネルギー位置の第1の側から開始して前記サンプルエネルギー位置の第2の側へと前記サンプルエネルギー位置を通り、それにより、それぞれのサンプルエネルギー位置に関するサンプルは、前記サンプルエネルギー位置の前記第1の側および前記第2の側の双方に関する前記シーン情報を説明し、および、
前記サンプルに基づいて、前記オブジェクトの前記ホログラフィック表現を含む出力エネルギーに、前記エネルギー装置を動作させるための命令をレンダリングする段階、
を含む、方法。
【請求項2】
前記4Dエネルギー関数は、明視野、ハプティックフィールド、またはタクタイルフィールドのうち少なくとも1つを含む4Dエネルギーフィールドを定義する、請求項1に記載の方法。
【請求項3】
前記サンプルは、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、またはエネルギー反射率のうちの少なくとも1つを説明する1または複数の値を含む、請求項1または2に記載の方法。
【請求項4】
前記3D環境は、深度マップを2次元空間内の点に適用することによって決定される、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記エネルギー装置は、導波管システムを含み、エネルギーは、前記サンプルに従って前記導波管システムを通して指向させて、前記オブジェクトを含む前記シーンの少なくとも一部分の検出可能な4Dエネルギー表現を形成するように動作可能である、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記サンプルのそれぞれは、前記サンプルエネルギー位置まで、およびそれを超えて延在する、請求項1から5のいずれか一項に記載の方法。
【請求項7】
エネルギー装置を動作させるための命令をレンダリングするためのシステムであって、
感覚データエンジンおよびレンダリングエンジンを含みプロセスサブシステムを備え、
前記感覚データエンジンは、シーン情報を含む3次元(3D)環境内のシーンを提供し、
前記レンダリングエンジンは、複数のサンプルエネルギー位置に対して適用される4次元(4D)エネルギー関数に基づいて前記シーン情報のオブジェクトのサンプルを決定し、
前記決定されたサンプルは、視認者焦点または視認者位置から独立している体積内の前記オブジェクトのホログラフィック表現を同時に定義するように動作可能であり、
前記サンプルは、前記サンプルエネルギー位置の第1の側から開始して前記サンプルエネルギー位置の第2の側へと前記サンプルエネルギー位置を通り、それにより、それぞれのサンプルエネルギー位置に関するサンプルは、前記サンプルエネルギー位置の前記第1の側および前記第2の側の双方に関する前記シーン情報を説明し、および、
前記レンダリングエンジンは、前記サンプルに基づいて、前記オブジェクトの前記ホログラフィック表現を含む出力エネルギーに、前記エネルギー装置を動作させるための命令をレンダリングする、
システム。
【請求項8】
前記4Dエネルギー関数は、明視野、ハプティックフィールド、またはタクタイルフィールドのうち少なくとも1つを含む4Dエネルギーフィールドを定義する、請求項7に記載のシステム。
【請求項9】
前記サンプルは、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、またはエネルギー反射率のうちの少なくとも1つを説明する1または複数の値を含む、請求項7または8に記載のシステム。
【請求項10】
前記3D環境は、深度マップを2次元空間内の点に適用することによって決定される、請求項7から9のいずれか一項に記載のシステム。
【請求項11】
前記エネルギー装置は、導波管システムを含み、エネルギーは、前記サンプルに従って前記導波管システムを通して指向させて、前記オブジェクトを含む前記シーンの少なくとも一部分の検出可能な4Dエネルギー表現を形成するように動作可能である、請求項7から10のいずれか一項に記載のシステム。
【請求項12】
前記サンプルのそれぞれは、前記サンプルエネルギー位置まで、およびそれを超えて延在する、請求項7から11のいずれか一項に記載のシステム。
【請求項13】
前記システムは、3D環境から動的な4Dエネルギーフィールドをレンダリングするように繰り返して動作する、請求項7から12のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、3次元環境をデータセットにレンダリングして、エネルギーフィールド投影装置に、4次元エネルギーフィールドを出力するように指示することに関する。
【背景技術】
【0002】
Gene RoddenberryのStar Trekにより世間一般に普及され、1900年代初期に作家Alexander Moszkowskiによって当初計画された「Holodeck」室内のインタラクティブな仮想世界の夢は、ほぼ一世紀の間、空想科学小説および技術革新に対するインスピレーションである。しかしながら、この経験の画期的な実現は、文献、メディア、ならびに子供達および同様に大人達の集合的な想像力の外には、全く存在していない。本出願は、情報を、3D環境から、4Dエネルギーフィールド投影システムがモデル化された4Dエネルギーフィールドを3D環境からのシーンに出力することを可能にするためのフォーマットにレンダリングする、システムおよび方法を教示する。
【発明の概要】
【0003】
一実施形態では、3次元(3D)環境から4次元(4D)エネルギーフィールドをレンダリングするための方法は、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境のシーンを提供するステップと、複数の仮想ピクセルをシーン内の仮想ピクセル平面に配置するステップであって、各仮想ピクセルが、2D角座標および2D空間座標を含む既知の一意の4D座標を有する、配置するステップと、を含む。この実施形態では、各仮想ピクセルの2D角座標は、仮想ピクセルと、シーン内の仮想視認平面に配置された複数の仮想視点のうちの1つの仮想視点との間の角相関を説明し、各仮想ピクセルの2D空間座標は、シーン内の仮想表示面に配置された複数の仮想開口のうちの1つの仮想開口の位置を識別する。次に、仮想視認平面からの複数の光線に沿って、シーン内の複数のエネルギーデータ点のエネルギーデータ点をサンプリングし、各光線は、光線と交差する1つの仮想ピクセルの2D角座標によって決定された角度で、1つの仮想視点および1つの仮想ピクセルと交差し、各光線は、光線と交差した1つの仮想ピクセルの2D空間座標によって決定された1つの仮想開口と交差する。この実施形態では、本方法は、光線と交差した1つの仮想ピクセルに対して、各光線に沿ってサンプリングしたエネルギーデータ点とエネルギー値とを相関させることと、各光線の1つの仮想ピクセルのエネルギー値および各光線の1つの仮想ピクセルの既知の一意の4D座標を、エネルギー装置に4Dエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることと、を含む。
【0004】
一実施形態では、複数の光線のうちの少なくとも1つの光線は、複数の仮想視点の各仮想視点と交差する。一実施形態では、複数の光線のうちの1つの光線は、複数の仮想ピクセルの各仮想ピクセルと交差する。いくつかの実施形態では、4Dエネルギーフィールドは、明視野、ハプティックフィールド、またはタクタイルフィールドを含む。
【0005】
一実施形態では、エネルギーデータ点は、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、またはエネルギー反射率、のうちの少なくとも1つを説明する値を含む。一実施形態では、3D環境は、深度マップを2次元空間内の点に適用することによって決定することができる。別の実施形態では、仮想表示平面は、エネルギー指向装置の導波管システムに対応し、エネルギーは、データセットに従って導波管システムを通して指向させて、シーンの少なくとも一部分の検出可能な4Dエネルギー表現を形成するように動作可能である。
【0006】
一実施形態では、複数の仮想ピクセルは、導波管システムの第1の側の複数のエネルギー位置に対応する。別の実施形態では、データセットは、ベクトル化された材料特性データをさらに含む。動作中に、本方法の少なくとも一部分をリアルタイムで実行することができる。別の技術では、本方法の全体をリアルタイムで実行することができる。別の実施形態では、本方法の少なくとも2つの一部分が、異なる期間に実行される。
【0007】
いくつかの実施形態では、データセットは、視覚、音声、テクスチャ、センセーショナル、または匂いセンサによって知覚可能な信号を説明する。一実施形態では、複数の光線の各光線に沿ってサンプリングしたエネルギーデータ点は、エネルギー値と同時に相関される。いくつかの場合では、データセットは、バイナリファイルフォーマットで格納される。
【0008】
一実施形態では、複数の光線の各光線は、複数の仮想ピクセルのうちの1つの仮想ピクセルまで、およびそれを超えて、複数の仮想開口のうちの1つの仮想開口を通って延在し、複数のエネルギーデータ点のエネルギーデータ点は、仮想視認平面からサンプリングされる。
【0009】
一実施形態では、上記のステップは、無制限に繰り返され得る。別の実施形態では、上記のステップは、無制限に繰り返して、3D環境から動的な4Dエネルギーフィールドをレンダリングし得る。
【0010】
一実施形態では、エネルギーデータをレンダリングすることは、エネルギー装置のためのエネルギーデータを較正することをさらに含む。一実施形態では、光線ファイルは、各仮想視点の位置を識別する3D空間座標、およびすべての光線と交差する1つの仮想ピクセルの2D角座標を格納する。別の実施形態では、光線ファイルは、各仮想視点の3D空間座標と、仮想視点と交差するすべての光線と交差するすべての仮想ピクセルの2D角座標とを関連付ける。さらに別の実施形態では、光線ファイルは、光線と交差する1つの仮想視点からの光線に沿って、複数のエネルギーデータ点のエネルギーデータ点をサンプリングするための各光線に対する指示を提供し、この指示は、少なくとも、光線と交差する1つの仮想視点の3D空間座標、および光線と交差する1つの仮想ピクセルの2D角座標によって決定される。
【0011】
一実施形態では、動的な3次元(3D)環境から4次元(4D)エネルギーフィールドをレンダリングするためのシステムは、感覚データエンジンおよびレンダリングエンジンを有するプロセスサブシステムを含み、感覚データエンジンは、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境のシーンを提供する。この実施形態では、感覚データエンジンは、シーンの仮想ピクセル平面に複数の仮想ピクセルを配置し、各仮想ピクセルは、2D角座標および2D空間座標を含む既知の一意の4D座標を有する。各仮想画素座標の2D角度は、仮想ピクセルと、感覚データエンジンによってシーン内の仮想視認平面に配置された複数の仮想視点の仮想視点との間の角相関を説明し、一方で、各仮想ピクセルの2D空間座標は、感覚データエンジンによってシーン内の仮想表示平面に配置された複数の仮想開口のうちの1つの仮想開口の位置を識別する。
【0012】
この実施形態では、レンダリングエンジンは、仮想視認平面からの複数の光線に沿って、シーン内の複数のエネルギーデータ点のエネルギーデータ点をサンプリングし、各光線は、光線と交差する1つの仮想ピクセルの2D角座標によって決定された角度で、1つの仮想視点および1つの仮想ピクセルと交差し、各光線は、光線と交差した1つの仮想ピクセルの2D空間座標によって決定された1つの仮想開口と交差する。
【0013】
さらにこの実施形態では、レンダリングエンジンは、各光線に沿ってサンプリングしたエネルギーデータ点と、複数の仮想ピクセルのうちの1つの仮想ピクセルのためのエネルギー値とを相関させ、レンダリングエンジンは、複数の仮想ピクセルのうちの1つの仮想ピクセルのエネルギー値および複数の仮想ピクセルのうちの1つの仮想ピクセルの既知の一意の4D座標を、エネルギー装置に4Dエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングする。
【0014】
一実施形態では、複数の光線のうちの少なくとも1つの光線は、複数の仮想視点の各仮想視点と交差する。別の実施形態では、複数の光線のうちの1つの光線は、複数の仮想ピクセルの各仮想ピクセルと交差する。いくつかの実施形態では、4Dエネルギーフィールドは、明視野、ハプティックフィールド、またはタクタイルフィールドであり得る。
【0015】
一実施形態では、エネルギーデータ点は、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、またはエネルギー反射率、のうちの少なくとも1つを説明する値を含む。動作中に、3D環境は、2次元空間内の点に深度マップを適用することによって決定される。
【0016】
一実施形態では、仮想表示平面は、エネルギー指向装置の導波管システムに対応し、エネルギーは、シーンの少なくとも一部分の検出可能な4Dエネルギーフィールド表現を形成するように、データセットに従って導波管システムを通して指向される。別の実施形態では、複数の仮想ピクセルは、導波管システムの第1の側の複数のエネルギー位置に対応する。別の実施形態では、データセットは、ベクトル化された材料特性データをさらに含む。
【0017】
動作中に、システムの少なくとも一部分がリアルタイムで実行される。別の動作では、システムは、リアルタイムで完全に実行される。別の実施形態では、システムの少なくとも2つの一部分が異なる期間に実行される。
【0018】
一実施形態では、データセットは、視覚、音声、テクスチャ、センセーショナル、または匂いセンサによって知覚可能な信号を説明する。別の実施形態では、複数の光線の各光線に沿ってサンプリングしたエネルギーデータ点は、エネルギー値と同時に相関される。さらに別の実施形態では、データセットは、バイナリファイルフォーマットで格納される。
【0019】
一実施形態では、複数のエネルギーデータ点のエネルギーデータ点は、複数の光線の各光線に沿ってレンダリングエンジンによってサンプリングされ、この光線は、仮想視認平面から、複数の仮想開口のうちの1つの仮想開口を通して、複数の仮想ピクセルのうちの1つの仮想ピクセルまで、およびそれを超えて延在する。別の実施形態では、システムは、動的な3D環境から動的な4Dエネルギーフィールドをレンダリングするために、無制限に動作され得る。さらに別の実施形態では、システムは、データセットを格納するためにメモリをさらに含む。一実施形態では、レンダリングシステムは、エネルギー装置のためのエネルギーデータを較正する。別の実施形態では、システムは、複数のエネルギーデータ点を格納するためにメモリをさらに備える。
【0020】
一実施形態では、光線ファイルは、各仮想視点の位置を識別する3D空間座標、およびすべての光線と交差する1つの仮想ピクセルの2D角座標を格納する。別の実施形態では、光線ファイルは、各仮想視点の3D空間座標と、仮想視点と交差するすべての光線と交差するすべての仮想ピクセルの2D角座標とを関連付ける。さらに別の実施形態では、光線ファイルは、光線と交差する1つの仮想視点からの光線に沿って、複数のエネルギーデータ点のエネルギーデータ点をサンプリングするための各光線に対する指示を提供し、この指示は、少なくとも、光線と交差する1つの仮想視点の3D空間座標、および光線と交差する1つの仮想ピクセルの2D角座標によって決定される。
【0021】
一実施形態では、3次元(3D)環境からエネルギーデータをレンダリングするための方法は、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境のシーンを提供するステップと、複数の仮想ピクセルをシーン内の仮想ピクセル平面に配置するステップであって、各仮想ピクセルが、2D角座標および2D空間座標を含む既知の一意の4D座標を有する、配置するステップと、を含む。各仮想ピクセルの2D角座標は、仮想ピクセルと、シーンの仮想視認平面に配置された複数の仮想視点のうちの1つの仮想視点との間の角相関を説明し、一方で、各仮想ピクセルの2D空間座標は、シーン内の仮想表示面に配置された複数の仮想開口のうちの1つの仮想開口の位置を識別する。本方法の次のステップは、仮想視認平面からの複数の光線に沿って、シーン内の複数のエネルギーデータ点のエネルギーデータ点をサンプリングし、各光線は、光線と交差する1つの仮想ピクセルの2D角座標によって決定された角度で、1つの仮想視点および1つの仮想ピクセルと交差し、各光線は、光線と交差した1つの仮想ピクセルの2D空間座標によって決定された1つの仮想開口と交差する。1つの方法では、次のステップは、光線と交差した1つの仮想ピクセルに対して、各光線に沿ってサンプリングしたエネルギーデータ点とエネルギー値とを相関させることと、各光線の1つの仮想ピクセルのエネルギー値および各光線の1つの仮想ピクセルの既知の一意の4D座標を、エネルギー装置にエネルギーデータを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることと、を含む。
【0022】
一実施形態では、各仮想開口は、2つの光線と交差する。別の実施形態では、複数の仮想視点は、2つの仮想視点を含む。いくつかの実施形態では、データセットは、エネルギー装置に立体画像を出力するように指示するために動作可能なフォーマットを有し、データセットは、エネルギー装置に仮想現実画像を出力するように指示するために動作可能なフォーマットを有し、またはデータセットは、エネルギー装置に拡張現実画像を出力するように指示するために動作可能なフォーマットを有する。
【0023】
一実施形態では、各仮想開口は、いくつかの光線と交差する。別の実施形態では、データセットは、エネルギー装置に複数のビューから画像を出力するように指示するために動作可能なフォーマットを有し、複数のビューは、各仮想開口と交差する光線の数に対応する。
【図面の簡単な説明】
【0024】
図1】エネルギー指向システムの設計パラメータを示す概略図である。
図2】機械的エンベロープを有する能動装置領域を有するエネルギーシステムを示す概略図である。
図3】エネルギー・リレーシステムを示す概略図である。
図4】互いに接着されてベース構造体に固定されたエネルギー・リレー要素の一実施形態を示す概略図である。
図5A】マルチコア光ファイバーを介してリレーされた画像の一例を示す概略図である。
図5B】横アンダーソン局在原理の特性を示すエネルギー・リレーを介してリレーされた画像の一例を示す概略図である。
図6】エネルギー面から視認者に伝搬する光線を示す概略図である。
図7A】本開示の一実施形態による、ベース構造体と、4つのエネルギー装置と、シームレスなエネルギー面を形成する4つのエネルギー・リレー要素とを有するエネルギー導波路システムの斜視図を示す。
図7B】本開示の一実施形態による、エネルギー・リレーシステムを示す。
図7C】本開示の一実施形態による、エネルギー導波路システムの一実施形態のトップダウン透視図を示す。
図7D図7Cに示す実施形態の正面斜視図である。
図7E図7E~7Lはエネルギー抑制要素の様々な実施形態を示す。
図7F】同上。
図7G】同上。
図7H】同上。
図7I】同上。
図7J】同上。
図7K】同上。
図7L】同上。
図8】ホログラフィック感覚データを処理するためのプロセスの一実施形態を示すフローチャートである。
図9】感覚データから構築された仮想環境の概略図である。
図10】エネルギー追跡の一実施形態を示す概略図である。
図11】追跡プロセス実施中のエネルギー指向装置1000の一実施形態を示す概略図である。
図12】ホログラフィック感覚データを処理するための処理システムの概略図である。
図13】ベクトル化処理の一実施形態を示すブロック図である。
図14】3D環境のエネルギーをモデル化するいくつかの態様を示す。
図15】3D環境から4Dエネルギーフィールドをレンダリングするためのプロセスの一実施形態を示すフローチャートである。
図16図16Aは3D環境の視覚表現を表す。
図17】3D環境からの仮想ピクセル、仮想開口、および仮想視点の1つの観点を表す。
図18】3D環境からの仮想ピクセル、仮想開口、および仮想視点の1つの観点を表す。
図19図19Aは仮想視点の観点からの3D環境の視覚表現を表す。
図20】3D環境からのエネルギーデータをレンダリングするためのプロセスの一実施形態を示すフローチャートである。
図21】デジタル体積型表現における様々なオブジェクトを介した逆トレーシングの概略図である。
図22】3D環境からの4Dエネルギーフィールドをレンダリングするためのシステムの一実施形態を示す概略図である。
【発明を実施するための形態】
【0025】
Holodeck(集合的に「Holodeck設計パラメータ」と呼ばれる)の一実施形態は、十分なエネルギー刺激を提供して、人間の感覚受容器をだまし、仮想的、社会的、およびインタラクティブな環境内で受容されたエネルギーインパルスが真実であると信じ込ませ、1)外付けアクセサリ、ヘッドマウントアイウェア、または他の周辺機器を伴わない両眼視差、2)任意の数の視認者に対して同時に視認体積全域にわたる正確な運動視差、閉鎖、および不透明度、3)知覚されたすべての光線に対する、同期収束、目の遠近調節、および縮瞳を介した視覚的焦点、ならびに4)視覚、聴覚、触覚、味覚、嗅覚、および/またはバランスに対して人間の感覚「解像度」を超えるほどの十分な密度および解像度の収束エネルギー波伝搬を提供する。
【0026】
これまでの従来の技術に基づいて、視覚系、聴覚系、体性感覚系、味覚系、嗅覚系、および前庭系を含むHolodeck設計パラメータ(Holodeck Design Parameter)によって示唆されたように、画期的な方法ですべての受容野を提供することが可能な技術から、我々は、数世紀とまでは言わないが、数十年経過したところにある。
【0027】
本開示では、明視野およびホログラフィックという用語は、任意の感覚受容器応答の刺激のためのエネルギー伝搬を定義するために、同義的に使用され得る。最初の開示は、ホログラフィック画像および体積型ハプティクスに対するエネルギー面を通るエネルギーおよび機械的エネルギー伝搬の例に言及し得るが、あらゆる形態の感覚受容器が、本開示の中で想定される。さらに、伝搬経路に沿ったエネルギー伝搬に対する本明細書に開示された原理は、エネルギー放出およびエネルギー捕捉の両方に適用可能であり得る。
【0028】
今日、多くの技術が存在し、それらは、残念ながら、レンチキュラー印刷、ペッパーズゴースト、裸眼立体ディスプレイ、水平視差ディスプレイ、ヘッドマウントVRおよびARディスプレイ(HMD)、ならびに「擬似ホログラム」として一般化された他のそのような錯覚を含む、ホログラムと混同されていることが多い。これらの技術は、真のホログラフィックディスプレイの所望の特性のいくつかを呈し得るが、識別された4つのHolodeck設計パラメータのうちの少なくとも2つに対処するのに十分な任意の方法で、人間の視覚感覚応答を刺激する能力が不足している。
【0029】
これらの課題は、従来の技術が、Holodeckエネルギー伝搬に対して十分にシームレスなエネルギー面を生成するように、首尾よく実施されていないことである。しかしながら、視差バリア、ホーゲル、ボクセル、回折光学素子、マルチビュー投影、ホログラフィック拡散器、回転ミラー、多層ディスプレイ、時系列ディスプレイ、ヘッドマウントディスプレイ等を含む体積式および方向多重化明視野ディスプレイを実施するには、様々な手法があるが、従来の手法は、画質、解像度、角度サンプリング密度、サイズ、コスト、安全性、フレームレート等に関する妥協を必要とすることがあり、最終的には実行不可能な技術となる可能性がある。
【0030】
視覚系、聴覚系、体性感覚系のためのHolodeck設計パラメータを達成するために、それぞれの系の各々の人間の鋭敏さが研究され、人間の感覚受容器を十分欺くようにエネルギー波を伝搬させることが理解される。視覚系は、約1角度分まで解像することができ、聴覚系は、わずか3度の配置差を区別し得、手の体性感覚系は、2~12mm離れた点を識別することができる。これらの鋭敏さを測定するには、様々な相反する方法があるが、これらの値は、エネルギー伝搬の知覚を刺激するためのシステムおよび方法を理解するには十分である。
【0031】
よく知られている感覚受容器のうち、人間の視覚系は、単一の光子でさえ感覚を誘発することができるとして、はるかに感度が高い。この理由のため、本導入の多くは、視覚エネルギー波伝搬に焦点を絞り、開示されたエネルギー導波路表面内に結合された極めて低い解像度のエネルギーシステムは、適切な信号を収束させて、ホログラフィック感覚上の知覚を誘発し得る。特に断りのない限り、すべての開示は、すべてのエネルギーおよび感覚領域に当てはまる。
【0032】
視認体積および視認距離が与えられた視覚系に対してエネルギー伝搬の有効設計パラメータを計算する場合、所望のエネルギー面は、有効エネルギー位置密度の多くのギガピクセルを含むように設計し得る。広い視認体積、または近視野視認に関して、所望のエネルギー面の設計パラメータは、数百ギガピクセル以上の有効エネルギー位置密度を含み得る。比較すると、所望のエネルギー源は、入力環境変数に依存して、体積型ハプティクスの超音波伝搬の場合の1~250有効ギガピクセルのエネルギー位置密度、またはホログラフィック音響の音響伝搬の場合の36~3,600個の有効エネルギー位置のアレイを有するように設計されることができる。注目すべき重要なことは、開示された双方向エネルギー面アーキテクチャを使用して、すべてのコンポーネントが、任意のエネルギー領域に対して適切な構造体を形成し、ホログラフィック伝搬を可能にするように構成され得ることである。
【0033】
しかしながら、今日、Holodeckを可能にするための主な課題は、利用可能な視覚技術およびエネルギー装置の限界を内包している。音響装置および超音波装置は、それぞれの受容野における感覚鋭敏性に基づいて所望の密度の大きさに数桁の違いがあるならば、それほど困難なものではないが、その複雑さを軽視すべきではない。ホログラフィックエマルジョンは、所望の密度を上回る解像度を伴って存在し、静止画像内の干渉パターンを符号化する一方で、最先端のディスプレイ装置は、解像度、データスループット、および製造の実現可能性によって制約される。これまで、並外れたディスプレイデバイスでも、視力に対してほぼ近いホログラフィック解像度を有する明視野を有意に生成することができなかった。
【0034】
高度現実的ライト・フィールド・ディスプレイのための所望の解像度を満たすことが可能な単一のシリコンベースデバイスの製造は、現実的ではなく、現在の製造能力を超える極めて複雑な製造プロセスを内包し得る。既存の複数のディスプレイデバイスを一緒にタイル状に並べることに対する制約は、パッケージング、電子機器回路、筐体、光学部品の物理的サイズにより形成される継ぎ目および間隙、ならびに画像化、コスト、および/またはサイズの観点から結果として必然的に実行不可能な技術となる他の多くの課題を内包する。
【0035】
本明細書に開示された実施形態は、Holodeckを構築するための現実世界の道筋を提供し得る。
【0036】
ここで、これ以降の本明細書に、添付図面を参照して、実施形態例について説明するが、添付図面は、本明細書の一部を形成し、それらは、実施されることが可能な実施形態例を例解している。本開示および付属の特許請求の範囲の中で使用されているように、「実施形態」、「実施形態例」、および「例示的実施形態」という用語は、必ずしも単一の実施形態を指しているわけではないが、それらは単一の実施形態であってもよく、また、様々な実施形態例が、実施形態例の範囲または趣旨から逸脱しなければ、容易に組み合わされ、同義的に使用され得る。さらに、本明細書内で使用される専門用語は、実施形態例を説明することのみを目的としており、限定されたものであることを意図されていない。この点において、本明細書内で使用されているように、用語「in」は、「の中(in)」および「の上(on)」を含み得、用語「a」、「an」、および「the」は、単数および複数を指すことを含み得る。さらに、本明細書内で使用されているように、用語「by」は、また、その文脈に従って「から(from)」をも意味し得る。さらに、本明細書内で使用されているように、用語「if」は、また、その文脈に従って「when(の場合)」または「on(のとき)」をも意味し得る。さらに、本明細書内で使用されているように、単語「および/または」は、関連して列挙された項目のうちの1つ以上の任意およびすべての可能な組み合わせを指し、包含し得る。
【0037】
ホログラフィックシステムの検討
明視野エネルギー伝搬解像度の概要
light fieldおよびホログラフィックディスプレイは、エネルギー面位置が、視認体積内に伝搬された角度、色、および強度の情報を提供する複数の投影の結果である。開示されたエネルギー面は、追加の情報が同じ表面を通って共存および伝搬する機会を提供し、他の感覚系応答を誘発する。立体ディスプレイとは異なり、空間内の収束されたエネルギー伝搬経路の視認される位置は、視認者が視認体積の周りを移動しても変化せず、多数の視認者が、あたかも対象物が本当にそこに存在するかのように、実世界空間内の伝搬された対象物を同時に観察し得る。いくつかの実施形態では、エネルギーの伝搬は、同じエネルギー伝搬経路内に配置され得るが、反対方向に配置されてもよい。例えば、エネルギー伝搬経路に沿ったエネルギー放出およびエネルギー捕捉は、本開示のいくつかの実施形態では、両方とも可能である。
【0038】
図1は、感覚受容器応答の刺激に関連した変数を例解する概略図である。これらの変数には、表面対角101、表面幅102、表面高さ103、確定したターゲット座席距離118、ディスプレイの中心からの視界に対するターゲット座席の視野104、両眼の間のサンプルとしてここで実証された中間サンプルの数105、大人の眼間の平均離隔距離106、人間の目の角度分当たりの平均解像度107、ターゲット視認者位置と表面幅との間に形成される水平視野108、ターゲット視認者位置と表面高さとの間に形成される垂直視野109、結果として得られる水平導波路素子解像度、または表面を横切る素子の総数110、結果として得られる垂直導波路素子解像度、または表面を横切る素子の総数111、両眼の間における眼間の間隔、および両眼の間の角度投影に対する中間サンプル数に基づいたサンプル距離112、が含まれ得、角度サンプリングは、サンプル距離およびターゲット座席距離113に基づき得、導波路素子当たりの全解像度水平方向(Horizontal)は、所望の角度サンプリング114から導出され得、導波路素子当たりの全解像度垂直方向(Vertical)は、所望の角度サンプリング115から導出され得、デバイス水平方向(Device Horizontal)は、所望の慎重な(discreet)エネルギー源の確定された数のカウント116であり、デバイス垂直方向(Device Vertical)は、所望の慎重な(discreet)エネルギー源の確定された数のカウント117である。
【0039】
所望の最小解像度を理解するための方法は、視覚(または他の)感覚受容器応答の十分な刺激を確保するための以下の基準、すなわち、表面サイズ(例えば、84インチ対角線)、表面アスペクト比(例えば、16:9)、座席距離(例えば、ディスプレイからの距離128インチ)、座席視野(例えば、ディスプレイの中心に対して120度または+/-60度)、ある距離を隔てた所望の中間サンプル(例えば、両眼の間にある1つの追加伝搬経路)、大人のレンズ間の平均離隔距離(約65mm)、および人間の目の平均解像度(約1角度分)に基づき得る。これらの例の値は、具体的なアプリケーション設計パラメータに応じたプレースホルダとみなされるべきである。
【0040】
さらに、視覚感覚受容器に起因する値の各々は、他の系と置き換えられ、所望の伝搬経路パラメータを決定し得る。他のエネルギー伝搬の実施形態の場合、聴覚系の角度感度を3度と低くなるように、また、手の体性感覚系の空間解像度を2~12mmと小さくなるように考慮され得る。
【0041】
これらの知覚の鋭敏さを測定するための様々な、相反する方法が存在するが、これらの値は、仮想エネルギー伝搬の知覚を刺激するシステムおよび方法を理解するのに十分である。設計解像度を考慮するための多くの方法が存在するが、以下に提案される原理体系は、実用的な製品検討と感覚系の生物学的な解像限界とを組み合わせる。当業者には理解されるように、以下の概要は、かかる任意のシステム設計を単純化したものであり、単なる例示的な目的のみのために考慮されるべきである。
【0042】
感覚系の解像限界が理解されると、以下が与えられれば、受け取る感覚系が、単一のエネルギー導波路素子と隣接する素子とを識別できないように、総エネルギー導波路素子密度を計算することができる。
【数1】
【0043】
上記の計算の結果、約32×18°の視野が得られ、その結果、約1920×1080(最も近いフォーマットに丸められている)エネルギー導波路素子が所望される。また、視野が(u,v)の両方に対して両立し、エネルギー位置のより規則正しい空間サンプリング(例えば、ピクセルアスペクト比)を提供するように、変数を制約することもできる。システムの角度サンプリングが、最適化された距離における2点間で定義されたターゲット視認体積位置、および追加伝搬エネルギー経路を仮定すると、以下のように与えられる。
【数2】
【0044】
この場合、眼間距離を利用してサンプル距離を計算するが、任意の尺度を利用して所与の距離としての適切なサンプル数を説明し得る。上記の変数を考慮すると、0.57°当たり約1本の光線が望ましく、別々の感覚系当たりの系全体の解像度が、算出され得、以下のように与えられる。
【数3】
【0045】
上記のシナリオを使って、視力システムに対して対処されたエネルギー面のサイズ、および角度解像度が与えられると、その結果得られるエネルギー面は、望ましくは、約400k×225kピクセルのエネルギー分解能位置、または90ギガピクセルのホログラフィック伝搬密度を含み得る。これらの与えられた変数は、単なる例示的な目的のみのためであり、他の多くの感覚及びエネルギーの計量上の考察は、エネルギーのホログラフィック伝搬の最適化に対して検討されるべきである。追加の実施形態では、1ギガピクセルのエネルギー分解能位置が、入力変数に基づいて求められ得る。追加の実施形態では、1,000ギガピクセルのエネルギー分解能位置が、入力変数に基づいて所望され得る。
【0046】
現行技術の限界
能動領域、装置電子機器回路、パッケージング、および機械的エンベロープ
図2は、ある特定の機械的形状因子を伴う能動領域220を有する装置200を示す。装置200は、電力供給のためのドライバ230および電子機器回路240を含み、能動領域220に接続することができ、その能動領域は、xおよびyの矢印により示されるような寸法を有する。この装置200は、電力および冷却のコンポーネントを駆動するためのケーブル配線および機械的構造体を考慮に入れておらず、さらに、機械的実装面積は、可撓ケーブルを装置200の中に導入することによって最小化され得る。また、かかる装置200に対する最小設置面積は、M:xおよびM:yの矢印により示される寸法を有する機械的エンベロープ210と呼ばれ得る。この装置200は、単に例解目的のみのためであり、特定用途向け電子機器回路設計は、機械的エンベロープ・オーバヘッドをさらに減らす可能性があるが、ほとんどすべての場合において、装置の能動領域の正確なサイズとはなり得ない。一実施形態では、このデバイス200は、マイクロOLED、DLPチップ、もしくはLCDパネル、または画像照明の目的を有する他の任意の技術に対する能動画像領域220と関連するため、電子機器回路の依存状態を例解する。
【0047】
いくつかの実施形態では、また、より大規模なディスプレイ全体上に複数の画像を集約するために、他の投影技術を検討することも可能となり得る。しかしながら、このことは、投写距離、最小焦点、光学品質、均一なフィールド解像度、色収差、熱特性、較正、整列、追加サイズ、または形状因子に対するより大きな複雑化によるコストをもたらし得る。最も実用的なアプリケーションの場合、数十または数百個のこれらの投影源200をホストとして機能させることは、結果として、より信頼性が低く、より大規模な設計となり得る。
【0048】
単に例示的な目的だけのため、3840×2160サイトのエネルギー位置密度を有するエネルギー装置を仮定すると、エネルギー面に対して望ましい個別のエネルギー装置(例えば、装置100)の数を算出し得、以下のように与えられる。
【数4】
【0049】
上記の解像度の考慮を前提とすると、図2に示すエネルギーデバイスと同様の、約105×105個のデバイスが所望され得る。数多くの装置が、規則正しい格子状にマッピングされ、またはマッピングされなくてもよいような様々なピクセル構造体から構成されることに注意されたい。各完全なピクセル内に追加のサブピクセルまたは位置が存在するという場合には、これらは、活用され、追加の解像度または角度密度を生成し得る。追加の信号処理を使用して、ピクセル構造体(複数可)の指定された位置に従って、明視野を正しい(u、v)座標に変換する方法を決定することができ、各装置の、既知の較正された明示的な特性となり得る。さらに、他のエネルギー領域は、これらの比率および装置構造体の異なる取り扱いを必要とし得、当業者は、所望の周波数領域の各々の間にある直接的な内在的関係を理解するであろう。これについては、以降の開示の中でより詳細に示され、検討されるであろう。
【0050】
結果得られた計算は、最大解像度エネルギー面を生成するには、これらの個別のデバイスのうちのどれだけの個数が所望されるかを理解するために使用され得る。この場合、視力閾値を達成するには、約105×105個、または約11,080個の装置が所望され得る。十分な感覚ホログラフィック伝搬に対してこれらの利用可能なエネルギー位置からシームレスなエネルギー面を作り出すことには、課題および新規性が存在する。
【0051】
シームレスなエネルギー面の概要:
エネルギー・リレーのアレイの構成および設計
いくつかの実施形態では、各装置の機械的構造の制約による継ぎ目がない個別装置のアレイから高エネルギー位置密度を生成する課題に対処するためのアプローチについて開示されている。一実施形態では、エネルギー伝搬リレーシステムにより、能動デバイス領域の有効サイズを増加させることが、機械的寸法を満たすか、または超過することを可能にして、リレーのアレイを構成し、かつ単一のシームレスなエネルギー面を形成し得る。
【0052】
図3は、かかるエネルギー・リレーシステム300の一実施形態を例解する。図に示すように、リレーシステム300は、機械的エンベロープ320に搭載された装置310を含み得、エネルギー・リレー要素330が、装置310からエネルギーを伝搬させる。リレー要素330は、デバイスの複数の機械的エンベロープ320が複数のデバイス310のアレイ中に配置されているときに生じ得る任意の間隙340を減らす能力を提供するように構成され得る。
【0053】
例えば、デバイスの能動領域310が20mm×10mmであり、かつ機械的エンベロープ320が40mm×20mmである場合、各デバイス310の機械的エンベロープ320を変化または衝突させずにこれらの素子330のアレイを共にシームレスに整列することができると仮定すると、エネルギー・リレー要素330は、2対1の倍率で設計され、小端部(矢印A)上に約20mm×10mm、および拡大端部(矢印B)上に約40mm×20mmのテーパ形状を生成し得る。機械的に、リレー要素330は、一緒に接合または融着され、各装置310間の最低限の継ぎ目間隙340を保証しながら整列され、かつ研磨されることができる。かかる一実施形態では、目の視力限界より小さい継ぎ目間隙340を達成することが可能になる。
【0054】
図4は、一緒に形成され、追加の機械的構造体430に確実に締着されたエネルギー・リレー要素410を有するベース構造体400の一例を例解する。シームレスなエネルギー面420の機械的構造体は、複数のエネルギー・リレー要素410、450を、リレー要素410、450を搭載するための結合または他の機械的プロセスを通じて、同じベース構造体に直列に結合する機能を提供する。いくつかの実施態様では、各リレー要素410は、融着され、接合され、接着され、圧力嵌合され、整列され、またはそれ以外では、一緒に取り付けられて、その結果得られるシームレスなエネルギー面420を形成し得る。いくつかの実施形態では、デバイス480は、リレー要素410の後部に搭載され、パッシブまたはアクティブ調芯されて、決められた公差を維持する範囲内で適切なエネルギー位置に整列することを確保し得る。
【0055】
一実施形態では、シームレスなエネルギー面は、1つまたは複数のエネルギー位置を含み、1つまたは複数のエネルギー・リレー要素スタックは、第1および第2の側面を含み、各エネルギー・リレー要素スタックは、1つまたは複数のエネルギー位置とシームレスなエネルギー面との間で拡大する伝搬経路に沿ってエネルギーを指向する単一のシームレスなエネルギー面を形成するように配置され、ここで、終端エネルギー・リレー要素の任意の2つの隣接する第2の側面の端部間距離は、単一のシームレスなエネルギー面の幅より大きい距離において視力20/40よりも良好な人間の視力によって定義されるような最小知覚可能外形よりも小さい。
【0056】
一実施形態では、シームレスなエネルギー面の各々は、横方向配向および長手方向配向に第1および第2の表面を形成する1つ以上の構造体を各々有する1つ以上のエネルギー・リレー要素を含む。第1のリレー表面は、結果として正または負の倍率となる第2のリレー表面とは異なる領域を有し、第2のリレー表面全体を横切る表面輪郭の法線に対して+/-10度の角度を実質的に充填するように、第2のリレー表面を通ってエネルギーを通過させる第1および第2のリレー表面の両方に対して、明白な表面輪郭を伴って構成されている。
【0057】
一実施形態では、複数のエネルギー領域は、視覚、聴覚、触覚、または他のエネルギー領域を含む1つ以上の感覚Holodeckエネルギー伝搬経路を指向するように、単一のエネルギー・リレー内、または複数のエネルギー・リレーの間に構成され得る。
【0058】
一実施形態では、シームレスなエネルギー面は、1つ以上のエネルギー領域を同時に受信および放出の両方を行ってそのシステム全体にわたって双方向のエネルギー伝搬を提供するように、各第2の側面に対して2つ以上の第1の側面を含むエネルギー・リレーで構成され得る。
【0059】
一実施形態では、エネルギー・リレーは、ゆるやかなコヒーレント素子として提供される。
【0060】
コンポーネント操作された構造の導入:
横アンダーソン局在エネルギー・リレーにおける開示された進展
エネルギー・リレーの特性は、横アンダーソン局在を誘発させるエネルギー・リレー要素に対して本明細書に開示された原理に従って大幅に最適化され得る。横アンダーソン局在は、横方向には不規則であるが長手方向には一貫性のある材料を通って輸送される光線の伝搬である。
【0061】
これは、アンダーソン局在化現象を生じさせる材料の影響は、波の干渉が横方向配向の伝搬を完全に制限し得る一方で長手方向配向の伝搬を継続するような多重散乱経路間のランダム化によるよりも、全反射による影響を受けにくいことを意味し得る。
【0062】
さらに重要な利点としては、従来のマルチコア光ファイバー材料のクラッドを除去することである。このクラッドは、ファイバー間のエネルギーの散乱を機能的に除去するが、同時に光線エネルギーに対する障壁として機能し、これによって少なくともコア対クラッド比(例えば、70:30のコア対クラッド比では、受信されたエネルギー伝送のうちの最大70%で送信し得る)まで伝送を減少させ、さらに、伝搬されたエネルギー内に強いピクセル化パターニングを形成する。
【0063】
図5Aは、かかる1つの非アンダーソン局在化エネルギー・リレー500の一例の端面図を例解し、ここでは、画像が、光ファイバーの固有の特性のためにピクシレーションおよびファイバー・ノイズが呈し得るマルチコア光ファイバーを介してリレーされ得る。従来のマルチモードおよびマルチコア光ファイバーを使うと、リレーされた画像は、離散的なアレイコアの全反射特性のために本質的にピクセル化されやすく、そこでは、任意のコア間クロストークが変調伝達関数を低下させ、かつ輪郭ボケを増加させ得る。従来のマルチコア光ファイバーを使って結果として生成された画像は、図3に示すものと同様の残留固定ノイズファイバーパターンを有する傾向がある。
【0064】
図5Bは、横アンダーソン局在の特性を呈する材料を含むエネルギー・リレーを通って同じリレー画像550の一例を例解し、ここでは、リレーパターンが、図5Aからの固定されたファイバーパターンと比較してより大きな密度の粒子構造を有する。一実施形態では、ランダム化された微小コンポーネント操作された構造を含むリレーは、横アンダーソン局在を誘発し、市販のマルチモードガラス光ファイバーよりも高い、解決可能な解像度の伝搬で光をより有効に輸送する。
【0065】
コストおよび重量の両方に関して、横アンダーソン局在材料特性には大きな利点があり、ここで、同様の光学グレードのガラス材料が、一実施形態内で生成された同じ材料のコストよりも10~100倍以上のコストおよび重量がかかる可能性があり、ここでは、開示されたシステムおよび方法は、当技術分野で知られる他の技術を凌駕してコストおよび品質の両方を改善する重要な機会を実証するランダム化された微小コンポーネント操作された構造を含む。
【0066】
一実施形態では、横アンダーソン局在を呈するリレー要素は、三次元格子状に配置された3つの各々の直交平面内に、複数の少なくとも2つの異なるコンポーネント操作された構造を含み得、その複数の構造体は、三次元格子内の横方向平面内の材料波伝搬特性のランダム化された分布、および三次元格子内の長手方向平面内の材料波伝搬特性の同様の値のチャネルを形成し、そこでは、エネルギー・リレーを通って伝搬するエネルギー波は、横方向配向に対して、長手方向配向により高い輸送効率を有し、空間的に横方向の向きに局在化されている。
【0067】
一実施形態では、複数のエネルギー領域は、単一内、または複数の横アンダーソン局在エネルギー・リレーの間に構成され、視覚、聴覚、触覚、または他のエネルギー領域を含む1つ以上の感覚Holodeckエネルギー伝搬経路を指向し得る。
【0068】
一実施形態では、シームレスなエネルギー面は、1つ以上のエネルギー領域を同時に受信および放出の両方を行ってそのシステム全体にわたって双方向のエネルギー伝搬を提供するように、各第2の側面に対して2つ以上の第1の側面を含む横アンダーソン局在エネルギー・リレーで構成される。
【0069】
一実施形態では、横アンダーソン局在エネルギー・リレーは、ゆるやかなコヒーレント素子、または可撓性エネルギー・リレー要素として構成されている。
【0070】
4D plenoptic関数に関する考察:ホログラフィック導波路アレイを通るエネルギーの選択的伝搬 上記および本明細書全体にわたって考察されているように、明視野ディスプレイシステムは、一般に、エネルギー源(例えば、照明源)、および上記の考察で明確に示したような、十分なエネルギー位置密度で構成されたシームレスなエネルギー面を含む。複数のリレー要素を使用して、エネルギー装置からシームレスなエネルギー面にエネルギーをリレーし得る。一旦、エネルギーが所要のエネルギー位置密度を有するシームレスなエネルギー面に送達されると、エネルギーは、開示されたエネルギー導波路システムを介して4D plenoptic関数に従って伝搬され得る。当業者により理解されるように、4D plenoptic関数は、当技術分野でよく知られており、本明細書では、これ以上詳述しない。
【0071】
エネルギー導波路システムは、4D plenoptic関数の角度コンポーネントを表すことを通じて通過するエネルギー波の角度方向を変化させるように構成された構造体と共に、4D plenoptic関数の空間座標を表すシームレスなエネルギー面に沿って複数のエネルギー位置を通ってエネルギーを選択的に伝搬させ、そこでは、伝搬されたエネルギー波は、4D plenoptic関数により指向された複数の伝搬経路に従って空間内に収束し得る。
【0072】
ここで、図6を参照すると、4D plenoptic関数に従って4D画像空間における明視野エネルギー面の一例を例解している。この図は、エネルギーの光線が視体積内の様々な位置から空間630内でどのように収束するかを説明する際の視認者620へのエネルギー面600のレイ・トレースを示している。図に示すように、各導波路素子610は、エネルギー面600を通るエネルギー伝搬640を説明する4次元情報を画定する。2つの空間次元(本明細書では、xおよびyと呼ばれる)とは、画像空間内で観察され得る物理的な複数のエネルギー位置、ならびに角度成分θおよびφ(本明細書では、uおよびvと呼ばれる)であり、このことは、エネルギー導波路アレイを通って投影されるときに仮想空間内で観察される。通常、および4D plenoptic関数に従って、複数の導波路(例えば、小型レンズ)は、本明細書に記載されたホログラフィックまたは明視野システムを形成する際、u、v角度成分により定義された方向に沿って、x、y次元から仮想空間内の特定の位置にエネルギー位置を指向することができる。
【0073】
しかしながら、当業者であれば、明視野およびホログラフィックディスプレイ技術に対する重要な課題は、回折、散乱、拡散、角度方向、較正、焦点、視準、曲率、均一性、素子クロストーク、ならびに減少する有効解像度ならびに極めて忠実にエネルギーを正確に収束させることができないことの一因となる他の多数のパラメータのいずれかを正確に考慮しなかった設計のために、制御されていないエネルギー伝搬を引き起こすことを理解するであろう。
【0074】
一実施形態では、ホログラフィックディスプレイと関連付けられた課題に対処するための選択的エネルギー伝搬への手法は、エネルギー抑制要素、および4D plenoptic関数により定義された環境への略平行エネルギーを有する実質的に充填する導波路アパーチャを含み得る。
【0075】
一実施形態では、エネルギー導波路のアレイは、各導波路素子が通って延在するように構成された複数のエネルギー伝搬経路を画定し、単一導波路素子を通過するのみのために各エネルギー位置の伝搬を制限するように位置づけられた1つ以上の素子によって抑制されたシームレスなエネルギー面に沿って、複数のエネルギー位置に対する所定の4D関数により定義された固有の方向において、導波路素子の有効アパーチャを実質的に充填し得る。
【0076】
一実施形態では、複数のエネルギー領域は、単一のエネルギー領域内に、または複数のエネルギー導波路の間に構成され、視覚、聴覚、触覚、または他のエネルギー領域を含む1つ以上の感覚Holodeckエネルギー伝搬を指向し得る。
【0077】
一実施形態では、エネルギー導波路およびシームレスなエネルギー面は、1つ以上のエネルギー領域を受信および放出の両方を行うように構成され、システム全体を通じて双方向エネルギー伝搬を提供する。
【0078】
一実施形態では、エネルギー導波路は、エネルギーの非線形または非規則的なエネルギー分布を伝搬するように構成されており、そのエネルギー分布は、非送信ボイド領域を含み、デジタル符号化、回折、屈折、反射、グリン、ホログラフィック、フレネル、または壁、テーブル、床、天井、部屋、もしくは他の幾何学的ベース環境を含む任意のシームレスなエネルギーの向きのための同様な導波路構成を活用する。追加の実施形態では、エネルギー導波路素子は、ユーザが360度構成でエネルギー面のすべての周辺からホログラフィック画像を視認することを可能にする任意の表面プロファイルおよび/または卓上視野を提供する様々な形状を生成するように構成され得る。
【0079】
一実施形態では、エネルギー導波路アレイ素子は、反射表面としてもよく、それらの素子の配置は、六角形、正方形、不規則、半規則、湾曲、非平面、球面、円筒、傾斜規則、傾斜不規則、空間的に変化する、かつ/または多層化されてもよい。
【0080】
シームレスなエネルギー面内の任意のコンポーネントの場合、導波路またはリレーコンポーネントとしては、以下に限定されないが、光ファイバー、シリコン、ガラス、ポリマー、光リレー、回折、ホログラフィック、屈折、または反射素子、光フェイスプレート、エネルギー結合器、ビームスプリッタ、プリズム、偏光素子、空間光変調器、能動ピクセル、液晶セル、透明ディスプレイ、またはアンダーソン局在化もしくは全反射を呈する任意の同様な材料が挙げられる。
【0081】
Holodeckの実現:ホログラフィック環境内で人間の感覚受容器を刺激するための双方向シームレスなエネルギー面システムの集約 複数のシームレスなエネルギー面を一緒にタイル状に張り、融合し、接着し、貼付し、および/または縫い合わせて、部屋全体を含む任意のサイズ、形状、輪郭または形状因子を形成することによって、シームレスなエネルギー面システムの大規模環境を構築することができる。各エネルギー面システムは、双方向Holodeckエネルギー伝搬、放出、反射、または検知のために集合的に構成されたベース構造体、エネルギー面、リレー、導波路、デバイス、および電子機器回路を有するアセンブリを含み得る。
【0082】
一実施形態では、タイル状のシームレスエネルギーシステムの環境は、所与の環境内の全表面までを含んだ装置を含む大きなシームレス平面壁または湾曲壁を形成するように集約され、シームレス、不連続平面状、切子面状、湾曲、円筒状、球形、幾何学的、または不規則な形状の任意の組み合わせとして構成される。
【0083】
一実施形態では、平面表面の集約タイルは、劇場または会場ベースのホログラフィックエンターテイメントのための壁サイズのシステムを形成する。一実施形態では、平面表面の集約タイルは、ケーブベースのホログラフィー設置のために天井および床の両方を含む4~6つの壁を有する部屋を網羅する。一実施形態では、湾曲した表面の集約タイルは、没入型ホログラフィック設備のための円筒型シームレス環境を生成する。一実施形態では、シームレス球形表面の集約タイルは、没入型Holodeckベース体験のためのホログラフィックドームを生成する。
【0084】
一実施形態では、シームレスな湾曲エネルギー導波路の集約タイルは、エネルギー導波路構造体内のエネルギー抑制要素の境界に沿って正確なパターンに従う機械端部を提供し、隣接する導波路表面の隣接するタイル状機械端部を接合、整列、または溶融し、結果としてモジュール式のシームレスなエネルギー導波路システムを得る。
【0085】
集約タイル張り環境のさらなる実施形態では、エネルギーは、複数の同時エネルギー領域に対して双方向に伝搬される。追加の実施形態では、エネルギー面は、明視野データが照明源によって導波路を通じて投影され、同時に同じエネルギー面を通じて受信され得るように設計された導波路を用いて、同じエネルギー面エネルギー面から同時に表示および捕捉する能力を提供する。さらなる実施形態では、深度検知および能動走査技術をさらに活用して、正確な世界座標内のエネルギー伝搬と視認者との間の相互作用を可能にし得る。追加の実施形態では、エネルギー面および導波路は、触覚または体積触覚のフィードバックを誘発するために、周波数を放射、反射または収束するように動作可能である。いくつかの実施形態では、双方向エネルギー伝搬および集約表面との任意の組み合わせが可能である。
【0086】
一実施形態では、システムは、少なくとも2つのエネルギーデバイスをシームレスなエネルギー面の同じ部分にペアにするために、2つ以上の経路エネルギー結合器を使用して別々にペアにされた、1つ以上のエネルギーデバイスを伴うエネルギー面を通ってエネルギーの双方向放出および検知を可能にするエネルギー導波路を備え、または1つ以上のエネルギーデバイスは、エネルギー面の後ろに固定され、ベース構造体に固定された追加のコンポーネントに、または軸外の直接もしくは反射の投影もしくは検知のための導波路のFOVの前方かつ外側の位置に、最も近接しており、その結果得られたエネルギー面は、双方向エネルギー伝送を提供し、その双方向エネルギー伝送は、導波路がエネルギーを収束させ、第1のデバイスがエネルギーを放出させ、そして第2のデバイスがエネルギーを検知するのを可能にし、そこでは、その情報を処理し、以下に限定されないが、4D plenopticアイ、および伝搬エネルギーパターン内干渉の網膜追跡もしくは検知、深度推定、近似、動作追跡、画像、色、もしくは音響情報、または他のエネルギー周波数解析を含むコンピュータ視覚関連タスクを実行する。追加の実施形態では、追跡された位置は、双方向に捕捉されたデータと投影情報との間の干渉に基づいて、エネルギーの位置を能動的に計算し、修正する。
【0087】
いくつかの実施形態では、超音波センサ、可視エネルギーディスプレイ、および超音波放射装置を含む3つのエネルギー装置の複数の組み合わせは、単一の第2のエネルギー・リレー表面に結合されたエネルギーを伝搬する3つの第1のリレー表面の各々のために共に構成されており、この3つの第1の表面の各々は、各装置のエネルギー領域に特有の設計された特性を含み、2つの設計された導波路素子は、各装置のエネルギーを独立に、および別のエネルギー領域用に構成された他の導波路素子によって実質的に影響されないように、指向および収束させる能力を提供するように、超音波およびエネルギー用にそれぞれ構成されている。
【0088】
いくつかの実施形態では、符号化/復号化技術、ならびに較正された構成ファイルに基づいてエネルギー伝搬に適切な較正情報にデータを変換するための専用の集積システムを使用して、効率的な製造がシステムアーチファクトの除去、および得られたエネルギー面の幾何学的マッピングの生成を可能にする較正手順が開示されている。
【0089】
いくつかの実施形態では、一連の追加のエネルギー導波路、および1つ以上のエネルギーデバイスが1つのシステムに一体化され、不明瞭なホログラフィックピクセルを生成し得る。
【0090】
いくつかの実施形態では、追加の導波路素子が、エネルギー抑制要素、ビームスプリッタ、プリズム、能動視差バリア、または偏光技術を含めて一体化され、導波路の直径よりも大きい空間解像度および/または角度解像度を提供し、または他の超解像度の目的のために提供し得る。
【0091】
いくつかの実施形態では、開示されたエネルギーシステムは、また、仮想現実(VR)または拡張現実(AR)などのウェアラブル双方向デバイスとしても構成され得る。他の実施形態では、エネルギーシステムは、視認者のために、表示または受信されたエネルギーを、空間内の決定された平面に近接して焦点させる調整光学素子を含むことができる。いくつかの実施形態では、導波路アレイは、ホログラフィックヘッドマウントディスプレイに組み込まれ得る。他の実施形態では、システムは、視認者がエネルギーシステムおよび現実世界環境(例えば、透明ホログラフィックディスプレイ)の両方を見ることが可能になる多数の光学経路を含み得る。これらの例では、システムは、他の方法に加えて近視野として呈してもよい。
【0092】
いくつかの実施形態では、データの送信は、情報およびメタデータの任意のデータセットを受信し、当該データセットを分析し、材料特性、ベクトル、表面ID、より疎なデータセットを形成する新規ピクセルデータを受信または割り当てを行う、選択可能または可変の圧縮率を有する符号化処理を含み、そこでは、受信されたデータは、2D、立体、マルチビュー、メタデータ、明視野、ホログラフィック、幾何学的形状、ベクトルもしくはベクトル化されたメタデータを含んでもよく、符号器/復号器は、2D、2Dプラス深度、メタデータもしくは他のベクトル化された情報、立体、立体プラス深度、メタデータもしくは他のベクトル化された情報、マルチビュー、マルチビュープラス深度、メタデータもしくは他のベクトル化された情報、ホログラフィック、または明視野ンテンツに対する画像処理を含む実時間またはオフラインのデータを、深度メタデータの有無にかかわらず深度推定アルゴリズムを介して変換する能力を提供してもよく、逆光線追跡方法は、特徴付けられた4D plenoptic関数を介して、様々な2D、立体、マルチビュー、体積、明視野、またはホログラフィックのデータから実世界座標に逆光線追跡によって生成されて得られた変換データを適切にマッピングする。これらの実施形態では、所望の全データ送信は、未処理の明視野データセットよりも数桁小さい送信情報となり得る。
【0093】
ホログラフィック感覚データの提示に適したエネルギー指向装置 一実施形態では、光学機械式表示装置は、光を放射および誘導して、2D、立体、マルチビュー、plenoptic、4D、体積、明視野、ホログラフィック、または任意の他の光の視覚的表現を形成することができる。
【0094】
図7Aは、発光型表示装置、光リレー、およびマイクロレンズアレイなどの屈折素子のアレイとして実現される導波路を用いて構成された場合の明視野光学機械システムの一例であり、1つまたは複数のディスプレイからの可視画像は、光学的にリレーされた後にエネルギー面に送信され得、屈折素子のアレイは、4D体積明視野画像が投影され得るように、エネルギー面上の各位置とその位置からの光の投射方向との間のマッピングを提供する。
【0095】
一実施形態では、導波路は、観察者の視点から、輻輳と遠近調節の両方を引き起こすように光線を収束させるように動作可能であり得る。
【0096】
一実施形態では、導波路およびエネルギー・リレーは、様々な表面形状を有して形成または研磨され得る。一実施形態では、エネルギー・リレーは、横アンダーソン局在を誘発する素子を含む。一実施形態では、エネルギー・リレーは双方向性であり、エネルギーを放出および/または投影することができる。
【0097】
一実施形態では、4次元(4D)plenoptic関数に従って、エネルギーを指向するように構成されたエネルギーシステムは、複数のエネルギー装置を含む。いくつかの実施形態では、複数のエネルギー装置は、画像情報を放出する照明源を含んでおり、この画像情報は、可視、IR、UV、コヒーレント、レーザ、赤外線、偏光、または任意の他の電磁照明源を利用する、発光、投影、または反射ディスプレイ技術を含んでいる。他の実施形態では、複数のエネルギー装置は、音場から没入型音声または体積触覚を提供するように構成された機械的エネルギー放出装置を含む。
【0098】
いくつかの実施形態では、上記のように構成されたエネルギーシステムは、複数のエネルギー装置、エネルギー・リレーシステム、およびエネルギー導波路システムがすべてベース構造体に結合され得るように、ベース構造体(例えば72)をさらに含み得る。他の実施形態では、複数のエネルギー装置、エネルギー・リレーシステム、およびエネルギー導波路システムは、1つまたは複数の取り付けブラケットを用いてベース構造体に結合することができる。
【0099】
いくつかの実施形態では、複数のエネルギー装置は、機械的、化学、伝達、熱、電気、ポテンシャル、運動、磁気、重力、放射、エネルギー、構造化、非構造化、または他の形態のエネルギーを含む、エネルギーを捕捉または検知するためのエネルギー装置を含む。他の実施形態では、複数のエネルギー装置は、機械的、化学、伝達、熱、電気、ポテンシャル、運動、磁気、重力、放射、エネルギー、構造化、非構造化、または他の形態のエネルギーを含む、エネルギーを伝搬または放出するためのエネルギー装置を含む。さらに他の実施形態では、複数のエネルギー装置は、感覚フィードバックまたは可聴制御を提供するように構成された音響受信装置を含む。
【0100】
一実施形態では、エネルギーシステムは、1つまたは複数のエネルギー・リレー要素を有するエネルギー・リレーシステム(例えば、図7Bに最もよく示される6110)をさらに含み、1つまたは複数のエネルギー・リレー要素の各々は第1の表面および第2の表面を含み、1つまたは複数のエネルギー・リレー要素の第2の表面は、エネルギー・リレーシステムの単一のシームレスなエネルギー面を形成するように配置され、第1の複数のエネルギー伝搬経路は、複数のエネルギー装置内のエネルギー位置からエネルギー・リレーシステムの単一のシームレスなエネルギー面を通って延在する。これについては、以下でより詳細に考察する。
【0101】
ここで、本開示の一実施形態による、エネルギー・リレーシステム6110を直交ビューで示した図7Bを参照する。一実施形態では、エネルギー・リレーシステム6110は、2つ以上のリレー要素6112を含むことができ、各リレー要素6112は、1つまたは複数の構造体で形成され、各リレー要素6112は、第1の表面6114、第2の表面6116、横方向(一般に、表面6114,6116に平行)および長手方向(一般に、表面6114、6116に対して垂直)を有する。一実施形態では、第1の表面6114の表面積は、第2の表面6116の表面積とは異なり得る。例えば、第1の表面6114の表面積は、第2の表面6116の表面積より大きくても小さくてもよい。別の実施形態では、第1の表面114の表面積は、第2の表面6116の表面積と同じであり得る。エネルギー波は、第1の表面6114から第2の表面6116へ、またはその逆に通過することができる。
【0102】
一実施形態では、エネルギー・リレーシステム6110のリレー要素6112は、第1の表面6114と第2の表面6116との間に傾斜した輪郭部分6118を含む。動作中、第1の表面6114と第2の表面6116との間を伝搬するエネルギー波は、横方向よりも長手方向の方が高い輸送効率を有することができ、リレー要素6112を通過するエネルギー波は、空間拡大率または空間縮小率をもたらすことができる。言い換えれば、リレー要素装置6110のリレー要素6112を通過するエネルギー波は、増大した拡大率または減少した縮小率を経験する可能性がある。いくつかの実施形態では、エネルギー・リレー要素6110を形成するための1つまたは複数の構造体は、ガラス、カーボン、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの混合物を含み得る。
【0103】
一実施形態では、第1の表面6114を通過するエネルギー波は第1の解像度を有し、第2の表面6116を通過するエネルギー波は第2の解像度を有し、第2の解像度は第1の解像度の約50%以上である。別の実施形態では、エネルギー波は、第1の表面に提供されたときには均一なプロファイルを有するが、第2のリレー表面の位置に関係なく、第2の表面の法線に対して+/-10度の開き角を有するコーンを実質的に満たす、前方方向のエネルギー密度であらゆる方向に放射しながら第2の表面を通過することができる。
【0104】
いくつかの実施形態では、第1の表面6114は、エネルギー波源からエネルギーを受信するように構成することができ、エネルギー波源は、第1の表面6114および第2の表面6116のうちの少なくとも1つの幅とは異なる幅を有する機械的エンベロープを含む。
【0105】
各リレー6112において、エネルギーは、長手方向を画定する第1および第2の表面の間で輸送され、リレーの各々の第1および第2の表面は一般に、第1および第2の方向によって画定される横方向に沿って延在し、長手方向は、横方向に対して実質的に垂直である。一実施形態では、複数のリレーを通って伝搬するエネルギー波は、長手方向の最小屈折率変動と相まって横方向のランダム屈折率変動のために、横方向よりも長手方向の方が高い輸送効率を有する。各リレーがマルチコアファイバーで構築されているいくつかの実施形態では、各リレー要素内を伝搬するエネルギー波は、この向きのファイバーの配列によって決定される長手方向に進行し得る。
【0106】
一実施形態では、終端エネルギー・リレー要素の任意の2つの隣接する第2の側面の端部間の間隔は、単一のシームレスなエネルギー面の高さ、または単一のシームレスなエネルギー面の幅のうちの小さいほうよりも大きい、シームレスなエネルギー面からの距離における視力20/40よりも良い値を有する人間の視力によって規定される最小知覚可能外形よりも小さくなり得る。
【0107】
一実施形態では、積層構成の複数のエネルギー・リレー要素は、複数のフェースプレートを含むことができる。いくつかの実施形態では、複数のフェースプレートは、異なる長さを有してもよく、またはゆるやかなコヒーレント光リレーである。他の実施形態では、複数の素子は、図7Bのものと同様の傾斜した輪郭部分を有することができ、傾斜した輪郭部分は、傾斜、直線、湾曲、テーパ、切子面状、またはリレー要素の法線軸に対して非直角に配列させ得る。さらに別の実施形態では、複数のリレー要素を通って伝搬するエネルギー波は、長手方向の最小屈折率変動と相まって横方向のランダム屈折率変動のために、横方向よりも長手方向の方が高い輸送効率を有する。各エネルギー・リレーがマルチコアファイバーで構築されている実施形態では、各リレー要素内を伝搬するエネルギー波は、この向きのファイバーの配列によって決定される長手方向に進行し得る。
【0108】
いくつかの実施形態では、1つまたは複数のリレー要素(例えば6112)は、融着された、またはタイル状のモザイクを含み、隣接する融着された、またはタイル状のモザイクの間の任意の継ぎ目は、単一のシームレスなエネルギー面の幅または高さで、またはそれより大きい距離において視力20/40よりも良い値を有する人間の視力によって定義されるような最小の認知可能な輪郭によって離隔される、または最小知覚可能外形より小さい。
【0109】
他の実施形態では、1つまたは複数のリレー要素(例えば6112)は、光ファイバー、シリコン、ガラス、ポリマー、光リレー、回折素子、ホログラフィック光学素子、屈折素子、反射素子、光フェイスプレート、光結合器、ビームスプリッタ、プリズム、偏光コンポーネント、空間光変調器、アクティブピクセル、液晶セル、透明ディスプレイ、または単一のシームレスなエネルギー面を形成するための、アンダーソン局在または全反射特性を有する任意の同様の材料を含む。
【0110】
さらに他の実施形態では、1つまたは複数のリレー要素(例えば6112)は、平面、球形、円筒形、円錐形、切子面状、タイル状、規則的、非規則的、または指定されたアプリケーションのための任意の他の幾何学的形状を含む、単一のシームレスなエネルギー面の形状に適応するように構成される。
【0111】
別の実施形態では、システムは、エネルギー導波路のアレイを有するエネルギー導波路システム(例えば、図7C~7Lに最もよく示される7100)をさらに含み、第2の複数のエネルギー伝搬経路は、単一のシームレスなエネルギー面からエネルギー導波路のアレイを通って、4D plenoptic関数によって決定される方向に延在する。
【0112】
図7Cは、複数のエネルギー伝搬経路7108を画成するように動作可能なエネルギー導波路システム7100の一実施形態のトップダウン透視図を示す。エネルギー導波路システム7100は、複数のエネルギー伝搬経路7108に沿ってエネルギー導波路のアレイ7112を通過するようにエネルギーを指向するよう構成されたエネルギー導波路のアレイ7112を備える。一実施形態では、複数のエネルギー伝搬経路7108は、アレイの第1の側7116の複数のエネルギー位置7118を通ってアレイの第2の側7114まで延びる。
【0113】
図7Cおよび7Lを参照すると、一実施形態では、複数のエネルギー伝搬経路7108の第1のサブセット7290は、第1のエネルギー位置7122を通って延びる。第1のエネルギー導波路7104は、複数のエネルギー伝搬経路7108の第1のサブセット7290の第1のエネルギー伝搬経路7120に沿ってエネルギーを指向するように構成される。第1のエネルギー伝搬経路7120は、第1のエネルギー位置7122と第1のエネルギー導波路7104との間に形成された第1の主光線7138によって画成され得る。第1のエネルギー伝搬経路7120は、第1のエネルギー位置7122と第1のエネルギー導波路7104との間に形成され、それぞれエネルギー伝搬経路7120Aおよび7120Bに沿って第1のエネルギー導波路7104によって指向される光線7138Aおよび7138Bを含むことができる。第1のエネルギー伝搬経路7120は、第1のエネルギー導波路7104からアレイの第2の側7114に向かって延び得る。一実施形態では、第1のエネルギー伝搬経路7120に沿って指向されるエネルギーは、第1の主光線7138が第2の側7114を通って伝搬される角度と実質的に平行な方向に第1のエネルギー導波路7104を通って指向されるエネルギー伝搬経路7120Aと7120Bとの間またはこれらを含む1つまたは複数のエネルギー伝搬経路を含む。
【0114】
実施形態は、第1のエネルギー伝搬経路7120に沿って指向されるエネルギーが、エネルギー伝搬経路7120Aおよび7120B、ならびに第1の主光線7138と実質的に平行な方向に第1のエネルギー導波路7104を出ることができるように構成され得る。第2の側7114のエネルギー導波路素子7112を通って延びるエネルギー伝搬経路は、実質的に同様の伝搬方向の複数のエネルギー伝搬経路を含むと仮定することができる。
【0115】
図7Dは、エネルギー導波路システム7100の一実施形態の正面図である。第1のエネルギー伝搬経路7120は、少なくとも第1のエネルギー位置7122によって決定される、第1のエネルギー導波路7104から延びる一意の方向7208に、アレイの第2の側7114に向かって延び得る。第1のエネルギー導波路7104は空間座標7204によって定義され得、少なくとも第1のエネルギー位置7122によって決定される一意の方向7208は、第1のエネルギー伝搬経路7120の方向を定義する角度座標7206によって定義され得る。空間座標7204および角度座標7206は、第1のエネルギー伝搬経路7120の一意の方向7208を定義する4次元plenoptic座標セット7210を形成することができる。
【0116】
一実施形態では、第1のエネルギー導波路7104を通って第1のエネルギー伝搬経路7120に沿って指向されるエネルギーは、第1のエネルギー導波路7104の第1の開口部7134を実質的に満たし、エネルギー伝搬経路7120Aと7120Bとの間に位置し、第1のエネルギー伝搬経路7120の方向と平行な1つまたは複数のエネルギー伝搬経路に沿って伝搬する。実施形態では、第1の開口部7134を実質的に満たす1つまたは複数のエネルギー伝搬経路は、第1の開口部7134の直径の50%超を含んでもよい。
【0117】
好ましい実施形態では、第1の開口部7134を実質的に満たす第1のエネルギー導波路7104を通って第1のエネルギー伝搬経路7120に沿って指向されるエネルギーは、第1の開口部7134の直径の50%~80%を含み得る。
【0118】
図7Cおよび7E~7Lを再び参照すると、一実施形態では、エネルギー導波路システム7100は、第1の側7116と第2の側7114との間のエネルギーの伝搬を制限し、隣接する導波路7112間のエネルギー伝搬を抑制するように位置付けられたエネルギー抑制要素7124をさらに備え得る。一実施形態では、エネルギー抑制要素は、第1の開口部7134を貫通しない、複数のエネルギー伝搬経路7108の第1のサブセット7290の一部に沿ったエネルギー伝搬を抑制するように構成される。一実施形態では、エネルギー抑制要素7124は、第1の側7116で、エネルギー導波路7112のアレイと複数のエネルギー位置7118との間に配置され得る。一実施形態では、エネルギー抑制要素7124は、第2の側7114で、複数のエネルギー位置7118とエネルギー伝搬経路7108との間に配置され得る。一実施形態では、エネルギー抑制要素7124は、第1の側7116または第2の側7114で、エネルギー導波路7112のアレイまたは複数のエネルギー位置7118と直交に配置することができる。
【0119】
一実施形態では、第1のエネルギー伝搬経路7120に沿って指向されるエネルギーは、第2のエネルギー導波路7128を通る第2のエネルギー伝搬経路7126に沿って指向されるエネルギーと収束し得る。第1および第2のエネルギー伝搬経路は、アレイ7112の第2の側7114の位置7130に収束し得る。一実施形態では、第3および第4のエネルギー伝搬経路7140、7141も、アレイ7112の第1の側7116の位置7132に収束し得る。一実施形態では、第5および第6のエネルギー伝搬経路7142、7143もまた、アレイ7112の第1および第2の側7116、7114の間の位置7136に収束し得る。
【0120】
図7E~7Lは、エネルギー抑制要素7124の様々な実施形態を示す。疑義を避けるために明記すると、これらの実施形態は例示目的で提供されており、決して本開示の範囲内で提供される組み合わせまたは実装の範囲を限定するものではない。
【0121】
図7Eは、エネルギー抑制要素7251が、エネルギー位置7118の表面に隣接して配置され、特定の屈折、回折、反射、または他のエネルギー変更特性を含む、複数のエネルギー位置7118の実施形態を示す。エネルギー抑制要素7251は、エネルギー伝搬経路7252に沿ったエネルギーの伝搬を抑制することによって、エネルギー伝搬経路7290の第1のサブセットをより狭い範囲の伝搬経路7253に制限するように構成され得る。一実施形態では、エネルギー抑制要素は、1未満の開口数を有するエネルギー・リレーである。
【0122】
図7Fは、エネルギー抑制構造7254がエネルギー位置7118の領域間に直交して配置され、エネルギー抑制構造7254が吸収特性を示し、エネルギー抑制構造7254が、特定のエネルギー伝搬経路7255が抑制されるように、エネルギー伝搬経路7256に沿って画定された高さを有する、複数のエネルギー位置7118の一実施形態を示す。一実施形態では、エネルギー抑制構造7254は六角形の形状である。一実施形態では、エネルギー抑制構造7254は円形である。一実施形態では、エネルギー抑制構造7254は、伝搬経路の任意の向きに沿った形状またはサイズが不均一である。一実施形態では、エネルギー抑制構造7254は、追加の特性を有する別の構造体内に埋め込まれる。
【0123】
図7Gは、第1のエネルギー抑制構造7257が、それを通って伝搬するエネルギー7259を実質的に第1の状態に配向するように構成された、複数のエネルギー位置7118を示す。第2のエネルギー抑制構造7258は、実質的に第1の状態に配向されているエネルギー7259がそれを通って伝搬することを可能にし、第1の状態と実質的に異なるように配向されたエネルギー7260の伝搬を制限するように構成される。一実施形態では、エネルギー抑制要素7257、7258はエネルギー偏光素子対である。一実施形態では、エネルギー抑制要素7257、7258はエネルギー波帯域通過素子対である。一実施形態では、エネルギー抑制要素7257、7258は回折導波路対である。
【0124】
図7Hは、複数のエネルギー位置7118のうちのどれを通ってエネルギー伝搬経路7263が延びるかに応じて、エネルギー伝搬経路7263をある程度変更するようにエネルギー抑制要素7261が構成される、複数のエネルギー位置7118の一実施形態を示す。エネルギー抑制要素7261は、特定のエネルギー伝搬経路7262が抑制されるように、エネルギー伝搬経路7263に沿って均一または不均一にエネルギー伝搬経路7263を変更することができる。エネルギー抑制構造7254はエネルギー位置7118の領域間に直交して配置され、エネルギー抑制構造7254は吸収特性を示し、エネルギー抑制構造7254は、特定のエネルギー伝搬経路7262が抑制されるように、エネルギー伝搬経路7263に沿って画定された高さを有する。一実施形態では、抑制要素7261はフィールドレンズである。一実施形態では、抑制要素7261は回折導波路である。一実施形態では、抑制要素7261は湾曲した導波路表面である。
【0125】
図7Iは、エネルギー抑制要素7264が、吸収特性を提供してエネルギー7266の伝搬を制限しながら、他の伝搬経路7267を通過可能にする、複数のエネルギー位置7118の一実施形態を示す。
【0126】
図7Jは、第1のエネルギー抑制構造7268が、それを通って伝搬するエネルギー7270を実質的に第1の状態に配向するように構成された、複数のエネルギー位置7118、および複数のエネルギー導波路7112の一実施形態を示す。第2のエネルギー抑制構造7271は、実質的に第1の状態に配向されているエネルギー7270が、それを通って伝搬することを可能にし、第1の状態と実質的に異なるように配向されたエネルギー7269の伝搬を制限するように構成される。漂遊エネルギー伝搬7272によって例示される、システムを通るエネルギー伝搬をさらに制御するために、エネルギー抑制構造7268、7271は、エネルギー伝搬が正確な伝搬経路を維持することを確実にするために、複合エネルギー抑制要素を必要とし得る。
【0127】
図7Kは、エネルギー抑制要素7276は、吸収特性を提供してエネルギー伝搬経路7278に沿ったエネルギーの伝搬を制限しながら、エネルギー伝搬経路7277に沿った他のエネルギーが、導波路7112のアレイ内の有効開口部7284のための一対のエネルギー導波路7112を通過することを可能にする、複数のエネルギー位置7118の一実施形態を示す。一実施形態では、エネルギー抑制要素7276はブラッククロムを含む。一実施形態では、エネルギー抑制要素7276は吸収性材料を含む。一実施形態では、エネルギー抑制要素7276は透明画素アレイを含む。一実施形態では、エネルギー抑制要素7276は陽極酸化材料を含む。
【0128】
図7Lは、第1のエネルギー抑制構造7251が、エネルギー位置7118の表面に隣接して配置され、特定の屈折、回折、反射、または他のエネルギー変更特性を含む、複数のエネルギー位置7118および複数のエネルギー導波路7112を含む一実施形態を示す。エネルギー抑制構造7251は、エネルギー伝搬経路7274に沿ったエネルギー伝搬を抑制することによって、エネルギー伝搬経路7290の第1のサブセットをより狭い範囲の伝搬経路7275に制限するように構成され得る。第2のエネルギー抑制構造7261は、エネルギー伝搬経路7275が複数のエネルギー位置7118のうちのどれを通って延びるかに応じて、エネルギー伝搬経路7275をある程度変更するように構成される。エネルギー抑制構造7261は、特定のエネルギー伝搬経路7274が抑制されるように、エネルギー伝搬経路7275を均一または不均一に変更することができる。第3のエネルギー抑制構造7254は、エネルギー位置7118の領域間に直交して配置されている。エネルギー抑制構造7254は、吸収特性を示し、特定のエネルギー伝搬経路7274が抑制されるようにエネルギー伝搬経路7275に沿って画定された高さを有する。エネルギー抑制要素7276は、吸収特性を提供してエネルギー280の伝搬を制限しながら、エネルギー7281の通過を可能にする。類似または異なる導波路素子7112の複合システムは、導波路素子の有効開口部7285を複数のエネルギー位置7118からのエネルギーで実質的に満たし、特定のシステムによって画定されるエネルギーの伝搬経路7273を変更するように位置付けられる。
【0129】
一実施形態では、エネルギー抑制構造7124は、第1のエネルギー位置7122に近接して配置され、一般に第1のエネルギー導波路7104に向かって延在し得る。一実施形態では、エネルギー抑制構造7124は、第1のエネルギー導波路7104に近接して配置され、一般に第1のエネルギー位置7122に向かって延在し得る。
【0130】
一実施形態では、エネルギーシステムは、第2の複数のエネルギー伝搬経路に沿ったエネルギーを、エネルギー導波路システムを通って単一のシームレスなエネルギー面に指向し、第1の複数のエネルギー伝搬経路に沿ったエネルギーを、単一のシームレスなエネルギー面からエネルギー・リレーシステムを通って複数のエネルギー装置に指向するように構成される。
【0131】
別の実施形態では、エネルギーシステムは、第1の複数のエネルギー伝搬経路に沿ったエネルギーを、複数のエネルギー装置からエネルギー・リレーシステムを通って単一のシームレスなエネルギー面に指向し、第2の複数のエネルギー伝搬経路に沿ったエネルギーを、単一のシームレスなエネルギー面からエネルギー導波路システムを通るように指向するように構成される。
【0132】
さらに別の実施形態では、単一のシームレスなエネルギー面は、局所的な光透過を3つ以下の波長の可視光に規制するように動作可能である。
【0133】
ホログラフィックディスプレイに好適な感覚データ エネルギー指向表面からの表面を通る4D plenoptic関数は、エネルギー位置を含み、エネルギー伝播経路のベクトルf(x、y、u、v)を定義する導波パラメータu、vを含む第2の面に沿って第2の座標を通して指向される、第1の表面から2つの空間座標x、yを提供する。複数のエネルギー指向表面を考慮すると、plenoptic5D関数は、1つ以上のエネルギー位置を含み、エネルギー伝播経路のベクトルf(x、y、z、u、v)を定義する導波パラメータu、vを含む平面に沿って第2の座標を通して指向される、第1の座標から3つの空間座標x、y、zを提供する。4Dまたは5Dのそれぞれについて、時間および色のための追加の変数f(λ、t)を考慮して、関数および説明を簡単にするために明示的に注記されていなくても、アプリケーションのために必要な場合、plenoptic関数のいずれかを含むものとみなすことができる。疑義を避けるために明記すると、エネルギー指向表面への言及は例示目的のみであり、5D座標のローカライゼーションのための空間内の任意の追加の点、位置、方向、または平面を含むことができ、「エネルギー指向表面」と総称される。
【0134】
図8は、コンテンツデータ用の4次元(4D)plenoptic座標を決定するためのプロセス800の一実施形態を示すフローチャート図である。プロセス800は、視覚、聴覚、触覚、感覚、または嗅覚センサによって知覚可能な任意の信号を含み得るコンテンツデータが受信されるステップ802を含むことができる。図9は以下、対象の位置、材料特性(材料特性906、907、および908など)、仮想光源904、非対象の位置における形状902、基準表面からのコンテンツ、仮想カメラ位置914、対象のセグメンテーション910、背景テクスチャ912、および階層化コンテンツのうちの少なくとも1つを含み得るコンテンツデータの一実施形態を示す概略図である。
【0135】
図8および9を参照すると、プロセス800は、コンテンツデータのデジタル立体表現922の生成に対して、データ点の位置が第1の表面920に対して決定されるステップ804をさらに含むことができる。第1の表面920は、空間内のデータ点の位置を定義するための基準面として使用され得る。一実施形態では、プロセス800は、立体表現内のデータ点の位置を4D関数が適用される第2の表面まで追跡することによって、データ点の4D plenoptic座標が第2の表面で決定されるステップ806をさらに含むことができる。一実施形態では、プロセス800は、エネルギー源位置値が第1の収束点を有する4D plenoptic座標に対して決定されるステップ808をさらに含むことができる。
【0136】
ステップ802で受信されたコンテンツデータはN個のビューを含むことができ、ここでNは1以上である。単一のビューは、深度チャネルを用いて、または用いずに提示され得る。立体ビューは、深度チャネルを用いて、または用いずに提示され得る。マルチビュー画像は、深度チャネルを用いて、または用いずに提示され得る。さらに、4D明視野は、深度チャネルを用いて、または用いずに提示され得る。
【0137】
ステップ806の追跡では、グローバルモデルまたは個別に特徴付けられたシステムまたはこの2つの方法論の何らかの組み合わせとしてメモリに格納することができる、エネルギーシステムの較正された形状の事前知識を使用することができる。
【0138】
一実施形態では、入力データと出力エネルギー源との間のマッピングは、様々なビット速度源の間で正確にマッピングするための方法論を提供する。ステップ806の追跡は、先に列挙した部分サンプルから完全な4D体積データセットを推論する能力を提供する。深度情報は、提供されるか、または利用可能なデータから計算する必要がある。既知のまたは計算された深度情報を用いて、4D空間への深度座標に基づいて、既知の立体表現からのサンプルの三角測量によってN個のビューを逆追跡することができる。
【0139】
三角測量では、エネルギー導波路とエネルギー源位置フォーマット解像度との間のマッピングが提供される場合、Nソースコンテンツ内の各利用可能なエネルギー源位置が、各エネルギー導波路に対するエネルギー源位置を表すと仮定することができる。N個のソースコンテンツの解像度がより低い場合には、超解像またはスケーリングアルゴリズムを実施することができる。N個のソース画像の解像度がエネルギー指向装置内のエネルギー導波路の数よりも高い場合には、スーパーサンプリングされたエネルギー源位置間の補間を実行して、結果としての4D逆レイ・トレースにおいてエネルギー導波路当たりより多くのエネルギー源位置を生成することができる。
【0140】
上記では、距離情報は、提供または計算された深度情報の形式に応じて正確であるまたは正確でない可能性のある深度マップから決定することができると仮定しており、既知のまたは仮定された距離情報があれば、x-yエネルギー源位置座標、およびエネルギー指向装置の特性によって決定される(u、v)角度情報と組み合わされた距離情報は、限定された撮像データサンプルを有する4Dまたは5D明視野とみなさすことができる。撮像サンプルは、距離情報に基づいて、各エネルギー導波路の後ろにそれぞれ存在し得る適切なエネルギー源位置に三角測量により戻され、本明細書に含まれる開示を通して、ステップ808で欠落データが生成され得る。
【0141】
図7C、8、9、10を参照すると、一実施形態では、エネルギー位置は第1の表面920内に位置し得、4D関数が適用される第2の表面はエネルギー指向装置の導波路システム7100に対応し得、エネルギーは、データ点の4D plenoptic座標に従って導波路システムを通って指向され、コンテンツデータの検出可能な立体表現を形成するように動作可能である。
【0142】
一実施形態では、プロセス800は、エネルギー源位置値が、第1の収束点を有する4D座標に対して決定されるステップ810をさらに含むことができる。本開示の例示的な実装例を提供するために、図10は、画像1002の形態のコンテンツデータが、エネルギー位置1010に関連して決定された最小位置1006および最大位置1008の範囲内に提供または計算され得る距離位置1004と一緒に提供される追跡プロセスを経るエネルギー指向装置1000の一実施形態を示す。一実施形態では、エネルギー位置1010は、エネルギー指向装置の表面を含み得る。4D plenoptic関数によって規定されたエネルギー位置1010からの既知の形状は、画像1002の仮想表面上の点1014の三角測量により、光線1016に沿って、各々が一意のx-y座標を有する特定のエネルギー位置1018まで遡ることを可能にする。欠落したサンプルは、データセット内に含まれている利用可能な情報に基づいて、コンピュータにより計算することができる。
【0143】
追加のN個のサンプルが提供される場合には、同じ方法論が、より豊富なセットの逆レイ・トレースサンプルを生成する追加の多視点撮像データを使用して適用され、優れたホログラフィック結果を提供する。複数のN個のサンプルからの深度情報が、ソース位置(N+X個の視点)とソース深度マップ(N+X個の深度マップ)との間の既知のマッピングを有する単一の深度マップ、またはN個までもしくはN個を超える数の深度マップを通じて提供され、適切な逆光線追跡が実行されることを確実にすることができる。
【0144】
例えば中心のN個の視点のための単一の深度マップが提供される場合には、隣接するビューの各々の間の差異について計算することによって追加の深度マップを補間し、N個の視点とN+X個の視点との間のソースおよびターゲットの位置を正確にマッピングすることができる。この方法を使用して、正しい視点が、適切な導波路座標に投影され、関連する視点での正しい視野依存性を維持する視認者の能力をもたらすように、視野依存マッピングを4D明視野まで逆レイ・トレースすることができる。
【0145】
符号器および復号器は頑強であり、2D/フラットファイル、深度を有する2D、立体、単一深度チャネルを有する立体、デュアル深度チャネルを有する立体、深度を有しないN+Xマルチビュー、N+Y深度を有するN+Xマルチビュー、テクスチャ、形状、照明、材料特性などを含んで環境を再構築し得る、形状またはベクトルベースのシーンファイル、複数のRGBAZ値が、各x-y座標、4Dまたは5D(4Dプラス深度)明視野のために提供され得る、または決定されたエネルギー指向装置の視野のために必要な特定の量のエネルギー源位置データをレンダリングするためだけのより低い帯域幅の方法論を深度チャネルが提供するN+XビュープラスN+Yデルタチャネルデータセットとして提供され得るディープイメージングファイルを含むための、これらに限定されない複数のデータタイプを解釈することができる。ワールド座標位置を含んでまたはそれを含まないで、補償された最小および最大投影ワールド位置を含んでまたはそれを含まないで、ならびに特徴付けられたおよび/または設計されたものとして固有のエネルギー指向装置を考慮して、視認者に提示すべき適切な4D明視野をプロビジョニングするために、プロセッサはリアルタイム速度まで、またはそれを超える速度で逆レイ・トレースすることができる。
【0146】
一実施形態では、プロセス800は、導波路システム7100の第1の側のエネルギー位置7122と、導波路システム7100の第2の側の導波路素子7100からのエネルギー伝搬経路7120の角度方向との間のマッピングが適用されるステップ812をさらに含むことができる。そうすることによって、データ点の4D plenoptic座標に対応する導波路システム7100の第1の側の複数のエネルギー位置を決定することが可能になり得る。
【0147】
図12は、感覚データプロセッサ1202、ベクトル化エンジン1204、およびトレーシング・エンジン1206を有する処理サブシステムと通信するデータ入出力インターフェース1201を備える処理システム1200の概略図である。感覚データプロセッサ1202、ベクトル化エンジン1204、およびトレーシング・エンジン1206は、個別であれ、それらの任意の組み合わせであれ、1つ以上のプロセッサ上で実装され得ることを理解すべきである。プロセス800のステップ802は、コンテンツデータをデータ入出力インターフェース1201を介して処理サブシステム1220に入力することができる。ステップ804は感覚データプロセッサ1202によって実行されて、コンテンツデータの立体表現を生成することができる。ステップ806
【0148】
一実施形態では、マッピングの適用は、導波路システム7100内のひずみについて較正することを含み得、空間ひずみ、角度ひずみ、強度ひずみ、および色ひずからなる群から選択される少なくとも1つのひずみについて較正することをさらに含み得る。
【0149】
一実施形態では、エネルギー指向装置は、導波路システム7100の第1の側にリレーシステム6110をさらに備えることができ、このリレーシステムは、導波路システム7100に隣接する第1の表面6116を有し、導波路システムの第1の側のエネルギー位置7112は、リレーシステム6110の第2の表面6114に隣接して位置付けられ得る。
【0150】
一実施形態では、マッピングの適用は、導波路システム7100内のひずみについて較正することを含み得る。一実施形態では、マッピングの適用は、リレーシステム6110内のひずみおよび導波路システム7100内のひずみの両方について較正することを含み得る。一実施形態では、較正されるひずみは、空間ひずみ、角度ひずみ、強度ひずみ、および色ひずからなる群から選択される少なくとも1つのひずみを含み得る。
【0151】
一実施形態では、この方法の一部はリアルタイムで実行することができるか、もしくはこの方法は完全にリアルタイムで実行することができるか、またはこの方法の少なくとも2つの部分を異なる期間に実行することができる。
【0152】
2Dから明視野への変換
一実施形態では、コンテンツデータは、2次元(2D)空間内のデータ点を含むことができ、ステップ704の位置を決定することは、2次元空間内のデータ点に深度マップを適用することを含み得る。
【0153】
2次元または平面画像を明視野データに変換するためのいくつかの方法が存在する。これらは、動き分析からの深度を通じての深度情報の推定、手動もしくはレンダリングされた手段により提供される深度チャネル、または視差、深度、閉塞、形状の手動生成、ならびに/または手動および自動化されたプロセスによる環境全体の再生成を通じて完全な明視野を再生成する、視覚効果コンテンツ生成のための標準として既知の任意の他の方法論を含む。
【0154】
第1の実施形態では、利用可能なエネルギー源位置情報から深度の推定を実行するためのリアルタイムまたはオフラインプロセッサを含むシステムが可能である。これは、エネルギー指向装置でセットトップボックスとして、またはオフラインプロセスとして実行することができる。時間情報および/または最先端のテクスチャ合成または当技術分野で既知の他の技術を利用して、欠落している体積データのための追加の計算を実行することができる。
【0155】
第2の実施形態では、深度情報は、画像ストリームとして提供され、画像フォーマットに埋め込むことができる。同様に、欠落した体積測定データのために追加の計算を実行することができる。
【0156】
第3の実施形態では、アーティストまたはプロセスを利用して欠落した環境情報を生成するが、これには、シーン内の各対象を分離またはセグメント化し、経時的に対象を手動で、半自動的に、または自動的に追跡し、視差空間、エネルギー指向装置空間、光学空間またはワールド座標を利用し、環境を再生成するために背景、透明度、縁部の詳細などを再生成する既知の視覚効果プロセスにより背景および前景の欠落情報を合成して対象を空間内に配置するプロセスを含み得る。疑義を避けるために明記すると、実施されるプロセスは、これらの環境の再構成のために列挙された実施形態のうちのいずれか、全くなし、またはすべてであり得る。生成された環境情報は、エネルギー指向装置の画角によって決定されるできるだけ多くの欠落した情報を含むべきであり、これらの画角は、適切な閉塞および視野依存情報が的確に生成されることを確実にすることをアーティストは知っているであろう。
【0157】
さらに、部分モデルまたは完全に構築されたモデルのいずれかとして、シーン内の各対象の表面モデルを生成することができ、画像データからのテクスチャを形状の表面に投影して、次の逆光線追跡のための適切な形状を提供する。
【0158】
さらに、材料特性を計算して、または手動で導入して、仮想照明源を用いて視野依存照明を導入して4D明視野の再生成の精度をさらに高め得ることを確実にすることができる。
【0159】
さらに、CGまたは合成コンテンツの追加を導入して、既存の変換材料を増強することができる。体積データの追加も組み込むことができる。N+Xコンテンツの相互混合も導入して、CG、2D、立体、マルチビューおよび/または4Dメディア間のシームレスなブレンドを単一の合成画像内に提供することができる。
【0160】
結果として得られる2Dから明視野へ変換されたコンテンツは、CGシーン自体に示されるような、形状、テクスチャ、照明、材料などを含む形状シーンファイルとして保持され得、N+D深度チャネルを有するN+Xビューとしてレンダリングされ得、4Dまたは5D(4D+深度)明視野、x-y座標あたりZサンプルの積み重ねの制限のあるまたはないx-yエネルギー源位置座標あたり複数のRGBAZサンプルを可能にするフォーマットである深層画像としてレンダリングされ得、または決定されたエネルギー指向装置の視野のために必要な特定の量のエネルギー源位置データをレンダリングするためだけのより低い帯域幅の方法論を深度チャネルが提供するN+XビュープラスN+Yデルタチャネルデータセットとして提供され得る。これらのそれぞれの出力フォーマットの全部、一部、または1つの生成を可能にするためのツールが提供され得る。
【0161】
立体およびマルチビューから明視野への変換 単一視野のコンテンツを利用する上記からのプロセスを、立体視材料およびマルチビュー材料に適用することができる。深度情報の推定は、動き分析からの、ならびに立体、マルチビューおよび/または視差解析、手動またはレンダリングされた手段を通じて提供される1つの深度チャネルまたは提供される複数の深度チャネル、もしくは視差、深度、閉塞、形状の手動生成、ならびに/または手動もしくは自動化されたプロセスによる環境全体の再生成を通じて、および適切なデータを利用して完全な明視野を再生成する視覚効果コンテンツ生成のための標準として既知の任意の他の方法論からの、深度を通じて得られる。
【0162】
一実施形態では、ステップ102で受信されるコンテンツデータは3次元(3D)空間内のデータ点を含み得、位置の決定は、3D空間内のデータ点を調整することを含み得る。
【0163】
一実施形態では、3D空間内のデータ点の調整は、3D空間内のデータ点に深度マップを適用すること、新しいデータ点を追加すること、閉塞されたデータ点を再構成すること、またはそれらの任意の組み合わせを含み得る。
【0164】
このアプローチの重要な利点は、立体視差推定の精度が、運動視差または他の類似の2D推定プロセスだけのものよりもはるかに高いということにある。さらに、結果として得られる変換された4D明視野の画質は、照明、透明度、材料、閉塞などを含むがこれらに限定されない視野依存条件のいくつかの利用可能性のために、より正確である。
【0165】
マルチビュー画像データの明確な角度依存性を保持する能力は、中央視点カメラ、または他の何らかの定義された中心点に関して面法線を計算する能力に依存する。これらの法線および視差または深度情報が既知であれば、エネルギー指向装置の画角に基づいて視点間を補間することが可能であり、得られた補間は次に、逆光線追跡に直接適用されるか、または逆光線追跡の間、テクスチャ合成の一部として合成される。
【0166】
簡略化のために、2Dから明視野画像への再構成のための以前に開示された方法論のすべては、立体またはマルチビューデータセットの再構成に適用され得る。
【0167】
4Dまたは5D明視野からのN×N RGB画像の生成 4Dまたは5D明視野を利用することによって、N×Nの数、またはN×Nまでの任意の値の数のRGBマルチビュー画像を生成することが可能である。このプロセスは、正方形グリッド、0、0位置、およびN、N位置としての右上位置を仮定して、各導波路の下の各左下座標を考慮することによって適応される。このグリッドは単なる例示であり、他のマッピング方法論も利用することができる。0、0からN、Nの各位置に対して、利用される捕捉システムに基づいて可能な限り広い被写界深度で、明視野からフル解像度の画像を形成することが可能であり、アレイ内の各導波路は単一のエネルギー源位置と考えられ、各導波路の下の各座標は、0、0からN、Nまでの各完全画像に対する、より大きなエネルギー源位置アレイのなかの単一のエネルギー源位置である。これは、5D明視野の深度情報についても繰り返され得る。このようにして、様々な分布の理由から、2D、立体、マルチビュー、点群、CGシーンファイル、または4Dもしくは5D明視野から導出され得るデータの任意の他の所望の組み合わせを含むことが所望されるデータセットの任意のサブセットに対して、4Dまたは5D明視野間を容易に変わることが可能である。不規則または正方形充填4Dまたは5D構造については、エネルギー源位置を規則的グリッドに整列させるためにさらなる補間が必要である、またはエネルギー源位置と非正方形充填構造との間の線形マッピングが実施行され得、結果得られた画像は直線的に見えない可能性があり、エネルギー源位置のアーチファクトを含む可能性がある。
【0168】
図11は、エネルギー導波路素子位置およびエネルギー位置座標のそれぞれに従って、各エネルギー導波路素子1104の下からエネルギー位置1102を配置することによって、4Dまたは5D明視野から複数の視点に変換する方法論を例示したものである。これにより、シームレスに、明視野とより小さいデータセットとの間をシームレスに移転する能力が提供される。
【0169】
N+X RGBおよびN+Y深度データセット データ送信サイズのバランスを有して最高品質を提供する理想的なデータセットのフォーマットは、N+X RGBおよびN+Y深度+ベクトル化チャネルの使用を含み、ここでN+X RGB情報は、特定の解像度およびフォーマットを表し得るN個のRGB画像と、より低い解像度、デルタ情報などを含めるためにRGBデータ用の異なる解像度およびフォーマットを表し得るXと、特定の解像度およびフォーマットを表し得るN深度+ベクトル化チャネル、およびより低い解像度、デルタ情報などを含めるために深度+ベクトルデータ用の異なる解像度およびフォーマットを表し得るYを含むN+Y深度+ベクトル化チャネルとを含む。
【0170】
N+Xビューの数は、規則的なグリッド上に、中心ビューを有してまたは有しないで中心点の周りの1つの半径から、中心ビューを有してまたは有しないで中心点の周りの複数の半径、またはビューの数と、関連するパッキングまたは視線位置とのマッピングを決定するための任意方法論から、生成され得る。視点のための構成はファイルのメタデータに含むことができる、または提供される深度+ベクトル化チャネルは、他の必要なメタデータなしに撮像データがXYZ空間の同じ座標に整列するように、ワールド座標への直接マッピングを含むことができる。
【0171】
4Dディスク反転およびエネルギー指向装置の互換性処理 4Dまたは5D明視野システムの光学シミュレーションを使用する仮想リグで捕捉されたものを含む可能性のある、plenopticまたは明視野4Dまたは5Dシステムを使用して捕捉された任意のデータについては、結果得られるフライアイパースペクティブは、明視野のuvベクトルを表すディスクを含んでいる。しかしながら、これらの座標は、エネルギー指向装置には存在しない可能性のあるエネルギー集束素子を仮定している。提案されたエネルギー指向装置のソリューションでは、集束素子は視認者の目であり得、捕捉システム間のマッピング、および元の捕捉方法と観察されたエネルギー指向装置との間のマッピングはもはや正しくない。
【0172】
これを反転させて、捕捉システムと比較したときにシステム内の追加的に欠落しているエネルギー指向素子を補正するために、各ディスクを独立して個別にフリップすることが可能であり、各導波路の中心点に基づいて各(u、v)座標のx-y位置がリターゲットされる。このようにして、主導波路の結果として形成する像の反転が反転され、明視野エネルギー指向装置が光線を正しいx-y-u-v方向に投射することを可能にする。
【0173】
これのさらなる実施形態は、エネルギー導波路アレイを活用することが、提示されたすべてのエネルギー導波路のエネルギー源位置の直接反転を提供する、ハードウェア修正を実装し得る。明視野エネルギー指向装置にとって、これは、予想される捕捉システムとエネルギー指向装置との間の直接マッピングを有する利点がある。これは、正確なx-y-u-v座標のために追加の回数リレーする必要性をなくすことによって、アレイ全体の中の一群のエネルギー導波路を除去できるように、HMDシステムまたは体積不透明エネルギー指向装置を含む実施形態がさらに有利であり得る。
【0174】
さらに、すべての明視野が同一ではない。それらは、異なるNA、FOV、N値、光学的処方などを用いて捕捉され得る。入力明視野データの内因性および外因性は理解され得、エネルギー指向装置の特性に変換し得る。これは、ホログラフィックデータおよび明視野データのユニバーサルパラメータ化のための本開示内に含まれる実施形態によって実行され得る。
【0175】
エネルギー指向システムのための逆エネルギー追跡および感覚特性のベクトル化によるホログラフィック感覚データ輸送のユニバーサルパラメータ化 エネルギー指向表面からの表面を通る4D plenoptic関数は、エネルギー位置を含み、エネルギー伝播経路のベクトルf(x、y、u、v)を定義する導波パラメータu、vを含む第2の面に沿って第2の座標を通して指向される、第1の表面から2つの空間座標x、yを提供する。複数のエネルギー指向表面を考慮すると、plenoptic5D関数は、1つ以上のエネルギー位置を含み、エネルギー伝播経路のベクトルf(x、y、z、u、v)を定義する導波パラメータu、vを含む平面に沿って第2の座標を通して指向される、第1の座標から3つの空間座標x、y、zを提供する。4Dまたは5Dのそれぞれについて、時間および色のための追加の変数f(λ、t)を考慮して、関数および説明を簡単にするために明示的に注記されていなくても、アプリケーションのために必要な場合、plenoptic関数のいずれかを含むものとみなすことができる。疑義を避けるために明記すると、エネルギー指向表面への言及は例示目的のみであり、5D座標のローカライゼーションのための空間内の任意の追加の点、位置、方向、または平面を含むことができ、「エネルギー指向表面」と総称される。
【0176】
エネルギー伝搬経路の第1のベクトルに沿って、エネルギーの収束を含む複数の交点が追加のエネルギー伝搬経路と共に発生し得る。この交点では、3D点または深度パラメータが、4Dまたは5D関数を有する複数のエネルギー伝搬経路の間の位置X、Y、Zに形成し、ここで、1つまたは複数のエネルギー指向表面内に含まれる各x、yまたはx、y、z座標に対して、第1の座標と3D収束点との間に形成する単一のu、v伝搬経路のみが存在する、複数のエネルギー伝播経路の間の3D収束点X、Y、Z。4D関数f(x、y、u、v)または5D関数f(x、y、z、u、v)は、すべての4Dx、yまたは5Dx、y、z座標、およびX、Y、Zの各収束点に対して存在する相応するu、v伝播経路を集合的に定義する。
【0177】
エネルギー指向表面X、Y、Zを通る複数のエネルギー伝搬経路に沿ったエネルギーの収束によって生じる第1の5D座標では、この座標は、より大きい対象、体積、粒子または局所的なエネルギーパラメータ内の点を表すことができ、第1の5D座標に近接する追加の座標において収束するエネルギーは、環境またはホログラフィックデータセット内の感覚エネルギーに対して追加のベクトル化された特性を示し得る。これらのベクトル化された特性は、各5D座標、4Dデータセット内の各エネルギー位置座標、4Dまたは5Dデータセットのいずれか内の領域、またはエネルギー面を含む座標の他のサブセットに関する情報を含み得る。
【0178】
一実施形態では、ラスターおよびベクトルの2D、3D、4Dおよび5Dデータセットのために、視覚エネルギー、聴覚エネルギー、体性感覚エネルギー、味覚エネルギー、嗅覚エネルギー、前庭エネルギー、または感覚系の応答のための他の所望のエネルギーの伝搬のための4Dおよび5Dホログラフィック感覚エネルギー特性のユニバーサルパラメータ化が開示されており、4Dエネルギー指向表面の第2の面の第2の座標に関して、2Dデータは単一の角度サンプルを含むことができ、3Dデータは単一の次元に2つ以上の角度サンプルを含むことができ、4Dデータは2つの次元に複数の角度サンプルを含むことができ、または5Dデータは3つ以上の次元に複数の角度サンプルを含むことができる。受信サンプルデータの実施形態は、以下のいずれかを含み得る: 1)2Dもしくはモノスコピック、フラット、点群、UVマッピングジオメトリ、内的幾何形状、深層画像、レイヤードイメージ、CADファイル(固有)、単点サンプリング、シングルカメラキャプチャ、シングルプロジェクター投影、ボリュメトリック(体積内のベクトルを有するモノスコピック単一サンプル点)、3自由度のソース(DoF、単一点を中心としたモノスコピックx、y、z回転を有するラスター)、非明視野6 DoFのソース(ラスター+モノスコピックサンプルからのベクトル)、体積エネルギー指向装置(体積内のモノスコピックサンプル)、ペッパーズゴーストのソース(シングルポイント投影)、2D AR HMDのソース(モノスコピック単一または複数焦点面、レイヤードモノスコピック)、2D VR HMDのソース(モノスコピック単一または複数焦点面、レイヤードモノスコピック)、または2次元ラスターもしくはベクトル情報の任意の他の表現。 2)3Dもしくはステレオスコピック、トリスコピック(シングルベースライン)、マルチビュー(1D)、1Dマルチサンプル、1D多視点、水平もしくは垂直のみの視差、1D投影アレイ、2点サンプリング、1Dポイントサンプリング、水平もしくは垂直アレイ、バレットタイム、3DoFのソース(ラスター、単一点を中心としたステレオスコピックx、y、z回転)、3DoFのソース(単一点を中心としたステレオスコピックx、y、z回転内の3Dラスター)、非明視野6 DoFのソース(3Dラスター+ステレオスコピックサンプルからのベクトル)、1D体積エネルギー指向装置のソース(1D視差含有サンプル)、オートステレオスコピックデータのソース、水平多視点エネルギー指向装置のソース、3D AR HMDのソース(ステレオスコピック単一もしくは複数焦点面、レイヤードステレオスコピック)、3D VR HMDのソース(ステレオスコピック単一または複数焦点面、レイヤードステレオスコピック)、または3次元ラスターもしくはベクトル情報の任意の他の表現。 3)4Dもしくはplenoptic(5D)、マルチスコピック、積分画像、明視野(4D)、ホログラフィック(4D)、2Dマルチビュー、2Dマルチサンプル、2D多視点、2D視差、水平および垂直視差、2D投影アレイ、2Dポイントサンプリング、モーションキャプチャステージ(表面に沿った)、平面アレイ、目撃カメラアレイ、レンダリングもしくはレイ・トレースによる形状表現(4D表現)、外的幾何形状(4D表現)、明視野6 DoFのソース(平面明視野サンプル内の4Dラスター)、自由視点6 DoFのソース(4Dラスター+4D明視野サンプルからのベクトル)、4D体積エネルギー指向装置のソース(2D視差含有サンプル)、明視野エネルギー指向装置のソース(4Dサンプリング)、明視野HMDのソース(ニアフィールド4Dサンプリング)、Holodeckレイ・トレース装置のソース(4Dサンプリング)、または4次元ラスターもしくはベクトル情報の任意の他の表現。 4)5Dもしくはplenoptic+深度、明視野+深度、ホログラフィック(5Dサンプリング、4D+深度)、任意のマルチビュー(x、y、およびz軸すべてに沿って)、マルチサンプル(xyzすべてに沿って)、多視点(xyzすべてに沿って)、体積視差(xyzすべてに沿って)、投影アレイ(xyzすべてに沿って)、ポイントサンプリング(xyzすべてに沿って)、モーションキャプチャステージ(xyzすべてに沿って)、目撃カメラアレイ(任意のxyz構成)、レンダリングもしくはレイ・トレースによる形状表現(5D表現)、立方体もしくは体積レンダリング(xyzすべてに沿って)、外的幾何形状(5D表現)、明視野6 DoFのソース(体積明視野サンプル内の5Dラスター)、自由視点6 DoFのソース(5Dラスター+5D明視野サンプルからのベクトル)、5D体積エネルギー指向装置のソース(マルチプレーナ4Dサンプリング)、5D明視野エネルギー指向装置のソース(5Dサンプリング、4D+複数平面)、5D明視野HMDのソース(ニアフィールド5Dサンプリング、4D+複数平面)、Holodeckエネルギー指向装置のソース(5Dサンプリング、4D+複数平面)、または5次元ラスターもしくはベクトル情報の任意の他の表現。
【0179】
第2の座標のそれぞれにおいて、提供されるデータは、ラスターサンプルまたはベクトルサンプルのいずれかのサブセットもしくはスーパーセットを含むことができ、サンプルは、ラスターサンプルまたはベクトルサンプルのサブセットもしくはスーパーセットの解釈または処理を通じて、増加したサンプリング密度への変換を可能にする追加のベクトル化情報を表し、含むことができる。
【0180】
2D、3D、4D、または5Dの提供されるデータセットの各々について、情報はベクトル化情報、手動識別、コンピュータビジョン解析、自動処理、または提供されたサンプルを元のデータセットから5D座標系に変換する他の手段によって変換される。2D、3D、4D、もしくは5Dの提供されるデータセットの各々について、情報は、4Dエネルギー指向表面の第2の平面の第2の座標を参照して、各提供されたデータセットのための、元の角度サンプリングコンポーネントに関する複数のサンプルもしくはサンプルの層および追加のベクトル化された特性を含むことができる、または2D、3D、4D、もしくは5Dの追加の提供されたデータセットのいずれかのための寄与サンプルの組み合わせを含むことができる。
【0181】
提供されたサンプルの各々は、所望の座標ごとに固有エネルギーを含み、固有エネルギーは追加の外在的エネルギー属性を含むことができ、固有エネルギーは、他の外部サンプル、特性または環境条件がない場合の所与の5D座標における値を表す。電磁スペクトルにおいて、これは、すべての入射放射線を反射する白体に対応し、無次元値の範囲が特定の感覚エネルギーに相応する各所望の感覚エネルギーに明らかに及ぶ、反射率の無次元測定値としてアルベドと呼ばれることがある。視覚系内ではこの範囲は約400nm~700μmであり、聴覚系内ではこの範囲は約20Hz~20kHzである。
【0182】
過去数十年にわたり、検出された感覚、香り、および風味の高度パターン認識を電子的手段によって人為的に活用して、人間の感覚の再現を可能にする莫大な技術的改良。電磁スペクトルの外側に存在し得る他の系では、これらの無次元値は、感知された鋭さ応答に基づいて同じ方法で特徴付けることができる。ホログラフィック感覚エネルギー技術が新たに出現しているが、この実施形態内に開示されている、は仮想環境においてすべての人間の感覚を刺激するためのシステム、方法およびフォーマットを含んでおり、様々な感覚パラメータのためのユニバーサルな構築を明確にし、そうすることによって、データの適切な処理、送信、保存、ベクトル化、構築された仮想環境の完全な投入のために所望される任意の感覚エネルギーパラメータまたは装置への、それらからの、またはそれらの間の移転をプロビジョニングするものであり、ホログラフィック感覚技術のためのエネルギー伝搬の実施形態が、将来の出願において開示されるであろう。さらに、古典的な「スメロビジョン」のような目先の変わった商品、またはFeelRealの匂いがするVRヘッドセットのような現代バージョンを含む他のアナログ装置が、本明細書のデータセットのベクトル化内に提供されるパラメータ化された値を活用できるようにすることが、本開示の意図である。
【0183】
一実施形態では、体性感覚系は、50Hz~300Hzで正規化され得る皮膚内の圧力感受性範囲を有するテクスチャ用の機械受容体、0℃~50℃で正規化され得る皮膚内の温度感受性範囲を有する温度受容器(ただし、この範囲は過度の温度によって画定される上限および下限を有するはるかに広い範囲となり得る)、または他の動力学特性の中の時間、ひずみ、弾性率用の変数を含む多くの物理的特性を提供し、本開示の目的のために、花こう岩などの動かない固体に対しては0で、水のような低粘性流体に対しては1の値を有する無次元正規化スケールに単純化された、経時的に応力とひずみとの間の変形を被るときの、粘性的および弾性的両方の材料測定の粘弾性挙動の範囲を定義する表面変形性を含む、感受性を規定するコンポーネントに基づいて定義され得る。当業者は、提供される実際のベクトルは、材料の粘弾性を適切に定義するために必要な物理的特性を含み、例示の目的のためにのみ正規化されることを理解するであろう。
【0184】
最後に、味覚装置および嗅覚装置を含む人工電子センシングにおける技術水準の進歩は、Holodeck設計パラメータについて開示された感覚パラメータをさらにベクトル化し、本明細書に記載されたようなホログラフィック導波手段を介して人工の味覚および嗅覚の電子的再生を可能にする実行可能な道筋を示す。人工電子味覚および嗅覚受容体は、新たに出現したナノデバイスを通じてかなりの進歩を遂げており、人間の味覚を構成する味の検出をもたらすパターン認識システムを通じて、サンプリングされた化学組成の周波数として味を繰り返しおよび正確に検出する周波数ベースのパルスへの符号化および変換を通じて化学的刺激の強度をサンプリングするための酵素バイオセンサを使用する周波数ベースの人工味覚受容器。この技術はあらゆる種類の検出可能な味に拡張され得ると考えられており、人工嗅覚システムにおける同様の進歩が、電子信号の変化によって特定の嗅覚応答の周波数内に含まれるパターンをさらにパラメータ化する現在行われている研究と共に、鼻甲介を標的とする弱い電気パルスを使用して人の嗅受容器体を刺激するためのデジタルインターフェースを実証した。
【0185】
嗅覚、味覚および他の感覚系を表す周波数および複雑な電子パターンを任意に生成するための経路が確立され、一実施形態では、酸味、塩味、苦味(スパイシーさ)、甘味、およびおいしさ(うまみ)のためのベクトルを含み得るがこれらに限定されない、平均的な人間の2,000~8,000個の味覚芽を飽和させるための最小および最大味覚応答を表す0~1のスケールに沿って電子的に制御されるパラメータの各々のための正規化されたスケールを含むように味覚の鋭さ応答をベクトル化することができ、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得る。
【0186】
別の実施形態では、よい香り、果物臭、柑橘類臭、木質(樹脂)臭、薬品臭、甘い匂い、ミント(ペパーミント)臭、こんがり焼けた(ナッツの)匂い、刺激臭および腐敗臭のためのベクトルを含み得るがこれらに限定されない、非常に複雑な嗅覚空間の各々ついて、人間の平均10cmの嗅上皮を飽和させるための最小および最大嗅覚応答を表す0~1のスケールに沿って電子的に制御されるパラメータの各々のための正規化されたスケールを含むように嗅覚の鋭さ応答をさらにベクトル化することができ、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得る。
【0187】
これらのベクトルの各々は、提供されたベクトル化値の適切な適用のために、必要に応じて、波、振幅、大きさ、または他の属性に変換された味、匂い、または他の感覚領域のためにこれらのパターンを表す正規化された値を提供し得る。嗅覚および味覚は、感覚系内の最も劣化した感覚のうちの2つであるが、複雑な融合体をベクトル化するためのパラメータ化された値があれば、実施形態において、任意のそのような感覚エネルギーの感受性のユーザーベースの対話型制御を提供して、視覚系、聴覚系、体性感覚系、味覚系、嗅覚系、前庭系または他の所望の感覚系応答の各々の個別化のカスタマイズを提供することがさらに可能である。
【0188】
一実施形態では、サンプルの表された感覚アルベドエネルギー値の各々は、他の外部サンプル、特性または環境条件のそれぞれについて提供された各サンプルの加算結果を表す単一のサンプル値にベークインされた外在的エネルギー属性をさらに含み得る。この構成では、複合サンプル値は、物理ベースのまたはシミュレートされた環境において、他のサンプルからの他のエネルギーの潜在的属性を示してもよく、または示さなくてもよい。パラメータ化され再構成されたホログラフィックデータセットを送信するための最も効率的で純粋な方法は、簡略化されより低い帯域幅の周波数情報を提供する単一の固有サンプル情報に基づいているが、この方法は、特に物理ベースの撮像または音響システムでは、完全な合成環境の外で受信することは必ずしも可能ではない。任意の実世界環境では、結果として得られるサンプル情報に対するある程度の外因的寄与が常にある。ライトステージのような特定のシステム、または反射率、形状、テクスチャ、およびモーションキャプチャの推定を容易にすることが当該技術分野で既知の他のシステムは、何らかの形態の構造化照明、およびアルベド、深度情報、面法線および双方向散乱分布の表面特性の直接または間接解析を提供する1つまたは複数の撮像装置を利用する。
【0189】
双方向散乱分布関数(BSDF)は、しばしば超関数f(w、w)で表され、当技術分野で知られているコンピュータグラフィックスおよび視覚アルゴリズムにおいて表面特性をパラメータ化し識別するためのモデルとして集合的に作用する、双方向透過率分布関数(BTDF)、双方向テクスチャ関数(BTF)、および双方向反射率分布関数(BRDF)の一般化されたスーパーセットである。この関数は、面法線が対象表面の接線に垂直である場合に、エネルギー伝播経路に対して入射光の入射方向wおよび出射光の反射または透過方向wが与えられたときに、可視光がどのように反射され、透過され、またはそうでなければ表面と相互作用するかを説明し、関数は、出射経路wに沿って出射する反射放射輝度の入射経路wに沿って表面に入射する放射照度に対する割合を説明し、w、wの各々は、入射経路および出射経路の各々のパラメータ化された方位角および天頂角を規定する4D関数を含み得る。
【0190】
表面に当たるエネルギーλの第1の位置x、および材料特性がこのエネルギーをエネルギーλの第2の位置xに内部散乱させた後の出口のためにこれらの機能をさらに明確にして、虹色、発光、表面下散乱、非局所散乱効果、鏡面反射、影付け、マスキング、相互反射など、表面の材料特性に基づいて得られる出力エネルギー、入力エネルギーおよび位置、および対象、体積または点の表面全体にわたる出力エネルギーおよび位置などの可視波長の影響を説明することができる。
【0191】
したがって、波長または周波数依存性、および空間的に変化する材料特性または表面を含むために、表面に当たる任意の2つのエネルギー線の間にエネルギーがどのように輸送されるかを説明するための一般化された特性は10D関数として表すことができ、データセット内の利用可能または提供されたサンプルの各々またはいずかに対してf(λ、x、w、λ、x、w)として指定して、入力エネルギー、ベクトル化された表面形状の影響、および反射、屈折、鏡面、透過、散乱、拡散、または任意のエネルギー領域からの他の材料特性の結果の出力を、関数の一般化fが与えられたときに説明することができる。
【0192】
ここでエネルギー指向表面を考慮すると、plenoptic4D関数は、エネルギー位置を含み、エネルギー伝播経路のベクトルf(x、y、u、v)を定義する導波パラメータu、vを含む第2の平面に沿って第2の座標を通して指向される、第1の平面から2つの空間座標x、yを提供する。複数のエネルギー指向表面を考慮すると、plenoptic5D関数は、1つまたは複数のエネルギー位置を含み、エネルギー伝播経路のベクトルf(x、y、z、u、v)を定義する導波パラメータu、vを含む平面に沿って第2の座標を通して指向される、第1の座標から3つの空間座標x、y、zを提供する。4Dまたは5Dのそれぞれについて、時間および色のための追加の変数f(λ、t)を考慮して、関数および説明を簡単にするために明示的に注記されていなくても、アプリケーションのために必要な場合、plenoptic関数のいずれかを含むものとみなすことができる。
【0193】
エネルギー伝搬経路の第1のベクトルに沿って、エネルギーの収束を含む複数の交点が追加のエネルギー伝搬経路と共に発生し得る。この交点では、3D点または深度パラメータが、4Dまたは5Dplenoptic関数を有する複数のエネルギー伝播経路の間の位置X、Y、Zに形成し、ここで、エネルギー指向4D表面または5D表面内に含まれる各x、yまたはx、y、z座標に対して、第1の座標と3D収束点との間に形成する単一のu、v伝播経路角度のみが存在する、複数のエネルギー伝播経路の間の3D収束点X、Y、Z。4D関数f(x、y、u、v)または5D関数f(x、y、z、u、v)は、すべての4Dx、yまたは5Dx、y、z座標、およびX、Y、Zの各収束点に対して存在する相応するu、v伝播経路を集合的に定義する。
【0194】
収束座標X、Y、Zに表面が形成され、この表面は、収束エネルギー伝播経路の3D位置を含む点、体積、物体または他の実施形態を含むことができる。各表面位置に対して提供されるサンプルは、結果得られるエネルギーを特徴付ける、またはそうでなければ処理するための1つ以上の表面特性、ベクトル、材料、特徴付け、または他の識別特性V、ならびに表面位置に近接した特定の点に当たる1つ以上の入力エネルギー源を含むことができ、反射率関数はここで、表面の様々な特性のための、11Dユニバーサルオブジェクトパラメータ化関数f(λ、x、w、λ、x、w、V)として表される一般化されたベクトルを含む。
【0195】
11Dユニバーサルホログラフィックパラメータ化関数f(λ、x、w、λ、x、w、V)は特定の環境およびベクトル化された特性のための結果得られる値を規定し、4D関数f(x、y、u、v)はエネルギー指向装置表面からのエネルギー伝播経路を規定し、そのため、15Dユニバーサルホログラフィックパラメータ化関数f(λ、x、w、λ、x、w(x、y、u、v)、V)としてさらに一般化することができ、ここで、送信される方向wがu、vの伝播経路を規定して等しくし、それにより空間座標x、yを規定し、各送信される方向wでは、w=u、vを満たすただ1つのf(x、y、u、v)セットの値が存在する。当業者は、4Dおよび5Dホログラフィック感覚エネルギー特性の開示されたユニバーサルパラメータ化に関連するレンダリングの要件に加えて、様々な変換および数学的構成概念を理解するであろう。
【0196】
空間内の収束点から形成される表面と一致するようにすべての感覚エネルギー特性をベクトル化することを示す完全な15D関数を用いて、複数桁の必要なデータが根本的に省かれ、真にホログラフィックデータセットの送信を可能にする実行可能な経路をプロビジョニングする。
【0197】
ベクトル化された特性は、合成的にプログラムされ得る、捕捉され得る、またはコンピュータにより評価され得る特性に対する感覚領域の各々の正確な物理的特性を提供することを目指しており、Vは、以下のものを含む、一般的なシステムメタデータ用、またはそれぞれのもしくは任意の感覚エネルギー領域用に提供されるデータセット内の特定のサンプルについて、対象に関する各表面、体積または3D座標X、Y、Zでベクトル化された特性の属性を指定することができる。 1)システムメタデータは、法線、深度情報、環境特性、所与の3D座標に対する複数の角度サンプル、プロシージャルテクスチャ、幾何学的形状、点群、ディープイメージデータ、静的フレーム、時間フレーム、ビデオデータ、表面ID、表面パス、座標マップ、仮想カメラ座標、仮想照明および可視エネルギー情報、環境マップ、視覚サンプル情報のフィールド外のシーン情報、曲線、頂点、時間情報、ネットワークデータ、データベース、対象認識、エネルギー装置、外部データフィード、システムの変更および対話のためのセンサ、システムステータス、音声認識、嗅覚検出、聴覚検出、顔認識、体性感覚認識、味覚認識、UI、UX、ユーザープロファイル、フローおよびモーションベクトル、レイヤー、領域、透明度、セグメント、アニメーション、シーケンス情報、手順情報、変位マップ、または各サンプルの適正な処理のための十分なデータを提供するのに必要な任意の他のシーンデータを含む、各サンプルの表面特性に関する感覚エネルギー特有の属性またはシステム全体の参照のうちのいずれかを提供し得る。 2)視覚エネルギーは、可視または非可視電磁エネルギー、虹色、発光、表面下散乱、非局所散乱効果、鏡面反射、影付け、吸光度、透過率、マスキング、相互反射、アルベド、透明性、物理的特性、動力学的特性、反射、屈折、回折、光学効果、大気効果、周波数、変調、表面形状、テクスチャ、変位マップ、プロビジョニングされたエネルギーに基づいて特に他の感覚エネルギーと相互関係を持ち応答するための物理的特性および動力学的特性(例えば、反射率特性を変える音の振動、または表面の変形を引き起こす触感材料の変形)、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積などに関連する他の材料特性の適切なレンダリングを規定するための表面特性を提供し得る。 3)聴覚エネルギー:局所音場の配置、大きさ、振幅、質量、材料伝搬パラメータ、吸光度、透過率、音響反射率を示す材料特性、拡散、透過率、増強、マスキング、散乱、局在化、周波数依存性または変調、ピッチ、トーン、粘性、滑らかさ、テクスチャ、弾性率、物体内の音波の伝搬を決定する任意の他のパラメータ、表面、媒体またはその他、プロビジョニングされたエネルギーに基づいて特に他の感覚エネルギーと相互関係を持ち応答するための物理的特性および動力学的特性(例えば、素材の音を変える温度)、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積などに関連する他の材料特性、に関係するベクトル。 4)テクスチャのための機械的受容器、圧力、温度受容器、温度、他の動力学特性の中の時間、ひずみ、弾性率用の変数を含む多くの物理的特性を提供し、経時的に応力とひずみとの間の変形を被るときの、粘性的および弾性的両方の材料測定の粘弾性挙動の範囲を規定する表面変形性パラメータおよびベクトル、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の体性感覚パラメータに関連する他の材料特性、に関連する体性感覚エネルギーベクトル。 5)よい香り、果物臭、柑橘類臭、木質(樹脂)臭、薬品臭、甘い匂い、ミント(ペパーミント)臭、こんがり焼けた(ナッツの)匂い、刺激臭および腐敗臭に対する味覚エネルギーベクトル、ここで、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得、持続時間、大きさ、周波数、長さ、時間、半径、変調、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の味覚パラメータに関連する他の材料特性をさらに提供する。 6)酸味、塩味、苦味(スパイシーさ)、甘味、およびおいしさ(うまみ)に対する嗅覚エネルギーベクトル、ここで、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得、持続時間、大きさ、周波数、長さ、時間、半径、変調、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の味覚パラメータに関連する他の材料特性をさらに提供する。 7)あるいは任意の他の感覚サンプルデータセットからの物理的な、合成の、伝達された、または計算上の相互依存性、必要とされる、設計された、または要求された感覚ベクトル、および特定の特徴のパラメータ化が、一般化されたホログラフィック構成データの再構成、保存、処理または送信に有益な場合の任意の追加の感覚特性、に基づく他の相互に関連する感覚ダイナミックス。
【0198】
単一の角度サンプルを有する2Dデータ、単一の次元に2つ以上の角度サンプルを有する3Dデータ、2つの次元に複数の角度サンプルを有する4Dデータ、または3つ以上の次元に複数の角度サンプルを有する5Dデータを含む受信されたデータセットがあれば。
【0199】
提供されるすべてのソース材料について、各ソース材料は、ホログラフィックデータセットの効率的なベクトル化の準備を適切に行うために、追加のプロセスを経ることができる。より低い空間分解能または角度分解能のそのエネルギー指向面を示す任意の提供されたシース材料について、元のソースを4Dまたは5Dデータセットに正確に変換するために、変換プロセスが必要になることがある。
【0200】
適切な準備のために、一実施形態では、提供される2Dまたは3Dソース材料は、標準のイメージングシステムからの写真捕捉を含む。この一連の画像内には、ラスター反射、屈折、透明要素、および物理ベースの照明との材料特性の相互作用の他の同様の例がある。
【0201】
既にラスター化された材料特性を有する表面の表面IDを単に識別することによってコンテンツが準備される場合、有効なデータは4D座標系に収斂するのに十分であり得るが、これらの表面に適用される任意の追加のレンダリングは、写真特性、およびパラメータ化された、合成レンダリングされた反射特性の物理的特性のために二重像を示すであろう。効率的なホログラフィック送信のための理想的なソースデータセットは、サンプルソース情報のアルベド表現と、アルベドマルチビューサンプルのオブジェクトベースの体積サンプリングを形成するメタデータを有する特定のエネルギー領域の各々のためのベクトル化された材料特性とを含み、すべての材料特性は、特定のベクトル化された表面特性に正確に基づいて、正確な表面識別およびレンダリング、ならびに他の感覚エネルギーの局在化または投影を提供する。
【0202】
一実施形態では、手動、半自動、コンピュータビジョン、または自動化プロセスが、ソースサンプルデータセット内のコンテンツをアルゴリズム的にまたは手動で評価するためにプロビジョニングされ、手動またはアルゴリズム的解析が実行され、それによりセグメンテーションおよび当技術分野で既知の他のオブジェクト分離方法が実行されて、所望されない物理的ラスター化効果を含む領域を識別する。一実施形態では、背景の前で人物が撮影され、人物の物質的特性は環境からの反射を含み、背景オブジェクトは撮影された人物によって遮られる。これらの領域が望ましくないと識別された後、プロセスを利用して、1)問題のオブジェクトを隔離すること、2)すべてのオブジェクト要素を分離して、閉塞、透明度、エッジ、または他の要素を明らかにすること、ができ、3)機械学習、コンピュータビジョン、およびシーン、オブジェクトおよび/または環境に関する情報を追加的に捕捉した追加のハードウェアおよびエネルギー装置の容易化により、画像解析、時間解析、エネルギー解析を通じて、または完全に手動の手段を通じて、材料特性を示すべき任意の表面が、コンピュータビジョン、アルゴリズム、プロセッサ、または手動視覚効果によって除去された任意のそのようなベークイン材料特性を有するように、オブジェクト要素がプロビジョニングされ、ここで手動プロセスは、外因的な材料特性がないときに内在性材料特性を再生して、前記データセットの最も効率的な送信および伝搬のためのコンテンツを準備するために、ワイヤー消し、ペイントフィックス、クリーンプレート、画像修復、アルファマット作成、オクルージョンフィリング、オブジェクトレクリエーション、画像投影、モーショントラッキング、カメラトラッキング、ロトスコープ、オプティカルフローなどを実行する方法用に一般に当技術分野で既知のものである、4)上記の追加のプロセスは、所望のサンプルの各々について、深度または3D座標値の手動またはコンピュータ支援識別を含む、5)さらにこの実施形態の範囲内には、エネルギー指向装置のディスプレイドライバ内、またはパラメータ化されたデータセットを符号化または復号化することが可能な任意の追加のシステム内でデータが容易にさらにレンダリングされ得るように、点、データ領域、表面、オブジェクト、または材料の他の表現を各々が表す、関連する材料特性の識別がある。
【0203】
一実施形態では、上記からのデータセットは、各々が複数レイヤーのrgba情報、各セグメント化された材料を表面IDに関連付けるための一連のベクトル化された材料特性、および外因性画像データの除去前に元のソースデータセットを厳密に再構成するための一連の表面パラメータを有する、アルベド視覚エネルギーサンプルを用いて準備された3Dマルチビューサンプルを含み、音響データセットは、視覚エネルギーシステムの材料特性、ならびに各々が識別された周波数、変調、空間配置および他の音源定位特性を有する複数の音響チャネルに関連付けられたベクトル化された材料特性を有してプロビジョニングされ、いずれもが他のベクトル化されたデータセットに関係付けられた、粘弾性および温度のベクトル化された材料特性の両方をさらに含むように、体性感覚エネルギーデータセットが、視覚エネルギーデータセット内に含まれる表面のサブセットに対して提供される。
【0204】
任意の提供されたデータセットから、視覚エネルギーデータセットからの各提供されたサンプルが、エネルギー指向装置の表面に対する相対深度位置について評価され、視覚エネルギーサンプルのいずれかについて、サンプルの各々が3D座標系に配置され、提供されたサンプルの各々に対するエネルギー伝播経路長が、4Dまたは5Dplenoptic関数内の複数のエネルギー伝播経路の中の位置X、Y、Zにおいて第1の3D点と交差する複数の共存する収束エネルギー伝播経路に関して各3D座標を相関させる関数に関して評価され、ここでエネルギー指向4D表面または5D表面内に含まれる各x、yまたはx、y、z座標については、第1の座標と3D収束点との間に形成する単一のu、v伝播経路角度のみが存在する。4D関数f(x、y、u、v)または5D関数f(x、y、z、u、v)は、エネルギー指向装置内に含まれるすべての4D x、y、または5D x、y、z座標、およびX、Y、Zにおける各収束点に対して対応するu、v伝播経路を集合的に画定し、この解析プロセス実行後に、提供されるまたは利用可能な4D x、y、または5D x、y、z空間座標当たりのサンプルの総数が既知となり、位置X、Y、Zにおける各3D点と4Dまたは5D座標位置との間の総エネルギー伝播経路長が既知となり、4Dまたは5D座標当たりの利用可能な総サンプルに基づいた重み付け分布、および利用可能な複数の3D座標データからサンプリングされた3D座標値までの最小経路長が、任意のデータセットからの4Dまたは5D明視野の完全なサンプリングを提供する。
【0205】
上記のさらなる実施形態として、1)視覚、聴覚、体性感覚、および任意の他の提供されるエネルギーサンプルのいずれかに対するサンプルの各々が、2)提供されたデータセット、追加の処理、または追加のベクトル化された特性に基づいて3D座標系に配置された後、および座標解析を実行する前に、3)15Dユニバーサルホログラフィックパラメータ化関数f(λ、x、w、λ、x、w(x、y、u、v)、V)が評価され、4)独立したベクトル化された材料特性を各々が有する、追加の既知の環境シーン、幾何学的形状、メタデータなどが提供され、5)仮想照明情報が提供されて、追加の感覚エネルギーメタデータ特性が、レンダリング機能を変更する可能性のある特性の間の任意の可能性のある干渉について評価され、6)15Dパラメータ化関数が、各提供された3D座標および対応するベクトル化された材料特性について評価を行って、7)任意の提供されたデータセットが与えられると、レンダリングプロセスをオンライン、オフライン、リアルタイム、ASIC、FPGA、クラウド、または他の形態のレンダリングプロセスを介して実行して新たな複数の角度変化する材料特性をもたらし、ここで8)このレンダリングプロセスは、伝播経路u、vの各々を画定し、それらに等しい送信方向wの各々に特有であり、こうして空間座標x、yを規定し、各送信方向wに対して、w=u、vを満たすただ1つのセットのf(x、y、u、v)の値のみが存在し得、9)レンダリングの結果および結果として得られた利用可能な新たな角度変化する材料特性に基づいて、提供されたサンプルの各々に対するエネルギー伝播経路長を含む4Dまたは5D座標の各々について、4Dまたは5Dplenoptic関数内の複数のエネルギー伝播経路の中の位置X、Y、Zにおける第1の3D点に交差する複数の共存する収束エネルギー伝播経路に対して各3D座標を関連付ける関数に関連して評価され、ここでエネルギー指向4Dまたは5D表面内に含まれる各x、yまたはx、y、z座標に対して、第1の座標と収束3D点との間に形成するただ1つのu、v伝播経路角度のみが存在する。4D関数f(x、y、u、v)または5D関数f(x、y、z、u、v)は、エネルギー指向装置内に含まれるすべての4D x、y、または5D x、y、z座標、および各収束点に対してX、Y、Zにおいて存在する、対応するu、v伝播経路を集合的に画定し、この解析プロセス実行後に、提供されるまたは利用可能な4D x、y、または5D x、y、z空間座標当たりのサンプルの総数が既知となり、位置X、Y、Zにおける各3D点と4Dまたは5D座標位置との間の総エネルギー伝播経路長が既知となり、4Dまたは5D座標当たりの利用可能な総サンプルに基づいた重み付け分布、および利用可能な複数の3D座標データからサンプリングされた3D座標値までの最小経路長が、任意のデータセットからのすべての提供される感覚エネルギーについて、4Dまたは5D明視野の完全なサンプリングを提供する。
【0206】
実世界環境の照明を表す感知された電磁エネルギー、または環境内の特定の音響周波数の吸光度が、レンダリングプロセスまたは他の感知された対話型の実世界素子に対して動的またはオフラインでの更新をもたらし得るように、レンダリングが双方向エネルギー指向表面をさらに明らかにする、上述のシステムのさらなる実施形態が評価され、照明および音響または他のソースが、環境条件の変更に適応するように調整される。
【0207】
図8を再び参照し、上記の原理を考慮すると、プロセス800の一実施形態では、受信されたコンテンツデータはベクトル化された材料特性データをさらに含むことができ、プロセス800は、コンテンツデータのデジタル立体表現が、ベクトル化された材料特性データに関連付けられるステップ830をさらに含み、ステップ804では、エネルギー源位置値を決定することは、少なくとも、コンテンツデータの体積表現に関連付けられたベクトル化された材料特性データに基づく。
【0208】
図9および図13を参照すると、一実施形態では、ベクトル化プロセス1300は、第1のコンテンツデータが受信されるステップ1302と、コンテンツデータ内の表面915を識別するステップ1304と、を含み得る。一実施形態では、表面915を識別することは、コンテンツデータ内のセグメンテーションデータを使用することを含み得る。ベクトル化プロセス1300は、表面915の表面識別が決定されるステップ1306と、表面915の材料特性データが決定されるステップ1308と、をさらに含み得る。一実施形態では、材料特性データを決定することは、手動での決定、または所定のプロセスを使用することを含み得る。ステップ1306および1308の後、ベクトル化プロセス1300は、表面識別が表面915の材料特性データと関連付けられるステップ1310をさらに含み得る。ベクトル化プロセス1300は、材料特性データのベクトルが生成されるステップ1312をさらに含み得る。ベクトル化プロセス1300は、生成されたベクトルに基づいて、ベクトル化された材料特性データが生成されるステップ1314をさらに含み得る。
【0209】
一実施形態では、プロセス1300は、材料特性データが第1のコンテンツデータから除去され、ステップ1314でベクトル化された材料特性データに置き換えられるステップ1316を任意選択的に含むことができる。一実施形態では、ステップ1314でベクトル化された材料特性データを、上述したようにプロセス800で使用して、上述したように本開示のエネルギー指向装置の4D plenoptic座標を決定することができる。
【0210】
プロセス1300は、処処理システム1200を含む、本開示の任意の処理システムを使用して実行することができる。一実施形態では、コンテンツデータは、ステップ1302でデータ入出力インターフェース1201を介して受信され得、ベクトル化プロセス1300のステップ1304~1314は、ベクトル化エンジン1204を使用して実行され得る。さらに、ステップ1314で生成されたベクトル化された材料特性データは、上述したようにプロセス800のステップに従って処理するために、感覚データプロセッサ1202およびトレーシング・エンジン1206によって使用され得る。ステップ808および812は、ホログラフィック表示のための4D座標を決定するために、トレーシング・エンジンによって実行され得る。ステップ810は、感覚データプロセッサ1202によって実行され得る。処理サブシステムの出力は、圧縮エンジン1210に提供され得、そこから圧縮データがメモリに格納されるか、またはシステム1210にローカルまたはリモートに接続されたエネルギー指向システムに送信するために、データ入出力インターフェース1201に提供され得る。データはまた、後で検索されるまで、メモリ1208に格納され得る。
【0211】
3D環境からの4Dエネルギーフィールドのレンダリング 本開示では、逆トレーシングプロセスの実施形態がさらに想到され、これらの実施形態は、デジタル体積型表現を、逆マッピングによって、エネルギー指向装置1000と互換性があるフォーマットにレンダリングすることを可能にし、この逆マッピングは、3D環境として提示することができるコンテンツデータのデジタル体積型表現をサンプリングするための逆経路を提供する。
【0212】
3D環境から4Dエネルギーフィールドをレンダリングすることは、多くの課題をもたらす。説明の目的のために、これらの課題は、明視野の文脈で説明する。しかし、本出願の開示は、他の形態のエネルギーに適用可能である。そして、これらの説明は、これらの原理の適用を他のエネルギー形態に限定しない。
【0213】
3D環境内のエネルギーは、エネルギーが対象によってどのように生成され、反射され、吸収され、透過され、または影響を与えられるかをモデル化し得る3D環境内の対象の物理的特性に応じて、様々な異なる方法で3D環境内の物体と相互作用する。図14は、3D環境の全体を通してエネルギーと対象との間のなんらかの相互作用がその環境からのシーンの認識にどのように影響を与えるかを示す。視野1404を有する3D環境1400内の仮想観察者の観察点1402を示す。エネルギー光線1406は、エネルギー源1408から直接、またはそれが観察点1402に到達するときにエネルギーの属性に影響を及ぼす反射対象1410A、1410B、1410Cに跳ね返されることによって、観察点に到達することができる。パラグラフ203を含む本開示を通して説明するように、視覚、聴覚、体性感覚、味覚、嗅覚、前庭、または他の所望のエネルギーを含む、3D環境1400のエネルギーの様々な属性が考慮され得る。図14は、観察点に向かっていくつかのエネルギー経路を部分的にのみ表していることに注意されたい。理解されるように、エネルギー経路および他の反射のいくつかのためのソースが図から取り除かれ得る。いくつかの場合では、単一のエネルギー経路1406Aは、観察点1402に向かう途中で、多数の対象14010A、1410C-そのいくつかの1410Cは、観察点の1402の視野1404の外にあり得る-に反射する。観察点1402に向かう途中で、エネルギー1406はまた、部分的透過型対象1412も、またはエネルギーが観察点1402に到達するときにどのように感知されるかを変更する屈折対象(図示せず)も通過し得る。したがって、3D環境からのシーンの正確なレンダリングは、3D環境内の仮想視認者の観察点1402から視野1404の中および外の両方に生じる多数の相互作用をいくらか考慮し得る。ホログラフィックシステムは、多数の一意のエネルギー収束の同時の投影を必要とし得るので、これは、ホログラフィックシステムではさらに複雑になり得る。図14は、例示の目的で示され、説明を簡単にするためにいくつかの可能な態様を過度に単純化している。3D環境は、3D環境内のエネルギーの伝播に影響を与える多くの追加の物理的特性を説明し得るが、図14は、本開示の実施形態を限定しないことが理解されるであろう。
【0214】
3D環境から4Dエネルギーフィールドデータをレンダリングするための従来技術としては、二重切頭体レンダリング、傾斜レンダリング、およびマルチビューレンダリングが挙げられる。二重切頭体レンダリングは、観察点の視野の外側のデータを説明することができず、多数のレンダリングパスからのデータの計算的に複雑な事後の一体化が必要である、マルチパスレンダリング法である。傾斜レンダリングはまた、複雑な事後の計算も必要とし、数千~数万のレンダリングパスを必要とし、また、完全な投影光学部品および無開口のような物理的エネルギー投影システムに関する非現実的な仮定も行う。傾斜レンダリングはまた、既存のワークフローに簡単に一体化することもできない。そして最後に、複数のビューレンダリングは、視野からの、および視野への同時レンダリングを可能にせず、二重切頭体レンダリングおよび傾斜レンダリングによって示される他の問題のいくつかを示す。
【0215】
本明細書の実施形態は、3D環境を4Dエネルギー投影のためのデータセットにシングルパスレンダリングするためのシステムおよび方法を可能にする。少なくとも、本開示によって可能になるシングルパスレンダリングは、計算的に課題である事後の一体化の労力を回避するので、本開示の実施形態は、顕著に円滑で、凝集したエネルギーフィールド投影を生成する。そして、本開示の方法およびシステムは、スクリーン内およびスクリーン外の両方の効果を説明するからである。実施形態では、システムおよび方法は、波長/エネルギーの考慮、および表示固有の較正を含み得る(または様々なシステム間をシームレスに移動するために、任意の他の関数を含み得る)。これは、他の4D座標が有利である場合およびそのときを計算するために、変位マップによるピクセル処理を加えて含み得る。
【0216】
図15は、3D環境から4Dエネルギーフィールドをレンダリングするためのプロセスの一実施形態を示すフローチャートである。図15および図16を参照すると、本プロセスは、シーン1600の全体を通して配置された複数のエネルギーデータ点1602によって説明される3D環境のシーン1600を提供するための、第1のステップ1510を含み得る。3D環境のシーン1600の視覚表現を図16に表す。理解できるように、エネルギーデータ点1602は、3D環境の異なる実施形態において異なる方法で構成され得る。エネルギーデータ点1602は、シーン1600の仮想外観およびシーン1602内の要素がどのように相互作用し得るかを決定する様々な物理的特性を説明する、1つの値または一群の値を含み得る。このいくつかの例は、色、反射率、材料特性、およびエネルギー方向である。シーン1600内で考慮され得る他の特性としては、視覚、聴覚、体性感覚、味覚、嗅覚、前庭、または他の所望のエネルギーが挙げられ得る。いくつかの実施形態では、エネルギーデータ点は、多次元関数を格納し得る。この関数は、エネルギーがエネルギーデータ点1602と交差するときに、エネルギーがどのように反射、屈折、透過され得るか、または影響を受け得るかを説明する、物質世界の特性に対応する値を含み得る。そして、いくつかの実施形態では、エネルギーデータ点1602はまた、エネルギーデータ点がシーン1600内のエネルギーの伝播を集合的にモデル化することを可能にする、強度および指向情報も含み得る。また、エネルギーデータ点1602は、可視スペクトル内の電磁エネルギーに関連する情報に加えて、またはその代わりに、他のタイプのエネルギーのためのエネルギー値を含み得ることにも注意されたい。エネルギーデータ点1602の値として格納することができる情報のタイプには制限が存在しない。
【0217】
3D環境のエネルギーデータ点1602を構成または配置するための様々な方法が存在することが理解されるであろう。3D環境1602内のエネルギーデータ点1602の密度は、実施形態ごとに異なり得る。または、いくつかの実施形態では、エネルギーデータ点1602の密度は、3D環境1600内の位置ごとに、または3D環境内の対象1600ごとに異なり得る。
【0218】
3D環境1600のいくつかの実施形態では、エネルギーデータ点1602は、仮想空間または物理空間内の位置に対応し得る。そして、エネルギーデータ点1602の値は、エネルギーデータ点がマッピングされる空間を異なる対象が占有するにつれて変化し得る。エネルギーデータ点1602の値はまた、光が3D環境の一実施形態を通して伝播するにつれて変化し得る。そしてここでも、図16は、電磁気3D環境のシーンを表しているが、本開示がその領域内のエネルギーに限定されないことに注意されたい。3D環境の実施形態は、触覚表面を作成するために使用され得る超音波の形態の機械的エネルギーなどの、視覚スペクトルの電磁エネルギーに加えて、他のタイプのエネルギーを説明し得る。説明する他のエネルギーとしては、視覚、聴覚、体性感覚、味覚、嗅覚、前庭、または他のエネルギーが挙げられ得る。
【0219】
図15および図16を再度参照すると、実施形態では、3D環境から4Dエネルギーフィールドをレンダリングするためのプロセスは、シーン1600内の仮想ピクセル平面1606に複数の仮想ピクセル1604を配置することであって、各ピクセルが、2D角座標および2D空間座標を含む既知の一意の4D座標を有し、2D角座標は、各仮想ピクセル1604と、シーン1600内の仮想視認平面1610(図16では、1610としてラベル付けされた破線の矩形ボックスで示す)に配置された複数の仮想視点1608の仮想視点との間の角相関を説明し、2D空間座標は、シーン1600内の仮想表示平面1614に配置された複数の仮想開口1612の仮想開口の位置を識別する、配置することを含む、第2のステップ1520を含み得る。いくつかの実施形態では、仮想視点1608は、同一平面上の装置をレンダリングすることを可能にする2つ以上の仮想視認平面に配置され得る。
【0220】
用語「仮想ピクセル」は、本開示の実施形態を、明視野を備える3D環境をレンダリングすることに限定しないことが理解されるであろう。仮想ピクセルは、触覚および音響フィールドが挙げられるが、これらに限定されない、任意の形態の検出可能なエネルギーフィールドを備える3D環境のエネルギー位置を備え得る。他のエネルギーフィールドとしては、視覚、聴覚、体性感覚、味覚、嗅覚、前庭、または他の所望のエネルギーフィールドが挙げられ得る。複数の仮想ピクセル1604は、仮想ピクセルの2次元アレイを形成するように配置され得る。いくつかの実施形態では、複数の仮想ピクセル1604は、異なる方法で配置され得る。例えば、実施形態は、仮想ピクセルを、湾曲面または任意の他の形状を形成するように配置することを可能にする。同様に、複数の仮想視点1608を、異なる実施形態において異なる形状を形成するように配置することを可能にする。いくつかの実施形態では、仮想ピクセル平面1606および仮想表示平面1614は、平行である。いくつかの実施形態では、仮想ピクセル平面1606および仮想視認平面1610は、平行である。いくつかの実施形態では、仮想ピクセル平面1606、仮想表示平面1614、および仮想視認平面1610は、平行である。
【0221】
シーン1602内の複数の仮想視点1608に対する複数の仮想ピクセル1604および複数の仮想開口1612の位置は、その4Dエネルギー投影システムのための意図された視認体積に対する複数のエネルギー源または位置の位置および物理4Dエネルギー投影システムの複数の開口に対応し得る。そして、いくつかの実施形態では、複数の仮想ピクセル1604、複数の仮想開口1612、および複数の仮想視点1608の数および位置は、物理4Dエネルギー投影システムのエネルギー源または位置の数、視野、開口の数、導波路、または他の特徴に応じて、異なる4Dエネルギー投影システムのためのデータをレンダリングするように変化し得る。いくつかの実施形態では、アルゴリズムを使用して、任意の種類の4Dエネルギー投影システムに対して、複数の仮想ピクセル1604、複数の仮想開口1612、および複数の仮想視点1608の定義された数および位置を較正し得る。また、図16は、少ない数の仮想ピクセル1604、仮想開口1612、および仮想視点1608のみを表しているが、実施形態は、数十、数百、数千、またはそれ以上のこれらの素子の各々を備え得ることも理解されるであろう。さらに、仮想表示平面1614は、物理4Dエネルギー投影システム内のエネルギー投影表面またはスクリーンの位置に対応し得る。
【0222】
図15および図16を再度参照すると、実施形態では、3D環境から4Dエネルギーフィールドをレンダリングするためのプロセスは、複数の光線1616に沿って、仮想視認平面1610からシーン1600内の複数のエネルギーデータ点1602のエネルギーデータ点をサンプリングすることを含む、第3のステップ1530を含み得る。複数の光線1616の各光線は、複数の仮想ピクセル1604のうちの1つの仮想ピクセルの2D角座標によって決定される角度で、複数の仮想視点1608のうちの1つの仮想視点および複数の仮想ピクセル1606のうちの1つの仮想ピクセルと交差する。複数の光線1616の各光線は、複数の仮想開口1612の1つの仮想開口と交差し、仮想開口は、光線の2D空間座標を決定する。一緒に、2D空間座標および2D角座標は、単一の4Dエネルギーフィールド座標を形成する。例えば、複数の光線1616のうちの第1の光線1618は、第1の仮想ピクセル1620の既知の一意の4D座標の2D角座標によって決定される角度で、複数のピクセル1604のうちの第1の仮想ピクセル1620および複数の仮想視点1608のうちの第1の仮想視点1622と交差する。第1の光線1618はまた、第1の開口の2D空間座標によって識別される、複数の仮想開口1612のうちの第1の開口1624とも交差する。
【0223】
図17は、本方法のいくつかの実施形態において仮想ピクセルの既知の一意の4D座標によって表される関係、または3D環境のシーン1700を部分的に表すことによって本開示の3D環境から4Dエネルギーフィールドをレンダリングするためのシステムをさらに示す。さらに多くの仮想ピクセル、仮想開口、および仮想視点が、シーン1700内に配置され得ることが理解されるであろう。4Dエネルギーフィールドのためのデータをレンダリングするために、いくつかの実施形態は、シームレスであるように知覚されるエネルギーフィールドを提供するために、極めて多数の仮想ピクセルおよび仮想視点を備え得る。仮想ピクセル1702、1704、1706のうちの1つの2D角座標は、ピクセル1702、1704、1706と仮想視点L1、L2、L3との間の角相関を説明する。例えば、第1の仮想ピクセル1702の2D角座標(U1、V1)は、ピクセル1702と仮想視点L3との間の角相関を説明する。第2の仮想ピクセル1704の2D角座標(U2、V1)は、ピクセル1704と仮想視点L2との間の角相関を説明する。そして、第3の仮想ピクセル1706の2D角座標(U3、V1)は、ピクセル1706と仮想視点L1との間の角相関を説明する。いくつかの実施形態では、角座標は、本開示の他の場所で説明するように、第1の伝播経路の一意の方向を画定する4Dエネルギー投影システムの2D角座標に対応し得る。図16および図17に表されるもののようないくつかの実施形態は、特定のエネルギータイプについて、複数の仮想ピクセルのうちの任意の1つの仮想ピクセルと交差する光線を1つしか必要としない。
【0224】
図17はまた、複数の仮想開口のうちの1つの仮想開口1708の位置を識別する、2D空間座標(X1、Y1)も表す。2D空間座標は、本明細書で図7Cおよび7Dに関して考察される実施形態などの、本開示の他の場所で開示するような物理的4Dエネルギー指向システムのための4D明視野座標の2D空間座標に対応し得る。一緒に、2D角座標および2D空間座標は、一意の4D座標を画定する。一意の4D座標は、物理4Dエネルギー投影システムの4D明視野座標に対応し得る。図17に表されるもののような実施形態では、第1の仮想ピクセル1702は、4D座標(X1、Y1、U1、V1)を有し、第2の仮想ピクセル1704は、4D座標(X1、Y1、U2、V1)を有し、第3の仮想ピクセル1706は、4D座標(X1、Y1、U3、V1)を有する。図16および図17に示されるもののようないくつかの実施形態では、多数の光線が、複数の仮想開口の各仮想開口1708に収束し得る。第1の仮想ピクセル1702、第2の仮想ピクセル1704、および第3の仮想ピクセル1706の座標は、それらの仮想ピクセルの光線1710が同じ仮想開口1708に収束するように、同じ空間座標を共有する。しかし、2D角座標が仮想ピクセルの間で異なるため、これらの光線は、異なる仮想視認位置L1、L2、およびL3と交差する。
【0225】
本開示のシステムおよび方法のいくつかの実施形態では、複数の光線のうちの少なくとも1つの光線1710が、複数の仮想視点の各仮想視点L1、L2、L3と交差する。
【0226】
既知の一意の4D座標によって説明される関係をさらに示す、図18に表すようないくつかの実施形態では、多数の光線1802もまた、単一の視点L2に収束し得る。それらの実施形態のうちのいくつかでは、1つの仮想視点L2に収束する光線1802のうちの1つの光線のみが、同じ仮想開口と交差することができる。図18に表されるように、収束光線1802の1つが(X1、Y1)で交差し、1つが(X2、Y1)で交差し、1つが(X3、Y1)で交差する。図17および図18は、例示の目的のためであり、本開示の実施形態を限定するものではない。理解されるように、図16図17、および図18が、少ない数の仮想ピクセル、仮想開口、光線、および仮想視点を表している場合であっても、異なる実施形態は、数十、数百、数千、または他の数のこれらの素子を備え得る。仮想ピクセルは、仮想平面のどこにでも配置され得ることを理解されたい。そして、仮想位置は、仮想視認平面のどこにでも配置され得る。また、これらの図の各々は、実施形態によって異なり得る、様式化された表現である。そして、本出願の開示は、任意の種類のエネルギーに適用され得、可視スペクトルの電磁エネルギーに限定されない。
【0227】
図16に戻ると、実施形態では、複数の光線1616は、仮想ピクセル平面1606を超えて延在する。いくつかの実施形態では、複数の光線1616は、仮想ピクセル平面1606を超えて無制限に延在し得る。これは、前方1626の対象から、および仮想ピクセル平面1606の背面の写真1628などの対象から、エネルギーデータ点をサンプリングすることを可能にする。
【0228】
いくつかの実施形態では、複数の光線1616に沿ったエネルギーデータ点1602は、仮想視認平面1610から、仮想表示平面1614を通して、仮想ピクセル平面1606を通して、およびそれを超えて、複数の光線1616を追跡することによってサンプリングされる。これは、本開示の方法およびシステムが、単一のパスで、仮想表示平面1610の前にあるテーブル1628Aなどの対象、および仮想表示平面1610の後ろにある写真1628Bなどの対象から情報を捕捉するエネルギーデータ点をサンプリングすることを可能にする。これはまた、本開示のシステムおよび方法が、単一のパスで観察点から視野の外側および内側に生じる、本開示の他の部分でさらに詳細に説明するような、多数のエネルギー相互作用を正確に説明することを可能にする。これは、多数のレンダリングパスを一体化するための、困難で、煩わしく、不完全な事後の計算に対する必要性を除去する。
【0229】
図19は、本開示のシステムおよび方法の実施形態が、多数の様々なエネルギー相互作用を単一のパスで説明することをどのように可能にするかをさらに示す、仮想視点1906からの3D環境によるシーンを表す。本開示のシステムおよび方法の実施形態は、複数の光線1904に沿って仮想視点1906からデータ点1902をサンプリングすることを可能にする。図19は、例示の目的で提供され、本開示の実施形態を限定するものではないことが理解されるであろう。明確にするため、図19は、仮想ピクセルまたは仮想開口を表していない。そして、視点1906のサイズは、実施形態ごとに異なり得る。この例示の目的のために、仮想視点1906は、視野1908を有する。視野のサイズは、実施形態ごとに変化し得、場合によっては、物理4Dエネルギー投影システムのタイプに依存し得る。そして、理解されるように、視野1908のサイズは、異なる目的に対して決定すること、または変化させることができる。複数の光線1904に沿ったサンプリングエネルギーデータ点1902は、フィールドビュー1908内の例示的な対象1910A、1910Bのような対象、および視野1908内部で対象によって反射されるエネルギーを説明する。この例では、視野1908の外側の人(図示せず)からのエネルギーは、視野1908内の鏡1910Bから反射され、光線1904によってサンプリングされる、鏡1910Bにおける反射1912を生成する。図19は、例示の目的で提供され、本開示の実施形態を限定するものではない。そして、図19は、3D光環境を表すが、本開示のシステムおよび方法の実施形態は、他の感覚領域およびエネルギー領域に適用可能である。
【0230】
図15を再度参照すると、実施形態では、3D環境から4Dエネルギーフィールドをレンダリングするためのプロセスは、各光線に沿ってサンプリングされるエネルギーデータ点と、複数の仮想ピクセルのうちの1つの仮想ピクセルのためのエネルギー値とを相関させることを含む、第4のステップ1540を含み得る。
【0231】
このステップ1540は、本開示のシステムおよび方法の実施形態が、光線の経路内の対象の特性を変化させることを説明することを可能にする。例えば、いくつかの実施形態では、仮想ピクセル(図19に示さず)のエネルギー値は、仮想ピクセル(図19に示さず)と交差する唯一の光線に沿ってサンプリングされるエネルギーデータ点1902と相関される。例えば、光線1916は、部分的反射対象1920と、および部分的反射対象1920と仮想視点1906との間に配置される部分的透過対象1918と交差する。このシーン1900のためのデータをレンダリングするために、本開示のシステムまたは方法は、部分的透過対象1918が、部分的反射対象1920から部分的透過対象1918を通して仮想視点1906に反射される光にどのように影響を及ぼすのかを説明する。例えば、部分的反射対象1920は、スペクトル放射輝度関数を有し得、これは、光源(図示せず)によって照明されたときに、エネルギーを異なる方向へ分布させ、これは、仮想視点1906に到達する前に部分的透過対象1918によって減衰される。実施形態はまた、異なるデータ点のためのエネルギー値を、同じ光線に沿った他のエネルギーデータ点の透過または反射特性に少なくとも基づいて重み付けすることを可能にし得る。本開示のシステムおよび方法は、仮想ピクセル(図19に示さず)のエネルギー値と、光線1916の長さに沿ったエネルギーデータ点とを相関させて、これらの種類の様々な特性を説明することを可能にする。理解されるように、様々なエネルギーデータ点は、異なるエネルギー領域に特に合わせて調整され得る異なるいくつかの実施形態において、任意の数の異なる特性を説明するようにモデル化され得る。エネルギー値を決定することは、それらがレンダリング、および各レンダリングの3次元インターフェースに沿って多数の可能な相互作用をモデル化して、エネルギー値に到達するために必要なすべての情報を一体化しようとしなければならないので、マルチパスレンダリングシステムにとって非常に困難であり得る。本開示のシステムおよび方法は、そうした煩わしく不正確な手段を回避することを可能にする。
【0232】
3D環境から4Dエネルギーフィールドをレンダリングするためのプロセスは、複数の仮想ピクセルのうちの1つの仮想ピクセルのエネルギー値および複数の仮想ピクセルのうちの1つの仮想ピクセルの既知の一意の4D座標を、エネルギー装置に4Dエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることを含む、第5のステップ1550を含み得る。いくつかの実施形態では、本開示のシステムおよび方法は、データセットが、4D、5D、10D、11D、または15Dの関数を含む、本開示の別の場所で説明または参照する任意のデータセットを備えることを可能にし得る。異なる種類のデータを説明する3D環境の異なる実施形態のために、他の種類のデータセットがレンダリングされ得ることが理解されるであろう。いくつかの実施形態では、レンダリングは、異なる種類の4Dエネルギー投影システムのためのデータセットを較正することができる。異なるアーキテクチャ、素子、または多数の素子の数を有する4Dエネルギー指向システムのためのデータをレンダリングするために、異なる種類の較正が適用され得る。例えば、較正は、異なる視野を有する、またはエネルギー源または他の成分の異なる数または位置を有するシステムに必要とされ得る。本開示のシステムおよび方法のいくつかの実施形態では、エネルギーデータ点1902は、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、エネルギー反射率、のうちの少なくとも1つを説明する値を含む。
【0233】
本開示の3次元環境から4次元エネルギーフィールドをレンダリングするための方法のいくつかの実施形態は、この方法が、4Dエネルギーフィールドを投影するエネルギー装置のために較正することを可能にし得る。理解されるように、4D投影システムの物理的エネルギー源の位置およびエネルギー伝播経路は、仮想ピクセルの理論的な位置および仮想ピクセルと仮想視点との間の理論的な角相関と異なり得る。これは、エネルギー装置ごとの、さらにはエネルギー装置の導波路ごとの、わずかな変化によるものであり得る。例えば、導波路のわずかな欠陥は、エネルギー伝播経路をそれらの予想される方向からわずかに逸脱させ得る。そして、エネルギー位置は、3D環境内の対応する仮想位置からわずかに変化し得、これもまた、エネルギー伝播の方向における逸脱を生じさせ得る。較正するための方法は、「Method of Calibration for Holographic Energy Directing Systems」という名称の共同所有された米国特許出願第US16064300号に開示され、参照により本明細書に組み込まれる。
【0234】
図21は、3次元環境の逆トレーシングを示す概略図である。図21に示す方法は、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境内のシーン21000を提供することを含み得る。一実施形態では、シーン21000を提供することは、パラグラフ[0244]~[0245]において上で説明した実施形態に従って実施され得る。図21にはまた、シーン21000内の仮想ピクセル平面21004に複数の仮想ピクセル21012を配置することも示され、複数の仮想ピクセル21012の各仮想ピクセルは、2D角座標および2D空間座標を含む既知の一意の4D座標を有し、複数の仮想ピクセル21012の各仮想ピクセルの2D角座標は、各仮想ピクセルと、シーン21000内の仮想視認平面21006に配置された複数の仮想視点21008の仮想視点との間の角相関を説明し、各仮想ピクセルの2D空間座標は、シーン21000内の仮想表示平面21019に配置された複数の仮想開口21010のうちの1つの仮想開口の位置を識別する。一実施形態では、複数の仮想ピクセル21012を配置することは、パラグラフ[0245]~[0247]において上で説明した実施形態に従って実施され得る。
【0235】
図21では、仮想視認平面21006から、複数の光線21020に沿って、シーン21000内の複数のエネルギーデータ点のエネルギーデータ点をサンプリングすることをさらに示し、複数の光線21020の各光線は、光線と交差する1つの仮想ピクセルの2D角座標によって決定された角度で、複数の仮想視点21008のうちの1つの仮想視点および複数の仮想ピクセル21012のうちの1つの仮想ピクセルと交差し、各光線は、光線と交差した1つの仮想ピクセルの2D空間座標によって決定された1つの仮想開口と交差する。一実施形態では、データ点をサンプリングすることは、パラグラフ[0248]~[0255]において上で説明した実施形態に従って実施され得る。
【0236】
図21には、複数の光線21020の各光線に沿ってサンプリングされるエネルギーデータ点と、光線と交差する複数の仮想ピクセル21012のうちの1つの仮想ピクセルのためのエネルギー値とを相関させることをさらに示す。一実施形態では、サンプリングしたエネルギーデータ点を相関させることは、パラグラフ[0256]~[0257]において上で説明した実施形態に従って実施され得る。各光線の1つの仮想ピクセルのエネルギー値および各光線の1つの仮想ピクセルの既知の一意の4D座標は、エネルギー装置に4Dエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングされ得る。一実施形態では、レンダリングすることは、パラグラフ[0258]において上で説明した実施形態に従って実施され得る。
【0237】
図21に表すように、複数の光線21012は、仮想視認平面から、仮想ピクセル平面21004を通して、それを超えて逆に追跡して、仮想ピクセル平面21004の後ろにあるエネルギーデータ点に関する情報を捕捉し得る。これは、本方法が、反射が遠い対象21013から来る場合であっても、3D環境から4Dエネルギーフィールドをレンダリングして、仮想ピクセル平面の後ろにあるエネルギー反射率を説明することを可能にする。
【0238】
図21はまた、この方法の実施形態がどのように部分的透過対象21015を説明し得るかも示す。表されるように、エネルギーデータは、部分的透過対象21015を通して、対象21013から反射されるデータをサンプリングする仮想ピクセルディスプレイ21004を過ぎてサンプリングされる。いくつかの実施形態では、次いで、エネルギー値は、仮想ピクセルのアレイの仮想ピクセルのためのエネルギーデータ値に到達するために、対象21013のエネルギーデータ21014および部分的透過対象21015を重み付けすることによってサンプリングされる情報に従って相関させることができる。
【0239】
一実施形態では、図20および図21の逆トレーシングおよびマッピングプロセスは、所望の4D表示特定の体積型エネルギー表現(例えば、画像)に対する、単一のプロセスステップの逆レイトレーシングを可能にし得ることを理解されたい。これは、波長/エネルギーの考慮、および表示固有の較正を含み得る(または様々なシステム間をシームレスに移動するために、任意の他の関数を含み得る)。これは、他の4D座標が有利である場合およびそのときを計算するために、変位マップによるピクセル処理を加えて含み得る。
【0240】
本開示のシステムおよび方法のいくつかの実施形態では、複数の光線のうちの1つの光線は、複数の仮想ピクセルの各仮想ピクセルと交差する。
【0241】
本開示のシステムおよび方法のいくつかの実施形態では、仮想表示平面は、エネルギー指向装置の導波管システムに対応し、エネルギーは、データセットに従って導波管システムを通して指向させて、シーンの少なくとも一部分の検出可能な体積型表現を形成するように動作可能である。
【0242】
本開示のシステムおよび方法のいくつかの実施形態では、複数の仮想ピクセルは、導波管システムの第1の側の複数のエネルギー位置に対応する。
【0243】
本開示のシステムおよび方法のいくつかの実施形態では、データセットは、ベクトル化された材料特性データをさらに含む。
【0244】
本開示のシステムおよび方法のいくつかの実施形態では、方法の少なくとも一部分は、リアルタイムで実行される。
【0245】
本開示のシステムおよび方法のいくつかの実施形態では、本方法は、リアルタイムで全体が実行される。
【0246】
本開示のシステムおよび方法のいくつかの実施形態では、方法の少なくとも2つの一部分が、異なる期間に実行される。
【0247】
本開示のシステムおよび方法のいくつかの実施形態では、複数の光線のうちの少なくとも1つの光線は、複数の仮想開口の各仮想開口と交差する。
【0248】
本開示のシステムおよび方法のいくつかの実施形態では、データセットは、視覚、音声、テクスチャ、センセーショナル、または匂いセンサによって知覚可能な少なくとも1つの信号を説明する。
【0249】
本開示のシステムおよび方法のいくつかの実施形態では、複数の光線の各光線に沿ってサンプリングしたエネルギーデータ点は、エネルギー値と同時に相関される。
【0250】
本開示のシステムおよび方法のいくつかの実施形態では、データセットは、バイナリファイルフォーマットで格納される。本開示のシステムおよび方法のいくつかの実施形態では、複数のエネルギーデータ点のエネルギーデータ点は、複数の光線の各光線に沿って、仮想視認平面から、複数の仮想開口のうちの1つの仮想開口を通して、複数の仮想ピクセルのうちの1つの仮想ピクセルを超えてサンプリングされる。
【0251】
本開示のシステムおよび方法のいくつかの実施形態では、ステップは、無制限に繰り返され得る。いくつかの実施形態では、これは、シーンを動的に捕捉することを可能にし得、シーンは、経時的に変化する。
【0252】
実施形態では、3D環境から4Dエネルギーフィールドをレンダリングするための本開示の方法は、仮想視点および仮想視点の4D座標に関する情報を光線ファイルに格納することをさらに含み、光線ファイルは、それらの仮想視点から、仮想視点と交差する任意の光線に沿ってデータをサンプリングするための指示を提供することができる。光線ファイルは、文字通り、単にどんなサンプルが仮想視認平面にレンダリングされているかについてのマッピングであり、3D仮想視認平面座標および関連する2D(u、v)角座標のリストを含み得る。一例として、いくつかの実施形態では、光線ファイルは、シーンの形状、色、反射、などのCGシーン情報と共に使用して、合成4D明視野を効果的にサンプリングし得る。ピクセル数および許容可能な観察点の位置がエネルギー装置ごとに異なり得るので、光線ファイルに格納される情報は、4Dエネルギーフィールドを出力するために利用されるエネルギー装置の種類に依存して変化し得ることが理解されるであろう。いくつかの実施形態では、光線ファイルは、所与のエネルギー装置のための3D環境をどのようにサンプリングするかをシステムに指示するための手段を提供し得る。他の実施形態では、光線ファイルは、特定のエネルギーフィールド投影装置設計に理想的なマッピングであり、装置ごとの比較的小さい差を反映せず、その後でさらに装置依存の修正を受けるために、光線ファイルを使用して、シーンを任意にサンプリングすることが必要である。以下の考察は、図17および図18を参照するが、本明細書に記載する方法は、さらに多くの仮想視点、仮想ピクセル、仮想開口、および光線を伴う実施形態に適用されることが理解されるであろう。一実施形態では、3D空間座標は、各仮想視点L2の位置、およびすべての光線1710と交差する1つの仮想ピクセル1702、1704、1706の2D角座標を識別し得る。いくつかの実施形態では、光線ファイルは、各仮想視点L2の3D空間座標と、仮想視点と交差するすべての光線と交差するすべての仮想ピクセルピクセル1702、1704、1706の2D角座標とを関連付ける。例えば、図18のL2は、光線1802と交差する。そして、光線ファイルは、仮想ピクセル1803、1805、および1807の角座標と、L2、ならびにシーン内のL2の位置を識別する3D空間座標とを結びつけ得る。実施形態では、光線ファイルは、光線と交差する1つの仮想視点L2から、光線に沿って、複数のエネルギーデータ点1802のエネルギーデータ点をサンプリングするための、各光線1802の指示を提供し、この指示は、少なくとも、光線と交差する1つの仮想視点L2の3D空間座標および光線と交差する1つの仮想ピクセルの2D角座標によって決定される。例えば、光線ファイルは、少なくとも、L2の3D空間座標および1803の2D角座標によって決定される光線1809の指示を提供し得る。理解されるように、この方法は、2D、立体、仮想現実、拡張現実、および複数のビュー表示システムのデータをレンダリングすることを含む、エネルギーフィールド以外の様々な用途に使用され得る。
【0253】
本開示の3次元環境から4次元エネルギーフィールドをレンダリングするための方法のいくつかの実施形態では、エネルギー値をレンダリングすることはまた、エネルギー装置のエネルギーデータを較正することもさらに含み得る。理解されるように、仮想ピクセルの理論的な位置および仮想ピクセルと仮想視点との間の理論的な角相関は、物理的実装によって異なり得る。これは、エネルギー装置ごとの、さらにはエネルギー装置の導波路ごとの、わずかな変化によるものであり得る。例えば、導波路のわずかな欠陥は、エネルギー伝播経路が、それらの予想される方向からわずかに逸脱し得る。そして、エネルギー位置は、3D環境内の対応する仮想位置からわずかに変化し得、これもまた、エネルギー伝播の方向におけるわずかな逸脱を生じさせ得る。いくつかの実施形態では、これらの逸脱は、エネルギー装置または特定の種類のエネルギー装置のエネルギーデータを較正することによって説明され得る。他の種類の較正もまた適切であり得ることが理解されるであろう。
【0254】
図15に表すプロセスは、処理システム2200を含む、本開示の任意の処理システムまたは当技術分野において既知の適切なシステムを使用して実行され得る。図22の実施形態では、処理システムは、レンダリングエンジン2210と、感覚データエンジン2220と、を備え得る。いくつかの実施形態では、感覚データエンジン2220は、3D環境のシーンを提供するために、ステップ1510を実行し得る。そして、感覚データエンジン2220はまた、複数の仮想ピクセルを仮想ピクセル平面に配置するために、ステップ1520も実行し得る。いくつかの実施形態のレンダリングエンジン2210は、エネルギーデータ点をサンプリングするために、ステップ1530を実行し得る。レンダリングエンジン2230はまた、各光線に沿ってサンプリングされるエネルギーデータ点と、エネルギー値とを相関させるために、ステップ1540も実行し得る。そして、レンダリングエンジン2210はまた、エネルギー値をレンダリングするために、ステップ1550も実行し得る。いくつかの実施形態では、システムはまた、データセットを格納するために、メモリ2240も備え得る。
【0255】
3D環境から4Dエネルギーフィールドをレンダリングするための方法は、他の用途のエネルギーデータをレンダリングするために適用され得ることが理解されるであろう。かかる方法は、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境のシーンを提供するための第1のステップ2210を含み得る。第2のステップ2220は、複数の仮想ピクセルをシーン内の仮想ピクセル平面に配置することを含み得、各仮想ピクセルは、2D角座標および2D空間座標を含む既知の一意の4D座標を有し、各仮想ピクセルの2D角座標は、仮想ピクセルと、シーン内の仮想視認平面に配置された複数の仮想視点のうちの1つの仮想視点との間の角相関を説明し、各仮想ピクセルの2D空間座標は、シーン内の仮想表示面に配置された複数の仮想開口のうちの1つの仮想開口の位置を識別する。第3のステップ2230は、仮想視認平面からの複数の光線に沿って、シーン内の複数のエネルギーデータ点のエネルギーデータ点をサンプリングすることを含み得、各光線は、光線と交差する1つの仮想ピクセルの2D角座標によって決定された角度で、1つの仮想視点および1つの仮想ピクセルと交差し、各光線は、光線と交差した1つの仮想ピクセルの2D空間座標によって決定された1つの仮想開口と交差する。第4のステップは、光線と交差した1つの仮想ピクセルに対して、各光線に沿ってサンプリングしたエネルギーデータ点とエネルギー値とを相関させることを含み得、第5のステップ2250は、各光線の1つの仮想ピクセルのエネルギー値および各光線の1つの仮想ピクセルの既知の一意の4D座標を、エネルギー装置にエネルギーデータを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることを含み得る。
【0256】
いくつかの形態のエネルギーデータは、4Dエネルギーフィールドをレンダリングするために必要なはるかに少ない仮想視野ピクセルおよび仮想視点を有し得ることが理解されるであろう。例えば、いくつかの実施形態では、各仮想開口は、2つの光線と交差する。かかる実施形態では、複数の仮想視点は、2つの仮想視点を備える。しかし、かかる実施形態は、エネルギー装置に立体画像を出力するように指示するために動作可能なデータセットを生成するように動作可能であり得る。立体ディスプレイは、視認者の第1の目に第1の画像を指向し、第2の目に第2の画像を指向することが理解されるであろう。その結果、いくつかの実施形態では、各開口は、2つの仮想ピクセルのみを備え、2つの仮想視点のみ-各目に1つ-が存在し得る。かかる実施形態は、エネルギー装置に仮想現実画像を出力するように指示するために動作可能なフォーマットを有するデータセットを可能にし得る。そして、かかる実施形態は、エネルギー装置に拡張現実画像を出力するように指示するために動作可能なフォーマットを有するデータセットを可能にし得る。
【0257】
また、他の実施形態では、各仮想開口は、追加の視点またはビューに対応する追加の光線と交差し得ることも理解されるであろう。かかる実施形態は、マルチビューディスプレイのために動作可能なフォーマットを有するデータセットを可能にし得、ビューの数は、各仮想ピクセルと交差する光線の数に対応する。この原理は、3つの視点L1、L2、L3、および1つの開口X1、Y1と交差する3つの光線1710を示す、図17によって示すことができ、各光線は、1つの仮想ピクセル1702、1704、および1706と交差する。各視点は、複数のビューシステムのうちの1つのビューに対応し得る。いくつかの実施形態は、多数の追加の視点であることが理解されるであろう。
【0258】
本明細書に開示された原理に従う様々な実施形態が上述されてきたが、それらの実施形態は、単なる例示としての目的のために示されており、限定されないことを理解されたい。したがって、本発明(複数可)の幅広さおよび範囲は、上述の例示的な実施形態のいずれかによって限定されるべきではなく、本開示に由来する特許請求の範囲、およびそれらの等価物に従ってのみ定義されるべきである。さらに、上記の利点および特徴は、記載された実施形態において提供されているが、上記の利点のいずれかまたはすべてを達成するプロセスおよび構造に対して、かかる由来の特許請求の範囲の適用を限定しない。
【0259】
本開示の原理的な特徴は、本開示の範囲から逸脱することなく様々な実施形態の中で使用することができることを理解されたい。当業者は、日常的なわずかな実験を用いて、本明細書に記載された特定の手順に対する多くの等価物を認識するか、または探求することができるであろう。かかる等価物は、本開示の範囲内にあるとみなされ、特許請求の範囲により網羅される。
【0260】
さらに、本明細書における節の見出しは、37CFR1.77に基づく示唆との一貫性を持たせるために、またはそれ以外では構成上の手がかりを提供するために、提供されている。これらの見出しは、本開示に由来し得る任意の特許請求の範囲の中に記載された本発明(複数可)を限定または特徴付けるものではない。具体的には、一例として、見出しが「発明の分野」と称していても、かかる特許請求の範囲は、いわゆる技術分野を説明するためのこの見出しの文言によって限定されるべきではない。さらに、「発明の背景」の節における技術の説明は、技術が本開示内の任意の発明(複数可)の先行技術であることを認めるものと解釈されるべきではない。「概要」は、論点となる特許請求の範囲に記載された本発明(複数可)の特徴付けとは、決してみなされない。さらに、本開示内での単数形の「発明」の言及は、本開示において単一の新規性のみ存在すると主張するために使用されるべきではない。複数の発明が、本開示に由来する複数の請求項の制限に従って記載される可能性があり、したがって、かかる請求項は、それによって保護される本発明(複数可)およびそれらの等価物を定義する。すべての例では、かかる請求項の範囲は、本開示に照らしてそれら自体のメリットを考慮されるであろうが、本明細書内で記載された見出しによって制約されるべきではない。
【0261】
特許請求の範囲および/または明細書中の「備える(comprising)」という用語と併せて使用されるときに使われる「1つ(a)」または「1つ(an)」という語は、「1つ(one)」を意味し得るが、それはまた、「1つ以上(one or more)」、「少なくとも1つ(at least one)」、および「1つを超える(one or more than one)」の意味とも矛盾しない。特許請求の範囲の中で使用される「または(or)」という用語は、代替物のみに明示的に言及せず、または代替物が相互に排他的でない限り、「および/または(and/or)」を意味するように使用されているが、本開示は、代替物のみ、および「および/または(and/or)」を指す定義を支持する。本出願全体を通じて、「約(about)」という用語は、1つの値が、デバイスの固有の誤差ばらつきを含むことを示すために使用され、方法は、その値、または研究課題の間に存在するばらつきを判定するために使用されている。一般に、ただし前述の考察に対する対象であるが、「約(about)」などの近似の単語により修飾された本明細書中の数的な値は、記述された値から、少なくとも+/-1、2、3、4、5、6、7、10、12、または15%だけ変化する可能性がある。
【0262】
本明細書および請求項(複数可)で使用されているように、単語「備える(comprising)」(ならびに「comprise」および「comprises」などの任意の形式の備える)、「有する(having)」(ならびに「have」および「has」などの任意の形式の有する)、「含む(including)」(ならびに「includes」および「include」などの任意の形式の含む)、または「containing」(ならびに「contains」および「contain」などの任意の形式の包含する)は、包括的または開放的、追加的、引用されていない要素または方法ステップを排除しない。
【0263】
「そのとき(at the time)」、「同等(equivalent)」、「間中(during)」、「完全(complete)」等の比較、測定、およびタイミングに関する単語は、「実質的にそのとき(substantially at the time)」、「実質的に同等(substantially equivalent)」、「実質的に~間中(substantially during)」、「実質的に完全(substantially complete)」等を意味すると理解されるべきであり、ここで、「実質的に(substantially)」とは、そのような比較、測定、およびタイミングが、暗黙のうちに、または明示的に記述された所望の結果を達成するために、実用的であることを意味している。「近く(near)」、「近接する(proximate to)」、「隣接する(adjacent to)」などの要素の相対的位置に関係する単語は、それぞれのシステム要素の相互作用に実質的な影響を及ぼすのに十分近いことを意味するものとする。近似の他の言葉は、同様に、そのように変更されたとき、必ずしも絶対的または完全であるとはみなされないが、存在しているとしてその条件を指定することを保証するために、当業者にとっては十分近いとみなされるであろうという条件を指す。記述が変わる可能性の程度は、どのように大きな変化がもたらされるかに依存し、当業者であれば、修正されていない特徴の要求された特性および可能性を依然として有するような修正された特徴を認識するであろう。
【0264】
本明細書で使用される用語「またはそれらの組み合わせ」は、その用語に先行する列挙された項目のすべての順列および組み合わせを指す。例えば、「A、B、C、またはそれらの組み合わせ」は、A、B、C、AB、AC、BC、またはABCのうちの少なくとも1つを含むことを意図しており、特定の文脈で順番が重要である場合には、BA、CA、CB、CBA、BCA、ACB、BAC、またはCABも同様である。この例を続けると、BB、AAA、AB、BBC、AAABCCCC、CBBAAA、CABABBなどのような1つ以上の項目または用語の繰り返しを含む組み合わせが明示的に含まれる。当業者であれば、文脈から明らかでない限り、典型的には、任意の組み合わせにおける項目または用語の数に制限はないことを理解するであろう。
【0265】
本明細書に開示および請求された組成物および/または方法のすべては、本開示に照らして過度の実験をすることなく作製および実行することができる。本開示の組成物および方法は、好ましい実施形態の観点から記載されているが、組成物および/または方法に対して、ならびに本明細書に記載された方法のステップまたはステップの順序において、本開示の概念、趣旨および範囲から逸脱することなく、様々なバリエーションを適用することができることは、当業者にとって明らかであろう。当業者に明らかなこのような類似の置換および修飾はすべて、添付の特許請求の範囲によって定義される開示の趣旨、範囲および概念の範囲内であるとみなされる。
(他の可能な項目)
(項目1)
3次元(3D)環境から4次元(4D)エネルギーフィールドをレンダリングするための方法であって、前記方法が、
シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境の前記シーンを提供することと、
複数の仮想ピクセルを前記シーン内の仮想ピクセル平面に配置することであって、各仮想ピクセルが、2D角座標および2D空間座標を含む既知の一意の4D座標を有し、各仮想ピクセルの前記2D角座標が、前記仮想ピクセルと、前記シーン内の仮想視認平面に配置された複数の仮想視点のうちの1つの仮想視点との間の角相関を説明し、各仮想ピクセルの前記2D空間座標が、前記シーン内の仮想表示平面に配置された複数の仮想開口の仮想開口の位置を識別する、配置することと、
前記仮想視認平面からの複数の光線に沿った前記シーン内の前記複数のエネルギーデータ点のうちのエネルギーデータ点をサンプリングすることであって、各光線が、前記光線と交差した1つの仮想ピクセルの前記2D角座標によって決定された角度で、1つの仮想視点および前記1つの仮想ピクセルと交差し、各光線が、前記光線と交差した前記1つの仮想ピクセルの前記2D空間座標によって決定された1つの仮想開口と交差する、サンプリングすることと、
前記光線と交差した前記1つの仮想ピクセルに対して、各光線に沿ってサンプリングした前記エネルギーデータ点とエネルギー値とを相関させることと、
各光線の前記1つの仮想ピクセルの前記エネルギー値および各光線の前記1つの仮想ピクセルの前記既知の一意の4D座標を、エネルギー装置に4Dエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることと、を含む、方法。
(項目2)
前記複数の光線のうちの少なくとも1つの光線が、前記複数の仮想視点の各仮想視点と交差する、項目1に記載の方法。
(項目3)
前記複数の光線のうちの1つの光線が、前記複数の仮想ピクセルの各仮想ピクセルと交差する、項目1に記載の方法。
(項目4)
前記4Dエネルギーフィールドが、明視野を備える、項目1に記載の方法。
(項目5)
前記4Dエネルギーフィールドが、ハプティックフィールドを備える、項目1に記載の方法。
(項目6)
前記4Dエネルギーフィールドが、タクタイルフィールドを備える、項目1に記載の方法。
(項目7)
前記エネルギーデータ点が、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、エネルギー反射率、のうちの少なくとも1つを説明する値を含む、項目1に記載の方法。
(項目8)
前記3D環境が、深度マップを2次元空間内の点に適用することによって決定される、項目1に記載の方法。
(項目9)
前記仮想表示平面が、エネルギー指向装置の導波管システムに対応し、エネルギーが、前記データセットに従って前記導波管システムを通して指向させて、前記シーンの少なくとも一部分の検出可能な4Dエネルギー表現を形成するように動作可能である、項目1に記載の方法。
(項目10)
前記複数の仮想ピクセルが、前記導波管システムの第1の側の複数のエネルギー位置に対応する、項目9に記載の方法。
(項目11)
前記データセットが、ベクトル化された材料特性データをさらに含む、項目1に記載の方法。
(項目12)
前記方法の少なくとも一部分が、リアルタイムで実行される、項目1に記載の方法。
(項目13)
前記方法が、リアルタイムで完全に実行される、項目1に記載の方法。
(項目14)
前記方法の少なくとも2つの部分が、異なる期間に実行される、項目1に記載の方法。
(項目15)
前記データセットが、視覚、音声、テクスチャ、センセーショナル、または匂いセンサによって知覚可能な信号を説明する、項目1に記載の方法。
(項目16)
前記複数の光線の各光線に沿ってサンプリングした前記エネルギーデータ点が、エネルギー値と同時に相関される、項目1に記載の方法。
(項目17)
前記データセットが、バイナリファイルフォーマットで格納される、項目1に記載の方法。
(項目18)
前記複数の光線の各光線が、前記複数の仮想ピクセルのうちの前記1つの仮想ピクセルまで、およびそれを超えて、前記複数の仮想開口のうちの前記1つの仮想開口を通って延在し、前記複数のエネルギーデータ点のエネルギーデータ点が、前記仮想視認平面からサンプリングされる、項目1に記載の方法。
(項目19)
前記ステップが、無制限に繰り返される、項目1に記載の方法。
(項目20)
前記ステップを無制限に繰り返して、3D環境から動的な4Dエネルギーフィールドをレンダリングする、項目1に記載の方法。
(項目21)
前記エネルギーデータをレンダリングすることが、前記エネルギー装置のための前記エネルギーデータを較正することをさらに含む、項目1に記載の方法。
(項目22)
光線ファイルが、各仮想視点の前記位置を識別する3D空間座標、およびすべての光線と交差する前記1つの仮想ピクセルの前記2D角座標を格納する、項目1に記載の方法。
(項目23)
前記光線ファイルが、各仮想視点の前記3D空間座標と、前記仮想視点と交差するすべての光線と交差するすべての仮想ピクセルの前記2D角座標とを関連付ける、項目22に記載の方法。
(項目24)
前記光線ファイルが、前記光線と交差する前記1つの仮想視点からの前記光線に沿って、前記複数のエネルギーデータ点のエネルギーデータ点をサンプリングするための各光線に対する指示を提供し、前記指示は、少なくとも、前記光線と交差する前記1つの仮想視点の前記3D空間座標、および前記光線と交差する前記1つの仮想ピクセルの前記2D角座標によって決定される、項目22に記載の方法。
(項目25)
動的な3次元(3D)環境から4次元(4D)エネルギーフィールドをレンダリングするためのシステムであって、前記システムが、
感覚データエンジンおよびレンダリングエンジンを備えるプロセスサブシステムを備え、
前記感覚データエンジンが、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境の前記シーンを提供し、
前記感覚データエンジンが、前記シーンの仮想ピクセル平面に複数の仮想ピクセルを配置し、各仮想ピクセルが、2D角座標および2D空間座標を備える既知の一意の4D座標を有し、各仮想画素座標の前記2D角度が、前記仮想ピクセルと、前記感覚データエンジンによって前記シーン内の仮想視認平面に配置された複数の仮想視点の仮想視点との間の角相関を説明し、各仮想ピクセルの前記2D空間座標が、前記感覚データエンジンによって前記シーン内の仮想表示平面に配置された複数の仮想開口のうちの1つの仮想開口の前記位置を識別し、
前記レンダリングエンジンが、前記仮想視認平面からの複数の光線に沿って、前記シーン内の前記複数のエネルギーデータ点のエネルギーデータ点をサンプリングし、各光線が、前記光線と交差した1つの仮想ピクセルの前記2D角座標によって決定された角度で、1つの仮想視点および前記1つの仮想ピクセルと交差し、各光線が、前記光線と交差した前記1つの仮想ピクセルの前記2D空間座標によって決定された1つの仮想開口と交差し、
前記レンダリングエンジンが、各光線に沿ってサンプリングした前記エネルギーデータ点と、前記複数の仮想ピクセルのうちの前記1つの仮想ピクセルのためのエネルギー値とを相関させ、
前記レンダリングエンジンが、前記複数の仮想ピクセルのうちの前記1つの仮想ピクセルの前記エネルギー値および前記複数の仮想ピクセルのうちの前記1つの仮想ピクセルの前記既知の一意の4D座標を、エネルギー装置に4Dエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングする、システム。
(項目26)
前記複数の光線のうちの少なくとも1つの光線が、前記複数の仮想視点の各仮想視点と交差する、項目25に記載のシステム。
(項目27)
前記複数の光線のうちの1つの光線が、前記複数の仮想ピクセルの各仮想ピクセルと交差する、項目25に記載のシステム。
(項目28)
前記4Dエネルギーフィールドが、明視野を備える、項目25に記載のシステム。
(項目29)
前記4Dエネルギーフィールドが、ハプティックフィールドを備える、項目28に記載のシステム。
(項目30)
前記4Dエネルギーフィールドが、タクタイルフィールドを備える、項目25に記載のシステム。
(項目31)
前記エネルギーデータ点が、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、エネルギー反射率、のうちの少なくとも1つを説明する値を含む、項目25に記載のシステム。
(項目32)
前記3D環境が、深度マップを2次元空間内の点に適用することによって決定される、項目25に記載のシステム。
(項目33)
前記仮想表示平面が、エネルギー指向装置の導波管システムに対応し、エネルギーが、前記データセットに従って前記導波管システムを通して指向させて、前記シーンの少なくとも一部分の検出可能な4Dエネルギーフィールド表現を形成するように動作可能である、項目25に記載のシステム。
(項目34)
前記複数の仮想ピクセルが、前記導波管システムの第1の側の複数のエネルギー位置に対応する、項目33に記載のシステム。
(項目35)
前記データセットが、ベクトル化された材料特性データをさらに含む、項目25に記載のシステム。
(項目36)
前記システムの少なくとも一部分が、リアルタイムで実行される、項目25に記載のシステム。
(項目37)
前記システムが、リアルタイムで完全に実行される、項目25に記載のシステム。
(項目38)
前記システムの少なくとも2つの部分が、異なる期間に実行される、項目25に記載のシステム。
(項目39)
前記データセットが、視覚、音声、テクスチャ、センセーショナル、または匂いセンサによって知覚可能な信号を説明する、項目25に記載のシステム。
(項目40)
前記複数の光線の各光線に沿ってサンプリングした前記エネルギーデータ点が、エネルギー値と同時に相関される、項目25に記載のシステム。
(項目41)
前記データセットが、バイナリファイルフォーマットで格納される、項目25に記載のシステム。
(項目42)
前記複数のエネルギーデータ点のエネルギーデータ点が、前記複数の光線の各光線に沿って前記レンダリングエンジンによってサンプリングされ、この光線が、前記仮想視認平面から、前記複数の仮想開口のうちの前記1つの仮想開口を通して、前記複数の仮想ピクセルのうちの前記1つの仮想ピクセルまで、およびそれを超えて延在する、項目25に記載のシステム。
(項目43)
前記システムが、動的な3D環境から動的な4Dエネルギーフィールドをレンダリングするために、無制限に動作される、項目25に記載のシステム。
(項目44)
前記システムが、前記データセットを格納するためにメモリをさらに備える、項目25に記載のシステム。
(項目45)
前記レンダリングシステムが、前記エネルギー装置のための前記エネルギーデータを較正する、項目25に記載の方法。
(項目46)
前記システムが、前記複数のエネルギーデータ点を格納するためにメモリをさらに備える、項目25に記載のシステム。
(項目47)
光線ファイルが、各仮想視点の前記位置を識別する3D空間座標、およびすべての光線と交差する前記1つの仮想ピクセルの前記2D角座標を格納する、項目25に記載のシステム。
(項目48)
前記光線ファイルが、各仮想視点の前記3D空間座標と、前記仮想視点と交差するすべての光線と交差するすべての仮想ピクセルの前記2D角座標とを関連付ける、項目47に記載のシステム。
(項目49)
前記光線ファイルが、前記光線と交差する前記1つの仮想視点からの前記光線に沿って、前記複数のエネルギーデータ点のエネルギーデータ点をサンプリングするための各光線に対する指示を提供し、前記指示は、少なくとも、前記光線と交差する前記1つの仮想視点の前記3D空間座標、および前記光線と交差する前記1つの仮想ピクセルの前記2D角座標によって決定される、項目48に記載のシステム。
(項目50)
3次元(3D)環境からエネルギーデータをレンダリングするための方法であって、前記方法が、
シーンの全体を通して配置された複数のエネルギーデータ点によって説明される3D環境の前記シーンを提供することと、
複数の仮想ピクセルを前記シーン内の仮想ピクセル平面に配置することであって、各仮想ピクセルが、2D角座標および2D空間座標を含む既知の一意の4D座標を有し、各仮想ピクセルの前記2D角座標が、前記仮想ピクセルと、前記シーン内の仮想視認平面に配置された複数の仮想視点のうちの1つの仮想視点との間の角相関を説明し、各仮想ピクセルの前記2D空間座標が、前記シーン内の仮想表示平面に配置された複数の仮想開口の仮想開口の位置を識別する、配置することと、
前記仮想視認平面からの複数の光線に沿った前記シーン内の前記複数のエネルギーデータ点のうちのエネルギーデータ点をサンプリングすることであって、各光線が、前記光線と交差した1つの仮想ピクセルの前記2D角座標によって決定された角度で、1つの仮想視点および前記1つの仮想ピクセルと交差し、各光線が、前記光線と交差した前記1つの仮想ピクセルの前記2D空間座標によって決定された1つの仮想開口と交差する、サンプリングすることと、
前記光線と交差した前記1つの仮想ピクセルに対して、各光線に沿ってサンプリングした前記エネルギーデータ点とエネルギー値とを相関させることと、
各光線の前記1つの仮想ピクセルの前記エネルギー値および各光線の前記1つの仮想ピクセルの前記既知の一意の4D座標を、エネルギー装置にエネルギーデータを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることと、を含む、方法。
(項目51)
各仮想開口が、2つの光線と交差する、項目50に記載の方法。
(項目52)
前記複数の仮想視点が、2つの仮想視点を備える、項目51に記載の方法。
(項目53)
前記データセットが、エネルギー装置に立体画像を出力するように指示するために動作可能なフォーマットを有する、項目52に記載の方法。
(項目54)
前記データセットが、エネルギー装置に仮想現実画像を出力するように指示するために動作可能なフォーマットを有する、項目52に記載の方法。
(項目55)
前記データセットが、エネルギー装置に拡張現実画像を出力するように指示するために動作可能なフォーマットを有する、項目52に記載の方法。
(項目56)
各仮想開口が、いくつかの光線と交差する、項目50に記載の方法。
(項目57)
前記データセットが、エネルギー装置に複数のビューから画像を出力するように指示するために動作可能なフォーマットを有し、前記複数のビューが、各仮想開口と交差する光線の数に対応する、項目51に記載の方法。
図1
図2
図3
図4
図5A
図5B
図6
図7A
図7B
図7C
図7D
図7E
図7F
図7G
図7H
図7I
図7J
図7K
図7L
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22