(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024150587
(43)【公開日】2024-10-23
(54)【発明の名称】電磁場計算を使用した3次元ディスプレイ
(51)【国際特許分類】
G03H 1/22 20060101AFI20241016BHJP
G06T 19/00 20110101ALI20241016BHJP
G03H 1/08 20060101ALI20241016BHJP
G03H 1/24 20060101ALI20241016BHJP
【FI】
G03H1/22
G06T19/00 600
G03H1/08
G03H1/24
【審査請求】有
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2024114745
(22)【出願日】2024-07-18
(62)【分割の表示】P 2023114422の分割
【原出願日】2019-01-16
(31)【優先権主張番号】62/618,054
(32)【優先日】2018-01-16
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520029963
【氏名又は名称】パシフィック ライト アンド ホログラム,インコーポレイテッド
(74)【代理人】
【識別番号】100092783
【弁理士】
【氏名又は名称】小林 浩
(74)【代理人】
【識別番号】100120134
【弁理士】
【氏名又は名称】大森 規雄
(74)【代理人】
【識別番号】100187964
【弁理士】
【氏名又は名称】新井 剛
(72)【発明者】
【氏名】コリン,シルバン マーセル
(72)【発明者】
【氏名】シン,ティナ
(72)【発明者】
【氏名】セファミ,アシャー ゼリグ
(72)【発明者】
【氏名】カデリ,カムラン
(72)【発明者】
【氏名】サラル,マーク アンソニー
(72)【発明者】
【氏名】ヴィーンシュ,ジュシュア ディー.
(72)【発明者】
【氏名】クマー,ラジャイ
(72)【発明者】
【氏名】ブラックリー,ジョナサン シーマス
(57)【要約】 (修正有)
【課題】物体の3次元(3D)表示のための方法、装置、デバイス、およびシステムを提供する。
【解決手段】1つの態様では、方法は、物体に対応するプリミティブの各プリミティブデータを含むデータを取得することと、プリミティブの各々について、ディスプレイの各素子への電磁(EM)場の寄与を、プリミティブから素子へのEM場の伝搬を計算することによって決定することと、素子の各々について、プリミティブからのEM場の寄与の合計を生成することと、EM場の寄与の合計に基づいて、素子の少なくとも1つの特性を変調するための各制御信号を素子の各々に送信することと、ディスプレイの変調素子によって光が生じ、物体に対応する体積光照射野を形成するように、タイミング制御信号を発光体に送信して発光体を作動させ、ディスプレイに光を当てることとを含む。
【選択図】
図4
【特許請求の範囲】
【請求項1】
バックプレーンと、
前記バックプレーン上の複数の表示素子と、
を備えたディスプレイであって、
前記ディスプレイは、ホログラフィック再構築用の位相変調デバイスであり、
前記表示素子は、位相変調されるように構成されており、
前記複数の表示素子は、少なくとも1つの回折効果を低減又は除去するための非周期的な構造を形成するために、不均一な又は不規則なサイズ又は形状を有するように構成されている、ディスプレイ。
【請求項2】
請求項1に記載のディスプレイであって、
前記複数の表示素子のうちの少なくとも2つの表示素子が、不規則な多角形形状を有する、ディスプレイ。
【請求項3】
請求項1に記載のディスプレイであって、
前記複数の表示素子のうちの少なくとも2つの表示素子が、少なくとも2つの異なる多角形形状を有する、ディスプレイ。
【請求項4】
請求項1に記載のディスプレイであって、
前記複数の表示素子のうちの隣接する表示素子が、異なる形状を有する、ディスプレイ。
【請求項5】
請求項1に記載のディスプレイであって、
前記複数の表示素子のうちの少なくとも1つの表示素子が、前記少なくとも1つの表示素子に隣接する1つ以上の表示素子と異なる形状を有する、ディスプレイ。
【請求項6】
請求項1に記載のディスプレイであって、
前記複数の表示素子のサイズ分布が、1つの値を中心としている、ディスプレイ。
【請求項7】
請求項1に記載のディスプレイであって、
前記複数の表示素子のサイズ分布が、前記ディスプレイの空間解像度に関連する、ディスプレイ。
【請求項8】
請求項1に記載のディスプレイであって、
前記バックプレーンが複数の回路を含み、
前記ディスプレイの前記複数の表示素子の各々が、前記バックプレーンの前記複数の回路のそれぞれの回路に結合されている、ディスプレイ。
【請求項9】
請求項1に記載のディスプレイであって、
前記ディスプレイが、
液晶層と、
共通電極として前記液晶層の上にある透明導電層と
をさらに備え、
前記バックプレーンが前記液晶層の下にある複数の金属電極を含み、前記複数の金属電極の各々が互いに分離され、前記バックプレーンが前記複数の金属電極の各々の電圧を制御するように構成されている、ディスプレイ。
【請求項10】
請求項1に記載のディスプレイであって、
前記表示素子は、位相変調及び振幅変調されるように構成されている、ディスプレイ。
【請求項11】
請求項1に記載のディスプレイであって、
前記ディスプレイは、デジタルマイクロミラーデバイス(DMD)又は液晶オンシリコン(LCOS)デバイスを含む空間光変調器(SLM)を備える、ディスプレイ。
【請求項12】
請求項1に記載のディスプレイであって、
前記位相変調デバイスは、液晶(LC)オンシリコン(LCOS)デバイスであり、
前記LCOSデバイスは、以下の特性:
前記LCOSデバイスのセルギャップが、前記LCOSデバイスの前記表示素子のピッチに基づいて決定される;
LC混合物の複屈折の最小値が、前記LCOSデバイスのセルギャップ及び所定の位相差に基づく;又は、
前記LCOSデバイスのスイッチング速度が、前記最小値以上の前記LC混合物の前記複屈折、前記LC混合物の誘電異方性、及び前記LC混合物の回転粘度に関連する、
のうちの少なくとも1つを有する、ディスプレイ。
【請求項13】
バックプレーンと、
前記バックプレーン上の複数の表示素子と、
を備えたディスプレイであって、
前記ディスプレイは、ホログラフィック再構築用の位相変調デバイスであり、
前記表示素子は、位相変調されるように構成されており、
前記複数の表示素子は、非周期的な構造を形成するために、不均一なサイズ又は不均一な形状の少なくとも1つを有するように構成されている、ディスプレイ。
【請求項14】
請求項1~13のいずれか1項に記載のディスプレイと、
前記ディスプレイに結合され、前記複数の表示素子のうちの少なくとも1つの表示素子の少なくとも1つの特性を変調するために、少なくとも1つの制御信号を前記少なくとも1つの表示素子に送信するように構成されたコントローラと
を備えるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
(参照による組み込み)
本出願は、35 U.S.C. §119の下で、2018年1月16日に出願された米国特許出願公開第62/618,054号「Three-Dimensional Displays Using Electromagnetic Field Computations」に対する優先権を主張し、この内容全体は、参照によって本明細書に組み込まれている。
【0002】
本開示は3次元(3D:three-dimensional)ディスプレイに関連しており、より詳細には、計算技術を使用した3Dディスプレイに関連している。
【背景技術】
【0003】
従来の2次元(2D:two-dimensional)投影および3Dレンダリングにおける進歩は、頭部と目の追跡を、仮想現実(VR:virtual reality)、拡張現実(AR:augmentedreality)、および複合現実(MR:mixed reality)のための従来のディスプレイデバイスと混合する多数のハイブリッド手法を含む、3Dディスプレイの新しい方法をもたらした。これらの手法は、実際のホログラムによって表され得る立体画像または眼の中の光照射野をシミュレートするために、追跡および測定に基づく計算と組み合わせて、ホログラフィック画像の体験を再現しようと試みる。
【発明の概要】
【0004】
本開示は、電磁(EM:electromagnetic)場計算を3次元(3D)ディスプレイに使用するための方法、装置、デバイス、およびシステムについて説明する。
【0005】
本開示は、既知の技術に存在する制限を克服できる技術を提供する。一例として、本明細書で開示される技術は、「3D眼鏡」などの扱いにくいウェアラブルデバイスを使用せずに実装され得る。別の例として、本明細書で開示される技術は、追跡メカニズムの精度、ディスプレイデバイスの品質、相対的に長い処理時間、および/または相対的に高い計算要求によって制限されることなく、および/または物体を複数の視聴者に同時に表示できないことによって制限されることなく、任意選択的に実装され得る。さらに別の例として、この技術は、従来の3Dコンテンツの作成において使用されるツールおよびソフトウェアを超えて広がるコンテンツを開発するために、特殊なツールおよびソフトウェアを使用せずに実装され得る。さまざまな実施形態が、前述の利点のうちの1つまたは複数を示すことができる。例えば、本開示の特定の実装は、現実世界の3D物体のように見える、妨害されずに異なる位置から同時に複数の視聴者によって見ることができる、リアルタイム、フルカラーの本物の3D画像を生成できる。
【0006】
本開示の1つの態様は、3次元(3D)空間内の物体に対応する複数のプリミティブの各々について、ディスプレイの複数の素子の各々への電磁(EM)場の寄与を、3D座標系内で、プリミティブから素子へのEM場の伝搬を計算することによって決定することと、複数の素子の各々について、複数のプリミティブから素子へのEM場の寄与の合計を生成することとを含む方法を特徴とする。
【0007】
EM場の寄与は、位相の寄与または振幅の寄与のうちの少なくとも1つを含むことができる。プリミティブは、点プリミティブ、線プリミティブ、または多角形プリミティブのうちの少なくとも1つを含むことができる。プリミティブは、グラデーション色、テクスチャ色、または任意の表面の陰影効果のうちの少なくとも1つを含む線プリミティブを含むことができる。プリミティブは、グラデーション色、テクスチャ色、または任意の表面の陰影効果のうちの少なくとも1つを含む多角形プリミティブを含むこともできる。複数のプリミティブは、特定の順序でインデックス付けされ得る。
【0008】
一部の実装では、この方法は、複数のプリミティブの各々の各プリミティブデータを取得することを、さらに含む。複数のプリミティブの各々の各プリミティブデータは、プリミティブの各色情報を含むことができ、素子の各々に対して決定されたEM場の寄与は、プリミティブの各色情報に対応する情報を含む。色情報は、テクスチャ色またはグラデーション色のうちの少なくとも1つを含むことができる。複数のプリミティブの各々の各プリミティブデータは、プリミティブのテクスチャ情報を含むことができる。複数のプリミティブの各々の各プリミティブデータは、プリミティブの1つまたは複数の表面上の陰影情報を含むことができる。陰影情報は、プリミティブの1つまたは複数の表面上の色または明るさのうちの少なくとも1つに対する変調を含むことができる。
【0009】
一部の実装では、複数のプリミティブの各々の各プリミティブデータは、3D座標系内のプリミティブの各座標情報を含む。3D座標系内の複数の素子の各々の各座標情報は、3D座標系内の複数のプリミティブの各座標情報に基づいて決定され得る。素子の各々の各座標情報は、メモリに格納された素子の論理メモリアドレスに対応することができる。
【0010】
複数のプリミティブの各々について、複数の素子の各々へのEM場の寄与を決定することは、3D座標系内で、素子の各座標情報およびプリミティブの各座標情報に基づいて、素子とプリミティブとの間の少なくとも1つの距離を決定することを含むことができる。一部の例では、複数のプリミティブの各々について、複数の素子の各々へのEM場の寄与を決定することが、第1のプリミティブの各座標情報および第1の素子の各座標情報に基づいて、複数のプリミティブのうちの第1のプリミティブと複数の素子のうちの第1の素子との間の第1の距離を決定することと、第1の距離および第1の素子と第2の素子との間の距離に基づいて、第1のプリミティブと複数の素子のうちの第2の素子との間の第2の距離を決定することとを含む。第1の素子と第2の素子との間の距離は、ディスプレイの複数の素子のピッチに基づいて事前に決定され得る。
【0011】
一部の例では、複数のプリミティブのうちの少なくとも1つが、第1および第2の端点を含む線プリミティブであり、素子とプリミティブとの間の少なくとも1つの距離を決定することが、素子と線プリミティブの第1の端点との間の第1の距離を決定することと、素子と線プリミティブの第2の点との間の第2の距離を決定することとを含む。一部の例では、複数のプリミティブのうちの少なくとも1つが、第1、第2、および第3の端点を含む三角形プリミティブであり、素子とプリミティブとの間の少なくとも1つの距離を決定することが、素子と三角形プリミティブの第1の端点との間の第1の距離を決定することと、素子と三角形プリミティブの第2の点との間の第2の距離を決定することと、素子と三角形プリミティブの第3の点との間の第3の距離を決定することとを含む。
【0012】
一部の実装では、複数のプリミティブの各々について、複数の素子の各々へのEM場の寄与を決定することが、プリミティブおよび少なくとも1つの距離に対して事前に決定される式に基づいてプリミティブから素子へのEM場の寄与を決定することを含む。場合によっては、事前に決定される式は、プリミティブから素子へのEM場の伝搬を解析的に計算することによって決定される。場合によっては、事前に決定される式は、マクスウェル方程式を解くことによって決定される。マクスウェル方程式は、ディスプレイの表面で定義された境界条件を提供することによって解かれ得る。境界条件は、ディリクレ境界条件またはコーシー境界条件を含むことができる。複数のプリミティブおよび複数の素子が、3D空間内に存在することができ、ディスプレイの表面が、3D空間の境界面の一部を形成することができる。場合によっては、事前に決定される式は、正弦関数、余弦関数、または指数関数を含む関数のうちの少なくとも1つを含み、EM場の寄与を決定することが、メモリに格納されたテーブル内の関数のうちの少なくとも1つの値を識別することを含む。
【0013】
一部の実装では、複数のプリミティブの各々について、複数の素子の各々へのEM場の寄与を決定し、複数の素子の各々に関する場の寄与の合計を生成することが、複数のプリミティブから複数の素子のうちの第1の素子への第1のEM場の寄与を決定し、第1の素子に対する第1のEM場の寄与を合計することと、複数のプリミティブから複数の素子のうちの第2の素子への第2のEM場の寄与を決定し、第2の素子に対する第2のEM場の寄与を合計することとを含む。複数のプリミティブから第1の素子への第1のEM場の寄与を決定することは、複数のプリミティブのうちの第2のプリミティブから第1の素子へのEM場の寄与を決定することと並列に、複数のプリミティブのうちの第1のプリミティブから第1の素子へのEM場の寄与を決定することを含むことができる。
【0014】
一部の実装では、複数のプリミティブの各々について、複数の素子の各々へのEM場の寄与を決定することが、複数のプリミティブのうちの第1のプリミティブから複数の素子の各々への第1の各EM場の寄与を決定することと、複数のプリミティブのうちの第2のプリミティブから複数の素子の各々への第2の各EM場の寄与を決定することとを含み、複数の素子の各々に関する場の寄与の合計を生成することが、第2の各EM場の寄与を、素子に対する第1の各EM場の寄与に加算することによって、素子に対するEM場の寄与を累算することを含むことができる。第1のプリミティブから複数の素子の各々への第1の各EM場の寄与を決定することは、第2のプリミティブから複数の素子の各々への第2の各EM場の寄与を決定することと並列に実行され得る。
【0015】
複数のプリミティブの各々について、複数の素子の各々へのEM場の寄与を決定することは、複数のプリミティブのうちの第2のプリミティブから第1の素子への第2のEM場の寄与を決定することと並列に、複数のプリミティブのうちの第1のプリミティブから複数の素子のうちの第1の素子への第1のEM場の寄与を決定することを含むことができる。
【0016】
一部の実装では、この方法は、複数の素子の各々について、複数のプリミティブから素子へのEM場の寄与の合計に基づいて各制御信号を生成することをさらに含み、各制御信号が、複数のプリミティブから素子へのEM場の寄与の合計に基づいて、素子の少なくとも1つの特性を変調するために存在する。素子の少なくとも1つの特性が、屈折率、振幅指数、複屈折、または位相差のうちの少なくとも1つを含むことができる。各制御信号は、電気信号、光信号、磁気信号、または音響信号を含むことができる。場合によっては、この方法は、スケール係数を素子の各々に関する場の寄与の合計に乗算して、場の寄与の大きさを変更された合計を取得することをさらに含み、各制御信号が、素子に関する場の寄与の大きさを変更された合計に基づいて生成される。場合によっては、この方法は、素子の各々に関する場の寄与の合計を正規化することをさらに含み、各制御信号が、素子に関する場の寄与の正規化された合計に基づく。この方法は、各制御信号を素子に送信することを含むこともできる。
【0017】
一部の実装では、この方法は、制御信号を発光体に送信することをさらに含み、この制御信号は、発光体がディスプレイ上で発光するように、発光体をオンにすることを示す。この制御信号は、複数の素子の各々に関する場の寄与の合計の取得の完了を決定することに応答して、送信され得る。ディスプレイの変調素子は、光を異なる方向に伝搬させ、3D空間内の物体に対応する体積光照射野(volumetric light field)を形成することができる。体積光照射野は、ディスプレイの変調素子によって定義された境界条件付きのマクスウェル方程式の解に対応することができる。光は、白色光を含むことができ、ディスプレイは、白色光を異なる色を有する光に回折するように構成され得る。
【0018】
一部の実装では、この方法は、計算時に固定小数点表現を使用して値を表すことをさらに含む。値の各々は、暗黙のスケール係数を使用して整数として表され得る。
【0019】
一部の実装では、この方法は、固定小数点表現を使用して数学関数を実行することをさらに含む。この数学関数は、正弦、余弦、および逆正接のうちの少なくとも1つを含むことができる。数学関数を実行することは、第1の固定小数点形式で式を受信すること、および第1の固定小数点形式の精度と異なるレベルの精度を有する第2の固定小数点形式で値を出力することを含むことができる。数学関数を実行することは、数学関数の計算用のテーブルを検索することを含むことができ、このテーブルは、完全に列挙されたルックアップテーブル、補間されたテーブル、多項式関数に基づくセミテーブル、および完全なミニマックス多項式に基づくセミテーブルのうちの少なくとも1つを含む。数学関数を実行することは、特殊な範囲縮小を入力に適用することを含むことができる。数学関数を実行することは、範囲[-π,π]の三角関数計算を範囲[-1,1]内の符号付き2の補数表現に変換することを含むことができる。
【0020】
本開示の別の態様は、3次元(3D)空間内の物体に対応する複数のプリミティブの各プリミティブデータを取得することと、複数のプリミティブのうちの第1のプリミティブからディスプレイの複数の素子の各々への第1の各電磁(EM)場の寄与を計算することと、複数のプリミティブのうちの第2のプリミティブからディスプレイの複数の素子の各々への第2の各EM場の寄与を計算することとを含む方法を特徴とする。第1のプリミティブからの第1の各EM場の寄与を計算することは、第2のプリミティブからの第2の各EM場の寄与を計算することと、少なくとも部分的に並列になる。
【0021】
一部の実装では、第1のプリミティブから複数の素子のうちの第1の素子への第1のEM場の寄与を計算することは、複数のプリミティブのうちの第2のプリミティブから第1の素子への第2のEM場の寄与を計算することと並列になる。この方法は、複数のプリミティブの各々から複数の素子の各々への各EM場の寄与を計算することを含むことができる。各EM場の寄与の計算は、物体の形状を複数の素子に拡大することと、波面をまとめる前に可視性テストを適用することと、異なるプリミティブに対する並列計算間の意思決定または通信とのうちの少なくとも1つを使用しないことができる。各EM場の寄与の計算は、異なるプリミティブの並列計算を、速度、コスト、サイズ、またはエネルギー最適化に合わせて調整することと、描画を開始して、結果を表示する準備ができるまでの待ち時間を短縮することと、固定小数点表現を使用して精度を向上させることと、数学関数を最適化することによって計算速度を最適化することとのうちの少なくとも1つを引き起こすように、構成され得る。
【0022】
一部の実装では、この方法は、計算時に固定小数点表現を使用して値を表すことをさらに含む。固定小数点表現を使用して値を表すことは、徐々のアンダーフローのための非正規浮動小数と、ゼロ除算を含む演算からのNaNの結果を処理することと、浮動小数点の丸めモードを変更することと、浮動小数点例外をオペレーティングシステムに上げることとのうちの少なくとも1つを使用しないことができる。
【0023】
一部の実装では、この方法は、複数の素子の各々について、素子に対する第2の各EM
場の寄与を素子に対する第1の各EM場の寄与に加算することによって、素子に対するE
M場の寄与を累算することをさらに含む。
【0024】
一部の実装では、この方法は、複数の素子の各々について、複数のプリミティブから素子へのEM場の寄与の合計に基づいて各制御信号を生成することをさらに含み、各制御信号が、複数のプリミティブから素子へのEM場の寄与の合計に基づいて、素子の少なくとも1つの特性を変調するために存在する。
【0025】
一部の実装では、この方法は、第1のプリミティブの再構築が第2のプリミティブの再構築と重ならないように、事前に決定される係数によって、第2のプリミティブに隣接する第1のプリミティブの大きさを変更することをさらに含む。この事前に決定される係数は、ディスプレイの解像度に少なくとも部分的に基づいて決定され得る。この方法は、複数のプリミティブの各々の各プリミティブデータを取得することであって、複数のプリミティブの各々の各プリミティブデータが、3D座標系内のプリミティブの各座標情報を含む、ことと、第1のプリミティブの各座標情報および事前に決定される係数に基づいて、第1のプリミティブの新しい各座標情報を決定することとを、さらに含むことができる。この方法は、第1のプリミティブの新しい各座標情報に基づいて、第1のプリミティブから複数の素子の各々へのEM場の寄与を決定することを、さらに含むことができる。この方法は、事前に決定される係数によって第2のプリミティブの大きさを変更することを、さらに含むことができる。第1のプリミティブおよび第2のプリミティブは、共通部分を共有することができ、第1のプリミティブの大きさを変更することは、第1のプリミティブの共通部分の大きさを変更することを含む。第1のプリミティブの大きさを変更することは、事前に決定される方向に第1のプリミティブの大きさを変更することを含むことができる。
【0026】
本開示別の態様は、3次元(3D)空間内の物体に対応する複数のプリミティブの各プリミティブデータを取得することと、各プリミティブデータを第1のプリミティブおよび第2のプリミティブに使用して、事前に決定される係数によって第2のプリミティブに隣接する第1のプリミティブの大きさを変更することと、大きさの変更の結果に基づいて第1のプリミティブの各プリミティブデータを更新することとを含む方法を特徴とする。
【0027】
一部の実装では、複数のプリミティブの各々の各プリミティブデータは、3D座標系内のプリミティブの各座標情報を含み、各プリミティブデータを更新することは、第1のプリミティブの各座標情報および事前に決定される係数に基づいて第1のプリミティブの新しい各座標情報を決定することを含む。
【0028】
一部の実装では、事前に決定される係数は、3D空間内で第1のプリミティブの再構築が第2のプリミティブの再構築に重ならないように決定される。
【0029】
一部の実装では、3D空間内の第1のプリミティブの再構築と第2のプリミティブの再構築との間のギャップが、第1および第2のプリミティブを分離して重なりの影響を最小限に抑えるほど十分大きくなり、再構築に継ぎ目がないように見えるようにするほど十分小さくなるように、大きさの変更が実行される。
【0030】
一部の実装では、事前に決定される係数は、ディスプレイの解像度に少なくとも部分的に基づいて決定される。
【0031】
一部の実装では、この方法は、第1のプリミティブの更新されたプリミティブデータをバッファに格納することをさらに含む。
【0032】
一部の実装では、複数のプリミティブの各プリミティブデータを取得するために、物体のレンダリングプロセスの間に、大きさの変更が実行される。
【0033】
一部の実装では、この方法は、複数のプリミティブの更新されたプリミティブデータをコントローラに送信することをさらに含み、このコントローラは、複数のプリミティブの更新されたプリミティブデータに基づいて、複数のプリミティブの各々からディスプレイの複数の素子の各々への各電磁(EM)場の寄与を決定するように構成される。
【0034】
一部の実装では、この方法は、第1のプリミティブの更新されたプリミティブデータに基づいて、第1のプリミティブからディスプレイの複数の素子の各々へのEM場の寄与を決定することをさらに含む。
【0035】
一部の実装では、この方法は、事前に決定される係数によって第2のプリミティブの大きさを変更することをさらに含む。
【0036】
一部の実装では、第1のプリミティブおよび第2のプリミティブは、共通部分を共有し、第1のプリミティブの大きさを変更することは、第1のプリミティブの共通部分の大きさを変更することを含む。
【0037】
一部の実装では、第1のプリミティブの大きさを変更することは、事前に決定される方向に第1のプリミティブの大きさを変更することを含む。
【0038】
一部の実装では、第1のプリミティブの大きさを変更することは、第1の事前に決定される係数によって第1のプリミティブの第1の部分の大きさを変更することと、第2の事前に決定される係数によって第2のプリミティブの第2の部分の大きさを変更することとを含み、第1の事前に決定される係数は、第2の事前に決定される係数と異なる。
【0039】
本開示の別の態様は、3次元(3D)空間内の物体に対応する複数のプリミティブのうちの特定のプリミティブの指定された表面にマッピングされる画像の複数の離散余弦変換(DCT:discrete cosine transform)加重を取得することと、画像の複数のDCT加重の影響を考慮することによって、特定のプリミティブからディスプレイの複数の素子の各々への各EM場の寄与を決定することとを含む方法を特徴とする。
【0040】
一部の実装では、この方法は、特定のプリミティブの指定された表面にマッピングされる画像の解像度を決定することと、この解像度に基づいて画像の複数のDCT加重を決定することとをさらに含む。
【0041】
一部の実装では、この方法は、画像のDCT加重をデコードして、画像の各ピクセルの各DCT振幅を取得することをさらに含む。
【0042】
一部の実装では、この方法は、画像のピクセルの各DCT振幅に関連付けられた値を、特定のプリミティブのプリミティブデータと一緒に格納することをさらに含む。各EM場の寄与を決定することは、画像のピクセルの各DCT振幅に関連付けられた値を使用して、特定のプリミティブから複数の素子の各々への各EM場の寄与を計算することを含むことができる。
【0043】
一部の実装では、この方法は、各EM場の寄与の決定に含められる特定のDCT項を選択することをさらに含み、特定のDCT項の各々は、事前に決定されるしきい値より大きい各DCT加重を含む。
【0044】
本開示の別の態様は、特定のプリミティブおよび特定のプリミティブの閉塞体の情報を取得することであって、この特定のプリミティブが、3次元(3D)空間内の物体に対応する複数のプリミティブ内にある、ことと、閉塞体の影響で特定のプリミティブの再構築に寄与しないディスプレイの複数の素子のうちの1つまたは複数の特定の素子を決定することとを含む方法を特徴とする。
【0045】
一部の実装では、この方法は、特定の素子の情報を、特定のプリミティブおよび閉塞体の情報と共に格納することをさらに含む。
【0046】
一部の実装では、複数のプリミティブのプリミティブデータを取得するために、物体のレンダリングプロセスの間に、この決定することが実行される。
【0047】
一部の実装では、この方法は、特定の素子の格納された情報を、特定のプリミティブおよび閉塞体の情報と共に、ディスプレイの複数の素子への複数のプリミティブの電磁気(EM)の寄与を計算するように構成されたコントローラに送信することをさらに含む。
【0048】
一部の実装では、この方法は、特定の素子の各々について、特定のプリミティブから特定の素子のうちの1つへのEM場の寄与を除外することによって、複数のプリミティブから特定の素子のうちの1つへの電磁(EM)場の寄与の合計を生成することをさらに含む。
【0049】
一部の実装では、この方法は、特定の素子以外の複数の素子の各々について、複数のプリミティブから素子へのEM場の寄与の各合計を生成することをさらに含む。
【0050】
一部の実装では、この方法は、特定のプリミティブへの特定の素子のEM場の寄与をマスクすることをさらに含む。
【0051】
一部の実装では、1つまたは複数の特定の素子を決定することは、特定のプリミティブを閉塞体の端点に接続することと、この接続をディスプレイに伸ばして、この接続とディスプレイとの間の交点を決定することと、これらの交点によって定義された特定の範囲が、閉塞体の影響で特定のプリミティブの再構築に寄与しない特定の素子であるということを決定することとを含む。
【0052】
本発明の別の態様は、特定のプリミティブおよび特定のプリミティブの閉塞体の情報を取得することであって、この特定のプリミティブが、3次元(3D)空間内の物体に対応する複数のプリミティブ内にある、ことと、ディスプレイの複数の素子の各々について、閉塞体の影響で素子への電磁(EM)場の寄与を行わない特定のプリミティブの各部分を決定することとを含む方法を特徴とする。
【0053】
一部の実装では、この方法は、特定のプリミティブの各部分の情報を、特定のプリミティブおよび閉塞体の情報と共に格納することをさらに含む。
【0054】
一部の実装では、複数のプリミティブのプリミティブデータを取得するために、物体のレンダリングプロセスの間に、この決定することが実行される。
【0055】
一部の実装では、この方法は、特定の情報の各部分の格納された情報を、特定のプリミティブおよび閉塞体の情報と共に、ディスプレイの複数の素子への複数のプリミティブの電磁気(EM)の寄与を計算するように構成されたコントローラに送信することをさらに含む。
【0056】
一部の実装では、この方法は、特定のプリミティブの各部分への複数の素子の各々のEM場の寄与をマスクすることをさらに含む。
【0057】
一部の実装では、この方法は、複数の素子の各々について、特定のプリミティブの各部分から素子へのEM場の寄与を除外することによって、複数のプリミティブから素子へのEM場の寄与の合計を生成することをさらに含む。複数のプリミティブから素子へのEM場の寄与の合計を生成することは、素子への特定のプリミティブの各部分のEMの寄与を、閉塞体の影響なしで、複数のプリミティブから素子へのEM場の寄与の合計から引くことを含むことができる。複数のプリミティブから素子へのEM場の寄与の合計を生成することは、特定のプリミティブの1つまたは複数の他の部分から素子へのEM場の寄与を合計することを含むことができ、各部分および1つまたは複数の他の部分が、特定のプリミティブを形成する。
【0058】
一部の実装では、閉塞体の影響で素子へのEM場の寄与を行わない特定のプリミティブの各部分を決定することは、素子を閉塞体の端点に接続することと、この接続と特定のプリミティブとの間の交点を決定することと、交点によって囲まれている特定のプリミティブの特定の部分が、閉塞体の影響で素子へのEM場の寄与を行わない特定のプリミティブの各部分であるということを決定することとを含む。
【0059】
本開示の別の態様は、3次元(3D)空間内の物体に対応する複数のプリミティブの各々の各プリミティブデータを取得することと、複数のプリミティブの各々の各幾何学的鏡面反射情報を取得することと、各幾何学的鏡面反射情報を、複数のプリミティブの各々の各プリミティブデータと共に格納することとを含む方法を特徴とする。
【0060】
一部の実装では、複数のプリミティブの各々の各幾何学的鏡面反射情報は、視野角でのプリミティブの表面の反射率を含む。
【0061】
一部の実装では、この方法は、プリミティブの各幾何学的鏡面反射情報を考慮することによって、複数のプリミティブの各々からディスプレイの複数の素子の各々への各EM場の寄与を決定することをさらに含む。
【0062】
本開示の別の態様は、3次元(3D)空間内の物体に対応する複数のプリミティブの各プリミティブデータを含むグラフィックデータを取得することと、複数のプリミティブの各々について、ディスプレイの複数の素子の各々への電磁(EM)場の寄与を、3D座標系内で、プリミティブから素子へのEM場の伝搬を計算することによって決定することと、複数の素子の各々について、複数のプリミティブから素子へのEM場の寄与の合計を生成することと、複数の素子の各々について、各制御信号を素子に送信することであって、この制御信号が、素子へのEM場の寄与の合計に基づいて、素子の少なくとも1つの特性を変調するために存在する、ことと、ディスプレイの変調素子によって光が生じ、物体に対応する体積光照射野を形成するように、タイミング制御信号を発光体に送信して発光体を作動させ、ディスプレイに光を当てることとを含む方法を特徴とする。
【0063】
本開示の別の態様は、ディスプレイの複数の素子の各々について、事前に決定される較正値を使用して各制御信号を変更することと、各変更された制御信号をディスプレイの複数の素子に適用することと、ディスプレイ上の入射光の出力を測定することと、光の出力の測定に基づいて事前に決定される較正値を評価することとを含む方法を特徴とする。
【0064】
一部の実装では、事前に決定される較正値は、複数の素子の各々で同じである。
【0065】
一部の実装では、この方法は、デジタル/アナログコンバータ(DAC:digital-to-analog converter)によって複数の素子の各制御信号を変換することをさらに含み、複数の素子の各制御信号を変更することは、事前に決定される較正値を使用して各制御信号のデジタル信号を変更することを含む。
【0066】
一部の実装では、事前に決定される値が複数のビットを含む。
【0067】
一部の実装では、この方法は、評価の結果に基づいて事前に決定される較正値を調整することをさらに含む。事前に決定される較正値を調整することは、複数のビットの1つまたは複数の値を変更することを含むことができる。事前に決定される較正値を調整することは、事前に決定される較正値および以前の評価から決定された別の較正値に基づいて、複数のビットの値の組み合わせを決定することを含むことができる。
【0068】
一部の実装では、光の出力は、光の出力と背景との間の光の位相変化または強度差を含む。
【0069】
一部の実装では、素子の各制御信号は、3D空間内の物体に対応する複数のプリミティブから素子への電磁(EM)場の寄与の合計に基づいて決定される。
【0070】
本開示の別の態様は、ディスプレイの複数の素子の各々について、3次元(3D)空間内の複数のプリミティブからの電磁(EM)場の寄与の各合計を取得することであって、複数のプリミティブが3D空間内の物体に対応する、ことと、各数学的変換を素子のEM場の寄与の各合計に適用して、素子のEM場の寄与の各変換された合計を取得することと、素子のEM場の寄与の各変換された合計に基づいて、各制御信号を決定することと、素子の決定された各制御信号に基づいて、素子の特性を変調することとを含む方法を特徴とする。
【0071】
一部の実装では、この方法は、ディスプレイの複数の素子上に入射光を導入することと、光の第1の出力を測定することと、光の第1の出力の測定の結果に基づいて、複数の素子の各数学的変換の1つまたは複数の係数を調整することとをさらに含む。この方法は、ディスプレイの視野内の物体に対応するホログラフィックパターンの深度を変更することと、光の第2の出力を測定することと、第1および第2の出力に基づいて、各数学的変換の1つまたは複数の係数を調整することとをさらに含むことができる。この方法は、第1のホログラフィックパターンに対応する複数のプリミティブを、第2のホログラフィックパターンに対応する第2の複数のプリミティブに変更することと、光の第2の出力を測定することと、第1および第2の出力に基づいて、各数学的変換の1つまたは複数の係数を調整することとをさらに含むことができる。第1のホログラフィックパターンおよび第2のホログラフィックパターンは、物体に対応することができる。第2のホログラフィックパターンは、第1のホログラフィックパターンに関連する物体と異なる第2の物体に対応することができる。光の第1の出力は、画像センサによって測定され得る。画像センサは、マシンビジョンアルゴリズムを使用して、表示されているものを決定し、適合度パラメータを計算するように、構成され得る。第1および第2のホログラフィックパターンの各々は、点のグリッドを含むことができ、適合度パラメータは、点が互いにどの程度近いか、点がどの程度中心の近くに配置されているか、および点がどの程度変形しているかのうちの少なくとも1つである。
【0072】
一部の実装では、数学的変換は、ゼルニケ多項式から導出される。
【0073】
一部の実装では、複数の素子の数学的変換は、素子ごとに変化する。
【0074】
一部の実装では、この方法は、ディスプレイに光を当てることによって、一連の既知の色および強度のサンプルを再現することと、CIE標準観察者曲線に較正された比色計デバイスを使用して出力光を測定することと、CIE XYZ色空間内でディスプレイの出力光を定義することとをさらに含む。この方法は、既知の標準値からの定義された出力光の値のずれを決定することと、ディスプレイ上の出力色を適応させて、出力色を正しい色に調整することとをさらに含むことができる。
【0075】
本開示の別の態様は、液晶(LC:liquid crystal)ディスプレイの表示素子のピッチに基づいて、LCディスプレイのセルギャップを決定することと、LCディスプレイのセルギャップおよび事前に決定される位相差に基づいて、LC混合物の複屈折の最小値を計算することとを含む方法を特徴とする。
【0076】
一部の実装では、この方法は、最小値を超えるLC混合物の複屈折を維持しながら、LCディスプレイのスイッチング速度を改善することをさらに含む。スイッチング速度を改善することは、LC混合物の誘電異方性を増やすことと、LC混合物の回転粘度を減らすこととのうちの少なくとも1つを含むことができる。
【0077】
一部の実装では、LCディスプレイは、シリコンバックプレーンを備えるLCOS(liquid crystal on silicon)デバイスを含む。
【0078】
一部の実装では、LCディスプレイは、液晶層、共通電極として液晶層の上にある透明導電層、および液晶層の下にある複数の金属電極を備えているバックプレーンを含み、複数の金属電極の各々は互いに分離されており、バックプレーンは、複数の金属電極の各々の電圧を制御するように構成されている。
【0079】
本開示の別の態様は、バックプレーンと、バックプレーン上の複数の表示素子とを含むディスプレイを特徴とし、複数の表示素子のうちの少なくとも2つが異なるサイズを有する。
【0080】
一部の実装では、少なくとも2つの表示素子のうちの大きい方がバッファを備えており、少なくとも2つの表示素子のうちの小さい方がバッファを備えていない。より大きい表示素子は、導電線によって第1の複数の表示素子に接続することができ、第1の複数の表示素子内の第2の複数の表示素子のみに電圧が加えられるように、バッファが、導電線に加えられる電圧をバッファするように構成され、第2の複数の表示素子の数が、第1の複数の表示素子の数より少ない。
【0081】
一部の実装では、バッファは、トランジスタの形態でのアナログ回路または論理ゲートの形態でのデジタル回路を備える。
【0082】
一部の実装では、複数の表示素子のサイズの分布は、少なくとも2つの表示素子のうちの小さい方のサイズと実質的に同一である。
【0083】
一部の実装では、ディスプレイは、LCOS(liquid crystal on silicon)デバイスになるように構成される。
【0084】
本開示の別の態様は、バックプレーンと、バックプレーン上の複数の表示素子とを含むディスプレイを特徴とし、複数の表示素子のうちの少なくとも2つが異なる形状を有する。
【0085】
一部の実装では、バックプレーンが、表示素子の各々の各回路を含み、少なくとも2つの表示素子の各回路が、少なくとも2つの表示素子の異なる形状に対応する形状を有する。
【0086】
一部の実装では、複数の表示素子のサイズの分布は、事前に決定されるサイズと実質的に同一である。
【0087】
一部の実装では、ディスプレイは、LCOS(liquid crystal on silicon)デバイスになるように構成される。
【0088】
本開示の別の態様は、3次元(3D)空間内の物体に対応する複数のプリミティブの各プリミティブデータを含むグラフィックデータを取得することと、複数のプリミティブの各々について、ディスプレイの複数の素子の各々への電磁(EM)場の寄与を、3D座標系内で、プリミティブから素子へのEM場の伝搬を計算することによって決定することと、複数の素子の各々について、複数のプリミティブから素子へのEM場の寄与の合計を生成することと、複数の素子の各々について、各制御信号を素子に送信することであって、この制御信号が、素子へのEM場の寄与の合計に基づいて、素子の少なくとも1つの特性を変調するために存在する、ことと、ディスプレイの変調素子によって光が生じ、物体に対応する体積光照射野を形成するように、タイミング制御信号を発光体に送信して発光体を作動させ、ディスプレイに光を当てることとを含む方法を特徴とする。
【0089】
各態様の他の実施形態は、対応するコンピュータシステムと、装置と、1つまたは複数のコンピュータストレージデバイスに記録されたコンピュータプログラムとを含み、それぞれ、各方法の動作を実行するように構成される。1つまたは複数のコンピュータのシステムが、特定の動作またはアクションを実行するように構成されるということは、動作中にシステムに、動作またはアクションを実行させるソフトウェア、ファームウェア、ハードウェア、またはこれらの組み合わせが、システムにインストールされるということを意味する。1つまたは複数のコンピュータプログラムが、特定の動作またはアクションを実行するように構成されるということは、1つまたは複数のプログラムが、データ処理装置によって実行された場合に装置に動作またはアクションを実行させる命令を含むということを意味する。
【0090】
本開示の別の態様は、1つまたは複数のプロセッサと、1つまたは複数のプロセッサと通信し、1つまたは複数のプロセッサによって実行可能な命令を格納しており、そのような命令の実行時に、1つまたは複数のプロセッサに、本明細書で開示された方法のうちの1つまたは複数を実行させる、非一過性コンピュータ可読ストレージ媒体とを含むデバイスを特徴とする。
【0091】
本開示の別の態様は、1つまたは複数のプロセッサによって実行可能な命令を格納しており、そのような命令の実行時に、1つまたは複数のプロセッサに、本明細書で開示された方法のうちの1つまたは複数に従って方法を実行させる、非一過性コンピュータ可読ストレージ媒体を特徴とする。
【0092】
本開示の別の態様は、複数の素子を含むディスプレイと、ディスプレイに結合され、本明細書で開示された方法のうちの1つまたは複数を実行するように構成されたコントローラとを特徴とする。コントローラは、複数のコンピューティングユニットを含むことができ、コンピューティングユニットの各々が、3次元(3D)空間内の物体に対応する複数のプリミティブのうちの1つまたは複数のプリミティブに対して動作を実行するように構成されている。一部の実装では、コントローラがディスプレイにローカルに結合され、コンピューティングユニットの各々が、ディスプレイの1つまたは複数の各素子に結合され、各制御信号を1つまたは複数の各素子の各々に送信するように構成される。コンピューティングユニットは、並列に動作するように構成され得る。
【0093】
コントローラは、特定用途向け集積回路(ASIC:application-specific integrated circuit)、フィールドプログラマブルゲートアレイ(FPGA:field-programmable gate array)、プログラマブルゲートアレイ(PGA:programmable gate array)、中央処理装置(CPU:central processing unit)、グラフィックスプロセッシングユニット(GPU:graphics processing unit)、または標準計算セル(standard computing cells)のうちの少なくとも1つを含むことができる。ディスプレイは、デジタルマイクロミラーデバイス(DMD:digital micro-mirror device)またはLCOS(liquid crystal on silicon)デバイスを含む、空間光変調器(SLM:spatial light modulator)を含むことができる。ディスプレイは、位相変調、振幅変調、または位相変調および振幅変調を実行されるように構成され得る。コントローラは、メモリバッファを介してディスプレイに結合され得る。
【0094】
一部の実装では、システムは、ディスプレイに隣接して配置され、ディスプレイ上で発光するように構成された、発光体を含む。発光体は、コントローラに結合され、コントローラからの制御信号に基づいてオン/オフされるように構成され得る。
【0095】
場合によっては、発光体は、メモリバッファを介して、発光体内の1つまたは複数の発光素子の振幅または明るさを制御するように構成されたコントローラに結合される。発光体のメモリバッファは、ディスプレイのメモリバッファより小さいサイズを有することができる。発光体内の発光素子の数は、ディスプレイの素子の数より少なくすることができる。コントローラは、発光体の1つまたは複数の発光素子を同時に作動させるように構成され得る。
【0096】
発光体は、コヒーレント光源、半コヒーレント光源、または非コヒーレント光源であることができる。一部の実装では、発光体は、白色光を発するように構成され、ディスプレイは、白色光を異なる色を有する光に回折するように構成される。一部の実装では、発光体は、異なる色を有する光を発するようにそれぞれ構成された2つ以上の発光素子を含む。コントローラは、第1の期間中に第1の色に関連付けられた情報を使用してディスプレイを連続的に変調し、第2の連続的期間中に第2の色に関連付けられた情報を使用してディスプレイを変調するように、構成することができ、コントローラは、発光体を制御して、第1の期間中に第1の発光素子を連続的にオンにして、第1の色を有する光を発し、第2の期間中に第2の発光素子を連続的にオンにして、第2の色を有する光を発するように、構成することができる。
【0097】
一部の実装では、発光体が、ディスプレイの表面の前に配置され、0度~90度の範囲内の入射角でディスプレイの表面に光を発するように構成され、放射光がディスプレイの表面から反射される。場合によっては、発光体から放射される光は、コリメート光を含む。場合によっては、発光体から放射される光は、発散光を含む。場合によっては、発光体から放射される光は、半コリメート光(semi-collimated light)を含む。
【0098】
一部の実装では、発光体は、ディスプレイの裏面の後に配置され、ディスプレイの裏面に発散光を発するように構成され、放射された光が、ディスプレイを介して、ディスプレイの前面からディスプレイの外へ送信される。
【0099】
一部の実装では、発光体は、光を発するように構成された光源と、光源に結合され、ディスプレイに隣接して配置された導波管とを含み、この導波管は、光源から放射された光を受信し、放射された光をディスプレイに誘導するように構成されている。場合によっては、光源からの光は、光カプラを介して導波管の垂直断面から導波管に結合される。場合によっては、光源および導波管は、平面的形態で統合され、ディスプレイの表面に配置される。導波管は、光を誘導してディスプレイを均一に照らすように構成され得る。
【0100】
場合によっては、導波管がディスプレイの裏面に配置され、光が、ディスプレイを介して送信するように誘導され、ディスプレイの前面からディスプレイの外へ回折される。コントローラが、導波管の裏面に配置され得る。場合によっては、導波管がディスプレイの前面に配置され、光が、ディスプレイの前面に入射されるように誘導され、前面によって反射される。
【0101】
本開示の別の態様は、素子の配列を含むディスプレイと、コンピューティングユニットの配列を含む集積回路とを含むシステムを特徴とし、コンピューティングユニットの各々が、ディスプレイの1つまたは複数の各素子に結合されており、複数のプリミティブのうちの少なくとも1つのプリミティブから素子の配列の各々への電磁(EM)場の寄与を計算することと、1つまたは複数の各素子の各々について、複数のプリミティブから素子へのEM場の寄与の各合計を生成することとを実行するように構成されている。
【0102】
コンピューティングユニットの各々は、コンピューティングユニットの配列のうちの他のコンピューティングユニットから、複数のプリミティブのうちの他のプリミティブから1つまたは複数の各素子の各々への計算されたEM場の寄与を受信することと、1つまたは複数の各素子の各々について、受信された、他のプリミティブから素子への計算されたEM場の寄与を加算することによって、EM場の寄与の各合計を生成することとを実行するように、構成され得る。
【0103】
コンピューティングユニットの各々は、1つまたは複数の各素子の各々について、素子へのEM場の寄与の各合計に基づいて、素子の少なくとも1つの特性を変調するための各制御信号を生成するように、構成され得る。
【0104】
一部の実装では、集積回路は、複数のプリミティブからディスプレイの素子の各々への計算されたEM場の寄与の累算結果を格納するように構成された各累算器を含む。集積回路は、計算動作の開始時に累算器を初期化するように構成され得る。一部の例では、集積回路は素子の各々の各メモリバッファを含み、集積回路は、複数のプリミティブから素子への計算されたEM場の寄与を累算して、各累算器内の最終的な累算結果として、EM場の寄与の各合計を取得し、最終的な累算結果を各累算器から素子の各メモリバッファに転送するように、構成され得る。
【0105】
一部の実装では、システムは、集積回路とディスプレイとの間に配置され、集積回路から制御信号を受信して、制御信号に基づいてディスプレイに光を当てるように構成された、発光体をさらに含み、集積回路、発光体、およびディスプレイが、単一のユニットとして統合され得る。
【0106】
本開示のさらに別の態様は、3次元(3D)空間内の物体に対応する複数のプリミティブの各プリミティブデータを含むデータを生成するように構成されたコンピューティングデバイスを含むシステムを特徴とし、このシステムが本明細書において開示される。このシステムは、コンピューティングデバイスからグラフィックデータを受信し、3D空間内の物体を提示するためのグラフィックデータを処理するように構成される。コンピューティングデバイスは、物体のコンピュータ生成(CG:computer generated)モデルをレンダリングすることによって、各プリミティブデータを含むプリミティブを作成するように構成された、アプリケーションプログラミングインターフェイス(API:application programming interface)を含むことができる。
【0107】
本明細書における本開示では、「プリミティブ」という用語は、コンピューティングシステム内の入力または出力のための分割不可能な基本的要素のことを指す。この要素は、幾何学的要素または図形要素であることができる。「ホログラム」という用語は、物体に関する振幅情報または位相情報あるいはその組み合わせを含む、ディスプレイに表示されたパターンのことを指す。「ホログラフィック再構築」という用語は、照らされたときのディスプレイからの体積光照射野(例えば、ホログラフィック光照射野)のことを指す。
【0108】
本明細書の対象の1つまたは複数の実装の詳細が、添付の図面および関連する説明において示される。対象のその他の特徴、態様、および利点が、説明、図面、および特許請求の範囲から明らかになるであろう。
【0109】
実装のさまざまな態様を異なる方法で組み合わせることができるということが、理解されるべきである。一例として、特定の方法の特徴が、他の方法の特徴と組み合わせられ得る。
【図面の簡単な説明】
【0110】
【
図1A】ホログラフィックディスプレイを含む例示的なシステムを示す概略図である。
【
図1B】例示的なホログラフィックディスプレイを示す概略図である。
【
図1C】3Dディスプレイ用の例示的なシステムを示す図である。
【
図2】電磁(EM)伝搬計算の例示的な構成を示す図である。
【
図3-1】
図3Aは、ディスプレイの素子と相対的な点プリミティブの例示的なEM伝搬を示す図である。
図3Bは、ディスプレイの素子と相対的な線プリミティブの例示的なEM伝搬を示す図である。
図3Cは、ディスプレイの素子と相対的な三角形プリミティブの例示的なEM伝搬を示す図である。
【
図3-2】
図3Dは、線プリミティブを閉塞体として含む、点プリミティブのマクスウェルホログラフィック閉塞(Maxwell holographic occlusion)の例示的な実施を示す図である。
図3Eは、別の線プリミティブを閉塞体として含む、線プリミティブのマクスウェルホログラフィック閉塞の例示的な実施を示す図である。
図3Fは、線プリミティブを閉塞体として含む、三角形プリミティブのマクスウェルホログラフィック閉塞の例示的な実施を示す図である。
【
図3-3】マクスウェルホログラフィックのつなぎ合わせの例示的な実施を示す図である。
【
図4】3D内の物体を表示する例示的なプロセスのフローチャートである。
【
図5A】3Dディスプレイ用の例示的なシステムの実装を示す図である。
【
図5B】3Dディスプレイ用の例示的なシステムの実装を示す図である。
【
図5C】3Dディスプレイ用の例示的なシステムの実装を示す図である。
【
図5D】3Dディスプレイ用の例示的なシステムの実装を示す図である。
【
図5E】3Dディスプレイ用の例示的なシステムの実装を示す図である。
【
図5F】3Dディスプレイ用の例示的なシステムの実装を示す図である。
【
図6A】不均一な形状を有する表示素子を含む例示的なディスプレイを示す図である。
【
図6B】異なるサイズを有する表示素子を含む例示的なディスプレイを示す図である。
【発明を実施するための形態】
【0111】
本開示の実装は、複雑なコンピュータ生成シーンの3Dディスプレイを本物のホログラムとして可能にするための技術を特徴とする。この技術は、マクスウェルホログラフィとして表され得る電磁場のマクスウェル方程式に基づいて、リアルタイムの動的計算ホログラフィに対する新しい確定的解決策を提供する。マクスウェルホログラフィにおける計算(calculation)(または計算(computation))は、マクスウェルホログラフィック計算(Maxwell holographic calculation)(またはマクスウェルホログラフィック計算(Maxwell holographic computation))として表され得る。実施形態では、本開示は、場の理論、トポロジー、解析接続、および/または対称性群を含むツールを利用して、一般的な電場に関するディリクレ境界条件問題またはコーシー境界条件問題としてホログラムに取り組み、従来のホログラフィックシステムの制限なしでホログラムについてリアルタイムに解くことを可能にする。実施形態では、空間光変調器(SLM)または任意のその他のホログラフィックデバイスを利用して、位相のみのホログラム、振幅のみのホログラム、または位相と振幅のホログラムを作成するための技術が使用され得る。
【0112】
本開示の実装は、(1)古典的な光学の代わりに場の理論および接触幾何学を使用する、電磁気境界条件としてのホログラムの近似のメカニズム、(2)コンピュータコードおよびアプリケーションプログラミングインターフェイス(API)への、計算ホログラフィに対する電磁気境界条件の方法の導出および実装、すなわち、ホログラムの平面に対する2D解析関数としてホログラム計算およびその後の並列アルゴリズムへの離散化の実装、ならびに/あるいは(3)標準的な既存のコンピュータグラフィックスのツールおよび手法との完全な互換性を可能にすることができる、標準的なコンピュータグラフィックスのプリミティブ(例えば、点、線、三角形、およびテクスチャの三角形)の完全に3Dのホログラフィック版一式の実装を提供することができる。これらの技術は、デバイスが、特にホログラフィ用に作成されていない一般的な既存のコンテンツを表示できるようにすることができ、同時に、既存のコンテンツ作成者が、特殊な手法を学習する必要も、特殊なツールを使用する必要もなく、ホログラフィック作品を作成できるようにする。
【0113】
特に、これらの技術は、計算ホログラフィ(例えば、G-S(Gerchberg-Saxton)モデル)において一般的に使用される古典的な光学の数学的定式化の代わりに、電磁(EM)現象としての光の数学的定式化(または式)の使用を含むことができる。本明細書で開示される数学的定式化は、マクスウェル方程式から導出される。実施形態では、本明細書で開示される技術は、表示される画像を電磁場として扱うこと、およびホログラムを、電磁場を生成する境界値条件(例えば、ディリクレ問題)として扱うことを含む。さらに、コンピュータグラフィックスにおいてプリミティブのパラダイムの偏在を使用して、望ましい画像を構築することができ、例えば、これらの技術を使用して、2D画面への投影像の代わりに、任意の3D画像をホログラフィック再構築、例えば、ホログラフィック光照射野として表示することができる。帯域幅制限を受ける深度点群技術と比較して、これらの技術は、そのような制限を避け、任意の適切な種類のプリミティブ、例えば、点プリミティブ、線プリミティブ、または三角形プリミティブなどの多角形プリミティブを使用することができる。さらに、色情報、テクスチャ情報、および/または陰影情報を使用して、プリミティブをレンダリングすることができる。これは、ライブホログラフィックビデオを含むCGホログラフィックコンテンツのための記録方式および圧縮方式の実現に役立つ。
【0114】
実施形態では、これらの技術は、マクスウェル方程式を使用して、生成されるホログラムを、電磁場をモデル化するための境界条件問題として計算し、高速フーリエ変換(FFT:fast Fourier transform)への依存およびそれに固有の制限をなくすことができ、コリメート光源およびレーザーへの依存をなくすことができ、かつ/または計算ホログラフィおよび非確定的解決策に対する以前の方法の制限をなくすことができる。
【0115】
実施形態では、これらの技術は、シーンを構築するために必要なコンピュータ生成(CG)プリミティブのパラメータに応じて、独立した入力をホログラムの表面に制約する数理最適化プロセスを介して、計算の簡潔さおよび速度に関して最適化され得る。これによって、コンピューティングアーキテクチャ(例えば、特定用途向け集積回路(ASIC)およびマルチコアアーキテクチャ)において、作業を高度に並列かつ高度に最適な方法で実行することができる。ホログラムを計算するプロセスは、コンピュータ生成画像(CGI:computer-generated imagery)シーンの形態で入力データに対して実行される単一の命令と見なすことができ、理論的には、1つのCGIプリミティブにつき1クロックサイクルで完了され得る。
【0116】
実施形態では、これらの技術は、ホログラフィックシーンを、例えばビデオゲーム、映画、テレビ、コンピュータディスプレイ、または任意のその他のコンピューティングディスプレイ技術において採用されているような、従来の3Dグラフィックスの標準的なプリミティブとの機能的な互換性能のある、完全に3Dのホログラフィックプリミティブアパーチャ(holographic primitive apertures)の集合として扱う。これらの技術は、計算ホログラフィの標準的な実装に固有の制限なしで、ハードウェアおよびソフトウェアにおけるこれらのアパーチャプリミティブ(aperture primitives)の効率的な実装を可能にすることができる。プリミティブの振幅および色は、自動的に計算され得る。計算の複雑さは、標準的な計算ホログラフィにおけるn^2またはn*log(n)と比べると、位相素子の数nと共に線形に増加することが可能である。作成された画像は、完全に3Dであり、平面的画像の集合ではなく、これらの技術は、未知のステップ数での反復的な振幅の修正を必要としない。さらに、生成されたホログラムは、ホログラフィックデバイス上の空間を占める「共役」画像を含まない。
【0117】
ホログラフィックプリミティブ(holographic primitives)は、数学的対象の特殊な集合であるため、計算が比較的単純かつ比較的高速である可能性があり、並列な分散計算方法に非常に適していることがある。この計算可能性および並列性は、理論的には無制限のサイズの面積の大きいホログラフィックデバイスを設計するための、大きいホログラムの対話的計算を可能にし、そのようなデバイスは、ホログラフィックコンピュータディスプレイ、電話機のディスプレイ、ホームシアター、およびホログラフィックルームとして機能することができる。さらに、これらのホログラムは、要素を固体ではなく輪郭線で表示させることがある従来のホログラフィック計算方法に関連する制限なしで、大きい領域を光で、例えば、大きい陰影のある領域を3Dでレンダリングして満たすことができる。さらに、この比較的単純かつ比較的高速な計算は、n^2の計算負荷によって、およびの反復的な振幅の修正によって制約されない対話的速度で、リアルタイムのホログラムの表示を可能にする。
【0118】
実施形態では、これらの技術は、最新のASICおよびマルチコアアーキテクチャ上で、自然な計算可能性を実現することができ、最新のグラフィックスハードウェア、最新のグラフィックスソフトウェア、ならびに/または最新のグラフィックスツールおよびツールチェーンとの完全な互換性を実現することができる。例えば、これらの技術は、明快で簡素なホログラフィックAPIを実装することができ、これらのAPIを介して通常の標準的な3Dコンテンツ作成ツール、例えば、3DS Max(登録商標)、SolidWorks(登録商標)、Maya(登録商標)、またはUnity3Dを使用して、任意のCGモデルの高性能のレンダリングを可能にすることができる。これらのAPIは、開発者またはユーザがホログラフィックデバイス、例えば、光変調器またはホログラフィックシステムと対話することを可能にすることができる。ホログラフィックAPIは、コンピュータグラフィックスのプリミティブを個別のホログラフィックシーンのプリミティブとして作成することができ、汎用ホログラフィック計算ハードウェアおよび特別に設計されたホログラフィック計算ハードウェアを利用した豊富なホログラフィックコンテンツの生成を可能にする。数学的な計算アーキテクチャの作成は、従来の3Dコンテンツおよびソフトウェアアプリケーションを作成するために使用されるツールおよび手法を使用して、ホログラムのレンダリングを可能にすることができる。数学的な計算アーキテクチャの最適化は、ホログラフィック再構築として表示される従来のグラフィックスおよびレンダリングの高性能な実施形態を可能にすることができる。
【0119】
これらの技術におけるアルゴリズムは、ハードウェアにおいて実装するのが比較的単純である。これによって、ユーザが期待する高品質な最新のレンダリングに必要な計算速度を可能にするだけでなく、ホログラフィックデバイスの一部として、比較的単純な回路、例えば、ASICのゲート構造でアルゴリズムを実装できるようにする。したがって、シーンの計算を、リモートで計算し、次に、コンテンツのすべてのフレームごとにディスプレイのすべてのピクセルに書き込む必要がある代わりに、ディスプレイデバイスに組み込まれたコンピューティングアーキテクチャ(例えば、組み込まれた計算)全体に分散できるため、高密度のディスプレイの障害になることのある帯域幅の問題が重要でなくなることができる。これは、表示素子の数、したがってホログラフィックディスプレイのサイズが、他の技術を制限する制約によって比較的に束縛されなくなることが可能であるということも意味する。
【0120】
これらの技術は、例えば、LiDar(solid-state light detection and ranging)デバイス、3Dプリンティング、スマート照明、スマートマイクロディスプレイ、または構造化光を必要とする任意のその他の応用などのさまざまな応用において、比較的単純かつ比較的安価に実装される構造化光を使用して、複数の対話的技術を可能にすることができる。これらの技術は、光学的シミュレーション、例えば、格子シミュレーションにも使用され得る。
【0121】
図1Aは、3Dディスプレイのための例示的なシステム100の概略図を示している。システム100は、コンピューティングデバイス102およびホログラフィックディスプレイデバイス(またはマクスウェルホログラフィックディスプレイデバイス)110を含む。コンピューティングデバイス102は、物体、例えば、3D物体に対応するプリミティブのリスト用のデータを準備し、このデータを有線接続または無線接続、例えば、USB-C接続または任意のその他の高速シリアル接続を介してホログラフィックディスプレイデバイス110に送信するように構成される。ホログラフィックディスプレイデバイス110は、プリミティブのリストからホログラフィックディスプレイデバイス110内のディスプレイの表示素子(例えば、変調器)への電磁(EM)場の寄与を計算することと、ディスプレイ上の計算されたEM場の寄与に基づいて、あるパターン、例えば、ホログラムを使用して表示素子を変調することと、発光時に3D内の物体に対応する光照射野、例えば、ホログラフィック再構築を表示することとを実行するように構成される。本明細書では、ホログラムは、物体に関する振幅情報または位相情報あるいはその組み合わせを含む、ディスプレイに表示されたパターンのことを指す。ホログラフィック再構築は、照らされたときのディスプレイからの体積光照射野(例えば、ホログラフィック光照射野)のことを指す。
【0122】
コンピューティングデバイス102は、任意の適切な種類のデバイス、例えば、デスクトップコンピュータ、パーソナルコンピュータ、ノート型コンピュータ、タブレットコンピューティングデバイス、パーソナルデジタルアシスタント(PDA:personal digital assistant)、ネットワークアプライアンス、スマートフォン、スマートウォッチ、高速汎用パケット無線サービス(EGPRS:enhanced general packet radio service)携帯電話、メディアプレーヤー、ナビゲーションデバイス、電子メールデバイス、ゲーム機、あるいはこれらのコンピューティングデバイスまたはその他のコンピューティングデバイスのうちの任意の2つ以上の任意の適切な組み合わせであることができる。
【0123】
コンピューティングデバイス102は、複数のアプリケーション106をグラフィックスエンジンとして含むことができるオペレーティングシステム(OS:operating system)104を含む。アプリケーション106は、標準的な3Dコンテンツ作成ツール、例えば、3DS Max(登録商標)、SolidWorks(登録商標)、Maya(登録商標)、またはUnity3Dを使用して、シーン、例えば、任意のCGモデルを処理またはレンダリングすることができる。シーンは、3D物体に対応することができる。アプリケーション106は、並列に動作してシーンをレンダリングし、OSグラフィックス抽象化(OS graphics abstraction)101を取得することができ、このOSグラフィックス抽象化101は、さらに処理するためにグラフィックスプロセッシングユニット(GPU)108に提供され得る。一部の実装では、OSグラフィックス抽象化101は、さらに処理するためにホログラフィックディスプレイデバイス110に提供される。
【0124】
GPU108は、コンピュータグラフィックスおよび画像処理の高速な操作のために設計された専用の電子回路を含むことができる。GPU108は、シーンのグラフィックス抽象化101を処理して、処理されたシーンデータ103を取得することができ、シーンデータ103を使用して、特定の順序でインデックス付けされたプリミティブのリスト105を取得することができる。プリミティブは、点プリミティブ、線プリミティブ、または多角形プリミティブのうちの少なくとも1つを含むことができる。一部の実装では、GPU108は、処理されたシーンデータ103およびプリミティブのリスト105を生成するように構成されたビデオドライバを含む。
【0125】
一部の実装では、GPU108は、従来のレンダラー120を含み、レンダラー120によって、従来のモニタ124、例えば、2D表示画面上に描画するために、プリミティブのリスト105が、従来のレンダリング手法、例えば、カリングおよびクリッピングによってアイテムのリストにレンダリングされ得る。アイテムのリストが、画像バッファ122を介して従来のモニタ124に送信され得る。
【0126】
一部の実装では、GPU108は、プリミティブのリスト105を、ホログラフィックディスプレイデバイス110によって表示されるグラフィックデータにレンダリングするために、ホログラフィックレンダラー(holographic renderer)130を含む。グラフィックデータは、プリミティブのリストおよび対応するプリミティブデータを含むことができる。例えば、グラフィックデータは、プリミティブごとに16進コードを含むことができる。
【0127】
一部の実装では、GPU108は、従来のレンダラー120およびホログラフィックレンダラー130の両方を含む。一部の実装では、GPU108は従来のレンダラー120を含み、ホログラフィックディスプレイデバイス110はホログラフィックレンダラー130を含む。
【0128】
プリミティブに対応するプリミティブデータは、色情報、例えば、テクスチャ色、グラデーション色、またはその両方、テクスチャ情報、および/または陰影情報を含むこともできる。陰影情報は、プリミティブの表面の色または明るさを変調することを含む任意の通例のCGIの表面陰影付け方法によって取得され得る。
【0129】
プリミティブのプリミティブデータは、3D座標系例えば、デカルト座標系XYZ、極座標系、円筒座標系、および球座標系内のプリミティブの座標情報を含むことができる。下でさらに詳細に説明されるように、ホログラフィックディスプレイデバイス110内の表示素子は、3D座標系内の対応する座標情報を含むこともできる。座標位置でのプリミティブは、表示素子に隣接する、例えば、表示素子の前にある3D物体を表すことができる。
【0130】
一例として、プリミティブは、陰影のある線、例えば、その長さにわたってある色から別の色に滑らかに変化する直線である。このプリミティブをレンダリングするには、2つの端点および各端点での色情報(例えば、RGB色値)という4つの要素のデータが必要である。この線の16進コードがA0であり、この線が、3D座標系内で第1の端点(0.1,0.1,0.1)から第2の端点(0.2,0.2,0.2)に伸び、第1の端点で1/2の青色RGB=(0,0,128)を有し、第2の端点で完全な赤色RGB=(255,0,0)を有するということを仮定する。ホログラフィックレンダラーは、プリミティブごとに期待するデータの量および種類を決定する。線の場合、プリミティブストリーム内の陰影のある線のプリミティブデータは、以下のような一連の命令であることができる。
0xA0 //陰影のある線の16進コード
0x3dcccccd //(0.1,0.1,0.1)の浮動小数(単精度)での
第1の頂点
0x3dcccccd
0x3dcccccd
0x000080 //第1の頂点の色は(0,0,128)である
0x3e4ccccd //(0.2,0.2,0.2)の浮動小数(単精度)での
第2の頂点
0x3e4ccccd
0x3e4ccccd
0xff0000 //第2の頂点の色は(255,0,0)である
【0131】
陰影のある線プリミティブに関して、プリミティブデータ内に合計で31の16進ワードが存在する。したがって、これは、複雑なシーンを送信するための極めて効率的な方法であることができ、プリミティブデータを、さらに圧縮することができる。各プリミティブが確定的なチューリングステップ(Turing step)であるため、ターミネータは不要である。この線プリミティブが2D表示画面上で単純に描画される従来のモデルと異なり、この線のプリミティブデータがホログラフィックディスプレイデバイス110に送信され、ホログラフィックディスプレイデバイス110が、ホログラムを計算し、空間内で浮かむ線を提示する対応するホログラフィック再構築を表示することができる。
【0132】
一部の実装では、コンピューティングデバイス102は、非プリミティブに基づくデータ、例えば、記録された光照射野のビデオを、ホログラフィックディスプレイデバイス110送信する。ホログラフィックディスプレイデバイス110は、連続的なホログラムを計算し、ビデオを空間内の連続的なホログラフィック再構築として表示することができる。一部の実装では、コンピューティングデバイス102は、CGホログラフィックコンテンツを、ライブホログラフィックコンテンツと同時に、ホログラフィックディスプレイデバイス110に送信する。ホログラフィックディスプレイデバイス110は、対応するホログラムを計算し、コンテンツを対応するホログラフィック再構築として表示することもできる。
【0133】
図1Aに示されているように、ホログラフィックディスプレイデバイス110は、コントローラ112およびディスプレイ114を含む。コントローラ112は、複数のコンピューティングユニットまたは処理ユニットを含むことができる。一部の実装では、コントローラ112は、ASIC、フィールドプログラマブルゲートアレイ(FPGA)、またはGPU、あるいはこれらの任意の組み合わせを含む。一部の実装では、コントローラ112は、プリミティブのリスト105を、コンピューティングユニットによって計算されるグラフィックデータにレンダリングするために、ホログラフィックレンダラー130を含む。一部の実装では、コントローラ112は、OSグラフィックス抽象化101を、さらに処理するためにコンピューティングデバイス102から受信する。ディスプレイ114は、複数の表示素子を含むことができる。一部の実装では、ディスプレイ114が空間光変調器(SLM)を含む。SLMは、位相SLM、振幅SLM、または位相および振幅SLMであることができる。一部の例では、ディスプレイ114は、デジタルマイクロミラーデバイス(DMD)またはLCOS(liquid crystal on silicon)デバイスであることができる。一部の実装では、ホログラフィックディスプレイデバイス110は、ディスプレイ114に隣接しており、ディスプレイ114に向かって光を発するように構成された、発光体116を含む。発光体116は、コヒーレント光源、例えば、レーザー、半コヒーレント光源例えば、LED(light emitting diode:発光ダイオード)、または非コヒーレント光源であることができる。
【0134】
3Dシーンを受け取って2Dディスプレイデバイスに投影する従来の3Dグラフィックスシステムと異なり、ホログラフィックディスプレイデバイス110は、光照射野、例えば、色の3D体積の形態でホログラフィック再構築117などの3D出力を生成するように構成される。ホログラムでは、各表示素子がシーンの各部分に寄与する。すなわち、ホログラフィックディスプレイデバイス110の場合、シーンの完全な再現のために、シーンのすべての部分例えば、GPU108によって生成されたプリミティブのリスト内の各プリミティブについて、各表示素子を変調する必要がある。一部の実装では、例えば再現されるシーンにおいて許容できるレベルの精度に基づいて、特定の素子の変調が省略されてよい。
【0135】
一部の実装では、コントローラ112は、各プリミティブから各表示素子へのEM場の寄与、例えば、位相、振幅、またはその両方を計算することと、表示素子ごとに、プリミティブのリストから表示素子へのEM場の寄与の合計を生成することとを実行するように構成される。これは、すべてのプリミティブを調べ、特定の表示素子への寄与を累積することによって、またはプリミティブごとに各表示素子を調べることによって実行され得る。
【0136】
コントローラ112は、プリミティブに関する事前に決定される式に基づいて、各プリミティブから各表示素子へのEM場の寄与を計算できる。異なるプリミティブは、対応する式を有することができる。場合によっては、事前に決定される式は、
図3A~3Cに関して下でさらに詳細に説明されるように、解析的式である。場合によっては、事前に決定される式は、ディスプレイ114で定義された境界条件付きのマクスウェル方程式を解くことによって決定される。境界条件は、ディリクレ境界条件またはコーシー境界条件を含むことができる。次に、表示素子が、例えば表示素子の屈折率、振幅指数、複屈折、または位相差のうちの少なくとも1つを変調することによって、EM場の寄与の合計に基づいて変調され得る。
【0137】
場の境界を示す表面上の各点でのEM場の値、例えば、マクスウェル方程式に対する解が既知である場合、境界面によって境界が示された体積内のEM場の正確な一意の構成が決定され得る。プリミティブのリスト(または対応するホログラムのホログラフィック再構築)およびディスプレイ114が3D空間を定義し、ディスプレイ114の表面が、3D空間の境界面の一部を形成する。ディスプレイ114の表面上のEM場の状態(例えば、位相または位相および振幅の状態)を設定することによって、例えば、ディスプレイの表面に光を当てることによって、EM場の境界条件が決定され得る。マクスウェル方程式の時間対称性により、ホログラムに対応するプリミティブからのEM場の寄与に基づいて表示素子が変調されるため、ホログラムに対応する体積光照射野が、ホログラフィック再構築として取得され得る。
【0138】
例えば、特定の色の発光の線プリミティブが、ディスプレイ114の前で設定され得る。
図3Bに関して下でさらに詳細に説明されるように、線形アパーチャに関する解析的式を、空間内の関数として記述することができる。次に、ディスプレイ114を含む境界面上の線プリミティブからのEM場の寄与が決定され得る。計算されたEM場の寄与に対応するEM場の値がディスプレイ114上で設定された場合、マクスウェル方程式の時間対称性により、計算で使用されたのと同じ線形アパーチャが、対応する位置、例えば、3D座標系内の線形プリミティブの座標位置に現れることができる。
【0139】
一部の例では、
図3Bに関して下でさらに詳細に説明されるように、3D空間内の2つの点AとBの間に光の線が存在すると仮定する。この光は、均一に照らされ、線の距離lにつき強度Iを有する。AからBまでの線に沿った無限小の各dlで、I*dlに比例する光量が放射される。無限小のdlは、デルタ(点)源(delta (point) source)として働くことができ、無限小のdlから、プリミティブのリストに対応するシーンの周囲の境界面上のすべての点へのEM場の寄与が、決定され得る。したがって、ディスプレイ114上のすべての表示素子について、無限小の線分からの表示素子でのEM場の寄与を表す解析的方程式が、決定され得る。線に沿って進み、ディスプレイ上の表示素子でのEM場への線全体のEM場の寄与を累積する特殊な総和/積分が、式として決定され得る。この式に対応する値が、例えば表示素子を変調し、表示素子を発光させることによって、表示素子で設定され得る。次に、時間反転および補正定数によって、3D空間内で点AおよびBによって定義された位置と同じ位置に、線が作成され得る。
【0140】
一部の実装では、コントローラ112は、メモリバッファを介してディスプレイ114に結合される。制御信号112は、表示素子の各々へのEM場の寄与の合計に基づいて、各制御信号を生成できる。制御信号は、EM場の寄与の合計に基づいて表示素子を変調するために存在する。各制御信号は、メモリバッファを介して対応する表示素子に送信される。
【0141】
一部の実装では、コントローラ112は、ディスプレイ114と統合され、ディスプレイ114にローカルに結合される。
図1Bに関してさらに詳細に説明されるように、コントローラ112は、1つまたは複数の各表示素子にそれぞれ結合され、各制御信号を1つまたは複数の各表示素子の各々に送信するように構成された、複数のコンピューティングユニットを含むことができる。各コンピューティングユニットは、プリミティブのリストのうちの1つまたは複数のプリミティブに対して計算を実行するように構成され得る。コンピューティングユニットは、並列に動作することができる。
【0142】
一部の実装では、発光体116は、コントローラ112に結合され、コントローラ112からの制御信号に基づいてオン/オフされるように構成される。例えば、コントローラ112は、コントローラ112が計算を完了すること、例えば、表示素子のEM場の寄与の合計がすべて取得されることに応答して、発光体116を作動させてオンにすることができる。前述したように、発光体116がディスプレイ114上で発光するときに、ディスプレイの変調素子が、光を異なる方向に伝搬させ、3D物体に対応するプリミティブのリストに対応する体積光照射野を形成する。その結果として得られた体積光照射野は、ディスプレイ114の変調素子によって定義された境界条件付きのマクスウェル方程式の解に対応する。
【0143】
一部の実装では、コントローラ112は、メモリバッファを介して発光体116に結合される。メモリバッファは、発光体内の発光素子の振幅または明るさを制御するように構成され得る。発光体116のメモリバッファは、ディスプレイ114のメモリバッファより小さいサイズを有することができる。発光体116内の発光素子の数は、発光素子からの光が、ディスプレイ114の全表面を照らすことができる限り、ディスプレイ114の表示素子の数より少なくすることができる。例えば、64×64個のOLED(organic light emitting diodes:有機発光ダイオード)を含む発光体を、1024×1024個の素子を含むディスプレイに使用することができる。コントローラ112は、発光体116の複数の発光素子を同時に作動させるように構成され得る。
【0144】
一部の実装では、発光体116は、単色光、例えば、赤色光、緑色光、または青色光を発するように構成された単色光源である。一部の実装では、発光体116は、異なる色を有する光を発するようにそれぞれ構成された2つ以上の発光素子を含む。例えば、発光体116は、赤色発光素子、緑色発光素子、および青色発光素子を含むことができる。フルカラーの3D物体を表示するために、赤色用、緑色用、および青色用の3つの別々のホログラムを計算することができる。すなわち、対応するプリミティブから表示素子への3つのEM場の寄与が取得され得る。EM場の寄与に基づいて、表示素子を連続的に変調することができ、赤色発光素子、緑色発光素子、および青色発光素子を連続的にオンにするように、発光体116を制御することができる。視聴者の目の中の時間的な視覚のコヒーレンス(temporal coherence-of vision)の効果に応じて、目の中で3つの色を結合し、フルカラーの外観を提供することができる。場合によっては、発光体116は、表示画像(またはホログラフィック再構築)の状態の変化中にオフにされ、有効な画像(またはホログラフィック再構築)が提示されるときに、一定の期間、オンにされる。これも、画像(またはホログラフィック再構築)を安定しているように見せるために、時間的な視覚のコヒーレンスに依存することができる。
【0145】
一部の実装では、ディスプレイ114は、可視光を回折するほど十分細かい解像度、例えば、約0.5μm以下を有する。発光体116は、単一の白色光源を含むことができ、放射された白色光が、ディスプレイ114によってホログラフィック再構築の異なる色に回折され得る。
【0146】
図5A~5Fに関して下でさらに詳細に説明されるように、システム100の異なる構成が存在することができる。ディスプレイ114は、反射型または透過型であることができる。ディスプレイ114は、小型(例えば、一辺が1~10cm)から大型(例えば、一辺が100~1000cm)までに及ぶ、さまざまなサイズを有することができる。発光体116からの発光は、ディスプレイ114の前面から(例えば、反射型ディスプレイの場合)、またはディスプレイ114の裏面から(例えば、透過型ディスプレイの場合)であることができる。平面導波管を使用して、ディスプレイ114の表面を均一に照らすことができる。一部の実装では、コントローラ112、発光体116、およびディスプレイ114は、単一のユニットとして統合され得る。統合された単一のユニットは、ホログラフィックレンダラー130を、例えばコントローラ112内に含むことができる。
【0147】
図1Bは、例示的なホログラフィックディスプレイデバイス150の概略図を示している。ホログラフィックディスプレイデバイス150は、
図1Aのホログラフィックディスプレイデバイス110に類似することができる。ホログラフィックディスプレイデバイス150は、コンピューティングアーキテクチャ152およびディスプレイ156を含む。コンピューティングアーキテクチャ152は、
図1Aのコントローラ112に類似することができる。コンピューティングアーキテクチャ152は、並列計算コア154の配列を含むことができる。計算コアは、通信接続159、例えば、USB-C接続または任意のその他の高速シリアル接続を介して、隣接する計算コアに接続され得る。接続159は、データ分散ネットワークに含まれることができ、データ分散ネットワークを介して、シーンデータ151(例えば、シーンのプリミティブ)が計算コア154間で分散され得る。
【0148】
ディスプレイ156は
図1Aのディスプレイ114に類似することができ、バックプレーン158に配置された表示素子160の配列を含むことができる。表示素子160は、バックプレーン158の前面に配置することができ、計算コア154は、バックプレーン158の裏面に配置することができる。バックプレーン158は、基板、例えば、ウエハーであることができる。計算コア154は、ディスプレイ156と同じ基板上にあるか、またはディスプレイ156の裏面に接着され得る。
【0149】
各計算コア154は、表示素子160の各タイル(または配列)に接続され得る。各計算コア154は、シーンデータ151内の複数のプリミティブのうちの各プリミティブに対して、互いに並列に計算を実行するように構成される。一部の例では、計算コア154は、各プリミティブの各々から表示素子160の配列の各々へのEM場の寄与を計算することと、複数のプリミティブから表示素子160の各タイルの各々へのEM場の寄与の合計を生成することとを実行するように構成される。計算コア154は、計算コア154の配列のうちの他の計算コアから、複数のプリミティブのうちの他のプリミティブから表示素子160の各タイルの各々への計算されたEM場の寄与を受信し、受信された、計算されたEM場の寄与に基づいて、EM場の寄与の合計を生成することができる。計算コア154は、表示素子の各タイルの各々の制御信号を生成し、表示素子へのEM場の寄与の合計に基づいて、表示素子160の各タイルの各々の少なくとも1つの特性を変調することができる。
【0150】
前述したように、コンピューティングアーキテクチャ152は、例えば、複数のプリミティブから表示素子の各々へのEM場の寄与の合計の計算が完了したということの決定に応答して、発光体162への制御信号を生成することもできる。発光体162は、入力光153を発して変調表示素子160を照らし、入力光153は、変調表示素子160によって反射されて、シーンデータ151に対応する体積光照射野、例えば、ホログラフィック光照射野155を形成する。
【0151】
図1Bに示されているように、表示素子160のタイルは、より大きいディスプレイに相互接続され得る。それに応じて、計算コア154が、データ通信およびデータ分散のために相互接続され得る。ホログラフィ計算において、任意の特定の2つの表示素子間で変化するパラメータが、それらの表示素子の物理的位置であるということに、注意する。したがって、ホログラムを計算する作業は、対応する計算コア154間で同じように共有することができ、ディスプレイ150全体が、タイルの数と無関係に、単一のタイルと同じ速度で動作することができる。
【0152】
図1Cは、3D空間内の物体を表示するための例示的なシステム170を示している。システム170は、コンピューティングデバイス、例えば、
図1Aのコンピューティングデバイス102およびホログラフィックディスプレイデバイス172、例えば、
図1Aのホログラフィックディスプレイ110または
図1Bの150を含むことができる。ユーザは、入力デバイス、例えば、キーボード174および/またはマウス176を使用して、システム170を操作することができる。例えばユーザは、コンピューティングデバイスを介して、2D物体178および3D物体180のCGモデルを作成することができる。コンピューティングデバイスまたはホログラフィックディスプレイデバイス172は、CGモデルをレンダリングして、2D物体178および3D物体180の対応するグラフィックデータを生成するために、ホログラフィックレンダラー、例えば、
図1Aのホログラフィックレンダラー130を含むことができる。グラフィックデータは、物体178および180に対応するプリミティブのリストの各プリミティブデータを含むことができる。
【0153】
ホログラフィックディスプレイデバイス172は、コントローラ、例えば、
図1Aのコントローラ112または
図1Bの152およびディスプレイ173、例えば、
図1Aのディスプレイ114または
図1Bの156を含むことができる。コントローラは、プリミティブからディスプレイ173の各表示素子へのEM場の寄与の各合計を計算し、EM場の寄与の各合計に基づいて、各表示素子を変調するための制御信号を生成することができる。ホログラフィックディスプレイデバイス172は、発光体、例えば、
図1Aの発光体116または
図1Bの発光体162をさらに含むことができる。コントローラは、発光体を作動させるためのタイミング制御信号を生成できる。発光体からの光がディスプレイ173の表面を照らすときに、変調表示素子が、3D空間内で光を伝搬させ、2D物体178のホログラフィック再構築および3D物体180のホログラフィック再構築に対応する体積光照射野を形成することができる。したがって、2D物体178および3D物体180は、ディスプレイ173の前の3D空間内で浮かむ各ホログラフィック再構築として表示される。
【0154】
一部の実装では、コンピューティングデバイスは、非プリミティブに基づくデータ、例えば、記録された光照射野のビデオを、ホログラフィックディスプレイデバイス172に送信する。ホログラフィックディスプレイデバイス172は、対応するホログラム、例えば、一連の連続的なホログラムを計算して生成し、3D空間内の対応するホログラフィック再構築として表示することができる。一部の実装では、コンピューティングデバイスは、CGホログラフィックコンテンツを、ライブホログラフィックコンテンツと同時に、ホログラフィックディスプレイデバイス172に送信する。ホログラフィックディスプレイデバイス172は、対応するホログラムを計算して生成し、コンテンツを3D空間内の対応するホログラフィック再構築として表示することもできる。
【0155】
図2は、電磁(EM)場計算の例示的な構成200を示している。素子の配列204を含むディスプレイ202、例えば、LCOSデバイスおよび点プリミティブ206を含むプリミティブのリストが、3D空間208内にある。3D空間208は、境界面210を含む。3D座標系XYZ内で、点プリミティブ206が座標情報(x, y, z)を有している。各表示素子204は、他の表示素子204に対して平坦な平面内にあり、2D位置(u, v)を有している。表示素子204は、3D空間内の位置も有している。数学的点変換によって、2D位置(u, v)が、3D座標系内の6つの座標250に移動され得る。すなわち、ディスプレイ202の表面が、境界面210の一部を形成する。したがって、ディスプレイ202の表面で境界条件を定義することによって計算された、プリミティブのリストから表示素子へのEM場の寄与は、プリミティブから表示素子へのEM場の寄与の合計の一部を表す。スケール係数、例えば、6を、表示素子の各々のEM場の寄与の合計に掛けて、場の寄与の大きさを変更された合計を取得することができ、場の寄与の大きさを変更された合計に基づいて、表示素子が変調され得る。
【0156】
プリミティブのEM場の寄与の例 プリミティブを、標準的なコンピュータグラフィックスのレンダリングに使用することができる。標準的なコンピュータグラフィックスにおけるプリミティブの各種類は、この定式化では、ホログラムに追加される図形要素の単一のホログラフィックプリミティブを定義する離散数学関数に対応する。プリミティブ各種類は、表示素子へのEM場の寄与を計算するための式に対応することができる。プリミティブは、点プリミティブ、線プリミティブ、または多角形(例えば、三角形)プリミティブであることができる。下で示されているように、対応するプリミティブからディスプレイの表示素子へのEM場の伝搬を計算することによって、解析的式が導出され得る。
【0157】
図3Aは、点プリミティブ304からディスプレイ300の素子302への例示的なEM伝搬を示している。3D座標系XYZ内で、z座標がディスプレイ300にわたって0であること、すなわち、負のz値がディスプレイ300の後ろにあり、正のz値がディスプレイ300の前にあるということが仮定される。点プリミティブ304は座標(x, y, z)を有しており、表示素子302は座標(u, v, 0)を有している。点プリミティブ304と表示素子302との間の距離duvが、それらの座標に基づいて決定され得る。
【0158】
点プリミティブ304は、時間的に変化する振幅を有する点電荷と見なされ得る。電磁理論によれば、そのような点電荷によって生成される電磁場Eは、
【0159】
【数1】
として表され得る。
ここで、λはEM波の波長を表し、dは点電荷からの距離を表す。
【0160】
したがって、表示素子(u,v)での電場Eu,vは、
【0161】
【数2】
として表され得る。
ここで、Iは点プリミティブ304から寄与される表示素子でのホログラフィックプリミティブの電場の相対強度を表す。
【0162】
図2に関して前述したように、ディスプレイ300の表面は、EM場の境界面の一部のみを形成する。スケール係数δを電場Eu,vに適用して、表示素子での大きさを変更された電場Eφ(u,v)を取得することができ、この大きさを変更された電場は、次のように部分的な境界を調整する。
【0163】
【0164】
【0165】
図3Bは、3D座標系XYZ内の線プリミティブ306からディスプレイ300の表示素子302へのEM伝搬の例を示している。前述したように、表示素子302は、z=0である場合に、座標(u,v,0)を有することができる。線プリミティブ306は、座標(x0,y0,z0)を有するP0および座標(x1,y1,z1)を有するP1という2つの端点を含む。端点P0と表示素子との間の距離d0が、それらの座標に基づいて決定され得る。同様に、端点P1と表示素子との間の距離d1が、それらの座標に基づいて決定され得る。2つの端点P0とP1との間の距離d01、例えば、d01=d1-d0も決定され得る。
【0166】
前述したように、線プリミティブは、重ね合わせまたは線形変形として扱うことができ、線形アパーチャとしての線プリミティブの対応する解析的式が、空間内で分散されたデルタ関数として取得され得る。この解析的式は、ホログラムとしての連続的3D線分の閉じた表現であることができる。
【0167】
図3Cは、3D座標系XYZ内の三角形プリミティブ308からディスプレイ300の表示素子302への例示的なEM伝搬を示している。前述したように、表示素子302は、z=0である場合に、座標(u,v,0)を有することができる。三角形プリミティブ308は、P0(x0,y0,z0)、P1(x1,y1,z1)、およびP2(x2,y2,z2)という3つの端点を含む。表示素子と端点P0、P1、およびP2との間の距離d0、d1、およびd2が、それらの座標に基づいてそれぞれ決定され得る。
【0168】
図3Bの線プリミティブと同様に、三角形プリミティブは、空間内の連続的アパーチャとして扱うことができ、表示素子への三角形プリミティブのEM場の寄与の解析的式が、積分によって取得され得る。これを簡略化して、効率的な計算のための式を取得することができる。
【0169】
プリミティブの計算の例
前述したように、コントローラ、例えば、
図1Aのコントローラ112は、上で示したように決定され得る解析的式に基づいて、プリミティブから表示素子へのEM場の寄与を計算することができる。一例として、線プリミティブのEM場の寄与が以下のように計算される。
【0170】
ディスプレイ内各表示素子は、空間内の物理的位置を有しており、各表示素子は、他の表示素子に対して平坦な平面内にある。表示素子およびそれらのコントローラが、ディスプレイおよびメモリデバイスにおいて慣習となっている通りにレイアウトされると仮定すると、単純な数学的点変換を使用して、プロセッサ内の表示素子の論理メモリアドレスに基づく特定の表示素子の論理的位置を、空間内の表示素子の実際の物理的位置に変換することができる。したがって、表示素子の論理メモリアドレスが、プロセッサ内の論理メモリ空間内でループされるため、ディスプレイの表面にわたる空間内の対応する実際の物理的位置が識別され得る。
【0171】
一例として、ディスプレイが5μmのピッチを有している場合、各論理アドレスのインクリメントによって、x方向に5μm移動することができ、ディスプレイのx軸の解像度の制限に達した場合、次のインクリメントによって、x軸の最初の物理的位置に戻り、y軸の物理的位置を5μmだけ増やす。第3の空間座標zは、ディスプレイの表面にわたって0であると仮定することができ、すなわち、負のz値がディスプレイの後ろにあり、正のz値がディスプレイの前にある。
【0172】
線の計算を開始するために、現在の表示素子と線プリミティブの2つの点の各々との間の大きさを変更された物理的距離の種類が、d0およびd1であるということが決定され得る。実際のところ、表示素子全体の距離のその後のすべての計算が、初期値の微小摂動であるため、d0およびd1は、プリミティブごとに1回計算され得る。このようにして、1つの次元において、この計算が実行される。
【0173】
プリミティブごとの例示的な計算プロセスは、次の計算コードを含むことができる。
DD=f(d1,d0)、
iscale=SS*COLOR*Alpha1、
C1=-2*iscale*sin(DD/2)*sin((Alpha2)*cos(Alpha3)、
C2=-2*iscale*sin(DD/2)*sin(Alpha2)*sin(Alpha4)、
ここで、SS、Alpha1、Alpha2、Alpha3、およびAlpha4は事前に計算された定数であり、COLORはプリミティブと共に渡されるRGB色値であり、すべての値は、スカラー、単精度の浮動小数である。計算効率を改善するために、正弦関数および余弦関数の両方が、コントローラに格納されたテーブル内で検索され得る。
【0174】
次に、C1およびC2の結果が、プリミティブごとに、各表示素子で、例えば、表示素子の累算器内で累算され、表示素子に対する計算の最後に1回、正規化され得る。この時点で、前述したように、コントローラは、第1の制御信号を表示素子に送信して、計算された結果に基づいて表示素子を変調し、第2の制御信号を発光体に送信して発光体をオンにし、発光させることができる。それに応じて、ホログラフィック再構築(またはホログラフィック光照射野)が視聴者に見えるようになる。変調表示素子は、照らされたときに、光によって、明瞭な連続的色の線を3次元空間内で生成することができる。
【0175】
一部の実装では、計算コードは、例えばコードの先頭で、累算器内の前の累算結果を消去するための16進コードを含む。計算コードは、例えばコードの末尾で、累算器の結果を表示素子ごとに各メモリバッファに格納するための16進コードを含むこともできる。一部の実装では、コンピューティングデバイス、例えば、
図1Aのコンピューティングデバイス102は、アプリケーション起動時に、または基本表示フレームレートに影響を与えないフレームの表示間の間隔で、複数の背景または静的プリミティブの16進コードをコントローラに送信する。次に、コンピューティングデバイスは、16進コードの1つまたは複数の組み合わせを、場合によっては他の前景または動的プリミティブと共に、非常に高いレートでコントローラに送信することができ、コントローラは、対応する制御信号を形成して、ディスプレイの表示素子を変調することができる。
【0176】
これらの計算プロセスは、従来の2D表示技術における最も効率的な線描画ルーチンよりも、二桁以上単純かつ高速であることができる。さらに、この計算アルゴリズムは、表示素子数と共に線形に拡大する。したがって、2Dネットワーク処理システムとしてのコントローラのコンピューティングユニットを拡大することによって、ディスプレイの増大する表面積の計算の必要性に追随することができる。
【0177】
計算の実装の例
マクスウェルホログラフィックコントローラ、例えば、
図1Aのコントローラ112は、上で示したように決定され得る解析的式に基づいて、プリミティブから表示素子へのEM場の寄与を計算することができる。コントローラは、例えば、ASIC、FPGA、またはGPU、あるいはこれらの任意の組み合わせで実装され得る。
【0178】
最新のGPUのパイプラインでは、GPUが、幾何学的図形の記述ならびに頂点およびフラグメントシェーダプログラムを受け取り、色および深度のピクセル出力を、1つまたは複数の出力画像表面(レンダーターゲットと呼ばれる)に生成する。このプロセスは、情報の爆発的な出力を含み、形状がフラグメントの陰影に拡大され、その後、それらのフラグメントの各々に対して作業を実行する必要があるかどうかを選択するために、可視性テストが実行される。フラグメントは、そのサンプル点に陰影を付けるために含まれているすべての情報、例えば、三角形上の重心座標、色またはテクスチャ座標のような補間値、表面の派生物などを含むレコードである。これらのレコードを作成した後に、最終的な画像に寄与しないレコードを拒否するプロセスが、可視性テストである。可視性テストに合格したフラグメントは、シェーダエンジンによって並列に実行される、波面またはワープと呼ばれる作業グループにまとめられ得る。これらのシェーダエンジンが生成した出力値が、表示に備えて、または後で入力テクスチャとしてレンダリングパス(rendering passes)に使用するために、ピクセル値としてメモリに再び書き込まれる。
【0179】
マクスウェルホログラフィでは、レンダリングプロセスを大幅に簡略化することができる。マクスウェルホログラフィック計算では、すべてのプリミティブがすべての表示素子に寄与する。形状をピクセルに拡大する必要がなく、波面をまとめる前に可視性テストを適用する必要がない。これによって、マクスウェルホログラフィックパイプライン間の決定または通信の必要性をなくすこともでき、計算を、速度、コスト、サイズ、またはエネルギー最適化に合わせてそれぞれ調整された複数の可能性のある解を持つ、並列問題にすることができる。このグラフィックスパイプラインは著しく短く、中間ステップが少なく、データのコピーも移動もなく、決定が少ないため、描画の開始と結果を表示する準備ができることとの間の待ち時間の短縮につながる。そのため、マクスウェルホログラフィックのレンダリングは、極めて短い待ち時間で表示を作成できる。下で説明されているように、例えばマクスウェルホログラフィックパイプラインにおいて固定小数点数を使用することによって、マクスウェルホログラフィックの計算の精度を向上させることができ、例えば数学関数を最適化することによって、計算速度を最適化することができる。
【0180】
固定小数点数の使用
各表示素子(例えば、ファセル(phasel))で各プリミティブからのEMの寄与を計算するときに、中間計算が、非常に大きい数値を生成することを伴う。これらの大きい数値は、計算中に小数部分を維持する必要もあるため、特殊な処理を伴う。
【0181】
浮動小数点値には、原点(数直線の0)の近くで最も正確であり、原点から離れるにつれて、2のべき乗ごとに1ビットの精度を失うという欠点がある。範囲[-1,1]内に近い数値の場合、浮動小数点値の精度が最高になることができるが、数千万の数値に達する、例えば、単精度の32ビットIEEE-745浮動小数点値に小数部分の桁が残っていない点に達すると、値の整数部分を表すために、仮数(significand)(仮数(mantissa)とも呼ばれる)全体が使用される。しかし、マクスウェルホログラフィにおいて維持することに特に関心があるのは、大きい数値の小数部分である。
【0182】
場合によっては、マクスウェルホログラフィック計算において固定小数点数が使用される。固定小数点表現は、事例ごとに小数点が変化しない数値である。数値の整数部分および小数部分に対して正しいビット数を選択することによって、数値の大きさに関わらず、同じ小数点ビット数を得ることができる。固定小数点数は、暗黙的なスケール係数を使用して、整数として表される。例えば、8小数点ビットを含む16ビット固定小数点値では、14.375は、数値3680(2進数0000111001100000)として表され得る。この固定小数点数は、「符号なし16.8」固定小数点数または略してu16.8とも表され得る。負の数値は、追加の符号ビットを含むことができ、「2の補数」形式で格納される。このようにして、計算の精度が大幅に改善され得る。
【0183】
数学関数の最適化
上で示したように、マクスウェルホログラフィック計算は、超越数学関数、例えば、正弦、余弦、逆正接などの使用を含む。CPUでは、これらの関数は、特殊なCPU命令を使用することがある浮動小数点ライブラリ関数として実装され、またはGPUでは、GPU内の浮動小数点ユニットとして実装される。これらの関数は、引数を浮動小数点数として受け取るように記述され、その結果が、同じ浮動小数点表現で返される。これらの関数は、浮動小数が正確である場合に正確になるように、正しく丸められるように、かつ浮動小数点数表現におけるすべてのエッジケース(+/-無限大、NaN、符号付きゼロ、および非正規浮動小数)に対処するように、一般的な事例のために構築される。
【0184】
固定小数点表現を使用するマクスウェルホログラフィック計算では、徐々のアンダーフローのための非正規浮動小数を使用する必要がなく、ゼロ除算のような演算からのNaNの結果を処理する必要がなく、浮動小数点の丸めモードを変更する必要がなく、浮動小数点例外をオペレーティングシステムに上げる必要がない。これらすべてによって、例えば下で説明されているように、超越数学関数を簡略化すること(および/または最適化すること)ができる。
【0185】
場合によっては、ある固定小数点形式で引数を受け取り、異なるレベルの精度で値を返すように、最適化が行われ得る、例えば、s28.12を入力し、s15.14を出力する。これは、入力引数が大きくなることがあるが、出力では値の範囲[-1,1]のみを表す必要がある、数千万の大きい値の正弦を計算する場合、または任意の値を受け取るが範囲[-π/2,π/2]で値を返す逆正接を計算する場合に、特に望ましいことがある。
【0186】
場合によっては、含まれる入力範囲に応じて、完全に列挙されたルックアップテーブル、補間されたテーブル、多項式関数に基づくセミテーブル、または完全なミニマックス多項式に基づくセミテーブルとして、超越関数を自由に実装するように、最適化が行われ得る。速度のために汎用GPUのパイプライン計算が省略することがある、大きい入力に対処する特殊な範囲縮小方法を適用することもできる。
【0187】
場合によっては、別の最適化は、三角関数計算を範囲[-π,π]から範囲[-1,1]内の符号付き2の補数表現に変換することであることが可能であり、これには、高価なモジュロ2π除算演算を必要としないという利点がある。
【0188】
閉塞の実装の例
閉塞は、多くの場合、コンピュータグラフィックスにおける難しい重要な主題であると見なされ、計算ホログラフィにおいては、特にそうである。これは、少なくとも場合によっては、投影CGIにおける閉塞問題が静的であるのに対して、ホログラフィックシステムでは、何が隠され、何が見えるかは、視聴者の位置および方向に依存するためである。ホログラフィック閉塞に対処するために、G-Sホログラフィの波の方法またはその派生物が開発された。しかし、シーンの他の部分の背後にあるシーンの部分からの寄与をマスクすることまたはブロックすることは、G-Sの方法では非常に複雑になり、計算コストが高くなる可能性がある。
【0189】
マクスウェルホログラフィでは、どの表示素子(例えば、ファセル)がどのプリミティブに対応するかが完全に確定的であり、自明であるため、閉塞問題に比較的容易に対処することができる。例えば、特定の表示素子が特定のプリミティブの再構築に寄与するかどうかは、特定のプリミティブの計算が実行されるときに決定され得る。閉塞に起因して、複数の表示素子が特定のプリミティブに寄与しないということを決定した後に、複数の表示素子のうちの1つへのEMの寄与の合計を計算するときに、特定のプリミティブからのEMの寄与が、複数の表示素子のうちの1つへのEMの寄与の合計の計算から省略される。
【0190】
説明のみのために、
図3D~3Fは、線プリミティブを閉塞体として使用して、特定のプリミティブ(
図3Dの点、
図3Eの線、および
図3Fの三角形)に寄与しない表示素子の決定を示している。線プリミティブは、始点O1および終点O2を含む。
【0191】
図3Dに示されているように、点プリミティブP0が、閉塞体の後ろの、ディスプレイの近くにある。O1-P0およびO2-P0を接続している線を伸ばすことによって、点プリミティブP0の再構築に寄与しない、ディスプレイ内のD1からD2までの表示素子の範囲が決定される。
【0192】
一部の例では、O1、O2、およびP0の座標情報が、GPU(例えば、
図1AのGPU108)によって計算されて知られており、シーンがマクスウェルホログラフィックコントローラ(例えば、
図1Aのコントローラ112)に送信される前に、例えば「Z」バッファに格納される。例えば、y=0を有するXZ平面内の座標情報は、O1(Ox1,Oz1)、O2(Ox2,Oz2)、およびP0(Px,Pz)であり、Oz1=Oz2=Ozであることができる。この座標情報に基づいて、D1およびD2の座標情報が次のように決定され得る。
Dx1=Px+ρ(Px-Ox2)、Dx2=Dx1+ρ(Ox2-Ox1) (4)
ここで、ρ=Pz/(Oz-Pz)、およびDz1=Dz2=0である。
【0193】
D1およびD2の情報は、点プリミティブP0のZバッファ内の情報に加えて、追加情報としてマクスウェルホログラフィックコントローラの「S」バッファに格納され得る。このような方法で、追加情報を使用して、インデックス付けされたプリミティブリスト内の特定のプリミティブP0への(D1~D2の範囲内の)特定の表示素子の寄与を自明にマスクすることができる。
【0194】
図3Eは、線プリミティブの前に閉塞体が存在する状態で、特定の表示素子が線プリミティブにどのように寄与するかの決定を示している。特定の表示素子D0を閉塞体の始点O1および終点O2に接続することによって、線プリミティブ上の2つの点プリミティブP1およびP2が、交点として決定される。したがって、特定の表示素子D0は、線プリミティブ上のP1~P2の線プリミティブの部分の再構築に寄与しない。したがって、特定の表示素子D0へのEMの寄与の合計を計算するときに、線プリミティブの部分P1-P2からのEMの寄与が計算されない。
【0195】
これは、2つの方法で実装され得る。第1の方法では、閉塞体からの閉塞を考慮することによって、部分P0-P1および部分P2-Pnから特定の表示素子D0へのEMの寄与が、特定の表示素子D0への線プリミティブのEMの寄与として合計される。第2の方法では、閉塞体からの閉塞を考慮することによって、線プリミティブP0-Pn全体からのEMの寄与が、部分P1-P2からのEMの寄与と共に計算され、2つの計算されたEMの寄与の間の差が、特定の表示素子D0への線プリミティブのEMの寄与として考慮され得る。P1およびP2または部分P1-P2の座標情報が、特定の表示素子D0に寄与しない線プリミティブの一部として、マクスウェルホログラフィックコントローラの「S」バッファに格納され、それと共に、閉塞体の情報およびその他の情報が、GPUの「Z」バッファに格納され得る。
【0196】
図3Fは、三角形プリミティブの前に閉塞体が存在する状態で、特定の表示素子が三角形プリミティブにどのように寄与するかの決定を示している。特定の表示素子D0を閉塞体の始点O1および終点O2に接続することによって、三角形プリミティブの辺上の4つの点プリミティブP1、P2、P3、およびP4が、交点として決定される。したがって、特定の表示素子D0は、点P1、P2、P3、P4、PCによって囲まれた三角形プリミティブの部分の再構築に寄与しない。したがって、特定の表示素子D0へのEMの寄与の合計を計算するときに、三角形プリミティブの部分P1-P2-P3-P4-PCからのEMの寄与が計算されない。すなわち、閉塞体からの閉塞を考慮することによって、点PA、P1、およびP2によって形成された第1の三角形、ならびに点PB、P3、およびP4によって形成された第2の三角形からのEMの寄与のみが、三角形プリミティブPA-PB-PCのEMの寄与として合計される。P1、P2、P3、およびP4または三角形プリミティブPA-P1-P2およびPB-P3-P4の座標情報が、特定の表示素子D0に寄与する三角形プリミティブPA-PB-PCの一部として、マクスウェルホログラフィックコントローラの「S」バッファに格納され、それと共に、閉塞体の情報およびその他の情報が、GPUの「Z」バッファに格納され得る。
【0197】
マクスウェルホログラフィにおける閉塞の実装は、GPU内の「Z」バッファをマクスウェルホログラフィックコントローラ内の「S」バッファに変換できるように、特定の表示素子へのインデックス付けされたプリミティブリスト内の特定のプリミティブ(またはプリミティブの特定の部分)の寄与をマスクできる。これによって、特定の表示素子に寄与せず、次の表示素子の計算に進めるプリミティブとして、正確な物理的に正しい閉塞を提供するだけでなく、計算時間も節約する。「S」バッファは、ディスプレイの回折効率に関連する追加情報を含むことができる。
【0198】
「S」バッファは、表面の反射率が視野角に依存する、ホログラフィック鏡面反射(Holographic specular)のハイライトなどの特徴をレンダリングすることを含むこともできる。従来のCGIでは、鏡面反射のハイライトは、レンダリングされる物体の向きのみに依存するが、マクスウェルホログラフィックにおいては、物体が見られる方向も役割を果たす。したがって、「S」バッファ内で、寄与の減算(閉塞)ではなく加算(鏡面反射)として、幾何学的鏡面反射情報がエンコードされ得る。マクスウェルホログラフィでは、ホログラフィック鏡面反射のハイライトのための計算は、ホログラフィック閉塞のための計算と実質的に同じであることができる。
【0199】
つなぎ合わせの実装の例
3D物体のプリミティブのリストからのEMの寄与を使用して変調されたディスプレイに光が当たるときに、変調されたディスプレイによって、光が異なる方向に伝搬し、プリミティブに対応する体積光照射野を形成する。この体積光照射野は、マクスウェルホログラフィック再構築である。3D物体内の2つの隣接するプリミティブ、例えば、三角形プリミティブは、共有された辺を有する。再構築時に、2つの隣接するプリミティブの別々の再構築に起因して、共有された辺の光強度が2倍になる可能性があるという、つなぎ合わせ問題が生じることがある。この問題は、再構築された3D物体の外観に影響を与えることがある。
【0200】
マクスウェルホログラフィにおけるつなぎ合わせ問題に対処するために、
図3Gに示されているように、隣接するプリミティブ間にギャップを形成できるように、事前に決定される係数によって隣接するプリミティブを縮小することができる。場合によっては、2つの隣接するプリミティブを縮小する代わりに、1つのプリミティブまたはプリミティブの一部のみが縮小される。例えば、三角形プリミティブの線を縮小して、別の三角形プリミティブから分離することができる。場合によっては、この大きさを変更することは、異なる事前に決定される係数を使用して、プリミティブの異なる部分の大きさを変更することを含むことができる。この大きさを変更することは、ギャップが、隣接するプリミティブを分離してつなぎ合わせ問題を最小限に抑えるほど十分大きくなり、再構築された3D物体に継ぎ目がないように見えるようにするほど十分小さくなるように、設計され得る。事前に決定される係数は、ディスプレイの情報、例えば、ディスプレイの最大空間解像度に基づいて決定され得る。
【0201】
場合によっては、大きさの変更動作を、ホログラフィックレンダラー、例えば、
図1Aのホログラフィックレンダラー130から取得されたプリミティブのプリミティブデータに適用することができ、プリミティブの大きさを変更されたプリミティブデータが、マクスウェルホログラフィックコントローラ、例えば、
図1Aのコントローラに送信される。場合によっては、コントローラは、ディスプレイの表示素子へのプリミティブのEMの寄与を計算する前に、ホログラフィックレンダラーから取得されたプリミティブデータに対して大きさの変更動作を実行できる。
【0202】
テクスチャマッピングの実装の例
テクスチャマッピングは、コンピュータグラフィックスにおいて開発された手法である。その基本的な考え方は、ソース画像を受け取り、CGIシステム内の表面にデカールとして貼り付けることであり、これによって、複雑な形状を追加する必要なしに、シーン内で詳細をレンダリングすることができる。テクスチャマッピングは、CGIシステムにおける現実的な照明および表面の効果の作成のための手法を含むことができ、一般に、三角形メッシュへの表面データの適用のことを指すことができる。
【0203】
マクスウェルホログラフィでは、空間内の任意の三角形と、ホログラフィックデバイス上の位相マップとの間の解析的関係を使用して、平坦な陰影のある、補間もされている三角形メッシュが、本物の3Dでレンダリングされ得る。しかし、最新のレンダリングエンジンとの互換性を保つために、これらの三角形の表面上に情報をマッピングする能力が含まれる。この能力は、方法の速度が、解析的マッピングの存在から導き出され、データ駆動型の振幅の変化を許さないという、現実の問題を提起することがある。
【0204】
離散余弦変換(DCT)は、画像圧縮手法であり、FFT(高速フーリエ変換)の実数値版と見なされ得る。DCTは、加重を特定の画像内の余弦高調波に割り当てるエンコード/デコードプロセスに依存する。エンコードの結果は、元の画像内のピクセルの数と一連の等しい数の加重であり、すべての加重を使用して画像を再構築した場合、情報における損失がない。しかし、多くの画像では、許容できる再構築は、加重の小さいサブセットから行うことができ、大きい圧縮率を可能にする。
【0205】
2次元でのDCTのデコード(レンダリング)プロセスは、すべてのDCT加重およびすべての目的ピクセルにわたる加重二重和(weighted double sum)を含む。この加重二重和を、テクスチャマッピングのためにマクスウェルホログラフィに適用できる。マクスウェルホログラフィでは、三角形のレンダリングは、当該の三角形への任意の個別のファセルの位相の寄与を決定するために、位相空間内の「スパイク付き」二重積分を含む。この積分は、DCT再構築における二重和を反映する二重和に折り畳まれ、次に、DCT加重に関して三角形の解析的式を再導出することができる。マクスウェルホログラフィック計算におけるDCT手法のこの実装は、完全なテクスチャマッピングされた三角形を描画することと、レンダリングされるテクスチャの三角形のデータへの画像圧縮を採用することと、DCT/JPEGを使用してテクスチャおよび画像データを自動的に圧縮する既存のツールセットを利用することとを可能にする。
【0206】
一部の実装では、マクスウェルホログラフィックのテクスチャ付き三角形を描画するために、指定された表面上のマッピングに望ましい空間解像度が、最初に計算される。次に、この解像度を有するテクスチャが提供され、角度付きでDCT圧縮され、そのテクスチャを三角形上の正しい位置に置くための原点情報が取得される。次に、三角形の角およびDCT加重のリストが、インデックス付きのプリミティブに含められ、マクスウェルホログラフィックコントローラに送信される。DCT加重は、各表示素子への三角形プリミティブのEMの寄与に含められ得る。テクスチャの三角形は、平坦な三角形よりn倍遅い可能性があり、nは、プリミティブと共に送信されるDCT加重の数(非ゼロ)である。従来の投影レンダリングのフィルターのステップを置き換えるDCTエンコードのステップを使用して、「フラグメントの陰影付け」のための最新の手法を、マクスウェルホログラフィックシステムにおいて実装することができる。
【0207】
一例として、次の式は、ある画像のDCT加重Bpqを示している。
【0208】
【0209】
【0210】
【数7】
、であり、MおよびNは長方形画像の角の数であり、(p,q)はDCT項である。
【0211】
デコードすることによって、振幅値Amnが次のように取得され得る。
【0212】
【0213】
【0214】
表示素子(例えば、ファセル)へのテクスチャ付き三角形プリミティブのEMの寄与を計算するときに、対応するDCT加重A*mnを含むDCT項が、次のように計算に含まれ得る。
【0215】
【数10】
ここで、X、Yは座標系内の三角形の角の数であり、Tは表示素子への三角形プリミティブのEMの寄与に対応し、φpqは、DCTにおける非ゼロ項Bpqの部分的寄与である。再構築における情報の損失および情報の圧縮の両方を考慮することによって、DCT項(p,q)の数が選択され得る。
【0216】
プロセスの例
図4は、3D内の物体を表示する例示的なプロセス400のフローチャートである。プロセス400は、ディスプレイ用のコントローラによって実行され得る。コントローラは、
図1Aのコントローラ112または
図1Bの152であることができる。ディスプレイは、
図1Aのディスプレイ114または
図1Bの156であることができる。
【0217】
3D空間内の物体に対応するプリミティブの各プリミティブデータを含むデータが取得される(402)。このデータは、コンピューティングデバイス、例えば、
図1Aのコンピューティングデバイス102から取得され得る。コンピューティングデバイスは、シーンを処理して、物体に対応するプリミティブを生成できる。コンピューティングデバイスは、プリミティブのプリミティブデータを生成するために、レンダラーを含むことができる。一部の実装では、コントローラは、例えばシーンをレンダリングすることによって、データ自体を生成する。
【0218】
プリミティブは、点プリミティブ、線プリミティブ、または多角形プリミティブのうちの少なくとも1つを含むことができる。プリミティブのリストは、特定の順序でインデックス付けされ、例えば、その順序で物体が再構築され得る。プリミティブデータは、テクスチャ色またはグラデーション色のうちの少なくとも1つを含む色情報を含むことができる。例えば、線プリミティブは、グラデーション色またはテクスチャ色のうちの少なくとも1つを有することができる。多角形プリミティブも、グラデーション色またはテクスチャ色のうちの少なくとも1つを有することができる。プリミティブデータは、プリミティブ(例えば、三角形)の1つまたは複数の表面上のプリミティブのテクスチャ情報および/または陰影情報を含むこともできる。陰影情報は、プリミティブの1つまたは複数の表面上の色または明るさのうちの少なくとも1つに対する変調を含むことができる。プリミティブデータは、3D座標系内のプリミティブの各座標情報を含むこともできる。
【0219】
ディスプレイは複数の表示素子を含むことができ、コントローラは複数のコンピューティングユニットを含むことができる。3D座標系内の表示素子の各々の各座標情報は、3D座標系内のプリミティブのリストの各座標情報に基づいて決定され得る。例えば、ディスプレイと、プリミティブに対応する物体との間の距離が事前に決定され得る。事前に決定される距離およびプリミティブの座標情報に基づいて、表示素子の座標情報が決定され得る。表示素子の各々の各座標情報は、メモリに格納された素子の論理メモリアドレスに対応することができる。このようにして、コントローラが、コントローラの論理メモリ空間内で表示素子の論理メモリアドレスにおいてループするときに、空間内の表示素子の対応する実際の物理的位置が識別され得る。
【0220】
プリミティブの各々から表示素子の各々へのEM場の寄与が、3D座標系内でプリミティブから素子へのEM場の伝搬を計算することによって決定される(404)。EM場の寄与は、位相の寄与または振幅の寄与のうちの少なくとも1つを含むことができる。
【0221】
図3A~3Cに関して上で説明されたように、表示素子の各座標情報およびプリミティブの各座標情報に基づいて、プリミティブと表示素子との間の少なくとも1つの距離が決定され得る。場合によっては、プリミティブごとに、少なくとも1つの距離が一度だけ計算され(calculated)または計算され(computed)得る。例えば、コントローラは、第1のプリミティブの各座標情報および第1の素子の各座標情報に基づいて、プリミティブのうちの第1のプリミティブと表示素子のうちの第1の素子との間の第1の距離を決定し、第1の距離および第1の素子と第2の素子との間の距離に基づいて、第1のプリミティブと素子のうちの第2の素子の間の第2の距離を決定することができる。第1の素子と第2の素子との間の距離は、ディスプレイの複数の素子のピッチに基づいて事前に決定され得る。
【0222】
コントローラは、プリミティブの事前に決定される式および少なくとも1つの距離に基づいて、プリミティブから表示素子へのEM場の寄与を決定することができる。場合によっては、
図3A~3Cに関して上で説明されたように、事前に決定される式は、プリミティブから素子へのEM場の伝搬を解析的に計算することによって決定され得る。場合によっては、事前に決定される式は、マクスウェル方程式を解くことによって決定される。特に、マクスウェル方程式は、ディスプレイの表面で定義された境界条件を提供することによって解かれ得る。境界条件は、ディリクレ境界条件またはコーシー境界条件を含むことができる。プリミティブおよび表示素子が、3D空間内に存在し、ディスプレイの表面が、3D空間の境界面の一部を形成する。事前に決定される式は、正弦関数、余弦関数、および指数関数を含む関数のうちの少なくとも1つを含むことができる。コントローラは、計算中に、メモリに格納されたテーブル内の関数のうちの少なくとも1つの値を識別することができ、これによって、計算速度を改善することができる。コントローラは、第2のプリミティブから表示素子への第2のEM場の寄与を決定することと並列に、第1のプリミティブから表示素子への第1のEM場の寄与を決定することによって、プリミティブの各々について、表示素子の各々へのEM場の寄与を決定することができる。
【0223】
表示素子の各々について、プリミティブのリストから表示素子へのEM場の寄与の合計が生成される(406)。
【0224】
一部の実装では、コントローラは、プリミティブから第1の表示素子への第1のEM場の寄与を決定して、第1の素子の第1のEM場の寄与を合計し、プリミティブから第2の表示素子への第2のEM場の寄与を決定して、第2の素子の第2のEM場の寄与を合計する。コントローラは、複数のコンピューティングユニットを含むことができる。コントローラは、第2のコンピューティングユニットによって第2のプリミティブから第1の素子へのEM場の寄与を決定するのと並列に、第1のコンピューティングユニットによって第1のプリミティブから第1の素子へのEM場の寄与を決定できる。
【0225】
一部の実装では、コントローラは、第1のプリミティブから表示素子の各々への第1の各EM場の寄与を決定し、第2のプリミティブから表示素子の各々への第2の各EM場の寄与を決定する。次に、コントローラは、表示素子について第2の各EM場の寄与を第1の各EM場の寄与に加算することによって、表示素子のEM場の寄与を累算する。特に、コントローラは、第2のコンピューティングユニットを使用することによって第2のプリミティブから表示素子の各々への第2の各EM場の寄与を決定するのと並列に、第1のコンピューティングユニットを使用することによって第1のプリミティブから表示素子の各々への第1の各EM場の寄与を決定できる。
【0226】
第1の制御信号がディスプレイに送信され、第1の制御信号が、表示素子への電磁界分布の合計に基づいて、各表示素子の少なくとも1つの特性を変調するために存在する(408)。素子の少なくとも1つの特性が、屈折率、振幅指数、複屈折、または位相差のうちの少なくとも1つを含む。
【0227】
コントローラは、プリミティブから素子へのEM場の寄与の合計に基づいて、表示素子の各々について、各制御信号を生成できる。各制御信号は、プリミティブから素子へのEM場の寄与の合計に基づいて、素子の少なくとも1つの特性を変調するために存在する。すなわち、第1の制御信号は、表示素子の各制御信号を含む。
【0228】
一部の例では、ディスプレイが電気信号によって制御される。その場合、各制御信号は、電気信号であることができる。例えば、LCOSディスプレイは、素子の強度として個別に制御される電圧を有する微小電極の配列を含む。LCOSディスプレイは、屈折率を変化させる複屈折液晶(LC)製剤で満たされ得る。このようにして、コントローラからの各制御信号は、表示素子全体の相対屈折率、したがって、ディスプレイを通過する光の相対位相を制御できる。
【0229】
前述したように、ディスプレイの表面は、境界面の一部を形成する。コントローラは、スケール係数を素子の各々に関する場の寄与の合計に乗算して、場の寄与の大きさを変更された合計を取得し、素子に関する場の寄与の大きさを変更された合計に基づいて、各制御信号を生成することができる。場合によっては、コントローラは、素子の各々に関する場の寄与の合計を、例えば、すべての素子との間で正規化し、素子に関する場の寄与の正規化された合計に基づいて各制御信号を生成することができる。
【0230】
第2の制御信号が発光体に送信され、第2の制御信号は、発光体をオンにして、変調されるディスプレイに光を当てるために存在する(410)。コントローラは、表示素子の各々に関する場の寄与の合計の取得の完了を決定することに応答して、第2の制御信号を生成して送信することができる。時間対称性(またはエネルギー保存)により、ディスプレイの変調素子は、光を異なる方向に伝搬させ、3D空間内の物体に対応する体積光照射野を形成することができる。体積光照射野は、ディスプレイの変調素子によって定義された境界条件付きのマクスウェル方程式の解に対応することができる。
【0231】
一部の実装では、発光体は、メモリバッファを介して、発光体内の1つまたは複数の発光素子の振幅または明るさを制御するように構成されたコントローラに結合される。発光体のメモリバッファは、ディスプレイのメモリバッファより小さいサイズを有することができる。発光体内の発光素子の数は、ディスプレイの素子の数より少なくすることができる。コントローラは、発光体の1つまたは複数の発光素子を同時に作動させるように構成され得る。
【0232】
一部の例では、発光体は、異なる色を有する光を発するようにそれぞれ構成された2つ以上の発光素子を含む。コントローラは、第1の期間中に第1の色に関連付けられた情報を使用してディスプレイを連続的に変調し、第2の連続的期間中に第2の色に関連付けられた情報を使用してディスプレイを変調することと、発光体を制御して、第1の期間中に第1の発光素子を連続的にオンにして、第1の色を有する光を発し、第2の期間中に第2の発光素子を連続的にオンにして、第2の色を有する光を発することとを実行するように、構成され得る。このようにして、多色の物体を3D空間内に表示することができる。
【0233】
一部の例では、ディスプレイは、光を回折するほど十分細かい解像度を有する。発光体は、白色光をディスプレイに当てることができ、ディスプレイは、この白色光を異なる色を有する光に回折し、それによって、多色の物体を表示することができる。
【0234】
システムの例
図5A~5Fは、3Dディスプレイ用の例示的なシステムの実装を示している。システムのうちのいずれか1つは、例えば、
図1Aのシステム100に対応することができる。
【0235】
図5Aは、反射型ディスプレイを含むシステム500を示している。システム500は、コンピュータ502、コントローラ510(例えば、ASIC)、ディスプレイ512(例えば、LCOSデバイス)、および発光体514を含む。コンピュータ502は、
図1Aのコンピューティングデバイス102であることができ、コントローラ510は、
図1Aのコントローラ112であることができ、ディスプレイ512は、
図1Aのディスプレイ114であることができ、発光体514は、
図1Aの発光体116であることができる。
【0236】
図5Aに示されているように、コンピュータ502は、物体のシーンをレンダリングするためのレンダラー503を含むアプリケーション504を含む。レンダリングされるシーンデータは、ビデオドライバ505およびGPU506によって連続的に処理される。GPU506は、
図1AのGPU108であることができ、シーンおよび各プリミティブデータに対応するプリミティブのリストを生成するように構成され得る。例えば、ビデオドライバ505は、レンダリングされるシーンデータを処理してプリミティブのリストを生成するように構成され得る。前述したように、GPU506は、プリミティブをアイテムのリストにレンダリングして2D表示画面508上に描画するために、従来の2Dレンダラー、例えば、
図1Aの従来の2Dレンダラー120を含むことができる。GPU506またはコントローラ510は、プリミティブのリストをグラフィックデータにレンダリングして、ディスプレイ512によって表示するために、ホログラフィックレンダラー、例えば、
図1Aのホログラフィックレンダラー130を含むことができる。
【0237】
コントローラ510は、コンピュータ502からグラフィックデータを受信し、プリミティブのリストからディスプレイ512の素子の各々へのEM場の寄与を計算し、プリミティブから素子の各々へのEM場の寄与の各合計を生成するように構成される。コントローラ510は、表示素子の少なくとも1つの特性を変調するために、表示素子の各々に対する各制御信号を生成することができる。コントローラは、ディスプレイ512のメモリバッファ511を介して、各制御信号をディスプレイ512の表示素子に送信できる。
【0238】
コントローラ510は、制御信号、例えば、発光タイミング信号を生成して送信し、発光体514を作動させることもできる。例えば、コントローラ510は、プリミティブから表示素子へのEM場の寄与の合計の計算が完了したということの決定に応答して、制御信号を生成して送信することができる。前述したように、コントローラ510は、メモリバッファを介して制御信号を発光体514に送信できる。メモリバッファは、発光体514内の発光素子の振幅または明るさを制御し、発光素子を同時に作動させるように構成され得る。
【0239】
図5Aに示されているように、発光体514は、0度~90度の範囲内の入射角でディスプレイ512の前面に入射されるコリメート光線516を発することができる。放射された光線が、ディスプレイ512の前面から反射され、視聴者によって見られ得る物体に対応するホログラフィック光照射野518を形成する。
【0240】
図5Bは、別の反射型ディスプレイ524を含む別のシステム520を示している。
図5Aのシステム500と比較して、システム520は、より大きい反射型ディスプレイ524を含む。これに対応するために、ディスプレイコントローラ522は、発光体526の支持物になることができるくさび状の筐体に含まれている。コントローラ522は、
図5Aのコントローラ510に類似しており、コンピュータ521からグラフィックデータを受信し、プリミティブからディスプレイ524の表示素子の各々へのEM場の寄与を計算し、プリミティブから表示素子の各々へのEM場の寄与の各合計を生成するように構成され得る。次に、コントローラ522は、表示素子の少なくとも1つの特性を変調するために、表示素子の各々に対する各制御信号を生成し、ディスプレイ524のメモリバッファ523を介して、それらの各制御信号をディスプレイ524の表示素子に送信する。
【0241】
コントローラ522は、制御信号を発光体526にも送信し、発光体526を作動させる。発光体526は、ディスプレイ524の表面全体を覆うように、発散光線または半コリメート光線527を発する。光線524は、変調されるディスプレイ524によって反射され、ホログラフィック光照射野528を形成する。
【0242】
図5Cは、透過型ディスプレイ534を含むシステム530を示している。透過型ディスプレイ534は、例えば、大型ディスプレイであることができる。システム530は、
図5Aのコントローラ510に類似することができるコントローラ532を含む。コントローラ532は、コンピュータ531からグラフィックデータを受信し、プリミティブからディスプレイ534の表示素子の各々へのEM場の寄与を計算し、プリミティブから表示素子の各々へのEM場の寄与の各合計を生成するように構成され得る。次に、コントローラ532は、表示素子の少なくとも1つの特性を変調するために、表示素子の各々に対する各制御信号を生成し、ディスプレイ534のメモリバッファ533を介して、それらの各制御信号をディスプレイ534の表示素子に送信する。
【0243】
コントローラ532は、制御信号を発光体536にも送信し、発光体536を作動させる。
図5Aのシステム500および
図5Bのシステム520と異なり、システム530内の発光体536は、ディスプレイ534の裏面の後ろに配置されている。ディスプレイ534の大きい表面を覆うために、発光体536は、発散光線または半コリメート光線535をディスプレイ534の裏面に当てる。光線524は、変調されるディスプレイ534を介して送信され、ホログラフィック光照射野538を形成する。
【0244】
図5Dは、透過型ディスプレイ544を含む別のシステム540を示している。システム540は、コントローラ542および発光体546も含む。コントローラ542は、
図5Aのコントローラ510に類似することができ、コンピュータ541からグラフィックデータを受信し、グラフィックデータに対して計算を実行し、ディスプレイ544に対する変調のための制御信号を生成して送信し、発光体546を作動させるためのタイミング信号を生成して送信するように構成され得る。
【0245】
発光体546は、光源545および導波管547を含むことができる。光源545から放射された光は、例えば、導波管の垂直断面から導波管547に結合され得る。導波管547は、光を誘導してディスプレイ544の表面を均一に照らすように構成される。導波管547によって誘導された光が、ディスプレイ544の裏面に入射され、ディスプレイ544を介して送信され、ホログラフィック光照射野548を形成する。
【0246】
図5Aのシステム500、
図5Bの520、
図5Cの530と異なり、システム540では、コントローラ542、ディスプレイ544、および導波管547が単一のユニット550に統合されている。場合によっては、導波管547および光源545を、アクティブな発光導波管として平面的形態で統合することができ、これによって、単一のユニット550の統合度をさらに高めることができる。前述したように、単一のユニット500は、他の類似するユニット550に接続され、より大きいホログラフィックディスプレイデバイスを形成することができる。
【0247】
図5Eは、透過型ディスプレイ564含む別のシステム560を示している。システム540と比較して、透過型ディスプレイ564は、透過型ディスプレイ544より大きいディスプレイを実装できる可能性がある。例えば、透過型ディスプレイ564は、コントローラ562より大きい面積を有することができ、これに対応するために、コントローラ562は、ディスプレイ564から離れて配置され得る。システム560は、光源565および導波管567を含む発光体566を含む。導波管567は、例えばディスプレイ564の裏面で、ディスプレイ546と統合されている。一部の実装では、ディスプレイ564が基板の前面で組み立てられ、導波管567が基板の裏面で組み立てられ得る。
【0248】
コントローラ562は、
図1Aのコントローラ510に類似することができ、コンピュータ561からグラフィックデータを受信し、グラフィックデータに対して計算を実行し、ディスプレイ564に対する変調のための制御信号を生成し、メモリバッファ563を介して送信し、光源565を作動させるためのタイミング信号を生成して送信するように構成され得る。光源565から放射された光は、導波管567内で誘導されてディスプレイ564の裏面を照らし、ディスプレイ564を介して送信され、ホログラフィック光照射野568を形成する。
【0249】
図5Fは、反射型ディスプレイ574を含む別のシステム570を示している。反射型ディスプレイ574は、例えば、大型ディスプレイであることができる。発光体576の導波管577は、反射型ディスプレイ574の前面に配置されている。コントローラ572は、
図5Eのコントローラ562に類似しており、コンピュータ571からグラフィックデータを受信し、グラフィックデータに対して計算を実行し、ディスプレイ574に対する変調のための制御信号を生成し、メモリバッファ573を介して送信し、発光体576の光源575を作動させるためのタイミング信号を生成して送信するように構成され得る。発光体576の光源575から結合された光は、誘導されてディスプレイ574の前面に入射され、前面によって反射され、ホログラフィック光照射野578を形成する。
【0250】
ディスプレイの実装の例
前述したように、マクスウェルホログラフィにおけるディスプレイは、位相変調デバイスであることができる。ディスプレイの位相素子(または表示素子)は、ファセルとして表され得る。説明のみのために、以下では、位相変調デバイスとして機能するLCOS(liquid crystal on silicon)デバイスが説明される。LCOSデバイスは、シリコンバックプレーン上で液晶(LC)層を使用するディスプレイである。LCOSデバイスは、ファセルの最小のピッチ、ファセル間の最小のクロストーク、および/または使用可能な大きい位相変調または位相差(例えば、少なくとも2π)を実現するように最適化され得る。
【0251】
LC混合物の複屈折(Δn)、セルギャップ(d)、LC混合物の誘電異方性(Δε)、LC混合物の回転粘度(η)、LC層の上のシリコンバックプレーンと共通電極との間に加えられる最大電圧(V)を含むパラメータのリストが、LCOSデバイスの性能を最適化するように制御され得る。
【0252】
液晶材料のパラメータ間には、基本的なトレードオフが存在することがある。例えば、基本的な境界パラメータは、使用可能な位相変調または位相差(Re)であり、これらは次のように表され得る。
Re=4π・Δn・d/λ (8)
ここで、λは入力光の波長である。約0.633μmの波長を有する赤色光の位相差Reが少なくとも2πである必要がある場合、次のようになる。
Δn・d≧0.317μm (9)
上の式は、セルギャップ(d)とLC混合物の複屈折(Δn)との間に、直接的なトレードオフが存在することを意味している。
【0253】
別の境界パラメータは、スイッチング速度、または電圧が加えられた後に、LC層内の液晶(LC)分子が望ましい向きに達するのにかかるスイッチング時間(T)である。例えば、3色のフィールドシーケンシャルカラーシステムを使用するリアルタイムのビデオ(約60Hz)の場合、LCのスイッチング速度に対して5.6ミリ秒(ms)の上限を課す、180Hz以上の変調のLC層が含まれる。スイッチング時間(T)は、液晶、セルギャップ、および加えられる電圧を含む複数のパラメータに関連している。第1に、Tがd2に比例する。セルギャップdが減少するにつれて、スイッチング時間が、dの二乗に比例して減少する。第2に、スイッチング時間は、液晶(LC)混合物の誘電異方性(Δε)にも関連しており、誘電異方性が高くなるとスイッチング時間が短くなり、粘度が低くなると、やはりスイッチング時間が短くなる。
【0254】
第3の境界パラメータは、フリンジング場であることがある。結晶シリコンの高い電子移動度のため、LCOSデバイスは、極めて小さいファセルサイズ(例えば、10μm未満)および1ミクロン未満のファセル間のギャップで製造され得る。隣接するファセルが異なる電圧で動作する場合、フリンジング場の横方向成分によってファセルの端の近くのLC配向子が変形し、これによってデバイスの電子光学的性能が著しく低下する。加えて、ファセルのギャップが入射光の波長に相当するようになると、回折効果が重大な光の損失を引き起こす可能性がある。ノイズを許容レベル以内に保つには、ファセルのギャップをファセルのピッチ以下に抑える必要がある。
【0255】
一部の例では、フリンジ場の境界条件が観察される場合に、LCOSデバイスは、2μmのファセルのピッチおよび約2μmのセルギャップを有するように設計される。上の式Δn・d≧0.317μmに従って、Δnを0.1585以上にする必要があり、これは、現在の液晶技術を使用して達成可能である。特定のファセルのピッチに対して最小の複屈折が決定された後に、例えば誘電異方性を増やすこと、および/または回転粘度を減らすことによって、スイッチング速度に関してLCを最適化できる。
【0256】
ディスプレイの不均一なファセルの実装
LCOSデバイスでは、回路チップ、例えば、相補型金属酸化膜半導体(CMOS:complementary metal-oxide-semiconductor)チップまたは同等のものが、チップ表面下に埋め込まれた反射金属電極の電圧を制御して、それぞれ1つのファセルを制御する。すべてのファセルの共通電極は、カバーガラス上のインジウムスズ酸化物で作られた透明な導電層によって提供される。ファセルは、同一のサイズおよび同じ形状(例えば、正方形)を有することができる。例えば、チップは、それぞれ独立してアドレス指定可能な電圧を有する1024×768個のプレートを含むことができる。前述したように、ファセルのギャップが入射光の波長に相当するようになると、回折効果がLCOSデバイスの周期的構造に現れ、重大な光の損失を引き起こす可能性がある。
【0257】
マクスウェルホログラフィック計算では、各ファセルは、各プリミティブからEMの寄与の合計を受け取り、互いに比較的独立している。したがって、マクスウェルホログラフィでのLCOSデバイスのファセルは、互いに異なるように設計され得る。例えば、
図6Aに示されているように、LCOSデバイス600は、複数の不均一な(または不規則な)ファセル602で作られ得る。少なくとも2つのファセル602が異なる形状を有している。ファセル602の不均一な形状は、効果の中でも特に、回折収差を大幅に減らすこと、またはなくすことができ、したがって画質を改善することができる。ファセルは不均一な形状を有することができるが、ファセルは、望ましい空間解像度を満たすサイズの分布(例えば、約3μm)を有するように設計され得る。シリコンバックプレーンは、ファセルの形状に従って、ファセルの各々に対して各回路(例えば、金属電極を含む)を提供するように構成され得る。
【0258】
LCOSデバイスのファセルの配列内で、特定のファセルを選択するために、第1の電圧が、特定のファセルを含むファセルの行を接続しているワード線に加えられ、第2の電圧が、特定のファセルを含むファセルの列を接続しているビット線に加えられる。各ファセルが抵抗を有しているため、LCOSデバイスの動作可能な速度が制限されることがある。
【0259】
前述したように、マクスウェルホログラフィでは、ファセルが異なるサイズを有することができる。
図6Bに示されているように、LCOSデバイス650は、他のファセル652より大きいサイズを有する1つまたは複数のファセル654を含むように設計されている。ファセルのすべては、望ましい解像度を満たすサイズの分布をまだ有することができる。例えば、ファセルの99%が3μmのサイズを有し、ファセルの1%が6μmのサイズを有する。より大きいサイズのファセル654は、ファセル652内の回路と同じ他の回路に加えて、少なくとも1つのバッファ660をファセル654内に配置することを可能にする。バッファ660は、電圧がファセルの行または列内のより少ない数のファセルのみに加えられるように、加えられる電圧をバッファするように構成される。バッファ660は、例えばトランジスタで作られているアナログ回路、または例えば複数の論理ゲートで作られているデジタル回路、あるいはこれらの任意の組み合わせであることができる。
【0260】
例えば、
図6Bに示されているように、特定のファセル652*を選択するために、電圧がワード線651に加えられ、別の電圧がビット線653に加えられる。ファセル652*は、バッファ660を含むより大きいファセル654と同じ行内にある。電圧は、より大きいファセル654の前で、行内の第1の数のファセルに主に加えられ、より大きいファセル654内のバッファ660によって遮られる。このようにして、LCOSデバイス650の動作可能な速度が改善され得る。LCOSデバイス650の性能をさらに改善するために、より大きいサイズのファセル654と共に、他の回路もLCOSデバイス650内に配置され得る。
図6Bのファセル654およびファセル652は正方形を有しているが、1つまたは複数のファセル654が他のファセル652より大きいサイズを有している限り、ファセルは、
図6Aに示されている形状と異なる形状を有することもできる。
【0261】
較正の例
本開示におけるマクスウェルホログラフィに特有の性質は、較正手法の保護を可能にし、高品質のディスプレイの実際の製造における大きな競争上の優位性をもたらすことができる。マクスウェルホログラフィック計算手法と組み合わせて、以下を含む複数の較正手法が実施され得る。
(i)ディリクレ境界条件変調器と共に、かつ/または機械的およびソフトウェア的回折較正手法および非回折較正手法と共に、画像センサを使用する。
(ii)ディリクレ境界条件変調器を使用する、個別の色の較正および調整を含むソフトウェア的調整およびソフトウェア的較正。および、
(iii)境界条件変調器にシリコンの機能を埋め込み、変調器に直接組み込まれる光子検出を可能にし、これをマクスウェルホログラフィと組み合わせた場合に、製造の較正プロセスを簡略化するための強力かつ独自の方法を作り出す。
【0262】
以下では、説明のみのために、位相に基づくディスプレイ、例えば、LCOSディスプレイに対して、3種類の較正が実施される。各位相素子はファセルとして表され得る。
【0263】
位相の較正
LCOS位相素子(またはファセル)に作用する光に追加される位相の量は、LCOSファセルに加えられる電圧によって直接知られ得る。これは、電場の存在下での複屈折液晶(LC)の回転、およびしたがって、屈折の指標の変化および位相を変更する光の速度低下による。変更される位相は、液晶(LC)およびLCが存在するシリコンデバイスの電気的特性に依存することがある。高品質のホログラフィック画像を実現するには、LCOSに送信されるデジタル信号が、正確なアナログ電圧に変換される必要がある。最大の位相範囲を生み出すように、LCOSデバイスがデジタル信号をLCに加えられるアナログ信号に適切に変換できるようにするために、位相の較正が含まれる。この変換は、線形挙動をもたらすことが期待される。すなわち、開始電圧値に関わらず、固定された増分だけ電圧が変更されたときに、位相も、固定された増分だけ変化する。
【0264】
場合によっては、ユーザは、デジタル入力信号を前提としてアナログ電圧出力の量を制御するように、LCOSデバイスを使用してデジタル/アナログコンバータ(DAC)を変更することができる。デジタル電位差計が、各入力ビットに適用され得る。例えば、8つの入力ビットが存在する場合、各入力ビットに対応する8つのデジタル電位差計が存在できる。デジタル電位差計からの同じデジタル入力が、LCOSデバイスのすべてのファセルに適用され得る。「1」に設定されたビットは電圧を作動させ、「0」に設定されたビットは電圧を作動させない。そのような「1」ビットからのすべての電圧が合計されて、各ファセルに送信される最終的な電圧を取得する。すべての「0」ビットが非ゼロの基準電圧をもたらすように、あらゆる場合において適用されるDC電圧が存在してもよい。したがって、LCOSデバイスのデジタル電位差計の値を設定することによって、LCOSデバイスの位相の較正が実施され得る。例えば、前述したように、コントローラは、プリミティブのリストからディスプレイのファセルの各々へのEM場の寄与を計算し、プリミティブからファセルの各々へのEM場の寄与の各合計を生成し、ファセルの位相を変調するためにファセルの各々に対する各制御信号を生成することができる。各制御信号を調整するために、ファセルごとの位相の較正との差であるデジタル電位差計からの同じデジタル入力を、LCOSデバイスのファセルのすべてに加えることができる。デジタル入力は、例えばホログラムを表示するために、LCOSデバイスの動作の期間中に一度、設定され得る。
【0265】
デジタル入力の位相の較正値の最適な一連を決定するために、遺伝的アルゴリズムを適用することができ、遺伝的アルゴリズムには、位相範囲またはホログラフィック画像コントラストなどの、1つの出力値につながる多くの入力値が存在する。この出力値は、適合度と呼ばれる1つの数値に縮小され得る。遺伝的アルゴリズムは、最高の適合度を有する出力を達成するまで、入力値の異なる組み合わせを調べるように構成され得る。場合によっては、このアルゴリズムは、最大適合入力のうちの2つ以上を受け取り、それらの複数の構成要素の値を一緒に組み合わせ、受け取られた入力の特徴を有するが受け取られた入力の各々とは異なる新しい入力を作成することができる。場合によっては、このアルゴリズムは、これらの構成要素の値のうちの1つを、「突然変異」として表される、受け取られた適合入力のいずれでもない何かに変更することができ、多様性を使用可能な適合入力に追加することができる。場合によっては、最適値が局所的な最大値に制限されないように新しい値を試しながら、良い結果を伴う以前の測定から得られた知識を活用することによって、1つまたは複数の最適値が検出され得る。
【0266】
適合度の出力値を計算するための複数の方法があり得る。1つの方法は、LCOS上のすべてのファセルに適用されるデジタル入力の一連を前提として、光の位相変化を計算することである。この方式では、入射光が偏光され得る。LCOSに対して作用するときに、LCの回転に応じて、入射光の偏光が変化することができる。入射光が、同じ偏光または元の偏光と90度異なる偏光のいずれかに設定された別の偏光子を介して反射され、その後、光検出器に入ることができる。したがって、LCの回転が変化するときに、光検出器から見るときの強度が変化することがある。したがって、強度の変動を介して、光の位相変化が間接的に知覚され得る。位相変化を計算するための別の方法は、背景とのマクスウェルホログラフィック再構築の強度差を測定することである。これは、投影型ディスプレイにおいて最も効果的である。そのような場合に強度を測定するには、コンピュータービジョンアルゴリズムを使用してマクスウェルホログラフィック再構築を識別し、その強度を測定することが必要になることがある。
【0267】
調整の較正
光源は、ホログラフィックデバイス内で調整されることが保証されておらず、したがって、調整を必要とする。異なる液晶(LC)は、光源の波長を前提として、異なって動作することもある。さらに、LCと光源の両方は、デバイスごとに変化し、異なる基色で表示されたときに、同じ入力ホログラムに対して異なる特徴、例えば、物体の大きさの変更を提供する可能性がある。さらに、特定のハードウェアの特徴が、異なる光学的効果、例えば、レンズ効果を出力光に適用することがあり、これも補正を必要とする。
【0268】
一部の実装では、数学的変換を、ディスプレイのファセルに対して計算された位相に適用することによって、上で説明された問題が対処され得る。位相は、プリミティブのリストからファセルへのEM場の寄与の各合計である。この数学的変換は、数式、例えば、ゼルニケ多項式から導出することができ、多項式係数またはその他の可変入力値を変更することによって、変えることができる。この数学的変換は、ファセルごと、および色別に変化することができる。例えば、光がディスプレイから反射した後に光に適用される傾きの量に対応するゼルニケ多項式の係数が存在する。
【0269】
これらの係数/入力値を決定するために、投影型ディスプレイの場合はカメラが反射面に向けられている場所に、直視型ディスプレイの場合はLCOS内に直接、ハードウェアの配置が作成され得る。一連のホログラフィックテストパターンおよび物体が、ディスプレイに送信され、カメラによって見られ得る。カメラは、マシンビジョンアルゴリズムを使用して、表示されているものを決定し、次に、その適合度を計算することができる。例えば、点のグリッドがテストパターンである場合、適合度は、点が互いにどの程度近いか、点がどの程度中心の近くに配置されているか、および点がどの程度変形しているか(例えば、大きさまたはピンクッション)などである。異なる特徴には、異なる適合度の値が存在することができる。これらの値に応じて、適合度が事前に決定される満足なレベルに達するまで、例えばゼルニケ多項式の係数を変更する形態で、補正が適用され得る。これらのテストパターンは、特に一点のみではなく、すべての距離で物体の調整が一貫していることを保証するために、異なる距離でレンダリングされ得る。そのような深度に基づく較正は、ホログラフィックテストパターンの深度、および投影型ディスプレイの場合は反射面の深度を変更することを含む反復プロセスを含み、両方の深度で正しく機能する解に収束するまで、前の較正が繰り返されることがある。最後に、較正の有効性を示すために、白点が表示され得る。
【0270】
色の較正 ホログラフィックまたはその他のディスプレイでは、任意の2つのユニットが同じ画像をレンダリングするときに、ディスプレイ間で色が一致すること、さらに、高解像度テレビ(HDTV:high-definition television)またはコンピュータ用モニタのsRGB色空間に関するRec709規格のような、テレビ(TV:television)およびコンピュータのディスプレイの規格によって定義された色が一致することが、重要である。ハードウェアコンポーネント、例えば、LEDおよびレーザーダイオードの異なるバッチは、同じ入力に対して異なる挙動を示すことがあり、人間の目によって知覚されるときに、異なる色を出力することがある。したがって、すべてのディスプレイユニットが較正され得る色標準が存在することが重要である。
【0271】
一部の実装では、強度および色度の測定値によって指定された色の客観的測定値が、CIE(Commission internationale de l'eclairage)標準観測者曲線に対して色彩強度を測定することによって取得され得る。各ディスプレイが一連の既知の色および強度のサンプルを再現することを要求し、次に、CIE標準観測者曲線に対して較正された比色計デバイスを使用して出力光を測定することによって、CIE XYZ色空間内のデバイスの色出力が、客観的に定義され得る。任意の既知の正しい値からの測定値のずれを使用して、ディスプレイ上の出力色を適応させ、出力色を正しい色に調整することができ、これは、反復的な測定-適応-測定フィードバックループを使用することによって実施され得る。入力の特定の一連に対してマクスウェルホログラフィックが正確な出力を生成した後に、入力値を出力強度にマッピングする発光体のルックアップテーブル、および入力色を出力色空間値に変換する色行列変換として、最後の適応がエンコードされ得る。これらの較正テーブルは、信頼できる客観的な出力色を生成するために、デバイス自体に埋め込まれ得る。
【0272】
さらに、波長より短い精度で回折を制御するほど十分に微細な特徴を有するLCOSデバイスを前提として、三刺激の発光(例えば、赤色、緑色、および青色の線形混合)の必要性がなくてよく、LCOSデバイスは、単一幅のスペクトルの光源を使用して照らされ、ファセルの出力を選択的に調整して、三刺激、四刺激、さらにはN刺激の出力光を生成することができ、空間的ディザリングパターンと組み合わせて、一般的な三刺激の近似ではなく、色の完全なスペクトル出力を再現することができる。十分広いスペクトルの発光体を前提として、マクスウェルホログラフィは、人間の視覚系のスペクトル軌跡内にある任意の反射色を生成できる。
【0273】
本明細書において説明された対象および機能的動作の実装は、デジタル電子回路において、有形に具現化されコンピュータソフトウェアまたはファームウェアにおいて、本明細書で開示された構造およびそれらの構造と同等のものを含むコンピュータハードウェアにおいて、またはこれらのうちの1つまたは複数の組み合わせにおいて、実装され得る。本明細書において説明された対象の実装は、データ処理装置によって実行するため、またはデータ処理装置の動作を制御するために、有形の非一過性コンピュータストレージ媒体上でエンコードされたコンピュータプログラム命令の1つまたは複数のモジュールなどの、1つまたは複数のコンピュータプログラムとして実装され得る。代替または追加として、プログラム命令は、データ処理装置によって実行するために、適切な受信器装置への送信のための情報をエンコードするように生成された、機械によって生成された電気信号、光信号、または電磁信号などの、人工的に生成された伝搬信号にエンコードされ得る。コンピュータストレージ媒体は、機械可読ストレージデバイス、機械可読ストレージ基板、ランダムアクセスまたは順次アクセスメモリデバイス、あるいはこれらのうちの1つまたは複数の組み合わせであることができる。
【0274】
「データ処理装置」、「コンピュータ」、または「電子コンピュータデバイス」(または、当業者によって理解されているような同等のもの)という用語は、データ処理ハードウェアのことを指し、例えばプログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。装置は、専用論理回路、例えば、中央処理装置(CPU)、FPGA(フィールドプログラマブルゲートアレイ)、またはASIC(特定用途向け集積回路)であるか、または専用論理回路をさらに含むこともできる。一部の実装では、データ処理装置および専用論理回路は、ハードウェアベースおよびソフトウェアベースであってよい。装置は、コンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの1つまたは複数の組み合わせを構成するコードを任意選択的に含むことができる。本明細書は、従来のオペレーティングシステムと共に、または従来のオペレーティングシステムなしで、データ処理装置を使用することを企図する。
【0275】
プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードとして参照されるか、または説明されてもよいコンピュータプログラムは、コンパイラ型言語もしくはインタープリタ型言語、または宣言型言語もしくは手続き型言語を含む、任意の形態のプログラミング言語で記述することができ、コンピューティング環境における使用に適したスタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、またはその他のユニットとしての形態を含む、任意の形態で展開され得る。コンピュータプログラムは、ファイルシステム内のファイルに対応してよいが、対応している必要はない。プログラムは、他のプログラムまたはデータ、例えば、マークアップ言語のドキュメントに格納された1つまたは複数のスクリプトを保持しているファイルの一部に、当該のプログラム専用の単一のファイルに、または複数の統合されたファイル、例えば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を格納するファイルに、格納され得る。コンピュータプログラムは、1つのサイトに位置するか、または複数のサイトにわたって分散された、1つのコンピュータ上または複数のコンピュータ上で実行されるように展開され、通信ネットワークによって相互接続され得る。さまざまな図に示されているプログラムの部分は、さまざまなオブジェクト、メソッド、またはその他のプロセスを介してさまざまな特徴および機能を実装する個別のモジュールとして示されているが、代わりにプログラムは、複数のサブモジュール、サードパーティのサービス、コンポーネント、ライブラリなどを、必要に応じて含んでよい。反対に、さまざまなコンポーネントの特徴および機能は、必要に応じて単一のコンポーネントに結合され得る。
【0276】
本明細書において説明されたプロセスおよび論理フローは、入力データを動作して出力を生成することによって機能を実行するために、1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラム可能なコンピュータによって実行され得る。プロセスおよび論理フローを、CPU、GPU、FPGA、またはASICなどの専用論理回路によって実行することもでき、装置を、そのような専用論理回路として実装することもできる。
【0277】
コンピュータプログラムの実行に適したコンピュータは、汎用マイクロプロセッサまたは専用マイクロプロセッサ、その両方、あるいは任意のその他の種類のCPUに基づくことができる。通常、CPUは、読み取り専用メモリ(ROM:read-only memory)またはランダムアクセスメモリ(RAM:random access memory)あるいはその両方から命令およびデータを受信する。コンピュータの主要な要素は、命令を実行するためのCPU、ならびに命令およびデータを格納するための1つまたは複数のメモリデバイスである。通常、コンピュータは、データを格納するための1つまたは複数のマスストレージデバイス、例えば、磁気ディスク、光磁気ディスク、または光ディスクも含むか、そのようなマスストレージデバイスに動作可能なように結合されるか、あるいはそのようなマスストレージデバイスとの間でデータを受信もしくは送信またはその両方を実行する。しかし、コンピュータがそのようなデバイスを含む必要はない。さらに、コンピュータは、別のデバイス、いくつか例を挙げると、例えば、携帯電話、パーソナルデジタルアシスタント(PDA)、携帯型オーディオまたはビデオプレイヤー、ゲーム機、全地球測位システム(GPS:global positioning system)受信器、またはポータブルストレージデバイス、例えば、ユニバーサルシリアルバス(USB:universal serial bus)フラッシュドライブ)などに埋め込まれ得る。
【0278】
コンピュータプログラム命令およびデータを格納するのに適したコンピュータ可読媒体(必要に応じて、一過性であるか、または非一過性である)は、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含み、その例としては、半導体メモリデバイス、例えば、消去可能プログラマブル読み取り専用メモリ(EPROM:erasable programmable read-only memory)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM:electrically erasable programmable read-only memory)、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたは取り外し可能なディスク、光磁気ディスク、ならびにCD-ROM、DVD-R、DVD-RAM、およびDVD-ROMディスクなどが挙げられる。メモリは、キャッシュ、クラス、フレームワーク、アプリケーション、バックアップデータ、ジョブ、Webページ、Webページのテンプレート、データベーステーブル、ビジネス情報および動的情報を格納するリポジトリ、ならびに任意のパラメータ、変数、アルゴリズム、命令、ルール、制約、またはそれらへの参照を含む任意のその他の適切な情報を含む、さまざまなオブジェクトまたはデータを格納してよい。さらに、メモリは、ログ、ポリシー、セキュリティまたはアクセスデータ、報告ファイルなどの、任意のその他の適切なデータを含んでよい。プロセッサおよびメモリは、専用論理回路によって補完されるか、または専用論理回路に組み込まれ得る。
【0279】
ユーザとの対話を提供するために、本明細書において説明された対象の実装は、情報をユーザに表示するためのディスプレイデバイス、例えば、ブラウン管(CRT:cathode ray tube)、液晶ディスプレイ(LCD:liquid crystal display)、発光ダイオード(LED)、またはプラズマモニタ、ならびにユーザが入力をコンピュータに提供するために使用できるキーボードおよびポインティングデバイス、例えば、マウス、トラックボール、またはトラックパッドを含むコンピュータ上で実装され得る。入力は、圧力感度を有するタブレットコンピュータの表面などのタッチスクリーン、容量検出または電気検出を使用するマルチタッチスクリーン、またはその他の種類のタッチスクリーンを使用して、コンピュータに提供されてもよい。ユーザとの対話を提供するために、その他の種類のデバイスも使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであることができ、ユーザからの入力が、音響入力、音声入力、または触覚入力を含む任意の形態で受信され得る。加えて、コンピュータは、ドキュメントを、ユーザによって使用されているデバイスに送信し、ユーザによって使用されているデバイスから受信することによって、ユーザと対話することができ、例えば、Webブラウザから受信された要求に応答して、Webページをユーザのクライアントデバイス上のWebブラウザに送信することによって、ユーザと対話することができる。
【0280】
「グラフィカルユーザインターフェイス(graphical user interface)」または「GUI」という用語は、1つまたは複数のグラフィカルユーザインターフェイスおよび特定のグラフィカルユーザインターフェイスのディスプレイの各々を説明するために、単数または複数で使用されてよい。したがって、GUIは、Webブラウザ、タッチスクリーン、またはコマンドラインインターフェイス(CLI:command line interface)を含むが、これらに限定されない、情報を処理し、情報の結果をユーザに効率的に提示する、任意のグラフィカルユーザインターフェイスを表してよい。一般に、GUIは、ビジネススーツを着たユーザによって動作可能な対話式のフィールド、プルダウンリスト、およびボタンなどの、一部または全部がWebブラウザに関連付けられた複数のユーザインターフェイス(UI:user interface)要素を含んでよい。これらおよびその他のUI要素が、Webブラウザの機能に関連しているか、またはWebブラウザの機能を表してよい。
【0281】
本明細書において説明された対象の実装は、例えばデータサーバとしてバックエンドコンポーネントを含むコンピューティングシステム、またはミドルウェアコンポーネント、例えば、アプリケーションサーバを含むコンピューティングシステム、またはフロントエンドコンポーネント、例えば、ユーザが本明細書において説明された対象の実装と対話するために使用できるグラフィカルユーザインターフェイスまたはWebブラウザを備えているクライアントコンピュータを含むコンピューティングシステム、あるいは1つまたは複数のそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組み合わせにおいて、実装され得る。システムのコンポーネントは、有線または無線デジタルデータ通信の任意の形態または媒体例えば、通信ネットワークによって相互接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク(LAN:local area network)、無線アクセスネットワーク(RAN:radio access network)、メトロポリタンエリアネットワーク(MAN:metropolitan area network)、広域ネットワーク(WAN:wide area network)、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WIMAX:worldwide interoperability for microwave access)、例えば902.11 a/b/g/nおよび902.20を使用する無線ローカルエリアネットワーク(WLAN:wireless local area network)、インターネットの全部または一部、および1つまたは複数の場所での任意のその他の1つまたは複数の通信システムが挙げられる。ネットワークは、例えば、インターネットプロトコル(IP:internet protocol)パケット、フレームリレーのフレーム、非同期転送モード(ATM:asynchronous transfer mode)セル、音声、ビデオ、データ、またはネットワークアドレス間のその他の適切な情報を使用して、通信してよい。
【0282】
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、通常、互いに遠く離れており、一般に通信ネットワークを介して情報をやりとりする。クライアントおよびサーバの関係は、各コンピュータ上で実行されている、互いにクライアント/サーバの関係を有しているコンピュータプログラムによって生じる。
【0283】
一部の実装では、コンピューティングシステム、ハードウェアおよびソフトウェアの両方のコンポーネントのいずれかまたはすべては、アプリケーションプログラミングインターフェイス(API:application programming interface)またはサービスレイヤを使用して、互いにまたはインターフェイスと、インターフェイスをとってよい。APIは、ルーチン、データ構造、およびオブジェクトクラスに関する仕様を含んでよい。APIは、コンピュータ言語に依存しないか、またはコンピュータ言語に依存してよく、完全なインターフェイス、単一の関数、またはAPIのセットのことを指すことがある。サービスレイヤは、ソフトウェアサービスをコンピューティングシステムに提供する。このサービスレイヤを介して、すべてのサービス利用者が、コンピューティングシステムのさまざまなコンポーネントの機能にアクセスすることができてよい。ソフトウェアサービスは、定義されたインターフェイスを介して、再利用可能な定義されたビジネスの機能を提供する。例えば、インターフェイスは、任意の適切な形式でデータを提供する、任意の適切な言語で記述されたソフトウェアであってよい。APIおよびサービスレイヤは、コンピューティングシステム内の他のコンポーネントとの関係において、一体的であるか、またはスタンドアロンコンポーネントであってよい。さらに、本明細書の範囲から逸脱することなく、サービスレイヤのいずれかまたはすべての部分が、別のソフトウェアモジュール、企業アプリケーション、またはハードウェアモジュールの子モジュールまたはサブモジュールとして実装されてよい。
【0284】
本明細書は、多くの特定の実装の詳細を含むが、それらは、すべての発明の範囲または請求できる内容の範囲に対する制限と解釈されるべきではなく、特定の発明の特定の実装に固有であってよい特徴の説明と解釈されるべきである。個別の実装との関連において本明細書において説明されている特定の複数の特徴を、単一の実装において組み合わせて実装することもできる。反対に、単一の実装との関連において説明されている個々の特徴を、複数の実装において別々に、または任意の適切な部分的組み合わせで、実装することもできる。さらに、特徴が、特定の組み合わせで機能するように説明され、そのように最初に請求されることさえあるが、請求された組み合わせからの1つまたは複数の特徴を、場合によっては、その組み合わせから削除することができ、請求された組み合わせは、部分的組み合わせまたは部分的組み合わせの変形を対象にしてよい。
【0285】
対象の特定の実装が説明された。当業者にとって明らかであろうように、説明された実装のその他の実装、修正、および並べ替えが以下の特許請求の範囲に含まれる。図面または特許請求の範囲において、特定の順序で動作が示されているが、望ましい結果を達成するために、そのような動作が、示されている特定の順序で、または連続的順序で実行される必要があると理解されるべきではなく、すべての示されている動作が実行される必要があると理解されるべきではない(一部の動作は、任意選択的であると見なされてよい)。特定の環境では、適切と見なされる場合に、マルチタスクまたは並列処理が有利であってよく、実行されてよい。
なお、本発明には以下の態様が含まれることを付記する。
〔態様1〕
3次元(3D)空間内の物体に対応する複数のプリミティブの各々について、ディスプレイの複数の素子の各々への電磁(EM)場の寄与を、3D座標系内で、前記プリミティブから前記素子へのEM場の伝搬を計算することによって決定することと、
前記複数の素子の各々について、前記複数のプリミティブから前記素子への前記EM場の寄与の合計を生成することとを含む、方法。
〔態様2〕
前記EM場の寄与が、位相の寄与および振幅の寄与から成る群から選択された少なくとも1つの要素を含む、態様1に記載の方法。
〔態様3〕
前記プリミティブが、点プリミティブ、線プリミティブ、および多角形プリミティブから成る群から選択された少なくとも1つの要素を含む、態様1または2に記載の方法。
〔態様4〕
前記プリミティブが、グラデーション色、テクスチャ色、および陰影効果から成る群から選択された少なくとも1つの要素を含む線プリミティブを有する、態様1から3のいずれか一項に記載の方法。
〔態様5〕
前記プリミティブが、グラデーション色、テクスチャ色、および陰影効果から成る群から選択された少なくとも1つの要素を含む多角形プリミティブを有する、態様1から4のいずれか一項に記載の方法。
〔態様6〕
前記複数のプリミティブが特定の順序でインデックス付けされる、態様1から5のいずれか一項に記載の方法。
〔態様7〕
前記複数のプリミティブの各々の各プリミティブデータを取得することをさらに含む、態様1から6のいずれか一項に記載の方法。
〔態様8〕
前記複数のプリミティブの各々の前記各プリミティブデータが、前記プリミティブの各色情報を含み、前記素子の各々に対して前記決定されたEM場の寄与が、前記プリミティブの前記各色情報に対応する情報を含む、態様7に記載の方法。
〔態様9〕
前記色情報が、テクスチャ色およびグラデーション色から成る群から選択された少なくとも1つの要素を含む、態様8に記載の方法。
〔態様10〕
前記複数のプリミティブの各々の前記各プリミティブデータが、前記プリミティブのテクスチャ情報を含む、態様7から9のいずれか一項に記載の方法。
〔態様11〕
前記複数のプリミティブの各々の前記各プリミティブデータが、前記プリミティブの1つまたは複数の表面上の陰影情報を含む、態様7から10のいずれか一項に記載の方法。
〔態様12〕
前記陰影情報が、前記プリミティブの前記1つまたは複数の表面上の色および前記プリミティブの前記1つまたは複数の表面上の明るさのうちの少なくとも1つから成る群から選択された少なくとも1つの要素に対する変調を含む、態様11に記載の方法。
〔態様13〕
前記複数のプリミティブの各々の前記各プリミティブデータが、前記3D座標系内の前記プリミティブの各座標情報を含む、態様7から12のいずれか一項に記載の方法。
〔態様14〕
前記3D座標系内の前記複数の素子の各々の各座標情報が、前記3D座標系内の前記複数のプリミティブの前記各座標情報に基づいて決定される、態様13に記載の方法。
〔態様15〕
前記素子の各々の前記各座標情報が、メモリに格納された前記素子の論理メモリアドレスに対応する、態様14に記載の方法。
〔態様16〕
前記複数のプリミティブの各々について、前記複数の素子の各々への前記EM場の寄与を決定することが、前記3D座標系内で、前記素子の前記各座標情報および前記プリミティブの前記各座標情報に基づいて、前記素子と前記プリミティブとの間の少なくとも1つの距離を決定することを含む、態様14または15に記載の方法。
〔態様17〕
前記複数のプリミティブの各々について、前記複数の素子の各々への前記EM場の寄与を決定することが、
第1のプリミティブの前記各座標情報および第1の素子の前記各座標情報に基づいて、前記複数のプリミティブのうちの前記第1のプリミティブと前記複数の素子のうちの前記第1の素子との間の第1の距離を決定することと、
前記第1の距離および前記第1の素子と前記第2の素子との間の距離に基づいて、前記第1のプリミティブと前記複数の素子のうちの第2の素子との間の第2の距離を決定することとを含む、態様16に記載の方法。
〔態様18〕
前記第1の素子と前記第2の素子との間の前記距離が、前記ディスプレイの前記複数の素子のピッチに基づいて事前に決定される、態様17に記載の方法。
〔態様19〕
前記複数のプリミティブのうちの少なくとも1つが、第1および第2の端点を含む線プリミティブであり、前記素子と前記プリミティブとの間の少なくとも1つの距離を決定することが、
前記素子と前記線プリミティブの前記第1の端点との間の第1の距離を決定することと、
前記素子と前記線プリミティブの前記第2の点との間の第2の距離を決定することとを含む、態様16から18のいずれか一項に記載の方法。
〔態様20〕
前記複数のプリミティブのうちの少なくとも1つが、第1、第2、および第3の端点を含む三角形プリミティブであり、前記素子と前記プリミティブとの間の少なくとも1つの距離を決定することが、
前記素子と前記三角形プリミティブの前記第1の端点との間の第1の距離を決定することと、
前記素子と前記三角形プリミティブの前記第2の点との間の第2の距離を決定することと、
前記素子と前記三角形プリミティブの前記第3の点との間の第3の距離を決定することとを含む、態様16から18のいずれか一項に記載の方法。
〔態様21〕
前記複数のプリミティブの各々について、前記複数の素子の各々への前記EM場の寄与を決定することが、前記プリミティブおよび前記少なくとも1つの距離に対して事前に決定される式に基づいて前記プリミティブから前記素子への前記EM場の寄与を決定することを含む、態様16から20のいずれか一項に記載の方法。
〔態様22〕
前記事前に決定される式が、前記プリミティブから前記素子への前記EM場の伝搬を解析的に計算することによって決定される、態様21に記載の方法。
〔態様23〕
前記事前に決定される式が、マクスウェル方程式を解くことによって決定される、態様21に記載の方法。
〔態様24〕
前記マクスウェル方程式が、前記ディスプレイの表面で定義された境界条件を提供することによって解かれる、態様23に記載の方法。
〔態様25〕
前記境界条件がディリクレ境界条件またはコーシー境界条件を含む、態様24に記載の方法。
〔態様26〕
前記複数のプリミティブおよび前記複数の素子が、前記3D空間内に存在し、前記ディスプレイの表面が、前記3D空間の境界面の一部を形成する、態様21から25のいずれか一項に記載の方法。
〔態様27〕
前記事前に決定される式が、正弦関数を含む関数、余弦関数を含む関数、および指数関数を含む関数から成る群から選択された少なくとも1つの要素を含み、
前記EM場の寄与を決定することが、メモリに格納されたテーブル内の前記関数のうちの前記少なくとも1つの値を識別することを含む、態様21から26のいずれか一項に記載の方法。
〔態様28〕
前記複数のプリミティブの各々について、前記複数の素子の各々への前記EM場の寄与を決定し、前記複数の素子の各々に関する前記場の寄与の前記合計を生成することが、
前記複数のプリミティブから前記複数の素子のうちの第1の素子への第1のEM場の寄与を決定し、前記第1の素子に対する前記第1のEM場の寄与を合計することと、
前記複数のプリミティブから前記複数の素子のうちの第2の素子への第2のEM場の寄与を決定し、前記第2の素子に対する前記第2のEM場の寄与を合計することとを含む、態様1から27のいずれか一項に記載の方法。
〔態様29〕
前記複数のプリミティブから前記第1の素子への前記第1のEM場の寄与を決定することが、
前記複数のプリミティブのうちの第2のプリミティブから前記第1の素子へのEM場の寄与を決定することと並列に、前記複数のプリミティブのうちの第1のプリミティブから前記第1の素子へのEM場の寄与を決定することを含む、態様28に記載の方法。
〔態様30〕
前記複数のプリミティブの各々について、前記複数の素子の各々への前記EM場の寄与を決定することが、
前記複数のプリミティブのうちの第1のプリミティブから前記複数の素子の各々への第1の各EM場の寄与を決定することと、
前記複数のプリミティブのうちの第2のプリミティブから前記複数の素子の各々への第2の各EM場の寄与を決定することと
を含み、
前記複数の素子の各々に関する前記場の寄与の前記合計を生成することが、
前記素子について前記第2の各EM場の寄与を、素子に対する前記第1の各EM場の寄与に加算することによって、前記素子のEM場の寄与を累算すること
を含む、態様1から27のいずれか一項に記載の方法。
〔態様31〕
前記第1のプリミティブから前記複数の素子の各々への前記第1の各EM場の寄与を決定することが、前記第2のプリミティブから前記複数の素子の各々への前記第2の各EM場の寄与を決定することと並列に実行される、態様30に記載の方法。
〔態様32〕
前記複数のプリミティブの各々について、前記複数の素子の各々への前記EM場の寄与を決定することが、
前記複数のプリミティブのうちの第2のプリミティブから第1の素子への第2のEM場の寄与を決定することと並列に、前記複数のプリミティブのうちの第1のプリミティブから前記複数の素子のうちの前記第1の素子への第1のEM場の寄与を決定することを含む、態様1から31のいずれか一項に記載の方法。
〔態様33〕
前記複数の素子の各々について、前記複数のプリミティブから前記素子への前記EM場の寄与の前記合計に基づいて各制御信号を生成することをさらに含み、前記各制御信号が、前記複数のプリミティブから前記素子への前記EM場の寄与の前記合計に基づいて、前記素子の少なくとも1つの特性を変調するために存在する、態様1から32のいずれか一項に記載の方法。
〔態様34〕
前記素子の前記少なくとも1つの特性が、屈折率、振幅指数、複屈折、および位相差から成る群から選択された少なくとも1つの要素を含む、態様33に記載の方法。
〔態様35〕
前記各制御信号が、電気信号、光信号、磁気信号、または音響信号を含む、態様33または34に記載の方法。
〔態様36〕
スケール係数を前記素子の各々に関する前記場の寄与の前記合計に乗算して、前記場の寄与の大きさを変更された合計を取得することをさらに含み、 前記各制御信号が、前記素子に関する前記場の寄与の前記大きさを変更された合計に基づいて生成される、態様33から35のいずれか一項に記載の方法。
〔態様37〕
前記素子の各々に関する前記場の寄与の前記合計を正規化することをさらに含み、
前記各制御信号が、前記素子に関する前記場の寄与の前記正規化された合計に基づく、態様33から36のいずれか一項に記載の方法。
〔態様38〕
前記各制御信号を前記素子に送信することをさらに含む、態様33から37のいずれか一項に記載の方法。
〔態様39〕
制御信号を発光体に送信することをさらに含み、
前記制御信号が、前記発光体が前記ディスプレイ上で発光するように、前記発光体をオンにすることを示す、態様1から38のいずれか一項に記載の方法。
〔態様40〕
前記制御信号が、前記複数の素子の各々に関する前記場の寄与の前記合計の取得の完了を決定することに応答して送信される、態様39に記載の方法。
〔態様41〕
前記ディスプレイの前記変調素子が、前記光を異なる方向に伝搬させ、前記3D空間内の前記物体に対応する体積光照射野を形成する、態様39または40に記載の方法。
〔態様42〕
前記体積光照射野が、前記ディスプレイの前記変調素子によって定義された境界条件付きのマクスウェル方程式の解に対応する、態様41に記載の方法。
〔態様43〕
前記光が白色光を含み、前記ディスプレイが、前記白色光を異なる色を有する光に回折するように構成されている、態様39から42のいずれか一項に記載の方法。
〔態様44〕
計算時に固定小数点表現を使用して値を表すことをさらに含む、態様1から43のいずれか一項に記載の方法。
〔態様45〕
前記値の各々が、暗黙のスケール係数を使用して整数として表される、態様44に記載の方法。
〔態様46〕
固定小数点表現を使用して数学関数を実行することをさらに含む、態様1から45のいずれか一項に記載の方法。
〔態様47〕
前記数学関数が、正弦、余弦、および逆正接から成る群から選択された少なくとも1つの要素を含む、態様46に記載の方法。
〔態様48〕
前記数学関数を実行することが、
第1の固定小数点形式で式を受信することと、
前記第1の固定小数点形式の精度と異なるレベルの精度を有する第2の固定小数点形式で値を出力することとを含む、態様46または47に記載の方法。
〔態様49〕
前記数学関数を実行することが、前記数学関数の計算用のテーブルを検索することを含み、
前記テーブルが、完全に列挙されたルックアップテーブル、補間されたテーブル、多項式関数に基づくセミテーブル、および完全なミニマックス多項式に基づくセミテーブルから成る群から選択された少なくとも1つの要素を含む、態様46から48のいずれか一項に記載の方法。
〔態様50〕
前記数学関数を実行することが、
特殊な範囲縮小を入力に適用することを含む、態様46から49のいずれか一項に記載の方法。
〔態様51〕
前記数学関数を実行することが、
範囲[-π,π]の三角関数計算を範囲[-1,1]内の符号付き2の補数表現に変換することを含む、態様46から50のいずれか一項に記載の方法。
〔態様52〕
第1のプリミティブの再構築が第2のプリミティブの再構築と重ならないように、事前に決定される係数によって、前記第2のプリミティブに隣接する前記第1のプリミティブの大きさを変更することをさらに含む、態様1から51のいずれか一項に記載の方法。
〔態様53〕
前記事前に決定される係数が、前記ディスプレイの解像度に少なくとも部分的に基づいて決定される、態様52に記載の方法。
〔態様54〕
前記複数のプリミティブの各々の各プリミティブデータを取得することと、ここで、前記複数のプリミティブの各々の前記各プリミティブデータが、前記3D座標系内の前記プリミティブの各座標情報を含み、
前記第1のプリミティブの前記各座標情報および前記事前に決定される係数に基づいて前記第1のプリミティブの新しい各座標情報を決定することと
をさらに含む、態様52または53に記載の方法。
〔態様55〕
前記第1のプリミティブの前記新しい各座標情報に基づいて、前記第1のプリミティブから前記複数の素子の各々へのEM場の寄与を決定することをさらに含む、態様54に記載の方法。
〔態様56〕
前記事前に決定される係数によって前記第2のプリミティブの大きさを変更することをさらに含む、態様52から55のいずれか一項に記載の方法。
〔態様57〕
前記第1のプリミティブおよび前記第2のプリミティブが共通部分を共有し、
前記第1のプリミティブの大きさを変更することが、前記第1のプリミティブの前記共通部分の大きさを変更することを含む、態様52から56のいずれか一項に記載の方法。
〔態様58〕
前記第1のプリミティブの大きさを変更することが、
事前に決定される方向に前記第1のプリミティブの大きさを変更することを含む、態様52から57のいずれか一項に記載の方法。
〔態様59〕
3次元(3D)空間内の物体に対応する複数のプリミティブの各プリミティブデータを取得することと、
前記複数のプリミティブのうちの第1のプリミティブからディスプレイの複数の素子の各々への第1の各電磁(EM)場の寄与を計算することと、
前記複数のプリミティブのうちの第2のプリミティブから前記ディスプレイの前記複数の素子の各々への第2の各EM場の寄与を計算することとを含み、
前記第1のプリミティブからの前記第1の各EM場の寄与を計算することが、前記第2のプリミティブからの前記第2の各EM場の寄与を計算することと、少なくとも部分的に並列になる、方法。
〔態様60〕
前記第1のプリミティブから前記複数の素子のうちの第1の素子への第1のEM場の寄与を計算することが、前記複数のプリミティブのうちの第2のプリミティブから前記第1の素子への第2のEM場の寄与を計算することと並列になる、態様59に記載の方法。
〔態様61〕
前記複数のプリミティブの各々から前記複数の素子の各々への各EM場の寄与を計算することを含む、態様59または60に記載の方法。
〔態様62〕
前記各EM場の寄与の前記計算が、
前記物体の形状を前記複数の素子に拡大することと、
波面をまとめる前に可視性テストを適用することと、
異なるプリミティブに対する並列計算間の意思決定または通信とから成る群から選択された少なくとも1つの要素を含まない、態様61に記載の方法。
〔態様63〕
前記各EM場の寄与の前記計算が、
異なるプリミティブの並列計算を、速度、コスト、サイズ、またはエネルギー最適化に合わせて調整することと、
描画を開始して、結果を表示する準備ができるまでの待ち時間を短縮することと、
固定小数点表現を使用して精度を向上させることと、
数学関数を最適化することによって計算速度を最適化することと
から成る群から選択された少なくとも1つの要素を引き起こすように構成されている、態様61または62に記載の方法。
〔態様64〕
計算時に固定小数点表現を使用して値を表すことをさらに含む、態様59から63のいずれか一項に記載の方法。
〔態様65〕
前記固定小数点表現を使用して値を表すことが、
徐々のアンダーフローのための非正規浮動小数と、
ゼロ除算を含む演算からのNaNの結果を処理することと、
浮動小数点の丸めモードを変更することと、
浮動小数点例外をオペレーティングシステムに上げることと
から成る群から選択された少なくとも1つの要素を含まない、態様64に記載の方法。
〔態様66〕
前記複数の素子の各々について、前記素子に対する前記第2の各EM場の寄与を前記素子に対する前記第1の各EM場の寄与に加算することによって、前記素子に対するEM場の寄与を累算することをさらに含む、態様59から65のいずれか一項に記載の方法。
〔態様67〕
前記複数の素子の各々について、前記複数のプリミティブから前記素子への前記EM場の寄与の合計に基づいて各制御信号を生成することをさらに含み、前記各制御信号が、前記複数のプリミティブから前記素子への前記EM場の寄与の前記合計に基づいて、前記素子の少なくとも1つの特性を変調するために存在する、態様59から66のいずれか一項に記載の方法。
〔態様68〕
3次元(3D)空間内の物体に対応する複数のプリミティブの各プリミティブデータを取得することと、
前記各プリミティブデータを第1のプリミティブおよび第2のプリミティブに使用して、事前に決定される係数によって前記第2のプリミティブに隣接する前記第1のプリミティブの大きさを変更することと、
前記大きさの変更の結果に基づいて前記第1のプリミティブの前記各プリミティブデータを更新することとを含む、方法。
〔態様69〕
前記複数のプリミティブの各々の前記各プリミティブデータが、3D座標系内の前記プリミティブの各座標情報を含み、
前記各プリミティブデータを更新することが、
前記第1のプリミティブの前記各座標情報および前記事前に決定される係数に基づいて前記第1のプリミティブの新しい各座標情報を決定することを含む、態様68に記載の方法。
〔態様70〕
前記事前に決定される係数が、前記3D空間内で前記第1のプリミティブの再構築が前記第2のプリミティブの再構築に重ならないように決定される、態様68または69に記載の方法。
〔態様71〕
前記3D空間内の前記第1のプリミティブの再構築と前記第2のプリミティブの再構築との間のギャップが、前記第1および第2のプリミティブを分離して重なりの影響を最小限に抑えるほど十分大きくなり、前記再構築に継ぎ目がないように見えるようにするほど十分小さくなるように、前記大きさの変更が実行される、態様68から70のいずれか一項に記載の方法。
〔態様72〕
前記事前に決定される係数が、前記ディスプレイの解像度に少なくとも部分的に基づいて決定される、態様68から71のいずれか一項に記載の方法。
〔態様73〕
前記第1のプリミティブの前記更新されたプリミティブデータをバッファに格納することをさらに含む、態様68から72のいずれか一項に記載の方法。
〔態様74〕
前記複数のプリミティブの前記各プリミティブデータを取得するために、前記物体のレンダリングプロセスの間に、前記大きさの変更が実行される、態様68から73のいずれか一項に記載の方法。
〔態様75〕
前記複数のプリミティブの更新されたプリミティブデータをコントローラに送信することをさらに含み、
前記コントローラが、前記複数のプリミティブの前記更新されたプリミティブデータに基づいて、前記複数のプリミティブの各々からディスプレイの複数の素子の各々への各電磁(EM)場の寄与を決定するように構成されている、態様68から74のいずれか一項に記載の方法。
〔態様76〕
前記第1のプリミティブの前記更新されたプリミティブデータに基づいて、前記第1のプリミティブからディスプレイの複数の素子の各々へのEM場の寄与を決定することをさらに含む、態様68から74のいずれか一項に記載の方法。
〔態様77〕
前記事前に決定される係数によって前記第2のプリミティブの大きさを変更することをさらに含む、態様68から76のいずれか一項に記載の方法。
〔態様78〕
前記第1のプリミティブおよび前記第2のプリミティブが共通部分を共有し、
前記第1のプリミティブの大きさを変更することが、前記第1のプリミティブの前記共通部分の大きさを変更することを含む、態様68から77のいずれか一項に記載の方法。
〔態様79〕
前記第1のプリミティブの大きさを変更することが、
事前に決定される方向に前記第1のプリミティブの大きさを変更することを含む、態様68から78のいずれか一項に記載の方法。
〔態様80〕
前記第1のプリミティブの大きさを変更することが、
第1の事前に決定される係数によって前記第1のプリミティブの第1の部分の大きさを変更することと、
第2の事前に決定される係数によって前記第2のプリミティブの第2の部分の大きさを変更することとを含み、
前記第1の事前に決定される係数が、前記第2の事前に決定される係数と異なっている、態様68から79のいずれか一項に記載の方法。
〔態様81〕
3次元(3D)空間内の物体に対応する複数のプリミティブのうちの特定のプリミティブの指定された表面にマッピングされる画像の複数の離散余弦変換(DCT)加重を取得することと、
前記画像の前記複数のDCT加重の影響を考慮することによって、前記特定のプリミティブからディスプレイの複数の素子の各々への各EM場の寄与を決定することとを含む、方法。
〔態様82〕
前記特定のプリミティブの前記指定された表面にマッピングされる前記画像の解像度を決定することと、
前記解像度に基づいて前記画像の前記複数のDCT加重を決定することとをさらに含む、態様81に記載の方法。
〔態様83〕
前記画像の前記DCT加重をデコードして、前記画像の各ピクセルの各DCT振幅を取得することをさらに含む、態様81または82に記載の方法。
〔態様84〕
前記画像の前記ピクセルの前記各DCT振幅に関連付けられた値を、前記特定のプリミティブのプリミティブデータと一緒に格納することをさらに含む、態様83に記載の方法。
〔態様85〕
前記各EM場の寄与を決定することが、
前記画像の前記ピクセルの前記各DCT振幅に関連付けられた前記値を使用して、前記特定のプリミティブから前記複数の素子の各々への前記各EM場の寄与を計算することを含む、態様83または84に記載の方法。
〔態様86〕
前記各EM場の寄与の前記決定に含められる特定のDCT項を選択することをさらに含み、前記特定のDCT項の各々が、事前に決定されるしきい値より大きい各DCT加重を含む、態様81から85のいずれか一項に記載の方法。
〔態様87〕
特定のプリミティブおよび前記特定のプリミティブの閉塞体の情報を取得することと、ここで、前記特定のプリミティブが、3次元(3D)空間内の物体に対応する複数のプリミティブ内にあり、
前記閉塞体の影響で前記特定のプリミティブの再構築に寄与しないディスプレイの複数の素子のうちの1つまたは複数の特定の素子を決定することとを含む、方法。
〔態様88〕
前記特定の素子の前記情報を、前記特定のプリミティブおよび前記閉塞体の前記情報と共に格納することをさらに含む、態様87に記載の方法。
〔態様89〕
前記複数のプリミティブのプリミティブデータを取得するために、前記物体のレンダリングプロセスの間に、前記決定が実行される、態様87または88に記載の方法。
〔態様90〕
前記特定の素子の前記格納された情報を、前記特定のプリミティブおよび前記閉塞体の前記情報と共に、前記ディスプレイの前記複数の素子への前記複数のプリミティブの電磁気(EM)の寄与を計算するように構成されたコントローラに送信することをさらに含む、態様87から89のいずれか一項に記載の方法。
〔態様91〕
前記特定の素子の各々について、前記特定のプリミティブから前記特定の素子のうちの前記1つへのEM場の寄与を除外することによって、前記複数のプリミティブから前記特定の素子のうちの前記1つへの電磁(EM)場の寄与の合計を生成することをさらに含む、態様87から89のいずれか一項に記載の方法。
〔態様92〕
前記特定の素子以外の前記複数の素子の各々について、前記複数のプリミティブから前記素子へのEM場の寄与の各合計を生成することをさらに含む、態様87から91のいずれか一項に記載の方法。
〔態様93〕
前記特定のプリミティブへの前記特定の素子のEM場の寄与をマスクすることをさらに含む、態様87から92のいずれか一項に記載の方法。
〔態様94〕
前記1つまたは複数の特定の素子を決定することが、
前記特定のプリミティブを前記閉塞体の端点に接続することと、
前記接続を前記ディスプレイに伸ばして、前記接続と前記ディスプレイとの間の交点を決定することと、
前記交点によって定義された特定の範囲が、前記閉塞体の前記影響で前記特定のプリミティブの前記再構築に寄与しない前記特定の素子であるということを決定することとを含む、態様87から93のいずれか一項に記載の方法。
〔態様95〕
特定のプリミティブおよび前記特定のプリミティブの閉塞体の情報を取得することと、ここで前記特定のプリミティブが、3次元(3D)空間内の物体に対応する複数のプリミティブ内にあり、
ディスプレイの複数の素子の各々について、前記閉塞体の影響で前記素子への電磁(EM)場の寄与を行わない前記特定のプリミティブの各部分を決定することと
を含む、方法。
〔態様96〕
前記特定のプリミティブの前記各部分の前記情報を、前記特定のプリミティブおよび前記閉塞体の前記情報と共に格納することをさらに含む、態様88に記載の方法。
〔態様97〕
前記複数のプリミティブのプリミティブデータを取得するために、前記物体のレンダリングプロセスの間に、前記決定が実行される、態様95または96に記載の方法。
〔態様98〕
前記特定の情報の前記各部分の前記格納された情報を、前記特定のプリミティブおよび前記閉塞体の前記情報と共に、前記ディスプレイの前記複数の素子への前記複数のプリミティブの電磁気(EM)の寄与を計算するように構成されたコントローラに送信することをさらに含む、態様95から97のいずれか一項に記載の方法。
〔態様99〕
前記特定のプリミティブの前記各部分への前記複数の素子の各々のEM場の寄与をマスクすることをさらに含む、態様95から98のいずれか一項に記載の方法。
〔態様100〕
前記複数の素子の各々について、前記特定のプリミティブの前記各部分から前記素子へのEM場の寄与を除外することによって、前記複数のプリミティブから前記素子へのEM場の寄与の合計を生成することをさらに含む、態様95から99のいずれか一項に記載の方法。
〔態様101〕
前記複数のプリミティブから前記素子へのEM場の寄与の前記合計を生成することが、 前記素子への前記特定のプリミティブの前記各部分の前記EMの寄与を、前記閉塞体の前記影響なしで、前記複数のプリミティブから前記素子へのEM場の寄与の前記合計から引くことを含む、態様100に記載の方法。
〔態様102〕
前記複数のプリミティブから前記素子へのEM場の寄与の前記合計を生成することが、 前記特定のプリミティブの1つまたは複数の他の部分から前記素子へのEM場の寄与を合計することを含み、前記各部分および前記1つまたは複数の他の部分が、前記特定のプリミティブを形成する、態様100に記載の方法。
〔態様103〕
前記閉塞体の影響で前記素子へのEM場の寄与を行わない前記特定のプリミティブの各部分を決定することが、
前記素子を前記閉塞体の端点に接続することと、
前記接続と前記特定のプリミティブとの間の交点を決定することと、
前記交点によって囲まれている前記特定のプリミティブの特定の部分が、前記閉塞体の前記影響で前記素子への前記EM場の寄与を行わない前記特定のプリミティブの前記各部分であるということを決定することとを含む、態様95から102のいずれか一項に記載の方法。
〔態様104〕
3次元(3D)空間内の物体に対応する複数のプリミティブの各々の各プリミティブデータを取得することと、
前記複数のプリミティブの各々の各幾何学的鏡面反射情報を取得することと、
前記各幾何学的鏡面反射情報を、前記複数のプリミティブの各々の各プリミティブデータと共に格納することとを含む、方法。
〔態様105〕
前記複数のプリミティブの各々の前記各幾何学的鏡面反射情報が、
視野角での前記プリミティブの表面の反射率を含む、態様104に記載の方法。
〔態様106〕
前記プリミティブの前記各幾何学的鏡面反射情報を考慮することによって、前記複数のプリミティブの各々からディスプレイの複数の素子の各々への各EM場の寄与を決定することをさらに含む、態様104または105に記載の方法。
〔態様107〕
3次元(3D)空間内の物体に対応する複数のプリミティブの各プリミティブデータを含むグラフィックデータを取得することと、
前記複数のプリミティブの各々について、ディスプレイの複数の素子の各々への電磁(EM)場の寄与を、3D座標系内で、前記プリミティブから前記素子へのEM場の伝搬を計算することによって決定することと、
前記複数の素子の各々について、前記複数のプリミティブから前記素子への前記EM場の寄与の合計を生成することと、
前記複数の素子の各々について、各制御信号を前記素子に送信することと、ここで前記制御信号が、前記素子への前記EM場の寄与の前記合計に基づいて、前記素子の少なくとも1つの特性を変調するために存在し、
前記ディスプレイの前記変調素子によって前記光が生じ、前記物体に対応する体積光照射野を形成するように、タイミング制御信号を発光体に送信して前記発光体を作動させ、前記ディスプレイに光を当てることとを含む、方法。
〔態様108〕
ディスプレイの複数の素子の各々について、事前に決定される較正値を使用して各制御信号を変更することと、
前記各変更された制御信号を前記ディスプレイの前記複数の素子に適用することと、
前記ディスプレイ上の入射光の出力を測定することと、
前記光の前記出力の前記測定に基づいて前記事前に決定される較正値を評価することと
を含む、方法。
〔態様109〕
前記事前に決定される較正値が、前記複数の素子の各々で同じである、態様108に記載の方法。
〔態様110〕
デジタル/アナログコンバータ(DAC)によって前記複数の素子の前記各制御信号を変換することをさらに含み、
前記複数の素子の前記各制御信号を変更することが、
前記事前に決定される較正値を使用して前記各制御信号のデジタル信号を変更することを含む、態様108または109に記載の方法。
〔態様111〕
前記事前に決定される値が複数のビットを含む、態様108から110のいずれか一項に記載の方法。
〔態様112〕
前記評価の結果に基づいて前記事前に決定される較正値を調整することをさらに含む、態様108から111のいずれか一項に記載の方法。
〔態様113〕
前記事前に決定される較正値を調整することが、
前記複数のビットの1つまたは複数の値を変更することを含む、態様112に記載の方法。
〔態様114〕
前記事前に決定される較正値を調整することが、
前記事前に決定される較正値および以前の評価から決定された別の較正値に基づいて、前記複数のビットの値の組み合わせを決定することを含む、態様112に記載の方法。
〔態様115〕
前記光の前記出力が、前記光の前記出力と背景との間の前記光の位相変化または強度差を含む、態様108から114のいずれか一項に記載の方法。
〔態様116〕
前記素子の前記各制御信号が、3D空間内の物体に対応する複数のプリミティブから前記素子への電磁(EM)場の寄与の合計に基づいて決定される、態様108から115のいずれか一項に記載の方法。
〔態様117〕
ディスプレイの複数の素子の各々について、
3次元(3D)空間内の複数のプリミティブからの電磁(EM)場の寄与の各合計を取得することと、ここで前記複数のプリミティブが前記3D空間内の物体に対応し、
各数学的変換を前記素子のEM場の寄与の前記各合計に適用して、前記素子のEM場の寄与の各変換された合計を取得することと、
前記素子のEM場の寄与の前記各変換された合計に基づいて、各制御信号を決定することと、
前記素子の前記決定された各制御信号に基づいて、前記素子の特性を変調することとを含む、方法。
〔態様118〕
前記ディスプレイの前記複数の素子上に入射光を導入することと、
前記光の第1の出力を測定することと、
前記光の前記第1の出力の前記測定の結果に基づいて、前記複数の素子の前記各数学的変換の1つまたは複数の係数を調整することとをさらに含む、態様117に記載の方法。
〔態様119〕
前記ディスプレイの視野内の前記物体に対応するホログラフィックパターンの深度を変更することと、
前記光の第2の出力を測定することと、
前記第1および第2の出力に基づいて、前記各数学的変換の前記1つまたは複数の係数を調整することとをさらに含む、態様118に記載の方法。
〔態様120〕
第1のホログラフィックパターンに対応する前記複数のプリミティブを、第2のホログラフィックパターンに対応する第2の複数のプリミティブに変更することと、
前記光の第2の出力を測定することと、
前記第1および第2の出力に基づいて、前記各数学的変換の前記1つまたは複数の係数を調整することとをさらに含む、態様118に記載の方法。
〔態様121〕
前記第1のホログラフィックパターンおよび前記第2のホログラフィックパターンが前記物体に対応する、態様120に記載の方法。
〔態様122〕
前記第2のホログラフィックパターンが、前記第1のホログラフィックパターンに関連する前記物体と異なる第2の物体に対応する、態様120に記載の方法。
〔態様123〕
前記光の前記第1の出力が画像センサによって測定される、態様118から120のいずれか一項に記載の方法。
〔態様124〕
前記画像センサが、マシンビジョンアルゴリズムを使用して、表示されているものを決定し、適合度パラメータを計算するように構成されている、態様123に記載の方法。
〔態様125〕
前記第1および第2のホログラフィックパターンの各々が点のグリッドを含み、
前記適合度パラメータが、
前記点が互いにどの程度近いか、
前記点がどの程度中心の近くに配置されているか、
および前記点がどの程度変形しているかから成る群から選択された少なくとも1つの要素である、態様124に記載の方法。
〔態様126〕
前記数学的変換がゼルニケ多項式から導出される、態様117から125のいずれか一項に記載の方法。
〔態様127〕
前記複数の素子の前記数学的変換が素子ごとに変化する、態様117から126のいずれか一項に記載の方法。
〔態様128〕
ディスプレイに光を当てることによって、一連の既知の色および強度のサンプルを再現することと、
CIE標準観察者曲線に較正された比色計デバイスを使用して出力光を測定することと、
CIE XYZ色空間内で前記ディスプレイの前記出力光を定義することと
をさらに含む、態様108から127のいずれか一項に記載の方法。
〔態様129〕
既知の標準値からの前記定義された出力光の値のずれを決定することと、
前記ディスプレイ上の出力色を適応させて、出力色を正しい色に調整することと
をさらに含む、態様128に記載の方法。
〔態様130〕
液晶(LC)ディスプレイの表示素子のピッチに基づいて、前記LCディスプレイのセルギャップを決定することと、
前記LCディスプレイの前記セルギャップおよび事前に決定される位相差に基づいて、LC混合物の複屈折の最小値を計算することとを含む、方法。
〔態様131〕
前記最小値を超えるLC混合物の前記複屈折を維持しながら、前記LCディスプレイのスイッチング速度を改善することをさらに含む、態様130に記載の方法。
〔態様132〕
前記スイッチング速度を改善することが、
前記LC混合物の誘電異方性を増やすことと、
前記LC混合物の前記回転粘度を減らすこととから成る群から選択された少なくとも1つの要素を含む、態様131に記載の方法。
〔態様133〕
前記LCディスプレイが、シリコンバックプレーンを備えるLCOS(liquid crystal on silicon)デバイスを含む、態様130から132のいずれか一項に記載の方法。
〔態様134〕
前記LCディスプレイが、
液晶層と、
共通電極として前記液晶層の上にある透明導電層と、
前記液晶層の下にある複数の金属電極を備えているバックプレーンとを備えており、
前記複数の金属電極の各々が互いに分離されており、前記バックプレーンが、前記複数の金属電極の各々の電圧を制御するように構成されている、態様130から133のいずれか一項に記載の方法。
〔態様135〕
バックプレーンと、
前記バックプレーン上の複数の表示素子とを備えているディスプレイであって、
前記複数の表示素子のうちの少なくとも2つが異なるサイズを有している、ディスプレイ。
〔態様136〕
前記少なくとも2つの表示素子のうちの大きい方がバッファを備えており、前記少なくとも2つの表示素子のうちの小さい方がバッファを備えていない、態様135に記載のディスプレイ。
〔態様137〕
前記より大きい表示素子が、導電線によって第1の複数の表示素子に接続されており、 前記第1の複数の表示素子内の第2の複数の表示素子のみに電圧が加えられるように、前記バッファが、前記導電線に加えられる前記電圧をバッファするように構成され、前記第2の複数の表示素子の数が、前記第1の複数の表示素子の数より少ない、態様136に記載のディスプレイ。
〔態様138〕
前記バッファが、トランジスタの形態でのアナログ回路または論理ゲートの形態でのデジタル回路を備えている、態様135から137のいずれか一項に記載のディスプレイ。
〔態様139〕
前記複数の表示素子のサイズの分布が、前記少なくとも2つの表示素子のうちの小さい方のサイズと実質的に同一である、態様135から138のいずれか一項に記載のディスプレイ。
〔態様140〕
LCOS(liquid crystal on silicon)デバイスになるように構成されている、態様135から139のいずれか一項に記載のディスプレイ。
〔態様141〕
バックプレーンと、
前記バックプレーン上の複数の表示素子とを備えているディスプレイであって、
前記複数の表示素子のうちの少なくとも2つが異なる形状を有している、ディスプレイ。
〔態様142〕
前記バックプレーンが、前記表示素子の各々の各回路を備えており、
前記少なくとも2つの表示素子の各前記回路が、前記少なくとも2つの表示素子の前記異なる形状に対応する形状を有している、態様141に記載のディスプレイ。
〔態様143〕
前記複数の表示素子のサイズの分布が事前に決定されるサイズと実質的に同一である、態様141または142に記載のディスプレイ。
〔態様144〕
LCOS(liquid crystal on silicon)デバイスになるように構成されている、態様141から142のいずれか一項に記載のディスプレイ。
〔態様145〕
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサと通信し、前記1つまたは複数のプロセッサによって実行可能な命令を格納しており、そのような前記命令の実行時に、前記1つまたは複数のプロセッサに、態様1から134のいずれか一項に記載の方法を実行させる、非一過性コンピュータ可読ストレージ媒体とを備えている、デバイス。
〔態様146〕
1つまたは複数のプロセッサによって実行可能な命令を格納しており、そのような前記命令の実行時に、前記1つまたは複数のプロセッサに、態様1から134のいずれか一項に記載の方法を実行させる、非一過性コンピュータ可読ストレージ媒体。
〔態様147〕
複数の素子を備えているディスプレイと、
前記ディスプレイに結合され、態様1から134のいずれか一項に記載の方法を実行するように構成されているコントローラとを備えている、システム。
〔態様148〕
前記コントローラが、複数のコンピューティングユニットを備えており、前記コンピューティングユニットの各々が、3次元(3D)空間内の物体に対応する複数のプリミティブのうちの1つまたは複数のプリミティブに対して動作を実行するように構成されている、態様147に記載のシステム。
〔態様149〕
前記コントローラが前記ディスプレイにローカルに結合され、前記コンピューティングユニットの各々が、前記ディスプレイの1つまたは複数の各素子に結合され、各制御信号を前記1つまたは複数の各素子の各々に送信するように構成されている、態様148に記載のシステム。
〔態様150〕
前記コンピューティングユニットが並列に動作するように構成されている、態様148または149に記載のシステム。
〔態様151〕
前記コントローラが、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルゲートアレイ(PGA)、中央処理装置(CPU)、グラフィックスプロセッシングユニット(GPU)、および標準計算セルから成る群から選択された少なくとも1つの要素を備えている、態様147から150のいずれか一項に記載のシステム。
〔態様152〕
前記ディスプレイが、デジタルマイクロミラーデバイス(DMD)またはLCOS(liquid crystal on silicon)デバイスを含む空間光変調器(SLM)を備えている、態様147から151のいずれか一項に記載のシステム。
〔態様153〕
前記ディスプレイが、位相変調、振幅変調、または位相変調および振幅変調を実行されるように構成されている、態様147から152のいずれか一項に記載のシステム。
〔態様154〕
前記コントローラが、メモリバッファを介して前記ディスプレイに結合されている、態様147から153のいずれか一項に記載のシステム。
〔態様155〕
前記ディスプレイに隣接して配置され、前記ディスプレイ上で発光するように構成された発光体をさらに備えている、態様147から154のいずれか一項に記載のシステム。
〔態様156〕
前記発光体が、前記コントローラに結合され、前記コントローラからの制御信号に基づいてオン/オフされるように構成されている、態様155に記載のシステム。
〔態様157〕
前記発光体が、メモリバッファを介して、前記発光体内の1つまたは複数の発光素子の振幅または明るさを制御するように構成された前記コントローラに結合される、態様155または156に記載のシステム。
〔態様158〕
前記発光体の前記メモリバッファが、前記ディスプレイのメモリバッファより小さいサイズを有している、態様157に記載のシステム。
〔態様159〕
前記発光体内の前記発光素子の数が、前記ディスプレイの前記素子の数より少ない、態様157または158に記載のシステム。
〔態様160〕
前記コントローラが、前記発光体の前記1つまたは複数の発光素子を同時に作動させるように構成されている、態様157から159のいずれか一項に記載のシステム。
〔態様161〕
前記発光体がコヒーレント光源、半コヒーレント光源、または非コヒーレント光源である、態様155から160のいずれか一項に記載のシステム。
〔態様162〕
前記発光体が、異なる色を有する光を発するようにそれぞれ構成された2つ以上の発光素子を備えている、態様155から161のいずれか一項に記載のシステム。
〔態様163〕
前記コントローラが、第1の期間中に第1の色に関連付けられた情報を使用して前記ディスプレイを連続的に変調し、第2の連続的期間中に第2の色に関連付けられた情報を使用して前記ディスプレイを変調するように構成されており、
前記コントローラが、前記発光体を制御して、前記第1の期間中に第1の発光素子を連続的にオンにして、前記第1の色を有する光を発し、前記第2の期間中に第2の発光素子を連続的にオンにして、前記第2の色を有する光を発するように構成されている、態様155から162のいずれか一項に記載のシステム。
〔態様164〕
前記発光体が白色光を発するように構成されており、前記ディスプレイが、前記白色光を異なる色を有する光に回折するように構成されている、態様155から161のいずれか一項に記載のシステム。
〔態様165〕
前記発光体が、前記ディスプレイの表面の前に配置され、0度~90度の範囲内の入射角で前記ディスプレイの前記表面に前記光を発するように構成されており、前記放射光が前記ディスプレイの表面から反射される、態様155から164のいずれか一項に記載のシステム。
〔態様166〕
前記発光体から前記放射される光がコリメート光を含む、態様165に記載のシステム。
〔態様167〕
前記発光体から前記放射される光が発散光を含む、態様165に記載のシステム。
〔態様168〕
前記発光体から前記放射される光が半コリメート光を含む、態様165に記載のシステム。
〔態様169〕
前記発光体が、前記ディスプレイの裏面の後に配置され、前記ディスプレイの前記裏面に発散光を発するように構成されており、
前記放射された光が、前記ディスプレイを介して、前記ディスプレイの前面から前記ディスプレイの外へ送信される、態様155から164のいずれか一項に記載のシステム。
〔態様170〕
前記発光体が、
前記光を発するように構成された光源と、
前記光源に結合され、前記ディスプレイに隣接して配置された導波管とを備えており、前記導波管が、前記光源から前記放射された光を受信し、前記放射された光を前記ディスプレイに誘導するように構成されている、態様155から164のいずれか一項に記載のシステム。
〔態様171〕
前記光源からの前記光が、光カプラを介して前記導波管の垂直断面から前記導波管に結合される、態様170に記載のシステム。
〔態様172〕
前記光源および前記導波管が、平面的形態で統合され、前記ディスプレイの表面に配置される、態様170に記載のシステム。
〔態様173〕
前記導波管が、前記光を誘導して前記ディスプレイを均一に照らすように構成されている、態様170から172のいずれか一項に記載のシステム。
〔態様174〕
前記導波管が前記ディスプレイの裏面に配置され、前記光が、前記ディスプレイを介して送信するように誘導され、前記ディスプレイの前面から前記ディスプレイの外へ回折される、態様170から173のいずれか一項に記載のシステム。
〔態様175〕
前記コントローラが前記導波管の裏面に配置される、態様174に記載のシステム。
〔態様176〕
前記導波管が前記ディスプレイの前面に配置され、前記光が、前記ディスプレイの前記前面に入射されるように誘導され、前記前面によって反射される、態様170から173のいずれか一項に記載のシステム。
〔態様177〕
素子の配列を備えているディスプレイと、
コンピューティングユニットの配列を備えている集積回路とを備えているシステムであって、前記コンピューティングユニットの各々が、前記ディスプレイの1つまたは複数の各素子に結合されており、
複数のプリミティブのうちの少なくとも1つのプリミティブから前記素子の配列の各々への電磁(EM)場の寄与を計算することと、
前記1つまたは複数の各素子の各々について、前記複数のプリミティブから前記素子への前記EM場の寄与の各合計を生成することとを実行するように構成されている、システム。
〔態様178〕
前記コンピューティングユニットの各々が、
前記コンピューティングユニットの配列のうちの他のコンピューティングユニットから、前記複数のプリミティブのうちの他のプリミティブから前記1つまたは複数の各素子の各々への計算されたEM場の寄与を受信することと、
前記1つまたは複数の各素子の各々について、前記受信された、前記他のプリミティブから前記素子への計算されたEM場の寄与を加算することによって、前記EM場の寄与の前記各合計を生成することとを実行するように構成されている、態様177に記載のシステム。
〔態様179〕
前記コンピューティングユニットの各々が、前記1つまたは複数の各素子の各々について、前記素子への前記EM場の寄与の前記各合計に基づいて、前記素子の少なくとも1つの特性を変調するための各制御信号を生成するように構成されている、態様177または178に記載のシステム。
〔態様180〕
前記集積回路と前記ディスプレイの間に配置され、前記集積回路から制御信号を受信して、前記制御信号に基づいて前記ディスプレイに光を当てるように構成された、発光体をさらに備えており、前記集積回路、前記発光体、および前記ディスプレイが、単一のユニットとして統合されている、態様177から179のいずれか一項に記載のシステム。
〔態様181〕
前記集積回路が、前記複数のプリミティブから前記ディスプレイの前記素子の各々への前記計算されたEM場の寄与の累算結果を格納するように構成された各累算器を備えている、態様177から180のいずれか一項に記載のシステム。
〔態様182〕
前記集積回路が、計算動作の開始時に前記累算器を初期化するように構成されている、態様181に記載のシステム。
〔態様183〕
前記集積回路が、前記素子の各々の各メモリバッファを備えており、
前記集積回路が、前記複数のプリミティブから前記素子への前記計算されたEM場の寄与を累算して、前記各累算器内の最終的な累算結果として、前記EM場の寄与の前記各合計を取得し、前記最終的な累算結果を前記各累算器から前記素子の前記各メモリバッファに転送するように構成されている、態様181または182に記載のシステム。
〔態様184〕
3次元(3D)空間内の物体に対応する複数のプリミティブの各プリミティブデータを含むデータを生成するように構成されたコンピューティングデバイスを備えている、システム、および
態様147から183のいずれか一項に記載のシステムであって、
前記コンピューティングデバイスから前記グラフィックデータを受信し、前記3D空間内の前記物体を提示するための前記グラフィックデータを処理するように構成されている、システム。
〔態様185〕
前記コンピューティングデバイスが、前記物体のコンピュータ生成(CG)モデルをレンダリングすることによって、前記各プリミティブデータを含む前記プリミティブを作成するように構成された、アプリケーションプログラミングインターフェイス(API)を備えている、態様184に記載のシステム。
【0286】
したがって、前に提供された例示的な実装の説明は、本明細書を規定することも制約することもない。本明細書の思想および範囲から逸脱することなく、その他の変更、置き換え、および修正も可能である。
【符号の説明】
【0287】
100 システム
101 OSグラフィックス抽象化
102 コンピュータ
103 処理されたシーン
104 OS
105 プリミティブリスト
106 アプリケーション
108 GPU
110 ホログラフィックディスプレイ
112 コントローラ
114 ディスプレイ
116 発光体
117 ホログラフィック再構築
120 従来のレンダラー
122 画像バッファ
124 従来のモニタ
130 ホログラフィックレンダラー
150 ホログラフィックディスプレイデバイス
151 シーンデータ
152 コンピューティングアーキテクチャ
153 入力光
154 計算コア
155 ホログラフィック光照射野
156 ディスプレイ
158 バックプレーン
159 通信接続
160 表示素子
162 発光体
170 システム
172 ホログラフィックディスプレイデバイス
173 ディスプレイ
174 キーボード
176 マウス
178 2D物体
180 3D物体
200 電磁(EM)場計算の例示的な構成
202 ディスプレイ
204 表示素子
206 点プリミティブ
208 3D空間
210 境界面
250 座標
300 ディスプレイ
302 表示素子
304 点プリミティブ
306 線プリミティブ
308 三角形プリミティブ
400 プロセス
402 ステップ
404 ステップ
406 ステップ
408 ステップ
410 ステップ
500 システム
502 コンピュータ
503 レンダラー
504 アプリケーション
506 GPU
505 ビデオドライバ
508 2D表示画面
510 コントローラ
511 メモリバッファ
512 ディスプレイ
514 発光体
516 コリメート光線
518 ホログラフィック光照射野
520 システム
521 コンピュータ
522 コントローラ
523 メモリバッファ
524 ディスプレイ
526 発光体
527 半コリメート光線
528 ホログラフィック光照射野
530 システム
531 コンピュータ
532 コントローラ
533 メモリバッファ
534 ディスプレイ
535 半コリメート光線
536 発光体
538 ホログラフィック光照射野
540 システム
541 コンピュータ
542 コントローラ
544 ディスプレイ
545 光源
546 発光体
547 導波管
548 ホログラフィック光照射野
550 単一のユニット
560 システム
561 コンピュータ
562 コントローラ
563 メモリバッファ
564 透過型ディスプレイ
565 光源
566 発光体
567 導波管
568 ホログラフィック光照射野
570 システム
571 コンピュータ
572 コントローラ
573 メモリバッファ
574 反射型ディスプレイ
575 光源
576 発光体
577 発光導波管
578 ホログラフィック光照射野
600 LCOSデバイス
602 ファセル
650 LCOSデバイス
651 ワード線
652 ファセル
652* ファセル
653 ビット線
654 ファセル
660 バッファ
【手続補正書】
【提出日】2024-07-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
バックプレーンと、
前記バックプレーン上の複数の表示素子と、
を備えたディスプレイであって、
前記ディスプレイは、3次元(3D)空間内の物体のホログラフィック再構築用の変調デバイスであり、
前記複数の表示素子の各々は、前記物体に対応する複数のプリミティブから前記表示素子への電磁(EM)場の寄与の合計に対応する各信号により変調されるように構成されており、プリミティブは、コンピューティングシステム内の入力または出力のための基本的な幾何学的または図形要素を指し、
前記複数の表示素子は、少なくとも1つの回折効果を低減又は除去するための非周期的な構造を形成するために、不均一な又は不規則なサイズ又は形状を有するように構成されている、ディスプレイ。
【請求項2】
請求項1に記載のディスプレイであって、前記複数の表示素子のうちの少なくとも2つの表示素子が、不規則な多角形形状を有する、ディスプレイ。
【請求項3】
請求項1に記載のディスプレイであって、前記複数の表示素子のうちの少なくとも2つの表示素子が、少なくとも2つの異なる多角形形状を有する、ディスプレイ。
【請求項4】
請求項1に記載のディスプレイであって、前記複数の表示素子のうちの隣接する表示素子が、異なる形状を有する、ディスプレイ。
【請求項5】
請求項1に記載のディスプレイであって、前記複数の表示素子のうちの少なくとも1つの表示素子が、前記少なくとも1つの表示素子に隣接する1つ以上の表示素子と異なる形状を有する、ディスプレイ。
【請求項6】
請求項1に記載のディスプレイであって、前記複数の表示素子のサイズ分布が、1つの値を中心としている、ディスプレイ。
【請求項7】
請求項1に記載のディスプレイであって、前記複数の表示素子のサイズ分布が、前記ディスプレイの空間解像度に関連する、ディスプレイ。
【請求項8】
請求項1に記載のディスプレイであって、
前記バックプレーンが複数の回路を含み、
前記ディスプレイの前記複数の表示素子の各々が、前記バックプレーンの前記複数の回路のそれぞれの回路に結合されている、ディスプレイ。
【請求項9】
請求項1に記載のディスプレイであって、
前記ディスプレイが、
液晶層と、
共通電極として前記液晶層の上にある透明導電層と
をさらに備え、
前記バックプレーンが前記液晶層の下にある複数の金属電極を含み、前記複数の金属電極の各々が互いに分離され、前記バックプレーンが前記複数の金属電極の各々の電圧を制御するように構成されている、ディスプレイ。
【請求項10】
請求項1に記載のディスプレイであって、
前記表示素子は、位相変調及び振幅変調されるように構成されている、ディスプレイ。
【請求項11】
請求項1に記載のディスプレイであって、
前記変調デバイスは、デジタルマイクロミラーデバイス(DMD)又は液晶オンシリコン(LCOS)デバイスを含む空間光変調器(SLM)を備える、ディスプレイ。
【請求項12】
請求項1に記載のディスプレイであって、
前記変調デバイスは、液晶(LC)オンシリコン(LCOS)デバイスであり、
前記LCOSデバイスは、以下の特性:
前記LCOSデバイスのセルギャップが、前記LCOSデバイスの前記表示素子のピッチに基づいて決定される;
LC混合物の複屈折の最小値が、前記LCOSデバイスのセルギャップ及び所定の位相差に基づく;又は、
前記LCOSデバイスのスイッチング速度が、前記最小値以上の前記LC混合物の前記複屈折、前記LC混合物の誘電異方性、及び前記LC混合物の回転粘度に関連する、
のうちの少なくとも1つを有する、ディスプレイ。
【請求項13】
請求項1~12のいずれか1項に記載のディスプレイと、
前記ディスプレイに結合され、前記複数の表示素子のうちの少なくとも1つの表示素子の少なくとも1つの特性を変調するために、少なくとも1つの制御信号を前記少なくとも1つの表示素子に送信するように構成されたコントローラと
を備えるシステム。