特許 7492577 成人向けライトフィールドディスプレイシステム発明者：ジョナサン・シャン・カラフィンブレンダン・エルウッド・ベベンシージョン・ドーム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-21

(45)【発行日】2024-05-29

(54)【発明の名称】成人向けライトフィールドディスプレイシステム発明者：ジョナサン・シャン・カラフィンブレンダン・エルウッド・ベベンシージョン・ドーム

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20240522BHJP

   G02B 30/33 20200101ALI20240522BHJP

   G06F 3/01 20060101ALI20240522BHJP

   A63J 25/00 20090101ALN20240522BHJP

【ＦＩ】

G06F3/0481

G02B30/33

G06F3/01 570

G06F3/01 510

G06F3/01 560

A63J25/00

【請求項の数】 6

(21)【出願番号】P 2022515884

(86)(22)【出願日】2019-09-13

(65)【公表番号】

(43)【公表日】2023-01-20

(86)【国際出願番号】 US2019051178

(87)【国際公開番号】W WO2021050085

(87)【国際公開日】2021-03-18

【審査請求日】2022-09-13

(73)【特許権者】

【識別番号】519006883

【氏名又は名称】ライト フィールド ラボ、インコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】カラフィン、ジョナサン、ショーン

(72)【発明者】

【氏名】ベヴェンシー、ブレンダン、エルウッド

(72)【発明者】

【氏名】ドーム、ジョン

【審査官】井上 香緒梨

(56)【参考文献】

【文献】特開２００４－２０１３０５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３５０６０９（ＵＳ，Ａ１）

【文献】特表２０１３－５２４２７０（ＪＰ，Ａ）

【文献】国際公開第２０１９／１４０４０５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／００３３７８０（ＵＳ，Ａ１）

【文献】国際公開第２０１９／０９７２２９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０１

Ｇ０６Ｆ３／０４８－３／０４８９５

Ｈ０４Ｎ７／１０

Ｈ０４Ｎ７／１４－７／１７３

(57)【特許請求の範囲】

【請求項1】

ライトフィールド（ＬＦ）ディスプレイシステムであって、
成人向けホログラフィックコンテンツを生成するように構成された処理エンジンと、
成人向けシミュレーション環境の１つ以上のＬＦディスプレイモジュールのビューイングボリューム内に位置する１人以上の視聴者に、前記成人向けホログラフィックコンテンツを提示するように構成された前記１つ以上のディスプレイモジュールを備えるライトフィールドディスプレイアセンブリと、
視聴者プロファイリングシステムと
を備え、
前記視聴者プロファイリングシステムは、
前記ＬＦディスプレイモジュールによって提示された前記ホログラフィックコンテンツを視聴している視聴者を識別し、
前記識別された視聴者の各々の視聴者プロファイルを生成するように構成されており、
前記視聴者プロファイリングシステムは、前記１人以上の識別された視聴者のソーシャルメディアアカウントにアクセスして、視聴者プロファイルを生成する、
ＬＦディスプレイシステム。

【請求項2】

前記視聴者プロファイリングシステムは、前記ホログラフィックコンテンツに対する視聴者の応答、または前記ホログラフィックコンテンツを視聴する視聴者の特徴を識別し、前記識別された応答または特徴を視聴者プロファイルに含めるように構成されている、請求項１に記載のＬＦディスプレイシステム。

【請求項3】

前記処理エンジンによって生成された前記ホログラフィックコンテンツは、前記ライトフィールドディスプレイアセンブリによって表示された前記ホログラフィックコンテンツを視聴する視聴者の１つ以上の視聴者プロファイルに応答して変更される、請求項１に記載のＬＦディスプレイシステム。

【請求項4】

ライトフィールド（ＬＦ）ディスプレイシステムであって、
成人向けホログラフィックコンテンツを生成するように構成された処理エンジンと、
成人向けシミュレーション環境の１つ以上のＬＦディスプレイモジュールのビューイングボリューム内に位置する１人以上の視聴者に、前記成人向けホログラフィックコンテンツを提示するように構成された前記１つ以上のディスプレイモジュールを備えるライトフィールドディスプレイアセンブリと、
前記ホログラフィックコンテンツが提示されるときに、第２のエネルギーとして感覚フィードバックを提供するように構成された、少なくとも１つの感覚フィードバックデバイス、および、提示されたホログラフィックオブジェクトの表面に近い、または提示されたホログラフィックオブジェクトの表面と一致する体積触覚表面を生成するように構成された超音波エネルギー投影デバイス、を有する感覚フィードバックシステムと、
前記ＬＦディスプレイシステムの前記ビューイングボリューム内での前記視聴者の動きを追跡すること、および、前記ホログラフィックコンテンツに対する前記視聴者の反応を監視すること、のうちの１つ以上を実行するように構成された追跡システムと
を備え、
前記ホログラフィックコンテンツに対する前記視聴者の前記追跡された動きまたは前記監視された応答に応じて、前記体積触覚表面が変更され、
前記視聴者の前記追跡された動きまたは前記監視された応答は、ＡＩモデルへの入力であり、前記体積触覚表面は、前記ＡＩモデルに部分的に基づいて投影される、
ＬＦディスプレイシステム。

【請求項5】

前記処理エンジンは、触覚刺激、音響刺激、温度刺激、嗅覚刺激、圧力刺激、力刺激、またはそれらの任意の組み合わせを含む感覚コンテンツで前記生成されたホログラフィックコンテンツを拡張するようにさらに構成される、請求項４に記載のＬＦディスプレイシステム。

【請求項6】

前記超音波エネルギー投影デバイスは、ユーザのタッチに対する前記生成された体積触覚表面の抵抗、前記生成された体積触覚表面のテクスチャ、またはコントローラで受け取られたパラメータの値に基づく前記生成された触覚表面の触覚強度のうちの１つ以上を調整するようにさらに構成される、請求項４に記載のＬＦディスプレイシステム。

【発明の詳細な説明】

【関連出願への相互参照】

【0001】

本出願は、国際出願第ＰＣＴ／ＵＳ２０１７／０４２２７５号、同第ＰＣＴ／ＵＳ２０１７／０４２２７６号、同第ＰＣＴ／ＵＳ２０１７／０４２４１８号、同第ＰＣＴ／ＵＳ２０１７／０４２４５２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６６号、同第ＰＣＴ／ＵＳ２０１７／０４２４６７号、同第ＰＣＴ／ＵＳ２０１７／０４２４６８号、同第ＰＣＴ／ＵＳ２０１７／０４２４６９号、同第ＰＣＴ／ＵＳ２０１７／０４２４７０号、および同第ＰＣＴ／ＵＳ２０１７／０４２６７９号に関連し、これらはすべて、参照によりその全体が本明細書に組み込まれる。

【背景技術】

【0002】

本開示は、ホログラフ環境に関し、特に、成人向けの環境内で実施されるライトフィールドディスプレイに関する。

【0003】

現実を拡張し、仮想環境をシミュレートするために、様々な技術が提案されている。これらの技術には、ヘッドセット内の電子ディスプレイに表示される立体画像が含まれることが多く、奥行きの錯覚をシミュレートする。頭部および視線追跡センサを使用して、仮想環境内のどの部分またはオブジェクトが視聴者に視聴されているかを推定できる。ただし、これらの従来のアプローチでは、コンテンツを視聴するために、ある種の外部デバイス（例えば、３Ｄメガネ、ニアアイディスプレイ、ヘッドマウントディスプレイなど）のディスプレイ（例えば、立体視、仮想現実、拡張現実、または複合現実用）を装着する必要がある。仮想現実では、外部デバイスを装着すると視聴者が現実から完全に排除される。これは、視聴者が気付かないうちに環境内の他のオブジェクトや人にぶつかる可能性があり、一部のアクティビティやスポーツをシミュレートするときに危険となり得る（例えば、仮想テニスゲームでは、プレイするために実際のテニスコートのサイズの面積が必要になる場合がある）。

【発明の概要】

【0004】

成人向け娯楽コンテキスト内でホログラフィックコンテンツを表示するためのライトフィールド（ＬＦ）ディスプレイシステムが開示されている。ＬＦディスプレイシステムは、一実施形態では、環境内でＬＦディスプレイのアレイを形成するようにタイル張りされた複数のＬＦディスプレイを備える。ＬＦディスプレイシステムは、各種センサ（カメラ、マイクロフォン、ＬＦディスプレイセンサなど）を介して、環境内の各視聴者の動きや要求、およびその行動（ボディランゲージ、顔の表情、声のトーンなど）を追跡して応答する、人工知能（ＡＩ）および機械学習（ＭＬ）モデルを使用して視聴者の体験をカスタマイズし得る。したがって、その結果、環境内で視聴者を引き付けるＡＩホログラフィックパフォーマーを含む、視聴者ごとにカスタマイズされた成人向け娯楽環境が得られる。

【0005】

一実施形態では、ＬＦディスプレイシステムは、ホログラフィックコンテンツに対する視聴者の好みを取得する。これには、視聴者がリピーターである場合に視聴者のために保存された情報を取得することが含み得る。または、システムは、例えばカタログから１人以上のホログラフィックパフォーマーの視聴者から選択を受け取り得る。ホログラフィックパフォーマーは、様々な遠隔地からＬＦディスプレイシステムにライブホログラフィックコンテンツをストリーミングするライブモデル、実在の人物（モデル、女優、俳優など）のＡＩ表現、またはコンピュータで生成されたモデル（アニメ、漫画など）であり得る。

【0006】

ＬＦディスプレイシステムは、視聴者の好みに応じて、ホログラフィックパフォーマーを含むホログラフィックコンテンツを視聴者に提示する。これは、ホログラフィックパフォーマーが部屋に立って話しかけている実際の人物であるかのように視聴者から見える環境のホログラフィックオブジェクトボリューム内の場所に提示される画像である。

【0007】

ホログラフィックコンテンツの提示中に、ＬＦディスプレイシステムの追跡システムは、視聴者に対して空間的にだけでなく行動的にもＡＩをガイドするために視聴者のための感覚情報を取得する。したがって、感覚情報には、顔の表情、音声分析および認識、視聴者が明示的に述べることができるその他の一般的なフィードバック（例えば、ホログラフィックパフォーマーがアクションを実行するためのコマンドなど）などを含むボディランゲージ（例えば、喜び、興奮、失望、退屈などを示す可能性がある）などの視聴者のコンテキスト上の特徴を識別しながら、ホログラフィックパフォーマーおよび環境内の他のオブジェクトとの視聴者のインタラクションが含まれる。

【0008】

したがって、ＬＦディスプレイシステムは、追跡システムによって取得された視聴者の感覚情報に応答して、ホログラフィックパフォーマーの行動などのホログラフィックコンテンツの提示を調整する。これは、視聴者からのコメントに応じたホログラフィックパフォーマーからの笑顔や笑い声のように小さなものもあれば、視聴者からの要求に応じてホログラフィックパフォーマーがアクションを実行することを含むより大きな行動調整の場合もある。したがって、一実施形態では、ホログラフィックパフォーマーによって実行される応答は、視聴者からのインタラクションに基づくＡＩモデルを使用して生成される。したがって、視聴者は、ホログラフィックパフォーマーを見て対話するために外部デバイスを装着する必要がない。ＬＦディスプレイシステムは、実際の人間が見えるのとほぼ同じように、ホログラフィックパフォーマーを視聴者に見えるように提示する。

【0009】

したがって、本開示は、ホログラフィックディスプレイ、複数の異なるセンサ（例えば、触覚、音声、視覚など）、ネットワーク、および様々な実施形態において、特別なアイウェア、メガネ、またはヘッドマウントアクセサリを必要とせずに、物理的なものを仮想的なものに置き換えたり、拡張したりするホログラフィック成人製品を生成するＡＩおよびＭＬモデルの組み合わせを説明する。

【図面の簡単な説明】

【0010】

【図1】１つ以上の実施形態による、ホログラフィックオブジェクトを提示するライトフィールドディスプレイモジュールの図である。

【0011】

【図2A】１つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面図である。

【0012】

【図2B】１つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面図である。

【0013】

【図3A】１つ以上の実施形態による、ライトフィールドディスプレイモジュールの斜視図である。

【0014】

【図3B】１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むライトフィールドディスプレイモジュールの断面図である。

【0015】

【図4A】１つ以上の実施形態による、単一面シームレス表面環境を形成するために２次元にタイル張りされたライトフィールドディスプレイシステムの一部分の斜視図である。

【0016】

【図4B】１つ以上の実施形態による、多面シームレス表面環境におけるライトフィールドディスプレイシステムの一部分の斜視図である。

【0017】

【図4C】１つ以上の実施形態による、ウィング型構成の集合表面を有するライトフィールドディスプレイシステムの上面図である。

【0018】

【図4D】１つ以上の実施形態による、傾斜構成の集合表面を有するライトフィールドディスプレイシステムの側面図である。

【0019】

【図4E】１つ以上の実施形態による、部屋の前壁に集合表面を有するライトフィールドディスプレイシステムの上面図である。

【0020】

【図5A】１つ以上の実施形態による、ライトフィールドディスプレイシステムのブロック図である。

【0021】

【図5B】１つ以上の実施形態による、成人向けシミュレーション用のライトフィールドディスプレイシステムを組み込んだライトフィールド環境のブロック図である。

【0022】

【図6】１つ以上の実施形態による、ホログラフィックパフォーマーを視聴者に提示する、成人向け娯楽環境におけるＬＦディスプレイシステムの図である。

【0023】

【図7A】１つ以上の実施形態による、ホログラフィックコンテンツと協調して動作する感覚シミュレーションデバイスを含む、ホログラフィックコンテンツを視聴者に提示するＬＦディスプレイシステムの実施形態の第１の図である。

【0024】

【図7B】１つ以上の実施形態による、図７Ａに示されたＬＦディスプレイシステムの実施形態の第２の図であり、感覚シミュレーションデバイスがホログラフィックコンテンツで拡張されている。

【0025】

【図8】１つ以上の実施形態による、成人のホログラフィックコンテンツを視聴者に提示するためのフローチャートである。

【発明を実施するための形態】

【0026】

ライトフィールド（ＬＦ）ディスプレイシステムは、成人向け娯楽環境に実装され、ホログラフィックパフォーマーやモデルなどのホログラフィックコンテンツをユーザに提示する。ＬＦディスプレイシステムは、成人向け娯楽環境のビューイングボリューム内の１人以上の視聴者に見えるであろう１つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたＬＦディスプレイアセンブリを備える。ホログラフィックモデルはまた、他の感覚刺激（例えば、触覚、音声、または匂い）で拡張され得る。例えば、ＬＦディスプレイシステム内の超音波エミッタは、ホログラフィックパフォーマーまたは環境内の他のホログラフィックオブジェクトの一部またはすべてに対して触覚表面を提供する超音波圧力波を放出することができる。ホログラフィックコンテンツは、追加のビジュアルコンテンツ（すなわち、２Ｄまたは３Ｄビジュアルコンテンツ）を含み得る。まとまりのある体験が可能であることを確実にするエミッタの協調が、マルチエミッタ実装形態のシステムの一部（すなわち、任意の所与の時点で複数の感覚刺激を提供する、体積触覚投影システムから生成された付随する合致触覚表面を有するホログラフィックオブジェクトの投影）である。ＬＦディスプレイアセンブリは、ホログラフィックコンテンツを生成するための１つ以上のＬＦディスプレイモジュールを含み得る。

【0027】

ＬＦディスプレイアセンブリは、単一面または多面シームレス表面環境を形成し得る。例えば、ＬＦディスプレイアセンブリは、成人向け娯楽環境のエンクロージャをカプセルに包む多面シームレス表面環境を形成し得る。ＬＦディスプレイシステムの視聴者は、ＬＦディスプレイシステムによって生成されたホログラフィックコンテンツで部分的または完全に変換され得るエンクロージャに入ることができる。ホログラフィックコンテンツは、エンクロージャ内に存在する物理的オブジェクト（例えば、椅子またはベンチ）を拡張または強化することができる。さらに、視聴者は、アイウェアデバイスおよび／またはヘッドセットを要することなく、エンクロージャを自由に見回してホログラフィックコンテンツを見ることができる。さらに、成人向け娯楽環境エンクロージャは、ＬＦディスプレイアセンブリのＬＦディスプレイモジュールによって覆われる表面を有し得る。例えば、場合によっては、壁、天井、および床の一部またはすべてがＬＦディスプレイモジュールで覆われている。

【0028】

ＬＦディスプレイシステムは、追跡システムおよび／または感覚フィードバックアセンブリを介して入力を受信し得る。入力に基づいて、ＬＦディスプレイシステムは、ホログラフィックコンテンツを調整し、ならびに関連する構成要素にフィードバックを提供することができる。追加的に、ＬＦディスプレイシステムは、各視聴者を識別し、個人化されたコンテンツを各視聴者に提供するための視聴者プロファイリングシステムを組み込み得る。視聴者プロファイリングシステムは、成人向け娯楽環境への視聴者の訪問に関する他の情報をさらに記録し得、この情報は、ホログラフィックコンテンツを個人化するためのその後の訪問で使用され得る。

【0029】

いくつかの実施形態では、ＬＦディスプレイシステムは、システムが、少なくとも１つのタイプのエネルギーを同時に放出し、同時に、視聴者に応答してインタラクティブな体験を作成するために少なくとも１つのタイプのエネルギーを吸収することを可能にする要素を含み得る。例えば、ＬＦディスプレイシステムは、見るためのホログラフィックオブジェクトおよび触覚知覚のための超音波の両方を放出し、それと同時に、視聴者の追跡および他のシーン分析のための画像情報を吸収する一方、視聴者によるタッチ応答を検出するために超音波を吸収する。一例として、そのようなシステムは、視聴者によって仮想的に「タッチ」されると、タッチ刺激に従ってその「行動」を修正するホログラフィックパフォーマーを投影することができる。環境のエネルギー感知を実行するディスプレイシステムの構成要素は、エネルギーの放出および吸収の両方を行う双方向エネルギー素子を介して表示面に統合され得るか、または超音波スピーカおよびカメラなどの撮像キャプチャデバイスなど、表示面とは別の専用のセンサであり得る。

【0030】

ＬＦディスプレイシステムはまた、ホログラフィックオブジェクトボリュームおよび／またはＬＦディスプレイシステムのビューイングボリューム内の視聴者の動きを追跡するためのシステムを組み込み得る。視聴者の追跡された動きを使用して、没入型の成人向け娯楽体験を強化することができる。例えば、ＬＦディスプレイシステムは、追跡情報を使用して、ホログラフィックコンテンツとの視聴者のインタラクション（例えば、ホログラフィックボタンを押すこと）を容易にすることができる。ＬＦディスプレイシステムは、追跡情報を使用して、ホログラフィックオブジェクトに対する指の位置を監視することができる。例えば、ホログラフィックオブジェクトは、視聴者によって「押され」得るボタンであり得る。ＬＦディスプレイシステムは、超音波エネルギーを投影して、ボタンに対応し、ボタンと実質的に同じ空間を占有する触覚表面を生成することができる。ＬＦディスプレイシステムは、追跡情報を使用して、ボタンが視聴者によって「押される」ときに、ボタンを動的に移動するとともに、触覚表面の位置を動的に移動することができる。ＬＦディスプレイシステムは、追跡情報を使用して、視聴者を見る、および／または視聴者とアイコンタクトする、もしくは視聴者と他の方法でインタラクションするホログラフィックオブジェクトを提供することができる。ＬＦディスプレイシステムは、追跡情報を使用して、視聴者に「タッチする」ホログラフィックオブジェクトを提供することができ、超音波スピーカは、ホログラフィックオブジェクトが、タッチを介して、視聴者とインタラクションできる触覚表面を作成する。
ライトフィールドディスプレイシステムの概要

【0031】

図１は、１つ以上の実施形態による、ホログラフィックオブジェクト１２０を提示するライトフィールド（ＬＦ）ディスプレイモジュール１１０の図１００である。ＬＦディスプレイモジュール１１０は、ライトフィールド（ＬＦ）ディスプレイシステムの一部である。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュールを使用して、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。ＬＦディスプレイシステムは、１人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、ＬＦディスプレイシステムはまた、他の感覚コンテンツ（例えば、触覚、音声、匂い、温度など）でホログラフィックコンテンツを拡張することができる。例えば、以下で考察されるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成し得る。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュール１１０を含んでおり、図２～図５に関して以下で詳細に考察される。

【0032】

ＬＦディスプレイモジュール１１０は、ホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）を１人以上の視聴者（例えば、視聴者１４０）に提示するホログラフィックディスプレイである。ＬＦディスプレイモジュール１１０は、エネルギーデバイス層（例えば、発光電子ディスプレイまたは音響投影デバイス）と、エネルギー導波路層（例えば、光学レンズアレイ）と、を含む。追加的に、ＬＦディスプレイモジュール１１０は、複数のエネルギー源または検出器を一緒に組み合わせて単一の表面を形成するために、エネルギーリレー層を含み得る。高レベルでは、エネルギーデバイス層は、エネルギー（例えば、ホログラフィックコンテンツ）を生成し、このエネルギーは次に、エネルギー導波路層を使用して、１つ以上の四次元（４Ｄ）ライトフィールド関数に従って空間内の領域に指向される。ＬＦディスプレイモジュール１１０はまた、１つ以上のタイプのエネルギーの投影および／または感知を同時に行い得る。例えば、ＬＦディスプレイモジュール１１０は、ホログラフィック画像ならびに超音波触覚表面をビューイングボリューム内に投影することができ得る一方、同時に、ビューイングボリュームからの画像データを検出する。ＬＦディスプレイモジュール１１０の操作は、図２、図３に関して以下でより詳細に考察される。

【0033】

ＬＦディスプレイモジュール１１０は、（例えば、プレノプティック関数から導出される）１つ以上の４Ｄライトフィールド関数を使用して、ホログラフィックオブジェクトボリューム１６０内にホログラフィックオブジェクトを生成する。ホログラフィックオブジェクトは、三次元（３Ｄ）、二次元（２Ｄ）、またはそれらの何らかの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色（例えば、フルカラー）であり得る。ホログラフィックオブジェクトは、スクリーン平面の前、スクリーン平面の後ろに投影されるか、またはスクリーン平面によって分割されてもよい。ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクトボリューム１６０内のどこでも知覚されるように提示され得る。ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトは、視聴者１４０には、空間に浮かんでいるように見えることがある。

【0034】

ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者１４０によって知覚され得るボリュームを表す。ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが表示領域１５０の平面の前に提示され得るように、表示領域１５０の表面の前に（すなわち、視聴者１４０に向かって）延在し得る。追加的に、ホログラフィックオブジェクトボリューム１６０は、表示領域１５０の平面の後ろに（すなわち、視聴者１４０から離れる方向に）延在し得、ホログラフィックオブジェクトが、表示領域１５０の平面の後ろにあるかのように提示されることを可能にする。言い換えれば、ホログラフィックオブジェクトボリューム１６０は、表示領域１５０から発生し（例えば、投影され）、収束してホログラフィックオブジェクトを作成し得るすべての光線を含むことができる。ここで、光線は、表示面の前、表示面、または表示面の後ろにある点に収束し得る。より簡単に言えば、ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者によって知覚され得るすべてのボリュームを包含する。

【0035】

ビューイングボリューム１３０は、ＬＦディスプレイシステムによってホログラフィックオブジェクトボリューム１６０内に提示されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）が完全に見える空間のボリュームである。ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム１６０内に提示され、実際のオブジェクトと区別できないように、ビューイングボリューム１３０内で見られ得る。ホログラフィックオブジェクトは、オブジェクトが物理的に存在した場合に、オブジェクトの表面から生成されるであろう光線と同じ光線を投影することによって形成される。

【0036】

場合によっては、ホログラフィックオブジェクトボリューム１６０および対応するビューイングボリューム１３０は、単一の視聴者用に設計されるように、比較的小さくあり得る。他の実施形態では、例えば、図４、６、７Ａ、７Ｂ、８に関して以下で詳細に考察するように、ＬＦディスプレイモジュールは、より大きなホログラフィックオブジェクトボリューム、および広範囲の視聴者（例えば、１人～数千人）を収容できる対応するビューイングボリュームを作成するために拡大および／またはタイル張りされ得る。本開示で提示されるＬＦディスプレイモジュールは、ＬＦディスプレイの全表面が、非アクティブまたはデッドスペースがなく、ベゼルを必要としないホログラフィック撮像光学系を含むように構築され得る。これらの実施形態では、ＬＦディスプレイモジュールは、撮像エリアがＬＦディスプレイモジュール間の継ぎ目をまたいで連続するようにタイル張りされ得、タイル張りされたモジュール間の接合ラインは、目の視力を使用して実質的に検出されない。特に、いくつかの構成では、表示面の一部は、本明細書では詳細に説明されていないが、ホログラフィック撮像光学系を含まないことがある。

【0037】

ビューイングボリューム１３０の柔軟なサイズおよび／または形状は、視聴者がビューイングボリューム１３０内で制約を受けないことを可能にする。例えば、視聴者１４０は、ビューイングボリューム１３０内の異なる位置に移動し、対応する視点からホログラフィックオブジェクト１２０の異なるビューを見ることができる。例示のために、図１を参照すると、視聴者１４０は、ホログラフィックオブジェクト１２０がイルカの真正面からのビューで見えるように、ホログラフィックオブジェクト１２０に対して第１の位置にある。視聴者１４０は、イルカの異なるビューを見るために、ホログラフィックオブジェクト１２０に対して他の場所に動き得る。例えば、視聴者１４０は、視聴者１４０があたかも実際のイルカを見ていて、イルカの異なる側面を見るために、実際のイルカに対する視聴者の相対位置を変更するかのように、移動して、イルカの左側、イルカの右側などを見ることができる。いくつかの実施形態では、ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクト１２０への遮るもののない（すなわち、オブジェクト／人によって遮られていない）視線を有する、ビューイングボリューム１３０内のすべての視聴者に見える。これらの視聴者は、異なる視点のホログラフィックオブジェクト１２０を見るために、ビューイングボリューム内を動き回ることができるように、制約されないでよい。したがって、ＬＦディスプレイシステムは、複数の制約されない視聴者が、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示することができる。

【0038】

対照的に、従来のディスプレイ（例えば、立体視、仮想現実、拡張現実、または複合現実）では、一般に、各視聴者は、コンテンツを見るために、何らかの外部デバイス（例えば、３Ｄメガネ、ニアアイディスプレイ、またはヘッドマウントディスプレイ）を装着する必要がある。追加的および／または代替的に、従来のディスプレイでは、視聴者が特定の視聴位置に（例えば、ディスプレイに対して固定された場所を有する椅子に）拘束される必要があり得る。例えば、立体視ディスプレイによって表示されるオブジェクトを見る場合、視聴者は常に、オブジェクトではなく表示面に焦点を合わせ、ディスプレイは常に、知覚されたオブジェクトの周りを動き回ろうとする視聴者に追随するオブジェクトの２つのビューのみを提示し、そのオブジェクトの知覚に歪みを引き起こす。しかしながら、ライトフィールドディスプレイでは、ＬＦディスプレイシステムによって提示されるホログラフィックオブジェクトの視聴者は、ホログラフィックオブジェクトを見るために、外部デバイスを装着する必要も、特定の位置に監禁される必要もない。ＬＦディスプレイシステムは、特別なアイウェア、メガネ、またはヘッドマウントアクセサリを要することなく、物理的オブジェクトが視聴者に見えるのとほぼ同じように視聴者に見える方法で、ホログラフィックオブジェクトを提示する。さらに、視聴者は、ビューイングボリューム内の任意の場所からホログラフィックコンテンツを見ることができる。

【0039】

特に、ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトの潜在的な場所は、ボリュームのサイズによって制限される。ホログラフィックオブジェクトボリューム１６０のサイズを大きくするために、ＬＦディスプレイモジュール１１０の表示領域１５０のサイズを大きくしてもよく、かつ／または複数のＬＦディスプレイモジュールを、シームレスな表示面を形成するように一緒にタイル張りしてもよい。シームレスな表示面は、個々のＬＦディスプレイモジュールの表示領域よりも大きい有効表示領域を有する。ＬＦディスプレイモジュールのタイル張りに関連するいくつかの実施形態が、図４、図６、図７に関して以下で考察される。図１に例示されるように、表示領域１５０は矩形であり、ピラミッド形であるホログラフィックオブジェクトボリューム１６０をもたらす。他の実施形態では、表示領域は、対応するビューイングボリュームの形状にも影響を与える何らかの他の形状（例えば、六角形）を有し得る。

【0040】

追加的に、上記の考察は、ＬＦディスプレイモジュール１１０と視聴者１４０との間にあるホログラフィックオブジェクトボリューム１６０の一部内にホログラフィックオブジェクト１２０を提示することに焦点を当てているが、ＬＦディスプレイモジュール１１０は追加的に、表示領域１５０の平面の後ろのホログラフィックオブジェクトボリューム１６０にコンテンツを提示することができる。例えば、ＬＦディスプレイモジュール１１０は、表示領域１５０を、ホログラフィックオブジェクト１２０が飛び出している海の表面であるように見せることができる。また、表示されるコンテンツは、視聴者１４０が、表示された表面を通して、水中にいる海洋生物を見ることができるようなものであってもよい。さらに、ＬＦディスプレイシステムは、表示領域１５０の平面の後ろおよび前を含む、ホログラフィックオブジェクトボリューム１６０の周りをシームレスに移動するコンテンツを生成することができる。

【0041】

図２Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール２１０の一部の断面２００である。ＬＦディスプレイモジュール２１０は、ＬＦディスプレイモジュール１１０であってもよい。他の実施形態では、ＬＦディスプレイモジュール２１０は、表示領域１５０とは異なる表示領域形状を有する別のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーデバイス層２２０、エネルギーリレー層２３０、およびエネルギー導波路層２４０を含む。ＬＦディスプレイモジュール２１０のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーリレー層２３０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。

【0042】

本明細書に記載のディスプレイシステムは、実世界のオブジェクトを通常取り巻くエネルギーを複製するエネルギーの放出を提示する。ここで、放出されたエネルギーは、表示面上のすべての座標から特定の方向に指向される。表示面からの指向されたエネルギーは、多くのエネルギー線の収束を可能にし、それによって、ホログラフィックオブジェクトを作成することができる。例えば、可視光では、ＬＦディスプレイは、ホログラフィックオブジェクトボリューム内の任意の点で収束し得る極めて大きい数の光線を投影するため、それらの光線は、投影されているオブジェクトよりも遠くに位置する視聴者の視点からは、空間のこの領域に位置する実世界のオブジェクトの表面から来ているように見えるであろう。このように、ＬＦディスプレイは、視聴者の視点からは、そのようなオブジェクトの表面から出たような反射光線を生成している。視聴者の視点は、任意の特定のホログラフィックオブジェクト上で変わり得、視聴者は、そのホログラフィックオブジェクトの異なるビューを見るであろう。

【0043】

エネルギーデバイス層２２０は、１つ以上の電子ディスプレイ（例えば、ＯＬＥＤなどの発光ディスプレイ）と、本明細書に記載の１つ以上の他のエネルギー投影および／またはエネルギー受信デバイスと、を含む。１つ以上の電子ディスプレイは、（例えば、ＬＦディスプレイシステムのコントローラからの）表示命令に従ってコンテンツを表示するように構成される。１つ以上の電子ディスプレイは、各々が個別に制御される強度を有する複数のピクセルを含む。発光ＬＥＤおよびＯＬＥＤディスプレイなど、多くのタイプの商用ディスプレイがＬＦディスプレイ内で使用され得る。

【0044】

エネルギーデバイス層２２０はまた、１つ以上の音響投影デバイスおよび／または１つ以上の音響受信デバイスを含むことができる。音響投影デバイスは、ホログラフィックオブジェクト２５０を補完する１つ以上の圧力波を生成する。生成される圧力波は、例えば、可聴、超音波、またはそれらの何らかの組み合わせであってもよい。超音波圧力波のアレイは、体積触覚のために（例えば、ホログラフィックオブジェクト２５０の表面において）使用され得る。可聴圧力波は、ホログラフィックオブジェクト２５０を補完し得る音声コンテンツ（例えば、没入型オーディオ）を提供するために使用される。例えば、ホログラフィックオブジェクト２５０がイルカであると仮定すると、１つ以上の音響投影デバイスを使用して、（１）視聴者がホログラフィックオブジェクト２５０にタッチすることができるように、イルカの表面と併置される触覚表面を生成し、（２）パチンと鳴る音、甲高い音、けたたましい鳴き声など、イルカが発生する音に対応する音声コンテンツを提供することができる。音響受信デバイス（例えば、マイクロフォンもしくはマイクロフォンアレイ）は、ＬＦディスプレイモジュール２１０の局所エリア内の超音波および／または可聴圧力波を監視するように構成され得る。

【0045】

エネルギーデバイス層２２０はまた、１つ以上の画像センサを含むことができる。画像センサは、可視光帯の光に敏感であってもよく、場合によっては、他の帯域（例えば、赤外線）の光に敏感であってもよい。画像センサは、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）アレイ、電荷結合デバイス（ＣＣＤ）、光検出器のアレイ、光をキャプチャする何らかの他のセンサ、またはそれらの何らかの組み合わせであってもよい。ＬＦディスプレイシステムは、視聴者の場所標定追跡のために、１つ以上の画像センサによってキャプチャされたデータを使用することができる。

【0046】

いくつかの構成では、エネルギーリレー層２３０は、エネルギーデバイス層２２０とエネルギー導波路層２４０との間でエネルギー（例えば、電磁エネルギー、機械的圧力波など）を中継する。エネルギーリレー層２３０は、１つ以上のエネルギーリレー素子２６０を含む。各エネルギーリレー素子は、第１の表面２６５および第２の表面２７０を含み、２つの表面間でエネルギーを中継する。各エネルギーリレー素子の第１の表面２６５は、１つ以上のエネルギーデバイス（例えば、電子ディスプレイまたは音響投影デバイス）に結合され得る。エネルギーリレー素子は、例えば、ガラス、炭素、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの何らかの組み合わせで構成され得る。追加的に、いくつかの実施形態では、エネルギーリレー素子は、第１の表面２６５と第２の表面２７０との間を通過するエネルギーの倍率（増加または減少）を調整することができる。リレーが倍率を提供する場合、リレーは、テーパーと呼ばれる、接着されたテーパーリレーのアレイの形態を採り得、テーパーの一端の面積は、反対側の端よりも実質的に大きくなり得る。テーパーの大きい方の端は、一緒に張り合わされて、シームレスなエネルギー面２７５を形成することができる。１つの利点は、複数のディスプレイのベゼルなど、複数のエネルギー源の機械的エンベロープを収容するために、各テーパーの複数の小さな端にスペースが作成されることである。この余分のスペースにより、各エネルギー源が、小さいテーパー表面内にエネルギーを指向するアクティブエリアを有し、大きいシームレスなエネルギー面にリレーされる状態で、エネルギー源を小さなテーパー側に並べて配置することが可能になる。テーパーリレーを使用する別の利点は、テーパーの大きい端によって形成される、組み合わされたシームレスなエネルギー面には、非結像デッドスペースがないことである。境界またはベゼルが存在しないため、シームレスなエネルギー面を一緒にタイル張りして、目の視力によると実質的に継ぎ目のない、より大きな表面を形成することができる。

【0047】

隣接するエネルギーリレー素子の第２の表面は、一緒になってエネルギー面２７５を形成する。いくつかの実施形態では、隣接するエネルギーリレー素子の縁間の分離は、例えば、２０／４０の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面２７５は、ビューイングボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。

【0048】

いくつかの実施形態では、１つ以上のエネルギーリレー素子は、エネルギー局在化を示し、表面２６５および２７０に実質的に垂直な長手方向のエネルギー輸送効率は、垂直横断平面内の輸送効率よりもはるかに高く、エネルギー波が表面２６５と表面２７０との間を伝播するとき、エネルギー密度はこの横断平面内で高度に局在化される。このエネルギーの局在化により、画像などのエネルギー分布が、解像度の大きな損失なしに、これらの表面間で効率的に中継されることが可能になる。

【0049】

導波路層２４０は、エネルギー導波路層２４０内の導波路要素を使用して、エネルギーを、エネルギー面２７５上の場所（例えば、座標）から、表示面から外側のホログラフィックビューイングボリューム２８５内への特定の伝搬経路内に指向する。一例として、電磁エネルギーの場合、エネルギー導波路層２４０内の導波路要素は、光をシームレスなエネルギー面２７５上の位置から、ビューイングボリューム２８５を通る異なる伝搬方向に沿って指向する。様々な例において、光は、４Ｄライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム２５５内にホログラフィックオブジェクト２５０を形成する。

【0050】

エネルギー導波路層２４０内の各導波路要素は、例えば、１つ以上の要素で構成されるレンズレットであり得る。いくつかの構成では、レンズレットは、正レンズであり得る。正レンズは、球面、非球面、または自由形状の表面プロファイルを有し得る。追加的に、いくつかの実施形態では、導波路要素の一部またはすべては、１つ以上の追加の光学構成要素を含み得る。追加の光学構成要素は、例えば、バッフル、正レンズ、負レンズ、球面レンズ、非球面レンズ、自由形状レンズ、液晶レンズ、液体レンズ、屈折要素、回折要素、またはそれらの何らかの組み合わせなどのエネルギー抑制構造であり得る。いくつかの実施形態では、レンズレットおよび／または追加の光学構成要素のうちの少なくとも１つはまた、屈折力を動的に調整することができる。例えば、レンズレットは、液晶レンズまたは液体レンズであってもよい。表面プロファイルの動的調整、レンズレットおよび／または少なくとも１つの追加の光学構成要素は、導波路要素から投影される光の追加の方向制御を提供し得る。

【0051】

例示的な例では、ＬＦディスプレイのホログラフィックオブジェクトボリューム２５５は、光線２５６および光線２５７によって形成される境界を有するが、他の光線によって形成され得る。ホログラフィックオブジェクトボリューム２５５は、エネルギー導波路層２４０の前（すなわち、視聴者２８０に向かって）およびその後ろ（すなわち、視聴者２８０から離れて）の両方に延在する連続したボリュームである。例示的な例では、光線２５６および光線２５７は、ＬＦディスプレイモジュール２１０の反対の縁から、ユーザによって知覚され得る表示面２７７の法線に対して最大の角度で投影されるが、これらは他の投影光線であり得る。これらの光線は、ディスプレイの視野を画定し、したがって、ホログラフィックビューイングボリューム２８５の境界を画定する。場合によっては、これらの光線は、ディスプレイ全体がケラレなしで観察され得るホログラフィックビューイングボリューム（例えば、理想的なビューイングボリューム）を画定する。ディスプレイの視野が広がると、光線２５６および光線２５７の収束点がディスプレイにより近くなる。したがって、より広い視野を有するディスプレイは、視聴者２８０がより近い視距離でディスプレイ全体を見ることを可能にする。追加的に、光線２５６および２５７は、理想的なホログラフィックオブジェクトボリュームを形成し得る。理想的なホログラフィックオブジェクトボリューム内に提示されるホログラフィックオブジェクトは、ビューイングボリューム２８５内のどこでも見られ得る。

【0052】

いくつかの例では、ホログラフィックオブジェクトは、ビューイングボリューム２８５の一部にのみ提示され得る。言い換えれば、ホログラフィックオブジェクトボリュームは、任意の数のビューイングサブボリューム（例えば、ビューイングサブボリューム２９０）に分割され得る。追加的に、ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム２５５の外側に投影され得る。例えば、ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示される。ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示されるので、ビューイングボリューム２８５内のすべての場所から見ることができるわけではない。例えば、ホログラフィックオブジェクト２５１は、ビューイングサブボリューム２９０内の場所からは見えるが、視聴者２８０の場所からは見えない可能性がある。

【0053】

例えば、異なるビューイングサブボリュームからホログラフィックコンテンツを見ることを例示するために、図２Ｂに目を向ける。図２Ｂは、１つ以上の実施形態による、ＬＦディスプレイモジュールの一部の断面２００を例示する。図２Ｂの断面は、図２Ａの断面と同じである。しかしながら、図２Ｂは、ＬＦディスプレイモジュール２１０から投影された異なる光線のセットを示している。光線２５６および光線２５７は、依然としてホログラフィックオブジェクトボリューム２５５およびビューイングボリューム２８５を形成する。しかしながら、示されるように、ＬＦディスプレイモジュール２１０の頂部およびＬＦディスプレイモジュール２１０の底部から投影された光線は重なり合って、ビューイングボリューム２８５内に様々なビューイングサブボリューム（例えば、ビューサブボリューム２９０Ａ、２９０Ｂ、２９０Ｃ、および２９０Ｄ）を形成する。第１のビューイングサブボリューム（例えば、２９０Ａ）内の視聴者は、他のビューイングサブボリューム（例えば、２９０Ｂ、２９０Ｃ、および２９０Ｄ）内の視聴者が知覚できない、ホログラフィックオブジェクトボリューム２５５内に提示されたホログラフィックコンテンツを知覚することができ得る。

【0054】

より簡単に言えば、図２Ａに例示されるように、ホログラフィックオブジェクトボリューム２５５は、ホログラフィックオブジェクトがビューイングボリューム２８５内の視聴者（例えば、視聴者２８０）によって知覚され得るように、ホログラフィックオブジェクトが、ＬＦディスプレイシステムによって提示され得るボリュームである。このように、ビューイングボリューム２８５は、理想的なビューイングボリュームの一例であり、ホログラフィックオブジェクトボリューム２５５は、理想的なオブジェクトボリュームの一例である。しかしながら、様々な構成において、視聴者は、他の例示的なビューイングボリューム内の視聴者がホログラフィックコンテンツを知覚するように、他の例示的なホログラフィックオブジェクトボリューム内にＬＦディスプレイシステム２００によって提示されたホログラフィックオブジェクトを知覚することができる。より一般的には、ＬＦディスプレイモジュールから投影されたホログラフィックコンテンツを見るときには「アイラインガイドライン」が適用される。アイラインガイドラインは、視聴者の目の位置と見られているホログラフィックオブジェクトとによって形成されるラインはＬＦ表示面と交差しなければならないものとする。

【0055】

ＬＦディスプレイモジュール２１０によって提示されたホログラフィックコンテンツを見るとき、ホログラフィックコンテンツは４Ｄライトフィールド関数に従って提示されるため、視聴者２８０の各目は、異なる視点のホログラフィックオブジェクト２５０を見る。さらに、視聴者２８０がビューイングボリューム２８５内を移動するとき、視聴者は、ビューイングボリューム２８５内の他の視聴者が見るであろうような、異なる視点のホログラフィックオブジェクト２５０を見るであろう。当業者には理解されるように、４Ｄライトフィールド関数は当技術分野で周知であり、本明細書ではこれ以上詳しく説明しない。

【0056】

本明細書でより詳細に説明するように、いくつかの実施形態では、ＬＦディスプレイは、２つ以上のタイプのエネルギーを投影することができる。例えば、ＬＦディスプレイは、例えば、機械的エネルギーおよび電磁エネルギーなどの２つのタイプのエネルギーを投影することができる。この構成では、エネルギーリレー層２３０は、エネルギー面２７５で一緒にインターリーブされるが、エネルギーが２つの異なるエネルギーデバイス層２２０に中継されるように分離される２つの別個のエネルギーリレーを含む。ここで、一方のリレーは、電磁エネルギーを輸送するように構成され得、別方のリレーは、機械的エネルギーを輸送するように構成され得る。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層２４０上の電磁導波路要素間の場所から投影され得、光が一方の電磁導波路要素から別方の電磁導波路要素に輸送されるのを抑制する構造を形成するのに役立つ。いくつかの実施形態では、エネルギー導波路層２４０はまた、コントローラからの表示命令に従って、集束超音波を特定の伝搬経路に沿って輸送する導波路要素を含み得る。

【0057】

代替の実施形態（図示せず）では、ＬＦディスプレイモジュール２１０はエネルギーリレー層２３０を含まないことに留意されたい。この場合、エネルギー面２７５は、エネルギーデバイス層２２０内の１つ以上の隣接する電子ディスプレイを使用して形成された出射面である。また、いくつかの実施形態では、隣接する電子ディスプレイの縁間の分離は、２０／４０の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面は、ビューイングボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。
ＬＦディスプレイモジュール

【0058】

図３Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール３００Ａの斜視図である。ＬＦディスプレイモジュール３００Ａは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ａは、何らかの他のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーデバイス層３１０、エネルギーリレー層３２０、およびエネルギー導波路層３３０を含む。ＬＦディスプレイモジュール３００Ａは、本明細書で説明されるように、表示面３６５からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面３６５は、ＬＦディスプレイモジュール３００Ａのフレーム３９０上に破線の輪郭として例示されているが、より正確には、フレーム３９０の内側リムによって境界される導波路素子の真正面の表面である。ＬＦディスプレイモジュール３００Ａのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーリレー層３２０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散されることができる。

【0059】

エネルギーデバイス層３１０は、エネルギーデバイス層２２０の一実施形態である。エネルギーデバイス層３１０は、４つのエネルギーデバイス３４０を含む（図では３つが見える）。エネルギーデバイス３４０は、すべてが同じタイプ（例えば、すべてが電子ディスプレイ）であってもよいか、または１つ以上の異なるタイプを含んでもよい（例えば、電子ディスプレイおよび少なくとも１つの音響エネルギーデバイスを含む）。

【0060】

エネルギーリレー層３２０は、エネルギーリレー層２３０の一実施形態である。エネルギーリレー層３２０は、４つのエネルギーリレーデバイス３５０を含む（図では３つが見える）。エネルギーリレーデバイス３５０は、すべてが同じタイプのエネルギー（例えば、光）を中継し得るか、または１つ以上の異なるタイプ（例えば、光および音）を中継し得る。リレーデバイス３５０の各々は、第１の表面および第２の表面を含み、エネルギーリレーデバイス３５０の第２の表面は、単一のシームレスなエネルギー面３６０を形成するように配置される。例示的な実施形態では、エネルギーリレーデバイス３５０の各々は、第１の表面が第２の表面よりも小さい表面積を有するようにテーパー状になっており、これにより、テーパーの小さい方の端にエネルギーデバイス３４０の機械的エンベロープを収容することが可能になる。これにより、エリア全体がエネルギーを投影し得るため、シームレスなエネルギー面が無境界であることが可能になる。これは、ＬＦディスプレイモジュール３００Ａの複数の実例を、デッドスペースまたはベゼルなしに一緒に配置することによって、組み合わされた表面全体がシームレスであるように、このシームレスなエネルギー面がタイル張りされ得ることを意味する。他の実施形態では、第１の表面および第２の表面は同じ表面積を有する。

【0061】

エネルギー導波路層３３０は、エネルギー導波路層２４０の一実施形態である。エネルギー導波路層３３０は、複数の導波路要素３７０を含む。図２に関して上で考察されるように、エネルギー導波路層３３０は、ホログラフィックオブジェクトを形成するために、４Ｄプレノプティック関数に従って、エネルギーをシームレスなエネルギー面３６０から特定の伝搬経路に沿って指向するように構成されている。例示的な実施形態では、エネルギー導波路層３３０はフレーム３９０によって境界されることに留意されたい。他の実施形態では、フレーム３９０は存在しない、および／またはフレーム３９０の厚さが低減されている。フレーム３９０の厚さの除去または低減は、ＬＦディスプレイモジュール３００Ａと追加のＬＦディスプレイモジュールとのタイル張りを容易にし得る。

【0062】

例示的な実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は平面であることに留意されたい。図示されてない代替の実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は、１つ以上の次元で湾曲していてよい。

【0063】

ＬＦディスプレイモジュール３００Ａは、シームレスなエネルギー面の表面上に存在する追加のエネルギー源を有して構成され得、ライトフィールドに加えてエネルギーフィールドの投影を可能にする。一実施形態では、音響エネルギーフィールドが、シームレスなエネルギー面３６０上の任意の数の位置に取り付けられた静電スピーカ（例示せず）から投影され得る。さらに、ＬＦディスプレイモジュール３００Ａの静電スピーカは、デュアルエネルギー面がサウンドフィールドおよびホログラフィックコンテンツを同時に投影するように、ライトフィールドディスプレイモジュール３００Ａ内に位置付けられる。例えば、静電スピーカは、電磁エネルギーのいくつかの波長に対して透過性であり、導電性要素を用いて駆動される１つ以上のダイアフラム要素で形成され得る。静電スピーカは、ダイアフラム要素が導波路要素のうちのいくつかを覆うように、シームレスなエネルギー面３６０に装着されてもよい。スピーカの導電性電極は、電磁導波路間の光透過を抑制するように設計された構造体と併置されてよく、かつ／または電磁導波路要素間の位置（例えば、フレーム３９０）に位置してよい。様々な構成において、スピーカは、可聴音、および／または触覚表面を生み出す集束超音波エネルギーの多くのソースを投影することができる。

【0064】

いくつかの構成では、エネルギーデバイス３４０は、エネルギーを感知し得る。例えば、エネルギーデバイスは、マイクロフォン、光センサ、音響トランスデューサなどであり得る。そのため、エネルギーリレーデバイスは、シームレスなエネルギー面３６０からエネルギーデバイス層３１０にエネルギーを中継することもできる。すなわち、ＬＦディスプレイモジュールのシームレスなエネルギー面３６０は、エネルギーデバイスおよびエネルギーリレーデバイス３４０が、エネルギーを放出すると同時に感知する（例えば、ライトフィールドを放出し、音を感知する）ように構成されるとき、双方向エネルギー面を形成する。

【0065】

より広義には、ＬＦディスプレイモジュール３４０のエネルギーデバイス３４０は、エネルギー源またはエネルギーセンサのいずれかであり得る。ＬＦディスプレイモジュール３００Ａは、高品質のホログラフィックコンテンツのユーザへの投影を容易にするために、エネルギー源および／またはエネルギーセンサとして機能する様々なタイプのエネルギーデバイスを含み得る。他のソースおよび／またはセンサとしては、サーマルセンサまたはソース、赤外線センサまたはソース、画像センサまたはソース、音響エネルギーを生成する機械的エネルギートランスデューサ、フィードバックソースなどが挙げられる。多くの他のセンサまたはソースが可能である。さらに、ＬＦディスプレイモジュールが、大きな集合体のシームレスなエネルギー面から複数のタイプのエネルギーを投影および感知するアセンブリを形成し得るように、ＬＦディスプレイモジュールはタイル張りされ得る。

【0066】

ＬＦディスプレイモジュール３００Ａの様々な実施形態では、シームレスなエネルギー面３６０は、各表面部分が特定のタイプのエネルギーを投影および／または放出するように構成されている様々な表面部分を有し得る。例えば、シームレスなエネルギー面がデュアルエネルギー面である場合、シームレスなエネルギー面３６０は、電磁エネルギーを投影する１つ以上の表面部分と、超音波エネルギーを投影する１つ以上の他の表面部分と、を含む。超音波エネルギーを投影する表面部分は導波路要素間のシームレスなエネルギー面３６０上に位置し得、かつ／または電磁導波路要素間の光透過を抑制するように設計された構造体と併置され得る。シームレスなエネルギー面が双方向エネルギー面である例では、エネルギーリレー層３２０は、シームレスなエネルギー面３６０でインターリーブされた２つのタイプのエネルギーリレーデバイスを含み得る。様々な実施形態では、シームレスなエネルギー面３６０は、任意の特定の導波路要素３７０の下の表面の部分が、すべてエネルギー源、すべてエネルギーセンサ、またはエネルギー源およびエネルギーセンサの混在であるように構成され得る。

【0067】

図３Ｂは、１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むＬＦディスプレイモジュール３００Ｂの断面図である。ＬＦディスプレイモジュール３００Ｂは、２つ以上のタイプのエネルギーを投影するためのデュアルエネルギー投影デバイスとして、またはあるタイプのエネルギーを投影することと、別のタイプのエネルギーを感知することとを同時に行うための双方向エネルギーデバイスとしてのいずれかに構成され得る。ＬＦディスプレイモジュール３００Ｂは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３０２は、何らかの他のＬＦディスプレイモジュールであり得る。

【0068】

ＬＦディスプレイモジュール３００Ｂは、図３ＡのＬＦディスプレイモジュール３００Ａのものと同様に構成されている多くの構成要素を含む。例えば、例示的な実施形態では、ＬＦディスプレイモジュール３００Ｂは、図３Ａに関して説明したものと少なくとも同じ機能を含むエネルギーデバイス層３１０、エネルギーリレー層３２０、シームレスなエネルギー面３６０、およびエネルギー導波路層３３０を含む。追加的に、ＬＦディスプレイモジュール３００Ｂは、表示面３６５からエネルギーを提示し、および／または受け取る。特に、ＬＦディスプレイモジュール３００Ｂの構成要素は、代替的に、図３ＡのＬＦディスプレイモジュール３００Ａの構成要素とは異なって接続および／または配向されている。ＬＦディスプレイモジュール３００Ｂのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散されることができる。図３Ｂは、より大きな面積を有するデュアルエネルギー投影表面または双方向エネルギー面を生み出すためにタイル張りされ得る単一のＬＦディスプレイモジュール３０２の設計を例示する。

【0069】

一実施形態では、ＬＦディスプレイモジュール３００Ｂは、双方向ＬＦディスプレイシステムのＬＦディスプレイモジュールである。双方向ＬＦディスプレイシステムは、エネルギーを投影し、それと同時に表示面３６５からエネルギーを感知することができる。シームレスなエネルギー面３６０は、シームレスなエネルギー面３６０上で密接にインターリーブされたエネルギー投影場所およびエネルギー感知場所の両方を含む。したがって、図３Ｂの例では、エネルギーリレー層３２０は、図３Ａのエネルギーリレー層とは異なる様式で構成されている。便宜上、ＬＦディスプレイモジュール３００Ｂのエネルギーリレー層は、本明細書では「インターリーブエネルギーリレー層」と呼ばれる。

【0070】

インターリーブされたエネルギーリレー層３２０は、第１のエネルギーリレーデバイス３５０Ａと第２のエネルギーリレーデバイス３５０Ｂとの２つの脚部を含む。脚部の各々は、薄い陰影のエリアとして例示されている。脚部の各々は、可撓性のリレー材料で作製され、様々なサイズおよび形状のエネルギーデバイスで使用するのに十分な長さで形成され得る。インターリーブされたエネルギーリレー層のいくつかの領域では、２つの脚部は、シームレスなエネルギー面３６０に近づくにつれて、一緒に緊密にインターリーブされる。例示的な例では、インターリーブされたエネルギーリレーデバイス３５２は、暗い陰影のエリアとして例示されている。

【0071】

シームレスなエネルギー面３６０でインターリーブされる一方、エネルギーリレーデバイスは、異なるエネルギーデバイスとの間でエネルギーを中継するように構成される。エネルギーデバイスは、エネルギーデバイス層３１０にある。例示のように、エネルギーデバイス３４０Ａは、エネルギーリレーデバイス３５０Ａに接続され、エネルギーデバイス３４０Ｂは、エネルギーリレーデバイス３５０Ｂに接続されている。様々な実施形態では、各エネルギーデバイスは、エネルギー源またはエネルギーセンサであり得る。

【0072】

エネルギー導波路層３３０は、エネルギー波をシームレスなエネルギー面３６０から、投影された経路に沿って、一連の収束点に向かってガイドするための導波路要素３７０を含む。この例では、ホログラフィックオブジェクト３８０が、一連の収束点に形成される。特に、例示のように、ホログラフィックオブジェクト３８０でのエネルギーの収束は、表示面３６５の視聴者側で発生する。しかしながら、他の例では、エネルギーの収束は、表示面３６５の前および表示面３６５の後ろの両方に延在するホログラフィックオブジェクトボリューム内のどこであってもよい。導波路要素３７０は、以下に説明するように、入ってくるエネルギーをエネルギーデバイス（例えば、エネルギーセンサ）に同時にガイドすることができる。

【0073】

ＬＦディスプレイモジュール３００Ｂの例示的な一実施形態では、発光ディスプレイがエネルギー源として使用され、画像センサがエネルギーセンサとして使用される。このように、ＬＦディスプレイモジュール３００Ｂは、同時に、ホログラフィックコンテンツを投影し、表示面３６５の前のボリュームからの光を検出することができる。

【0074】

一実施形態では、ＬＦディスプレイモジュール３００Ｂは、ライトフィールドを表示面の投影位置から表示面３６５の前に投影すると同時に、表示面３６５の前からのライトフィールドをキャプチャするように構成されている。この実施形態では、エネルギーリレーデバイス３５０Ａは、導波路素子３７０の下に位置付けられたシームレスなエネルギー面３６０における場所の第１のセットをエネルギーデバイス３４０Ａに接続する。一例では、エネルギーデバイス３４０Ａは、ソースピクセルのアレイを有する発光ディスプレイである。エネルギーリレーデバイス３４０Ｂは、導波路要素３７０の下に位置付けられたシームレスなエネルギー面３６０における場所の第２のセットをエネルギーデバイス３４０Ｂに接続する。一例では、エネルギーデバイス３４０Ｂは、センサピクセルのアレイを有する画像センサである。ＬＦディスプレイモジュール３０２は、特定の導波路要素３７０の下にあるシームレスなエネルギー面３６５における場所が、すべて発光ディスプレイ場所、すべて画像センサ場所、または場所の何らかの組み合わせであるように構成され得る。他の実施形態では、双方向のエネルギー面は、様々な他の形態のエネルギーを投影および受信することができる。

【0075】

ＬＦディスプレイモジュール３００Ｂの別の例示的な実施形態では、ＬＦディスプレイモジュールは、２つの異なるタイプのエネルギーを投影するように構成される。例えば、エネルギーデバイス３４０Ａは、電磁エネルギーを放出するように構成された発光ディスプレイであり、エネルギーデバイス３４０Ｂは、機械的エネルギーを放出するように構成された超音波トランスデューサである。そのため、光および音の両方が、シームレスなエネルギー面３６０における様々な場所から投影され得る。この構成では、エネルギーリレーデバイス３５０Ａは、エネルギーデバイス３４０Ａをシームレスなエネルギー面３６０に接続し、電磁エネルギーを中継する。エネルギーリレーデバイスは、電磁エネルギーの輸送を効率的にする（例えば、屈折率を変化させる）特性を有するように構成される。エネルギーリレーデバイス３５０Ｂは、エネルギーデバイス３４０Ｂをシームレスなエネルギー面３６０に接続し、機械的エネルギーを中継する。エネルギーリレーデバイス３５０Ｂは、超音波エネルギーの効率的な輸送のための特性を有するように構成される（例えば、異なる音響インピーダンスを有する材料の配分）。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層３３０上の導波路要素３７０間の場所から投影され得る。機械的エネルギーを投影する場所は、光が一方の電磁導波路要素から他方に輸送されるのを抑制する役割を果たす構造体を形成し得る。一例では、超音波の機械的エネルギーを投影する場所の空間的に分離されたアレイは、３次元触覚形状および表面を空中に作成するように構成することができる。表面は、投影されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト３８０）と一致し得る。いくつかの例では、アレイにわたる位相の遅延および振幅の変化は、触覚形状の作成を支援し得る。

【0076】

様々な実施形態では、双方向ＬＦディスプレイモジュール３０２は、各エネルギーデバイス層が特定のタイプのエネルギーデバイスを含んだ、複数のエネルギーデバイス層を含み得る。これらの例では、エネルギーリレー層は、シームレスなエネルギー面３６０とエネルギーデバイス層３３０との間で適切なタイプのエネルギーを中継するように構成される。
タイル張りされたＬＦディスプレイモジュール

【0077】

図４Ａは、１つ以上の実施形態による、単一面シームレス表面環境を形成するために、２次元にタイル張りされたＬＦディスプレイシステム４００の一部の斜視図である。ＬＦディスプレイシステム４００は、アレイ４１０を形成するようにタイル張りされた複数のＬＦディスプレイモジュールを含む。より明確には、アレイ４１０内の小さな正方形の各々が、タイル張りされたＬＦディスプレイモジュール４１２を表す。アレイ４１０は、例えば、部屋の表面（例えば、壁）の一部またはすべてを覆うことができる。ＬＦアレイは、例えば、テーブルトップ、広告版、ロタンダなどの他の表面を覆うことができる。

【0078】

アレイ４１０は、１つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、アレイ４１０は、ホログラフィックオブジェクト４２０およびホログラフィックオブジェクト４３０を投影する。ＬＦディスプレイモジュール４１２のタイル張りは、はるかに大きなビューイングボリュームを可能にするだけでなく、オブジェクトがアレイ４１０からより遠くに投影されることを可能にする。例えば、例示的な実施形態では、ビューイングボリュームは、ＬＦディスプレイモジュール４１２の前（および後ろ）の局所的なボリュームではなく、アレイ４１０の前および後ろのほぼ全エリアである。

【0079】

いくつかの実施形態では、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２０を視聴者４３０および視聴者４３４に提示する。視聴者４３０および視聴者４３４は、異なる視点のホログラフィックオブジェクト４２０を受信する。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０の真っ直ぐなビューを提示される一方、視聴者４３４は、ホログラフィックオブジェクト４２０のより斜めのビューを提示される。視聴者４３０および／または視聴者４３４が移動すると、これらの視聴者は、異なる視点のホログラフィックオブジェクト４２０を提示される。これにより、視聴者は、ホログラフィックオブジェクトに対して移動することにより、ホログラフィックオブジェクトと視覚的にインタラクションすることが可能になる。例えば、視聴者４３０がホログラフィックオブジェクト４２０の周りを歩くとき、ホログラフィックオブジェクト４２０がアレイ４１０のホログラフィックオブジェクトボリューム内に留まっている限り、視聴者４３０は、ホログラフィックオブジェクト４２０の異なる側面を見る。したがって、視聴者４３０および視聴者４３４は、あたかもホログラフィックオブジェクト４２０が実際にそこにあるかのように、実世界空間にホログラフィックオブジェクト４２０を同時に見ることができる。追加的に、ホログラフィックオブジェクト４２０は、物理的オブジェクトが見えるのとほぼ同じように視聴者に見えるので、視聴者４３０および視聴者４３４は、ホログラフィックオブジェクト４２０を見るために外部デバイスを装着する必要はない。追加的に、ここでは、アレイのビューイングボリュームがアレイの表面の後ろに延在するため、ホログラフィックオブジェクト４２２が、アレイの後ろに例示されている。このように、ホログラフィックオブジェクト４２２は、それがあたかもアレイ４１０の表面よりも視聴者から遠く離れているかのように、視聴者４３０および／または視聴者４３４に提示され得る。

【0080】

いくつかの実施形態では、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の位置を追跡する追跡システムを含み得る。いくつかの実施形態では、追跡される位置は、視聴者の位置である。他の実施形態では、追跡される位置は、視聴者の目の位置である。目の位置追跡は、目がどこを見ているかを追跡する（例えば、配向を使用して視線場所を決定する）視線追跡とは異なる。視聴者４３０の目および視聴者４３４の目は、異なる場所にある。

【0081】

様々な構成では、ＬＦディスプレイシステム４００は、１つ以上の追跡システムを含み得る。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステムは、アレイ４１０の外部にある追跡システム４４０を含む。ここで、追跡システムは、アレイ４１０に結合されたカメラシステムであり得る。外部追跡システムは、図５Ａに関してより詳細に説明される。他の例示的な実施形態では、追跡システムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれるＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、エネルギーデバイス３４０）は、アレイ４４０の前の視聴者の画像をキャプチャするように構成され得る。いずれの場合でも、ＬＦディスプレイシステム４００の追跡システムは、アレイ４１０によって提示されたホログラフィックコンテンツを見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に関する追跡情報を決定する。

【0082】

追跡情報は、視聴者の位置、または視聴者の一部の位置（例えば、視聴者の片方または両方の目、もしくは視聴者の四肢）の空間内の（例えば、追跡システムに対する）位置を表す。追跡システムは、追跡情報を決定するために、任意の数の深度決定技術を使用することができる。深度決定技術は、例えば、構造化光、飛行時間、ステレオ撮像、何らかの他の深度決定技術、またはそれらの何らかの組み合わせを含み得る。追跡システムは、追跡情報を決定するように構成されている様々なシステムを含み得る。例えば、追跡システムは、１つ以上の赤外線源（例えば、構造化光源）、赤外線で画像をキャプチャすることができる１つ以上の画像センサ（例えば、赤－青－緑－赤外線カメラ）、および追跡アルゴリズムを実行するプロセッサを含み得る。追跡システムは、深度推定技術を使用して、視聴者の位置を決定することができる。いくつかの実施形態では、ＬＦディスプレイシステム４００は、本明細書で説明するように、視聴者４３０および／または視聴者４３４の追跡された位置、動作、またはジェスチャに基づいて、ホログラフィックオブジェクトを生成する。例えば、ＬＦディスプレイシステム４００は、アレイ４１０の閾値距離および／または特定の位置内に来る視聴者に応答して、ホログラフィックオブジェクトを生成することができる。

【0083】

ＬＦディスプレイシステム４００は、追跡情報に部分的に基づいて、各視聴者に合わせてカスタマイズされた１つ以上のホログラフィックオブジェクトを提示することができる。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０を提示され得るが、ホログラフィックオブジェクト４２２は提示され得ない。同様に、視聴者４３４は、ホログラフィックオブジェクト４２２を提示され得るが、ホログラフィックオブジェクト４２０は提示され得ない。例えば、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の各々の位置を追跡する。ＬＦディスプレイシステム４００は、ホログラフィックオブジェクトが提示されるべき場所に対する視聴者の位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。ＬＦディスプレイシステム４００は、決定された視点に対応する特定のピクセルから光を選択的に投影する。したがって、視聴者４３４および視聴者４３０は、潜在的に完全に異なる体験を同時に有することができる。言い換えれば、ＬＦディスプレイシステム４００は、ホログラフィックコンテンツを、ビューイングボリュームのビューイングサブボリュームに提示し得る。例えば、図に示すように、ビューイングボリュームは、アレイの前後のすべてのスペースで表される。この例では、ＬＦディスプレイシステム４００は、視聴者４３０の位置を追跡できるので、ＬＦディスプレイシステム４００は、スペースコンテンツ（例えば、ホログラフィックオブジェクト４２０）を、視聴者４３０を取り囲むビューイングサブボリュームに、およびサファリコンテンツ（例えば、ホログラフィックオブジェクト４２２）を、視聴者４３４を取り囲むビューイングサブボリュームに提示することができる。対照的に、従来のシステムは、同様の体験を提供するために、個々のヘッドセットを使用しなければならないであろう。

【0084】

いくつかの実施形態では、ＬＦディスプレイシステム４００は、１つ以上の感覚フィードバックシステムを含み得る。感覚フィードバックシステムは、ホログラフィックオブジェクト４２０および４２２を拡張する他の感覚刺激（例えば、触覚、音声、または匂い）を提供する。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステム４００は、アレイ４１０の外部の感覚フィードバックシステム４４２を含む。一例では、感覚フィードバックシステム４４２は、アレイ４１０に結合された静電スピーカであり得る。外部感覚フィードバックシステムは、図５Ａに関してより詳細に説明される。他の例示的な実施形態では、感覚フィードバックシステムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれるＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、図３Ｂのエネルギーデバイス３４０Ａ）は、超音波エネルギーをアレイの前の視聴者に投影し、および／またはアレイの前の視聴者から画像情報を受信するように構成され得る。いずれの場合でも、感覚フィードバックシステムは、感覚コンテンツを、アレイ４１０によって提示されるホログラフィックコンテンツ（例えば、ホログラフィックオブジェクト４２０および／またはホログラフィックオブジェクト４２２）を見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に提示し、および／または視聴者から受信する。

【0085】

ＬＦディスプレイシステム４００は、アレイの外部の１つ以上の音響投影デバイスを含む感覚フィードバックシステムを含み得る。代替的または追加的に、ＬＦディスプレイシステム４００は、本明細書で説明されるように、アレイ４１０に統合された１つ以上の音響投影デバイスを含み得る。音響投影デバイスは、視聴者の一部が１つ以上の表面の閾値距離内に入る場合、ホログラフィックオブジェクトの１つ以上の表面の（例えば、ホログラフィックオブジェクト４２０の表面における）体積触覚を生成する超音波圧力波を投影し得る。体積触覚は、ユーザがホログラフィックオブジェクトの表面をタッチして感じることを可能にする。複数の音響投影デバイスは、視聴者に音声コンテンツ（例えば、没入型オーディオ）を提供する可聴圧力波を投影することができる。したがって、超音波圧力波および／または可聴圧力波は、ホログラフィックオブジェクトを補完する役割を果たすことができる。

【0086】

様々な実施形態では、ＬＦディスプレイシステム４００は、視聴者の追跡された位置に部分的に基づいて、他の感覚刺激を提供することができる。例えば、図４Ａに例示されるホログラフィックオブジェクト４２２はライオンであり、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２２を視覚的（すなわち、ホログラフィックオブジェクト４３０が咆哮するように見える）および聴覚的（すなわち、１つ以上の音響投影デバイスが、ライオンの咆哮がホログラフィックオブジェクト４２２から発せられているように視聴者４３０が知覚する圧力波を投影する）の両方で咆哮させることができる。

【0087】

例示的な構成では、ホログラフィックビューイングボリュームは、図２のＬＦディスプレイシステム２００のビューイングボリューム２８５と同様の方法で制限され得ることに留意されたい。これは、視聴者が単一のウォールディスプレイユニットで体験するであろう知覚される没入感の量を制限する可能性がある。これに対処する１つの方法が、図４Ｂ～図４Ｆに関して以下に説明するように、複数の側面に沿ってタイル張りされた複数のＬＦディスプレイモジュールを使用することである。

【0088】

図４Ｂは、１つ以上の実施形態による、多面シームレス表面環境におけるＬＦディスプレイシステム４０２の一部分の斜視図である。ＬＦディスプレイシステム４０２は、複数のＬＦディスプレイモジュールがタイル張りされて多面シームレス表面環境を作成することを除いて、ＬＦディスプレイシステム４００と実質的に同様である。より具体的には、ＬＦディスプレイモジュールは、６面集合シームレス表面環境であるアレイを形成するようにタイル張りされている。図４Ｂの各正方形である複数のＬＦディスプレイモジュールが、部屋のすべての壁、天井、および床を覆っている。他の実施形態では、複数のＬＦディスプレイモジュールは、壁、床、天井、またはそれらの何らかの組み合わせのすべてではないが、一部を覆い得る。他の実施形態では、複数のＬＦディスプレイモジュールがタイル張りされて、何らかの他の集合シームレス表面を形成する。例えば、壁は、円筒形の集合エネルギー環境が形成されるように湾曲され得る。さらに、図６～９に関して以下に説明するように、いくつかの実施形態では、ＬＦディスプレイモジュールは、会場またはプライベートなビューイングルームの表面（例えば、壁など）を形成するようにタイル張りされ得る。

【0089】

ＬＦディスプレイシステム４０２は、１つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、ＬＦディスプレイシステム４０２は、ホログラフィックオブジェクト４２０を、６面集合シームレス表面環境によって囲まれたエリアに投影する。したがって、ＬＦディスプレイシステムのビューイングボリュームも、６面集合シームレス表面環境内に含まれる。例示的な構成では、視聴者４３２は、ホログラフィックオブジェクト４２０と、ホログラフィックオブジェクト４２０を形成するために使用されるエネルギー（例えば、光および／または圧力波）を投影しているＬＦディスプレイモジュール４１４との間に位置付けられ得ることに留意されたい。したがって、視聴者４３４の位置付けは、視聴者４３０が、ＬＦディスプレイモジュール４１４からのエネルギーから形成されるホログラフィックオブジェクト４２０を知覚することを妨げる可能性がある。しかしながら、例示的な構成では、（例えば、視聴者４３４によって）遮られず、エネルギーを投影してホログラフィックオブジェクト４２０を形成し得る、例えば、ＬＦディスプレイモジュール４１６などの少なくとも１つの他のＬＦディスプレイモジュールが存在する。このように、空間内の視聴者による閉塞により、ホログラフィック投影の一部が見えなくなる可能性があるが、この影響は、ボリュームの一面にのみホログラフィックディスプレイパネルが存在する場合よりもはるかに小さい。ホログラフィックオブジェクト４２２は、ホログラフィックオブジェクトボリュームが集合表面の後ろに延在するため、６面集合シームレス表面環境の壁の「外側」に例示されている。したがって、視聴者４３０および／または視聴者４３４は、ホログラフィックオブジェクト４２２を、視聴者が全体にわたって移動することができる６面環境の「外側」として知覚することができる。

【0090】

図４Ａを参照して前述したように、いくつかの実施形態では、ＬＦディスプレイシステム４０２は、視聴者の位置を能動的に追跡し、追跡された位置に基づいてホログラフィックコンテンツを提示するように、異なるＬＦディスプレイモジュールに動的に命令し得る。したがって、多面構成は、制約のない視聴者が、多面シームレス表面環境によって囲まれたエリア全体を自由に移動することができる、ホログラフィックオブジェクトを提供するための（例えば、図４Ａと比べて）より堅牢な環境を提供することができる。

【0091】

特に、様々なＬＦディスプレイシステムが、異なる構成を有し得る。さらに、各構成は、全体でシームレスな表示面（「集合表面」）を形成する表面の特定の配向を有し得る。すなわち、ＬＦディスプレイシステムのＬＦディスプレイモジュールは、タイル張りされて様々な集合表面を形成することができる。例えば、図４Ｂでは、ＬＦディスプレイシステム４０２は、部屋の壁に近似する６面集合表面を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。いくつかの他の例では、集合表面は、全表面（例えば、壁全体）ではなく、表面の一部（例えば、壁の半分）でのみ発生し得る。いくつかの例が本明細書に記載されている。

【0092】

いくつかの構成では、ＬＦディスプレイシステムの集合表面は、局部的なビューイングボリュームに向けてエネルギーを投影するように構成された集合表面を含み得る。局部的なビューイングボリュームにエネルギーを投影することは、例えば、特定のビューイングボリューム内の投影エネルギーの密度を上げ、そのボリューム内の視聴者のＦＯＶを広げ、ビューイングボリュームを表示面に近づけることにより、より高品質の視聴体験を可能にする。

【0093】

例えば、図４Ｃは、「ウィング型」構成の集合表面を有するＬＦディスプレイシステム４５０Ａの上面図を示す。この例では、ＬＦディスプレイシステム４５０Ａは、前壁４５２、後壁４５４、第１の側壁４５６、第２の側壁４５８、天井（図示せず）、および床（図示せず）を有する部屋内に位置している。第１の側壁４５６、第２の側壁４５８、後壁４５４、床、および天井は、すべて直交している。ＬＦディスプレイシステム４５０Ａは、前壁を覆う集合表面４６０を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。前壁４５２、したがって集合表面４６０は、３つの部分、すなわち、（ｉ）後壁４５４とほぼ平行な第１の部分４６２（すなわち、中央表面）、（ｉｉ）第１の部分４６２を第１の側面４５６に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第２の部分４６４（すなわち、第１の側表面）、および（ｉｉｉ）第１の部分４６２を第２の側面４５８に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第３の部分４６６（すなわち、第２の側表面）を含む。第１の部分は、部屋内の垂直平面であり、水平および垂直軸を有する。第２および第３の部分は、水平軸に沿って部屋の中心に向かって角度が付いている。

【0094】

この例では、ＬＦディスプレイシステム４５０Ａのビューイングボリューム４６８Ａは、部屋の中央にあり、集合表面４６０の３つの部分によって部分的に囲まれている。視聴者を少なくとも部分的に囲む集合表面（「周囲表面」）は、視聴者の没入型体験を増大する。

【0095】

例示のために、例えば、中央表面のみを有する集合表面を考慮する。図２Ａを参照すると、表示面のいずれかの端から投影される光線は、上記のように理想的なホログラフィックボリュームおよび理想的なビューイングボリュームを作成する。ここで、例えば、中央表面が、視聴者に向かって角度の付いた２つの側表面を含んだ場合を考慮する。この場合、光線２５６および光線２５７は、中央表面の法線からより大きな角度で投影されるであろう。したがって、ビューイングボリュームの視野が拡大するであろう。同様に、ホログラフィックビューイングボリュームは、表示面により近くなるであろう。追加的に、第２および第３の２つの部分がビューイングボリュームのより近くで傾斜しているため、表示面から一定の距離で投影されるホログラフィックオブジェクトは、そのビューイングボリュームにより近い。

【0096】

簡単に言えば、中央表面のみを有する表示面は、平面視野、（中央の）表示面とビューイングボリュームとの間の平面閾値分離、およびホログラフィックオブジェクトとビューイングボリュームとの間の平面近接度を有する。視聴者に向かって角度の付いた１つ以上の側表面を追加すると、平面視野に対して視野が拡大し、表示面とビューイングボリュームとの間の分離が平面分離に対して減少し、表示面とホログラフィックオブジェクトとの間の近接度が、平面近接度に対して増大する。側表面を視聴者に向けてさらに角度を付けると、さらに視野が拡大し、分離が減少し、近接度が増大する。言い換えれば、側表面の角度の付いた配置は、視聴者の没入型体験を増大する。

【0097】

追加的に、図６に関して以下に説明するように、偏向光学系を使用して、ＬＦ表示パラメータ（例えば、寸法およびＦＯＶ）のビューイングボリュームのサイズおよび位置を最適化することができる。

【0098】

図４Ｄに戻ると、同様の例では、図４Ｄは、「スロープ」構成の集合表面を有するＬＦディスプレイシステム４５０Ｂの上面図を示す。この例では、ＬＦディスプレイシステム４５０Ｂは、前壁４５２、後壁４５４、第１の側壁（図示せず）、第２の側壁（図示せず）、天井４７２、および床４７４を有する部屋内に位置している。第１の側壁、第２の側壁、後壁４５４、床４７４、および天井４７２は、すべて直交している。ＬＦディスプレイシステム４５０Ｂは、前壁を覆う集合表面４６０を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。前壁４５２、したがって集合表面４６０は、３つの部分、すなわち、（ｉ）後壁４５４とほぼ平行な第１の部分４６２（すなわち、中央表面）、（ｉｉ）第１の部分４６２を天井４７２に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第２の部分４６４（すなわち、第１の側表面）、および（ｉｉｉ）第１の部分４６２を床４７４に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第３の部分４６４（すなわち、第２の側表面）を含む。第１の部分は、部屋内の垂直平面であり、水平および垂直軸を有する。第２および第３の部分は、垂直軸に沿って部屋の中心に向かって角度が付いている。

【0099】

この例では、ＬＦディスプレイシステム４５０Ｂのビューイングボリューム４６８Ｂは、部屋の中央にあり、集合表面４６０の３つの部分によって部分的に囲まれている。図４Ｃに示される構成と同様に、２つの側面部分（例えば、第２の部分４６４および第３の部分４６６）は、視聴者を囲んで、周囲表面を形成するように角度が付いている。周囲表面は、ホログラフィックビューイングボリューム４６８Ｂ内の任意の視聴者の視点からのビューイングＦＯＶを拡大する。追加的に、周囲表面は、投影されたオブジェクトがより近くに見えるように、ビューイングボリューム４６８Ｂがディスプレイの表面により近くなることを可能にする。言い換えれば、側表面の角度の付いた配置は、視野を拡大し、分離を減少させ、集合表面の近接度を増大させ、それによって、視聴者の没入型体験を増大する。さらに、以下で考察するように、偏向光学系を使用して、ビューイングボリューム４６８Ｂのサイズおよび位置を最適化することができる。

【0100】

集合表面４６０の側面部分の傾斜構成は、第３の部分４６６が傾斜していない場合よりも、ホログラフィックコンテンツがビューイングボリューム４６８Ｂにより近く提示されることを可能にする。例えば、キャラクタが提示された形態の下肢（脚など）、傾斜構成のＬＦディスプレイシステムは、平坦な前壁を有するＬＦディスプレイシステムが使用された場合よりも近く、かつより現実的に思われる可能性がある。

【0101】

追加的に、ＬＦディスプレイシステムの構成およびそれが位置している環境により、ビューイングボリュームおよびビューイングサブボリュームの形状および位置を知ることができる。

【0102】

図４Ｅは、例えば、部屋の前壁４５２上に集合表面４６０を有するＬＦディスプレイシステム４５０Ｃの上面図を例示する。この例では、ＬＦディスプレイシステム４５０Ｄは、前壁４５２、後壁４５４、第１の側壁４５６、第２の側壁４５８、天井（図示せず）、および床（図示せず）を有する部屋内に位置している。

【0103】

ＬＦディスプレイシステム４５０Ｃは、集合表面４６０から様々な光線を投影する。集合表面４６０の左側から投影される光線は水平角度範囲４８１を有し、集合表面の右側から投影される光線は水平角度範囲４８２を有し、集合表面４６０の中心から投影される光線は水平角度範囲４８３を有する。これらの点の間で、投影光線は、図６に関して以下に説明されるように、角度範囲の中間値を取ることができる。このように、表示面の全体で投影光線に傾斜した偏向角（ｇｒａｄｉｅｎｔ ｄｅｆｌｅｃｔｉｏｎ ａｎｇｌｅ）を有することにより、ビューイングボリューム４６８Ｃが作成される。さらに、この構成は、側壁４５６および４５８に光線を投影する際のディスプレイの解像度の無駄を回避する。

【0104】

図４Ｆは、部屋の前壁４５２上に集合表面４６０を有するＬＦディスプレイシステム４５０Ｄの側面図を例示する。この例では、ＬＦディスプレイシステム４５０Ｅは、前壁４５２、後壁４５４、第１の側壁（図示せず）、第２の側壁（図示せず）、天井４７２、および床４７４を有する部屋内に位置している。この例では、床は、前壁から後壁に移動するにつれて各段が階段状に高くなるように、段になっている。ここで、床の各段は、ビューイングサブボリューム（例えば、表示サブボリューム４７０Ａおよび４７０Ｂ）を含む。段状の床は、重複しないビューイングサブボリュームを可能にする。すなわち、各ビューイングサブボリュームは、別のビューイングサブボリュームを通過しない、ビューイングサブボリュームから集合表面４６０までの視線を有する。言い換えると、この配向は、段間の垂直オフセットにより、各段が、他の段のビューイングサブボリューム「見渡す」ことが可能になる「スタジアムシーティング」効果をもたらす。重なり合わないビューイングサブボリュームを含むＬＦディスプレイシステムは、重なり合うビューイングボリュームを有するＬＦディスプレイシステムよりも高品質の視聴体験を提供することができる。例えば、図４Ｆに示される構成では、異なるホログラフィックコンテンツが、ビューイングサブボリューム４７０Ａおよび４７０Ｂ内の聴衆に投影され得る。
ＬＦディスプレイシステムの制御

【0105】

図５Ａは、１つ以上の実施形態による、ＬＦディスプレイシステム５００のブロック図である。ＬＦディスプレイシステム５００は、ＬＦディスプレイアセンブリ５１０およびコントローラ５２０を備える。ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影する１つ以上のＬＦディスプレイモジュール５１２を含む。ＬＦディスプレイモジュール５１２は、他のタイプのエネルギーを投影および／または感知する統合されたエネルギー源および／またはエネルギーセンサを含むソース／センサシステム５１４を含み得る。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、およびＬＦ処理エンジン５３０を含む。コントローラ５２０はまた、追跡モジュール５２６、および視聴者プロファイリングモジュール５２８を含み得る。いくつかの実施形態では、ＬＦディスプレイシステム５００はまた、感覚フィードバックシステム５７０および追跡システム５８０を含む。図１～図４の文脈の中で説明されるＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の実施形態である。他の実施形態では、ＬＦディスプレイシステム５００は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。ＬＦディスプレイシステム５００の用途についても、図６～図１０に関して以下で詳細に考察する。

【0106】

ＬＦディスプレイアセンブリ５１０は、ビューイングボリューム内に位置する視聴者に見え得るホログラフィックオブジェクトボリューム内にホログラフィックコンテンツを提供する。ＬＦディスプレイアセンブリ５１０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツを提供することができる。ホログラフィックコンテンツは、集合表面の前、ＬＦディスプレイアセンブリ５１０、ＬＦディスプレイアセンブリ５１０の集合表面の後ろ、またはそれらの何らかの組み合わせに投影される１つ以上のホログラフィックオブジェクトを含み得る。コントローラ５２０を用いた表示命令の生成について、以下でより詳細に説明する。

【0107】

ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイアセンブリ５１０に含まれる１つ以上のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール１１０、ＬＦディスプレイシステム２００、およびＬＦディスプレイモジュール３００のいずれか）を使用してホログラフィックコンテンツを提供する。便宜上、１つ以上のＬＦディスプレイモジュールは、本明細書ではＬＦディスプレイモジュール５１２として説明されることがある。ＬＦディスプレイモジュール５１２は、タイル張りされて、ＬＦディスプレイアセンブリ５１０を形成することができる。ＬＦディスプレイモジュール５１２は、様々なシームレス表面環境（例えば、単一面、多面、会場の壁、曲面など）として構造化され得る。つまり、タイル張りされたＬＦディスプレイモジュールが集合表面を形成する。前述のように、ＬＦディスプレイモジュール５１２は、ホログラフィックコンテンツを提示する、エネルギーデバイス層（例えば、エネルギーデバイス層２２０）およびエネルギー導波路層（例えば、エネルギー導波路層２４０）を含む。ＬＦディスプレイモジュール５１２はまた、ホログラフィックコンテンツを提示するときに、エネルギーデバイス層とエネルギー導波路層との間でエネルギーを転送するエネルギーリレー層（例えば、エネルギーリレー層２３０）を含み得る。

【0108】

ＬＦディスプレイモジュール５１２はまた、前述のように、エネルギー投影および／またはエネルギー感知のために構成されている他の統合システムを含み得る。例えば、ライトフィールドディスプレイモジュール５１２は、エネルギーを投影および／または感知するように構成されている任意の数のエネルギーデバイス（例えば、エネルギーデバイス３４０）を含み得る。便宜上、ＬＦディスプレイモジュール５１２の統合エネルギー投影システムおよび統合エネルギー感知システムは、本明細書では、総称してソース／センサシステム５１４として説明されることがある。ソース／センサシステム５１４は、ソース／センサシステム５１４が、ＬＦディスプレイモジュール５１２と同じシームレスなエネルギー面を共有するように、ＬＦディスプレイモジュール５１２内に統合されている。言い換えれば、ＬＦディスプレイアセンブリ５１０の集合表面は、ＬＦディスプレイモジュール５１２およびソース／センサモジュール５１４の両方の機能を含む。すなわち、ソース／センサシステム５１４を有するＬＦディスプレイモジュール５１２を含むＬＦアセンブリ５１０は、ライトフィールドを投影しながら、同時にエネルギーを投影し、かつ／またはエネルギーを感知することができる。例えば、ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイモジュール５１２と、前述のようにデュアルエネルギー面または双方向エネルギー面として構成されたソース／センサシステム５１４とを含み得る。

【0109】

いくつかの実施形態では、ＬＦディスプレイシステム５００は、感覚フィードバックシステム５７０を使用して、生成されたホログラフィックコンテンツを他の感覚コンテンツ（例えば、調整されたタッチ、音声または匂いなど）で拡張する。感覚フィードバックシステム５７０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツの投影を拡張することができる。一般に、感覚フィードバックシステム５７０は、ＬＦディスプレイアセンブリ５１０の外部の任意の数の感覚フィードバックデバイス（例えば、感覚フィードバックシステム４４２）を含む。いくつかの例示的な感覚フィードバックデバイスは、調整された音響投影デバイスおよび受信デバイス、芳香投影デバイス、温度調整デバイス、力作動デバイス、圧力センサ、トランスデューサなどを含み得る。場合によっては、感覚フィードバックシステム５７０は、ライトフィールドディスプレイアセンブリ５１０と同様の機能を有し得、逆もまた然りである。例えば、感覚フィードバックシステム５７０およびライトフィールドディスプレイアセンブリ５１０の両方は、サウンドフィールドを生成するように構成され得る。別の例として、感覚フィードバックシステム５７０は、触覚表面を生成するように構成され得る一方、ライトフィールドディスプレイ５１０アセンブリはそうではない。

【0110】

例示のために、ライトフィールドディスプレイシステム５００の例示的な一実施形態では、感覚フィードバックシステム５７０は、音響投影デバイスを含み得る。音響投影デバイスは、コントローラ５２０から受信された表示命令を実行するときに、ホログラフィックコンテンツを補完する１つ以上の圧力波を生成するように構成される。生成される圧力波は、例えば、可聴（音の場合）、超音波（タッチの場合）、またはそれらの何らかの組み合わせであってもよい。同様に、感覚フィードバックシステム５７０は、芳香投影デバイスを含み得る。投影デバイスは、コントローラから受信した表示命令を実行する際に、標的エリアの一部またはすべてに香りを与えるように構成することができる。芳香デバイスは、標的エリア内の気流を調整するように、空気循環システム（例えば、ダクト、ファン、通気口など）内に結び付けられ得る。さらに、感覚フィードバックシステム５７０は、温度調整デバイスを含み得る。温度調整デバイスは、コントローラ５２０から受信された表示命令を実行するときに、標的エリアの一部もしくはすべての温度を上げるか、または下げるように構成されている。

【0111】

いくつかの実施形態では、感覚フィードバックシステム５７０は、ＬＦディスプレイシステム５００の視聴者からの入力を受信するように構成される。この場合、感覚フィードバックシステム５７０は、視聴者からの入力を受信するための様々な感覚フィードバックデバイスを含む。センサフィードバックデバイスとしては、音響受信デバイス（例えば、マイクロフォン）、圧力センサ、ジョイスティック、動作検出器、トランスデューサなどのデバイスを挙げることができる。感覚フィードバックシステムは、ホログラフィックコンテンツおよび／または感覚フィードバックの生成を調整するために、検出された入力をコントローラ５２０に送信することができる。

【0112】

例示のために、ライトフィールドディスプレイアセンブリの例示的な一実施形態では、感覚フィードバックシステム５７０は、マイクロフォンを含む。マイクロフォンは、１人以上の視聴者によって生み出された音声（例えば、あえぎ、悲鳴、笑い声など）を録音するように構成される。感覚フィードバックシステム５７０は、記録された音声を、視聴者入力としてコントローラ５２０に提供する。コントローラ５２０は、視聴者入力を使用して、ホログラフィックコンテンツを生成することができる。同様に、感覚フィードバックシステム５７０は、圧力センサを含み得る。圧力センサは、視聴者によって圧力センサに加えられた力を測定するように構成される。感覚フィードバックシステム５７０は、測定された力を、視聴者入力としてコントローラ５２０に提供することができる。

【0113】

いくつかの実施形態では、ＬＦディスプレイシステム５００は、追跡システム５８０を含む。追跡システム５８０は、標的エリア内の視聴者の位置、動き、および／または特徴を決定するように構成された任意の数の追跡デバイスを含む。一般に、追跡デバイスは、ＬＦディスプレイアセンブリ５１０の外部にある。いくつかの例示的な追跡デバイスとしては、カメラアセンブリ（「カメラ」）、１つ以上の２Ｄカメラ、ライトフィールドカメラ、深度センサ、構造化光、ＬＩＤＡＲシステム、カードスキャンシステム、または標的領域内の視聴者を追跡することができる他の追跡デバイスが挙げられる。

【0114】

追跡システム５８０は、標的エリアの一部またはすべてを光で照らす１つ以上のエネルギー源を含み得る。しかしながら、場合によっては、ホログラフィックコンテンツを提示するときに、標的エリアは、自然光および／またはＬＦディスプレイアセンブリ５１０からの周囲光で照らされる。エネルギー源は、コントローラ５２０から受信された命令を実行するときに、光を投影する。光は、例えば、構造化光パターン、光のパルス（例えば、ＩＲフラッシュ）、またはそれらの何らかの組み合わせであり得る。追跡システムは、可視帯域（約３８０ｎｍ～７５０ｎｍ）内、赤外線（ＩＲ）帯域（約７５０ｎｍ～１７００ｎｍ）内、紫外線帯域（１０ｎｍ～３８０ｎｍ）内、電磁スペクトルの何らかの他の部分、またはそれらの何らかの組み合わせの光を投影することができる。ソースとしては、例えば、発光ダイオード（ＬＥＤ）、マイクロＬＥＤ、レーザーダイオード、ＴＯＦ深度センサ、波長可変レーザーなどを挙げることができる。

【0115】

追跡システム５８０は、コントローラ５２０から受信された命令を実行するときに、１つ以上の放出パラメータを調整することができる。放出パラメータは、追跡システム５８０のソースから光が投影される方法に影響を与えるパラメータである。放出パラメータとしては、例えば、明るさ、パルスレート（連続照明を含む）、波長、パルス長、ソースアセンブリから光が投影される方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。一実施形態では、ソースは、飛行時間動作で光のパルスを投影する。

【0116】

追跡システム５８０のカメラは、標的エリアから反射された光（例えば、構造化光パターン）の画像をキャプチャする。カメラは、コントローラ５２０から受信された追跡命令を実行するときに、画像をキャプチャする。前述のように、光は、追跡システム５８０のソースによって投影され得る。カメラは、１つ以上のカメラを含み得る。すなわち、カメラは、例えば、フォトダイオードのアレイ（１Ｄまたは２Ｄ）、ＣＣＤセンサ、ＣＭＯＳセンサ、追跡システム５８０によって投影される光の一部またはすべてを検出する何らかの他のデバイス、またはそれらの何らかの組み合わせであってもよい。一実施形態では、追跡システム５８０は、ＬＦディスプレイアセンブリ５１０の外部のライトフィールドカメラを含み得る。他の実施形態では、カメラは、ＬＦディスプレイアセンブリ５１０に含まれるＬＦディスプレイモジュールの一部として含まれる。例えば、前述のように、ライトフィールドモジュール５１２のエネルギーリレー素子が、エネルギーデバイス層２２０で発光ディスプレイと画像センサとの両方をインターリーブする双方向エネルギー層である場合、ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影すると同時に、ディスプレイの前の視聴エリアからの画像情報を記録するように構成され得る。一実施形態では、双方向エネルギー面からキャプチャされた画像は、ライトフィールドカメラを形成する。カメラは、キャプチャされた画像をコントローラ５２０に提供する。

【0117】

追跡システム５８０のカメラは、コントローラ５２０から受信された追跡命令を実行するときに、１つ以上の撮像パラメータを調整することができる。撮像パラメータは、カメラが画像をキャプチャする方法に影響を与えるパラメータである。撮像パラメータとしては、例えば、フレームレート、アパーチャ、ゲイン、露光長さ、フレームタイミング、ローリングシャッターもしくはグローバルシャッターのキャプチャモード、カメラが画像をキャプチャする方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。

【0118】

コントローラ５２０は、ＬＦディスプレイアセンブリ５１０と、ＬＦディスプレイシステム５００の任意の他の構成要素と、を制御する。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、追跡モジュール５２６、視聴者プロファイリングモジュール５２８、およびライトフィールド処理エンジン５３０を備える。他の実施形態では、コントローラ５２０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。例えば、追跡モジュール５２６は、ＬＦディスプレイアセンブリ５１０または追跡システム５８０の一部であり得る。

【0119】

データストア５２２は、ＬＦディスプレイシステム５００の情報を記憶するメモリである。記憶される情報としては、表示命令、追跡命令、放出パラメータ、撮像パラメータ、標的エリアの仮想モデル、追跡情報、カメラによってキャプチャされた画像、１つ以上の視聴者プロファイル、ライトフィールドディスプレイアセンブリ５１０の較正データ、ＬＦモジュール５１２の解像度および配向を含むＬＦディスプレイシステム５１０の構成データ、所望のビューイングボリューム形状、３Ｄモデル、シーンおよび環境、材料およびテクスチャを含むグラフィックス作成のためのコンテンツ、ＬＦディスプレイシステム５００によって使用され得る他の情報、またはそれらの何らかの組み合わせを挙げることができる。データストア５２２は、読み取り専用メモリ（ＲＯＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、またはそれらの何らかの組み合わせなどのメモリである。

【0120】

ネットワークインターフェース５２４は、ライトフィールドディスプレイシステムがネットワークを介して他のシステムまたは環境と通信することを可能にする。一例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を介して、リモートのライトフィールドディスプレイシステムからホログラフィックコンテンツを受信する。別の例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を使用して、ホログラフィックコンテンツをリモートのデータストアに送信する。

【0121】

追跡モジュール５２６は、ＬＦディスプレイシステム５００によって提示されたコンテンツを視聴している視聴者を追跡する。そうするために、追跡モジュール５２６は、追跡システム５８０のソースおよび／またはカメラの動作を制御する追跡命令を生成し、追跡命令を追跡システム５８０に提供する。追跡システム５８０は、追跡命令を実行し、追跡モジュール５２６に追跡入力を提供する。

【0122】

追跡モジュール５２６は、標的領域内の１人以上の視聴者の位置（例えば、座っている、または立ち上がっている）を決定することができる。決定された位置は、例えば、何らかの基準点（例えば、表示面）に対するものであり得る。他の実施形態では、決定された位置は、標的エリアの仮想モデル内にあり得る。追跡された位置は、例えば、視聴者の追跡された位置および／または視聴者の一部の追跡された位置（例えば、目の場所、手の場所など）であり得る。追跡モジュール５２６は、追跡システム５８０のカメラからキャプチャされた１つ以上の画像を使用して、位置を決定する。追跡システム５８０のカメラは、ＬＦディスプレイシステム５００の周りに分配され得、画像を立体でキャプチャすることができ、追跡モジュール５２６が視聴者を受動的に追跡することを可能にする。他の実施形態では、追跡モジュール５２６は、視聴者を能動的に追跡する。すなわち、追跡システム５８０は、標的エリアのある部分を照らし、標的エリアを撮像し、追跡モジュール５２６は、飛行時間および／または構造化光深度決定技術を使用して、位置を決定する。追跡モジュール５２６は、決定された位置を使用して、追跡情報を生成する。

【0123】

追跡モジュール５２６はまた、ＬＦディスプレイシステム５００の視聴者からの入力として、追跡情報を受信することができる。追跡情報は、視聴者がＬＦディスプレイシステム５００によって提供される様々な入力オプションに対応する身体の動きを含み得る。例えば、追跡モジュール５２６は、視聴者の身体の動きを追跡し、任意の様々な動きを、入力として、ＬＦ処理エンジン５３０に割り当てることができる。追跡モジュール５２６は、追跡情報を、データストア５２２、ＬＦ処理エンジン５３０、視聴者プロファイリングモジュール５２８、ＬＦディスプレイシステム５００の任意の他の構成要素、またはそれらの何らかの組み合わせに提供することができる。

【0124】

視聴者の手に限定はされないが、追跡システム５８０は、視聴者の手の動きを記録し、その記録を追跡モジュール５２６に送信することができる。追跡モジュール５２６は、記録における視聴者の手の動作を追跡し、入力をＬＦ処理エンジン５３０に送信する。以下に説明するように、視聴者プロファイリングモジュール５２８は、視聴者の手の動作が肯定的な応答に関連付けられていることを画像内の情報が示していると決定する。したがって、十分な数の視聴者が肯定的な応答を有していると認識された場合、ＬＦ処理エンジン５３０は、その応答に対して適切なホログラフィックコンテンツを生成する。例えば、ＬＦ処理エンジン５３０は、シーンに紙吹雪を投影し得る。

【0125】

ＬＦディスプレイシステム５００は、視聴者を識別し、かつプロファイリングするように構成された視聴者プロファイリングモジュール５２８を含む。視聴者プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００によって表示されたホログラフィックコンテンツを見る１人または複数の視聴者のプロファイルを生成する。視聴者プロファイリングモジュール５２８は、視聴者の入力および監視された視聴者の行動、動作、ならびに反応に部分的に基づいて、視聴者プロファイルを生成する。視聴者プロファイリングモジュール５２８は、追跡システム５８０から取得された情報（例えば、記録された画像、ビデオ、音声など）にアクセスし、その情報を処理して、様々な情報を決定することができる。様々な例において、視聴者プロファイリングモジュール５２８は、任意の数のマシンビジョンまたは機械聴覚アルゴリズムを使用して、視聴者の行動、動作、および反応を決定することができる。監視される視聴者の行動には、例えば、笑顔、歓声、拍手、笑い、恐怖、悲鳴、興奮レベル、反動、他のジェスチャの変化、または視聴者による動きなどが含まれ得る。

【0126】

より一般的には、視聴者プロファイルは、ＬＦディスプレイシステムからのホログラフィックコンテンツを見ている視聴者に関して受信および／または決定された任意の情報を含み得る。例えば、各視聴者プロファイルは、ＬＦディスプレイシステム５００によって表示されたコンテンツに対するその視聴者の動作または応答を記録することができる。視聴者プロファイルに含まれ得るいくつかの例示的な情報が、以下に提供される。

【0127】

いくつかの実施形態では、視聴者プロファイルは、表示されたキャラクタ、俳優、シーンなどに関する視聴者の応答を説明することができる。例えば、視聴者プロファイルは、視聴者が一般に、特定のシーン（例えば、期間、場所、それらの組み合わせなど）で発生したコンテンツに対して肯定的な応答を有することを示し得る。

【0128】

いくつかの実施形態では、視聴者プロファイルは、視聴者の特徴を示し得る。例えば、視聴者は、大学のロゴが表示されたスウェットシャツを装着している。この場合、視聴者プロファイルは、視聴者が、スウェットシャツを装着していて、スウェットシャツにそのロゴがある大学に関連付けられたホログラフィックコンテンツを好む可能性があることを示し得る。より広義には、視聴者プロファイルに示され得る視聴者の特徴としては、例えば、年齢、性別、民族、衣服、会場での視聴場所などを挙げることができる。

【0129】

いくつかの実施形態では、視聴者プロファイルは、シーンの望ましい特徴に関して視聴者の好みを示すことができる。例えば、視聴者プロファイルは、ホログラフィックコンテンツを表示すべきホログラフィックオブジェクトボリューム（例えば、壁の上）およびホログラフィックコンテンツを表示すべきでないホログラフィックオブジェクトボリューム（例えば、視聴者の頭上）を示し得る。視聴者プロファイルはまた、視聴者が触覚インターフェースを自分たちの近くに提示させたがること、または触覚インターフェースを避けたがることを示し得る。

【0130】

別の例では、視聴者プロファイルは、特定の視聴者について視聴されたコンテンツの履歴を示す。例えば、視聴者プロファイリングモジュール５２８は、視聴者が以前に、システムでコンテンツを視聴したと決定する。したがって、ＬＦディスプレイシステム５００は、視聴者がシステムで前回コンテンツを視聴したときとは異なるホログラフィックコンテンツを表示し得る。

【0131】

いくつかの実施形態では、データストア５２２は、視聴者プロファイリングモジュール５２８によって生成、更新、および／または維持された視聴者プロファイルを記憶する視聴者プロファイルストアを含む。視聴者プロファイルは、視聴者プロファイリングモジュール５２８によって、いつでもデータストア内で更新され得る。例えば、一実施形態では、視聴者プロファイルストアは、特定の視聴者が、ＬＦディスプレイシステム５００によって提供されたホログラフィックコンテンツを見るときに、その特定の視聴者に関する情報を受信し、その視聴者の視聴者プロファイルに記憶する。この例では、視聴者プロファイリングモジュール５２８は、視聴者を認識し、視聴者が提示されたホログラフィックコンテンツを見るときに視聴者を確実に識別することができる顔認識アルゴリズムを含む。例示のために、視聴者がＬＦディスプレイシステム５００の標的エリアに入ると、追跡システム５８０が、視聴者の画像を取得する。視聴者プロファイリングモジュール５２８は、キャプチャされた画像を入力し、顔認識アルゴリズムを使用して視聴者の顔を識別する。識別された顔は、プロファイルストア内の視聴者プロファイルに関連付けられ、そのため、その視聴者に関して取得されたすべての入力情報が、その視聴者のプロファイルに記憶され得る。視聴者プロファイリングモジュールはまた、カード識別スキャナ、音声識別子、無線周波数識別（ＲＦＩＤ）チップスキャナ、バーコードスキャナなどを利用して、視聴者を確実に識別することができる。

【0132】

視聴者プロファイリングモジュール５２８が視聴者を確実に識別できるため、視聴者プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００への各視聴者の各訪問を決定することができる。次に、視聴者プロファイリングモジュール５２８は、各訪問の日時を各視聴者の視聴者プロファイルに記憶することができる。同様に、視聴者プロファイリングモジュール５２８は、感覚フィードバックシステム５７０、追跡システム５８０、および／またはＬＦディスプレイアセンブリ５１０の任意の組み合わせから受信された、視聴者からの入力を、入力が発生するたびに記憶することができる。視聴者プロファイルシステム５２８は、コントローラ５２０の他のモジュールまたは構成要素から視聴者に関するさらなる情報を追加的に受信することができ、この情報は、視聴者プロファイルとともに記憶され得る。次に、コントローラ５２０の他の構成要素も、その視聴者に提供される後のコンテンツを決定するために、記憶された視聴者プロファイルにアクセスすることができる。

【0133】

ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０によって実行されると、ＬＦディスプレイアセンブリ５１０にホログラフィックコンテンツを提示させる、ラスタライズ化されたフォーマットの４Ｄ座標（「ラスタライズ化されたデータ」）を生成する。ＬＦ処理エンジン５３０は、データストア５２２からラスタライズ化されたデータにアクセスすることができる。さらに、ＬＦ処理エンジン５３０は、ベクトル化されたデータセットからラスタライズされたデータを構築することができる。ベクトル化されたデータを以下に説明する。ＬＦ処理エンジン５３０はまた、ホログラフィックオブジェクトを拡張する感覚コンテンツを提供するために必要な感覚命令を生成することができる。上記のように、感覚命令は、ＬＦディスプレイシステム５００によって実行されると、触覚表面、サウンドフィールド、およびＬＦディスプレイシステム５００によってサポートされる他の形態の感覚エネルギーを生成することができる。ＬＦデータ処理エンジン５３０は、データストア５２２から感覚命令にアクセスする、または、感覚命令を構築して、ベクトル化されたデータセットを形成することができる。全体として、４Ｄ座標および感覚データは、ホログラフィックおよび感覚コンテンツを生成するためにＬＦディスプレイシステムによって実行可能な表示命令を表す。

【0134】

ＬＦディスプレイシステム５００内の様々なエネルギー源を通るエネルギーの流れを説明するラスタライズされたデータの量は、信じられないほど大量である。データストア５２２からアクセスされる場合、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは可能であるが、（例えば、ネットワークインターフェース５２４を介して）効率的に送信し、受信し、その後、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは不可能である。例えば、ＬＦディスプレイシステム５００によるホログラフィック投影用の短いフィルムを表すラスタライズされたデータを取り上げる。この例では、ＬＦディスプレイシステム５００は、数ギガピクセルを含むディスプレイを含み、ラスタライズされたデータは、ディスプレイ上の各ピクセル場所の情報を含む。ラスタライズされたデータの対応するサイズは膨大であり（例えば、フィルム表示時間の毎秒多ギガバイト）、ネットワークインターフェース５２４を介した商用ネットワーク上での効率的な転送には管理できない。効率的な転送の問題は、ホログラフィックコンテンツのライブストリーミングを含むアプリケーションで増幅される可能性がある。感覚フィードバックシステム５７０または追跡モジュール５２６からの入力を使用してインタラクティブな体験が望まれる場合、単にラスタライズされたデータをデータストア５２２に記憶することに関する追加の問題が生じる。インタラクティブな体験を可能にするために、ＬＦ処理エンジン５３０によって生成されたライトフィールドコンテンツは、感覚または追跡入力に応答してリアルタイムで修正され得る。言い換えれば、場合によっては、ＬＦコンテンツは、データストア５２２から単純に読み取ることができない。

【0135】

したがって、いくつかの構成では、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを表すデータは、ベクトル化されたデータフォーマット（「ベクトル化されたデータ」）でＬＦ処理エンジン５３０に転送され得る。ベクトル化されたデータは、ラスタライズされたデータよりも桁違いに小さい場合がある。さらに、ベクトル化されたデータは、データの効率的な共有を可能にするデータセットサイズを有しながら、高い画質を提供する。例えば、ベクトル化されたデータは、より密度の高いデータセットから派生した疎なデータセットである可能性がある。したがって、ベクトル化されたデータは、密度の高いラスタライズされたデータから疎なベクトル化されたデータがどのようにサンプリングされるかに基づいて、画質とデータ送信サイズとの間の調整可能なバランスを有する可能性がある。ベクトル化されたデータを生成するための調整可能なサンプリングにより、特定のネットワーク速度での画質の最適化が可能になる。結果として、ベクトル化されたデータは、ネットワークインターフェース５２４を介したホログラフィックコンテンツの効率的な送信を可能にする。ベクトル化されたデータにより、ホログラフィックコンテンツを商用ネットワーク経由でライブストリーミングすることもできる。

【0136】

要約すると、ＬＦ処理エンジン５３０は、データストア５２２からアクセスされるラスタライズされたデータ、データストア５２２からアクセスされるベクトル化されたデータ、またはネットワークインターフェース５２４を介して受信されるベクトル化されたデータから導出されたホログラフィックコンテンツを生成することができる。様々な構成において、ベクトル化されたデータは、データ送信の前に符号化され、ＬＦコントローラ５２０による受信の後に復号され得る。いくつかの例では、ベクトル化されたデータは、データ圧縮に関連する追加のデータセキュリティおよびパフォーマンスの向上のために符号化される。例えば、ネットワークインターフェースによって受信されたベクトル化されたデータは、ホログラフィックストリーミングアプリケーションから受信された符号化され、ベクトル化されたデータであり得る。いくつかの例では、ベクトル化されたデータは、デコーダ、ＬＦ処理エンジン５３０、またはこれらの両方が、ベクトル化されたデータ内の符号化された情報コンテンツにアクセスすることを必要とし得る。エンコーダおよび／またはデコーダシステムは、顧客に対して利用可能である場合があるか、またはサードパーティベンダーにライセンス供与されている場合がある。

【0137】

ベクトル化されたデータは、インタラクティブな体験をサポートする方法で、ＬＦディスプレイシステム５００によってサポートされる各感覚領域の各々の情報を含む。例えば、インタラクティブなホログラフィック体験のためのベクトル化されたデータは、ＬＦディスプレイシステム５００によってサポートされる感覚領域の各々に正確な物理学を提供することができる任意のベクトル化された特性を含む。ベクトル化された特性は、合成的にプログラムされ、キャプチャされ、計算により評価され得るなどの任意の特性を含み得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータのベクトル化された特性をラスタライズされたデータに変換するように構成され得る。次に、ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０からのベクトル化されたデータから変換されたホログラフィックコンテンツを投影することができる。様々な構成で、ベクトル化された特性には、１つ以上の赤／緑／青／アルファチャネル（ＲＧＢＡ）＋深度画像、１つの高解像度中央画像および低解像度の他のビューを含み得る様々な解像度での深度情報の有無にかかわらないマルチビュー画像、アルベドおよび反射率、表面法線、その他の光学効果、表面識別、幾何学的オブジェクト座標、仮想カメラ座標、表示面の場所、照明座標、表面の接触剛性、接触延性、接触強度、サウンドフィールドの振幅および座標、環境条件、テクスチャまたは温度の機械受容器に関連する体性感覚エネルギーベクトル、音声、ならびにその他の感覚領域特性の座標が含まれ得る。他の多くのベクトル化された特性も可能である。

【0138】

ＬＦディスプレイシステム５００はまた、インタラクティブな視聴体験を生成することもできる。すなわち、ホログラフィックコンテンツは、視聴者の場所、ジェスチャ、インタラクション、ホログラフィックコンテンツとのインタラクションに関する情報、または視聴者プロファイリングモジュール５２８および／または追跡モジュール５２６から導出された他の情報を含む入力刺激に応答することができる。例えば、一実施形態では、ＬＦ処理システム５００は、ネットワークインターフェース５２４を介して受信されたリアルタイムパフォーマンスのベクトル化されたデータを使用して、インタラクティブな視聴体験を作成する。別の例では、ホログラフィックオブジェクトが、視聴者のインタラクションに応じて直ちに特定の方向に移動する必要がある場合、ＬＦ処理エンジン５３０は、ホログラフィックオブジェクトがその要求された方向に移動するように、シーンのレンダリングを更新することができる。これには、ＬＦ処理エンジン５３０が、ベクトル化されたデータセットを使用して、適切なオブジェクトの配置および動き、衝突検出、オクルージョン、色、陰影、照明などを有する３Ｄグラフィカルシーンに基づいて、リアルタイムでライトフィールドをレンダリングし、視聴者のインタラクションに正しく応答することが必要であり得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータを、ＬＦディスプレイアセンブリ５１０による提示のためにラスタライズされたデータに変換する。

【0139】

ラスタライズされたデータには、リアルタイムのパフォーマンスを表すホログラフィックコンテンツ命令および感覚命令（表示命令）が含まれる。ＬＦディスプレイアセンブリ５１０は、表示命令を実行することによって、リアルタイムのパフォーマンスのホログラフィックおよび感覚コンテンツを同時に投影する。ＬＦディスプレイシステム５００は、追跡モジュール５２６および視聴者プロファイリングモジュール５２８を用いて、提示されたリアルタイムのパフォーマンスのコンテンツとの視聴者のインタラクション（例えば、音声応答、タッチなど）を監視する。視聴者のインタラクションに応答して、ＬＦ処理エンジンは、視聴者に提示するための追加のホログラフィックおよび／または感覚コンテンツを生成することによって、インタラクティブな体験を作成する。

【0140】

例示のために、天井から落下するバルーンを表す複数のホログラフィックオブジェクトを生成するＬＦ処理エンジン５３０を含むＬＦディスプレイシステム５００の例示的な一実施形態を考慮する。視聴者は、バルーンを表すホログラフィックオブジェクトにタッチするように移動し得る。それに応じて、追跡システム５８０は、ホログラフィックオブジェクトに対する視聴者の手の動きを追跡する。視聴者の動きは追跡システム５８０によって記録され、コントローラ５２０に送信される。追跡モジュール５２６は、視聴者の手の動作を連続的に決定し、決定された動作をＬＦ処理エンジン５３０に送信する。ＬＦ処理エンジン５３０は、シーン内の視聴者の手の配置を決定し、ホログラフィックオブジェクトに必要な任意の変更（位置、色、またはオクルージョンなど）を含むために、グラフィックスのリアルタイムレンダリングを調整する。ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０（および／または感覚フィードバックシステム５７０）に、体積触覚投影システムを使用して（例えば、超音波スピーカを使用して）触覚表面を生成するように指示する。生成された触覚表面は、ホログラフィックオブジェクトの少なくとも一部に対応し、ホログラフィックオブジェクトの外面の一部またはすべてと実質的に同じ空間を占有する。ＬＦ処理エンジン５３０は追跡情報を使用して、ＬＦディスプレイアセンブリ５１０に、バルーンにタッチする視覚的および触覚的知覚の両方を視聴者が与えられるように、触覚表面の位置を、レンダリングされたホログラフィックオブジェクトの位置とともに移動するよう動的に指示する。より簡単に言えば、視聴者がホログラフィックバルーンにタッチしている自分の手を見ると、視聴者は同時に、手がホログラフィックバルーンにタッチし、タッチに応答してバルーンが位置または動作を変更することを示す触覚フィードバックを感じる。いくつかの例では、データストア５２２からアクセスされるコンテンツのインタラクティブバルーンを提示するのではなく、インタラクティブバルーンは、ネットワークインターフェース５２４を介してライブストリーミングアプリケーションから受信されるホログラフィックコンテンツの一部として受信され得る。

【0141】

ホログラフィックコンテンツトラック内のホログラフィックコンテンツは、ホログラフィックコンテンツを表示するために、任意の数の時間的、聴覚的、視覚的などのキューに関連付けられ得る。例えば、ホログラフィックコンテンツトラックは、コンテンツ中の特定の時間に表示されるホログラフィックコンテンツを含むことができる。別の例では、ホログラフィックコンテンツトラックは、感覚フィードバックシステム５７０が特定の音声キューを記録するときに提示されるホログラフィックコンテンツを含む。別の例では、ホログラフィックコンテンツトラックは、追跡システム５８０が特定の視覚的キューを記録するときに表示するホログラフィックコンテンツを含む。聴覚的および視覚的キューの決定については、以下で詳しく説明する。

【0142】

ホログラフィックコンテンツトラックには、空間レンダリング情報も含まれる場合がある。すなわち、ホログラフィックコンテンツトラックはホログラフィックコンテンツを提示するための空間的場所を示し得る。例えば、ホログラフィックコンテンツトラクトは、特定のホログラフィックコンテンツがいくつかのホログラフィックビューイングボリュームで提示され、他のボリュームでは提示されないことを示し得る。同様に、ホログラフィックコンテンツトラックは、ホログラフィックコンテンツを示して、いくつかのビューイングボリュームに提示し、他のボリュームには提示しないことを示し得る。

【0143】

ＬＦ処理エンジン５００はまた、ホログラフィックコンテンツを提示している会場または場所に適合するようにホログラフィックコンテンツを修正し得る。例えば、すべての場所が同じサイズである、同じレイアウトを有している、または同じ技術構成を有しているわけではない。したがって、ＬＦ処理エンジン５３０は、ホログラフィックコンテンツが特定の場所内に適切に表示されるように、ホログラフィックコンテンツを修正することができる。一実施形態では、ＬＦ処理エンジン５３０は、場所のレイアウト、解像度、視野、他の技術仕様などを含む、会場の構成ファイルにアクセスすることができる。ＬＦ処理エンジン５３０は、構成ファイルに含まれる情報に基づいてホログラフィックコンテンツをレンダリングして提示することができる。

【0144】

ＬＦ処理エンジン５３０はまた、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成することができる。重要なことには、ここで、表示のためのホログラフィックコンテンツを作成することは、表示のためのホログラフィックコンテンツをアクセスすること、または受信することとは異なる。すなわち、コンテンツを作成するとき、ＬＦ処理エンジン５３０は、以前に生成および／または受信されたコンテンツをアクセスするのではなく、表示のための全く新しいコンテンツを生成する。ＬＦ処理エンジン５３０は、追跡システム５８０、感覚フィードバックシステム５７０、視聴者プロファイリングモジュール５２８、追跡モジュール５２８、またはそれらの何らかの組み合わせからの情報を使用して、表示のためのホログラフィックコンテンツを作成することができる。いくつかの例では、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００の要素からの情報（例えば、追跡情報および／または視聴者プロファイル）にアクセスし、それに応じて、その情報に基づいてホログラフィックコンテンツを作成し、作成されたホログラフィックコンテンツを、ＬＦディスプレイシステム５００を使用して表示することができる。作成されたホログラフィックコンテンツは、ＬＦディスプレイシステム５００によって表示されるときに、他の感覚コンテンツ（例えば、タッチ、音声、または匂い）で拡張され得る。さらに、ＬＦディスプレイシステム５００は、作成されたホログラフィックコンテンツが将来表示され得るように、作成されたホログラフィックコンテンツを記憶することができる。

【0145】

さらに、ＬＦ処理エンジン５３０は、例えば、管理者、視聴者、またはその両方から受信したアクション要求に応答して、アプリケーション内でアクションを実行することができる。いくつかの実施形態では、アクション要求は、ターゲットエリア内の視聴者によって提供される口頭のコマンドであり得る。口頭のコマンドは、音響デバイスを使用して検出することができる。例えば、視聴者は、１つ以上の口頭コマンド（例えば、一時停止または一時停止解除）を使用して、ＬＦディスプレイシステム５００によって提示されているコンテンツを一時停止および／または一時停止解除することができる場合がある。いくつかの実施形態では、アクション要求は、ターゲット領域内の視聴者によって提供される身体の動きであり得る。身体の動きは、追跡システム５８０によって記録され得る。例えば、視聴者はホログラフィック成人パフォーマーと会話して、特定のアクションを実行し、様々なサービスを提供できる。これらは、ホログラフィックパフォーマーによって実行されるコンテンツベースのアクションまたはリクエスト、または身体ベースのアクションまたはリクエストであり、例えば、照明を暗くしたり、風景を変更したり、軽食や飲み物を注文したりすることもできる。

【0146】

１つ以上の感覚デバイスは、いくつかの実施形態では、ＬＦ処理エンジン５３０によって実行されるアプリケーションと併せて視聴者によって使用される。これらの感覚デバイスには、人間の性的快楽を促進するために使用されるパーソナルマッサージャー、挿入デバイス、突出デバイス、アニマトロニクスオブジェクト、ロボット、および任意の他のオブジェクトが含まれる。１つ以上の感覚デバイスは、ＬＦディスプレイシステム５００から独立して操作することができるが、いくつかの実施形態では、１つ以上の感覚デバイスは、ＬＦ処理エンジン５３０によって提示されるホログラフィックコンテンツと協調して動作する。一実施形態では、１つ以上の感覚デバイスは、ＬＦ処理エンジン５３０によって実行されるアプリケーションに従って動作するように、ＬＦ処理エンジン５３０から動作命令を受け取ることができる。別の実施形態では、１つ以上のＬＦディスプレイモジュールを１つ以上の感覚デバイスの中またはその上に組み込んで、感覚シミュレーションデバイスの外観を拡張するか、またはＬＰディスプレイシステム５００が、環境内の感覚シミュレーションデバイスの位置を追跡し、１つ以上のディスプレイモジュールに感覚シミュレーションデバイスの外観を拡張させることができる。
ＬＦディスプレイシステムのための動的コンテンツ生成

【0147】

いくつかの実施形態では、ＬＦ処理エンジン５３０は、人工知能（ＡＩ）モデルを組み込んで、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成する。ＡＩモデルは、回帰モデル、ニューラルネットワーク、分類器、または他のＡＩアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。ＡＩモデルは、視聴者の行動に関する情報を含み得る、ＬＦディスプレイシステム５００によって（例えば、追跡システム５８０によって）記録された視聴者情報に基づいて、視聴者の好みを決定するために使用することができる。

【0148】

ＡＩモデルは、ホログラフィックコンテンツを作成するために、データストア５２２からの情報にアクセスすることができる。例えば、ＡＩモデルは、データストア５２２内の１つ以上の視聴者プロファイルからの視聴者情報にアクセスすることができるか、またはＬＦディスプレイシステム５００の様々な構成要素から視聴者情報を受信することができる。例示のために、ＡＩモデルは、視聴者が、コンテンツ内の俳優またはモデルが蝶ネクタイを装着しているホログラフィックコンテンツを見るのを楽しんでいると決定することができる。ＡＩモデルは、以前見た、蝶ネクタイを装着している俳優を含むホログラフィックコンテンツに対する視聴者のグループの肯定的な反応または応答に基づいて、好みを決定することができる。つまり、ＡＩモデルは、学習された視聴者の好みに従って、視聴者のセットに合わせて個人化されたホログラフィックコンテンツを作成することができる。そのため、例えば、ＡＩモデルは、ＬＦディスプレイシステム５００を使用して、視聴者のグループによって視聴されるホログラフィックコンテンツに表示される俳優に蝶ネクタイを作成することができる。ＡＩモデルはまた、学習された各視聴者の好みを、データストア５２２の視聴者プロファイルストアに記憶することができる。いくつかの例では、ＡＩモデルは、視聴者のグループではなく、個々の視聴者のためにホログラフィックコンテンツを作成することができる。

【0149】

視聴者の特徴を識別し、反応を識別し、かつ／または識別された情報に基づいてホログラフィックコンテンツを生成するために使用され得るＡＩモデルの一例が、現在の層のノードの値が前の層のノードでの値の変換である、ノードのレイヤを有する畳み込みニューラルネットワークモデルである。モデルにおける変換は、現在の層および前の層を接続する、重みおよびパラメータのセットを介して決定される。例えば、ＡＩモデルは、ノードの５つの層、すなわち層Ａ、Ｂ、Ｃ、Ｄ、およびＥを含み得る。層Ａから層Ｂへの変換は関数Ｗ_１により与えられ、層Ｂから層Ｃへの変換はＷ_２により与えられ、層Ｃから層Ｄへの変換はＷ_３により与えられ、層Ｄから層Ｅへの変換はＷ_４により与えられる。いくつかの例では、変換はまた、モデル内の前の層間を変換するために使用される重みおよびパラメータのセットを介して決定され得る。例えば、層Ｄから層Ｅへの変換Ｗ_４は、層Ａから層Ｂへの変換Ｗ_１を遂行するために使用されるパラメータに基づき得る。

【0150】

モデルへの入力は、畳み込み層Ａ上に符号化された、追跡システム５８０によって撮影された画像であり得、モデルの出力は、出力層Ｅから復号されたホログラフィックコンテンツである。代替的または追加的に、出力は、画像内で決定された視聴者の特徴であり得る。この例では、ＡＩモデルは、識別層Ｃの視聴者の特徴を表す、画像内の潜在情報を識別する。ＡＩモデルは、畳み込み層Ａの次元を識別層Ｃの次元まで低減して、画像内の任意の特徴、動作、応答などを識別する。いくつかの例では、ＡＩモデルは、次に、識別層Ｃの次元を増加してホログラフィックコンテンツを生成する。

【0151】

追跡システム５８０からの画像は、畳み込み層Ａに符号化される。畳み込み層Ａに入力された画像は、識別層Ｃの様々な特徴および／または反応情報などに関連付けられ得る。これらの要素間の関連情報は、対応する層間に変換のセットを適用することによって検索され得る。すなわち、ＡＩモデルの畳み込み層Ａは、符号化された画像を表し、モデルの識別層Ｃは、笑顔の視聴者を表す。所与の画像内の笑顔の視聴者は、畳み込み層Ａの空間内の画像の画素値に変換Ｗ_１およびＷ_２を適用することによって識別され得る。変換の重みおよびパラメータは、画像に含まれる情報と笑顔の視聴者の識別との間の関係を示し得る。例えば、重みおよびパラメータは、画像内の笑顔の視聴者を表す情報に含まれる形状、色、サイズなどの量子化であり得る。重みおよびパラメータは、履歴データ（例えば、以前に追跡された視聴者）に基づき得る。

【0152】

画像内の笑顔の視聴者は、識別層Ｃで識別される。識別層Ｃは、画像内の笑顔の視聴者に関する潜在情報に基づいて識別された笑顔の視聴者を表す。

【0153】

画像内の識別された笑顔の視聴者を使用して、ホログラフィックコンテンツを生成することができる。ホログラフィックコンテンツを生成するために、ＡＩモデルは、識別層Ｃから開始して、変換Ｗ_２およびＷ_３を識別層Ｃの所与の識別された笑顔の視聴者の値に適用する。変換は、出力層Ｅのノードのセットをもたらす。変換の重みおよびパラメータは、識別された笑顔の視聴者と特定のホログラフィックコンテンツおよび／または好みとの間の関係を示し得る。ホログラフィックコンテンツが、出力層Ｅのノードから直接出力される場合もあれば、コンテンツ生成システムが、出力層Ｅのノードをホログラフィックコンテンツに復号する場合もある。例えば、出力が、識別された特徴のセットである場合、ＬＦ処理エンジンは、その特徴を使用してホログラフィックコンテンツを生成することができる。

【0154】

追加的に、ＡＩモデルは、中間層として知られている層を含み得る。中間層は、画像に対応しない層であって、特徴／反応などを識別するか、またはホログラフィックコンテンツを生成する。例えば、所与の例では、層Ｂは、畳み込み層Ａと識別層Ｃとの間の中間層である。層Ｄは、識別層Ｃと出力層Ｅとの間の中間層である。隠れ層は、データ中では観測されないが、特徴を識別してホログラフィックコンテンツを生成するときに、画像の要素間の関係を支配し得る識別の様々な態様の潜在表現である。例えば、隠れ層のあるノードが、「笑っている人の笑顔」の共通点を共有する入力値および識別値と強いつながり（例えば、大きな重み値）を持っている場合がある。別の例として、隠れ層の別のノードが、「怖がっている人の悲鳴」の共通点を共有する入力値および識別値と強いつながりを持っている場合がある。もちろん、ニューラルネットワークには任意の数のリンケージが存在する。追加的に、各中間層は、例えば、残差ブロック、畳み込み層、プーリング操作、スキップ接続、連結などの機能の組み合わせである。任意の数の中間層Ｂが、畳み込み層を識別層まで減らすように機能し得、任意の数の中間層Ｄが、識別層を出力層まで増加させるように機能し得る。

【0155】

一実施形態では、ＡＩモデルは、強化学習でトレーニングされた決定論的方法を含む（それにより、強化学習モデルを作成する）。モデルは、追跡システム５８０からの測定値を入力として、および作成されたホログラフィックコンテンツへの変更を出力として使用して、公演の品質を高めるようにトレーニングされる。

【0156】

強化学習は、数値的な報酬信号を最大化するために、機械が「何をすべきか」（状況を動作にマッピングする方法）を学習する機械学習システムである。学習器（例えば、ＬＦ処理エンジン５３０）は、取るべき動作（例えば、所定のホログラフィックコンテンツの生成）を告げられていないが、代わりに、動作を試行することによって、どの動作が最大の報酬をもたらすか（例えば、より多くのに歓声を上げさせることによってホログラフィックコンテンツの品質を高めること）を発見する。場合によっては、動作は、即時報酬だけでなく、次の状況、かつそれを通じて、その後のすべての報酬にも影響を及ぼし得る。これらの２つの特徴（試行錯誤による探索および遅延報酬）が、強化学習の２つの際立った特徴である。

【0157】

強化学習は、学習方法を特徴づけることによってではなく、学習問題を特徴づけることによって定義される。基本的に、強化学習システムは、目標を達成するために環境とインタラクションする学習エージェントが直面している問題の重要な態様をキャプチャする。つまり、パフォーマーの歌を生成する例では、強化学習システムは、現場の視聴者に関する情報（例えば、年齢、気質など）をキャプチャする。このようなエージェントは、環境の状態を感知し、状態に影響を与える動作を実行して、１つ以上の目標を達成する（例えば、視聴者が歓声を上げるであろうポップソングを作成する）。最も基本的な形態では、強化学習の定式化は、学習器のための３つの態様、すなわち、感覚、動作、および目標を含む。曲の例に続いて、ＬＦ処理エンジン５３０は、追跡システム５８０のセンサで環境の状態を感知し、環境内の視聴者にホログラフィックコンテンツを表示し、視聴者のその曲の受容の尺度である目標を達成する。

【0158】

強化学習で発生する課題ののうちの１つが、探索と活用との間のトレードオフである。システム内の報酬を増加させるために、強化学習エージェントは、過去に試行し、報酬を生み出すのに効果的であることがわかった動作を好む。しかしながら、報酬を生み出す動作を発見するために、学習エージェントは、以前に選択したことのない動作を選択する。エージェントは、報酬を取得するために、すでに知っている情報を「活用」するが、将来、より良い動作を選択するために、情報を「探索」する。学習エージェントは、様々な動作を試み、依然として新しい動作を試行しながら、最良と思われる動作を次第に好むようになる。確率論的タスクでは、一般的に、各動作が、期待される報酬に対する信頼できる見積もりを得るために、何度も試行される。例えば、長い時間が経過した後に視聴者がパフォーマンスで笑うことになるとＬＦ処理エンジンが知っているホログラフィックコンテンツをＬＦ処理エンジンが作成する場合、ＬＦ処理エンジンは、視聴者が笑うまでの時間が減少するように、ホログラフィックコンテンツを変更することができる。

【0159】

さらに、強化学習は、不確実環境とインタラクションする目標指向エージェントの問題全体を考慮する。強化学習エージェントは、明確な目標を有し、環境の態様を感知し得、高い報酬（すなわち、どよめく観衆）を受信するための動作を選択し得る。さらに、エージェントは、一般的に、直面する環境に関する重要な不確実性にかかわらず動作する。強化学習が計画を含む場合、システムは、計画とリアルタイムの動作選択とのインタラクション、ならびに環境要素をどのように取得して改善するかという問題に対処する。強化学習が進展するためには、重要なサブ問題を分離して研究する必要があり、サブ問題は、完全でインタラクティブなゴールシークエージェントで明確な役割を果たす。

【0160】

強化学習問題は、目標を達成するためにインタラクションが処理され、動作が実行される機械学習問題のフレーミングである。学習器および意思決定器はエージェントと呼ばれる（例えば、ＬＦ処理エンジン５３０）。エージェントの外部のすべてのものを含む、エージェントがインタラクションするものは 環境と呼ばれる（例えば、現場の視聴者など）。これら２つは継続的にインタラクションし、エージェントは動作を選択し（例えば、ホログラフィックコンテンツを作成し）、環境は、それらの動作に応答して、エージェントに新しい状況を提示する。環境はまた、エージェントが時間の経過とともに最大化しようとする特別の数値的な価値である報酬を生じさせる。ある文脈では、報酬は、ホログラフィックコンテンツに対する視聴者の肯定的な反応を最大化するように機能する。環境の完全な仕様は、強化学習問題の１つの実例であるタスクを定義する。

【0161】

より多くの文脈を提供するために、エージェント（例えば、コンテンツ生成システム３５０）および環境は、離散時間ステップのシーケンスの各々、すなわち、ｔ＝０、１、２、３などにおいてインタラクションする。各時間ステップｔにおいて、エージェントは、環境の状態ｓ_ｔの何らかの表現（例えば、追跡システム５８０からの測定値）を受信する。状態ｓ_ｔはＳ内にあり、Ｓは、可能性がある状態のセットである。状態ｓ_ｔおよび時間ステップｔに基づいて、エージェントは、動作を選択する（例えば、パフォーマーに股割りをさせる）。動作ａ_ｔはＡ（ｓ_ｔ）内にあり、Ａ（ｓ_ｔ）は、可能性がある動作のセットである。１つの時間状態の後、部分的にはエージェントの動作の結果として、エージェントは、数値的な報酬ｒ_ｔ＋１を受信する。状態ｒ_ｔ＋１はＲ内にあり、Ｒは、可能性がある報酬のセットである。エージェントが報酬を受信すると、エージェントは、新しい状態ｓ_ｔ＋１を選択する。

【0162】

各タイムステップにおいて、エージェントは、状態から、各可能性がある動作を選択する確率へのマッピングを実装する。このマッピングはエージェントのポリシーと呼ばれ、π_ｔで表され、ここで、π_ｔ（ｓ，ａ）は、ｓ_ｔ＝ｓであればａ_ｔ＝ａとなる確率である。強化学習方法は、エージェントの動作から生じる状態および報酬の結果として、エージェントがポリシーをどのように変更するかを指示することができる。エージェントの目標は、時間の経過とともに、エージェントが受信する報酬の合計額を最大化することである。

【0163】

この強化学習フレームワークは柔軟性があり、多くの異なる方法で多くの異なる問題（例えば、ホログラフィックコンテンツの生成）に適用され得る。このフレームワークは、感覚、記憶、および制御装置の詳細が何であれ、目標指向の行動を学習するすべての問題（または目的）が、エージェントとその環境との間を行き来する３つの信号、すなわち、エージェントによって行われた選択（動作）を表す１つの信号、選択が行われた根拠（状態）を表す１つの信号、およびエージェントの目標（報酬）を定義する１つの信号にまとめられ得ることを提案する。

【0164】

当然のことながら、ＡＩモデルは、任意の数の機械学習アルゴリズムを含み得る。使用され得るいくつかの他のＡＩモデルは、線形および／またはロジスティック回帰、分類および回帰ツリー、ｋ平均法クラスタリング、ベクトル量子化などである。いずれの場合も、一般に、ＬＦ処理エンジン５３０が、追跡モジュール５２６および／または視聴者プロファイリングモジュール５２８から入力を取得し、機械学習モデルが、それに応じてホログラフィックコンテンツを作成する。同様に、ＡＩモデルは、ホログラフィックコンテンツのレンダリングを指向し得る。

【0165】

ＬＦ処理エンジン５３０は、映画に基づいてホログラフィックコンテンツを作成することができる。例えば、映画館で上映されている映画は、映画の特性を説明するメタデータのセットに関連付けられている場合がある。メタデータは、例えば、設定、ジャンル、俳優、女優、テーマ、タイトル、ランタイム、レーティングなどを含み得る。ＬＦ処理エンジン５３０は、映画を記述するメタデータのいずれかにアクセスし、それに応じて、会場内に提示するためのホログラフィックコンテンツを生成することができる。例えば、「Ｔｈｅ Ｌａｓｔ Ｍｅｒｍａｎ」というタイトルの映画は、ＬＦディスプレイシステム５００で拡張された会場で上映されようとしている。ＬＦ処理エンジン５３０は、映画のメタデータにアクセスして、会場の壁のホログラフィックコンテンツを作成する。ここで、メタデータは、設定が水中であり、ジャンルがロマンスであることを含む。ＬＦ処理エンジン５３０は、メタデータをＡＩモデルに入力し、それに応じて、会場の壁に表示するためのホログラフィックコンテンツを受信する。この例では、ＬＦ処理エンジン５３０は、会場の壁に表示するために海辺の夕日を作成する。

【0166】

一例では、ＬＦ処理エンジン５３０は、従来の二次元（２Ｄ）コンテンツを、ＬＦディスプレイシステムによる表示のためにホログラフィックコンテンツに変換することができる。例えば、ＬＦ処理エンジン５３０は、従来の映画やその他のコンテンツをＡＩモデルに入力することができ、ＡＩモデルは、従来の映画の任意の部分をホログラフィックコンテンツに変換する。一例では、ＡＩモデルは、二次元データをホログラフィックデータに変換することによって訓練された機械学習アルゴリズムを使用することによって、従来の映画をホログラフィックコンテンツに変換することができる。様々な状況で、トレーニングデータは以前に生成された、作成された、またはその２つの組み合わせたものであってもよい。次に、ＬＦディスプレイシステム５００は、映画の従来の二次元バージョンではなく、映画に関連するホログラフィックコンテンツを表示することができる。例えば、ホログラフィックコンテンツは、ある映画のシーンの設定を使用した成人向けシーンにすることができる。

【0167】

コンテンツを作成する前述の例は、限定的なものではない。最も広義には、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００の視聴者に提示するためのホログラフィックコンテンツを作成する。ホログラフィックコンテンツは、ＬＦディスプレイシステム５００に含まれる情報のいずれかに基づいて作成され得る。
ホログラフィック成人向けシミュレーション用コンテンツ配信ネットワーク

【0168】

図５Ｂは、１つ以上の実施形態による、成人向けシミュレーション用のライトフィールドディスプレイシステムを組み込んだライトフィールド環境のブロック図である。図５Ｂによって示される成人向けシミュレーション用コンテンツ配信システム５６０は、１つ以上のクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂ、ネットワーク５７５、１つ以上のサードパーティシステム５８５、ならびにオンラインシステム５９０を備える。代替的な構成では、異なるおよび／または追加の構成要素が、ＬＦ成人向けシミュレーション用コンテンツ配信システム５６０に含まれ得る。例えば、オンラインシステム５９０は、ソーシャルネットワーキングシステム、コンテンツ共有ネットワーク、または視聴者にコンテンツを提供する別のシステムを含み得る。

【0169】

クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、ホログラフィックコンテンツを表示し、入力を受信し、ネットワーク５７５を介してデータを送信および／または受信することができる。クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、ＬＦディスプレイシステム５００の実施形態である。そのため、各クライアントＬＦディスプレイシステムは、ネットワーク５７５およびＬＦディスプレイアセンブリ（例えば、ＬＦディスプレイアセンブリ５１０）を介してホログラフィックコンテンツを受信するように構成されたコントローラを含む。ＬＦディスプレイアセンブリは、１つ以上のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール５１２）を含み得、ホログラフィックコンテンツを、ホログラフィックオブジェクトボリューム内の成人向けシミュレーションとして、ビューイングボリュームに位置する視聴者に提示する。クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、ネットワーク５７５を介して通信するように構成される。いくつかの実施形態では、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、クライアントＬＦディスプレイシステムの視聴者がオンラインシステム５９０とインタラクトすることを可能にするアプリケーションを実行する。例えば、クライアントＬＦディスプレイシステム５００Ａは、ブラウザアプリケーションを実行して、ネットワーク５７５を介したクライアントＬＦディスプレイシステム５００Ａとオンラインシステム５９０との間のインタラクションを可能にする。他の実施形態では、クライアントＬＦディスプレイシステム５００Ａは、ＩＯＳ（登録商標）またはＡＮＤＲＯＩＤ（商標）などのクライアントＬＦディスプレイシステム５００Ａのネイティブオペレーティングシステム上で実行されるアプリケーションプログラミングインターフェース（ＡＰＩ）を介してオンラインシステム５９０とインタラクトする。効率的な転送速度のために、ＬＦディスプレイシステム５００Ａおよび５００Ｂのデータは、ベクトル化されたデータとしてネットワーク５７５を介して転送され得る。各クライアントＬＦディスプレイシステムのＬＦ処理エンジン（例えば、ＬＦ処理エンジン５３０）は、ベクトル化されたデータを復号し、対応するＬＦディスプレイアセンブリ（例えば、ＬＦディスプレイアセンブリ５１０）に表示するためにラスタライズされたフォーマットに変換し得る。

【0170】

クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、有線および／または無線通信システムの両方を使用して、ローカルエリアおよび／またはワイドエリアネットワークの任意の組み合わせを含み得るネットワーク５７５を介して通信するように構成される。いくつかの実施形態では、ネットワーク５７５は、標準的な通信技術および／またはプロトコルを使用する。例えば、ネットワーク５７５は、イーサネット、８０２．１１、マイクロ波アクセスの世界的な相互運用性（ＷｉＭＡＸ）、３Ｇ、４Ｇ、符号分割多元接続（ＣＤＭＡ）、デジタル加入者ライン（ＤＳＬ）などの技術を使用した通信リンクを含む。ネットワーク５７５を介した通信に使用されるネットワーキングプロトコルの例には、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、シンプルメール転送プロトコル（ＳＭＴＰ）、およびファイル転送プロトコル（ＦＴＰ）が含まれる。ネットワーク５７５を介して交換されるデータは、ハイパーテキストマークアップ言語（ＨＴＭＬ）または拡張可能マークアップ言語（ＸＭＬ）などの任意の好適なフォーマットを使用して表し得る。いくつかの実施形態では、ネットワーク５７５の通信リンクのすべてまたはいくつかは、任意の好適な技術または複数の技術を使用して暗号化され得る。

【0171】

１つ以上のサードパーティシステム５８５は、オンラインシステム５９０と通信するためにネットワーク５７５に結合され得る。いくつかの実施形態では、サードパーティシステム５８５は、ネットワーク５７５を介してクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂに配信されるホログラフィックコンテンツを通信する成人向けコンテンツシステム、例えばコンテンツプロバイダである。いくつかの実施形態では、サードパーティシステム５８５はまた、ホログラフィックコンテンツをオンラインシステム５９０に通信し得、このオンラインシステムは、その後、ホログラフィックコンテンツをクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂに配信し得る。各サードパーティシステム５８５は、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂに提示するために配信することができるホログラフィックコンテンツアイテムを記憶し得るコンテンツストア５８２を有する。サードパーティシステム５８５は、支払いと引き換えに、１つ以上のクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂにホログラフィックコンテンツを提供し得る。一実施形態では、ホログラフィックコンテンツアイテムは、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂに配信されるときに、オンラインシステム５９０により収集され得るコストに関連付けられ得る。

【0172】

オンラインシステム５９０は、支払いと引き換えに、ホログラフィックコンテンツをクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂに提供することによってホログラフィックコンテンツの配布を仲介し得る。ホログラフィックコンテンツは、ネットワーク５７５を介して提供される。オンラインシステム５９０は、視聴者プロファイルストア５９２、コンテンツストア５９４、トランザクションモジュール５９６、およびコンテンツ配信モジュール５９８を含む。他の実施形態では、オンラインシステム５９０は、様々なアプリケーションのための追加の、より少ない、または異なる構成要素を含み得る。システムアーキテクチャの詳細を曖昧にしないために、ネットワークインターフェース、セキュリティ機能、ロードバランサ、フェイルオーバーサーバ、管理およびネットワーク操作コンソールなどの従来の構成要素は示されていない。

【0173】

オンラインシステム５９０の視聴者は、視聴者プロファイルストア５９２に記憶されている視聴者プロファイルに関連付けられ得る。視聴者プロファイルは、視聴者によって明示的に共有された視聴者に関する宣言的情報を含み得、また、オンラインシステム５９０によって推論されたプロファイル情報を含み得る。いくつかの実施形態では、視聴者プロファイルは、それぞれが対応するオンラインシステム視聴者の１つ以上の属性を記述する複数のデータフィールドを含む。視聴者プロファイルに保存される情報の例には、経歴、人口統計、およびその他の種類の説明情報（職歴、学歴、性別、趣味または好み、場所など）が含まれる。視聴者プロファイルはまた、視聴者によって提供される他の情報、例えば、画像またはビデオを記憶し得る。特定の実施形態では、視聴者の画像は、画像に表示されたオンラインシステムの視聴者を識別する情報でタグ付けされ得、視聴者がタグ付けされた画像を識別する情報は、視聴者の視聴者プロファイルに記憶される。視聴者プロファイルストア５９２内の視聴者プロファイルはまた、追跡システム（例えば、追跡システム５８０）でキャプチャされ、追跡モジュール（例えば、追跡モジュール５２６）によって決定された、視聴者の監視された応答または視聴者の特徴を含む、コンテンツストア５９４内のコンテンツアイテムに対して実行される対応する視聴者によるアクションへの参照を維持し得る。視聴者の監視された応答は、ビューイングボリューム内の視聴者の位置、視聴者の動き、視聴者のジェスチャ、視聴者の顔の表情、および視聴者の視線を含み得る。ＬＦディスプレイアセンブリは、視聴者の監視された応答に応じて、ホログラフィックコンテンツの提示を更新し得る。視聴者の特徴には、視聴者の人口統計情報、職歴、学歴、性別、収入、購入に費やしたお金、趣味、場所、年齢、視聴履歴、アイテムに費やした時間、以前に視聴したアイテムのカテゴリ、および購入履歴、を含み得る。ＬＦディスプレイアセンブリは、視聴者の特徴に応じてホログラフィックコンテンツの表示を更新し得る。いくつかの実施形態では、視聴者プロファイルストア５９２は、オンラインシステムによって推測される視聴者の特徴および視聴者情報を記憶し得る。いくつかの実施形態では、視聴者プロファイルは、１つ以上のクライアントＬＦディスプレイシステムによって提供される情報を記憶し得、これは、提供される情報および／または視聴者プロファイリングモジュール（例えば、視聴者プロファイリングモジュール５２８）から記録または推論される情報を含み得る。

【0174】

視聴者プロファイルストア５９２内の視聴者プロファイルは、しばしば個人に関連付けられ、個人がオンラインシステム５９０を介して互いにインタラクトすることを可能にするが、視聴者プロファイルはまた、企業または組織などのエンティティのために記憶され得る。これにより、エンティティは、他のオンラインシステムの視聴者とコンテンツを接続および交換するために、オンラインシステム５９０上にプレゼンスを確立することができる。エンティティは、エンティティの視聴者プロファイルに関連付けられたブランドページを使用して、自身、その製品に関する情報を投稿し得、またはオンラインシステム５９０の視聴者に他の情報を提供し得る。ブランドページに関連付けられた視聴者プロファイルには、エンティティ自体に関する情報が含まれている場合があり、視聴者にエンティティに関する背景データまたは情報データを提供する。一実施形態では、オンラインシステム５９０の他の視聴者は、ブランドページとインタラクトであり得る（例えば、ブランドページに接続して、ブランドページに投稿された情報を受信するか、またはブランドページから情報を受信する）。視聴者プロファイルストア５９２内の視聴者プロファイルは、対応する視聴者によって実行されるインタラクションへの参照を維持し得る。上記のように、視聴者プロファイル（例えば、視聴者プロファイリングモジュール５２８）に記憶された任意の情報を、機械学習またはＡＩモデルを用いた入力として使用して、視聴者に表示するホログラフィックコンテンツを作成することができる。

【0175】

コンテンツストア５９４は、１つ以上のクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂの視聴者に配信されるホログラフィックコンテンツなどのホログラフィックコンテンツを記憶する。ホログラフィック成人向けコンテンツ以外のホログラフィックコンテンツの例としては、広告（例えば、今後のセールの宣伝、ブランドの宣伝など）、発表（例えば、政治的スピーチ、激励のスピーチなど）、公共サービスのアラート（例えば、例：トルネードアラート、誘拐事件のアラートなど）、ニュースに関する情報（例えば、ニュースの見出し、スポーツのスコアなど）、天気に関する情報（例えば、地域の天気予報、大気質指標など）、会場に関する情報（例えば、チケット売り場の営業時間、今後のショーのスケジュールなど）、交通状況や交通量状況に関する情報（例えば、交通情報、通行止めなど）、企業体に関する情報（例えば、オフィスディレクトリ、営業時間など）、パフォーマンス（例えば、コンサート、演劇など）、芸術的コンテンツ（例えば、彫刻、陶器など）、その他のホログラフィックコンテンツ、またはそれらの任意の組み合わせに及ぶ可能性がある。いくつかの実施形態では、オンラインシステムの視聴者は、コンテンツストア５９４によって記憶されるホログラフィックコンテンツを作成し得る。他の実施形態では、ホログラフィックコンテンツは、オンラインシステム５９０とは別のサードパーティシステム５８５から受信される。コンテンツストア５９４内のオブジェクトは、単一のコンテンツ、またはコンテンツの「アイテム」を表し得る。

【0176】

トランザクションモジュール５９６は、支払いと引き換えに、１つ以上のクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂにホログラフィックコンテンツを提供する。一実施形態では、トランザクションモジュール５９６は、コンテンツストア５９４に記憶されたホログラフィックコンテンツが、ネットワーク５７５を介してクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂに配信されるトランザクションを管理する。一実施形態では、クライアントＬＦディスプレイシステム５００Ａおよび／または５００Ｂ、またはクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂのネットワーク化されたエンティティ所有者は、特定のホログラフィックコンテンツアイテムの支払いを提供し得、トランザクションは、トランザクションモジュール５９６によって管理し得る。あるいは、サードパーティシステム５８５は、トランザクションモジュール５９６に提供される取引手数料と引き換えに、コンテンツストア５８２からＬＦディスプレイシステム５００Ａおよび／または５００Ｂにコンテンツを提供し得る。他の実施形態では、オンラインシステム５９０は、特定のエンティティのアカウントに課金するトランザクションモジュール５９６の有無にかかわらず、コンテンツをクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂに直接配布することができる。いくつかの実施形態では、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、１人以上の視聴者プロファイルに関連付けられ、対応する視聴者のアカウントは、トランザクションモジュール５９６によるホログラフィックコンテンツアイテムの提示のコストを請求される。いくつかの実施形態では、ホログラフィックコンテンツアイテムは、購入して無期限に使用し得るか、または一定期間レンタルし得る。次に、トランザクションモジュール５９６によって全体的または部分的に収集された報酬は、ホログラフィックコンテンツアイテムのプロバイダに提供され得る。例えば、コンテンツストア５８２から成人向けホログラフィックコンテンツアイテムを提供したサードパーティシステム５８５は、成人向けホログラフィックコンテンツアイテムの購入について、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂから収集された報酬の一部を受け取り得る。

【0177】

コンテンツ配信モジュール５９８は、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂにホログラフィックコンテンツアイテムを提供する。コンテンツ配信モジュール５９８は、クライアントＬＦディスプレイシステム５００Ａおよび／または５００Ｂに提示されるホログラフィックコンテンツアイテムを伴う要求をトランザクションモジュール５９６から受信し得る。コンテンツ配信モジュール５９８は、ホログラフィックコンテンツアイテムをコンテンツストア５９４から検索し、ホログラフィックコンテンツアイテムを、視聴者に表示するためにクライアントＬＦディスプレイシステム５００Ａおよび／または５００Ｂに提供する。

【0178】

いくつかの実施形態では、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、入力が受信されるかどうかに部分的に依存して、ホログラフィックコンテンツの提示のインスタンスを記録し得る。一実施形態では、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、ホログラフィックコンテンツの提示に応答して入力を受信するように構成され得る。いくつかの実施形態では、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、視聴者がホログラフィックコンテンツの提示中に提供されるプロンプトへの応答を提供する場合、ホログラフィックコンテンツの提示のインスタンスを確認し得る。例えば、クライアントＬＦディスプレイシステム５００Ａは、ホログラフィックコンテンツの提示を確認するためにクライアントＬＦディスプレイシステム５００Ａによって使用される、視聴者からの音声入力（例えば、プロンプトが出された後）を受け取る。クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、受信した入力と他のメトリック（例えば、追跡システム５８０によって取得された情報）との組み合わせを使用して、ホログラフィックコンテンツの提示のインスタンスを確認し得る。他の実施形態では、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、受信した入力に応答してホログラフィックコンテンツの提示を更新するように構成され得る。

【0179】

いくつかの構成では、成人向けコンテンツ配信システム５６０内のクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂは、異なるハードウェア構成を有し得る。ホログラフィックコンテンツは、クライアントＬＦディスプレイシステム５００Ａおよび５００Ｂのハードウェア構成に基づいて提示され得る。ハードウェア構成は、解像度、度当たりの投影光線の数、視野、表示面上の偏向角、および表示面の次元を含み得る。各ハードウェア構成は、異なるデータフォーマットで感覚データを生成または利用し得る。前に考察したように、すべての感覚データ（例えば、ホログラフィック、オーディオ、および触覚データ）を含むホログラフィックコンテンツは、符号化されベクトル化されたフォーマットとしてクライアントＬＦディスプレイシステム５００Ａおよび５００Ｂに転送され得る。そのため、各クライアントＬＦディスプレイシステムのＬＦ処理エンジン（例えば、ＬＦ処理エンジン５３０）は、クライアントＬＦディスプレイシステム５００Ａまたは５００Ｂの対応するハードウェア構成を考慮に入れて、それが提示されるＬＦディスプレイシステムの符号化データを復号し得る。例えば、第１のクライアントＬＦディスプレイシステム５００Ａは、第１のハードウェア構成を有し得、第２のクライアントＬＦディスプレイシステム５００Ｂは、第２のハードウェア構成を有し得る。第１のクライアントＬＦディスプレイシステム５００Ａは、第２のクライアントＬＦディスプレイシステムと同じホログラフィックコンテンツを受信し得る。第１および第２のハードウェア構成の違いにもかかわらず、各ＬＦディスプレイシステム５００Ａおよび５００ＢのＬＦ処理エンジンは、ホログラフィックコンテンツを、おそらくは異なる解像度、異なる視野などで提示しなければならない。
成人向け娯楽用ライトフィールドディスプレイシステム

【0180】

図６は、１つ以上の実施形態による、成人向け娯楽会場６００内の多面シームレス表面を形成するためにタイル張りされたＬＦディスプレイシステム５００の一部の斜視図である。ＬＦディスプレイシステム５００は、ＬＦディスプレイモジュール６１０のアレイを形成するようにタイル張りされた複数のＬＦディスプレイモジュール６１０を含む。アレイは、例えば、部屋の表面（例えば、１つ以上の壁、床、および／または天井）の一部またはすべてを覆うことができる。この例では、視聴者６２０は、ホログラフィックパフォーマー６３０の形態でホログラフィックコンテンツを視聴している。この例では、コンピュータ画面上または仮想現実（ＶＲ）ヘッドセットを通してポルノを見る代わりに、視聴者６２０は、ＬＦディスプレイモジュール６１０のアレイによって表示されているホログラフィックパフォーマー６３０のいる部屋に立っている。

【0181】

上記のように、ＬＦディスプレイシステム５００は、成人向け娯楽会場６００内で視聴者がホログラフィックコンテンツとインタラクトするときの各視聴者の動きを記録する、追跡システム５８０からの追跡情報を使用する人工知能（ＡＩ）および機械学習（ＭＬ）モデルを使用して視聴者の体験をカスタマイズし得る。これには、各種センサを介して追跡されている視聴者の行動（ボディランゲージ、顔の表情、声のトーンなど）が含まれる。一般に、追跡システムによって取得される視聴者に関する情報には、ホログラフィックコンテンツに対する視聴者の応答、およびホログラフィックコンテンツを視聴する視聴者の特徴が含まれる。視聴者の応答には、視聴者の位置、視聴者の動き、視聴者のジェスチャ、または視聴者の顔の表情が含まれ得る。視聴者の特徴には、視聴者の年齢、視聴者の性別、視聴者の好みなどが含まれる。別の実施形態では、上記のように、画像感知素子は表示面とは別個の専用センサ（例えば、カメラおよび／またはマイクロフォン）であり得るが、追跡システム５８０の画像感知素子は、エネルギーを放出および吸収する双方向エネルギー素子を介して、ＬＦ表示モジュール６１０の表示面に統合することができる。そのような実施形態では、画像データは、環境全体に配置されたいくつかの２Ｄカメラと比較して、潜在的により多くの角度からキャプチャすることができる。いくつかの実施形態では、ライトフィールド画像データがＬＦディスプレイモジュールによって記録される。ＬＦディスプレイモジュール６１０の表示面によってキャプチャされた画像またはライトフィールドデータは、成人向け娯楽環境内で物体および他の視聴者によって遮られない、潜在的にすべての角度からのものであり得る。したがって、結果は、成人向け娯楽会場６００内で観察された行動に基づいて視聴者を引き付けるカスタマイズされたＡＩ（例えば、ホログラフィックパフォーマー６３０）である。したがって、視聴者がヘッドセットを介して表示される仮想シーンの視聴に制限される仮想現実（ＶＲ）環境とは異なり、ＬＦディスプレイシステム５００は、ホログラフィックパフォーマーなど、実際のオブジェクトを使用したより没入型のセンサシステムを介した、ボディランゲージや声のトーンなどの、視聴者６２０によって行われるはるかに小さな手がかりおよび動きを追跡し、これに応答することができる。さらに、視聴者６２０は、ＶＲシステムで一般的である専門のメガネ、メガネ、またはヘッドマウントアクセサリに関連する重量または不快感に気を取られない。

【0182】

したがって、ＬＦ処理エンジン５３０は、一実施形態では、ホログラフィックパフォーマー６３０を生成し、追跡システム５８０は、視聴者６２０とホログラフィックパフォーマー６３０との間のインタラクションのための画像データを取得する。これらのインタラクションは、双方間の会話などの明白なインタラクションである場合もあれば、ホログラフィックパフォーマー６３０からの動きまたはコメントに応答する視聴者のボディランゲージなどのより小さなインタラクションである場合もある。ＬＦ処理エンジン５３０はまた、ＡＩおよび／またはＭＬモデルを使用するインタラクションに応答して実行するホログラフィックパフォーマー６３０のための応答を生成する。

【0183】

別の実施形態では、ホログラフィックパフォーマー６３０は、離れた場所からカップルのセッションに参加している重要な別の視聴者６２０など、別の人のホログラフィック表現であり得る。例えば、図６のホログラフィックパフォーマー６３０は、図６は、視聴者６２０がいる成人向け娯楽会場６００から離れた場所にある第２の視聴者のライブホログラフィック表現であり得る。この実施形態では、コントローラ５２０は、第２の視聴者がいる場所で、システムの１つ以上の画像キャプチャ素子によってキャプチャされた第２の視聴者の画像データを受信する。したがって、ＬＦ処理エンジン５３０は、この画像データを取得し、視聴者６０２に提示するために、成人向け娯楽会場６００内の第２の視聴者のライブホログラフィック表現を生成する。この例では、視聴者６２０のライブホログラフィック表現が生成され、第２の視聴者の位置で第２の視聴者に同時に提示するために提供され得る。この実施形態では、セッションは必ずしもポルノである必要はなく、むしろ、カップルは一緒にゲームをするか、または座って、物理的に異なる場所から一緒に食事をすることができる。したがって、視聴者６２０と第２の視聴者は、物理的に互いに数百マイルも離れた場所にいる可能性があるが、あたかも一緒の部屋にいるかのように会話したり、一緒に夕食をとったりなどすることができる。あるいは、図６に表されるシーンは、スピードデートまたは仮想デートのコンテキストでさらに使用できる。図６は、部屋の複数の表面（壁、天井、床）がＬＦディスプレイモジュール６１０で覆われている会場６００を示しており、より少ない表面または表面の一部だけがＬＦディスプレイモジュール６１０で覆われる実装を有することが可能である。

【0184】

娯楽会場６００のＬＦディスプレイシステムは、前述のように、視聴者プロファイリングモジュール５２８を含み得る。まとめると、前述のように、視聴者プロファイリングシステムは、ホログラフィックコンテンツに対する視聴者の応答、またはホログラフィックコンテンツを視聴する視聴者の特徴を識別し、識別された応答または特徴を視聴者プロファイルに含めるように構成されている。この特徴は、視聴者の位置、視聴者の動き、視聴者のジェスチャ、視聴者の好み、ユーザの顔の表情、ユーザの性別、ユーザの年齢、およびユーザの衣服のいずれかを含む。一実施形態では、視聴者プロファイル内の視聴者に関する情報は、ＡＩモデルへの入力として使用され、ホログラフィックコンテンツは、部分的にこのＡＩモデルに基づいて生成される。一例として、娯楽会場６００において、視聴者が識別されると、ホログラフィックパフォーマー５３０は、視聴者５２０の喜びを最大化するように話し、身体体の動きを実行し、または行動することができる。

【0185】

娯楽会場（例えば、娯楽会場６００）内のＬＦディスプレイシステムは、ホログラフィックコンテンツとしての第２のエネルギーが提示されるときに、感覚フィードバックを提供するように構成されている少なくとも１つの感覚フィードバックデバイスを備える感覚フィードバックシステムをさらに備え得る。例えば、処理エンジンは、触覚刺激、音響刺激、温度刺激、嗅覚刺激、圧力刺激、力刺激、またはそれらの任意の組み合わせを含む感覚コンテンツで生成されたホログラフィックコンテンツを拡張するように構成され得る。前に説明した例を使用すると、ＬＦ表示面は、ホログラフィックコンテンツ（可視電磁エネルギー）と音波の形の機械的エネルギーを同時に投影する二重エネルギー面である可能性がある。一実施形態では、音波は、表示面に取り付けられ、体積触覚表面が作成されるように駆動され得る透明な超音波トランスデューサから生成される。結果として生じる触覚表面は、１つ以上のホログラフィックオブジェクトと一致するか、またはホログラフィックパフォーマーなどのホログラフィックオブジェクトの近くに投影され得る。２つの感覚領域での投影は、特にホログラフィックコンテンツに対する視聴者の追跡された動きまたは監視された応答に応じて体積触覚表面が変更された場合、視聴者にとってより没入感のある体験をもたらす可能性がある。視聴者の追跡された動きまたは監視された応答は、ＡＩモデルへの入力であり得る。ここで、体積触覚表面は、ホログラフィックパフォーマー６３０の視聴者６２０への魅力を最大化するために、ＡＩモデルに部分的に基づいて投影される。触覚表面は、ＬＦ処理エンジン５３０によって変更されて、ユーザのタッチに応じて生成された体積触覚表面の抵抗の変化、生成された体積触覚表面のテクスチャの選択、またはコントローラ５２０で受け取られたパラメータの値に基づく生成された触覚表面の触覚強度の調整を含むことができる。一例として、ホログラフィックパフォーマー６３０は、身体部分を視聴者６２０に近づけることができ、触覚表面を生成して、おそらく視聴者プロファイリングモジュール５２８に格納された情報に合わせて、パフォーマーからの対応する触覚をシミュレートすることができる。さらなる例として、ホログラフィックパフォーマー６３０は、その身体の一部を動かすことができ、体積触覚表面は、視聴者６２０を興奮させる方法（例えば、振動の感覚を提供することによる）で、この急速な動きに従うか、またはこの動きの変化を適用するように（例えば、ホログラフィックコンテンツよりも速く動く）調整され得る。視聴者の追跡された応答（つまり、身体の動き、顔の表情）、および視聴者プロファイル内の情報は、ＡＩモデルによって使用され、ホログラフィックコンテンツおよび付随する感覚刺激を調整して、視聴者の喜びを最大化することができる。

【0186】

図７Ａは、１つ以上の実施形態による、ホログラフィックコンテンツと協調して動作する感覚シミュレーションデバイス７００を含む、ホログラフィックコンテンツを視聴者６２０に提示するＬＦディスプレイシステム５００の実施形態である会場７５０の第１の図である。図７Ａはさらに、ホログラフィックコンテンツと併せて視聴者６２０によって使用され得る感覚シミュレーションデバイス７００を備えた会場７５０内の視聴者６２０を示す（例えば、ホログラフィックパフォーマーがより速く動くと、感覚シミュレーションデバイス７００によって提供される刺激がより強くなるなど）。一実施形態では、感覚シミュレーションデバイス７００は、人間の性的快楽を促進するために使用できるパーソナルマッサージャー、人形、挿入デバイス、突出デバイス、アニマトロニクスオブジェクト、ロボット人形、または任意の他のオブジェクトであり得る。感覚シミュレーションデバイス７００は、ＬＦディスプレイシステム５００から独立して操作することができるが、いくつかの実施形態では、感覚シミュレーションデバイス７００はまた、ＬＦ処理エンジン５３０によって提示されるホログラフィックコンテンツと協調して動作することができる。一実施形態では、感覚シミュレーションデバイス７００は、ＬＦ処理エンジン５３０によって実行されるアプリケーションに従って動作するように、ＬＦ処理エンジン５３０から動作命令を受け取ることができる。別の実施形態では、１つ以上のＬＦディスプレイモジュールを、感覚シミュレーションデバイス７００にまたはその上に組み込んで、感覚デバイスの外観を拡張することができる。別の実施形態では、ＬＦディスプレイシステム５００は、図７Ｂに示されるように、ホログラフィックコンテンツを感覚シミュレーションデバイス７００上に提示させて、その外観を拡張するか、または隠すことさえできる。

【0187】

図７Ｂは、１つ以上の実施形態による、図７Ａに関して上記のＬＦディスプレイシステムを備えた会場７５０を示しており、感覚シミュレーションデバイス７００がホログラフィックコンテンツで拡張されている。この実施形態では、感覚シミュレーションデバイス７００を拡張するホログラフィックコンテンツは、図６に関して上で論じたホログラフィックパフォーマー６３０であり、一実施形態では、感覚シミュレーションデバイス７００を隠し、感覚シミュレーションデバイス７００ではなくホログラフィックパフォーマー６３０が視聴者６２０に身体的刺激を提供しているという錯覚を作り出す。ＬＦディスプレイシステム５００は、感覚シミュレーションデバイス７００の位置を把握している。一実施形態では、追跡システム５８０は、会場６００内の感覚シミュレーションデバイス７００の位置（例えば、デバイス７００の位置座標）を識別し、デバイス７００の位置をＬＦ処理エンジン５３０に提供する。いくつかの実施形態では、ＬＦ処理エンジン５３０は、追跡モジュールを使用して、環境内のユーザの場所を識別する。視聴者は、ホログラフィックパフォーマー６３０がそのホログラフの身体を動かすように案内するための指示を発行することができ、これには、ホログラフィックパフォーマーが身体の場所を動かす、身体の位置を動かす、または特定の反復的な身体の動きを達成することが含まれる。この指示は、感覚フィードバックシステム５７０によって記録された指示（例えば、口頭の指示）、または追跡システム５８０によって記録され、追跡モジュール５２６によって解釈された、認識された身体の動き、ジェスチャ、身体の位置などを含む指示のいずれかを含み得る。いくつかの実施形態では、視聴者６２０の場所、デバイス７００の位置、またはホログラフィックパフォーマーの身体を動かすための視聴者からの指示、またはこれらの任意の組み合わせに基づいて、ＬＦ処理エンジン５３０は、ホログラフィックパフォーマー６３０に対する、視聴者６２０に喜びを与えることができる方法で提示されるためのレンダリング指示を生成する。ＬＦ処理エンジン５３０はまた、視聴者６２０に喜びを与える方法で、感覚シミュレーションデバイス７００のための制御命令を生成することができる。他の実施形態では、ＡＩモデルをＬＦ処理エンジン５３０内で使用して、感覚フィードバックシステム５７０によって記録された刺激（例えば、音声情報）、または追跡システム５８０によって記録される、さらに／もしくは追跡モジュール５２６によって解釈される、身体の動き、ジェスチャ、身体の位置などのいずれかを入力として使用して、視聴者６３０の喜びを最大化するようにホログラフィックコンテンツをレンダリングすることができる。

【0188】

さらに、ホログラフィックパフォーマー６３０が、遠隔地からカップルのセッションに参加している別の人（例えば、重要な別の、ライブチャットパートナーなど）のホログラフィック表現である実施形態では、リモート視聴者（例えば、重要な別の、ライブチャットパートナーなど）は、感覚シミュレーションデバイス７００を介して視聴者６３０に与えられる刺激の強度を遠隔制御することができる場合がある。別の実施形態では、ＬＦ処理エンジン５３０は、感覚シミュレーションデバイス７００によって視聴者６３０に提供される刺激の強度を、リモート視聴者の移動速度または強度、および／または他のコンテキスト上の特徴（例えば、可聴音、ノイズボリューム、顔の表情など）に基づいて（例えば、これに比例してなど）変化させることができる。

【0189】

図８は、ＬＦネットワーク（例えば、ＬＦネットワーク５５０）のコンテキストで、視聴者６００に成人向けホログラフィックコンテンツを表示するための方法８００のフロー図である。方法８００は、追加またはより少ないステップを含み得、それらステップは、異なる順序で起こり得る。さらに、様々なステップ、またはステップの組み合わせは、方法の実行中に何度でも繰り返すことができる。

【0190】

初めに、ＬＦディスプレイシステム５００を含む会場６００は、会場６００内のＬＦディスプレイシステム５００によって提示されるホログラフィックコンテンツに対する視聴者６２０の好みを取得する（８１０）。これは、ＬＦディスプレイシステム５００が、視聴者プロファイリングシステム５９０に格納された視聴者６２０の情報を取得すること、またはシステム５００が、例えば、パフォーマーまたはモデルのカタログまたは他のリストから１つ以上のホログラフィックパフォーマー６３０の視聴者の選択を受信することを含み得る。ホログラフィックパフォーマー６３０は、ネットワークシステム５５２を介して自分自身のライブホログラフィックコンテンツをＬＦディスプレイシステム５００にストリーミングするライブモデル、実在の人物（例えば、モデル、女優、俳優など）の記録されたＡＩ表現、またはコンピュータで生成されたモデル（例えば、アニメ漫画など）であり得る。

【0191】

視聴者の好みに応じて、ＬＦディスプレイシステム５００は、会場６００内のホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを視聴者に提示する（８２０）。上記のように、一実施形態では、ホログラフィックディスプレイは、会場６００内に１つ以上の表面を形成する複数のＬＦディスプレイモジュール６１０であり、タイル張りされて、単一のＬＦディスプレイモジュール６１０の表示領域よりも全体として大きい有効表示領域を有するシームレスな表示面を形成する。したがって、ホログラフィックパフォーマー６３０は、視聴者６２０が帽子やデバイスを装着する必要なしに、視聴者６００が部屋の中に立っていて、視聴者と話している実際の人物であるかのように見ることができる、会場６００のホログラフィックオブジェクトボリューム内のある場所に提示されるホログラムである。

【0192】

ＬＦディスプレイシステム５００の追跡システム５８０または感覚フィードバックシステム５７０は、ホログラフィックコンテンツを視聴する視聴者６２０についての感覚情報を取得する（８３０）。これは、視聴者６２０の１つ以上のコンテキスト上の特徴を識別しながら、ホログラフィックパフォーマー６３０との視聴者のインタラクションを含む。これらのコンテキスト上の視聴者の特徴には、視聴者のボディランゲージのＭＬ分類されたインスタンスが含まれ、これは、視聴者６２０の分類された表情、発声分析（例えば、視聴者の発現内容だけでなく、どのように発現するか、トーンなど）、ホログラフィックパフォーマーに対する視聴者の動き、ユーザによって明示的に述べることができる他の一般的なフィードバック（例えば、ホログラフィックパフォーマー６３０がアクションを実行するためのユーザコマンドなど）などを含む、喜び、興奮、失望、退屈などを示し得る。

【0193】

したがって、ＬＦディスプレイシステム５００は、追跡システム５８０から得られた感覚情報に応答して、ホログラフィックパフォーマー６３０の行動などのホログラフィックコンテンツの提示を調整する（６４０）。これは、視聴者６２０からの要求（例えば、照明を暗くする、風景を変える、飲み物などを注文するなど）に応じてアクションを実行するホログラフィックパフォーマー６３０への視聴者６２０からのコメントに応じたホログラフィックパフォーマー６３０からの笑顔や笑い声のように小さなものであり得る。上記のように、ホログラフィックパフォーマー６３０によって実行される応答は、視聴者６２０からのインタラクションに基づくＡＩモデルを使用して生成することができる。したがって、ホログラフィックパフォーマー６３０は、視聴者６２０が帽子やデバイスを装着する必要なしに、視聴者６００が部屋の中に立っていて、視聴者と話している実際の人物であるかのように見ることができる、会場６００のホログラフィックオブジェクトボリューム内のある場所に提示されるホログラムである。ＡＩモデルは、視聴者６２０が、あたかも一緒に部屋の中で立っている実在の人物であるかのように、ホログラフィックパフォーマー６３０とシームレスに会話することを可能にし得る。
追加の構成情報

【0194】

本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。

【0195】

本明細書のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現の観点から、本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の当業者によって、自らの作業の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的、計算的、または論理的に説明される一方、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、これらの操作の配置を、一般性を損なうことなく、モジュールと呼ぶことが場合によっては好都合であることも判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具現化され得る。

【0196】

本明細書に記載の工程、操作、またはプロセスのうちのいずれかが、１つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独で、または他のデバイスと組み合わせて、実行または実装され得る。一実施形態では、ソフトウェアモジュールは、説明された工程、操作、またはプロセスのうちのいずれかまたはすべてを実行するために、コンピュータプロセッサによって実行され得るコンピュータ・プログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。

【0197】

本開示の実施形態はまた、本明細書の操作を実行するための装置に関し得る。この装置は、要求された目的のために特別に構築され得、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。

【0198】

本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生み出される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品もしくは他のデータの組み合わせの任意の実施形態を含み得る。

【0199】

最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】

【図6】

【図7A7B】

【図8】