知財求人 - 知財ポータルサイト「IP Force」
▶ ライト フィールド ラボ、インコーポレイテッドの特許一覧
特表2022-533582公演イベントのためのライトフィールドディスプレイシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-07-25
(54)【発明の名称】公演イベントのためのライトフィールドディスプレイシステム
(51)【国際特許分類】
H04N 21/44 20110101AFI20220715BHJP
G03H 1/08 20060101ALI20220715BHJP
G02B 30/33 20200101ALI20220715BHJP
G03H 1/22 20060101ALI20220715BHJP
A63J 5/02 20060101ALI20220715BHJP
【ＦＩ】
H04N21/44
G03H1/08
G02B30/33
G03H1/22
A63J5/02
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021567786
(86)(22)【出願日】2020-04-30
(85)【翻訳文提出日】2021-11-17
(86)【国際出願番号】 US2020030761
(87)【国際公開番号】W WO2020231640
(87)【国際公開日】2020-11-19
(31)【優先権主張番号】16/411,004
(32)【優先日】2019-05-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519006883
【氏名又は名称】ライト フィールド ラボ、インコーポレイテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】カラフィン、ジョナサン、ショーン
(72)【発明者】
【氏名】ベヴェンシー、ブレンダン、エルウッド
(72)【発明者】
【氏名】ドーム、ジョン
【テーマコード（参考）】
2H199
2K008
5C164
【Ｆターム（参考）】
2H199BA20
2H199BB02
2H199BB23
2H199BB59
2K008CC03
2K008FF27
2K008HH26
5C164FA14
5C164UA31S
5C164UB01P
5C164UB81S
(57)【要約】
会場の視聴者にホログラフィック公演コンテンツ（ライブ公演など）を表示するためのライトフィールド（ＬＦ）ディスプレイシステム。会場のＬＦディスプレイシステムは、ＬＦモジュールのアレイを形成するために、一緒にタイル張りされたＬＦディスプレイモジュールを含む。ＬＦモジュールのアレイは、会場で公演コンテンツを表示するための公演ボリューム（ステージなど）を作成する。ＬＦモジュールのアレイは、公演コンテンツを視聴ボリュームで視聴者に表示する。ＬＦディスプレイシステムは、ＬＦプレゼンテーションネットワークに含めることができる。ＬＦプレゼンテーションネットワークを使用すると、ホログラフィック公演コンテンツを１つの場所で記録することが可能となり、別の場所で（同時にまたは非同時に）表示するのが可能となる。ＬＦプレゼンテーションネットワークは、ホログラフィック公演コンテンツのデジタル権利を管理するためのネットワークシステムを含む。
【選択図】図６
【選択図】図６
【特許請求の範囲】
【請求項1】
ライトフィールド（ＬＦ）ディスプレイシステムであって、符号化されたホログラフィックコンテンツをネットワークを介して受信するように構成されたネットワークインターフェースと、
前記符号化されたホログラフィックコンテンツをＬＦディスプレイアセンブリによって提示可能なフォーマットに復号化するように構成されたデコーダと、
復号化されたホログラフィックコンテンツを会場の観客に提示するように構成されたライトフィールドディスプレイアセンブリと、を備える、ＬＦディスプレイシステム。
【請求項2】
エンコーダが、前記符号化されたホログラフィックコンテンツをほぼリアルタイムで復号化する、請求項１に記載のＬＦディスプレイシステム。
【請求項3】
前記ホログラフィックコンテンツが、イベントのライブストリームであり、前記ホログラフィックコンテンツが、ほぼリアルタイムで提示される、請求項１に記載のＬＦディスプレイシステム。
【請求項4】
前記符号化されたホログラフィックコンテンツが、第１のフォーマットのものであり、前記復号化されたホログラフィックコンテンツが、第２のフォーマットのものである、請求項１に記載のＬＦディスプレイシステム。
【請求項5】
前記第１のフォーマットが、ベクトル化されたデータフォーマットであり、前記第２のフォーマットが、ラスタライズされたデータフォーマットである、請求項４に記載のＬＦディスプレイシステム。
【請求項6】
前記デコーダが、前記符号化されたストリーミングホログラフィックコンテンツを復号化するために独自のコーデックを使用する、請求項１に記載のＬＦディスプレイシステム。
【請求項7】
前記ホログラフィックコンテンツが、独自のコーデックによって復号化可能なフォーマットで符号化されている、請求項１に記載のＬＦディスプレイシステム。
【請求項8】
前記ＬＦディスプレイシステムのハードウェア構成を決定するように構成されたＬＦ処理エンジンをさらに備え、前記デコーダが、前記ＬＦディスプレイシステムの前記決定されたハードウェア構成に基づいて、前記符号化されたホログラフィックコンテンツを復号化する、請求項１に記載のＬＦディスプレイシステム。
【請求項9】
前記ハードウェア構成が、解像度と、
度当たりの投影光線の数と、
視野と、
表示面の偏向角と、
表示面の次元と、のうちのいずれかを含む、請求項７に記載のＬＦディスプレイシステム。
【請求項10】
前記ＬＦディスプレイシステムの幾何学的配向を決定するように構成されたＬＦ処理エンジンをさらに備え、前記デコーダが、前記ＬＦディスプレイシステムの前記決定された幾何学的配向に基づいて、前記符号化されたホログラフィックコンテンツを復号化する、請求項１に記載のＬＦディスプレイシステム。
【請求項11】
前記幾何学的配向が、前記ＬＦディスプレイアセンブリのディスプレイパネルの数と、
前記ディスプレイパネルの相対的な配向と、
前記ディスプレイパネルの高さと、
前記ディスプレイパネルの幅と、
前記ディスプレイパネルのレイアウトと、のうちのいずれかを含む、請求項１０に記載のＬＦディスプレイシステム。
【請求項12】
前記会場の構成を決定するように構成されたＬＦ処理エンジンをさらに備え、前記デコーダが、前記会場の前記決定された構成に基づいて、前記符号化されたホログラフィックコンテンツを復号化する、請求項１に記載のＬＦディスプレイシステム。
【請求項13】
前記会場の前記構成が、１つ以上のホログラフィックオブジェクトボリュームと、
１つ以上の視聴ボリュームと、
前記ＬＦディスプレイアセンブリに対する前記観客の場所と、のうちのいずれかを含む、請求項１２に記載のＬＦディスプレイシステム。
【請求項14】
前記受信された符号化されたホログラフィックコンテンツのデジタル権利を管理するように構成されたデジタル権利管理システムであって、前記デジタル権利管理システムがデジタル鍵を提供する復号化されたホログラフィックコンテンツを前記ＬＦディスプレイアセンブリが投影することを可能にする、デジタル権利管理システムをさらに備える、請求項１に記載のＬＦディスプレイシステム。
【請求項15】
前記ホログラフィックコンテンツが、暗号化され、前記ＬＦディスプレイシステムが、前記ホログラフィックコンテンツを解読するように構成されている、請求項１に記載のＬＦディスプレイシステム。
【請求項16】
前記符号化されたホログラフィックコンテンツが、前記ネットワークを介して前記ＬＦディスプレイシステムに接続されたホログラフィックコンテンツリポジトリから受信される、請求項１に記載のＬＦディスプレイシステム。
【請求項17】
前記ホログラフィックコンテンツが、前記ＬＦディスプレイシステムが前記ホログラフィックコンテンツのためのホログラフィックコンテンツリポジトリに取引料金を送信することに応答して受信される、請求項１に記載のＬＦディスプレイシステム。
【請求項18】
前記ホログラフィックコンテンツが、ホログラフィックコンテンツ生成システムから受信され、前記ホログラフィックコンテンツ生成システムが、ライブ公演を記録し、
前記公演の前記記録を、符号化されたホログラフィックコンテンツに符号化し、
前記符号化されたホログラフィックコンテンツを前記ネットワークを介してＬＦディスプレイシステムに送信するように構成されている、請求項１に記載のＬＦディスプレイシステム。
【請求項19】
前記ネットワークが、パブリックネットワークである、請求項１に記載のＬＦディスプレイシステム。
【請求項20】
前記ネットワークが、ホログラフィックコンテンツを送信するように構成されたプライベートネットワークである、請求項１に記載のＬＦディスプレイシステム。
【請求項21】
前記ＬＦディスプレイアセンブリが、音響データを提示するように構成されており、ホログラフィックコンテンツが復号化されたときに、前記ＬＦディスプレイシステムが、前記復号化されたホログラフィックコンテンツおよび復号化された音響データを提示するように、前記符号化されたホログラフィックコンテンツが、前記音響データを含む、請求項１に記載のＬＦディスプレイシステム。
【請求項22】
前記提示されたホログラフィックコンテンツが、第１のタイプのエネルギーおよび第２のタイプのエネルギーを含む、請求項１に記載のＬＦディスプレイシステム。
【請求項23】
前記第１のタイプのエネルギーが、電磁気エネルギーであり、前記第２のタイプのエネルギーが、超音波エネルギーである、請求項２２に記載のＬＦディスプレイシステム。
【請求項24】
前記第１のタイプのエネルギーおよび第２のタイプのエネルギーが、前記ＬＦディスプレイアセンブリが体積触覚表面を提示するように、同じ場所において提示される、請求項２３に記載のＬＦディスプレイシステム。
【請求項25】
前記ＬＦディスプレイアセンブリが、画像データを記録するように構成されており、前記ＬＦディスプレイアセンブリが、ホログラフィックコンテンツを提示するのと同時に画像データを記録する、請求項１に記載のＬＦディスプレイシステム。
【請求項26】
前記ＬＦディスプレイアセンブリが、ホログラフィックコンテンツを記録するように構成されており、前記ＬＦディスプレイアセンブリが、ホログラフィックコンテンツを提示するのと同時に記録する、請求項１に記載のＬＦディスプレイシステム。
【請求項27】
前記ホログラフィックコンテンツを視聴している前記観客における１人以上の視聴者に関する情報を取得するように構成されている追跡システムをさらに備える、請求項１に記載のＬＦディスプレイシステム。
【請求項28】
前記ＬＦディスプレイアセンブリが、前記追跡システムによって取得された情報に基づいて、ホログラフィックコンテンツを前記観客に提示する、請求項２７に記載のＬＦディスプレイシステム。
【請求項29】
前記追跡システムによって取得された前記情報が、提示されたホログラフィックコンテンツに対する前記観客における前記１人以上の視聴者による応答と、
前記観客における前記１人以上の視聴者の特徴と、を含む、請求項２７に記載のＬＦディスプレイシステム。
【請求項30】
前記視聴者に関する前記情報が、前記視聴者の位置、前記視聴者の動き、前記視聴者のジェスチャ、前記視聴者の表情、視聴者の年齢、前記視聴者の性別、および前記視聴者によって着用されている衣服のうちのいずれかを含む、請求項２７に記載のＬＦディスプレイシステム。
【請求項31】
視聴者プロファイリングシステムをさらに備え、前記視聴者プロファイリングシステムが、前記ホログラフィックコンテンツを視聴している前記観客における視聴者を識別し、
前記識別された視聴者の各々の視聴者プロファイルを生成するように構成されている、請求項１に記載のＬＦディスプレイシステム。
【請求項32】
前記ＬＦディスプレイアセンブリが、前記観客における識別された視聴者に基づいて、ホログラフィックコンテンツを前記観客に提示する、請求項３１に記載のＬＦディスプレイシステム。
【請求項33】
前記ＬＦディスプレイシステムが、前記識別された視聴者のプロファイルに基づいて、ホログラフィックコンテンツを前記観客に提示する、請求項３１に記載のＬＦディスプレイシステム。
【請求項34】
前記視聴者プロファイリングシステムが、前記ホログラフィックコンテンツに対する視聴者の応答、または前記ホログラフィックコンテンツを視聴する視聴者の特徴を識別し、前記識別された応答または特徴を視聴者プロファイルに含めるように構成されている、請求項３１に記載のＬＦディスプレイシステム。
【請求項35】
前記ＬＦ視聴者プロファイリングシステムが、前記視聴者の特徴を識別し、前記特徴が、前記視聴者の位置と、
前記視聴者の動作と、
前記視聴者のジェスチャと、
前記視聴者の顔表情と、
前記視聴者の性別と、
前記視聴者の年齢と、
前記視聴者の衣服と、のうちのいずれかを含む、請求項２７に記載のＬＦディスプレイシステム。
【請求項36】
前記視聴者プロファイリングシステムが、前記１人以上の識別された視聴者のソーシャルメディアアカウントにアクセスして、視聴者プロファイルを生成する、請求項２６に記載のＬＦディスプレイシステム。
【請求項37】
前記会場が、劇場である、請求項１に記載のＬＦディスプレイシステム。
【請求項38】
前記会場が、実質的に水平である前記ＬＦディスプレイシステムの表示面をほぼ取り囲む複数の視聴場所を含む、請求項１に記載のＬＦディスプレイシステム。
【請求項39】
前記表示面が、前記会場の床の少なくとも一部である、請求項３８に記載のＬＦディスプレイシステム。
【請求項40】
前記表示面が、前記会場内のステージの少なくとも一部である、請求項３８に記載のＬＦディスプレイシステム。
【請求項41】
前記表示面が、前記会場内の隆起した視聴プラットフォームの少なくとも一部である、請求項３８に記載のＬＦディスプレイシステム。
【請求項42】
前記会場が、前記ＬＦディスプレイアセンブリのほぼ前に配列された複数の視聴場所を含む、請求項１に記載のＬＦディスプレイシステム。
【請求項43】
前記会場が、前記提示されたホログラフィックコンテンツに対して遮るもののない視線を有するように位置付けられた複数の視聴場所を含む、請求項１に記載のＬＦディスプレイシステム。
【請求項44】
前記会場が、傾斜を有し、１つ以上の視聴場所が、前記傾斜に沿って位置付けられている、請求項１に記載のＬＦディスプレイシステム。
【請求項45】
前記会場が、１つ以上の視聴段であって、各視聴段が、前記観客の一部を含むように構成されている、１つ以上の視聴段を備える、請求項１に記載のＬＦディスプレイシステム。
【請求項46】
前記ＬＦディスプレイシステムが、同じ復号化されたホログラフィックコンテンツを、前記会場の各段に提示する、請求項４５に記載のＬＦディスプレイシステム。
【請求項47】
前記ＬＦディスプレイシステムが、異なる復号化されたホログラフィックコンテンツを、前記会場の１つ以上の段に提示する、請求項４５に記載のＬＦディスプレイシステム。
【請求項48】
前記段がほぼ円形であり、それらが前記ＬＦディスプレイアセンブリを取り囲むように、位置付けられている、請求項４５に記載のＬＦディスプレイシステム。
【請求項49】
前記会場が、第１の壁を備え、前記ホログラフィックコンテンツが前記第１の壁から前記観客に提示されるように、前記ＬＦディスプレイアセンブリが、前記第１の壁に位置付けられている、請求項１に記載のＬＦディスプレイシステム。
【請求項50】
前記会場が、第２の壁を備え、前記ホログラフィックコンテンツが前記第１の壁および前記第２の壁から前記観客に提示されるように、前記ＬＦディスプレイアセンブリが、前記第１の壁および前記第２の壁に位置付けられている、請求項４９に記載のＬＦディスプレイシステム。
【請求項51】
前記会場が、ステージを備え、前記ホログラフィックコンテンツが前記ステージから前記観客に提示されるように、前記ＬＦディスプレイアセンブリが、前記ステージに位置付けられている、請求項１に記載のＬＦディスプレイシステム。
【請求項52】
前記会場が、床を備え、前記ホログラフィックコンテンツが前記床から前記観客に提示されるように、前記ＬＦディスプレイアセンブリが、前記床に位置付けられている、請求項１に記載のＬＦディスプレイシステム。
【請求項53】
前記ＬＦディスプレイアセンブリが、実質的に平坦な表面である、請求項１に記載のＬＦディスプレイシステム。
【請求項54】
前記ＬＦディスプレイシステムが、曲面である、請求項１に記載のＬＦディスプレイシステム。
【請求項55】
ライトフィールド（ＬＦ）ディスプレイシステムであって、ネットワークを介してリアルタイムホログラフィックコンテンツを含むライブストリームを受信するように構成されたネットワークインターフェースと、
追加のホログラフィックコンテンツを生成するように構成されたＬＦ処理エンジンと、
前記リアルタイムホログラフィックコンテンツおよび追加のホログラフィックコンテンツを会場の観客に提示するように構成されたＬＦディスプレイアセンブリと、を備える、ＬＦディスプレイシステム。
【請求項56】
前記ライブストリームが、コンサートと、
公演と、
ショーと、
シーンと、
イベントと、のうちの１つ以上の同時放送を表すリアルタイムホログラフィックコンテンツを含む、請求項５５に記載のＬＦディスプレイシステム。
【請求項57】
前記ライブストリームが、コンサートと、
公演と、
ショーと、
シーンと、
イベントと、のうちの１つ以上を表す追加のホログラフィックコンテンツを含む、請求項５５に記載のＬＦディスプレイシステム。
【請求項58】
前記追加のホログラフィックコンテンツが、ニューラルネットワークと、
手続き型生成アルゴリズムと、
機械学習アルゴリズムと、
人工知能と、のうちの１つ以上によって生成される、請求項５７に記載のＬＦディスプレイシステム。
【請求項59】
前記追加のホログラフィックコンテンツが、オブジェクト、イベント、またはシーンのコンピュータで生成されたレンダリングと、
以前に記録されたライブアクションホログラフィックコンテンツと、のうちの１つ以上を含む、請求項５５に記載のＬＦディスプレイシステム。
【請求項60】
前記ライブストリームが、歌手と、
バンドと、
俳優と、
ダンサーと、
コメディアンと、
公演者と、のうちの１つ以上を表すホログラフィックコンテンツを含む、請求項５５に記載のＬＦディスプレイシステム。
【請求項61】
前記追加のホログラフィックコンテンツが、リアルタイムホログラフィックコンテンツを含む前記ライブストリームを拡張する、請求項５５に記載のＬＦディスプレイシステム。
【請求項62】
前記追加のホログラフィックコンテンツが、前記ライブストリームに含まれるリアルタイムホログラフィックコンテンツを置き換える、請求項５５に記載のＬＦディスプレイシステム。
【請求項63】
前記追加のホログラフィックコンテンツが、セットと、
ステージと、
小道具と、
衣服と、
衣装と、
楽器と、のうちの１つ以上を表す、請求項５５に記載のＬＦディスプレイシステム。
【請求項64】
前記追加のホログラフィックコンテンツが、人物、オブジェクト、イベント、または別の時間や場所からのシーンと、
人物、オブジェクト、イベント、またはシーンのコンピュータで生成されたレンダリングと、
以前に記録されたホログラフィックコンテンツと、のうちの１つ以上を表す、請求項５５に記載のＬＦディスプレイシステム。
【請求項65】
前記追加のホログラフィックコンテンツが、広告と、
プロダクトプレイスメントと、のうちの１つ以上を表す、請求項５５に記載のＬＦディスプレイシステム。
【請求項66】
前記追加のホログラフィックコンテンツが、ニューラルネットワークと、
手続き型生成アルゴリズムと、
機械学習アルゴリズムと、
人工知能と、のうちの１つ以上によって生成される、請求項５５に記載のＬＦディスプレイシステム。
【請求項67】
前記観客における視聴者が前記追加のホログラフィックコンテンツとインタラクトすることができる、請求項５５に記載のＬＦディスプレイシステム。
【請求項68】
前記視聴者が、前記追加のホログラフィックコンテンツとはインタラクトすることができるが、前記リアルタイムホログラフィックコンテンツとはインタラクトすることができない、請求項５５に記載のＬＦディスプレイシステム。
【請求項69】
視聴者が、前記リアルタイムホログラフィックコンテンツとインタラクトすることができる、請求項５５に記載のＬＦディスプレイシステム。
【請求項70】
前記処理エンジンが、前記ＬＦディスプレイアセンブリによって提示された前記ホログラフィックコンテンツと前記視聴者とのインタラクションに基づいて追加のホログラフィックコンテンツを生成するように構成されている、請求項５５に記載のＬＦディスプレイシステム。
【請求項71】
前記観客における視聴者が、物理的なインタラクションと、
聴覚的なインタラクションと、
視覚的なインタラクションと、のうちのいずれかを含むインタラクションで、前記提示されたホログラフィックコンテンツとインタラクトする、請求項５５に記載のＬＦディスプレイシステム。
【請求項72】
前記ホログラフィックコンテンツを視聴している前記観客における１人以上の視聴者に関する情報を取得するように構成されている追跡システムをさらに備える、請求項５５に記載のＬＦディスプレイシステム。
【請求項73】
前記処理エンジンによって生成された前記追加のホログラフィックコンテンツが、前記追跡システムによって取得された、前記観客における前記１人以上の視聴者に関する前記情報に基づいたものである、請求項７２に記載のＬＦディスプレイシステム。
【請求項74】
前記追跡システムによって取得された前記情報が、前記観客における前記１人以上の視聴者による、提示されたホログラフィックコンテンツに対する応答と、
前記観客における前記１人以上の視聴者の特徴と、を含む、請求項７２に記載のＬＦディスプレイシステム。
【請求項75】
前記視聴者に関する前記情報が、前記視聴者の位置、前記視聴者の動き、前記視聴者のジェスチャ、前記視聴者の表情、視聴者の年齢、前記視聴者の性別、および前記視聴者によって着用されている衣服のうちのいずれかを含む、請求項７２に記載のＬＦディスプレイシステム。
【請求項76】
前記追跡システムが、前記観客における前記１人以上の視聴者に関する集約情報を決定するように構成されており、前記処理エンジンによって生成された前記追加のホログラフィックコンテンツが、前記集約情報に基づいたものである、請求項７２に記載のＬＦディスプレイシステム。
【請求項77】
視聴者プロファイリングシステムをさらに備え、前記視聴者プロファイリングシステムが、前記ホログラフィックコンテンツを視聴している前記観客における１人以上の視聴者を識別し、
前記１人以上の識別された視聴者についての視聴者プロファイルを生成するように構成されている、請求項５５に記載のＬＦディスプレイシステム。
【請求項78】
前記処理エンジンによって生成された前記追加のホログラフィックコンテンツが、前記視聴者プロファイリングシステムによって識別された前記１つ以上の視聴者に基づいたものである、請求項７７に記載のＬＦディスプレイシステム。
【請求項79】
前記処理エンジンによって生成された前記追加のホログラフィックコンテンツが、前記視聴者プロファイリングシステムによって生成された前記視聴者プロファイルに基づいたものである、請求項７７に記載のＬＦディスプレイシステム。
【請求項80】
前記視聴者プロファイリングシステムが、前記ホログラフィックコンテンツに対する視聴者の応答、または前記ホログラフィックコンテンツを視聴する視聴者の特徴を識別し、前記識別された応答または特徴を視聴者プロファイルに含めるように構成されている、請求項７７に記載のＬＦディスプレイシステム。
【請求項81】
前記視聴者プロファイリングシステムが、前記視聴者の位置と、
前記視聴者の動作と、
前記視聴者のジェスチャと、
前記視聴者の顔表情と、
前記視聴者の性別と、
前記視聴者の年齢と、
前記視聴者の衣服と、のうちのいずれかを含む特徴を識別する、請求項７７に記載の方法。
【請求項82】
前記視聴者プロファイリングシステムが、前記観客における前記１人以上の視聴者に関する集約プロファイルを生成するように構成されており、前記処理エンジンによって生成される前記追加のホログラフィックコンテンツが、前記集約プロファイルに基づいたものである、請求項７７に記載のＬＦディスプレイシステム。
【請求項83】
前記ＬＦディスプレイシステムのハードウェア構成を決定するように構成されたＬＦ処理エンジンをさらに備え、前記ＬＦディスプレイアセンブリが、前記ＬＦディスプレイシステムの前記決定されたハードウェア構成に基づいて前記ホログラフィックコンテンツを提示する、請求項５５に記載のＬＦディスプレイシステム。
【請求項84】
前記ハードウェア構成が、解像度と、
度当たりの投影光線の数と、
視野と、
表示面の偏向角と、
表示面の次元と、のうちのいずれかを含む、請求項８３に記載のＬＦディスプレイシステム。
【請求項85】
前記ＬＦディスプレイシステムの幾何学的配向を決定するように構成されたＬＦ処理エンジンをさらに備え、前記ホログラフィックコンテンツが、前記ＬＦディスプレイシステムの前記決定された幾何学的配向に基づいて前記観客に提示される、請求項５５に記載のＬＦディスプレイシステム。
【請求項86】
前記幾何学的配向が、前記ＬＦディスプレイアセンブリのディスプレイパネルの数と、
前記ディスプレイパネルの相対的な配向と、
前記ディスプレイパネルの高さと、
前記ディスプレイパネルの幅と、
前記ディスプレイパネルのレイアウトと、のうちのいずれかを含む、請求項８５に記載のＬＦディスプレイシステム。
【請求項87】
前記会場の構成を決定するように構成されたＬＦ処理エンジンをさらに備え、前記ＬＦディスプレイアセンブリが、前記会場の前記決定された構成に基づいてホログラフィックコンテンツを提示する、請求項５５に記載のＬＦディスプレイシステム
【請求項88】
前記会場の前記構成が、１つ以上のホログラフィックオブジェクトボリュームと、
１つ以上の視聴ボリュームと、
前記ＬＦディスプレイアセンブリに対する前記観客の場所と、のうちのいずれかを含む、請求項８７に記載のＬＦディスプレイシステム。
【請求項89】
前記ＬＦディスプレイアセンブリが、音響データを提示するように構成されており、前記ホログラフィックコンテンツは、前記ＬＦディスプレイシステムが前記ホログラフィックコンテンツおよび音響データを提示するように、前記音響データを含む、請求項５５に記載のＬＦディスプレイシステム。
【請求項90】
前記提示されたホログラフィックコンテンツが、第１のタイプのエネルギーおよび第２のタイプのエネルギーを含む、請求項５５に記載のＬＦディスプレイシステム。
【請求項91】
前記第１のタイプのエネルギーが、電磁気エネルギーであり、前記第２のタイプのエネルギーが、超音波エネルギーである、請求項９０に記載のＬＦディスプレイシステム。
【請求項92】
前記第１のタイプのエネルギーおよび第２のタイプのエネルギーが、前記ＬＦディスプレイアセンブリが体積触覚表面を提示するように、同じ場所において提示される、請求項９１に記載のＬＦディスプレイシステム。
【請求項93】
前記ＬＦディスプレイアセンブリが、画像データを記録するように構成されており、前記ＬＦディスプレイアセンブリが、ホログラフィックコンテンツを提示するのと同時に画像データを記録する、請求項５５に記載のＬＦディスプレイシステム。
【請求項94】
前記ＬＦディスプレイアセンブリが、ホログラフィックコンテンツを記録するように構成されており、前記ＬＦディスプレイアセンブリが、ホログラフィックコンテンツを提示するのと同時に記録する、請求項５５に記載のＬＦディスプレイシステム。
【請求項95】
リアルタイムホログラフィックコンテンツを含む前記ライブストリームが、第１のフォーマットで受信され、前記ＬＦ処理エンジンが、前記ホログラフィックコンテンツを第２のフォーマットに復号化する、請求項５５に記載のＬＦディスプレイシステム。
【請求項96】
前記第１のフォーマットが、ベクトル化されたデータフォーマットであり、前記第２のフォーマットが、ラスタライズされたデータフォーマットである、請求項９５に記載のＬＦディスプレイシステム。
【請求項97】
前記処理エンジンが、独自のコーデックを使用して、同じコーデックによって符号化されたストリーミングホログラフィックコンテンツを復号化する、請求項５５に記載のＬＦディスプレイシステム。
【請求項98】
ライトフィールド（ＬＦ）生成システムであって、会場でのイベントを表す１つ以上のタイプのエネルギーを記録するように構成されたライトフィールド記録アセンブリと、
前記記録されたエネルギーを、前記公演を表すホログラフィックコンテンツに変換するように構成された処理エンジンと、
ネットワークを介して前記ホログラフィックコンテンツを１つ以上のＬＦディスプレイシステムに送信するように構成されたネットワークインターフェースと、を備える、ＬＦ生成システム。
【請求項99】
前記イベントが、コンサートと、
ショーと、
公演と、
シーンと、
イベントと、のうちの１つ以上である、請求項９８に記載のＬＦ生成システム。
【請求項100】
前記イベントが、歌手と、
バンドと、
マジシャンと、
俳優と、
ダンサーと、
コメディアンと、
公演者と、のうちの１つ以上を含む、請求項９８に記載のＬＦ生成システム。
【請求項101】
前記会場が、公演ホールと、
イベント空間と、
劇場と、
コンサートホールと、
スタジオと、
ステージと、のうちのいずれかである、請求項９８に記載のＬＦ生成システム。
【請求項102】
前記ネットワークが、パブリックネットワークである、請求項９８に記載のＬＦ生成システム。
【請求項103】
前記ネットワークが、ホログラフィックコンテンツを送信するように構成されたプライベートネットワークである、請求項９８に記載のＬＦ生成システム。
【請求項104】
前記処理エンジンが、前記記録されたエネルギーをホログラフィックコンテンツとして符号化するために独自のコーデックを使用する、請求項９８に記載のＬＦ生成システム。
【請求項105】
前記ホログラフィックコンテンツが、ベクトル化されたフォーマットで符号化される、請求項１０４に記載のＬＦ生成システム。
【請求項106】
前記ホログラフィックコンテンツが、前記独自のコーデックを利用するＬＦディスプレイシステムによって復号化可能なフォーマットで符号化される、請求項１０４に記載のＬＦ公演ネットワークシステム。
【請求項107】
前記ライトフィールド記録アセンブリが、電磁エネルギーをライトフィールドコンテンツとして記録するように構成された１つ以上のエネルギーセンサを含む、１つ以上のライトフィールドモジュールを備え、
前記ホログラフィックコンテンツが、前記ライトフィールドコンテンツを含む、請求項９８に記載のＬＦ生成システム。
【請求項108】
前記ライトフィールド記録アセンブリが、音響エネルギーを音声コンテンツとして記録するように構成された１つ以上の音響記録デバイスを備え、
前記ホログラフィックコンテンツが、前記音声コンテンツを含む、請求項９８に記載のＬＦ生成システム。
【請求項109】
前記ライトフィールド記録アセンブリが、機械的エネルギーを記録するように構成された１つ以上の圧力センサを備え、
前記ホログラフィックコンテンツが、１つ以上の触覚表面を生成するための機械的エネルギーを生成する命令を含む、請求項９８に記載のＬＦ生成システム。
【請求項110】
前記ライトフィールド記録アセンブリが、１つ以上の記録モジュールであって、前記ＬＦ記録モジュールが、複数の視点で前記公演からエネルギーをキャプチャするように、前記会場の周囲に位置付けられた、１つ以上の記録モジュールを備える、請求項９８に記載のＬＦ生成システム。
【請求項111】
前記処理エンジンが、複数の視点からの前記エネルギーを前記ホログラフィックコンテンツに変換する、請求項１１０に記載のＬＦ生成システム。
【請求項112】
前記ライトフィールド記録アセンブリが、１つ以上の二次元カメラであって、各二次元カメラが、前記公演からのエネルギーを１つ以上の二次元画像として記録する、１つ以上の二次元カメラを備える、請求項９８に記載のＬＦ生成システム。
【請求項113】
前記処理エンジンが、前記１つ以上の二次元画像をホログラフィックコンテンツに変換する、請求項１１２に記載のＬＦ生成システム。
【請求項114】
前記処理エンジンが、機械学習アルゴリズムを使用して、前記ホログラフィックコンテンツを生成する、請求項１１３に記載のＬＦ生成システム。
【請求項115】
前記ライトフィールド記録アセンブリが、オブジェクトの深さを決定するための１つ以上の深さセンサを備える、請求項９８に記載のＬＦ生成システム。
【請求項116】
前記ライトフィールド記録アセンブリが、ライトフィールドデータを記録するための１つ以上のプレノプティックカメラシステムを備える、請求項９８に記載のＬＦ生成システム。
【請求項117】
前記ＬＦ生成システムが、前記ホログラフィックコンテンツを、前記ネットワークを介してほぼリアルタイムでＬＦディスプレイシステムに送信する、請求項９８に記載のＬＦ生成システム。
【請求項118】
前記ＬＦ生成システムが、前記ホログラフィックコンテンツをローカル記憶デバイスに記憶する、請求項９８に記載のＬＦ生成システム。
【請求項119】
前記ＬＦ生成システムが、前記ホログラフィックコンテンツをネットワークシステムに送信して、ネットワーク記憶システムに記憶する、請求項９８に記載のＬＦ生成システム。
【請求項120】
前記ＬＦ生成システムが、取引料金の受領に応答して、前記ホログラフィックコンテンツをＬＦディスプレイシステムに送信する、請求項９８に記載のＬＦ生成システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、国際出願第ＰＣＴ／ＵＳ２０１７／０４２２７５号、同第ＰＣＴ／ＵＳ２０１７／０４２２７６号、同第ＰＣＴ／ＵＳ２０１７／０４２４１８号、同第ＰＣＴ／ＵＳ２０１７／０４２４５２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６６号、同第ＰＣＴ／ＵＳ２０１７／０４２４６７号、同第ＰＣＴ／ＵＳ２０１７／０４２４６８号、同第ＰＣＴ／ＵＳ２０１７／０４２４６９号、同第ＰＣＴ／ＵＳ２０１７／０４２４７０号、および同第ＰＣＴ／ＵＳ２０１７／０４２６７９号に関連し、これらはすべて、参照によりその全体が本明細書に組み込まれる。
本出願は、国際出願第ＰＣＴ／ＵＳ２０１７／０４２２７５号、同第ＰＣＴ／ＵＳ２０１７／０４２２７６号、同第ＰＣＴ／ＵＳ２０１７／０４２４１８号、同第ＰＣＴ／ＵＳ２０１７／０４２４５２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６６号、同第ＰＣＴ／ＵＳ２０１７／０４２４６７号、同第ＰＣＴ／ＵＳ２０１７／０４２４６８号、同第ＰＣＴ／ＵＳ２０１７／０４２４６９号、同第ＰＣＴ／ＵＳ２０１７／０４２４７０号、および同第ＰＣＴ／ＵＳ２０１７／０４２６７９号に関連し、これらはすべて、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
本開示は、公演会場での公演に関連し、具体的には、公演会場で公演を表示するためのライトフィールドディスプレイシステムに関する。
【0003】
伝統的に、公演会場（例えば、劇場、コンサートホールなど）は、会場に出席する視聴者（例えば、ファン、常連客など）が公演者（例えば、バンド、一座、コメディなど）からライブ公演（例えば、コンサート、演劇、コメディショーなど）をリアルタイムで視聴することができるように構成されている。残念ながら、場合によっては、会場で公演を開催することが、公演を視聴したい視聴者の能力を制限してしまう。例えば、公演が売り切れている、不便な時間にある、または視聴者から遠く離れて位置している可能性がある。映画のスクリーンまたはテレビなどの二次元の表面に公演を記録して再生することもあるが、これらの再生では、ライブ公演の会場に存在する雰囲気および興奮をほとんど再現できない。そのため、視聴者があたかもライブ公演にいるかのように公演を知覚でき得るように公演について構成されている会場は有益であり得る。
【発明の概要】
【0004】
会場（劇場、コンサートホールなど）での公演のホログラフィックコンテンツを表示するためのライトフィールド（ＬＦ）ディスプレイシステム。ＬＦディスプレイシステムは、会場での表面（例えば、ステージなど）を形成するＬＦディスプレイモジュールを含み、ＬＦディスプレイモジュールは各々、ある表示エリアを有し、かつその表示エリアより大きい有効表示エリアを有するシームレスな表示面を形成するように一緒にタイル張りされている。ＬＦディスプレイモジュールは、会場の視聴者が公演を知覚できるように、公演ボリュームから公演のホログラフィックコンテンツを表示する。
【0005】
いくつかの実施形態では、公演のホログラフィックコンテンツは、別の会場で同時に発生する公演の複製であり得、コンテンツ作成システムによって会場で表示するために作成され、かつ／またはデータストアから会場で表示するためにアクセスされる。ホログラフィックコンテンツは、ホログラフィックコンテンツのデジタル権利の管理を担当するネットワークシステムによって管理することができる。例えば、会場での視聴者は、会場で表示するホログラフィックコンテンツにアクセスするための取引料金を支払い得る。
【0006】
いくつかの実施形態では、ＬＦディスプレイシステムは、追跡システムおよび／または視聴者プロファイリングモジュールを含む。追跡システムおよび視聴者プロファイリングシステムは、会場内の視聴者の特徴、視聴者を説明する視聴者プロファイル、および／または会場内のホログラフィックコンテンツに対する視聴者の応答を監視および記憶することができる。会場に表示するために作成されたホログラフィックコンテンツは、監視または記憶された情報のいずれかに基づき得る。
【0007】
いくつかの実施形態では、ユーザはホログラフィックコンテンツとインタラクトすることができ、インタラクションは、ホログラフィックコンテンツ作成システムの入力の機能を果たすことができる。例えば、いくつかの実施形態では、ＬＦディスプレイシステムの一部またはすべては、複数の超音波スピーカを含む。複数の超音波スピーカは、ホログラフィックコンテンツの少なくとも一部分と一致する触覚表面を生成するように構成される。追跡システムは、（例えば、ＬＦディスプレイモジュールの画像センサおよび／またはいくつかの他のカメラによってキャプチャされた画像を介して）ユーザのホログラフィックオブジェクトとのインタラクションを追跡するように構成されている。また、ＬＦディスプレイシステムは、インタラクションに基づいて、ホログラフィックコンテンツを作成して提供するように構成されている。
【図面の簡単な説明】
【0008】
【図1】１つ以上の実施形態による、ホログラフィックオブジェクトを提示するライトフィールドディスプレイモジュールの図である。
【図2A】１つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
【図2B】１つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
【図3A】１つ以上の実施形態による、ライトフィールドディスプレイモジュールの斜視図である。
【図3B】１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むライトフィールドディスプレイモジュールの断面図である。
【図4A】１つ以上の実施形態による、単一面シームレス表面環境を形成するために二次元にタイル張りされたライトフィールドディスプレイシステムの一部分の斜視図である。
【図4B】１つ以上の実施形態による、多面シームレス表面環境におけるライトフィールドディスプレイシステムの一部分の斜視図である。
【図4C】１つ以上の実施形態による、ウィング型構成の集合表面を有するライトフィールドディスプレイシステムの上面図である。
【図4D】１つ以上の実施形態による、傾斜構成の集合表面を有するライトフィールドディスプレイシステムの側面図である。
【図4E】１つ以上の実施形態による、部屋の前壁に集合表面を有するライトフィールドディスプレイシステムの上面図である。
【図4F】１つ以上の実施形態による、部屋の前壁に集合表面を有するＬＦディスプレイシステムの側面図の側面図である。
【図5A】１つ以上の実施形態による、ライトフィールドディスプレイシステムのブロック図である。
【図5B】１つ以上の実施形態による、例示的なＬＦフィルムネットワーク５５０を示す。
【図6】１つ以上の実施形態による、ＬＦディスプレイシステムで拡張された伝統的な劇場である会場６００の側面図である。
【図7A】１つ以上の実施形態による、視聴ボリューム内の視聴場所で視聴者に公演コンテンツを表示するためのＬＦディスプレイシステムを含む第１の会場の断面図である。
【図7B】１つ以上の実施形態による、視聴ボリューム内の視聴場所で視聴者に公演コンテンツを表示するためのＬＦディスプレイシステムを含む第２の会場の断面図である。
【図8】１つ以上の実施形態による、視聴者の居間でホームシアターとしても機能する会場を示す図である。
【図9】ＬＦ公演ネットワーク内の公演のホログラフィックを表示する方法を示すフロー図である。
【0009】
この図は、例示のみを目的として、本発明の様々な実施形態を示す。当業者は、以下の考察から、本明細書において例示される構造および方法の代替の実施形態が、本明細書に記載される本発明の原理から逸脱することなく採用され得ることを容易に認識するであろう。」
【発明を実施するための形態】
【0010】
概要
ライトフィールド（ＬＦ）ディスプレイシステムは、公演用の設定として機能する会場に実装されている。例えば、公演は、コンサート、演劇、コメディショー、ダンスリサイタルなどであり得る。ＬＦディスプレイシステムは、ＬＦディスプレイシステムの視聴ボリューム内の１人以上のユーザに見えるであろう１つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたＬＦディスプレイアセンブリを備える。ＬＦディスプレイアセンブリは、会場の１つ以上の表面（例えば、ステージ）の一部またはすべてにわたって、多面シームレス表面を形成し得る。ＬＦディスプレイシステムは、会場の視聴者にホログラフィックコンテンツを提示でき得る。視聴者は通常、会場での公演に参加するが、会場でホログラフィックコンテンツを視聴できる場所にいるヒトなら誰でもかまわない。ホログラフィックオブジェクトはまた、他の感覚刺激（例えば、触覚および／または音声）で拡張され得る。例えば、ＬＦディスプレイシステム内の超音波エミッタは、ホログラフィックオブジェクトの一部またはすべてに対して触覚表面を提供する超音波圧力波を放出することができる。ホログラフィックコンテンツは、追加のビジュアルコンテンツ（すなわち、２Ｄまたは３Ｄビジュアルコンテンツ）を含み得る。まとまりのある体験が可能であることを確実にするエミッタの協調が、マルチエミッタ実装形態のシステムの一部（すなわち、任意の所与の時点で正しい触感および感覚刺激を提供するホログラフィックオブジェクト）である。
ライトフィールド（ＬＦ）ディスプレイシステムは、公演用の設定として機能する会場に実装されている。例えば、公演は、コンサート、演劇、コメディショー、ダンスリサイタルなどであり得る。ＬＦディスプレイシステムは、ＬＦディスプレイシステムの視聴ボリューム内の１人以上のユーザに見えるであろう１つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたＬＦディスプレイアセンブリを備える。ＬＦディスプレイアセンブリは、会場の１つ以上の表面（例えば、ステージ）の一部またはすべてにわたって、多面シームレス表面を形成し得る。ＬＦディスプレイシステムは、会場の視聴者にホログラフィックコンテンツを提示でき得る。視聴者は通常、会場での公演に参加するが、会場でホログラフィックコンテンツを視聴できる場所にいるヒトなら誰でもかまわない。ホログラフィックオブジェクトはまた、他の感覚刺激（例えば、触覚および／または音声）で拡張され得る。例えば、ＬＦディスプレイシステム内の超音波エミッタは、ホログラフィックオブジェクトの一部またはすべてに対して触覚表面を提供する超音波圧力波を放出することができる。ホログラフィックコンテンツは、追加のビジュアルコンテンツ（すなわち、２Ｄまたは３Ｄビジュアルコンテンツ）を含み得る。まとまりのある体験が可能であることを確実にするエミッタの協調が、マルチエミッタ実装形態のシステムの一部（すなわち、任意の所与の時点で正しい触感および感覚刺激を提供するホログラフィックオブジェクト）である。
【0011】
いくつかの実施形態では、ＬＦディスプレイシステムは、会場のステージを形成する複数のＬＦディスプレイモジュールを含む。ステージを形成するＬＦディスプレイモジュールは、会場で、公演のホログラフィックコンテンツを投影するように構成し得る。このようにして、会場の視聴者はステージにおけるホログラフィック公演を知覚することができる。例えば、ＬＦディスプレイシステムは、コンサートを行うバンド、バレエをデビューさせるダンスカンパニー、または演劇を演じる劇団を表示し得る。いくつかの実施形態では、ＬＦディスプレイシステムは、会場内の視聴者に表示するためのホログラフィックコンテンツを作成し得る。例えば、ＬＦディスプレイシステムは、仮想公演者のために作成された曲を会場の視聴者に演奏するための仮想公演者を作成し得る。
【0012】
いくつかの実施形態では、ＬＦディスプレイシステムは、システムが、少なくとも１つのタイプのエネルギーを同時に放出し、同時に、作成したホログラフィックコンテンツに応答する目的のために少なくとも１つのタイプのエネルギーを吸収し得る要素を含み得る。例えば、ＬＦディスプレイシステムは、見るためのホログラフィックオブジェクトおよび触覚知覚のための超音波の両方を放出し、それと同時に、視聴者の追跡および他のシーン分析のための画像情報を吸収する一方、ユーザによるタッチ応答を検出するために超音波を吸収する。一例として、そのようなシステムは、クラウドサーフィングであるホログラフィック公演者を投影し得、視聴者が事実上「触れた」ときに、公演者が自分の手にあるような錯覚を視聴者に与えることができる。環境のエネルギー感知を実行するディスプレイシステムの構成要素は、エネルギーの放出および吸収の両方を行う双方向エネルギー要素を介して表示面に統合され得るか、または超音波スピーカおよびカメラなどの撮像キャプチャデバイスなど、表示面とは別の専用のセンサであり得る。
【0013】
ＬＦディスプレイシステムは、ＬＦ公演ネットワークの一部とすることができる。ＬＦ公演ネットワークにより、ＬＦデータをある場所で記録し、符号化し、別の場所に送信し、復号化し、ホログラフィックコンテンツとして会場の視聴者に表示するのを可能にする。これにより、複数の会場の視聴者が他の会場で行われているライブ公演を知覚するのを可能にする。いくつかの実施形態では、ＬＦディスプレイシステムは、ホログラフィックコンテンツのデジタル権利を管理するネットワークシステムを含む。
【0014】
ライトフィールドディスプレイシステム
図１は、１つ以上の実施形態による、ホログラフィックオブジェクト１２０を提示するライトフィールド（ＬＦ）ディスプレイモジュール１１０の図１００である。ＬＦディスプレイモジュール１１０は、ライトフィールド（ＬＦ）ディスプレイシステムの一部である。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュールを使用して、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。ＬＦディスプレイシステムは、１人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、ＬＦディスプレイシステムはまた、他の感覚コンテンツ（例えば、タッチ、音声、匂い、温度など）でホログラフィックコンテンツを拡張することができる。例えば、以下で考察されるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成することができる。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュール１１０を含んでおり、図２～図５に関して以下で詳細に考察される。
図１は、１つ以上の実施形態による、ホログラフィックオブジェクト１２０を提示するライトフィールド（ＬＦ）ディスプレイモジュール１１０の図１００である。ＬＦディスプレイモジュール１１０は、ライトフィールド（ＬＦ）ディスプレイシステムの一部である。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュールを使用して、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。ＬＦディスプレイシステムは、１人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、ＬＦディスプレイシステムはまた、他の感覚コンテンツ（例えば、タッチ、音声、匂い、温度など）でホログラフィックコンテンツを拡張することができる。例えば、以下で考察されるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成することができる。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュール１１０を含んでおり、図２～図５に関して以下で詳細に考察される。
【0015】
ＬＦディスプレイモジュール１１０は、ホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）を１人以上の視聴者（例えば、視聴者１４０）に提示するホログラフィックディスプレイである。ＬＦディスプレイモジュール１１０は、エネルギーデバイス層（例えば、発光電子ディスプレイまたは音響投影デバイス）と、エネルギー導波路層（例えば、光学レンズアレイ）と、を含む。追加的に、ＬＦディスプレイモジュール１１０は、複数のエネルギー源または検出器を一緒に組み合わせて単一の表面を形成するために、エネルギーリレー層を含み得る。高レベルでは、エネルギーデバイス層は、エネルギー（例えば、ホログラフィックコンテンツ）を生成し、このエネルギーは次に、エネルギー導波路層を使用して、１つ以上の四次元（４Ｄ）ライトフィールド関数に従って空間内の領域に指向される。ＬＦディスプレイモジュール１１０はまた、１つ以上のタイプのエネルギーの投影および／または感知を同時に行うことができる。例えば、ＬＦディスプレイモジュール１１０は、ホログラフィック画像ならびに超音波触覚表面を視聴ボリューム内に投影することができ得る一方、同時に、視聴ボリュームからの画像データを検出する。ＬＦディスプレイモジュール１１０の表示エリア１５０と視聴者１４０との間のホログラフィック画像は、画像を形成する焦点の集合が収束線光線である実画像である。追加的に、ＬＦディスプレイによって生成されるいくつかの画像は、発散光線の延長によって作成された焦点の集合である仮想画像（例えば、表示エリア１５０の後ろに表示される画像）であり得る。ＬＦディスプレイモジュール１１０の操作は、図２～図３に関して以下でより詳細に考察される。
【0016】
ＬＦディスプレイモジュール１１０は、（例えば、プレノプティック関数から導出される）１つ以上の４Ｄライトフィールド関数を使用して、ホログラフィックオブジェクトボリューム１６０内にホログラフィックオブジェクトを生成する。ホログラフィックオブジェクトは、三次元（３Ｄ）、二次元（２Ｄ）、またはそれらの何らかの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色（例えば、フルカラー）であり得る。ホログラフィックオブジェクトは、スクリーン平面の前、スクリーン平面の後ろに投影されるか、またはスクリーン平面によって分割されてもよい。ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクトボリューム１６０内のどこでも知覚されるように提示され得る。ここで、ホログラフィックオブジェクト１２０は、光線が収束しているときの実画像１２２であり、それは、表示エリア１５０と視聴者１４０との間に提示される。ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトは、視聴者１４０には、空間に浮かんでいるように見えることがある。
【0017】
ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者１４０によって知覚され得るボリュームを表す。ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが表示エリア１５０の平面の前に提示され得るように、表示エリア１５０の表面の前に（すなわち、視聴者１４０に向かって）延在し得る。追加的に、ホログラフィックオブジェクトボリューム１６０は、表示エリア１５０の表面の後ろに（すなわち、視聴者１４０から離れる方向に）延在し得、ホログラフィックオブジェクトが、表示エリア１５０の平面の後ろにあるかのように提示されることを可能にする。言い換えれば、ホログラフィックオブジェクトボリューム１６０は、表示エリア１５０から発生し（例えば、投影され）、収束してホログラフィックオブジェクトを作成し得るすべての光線を含むことができる。ここで、光線は、表示面の前、表示面、または表示面の後ろにある点に収束し得る。より簡単に言えば、ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者によって知覚され得るすべてのボリュームを包含する。
【0018】
視聴ボリューム１３０は、ＬＦディスプレイシステムによってホログラフィックオブジェクトボリューム１６０内に提示されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）が完全に見える空間のボリュームである。ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム１６０内に提示され、実際のオブジェクトと区別できないように、視聴ボリューム１３０内で見られ得る。ホログラフィックオブジェクトは、オブジェクトが物理的に存在した場合に、オブジェクトの表面から生成されるであろう光線と同じ光線を投影することによって形成される。
【0019】
場合によっては、ホログラフィックオブジェクトボリューム１６０および対応する視聴ボリューム１３０は、単一の視聴者用に設計されるように、比較的小さくあり得る。他の実施形態では、例えば、図４、６、７、８、および９に関して以下で詳細に考察するように、ＬＦディスプレイモジュールは、より大きなホログラフィックオブジェクトボリューム、および広範囲の視聴者（例えば、１人～数千人）を収容できる対応する視聴ボリュームを作成するために拡大および／またはタイル張りされ得る。本開示で提示されるＬＦディスプレイモジュールは、ＬＦディスプレイの全表面が、非アクティブまたはデッドスペースがなく、ベゼルを必要としないホログラフィック撮像光学系を含むように構築され得る。これらの実施形態では、ＬＦディスプレイモジュールは、撮像エリアがＬＦディスプレイモジュール間の継ぎ目をまたいで連続するようにタイル張りされ得、タイル張りされたモジュール間の接合ラインは、目の視力を使用して実質的に検出されない。特に、いくつかの構成では、表示面の一部は、本明細書では詳細に説明されていないが、ホログラフィック撮像光学系を含まないことがある。
【0020】
視聴ボリューム１３０の柔軟なサイズおよび／または形状は、視聴者が視聴ボリューム１３０内で制約を受けないことを可能にする。例えば、視聴者１４０は、視聴ボリューム１３０内の異なる位置に移動し、対応する視点からホログラフィックオブジェクト１２０の異なるビューを見ることができる。例示のための、図１を参照すると、視聴者１４０は、ホログラフィックオブジェクト１２０がイルカの真正面からのビューで見えるように、ホログラフィックオブジェクト１２０に対して第１の位置にある。視聴者１４０は、イルカの異なるビューを見るために、ホログラフィックオブジェクト１２０に対して他の場所に動くことができる。例えば、視聴者１４０は、視聴者１４０があたかも実際のイルカを見ていて、イルカの異なるビューを見るために、実際のイルカに対する視聴者の相対位置を変更するかのように、移動して、イルカの左側、イルカの右側などを見ることができる。いくつかの実施形態では、ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクト１２０への遮るもののない（すなわち、オブジェクト／ヒトによって遮られていない）視線を有する、視聴ボリューム１３０内のすべての視聴者に見える。これらの視聴者は、異なる視点のホログラフィックオブジェクト１２０を見るために、視聴ボリューム内を動き回ることができるように、制約されないでよい。したがって、ＬＦディスプレイシステムは、複数の制約されない視聴者が、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示することができる。
【0021】
対照的に、従来のディスプレイ（例えば、立体視、仮想現実、拡張現実、または複合現実）では、一般に、各視聴者は、コンテンツを見るために、何らかの外部デバイス（例えば、３Ｄメガネ、ニアアイディスプレイ、またはヘッドマウントディスプレイ）を着用する必要がある。追加的および／または代替的に、従来のディスプレイでは、視聴者が特定の視聴位置に（例えば、ディスプレイに対して固定された場所を有する椅子に）拘束される必要があり得る。例えば、立体視ディスプレイによって表示されるオブジェクトを見る場合、視聴者は常に、オブジェクトではなく表示面に焦点を合わせ、ディスプレイは常に、知覚されたオブジェクトの周りを動き回ろうとする視聴者に追随するオブジェクトの２つのビューのみを提示し、そのオブジェクトの知覚に歪みを引き起こす。しかしながら、ライトフィールドディスプレイでは、ＬＦディスプレイシステムによって提示されるホログラフィックオブジェクトの視聴者は、ホログラフィックオブジェクトを見るために、外部デバイスを着用する必要も、特定の位置に監禁される必要もない。ＬＦディスプレイシステムは、特別なアイウェア、メガネ、またはヘッドマウントアクセサリを要することなく、物理的なオブジェクトが視聴者に見えるのとほぼ同じように視聴者に見える方法で、ホログラフィックオブジェクトを提示する。さらに、視聴者は、視聴ボリューム内の任意の場所からホログラフィックコンテンツを見ることができる。
【0022】
特に、ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトの潜在的な場所は、ボリュームのサイズによって制限される。ホログラフィックオブジェクトボリューム１６０のサイズを大きくするために、ＬＦディスプレイモジュール１１０の表示エリア１５０のサイズを大きくしてもよく、かつ／または複数のＬＦディスプレイモジュールを、シームレスな表示面を形成するように一緒にタイル張りしてもよい。シームレスな表示面は、個々のＬＦディスプレイモジュールの表示エリアよりも大きい有効表示エリアを有する。ＬＦディスプレイモジュールのタイル張りに関連するいくつかの実施形態が、図４、および図６～図９に関して以下で考察される。図１に例示されるように、表示エリア１５０は矩形であり、ピラミッド形であるホログラフィックオブジェクトボリューム１６０をもたらす。他の実施形態では、表示エリアは、対応する視聴ボリュームの形状にも影響を与える何らかの他の形状（例えば、六角形）を有し得る。
【0023】
追加的に、上記の考察は、ＬＦディスプレイモジュール１１０と視聴者１４０との間にあるホログラフィックオブジェクトボリューム１６０の一部内にホログラフィックオブジェクト１２０を提示することに焦点を当てているが、ＬＦディスプレイモジュール１１０は追加的に、表示エリア１５０の平面の後ろのホログラフィックオブジェクトボリューム１６０にコンテンツを提示することができる。例えば、ＬＦディスプレイモジュール１１０は、表示エリア１５０を、ホログラフィックオブジェクト１２０が飛び出している海の表面であるように見せることができる。また、表示されるコンテンツは、視聴者１４０が、表示された表面を通して、水中にいる海洋生物を見ることができるようなものであってもよい。さらに、ＬＦディスプレイシステムは、表示エリア１５０の平面の後ろおよび前を含む、ホログラフィックオブジェクトボリューム１６０の周りをシームレスに移動するコンテンツを生成することができる。
【0024】
図２Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール２１０の一部の断面２００である。ＬＦディスプレイモジュール２１０は、ＬＦディスプレイモジュール１１０であってもよい。他の実施形態では、ＬＦディスプレイモジュール２１０は、表示エリア１５０とは異なる表示エリア形状を有する別のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーデバイス層２２０、エネルギーリレー層２３０、およびエネルギー導波路層２４０を含む。ＬＦディスプレイモジュール２１０のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーリレー層２３０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
【0025】
本明細書に記載のディスプレイシステムは、実世界のオブジェクトを通常取り巻くエネルギーを複製するエネルギーの放出を提示する。ここで、放出されたエネルギーは、表示面上のすべての座標から特定の方向に指向される。言い換えれば、表示面上の様々な座標が、放出されたエネルギーの投影場所として機能する。表示面からの指向されたエネルギーは、多くのエネルギー線の収束を可能にし、それによって、ホログラフィックオブジェクトを作成することができる。例えば、可視光では、ＬＦディスプレイは、ホログラフィックオブジェクトボリューム内の任意の点で収束し得る、投影場所からの極めて大きい数の光線を投影するため、それらの光線は、投影されているオブジェクトよりも遠くに位置する視聴者の視点からは、空間のこのエリアに位置する実世界のオブジェクトの表面から来ているように見えるであろう。このように、ＬＦディスプレイは、視聴者の視点からは、そのようなオブジェクトの表面から出たような反射光線を生成している。視聴者の視点は、任意の特定のホログラフィックオブジェクト上で変わり得、視聴者は、そのホログラフィックオブジェクトの異なるビューを見るであろう。
【0026】
エネルギーデバイス層２２０は、１つ以上の電子ディスプレイ（例えば、ＯＬＥＤなどの発光ディスプレイ）と、本明細書に記載の１つ以上の他のエネルギー投影および／またはエネルギー受信デバイスと、を含む。１つ以上の電子ディスプレイは、（例えば、ＬＦディスプレイシステムのコントローラからの）表示命令に従ってコンテンツを表示するように構成される。１つ以上の電子ディスプレイは、各々が個別に制御される強度を有する複数のピクセルを含む。発光ＬＥＤおよびＯＬＥＤディスプレイなど、多くのタイプの商用ディスプレイがＬＦディスプレイ内で使用され得る。
【0027】
エネルギーデバイス層２２０はまた、１つ以上の音響投影デバイスおよび／または１つ以上の音響受信デバイスを含むことができる。音響投影デバイスは、ホログラフィックオブジェクト２５０を補完する１つ以上の圧力波を生成する。生成される圧力波は、例えば、可聴、超音波、またはそれらの何らかの組み合わせであってもよい。超音波圧力波のアレイは、体積触覚のために（例えば、ホログラフィックオブジェクト２５０の表面において）使用され得る。可聴圧力波は、ホログラフィックオブジェクト２５０を補完し得る音声コンテンツ（例えば、没入型オーディオ）を提供するために使用される。例えば、ホログラフィックオブジェクト２５０がイルカであると仮定すると、１つ以上の音響投影デバイスを使用して、（１）視聴者がホログラフィックオブジェクト２５０にタッチすることができるように、イルカの表面と併置される触覚表面を生成し、（２）パチンと鳴る音、甲高い音、けたたましい鳴き声など、イルカが発生する音に対応する音声コンテンツを提供することができる。音響受信デバイス（例えば、マイクロフォンまたはマイクロフォンアレイ）は、ＬＦディスプレイモジュール２１０の局所エリア内の超音波および／または可聴圧力波を監視するように構成され得る。
【0028】
エネルギーデバイス層２２０はまた、１つ以上の画像センサを含むことができる。画像センサは、可視光帯の光に敏感であってもよく、場合によっては、他の帯域（例えば、赤外線）の光に敏感であってもよい。画像センサは、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）アレイ、電荷結合デバイス（ＣＣＤ）、光検出器のアレイ、光をキャプチャする何らかの他のセンサ、またはそれらの何らかの組み合わせであってもよい。ＬＦディスプレイシステムは、視聴者の場所標定追跡のために、１つ以上の画像センサによってキャプチャされたデータを使用することができる。
【0029】
いくつかの構成では、エネルギーリレー層２３０は、エネルギーデバイス層２２０とエネルギー導波路層２４０との間でエネルギー（例えば、電磁エネルギー、機械的圧力波など）を中継する。エネルギーリレー層２３０は、１つ以上のエネルギーリレー要素２６０を含む。各エネルギーリレー要素は、第１の表面２６５および第２の表面２７０を含み、２つの表面間でエネルギーを中継する。各エネルギーリレー要素の第１の表面２６５は、１つ以上のエネルギーデバイス（例えば、電子ディスプレイまたは音響投影デバイス）に結合され得る。エネルギーリレー要素は、例えば、ガラス、炭素、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの何らかの組み合わせで構成され得る。追加的に、いくつかの実施形態では、エネルギーリレー要素は、第１の表面２６５と第２の表面２７０との間を通過するエネルギーの倍率（増加または減少）を調整することができる。リレーが倍率を提供する場合、リレーは、テーパーと呼ばれる、接着されたテーパーリレーのアレイの形態を採り得、テーパーの一端の面積は、反対側の端よりも実質的に大きくなり得る。テーパーの大きい方の端は、一緒に張り合わされて、シームレスなエネルギー面２７５を形成することができる。１つの利点は、複数のディスプレイのベゼルなど、複数のエネルギー源の機械的エンベロープを収容するために、各テーパーの複数の小さな端にスペースが作成されることである。この余分のスペースにより、各エネルギー源が、小さいテーパー表面内にエネルギーを指向するアクティブエリアを有し、大きいシームレスなエネルギー面にリレーされる状態で、エネルギー源を小さなテーパー側に並べて配置することが可能になる。テーパーリレーを使用する別の利点は、テーパーの大きい端によって形成される、組み合わされたシームレスなエネルギー面には、非結像デッドスペースがないことである。境界またはベゼルが存在しないため、シームレスなエネルギー面を一緒にタイル張りして、目の視力によると実質的に継ぎ目のない、より大きな表面を形成することができる。
【0030】
隣接するエネルギーリレー要素の第２の表面は、一緒になってエネルギー面２７５を形成する。いくつかの実施形態では、隣接するエネルギーリレー要素の縁間の分離は、例えば、２０／４０の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面２７５は、視聴ボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。
【0031】
いくつかの実施形態では、隣接するエネルギーリレー要素の第２の表面は、それらの間に継ぎ目が存在しないように、圧力、熱、および化学反応のうちの１つ以上を含み得る処理工程を用いて一緒に融合される。さらに、他の実施形態では、エネルギーリレー要素のアレイは、リレー材料の連続したブロックの片側を、各々がエネルギーを、小さなテーパー端部に取り付けられたエネルギーデバイスから、細分化されない大きなエリアを有する単一の結合された表面内に輸送するように構成される、小さなテーパー端部のアレイに成形することによって形成される。
【0032】
いくつかの実施形態では、１つ以上のエネルギーリレー要素は、エネルギー局在化を示し、表面２６５および２７０に実質的に垂直な長手方向のエネルギー輸送効率は、垂直横断平面内の輸送効率よりもはるかに高く、エネルギー波が表面２６５と表面２７０との間を伝播するとき、エネルギー密度はこの横断平面内で高度に局在化される。このエネルギーの局在化により、画像などのエネルギー分布が、解像度の大きな損失なしに、これらの表面間で効率的に中継されることが可能になる。
【0033】
エネルギー導波路層２４０は、エネルギー導波路層２４０内の導波路要素を使用して、エネルギーを、エネルギー面２７５上の場所（例えば、座標）から、表示面から外側のホログラフィック視聴ボリューム２８５内への特定のエネルギー伝搬経路内に指向する。エネルギー伝搬経路は、少なくとも導波路に対するエネルギー面の座標場所によって決定される２つの角度寸法によって画定される。導波路は、空間２Ｄ座標に関連付けられる。これらの４つの座標が一緒になって、四次元（４Ｄ）エネルギーフィールドを形成する。一例として、電磁エネルギーの場合、エネルギー導波路層２４０内の導波路要素は、光をシームレスなエネルギー面２７５上の位置から、視聴ボリューム２８５を通る異なる伝搬方向に沿って指向する。様々な例において、光は、４Ｄライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム２５５内にホログラフィックオブジェクト２５０を形成する。
【0034】
エネルギー導波路層２４０内の各導波路要素は、例えば、１つ以上の要素で構成されるレンズレットであり得る。いくつかの構成では、レンズレットは、正レンズであり得る。正レンズは、球面、非球面、または自由形状の表面プロファイルを有し得る。追加的に、いくつかの実施形態では、導波路要素の一部またはすべては、１つ以上の追加の光学構成要素を含み得る。追加の光学構成要素は、例えば、バッフル、正レンズ、負レンズ、球面レンズ、非球面レンズ、自由形状レンズ、液晶レンズ、液体レンズ、屈折要素、回折要素、またはそれらの何らかの組み合わせなどのエネルギー抑制構造であり得る。いくつかの実施形態では、レンズレットおよび／または追加の光学構成要素のうちの少なくとも１つはまた、屈折力を動的に調整することができる。例えば、レンズレットは、液晶レンズまたは液体レンズであってもよい。表面プロファイルの動的調整、レンズレットおよび／または少なくとも１つの追加の光学構成要素は、導波路要素から投影される光の追加の方向制御を提供し得る。
【0035】
例示的な例では、ＬＦディスプレイのホログラフィックオブジェクトボリューム２５５は、光線２５６および光線２５７によって形成される境界を有するが、他の光線によって形成され得る。ホログラフィックオブジェクトボリューム２５５は、エネルギー導波路層２４０の前（すなわち、視聴者２８０に向かって）およびその後ろ（すなわち、視聴者２８０から離れて）の両方に延在する連続したボリュームである。例示的な例では、光線２５６および光線２５７は、ＬＦディスプレイモジュール２１０の反対の縁から、ユーザによって知覚され得る表示面２７７の法線に対して最大の角度で投影されるが、これらは他の投影光線であり得る。これらの光線は、ディスプレイの視野を画定し、したがって、ホログラフィック視聴ボリューム２８５の境界を画定する。場合によっては、これらの光線は、ディスプレイ全体がケラレなしで観察され得るホログラフィック視聴ボリューム（例えば、理想的な視聴ボリューム）を画定する。ディスプレイの視野が広がると、光線２５６および光線２５７の収束点がディスプレイにより近くなる。したがって、より広い視野を有するディスプレイは、視聴者２８０がより近い視距離でディスプレイ全体を見ることを可能にする。追加的に、光線２５６および２５７は、理想的なホログラフィックオブジェクトボリュームを形成し得る。理想的なホログラフィックオブジェクトボリューム内に提示されるホログラフィックオブジェクトは、視聴ボリューム２８５内のどこでも見られ得る。
【0036】
いくつかの例では、ホログラフィックオブジェクトは、視聴ボリューム２８５の一部にのみ提示され得る。言い換えれば、ホログラフィックオブジェクトボリュームは、任意の数の視聴サブボリューム（例えば、視聴サブボリューム２９０）に分割され得る。追加的に、ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム２５５の外側に投影され得る。例えば、ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示される。ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示されるので、視聴ボリューム２８５内のすべての場所から見ることができるわけではない。例えば、ホログラフィックオブジェクト２５１は、視聴サブボリューム２９０内の場所からは見えるが、視聴者２８０の場所からは見えない可能性がある。
【0037】
例えば、異なる視聴サブボリュームからホログラフィックコンテンツを見ることを例示するために、図２Ｂに目を向ける。図２Ｂは、１つ以上の実施形態による、ＬＦディスプレイモジュールの一部の断面２００を例示する。図２Ｂの断面は、図２Ａの断面と同じである。しかしながら、図２Ｂは、ＬＦディスプレイモジュール２１０から投影された異なる光線のセットを示している。光線２５６および光線２５７は、依然としてホログラフィックオブジェクトボリューム２５５および視聴ボリューム２８５を形成する。しかしながら、示されるように、ＬＦディスプレイモジュール２１０の最上部およびＬＦディスプレイモジュール２１０の最下部から投影された光線は重なり合って、視聴ボリューム２８５内に様々な視聴サブボリューム（例えば、ビューサブボリューム２９０Ａ、２９０Ｂ、２９０Ｃ、および２９０Ｄ）を形成する。第１の視聴サブボリューム（例えば、２９０Ａ）内の視聴者は、他の視聴サブボリューム（例えば、２９０Ｂ、２９０Ｃ、および２９０Ｄ）内の視聴者が知覚できない、ホログラフィックオブジェクトボリューム２５５内に提示されたホログラフィックコンテンツを知覚することができ得る。
【0038】
より簡単に言えば、図２Ａに例示されるように、ホログラフィックオブジェクトボリューム２５５は、ホログラフィックオブジェクトが視聴ボリューム２８５内の視聴者（例えば、視聴者２８０）によって知覚され得るように、ホログラフィックオブジェクトが、ＬＦディスプレイシステムによって提示され得るボリュームである。このように、視聴ボリューム２８５は、理想的な視聴ボリュームの一例であり、ホログラフィックオブジェクトボリューム２５５は、理想的なオブジェクトボリュームの一例である。しかしながら、様々な構成において、視聴者は、他の例示的なホログラフィックオブジェクトボリューム内にＬＦディスプレイシステム２００によって提示されたホログラフィックオブジェクトを知覚することができる。より一般的には、ＬＦディスプレイモジュールから投影されたホログラフィックコンテンツを見るときには「アイラインガイドライン」が適用される。アイラインガイドラインは、視聴者の目の位置および見られているホログラフィックオブジェクトによって形成されるラインがＬＦ表示面と交差しなければならないと主張する。
【0039】
ＬＦディスプレイモジュール２１０によって提示されたホログラフィックコンテンツを見るとき、ホログラフィックコンテンツは４Ｄライトフィールド関数に従って提示されるので、視聴者２８０の各目は、異なる視点のホログラフィックオブジェクト２５０を見る。さらに、視聴者２８０が視聴ボリューム２８５内を移動するとき、視聴者は、視聴ボリューム２８５内の他の視聴者が見るであろうような、異なる視点のホログラフィックオブジェクト２５０を見るであろう。当業者には理解されるように、４Ｄライトフィールド関数は当技術分野で周知であり、本明細書ではこれ以上詳しく説明しない。
【0040】
本明細書でより詳細に説明するように、いくつかの実施形態では、ＬＦディスプレイは、２つ以上のタイプのエネルギーを投影することができる。例えば、ＬＦディスプレイは、例えば、機械的エネルギーおよび電磁エネルギーなどの２つのタイプのエネルギーを投影することができる。この構成では、エネルギーリレー層２３０は、エネルギー面２７５で一緒にインターリーブされるが、エネルギーが２つの異なるエネルギーデバイス層２２０に中継されるように分離される２つの別個のエネルギーリレーを含み得る。ここで、一方のリレーは、電磁エネルギーを輸送するように構成され得、別方のリレーは、機械的エネルギーを輸送するように構成され得る。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層２４０上の電磁導波路要素間の場所から投影され得、光が一方の電磁導波路要素から別方の電磁導波路要素に輸送されるのを抑制する構造を形成するのに役立つ。いくつかの実施形態では、エネルギー導波路層２４０はまた、コントローラからの表示命令に従って、集束超音波を特定の伝搬経路に沿って輸送する導波路要素を含み得る。
【0041】
代替の実施形態（図示せず）では、ＬＦディスプレイモジュール２１０はエネルギーリレー層２３０を含まないことに留意されたい。この場合、エネルギー面２７５は、エネルギーデバイス層２２０内の１つ以上の隣接する電子ディスプレイを使用して形成された出射面である。また、エネルギーリレー層を有さないいくつかの実施形態では、隣接する電子ディスプレイの縁間の分離は、２０／４０の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面は、視聴ボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。
【0042】
ＬＦディスプレイモジュール
図３Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール３００Ａの斜視図である。ＬＦディスプレイモジュール３００Ａは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ａは、何らかの他のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーデバイス層３１０、エネルギーリレー層３２０、およびエネルギー導波路層３３０を含む。ＬＦディスプレイモジュール３００Ａは、本明細書で説明されるように、表示面３６５からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面３６５は、ＬＦディスプレイモジュール３００Ａのフレーム３９０上に破線の輪郭として例示されているが、より正確には、フレーム３９０の内側リムによって境界される導波路要素の真正面の表面である。表示面３６５は、エネルギーが投影され得る複数の投影位置を含む。ＬＦディスプレイモジュール３００Ａのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーリレー層３２０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
図３Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール３００Ａの斜視図である。ＬＦディスプレイモジュール３００Ａは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ａは、何らかの他のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーデバイス層３１０、エネルギーリレー層３２０、およびエネルギー導波路層３３０を含む。ＬＦディスプレイモジュール３００Ａは、本明細書で説明されるように、表示面３６５からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面３６５は、ＬＦディスプレイモジュール３００Ａのフレーム３９０上に破線の輪郭として例示されているが、より正確には、フレーム３９０の内側リムによって境界される導波路要素の真正面の表面である。表示面３６５は、エネルギーが投影され得る複数の投影位置を含む。ＬＦディスプレイモジュール３００Ａのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーリレー層３２０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
【0043】
エネルギーデバイス層３１０は、エネルギーデバイス層２２０の一実施形態である。エネルギーデバイス層３１０は、４つのエネルギーデバイス３４０を含む（図では３つが見える）。エネルギーデバイス３４０は、すべてが同じタイプ（例えば、すべてが電子ディスプレイ）であってもよいか、または１つ以上の異なるタイプを含んでもよい（例えば、電子ディスプレイおよび少なくとも１つの音響エネルギーデバイスを含む）。
【0044】
エネルギーリレー層３２０は、エネルギーリレー層２３０の一実施形態である。エネルギーリレー層３２０は、４つのエネルギーリレーデバイス３５０を含む（図では３つが見える）。エネルギーリレーデバイス３５０は、すべてが同じタイプのエネルギー（例えば、光）を中継し得るか、または１つ以上の異なるタイプ（例えば、光および音）を中継し得る。リレーデバイス３５０の各々は、第１の表面および第２の表面を含み、エネルギーリレーデバイス３５０の第２の表面は、単一のシームレスなエネルギー面３６０を形成するように配置される。例示的な実施形態では、エネルギーリレーデバイス３５０の各々は、第１の表面が第２の表面よりも小さい表面積を有するようにテーパー状になっており、これにより、テーパーの小さい方の端にエネルギーデバイス３４０の機械的エンベロープを収容することが可能になる。これにより、エリア全体がエネルギーを投影し得るため、シームレスなエネルギー面が無境界であることが可能になる。これは、ＬＦディスプレイモジュール３００Ａの複数の実例を、デッドスペースまたはベゼルなしに一緒に配置することによって、組み合わされた表面全体がシームレスであるように、このシームレスなエネルギー面がタイル張りされ得ることを意味する。他の実施形態では、第１の表面および第２の表面は同じ表面積を有する。
【0045】
エネルギー導波路層３３０は、エネルギー導波路層２４０の一実施形態である。エネルギー導波路層３３０は、複数の導波路要素３７０を含む。図２に関して上記考察されるように、エネルギー導波路層３３０は、ホログラフィックオブジェクトを形成するために、４Ｄライトフィールド関数に従って、エネルギーをシームレスなエネルギー面３６０から特定の伝搬経路に沿って指向するように構成されている。例示的な実施形態では、エネルギー導波路層３３０はフレーム３９０によって境界されることに留意されたい。他の実施形態では、フレーム３９０は存在しない、および／またはフレーム３９０の厚さが低減されている。フレーム３９０の厚さの除去または低減は、ＬＦディスプレイモジュール３００Ａと追加のＬＦディスプレイモジュールとのタイル張りを容易にし得る。
【0046】
例示的な実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は平面であることに留意されたい。図示されてない代替の実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は、１つ以上の次元で湾曲していてよい。
【0047】
ＬＦディスプレイモジュール３００Ａは、シームレスなエネルギー面の表面上に存在する追加のエネルギー源を有して構成され得、ライトフィールドに加えてエネルギーフィールドの投影を可能にする。一実施形態では、音響エネルギーフィールドが、シームレスなエネルギー面３６０上の任意の数の位置に取り付けられた静電スピーカ（例示せず）から投影され得る。さらに、ＬＦディスプレイモジュール３００Ａの静電スピーカは、デュアルエネルギー面がサウンドフィールドおよびホログラフィックコンテンツを同時に投影するように、ライトフィールドディスプレイモジュール３００Ａ内に位置付けられる。例えば、静電スピーカは、電磁エネルギーのいくつかの波長に対して透過性であり、１つ以上の導電性要素（例えば、１つ以上のダイアフラム要素を挟む平面）を用いて駆動される１つ以上のダイアフラム要素で形成され得る。静電スピーカは、ダイアフラム要素が導波路要素のうちのいくつかを覆うように、シームレスなエネルギー面３６０に装着されてもよい。スピーカの導電性電極は、電磁導波路間の光透過を抑制するように設計された構造体と併置されてよく、かつ／または電磁導波路要素間の位置（例えば、フレーム３９０）に位置してよい。様々な構成において、スピーカは、可聴音、および／または触覚表面を生み出す集束超音波エネルギーの多くのソースを投影することができる。
【0048】
いくつかの構成では、エネルギーデバイス３４０は、エネルギーを感知し得る。例えば、エネルギーデバイスは、マイクロフォン、光センサ、音響トランスデューサなどであり得る。したがって、エネルギーリレーデバイスは、シームレスなエネルギー面３６０からエネルギーデバイス層３１０にエネルギーを中継することもできる。すなわち、ＬＦディスプレイモジュールのシームレスなエネルギー面３６０は、エネルギーデバイスおよびエネルギーリレーデバイス３４０が、エネルギーを放出すると同時に感知する（例えば、ライトフィールドを放出し、音を感知する）ように構成されるとき、双方向エネルギー面を形成する。
【0049】
より広義には、ＬＦディスプレイモジュール３４０のエネルギーデバイス３４０は、エネルギー源またはエネルギーセンサのいずれかであり得る。ＬＦディスプレイモジュール３００Ａは、高品質のホログラフィックコンテンツのユーザへの投影を容易にするために、エネルギー源および／またはエネルギーセンサとして機能する様々なタイプのエネルギーデバイスを含み得る。他のソースおよび／またはセンサとしては、サーマルセンサまたはソース、赤外線センサまたはソース、画像センサまたはソース、音響エネルギーを生成する機械的エネルギートランスデューサ、フィードバックソースなどが挙げられる。多くの他のセンサまたはソースが可能である。さらに、ＬＦディスプレイモジュールが、大きな集合体のシームレスなエネルギー面から複数のタイプのエネルギーを投影および感知するアセンブリを形成し得るように、ＬＦディスプレイモジュールはタイル張りされ得る。
【0050】
ＬＦディスプレイモジュール３００Ａの様々な実施形態では、シームレスなエネルギー面３６０は、各表面部分が特定のタイプのエネルギーを投影および／または放出するように構成されている様々な表面部分を有し得る。例えば、シームレスなエネルギー面がデュアルエネルギー面である場合、シームレスエネルギー面３６０は、電磁エネルギーを投影する１つ以上の表面部分と、超音波エネルギーを投影する１つ以上の他の表面部分と、を含む。超音波エネルギーを投影する表面部分は、電磁導波路要素間のシームレスなエネルギー面３６０上に位置し得、かつ／または電磁導波路要素間の光透過を抑制するように設計された構造体と併置され得る。シームレスなエネルギー面が双方向エネルギー面である例では、エネルギーリレー層３２０は、シームレスなエネルギー面３６０でインターリーブされた２つのタイプのエネルギーリレーデバイスを含み得る。様々な実施形態では、シームレスなエネルギー面３６０は、任意の特定の導波路要素３７０の下の表面の部分が、すべてエネルギー源、すべてエネルギーセンサ、またはエネルギー源およびエネルギーセンサの混在であるように構成され得る。
【0051】
図３Ｂは、１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むＬＦディスプレイモジュール３００Ｂの断面図である。エネルギーリレーデバイス３５０Ａは、エネルギーデバイス３４０Ａに接続されたエネルギーリレーの第１の表面３４５Ａとシームレスなエネルギー面３６０との間でエネルギーを輸送する。エネルギーリレー３５０Ｂは、エネルギーデバイス３４０Ｂに接続されたエネルギーリレーの第１の表面３４５Ｂとシームレスなエネルギー面３６０との間でエネルギーを輸送する。両方のリレーデバイスは、シームレスなエネルギー面３６０に接続されたインターリーブされたエネルギーリレーデバイス３５２においてインターリーブされている。この構成では、表面３６０は、エネルギー源またはエネルギーセンサであり得るエネルギーデバイス３４０Ａおよび３４０Ｂの両方のインターリーブされたエネルギー場所を含む。したがって、ＬＦディスプレイモジュール３００Ｂは、２つ以上のタイプのエネルギーを投影するためのデュアルエネルギー投影デバイスとして、またはあるタイプのエネルギーを投影することと、別のタイプのエネルギーを感知することとを同時に行うための双方向エネルギーデバイスとしてのいずれかに構成され得る。ＬＦディスプレイモジュール３００Ｂは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ｂは、何らかの他のＬＦディスプレイモジュールであり得る。
【0052】
ＬＦディスプレイモジュール３００Ｂは、図３ＡのＬＦディスプレイモジュール３００Ａのものと同様に構成されている多くの構成要素を含む。例えば、例示的な実施形態では、ＬＦディスプレイモジュール３００Ｂは、図３Ａに関して説明したものと少なくとも同じ機能を含むエネルギーデバイス層３１０、エネルギーリレー層３２０、シームレスなエネルギー面３６０、およびエネルギー導波路層３３０を含む。追加的に、ＬＦディスプレイモジュール３００Ｂは、表示面３６５からエネルギーを提示および／または受信することができる。特に、ＬＦディスプレイモジュール３００Ｂの構成要素は、代替的に図３ＡのＬＦディスプレイモジュール３００Ａの構成要素とは異なって接続および／または配向されている。ＬＦディスプレイモジュール３００Ｂのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。図３Ｂは、より大きな面積を有するデュアルエネルギー投影表面または双方向エネルギー面を生み出すためにタイル張りされ得る単一のＬＦディスプレイモジュール３００Ｂの設計を例示する。
【0053】
一実施形態では、ＬＦディスプレイモジュール３００Ｂは、双方向ＬＦディスプレイシステムのＬＦディスプレイモジュールである。双方向ＬＦディスプレイシステムは、エネルギーを投影し、それと同時に表示面３６５からエネルギーを感知することができる。シームレスなエネルギー面３６０は、シームレスなエネルギー面３６０上で密接にインターリーブされたエネルギー投影場所およびエネルギー感知場所との両方を含む。したがって、図３Ｂの例では、エネルギーリレー層３２０は、図３Ａのエネルギーリレー層とは異なる様式で構成されている。便宜上、ＬＦディスプレイモジュール３００Ｂのエネルギーリレー層は、本明細書では「インターリーブエネルギーリレー層」と呼ばれる。
【0054】
インターリーブされたエネルギーリレー層３２０は、第１のエネルギーリレーデバイス３５０Ａおよび第２のエネルギーリレーデバイス３５０Ｂの２つの脚部を含む。脚部の各々は、図３Ｂで薄い陰影のエリアとして例示されている。脚部の各々は、可撓性のリレー材料で作製され、様々なサイズおよび形状のエネルギーデバイスで使用するのに十分な長さで形成され得る。インターリーブされたエネルギーリレー層のいくつかの領域では、２つの脚部は、シームレスなエネルギー面３６０に近づくにつれて、一緒に緊密にインターリーブされる。例示的な例では、インターリーブされたエネルギーリレーデバイス３５２は、暗い陰影のエリアとして例示されている。
【0055】
シームレスなエネルギー面３６０でインターリーブされる一方、エネルギーリレーデバイスは、異なるエネルギーデバイスとの間でエネルギーを中継するように構成される。エネルギーデバイスは、エネルギーデバイス層３１０にある。例示のように、エネルギーデバイス３４０Ａは、エネルギーリレーデバイス３５０Ａに接続され、エネルギーデバイス３４０Ｂは、エネルギーリレーデバイス３５０Ｂに接続されている。様々な実施形態では、各エネルギーデバイスは、エネルギー源またはエネルギーセンサであり得る。
【0056】
エネルギー導波路層３３０は、エネルギー波をシームレスなエネルギー面３６０から、投影された経路に沿って、一連の収束点に向かって導くための導波路要素３７０を含む。この例では、ホログラフィックオブジェクト３８０が、一連の収束点に形成される。特に、例示のように、ホログラフィックオブジェクト３８０でのエネルギーの収束は、表示面３６５の視聴者側（すなわち、前側）で発生する。しかしながら、他の例では、エネルギーの収束は、表示面３６５の前および表示面３６５の後ろの両方に延在するホログラフィックオブジェクトボリューム内のどこであってもよい。導波路要素３７０は、以下に説明するように、入ってくるエネルギーをエネルギーデバイス（例えば、エネルギーセンサ）に同時に導くことができる。
【0057】
ＬＦディスプレイモジュール３００Ｂの例示的な一実施形態では、発光ディスプレイがエネルギー源（例えば、エネルギーデバイス３４０Ａ）として使用され、画像センサがエネルギーセンサ（例えば、エネルギーデバイス３４０Ｂ）として使用される。このように、ＬＦディスプレイモジュール３００Ｂは、同時に、ホログラフィックコンテンツを投影し、表示面３６５の前のボリュームからの光を検出することができる。このように、ＬＦディスプレイモジュール３００Ｂのこの実施形態は、ＬＦディスプレイおよびＬＦセンサの両方として機能する。
【0058】
一実施形態では、ＬＦディスプレイモジュール３００Ｂは、同時に、ライトフィールドを表示面上の投影場所から表示面の前に投影し、投影場所で、表示面の前からのライトフィールドをキャプチャするように構成される。この実施形態では、エネルギーリレーデバイス３５０Ａは、導波路要素３７０の下に位置付けられたシームレスなエネルギー面３６０における位置の第１のセットをエネルギーデバイス３４０Ａに接続する。一例では、エネルギーデバイス３４０Ａは、ソースピクセルのアレイを有する発光ディスプレイである。エネルギーリレーデバイス３４０Ｂは、導波路要素３７０の下に位置付けられたシームレスなエネルギー面３６０における場所の第２のセットをエネルギーデバイス３４０Ｂに接続する。一例では、エネルギーデバイス３４０Ｂは、センサピクセルのアレイを有する画像センサである。ＬＦディスプレイモジュール３００Ｂは、特定の導波路要素３７０の下にあるシームレスなエネルギー面３６５における場所が、すべて発光ディスプレイ場所、すべて画像センサ場所、またはこれらの場所の何らかの組み合わせであるように構成され得る。他の実施形態では、双方向のエネルギー面は、様々な他の形態のエネルギーを投影および受信することができる。
【0059】
ＬＦディスプレイモジュール３００Ｂの別の例示的な実施形態では、ＬＦディスプレイモジュールは、２つの異なるタイプのエネルギーを投影するように構成される。例えば、一実施形態では、エネルギーデバイス３４０Ａは、電磁エネルギーを放出するように構成された発光ディスプレイであり、エネルギーデバイス３４０Ｂは、機械的エネルギーを放出するように構成された超音波トランスデューサである。そのため、光および音の両方が、シームレスなエネルギー面３６０における様々な位置から投影され得る。この構成では、エネルギーリレーデバイス３５０Ａは、エネルギーデバイス３４０Ａをシームレスなエネルギー面３６０に接続し、電磁エネルギーを中継する。エネルギーリレーデバイスは、電磁エネルギーの輸送を効率的にする（例えば、屈折率を変化させる）特性を有するように構成される。エネルギーリレーデバイス３５０Ｂは、エネルギーデバイス３４０Ｂをシームレスなエネルギー面３６０に接続し、機械的エネルギーを中継する。エネルギーリレーデバイス３５０Ｂは、超音波エネルギーの効率的な輸送のための特性を有するように構成される（例えば、異なる音響インピーダンスを有する材料の配分）。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層３３０上の導波路要素３７０間の場所から投影され得る。機械的エネルギーを投影する場所は、光が一方の電磁導波路要素から他方に輸送されるのを抑制する役割を果たす構造体を形成し得る。一例では、超音波の機械的エネルギーを投影する場所の空間的に分離されたアレイは、三次元触覚形状および表面を空中に作成するように構成することができる。表面は、投影されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト３８０）と一致し得る。いくつかの例では、アレイにわたる位相の遅延および振幅の変化は、触覚形状の作成を支援し得る。
【0060】
様々な実施形態では、インターリーブされたエネルギーリレーデバイスを有するＬＦディスプレイモジュール３００Ｂは、各エネルギーデバイス層が特定のタイプのエネルギーデバイスを含んだ、複数のエネルギーデバイス層を含み得る。これらの例では、エネルギーリレー層は、シームレスなエネルギー面３６０とエネルギーデバイス層３１０との間で適切なタイプのエネルギーを中継するように構成される。
【0061】
タイル張りされたＬＦディスプレイモジュール
図４Ａは、１つ以上の実施形態による、単一面シームレス表面環境を形成するために、二次元にタイル張りされたＬＦディスプレイシステム４００の一部の斜視図である。ＬＦディスプレイシステム４００は、アレイ４１０を形成するようにタイル張りされた複数のＬＦディスプレイモジュールを含む。より明確には、アレイ４１０内の小さな正方形の各々が、タイル張りされたＬＦディスプレイモジュール４１２を表す。ＬＦディスプレイモジュール４１２は、ＬＦディスプレイモジュール３００Ａまたは３００Ｂと同じであり得る。アレイ４１０は、例えば、部屋の表面（例えば、壁）の一部またはすべてを覆うことができる。ＬＦアレイは、例えば、テーブルトップ、広告版、ロタンダなどの他の表面を覆うことができる。
図４Ａは、１つ以上の実施形態による、単一面シームレス表面環境を形成するために、二次元にタイル張りされたＬＦディスプレイシステム４００の一部の斜視図である。ＬＦディスプレイシステム４００は、アレイ４１０を形成するようにタイル張りされた複数のＬＦディスプレイモジュールを含む。より明確には、アレイ４１０内の小さな正方形の各々が、タイル張りされたＬＦディスプレイモジュール４１２を表す。ＬＦディスプレイモジュール４１２は、ＬＦディスプレイモジュール３００Ａまたは３００Ｂと同じであり得る。アレイ４１０は、例えば、部屋の表面（例えば、壁）の一部またはすべてを覆うことができる。ＬＦアレイは、例えば、テーブルトップ、広告版、ロタンダなどの他の表面を覆うことができる。
【0062】
アレイ４１０は、１つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、アレイ４１０は、ホログラフィックオブジェクト４２０およびホログラフィックオブジェクト４２２を投影する。ＬＦディスプレイモジュール４１２のタイル張りは、はるかに大きな視聴ボリュームを可能にするだけでなく、オブジェクトがアレイ４１０からより遠くに投影されることを可能にする。例えば、例示的な実施形態では、視聴ボリュームは、ＬＦディスプレイモジュール４１２の前（および後ろ）の局所的なボリュームではなく、アレイ４１０の前および後ろのほぼ全エリアである。
【0063】
いくつかの実施形態では、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２０を視聴者４３０および視聴者４３４に提示する。視聴者４３０および視聴者４３４は、異なる視点のホログラフィックオブジェクト４２０を受信する。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０の真っ直ぐなビューを提示される一方、視聴者４３４は、ホログラフィックオブジェクト４２０のより斜めのビューを提示される。視聴者４３０および／または視聴者４３４が動くと、これらの視聴者は、異なる視点のホログラフィックオブジェクト４２０を提示される。これにより、視聴者は、ホログラフィックオブジェクトに対して移動することにより、ホログラフィックオブジェクトと視覚的にインタラクションすることが可能になる。例えば、視聴者４３０がホログラフィックオブジェクト４２０の周りを歩くとき、ホログラフィックオブジェクト４２０がアレイ４１０のホログラフィックオブジェクトボリューム内に留まっている限り、視聴者４３０は、ホログラフィックオブジェクト４２０の異なる側面を見る。したがって、視聴者４３０および視聴者４３４は、あたかもホログラフィックオブジェクト４２０が実際にそこにあるかのように、実世界空間にホログラフィックオブジェクト４２０を同時に見ることができる。追加的に、ホログラフィックオブジェクト４２０は、物理的オブジェクトが見えるのとほぼ同じように視聴者に見えるので、視聴者４３０および視聴者４３４は、ホログラフィックオブジェクト４２０を見るために外部デバイスを着用する必要はない。追加的に、ここでは、アレイの視聴ボリュームがアレイの表面の後ろに延在するため、ホログラフィックオブジェクト４２２が、アレイの後ろに例示されている。このように、ホログラフィックオブジェクト４２２は、視聴者４３０および／または視聴者４３４に提示され得る。画像はＬＦディスプレイの平面の後ろから発生するので、ホログラフィックオブジェクト４２２は仮想画像４２４であり得る。
【0064】
いくつかの実施形態では、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の位置を追跡する追跡システムを含み得る。いくつかの実施形態では、追跡される位置は、視聴者の位置である。他の実施形態では、追跡される位置は、視聴者の目の位置である。目の位置追跡は、目がどこを見ているかを追跡する（例えば、配向を使用して視線場所を決定する）視線追跡とは異なる。視聴者４３０の目および視聴者４３４の目は、異なる場所にある。
【0065】
様々な構成では、ＬＦディスプレイシステム４００は、１つ以上の追跡システムを含み得る。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステムは、アレイ４１０の外部にある追跡システム４４０を含む。ここで、追跡システムは、アレイ４１０に結合されたカメラシステムであり得る。外部追跡システムは、図５Ａに関してより詳細に説明される。他の例示的な実施形態では、追跡システムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれる双方向エネルギー面を含む１つ以上のＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、エネルギーデバイス３４０）は、アレイ４１０の前の視聴者の画像をキャプチャするように構成され得る。いずれの場合でも、ＬＦディスプレイシステム４００の追跡システムは、アレイ４１０によって提示されたホログラフィックコンテンツを見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に関する追跡情報を決定する。
【0066】
追跡情報は、視聴者の位置、または視聴者の一部の位置（例えば、視聴者の片方または両方の目、もしくは視聴者の四肢）の空間内の（例えば、追跡システムに対する）位置を表す。追跡システムは、追跡情報を決定するために、任意の数の深度決定技術を使用することができる。深度決定技術は、例えば、構造化光、飛行時間、ステレオ撮像、何らかの他の深度決定技術、またはそれらの何らかの組み合わせを含み得る。追跡システムは、追跡情報を決定するように構成されている様々なシステムを含み得る。例えば、追跡システムは、１つ以上の赤外線源（例えば、構造化光源）、赤外線で画像をキャプチャすることができる１つ以上の画像センサ（例えば、赤－青－緑－赤外線カメラ）、および追跡アルゴリズムを実行するプロセッサを含み得る。追跡システムは、深度推定技術を使用して、視聴者の位置を決定することができる。いくつかの実施形態では、ＬＦディスプレイシステム４００は、本明細書で説明するように、視聴者４３０および／または視聴者４３４の追跡された位置、動作、またはジェスチャに基づいて、ホログラフィックオブジェクトを生成する。例えば、ＬＦディスプレイシステム４００は、アレイ４１０の閾値距離および／または特定の位置内に来る視聴者に応答して、ホログラフィックオブジェクトを生成することができる。
【0067】
ＬＦディスプレイシステム４００は、追跡情報に部分的に基づいて、各視聴者に合わせてカスタマイズされた１つ以上のホログラフィックオブジェクトを提示することができる。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０を提示され得るが、ホログラフィックオブジェクト４２２は提示され得ない。同様に、視聴者４３４は、ホログラフィックオブジェクト４２２を提示され得るが、ホログラフィックオブジェクト４２０は提示され得ない。例えば、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の各々の位置を追跡する。ＬＦディスプレイシステム４００は、ホログラフィックオブジェクトが提示されるべき場所に対する視聴者の位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。ＬＦディスプレイシステム４００は、決定された視点に対応する特定のピクセルから光を選択的に投影する。したがって、視聴者４３４および視聴者４３０は、潜在的に完全に異なる体験を同時に有することができる。言い換えれば、ＬＦディスプレイシステム４００は、ホログラフィックコンテンツを、視聴ボリュームの視聴サブボリューム（すなわち、図２Ｂに示される視聴サブボリューム２９０Ａ、２９０Ｂ、２９０Ｃ、および２９０Ｄと同様の）に提示することができる。例えば、例示のように、ＬＦディスプレイシステム４００は、視聴者４３０の位置を追跡できるので、ＬＦディスプレイシステム４００は、スペースコンテンツ（例えば、ホログラフィックオブジェクト４２０）を、視聴者４３０を取り囲む視聴サブボリュームに、およびサファリコンテンツ（例えば、ホログラフィックオブジェクト４２２）を、視聴者４３４を取り囲む視聴サブボリュームに提示することができる。対照的に、従来のシステムは、同様の体験を提供するために、個々のヘッドセットを使用しなければならないであろう。
【0068】
いくつかの実施形態では、ＬＦディスプレイシステム４００は、１つ以上の感覚フィードバックシステムを含み得る。感覚フィードバックシステムは、ホログラフィックオブジェクト４２０および４２２を拡張する他の感覚刺激（例えば、触覚、音声、または匂い）を提供する。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステム４００は、アレイ４１０の外部の感覚フィードバックシステム４４２を含む。一例では、感覚フィードバックシステム４４２は、アレイ４１０に結合された静電スピーカであり得る。外部感覚フィードバックシステムは、図５Ａに関してより詳細に説明される。他の例示的な実施形態では、感覚フィードバックシステムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれるＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、図３Ｂのエネルギーデバイス３４０Ａ）は、超音波エネルギーをアレイの前の視聴者に投影し、かつ／またはアレイの前の視聴者から画像情報を受信するように構成され得る。いずれの場合でも、感覚フィードバックシステムは、感覚コンテンツを、アレイ４１０によって提示されるホログラフィックコンテンツ（例えば、ホログラフィックオブジェクト４２０および／またはホログラフィックオブジェクト４２２）を見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に提示し、および／または視聴者から受信する。
【0069】
ＬＦディスプレイシステム４００は、アレイの外部の１つ以上の音響投影デバイスを含む感覚フィードバックシステム４４２を含み得る。代替的または追加的に、ＬＦディスプレイシステム４００は、本明細書で説明されるように、アレイ４１０に統合された１つ以上の音響投影デバイスを含み得る。音響投影デバイスは、体積触覚表面を投影するように構成された超音波源のアレイからなり得る。いくつかの実施形態では、触覚表面は、視聴者の一部が１つ以上の表面の閾値距離内に入る場合、ホログラフィックオブジェクトの１つ以上の表面の（例えば、ホログラフィックオブジェクト４２０の表面における）ホログラフィックオブジェクトと一致し得る。体積触覚は、ユーザがホログラフィックオブジェクトの表面をタッチして感じることを可能にし得る。複数の音響投影デバイスは、視聴者に音声コンテンツ（例えば、没入型オーディオ）を提供する可聴圧力波を投影することができる。したがって、超音波圧力波および／または可聴圧力波は、ホログラフィックオブジェクトを補完する役割を果たすことができる。
【0070】
様々な実施形態では、ＬＦディスプレイシステム４００は、視聴者の追跡された位置に部分的に基づいて、他の感覚刺激を提供することができる。例えば、図４Ａに例示されるホログラフィックオブジェクト４２２はライオンであり、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２２を視覚的（すなわち、ホログラフィックオブジェクト４２２が咆哮するように見える）および聴覚的（すなわち、１つ以上の音響投影デバイスが、ライオンの咆哮がホログラフィックオブジェクト４２２から発せられているように視聴者４３０が知覚する圧力波を投影する）の両方で咆哮させることができる。
【0071】
例示的な構成では、ホログラフィック視聴ボリュームは、図２のＬＦディスプレイシステム２００の視聴ボリューム２８５と同様の方法で制限され得ることに留意されたい。これは、視聴者が単一のウォールディスプレイユニットで体験するであろう知覚される没入感の量を制限する可能性がある。これに対処する１つの方法が、図４Ｂ～図４Ｆに関して以下に説明するように、複数の側面に沿ってタイル張りされた複数のＬＦディスプレイモジュールを使用することである。
【0072】
図４Ｂは、１つ以上の実施形態による、多面シームレス表面環境におけるＬＦディスプレイシステム４０２の一部分の斜視図である。ＬＦディスプレイシステム４０２は、複数のＬＦディスプレイモジュールがタイル張りされて多面シームレス表面環境を作成することを除いて、ＬＦディスプレイシステム４００と実質的に同様である。より具体的には、ＬＦディスプレイモジュールは、６面集合シームレス表面環境であるアレイを形成するようにタイル張りされている。図４Ｂでは、複数のＬＦディスプレイモジュールが、部屋のすべての壁、天井、および床を覆っている。他の実施形態では、複数のＬＦディスプレイモジュールは、壁、床、天井、またはそれらの何らかの組み合わせのすべてではないが、一部を覆い得る。他の実施形態では、複数のＬＦディスプレイモジュールがタイル張りされて、何らかの他の集合シームレス表面を形成する。例えば、壁は、円筒形の集合エネルギー環境が形成されるように湾曲され得る。さらに、図６～９に関して以下に説明するように、いくつかの実施形態では、ＬＦディスプレイモジュールは、会場の表面（例えば、壁など）を形成するようにタイル張りされ得る。
【0073】
ＬＦディスプレイシステム４０２は、１つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、ＬＦディスプレイシステム４０２は、ホログラフィックオブジェクト４２０を、６面集合シームレス表面環境によって囲まれたエリアに投影する。この例では、ＬＦディスプレイシステムの視聴ボリュームも、６面集合シームレス表面環境内に含まれる。例示的な構成では、視聴者４３４は、ホログラフィックオブジェクト４２０と、ホログラフィックオブジェクト４２０を形成するために使用されるエネルギー（例えば、光および／または圧力波）を投影しているＬＦディスプレイモジュール４１４との間に位置付けられ得ることに留意されたい。したがって、視聴者４３４の位置付けは、視聴者４３０が、ＬＦディスプレイモジュール４１４からのエネルギーから形成されるホログラフィックオブジェクト４２０を知覚することを妨げる可能性がある。しかしながら、例示的な構成では、（例えば、視聴者４３４によって）遮られず、エネルギーを投影してホログラフィックオブジェクト４２０を形成し、視聴者４３０によって観察され得る、例えば、ＬＦディスプレイモジュール４１６などの少なくとも１つの他のＬＦディスプレイモジュールが存在する。このように、空間内の視聴者による閉塞により、ホログラフィック投影の一部が見えなくなる可能性があるが、この影響は、ボリュームの一面にのみホログラフィックディスプレイパネルが存在する場合よりもはるかに小さい。ホログラフィックオブジェクト４２２は、ホログラフィックオブジェクトボリュームが集合表面の後ろに延在するため、６面集合シームレス表面環境の壁の「外側」に例示されている。したがって、視聴者４３０および／または視聴者４３４は、ホログラフィックオブジェクト４２２を、視聴者が全体にわたって移動することができる囲まれた６面環境の「外側」として知覚することができる。
【0074】
図４Ａを参照して前述したように、いくつかの実施形態では、ＬＦディスプレイシステム４０２は、視聴者の位置を能動的に追跡し、追跡された位置に基づいてホログラフィックコンテンツを提示するように、異なるＬＦディスプレイモジュールに動的に命令し得る。したがって、多面構成は、制約のない視聴者が、多面シームレス表面環境によって囲まれたエリア全体を自由に移動することができる、ホログラフィックオブジェクトを提供するための（例えば、図４Ａと比べて）より堅牢な環境を提供することができる。
【0075】
特に、様々なＬＦディスプレイシステムが、異なる構成を有し得る。さらに、各構成は、全体でシームレスな表示面（「集合表面」）を形成する表面の特定の配向を有し得る。すなわち、ＬＦディスプレイシステムのＬＦディスプレイモジュールは、タイル張りされて様々な集合表面を形成することができる。例えば、図４Ｂでは、ＬＦディスプレイシステム４０２は、部屋の壁に近似する６面集合表面を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。いくつかの他の例では、集合表面は、全表面（例えば、壁全体）ではなく、表面の一部（例えば、壁の半分）でのみ発生し得る。いくつかの例が本明細書に記載されている。
【0076】
いくつかの構成では、ＬＦディスプレイシステムの集合表面は、局部的な視聴ボリュームに向けてエネルギーを投影するように構成された集合表面を含み得る。局部的な視聴ボリュームにエネルギーを投影することは、例えば、特定の視聴ボリューム内の投影エネルギーの密度を上げ、そのボリューム内の視聴者のＦＯＶを広げ、視聴ボリュームを表示面に近づけることにより、より高品質の視聴体験を可能にする。
【0077】
例えば、図４Ｃは、「ウィング型」構成の集合表面を有するＬＦディスプレイシステム４５０Ａの上面図を示す。この例では、ＬＦディスプレイシステム４５０Ａは、前壁４５２、後壁４５４、第１の側壁４５６、第２の側壁４５８、天井（図示せず）、および床（図示せず）を有する部屋内に位置している。第１の側壁４５６、第２の側壁４５８、後壁４５４、床、および天井は、すべて直交している。ＬＦディスプレイシステム４５０Ａは、前壁を覆う集合表面４６０を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。前壁４５２、したがって集合表面４６０は、３つの部分、すなわち、（ｉ）後壁４５４とほぼ平行な第１の部分４６２（すなわち、中央表面）、（ｉｉ）第１の部分４６２を第１の側面４５６に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第２の部分４６４（すなわち、第１の側表面）、および（ｉｉｉ）第１の部分４６２を第２の側面４５８に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第３の部分４６６（すなわち、第２の側表面）を含む。第１の部分は、部屋内の垂直平面であり、水平および垂直軸を有する。第２および第３の部分は、水平軸に沿って部屋の中心に向かって角度が付いている。
【0078】
この例では、ＬＦディスプレイシステム４５０Ａの視聴ボリューム４６８Ａは、部屋の中央にあり、集合表面４６０の３つの部分によって部分的に囲まれている。視聴者を少なくとも部分的に囲む集合表面（「周囲表面」）は、視聴者の没入型体験を増大する。
【0079】
例示のために、例えば、中央表面のみを有する集合表面を考慮する。図２Ａを参照すると、表示面のいずれかの端から投影される光線は、上記のように理想的なホログラフィックボリュームおよび理想的な視聴ボリュームを作成する。ここで、例えば、中央表面が、視聴者に向かって角度の付いた２つの側表面を含んだ場合を考慮する。この場合、光線２５６および光線２５７は、中央表面の法線からより大きな角度で投影されるであろう。したがって、視聴ボリュームの視野が拡大するであろう。同様に、ホログラフィック視聴ボリュームは、表示面により近くなるであろう。追加的に、第２および第３の２つの部分が視聴ボリュームのより近くで傾斜しているため、表示面から一定の距離で投影されるホログラフィックオブジェクトは、その視聴ボリュームにより近い。
【0080】
簡単に言えば、中央表面のみを有する表示面は、平面視野、（中央の）表示面と視聴ボリュームとの間の平面閾値分離、およびホログラフィックオブジェクトと視聴ボリュームとの間の平面近接度を有する。視聴者に向かって角度の付いた１つ以上の側表面を追加すると、平面視野に対して視野が拡大し、表示面と視聴ボリュームとの間の分離が平面分離に対して減少し、表示面とホログラフィックオブジェクトとの間の近接度が、平面近接度に対して増大する。側表面を視聴者に向けてさらに角度を付けると、さらに視野が拡大し、分離が減少し、近接度が増大する。言い換えれば、側表面の角度の付いた配置は、視聴者の没入型体験を増大する。
【0081】
追加的に、図６に関して以下に説明するように、偏向光学系を使用して、ＬＦ表示パラメータ（例えば、寸法およびＦＯＶ）の視聴ボリュームのサイズおよび位置を最適化することができる。
【0082】
図４Ｄに戻ると、同様の例では、図４Ｄは、「スロープ」構成の集合表面を有するＬＦディスプレイシステム４５０Ｂの上面図を示す。この例では、ＬＦディスプレイシステム４５０Ｂは、前壁４５２、後壁４５４、第１の側壁（図示せず）、第２の側壁（図示せず）、天井４７２、および床４７４を有する部屋内に位置している。第１の側壁、第２の側壁、後壁４５４、床４７４、および天井４７２は、すべて直交している。ＬＦディスプレイシステム４５０Ｂは、前壁を覆う集合表面４６０を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。前壁４５２、したがって集合表面４６０は、３つの部分、すなわち、（ｉ）後壁４５４とほぼ平行な第１の部分４６２（すなわち、中央表面）、（ｉｉ）第１の部分４６２を天井４７２に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第２の部分４６４（すなわち、第１の側表面）、および（ｉｉｉ）第１の部分４６２を床４７４に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第３の部分４６４（すなわち、第２の側表面）を含む。第１の部分は、部屋内の垂直平面であり、水平および垂直軸を有する。第２および第３の部分は、垂直軸に沿って部屋の中心に向かって角度が付いている。
【0083】
この例では、ＬＦディスプレイシステム４５０Ｂの視聴ボリューム４６８Ｂは、部屋の中央にあり、集合表面４６０の３つの部分によって部分的に囲まれている。図４Ｃに示される構成と同様に、２つの側面部分（例えば、第２の部分４６４および第３の部分４６６）は、視聴者を囲んで、周囲表面を形成するように角度が付いている。周囲表面は、ホログラフィック視聴ボリューム４６８Ｂ内の任意の視聴者の視点からの視聴ＦＯＶを拡大する。追加的に、周囲表面は、投影されたオブジェクトがより近くに見えるように、視聴ボリューム４６８Ｂがディスプレイの表面により近くなることを可能にする。言い換えれば、側表面の角度の付いた配置は、視野を拡大し、分離を減少させ、集合表面の近接度を増大させ、それによって、視聴者の没入型体験を増大する。さらに、以下で考察するように、偏向光学系を使用して、視聴ボリューム４６８Ｂのサイズおよび位置を最適化することができる。
【0084】
集合表面４６０の側面部分の傾斜構成は、第３の部分４６６が傾斜していない場合よりも、ホログラフィックコンテンツが視聴ボリューム４６８Ｂにより近く提示されることを可能にする。例えば、キャラクタが提示された形態の下肢（脚など）、傾斜構成のＬＦディスプレイシステムは、平坦な前壁を有するＬＦディスプレイシステムが使用された場合よりも近く、かつより現実的に思われる可能性がある。
【0085】
追加的に、ＬＦディスプレイシステムの構成およびそれが位置している環境により、視聴ボリュームおよび視聴サブボリュームの形状および位置を知ることができる。
【0086】
図４Ｅは、例えば、部屋の前壁４５２上に集合表面４６０を有するＬＦディスプレイシステム４５０Ｃの上面図を例示する。この例では、ＬＦディスプレイシステム４５０Ｄは、前壁４５２、後壁４５４、第１の側壁４５６、第２の側壁４５８、天井（図示せず）、および床（図示せず）を有する部屋内に位置している。
【0087】
ＬＦディスプレイシステム４５０Ｃは、集合表面４６０から様々な光線を投影する。表示面の各位置から、視聴ボリュームを中心とした角度範囲で、光線が投影される。集合表面４６０の左側から投影される光線は水平角度範囲４８１を有し、集合表面の右側から投影される光線は水平角度範囲４８２を有し、集合表面４６０の中心から投影される光線は水平角度範囲４８３を有する。これらの点の間で、投影光線は、図６に関して以下に説明されるように、角度範囲の中間値を取ることができる。このように、表示面の全体で投影光線に傾斜した偏向角（ｇｒａｄｉｅｎｔ ｄｅｆｌｅｃｔｉｏｎ ａｎｇｌｅ）を有することにより、視聴ボリューム４６８Ｃが作成される。さらに、この構成は、側壁４５６および４５８に光線を投影する際のディスプレイの解像度の無駄を回避する。
【0088】
図４Ｆは、部屋の前壁４５２上に集合表面４６０を有するＬＦディスプレイシステム４５０Ｄの側面図を例示する。この例では、ＬＦディスプレイシステム４５０Ｅは、前壁４５２、後壁４５４、第１の側壁（図示せず）、第２の側壁（図示せず）、天井４７２、および床４７４を有する部屋内に位置している。この例では、床は、前壁から後壁に移動するにつれて各段が階段状に高くなるように、段になっている。ここで、床の各段は、視聴サブボリューム（例えば、表示サブボリューム４７０Ａおよび４７０Ｂ）を含む。段状の床は、重複しない視聴サブボリュームを可能にする。すなわち、各視聴サブボリュームは、別の視聴サブボリュームを通過しない、視聴サブボリュームから集合表面４６０までの視線を有する。言い換えると、この配向は「スタジアム座席」効果を生み出し、段間の垂直オフセットにより遮るもののない視線が可能になり、各段が、他の段の視聴サブボリューム「越しに見る」ことが可能になる。重なり合わない視聴サブボリュームを含むＬＦディスプレイシステムは、重なり合う視聴ボリュームを有するＬＦディスプレイシステムよりも高品質の視聴体験を提供することができる。例えば、図４Ｆに示される構成では、異なるホログラフィックコンテンツが、視聴サブボリューム４７０Ａおよび４７０Ｂ内の観客に投影され得る。
【0089】
ＬＦディスプレイシステムの制御
図５Ａは、１つ以上の実施形態による、ＬＦディスプレイシステム５００のブロック図である。ＬＦディスプレイシステム５００は、ＬＦディスプレイアセンブリ５１０およびコントローラ５２０を備える。ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影する１つ以上のＬＦディスプレイモジュール５１２を含む。ＬＦディスプレイモジュール５１２は、他のタイプのエネルギーを投影および／または感知する統合されたエネルギー源および／またはエネルギーセンサを含むソース／センサシステム５１４を含み得る。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、およびＬＦ処理エンジン５３０を含む。コントローラ５２０はまた、追跡モジュール５２６、および視聴者プロファイリングモジュール５２８を含み得る。いくつかの実施形態では、ＬＦディスプレイシステム５００はまた、感覚フィードバックシステム５７０および追跡システム５８０を含む。図１、２、３、および４の文脈の中で説明されるＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の実施形態である。他の実施形態では、ＬＦディスプレイシステム５００は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。ＬＦディスプレイシステム５００の用途についても、図６～図９に関して以下で詳細に考察する。
図５Ａは、１つ以上の実施形態による、ＬＦディスプレイシステム５００のブロック図である。ＬＦディスプレイシステム５００は、ＬＦディスプレイアセンブリ５１０およびコントローラ５２０を備える。ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影する１つ以上のＬＦディスプレイモジュール５１２を含む。ＬＦディスプレイモジュール５１２は、他のタイプのエネルギーを投影および／または感知する統合されたエネルギー源および／またはエネルギーセンサを含むソース／センサシステム５１４を含み得る。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、およびＬＦ処理エンジン５３０を含む。コントローラ５２０はまた、追跡モジュール５２６、および視聴者プロファイリングモジュール５２８を含み得る。いくつかの実施形態では、ＬＦディスプレイシステム５００はまた、感覚フィードバックシステム５７０および追跡システム５８０を含む。図１、２、３、および４の文脈の中で説明されるＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の実施形態である。他の実施形態では、ＬＦディスプレイシステム５００は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。ＬＦディスプレイシステム５００の用途についても、図６～図９に関して以下で詳細に考察する。
【0090】
ＬＦディスプレイアセンブリ５１０は、視聴ボリューム内に位置する視聴者に見え得るホログラフィックオブジェクトボリューム内にホログラフィックコンテンツを提供する。ＬＦディスプレイアセンブリ５１０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツを提供することができる。ホログラフィックコンテンツは、集合表面の前、ＬＦディスプレイアセンブリ５１０、ＬＦディスプレイアセンブリ５１０の集合表面の後ろ、またはそれらの何らかの組み合わせに投影される１つ以上のホログラフィックオブジェクトを含み得る。コントローラ５２０を用いた表示命令の生成について、以下でより詳細に説明する。
【0091】
ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイアセンブリ５１０に含まれる１つ以上のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール１１０、ＬＦディスプレイシステム２００、およびＬＦディスプレイモジュール３００のいずれか）を使用してホログラフィックコンテンツを提供する。便宜上、１つ以上のＬＦディスプレイモジュールは、本明細書ではＬＦディスプレイモジュール５１２として説明されることがある。ＬＦディスプレイモジュール５１２は、タイル張りされて、ＬＦディスプレイアセンブリ５１０を形成することができる。ＬＦディスプレイモジュール５１２は、様々なシームレス表面環境（例えば、単一面、多面、会場の壁、曲面など）として構造化され得る。つまり、タイル張りされたＬＦディスプレイモジュールが集合表面を形成する。前述のように、ＬＦディスプレイモジュール５１２は、ホログラフィックコンテンツを提示する、エネルギーデバイス層（例えば、エネルギーデバイス層２２０）およびエネルギー導波路層（例えば、エネルギー導波路層２４０）を含む。ＬＦディスプレイモジュール５１２はまた、ホログラフィックコンテンツを提示するときに、エネルギーデバイス層とエネルギー導波路層との間でエネルギーを転送するエネルギーリレー層（例えば、エネルギーリレー層２３０）を含み得る。
【0092】
ＬＦディスプレイモジュール５１２はまた、前述のように、エネルギー投影および／またはエネルギー感知のために構成されている他の統合システムを含み得る。例えば、ライトフィールドディスプレイモジュール５１２は、エネルギーを投影および／または感知するように構成されている任意の数のエネルギーデバイス（例えば、エネルギーデバイス３４０）を含み得る。便宜上、ＬＦディスプレイモジュール５１２の統合エネルギー投影システムおよび統合エネルギー感知システムは、本明細書では、総称してソース／センサシステム５１４として説明されることがある。ソース／センサシステム５１４は、ソース／センサシステム５１４が、ＬＦディスプレイモジュール５１２と同じシームレスなエネルギー面を共有するように、ＬＦディスプレイモジュール５１２内に統合されている。言い換えれば、ＬＦディスプレイアセンブリ５１０の集合表面は、ＬＦディスプレイモジュール５１２およびソース／センサモジュール５１４の両方の機能を含む。すなわち、ソース／センサシステム５１４を有するＬＦディスプレイモジュール５１２を含むＬＦアセンブリ５１０は、ライトフィールドを投影しながら、同時にエネルギーを投影し、かつ／またはエネルギーを感知することができる。例えば、ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイモジュール５１２と、前述のようにデュアルエネルギー面または双方向エネルギー面として構成されたソース／センサシステム５１４とを含み得る。
【0093】
いくつかの実施形態では、ＬＦディスプレイシステム５００は、感覚フィードバックシステム５７０を使用して、生成されたホログラフィックコンテンツを他の感覚コンテンツ（例えば、調整されたタッチ、音声または匂いなど）で拡張する。感覚フィードバックシステム５７０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツの投影を拡張することができる。一般に、感覚フィードバックシステム５７０は、ＬＦディスプレイアセンブリ５１０の外部の任意の数の感覚フィードバックデバイス（例えば、感覚フィードバックシステム４４２）を含む。いくつかの例示的な感覚フィードバックデバイスは、調整された音響投影デバイスおよび受信デバイス、芳香投影デバイス、温度調整デバイス、力作動デバイス、圧力センサ、トランスデューサなどを含み得る。場合によっては、感覚フィードバックシステム５７０は、ライトフィールドディスプレイアセンブリ５１０と同様の機能を有し得、逆もまた然りである。例えば、感覚フィードバックシステム５７０およびライトフィールドディスプレイアセンブリ５１０の両方は、サウンドフィールドを生成するように構成され得る。別の例として、感覚フィードバックシステム５７０は、触覚表面を生成するように構成され得る一方、ライトフィールドディスプレイ５１０アセンブリはそうではない。
【0094】
例示のために、ライトフィールドディスプレイシステム５００の例示的な一実施形態では、感覚フィードバックシステム５７０は、１つ以上の音響投影デバイスを含み得る。１つ以上の音響投影デバイスは、コントローラ５２０から受信された表示命令を実行するときに、ホログラフィックコンテンツを補完する１つ以上の圧力波を生成するように構成される。生成される圧力波は、例えば、可聴（音の場合）、超音波（タッチの場合）、またはそれらの何らかの組み合わせであってもよい。同様に、感覚フィードバックシステム５７０は、芳香投影デバイスを含み得る。投影デバイスは、コントローラから受信した表示命令を実行する際に、標的エリアの一部またはすべてに香りを与えるように構成することができる。芳香デバイスは、標的エリア内の気流を調整するように、空気循環システム（例えば、ダクト、ファン、通気口など）内に結び付けられ得る。さらに、感覚フィードバックシステム５７０は、温度調整デバイスを含み得る。温度調整デバイスは、コントローラ５２０から受信された表示命令を実行するときに、標的エリアの一部もしくはすべての温度を上げるか、または下げるように構成されている。
【0095】
いくつかの実施形態では、感覚フィードバックシステム５７０は、ＬＦディスプレイシステム５００の視聴者からの入力を受信するように構成される。この場合、感覚フィードバックシステム５７０は、視聴者からの入力を受信するための様々な感覚フィードバックデバイスを含む。センサフィードバックデバイスとしては、音響受信デバイス（例えば、マイクロフォン）、圧力センサ、ジョイスティック、動作検出器、トランスデューサなどのデバイスを挙げることができる。感覚フィードバックシステムは、ホログラフィックコンテンツおよび／または感覚フィードバックの生成を調整するために、検出された入力をコントローラ５２０に送信することができる。
【0096】
例示のために、ライトフィールドディスプレイアセンブリの例示的な一実施形態では、感覚フィードバックシステム５７０は、マイクロフォンを含む。マイクロフォンは、１人以上の視聴者によって生み出された音声（例えば、あえぎ、悲鳴、笑い声など）を録音するように構成される。感覚フィードバックシステム５７０は、記録された音声を、視聴者入力としてコントローラ５２０に提供する。コントローラ５２０は、視聴者入力を使用して、ホログラフィックコンテンツを生成することができる。同様に、感覚フィードバックシステム５７０は、圧力センサを含み得る。圧力センサは、視聴者によって圧力センサに加えられた力を測定するように構成される。感覚フィードバックシステム５７０は、測定された力を、視聴者入力としてコントローラ５２０に提供することができる。
【0097】
いくつかの実施形態では、ＬＦディスプレイシステム５００は、追跡システム５８０を含む。追跡システム５８０は、標的エリア内の視聴者の位置、動き、および／または特性を決定するように構成された任意の数の追跡デバイスを含む。一般に、追跡デバイスは、ＬＦディスプレイアセンブリ５１０の外部にある。いくつかの例示的な追跡デバイスとしては、カメラアセンブリ（「カメラ」）、深度センサ、構造化光、ＬＩＤＡＲシステム、カードスキャンシステム、または標的エリア内の視聴者を追跡することができる他の追跡デバイスが挙げられる。
【0098】
追跡システム５８０は、標的エリアの一部またはすべてを光で照らす１つ以上のエネルギー源を含み得る。しかしながら、場合によっては、ホログラフィックコンテンツを提示するときに、標的エリアは、自然光および／またはＬＦディスプレイアセンブリ５１０からの周囲光で照らされる。エネルギー源は、コントローラ５２０から受信された命令を実行するときに、光を投影する。光は、例えば、構造化光パターン、光のパルス（例えば、ＩＲフラッシュ）、またはそれらの何らかの組み合わせであり得る。追跡システムは、可視帯域（約３８０ｎｍ～７５０ｎｍ）内、赤外線（ＩＲ）帯域（約７５０ｎｍ～１７００ｎｍ）内、紫外線帯域（１０ｎｍ～３８０ｎｍ）内、電磁スペクトルの何らかの他の部分、またはそれらの何らかの組み合わせの光を投影することができる。ソースとしては、例えば、発光ダイオード（ＬＥＤ）、マイクロＬＥＤ、レーザーダイオード、ＴＯＦ深度センサ、波長可変レーザーなどを挙げることができる。
【0099】
追跡システム５８０は、コントローラ５２０から受信された命令を実行するときに、１つ以上の放出パラメータを調整することができる。放出パラメータは、追跡システム５８０のソースから光が投影される方法に影響を与えるパラメータである。放出パラメータとしては、例えば、明るさ、パルスレート（連続照明を含む）、波長、パルス長、ソースアセンブリから光が投影される方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。一実施形態では、ソースは、飛行時間動作で光のパルスを投影する。
【0100】
追跡システム５８０のカメラは、標的エリアから反射された光（例えば、構造化光パターン）の画像をキャプチャする。カメラは、コントローラ５２０から受信された追跡命令を実行するときに、画像をキャプチャする。前述のように、光は、追跡システム５８０のソースによって投影され得る。カメラは、１つ以上のカメラを含み得る。すなわち、カメラは、例えば、フォトダイオードのアレイ（１Ｄまたは２Ｄ）、ＣＣＤセンサ、ＣＭＯＳセンサ、追跡システム５８０によって投影される光の一部またはすべてを検出する何らかの他のデバイス、またはそれらの何らかの組み合わせであってもよい。一実施形態では、追跡システム５８０は、ＬＦディスプレイアセンブリ５１０の外部のライトフィールドカメラを含み得る。他の実施形態では、カメラは、ＬＦディスプレイアセンブリ５１０に含まれるＬＦディスプレイソース／センサモジュール５１４の一部として含まれる。例えば、前述のように、ライトフィールドモジュール５１２のエネルギーリレー要素が、エネルギーデバイス層２２０で発光ディスプレイおよび画像センサの両方をインターリーブする双方向エネルギー層である場合、ＬＦディスプレイアセンブリ５１０は、同時に、ライトフィールドを投影し、ディスプレイの前の視聴エリアからの画像情報を記録するように構成され得る。一実施形態では、双方向エネルギー面からキャプチャされた画像は、ライトフィールドカメラを形成する。カメラは、キャプチャされた画像をコントローラ５２０に提供する。
【0101】
追跡システム５８０のカメラは、コントローラ５２０から受信された追跡命令を実行するときに、１つ以上の撮像パラメータを調整することができる。撮像パラメータは、カメラが画像をキャプチャする方法に影響を与えるパラメータである。撮像パラメータとしては、例えば、フレームレート、アパーチャ、ゲイン、露光長さ、フレームタイミング、ローリングシャッターもしくはグローバルシャッターのキャプチャモード、カメラが画像をキャプチャする方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。
【0102】
コントローラ５２０は、ＬＦディスプレイアセンブリ５１０と、ＬＦディスプレイシステム５００の任意の他の構成要素と、を制御する。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、追跡モジュール５２６、視聴者プロファイリングモジュール５２８、およびライトフィールド処理エンジン５３０を備える。他の実施形態では、コントローラ５２０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。例えば、追跡モジュール５２６は、ＬＦディスプレイアセンブリ５１０または追跡システム５８０の一部であり得る。
【0103】
データストア５２２は、ＬＦディスプレイシステム５００の情報を記憶するメモリである。記憶される情報としては、表示命令、追跡命令、放出パラメータ、撮像パラメータ、標的エリアの仮想モデル、追跡情報、カメラによってキャプチャされた画像、１つ以上の視聴者プロファイル、ライトフィールドディスプレイアセンブリ５１０の較正データ、ＬＦモジュール５１２の解像度および配向を含むＬＦディスプレイシステム５１０の構成データ、所望の視聴ボリューム形状、３Ｄモデル、シーンおよび環境、材料およびテクスチャを含むグラフィックス作成のためのコンテンツ、ＬＦディスプレイシステム５００によって使用され得る他の情報、またはそれらの何らかの組み合わせを挙げることができる。データストア５２２は、読み取り専用メモリ（ＲＯＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、またはそれらの何らかの組み合わせなどのメモリである。
【0104】
ネットワークインターフェース５２４は、ライトフィールドディスプレイシステムがネットワークを介して他のシステムまたは環境と通信することを可能にする。一例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を介して、リモートのライトフィールドディスプレイシステムからホログラフィックコンテンツを受信する。別の例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を使用して、ホログラフィックコンテンツをリモートのデータストアに送信する。
【0105】
追跡モジュール５２６は、ＬＦディスプレイシステム５００によって提示されたコンテンツを視聴している視聴者を追跡する。そうするために、追跡モジュール５２６は、追跡システム５８０のソースおよび／またはカメラの動作を制御する追跡命令を生成し、追跡命令を追跡システム５８０に提供する。追跡システム５８０は、追跡命令を実行し、追跡モジュール５２６に追跡入力を提供する。
【0106】
追跡モジュール５２６は、標的エリア内の（例えば、会場の座席に座っている）１人以上の視聴者の位置を決定し得る。決定された位置は、例えば、何らかの基準点（例えば、表示面）に対するものであり得る。他の実施形態では、決定された位置は、標的エリアの仮想モデル内にあり得る。追跡された位置は、例えば、視聴者の追跡された位置および／または視聴者の一部の追跡された位置（例えば、目の場所、手の場所など）であり得る。追跡モジュール５２６は、追跡システム５８０のカメラからキャプチャされた１つ以上の画像を使用して、位置を決定する。追跡システム５８０のカメラは、ＬＦディスプレイシステム５００の周りに分配され得、画像を立体でキャプチャすることができ、追跡モジュール５２６が視聴者を受動的に追跡することを可能にする。他の実施形態では、追跡モジュール５２６は、視聴者を能動的に追跡する。すなわち、追跡システム５８０は、標的エリアのある部分を照らし、標的エリアを撮像し、追跡モジュール５２６は、飛行時間および／または構造化光深度決定技術を使用して、位置を決定する。追跡モジュール５２６は、決定された位置を使用して、追跡情報を生成する。
【0107】
追跡モジュール５２６はまた、ＬＦディスプレイシステム５００の視聴者からの入力として、追跡情報を受信することができる。追跡情報は、視聴者がＬＦディスプレイシステム５００によって提供される様々な入力オプションに対応する身体の動きを含み得る。例えば、追跡モジュール５２６は、視聴者の身体の動きを追跡し、任意の様々な動きを、入力として、ＬＦ処理エンジン５３０に割り当てることができる。追跡モジュール５２６は、追跡情報を、データストア５２２、ＬＦ処理エンジン５３０、視聴者プロファイリングモジュール５２８、ＬＦディスプレイシステム５００の任意の他の構成要素、またはそれらの何らかの組み合わせに提供することができる。
【0108】
追跡モジュール５２６の状況を提供するために、あるプレイで選手が勝利のタッチダウンをスコアするプレイを表示するＬＦディスプレイシステム５００の例示的な実施形態を検討する。シーンに応答して、視聴者はガッツポーズをして、興奮を示す。追跡システム５８０は、視聴者の手の動きを記録し、その記録を追跡モジュール５２６に送信することができる。これは、前述のように、ライトフィールドディスプレイアセンブリ５１０の外部のカメラ、深度センサ、または他のデバイスからなる追跡システム５８０を用いて、または、同時に、ライトフィールド画像を投影し、画像を記録する表示面であって、表示面から記録される画像がライトフィールド画像であり得る、表示面を用いて、もしくはこれらのデバイスの任意の組み合わせで、達成され得る。追跡モジュール５２６は、記録における視聴者の手の動作を追跡し、入力をＬＦ処理エンジン５３０に送信する。以下に説明するように、視聴者プロファイリングモジュール５２８は、視聴者の手の動作が肯定的な応答に関連付けられていることを画像内の情報が示していると決定する。したがって、十分な数の視聴者が肯定的な応答を有していると認識された場合、ＬＦ処理エンジン５３０は、タッチダウンを祝福する適切なホログラフィックコンテンツを生成する。例えば、ＬＦ処理エンジン５３０は、シーンに紙吹雪を投影し得る。
【0109】
ＬＦディスプレイシステム５００は、視聴者を識別し、かつプロファイリングするように構成された視聴者プロファイリングモジュール５２８を含む。視聴者プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００によって表示されたホログラフィックコンテンツを見る１人または複数の視聴者のプロファイルを生成する。視聴者プロファイリングモジュール５２８は、視聴者の入力および監視された視聴者の行動、動作、ならびに反応に部分的に基づいて、視聴者プロファイルを生成する。視聴者プロファイリングモジュール５２８は、追跡システム５８０から取得された情報（例えば、記録された画像、ビデオ、音声など）にアクセスし、その情報を処理して、様々な情報を決定することができる。様々な例において、視聴者プロファイリングモジュール５２８は、任意の数のマシンビジョンまたは機械聴覚アルゴリズムを使用して、視聴者の行動、動作、および反応を決定することができる。監視される視聴者の行動には、例えば、笑顔、歓声、拍手、笑い、恐怖、悲鳴、興奮レベル、反動、他のジェスチャの変化、または視聴者による動きなどが含まれ得る。
【0110】
より一般的には、視聴者プロファイルは、ＬＦディスプレイシステムからのホログラフィックコンテンツを見ている視聴者に関して受信および／または決定された任意の情報を含み得る。例えば、各視聴者プロファイルは、ＬＦディスプレイシステム５００によって表示されたコンテンツに対するその視聴者の動作または応答を記録することができる。視聴者プロファイルに含まれ得るいくつかの例示的な情報が、以下に提供される。
【0111】
いくつかの実施形態では、視聴者プロファイルは、表示された公演者（例えば、俳優、歌手など）、会場（例えば、ステージ、コンサートホールなど）に関する視聴者の応答を記述し得る。例えば、視聴者プロファイルは、１８～２５歳のつや消しのブロンドの髪を持つハンサムな男性歌手のグループとして公演を行う公演者に対して視聴者が全般的に肯定的な反応を有することを示し得る。
【0112】
いくつかの実施形態では、視聴者プロファイルは、公演を視聴する視聴者の特徴を示し得る。例えば、会場での視聴者は、大学のロゴが表示されたスウェットシャツを着用している。この場合、視聴者プロファイルは、視聴者が、スウェットシャツを着用していて、スウェットシャツにそのロゴがある大学に関連付けられたホログラフィックコンテンツを好む可能性があることを示し得る。より広義には、視聴者プロファイルに示され得る視聴者の特性としては、例えば、年齢、性別、民族、衣服、会場での視聴場所などを挙げることができる。
【0113】
いくつかの実施形態では、視聴者プロファイルは、望ましい公演および／または会場の特徴に関して視聴者の好みを示すことができる。例えば、視聴者プロファイルは、視聴者が、家族の一人ひとりの年齢に適切なホログラフィックコンテンツのみを見たがることを示す場合がある。別の例では、視聴者プロファイルは、ホログラフィックコンテンツを表示すべきホログラフィックオブジェクトボリューム（例えば、壁の上）およびホログラフィックコンテンツを表示すべきでないホログラフィックオブジェクトボリューム（例えば、視聴者の頭上）を示し得る。視聴者プロファイルはまた、視聴者が触覚インターフェースを自分たちの近くに提示させたがること、または触覚インターフェースを避けたがることを示し得る。
【0114】
別の例では、視聴者プロファイルは、特定の視聴者のために視聴された公演の履歴を示す。例えば、視聴者プロファイリングモジュール５２８は、視聴者または視聴者のグループが以前に公演に参加したことを決定する。したがって、ＬＦディスプレイシステム５００は、視聴者が公演に前回参加したときとは異なるホログラフィックコンテンツを表示し得る。一例として、ホログラフィックコンテンツを含む公演は、３つの異なるエンディングを有し得、ＬＦディスプレイシステム５００は、参加している視聴者に基づいて、異なるエンディングを表示し得る。別の例では、３つのエンディングの各々が、同じ会場の異なる視聴ボリュームに提示され得る。
【0115】
いくつかの実施形態では、視聴者プロファイルはまた、特定の視聴者ではなく、視聴者のグループの特徴および好みを示し得る。例えば、視聴者プロファイリングモジュール５２８は、会場で公演を視聴している観客のための視聴者プロファイルを生成し得る。一例では、視聴者プロファイリングモジュール５２８は、吸血鬼に恋をしているティーンエイジャーについての公演を視聴する視聴者のための視聴者プロファイルを作成する。このプロファイルは、視聴者の８６．３％が２０歳～３５歳の女性であり、公演に対して肯定的な応答を有していることを示す。プロフィールはまた、視聴者の残りの２３．７％が２０歳～３５歳の男性であり、公演に対して否定的な反応を有していることを示す。前述の情報および特徴のいずれもが、視聴者のグループに適用され得る。
【0116】
視聴者プロファイリングモジュール５２８は、特定の１人または複数の視聴者に関連付けられたプロファイルに、１つ以上のサードパーティシステムからアクセスして、視聴者プロファイルを構築することもできる。例えば、視聴者は、その視聴者のソーシャルメディアアカウントにリンクされたサードパーティベンダーを使用して、公演のチケットを購入する。したがって、視聴者のチケットは視聴者のソーシャルメディアアカウントにリンクされている。視聴者がチケットを使用して公演の会場に入ると、視聴者プロファイリングモジュール５２８は、視聴者のソーシャルメディアアカウントからの情報にアクセスして、視聴者プロファイルを構築（または拡張）することができる。
【0117】
いくつかの実施形態では、データストア５２２は、視聴者プロファイリングモジュール５２８によって生成、更新、および／または維持された視聴者プロファイルを記憶する視聴者プロファイルストアを含む。視聴者プロファイルは、視聴者プロファイリングモジュール５２８によって、いつでもデータストア内で更新され得る。例えば、一実施形態では、視聴者プロファイルストアは、特定の視聴者が、ＬＦディスプレイシステム５００によって提供されたホログラフィックコンテンツを見るときに、その特定の視聴者に関する情報を受信し、その視聴者の視聴者プロファイルに記憶する。この例では、視聴者プロファイリングモジュール５２８は、視聴者を認識し、視聴者が提示されたホログラフィックコンテンツを見るときに視聴者を確実に識別することができる顔認識アルゴリズムを含む。例示のために、視聴者がＬＦディスプレイシステム５００の標的エリアに入ると、追跡システム５８０が、視聴者の画像を取得する。視聴者プロファイリングモジュール５２８は、キャプチャされた画像を入力し、顔認識アルゴリズムを使用して視聴者の顔を識別する。識別された顔は、プロファイルストア内の視聴者プロファイルに関連付けられ、そのため、その視聴者に関して取得されたすべての入力情報が、その視聴者のプロファイルに記憶され得る。視聴者プロファイリングモジュールはまた、カード識別スキャナ、音声識別子、無線周波数識別（ＲＦＩＤ）チップスキャナ、バーコードスキャナなどを利用して、視聴者を確実に識別することができる。
【0118】
視聴者プロファイリングモジュール５２８が視聴者を確実に識別できる実施形態では、視聴者プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００への各視聴者の各訪問を決定することができる。次に、視聴者プロファイリングモジュール５２８は、各訪問の日時を各視聴者の視聴者プロファイルに記憶することができる。同様に、視聴者プロファイリングモジュール５２８は、感覚フィードバックシステム５７０、追跡システム５８０、および／またはＬＦディスプレイアセンブリ５１０の任意の組み合わせから受信された、視聴者からの入力を、入力が発生するたびに記憶することができる。視聴者プロファイルシステム５２８は、コントローラ５２０の他のモジュールまたは構成要素から視聴者に関するさらなる情報を追加的に受信することができ、この情報は、視聴者プロファイルとともに記憶され得る。次に、コントローラ５２０の他の構成要素も、その視聴者に提供される後のコンテンツを決定するために、記憶された視聴者プロファイルにアクセスすることができる。
【0119】
ＬＦ処理エンジン５３０は、ライトフィールドデータ、ならびにＬＦディスプレイシステム５００によってサポートされるすべての感覚領域のデータからなるホログラフィックコンテンツを生成する。例えば、ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０によって実行されると、ＬＦディスプレイアセンブリ５１０にホログラフィックコンテンツを提示させる、ラスタライズ化されたフォーマットの４Ｄ座標（「ラスタライズ化されたデータ」）を生成することができる。ＬＦ処理エンジン５３０は、データストア５２２からラスタライズ化されたデータにアクセスすることができる。さらに、ＬＦ処理エンジン５３０は、ベクトル化されたデータセットからラスタライズされたデータを構築することができる。ベクトル化されたデータを以下に説明する。ＬＦ処理エンジン５３０はまた、ホログラフィックオブジェクトを拡張する感覚コンテンツを提供するために必要な感覚命令を生成することができる。上記のように、感覚命令は、ＬＦディスプレイシステム５００によって実行されると、触覚表面、サウンドフィールド、およびＬＦディスプレイシステム５００によってサポートされる他の形態の感覚エネルギーを生成することができる。ＬＦデータ処理エンジン５３０は、データストア５２２から感覚命令にアクセスする、または、感覚命令を構築して、ベクトル化されたデータセットを形成することができる。全体として、４Ｄ座標および感覚データは、ホログラフィックおよび感覚コンテンツを生成するためにＬＦディスプレイシステムによって実行可能な表示命令として、ホログラフィックコンテンツを表す。より一般的には、ホログラフィックコンテンツは、理想的なライトフィールド座標を有するＣＧコンテンツ、ライブアクションコンテンツ、ラスタライズ化されたデータ、ベクトル化データ、リレーのセットによって輸送される電磁エネルギー、エネルギーデバイスのグループに送信される命令、１つ以上のエネルギー面上のエネルギー位置、表示面から投影されるエネルギー伝搬経路のセット、視聴者または観客に見えるホログラフィックオブジェクトの形態、および多くの他の同様の形態を採ることができる。
【0120】
ＬＦディスプレイシステム５００内の様々なエネルギー源を通るエネルギーの流れを説明するラスタライズされたデータの量は、信じられないほど大量である。データストア５２２からアクセスされる場合、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは可能であるが、（例えば、ネットワークインターフェース５２４を介して）効率的に送信し、受信し、その後、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは不可能である。例えば、ＬＦディスプレイシステム５００によるホログラフィック投影用の短い公演を表すラスタライズされたデータを取り上げる。この例では、ＬＦディスプレイシステム５００は、数ギガピクセルを含むディスプレイを含み、ラスタライズされたデータは、ディスプレイ上の各ピクセル場所の情報を含む。ラスタライズされたデータの対応するサイズは膨大であり（例えば、公演表示時間の毎秒多ギガバイト）、ネットワークインターフェース５２４を介した商用ネットワーク上での効率的な転送には管理できない。効率的な転送の問題は、ホログラフィックコンテンツのライブストリーミングを含むアプリケーションで増幅される可能性がある。感覚フィードバックシステム５７０または追跡モジュール５２６からの入力を使用してインタラクティブな体験が望まれる場合、単にラスタライズされたデータをデータストア５２２に記憶することに関する追加の問題が生じる。インタラクティブな体験を可能にするために、ＬＦ処理エンジン５３０によって生成されたライトフィールドコンテンツは、感覚または追跡入力に応答してリアルタイムで修正され得る。言い換えれば、場合によっては、ＬＦコンテンツは、データストア５２２から単純に読み取ることができない。
【0121】
したがって、いくつかの構成では、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを表すデータは、ベクトル化されたデータフォーマット（「ベクトル化されたデータ」）でＬＦ処理エンジン５３０に転送され得る。ベクトル化されたデータは、ラスタライズされたデータよりも桁違いに小さい場合がある。さらに、ベクトル化されたデータは、データの効率的な共有を可能にするデータセットサイズを有しながら、高い画質を提供する。例えば、ベクトル化されたデータは、より密度の高いデータセットから派生した疎なデータセットである可能性がある。したがって、ベクトル化されたデータは、密度の高いラスタライズされたデータから疎なベクトル化されたデータがどのようにサンプリングされるかに基づいて、画質とデータ送信サイズとの間の調整可能なバランスを有する可能性がある。ベクトル化されたデータを生成するための調整可能なサンプリングにより、特定のネットワーク速度での画質の最適化が可能になる。結果として、ベクトル化されたデータは、ネットワークインターフェース５２４を介したホログラフィックコンテンツの効率的な送信を可能にする。ベクトル化されたデータにより、ホログラフィックコンテンツを商用ネットワーク経由でライブストリーミングすることもできる。
【0122】
要約すると、ＬＦ処理エンジン５３０は、データストア５２２からアクセスされるラスタライズされたデータ、データストア５２２からアクセスされるベクトル化されたデータ、またはネットワークインターフェース５２４を介して受信されるベクトル化されたデータから導出されたホログラフィックコンテンツを生成することができる。様々な構成において、ベクトル化されたデータは、データ送信の前にエンコーダによって符号化され得、ＬＦコントローラ５２０による受信の後にデコーダによって復号化され得る。エンコーダとデコーダのペアは、同じ独自のシステムコーデックの一部であり得る。いくつかの例では、ベクトル化されたデータは、データ圧縮に関連する追加のデータセキュリティおよび公演の向上のために符号化される。例えば、ネットワークインターフェースによって受信されたベクトル化されたデータは、ホログラフィックストリーミングアプリケーションから受信された符号化され、ベクトル化されたデータであり得る。いくつかの例では、ベクトル化されたデータは、デコーダ、ＬＦ処理エンジン５３０、またはこれらの両方が、ベクトル化されたデータ内の符号化された情報コンテンツにアクセスすることを必要とし得る。エンコーダおよび／またはデコーダシステムは、顧客に対して利用可能である場合があるか、またはサードパーティベンダーにライセンス供与されている場合がある。他の例示的な符号化および／または復号化スキームを使用して、ホログラフィックコンテンツを送信および／または提示することができる。
【0123】
ベクトル化されたデータは、インタラクティブな体験をサポートし得る方法で、ＬＦディスプレイシステム５００によってサポートされる各感覚領域の各々の情報を含む。例えば、インタラクティブなホログラフィック体験のためのベクトル化されたデータは、ＬＦディスプレイシステム５００によってサポートされる感覚領域の各々に正確な物理学を提供することができる任意のベクトル化された特性を含み得る。ベクトル化された特性は、合成的にプログラムされ、キャプチャされ、計算により評価され得るなどの任意の特性を含み得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータのベクトル化された特性をラスタライズされたデータに変換するように構成され得る。次に、ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０を使用してベクトル化されたデータから変換されたホログラフィックコンテンツを投影することができる。様々な構成で、ベクトル化された特性には、１つ以上の赤／緑／青／アルファチャネル（ＲＧＢＡ）＋深度画像、１つの高解像度中央画像および低解像度の他のビューを含み得る様々な解像度での深度情報の有無にかかわらないマルチビュー画像、アルベドおよび反射率、表面法線、他の光学効果、表面識別、幾何学的オブジェクト座標、仮想カメラ座標、表示面の場所、照明座標、表面の接触剛性、接触延性、接触強度、サウンドフィールドの振幅および座標、環境条件、テクスチャまたは温度の機械受容器に関連する体性感覚エネルギーベクトル、音声、ならびに他の感覚領域特性の座標が含まれ得る。他の多くのベクトル化された特性も可能である。
【0124】
ＬＦディスプレイシステム５００は、インタラクティブな視聴体験を生成することもできる。すなわち、ホログラフィックコンテンツは、視聴者の場所、ジェスチャ、インタラクション、ホログラフィックコンテンツとのインタラクションに関する情報、または視聴者プロファイリングモジュール５２８および／もしくは追跡モジュール５２６ら導出された他の情報を含む入力刺激に応答することができる。例えば、一実施形態では、ＬＦ処理システム５００は、ネットワークインターフェース５２４を介して受信されたリアルタイム公演のベクトル化されたデータを使用して、インタラクティブな視聴体験を作成する。別の例では、ホログラフィックオブジェクトが、視聴者のインタラクションに応じて直ちに特定の方向に移動する必要がある場合、ＬＦ処理エンジン５３０は、ホログラフィックオブジェクトがその要求された方向に移動するように、シーンのレンダリングを更新することができる。これには、ＬＦ処理エンジン５３０が、ベクトル化されたデータセットを使用して、適切なオブジェクトの配置および動き、衝突検出、オクルージョン、色、陰影、照明などを有する３Ｄグラフィカルシーンに基づいて、リアルタイムでライトフィールドをレンダリングし、視聴者のインタラクションに正しく応答することが必要であり得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータを、ＬＦディスプレイアセンブリ５１０による提示のためにラスタライズされたデータに変換する。ＬＦディスプレイシステム５００は、ＬＦディスプレイシステムがほぼリアルタイムでホログラフィックコンテンツを提示することを可能にする様々な他の符号化／復号化技術を採用し得る。
【0125】
ラスタライズされたデータには、リアルタイムの公演を表すホログラフィックコンテンツ命令および感覚命令（表示命令）が含まれる。ＬＦディスプレイアセンブリ５１０は、表示命令を実行することによって、リアルタイムの公演のホログラフィックおよび感覚コンテンツを同時に投影する。ＬＦディスプレイシステム５００は、追跡モジュール５２６および視聴者プロファイリングモジュール５２８を用いて、提示されたリアルタイムの公演のコンテンツとの視聴者のインタラクション（例えば、音声応答、タッチなど）を監視する。視聴者のインタラクションに応答して、ＬＦ処理エンジンは、視聴者に表示するための追加のホログラフィックおよび／または感覚コンテンツを生成することによって、インタラクティブな体験を作成することができる。
【0126】
例示のために、公演中に会場の天井からバルーンが落ちてくる様子を表す複数のホログラフィックオブジェクトを生成するＬＦ処理エンジン５３０を含むＬＦディスプレイシステム５００の例示的な一実施形態を考慮する。視聴者は、バルーンを表すホログラフィックオブジェクトにタッチするように移動し得る。それに応じて、追跡システム５８０は、ホログラフィックオブジェクトに対する視聴者の手の動きを追跡する。視聴者の動きは追跡システム５８０によって記録され、コントローラ５２０に送信される。追跡モジュール５２６は、視聴者の手の動作を連続的に決定し、決定された動作をＬＦ処理エンジン５３０に送信する。ＬＦ処理エンジン５３０は、シーン内の視聴者の手の配置を決定し、ホログラフィックオブジェクトに必要な任意の変更（位置、色、またはオクルージョンなど）を含むために、グラフィックスのリアルタイムレンダリングを調整する。ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０（および／または感覚フィードバックシステム５７０）に、体積触覚投影システムを使用して（例えば、超音波スピーカを使用して）触覚表面を生成するように指示する。生成された触覚表面は、ホログラフィックオブジェクトの少なくとも一部に対応し、ホログラフィックオブジェクトの外面の一部またはすべてと実質的に同じ空間を占有する。ＬＦ処理エンジン５３０は追跡情報を使用して、ＬＦディスプレイアセンブリ５１０に、バルーンにタッチする視覚的および触覚的知覚の両方を視聴者が与えられるように、触覚表面の位置を、レンダリングされたホログラフィックオブジェクトの位置とともに移動するよう動的に指示する。より簡単に言えば、視聴者がホログラフィックバルーンにタッチしている自分の手を見ると、視聴者は同時に、手がホログラフィックバルーンにタッチし、タッチに応答してバルーンが位置または動作を変更することを示す触覚フィードバックを感じる。いくつかの例では、データストア５２２からアクセスされる公演でインタラクティブバルーンを提示するのではなく、インタラクティブバルーンは、ネットワークインターフェース５２４を介してライブストリーミングアプリケーションから受信されるホログラフィックコンテンツの一部として受信され得る。言い換えれば、ＬＦディスプレイシステム５００によって表示されるホログラフィックコンテンツは、ホログラフィックコンテンツライブストリームであり得る。
【0127】
ＬＦ処理エンジン５３０は、会場の体験を拡張するために、公演の前、最中、および／または後に会場の視聴者に表示するホログラフィックコンテンツを提供し得る。ホログラフィックコンテンツは、公演のパブリッシャによって提供されても、会場によって提供されても、広告主によって提供されても、ＬＦ処理エンジン５３０などによって生成されてもよい。ホログラフィックコンテンツは、公演、公演のジャンル、会場の位置、広告などに関連付けられたコンテンツであってもよい。いずれの場合も、ホログラフィックコンテンツは、データストア５２２に記憶されるか、またはネットワークインターフェース５２４を介してベクトル化されたフォーマットでＬＦディスプレイシステム５００にストリーミングされ得る。例えば、公演は、壁にＬＦディスプレイモジュールで拡張された会場で示され得る。公演の配信業者は、公演が始まる前に壁のディスプレイに提示するホログラフィックコンテンツを提供し得る。ＬＦ処理エンジン５３０は、ホログラフィックコンテンツにアクセスし、公演が始まる前に、会場の壁のディスプレイからアクセスされたコンテンツを提示する。別の例では、ＬＦディスプレイシステム５００を備えた会場がサンフランシスコにある。会場にはゴールデンゲートブリッジのホログラフィック表現が記憶されており、公演固有のコンテンツが提供されていない場合は、公演の前に会場に提示される。ここでは、公演固有のホログラフィックコンテンツが提供されていないため、ＬＦ処理エンジン５３０は、会場のゴールデンゲートブリッジにアクセスして提示する。別の例では、広告主は、フィルムの後に表示するために、その製品のホログラフィックコンテンツを会場に広告として提供した。公演が終了した後、ＬＦ処理エンジン５３０は、視聴者が会場を離れるときに広告を提示する。他の例では、以下に説明するように、ＬＦ処理エンジンは、劇場の壁に表示するためにホログラフィックコンテンツを動的に生成することができる。
【0128】
ＬＦ処理エンジン５００はまた、ホログラフィックコンテンツを提示している会場に適合するようにホログラフィックコンテンツを修正し得る。例えば、すべての会場が同じサイズである、同じ数の座席を有している、または同じ技術構成を有しているわけではない。したがって、ＬＦ処理エンジン５３０は、ホログラフィックコンテンツが会場内に適切に表示されるように、ホログラフィックコンテンツを修正することができる。一実施形態では、ＬＦ処理エンジン５３０は、会場のレイアウト、解像度、視野、他の技術仕様などを含む、会場の構成ファイルにアクセスすることができる。ＬＦ処理エンジン５３０は、構成ファイルに含まれる情報に基づいて、ホログラフィックコンテンツをレンダリングおよび提示することができる。
【0129】
ＬＦ処理エンジン５３０はまた、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成することができる。重要なことには、ここで、表示のためのホログラフィックコンテンツを作成することは、表示のためのホログラフィックコンテンツをアクセスすること、または受信することとは異なる。すなわち、コンテンツを作成するとき、ＬＦ処理エンジン５３０は、以前に生成および／または受信されたコンテンツをアクセスするのではなく、表示のための全く新しいコンテンツを生成する。ＬＦ処理エンジン５３０は、追跡システム５８０、感覚フィードバックシステム５７０、視聴者プロファイリングモジュール５２８、追跡モジュール５２６、またはそれらの何らかの組み合わせからの情報を使用して、表示のためのホログラフィックコンテンツを作成することができる。いくつかの例では、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００の要素からの情報（例えば、追跡情報および／または視聴者プロファイル）にアクセスし、それに応じて、その情報に基づいてホログラフィックコンテンツを作成し、作成されたホログラフィックコンテンツを、ＬＦディスプレイシステム５００を使用して表示することができる。作成されたホログラフィックコンテンツは、ＬＦディスプレイシステム５００によって表示されるときに、他の感覚コンテンツ（例えば、タッチ、音声、または匂い）で拡張され得る。さらに、ＬＦディスプレイシステム５００は、作成されたホログラフィックコンテンツが将来表示され得るように、作成されたホログラフィックコンテンツを記憶することができる。
【0130】
ＬＦディスプレイシステムのための動的コンテンツ生成
いくつかの実施形態では、ＬＦ処理エンジン５３０は、人工知能（ＡＩ）モデルを組み込んで、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成する。ＡＩモデルは、回帰モデル、ニューラルネットワーク、分類器、または他のＡＩアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。ＡＩモデルは、視聴者の行動に関する情報を含み得る、ＬＦディスプレイシステム５００によって（例えば、追跡システム５８０によって）記録された視聴者情報に基づいて、視聴者の好みを決定するために使用することができる。
いくつかの実施形態では、ＬＦ処理エンジン５３０は、人工知能（ＡＩ）モデルを組み込んで、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成する。ＡＩモデルは、回帰モデル、ニューラルネットワーク、分類器、または他のＡＩアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。ＡＩモデルは、視聴者の行動に関する情報を含み得る、ＬＦディスプレイシステム５００によって（例えば、追跡システム５８０によって）記録された視聴者情報に基づいて、視聴者の好みを決定するために使用することができる。
【0131】
ＡＩモデルは、ホログラフィックコンテンツを作成するために、データストア５２２からの情報にアクセスすることができる。例えば、ＡＩモデルは、データストア５２２内の１つまたは複数の視聴者プロファイルからの視聴者情報にアクセスすることができるか、またはＬＦディスプレイシステム５００の様々な構成要素から視聴者情報を受信することができる。例示のために、ＡＩモデルは、視聴者が、公演者が蝶ネクタイを着用しているホログラフィックコンテンツを見るのを楽しんでいると決定することができる。ＡＩモデルは、以前見た、蝶ネクタイを着用している俳優を含むホログラフィックコンテンツに対する視聴者のグループの肯定的な反応または応答に基づいて、好みを決定することができる。つまり、ＡＩモデルは、学習された視聴者の好みに従って、視聴者のセットに合わせて個人化されたホログラフィックコンテンツを作成することができる。そのため、例えば、ＡＩモデルは、ＬＦディスプレイシステム５００を使用して、視聴者のグループによって視聴されるホログラフィックコンテンツに表示される俳優に蝶ネクタイを作成することができる。ＡＩモデルはまた、学習された各視聴者の好みを、データストア５２２の視聴者プロファイルストアに記憶することができる。いくつかの例では、ＡＩモデルは、視聴者のグループではなく、個々の視聴者のためにホログラフィックコンテンツを作成することができる。
【0132】
視聴者の特徴を識別し、反応を識別し、かつ／または識別された情報に基づいてホログラフィックコンテンツを生成するために使用され得るＡＩモデルの一例が、現在の層のノードの値が前の層のノードでの値の変換である、ノードのレイヤを有する畳み込みニューラルネットワークモデルである。モデルにおける変換は、現在の層および前の層を接続する、重みおよびパラメータのセットを介して決定される。例えば、ＡＩモデルは、ノードの５つの層、すなわち層Ａ、Ｂ、Ｃ、Ｄ、およびＥを含み得る。層Ａから層Ｂへの変換は関数Ｗ１により与えられ、層Ｂから層Ｃへの変換はＷ２により与えられ、層Ｃから層Ｄへの変換はＷ３により与えられ、層Ｄから層Ｅへの変換はＷ４により与えられる。いくつかの例では、変換はまた、モデル内の前の層間を変換するために使用される重みおよびパラメータとのセットを介して決定され得る。例えば、層Ｄから層Ｅへの変換Ｗ４は、層Ａから層Ｂへの変換Ｗ１を遂行するために使用されるパラメータに基づき得る。
【0133】
モデルへの入力は、畳み込み層Ａ上に符号化された、追跡システム５８０によって撮影された画像であり得、モデルの出力は、出力層Ｅから復号されたホログラフィックコンテンツである。代替的または追加的に、出力は、画像内で決定された視聴者の特徴であり得る。この例では、ＡＩモデルは、識別層Ｃの視聴者の特徴を表す、画像内の潜在情報を識別する。ＡＩモデルは、畳み込み層Ａの次元を識別層Ｃの次元まで低減して、画像内の任意の特徴、動作、応答などを識別する。いくつかの例では、ＡＩモデルは、次に、識別層Ｃの次元を増加してホログラフィックコンテンツを生成する。
【0134】
追跡システム５８０からの画像は、畳み込み層Ａに符号化される。畳み込み層Ａに入力された画像は、識別層Ｃの様々な特徴および／または反応情報などに関連付けられ得る。これらの要素間の関連情報は、対応する層間に変換のセットを適用することによって検索され得る。すなわち、ＡＩモデルの畳み込み層Ａは、符号化された画像を表し、モデルの識別層Ｃは、笑顔の視聴者を表す。所与の画像内の笑顔の視聴者は、畳み込み層Ａの空間内の画像の画素値に変換Ｗ１およびＷ２を適用することによって識別され得る。変換の重みおよびパラメータは、画像に含まれる情報と笑顔の視聴者の識別との間の関係を示し得る。例えば、重みおよびパラメータは、画像内の笑顔の視聴者を表す情報に含まれる形状、色、サイズなどの量子化であり得る。重みおよびパラメータは、履歴データ（例えば、以前に追跡された視聴者）に基づき得る。
【0135】
画像内の笑顔の視聴者は、識別層Ｃで識別される。識別層Ｃは、画像内の笑顔の視聴者に関する潜在情報に基づいて識別された笑顔の視聴者を表す。
【0136】
画像内の識別された笑顔の視聴者を使用して、ホログラフィックコンテンツを生成することができる。ホログラフィックコンテンツを生成するために、ＡＩモデルは、識別層Ｃから開始して、変換Ｗ２およびＷ３を識別層Ｃの所与の識別された笑顔の視聴者の値に適用する。変換は、出力層Ｅのノードのセットをもたらす。変換の重みおよびパラメータは、識別された笑顔の視聴者と特定のホログラフィックコンテンツおよび／または好みとの間の関係を示し得る。ホログラフィックコンテンツが、出力層Ｅのノードから直接出力される場合もあれば、コンテンツ生成システムが、出力層Ｅのノードをホログラフィックコンテンツに復号化する場合もある。例えば、出力が、識別された特徴のセットである場合、ＬＦ処理エンジンは、その特徴を使用してホログラフィックコンテンツを生成することができる。
【0137】
追加的に、ＡＩモデルは、中間層として知られている層を含み得る。中間層は、画像に対応しない層であって、特徴／反応などを識別するか、またはホログラフィックコンテンツを生成する。例えば、所与の例では、層Ｂは、畳み込み層Ａと識別層Ｃとの間の中間層である。層Ｄは、識別層Ｃと出力層Ｅとの間の中間層である。隠れ層は、データ中では観測されないが、特徴を識別してホログラフィックコンテンツを生成するときに、画像の要素間の関係を支配し得る識別の様々な態様の潜在表現である。例えば、隠れ層のあるノードが、「笑っているヒトの笑顔」の共通点を共有する入力値および識別値と強いつながり（例えば、大きな重み値）を有している場合がある。別の例として、隠れ層の別のノードが、「怖がっているヒトの悲鳴」の共通点を共有する入力値および識別値と強いつながりを持有している場合がある。当然のことながら、ニューラルネットワークには任意の数のリンケージが存在する。追加的に、各中間層は、例えば、残差ブロック、畳み込み層、プーリング操作、スキップ接続、連結などの機能の組み合わせである。任意の数の中間層Ｂが、畳み込み層を識別層まで減らすように機能し得、任意の数の中間層Ｄが、識別層を出力層まで増加させるように機能し得る。
【0138】
一実施形態では、ＡＩモデルは、強化学習でトレーニングされた決定論的方法を含む（それにより、強化学習モデルを作成する）。モデルは、追跡システム５８０からの測定値を入力として、および作成されたホログラフィックコンテンツへの変更を出力として使用して、公演の品質を高めるようにトレーニングされる。
【0139】
強化学習は、数値的な報酬信号を最大化するために、機械が「何をすべきか」（状況を動作にマッピングする方法）を学習する機械学習システムである。学習器（例えば、ＬＦ処理エンジン５３０）は、取るべき動作（例えば、所定のホログラフィックコンテンツの生成）を告げられていないが、代わりに、動作を試行することによって、どの動作が最大の報酬をもたらすか（例えば、より多くのヒトに歓声を上げさせることによってホログラフィックコンテンツの品質を高めること）を発見する。場合によっては、動作は、即時報酬だけでなく、次の状況、かつそれを通じて、その後のすべての報酬にも影響を及ぼし得る。これらの２つの特徴（試行錯誤による探索および遅延報酬）が、強化学習の２つの際立った特徴である。
【0140】
強化学習は、学習方法を特徴づけることによってではなく、学習問題を特徴づけることによって定義される。基本的に、強化学習システムは、目標を達成するために環境とインタラクションする学習エージェントが直面している問題の重要な態様をキャプチャする。つまり、パフォーマの曲を生成する例では、強化学習システムは、現場の視聴者に関する情報（例えば、年齢、気質など）をキャプチャする。このようなエージェントは、環境の状態を感知し、状態に影響を与える動作を実行して、１つまたは複数の目標を達成する（例えば、視聴者が歓声を上げるであろうポップソングを作成する）。最も基本的な形態では、強化学習の定式化は、学習器のための３つの態様、すなわち、感覚、動作、および目標を含む。曲の例に続いて、ＬＦ処理エンジン５３０は、追跡システム５８０のセンサで環境の状態を感知し、環境内の視聴者にホログラフィックコンテンツを表示し、視聴者のその曲の受容の尺度である目標を達成する。
【0141】
強化学習で発生する課題ののうちの１つが、探索と活用との間のトレードオフである。システム内の報酬を増加させるために、強化学習エージェントは、過去に試行し、報酬を生み出すのに効果的であることがわかった動作を好む。しかしながら、報酬を生み出す動作を発見するために、学習エージェントは、以前に選択したことのない動作を選択する。エージェントは、報酬を取得するために、すでに知っている情報を「活用」するが、将来、より良い動作を選択するために、情報を「探索」する。学習エージェントは、様々な動作を試み、依然として新しい動作を試行しながら、最良と思われる動作を次第に好むようになる。確率論的タスクでは、一般的に、各動作が、期待される報酬に対する信頼できる見積もりを得るために、何度も試行される。例えば、長い時間が経過した後に視聴者が笑うことになるであろうことをＬＦ処理エンジンが知っているホログラフィックコンテンツをＬＦ処理エンジンが作成する場合、ＬＦ処理エンジンは、視聴者が笑うまでの時間が減少するように、ホログラフィックコンテンツを変更することができる。
【0142】
さらに、強化学習は、不確実環境とインタラクションする目標指向エージェントの問題全体を考慮する。強化学習エージェントは、明確な目標を有し、環境の側面を感知し得、高い報酬（すなわち、どよめく観衆）を受信するための動作を選択し得る。さらに、エージェントは、一般的に、直面する環境に関する重要な不確実性にかかわらず動作する。強化学習が計画を含む場合、システムは、計画とリアルタイムの動作選択との間の相互作用、ならびに環境要素をどのように取得して改善するかという問題に対処する。強化学習が進展するためには、重要なサブ問題を分離して研究する必要があり、サブ問題は、完全でインタラクティブなゴールシークエージェントで明確な役割を果たす。
【0143】
強化学習問題は、目標を達成するためにインタラクションが処理され、動作が実行される機械学習問題のフレーミングである。学習器および意思決定器はエージェントと呼ばれる（例えば、ＬＦ処理エンジン５３０）。エージェントの外部のすべてのものを含む、エージェントがインタラクションするものは環境と呼ばれる（例えば、現場の視聴者など）。これら２つは継続的にインタラクションし、エージェントは動作を選択し（例えば、ホログラフィックコンテンツを作成し）、環境は、それらの動作に応答して、エージェントに新しい状況を提示する。環境はまた、エージェントが時間の経過とともに最大化しようとする特別の数値的な価値である報酬を生じさせる。ある文脈では、報酬は、ホログラフィックコンテンツに対する視聴者の肯定的な反応を最大化するように機能する。環境の完全な仕様は、強化学習問題の１つの実例であるタスクを定義する。
【0144】
より多くの文脈を提供するために、エージェント（例えば、ＬＦ処理エンジン５３０）および環境は、離散時間ステップのシーケンスの各々、すなわち、ｔ＝０、１、２、３などにおいてインタラクションする。各時間ステップｔにおいて、エージェントは、環境の状態ｓｔの何らかの表現（例えば、追跡システム５８０からの測定値）を受信する。状態ｓｔはＳ内にあり、Ｓは、可能性がある状態のセットである。状態ｓｔおよび時間ステップｔに基づいて、エージェントは、で動作を選択する（例えば、パフォーマに股割りをさせる）。での動作はＡ（ｓｔ）内にあり、Ａ（ｓｔ）は、可能性がある動作のセットである。１つの時間状態の後、部分的にはエージェントの動作の結果として、エージェントは、数値的な報酬ｒｔ＋１を受信する。状態ｒｔ＋１はＲ内にあり、Ｒは、可能性がある報酬のセットである。エージェントが報酬を受信すると、エージェントは、新しい状態ｓｔ＋１を選択する。
【0145】
各タイムステップにおいて、エージェントは、状態から、各可能性がある動作を選択する確率へのマッピングを実装する。このマッピングはエージェントのポリシーと呼ばれ、πｔで表され、ここで、πｔ（ｓ，ａ）は、ｓｔ＝ｓであればａｔ＝ａとなる確率である。強化学習方法は、エージェントの動作から生じる状態および報酬の結果として、エージェントがポリシーをどのように変更するかを指示することができる。エージェントの目標は、時間の経過とともに、エージェントが受信する報酬の合計額を最大化することである。
【0146】
この強化学習フレームワークは柔軟性があり、多くの異なる方法で多くの異なる問題（例えば、ホログラフィックコンテンツの生成）に適用され得る。このフレームワークは、感覚、記憶、および制御装置の詳細が何であれ、目標指向の行動を学習するすべての問題（または目的）が、エージェントとその環境との間を行き来する３つの信号、すなわち、エージェントによって行われた選択（動作）を表す１つの信号、選択が行われた根拠（状態）を表す１つの信号、およびエージェントの目標（報酬）を定義する１つの信号にまとめられ得ることを提案する。
【0147】
当然のことながら、ＡＩモデルは、任意の数の機械学習アルゴリズムを含み得る。使用され得るいくつかの他のＡＩモデルは、線形および／またはロジスティック回帰、分類および回帰ツリー、ｋ平均法クラスタリング、ベクトル量子化などである。いずれの場合も、一般に、ＬＦ処理エンジン５３０が、追跡モジュール５２６および／または視聴者プロファイリングモジュール５２８から入力を取得し、機械学習モデルが、それに応じてホログラフィックコンテンツを作成する。同様に、ＡＩモデルは、ホログラフィックコンテンツのレンダリングを指向し得る。
【0148】
一例では、ＬＦ処理エンジン５３０は、仮想ポップスターを作成する。ＬＦ処理エンジン５３０は、データストア５２２に記憶された視聴者プロファイルに含まれる情報を使用して、仮想ポップスターを作成することができる。例えば、保存されている視聴者プロファイルに含まれている情報は、多くの視聴者が２０代半ばの流行最先端の女性ボーカリストが演奏するポップミュージックを楽しんでいることを示している。このように、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００によって流行最先端の２０代半ばの女性ボーカリストとして表示される仮想ポップスターを作成する。より明確には、ＬＦ処理エンジン５３０は、会場の視聴者の視聴者プロファイルにアクセスする。ＬＦ処理エンジン５３０は、各視聴者プロファイル内の情報をパラメータ化（例えば、定量化）する。例えば、ＬＦ処理エンジン５３０は、視聴者の年齢、位置、性別などの特徴を定量化することができる。さらに、ＬＦ処理エンジン５３０は、視聴者プロファイルに含まれる他の情報をパラメータ化することができる。例えば、視聴者プロファイルが、視聴者が女性ボーカリストの４つの公演に参加したことを示している場合、コンテンツ作成モジュールはこの傾向を定量化し得る（例えば、女性ボーカリストに対する視聴者の関心を示すスコアを生成する）。ＬＦ処理エンジン５３０は、パラメータ化されたユーザプロファイルを、入力パラメータに基づいて仮想公演者の特徴を生成するように構成されたＡＩモデル（例えば、ニューラルネットワーク）に入力し、それに応じて公演者の特徴を受信する。次に、ＬＦ処理エンジン５３０は、仮想公演者の特徴を、特徴のセットが与えられた公演者を生成するように構成されたＡＩモデル（例えば、手続き型生成アルゴリズム）に入力し、それに応答して流行最先端の２０代半ばの女性ボーカリストである仮想公演者を生成する。さらに、ＬＦ処理エンジン５３０は、仮想ポップスターのペルソナに追随するであろうホログラフィックコンテンツ（例えば、曲、公演など）を作成することができる。例えば、コンテンツ生成モジュール５３０は、嫉妬深い元ボーイフレンドについての仮想２０代半ばの女性ボーカリストのための曲を作成し得る。より明確には、ＬＦ処理エンジン５３０は、仮想公演者の特徴および視聴者に関する情報にアクセスし得、その情報をＡＩモデル（例えば、再帰型ニューラルネットワーク「ＲＮＮ」）に入力し得る。この場合もやはり、特徴および情報はパラメータ化され（例えば、分類および回帰ツリーを使用して）、ＲＮＮに入力され得る。ここで、ＲＮＮは、同様の入力パラメータを有する実世界の曲を使用してトレーニングされ得る。このように、ＲＮＮは、他の流行最先端の２０代半ばの女性ボーカリストによって作成された曲と同様の特徴を共有する、会場における視聴者に、仮想スターの仮想の曲を生成する。
【0149】
ＬＦ処理エンジン５３０は、会場で見せられた公演に基づいてホログラフィックコンテンツを作成することができる。例えば、会場で見せられる公演は、公演者の特徴を説明するメタデータのセットに関連付けられている場合がある。メタデータは、例えば、設定、ジャンル、公演者、公演タイプ、テーマ、タイトル、ランタイム、などを含み得る。ＬＦ処理エンジン５３０は、公演を記述するメタデータのいずれかにアクセスし、それに応じて、会場内に提示するためのホログラフィックコンテンツを生成することができる。例えば、「Ｔｈｅ Ｌａｓｔ Ｍｅｒｍａｎ」というタイトルの公演は、ＬＦディスプレイシステム５００で拡張された会場で上演されようとしている演劇である。ＬＦ処理エンジン５３０は、公演のメタデータにアクセスして、公演が始まる前に会場の壁のホログラフィックコンテンツを作成する。ここで、メタデータは、設定が水中であり、ジャンルがロマンスであることを含む。ＬＦ処理エンジン５３０は、メタデータをＡＩモデルに入力し、それに応じて、会場の壁に表示するためのホログラフィックコンテンツを受信する。この例では、ＬＦ処理エンジン５３０は、公演が上演され始める前に、会場の壁に表示するために海辺の夕日を作成する。
【0150】
一例では、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００を含む会場にいる視聴者に基づいて、ホログラフィックコンテンツを作成する。例えば、視聴者のグループは、ＬＦディスプレイシステム５００によって表示されるホログラフィックコンテンツによって拡張された公演を視聴するために会場に入る。視聴者プロファイリングモジュール５２８は、会場内の視聴者の視聴者プロファイルと、会場内のすべての視聴者を表す集約視聴者プロファイルと、を生成する。ＬＦ処理エンジン５３０は、集約視聴者プロファイルにアクセスし、会場内の視聴者に表示するためのホログラフィックコンテンツを作成する。例えば、会場にいる視聴者は、恋愛バラードについて有名な公演者を視聴しているカップルのグループであり、したがって、集約視聴者プロファイルは、デート中のカップルに相応しいホログラフィックコンテンツを楽しむことができることを示す情報を含む（例えば、パラメータ化し、ＡＩモデルに入力することにより）。したがって、ＬＦ処理エンジン５３０は、会場がよりロマンチックな雰囲気（例えば、キャンドル、薄暗い照明、Ｍａｒｖｉｎ Ｇａｙｅの音楽など）であるようなホログラフィックコンテンツを生成する。
【0151】
同様の例では、ＬＦ処理エンジン５３０は、以前存在していたコンテンツに基づいて、ホログラフィックコンテンツを作成し得る。ここで、以前存在していたとは、以前に録音された曲、既存の実世界の公演者などであり得る。例えば、視聴者のお気に入りのバンドは「Ｔｈｅ Ｔｏｗｎ Ｐｅｏｐｌｅ」で、お気に入りのＴｏｗｎ Ｐｅｏｐｌｅの曲のコンサートを見たいと願っている。このように、ＬＦ処理エンジン５３０は、「Ｄ．Ｍ．Ｃ．Ａ．」および「Ｉｎ ｔｈｅ Ｇｒａｖｙ」を歌うＴｏｗｎ Ｐｅｏｐｌｅの公演を作成する。この例では、ＬＦ処理エンジン５３０は、Ｔｏｗｎ Ｐｅｏｐｌｅ（例えば、データストア５２２に格納されている）からの歌手の既存の曲およびモデルにアクセスし、そのコンテンツを使用して、ＬＦディスプレイシステム５００による表示のための新しい公演を作成することができる。より明確には、コンテンツ作成システムは、データストア５２２から曲およびモデルにアクセスすることができる。ＬＦ処理エンジン５３０は、例えば、ロックバンドによる公演を作成するように構成されたＡＩモデル（例えば、手続き型生成アルゴリズム）に曲およびモデルを入力し、ＡＩモデルは、それに応答して公演のホログラフィックコンテンツを出力する。場合によっては、ＬＦ処理エンジン５３０は、著作権で保護されたコンテンツに基づいてホログラフィックコンテンツを作成しているので、視聴者および／またはＬＦ処理エンジン５３０は、著作権所有者に料金を支払い得る。
【0152】
一例では、ＬＦ処理エンジン５３０は、公演を視聴する視聴者の応答に基づいて、ホログラフィックコンテンツを作成する。例えば、会場の視聴者は、ＬＦディスプレイシステム５００によって拡張された会場での公演を視聴している。追跡モジュール５２６および視聴者プロファイリングモジュール５２８は、公演を視聴している視聴者の反応を監視する。例えば、追跡モジュール５２６は、視聴者が公演を視聴しているとき、視聴者の画像を取得し得る。追跡モジュール５２６は、視聴者を識別し、視聴者プロファイリングモジュール５２８は、マシンビジョンアルゴリズムを使用し、画像に含まれる情報に基づいて、視聴者の反応を決定することができる。例えば、ＡＩモデルを使用して、公演を視聴している視聴者が笑顔であるかどうかを識別することができ、それに応じて、視聴者プロファイリングモジュール５２８は、笑顔に基づいて、視聴者が公演に対して肯定的な応答を有しているか、否定的な応答を有しているかを視聴者プロファイルに示すことができる。他の反応も決定され得る。追跡モジュールは、視聴者の位置、視聴者の動き、視聴者のジェスチャ、視聴者の表現、視聴者の年齢、視聴者の性別、視聴者の民族性または視聴者が着用する衣服を含む視聴者に関する情報を決定し得る。この情報は、視聴者プロファイルを生成するために、視聴者プロファイリングモジュール５２８と共有され得る。実例として、ＬＦ処理エンジン５３０は、仮想コメディアンによって実行されるコメディルーチンを生成する。ＬＦディスプレイシステム５００が公演を表示するとき、追跡システム５８０および視聴者プロファイリングモジュール５２８は、視聴者の反応を監視する。この例では、視聴者は仮想コメディアンによって言われている「お父さんのジョーク」を笑っていない。それに応じて、ＬＦ処理エンジン５３０は、仮想コメディアンが特定の視聴者をからかい始めるようにコメディ公演を変更する。ここで、ＬＦ処理エンジン５３０は、ホログラフィックコンテンツを見ている視聴者に笑い声を上げさせるように構成されたＡＩモデル（例えば、強化学習モデル）に、この反応を入力し得る。観客における視聴者の反応および特徴に基づいて、ＬＦ処理エンジン５３０は、ジョークを伝えるためのアプローチを変更する。例えば、仮想コメディアンは、特定の視聴者が着用しているヒョウ柄のズボンをからかうようになる場合がある。ここで、モデルは、以前に実行されたコメディ公演と、それらの公演に対する記録されたユーザ応答を使用してトレーニングでき得る。
【0153】
同様の例では、ＬＦ処理エンジン５３０は、以前存在していたコンテンツに基づいて、ホログラフィックコンテンツを作成し得る。ここで、以前存在していたとは、以前に録音された歌、既存の実世界の公演者などであり得る。例えば、視聴者のお気に入りのバンドは「Ｔｈｅ Ｔｏｗｎ Ｐｅｏｐｌｅ」で、お気に入りのＴｏｗｎ Ｐｅｏｐｌｅの曲のコンサートを見たいと願っている。このように、ＬＦ処理エンジン５３０は、「Ｄ．Ｍ．Ｃ．Ａ．」および「Ｉｎ ｔｈｅ Ｇｒａｖｙ」を歌うタウンピープルの公演を作成する。この例では、ＬＦ処理エンジン５３０は、Ｔｏｗｎ Ｐｅｏｐｌｅ（例えば、データストア５２２に格納されている）からの歌手の既存の曲およびモデルにアクセスし、そのコンテンツを使用して、ＬＦディスプレイシステム５００による表示のための新しい公演を作成することができる。より明確には、コンテンツ作成システムは、データストア５２２から曲およびモデルにアクセスすることができる。ＬＦ処理エンジン５３０は、例えば、ロックバンドによる公演を作成するように構成されたＡＩモデル（例えば、手続き型生成アルゴリズム）に曲およびモデルを入力し、ＡＩモデルは、それに応答して公演のホログラフィックコンテンツを出力する。場合によっては、ＬＦ処理エンジン５３０は、著作権で保護されたコンテンツに基づいてホログラフィックコンテンツを作成しているので、視聴者および／またはＬＦ処理エンジン５３０は、著作権所有者に料金を支払い得る。
【0154】
同様の例では、ＬＦ処理エンジン５３０は、以前存在していた、または提供された広告コンテンツに基づいて、ホログラフィックコンテンツを作成することができる。すなわち、例えば、ＬＦ処理エンジン５３０は、ネットワークインターフェース５２４を介して、ネットワークシステムに広告を要求することができ、ネットワークシステムが、それに応じてホログラフィックコンテンツを提供し、ＬＦ処理エンジン５３０が、広告を含む、表示のためのホログラフィックコンテンツを作成する。広告のいくつかの例としては、製品、テキスト、ビデオなどを挙げることができる。広告は、特定の視聴ボリュームに、その視聴ボリューム内の視聴者に基づいて提示され得る。同様に、ホログラフィックコンテンツは、広告（例えば、プロダクトプレイスメント）で、公演を拡張し得る。最も一般的には、ＬＦ処理エンジン５３０は、前述のように、会場内の視聴者の特徴および／または反応のいずれかに基づいて、広告コンテンツを作成することができる。
【0155】
コンテンツを作成する前述の例は、限定的なものではない。最も広義には、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００の視聴者に表示するためのホログラフィックコンテンツを作成する。ホログラフィックコンテンツは、ＬＦディスプレイシステム５００に含まれる情報のいずれかに基づいて作成され得る。
【0156】
ホログラフィックコンテンツ配信ネットワーク
図５Ｂは、１つ以上の実施形態による、例示的なＬＦ公演ネットワーク５５０を示す。１つ以上のＬＦディスプレイシステムは、ＬＦ公演ネットワーク５５０に含まれ得る。ＬＦ公演ネットワーク５５０は、ネットワーク５５２を介して互いに結合された任意の数のＬＦディスプレイシステム（例えば、５００Ａ、５００Ｂ、および５００Ｃ）、ＬＦ生成システム５５４、およびネットワーキングシステム５５６を含む。他の実施形態では、ＬＦ公演ネットワーク５５０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書の記載とは異なる方法で異なるエンティティ間に分散され得る。
図５Ｂは、１つ以上の実施形態による、例示的なＬＦ公演ネットワーク５５０を示す。１つ以上のＬＦディスプレイシステムは、ＬＦ公演ネットワーク５５０に含まれ得る。ＬＦ公演ネットワーク５５０は、ネットワーク５５２を介して互いに結合された任意の数のＬＦディスプレイシステム（例えば、５００Ａ、５００Ｂ、および５００Ｃ）、ＬＦ生成システム５５４、およびネットワーキングシステム５５６を含む。他の実施形態では、ＬＦ公演ネットワーク５５０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書の記載とは異なる方法で異なるエンティティ間に分散され得る。
【0157】
図示の実施形態では、ＬＦ公演ネットワーク５５０は、ネットワーク５５２を介してホログラフィックコンテンツを受信し、視聴者にホログラフィックコンテンツを表示することができるＬＦディスプレイシステム５００Ａ、５００Ｂ、および５００Ｃを含む。ＬＦディスプレイシステム５００Ａ、５００Ｂ、および５００Ｃは、まとめてＬＦディスプレイシステム５００と呼ばれる。
【0158】
ＬＦ生成システム５５４は、ＬＦディスプレイシステムを含む公演会場で表示するためのホログラフィックコンテンツを生成するシステムである。言い換えれば、ＬＦ生成システムは、本明細書で説明されるＬＦコンテンツのいずれかを生成するように構成される。ホログラフィックコンテンツは、公演であってもよく、または従来の公演を拡張するホログラフィックコンテンツであってもよい。ＬＦ生成システム５５４は、イベントのエネルギーデータを記録するための任意の数のセンサおよび／またはプロセッサと、この記録されたエネルギーデータをホログラフィックコンテンツに変換するように構成された処理エンジンとからなるライトフィールド記録アセンブリを含み得る。例えば、ライトフィールド記録アセンブリのセンサは、画像を記録するためのカメラ、オーディオを記録するためのマイクロフォン、物体とのインタラクションを記録するための圧力センサなどを含むことができる。いくつかの例では、ＬＦ生成システム５５４のライトフィールド記録アセンブリは、複数の視点からイベントを記録するためにあるエリア（例えば、公演会場）の周りに配置された１つ以上の記録モジュール（例えば、イベントからのエネルギーデータを記録するように構成されたＬＦディスプレイモジュール、またはイベントの画像をキャプチャするための単純な２Ｄカメラ）を含む。この場合、ＬＦ生成システム５５４の処理エンジンは、複数の視点からのエネルギーをホログラフィックコンテンツに変換するように構成される。いくつかの例では、ライトフィールド記録アセンブリは、２つ以上の二次元記録システムを含み、これらは、イベントの複数の視点を三次元ホログラフィックコンテンツに変換するために処理エンジンによって使用される。ライトフィールド記録アセンブリは、例えば、深度センサおよび／またはプレノプティックカメラなどの他のセンサを含むこともできる。
【0159】
ＬＦ生成システム５５４の処理エンジンはまた、コンピュータ生成画像（ＣＧＩ）アニメーションから合成ライトフィールドデータを生成し得る。合成ライトフィールドデータは、例えば、仮想世界またはアニメーション映画からのものであり得、ライトフィールド記録アセンブリからの感覚データを拡張するために使用され得る。ＬＦ生成システム５５４の処理エンジンは、記録された感覚情報、合成データを組み合わせ、情報をホログラフィックおよび感覚コンテンツとして符号化する。ＬＦ生成システム５５４は、符号化されたホログラフィックコンテンツを、視聴者に表示するためにＬＦディスプレイシステム５００のうちの１つ以上に送信し得る。前に考察したように、効率的な転送速度のために、ＬＦディスプレイシステム５００Ａ、５００Ｂ、５００Ｃなどのデータは、ベクトル化されたデータとしてネットワーク５５２を介して転送され得る。
【0160】
より広義には、ＬＦ生成システム５５４は、公演を上演するときにＬＦディスプレイシステムによって投影され得る任意の記録された感覚データまたは合成データを使用することによって、会場で表示するためのホログラフィックコンテンツを生成する。例えば、感覚データは、記録された音声、記録された画像、オブジェクトとの記録されたインタラクションなどを含み得る。他の多くのタイプの感覚データが使用され得る。説明のために、記録された視覚的コンテンツは、３Ｄグラフィックスシーン、３Ｄモデル、オブジェクト配置、テクスチャ、色、陰影、および照明、ＡＩモデルと同様の公演変換の大規模なデータセットを使用してホログラフィックフォーマットに変換できる２Ｄ公演データ、深さチャネルの有無にかかわらず、多くのカメラを備えたカメラリグからのマルチビューカメラデータ、プレノプティックカメラデータ、ＣＧコンテンツ、または本明細書に記載の他の記録された感覚データの種類のコンテンツを含み得る。
【0161】
様々な例において、１つ以上のエネルギー領域にわたって１つ以上のセンサで記録されるイベントは、コンサート、ショー、シーン、歌唱公演、バンド公演、俳優公演、ダンサー公演、マジシャン公演、または公演会場で見られる別の種類のイベントであり得る。公演会場は、公演ホール、イベント空間、劇場、コンサートホール、スタジオ、またはステージのうちの１つ以上を含み得る。
【0162】
いくつかの構成では、ＬＦ生成システム５５４は、独自のエンコーダを使用して、公演について記録された感覚データを上述のようにベクトル化されたデータフォーマットに低減する符号化動作を実行することができる。すなわち、データをベクトル化されたデータに符号化することは、画像処理、音声処理、またはネットワーク５５２を介して送信するのがより容易なデータセットの削減をもたらす可能性がある任意の他の計算を含み得る。エンコーダは、公演製作業界の専門家が使用するフォーマットをサポートしている場合がある。他の構成では、ＬＦ生成システムは、コンテンツを符号化することなく、公演コンテンツをネットワークシステム５５６およびまたはＬＦディスプレイシステムに送信し得る。
【0163】
各ＬＦディスプレイシステム（例えば、５００Ａ、５００Ｂ、５００Ｃ）は、ネットワークインターフェース５２４を介してネットワーク５５２から符号化されたデータを受信することができる。この例では、各ＬＦディスプレイシステムは、符号化されたＬＦディスプレイデータを復号化するためのデコーダを含む。より明確には、ＬＦ処理エンジン５３０は、デコーダによって提供される復号化アルゴリズムを受信された符号化データに適用することによって、ＬＦディスプレイアセンブリ５１０のラスタライズされたデータを生成する。いくつかの例では、ＬＦ処理エンジンは、本明細書で説明するように、追跡モジュール５２６、視聴者プロファイリングモジュール５２８、および感覚フィードバックシステム５７０からの入力を使用して、ＬＦディスプレイアセンブリのラスタライズされたデータをさらに生成することができる。ＬＦディスプレイアセンブリ５１０のために生成されたラスタライズされたデータは、ＬＦ生成システム５５４によって記録されたホログラフィックコンテンツを再現する。重要なことに、各ＬＦディスプレイシステム５００Ａ、５００Ｂ、および５００Ｃは、形状、解像度などの点で、ＬＦディスプレイアセンブリの特定の構成に好適なラスタライズされたデータを生成する。いくつかの構成では、符号化および復号化のプロセスは、顧客を表示するために提供されるか、サードパーティによってライセンス供与される可能性のある独自の符号化／復号化システムの対の一部である。場合によっては、符号化／復号化システムのペアは、コンテンツ作成者に共通のプログラミングインターフェースを提供し得る独自のＡＰＩとして実装され得る。
【0164】
いくつかの構成では、ＬＦ公演ネットワーク５５０内の様々なシステム（例えば、ＬＦディスプレイシステム５００、ＬＦ生成システム５５４など）は、異なるハードウェア構成を有し得る。ハードウェア構成は、物理システム、エネルギー源、エネルギーセンサ、触覚インターフェース、センサ機能、解像度、視野、ＬＦディスプレイモジュール構成、またはＬＦ公演ネットワーク５５０内のシステムの任意の他のハードウェア記述の配置を含み得る。各ハードウェア構成は、異なるデータフォーマットで感覚データを生成または利用する場合がある。したがって、デコーダシステムは、それが提示されるＬＦディスプレイシステムのために符号化されたデータを復号化するように構成され得る。例えば、第１のハードウェア構成を有するＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００Ａ）は、第２のハードウェア構成を有するＬＦ生成システム（例えば、ＬＦ生成システム５５４）から符号化されたデータを受信する。復号化システムは、ＬＦディスプレイシステム５００Ａの第１のハードウェア構成を説明する情報にアクセスする。復号化システムは、アクセスされたハードウェア構成を使用して符号化されたデータを復号化し、その結果、復号化されたデータは、受信側ＬＦディスプレイシステム５００ＡのＬＦ処理エンジン５３０によって処理され得る。ＬＦ処理エンジン５３０は、第２のハードウェア構成に記録されているにもかかわらず、第１のハードウェア構成のラスタライズされたコンテンツを生成し、提示する。同様に、ＬＦ生成システム５５４によって記録されたホログラフィックコンテンツは、ハードウェア構成に関係なく、任意のＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００Ｂ、ＬＦディスプレイシステム５００Ｃ）によって提示することができる。ハードウェア構成に含まれ得る他の様々な態様は、解像度、度当たりの投影光線の数、視野、表示面上の偏向角、および表示面の次元などを含み得る。追加的に、ハードウェア構成はまた、ＬＦディスプレイアセンブリのディスプレイパネルの数、ディスプレイパネルの相対的な配向、ディスプレイパネルの高さ、ディスプレイパネルの幅、およびディスプレイパネルのレイアウトを含み得る。
【0165】
同様に、ＬＦ公演ネットワーク５５０内の様々なシステムは、異なる幾何学的配向を有し得る。幾何学的配向は、ＬＦディスプレイシステムに含まれる様々なモジュールとシステムの物理的なサイズ、レイアウト、および配置を反映している。したがって、デコーダシステムは、それが提示される幾何学的構成でＬＦディスプレイシステムのために符号化されたデータを復号化するように構成され得る。例えば、第１の幾何学的構成を有するＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００Ａ）は、第２の幾何学的構成を有するＬＦ生成システム（例えば、ＬＦ生成システム５５４）から符号化されたデータを受信する。復号化システムは、ＬＦディスプレイシステム５００Ａの第１の幾何学的構成を説明する情報にアクセスする。復号化システムは、アクセスされた幾何学的構成を使用して符号化されたデータを復号化し、その結果、復号化されたデータは、受信側ＬＦディスプレイシステム５００ＡのＬＦ処理エンジン５３０によって処理され得る。ＬＦ処理エンジン５３０は、第２の幾何学的構成に記録されているにもかかわらず、第１の幾何学的構成のためにコンテンツを生成および提示する。同様に、ＬＦ生成システム５５４によって記録されたホログラフィックコンテンツは、幾何学的構成に関係なく、任意のＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００Ｂ、ＬＦディスプレイシステム５００Ｃ）によって提示することができる。幾何学的構成に含まれ得る他の様々な態様は、ＬＦディスプレイアセンブリのディスプレイパネル（または表面）の数、ディスプレイパネルの相対的な配向を含み得る。
【0166】
同様に、ＬＦ公演ネットワーク５５０内の様々な会場は、異なる構成を有し得る。会場構成は、ホログラフィックオブジェクトボリュームの数および／または位置、視聴ボリュームの数および／または位置、ならびにＬＦディスプレイシステムに対する視聴場所の数および／または位置のいずれかを反映する。したがって、デコーダシステムは、それが提示される会場でＬＦディスプレイシステムのために符号化されたデータを復号化するように構成され得る。例えば、第１の会場にあるＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００Ａ）は、別の会場（または他の空間）に記録されたＬＦ生成システム（例えば、ＬＦ生成システム５５４）から符号化されたデータを受信する。復号化システムは、会場を説明する情報にアクセスする。復号化システムは、アクセスされた会場構成を使用して符号化されたデータを復号化し、その結果、復号化されたデータは、会場に設置されたＬＦ処理エンジン５３０によって処理され得る。ＬＦ処理エンジン５３０は、別の場所で記録されているにもかかわらず、会場のコンテンツを生成して提示する。
【0167】
ネットワークシステム５５６は、ＬＦ公演ネットワーク５５０内のシステム間のホログラフィックコンテンツの送信を管理するように構成された任意のシステムである。例えば、ネットワークシステム５５６は、ＬＦディスプレイシステム５００Ａからホログラフィックコンテンツについての要求を受信し、ＬＦ生成システム５５４からＬＦディスプレイシステム５００Ａへのホログラフィックコンテンツの送信を容易にし得る。ネットワークシステム５５６はまた、ＬＦ公演ネットワーク５５０での他のＬＦディスプレイシステム５００への送信および／またはそれらによる記憶のために、ホログラフィックコンテンツ、視聴者プロファイル、ホログラフィックコンテンツなどを記憶することができる。ネットワークシステム５５６はまた、前述のようにホログラフィックコンテンツを作成することができるＬＦ処理エンジン５３０を含み得る。
【0168】
ネットワークシステム５５６は、ホログラフィックコンテンツのデジタル権利を管理するためのデジタル権利管理（ＤＲＭ）モジュールを含み得る。例えば、ＬＦ生成システム５５４は、ホログラフィックコンテンツをネットワークシステム５５６に送信することができ、ＤＲＭモジュールは、デジタル暗号化フォーマットを使用してホログラフィックコンテンツを暗号化することができる。他の例では、ＬＦ生成システム５５４は、記録されたライトフィールドデータを、ＤＲＭモジュールによって管理することができるホログラフィックコンテンツフォーマットに符号化する。ネットワークシステム５５６は、各ＬＦディスプレイシステム５００が解読でき、続いてホログラフィックコンテンツを視聴者に表示できるように、ＬＦディスプレイシステムにデジタル暗号化への鍵を提供することができる。最も一般的には、ネットワークシステム５５６および／またはＬＦ生成システム５５４は、ホログラフィックコンテンツを符号化し、ＬＦディスプレイシステムは、ホログラフィックコンテンツを復号化することができる。
【0169】
ネットワークシステム５５６は、以前に記録および／または作成されたホログラフィックコンテンツのリポジトリとして機能することができる。ホログラフィックコンテンツの各部分は、受信されると、ネットワークシステム５５６に、トランザクション料金を提供するＬＦディスプレイシステム５００にホログラフィックコンテンツを送信させる取引料金に関連付けることができる。例えば、ＬＦディスプレイシステム５００Ａは、ネットワーク５５２を介してホログラフィックコンテンツへのアクセスを要求することができる。リクエストには、ホログラフィックコンテンツの取引料金が含まれる。それに応答して、ネットワークシステム５５６は、ホログラフィックコンテンツをＬＦディスプレイシステムに送信して、視聴者に表示する。他の例では、ネットワークシステム５５６は、ネットワークシステムに記憶されたホログラフィックコンテンツのサブスクリプションサービスとしても機能することができる。別の例では、ＬＦ生成システム５５４は、公演のライトフィールドデータをリアルタイムで記録し、その公演を表すホログラフィックコンテンツを生成している。ＬＦディスプレイシステム５００は、ホログラフィックコンテンツのリクエストをＬＦ生成システム５５４に送信する。リクエストには、ホログラフィックコンテンツの取引料金が含まれる。それに応答して、ＬＦ生成システム５５４は、ＬＦディスプレイシステム５００上での同時表示のためにホログラフィックコンテンツを送信する。ネットワークシステム５５６は、取引料金を交換すること、および／またはネットワーク５５２を横切るホログラフィックコンテンツデータフローを管理することにおいて仲介者として機能することができる。
【0170】
ネットワーク５５２は、ＬＦ公演ネットワーク５５０内のシステム間の通信経路を表す。一実施形態では、ネットワークはインターネットであるが、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、モバイル、有線またはワイヤレスネットワーク、クラウドコンピューティングネットワーク、プライベートネットワーク、または仮想プライベートネットワーク、およびそれらの任意の組み合わせを含むがこれらに限定されない任意のネットワークであり得る。さらに、リンクのすべてまたは一部は、セキュアソケットレイヤ（ＳＳＬ）、Ｓｅｃｕｒｅ ＨＴＴＰ、および／または仮想プライベートネットワーク（ＶＰＮ）など従来の暗号化技術を使用して暗号化できる。別の実施形態では、エンティティは、上記のものの代わりに、またはそれに加えて、カスタムおよび／または専用のデータ通信技術を使用することができる。
【0171】
会場の例
図６～８は、ＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００）を使用して公演のホログラフィックコンテンツを表示することができるいくつかの例示的な会場を示す。会場に表示される公演のホログラフィックコンテンツ（「公演コンテンツ」）は、本明細書に記載のホログラフィックコンテンツのいずれかであり得る。公演コンテンツは、実際の公演者によるライブ公演の代わりに表示され得る。会場内では、任意の数の視聴者が、任意の数の視聴ボリューム内に位置する。ＬＦディスプレイシステムは、視聴ボリューム内の視聴者が公演コンテンツを知覚するように、ホログラフィックオブジェクトボリューム（「公演ボリューム」）内の公演コンテンツを表示するように構成される。全般的に、会場内のＬＦディスプレイシステムは、シームレスなマルチサイドＬＦディスプレイを生成する公演者ボリュームの周りにライトフィールドモジュール２１０のアレイを含む。したがって、公演ボリュームは、ＬＦディスプレイモジュール２１０のアレイの集合ホログラフィックオブジェクトボリュームであり得る。
図６～８は、ＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００）を使用して公演のホログラフィックコンテンツを表示することができるいくつかの例示的な会場を示す。会場に表示される公演のホログラフィックコンテンツ（「公演コンテンツ」）は、本明細書に記載のホログラフィックコンテンツのいずれかであり得る。公演コンテンツは、実際の公演者によるライブ公演の代わりに表示され得る。会場内では、任意の数の視聴者が、任意の数の視聴ボリューム内に位置する。ＬＦディスプレイシステムは、視聴ボリューム内の視聴者が公演コンテンツを知覚するように、ホログラフィックオブジェクトボリューム（「公演ボリューム」）内の公演コンテンツを表示するように構成される。全般的に、会場内のＬＦディスプレイシステムは、シームレスなマルチサイドＬＦディスプレイを生成する公演者ボリュームの周りにライトフィールドモジュール２１０のアレイを含む。したがって、公演ボリュームは、ＬＦディスプレイモジュール２１０のアレイの集合ホログラフィックオブジェクトボリュームであり得る。
【0172】
図６は、１つ以上の実施形態による、ＬＦディスプレイシステムで拡張された伝統的な劇場である会場６００の側面図を示す。劇場では、ステージ６０２およびプロセニアムを囲む壁６０４の両方が、ステージの上のエリアがＬＦディスプレイシステムの公演ボリューム６１０であるように、ＬＦディスプレイモジュールのアレイ６４０で裏打ちされている。公演ボリューム６１０（例えば、ホログラフィックオブジェクトボリューム２５５）は、明確にするために有界の正方形として示されているが、示されている公演ボリューム６１０は、実際の公演ボリュームの一部にすぎない。例えば、公演ボリュームは、壁６０４またはステージ６０２にまで及び得る。図６では、ＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の一実施形態である。さらに、アレイ６４０内のＬＦディスプレイモジュールは、ＬＦディスプレイアセンブリ５１０の実施形態である。
【0173】
ここでは、劇場ハウスは３段になっているが、任意の数の段を含めることができる。各段は、視聴者が公演ボリューム６１０内の公演コンテンツ６３０を視聴するためのいくつかの視聴場所（例えば、視聴場所６２２Ａ、６２２Ｂ）を含む。図示のように、公演コンテンツは、実画像６３２であるが、仮想画像であってもよい。各段の視聴場所６２２は、ＬＦディスプレイシステムの視聴ボリューム（例えば、６２０Ａ、６２０Ｂ、および６２０Ｃ）に含まれる。ＬＦディスプレイシステムは、同じまたは異なる、公演コンテンツ６３０を、各視聴ボリューム６２０の視聴者に表示することができる。例えば、以下に説明するように、最下部段の視聴ボリューム６２０Ａに位置する視聴場所６２２Ａの視聴者は、中間段の視聴ボリューム６２０Ｂの視聴場所６２２Ｂの視聴者とは異なる公演コンテンツ６３０を見ることができる。
【0174】
他の実施形態では、劇場は異なる方法で構成され得る。例えば、ステージに傾斜があり、劇場にオーケストラまたはスタンディングルームエリアなどが含まれている場合がある。劇場の任意の表面（プロセニアムアーチ、天井、背景、ドレープなど）がＬＦディスプレイモジュールのアレイ６４０に含まれている場合がある。追加的に、劇場は追加の段および視聴ボリュームを有することができ、それらの段および視聴ボリュームは任意の数の構成で配置することができる。
【0175】
コンテキストの例として、図示された会場６００は、有名な公演者「Ｎ．Ｊ．」のライブ公演者コンテンツを表示するために請求されたサンフランシスコの劇場である。ただし、Ｎ．Ｊ．はニューヨーク市の会場で公演している。ニューヨーク市の会場は、Ｎ．Ｊ．の公演者を公演者コンテンツ６３０として記録し、ネットワーク（例えば、ネットワーク５５２）を介して他の会場に送信するためのＬＦ生成システム５５４を含む。サンフランシスコの会場６００は、受信された公演者コンテンツ６３０を、視聴ボリューム６２０内の視聴場所６２２の視聴者に表示するように構成されたＬＦディスプレイシステム５００を含む。公演コンテンツを受信するために、取引料金が支払われる（例えば、ネットワークシステム５５６またはＬＦ生成システム５５４に）。様々な例において、会場６００の所有者、会場６００への出席者、公演マネージャ、または他の任意のエージェントが料金を支払うことができる。公演コンテンツ６３０により、サンフランシスコでの視聴者は、Ｎ．Ｊ．が彼らの前の公演ボリューム６１０でライブにより公演しているかのように知覚することができる。これにより、サンフランシスコの視聴者はニューヨーク市に行かなくてもライブ公演を見ることができる。
【0176】
いくつかの実施形態では、会場６００は、ＬＦディスプレイシステム５００によるＮ．Ｊ．のライブ公演ディスプレイを見るために入場料を請求する。各視聴場所６２２は、異なる入場料を有することができ、全般的に、最下部視聴ボリューム６２０Ａの入場料は、最上部視聴ボリューム６２０Ｃよりも高価である。ＬＦディスプレイシステム５００は、視聴ボリューム６２０の入場料に基づいて、各視聴ボリューム６２０に対して異なる公演コンテンツ６３０を表示することができる。例えば、サンフランシスコでＮ．Ｊ．の公演を完全にレンダリングすることは、Ｎ．Ｊ．の公演を部分的にレンダリングするよりもコストがかかる可能性があり得る（例えば、処理能力、エネルギーなど）。したがって、ＬＦ処理エンジン５３０は、劇場の最下部段の視聴ボリューム６２０Ａにすべての公演コンテンツ６３０を再生しながら、劇場の最上部段の視聴ボリューム６２０Ｃに公演コンテンツ６３０の一部のみを表示することができる。例えば、公演コンテンツ６３０の一部のみを表示する場合、ＬＦ処理エンジン５３０は、公演ボリューム６１０全体ではなく、公演ボリューム６１０の一部にのみ公演コンテンツ６３０を表示することができ、ＬＦ処理エンジン５３０は、公演コンテンツ６３０（例えば、バックアップダンサー、小道具など）を除去し得、ＬＦ処理エンジン５３０は、公演コンテンツ６３０を、最下部視聴ボリューム６２０Ａなどよりも最上部視聴ボリューム６２０Ｃに対してより低い解像度でレンダリングすることができる。
【0177】
代替的または追加的に、ＬＦ処理エンジン５３０は、ホログラフィックコンテンツを作成して、視聴ボリューム６２０についての入場料に基づいて公演コンテンツ６３０を拡張することができる。例えば、ＬＦ処理エンジン５３０は、公演コンテンツ６３０と同時に表示するための広告を作成する（またはネットワークシステム５５６からアクセスする）ことができる。広告は、視聴者プロファイリングシステム５９０または追跡システム５８０によって取得された情報に基づくことができる。例えば、ＬＦ処理エンジン５３０は、ホログラフィックコンテンツに対する視聴者の特徴および応答を含む視聴者プロファイルにアクセスすることができる。ＬＦ処理エンジン５３０は、視聴者の特徴および応答に関連付けられたデータストア５２２からの広告にアクセスし、その広告を表示する。会場は、公演コンテンツ６３０を表示するときに広告を表示するために広告主から支払いを受信することができる。別の例では、あからさまに表示された広告ではなく、ＬＦ処理エンジン５３０は、スポンサー付きホログラフィックコンテンツ（例えば、製品配置）で公演コンテンツ６３０を拡張することができる。例えば、ＬＦ処理エンジン５３０は、ニューヨーク市での公演中にＮ．Ｊ．が着用している衣服を、広告主からの衣服と交換することができる。したがって、サンフランシスコの劇場で公演コンテンツ６３０を視聴する視聴者は、Ｎ．Ｊ．がニューヨーク市で着ていた服ではなく、広告主からの服を着ていると知覚する。
【0178】
図７Ａは、１つ以上の実施形態による、視聴ボリューム内の視聴場所で視聴者に公演コンテンツを表示するためのＬＦディスプレイシステムを含む別の会場７００Ａの断面を示す。会場では、ＬＦディスプレイシステムがリアルタイムのホログラフィックコンテンツおよび／もしくは記録されたホログラフィックコンテンツ、または他の追加のホログラフィックコンテンツを表示できる。ホログラフィックコンテンツには、コンサート、公演、ショー、シーン、イベントなどを表すコンテンツが含まれ得る。ホログラフィックコンテンツは、歌手、バンド、俳優、ダンサー、コメディアン、公演者などを含み得る。ホログラフィックコンテンツは、セット、ステージ、小道具、衣服、衣装、楽器などの表現も含み得る。本明細書に記載されるすべての会場は、同様のホログラフィックコンテンツを表示するように構成され得る。
【0179】
ここで、会場７００Ａは、既存の会場を拡張するのではなく、公演コンテンツ７３０を表示するように設計および構築されている。図示のように、図７Ａは、円筒形の環として形作られた会場６００の断面であり、ここで、ＬＦディスプレイシステム７４０は、環の内筒の外面を覆っている。図７Ａでは、ＬＦディスプレイシステム７４０は、ＬＦディスプレイシステム５１０の一実施形態である。さらに、ＬＦディスプレイシステム７４０は、ＬＦディスプレイシステム５００の一実施形態である。
【0180】
会場７００Ａは、段状に配置されたいくつかの視聴場所を含む。ここで、各段は、内筒の半径よりも大きい半径を持つ外筒の内面にある。各段の視聴場所７２２は、視聴ボリューム（例えば、７２０Ａ、７２０Ｂ、７２０Ｃ、７２０Ｄ、７２０Ｅ、および７２０Ｆ）内にある。ここで、公演ボリューム（例えば、７１０Ａ、７１０Ｂ、７１０Ｃ、７１０Ｄ、７１０Ｅ、および７１０Ｆ）は、外筒の内壁と内筒の外壁との間に位置している。公演ボリュームは、視聴場所７２２の視聴者が、公演ボリューム７１０に表示された公演コンテンツ７３０を知覚できるように配置される。この場合も、公演ボリューム７１０（例えば、ホログラフィックオブジェクトボリューム２５５）は、明確にするために有界の正方形として示されているが、示されている公演ボリューム７１０は、実際の公演ボリュームの一部にすぎない。例えば、公演ボリュームは、会場７００Ａの内筒にまで及ぶことができる。
【0181】
図示の例では、各公演ボリューム７１０および視聴ボリューム７２０の一部が空間的に重なっている。部分的な重なりとして示されているが、公演ボリュームおよび視聴ボリュームは完全に空間的に重なっている可能性がある。空間的重なりは、前述のように、視聴者が公演コンテンツ７３０とインタラクトすることができるエリアである。さらに、空間的重なりエリアで公演コンテンツ７３０とインタラクトするユーザは、感覚フィードバックアセンブリ５７０によって監視され得、公演コンテンツ７３０は、それに応じて変化し得る。場合によっては、会場７００は、視聴者が公演コンテンツ７３０とインタラクトすることができるエリア内の視聴場所７２２のためのより高い入場料を有し得る。
【0182】
一連のＬＦディスプレイモジュールを使用して公演コンテンツを表示するように設計された会場には、一連のＬＦディスプレイモジュールを使用して拡張された会場に比べていくつかの利点がある。例えば、会場７００Ａの異なる視聴ボリュームの視聴者は、異なる公演ボリューム（または公演ボリュームの異なるサブ部分）を見るが、会場６００の視聴ボリューム６２０の視聴者は、同じ公演ボリュームを見る。したがって、会場７００のＬＦディスプレイシステムは、各視聴ボリューム７２０に対してより良い視聴体験を生成することができる。例えば、会場７００の視聴ボリューム７２０Ａの視聴者は、視聴ボリューム７２０Ｃの視聴者と同じ公演コンテンツ７３０のビューを提供することができる。しかしながら、会場６００では、視聴ボリューム６２０Ｃでの視聴者は、視聴ボリューム６２０Ａでの視聴者よりも遠くで、かつ下で公演コンテンツ７３０を視聴している。このようにして、会場７００Ａのすべての視聴者は、住宅の中で最高の座席を持つことができる。
【0183】
追加的に、ＬＦディスプレイパラメータを考慮した公演コンテンツのレンダリングの管理は、図６の視聴ボリューム６２０に表示される公演コンテンツ６３０よりも、図７の視聴ボリューム７１０に表示される公演コンテンツ７３０の方が容易である。いくつかのＬＦディスプレイパラメータは、例えば、解像度、視野、投影距離、および視聴サブボリュームを含み得る。例示のための、図７の会場での視聴ボリューム７２０は、形状がほぼ等しく、公演ボリューム７１０からほぼ同様に離隔するように設計することができる。したがって、各視聴ボリューム７２０が同じであるため、視聴ボリューム７２０の各々への公演コンテンツ７３０のレンダリングは少なくなる。しかしながら、図６の会場では、各視聴ボリューム６２０は異なり、各視聴ボリューム６２０について、公演コンテンツ６３０の独立したレンダリングを必要とする。
【0184】
会場は、ライトフィールドディスプレイモジュールの配列が、視聴ボリューム７２０内の視聴場所にいる視聴者に公演ボリューム内の公演コンテンツを表示できるように、他の形状をとることができる。様々な形状の会場の例としては、ドーム、日よけ、トンネル、グローブ劇場などが挙げられる。
【0185】
例えば、図７Ｂは、１つ以上の実施形態による、視聴ボリューム内の視聴場所で視聴者に公演コンテンツを表示するためのＬＦディスプレイシステムを含む別の会場７００Ｂの断面を示す。会場７００Ｂは、既存の会場を拡張するのではなく、公演コンテンツ７３０を表示するように設計および構築されている。図示のように、図７Ｂは、会場７００Ｂの断面図である。図７Ｂでは、ＬＦディスプレイシステム７４０は、ＬＦディスプレイシステム５１０の一実施形態である。さらに、ＬＦディスプレイシステム７４０は、ＬＦディスプレイシステム５００の一実施形態である。
【0186】
図示の例では、会場７００Ｂは、視聴場所７２２がステージを一周する円形の劇場に似ている。ステージ７０２の床は、ステージの上のエリアが公演ボリューム（例えば、公演ボリューム７１０Ｇ）を形成するように、ＬＦディスプレイモジュールのアレイ７４０で覆われている。ＬＦディスプレイ７１０は、会場７００Ｂの視聴者が公演コンテンツを知覚でき得るように、公演ボリューム７１０Ｇ内の公演コンテンツを提示する。会場７００Ｂにおいて、視聴場所７２２は、各視聴場所の視線が、視聴ボリューム（例えば、視聴ボリューム７２０Ｇ）からの公演コンテンツ７３０の妨害されない視聴を可能にするように、傾斜を付けて配置される。ここでは、すべての視聴者に同じ公演が提供されるように、会場には１つの視聴ボリューム７２０Ｇが含まれている。他の構成では、１つ以上の表示ボリュームが存在し得る。
【0187】
より一般的には、ＬＦディスプレイシステムは、実質的に水平であるか、またはほぼ水平であるディスプレイ表面を有し得る。いくつかの例では、ＬＦディスプレイシステムは、（ｉ）会場の床の少なくとも一部、（ｉｉ）会場のステージ（例えば、ステージ７０２）の少なくとも一部、および／または（ｉｉｉ）会場内の隆起した視聴プラットフォームの少なくとも一部である表示面を含み得る。他のタイプの水平面も可能である。これらの構成の場合、視聴者は、表示面に対して高くなり、下を向いて、表示面から投影されるホログラフィック公演コンテンツを見ることができ、視聴者は、表示面を部分的または完全に囲むことができる。ライトフィールド表示面には他にも多くの構成があり、ＬＦ表示面のほぼ前に配列され、本開示の他の場所で説明されている表示位置を備えた垂直に取り付けられた表示面（図４Ｃに示す４５０Ａ、図４Ｄに示す４５０Ｂ、および図４Ｅに示す４５０Ｃ）、ならびに湾曲したＬＦ表示面を含む。
【0188】
公演ボリューム７１０Ｇは、明確にするために有界の正方形として示されているが、公演ボリューム７１０Ｇは、実際の公演ボリューム７１０Ｇの一部にすぎない場合がある。例えば、公演ボリューム７１０Ｇは、会場７００Ｂの最上部に向かってさらに延びることができる。また、公演ボリューム７１０Ｇおよび視聴ボリューム７２０Ｇの一部が空間的に重なっている。部分的な重なりとして示されているが、公演ボリュームおよび視聴ボリュームは完全に空間的に重なっている可能性がある。空間的重なりは、前述のように、視聴者が公演コンテンツ７３０とインタラクトすることができるエリアである。
【0189】
会場は、はるかに小さな場所にすることもでき得る。例えば、図８は、１つ以上の実施形態による、視聴者の居間８０２内のホームシアターとしても機能する会場８００を示している。ここで、ホームシアターは、１つの壁上のＬＦディスプレイモジュールのアレイから構成されるＬＦディスプレイシステム８１０を含む。図８では、ＬＦディスプレイシステム８１０は、ＬＦディスプレイシステム５００の一実施形態である。
【0190】
ＬＦディスプレイシステム８１０は、公演ボリューム（例えば、ホログラフィックオブジェクトボリューム２５５）および視聴ボリュームが居間８０２内で完全に重なるように構成され得る。すなわち、居間８０２内の任意の視聴場所（例えば、視聴場所８２２）において、視聴者は、公演コンテンツ８３０を視聴し、インタラクトすることができる。視聴場所８２２は椅子として示されているが、視聴者は居間を移動して公演コンテンツ８３０を視聴し得る。すなわち、視聴場所８２２は、居間８０２における視聴者の場所であり得る。
【0191】
いくつかの実施形態では、ＬＦディスプレイシステム８１０は、公演コンテンツ８３０との視聴者のインタラクションに基づいて、公演コンテンツ８３０を作成（または変更）する。例えば、視聴者は、公演コンテンツ８３０において公演者とグータッチすることができる。この状況では、視聴者は「素晴らしい、Ｎ．Ｊ．」と言って、公演コンテンツ８３０で公演者とグータッチするように手を動かすことができる。追跡システム５８０は、視聴者を監視し、視聴者が公演コンテンツ８３０において公演者とグータッチすることを望んでいることを（例えば、機械聴覚、機械視覚、ニューラルネットワークなどを介して）識別する。コンテンツ生成システム５３０は、監視された視聴者情報を使用してグータッチを返す公演者を表す公演コンテンツを（例えば、機械学習、ニューラルネットワーク、またはそれらのいくつかの組み合わせを使用して）作成する。追跡システム５８０は、視聴者の手の位置を監視し、視聴者の拳および公演者の拳が空間的に重なると、感覚フィードバックアセンブリ５７０は、視聴者が公演コンテンツで公演者とグータッチしたという感覚を作り出す。
【0192】
場合によっては、視聴者は、ネットワークシステム５５６とインタラクトして、居間８０２の公演コンテンツ８３０を獲得することができる。図５Ｂに関して説明した例を続けると、視聴者は、取引料金をネットワークシステム５５６に送信することができ、ＬＦ生成システム５５４は、ニューヨーク市で実行しているＮ．Ｊ．のホログラフィックコンテンツを会場８００に送信し得る。
【0193】
会場内の視聴者への公演コンテンツの表示
図９は、ＬＦ公演ネットワーク（例えば、ＬＦ公演ネットワーク５５０）のコンテキストで、会場（例えば、会場６００）の視聴者に公演コンテンツを表示するための方法９００のフロー図である。方法９００は、追加またはより少ないステップを含み得、それらステップは、異なる順序で起こり得る。さらに、様々なステップ、またはステップの組み合わせは、方法の実行中に何度でも繰り返すことができる。
図９は、ＬＦ公演ネットワーク（例えば、ＬＦ公演ネットワーク５５０）のコンテキストで、会場（例えば、会場６００）の視聴者に公演コンテンツを表示するための方法９００のフロー図である。方法９００は、追加またはより少ないステップを含み得、それらステップは、異なる順序で起こり得る。さらに、様々なステップ、またはステップの組み合わせは、方法の実行中に何度でも繰り返すことができる。
【0194】
始めに、ＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００）を含む会場は、公演コンテンツ（例えば、公演コンテンツ６３０）のライブストリーム（または以前に記録された）のリクエストを、ネットワーク（例えば、ネットワーク５５２）を介してネットワークシステム（例えば、ネットワークシステム５５６）に９１０において送信する。リクエストには、公演コンテンツの著作権所有者にロイヤルティを支払うのに十分な取引料金が含まれている。
【0195】
ＬＦ生成システム（例えば、ＬＦ生成システム５５４）は、ライブ公演のＬＦデータを記録し、対応する公演コンテンツをネットワークシステムに送信する。ネットワークシステムは、公演コンテンツをＬＦディスプレイシステムに送信して、ＬＦ生成システムによって記録されているのとほぼ同時に表示できるようにする。
【0196】
ＬＦディスプレイシステムは、９２０において、ネットワークを介してネットワークシステムからホログラフィック公演コンテンツ６３０を受信する。
【0197】
ＬＦディスプレイシステムは、９３０において、ＬＦディスプレイシステムおよび／または公演空間の構成を決定する。例えば、ＬＦディスプレイシステムは、解像度、度当たりの投影光線、視野、ディスプレイ表面上の偏向角、またはＬＦ表示面の次元を含む、ＬＦディスプレイのＨＷ構成を説明するいくつかのパラメータを含む構成ファイルにアクセスすることができる。構成ファイルはまた、ＬＦディスプレイパネルの数、相対的な配向、幅、高さ、およびＬＦディスプレイパネルのレイアウトを含む、ＬＦディスプレイアセンブリの幾何学的な配向に関する情報を含み得る。さらに、構成ファイルは、ホログラフィックオブジェクトボリューム、表示ボリューム、およびディスプレイパネルに対する観客の位置を含む、公演会場の構成パラメータを含み得る。
【0198】
例を通して説明するために、ＬＦディスプレイシステム５００は、９３０において、公演コンテンツを表示するために視聴ボリューム（例えば、視聴ボリューム６２０Ａ、６２０Ｂ、および６２０Ｃ）を決定する。例えば、ＬＦディスプレイシステム５００は、会場のレイアウト、幾何学的構成、および／またはハードウェア構成を説明するＬＦディスプレイシステム内の情報にアクセスすることができる。説明のために、レイアウトは、会場内の視聴場所（例えば、視聴場所６２２）の場所、間隔、およびサイズを含み得る。したがって、ＬＦディスプレイシステムは、会場の第１の段の視聴場所が第１の視聴ボリュームにあり、会場の第２の段の視聴場所が第２の視聴ボリュームにあり、会場の第３の段の視聴場所が第３の視聴ボリュームにあると決定することができる。他の様々な実施形態では、ＬＦディスプレイシステムは、会場内の任意の場所で視聴サブボリュームの任意の数および構成を決定し得る。
【0199】
ＬＦディスプレイシステム９４０は、公演会場内のＬＦディスプレイシステムのハードウェア構成、および公演会場の特定のレイアウトおよび構成に基づいて、ＬＦディスプレイシステム上に提示するためのホログラフィックコンテンツ（および他の感覚コンテンツ）を生成する。表示する提示コンテンツの決定には、会場についての提示コンテンツの適切なレンダリングまたは視聴ボリュームの表示を含めることができる。例えば、ＬＦディスプレイシステムは、（ｉ）広告で第３の段の視聴ボリュームに表示するための公演コンテンツを拡張し、公演コンテンツからライブ公演の側面を削除し、（ｉｉ）会場の第２の段の視聴ボリュームに表示するための公演コンテンツの忠実度を低下させ、かつ（ｉｉｉ）会場の第３の段の視聴ボリュームに表示するための公演コンテンツを完全にレンダリングし得る。
【0200】
ＬＦディスプレイシステムは、９５０において、各視聴ボリューム内の視聴場所にいる視聴者が適切な公演コンテンツを知覚するように、会場の公演ボリューム内の公演コンテンツを提示する。つまり、最上部視聴ボリュームの視聴者は広告付きの公演コンテンツを知覚し、中央部の視聴ボリュームの視聴者は低解像度の公演コンテンツを知覚し、最下部視聴ボリュームの視聴者は完全にレンダリングされた公演コンテンツを知覚する。
【0201】
ＬＦディスプレイシステムは、視聴者がいつでも公演を視聴している間、視聴ボリューム内の視聴者に関する情報を決定し得る。例えば、追跡システムは、視聴ボリューム内の視聴者の顔の応答を監視することができ、視聴者プロファイリングシステムは、それらの視聴ボリューム内の視聴者の特徴に関する情報にアクセスし得る。
【0202】
ＬＦディスプレイシステムは、決定された情報に基づいて、同時表示のための公演コンテンツを作成（または変更）し得る。例えば、ＬＦ処理エンジンは、視聴者について決定された情報に基づいて、ＬＦディスプレイシステムによる同時表示のためのライトショーを作成する。
【0203】
追加の構成情報
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。
【0204】
本明細書のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現の観点から、本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の当業者によって、自らの作業の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的、計算的、または論理的に説明される一方、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、これらの操作の配置を、一般性を損なうことなく、モジュールと呼ぶことが場合によっては好都合であることも判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具現化され得る。
【0205】
本明細書に記載の工程、操作、またはプロセスのうちのいずれかが、１つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独で、または他のデバイスと組み合わせて、実行または実装され得る。一実施形態では、ソフトウェアモジュールは、説明された工程、操作、またはプロセスのうちのいずれかまたはすべてを実行するために、コンピュータプロセッサによって実行され得るコンピュータ・プログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
【0206】
本開示の実施形態はまた、本明細書の操作を実行するための装置に関し得る。この装置は、要求された目的のために特別に構築され得、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
【0207】
本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生み出される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品もしくは他のデータの組み合わせの任意の実施形態を含み得る。
【0208】
最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【国際調査報告】