(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156802
(43)【公開日】2024-11-06
(54)【発明の名称】公演イベントのためのライトフィールドディスプレイシステム
(51)【国際特許分類】
G03H 1/22 20060101AFI20241029BHJP
H04N 21/41 20110101ALI20241029BHJP
H04N 13/302 20180101ALI20241029BHJP
G02B 30/00 20200101ALN20241029BHJP
【FI】
G03H1/22
H04N21/41
H04N13/302
G02B30/00
【審査請求】有
【請求項の数】1
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024124265
(22)【出願日】2024-07-31
(62)【分割の表示】P 2021567786の分割
【原出願日】2020-04-30
(31)【優先権主張番号】16/411,004
(32)【優先日】2019-05-13
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】519006883
【氏名又は名称】ライト フィールド ラボ、インコーポレイテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】カラフィン、ジョナサン、ショーン
(72)【発明者】
【氏名】ベヴェンシー、ブレンダン、エルウッド
(72)【発明者】
【氏名】ドーム、ジョン
(57)【要約】 (修正有)
【課題】会場の視聴者にホログラフィック公演コンテンツを表示するためのライトフィールド(LF)ディスプレイシステムを提供する。
【解決手段】会場のLFディスプレイシステムは、LFモジュールのアレイを形成するために、一緒にタイル張りされたLFディスプレイモジュールを含む。LFモジュールのアレイは、会場で公演コンテンツを表示するための公演ボリュームを作成する。LFモジュールのアレイは、公演コンテンツを視聴ボリュームで視聴者に表示する。LFディスプレイシステムは、LFプレゼンテーションネットワークに含めることができる。LFプレゼンテーションネットワークを使用すると、ホログラフィック公演コンテンツを1つの場所で記録することが可能となり、別の場所で表示するのが可能となる。LFプレゼンテーションネットワークは、ホログラフィック公演コンテンツのデジタル権利を管理するためのネットワークシステムを含む。
【選択図】
図6
【特許請求の範囲】
【請求項1】
ライトフィールド(LF)ディスプレイシステムであって、
符号化されたホログラフィックコンテンツをネットワークを介して受信するように構成されたネットワークインターフェースと、
前記符号化されたホログラフィックコンテンツをLFディスプレイアセンブリによって提示可能なフォーマットに復号化するように構成されたデコーダと、
復号化されたホログラフィックコンテンツを会場の観客に提示するように構成されたライトフィールドディスプレイアセンブリと、を備える、LFディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、国際出願第PCT/US2017/042275号、同第PCT/US2017/042276号、同第PCT/US2017/042418号、同第PCT/US2017/042452号、同第PCT/US2017/042462号、同第PCT/US2017/042466号、同第PCT/US2017/042467号、同第PCT/US2017/042468号、同第PCT/US2017/042469号、同第PCT/US2017/042470号、および同第PCT/US2017/042679号に関連し、これらはすべて、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
本開示は、公演会場での公演に関連し、具体的には、公演会場で公演を表示するためのライトフィールドディスプレイシステムに関する。
【0003】
伝統的に、公演会場(例えば、劇場、コンサートホールなど)は、会場に出席する視聴者(例えば、ファン、常連客など)が公演者(例えば、バンド、一座、コメディなど)からライブ公演(例えば、コンサート、演劇、コメディショーなど)をリアルタイムで視聴することができるように構成されている。残念ながら、場合によっては、会場で公演を開催することが、公演を視聴したい視聴者の能力を制限してしまう。例えば、公演が売り切れている、不便な時間にある、または視聴者から遠く離れて位置している可能性がある。映画のスクリーンまたはテレビなどの二次元の表面に公演を記録して再生することもあるが、これらの再生では、ライブ公演の会場に存在する雰囲気および興奮をほとんど再現できない。そのため、視聴者があたかもライブ公演にいるかのように公演を知覚でき得るように公演について構成されている会場は有益であり得る。
【発明の概要】
【0004】
会場(劇場、コンサートホールなど)での公演のホログラフィックコンテンツを表示するためのライトフィールド(LF)ディスプレイシステム。LFディスプレイシステムは、会場での表面(例えば、ステージなど)を形成するLFディスプレイモジュールを含み、LFディスプレイモジュールは各々、ある表示エリアを有し、かつその表示エリアより大きい有効表示エリアを有するシームレスな表示面を形成するように一緒にタイル張りされている。LFディスプレイモジュールは、会場の視聴者が公演を知覚できるように、公演ボリュームから公演のホログラフィックコンテンツを表示する。
【0005】
いくつかの実施形態では、公演のホログラフィックコンテンツは、別の会場で同時に発生する公演の複製であり得、コンテンツ作成システムによって会場で表示するために作成され、かつ/またはデータストアから会場で表示するためにアクセスされる。ホログラフィックコンテンツは、ホログラフィックコンテンツのデジタル権利の管理を担当するネットワークシステムによって管理することができる。例えば、会場での視聴者は、会場で表示するホログラフィックコンテンツにアクセスするための取引料金を支払い得る。
【0006】
いくつかの実施形態では、LFディスプレイシステムは、追跡システムおよび/または視聴者プロファイリングモジュールを含む。追跡システムおよび視聴者プロファイリングシステムは、会場内の視聴者の特徴、視聴者を説明する視聴者プロファイル、および/または会場内のホログラフィックコンテンツに対する視聴者の応答を監視および記憶することができる。会場に表示するために作成されたホログラフィックコンテンツは、監視または記憶された情報のいずれかに基づき得る。
【0007】
いくつかの実施形態では、ユーザはホログラフィックコンテンツとインタラクトすることができ、インタラクションは、ホログラフィックコンテンツ作成システムの入力の機能を果たすことができる。例えば、いくつかの実施形態では、LFディスプレイシステムの一部またはすべては、複数の超音波スピーカを含む。複数の超音波スピーカは、ホログラフィックコンテンツの少なくとも一部分と一致する触覚表面を生成するように構成される。追跡システムは、(例えば、LFディスプレイモジュールの画像センサおよび/またはいくつかの他のカメラによってキャプチャされた画像を介して)ユーザのホログラフィックオブジェクトとのインタラクションを追跡するように構成されている。また、LFディスプレイシステムは、インタラクションに基づいて、ホログラフィックコンテンツを作成して提供するように構成されている。
【図面の簡単な説明】
【0008】
【
図1】1つ以上の実施形態による、ホログラフィックオブジェクトを提示するライトフィールドディスプレイモジュールの図である。
【
図2A】1つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
【
図2B】1つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
【
図3A】1つ以上の実施形態による、ライトフィールドディスプレイモジュールの斜視図である。
【
図3B】1つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むライトフィールドディスプレイモジュールの断面図である。
【
図4A】1つ以上の実施形態による、単一面シームレス表面環境を形成するために二次元にタイル張りされたライトフィールドディスプレイシステムの一部分の斜視図である。
【
図4B】1つ以上の実施形態による、多面シームレス表面環境におけるライトフィールドディスプレイシステムの一部分の斜視図である。
【
図4C】1つ以上の実施形態による、ウィング型構成の集合表面を有するライトフィールドディスプレイシステムの上面図である。
【
図4D】1つ以上の実施形態による、傾斜構成の集合表面を有するライトフィールドディスプレイシステムの側面図である。
【
図4E】1つ以上の実施形態による、部屋の前壁に集合表面を有するライトフィールドディスプレイシステムの上面図である。
【
図4F】1つ以上の実施形態による、部屋の前壁に集合表面を有するLFディスプレイシステムの側面図の側面図である。
【
図5A】1つ以上の実施形態による、ライトフィールドディスプレイシステムのブロック図である。
【
図5B】1つ以上の実施形態による、例示的なLFフィルムネットワーク550を示す。
【
図6】1つ以上の実施形態による、LFディスプレイシステムで拡張された伝統的な劇場である会場600の側面図である。
【
図7A】1つ以上の実施形態による、視聴ボリューム内の視聴場所で視聴者に公演コンテンツを表示するためのLFディスプレイシステムを含む第1の会場の断面図である。
【
図7B】1つ以上の実施形態による、視聴ボリューム内の視聴場所で視聴者に公演コンテンツを表示するためのLFディスプレイシステムを含む第2の会場の断面図である。
【
図8】1つ以上の実施形態による、視聴者の居間でホームシアターとしても機能する会場を示す図である。
【
図9】LF公演ネットワーク内の公演のホログラフィックを表示する方法を示すフロー図である。
【0009】
この図は、例示のみを目的として、本発明の様々な実施形態を示す。当業者は、以下の考察から、本明細書において例示される構造および方法の代替の実施形態が、本明細書に記載される本発明の原理から逸脱することなく採用され得ることを容易に認識するであろう。」
【発明を実施するための形態】
【0010】
概要
ライトフィールド(LF)ディスプレイシステムは、公演用の設定として機能する会場に実装されている。例えば、公演は、コンサート、演劇、コメディショー、ダンスリサイタルなどであり得る。LFディスプレイシステムは、LFディスプレイシステムの視聴ボリューム内の1人以上のユーザに見えるであろう1つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたLFディスプレイアセンブリを備える。LFディスプレイアセンブリは、会場の1つ以上の表面(例えば、ステージ)の一部またはすべてにわたって、多面シームレス表面を形成し得る。LFディスプレイシステムは、会場の視聴者にホログラフィックコンテンツを提示でき得る。視聴者は通常、会場での公演に参加するが、会場でホログラフィックコンテンツを視聴できる場所にいるヒトなら誰でもかまわない。ホログラフィックオブジェクトはまた、他の感覚刺激(例えば、触覚および/または音声)で拡張され得る。例えば、LFディスプレイシステム内の超音波エミッタは、ホログラフィックオブジェクトの一部またはすべてに対して触覚表面を提供する超音波圧力波を放出することができる。ホログラフィックコンテンツは、追加のビジュアルコンテンツ(すなわち、2Dまたは3Dビジュアルコンテンツ)を含み得る。まとまりのある体験が可能であることを確実にするエミッタの協調が、マルチエミッタ実装形態のシステムの一部(すなわち、任意の所与の時点で正しい触感および感覚刺激を提供するホログラフィックオブジェクト)である。
【0011】
いくつかの実施形態では、LFディスプレイシステムは、会場のステージを形成する複数のLFディスプレイモジュールを含む。ステージを形成するLFディスプレイモジュールは、会場で、公演のホログラフィックコンテンツを投影するように構成し得る。このようにして、会場の視聴者はステージにおけるホログラフィック公演を知覚することができる。例えば、LFディスプレイシステムは、コンサートを行うバンド、バレエをデビューさせるダンスカンパニー、または演劇を演じる劇団を表示し得る。いくつかの実施形態では、LFディスプレイシステムは、会場内の視聴者に表示するためのホログラフィックコンテンツを作成し得る。例えば、LFディスプレイシステムは、仮想公演者のために作成された曲を会場の視聴者に演奏するための仮想公演者を作成し得る。
【0012】
いくつかの実施形態では、LFディスプレイシステムは、システムが、少なくとも1つのタイプのエネルギーを同時に放出し、同時に、作成したホログラフィックコンテンツに応答する目的のために少なくとも1つのタイプのエネルギーを吸収し得る要素を含み得る。例えば、LFディスプレイシステムは、見るためのホログラフィックオブジェクトおよび触覚知覚のための超音波の両方を放出し、それと同時に、視聴者の追跡および他のシーン分析のための画像情報を吸収する一方、ユーザによるタッチ応答を検出するために超音波を吸収する。一例として、そのようなシステムは、クラウドサーフィングであるホログラフィック公演者を投影し得、視聴者が事実上「触れた」ときに、公演者が自分の手にあるような錯覚を視聴者に与えることができる。環境のエネルギー感知を実行するディスプレイシステムの構成要素は、エネルギーの放出および吸収の両方を行う双方向エネルギー要素を介して表示面に統合され得るか、または超音波スピーカおよびカメラなどの撮像キャプチャデバイスなど、表示面とは別の専用のセンサであり得る。
【0013】
LFディスプレイシステムは、LF公演ネットワークの一部とすることができる。LF公演ネットワークにより、LFデータをある場所で記録し、符号化し、別の場所に送信し、復号化し、ホログラフィックコンテンツとして会場の視聴者に表示するのを可能にする。これにより、複数の会場の視聴者が他の会場で行われているライブ公演を知覚するのを可能にする。いくつかの実施形態では、LFディスプレイシステムは、ホログラフィックコンテンツのデジタル権利を管理するネットワークシステムを含む。
【0014】
ライトフィールドディスプレイシステム
図1は、1つ以上の実施形態による、ホログラフィックオブジェクト120を提示するライトフィールド(LF)ディスプレイモジュール110の図である。LFディスプレイモジュール110は、ライトフィールド(LF)ディスプレイシステムの一部である。LFディスプレイシステムは、1つ以上のLFディスプレイモジュールを使用して、少なくとも1つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。LFディスプレイシステムは、1人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、LFディスプレイシステムはまた、他の感覚コンテンツ(例えば、タッチ、音声、匂い、温度など)でホログラフィックコンテンツを拡張することができる。例えば、以下で考察されるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成することができる。LFディスプレイシステムは、1つ以上のLFディスプレイモジュール110を含んでおり、
図2A~
図5Bに関して以下で詳細に考察される。
【0015】
LFディスプレイモジュール110は、ホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト120)を1人以上の視聴者(例えば、視聴者140)に提示するホログラフィックディスプレイである。LFディスプレイモジュール110は、エネルギーデバイス層(例えば、発光電子ディスプレイまたは音響投影デバイス)と、エネルギー導波路層(例えば、光学レンズアレイ)と、を含む。追加的に、LFディスプレイモジュール110は、複数のエネルギー源または検出器を一緒に組み合わせて単一の表面を形成するために、エネルギーリレー層を含み得る。高レベルでは、エネルギーデバイス層は、エネルギー(例えば、ホログラフィックコンテンツ)を生成し、このエネルギーは次に、エネルギー導波路層を使用して、1つ以上の四次元(4D)ライトフィールド関数に従って空間内の領域に指向される。LFディスプレイモジュール110はまた、1つ以上のタイプのエネルギーの投影および/または感知を同時に行うことができる。例えば、LFディスプレイモジュール110は、ホログラフィック画像ならびに超音波触覚表面を視聴ボリューム内に投影することができ得る一方、同時に、視聴ボリュームからの画像データを検出する。LFディスプレイモジュール110の表示エリア150と視聴者140との間のホログラフィック画像は、画像を形成する焦点の集合が収束線光線である実画像である。追加的に、LFディスプレイによって生成されるいくつかの画像は、発散光線の延長によって作成された焦点の集合である仮想画像(例えば、表示エリア150の後ろに表示される画像)であり得る。LFディスプレイモジュール110の操作は、
図2A~
図3Bに関して以下でより詳細に考察される。
【0016】
LFディスプレイモジュール110は、(例えば、プレノプティック関数から導出される)1つ以上の4Dライトフィールド関数を使用して、ホログラフィックオブジェクトボリューム160内にホログラフィックオブジェクトを生成する。ホログラフィックオブジェクトは、三次元(3D)、二次元(2D)、またはそれらの何らかの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色(例えば、フルカラー)であり得る。ホログラフィックオブジェクトは、スクリーン平面の前、スクリーン平面の後ろに投影されるか、またはスクリーン平面によって分割されてもよい。ホログラフィックオブジェクト120は、ホログラフィックオブジェクトボリューム160内のどこでも知覚されるように提示され得る。ここで、ホログラフィックオブジェクト120は、光線が収束しているときの実画像122であり、それは、表示エリア150と視聴者140との間に提示される。ホログラフィックオブジェクトボリューム160内のホログラフィックオブジェクトは、視聴者140には、空間に浮かんでいるように見えることがある。
【0017】
ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが視聴者140によって知覚され得るボリュームを表す。ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが表示エリア150の平面の前に提示され得るように、表示エリア150の表面の前に(すなわち、視聴者140に向かって)延在し得る。追加的に、ホログラフィックオブジェクトボリューム160は、表示エリア150の表面の後ろに(すなわち、視聴者140から離れる方向に)延在し得、ホログラフィックオブジェクトが、表示エリア150の平面の後ろにあるかのように提示されることを可能にする。言い換えれば、ホログラフィックオブジェクトボリューム160は、表示エリア150から発生し(例えば、投影され)、収束してホログラフィックオブジェクトを作成し得るすべての光線を含むことができる。ここで、光線は、表示面の前、表示面、または表示面の後ろにある点に収束し得る。より簡単に言えば、ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが視聴者によって知覚され得るすべてのボリュームを包含する。
【0018】
視聴ボリューム130は、LFディスプレイシステムによってホログラフィックオブジェクトボリューム160内に提示されたホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト120)が完全に見える空間のボリュームである。ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム160内に提示され、実際のオブジェクトと区別できないように、視聴ボリューム130内で見られ得る。ホログラフィックオブジェクトは、オブジェクトが物理的に存在した場合に、オブジェクトの表面から生成されるであろう光線と同じ光線を投影することによって形成される。
【0019】
場合によっては、ホログラフィックオブジェクトボリューム160および対応する視聴ボリューム130は、単一の視聴者用に設計されるように、比較的小さくあり得る。他の実施形態では、例えば、
図4A~4F、6、7、8、および9に関して以下で詳細に考察するように、LFディスプレイモジュールは、より大きなホログラフィックオブジェクトボリューム、および広範囲の視聴者(例えば、1人~数千人)を収容できる対応する視聴ボリュームを作成するために拡大および/またはタイル張りされ得る。本開示で提示されるLFディスプレイモジュールは、LFディスプレイの全表面が、非アクティブまたはデッドスペースがなく、ベゼルを必要としないホログラフィック撮像光学系を含むように構築され得る。これらの実施形態では、LFディスプレイモジュールは、撮像エリアがLFディスプレイモジュール間の継ぎ目をまたいで連続するようにタイル張りされ得、タイル張りされたモジュール間の接合ラインは、目の視力を使用して実質的に検出されない。特に、いくつかの構成では、表示面の一部は、本明細書では詳細に説明されていないが、ホログラフィック撮像光学系を含まないことがある。
【0020】
視聴ボリューム130の柔軟なサイズおよび/または形状は、視聴者が視聴ボリューム130内で制約を受けないことを可能にする。例えば、視聴者140は、視聴ボリューム130内の異なる位置に移動し、対応する視点からホログラフィックオブジェクト120の異なるビューを見ることができる。例示のための、
図1を参照すると、視聴者140は、ホログラフィックオブジェクト120がイルカの真正面からのビューで見えるように、ホログラフィックオブジェクト120に対して第1の位置にある。視聴者140は、イルカの異なるビューを見るために、ホログラフィックオブジェクト120に対して他の場所に動くことができる。例えば、視聴者140は、視聴者140があたかも実際のイルカを見ていて、イルカの異なるビューを見るために、実際のイルカに対する視聴者の相対位置を変更するかのように、移動して、イルカの左側、イルカの右側などを見ることができる。いくつかの実施形態では、ホログラフィックオブジェクト120は、ホログラフィックオブジェクト120への遮るもののない(すなわち、オブジェクト/ヒトによって遮られていない)視線を有する、視聴ボリューム130内のすべての視聴者に見える。これらの視聴者は、異なる視点のホログラフィックオブジェクト120を見るために、視聴ボリューム内を動き回ることができるように、制約されないでよい。したがって、LFディスプレイシステムは、複数の制約されない視聴者が、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示することができる。
【0021】
対照的に、従来のディスプレイ(例えば、立体視、仮想現実、拡張現実、または複合現実)では、一般に、各視聴者は、コンテンツを見るために、何らかの外部デバイス(例えば、3Dメガネ、ニアアイディスプレイ、またはヘッドマウントディスプレイ)を着用する必要がある。追加的および/または代替的に、従来のディスプレイでは、視聴者が特定の視聴位置に(例えば、ディスプレイに対して固定された場所を有する椅子に)拘束される必要があり得る。例えば、立体視ディスプレイによって表示されるオブジェクトを見る場合、視聴者は常に、オブジェクトではなく表示面に焦点を合わせ、ディスプレイは常に、知覚されたオブジェクトの周りを動き回ろうとする視聴者に追随するオブジェクトの2つのビューのみを提示し、そのオブジェクトの知覚に歪みを引き起こす。しかしながら、ライトフィールドディスプレイでは、LFディスプレイシステムによって提示されるホログラフィックオブジェクトの視聴者は、ホログラフィックオブジェクトを見るために、外部デバイスを着用する必要も、特定の位置に監禁される必要もない。LFディスプレイシステムは、特別なアイウェア、メガネ、またはヘッドマウントアクセサリを要することなく、物理的なオブジェクトが視聴者に見えるのとほぼ同じように視聴者に見える方法で、ホログラフィックオブジェクトを提示する。さらに、視聴者は、視聴ボリューム内の任意の場所からホログラフィックコンテンツを見ることができる。
【0022】
特に、ホログラフィックオブジェクトボリューム160内のホログラフィックオブジェクトの潜在的な場所は、ボリュームのサイズによって制限される。ホログラフィックオブジェクトボリューム160のサイズを大きくするために、LFディスプレイモジュール110の表示エリア150のサイズを大きくしてもよく、かつ/または複数のLFディスプレイモジュールを、シームレスな表示面を形成するように一緒にタイル張りしてもよい。シームレスな表示面は、個々のLFディスプレイモジュールの表示エリアよりも大きい有効表示エリアを有する。LFディスプレイモジュールのタイル張りに関連するいくつかの実施形態が、
図4A~
図4F、および
図6~
図9に関して以下で考察される。
図1に例示されるように、表示エリア150は矩形であり、ピラミッド形であるホログラフィックオブジェクトボリューム160をもたらす。他の実施形態では、表示エリアは、対応する視聴ボリュームの形状にも影響を与える何らかの他の形状(例えば、六角形)を有し得る。
【0023】
追加的に、上記の考察は、LFディスプレイモジュール110と視聴者140との間にあるホログラフィックオブジェクトボリューム160の一部内にホログラフィックオブジェクト120を提示することに焦点を当てているが、LFディスプレイモジュール110は追加的に、表示エリア150の平面の後ろのホログラフィックオブジェクトボリューム160にコンテンツを提示することができる。例えば、LFディスプレイモジュール110は、表示エリア150を、ホログラフィックオブジェクト120が飛び出している海の表面であるように見せることができる。また、表示されるコンテンツは、視聴者140が、表示された表面を通して、水中にいる海洋生物を見ることができるようなものであってもよい。さらに、LFディスプレイシステムは、表示エリア150の平面の後ろおよび前を含む、ホログラフィックオブジェクトボリューム160の周りをシームレスに移動するコンテンツを生成することができる。
【0024】
図2Aは、1つ以上の実施形態による、LFディスプレイモジュール210の一部の断面200である。LFディスプレイモジュール210は、LFディスプレイモジュール110であってもよい。他の実施形態では、LFディスプレイモジュール210は、表示エリア150とは異なる表示エリア形状を有する別のLFディスプレイモジュールであってもよい。例示的な実施形態では、LFディスプレイモジュール210は、エネルギーデバイス層220、エネルギーリレー層230、およびエネルギー導波路層240を含む。LFディスプレイモジュール210のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。例えば、いくつかの実施形態では、LFディスプレイモジュール210は、エネルギーリレー層230を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
【0025】
本明細書に記載のディスプレイシステムは、実世界のオブジェクトを通常取り巻くエネルギーを複製するエネルギーの放出を提示する。ここで、放出されたエネルギーは、表示面上のすべての座標から特定の方向に指向される。言い換えれば、表示面上の様々な座標が、放出されたエネルギーの投影場所として機能する。表示面からの指向されたエネルギーは、多くのエネルギー線の収束を可能にし、それによって、ホログラフィックオブジェクトを作成することができる。例えば、可視光では、LFディスプレイは、ホログラフィックオブジェクトボリューム内の任意の点で収束し得る、投影場所からの極めて大きい数の光線を投影するため、それらの光線は、投影されているオブジェクトよりも遠くに位置する視聴者の視点からは、空間のこのエリアに位置する実世界のオブジェクトの表面から来ているように見えるであろう。このように、LFディスプレイは、視聴者の視点からは、そのようなオブジェクトの表面から出たような反射光線を生成している。視聴者の視点は、任意の特定のホログラフィックオブジェクト上で変わり得、視聴者は、そのホログラフィックオブジェクトの異なるビューを見るであろう。
【0026】
エネルギーデバイス層220は、1つ以上の電子ディスプレイ(例えば、OLEDなどの発光ディスプレイ)と、本明細書に記載の1つ以上の他のエネルギー投影および/またはエネルギー受信デバイスと、を含む。1つ以上の電子ディスプレイは、(例えば、LFディスプレイシステムのコントローラからの)表示命令に従ってコンテンツを表示するように構成される。1つ以上の電子ディスプレイは、各々が個別に制御される強度を有する複数のピクセルを含む。発光LEDおよびOLEDディスプレイなど、多くのタイプの商用ディスプレイがLFディスプレイ内で使用され得る。
【0027】
エネルギーデバイス層220はまた、1つ以上の音響投影デバイスおよび/または1つ以上の音響受信デバイスを含むことができる。音響投影デバイスは、ホログラフィックオブジェクト250を補完する1つ以上の圧力波を生成する。生成される圧力波は、例えば、可聴、超音波、またはそれらの何らかの組み合わせであってもよい。超音波圧力波のアレイは、体積触覚のために(例えば、ホログラフィックオブジェクト250の表面において)使用され得る。可聴圧力波は、ホログラフィックオブジェクト250を補完し得る音声コンテンツ(例えば、没入型オーディオ)を提供するために使用される。例えば、ホログラフィックオブジェクト250がイルカであると仮定すると、1つ以上の音響投影デバイスを使用して、(1)視聴者がホログラフィックオブジェクト250にタッチすることができるように、イルカの表面と併置される触覚表面を生成し、(2)パチンと鳴る音、甲高い音、けたたましい鳴き声など、イルカが発生する音に対応する音声コンテンツを提供することができる。音響受信デバイス(例えば、マイクロフォンまたはマイクロフォンアレイ)は、LFディスプレイモジュール210の局所エリア内の超音波および/または可聴圧力波を監視するように構成され得る。
【0028】
エネルギーデバイス層220はまた、1つ以上の画像センサを含むことができる。画像センサは、可視光帯の光に敏感であってもよく、場合によっては、他の帯域(例えば、赤外線)の光に敏感であってもよい。画像センサは、例えば、相補型金属酸化膜半導体(CMOS)アレイ、電荷結合デバイス(CCD)、光検出器のアレイ、光をキャプチャする何らかの他のセンサ、またはそれらの何らかの組み合わせであってもよい。LFディスプレイシステムは、視聴者の場所標定追跡のために、1つ以上の画像センサによってキャプチャされたデータを使用することができる。
【0029】
いくつかの構成では、エネルギーリレー層230は、エネルギーデバイス層220とエネルギー導波路層240との間でエネルギー(例えば、電磁エネルギー、機械的圧力波など)を中継する。エネルギーリレー層230は、1つ以上のエネルギーリレー要素260を含む。各エネルギーリレー要素は、第1の表面265および第2の表面270を含み、2つの表面間でエネルギーを中継する。各エネルギーリレー要素の第1の表面265は、1つ以上のエネルギーデバイス(例えば、電子ディスプレイまたは音響投影デバイス)に結合され得る。エネルギーリレー要素は、例えば、ガラス、炭素、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの何らかの組み合わせで構成され得る。追加的に、いくつかの実施形態では、エネルギーリレー要素は、第1の表面265と第2の表面270との間を通過するエネルギーの倍率(増加または減少)を調整することができる。リレーが倍率を提供する場合、リレーは、テーパーと呼ばれる、接着されたテーパーリレーのアレイの形態を採り得、テーパーの一端の面積は、反対側の端よりも実質的に大きくなり得る。テーパーの大きい方の端は、一緒に張り合わされて、シームレスなエネルギー面275を形成することができる。1つの利点は、複数のディスプレイのベゼルなど、複数のエネルギー源の機械的エンベロープを収容するために、各テーパーの複数の小さな端にスペースが作成されることである。この余分のスペースにより、各エネルギー源が、小さいテーパー表面内にエネルギーを指向するアクティブエリアを有し、大きいシームレスなエネルギー面にリレーされる状態で、エネルギー源を小さなテーパー側に並べて配置することが可能になる。テーパーリレーを使用する別の利点は、テーパーの大きい端によって形成される、組み合わされたシームレスなエネルギー面には、非結像デッドスペースがないことである。境界またはベゼルが存在しないため、シームレスなエネルギー面を一緒にタイル張りして、目の視力によると実質的に継ぎ目のない、より大きな表面を形成することができる。
【0030】
隣接するエネルギーリレー要素の第2の表面は、一緒になってエネルギー面275を形成する。いくつかの実施形態では、隣接するエネルギーリレー要素の縁間の分離は、例えば、20/40の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面275は、視聴ボリューム285内の視聴者280の視点からは事実上シームレスである。
【0031】
いくつかの実施形態では、隣接するエネルギーリレー要素の第2の表面は、それらの間に継ぎ目が存在しないように、圧力、熱、および化学反応のうちの1つ以上を含み得る処理工程を用いて一緒に融合される。さらに、他の実施形態では、エネルギーリレー要素のアレイは、リレー材料の連続したブロックの片側を、各々がエネルギーを、小さなテーパー端部に取り付けられたエネルギーデバイスから、細分化されない大きなエリアを有する単一の結合された表面内に輸送するように構成される、小さなテーパー端部のアレイに成形することによって形成される。
【0032】
いくつかの実施形態では、1つ以上のエネルギーリレー要素は、エネルギー局在化を示し、表面265および270に実質的に垂直な長手方向のエネルギー輸送効率は、垂直横断平面内の輸送効率よりもはるかに高く、エネルギー波が表面265と表面270との間を伝播するとき、エネルギー密度はこの横断平面内で高度に局在化される。このエネルギーの局在化により、画像などのエネルギー分布が、解像度の大きな損失なしに、これらの表面間で効率的に中継されることが可能になる。
【0033】
エネルギー導波路層240は、エネルギー導波路層240内の導波路要素を使用して、エネルギーを、エネルギー面275上の場所(例えば、座標)から、表示面から外側のホログラフィック視聴ボリューム285内への特定のエネルギー伝搬経路内に指向する。エネルギー伝搬経路は、少なくとも導波路に対するエネルギー面の座標場所によって決定される2つの角度寸法によって画定される。導波路は、空間2D座標に関連付けられる。これらの4つの座標が一緒になって、四次元(4D)エネルギーフィールドを形成する。一例として、電磁エネルギーの場合、エネルギー導波路層240内の導波路要素は、光をシームレスなエネルギー面275上の位置から、視聴ボリューム285を通る異なる伝搬方向に沿って指向する。様々な例において、光は、4Dライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム255内にホログラフィックオブジェクト250を形成する。
【0034】
エネルギー導波路層240内の各導波路要素は、例えば、1つ以上の要素で構成されるレンズレットであり得る。いくつかの構成では、レンズレットは、正レンズであり得る。正レンズは、球面、非球面、または自由形状の表面プロファイルを有し得る。追加的に、いくつかの実施形態では、導波路要素の一部またはすべては、1つ以上の追加の光学構成要素を含み得る。追加の光学構成要素は、例えば、バッフル、正レンズ、負レンズ、球面レンズ、非球面レンズ、自由形状レンズ、液晶レンズ、液体レンズ、屈折要素、回折要素、またはそれらの何らかの組み合わせなどのエネルギー抑制構造であり得る。いくつかの実施形態では、レンズレットおよび/または追加の光学構成要素のうちの少なくとも1つはまた、屈折力を動的に調整することができる。例えば、レンズレットは、液晶レンズまたは液体レンズであってもよい。表面プロファイルの動的調整、レンズレットおよび/または少なくとも1つの追加の光学構成要素は、導波路要素から投影される光の追加の方向制御を提供し得る。
【0035】
例示的な例では、LFディスプレイのホログラフィックオブジェクトボリューム255は、光線256および光線257によって形成される境界を有するが、他の光線によって形成され得る。ホログラフィックオブジェクトボリューム255は、エネルギー導波路層240の前(すなわち、視聴者280に向かって)およびその後ろ(すなわち、視聴者280から離れて)の両方に延在する連続したボリュームである。例示的な例では、光線256および光線257は、LFディスプレイモジュール210の反対の縁から、ユーザによって知覚され得る表示面277の法線に対して最大の角度で投影されるが、これらは他の投影光線であり得る。これらの光線は、ディスプレイの視野を画定し、したがって、ホログラフィック視聴ボリューム285の境界を画定する。場合によっては、これらの光線は、ディスプレイ全体がケラレなしで観察され得るホログラフィック視聴ボリューム(例えば、理想的な視聴ボリューム)を画定する。ディスプレイの視野が広がると、光線256および光線257の収束点がディスプレイにより近くなる。したがって、より広い視野を有するディスプレイは、視聴者280がより近い視距離でディスプレイ全体を見ることを可能にする。追加的に、光線256および257は、理想的なホログラフィックオブジェクトボリュームを形成し得る。理想的なホログラフィックオブジェクトボリューム内に提示されるホログラフィックオブジェクトは、視聴ボリューム285内のどこでも見られ得る。
【0036】
いくつかの例では、ホログラフィックオブジェクトは、視聴ボリューム285の一部にのみ提示され得る。言い換えれば、ホログラフィックオブジェクトボリュームは、任意の数の視聴サブボリューム(例えば、視聴サブボリューム290)に分割され得る。追加的に、ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム255の外側に投影され得る。例えば、ホログラフィックオブジェクト251は、ホログラフィックオブジェクトボリューム255の外側に提示される。ホログラフィックオブジェクト251は、ホログラフィックオブジェクトボリューム255の外側に提示されるので、視聴ボリューム285内のすべての場所から見ることができるわけではない。例えば、ホログラフィックオブジェクト251は、視聴サブボリューム290内の場所からは見えるが、視聴者280の場所からは見えない可能性がある。
【0037】
例えば、異なる視聴サブボリュームからホログラフィックコンテンツを見ることを例示するために、
図2Bに目を向ける。
図2Bは、1つ以上の実施形態による、LFディスプレイモジュールの一部の断面200を例示する。
図2Bの断面は、
図2Aの断面と同じである。しかしながら、
図2Bは、LFディスプレイモジュール210から投影された異なる光線のセットを示している。光線256および光線257は、依然としてホログラフィックオブジェクトボリューム255および視聴ボリューム285を形成する。しかしながら、示されるように、LFディスプレイモジュール210の最上部およびLFディスプレイモジュール210の最下部から投影された光線は重なり合って、視聴ボリューム285内に様々な視聴サブボリューム(例えば、ビューサブボリューム290A、290B、290C、および290D)を形成する。第1の視聴サブボリューム(例えば、290A)内の視聴者は、他の視聴サブボリューム(例えば、290B、290C、および290D)内の視聴者が知覚できない、ホログラフィックオブジェクトボリューム255内に提示されたホログラフィックコンテンツを知覚することができ得る。
【0038】
より簡単に言えば、
図2Aに例示されるように、ホログラフィックオブジェクトボリューム255は、ホログラフィックオブジェクトが視聴ボリューム285内の視聴者(例えば、視聴者280)によって知覚され得るように、ホログラフィックオブジェクトが、LFディスプレイシステムによって提示され得るボリュームである。このように、視聴ボリューム285は、理想的な視聴ボリュームの一例であり、ホログラフィックオブジェクトボリューム255は、理想的なオブジェクトボリュームの一例である。しかしながら、様々な構成において、視聴者は、他の例示的なホログラフィックオブジェクトボリューム内にLFディスプレイシステム200によって提示されたホログラフィックオブジェクトを知覚することができる。より一般的には、LFディスプレイモジュールから投影されたホログラフィックコンテンツを見るときには「アイラインガイドライン」が適用される。アイラインガイドラインは、視聴者の目の位置および見られているホログラフィックオブジェクトによって形成されるラインがLF表示面と交差しなければならないと主張する。
【0039】
LFディスプレイモジュール210によって提示されたホログラフィックコンテンツを見るとき、ホログラフィックコンテンツは4Dライトフィールド関数に従って提示されるので、視聴者280の各目は、異なる視点のホログラフィックオブジェクト250を見る。さらに、視聴者280が視聴ボリューム285内を移動するとき、視聴者は、視聴ボリューム285内の他の視聴者が見るであろうような、異なる視点のホログラフィックオブジェクト250を見るであろう。当業者には理解されるように、4Dライトフィールド関数は当技術分野で周知であり、本明細書ではこれ以上詳しく説明しない。
【0040】
本明細書でより詳細に説明するように、いくつかの実施形態では、LFディスプレイは、2つ以上のタイプのエネルギーを投影することができる。例えば、LFディスプレイは、例えば、機械的エネルギーおよび電磁エネルギーなどの2つのタイプのエネルギーを投影することができる。この構成では、エネルギーリレー層230は、エネルギー面275で一緒にインターリーブされるが、エネルギーが2つの異なるエネルギーデバイス層220に中継されるように分離される2つの別個のエネルギーリレーを含み得る。ここで、一方のリレーは、電磁エネルギーを輸送するように構成され得、別方のリレーは、機械的エネルギーを輸送するように構成され得る。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層240上の電磁導波路要素間の場所から投影され得、光が一方の電磁導波路要素から別方の電磁導波路要素に輸送されるのを抑制する構造を形成するのに役立つ。いくつかの実施形態では、エネルギー導波路層240はまた、コントローラからの表示命令に従って、集束超音波を特定の伝搬経路に沿って輸送する導波路要素を含み得る。
【0041】
代替の実施形態(図示せず)では、LFディスプレイモジュール210はエネルギーリレー層230を含まないことに留意されたい。この場合、エネルギー面275は、エネルギーデバイス層220内の1つ以上の隣接する電子ディスプレイを使用して形成された出射面である。また、エネルギーリレー層を有さないいくつかの実施形態では、隣接する電子ディスプレイの縁間の分離は、20/40の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面は、視聴ボリューム285内の視聴者280の視点からは事実上シームレスである。
【0042】
LFディスプレイモジュール
図3Aは、1つ以上の実施形態による、LFディスプレイモジュール300Aの斜視図である。LFディスプレイモジュール300Aは、LFディスプレイモジュール110および/またはLFディスプレイモジュール210であり得る。他の実施形態では、LFディスプレイモジュール300Aは、何らかの他のLFディスプレイモジュールであってもよい。例示的な実施形態では、LFディスプレイモジュール300Aは、エネルギーデバイス層310、エネルギーリレー層320、およびエネルギー導波路層330を含む。LFディスプレイモジュール300Aは、本明細書で説明されるように、表示面365からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面365は、LFディスプレイモジュール300Aのフレーム390上に破線の輪郭として例示されているが、より正確には、フレーム390の内側リムによって境界される導波路要素の真正面の表面である。表示面365は、エネルギーが投影され得る複数の投影位置を含む。LFディスプレイモジュール300Aのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、LFディスプレイモジュール300Aは、エネルギーリレー層320を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
【0043】
エネルギーデバイス層310は、エネルギーデバイス層220の一実施形態である。エネルギーデバイス層310は、4つのエネルギーデバイス340を含む(図では3つが見える)。エネルギーデバイス340は、すべてが同じタイプ(例えば、すべてが電子ディスプレイ)であってもよいか、または1つ以上の異なるタイプを含んでもよい(例えば、電子ディスプレイおよび少なくとも1つの音響エネルギーデバイスを含む)。
【0044】
エネルギーリレー層320は、エネルギーリレー層230の一実施形態である。エネルギーリレー層320は、4つのエネルギーリレーデバイス350を含む(図では3つが見える)。エネルギーリレーデバイス350は、すべてが同じタイプのエネルギー(例えば、光)を中継し得るか、または1つ以上の異なるタイプ(例えば、光および音)を中継し得る。リレーデバイス350の各々は、第1の表面および第2の表面を含み、エネルギーリレーデバイス350の第2の表面は、単一のシームレスなエネルギー面360を形成するように配置される。例示的な実施形態では、エネルギーリレーデバイス350の各々は、第1の表面が第2の表面よりも小さい表面積を有するようにテーパー状になっており、これにより、テーパーの小さい方の端にエネルギーデバイス340の機械的エンベロープを収容することが可能になる。これにより、エリア全体がエネルギーを投影し得るため、シームレスなエネルギー面が無境界であることが可能になる。これは、LFディスプレイモジュール300Aの複数の実例を、デッドスペースまたはベゼルなしに一緒に配置することによって、組み合わされた表面全体がシームレスであるように、このシームレスなエネルギー面がタイル張りされ得ることを意味する。他の実施形態では、第1の表面および第2の表面は同じ表面積を有する。
【0045】
エネルギー導波路層330は、エネルギー導波路層240の一実施形態である。エネルギー導波路層330は、複数の導波路要素370を含む。
図2A~
図2Bに関して上記考察されるように、エネルギー導波路層330は、ホログラフィックオブジェクトを形成するために、4Dライトフィールド関数に従って、エネルギーをシームレスなエネルギー面360から特定の伝搬経路に沿って指向するように構成されている。例示的な実施形態では、エネルギー導波路層330はフレーム390によって境界されることに留意されたい。他の実施形態では、フレーム390は存在しない、および/またはフレーム390の厚さが低減されている。フレーム390の厚さの除去または低減は、LFディスプレイモジュール300Aと追加のLFディスプレイモジュールとのタイル張りを容易にし得る。
【0046】
例示的な実施形態では、シームレスなエネルギー面360およびエネルギー導波路層330は平面であることに留意されたい。図示されてない代替の実施形態では、シームレスなエネルギー面360およびエネルギー導波路層330は、1つ以上の次元で湾曲していてよい。
【0047】
LFディスプレイモジュール300Aは、シームレスなエネルギー面の表面上に存在する追加のエネルギー源を有して構成され得、ライトフィールドに加えてエネルギーフィールドの投影を可能にする。一実施形態では、音響エネルギーフィールドが、シームレスなエネルギー面360上の任意の数の位置に取り付けられた静電スピーカ(例示せず)から投影され得る。さらに、LFディスプレイモジュール300Aの静電スピーカは、デュアルエネルギー面がサウンドフィールドおよびホログラフィックコンテンツを同時に投影するように、ライトフィールドディスプレイモジュール300A内に位置付けられる。例えば、静電スピーカは、電磁エネルギーのいくつかの波長に対して透過性であり、1つ以上の導電性要素(例えば、1つ以上のダイアフラム要素を挟む平面)を用いて駆動される1つ以上のダイアフラム要素で形成され得る。静電スピーカは、ダイアフラム要素が導波路要素のうちのいくつかを覆うように、シームレスなエネルギー面360に装着されてもよい。スピーカの導電性電極は、電磁導波路間の光透過を抑制するように設計された構造体と併置されてよく、かつ/または電磁導波路要素間の位置(例えば、フレーム390)に位置してよい。様々な構成において、スピーカは、可聴音、および/または触覚表面を生み出す集束超音波エネルギーの多くのソースを投影することができる。
【0048】
いくつかの構成では、エネルギーデバイス340は、エネルギーを感知し得る。例えば、エネルギーデバイスは、マイクロフォン、光センサ、音響トランスデューサなどであり得る。したがって、エネルギーリレーデバイスは、シームレスなエネルギー面360からエネルギーデバイス層310にエネルギーを中継することもできる。すなわち、LFディスプレイモジュールのシームレスなエネルギー面360は、エネルギーデバイスおよびエネルギーリレーデバイス340が、エネルギーを放出すると同時に感知する(例えば、ライトフィールドを放出し、音を感知する)ように構成されるとき、双方向エネルギー面を形成する。
【0049】
より広義には、LFディスプレイモジュール340のエネルギーデバイス340は、エネルギー源またはエネルギーセンサのいずれかであり得る。LFディスプレイモジュール300Aは、高品質のホログラフィックコンテンツのユーザへの投影を容易にするために、エネルギー源および/またはエネルギーセンサとして機能する様々なタイプのエネルギーデバイスを含み得る。他のソースおよび/またはセンサとしては、サーマルセンサまたはソース、赤外線センサまたはソース、画像センサまたはソース、音響エネルギーを生成する機械的エネルギートランスデューサ、フィードバックソースなどが挙げられる。多くの他のセンサまたはソースが可能である。さらに、LFディスプレイモジュールが、大きな集合体のシームレスなエネルギー面から複数のタイプのエネルギーを投影および感知するアセンブリを形成し得るように、LFディスプレイモジュールはタイル張りされ得る。
【0050】
LFディスプレイモジュール300Aの様々な実施形態では、シームレスなエネルギー面360は、各表面部分が特定のタイプのエネルギーを投影および/または放出するように構成されている様々な表面部分を有し得る。例えば、シームレスなエネルギー面がデュアルエネルギー面である場合、シームレスエネルギー面360は、電磁エネルギーを投影する1つ以上の表面部分と、超音波エネルギーを投影する1つ以上の他の表面部分と、を含む。超音波エネルギーを投影する表面部分は、電磁導波路要素間のシームレスなエネルギー面360上に位置し得、かつ/または電磁導波路要素間の光透過を抑制するように設計された構造体と併置され得る。シームレスなエネルギー面が双方向エネルギー面である例では、エネルギーリレー層320は、シームレスなエネルギー面360でインターリーブされた2つのタイプのエネルギーリレーデバイスを含み得る。様々な実施形態では、シームレスなエネルギー面360は、任意の特定の導波路要素370の下の表面の部分が、すべてエネルギー源、すべてエネルギーセンサ、またはエネルギー源およびエネルギーセンサの混在であるように構成され得る。
【0051】
図3Bは、1つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むLFディスプレイモジュール300Bの断面図である。エネルギーリレーデバイス350Aは、エネルギーデバイス340Aに接続されたエネルギーリレーの第1の表面345Aとシームレスなエネルギー面360との間でエネルギーを輸送する。エネルギーリレー350Bは、エネルギーデバイス340Bに接続されたエネルギーリレーの第1の表面345Bとシームレスなエネルギー面360との間でエネルギーを輸送する。両方のリレーデバイスは、シームレスなエネルギー面360に接続されたインターリーブされたエネルギーリレーデバイス352においてインターリーブされている。この構成では、表面360は、エネルギー源またはエネルギーセンサであり得るエネルギーデバイス340Aおよび340Bの両方のインターリーブされたエネルギー場所を含む。したがって、LFディスプレイモジュール300Bは、2つ以上のタイプのエネルギーを投影するためのデュアルエネルギー投影デバイスとして、またはあるタイプのエネルギーを投影することと、別のタイプのエネルギーを感知することとを同時に行うための双方向エネルギーデバイスとしてのいずれかに構成され得る。LFディスプレイモジュール300Bは、LFディスプレイモジュール110および/またはLFディスプレイモジュール210であり得る。他の実施形態では、LFディスプレイモジュール300Bは、何らかの他のLFディスプレイモジュールであり得る。
【0052】
LFディスプレイモジュール300Bは、
図3AのLFディスプレイモジュール300Aのものと同様に構成されている多くの構成要素を含む。例えば、例示的な実施形態では、LFディスプレイモジュール300Bは、
図3Aに関して説明したものと少なくとも同じ機能を含むエネルギーデバイス層310、エネルギーリレー層320、シームレスなエネルギー面360、およびエネルギー導波路層330を含む。追加的に、LFディスプレイモジュール300Bは、表示面365からエネルギーを提示および/または受信することができる。特に、LFディスプレイモジュール300Bの構成要素は、代替的に
図3AのLFディスプレイモジュール300Aの構成要素とは異なって接続および/または配向されている。LFディスプレイモジュール300Bのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
図3Bは、より大きな面積を有するデュアルエネルギー投影表面または双方向エネルギー面を生み出すためにタイル張りされ得る単一のLFディスプレイモジュール300Bの設計を例示する。
【0053】
一実施形態では、LFディスプレイモジュール300Bは、双方向LFディスプレイシステムのLFディスプレイモジュールである。双方向LFディスプレイシステムは、エネルギーを投影し、それと同時に表示面365からエネルギーを感知することができる。シームレスなエネルギー面360は、シームレスなエネルギー面360上で密接にインターリーブされたエネルギー投影場所およびエネルギー感知場所との両方を含む。したがって、
図3Bの例では、エネルギーリレー層320は、
図3Aのエネルギーリレー層とは異なる様式で構成されている。便宜上、LFディスプレイモジュール300Bのエネルギーリレー層は、本明細書では「インターリーブエネルギーリレー層」と呼ばれる。
【0054】
インターリーブされたエネルギーリレー層320は、第1のエネルギーリレーデバイス350Aおよび第2のエネルギーリレーデバイス350Bの2つの脚部を含む。脚部の各々は、
図3Bで薄い陰影のエリアとして例示されている。脚部の各々は、可撓性のリレー材料で作製され、様々なサイズおよび形状のエネルギーデバイスで使用するのに十分な長さで形成され得る。インターリーブされたエネルギーリレー層のいくつかの領域では、2つの脚部は、シームレスなエネルギー面360に近づくにつれて、一緒に緊密にインターリーブされる。例示的な例では、インターリーブされたエネルギーリレーデバイス352は、暗い陰影のエリアとして例示されている。
【0055】
シームレスなエネルギー面360でインターリーブされる一方、エネルギーリレーデバイスは、異なるエネルギーデバイスとの間でエネルギーを中継するように構成される。エネルギーデバイスは、エネルギーデバイス層310にある。例示のように、エネルギーデバイス340Aは、エネルギーリレーデバイス350Aに接続され、エネルギーデバイス340Bは、エネルギーリレーデバイス350Bに接続されている。様々な実施形態では、各エネルギーデバイスは、エネルギー源またはエネルギーセンサであり得る。
【0056】
エネルギー導波路層330は、エネルギー波をシームレスなエネルギー面360から、投影された経路に沿って、一連の収束点に向かって導くための導波路要素370を含む。この例では、ホログラフィックオブジェクト380が、一連の収束点に形成される。特に、例示のように、ホログラフィックオブジェクト380でのエネルギーの収束は、表示面365の視聴者側(すなわち、前側)で発生する。しかしながら、他の例では、エネルギーの収束は、表示面365の前および表示面365の後ろの両方に延在するホログラフィックオブジェクトボリューム内のどこであってもよい。導波路要素370は、以下に説明するように、入ってくるエネルギーをエネルギーデバイス(例えば、エネルギーセンサ)に同時に導くことができる。
【0057】
LFディスプレイモジュール300Bの例示的な一実施形態では、発光ディスプレイがエネルギー源(例えば、エネルギーデバイス340A)として使用され、画像センサがエネルギーセンサ(例えば、エネルギーデバイス340B)として使用される。このように、LFディスプレイモジュール300Bは、同時に、ホログラフィックコンテンツを投影し、表示面365の前のボリュームからの光を検出することができる。このように、LFディスプレイモジュール300Bのこの実施形態は、LFディスプレイおよびLFセンサの両方として機能する。
【0058】
一実施形態では、LFディスプレイモジュール300Bは、同時に、ライトフィールドを表示面上の投影場所から表示面の前に投影し、投影場所で、表示面の前からのライトフィールドをキャプチャするように構成される。この実施形態では、エネルギーリレーデバイス350Aは、導波路要素370の下に位置付けられたシームレスなエネルギー面360における位置の第1のセットをエネルギーデバイス340Aに接続する。一例では、エネルギーデバイス340Aは、ソースピクセルのアレイを有する発光ディスプレイである。エネルギーリレーデバイス340Bは、導波路要素370の下に位置付けられたシームレスなエネルギー面360における場所の第2のセットをエネルギーデバイス340Bに接続する。一例では、エネルギーデバイス340Bは、センサピクセルのアレイを有する画像センサである。LFディスプレイモジュール300Bは、特定の導波路要素370の下にあるシームレスなエネルギー面365における場所が、すべて発光ディスプレイ場所、すべて画像センサ場所、またはこれらの場所の何らかの組み合わせであるように構成され得る。他の実施形態では、双方向のエネルギー面は、様々な他の形態のエネルギーを投影および受信することができる。
【0059】
LFディスプレイモジュール300Bの別の例示的な実施形態では、LFディスプレイモジュールは、2つの異なるタイプのエネルギーを投影するように構成される。例えば、一実施形態では、エネルギーデバイス340Aは、電磁エネルギーを放出するように構成された発光ディスプレイであり、エネルギーデバイス340Bは、機械的エネルギーを放出するように構成された超音波トランスデューサである。そのため、光および音の両方が、シームレスなエネルギー面360における様々な位置から投影され得る。この構成では、エネルギーリレーデバイス350Aは、エネルギーデバイス340Aをシームレスなエネルギー面360に接続し、電磁エネルギーを中継する。エネルギーリレーデバイスは、電磁エネルギーの輸送を効率的にする(例えば、屈折率を変化させる)特性を有するように構成される。エネルギーリレーデバイス350Bは、エネルギーデバイス340Bをシームレスなエネルギー面360に接続し、機械的エネルギーを中継する。エネルギーリレーデバイス350Bは、超音波エネルギーの効率的な輸送のための特性を有するように構成される(例えば、異なる音響インピーダンスを有する材料の配分)。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層330上の導波路要素370間の場所から投影され得る。機械的エネルギーを投影する場所は、光が一方の電磁導波路要素から他方に輸送されるのを抑制する役割を果たす構造体を形成し得る。一例では、超音波の機械的エネルギーを投影する場所の空間的に分離されたアレイは、三次元触覚形状および表面を空中に作成するように構成することができる。表面は、投影されたホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト380)と一致し得る。いくつかの例では、アレイにわたる位相の遅延および振幅の変化は、触覚形状の作成を支援し得る。
【0060】
様々な実施形態では、インターリーブされたエネルギーリレーデバイスを有するLFディスプレイモジュール300Bは、各エネルギーデバイス層が特定のタイプのエネルギーデバイスを含んだ、複数のエネルギーデバイス層を含み得る。これらの例では、エネルギーリレー層は、シームレスなエネルギー面360とエネルギーデバイス層310との間で適切なタイプのエネルギーを中継するように構成される。
【0061】
タイル張りされたLFディスプレイモジュール
図4Aは、1つ以上の実施形態による、単一面シームレス表面環境を形成するために、二次元にタイル張りされたLFディスプレイシステム400の一部の斜視図である。LFディスプレイシステム400は、アレイ410を形成するようにタイル張りされた複数のLFディスプレイモジュールを含む。より明確には、アレイ410内の小さな正方形の各々が、タイル張りされたLFディスプレイモジュール412を表す。LFディスプレイモジュール412は、LFディスプレイモジュール300Aまたは300Bと同じであり得る。アレイ410は、例えば、部屋の表面(例えば、壁)の一部またはすべてを覆うことができる。LFアレイは、例えば、テーブルトップ、広告版、ロタンダなどの他の表面を覆うことができる。
【0062】
アレイ410は、1つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、アレイ410は、ホログラフィックオブジェクト420およびホログラフィックオブジェクト422を投影する。LFディスプレイモジュール412のタイル張りは、はるかに大きな視聴ボリュームを可能にするだけでなく、オブジェクトがアレイ410からより遠くに投影されることを可能にする。例えば、例示的な実施形態では、視聴ボリュームは、LFディスプレイモジュール412の前(および後ろ)の局所的なボリュームではなく、アレイ410の前および後ろのほぼ全エリアである。
【0063】
いくつかの実施形態では、LFディスプレイシステム400は、ホログラフィックオブジェクト420を視聴者430および視聴者434に提示する。視聴者430および視聴者434は、異なる視点のホログラフィックオブジェクト420を受信する。例えば、視聴者430は、ホログラフィックオブジェクト420の真っ直ぐなビューを提示される一方、視聴者434は、ホログラフィックオブジェクト420のより斜めのビューを提示される。視聴者430および/または視聴者434が動くと、これらの視聴者は、異なる視点のホログラフィックオブジェクト420を提示される。これにより、視聴者は、ホログラフィックオブジェクトに対して移動することにより、ホログラフィックオブジェクトと視覚的にインタラクションすることが可能になる。例えば、視聴者430がホログラフィックオブジェクト420の周りを歩くとき、ホログラフィックオブジェクト420がアレイ410のホログラフィックオブジェクトボリューム内に留まっている限り、視聴者430は、ホログラフィックオブジェクト420の異なる側面を見る。したがって、視聴者430および視聴者434は、あたかもホログラフィックオブジェクト420が実際にそこにあるかのように、実世界空間にホログラフィックオブジェクト420を同時に見ることができる。追加的に、ホログラフィックオブジェクト420は、物理的オブジェクトが見えるのとほぼ同じように視聴者に見えるので、視聴者430および視聴者434は、ホログラフィックオブジェクト420を見るために外部デバイスを着用する必要はない。追加的に、ここでは、アレイの視聴ボリュームがアレイの表面の後ろに延在するため、ホログラフィックオブジェクト422が、アレイの後ろに例示されている。このように、ホログラフィックオブジェクト422は、視聴者430および/または視聴者434に提示され得る。画像はLFディスプレイの平面の後ろから発生するので、ホログラフィックオブジェクト422は仮想画像424であり得る。
【0064】
いくつかの実施形態では、LFディスプレイシステム400は、視聴者430および視聴者434の位置を追跡する追跡システムを含み得る。いくつかの実施形態では、追跡される位置は、視聴者の位置である。他の実施形態では、追跡される位置は、視聴者の目の位置である。目の位置追跡は、目がどこを見ているかを追跡する(例えば、配向を使用して視線場所を決定する)視線追跡とは異なる。視聴者430の目および視聴者434の目は、異なる場所にある。
【0065】
様々な構成では、LFディスプレイシステム400は、1つ以上の追跡システムを含み得る。例えば、
図4Aの例示的な実施形態では、LFディスプレイシステムは、アレイ410の外部にある追跡システム440を含む。ここで、追跡システムは、アレイ410に結合されたカメラシステムであり得る。外部追跡システムは、
図5Aに関してより詳細に説明される。他の例示的な実施形態では、追跡システムは、本明細書に記載されるように、アレイ410に組み込まれ得る。例えば、アレイ410に含まれる双方向エネルギー面を含む1つ以上のLFディスプレイモジュール412のエネルギーデバイス(例えば、エネルギーデバイス340)は、アレイ410の前の視聴者の画像をキャプチャするように構成され得る。いずれの場合でも、LFディスプレイシステム400の追跡システムは、アレイ410によって提示されたホログラフィックコンテンツを見ている視聴者(例えば、視聴者430および/または視聴者434)に関する追跡情報を決定する。
【0066】
追跡情報は、視聴者の位置、または視聴者の一部の位置(例えば、視聴者の片方または両方の目、もしくは視聴者の四肢)の空間内の(例えば、追跡システムに対する)位置を表す。追跡システムは、追跡情報を決定するために、任意の数の深度決定技術を使用することができる。深度決定技術は、例えば、構造化光、飛行時間、ステレオ撮像、何らかの他の深度決定技術、またはそれらの何らかの組み合わせを含み得る。追跡システムは、追跡情報を決定するように構成されている様々なシステムを含み得る。例えば、追跡システムは、1つ以上の赤外線源(例えば、構造化光源)、赤外線で画像をキャプチャすることができる1つ以上の画像センサ(例えば、赤-青-緑-赤外線カメラ)、および追跡アルゴリズムを実行するプロセッサを含み得る。追跡システムは、深度推定技術を使用して、視聴者の位置を決定することができる。いくつかの実施形態では、LFディスプレイシステム400は、本明細書で説明するように、視聴者430および/または視聴者434の追跡された位置、動作、またはジェスチャに基づいて、ホログラフィックオブジェクトを生成する。例えば、LFディスプレイシステム400は、アレイ410の閾値距離および/または特定の位置内に来る視聴者に応答して、ホログラフィックオブジェクトを生成することができる。
【0067】
LFディスプレイシステム400は、追跡情報に部分的に基づいて、各視聴者に合わせてカスタマイズされた1つ以上のホログラフィックオブジェクトを提示することができる。例えば、視聴者430は、ホログラフィックオブジェクト420を提示され得るが、ホログラフィックオブジェクト422は提示され得ない。同様に、視聴者434は、ホログラフィックオブジェクト422を提示され得るが、ホログラフィックオブジェクト420は提示され得ない。例えば、LFディスプレイシステム400は、視聴者430および視聴者434の各々の位置を追跡する。LFディスプレイシステム400は、ホログラフィックオブジェクトが提示されるべき場所に対する視聴者の位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。LFディスプレイシステム400は、決定された視点に対応する特定のピクセルから光を選択的に投影する。したがって、視聴者434および視聴者430は、潜在的に完全に異なる体験を同時に有することができる。言い換えれば、LFディスプレイシステム400は、ホログラフィックコンテンツを、視聴ボリュームの視聴サブボリューム(すなわち、
図2Bに示される視聴サブボリューム290A、290B、290C、および290Dと同様の)に提示することができる。例えば、例示のように、LFディスプレイシステム400は、視聴者430の位置を追跡できるので、LFディスプレイシステム400は、スペースコンテンツ(例えば、ホログラフィックオブジェクト420)を、視聴者430を取り囲む視聴サブボリュームに、およびサファリコンテンツ(例えば、ホログラフィックオブジェクト422)を、視聴者434を取り囲む視聴サブボリュームに提示することができる。対照的に、従来のシステムは、同様の体験を提供するために、個々のヘッドセットを使用しなければならないであろう。
【0068】
いくつかの実施形態では、LFディスプレイシステム400は、1つ以上の感覚フィードバックシステムを含み得る。感覚フィードバックシステムは、ホログラフィックオブジェクト420および422を拡張する他の感覚刺激(例えば、触覚、音声、または匂い)を提供する。例えば、
図4Aの例示的な実施形態では、LFディスプレイシステム400は、アレイ410の外部の感覚フィードバックシステム442を含む。一例では、感覚フィードバックシステム442は、アレイ410に結合された静電スピーカであり得る。外部感覚フィードバックシステムは、
図5Aに関してより詳細に説明される。他の例示的な実施形態では、感覚フィードバックシステムは、本明細書に記載されるように、アレイ410に組み込まれ得る。例えば、アレイ410に含まれるLFディスプレイモジュール412のエネルギーデバイス(例えば、
図3Bのエネルギーデバイス340A)は、超音波エネルギーをアレイの前の視聴者に投影し、かつ/またはアレイの前の視聴者から画像情報を受信するように構成され得る。いずれの場合でも、感覚フィードバックシステムは、感覚コンテンツを、アレイ410によって提示されるホログラフィックコンテンツ(例えば、ホログラフィックオブジェクト420および/またはホログラフィックオブジェクト422)を見ている視聴者(例えば、視聴者430および/または視聴者434)に提示し、および/または視聴者から受信する。
【0069】
LFディスプレイシステム400は、アレイの外部の1つ以上の音響投影デバイスを含む感覚フィードバックシステム442を含み得る。代替的または追加的に、LFディスプレイシステム400は、本明細書で説明されるように、アレイ410に統合された1つ以上の音響投影デバイスを含み得る。音響投影デバイスは、体積触覚表面を投影するように構成された超音波源のアレイからなり得る。いくつかの実施形態では、触覚表面は、視聴者の一部が1つ以上の表面の閾値距離内に入る場合、ホログラフィックオブジェクトの1つ以上の表面の(例えば、ホログラフィックオブジェクト420の表面における)ホログラフィックオブジェクトと一致し得る。体積触覚は、ユーザがホログラフィックオブジェクトの表面をタッチして感じることを可能にし得る。複数の音響投影デバイスは、視聴者に音声コンテンツ(例えば、没入型オーディオ)を提供する可聴圧力波を投影することができる。したがって、超音波圧力波および/または可聴圧力波は、ホログラフィックオブジェクトを補完する役割を果たすことができる。
【0070】
様々な実施形態では、LFディスプレイシステム400は、視聴者の追跡された位置に部分的に基づいて、他の感覚刺激を提供することができる。例えば、
図4Aに例示されるホログラフィックオブジェクト422はライオンであり、LFディスプレイシステム400は、ホログラフィックオブジェクト422を視覚的(すなわち、ホログラフィックオブジェクト422が咆哮するように見える)および聴覚的(すなわち、1つ以上の音響投影デバイスが、ライオンの咆哮がホログラフィックオブジェクト422から発せられているように視聴者430が知覚する圧力波を投影する)の両方で咆哮させることができる。
【0071】
例示的な構成では、ホログラフィック視聴ボリュームは、
図2A~
図2BのLFディスプレイシステム200の視聴ボリューム285と同様の方法で制限され得ることに留意されたい。これは、視聴者が単一のウォールディスプレイユニットで体験するであろう知覚される没入感の量を制限する可能性がある。これに対処する1つの方法が、
図4B~
図4Fに関して以下に説明するように、複数の側面に沿ってタイル張りされた複数のLFディスプレイモジュールを使用することである。
【0072】
図4Bは、1つ以上の実施形態による、多面シームレス表面環境におけるLFディスプレイシステム402の一部分の斜視図である。LFディスプレイシステム402は、複数のLFディスプレイモジュールがタイル張りされて多面シームレス表面環境を作成することを除いて、LFディスプレイシステム400と実質的に同様である。より具体的には、LFディスプレイモジュールは、6面集合シームレス表面環境であるアレイを形成するようにタイル張りされている。
図4Bでは、複数のLFディスプレイモジュールが、部屋のすべての壁、天井、および床を覆っている。他の実施形態では、複数のLFディスプレイモジュールは、壁、床、天井、またはそれらの何らかの組み合わせのすべてではないが、一部を覆い得る。他の実施形態では、複数のLFディスプレイモジュールがタイル張りされて、何らかの他の集合シームレス表面を形成する。例えば、壁は、円筒形の集合エネルギー環境が形成されるように湾曲され得る。さらに、
図6~9に関して以下に説明するように、いくつかの実施形態では、LFディスプレイモジュールは、会場の表面(例えば、壁など)を形成するようにタイル張りされ得る。
【0073】
LFディスプレイシステム402は、1つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、LFディスプレイシステム402は、ホログラフィックオブジェクト420を、6面集合シームレス表面環境によって囲まれたエリアに投影する。この例では、LFディスプレイシステムの視聴ボリュームも、6面集合シームレス表面環境内に含まれる。例示的な構成では、視聴者434は、ホログラフィックオブジェクト420と、ホログラフィックオブジェクト420を形成するために使用されるエネルギー(例えば、光および/または圧力波)を投影しているLFディスプレイモジュール414との間に位置付けられ得ることに留意されたい。したがって、視聴者434の位置付けは、視聴者430が、LFディスプレイモジュール414からのエネルギーから形成されるホログラフィックオブジェクト420を知覚することを妨げる可能性がある。しかしながら、例示的な構成では、(例えば、視聴者434によって)遮られず、エネルギーを投影してホログラフィックオブジェクト420を形成し、視聴者430によって観察され得る、例えば、LFディスプレイモジュール416などの少なくとも1つの他のLFディスプレイモジュールが存在する。このように、空間内の視聴者による閉塞により、ホログラフィック投影の一部が見えなくなる可能性があるが、この影響は、ボリュームの一面にのみホログラフィックディスプレイパネルが存在する場合よりもはるかに小さい。ホログラフィックオブジェクト422は、ホログラフィックオブジェクトボリュームが集合表面の後ろに延在するため、6面集合シームレス表面環境の壁の「外側」に例示されている。したがって、視聴者430および/または視聴者434は、ホログラフィックオブジェクト422を、視聴者が全体にわたって移動することができる囲まれた6面環境の「外側」として知覚することができる。
【0074】
図4Aを参照して前述したように、いくつかの実施形態では、LFディスプレイシステム402は、視聴者の位置を能動的に追跡し、追跡された位置に基づいてホログラフィックコンテンツを提示するように、異なるLFディスプレイモジュールに動的に命令し得る。したがって、多面構成は、制約のない視聴者が、多面シームレス表面環境によって囲まれたエリア全体を自由に移動することができる、ホログラフィックオブジェクトを提供するための(例えば、
図4Aと比べて)より堅牢な環境を提供することができる。
【0075】
特に、様々なLFディスプレイシステムが、異なる構成を有し得る。さらに、各構成は、全体でシームレスな表示面(「集合表面」)を形成する表面の特定の配向を有し得る。すなわち、LFディスプレイシステムのLFディスプレイモジュールは、タイル張りされて様々な集合表面を形成することができる。例えば、
図4Bでは、LFディスプレイシステム402は、部屋の壁に近似する6面集合表面を形成するようにタイル張りされたLFディスプレイモジュールを含む。いくつかの他の例では、集合表面は、全表面(例えば、壁全体)ではなく、表面の一部(例えば、壁の半分)でのみ発生し得る。いくつかの例が本明細書に記載されている。
【0076】
いくつかの構成では、LFディスプレイシステムの集合表面は、局部的な視聴ボリュームに向けてエネルギーを投影するように構成された集合表面を含み得る。局部的な視聴ボリュームにエネルギーを投影することは、例えば、特定の視聴ボリューム内の投影エネルギーの密度を上げ、そのボリューム内の視聴者のFOVを広げ、視聴ボリュームを表示面に近づけることにより、より高品質の視聴体験を可能にする。
【0077】
例えば、
図4Cは、「ウィング型」構成の集合表面を有するLFディスプレイシステム450Aの上面図を示す。この例では、LFディスプレイシステム450Aは、前壁452、後壁454、第1の側壁456、第2の側壁458、天井(図示せず)、および床(図示せず)を有する部屋内に位置している。第1の側壁456、第2の側壁458、後壁454、床、および天井は、すべて直交している。LFディスプレイシステム450Aは、前壁を覆う集合表面460を形成するようにタイル張りされたLFディスプレイモジュールを含む。前壁452、したがって集合表面460は、3つの部分、すなわち、(i)後壁454とほぼ平行な第1の部分462(すなわち、中央表面)、(ii)第1の部分462を第1の側面456に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第2の部分464(すなわち、第1の側表面)、および(iii)第1の部分462を第2の側面458に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第3の部分466(すなわち、第2の側表面)を含む。第1の部分は、部屋内の垂直平面であり、水平および垂直軸を有する。第2および第3の部分は、水平軸に沿って部屋の中心に向かって角度が付いている。
【0078】
この例では、LFディスプレイシステム450Aの視聴ボリューム468Aは、部屋の中央にあり、集合表面460の3つの部分によって部分的に囲まれている。視聴者を少なくとも部分的に囲む集合表面(「周囲表面」)は、視聴者の没入型体験を増大する。
【0079】
例示のために、例えば、中央表面のみを有する集合表面を考慮する。
図2Aを参照すると、表示面のいずれかの端から投影される光線は、上記のように理想的なホログラフィックボリュームおよび理想的な視聴ボリュームを作成する。ここで、例えば、中央表面が、視聴者に向かって角度の付いた2つの側表面を含んだ場合を考慮する。この場合、光線256および光線257は、中央表面の法線からより大きな角度で投影されるであろう。したがって、視聴ボリュームの視野が拡大するであろう。同様に、ホログラフィック視聴ボリュームは、表示面により近くなるであろう。追加的に、第2および第3の2つの部分が視聴ボリュームのより近くで傾斜しているため、表示面から一定の距離で投影されるホログラフィックオブジェクトは、その視聴ボリュームにより近い。
【0080】
簡単に言えば、中央表面のみを有する表示面は、平面視野、(中央の)表示面と視聴ボリュームとの間の平面閾値分離、およびホログラフィックオブジェクトと視聴ボリュームとの間の平面近接度を有する。視聴者に向かって角度の付いた1つ以上の側表面を追加すると、平面視野に対して視野が拡大し、表示面と視聴ボリュームとの間の分離が平面分離に対して減少し、表示面とホログラフィックオブジェクトとの間の近接度が、平面近接度に対して増大する。側表面を視聴者に向けてさらに角度を付けると、さらに視野が拡大し、分離が減少し、近接度が増大する。言い換えれば、側表面の角度の付いた配置は、視聴者の没入型体験を増大する。
【0081】
追加的に、
図6に関して以下に説明するように、偏向光学系を使用して、LF表示パラメータ(例えば、寸法およびFOV)の視聴ボリュームのサイズおよび位置を最適化することができる。
【0082】
図4Dに戻ると、同様の例では、
図4Dは、「スロープ」構成の集合表面を有するLFディスプレイシステム450Bの上面図を示す。この例では、LFディスプレイシステム450Bは、前壁452、後壁454、第1の側壁(図示せず)、第2の側壁(図示せず)、天井472、および床474を有する部屋内に位置している。第1の側壁、第2の側壁、後壁454、床474、および天井472は、すべて直交している。LFディスプレイシステム450Bは、前壁を覆う集合表面460を形成するようにタイル張りされたLFディスプレイモジュールを含む。前壁452、したがって集合表面460は、3つの部分、すなわち、(i)後壁454とほぼ平行な第1の部分462(すなわち、中央表面)、(ii)第1の部分462を天井472に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第2の部分464(すなわち、第1の側表面)、および(iii)第1の部分462を床474に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第3の部分464(すなわち、第2の側表面)を含む。第1の部分は、部屋内の垂直平面であり、水平および垂直軸を有する。第2および第3の部分は、垂直軸に沿って部屋の中心に向かって角度が付いている。
【0083】
この例では、LFディスプレイシステム450Bの視聴ボリューム468Bは、部屋の中央にあり、集合表面460の3つの部分によって部分的に囲まれている。
図4Cに示される構成と同様に、2つの側面部分(例えば、第2の部分464および第3の部分466)は、視聴者を囲んで、周囲表面を形成するように角度が付いている。周囲表面は、ホログラフィック視聴ボリューム468B内の任意の視聴者の視点からの視聴FOVを拡大する。追加的に、周囲表面は、投影されたオブジェクトがより近くに見えるように、視聴ボリューム468Bがディスプレイの表面により近くなることを可能にする。言い換えれば、側表面の角度の付いた配置は、視野を拡大し、分離を減少させ、集合表面の近接度を増大させ、それによって、視聴者の没入型体験を増大する。さらに、以下で考察するように、偏向光学系を使用して、視聴ボリューム468Bのサイズおよび位置を最適化することができる。
【0084】
集合表面460の側面部分の傾斜構成は、第3の部分466が傾斜していない場合よりも、ホログラフィックコンテンツが視聴ボリューム468Bにより近く提示されることを可能にする。例えば、キャラクタが提示された形態の下肢(脚など)、傾斜構成のLFディスプレイシステムは、平坦な前壁を有するLFディスプレイシステムが使用された場合よりも近く、かつより現実的に思われる可能性がある。
【0085】
追加的に、LFディスプレイシステムの構成およびそれが位置している環境により、視聴ボリュームおよび視聴サブボリュームの形状および位置を知ることができる。
【0086】
図4Eは、例えば、部屋の前壁452上に集合表面460を有するLFディスプレイシステム450Cの上面図を例示する。この例では、LFディスプレイシステム450Dは、前壁452、後壁454、第1の側壁456、第2の側壁458、天井(図示せず)、および床(図示せず)を有する部屋内に位置している。
【0087】
LFディスプレイシステム450Cは、集合表面460から様々な光線を投影する。表示面の各位置から、視聴ボリュームを中心とした角度範囲で、光線が投影される。集合表面460の左側から投影される光線は水平角度範囲481を有し、集合表面の右側から投影される光線は水平角度範囲482を有し、集合表面460の中心から投影される光線は水平角度範囲483を有する。これらの点の間で、投影光線は、
図6に関して以下に説明されるように、角度範囲の中間値を取ることができる。このように、表示面の全体で投影光線に傾斜した偏向角(gradient deflection angle)を有することにより、視聴ボリューム468Cが作成される。さらに、この構成は、側壁456および458に光線を投影する際のディスプレイの解像度の無駄を回避する。
【0088】
図4Fは、部屋の前壁452上に集合表面460を有するLFディスプレイシステム450Dの側面図を例示する。この例では、LFディスプレイシステム450Eは、前壁452、後壁454、第1の側壁(図示せず)、第2の側壁(図示せず)、天井472、および床474を有する部屋内に位置している。この例では、床は、前壁から後壁に移動するにつれて各段が階段状に高くなるように、段になっている。ここで、床の各段は、視聴サブボリューム(例えば、表示サブボリューム470Aおよび470B)を含む。段状の床は、重複しない視聴サブボリュームを可能にする。すなわち、各視聴サブボリュームは、別の視聴サブボリュームを通過しない、視聴サブボリュームから集合表面460までの視線を有する。言い換えると、この配向は「スタジアム座席」効果を生み出し、段間の垂直オフセットにより遮るもののない視線が可能になり、各段が、他の段の視聴サブボリューム「越しに見る」ことが可能になる。重なり合わない視聴サブボリュームを含むLFディスプレイシステムは、重なり合う視聴ボリュームを有するLFディスプレイシステムよりも高品質の視聴体験を提供することができる。例えば、
図4Fに示される構成では、異なるホログラフィックコンテンツが、視聴サブボリューム470Aおよび470B内の観客に投影され得る。
【0089】
LFディスプレイシステムの制御
図5Aは、1つ以上の実施形態による、LFディスプレイシステム500のブロック図である。LFディスプレイシステム500は、LFディスプレイアセンブリ510およびコントローラ520を備える。LFディスプレイアセンブリ510は、ライトフィールドを投影する1つ以上のLFディスプレイモジュール512を含む。LFディスプレイモジュール512は、他のタイプのエネルギーを投影および/または感知する統合されたエネルギー源および/またはエネルギーセンサを含むソース/センサシステム514を含み得る。コントローラ520は、データストア522、ネットワークインターフェース524、およびLF処理エンジン530を含む。コントローラ520はまた、追跡モジュール526、および視聴者プロファイリングモジュール528を含み得る。いくつかの実施形態では、LFディスプレイシステム500はまた、感覚フィードバックシステム570および追跡システム580を含む。
図1、2、3、および4の文脈の中で説明されるLFディスプレイシステムは、LFディスプレイシステム500の実施形態である。他の実施形態では、LFディスプレイシステム500は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および/または異なるエンティティ間で分散され得る。LFディスプレイシステム500の用途についても、
図6~
図9に関して以下で詳細に考察する。
【0090】
LFディスプレイアセンブリ510は、視聴ボリューム内に位置する視聴者に見え得るホログラフィックオブジェクトボリューム内にホログラフィックコンテンツを提供する。LFディスプレイアセンブリ510は、コントローラ520から受信された表示命令を実行することによって、ホログラフィックコンテンツを提供することができる。ホログラフィックコンテンツは、集合表面の前、LFディスプレイアセンブリ510、LFディスプレイアセンブリ510の集合表面の後ろ、またはそれらの何らかの組み合わせに投影される1つ以上のホログラフィックオブジェクトを含み得る。コントローラ520を用いた表示命令の生成について、以下でより詳細に説明する。
【0091】
LFディスプレイアセンブリ510は、LFディスプレイアセンブリ510に含まれる1つ以上のLFディスプレイモジュール(例えば、LFディスプレイモジュール110、LFディスプレイシステム200、およびLFディスプレイモジュール300のいずれか)を使用してホログラフィックコンテンツを提供する。便宜上、1つ以上のLFディスプレイモジュールは、本明細書ではLFディスプレイモジュール512として説明されることがある。LFディスプレイモジュール512は、タイル張りされて、LFディスプレイアセンブリ510を形成することができる。LFディスプレイモジュール512は、様々なシームレス表面環境(例えば、単一面、多面、会場の壁、曲面など)として構造化され得る。つまり、タイル張りされたLFディスプレイモジュールが集合表面を形成する。前述のように、LFディスプレイモジュール512は、ホログラフィックコンテンツを提示する、エネルギーデバイス層(例えば、エネルギーデバイス層220)およびエネルギー導波路層(例えば、エネルギー導波路層240)を含む。LFディスプレイモジュール512はまた、ホログラフィックコンテンツを提示するときに、エネルギーデバイス層とエネルギー導波路層との間でエネルギーを転送するエネルギーリレー層(例えば、エネルギーリレー層230)を含み得る。
【0092】
LFディスプレイモジュール512はまた、前述のように、エネルギー投影および/またはエネルギー感知のために構成されている他の統合システムを含み得る。例えば、ライトフィールドディスプレイモジュール512は、エネルギーを投影および/または感知するように構成されている任意の数のエネルギーデバイス(例えば、エネルギーデバイス340)を含み得る。便宜上、LFディスプレイモジュール512の統合エネルギー投影システムおよび統合エネルギー感知システムは、本明細書では、総称してソース/センサシステム514として説明されることがある。ソース/センサシステム514は、ソース/センサシステム514が、LFディスプレイモジュール512と同じシームレスなエネルギー面を共有するように、LFディスプレイモジュール512内に統合されている。言い換えれば、LFディスプレイアセンブリ510の集合表面は、LFディスプレイモジュール512およびソース/センサモジュール514の両方の機能を含む。すなわち、ソース/センサシステム514を有するLFディスプレイモジュール512を含むLFアセンブリ510は、ライトフィールドを投影しながら、同時にエネルギーを投影し、かつ/またはエネルギーを感知することができる。例えば、LFディスプレイアセンブリ510は、LFディスプレイモジュール512と、前述のようにデュアルエネルギー面または双方向エネルギー面として構成されたソース/センサシステム514とを含み得る。
【0093】
いくつかの実施形態では、LFディスプレイシステム500は、感覚フィードバックシステム570を使用して、生成されたホログラフィックコンテンツを他の感覚コンテンツ(例えば、調整されたタッチ、音声または匂いなど)で拡張する。感覚フィードバックシステム570は、コントローラ520から受信された表示命令を実行することによって、ホログラフィックコンテンツの投影を拡張することができる。一般に、感覚フィードバックシステム570は、LFディスプレイアセンブリ510の外部の任意の数の感覚フィードバックデバイス(例えば、感覚フィードバックシステム442)を含む。いくつかの例示的な感覚フィードバックデバイスは、調整された音響投影デバイスおよび受信デバイス、芳香投影デバイス、温度調整デバイス、力作動デバイス、圧力センサ、トランスデューサなどを含み得る。場合によっては、感覚フィードバックシステム570は、ライトフィールドディスプレイアセンブリ510と同様の機能を有し得、逆もまた然りである。例えば、感覚フィードバックシステム570およびライトフィールドディスプレイアセンブリ510の両方は、サウンドフィールドを生成するように構成され得る。別の例として、感覚フィードバックシステム570は、触覚表面を生成するように構成され得る一方、ライトフィールドディスプレイ510アセンブリはそうではない。
【0094】
例示のために、ライトフィールドディスプレイシステム500の例示的な一実施形態では、感覚フィードバックシステム570は、1つ以上の音響投影デバイスを含み得る。1つ以上の音響投影デバイスは、コントローラ520から受信された表示命令を実行するときに、ホログラフィックコンテンツを補完する1つ以上の圧力波を生成するように構成される。生成される圧力波は、例えば、可聴(音の場合)、超音波(タッチの場合)、またはそれらの何らかの組み合わせであってもよい。同様に、感覚フィードバックシステム570は、芳香投影デバイスを含み得る。投影デバイスは、コントローラから受信した表示命令を実行する際に、標的エリアの一部またはすべてに香りを与えるように構成することができる。芳香デバイスは、標的エリア内の気流を調整するように、空気循環システム(例えば、ダクト、ファン、通気口など)内に結び付けられ得る。さらに、感覚フィードバックシステム570は、温度調整デバイスを含み得る。温度調整デバイスは、コントローラ520から受信された表示命令を実行するときに、標的エリアの一部もしくはすべての温度を上げるか、または下げるように構成されている。
【0095】
いくつかの実施形態では、感覚フィードバックシステム570は、LFディスプレイシステム500の視聴者からの入力を受信するように構成される。この場合、感覚フィードバックシステム570は、視聴者からの入力を受信するための様々な感覚フィードバックデバイスを含む。センサフィードバックデバイスとしては、音響受信デバイス(例えば、マイクロフォン)、圧力センサ、ジョイスティック、動作検出器、トランスデューサなどのデバイスを挙げることができる。感覚フィードバックシステムは、ホログラフィックコンテンツおよび/または感覚フィードバックの生成を調整するために、検出された入力をコントローラ520に送信することができる。
【0096】
例示のために、ライトフィールドディスプレイアセンブリの例示的な一実施形態では、感覚フィードバックシステム570は、マイクロフォンを含む。マイクロフォンは、1人以上の視聴者によって生み出された音声(例えば、あえぎ、悲鳴、笑い声など)を録音するように構成される。感覚フィードバックシステム570は、記録された音声を、視聴者入力としてコントローラ520に提供する。コントローラ520は、視聴者入力を使用して、ホログラフィックコンテンツを生成することができる。同様に、感覚フィードバックシステム570は、圧力センサを含み得る。圧力センサは、視聴者によって圧力センサに加えられた力を測定するように構成される。感覚フィードバックシステム570は、測定された力を、視聴者入力としてコントローラ520に提供することができる。
【0097】
いくつかの実施形態では、LFディスプレイシステム500は、追跡システム580を含む。追跡システム580は、標的エリア内の視聴者の位置、動き、および/または特性を決定するように構成された任意の数の追跡デバイスを含む。一般に、追跡デバイスは、LFディスプレイアセンブリ510の外部にある。いくつかの例示的な追跡デバイスとしては、カメラアセンブリ(「カメラ」)、深度センサ、構造化光、LIDARシステム、カードスキャンシステム、または標的エリア内の視聴者を追跡することができる他の追跡デバイスが挙げられる。
【0098】
追跡システム580は、標的エリアの一部またはすべてを光で照らす1つ以上のエネルギー源を含み得る。しかしながら、場合によっては、ホログラフィックコンテンツを提示するときに、標的エリアは、自然光および/またはLFディスプレイアセンブリ510からの周囲光で照らされる。エネルギー源は、コントローラ520から受信された命令を実行するときに、光を投影する。光は、例えば、構造化光パターン、光のパルス(例えば、IRフラッシュ)、またはそれらの何らかの組み合わせであり得る。追跡システムは、可視帯域(約380nm~750nm)内、赤外線(IR)帯域(約750nm~1700nm)内、紫外線帯域(10nm~380nm)内、電磁スペクトルの何らかの他の部分、またはそれらの何らかの組み合わせの光を投影することができる。ソースとしては、例えば、発光ダイオード(LED)、マイクロLED、レーザーダイオード、TOF深度センサ、波長可変レーザーなどを挙げることができる。
【0099】
追跡システム580は、コントローラ520から受信された命令を実行するときに、1つ以上の放出パラメータを調整することができる。放出パラメータは、追跡システム580のソースから光が投影される方法に影響を与えるパラメータである。放出パラメータとしては、例えば、明るさ、パルスレート(連続照明を含む)、波長、パルス長、ソースアセンブリから光が投影される方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。一実施形態では、ソースは、飛行時間動作で光のパルスを投影する。
【0100】
追跡システム580のカメラは、標的エリアから反射された光(例えば、構造化光パターン)の画像をキャプチャする。カメラは、コントローラ520から受信された追跡命令を実行するときに、画像をキャプチャする。前述のように、光は、追跡システム580のソースによって投影され得る。カメラは、1つ以上のカメラを含み得る。すなわち、カメラは、例えば、フォトダイオードのアレイ(1Dまたは2D)、CCDセンサ、CMOSセンサ、追跡システム580によって投影される光の一部またはすべてを検出する何らかの他のデバイス、またはそれらの何らかの組み合わせであってもよい。一実施形態では、追跡システム580は、LFディスプレイアセンブリ510の外部のライトフィールドカメラを含み得る。他の実施形態では、カメラは、LFディスプレイアセンブリ510に含まれるLFディスプレイソース/センサモジュール514の一部として含まれる。例えば、前述のように、ライトフィールドモジュール512のエネルギーリレー要素が、エネルギーデバイス層220で発光ディスプレイおよび画像センサの両方をインターリーブする双方向エネルギー層である場合、LFディスプレイアセンブリ510は、同時に、ライトフィールドを投影し、ディスプレイの前の視聴エリアからの画像情報を記録するように構成され得る。一実施形態では、双方向エネルギー面からキャプチャされた画像は、ライトフィールドカメラを形成する。カメラは、キャプチャされた画像をコントローラ520に提供する。
【0101】
追跡システム580のカメラは、コントローラ520から受信された追跡命令を実行するときに、1つ以上の撮像パラメータを調整することができる。撮像パラメータは、カメラが画像をキャプチャする方法に影響を与えるパラメータである。撮像パラメータとしては、例えば、フレームレート、アパーチャ、ゲイン、露光長さ、フレームタイミング、ローリングシャッターもしくはグローバルシャッターのキャプチャモード、カメラが画像をキャプチャする方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。
【0102】
コントローラ520は、LFディスプレイアセンブリ510と、LFディスプレイシステム500の任意の他の構成要素と、を制御する。コントローラ520は、データストア522、ネットワークインターフェース524、追跡モジュール526、視聴者プロファイリングモジュール528、およびライトフィールド処理エンジン530を備える。他の実施形態では、コントローラ520は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および/または異なるエンティティ間で分散され得る。例えば、追跡モジュール526は、LFディスプレイアセンブリ510または追跡システム580の一部であり得る。
【0103】
データストア522は、LFディスプレイシステム500の情報を記憶するメモリである。記憶される情報としては、表示命令、追跡命令、放出パラメータ、撮像パラメータ、標的エリアの仮想モデル、追跡情報、カメラによってキャプチャされた画像、1つ以上の視聴者プロファイル、ライトフィールドディスプレイアセンブリ510の較正データ、LFモジュール512の解像度および配向を含むLFディスプレイシステム510の構成データ、所望の視聴ボリューム形状、3Dモデル、シーンおよび環境、材料およびテクスチャを含むグラフィックス作成のためのコンテンツ、LFディスプレイシステム500によって使用され得る他の情報、またはそれらの何らかの組み合わせを挙げることができる。データストア522は、読み取り専用メモリ(ROM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、またはそれらの何らかの組み合わせなどのメモリである。
【0104】
ネットワークインターフェース524は、ライトフィールドディスプレイシステムがネットワークを介して他のシステムまたは環境と通信することを可能にする。一例では、LFディスプレイシステム500は、ネットワークインターフェース524を介して、リモートのライトフィールドディスプレイシステムからホログラフィックコンテンツを受信する。別の例では、LFディスプレイシステム500は、ネットワークインターフェース524を使用して、ホログラフィックコンテンツをリモートのデータストアに送信する。
【0105】
追跡モジュール526は、LFディスプレイシステム500によって提示されたコンテンツを視聴している視聴者を追跡する。そうするために、追跡モジュール526は、追跡システム580のソースおよび/またはカメラの動作を制御する追跡命令を生成し、追跡命令を追跡システム580に提供する。追跡システム580は、追跡命令を実行し、追跡モジュール526に追跡入力を提供する。
【0106】
追跡モジュール526は、標的エリア内の(例えば、会場の座席に座っている)1人以上の視聴者の位置を決定し得る。決定された位置は、例えば、何らかの基準点(例えば、表示面)に対するものであり得る。他の実施形態では、決定された位置は、標的エリアの仮想モデル内にあり得る。追跡された位置は、例えば、視聴者の追跡された位置および/または視聴者の一部の追跡された位置(例えば、目の場所、手の場所など)であり得る。追跡モジュール526は、追跡システム580のカメラからキャプチャされた1つ以上の画像を使用して、位置を決定する。追跡システム580のカメラは、LFディスプレイシステム500の周りに分配され得、画像を立体でキャプチャすることができ、追跡モジュール526が視聴者を受動的に追跡することを可能にする。他の実施形態では、追跡モジュール526は、視聴者を能動的に追跡する。すなわち、追跡システム580は、標的エリアのある部分を照らし、標的エリアを撮像し、追跡モジュール526は、飛行時間および/または構造化光深度決定技術を使用して、位置を決定する。追跡モジュール526は、決定された位置を使用して、追跡情報を生成する。
【0107】
追跡モジュール526はまた、LFディスプレイシステム500の視聴者からの入力として、追跡情報を受信することができる。追跡情報は、視聴者がLFディスプレイシステム500によって提供される様々な入力オプションに対応する身体の動きを含み得る。例えば、追跡モジュール526は、視聴者の身体の動きを追跡し、任意の様々な動きを、入力として、LF処理エンジン530に割り当てることができる。追跡モジュール526は、追跡情報を、データストア522、LF処理エンジン530、視聴者プロファイリングモジュール528、LFディスプレイシステム500の任意の他の構成要素、またはそれらの何らかの組み合わせに提供することができる。
【0108】
追跡モジュール526の状況を提供するために、あるプレイで選手が勝利のタッチダウンをスコアするプレイを表示するLFディスプレイシステム500の例示的な実施形態を検討する。シーンに応答して、視聴者はガッツポーズをして、興奮を示す。追跡システム580は、視聴者の手の動きを記録し、その記録を追跡モジュール526に送信することができる。これは、前述のように、ライトフィールドディスプレイアセンブリ510の外部のカメラ、深度センサ、または他のデバイスからなる追跡システム580を用いて、または、同時に、ライトフィールド画像を投影し、画像を記録する表示面であって、表示面から記録される画像がライトフィールド画像であり得る、表示面を用いて、もしくはこれらのデバイスの任意の組み合わせで、達成され得る。追跡モジュール526は、記録における視聴者の手の動作を追跡し、入力をLF処理エンジン530に送信する。以下に説明するように、視聴者プロファイリングモジュール528は、視聴者の手の動作が肯定的な応答に関連付けられていることを画像内の情報が示していると決定する。したがって、十分な数の視聴者が肯定的な応答を有していると認識された場合、LF処理エンジン530は、タッチダウンを祝福する適切なホログラフィックコンテンツを生成する。例えば、LF処理エンジン530は、シーンに紙吹雪を投影し得る。
【0109】
LFディスプレイシステム500は、視聴者を識別し、かつプロファイリングするように構成された視聴者プロファイリングモジュール528を含む。視聴者プロファイリングモジュール528は、LFディスプレイシステム500によって表示されたホログラフィックコンテンツを見る1人または複数の視聴者のプロファイルを生成する。視聴者プロファイリングモジュール528は、視聴者の入力および監視された視聴者の行動、動作、ならびに反応に部分的に基づいて、視聴者プロファイルを生成する。視聴者プロファイリングモジュール528は、追跡システム580から取得された情報(例えば、記録された画像、ビデオ、音声など)にアクセスし、その情報を処理して、様々な情報を決定することができる。様々な例において、視聴者プロファイリングモジュール528は、任意の数のマシンビジョンまたは機械聴覚アルゴリズムを使用して、視聴者の行動、動作、および反応を決定することができる。監視される視聴者の行動には、例えば、笑顔、歓声、拍手、笑い、恐怖、悲鳴、興奮レベル、反動、他のジェスチャの変化、または視聴者による動きなどが含まれ得る。
【0110】
より一般的には、視聴者プロファイルは、LFディスプレイシステムからのホログラフィックコンテンツを見ている視聴者に関して受信および/または決定された任意の情報を含み得る。例えば、各視聴者プロファイルは、LFディスプレイシステム500によって表示されたコンテンツに対するその視聴者の動作または応答を記録することができる。視聴者プロファイルに含まれ得るいくつかの例示的な情報が、以下に提供される。
【0111】
いくつかの実施形態では、視聴者プロファイルは、表示された公演者(例えば、俳優、歌手など)、会場(例えば、ステージ、コンサートホールなど)に関する視聴者の応答を記述し得る。例えば、視聴者プロファイルは、18~25歳のつや消しのブロンドの髪を持つハンサムな男性歌手のグループとして公演を行う公演者に対して視聴者が全般的に肯定的な反応を有することを示し得る。
【0112】
いくつかの実施形態では、視聴者プロファイルは、公演を視聴する視聴者の特徴を示し得る。例えば、会場での視聴者は、大学のロゴが表示されたスウェットシャツを着用している。この場合、視聴者プロファイルは、視聴者が、スウェットシャツを着用していて、スウェットシャツにそのロゴがある大学に関連付けられたホログラフィックコンテンツを好む可能性があることを示し得る。より広義には、視聴者プロファイルに示され得る視聴者の特性としては、例えば、年齢、性別、民族、衣服、会場での視聴場所などを挙げることができる。
【0113】
いくつかの実施形態では、視聴者プロファイルは、望ましい公演および/または会場の特徴に関して視聴者の好みを示すことができる。例えば、視聴者プロファイルは、視聴者が、家族の一人ひとりの年齢に適切なホログラフィックコンテンツのみを見たがることを示す場合がある。別の例では、視聴者プロファイルは、ホログラフィックコンテンツを表示すべきホログラフィックオブジェクトボリューム(例えば、壁の上)およびホログラフィックコンテンツを表示すべきでないホログラフィックオブジェクトボリューム(例えば、視聴者の頭上)を示し得る。視聴者プロファイルはまた、視聴者が触覚インターフェースを自分たちの近くに提示させたがること、または触覚インターフェースを避けたがることを示し得る。
【0114】
別の例では、視聴者プロファイルは、特定の視聴者のために視聴された公演の履歴を示す。例えば、視聴者プロファイリングモジュール528は、視聴者または視聴者のグループが以前に公演に参加したことを決定する。したがって、LFディスプレイシステム500は、視聴者が公演に前回参加したときとは異なるホログラフィックコンテンツを表示し得る。一例として、ホログラフィックコンテンツを含む公演は、3つの異なるエンディングを有し得、LFディスプレイシステム500は、参加している視聴者に基づいて、異なるエンディングを表示し得る。別の例では、3つのエンディングの各々が、同じ会場の異なる視聴ボリュームに提示され得る。
【0115】
いくつかの実施形態では、視聴者プロファイルはまた、特定の視聴者ではなく、視聴者のグループの特徴および好みを示し得る。例えば、視聴者プロファイリングモジュール528は、会場で公演を視聴している観客のための視聴者プロファイルを生成し得る。一例では、視聴者プロファイリングモジュール528は、吸血鬼に恋をしているティーンエイジャーについての公演を視聴する視聴者のための視聴者プロファイルを作成する。このプロファイルは、視聴者の86.3%が20歳~35歳の女性であり、公演に対して肯定的な応答を有していることを示す。プロフィールはまた、視聴者の残りの23.7%が20歳~35歳の男性であり、公演に対して否定的な反応を有していることを示す。前述の情報および特徴のいずれもが、視聴者のグループに適用され得る。
【0116】
視聴者プロファイリングモジュール528は、特定の1人または複数の視聴者に関連付けられたプロファイルに、1つ以上のサードパーティシステムからアクセスして、視聴者プロファイルを構築することもできる。例えば、視聴者は、その視聴者のソーシャルメディアアカウントにリンクされたサードパーティベンダーを使用して、公演のチケットを購入する。したがって、視聴者のチケットは視聴者のソーシャルメディアアカウントにリンクされている。視聴者がチケットを使用して公演の会場に入ると、視聴者プロファイリングモジュール528は、視聴者のソーシャルメディアアカウントからの情報にアクセスして、視聴者プロファイルを構築(または拡張)することができる。
【0117】
いくつかの実施形態では、データストア522は、視聴者プロファイリングモジュール528によって生成、更新、および/または維持された視聴者プロファイルを記憶する視聴者プロファイルストアを含む。視聴者プロファイルは、視聴者プロファイリングモジュール528によって、いつでもデータストア内で更新され得る。例えば、一実施形態では、視聴者プロファイルストアは、特定の視聴者が、LFディスプレイシステム500によって提供されたホログラフィックコンテンツを見るときに、その特定の視聴者に関する情報を受信し、その視聴者の視聴者プロファイルに記憶する。この例では、視聴者プロファイリングモジュール528は、視聴者を認識し、視聴者が提示されたホログラフィックコンテンツを見るときに視聴者を確実に識別することができる顔認識アルゴリズムを含む。例示のために、視聴者がLFディスプレイシステム500の標的エリアに入ると、追跡システム580が、視聴者の画像を取得する。視聴者プロファイリングモジュール528は、キャプチャされた画像を入力し、顔認識アルゴリズムを使用して視聴者の顔を識別する。識別された顔は、プロファイルストア内の視聴者プロファイルに関連付けられ、そのため、その視聴者に関して取得されたすべての入力情報が、その視聴者のプロファイルに記憶され得る。視聴者プロファイリングモジュールはまた、カード識別スキャナ、音声識別子、無線周波数識別(RFID)チップスキャナ、バーコードスキャナなどを利用して、視聴者を確実に識別することができる。
【0118】
視聴者プロファイリングモジュール528が視聴者を確実に識別できる実施形態では、視聴者プロファイリングモジュール528は、LFディスプレイシステム500への各視聴者の各訪問を決定することができる。次に、視聴者プロファイリングモジュール528は、各訪問の日時を各視聴者の視聴者プロファイルに記憶することができる。同様に、視聴者プロファイリングモジュール528は、感覚フィードバックシステム570、追跡システム580、および/またはLFディスプレイアセンブリ510の任意の組み合わせから受信された、視聴者からの入力を、入力が発生するたびに記憶することができる。視聴者プロファイルシステム528は、コントローラ520の他のモジュールまたは構成要素から視聴者に関するさらなる情報を追加的に受信することができ、この情報は、視聴者プロファイルとともに記憶され得る。次に、コントローラ520の他の構成要素も、その視聴者に提供される後のコンテンツを決定するために、記憶された視聴者プロファイルにアクセスすることができる。
【0119】
LF処理エンジン530は、ライトフィールドデータ、ならびにLFディスプレイシステム500によってサポートされるすべての感覚領域のデータからなるホログラフィックコンテンツを生成する。例えば、LF処理エンジン530は、LFディスプレイアセンブリ510によって実行されると、LFディスプレイアセンブリ510にホログラフィックコンテンツを提示させる、ラスタライズ化されたフォーマットの4D座標(「ラスタライズ化されたデータ」)を生成することができる。LF処理エンジン530は、データストア522からラスタライズ化されたデータにアクセスすることができる。さらに、LF処理エンジン530は、ベクトル化されたデータセットからラスタライズされたデータを構築することができる。ベクトル化されたデータを以下に説明する。LF処理エンジン530はまた、ホログラフィックオブジェクトを拡張する感覚コンテンツを提供するために必要な感覚命令を生成することができる。上記のように、感覚命令は、LFディスプレイシステム500によって実行されると、触覚表面、サウンドフィールド、およびLFディスプレイシステム500によってサポートされる他の形態の感覚エネルギーを生成することができる。LFデータ処理エンジン530は、データストア522から感覚命令にアクセスする、または、感覚命令を構築して、ベクトル化されたデータセットを形成することができる。全体として、4D座標および感覚データは、ホログラフィックおよび感覚コンテンツを生成するためにLFディスプレイシステムによって実行可能な表示命令として、ホログラフィックコンテンツを表す。より一般的には、ホログラフィックコンテンツは、理想的なライトフィールド座標を有するCGコンテンツ、ライブアクションコンテンツ、ラスタライズ化されたデータ、ベクトル化データ、リレーのセットによって輸送される電磁エネルギー、エネルギーデバイスのグループに送信される命令、1つ以上のエネルギー面上のエネルギー位置、表示面から投影されるエネルギー伝搬経路のセット、視聴者または観客に見えるホログラフィックオブジェクトの形態、および多くの他の同様の形態を採ることができる。
【0120】
LFディスプレイシステム500内の様々なエネルギー源を通るエネルギーの流れを説明するラスタライズされたデータの量は、信じられないほど大量である。データストア522からアクセスされる場合、ラスタライズされたデータをLFディスプレイシステム500に表示することは可能であるが、(例えば、ネットワークインターフェース524を介して)効率的に送信し、受信し、その後、ラスタライズされたデータをLFディスプレイシステム500に表示することは不可能である。例えば、LFディスプレイシステム500によるホログラフィック投影用の短い公演を表すラスタライズされたデータを取り上げる。この例では、LFディスプレイシステム500は、数ギガピクセルを含むディスプレイを含み、ラスタライズされたデータは、ディスプレイ上の各ピクセル場所の情報を含む。ラスタライズされたデータの対応するサイズは膨大であり(例えば、公演表示時間の毎秒多ギガバイト)、ネットワークインターフェース524を介した商用ネットワーク上での効率的な転送には管理できない。効率的な転送の問題は、ホログラフィックコンテンツのライブストリーミングを含むアプリケーションで増幅される可能性がある。感覚フィードバックシステム570または追跡モジュール526からの入力を使用してインタラクティブな体験が望まれる場合、単にラスタライズされたデータをデータストア522に記憶することに関する追加の問題が生じる。インタラクティブな体験を可能にするために、LF処理エンジン530によって生成されたライトフィールドコンテンツは、感覚または追跡入力に応答してリアルタイムで修正され得る。言い換えれば、場合によっては、LFコンテンツは、データストア522から単純に読み取ることができない。
【0121】
したがって、いくつかの構成では、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを表すデータは、ベクトル化されたデータフォーマット(「ベクトル化されたデータ」)でLF処理エンジン530に転送され得る。ベクトル化されたデータは、ラスタライズされたデータよりも桁違いに小さい場合がある。さらに、ベクトル化されたデータは、データの効率的な共有を可能にするデータセットサイズを有しながら、高い画質を提供する。例えば、ベクトル化されたデータは、より密度の高いデータセットから派生した疎なデータセットである可能性がある。したがって、ベクトル化されたデータは、密度の高いラスタライズされたデータから疎なベクトル化されたデータがどのようにサンプリングされるかに基づいて、画質とデータ送信サイズとの間の調整可能なバランスを有する可能性がある。ベクトル化されたデータを生成するための調整可能なサンプリングにより、特定のネットワーク速度での画質の最適化が可能になる。結果として、ベクトル化されたデータは、ネットワークインターフェース524を介したホログラフィックコンテンツの効率的な送信を可能にする。ベクトル化されたデータにより、ホログラフィックコンテンツを商用ネットワーク経由でライブストリーミングすることもできる。
【0122】
要約すると、LF処理エンジン530は、データストア522からアクセスされるラスタライズされたデータ、データストア522からアクセスされるベクトル化されたデータ、またはネットワークインターフェース524を介して受信されるベクトル化されたデータから導出されたホログラフィックコンテンツを生成することができる。様々な構成において、ベクトル化されたデータは、データ送信の前にエンコーダによって符号化され得、LFコントローラ520による受信の後にデコーダによって復号化され得る。エンコーダとデコーダのペアは、同じ独自のシステムコーデックの一部であり得る。いくつかの例では、ベクトル化されたデータは、データ圧縮に関連する追加のデータセキュリティおよび公演の向上のために符号化される。例えば、ネットワークインターフェースによって受信されたベクトル化されたデータは、ホログラフィックストリーミングアプリケーションから受信された符号化され、ベクトル化されたデータであり得る。いくつかの例では、ベクトル化されたデータは、デコーダ、LF処理エンジン530、またはこれらの両方が、ベクトル化されたデータ内の符号化された情報コンテンツにアクセスすることを必要とし得る。エンコーダおよび/またはデコーダシステムは、顧客に対して利用可能である場合があるか、またはサードパーティベンダーにライセンス供与されている場合がある。他の例示的な符号化および/または復号化スキームを使用して、ホログラフィックコンテンツを送信および/または提示することができる。
【0123】
ベクトル化されたデータは、インタラクティブな体験をサポートし得る方法で、LFディスプレイシステム500によってサポートされる各感覚領域の各々の情報を含む。例えば、インタラクティブなホログラフィック体験のためのベクトル化されたデータは、LFディスプレイシステム500によってサポートされる感覚領域の各々に正確な物理学を提供することができる任意のベクトル化された特性を含み得る。ベクトル化された特性は、合成的にプログラムされ、キャプチャされ、計算により評価され得るなどの任意の特性を含み得る。LF処理エンジン530は、ベクトル化されたデータのベクトル化された特性をラスタライズされたデータに変換するように構成され得る。次に、LF処理エンジン530は、LFディスプレイアセンブリ510を使用してベクトル化されたデータから変換されたホログラフィックコンテンツを投影することができる。様々な構成で、ベクトル化された特性には、1つ以上の赤/緑/青/アルファチャネル(RGBA)+深度画像、1つの高解像度中央画像および低解像度の他のビューを含み得る様々な解像度での深度情報の有無にかかわらないマルチビュー画像、アルベドおよび反射率、表面法線、他の光学効果、表面識別、幾何学的オブジェクト座標、仮想カメラ座標、表示面の場所、照明座標、表面の接触剛性、接触延性、接触強度、サウンドフィールドの振幅および座標、環境条件、テクスチャまたは温度の機械受容器に関連する体性感覚エネルギーベクトル、音声、ならびに他の感覚領域特性の座標が含まれ得る。他の多くのベクトル化された特性も可能である。
【0124】
LFディスプレイシステム500は、インタラクティブな視聴体験を生成することもできる。すなわち、ホログラフィックコンテンツは、視聴者の場所、ジェスチャ、インタラクション、ホログラフィックコンテンツとのインタラクションに関する情報、または視聴者プロファイリングモジュール528および/もしくは追跡モジュール526ら導出された他の情報を含む入力刺激に応答することができる。例えば、一実施形態では、LF処理システム500は、ネットワークインターフェース524を介して受信されたリアルタイム公演のベクトル化されたデータを使用して、インタラクティブな視聴体験を作成する。別の例では、ホログラフィックオブジェクトが、視聴者のインタラクションに応じて直ちに特定の方向に移動する必要がある場合、LF処理エンジン530は、ホログラフィックオブジェクトがその要求された方向に移動するように、シーンのレンダリングを更新することができる。これには、LF処理エンジン530が、ベクトル化されたデータセットを使用して、適切なオブジェクトの配置および動き、衝突検出、オクルージョン、色、陰影、照明などを有する3Dグラフィカルシーンに基づいて、リアルタイムでライトフィールドをレンダリングし、視聴者のインタラクションに正しく応答することが必要であり得る。LF処理エンジン530は、ベクトル化されたデータを、LFディスプレイアセンブリ510による提示のためにラスタライズされたデータに変換する。LFディスプレイシステム500は、LFディスプレイシステムがほぼリアルタイムでホログラフィックコンテンツを提示することを可能にする様々な他の符号化/復号化技術を採用し得る。
【0125】
ラスタライズされたデータには、リアルタイムの公演を表すホログラフィックコンテンツ命令および感覚命令(表示命令)が含まれる。LFディスプレイアセンブリ510は、表示命令を実行することによって、リアルタイムの公演のホログラフィックおよび感覚コンテンツを同時に投影する。LFディスプレイシステム500は、追跡モジュール526および視聴者プロファイリングモジュール528を用いて、提示されたリアルタイムの公演のコンテンツとの視聴者のインタラクション(例えば、音声応答、タッチなど)を監視する。視聴者のインタラクションに応答して、LF処理エンジンは、視聴者に表示するための追加のホログラフィックおよび/または感覚コンテンツを生成することによって、インタラクティブな体験を作成することができる。
【0126】
例示のために、公演中に会場の天井からバルーンが落ちてくる様子を表す複数のホログラフィックオブジェクトを生成するLF処理エンジン530を含むLFディスプレイシステム500の例示的な一実施形態を考慮する。視聴者は、バルーンを表すホログラフィックオブジェクトにタッチするように移動し得る。それに応じて、追跡システム580は、ホログラフィックオブジェクトに対する視聴者の手の動きを追跡する。視聴者の動きは追跡システム580によって記録され、コントローラ520に送信される。追跡モジュール526は、視聴者の手の動作を連続的に決定し、決定された動作をLF処理エンジン530に送信する。LF処理エンジン530は、シーン内の視聴者の手の配置を決定し、ホログラフィックオブジェクトに必要な任意の変更(位置、色、またはオクルージョンなど)を含むために、グラフィックスのリアルタイムレンダリングを調整する。LF処理エンジン530は、LFディスプレイアセンブリ510(および/または感覚フィードバックシステム570)に、体積触覚投影システムを使用して(例えば、超音波スピーカを使用して)触覚表面を生成するように指示する。生成された触覚表面は、ホログラフィックオブジェクトの少なくとも一部に対応し、ホログラフィックオブジェクトの外面の一部またはすべてと実質的に同じ空間を占有する。LF処理エンジン530は追跡情報を使用して、LFディスプレイアセンブリ510に、バルーンにタッチする視覚的および触覚的知覚の両方を視聴者が与えられるように、触覚表面の位置を、レンダリングされたホログラフィックオブジェクトの位置とともに移動するよう動的に指示する。より簡単に言えば、視聴者がホログラフィックバルーンにタッチしている自分の手を見ると、視聴者は同時に、手がホログラフィックバルーンにタッチし、タッチに応答してバルーンが位置または動作を変更することを示す触覚フィードバックを感じる。いくつかの例では、データストア522からアクセスされる公演でインタラクティブバルーンを提示するのではなく、インタラクティブバルーンは、ネットワークインターフェース524を介してライブストリーミングアプリケーションから受信されるホログラフィックコンテンツの一部として受信され得る。言い換えれば、LFディスプレイシステム500によって表示されるホログラフィックコンテンツは、ホログラフィックコンテンツライブストリームであり得る。
【0127】
LF処理エンジン530は、会場の体験を拡張するために、公演の前、最中、および/または後に会場の視聴者に表示するホログラフィックコンテンツを提供し得る。ホログラフィックコンテンツは、公演のパブリッシャによって提供されても、会場によって提供されても、広告主によって提供されても、LF処理エンジン530などによって生成されてもよい。ホログラフィックコンテンツは、公演、公演のジャンル、会場の位置、広告などに関連付けられたコンテンツであってもよい。いずれの場合も、ホログラフィックコンテンツは、データストア522に記憶されるか、またはネットワークインターフェース524を介してベクトル化されたフォーマットでLFディスプレイシステム500にストリーミングされ得る。例えば、公演は、壁にLFディスプレイモジュールで拡張された会場で示され得る。公演の配信業者は、公演が始まる前に壁のディスプレイに提示するホログラフィックコンテンツを提供し得る。LF処理エンジン530は、ホログラフィックコンテンツにアクセスし、公演が始まる前に、会場の壁のディスプレイからアクセスされたコンテンツを提示する。別の例では、LFディスプレイシステム500を備えた会場がサンフランシスコにある。会場にはゴールデンゲートブリッジのホログラフィック表現が記憶されており、公演固有のコンテンツが提供されていない場合は、公演の前に会場に提示される。ここでは、公演固有のホログラフィックコンテンツが提供されていないため、LF処理エンジン530は、会場のゴールデンゲートブリッジにアクセスして提示する。別の例では、広告主は、フィルムの後に表示するために、その製品のホログラフィックコンテンツを会場に広告として提供した。公演が終了した後、LF処理エンジン530は、視聴者が会場を離れるときに広告を提示する。他の例では、以下に説明するように、LF処理エンジンは、劇場の壁に表示するためにホログラフィックコンテンツを動的に生成することができる。
【0128】
LF処理エンジン500はまた、ホログラフィックコンテンツを提示している会場に適合するようにホログラフィックコンテンツを修正し得る。例えば、すべての会場が同じサイズである、同じ数の座席を有している、または同じ技術構成を有しているわけではない。したがって、LF処理エンジン530は、ホログラフィックコンテンツが会場内に適切に表示されるように、ホログラフィックコンテンツを修正することができる。一実施形態では、LF処理エンジン530は、会場のレイアウト、解像度、視野、他の技術仕様などを含む、会場の構成ファイルにアクセスすることができる。LF処理エンジン530は、構成ファイルに含まれる情報に基づいて、ホログラフィックコンテンツをレンダリングおよび提示することができる。
【0129】
LF処理エンジン530はまた、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを作成することができる。重要なことには、ここで、表示のためのホログラフィックコンテンツを作成することは、表示のためのホログラフィックコンテンツをアクセスすること、または受信することとは異なる。すなわち、コンテンツを作成するとき、LF処理エンジン530は、以前に生成および/または受信されたコンテンツをアクセスするのではなく、表示のための全く新しいコンテンツを生成する。LF処理エンジン530は、追跡システム580、感覚フィードバックシステム570、視聴者プロファイリングモジュール528、追跡モジュール526、またはそれらの何らかの組み合わせからの情報を使用して、表示のためのホログラフィックコンテンツを作成することができる。いくつかの例では、LF処理エンジン530は、LFディスプレイシステム500の要素からの情報(例えば、追跡情報および/または視聴者プロファイル)にアクセスし、それに応じて、その情報に基づいてホログラフィックコンテンツを作成し、作成されたホログラフィックコンテンツを、LFディスプレイシステム500を使用して表示することができる。作成されたホログラフィックコンテンツは、LFディスプレイシステム500によって表示されるときに、他の感覚コンテンツ(例えば、タッチ、音声、または匂い)で拡張され得る。さらに、LFディスプレイシステム500は、作成されたホログラフィックコンテンツが将来表示され得るように、作成されたホログラフィックコンテンツを記憶することができる。
【0130】
LFディスプレイシステムのための動的コンテンツ生成
いくつかの実施形態では、LF処理エンジン530は、人工知能(AI)モデルを組み込んで、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを作成する。AIモデルは、回帰モデル、ニューラルネットワーク、分類器、または他のAIアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。AIモデルは、視聴者の行動に関する情報を含み得る、LFディスプレイシステム500によって(例えば、追跡システム580によって)記録された視聴者情報に基づいて、視聴者の好みを決定するために使用することができる。
【0131】
AIモデルは、ホログラフィックコンテンツを作成するために、データストア522からの情報にアクセスすることができる。例えば、AIモデルは、データストア522内の1つまたは複数の視聴者プロファイルからの視聴者情報にアクセスすることができるか、またはLFディスプレイシステム500の様々な構成要素から視聴者情報を受信することができる。例示のために、AIモデルは、視聴者が、公演者が蝶ネクタイを着用しているホログラフィックコンテンツを見るのを楽しんでいると決定することができる。AIモデルは、以前見た、蝶ネクタイを着用している俳優を含むホログラフィックコンテンツに対する視聴者のグループの肯定的な反応または応答に基づいて、好みを決定することができる。つまり、AIモデルは、学習された視聴者の好みに従って、視聴者のセットに合わせて個人化されたホログラフィックコンテンツを作成することができる。そのため、例えば、AIモデルは、LFディスプレイシステム500を使用して、視聴者のグループによって視聴されるホログラフィックコンテンツに表示される俳優に蝶ネクタイを作成することができる。AIモデルはまた、学習された各視聴者の好みを、データストア522の視聴者プロファイルストアに記憶することができる。いくつかの例では、AIモデルは、視聴者のグループではなく、個々の視聴者のためにホログラフィックコンテンツを作成することができる。
【0132】
視聴者の特徴を識別し、反応を識別し、かつ/または識別された情報に基づいてホログラフィックコンテンツを生成するために使用され得るAIモデルの一例が、現在の層のノードの値が前の層のノードでの値の変換である、ノードのレイヤを有する畳み込みニューラルネットワークモデルである。モデルにおける変換は、現在の層および前の層を接続する、重みおよびパラメータのセットを介して決定される。例えば、AIモデルは、ノードの5つの層、すなわち層A、B、C、D、およびEを含み得る。層Aから層Bへの変換は関数W1により与えられ、層Bから層Cへの変換はW2により与えられ、層Cから層Dへの変換はW3により与えられ、層Dから層Eへの変換はW4により与えられる。いくつかの例では、変換はまた、モデル内の前の層間を変換するために使用される重みおよびパラメータとのセットを介して決定され得る。例えば、層Dから層Eへの変換W4は、層Aから層Bへの変換W1を遂行するために使用されるパラメータに基づき得る。
【0133】
モデルへの入力は、畳み込み層A上に符号化された、追跡システム580によって撮影された画像であり得、モデルの出力は、出力層Eから復号されたホログラフィックコンテンツである。代替的または追加的に、出力は、画像内で決定された視聴者の特徴であり得る。この例では、AIモデルは、識別層Cの視聴者の特徴を表す、画像内の潜在情報を識別する。AIモデルは、畳み込み層Aの次元を識別層Cの次元まで低減して、画像内の任意の特徴、動作、応答などを識別する。いくつかの例では、AIモデルは、次に、識別層Cの次元を増加してホログラフィックコンテンツを生成する。
【0134】
追跡システム580からの画像は、畳み込み層Aに符号化される。畳み込み層Aに入力された画像は、識別層Cの様々な特徴および/または反応情報などに関連付けられ得る。これらの要素間の関連情報は、対応する層間に変換のセットを適用することによって検索され得る。すなわち、AIモデルの畳み込み層Aは、符号化された画像を表し、モデルの識別層Cは、笑顔の視聴者を表す。所与の画像内の笑顔の視聴者は、畳み込み層Aの空間内の画像の画素値に変換W1およびW2を適用することによって識別され得る。変換の重みおよびパラメータは、画像に含まれる情報と笑顔の視聴者の識別との間の関係を示し得る。例えば、重みおよびパラメータは、画像内の笑顔の視聴者を表す情報に含まれる形状、色、サイズなどの量子化であり得る。重みおよびパラメータは、履歴データ(例えば、以前に追跡された視聴者)に基づき得る。
【0135】
画像内の笑顔の視聴者は、識別層Cで識別される。識別層Cは、画像内の笑顔の視聴者に関する潜在情報に基づいて識別された笑顔の視聴者を表す。
【0136】
画像内の識別された笑顔の視聴者を使用して、ホログラフィックコンテンツを生成することができる。ホログラフィックコンテンツを生成するために、AIモデルは、識別層Cから開始して、変換W2およびW3を識別層Cの所与の識別された笑顔の視聴者の値に適用する。変換は、出力層Eのノードのセットをもたらす。変換の重みおよびパラメータは、識別された笑顔の視聴者と特定のホログラフィックコンテンツおよび/または好みとの間の関係を示し得る。ホログラフィックコンテンツが、出力層Eのノードから直接出力される場合もあれば、コンテンツ生成システムが、出力層Eのノードをホログラフィックコンテンツに復号化する場合もある。例えば、出力が、識別された特徴のセットである場合、LF処理エンジンは、その特徴を使用してホログラフィックコンテンツを生成することができる。
【0137】
追加的に、AIモデルは、中間層として知られている層を含み得る。中間層は、画像に対応しない層であって、特徴/反応などを識別するか、またはホログラフィックコンテンツを生成する。例えば、所与の例では、層Bは、畳み込み層Aと識別層Cとの間の中間層である。層Dは、識別層Cと出力層Eとの間の中間層である。隠れ層は、データ中では観測されないが、特徴を識別してホログラフィックコンテンツを生成するときに、画像の要素間の関係を支配し得る識別の様々な態様の潜在表現である。例えば、隠れ層のあるノードが、「笑っているヒトの笑顔」の共通点を共有する入力値および識別値と強いつながり(例えば、大きな重み値)を有している場合がある。別の例として、隠れ層の別のノードが、「怖がっているヒトの悲鳴」の共通点を共有する入力値および識別値と強いつながりを持有している場合がある。当然のことながら、ニューラルネットワークには任意の数のリンケージが存在する。追加的に、各中間層は、例えば、残差ブロック、畳み込み層、プーリング操作、スキップ接続、連結などの機能の組み合わせである。任意の数の中間層Bが、畳み込み層を識別層まで減らすように機能し得、任意の数の中間層Dが、識別層を出力層まで増加させるように機能し得る。
【0138】
一実施形態では、AIモデルは、強化学習でトレーニングされた決定論的方法を含む(それにより、強化学習モデルを作成する)。モデルは、追跡システム580からの測定値を入力として、および作成されたホログラフィックコンテンツへの変更を出力として使用して、公演の品質を高めるようにトレーニングされる。
【0139】
強化学習は、数値的な報酬信号を最大化するために、機械が「何をすべきか」(状況を動作にマッピングする方法)を学習する機械学習システムである。学習器(例えば、LF処理エンジン530)は、取るべき動作(例えば、所定のホログラフィックコンテンツの生成)を告げられていないが、代わりに、動作を試行することによって、どの動作が最大の報酬をもたらすか(例えば、より多くのヒトに歓声を上げさせることによってホログラフィックコンテンツの品質を高めること)を発見する。場合によっては、動作は、即時報酬だけでなく、次の状況、かつそれを通じて、その後のすべての報酬にも影響を及ぼし得る。これらの2つの特徴(試行錯誤による探索および遅延報酬)が、強化学習の2つの際立った特徴である。
【0140】
強化学習は、学習方法を特徴づけることによってではなく、学習問題を特徴づけることによって定義される。基本的に、強化学習システムは、目標を達成するために環境とインタラクションする学習エージェントが直面している問題の重要な態様をキャプチャする。つまり、パフォーマの曲を生成する例では、強化学習システムは、現場の視聴者に関する情報(例えば、年齢、気質など)をキャプチャする。このようなエージェントは、環境の状態を感知し、状態に影響を与える動作を実行して、1つまたは複数の目標を達成する(例えば、視聴者が歓声を上げるであろうポップソングを作成する)。最も基本的な形態では、強化学習の定式化は、学習器のための3つの態様、すなわち、感覚、動作、および目標を含む。曲の例に続いて、LF処理エンジン530は、追跡システム580のセンサで環境の状態を感知し、環境内の視聴者にホログラフィックコンテンツを表示し、視聴者のその曲の受容の尺度である目標を達成する。
【0141】
強化学習で発生する課題ののうちの1つが、探索と活用との間のトレードオフである。システム内の報酬を増加させるために、強化学習エージェントは、過去に試行し、報酬を生み出すのに効果的であることがわかった動作を好む。しかしながら、報酬を生み出す動作を発見するために、学習エージェントは、以前に選択したことのない動作を選択する。エージェントは、報酬を取得するために、すでに知っている情報を「活用」するが、将来、より良い動作を選択するために、情報を「探索」する。学習エージェントは、様々な動作を試み、依然として新しい動作を試行しながら、最良と思われる動作を次第に好むようになる。確率論的タスクでは、一般的に、各動作が、期待される報酬に対する信頼できる見積もりを得るために、何度も試行される。例えば、長い時間が経過した後に視聴者が笑うことになるであろうことをLF処理エンジンが知っているホログラフィックコンテンツをLF処理エンジンが作成する場合、LF処理エンジンは、視聴者が笑うまでの時間が減少するように、ホログラフィックコンテンツを変更することができる。
【0142】
さらに、強化学習は、不確実環境とインタラクションする目標指向エージェントの問題全体を考慮する。強化学習エージェントは、明確な目標を有し、環境の側面を感知し得、高い報酬(すなわち、どよめく観衆)を受信するための動作を選択し得る。さらに、エージェントは、一般的に、直面する環境に関する重要な不確実性にかかわらず動作する。強化学習が計画を含む場合、システムは、計画とリアルタイムの動作選択との間の相互作用、ならびに環境要素をどのように取得して改善するかという問題に対処する。強化学習が進展するためには、重要なサブ問題を分離して研究する必要があり、サブ問題は、完全でインタラクティブなゴールシークエージェントで明確な役割を果たす。
【0143】
強化学習問題は、目標を達成するためにインタラクションが処理され、動作が実行される機械学習問題のフレーミングである。学習器および意思決定器はエージェントと呼ばれる(例えば、LF処理エンジン530)。エージェントの外部のすべてのものを含む、エージェントがインタラクションするものは環境と呼ばれる(例えば、現場の視聴者など)。これら2つは継続的にインタラクションし、エージェントは動作を選択し(例えば、ホログラフィックコンテンツを作成し)、環境は、それらの動作に応答して、エージェントに新しい状況を提示する。環境はまた、エージェントが時間の経過とともに最大化しようとする特別の数値的な価値である報酬を生じさせる。ある文脈では、報酬は、ホログラフィックコンテンツに対する視聴者の肯定的な反応を最大化するように機能する。環境の完全な仕様は、強化学習問題の1つの実例であるタスクを定義する。
【0144】
より多くの文脈を提供するために、エージェント(例えば、LF処理エンジン530)および環境は、離散時間ステップのシーケンスの各々、すなわち、t=0、1、2、3などにおいてインタラクションする。各時間ステップtにおいて、エージェントは、環境の状態stの何らかの表現(例えば、追跡システム580からの測定値)を受信する。状態stはS内にあり、Sは、可能性がある状態のセットである。状態stおよび時間ステップtに基づいて、エージェントは、で動作を選択する(例えば、パフォーマに股割りをさせる)。での動作はA(st)内にあり、A(st)は、可能性がある動作のセットである。1つの時間状態の後、部分的にはエージェントの動作の結果として、エージェントは、数値的な報酬rt+1を受信する。状態rt+1はR内にあり、Rは、可能性がある報酬のセットである。エージェントが報酬を受信すると、エージェントは、新しい状態st+1を選択する。
【0145】
各タイムステップにおいて、エージェントは、状態から、各可能性がある動作を選択する確率へのマッピングを実装する。このマッピングはエージェントのポリシーと呼ばれ、πtで表され、ここで、πt(s,a)は、st=sであればat=aとなる確率である。強化学習方法は、エージェントの動作から生じる状態および報酬の結果として、エージェントがポリシーをどのように変更するかを指示することができる。エージェントの目標は、時間の経過とともに、エージェントが受信する報酬の合計額を最大化することである。
【0146】
この強化学習フレームワークは柔軟性があり、多くの異なる方法で多くの異なる問題(例えば、ホログラフィックコンテンツの生成)に適用され得る。このフレームワークは、感覚、記憶、および制御装置の詳細が何であれ、目標指向の行動を学習するすべての問題(または目的)が、エージェントとその環境との間を行き来する3つの信号、すなわち、エージェントによって行われた選択(動作)を表す1つの信号、選択が行われた根拠(状態)を表す1つの信号、およびエージェントの目標(報酬)を定義する1つの信号にまとめられ得ることを提案する。
【0147】
当然のことながら、AIモデルは、任意の数の機械学習アルゴリズムを含み得る。使用され得るいくつかの他のAIモデルは、線形および/またはロジスティック回帰、分類および回帰ツリー、k平均法クラスタリング、ベクトル量子化などである。いずれの場合も、一般に、LF処理エンジン530が、追跡モジュール526および/または視聴者プロファイリングモジュール528から入力を取得し、機械学習モデルが、それに応じてホログラフィックコンテンツを作成する。同様に、AIモデルは、ホログラフィックコンテンツのレンダリングを指向し得る。
【0148】
一例では、LF処理エンジン530は、仮想ポップスターを作成する。LF処理エンジン530は、データストア522に記憶された視聴者プロファイルに含まれる情報を使用して、仮想ポップスターを作成することができる。例えば、保存されている視聴者プロファイルに含まれている情報は、多くの視聴者が20代半ばの流行最先端の女性ボーカリストが演奏するポップミュージックを楽しんでいることを示している。このように、LF処理エンジン530は、LFディスプレイシステム500によって流行最先端の20代半ばの女性ボーカリストとして表示される仮想ポップスターを作成する。より明確には、LF処理エンジン530は、会場の視聴者の視聴者プロファイルにアクセスする。LF処理エンジン530は、各視聴者プロファイル内の情報をパラメータ化(例えば、定量化)する。例えば、LF処理エンジン530は、視聴者の年齢、位置、性別などの特徴を定量化することができる。さらに、LF処理エンジン530は、視聴者プロファイルに含まれる他の情報をパラメータ化することができる。例えば、視聴者プロファイルが、視聴者が女性ボーカリストの4つの公演に参加したことを示している場合、コンテンツ作成モジュールはこの傾向を定量化し得る(例えば、女性ボーカリストに対する視聴者の関心を示すスコアを生成する)。LF処理エンジン530は、パラメータ化されたユーザプロファイルを、入力パラメータに基づいて仮想公演者の特徴を生成するように構成されたAIモデル(例えば、ニューラルネットワーク)に入力し、それに応じて公演者の特徴を受信する。次に、LF処理エンジン530は、仮想公演者の特徴を、特徴のセットが与えられた公演者を生成するように構成されたAIモデル(例えば、手続き型生成アルゴリズム)に入力し、それに応答して流行最先端の20代半ばの女性ボーカリストである仮想公演者を生成する。さらに、LF処理エンジン530は、仮想ポップスターのペルソナに追随するであろうホログラフィックコンテンツ(例えば、曲、公演など)を作成することができる。例えば、コンテンツ生成モジュール530は、嫉妬深い元ボーイフレンドについての仮想20代半ばの女性ボーカリストのための曲を作成し得る。より明確には、LF処理エンジン530は、仮想公演者の特徴および視聴者に関する情報にアクセスし得、その情報をAIモデル(例えば、再帰型ニューラルネットワーク「RNN」)に入力し得る。この場合もやはり、特徴および情報はパラメータ化され(例えば、分類および回帰ツリーを使用して)、RNNに入力され得る。ここで、RNNは、同様の入力パラメータを有する実世界の曲を使用してトレーニングされ得る。このように、RNNは、他の流行最先端の20代半ばの女性ボーカリストによって作成された曲と同様の特徴を共有する、会場における視聴者に、仮想スターの仮想の曲を生成する。
【0149】
LF処理エンジン530は、会場で見せられた公演に基づいてホログラフィックコンテンツを作成することができる。例えば、会場で見せられる公演は、公演者の特徴を説明するメタデータのセットに関連付けられている場合がある。メタデータは、例えば、設定、ジャンル、公演者、公演タイプ、テーマ、タイトル、ランタイム、などを含み得る。LF処理エンジン530は、公演を記述するメタデータのいずれかにアクセスし、それに応じて、会場内に提示するためのホログラフィックコンテンツを生成することができる。例えば、「The Last Merman」というタイトルの公演は、LFディスプレイシステム500で拡張された会場で上演されようとしている演劇である。LF処理エンジン530は、公演のメタデータにアクセスして、公演が始まる前に会場の壁のホログラフィックコンテンツを作成する。ここで、メタデータは、設定が水中であり、ジャンルがロマンスであることを含む。LF処理エンジン530は、メタデータをAIモデルに入力し、それに応じて、会場の壁に表示するためのホログラフィックコンテンツを受信する。この例では、LF処理エンジン530は、公演が上演され始める前に、会場の壁に表示するために海辺の夕日を作成する。
【0150】
一例では、LF処理エンジン530は、LFディスプレイシステム500を含む会場にいる視聴者に基づいて、ホログラフィックコンテンツを作成する。例えば、視聴者のグループは、LFディスプレイシステム500によって表示されるホログラフィックコンテンツによって拡張された公演を視聴するために会場に入る。視聴者プロファイリングモジュール528は、会場内の視聴者の視聴者プロファイルと、会場内のすべての視聴者を表す集約視聴者プロファイルと、を生成する。LF処理エンジン530は、集約視聴者プロファイルにアクセスし、会場内の視聴者に表示するためのホログラフィックコンテンツを作成する。例えば、会場にいる視聴者は、恋愛バラードについて有名な公演者を視聴しているカップルのグループであり、したがって、集約視聴者プロファイルは、デート中のカップルに相応しいホログラフィックコンテンツを楽しむことができることを示す情報を含む(例えば、パラメータ化し、AIモデルに入力することにより)。したがって、LF処理エンジン530は、会場がよりロマンチックな雰囲気(例えば、キャンドル、薄暗い照明、Marvin Gayeの音楽など)であるようなホログラフィックコンテンツを生成する。
【0151】
同様の例では、LF処理エンジン530は、以前存在していたコンテンツに基づいて、ホログラフィックコンテンツを作成し得る。ここで、以前存在していたとは、以前に録音された曲、既存の実世界の公演者などであり得る。例えば、視聴者のお気に入りのバンドは「The Town People」で、お気に入りのTown Peopleの曲のコンサートを見たいと願っている。このように、LF処理エンジン530は、「D.M.C.A.」および「In the Gravy」を歌うTown Peopleの公演を作成する。この例では、LF処理エンジン530は、Town People(例えば、データストア522に格納されている)からの歌手の既存の曲およびモデルにアクセスし、そのコンテンツを使用して、LFディスプレイシステム500による表示のための新しい公演を作成することができる。より明確には、コンテンツ作成システムは、データストア522から曲およびモデルにアクセスすることができる。LF処理エンジン530は、例えば、ロックバンドによる公演を作成するように構成されたAIモデル(例えば、手続き型生成アルゴリズム)に曲およびモデルを入力し、AIモデルは、それに応答して公演のホログラフィックコンテンツを出力する。場合によっては、LF処理エンジン530は、著作権で保護されたコンテンツに基づいてホログラフィックコンテンツを作成しているので、視聴者および/またはLF処理エンジン530は、著作権所有者に料金を支払い得る。
【0152】
一例では、LF処理エンジン530は、公演を視聴する視聴者の応答に基づいて、ホログラフィックコンテンツを作成する。例えば、会場の視聴者は、LFディスプレイシステム500によって拡張された会場での公演を視聴している。追跡モジュール526および視聴者プロファイリングモジュール528は、公演を視聴している視聴者の反応を監視する。例えば、追跡モジュール526は、視聴者が公演を視聴しているとき、視聴者の画像を取得し得る。追跡モジュール526は、視聴者を識別し、視聴者プロファイリングモジュール528は、マシンビジョンアルゴリズムを使用し、画像に含まれる情報に基づいて、視聴者の反応を決定することができる。例えば、AIモデルを使用して、公演を視聴している視聴者が笑顔であるかどうかを識別することができ、それに応じて、視聴者プロファイリングモジュール528は、笑顔に基づいて、視聴者が公演に対して肯定的な応答を有しているか、否定的な応答を有しているかを視聴者プロファイルに示すことができる。他の反応も決定され得る。追跡モジュールは、視聴者の位置、視聴者の動き、視聴者のジェスチャ、視聴者の表現、視聴者の年齢、視聴者の性別、視聴者の民族性または視聴者が着用する衣服を含む視聴者に関する情報を決定し得る。この情報は、視聴者プロファイルを生成するために、視聴者プロファイリングモジュール528と共有され得る。実例として、LF処理エンジン530は、仮想コメディアンによって実行されるコメディルーチンを生成する。LFディスプレイシステム500が公演を表示するとき、追跡システム580および視聴者プロファイリングモジュール528は、視聴者の反応を監視する。この例では、視聴者は仮想コメディアンによって言われている「お父さんのジョーク」を笑っていない。それに応じて、LF処理エンジン530は、仮想コメディアンが特定の視聴者をからかい始めるようにコメディ公演を変更する。ここで、LF処理エンジン530は、ホログラフィックコンテンツを見ている視聴者に笑い声を上げさせるように構成されたAIモデル(例えば、強化学習モデル)に、この反応を入力し得る。観客における視聴者の反応および特徴に基づいて、LF処理エンジン530は、ジョークを伝えるためのアプローチを変更する。例えば、仮想コメディアンは、特定の視聴者が着用しているヒョウ柄のズボンをからかうようになる場合がある。ここで、モデルは、以前に実行されたコメディ公演と、それらの公演に対する記録されたユーザ応答を使用してトレーニングでき得る。
【0153】
同様の例では、LF処理エンジン530は、以前存在していたコンテンツに基づいて、ホログラフィックコンテンツを作成し得る。ここで、以前存在していたとは、以前に録音された歌、既存の実世界の公演者などであり得る。例えば、視聴者のお気に入りのバンドは「The Town People」で、お気に入りのTown Peopleの曲のコンサートを見たいと願っている。このように、LF処理エンジン530は、「D.M.C.A.」および「In the Gravy」を歌うタウンピープルの公演を作成する。この例では、LF処理エンジン530は、Town People(例えば、データストア522に格納されている)からの歌手の既存の曲およびモデルにアクセスし、そのコンテンツを使用して、LFディスプレイシステム500による表示のための新しい公演を作成することができる。より明確には、コンテンツ作成システムは、データストア522から曲およびモデルにアクセスすることができる。LF処理エンジン530は、例えば、ロックバンドによる公演を作成するように構成されたAIモデル(例えば、手続き型生成アルゴリズム)に曲およびモデルを入力し、AIモデルは、それに応答して公演のホログラフィックコンテンツを出力する。場合によっては、LF処理エンジン530は、著作権で保護されたコンテンツに基づいてホログラフィックコンテンツを作成しているので、視聴者および/またはLF処理エンジン530は、著作権所有者に料金を支払い得る。
【0154】
同様の例では、LF処理エンジン530は、以前存在していた、または提供された広告コンテンツに基づいて、ホログラフィックコンテンツを作成することができる。すなわち、例えば、LF処理エンジン530は、ネットワークインターフェース524を介して、ネットワークシステムに広告を要求することができ、ネットワークシステムが、それに応じてホログラフィックコンテンツを提供し、LF処理エンジン530が、広告を含む、表示のためのホログラフィックコンテンツを作成する。広告のいくつかの例としては、製品、テキスト、ビデオなどを挙げることができる。広告は、特定の視聴ボリュームに、その視聴ボリューム内の視聴者に基づいて提示され得る。同様に、ホログラフィックコンテンツは、広告(例えば、プロダクトプレイスメント)で、公演を拡張し得る。最も一般的には、LF処理エンジン530は、前述のように、会場内の視聴者の特徴および/または反応のいずれかに基づいて、広告コンテンツを作成することができる。
【0155】
コンテンツを作成する前述の例は、限定的なものではない。最も広義には、LF処理エンジン530は、LFディスプレイシステム500の視聴者に表示するためのホログラフィックコンテンツを作成する。ホログラフィックコンテンツは、LFディスプレイシステム500に含まれる情報のいずれかに基づいて作成され得る。
【0156】
ホログラフィックコンテンツ配信ネットワーク
図5Bは、1つ以上の実施形態による、例示的なLF公演ネットワーク550を示す。1つ以上のLFディスプレイシステムは、LF公演ネットワーク550に含まれ得る。LF公演ネットワーク550は、ネットワーク552を介して互いに結合された任意の数のLFディスプレイシステム(例えば、500A、500B、および500C)、LF生成システム554、およびネットワーキングシステム556を含む。他の実施形態では、LF公演ネットワーク550は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書の記載とは異なる方法で異なるエンティティ間に分散され得る。
【0157】
図示の実施形態では、LF公演ネットワーク550は、ネットワーク552を介してホログラフィックコンテンツを受信し、視聴者にホログラフィックコンテンツを表示することができるLFディスプレイシステム500A、500B、および500Cを含む。LFディスプレイシステム500A、500B、および500Cは、まとめてLFディスプレイシステム500と呼ばれる。
【0158】
LF生成システム554は、LFディスプレイシステムを含む公演会場で表示するためのホログラフィックコンテンツを生成するシステムである。言い換えれば、LF生成システムは、本明細書で説明されるLFコンテンツのいずれかを生成するように構成される。ホログラフィックコンテンツは、公演であってもよく、または従来の公演を拡張するホログラフィックコンテンツであってもよい。LF生成システム554は、イベントのエネルギーデータを記録するための任意の数のセンサおよび/またはプロセッサと、この記録されたエネルギーデータをホログラフィックコンテンツに変換するように構成された処理エンジンとからなるライトフィールド記録アセンブリを含み得る。例えば、ライトフィールド記録アセンブリのセンサは、画像を記録するためのカメラ、オーディオを記録するためのマイクロフォン、物体とのインタラクションを記録するための圧力センサなどを含むことができる。いくつかの例では、LF生成システム554のライトフィールド記録アセンブリは、複数の視点からイベントを記録するためにあるエリア(例えば、公演会場)の周りに配置された1つ以上の記録モジュール(例えば、イベントからのエネルギーデータを記録するように構成されたLFディスプレイモジュール、またはイベントの画像をキャプチャするための単純な2Dカメラ)を含む。この場合、LF生成システム554の処理エンジンは、複数の視点からのエネルギーをホログラフィックコンテンツに変換するように構成される。いくつかの例では、ライトフィールド記録アセンブリは、2つ以上の二次元記録システムを含み、これらは、イベントの複数の視点を三次元ホログラフィックコンテンツに変換するために処理エンジンによって使用される。ライトフィールド記録アセンブリは、例えば、深度センサおよび/またはプレノプティックカメラなどの他のセンサを含むこともできる。
【0159】
LF生成システム554の処理エンジンはまた、コンピュータ生成画像(CGI)アニメーションから合成ライトフィールドデータを生成し得る。合成ライトフィールドデータは、例えば、仮想世界またはアニメーション映画からのものであり得、ライトフィールド記録アセンブリからの感覚データを拡張するために使用され得る。LF生成システム554の処理エンジンは、記録された感覚情報、合成データを組み合わせ、情報をホログラフィックおよび感覚コンテンツとして符号化する。LF生成システム554は、符号化されたホログラフィックコンテンツを、視聴者に表示するためにLFディスプレイシステム500のうちの1つ以上に送信し得る。前に考察したように、効率的な転送速度のために、LFディスプレイシステム500A、500B、500Cなどのデータは、ベクトル化されたデータとしてネットワーク552を介して転送され得る。
【0160】
より広義には、LF生成システム554は、公演を上演するときにLFディスプレイシステムによって投影され得る任意の記録された感覚データまたは合成データを使用することによって、会場で表示するためのホログラフィックコンテンツを生成する。例えば、感覚データは、記録された音声、記録された画像、オブジェクトとの記録されたインタラクションなどを含み得る。他の多くのタイプの感覚データが使用され得る。説明のために、記録された視覚的コンテンツは、3Dグラフィックスシーン、3Dモデル、オブジェクト配置、テクスチャ、色、陰影、および照明、AIモデルと同様の公演変換の大規模なデータセットを使用してホログラフィックフォーマットに変換できる2D公演データ、深さチャネルの有無にかかわらず、多くのカメラを備えたカメラリグからのマルチビューカメラデータ、プレノプティックカメラデータ、CGコンテンツ、または本明細書に記載の他の記録された感覚データの種類のコンテンツを含み得る。
【0161】
様々な例において、1つ以上のエネルギー領域にわたって1つ以上のセンサで記録されるイベントは、コンサート、ショー、シーン、歌唱公演、バンド公演、俳優公演、ダンサー公演、マジシャン公演、または公演会場で見られる別の種類のイベントであり得る。公演会場は、公演ホール、イベント空間、劇場、コンサートホール、スタジオ、またはステージのうちの1つ以上を含み得る。
【0162】
いくつかの構成では、LF生成システム554は、独自のエンコーダを使用して、公演について記録された感覚データを上述のようにベクトル化されたデータフォーマットに低減する符号化動作を実行することができる。すなわち、データをベクトル化されたデータに符号化することは、画像処理、音声処理、またはネットワーク552を介して送信するのがより容易なデータセットの削減をもたらす可能性がある任意の他の計算を含み得る。エンコーダは、公演製作業界の専門家が使用するフォーマットをサポートしている場合がある。他の構成では、LF生成システムは、コンテンツを符号化することなく、公演コンテンツをネットワークシステム556およびまたはLFディスプレイシステムに送信し得る。
【0163】
各LFディスプレイシステム(例えば、500A、500B、500C)は、ネットワークインターフェース524を介してネットワーク552から符号化されたデータを受信することができる。この例では、各LFディスプレイシステムは、符号化されたLFディスプレイデータを復号化するためのデコーダを含む。より明確には、LF処理エンジン530は、デコーダによって提供される復号化アルゴリズムを受信された符号化データに適用することによって、LFディスプレイアセンブリ510のラスタライズされたデータを生成する。いくつかの例では、LF処理エンジンは、本明細書で説明するように、追跡モジュール526、視聴者プロファイリングモジュール528、および感覚フィードバックシステム570からの入力を使用して、LFディスプレイアセンブリのラスタライズされたデータをさらに生成することができる。LFディスプレイアセンブリ510のために生成されたラスタライズされたデータは、LF生成システム554によって記録されたホログラフィックコンテンツを再現する。重要なことに、各LFディスプレイシステム500A、500B、および500Cは、形状、解像度などの点で、LFディスプレイアセンブリの特定の構成に好適なラスタライズされたデータを生成する。いくつかの構成では、符号化および復号化のプロセスは、顧客を表示するために提供されるか、サードパーティによってライセンス供与される可能性のある独自の符号化/復号化システムの対の一部である。場合によっては、符号化/復号化システムのペアは、コンテンツ作成者に共通のプログラミングインターフェースを提供し得る独自のAPIとして実装され得る。
【0164】
いくつかの構成では、LF公演ネットワーク550内の様々なシステム(例えば、LFディスプレイシステム500、LF生成システム554など)は、異なるハードウェア構成を有し得る。ハードウェア構成は、物理システム、エネルギー源、エネルギーセンサ、触覚インターフェース、センサ機能、解像度、視野、LFディスプレイモジュール構成、またはLF公演ネットワーク550内のシステムの任意の他のハードウェア記述の配置を含み得る。各ハードウェア構成は、異なるデータフォーマットで感覚データを生成または利用する場合がある。したがって、デコーダシステムは、それが提示されるLFディスプレイシステムのために符号化されたデータを復号化するように構成され得る。例えば、第1のハードウェア構成を有するLFディスプレイシステム(例えば、LFディスプレイシステム500A)は、第2のハードウェア構成を有するLF生成システム(例えば、LF生成システム554)から符号化されたデータを受信する。復号化システムは、LFディスプレイシステム500Aの第1のハードウェア構成を説明する情報にアクセスする。復号化システムは、アクセスされたハードウェア構成を使用して符号化されたデータを復号化し、その結果、復号化されたデータは、受信側LFディスプレイシステム500AのLF処理エンジン530によって処理され得る。LF処理エンジン530は、第2のハードウェア構成に記録されているにもかかわらず、第1のハードウェア構成のラスタライズされたコンテンツを生成し、提示する。同様に、LF生成システム554によって記録されたホログラフィックコンテンツは、ハードウェア構成に関係なく、任意のLFディスプレイシステム(例えば、LFディスプレイシステム500B、LFディスプレイシステム500C)によって提示することができる。ハードウェア構成に含まれ得る他の様々な態様は、解像度、度当たりの投影光線の数、視野、表示面上の偏向角、および表示面の次元などを含み得る。追加的に、ハードウェア構成はまた、LFディスプレイアセンブリのディスプレイパネルの数、ディスプレイパネルの相対的な配向、ディスプレイパネルの高さ、ディスプレイパネルの幅、およびディスプレイパネルのレイアウトを含み得る。
【0165】
同様に、LF公演ネットワーク550内の様々なシステムは、異なる幾何学的配向を有し得る。幾何学的配向は、LFディスプレイシステムに含まれる様々なモジュールとシステムの物理的なサイズ、レイアウト、および配置を反映している。したがって、デコーダシステムは、それが提示される幾何学的構成でLFディスプレイシステムのために符号化されたデータを復号化するように構成され得る。例えば、第1の幾何学的構成を有するLFディスプレイシステム(例えば、LFディスプレイシステム500A)は、第2の幾何学的構成を有するLF生成システム(例えば、LF生成システム554)から符号化されたデータを受信する。復号化システムは、LFディスプレイシステム500Aの第1の幾何学的構成を説明する情報にアクセスする。復号化システムは、アクセスされた幾何学的構成を使用して符号化されたデータを復号化し、その結果、復号化されたデータは、受信側LFディスプレイシステム500AのLF処理エンジン530によって処理され得る。LF処理エンジン530は、第2の幾何学的構成に記録されているにもかかわらず、第1の幾何学的構成のためにコンテンツを生成および提示する。同様に、LF生成システム554によって記録されたホログラフィックコンテンツは、幾何学的構成に関係なく、任意のLFディスプレイシステム(例えば、LFディスプレイシステム500B、LFディスプレイシステム500C)によって提示することができる。幾何学的構成に含まれ得る他の様々な態様は、LFディスプレイアセンブリのディスプレイパネル(または表面)の数、ディスプレイパネルの相対的な配向を含み得る。
【0166】
同様に、LF公演ネットワーク550内の様々な会場は、異なる構成を有し得る。会場構成は、ホログラフィックオブジェクトボリュームの数および/または位置、視聴ボリュームの数および/または位置、ならびにLFディスプレイシステムに対する視聴場所の数および/または位置のいずれかを反映する。したがって、デコーダシステムは、それが提示される会場でLFディスプレイシステムのために符号化されたデータを復号化するように構成され得る。例えば、第1の会場にあるLFディスプレイシステム(例えば、LFディスプレイシステム500A)は、別の会場(または他の空間)に記録されたLF生成システム(例えば、LF生成システム554)から符号化されたデータを受信する。復号化システムは、会場を説明する情報にアクセスする。復号化システムは、アクセスされた会場構成を使用して符号化されたデータを復号化し、その結果、復号化されたデータは、会場に設置されたLF処理エンジン530によって処理され得る。LF処理エンジン530は、別の場所で記録されているにもかかわらず、会場のコンテンツを生成して提示する。
【0167】
ネットワークシステム556は、LF公演ネットワーク550内のシステム間のホログラフィックコンテンツの送信を管理するように構成された任意のシステムである。例えば、ネットワークシステム556は、LFディスプレイシステム500Aからホログラフィックコンテンツについての要求を受信し、LF生成システム554からLFディスプレイシステム500Aへのホログラフィックコンテンツの送信を容易にし得る。ネットワークシステム556はまた、LF公演ネットワーク550での他のLFディスプレイシステム500への送信および/またはそれらによる記憶のために、ホログラフィックコンテンツ、視聴者プロファイル、ホログラフィックコンテンツなどを記憶することができる。ネットワークシステム556はまた、前述のようにホログラフィックコンテンツを作成することができるLF処理エンジン530を含み得る。
【0168】
ネットワークシステム556は、ホログラフィックコンテンツのデジタル権利を管理するためのデジタル権利管理(DRM)モジュールを含み得る。例えば、LF生成システム554は、ホログラフィックコンテンツをネットワークシステム556に送信することができ、DRMモジュールは、デジタル暗号化フォーマットを使用してホログラフィックコンテンツを暗号化することができる。他の例では、LF生成システム554は、記録されたライトフィールドデータを、DRMモジュールによって管理することができるホログラフィックコンテンツフォーマットに符号化する。ネットワークシステム556は、各LFディスプレイシステム500が解読でき、続いてホログラフィックコンテンツを視聴者に表示できるように、LFディスプレイシステムにデジタル暗号化への鍵を提供することができる。最も一般的には、ネットワークシステム556および/またはLF生成システム554は、ホログラフィックコンテンツを符号化し、LFディスプレイシステムは、ホログラフィックコンテンツを復号化することができる。
【0169】
ネットワークシステム556は、以前に記録および/または作成されたホログラフィックコンテンツのリポジトリとして機能することができる。ホログラフィックコンテンツの各部分は、受信されると、ネットワークシステム556に、トランザクション料金を提供するLFディスプレイシステム500にホログラフィックコンテンツを送信させる取引料金に関連付けることができる。例えば、LFディスプレイシステム500Aは、ネットワーク552を介してホログラフィックコンテンツへのアクセスを要求することができる。リクエストには、ホログラフィックコンテンツの取引料金が含まれる。それに応答して、ネットワークシステム556は、ホログラフィックコンテンツをLFディスプレイシステムに送信して、視聴者に表示する。他の例では、ネットワークシステム556は、ネットワークシステムに記憶されたホログラフィックコンテンツのサブスクリプションサービスとしても機能することができる。別の例では、LF生成システム554は、公演のライトフィールドデータをリアルタイムで記録し、その公演を表すホログラフィックコンテンツを生成している。LFディスプレイシステム500は、ホログラフィックコンテンツのリクエストをLF生成システム554に送信する。リクエストには、ホログラフィックコンテンツの取引料金が含まれる。それに応答して、LF生成システム554は、LFディスプレイシステム500上での同時表示のためにホログラフィックコンテンツを送信する。ネットワークシステム556は、取引料金を交換すること、および/またはネットワーク552を横切るホログラフィックコンテンツデータフローを管理することにおいて仲介者として機能することができる。
【0170】
ネットワーク552は、LF公演ネットワーク550内のシステム間の通信経路を表す。一実施形態では、ネットワークはインターネットであるが、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、モバイル、有線またはワイヤレスネットワーク、クラウドコンピューティングネットワーク、プライベートネットワーク、または仮想プライベートネットワーク、およびそれらの任意の組み合わせを含むがこれらに限定されない任意のネットワークであり得る。さらに、リンクのすべてまたは一部は、セキュアソケットレイヤ(SSL)、Secure HTTP、および/または仮想プライベートネットワーク(VPN)など従来の暗号化技術を使用して暗号化できる。別の実施形態では、エンティティは、上記のものの代わりに、またはそれに加えて、カスタムおよび/または専用のデータ通信技術を使用することができる。
【0171】
会場の例
図6~8は、LFディスプレイシステム(例えば、LFディスプレイシステム500)を使用して公演のホログラフィックコンテンツを表示することができるいくつかの例示的な会場を示す。会場に表示される公演のホログラフィックコンテンツ(「公演コンテンツ」)は、本明細書に記載のホログラフィックコンテンツのいずれかであり得る。公演コンテンツは、実際の公演者によるライブ公演の代わりに表示され得る。会場内では、任意の数の視聴者が、任意の数の視聴ボリューム内に位置する。LFディスプレイシステムは、視聴ボリューム内の視聴者が公演コンテンツを知覚するように、ホログラフィックオブジェクトボリューム(「公演ボリューム」)内の公演コンテンツを表示するように構成される。全般的に、会場内のLFディスプレイシステムは、シームレスなマルチサイドLFディスプレイを生成する公演者ボリュームの周りにライトフィールドモジュール210のアレイを含む。したがって、公演ボリュームは、LFディスプレイモジュール210のアレイの集合ホログラフィックオブジェクトボリュームであり得る。
【0172】
図6は、1つ以上の実施形態による、LFディスプレイシステムで拡張された伝統的な劇場である会場600の側面図を示す。劇場では、ステージ602およびプロセニアムを囲む壁604の両方が、ステージの上のエリアがLFディスプレイシステムの公演ボリューム610であるように、LFディスプレイモジュールのアレイ640で裏打ちされている。公演ボリューム610(例えば、ホログラフィックオブジェクトボリューム255)は、明確にするために有界の正方形として示されているが、示されている公演ボリューム610は、実際の公演ボリュームの一部にすぎない。例えば、公演ボリュームは、壁604またはステージ602にまで及び得る。
図6では、LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。さらに、アレイ640内のLFディスプレイモジュールは、LFディスプレイアセンブリ510の実施形態である。
【0173】
ここでは、劇場ハウスは3段になっているが、任意の数の段を含めることができる。各段は、視聴者が公演ボリューム610内の公演コンテンツ630を視聴するためのいくつかの視聴場所(例えば、視聴場所622A、622B)を含む。図示のように、公演コンテンツは、実画像632であるが、仮想画像であってもよい。各段の視聴場所622は、LFディスプレイシステムの視聴ボリューム(例えば、620A、620B、および620C)に含まれる。LFディスプレイシステムは、同じまたは異なる、公演コンテンツ630を、各視聴ボリューム620の視聴者に表示することができる。例えば、以下に説明するように、最下部段の視聴ボリューム620Aに位置する視聴場所622Aの視聴者は、中間段の視聴ボリューム620Bの視聴場所622Bの視聴者とは異なる公演コンテンツ630を見ることができる。
【0174】
他の実施形態では、劇場は異なる方法で構成され得る。例えば、ステージに傾斜があり、劇場にオーケストラまたはスタンディングルームエリアなどが含まれている場合がある。劇場の任意の表面(プロセニアムアーチ、天井、背景、ドレープなど)がLFディスプレイモジュールのアレイ640に含まれている場合がある。追加的に、劇場は追加の段および視聴ボリュームを有することができ、それらの段および視聴ボリュームは任意の数の構成で配置することができる。
【0175】
コンテキストの例として、図示された会場600は、有名な公演者「N.J.」のライブ公演者コンテンツを表示するために請求されたサンフランシスコの劇場である。ただし、N.J.はニューヨーク市の会場で公演している。ニューヨーク市の会場は、N.J.の公演者を公演者コンテンツ630として記録し、ネットワーク(例えば、ネットワーク552)を介して他の会場に送信するためのLF生成システム554を含む。サンフランシスコの会場600は、受信された公演者コンテンツ630を、視聴ボリューム620内の視聴場所622の視聴者に表示するように構成されたLFディスプレイシステム500を含む。公演コンテンツを受信するために、取引料金が支払われる(例えば、ネットワークシステム556またはLF生成システム554に)。様々な例において、会場600の所有者、会場600への出席者、公演マネージャ、または他の任意のエージェントが料金を支払うことができる。公演コンテンツ630により、サンフランシスコでの視聴者は、N.J.が彼らの前の公演ボリューム610でライブにより公演しているかのように知覚することができる。これにより、サンフランシスコの視聴者はニューヨーク市に行かなくてもライブ公演を見ることができる。
【0176】
いくつかの実施形態では、会場600は、LFディスプレイシステム500によるN.J.のライブ公演ディスプレイを見るために入場料を請求する。各視聴場所622は、異なる入場料を有することができ、全般的に、最下部視聴ボリューム620Aの入場料は、最上部視聴ボリューム620Cよりも高価である。LFディスプレイシステム500は、視聴ボリューム620の入場料に基づいて、各視聴ボリューム620に対して異なる公演コンテンツ630を表示することができる。例えば、サンフランシスコでN.J.の公演を完全にレンダリングすることは、N.J.の公演を部分的にレンダリングするよりもコストがかかる可能性があり得る(例えば、処理能力、エネルギーなど)。したがって、LF処理エンジン530は、劇場の最下部段の視聴ボリューム620Aにすべての公演コンテンツ630を再生しながら、劇場の最上部段の視聴ボリューム620Cに公演コンテンツ630の一部のみを表示することができる。例えば、公演コンテンツ630の一部のみを表示する場合、LF処理エンジン530は、公演ボリューム610全体ではなく、公演ボリューム610の一部にのみ公演コンテンツ630を表示することができ、LF処理エンジン530は、公演コンテンツ630(例えば、バックアップダンサー、小道具など)を除去し得、LF処理エンジン530は、公演コンテンツ630を、最下部視聴ボリューム620Aなどよりも最上部視聴ボリューム620Cに対してより低い解像度でレンダリングすることができる。
【0177】
代替的または追加的に、LF処理エンジン530は、ホログラフィックコンテンツを作成して、視聴ボリューム620についての入場料に基づいて公演コンテンツ630を拡張することができる。例えば、LF処理エンジン530は、公演コンテンツ630と同時に表示するための広告を作成する(またはネットワークシステム556からアクセスする)ことができる。広告は、視聴者プロファイリングシステム590または追跡システム580によって取得された情報に基づくことができる。例えば、LF処理エンジン530は、ホログラフィックコンテンツに対する視聴者の特徴および応答を含む視聴者プロファイルにアクセスすることができる。LF処理エンジン530は、視聴者の特徴および応答に関連付けられたデータストア522からの広告にアクセスし、その広告を表示する。会場は、公演コンテンツ630を表示するときに広告を表示するために広告主から支払いを受信することができる。別の例では、あからさまに表示された広告ではなく、LF処理エンジン530は、スポンサー付きホログラフィックコンテンツ(例えば、製品配置)で公演コンテンツ630を拡張することができる。例えば、LF処理エンジン530は、ニューヨーク市での公演中にN.J.が着用している衣服を、広告主からの衣服と交換することができる。したがって、サンフランシスコの劇場で公演コンテンツ630を視聴する視聴者は、N.J.がニューヨーク市で着ていた服ではなく、広告主からの服を着ていると知覚する。
【0178】
図7Aは、1つ以上の実施形態による、視聴ボリューム内の視聴場所で視聴者に公演コンテンツを表示するためのLFディスプレイシステムを含む別の会場700Aの断面を示す。会場では、LFディスプレイシステムがリアルタイムのホログラフィックコンテンツおよび/もしくは記録されたホログラフィックコンテンツ、または他の追加のホログラフィックコンテンツを表示できる。ホログラフィックコンテンツには、コンサート、公演、ショー、シーン、イベントなどを表すコンテンツが含まれ得る。ホログラフィックコンテンツは、歌手、バンド、俳優、ダンサー、コメディアン、公演者などを含み得る。ホログラフィックコンテンツは、セット、ステージ、小道具、衣服、衣装、楽器などの表現も含み得る。本明細書に記載されるすべての会場は、同様のホログラフィックコンテンツを表示するように構成され得る。
【0179】
ここで、会場700Aは、既存の会場を拡張するのではなく、公演コンテンツ730を表示するように設計および構築されている。図示のように、
図7Aは、円筒形の環として形作られた会場600の断面であり、ここで、LFディスプレイシステム740は、環の内筒の外面を覆っている。
図7Aでは、LFディスプレイシステム740は、LFディスプレイシステム510の一実施形態である。さらに、LFディスプレイシステム740は、LFディスプレイシステム500の一実施形態である。
【0180】
会場700Aは、段状に配置されたいくつかの視聴場所を含む。ここで、各段は、内筒の半径よりも大きい半径を持つ外筒の内面にある。各段の視聴場所722は、視聴ボリューム(例えば、720A、720B、720C、720D、720E、および720F)内にある。ここで、公演ボリューム(例えば、710A、710B、710C、710D、710E、および710F)は、外筒の内壁と内筒の外壁との間に位置している。公演ボリュームは、視聴場所722の視聴者が、公演ボリューム710に表示された公演コンテンツ730を知覚できるように配置される。この場合も、公演ボリューム710(例えば、ホログラフィックオブジェクトボリューム255)は、明確にするために有界の正方形として示されているが、示されている公演ボリューム710は、実際の公演ボリュームの一部にすぎない。例えば、公演ボリュームは、会場700Aの内筒にまで及ぶことができる。
【0181】
図示の例では、各公演ボリューム710および視聴ボリューム720の一部が空間的に重なっている。部分的な重なりとして示されているが、公演ボリュームおよび視聴ボリュームは完全に空間的に重なっている可能性がある。空間的重なりは、前述のように、視聴者が公演コンテンツ730とインタラクトすることができるエリアである。さらに、空間的重なりエリアで公演コンテンツ730とインタラクトするユーザは、感覚フィードバックアセンブリ570によって監視され得、公演コンテンツ730は、それに応じて変化し得る。場合によっては、会場700は、視聴者が公演コンテンツ730とインタラクトすることができるエリア内の視聴場所722のためのより高い入場料を有し得る。
【0182】
一連のLFディスプレイモジュールを使用して公演コンテンツを表示するように設計された会場には、一連のLFディスプレイモジュールを使用して拡張された会場に比べていくつかの利点がある。例えば、会場700Aの異なる視聴ボリュームの視聴者は、異なる公演ボリューム(または公演ボリュームの異なるサブ部分)を見るが、会場600の視聴ボリューム620の視聴者は、同じ公演ボリュームを見る。したがって、会場700のLFディスプレイシステムは、各視聴ボリューム720に対してより良い視聴体験を生成することができる。例えば、会場700の視聴ボリューム720Aの視聴者は、視聴ボリューム720Cの視聴者と同じ公演コンテンツ730のビューを提供することができる。しかしながら、会場600では、視聴ボリューム620Cでの視聴者は、視聴ボリューム620Aでの視聴者よりも遠くで、かつ下で公演コンテンツ730を視聴している。このようにして、会場700Aのすべての視聴者は、住宅の中で最高の座席を持つことができる。
【0183】
追加的に、LFディスプレイパラメータを考慮した公演コンテンツのレンダリングの管理は、
図6の視聴ボリューム620に表示される公演コンテンツ630よりも、
図7A~
図7Bの視聴ボリューム710に表示される公演コンテンツ730の方が容易である。いくつかのLFディスプレイパラメータは、例えば、解像度、視野、投影距離、および視聴サブボリュームを含み得る。例示のための、
図7A~
図7Bの会場での視聴ボリューム720は、形状がほぼ等しく、公演ボリューム710からほぼ同様に離隔するように設計することができる。したがって、各視聴ボリューム720が同じであるため、視聴ボリューム720の各々への公演コンテンツ730のレンダリングは少なくなる。しかしながら、
図6の会場では、各視聴ボリューム620は異なり、各視聴ボリューム620について、公演コンテンツ630の独立したレンダリングを必要とする。
【0184】
会場は、ライトフィールドディスプレイモジュールの配列が、視聴ボリューム720内の視聴場所にいる視聴者に公演ボリューム内の公演コンテンツを表示できるように、他の形状をとることができる。様々な形状の会場の例としては、ドーム、日よけ、トンネル、グローブ劇場などが挙げられる。
【0185】
例えば、
図7Bは、1つ以上の実施形態による、視聴ボリューム内の視聴場所で視聴者に公演コンテンツを表示するためのLFディスプレイシステムを含む別の会場700Bの断面を示す。会場700Bは、既存の会場を拡張するのではなく、公演コンテンツ730を表示するように設計および構築されている。図示のように、
図7Bは、会場700Bの断面図である。
図7Bでは、LFディスプレイシステム740は、LFディスプレイシステム510の一実施形態である。さらに、LFディスプレイシステム740は、LFディスプレイシステム500の一実施形態である。
【0186】
図示の例では、会場700Bは、視聴場所722がステージを一周する円形の劇場に似ている。ステージ702の床は、ステージの上のエリアが公演ボリューム(例えば、公演ボリューム710G)を形成するように、LFディスプレイモジュールのアレイ740で覆われている。LFディスプレイ710は、会場700Bの視聴者が公演コンテンツを知覚でき得るように、公演ボリューム710G内の公演コンテンツを提示する。会場700Bにおいて、視聴場所722は、各視聴場所の視線が、視聴ボリューム(例えば、視聴ボリューム720G)からの公演コンテンツ730の妨害されない視聴を可能にするように、傾斜を付けて配置される。ここでは、すべての視聴者に同じ公演が提供されるように、会場には1つの視聴ボリューム720Gが含まれている。他の構成では、1つ以上の表示ボリュームが存在し得る。
【0187】
より一般的には、LFディスプレイシステムは、実質的に水平であるか、またはほぼ水平であるディスプレイ表面を有し得る。いくつかの例では、LFディスプレイシステムは、(i)会場の床の少なくとも一部、(ii)会場のステージ(例えば、ステージ702)の少なくとも一部、および/または(iii)会場内の隆起した視聴プラットフォームの少なくとも一部である表示面を含み得る。他のタイプの水平面も可能である。これらの構成の場合、視聴者は、表示面に対して高くなり、下を向いて、表示面から投影されるホログラフィック公演コンテンツを見ることができ、視聴者は、表示面を部分的または完全に囲むことができる。ライトフィールド表示面には他にも多くの構成があり、LF表示面のほぼ前に配列され、本開示の他の場所で説明されている表示位置を備えた垂直に取り付けられた表示面(
図4Cに示す450A、
図4Dに示す450B、および
図4Eに示す450C)、ならびに湾曲したLF表示面を含む。
【0188】
公演ボリューム710Gは、明確にするために有界の正方形として示されているが、公演ボリューム710Gは、実際の公演ボリューム710Gの一部にすぎない場合がある。例えば、公演ボリューム710Gは、会場700Bの最上部に向かってさらに延びることができる。また、公演ボリューム710Gおよび視聴ボリューム720Gの一部が空間的に重なっている。部分的な重なりとして示されているが、公演ボリュームおよび視聴ボリュームは完全に空間的に重なっている可能性がある。空間的重なりは、前述のように、視聴者が公演コンテンツ730とインタラクトすることができるエリアである。
【0189】
会場は、はるかに小さな場所にすることもでき得る。例えば、
図8は、1つ以上の実施形態による、視聴者の居間802内のホームシアターとしても機能する会場800を示している。ここで、ホームシアターは、1つの壁上のLFディスプレイモジュールのアレイから構成されるLFディスプレイシステム810を含む。
図8では、LFディスプレイシステム810は、LFディスプレイシステム500の一実施形態である。
【0190】
LFディスプレイシステム810は、公演ボリューム(例えば、ホログラフィックオブジェクトボリューム255)および視聴ボリュームが居間802内で完全に重なるように構成され得る。すなわち、居間802内の任意の視聴場所(例えば、視聴場所822)において、視聴者は、公演コンテンツ830を視聴し、インタラクトすることができる。視聴場所822は椅子として示されているが、視聴者は居間を移動して公演コンテンツ830を視聴し得る。すなわち、視聴場所822は、居間802における視聴者の場所であり得る。
【0191】
いくつかの実施形態では、LFディスプレイシステム810は、公演コンテンツ830との視聴者のインタラクションに基づいて、公演コンテンツ830を作成(または変更)する。例えば、視聴者は、公演コンテンツ830において公演者とグータッチすることができる。この状況では、視聴者は「素晴らしい、N.J.」と言って、公演コンテンツ830で公演者とグータッチするように手を動かすことができる。追跡システム580は、視聴者を監視し、視聴者が公演コンテンツ830において公演者とグータッチすることを望んでいることを(例えば、機械聴覚、機械視覚、ニューラルネットワークなどを介して)識別する。コンテンツ生成システム530は、監視された視聴者情報を使用してグータッチを返す公演者を表す公演コンテンツを(例えば、機械学習、ニューラルネットワーク、またはそれらのいくつかの組み合わせを使用して)作成する。追跡システム580は、視聴者の手の位置を監視し、視聴者の拳および公演者の拳が空間的に重なると、感覚フィードバックアセンブリ570は、視聴者が公演コンテンツで公演者とグータッチしたという感覚を作り出す。
【0192】
場合によっては、視聴者は、ネットワークシステム556とインタラクトして、居間802の公演コンテンツ830を獲得することができる。
図5Bに関して説明した例を続けると、視聴者は、取引料金をネットワークシステム556に送信することができ、LF生成システム554は、ニューヨーク市で実行しているN.J.のホログラフィックコンテンツを会場800に送信し得る。
【0193】
会場内の視聴者への公演コンテンツの表示
図9は、LF公演ネットワーク(例えば、LF公演ネットワーク550)のコンテキストで、会場(例えば、会場600)の視聴者に公演コンテンツを表示するための方法900のフロー図である。方法900は、追加またはより少ないステップを含み得、それらステップは、異なる順序で起こり得る。さらに、様々なステップ、またはステップの組み合わせは、方法の実行中に何度でも繰り返すことができる。
【0194】
始めに、LFディスプレイシステム(例えば、LFディスプレイシステム500)を含む会場は、公演コンテンツ(例えば、公演コンテンツ630)のライブストリーム(または以前に記録された)のリクエストを、ネットワーク(例えば、ネットワーク552)を介してネットワークシステム(例えば、ネットワークシステム556)に910において送信する。リクエストには、公演コンテンツの著作権所有者にロイヤルティを支払うのに十分な取引料金が含まれている。
【0195】
LF生成システム(例えば、LF生成システム554)は、ライブ公演のLFデータを記録し、対応する公演コンテンツをネットワークシステムに送信する。ネットワークシステムは、公演コンテンツをLFディスプレイシステムに送信して、LF生成システムによって記録されているのとほぼ同時に表示できるようにする。
【0196】
LFディスプレイシステムは、920において、ネットワークを介してネットワークシステムからホログラフィック公演コンテンツ630を受信する。
【0197】
LFディスプレイシステムは、930において、LFディスプレイシステムおよび/または公演空間の構成を決定する。例えば、LFディスプレイシステムは、解像度、度当たりの投影光線、視野、ディスプレイ表面上の偏向角、またはLF表示面の次元を含む、LFディスプレイのHW構成を説明するいくつかのパラメータを含む構成ファイルにアクセスすることができる。構成ファイルはまた、LFディスプレイパネルの数、相対的な配向、幅、高さ、およびLFディスプレイパネルのレイアウトを含む、LFディスプレイアセンブリの幾何学的な配向に関する情報を含み得る。さらに、構成ファイルは、ホログラフィックオブジェクトボリューム、表示ボリューム、およびディスプレイパネルに対する観客の位置を含む、公演会場の構成パラメータを含み得る。
【0198】
例を通して説明するために、LFディスプレイシステム500は、930において、公演コンテンツを表示するために視聴ボリューム(例えば、視聴ボリューム620A、620B、および620C)を決定する。例えば、LFディスプレイシステム500は、会場のレイアウト、幾何学的構成、および/またはハードウェア構成を説明するLFディスプレイシステム内の情報にアクセスすることができる。説明のために、レイアウトは、会場内の視聴場所(例えば、視聴場所622)の場所、間隔、およびサイズを含み得る。したがって、LFディスプレイシステムは、会場の第1の段の視聴場所が第1の視聴ボリュームにあり、会場の第2の段の視聴場所が第2の視聴ボリュームにあり、会場の第3の段の視聴場所が第3の視聴ボリュームにあると決定することができる。他の様々な実施形態では、LFディスプレイシステムは、会場内の任意の場所で視聴サブボリュームの任意の数および構成を決定し得る。
【0199】
LFディスプレイシステム940は、公演会場内のLFディスプレイシステムのハードウェア構成、および公演会場の特定のレイアウトおよび構成に基づいて、LFディスプレイシステム上に提示するためのホログラフィックコンテンツ(および他の感覚コンテンツ)を生成する。表示する提示コンテンツの決定には、会場についての提示コンテンツの適切なレンダリングまたは視聴ボリュームの表示を含めることができる。例えば、LFディスプレイシステムは、(i)広告で第3の段の視聴ボリュームに表示するための公演コンテンツを拡張し、公演コンテンツからライブ公演の側面を削除し、(ii)会場の第2の段の視聴ボリュームに表示するための公演コンテンツの忠実度を低下させ、かつ(iii)会場の第3の段の視聴ボリュームに表示するための公演コンテンツを完全にレンダリングし得る。
【0200】
LFディスプレイシステムは、950において、各視聴ボリューム内の視聴場所にいる視聴者が適切な公演コンテンツを知覚するように、会場の公演ボリューム内の公演コンテンツを提示する。つまり、最上部視聴ボリュームの視聴者は広告付きの公演コンテンツを知覚し、中央部の視聴ボリュームの視聴者は低解像度の公演コンテンツを知覚し、最下部視聴ボリュームの視聴者は完全にレンダリングされた公演コンテンツを知覚する。
【0201】
LFディスプレイシステムは、視聴者がいつでも公演を視聴している間、視聴ボリューム内の視聴者に関する情報を決定し得る。例えば、追跡システムは、視聴ボリューム内の視聴者の顔の応答を監視することができ、視聴者プロファイリングシステムは、それらの視聴ボリューム内の視聴者の特徴に関する情報にアクセスし得る。
【0202】
LFディスプレイシステムは、決定された情報に基づいて、同時表示のための公演コンテンツを作成(または変更)し得る。例えば、LF処理エンジンは、視聴者について決定された情報に基づいて、LFディスプレイシステムによる同時表示のためのライトショーを作成する。
【0203】
追加の構成情報
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。
【0204】
本明細書のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現の観点から、本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の当業者によって、自らの作業の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的、計算的、または論理的に説明される一方、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、これらの操作の配置を、一般性を損なうことなく、モジュールと呼ぶことが場合によっては好都合であることも判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具現化され得る。
【0205】
本明細書に記載の工程、操作、またはプロセスのうちのいずれかが、1つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独で、または他のデバイスと組み合わせて、実行または実装され得る。一実施形態では、ソフトウェアモジュールは、説明された工程、操作、またはプロセスのうちのいずれかまたはすべてを実行するために、コンピュータプロセッサによって実行され得るコンピュータ・プログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
【0206】
本開示の実施形態はまた、本明細書の操作を実行するための装置に関し得る。この装置は、要求された目的のために特別に構築され得、および/または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
【0207】
本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生み出される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品もしくは他のデータの組み合わせの任意の実施形態を含み得る。
【0208】
最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。
【0209】
[項目1]
ライトフィールド(LF)ディスプレイシステムであって、
符号化されたホログラフィックコンテンツをネットワークを介して受信するように構成されたネットワークインターフェースと、
前記符号化されたホログラフィックコンテンツをLFディスプレイアセンブリによって提示可能なフォーマットに復号化するように構成されたデコーダと、
復号化されたホログラフィックコンテンツを会場の観客に提示するように構成されたライトフィールドディスプレイアセンブリと、を備える、LFディスプレイシステム。
[項目2]
エンコーダが、前記符号化されたホログラフィックコンテンツをほぼリアルタイムで復号化する、項目1に記載のLFディスプレイシステム。
[項目3]
前記ホログラフィックコンテンツが、イベントのライブストリームであり、前記ホログラフィックコンテンツが、ほぼリアルタイムで提示される、項目1に記載のLFディスプレイシステム。
[項目4]
前記符号化されたホログラフィックコンテンツが、第1のフォーマットのものであり、前記復号化されたホログラフィックコンテンツが、第2のフォーマットのものである、項目1に記載のLFディスプレイシステム。
[項目5]
前記第1のフォーマットが、ベクトル化されたデータフォーマットであり、前記第2のフォーマットが、ラスタライズされたデータフォーマットである、項目4に記載のLFディスプレイシステム。
[項目6]
前記デコーダが、前記符号化されたストリーミングホログラフィックコンテンツを復号化するために独自のコーデックを使用する、項目1に記載のLFディスプレイシステム。
[項目7]
前記ホログラフィックコンテンツが、独自のコーデックによって復号化可能なフォーマットで符号化されている、項目1に記載のLFディスプレイシステム。
[項目8]
前記LFディスプレイシステムのハードウェア構成を決定するように構成されたLF処理エンジンをさらに備え、
前記デコーダが、前記LFディスプレイシステムの前記決定されたハードウェア構成に基づいて、前記符号化されたホログラフィックコンテンツを復号化する、項目1に記載のLFディスプレイシステム。
[項目9]
前記ハードウェア構成が、
解像度と、
度当たりの投影光線の数と、
視野と、
表示面の偏向角と、
表示面の次元と、のうちのいずれかを含む、項目7に記載のLFディスプレイシステム。
[項目10]
前記LFディスプレイシステムの幾何学的配向を決定するように構成されたLF処理エンジンをさらに備え、
前記デコーダが、前記LFディスプレイシステムの前記決定された幾何学的配向に基づいて、前記符号化されたホログラフィックコンテンツを復号化する、項目1に記載のLFディスプレイシステム。
[項目11]
前記幾何学的配向が、
前記LFディスプレイアセンブリのディスプレイパネルの数と、
前記ディスプレイパネルの相対的な配向と、
前記ディスプレイパネルの高さと、
前記ディスプレイパネルの幅と、
前記ディスプレイパネルのレイアウトと、のうちのいずれかを含む、項目10に記載のLFディスプレイシステム。
[項目12]
前記会場の構成を決定するように構成されたLF処理エンジンをさらに備え、
前記デコーダが、前記会場の前記決定された構成に基づいて、前記符号化されたホログラフィックコンテンツを復号化する、項目1に記載のLFディスプレイシステム。
[項目13]
前記会場の前記構成が、
1つ以上のホログラフィックオブジェクトボリュームと、
1つ以上の視聴ボリュームと、
前記LFディスプレイアセンブリに対する前記観客の場所と、のうちのいずれかを含む、項目12に記載のLFディスプレイシステム。
[項目14]
前記受信された符号化されたホログラフィックコンテンツのデジタル権利を管理するように構成されたデジタル権利管理システムであって、前記デジタル権利管理システムがデジタル鍵を提供する復号化されたホログラフィックコンテンツを前記LFディスプレイアセンブリが投影することを可能にする、デジタル権利管理システムをさらに備える、項目1に記載のLFディスプレイシステム。
[項目15]
前記ホログラフィックコンテンツが、暗号化され、前記LFディスプレイシステムが、前記ホログラフィックコンテンツを解読するように構成されている、項目1に記載のLFディスプレイシステム。
[項目16]
前記符号化されたホログラフィックコンテンツが、前記ネットワークを介して前記LFディスプレイシステムに接続されたホログラフィックコンテンツリポジトリから受信される、項目1に記載のLFディスプレイシステム。
[項目17]
前記ホログラフィックコンテンツが、前記LFディスプレイシステムが前記ホログラフィックコンテンツのためのホログラフィックコンテンツリポジトリに取引料金を送信することに応答して受信される、項目1に記載のLFディスプレイシステム。
[項目18]
前記ホログラフィックコンテンツが、ホログラフィックコンテンツ生成システムから受信され、前記ホログラフィックコンテンツ生成システムが、
ライブ公演を記録し、
前記公演の前記記録を、符号化されたホログラフィックコンテンツに符号化し、
前記符号化されたホログラフィックコンテンツを前記ネットワークを介してLFディスプレイシステムに送信するように構成されている、項目1に記載のLFディスプレイシステム。
[項目19]
前記ネットワークが、パブリックネットワークである、項目1に記載のLFディスプレイシステム。
[項目20]
前記ネットワークが、ホログラフィックコンテンツを送信するように構成されたプライベートネットワークである、項目1に記載のLFディスプレイシステム。
[項目21]
前記LFディスプレイアセンブリが、音響データを提示するように構成されており、
ホログラフィックコンテンツが復号化されたときに、前記LFディスプレイシステムが、前記復号化されたホログラフィックコンテンツおよび復号化された音響データを提示するように、前記符号化されたホログラフィックコンテンツが、前記音響データを含む、項目1に記載のLFディスプレイシステム。
[項目22]
前記提示されたホログラフィックコンテンツが、第1のタイプのエネルギーおよび第2のタイプのエネルギーを含む、項目1に記載のLFディスプレイシステム。
[項目23]
前記第1のタイプのエネルギーが、電磁気エネルギーであり、前記第2のタイプのエネルギーが、超音波エネルギーである、項目22に記載のLFディスプレイシステム。
[項目24]
前記第1のタイプのエネルギーおよび第2のタイプのエネルギーが、前記LFディスプレイアセンブリが体積触覚表面を提示するように、同じ場所において提示される、項目23に記載のLFディスプレイシステム。
[項目25]
前記LFディスプレイアセンブリが、画像データを記録するように構成されており、
前記LFディスプレイアセンブリが、ホログラフィックコンテンツを提示するのと同時に画像データを記録する、項目1に記載のLFディスプレイシステム。
[項目26]
前記LFディスプレイアセンブリが、ホログラフィックコンテンツを記録するように構成されており、
前記LFディスプレイアセンブリが、ホログラフィックコンテンツを提示するのと同時に記録する、項目1に記載のLFディスプレイシステム。
[項目27]
前記ホログラフィックコンテンツを視聴している前記観客における1人以上の視聴者に関する情報を取得するように構成されている追跡システムをさらに備える、項目1に記載のLFディスプレイシステム。
[項目28]
前記LFディスプレイアセンブリが、前記追跡システムによって取得された情報に基づいて、ホログラフィックコンテンツを前記観客に提示する、項目27に記載のLFディスプレイシステム。
[項目29]
前記追跡システムによって取得された前記情報が、
提示されたホログラフィックコンテンツに対する前記観客における前記1人以上の視聴者による応答と、
前記観客における前記1人以上の視聴者の特徴と、を含む、項目27に記載のLFディスプレイシステム。
[項目30]
前記視聴者に関する前記情報が、前記視聴者の位置、前記視聴者の動き、前記視聴者のジェスチャ、前記視聴者の表情、視聴者の年齢、前記視聴者の性別、および前記視聴者によって着用されている衣服のうちのいずれかを含む、項目27に記載のLFディスプレイシステム。
[項目31]
視聴者プロファイリングシステムをさらに備え、前記視聴者プロファイリングシステムが、
前記ホログラフィックコンテンツを視聴している前記観客における視聴者を識別し、
前記識別された視聴者の各々の視聴者プロファイルを生成するように構成されている、項目1に記載のLFディスプレイシステム。
[項目32]
前記LFディスプレイアセンブリが、前記観客における識別された視聴者に基づいて、ホログラフィックコンテンツを前記観客に提示する、項目31に記載のLFディスプレイシステム。
[項目33]
前記LFディスプレイシステムが、前記識別された視聴者のプロファイルに基づいて、ホログラフィックコンテンツを前記観客に提示する、項目31に記載のLFディスプレイシステム。
[項目34]
前記視聴者プロファイリングシステムが、前記ホログラフィックコンテンツに対する視聴者の応答、または前記ホログラフィックコンテンツを視聴する視聴者の特徴を識別し、前記識別された応答または特徴を視聴者プロファイルに含めるように構成されている、項目31に記載のLFディスプレイシステム。
[項目35]
前記LF視聴者プロファイリングシステムが、前記視聴者の特徴を識別し、前記特徴が、
前記視聴者の位置と、
前記視聴者の動作と、
前記視聴者のジェスチャと、
前記視聴者の顔表情と、
前記視聴者の性別と、
前記視聴者の年齢と、
前記視聴者の衣服と、のうちのいずれかを含む、項目27に記載のLFディスプレイシステム。
[項目36]
前記視聴者プロファイリングシステムが、前記1人以上の識別された視聴者のソーシャルメディアアカウントにアクセスして、視聴者プロファイルを生成する、項目26に記載のLFディスプレイシステム。
[項目37]
前記会場が、劇場である、項目1に記載のLFディスプレイシステム。
[項目38]
前記会場が、実質的に水平である前記LFディスプレイシステムの表示面をほぼ取り囲む複数の視聴場所を含む、項目1に記載のLFディスプレイシステム。
[項目39]
前記表示面が、前記会場の床の少なくとも一部である、項目38に記載のLFディスプレイシステム。
[項目40]
前記表示面が、前記会場内のステージの少なくとも一部である、項目38に記載のLFディスプレイシステム。
[項目41]
前記表示面が、前記会場内の隆起した視聴プラットフォームの少なくとも一部である、項目38に記載のLFディスプレイシステム。
[項目42]
前記会場が、前記LFディスプレイアセンブリのほぼ前に配列された複数の視聴場所を含む、項目1に記載のLFディスプレイシステム。
[項目43]
前記会場が、前記提示されたホログラフィックコンテンツに対して遮るもののない視線を有するように位置付けられた複数の視聴場所を含む、項目1に記載のLFディスプレイシステム。
[項目44]
前記会場が、傾斜を有し、1つ以上の視聴場所が、前記傾斜に沿って位置付けられている、項目1に記載のLFディスプレイシステム。
[項目45]
前記会場が、
1つ以上の視聴段であって、各視聴段が、前記観客の一部を含むように構成されている、1つ以上の視聴段を備える、項目1に記載のLFディスプレイシステム。
[項目46]
前記LFディスプレイシステムが、同じ復号化されたホログラフィックコンテンツを、前記会場の各段に提示する、項目45に記載のLFディスプレイシステム。
[項目47]
前記LFディスプレイシステムが、異なる復号化されたホログラフィックコンテンツを、前記会場の1つ以上の段に提示する、項目45に記載のLFディスプレイシステム。
[項目48]
前記段がほぼ円形であり、それらが前記LFディスプレイアセンブリを取り囲むように、位置付けられている、項目45に記載のLFディスプレイシステム。
[項目49]
前記会場が、第1の壁を備え、
前記ホログラフィックコンテンツが前記第1の壁から前記観客に提示されるように、前記LFディスプレイアセンブリが、前記第1の壁に位置付けられている、項目1に記載のLFディスプレイシステム。
[項目50]
前記会場が、第2の壁を備え、
前記ホログラフィックコンテンツが前記第1の壁および前記第2の壁から前記観客に提示されるように、前記LFディスプレイアセンブリが、前記第1の壁および前記第2の壁に位置付けられている、項目49に記載のLFディスプレイシステム。
[項目51]
前記会場が、ステージを備え、
前記ホログラフィックコンテンツが前記ステージから前記観客に提示されるように、前記LFディスプレイアセンブリが、前記ステージに位置付けられている、項目1に記載のLFディスプレイシステム。
[項目52]
前記会場が、床を備え、
前記ホログラフィックコンテンツが前記床から前記観客に提示されるように、前記LFディスプレイアセンブリが、前記床に位置付けられている、項目1に記載のLFディスプレイシステム。
[項目53]
前記LFディスプレイアセンブリが、実質的に平坦な表面である、項目1に記載のLFディスプレイシステム。
[項目54]
前記LFディスプレイシステムが、曲面である、項目1に記載のLFディスプレイシステム。
[項目55]
ライトフィールド(LF)ディスプレイシステムであって、
ネットワークを介してリアルタイムホログラフィックコンテンツを含むライブストリームを受信するように構成されたネットワークインターフェースと、
追加のホログラフィックコンテンツを生成するように構成されたLF処理エンジンと、
前記リアルタイムホログラフィックコンテンツおよび追加のホログラフィックコンテンツを会場の観客に提示するように構成されたLFディスプレイアセンブリと、を備える、LFディスプレイシステム。
[項目56]
前記ライブストリームが、
コンサートと、
公演と、
ショーと、
シーンと、
イベントと、のうちの1つ以上の同時放送を表すリアルタイムホログラフィックコンテンツを含む、項目55に記載のLFディスプレイシステム。
[項目57]
前記ライブストリームが、
コンサートと、
公演と、
ショーと、
シーンと、
イベントと、のうちの1つ以上を表す追加のホログラフィックコンテンツを含む、項目55に記載のLFディスプレイシステム。
[項目58]
前記追加のホログラフィックコンテンツが、
ニューラルネットワークと、
手続き型生成アルゴリズムと、
機械学習アルゴリズムと、
人工知能と、のうちの1つ以上によって生成される、項目57に記載のLFディスプレイシステム。
[項目59]
前記追加のホログラフィックコンテンツが、
オブジェクト、イベント、またはシーンのコンピュータで生成されたレンダリングと、
以前に記録されたライブアクションホログラフィックコンテンツと、のうちの1つ以上を含む、項目55に記載のLFディスプレイシステム。
[項目60]
前記ライブストリームが、
歌手と、
バンドと、
俳優と、
ダンサーと、
コメディアンと、
公演者と、のうちの1つ以上を表すホログラフィックコンテンツを含む、項目55に記載のLFディスプレイシステム。
[項目61]
前記追加のホログラフィックコンテンツが、リアルタイムホログラフィックコンテンツを含む前記ライブストリームを拡張する、項目55に記載のLFディスプレイシステム。
[項目62]
前記追加のホログラフィックコンテンツが、前記ライブストリームに含まれるリアルタイムホログラフィックコンテンツを置き換える、項目55に記載のLFディスプレイシステム。
[項目63]
前記追加のホログラフィックコンテンツが、
セットと、
ステージと、
小道具と、
衣服と、
衣装と、
楽器と、のうちの1つ以上を表す、項目55に記載のLFディスプレイシステム。
[項目64]
前記追加のホログラフィックコンテンツが、
人物、オブジェクト、イベント、または別の時間や場所からのシーンと、
人物、オブジェクト、イベント、またはシーンのコンピュータで生成されたレンダリングと、
以前に記録されたホログラフィックコンテンツと、のうちの1つ以上を表す、項目55に記載のLFディスプレイシステム。
[項目65]
前記追加のホログラフィックコンテンツが、
広告と、
プロダクトプレイスメントと、のうちの1つ以上を表す、項目55に記載のLFディスプレイシステム。
[項目66]
前記追加のホログラフィックコンテンツが、
ニューラルネットワークと、
手続き型生成アルゴリズムと、
機械学習アルゴリズムと、
人工知能と、のうちの1つ以上によって生成される、項目55に記載のLFディスプレイシステム。
[項目67]
前記観客における視聴者が前記追加のホログラフィックコンテンツとインタラクトすることができる、項目55に記載のLFディスプレイシステム。
[項目68]
前記視聴者が、前記追加のホログラフィックコンテンツとはインタラクトすることができるが、前記リアルタイムホログラフィックコンテンツとはインタラクトすることができない、項目55に記載のLFディスプレイシステム。
[項目69]
視聴者が、前記リアルタイムホログラフィックコンテンツとインタラクトすることができる、項目55に記載のLFディスプレイシステム。
[項目70]
前記処理エンジンが、前記LFディスプレイアセンブリによって提示された前記ホログラフィックコンテンツと前記視聴者とのインタラクションに基づいて追加のホログラフィックコンテンツを生成するように構成されている、項目55に記載のLFディスプレイシステム。
[項目71]
前記観客における視聴者が、
物理的なインタラクションと、
聴覚的なインタラクションと、
視覚的なインタラクションと、のうちのいずれかを含むインタラクションで、前記提示されたホログラフィックコンテンツとインタラクトする、項目55に記載のLFディスプレイシステム。
[項目72]
前記ホログラフィックコンテンツを視聴している前記観客における1人以上の視聴者に関する情報を取得するように構成されている追跡システムをさらに備える、項目55に記載のLFディスプレイシステム。
[項目73]
前記処理エンジンによって生成された前記追加のホログラフィックコンテンツが、前記追跡システムによって取得された、前記観客における前記1人以上の視聴者に関する前記情報に基づいたものである、項目72に記載のLFディスプレイシステム。
[項目74]
前記追跡システムによって取得された前記情報が、
前記観客における前記1人以上の視聴者による、提示されたホログラフィックコンテンツに対する応答と、
前記観客における前記1人以上の視聴者の特徴と、を含む、項目72に記載のLFディスプレイシステム。
[項目75]
前記視聴者に関する前記情報が、前記視聴者の位置、前記視聴者の動き、前記視聴者のジェスチャ、前記視聴者の表情、視聴者の年齢、前記視聴者の性別、および前記視聴者によって着用されている衣服のうちのいずれかを含む、項目72に記載のLFディスプレイシステム。
[項目76]
前記追跡システムが、前記観客における前記1人以上の視聴者に関する集約情報を決定するように構成されており、
前記処理エンジンによって生成された前記追加のホログラフィックコンテンツが、前記集約情報に基づいたものである、項目72に記載のLFディスプレイシステム。
[項目77]
視聴者プロファイリングシステムをさらに備え、前記視聴者プロファイリングシステムが、
前記ホログラフィックコンテンツを視聴している前記観客における1人以上の視聴者を識別し、
前記1人以上の識別された視聴者についての視聴者プロファイルを生成するように構成されている、項目55に記載のLFディスプレイシステム。
[項目78]
前記処理エンジンによって生成された前記追加のホログラフィックコンテンツが、前記視聴者プロファイリングシステムによって識別された前記1つ以上の視聴者に基づいたものである、項目77に記載のLFディスプレイシステム。
[項目79]
前記処理エンジンによって生成された前記追加のホログラフィックコンテンツが、前記視聴者プロファイリングシステムによって生成された前記視聴者プロファイルに基づいたものである、項目77に記載のLFディスプレイシステム。
[項目80]
前記視聴者プロファイリングシステムが、前記ホログラフィックコンテンツに対する視聴者の応答、または前記ホログラフィックコンテンツを視聴する視聴者の特徴を識別し、前記識別された応答または特徴を視聴者プロファイルに含めるように構成されている、項目77に記載のLFディスプレイシステム。
[項目81]
前記視聴者プロファイリングシステムが、
前記視聴者の位置と、
前記視聴者の動作と、
前記視聴者のジェスチャと、
前記視聴者の顔表情と、
前記視聴者の性別と、
前記視聴者の年齢と、
前記視聴者の衣服と、のうちのいずれかを含む特徴を識別する、項目77に記載の方法。
[項目82]
前記視聴者プロファイリングシステムが、前記観客における前記1人以上の視聴者に関する集約プロファイルを生成するように構成されており、
前記処理エンジンによって生成される前記追加のホログラフィックコンテンツが、前記集約プロファイルに基づいたものである、項目77に記載のLFディスプレイシステム。
[項目83]
前記LFディスプレイシステムのハードウェア構成を決定するように構成されたLF処理エンジンをさらに備え、
前記LFディスプレイアセンブリが、前記LFディスプレイシステムの前記決定されたハードウェア構成に基づいて前記ホログラフィックコンテンツを提示する、項目55に記載のLFディスプレイシステム。
[項目84]
前記ハードウェア構成が、
解像度と、
度当たりの投影光線の数と、
視野と、
表示面の偏向角と、
表示面の次元と、のうちのいずれかを含む、項目83に記載のLFディスプレイシステム。
[項目85]
前記LFディスプレイシステムの幾何学的配向を決定するように構成されたLF処理エンジンをさらに備え、
前記ホログラフィックコンテンツが、前記LFディスプレイシステムの前記決定された幾何学的配向に基づいて前記観客に提示される、項目55に記載のLFディスプレイシステム。
[項目86]
前記幾何学的配向が、
前記LFディスプレイアセンブリのディスプレイパネルの数と、
前記ディスプレイパネルの相対的な配向と、
前記ディスプレイパネルの高さと、
前記ディスプレイパネルの幅と、
前記ディスプレイパネルのレイアウトと、のうちのいずれかを含む、項目85に記載のLFディスプレイシステム。
[項目87]
前記会場の構成を決定するように構成されたLF処理エンジンをさらに備え、
前記LFディスプレイアセンブリが、前記会場の前記決定された構成に基づいてホログラフィックコンテンツを提示する、項目55に記載のLFディスプレイシステム
[項目88]
前記会場の前記構成が、
1つ以上のホログラフィックオブジェクトボリュームと、
1つ以上の視聴ボリュームと、
前記LFディスプレイアセンブリに対する前記観客の場所と、のうちのいずれかを含む、項目87に記載のLFディスプレイシステム。
[項目89]
前記LFディスプレイアセンブリが、音響データを提示するように構成されており、
前記ホログラフィックコンテンツは、前記LFディスプレイシステムが前記ホログラフィックコンテンツおよび音響データを提示するように、前記音響データを含む、項目55に記載のLFディスプレイシステム。
[項目90]
前記提示されたホログラフィックコンテンツが、第1のタイプのエネルギーおよび第2のタイプのエネルギーを含む、項目55に記載のLFディスプレイシステム。
[項目91]
前記第1のタイプのエネルギーが、電磁気エネルギーであり、前記第2のタイプのエネルギーが、超音波エネルギーである、項目90に記載のLFディスプレイシステム。
[項目92]
前記第1のタイプのエネルギーおよび第2のタイプのエネルギーが、前記LFディスプレイアセンブリが体積触覚表面を提示するように、同じ場所において提示される、項目91に記載のLFディスプレイシステム。
[項目93]
前記LFディスプレイアセンブリが、画像データを記録するように構成されており、
前記LFディスプレイアセンブリが、ホログラフィックコンテンツを提示するのと同時に画像データを記録する、項目55に記載のLFディスプレイシステム。
[項目94]
前記LFディスプレイアセンブリが、ホログラフィックコンテンツを記録するように構成されており、
前記LFディスプレイアセンブリが、ホログラフィックコンテンツを提示するのと同時に記録する、項目55に記載のLFディスプレイシステム。
[項目95]
リアルタイムホログラフィックコンテンツを含む前記ライブストリームが、第1のフォーマットで受信され、前記LF処理エンジンが、前記ホログラフィックコンテンツを第2のフォーマットに復号化する、項目55に記載のLFディスプレイシステム。
[項目96]
前記第1のフォーマットが、ベクトル化されたデータフォーマットであり、前記第2のフォーマットが、ラスタライズされたデータフォーマットである、項目95に記載のLFディスプレイシステム。
[項目97]
前記処理エンジンが、独自のコーデックを使用して、同じコーデックによって符号化されたストリーミングホログラフィックコンテンツを復号化する、項目55に記載のLFディスプレイシステム。
[項目98]
ライトフィールド(LF)生成システムであって、
会場でのイベントを表す1つ以上のタイプのエネルギーを記録するように構成されたライトフィールド記録アセンブリと、
前記記録されたエネルギーを、前記公演を表すホログラフィックコンテンツに変換するように構成された処理エンジンと、
ネットワークを介して前記ホログラフィックコンテンツを1つ以上のLFディスプレイシステムに送信するように構成されたネットワークインターフェースと、を備える、LF生成システム。
[項目99]
前記イベントが、
コンサートと、
ショーと、
公演と、
シーンと、
イベントと、のうちの1つ以上である、項目98に記載のLF生成システム。
[項目100]
前記イベントが、
歌手と、
バンドと、
マジシャンと、
俳優と、
ダンサーと、
コメディアンと、
公演者と、のうちの1つ以上を含む、項目98に記載のLF生成システム。
[項目101]
前記会場が、
公演ホールと、
イベント空間と、
劇場と、
コンサートホールと、
スタジオと、
ステージと、のうちのいずれかである、項目98に記載のLF生成システム。
[項目102]
前記ネットワークが、パブリックネットワークである、項目98に記載のLF生成システム。
[項目103]
前記ネットワークが、ホログラフィックコンテンツを送信するように構成されたプライベートネットワークである、項目98に記載のLF生成システム。
[項目104]
前記処理エンジンが、前記記録されたエネルギーをホログラフィックコンテンツとして符号化するために独自のコーデックを使用する、項目98に記載のLF生成システム。
[項目105]
前記ホログラフィックコンテンツが、ベクトル化されたフォーマットで符号化される、項目104に記載のLF生成システム。
[項目106]
前記ホログラフィックコンテンツが、前記独自のコーデックを利用するLFディスプレイシステムによって復号化可能なフォーマットで符号化される、項目104に記載のLF公演ネットワークシステム。
[項目107]
前記ライトフィールド記録アセンブリが、
電磁エネルギーをライトフィールドコンテンツとして記録するように構成された1つ以上のエネルギーセンサを含む、1つ以上のライトフィールドモジュールを備え、
前記ホログラフィックコンテンツが、前記ライトフィールドコンテンツを含む、項目98に記載のLF生成システム。
[項目108]
前記ライトフィールド記録アセンブリが、
音響エネルギーを音声コンテンツとして記録するように構成された1つ以上の音響記録デバイスを備え、
前記ホログラフィックコンテンツが、前記音声コンテンツを含む、項目98に記載のLF生成システム。
[項目109]
前記ライトフィールド記録アセンブリが、
機械的エネルギーを記録するように構成された1つ以上の圧力センサを備え、
前記ホログラフィックコンテンツが、1つ以上の触覚表面を生成するための機械的エネルギーを生成する命令を含む、項目98に記載のLF生成システム。
[項目110]
前記ライトフィールド記録アセンブリが、
1つ以上の記録モジュールであって、前記LF記録モジュールが、複数の視点で前記公演からエネルギーをキャプチャするように、前記会場の周囲に位置付けられた、1つ以上の記録モジュールを備える、項目98に記載のLF生成システム。
[項目111]
前記処理エンジンが、複数の視点からの前記エネルギーを前記ホログラフィックコンテンツに変換する、項目110に記載のLF生成システム。
[項目112]
前記ライトフィールド記録アセンブリが、
1つ以上の二次元カメラであって、各二次元カメラが、前記公演からのエネルギーを1つ以上の二次元画像として記録する、1つ以上の二次元カメラを備える、項目98に記載のLF生成システム。
[項目113]
前記処理エンジンが、前記1つ以上の二次元画像をホログラフィックコンテンツに変換する、項目112に記載のLF生成システム。
[項目114]
前記処理エンジンが、機械学習アルゴリズムを使用して、前記ホログラフィックコンテンツを生成する、項目113に記載のLF生成システム。
[項目115]
前記ライトフィールド記録アセンブリが、
オブジェクトの深さを決定するための1つ以上の深さセンサを備える、項目98に記載のLF生成システム。
[項目116]
前記ライトフィールド記録アセンブリが、
ライトフィールドデータを記録するための1つ以上のプレノプティックカメラシステムを備える、項目98に記載のLF生成システム。
[項目117]
前記LF生成システムが、前記ホログラフィックコンテンツを、前記ネットワークを介してほぼリアルタイムでLFディスプレイシステムに送信する、項目98に記載のLF生成システム。
[項目118]
前記LF生成システムが、前記ホログラフィックコンテンツをローカル記憶デバイスに記憶する、項目98に記載のLF生成システム。
[項目119]
前記LF生成システムが、前記ホログラフィックコンテンツをネットワークシステムに送信して、ネットワーク記憶システムに記憶する、項目98に記載のLF生成システム。
[項目120]
前記LF生成システムが、取引料金の受領に応答して、前記ホログラフィックコンテンツをLFディスプレイシステムに送信する、項目98に記載のLF生成システム。
【外国語明細書】