(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-06-08
(54)【発明の名称】映画館のためのライトフィールドディスプレイシステム
(51)【国際特許分類】
H04N 13/307 20180101AFI20220601BHJP
G02B 30/33 20200101ALI20220601BHJP
G02B 30/10 20200101ALI20220601BHJP
G09G 5/00 20060101ALI20220601BHJP
G09G 5/36 20060101ALI20220601BHJP
G09G 5/14 20060101ALI20220601BHJP
G09F 9/00 20060101ALI20220601BHJP
H04N 21/41 20110101ALI20220601BHJP
H04N 13/366 20180101ALI20220601BHJP
G03H 1/22 20060101ALI20220601BHJP
A63G 31/00 20060101ALI20220601BHJP
A63G 31/16 20060101ALI20220601BHJP
A63J 25/00 20090101ALI20220601BHJP
【FI】
H04N13/307
G02B30/33
G02B30/10
G09G5/00 510B
G09G5/36 520P
G09G5/14 A
G09G5/00 510Q
G09G5/00 550C
G09G5/36 530Y
G09G5/00 510V
G09G5/00 555D
G09G5/00 555A
G09G5/36 520D
G09G5/00 530H
G09G5/36 510V
G09F9/00 313
H04N21/41
H04N13/366
G03H1/22
A63G31/00
A63G31/16
A63J25/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021556750
(86)(22)【出願日】2020-03-11
(85)【翻訳文提出日】2021-09-30
(86)【国際出願番号】 US2020021998
(87)【国際公開番号】W WO2020197765
(87)【国際公開日】2020-10-01
(32)【優先日】2019-03-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519006883
【氏名又は名称】ライト フィールド ラボ、インコーポレイテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】カラフィン、ジョナサン ショーン
(72)【発明者】
【氏名】ベヴェンシー、ブレンダン エルウッド
(72)【発明者】
【氏名】ドーム、ジョン
【テーマコード(参考)】
2H199
2K008
5C061
5C164
5C182
5G435
【Fターム(参考)】
2H199BA20
2H199BA43
2H199BA44
2H199BA45
2H199BA48
2H199BA49
2H199BB02
2H199BB29
2H199BB54
2H199BB59
2K008AA14
2K008CC03
5C061AA06
5C061AB14
5C061AB16
5C061AB18
5C164FA14
5C164UA31P
5C182AA02
5C182AA04
5C182AA13
5C182AA14
5C182AA26
5C182AA27
5C182AA31
5C182AB11
5C182AC43
5C182AC46
5C182BA14
5C182BA25
5C182BA26
5C182BA27
5C182BA28
5C182BA29
5C182BA30
5C182BA35
5C182BA47
5C182BA55
5C182BA56
5C182BA57
5C182BA65
5C182BA66
5C182BA75
5C182BB02
5C182BB04
5C182BB05
5C182BB13
5C182BB15
5C182BB17
5C182BC01
5C182BC25
5C182BC26
5C182BC29
5C182BC33
5C182BC43
5C182BC45
5C182CB13
5C182CB26
5C182CB42
5C182CB45
5C182CC01
5C182DA32
5C182DA52
5G435BB04
5G435BB05
5G435GG01
(57)【要約】
映画館の視聴者にホログラフィックコンテンツ(例えば、ホログラフィックフィルムまたはフィルムを増強するためのホログラフィックコンテンツ)を表示するためのライトフィールド(LF)ディスプレイシステム。映画館のLFディスプレイシステムは、LFモジュールのアレイを形成するために、一緒にタイル張りされたLFディスプレイモジュールを含む。LFモジュールのアレイは、映画館でホログラフィックコンテンツを表示するためのホログラフィックオブジェクトボリュームを作成する。LFモジュールのアレイは、ホログラフィックコンテンツをビューイングボリュームで視聴者に表示する。LFディスプレイシステムは、LFフィルムネットワークに含めることができる。LFフィルムネットワークによって、ホログラフィックコンテンツをある場所で作成し、別の場所で提示することができる。LFフィルムネットワークは、ホログラフィックパフォーマンスコンテンツのデジタル権利を管理するためのネットワークシステムを含む。
【選択図】
図5A
【特許請求の範囲】
【請求項1】
ライトフィールド(LF)ディスプレイシステムであって、
ライトフィールドディスプレイアセンブリによって表示するためのホログラフィックコンテンツを生成するように構成された処理エンジンであって、前記ホログラフィックコンテンツは、電磁エネルギーとして表示される、処理エンジンと、
ライトフィールドディスプレイアセンブリであって、
ホログラフィックコンテンツを投影するように構成された表示面のうちの1つ以上と、
前記処理エンジンからホログラフィックコンテンツを受信し、電磁エネルギーを生成して、前記表示面を介してホログラフィックコンテンツとして聴衆に投影するように構成された1つ以上のエネルギーデバイスと、を備える、ライトフィールドディスプレイアセンブリと、を備える、LFディスプレイシステム。
【請求項2】
前記ホログラフィックコンテンツが、映画館の前記聴衆に提示される、請求項1に記載のLFディスプレイシステム。
【請求項3】
前記ホログラフィックコンテンツが、前記聴衆の1つ以上のビューイングボリュームに提示され、前記1つ以上のビューイングボリュームの第1のビューイングボリュームに提示される前記ホログラフィックコンテンツが、前記1つ以上のビューイングボリュームの第2のビューイングボリュームに提示される前記ホログラフィックコンテンツとは異なる、請求項1に記載のLFディスプレイシステム。
【請求項4】
前記電磁エネルギーが、可視スペクトルである、請求項1に記載のLFディスプレイシステム。
【請求項5】
前記電磁エネルギーが、赤外線スペクトルまたは紫外線スペクトルにある、請求項1に記載のLFディスプレイシステム。
【請求項6】
前記処理エンジンが、第2のタイプのエネルギーとしてライトフィールドディスプレイアセンブリによって提示するための追加のコンテンツを生成するように構成されており、
前記表示面のうちの1つ以上が、前記追加のコンテンツを前記第2のタイプのエネルギーとして投影するように構成されており、
前記エネルギーデバイスのうちの1つ以上が、前記処理エンジンから前記追加のコンテンツを受信し、前記第2のタイプのエネルギーを生成して、前記表示面を介して前記追加のコンテンツを前記聴衆に投影するように構成されている、請求項1に記載のLFディスプレイシステム。
【請求項7】
前記第2のタイプのエネルギーが、音響エネルギーであり、前記音響エネルギーが、前記ホログラフィックコンテンツの音声コンテンツとして前記聴衆に投影される、請求項6に記載のLFディスプレイシステム。
【請求項8】
前記第2のタイプのエネルギーが、超音波エネルギーであり、前記超音波エネルギーが、1つ以上の触覚表面として前記聴衆に提示される、請求項6に記載のLFディスプレイシステム。
【請求項9】
前記LFディスプレイアセンブリが、前記第2のタイプのエネルギーを1つ以上の触覚表面として投影し、前記電磁エネルギーをホログラフィックコンテンツとして投影するように構成されており、前記触覚表面およびホログラフィックコンテンツが、同じ収束点で前記聴衆に投影される、請求項6に記載のLFディスプレイシステム。
【請求項10】
前記表示面のうちの1つ以上が、第2のタイプのエネルギーを受信するように構成されており、
前記エネルギーデバイスのうちの1つ以上が、前記第2のタイプのエネルギーを感知するように構成されている、請求項1に記載のLFディスプレイシステム。
【請求項11】
前記第2のタイプのエネルギーが、電磁エネルギーである、請求項10に記載のLFディスプレイシステム。
【請求項12】
前記第2のタイプのエネルギーが、音声コンテンツを表す音響エネルギーである、請求項10に記載のLFディスプレイシステム。
【請求項13】
前記第2のタイプのエネルギーが、超音波エネルギーである、請求項10に記載のLFディスプレイシステム。
【請求項14】
前記処理エンジンが、前記エネルギーデバイスのうちの1つ以上によって感知された前記第2のタイプのエネルギーの測定値を記録するように構成されている、請求項10に記載のLFディスプレイシステム。
【請求項15】
前記LFディスプレイアセンブリが、
複数のエネルギー位置を備えるエネルギー面のうちの1つ以上であって、前記エネルギー位置の第1のサブセットが、前記エネルギーデバイスによって生成されたホログラフィックコンテンツを表す電磁エネルギーを放出するように構成されている、エネルギー面のうちの1つ以上をさらに備える、請求項1に記載のLFディスプレイシステム。
【請求項16】
前記エネルギー面が、
前記聴衆に提示するための追加のコンテンツを表す第2のタイプのエネルギーを放出するように構成されたエネルギー位置の第2のサブセットを備える、請求項15に記載のLFディスプレイシステム。
【請求項17】
前記エネルギー面が、
第2のタイプのエネルギーを受信するように構成されたエネルギー位置の第2のサブセットを備える、請求項15に記載のLFディスプレイシステム。
【請求項18】
前記第2のタイプのエネルギーが、前記表示面の前のボリュームから受信された可視コンテンツを表す電磁エネルギーであり、エネルギー位置の前記第2のサブセットが、可視コンテンツを受信するように構成されている、請求項17に記載のLFディスプレイシステム。
【請求項19】
前記エネルギー面が、
第2のタイプのエネルギー用に構成されたエネルギー位置の第2のサブセットであって、前記エネルギー面上のエネルギー位置の前記第1のサブセットとインターリーブされている、エネルギー位置の前記第2のサブセットを備える、請求項15に記載のLFディスプレイシステム。
【請求項20】
前記LFディスプレイアセンブリが、
前記エネルギーデバイスによって生成されたホログラフィックコンテンツを表す電磁エネルギーを受信し、複数の伝搬経路に沿って前記表示面から前記聴衆に向けて前記電磁エネルギーを投影するように構成された複数の導波路をさらに備える、請求項1に記載のLFディスプレイシステム。
【請求項21】
前記LFディスプレイアセンブリが、
ホログラフィックコンテンツを表す前記電磁エネルギーを放出するように構成された複数のエネルギー位置をさらに備え、前記複数の導波路が、前記複数のエネルギー位置からの前記電磁エネルギーを、前記聴衆に投影するために前記表示面に向けるように構成されており、
各伝搬経路が、前記複数のエネルギー位置のうちの1つのエネルギー位置に対応し、各伝搬経路の方向が、前記電磁エネルギーが放出される前記エネルギー位置の位置に基づく、請求項20に記載のLFディスプレイシステム。
【請求項22】
前記エネルギーデバイスから追加のコンテンツを表す第2のタイプのエネルギーを受信し、第2の複数の伝搬経路に沿って前記表示面から前記聴衆に向けて前記第2のタイプのエネルギーを投影するように構成された第2の複数の導波路をさらに備える、請求項20に記載のLFディスプレイシステム。
【請求項23】
前記第1の複数の導波路および前記第2の複数の導波路がインターリーブされている、請求項22に記載のLFディスプレイシステム。
【請求項24】
前記表示面から第2のタイプのエネルギーを受信し、前記第2のタイプのエネルギーを前記エネルギー位置に向けて変換するように構成された第2の複数の導波路をさらに備える、請求項20に記載のLFディスプレイシステム。
【請求項25】
前記第2のタイプのエネルギーを受信するように構成された複数のエネルギー位置をさらに備え、
前記第2のタイプのエネルギーが、複数の入射経路から前記表示面で受信され、
前記第2の複数の導波路が、前記第2のタイプのエネルギーを、前記表示面から、前記第2のタイプのエネルギーを受信するように構成された前記複数のエネルギー位置に向け、
前記第2のタイプのエネルギーを受信するように構成された前記複数のエネルギー位置の各エネルギー位置が、前記複数の入射経路のうちの1つの入射経路に対応する、請求項24に記載のLFディスプレイシステム。
【請求項26】
前記エネルギーデバイスによって生成されたホログラフィックコンテンツを表す電磁エネルギーを1つ以上のエネルギー面に中継するように構成されたエネルギーリレーのうちの1つ以上をさらに備える、請求項1に記載のLFディスプレイシステム。
【請求項27】
前記1つ以上のエネルギー面が、実質的にシームレスである、請求項26に記載のLFディスプレイシステム。
【請求項28】
前記エネルギーリレーのうちの1つ以上が、前記エネルギーデバイスから前記1つ以上のエネルギー面に追加のコンテンツを表す第2のタイプのエネルギーを中継するように構成されている、請求項26に記載のLFディスプレイシステム。
【請求項29】
電磁エネルギーを中継するように構成された前記エネルギーリレーと、前記第2のタイプのエネルギーを中継するように構成された前記エネルギーリレーとがインターリーブされる、請求項28に記載のLFディスプレイシステム。
【請求項30】
前記エネルギーリレーのうちの1つのエネルギーリレーが、第2のタイプのエネルギーを前記エネルギー面から前記エネルギーデバイスに中継するように構成されている、請求項26に記載のLFディスプレイシステム。
【請求項31】
前記複数のエネルギーデバイスが、
前記聴衆へのホログラフィックコンテンツとして投影するための電磁エネルギーを生成する1つ以上の電磁エネルギーデバイスを含む、60*10請求項1に記載のLFディスプレイシステム。
【請求項32】
前記複数のエネルギーデバイスが、
1つ以上の体積触覚表面として前記聴衆に提示するための超音波エネルギーを生成するように構成された1つ以上の超音波エネルギー源を備える、請求項1に記載のLFディスプレイシステム。
【請求項33】
前記複数のエネルギーデバイスが、
複数の導波路素子に結合された静電スピーカのアレイを備え、静電スピーカの前記アレイが、
駆動時に音響エネルギーを生成するように構成された少なくとも1つの透明な膜と、
前記透明な膜を音響的に駆動するように構成された複数の電極であって、前記複数の前記電極の各電極が、前記複数の導波路素子のうちの1つ以上の導波路素子の間に位置する、複数の電極と、を備える、請求項1に記載のLFディスプレイシステム。
【請求項34】
前記複数のエネルギーデバイスが、
前記1つ以上の表示面に入射するエネルギーを感知するように構成された1つ以上のエネルギーセンサを備える、請求項1に記載のLFディスプレイシステム。
【請求項35】
前記1つ以上のエネルギーセンサが、前記表示面に入射する電磁エネルギーからのライトフィールドをキャプチャするように構成されている、請求項34に記載のLFディスプレイシステム。
【請求項36】
前記LFディスプレイアセンブリが、ホログラフィックコンテンツの投影、およびライトフィールドのキャプチャを同時に行うように構成されている、請求項35に記載のLFディスプレイシステム。
【請求項37】
前記ホログラフィックコンテンツを視聴している視聴者に関する情報を取得するように構成された追跡システムをさらに備える、請求項1に記載のLFディスプレイシステム。
【請求項38】
前記追跡システムによって取得された前記情報が、
ホログラフィックコンテンツに対する視聴者の応答と、
前記ホログラフィックコンテンツを視聴する視聴者の特性と、を含む、請求項27に記載のLFディスプレイシステム。
【請求項39】
前記視聴者に関する前記情報が、前記視聴者の位置、前記視聴者の動き、前記視聴者のジェスチャ、前記視聴者の表情、前記視聴者の年齢、前記視聴者の性別、および前記視聴者によって着用されている衣類のうちのいずれかを含む、請求項37に記載のLFディスプレイシステム。
【請求項40】
前記処理エンジンによって生成された前記ホログラフィックコンテンツが、前記追跡システムによって識別された1人以上の視聴者の年齢、性別、好み、位置、動き、ジェスチャ、または顔の表情に応答して変更される、請求項37に記載のLFディスプレイシステム。
【請求項41】
視聴者プロファイリングシステムをさらに備え、前記視聴者プロファイリングシステムが、
前記LFディスプレイモジュールによって提示された前記ホログラフィックコンテンツを視聴している視聴者を識別することと、
前記識別された各視聴者の視聴者プロファイルを生成することと、を行うように構成されている、請求項1に記載のLFディスプレイシステム。
【請求項42】
前記視聴者プロファイリングシステムが、前記ホログラフィックコンテンツに対する視聴者の応答、または前記ホログラフィックコンテンツを視聴する視聴者の特性を識別し、前記識別された応答または特性を視聴者プロファイルに含めるように構成されている、請求項41に記載のLFディスプレイシステム。
【請求項43】
前記視聴者プロファイリングシステムが、前記1人以上の識別された視聴者のソーシャルメディアアカウントにアクセスして、視聴者プロファイルを生成する、請求項41に記載のLFディスプレイシステム。
【請求項44】
前記処理エンジンによって生成された前記ホログラフィックコンテンツが、前記LFディスプレイアセンブリによって表示された前記ホログラフィックコンテンツを視聴する視聴者の1つ以上の視聴者プロファイルに応答して変更される、請求項41に記載のLFディスプレイシステム。
【請求項45】
前記LF処理エンジンが、前記聴衆において識別された1人以上の視聴者に部分的に基づいて前記ホログラフィックコンテンツを作成するように構成されており、識別された各視聴者が、前記LFディスプレイシステムによって表示された前記ホログラフィックコンテンツを視聴し、1つ以上の特性を含む視聴者プロファイルに関連付けられている、請求項1に記載のLFディスプレイシステム。
【請求項46】
前記特性が、前記視聴者の位置、前記視聴者の動き、前記視聴者のジェスチャ、前記ユーザの顔の表情、前記ユーザの性別、前記ユーザの年齢、および前記ユーザの衣服のいずれかを含む、請求項45に記載の方法。
【請求項47】
前記処理エンジンが、
プロセッサをさらに備え、前記プロセッサが、
追跡システムによって取得された情報を使用して、前記表示されたホログラフィックコンテンツを視聴している前記1人以上の視聴者の特定の視聴者を識別することと、
前記識別された特定のユーザの前記視聴者プロファイルに基づいて、前記特定の視聴者の1つ以上の特性を識別することと、
前記識別された特性に基づいて前記特定の視聴者の好みを決定することと、
前記決定された好みに従って、前記LFディスプレイシステムによって前記特定の視聴者に提示するためのホログラフィックコンテンツを作成することと、を行うためのモデルを適用するように構成されている、請求項45に記載のLFディスプレイシステム。
【請求項48】
前記モデルが、強化学習で訓練されたニューラルネットワークである、請求項46に記載のLFディスプレイシステム。
【請求項49】
前記LFディスプレイモジュールによって提示される前記ホログラフィックコンテンツがフィルムであり、前記作成されたホログラフィックコンテンツが前記フィルムを増強する、請求項46に記載のLFディスプレイシステム。
【請求項50】
前記LFディスプレイアセンブリが、
複数のLFディスプレイモジュールであって、各モジュールが、前記エネルギーデバイスのうちの1つ以上および前記表示面のうちの1つ以上を含み、前記複数のLFディスプレイモジュールが、シームレスな表示面を形成する、複数のLFディスプレイモジュールをさらに備える、請求項1に記載のLFディスプレイシステム。
【請求項51】
前記シームレスな表示面の表面積が、単一のLFディスプレイモジュールの前記表示面の表面積よりも大きい、請求項50に記載のLFディスプレイシステム。
【請求項52】
ライトフィールド(LF)ディスプレイシステムであって、
ライトフィールドディスプレイアセンブリによって表示するためのホログラフィックコンテンツを生成するように構成された処理エンジンと、
ライトフィールドディスプレイアセンブリであって、
前記処理エンジンから受信された前記ホログラフィックコンテンツを生成するように構成された1つ以上のエネルギーデバイスと、
複数の表示面位置であって、各表面位置が、前記ホログラフィックコンテンツの一部を投影するように構成されており、前記複数の表示面位置が、
前記ホログラフィックコンテンツの第1の部分を元の投影角度に対する偏向角で投影するように構成された前記表示面位置の第1のサブセット、を備える、複数の表示面位置と、を備える、ライトフィールドディスプレイアセンブリと、を備える、ライトフィールド(LF)ディスプレイシステム。
【請求項53】
前記偏向角が、表示面位置の前記第1のサブセットから投影されたホログラフィックコンテンツの前記部分の複数の投影経路の尺度である、請求項52に記載のLFディスプレイシステム。
【請求項54】
前記偏向角が、表示面位置の前記第1のサブセットから投影されたホログラフィックコンテンツの前記部分の複数の投影経路の平均偏向である、請求項52に記載のLFディスプレイシステム。
【請求項55】
前記偏向角が、表示面位置の前記第1のサブセットから投影されたホログラフィックコンテンツの前記部分の前記投影経路の中央値偏向である、請求項52に記載のLFディスプレイシステム。
【請求項56】
前記偏向角が、前記偏向角で偏向された前記ホログラフィックコンテンツの前記部分について実質的に非ゼロである、請求項52に記載のLFディスプレイシステム。
【請求項57】
前記偏向角が、ホログラフィックコンテンツの前記部分を投影する残りの表示面位置の光軸に対する、ホログラフィックコンテンツの前記部分の前記複数の投影経路の光軸の角度である、請求項52に記載のLFディスプレイシステム。
【請求項58】
各表示面位置の前記光軸が、前記表示面位置から投影された前記ホログラフィックコンテンツの複数の投影経路の対称軸である、請求項57に記載のLFディスプレイシステム。
【請求項59】
前記元の投影角度が、前記ライトフィールドディスプレイアセンブリの表面の法線である、請求項52に記載のLFディスプレイシステム。
【請求項60】
前記元の投影角度が、表示面位置の前記第1のサブセット以外の前記複数の表示面位置から投影された前記ホログラフィックコンテンツの複数の投影経路の尺度である、請求項52に記載のLFディスプレイシステム。
【請求項61】
前記元の投影角度が、前記LFディスプレイアセンブリの表示面の法線である、請求項52に記載のLFディスプレイシステム。
【請求項62】
前記元の投影角度が、前記表示面位置の前記第1のサブセット以外の前記表示面位置の前記光軸の角度である、請求項52に記載のLFディスプレイシステム。
【請求項63】
前記偏向角が、前記ライトフィールドディスプレイアセンブリ上の表示面位置の前記第1のサブセットの位置に基づく、請求項52に記載のLFディスプレイシステム。
【請求項64】
前記偏向角が、前記LFディスプレイアセンブリの表示面にわたって実質的に連続的に変化する、請求項52に記載のLFディスプレイシステム。
【請求項65】
前記表示面位置の前記第1のサブセットによって投影されたホログラフィックコンテンツの前記第1の部分が、前記聴衆に向かって偏向角で投影される、請求項52に記載のLFディスプレイシステム。
【請求項66】
ホログラフィックコンテンツの前記第1の部分が、ホログラフィックコンテンツの前記第1の部分が第1の視野から視聴可能であるように、前記元の投影角度に対して前記偏向角で投影され、
前記元の投影角度で投影されたホログラフィックコンテンツが、第2の視野から視聴可能である、請求項52に記載のLFディスプレイシステム。
【請求項67】
前記第1の視野および前記第2の視野が実質的に異なる、請求項66に記載のLFディスプレイシステム。
【請求項68】
ホログラフィックコンテンツの前記第1の部分を前記偏向で投影することにより、
平面視野よりも広い視野と、
少なくとも、平面閾値分離よりもシームレスな表示面に近い前記聴衆のビューイングボリュームと、
平面閾値近接度よりも前記ビューイングボリュームに近い少なくとも1つのホログラフィックオブジェクトと、のうちの少なくとも1つがもたらされる、請求項1に記載のLFディスプレイシステム。
【請求項69】
前記複数の表示面位置が、
前記ホログラフィックコンテンツの第2の部分を前記元の投影角度に対する追加の偏向角で投影するように構成された前記表示面位置の第2のサブセット、をさらに備える、請求項52に記載のLFディスプレイシステム。
【請求項70】
表示面位置の前記第2のサブセットが、ホログラフィックコンテンツの前記第2の部分を、第2の視野から視聴可能であるように投影し、ホログラフィックコンテンツの前記第1の部分が、第1の視野から視聴可能である、請求項69に記載のLFディスプレイシステム。
【請求項71】
前記第1の視野および前記第2の視野が異なる、請求項70に記載のLFディスプレイシステム。
【請求項72】
前記第1の視野および前記第2の視野が、実質的に類似している、請求項70に記載のLFディスプレイシステム。
【請求項73】
前記偏向角が、前記追加の偏向角とは異なる、請求項69に記載のLFディスプレイシステム。
【請求項74】
前記複数の表示面位置を備える表示面をさらに備え、前記表示面が、
前記聴衆に実質的に面して配置された中央面、前記中央面、垂直面、
前記垂直面に対してある角度で前記中心面に隣接して配置された1つ以上の側面、をさらに備え、
前記中央面および前記1つ以上の側面が、前記表示面の少なくとも一部を含む、請求項52に記載のLFディスプレイシステム。
【請求項75】
前記垂直面が、水平軸および垂直軸を有し、前記サイドパネルが、前記水平軸に沿って前記中央パネルに隣接している、請求項74に記載のLFディスプレイシステム。
【請求項76】
前記垂直面が、水平軸および垂直軸を有し、前記サイドパネルが、前記垂直軸に沿って前記中央パネルに隣接している、請求項74に記載のLFディスプレイシステム。
【請求項77】
前記偏向角が、前記中心面および前記1つ以上の側面のうちの少なくとも1つから投影された前記ホログラフィックコンテンツの前記部分に適用される、74に記載のLFディスプレイシステム請求項。
【請求項78】
前記1つ以上の側面をある角度で配置することにより、
平面視野よりも広い前記聴衆の視野と、
平面閾値分離よりも前記シームレスな表示面に近い前記聴衆の少なくとも1つのビューイングボリュームと、
平面閾値近接度よりも前記ビューイングボリュームに近い少なくとも1つのホログラフィックオブジェクトと、のうちの少なくとも1つが達成される、74に記載の請求項。
【請求項79】
複数の光学要素を含む光学システムであって、前記複数の光学要素が、前記偏向角で偏向された前記ホログラフィックコンテンツの前記第1の部分について、前記元の投影角度で投影されたホログラフィックコンテンツの前記第1の部分を前記偏向角に向け直すように構成されている、光学システム、をさらに備える、請求項52に記載のLFディスプレイシステム。
【請求項80】
前記光学システムが、前記LFディスプレイシステムに結合されている、請求項79に記載のLFディスプレイシステム。
【請求項81】
前記エネルギーデバイスによって生成された前記ホログラフィックコンテンツを前記複数のエネルギー面位置から表示面に中継するように構成された複数の導波路をさらに備える、請求項1に記載のLFディスプレイシステム。
【請求項82】
LFディスプレイシステムであって、
ネットワーク接続を介してホログラフィックコンテンツを受信するように構成されたネットワークインターフェースであって、前記ホログラフィックコンテンツが、電磁エネルギーとして聴衆に表示するためのものである、ネットワークインターフェースと、
ライトフィールドディスプレイアセンブリであって、
ホログラフィックコンテンツを投影するように構成された1つ以上の表示面と、
前記ネットワークインターフェースからホログラフィックコンテンツを受信し、前記電磁エネルギーを生成して、前記表示面を介してホログラフィックコンテンツとして聴衆に投影するように構成された1つ以上のエネルギーデバイスと、を備える、ライトフィールドディスプレイアセンブリと、を備える、LFディスプレイシステム。
【請求項83】
前記ホログラフィックコンテンツを前記LFディスプレイアセンブリによって提示可能なフォーマットに復号化するように構成されたデコーダをさらに備える、請求項82に記載のLFディスプレイシステム。
【請求項84】
コンピュータ命令を記憶するプロセッサをさらに備え、前記コンピュータ命令が、実行されると、前記プロセッサに、
前記ネットワークインターフェースを介して前記ネットワーク接続からホログラフィックコンテンツを第1のフォーマットで受信することと、
前記第1のフォーマットの前記ホログラフィックデータを第2のフォーマットのホログラフィックコンテンツに復号化することと、を行わせる、請求項82に記載のLFディスプレイシステム。
【請求項85】
前記第1のフォーマットが、ベクトル化されたデータフォーマットであり、前記第2のフォーマットが、ラスタライズされたデータフォーマットである、請求項84に記載のLFディスプレイシステム。
【請求項86】
前記コンピュータ命令が、実行されると、前記プロセッサに、
前記LFディスプレイシステムのハードウェア構成を決定することと、
前記ハードウェア構成に基づいて、前記ホログラフィックコンテンツを前記第2のフォーマットに復号化することと、をさらに行わせる、請求項84に記載のLFディスプレイシステム。
【請求項87】
前記コンピュータ命令は、実行されると、前記プロセッサに、
前記映画館のレイアウトを決定することと、
前記映画館の前記レイアウトに基づいて、前記ホログラフィックコンテンツを前記第2のフォーマットに復号化することと、をさらに行わせる、請求項84に記載のLFディスプレイシステム。
【請求項88】
前記コンピュータ命令は、実行されると、前記プロセッサをさらに引き起こす、
前記LFディスプレイアセンブリの構成を決定する、前記構成は、
解像度、
1度あたりの角度、
視野、および
表示領域、のいずれかを含む、請求項84に記載のLFディスプレイシステム。
【請求項89】
前記ネットワークを介して受信されたホログラフィックコンテンツの前記デジタル権利を管理するように構成された権利管理モジュールをさらに備え、前記デジタル権利管理モジュールにより、前記LFディスプレイアセンブリは、前記権利管理モジュールがデジタルキーを有するホログラフィックコンテンツを投影できる、請求項82に記載のLFディスプレイシステム。
【請求項90】
前記ホログラフィックコンテンツが、前記ネットワークを介して前記LFディスプレイシステムに接続されたホログラフィックコンテンツリポジトリから受信される、請求項82に記載のLFディスプレイシステム。
【請求項91】
前記LFディスプレイシステムが、前記ホログラフィックコンテンツの支払いを、前記ネットワークを介して前記ホログラフィックコンテンツリポジトリに送信したことに応答して、前記ホログラフィックコンテンツが前記ホログラフィックコンテンツリポジトリから受信される、請求項90に記載のLFディスプレイシステム。
【請求項92】
前記ホログラフィックコンテンツは、ホログラフィックコンテンツ生成システムから受信され、ホログラフィックコンテンツ生成システムは、
ライブパフォーマンスを記録することと、
前記ライブパフォーマンスの前記記録をホログラフィックコンテンツに変換することと、
変換されたホログラフィックコンテンツを、前記ネットワークを介してLFディスプレイシステムに送信することと、を行うように構成されている、請求項82に記載のLFディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、国際出願第PCT/US2017/042275号、同第PCT/US2017/042276号、同第PCT/US2017/042418号、同第PCT/US2017/042452号、同第PCT/US2017/042462号、同第PCT/US2017/042466号、同第PCT/US2017/042467号、同第PCT/US2017/042468号、同第PCT/US2017/042469号、同第PCT/US2017/042414号、および同第PCT/US2017/042679号に関連し、これらはすべて、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
本開示は、映画館でのフィルムの提示に関するものであり、特に、映画館でフィルムを表示するためのライトフィールドディスプレイシステムに関する。
【0003】
伝統的に、映画館は、映画館に参加する視聴者が二次元の劇場スクリーンでフィルムを視聴することができるように構成されている。残念ながら、フィルムのコンテンツを制限すること、2つ、二次元の劇場スクリーンは、没入型視聴体験とは言えない。高度なディスプレイ技術(例えば、3D、拡張現実など)で拡張された劇場でさえ、視聴体験が損なわれ、不十分な点が多い可能性がある。例えば、これらのシステムを備えた劇場では、視聴者は、追加のメガネを着用する必要があり、視聴者は、フィルムの提示方法にうんざりしたり、高度な技術を使用するとフィルムの品質が低下したりする可能性がある。したがって、全体的な体験を損なうことなく、フィルムを視聴する視聴者の視聴体験を増強するように構成された映画館は有益であろう。
【発明の概要】
【0004】
本開示は、フィルムのホログラフィックコンテンツ、または従来のフィルムを増強するホログラフィックコンテンツを映画館で表示するためのライトフィールド(LF)表示システムについて説明する。LFディスプレイシステムは、映画館の表面(例えば、壁)を形成するLFディスプレイモジュールを含み、LFディスプレイモジュールは各々、表示領域を有し、LFディスプレイモジュールは、個々のLFディスプレイモジュールの表示領域よりも大きい効果的な表示領域を有するシームレスな表示面を形成するために一緒にタイル張りされる。LFディスプレイモジュールは、映画館の視聴者がホログラフィックコンテンツを知覚できるように、ホログラフィックオブジェクトボリュームにホログラフィックコンテンツを表示する。
【0005】
ホログラフィックコンテンツは、LFフィルム生成システム、LF処理エンジン、または映画館で表示するためのホログラフィックコンテンツを作成することができる他の任意のシステムによって作成することができる。ホログラフィックコンテンツは、ホログラフィックコンテンツのデジタル権利の管理を担当するネットワークシステムによって管理することができる。
【0006】
LFディスプレイエンジンは、ホログラフィックコンテンツをホログラフィックオブジェクトボリュームに提示する。ホログラフィックオブジェクトボリュームは、映画館の任意の場所にあり得る。例えば、ホログラフィックビューイングボリュームは、映画館の視聴者の頭の上、映画館の壁、または映画館の「後ろ」の壁にあってもよい。LFディスプレイシステムは、特定のホログラフィックコンテンツをあるビューイングボリュームで視聴者に表示し、異なるまたは追加のホログラフィックコンテンツを別のビューイングボリュームで視聴者に表示することができる。ホログラフィックコンテンツは、フィルムが劇場で上映される前、最中、および/または後に表示することができる。
【0007】
いくつかの実施形態では、LFディスプレイシステムは、追跡システムおよび/または視聴者プロファイリングモジュールを含む。追跡システムおよび視聴者プロファイリングシステムは、会場内の視聴者の特性、視聴者を説明する視聴者プロファイル、および/または会場内のホログラフィックコンテンツに対する視聴者の応答を監視および記憶することができる。会場に表示するために作成されたホログラフィックコンテンツは、監視または記憶された情報のいずれかに基づき得る。
【0008】
いくつかの実施形態では、ユーザは、ホログラフィックコンテンツとインタラクションすることができ、インタラクションは、LF処理エンジンの入力の機能を果たすことができる。例えば、いくつかの実施形態では、LFディスプレイシステムの一部またはすべては、複数の超音波スピーカを含む。複数の超音波スピーカは、ホログラフィックコンテンツの少なくとも一部分と一致する触覚表面を生成するように構成される。追跡システムは、(例えば、LFディスプレイモジュールの画像センサおよび/またはいくつかの他のカメラによってキャプチャされた画像を介して)ユーザのホログラフィックオブジェクトとのインタラクションを追跡するように構成されている。そして、LFディスプレイシステムは、インタラクションに基づいて、ホログラフィックコンテンツを作成して提供するように構成されている。
【図面の簡単な説明】
【0009】
【
図1】1つ以上の実施形態による、ホログラフィックオブジェクトを提示するライトフィールドディスプレイモジュールの図である。
【
図2A】1つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部の断面である。
【
図2B】1つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部の断面である。
【
図3A】1つ以上の実施形態による、ライトフィールドディスプレイモジュールの斜視図である。
【
図3B】1つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むライトフィールドディスプレイモジュールの断面図である。
【
図4A】1つ以上の実施形態による、単一面シームレス表面環境を形成するために二次元にタイル張りされたライトフィールドディスプレイシステムの一部の斜視図である。
【
図4B】1つ以上の実施形態による、多面シームレス表面環境におけるライトフィールドディスプレイシステムの一部の斜視図である。
【
図4C】1つ以上の実施形態による、ウィング型構成の集合表面を有するライトフィールドディスプレイシステムの上面図である。
【
図4D】1つ以上の実施形態による、傾斜構成の集合表面を有するライトフィールドディスプレイシステムの側面図である。
【
図4E】1つ以上の実施形態による、部屋の前壁に集合表面を有するライトフィールドディスプレイシステムの上面図である。
【
図4F】1つ以上の実施形態による、部屋の前壁に集合表面を有するLFディスプレイシステムの側面図の側面図である。
【
図5A】1つ以上の実施形態による、ライトフィールドディスプレイシステムのブロック図である。
【
図5B】1つ以上の実施形態による、例示的なLFフィルムネットワーク550を示す。
【
図6A】1つ以上の実施形態による、ライトフィールドディスプレイシステムを含む映画館の側面図である。
【
図6B】1つ以上の実施形態による、ライトフィールドディスプレイシステムを含む映画館の側面図である。
【
図7A】1つ以上の実施形態による、ライトフィールドディスプレイシステムを含む映画館の斜視図である。
【
図7B】1つ以上の実施形態による、ホログラフィックコンテンツを表示しているライトフィールドディスプレイシステムを含む映画館の斜視図である。
【
図8】1つ以上の実施形態による、ホログラフィックコンテンツを提示するライトフィールドディスプレイシステムを含む映画館の斜視図である。
【
図9A】1つ以上の実施形態による、映画館の正面の視聴場所のグループに提示されるホログラフィックコンテンツを示すライトフィールドディスプレイシステムを含む映画館の斜視図である。
【
図9B】1つ以上の実施形態による、映画館の後方の視聴場所のグループに提示されるホログラフィックコンテンツを示すLFディスプレイシステムを含む映画館の斜視図である。
【
図10】1つ以上の実施形態による、LFフィルム配給ネットワーク内のフィルムのホログラフィックコンテンツを表示するための方法を示す流れ図である。
【0010】
これらの図は、例示のみを目的として、本発明の様々な実施形態を示す。当業者は、以下の考察から、本明細書において例示される構造および方法の代替の実施形態が、本明細書に記載される本発明の原理から逸脱することなく採用され得ることを容易に認識するであろう。」
【発明を実施するための形態】
【0011】
概要
ライトフィールド(LF)ディスプレイシステムが映画館に実装されている。LFディスプレイシステムは、視聴者にフィルムを表示するように構成されている。LFディスプレイシステムは、LFディスプレイシステムのビューイングボリューム内の1人以上の視聴者に見えるであろう1つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたLFディスプレイアセンブリを備える。LFディスプレイアセンブリは、映画館の1つ以上の表面(例えば、壁)の一部またはすべてにわたって、多面シームレス表面を形成することができる。一般に、視聴者は、映画館でのフィルムの上映に参加する人であるが、ホログラフィックコンテンツを視聴することができる映画館内の人であれば誰でもかまわない。
【0012】
LFディスプレイシステムによって提示されるホログラフィックコンテンツはまた、他の感覚刺激(例えば、触覚および/または音声)によって増強され得る。例えば、LFディスプレイシステムの超音波源は、体積触覚投影を作成する超音波圧力波を投影する場合がある。体積触覚投影は、投影されるホログラフィックオブジェクトの一部またはすべてに対応する触覚表面を提供する。ホログラフィックコンテンツは、追加のビジュアルコンテンツ(すなわち、2Dまたは3Dビジュアルコンテンツ)も含み得る。一体感のある体験を可能にするエネルギー源の調整は、複数のエネルギー源(すなわち、任意の時点で正しい触覚および感覚刺激を提供するホログラフィックオブジェクト)を使用した実装のLFシステムの一部である。例えば、LFシステムは、ホログラフィックコンテンツおよび触覚表面の提示を調整するためのコントローラを含み得る。
【0013】
いくつかの実施形態では、LFディスプレイシステムは、システムが、少なくとも1つのタイプのエネルギーを投影し、それと同時に、少なくとも1つのタイプのエネルギーを感知することを可能にする要素を含み得る。感知されたエネルギーは、視聴者がホログラフィックコンテンツにどのように応答するかを記録するために使用される場合がある。例えば、LFディスプレイシステムは、視聴するためのホログラフィックオブジェクトと触覚知覚のための超音波の両方を投影し、それと同時に、視聴者の追跡および他のシーン分析のための画像情報を記録することができる。一例として、そのようなシステムは、フィルムのパレード中にホログラフィックティッカーテープを投影し、ティッカーテープが視聴者の頭に事実上「着地」すると、ティッカーテープは、視聴者に、ティッカーテープが頭に着陸しているかのような錯覚を与え得る。環境のエネルギー感知を実行するLFディスプレイシステム構成要素は、表示面に統合することも、表示面とは別の専用センサにすることもできる。
【0014】
いくつかの実施形態では、LFディスプレイシステムは、映画館の表面を形成する複数のLFディスプレイモジュールを含む。表面は、例えば、映画館の壁および/または天井を覆い得る。表面を形成するLFディスプレイモジュールは、フィルムのホログラフィックコンテンツを投影するように構成することができる。例えば、映画館の視聴者が視聴できるように、プロジェクタが劇場スクリーンにフィルムを投影するのではなく、LFディスプレイモジュールは、映画館の視聴者が視聴できるようにフィルムを提示することができる。
【0015】
フィルムのホログラフィックコンテンツを表示するLFディスプレイモジュールは、現実と区別するのが難しいリアリズムの体験を提供する場合がある。例えば、LFディスプレイモジュールを使用してフィルムのホログラフィックコンテンツを視聴するとき、視聴者は、ホログラフィックコンテンツを視聴するために、3Dメガネまたは任意の他のヘッドギアを着用する必要はない。さらに、LFディスプレイモジュールによって提示されるホログラフィックコンテンツは、視聴者の行動(例えば、ジェスチャ、眼球運動など)に応答することができ、視聴者は、LFディスプレイモジュールによって提示されるホログラフィックコンテンツに触れることができ得る。
【0016】
代替的または追加的に、いくつかの実施形態では、LFディスプレイモジュールは、フィルムを増強するホログラフィックコンテンツを提示するように構成され得る。例えば、LFディスプレイモジュールは、映画館の視聴者がフィルムと増強ホログラフィックコンテンツの両方を同時に知覚できるように、提示されているフィルムと同時に映画館にホログラフィックコンテンツを提示することができる。ここでは、ホログラフィックコンテンツをフィルムと同時に表示するLFディスプレイモジュールのセットは、劇場の雰囲気を高め、フィルムに追加のコンテンツを提供する。より一般的には、映画館のLFディスプレイシステムは、LFディスプレイシステムのない映画館と比較して、映画館の視聴者の視聴体験を向上させる。
【0017】
LFディスプレイシステムは、LFフィルム配給ネットワークの一部とすることができる。LFフィルム配給ネットワークにより、ホログラフィックコンテンツをある場所で記録および/または作成し、符号化して、別の場所に送信することができる。一旦受信されると、ホログラフィックコンテンツは、復号化され、映画館の視聴者にホログラフィックコンテンツとして表示され得る。ホログラフィックコンテンツは、フィルム自体、またはフィルムを増強するホログラフィックコンテンツであり得る。LFフィルム配給ネットワークにより、ホログラフィックコンテンツを複数の映画館に配給できる。いくつかの実施形態では、LFディスプレイシステムは、フィルムおよび/またはホログラフィックコンテンツのデジタル権利を管理するネットワークシステムを含む。
【0018】
ライトフィールドディスプレイシステム
図1は、1つ以上の実施形態による、ホログラフィックオブジェクト120を提示するライトフィールド(LF)ディスプレイモジュール110の
図100である。LFディスプレイモジュール110は、ライトフィールド(LF)ディスプレイシステムの一部である。LFディスプレイシステムは、1つ以上のLFディスプレイモジュールを使用して、少なくとも1つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。LFディスプレイシステムは、1人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、LFディスプレイシステムはまた、他の感覚コンテンツ(例えば、タッチ、音声、匂い、温度など)でホログラフィックコンテンツを増強することができる。例えば、以下で論じられるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成することができる。LFディスプレイシステムは、1つ以上のLFディスプレイモジュール110を含んでおり、
図2~
図5に関して以下で詳細に説明される。
【0019】
LFディスプレイモジュール110は、ホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト120)を1人以上の視聴者(例えば、視聴者140)に提示するホログラフィックディスプレイである。LFディスプレイモジュール110は、エネルギーデバイス層(例えば、発光電子ディスプレイまたは音響投影デバイス)と、エネルギー導波路層(例えば、光学レンズアレイ)と、を含む。追加的に、LFディスプレイモジュール110は、複数のエネルギー源または検出器を一緒に組み合わせて単一の表面を形成するために、エネルギーリレー層を含み得る。高レベルでは、エネルギーデバイス層は、エネルギー(例えば、ホログラフィックコンテンツ)を生成し、このエネルギーは次に、エネルギー導波路層を使用して、1つ以上の四次元(4D)ライトフィールド関数に従って空間内の領域に指向される。LFディスプレイモジュール110はまた、1つ以上のタイプのエネルギーを同時に投影および/または感知することができる。例えば、LFディスプレイモジュール110は、ホログラフィック画像ならびに超音波触覚表面をビューイングボリューム内に投影することができ得る一方、同時に、ビューイングボリュームからの画像データを検出する。LFディスプレイモジュール110の操作は、
図2~
図3に関して以下でより詳細に説明される。
【0020】
LFディスプレイモジュール110は、(例えば、プレノプティック関数から導出される)1つ以上の4Dライトフィールド関数を使用して、ホログラフィックオブジェクトボリューム160内にホログラフィックオブジェクトを生成する。ホログラフィックオブジェクトは、三次元(3D)、二次元(2D)、またはそれらの何らかの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色(例えば、フルカラー)であり得る。ホログラフィックオブジェクトは、スクリーン平面の前、スクリーン平面の後ろに投影されるか、またはスクリーン平面によって分割されてもよい。ホログラフィックオブジェクト120は、ホログラフィックオブジェクトボリューム160内のどこでも知覚されるように提示され得る。ホログラフィックオブジェクトボリューム160内のホログラフィックオブジェクトは、視聴者140には、空間に浮かんでいるように見えることがある。
【0021】
ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが視聴者140によって知覚され得るボリュームを表す。ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが表示領域150の平面の前に提示され得るように、表示領域150の表面の前に(すなわち、視聴者140に向かって)延在し得る。追加的に、ホログラフィックオブジェクトボリューム160は、表示領域150の平面の後ろに(すなわち、視聴者140から離れる方向に)延在し得、ホログラフィックオブジェクトが、表示領域150の平面の後ろにあるかのように提示されることを可能にする。言い換えれば、ホログラフィックオブジェクトボリューム160は、表示領域150から発生し(例えば、投影され)、収束してホログラフィックオブジェクトを作成し得るすべての光線を含むことができる。ここで、光線は、表示面の前、表示面、または表示面の後ろにある点に収束し得る。より簡単に言えば、ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが視聴者によって知覚され得るすべてのボリュームを包含する。
【0022】
ビューイングボリューム130は、LFディスプレイシステムによってホログラフィックオブジェクトボリューム160内に提示されたホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト120)が完全に見える空間のボリュームである。ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム160内に提示され、実際のオブジェクトと区別できないように、ビューイングボリューム130内で見られ得る。ホログラフィックオブジェクトは、もしオブジェクトが物理的に存在した場合に、オブジェクトの表面から生成されるであろう光線と同じ光線を投影することによって形成される。
【0023】
場合によっては、ホログラフィックオブジェクトボリューム160および対応するビューイングボリューム130は、単一の視聴者用に設計されるように、比較的小さくあり得る。他の実施形態では、例えば、
図4、6、7、8、および9に関して以下で詳細に説明するように、LFディスプレイモジュールは、より大きなホログラフィックオブジェクトボリューム、および広範囲の視聴者(例えば、1人~数千人)を収容できる対応するビューイングボリュームを作成するために拡大および/またはタイル張りされ得る。本開示で提示されるLFディスプレイモジュールは、LFディスプレイの全表面が、非アクティブまたはデッドスペースがなく、ベゼルを必要としないホログラフィックイメージング光学系を含むように構築され得る。これらの実施形態では、LFディスプレイモジュールは、イメージングエリアがLFディスプレイモジュール間の継ぎ目をまたいで連続するようにタイル張りされ得、タイル張りされたモジュール間の接合ラインは、目の視力を使用して実質的に検出されない。特に、いくつかの構成では、表示面の一部は、本明細書では詳細に説明されていないが、ホログラフィックイメージング光学系を含まないことがある。
【0024】
ビューイングボリューム130の柔軟なサイズおよび/または形状は、視聴者がビューイングボリューム130内で制約を受けないことを可能にする。例えば、視聴者140は、ビューイングボリューム130内の異なる位置に移動し、対応する視点からホログラフィックオブジェクト120の異なるビューを見ることができる。例示のための、
図1を参照すると、視聴者140は、ホログラフィックオブジェクト120がイルカの真正面からのビューで見えるように、ホログラフィックオブジェクト120に対して第1の位置にある。視聴者140は、イルカの異なるビューを見るために、ホログラフィックオブジェクト120に対して他の位置に移動することができる。例えば、視聴者140は、視聴者140があたかも実際のイルカを見ていて、イルカの異なるビューを見るために、実際のイルカに対する視聴者の相対位置を変更するかのように、移動して、イルカの左側、イルカの右側などを見ることができる。いくつかの実施形態では、ホログラフィックオブジェクト120は、ホログラフィックオブジェクト120への遮るもののない(すなわち、オブジェクト/人によって遮られていない)視線を有する、ビューイングボリューム130内のすべての視聴者に見える。これらの視聴者は、異なる視点のホログラフィックオブジェクト120を見るために、ビューイングボリューム内を動き回ることができるように、制約されないでよい。したがって、LFディスプレイシステムは、複数の制約されない視聴者が、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示することができる。
【0025】
対照的に、従来のディスプレイ(例えば、立体視、仮想現実、拡張現実、または複合現実)では、一般に、各視聴者は、コンテンツを見るために、何らかの外部デバイス(例えば、3Dメガネ、ニアアイディスプレイ、またはヘッドマウントディスプレイ)を着用する必要がある。追加的および/または代替的に、従来のディスプレイでは、視聴者が特定の視聴位置に(例えば、ディスプレイに対して固定された位置を有する椅子に)拘束される必要があり得る。例えば、立体視ディスプレイによって表示されるオブジェクトを見る場合、視聴者は常に、オブジェクトではなく表示面に焦点を合わせ、ディスプレイは常に、知覚されたオブジェクトの周りを動き回ろうとする視聴者に追随するオブジェクトの2つのビューのみを提示し、そのオブジェクトの知覚に歪みを引き起こす。しかしながら、ライトフィールドディスプレイでは、LFディスプレイシステムによって提示されるホログラフィックオブジェクトの視聴者は、ホログラフィックオブジェクトを見るために、外部デバイスを着用する必要も、特定の位置に監禁される必要もない。LFディスプレイシステムは、特別なアイウェア、メガネ、またはヘッドマウントアクセサリを要することなく、物理的なオブジェクトが視聴者に見えるのとほぼ同じように視聴者に見える方法で、ホログラフィックオブジェクトを提示する。さらに、視聴者は、ビューイングボリューム内の任意の位置からホログラフィックコンテンツを見ることができる。
【0026】
特に、ホログラフィックオブジェクトボリューム160内のホログラフィックオブジェクトの潜在的な位置は、ボリュームのサイズによって制限される。ホログラフィックオブジェクトボリューム160のサイズを大きくするために、LFディスプレイモジュール110の表示領域150のサイズを大きくしてもよく、および/または複数のLFディスプレイモジュールを、シームレスな表示面を形成するように一緒にタイル張りしてもよい。シームレスな表示面は、個々のLFディスプレイモジュールの表示領域よりも大きい有効表示領域を有する。LFディスプレイモジュールのタイル張りに関連するいくつかの実施形態が、
図4、および
図6~
図9に関して以下で説明される。
図1に例示されるように、表示領域150は矩形であり、ピラミッド形であるホログラフィックオブジェクトボリューム160をもたらす。他の実施形態では、表示領域は、対応するビューイングボリュームの形状にも影響を与える何らかの他の形状(例えば、六角形)を有し得る。
【0027】
追加的に、上記の考察は、LFディスプレイモジュール110と視聴者140との間にあるホログラフィックオブジェクトボリューム160の一部内にホログラフィックオブジェクト120を提示することに焦点を当てているが、LFディスプレイモジュール110は追加的に、表示領域150の平面の後ろのホログラフィックオブジェクトボリューム160にコンテンツを提示することができる。例えば、LFディスプレイモジュール110は、表示領域150を、ホログラフィックオブジェクト120が飛び出している海の表面であるように見せることができる。そして、表示されるコンテンツは、視聴者140が、表示された表面を通して、水中にいる海洋生物を見ることができるようなものであってもよい。さらに、LFディスプレイシステムは、表示領域150の平面の後ろおよび前を含む、ホログラフィックオブジェクトボリューム160の周りをシームレスに移動するコンテンツを生成することができる。
【0028】
図2Aは、1つ以上の実施形態による、LFディスプレイモジュール210の一部の断面200である。LFディスプレイモジュール210は、LFディスプレイモジュール110であってもよい。他の実施形態では、LFディスプレイモジュール210は、表示領域150とは異なる表示領域形状を有する別のLFディスプレイモジュールであってもよい。例示的な実施形態では、LFディスプレイモジュール210は、エネルギーデバイス層220、エネルギーリレー層230、およびエネルギー導波路層240を含む。LFディスプレイモジュール210のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。例えば、いくつかの実施形態では、LFディスプレイモジュール210は、エネルギーリレー層230を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
【0029】
本明細書に記載のディスプレイシステムは、実世界のオブジェクトを通常取り巻くエネルギーを複製するエネルギーの放出を提示する。ここで、放出されたエネルギーは、表示面上のすべての座標から特定の方向に指向される。言い換えれば、表示面上の様々な座標が、放出されたエネルギーの投影場所として機能する。表示面からの指向されたエネルギーは、多くのエネルギー線の収束を可能にし、それによって、ホログラフィックオブジェクトを作成することができる。例えば、可視光では、LFディスプレイは、ホログラフィックオブジェクトボリューム内の任意の点で収束し得る、投影位置からの極めて大きい数の光線を投影するため、それらの光線は、投影されているオブジェクトよりも遠くに位置する視聴者の視点からは、空間のこの領域に位置する実世界のオブジェクトの表面から来ているように見えるであろう。このように、LFディスプレイは、視聴者の視点からは、そのようなオブジェクトの表面から出たような反射光線を生成している。視聴者の視点は、任意の特定のホログラフィックオブジェクト上で変わり得、視聴者は、そのホログラフィックオブジェクトの異なるビューを見るであろう。
【0030】
エネルギーデバイス層220は、1つ以上の電子ディスプレイ(例えば、OLEDなどの発光ディスプレイ)と、本明細書に記載の1つ以上の他のエネルギー投影および/またはエネルギー受信デバイスと、を含む。1つ以上の電子ディスプレイは、(例えば、LFディスプレイシステムのコントローラからの)表示命令に従ってコンテンツを表示するように構成される。1つ以上の電子ディスプレイは、各々が個別に制御される強度を有する複数のピクセルを含む。発光LEDおよびOLEDディスプレイなど、多くのタイプの商用ディスプレイがLFディスプレイ内で使用され得る。
【0031】
エネルギーデバイス層220はまた、1つ以上の音響投影デバイスおよび/または1つ以上の音響受信デバイスを含むことができる。音響投影デバイスは、ホログラフィックオブジェクト250を補完する1つ以上の圧力波を生成する。生成される圧力波は、例えば、可聴、超音波、またはそれらの何らかの組み合わせであってもよい。超音波圧力波のアレイは、体積触覚のために(例えば、ホログラフィックオブジェクト250の表面において)使用され得る。可聴圧力波は、ホログラフィックオブジェクト250を補完し得る音声コンテンツ(例えば、没入型オーディオ)を提供するために使用される。例えば、ホログラフィックオブジェクト250がイルカであると仮定すると、1つ以上の音響投影デバイスを使用して、(1)視聴者がホログラフィックオブジェクト250にタッチすることができるように、イルカの表面と併置される触覚表面を生成し、(2)パチンと鳴る音、甲高い音、けたたましい鳴き声など、イルカが発生する音に対応する音声コンテンツを提供することができる。音響受信デバイス(例えば、マイクロフォンまたはマイクロフォンアレイ)は、LFディスプレイモジュール210の局所領域内の超音波および/または可聴圧力波を監視するように構成され得る。
【0032】
エネルギーデバイス層220はまた、1つ以上の画像センサを含むことができる。画像センサは、可視光帯の光に敏感であってもよく、場合によっては、他の帯域(例えば、赤外線)の光に敏感であってもよい。画像センサは、例えば、相補型金属酸化膜半導体(CMOS)アレイ、電荷結合デバイス(CCD)、光検出器のアレイ、光をキャプチャする何らかの他のセンサ、またはそれらの何らかの組み合わせであってもよい。LFディスプレイシステムは、視聴者の位置標定追跡のために、1つ以上の画像センサによってキャプチャされたデータを使用することができる。
【0033】
いくつかの構成では、エネルギーリレー層230は、エネルギーデバイス層220とエネルギー導波路層240との間でエネルギー(例えば、電磁エネルギー、機械的圧力波など)を中継する。エネルギーリレー層230は、1つ以上のエネルギーリレー素子260を含む。各エネルギーリレー素子は、第1の表面265と第2の表面270とを含み、2つの表面間でエネルギーを中継する。各エネルギーリレー素子の第1の表面265は、1つ以上のエネルギーデバイス(例えば、電子ディスプレイまたは音響投影デバイス)に結合され得る。エネルギーリレー素子は、例えば、ガラス、炭素、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの何らかの組み合わせで構成され得る。追加的に、いくつかの実施形態では、エネルギーリレー素子は、第1の表面265と第2の表面270との間を通過するエネルギーの倍率(増加または減少)を調整することができる。リレーが倍率を提供する場合、リレーは、テーパーと呼ばれる、接着されたテーパーリレーのアレイの形態をとり得、テーパーの一端の面積は、反対側の端よりも実質的に大きくなり得る。テーパーの大きい方の端は、一緒に張り合わされて、シームレスなエネルギー面275を形成することができる。1つの利点は、複数のディスプレイのベゼルなど、複数のエネルギー源の機械的エンベロープを収容するために、各テーパーの複数の小さな端にスペースが作成されることである。この余分のスペースにより、各エネルギー源が、小さいテーパー表面内にエネルギーを指向するアクティブ領域を有し、大きいシームレスなエネルギー面にリレーされる状態で、エネルギー源を小さなテーパー側に並べて配置することが可能になる。テーパーリレーを使用する別の利点は、テーパーの大きい端によって形成される、組み合わされたシームレスなエネルギー面には、非結像デッドスペースがないことである。境界やベゼルが存在しないため、シームレスなエネルギー面を一緒にタイル張りして、目の視力によると実質的に継ぎ目のない、より大きな表面を形成することができる。
【0034】
隣接するエネルギーリレー素子の第2の表面は、一緒になってエネルギー面275を形成する。いくつかの実施形態では、隣接するエネルギーリレー素子の縁間の分離は、例えば、20/40の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面275は、ビューイングボリューム285内の視聴者280の視点からは事実上シームレスである。
【0035】
いくつかの実施形態では、隣接するエネルギーリレー素子の第2の表面は、それらの間に継ぎ目が存在しないように、圧力、熱、および化学反応のうちの1つ以上を含み得る処理工程を用いて一緒に融合される。さらに、他の実施形態では、エネルギーリレー素子のアレイは、リレー材料の連続したブロックの片側を、各々がエネルギーを、小さなテーパー端部に取り付けられたエネルギーデバイスから、細分化されない大きな領域を有する単一の結合された表面内に輸送するように構成される、小さなテーパー端部のアレイに成形することによって形成される。
【0036】
いくつかの実施形態では、エネルギーリレー素子のうちの1つ以上は、エネルギー局在化を示し、表面265および270に実質的に垂直な長手方向のエネルギー輸送効率は、垂直横断面内の輸送効率よりもはるかに高く、エネルギー波が表面265と表面270の間を伝播するとき、エネルギー密度はこの横断面内で高度に局在化される。このエネルギーの局在化により、画像などのエネルギー分布が、解像度の大きな損失なしに、これらの表面間で効率的に中継されることが可能になる。
【0037】
エネルギー導波路層240は、エネルギー導波路層240内の導波路素子を使用して、エネルギーを、エネルギー面275上の位置(例えば、座標)から、表示面から外側のホログラフィックビューイングボリューム285内への特定のエネルギー伝搬経路内に指向する。エネルギー伝搬経路は、少なくとも導波路に対するエネルギー面の座標位置によって決定される2つの角度寸法によって画定される。導波路は、空間2D座標に関連付けられる。これらの4つの座標が一緒になって、四次元(4D)エネルギーフィールドを形成する。一例として、電磁エネルギーの場合、エネルギー導波路層240内の導波路素子は、光をシームレスなエネルギー面275上の位置から、ビューイングボリューム285を通る異なる伝搬方向に沿って指向する。様々な例において、光は、4Dライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム255内にホログラフィックオブジェクト250を形成する。
【0038】
エネルギー導波路層240内の各導波路素子は、例えば、1つ以上の要素で構成されるレンズレットであり得る。いくつかの構成では、レンズレットは、正レンズであり得る。正レンズは、球面、非球面、または自由形状の表面プロファイルを有し得る。追加的に、いくつかの実施形態では、導波路素子の一部またはすべては、1つ以上の追加の光学構成要素を含み得る。追加の光学構成要素は、例えば、バッフル、正レンズ、負レンズ、球面レンズ、非球面レンズ、自由形状レンズ、液晶レンズ、液体レンズ、屈折要素、回折要素、またはそれらの何らかの組み合わせなどのエネルギー抑制構造であり得る。いくつかの実施形態では、レンズレットおよび/または追加の光学構成要素のうちの少なくとも1つはまた、屈折力を動的に調整することができる。例えば、レンズレットは、液晶レンズまたは液体レンズであってもよい。表面プロファイルの動的調整、レンズレットおよび/または少なくとも1つの追加の光学構成要素は、導波路素子から投影される光の追加の方向制御を提供し得る。
【0039】
例示的な例では、LFディスプレイのホログラフィックオブジェクトボリューム255は、光線256および光線257によって形成される境界を有するが、他の光線によって形成され得る。ホログラフィックオブジェクトボリューム255は、エネルギー導波路層240の前(すなわち、視聴者280に向かって)およびその後ろ(すなわち、視聴者280から離れて)の両方に延在する連続したボリュームである。例示的な例では、光線256および光線257は、LFディスプレイモジュール210の反対の縁から、ユーザによって知覚され得る表示面277の法線に対して最大の角度で投影されるが、これらは他の投影光線であり得る。これらの光線は、ディスプレイの視野を画定し、したがって、ホログラフィックビューイングボリューム285の境界を画定する。場合によっては、これらの光線は、ディスプレイ全体がケラレなしで観察され得るホログラフィックビューイングボリューム(例えば、理想的なビューイングボリューム)を画定する。ディスプレイの視野が広がると、光線256と光線257の収束点がディスプレイにより近くなる。したがって、より広い視野を有するディスプレイは、視聴者280がより近い視距離でディスプレイ全体を見ることを可能にする。追加的に、光線256および257は、理想的なホログラフィックオブジェクトボリュームを形成し得る。理想的なホログラフィックオブジェクトボリューム内に提示されるホログラフィックオブジェクトは、ビューイングボリューム285内のどこでも見られ得る。
【0040】
いくつかの例では、ホログラフィックオブジェクトは、ビューイングボリューム285の一部にのみ提示され得る。言い換えれば、ホログラフィックオブジェクトボリュームは、任意の数のビューイングサブボリューム(例えば、ビューイングサブボリューム290)に分割され得る。追加的に、ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム255の外側に投影され得る。例えば、ホログラフィックオブジェクト251は、ホログラフィックオブジェクトボリューム255の外側に提示される。ホログラフィックオブジェクト251は、ホログラフィックオブジェクトボリューム255の外側に提示されるので、ビューイングボリューム285内のすべての位置から見ることができるわけではない。例えば、ホログラフィックオブジェクト251は、ビューイングサブボリューム290内の位置からは見えるが、視聴者280の位置からは見えない可能性がある。
【0041】
例えば、異なるビューイングサブボリュームからホログラフィックコンテンツを見ることを例示するために、
図2Bに目を向ける。
図2Bは、1つ以上の実施形態による、LFディスプレイモジュールの一部の断面200を例示する。
図2Bの断面は、
図2Aの断面と同じである。しかしながら、
図2Bは、LFディスプレイモジュール210から投影された異なる光線のセットを示している。光線256および光線257は、依然としてホログラフィックオブジェクトボリューム255およびビューイングボリューム285を形成する。しかしながら、示されるように、LFディスプレイモジュール210の頂部およびLFディスプレイモジュール210の底部から投影された光線は重なり合って、ビューイングボリューム285内に様々なビューイングサブボリューム(例えば、ビューサブボリューム290A、290B、290C、および290D)を形成する。第1のビューイングサブボリューム(例えば、290A)内の視聴者は、他のビューイングサブボリューム(例えば、290B、290C、および290D)内の視聴者が知覚できない、ホログラフィックオブジェクトボリューム255内に提示されたホログラフィックコンテンツを知覚することができ得る。
【0042】
より簡単に言えば、
図2Aに例示されるように、ホログラフィックオブジェクトボリューム255は、ホログラフィックオブジェクトがビューイングボリューム285内の視聴者(例えば、視聴者280)によって知覚され得るように、ホログラフィックオブジェクトが、LFディスプレイシステムによって提示され得るボリュームである。このように、ビューイングボリューム285は、理想的なビューイングボリュームの一例であり、ホログラフィックオブジェクトボリューム255は、理想的なオブジェクトボリュームの一例である。しかしながら、様々な構成において、視聴者は、他の例示的なホログラフィックオブジェクトボリューム内にLFディスプレイシステム200によって提示されたホログラフィックオブジェクトを知覚することができる。より一般的には、LFディスプレイモジュールから投影されたホログラフィックコンテンツを見るときには「アイラインガイドライン」が適用される。アイラインガイドラインは、視聴者の目の位置と見られているホログラフィックオブジェクトとによって形成されるラインはLF表示面と交差しなければならないと主張する。
【0043】
LFディスプレイモジュール210によって提示されたホログラフィックコンテンツを見るとき、ホログラフィックコンテンツは4Dライトフィールド関数に従って提示されるので、視聴者280の各目は、異なる視点のホログラフィックオブジェクト250を見る。さらに、視聴者280がビューイングボリューム285内を移動するとき、視聴者は、ビューイングボリューム285内の他の視聴者が見るであろうような、異なる視点のホログラフィックオブジェクト250を見るであろう。当業者には理解されるように、4Dライトフィールド関数は当技術分野で既知であり、本明細書ではこれ以上詳しく説明しない。
【0044】
本明細書でより詳細に説明するように、いくつかの実施形態では、LFディスプレイは、2つ以上のタイプのエネルギーを投影することができる。例えば、LFディスプレイは、例えば、機械的エネルギーおよび電磁エネルギーなどの2つのタイプのエネルギーを投影することができる。この構成では、エネルギーリレー層230は、エネルギー面275で一緒にインターリーブされるが、エネルギーが2つの異なるエネルギーデバイス層220に中継されるように分離される2つの別個のエネルギーリレーを含み得る。ここで、一方のリレーは、電磁エネルギーを輸送するように構成され得、もう一方のリレーは、機械的エネルギーを輸送するように構成され得る。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層240上の電磁導波路素子間の位置から投影され得、光が一方の電磁導波路素子からもう一方の電磁導波路素子に輸送されるのを抑制する構造を形成するのに役立つ。いくつかの実施形態では、エネルギー導波路層240はまた、コントローラからの表示命令に従って、集束超音波を特定の伝搬経路に沿って輸送する導波路素子を含み得る。
【0045】
代替の実施形態(図示せず)では、LFディスプレイモジュール210はエネルギーリレー層230を含まないことに留意されたい。この場合、エネルギー面275は、エネルギーデバイス層220内の1つ以上の隣接する電子ディスプレイを使用して形成された出射面である。そして、エネルギーリレー層を有さないいくつかの実施形態では、隣接する電子ディスプレイの縁間の分離は、20/40の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面は、ビューイングボリューム285内の視聴者280の視点からは事実上シームレスである。
【0046】
LFディスプレイモジュール
図3Aは、1つ以上の実施形態による、LFディスプレイモジュール300Aの斜視図である。LFディスプレイモジュール300Aは、LFディスプレイモジュール110および/またはLFディスプレイモジュール210であり得る。他の実施形態では、LFディスプレイモジュール300Aは、何らかの他のLFディスプレイモジュールであってもよい。例示的な実施形態では、LFディスプレイモジュール300Aは、エネルギーデバイス層310、エネルギーリレー層320、およびエネルギー導波路層330を含む。LFディスプレイモジュール300Aは、本明細書で説明されるように、表示面365からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面365は、LFディスプレイモジュール300Aのフレーム390上に破線の輪郭として例示されているが、より正確には、フレーム390の内側リムによって境界される導波路素子の真正面の表面である。表示面365は、エネルギーが投影され得る複数の投影位置を含む。LFディスプレイモジュール300Aのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、LFディスプレイモジュール300Aは、エネルギーリレー層320を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
【0047】
エネルギーデバイス層310は、エネルギーデバイス層220の一実施形態である。エネルギーデバイス層310は、4つのエネルギーデバイス340を含む(図では3つが見える)。エネルギーデバイス340は、すべてが同じタイプ(例えば、すべてが電子ディスプレイ)であってよいか、または1つ以上の異なるタイプを含んでよい(例えば、電子ディスプレイと、少なくとも1つの音響エネルギーデバイスと、を含む)。
【0048】
エネルギーリレー層320は、エネルギーリレー層230の一実施形態である。エネルギーリレー層320は、4つのエネルギーリレーデバイス350を含む(図では3つが見える)。エネルギーリレーデバイス350は、すべてが同じタイプのエネルギー(例えば、光)を中継し得るか、または1つ以上の異なるタイプ(例えば、光および音)を中継し得る。リレーデバイス350の各々は、第1の表面と第2の表面とを含み、エネルギーリレーデバイス350の第2の表面は、単一のシームレスなエネルギー面360を形成するように配置される。例示的な実施形態では、エネルギーリレーデバイス350の各々は、第1の表面が第2の表面よりも小さい表面積を有するようにテーパー状になっており、これにより、テーパーの小さい方の端にエネルギーデバイス340の機械的エンベロープを収容することが可能になる。これにより、領域全体がエネルギーを投影し得るため、シームレスなエネルギー面が無境界であることが可能になる。これは、LFディスプレイモジュール300Aの複数の実例を、デッドスペースまたはベゼルなしに一緒に配置することによって、組み合わされた表面全体がシームレスであるように、このシームレスなエネルギー面がタイル張りされ得ることを意味する。他の実施形態では、第1の表面および第2の表面は同じ表面積を有する。
【0049】
エネルギー導波路層330は、エネルギー導波路層240の一実施形態である。エネルギー導波路層330は、複数の導波路素子370を含む。
図2に関して上記考察したように、エネルギー導波路層330は、ホログラフィックオブジェクトを形成するために、4Dライトフィールド関数に従って、エネルギーをシームレスなエネルギー面360から特定の伝搬経路に沿って指向するように構成されている。例示的な実施形態では、エネルギー導波路層330はフレーム390によって境界されることに留意されたい。他の実施形態では、フレーム390は存在しない、および/またはフレーム390の厚さが低減されている。フレーム390の厚さの除去または低減は、LFディスプレイモジュール300Aと追加のLFディスプレイモジュールとのタイリ張りを容易にし得る。
【0050】
例示的な実施形態では、シームレスなエネルギー面360およびエネルギー導波路層330は平面であることに留意されたい。図示されてない代替の実施形態では、シームレスなエネルギー面360およびエネルギー導波路層330は、1つ以上の次元で湾曲していてよい。
【0051】
LFディスプレイモジュール300Aは、シームレスなエネルギー面の表面上に存在する追加のエネルギー源を有して構成され得、ライトフィールドに加えてエネルギーフィールドの投影を可能にする。一実施形態では、音響エネルギーフィールドが、シームレスなエネルギー面360上の任意の数の位置に取り付けられた静電スピーカ(例示せず)から投影され得る。さらに、LFディスプレイモジュール300Aの静電スピーカは、デュアルエネルギー面がサウンドフィールドおよびホログラフィックコンテンツを同時に投影するように、ライトフィールドディスプレイモジュール300A内に位置付けられる。例えば、静電スピーカは、電磁エネルギーのいくつかの波長に対して透過性であり、1つ以上の導電性要素(例えば、1つ以上のダイアフラム要素を挟む平面)を用いて駆動される1つ以上のダイアフラム要素で形成され得る。静電スピーカは、ダイアフラム要素が導波路素子のいくつかを覆うように、シームレスなエネルギー面360に取り付けられてよい。スピーカの導電性電極は、電磁導波路間の光透過を抑制するように設計された構造体と併置されてよく、および/または電磁導波路素子間の位置(例えば、フレーム390)に位置してよい。様々な構成において、スピーカは、可聴音、および/または触覚表面を生み出す集束超音波エネルギーの多くのソースを投影することができる。
【0052】
いくつかの構成では、エネルギーデバイス340は、エネルギーを感知し得る。例えば、エネルギーデバイスは、マイクロフォン、光センサ、音響トランスデューサなどであり得る。したがって、エネルギーリレーデバイスは、シームレスなエネルギー面360からエネルギーデバイス層310にエネルギーを中継することもできる。すなわち、LFディスプレイモジュールのシームレスなエネルギー面360は、エネルギーデバイスおよびエネルギーリレーデバイス340が、エネルギーを放出すると同時に感知する(例えば、ライトフィールドを放出し、音を感知する)ように構成されるとき、双方向エネルギー面を形成する。
【0053】
より広義には、LFディスプレイモジュール340のエネルギーデバイス340は、エネルギー源またはエネルギーセンサのいずれかであり得る。LFディスプレイモジュール300Aは、高品質のホログラフィックコンテンツのユーザへの投影を容易にするために、エネルギー源および/またはエネルギーセンサとして機能する様々なタイプのエネルギーデバイスを含み得る。他のソースおよび/またはセンサとしては、サーマルセンサまたはソース、赤外線センサまたはソース、画像センサまたはソース、音響エネルギーを生成する機械的エネルギートランスデューサ、フィードバックソースなどが挙げられる。多くの他のセンサまたはソースが可能である。さらに、LFディスプレイモジュールが、大きな集合体のシームレスなエネルギー面から複数のタイプのエネルギーを投影および感知するアセンブリを形成し得るように、LFディスプレイモジュールはタイル張りされ得る。
【0054】
LFディスプレイモジュール300Aの様々な実施形態では、シームレスなエネルギー面360は、各表面部分が特定のタイプのエネルギーを投影および/または放出するように構成されている様々な表面部分を有し得る。例えば、シームレスなエネルギー面がデュアルエネルギー面である場合、シームレスエネルギー面360は、電磁エネルギーを投影する1つ以上の表面部分と、超音波エネルギーを投影する1つ以上の他の表面部分と、を含む。超音波エネルギーを投影する表面部分は、電磁導波路素子間のシームレスなエネルギー面360上に位置し得、および/または電磁導波路素子間の光透過を抑制するように設計された構造体と併置され得る。シームレスなエネルギー面が双方向エネルギー面である例では、エネルギーリレー層320は、シームレスなエネルギー面360でインターリーブされた2つのタイプのエネルギーリレーデバイスを含み得る。様々な実施形態では、シームレスなエネルギー面360は、任意の特定の導波路素子370の下の表面の部分が、すべてエネルギー源、すべてエネルギーセンサ、またはエネルギー源とエネルギーセンサの混在であるように構成され得る。
【0055】
図3Bは、1つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むLFディスプレイモジュール300Bの断面図である。エネルギーリレーデバイス350Aは、エネルギーデバイス340Aに接続されたエネルギーリレーの第1の表面345Aとシームレスなエネルギー面360との間でエネルギーを輸送する。エネルギーリレー350Bは、エネルギーデバイス340Bに接続されたエネルギーリレーの第1の表面345Bとシームレスなエネルギー面360との間でエネルギーを輸送する。両方のリレーデバイスは、シームレスなエネルギー面360に接続されたインターリーブされたエネルギーリレーデバイス352においてインターリーブされている。この構成では、表面360は、エネルギー源またはエネルギーセンサであり得るエネルギーデバイス340Aおよび340Bの両方のインターリーブされたエネルギー位置を含む。したがって、LFディスプレイモジュール300Bは、複数のタイプのエネルギーを投影するためのデュアルエネルギー投影デバイスとして、またはあるタイプのエネルギーを投影することと、別のタイプのエネルギーを感知することとを同時に行うための双方向エネルギーデバイスとしてのいずれかに構成され得る。LFディスプレイモジュール300Bは、LFディスプレイモジュール110および/またはLFディスプレイモジュール210であり得る。他の実施形態では、LFディスプレイモジュール300Bは、何らかの他のLFディスプレイモジュールであり得る。
【0056】
LFディスプレイモジュール300Bは、
図3AのLFディスプレイモジュール300Aのものと同様に構成されている多くの構成要素を含む。例えば、例示的な実施形態では、LFディスプレイモジュール300Bは、
図3Aに関して説明したものと少なくとも同じ機能を含むエネルギーデバイス層310、エネルギーリレー層320、シームレスなエネルギー面360、およびエネルギー導波路層330を含む。追加的に、LFディスプレイモジュール300Bは、表示面365からエネルギーを提示および/または受け取ることができる。特に、LFディスプレイモジュール300Bの構成要素は、
図3AのLFディスプレイモジュール300Aの構成要素とは異なって接続および/または配向されている。LFディスプレイモジュール300Bのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
図3Bは、より大きな面積を有するデュアルエネルギー投影表面または双方向エネルギー面を生み出すためにタイル張りされ得る単一のLFディスプレイモジュール300Bの設計を例示する。
【0057】
一実施形態では、LFディスプレイモジュール300Bは、双方向LFディスプレイシステムのLFディスプレイモジュールである。双方向LFディスプレイシステムは、同時に、エネルギーを投影し、表示面365からエネルギーを感知することができる。シームレスなエネルギー面360は、シームレスなエネルギー面360上で密接にインターリーブされたエネルギー投影位置とエネルギー感知位置との両方を含む。したがって、
図3Bの例では、エネルギーリレー層320は、
図3Aのエネルギーリレー層とは異なる様式で構成されている。便宜上、LFディスプレイモジュール300Bのエネルギーリレー層は、本明細書では「インターリーブエネルギーリレー層」と呼ばれる。
【0058】
インターリーブされたエネルギーリレー層320は、第1のエネルギーリレーデバイス350Aと第2のエネルギーリレーデバイス350Bとの2つの脚部を含む。脚部の各々は、
図3Bで薄い陰影の領域として例示されている。脚部の各々は、可撓性のリレー材料で作製され、様々なサイズおよび形状のエネルギーデバイスで使用するのに十分な長さで形成され得る。インターリーブされたエネルギーリレー層のいくつかの領域では、2つの脚部は、シームレスなエネルギー面360に近づくにつれて、一緒に緊密にインターリーブされる。例示的な例では、インターリーブされたエネルギーリレーデバイス352は、暗い陰影の領域として例示されている。
【0059】
シームレスなエネルギー面360でインターリーブされる一方、エネルギーリレーデバイスは、異なるエネルギーデバイスとの間でエネルギーを中継するように構成される。エネルギーデバイスは、エネルギーデバイス層310にある。例示のように、エネルギーデバイス340Aは、エネルギーリレーデバイス350Aに接続され、エネルギーデバイス340Bは、エネルギーリレーデバイス350Bに接続されている。様々な実施形態では、各エネルギーデバイスは、エネルギー源またはエネルギーセンサであり得る。
【0060】
エネルギー導波路層330は、エネルギー波をシームレスなエネルギー面360から、投影された経路に沿って、一連の収束点に向かって導くための導波路素子370を含む。この例では、ホログラフィックオブジェクト380が、一連の収束点に形成される。特に、例示のように、ホログラフィックオブジェクト380でのエネルギーの収束は、表示面365の視聴者側(すなわち、前側)で発生する。しかしながら、他の例では、エネルギーの収束は、表示面365の前および表示面365の後ろの両方に延在するホログラフィックオブジェクトボリューム内のどこであってもよい。導波路素子370は、以下に説明するように、入ってくるエネルギーをエネルギーデバイス(例えば、エネルギーセンサ)に同時に導くことができる。
【0061】
LFディスプレイモジュール300Bの例示的な一実施形態では、発光ディスプレイがエネルギー源(例えば、エネルギーデバイス340A)として使用され、画像センサがエネルギーセンサ(例えば、エネルギーデバイス340B)として使用される。このように、LFディスプレイモジュール300Bは、同時に、ホログラフィックコンテンツを投影し、表示面365の前のボリュームからの光を検出することができる。このように、LFディスプレイモジュール300Bのこの実施形態は、LFディスプレイおよびLFセンサの両方として機能する。
【0062】
一実施形態では、LFディスプレイモジュール300Bは、同時に、ライトフィールドを表示面上の投影位置から表示面の前に投影し、投影位置で、表示面の前からのライトフィールドをキャプチャするように構成される。この実施形態では、エネルギーリレーデバイス350Aは、導波路素子370の下に位置付けられたシームレスなエネルギー面360における位置の第1のセットをエネルギーデバイス340Aに接続する。一例では、エネルギーデバイス340Aは、ソースピクセルのアレイを有する発光ディスプレイである。エネルギーリレーデバイス340Bは、導波路素子370の下に位置付けられたシームレスなエネルギー面360における位置の第2のセットをエネルギーデバイス340Bに接続する。一例では、エネルギーデバイス340Bは、センサピクセルのアレイを有する画像センサである。LFディスプレイモジュール300Bは、特定の導波路素子370の下にあるシームレスなエネルギー面365における位置が、すべて発光ディスプレイ位置、すべて画像センサ位置、またはこれらの位置の何らかの組み合わせであるように構成され得る。他の実施形態では、双方向のエネルギー面は、様々な他の形態のエネルギーを投影および受信することができる。
【0063】
LFディスプレイモジュール300Bの別の例示的な実施形態では、LFディスプレイモジュールは、2つの異なるタイプのエネルギーを投影するように構成される。例えば、一実施形態では、エネルギーデバイス340Aは、電磁エネルギーを放出するように構成された発光ディスプレイであり、エネルギーデバイス340Bは、機械的エネルギーを放出するように構成された超音波トランスデューサである。そのため、光および音の両方が、シームレスなエネルギー面360における様々な位置から投影され得る。この構成では、エネルギーリレーデバイス350Aは、エネルギーデバイス340Aをシームレスなエネルギー面360に接続し、電磁エネルギーを中継する。エネルギーリレーデバイスは、電磁エネルギーの輸送を効率的にする(例えば、屈折率を変化させる)特性を有するように構成される。エネルギーリレーデバイス350Bは、エネルギーデバイス340Bをシームレスなエネルギー面360に接続し、機械的エネルギーを中継する。エネルギーリレーデバイス350Bは、超音波エネルギーの効率的な輸送のための特性を有するように構成される(例えば、異なる音響インピーダンスを有する材料の配分)。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層330上の導波路素子370間の位置から投影され得る。機械的エネルギーを投影する位置は、光が一方の電磁導波路素子から他方に輸送されるのを抑制する役割を果たす構造体を形成し得る。一例では、超音波の機械的エネルギーを投影する位置の空間的に分離されたアレイは、三次元触覚形状および表面を空中に作成するように構成することができる。表面は、投影されたホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト380)と一致し得る。いくつかの例では、アレイにわたる位相の遅延および振幅の変化は、触覚形状の作成を支援し得る。
【0064】
様々な実施形態では、インターリーブされたエネルギーリレーデバイスを有するLFディスプレイモジュール300Bは、各エネルギーデバイス層が特定のタイプのエネルギーデバイスを含んだ、複数のエネルギーデバイス層を含み得る。これらの例では、エネルギーリレー層は、シームレスなエネルギー面360とエネルギーデバイス層310との間で適切なタイプのエネルギーを中継するように構成される。
【0065】
タイル張りされたLFディスプレイモジュール
図4Aは、1つ以上の実施形態による、単一面シームレス表面環境を形成するために、二次元にタイル張りされたLFディスプレイシステム400の一部の斜視図である。LFディスプレイシステム400は、アレイ410を形成するようにタイル張りされた複数のLFディスプレイモジュールを含む。より明確には、アレイ410内の小さな正方形の各々が、タイル張りされたLFディスプレイモジュール412を表す。LFディスプレイモジュール412は、LFディスプレイモジュール300Aまたは300Bと同じであり得る。アレイ410は、例えば、部屋の表面(例えば、壁)の一部またはすべてを覆うことができる。LFアレイは、例えば、テーブルトップ、広告版、ロタンダなどの他の表面を覆うことができる。
【0066】
アレイ410は、1つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、アレイ410は、ホログラフィックオブジェクト420およびホログラフィックオブジェクト422を投影する。LFディスプレイモジュール412のタイル張りは、はるかに大きなビューイングボリュームを可能にするだけでなく、オブジェクトがアレイ410からより遠くに投影されることを可能にする。例えば、例示的な実施形態では、ビューイングボリュームは、LFディスプレイモジュール412の前(および後ろ)の局所的なボリュームではなく、アレイ410の前および後ろのほぼ全領域である。
【0067】
いくつかの実施形態では、LFディスプレイシステム400は、ホログラフィックオブジェクト420を視聴者430および視聴者434に提示する。視聴者430および視聴者434は、異なる視点のホログラフィックオブジェクト420を受け取る。例えば、視聴者430は、ホログラフィックオブジェクト420の真っ直ぐなビューを提示される一方、視聴者434は、ホログラフィックオブジェクト420のより斜めのビューを提示される。視聴者430および/または視聴者434が移動すると、これらの視聴者は、異なる視点のホログラフィックオブジェクト420を提示される。これにより、視聴者は、ホログラフィックオブジェクトに対して移動することにより、ホログラフィックオブジェクトと視覚的にインタラクションすることが可能になる。例えば、視聴者430がホログラフィックオブジェクト420の周りを歩くとき、ホログラフィックオブジェクト420がアレイ410のホログラフィックオブジェクトボリューム内に留まっている限り、視聴者430は、ホログラフィックオブジェクト420の異なる側面を見る。したがって、視聴者430および視聴者434は、あたかもホログラフィックオブジェクト420が実際にそこにあるかのように、実世界空間にホログラフィックオブジェクト420を同時に見ることができる。追加的に、ホログラフィックオブジェクト420は、物理的オブジェクトが見えるのとほぼ同じように視聴者に見えるので、視聴者430および視聴者434は、ホログラフィックオブジェクト420を見るために外部デバイスを着用する必要はない。追加的に、ここでは、アレイのビューイングボリュームがアレイの表面の後ろに延在するため、ホログラフィックオブジェクト422が、アレイの後ろに例示されている。このように、ホログラフィックオブジェクト422は、視聴者430および/または視聴者434に提示され得る。
【0068】
いくつかの実施形態では、LFディスプレイシステム400は、視聴者430および視聴者434の位置を追跡する追跡システムを含み得る。いくつかの実施形態では、追跡される位置は、視聴者の位置である。他の実施形態では、追跡される位置は、視聴者の目の位置である。目の位置追跡は、目がどこを見ているかを追跡する(例えば、配向を使用して視線位置を決定する)視線追跡とは異なる。視聴者430の目および視聴者434の目は、異なる位置にある。
【0069】
様々な構成では、LFディスプレイシステム400は、1つ以上の追跡システムを含み得る。例えば、
図4Aの例示的な実施形態では、LFディスプレイシステムは、アレイ410の外部にある追跡システム440を含む。ここで、追跡システムは、アレイ410に結合されたカメラシステムであり得る。外部追跡システムは、
図5Aに関してより詳細に説明される。他の例示的な実施形態では、追跡システムは、本明細書に記載されるように、アレイ410に組み込まれ得る。例えば、アレイ410に含まれる双方向エネルギー面を含む1つ以上のLFディスプレイモジュール412のエネルギーデバイス(例えば、エネルギーデバイス340)は、アレイ410の前の視聴者の画像をキャプチャするように構成され得る。いずれの場合でも、LFディスプレイシステム400の追跡システムは、アレイ410によって提示されたホログラフィックコンテンツを見ている視聴者(例えば、視聴者430および/または視聴者434)に関する追跡情報を決定する。
【0070】
追跡情報は、視聴者の位置、または視聴者の一部の位置(例えば、視聴者の片方または両方の目、もしくは視聴者の四肢)の空間内の(例えば、追跡システムに対する)位置を表す。追跡システムは、追跡情報を決定するために、任意の数の深度決定技術を使用することができる。深度決定技術は、例えば、構造化光、飛行時間、ステレオイメージング、何らかの他の深度決定技術、またはそれらの何らかの組み合わせを含み得る。追跡システムは、追跡情報を決定するように構成されている様々なシステムを含み得る。例えば、追跡システムは、1つ以上の赤外線源(例えば、構造化光源)、赤外線で画像をキャプチャすることができる1つ以上の画像センサ(例えば、赤-青-緑-赤外線カメラ)、および追跡アルゴリズムを実行するプロセッサを含み得る。追跡システムは、深度推定技術を使用して、視聴者の位置を決定することができる。いくつかの実施形態では、LFディスプレイシステム400は、本明細書で説明するように、視聴者430および/または視聴者434の追跡された位置、動作、またはジェスチャに基づいて、ホログラフィックオブジェクトを生成する。例えば、LFディスプレイシステム400は、アレイ410の閾値距離および/または特定の位置内に来る視聴者に応答して、ホログラフィックオブジェクトを生成することができる。
【0071】
LFディスプレイシステム400は、追跡情報に部分的に基づいて、各視聴者に合わせてカスタマイズされた1つ以上のホログラフィックオブジェクトを提示することができる。例えば、視聴者430は、ホログラフィックオブジェクト420を提示され得るが、ホログラフィックオブジェクト422は提示され得ない。同様に、視聴者434は、ホログラフィックオブジェクト422を提示され得るが、ホログラフィックオブジェクト420は提示され得ない。例えば、LFディスプレイシステム400は、視聴者430および視聴者434の各々の位置を追跡する。LFディスプレイシステム400は、ホログラフィックオブジェクトが提示されるべき場所に対する視聴者の位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。LFディスプレイシステム400は、決定された視点に対応する特定のピクセルから光を選択的に投影する。したがって、視聴者434および視聴者430は、潜在的に完全に異なる体験を同時に有することができる。言い換えれば、LFディスプレイシステム400は、ホログラフィックコンテンツを、ビューイングボリュームのビューイングサブボリューム(すなわち、
図2Bに示されるビューイングサブボリューム290A、290B、290C、および290Dと同様の)に提示することができる。例えば、例示のように、LFディスプレイシステム400は、視聴者430の位置を追跡できるので、LFディスプレイシステム400は、スペースコンテンツ(例えば、ホログラフィックオブジェクト420)を、視聴者430を取り囲むビューイングサブボリュームに、およびサファリコンテンツ(例えば、ホログラフィックオブジェクト422)を、視聴者434を取り囲むビューイングサブボリュームに提示することができる。対照的に、従来のシステムは、同様の体験を提供するために、個々のヘッドセットを使用しなければならないであろう。
【0072】
いくつかの実施形態では、LFディスプレイシステム400は、1つ以上の感覚フィードバックシステムを含み得る。感覚フィードバックシステムは、ホログラフィックオブジェクト420および422を拡張する他の感覚刺激(例えば、触覚、音声、または匂い)を提供する。例えば、
図4Aの例示的な実施形態では、LFディスプレイシステム400は、アレイ410の外部の感覚フィードバックシステム442を含む。一例では、感覚フィードバックシステム442は、アレイ410に結合された静電スピーカであり得る。外部感覚フィードバックシステムは、
図5Aに関してより詳細に説明される。他の例示的な実施形態では、感覚フィードバックシステムは、本明細書に記載されるように、アレイ410に組み込まれ得る。例えば、アレイ410に含まれるLFディスプレイモジュール412のエネルギーデバイス(例えば、
図3Bのエネルギーデバイス340A)は、超音波エネルギーをアレイの前の視聴者に投影し、および/またはアレイの前の視聴者から画像情報を受信するように構成され得る。いずれの場合でも、感覚フィードバックシステムは、感覚コンテンツを、アレイ410によって提示されるホログラフィックコンテンツ(例えば、ホログラフィックオブジェクト420および/またはホログラフィックオブジェクト422)を見ている視聴者(例えば、視聴者430および/または視聴者434)に提示し、および/または視聴者から受信する。
【0073】
LFディスプレイシステム400は、アレイの外部の1つ以上の音響投影デバイスを含む感覚フィードバックシステム442を含み得る。代替的または追加的に、LFディスプレイシステム400は、本明細書で説明されるように、アレイ410に統合された1つ以上の音響投影デバイスを含み得る。音響投影デバイスは、体積触覚表面を投影するように構成された超音波源のアレイからなり得る。いくつかの実施形態では、触覚表面は、視聴者の一部が1つ以上の表面の閾値距離内に入る場合、ホログラフィックオブジェクトの1つ以上の表面の(例えば、ホログラフィックオブジェクト420の表面における)ホログラフィックオブジェクトと一致し得る。体積触覚は、ユーザがホログラフィックオブジェクトの表面をタッチして感じることを可能にし得る。複数の音響投影デバイスは、視聴者に音声コンテンツ(例えば、没入型オーディオ)を提供する可聴圧力波を投影することができる。したがって、超音波圧力波および/または可聴圧力波は、ホログラフィックオブジェクトを補完する役割を果たすことができる。
【0074】
様々な実施形態では、LFディスプレイシステム400は、視聴者の追跡された位置に部分的に基づいて、他の感覚刺激を提供することができる。例えば、
図4Aに例示されるホログラフィックオブジェクト422はライオンであり、LFディスプレイシステム400は、ホログラフィックオブジェクト422を視覚的(すなわち、ホログラフィックオブジェクト422が咆哮するように見える)および聴覚的(すなわち、1つ以上の音響投影デバイスが、ライオンの咆哮がホログラフィックオブジェクト422から発せられているように視聴者430が知覚する圧力波を投影する)の両方で咆哮させることができる。
【0075】
例示的な構成では、ホログラフィックビューイングボリュームは、
図2のLFディスプレイシステム200のビューイングボリューム285と同様の方法で制限され得ることに留意されたい。これは、視聴者が単一のウォールディスプレイユニットで体験するであろう知覚される没入感の量を制限する可能性がある。これに対処する1つの方法が、
図4B~
図4Fに関して以下に説明するように、複数の側面に沿ってタイル張りされた複数のLFディスプレイモジュールを使用することである。
【0076】
図4Bは、1つ以上の実施形態による、多面シームレス表面環境におけるLFディスプレイシステム402の一部の斜視図である。LFディスプレイシステム402は、複数のLFディスプレイモジュールがタイル張りされて多面シームレス表面環境を作成することを除いて、LFディスプレイシステム400と実質的に同様である。より具体的には、LFディスプレイモジュールは、6面集合シームレス表面環境であるアレイを形成するようにタイル張りされている。
図4Bでは、複数のLFディスプレイモジュールが、部屋のすべての壁、天井、および床を覆っている。他の実施形態では、複数のLFディスプレイモジュールは、壁、床、天井、またはそれらの何らかの組み合わせのすべてではないが、一部を覆い得る。他の実施形態では、複数のLFディスプレイモジュールがタイル張りされて、何らかの他の集合シームレス表面を形成する。例えば、壁は、円筒形の集合エネルギー環境が形成されるように湾曲され得る。さらに、
図6~9に関して以下に説明するように、いくつかの実施形態では、LFディスプレイモジュールは、映画館の表面(例えば、壁)を形成するようにタイル張りされ得る。
【0077】
LFディスプレイシステム402は、1つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、LFディスプレイシステム402は、ホログラフィックオブジェクト420を、6面集合シームレス表面環境によって囲まれた領域に投影する。この例では、LFディスプレイシステムのビューイングボリュームも、6面集合シームレス表面環境内に含まれる。例示的な構成では、視聴者434は、ホログラフィックオブジェクト420と、ホログラフィックオブジェクト420を形成するために使用されるエネルギー(例えば、光および/または圧力波)を投影しているLFディスプレイモジュール414との間に位置付けられ得ることに留意されたい。したがって、視聴者434の位置付けは、視聴者430が、LFディスプレイモジュール414からのエネルギーから形成されるホログラフィックオブジェクト420を知覚することを妨げる可能性がある。しかしながら、例示的な構成では、(例えば、視聴者434によって)遮られず、エネルギーを投影してホログラフィックオブジェクト420を形成し、視聴者430によって観察され得る、例えば、LFディスプレイモジュール416などの少なくとも1つの他のLFディスプレイモジュールが存在する。このように、空間内の視聴者による閉塞により、ホログラフィック投影の一部が見えなくなる可能性があるが、この影響は、ボリュームの一面にのみホログラフィックディスプレイパネルが存在する場合よりもはるかに小さい。ホログラフィックオブジェクト422は、ホログラフィックオブジェクトボリュームが集合表面の後ろに延在するため、6面集合シームレス表面環境の壁の「外側」に例示されている。したがって、視聴者430および/または視聴者434は、ホログラフィックオブジェクト422を、視聴者が全体にわたって移動することができる囲まれた6面環境の「外側」として知覚することができる。
【0078】
図4Aを参照して前述したように、いくつかの実施形態では、LFディスプレイシステム402は、視聴者の位置を能動的に追跡し、追跡された位置に基づいてホログラフィックコンテンツを提示するように、異なるLFディスプレイモジュールに動的に指示し得る。したがって、多面構成は、制約のない視聴者が、多面シームレス表面環境によって囲まれた領域全体を自由に移動することができる、ホログラフィックオブジェクトを提供するための(例えば、
図4Aと比べて)より堅牢な環境を提供することができる。
【0079】
特に、様々なLFディスプレイシステムが、異なる構成を有し得る。さらに、各構成は、全体でシームレスな表示面(「集合表面」)を形成する表面の特定の配向を有し得る。すなわち、LFディスプレイシステムのLFディスプレイモジュールは、タイル張りされて様々な集合表面を形成することができる。例えば、
図4Bでは、LFディスプレイシステム402は、部屋の壁に近似する6面集合表面を形成するようにタイル張りされたLFディスプレイモジュールを含む。いくつかの他の例では、集合表面は、全表面(例えば、壁全体)ではなく、表面の一部(例えば、壁の半分)でのみ発生し得る。いくつかの例が本明細書に記載されている。
【0080】
いくつかの構成では、LFディスプレイシステムの集合表面は、局部的なビューイングボリュームに向けてエネルギーを投影するように構成された集合表面を含み得る。局部的なビューイングボリュームにエネルギーを投影することは、例えば、特定のビューイングボリューム内の投影エネルギーの密度を上げ、そのボリューム内の視聴者のFOVを広げ、ビューイングボリュームを表示面に近づけることにより、より高品質の視聴体験を可能にする。
【0081】
例えば、
図4Cは、「ウィング型」構成の集合表面を有するLFディスプレイシステム450Aの上面図を示す。この例では、LFディスプレイシステム450Aは、前壁452、後壁454、第1の側壁456、第2の側壁458、天井(図示せず)、および床(図示せず)を有する部屋内に位置している。第1の側壁456、第2の側壁458、後壁454、床、および天井は、すべて直交している。LFディスプレイシステム450Aは、前壁を覆う集合表面460を形成するようにタイル張りされたLFディスプレイモジュールを含む。前壁452、したがって集合表面460は、3つの部分、すなわち、(i)後壁454とほぼ平行な第1の部分462(すなわち、中央表面)、(ii)第1の部分462を第1の側面456に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第2の部分464(すなわち、第1の側表面)、および(iii)第1の部分462を第2の側面458に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第3の部分466(すなわち、第2の側表面)を含む。第1の部分は、部屋内の垂直平面であり、水平および垂直軸を有する。第2および第3の部分は、水平軸に沿って部屋の中心に向かって角度が付いている。
【0082】
この例では、LFディスプレイシステム450Aのビューイングボリューム468Aは、部屋の中央にあり、集合表面460の3つの部分によって部分的に囲まれている。視聴者を少なくとも部分的に囲む集合表面(「周囲表面」)は、視聴者の没入型体験を増大する。
【0083】
例示のために、例えば、中央表面のみを有する集合表面を考慮する。
図2Aを参照すると、表示面のいずれかの端から投影される光線は、上記のように理想的なホログラフィックボリュームおよび理想的なビューイングボリュームを作成する。ここで、例えば、中央表面が、視聴者に向かって角度の付いた2つの側表面を含んだ場合を考慮する。この場合、光線256および光線257は、中央表面の法線からより大きな角度で投影されるであろう。したがって、ビューイングボリュームの視野が拡大するであろう。同様に、ホログラフィックビューイングボリュームは、表示面により近くなるであろう。追加的に、第2および第3の2つの部分がビューイングボリュームのより近くで傾斜しているため、表示面から一定の距離で投影されるホログラフィックオブジェクトは、そのビューイングボリュームにより近い。
【0084】
簡単に言えば、中央表面のみを有する表示面は、平面視野、(中央の)表示面とビューイングボリュームとの間の平面閾値分離、およびホログラフィックオブジェクトとビューイングボリュームとの間の平面近接度を有する。視聴者に向かって角度の付いた1つ以上の側表面を追加すると、平面視野に対して視野が拡大し、表示面とビューイングボリュームとの間の分離が平面分離に対して減少し、表示面とホログラフィックオブジェクトとの間の近接度が、平面近接度に対して増大する。側表面を視聴者に向けてさらに角度を付けると、さらに視野が拡大し、分離が減少し、近接度が増大する。言い換えれば、側表面の角度の付いた配置は、視聴者の没入型体験を増大する。
【0085】
追加的に、
図6に関して以下に説明するように、偏向光学系を使用して、LF表示パラメータ(例えば、寸法およびFOV)のビューイングボリュームのサイズおよび位置を最適化することができる。
【0086】
図4Dに戻ると、同様の例では、
図4Dは、「スロープ」構成の集合表面を有するLFディスプレイシステム450Bの上面図を示す。この例では、LFディスプレイシステム450Bは、前壁452、後壁454、第1の側壁(図示せず)、第2の側壁(図示せず)、天井472、および床474を有する部屋内に位置している。第1の側壁、第2の側壁、後壁454、床474、および天井472は、すべて直交している。LFディスプレイシステム450Bは、前壁を覆う集合表面460を形成するようにタイル張りされたLFディスプレイモジュールを含む。前壁452、したがって集合表面460は、3つの部分、すなわち、(i)後壁454とほぼ平行な第1の部分462(すなわち、中央表面)、(ii)第1の部分462を天井472に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第2の部分464(すなわち、第1の側表面)、および(iii)第1の部分462を床474に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第3の部分464(すなわち、第2の側表面)を含む。第1の部分は、部屋内の垂直平面であり、水平および垂直軸を有する。第2および第3の部分は、垂直軸に沿って部屋の中心に向かって角度が付いている。
【0087】
この例では、LFディスプレイシステム450Bのビューイングボリューム468Bは、部屋の中央にあり、集合表面460の3つの部分によって部分的に囲まれている。
図4Cに示される構成と同様に、2つの側面部分(例えば、第2の部分464および第3の部分466)は、視聴者を囲んで、周囲表面を形成するように角度が付いている。周囲表面は、ホログラフィックビューイングボリューム468B内の任意の視聴者の視点からのビューイングFOVを拡大する。追加的に、周囲表面は、投影されたオブジェクトがより近くに見えるように、ビューイングボリューム468Bがディスプレイの表面により近くなることを可能にする。言い換えれば、側表面の角度の付いた配置は、視野を拡大し、分離を減少させ、集合表面の近接度を増大させ、それによって、視聴者の没入型体験を増大する。さらに、以下で説明するように、偏向光学系を使用して、ビューイングボリューム468Bのサイズおよび位置を最適化することができる。
【0088】
集合表面460の側面部分の傾斜構成は、第3の部分466が傾斜していない場合よりも、ホログラフィックコンテンツがビューイングボリューム468Bにより近く提示されることを可能にする。例えば、キャラクタが提示された形態の下肢(脚など)、傾斜構成のLFディスプレイシステムは、平坦な前壁を有するLFディスプレイシステムが使用された場合よりも近く、かつより現実的に思われる可能性がある。
【0089】
追加的に、LFディスプレイシステムの構成およびそれが位置している環境により、ビューイングボリュームおよびビューイングサブボリュームの形状および位置を知ることができる。
【0090】
図4Eは、例えば、部屋の前壁452上に集合表面460を有するLFディスプレイシステム450Cの上面図を例示する。この例では、LFディスプレイシステム450Dは、前壁452、後壁454、第1の側壁456、第2の側壁458、天井(図示せず)、および床(図示せず)を有する部屋内に位置している。
【0091】
LFディスプレイシステム450Cは、集合表面460から様々な光線を投影する。表示面の各位置から、ビューイングボリュームを中心とした角度範囲で、光線が投影される。集合表面460の左側から投影される光線は水平角度範囲481を有し、集合表面の右側から投影される光線は水平角度範囲482を有し、集合表面460の中心から投影される光線は水平角度範囲483を有する。これらの点の間で、投影光線は、
図6に関して以下に説明されるように、角度範囲の中間値をとることができる。このように、表示面の全体で投影光線に傾斜した偏向角(gradient deflection angle)を有することにより、ビューイングボリューム468Cが作成される。さらに、この構成は、側壁456および458に光線を投影する際のディスプレイの解像度の無駄を回避する。
【0092】
図4Fは、部屋の前壁452上に集合表面460を有するLFディスプレイシステム450Dの側面図を例示する。この例では、LFディスプレイシステム450Eは、前壁452、後壁454、第1の側壁(図示せず)、第2の側壁(図示せず)、天井472、および床474を有する部屋内に位置している。この例では、床は、前壁から後壁に移動するにつれて各段が階段状に高くなるように、段になっている。ここで、床の各段は、ビューイングサブボリューム(例えば、表示サブボリューム470Aおよび470B)を含む。段状の床は、重複しないビューイングサブボリュームを可能にする。すなわち、各ビューイングサブボリュームは、別のビューイングサブボリュームを通過しない、ビューイングサブボリュームから集合表面460までの視線を有する。言い換えると、この配向は、段間の垂直オフセットにより、各段が、他の段のビューイングサブボリューム「見渡す」ことが可能になる「スタジアムシーティング」効果をもたらす。重なり合わないビューイングサブボリュームを含むLFディスプレイシステムは、重なり合うビューイングボリュームを有するLFディスプレイシステムよりも高品質の視聴体験を提供することができる。例えば、
図4Fに示される構成では、異なるホログラフィックコンテンツが、ビューイングサブボリューム470Aおよび470B内の聴衆に投影され得る。
【0093】
LFディスプレイシステムの制御
図5Aは、1つ以上の実施形態による、LFディスプレイシステム500のブロック図である。LFディスプレイシステム500は、LFディスプレイアセンブリ510およびコントローラ520を備える。LFディスプレイアセンブリ510は、ライトフィールドを投影する1つ以上のLFディスプレイモジュール512を含む。LFディスプレイモジュール512は、他のタイプのエネルギーを投影および/または感知する統合されたエネルギー源および/またはエネルギーセンサを含むソース/センサシステム514を含み得る。コントローラ520は、データストア522、ネットワークインターフェース524、およびLF処理エンジン530を含む。コントローラ520はまた、追跡モジュール526、および視聴者プロファイリングモジュール528を含み得る。いくつかの実施形態では、LFディスプレイシステム500はまた、感覚フィードバックシステム570および追跡システム580を含む。
図1、2、3、および4の文脈の中で説明されるLFディスプレイシステムは、LFディスプレイシステム500の実施形態である。他の実施形態では、LFディスプレイシステム500は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および/または異なるエンティティ間で分散され得る。LFディスプレイシステム500の用途についても、
図6~
図10に関して以下で詳細に説明する。
【0094】
LFディスプレイアセンブリ510は、ビューイングボリューム内に位置する視聴者に見え得るホログラフィックオブジェクトボリューム内にホログラフィックコンテンツを提供する。LFディスプレイアセンブリ510は、コントローラ520から受信された表示命令を実行することによって、ホログラフィックコンテンツを提供することができる。ホログラフィックコンテンツは、集合表面の前、LFディスプレイアセンブリ510、LFディスプレイアセンブリ510の集合表面の後ろ、またはそれらの何らかの組み合わせに投影される1つ以上のホログラフィックオブジェクトを含み得る。コントローラ520を用いた表示命令の生成について、以下でより詳細に説明する。
【0095】
LFディスプレイアセンブリ510は、LFディスプレイアセンブリ510に含まれる1つ以上のLFディスプレイモジュール(例えば、LFディスプレイモジュール110、LFディスプレイシステム200、およびLFディスプレイモジュール300のいずれか)を使用してホログラフィックコンテンツを提供する。便宜上、1つ以上のLFディスプレイモジュールは、本明細書ではLFディスプレイモジュール512として説明されることがある。LFディスプレイモジュール512は、タイル張りされて、LFディスプレイアセンブリ510を形成することができる。LFディスプレイモジュール512は、様々なシームレスな表面環境(例えば、単一面、多面、映画館の壁、曲面など)として構造化され得る。つまり、タイル張りされたLFディスプレイモジュールが集合表面を形成する。前述のように、LFディスプレイモジュール512は、ホログラフィックコンテンツを提示する、エネルギーデバイス層(例えば、エネルギーデバイス層220)およびエネルギー導波路層(例えば、エネルギー導波路層240)を含む。LFディスプレイモジュール512はまた、ホログラフィックコンテンツを提示するときに、エネルギーデバイス層とエネルギー導波路層との間でエネルギーを転送するエネルギーリレー層(例えば、エネルギーリレー層230)を含み得る。
【0096】
LFディスプレイモジュール512はまた、前述のように、エネルギー投影および/またはエネルギー感知のために構成されている他の統合システムを含み得る。例えば、ライトフィールドディスプレイモジュール512は、エネルギーを投影および/または感知するように構成されている任意の数のエネルギーデバイス(例えば、エネルギーデバイス340)を含み得る。便宜上、LFディスプレイモジュール512の統合エネルギー投影システムおよび統合エネルギー感知システムは、本明細書では、総称してソース/センサシステム514として説明されることがある。ソース/センサシステム514は、ソース/センサシステム514が、LFディスプレイモジュール512と同じシームレスなエネルギー面を共有するように、LFディスプレイモジュール512内に統合されている。言い換えれば、LFディスプレイアセンブリ510の集合表面は、LFディスプレイモジュール512とソース/センサモジュール514との両方の機能を含む。すなわち、ソース/センサシステム514を有するLFディスプレイモジュール512を含むLFアセンブリ510は、同時にライトフィールドを投影しながら、エネルギーを投影し、および/またはエネルギーを感知することができる。例えば、LFディスプレイアセンブリ510は、LFディスプレイモジュール512と、前述のようにデュアルエネルギー面または双方向エネルギー面として構成されたソース/センサシステム514とを含み得る。
【0097】
いくつかの実施形態では、LFディスプレイシステム500は、感覚フィードバックシステム570を使用して、生成されたホログラフィックコンテンツを他の感覚コンテンツ(例えば、協調的な触覚、音声または匂いなど)で拡張する。感覚フィードバックシステム570は、コントローラ520から受信された表示命令を実行することによって、ホログラフィックコンテンツの投影を増強することができる。一般に、感覚フィードバックシステム570は、LFディスプレイアセンブリ510の外部の任意の数の感覚フィードバックデバイス(例えば、感覚フィードバックシステム442)を含む。いくつかの例示的な感覚フィードバックデバイスは、協調音響投影デバイスおよび受信デバイス、芳香投影デバイス、温度調整デバイス、力作動デバイス、圧力センサ、トランスデューサなどを含み得る。場合によっては、感覚フィードバックシステム570は、ライトフィールドディスプレイアセンブリ510と同様の機能を有し得、逆もまた然りである。例えば、感覚フィードバックシステム570およびライトフィールドディスプレイアセンブリ510の両方は、サウンドフィールドを生成するように構成され得る。別の例として、感覚フィードバックシステム570は、触覚表面を生成するように構成され得る一方、ライトフィールドディスプレイ510アセンブリはそうではない。
【0098】
例示のために、ライトフィールドディスプレイシステム500の例示的な一実施形態では、感覚フィードバックシステム570は、1つ以上の音響投影デバイスを含み得る。1つ以上の音響投影デバイスは、コントローラ520から受信された表示命令を実行するときに、ホログラフィックコンテンツを補完する1つ以上の圧力波を生成するように構成される。生成される圧力波は、例えば、可聴(音の場合)、超音波(タッチの場合)、またはそれらの何らかの組み合わせであってもよい。同様に、感覚フィードバックシステム570は、芳香投影デバイスを含み得る。投影デバイスは、コントローラから受信した表示命令を実行する際に、対象エリアの一部またはすべてに香りを与えるように構成することができる。芳香デバイスは、標的エリア内の気流を調整するように、空気循環システム(例えば、ダクト、ファン、通気口など)内に結びつけられ得る。さらに、感覚フィードバックシステム570は、温度調整デバイスを含み得る。温度調整デバイスは、コントローラ520から受信された表示命令を実行するときに、標的エリアの一部またはすべての温度を上げるか、または下げるように構成されている。
【0099】
いくつかの実施形態では、感覚フィードバックシステム570は、LFディスプレイシステム500の視聴者からの入力を受信するように構成される。この場合、感覚フィードバックシステム570は、視聴者からの入力を受信するための様々な感覚フィードバックデバイスを含む。センサフィードバックデバイスとしては、音響受信デバイス(例えば、マイクロフォン)、圧力センサ、ジョイスティック、動作検出器、トランスデューサなどのデバイスを挙げることができる。感覚フィードバックシステムは、ホログラフィックコンテンツおよび/または感覚フィードバックの生成を調整するために、検出された入力をコントローラ520に送信することができる。
【0100】
例示のために、ライトフィールドディスプレイアセンブリの例示的な一実施形態では、感覚フィードバックシステム570は、マイクロフォンを含む。マイクロフォンは、1人以上の視聴者によって生み出された音声(例えば、あえぎ、悲鳴、笑い声など)を録音するように構成される。感覚フィードバックシステム570は、記録された音声を、視聴者入力としてコントローラ520に提供する。コントローラ520は、視聴者入力を使用して、ホログラフィックコンテンツを生成することができる。同様に、感覚フィードバックシステム570は、圧力センサを含み得る。圧力センサは、視聴者によって圧力センサに加えられた力を測定するように構成される。感覚フィードバックシステム570は、測定された力を、視聴者入力としてコントローラ520に提供することができる。
【0101】
いくつかの実施形態では、LFディスプレイシステム500は、追跡システム580を含む。追跡システム580は、標的エリア内の視聴者の位置、動き、および/または特性を決定するように構成された任意の数の追跡デバイスを含む。一般に、追跡デバイスは、LFディスプレイアセンブリ510の外部にある。いくつかの例示的な追跡デバイスとしては、カメラアセンブリ(「カメラ」)、深度センサ、構造化光、LIDARシステム、カードスキャンシステム、または標的領域内の視聴者を追跡できるその他の追跡デバイスが挙げられる。
【0102】
追跡システム580は、標的領域の一部またはすべてを光で照らす1つ以上のエネルギー源を含み得る。しかしながら、場合によっては、ホログラフィックコンテンツを提示するときに、標的領域は、自然光および/またはLFディスプレイアセンブリ510からの周囲光で照らされる。エネルギー源は、コントローラ520から受信された命令を実行するときに、光を投影する。光は、例えば、構造化光パターン、光のパルス(例えば、IRフラッシュ)、またはそれらの何らかの組み合わせであり得る。追跡システムは、可視帯域(約380nm~750nm)内、赤外線(IR)帯域(約750nm~1700nm)内、紫外線帯域(10nm~380nm)内、電磁スペクトルの何らかの他の部分、またはそれらの何らかの組み合わせの光を投影することができる。ソースとしては、例えば、発光ダイオード(LED)、マイクロLED、レーザーダイオード、TOF深度センサ、波長可変レーザーなどを挙げることができる。
【0103】
追跡システム580は、コントローラ520から受信された命令を実行するときに、1つ以上の放出パラメータを調整することができる。放出パラメータは、追跡システム580のソースから光が投影される方法に影響を与えるパラメータである。放出パラメータとしては、例えば、明るさ、パルスレート(連続照明を含む)、波長、パルス長、ソースアセンブリから光が投影される方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。一実施形態では、ソースは、飛行時間動作で光のパルスを投影する。
【0104】
追跡システム580のカメラは、標的領域から反射された光(例えば、構造化光パターン)の画像をキャプチャする。カメラは、コントローラ520から受信された追跡命令を実行するときに、画像をキャプチャする。前述のように、光は、追跡システム580のソースによって投影され得る。カメラは、1つ以上のカメラを含み得る。すなわち、カメラは、例えば、フォトダイオードのアレイ(1Dまたは2D)、CCDセンサ、CMOSセンサ、追跡システム580によって投影される光の一部またはすべてを検出する何らかの他のデバイス、またはそれらの何らかの組み合わせであってもよい。一実施形態では、追跡システム580は、LFディスプレイアセンブリ510の外部のライトフィールドカメラを含み得る。他の実施形態では、カメラは、LFディスプレイアセンブリ510に含まれるLFディスプレイソース/センサモジュール514の一部として含まれる。例えば、前述のように、ライトフィールドモジュール512のエネルギーリレー素子が、エネルギーデバイス層220で発光ディスプレイと画像センサとの両方をインターリーブする双方向エネルギー層である場合、LFディスプレイアセンブリ510は、同時に、ライトフィールドを投影し、ディスプレイの前の視聴領域からの画像情報を記録するように構成され得る。一実施形態では、双方向エネルギー面からキャプチャされた画像は、ライトフィールドカメラを形成する。カメラは、キャプチャされた画像をコントローラ520に提供する。
【0105】
追跡システム580のカメラは、コントローラ520から受信された追跡命令を実行するときに、1つ以上の撮像パラメータを調整することができる。撮像パラメータは、カメラが画像をキャプチャする方法に影響を与えるパラメータである。撮像パラメータとしては、例えば、フレームレート、アパーチャ、ゲイン、露光長さ、フレームタイミング、ローリングシャッターまたはグローバルシャッターのキャプチャモード、カメラが画像をキャプチャする方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。
【0106】
コントローラ520は、LFディスプレイアセンブリ510と、LFディスプレイシステム500の任意の他の構成要素と、を制御する。コントローラ520は、データストア522、ネットワークインターフェース524、追跡モジュール526、視聴者プロファイリングモジュール528、およびライトフィールド処理エンジン530を備える。他の実施形態では、コントローラ520は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および/または異なるエンティティ間で分散され得る。例えば、追跡モジュール526は、LFディスプレイアセンブリ510または追跡システム580の一部であり得る。
【0107】
データストア522は、LFディスプレイシステム500の情報を記憶するメモリである。記憶される情報としては、表示命令、追跡命令、放出パラメータ、撮像パラメータ、標的領域の仮想モデル、追跡情報、カメラによってキャプチャされた画像、1つ以上の視聴者プロファイル、ライトフィールドディスプレイアセンブリ510の較正データ、LFモジュール512の解像度および配向を含むLFディスプレイシステム510の構成データ、所望のビューイングボリューム形状、3Dモデル、シーンならびに環境、材料、およびテクスチャを含むグラフィックス作成のためのコンテンツ、LFディスプレイシステム500によって使用され得る他の情報、またはそれらの何らかの組み合わせを挙げることができる。データストア522は、読み取り専用メモリ(ROM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、またはそれらの何らかの組み合わせなどのメモリである。
【0108】
ネットワークインターフェース524は、ライトフィールドディスプレイシステムがネットワークを介して他のシステムまたは環境と通信することを可能にする。一例では、LFディスプレイシステム500は、ネットワークインターフェース524を介して、リモートのライトフィールドディスプレイシステムからホログラフィックコンテンツを受信する。別の例では、LFディスプレイシステム500は、ネットワークインターフェース524を使用して、ホログラフィックコンテンツをリモートのデータストアに送信する。
【0109】
追跡モジュール526は、LFディスプレイシステム500によって提示されたコンテンツを視聴している視聴者を追跡する。そうするために、追跡モジュール526は、追跡システム580のソースおよび/またはカメラの動作を制御する追跡命令を生成し、追跡命令を追跡システム580に提供する。追跡システム580は、追跡命令を実行し、追跡モジュール526に追跡入力を提供する。
【0110】
追跡モジュール526は、標的エリア内の(例えば、映画館の座席に座っている)1人以上の視聴者の位置を決定することができる。決定された位置は、例えば、何らかの基準点(例えば、表示面)に対するものであり得る。他の実施形態では、決定された位置は、標的領域の仮想モデル内にあり得る。追跡された位置は、例えば、視聴者の追跡された位置および/または視聴者の一部の追跡された位置(例えば、目の位置、手の位置など)であり得る。追跡モジュール526は、追跡システム580のカメラからキャプチャされた1つ以上の画像を使用して、位置を決定する。追跡システム580のカメラは、LFディスプレイシステム500の周りに分配され得、画像を立体でキャプチャすることができ、追跡モジュール526が視聴者を受動的に追跡することを可能にする。他の実施形態では、追跡モジュール526は、視聴者を能動的に追跡する。すなわち、追跡システム580は、標的領域のある部分を照らし、標的領域を撮像し、追跡モジュール526は、飛行時間および/または構造化光深度決定技術を使用して、位置を決定する。追跡モジュール526は、決定された位置を使用して、追跡情報を生成する。
【0111】
追跡モジュール526はまた、LFディスプレイシステム500の視聴者からの入力として、追跡情報を受信することができる。追跡情報は、視聴者がLFディスプレイシステム500によって提供される様々な入力オプションに対応する体の動きを含み得る。例えば、追跡モジュール526は、視聴者の体の動きを追跡し、任意の様々な動きを、入力として、LF処理エンジン530に割り当てることができる。追跡モジュール526は、追跡情報を、データストア522、LF処理エンジン530、視聴者プロファイリングモジュール528、LFディスプレイシステム500の任意の他の構成要素、またはそれらの何らかの組み合わせに提供することができる。
【0112】
追跡モジュール526のコンテキストを提供するために、映画のキャラクタが勝利のタッチダウンを収めるフィルムを表示するLFディスプレイシステム500の例示的な実施形態を検討する。シーンに応答して、視聴者はガッツポーズをして、興奮を示す。追跡システム580は、視聴者の手の動きを記録し、その記録を追跡モジュール526に送信することができる。追跡モジュール526は、記録における視聴者の手の動きを追跡し、入力をLF処理エンジン530に送信する。以下に説明するように、視聴者プロファイリングモジュール528は、視聴者の手の動きが肯定的な応答に関連付けられていることを画像内の情報が示していると決定する。したがって、十分な数の視聴者が肯定的な応答を有していると認識された場合、LF処理エンジン530は、タッチダウンを祝福する適切なホログラフィックコンテンツを生成する。例えば、LF処理エンジン530は、シーンに紙吹雪を投影し得る。
【0113】
LFディスプレイシステム500は、視聴者を識別し、かつプロファイリングするように構成された視聴者プロファイリングモジュール528を含む。視聴者プロファイリングモジュール528は、LFディスプレイシステム500によって表示されたホログラフィックコンテンツを見る1人または複数の視聴者のプロファイルを生成する。視聴者プロファイリングモジュール528は、視聴者の入力および監視された視聴者の行動、動作、ならびに反応に部分的に基づいて、視聴者プロファイルを生成する。視聴者プロファイリングモジュール528は、追跡システム580から取得された情報(例えば、記録された画像、ビデオ、音声など)にアクセスし、その情報を処理して、様々な情報を決定することができる。様々な例において、視聴者プロファイリングモジュール528は、任意の数のマシンビジョンまたは機械聴覚アルゴリズムを使用して、視聴者の行動、動作、および反応を決定することができる。監視される視聴者の行動には、例えば、笑顔、歓声、拍手、笑い、恐怖、悲鳴、興奮レベル、反動、その他のジェスチャの変化、または視聴者による動きなどが含まれ得る。
【0114】
より一般的には、視聴者プロファイルは、LFディスプレイシステムからのホログラフィックコンテンツを見ている視聴者に関して受信および/または決定された任意の情報を含み得る。例えば、各視聴者プロファイルは、LFディスプレイシステム500によって表示されたコンテンツに対するその視聴者の動作または応答を記録することができる。視聴者プロファイルに含まれ得るいくつかの例示的な情報が、以下に提供される。
【0115】
いくつかの実施形態では、視聴者プロファイルは、表示されたキャラクタ、俳優、シーンなどに関する視聴者の応答を説明することができる。例えば、視聴者プロファイルは、視聴者が一般に25~35歳のハンサムな男優を表示するフィルムに対して肯定的な応答を有することを示し得る。
【0116】
いくつかの実施形態では、視聴者プロファイルは、フィルムを視聴する視聴者の特性を示し得る。例えば、映画館の視聴者は、大学のロゴが表示されたスウェットシャツを着用している。この場合、視聴者プロファイルは、視聴者が、スウェットシャツを着用していて、スウェットシャツにそのロゴがある大学に関連付けられたホログラフィックコンテンツを好む可能性があることを示し得る。より広義には、視聴者プロファイルに示され得る視聴者の特性としては、例えば、年齢、性別、民族、衣服、会場での視聴場所などを挙げることができる。
【0117】
いくつかの実施形態では、視聴者プロファイルは、望ましいフィルムおよび/または映画館の特性に関して視聴者の好みを示すことができる。例えば、視聴者プロファイルは、視聴者が、家族の一人ひとりの年齢に適切なホログラフィックコンテンツのみを見たがることを示す場合がある。別の例では、視聴者プロファイルは、ホログラフィックコンテンツを表示すべきホログラフィックオブジェクトボリューム(例えば、壁の上)およびホログラフィックコンテンツを表示すべきでないホログラフィックオブジェクトボリューム(例えば、視聴者の頭上)を示し得る。視聴者プロファイルはまた、視聴者が触覚インターフェースを自分たちの近くに提示させたがること、または触覚インターフェースを避けたがることを示し得る。
【0118】
別の例では、視聴者プロファイルは、特定の視聴者のために視聴されたフィルムの履歴を示す。例えば、視聴者プロファイリングモジュール528は、視聴者または視聴者のグループが以前にフィルムに参加したことを決定する。したがって、LFディスプレイシステム500は、視聴者がフィルムに前回参加したときとは異なるホログラフィックコンテンツを表示することができる。一例として、ホログラフィックコンテンツを含むフィルムは、3つの異なるエンディングを有することができ、LFディスプレイシステム500は、参加している視聴者に基づいて、異なるエンディングを表示することができる。別の例では、3つのエンディングの各々が、同じ映画館の異なるビューイングボリュームに提示され得る。
【0119】
いくつかの実施形態では、視聴者プロファイルはまた、特定の視聴者ではなく、視聴者のグループの特徴および好みを示し得る。例えば、視聴者プロファイリングモジュール528は、映画館でフィルムを視聴している聴衆のための視聴者プロファイルを生成し得る。一例では、視聴者プロファイリングモジュール528は、吸血鬼に恋をしているティーンエイジャーについてのフィルムを視聴する視聴者のための視聴者プロファイルを作成する。このプロファイルは、視聴者の86.3%が20歳~35歳の女性であり、フィルムに対して肯定的な応答を有することを示す。プロフィールはまた、視聴者の残りの23.7%が20歳~35歳の男性であり、フィルムに対して否定的な反応を有していることを示す。前述の情報および特徴のいずれもが、視聴者のグループに適用され得る。
【0120】
視聴者プロファイリングモジュール528は、特定の1人または複数の視聴者に関連付けられたプロファイルに、1つまたは複数のサードパーティシステムからアクセスして、視聴者プロファイルを構築することもできる。例えば、視聴者は、その視聴者のソーシャルメディアアカウントにリンクされたサードパーティベンダーを使用して、フィルムのチケットを購入する。したがって、視聴者のチケットは視聴者のソーシャルメディアアカウントにリンクされている。視聴者がチケットを使用してパフォーマンスの会場に入ると、視聴者プロファイリングモジュール528は、視聴者のソーシャルメディアアカウントからの情報にアクセスして、視聴者プロファイルを構築(または増強)することができる。
【0121】
いくつかの実施形態では、データストア522は、視聴者プロファイリングモジュール528によって生成、更新、および/または維持された視聴者プロファイルを記憶する視聴者プロファイルストアを含む。視聴者プロファイルは、視聴者プロファイリングモジュール528によって、いつでもデータストア内で更新され得る。例えば、一実施形態では、視聴者プロファイルストアは、特定の視聴者が、LFディスプレイシステム500によって提供されたホログラフィックコンテンツを見るときに、その特定の視聴者に関する情報を受信し、その視聴者の視聴者プロファイルに記憶する。この例では、視聴者プロファイリングモジュール528は、視聴者を認識し、視聴者が提示されたホログラフィックコンテンツを見るときに視聴者を確実に識別することができる顔認識アルゴリズムを含む。例示のために、視聴者がLFディスプレイシステム500の標的領域に入ると、追跡システム580が、視聴者の画像を取得する。視聴者プロファイリングモジュール528は、キャプチャされた画像を入力し、顔認識アルゴリズムを使用して視聴者の顔を識別する。識別された顔は、プロファイルストア内の視聴者プロファイルに関連付けられ、そのため、その視聴者に関して取得されたすべての入力情報が、その視聴者のプロファイルに記憶され得る。視聴者プロファイリングモジュールはまた、カード識別スキャナ、音声識別子、無線周波数識別(RFID)チップスキャナ、バーコードスキャナなどを利用して、視聴者を確実に識別することができる。
【0122】
視聴者プロファイリングモジュール528が視聴者を確実に識別できる実施形態では、視聴者プロファイリングモジュール528は、LFディスプレイシステム500への各視聴者の各訪問を決定することができる。次に、視聴者プロファイリングモジュール528は、各訪問の日時を各視聴者の視聴者プロファイルに記憶することができる。同様に、視聴者プロファイリングモジュール528は、感覚フィードバックシステム570、追跡システム580、および/またはLFディスプレイアセンブリ510の任意の組み合わせから受信された、視聴者からの入力を、入力が発生するたびに記憶することができる。視聴者プロファイルシステム528は、コントローラ520の他のモジュールまたは構成要素から視聴者に関するさらなる情報を追加的に受信することができ、この情報は、視聴者プロファイルとともに記憶され得る。次に、コントローラ520の他の構成要素も、その視聴者に提供される後のコンテンツを決定するために、記憶された視聴者プロファイルにアクセスすることができる。
【0123】
LF処理エンジン530は、ライトフィールドデータ、ならびにLFディスプレイシステム500によってサポートされるすべての感覚領域のデータからなるホログラフィックコンテンツを生成する。例えば、LF処理エンジン530は、LFディスプレイアセンブリ510によって実行されると、LFディスプレイアセンブリ510にホログラフィックコンテンツを提示させる、ラスタライズ化されたフォーマットの4D座標(「ラスタライズ化されたデータ」)を生成することができる。LF処理エンジン530は、データストア522からラスタライズ化されたデータにアクセスすることができる。追加的に、LF処理エンジン530は、ベクトル化されたデータセットからラスタライズされたデータを構築することができる。ベクトル化されたデータを以下に説明する。LF処理エンジン530はまた、ホログラフィックオブジェクトを増強する感覚コンテンツを提供するために必要な感覚命令を生成することができる。上記のように、感覚命令は、LFディスプレイシステム500によって実行されると、触覚表面、サウンドフィールド、およびLFディスプレイシステム500によってサポートされる他の形態の感覚エネルギーを生成することができる。LFデータ処理エンジン530は、データストア522から感覚命令にアクセスする、または、感覚命令を構築して、ベクトル化されたデータセットを形成することができる。全体として、4D座標および感覚データは、ホログラフィックおよび感覚コンテンツを生成するためにLFディスプレイシステムによって実行可能な表示命令として、ホログラフィックコンテンツを表す。より一般的には、ホログラフィックコンテンツは、理想的なライトフィールド座標を有するCGコンテンツ、ライブアクションコンテンツ、ラスタライズ化されたデータ、ベクトル化データ、リレーのセットによって輸送される電磁エネルギー、エネルギーデバイスのグループに送信される命令、1つ以上のエネルギー面上のエネルギー位置、表示面から投影されるエネルギー伝搬経路のセット、視聴者または聴衆に見えるホログラフィックオブジェクトの形態、および多くの他の同様の形態をとることができる。
【0124】
LFディスプレイシステム500内の様々なエネルギー源を通るエネルギーの流れを説明するラスタライズされたデータの量は、信じられないほど大量である。データストア522からアクセスされる場合、ラスタライズされたデータをLFディスプレイシステム500に表示することは可能であるが、(例えば、ネットワークインターフェース524を介して)効率的に送信し、受信し、その後、ラスタライズされたデータをLFディスプレイシステム500に表示することは不可能である。例えば、LFディスプレイシステム500によるホログラフィック投影用の短いフィルムを表すラスタライズされたデータを取り上げる。この例では、LFディスプレイシステム500は、数ギガピクセルを含むディスプレイを含み、ラスタライズされたデータは、ディスプレイ上の各ピクセル場所の情報を含む。ラスタライズされたデータの対応するサイズは膨大であり(例えば、フィルム表示時間の毎秒多ギガバイト)、ネットワークインターフェース524を介した商用ネットワーク上での効率的な転送には管理できない。効率的な転送の問題は、ホログラフィックコンテンツのライブストリーミングを含むアプリケーションで増幅される可能性がある。感覚フィードバックシステム570または追跡モジュール526からの入力を使用してインタラクティブな体験が望まれる場合、単にラスタライズされたデータをデータストア522に記憶することに関する追加の問題が生じる。インタラクティブな体験を可能にするために、LF処理エンジン530によって生成されたライトフィールドコンテンツは、感覚または追跡入力に応答してリアルタイムで修正され得る。言い換えれば、場合によっては、LFコンテンツは、データストア522から単純に読み取ることができない。
【0125】
したがって、いくつかの構成では、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを表すデータは、ベクトル化されたデータフォーマット(「ベクトル化されたデータ」)でLF処理エンジン530に転送され得る。ベクトル化されたデータは、ラスタライズされたデータよりも桁違いに小さい場合がある。さらに、ベクトル化されたデータは、データの効率的な共有を可能にするデータセットサイズを有しながら、高い画質を提供する。例えば、ベクトル化されたデータは、より密度の高いデータセットから派生した疎なデータセットである可能性がある。したがって、ベクトル化されたデータは、密度の高いラスタライズされたデータから疎なベクトル化されたデータがどのようにサンプリングされるかに基づいて、画質とデータ送信サイズとの間の調整可能なバランスを有する可能性がある。ベクトル化されたデータを生成するための調整可能なサンプリングにより、特定のネットワーク速度での画質の最適化が可能になる。結果として、ベクトル化されたデータは、ネットワークインターフェース524を介したホログラフィックコンテンツの効率的な送信を可能にする。ベクトル化されたデータにより、ホログラフィックコンテンツを商用ネットワーク経由でライブストリーミングすることもできる。
【0126】
要約すると、LF処理エンジン530は、データストア522からアクセスされるラスタライズされたデータ、データストア522からアクセスされるベクトル化されたデータ、またはネットワークインターフェース524を介して受信されるベクトル化されたデータから導出されたホログラフィックコンテンツを生成することができる。様々な構成において、ベクトル化されたデータは、データ送信の前に符号化され、LFコントローラ520による受信の後に復号化され得る。いくつかの例では、ベクトル化されたデータは、データ圧縮に関連する追加のデータセキュリティおよびパフォーマンスの向上のために符号化される。例えば、ネットワークインターフェースによって受信されたベクトル化されたデータは、ホログラフィックストリーミングアプリケーションから受信された符号化され、ベクトル化されたデータであり得る。いくつかの例では、ベクトル化されたデータは、デコーダ、LF処理エンジン530、またはこれらの両方が、ベクトル化されたデータ内の符号化された情報コンテンツにアクセスすることを必要とし得る。エンコーダおよび/またはデコーダシステムは、顧客が利用できる場合や、サードパーティベンダーにライセンス供与されている場合がある。
【0127】
ベクトル化されたデータは、インタラクティブな体験をサポートし得る方法で、LFディスプレイシステム500によってサポートされる各感覚領域の各々の情報を含む。例えば、インタラクティブなホログラフィック体験のためのベクトル化されたデータは、LFディスプレイシステム500によってサポートされる感覚領域の各々に正確な物理学を提供することができる任意のベクトル化された特性を含み得る。ベクトル化された特性は、合成的にプログラムされ、キャプチャされ、計算により評価され得るなどの任意の特性を含み得る。LF処理エンジン530は、ベクトル化されたデータのベクトル化された特性をラスタライズされたデータに変換するように構成され得る。次に、LF処理エンジン530は、LFディスプレイアセンブリ510を使用してベクトル化されたデータから変換されたホログラフィックコンテンツを投影することができる。様々な構成で、ベクトル化された特性には、1つ以上の赤/緑/青/アルファチャネル(RGBA)+深度画像、1つの高解像度中央画像および低解像度の他のビューを含み得る様々な解像度での深度情報の有無にかかわらないマルチビュー画像、アルベドおよび反射率、表面法線、その他の光学効果、表面識別、幾何学的オブジェクト座標、仮想カメラ座標、表示面の場所、照明座標、表面の接触剛性、接触延性、接触強度、サウンドフィールドの振幅および座標、環境条件、テクスチャまたは温度の機械受容器に関連する体性感覚エネルギーベクトル、音声、ならびにその他の感覚領域特性の座標が含まれ得る。他の多くのベクトル化された特性も可能である。
【0128】
LFディスプレイシステム500は、インタラクティブな視聴体験を生成することもできる。すなわち、ホログラフィックコンテンツは、視聴者の場所、ジェスチャ、インタラクション、ホログラフィックコンテンツとのインタラクションに関する情報、または視聴者プロファイリングモジュール528および/または追跡モジュール526から導出された他の情報を含む入力刺激に応答することができる。例えば、一実施形態では、LF処理システム500は、ネットワークインターフェース524を介して受信されたリアルタイムパフォーマンスのベクトル化されたデータを使用して、インタラクティブな視聴体験を作成する。別の例では、ホログラフィックオブジェクトが、視聴者のインタラクションに応じて直ちに特定の方向に移動する必要がある場合、LF処理エンジン530は、ホログラフィックオブジェクトがその要求された方向に移動するように、シーンのレンダリングを更新することができる。これには、LF処理エンジン530が、ベクトル化されたデータセットを使用して、適切なオブジェクトの配置および動き、衝突検出、オクルージョン、色、陰影、照明などを有する3Dグラフィカルシーンに基づいて、リアルタイムでライトフィールドをレンダリングし、視聴者のインタラクションに正しく応答することが必要であり得る。LF処理エンジン530は、ベクトル化されたデータを、LFディスプレイアセンブリ510による提示のためにラスタライズされたデータに変換する。
【0129】
ラスタライズされたデータには、リアルタイムのパフォーマンスを表すホログラフィックコンテンツ命令および感覚命令(表示命令)が含まれる。LFディスプレイアセンブリ510は、表示命令を実行することによって、リアルタイムのパフォーマンスのホログラフィックおよび感覚コンテンツを同時に投影する。LFディスプレイシステム500は、追跡モジュール526および視聴者プロファイリングモジュール528を用いて、提示されたリアルタイムのパフォーマンスのコンテンツとの視聴者のインタラクション(例えば、音声応答、タッチなど)を監視する。視聴者のインタラクションに応答して、LF処理エンジンは、視聴者に表示するための追加のホログラフィックおよび/または感覚コンテンツを生成することによって、インタラクティブな体験を作成することができる。
【0130】
例示のために、フィルム中に映画館の天井からバルーンが落ちてくる様子を表す複数のホログラフィックオブジェクトを生成するLF処理エンジン530を含むLFディスプレイシステム500の例示的な一実施形態を考慮する。視聴者は、バルーンを表すホログラフィックオブジェクトにタッチするように移動し得る。それに応じて、追跡システム580は、ホログラフィックオブジェクトに対する視聴者の手の動きを追跡する。視聴者の動きは追跡システム580によって記録され、コントローラ520に送信される。追跡モジュール526は、視聴者の手の動きを連続的に決定し、決定された動きをLF処理エンジン530に送信する。LF処理エンジン530は、シーン内の視聴者の手の配置を決定し、ホログラフィックオブジェクトに必要な任意の変更(位置、色、またはオクルージョンなど)を含むために、グラフィックスのリアルタイムレンダリングを調整する。LF処理エンジン530は、LFディスプレイアセンブリ510(および/または感覚フィードバックシステム570)に、体積触覚投影システムを使用して(例えば、超音波スピーカを使用して)触覚表面を生成するように指示する。生成された触覚表面は、ホログラフィックオブジェクトの少なくとも一部に対応し、ホログラフィックオブジェクトの外面の一部またはすべてと実質的に同じ空間を占有する。LF処理エンジン530は追跡情報を使用して、LFディスプレイアセンブリ510に、バルーンにタッチする視覚的および触覚的知覚の両方を視聴者が与えられるように、触覚表面の位置を、レンダリングされたホログラフィックオブジェクトの位置とともに移動するよう動的に指示する。より簡単に言えば、視聴者がホログラフィックバルーンにタッチしている自分の手を見ると、視聴者は同時に、手がホログラフィックバルーンにタッチし、タッチに応答してバルーンが位置または動きを変更することを示す触覚フィードバックを感じる。いくつかの例では、データストア522からアクセスされるフィルムでインタラクティブバルーンを提示するのではなく、インタラクティブバルーンは、ネットワークインターフェース524を介してライブストリーミングアプリケーションから受信されるホログラフィックコンテンツの一部として受信され得る。
【0131】
LF処理エンジン530は、フィルムを視聴している映画館の視聴者に同時表示するためのホログラフィックコンテンツを提供することができる。例えば、LFディスプレイシステム500で増強された映画館で上映されているフィルムは、フィルム中に視聴者に提示されるホログラフィックコンテンツ(「ホログラフィックコンテンツトラック」)を含む。ホログラフィックコンテンツトラックは、フィルムの配給業者によって受信され、データストア522に記憶され得る。ホログラフィックコンテンツトラックは、映画館でフィルムを視聴する視聴者の視聴体験を向上させるホログラフィックコンテンツを含む。
【0132】
ホログラフィックコンテンツトラック内のホログラフィックコンテンツは、ホログラフィックコンテンツを表示するために、任意の数の時間的、聴覚的、視覚的などのキューに関連付けられ得る。例えば、ホログラフィックコンテンツトラックは、フィルム中の特定の時間に表示されるホログラフィックコンテンツを含むことができる。一例として、ホログラフィックコンテンツトラックは、フィルムの開始から35分42秒後にフィルム「Bottlenosed」中に表示されるホログラフィックドルフィンのポッドを含む。別の例では、ホログラフィックコンテンツトラックは、感覚フィードバックシステム570が特定の音声キューを記録するときに提示されるホログラフィックコンテンツを含む。一例として、ホログラフィックコンテンツトラックは、感覚フィードバックアセンブリ570によって記録された音声がフィルム中に人々が笑っていることを示すときに、フィルム「Poultrygeist」中に提示するホログラフィックゴーストターキーを含む。別の例では、ホログラフィックコンテンツトラックは、追跡システム580が特定の視覚的キューを記録するときに表示するホログラフィックコンテンツを含む。一例として、ホログラフィックコンテンツトラックは、追跡システム580が、視聴者が映画館を出ていることを示す情報を記録するとき、フィルム「Don't Leave Me,Bro!」中に表示する「LEAVER!」というホログラフィックサインを含む。聴覚的および視覚的キューの決定については、以下で詳しく説明する。
【0133】
ホログラフィックコンテンツトラックには、空間レンダリング情報も含まれる場合がある。すなわち、ホログラフィックコンテンツトラックは、映画館でホログラフィックコンテンツを提示するための空間的場所を示し得る。例えば、ホログラフィックコンテンツトラックは、特定のホログラフィックコンテンツがいくつかのホログラフィックビューイングボリュームで提示され、他のボリュームでは提示されないことを示し得る。説明するために、LF処理エンジン530は、映画館の壁ではなく、視聴者の頭の上のホログラフィックビューイングボリューム内でカラスの殺害を提示し得る。同様に、ホログラフィックコンテンツトラックは、ホログラフィックコンテンツを示して、いくつかのビューイングボリュームに提示し、他のボリュームには提示しないことを示し得る。例えば、LF処理エンジンは、カラスの殺害を劇場の後方近くのビューイングボリュームに提示し得、蝶の万華鏡は、映画館の正面近くのビューイングボリュームに提示される。
【0134】
LF処理エンジン530は、映画館の体験を増強するために、フィルムの前、最中、および/または後に映画館の視聴者に表示するホログラフィックコンテンツを提供し得る。ホログラフィックコンテンツは、フィルムのパブリッシャによって提供されても、映画館によって提供されても、広告主によって提供されても、LF処理エンジン530などによって生成されてもよい。ホログラフィックコンテンツは、フィルム、フィルムのジャンル、会場の位置、広告などに関連付けられたコンテンツであってもよい。いずれの場合も、ホログラフィックコンテンツは、データストア522に記憶されるか、またはネットワークインターフェース524を介してベクトル化されたフォーマットでLFディスプレイシステム500にストリーミングされ得る。例えば、フィルムは、壁にLFディスプレイモジュールで増強された映画館で上映される場合がある。フィルムの配給業者は、フィルムが始まる前に壁のディスプレイに提示するホログラフィックコンテンツを提供することができる。LF処理エンジン530は、ホログラフィックコンテンツにアクセスし、フィルムが始まる前に、映画館の壁のディスプレイからアクセスされたコンテンツを提示する。別の例では、LFディスプレイシステム500を備えた映画館がサンフランシスコにある。映画館は、フィルム固有のコンテンツが提供されていない場合にフィルムの前に映画館で提示するゴールデンゲートブリッジのホログラフィック表現を記憶する。ここでは、フィルム固有のホログラフィックコンテンツが提供されていないため、LF処理エンジン530は、映画館のゴールデンゲートブリッジにアクセスして提示する。別の例では、広告主は、フィルムの後に表示するために、その製品のホログラフィックコンテンツを映画館に広告として提供した。フィルムが終了した後、LF処理エンジン530は、視聴者が映画館を離れるときに広告を提示する。他の例では、以下に説明するように、LF処理エンジンは、劇場の壁に表示するためにホログラフィックコンテンツを動的に生成することができる。
【0135】
LF処理エンジン500はまた、ホログラフィックコンテンツを提示しているフィルムに適合するようにホログラフィックコンテンツを修正することができる。例えば、すべての映画館が同じサイズである、同じ数の座席を有している、または同じ技術構成を有しているわけではない。したがって、LF処理エンジン530は、ホログラフィックコンテンツが映画館内に適切に表示されるように、ホログラフィックコンテンツを修正することができる。一実施形態では、LF処理エンジン530は、映画館のレイアウト、解像度、視野、他の技術仕様などを含む、映画館の構成ファイルにアクセスすることができる。LF処理エンジン530は、構成ファイルに含まれる情報に基づいて、ホログラフィックコンテンツをレンダリングおよび提示することができる。
【0136】
LF処理エンジン530はまた、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを作成することができる。重要なことには、ここで、表示のためのホログラフィックコンテンツを作成することは、表示のためのホログラフィックコンテンツをアクセスすること、または受信することとは異なる。すなわち、コンテンツを作成するとき、LF処理エンジン530は、以前に生成および/または受信されたコンテンツをアクセスするのではなく、表示のための全く新しいコンテンツを生成する。LF処理エンジン530は、追跡システム580、感覚フィードバックシステム570、視聴者プロファイリングモジュール528、追跡モジュール526、またはそれらの何らかの組み合わせからの情報を使用して、表示のためのホログラフィックコンテンツを作成することができる。いくつかの例では、LF処理エンジン530は、LFディスプレイシステム500の要素からの情報(例えば、追跡情報および/または視聴者プロファイル)にアクセスし、それに応じて、その情報に基づいてホログラフィックコンテンツを作成し、作成されたホログラフィックコンテンツを、LFディスプレイシステム500を使用して表示することができる。作成されたホログラフィックコンテンツは、LFディスプレイシステム500によって表示されるときに、他の感覚コンテンツ(例えば、タッチ、音声、または匂い)で増強され得る。さらに、LFディスプレイシステム500は、作成されたホログラフィックコンテンツが将来表示され得るように、作成されたホログラフィックコンテンツを記憶することができる。
【0137】
LFディスプレイシステムのための動的コンテンツ生成
いくつかの実施形態では、LF処理エンジン530は、人工知能(AI)モデルを組み込んで、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを作成する。AIモデルは、回帰モデル、ニューラルネットワーク、分類器、またはその他のAIアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。AIモデルは、視聴者の行動に関する情報を含み得る、LFディスプレイシステム500によって(例えば、追跡システム580によって)記録された視聴者情報に基づいて、視聴者の好みを決定するために使用することができる。
【0138】
AIモデルは、ホログラフィックコンテンツを作成するために、データストア522からの情報にアクセスすることができる。例えば、AIモデルは、データストア522内の1つまたは複数の視聴者プロファイルからの視聴者情報にアクセスすることができるか、またはLFディスプレイシステム500の様々な構成要素から視聴者情報を受信することができる。例示のために、AIモデルは、視聴者が、俳優が蝶ネクタイを着用しているホログラフィックコンテンツを見るのを楽しんでいると決定することができる。AIモデルは、以前見た、蝶ネクタイを着用している俳優を含むホログラフィックコンテンツに対する視聴者のグループの肯定的な反応または応答に基づいて、好みを決定することができる。つまり、AIモデルは、学習された視聴者の好みに従って、視聴者のセットに合わせて個人化されたホログラフィックコンテンツを作成することができる。そのため、例えば、AIモデルは、LFディスプレイシステム500を使用して、視聴者のグループによって視聴されるホログラフィックコンテンツに表示される俳優に蝶ネクタイを作成することができる。AIモデルはまた、学習された各視聴者の好みを、データストア522の視聴者プロファイルストアに記憶することができる。いくつかの例では、AIモデルは、視聴者のグループではなく、個々の視聴者のためにホログラフィックコンテンツを作成することができる。
【0139】
視聴者の特徴を識別し、反応を識別し、および/または識別された情報に基づいてホログラフィックコンテンツを生成するために使用され得るAIモデルの一例が、現在の層のノードの値が前の層のノードでの値の変換である、ノードのレイヤを有する畳み込みニューラルネットワークモデルである。モデルにおける変換は、現在の層と前の層とを接続する、重みとパラメータとのセットによって決定される。例えば、AIモデルは、ノードの5つの層、すなわち層A、B、C、D、およびEを含み得る。層Aから層Bへの変換は関数W1により与えられ、層Bから層Cへの変換はW2により与えられ、層Cから層Dへの変換はW3により与えられ、層Dから層Eへの変換はW4により与えられる。いくつかの例では、変換はまた、モデル内の前の層間を変換するために使用される重みとパラメータとのセットを介して決定され得る。例えば、層Dから層Eへの変換W4は、層Aから層Bへの変換W1を遂行するために使用されるパラメータに基づき得る。
【0140】
モデルへの入力は、畳み込み層A上に符号化された、追跡システム580によって撮影された画像であり得、モデルの出力は、出力層Eから復号されたホログラフィックコンテンツである。代替的または追加的に、出力は、画像内で決定された視聴者の特徴であり得る。この例では、AIモデルは、識別層Cの視聴者の特徴を表す、画像内の潜在情報を識別する。AIモデルは、畳み込み層Aの次元を識別層Cの次元まで低減して、画像内の任意の特徴、動作、応答などを識別する。いくつかの例では、AIモデルは、次に、識別層Cの次元を増加してホログラフィックコンテンツを生成する。
【0141】
追跡システム580からの画像は、畳み込み層Aに符号化される。畳み込み層Aに入力された画像は、識別層Cの様々な特徴および/または反応情報などに関連付けられ得る。これらの要素間の関連情報は、対応する層間に変換のセットを適用することによって検索され得る。すなわち、AIモデルの畳み込み層Aは、符号化された画像を表し、モデルの識別層Cは、笑顔の視聴者を表す。所与の画像内の笑顔の視聴者は、畳み込み層Aの空間内の画像の画素値に変換W1およびW2を適用することによって識別され得る。変換の重みおよびパラメータは、画像に含まれる情報と笑顔の視聴者の識別との間の関係を示し得る。例えば、重みおよびパラメータは、画像内の笑顔の視聴者を表す情報に含まれる形状、色、サイズなどの量子化であり得る。重みおよびパラメータは、履歴データ(例えば、以前に追跡された視聴者)に基づき得る。
【0142】
画像内の笑顔の視聴者は、識別層Cで識別される。識別層Cは、画像内の笑顔の視聴者に関する潜在情報に基づいて識別された笑顔の視聴者を表す。
【0143】
画像内の識別された笑顔の視聴者を使用して、ホログラフィックコンテンツを生成することができる。ホログラフィックコンテンツを生成するために、AIモデルは、識別層Cから開始して、変換W2およびW3を識別層Cの所与の識別された笑顔の視聴者の値に適用する。変換は、出力層Eのノードのセットをもたらす。変換の重みおよびパラメータは、識別された笑顔の視聴者と特定のホログラフィックコンテンツおよび/または好みとの間の関係を示し得る。ホログラフィックコンテンツが、出力層Eのノードから直接出力される場合もあれば、コンテンツ生成システムが、出力層Eのノードをホログラフィックコンテンツに復号化する場合もある。例えば、出力が、識別された特徴のセットである場合、LF処理エンジンは、その特徴を使用してホログラフィックコンテンツを生成することができる。
【0144】
追加的に、AIモデルは、中間層として知られている層を含み得る。中間層は、画像に対応しない層であって、特徴/反応などを識別するか、またはホログラフィックコンテンツを生成する。例えば、所与の例では、層Bは、畳み込み層Aと識別層Cとの間の中間層である。層Dは、識別層Cと出力層Eとの間の中間層である。隠れ層は、データ中では観測されないが、特徴を識別してホログラフィックコンテンツを生成するときに、画像の要素間の関係を支配し得る識別の様々な側面の潜在表現である。例えば、隠れ層のあるノードが、「笑っている人の笑顔」の共通点を共有する入力値および識別値と強いつながり(例えば、大きな重み値)を持っている場合がある。別の例として、隠れ層の別のノードが、「怖がっている人の悲鳴」の共通点を共有する入力値および識別値と強いつながりを持っている場合がある。もちろん、ニューラルネットワークには任意の数のリンケージが存在する。追加的に、各中間層は、例えば、残差ブロック、畳み込み層、プーリング操作、スキップ接続、連結などの機能の組み合わせである。任意の数の中間層Bが、畳み込み層を識別層まで減らすように機能し得、任意の数の中間層Dが、識別層を出力層まで増やすように機能し得る。
【0145】
一実施形態では、AIモデルは、強化学習でトレーニングされた決定論的方法を含む(それにより、強化学習モデルを作成する)。モデルは、追跡システム580からの測定値を入力として、および作成されたホログラフィックコンテンツへの変更を出力として使用して、パフォーマンスの品質を高めるようにトレーニングされる。
【0146】
強化学習は、数値的な報酬信号を最大化するために、機械が「何をすべきか」(状況を動作にマッピングする方法)を学習する機械学習システムである。学習器(例えば、LF処理エンジン530)は、取るべき動作(例えば、所定のホログラフィックコンテンツの生成)を告げられていないが、代わりに、動作を試行することによって、どの動作が最大の報酬をもたらすか(例えば、より多くの人に歓声を上げさせることによってホログラフィックコンテンツの品質を高めること)を発見する。場合によっては、動作は、即時報酬だけでなく、次の状況、そしてそれを通じて、その後のすべての報酬にも影響を及ぼし得る。これらの2つの特徴(試行錯誤による探索および遅延報酬)が、強化学習の2つの際立った特徴である。
【0147】
強化学習は、学習方法を特徴づけることによってではなく、学習問題を特徴づけることによって定義される。基本的に、強化学習システムは、目標を達成するために環境とインタラクションする学習エージェントが直面している問題の重要な側面をキャプチャする。つまり、パフォーマの歌を生成する例では、強化学習システムは、現場の視聴者に関する情報(例えば、年齢、気質など)をキャプチャする。このようなエージェントは、環境の状態を感知し、状態に影響を与える動作を実行して、1つまたは複数の目標を達成する(例えば、視聴者が歓声を上げるであろうポップソングを作成する)。最も基本的な形態では、強化学習の定式化は、学習器のための3つの側面、すなわち、感覚、動作、目標を含む。歌の例に続いて、LF処理エンジン530は、追跡システム580のセンサで環境の状態を感知し、環境内の視聴者にホログラフィックコンテンツを表示し、視聴者のその歌の受容の尺度である目標を達成する。
【0148】
強化学習で発生する課題の1つが、探索と活用との間のトレードオフである。システム内の報酬を増やすために、強化学習エージェントは、過去に試行し、報酬を生み出すのに効果的であることがわかった動作を好む。しかしながら、報酬を生み出す動作を発見するために、学習エージェントは、以前に選択したことのない動作を選択する。エージェントは、報酬を取得するために、すでに知っている情報を「活用」するが、将来、より良い動作を選択するために、情報を「探索」する。学習エージェントは、様々な動作を試み、依然として新しい動作を試行しながら、最良と思われる動作を次第に好むようになる。確率論的タスクでは、一般的に、各動作が、期待される報酬に対する信頼できる見積もりを得るために、何度も試行される。例えば、長い時間が経過した後に視聴者が笑うことになるであろうことをLF処理エンジンが知っているホログラフィックコンテンツをLF処理エンジンが作成する場合、LF処理エンジンは、視聴者が笑うまでの時間が減少するように、ホログラフィックコンテンツを変更することができる。
【0149】
さらに、強化学習は、不確実環境とインタラクションする目標指向エージェントの問題全体を考慮する。強化学習エージェントは、明確な目標を有し、環境の側面を感知し得、高い報酬(すなわち、どよめく観衆)を受け取るための動作を選択し得る。さらに、エージェントは、一般的に、直面する環境に関する重要な不確実性にかかわらず動作する。強化学習が計画を含む場合、システムは、計画とリアルタイムの動作選択との相互作用、ならびに環境要素をどのように取得して改善するかという問題に対処する。強化学習が進展するためには、重要なサブ問題を分離して研究する必要があり、サブ問題は、完全でインタラクティブなゴールシークエージェントで明確な役割を果たす。
【0150】
強化学習問題は、目標を達成するためにインタラクションが処理され、動作が実行される機械学習問題のフレーミングである。学習器および意思決定器はエージェントと呼ばれる(例えば、LF処理エンジン530)。エージェントの外部のすべてのものを含む、エージェントがインタラクションするものは環境と呼ばれる(例えば、現場の視聴者など)。これら2つは継続的にインタラクションし、エージェントは動作を選択し(例えば、ホログラフィックコンテンツを作成し)、環境は、それらの動作に応答して、エージェントに新しい状況を提示する。環境はまた、エージェントが時間の経過とともに最大化しようとする特別の数値的な価値である報酬を生じさせる。ある文脈では、報酬は、ホログラフィックコンテンツに対する視聴者の肯定的な反応を最大化するように機能する。環境の完全な仕様は、強化学習問題の1つの実例であるタスクを定義する。
【0151】
より多くの文脈を提供するために、エージェント(例えば、LF処理エンジン530)および環境は、離散時間ステップのシーケンスの各々、すなわち、t=0、1、2、3などにおいてインタラクションする。各時間ステップtにおいて、エージェントは、環境の状態stの何らかの表現(例えば、追跡システム580からの測定値)を受信する。状態stはS内にあり、Sは、可能性がある状態のセットである。状態stおよび時間ステップtに基づいて、エージェントは、で動作を選択する(例えば、パフォーマに股割りをさせる)。での動作はA(st)内にあり、A(st)は、可能性がある動作のセットである。1つの時間状態の後、部分的にはエージェントの動作の結果として、エージェントは、数値的な報酬rt+1を受信する。状態rt+1はR内にあり、Rは、可能性がある報酬のセットである。エージェントが報酬を受信すると、エージェントは、新しい状態st+1を選択する。
【0152】
各タイムステップにおいて、エージェントは、状態から、各可能性がある動作を選択する確率へのマッピングを実装する。このマッピングはエージェントのポリシーと呼ばれ、πtで表され、ここで、πt(s,a)は、st=sであればat=aとなる確率である。強化学習方法は、エージェントの動作から生じる状態および報酬の結果として、エージェントがポリシーをどのように変更するかを指示することができる。エージェントの目標は、時間の経過とともに、エージェントが受信する報酬の合計額を最大化することである。
【0153】
この強化学習フレームワークは柔軟性があり、多くの異なる方法で多くの異なる問題(例えば、ホログラフィックコンテンツの生成)に適用され得る。このフレームワークは、感覚、記憶、および制御装置の詳細が何であれ、目標指向の行動を学習するすべての問題(または目的)が、エージェントとその環境との間を行き来する3つの信号、すなわち、エージェントによって行われた選択(動作)を表す1つの信号、選択が行われた根拠(状態)を表す1つの信号、およびエージェントの目標(報酬)を定義する1つの信号にまとめられ得ることを提案する。
【0154】
もちろん、AIモデルは、任意の数の機械学習アルゴリズムを含み得る。使用され得るいくつかの他のAIモデルは、線形および/またはロジスティック回帰、分類および回帰ツリー、k平均法クラスタリング、ベクトル量子化などである。いずれの場合も、一般に、LF処理エンジン530が、追跡モジュール526および/または視聴者プロファイリングモジュール528から入力を取得し、機械学習モデルが、それに応じてホログラフィックコンテンツを作成する。同様に、AIモデルは、ホログラフィックコンテンツのレンダリングを指向し得る。
【0155】
LF処理エンジン530は、映画館で上映されているフィルムに基づいてホログラフィックコンテンツを作成することができる。例えば、映画館で上映されているフィルムは、フィルムの特性を説明するメタデータのセットに関連付けられている場合がある。メタデータは、例えば、設定、ジャンル、俳優、女優、テーマ、タイトル、ランタイム、レーティングなどを含み得る。LF処理エンジン530は、フィルムを記述するメタデータのいずれかにアクセスし、それに応じて、映画館内に提示するためのホログラフィックコンテンツを生成することができる。例えば、「The Last Merman」というタイトルのフィルムは、LFディスプレイシステム500で増強された映画館で上映されようとしている。LF処理エンジン530は、フィルムのメタデータにアクセスして、フィルムが始まる前に映画館の壁のホログラフィックコンテンツを作成する。ここで、メタデータは、設定が水中であり、ジャンルがロマンスであることを含む。LF処理エンジン530は、メタデータをAIモデルに入力し、それに応じて、映画館の壁に表示するためのホログラフィックコンテンツを受信する。この例では、LF処理エンジン530は、フィルムが上映され始める前に、映画館の壁に表示するために海辺の夕日を作成する。
【0156】
一例では、LF処理エンジン530は、従来の二次元(2D)フィルムを、LFディスプレイシステムによる表示のためにホログラフィックコンテンツに変換することができる。例えば、LF処理エンジン530は、従来のフィルムをAIモデルに入力することができ、AIモデルは、従来のフィルムの任意の部分をホログラフィックコンテンツに変換する。一例では、AIモデルは、二次元データをホログラフィックデータに変換することによって訓練された機械学習アルゴリズムを使用することによって、従来のフィルムをホログラフィックコンテンツに変換することができる。様々な状況で、トレーニングデータは以前に生成された、作成された、またはその2つの組み合わせたものでもよい。次に、LFディスプレイシステム500は、フィルムの従来の二次元バージョンではなく、フィルムのホログラフィックバージョンを表示することができる。
【0157】
一例では、LF処理エンジン530は、LFディスプレイシステム500を含む映画館にいる視聴者に基づいて、ホログラフィックコンテンツを作成する。例えば、視聴者のグループは、LFディスプレイシステム500によって表示されるホログラフィックコンテンツによって増強された映画館を視聴するために映画館に入る。視聴者プロファイリングモジュール528は、映画館内の視聴者の視聴者プロファイルと、映画館内のすべての視聴者を表す集約視聴者プロファイルと、を生成する。LF処理エンジン530は、集約視聴者プロファイルにアクセスし、映画館内の視聴者に表示するためのホログラフィックコンテンツを作成する。例えば、映画館にいる視聴者は、恋愛フィルムを視聴しているカップルのグループであり、したがって、集合視聴者プロファイルは、デート中のカップルに相応しいホログラフィックコンテンツを楽しむことができることを示す情報を含む(例えば、パラメータ化し、AIモデルに入力することにより)。したがって、LF処理エンジン530は、映画館がよりロマンチックな雰囲気(例えば、キャンドル、薄暗い照明、Marvin Gayeの音楽など)であるようなホログラフィックコンテンツを生成する。
【0158】
一例では、LF処理エンジン530は、フィルムを視聴する視聴者の応答に基づいて、ホログラフィックコンテンツを作成する。例えば、映画館の視聴者は、LFディスプレイシステム500によって増強された映画館のフィルムを視聴している。追跡モジュール526および視聴者プロファイリングモジュール528は、フィルムを視聴している視聴者の反応を監視する。例えば、追跡システム580は、視聴者がフィルムを視聴するときの画像を取得することができる。追跡モジュール526は、視聴者を識別し、視聴者プロファイリングモジュール528は、マシンビジョンアルゴリズムを使用して、画像に含まれる情報に基づいて、視聴者の反応を決定する。例えば、AIモデルを使用して、フィルムを視聴している視聴者が笑顔であるかどうかを識別することができ、それに応じて、視聴者プロファイリングモジュール528は、笑顔に基づいて、視聴者がフィルムに対して肯定的な応答を有しているか、否定的な応答を有しているかを視聴者プロファイルに示すことができる。他の反応も決定され得る。実例として、コメディフィルムが映画館で上映されている。フィルムが表示面に表示されると、追跡モジュール526および視聴者プロファイリングモジュール528は、視聴者の反応を監視する。この例では、視聴者はフィルムの中でピアノを弾くことを学んでいる猫のモンタージュを笑っている。視聴者プロファイリングモジュール528は、笑いを認識し、それに応答して、LF処理エンジン530は、劇場の壁に、愚かなことをしている子猫のホログラフィックコンテンツを表示する。
【0159】
同様の例では、LF処理エンジン530は、以前存在していた、または提供された広告コンテンツに基づいて、ホログラフィックコンテンツを作成することができる。すなわち、例えば、LF処理エンジン530は、ネットワークインターフェース524を介して、ネットワークシステムに広告を要求することができ、ネットワークシステムが、それに応じてホログラフィックコンテンツを提供し、LF処理エンジン530が、広告を含む、表示のためのホログラフィックコンテンツを作成する。広告のいくつかの例としては、製品、テキスト、ビデオなどを挙げることができる。広告は、特定のビューイングボリュームに、そのビューイングボリューム内の視聴者に基づいて提示され得る。同様に、ホログラフィックコンテンツは、広告(例えば、プロダクトプレイスメント)で、フィルムを増強することができる。最も一般的には、LF処理エンジン530は、前述のように、会場内の視聴者の特徴および/または反応のいずれかに基づいて、広告コンテンツを作成することができる。
【0160】
コンテンツを作成する前述の例は、限定的なものではない。最も広義には、LF処理エンジン530は、LFディスプレイシステム500の視聴者に表示するためのホログラフィックコンテンツを作成する。ホログラフィックコンテンツは、LFディスプレイシステム500に含まれる情報のいずれかに基づいて作成され得る。
【0161】
ホログラフィックコンテンツ配信ネットワーク
図5Bは、1つ以上の実施形態による、例示的なLFフィルムネットワーク550を示す。1つ以上のLFディスプレイシステムは、LFフィルムネットワーク550に含まれ得る。LFフィルムネットワーク550は、ネットワーク552を介して互いに結合された任意の数のLFディスプレイシステム(例えば、500A、500B、および500C)、LFフィルム生成システム554、およびネットワーキングシステム556を含む。他の実施形態では、LFディスプレイシステム550は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書の記載とは異なる方法で異なるエンティティ間に分散され得る。
【0162】
図示の実施形態では、LFフィルムネットワーク550は、ネットワーク552を介してホログラフィックコンテンツを受信し、視聴者にホログラフィックコンテンツを表示することができるLFディスプレイシステム500A、500B、および500Cを含む。LFディスプレイシステム500A、500B、および500Cは、まとめてLFディスプレイシステム500と呼ばれる。
【0163】
LFフィルム生成システム554は、LFディスプレイシステムを含む映画館で表示するためのホログラフィックコンテンツを生成するシステムである。ホログラフィックコンテンツは、フィルムであってもよく、または従来のフィルムを増強するホログラフィックコンテンツであってもよい。LFフィルム生成システム554は、情報を記録し、ホログラフィックコンテンツを生成するために、任意の数のセンサおよび/またはプロセッサを含み得る。例えば、センサは、画像を記録するためのカメラ、音声を記録するためのマイクロフォン、物体との相互作用を記録するための圧力センサなどを含むことができる。LFフィルム生成システム554はまた、プロセッサを使用して、ライトフィールドとしてレンダリングされたコンピュータ生成画像(CGI)アニメーションを生成する合成ライトフィールドデータを生成するコンピュータシステムであり得る。合成ライトフィールドデータは、例えば、仮想世界またはアニメーション映画からのものであり得る。LFフィルム生成システム554は、記録された情報を組み合わせ、その情報をホログラフィックおよび感覚的コンテンツとして符号化する。LFフィルム生成システム554は、符号化されたホログラフィックコンテンツを、視聴者に表示するためにLFディスプレイシステム500のうちの1つ以上に送信することができる。前述のように、効率的な転送速度のために、LFディスプレイシステム500A、500B、500Cなどのデータは、ベクトル化されたデータとしてネットワーク552を介して転送され得る。
【0164】
より広義には、LFフィルム生成システム554は、フィルムを上映するときにLFディスプレイシステムによって使用され得る任意の記録された感覚データまたは合成データを使用することによって、映画館で表示するためのホログラフィックコンテンツを生成する。例えば、感覚データは、記録された音声、記録された画像、オブジェクトとの記録された相互作用などを含み得る。他の多くのタイプの感覚データが使用され得る。説明のために、記録された視覚的コンテンツは、3Dグラフィックスシーン、3Dモデル、オブジェクト配置、テクスチャ、色、陰影、および照明、AIモデルと同様のフィルム変換の大規模なデータセットを使用してホログラフィックフォーマットに変換できる2Dフィルムデータ、デプスチャネルの有無にかかわらず、多くのカメラを備えたカメラリグからのマルチビューカメラデータ、プレノプティックカメラデータ、CGコンテンツ、または他の多くの種類のコンテンツを含み得る。
【0165】
いくつかの構成では、LFフィルム生成システム554は、独自のエンコーダを使用して、フィルムについて記録された感覚データを上記のようにベクトル化されたデータフォーマットに低減する符号化操作を実行することができる。すなわち、データをベクトル化されたデータに符号化することは、画像処理、音声処理、またはネットワーク552を介して送信するのがより容易なデータセットの削減をもたらす可能性がある任意の他の計算を含み得る。エンコーダは、フィルム製作業界の専門家が使用するフォーマットをサポートしている場合がある。
【0166】
各LFディスプレイシステム(例えば、500A、500B、500C)は、ネットワークインターフェース524を介してネットワーク552から符号化されたデータを受信することができる。この例では、各LFディスプレイシステムは、符号化されたLFディスプレイデータを復号化するためのデコーダを含む。より明確には、LF処理エンジン530は、デコーダによって提供される復号化アルゴリズムを受信された符号化データに適用することによって、LFディスプレイアセンブリ510のラスタライズされたデータを生成する。いくつかの例では、LF処理エンジンは、本明細書で説明するように、追跡モジュール526、視聴者プロファイリングモジュール528、および感覚フィードバックシステム570からの入力を使用して、LFディスプレイアセンブリのラスタライズされたデータをさらに生成することができる。LFディスプレイアセンブリ510のために生成されたラスタライズされたデータは、LFフィルム生成システム554によって記録されたホログラフィックコンテンツを再現する。重要なことに、各LFディスプレイシステム500A、500B、および500Cは、形状、解像度などの点で、LFディスプレイアセンブリの特定の構成に適したラスタライズされたデータを生成する。いくつかの構成では、符号化および復号化のプロセスは、顧客を表示するために提供されるか、サードパーティによってライセンス供与される可能性のある独自の符号化/復号化システムのペアの一部である。場合によっては、符号化/復号化システムのペアは、コンテンツ作成者に共通のプログラミングインターフェースを提供し得る独自のAPIとして実装され得る。
【0167】
いくつかの構成では、LFフィルムネットワーク550内の様々なシステム(例えば、LFディスプレイシステム500、LFフィルム生成システム554など)は、異なるハードウェア構成を有し得る。ハードウェア構成は、物理システム、エネルギー源、エネルギーセンサ、触覚インターフェース、センサ機能、解像度、LFディスプレイモジュール構成、またはLFフィルムネットワーク550内のシステムの任意の他のハードウェア記述の配置を含み得る。各ハードウェア構成は、異なるデータフォーマットで感覚データを生成または利用する場合がある。したがって、デコーダシステムは、それが提示されるLFディスプレイシステムのために符号化されたデータを復号化するように構成され得る。例えば、第1のハードウェア構成を有するLFディスプレイシステム(例えば、LFディスプレイシステム500A)は、第2のハードウェア構成を有するLFフィルム生成システム(例えば、LFフィルム生成システム554)から符号化されたデータを受信する。復号化システムは、LFディスプレイシステム500Aの第1のハードウェア構成を説明する情報にアクセスする。復号化システムは、アクセスされたハードウェア構成を使用して符号化されたデータを復号化し、その結果、復号化されたデータは、受信側LFディスプレイシステム500AのLF処理エンジン530によって処理され得る。LF処理エンジン530は、第2のハードウェア構成に記録されているにもかかわらず、第1のハードウェア構成のラスタライズされたコンテンツを生成し、提示する。同様に、LFフィルム生成システム554によって記録されたホログラフィックコンテンツは、ハードウェア構成に関係なく、任意のLFディスプレイシステム(例えば、LFディスプレイシステム500B、LFディスプレイシステム500C)によって提示することができる。
【0168】
ネットワークシステム556は、LFフィルムネットワーク550内のシステム間のホログラフィックコンテンツの送信を管理するように構成された任意のシステムである。例えば、ネットワークシステム556は、LFディスプレイシステム500Aからホログラフィックコンテンツの要求を受信し、LFフィルム生成システム554からLFディスプレイシステム500Aへのホログラフィックコンテンツの送信を容易にすることができる。ネットワークシステム556はまた、LFフィルムネットワーク550内の他のLFディスプレイシステム500への送信および/またはそれらによる記憶のために、ホログラフィックコンテンツ、視聴者プロファイル、ホログラフィックコンテンツなどを記憶することができる。ネットワークシステム556はまた、前述のようにホログラフィックコンテンツを作成することができるLF処理エンジン530を含み得る。
【0169】
ネットワークシステム556は、ホログラフィックコンテンツのデジタル権利を管理するためのデジタル権利管理(DRM)モジュールを含み得る。例えば、LFフィルム生成システム554は、ホログラフィックコンテンツをネットワークシステム556に送信することができ、DRMモジュールは、デジタル暗号化フォーマットを使用してホログラフィックコンテンツを暗号化することができる。他の例では、LFフィルム生成システム554は、記録されたライトフィールドデータを、DRMモジュールによって管理することができるホログラフィックコンテンツフォーマットに符号化する。ネットワークシステム556は、各LFディスプレイシステム500が復号化でき、続いてホログラフィックコンテンツを視聴者に表示できるように、LFディスプレイシステムにデジタル暗号化への鍵を提供することができる。最も一般的には、ネットワークシステム556および/またはLFフィルム生成システム554は、ホログラフィックコンテンツを符号化し、LFディスプレイシステムは、ホログラフィックコンテンツを復号化することができる。
【0170】
ネットワークシステム556は、以前に記録および/または作成されたホログラフィックコンテンツのリポジトリとして機能することができる。ホログラフィックコンテンツの各部分は、受信されると、ネットワークシステム556に、トランザクション料金を提供するLFディスプレイシステム500にホログラフィックコンテンツを送信させる取引料金に関連付けることができる。例えば、LFディスプレイシステム500Aは、ネットワーク552を介してホログラフィックコンテンツへのアクセスを要求することができる。リクエストには、ホログラフィックコンテンツの取引手数料が含まれる。それに応答して、ネットワークシステム556は、ホログラフィックコンテンツをLFディスプレイシステムに送信して、視聴者に表示する。他の例では、ネットワークシステム556は、ネットワークシステムに記憶されたホログラフィックコンテンツのサブスクリプションサービスとしても機能することができる。別の例では、LF記録システム554は、パフォーマンスのライトフィールドデータをリアルタイムで記録し、そのパフォーマンスを表すホログラフィックコンテンツを生成している。LFディスプレイシステム500は、ホログラフィックコンテンツの要求をLF記録システム554に送信する。リクエストには、ホログラフィックコンテンツの取引手数料が含まれる。それに応答して、LF記録システム554は、LFディスプレイシステム500上での同時表示のためにホログラフィックコンテンツを送信する。ネットワークシステム556は、取引手数料を交換すること、および/またはネットワーク552を横切るホログラフィックコンテンツデータフローを管理することにおいて仲介者として機能することができる。
【0171】
ネットワーク552は、LFフィルムネットワーク550内のシステム間の通信経路を表す。一実施形態では、ネットワークはインターネットであるが、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、モバイル、有線またはワイヤレスネットワーク、クラウドコンピューティングネットワーク、プライベートネットワーク、または仮想プライベートネットワーク、およびそれらの任意の組み合わせを含むがこれらに限定されない任意のネットワークであり得る。さらに、リンクのすべてまたは一部は、セキュアソケットレイヤ(SSL)、Secure HTTP、および/または仮想プライベートネットワーク(VPN)など従来の暗号化技術を使用して暗号化できる。別の実施形態では、エンティティは、上記のものの代わりに、またはそれに加えて、カスタムおよび/または専用のデータ通信技術を使用することができる。
【0172】
LFディスプレイシステムを含む映画館
図6~8は、LFディスプレイシステム(例えば、LFディスプレイシステム500)を使用してホログラフィックコンテンツを表示することができるいくつかの例示的な映画館を示す。ホログラフィックコンテンツは、フィルムおよび/または前述のように映画館でフィルムを視聴する体験を増強させることができる任意の他のホログラフィックコンテンツを含むことができる。映画館内では、任意の数の視聴者が、任意の数のビューイングボリューム内の視聴場所に位置する。LFディスプレイシステムは、ビューイングボリューム内の視聴者がホログラフィックコンテンツを知覚できるように、映画館内のホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを表示するように構成される。一般に、映画館のLFディスプレイシステムは、1つ以上のLFディスプレイアセンブリ(例えば、LFディスプレイアセンブリ510)を含み、各々が、シームレスな集合表面を形成するLFディスプレイモジュール(例えば、LFディスプレイモジュール512)のアレイを含む。この集合表面は、例えば2つの直交する壁など、様々な相対的配向を有する複数の表面上に位置し得る。したがって、映画館のホログラフィックオブジェクトボリュームは、LFディスプレイモジュールのアレイの集合ホログラフィックオブジェクトディスプレイボリュームであり得る。
【0173】
図6Aは、1つ以上の実施形態による、LFディスプレイシステムを含む映画館600Aを示す。映画館600Aの壁の一部またはすべてには、LFディスプレイモジュールのアレイが並んでいる。LFディスプレイモジュールのアレイは、LFディスプレイ620の集合表面を形成する。例えば、図示のように、映画館の前壁626は、LFディスプレイ620を含む。図示されていないが、映画館の側壁は、いくつかの例では、LFディスプレイの一部を含み得る。映画館600Aは、行に配置され、LFディスプレイ620によって提示されるホログラフィックコンテンツを視聴するように配置されたいくつかの視聴場所642を含む。視聴場所642は、LFディスプレイシステムによって提示されたホログラフィックオブジェクト(遮るものがない)が完全に視聴可能である視聴ボリューム650の一部である。例えば、特定の視聴場所、例えば、視聴場所642Aにいるユーザは、LFディスプレイ620のホログラフィックオブジェクトボリュームに提示されたホログラフィックオブジェクトを視聴することができることになる。図示の実施形態では、視聴場所642の少なくともいくつかは、視聴者が座るための椅子を含む(例えば、視聴場所642A)。椅子がない場所もある。フィルム600Aの視聴場所642はまた、視聴場所642の視聴者がLFディスプレイ620から提示されたホログラフィックコンテンツを知覚できるように配置されている。図示されていないが、天井、床、またはその両方の一部またはすべては、LFディスプレイ620が並んでいてもよい。
図6Aでは、LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。さらに、LFディスプレイ620内のLFディスプレイモジュールは、LFディスプレイモジュール512の実施形態であり、LFディスプレイモジュール300A、210または110と同じであり得る。
【0174】
映画館600AのLFディスプレイシステムは、特定のビューイングボリューム(例えば、ビューイングボリューム650)用に最適化されている。図示の例では、ビューイングボリューム650は、視聴場所の視聴者がLFディスプレイ620によって提示されるホログラフィックコンテンツを視聴することができるように、すべての視聴場所642を含む。示されるように、LFディスプレイ620は、映画館600Aの前壁626に取り付けられている。
図6では、視聴場所642は、LFディスプレイ620の中点高さより下のビューイングボリューム650内に位置しているが、他の構成では、視聴場所642は、中点より上であり得る。LFディスプレイシステムおよび/または映画館の構成によっては、図示されている以外のビューイングボリュームも可能である。
【0175】
図6Aは、LFディスプレイ620の表示面から提示されるホログラフィックコンテンツの投影角度を示している。映画館600Aの前壁626、天井628、床629、および後壁627が示されているが、映画館は2つの側壁も含む。図示の例では、光線は、映画館600Aの形状に合わせて最適化されている。ここで、光線(または光線、光など)は、LFディスプレイ620の表示面から投影されるホログラフィックコンテンツの投影経路のうちの1つ以上を表す。光線は、表示面上のエネルギー面位置のうちの1つ以上から投影され得る。例えば、ホログラフィックコンテンツの第1の部分を表す光線は、表示面上のエネルギー面位置の第1のサブセット(例えば、LFディスプレイの「上部」)から複数の投影経路に沿って投影される。同様に、ホログラフィックコンテンツの第2の部分を表す光線は、表示面上のエネルギー位置の第2のサブセット(例えば、LFディスプレイの「底部」)から複数の投影経路に沿って投影される。
【0176】
図6Aの構成では、LFディスプレイ620は、LFディスプレイ620の上部および下部から、それぞれ、光線の上部グループ602および光線の下部グループ608を生成する。偏向光線610を中心とする光線602の上部グループは、偏向角度604でLFディスプレイ620の上部から投影される。偏向(または偏向)角度は、ホログラフィックコンテンツの一部が表示面から投影される可能性のある角度である。偏向角度は、ホログラフィックコンテンツの元の投影角度とは異なる場合がある。例えば、上記のように、LFディスプレイシステムは、元の投影角度(例えば、表示面620の法線)で投影するためのホログラフィックコンテンツを生成することができ、LFディスプレイシステム(すなわち、映画館600aのように)は、偏向角度624で投影するために、ホログラフィックコンテンツの光線を修正する(例えば、光学系、フィルム、導波路などを介して)。
【0177】
偏向角度604は、様々な方法で定義することができる。例えば、偏向角度は、(i)LFアレイ表面法線606に対する偏向光線610間の角度、(ii)1つ以上のエネルギー位置から投影されたホログラフィックコンテンツの一部の複数の投影経路の平均角度、(iii)1つ以上のエネルギー位置から投影されたホログラフィックコンテンツの一部の複数の投影経路の正中角、または(iv)偏向角度604の別の適切な定義であり得る。さらに、上記のように、偏向角度604は、ホログラフィックコンテンツの元の投影角度に対して測定され得る。元の偏向角度は、様々な方法で定義することができる。例えば、元の投影角度は、(i)投影角度で投影されていないホログラフィックコンテンツの一部の複数の投影経路の尺度(例えば、平均、中央値など)、(ii)表示面の法線、(iii)ホログラフィックコンテンツを生成するエネルギーデバイスから投影されたパスの尺度、または(iv)元の投影角度の別の適切な定義であり得る。
【0178】
別の例では、元の投影角度および偏向角度604は、LFディスプレイシステムの光軸に対して定義され得る。光軸は、様々な方法で定義され得る。例えば、光軸は、(i)表示面上のエネルギー面位置から投影される光線の伝搬経路の方向、(ii)エネルギー面位置から投影されるすべての光線の平均エネルギーベクトル、(iii)投影されたホログラフィックコンテンツが対称(例えば、回転、水平、垂直など)である光線(例えば、最も中央の光線)、または(iv)光軸の別の適切な定義であり得る。
【0179】
光軸は、元の光軸または偏向した光軸であり得る。元の光軸は、元の投影角度で投影されたホログラフィックコンテンツの光軸である。偏向光軸は、偏向投影経路に投影されたホログラフィックコンテンツの光軸である。このように、偏向角度604は、元の光軸と偏向された光軸との間の角度である。
【0180】
偏向角度604は、映画館600Aの視聴場所642に対して下向きに向けられている。直交光線612を中心とする光線608の下部グループは、LFディスプレイ620の下部から映画館600Aの後方に向かって真っ直ぐ前方に投影される(すなわち、偏向角なしで)。言い換えれば、光線の下部グループ608は、LFディスプレイ620表面に垂直に投影された光線(直交光線612として示されている)を中心としている。LFディスプレイ620の下部からの直交光線612およびLFディスプレイ620の上部からの偏向光線610は、異なる方向に示されているが、いくつかの例では、実質的に同様の方向であり得る。
【0181】
偏向光線610の周りの光線のトップグループ602の角度広がりは、上部垂直視野614である。直交光線612の周りの光線の下部グループ608の角度広がりは、下部垂直視野616である。図示のように、上部垂直視野614および下部垂直視野616の角度広がりはほぼ等しいが、異なる可能性がある。上部垂直視野614と下部垂直視野616は重なり合って、映画館600Aのビューイングボリューム650を形成する。水平視野は、LFディスプレイ620の左側および右側から投影される光線のグループによって形成される。水平視野の一例が
図4Eに示されている。
【0182】
いくつかの実施形態では、LFディスプレイ620の上部と下部との間の位置から投影される光線は、表面法線606に対する角度が、ディスプレイの上部の偏向角度604と直交光線612によって形成される法線に対応するディスプレイの下部とのゼロとの間で変化する光線によって定義され得る。言い換えれば、LFディスプレイ620上の異なる点から投影された光線は、偏向角度604とLFディスプレイ620の法線606との間の異なる角度で偏向され得る。いくつかの構成では、偏向角の変化は、LFディスプレイ620の表面を横切る勾配であり得る。例えば、LFディスプレイ620の中央から投影される光線(例えば、光線618)は、中間偏向角622で投影され得る。中間偏向角622は、ゼロ角度(直交光線612には偏向角がないため)と偏向角604との間の値を有する。勾配偏向角の利点は、LFディスプレイ620から投影されたホログラフィックオブジェクトのビューイングボリュームが、固定ディスプレイFOVに対して最大化され得ることである。
【0183】
追加的に、表示面620から異なる偏向角度で投影されたホログラフィックコンテンツは、異なる視野から視聴可能であり得る。例えば、ホログラフィックコンテンツの第1の部分は、例えば、第1の偏向角で表示面620の上部近くのエネルギー面位置から投影される。同様に、ホログラフィックコンテンツの第2の部分は、例えば、第2の偏向角で表示面の中央近くのエネルギー面位置から投影される。この場合、第1および第2の偏向角に応じて、ホログラフィックコンテンツの第1の部分は、第1の視野から知覚され得、ホログラフィックコンテンツの第2の部分は、第2の視野から知覚され得る。第1の視野および第2の視野は、LFディスプレイの構成および所望の偏向角度に応じて、類似または非類似であり得る。
【0184】
いくつかの構成では、光学層により、投影された光線が偏向角で偏向される。いくつかの例では、光学層は、表示面上の導波路層の前に配置され得る。この場合、偏向角は、LFディスプレイ620上の光学系の位置の関数であり得る。様々な実施形態において、光学層は、様々な特性を有するプリズム、様々な屈折率または鏡面層を有するガラスの層、薄膜、回折格子などを含む屈折光学の層を含み得る。光学層は、特定のビューイングジオメトリに合わせて最適化され、LF表示面に結合されることで、比較的少ない費用でビューイングボリュームをカスタマイズすることができる。別の構成では、エネルギー導波路層により、導波路を離れる投影された光線が偏向角で偏向される。導波路は、傾斜しているか、傾斜したセクションまたはファセットを含んでいるか、または傾斜した光軸を有する複数の屈折要素を含んでいてもよい。
【0185】
図6Bは、1つ以上の実施形態による、LFディスプレイシステムを含む映画館600Bを示す。LFディスプレイモジュールのアレイは、映画館の前壁にあるLFディスプレイ620の集合表面を形成する。図示されていないが、天井の一部またはすべて、床の一部またはすべて、あるいはその両方は、LFディスプレイ620が並んでいてもよい。映画館600Bは、行に配置され、LFディスプレイ620によって提示されるホログラフィックコンテンツを視聴するように配置されたいくつかの視聴場所642を含む。
図6Bでは、LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。さらに、LFディスプレイ620内のLFディスプレイモジュールは、LFディスプレイアセンブリ510のLFディスプレイモジュールの実施形態である。
【0186】
映画館600BのLFディスプレイシステムは、
図6Aに記載されている映画館600Aのものと同様の変化する光線偏向角を含まない。すなわち、
図6Bでは、偏向角度(例えば、偏向角度604)では偏向光線(例えば、偏向光線610)は存在しない。光線602の上部グループは、表面法線606を中心とし、光線608の下部グループは、直交光線612を中心とする。言い換えれば、表示面の各位置からの光線のグループは、表示面の法線の周りに対称的に投影される。その結果、ホログラフィックビューイングボリュームは、ディスプレイの中心に対して対称的に配置され、LFディスプレイシステムは、映画館のすべての視聴場所642にホログラフィックコンテンツを提示するように最適化されていない。例えば、図示の構成では、LFディスプレイ620は、視聴場所642のいずれも含まないビューイングボリューム655にホログラフィックコンテンツを提示する。
【0187】
したがって、偏向角度で光線を投影することができる映画館は、(光線を偏向することができない映画館と比較して)LFディスプレイシステムの全体的な視野が増加している。同様に、光線が偏向角度で投影されると、ビューイングボリュームとLFディスプレイとの間の分離が減少し、ホログラフィックオブジェクトボリュームとビューイングボリュームとの間の近接度が増加する。これらの改善の理由は、
図4Cおよび4Dならびに周囲の表面に関する説明と同様である。言い換えると、偏向角度で光線を投影すると、事実上、完全に平面の表面から周囲の表面が作成される。
【0188】
様々な例において、LFディスプレイは、赤外線、可視、または紫外線電磁スペクトルの光線を偏向するように構成され得る。場合によっては、これらのレジームのうちの1つ以上からの光線を偏向させるように構成された偏向光学系が、LFディスプレイシステムによって使用され得る。他のタイプのエネルギーも、LFディスプレイシステムによって偏向される可能性がある。例えば、集合表面が電磁エネルギーと超音波エネルギーの両方を投影する二重エネルギー面である場合、音響材料の層を使用して、音を様々な角度で偏向させ得る。偏向された音波は、偏向された光線で説明されたものと同様の利点を達成する可能性がある。音波を偏向させるために使用できるいくつかの材料には、負の音響インピーダンスを示す音響メタマテリアル、または適切な音響特性を備えた他の材料が含まれる場合がある。
【0189】
図7Aは、1つ以上の実施形態による、LFディスプレイシステムを含む映画館700の斜視図を示す。映画館700は、別の側壁、天井、および後壁も含むが、映画館700の前壁710、側壁712、および床714が示されている。ここで、映画館700の前壁および側壁(例えば、側壁712)は、LFディスプレイモジュールが並べられている。LFディスプレイモジュールのアレイは、LFディスプレイ720の集合表面を形成する。図示されていないが、天井の一部またはすべて、床の一部またはすべて、あるいはその両方は、LFディスプレイ720が並んでいてもよい。映画館の視聴場所642は、視聴場所642の視聴者が、LFディスプレイ720から提示されたフィルムおよび/またはホログラフィックコンテンツを知覚できるように配置されている。
図7Aでは、LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。さらに、アレイ720内のLFディスプレイモジュールは、LFディスプレイアセンブリ510内のLFディスプレイモジュール512の実施形態である。LFディスプレイシステムは、
図6に記載されるような偏向光学系を含み得る。
【0190】
図7Bは、LFディスプレイ720から提示されたホログラフィックコンテンツ722を備えた
図7Aの映画館700の斜視図を示す。この例では、映画館700は、LFディスプレイ720を使用してフィルム「Jungle Book II:Shere Khan's Revenge」を上映している。したがって、ホログラフィックコンテンツ722は、映画館700の視聴場所642の視聴者の前および横に、LFディスプレイ720によって投影されたジャングルシーンを含む。視聴者を囲む複数の表示面からホログラフィックビデオを上映すると、視聴者の前の単一の面からビデオを表示するよりも没入型体験が得られる。この場合、フィルムの配給業者は、映画館700がフィルムを上映するときにLFディスプレイ720から提示するためにホログラフィックコンテンツ722を提供した。すなわち、ジャングルシーンは、フィルムの配給業者によって提供され、データストア(例えば、データストア522)に記憶され、LFディスプレイシステムによってアクセスされ、その後、映画館700の壁にLFディスプレイ720によって提示される。別の例では、フィルムの配給業者は、受信する映画館の場所の形状にとらわれないベクトル化されたデータとして、商用ネットワーク(例えば、ネットワーク552)を介してホログラフィックコンテンツを送信する。映画館700のLFディスプレイシステム500は、ベクトル化されたデータを復号し、映画館のLFディスプレイ720の特定の形状および解像度のホログラフィックコンテンツを生成する。
【0191】
図8は、1つ以上の実施形態による、ホログラフィックコンテンツを提示するLFディスプレイシステムを含む映画館800の斜視図である。映画館は、別の側壁、天井、および後壁も含むが、映画館800の前壁810、側壁812、および床814が示されている。映画館800の前壁810および側壁(例えば、側壁812)は、LFディスプレイモジュールが並べられている。LFディスプレイモジュールのアレイは、LFディスプレイ820の集合表面を形成する。追加的に、天井の一部またはすべて(図示せず)、床814の一部またはすべて、またはその両方にも、LFディスプレイ820が並んでいてもよい。映画館800は、行に配置され、視聴場所642の視聴者がLFディスプレイ820から提示されたホログラフィックコンテンツを知覚できるように配置されたいくつかの視聴場所642を含む。
図8では、LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。さらに、アレイ820内のLFディスプレイモジュールは、LFディスプレイアセンブリ510のLFディスプレイモジュール512の実施形態である。
【0192】
図8は、LFディスプレイ820から提示されたホログラフィックコンテンツ822を備えた映画館800を示している。この例では、古典的なフィルム「Invasion of the AA Aliens!」は、視聴場所642の視聴者がフィルムを視聴することができるように、前壁のLFディスプレイ820から投影されている。LFディスプレイ820はまた、視聴場所642の上のホログラフィックオブジェクトボリューム内のホログラフィックコンテンツ822を提示する。ここで、アレイ820は、図示していないが、すべてのLF表示面の前後に広がるホログラフィックオブジェクトボリュームを介して、多数の空飛ぶ円盤が大々的に浮遊している様子を含むホログラフィックコンテンツ822を提示している。LFディスプレイシステム820は、配給業者から受信されたフィルムがフィルムのホログラフィックコンテンツトラックを含むので、不吉な空飛ぶ円盤を表示する。ホログラフィックコンテンツトラックは、LFディスプレイシステムを備えたフィルムを上映する映画館800での同時提示のためのホログラフィックコンテンツを含む。したがって、フィルムがアレイ820から投影されると、LFディスプレイシステムは、データストア(例えば、データストア522)から対応するホログラフィックコンテンツ822にアクセスし、ホログラフィックコンテンツ822を、LFディスプレイ820の各表面の前と後ろの両方に広がるホログラフィックオブジェクトボリューム内に提示する。LFディスプレイシステムによって映画館800に提示された空飛ぶ円盤のホログラフィックコンテンツ822は、「緊張」および「差し迫った破滅」の感情を増大させることによって、視聴者の体験を向上させる可能性がある。
【0193】
図9Aおよび9Bは、1つ以上の実施形態による、ホログラフィックコンテンツを異なるグループの視聴場所に提示するLFディスプレイシステムを備えた映画館900を示す。
図9Aは、映画館の前部の第1のグループの視聴場所に提示されるホログラフィックコンテンツを示し、
図9Bは、映画館の後部の第2のグループの視聴場所に提示されるホログラフィックコンテンツを示す。映画館900は、別の側壁、天井、および後壁も含むが、映画館900の前壁910、側壁912、および床914が示されている。映画館900の前壁910および側壁(例えば、側壁912)は、LFディスプレイモジュールが並べられている。LFディスプレイモジュールのアレイは、LFディスプレイ820の集合表面を形成する。追加的に、天井の一部またはすべて(図示せず)、床の一部またはすべて、またはその両方にも、LFディスプレイ920が並んでいてもよい。映画館900は、行に配置され、視聴場所642の視聴者がLFディスプレイ920から提示されたホログラフィックコンテンツを知覚できるように配置されたいくつかの視聴場所642を含む。この例では、説明の便宜上、視聴場所は、第1のグループ942A、第2のグループ942B、および第3のグループ942Cに分割されている。
図9Aおよび9Bでは、LFディスプレイシステムは、LFディスプレイシステム500の一実施形態である。さらに、アレイ920内のLFディスプレイモジュールは、LFディスプレイアセンブリ510のLFディスプレイモジュール512の実施形態である。
【0194】
映画館900は、いくつかの異なるビューイングサブボリュームも含む。それらの形状は複雑であるため、ビューイングサブボリュームは図示されていない。ビューイングサブボリュームは、LFディスプレイ920のビューイングボリュームのサブボリュームである。LFディスプレイ920の視聴音量は、図示のように、映画館900とほぼ同じサイズである。したがって、ビューイングサブボリュームは、映画館900のボリュームの一部である。例えば、ビューイングサブボリュームは、視聴場所の第1のグループ942A、視聴場所942Bの第2のグループ、視聴場所942Cの第3のグループ、またはそれらのいくつかの組み合わせを取り囲むボリュームに対応し得る。
【0195】
この例では、フィルム「Basic Witches」は、視聴場所642の視聴者がフィルムを視聴できるように、LFディスプレイ920によって投影されている。さらに、映画館900内のすべての視聴者は、同様の方法で、映画館900の前壁910からLFディスプレイ920から投影されたフィルムを視聴する。すなわち、映画館900の前壁910から提示されたホログラフィックコンテンツは、映画館900のすべての視聴者によって見られ得る。しかしながら、映画館のLFディスプレイシステムは、グループ942A、942B、および942Cの周囲のサブボリュームを視聴する際に、側壁912上のLFディスプレイから投影されたホログラフィックコンテンツが異なるように構成される。すなわち、LFディスプレイシステムは、異なるホログラフィックコンテンツを異なる視聴サブボリュームに提示し得る。説明のために、映画館900の後ろにある第3のグループ942Cの視聴場所にいる視聴者は、映画館900の前にある第1のグループ942Aの視聴場所にいる視聴者が知覚できないホログラフィックコンテンツを知覚することができる。この原理は、映画館900のどのビューイングサブボリュームにも当てはまる可能性がある。
【0196】
図9Aおよび9Bは、異なるビューイングサブボリュームで視聴者に異なるホログラフィックコンテンツを提示する映画館900のLFディスプレイシステムを示す。
【0197】
例えば、
図9Aでは、側壁912上のLFディスプレイ920は、映画館900の前部の第1のグループ942A(例えば、第1の特定のビューイングサブボリューム)の視聴者にホログラフィックコンテンツ922を提示する。映画館900の他のグループ(例えば、942Bおよび942C)の視聴場所にいる視聴者は、同じホログラフィックコンテンツ922を見ることができないかもしれない。この例では、LFディスプレイ920は、スコットランドの湿原の哀愁を帯びた野原を含むホログラフィックコンテンツを、映画館900の前壁910に最も近い視聴場所の第1のグループ942Aの視聴者に提示する。
【0198】
図9Bでは、LFディスプレイ920は、ホログラフィックコンテンツ923を、映画館900の背面にある視聴場所の第3のグループ942C(例えば、第2の特定のビューイングサブボリューム)に提示し、そのグループの視聴場所の視聴者が、第3のグループ942Cの視聴者のために生成されたホログラフィックコンテンツ923を知覚できるようにする。映画館900の他のグループ(例えば、942Aおよび942B)の視聴場所の視聴者は、同じホログラフィックコンテンツを見ない(例えば、代わりにホログラフィックコンテンツ922を視聴することができる)。この例では、LFディスプレイ920は、スコットランドの湿原の哀愁を帯びた野原に位置するお化け屋敷を出て、映画館900の後方の第3のグループ942Cに向かうゾンビの大群を含むホログラフィックコンテンツ923を提示する。
【0199】
異なるホログラフィックコンテンツ(例えば、ホログラフィックコンテンツ922または923)を異なるビューイングサブボリュームの視聴者に提示することにより、LFディスプレイシステムは、異なるビューイングサブボリュームの視聴者の視聴体験を異なる方法で増強することができる。例えば、劇場の「雰囲気」は、ビューイングサブボリュームごとに異なる場合がある。説明のために、
図9A~9Bを参照すると、映画館900の後方の第3のグループ942Cのユーザに提示されるホログラフィックコンテンツ923は、映画館900の前部の第1のグループ942Aの視聴者に提示されるホログラフィックコンテンツ922よりも強い。この場合、映画館は、異なるビューイングサブボリュームで視聴場所に対して、フィルムの評価が異なる場合がある。例えば、Basic Witchesは、第1のグループ942Aの視聴者にはPGと評価され、第3のグループ942Cの視聴者にはRと評価される。別の例では、ホログラフィックコンテンツの音声コンテンツを、(例えば、オーディオビームフォーミングを使用して)異なるビューイングサブボリュームにターゲットを絞ることができる。したがって、例えば、第1のグループ942Aの視聴者は、汚い言葉を含まない音声ホログラフィックコンテンツを聞くことができ、一方、第3のグループ942Cの視聴者は、汚い言葉を含む音声ホログラフィックコンテンツを聞くことができる。
【0200】
特に、
図6~9は、同様に構造化された映画館を示している。すなわち、各映画館は、壁と床の特定の向き、および映画館内の視聴場所の特定の配置を含む、同様の構成を有する。構成は、ほぼ直交する前壁、2つの側壁、後壁、および天井を含む。この構成は、前壁から後壁に向かって勾配を付けて上昇する傾斜した床も含む。映画館のLFディスプレイは、視聴者が、主に、前壁および/または側壁から提示されたホログラフィックコンテンツを視聴するように構成される。この構成は、3つのセクションに配置された視聴場所を含み、各セクションは、20席の座席を3列含む。座席の各列は、前壁とほぼ平行に配置されている。視聴場所の各セクションは、ビューイングボリュームに対応する。
図6~9の映画館の構成が例として示されているが、他の多くの構成が可能である。例えば、
図4C~4Fの構成のいずれも、映画館のLFディスプレイシステムに適用可能であり得る。
【0201】
映画館の視聴者にコンテンツを表示する
図10は、LFフィルムネットワーク(例えば、LFフィルムネットワーク550)のコンテキストで、映画館(例えば、映画館700、映画館800、または映画館900)の視聴者にホログラフィックコンテンツを表示するための方法1000の流れ図である。方法1000は、追加またはより少ないステップを含み得、ステップは、異なる順序で起こり得る。さらに、様々なステップ、またはステップの組み合わせは、方法の実行中に何度でも繰り返すことができる。
【0202】
LFディスプレイシステム500は、1010で、ホログラフィックコンテンツ(例えば、フィルムの、および/またはフィルムを増強するための)の要求を、ネットワーク552を介してネットワークシステム556に送信する。
【0203】
一実施形態では、LFフィルム生成システム554は、ホログラフィックコンテンツを作成し、対応するホログラフィックコンテンツをネットワークシステム556に送信する。他の実施形態では、ネットワークシステム556は、データストアから以前に生成されたホログラフィックコンテンツにアクセスすることができる。ネットワークシステム556は、ホログラフィックコンテンツをLFディスプレイシステム500に送信して、映画館の視聴者に提示できるようにする。
【0204】
LFディスプレイシステム500は、1020で、ネットワーク552を介してネットワークシステム556からホログラフィックコンテンツを受信する。
【0205】
LFディスプレイシステム500は、1030で、映画館および/またはLFディスプレイシステムの構成を決定する。例えば、LFディスプレイシステム500は、映画館のレイアウトおよび/または構成、ならびに映画館に含まれるLFディスプレイシステム500のハードウェア構成を説明するいくつかのパラメータを含む構成ファイルにアクセスすることができる。パラメータは、例えば、LFディスプレイFOV、パネル構成、パネル解像度、座席ビューイングサブボリューム、ホログラフィックオブジェクトボリュームジオメトリ、体積触覚投影パラメータ、フィルムを増強するための2Dパネルのレイアウト、その他の利用可能な感覚デバイス、劇場ハードウェアのその他の詳細などを含み得る。説明のために、構成ファイルは、映画館での視聴場所の場所、間隔、およびサイズを含み得る。したがって、LFディスプレイシステム500は、前部3列の視聴場所が第1のビューイングサブボリューム内にあり、中央の3列の視聴場所が第2の表示サブボリューム内にあり、後部3列の視聴場所が第3のビューイングサブボリューム内にあると決定し得る。他の様々な実施形態では、LFディスプレイシステム500は、映画館内の任意の場所でビューイングサブボリュームの任意の数および構成を決定し得る。場合によっては、ビューイングサブボリュームの数と構成は、映画館のサイズに基づいている可能性がある。例えば、小さな映画館は、大きな映画館と比較して、各ビューイングサブボリューム内の視聴場所が少ない場合がある。いくつかの例では、ビューイングサブボリュームは、映画館全体または映画館の他の部分であり得る。他の例では、コンテンツは、コンテンツプロバイダからの指示に応じて、異なる聴衆の視聴量に合わせて調整され得る。
【0206】
LFディスプレイシステム500は、1040で、映画館内のLFディスプレイシステムのハードウェア構成、および映画館の特定のレイアウトおよび構成に基づいて、LFディスプレイシステム上に提示するためのホログラフィックコンテンツ(および他の感覚コンテンツ)を生成する。様々な例において、フィルムは、劇場のスクリーン上に、または映画館のLFディスプレイシステムから表示され得る。表示のためのホログラフィックコンテンツの決定は、映画館またはビューイングサブボリュームのためにホログラフィックコンテンツを適切にレンダリングすることを含むことができる。例えば、LFディスプレイシステム500は、インタラクティブなホログラフィックコンテンツ(例えば、視聴者が触れることができる)をそのビューイングサブボリュームに表示することによって、特定のビューイングサブボリュームのフィルムを増強することができる。他のビューイングサブボリュームには、インタラクティブなホログラフィックコンテンツを有していない場合がある。
【0207】
LFディスプレイシステム500は、1050で、各ビューイングボリューム内の視聴場所にいる視聴者が適切なパフォーマンスコンテンツを知覚するように映画館のホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを提示する。例として、特定のビューイングサブボリュームの視聴者は、インタラクティブなホログラフィックコンテンツを知覚し、他のビューイングサブボリュームの視聴者は知覚しない。追加的に、LFディスプレイシステムは、異なるビューイングサブボリュームの視聴者が異なる音声コンテンツを知覚するように、異なる音声コンテンツを提示し得る。
【0208】
LFディスプレイシステム500は、視聴者がいつでもフィルムまたはホログラフィックコンテンツを視聴している間、ビューイングサブボリューム内の視聴者に関する情報を決定することができる。例えば、追跡システムは、ビューイングサブボリューム内の視聴者の顔の応答を監視することができ、視聴者プロファイリングモジュールは、それらのビューイングサブボリューム内の視聴者の特性に関する情報にアクセスすることができる。
【0209】
LFディスプレイシステムは、決定された情報に基づいて視聴者に提示するためのホログラフィックコンテンツを作成(または変更)することができる。例えば、LF処理エンジンは、視聴者について決定された情報に基づいて、フィルムのクレジット中に表示するための花火ショーを作成することができる。
【0210】
追加の構成情報
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。特に、前述の説明は、映画館の視聴者にライトフィールドディスプレイアセンブリを使用してホログラフィックコンテンツを提示することを説明した。しかしながら、本明細書で説明される原理、方法、およびシステムは、ホログラフィックコンテンツを他の様々な場所の聴衆に提示することに、より広く適用することができる。例えば、コンテンツは、屋外劇場、看板または広告、建物の壁などに表示され得る。
【0211】
本明細書のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現の観点から、本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の当業者によって、自らの作業の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的、計算的、または論理的に説明される一方、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、これらの操作の配置を、一般性を損なうことなく、モジュールと呼ぶことが場合によっては好都合であることも判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せにおいて具現化され得る。
【0212】
本明細書に記載の工程、操作、またはプロセスのうちのいずれかが、1つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独で、または他のデバイスと組合せて、実行または実装され得る。一実施形態では、ソフトウェアモジュールは、説明された工程、操作、またはプロセスのうちのいずれかまたはすべてを実行するために、コンピュータプロセッサによって実行され得るコンピュータ・プログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
【0213】
本開示の実施形態はまた、本明細書の操作を実行するための装置に関し得る。この装置は、要求された目的のために特別に構築され得、および/または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
【0214】
本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生み出される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品または他のデータの組合せの任意の実施形態を含み得る。
【0215】
最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。
【国際調査報告】