▶ ライト フィールド ラボ、インコーポレイテッドの特許一覧
特表2022-525862車両拡張のためのライトフィールドディスプレイシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-20
(54)【発明の名称】車両拡張のためのライトフィールドディスプレイシステム
(51)【国際特許分類】
G09G 5/00 20060101AFI20220513BHJP
G02B 30/10 20200101ALI20220513BHJP
G02B 30/33 20200101ALI20220513BHJP
G09G 5/36 20060101ALI20220513BHJP
G09G 5/377 20060101ALI20220513BHJP
B60R 1/22 20220101ALI20220513BHJP
B60K 35/00 20060101ALI20220513BHJP
G06F 3/01 20060101ALI20220513BHJP
G09G 5/38 20060101ALI20220513BHJP
【ＦＩ】
G09G5/00 510Z
G02B30/10
G02B30/33
G09G5/36 510V
G09G5/36 520L
G09G5/00 530M
G09G5/00 510V
G09G5/00 510B
G09G5/36 510M
G09G5/00 550C
G09G5/00 510H
B60R1/22
B60K35/00 Z
B60K35/00 A
G06F3/01 560
G06F3/01 570
G09G5/00 510Q
G09G5/38 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021555192
(86)(22)【出願日】2019-12-19
(85)【翻訳文提出日】2021-09-17
(86)【国際出願番号】 US2019067433
(87)【国際公開番号】W WO2020185280
(87)【国際公開日】2020-09-17
(31)【優先権主張番号】16/352,695
(32)【優先日】2019-03-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519006883
【氏名又は名称】ライト フィールド ラボ、インコーポレイテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】カラフィン、ジョナサン、シーン
(72)【発明者】
【氏名】ベヴェンシー、ブレンダン、エルウッド
(72)【発明者】
【氏名】ドーム、ジョン
【テーマコード（参考）】
2H199
3D344
5C182
5E555
【Ｆターム（参考）】
2H199BA20
2H199BA45
2H199BA49
2H199BB54
3D344AA19
3D344AA26
3D344AA30
3D344AC25
3D344AD01
3D344AD05
5C182AA02
5C182AA03
5C182AA04
5C182AA05
5C182AA11
5C182AA12
5C182AA27
5C182AB15
5C182AB25
5C182AB26
5C182AC03
5C182AC04
5C182AC43
5C182AC46
5C182BA14
5C182BA55
5C182BA56
5C182BA65
5C182BA66
5C182BA75
5C182BB04
5C182BB12
5C182BB13
5C182CA21
5C182CA54
5C182CB41
5C182CB44
5C182CB52
5C182CC21
5C182CC27
5E555AA04
5E555AA08
5E555AA27
5E555AA71
5E555BA23
5E555BA24
5E555BA29
5E555BB23
5E555BB24
5E555BB29
5E555BC18
5E555BC20
5E555BC21
5E555BE17
5E555CA41
5E555CA42
5E555CB66
5E555CB74
5E555CB78
5E555CC01
5E555DA11
5E555DA26
5E555DB31
5E555DC13
5E555DC30
5E555DC84
5E555DD06
5E555EA14
5E555EA22
5E555FA00
(57)【要約】
車両の拡張のためのライトフィールド（ＬＦ）ディスプレイシステム。ＬＦディスプレイシステムは、車両の表面（例えば、内部および／または外部）を形成するＬＦディスプレイモジュールを含む。ＬＦディスプレイモジュールは、各々表示エリアを有しており、一緒にタイル張りされて、表示エリアよりも大きい有効表示エリアを有するシームレスな表示面を形成する。ＬＦディスプレイモジュールは、有効表示エリアからのホログラフィックコンテンツを提示する。
【選択図】図２Ａ
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
ライトフィールド（ＬＦ）ディスプレイシステムであって、車両の内部の内面に装着された少なくとも１つのＬＦディスプレイモジュールを含み、前記少なくとも１つのＬＦディスプレイモジュールが、前記少なくとも１つのＬＦディスプレイモジュールの表示面に対して複数の場所に１つ以上のホログラフィックオブジェクトを提示するように構成されたＬＦディスプレイアセンブリであって、前記場所が、前記表示面と前記少なくとも１つの表示面のビューイングボリュームとの間の場所を含む、ＬＦディスプレイアセンブリを備える、ＬＦディスプレイシステム。
【請求項2】
前記１つ以上のホログラフィックオブジェクトのホログラフィックオブジェクトが、二次元オブジェクト、三次元オブジェクト、制御ボタン、制御スイッチ、制御ダイヤル、ステアリング制御インターフェース、計器クラスタ、音楽制御インターフェース、エンターテインメントビデオ制御インターフェース、温度制御インターフェース、窓制御インターフェース、ドア制御インターフェース、マッピング制御インターフェース、コンピュータインターフェース、シフタ、前記車両用の何らかの他の制御インターフェース、またはそれらの何らかの組み合わせからなる群から選択される、１のＬＦディスプレイシステム。
【請求項3】
前記１つ以上のホログラフィックオブジェクトのうちのホログラフィックオブジェクトが、前記車両の場所に関する情報を示すナビゲーション画面、ナビゲーションエイド、ナビゲーション方向インジケータ、ナビゲーション情報、推奨される車両ルート、前記車両の周辺に関連する画像、運転者が道路への集中を維持できるように前記運転者の前に投影されるナビゲーションコンテンツ、前記車両の近くの実際のオブジェクトにオーバーレイされるナビゲーションもしくは情報コンテンツ、またはそれらの何らかの組み合わせからなる群から選択される、請求項１に記載のＬＦディスプレイシステム。
【請求項4】
前記表示面が複数の表面場所を含み、各表面場所が、その場所で前記表示面を離れる光の対称軸を画定する光軸に沿ってホログラフィックコンテンツの一部分を投影するように構成され、前記複数の表面場所が、前記表示面の法線に対して第１の角度で傾斜している光軸を有する表面場所の第１のサブセットを含む、請求項１に記載のＬＦディスプレイシステム。
【請求項5】
前記複数の表面場所の第２のサブセットが、前記表示面の前記法線に対して第２の角度で傾斜している光軸に沿って前記ホログラフィックコンテンツの異なる部分を投影する、請求項４に記載のＬＦディスプレイシステム。
【請求項6】
少なくとも部分的に透明である二次元（２Ｄ）ディスプレイであって、前記２Ｄディスプレイが、前記表示面からの光が前記２Ｄディスプレイを通過するように、前記表示面と前記ビューイングボリュームとの間に配置されており、前記光の少なくとも一部が、前記１つ以上のホログラフィックオブジェクトを形成する、２Ｄディスプレイをさらに備える、請求項１に記載のＬＦディスプレイシステム。
【請求項7】
前記１つ以上のホログラフィックオブジェクトのうちの少なくとも１つが、コントローラからの命令に応答して動的に変化する、１の請求項に記載のＬＦディスプレイシステム。
【請求項8】
前記命令が、ユーザ入力、車両ステータスの変化、ナビゲーションリマインダ、携帯電話通話、事前にプログラムされてもよい何らかの他のイベントおよびそれらの何らかの組み合わせを含む群から選択されるイベントに応答してコントローラによって生成される、７の請求項に記載のＬＦディスプレイシステム。
【請求項9】
ユーザの動きを追跡するように構成された追跡システムをさらに備え、コントローラが、
前記追跡された動きが前記少なくとも１つのホログラフィックオブジェクトとインタラクションするジェスチャであることを決定すること、および、
前記ジェスチャに基づいて動作を行うこと、を行うように構成されている、１の請求項に記載のＬＦディスプレイシステム。
【請求項10】
前記動作が、ホログラフィックオブジェクトを調整すること、前記車両の動作状態を調整すること、前記車両の制御インターフェースを調整すること、前記車両の内部構成を調整すること、前記１つ以上のホログラフィックオブジェクトの配置を調整すること、ネットワーク上でデータを転送すること、電話通話を実行すること、ナビゲーションの更新を実行すること、またはそれらの何らかの組み合わせ、を含む、９の請求項に記載のＬＦディスプレイシステム。
【請求項11】
前記追跡システムが、少なくとも１つのＬＦディスプレイモジュールの一部であり、前記少なくとも１つの前記ＬＦディスプレイモジュールが、ホログラフィックオブジェクトを投影すると同時に、前記表示面に隣接する局所エリアからの光を感知する双方向ＬＦ表示面を有する、９の請求項に記載のＬＦディスプレイシステム。
【請求項12】
前記感知される光が、ライトフィールドである、１１の請求項に記載のＬＦディスプレイシステム。
【請求項13】
ユーザ入力に応じて、前記車両の動作状態、前記車両の制御インターフェース、前記車両の内部構成、前記１つ以上のホログラフィックオブジェクトのうちの少なくとも１つ、前記１つ以上のホログラフィックオブジェクトの配置、またはそれらの何らかの組み合わせのうちの１つを変更するように構成されたコントローラをさらに備える、請求項１に記載のＬＦディスプレイシステム。
【請求項14】
前記ＬＦディスプレイアセンブリが、前記ディスプレイの局所エリア内に触覚表面を生成するようにさらに構成されている、請求項１に記載のＬＦディスプレイシステム。
【請求項15】
前記触覚表面が、前記１つ以上のホログラフィックオブジェクトのうちの少なくとも１つの表面と一致する、請求項１４に記載のＬＦディスプレイシステム。
【請求項16】
ユーザの動きを追跡するように構成された追跡システムをさらに備え、コントローラが、
前記追跡された動きが前記触覚表面に関連付けられたジェスチャであることを決定すること、および、
前記ジェスチャに基づいて動作を行うこと、を行うように構成されている、請求項１４に記載のＬＦディスプレイシステム。
【請求項17】
前記動作が、ホログラフィックオブジェクトを調整すること、前記触覚表面を調整すること、前記車両の動作状態を調整すること、前記車両の制御インターフェースを調整すること、前記車両の内部構成を調整すること、前記１つ以上のホログラフィックオブジェクトの配置を調整すること、ネットワーク上でデータを転送すること、電話通話を実行すること、ナビゲーションの更新を行うこと、事前にプログラムされたイベント、またはそれらの何らかの組み合わせ、を含む、１６の請求項に記載のＬＦディスプレイシステム。
【請求項18】
前記少なくとも１つのＬＦディスプレイモジュールが、デュアルエネルギー面を含み、光と超音波の両方を投影する、請求項１４に記載のＬＦディスプレイシステム。
【請求項19】
前記表示面が、前記車両の前記内部の屋根の一部分であり、前記１つ以上のホログラフィックオブジェクトが、サンルーフをエミュレートし、かつ前記表示面のホログラフィックオブジェクトボリューム内に提示される少なくとも１つのホログラフィックオブジェクトを含む、請求項１に記載のＬＦディスプレイシステム。
【請求項20】
前記表示面が、前記車両の外壁の一部分であり、前記１つ以上のホログラフィックオブジェクトが窓状ビューをエミュレートし、かつ前記表示面のホログラフィックオブジェクトボリューム内に提示される少なくとも１つのホログラフィックオブジェクトを含む、請求項１に記載のＬＦディスプレイシステム。
【請求項21】
前記車両の外側の局所エリアの画像をキャプチャするように構成された１つ以上のカメラをさらに備え、前記少なくとも１つのＬＦディスプレイモジュールが、前記車両の前記外壁が透明な窓のように見えるように、前記キャプチャされた画像に部分的に基づいて、前記１つ以上のホログラフィックオブジェクトを更新するように構成されている、請求項２０に記載のＬＦディスプレイシステム。
【請求項22】
前記車両の外側の局所エリアの画像をキャプチャするように構成された１つ以上のカメラをさらに備え、前記ＬＦディスプレイアセンブリが、前記キャプチャされた画像に部分的に基づいて、前記１つ以上のホログラフィックオブジェクトを更新するように構成されている、請求項１に記載のＬＦディスプレイシステム。
【請求項23】
前記車両を取り巻く局所エリアの画像をキャプチャするように構成された１つ以上のカメラであって、前記局所エリアが、前記車両の内側から少なくとも部分的に見えない、１つ以上のカメラをさらに備え、前記ＬＦディスプレイアセンブリが、前記車両が透明であるかのようにレンダリングされる前記局所エリアの表現として、前記１つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツのレンダリング視点を決定するように構成されている、請求項１に記載のＬＦディスプレイシステム。
【請求項24】
前記車両を取り巻く局所エリアの画像をキャプチャするように構成された１つ以上のカメラ、前記車両の前記内部のユーザの目の場所を追跡するように構成された追跡システムをさらに備え、
前記少なくとも１つのＬＦディスプレイモジュールが、前記局所エリア内の場所に対する前記決定された目の場所に基づいて、前記１つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツのレンダリング視点を決定するように構成され、前記ホログラフィックコンテンツが、前記車両が透明であるかのようにレンダリングされる前記局所エリアの表現である、請求項１に記載のＬＦディスプレイシステム。
【請求項25】
前記車両の前記内部のユーザの場所を追跡するように構成された追跡システムをさらに備え、前記１つ以上のホログラフィックオブジェクトが、前記ユーザ用の第１のホログラフィックオブジェクトおよび同じく前記車両の前記内部にいる第２のユーザ用の第２のホログラフィックオブジェクトを含み、前記第１のホログラフィックオブジェクトが、前記ユーザに関連付けられた第１の位置に向けられ、前記第２のユーザに関連付けられた第２の位置に向けられていない、請求項１に記載のＬＦディスプレイシステム。
【請求項26】
前記第１のホログラフィックオブジェクトが、前記第２のホログラフィックオブジェクトとは異なる、請求項２５に記載のＬＦディスプレイシステム。
【請求項27】
各々がモジュール表示面エリアを有する少なくとも１つのＬＦディスプレイモジュールを含み、一緒にタイル張りされて、前記モジュール表示面エリアよりも大きい総面積を有するシームレスな表示面を形成する複数のＬＦディスプレイモジュールを備える、請求項１に記載のＬＦディスプレイシステム。
【請求項28】
前記少なくとも１つのＬＦディスプレイモジュールの前記ホログラフィックオブジェクトボリュームが、前記表示面から、前記表示面よりも前記車両の前記乗員に近い仮想表示面の周りのオフセット位置に中継される、請求項１に記載のＬＦディスプレイシステム。
【請求項29】
前記少なくとも１つのＬＦディスプレイモジュールの前記ホログラフィックオブジェクトボリュームが、二面コーナー反射器のうちの少なくとも１つを使用して中継される、請求項２８に記載のＬＦディスプレイシステム。
【請求項30】
前記少なくとも１つのＬＦディスプレイモジュールの前記ホログラフィックオブジェクトボリュームが、ビームスプリッタおよび再帰反射器を使用して中継される、請求項２８に記載のＬＦディスプレイシステム。
【請求項31】
前記車両が、第１の乗員位置および第２の乗員位置を含み、前記仮想表示面が、前記第１の乗員位置からは見え、前記第２の乗員位置からは見えないホログラフィックオブジェクトを提示する、請求項２８に記載のＬＦディスプレイシステム。
【請求項32】
前記１つ以上のホログラフィックオブジェクトが、第１のホログラフィックオブジェクトを含み、前記第１のホログラフィックオブジェクトが、前記車両内の第１の位置に関連付けられた第１のビューイングボリュームに向けられ、前記車両内の第２の位置に関連付けられた第２のビューイングボリュームを含まない、請求項１に記載のＬＦディスプレイシステム。
【請求項33】
前記１つ以上のホログラフィックオブジェクトが、第１のホログラフィックオブジェクトを含み、前記第１のホログラフィックオブジェクトが、前記車両内の第１の位置に関連付けられた第１のビューイングボリュームに向けられ、前記第１のビューイングボリュームの一部分が、前記車両内の第２の位置に関連付けられた第２のビューイングボリュームと重なる、請求項１に記載のＬＦディスプレイシステム。
【請求項34】
前記１つ以上のホログラフィックオブジェクトが、ホログラフィック運転者を含む、請求項１に記載の（ＬＦ）ディスプレイシステム。
【請求項35】
前記ライトフィールドディスプレイアセンブリが、各エネルギー面が複数の光源場所を含む１つ以上のエネルギー面を有するようにさらに構成され、前記ＬＦディスプレイシステムが、複数の導波路であって、導波路のアレイの各導波路が、前記複数の光源場所の対応するサブセットから光を受信するように構成され、各導波路が、複数の伝搬経路に沿って光を向け、前記複数の伝搬経路の各伝搬経路が、光源場所に対応し、各伝搬経路の方向が、少なくとも、前記導波路に対する前記対応する光源場所の場所によって決定される、複数の導波路をさらに備える、請求項１に記載のＬＦディスプレイシステム。
【請求項36】
ＬＦディスプレイシステムであって、車両の外面に装着された少なくとも１つのＬＦディスプレイモジュールであって、前記少なくとも１つのＬＦディスプレイモジュールが、前記少なくとも１つのＬＦディスプレイモジュールの表示面に対して複数の構成可能な物理的場所にホログラフィックオブジェクトを投影し、前記場所が、前記表示面と前記少なくとも１つの表示面のビューイングボリュームとの間の場所を含む、少なくとも１つのＬＦディスプレイモジュールを備え、
前記ホログラフィックオブジェクトが、前記車両の外観を変更する、ＬＦディスプレイシステム。
【請求項37】
前記ホログラフィックオブジェクトが、前記車両をその周囲でカモフラージュするように作用する、請求項３６に記載のＬＦディスプレイシステム。
【請求項38】
前記車両の前記外面が、前記車両の一部分の第１の側および前記第１の側とは反対の前記車両の第２の部分の第２の側を含み、前記ＬＦディスプレイシステムが、前記車両を取り巻く局所エリアの画像をキャプチャするように構成された１つ以上のカメラと、
コントローラモジュールであって、
前記キャプチャされた画像に基づいて、前記車両の前記第１の側のビューイングボリューム内の視聴者のレンダリング視点を決定するように構成された、コントローラモジュールと、をさらに備え、
前記ホログラフィックオブジェクトのうちの少なくともいくつかは、前記車両の少なくとも一部分が透明に見えるように、前記車両の前記第２の側を取り巻く前記局所エリアの部分の表現を形成する、請求項３６に記載のＬＦディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、国際出願第ＰＣＴ／ＵＳ２０１７／０４２２７５号、同第ＰＣＴ／ＵＳ２０１７／０４２２７６号、同第ＰＣＴ／ＵＳ２０１７／０４２４１８号、同第ＰＣＴ／ＵＳ２０１７／０４２４５２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６６号、同第ＰＣＴ／ＵＳ２０１７／０４２４６７号、同第ＰＣＴ／ＵＳ２０１７／０４２４６８号、同第ＰＣＴ／ＵＳ２０１７／０４２４６９号、同第ＰＣＴ／ＵＳ２０１７／０４２４７０号、および同第ＰＣＴ／ＵＳ２０１７／０４２６７９号に関連し、これらはすべて、参照によりその全体が本明細書に組み込まれる。
本出願は、国際出願第ＰＣＴ／ＵＳ２０１７／０４２２７５号、同第ＰＣＴ／ＵＳ２０１７／０４２２７６号、同第ＰＣＴ／ＵＳ２０１７／０４２４１８号、同第ＰＣＴ／ＵＳ２０１７／０４２４５２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６６号、同第ＰＣＴ／ＵＳ２０１７／０４２４６７号、同第ＰＣＴ／ＵＳ２０１７／０４２４６８号、同第ＰＣＴ／ＵＳ２０１７／０４２４６９号、同第ＰＣＴ／ＵＳ２０１７／０４２４７０号、および同第ＰＣＴ／ＵＳ２０１７／０４２６７９号に関連し、これらはすべて、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
本開示は、車両に関し、具体的には、車両拡張のためのライトフィールドディスプレイシステムに関する。
【0003】
従来の車両（例えば、個人輸送、商用輸送、政府輸送など）は、内部と外部の両方で特定の外観を持つように製造されている。さらに、この外観は固定されており、変更しにくい。例えば、車の所有者は、色を変更するために車を塗り直す必要があるであろう。同様に、制御の内部レイアウトおよび内部キャビンスペースも固定されている。例えば、計器パネル、ステアリングホイール、シフタ、窓制御、ドアロックなどの場所は所定の位置に固定されており、特定の外観を有している。車両の外観は製造時に固定され、製造後に変更するのが難しい場合があるため、車両製造業者は一般に、消費者が選択できる様々なオプション（塗装色、トリム色など）を提供する。しかし、この方法でオプションを提供することは、車両製造業者にとって費用がかかるだけでなく、ユーザに車両のせいぜい限定されたカスタマイズを提供するに過ぎない。
【発明の概要】
【0004】
車両（例えば、自動車、飛行機など）の拡張のためのライトフィールド（ＬＦ）ディスプレイシステム。ＬＦディスプレイシステムは、車両の表面（例えば、内部、外部など）を形成する少なくとも１つのＬＦディスプレイモジュールを含むＬＦディスプレイアセンブリを含む。少なくとも１つのＬＦディスプレイモジュールは、少なくとも１つのＬＦディスプレイモジュールの表示面に対して複数の場所に１つ以上のホログラフィックオブジェクト（例えば、ドア制御インターフェース、計器クラスタ、ピンストライプなど）を提示するように構成されている。場所は、表示面と少なくとも１つの表示面のビューイングボリュームとの間の場所を含む。
【0005】
いくつかの実施形態では、ホログラフィックコンテンツは、車両に命令を提供するためにユーザがインタラクションするホログラフィックオブジェクトを含み得る。例えば、いくつかの実施形態では、ＬＦディスプレイは、複数の超音波スピーカ（例えば、ＬＦディスプレイモジュールの一部として）および追跡システムを含む。複数の超音波スピーカは、ホログラフィックオブジェクトの少なくとも一部分と一致する触覚表面を生成するように構成される。追跡システムは、（例えば、ＬＦディスプレイモジュールの画像センサおよび／またはいくつかの他のカメラによってキャプチャされた画像を介して）ユーザのホログラフィックオブジェクトとのインタラクションを追跡するように構成されている。そして、ＬＦディスプレイシステムは、インタラクションに基づいて、車両に命令を提供するように構成されている。
【0006】
いくつかの実施形態では、ＬＦディスプレイシステムは、車両の外面に装着された少なくとも１つのＬＦディスプレイモジュールを含む。少なくとも１つのＬＦディスプレイモジュールは、少なくとも１つのＬＦディスプレイモジュールの表示面に対して、複数の構成可能な物理的場所にホログラフィックオブジェクトを投影する。場所は、表示面と少なくとも１つの表示面のビューイングボリュームとの間の場所を含み、ホログラフィックオブジェクトは、車両の外観を変更する。
【図面の簡単な説明】
【0007】
【図1】１つ以上の実施形態による、ホログラフィックオブジェクトを提示するライトフィールドディスプレイモジュールの図である。
【図2A】１つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
【図2B】１つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
【図3A】１つ以上の実施形態による、ライトフィールドディスプレイモジュールの斜視図である。
【図3B】１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むライトフィールドディスプレイモジュールの断面図である。
【図4A】１つ以上の実施形態による、単一面シームレス表面環境を形成するために二次元にタイル張りされたライトフィールドディスプレイシステムの一部分の斜視図である。
【図4B】１つ以上の実施形態による、多面シームレス表面環境におけるライトフィールドディスプレイシステムの一部分の斜視図である。
【図5】１つ以上の実施形態による、ライトフィールドディスプレイシステムのブロック図である。
【図6A】１つ以上の実施形態による、ライトフィールドディスプレイシステムで拡張された車両の斜視図である。
【図7A】１つ以上の実施形態による、ライトフィールドディスプレイシステムで拡張された車両の内部の斜視図である。
【図8】１つ以上の実施形態による、拡張された窓を含むライトフィールドディスプレイシステムで拡張された車両の内部の斜視図である。
【図9】１つ以上の実施形態による、拡張されたサンルーフを含むライトフィールドディスプレイシステムで拡張された車両の内部の斜視図である。
【図10】１つ以上の実施形態による、死角を軽減するためにライトフィールドディスプレイシステムで拡張された車両の斜視図である。
【図11】１つ以上の実施形態による、透過型反射器を使用して、ライトフィールドディスプレイによって投影されたホログラフィックオブジェクトを中継する例示的なシステムを示す。
【図12】１つ以上の実施形態による、車両内の乗員の視野の重なりを示す。
【図13A】１つ以上の実施形態による、実質的に均一な投影方向を有するライトフィールドディスプレイの例示的な図を示す。
【図13B】１つ以上の実施形態による、可変投影方向を有するライトフィールドディスプレイの例示的な図を示す。
【0008】
これらの図は、例示のみを目的として、本発明の様々な実施形態を示す。当業者は、以下の考察から、本明細書において例示される構造および方法の代替の実施形態が、本明細書に記載される本発明の原理から逸脱することなく採用され得ることを容易に認識するであろう。
【発明を実施するための形態】
【0009】
概要
ライトフィールド（ＬＦ）ディスプレイシステムが車両に実装されている。ＬＦディスプレイシステムは、車両の１つ以上の表面（内部および／または外部）の一部またはすべてにわたって、多面シームレス表面環境を形成することができる。ＬＦディスプレイシステムは、ホログラフィックコンテンツを車両のユーザ、およびいくつかの実施形態では、車両の外部のユーザに提示することができる。ユーザは、一般に、ホログラフィックコンテンツの視聴者であり、また、運転者、乗員（車内の人であり、運転者ではない）、乗員（車内の人）、または車両の外部の人であってもよい。ＬＦディスプレイシステムは、ＬＦディスプレイシステムのビューイングボリューム内の１人以上のユーザに見えるであろう１つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたＬＦディスプレイアセンブリを備える。ホログラフィックオブジェクトはまた、他の感覚刺激（例えば、触覚および／または音声）で拡張され得る。例えば、ＬＦディスプレイシステム内の超音波エミッタは、ホログラフィックオブジェクトの一部またはすべてに対して触覚表面を提供する超音波圧力波を放出することができる。ホログラフィックコンテンツは、追加のビジュアルコンテンツ（すなわち、２Ｄまたは３Ｄビジュアルコンテンツ）を含み得る。まとまりのある体験が可能であることを確実にするエミッタの協調が、マルチエミッタ実装形態のシステムの一部（すなわち、任意の所与の時点で正しい触感および感覚刺激を提供するホログラフィックオブジェクト）である。ＬＦディスプレイアセンブリは、ホログラフィックコンテンツを生成するための１つ以上のＬＦディスプレイモジュールを含み得る。
ライトフィールド（ＬＦ）ディスプレイシステムが車両に実装されている。ＬＦディスプレイシステムは、車両の１つ以上の表面（内部および／または外部）の一部またはすべてにわたって、多面シームレス表面環境を形成することができる。ＬＦディスプレイシステムは、ホログラフィックコンテンツを車両のユーザ、およびいくつかの実施形態では、車両の外部のユーザに提示することができる。ユーザは、一般に、ホログラフィックコンテンツの視聴者であり、また、運転者、乗員（車内の人であり、運転者ではない）、乗員（車内の人）、または車両の外部の人であってもよい。ＬＦディスプレイシステムは、ＬＦディスプレイシステムのビューイングボリューム内の１人以上のユーザに見えるであろう１つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたＬＦディスプレイアセンブリを備える。ホログラフィックオブジェクトはまた、他の感覚刺激（例えば、触覚および／または音声）で拡張され得る。例えば、ＬＦディスプレイシステム内の超音波エミッタは、ホログラフィックオブジェクトの一部またはすべてに対して触覚表面を提供する超音波圧力波を放出することができる。ホログラフィックコンテンツは、追加のビジュアルコンテンツ（すなわち、２Ｄまたは３Ｄビジュアルコンテンツ）を含み得る。まとまりのある体験が可能であることを確実にするエミッタの協調が、マルチエミッタ実装形態のシステムの一部（すなわち、任意の所与の時点で正しい触感および感覚刺激を提供するホログラフィックオブジェクト）である。ＬＦディスプレイアセンブリは、ホログラフィックコンテンツを生成するための１つ以上のＬＦディスプレイモジュールを含み得る。
【0010】
いくつかの実施形態では、ＬＦディスプレイシステムは、車両の外面の一部である複数のＬＦディスプレイモジュールを含む。外面に沿ったＬＦディスプレイモジュールは、ホログラフィックコンテンツを投影して車両の外観を変更するように構成することができる。このようにして、ＬＦディスプレイシステムのユーザは、車両が車両の外側の視聴者にどのように見えるかを修正することができる。例えば、ＬＦディスプレイシステムは、車両の一部もしくは全部の色、車両の一部もしくは全部の形状、またはそれらの何らかの組み合わせを変更することができる。ＬＦディスプレイシステムは、車両の外面に沿ってＬＦディスプレイモジュールの一部またはすべてによって提示されるホログラフィックオブジェクト（例えば、スポイラ、フードスクープなど）を使用して車両の形状を変更することができる。
【0011】
いくつかの実施形態では、ＬＦディスプレイシステムは、車両の内面の一部である複数のＬＦディスプレイモジュールを含む。内面に沿ったＬＦディスプレイモジュールは、ホログラフィックコンテンツを投影して、車両の内部の外観を変更し、車両制御のカスタマイズを提供するように構成することができる。例えば、運転者は、計器クラスタに表示したい計器、ステアリングホイールが位置する場所および物、車両がオートマチックトランスミッションかマニュアルトランスミッションか、窓制御インターフェースの場所、ドア制御インターフェースの場所などをカスタマイズし得る。さらに、車両は、１つ以上の拡張された窓（例えば、フロントガラス、サンルーフなど）を含み得る。拡張された窓は、少なくともいくつかのＬＦディスプレイモジュールを含む窓である。
【0012】
いくつかの実施形態では、ＬＦディスプレイシステムは、システムが、少なくとも１つのタイプのエネルギーを同時に放出し、それと同時に、ユーザに応答して車両に命令を提供するために少なくとも１つのタイプのエネルギーを吸収することを可能にする要素を含み得る。例えば、ＬＦディスプレイシステムは、見るためのホログラフィックオブジェクトおよび触覚知覚のための超音波の両方を放出し、それと同時に、視聴者の追跡および他のシーン分析のための画像情報を吸収する一方、ユーザによるタッチ応答を検出するために超音波を吸収する。一例として、そのようなシステムは、ユーザによって仮想的に「タッチ」されると、タッチ刺激に従って回転するホログラフィックステアリングホイールを投影することができる。環境のエネルギー感知を実行するディスプレイシステムの構成要素は、エネルギーの放出および吸収の両方を行う双方向エネルギー要素を介して表示面に統合され得るか、または超音波スピーカおよびカメラなどの撮像キャプチャデバイスなど、表示面とは別の専用のセンサであり得る。
【0013】
いくつかの実施形態では、車両の内面および外面の両方が、ＬＦディスプレイモジュールを含む。この配置の１つの利点は、車両の運転者の死角を実質的に軽減する能力である。例えば、車両は、車両を取り巻く局所エリアの画像をキャプチャするカメラ（例えば、ＬＦディスプレイモジュールの一部として）を含み得る。ＬＦディスプレイシステムは、キャプチャされた画像を使用して、ホログラフィックコンテンツを生成し、ホログラフィックコンテンツは、車両の内部のＬＦディスプレイモジュールを使用して運転者に提示される。車両の内部のＬＦディスプレイモジュールは、キャプチャされた画像に対応するホログラフィックコンテンツを表示し、これにより、運転者が、運転者の死角のオブジェクトを見るために、通常は不透明なオブジェクト（つまり、自動車の一部）であろうものを「通して」見ることを効果的に可能にする。
【0014】
ライトフィールドディスプレイシステムの概要
図１は、１つ以上の実施形態による、ホログラフィックオブジェクト１２０を提示するライトフィールド（ＬＦ）ディスプレイモジュール１１０の図１００である。ＬＦディスプレイモジュール１１０は、ライトフィールド（ＬＦ）ディスプレイシステムの一部である。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュールを使用して、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。ＬＦディスプレイシステムは、１人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、ＬＦディスプレイシステムはまた、他の感覚コンテンツ（例えば、タッチ、音声、匂い、温度など）でホログラフィックコンテンツを拡張することができる。例えば、以下で論じられるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成することができる。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュール１１０を含んでおり、図２～図５に関して以下で詳細に説明される。
図１は、１つ以上の実施形態による、ホログラフィックオブジェクト１２０を提示するライトフィールド（ＬＦ）ディスプレイモジュール１１０の図１００である。ＬＦディスプレイモジュール１１０は、ライトフィールド（ＬＦ）ディスプレイシステムの一部である。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュールを使用して、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。ＬＦディスプレイシステムは、１人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、ＬＦディスプレイシステムはまた、他の感覚コンテンツ（例えば、タッチ、音声、匂い、温度など）でホログラフィックコンテンツを拡張することができる。例えば、以下で論じられるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成することができる。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュール１１０を含んでおり、図２～図５に関して以下で詳細に説明される。
【0015】
ＬＦディスプレイモジュール１１０は、ホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）を１人以上の視聴者（例えば、視聴者１４０）に提示するホログラフィックディスプレイである。ＬＦディスプレイモジュール１１０は、エネルギーデバイス層（例えば、発光電子ディスプレイまたは音響投影デバイス）と、エネルギー導波路層（例えば、光学レンズアレイ）と、を含む。追加的に、ＬＦディスプレイモジュール１１０は、複数のエネルギー源または検出器を一緒に組み合わせて単一の表面を形成するために、エネルギーリレー層を含み得る。高レベルでは、エネルギーデバイス層は、エネルギー（例えば、ホログラフィックコンテンツ）を生成し、このエネルギーは次に、エネルギー導波路層を使用して、１つ以上の四次元（４Ｄ）ライトフィールド関数に従って空間内の領域に指向される。ＬＦディスプレイモジュール１１０はまた、１つ以上のタイプのエネルギーの投影および／または感知を同時に行うことができる。例えば、ＬＦディスプレイモジュール１１０は、ホログラフィック画像ならびに超音波触覚表面をビューイングボリューム内に投影することができ得る一方、同時に、ビューイングボリュームからの画像データを検出する。ＬＦディスプレイモジュール１１０の操作は、図２Ａ～図３Ｂに関して以下でより詳細に説明される。
【0016】
ＬＦディスプレイモジュール１１０は、（例えば、プレノプティック関数から導出される）１つ以上の４Ｄライトフィールド関数を使用して、ホログラフィックオブジェクトボリューム１６０内にホログラフィックオブジェクトを生成する。ホログラフィックオブジェクトは、三次元（３Ｄ）、二次元（２Ｄ）、またはそれらの何らかの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色（例えば、フルカラー）であり得る。ホログラフィックオブジェクトは、スクリーン平面の前、スクリーン平面の後ろに投影されるか、またはスクリーン平面によって分割されてもよい。ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクトボリューム１６０内のどこでも知覚されるように提示され得る。ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトは、視聴者１４０には、空間に浮かんでいるように見えることがある。
【0017】
ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者１４０によって知覚され得るボリュームを表す。ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが表示エリア１５０の平面の前に提示され得るように、表示エリア１５０の表面の前に（すなわち、視聴者１４０に向かって）延在し得る。追加的に、ホログラフィックオブジェクトボリューム１６０は、表示エリア１５０の表面の後ろに（すなわち、視聴者１４０から離れる方向に）延在し得、ホログラフィックオブジェクトが、表示エリア１５０の平面の後ろにあるかのように提示されることを可能にする。言い換えれば、ホログラフィックオブジェクトボリューム１６０は、表示エリア１５０から発生し（例えば、投影され）、収束してホログラフィックオブジェクトを作成し得るすべての光線を含むことができる。ここで、光線は、表示面の前、表示面、または表示面の後ろにある点に収束し得る。より簡単に言えば、ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者によって知覚され得るすべてのボリュームを包含する。
【0018】
ビューイングボリューム１３０は、ＬＦディスプレイシステムによってホログラフィックオブジェクトボリューム１６０内に提示されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）が完全に見える空間のボリュームである。ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム１６０内に提示され、実際のオブジェクトと区別できないように、ビューイングボリューム１３０内で見られ得る。ホログラフィックオブジェクトは、オブジェクトが物理的に存在した場合に、オブジェクトの表面から生成されるであろう光線と同じ光線を投影することによって形成される。
【0019】
場合によっては、ホログラフィックオブジェクトボリューム１６０および対応するビューイングボリューム１３０は、単一の視聴者用に設計されるように、比較的小さくあり得る。他の実施形態では、例えば、図４Ａ、４Ｂ、および図６Ａ～図１３Ｂに関して以下で詳細に説明するように、ＬＦディスプレイモジュールは、より大きなホログラフィックオブジェクトボリューム、および広範囲の視聴者（例えば、１人～数千人）を収容できる対応するビューイングボリュームを作成するために拡大および／またはタイル張りされ得る。本開示で提示されるＬＦディスプレイモジュールは、ＬＦディスプレイの全表面が、非アクティブまたはデッドスペースがなく、ベゼルを必要としないホログラフィック撮像光学系を含むように構築され得る。これらの実施形態では、ＬＦディスプレイモジュールは、撮像エリアがＬＦディスプレイモジュール間の継ぎ目をまたいで連続するようにタイル張りされ得、タイル張りされたモジュール間の接合ラインは、目の視力を使用して実質的に検出されない。特に、いくつかの構成では、表示面の一部は、本明細書では詳細に説明されていないが、ホログラフィック撮像光学系を含まないことがある。
【0020】
ビューイングボリューム１３０の柔軟なサイズおよび／または形状は、視聴者がビューイングボリューム１３０内で制約を受けないことを可能にする。例えば、視聴者１４０は、ビューイングボリューム１３０内の異なる位置に移動し、対応する視点からホログラフィックオブジェクト１２０の異なるビューを見ることができる。例示のための、図１を参照すると、視聴者１４０は、ホログラフィックオブジェクト１２０がイルカの真正面からのビューで見えるように、ホログラフィックオブジェクト１２０に対して第１の位置にある。視聴者１４０は、イルカの異なるビューを見るために、ホログラフィックオブジェクト１２０に対して他の場所に動くことができる。例えば、視聴者１４０は、視聴者１４０があたかも実際のイルカを見ていて、イルカの異なるビューを見るために、実際のイルカに対する視聴者の相対位置を変更するかのように、移動して、イルカの左側、イルカの右側などを見ることができる。いくつかの実施形態では、ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクト１２０への遮るもののない（すなわち、オブジェクト／人によって遮られていない）視線を有する、ビューイングボリューム１３０内のすべての視聴者に見える。これらの視聴者は、異なる視点のホログラフィックオブジェクト１２０を見るために、ビューイングボリューム内を動き回ることができるように、制約されないでよい。したがって、ＬＦディスプレイシステムは、複数の制約されない視聴者が、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示することができる。
【0021】
対照的に、従来のディスプレイ（例えば、立体視、仮想現実、拡張現実、または複合現実）では、一般に、各視聴者は、コンテンツを見るために、何らかの外部デバイス（例えば、３Ｄメガネ、ニアアイディスプレイ、またはヘッドマウントディスプレイ）を着用する必要がある。追加的および／または代替的に、従来のディスプレイでは、視聴者が特定の視聴位置に（例えば、ディスプレイに対して固定された場所を有する椅子に）拘束される必要があり得る。例えば、立体視ディスプレイによって表示されるオブジェクトを見る場合、視聴者は常に、オブジェクトではなく表示面に焦点を合わせ、ディスプレイは常に、知覚されたオブジェクトの周りを動き回ろうとする視聴者に追随するオブジェクトの２つのビューのみを提示し、そのオブジェクトの知覚に歪みを引き起こす。しかしながら、ライトフィールドディスプレイでは、ＬＦディスプレイシステムによって提示されるホログラフィックオブジェクトの視聴者は、ホログラフィックオブジェクトを見るために、外部デバイスを着用する必要も、特定の位置に監禁される必要もない。ＬＦディスプレイシステムは、特別なアイウェア、メガネ、またはヘッドマウントアクセサリを要することなく、物理的なオブジェクトが視聴者に見えるのとほぼ同じように視聴者に見える方法で、ホログラフィックオブジェクトを提示する。さらに、視聴者は、ビューイングボリューム内の任意の場所からホログラフィックコンテンツを見ることができる。
【0022】
特に、ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトの潜在的な場所は、ボリュームのサイズによって制限される。ホログラフィックオブジェクトボリューム１６０のサイズを大きくするために、ＬＦディスプレイモジュール１１０の表示エリア１５０のサイズを大きくしてもよく、および／または複数のＬＦディスプレイモジュールを、シームレスな表示面を形成するように一緒にタイル張りしてもよい。シームレスな表示面は、個々のＬＦディスプレイモジュールの表示エリアよりも大きい有効表示エリアを有する。ＬＦディスプレイモジュールのタイル張りに関連するいくつかの実施形態が、図４Ａ、４Ｂ、および図６Ａ～図１３Ｂに関して以下で説明される。図１に例示されるように、表示エリア１５０は矩形であり、ピラミッド形であるホログラフィックオブジェクトボリューム１６０をもたらす。他の実施形態では、表示エリアは、対応するビューイングボリュームの形状にも影響を与える何らかの他の形状（例えば、六角形）を有し得る。
【0023】
追加的に、上記の考察は、ＬＦディスプレイモジュール１１０と視聴者１４０との間にあるホログラフィックオブジェクトボリューム１６０の一部内にホログラフィックオブジェクト１２０を提示することに焦点を当てているが、ＬＦディスプレイモジュール１１０は追加的に、表示エリア１５０の平面の後ろのホログラフィックオブジェクトボリューム１６０にコンテンツを提示することができる。例えば、ＬＦディスプレイモジュール１１０は、表示エリア１５０を、ホログラフィックオブジェクト１２０が飛び出している海の表面であるように見せることができる。そして、表示されるコンテンツは、視聴者１４０が、表示された表面を通して、水中にいる海洋生物を見ることができるようなものであってもよい。さらに、ＬＦディスプレイシステムは、表示エリア１５０の平面の後ろおよび前を含む、ホログラフィックオブジェクトボリューム１６０の周りをシームレスに移動するコンテンツを生成することができる。
【0024】
図２Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール２１０の一部の断面２００である。ＬＦディスプレイモジュール２１０は、ＬＦディスプレイモジュール１１０であってもよい。他の実施形態では、ＬＦディスプレイモジュール２１０は、表示エリア１５０とは異なる表示エリア形状を有する別のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーデバイス層２２０、エネルギーリレー層２３０、およびエネルギー導波路層２４０を含む。ＬＦディスプレイモジュール２１０のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーリレー層２３０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
【0025】
本明細書に記載のディスプレイシステムは、実世界のオブジェクトを通常取り巻くエネルギーを複製するエネルギーの放出を提示する。ここで、放出されたエネルギーは、表示面上のすべての座標から特定の方向に指向される。言い換えれば、表示面上の様々な座標が、放出されたエネルギーの投影場所として機能する。表示面からの指向されたエネルギーは、多くのエネルギー線の収束を可能にし、それによって、ホログラフィックオブジェクトを作成することができる。例えば、可視光では、ＬＦディスプレイは、ホログラフィックオブジェクトボリューム内の任意の点で収束し得る、投影場所からの極めて大きい数の光線を投影するため、それらの光線は、投影されているオブジェクトよりも遠くに位置する視聴者の視点からは、空間のこの領域に位置する実世界のオブジェクトの表面から来ているように見えるであろう。このように、ＬＦディスプレイは、視聴者の視点からは、そのようなオブジェクトの表面から出たような反射光線を生成している。視聴者の視点は、任意の特定のホログラフィックオブジェクト上で変わり得、視聴者は、そのホログラフィックオブジェクトの異なるビューを見るであろう。
【0026】
エネルギーデバイス層２２０は、１つ以上の電子ディスプレイ（例えば、ＯＬＥＤなどの発光ディスプレイ）と、本明細書に記載の１つ以上の他のエネルギー投影および／またはエネルギー受信デバイスと、を含む。１つ以上の電子ディスプレイは、（例えば、ＬＦディスプレイシステムのコントローラからの）表示命令に従ってコンテンツを表示するように構成される。１つ以上の電子ディスプレイは、各々が個別に制御される強度を有する複数のピクセルを含む。発光ＬＥＤおよびＯＬＥＤディスプレイなど、多くのタイプの商用ディスプレイがＬＦディスプレイ内で使用され得る。
【0027】
エネルギーデバイス層２２０はまた、１つ以上の音響投影デバイスおよび／または１つ以上の音響受信デバイスを含むことができる。音響投影デバイスは、ホログラフィックオブジェクト２５０を補完する１つ以上の圧力波を生成する。生成される圧力波は、例えば、可聴、超音波、またはそれらの何らかの組み合わせであってもよい。超音波圧力波のアレイは、体積触覚のために（例えば、ホログラフィックオブジェクト２５０の表面において）使用され得る。可聴圧力波は、ホログラフィックオブジェクト２５０を補完し得る音声コンテンツ（例えば、没入型オーディオ）を提供するために使用される。例えば、ホログラフィックオブジェクト２５０がイルカであると仮定すると、１つ以上の音響投影デバイスを使用して、（１）視聴者がホログラフィックオブジェクト２５０にタッチすることができるように、イルカの表面と一致する触覚表面を生成し、（２）パチンと鳴る音、甲高い音、けたたましい鳴き声など、イルカが発生する音に対応する音声コンテンツを提供することができる。音響受信デバイス（例えば、マイクロフォンまたはマイクロフォンアレイ）は、ＬＦディスプレイモジュール２１０の局所エリア内の超音波および／または可聴圧力波を監視するように構成され得る。
【0028】
エネルギーデバイス層２２０はまた、１つ以上の画像センサを含むことができる。画像センサは、可視光帯の光に敏感であってもよく、場合によっては、他の帯域（例えば、赤外線）の光に敏感であってもよい。画像センサは、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）アレイ、電荷結合デバイス（ＣＣＤ）、光検出器のアレイ、光をキャプチャする何らかの他のセンサ、またはそれらの何らかの組み合わせであってもよい。ＬＦディスプレイシステムは、視聴者の場所標定追跡のために、１つ以上の画像センサによってキャプチャされたデータを使用することができる。
【0029】
いくつかの構成では、エネルギーリレー層２３０は、エネルギーデバイス層２２０とエネルギー導波路層２４０との間でエネルギー（例えば、電磁エネルギー、機械的圧力波など）を中継する。エネルギーリレー層２３０は、１つ以上のエネルギーリレー素子２６０を含む。各エネルギーリレー素子は、第１の表面２６５と第２の表面２７０とを含み、２つの表面間でエネルギーを中継する。各エネルギーリレー素子の第１の表面２６５は、１つ以上のエネルギーデバイス（例えば、電子ディスプレイまたは音響投影デバイス）に結合され得る。エネルギーリレー素子は、例えば、ガラス、炭素、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの何らかの組み合わせで構成され得る。追加的に、いくつかの実施形態では、エネルギーリレー素子は、第１の表面２６５と第２の表面２７０との間を通過するエネルギーの倍率（増加または減少）を調整することができる。リレーが倍率を提供する場合、リレーは、テーパーと呼ばれる、接着されたテーパーリレーのアレイの形態をとり得、テーパーの一端の面積は、反対側の端よりも実質的に大きくなり得る。テーパーの大きい方の端は、一緒に張り合わされて、シームレスなエネルギー面２７５を形成することができる。１つの利点は、複数のディスプレイのベゼルなど、複数のエネルギー源の機械的エンベロープを収容するために、各テーパーの複数の小さな端にスペースが作成されることである。この余分のスペースにより、各エネルギー源が、小さいテーパー表面内にエネルギーを指向するアクティブエリアを有し、大きいシームレスなエネルギー面にリレーされる状態で、エネルギー源を小さなテーパー側に並べて配置することが可能になる。テーパーリレーを使用する別の利点は、テーパーの大きい端によって形成される、組み合わされたシームレスなエネルギー面には、非結像デッドスペースがないことである。境界またはベゼルが存在しないため、シームレスなエネルギー面を一緒にタイル張りして、目の視力によると実質的に継ぎ目のない、より大きな表面を形成することができる。
【0030】
隣接するエネルギーリレー素子の第２の表面は、一緒になってエネルギー面２７５を形成する。いくつかの実施形態では、隣接するエネルギーリレー素子の縁間の分離は、例えば、２０／４０の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面２７５は、ビューイングボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。他の実施形態では、隣接するエネルギーリレー素子の第２の表面は、それらの間に継ぎ目が存在しないように、圧力、熱、および化学反応のうちの１つ以上を含み得る処理工程を用いて一緒に融合される。さらに、他の実施形態では、エネルギーリレー素子のアレイは、リレー材料の連続したブロックの片側を、各々がエネルギーを、小さなテーパー端部に取り付けられたエネルギーデバイスから、細分化されない大きなエリアを有する単一の結合された表面内に輸送するように構成される、小さなテーパー端部のアレイに成形することによって形成される。
【0031】
いくつかの実施形態では、１つ以上のエネルギーリレー素子は、エネルギー局在化を示し、表面２６５および２７０に実質的に垂直な長手方向のエネルギー輸送効率は、垂直横断面内の輸送効率よりもはるかに高く、エネルギー波が表面２６５と表面２７０との間を伝播するとき、エネルギー密度はこの横断面内で高度に局在化される。このエネルギーの局在化により、画像などのエネルギー分布が、解像度の大きな損失なしに、これらの表面間で効率的に中継されることが可能になる。
【0032】
エネルギー導波路層２４０は、エネルギー導波路層２４０内の導波路素子を使用して、エネルギーを、エネルギー面２７５上の場所（例えば、座標）から、表示面から外側のホログラフィックビューイングボリューム２８５内への特定のエネルギー伝搬経路内に指向する。エネルギー伝搬経路は、少なくとも導波路に対するエネルギー面の座標場所によって決定される２つの角度寸法によって画定される。導波路は、空間２Ｄ座標に関連付けられる。これらの４つの座標が一緒になって、四次元（４Ｄ）エネルギーフィールドを形成する。一例として、電磁エネルギーの場合、エネルギー導波路層２４０内の導波路素子は、光をシームレスなエネルギー面２７５上の位置から、ビューイングボリューム２８５を通る異なる伝搬方向に沿って指向する。様々な例において、光は、４Ｄライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム２５５内にホログラフィックオブジェクト２５０を形成する。
【0033】
エネルギー導波路層２４０内の各導波路素子は、例えば、１つ以上の要素で構成されるレンズレットであり得る。いくつかの構成では、レンズレットは、正レンズであり得る。正レンズは、球面、非球面、または自由形状の表面プロファイルを有し得る。追加的に、いくつかの実施形態では、導波路素子の一部またはすべては、１つ以上の追加の光学構成要素を含み得る。追加の光学構成要素は、例えば、バッフル、正レンズ、負レンズ、球面レンズ、非球面レンズ、自由形状レンズ、液晶レンズ、液体レンズ、屈折要素、回折要素、またはそれらの何らかの組み合わせなどのエネルギー抑制構造であり得る。いくつかの実施形態では、レンズレットおよび／または追加の光学構成要素のうちの少なくとも１つはまた、屈折力を動的に調整することができる。例えば、レンズレットは、液晶レンズまたは液体レンズであってもよい。表面プロファイルの動的調整、レンズレットおよび／または少なくとも１つの追加の光学構成要素は、導波路素子から投影される光の追加の方向制御を提供し得る。
【0034】
例示的な例では、ＬＦディスプレイのホログラフィックオブジェクトボリューム２５５は、光線２５６および光線２５７によって形成される境界を有するが、他の光線によって形成され得る。ホログラフィックオブジェクトボリューム２５５は、エネルギー導波路層２４０の前（すなわち、視聴者２８０に向かって）およびその後ろ（すなわち、視聴者２８０から離れて）の両方に延在する連続したボリュームである。例示的な例では、光線２５６および光線２５７は、ＬＦディスプレイモジュール２１０の反対の縁から、ユーザによって知覚され得る表示面２７７の法線に対して最大の角度で投影されるが、これらは他の投影光線であり得る。これらの光線は、ディスプレイの視野を画定し、したがって、ホログラフィックビューイングボリューム２８５の境界を画定する。場合によっては、これらの光線は、ディスプレイ全体がケラレなしで観察され得るホログラフィックビューイングボリューム（例えば、理想的なビューイングボリューム）を画定する。ディスプレイの視野が広がると、光線２５６と光線２５７の収束点がディスプレイにより近くなる。したがって、より広い視野を有するディスプレイは、視聴者２８０がより近い視距離でディスプレイ全体を見ることを可能にする。追加的に、光線２５６および２５７は、理想的なホログラフィックオブジェクトボリュームを形成し得る。理想的なホログラフィックオブジェクトボリューム内に提示されるホログラフィックオブジェクトは、ビューイングボリューム２８５内のどこでも見られ得る。
【0035】
いくつかの例では、ホログラフィックオブジェクトは、ビューイングボリューム２８５の一部にのみ提示され得る。言い換えれば、ホログラフィックオブジェクトボリュームは、任意の数のビューイングサブボリューム（例えば、ビューイングサブボリューム２９０）に分割され得る。追加的に、ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム２５５の外側に投影され得る。例えば、ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示される。ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示されるので、ビューイングボリューム２８５内のすべての場所から見ることができるわけではない。例えば、ホログラフィックオブジェクト２５１は、ビューイングサブボリューム２９０内の場所からは見えるが、視聴者２８０の場所からは見えない可能性がある。
【0036】
例えば、異なるビューイングサブボリュームからホログラフィックコンテンツを見ることを例示するために、図２Ｂに目を向ける。図２Ｂは、１つ以上の実施形態による、ＬＦディスプレイモジュールの一部の断面２００を例示する。図２Ｂの断面は、図２Ａの断面と同じである。しかしながら、図２Ｂは、ＬＦディスプレイモジュール２１０から投影された異なる光線のセットを示している。光線２５６および光線２５７は、依然としてホログラフィックオブジェクトボリューム２５５およびビューイングボリューム２８５を形成する。しかしながら、示されるように、ＬＦディスプレイモジュール２１０の頂部およびＬＦディスプレイモジュール２１０の底部から投影された光線は重なり合って、ビューイングボリューム２８５内に様々なビューイングサブボリューム（例えば、ビューサブボリューム２９０Ａ、２９０Ｂ、２９０Ｃ、および２９０Ｄ）を形成する。第１のビューイングサブボリューム（例えば、２９０Ａ）内の視聴者は、他のビューイングサブボリューム（例えば、２９０Ｂ、２９０Ｃ、および２９０Ｄ）内の視聴者が知覚できない、ホログラフィックオブジェクトボリューム２５５内に提示されたホログラフィックコンテンツを知覚することができ得る。
【0037】
より簡単に言えば、図２Ａに例示されるように、ホログラフィックオブジェクトボリューム２５５は、ホログラフィックオブジェクトがビューイングボリューム２８５内の視聴者（例えば、視聴者２８０）によって知覚され得るように、ホログラフィックオブジェクトが、ＬＦディスプレイシステムによって提示され得るボリュームである。このように、ビューイングボリューム２８５は、理想的なビューイングボリュームの一例であり、ホログラフィックオブジェクトボリューム２５５は、理想的なオブジェクトボリュームの一例である。しかしながら、様々な構成において、視聴者は、他の視聴者がボリュームを見るように、他の例示的なホログラフィックオブジェクトボリューム内にＬＦディスプレイシステム２００によって提示されたホログラフィックオブジェクトを知覚することができる。より一般的には、ＬＦディスプレイモジュールから投影されたホログラフィックコンテンツを見るときには「アイラインガイドライン」が適用される。アイラインガイドラインは、視聴者の目の位置と見られているホログラフィックオブジェクトとによって形成されるラインはＬＦ表示面と交差しなければならないと主張する。
【0038】
ＬＦディスプレイモジュール２１０によって提示されたホログラフィックコンテンツを見るとき、ホログラフィックコンテンツは４Ｄライトフィールド関数に従って提示されるので、視聴者２８０の各目は、異なる視点のホログラフィックオブジェクト２５０を見る。さらに、視聴者２８０がビューイングボリューム２８５内を移動するとき、視聴者は、ビューイングボリューム２８５内の他の視聴者が見るであろうような、異なる視点のホログラフィックオブジェクト２５０を見るであろう。当業者には理解されるように、４Ｄライトフィールド関数は当技術分野で周知であり、本明細書ではこれ以上詳しく説明しない。
【0039】
本明細書でより詳細に説明するように、いくつかの実施形態では、ＬＦディスプレイは、２つ以上のタイプのエネルギーを投影することができる。例えば、ＬＦディスプレイは、例えば、機械的エネルギーおよび電磁エネルギーなどの２つのタイプのエネルギーを投影することができる。この構成では、エネルギーリレー層２３０は、エネルギー面２７５で一緒にインターリーブされるが、エネルギーが２つの異なるエネルギーデバイス層２２０に中継されるように分離される２つの別個のエネルギーリレーを含み得る。ここで、一方のリレーは、電磁エネルギーを輸送するように構成され得、もう一方のリレーは、機械的エネルギーを輸送するように構成され得る。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層２４０上の電磁導波路素子間の場所から投影され得、光が一方の電磁導波路素子からもう一方の電磁導波路素子に輸送されるのを抑制する構造を形成するのに役立つ。いくつかの実施形態では、エネルギー導波路層２４０はまた、コントローラからの表示命令に従って、集束超音波を特定の伝搬経路に沿って輸送する導波路素子を含み得る。
【0040】
代替の実施形態（図示せず）では、ＬＦディスプレイモジュール２１０はエネルギーリレー層２３０を含まないことに留意されたい。この場合、エネルギー面２７５は、エネルギーデバイス層２２０内の１つ以上の隣接する電子ディスプレイを使用して形成された出射面である。そして、エネルギーリレー層を有さないいくつかの実施形態では、隣接する電子ディスプレイの縁間の分離は、２０／４０の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面は、ビューイングボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。
【0041】
ＬＦディスプレイモジュール
図３Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール３００Ａの斜視図である。ＬＦディスプレイモジュール３００Ａは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ａは、何らかの他のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーデバイス層３１０、エネルギーリレー層３２０、およびエネルギー導波路層３３０を含む。ＬＦディスプレイモジュール３００Ａは、本明細書で説明されるように、表示面３６５からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面３６５は、ＬＦディスプレイモジュール３００Ａのフレーム３９０上に破線の輪郭として例示されているが、より正確には、フレーム３９０の内側リムによって境界される導波路素子の真正面の表面である。ＬＦディスプレイモジュール３００Ａのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーリレー層３２０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
図３Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール３００Ａの斜視図である。ＬＦディスプレイモジュール３００Ａは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ａは、何らかの他のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーデバイス層３１０、エネルギーリレー層３２０、およびエネルギー導波路層３３０を含む。ＬＦディスプレイモジュール３００Ａは、本明細書で説明されるように、表示面３６５からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面３６５は、ＬＦディスプレイモジュール３００Ａのフレーム３９０上に破線の輪郭として例示されているが、より正確には、フレーム３９０の内側リムによって境界される導波路素子の真正面の表面である。ＬＦディスプレイモジュール３００Ａのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーリレー層３２０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
【0042】
エネルギーデバイス層３１０は、エネルギーデバイス層２２０の一実施形態である。エネルギーデバイス層３１０は、４つのエネルギーデバイス３４０を含む（図では３つが見える）。エネルギーデバイス３４０は、すべてが同じタイプ（例えば、すべてが電子ディスプレイ）であってもよいか、または１つ以上の異なるタイプを含んでもよい（例えば、電子ディスプレイと、少なくとも１つの音響エネルギーデバイスと、を含む）。
【0043】
エネルギーリレー層３２０は、エネルギーリレー層２３０の一実施形態である。エネルギーリレー層３２０は、４つのエネルギーリレーデバイス３５０を含む（図では３つが見える）。エネルギーリレーデバイス３５０は、すべてが同じタイプのエネルギー（例えば、光）を中継し得るか、または１つ以上の異なるタイプ（例えば、光と音とを）を中継し得る。リレーデバイス３５０の各々は、第１の表面と第２の表面とを含み、エネルギーリレーデバイス３５０の第２の表面は、単一のシームレスなエネルギー面３６０を形成するように配置される。例示的な実施形態では、エネルギーリレーデバイス３５０の各々は、第１の表面が第２の表面よりも小さい表面積を有するようにテーパー状になっており、これにより、テーパーの小さい方の端にエネルギーデバイス３４０の機械的エンベロープを収容することが可能になる。これにより、エリア全体がエネルギーを投影し得るため、シームレスなエネルギー面が無境界であることが可能になる。これは、ＬＦディスプレイモジュール３００Ａの複数の実例を、デッドスペースまたはベゼルなしに一緒に配置することによって、組み合わされた表面全体がシームレスであるように、このシームレスなエネルギー面がタイル張りされ得ることを意味する。他の実施形態では、第１の表面および第２の表面は同じ表面積を有する。
【0044】
エネルギー導波路層３３０は、エネルギー導波路層２４０の一実施形態である。エネルギー導波路層３３０は、複数の導波路素子３７０を含む。図２に関して上記考察したように、エネルギー導波路層３３０は、ホログラフィックオブジェクトを形成するために、４Ｄライトフィールド関数に従って、エネルギーをシームレスなエネルギー面３６０から特定の伝搬経路に沿って指向するように構成されている。例示的な実施形態では、エネルギー導波路層３３０はフレーム３９０によって境界されることに留意されたい。他の実施形態では、フレーム３９０は存在しない、および／またはフレーム３９０の厚さが低減されている。フレーム３９０の厚さの除去または低減は、ＬＦディスプレイモジュール３００Ａと追加のＬＦディスプレイモジュールとのタイル張りを容易にし得る。
【0045】
例示的な実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は平面であることに留意されたい。図示されてない代替の実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は、１つ以上の次元で湾曲していてよい。
【0046】
ＬＦディスプレイモジュール３００Ａは、シームレスなエネルギー面の表面上に存在する追加のエネルギー源を有して構成され得、ライトフィールドに加えてエネルギーフィールドの投影を可能にする。一実施形態では、音響エネルギーフィールドが、シームレスなエネルギー面３６０上の任意の数の場所に装着された静電スピーカ（例示せず）から投影され得る。さらに、ＬＦディスプレイモジュール３００Ａの静電スピーカは、デュアルエネルギー面がサウンドフィールドおよびホログラフィックコンテンツ（例えば、光）を同時に投影するように、ライトフィールドディスプレイモジュール３００Ａ内に位置付けられる。例えば、静電スピーカは、電磁エネルギーのいくつかの波長に対して透過性であり、１つ以上の導電性要素（例えば、１つ以上のダイアフラム要素を挟む平面）を用いて駆動される１つ以上のダイアフラム要素で形成され得る。静電スピーカは、ダイアフラム要素が導波路素子のうちのいくつかを覆うように、シームレスなエネルギー面３６０に装着されてもよい。スピーカの導電性電極は、電磁導波路間の光透過を抑制するように設計された構造体と併置されてよく、および／または電磁導波路素子間の位置（例えば、フレーム３９０）に位置してよい。様々な構成において、スピーカは、可聴音、および／または触覚表面を生み出す集束超音波エネルギーの多くのソースを投影することができる。
【0047】
いくつかの構成では、エネルギーデバイス３４０は、エネルギーを感知し得る。例えば、エネルギーデバイスは、マイクロフォン、光センサ、音響トランスデューサなどであり得る。したがって、エネルギーリレーデバイスは、シームレスなエネルギー面３６０からエネルギーデバイス層３１０にエネルギーを中継することもできる。すなわち、ＬＦディスプレイモジュールのシームレスなエネルギー面３６０は、エネルギーデバイスおよびエネルギーリレーデバイス３４０が、エネルギーを放出すると同時に感知する（例えば、ライトフィールドを放出し、音を感知する）ように構成されるとき、双方向エネルギー面を形成する。
【0048】
より広義には、ＬＦディスプレイモジュール３４０のエネルギーデバイス３４０は、エネルギー源またはエネルギーセンサのいずれかであり得る。ＬＦディスプレイモジュール３００Ａは、高品質のホログラフィックコンテンツのユーザへの投影を容易にするために、エネルギー源および／またはエネルギーセンサとして機能する様々なタイプのエネルギーデバイスを含み得る。他のソースおよび／またはセンサとしては、サーマルセンサまたはソース、赤外線センサまたはソース、画像センサまたはソース、音響エネルギーを生成する機械的エネルギートランスデューサ、フィードバックソースなどが挙げられる。多くの他のセンサまたはソースが可能である。さらに、ＬＦディスプレイモジュールが、大きな集合体のシームレスなエネルギー面から複数のタイプのエネルギーを投影および感知するアセンブリを形成し得るように、ＬＦディスプレイモジュールはタイル張りされ得る。
【0049】
ＬＦディスプレイモジュール３００Ａの様々な実施形態では、シームレスなエネルギー面３６０は、各表面部分が特定のタイプのエネルギーを投影および／または放出するように構成されている様々な表面部分を有し得る。例えば、シームレスなエネルギー面がデュアルエネルギー面である場合、シームレスエネルギー面３６０は、電磁エネルギーを投影する１つ以上の表面部分と、超音波エネルギーを投影する１つ以上の他の表面部分と、を含む。超音波エネルギーを投影する表面部分は、電磁導波路素子間のシームレスなエネルギー面３６０上に位置し得、および／または電磁導波路素子間の光透過を抑制するように設計された構造体と併置され得る。シームレスなエネルギー面が双方向エネルギー面である例では、エネルギーリレー層３２０は、シームレスなエネルギー面３６０でインターリーブされた２つのタイプのエネルギーリレーデバイスを含み得る。様々な実施形態では、シームレスなエネルギー面３６０は、任意の特定の導波路素子３７０の下の表面の部分が、すべてエネルギー源、すべてエネルギーセンサ、またはエネルギー源とエネルギーセンサの混在であるように構成され得る。
【0050】
図３Ｂは、１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むＬＦディスプレイモジュール３００Ｂの断面図である。エネルギーリレーデバイス３５０Ａは、エネルギーデバイス３４０Ａに接続されたエネルギーリレーの第１の表面３４５Ａとシームレスなエネルギー面３６０との間でエネルギーを輸送する。エネルギーリレー３５０Ｂは、エネルギーデバイス３４０Ｂに接続されたエネルギーリレーの第１の表面３４５Ｂとシームレスなエネルギー面３６０との間でエネルギーを輸送する。両方のリレーデバイスは、シームレスなエネルギー面３６０に接続されたインターリーブされたエネルギーリレーデバイス３５２においてインターリーブされている。この構成では、表面３６０は、エネルギー源またはエネルギーセンサであり得るエネルギーデバイス３４０Ａおよび３４０Ｂの両方のインターリーブされたエネルギー場所を含む。したがって、ＬＦディスプレイモジュール３００Ｂは、複数のタイプのエネルギーを投影するためのデュアルエネルギー投影デバイスとして、またはあるタイプのエネルギーを投影することと、別のタイプのエネルギーを感知することとを同時に行うための双方向エネルギーデバイスとしてのいずれかに構成され得る。ＬＦディスプレイモジュール３００Ｂは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ｂは、何らかの他のＬＦディスプレイモジュールであり得る。
【0051】
ＬＦディスプレイモジュール３００Ｂは、図３ＡのＬＦディスプレイモジュール３００Ａのものと同様に構成されている多くの構成要素を含む。例えば、例示的な実施形態では、ＬＦディスプレイモジュール３００Ｂは、図３Ａに関して説明したものと少なくとも同じ機能を含むエネルギーデバイス層３１０、シームレスなエネルギー面３６０、およびエネルギー導波路層３３０を含む。追加的に、ＬＦディスプレイモジュール３００Ｂは、表示面３６５からエネルギーを提示および／または受信することができる。特に、ＬＦディスプレイモジュール３００Ｂの構成要素は、図３ＡのＬＦディスプレイモジュール３００Ａの構成要素とは異なって接続および／または配向されている。ＬＦディスプレイモジュール３００Ｂのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。図３Ｂは、より大きな面積を有するデュアルエネルギー投影表面または双方向エネルギー面を生み出すためにタイル張りされ得る単一のＬＦディスプレイモジュール３００Ｂの設計を例示する。
【0052】
一実施形態では、ＬＦディスプレイモジュール３００Ｂは、双方向ＬＦディスプレイシステムのＬＦディスプレイモジュールである。双方向ＬＦディスプレイシステムは、エネルギーを投影し、それと同時に表示面３６５からエネルギーを感知することができる。シームレスなエネルギー面３６０は、シームレスなエネルギー面３６０上で密接にインターリーブされたエネルギー投影場所とエネルギー感知場所との両方を含む。したがって、図３Ｂの例では、エネルギーリレー層３２０は、図３Ａのエネルギーリレー層とは異なる様式で構成されている。便宜上、ＬＦディスプレイモジュール３００Ｂのエネルギーリレー層は、本明細書では「インターリーブエネルギーリレー層」と呼ばれる。
【0053】
インターリーブされたエネルギーリレー層３２０は、第１のエネルギーリレーデバイス３５０Ａと第２のエネルギーリレーデバイス３５０Ｂとの２つの脚部を含む。脚部の各々は、図３Ｂで薄い陰影のエリアとして例示されている。脚部の各々は、可撓性のリレー材料で作製され、様々なサイズおよび形状のエネルギーデバイスで使用するのに十分な長さで形成され得る。インターリーブされたエネルギーリレー層のいくつかの領域では、２つの脚部は、シームレスなエネルギー面３６０に近づくにつれて、一緒に緊密にインターリーブされる。例示的な例では、インターリーブされたエネルギーリレーデバイス３５２は、暗い陰影のエリアとして例示されている。
【0054】
シームレスなエネルギー面３６０でインターリーブされる一方、エネルギーリレーデバイスは、異なるエネルギーデバイスとの間でエネルギーを中継するように構成される。エネルギーデバイスは、エネルギーデバイス層３１０にある。例示のように、エネルギーデバイス３４０Ａは、エネルギーリレーデバイス３５０Ａに接続され、エネルギーデバイス３４０Ｂは、エネルギーリレーデバイス３５０Ｂに接続されている。様々な実施形態では、各エネルギーデバイスは、エネルギー源またはエネルギーセンサであり得る。
【0055】
エネルギー導波路層３３０は、エネルギー波をシームレスなエネルギー面３６０から、投影された経路に沿って、一連の収束点に向かって導くための導波路素子３７０を含む。この例では、ホログラフィックオブジェクト３８０が、一連の収束点に形成される。特に、例示のように、ホログラフィックオブジェクト３８０でのエネルギーの収束は、表示面３６５の視聴者側（すなわち、前側）で発生する。しかしながら、他の例では、エネルギーの収束は、表示面３６５の前および表示面３６５の後ろの両方に延在するホログラフィックオブジェクトボリューム内のどこであってもよい。導波路素子３７０は、以下に説明するように、入ってくるエネルギーをエネルギーデバイス（例えば、エネルギーセンサ）に同時に導くことができる。
【0056】
ＬＦディスプレイモジュール３００Ｂの例示的な一実施形態では、発光ディスプレイがエネルギー源（例えば、エネルギーデバイス３４０Ａ）として使用され、画像センサがエネルギーセンサ（例えば、エネルギーデバイス３４０Ｂ）として使用される。このように、ＬＦディスプレイモジュール３００Ｂは、ホログラフィックコンテンツを投影すると同時に、表示面３６５の前のボリュームからの光を検出することができる。ＬＦディスプレイモジュール３００Ｂのこの実施形態は、ＬＦディスプレイおよびＬＦセンサの両方として機能する。
【0057】
一実施形態では、ＬＦディスプレイモジュール３００Ｂは、ライトフィールドを表示面の投影位置から表示面３６５の前に投影すると同時に、表示面３６５の前からのライトフィールドをキャプチャするように構成されている。この実施形態では、エネルギーリレーデバイス３５０Ａは、導波路素子３７０の下に位置付けられたシームレスなエネルギー面３６０における場所の第１のセットをエネルギーデバイス３４０Ａに接続する。一例では、エネルギーデバイス３４０Ａは、ソースピクセルのアレイを有する発光ディスプレイである。エネルギーリレーデバイス３４０Ｂは、導波路素子３７０の下に位置付けられたシームレスなエネルギー面３６０における場所の第２のセットをエネルギーデバイス３４０Ｂに接続する。一例では、エネルギーデバイス３４０Ｂは、センサピクセルのアレイを有する画像センサである。ＬＦディスプレイモジュール３００Ｂは、特定の導波路素子３７０の下にあるシームレスなエネルギー面３６５における場所が、すべて発光ディスプレイ場所、すべて画像センサ場所、またはこれらの場所の何らかの組み合わせであるように構成され得る。他の実施形態では、双方向のエネルギー面は、様々な他の形態のエネルギーを投影および受信することができる。
【0058】
ＬＦディスプレイモジュール３００Ｂの別の例示的な実施形態では、ＬＦディスプレイモジュールは、２つの異なるタイプのエネルギーを投影するように構成される。例えば、エネルギーデバイス３４０Ａは、電磁エネルギーを放出するように構成された発光ディスプレイであり、エネルギーデバイス３４０Ｂは、機械的エネルギーを放出するように構成された超音波トランスデューサである。そのため、光および音の両方が、シームレスなエネルギー面３６０における様々な場所から投影され得る。この構成では、エネルギーリレーデバイス３５０Ａは、エネルギーデバイス３４０Ａをシームレスなエネルギー面３６０に接続し、電磁エネルギーを中継する。エネルギーリレーデバイスは、電磁エネルギーの輸送を効率的にする（例えば、屈折率を変化させる）特性を有するように構成される。エネルギーリレーデバイス３５０Ｂは、エネルギーデバイス３４０Ｂをシームレスなエネルギー面３６０に接続し、機械的エネルギーを中継する。エネルギーリレーデバイス３５０Ｂは、超音波エネルギーの効率的な輸送のための特性を有するように構成される（例えば、異なる音響インピーダンスを有する材料の配分）。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層３３０上の導波路素子３７０間の場所から投影され得る。機械的エネルギーを投影する場所は、光が一方の電磁導波路素子から他方に輸送されるのを抑制する役割を果たす構造体を形成し得る。一例では、超音波の機械的エネルギーを投影する場所の空間的に分離されたアレイは、三次元触覚形状および表面を空中に作成するように構成することができる。表面は、投影されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト３８０）と一致し得る。いくつかの例では、アレイにわたる位相の遅延および振幅の変化は、触覚形状の作成を支援し得る。
【0059】
様々な実施形態では、インターリーブされたエネルギーリレーデバイスを有するＬＦディスプレイモジュール３００Ｂは、各エネルギーデバイス層が特定のタイプのエネルギーデバイスを含んだ、複数のエネルギーデバイス層を含み得る。これらの例では、エネルギーリレー層は、シームレスなエネルギー面３６０とエネルギーデバイス層３１０との間で適切なタイプのエネルギーを中継するように構成される。
【0060】
タイル張りされたＬＦディスプレイモジュール
図４Ａは、１つ以上の実施形態による、単一面シームレス表面環境を形成するために、二次元にタイル張りされたＬＦディスプレイシステム４００の一部の斜視図である。ＬＦディスプレイシステム４００は、アレイ４１０を形成するようにタイル張りされた複数のＬＦディスプレイモジュールを含む。より明確には、アレイ４１０内の小さな正方形の各々が、タイル張りされたＬＦディスプレイモジュール４１２を表す。ＬＦディスプレイモジュール４１２は、ＬＦディスプレイモジュール３００Ａまたは３００Ｂと同じであり得る。アレイ４１０は、例えば、部屋の表面（例えば、壁）の一部またはすべてを覆うことができる。ＬＦアレイは、例えば、図６Ａ～１３Ｂに関して以下で説明するように、自動車の内部および／または外部の部分などの他の表面を覆うことができる。
図４Ａは、１つ以上の実施形態による、単一面シームレス表面環境を形成するために、二次元にタイル張りされたＬＦディスプレイシステム４００の一部の斜視図である。ＬＦディスプレイシステム４００は、アレイ４１０を形成するようにタイル張りされた複数のＬＦディスプレイモジュールを含む。より明確には、アレイ４１０内の小さな正方形の各々が、タイル張りされたＬＦディスプレイモジュール４１２を表す。ＬＦディスプレイモジュール４１２は、ＬＦディスプレイモジュール３００Ａまたは３００Ｂと同じであり得る。アレイ４１０は、例えば、部屋の表面（例えば、壁）の一部またはすべてを覆うことができる。ＬＦアレイは、例えば、図６Ａ～１３Ｂに関して以下で説明するように、自動車の内部および／または外部の部分などの他の表面を覆うことができる。
【0061】
アレイ４１０は、１つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、アレイ４１０は、ホログラフィックオブジェクト４２０およびホログラフィックオブジェクト４２２を投影する。ＬＦディスプレイモジュール４１２のタイル張りは、はるかに大きなビューイングボリュームを可能にするだけでなく、オブジェクトがアレイ４１０からより遠くに投影されることを可能にする。例えば、例示的な実施形態では、ビューイングボリュームは、ＬＦディスプレイモジュール４１２の前（および後ろ）の局所的なボリュームではなく、アレイ４１０の前および後ろのほぼ全エリアである。
【0062】
いくつかの実施形態では、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２０を視聴者４３０および視聴者４３４に提示する。視聴者４３０および視聴者４３４は、異なる視点のホログラフィックオブジェクト４２０を受信する。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０の真っ直ぐなビューを提示される一方、視聴者４３４は、ホログラフィックオブジェクト４２０のより斜めのビューを提示される。視聴者４３０および／または視聴者４３４が移動すると、これらの視聴者は、異なる視点のホログラフィックオブジェクト４２０を提示される。これにより、視聴者は、ホログラフィックオブジェクトに対して移動することにより、ホログラフィックオブジェクトと視覚的にインタラクションすることが可能になる。例えば、視聴者４３０がホログラフィックオブジェクト４２０の周りを歩くとき、ホログラフィックオブジェクト４２０がアレイ４１０のホログラフィックオブジェクトボリューム内に留まっている限り、視聴者４３０は、ホログラフィックオブジェクト４２０の異なる側面を見る。したがって、視聴者４３０および視聴者４３４は、あたかもホログラフィックオブジェクト４２０が実際にそこにあるかのように、実世界空間にホログラフィックオブジェクト４２０を同時に見ることができる。追加的に、ホログラフィックオブジェクト４２０は、物理的オブジェクトが見えるのとほぼ同じように視聴者に見えるので、視聴者４３０および視聴者４３４は、ホログラフィックオブジェクト４２０を見るために外部デバイスを着用する必要はない。追加的に、ここでは、アレイのビューイングボリュームがアレイの表面の後ろに延在するため、ホログラフィックオブジェクト４２２が、アレイの後ろに例示されている。このように、ホログラフィックオブジェクト４２２は、視聴者４３０および／または視聴者４３４に提示され得る。
【0063】
いくつかの実施形態では、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の位置を追跡する追跡システムを含み得る。いくつかの実施形態では、追跡される位置は、視聴者の位置である。他の実施形態では、追跡される位置は、視聴者の目の位置である。目の位置追跡は、目がどこを見ているかを追跡する（例えば、配向を使用して視線場所を決定する）視線追跡とは異なる。視聴者４３０の目および視聴者４３４の目は、異なる場所にある。
【0064】
様々な構成では、ＬＦディスプレイシステム４００は、１つ以上の追跡システムを含み得る。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステムは、アレイ４１０の外部にある追跡システム４４０を含む。ここで、追跡システムは、アレイ４１０に結合されたカメラシステムであり得る。外部追跡システムは、図５に関してより詳細に説明される。他の例示的な実施形態では、追跡システムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれる双方向エネルギー面を含む１つ以上のＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、エネルギーデバイス３４０）は、アレイ４１０の前の視聴者の画像をキャプチャするように構成され得る。いずれの場合でも、ＬＦディスプレイシステム４００の追跡システムは、アレイ４１０によって提示されたホログラフィックコンテンツを見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に関する追跡情報を決定する。
【0065】
追跡情報は、視聴者の位置、または視聴者の一部の位置（例えば、視聴者の片方または両方の目、もしくは視聴者の四肢）の空間内の（例えば、追跡システムに対する）位置を表す。追跡システムは、追跡情報を決定するために、任意の数の深度決定技術を使用することができる。深度決定技術は、例えば、構造化光、飛行時間、ステレオ撮像、何らかの他の深度決定技術、またはそれらの何らかの組み合わせを含み得る。追跡システムは、追跡情報を決定するように構成されている様々なシステムを含み得る。例えば、追跡システムは、１つ以上の赤外線源（例えば、構造化光源）、赤外線で画像をキャプチャすることができる１つ以上の画像センサ（例えば、赤－青－緑－赤外線カメラ）、および追跡アルゴリズムを実行するプロセッサを含み得る。追跡システムは、深度推定技術を使用して、視聴者の位置を決定し、かつ／または視聴者の動きを追跡することができる。いくつかの実施形態では、ＬＦディスプレイシステム４００は、本明細書で説明するように、視聴者４３０および／または視聴者４３４の追跡された位置、動作、またはジェスチャに基づいて、ホログラフィックオブジェクトを生成する。例えば、ＬＦディスプレイシステム４００は、アレイ４１０の閾値距離および／または特定の位置内に来る視聴者に応答して、ホログラフィックオブジェクトを生成することができる。
【0066】
ＬＦディスプレイシステム４００は、追跡情報に部分的に基づいて、各視聴者に合わせてカスタマイズされた１つ以上のホログラフィックオブジェクトを提示することができる。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０を提示され得るが、ホログラフィックオブジェクト４２２は提示され得ない。同様に、視聴者４３４は、ホログラフィックオブジェクト４２２を提示され得るが、ホログラフィックオブジェクト４２０は提示され得ない。例えば、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の各々の位置を追跡する。ＬＦディスプレイシステム４００は、ホログラフィックオブジェクトが提示されるべき場所に対する視聴者の位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。ＬＦディスプレイシステム４００は、決定された視点に対応する特定のピクセルから光を選択的に投影する。したがって、視聴者４３４および視聴者４３０は、潜在的に完全に異なる体験を同時に有することができる。言い換えれば、ＬＦディスプレイシステム４００は、ホログラフィックコンテンツを、ビューイングボリュームのビューイングサブボリューム（すなわち、図２Ｂに示されるビューイングサブボリューム２９０Ａ、２９０Ｂ、２９０Ｃ、および２９０Ｄと同様の）に提示することができる。例えば、図に示すように、ビューイングボリュームは、アレイの前後のすべてのスペースで表される。この例では、ＬＦディスプレイシステム４００は、視聴者４３０の位置を追跡できるので、ＬＦディスプレイシステム４００は、スペースコンテンツ（例えば、ホログラフィックオブジェクト４２０）を、視聴者４３０を取り囲むビューイングサブボリュームに、およびサファリコンテンツ（例えば、ホログラフィックオブジェクト４２２）を、視聴者４３４を取り囲むビューイングサブボリュームに提示することができる。対照的に、従来のシステムは、同様の体験を提供するために、個々のヘッドセットを使用しなければならないであろう。
【0067】
いくつかの実施形態では、ＬＦディスプレイシステム４００は、１つ以上の感覚フィードバックシステムを含み得る。感覚フィードバックシステムは、ホログラフィックオブジェクト４２０および４２２を拡張する他の感覚刺激（例えば、触覚、音声、または匂い）を提供する。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステム４００は、アレイ４１０の外部の感覚フィードバックシステム４４２を含む。一例では、感覚フィードバックシステム４４２は、アレイ４１０に結合された静電スピーカであり得る。外部感覚フィードバックシステムは、図５に関してより詳細に説明される。他の例示的な実施形態では、感覚フィードバックシステムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれるＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、図３Ｂのエネルギーデバイス３４０Ａ）は、超音波エネルギーをアレイの前の視聴者に投影し、および／またはアレイの前の視聴者から画像情報を受信するように構成され得る。いずれの場合でも、感覚フィードバックシステムは、感覚コンテンツを、アレイ４１０によって提示されるホログラフィックコンテンツ（例えば、ホログラフィックオブジェクト４２０および／またはホログラフィックオブジェクト４２２）を見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に提示し、および／または視聴者から受信する。
【0068】
ＬＦディスプレイシステム４００は、アレイの外部の１つ以上の音響投影デバイスを含む感覚フィードバックシステム４４２を含み得る。代替的または追加的に、ＬＦディスプレイシステム４００は、本明細書で説明されるように、アレイ４１０に統合された１つ以上の音響投影デバイスを含み得る。音響投影デバイスは、体積触覚表面を投影するように構成された超音波源のアレイを含み得る。いくつかの実施形態では、触覚表面は、視聴者の一部が１つ以上の表面の閾値距離内に入る場合、ホログラフィックオブジェクトの１つ以上の表面の（例えば、ホログラフィックオブジェクト４２０の表面における）ホログラフィックオブジェクトと一致し得る。他の実施形態では、触覚表面は、ホログラフィックオブジェクトから分離および／または独立していてもよい。体積触覚は、ユーザがホログラフィックオブジェクトの表面をタッチして感じることを可能にし得る。複数の音響投影デバイスは、視聴者に音声コンテンツ（例えば、没入型オーディオ）を提供する可聴圧力波を投影することができる。したがって、超音波圧力波および／または可聴圧力波は、ホログラフィックオブジェクトを補完する役割を果たすことができる。
【0069】
様々な実施形態では、ＬＦディスプレイシステム４００は、視聴者の追跡された位置に部分的に基づいて、他の感覚刺激を提供することができる。例えば、図４Ａに例示されるホログラフィックオブジェクト４２２はライオンであり、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２２を視覚的（すなわち、ホログラフィックオブジェクト４２２が咆哮するように見える）および聴覚的（すなわち、１つ以上の音響投影デバイスが、ライオンの咆哮がホログラフィックオブジェクト４２２から発せられているように視聴者４３０が知覚する圧力波を投影する）の両方で咆哮させることができる。
【0070】
例示的な構成では、ホログラフィックビューイングボリュームは、図２のＬＦディスプレイシステム２００のビューイングボリューム２８５と同様の方法で制限され得ることに留意されたい。これは、視聴者が単一のウォールディスプレイユニットで体験するであろう知覚される没入感の量を制限する可能性がある。これに対処する１つの方法が、図４Ｂ～図４Ｆに関して以下に説明するように、複数の側面に沿ってタイル張りされた複数のＬＦディスプレイモジュールを使用することである。
【0071】
図４Ｂは、１つ以上の実施形態による、多面シームレス表面環境におけるＬＦディスプレイシステム４０２の一部分の斜視図である。ＬＦディスプレイシステム４０２は、複数のＬＦディスプレイモジュールがタイル張りされて多面シームレス表面環境を作成することを除いて、ＬＦディスプレイシステム４００と実質的に同様である。より具体的には、ＬＦディスプレイモジュールは、６面集合シームレス表面環境であるアレイを形成するようにタイル張りされている。図４Ｂでは、複数のＬＦディスプレイモジュールが、部屋のすべての壁、天井、および床を覆っている。場合によっては、部屋は自動車の内部として定義されることがある。他の実施形態では、複数のＬＦディスプレイモジュールは、壁、床、天井、またはそれらの何らかの組み合わせのすべてではないが、一部を覆い得る。他の実施形態では、複数のＬＦディスプレイモジュールがタイル張りされて、何らかの他の集合シームレス表面を形成する。例えば、壁は、円筒形の集合エネルギー環境が形成されるように湾曲され得る。さらに、図６Ａ～１３Ｂに関して以下に説明するように、いくつかの実施形態では、ＬＦディスプレイモジュールは、自動車の内部および／または外部に表面を形成するようにタイル張りされ得る。
【0072】
ＬＦディスプレイシステム４０２は、１つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、ＬＦディスプレイシステム４０２は、ホログラフィックオブジェクト４２０を、６面集合シームレス表面環境によって囲まれたエリアに投影する。この例では、ＬＦディスプレイシステムのビューイングボリュームも、６面集合シームレス表面環境内に含まれる。例示的な構成では、視聴者４３４は、ホログラフィックオブジェクト４２０と、ホログラフィックオブジェクト４２０を形成するために使用されるエネルギー（例えば、光および／または圧力波）を投影しているＬＦディスプレイモジュール４１４との間に位置付けられ得ることに留意されたい。したがって、視聴者４３４の位置付けは、視聴者４３０が、ＬＦディスプレイモジュール４１４からのエネルギーから形成されるホログラフィックオブジェクト４２０を知覚することを妨げる可能性がある。しかしながら、例示的な構成では、（例えば、視聴者４３４によって）遮られず、エネルギーを投影してホログラフィックオブジェクト４２０を形成し、視聴者４３０によって観察され得る、例えば、ＬＦディスプレイモジュール４１６などの少なくとも１つの他のＬＦディスプレイモジュールが存在する。このように、空間内の視聴者による閉塞により、ホログラフィック投影の一部が見えなくなる可能性があるが、この影響は、ボリュームの一面にのみホログラフィックディスプレイパネルが存在する場合よりもはるかに小さい。ホログラフィックオブジェクト４２２は、ホログラフィックオブジェクトボリュームが集合表面の後ろに延在するため、囲まれた６面集合シームレス表面環境の壁の「外側」に例示されている。したがって、視聴者４３０および／または視聴者４３４は、ホログラフィックオブジェクト４２２を、視聴者が全体にわたって移動することができる６面環境の「外側」として知覚することができる。
【0073】
図４Ａを参照して前述したように、いくつかの実施形態では、ＬＦディスプレイシステム４０２は、視聴者の位置を能動的に追跡し、追跡された位置に基づいてホログラフィックコンテンツを提示するように、異なるＬＦディスプレイモジュールに動的に命令し得る。したがって、多面構成は、制約のない視聴者が、多面シームレス表面環境によって囲まれたエリア全体を自由に移動することができる、ホログラフィックオブジェクトを提供するための（例えば、図４Ａと比べて）より堅牢な環境を提供することができる。
【0074】
特に、様々なＬＦディスプレイシステムが、異なる構成を有し得る。さらに、各構成は、全体でシームレスな表示面（「集合表面」）を形成する表面の特定の配向を有し得る。すなわち、ＬＦディスプレイシステムのＬＦディスプレイモジュールは、タイル張りされて様々な集合表面を形成することができる。例えば、図４Ｂでは、ＬＦディスプレイシステム４０２は、部屋の壁に近似する６面集合表面を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。いくつかの他の例では、集合表面は、全表面（例えば、壁全体）ではなく、表面の一部（例えば、壁の半分）でのみ発生し得る。いくつかの例が本明細書に記載されている。
【0075】
いくつかの構成では、ＬＦディスプレイシステムの集合表面は、局部的なビューイングボリュームに向けてエネルギーを投影するように構成された集合表面を含み得る。局部的なビューイングボリュームにエネルギーを投影することは、例えば、特定のビューイングボリューム内の投影エネルギーの密度を上げ、そのボリューム内の視聴者のＦＯＶを広げ、ビューイングボリュームを表示面に近づけることにより、より高品質の視聴体験を可能にする。
【0076】
ＬＦディスプレイシステムの制御
図５は、１つ以上の実施形態による、ＬＦディスプレイシステム５００のブロック図である。ＬＦディスプレイシステム５００は、ＬＦディスプレイアセンブリ５１０およびコントローラ５２０を備える。ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影する１つ以上のＬＦディスプレイモジュール５１２を含む。ＬＦディスプレイモジュール５１２は、他のタイプのエネルギーを投影および／または感知する統合されたエネルギー源および／またはエネルギーセンサを含むソース／センサシステム５１４を含み得る。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、およびＬＦ処理エンジン５３０および車両インターフェース５３２を含む。コントローラ５２０はまた、追跡モジュール５２６、および視聴者プロファイリングモジュール５２８を含み得る。いくつかの実施形態では、ＬＦディスプレイシステム５００はまた、感覚フィードバックシステム５７０および追跡システム５８０を含む。図１～図４Ｂの文脈の中で説明されるＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の実施形態である。他の実施形態では、ＬＦディスプレイシステム５００は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。ＬＦディスプレイシステム５００の用途についても、図６Ａ～図１３Ｂに関して以下で詳細に説明する。
図５は、１つ以上の実施形態による、ＬＦディスプレイシステム５００のブロック図である。ＬＦディスプレイシステム５００は、ＬＦディスプレイアセンブリ５１０およびコントローラ５２０を備える。ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影する１つ以上のＬＦディスプレイモジュール５１２を含む。ＬＦディスプレイモジュール５１２は、他のタイプのエネルギーを投影および／または感知する統合されたエネルギー源および／またはエネルギーセンサを含むソース／センサシステム５１４を含み得る。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、およびＬＦ処理エンジン５３０および車両インターフェース５３２を含む。コントローラ５２０はまた、追跡モジュール５２６、および視聴者プロファイリングモジュール５２８を含み得る。いくつかの実施形態では、ＬＦディスプレイシステム５００はまた、感覚フィードバックシステム５７０および追跡システム５８０を含む。図１～図４Ｂの文脈の中で説明されるＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の実施形態である。他の実施形態では、ＬＦディスプレイシステム５００は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。ＬＦディスプレイシステム５００の用途についても、図６Ａ～図１３Ｂに関して以下で詳細に説明する。
【0077】
ＬＦディスプレイアセンブリ５１０は、ビューイングボリューム内に位置する視聴者に見え得るホログラフィックオブジェクトボリューム内にホログラフィックコンテンツを提供する。ＬＦディスプレイアセンブリ５１０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツを提供することができる。ホログラフィックコンテンツは、集合表面の前、ＬＦディスプレイアセンブリ５１０、ＬＦディスプレイアセンブリ５１０の集合表面の後ろ、またはそれらの何らかの組み合わせに投影される１つ以上のホログラフィックオブジェクトを含み得る。コントローラ５２０を用いた表示命令の生成について、以下でより詳細に説明する。
【0078】
ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイアセンブリ５１０に含まれる１つ以上のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール１１０、ＬＦディスプレイシステム２００、およびＬＦディスプレイモジュール３００のいずれか）を使用してホログラフィックコンテンツを提供する。便宜上、１つ以上のＬＦディスプレイモジュールは、本明細書ではＬＦディスプレイモジュール５１２として説明されることがある。ＬＦディスプレイモジュール５１２は、タイル張りされて、ＬＦディスプレイアセンブリ５１０を形成することができる。ＬＦディスプレイモジュール５１２は、様々なシームレスな表面環境（例えば、単一面、多面、車両の壁など）として構造化され得る。つまり、タイル張りされたＬＦディスプレイモジュールが集合表面を形成する。前述のように、ＬＦディスプレイモジュール５１２は、ホログラフィックコンテンツを提示する、エネルギーデバイス層（例えば、エネルギーデバイス層２２０）およびエネルギー導波路層（例えば、エネルギー導波路層２４０）を含む。ＬＦディスプレイモジュール５１２はまた、ホログラフィックコンテンツを提示するときに、エネルギーデバイス層とエネルギー導波路層との間でエネルギーを転送するエネルギーリレー層（例えば、エネルギーリレー層２３０）を含み得る。
【0079】
ＬＦディスプレイモジュール５１２はまた、前述のように、エネルギー投影および／またはエネルギー感知のために構成されている他の統合システムを含み得る。例えば、ライトフィールドディスプレイモジュール５１２は、エネルギーを投影および／または感知するように構成されている任意の数のエネルギーデバイス（例えば、エネルギーデバイス３４０）を含み得る。便宜上、ＬＦディスプレイモジュール５１２の統合エネルギー投影システムおよび統合エネルギー感知システムは、本明細書では、総称してソース／センサシステム５１４として説明されることがある。ソース／センサシステム５１４は、ソース／センサシステム５１４が、ＬＦディスプレイモジュール５１２と同じシームレスなエネルギー面を共有するように、ＬＦディスプレイモジュール５１２内に統合されている。言い換えれば、ＬＦディスプレイアセンブリ５１０の集合表面は、ＬＦディスプレイモジュール５１２とソース／センサモジュール５１４との両方の機能を含む。すなわち、ソース／センサシステム５１４を有するＬＦディスプレイモジュール５１２を含むＬＦアセンブリ５１０は、ライトフィールドを投影しながら、同時にエネルギーを投影し、および／またはエネルギーを感知することができる。例えば、ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイモジュール５１２と、前述のようにデュアルエネルギー面または双方向エネルギー面として構成されたソース／センサシステム５１４とを含み得る。
【0080】
いくつかの実施形態では、ＬＦディスプレイシステム５００は、感覚フィードバックシステム５７０を使用して、生成されたホログラフィックコンテンツを他の感覚コンテンツ（例えば、協調的な触覚、音声または匂いなど）で拡張する。感覚フィードバックシステム５７０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツの投影を拡張することができる。一般に、感覚フィードバックシステム５７０は、ＬＦディスプレイアセンブリ５１０の外部の任意の数の感覚フィードバックデバイス（例えば、感覚フィードバックシステム４４２）を含む。いくつかの例示的な感覚フィードバックデバイスは、協調音響投影デバイスおよび受信デバイス、芳香投影デバイス、温度調整デバイス、力作動デバイス、圧力センサ、トランスデューサなどを含み得る。場合によっては、感覚フィードバックシステム５７０は、ライトフィールドディスプレイアセンブリ５１０と同様の機能を有し得、逆もまた然りである。例えば、感覚フィードバックシステム５７０およびライトフィールドディスプレイアセンブリ５１０の両方は、サウンドフィールドを生成するように構成され得る。別の例として、感覚フィードバックシステム５７０は、触覚表面を生成するように構成され得る一方、ライトフィールドディスプレイ５１０アセンブリはそうではない。
【0081】
例示のために、ライトフィールドディスプレイシステム５００の例示的な一実施形態では、感覚フィードバックシステム５７０は、音響投影デバイス（例えば、超音波スピーカ）を含み得る。音響投影デバイスは、コントローラ５２０から受信された表示命令を実行するときに、ホログラフィックコンテンツを補完する１つ以上の圧力波を生成するように構成される。生成される圧力波は、例えば、可聴（音の場合）、超音波（タッチの場合）、またはそれらの何らかの組み合わせであってもよい。同様に、感覚フィードバックシステム５７０は、芳香投影デバイスを含み得る。投影デバイスは、コントローラから受信した表示命令を実行する際に、対象エリアの一部またはすべてに香りを与えるように構成することができる。芳香デバイスは、標的エリア内の気流を調整するように、自動車の空気循環システム内に結びつけられ得る。さらに、感覚フィードバックシステム５７０は、温度調整デバイスを含み得る。温度調整デバイスは、コントローラ５２０から受信された表示命令を実行するときに、標的エリアの一部またはすべての温度を上げるか、または下げるように構成されている。
【0082】
いくつかの実施形態では、感覚フィードバックシステム５７０は、ＬＦディスプレイシステム５００の視聴者からの入力を受信するように構成される。この場合、感覚フィードバックシステム５７０は、視聴者からの入力を受信するための様々な感覚フィードバックデバイスを含む。センサフィードバックデバイスとしては、音響受信デバイス（例えば、マイクロフォン）、圧力センサ、ジョイスティック、動作検出器、トランスデューサなどのデバイスを挙げることができる。感覚フィードバックシステムは、ホログラフィックコンテンツおよび／または感覚フィードバックの生成を調整するために、検出された入力をコントローラ５２０に送信することができる。
【0083】
例示のために、ライトフィールドディスプレイアセンブリの例示的な一実施形態では、感覚フィードバックシステム５７０は、マイクロフォンを含む。マイクロフォンは、１人以上の視聴者によって生み出された音声（例えば、あえぎ、悲鳴、笑い声など）を録音するように構成される。感覚フィードバックシステム５７０は、記録された音声を、視聴者入力としてコントローラ５２０に提供する。コントローラ５２０は、視聴者入力を使用して、ホログラフィックコンテンツを生成することができる。同様に、感覚フィードバックシステム５７０は、圧力センサを含み得る。圧力センサは、視聴者によって圧力センサに加えられた力を測定するように構成される。感覚フィードバックシステム５７０は、測定された力を、視聴者入力としてコントローラ５２０に提供することができる。
【0084】
いくつかの実施形態では、ＬＦディスプレイシステム５００は、追跡システム５８０を含む。追跡システム５８０は、標的エリア内の視聴者の位置、動き、および／または特性を決定するように構成された任意の数の追跡デバイスを含む。一般に、追跡デバイスは、ＬＦディスプレイアセンブリ５１０の外部にある。いくつかの例示的な追跡デバイスとしては、カメラアセンブリ（「カメラ」）、深度センサ、構造化光、ＬＩＤＡＲシステム、カードスキャンシステム、または標的エリア内の（例えば、車両の内部の）視聴者を追跡できるその他の追跡デバイスが挙げられる。監視される行動には、例えば、ユーザが通常は運転者または搭乗者であることが含まれ得る。特性には、例えば、視聴者の名前、視聴者の年齢、車両制御者の好み、車両内部の好み、車両外部の好み、居住地、その他の人口統計情報、またはそれらの何らかの組み合わせが含まれ得る。
【0085】
追跡システム５８０は、標的エリアの一部またはすべてを光で照らす１つ以上のエネルギー源を含み得る。しかしながら、場合によっては、ホログラフィックコンテンツを提示するときに、標的エリアは、自然光および／またはＬＦディスプレイアセンブリ５１０からの周囲光で照らされる。エネルギー源は、コントローラ５２０から受信された命令を実行するときに、光を投影する。光は、例えば、構造化光パターン、光のパルス（例えば、ＩＲフラッシュ）、またはそれらの何らかの組み合わせであり得る。追跡システムは、可視帯域（約３８０ｎｍ～７５０ｎｍ）内、赤外線（ＩＲ）帯域（約７５０ｎｍ～１７００ｎｍ）内、紫外線帯域（１０ｎｍ～３８０ｎｍ）内、電磁スペクトルの何らかの他の部分、またはそれらの何らかの組み合わせの光を投影することができる。ソースとしては、例えば、発光ダイオード（ＬＥＤ）、マイクロＬＥＤ、レーザーダイオード、ＴＯＦ深度センサ、波長可変レーザーなどを挙げることができる。
【0086】
追跡システム５８０は、コントローラ５２０から受信された命令を実行するときに、１つ以上の放出パラメータを調整することができる。放出パラメータは、追跡システム５８０のソースから光が投影される方法に影響を与えるパラメータである。放出パラメータとしては、例えば、明るさ、パルスレート（連続照明を含む）、波長、パルス長、ソースアセンブリから光が投影される方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。一実施形態では、ソースは、飛行時間動作で光のパルスを投影する。
【0087】
追跡システム５８０のカメラは、標的エリアから反射された光（例えば、構造化光パターン）の画像をキャプチャする。カメラは、コントローラ５２０から受信された追跡命令を実行するときに、画像をキャプチャする。前述のように、光は、追跡システム５８０のソースによって投影され得る。カメラは、１つ以上のカメラを含み得る。すなわち、カメラは、例えば、フォトダイオードのアレイ（１Ｄまたは２Ｄ）、ＣＣＤセンサ、ＣＭＯＳセンサ、追跡システム５８０によって投影される光の一部またはすべてを検出する何らかの他のデバイス、またはそれらの何らかの組み合わせであってもよい。一実施形態では、追跡システム５８０は、ＬＦディスプレイアセンブリ５１０の外部のライトフィールドカメラを含み得る。他の実施形態では、カメラは、ＬＦディスプレイアセンブリ５１０に含まれるＬＦディスプレイモジュールの一部として含まれる。例えば、前述のように、ライトフィールドモジュール５１２のエネルギーリレー素子が、エネルギーデバイス層２２０で発光ディスプレイと画像センサとの両方をインターリーブする双方向エネルギー層である場合、ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影すると同時に、ディスプレイの前の視聴エリアからの画像情報を記録するように構成され得る。一実施形態では、双方向エネルギー面からキャプチャされた画像は、ライトフィールドカメラを形成する。カメラは、キャプチャされた画像をコントローラ５２０に提供する。
【0088】
追跡システム５８０のカメラは、コントローラ５２０から受信された追跡命令を実行するときに、１つ以上の撮像パラメータを調整することができる。撮像パラメータは、カメラが画像をキャプチャする方法に影響を与えるパラメータである。撮像パラメータとしては、例えば、フレームレート、アパーチャ、ゲイン、露光長さ、フレームタイミング、ローリングシャッターまたはグローバルシャッターのキャプチャモード、カメラが画像をキャプチャする方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。
【0089】
コントローラ５２０は、ＬＦディスプレイアセンブリ５１０と、ＬＦディスプレイシステム５００の任意の他の構成要素と、を制御する。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、追跡モジュール５２６、視聴者プロファイリングモジュール５２８、およびライトフィールド処理エンジン５３０を備える。他の実施形態では、コントローラ５２０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。例えば、追跡モジュール５２６は、ＬＦディスプレイアセンブリ５１０または追跡システム５８０の一部であり得る。
【0090】
データストア５２２は、ＬＦディスプレイシステム５００の情報を記憶するメモリである。記憶される情報としては、表示命令、追跡命令、放出パラメータ、撮像パラメータ、標的エリアの仮想モデル、追跡情報、カメラによってキャプチャされた画像、１つ以上の視聴者プロファイル、ライトフィールドディスプレイアセンブリ５１０の較正データ、ＬＦモジュール５１２の解像度および配向を含むＬＦディスプレイシステム５１０の構成データ、所望のビューイングボリューム形状、３Ｄモデル、シーンならびに環境、材料、およびテクスチャを含むグラフィックス作成のためのコンテンツ、ＬＦディスプレイシステム５００によって使用され得る他の情報、またはそれらの何らかの組み合わせを挙げることができる。データストア５２２は、読み取り専用メモリ（ＲＯＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、またはそれらの何らかの組み合わせなどのメモリである。
【0091】
ネットワークインターフェース５２４は、ライトフィールドディスプレイシステムがネットワークを介して他のシステムまたは環境と通信することを可能にする。一例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を介して、リモートのライトフィールドディスプレイシステムからホログラフィックコンテンツを受信する。別の例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を使用して、ホログラフィックコンテンツをリモートのデータストアに送信する。
【0092】
追跡モジュール５２６は、ＬＦディスプレイシステム５００によって提示されたコンテンツを視聴している視聴者を追跡する。そうするために、追跡モジュール５２６は、追跡システム５８０のソースおよび／またはカメラの動作を制御する追跡命令を生成し、追跡命令を追跡システム５８０に提供する。追跡システム５８０は、追跡命令を実行し、追跡モジュール５２６に追跡入力を提供する。
【0093】
追跡モジュール５２６は、標的エリア内の（例えば、自動車の座席に座っている、自動車の外側に立っている）１人以上の視聴者の位置を決定することができる。決定された位置は、例えば、何らかの基準点（例えば、表示面）に対するものであり得る。他の実施形態では、決定された位置は、標的エリアの仮想モデル内にあり得る。追跡された位置は、例えば、視聴者の追跡された位置および／または視聴者の一部の追跡された位置（例えば、目の場所、手の場所など）であり得る。追跡モジュール５２６は、追跡システム５８０のカメラからキャプチャされた１つ以上の画像を使用して、位置を決定する。追跡システム５８０のカメラは、ＬＦディスプレイシステム５００の周りに分配され得、画像を立体でキャプチャすることができ、追跡モジュール５２６が視聴者を受動的に追跡することを可能にする。他の実施形態では、追跡モジュール５２６は、視聴者を能動的に追跡する。すなわち、追跡システム５８０は、標的エリアのある部分を照らし、標的エリアを撮像し、追跡モジュール５２６は、飛行時間および／または構造化光深度決定技術を使用して、位置を決定する。追跡モジュール５２６は、決定された位置を使用して、追跡情報を生成する。
【0094】
追跡モジュール５２６はまた、ＬＦディスプレイシステム５００の視聴者からの入力として、追跡情報を受信することができる。追跡情報は、視聴者がＬＦディスプレイシステム５００によって提供される様々な入力オプションに対応する体の動き（つまり、ジェスチャ）を含み得る。ジェスチャは、特定の入力にマッピングできる体の動き（例えば、ホログラフィックオブジェクトに変更を加える要求）である。ジェスチャには、例えば、拳を作る、伸ばされた指を特定の方向にスワイプする、つまむ動作、放棄する動作、逆につまむ動作、体の一部分の他の動作、またはそれらの何らかの組み合わせが含まれ得る。例えば、追跡モジュール５２６は、視聴者の体の動きを追跡し、任意の様々な動きを、入力として、ＬＦ処理エンジン５３０に割り当てることができる。追跡モジュール５２６は、追跡情報を、データストア５２２、ＬＦ処理エンジン５３０、視聴者プロファイリングモジュール５２８、ＬＦディスプレイシステム５００の任意の他の構成要素、またはそれらの何らかの組み合わせに提供することができる。
【0095】
ＬＦディスプレイシステム５００は、視聴者を識別し、かつプロファイリングするように構成された視聴者プロファイリングモジュール５２８を含む。視聴者プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００によって表示されたホログラフィックコンテンツを見る１人以上の視聴者のプロファイルを生成する。視聴者プロファイリングモジュール５２８は、視聴者の入力および監視された視聴者の行動、動作、ならびに反応に部分的に基づいて、視聴者プロファイルを生成する。視聴者プロファイリングモジュール５２８は、追跡システム５８０から取得された情報（例えば、記録された画像、ビデオ、音声など）にアクセスし、その情報を処理して、様々な情報を決定することができる。様々な例において、視聴者プロファイリングモジュール５２８は、任意の数のマシンビジョンまたは機械聴覚アルゴリズムを使用して、視聴者の行動、動作、および反応を決定することができる。監視される視聴者の行動には、例えば、笑顔、歓声、拍手、笑い、恐怖、悲鳴、興奮レベル、反動、その他のジェスチャの変化、または視聴者による動きなどが含まれ得る。
【0096】
より一般的には、視聴者プロファイルは、ＬＦディスプレイシステムからのホログラフィックコンテンツを見ている視聴者に関して受信および／または決定された任意の情報を含み得る。例えば、各視聴者プロファイルは、ＬＦディスプレイシステム５００によって表示されたコンテンツに対するその視聴者の動作または応答を記録することができる。視聴者プロファイルに含まれ得るいくつかの例示的な情報が、以下に提供される。
【0097】
視聴プロファイリングモジュール５２８は、車両のユーザのための視聴者プロファイルを生成する。視聴プロファイリングモジュール５２８は、部分的にユーザ入力および監視された行動に基づいて、視聴者プロファイルを構築する。視聴プロファイルは、ＬＦディスプレイシステム５００に関する視聴者の行動および視聴者の１つ以上の特性を説明する。いくつかの実施形態では、視聴プロファイリングモジュール５２８は、ユーザから特性を受信し、かつ／または監視された動作に基づいて特性を推測することができる。監視される行動には、例えば、ユーザが通常は運転者または搭乗者であることが含まれ得る。特性には、例えば、視聴者の名前、視聴者の年齢、車両制御者の好み、車両内部の好み、車両外部の好み、居住地、その他の人口統計情報、またはそれらの何らかの組み合わせが含まれ得る。
【0098】
車両コントローラの好みは、車両に命令を提供するために使用できるホログラフィックコンテンツに対するユーザの好ましい構成を説明する。車両に何らかの命令を提供するために使用され得るホログラフィックコンテンツは、例えば、二次元オブジェクト、三次元オブジェクト、制御スイッチ、制御ダイヤル、ステアリング制御インターフェース（例えば、ステアリングホイール）、計器クラスタ、音楽制御インターフェース（例えば、ラジオ、音楽プレーヤ）、温度制御インターフェース（ヒータおよび／または空調制御）、窓制御インターフェース、ドア制御インターフェース（例えば、ドアのロック／ロック解除および／または開放を可能にする）ドアの）、マッピング制御インターフェース、コンピュータインターフェース、シフタ、制御ボタン、エンターテインメントビデオ制御インターフェース（例えば、車両の乗員がビデオコンテンツを制御および／または提示することを可能にする）、車両のための何らかの他の制御インターフェース、またはそれらの何らかの組み合わせを含んでもよい。
【0099】
車両の内部の好みは、車両の内部に提示されるホログラフィックコンテンツに対するユーザの好みの構成を説明する。例えば、計器クラスタ（スピードメータ、タコメータなど）、ダッシュボードの色、ドアパネルの色、窓ティントの量、（車両に命令を提供するために使用できるホログラフィックコンテンツを含む）内部のホログラフィックコンテンツの場所。
【0100】
車両の外部の好みは、車両の外部に沿ってＬＦディスプレイモジュールを使用して提示されるホログラフィックコンテンツに対するユーザの好みの構成を説明する。例えば、外部の好みは、車両の色（複数可）、車両の外観を拡張するために使用されるホログラフィックオブジェクト（例えば、サイドミラー、スポイラ、フードスクープなど）がどのようなものか、外部に沿ったホログラフィックコンテンツの場所またはそれらの何らかの組み合わせを説明し得る。
【0101】
いくつかの実施形態では、視聴プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００によって表示されるホログラフィックコンテンツに対するユーザの動作および／または応答に基づいて、視聴者プロファイルを直接更新することができる。いくつかの実施形態では、視聴プロファイリングモジュール５２８は、視聴者プロファイルを構築し、かつ記憶するための視聴者の識別をコントローラ５２０に提供する。
【0102】
いくつかの実施形態では、データストア５２２は、視聴者プロファイリングモジュール５２８によって生成、更新、および／または維持された視聴者プロファイルを記憶する視聴者プロファイルストアを含む。視聴者プロファイルは、視聴者プロファイリングモジュール５２８によって、いつでもデータストア内で更新され得る。例えば、一実施形態では、視聴者プロファイルストアは、特定の視聴者が、ＬＦディスプレイシステム５００によって提供されたホログラフィックコンテンツを見るときに、その特定の視聴者に関する情報を受信し、その視聴者の視聴者プロファイルに記憶する。この例では、視聴者プロファイリングモジュール５２８は、視聴者を認識し、視聴者が提示されたホログラフィックコンテンツを見るときに視聴者を確実に識別することができる顔認識アルゴリズムを含む。例示のために、視聴者がＬＦディスプレイシステム５００の標的エリアに入ると、追跡システム５８０が、視聴者の画像を取得する。視聴者プロファイリングモジュール５２８は、キャプチャされた画像を入力し、顔認識アルゴリズムを使用して視聴者の顔を識別する。識別された顔は、プロファイルストア内の視聴者プロファイルに関連付けられ、そのため、その視聴者に関して取得されたすべての入力情報が、その視聴者のプロファイルに記憶され得る。視聴者プロファイリングモジュールはまた、カード識別スキャナ、音声識別子、無線周波数識別（ＲＦＩＤ）チップスキャナ、バーコードスキャナなどを利用して、視聴者を確実に識別することができる。
【0103】
視聴者プロファイリングモジュール５２８が視聴者を確実に識別できるため、視聴者プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００への各視聴者の各訪問を決定することができる。次に、視聴者プロファイリングモジュール５２８は、各訪問の日時を各視聴者の視聴者プロファイルに記憶することができる。同様に、視聴者プロファイリングモジュール５２８は、感覚フィードバックシステム５７０、追跡システム５８０、および／またはＬＦディスプレイアセンブリ５１０の任意の組み合わせから受信された、視聴者からの入力を、入力が発生するたびに記憶することができる。視聴者プロファイルシステム５２８は、コントローラ５２０の他のモジュールまたは構成要素から視聴者に関するさらなる情報を追加的に受信することができ、この情報は、視聴者プロファイルとともに記憶され得る。次に、コントローラ５２０の他の構成要素も、その視聴者に提供される後のコンテンツを決定するために、記憶された視聴者プロファイルにアクセスすることができる。
【0104】
ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０によって実行されると、ＬＦディスプレイアセンブリ５１０にホログラフィックコンテンツを提示させる、ラスタライズ化されたフォーマットの４Ｄ座標（「ラスタライズ化されたデータ」）を生成する。ＬＦ処理エンジン５３０は、データストア５２２からラスタライズ化されたデータにアクセスすることができる。さらに、ＬＦ処理エンジン５３０は、ベクトル化されたデータセットからラスタライズされたデータを構築することができる。ベクトル化されたデータを以下に説明する。ＬＦ処理エンジン５３０はまた、ホログラフィックオブジェクトを拡張する感覚コンテンツを提供するために必要な感覚命令を生成することができる。上記のように、感覚命令は、ＬＦディスプレイシステム５００によって実行されると、触覚表面、サウンドフィールド、およびＬＦディスプレイシステム５００によってサポートされる他の形態の感覚エネルギーを生成することができる。ＬＦデータ処理エンジン５３０は、データストア５２２から感覚命令にアクセスする、または、感覚命令を構築して、ベクトル化されたデータセットを形成することができる。全体として、４Ｄ座標および感覚データは、ホログラフィックおよび感覚コンテンツを生成するためにＬＦディスプレイシステムによって実行可能な表示命令を表す。
【0105】
ＬＦディスプレイシステム５００内の様々なエネルギー源を通るエネルギーの流れを説明するラスタライズされたデータの量は、信じられないほど大量である。データストア５２２からアクセスされる場合、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは可能であるが、（例えば、ネットワークインターフェース５２４を介して）効率的に送信し、受信し、その後、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは不可能である。例えば、ＬＦディスプレイシステム５００によるホログラフィック投影用の短いフィルムを表すラスタライズされたデータを取り上げる。この例では、ＬＦディスプレイシステム５００は、数ギガピクセルを含むディスプレイを含み、ラスタライズされたデータは、ディスプレイ上の各ピクセル場所の情報を含む。ラスタライズされたデータの対応するサイズは膨大であり（例えば、フィルム表示時間の毎秒多ギガバイト）、ネットワークインターフェース５２４を介した商用ネットワーク上での効率的な転送には管理できない。効率的な転送の問題は、ホログラフィックコンテンツのライブストリーミングを含むアプリケーションで増幅される可能性がある。感覚フィードバックシステム５７０または追跡モジュール５２６からの入力を使用してインタラクティブな体験が望まれる場合、単にラスタライズされたデータをデータストア５２２に記憶することに関する追加の問題が生じる。インタラクティブな体験を可能にするために、ＬＦ処理エンジン５３０によって生成されたライトフィールドコンテンツは、感覚または追跡入力に応答してリアルタイムで修正され得る。言い換えれば、場合によっては、ＬＦコンテンツは、データストア５２２から単純に読み取ることができない。
【0106】
したがって、いくつかの構成では、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを表すデータは、ベクトル化されたデータフォーマット（「ベクトル化されたデータ」）でＬＦ処理エンジン５３０に転送され得る。ベクトル化されたデータは、ラスタライズされたデータよりも桁違いに小さい場合がある。さらに、ベクトル化されたデータは、データの効率的な共有を可能にするデータセットサイズを有しながら、高い画質を提供する。例えば、ベクトル化されたデータは、より密度の高いデータセットから派生した疎なデータセットである可能性がある。したがって、ベクトル化されたデータは、密度の高いラスタライズされたデータから疎なベクトル化されたデータがどのようにサンプリングされるかに基づいて、画質とデータ送信サイズとの間の調整可能なバランスを有する可能性がある。ベクトル化されたデータを生成するための調整可能なサンプリングにより、特定のネットワーク速度での画質の最適化が可能になる。結果として、ベクトル化されたデータは、ネットワークインターフェース５２４を介したホログラフィックコンテンツの効率的な送信を可能にする。ベクトル化されたデータにより、ホログラフィックコンテンツを商用ネットワーク経由でライブストリーミングすることもできる。
【0107】
要約すると、ＬＦ処理エンジン５３０は、データストア５２２からアクセスされるラスタライズされたデータ、データストア５２２からアクセスされるベクトル化されたデータ、またはネットワークインターフェース５２４を介して受信されるベクトル化されたデータから導出されたホログラフィックコンテンツを生成することができる。様々な構成において、ベクトル化されたデータは、データ送信の前に符号化され、ＬＦコントローラ５２０による受信の後に復号化され得る。いくつかの例では、ベクトル化されたデータは、データ圧縮に関連する追加のデータセキュリティおよびパフォーマンスの向上のために符号化される。例えば、ネットワークインターフェースによって受信されたベクトル化されたデータは、ホログラフィックストリーミングアプリケーションから受信された符号化され、ベクトル化されたデータであり得る。いくつかの例では、ベクトル化されたデータは、デコーダ、ＬＦ処理エンジン５３０、またはこれらの両方が、ベクトル化されたデータ内の符号化された情報コンテンツにアクセスすることを必要とし得る。エンコーダおよび／またはデコーダシステムは、顧客が利用できる場合や、サードパーティベンダーにライセンス供与されている場合がある。
【0108】
ベクトル化されたデータは、インタラクティブな体験をサポートする方法で、ＬＦディスプレイシステム５００によってサポートされる各感覚領域の各々の情報を含む。例えば、インタラクティブなホログラフィック体験のためのベクトル化されたデータは、ＬＦディスプレイシステム５００によってサポートされる感覚領域の各々に正確な物理学を提供することができる任意のベクトル化された特性を含む。ベクトル化された特性は、合成的にプログラムされ、キャプチャされ、計算により評価され得るなどの任意の特性を含み得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータのベクトル化された特性をラスタライズされたデータに変換するように構成され得る。次に、ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０からのベクトル化されたデータから変換されたホログラフィックコンテンツを投影することができる。様々な構成で、ベクトル化された特性には、１つ以上の赤／緑／青／アルファチャネル（ＲＧＢＡ）＋深度画像、１つの高解像度中央画像および低解像度の他のビューを含み得る様々な解像度での深度情報の有無にかかわらないマルチビュー画像、アルベドおよび反射率、表面法線、その他の光学効果、表面識別、幾何学的オブジェクト座標、仮想カメラ座標、表示面の場所、照明座標、表面の接触剛性、接触延性、接触強度、サウンドフィールドの振幅および座標、環境条件、テクスチャまたは温度の機械受容器に関連する体性感覚エネルギーベクトル、音声、ならびにその他の感覚領域特性の座標が含まれ得る。他の多くのベクトル化された特性も可能である。
【0109】
ＬＦディスプレイシステム５００はまた、コントローラ５２０からの命令に応答して、１つ以上のホログラフィックオブジェクトを動的に更新することができる。例えば、発生するイベントに応答して、コントローラ５２０は、ＬＦディスプレイアセンブリ５１０に、１つ以上のホログラフィックオブジェクトを提示し、かつ／または更新するように命令することができる。イベントには、例えば、ユーザ入力（例えば、ジェスチャ、口頭のコマンド、ボタンを押すなどであってもよい）、ナビゲーションリマインダ、携帯電話通話、車両ステータスの変更、事前にプログラムされ得るその他のイベントおよびそれらの何らかの組み合わせが含まれる場合がある。いくつかの実施形態では、ユーザ入力（例えば、ジェスチャ）に応答して、コントローラ５２０は、車両の動作状態（例えば、エンジンのオン／オフ、アクティブギア、駆動構成など）、車両の制御インターフェース、車両のデータインジケータ、車両の内部構成（例えば、運転者に対するホログラフィックオブジェクトの配置、内部照明、内部表示情報、無線音量など）、少なくとも１つ以上のホログラフィックオブジェクト、１つ以上のホログラフィックオブジェクトの配置、ネットワーク上でのデータを転送すること、（例えば、救難連絡でもあり得る）携帯電話通話を実行すること、ナビゲーションの更新を行うこと、またはそれらの何らかの組み合わせのうちの１つ以上を調整することができる。車両の動作状態は、車両の動作の何らかの態様を説明する。例えば、動作状態は、車両の速度の変化、トランスミッションギア（例えば、ドライブ、パーク、リバースなど）、エンジン動作（オン／オフ）、駆動構成（例えば、二輪駆動、四輪駆動など）、ヘッドライト構成（ランニングライトのオン／オフ、ハイビームのオン／オフ、ロービームのオン／オフ）、ミラー構成、車両操作の他の態様、またはそれらの組み合わせの変化を説明し得る。データインジケータは、車両の何らかの態様を乗員に通知する。データインジケータには、例えば、速度計、方向指示器、タコメータ、ガスゲージ、タイヤ空気圧低下警告、オイル警告、ヘッドアップディスプレイ情報、ナビゲーションリマインダなどが含まれ得る。
【0110】
ＬＦディスプレイシステム５００はまた、インタラクティブな視聴体験を生成することもできる。すなわち、ホログラフィックコンテンツは、視聴者の場所、ジェスチャ、インタラクション、ホログラフィックコンテンツとのインタラクションに関する情報、または視聴者プロファイリングモジュール５２８および／または追跡モジュール５２６から導出された他の情報を含む入力刺激に応答することができる。例えば、一実施形態では、ＬＦ処理システム５００は、ネットワークインターフェース５２４を介して受信されたリアルタイムパフォーマンスのベクトル化されたデータを使用して、インタラクティブな視聴体験を作成する。別の例では、ホログラフィックオブジェクトが、視聴者のインタラクションに応じて直ちに特定の方向に移動する必要がある場合、ＬＦ処理エンジン５３０は、ホログラフィックオブジェクトがその要求された方向に移動するように、シーンのレンダリングを更新することができる。これには、ＬＦ処理エンジン５３０が、ベクトル化されたデータセットを使用して、適切なオブジェクトの配置および動き、衝突検出、オクルージョン、色、陰影、照明などを有する３Ｄグラフィカルシーンに基づいて、リアルタイムでライトフィールドをレンダリングし、視聴者のインタラクションに正しく応答することが必要であり得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータを、ＬＦディスプレイアセンブリ５１０による提示のためにラスタライズされたデータに変換する。
【0111】
ラスタライズされたデータには、リアルタイムのパフォーマンスを表すホログラフィックコンテンツ命令および感覚命令（表示命令）が含まれる。ＬＦディスプレイアセンブリ５１０は、表示命令を実行することによって、リアルタイムのパフォーマンスのホログラフィックおよび感覚コンテンツを同時に投影する。ＬＦディスプレイシステム５００は、追跡モジュール５２６および視聴者プロファイリングモジュール５２８を用いて、提示されたリアルタイムのパフォーマンスのコンテンツとの視聴者のインタラクション（例えば、音声応答、タッチなど）を監視する。視聴者のインタラクションに応答して、ＬＦ処理エンジンは、視聴者に表示するための追加のホログラフィックおよび／または感覚コンテンツを生成することによって、インタラクティブな体験を作成する。
【0112】
例示のために、複数のホログラフィックオブジェクトを生成するＬＦ処理エンジン５３０を含むＬＦディスプレイシステム５００の例示的な一実施形態を考慮する。例えば、複数のホログラフィックオブジェクトを使用して、様々なトランスミッション状態（例えば、ドライブ、リバース、ニュートラルなど）に対応する一連のボタンを表示するシフタを表すことができる。ユーザは、駆動ボタンを表すホログラフィックオブジェクトにタッチするように移動し得る。それに応じて、追跡システム５８０は、ホログラフィックオブジェクトに対する視聴者の指の動きを追跡する。ユーザの動きは追跡システム５８０によって記録され、コントローラ５２０およびＬＦ処理エンジン５３０に送信される。いくつかの実施形態では、ＬＦ処理エンジン５３０は、ホログラフィックオブジェクトの外面の少なくとも一部分に対応し、ホログラフィックオブジェクトの一部またはすべてと実質的に同じ空間を占める触覚表面を生成するように（例えば、超音波スピーカを使用して）ＬＦディスプレイアセンブリ５１０に命令する。ＬＦ処理エンジン５３０は追跡情報を使用して、ＬＦディスプレイアセンブリ５１０に、物理ボタンを押す視覚および接触知覚の両方をユーザが与えられるように、触覚表面の位置を、レンダリングされたホログラフィックオブジェクトの位置とともに移動するよう動的に命令する。
【0113】
ホログラフィックコンテンツトラックには、空間レンダリング情報も含まれる場合がある。すなわち、ホログラフィックコンテンツトラックは、自動車の内部に、かつ／または自動車の外部に沿ってホログラフィックコンテンツを提示するための空間的場所を示し得る。例えば、ホログラフィックコンテンツトラクトは、特定のホログラフィックコンテンツがいくつかのホログラフィックビューイングボリュームで提示され、他のボリュームでは提示されないことを示し得る。説明のために、ＬＦ処理エンジン５３０は、自動車のダッシュボードに沿って計器制御を提示することができる。同様に、ホログラフィックコンテンツトラックは、ホログラフィックコンテンツを示して、いくつかのビューイングボリュームに提示し、他のボリュームには提示しないことを示し得る。例えば、ＬＦ処理エンジンは、ダッシュボードに沿って計器制御を運転者に提示するが、搭乗者には提示しない場合がある。
【0114】
ＬＦ処理エンジン５３０はまた、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成することができる。重要なことには、ここで、表示のためのホログラフィックコンテンツを作成することは、表示のためのホログラフィックコンテンツをアクセスすること、または受信することとは異なる。すなわち、コンテンツを作成するとき、ＬＦ処理エンジン５３０は、以前に生成および／または受信されたコンテンツをアクセスするのではなく、表示のための全く新しいコンテンツを生成する。ＬＦ処理エンジン５３０は、追跡システム５８０、感覚フィードバックシステム５７０、視聴者プロファイリングモジュール５２８、追跡モジュール５２８、またはそれらの何らかの組み合わせからの情報を使用して、表示のためのホログラフィックコンテンツを作成することができる。いくつかの例では、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００の要素からの情報（例えば、追跡情報および／または視聴者プロファイル）にアクセスし、それに応じて、その情報に基づいてホログラフィックコンテンツを作成し、作成されたホログラフィックコンテンツを、ＬＦディスプレイシステム５００を使用して表示することができる。作成されたホログラフィックコンテンツは、ＬＦディスプレイシステム５００によって表示されるときに、他の感覚コンテンツ（例えば、タッチ、音声、または匂い）で拡張され得る。さらに、ＬＦディスプレイシステム５００は、作成されたホログラフィックコンテンツが将来表示され得るように、作成されたホログラフィックコンテンツを記憶することができる。
【0115】
いくつかの実施形態では、ＬＦ処理エンジン５３０は、人工知能（ＡＩ）モデルを組み込んで、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成する。ＡＩモデルは、回帰モデル、ニューラルネットワーク、分類器、またはその他のＡＩアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。ＡＩモデルは、視聴者の行動に関する情報を含み得る、ＬＦディスプレイシステム５００によって（例えば、追跡システム５８０によって）記録された視聴者情報に基づいて、視聴者の好みを決定するために使用することができる。
【0116】
ＡＩモデルは、ホログラフィックコンテンツを作成するために、データストア５２２からの情報にアクセスすることができる。例えば、ＡＩモデルは、データストア５２２内の１つ以上の視聴者プロファイルからの視聴者情報にアクセスすることができるか、またはＬＦディスプレイシステム５００の様々な構成要素から視聴者情報を受信することができる。説明のために、ＡＩモデルは、車両の乗員が特定の自動車のトリム（外部および／または内部）を見るのを楽しんでいると決定する場合がある。ＡＩモデルは、以前見た、自動車のトリムに対する視聴者の群の肯定的な反応または応答に基づいて、好みを決定することができる。つまり、ＡＩモデルは、学習された視聴者の好みに従って、視聴者のセットに合わせて個人化されたホログラフィックコンテンツを作成することができる。ＡＩモデルはまた、学習された各視聴者の好みを、データストア５２２の視聴者プロファイルストアに記憶することができる。いくつかの例では、ＡＩモデルは、視聴者の群ではなく、個々の視聴者のためにホログラフィックを作成することができる。
【0117】
視聴者の特徴を識別し、反応を識別し、および／または識別された情報に基づいてホログラフィックコンテンツを生成するために使用され得るＡＩモデルの一例が、現在の層のノードの値が前の層のノードでの値の変換である、ノードのレイヤを有する畳み込みニューラルネットワークモデルである。特性には、例えば、視聴者の名前、視聴者の年齢、車両制御者の好み、車両内部の好み、車両外部の好み、居住地、その他の人口統計情報、またはそれらの何らかの組み合わせが含まれ得る。モデルにおける変換は、現在の層と前の層とを接続する、重みとパラメータとのセットによって決定される。例えば、ＡＩモデルは、ノードの５つの層、すなわち層Ａ、Ｂ、Ｃ、Ｄ、およびＥを含み得る。層Ａから層Ｂへの変換は関数Ｗ１により与えられ、層Ｂから層Ｃへの変換はＷ２により与えられ、層Ｃから層Ｄへの変換はＷ３により与えられ、層Ｄから層Ｅへの変換はＷ４により与えられる。いくつかの例では、変換はまた、モデル内の前の層間を変換するために使用される重みとパラメータとのセットを介して決定され得る。例えば、層Ｄから層Ｅへの変換Ｗ４は、層Ａから層Ｂへの変換Ｗ１を遂行するために使用されるパラメータに基づき得る。
【0118】
モデルへの入力は、畳み込み層Ａ上に符号化された、追跡システム５８０によって撮影された画像であり得、モデルの出力は、出力層Ｅから復号されたホログラフィックコンテンツである。代替的または追加的に、出力は、画像内で決定された視聴者の特徴であり得る。この例では、ＡＩモデルは、識別層Ｃの視聴者の特徴を表す、画像内の潜在情報を識別する。ＡＩモデルは、畳み込み層Ａの次元を識別層Ｃの次元まで低減して、画像内の任意の特徴、動作、応答などを識別する。いくつかの例では、ＡＩモデルは、次に、識別層Ｃの次元を増加してホログラフィックコンテンツを生成する。
【0119】
追跡システム５８０からの画像は、畳み込み層Ａに符号化される。畳み込み層Ａに入力された画像は、識別層Ｃの様々な特徴および／または反応情報などに関連付けられ得る。これらの要素間の関連情報は、対応する層間に変換のセットを適用することによって検索され得る。すなわち、ＡＩモデルの畳み込み層Ａは、符号化された画像を表し、モデルの識別層Ｃは、笑顔の視聴者を表す。所与の画像内の笑顔の視聴者は、畳み込み層Ａの空間内の画像の画素値に変換Ｗ１およびＷ２を適用することによって識別され得る。変換の重みおよびパラメータは、画像に含まれる情報と笑顔の視聴者の識別との間の関係を示し得る。例えば、重みおよびパラメータは、画像内の笑顔の視聴者を表す情報に含まれる形状、色、サイズなどの量子化であり得る。重みおよびパラメータは、履歴データ（例えば、以前に追跡された視聴者）に基づき得る。
【0120】
画像内の笑顔の視聴者は、識別層Ｃで識別される。識別層Ｃは、画像内の笑顔の視聴者に関する潜在情報に基づいて識別された笑顔の視聴者を表す。
【0121】
画像内の識別された笑顔の視聴者を使用して、ホログラフィックコンテンツを生成することができる。ホログラフィックコンテンツを生成するために、ＡＩモデルは、識別層から開始して、変換Ｗ２およびＷ３を識別層Ｃの所与の識別された笑顔の視聴者の値に適用する。変換は、出力層Ｅのノードのセットをもたらす。変換の重みおよびパラメータは、識別された笑顔の視聴者と特定のホログラフィックコンテンツおよび／または好みとの間の関係を示し得る。ホログラフィックコンテンツが、出力層Ｅのノードから直接出力される場合もあれば、コンテンツ生成システムが、出力層Ｅのノードをホログラフィックコンテンツに復号化する場合もある。例えば、出力が、識別された特徴のセットである場合、ＬＦ処理エンジン５３０は、その特徴を使用してホログラフィックコンテンツを生成することができる。
【0122】
追加的に、ＡＩモデルは、中間層として知られている層を含み得る。中間層は、画像に対応しない層であって、特徴／反応などを識別するか、またはホログラフィックコンテンツを生成する。例えば、所与の例では、層Ｂは、畳み込み層Ａと識別層Ｃとの間の中間層である。層Ｄは、識別層Ｃと出力層Ｅとの間の中間層である。隠れ層は、データ中では観測されないが、特徴を識別してホログラフィックコンテンツを生成するときに、画像の要素間の関係を支配し得る識別の様々な態様の潜在表現である。例えば、隠れ層のあるノードが、「笑っている人の笑顔」の共通点を共有する入力値および識別値と強いつながり（例えば、大きな重み値）を持っている場合がある。別の例として、隠れ層の別のノードが、「怖がっている人の悲鳴」の共通点を共有する入力値および識別値と強いつながりを持っている場合がある。もちろん、ニューラルネットワークには任意の数のリンケージが存在する。追加的に、各中間層は、例えば、残差ブロック、畳み込み層、プーリング操作、スキップ接続、連結などの機能の組み合わせである。任意の数の中間層Ｂが、畳み込み層を識別層まで減らすように機能し得、任意の数の中間層Ｄが、識別層を出力層まで増やすように機能し得る。
【0123】
一実施形態では、ＡＩモデルは、強化学習でトレーニングされた決定論的方法を含む（それにより、強化学習モデルを作成する）。モデルは、追跡システム５８０からの測定値を入力として、および作成されたホログラフィックコンテンツへの変更を出力として使用して、パフォーマンスの品質を高めるようにトレーニングされる。
【0124】
強化学習は、数値的な報酬信号を最大化するために、機械が「何をすべきか」（状況を動作にマッピングする方法）を学習する機械学習システムである。学習器（例えば、ＬＦ処理エンジン５３０）は、取るべき動作（例えば、所定のホログラフィックコンテンツの生成）を告げられていないが、代わりに、動作を試行することによって、どの動作が最大の報酬をもたらすか（例えば、より多くの人に歓声を上げさせることによってホログラフィックコンテンツの品質を高めること）を発見する。場合によっては、動作は、即時報酬だけでなく、次の状況、そしてそれを通じて、その後のすべての報酬にも影響を及ぼし得る。これらの２つの特徴（試行錯誤による探索および遅延報酬）が、強化学習の２つの際立った特徴である。
【0125】
強化学習は、学習方法を特徴づけることによってではなく、学習問題を特徴づけることによって定義される。基本的に、強化学習システムは、目標を達成するために環境とインタラクションする学習エージェントが直面している問題の重要な態様をキャプチャする。つまり、パフォーマの歌を生成する例では、強化学習システムは、現場の視聴者に関する情報（例えば、年齢、気質など）をキャプチャする。このようなエージェントは、環境の状態を感知し、状態に影響を与える動作を実行して、１つ以上の目標を達成する（例えば、視聴者が歓声を上げるであろうポップソングを作成する）。最も基本的な形態では、強化学習の定式化は、学習器のための３つの態様、すなわち、感覚、動作、目標を含む。歌の例に続いて、ＬＦ処理エンジン５３０は、追跡システム５８０のセンサで環境の状態を感知し、環境内の視聴者にホログラフィックコンテンツを表示し、視聴者のその歌の受容の尺度である目標を達成する。
【0126】
強化学習で発生する課題の１つが、探索と活用との間のトレードオフである。システム内の報酬を増やすために、強化学習エージェントは、過去に試行し、報酬を生み出すのに効果的であることがわかった動作を好む。しかしながら、報酬を生み出す動作を発見するために、学習エージェントは、以前に選択したことのない動作を選択する。エージェントは、報酬を取得するために、すでに知っている情報を「活用」するが、将来、より良い動作を選択するために、情報を「探索」する。学習エージェントは、様々な動作を試み、依然として新しい動作を試行しながら、最良と思われる動作を次第に好むようになる。確率論的タスクでは、一般的に、各動作が、期待される報酬に対する信頼できる見積もりを得るために、何度も試行される。例えば、長い時間が経過した後に視聴者がパフォーマンスで笑うことになるとＬＦ処理エンジンが知っているホログラフィックコンテンツをＬＦ処理エンジンが作成する場合、ＬＦ処理エンジンは、視聴者が笑うまでの時間が減少するように、ホログラフィックコンテンツを変更することができる。
【0127】
さらに、強化学習は、不確実環境とインタラクションする目標指向エージェントの問題全体を考慮する。強化学習エージェントは、明確な目標を有し、環境の態様を感知し得、高い報酬（すなわち、どよめく観衆）を受信するための動作を選択し得る。さらに、エージェントは、一般的に、直面する環境に関する重要な不確実性にかかわらず動作する。強化学習が計画を含む場合、システムは、計画とリアルタイムの動作選択とのインタラクション、ならびに環境要素をどのように取得して改善するかという問題に対処する。強化学習が進展するためには、重要なサブ問題を分離して研究する必要があり、サブ問題は、完全でインタラクティブなゴールシークエージェントで明確な役割を果たす。
【0128】
強化学習問題は、目標を達成するためにインタラクションが処理され、動作が実行される機械学習問題のフレーミングである。学習器および意思決定器はエージェントと呼ばれる（例えば、ＬＦ処理エンジン５３０）。エージェントの外部のすべてのものを含む、エージェントがインタラクションするものは環境と呼ばれる（例えば、現場の視聴者など）。これら２つは継続的にインタラクションし、エージェントは動作を選択し（例えば、ホログラフィックコンテンツを作成し）、環境は、それらの動作に応答して、エージェントに新しい状況を提示する。環境はまた、エージェントが時間の経過とともに最大化しようとする特別の数値的な価値である報酬を生じさせる。ある文脈では、報酬は、ホログラフィックコンテンツに対する視聴者の肯定的な反応を最大化するように機能する。環境の完全な仕様は、強化学習問題の１つの実例であるタスクを定義する。
【0129】
より多くの文脈を提供するために、エージェント（例えば、コンテンツ生成システム３５０）および環境は、離散時間ステップのシーケンスの各々、すなわち、ｔ＝０、１、２、３などにおいてインタラクションする。各時間ステップｔにおいて、エージェントは、環境の状態ｓｔの何らかの表現（例えば、追跡システム５８０からの測定値）を受信する。状態ｓｔはＳ内にあり、Ｓは、可能性がある状態のセットである。状態ｓｔおよび時間ステップｔに基づいて、エージェントは、で動作を選択する（例えば、パフォーマに股割りをさせる）。での動作はＡ（ｓｔ）内にあり、Ａ（ｓｔ）は、可能性がある動作のセットである。１つの時間状態の後、部分的にはエージェントの動作の結果として、エージェントは、数値的な報酬ｒｔ＋１を受信する。状態ｒｔ＋１はＲ内にあり、Ｒは、可能性がある報酬のセットである。エージェントが報酬を受信すると、エージェントは、新しい状態ｓｔ＋１を選択する。
【0130】
各タイムステップにおいて、エージェントは、状態から、各可能性がある動作を選択する確率へのマッピングを実装する。このマッピングはエージェントのポリシーと呼ばれ、πｔで表され、ここで、πｔ（ｓ，ａ）は、ｓｔ＝ｓであればａｔ＝ａとなる確率である。強化学習方法は、エージェントの動作から生じる状態および報酬の結果として、エージェントがポリシーをどのように変更するかを指示することができる。エージェントの目標は、時間の経過とともに、エージェントが受信する報酬の合計額を最大化することである。
【0131】
この強化学習フレームワークは柔軟性があり、多くの異なる方法で多くの異なる問題（例えば、ホログラフィックコンテンツの生成）に適用され得る。このフレームワークは、感覚、記憶、および制御装置の詳細が何であれ、目標指向の行動を学習するすべての問題（または目的）が、エージェントとその環境との間を行き来する３つの信号、すなわち、エージェントによって行われた選択（動作）を表す１つの信号、選択が行われた根拠（状態）を表す１つの信号、およびエージェントの目標（報酬）を定義する１つの信号にまとめられ得ることを提案する。
【0132】
もちろん、ＡＩモデルは、任意の数の機械学習アルゴリズムを含み得る。使用され得るいくつかの他のＡＩモデルは、線形および／またはロジスティック回帰、分類および回帰ツリー、ｋ平均法クラスタリング、ベクトル量子化などである。いずれの場合も、一般に、ＬＦ処理エンジン５３０が、追跡モジュール５２６および／または視聴者プロファイリングモジュール５２８から入力を取得し、機械学習モデルが、それに応じてホログラフィックコンテンツを作成する。同様に、ＡＩモデルは、ホログラフィックコンテンツのレンダリングを指向し得る。
【0133】
コンテンツを作成する前述の例は、限定的なものではない。最も広義には、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００の視聴者に表示するためのホログラフィックコンテンツを作成する。ホログラフィックコンテンツは、ＬＦディスプレイシステム５００に含まれる情報のいずれかに基づいて作成され得る。
【0134】
車両インターフェース５３２は、ホログラフィックコンテンツとのユーザのインタラクションに基づいて、車両に命令を提供する。車両インターフェース５３２は、ホログラフィックコンテンツとのインタラクションを監視し、監視されたインタラクションに基づいて車両に提供する命令を識別する。車両インターフェース５３２は、例えば、ルックアップテーブル（ＬＵＴ）、機械学習、ニューラルネットワーク、またはそれらの何らかの組み合わせを追跡情報および生成されたホログラフィックコンテンツに適用して、ユーザがホログラフィックコンテンツとインタラクションしているかどうかを決定する。例えば、車両インターフェース５３２は、シフタのホログラフィック駆動ボタンに対応するホログラフィックオブジェクトとインタラクションするユーザを監視する。ユーザが（上記のように）ホログラフィック駆動ボタンを押すと、車両インターフェース５３２は、ユーザが車両を駆動することを意図していることを（例えば、機械学習を介して）決定し、そのトランスミッションを駆動するように車両に命令する。別の例では、車両インターフェース５３２は、ステアリングホイールに対応するホログラフィックオブジェクトとインタラクションするユーザを監視することができる。ユーザがホログラフィックオブジェクトを特定の方向に回転させると、車両インターフェース５３２は、ユーザが車両を特定の方向に回転させようとしていることを（例えば、機械学習を介して）決定し、車両に特定の方向に回転するように命令する。
【0135】
いくつかの実施形態では、車両インターフェース５３２は、車両の自動運転機能とインターフェースする。自動運転機能は、人間の介入をほとんどまたはまったく必要とせずに車両が自走するプロセスである。例えば、車両の乗員は、ＬＦディスプレイシステム５００を介して目的地の住所を提供することができ、そこから、車両は次いで、車両を目的地の住所まで自動的に運転するであろう。自動運転車の当業者は、そのような自動運転機能を車両に実装することができる。いくつかの実施形態では、ＬＦディスプレイシステムは、自動運転車両の１人以上の乗員にホログラフィック運転者を提示することができる。ホログラフィック運転者は、例えば、１人以上の車両の乗員がインタラクションする可能性がある人物の画像であり得る。ＬＦディスプレイシステム５００は、乗員がホログラフィック運転者とインタラクションするときに、乗員から入力（例えば、宛先アドレス）を受信することができる。ＬＦディスプレイシステム５００は、ホログラフィック運転者（例えば、ホログラフィック運転者に、それに話している乗員を見せる）および／または乗員に提示されている他のホログラフィックコンテンツを動的に更新することができる。ＬＦディスプレイシステム５００は、乗員から車両の自動運転機能への１つ以上の入力を提供することができる。
【0136】
図６Ａは、１つ以上の実施形態による、ＬＦディスプレイシステムで拡張された車両６００の斜視図である。図示の実施形態では、車両６００は自動車である。他の実施形態では、車両６００は、人、商品、センサ機器、および／または武器を輸送するために使用される何らかの他のタイプの機械である。車両６００は、例えば、自動車（例えば、自動車、トラックなど）、飛行機、ドローン、無人航空機、戦車、ボート、潜水艦、輸送に使用される何らかの他の機械またはそれらの何らかの組み合わせであり得る。ＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の一実施形態である。
【0137】
図示の実施形態では、ＬＦディスプレイシステムは、車両６００の外面の一部分の一部である複数のＬＦディスプレイモジュールを含む。各ＬＦディスプレイモジュールは、破線のポリゴンとして示される。実際には、ＬＦディスプレイモジュールのサイズ、ＬＦディスプレイモジュールの数、ＬＦディスプレイモジュールの場所、またはそれらの何らかの組み合わせは、示されているものとは異なる場合があることに留意されたい。ＬＦディスプレイモジュールは、車両の外面の一部またはすべてにわたってシームレスな表示面を形成するようにタイル張りされ得る。車両の外面は、車両の外側にいる視聴者に見える車両の表面である。外面は、例えば、窓、車体、車両ホイールカバー、外面の何らかの他の部分、またはそれらの何らかの組み合わせを含み得る。例えば、車両６００は、車体上の複数のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール６１０）、車両ホイールカバー上の複数のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール６２０）、および窓上の複数のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール６３０）を含む。いくつかの実施形態では、窓上のＬＦディスプレイモジュールは、可視光に対して透明であり得ることに留意されたい。
【0138】
外面に沿ったＬＦディスプレイモジュールは、ホログラフィックコンテンツを投影して車両６００の外観を変更するように構成されている。このようにして、ＬＦディスプレイシステムのユーザ（例えば、車両オペレータ、車両製造業者）は、車両の外側の視聴者に車両がどのように見えるかを修正することができる。例えば、ＬＦディスプレイシステムは、車両の一部またはすべてのテクスチャ、色、および機能を変更し、かつ／または装飾オブジェクトを投影し得る。バスの場合、ＬＦディスプレイシステムは、歩道上の歩行者の注意を引くために、表示面の後ろにホログラフィックオブジェクトを投影するだけでなく、表示面の前に浮かぶ看板として機能する場合がある。戦車の場合、ＬＦディスプレイシステムは、低木や葉（実像の場合もある）を投影して、車両を周囲に溶け込ませてカモフラージュするように機能する場合がある。別の実施形態では、６３０とは反対の車両の右側のライトフィールドカメラは、ディスプレイ６１０、６２０、および６３０に車両の左側に投影される画像をキャプチャして、車両を外部の傍観者に対して透明に見えるようにし、車両を見ている車両の左側に位置させることができる。
【0139】
図６Ｂは、１つ以上の実施形態による、ホログラフィックコンテンツを提示する図６Ａの車両６００の斜視図である。ＬＦディスプレイモジュールは、ＬＦディスプレイモジュールの表示面に対して複数の構成可能な物理的場所にホログラフィックオブジェクトを投影する。図示の実施形態では、車両６００のＬＦディスプレイシステムは、車両６００の外観が変更されるようにホログラフィックコンテンツを提示している。例えば、ＬＦディスプレイシステムは、それぞれの構成可能な物理的場所にホログラフィックオブジェクト６４０、６５０、６６０、および６７０を提示している。ホログラフィックオブジェクト６４０および６５０は、ＬＦディスプレイモジュール６１０から突出する装飾的な後部ターン信号機として現れる。ホログラフィックオブジェクト６４０、６５０は、特定の見晴らしの良い点で、ＬＦディスプレイシステムのホログラフィックオブジェクトボリューム内のＬＦディスプレイモジュールの外側に現れる。いくつかの実施形態では、ＬＦディスプレイモジュール内の超音波スピーカは、ホログラフィックコンテンツの少なくとも一部分と一致する触覚表面を生成するように構成され得る。例えば、超音波スピーカは、ホログラフィックオブジェクト６５０の外面と一致する触覚表面を生成することができる。
【0140】
ホログラフィックオブジェクト６６０は、車両６００の外面に沿ってピンストライプとして現れる画像である。ホログラフィックオブジェクト６７０は、車両６００の外面の一部の色を変える。図示のホログラフィックオブジェクト６４０、ホログラフィックオブジェクト６５０、ホログラフィックオブジェクト６６０、およびホログラフィックオブジェクト６７０は単なる例であり、他の実施形態では、他のホログラフィックオブジェクト（例えば、装飾フィン、車両６００から突出するブレーキライトなど）は、ＬＦディスプレイシステムによって提示される場合があり、他の物理的な場所に提示される場合があることに留意されたい。
【0141】
図７Ａは、１つ以上の実施形態による、ＬＦディスプレイシステムで拡張された車両７００の斜視図である。図示の実施形態では、車両は自動車である。他の実施形態では、車両は、人、商品、センサ機器、および／または武器を輸送するために使用される何らかの他のタイプの機械である。車両は、例えば、自動車、飛行機、ドローン、無人航空機、戦車、ボート、潜水艦、輸送に使用される何らかの他の機械、またはそれらの何らかの組み合わせであり得る。いくつかの実施形態では、車両は車両６００である。ＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の一実施形態である。
【0142】
ＬＦディスプレイシステムは、ＬＦディスプレイアセンブリを含む。ＬＦディスプレイアセンブリは、車両の内部７００の内面に装着された少なくとも１つのＬＦディスプレイモジュールを含む。少なくとも１つのＬＦディスプレイモジュールは、少なくとも１つのＬＦディスプレイモジュールの表示面に対して複数の場所に１つ以上のホログラフィックオブジェクトを提示するように構成されている。場所は、表示面と少なくとも１つの表示面のビューイングボリュームとの間の場所を含む。
【0143】
図示の実施形態では、ＬＦディスプレイシステムは、車両の内面の一部である複数のＬＦディスプレイモジュールを含む。各ＬＦディスプレイモジュールは、破線のポリゴンとして表示される。実際には、ＬＦディスプレイモジュールのサイズ、ＬＦディスプレイモジュールの数、ＬＦディスプレイモジュールの場所、またはそれらの何らかの組み合わせは、示されているものとは異なる場合があることに留意されたい。ＬＦディスプレイモジュールは、内部７００の一部またはすべてにわたってシームレスな表示面を形成するようにタイル張りされ得る。いくつかの実施形態では、ＬＦディスプレイモジュールは、内部の異なる場所に固有のパネルに形成される。車両の内面は、車両の内部７００内にある車両の表面である。内面は、例えば、窓、座席、ドアパネル、屋根、ダッシュボード、床、内部７００の何らかの他の部分、またはそれらの何らかの組み合わせを含み得る。
【0144】
例えば、車両は、ダッシュ７２０上の複数のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール７１０）、およびドアパネル上の複数のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール７３０）を含む。内面に沿ったＬＦディスプレイモジュールは、ホログラフィックコンテンツを投影して、内部７００の一部分の外観を変更するように構成されている。このようにして、ＬＦディスプレイシステムのユーザは、車両がユーザにどのように見えるかを修正できる。例えば、ホログラフィックコンテンツは、例えば、ステアリング制御インターフェース（例えば、ステアリングホイール）、計器クラスタ（例えば、速度計、タコメータなど）、音楽制御インターフェース（例えば、ラジオ、音楽プレーヤ）、温度制御インターフェース（ヒータおよび／または空調制御）、（例えば、窓の開閉を制御するための）窓制御インターフェース、（例えば、ドアのロック／ロック解除および／またはドアの開閉を可能にする）ドア制御インターフェース、マッピング制御インターフェース（ナビゲーション制御インターフェースとも呼ばれる）、（例えば、電話をかける、または電話をかける電話とインターフェースする）コンピュータインターフェース、（例えば、マニュアルまたはオートマチックトランスミッションに対応する）シフタインターフェース、その他のいくつかの制御車両のインターフェース、またはそれらの何らかの組み合わせを含み得る。ホログラフィックコンテンツの一部またはすべてには、ユーザがホログラフィックコンテンツとインタラクトできる触覚ボタン、ノブ、レバー、またはその他のタイプのインターフェースが含まれる場合があることに注意されたい。さらに、ＬＦディスプレイシステムは、車両の１人以上のユーザに合わせてカスタマイズされたホログラフィックコンテンツを表示することができる。例えば、ＬＦディスプレイモジュール７１０によって提示されるホログラフィックコンテンツ（例えば、計器クラスタなど）は、運転者に合わせてカスタマイズすることができ、一方、ＬＦディスプレイモジュール７３０によって提示される窓制御インターフェースは、座席７４０のユーザに合わせてカスタマイズされる。
【0145】
図７Ｂは、１つ以上の実施形態による、ホログラフィックコンテンツを提示する図７Ａの内部７００の斜視図７５０である。図示の実施形態では、車両のＬＦディスプレイシステムは、内部７００の外観が変更されるようにホログラフィックコンテンツを提示している。例えば、ＬＦディスプレイシステムは、ホログラフィックオブジェクト７６０、ホログラフィックオブジェクト７６５、ホログラフィックオブジェクト７７０、ホログラフィックオブジェクト７７５、ホログラフィックオブジェクト７８０、およびホログラフィックオブジェクト７８５を提示している。図示のホログラフィックオブジェクト７６０、ホログラフィックオブジェクト７６５、ホログラフィックオブジェクト７７０、ホログラフィックオブジェクト７７５、ホログラフィックオブジェクト７８０、およびホログラフィックオブジェクト７８５は単なる例であり、他の実施形態では、他のホログラフィックコンテンツおよび／またはホログラフィックオブジェクトは、ＬＦディスプレイシステムによって提示されることに留意されたい。例えば、内部７００内に提示されるホログラフィックコンテンツの構成は、車両の乗員の視聴者プロファイルに部分的に基づいている。例えば、運転者の視聴者プロファイルは、運転者がオートマチックトランスミッションとマニュアルトランスミッションのどちらを運転するかを好むことを示している場合があり、ＬＦディスプレイシステムはシフタをホログラフィックオートマチックシフタとしてレンダリングするであろう。同様の方法で、車両の搭乗者の視聴者プロファイルを使用して、搭乗者に対するホログラフィックコンテンツのレイアウト、色などをカスタマイズすることができる。
【0146】
図７Ｂでは、ホログラフィックオブジェクト７６０は、ステアリングホイール（例えば、ステアリングインターフェースコントローラのタイプ）として現れる。ホログラフィックオブジェクト７６５は、計器クラスタの実像である。ホログラフィックオブジェクト７７０は、例えば、音楽制御インターフェース、マッピング制御インターフェース、（例えば、無線通話を行うための）通信インターフェース、コンピュータ制御インターフェース、またはそれらの何らかの組み合わせであり得る。ホログラフィックオブジェクト７８０は、シフタの実像である。ホログラフィックオブジェクト７８５は、窓制御インターフェースおよび／またはドア制御インターフェースの実像である。
【0147】
いくつかの実施形態では、ライトフィールドディスプレイモジュール７１０および７３０は、触覚表面を生成するために使用することができる超音波圧力波を使用して体積触覚表面を投影するデュアルエネルギー投影デバイスであり得る。例として、これらの触覚表面は、投影されたホログラフィック制御の少なくとも一部分と一致するテクスチャを備えた制御のように感じる場合がある。例えば、超音波スピーカは、ホログラフィックオブジェクト７６０の外面と一致する触覚表面を生成することができる。
【0148】
ＬＦディスプレイシステムはまた、車両のユーザの動きを説明する追跡情報を生成するための追跡システムの一部である１つ以上のカメラを含み得る。これらのカメラは、ライトフィールドディスプレイアセンブリ（５１０）の内部にある場合もあれば、別個のカメラとして５１０の外部に存在する場合もある。ＬＦディスプレイシステムは、追跡情報を使用して、内部７００内のホログラフィックコンテンツ（ホログラフィックオブジェクトを含む）に対する手のポーズおよび／または場所を監視することができる。例えば、ホログラフィックオブジェクト７７０は、ボタンの実像を含み得る。ＬＦディスプレイシステムは、超音波エネルギーを投影して、ホログラフィックオブジェクト７７０に対応し、そのオブジェクトの外面（すなわち、ボタン）の一部またはすべてと実質的に同じ空間を占める触覚表面を生成することができる。ＬＦディスプレイシステムは、追跡情報を使用して、ボタンがユーザによって「押される」ときに、ボタンを動的に移動するとともに、触覚表面の位置を動的に移動することができる。ＬＦディスプレイシステムは、追跡された情報に基づいて車両に命令を提供する。例えば、ユーザがボタンを「押した」ことを示す追跡情報に応答して、ＬＦディスプレイシステムは、ナビゲーションをオンにするか、またはドアをロックするように車両に命令することができる。同様に、ＬＦディスプレイシステムは、追跡情報を使用して、ユーザが他のホログラフィックコンテンツ（例えば、計器クラスタ、音楽制御インターフェース、窓制御インターフェース、ドア制御インターフェースなど）とインタラクションするときに、車両に命令を提供することができる。さらに、いくつかの実施形態では、一部のユーザはホログラフィックコンテンツとインタラクションでき、他のユーザはインタラクションできない。例えば、法執行機関の車両では、後部座席の搭乗者がドア制御（例えば、ホログラフィックオブジェクト７８５）にアクセスできないようにすることが有益な場合がある。
【0149】
いくつかの実施形態では、ユーザ入力に応答して、ＬＦディスプレイシステムは、車両の動作状態（例えば、エンジンのオン／オフ、アクティブギア、駆動構成など）、車両の内部構成、１つ以上のホログラフィックオブジェクトのうちの少なくとも１つ、１つ以上のホログラフィックオブジェクトの配置、またはそれらの何らかの組み合わせのうちの１つ以上を調整することができる。
【0150】
ホログラフィックコンテンツで内部７００を拡張することの１つの潜在的な利点は、それが車両の内部７００の動的なカスタマイズを可能にすることである。車両の内部構成は、車両の内部７００を説明するホログラフィックコンテンツを指す。例えば、運転者は、計器クラスタ（ホログラフィックオブジェクト７６５）に表示したい計器、ステアリングホイールが位置する場所（ホログラフィックオブジェクト７６０）、車両が（例えば、ホログラフィックオブジェクト７８０を介した）オートマティックかまたはマニュアルトランスミッションか、窓制御インターフェースの場所、ドア制御インターフェースの場所などを調整することによって、内部構成をカスタマイズし得る。さらに、いくつかの実施形態では、運転者の実際の場所は、いずれかの座席７９０または７９５にあり得る。車両制御はホログラフィックコンテンツであることに注意されたい。したがって、図７Ｂに示される実施形態に加えて、代替実施形態におけるＬＦディスプレイシステム（例えば、ＬＦディスプレイモジュール７１０を介して）、ホログラフィックオブジェクト７６０およびホログラフィックオブジェクト７６５は、座席７９０の前でレンダリングされ、座席７９５ではレンダリングされない。同様に、他のホログラフィックコンテンツ（例えば、ホログラフィックオブジェクト７８０）は、座席７９０に位置決めされている運転者のために調整され得る。
【0151】
いくつかの実施形態では、ＬＦディスプレイシステムは、追跡情報に部分的に基づいて、各ユーザに合わせてカスタマイズされた１つ以上のホログラフィックオブジェクトを提示することができる。このように、互いに少なくとも閾値距離（例えば、数フィート）にある視聴者は、完全に異なるホログラフィックコンテンツを見ることができる。例えば、ＬＦディスプレイシステムは、運転者の位置（例えば、目の場所）および車両内の搭乗者の位置（例えば、目の場所）を追跡し、ホログラフィックオブジェクトが提示されるであろう場所に対する追跡位置に基づいて、車両の乗員に見えるべきホログラフィックコンテンツ（例えば、ホログラフィックオブジェクト）の視点を決定する。ＬＦディスプレイシステムは、ＬＦディスプレイモジュールの特定のピクセルから光を追跡された目の位置に向かって選択的に放出し、特定のピクセルは、決定された視点に対応する。したがって、異なる視聴者が、完全に異なるホログラフィックコンテンツを同時に提示され得る。例えば、ＬＦディスプレイモジュールは、ドアパネルを赤い革として提示すると同時に、ドアパネルが白い帆布であることを示すホログラフィックコンテンツを異なる搭乗者に提示する場合がある。そして、いずれの搭乗者も、他方の搭乗者が提示されていたコンテンツを知覚できないであろう。
【0152】
いくつかの実施形態では、ＬＦディスプレイシステムは、ナビゲーションおよび／またはマッピングに関連する１つ以上のホログラフィックオブジェクトを提示することができる。例えば、ホログラフィックオブジェクトは、車両の場所に関する情報を示すナビゲーション画面、ナビゲーションエイド、ナビゲーション方向インジケータ、ナビゲーション情報、推奨される車両ルート、車両の周辺に関連する画像、運転者が道路への集中を維持できるように運転者の前に投影されるナビゲーションコンテンツ、車両の近くの実際のオブジェクトにオーバーレイされるナビゲーションもしくは情報コンテンツ、またはそれらの何らかの組み合わせを含んでもよい。いくつかの実施形態では、これらのホログラフィックオブジェクトは、ホログラフィックヘッドアップディスプレイの一部として提示され得る。
【0153】
図８は、１つ以上の実施形態による、拡張された窓を含むＬＦディスプレイシステムで拡張された車両の内部の斜視図８００である。図示の実施形態では、車両は自動車である。他の実施形態では、車両は、人、商品、センサ機器、および／または武器を輸送するために使用される何らかの他のタイプの機械である。車両は、例えば、自動車、飛行機、ドローン、無人航空機、戦車、ボート、潜水艦、輸送に使用される何らかの他の機械、またはそれらの何らかの組み合わせであり得る。いくつかの実施形態では、車両は車両６００である。ＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の一実施形態である。
【0154】
図示の実施形態では、ＬＦディスプレイシステムは、拡張された窓８１０、拡張された窓８２０、および拡張された側窓８３０を含む。他の実施形態では、ＬＦディスプレイシステムは、より多くの、またはより少ない拡張された窓を含み得る。拡張された窓は、少なくともいくつかのＬＦディスプレイモジュールを含み、車両の内側から車両の外側のビューを表示し、それらのビューを修正する、または他のコンテンツをそれらのビューに重ね合わせることができる窓である。一例として、これは、ナビゲーション、娯楽、または環境制御の目的で行うことができる。拡張された窓は、１つ以上の２Ｄまたはライトフィールドカメラによってキャプチャされた外側のビューを、運転者のはるか前に投影された２Ｄまたは３Ｄナビゲーションエイドでオーバーレイされてもよく、その結果、運転者はナビゲーションエイドに誘導されている間、コンソールに繰り返し焦点を合わせる必要がない。別の実施形態では、拡張された窓は、搭乗者にホログラフィックオブジェクトを示して、それらに観光客の特徴を示すことができる。そして、拡張された窓は、環境制御のために、快適なレベルの光を達成するために窓に色を付けることができる。図示の実施形態では、ＬＦディスプレイモジュール（図示せず）は、拡張された窓８１０、拡張された窓８２０、および拡張された窓８３０の各々にまたがる。他の実施形態では、拡張された窓の少なくとも１つのＬＦディスプレイモジュールは、拡張された窓の一部分を形成し、残りの部分の少なくとも一部は、可視光に対して透明な材料（例えば、強化ガラス）を含む。
【0155】
車両の拡張された窓（例えば、８１０、８２０、および８３０）の一部またはすべてを形成するＬＦディスプレイモジュールは、何らかのプログラミングに従って、またはユーザ（例えば、運転者および／または搭乗者）からの命令に従って、可視光を動的に減衰させることによって、ティントを調整することができる場合がある。ＬＦディスプレイモジュールは、車両の乗員の視聴者プロファイルに従って、拡張された窓の一部またはすべてに色を付けることができる。いくつかの実施形態では、減衰のレベルは、１つ以上の窓に対して異なる場合がある。例えば、図８に示されるように、拡張された窓８２０は、拡張された窓８１０および拡張された窓８３０よりも多くのティントを有する。
【0156】
拡張された窓のＬＦディスプレイモジュールは、ホログラフィックコンテンツを提示する場合がある。例えば、図８では、拡張された窓８１０はホログラフィックコンテンツ８４０を提示し、拡張された窓８２０はホログラフィックコンテンツ８５０を提示する。ホログラフィックコンテンツ８４０および／またはホログラフィックコンテンツ８５０は、車両の外側からキャプチャされた画像または拡張されたキャプチャされた画像である１つ以上のホログラフィックオブジェクトを含むことができる。一実施形態では、ホログラフィックコンテンツ８４０は、ホログラフィックバックミラーとして機能する。この実施形態では、車両の後ろの局所エリアの画像をキャプチャするように位置決めされた１つ以上の２Ｄカメラがあり得、ホログラフィックコンテンツ８４０は、このビューを、運転者が車両を後進させているときに運転者の前に快適に投影される視聴面内の２Ｄ画像として示し得る。ＬＦディスプレイシステムは、（車両の後ろの局所エリアの画像をキャプチャするように位置決めされた（例えば、１つ以上のＬＦディスプレイモジュール内の）１つ以上のカメラを含み得る。別の実施形態では、車両の後ろに位置決めされた１つ以上のライトフィールドカメラがあり得、ホログラフィックコンテンツ８４０は、このビューを運転者の前のホログラフィック画像として示し得る。画像は、拡張された窓８１０のホログラフィックオブジェクトボリューム内にレンダリングされる。したがって、画像は、実空間（例えば、拡張された窓８１０と車両の搭乗者との間）のホログラフィックオブジェクトの一部として、ＬＦディスプレイモジュールの平面内のホログラフィックオブジェクトの一部として、拡張された窓８１０の平面の後ろの、かつ／またはそれを超えたホログラフィックオブジェクトの一部またはそれらの何らかの組み合わせとして、レンダリングされ得る。同様の方法で、ホログラフィックコンテンツ８５０をレンダリングすることができる。例えば、局所エリアの一部分のキャプチャされた画像は、８２０の前（例えば、拡張された窓８２０と車両の搭乗者との間）のホログラフィックオブジェクトの一部として、拡張された窓８２０を構成するＬＦディスプレイモジュールの平面内のホログラフィックオブジェクトの一部として、拡張された窓８２０の平面を超えたホログラフィックオブジェクトの一部またはそれらの何らかの組み合わせとして、レンダリングされ得る。
【0157】
拡張された窓（およびより一般的には、一緒にタイル張りされたＬＦディスプレイモジュールおよび／または複数のＬＦディスプレイモジュール）が窓として機能することができることに留意されたい。これは、単にカメラからの画像を電子ディスプレイ上に表示することとは異なることに注意することが重要である。電子ディスプレイケースでは、提示される画像は静的であり、視聴者の場所に基づいて変化することはない。対照的に、拡張された窓の表示面の後ろに提示されるホログラフィックオブジェクトは、完全な視差をサポートし（例えば、物理光線と同一のホログラフィックオブジェクトの表面で光線束を再作成するなど）、その結果、ホログラフィックオブジェクトはホログラフィックオブジェクトに対する視聴者の位置に基づいて変化する。
【0158】
図９は、１つ以上の実施形態による、拡張されたサンルーフ９１０を含むＬＦディスプレイシステムで拡張された車両の内部の斜視図９００である。図示の実施形態では、車両は自動車である。他の実施形態では、車両は、人、商品、センサ機器、および／または武器を輸送するために使用される何らかの他のタイプの機械である。車両は、例えば、自動車、飛行機、ドローン、無人航空機、戦車、ボート、潜水艦、輸送に使用される何らかの他の機械、またはそれらの何らかの組み合わせであり得る。いくつかの実施形態では、車両は車両６００である。ＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の一実施形態である。
【0159】
図示の実施形態では、ＬＦディスプレイシステムは、拡張されたサンルーフ９１０を含む。拡張されたサンルーフは、車両の内部の屋根に沿って位置する、図８を参照して上で説明されたような拡張された窓である。拡張サンルーフ９１０は、少なくともいくつかのＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール９２０）を含む窓である。図示の実施形態では、ＬＦディスプレイモジュールは、（シームレスな表示面を形成するためにタイル状に）拡張されたサンルーフ９１０にまたがる。他の実施形態では、ＬＦディスプレイモジュールは、拡張されたサンルーフ９１０の一部分を形成し、残りの部分の少なくとも一部は、可視光に対して透明な材料（例えば、強化ガラス）を含む。
【0160】
拡張されたサンルーフ９１０は、車両のユーザ（例えば、搭乗者）にホログラフィックコンテンツを提示する。ＬＦディスプレイシステムは、車両の上方の局所エリアの画像をキャプチャするように構成された（例えば、ＬＦディスプレイモジュールの一部として、またはＬＦディスプレイモジュールの外部に）１つ以上のカメラを含み得る。ＬＦディスプレイシステムを使用して、キャプチャされた画像に部分的に基づいて、拡張されたサンルーフ９１０によって提示されるホログラフィックコンテンツを生成し、かつ更新することができる。いくつかの実施形態では、拡張されたサンルーフ９１０は、車両の乗員のうちの少なくとも１人の視聴者プロファイルに従って、ホログラフィックコンテンツを提示する。
【0161】
拡張サンルーフ９１０は、拡張サンルーフ９１０のホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを提示する。図９に示されるように、拡張されたサンルーフ９１０は、ホログラフィックオブジェクト９３０を提示しており、ホログラフィックオブジェクト９３０は、サメである。ホログラフィックオブジェクト９３０は、拡張されたサンルーフ９１０の表示面のホログラフィックオブジェクトボリューム内のどこにでも提示することができる。そして、例えば、図２Ａに関して上で論じたように、ホログラフィックオブジェクトボリュームは、表示面とユーザとの間の領域、ならびに表示面の後ろの領域を含む。拡張されたサンルーフ９１０のビューイングボリューム内のユーザは、サメの異なるビューを見るために、ホログラフィックオブジェクト９３０に対して他の場所に移動することができる。さらに、異なる場所からサメを見ている異なるユーザは、サメの異なる視点を見るであろう。例えば、サメの左側のユーザにはサメの片側が見え、サメの右側のユーザにはサメの反対側が見えるであろう。いくつかの実施形態では、ホログラフィックオブジェクト９３０は、ホログラフィックオブジェクト９３０への遮るもののない（すなわち、オブジェクト／人によって遮られていない）視線を有する、拡張されたサンルーフ９１０のビューイングボリューム内のすべてのユーザに見える。これらのユーザは、異なる視点のホログラフィックオブジェクト９３０を見るために、ビューイングボリューム内を動き回ることができるように、制約されないでよい。したがって、ＬＦディスプレイシステムは、複数の制約されないユーザが、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示することができる。
【0162】
いくつかの実施形態では、１つ以上のＬＦディスプレイシステムを使用して、ユーザがホログラフィックオブジェクト９３０にタッチすることができるように、ホログラフィックオブジェクト９３０の表面と一致する触覚表面を生成し、（２）提示されたホログラフィックオブジェクトに対応する音声コンテンツを提供することができる。ライトフィールドディスプレイアセンブリは、音響エミッタ、および体積触覚投影システムを含むデュアルエネルギー面を含み得、その結果、触覚表面が投影される。別の実施形態では、外部触覚投影システムを使用して、触覚表面を投影することができる。さらに、図７Ａ、図７Ｂ、および図８と同様に、拡張されたサンルーフ９１０のＬＦディスプレイモジュールおよび／または他のＬＦディスプレイモジュールは、車両のユーザの動きを説明する追跡情報を生成するために、追跡システムの一部である１つ以上のカメラを含んでもよい。ＬＦディスプレイシステムは、追跡情報を使用して、内部７００内のホログラフィックコンテンツ（ホログラフィックオブジェクトを含む）に対する手のポーズおよび／または場所を監視することができる。例えば、ユーザは、それが物理的なサメであるかのようにホログラフィックオブジェクト９３０にタッチしようと試みる可能性がある。ＬＦディスプレイシステムは、追跡情報を使用して、サメが視聴者によって「タッチされる」ときに、サメを動的に移動させるとともに、触覚表面の場所を動的に移動することができる。
【0163】
ＬＦディスプレイシステムは、追跡情報に部分的に基づいて、各ユーザに合わせてカスタマイズされた１つ以上のホログラフィックオブジェクトを提示することができる。このように、互いに少なくとも閾値距離（例えば、数フィート）にある視聴者は、完全に異なるホログラフィックコンテンツを見ることができる。例えば、ＬＦディスプレイシステムは、視聴者の各々の位置（例えば、目の場所）および車両内の搭乗者の位置（例えば、目の場所）を追跡し、ホログラフィックオブジェクトが提示されるであろう場所に対する視聴者の追跡された位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。ＬＦディスプレイシステムは、（例えば、拡張されたサンルーフ９１０の）ＬＦディスプレイモジュールの特定のピクセルから光を追跡された目の位置に選択的に放出し、特定のピクセルは、決定された視点に対応する。したがって、異なる視聴者が、完全に異なるホログラフィックコンテンツを同時に提示され得る。例えば、拡張されたサンルーフ９１０および／または他のＬＦディスプレイモジュールは、搭乗者に宇宙関連のホログラフィックコンテンツを提示し、同時に異なる搭乗者に海関連のホログラフィックコンテンツを提示することができる。そして、いずれの搭乗者も、他方の搭乗者が提示されていたコンテンツを知覚できないであろう。別の例では、拡張されたサンルーフ９１０および／または他のＬＦディスプレイモジュールは、ホログラフィックコンテンツを搭乗者に提示することができるが、ホログラフィックコンテンツを運転者に提示しない（例えば、ホログラフィックオブジェクト９３０は、ある期間にわたって搭乗者に見えるが、同じ期間に運転者には表示されない）。ＬＦディスプレイシステムはまた、乗員の追跡を必要とせずに、車両内の各座席位置に固有のコンテンツを単に提示することができる。別の実施形態では、各窓の外側に見える観光客の特徴を示すホログラフィックオブジェクトを、窓に最も近い座席の搭乗者に投影することができる。
【0164】
拡張されたサンルーフ９１０は拡張された窓であり、窓として機能することができることに留意されたい。そして、図８に関して上で論じたように、これは、単にカメラからの画像を電子ディスプレイ上に提示することとは異なる。電子ディスプレイケースでは、提示される画像は静的であり、視聴者の場所に基づいて変化することはない。対照的に、拡張されたサンルーフ９１０の表示面の後ろに提示されるホログラフィックオブジェクトは、完全な視差をサポートし（例えば、物理光線と同一のホログラフィックオブジェクトの表面で光線束を再作成するなど）、その結果、ホログラフィックオブジェクトはホログラフィックオブジェクトに対する視聴者の位置に基づいて変化する。
【0165】
図１０は、１つ以上の実施形態による、死角を軽減するためにＬＦディスプレイシステムで拡張された車両１０１０の斜視図１０００である。図示の実施形態では、車両１０１０は自動車である。他の実施形態では、車両１０１０は、人、商品、センサ機器、および／または武器を輸送するために使用される何らかの他のタイプの機械である。車両１０１０は、例えば、自動車、飛行機、無人機、無人航空機、戦車、ボート、潜水艦、輸送に使用される他の何らかの機械、またはそれらの何らかの組み合わせであり得る。ＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の一実施形態である。
【0166】
図示の実施形態では、ＬＦディスプレイシステムは、（例えば、図６Ａ～図６Ｂに関して上記で説明したように）車両１０１０の外面の一部分の一部である複数のカメラ、および（例えば、図７Ａ～図７Ｂに関して上記で説明したように）車両１０１０の内面の一部であるＬＦディスプレイモジュールを含む。図１０では、すべてではないがいくつかのカメラが見える（例えば、カメラ１０５Ａ～Ｇ）。さらに、いくつかの実施形態では、より多くの、またはより少ないカメラを使用することができる（例えば、場合によっては、単一のカメラが存在する）。好ましくは、カメラは一緒に、車両のすべての側を取り囲む視野を有し、また、車両１０１０の上方および／または下方の局所エリアの部分を含み得る。図示のように、車両１０１０の外面に沿ったＬＦディスプレイモジュールはない。いくつかの実施形態（図示せず）では、カメラは、車両１０１０の外部に沿ったＬＦディスプレイモジュールの一部である。そして、ＬＦディスプレイモジュールは、車両１０１０の外面の一部またはすべてにわたってシームレスな表示面を形成するようにタイル張りされ得る。さらに、車両１０１０の内部は、車両１０１０の内面の一部またはすべてにわたってシームレスな表示面を形成するようにタイル張りされ得る複数のＬＦディスプレイモジュールを含む。
【0167】
車両１０１０は、車両１０１０を取り巻く局所エリアの画像をキャプチャするカメラを含む。ＬＦディスプレイシステムは、キャプチャされた画像を使用して、ホログラフィックコンテンツを生成し、ホログラフィックコンテンツは次いで、車両１０１０の内部に沿ったＬＦディスプレイモジュールを使用して、車両１０１０の運転者１０２０に提示される。車両の内部に沿ったＬＦディスプレイモジュールは、キャプチャされた画像に対応するホログラフィックコンテンツを提示する。ＬＦディスプレイシステムは、運転者１０２０と死角との間の車両の少なくとも一部分が透明に見えるように、生成されたホログラフィックコンテンツを運転者１０２０に提示する。例えば、キャプチャされた画像が、図示のように犬であるオブジェクト１０３０を含む場合、ホログラフィックコンテンツは、オブジェクト１０３０が位置する場所に位置し、オブジェクト１０３０とともに移動するホログラフィックオブジェクトを含む。さらに、ホログラフィックオブジェクトは、犬または何らかの他のオブジェクトとして現れるようにレンダリングされ得る（例えば、犬が赤く点滅してオーバーレイされ、死角にあるオブジェクト１０３０を運転者１０２０に警告する）。ホログラフィックコンテンツは、車両の外側のキャプチャされたカメラがライトフィールドカメラである場合はホログラフィックシーン、または、車両の外側のキャプチャされたカメラがライトフィールドカメラでない場合は運転者から離れた場所に投影されたシーンの２Ｄビューになり得る。外側のビューは、点滅する赤いアラート、点滅するライト、または任意の他のインジケータで拡張され得る。
【0168】
このようにして、ＬＦシステムは、運転者１０２０、および潜在的に他の搭乗者の視野も大幅に広げるＬＦディスプレイシステムは、運転者１０２０（および／または搭乗者）の視点から車両１０１０の一部またはすべてを実質的に透明に回転させることによって視野を広げる。これにより、ＬＦディスプレイシステムは、運転者１０２０および／または他の搭乗者に対して、可視光に対して透明ではない車両の部分を通して「見る」体験を提供する。これは、単に画面上に表示することとは異なることに注意されたい。ホログラフィックコンテンツは、対応する物理オブジェクトと同じ深度で現れるように表示される（例えば、ユーザが窓をのぞき、窓の反対側にあるオブジェクトを見るのと同じように）。例えば、オブジェクト１０３０は、運転者１０２０の死角に位置する。死角は、運転者１０２０がフロントガラス１０４０および／または車両１０１０の他の窓を通して見たときに、運転者１０２０の視野の外側にある場所である。上記のように、ＬＦディスプレイシステムは、視野がオブジェクト１０３０への拡張された視線を含むように、運転者１０２０の視野を拡大する。同様の方法で、運転者１０２０は、周りを見回して、他の死角に対応するホログラフィックコンテンツを見ることができる。これにより、ＬＦディスプレイシステムがホログラフィックコンテンツを運転者１０２０に提示し、局所エリア内のオブジェクトを見るために車両１０１０を「通して」見ることをシミュレートするため、バックアップカメラなどの必要性が軽減される。
【0169】
いくつかの実施形態では、ＬＦディスプレイシステムは、車両１０１０が車両１０１０を取り巻く局所エリア内のオブジェクトに対してどこにあるかを運転者１０２０が知るのを支援するために、車両１０１０の本体の一部またはすべてのワイヤフレームをオーバーレイすることができる。
【0170】
キャプチャされた画像は、車両１０１０を取り巻く局所エリアの一部またはすべての画像を含み得る。いくつかの実施形態では、ＬＦディスプレイシステムは、局所エリアのキャプチャされた画像を使用して、ホログラフィックコンテンツを生成し、ホログラフィックコンテンツは次いで、車両１０１０の外部に沿ったＬＦディスプレイモジュールを使用して、車両１０１０の外部の視聴者（例えば、視聴者１０５０）に提示される。例えば、ＬＦディスプレイシステムは、視聴者１０５０が自動車を通してオブジェクト１０３０を見ることができるように、自動車を透明に見せることができる。例えば、ＬＦディスプレイシステムは、オブジェクト１０３０を含む局所エリアの一部分のキャプチャされた画像に基づいて、車両１０１０の第１の側に沿ったＬＦディスプレイモジュールのビューイングボリューム内の視聴者１０５０のレンダリング視点を決定することができる。ＬＦディスプレイシステムは、決定されたレンダリング視点に部分的に基づいて、ホログラフィックコンテンツを生成する。ＬＦディスプレイシステムは、車両の少なくとも一部分が透明に見えるように、生成されたホログラフィックコンテンツを視聴者１０４０に提示する。
【0171】
図１１は、１つ以上の実施形態による、透過型反射器１１１０を使用して、ライトフィールドディスプレイ１１０５によって投影されたホログラフィックオブジェクトボリュームを中継する例示的なシステム１１００を示す。
【0172】
いくつかの実施形態では、透過型反射器１１１０は、二面コーナー反射器アレイ（ＤＣＲＡ）である。ＤＣＲＡは、複数の二面コーナー反射器から構成される光学撮像要素である。いくつかの実施形態では、ＤＣＲＡは、面が互いに直交するように配向された、間隔の狭い平行なミラー面の２つの薄い層を使用して形成される。他の実施形態では、透過型反射器１１１０は、コーナー反射器マイクロミラーのアレイである。
【0173】
透過型反射器の機能は、ビームスプリッタおよび再帰反射器を使用して達成できる。ビームスプリッタは、図１１の透過型反射器１１１０と同様の配向で設置され、再帰反射器は、再帰反射器の面がスクリーン平面１１２５に垂直になるように、図１１の透過型反射器１１１０の左側に配置される。この構成では、ビームスプリッタは、ライトフィールドディスプレイ１１０５からの発散光線の一部を再帰反射器に向けて反射し、再帰反射器は、各光線を反対方向に反射し、それらを収束させて、ビームスプリッタの視聴者側にホログラフィックオブジェクトを形成する。再帰反射器の例は、微細構造で作ることができるコーナーキューブ再帰反射器アレイである。
【0174】
ライトフィールドディスプレイ１１０５は、スクリーン平面１１２５の視聴者側１１２０にスクリーン外ホログラフィックオブジェクト１１１５を投影し、スクリーン平面１１２５のディスプレイ側１１３５にスクリーン内ホログラフィックオブジェクト１１３０を投影する。ホログラフィックオブジェクト１１１５の表面に収束する投影された光線１１４０、および画面内ホログラフィックオブジェクト１１３０に収束する投影された光線１１４５（仮想光線１１５０を参照）はすべて、透過型反射器１１１０に近づくにつれて発散する。入射光線１１４０は、透過型反射器１１１０を通過し、反射を受け、光線１１５５として出て、収束して、中継されたホログラフィックオブジェクト１１６０を形成する。同様に、入射光線１１４５は、透過型反射器１１１０内で反射され、収束光線１１６５として出現し、中継されたホログラフィックオブジェクト１１７０を形成する。
【0175】
その効果は、スクリーン平面１１２５を中心とするホログラフィックオブジェクトボリュームが、仮想表示面１１７５を中心とするように中継されたということである。
【0176】
ホログラフィックオブジェクトボリュームが中継された後、ホログラフィックオブジェクト１１１５よりも視聴者１１８０から離れていたホログラフィックオブジェクト１１３０が、今や視聴者により近いことに留意されたい。ホログラフィックオブジェクト１１１５と透過型反射器１１１０との間の垂直距離（Ｄ１）は、中継されたホログラフィックオブジェクト１１６０と透過型反射器１１１０との間の水平距離Ｄ１と同じである。同様に、ホログラフィックオブジェクト１１３０と透過型反射器１１１０との間の垂直距離Ｄ２は、中継されたホログラフィックオブジェクト１１７０と透過型反射器１１１０との間の水平距離と同じである。視聴者１１８０は、ホログラフィックオブジェクト１１７０がホログラフィックオブジェクト１１６０のわずかに前の空間に浮かんでいるのを見る。しかしながら、角度ライトフィールド座標ＵＶは、透過型反射器１１１０を透過し、視聴者１１８０によって観察されるホログラフィックオブジェクトについては反転される。その結果、いくつかの画像やシーンでは深度が反転されるように見える。これを補正するために、一実施形態では、ライトフィールドディスプレイ１１０５によって投影されるライトフィールド光線は、補正光学系によってそれらのＵＶ極性が反転される。別の実施形態では、ライトフィールドレンダリングは、ライトフィールドディスプレイ１１０５によって表示される前に、ＵＶ座標の極性を反転させるステップを含む。ホログラフィックオブジェクトボリュームを中継するこの技術は、ホログラフィックオブジェクトボリュームをその乗員に近づけるために車両で使用することができる。ホログラフィックオブジェクトボリュームリレーは、１つ以上のミラーを使用して、リレーに必要な光路長が限られた物理的スペースで達成される折り畳まれた光学システムを作成するなど、他の技術と組み合わせることができる。
【0177】
図１２は、１つ以上の実施形態による、車両１２０５内の乗員の視野の重なりを示す。ＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の一実施形態である。いくつかの実施形態では、図１２のＬＦディスプレイシステムは、図１１の構成システム１１００を使用して、ホログラフィックオブジェクトを中継して、その結果、それらは車両の１人以上の乗員のより近くに現れる。他の実施形態では、ホログラフィックオブジェクトボリュームリレーは使用されない。
【0178】
車両１２０５は、乗員位置１２１０、１２１５、１２２０、１２２５、および１２３０を含む。乗員位置１２１０、１２１５、１２２０、１２２５、および１２３０は、乗員が一般的に占有する車両１２０５内の位置である。例えば、乗員位置１２１０は、車両１２０５の運転席に座っている乗員の位置に対応し、乗員位置１２１５は、車両１２０５の助手席に座っている乗員の位置に対応し、乗員位置１２２０、１２２５、１２３０は、車両１２０５の後部座席に座っている乗員の異なる位置に対応する。いくつかの実施形態では、乗員位置１２１０、１２１５、１２２０、１２２５、および１２３０は固定されている。他の実施形態では、ＬＦディスプレイシステムは、１人以上の乗員の実際の物理的位置を追跡することができる。ＬＦディスプレイシステムは、乗員の追跡された物理的位置に一致するように、複数の乗員のそれぞれの乗員位置を動的に更新することができる。
【0179】
図示の実施形態では、乗員位置１２１０および１２１５は、ＬＦディスプレイシステムの表示面１２３５により近い。各乗員位置１２１０、１２１５、１２２０、１２２５、および１２３０は、表示画面１２３５に対して独自の視野を有する。図１２では、各視野は破線で示され、それぞれのホログラフィックオブジェクトボリュームおよびそれぞれのビューイングボリュームを含む。視野は、車両１２０５内で重なり合って、領域１２４０、領域１２４５、領域１２５０、および領域１２５５を形成する。領域１２４０は、領域１２４０内に提示されたホログラフィックオブジェクトが各乗員位置１２１０、１２１５、１２２０、１２２５、および１２３０から見えるように、乗員位置１２１０、１２１５、１２２０、１２２５、および１２３０の各々の視野が重なるボリュームである。領域１２４５は、領域１２４５内に提示されたホログラフィックオブジェクト１２４６が乗員位置１２２０、１２２５、および１２３０から見えるが、乗員位置１２１０および１２１５からは見えないように、乗員位置１２２０、１２２５、および１２３０の視野が重なるボリュームである。領域１２５０は、領域１２５０内に提示されたホログラフィックオブジェクト１２５１が乗員位置１２１０からは見えるが、乗員位置１２１５、１２２０、１２２５、および１２３０からは見えないボリュームである。領域１２５５は、領域１２５５内に提示されたホログラフィックオブジェクト１２５６が乗員位置１２１５からは見えるが、乗員位置１２１０、１２２０、１２２５、および１２３０からは見えないボリュームである。
【0180】
車両１２０５はまた、２Ｄディスプレイ１２３６を含み得る。２Ｄディスプレイ１２３６は任意である。２Ｄディスプレイ１２３６は、可視光に対して少なくとも部分的に透明である。２Ｄディスプレイ１２３６は、例えば、ＯＬＥＤ、ＬＣＤ、少なくとも部分的に透明である何らかの他のディスプレイ、またはそれらの何らかの組み合わせであり得る。２Ｄディスプレイ１２３６は、ライトフィールド表示面１２３５の前に、表示面１２３５から投影された光線の光路に直接配置され得る。ライトフィールドディスプレイが動作中であり、ホログラフィックオブジェクトをその透明な表面を通して直接投影している間、２Ｄディスプレイ１２３６はオフのままであり得、ほとんど見えないままである。ライトフィールドディスプレイシステム５００がオフにされるとき、この２Ｄディスプレイ１２３６は、車両構成および制御、セキュリティアクセス、緊急使用などを含む様々な目的のために使用され得る。
【0181】
ＬＦディスプレイシステムは、それぞれのビューイングボリュームが、乗員位置１２１０、１２１５、１２２０、１２２５、および１２３０のうちの１つ以上の少なくとも一部分に関連付けられるように構成され得る。このようにして、ＬＦディスプレイシステムは、ホログラフィックオブジェクトを車両１２０５の１人以上の乗員に選択的に提示することができる。例えば、ＬＦディスプレイは、１つ以上のホログラフィックオブジェクトが、乗員位置１２１０、１２１５、１２２０、１２２５、および１２３０のすべてから見えるように、領域１２４０内に１つ以上のホログラフィックオブジェクトを提示することができる。同様に、ＬＦディスプレイシステムは、１つ以上のホログラフィックオブジェクトが乗員位置１２２０、１２２５、および１２３０から見えるが、乗員位置１２１０および１２２０からは見えないように、領域１２４５内に１つ以上のホログラフィックオブジェクト１２４６を提示することができる。そして、別の例では、ＬＦディスプレイシステムは、１つ以上のホログラフィックオブジェクトが乗員位置１２１０から見えるが、車両１２０５の他の乗員位置からは見えないように、領域１２５０内に１つ以上のホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２５１）を提示することができる。同様に、ＬＦディスプレイシステムは、１つ以上のホログラフィックオブジェクトが乗員位置１２１５から見えるが、車両１２０５の他の乗員位置からは見えないように、領域１２５５内に１つ以上のホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２５６）を提示することができる。
【0182】
いくつかの実施形態では、ＬＦディスプレイシステムはまた、図１１に示される透過型反射器１１１０を使用して仮想表示面１２６０を生成することができる。透過型反射器は図１１には示されていないが、表示面１２３５の上方に配置され、ホログラフィックオブジェクトボリュームを中継して表示面からオフセットされ、仮想表示面１２６０の中心に配置されるように機能することができる。仮想表示面１２６０は、図１１に関して上記で説明した仮想表示面１１７５と同様である。この構成では、ディスプレイと車両乗員との間に仮想表示面１２６０があり、ホログラフィックオブジェクトは、車両１２０５の１人以上の乗員位置のより近くに現れる。図示の実施形態では、仮想表示面１２６０は、領域１２２４、１２５０、および１２５５のうちの１つ以上に提示され得るが、仮想表示面１２６０は、領域１２４０には提示されない（同様に、表示面１２３５の後ろにあるホログラフィックビューイングボリュームの一部ではない）。
【0183】
車両乗員のより高い視野を達成するために、表示面から投影される光線を調整することが有利な場合がある。図１３Ａは、１つ以上の実施形態による、実質的に均一な投影方向を有するライトフィールドディスプレイの例示的な図を示す。表示面１３０５は、複数の表面場所を含み、表面場所の各々は、表示面場所の光軸と称する中心の光投影経路の周りに実質的に立体角でグループ化された多くの別個の光投影経路（または光線）を放出する。各光線群は、そのような光軸を中心とし、この光軸は、表示面の所与の場所で表示面を離れる光線の束の伝播方向を定義する。光軸は、水平方向と垂直方向の両方で表示面から投影される光線の角度範囲のおおよその中点と一致し、したがって中心光線の伝播方向を定義し得るため、対称線である。したがって、表示面上の位置の光軸は、多くの場合、その位置で表示面を離れるすべての光線の平均エネルギーベクトルと実質的に整列している。表示面１３０５から投影される光線のすべての群の光軸が平行である場合、実質的に均一な投影方向が生じる。
【0184】
図示の実施形態では、各光軸は、表示面１３０５の法線に平行である。他の実施形態では、各光軸は、（例えば、それらがすべて特定の方向に傾斜するように）法線に対してそれぞれの角度であり得る。そして、図１３Ｂに関して以下で論じられるように、いくつかの実施形態では、異なる光群の光軸は、表示面１３０５の法線に対して異なる角度にあり得る。表示面１３０５は、乗員座席１３１５の乗員位置１３１０と乗員席１３２５の乗員位置１３２０との間に位置する。表示面１３０５は、図１２の１２６０と同様の仮想表示面であり得る。表示面１３０５は、複数の光線群、例えば、光線群１３３０、光線群１３３５、および光線群１３４０を放出する。光線群１３３０、１３３５、および１３４０は、表示面１３０５によって、表示面上の３つの異なる場所に投影され、光線群１３３０、１３３５、および１３４０の各々は、光軸を有し、これらはまとめて、光軸１３４５と呼ばれる。
【0185】
図示の実施形態では、すべての光軸１３４５は、その表示面１３０５上のすべての位置について、表示面１３０５に実質的に垂直である。光線１３３０の群からの光線は乗員位置１３１０に到達しないが、光線１３４０の群からの光線は乗員位置１３２０に到達しないことに留意されたい。これは、どちらの乗員位置も、表示面１３０５のビューイングボリューム内にないことを意味する（すなわち、乗員は、ディスプレイの垂直端を彼らから最も遠くに見ることができない）。これは、表示面１３０５上の各場所から投影される光線の群に偏向を導入することによって修正することができる。光軸におけるこの偏向は、ディスプレイの視聴者、またはこの場合は車両の乗員の所与の座席配置のためにビューイングボリュームを最適化するために、表示面上の異なる点で異なる大きさおよび方向で適用され得る。
【0186】
図１３Ｂは、１つ以上の実施形態による、可変投影方向を有するライトフィールドディスプレイの例示的な図を示す。図１３Ｂでは、表示面上の各場所に投影された光線の各群は、光軸が常に表示面１３０５に垂直であるとは限らないように偏向される。表示面１３０５は、複数の光線群、例えば、光線群１３４５、光線群１３５０、および光線群１３５５を放出する。光線群１３４５、１３５０、および１３５５は、表示面１３０５によって、表示面上の３つの異なる場所に投影され、光線群１３４５、１３５０、および１３５５は、それぞれ、光軸１３６０、１３６５、および１３７０を有する。
【0187】
ディスプレイの垂直縁から来て、それぞれ光軸１３６０および１３７０で中心光線によって定義される光線１３４５および１３５５の群は、光軸が１３６０および１３６５は、表示面の法線に対して実質的な偏向角を有するように、水平方向にディスプレイの中心に向かって投影される。したがって、複数の表面場所は、表示面の法線に対して第１の角度で傾斜している光軸を有する表面場所の第１のサブセットを含む。例えば、光軸１３６０は、表示面１３０５の法線１３８０に対して非ゼロ角度１３７５をなす（すなわち、光線群１３４５に関連付けられた表面場所は、光軸１３６０が法線１３８０に対して角度１３７５で傾斜するようなものである）。対照的に、光線１３５０の群の光軸１３６５は、法線１３８０に実質的に平行である。図１３Ｂのこの構成では、光線群１３４５からの一部の光線は乗員位置１３１０に到達し、光線群１３５５からの光線の一部は乗員位置１３２０に到達することに留意されたい。その結果、乗員位置１３１０および１３２０の乗員は、表示面１３０５のビューイングボリューム内にあり、表示面１３０５の法線からの光軸の偏向角がない図１３Ａの場合とは対照的に、表示面１３０５全体を見ることができる。図１３Ｂに示される偏向角は、ディスプレイの中心でのゼロの値から、ディスプレイを横切ってディスプレイの縁のうちの１つまで水平に移動するときに実質的に非ゼロ値まで徐々に変化し得る水平偏向角である。他の実施形態では、１つまたはいくつかの個別の偏向角のみが、表示面を横切って使用され得る。偏向角の異なる構成を使用して、所望のビューイングボリューム形状に対してライトフィールドディスプレイを最適化することができる。さらに、図示の実施形態は、水平軸に沿った（すなわち、ｘ軸に平行な）放出場所の関数としての偏向の変化を示している。いくつかの実施形態では、偏向角はまた、垂直軸に沿った（すなわち、ｙ軸に平行な）放出場所の関数として変化し得る。例えば、光線群の放出場所が垂直に移動すると、それに対応する偏向角が変化して、光を放出場所から乗員位置１３１０に向けるのを助けることができる。
【0188】
一実施形態では、偏向角は、電磁エネルギー面から伝搬経路にエネルギーを投影する導波路の詳細な構造によって達成することができる。他の実施形態では、ライトフィールド表示面上に配置された光学層は、ライトフィールド表示面を離れると、投影された光線を偏向させる。様々な実施形態において、光学層は、様々な特性を有するプリズム、様々な屈折率または鏡面層を有するガラスの層、薄膜、回折格子などを含む屈折光学の層を含み得る。光学層は、特定の予想される視聴者の形状に合わせて最適化できるため、比較的低コストでビューイングボリュームをカスタマイズできる。
【0189】
追加の構成情報
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。
【0190】
本明細書のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現の観点から、本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の当業者によって、自らの作業の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的、計算的、または論理的に説明される一方、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、これらの操作の配置を、一般性を損なうことなく、モジュールと呼ぶことが場合によっては好都合であることも判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具現化され得る。
【0191】
本明細書に記載の工程、操作、またはプロセスのうちのいずれかが、１つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独で、または他のデバイスと組み合わせて、実行または実装され得る。一実施形態では、ソフトウェアモジュールは、説明された工程、操作、またはプロセスのうちのいずれかまたはすべてを実行するために、コンピュータプロセッサによって実行され得るコンピュータ・プログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
【0192】
本開示の実施形態はまた、本明細書の操作を実行するための装置に関し得る。この装置は、要求された目的のために特別に構築され得、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
【0193】
本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生み出される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品または他のデータの組み合わせの任意の実施形態を含み得る。
【0194】
最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【国際調査報告】