IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ライト フィールド ラボ、インコーポレイテッドの特許一覧

特表2022-552770ライトフィールドディスプレイシステムに基づいたデジタルサイネージシステム発明者:ジョナサン・シャン・カラフィン、ブレンダン・エルウッド・ベベンシー、ジョン・ドーム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-20
(54)【発明の名称】ライトフィールドディスプレイシステムに基づいたデジタルサイネージシステム発明者:ジョナサン・シャン・カラフィン、ブレンダン・エルウッド・ベベンシー、ジョン・ドーム
(51)【国際特許分類】
   H04N 13/302 20180101AFI20221213BHJP
   G02B 30/33 20200101ALI20221213BHJP
   G09G 5/00 20060101ALI20221213BHJP
   G09G 5/36 20060101ALI20221213BHJP
   H04R 19/02 20060101ALI20221213BHJP
   G03H 1/22 20060101ALI20221213BHJP
   G09F 19/12 20060101ALI20221213BHJP
   G02B 30/56 20200101ALI20221213BHJP
   H04N 13/366 20180101ALI20221213BHJP
【FI】
H04N13/302
G02B30/33
G09G5/00 510B
G09G5/00 510G
G09G5/00 550C
G09G5/36 530Y
G09G5/00 530T
G09G5/00 510V
H04R19/02
G03H1/22
G09F19/12 L
G02B30/56
H04N13/366
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022506195
(86)(22)【出願日】2019-08-09
(85)【翻訳文提出日】2022-03-17
(86)【国際出願番号】 US2019046030
(87)【国際公開番号】W WO2021029859
(87)【国際公開日】2021-02-18
(81)【指定国・地域】
(71)【出願人】
【識別番号】519006883
【氏名又は名称】ライト フィールド ラボ、インコーポレイテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】カラフィン、ジョナサン、シーン
(72)【発明者】
【氏名】ベヴェンシー、ブレンダン、エルウッド
(72)【発明者】
【氏名】ドーム、ジョン
【テーマコード(参考)】
2H199
2K008
5C061
5C182
5D021
【Fターム(参考)】
2H199BA19
2H199BA20
2H199BA44
2H199BA48
2H199BB02
2H199BB59
2K008AA00
2K008CC00
5C061AA06
5C061AB12
5C061AB14
5C061AB16
5C182AA05
5C182AA26
5C182AA27
5C182AB11
5C182AB31
5C182AB33
5C182AC03
5C182AC46
5C182BA01
5C182BA14
5C182BA27
5C182BA28
5C182BA29
5C182BA30
5C182BA35
5C182BA54
5C182BA55
5C182BA56
5C182BA57
5C182BA64
5C182BA66
5C182BA75
5C182BB04
5C182BB12
5C182BB13
5C182BC26
5C182CC22
5D021CC19
(57)【要約】
ライトフィールド(LF)ディスプレイシステムは、デジタルサイネージアプリケーションのため、公共の場で1人以上の視聴者にホログラフィックコンテンツを提示する。いくつかの実施形態では、LFディスプレイシステムは、感覚フィードバックアセンブリ、追跡システムおよび/または視聴者プロファイリングモジュールを含む。感覚フィードバックアセンブリは、提示されたホログラフィックコンテンツと並行して、LFディスプレイシステムの視聴者に感覚フィードバックを提供する感覚フィードバックデバイスを含み得る。追跡システムは、LFディスプレイシステムの視聴者を追跡するために使用されるカメラを含み得る。LFディスプレイシステムは、視聴者の追跡された位置および/または追跡された視線に基づいて、特定の視聴者には知覚できるが他の視聴者には見えないホログラフィックコンテンツを生成し得る。視聴者プロファイリングモジュールは、パーソナライズされたホログラフィックコンテンツを提供するために各視聴者を識別し得、さらに、LFディスプレイシステムによるホログラフィックコンテンツのその後の提示を通知するために視聴者の行動を監視および記録し得る。
【選択図】図1
【特許請求の範囲】
【請求項1】
ホログラフィックコンテンツを生成するように構成されたコントローラと、
公共の場で、ビューイングボリューム内に位置する視聴者に、ホログラフィックオブジェクトボリューム内の前記ホログラフィックコンテンツを提示するように構成されている1つ以上のLFディスプレイモジュールを備えるLFディスプレイアセンブリと、
を備える、ライトフィールド(LF)ディスプレイシステム。
【請求項2】
前記ホログラフィックコンテンツは、
広告と、
発表と、
公共サービスのアラートと、
ニュースに関する情報と、
天気に関する情報と、
会場に関する情報と、
交通状況や交通量状況に関する情報と、
企業体に関する情報と、
イベントの放送と、
パフォーマンスと、
芸術的コンテンツと、
のうちの1つ以上を備える、請求項1に記載のLFディスプレイシステム。
【請求項3】
前記1つ以上のLFディスプレイモジュールは、前記ホログラフィックオブジェクトボリューム内の追加のホログラフィックコンテンツを、前記ビューイングボリュームとは異なる第2のビューイングボリューム内に位置する第2の視聴者に提示するようにさらに構成される、請求項1に記載のLFディスプレイシステム。
【請求項4】
前記ホログラフィックコンテンツは、前記ビューイングボリュームからは見ることができるが、前記第2のビューイングボリュームからは見ることができない、請求項3に記載のLFディスプレイシステム。
【請求項5】
視聴者の動きを追跡するように構成された追跡システムをさらに備え、前記ビューイングボリュームおよび前記第2のビューイングボリュームは、前記視聴者の追跡された動きに基づいて定義される、請求項4に記載のLFディスプレイシステム。
【請求項6】
前記LFディスプレイシステムの前記ビューイングボリューム内の前記視聴者の動きの追跡、
前記ホログラフィックコンテンツに対する前記視聴者の応答の監視、
前記LFディスプレイシステムの前記ビューイングボリューム内の前記視聴者の特徴を決定、
の1つ以上を実行するように構成された追跡システムをさらに備える、請求項1に記載のLFディスプレイシステム。
【請求項7】
前記追跡システムは、前記1つ以上のLFディスプレイモジュールの前の領域の画像をキャプチャするように構成された1つ以上のカメラを備える、請求項6に記載のLFディスプレイシステム。
【請求項8】
前記1つ以上のカメラは、前記LFディスプレイアセンブリの外部にある、請求項7に記載のLFディスプレイシステム。
【請求項9】
前記1つ以上のLFディスプレイモジュールは、前記1つ以上のLFディスプレイモジュールの前の領域からのライトフィールドをキャプチャするようにさらに構成される、請求項6に記載のLFディスプレイシステム。
【請求項10】
前記LFディスプレイアセンブリは、前記1つ以上のLFディスプレイモジュールによってキャプチャされた前記1つ以上のLFディスプレイモジュールの前の前記領域からの前記ライトフィールドに基づいて入力を受信するようにさらに構成される、請求項9に記載のLFディスプレイシステム。
【請求項11】
前記追跡システムは、前記1つ以上のLFディスプレイモジュールの前のオブジェクトの深さを検出するように構成された1つ以上の深度センサを備える、請求項6に記載のLFディスプレイシステム。
【請求項12】
前記追跡される動きは、前記視聴者が前記ビューイングボリューム内で移動する速度を含み、前記LFディスプレイアセンブリは、前記視聴者の前記速度に基づいて前記ホログラフィックコンテンツの提示を更新するように構成される、請求項6に記載のLFディスプレイシステム。
【請求項13】
前記ホログラフィックコンテンツは、前記視聴者の前記速度に基づいて、前記視聴者の前の前記ホログラフィックオブジェクトボリューム内の位置に提示される、請求項12に記載のLFディスプレイシステム。
【請求項14】
前記視聴者の前記監視された応答は、
前記ビューイングボリューム内の前記視聴者の位置と、
前記視聴者の動きと、
前記視聴者のジェスチャと、
前記視聴者の顔の表情と、
前記視聴者の視線と、
のうちの1つ以上を含む、請求項6に記載のLFディスプレイシステム。
【請求項15】
前記LFディスプレイアセンブリは、前記視聴者の前記監視された応答に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、請求項14に記載のLFディスプレイシステム。
【請求項16】
前記視聴者の前記監視された応答は、ネットワーク上のデバイスと共有される、請求項14に記載のLFディスプレイシステム。
【請求項17】
前記視聴者の前記監視された応答は、前記視聴者の視線を含み、前記LFディスプレイアセンブリは、前記視聴者の前記視線に基づいて、前記ホログラフィックコンテンツを提示するように構成される、請求項6に記載のLFディスプレイシステム。
【請求項18】
前記ホログラフィックコンテンツが、前記視聴者の前記視線と交差する前記ホログラフィックオブジェクトボリューム内の位置に提示される、請求項17に記載のLFディスプレイシステム。
【請求項19】
前記コントローラは、前記視聴者の前記視線に部分的に基づいてインプレッションが発生したことを決定するようにさらに構成される、請求項17に記載のLFディスプレイシステム。
【請求項20】
前記視聴者の前記決定された特徴は、前記視聴者の人口統計情報、職歴、学歴、性別、収入、購入に費やしたお金、趣味、場所、年齢、視聴履歴、アイテムに費やした時間、以前に閲覧したアイテムのカテゴリ、購入履歴、のうちの1つ以上を含む、請求項6に記載のLFディスプレイシステム。
【請求項21】
前記LFディスプレイアセンブリは、前記視聴者の前記決定された特徴に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、請求項20に記載のLFディスプレイシステム。
【請求項22】
前記視聴者の前記決定された特徴は、前記ネットワーク上のデバイスと共有される、請求項20に記載のLFディスプレイシステム。
【請求項23】
前記視聴者の特徴を含む視聴者プロファイルを生成するように構成された視聴者プロファイリングモジュールをさらに備える、請求項1に記載のLFディスプレイシステム。
【請求項24】
前記LFディスプレイアセンブリは、前記視聴者に対応する視聴者プロファイルの前記特徴に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、請求項23に記載のLFディスプレイシステム。
【請求項25】
前記LFディスプレイシステムは、前記ホログラフィックコンテンツの提示に応じて、入力を受信するように構成される、請求項1に記載のLFディスプレイシステム。
【請求項26】
前記LFディスプレイアセンブリは、前記受信した入力に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、請求項25に記載のLFディスプレイシステム。
【請求項27】
前記入力は、前記ホログラフィックコンテンツに関連するコンバージョンに対応する、請求項25に記載のLFディスプレイシステム。
【請求項28】
前記LFディスプレイアセンブリは、前記受信した入力に基づいて前記コンバージョンを完了するために、後続のホログラフィックコンテンツを提示する、請求項27に記載のLFディスプレイシステム。
【請求項29】
前記コンバージョンは購入である、請求項28に記載のLFディスプレイシステム。
【請求項30】
前記ホログラフィックコンテンツは、
物理的な商品と、
デジタル資産と、
レンダリングされるサービスと、
のうちの1つ以上のホログラフィック広告である、請求項27に記載のLFディスプレイシステム。
【請求項31】
前記1つ以上のLFディスプレイモジュールのそれぞれは、
複数のエネルギー源位置を提供するように構成されたエネルギーデバイス層と、
複数のエネルギー導波路を含み、各導波路は、4次元ライトフィールド関数に従って、前記ホログラフィックオブジェクトを形成するために、前記エネルギー源位置に応じた表示面から、少なくとも1つの特定の方向に、少なくとも1つのエネルギー源位置からのエネルギーを投影するように構成される、エネルギー導波路層と、
を備え、
前記ホログラフィックオブジェクトのビューイング視点は、前記ホログラフィックオブジェクトボリューム内の前記ホログラフィックオブジェクトに対する前記ビューイングボリュームにおける視聴者の位置に部分的に基づいて変化する、請求項1に記載のLFディスプレイシステム。
【請求項32】
前記エネルギー導波路層は、
前記複数のエネルギー導波路に結合された静電スピーカのアレイをさらに備え、前記静電スピーカのアレイは、
駆動時に音響エネルギーを生成するように構成された少なくとも1つの透明膜と、
前記透明膜を音響的に駆動するように構成された複数の電極と、を備え、前記複数の電極の各電極は、前記複数のエネルギー導波路の1つ以上のエネルギー導波路の間に配置される、請求項31に記載のLFディスプレイシステム。
【請求項33】
前記1つ以上のLFディスプレイモジュールのそれぞれは、そこからホログラフィックオブジェクトが投影される表示面を有し、シームレス表示面が、前記1つ以上のLFディスプレイモジュールの前記表示面をタイル張りすることによって形成される、請求項1に記載のLFディスプレイシステム。
【請求項34】
前記シームレスな表示面は、単一のLFディスプレイモジュールの前記表示面の表面積よりも大きい、請求項33に記載のLFディスプレイシステム。
【請求項35】
1つ以上の感覚フィードバックデバイスを備え、前記ホログラフィックオブジェクトと同時に感覚フィードバックを提供するように構成された感覚フィードバックシステムをさらに備える、請求項1に記載のLFディスプレイシステム。
【請求項36】
前記感覚フィードバックは、触覚フィードバック、音声フィードバック、芳香フィードバック、温度フィードバック、またはそれらの任意の組み合わせを含む、請求項35に記載のLFディスプレイシステム。
【請求項37】
前記感覚フィードバックシステムは、前記ホログラフィックオブジェクトに触覚フィードバックを提供するための超音波エネルギー投影デバイスを備え、前記超音波エネルギー投影デバイスは、前記ホログラフィックオブジェクトの表面に近接して、または前記ホログラフィックオブジェクトの表面と一致する体積触覚表面を生成するように構成される、請求項35に記載のLFディスプレイシステム。
【請求項38】
前記ホログラフィックコンテンツは、テクスチャを備えた物理的アイテムの表現であり、前記体積触覚表面は、前記物理的アイテムの前記テクスチャをシミュレートする、請求項37に記載のLFディスプレイシステム。
【請求項39】
前記体積触覚投影デバイスは、前記LFディスプレイアセンブリの一部である、請求項37に記載のLFディスプレイシステム。
【請求項40】
前記LFディスプレイシステムは、
ネットワークを介して前記LFディスプレイシステムに接続され、および前記ホログラフィックコンテンツを前記視聴者に提示するため前記LFディスプレイシステムに提供するように構成されているサイネージコントロールシステムを備える、LFデジタルサイネージ環境の構成要素である、請求項1に記載のLFディスプレイシステム。
【請求項41】
前記ホログラフィックコンテンツは、
広告と、
発表と、
公共サービスのアラートと、
ニュースに関する情報と、
天気に関する情報と、
会場に関する情報と、
交通状況や交通量状況に関する情報と、
企業体に関する情報と、
イベントの放送と、
パフォーマンスと、
芸術的コンテンツと、
のうちの1つ以上を備える、請求項40に記載のLFディスプレイシステム。
【請求項42】
前記LFディスプレイシステムは、前記ネットワークを介して符号化されたフォーマットで前記ホログラフィックコンテンツを受信するように構成され、さらに、前記ホログラフィックコンテンツを前記視聴者に提示するためのフォーマットに復号するように構成される、請求項40に記載のLFディスプレイシステム。
【請求項43】
前記符号化されたフォーマットは、ベクトル化されたフォーマットであり、前記復号されたフォーマットは、ラスタライズされたフォーマットである、請求項42に記載のLFディスプレイシステム。
【請求項44】
前記ホログラフィックコンテンツは、前記LFディスプレイシステムのハードウェア構成に基づいて提示される、請求項1に記載のLFディスプレイシステム。
【請求項45】
前記ハードウェア構成は、
解像度と、
1度当たりの投影光線数と、
視野と、
前記表示面の偏向角と、
前記表示面の次元と、
の1つ以上を備える、請求項44に記載のLFディスプレイシステム。
【請求項46】
ライトフィールド(LF)ディスプレイシステムのビューイングボリューム内の視聴者の動きを追跡することと、
前記追跡された動きに部分的に基づいて、前記視聴者が前記ビューイングボリューム内にいると決定することと、
前記LFディスプレイシステムの1つ以上のLFディスプレイモジュールを介して、前記視聴者が前記ビューイングボリューム内にいるという決定に部分的に基づいて、ホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを前記視聴者に提示することと、
を含む方法。
【請求項47】
前記視聴者が前記ビューイングボリューム内にいるという前記決定に基づいて、前記LFディスプレイシステムの前記視聴者にホログラフィックコンテンツを提示する機会を特定することと、
コンテンツストアから、前記ホログラフィックコンテンツを選択することであって、前記ホログラフィックコンテンツはパラメータのセットを含む、選択することと、
前記パラメータのセットに基づいて、前記ホログラフィックコンテンツの表示命令を生成することと、をさらに含み、
前記ホログラフィックコンテンツを前記視聴者に提示することは、前記パラメータのセットにさらに基づく、請求項46に記載の方法。
【請求項48】
前記ビューイングボリューム内の前記視聴者の動きを追跡することと、
前記ホログラフィックコンテンツに対する前記視聴者の応答を監視することと、
前記ビューイング内の前記視聴者の特徴を決定することと、のうちの1つ以上をさらに含む、請求項46に記載の方法。
【請求項49】
前記視聴者の前記監視された応答に基づいて、インプレッションの発生を判断することをさらに含む、請求項48に記載の方法。
【請求項50】
前記視聴者の前記追跡された動き、前記視聴者の前記監視された応答、および前記視聴者の決定された前記特徴のうちの1つ以上に応じて、前記ホログラフィックコンテンツの提示を更新することをさらに含む、請求項48に記載の方法。
【請求項51】
前記ホログラフィックコンテンツの提示に応じて、前記視聴者から入力を受信することをさらに含む、請求項46に記載の方法。
【請求項52】
前記視聴者の前記応答を監視することは、前記視聴者の視線を記録することを含み、前記方法は、
前記視聴者の前記視線と交差する前記ホログラフィックオブジェクトボリューム内の位置に、修正されたホログラフィックコンテンツを提示することをさらに含む、請求項48に記載の方法。
【請求項53】
前記視聴者の前記視線に部分的に基づいてインプレッションが発生したかどうかを決定することをさらに含む、請求項52に記載の方法。
【請求項54】
前記ホログラフィックコンテンツに関連付けられたコンバージョンに対応する入力を受信することと、
前記受信した入力に基づいて、前記コンバージョンを完了するための後続のホログラフィックコンテンツを提示することと、をさらに含む、請求項46に記載の方法。
【請求項55】
1つ以上のクライアントLFディスプレイシステムを備えるライトフィールド(LF)デジタルサイネージシステムであって、各ディスプレイシステムは、
ホログラフィックコンテンツの配信を仲介するように構成されたオンラインシステムからネットワークを介してホログラフィックコンテンツを受信するように構成されたコントローラと、
1つ以上のLFディスプレイモジュールを備えるLFディスプレイアセンブリであって、前記LFディスプレイモジュールは、前記ホログラフィックコンテンツをホログラフィックオブジェクトボリューム内のデジタルサイネージとしてビューイングボリューム内に配置された視聴者に表示するように構成された、LFディスプレイアセンブリと、
を備える、LFデジタルサイネージシステム。
【請求項56】
前記1つ以上のクライアントLFディスプレイシステムは、追跡システムをさらに備え、前記追跡システムは、
前記ホログラフィックコンテンツに対する前記視聴者の応答の監視と、
前記ビューイングボリューム内の前記視聴者の特徴を決定することと、
の1つ以上を実行するように構成される、請求項55に記載のLFデジタルサイネージシステム。
【請求項57】
前記視聴者の前記監視された応答は、
前記ビューイングボリューム内の前記視聴者の位置と、
前記視聴者の動きと、
前記視聴者のジェスチャと、
前記視聴者の顔の表情と、
前記視聴者の視線と、
の1つ以上を含む、請求項56に記載のLFデジタルサイネージシステム。
【請求項58】
前記LFディスプレイアセンブリは、前記視聴者の前記監視された応答に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、請求項56に記載のLFデジタルサイネージシステム。
【請求項59】
前記視聴者の前記決められた特徴は、前記視聴者の人口統計情報、職歴、学歴、性別、収入、購入に費やしたお金、趣味、場所、年齢、視聴履歴、アイテムに費やした時間、以前に閲覧したアイテムのカテゴリ、および購入履歴、のうちの1つ以上を含む、請求項56に記載のLFデジタルサイネージシステム。
【請求項60】
前記LFディスプレイアセンブリは、前記視聴者の前記決定された特徴に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、請求項56に記載のLFデジタルサイネージシステム。
【請求項61】
前記視聴者の特徴を含む視聴者プロファイルを生成するように構成された視聴者プロファイリングモジュールをさらに備える、請求項56に記載のLFデジタルサイネージシステム。
【請求項62】
前記1つ以上のクライアントLFディスプレイシステムは、支払いと引き換えに、ホログラフィックコンテンツを受信する、請求項55に記載のLFデジタルサイネージシステム。
【請求項63】
前記ホログラフィックコンテンツは、前記クライアントLFディスプレイシステムのハードウェア構成に基づいて提示される、請求項55に記載のLFデジタルサイネージシステム。
【請求項64】
前記ハードウェア構成は、
解像度と、
1度当たりの投影光線数と、
視野と、
前記表示面の偏向角と、
前記表示面の次元と、
の1つ以上を含む、請求項63に記載のLFデジタルサイネージシステム。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、国際出願第PCT/US2017/042275号、同第PCT/US2017/042276号、同第PCT/US2017/042418号、同第PCT/US2017/042452号、同第PCT/US2017/042462号、同第PCT/US2017/042466号、同第PCT/US2017/042467号、同第PCT/US2017/042468号、同第PCT/US2017/042469号、同第PCT/US2017/042470号、および同第PCT/US2017/042679号に関連し、これらはすべて、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
本開示は、サイネージシステムに関連し、特に、ライトフィールドディスプレイ(LF)に基づいたサイネージシステムに関連する。
【0003】
従来のサイネージシステムは、サイネージシステムの1人以上の視聴者にビジュアルコンテンツを提示する。従来のサイネージシステムは、一般に、デジタルサイネージシステムと物理的なサイネージシステムに分類され得る。従来の物理的なサイネージシステムは、一般に、2次元(2D)または3次元(3D)のいずれかであり得る物理的オブジェクトで構築され、例えば、貼り紙、看板、デジタル電子ディスプレイ、3Dブロック文字、3D彫刻などがある。ただし、従来の多くの物理的なサイネージシステムでは、リアルタイムで可変の動的コンテンツを表示することが困難である。例えば、物理的なサイネージシステムは、映画のポスターを提示する機能のみでは映画の予告編を表示させることはできない。一般に、従来のデジタルサイネージシステムでは、1人以上の視聴者に2Dビジュアルコンテンツのみを表示できるデジタルディスプレイ画面で構成されている。一般に、従来のサイネージシステムは、従来のサイネージシステムを直に見通せるすべての地点から見ることができる共通のビジュアルコンテンツのみを提示することができる。言い換えれば、従来のサイネージシステムのすべての視聴者は、ある時点で、おそらく異なる視点から、同じビジュアルコンテンツを見る。
【摘要】
【0004】
デジタルサイネージアプリケーション用のライトフィールド(LF)ディスプレイシステム。デジタルサイネージアプリケーション用のLFディスプレイシステムは、公共の場で1人以上の視聴者にホログラフィックコンテンツを提示するように構成されている。公共の場は、1人以上の視聴者が住む任意の共通エリアでもよい。デジタルサイネージアプリケーションで提供されるホログラフィックコンテンツには、ホログラフィック情報パネル、物理的な商品のホログラフィック表示、ホログラフィック広告、ホログラフィック映画またはビデオなどが含まれ得る。
【0005】
LFディスプレイシステムは、コントローラおよびLFディスプレイアセンブリを含む。コントローラは、ホログラフィックコンテンツを生成するように構成されている。LFディスプレイアセンブリは、公共の場のビューイングボリューム内に位置する視聴者に、ホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを提示するように構成されている1つ以上のLFディスプレイモジュールを含む。
【0006】
LFディスプレイシステムは、LFディスプレイシステムのビューイングボリューム内の視聴者の動きを追跡するための1つ以上のカメラを含む追跡システムを有する。LFディスプレイシステムは、追跡された動きに部分的に基づいて、視聴者がビューイングボリューム内にいると決定する。視聴者がビューイングボリューム内にいるという決定に応じて、1つ以上のLFディスプレイモジュールを介したLFディスプレイシステムのLFディスプレイアセンブリは、ビューイングボリューム内の視聴者が見ることができる、ホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを提示する。
【0007】
いくつかの実施形態では、LFディスプレイシステムは、パラメータのセットに部分的に基づいて、ホログラフィックオブジェクトについての表示命令を生成する。1つ以上の光LFディスプレイモジュールは、表示命令に従ってビューイングボリューム内にホログラフィックオブジェクトを提示し、ホログラフィックオブジェクトは本物の画像である。LFディスプレイシステムは、各視聴者に提供するホログラフィックオブジェクトのその後の選択を通知できる各視聴者の動作をさらに記録し得る。他の実施形態では、LFディスプレイシステムは、ビューイングボリューム内の個々の視聴者をさらに識別し得る。さらに、LFディスプレイシステムは、識別された視聴者に基づいて表示命令を生成し得る。LFディスプレイシステムはまた、視聴者から1つ以上の入力を受信し得る。LFディスプレイシステムは、ホログラフィックオブジェクトの表示を修正するため、追跡情報および/または受信した入力に基づいて表示命令を更新し得る。LFディスプレイアセンブリは、LFディスプレイモジュールで更新された表示命令に従って、修正されたホログラフィックオブジェクトを提示する。
【図面の簡単な説明】
【0008】
図1】1つ以上の実施形態による、ホログラフィックオブジェクトを提示するライトフィールドディスプレイモジュールの図である。
【0009】
図2A】1つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
【0010】
図2B】1つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。
【0011】
図3A】1つ以上の実施形態による、ライトフィールドディスプレイモジュールの斜視図である。
【0012】
図3B】1つ以上の実施形態による、ライトフィールドディスプレイモジュールの断面図である。
【0013】
図4A】1つ以上の実施形態による、単一面シームレス表面環境を形成するために2次元にタイル張りされたライトフィールドディスプレイシステムの一部分の斜視図である。
【0014】
図4B】1つ以上の実施形態による、多面シームレス表面環境におけるライトフィールドディスプレイシステムの一部分の斜視図である。
【0015】
図4C】1つ以上の実施形態による、ウィング型構成の集合表面を有するライトフィールドディスプレイシステムの上面図である。
【0016】
図4D】1つ以上の実施形態による、傾斜構成の集合表面を有するライトフィールドディスプレイシステムの側面図である。
【0017】
図4E】1つ以上の実施形態による、部屋の前壁に集合表面を有するライトフィールドディスプレイシステムの上面図である。
【0018】
図4F】1つ以上の実施形態による、部屋の前壁に集合表面を有するライトフィールドディスプレイシステムの側面図である。
【0019】
図5A】1つ以上の実施形態による、ライトフィールドディスプレイシステムのブロック図である。
【0020】
図5B】1つ以上の実施形態による、サイネージ用のライトフィールドディスプレイシステムを組み込んだライトフィールドサイネージアプリケーション環境のブロック図である。
【0021】
図6】1つ以上の実施形態による、大規模サイネージシステムで使用されるライトフィールドディスプレイシステムベースの図である。
【0022】
図7】1つ以上の実施形態による、小規模サイネージシステムで使用されるライトフィールドディスプレイシステムベースの図である。
【0023】
これらの図は、例示のみを目的として、本発明の様々な実施形態を示す。当業者は、以下の考察から、本明細書において例示される構造および方法の代替の実施形態が、本明細書に記載される本発明の原理から逸脱することなく採用され得ることを容易に認識するであろう。
【発明を実施するための形態】
【0024】
概要
ライトフィールド(LF)ディスプレイシステムは、サイネージシステムの1人以上の視聴者にホログラフィックコンテンツを提示するために、サイネージシステムの構成要素として実装される。ホログラフィックコンテンツは、1つ以上のホログラフィックオブジェクトを含み得、また、他のビジュアルコンテンツ(例えば、2次元または3次元のビジュアルコンテンツ)や感覚フィードバックコンテンツの任意の組み合わせを含み得る。ホログラフィックオブジェクトは、2次元(2D)オブジェクト、3次元(3D)オブジェクト、または1つ以上の4次元(4D)ライトフィールド関数で生成された、その両方を含む。サイネージアプリケーションで提供されるホログラフィックコンテンツには、ホログラフィック情報パネル、物理的な商品のホログラフィック表示、ホログラフィック広告、ホログラフィック映画またはビデオ、ホログラフィックストーリーなどが含まれ得る。LFディスプレイシステムは、LFディスプレイアセンブリを含む。LFディスプレイシステムは、LFディスプレイシステムのビューイングボリューム内の1人以上の視聴者にホログラフィックコンテンツを提示するように構成された1つ以上のLFディスプレイモジュールを有する。LFディスプレイシステムによって提供されるホログラフィックコンテンツはまた、サイネージシステムの1人以上の視聴者に情報を伝達するために使用され得る。
【0025】
いくつかの実施形態では、LFディスプレイシステムは、感覚フィードバックアセンブリ、追跡システム、視聴者プロファイリングモジュール、またはそれらの任意の組み合わせを有する。感覚フィードバックアセンブリは、LFディスプレイアセンブリによって提示されるホログラフィックコンテンツと並行して、LFディスプレイシステムの1人以上の視聴者に感覚フィードバックコンテンツを提供する1つ以上の感覚フィードバックデバイスを含む。感覚フィードバックは、触覚フィードバック、音声フィードバック、風フィードバック、および温度フィードバックを潜在的に包含し、LFディスプレイシステムの視聴者に提示されるホログラフィックコンテンツを補強する。追跡システムには、LFディスプレイシステムの視聴者を追跡するために使用される1つ以上のカメラが含まれている。追跡は、LFディスプレイシステムのビューイングボリューム内の1人以上の視聴者の位置を監視すること、または視聴者の視線を追跡すること(すなわち、視聴者の応答を監視すること)を含み得る。一実施形態では、LFディスプレイシステムは、視聴者の監視された応答に基づいてインプレッションの発生を決定し得る。例えば、視聴者の視線は、ホログラフィックオブジェクトなどに対する応答としての視聴者のインプレッションを決定するために使用され得る。LFディスプレイシステムは、視聴者の位置および視線に基づいて、ビューイングボリュームの一部では1人以上の視聴者が知覚できるが、その部分の外側では他の視聴者は見ることができないホログラフィックコンテンツを生成し得る。視聴者プロファイリングモジュールは、パーソナライズされたホログラフィックコンテンツを各視聴者に提供するために各視聴者を識別する。視聴者プロファイリングモジュールは、LFディスプレイシステムによるホログラフィックコンテンツのその後の提示を通知するために、ホログラフィックコンテンツに対する視聴者の動作をさらに監視および記録し得る。
【0026】
いくつかの実施形態では、LFディスプレイシステムは、大規模サイネージシステムに実装されている。LFディスプレイシステムは、平均的な視聴者よりも大きくするようにサイズ設定され得る。例えば、LFディスプレイシステムは、LFディスプレイシステムを通過する1人以上の視聴者にホログラフィックコンテンツを提示するための看板として実装され得る。LFディスプレイシステムは、道路または歩道の隣、もしくはそれらの組み合わせに配置され得る。LFディスプレイシステムは、建物の1つ以上の側面、輸送車両の1つ以上の側面、組織または企業の内壁、組織または企業の受付、組織または企業の案内板、公共の場所の1つ以上の標識(例えば、看板、ポスターなど)、またはデジタルサイネージに使用できる公共の場にあるその他の表面に配置され得る。視聴者は、車両の運転手または乗客、および/または歩行者を含み得る。LFディスプレイシステムは、追跡システムおよび視聴者プロファイリングモジュールを使用して、ホログラフィックコンテンツの視聴者へのインプレッションを記録し得る。いくつかの実施形態では、LFディスプレイシステムは、小規模サイネージシステムに実装されている。LFディスプレイシステムは、平均的な視聴者と同様のサイズにし得る。LFディスプレイシステムは、1人以上の視聴者にホログラフィックコンテンツを提示し得る。同様に、LFディスプレイシステムは、追跡システムおよび視聴者プロファイリングモジュールを使用して、ホログラフィックコンテンツの視聴者へのインプレッションを記録し得る。追加的に、視聴者プロファイリングモジュールは、提示されたホログラフィックコンテンツに対する視聴者の動作を記録して、各視聴者のホログラフィックコンテンツの設定を更新することができる。
ライトフィールドディスプレイシステムの概要
【0027】
図1は、1つ以上の実施形態による、ホログラフィックオブジェクト120を提示するLFディスプレイモジュール110の図100である。LFディスプレイモジュール110は、LFディスプレイシステムの一部である。LFディスプレイシステムは、1つ以上のLFディスプレイモジュールを使用して、少なくとも1つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。LFディスプレイシステムは、1人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、LFディスプレイシステムはまた、他の感覚コンテンツ(例えば、タッチ、音声、匂い、温度など)でホログラフィックコンテンツを拡張することができる。例えば、以下で考察されるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成することができる。LFディスプレイシステムは、1つ以上のLFディスプレイモジュール110を含んでおり、図4A図4F図6、および図7に関して以下で詳細に考察される。
【0028】
LFディスプレイモジュール110は、ホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト120)を1人以上の視聴者(例えば、視聴者140)に提示するホログラフィックディスプレイである。LFディスプレイモジュール110は、エネルギーデバイス層(例えば、発光電子ディスプレイまたは音響投影デバイス)と、エネルギー導波路層(例えば、光学レンズアレイ)と、を含む。追加的に、LFディスプレイモジュール110は、複数のエネルギー源または検出器を一緒に組み合わせて単一の表面を形成するために、エネルギーリレー層を含み得る。高レベルでは、エネルギーデバイス層は、エネルギー(例えば、ホログラフィックコンテンツ)を生成し、このエネルギーは次に、エネルギー導波路層を使用して、1つ以上の4次元(4D)ライトフィールド関数に従って空間内の領域に指向される。LFディスプレイモジュール110はまた、1つ以上のタイプのエネルギーの投影および/または感知を同時に行うことができる。例えば、LFディスプレイモジュール110は、ホログラフィック画像ならびに超音波触覚表面をビューイングボリューム内に投影することができ得る一方、同時に、ビューイングボリュームからの画像データを検出する。LFディスプレイモジュール110の操作は、図2A図3Bに関して以下でより詳細に考察される。
【0029】
LFディスプレイモジュール110は、(例えば、5Dプレノプティック関数から導出される)1つ以上の4Dライトフィールド関数を使用して、ホログラフィックオブジェクトボリューム160内にホログラフィックオブジェクトを生成する。ホログラフィックオブジェクトは、3次元(3D)、2次元(2D)、またはそれらの組み合わせにすることができる。さらに、ホログラフィックオブジェクトは、多色(例えば、フルカラー)であり得る。ホログラフィックオブジェクトは、スクリーン平面の前、スクリーン平面の後ろに投影されるか、またはスクリーン平面によって分割されてもよい。ホログラフィックオブジェクト120は、ホログラフィックオブジェクトボリューム160内のどこでも知覚されるように提示され得る。ホログラフィックオブジェクトボリューム160内のホログラフィックオブジェクトは、視聴者140には、空間に浮かんでいるように見えることがある。
【0030】
ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが視聴者140によって知覚され得るボリュームを表す。ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトがディスプレイエリア150の平面の前に提示され得るように、ディスプレイエリア150の表面の前に(すなわち、視聴者140に向かって)延在し得る。追加的に、ホログラフィックオブジェクトボリューム160は、ディスプレイエリア150の平面の後ろに(すなわち、視聴者140から離れる方向に)延在し得、ホログラフィックオブジェクトが、ディスプレイエリア150の平面の後ろにあるかのように提示されることを可能にする。言い換えれば、ホログラフィックオブジェクトボリューム160は、ディスプレイエリア150から発生し(例えば、投影され)、収束してホログラフィックオブジェクトを作成し得るすべての光線を含むことができる。ここで、光線は、表示面の前、表示面、または表示面の後ろにある点に収束し得る。より簡単に言えば、ホログラフィックオブジェクトボリューム160は、ホログラフィックオブジェクトが視聴者によって知覚され得るすべてのボリュームを包含する。
【0031】
ビューイングボリューム130は、LFディスプレイシステムによってホログラフィックオブジェクトボリューム160内に提示されたホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト120)が完全に見える空間のボリュームである。ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム160内に提示され、実際のオブジェクトと区別できないように、ビューイングボリューム130内で見られ得る。ホログラフィックオブジェクトは、オブジェクトが物理的に存在した場合に、オブジェクトの表面から生成されるであろう光線と同じ光線を投影することによって形成される。
【0032】
場合によっては、ホログラフィックオブジェクトボリューム160および対応するビューイングボリューム130は、単一の視聴者用に設計されるように、比較的小さくあり得る。他の実施形態では、例えば、図4A図4F図6、および図7に関して以下で詳細に考察されるように、LFディスプレイモジュールは、より大きなホログラフィックオブジェクトボリューム、および広範囲の視聴者(例えば、1人~数千人)を収容できる対応するビューイングボリュームを作成するために拡大および/またはタイル張りされ得る。本開示で提示されるLFディスプレイモジュールは、LFディスプレイの全表面が、非アクティブまたはデッドスペースがなく、ベゼルを必要としないホログラフィック撮像光学系を含むように構築され得る。これらの実施形態では、LFディスプレイモジュールは、撮像エリアがLFディスプレイモジュール間の継ぎ目をまたいで連続するようにタイル張りされ得、タイル張りされたモジュール間の接合ラインは、目の視力を使用して実質的に検出されない。特に、いくつかの構成では、表示面の一部は、本明細書では詳細に説明されていないが、ホログラフィック撮像光学系を含まないことがある。
【0033】
ビューイングボリューム130の柔軟なサイズおよび/または形状は、視聴者がビューイングボリューム130内で制約を受けないことを可能にする。例えば、視聴者140は、ビューイングボリューム130内の異なる位置に移動し、対応する視点からホログラフィックオブジェクト120の異なるビューを見ることができる。例示のために、図1を参照すると、視聴者140は、ホログラフィックオブジェクト120がイルカの真正面からのビューで見えるように、ホログラフィックオブジェクト120に対して第1の位置にある。視聴者140は、イルカの異なるビューを見るために、ホログラフィックオブジェクト120に対して他の場所に動くことができる。例えば、視聴者140は、視聴者140があたかも実際のイルカを見ていて、イルカの異なるビューを見るために、実際のイルカに対する視聴者の相対位置を変更するかのように、移動して、イルカの左側、イルカの右側などを見ることができる。いくつかの実施形態では、ホログラフィックオブジェクト120は、ホログラフィックオブジェクト120への遮るもののない(すなわち、オブジェクト/ヒトによって遮られていない)視線を有する、ビューイングボリューム130内のすべての視聴者に見える。これらの視聴者は、異なる視点のホログラフィックオブジェクト120を見るために、ビューイングボリューム内を動き回ることができるように、制約されないでよい。したがって、LFディスプレイシステムは、複数の制約されない視聴者が、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示することができる。
【0034】
対照的に、従来のディスプレイ(例えば、立体視、仮想現実、拡張現実、または複合現実)では、一般に、各視聴者は、コンテンツを見るために、何らかの外部デバイス(例えば、3Dメガネ、ニアアイディスプレイ、またはヘッドマウントディスプレイ)を着用する必要がある。追加的および/または代替的に、従来のディスプレイでは、視聴者が特定の視聴位置に(例えば、ディスプレイに対して固定された場所を有する椅子に)拘束される必要があり得る。例えば、立体視ディスプレイによって表示されるオブジェクトを見る場合、視聴者は常に、オブジェクトではなく表示面に焦点を合わせ、ディスプレイは常に、知覚されたオブジェクトの周りを動き回ろうとする視聴者に追随するオブジェクトの2つのビューのみを提示し、そのオブジェクトの知覚に歪みを引き起こす。しかしながら、ライトフィールドディスプレイでは、LFディスプレイシステムによって提示されるホログラフィックオブジェクトの視聴者は、ホログラフィックオブジェクトを見るために、外部デバイスを着用する必要も、特定の位置に監禁される必要もない。LFディスプレイシステムは、特別なアイウェア、メガネ、またはヘッドマウントアクセサリーを要することなく、物理的オブジェクトが視聴者に見えるのとほぼ同じように視聴者に見える方法で、ホログラフィックオブジェクトを提示する。さらに、視聴者は、ビューイングボリューム内の任意の場所からホログラフィックコンテンツを見ることができる。
【0035】
特に、ホログラフィックオブジェクトボリューム160内のホログラフィックオブジェクトの潜在的な場所は、ボリュームのサイズによって制限される。ホログラフィックオブジェクトボリューム160のサイズを大きくするために、LFディスプレイモジュール110のディスプレイエリア150のサイズを大きくしてもよく、かつ/または複数のLFディスプレイモジュールを、シームレスな表示面を形成するように一緒にタイル張りしてもよい。シームレスな表示面は、個々のLFディスプレイモジュールのディスプレイエリアよりも大きい有効ディスプレイエリアを有する。LFディスプレイモジュールのタイル張りに関連するいくつかの実施形態が、図4A図4F図6および図7に関して以下で考察される。図1に例示されるように、ディスプレイエリア150は矩形であり、ピラミッド形であるホログラフィックオブジェクトボリューム160をもたらす。他の実施形態では、ディスプレイエリアは、対応するビューイングボリュームの形状にも影響を与える何らかの他の形状(例えば、六角形)を有し得る。
【0036】
追加的に、上記の考察は、LFディスプレイモジュール110と視聴者140との間にあるホログラフィックオブジェクトボリューム160の一部内にホログラフィックオブジェクト120を提示することに焦点を当てているが、LFディスプレイモジュール110は追加的に、ディスプレイエリア150の平面の後ろのホログラフィックオブジェクトボリューム160にコンテンツを提示することができる。例えば、LFディスプレイモジュール110は、ディスプレイエリア150を、ホログラフィックオブジェクト120が飛び出している海の表面であるように見せることができる。また、表示されるコンテンツは、視聴者140が、表示された表面を通して、水中にいる海洋生物を見ることができるようなものであってもよい。さらに、LFディスプレイシステムは、ディスプレイエリア150の平面の後ろおよび前を含む、ホログラフィックオブジェクトボリューム160の周りをシームレスに移動するコンテンツを生成することができる。
【0037】
図2Aは、1つ以上の実施形態による、LFディスプレイモジュール210の一部の断面200である。LFディスプレイモジュール210は、LFディスプレイモジュール110であってもよい。他の実施形態では、LFディスプレイモジュール210は、ディスプレイエリア150とは異なるディスプレイエリア形状を有する別のLFディスプレイモジュールであってもよい。例示的な実施形態では、LFディスプレイモジュール210は、エネルギーデバイス層220、エネルギーリレー層230、およびエネルギー導波路層240を含む。LFディスプレイモジュール210のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。例えば、いくつかの実施形態では、LFディスプレイモジュール210は、エネルギーリレー層230を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
【0038】
本明細書に記載のディスプレイシステムは、実世界のオブジェクトを通常取り巻くエネルギーを複製するエネルギーの放出を提示する。ここで、放出されたエネルギーは、表示面上のすべての座標から特定の方向に指向される。言い換えれば、表示面上の様々な座標が、放出されたエネルギーの投影場所として機能する。表示面からの指向されたエネルギーは、多くのエネルギー線の収束を可能にし、それによって、ホログラフィックオブジェクトを作成することができる。例えば、可視光では、LFディスプレイは、ホログラフィックオブジェクトボリューム内の任意の点で収束し得る、投影場所からの極めて大きい数の光線を投影するため、それらの光線は、投影されているオブジェクトよりも遠くに位置する視聴者の視点からは、空間のこの領域に位置する実世界のオブジェクトの表面から来ているように見えるであろう。このように、LFディスプレイは、視聴者の視点からは、そのようなオブジェクトの表面から出たような反射光線を生成している。ビューイング視点は、任意の特定のホログラフィックオブジェクト上で変わり得、視聴者は、そのホログラフィックオブジェクトの異なるビューを見るであろう。
【0039】
エネルギーデバイス層220は、1つ以上の電子ディスプレイ(例えば、OLEDなどの発光ディスプレイ)と、本明細書に記載の1つ以上の他のエネルギー投影および/またはエネルギー受信デバイスと、を含む。エネルギーデバイス層220は、複数のエネルギー源位置を提供するように構成され得る。1つ以上の電子ディスプレイは、(例えば、LFディスプレイシステムのコントローラからの)表示命令に従ってコンテンツを表示するように構成される。1つ以上の電子ディスプレイは、各々が個別に制御される強度を有する複数のピクセルを含む。発光LEDおよびOLEDディスプレイなど、多くのタイプの商用ディスプレイがLFディスプレイ内で使用され得る。
【0040】
エネルギーデバイス層220はまた、1つ以上の音響投影デバイスおよび/または1つ以上の音響受信デバイスを含むことができる。音響投影デバイスは、ホログラフィックオブジェクト250を補完する1つ以上の圧力波を生成する。生成される圧力波は、例えば、可聴、超音波、またはそれらの何らかの組み合わせであってもよい。超音波圧力波のアレイは、体積触覚のために(例えば、ホログラフィックオブジェクト250の表面において)使用され得る。可聴圧力波は、ホログラフィックオブジェクト250を補完し得る音声コンテンツ(例えば、没入型オーディオ)を提供するために使用される。例えば、ホログラフィックオブジェクト250がイルカであると仮定すると、1つ以上の音響投影デバイスを使用して、(1)視聴者がホログラフィックオブジェクト250にタッチすることができるように、イルカの表面と併置される触覚表面を生成し、(2)パチンと鳴る音、甲高い音、けたたましい鳴き声など、イルカが発生する音に対応する音声コンテンツを提供することができる。音響受信デバイス(例えば、マイクロフォンもしくはマイクロフォンアレイ)は、LFディスプレイモジュール210の局所エリア内の超音波および/または可聴圧力波を監視するように構成され得る。
【0041】
エネルギーデバイス層220はまた、1つ以上の画像センサを含むことができる。画像センサは、可視光帯の光に敏感であってもよく、場合によっては、他の帯域(例えば、赤外線)の光に敏感であってもよい。画像センサは、例えば、相補型金属酸化膜半導体(CMOS)アレイ、電荷結合デバイス(CCD)、光検出器のアレイ、光をキャプチャする何らかの他のセンサ、またはそれらの何らかの組み合わせであってもよい。LFディスプレイシステムは、視聴者の場所標定追跡のために、1つ以上の画像センサによってキャプチャされたデータを使用することができる。
【0042】
いくつかの構成では、エネルギーリレー層230は、エネルギーデバイス層220とエネルギー導波路層240との間でエネルギー(例えば、電磁エネルギー、機械的圧力波など)を中継する。エネルギーリレー層230は、1つ以上のエネルギーリレー要素260を含む。各エネルギーリレー要素は、第1の表面265および第2の表面270を含み、2つの表面間でエネルギーを中継する。各エネルギーリレー要素の第1の表面265は、1つ以上のエネルギーデバイス(例えば、電子ディスプレイまたは音響投影デバイス)に結合され得る。エネルギーリレー要素は、例えば、ガラス、炭素、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの何らかの組み合わせで構成され得る。追加的に、いくつかの実施形態では、エネルギーリレー要素は、第1の表面265と第2の表面270との間を通過するエネルギーの倍率(増加または減少)を調整することができる。リレーが倍率を提供する場合、リレーは、テーパーと呼ばれる、接着されたテーパーリレーのアレイの形態を採り得、テーパーの一端の面積は、反対側の端よりも実質的に大きくなり得る。テーパーの大きい方の端は、一緒に張り合わされて、シームレスなエネルギー面275を形成することができる。1つの利点は、複数のディスプレイのベゼルなど、複数のエネルギー源の機械的エンベロープを収容するために、各テーパーの複数の小さな端にスペースが作成されることである。この余分のスペースにより、各エネルギー源が、小さいテーパー表面内にエネルギーを指向するアクティブエリアを有し、大きいシームレスなエネルギー面にリレーされる状態で、エネルギー源を小さなテーパー側に並べて配置することが可能になる。テーパーリレーを使用する別の利点は、テーパーの大きい端によって形成される、組み合わされたシームレスなエネルギー面には、非結像デッドスペースがないことである。境界またはベゼルが存在しないため、シームレスなエネルギー面を一緒にタイル張りして、目の視力によると実質的に継ぎ目のない、より大きな表面を形成することができる。
【0043】
隣接するエネルギーリレー要素の第2の表面は、一緒になってエネルギー面275を形成する。いくつかの実施形態では、隣接するエネルギーリレー要素の縁間の分離は、例えば、20/40の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面275は、ビューイングボリューム285内の視聴者280の視点からは事実上シームレスである。
【0044】
いくつかの実施形態では、隣接するエネルギーリレー要素の第2の表面は、それらの間に継ぎ目が存在しないように、圧力、熱、および化学反応のうちの1つ以上を含み得る処理工程を用いて一緒に融合される。さらに、他の実施形態では、エネルギーリレー要素のアレイは、リレー材料の連続したブロックの片側を、各々がエネルギーを、小さなテーパー端部に取り付けられたエネルギーデバイスから、細分化されない大きなエリアを有する単一の結合された表面内に輸送するように構成される、小さなテーパー端部のアレイに成形することによって形成される。
【0045】
いくつかの実施形態では、1つ以上のエネルギーリレー要素は、エネルギー局在化を示し、表面265および270に実質的に垂直な長手方向のエネルギー輸送効率は、垂直横断平面内の輸送効率よりもはるかに高く、エネルギー波が表面265と表面270との間を伝播するとき、エネルギー密度はこの横断平面内で高度に局在化される。このエネルギーの局在化により、画像などのエネルギー分布が、解像度の大きな損失なしに、これらの表面間で効率的に中継されることが可能になる。
【0046】
エネルギー導波路層240は、複数のエネルギー導波路を含み、各導波路は、4Dライトフィールド関数に従って、ホログラフィックオブジェクトを形成するために、エネルギー源位置に応じた前記表示面から、少なくとも1つの特定の方向に、少なくとも1つのエネルギー源位置からのエネルギーを投影するように構成され得る。エネルギー伝搬方向(または経路)は、少なくとも導波路に対するエネルギー面の座標場所によって決定される2つの角度寸法によって画定される。導波路は、空間2D座標に関連付けられる。これらの4つの座標が一緒になって、4Dのエネルギーフィールドを形成する。一例として、電磁エネルギーの場合、エネルギー導波路層240内の導波路要素は、光をシームレスなエネルギー面275上の位置から、ビューイングボリューム285を通る異なる伝搬方向に沿って指向する。様々な例において、光は、4Dライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム255内にホログラフィックオブジェクト250を形成する。いくつかの実施形態では、ホログラフィックオブジェクト250のビューイング視点は、ホログラフィックオブジェクトボリューム255内のホログラフィックオブジェクト250に対するビューイングボリューム285内の視聴者の位置に部分的に基づいて変化し得る。
【0047】
エネルギー導波路層240内の各導波路要素は、例えば、1つ以上の要素で構成されるレンズレットであり得る。いくつかの構成では、レンズレットは、正レンズであり得る。正レンズは、球面、非球面、または自由形状の表面プロファイルを有し得る。追加的に、いくつかの実施形態では、導波路要素の一部またはすべては、1つ以上の追加の光学構成要素を含み得る。追加の光学構成要素は、例えば、バッフル、正レンズ、負レンズ、球面レンズ、非球面レンズ、自由形状レンズ、液晶レンズ、液体レンズ、屈折要素、回折要素、またはそれらの何らかの組み合わせなどのエネルギー抑制構造であり得る。いくつかの実施形態では、レンズレットおよび/または追加の光学構成要素のうちの少なくとも1つはまた、屈折力を動的に調整することができる。例えば、レンズレットは、液晶レンズまたは液体レンズであってもよい。表面プロファイルの動的調整、レンズレットおよび/または少なくとも1つの追加の光学構成要素は、導波路要素から投影される光の追加の方向制御を提供し得る。
【0048】
例示的な例では、LFディスプレイのホログラフィックオブジェクトボリューム255は、光線256および光線257によって形成される境界を有するが、他の光線によって形成され得る。ホログラフィックオブジェクトボリューム255は、エネルギー導波路層240の前(すなわち、視聴者280に向かって)およびその後ろ(すなわち、視聴者280から離れて)の両方に延在する連続したボリュームである。例示的な例では、光線256および光線257は、LFディスプレイモジュール210の反対の縁から、ユーザによって知覚され得る表示面の法線に対して最大の角度で投影されるが、これらは他の投影光線であり得る。これらの光線は、ディスプレイの視野を画定し、したがって、ホログラフィックビューイングボリューム285の境界を画定する。場合によっては、これらの光線は、ディスプレイ全体がケラレなしで観察され得るホログラフィックビューイングボリューム(例えば、理想的なビューイングボリューム)を画定する。ディスプレイの視野が広がると、光線256および光線257の収束点がディスプレイにより近くなる。したがって、より広い視野を有するディスプレイは、視聴者280がより近い視距離でディスプレイ全体を見ることを可能にする。追加的に、光線256および257は、理想的なホログラフィックオブジェクトボリュームを形成し得る。理想的なホログラフィックオブジェクトボリューム内に提示されるホログラフィックオブジェクトは、ビューイングボリューム285内のどこでも見られ得る。
【0049】
いくつかの例では、ホログラフィックオブジェクトは、ビューイングボリューム285の一部にのみ提示され得る。言い換えれば、ホログラフィックオブジェクトボリュームは、任意の数のビューイングサブボリューム(例えば、ビューイングサブボリューム290)に分割され得る。追加的に、ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム255の外側に投影され得る。例えば、ホログラフィックオブジェクト251は、ホログラフィックオブジェクトボリューム255の外側に提示される。ホログラフィックオブジェクト251は、ホログラフィックオブジェクトボリューム255の外側に提示されるので、ビューイングボリューム285内のすべての場所から見ることができるわけではない。例えば、ホログラフィックオブジェクト251は、ビューイングサブボリューム290内の場所からは見えるが、視聴者280の場所からは見えない可能性がある。
【0050】
例えば、異なるビューイングサブボリュームからホログラフィックコンテンツを見ることを例示するために、図2Bに目を向ける。図2Bは、1つ以上の実施形態による、LFディスプレイモジュールの一部の断面200を例示する。図2Bの断面は、図2Aの断面と同じである。しかしながら、図2Bは、LFディスプレイモジュール210から投影された異なる光線のセットを示している。光線256および光線257は、依然としてホログラフィックオブジェクトボリューム255およびビューイングボリューム285を形成する。しかしながら、示されるように、LFディスプレイモジュール210の頂部およびLFディスプレイモジュール210の底部から投影された光線は重なり合って、ビューイングボリューム285内に様々なビューイングサブボリューム(例えば、ビューサブボリューム290A、290B、290C、および290D)を形成する。第1のビューイングサブボリューム(例えば、290A)内の視聴者は、他のビューイングサブボリューム(例えば、290B、290C、および290D)内の視聴者が知覚できない、ホログラフィックオブジェクトボリューム255内に提示されたホログラフィックコンテンツを知覚することができ得る。
【0051】
より簡単に言えば、図2Aに例示されるように、ホログラフィックオブジェクトボリューム255は、ホログラフィックオブジェクトがビューイングボリューム285内の視聴者(例えば、視聴者280)によって知覚され得るように、ホログラフィックオブジェクトが、LFディスプレイシステムによって提示され得るボリュームである。このように、ビューイングボリューム285は、理想的なビューイングボリュームの一例であり、ホログラフィックオブジェクトボリューム255は、理想的なオブジェクトボリュームの一例である。しかしながら、様々な構成において、視聴者は、他の例示的なホログラフィックオブジェクトボリューム内にLFディスプレイシステムによって提示されたホログラフィックオブジェクトを知覚することができる。より一般的には、LFディスプレイモジュールから投影されたホログラフィックコンテンツを見るときには「アイラインガイドライン」が適用される。アイラインガイドラインは、視聴者の目の位置と見られているホログラフィックオブジェクトとによって形成されるラインはLF表示面と交差しなければならないと主張する。
【0052】
LFディスプレイモジュール210によって提示されたホログラフィックコンテンツを見るとき、ホログラフィックコンテンツは4Dライトフィールド関数に従って提示されるので、視聴者280の各目は、異なる視点のホログラフィックオブジェクト250を見る。さらに、視聴者280がビューイングボリューム285内を移動するとき、視聴者は、ビューイングボリューム285内の他の視聴者が見るような、異なる視点のホログラフィックオブジェクト250を見るであろう。当業者には理解されるように、4Dライトフィールド関数は当技術分野で周知であり、本明細書ではこれ以上詳しく説明しない。
【0053】
本明細書でより詳細に説明するように、いくつかの実施形態では、LFディスプレイは、2つ以上のタイプのエネルギーを投影することができる。例えば、LFディスプレイは、例えば、機械的エネルギーおよび電磁エネルギーなどの2つのタイプのエネルギーを投影することができる。この構成では、エネルギーリレー層230は、エネルギー面275で一緒にインターリーブされるが、エネルギーが2つの異なるエネルギーデバイス層220に中継されるように分離される2つの別個のエネルギーリレーを含み得る。ここで、一方のリレーは、電磁エネルギーを輸送するように構成され得、別方のリレーは、機械的エネルギーを輸送するように構成され得る。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層240上の電磁導波路要素間の場所から投影され得、光が一方の電磁導波路要素から別方の電磁導波路要素に輸送されるのを抑制する構造を形成するのに役立つ。いくつかの実施形態では、エネルギー導波路層240はまた、コントローラからの表示命令に従って、集束超音波を特定の伝搬経路に沿って輸送する導波路要素を含み得る。
【0054】
代替の実施形態(図示せず)では、LFディスプレイモジュール210はエネルギーリレー層230を含まないことに留意されたい。この場合、エネルギー面275は、エネルギーデバイス層220内の1つ以上の隣接する電子ディスプレイを使用して形成された出射面である。また、エネルギーリレー層を有さないいくつかの実施形態では、隣接する電子ディスプレイの縁間の分離は、20/40の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面は、ビューイングボリューム285内の視聴者280の視点からは事実上シームレスである。
LFディスプレイモジュール
【0055】
図3Aは、1つ以上の実施形態による、LFディスプレイモジュール300Aの斜視図である。LFディスプレイモジュール300Aは、LFディスプレイモジュール110および/またはLFディスプレイモジュール210であり得る。他の実施形態では、LFディスプレイモジュール300Aは、何らかの他のLFディスプレイモジュールであってもよい。例示的な実施形態では、LFディスプレイモジュール300Aは、エネルギーデバイス層310、エネルギーリレー層320、およびエネルギー導波路層330を含む。LFディスプレイモジュール300Aは、本明細書で説明されるように、表示面365からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面365は、LFディスプレイモジュール300Aのフレーム390上に破線の輪郭として例示されているが、より正確には、フレーム390の内側リムによって境界される導波路要素の真正面の表面である。表示面365は、エネルギーが投影され得る複数の投影位置を含む。LFディスプレイモジュール300Aのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、LFディスプレイモジュール300Aは、エネルギーリレー層320を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。
【0056】
エネルギーデバイス層310は、エネルギーデバイス層220の一実施形態である。エネルギーデバイス層310は、4つのエネルギーデバイス340を含む(図では3つが見える)。エネルギーデバイス340は、すべてが同じタイプ(例えば、すべてが電子ディスプレイ)であってもよいか、または1つ以上の異なるタイプを含んでもよい(例えば、電子ディスプレイおよび少なくとも1つの音響エネルギーデバイスを含む)。
【0057】
エネルギーリレー層320は、エネルギーリレー層230の一実施形態である。エネルギーリレー層320は、4つのエネルギーリレーデバイス350を含む(図では3つが見える)。エネルギーリレーデバイス350は、すべてが同じタイプのエネルギー(例えば、光)を中継し得るか、または1つ以上の異なるタイプ(例えば、光および音)を中継し得る。リレーデバイス350の各々は、第1の表面および第2の表面を含み、エネルギーリレーデバイス350の第2の表面は、単一のシームレスなエネルギー面360を形成するように配置される。例示的な実施形態では、エネルギーリレーデバイス350の各々は、第1の表面が第2の表面よりも小さい表面積を有するようにテーパー状になっており、これにより、テーパーの小さい方の端にエネルギーデバイス340の機械的エンベロープを収容することが可能になる。これにより、エリア全体がエネルギーを投影し得るため、シームレスなエネルギー面が無境界であることが可能になる。これは、LFディスプレイモジュール300Aの複数の実例を、デッドスペースまたはベゼルなしに一緒に配置することによって、組み合わされた表面全体がシームレスであるように、このシームレスなエネルギー面がタイル張りされ得ることを意味する。他の実施形態では、第1の表面および第2の表面は同じ表面積を有する。
【0058】
エネルギー導波路層330は、エネルギー導波路層240の一実施形態である。エネルギー導波路層330は、複数の導波路要素370を含む。図2に関して上記で考察されるように、エネルギー導波路層330は、ホログラフィックオブジェクトを形成するために、4Dライトフィールド関数に従って、エネルギーをシームレスなエネルギー面360から特定の伝搬経路に沿って指向するように構成されている。例示的な実施形態では、エネルギー導波路層330はフレーム390によって境界されることに留意されたい。他の実施形態では、フレーム390は存在しない、および/またはフレーム390の厚さが低減されている。フレーム390の厚さの除去または低減は、LFディスプレイモジュール300Aと追加のLFディスプレイモジュールとのタイル張りを容易にし得る。
【0059】
例示的な実施形態では、シームレスなエネルギー面360およびエネルギー導波路層330は平面であることに留意されたい。図示されてない代替の実施形態では、シームレスなエネルギー面360およびエネルギー導波路層330は、1つ以上の次元で湾曲していてよい。
【0060】
LFディスプレイモジュール300Aは、シームレスなエネルギー面360の表面上、もしくはエネルギー導波路層330に存在する追加のエネルギー源を有して構成され得、ライトフィールドに加えてエネルギーフィールドの投影を可能にする。一実施形態では、音響エネルギーフィールドが、シームレスなエネルギー面360上の任意の数の位置、例えば、アレイとして取り付けられた静電スピーカ(例示せず)から投影され得る。一実施形態では、静電スピーカのアレイは、複数のエネルギー導波路に結合されている。静電スピーカのアレイは、駆動時に音響エネルギーを生成するように構成された少なくとも1つの透明膜と、透明膜を音響的に駆動するように構成された複数の電極とを含む。各電極は、1つ以上のエネルギー導波路の間に配置することができる。さらに、LFディスプレイモジュール300Aの静電スピーカは、デュアルエネルギー面がサウンドフィールドおよびホログラフィックコンテンツを同時に投影するように、LFディスプレイモジュール300A内に位置付けられる。例えば、静電スピーカは、電磁エネルギーのいくつかの波長に対して透過性であり、1つ以上の導電性要素(例えば、1つ以上のダイアフラム要素を挟む平面)を用いて駆動される1つ以上のダイアフラム要素で形成され得る。静電スピーカは、ダイアフラム要素が導波路要素のうちのいくつかを覆うように、シームレスなエネルギー面360に装着されてもよい。スピーカの導電性電極は、電磁導波路間の光透過を抑制するように設計された構造体と併置されてよく、および/または電磁導波路要素間の位置(例えば、フレーム390)に位置してよい。様々な構成において、スピーカは、可聴音、および/または触覚表面を生み出す集束超音波エネルギーの多くのソースを投影することができる。
【0061】
いくつかの構成では、エネルギーデバイス340は、エネルギーを感知し得る。例えば、エネルギーデバイスは、マイクロフォン、光センサ、音響トランスデューサなどであり得る。そのため、エネルギーリレーデバイスは、シームレスなエネルギー面360からエネルギーデバイス層310にエネルギーを中継することもできる。すなわち、LFディスプレイモジュールのシームレスなエネルギー面360は、エネルギーデバイスおよびエネルギーリレーデバイス340が、エネルギーを放出すると同時に感知する(例えば、ライトフィールドを放出し、音を感知する)ように構成されるとき、双方向エネルギー面を形成する。
【0062】
より広義には、LFディスプレイモジュールのエネルギーデバイス340は、エネルギー源またはエネルギーセンサのいずれかであり得る。LFディスプレイモジュール300Aは、高品質のホログラフィックコンテンツのユーザへの投影を容易にするために、エネルギー源および/またはエネルギーセンサとして機能する様々なタイプのエネルギーデバイスを含み得る。他のソースおよび/またはセンサとしては、サーマルセンサまたはソース、赤外線センサまたはソース、画像センサまたはソース、音響エネルギーを生成する機械的エネルギートランスデューサ、フィードバックソースなどが挙げられる。多くの他のセンサまたはソースが可能である。さらに、LFディスプレイモジュールが、大きな集合体のシームレスなエネルギー面から複数のタイプのエネルギーを投影および感知するアセンブリを形成し得るように、LFディスプレイモジュールはタイル張りされ得る。
【0063】
LFディスプレイモジュール300Aの様々な実施形態では、シームレスなエネルギー面360は、各表面部分が特定のタイプのエネルギーを投影および/または放出するように構成されている様々な表面部分を有し得る。例えば、シームレスなエネルギー面がデュアルエネルギー面である場合、シームレスなエネルギー面360は、電磁エネルギーを投影する1つ以上の表面部分と、超音波エネルギーを投影する1つ以上の他の表面部分と、を含む。超音波エネルギーを投影する表面部分は、電磁導波路要素間のシームレスなエネルギー面360上に位置し得、および/または電磁導波路要素間の光透過を抑制するように設計された構造体と併置され得る。シームレスなエネルギー面が双方向エネルギー面である例では、エネルギーリレー層320は、シームレスなエネルギー面360でインターリーブされた2つのタイプのエネルギーリレーデバイスを含み得る。様々な実施形態では、シームレスなエネルギー面360は、任意の特定の導波路要素370の下の表面の部分が、すべてエネルギー源、すべてエネルギーセンサ、またはエネルギー源およびエネルギーセンサの混在であるように構成され得る。
【0064】
図3Bは、1つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むLFディスプレイモジュール300Bの断面図である。エネルギーリレーデバイス350Aは、エネルギーデバイス340Aに接続されたエネルギーリレーの第1の表面345Aとシームレスなエネルギー面360との間でエネルギーを輸送する。エネルギーリレーデバイス350Bは、エネルギーデバイス340Bに接続されたエネルギーリレーの第1の表面345Bとシームレスなエネルギー面360との間でエネルギーを輸送する。両方のリレーデバイスは、シームレスなエネルギー面360に接続されたインターリーブされたエネルギーリレーデバイス352においてインターリーブされている。この構成では、シームレスなエネルギー面360は、エネルギー源またはエネルギーセンサであり得るエネルギーデバイス340Aおよび340Bの両方のインターリーブされたエネルギー場所を含む。したがって、LFディスプレイモジュール300Bは、2つ以上のタイプのエネルギーを投影するためのデュアルエネルギー投影デバイスとして、またはあるタイプのエネルギーを投影することと、別のタイプのエネルギーを感知することとを同時に行うための双方向エネルギーデバイスとしてのいずれかに構成され得る。LFディスプレイモジュール300Bは、LFディスプレイモジュール110および/またはLFディスプレイモジュール210であり得る。他の実施形態では、LFディスプレイモジュール300Bは、何らかの他のLFディスプレイモジュールであり得る。
【0065】
LFディスプレイモジュール300Bは、図3AのLFディスプレイモジュール300Aのものと同様に構成されている多くの構成要素を含む。例えば、例示的な実施形態では、LFディスプレイモジュール300Bは、図3Aに関して説明したものと少なくとも同じ機能を含むエネルギーデバイス層310、エネルギーリレー層320、シームレスなエネルギー面360、およびエネルギー導波路層330を含む。追加的に、LFディスプレイモジュール300Bは、表示面365からエネルギーを提示および/または受け取ることができる。特に、LFディスプレイモジュール300Bの構成要素は、代替的に、図3AのLFディスプレイモジュール300Aの構成要素とは異なって接続および/または配向されている。LFディスプレイモジュール300Bのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。図3Bは、より大きな面積を有するデュアルエネルギー投影表面または双方向エネルギー面を生み出すためにタイル張りされ得る単一のLFディスプレイモジュール300Bの設計を例示する。
【0066】
一実施形態では、LFディスプレイモジュール300Bは、双方向LFディスプレイシステムのLFディスプレイモジュールである。双方向LFディスプレイシステムは、エネルギーを投影し、それと同時に表示面365からエネルギーを感知することができる。シームレスなエネルギー面360は、シームレスなエネルギー面360上で密接にインターリーブされたエネルギー投影場所およびエネルギー感知場所の両方を含む。したがって、図3Bの例では、エネルギーリレー層320は、図3Aのエネルギーリレー層とは異なる様式で構成されている。便宜上、LFディスプレイモジュール300Bのエネルギーリレー層は、本明細書では「インターリーブエネルギーリレー層」と呼ばれる。
【0067】
インターリーブされたエネルギーリレー層320は、第1のエネルギーリレーデバイス350Aと第2のエネルギーリレーデバイス350Bとの2つの脚部を含む。脚部の各々は、図3Bで薄い陰影のエリアとして例示されている。脚部の各々は、可撓性のリレー材料で作製され、様々なサイズおよび形状のエネルギーデバイスで使用するのに十分な長さで形成され得る。インターリーブされたエネルギーリレー層のいくつかの領域では、2つの脚部は、シームレスなエネルギー面360に近づくにつれて、一緒に緊密にインターリーブされる。例示的な例では、インターリーブされたエネルギーリレーデバイス352は、暗い陰影のエリアとして例示されている。
【0068】
シームレスなエネルギー面360でインターリーブされる一方、エネルギーリレーデバイスは、異なるエネルギーデバイスとの間でエネルギーを中継するように構成される。エネルギーデバイスは、エネルギーデバイス層310にある。例示のように、エネルギーデバイス340Aは、エネルギーリレーデバイス350Aに接続され、エネルギーデバイス340Bは、エネルギーリレーデバイス350Bに接続されている。様々な実施形態では、各エネルギーデバイスは、エネルギー源またはエネルギーセンサであり得る。
【0069】
エネルギー導波路層330は、エネルギー波をシームレスなエネルギー面360から、投影された経路に沿って、一連の収束点に向かって導くための導波路要素370を含む。この例では、ホログラフィックオブジェクト380が、一連の収束点に形成される。特に、例示のように、ホログラフィックオブジェクト380でのエネルギーの収束は、表示面365の視聴者側(すなわち、前側)で発生する。しかしながら、他の例では、エネルギーの収束は、表示面365の前および表示面365の後ろの両方に延在するホログラフィックオブジェクトボリューム内のどこであってもよい。導波路要素370は、以下に説明するように、入ってくるエネルギーをエネルギーデバイス(例えば、エネルギーセンサ)に同時に導くことができる。
【0070】
LFディスプレイモジュール300Bの例示的な一実施形態では、発光ディスプレイがエネルギー源(例えば、エネルギーデバイス340A)として使用され、画像センサがエネルギーセンサ(例えば、エネルギーデバイス340B)として使用される。このように、LFディスプレイモジュール300Bは、同時に、ホログラフィックコンテンツを投影し、表示面365の前のボリュームからの光を検出することができる。このように、LFディスプレイモジュール300Bのこの実施形態は、LFディスプレイおよびLFセンサの両方として機能する。
【0071】
一実施形態では、LFディスプレイモジュール300Bは、同時に、ライトフィールドを表示面上の投影位置から表示面の前に投影し、投影位置で、表示面の前の領域からのライトフィールドをキャプチャするように構成される。この実施形態では、エネルギーリレーデバイス350Aは、導波路要素370の下に位置付けられたシームレスなエネルギー面360における位置の第1のセットをエネルギーデバイス340Aに接続する。一例では、エネルギーデバイス340Aは、ソースピクセルのアレイを有する発光ディスプレイである。エネルギーリレーデバイス340Bは、導波路要素370の下に位置付けられたシームレスなエネルギー面360における場所の第2のセットをエネルギーデバイス340Bに接続する。一例では、エネルギーデバイス340Bは、センサピクセルのアレイを有する画像センサである。LFディスプレイモジュール300Bは、特定の導波路要素370の下にあるシームレスなエネルギー面365における場所が、すべて発光ディスプレイ場所、すべて画像センサ場所、またはこれらの場所の何らかの組み合わせであるように構成され得る。他の実施形態では、双方向のエネルギー面は、様々な他の形態のエネルギーを投影および受信することができる。
【0072】
LFディスプレイモジュール300Bの別の例示的な実施形態では、LFディスプレイモジュールは、2つの異なるタイプのエネルギーを投影するように構成される。例えば、一実施形態では、エネルギーデバイス340Aは、電磁エネルギーを放出するように構成された発光ディスプレイであり、エネルギーデバイス340Bは、機械的エネルギーを放出するように構成された超音波トランスデューサである。そのため、光および音の両方が、シームレスなエネルギー面360における様々な位置から投影され得る。この構成では、エネルギーリレーデバイス350Aは、エネルギーデバイス340Aをシームレスなエネルギー面360に接続し、電磁エネルギーを中継する。エネルギーリレーデバイスは、電磁エネルギーの輸送を効率的にする(例えば、屈折率を変化させる)特性を有するように構成される。エネルギーリレーデバイス350Bは、エネルギーデバイス340Bをシームレスなエネルギー面360に接続し、機械的エネルギーを中継する。エネルギーリレーデバイス350Bは、超音波エネルギーの効率的な輸送のための特性を有するように構成される(例えば、異なる音響インピーダンスを有する材料の配分)。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層330上の導波路要素370間の場所から投影され得る。機械的エネルギーを投影する場所は、光が一方の電磁導波路要素から他方に輸送されるのを抑制する役割を果たす構造体を形成し得る。一例では、超音波の機械的エネルギーを投影する場所の空間的に分離されたアレイは、3次元触覚形状および表面を空中に作成するように構成することができる。表面は、投影されたホログラフィックオブジェクト(例えば、ホログラフィックオブジェクト380)と一致し得る。いくつかの例では、アレイにわたる位相の遅延および振幅の変化は、触覚形状の作成を支援し得る。
【0073】
様々な実施形態では、インターリーブされたエネルギーリレーデバイスを有するLFディスプレイモジュール300Bは、各エネルギーデバイス層が特定のタイプのエネルギーデバイスを含んだ、複数のエネルギーデバイス層を含み得る。これらの例では、エネルギーリレー層は、シームレスなエネルギー面360とエネルギーデバイス層310との間で適切なタイプのエネルギーを中継するように構成される。
タイル張りされたLFディスプレイモジュール
【0074】
図4Aは、1つ以上の実施形態による、単一面シームレス表面環境を形成するために、2次元にタイル張りされたLFディスプレイシステム400の一部の斜視図である。LFディスプレイシステム400は、アレイ410を形成するようにタイル張りされた複数のLFディスプレイモジュールを含む。より明確には、アレイ410内の小さな正方形の各々が、タイル張りされたLFディスプレイモジュール412を表す。LFディスプレイモジュール412は、LFディスプレイモジュール300Aまたは300Bと同じであり得る。アレイ410は、例えば、部屋の表面(例えば、壁)の一部またはすべてを覆うことができる。LFアレイは、例えば、テーブルトップ、広告版、ロタンダ、パネルなどの他の表面を覆うことができる。
【0075】
アレイ410は、1つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、アレイ410は、ホログラフィックオブジェクト420およびホログラフィックオブジェクト422を投影する。LFディスプレイモジュール412のタイル張りは、はるかに大きなビューイングボリュームを可能にするだけでなく、オブジェクトがアレイ410からより遠くに投影されることを可能にする。例えば、例示的な実施形態では、ビューイングボリュームは、LFディスプレイモジュール412の前(および後ろ)の局所的なボリュームではなく、アレイ410の前および後ろのほぼ全エリアである。
【0076】
いくつかの実施形態では、LFディスプレイシステム400は、ホログラフィックオブジェクト420を視聴者430および視聴者434に提示する。視聴者430および視聴者434は、異なる視点のホログラフィックオブジェクト420を受信する。例えば、視聴者430は、ホログラフィックオブジェクト420の真っ直ぐなビューを提示される一方、視聴者434は、ホログラフィックオブジェクト420のより斜めのビューを提示される。視聴者430および/または視聴者434が移動すると、これらの視聴者は、異なる視点のホログラフィックオブジェクト420を提示される。これにより、視聴者は、ホログラフィックオブジェクトに対して移動することにより、ホログラフィックオブジェクトと視覚的にインタラクションすることが可能になる。例えば、視聴者430がホログラフィックオブジェクト420の周りを歩くとき、ホログラフィックオブジェクト420がアレイ410のホログラフィックオブジェクトボリューム内に留まっている限り、視聴者430は、ホログラフィックオブジェクト420の異なる側面を見る。したがって、視聴者430および視聴者434は、あたかもホログラフィックオブジェクト420が実際にそこにあるかのように、実世界空間にホログラフィックオブジェクト420を同時に見ることができる。追加的に、ホログラフィックオブジェクト420は、物理的オブジェクトが見えるのとほぼ同じように視聴者に見えるので、視聴者430および視聴者434は、ホログラフィックオブジェクト420を見るために外部デバイスを着用する必要はない。追加的に、ここでは、アレイのビューイングボリュームがアレイの表面の後ろに延在するため、ホログラフィックオブジェクト422が、アレイの後ろに例示されている。このように、ホログラフィックオブジェクト422は、視聴者430および/または視聴者434に提示され得る。
【0077】
いくつかの実施形態では、LFディスプレイシステム400は、ホログラフィックコンテンツを視聴者430(すなわち、第1の視聴者)および視聴者434(すなわち、第2の視聴者)に提示する。第1の視聴者と第2の視聴者は、異なるビューイングボリュームに配置され得る。例えば、第1の視聴者は、ビューイングボリューム内に配置され得、第2の視聴者は、第2のビューイングボリューム内に配置され得る。LFディスプレイシステム400は、アレイ410のホログラフィックオブジェクトボリューム内の追加のホログラフィックコンテンツを、ビューイングボリュームとは異なる第2のビューイングボリューム内に位置する第2の視聴者に提示する。いくつかの実施形態では、LFディスプレイシステム400は、ビューイングボリュームからは見ることができるが、第2のビューイングボリュームからは見ることができないホログラフィックコンテンツを提示する。
【0078】
いくつかの実施形態では、LFディスプレイシステム400は、視聴者430および視聴者434の位置を追跡する追跡システムを含み得る。いくつかの実施形態では、追跡される位置は、視聴者の位置である。他の実施形態では、追跡される位置は、視聴者の目の位置である。目の位置追跡は、目がどこを見ているかを追跡する(例えば、配向を使用して視線場所を決定する)視線追跡とは異なる。視聴者430の目および視聴者434の目は、異なる場所にある。
【0079】
様々な構成において、LFディスプレイシステム400は、LFディスプレイシステム400によって投影されたホログラフィックコンテンツに対する視聴者の応答を含む、LFディスプレイシステムの1人以上の視聴者に関する情報を収集するために使用される1つ以上の追跡システム、およびLFディスプレイシステム400の視聴者の特徴を含み得る。例えば、図4Aの例示的な実施形態では、LFディスプレイシステムは、アレイ410の外部にある追跡システム440を含む。ここで、追跡システムは、アレイ410に結合されたカメラシステムであり得る。外部追跡システムは、図5Aに関してより詳細に説明される。他の例示的な実施形態では、追跡システムは、本明細書に記載されるように、アレイ410に組み込まれ得る。例えば、アレイ410に含まれる双方向エネルギー面を含む1つ以上のLFディスプレイモジュール412のエネルギーデバイス(例えば、エネルギーデバイス340)は、アレイ410の前の視聴者の画像をキャプチャするように構成され得る。いずれの場合でも、LFディスプレイシステム400の追跡システムは、アレイ410によって提示されたホログラフィックコンテンツを見ている視聴者(例えば、視聴者430および/または視聴者434)に関する追跡情報を決定する。一実施形態では、LFディスプレイシステム400の追跡システムは、視聴者の動きを追跡し、1つ以上のビューイングボリュームは、追跡された動きによって定義され得る。
【0080】
いくつかの実施形態では、LFディスプレイシステム400は、視聴者430がビューイングボリューム内にいるという決定に基づいて、ホログラフィックコンテンツをLFディスプレイシステム400の視聴者に提示する機会を特定し得る。追跡システム440は、LFディスプレイシステム400のビューイングボリューム内の視聴者430の動きを追跡し得、追跡された動きに基づいて、視聴者430がビューイングボリューム内にいると決定し得る。他の実施形態では、LFディスプレイシステム400は、コンテンツストアからホログラフィックコンテンツを選択し得(すなわち、ホログラフィックコンテンツがサードパーティシステムまたはオンラインストアに記憶される場合)、ホログラフィックコンテンツは、ホログラフィックコンテンツをいつどのように提示するかを画定するパラメータのセットを含み得る。パラメータのセットは、追跡システムによって決定された1人以上の視聴者の応答または特徴から部分的に導き出し得る。例えば、1人以上の視聴者の年齢が決定された場合、特定の年齢範囲に適したコンテンツが表示され得る。別の例では、追跡された視聴者の位置または動きに応じて、ホログラフィックコンテンツを提示する頻度を調整し得る。一般に、追跡システムは、ホログラフィックコンテンツ、またはそれらのいくつかの組み合わせをいつまたはどのように提示するかを説明するパラメータを提供し得る。LFディスプレイシステム400は、パラメータのセットに基づいてホログラフィックコンテンツの表示命令を生成し得、パラメータのセットに基づいてホログラフィックコンテンツを1人以上の視聴者に提示し得る。表示命令は、ホログラフィックコンテンツをいつどのように表示するかをLFディスプレイシステム400に指示する。
【0081】
追跡情報は、視聴者の位置、または視聴者の一部の位置(例えば、視聴者の片方または両方の目、もしくは視聴者の四肢)の空間内の(例えば、追跡システムに対する)位置を表す。追跡システムは、追跡情報を決定するために、任意の数の深度決定技術を使用することができる。深度決定技術は、例えば、構造化光、飛行時間、ステレオ撮像、何らかの他の深度決定技術、またはそれらの何らかの組み合わせを含み得る。追跡システムは、追跡情報を決定するように構成されている様々なシステムを含み得る。例えば、追跡システムは、1つ以上の赤外線源(例えば、構造化光源)、赤外線で画像をキャプチャすることができる1つ以上の画像センサ(例えば、赤-青-緑-赤外線カメラ)、および追跡アルゴリズムを実行するプロセッサを含み得る。追跡システムは、深度推定技術を使用して、視聴者の位置を決定することができる。いくつかの実施形態では、LFディスプレイシステム400は、本明細書で説明するように、視聴者430および/または視聴者434の追跡された位置、動作、またはジェスチャに基づいて、ホログラフィックオブジェクトを生成する。例えば、LFディスプレイシステム400は、アレイ410の閾値距離および/または特定の位置内に来る視聴者に応答して、ホログラフィックオブジェクトを生成することができる。
【0082】
LFディスプレイシステム400は、追跡情報に部分的に基づいて、各視聴者に合わせてカスタマイズされた1つ以上のホログラフィックオブジェクトを提示することができる。例えば、視聴者430は、ホログラフィックオブジェクト420を提示され得るが、ホログラフィックオブジェクト422は提示され得ない。同様に、視聴者434は、ホログラフィックオブジェクト422を提示され得るが、ホログラフィックオブジェクト420は提示され得ない。例えば、LFディスプレイシステム400は、視聴者430および視聴者434の各々の位置を追跡する。LFディスプレイシステム400は、ホログラフィックオブジェクトが提示されるべき場所に対する視聴者の位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を決定する。LFディスプレイシステム400は、決定された視点に対応する特定のピクセルから光を選択的に投影する。したがって、視聴者434および視聴者430は、潜在的に完全に異なる体験を同時に有することができる。言い換えれば、LFディスプレイシステム400は、ホログラフィックコンテンツを、ビューイングボリュームのビューイングサブボリューム(すなわち、図2Bに示されるビューイングサブボリューム290A、290B、290C、および290Dと同様の)に提示することができる。例えば、例示のように、LFディスプレイシステム400は、視聴者430の位置を追跡できるので、LFディスプレイシステム400は、スペースコンテンツ(例えば、ホログラフィックオブジェクト420)を、視聴者430を取り囲むビューイングサブボリュームに、およびサファリコンテンツ(例えば、ホログラフィックオブジェクト422)を、視聴者434を取り囲むビューイングサブボリュームに提示することができる。対照的に、従来のシステムは、同様の体験を提供するために、個々のヘッドセットを使用しなければならないであろう。
【0083】
いくつかの実施形態では、LFディスプレイシステム400は、1つ以上の感覚フィードバックシステムを含み得る。感覚フィードバックシステムは、ホログラフィックオブジェクト420および422を拡張する他の感覚刺激(例えば、触覚、音声、または匂い)を提供する。例えば、図4Aの例示的な実施形態では、LFディスプレイシステム400は、アレイ410の外部の感覚フィードバックシステム442を含む。一例では、感覚フィードバックシステム442は、アレイ410に結合された静電スピーカであり得る。外部感覚フィードバックシステムは、図5Aに関してより詳細に説明される。他の例示的な実施形態では、感覚フィードバックシステムは、本明細書に記載されるように、アレイ410に組み込まれ得る。例えば、アレイ410に含まれるLFディスプレイモジュール412のエネルギーデバイス(例えば、図3Bのエネルギーデバイス340A)は、超音波エネルギーをアレイの前の視聴者に投影し、および/またはアレイの前の視聴者から画像情報を受信するように構成され得る。いずれの場合でも、感覚フィードバックシステムは、感覚コンテンツを、アレイ410によって提示されるホログラフィックコンテンツ(例えば、ホログラフィックオブジェクト420および/またはホログラフィックオブジェクト422)を見ている視聴者(例えば、視聴者430および/または視聴者434)に提示し、および/または視聴者から受信する。
【0084】
LFディスプレイシステム400は、アレイの外部の1つ以上の音響投影デバイスを含む感覚フィードバックシステム442を含み得る。代替的または追加的に、LFディスプレイシステム400は、本明細書で説明されるように、アレイ410に統合された1つ以上の音響投影デバイスを含み得る。音響投影デバイスは、体積触覚表面を投影するように構成された超音波源のアレイ(例えば、超音波エネルギー投影デバイスまたは体積触覚投影デバイス)からなり得る。一実施形態では、超音波エネルギー投影デバイスは、ホログラフィックオブジェクトに触覚フィードバックを提供し得る。超音波エネルギー投影デバイスは、ホログラフィックオブジェクトの表面に近接して、またはホログラフィックオブジェクトの表面と一致する体積触覚表面を生成し得る。いくつかの実施形態では、触覚表面は、視聴者の一部が1つ以上の表面の閾値距離内に入る場合、ホログラフィックオブジェクトの1つ以上の表面の(例えば、ホログラフィックオブジェクト420の表面における)ホログラフィックオブジェクトと一致し得る。ホログラフィックコンテンツは、テクスチャを備えた物理的アイテムの表現であり得、体積触覚投影デバイスは、物理的アイテムのテクスチャをシミュレートし得る(すなわち、体積触覚表面を提供し得る)。体積触覚は、ユーザがホログラフィックオブジェクトの表面をタッチして感じることを可能にし得る。複数の音響投影デバイスは、視聴者に音声コンテンツ(例えば、没入型オーディオ)を提供する可聴圧力波を投影することができる。したがって、超音波圧力波および/または可聴圧力波は、ホログラフィックオブジェクトを補完する役割を果たすことができる。
【0085】
様々な実施形態では、LFディスプレイシステム400は、視聴者の追跡された位置に部分的に基づいて、他の感覚刺激を提供することができる。例えば、図4Aに例示されるホログラフィックオブジェクト422はライオンであり、LFディスプレイシステム400は、ホログラフィックオブジェクト422を視覚的(すなわち、ホログラフィックオブジェクト422が咆哮するように見える)および聴覚的(すなわち、1つ以上の音響投影デバイスが、ライオンの咆哮がホログラフィックオブジェクト422から発せられているように視聴者430が知覚する圧力波を投影する)の両方で咆哮させることができる。
【0086】
例示的な構成では、ホログラフィックビューイングボリュームは、図2A図2BのLFディスプレイシステム200のビューイングボリューム285と同様の方法で制限され得ることに留意されたい。これは、視聴者が単一のウォールディスプレイユニットで体験するであろう知覚される没入感の量を制限する可能性がある。これに対処する1つの方法が、図4B図4Fに関して以下に説明するように、複数の側面に沿ってタイル張りされた複数のLFディスプレイモジュールを使用することである。
【0087】
図4Bは、1つ以上の実施形態による、多面シームレス表面環境におけるLFディスプレイシステム402の一部分の斜視図である。1つ以上のLFディスプレイモジュールのそれぞれは、そこからホログラフィックオブジェクトが投影される表示面を有する。LFディスプレイシステム402は、シームレスな表示面が、1つ以上のLFディスプレイモジュールの表示面を複数の壁、床、および天井にタイル張りされて、多面シームレス表面環境を作成することを除いて、LFディスプレイシステム400と実質的に同様である。より具体的には、LFディスプレイモジュールは、6面集合シームレス表面環境であるアレイを形成するようにタイル張りされている。いくつかの実施形態では、シームレスな表示面は、単一のLFディスプレイモジュールの表示面の表面積よりも大きくてもよい。図4Bでは、複数のLFディスプレイモジュールが、部屋のすべての壁、天井、および床を覆っている。他の実施形態では、複数のLFディスプレイモジュールは、壁、床、天井、またはそれらの何らかの組み合わせのすべてではないが、一部を覆い得る。他の実施形態では、複数のLFディスプレイモジュールがタイル張りされて、何らかの他の集合シームレス表面を形成する。例えば、壁は、円筒形の集合エネルギー環境が形成されるように湾曲され得る。
【0088】
LFディスプレイシステム402は、1つ以上のホログラフィックオブジェクトを投影することができる。例えば、例示的な実施形態では、LFディスプレイシステム402は、ホログラフィックオブジェクト420を、6面集合シームレス表面環境によって囲まれたエリアに投影する。この例では、LFディスプレイシステムのビューイングボリュームも、6面集合シームレス表面環境内に含まれる。例示的な構成では、視聴者434は、ホログラフィックオブジェクト420と、ホログラフィックオブジェクト420を形成するために使用されるエネルギー(例えば、光および/または圧力波)を投影しているLFディスプレイモジュール414との間に位置付けられ得ることに留意されたい。したがって、視聴者434の位置付けは、視聴者430が、LFディスプレイモジュール414からのエネルギーから形成されるホログラフィックオブジェクト420を知覚することを妨げる可能性がある。しかしながら、例示的な構成では、(例えば、視聴者434によって)遮られず、エネルギーを投影してホログラフィックオブジェクト420を形成し、視聴者430によって観察され得る、例えば、LFディスプレイモジュール416などの少なくとも1つの他のLFディスプレイモジュールが存在する。このように、空間内の視聴者による閉塞により、ホログラフィック投影の一部が見えなくなる可能性があるが、この影響は、ボリュームの一面にのみホログラフィックディスプレイパネルが存在する場合よりもはるかに小さい。ホログラフィックオブジェクト422は、ホログラフィックオブジェクトボリュームが集合表面の後ろに延在するため、6面集合シームレス表面環境の壁の「外側」に例示されている。したがって、視聴者430および/または視聴者434は、ホログラフィックオブジェクト422を、視聴者が全体にわたって移動することができる囲まれた6面環境の「外側」として知覚することができる。
【0089】
図4Aを参照して前述したように、いくつかの実施形態では、LFディスプレイシステム402は、視聴者の位置を能動的に追跡し、追跡された位置に基づいてホログラフィックコンテンツを提示するように、異なるLFディスプレイモジュールに動的に命令し得る。したがって、多面構成は、制約のない視聴者が、多面シームレス表面環境によって囲まれたエリア全体を自由に移動することができる、ホログラフィックオブジェクトを提供するための(例えば、図4Aと比べて)より堅牢な環境を提供することができる。
【0090】
特に、様々なLFディスプレイシステムが、異なる構成を有し得る。さらに、各構成は、全体でシームレスな表示面(「集合表面」)を形成する表面の特定の配向を有し得る。すなわち、LFディスプレイシステムのLFディスプレイモジュールは、タイル張りされて様々な集合表面を形成することができる。例えば、図4Bでは、LFディスプレイシステム402は、部屋の壁に近似する6面集合表面を形成するようにタイル張りされたLFディスプレイモジュールを含む。いくつかの他の例では、集合表面は、全表面(例えば、壁全体)ではなく、表面の一部(例えば、壁の半分)でのみ発生し得る。いくつかの例が本明細書に記載されている。
【0091】
いくつかの構成では、LFディスプレイシステムの集合表面は、局部的なビューイングボリュームに向けてエネルギーを投影するように構成された集合表面を含み得る。局部的なビューイングボリュームにエネルギーを投影することは、例えば、特定のビューイングボリューム内の投影エネルギーの密度を上げ、そのボリューム内の視聴者のFOVを広げ、ビューイングボリュームを表示面に近づけることにより、より高品質の視聴体験を可能にする。
【0092】
例えば、図4Cは、「ウィング型」構成の集合表面を有するLFディスプレイシステム450Aの上面図を示す。この例では、LFディスプレイシステム450Aは、前壁452、後壁454、第1の側壁456、第2の側壁458、天井(図示せず)、および床(図示せず)を有する部屋内に位置している。第1の側壁456、第2の側壁458、後壁454、床、および天井は、すべて直交している。LFディスプレイシステム450Aは、前壁を覆う集合表面460を形成するようにタイル張りされたLFディスプレイモジュールを含む。前壁452、したがって集合表面460は、3つの部分、すなわち、(i)後壁454とほぼ平行な第1の部分462(すなわち、中央表面)、(ii)第1の部分462を第1の側壁456に接続し、部屋の中心に向かってエネルギーを投影するように斜めに配置された第2の部分464(すなわち、第1の側表面)、および(iii)第1の部分462を第2の側壁458に接続し、部屋の中心に向かってエネルギーを投影するように斜めに配置された第3の部分466(すなわち、第2の側表面)を含む。第1の部分は部屋内の垂直平面であり、水平および垂直軸を有する。第2および第3の部分は、水平軸に沿って部屋の中心に向かって角度が付いている。
【0093】
この例では、LFディスプレイシステム450Aのビューイングボリューム468Aは、部屋の中央にあり、集合表面460の3つの部分によって部分的に囲まれている。視聴者を少なくとも部分的に囲む集合表面(「周囲表面」)は、視聴者の没入型体験を増大する。
【0094】
例示のために、例えば、中央表面のみを有する集合表面を考慮する。図2Aを参照すると、表示面のいずれかの端から投影される光線は、上記のように理想的なホログラフィックボリュームおよび理想的なビューイングボリュームを作成する。ここで、例えば、中央表面が、視聴者に向かって角度の付いた2つの側表面を含んだ場合を考慮する。この場合、光線256および光線257は、中央表面の法線からより大きな角度で投影されるであろう。したがって、ビューイングボリュームの視野が拡大するであろう。同様に、ホログラフィックビューイングボリュームは、表示面により近くなるであろう。追加的に、第2および第3の2つの部分がビューイングボリュームのより近くで傾斜しているため、表示面から一定の距離で投影されるホログラフィックオブジェクトは、そのビューイングボリュームにより近い。
【0095】
簡単に言えば、中央表面のみを有する表示面は、平面視野、(中央の)表示面とビューイングボリュームとの間の平面閾値分離、およびホログラフィックオブジェクトとビューイングボリュームとの間の平面近接度を有する。視聴者に向かって角度の付いた1つ以上の側表面を追加すると、平面視野に対して視野が拡大し、表示面とビューイングボリュームとの間の分離が平面分離に対して減少し、表示面とホログラフィックオブジェクトとの間の近接度が、平面近接度に対して増大する。側表面を視聴者に向けてさらに角度を付けると、さらに視野が拡大し、分離が減少し、近接度が増大する。言い換えれば、側表面の角度の付いた配置は、視聴者の没入型体験を増大する。
【0096】
図4Dに戻ると、同様の例では、図4Dは、「スロープ」構成の集合表面を有するLFディスプレイシステム450Bの上面図を示す。この例では、LFディスプレイシステム450Bは、前壁452、後壁454、第1の側壁(図示せず)、第2の側壁(図示せず)、天井472、および床474を有する部屋内に位置している。第1の側壁、第2の側壁、後壁454、床474、および天井472は、すべて直交している。LFディスプレイシステム450Bは、前壁を覆う集合表面460を形成するようにタイル張りされたLFディスプレイモジュールを含む。前壁452、したがって集合表面460は、3つの部分、すなわち、(i)後壁454とほぼ平行な第1の部分462(すなわち、中央表面)、(ii)第1の部分462を天井472に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第2の部分464(すなわち、第1の側表面)、および(iii)第1の部分462を床474に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第3の部分464(すなわち、第2の側表面)を含む。第1の部分は部屋内の垂直平面であり、水平および垂直軸を有する。第2および第3の部分は、垂直軸に沿って部屋の中心に向かって角度が付いている。
【0097】
この例では、LFディスプレイシステム450Bのビューイングボリューム468Bは、部屋の中央にあり、集合表面460の3つの部分によって部分的に囲まれている。図4Cに示される構成と同様に、2つの側面部分(例えば、第2の部分464および第3の部分466)は、視聴者を囲んで、周囲表面を形成するように角度が付いている。周囲表面は、ホログラフィックビューイングボリューム468B内の任意の視聴者の視点からのビューイングFOVを拡大する。追加的に、周囲表面は、投影されたオブジェクトがより近くに見えるように、ビューイングボリューム468Bがディスプレイの表面により近くなることを可能にする。言い換えれば、側表面の角度の付いた配置は、視野を拡大し、分離を減少させ、集合表面の近接度を増大させ、それによって、視聴者の没入型体験を増大する。さらに、以下で考察するように、偏向光学系を使用して、ビューイングボリューム468Bのサイズおよび位置を最適化することができる。
【0098】
集合表面460の側面部分の傾斜構成は、第3の部分466が傾斜していない場合よりも、ホログラフィックコンテンツがビューイングボリューム468Bにより近く提示されることを可能にする。例えば、キャラクタが提示された形態の下肢(脚など)、傾斜構成のLFディスプレイシステムは、平坦な前壁を有するLFディスプレイシステムが使用された場合よりも近く、かつより現実的に思われる可能性がある。
【0099】
追加的に、LFディスプレイシステムの構成およびそれが位置している環境により、ビューイングボリュームおよびビューイングサブボリュームの形状および位置を知ることができる。
【0100】
図4Eは、例えば、部屋の前壁452上に集合表面460を有するLFディスプレイシステム450Cの上面図を例示する。この例では、LFディスプレイシステム450Cは、前壁452、後壁454、第1の側壁456、第2の側壁458、天井(図示せず)、および床(図示せず)を有する部屋内に位置している。
【0101】
LFディスプレイシステム450Cは、集合表面460から様々な光線を投影する。表示面の各位置から、ビューイングボリュームを中心とした角度範囲で、光線が投影される。集合表面460の左側から投影される光線は水平角度範囲481を有し、集合表面の右側から投影される光線は水平角度範囲482を有し、集合表面460の中心から投影される光線は水平角度範囲483を有する。このように、表示面の全体で投影光線に傾斜した偏向角(gradient deflection angle)を有することにより、ビューイングボリューム468Cが作成される。さらに、この構成は、側壁456および458に光線を投影する際のディスプレイの解像度の無駄を回避する。
【0102】
図4Fは、部屋の前壁452上に集合表面460を有するLFディスプレイシステム450Dの側面図を例示する。この例では、LFディスプレイシステム450Dは、前壁452、後壁454、第1の側壁(図示せず)、第2の側壁(図示せず)、天井472、および床474を有する部屋内に位置している。この例では、床は、前壁から後壁に移動するにつれて各段が階段状に高くなるように、段になっている。ここで、床の各段は、ビューイングサブボリューム(例えば、表示サブボリューム470Aおよび470B)を含む。段状の床は、重複しないビューイングサブボリュームを可能にする。すなわち、各ビューイングサブボリュームは、別のビューイングサブボリュームを通過しない、ビューイングサブボリュームから集合表面460までの視線を有する。言い換えると、この配向は、段間の垂直オフセットにより、各段が、他の段のビューイングサブボリューム「見渡す」ことが可能になる「スタジアムシーティング」効果をもたらす。重なり合わないビューイングサブボリュームを含むLFディスプレイシステムは、重なり合うビューイングボリュームを有するLFディスプレイシステムよりも高品質の視聴体験を提供することができる。例えば、図4Fに示される構成では、異なるホログラフィックコンテンツが、ビューイングサブボリューム470Aおよび470B内の聴衆に投影され得る。
LFディスプレイシステムの制御
【0103】
図5Aは、1つ以上の実施形態による、LFディスプレイシステム500のブロック図である。LFディスプレイシステム500は、LFディスプレイアセンブリ510およびコントローラ520を備える。LFディスプレイアセンブリ510は、ライトフィールドを投影する1つ以上のLFディスプレイモジュール512を含む。LFディスプレイモジュール512は、他のタイプのエネルギーを投影および/または感知する統合されたエネルギー源および/またはエネルギーセンサを含むソース/センサシステム514を含み得る。コントローラ520は、データストア522、ネットワークインターフェース524、およびLF処理エンジン530を含む。コントローラ520はまた、追跡モジュール526、および視聴者プロファイリングモジュール528を含み得る。いくつかの実施形態では、LFディスプレイシステム500はまた、感覚フィードバックシステム540および追跡システム550を含む。図1図2A図2B図3A図3B、および図4A図4Fの文脈の中で説明されるLFディスプレイシステムは、LFディスプレイシステム500の実施形態である。他の実施形態では、LFディスプレイシステム500は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および/または異なるエンティティ間で分散され得る。LFディスプレイシステム500の用途についても、図6図7に関して以下で詳細に考察する。
【0104】
LFディスプレイアセンブリ510は、ビューイングボリューム内に位置する視聴者に見え得るホログラフィックオブジェクトボリューム内にホログラフィックコンテンツを提供する。LFディスプレイアセンブリ510は、コントローラ520から受信された表示命令を実行することによって、ホログラフィックコンテンツを提供することができる。ホログラフィックコンテンツは、集合表面の前、LFディスプレイアセンブリ510、LFディスプレイアセンブリ510の集合表面の後ろ、またはそれらの何らかの組み合わせに投影される1つ以上のホログラフィックオブジェクトを含み得る。コントローラ520を用いた表示命令の生成について、以下でより詳細に説明する。
【0105】
LFディスプレイアセンブリ510は、LFディスプレイアセンブリ510に含まれる1つ以上のLFディスプレイモジュール(例えば、LFディスプレイモジュール110、LFディスプレイモジュール210、LFディスプレイモジュール300A、およびLFディスプレイモジュール300Bのいずれか)を使用してホログラフィックコンテンツを提供する。便宜上、1つ以上のLFディスプレイモジュールは、本明細書ではLFディスプレイモジュール512として説明されることがある。LFディスプレイモジュール512は、タイル張りされて、LFディスプレイアセンブリ510を形成することができる。LFディスプレイモジュール512は、様々なシームレス表面環境(例えば、単一面、多面、看板、曲面など)として構造化され得る。つまり、タイル張りされたLFディスプレイモジュールが集合表面を形成する。前述のように、LFディスプレイモジュール512は、ホログラフィックコンテンツを提示する、エネルギーデバイス層(例えば、エネルギーデバイス層220)およびエネルギー導波路層(例えば、エネルギー導波路層240)を含む。LFディスプレイモジュール512はまた、ホログラフィックコンテンツを提示するときに、エネルギーデバイス層とエネルギー導波路層との間でエネルギーを転送するエネルギーリレー層(例えば、エネルギーリレー層230)を含み得る。
【0106】
いくつかの実施形態では、LFディスプレイシステム500は、ハードウェア構成に基づいてホログラフィックコンテンツを提供する。ハードウェア構成は、ホログラフィックコンテンツの表示に影響を与えるLFディスプレイシステム500の物理的構成要素の構成である。物理的構成要素は、LFディスプレイモジュール512、感覚フィードバックデバイス(例えば、音響投影デバイス、力作動デバイス、圧力センサなど)、および追跡システムデバイス(例えば、エネルギーセンサ、カメラ、深度センサなど)を含み得る。一実施形態では、ハードウェア構成は、LFディスプレイシステム500のための、LFディスプレイモジュール、感覚フィードバックデバイス、および追跡システムデバイスの配置を含み得る。他の実施形態では、ハードウェア構成は、LFディスプレイモジュールの設計を含み得る。LFディスプレイモジュールの設計上の考慮事項には、解像度(すなわち、提示されたホログラフィックコンテンツの詳細レベル)、1度当たりの投影光線数(すなわち、角度解像度と投影距離を決定する光線の密度)、視野(すなわち、ビューイングボリュームの空いている観察可能領域)、表示面の偏向角(すなわち、投影された光線が表示面の法線となす角度)、表示面の次元(すなわち、ディスプレイパネルの高さと幅)、ホログラフィックコンテンツの表示に影響を与えるその他のLFディスプレイモジュールの設計上の考慮事項、またはそれらの組み合わせ、を含み得る。
【0107】
LFディスプレイモジュール512はまた、前述のように、エネルギー投影および/またはエネルギー感知のために構成されている他の統合システムを含み得る。例えば、ライトフィールドディスプレイモジュール512は、エネルギーを投影および/または感知するように構成されている任意の数のエネルギーデバイス(例えば、エネルギーデバイス340)を含み得る。便宜上、LFディスプレイモジュール512の統合エネルギー投影システムおよび統合エネルギー感知システムは、本明細書では、総称してソース/センサシステム514として説明されることがある。ソース/センサシステム514は、ソース/センサシステム514が、LFディスプレイモジュール512と同じシームレスなエネルギー面を共有するように、LFディスプレイモジュール512内に統合されている。言い換えれば、LFディスプレイアセンブリ510の集合表面は、LFディスプレイモジュール512およびソース/センサモジュール514の両方の機能を含む。すなわち、ソース/センサシステム514を有するLFディスプレイモジュール512を含むLFディスプレイアセンブリ510は、ライトフィールドを投影しながら、同時にエネルギーを投影し、および/またはエネルギーを感知し得る。例えば、LFディスプレイアセンブリ510は、LFディスプレイモジュール512と、前述のようにデュアルエネルギー面または双方向エネルギー面として構成されたソース/センサシステム514とを含み得る。
【0108】
いくつかの実施形態では、LFディスプレイシステム500は、感覚フィードバックシステム540を使用して、生成されたホログラフィックコンテンツを他の感覚コンテンツ(例えば、協調的な触覚、音声または匂いなど)で拡張する。感覚フィードバックシステム540は、コントローラ520から受信された表示命令を実行することによって、ホログラフィックコンテンツの投影を拡張し得る。感覚フィードバックシステム540は、1つ以上の感覚フィードバックデバイスを備えてもよく、ホログラフィックオブジェクトと同時に感覚フィードバックを提供するように構成され得る。全般的に、感覚フィードバックシステム540は、LFディスプレイアセンブリ510の外部の任意の数の感覚フィードバックデバイス(例えば、感覚フィードバックシステム442)を含む。いくつかの例示的な感覚フィードバックデバイスは、協調音響投影デバイス、受信デバイス、触覚フィードバック、芳香フィードバック、温度フィードバック、力作動デバイス、圧力センサ、トランスデューサなどを含み得る。場合によっては、感覚フィードバックシステム540は、LFディスプレイアセンブリ510と同様の機能を有し得、逆もまた然りである。例えば、感覚フィードバックシステム540およびLFディスプレイアセンブリ510の両方は、サウンドフィールドを生成するように構成され得る。別の例として、感覚フィードバックシステム540は、触覚表面を生成するように構成され得る一方、LFディスプレイアセンブ510リはそうではない。
【0109】
例示のために、LFディスプレイシステム500の例示的な一実施形態では、感覚フィードバックシステム540は、1つ以上の音響投影デバイスを含み得る。1つ以上の音響投影デバイスは、コントローラ520から受信された表示命令を実行するときに、ホログラフィックコンテンツを補完する1つ以上の圧力波を生成するように構成される。生成される圧力波は、例えば、可聴(音の場合)、超音波(タッチの場合)、またはそれらの何らかの組み合わせであってもよい。同様に、感覚フィードバックシステム540は、芳香投影デバイスを含み得る。投影デバイスは、コントローラから受信した表示命令を実行する際に、対象エリアの一部またはすべてに香りを与えるように構成することができる。芳香デバイスは、標的エリア内の気流を調整するように、空気循環システム(例えば、ダクト、ファン、通気口など)内に結び付けられ得る。さらに、感覚フィードバックシステム540は、温度調整デバイスを含み得る。温度調整デバイスは、コントローラ520から受信された表示命令を実行するときに、標的エリアの一部もしくはすべての温度を上げるか、または下げるように構成されている。
【0110】
いくつかの実施形態では、感覚フィードバックシステム540は、LFディスプレイシステム500の視聴者からの入力を受信するように構成される。この場合、感覚フィードバックシステム540は、視聴者からの入力を受信するための様々な感覚フィードバックデバイスを含む。センサフィードバックデバイスとしては、音響受信デバイス(例えば、マイクロフォン)、圧力センサ、ジョイスティック、動作検出器、トランスデューサなどのデバイスを挙げることができる。感覚フィードバックシステムは、ホログラフィックコンテンツおよび/または感覚フィードバックの生成を調整するために、検出された入力をコントローラ520に送信することができる。
【0111】
例示のために、LFディスプレイアセンブリの例示的な一実施形態では、感覚フィードバックシステム540は、マイクロフォンを含む。マイクロフォンは、1人以上の視聴者によって生成された音声を録音するように構成されている(例えば、音声コマンド、ホログラフィックコンテンツの表示に対する音声応答など)。感覚フィードバックシステム540は、記録された音声を、視聴者入力としてコントローラ520に提供する。コントローラ520は、視聴者入力を使用して、ホログラフィックコンテンツを生成することができる。同様に、感覚フィードバックシステム540は、圧力センサを含み得る。圧力センサは、視聴者によって圧力センサに加えられた力を測定するように構成される。感覚フィードバックシステム540は、測定された力を、視聴者入力としてコントローラ520に提供し得る。
【0112】
いくつかの実施形態では、LFディスプレイシステム500は、追跡システム550を含む。追跡システム550は、LFディスプレイシステム500のビューイングボリューム内の視聴者の動きを追跡し、ホログラフィックコンテンツに対する視聴者の応答を監視し、LFディスプレイシステム500のビューイングボリューム内の視聴者の特徴を決定するように構成された任意の数の追跡デバイスを含む。一般に、追跡デバイスは、LFディスプレイアセンブリ510の外部にある。いくつかの例示的な追跡デバイスとしては、カメラアセンブリ(「カメラ」)、深度センサ、構造化光、LIDARシステム、カードスキャンシステム、または標的領域内の視聴者を追跡することができる他の追跡デバイスが挙げられる。
【0113】
追跡システム550は、標的領域の一部またはすべてを光で照らす1つ以上のエネルギー源を含み得る。しかしながら、場合によっては、ホログラフィックコンテンツを提示するときに、標的エリアは、自然光および/またはLFディスプレイアセンブリ510からの周囲光で照らされる。エネルギー源は、コントローラ520から受信された命令を実行するときに、光を投影する。光は、例えば、構造化光パターン、光のパルス(例えば、IRフラッシュ)、またはそれらの何らかの組み合わせであり得る。追跡システムは、可視帯域(約380nm~750nm)内、赤外線(IR)帯域(約750nm~1700nm)内、紫外線帯域(10nm~380nm)内、電磁スペクトルの何らかの他の部分、またはそれらの何らかの組み合わせの光を投影することができる。ソースとしては、例えば、発光ダイオード(LED)、マイクロLED、レーザーダイオード、TOF深度センサ、波長可変レーザーなどを挙げることができる。
【0114】
追跡システム550は、コントローラ520から受信された命令を実行するときに、1つ以上の放出パラメータを調整することができる。放出パラメータは、追跡システム550のソースから光が投影される方法に影響を与えるパラメータである。放出パラメータとしては、例えば、明るさ、パルスレート(連続照明を含む)、波長、パルス長、ソースアセンブリから光が投影される方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。一実施形態では、ソースは、飛行時間動作で光のパルスを投影する。
【0115】
追跡システム550は、1つ以上のLFディスプレイモジュール512の前の領域の画像をキャプチャするように構成されている、1つ以上のカメラを含み得る。追跡システム550のカメラは、標的領域から反射された光(例えば、構造化光パターン)の画像をキャプチャする。カメラは、コントローラ520から受信された追跡命令を実行するときに、画像をキャプチャする。前述のように、光は、追跡システム550のソースによって投影され得る。カメラは、1つ以上のカメラを含み得る。すなわち、カメラは、例えば、フォトダイオードのアレイ(1Dまたは2D)、CCDセンサ、CMOSセンサ、追跡システム550によって投影される光の一部またはすべてを検出する何らかの他のデバイス、またはそれらの何らかの組み合わせであってもよい。一実施形態では、追跡システム550は、LFディスプレイアセンブリ510の外部の1つ以上のカメラを含み得る。他の実施形態では、カメラは、LFディスプレイアセンブリ510に含まれるLFディスプレイソース/センサモジュール514の一部として含まれる。例えば、前述のように、ライトフィールドモジュール512のエネルギーリレー要素が、エネルギーデバイス層220で発光ディスプレイおよび画像センサの両方をインターリーブする双方向エネルギー層である場合、LFディスプレイアセンブリ510は、同時に、ライトフィールドを投影し、ディスプレイの前の視聴領域からの画像情報を記録するように構成され得る。一実施形態では、双方向エネルギー面からキャプチャされた画像は、ライトフィールドカメラを形成する。カメラは、キャプチャされた画像をコントローラ520に提供する。
【0116】
追跡システム550のカメラは、コントローラ520から受信された追跡命令を実行するときに、1つ以上の撮像パラメータを調整することができる。撮像パラメータは、カメラが画像をキャプチャする方法に影響を与えるパラメータである。撮像パラメータとしては、例えば、フレームレート、アパーチャ、ゲイン、露光長さ、フレームタイミング、ローリングシャッターもしくはグローバルシャッターのキャプチャモード、カメラが画像をキャプチャする方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。
【0117】
追跡システム550は、1つ以上のLFディスプレイモジュール512の前にある物体の深さを検出するように構成された、1つ以上の深度センサを備え得る。深度センサは、ビューイングボリューム内の視聴者の位置を追跡し得る。
【0118】
コントローラ520は、LFディスプレイアセンブリ510と、LFディスプレイシステム500の任意の他の構成要素と、を制御する。コントローラ520は、データストア522、ネットワークインターフェース524、追跡モジュール526、視聴者プロファイリングモジュール528、およびLF処理エンジン530を備える。他の実施形態では、コントローラ520は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および/または異なるエンティティ間で分散され得る。例えば、追跡モジュール526は、LFディスプレイアセンブリ510または追跡システム550の一部であり得る。
【0119】
データストア522は、LFディスプレイシステム500の情報を記憶するメモリである。記憶される情報としては、表示命令、追跡命令、放出パラメータ、撮像パラメータ、標的エリアの仮想モデル、追跡情報、カメラによってキャプチャされた画像、1人以上の視聴者プロファイル、LFディスプレイアセンブリ510の較正データ、LFモジュール512の解像度および配向を含むLFディスプレイシステム510の構成データ、所望のビューイングボリューム形状、3Dモデル、シーンおよび環境、材料およびテクスチャを含むグラフィックス作成のためのコンテンツ、LFディスプレイシステム500によって使用され得る他の情報、またはそれらの何らかの組み合わせを挙げることができる。データストア522は、読み取り専用メモリ(ROM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、またはそれらの何らかの組み合わせなどのメモリである。
【0120】
ネットワークインターフェース524は、LFディスプレイシステムがネットワークを介して他のシステムまたは環境と通信することを可能にする。一例では、LFディスプレイシステム500は、ネットワークインターフェース524を介して、リモートのLFディスプレイシステムからホログラフィックコンテンツを受信する。別の例では、LFディスプレイシステム500は、ネットワークインターフェース524を使用して、ホログラフィックコンテンツをリモートのデータストアに送信する。
【0121】
追跡モジュール526は、LFディスプレイシステム500によって提示されたコンテンツを視聴している視聴者を追跡する。そうするために、追跡モジュール526は、追跡システム550のソースおよび/またはカメラの動作を制御する追跡命令を生成し、追跡命令を追跡システム550に提供する。追跡システム550は、追跡命令を実行し、追跡モジュール526に追跡入力を提供する。
【0122】
追跡モジュール526は、標的領域内の1人以上の視聴者の位置を決定することができる。決定された位置は、例えば、何らかの基準点(例えば、表示面)に対するものであり得る。他の実施形態では、決定された位置は、標的エリアの仮想モデル内にあり得る。追跡された位置は、例えば、視聴者の追跡された位置および/または視聴者の一部の追跡された位置(例えば、目の場所、手の場所など)であり得る。追跡モジュール526は、追跡システム550のカメラからキャプチャされた1つ以上の画像を使用して、位置を決定する。追跡システム550のカメラは、LFディスプレイシステム500の周りに分配され得、画像を立体でキャプチャすることができ、追跡モジュール526が視聴者を受動的に追跡することを可能にする。他の実施形態では、追跡モジュール526は、視聴者を能動的に追跡する。すなわち、追跡システム550は、標的領域のある部分を照らし、標的領域を画像化(すなわち、1つ以上のLFディスプレイモジュール512の前の領域からライトフィールドをキャプチャ)し、追跡モジュール526は、時間を使用する。位置を決定するための飛行中および/または構造化光深度決定技術。追跡モジュール526は、決定された位置を使用して、追跡情報を生成する。
【0123】
追跡モジュール526はまた、LFディスプレイシステム500の視聴者からの入力として、追跡情報を受信することができる。一実施形態では、LFディスプレイアセンブリ510は、1つ以上のLFディスプレイモジュール512の前の領域からキャプチャされたライトフィールドに基づいて入力を受信し得る。追跡情報は、視聴者がLFディスプレイシステム500によって提供される様々な入力オプションに対応する身体の動きを含み得る。例えば、追跡モジュール526は、視聴者の身体の動きを追跡し、任意の様々な動きを、入力として、LF処理エンジン530に割り当てることができる。追跡モジュール526は、追跡情報を、データストア522、ネットワークインターフェース524、LF処理エンジン530、視聴者プロファイリングモジュール528、LFディスプレイシステム500の任意の他の構成要素、またはそれらの何らかの組み合わせに提供することができる。
【0124】
追跡モジュール526のための状況を提供するために、ホログラフィック商品を視聴者に提示するLFディスプレイシステム500の例示的な一実施形態を考慮する。特定のホログラフィック商品を表示することに応答して、視聴者は、様々な入力に割り当てられ得る手および/または腕の動きで応答し得る。追跡システム550は、視聴者の手のおよび/または腕の動きを記録し得、その記録を追跡モジュール526に送信し得る。追跡モジュール526は、記録での視聴者の手および/または腕の動きを追跡し、入力をLF処理エンジン530に送信する。以下に説明するように、視聴者プロファイリングモジュール528は、視聴者の手の動きが、例えば商品を購入するための入力に関連付けられていることを画像内の情報が示していると決定する。したがって、LF処理エンジン530は、商品の購入を確認するために適切なホログラフィックコンテンツを生成する。
【0125】
LFディスプレイシステム500は、視聴者を識別し、かつプロファイリングするように構成された視聴者プロファイリングモジュール528を含む。視聴者プロファイリングモジュール528は、LFディスプレイシステム500によって表示されたホログラフィックコンテンツを見る1人または複数の視聴者のプロファイルを生成する。視聴者プロファイリングモジュール528は、視聴者の入力、視聴者の特徴、および監視された視聴者の行動、動作、ならびに反応に部分的に基づいて、視聴者プロファイルを生成する。視聴者プロファイリングモジュール528は、追跡システム550から取得された情報(例えば、記録された画像、ビデオ、音声など)にアクセスし、その情報を処理して、様々な情報を決定することができる。様々な例において、視聴者プロファイリングモジュール528は、任意の数のマシンビジョンまたは機械聴覚アルゴリズムを使用して、視聴者の行動、動作、および反応を決定することができる。監視される視聴者の動作には、例えば、笑顔、顔をしかめる、歓声、拍手、笑い、興奮レベル、他の表情、ジェスチャ、または視聴者による動きなどの変化が含まれ得る。
【0126】
より一般的には、視聴者プロファイルは、LFディスプレイシステムからのホログラフィックコンテンツを見ている視聴者に関して受信および/または決定された任意の情報を含み得る。例えば、各視聴者プロファイルは、LFディスプレイシステム500によって表示されたコンテンツに対するその視聴者の動作または応答を記録することができる。視聴者プロファイルに含まれ得るいくつかの例示的な情報が、以下に提供される。
【0127】
いくつかの実施形態では、視聴者プロファイルは、表示されたホログラフィック商品、表示されたホログラフィックコンテンツオブジェクトなどに関する視聴者の応答を説明し得る。例えば、視聴者プロファイルは、視聴者が、花柄の衣料品(ホログラフィックによって提示された)に肯定的な応答を全般的に有することを示し得る。
【0128】
いくつかの実施形態では、視聴者プロファイルは、例えば、医師の待合室で、例えば、LFディスプレイシステム500で放送されるニュースに関する情報を視聴する視聴者の特徴を示すことができる。LFディスプレイシステム500は、視聴者に対応する視聴者プロファイルの特徴に応じて、ホログラフィックコンテンツの提示を更新するようにさらに構成される。この同じ例では、待合室の視聴者は、大学のロゴが表示されたスウェットシャツを着用している。この場合、視聴者プロファイルは、視聴者が、スウェットシャツを着用していて、スウェットシャツにそのロゴがある大学に関連付けられたホログラフィックコンテンツを好む可能性があることを示し得、例えば、その大学のキャンパスでの今後開催されるイベントに関連するホログラフィックコンテンツ、その大学の地理的位置の天気予報、その大学のスポーツチームの最近のスポーツスコアなどがある。より広義には、視聴者プロファイルに表示できる視聴者の特徴は、年齢、性別、民族、衣服、視聴場所などが含まれ得る。
【0129】
いくつかの実施形態では、視聴者プロファイルは、望ましいホログラフィックコンテンツに関して視聴者の好みを示すことができる。例えば、視聴者プロファイルは、視聴者が、家族の一人ひとりの年齢に適切なホログラフィックコンテンツのみを見たがることを示す場合がある。別の例では、視聴者プロファイルは、ホログラフィックコンテンツを表示すべきホログラフィックオブジェクトボリューム(例えば、壁の上)およびホログラフィックコンテンツを表示すべきでないホログラフィックオブジェクトボリューム(例えば、視聴者の頭上)を示し得る。視聴者プロファイルはまた、視聴者が触覚インターフェースを自分たちの近くに提示させたがること、または触覚インターフェースを避けたがることを示し得る。
【0130】
別の例では、視聴者プロファイルは、特定の視聴者について視聴されたホログラフィック商品の履歴を示す。例えば、視聴者プロファイリングモジュール528は、視聴者が以前に、ホログラフィックによって表示された机を視聴したと決定する。そのようなものとして、LFディスプレイシステム500は、視聴者もまた高く評価することができる別の同様の机、または以前に見た机に適する可能性のあるオフィス椅子を表示することができる。
【0131】
いくつかの実施形態では、視聴者プロファイルはまた、特定の視聴者ではなく、視聴者のグループの特徴および好みを示し得る。例えば、視聴者プロファイリングモジュール528は、家に実装されたLFディスプレイシステム500によって家族のための視聴者プロファイルを生成し得る。一例では、視聴者プロファイリングモジュール528は、家族の集合的利益を説明する特徴により家族のために視聴者プロファイルを作成する。プロファイルは、様々な関心を持ち得る家族のメンバーの割合をさらに分類し得る。
【0132】
視聴者プロファイリングモジュール528は、特定の1人または複数の視聴者に関連付けられたプロファイルに、1つまたは複数のサードパーティシステムからアクセスして、視聴者プロファイルを構築することもできる。例えば、視聴者は、その視聴者のソーシャルメディアアカウントにリンクされたサードパーティベンダーを使用して、商品を購入する。したがって、視聴者の購入は視聴者のソーシャルメディアアカウントにリンクされている。視聴者がLFディスプレイシステム500を実装している小売店舗に入ると、視聴者プロファイリングモジュール528は、視聴者のソーシャルメディアアカウントからの情報にアクセスして、視聴者プロファイルを構築する(または拡張する)ことができる。
【0133】
いくつかの実施形態では、データストア522は、視聴者プロファイリングモジュール528によって生成、更新、および/または維持された視聴者プロファイルを記憶する視聴者プロファイルストアを含む。視聴者プロファイルは、視聴者プロファイリングモジュール528によって、いつでもデータストア内で更新され得る。例えば、一実施形態では、視聴者プロファイルストアは、特定の視聴者が、LFディスプレイシステム500によって提供されたホログラフィックコンテンツを見るときに、その特定の視聴者に関する情報を受信し、その視聴者の視聴者プロファイルに記憶する。この例では、視聴者プロファイリングモジュール528は、視聴者を認識し、視聴者が提示されたホログラフィックコンテンツを見るときに視聴者を確実に識別することができる顔認識アルゴリズムを含む。例示のために、視聴者がLFディスプレイシステム500の標的領域に入ると、追跡システム550が、視聴者の画像を取得する。視聴者プロファイリングモジュール528は、キャプチャされた画像を入力し、顔認識アルゴリズムを使用して視聴者の顔を識別する。識別された顔は、プロファイルストア内の視聴者プロファイルに関連付けられ、そのため、その視聴者に関して取得されたすべての入力情報が、その視聴者のプロファイルに記憶され得る。視聴者プロファイリングモジュールはまた、カード識別スキャナ、音声識別子、無線周波数識別(RFID)チップスキャナ、バーコードスキャナなどを利用して、視聴者を確実に識別することができる。
【0134】
視聴者プロファイリングモジュール528が視聴者を確実に識別できる実施形態では、視聴者プロファイリングモジュール528は、LFディスプレイシステム500への各視聴者の各訪問を決定することができる。次に、視聴者プロファイリングモジュール528は、各訪問の日時を各視聴者の視聴者プロファイルに記憶することができる。同様に、視聴者プロファイリングモジュール528は、感覚フィードバックシステム540、追跡システム550、および/またはLFディスプレイアセンブリ510の任意の組み合わせから受信された、視聴者からの入力を、入力が発生するたびに記憶することができる。視聴者プロファイリングモジュール528は、コントローラ520の他のモジュールまたは構成要素から視聴者に関するさらなる情報を追加的に受信することができ、この情報は、視聴者プロファイルとともに記憶され得る。次に、コントローラ520の他の構成要素も、その視聴者に提供される後のコンテンツを決定するために、記憶された視聴者プロファイルにアクセスすることができる。
【0135】
LF処理エンジン530は、ライトフィールドデータ、ならびにLFディスプレイシステム500によってサポートされるすべての感覚領域のデータからなるホログラフィックコンテンツを生成する。例えば、LF処理エンジン530は、LFディスプレイアセンブリ510によって実行されると、LFディスプレイアセンブリ510にホログラフィックコンテンツを提示させる、ラスタライズ化されたフォーマットの4D座標(「ラスタライズ化されたデータ」)を生成することができる。LF処理エンジン530は、データストア522からラスタライズ化されたデータにアクセスすることができる。さらに、LF処理エンジン530は、ベクトル化されたデータセットからラスタライズされたデータを構築することができる。ベクトル化されたデータを以下に説明する。LF処理エンジン530はまた、ホログラフィックオブジェクトを拡張する感覚コンテンツを提供するために必要な感覚命令を生成することができる。上記のように、感覚命令は、LFディスプレイシステム500によって実行されると、触覚表面、サウンドフィールド、およびLFディスプレイシステム500によってサポートされる他の形態の感覚エネルギーを生成することができる。LFデータ処理エンジン530は、データストア522から感覚命令にアクセスする、または、感覚命令を構築して、ベクトル化されたデータセットを形成することができる。全体として、4D座標および感覚データは、ホログラフィックおよび感覚コンテンツを生成するためにLFディスプレイシステムによって実行可能な表示命令として、ホログラフィックコンテンツを表す。より一般的には、ホログラフィックコンテンツは、理想的なライトフィールド座標を有するCGコンテンツ、ライブアクションコンテンツ、ラスタライズ化されたデータ、ベクトル化データ、リレーのセットによって輸送される電磁エネルギー、エネルギーデバイスのグループに送信される命令、1つ以上のエネルギー面上のエネルギー位置、表示面から投影されるエネルギー伝搬経路のセット、視聴者または聴衆に見えるホログラフィックオブジェクトの形態、および多くの他の同様の形態を採ることができる。
【0136】
LFディスプレイシステム500内の様々なエネルギー源を通るエネルギーの流れを説明するラスタライズされたデータの量は、信じられないほど大量である。データストア522からアクセスされる場合、ラスタライズされたデータをLFディスプレイシステム500に表示することは可能であるが、(例えば、ネットワークインターフェース524を介して)効率的に送信し、受信し、その後、ラスタライズされたデータをLFディスプレイシステム500に表示することは不可能である。例えば、LFディスプレイシステム500によるホログラフィック投影用の短いフィルムを表すラスタライズされたデータを取り上げる。この例では、LFディスプレイシステム500は、数ギガピクセルを含むディスプレイを含み、ラスタライズされたデータは、ディスプレイ上の各ピクセル場所の情報を含む。ラスタライズされたデータの対応するサイズは膨大であり(例えば、フィルム表示時間の毎秒多ギガバイト)、ネットワークインターフェース524を介した商用ネットワーク上での効率的な転送には管理できない。効率的な転送の問題は、ホログラフィックコンテンツのライブストリーミングを含むアプリケーションで増幅される可能性がある。感覚フィードバックシステム540または追跡モジュール526からの入力を使用してインタラクティブな体験が望まれる場合、単にラスタライズされたデータをデータストア522に記憶することに関する追加の問題が生じる。インタラクティブな体験を可能にするために、LF処理エンジン530によって生成されたライトフィールドコンテンツは、感覚または追跡入力に応答してリアルタイムで修正され得る。言い換えれば、場合によっては、LFコンテンツは、データストア522から単純に読み取ることができない。
【0137】
したがって、いくつかの構成では、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを表すデータは、ベクトル化されたデータフォーマット(「ベクトル化されたデータ」)でLF処理エンジン530に転送され得る。ベクトル化されたデータは、ラスタライズされたデータよりも桁違いに小さい場合がある。さらに、ベクトル化されたデータは、データの効率的な共有を可能にするデータセットサイズを有しながら、高い画質を提供する。例えば、ベクトル化されたデータは、より密度の高いデータセットから派生した疎なデータセットである可能性がある。したがって、ベクトル化されたデータは、密度の高いラスタライズされたデータから疎なベクトル化されたデータがどのようにサンプリングされるかに基づいて、画質とデータ送信サイズとの間の調整可能なバランスを有する可能性がある。ベクトル化されたデータを生成するための調整可能なサンプリングにより、特定のネットワーク速度での画質の最適化が可能になる。結果として、ベクトル化されたデータは、ネットワークインターフェース524を介したホログラフィックコンテンツの効率的な送信を可能にする。ベクトル化されたデータにより、ホログラフィックコンテンツを商用ネットワーク経由でライブストリーミングすることもできる。
【0138】
いくつかの実施形態では、LFディスプレイシステム500は、ネットワークを介して符号化されたフォーマットでホログラフィックコンテンツを受信するように構成され得、さらに、ホログラフィックコンテンツを視聴者に提示するためのフォーマットに復号するように構成され得る。いくつかの実施形態では、符号化されたフォーマットはベクトル化されたフォーマットであり得、復号されたフォーマットはラスタライズされたフォーマットであり得る。要約すると、LF処理エンジン530は、データストア522からアクセスされるラスタライズされたデータ、データストア522からアクセスされるベクトル化されたデータ、またはネットワークインターフェース524を介して受信されるベクトル化されたデータから導出されたホログラフィックコンテンツを生成することができる。様々な構成において、ベクトル化されたデータは、データ送信の前に符号化され、LFコントローラ520による受信の後に復号され得る。いくつかの例では、ベクトル化されたデータは、データ圧縮に関連する追加のデータセキュリティおよびパフォーマンスの向上のために符号化される。例えば、ネットワークインターフェースによって受信されたベクトル化されたデータは、ホログラフィックストリーミングアプリケーションから受信された符号化され、ベクトル化されたデータであり得る。いくつかの例では、ベクトル化されたデータは、デコーダ、LF処理エンジン530、またはこれらの両方が、ベクトル化されたデータ内の符号化された情報コンテンツにアクセスすることを必要とし得る。エンコーダおよび/またはデコーダシステムは、顧客に対して利用可能である場合があるか、またはサードパーティベンダーにライセンス供与されている場合がある。
【0139】
ベクトル化されたデータは、インタラクティブな体験をサポートし得る方法で、LFディスプレイシステム500によってサポートされる各感覚領域の各々の情報を含む。例えば、インタラクティブなホログラフィック体験のためのベクトル化されたデータは、LFディスプレイシステム500によってサポートされる感覚領域の各々に正確な物理学を提供することができる任意のベクトル化された特性を含み得る。ベクトル化された特性は、合成的にプログラムされ、キャプチャされ、計算により評価され得るなどの任意の特性を含み得る。LF処理エンジン530は、ベクトル化されたデータのベクトル化された特性をラスタライズされたデータに変換するように構成され得る。次に、LF処理エンジン530は、LFディスプレイアセンブリ510を使用してベクトル化されたデータから変換されたホログラフィックコンテンツを投影することができる。様々な構成で、ベクトル化された特性には、1つ以上の赤/緑/青/アルファチャネル(RGBA)+深度画像、1つの高解像度中央画像および低解像度の他のビューを含み得る様々な解像度での深度情報の有無にかかわらないマルチビュー画像、アルベドおよび反射率、表面法線、他の光学効果、表面識別、幾何学的オブジェクト座標、仮想カメラ座標、表示平面の場所、照明座標、表面の接触剛性、接触延性、接触強度、サウンドフィールドの振幅および座標、環境条件、テクスチャまたは温度の機械受容器に関連する体性感覚エネルギーベクトル、音声、ならびに他の感覚領域特性の座標が含まれ得る。他の多くのベクトル化された特性も可能である。
【0140】
LFディスプレイシステム500は、インタラクティブな視聴体験を生成することもできる。すなわち、ホログラフィックコンテンツは、視聴者の場所、ジェスチャ、インタラクション、ホログラフィックコンテンツとのインタラクションに関する情報、または視聴者プロファイリングモジュール528および/もしくは追跡モジュール526から導出された他の情報を含む入力刺激に応答することができる。例えば、一実施形態では、LF処理エンジン530は、ネットワークインターフェース524を介して受信されたリアルタイムパフォーマンスのベクトル化されたデータを使用して、インタラクティブな視聴体験を作成する。別の例では、ホログラフィックオブジェクトが、視聴者のインタラクションに応じて直ちに特定の方向に移動する必要がある場合、LF処理エンジン530は、ホログラフィックオブジェクトがその要求された方向に移動するように、シーンのレンダリングを更新することができる。これには、LF処理エンジン530が、ベクトル化されたデータセットを使用して、適切なオブジェクトの配置および動き、衝突検出、オクルージョン、色、陰影、照明などを有する3Dグラフィカルシーンに基づいて、リアルタイムでライトフィールドをレンダリングし、視聴者のインタラクションに正しく応答することが必要であり得る。LF処理エンジン530は、ベクトル化されたデータを、LFディスプレイアセンブリ510による提示のためにラスタライズされたデータに変換する。
【0141】
ラスタライズされたデータには、リアルタイムのパフォーマンスを表すホログラフィックコンテンツ命令および感覚命令(表示命令)が含まれる。LFディスプレイアセンブリ510は、表示命令を実行することによって、リアルタイムのパフォーマンスのホログラフィックおよび感覚コンテンツを同時に投影する。LFディスプレイシステム500は、追跡モジュール526および視聴者プロファイリングモジュール528を用いて、提示されたリアルタイムのパフォーマンスのコンテンツとの視聴者のインタラクション(例えば、音声応答、タッチなど)を監視する。視聴者のインタラクションに応答して、LF処理エンジンは、視聴者に表示するための追加のホログラフィックおよび/または感覚コンテンツを生成することによって、インタラクティブな体験を作成することができる。
【0142】
例示のために、自転車を表すホログラフィックオブジェクトを視聴者に生成するLF処理エンジン530を含むLFディスプレイシステム500の例示的な一実施形態を考慮する。視聴者は、自転車を表すホログラフィックオブジェクトにタッチするように移動し得る。それに応じて、追跡システム550は、ホログラフィックオブジェクトに対する視聴者の手の動きを追跡する。視聴者の動きは追跡システム550によって記録され、コントローラ520に送信される。追跡モジュール526は、視聴者の手の動きを連続的に決定し、決定された動きをLF処理エンジン530に送信する。LF処理エンジン530は、視聴者の手の配置を決定し、ホログラフィックオブジェクトに必要な変更(位置、色、またはオクルージョンなど)を含むために、グラフィックスのリアルタイムレンダリングを調整する。LF処理エンジン530は、LFディスプレイアセンブリ510(および/または感覚フィードバックシステム540)に、体積触覚投影システムを使用して(例えば、超音波スピーカを使用して)触覚表面を生成するように指示する。生成された触覚表面は、ホログラフィックオブジェクトの少なくとも一部に対応し、ホログラフィックオブジェクトの外面の一部またはすべてと実質的に同じ空間を占有する。LF処理エンジン530は追跡情報を使用して、LFディスプレイアセンブリ510に、自転車にタッチする視覚的および触覚的知覚の両方を視聴者が与えられるように、触覚表面の場所を、レンダリングされたホログラフィックオブジェクトの場所とともに移動するよう動的に指示する。より簡単に言えば、視聴者がホログラフィック自転車にタッチしている自分の手を見ると、視聴者は同時に、手がホログラフィック自転車にタッチし、タッチに応答して自転車が位置または動きを変更することを示す触覚フィードバックを感じる。いくつかの例では、データストア522からアクセスされるインタラクティブ自転車を提示するのではなく、インタラクティブ自転車は、ネットワークインターフェース524を介してライブストリーミングアプリケーションから受信されるホログラフィックコンテンツの一部として受信され得る。
【0143】
LF処理エンジン530はまた、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを作成することができる。重要なことには、ここで、表示のためのホログラフィックコンテンツを作成することは、表示のためのホログラフィックコンテンツをアクセスすること、または受信することとは異なる。すなわち、コンテンツを作成するとき、LF処理エンジン530は、以前に生成および/または受信されたコンテンツをアクセスするのではなく、表示のための全く新しいコンテンツを生成する。LF処理エンジン530は、追跡システム550、感覚フィードバックシステム540、視聴者プロファイリングモジュール528、追跡モジュール526、またはそれらの何らかの組み合わせからの情報を使用して、表示のためのホログラフィックコンテンツを作成することができる。いくつかの例では、LF処理エンジン530は、LFディスプレイシステム500の要素からの情報(例えば、追跡情報および/または視聴者プロファイル)にアクセスし、それに応じて、その情報に基づいてホログラフィックコンテンツを作成し、作成されたホログラフィックコンテンツを、LFディスプレイシステム500を使用して表示することができる。作成されたホログラフィックコンテンツは、LFディスプレイシステム500によって表示されるときに、他の感覚コンテンツ(例えば、タッチ、音声、または匂い)で拡張され得る。さらに、LFディスプレイシステム500は、作成されたホログラフィックコンテンツが将来表示され得るように、作成されたホログラフィックコンテンツを記憶することができる。
LFディスプレイシステムのための動的コンテンツ生成
【0144】
いくつかの実施形態では、LF処理エンジン530は、人工知能(AI)モデルを組み込んで、LFディスプレイシステム500によって表示するためのホログラフィックコンテンツを作成する。AIモデルは、回帰モデル、ニューラルネットワーク、分類器、または他のAIアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。AIモデルは、視聴者の動作に関する情報を含み得る、LFディスプレイシステム500によって(例えば、追跡システム550によって)記録された視聴者情報に基づいて、視聴者の好みを決定するために使用することができる。
【0145】
AIモデルは、ホログラフィックコンテンツを作成するために、データストア522からの情報にアクセスすることができる。例えば、AIモデルは、データストア522内の1つまたは複数の視聴者プロファイルからの視聴者情報にアクセスすることができるか、またはLFディスプレイシステム500の様々な構成要素から視聴者情報を受信することができる。例示のために、AIモデルは、他の様々なホログラフィック商品の閲覧履歴を検討するときに、視聴者が別のホログラフィック商品を閲覧することを評価する可能性があると決定し得る。AIモデルはまた、学習された各視聴者の好みを、データストア522の視聴者プロファイルストアに記憶することができる。いくつかの例では、AIモデルは、視聴者のグループではなく、個々の視聴者のためにホログラフィックコンテンツを作成することができる。
【0146】
視聴者の特徴を識別し、反応を識別し、かつ/または識別された情報に基づいてホログラフィックコンテンツを生成するために使用され得るAIモデルの一例が、現在の層のノードの値が前の層のノードでの値の変換である、ノードのレイヤを有する畳み込みニューラルネットワークモデルである。モデルにおける変換は、現在の層および前の層を接続する、重みおよびパラメータのセットを介して決定される。例えば、AIモデルは、ノードの5つの層、すなわち層A、B、C、D、およびEを含み得る。層Aから層Bへの変換は関数Wにより与えられ、層Bから層Cへの変換はWにより与えられ、層Cから層Dへの変換はWにより与えられ、層Dから層Eへの変換はWにより与えられる。いくつかの例では、変換はまた、モデル内の前の層間を変換するために使用される重みおよびパラメータのセットを介して決定され得る。例えば、層Dから層Eへの変換Wは、層Aから層Bへの変換Wを遂行するために使用されるパラメータに基づき得る。
【0147】
モデルへの入力は、畳み込み層A上に符号化された、追跡システム550によって撮影された画像であり得、モデルの出力は、出力層Eから復号されたホログラフィックコンテンツである。代替的または追加的に、出力は、画像内で決定された視聴者の特徴であり得る。この例では、AIモデルは、識別層Cの視聴者の特徴を表す、画像内の潜在情報を識別する。AIモデルは、畳み込み層Aの次元を識別層Cの次元まで低減して、画像内の任意の特徴、動作、応答などを識別する。いくつかの例では、AIモデルは、次に、識別層Cの次元を増加してホログラフィックコンテンツを生成する。
【0148】
追跡システム550からの画像は、畳み込み層Aに符号化される。畳み込み層Aに入力された画像は、識別層Cの様々な特徴および/または反応情報などに関連付けられ得る。これらの要素間の関連情報は、対応する層間に変換のセットを適用することによって検索され得る。すなわち、AIモデルの畳み込み層Aは、符号化された画像を表し、モデルの識別層Cは、笑顔の視聴者を表す。所与の画像内の笑顔の視聴者は、畳み込み層Aの空間内の画像の画素値に変換WおよびWを適用することによって識別され得る。変換の重みおよびパラメータは、画像に含まれる情報と笑顔の視聴者の識別との間の関係を示し得る。例えば、重みおよびパラメータは、画像内の笑顔の視聴者を表す情報に含まれる形状、色、サイズなどの量子化であり得る。重みおよびパラメータは、履歴データ(例えば、以前に追跡された視聴者)に基づき得る。
【0149】
画像内の笑顔の視聴者は、識別層Cで識別される。識別層Cは、画像内の笑顔の視聴者に関する潜在情報に基づいて識別された笑顔の視聴者を表す。
【0150】
画像内の識別された笑顔の視聴者を使用して、ホログラフィックコンテンツを生成することができる。ホログラフィックコンテンツを生成するために、AIモデルは、識別層Cから開始して、変換WおよびWを識別層Cの所与の識別された笑顔の視聴者の値に適用する。変換は、出力層Eのノードのセットをもたらす。変換の重みおよびパラメータは、識別された笑顔の視聴者と特定のホログラフィックコンテンツおよび/または好みとの間の関係を示し得る。ホログラフィックコンテンツが、出力層Eのノードから直接出力される場合もあれば、コンテンツ生成システムが、出力層Eのノードをホログラフィックコンテンツに復号する場合もある。例えば、出力が、識別された特徴のセットである場合、LF処理エンジン530は、その特徴を使用してホログラフィックコンテンツを生成することができる。
【0151】
追加的に、AIモデルは、中間層として知られている層を含み得る。中間層は、画像に対応しない層であって、特徴/反応などを識別するか、またはホログラフィックコンテンツを生成する。例えば、所与の例では、層Bは、畳み込み層Aと識別層Cとの間の中間層である。層Dは、識別層Cと出力層Eとの間の中間層である。隠れ層は、データ中では観測されないが、特徴を識別してホログラフィックコンテンツを生成するときに、画像の要素間の関係を支配し得る識別の様々な態様の潜在表現である。例えば、隠れ層のあるノードが、「笑っているヒトの笑顔」の共通点を共有する入力値および識別値と強いつながり(例えば、大きな重み値)を有している場合がある。別の例として、隠れ層の別のノードが、「怖がっているヒトの悲鳴」の共通点を共有する入力値および識別値と強いつながりを有している場合がある。当然のことながら、ニューラルネットワークには任意の数のリンケージが存在する。追加的に、各中間層は、例えば、残差ブロック、畳み込み層、プーリング操作、スキップ接続、連結などの機能の組み合わせである。任意の数の中間層Bが、畳み込み層を識別層まで減らすように機能し得、任意の数の中間層Dが、識別層を出力層まで増加させるように機能し得る。
【0152】
一実施形態では、AIモデルは、強化学習でトレーニングされた決定論的方法を含む(それにより、強化学習モデルを作成する)。モデルは、追跡システム550からの測定値を入力として、および作成されたホログラフィックコンテンツへの変更を出力として使用して、パフォーマンスの品質を高めるようにトレーニングされる。
【0153】
強化学習は、数値的な報酬信号を最大化するために、機械が「何をすべきか」(状況を動作にマッピングする方法)を学習する機械学習システムである。学習器(例えば、LF処理エンジン530)は、取るべき動作(例えば、所定のホログラフィックコンテンツの生成)を告げられていないが、代わりに、動作を試行することによって、どの動作が最大の報酬をもたらすか(例えば、より多くのに歓声を上げさせることによってホログラフィックコンテンツの品質を高めること)を発見する。場合によっては、動作は、即時報酬だけでなく、次の状況、かつそれを通じて、その後のすべての報酬にも影響を及ぼし得る。これらの2つの特徴(試行錯誤による探索および遅延報酬)が、強化学習の2つの際立った特徴である。
【0154】
強化学習は、学習方法を特徴づけることによってではなく、学習問題を特徴づけることによって定義される。基本的に、強化学習システムは、目標を達成するために環境とインタラクションする学習エージェントが直面している問題の重要な態様をキャプチャする。つまり、ジーンズブランドの広告を生成する例では、強化学習システムは、現場の視聴者に関する情報(例えば、年齢、気質など)をキャプチャする。このようなエージェントは、環境の状態を感知し、状態に影響を与える動作を実行して、1つまたは複数の目標を達成する(例えば、最も多くのインプレッションにつながるコンテンツの作成することや、最も多くのコンバージョンにつながるコンテンツの作成すること)。最も基本的な形態では、強化学習の定式化は、学習器のための3つの態様、すなわち、感覚、動作、および目標を含む。
【0155】
強化学習で発生する課題ののうちの1つが、探索と活用との間のトレードオフである。システム内の報酬を増加させるために、強化学習エージェントは、過去に試行し、報酬を生み出すのに効果的であることがわかった動作を好む。しかしながら、報酬を生み出す動作を発見するために、学習エージェントは、以前に選択したことのない動作を選択する。エージェントは、報酬を取得するために、すでに知っている情報を「活用」するが、将来、より良い動作を選択するために、情報を「探索」する。学習エージェントは、様々な動作を試み、依然として新しい動作を試行しながら、最良と思われる動作を次第に好むようになる。確率論的タスクでは、一般的に、各動作が、期待される報酬に対する信頼できる見積もりを得るために、何度も試行される。例えば、長い時間が経過した後に視聴者が笑うことになるであろうことをLF処理エンジンが知っているホログラフィックコンテンツをLF処理エンジンが作成する場合、LF処理エンジンは、視聴者が笑うまでの時間が減少するように、ホログラフィックコンテンツを変更することができる。
【0156】
さらに、強化学習は、不確実環境とインタラクションする目標指向エージェントの問題全体を考慮する。強化学習エージェントは、明確な目標を有し、環境の態様を感知し得、高い報酬(すなわち、高いコンバージョン率)を受信するための動作を選択し得る。さらに、エージェントは、一般的に、直面する環境に関する重要な不確実性にかかわらず動作する。強化学習が計画を含む場合、システムは、計画とリアルタイムの動作選択との間の相互作用、ならびに環境要素をどのように取得して改善するかという問題に対処する。強化学習が進展するためには、重要なサブ問題を分離して研究する必要があり、サブ問題は、完全でインタラクティブなゴールシークエージェントで明確な役割を果たす。
【0157】
強化学習問題は、目標を達成するためにインタラクションが処理され、動作が実行される機械学習問題のフレーミングである。学習器および意思決定器はエージェントと呼ばれる(例えば、LF処理エンジン530)。エージェントの外部のすべてのものを含む、エージェントがインタラクションするものは環境と呼ばれる(例えば、現場の視聴者、ショッピングモールの視聴者、地下鉄の電車の視聴者など)。これら2つは継続的にインタラクションし、エージェントは動作を選択し(例えば、ホログラフィックコンテンツを作成し)、環境は、それらの動作に応答して、エージェントに新しい状況を提示する。環境はまた、エージェントが時間の経過とともに最大化しようとする特別の数値的な価値である報酬を生じさせる。ある文脈では、報酬は、ホログラフィックコンテンツに対する視聴者の肯定的な反応を最大化するように機能する。環境の完全な仕様は、強化学習問題の1つの実例であるタスクを定義する。
【0158】
より多くの文脈を提供するために、エージェント(例えば、LF処理エンジン530)および環境は、離散時間ステップのシーケンスの各々、すなわち、t=0、1、2、3などにおいてインタラクションする。各時間ステップtにおいて、エージェントは、環境の状態sの何らかの表現(例えば、追跡システム550からの測定値)を受信する。状態sはS内にあり、Sは、可能性がある状態のセットである。状態sおよび時間ステップtに基づいて、エージェントは、動作を選択する(例えばジーンズブランドのセールを提案する)。動作aはA(s)内にあり、A(s)は、可能性がある動作のセットである。1つの時間状態の後、部分的にはエージェントの動作の結果として、エージェントは、数値的な報酬rt+1を受信する。状態rt+1はR内にあり、Rは、可能性がある報酬のセットである。エージェントが報酬を受信すると、エージェントは、新しい状態st+1を選択する。
【0159】
各タイムステップにおいて、エージェントは、状態から、各可能性がある動作を選択する確率へのマッピングを実装する。このマッピングはエージェントのポリシーと呼ばれ、πで表され、ここで、π(s,a)は、s=sであればa=aとなる確率である。強化学習方法は、エージェントの動作から生じる状態および報酬の結果として、エージェントがポリシーをどのように変更するかを指示することができる。エージェントの目標は、時間の経過とともに、エージェントが受信する報酬の合計額を最大化することである。
【0160】
この強化学習フレームワークは柔軟性があり、多くの異なる方法で多くの異なる問題(例えば、ホログラフィックコンテンツの生成)に適用され得る。このフレームワークは、感覚、記憶、および制御装置の詳細が何であれ、目標指向の行動を学習するすべての問題(または目的)が、エージェントとその環境との間を行き来する3つの信号、すなわち、エージェントによって行われた選択(動作)を表す1つの信号、選択が行われた根拠(状態)を表す1つの信号、およびエージェントの目標(報酬)を定義する1つの信号にまとめられ得ることを提案する。
【0161】
当然のことながら、AIモデルは、任意の数の機械学習アルゴリズムを含み得る。使用され得るいくつかの他のAIモデルは、線形および/またはロジスティック回帰、分類および回帰ツリー、k平均法クラスタリング、ベクトル量子化などである。いずれの場合も、一般に、LF処理エンジン530が、追跡モジュール526および/または視聴者プロファイリングモジュール528から入力を取得し、機械学習モデルが、それに応じてホログラフィックコンテンツを作成する。同様に、AIモデルは、ホログラフィックコンテンツのレンダリングを指向し得る。
【0162】
LF処理エンジン530は、表示されているホログラフィック商品に基づいてホログラフィックコンテンツを作成することができる。例えば、示されているホログラフィック商品は、商品の特徴を説明するメタデータのセットに関連付けられ得る。メタデータは、例えば、色、材料、他の購入者による評価、コスト、売上などを含み得る。LF処理エンジン530は、ホログラフィック商品を説明するメタデータのいずれかにアクセスし、提示するホログラフィックコンテンツを生成し得る。例えば、ソファを表すホログラフィック商品は、視聴者の家に実装されたLFディスプレイシステム500によって提示されている。LF処理エンジン530は、ソファのメタデータにアクセスして、家の壁用にホログラフィックコンテンツを作成し、ソファを補完する。ここで、メタデータは、色および素材を含み得る。LF処理エンジン530は、メタデータをAIモデルに入力し、それに応じて、家の壁に表示するためのホログラフィックコンテンツを受信する。
【0163】
一例では、LF処理エンジン530は、従来の2次元(2D)フィルムを、LFディスプレイシステムによる表示のためにホログラフィックコンテンツに変換することができる。例えば、LF処理エンジン530は、従来のフィルムをAIモデルに入力することができ、AIモデルは、従来のフィルムの任意の部分をホログラフィックコンテンツに変換する。一例では、AIモデルは、2次元データをホログラフィックデータに変換することによって訓練された機械学習アルゴリズムを使用することによって、従来のフィルムをホログラフィックコンテンツに変換することができる。様々な状況で、トレーニングデータは以前に生成された、作成された、またはその2つの組み合わせたものであってもよい。次に、LFディスプレイシステム500は、フィルムの従来の2次元バージョンではなく、フィルムのホログラフィックバージョンを表示することができる。
デジタルサイネージコンテンツ配信システム
【0164】
図5Bは、1つ以上の実施形態による、デジタルサイネージ用のLFディスプレイシステムを組み込んだLFデジタルサイネージコンテンツ配信システム560のブロック図である。図5Bによって示されるLFデジタルサイネージコンテンツ配信システム560は、1つ以上のクライアントLFディスプレイシステム500Aおよび500B、ネットワーク570、1つ以上のサードパーティシステム580、ならびにオンラインシステム590を備える。代替的な構成では、異なるおよび/または追加の構成要素が、LFデジタルサイネージコンテンツ配信システム560に含まれ得る。例えば、オンラインシステム590は、ソーシャルネットワーキングシステム、コンテンツ共有ネットワーク、または視聴者にコンテンツを提供する別のシステムを含み得る。
【0165】
クライアントLFディスプレイシステム500Aおよび500Bは、ホログラフィックコンテンツを表示し、入力を受信し、ネットワーク570を介してデータを送信および/または受信することができる。クライアントLFディスプレイシステム500Aおよび500Bは、LFディスプレイシステム500の実施形態である。そのため、各クライアントLFディスプレイシステムは、ネットワーク570およびLFディスプレイアセンブリ(例えば、LFディスプレイアセンブリ510)を介してホログラフィックコンテンツを受信するように構成されたコントローラを含む。LFディスプレイアセンブリは、ホログラフィックコンテンツを、ホログラフィックオブジェクトボリューム内のデジタルサイネージとして、ビューイングボリューム内に位置する視聴者に表示する1つ以上のLFディスプレイモジュール(例えば、LFディスプレイモジュール512)を含み得る。クライアントLFディスプレイシステム500Aと500Bは、ネットワーク570を介して通信するように構成される。いくつかの実施形態では、クライアントLFディスプレイシステム500Aと500Bは、クライアントLFディスプレイシステムの視聴者がオンラインシステム590とインタラクトすることを可能にするアプリケーションを実行する。例えば、クライアントLFディスプレイシステム500Aは、ブラウザアプリケーションを実行して、ネットワーク570を介したクライアントLFディスプレイシステム500Aとオンラインシステム590との間のインタラクションを可能にする。他の実施形態では、クライアントLFディスプレイシステム500Aは、IOS(登録商標)またはANDROID(商標)などのクライアントLFディスプレイシステム500Aのネイティブオペレーティングシステム上で実行されるアプリケーションプログラミングインターフェース(API)を介してオンラインシステム590とインタラクトする。前に考察したように、効率的な転送速度のために、クライアントLFディスプレイシステム500Aと500Bのデータは、ベクトル化されたデータとしてネットワーク570を介して転送され得る。各クライアントLFディスプレイシステムのLF処理エンジン(例えば、LF処理エンジン530)は、ベクトル化されたデータを復号し、対応するLFディスプレイアセンブリ(例えば、LFディスプレイアセンブリ510)に表示するためにラスタライズされたフォーマットに変換し得る。
【0166】
クライアントLFディスプレイシステム500Aと500Bは、有線および/または無線通信システムの両方を使用して、ローカルエリアおよび/またはワイドエリアネットワークの任意の組み合わせを含み得るネットワーク570を介して通信するように構成される。いくつかの実施形態では、ネットワーク570は、標準的な通信技術および/またはプロトコルを使用する。例えば、ネットワーク570は、イーサネット、802.11、マイクロ波アクセスの世界的な相互運用性(WiMAX)、3G、4G、符号分割多元接続(CDMA)、デジタル加入者ライン(DSL)などの技術を使用した通信リンクを含む。ネットワーク570を介した通信に使用されるネットワーキングプロトコルの例には、マルチプロトコルラベルスイッチング(MPLS)、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ハイパーテキストトランスポートプロトコル(HTTP)、シンプルメール転送プロトコル(SMTP)、およびファイル転送プロトコル(FTP)が含まれる。ネットワーク570を介して交換されるデータは、ハイパーテキストマークアップ言語(HTML)または拡張可能マークアップ言語(XML)などの任意の好適なフォーマットを使用して表し得る。いくつかの実施形態では、ネットワーク570の通信リンクのすべてまたはいくつかは、任意の好適な技術または複数の技術を使用して暗号化され得る。
【0167】
1つ以上のサードパーティシステム580は、オンラインシステム590と通信するためにネットワーク570に結合され得る。いくつかの実施形態では、サードパーティシステム580は、ネットワーク570を介してクライアントLFディスプレイシステム500Aおよび500Bに配信されるホログラフィックコンテンツを通信するサイネージコントロールシステム、例えばコンテンツプロバイダである。いくつかの実施形態では、サードパーティシステム580はまた、ホログラフィックコンテンツをオンラインシステム590に通信し得、このオンラインシステムは、その後、ホログラフィックコンテンツをクライアントLFディスプレイシステム500Aおよび500Bに配信し得る。各サードパーティシステム580は、クライアントLFディスプレイシステム500Aおよび500Bに提示するために配信することができるホログラフィックコンテンツアイテムを記憶し得るコンテンツストア582を有する。サードパーティシステム580は、支払いと引き換えに、1つ以上のクライアントLFディスプレイシステム500Aおよび500Bにホログラフィックコンテンツを提供し得る。一実施形態では、ホログラフィックコンテンツアイテムは、クライアントLFディスプレイシステム500Aおよび500Bに配信されるときに、オンラインシステム590により収集され得るコストに関連付けられ得る。
【0168】
オンラインシステム590は、支払いと引き換えにホログラフィックコンテンツをクライアントLFディスプレイシステム500Aおよび500Bに提供することによってホログラフィックコンテンツの配布を仲介する。ホログラフィックコンテンツは、ネットワーク570を介して提供される。オンラインシステム590は、視聴者プロファイルストア592、コンテンツストア594、トランザクションモジュール596、およびコンテンツ配信モジュール598を含む。他の実施形態では、オンラインシステム590は、様々なアプリケーションのための追加の、より少ない、または異なる構成要素を含み得る。システムアーキテクチャの詳細を曖昧にしないために、ネットワークインターフェース、セキュリティ機能、ロードバランサ、フェイルオーバーサーバ、管理およびネットワーク操作コンソールなどの従来の構成要素は示されていない。
【0169】
オンラインシステム590の各視聴者は、視聴者プロファイルストア592に記憶されている視聴者プロファイルに関連付け得る。視聴者プロファイルは、視聴者によって明示的に共有された視聴者に関する宣言的情報を含み得、また、オンラインシステム590によって推論されたプロファイル情報を含み得る。いくつかの実施形態では、視聴者プロファイルは、それぞれが対応するオンラインシステム視聴者の1つ以上の属性を記述する複数のデータフィールドを含む。視聴者プロファイルに保存される情報の例には、経歴、人口統計、およびその他の種類の説明情報(職歴、学歴、性別、趣味または好み、場所など)が含まれる。視聴者プロファイルはまた、視聴者によって提供される他の情報、例えば、画像またはビデオを記憶し得る。特定の実施形態では、視聴者の画像は、画像に表示されたオンラインシステムの視聴者を識別する情報でタグ付けされ得、視聴者がタグ付けされた画像を識別する情報は、視聴者の視聴者プロファイルに記憶される。視聴者プロファイルストア592内の視聴者プロファイルはまた、追跡システム(例えば、追跡システム550)でキャプチャされ、追跡モジュール(例えば、追跡モジュール526)によって決定された、視聴者の監視された応答または視聴者の特徴を含む、コンテンツストア594内のコンテンツアイテムに対して実行される対応する視聴者によるアクションへの参照を維持し得る。視聴者の監視された応答は、ビューイングボリューム内の視聴者の位置、視聴者の動き、視聴者のジェスチャ、視聴者の顔の表情、および視聴者の視線を含み得る。LFディスプレイアセンブリは、視聴者の監視された応答に応じて、ホログラフィックコンテンツの提示を更新し得る。視聴者の特徴には、視聴者の人口統計情報、職歴、学歴、性別、収入、購入に費やしたお金、趣味、場所、年齢、視聴履歴、アイテムに費やした時間、以前に閲覧したアイテムのカテゴリ、および購入履歴、を含み得る。LFディスプレイアセンブリは、視聴者の特徴に応じてホログラフィックコンテンツの表示を更新し得る。いくつかの実施形態では、視聴者プロファイルストア592は、オンラインシステムによって推測される視聴者の特徴および視聴者情報を記憶し得る。いくつかの実施形態では、視聴者プロファイルは、1つ以上のクライアントLFディスプレイシステムによって提供される情報を記憶し得、これは、提供される情報および/または視聴者プロファイリングモジュール(例えば、視聴者プロファイリングモジュール528)から記録または推論される情報を含み得る。
【0170】
視聴者プロファイルストア592内の視聴者プロファイルは、しばしば個人に関連付けられ、個人がオンラインシステム590を介して互いにインタラクトすることを可能にするが、視聴者プロファイルはまた、事業所または組織などのエンティティのために記憶され得る。これにより、エンティティは、他のオンラインシステムの視聴者とコンテンツを接続および交換するために、オンラインシステム590上にプレゼンスを確立することができる。エンティティは、エンティティの視聴者プロファイルに関連付けられたブランドページを使用して、自身、その製品に関する情報を投稿し得、またはオンラインシステム590の視聴者に他の情報を提供し得る。ブランドページに関連付けられた視聴者プロファイルには、エンティティ自体に関する情報が含まれている場合があり、視聴者にエンティティに関する背景データまたは情報データを提供する。一実施形態では、オンラインシステム590の他の視聴者は、ブランドページとインタラクトであり得る(例えば、ブランドページに接続して、ブランドページに投稿された情報を受信するか、またはブランドページから情報を受信する)。視聴者プロファイルストア592内の視聴者プロファイルは、対応する視聴者によって実行される相互作用への参照を維持し得る。上記のように、視聴者プロファイル(例えば、視聴者プロファイリングモジュール528)に記憶された任意の情報を、機械学習モデルを用いた入力として使用して、視聴者に表示するホログラフィックコンテンツを作成することができる。
【0171】
コンテンツストア594は、1つ以上のクライアントLFディスプレイシステム500Aおよび500Bの視聴者に配信されるホログラフィックコンテンツなどのホログラフィックコンテンツを記憶する。ホログラフィックコンテンツの例は、広告(例えば、今後のセールの宣伝、ブランドの宣伝など)、発表(例えば、政治的スピーチ、激励のスピーチなど)、公共サービスのアラート(例えば、トルネードアラート、誘拐事件のアラート)、ニュースに関する情報(例えば、ニュースの見出し、スポーツスコアなど)、天気に関する情報(例えば、地域の天気予報、大気質指標など)、会場に関する情報(例えば、チケット売り場の営業時間、今後のショースケジュールなど)、交通状況や交通量状況に関する情報(例えば、交通情報、通行止めなど)、企業体に関する情報(例えば、オフィスディレクトリ、営業時間など)、パフォーマンス(例えば、コンサート、演劇など)、芸術的コンテンツ(例えば、彫刻、陶器など)、その他のホログラフィックコンテンツ、またはそれらの任意の組み合わせ、に及ぶ可能性がある。いくつかの実施形態では、オンラインシステムの視聴者は、コンテンツストア594によって記憶されるホログラフィックコンテンツを作成し得る。他の実施形態では、ホログラフィックコンテンツは、オンラインシステム590とは別のサードパーティシステム580から受信される。コンテンツストア594内のオブジェクトは、単一のコンテンツ、またはコンテンツの「アイテム」を表し得る。
【0172】
トランザクションモジュール596は、支払いと引き換えに、1つ以上のクライアントLFディスプレイシステム500Aおよび500Bにホログラフィックコンテンツを提供する。一実施形態では、トランザクションモジュール596は、コンテンツストア594に記憶されたホログラフィックコンテンツが、ネットワーク570を介してクライアントLFディスプレイシステム500Aおよび500Bに配信されるトランザクションを管理する。一実施形態では、クライアントLFディスプレイシステム500Aおよび/または500B、またはクライアントLFディスプレイシステム500Aおよび500Bのネットワーク化されたエンティティ所有者は、特定のホログラフィックコンテンツアイテムの支払いを提供し得、トランザクションは、トランザクションモジュール596によって管理し得る。あるいは、サードパーティシステム580は、トランザクションモジュール596に提供されるトランザクション料金と引き換えに、コンテンツストア582からLFディスプレイシステム500Aおよび/または500Bにコンテンツを提供し得る。他の実施形態では、オンラインシステム590は、特定のエンティティのアカウントに課金するトランザクションモジュール596の有無にかかわらず、コンテンツをクライアントLFディスプレイシステム500Aおよび500Bに直接配布し得る。いくつかの実施形態では、クライアントLFディスプレイシステム500Aおよび500Bは、トランザクションモジュール596によるホログラフィックコンテンツアイテムの提示のコストを請求される1人以上の視聴者プロファイルに関連付けられている。いくつかの実施形態では、ホログラフィックコンテンツアイテムは、購入して無期限に使用し得るか、または一定期間レンタルし得る。次に、トランザクションモジュール596によって全体的または部分的に収集された報酬は、ホログラフィックコンテンツアイテムのプロバイダに提供され得る。例えば、製品のホログラフィック広告を提供したサードパーティシステムは、ホログラフィック広告に関連して行われた製品購入について、クライアントLFディスプレイシステム500Aおよび500Bから収集された報酬の一部を受け取り得る。
【0173】
コンテンツ配信モジュール598は、クライアントLFディスプレイシステム500Aおよび500Bにホログラフィックコンテンツアイテムを提供する。コンテンツ配信モジュール598は、クライアントLFディスプレイシステム500Aおよび/または500Bに提示されるホログラフィックコンテンツアイテムを伴う要求をトランザクションモジュール596から受信し得る。コンテンツ配信モジュール598は、ホログラフィックコンテンツアイテムをコンテンツストア594から検索し、ホログラフィックコンテンツアイテムを、視聴者に表示するためにクライアントLFディスプレイシステム500Aおよび/または500Bに提供する。
【0174】
いくつかの実施形態では、クライアントLFディスプレイシステム500Aおよび500Bは、入力が受信されるかどうかに部分的に依存して、ホログラフィックコンテンツの提示のインスタンスを記録し得る。一実施形態では、クライアントLFディスプレイシステム500Aおよび500Bは、ホログラフィックコンテンツの提示に応答して入力を受信するように構成され得る。ホログラフィックコンテンツは、物理的な商品(例えば、一足の靴)、デジタル資産(例えば、ダウンロード可能なアルバム)、レンダリングされるサービス(例えば、住宅塗装)、その他のホログラフィック広告、またはそれらの組み合わせのホログラフィック広告である得る。ホログラフィック広告では、受け取った入力を使用して、ホログラフィック広告のインプレッションまたはリーチを確認し得る。いくつかの実施形態では、クライアントLFディスプレイシステム500Aおよび500Bは、視聴者がホログラフィックコンテンツの提示中に提供されるプロンプトへの応答を提供する場合、ホログラフィックコンテンツの提示のインスタンスを確認し得る。例えば、クライアントLFディスプレイシステム500Aは、ホログラフィックコンテンツの提示を確認するためにクライアントLFディスプレイシステム500Aによって使用される、視聴者からの音声入力(例えば、プロンプトが出された後)を受け取る。クライアントLFディスプレイシステム500Aおよび500Bは、受信した入力と他のメトリック(例えば、追跡システム550によって取得された情報)との組み合わせを使用して、ホログラフィックコンテンツの提示のインスタンスを確認し得る。他の実施形態では、クライアントLFディスプレイシステム500Aおよび500Bは、受信した入力に応答してホログラフィックコンテンツの提示を更新するように構成され得る。例えば、クライアントLFディスプレイシステム500Aは、視聴者がホログラフィック広告で提示された製品に興味を示した場合に、視聴者から音声入力を受信し(例えば、プロンプトが出された後)、提示されているホログラフィックコンテンツを更新する(例えば、製品に関するより多くの価格情報を提供する)ために、クライアントLFディスプレイシステム500Aによって使用される。
【0175】
ホログラフィック広告を伴う他の実施形態では、クライアントLFディスプレイシステム500Aおよび500Bは、視聴者にコンバージョンの機会を提供する。いくつかの実施形態では、受信した入力は、ホログラフィックコンテンツに関連するコンバージョンに対応し得る。コンバージョンの機会は、視聴者がホログラフィック広告に応答する機会である。ホログラフィック広告に応答することは、一般に、ホログラフィック広告内に提示されるものに従って視聴者が購入するためのオプションを提供することに対応し得る。例えば、クライアントLFディスプレイシステム500Aは、革のジャケットを購入するための購入オプションを提示する。他の例では、ホログラフィック広告への応答は、ホログラフィック広告内に提示されるものに従って、視聴者がさらなる情報を問い合わせるためのオプションを提供し得る。クライアントLFディスプレイシステム500Aおよび500Bは、ホログラフィック広告の提示を伴うプロンプトを提供し得る。ホログラフィック広告の提示後に変換する入力を受信すると、クライアントLFディスプレイシステム500Aおよび500Bは、受信した入力に基づいてコンバージョンを完了するために、後続のホログラフィックコンテンツを提示し得る。これらの場合、LF処理エンジン530は、フォローアップホログラフィックコンテンツを提供する。他の場合には、クライアントLFディスプレイシステム500Aは、例えば、視聴者を(例えば、モバイルデバイス上、またはクライアントLFディスプレイシステム500Aによって提示される)ウェブブラウザに向けることによって、または、視聴者をアプリケーション(例えば、モバイルデバイスなど)に誘導することによって、コンバージョンを続行するように視聴者を広告主に向け得る。コンバージョンは購入による場合がある。上記の例に従って、視聴者は購入オプションに対応する入力を提供し、クライアントLFディスプレイシステム500Aは、視聴者が革のジャケットの購入を完了することを可能にするためのホログラフィック購入ページを提示することで応答し得る。いくつかの実施形態では、ホログラフィック広告の提示のインスタンスのコンバージョンは、報酬コストを処理するために使用することができるクライアントLFディスプレイシステム500Aによって記録され得る。
【0176】
いくつかの構成では、デジタルサイネージコンテンツ配信システム560内のクライアントLFディスプレイシステム500Aおよび500Bは、異なるハードウェア構成を有し得る。ホログラフィックコンテンツは、クライアントLFディスプレイシステム500Aおよび500Bのハードウェア構成に基づいて提示され得る。ハードウェア構成は、解像度、度当たりの投影光線の数、視野、表示面上の偏向角、および表示面の次元を含み得る。各ハードウェア構成は、異なるデータフォーマットで感覚データを生成または利用し得る。前に考察したように、すべての感覚データ(例えば、ホログラフィック、オーディオ、および触覚データ)を含むホログラフィックコンテンツは、符号化されベクトル化されたフォーマットとしてクライアントLFディスプレイシステム500Aおよび500Bに転送され得る。そのため、各クライアントLFディスプレイシステムのLF処理エンジン(例えば、LF処理エンジン530)は、クライアントLFディスプレイシステム500Aまたは500Bの対応するハードウェア構成を考慮に入れて、それが提示されるLFディスプレイシステムの符号化データを復号し得る。例えば、第1のクライアントLFディスプレイシステム500Aは、第1のハードウェア構成を有し得、第2のクライアントLFディスプレイシステム500Bは、第2のハードウェア構成を有し得る。第1のクライアントLFディスプレイシステム500Aは、第2のクライアントLFディスプレイシステムと同じホログラフィックコンテンツを受信し得る。第1および第2のハードウェア構成の違いにもかかわらず、各LFディスプレイシステム500Aおよび500BのLF処理エンジンは、ホログラフィックコンテンツを、できる限り異なる解像度で、異なる視野などで提示しなければならない。
デジタルサイネージアプリケーション
【0177】
図6は、1つ以上の実施形態による、デジタルサイネージコンテンツ配信システムで使用される大規模LFディスプレイシステム600の図である。LFディスプレイシステム600は、LFディスプレイシステム500、クライアントLFディスプレイシステム500Aおよび500Bの一実施形態である。LFディスプレイシステム600は、LFディスプレイシステム600の1人以上の視聴者にホログラフィックコンテンツを提供するLFディスプレイアセンブリ(LFディスプレイアセンブリ510の実施形態)のLFディスプレイモジュール620を含む。図6に示されるLFディスプレイシステム600は、片面のシームレスな表面環境を形成する。さらに他の実施形態では、LFディスプレイシステム600は、多面シームレス表面環境を形成し得る。図6の例示では、LFディスプレイシステムは、複数の支持構造によって地上に掲げられた看板としての大きさである。LFディスプレイシステム600は、オンラインシステム(例えば、オンラインシステム590)のコンテンツプロバイダ、またはサードパーティシステム(例えば、サードパーティシステム580)からのホログラフィックコンテンツの配信を制御するデジタルサイネージコンテンツ配信システム(例えば、デジタルサイネージコンテンツ配信システム560)の一部として実装され得る。一実施形態では、コンテンツプロバイダは、サードパーティシステム(例えば、広告主とも呼ばれる独自の広告を作り出す広告システム、または1つ以上の広告主に代わって広告を作り出す広告配信システム)であり得る。サードパーティシステムは、ネットワークを介してLFディスプレイシステム600に接続され得、視聴者に提示するためにホログラフィックコンテンツをLFディスプレイシステム600に提供するように構成され得る。
【0178】
LFディスプレイシステム600は、LFディスプレイシステム600の1人以上の視聴者にホログラフィックコンテンツを提示する。LFディスプレイシステム600は、データストア(例えば、データストア522)またはコンテンツプロバイダから、ホログラフィックコンテンツを検索し得る。ホログラフィックコンテンツの例は、広告(例えば、今後のセールの宣伝)、発表(例えば、政治的スピーチ)、公共サービスのアラート(例えば、トルネードアラート)、ニュースに関する情報(例えば、ニュースの見出し)、天気に関する情報(例えば、地域の天気予報)、会場に関する情報(例えば、チケット売り場の営業時間)、交通状況や交通量状況に関する情報(例えば、交通情報)、企業体に関する情報(例えば、オフィスディレクトリ)、パフォーマンス(例えば、コンサート)、芸術的コンテンツ(例えば、彫刻)、その他のホログラフィックコンテンツ、またはそれらの任意の組み合わせ、に及ぶ可能性がある。LFディスプレイシステム600は、ホログラフィックコンテンツ(例えば、LF処理エンジン530を介して)、より具体的には、LFディスプレイモジュール620によって提示されるホログラフィックコンテンツの表示命令を生成する。LFディスプレイシステム600は、ホログラフィックコンテンツの遮るもののない視界を有するLFディスプレイシステム600のビューイングボリューム内の、すべての視聴者が見ることができるようにホログラフィックコンテンツを提示し得る。他の場合には、LFディスプレイシステム600は、ビューイングボリューム内の少なくとも一部、場合によってはすべての視聴者を追跡する。いくつかの実施形態では、LFディスプレイシステム600は、追跡された各視聴者に、その視聴者が見ることができる特定のホログラフィックコンテンツを提供し得、その特定のホログラフィックコンテンツは他の視聴者には見えない。他の場合には、LFディスプレイシステム600は、ビューイングボリュームを異なるセクションに細分し、各セクションに異なるホログラフィックコンテンツを提供し得る。このようにして、異なるセクションの視聴者には、異なるホログラフィックコンテンが提示され、そのセクションに固有のホログラフィックコンテンツを体験する。LFディスプレイシステム600はまた、LFディスプレイモジュール620によって提供されるホログラフィックコンテンツと並行して、感覚フィードバックを提示するため、感覚フィードバックシステム(例えば、感覚フィードバックシステム540)を含み得る。ホログラフィックコンテンツが視聴者に提供されると、LFディスプレイシステム600は、提示されたホログラフィックコンテンツに応答して視聴者の動作を記録し得る(例えば、LFディスプレイアセンブリ510、感覚フィードバックシステム540、または追跡システム550を介して)。例えば、LFディスプレイシステム600は、追跡システム(例えば、追跡システム550)を利用して、ホログラフィックコンテンツの提示に応答して視聴者の身体の動きを監視し得る。
【0179】
いくつかの実施形態では、LFディスプレイシステム600は、LFディスプレイシステム600の異なるタイプの視聴者に特定のホログラフィックコンテンツを提示する。追跡システム(例えば、追跡システム550)は、LFディスプレイシステム600のビューイングボリューム内での視聴者の動きを追跡し(例えば、視聴者がLFディスプレイシステムの左からLFディスプレイシステムの右側に移動している)、ホログラフィックコンテンツに対する視聴者の応答を監視し(例えば、視聴者は笑っている)、LFディスプレイシステムのビューイングボリューム内の視聴者の特徴を決定し得る(例えば、視聴者は女性である)。
【0180】
さらに、追跡システムによる視聴者の動きの追跡は、各視聴者の動きに基づいて速度を決定し得る。例えば、追跡された動きは、視聴者がビューイングボリューム内で移動する速度を含み得る。LFディスプレイシステムは、視聴者の速度に基づいてホログラフィックコンテンツの提示を更新し得る。図6の例では、追跡システムは、歩行者630がゆっくりと動いている(例えば、時速5マイルより遅い)視聴者であると決定し得る。追跡システムは、歩行者630を歩行者として分類し得る。歩行者として決定された視聴者のタイプに従って、LFディスプレイシステム600は、歩行者タイプに提示するために割り当てられたホログラフィックオブジェクト635を提示し得る。LFディスプレイシステム600は、各タイプの視聴者に提示するために、データストア(例えば、データストア522)内の各ホログラフィックオブジェクトを指定し得る。LFディスプレイシステム600は、視聴者の速度に基づいて、視聴者の前のホログラフィックオブジェクトボリューム内の位置にホログラフィックコンテンツを提示する。例えば、追跡システムによって追跡される歩行者630の位置および動きに基づいて、LF ディスプレイシステム600は、潜在的に歩行またはビューイングボリュームの周りを移動しながら、歩行者630の前に常に提示されるようにホログラフィックオブジェクト635の提示を更新し得る。
【0181】
追跡システムは、車両の乗客を車両の乗客640として分類し得る。追跡システムは、車両の乗客640を、歩行者630とは異なる別のタイプの視聴者として決定し得る。追跡システムは、車両の乗客640が車両内にいることを決定し得る。追加的に、追跡システムは、車両の乗客640が歩行者630よりも速い速度で(例えば、時速5マイルを超えて)移動していると決定し得る。LFディスプレイシステム600は、車両の乗客タイプへの提示のために割り当てられた車両の乗客640に提供するホログラフィックオブジェクト645を決定し得る。例えば、LFディスプレイシステム600は、車両の運転者の注意を過度にそらさないようするため、車両の乗客に提供するために、混乱することの少ないホログラフィックコンテンツ(例えば、近くのレストランの名前および場所、公開予定またはすでに公開された映画の映画ポスター)を指定し得る。LFディスプレイシステム600はまた、表示ボリューム内での移動中ずっと、車両の乗客640が見ることができるように、ホログラフィックオブジェクト645の提示を更新し得る。他の実施形態では、車両の乗客640が車両の乗客タイプの視聴者であると決定すると、LFディスプレイシステム600は、車両の運転者の注意を過度にそらさないようするために、同様にビューイングボリューム内の固定位置にホログラフィックオブジェクト645を提示する。いくつかの実施形態では、追跡システムはさらに、視聴者が運転手であるか乗客であるかを(少なくとも部分的に)決定するように車両内の視聴者の位置を確証することによって、車両の運転手と車両の乗客とをさらに区別し得る。区別されると、LFディスプレイシステム600は、車両の乗客タイプの他の乗客に、車両の乗客に提示するために利用可能なホログラフィックコンテンツを提供しながら、注意をそらさない(例えば、ビューイングボリュームの固定位置で、より静的で、混乱することの少ない)ホログラフィックコンテンツを含み得る車両の運転手タイプに指定されたホログラフィックコンテンツを提示し得る。
【0182】
追跡システムは、ホログラフィックコンテンツに対する視聴者の応答を監視し得る。監視された応答には、ビューイングボリューム内の視聴者の位置、視聴者の動き、視聴者のジェスチャ、視聴者の顔の表情、視聴者の視線、他の監視された応答、またはそれらの組み合わせが含まれ得る。LFディスプレイシステム600は、視聴者の監視された応答に応じて、視聴者に提示されるホログラフィックコンテンツを更新し得る。例えば、図6では、視聴者(すなわち、歩行者630)は、LFディスプレイモジュール620の右側にから、LFディスプレイモジュール620の左側に視線を変える。追跡システムは、視聴者の視線を監視し、それに応じてホログラフィックコンテンツを更新する(すなわち、ホログラフィックオブジェクト635は、視聴者の視線と交差するホログラフィックオブジェクトボリューム内の位置に提示される)。視聴者の監視された応答は、ネットワーク上のデバイスと共有され得る。例えば、監視された応答は、ネットワーク(例えば、ネットワーク570)上のデバイス(例えば、コンピュータ、サーバなど)と共有され得る。
【0183】
追跡システムは、LFディスプレイシステム600のビューイングボリューム内の視聴者の特徴を決定し得る。視聴者の決定された特徴は、視聴者の特徴または品質を表す。決定された特徴は、視聴者の人口統計情報、職歴、学歴、性別、収入、購入に費やしたお金、趣味、場所、年齢、視聴履歴、アイテムに費やした時間、以前に閲覧したアイテムのカテゴリ、購入履歴、視聴者の他の特徴または品質、またはそれらの組み合わせ、を含み得る。LFディスプレイシステム600は、視聴者の決定された特徴に応じて、視聴者に提示されるホログラフィックコンテンツを更新し得る。例えば、図6では、視聴者(すなわち、歩行者630)は、中学生の男子であると決定される。ホログラフィックコンテンツは、それに応じて更新され得る(すなわち、ホログラフィックオブジェクト635は現在表示されているダイアモンドリングからアクションフィギュアに変わる)。視聴者の決定された特徴は、ネットワーク上のデバイスと共有され得る。例えば、監視された応答は、ネットワーク(例えば、ネットワーク570)上のデバイス(例えば、コンピュータ、サーバなど)と共有され得る。
【0184】
いくつかの実施形態では、ホログラフィックオブジェクト635および/または645は、視聴者、すなわち歩行者630および車両の乗客640、に提供されるホログラフィック広告であり得る。したがって、LFディスプレイシステム600は、視聴者へのホログラフィック広告の提示のインスタンスを記録する。ホログラフィック広告は、ホログラフィック映画、ホログラフィックショー、ホログラフィック商品などのデジタル資産または物理的な商品およびサービスのためのものであり得る。図6の例示では、ホログラフィック広告の例としてのホログラフィックオブジェクト635は、宝石店のホログラフィック広告であるダイアモンドリングである。他の実施形態では、ホログラフィックオブジェクト635および/または645は、それぞれの視聴者に情報を提供する情報パネルであり得る。情報は、ウェルカムサイン、施設の名前、道順が記載された地図、様々なもの(例えば、物、店、レストラン、およびトイレ)の場所などを含み得るが、これらに限定されない。図6の例示では、看板LF表示面の例としてのホログラフィックオブジェクト645は、ラスベガス市へのウェルカムサインである。
【0185】
いくつかの実施形態では、LFディスプレイシステム600は、ビューイングボリュームの様々なセクションを分類することを決定する。図6の例示では、LFディスプレイシステム600は、LFディスプレイモジュール620の下を視聴者が通過することを可能にする歩道650上に配置される。LFディスプレイシステム600はまた、LFディスプレイシステム600の隣を電動車両が通過し得る道路660の隣に配置される。1つ以上の実施形態では、LFディスプレイシステム600は、ビューイングボリュームの様々なセクションを分類するためにAIモデルを実装する。追跡システムは、ビューイングボリューム内の様々なオブジェクトおよび視聴者の追跡情報を提供し得る。LFディスプレイシステム600は、追跡情報に基づいて、ビューイングボリュームの1つのセクションが、歩行者またはバイカーであり得、多くの自動車に乗ってはいない可能性が高い視聴者がいる歩道650であると決定し得る。次に、LFディスプレイシステム600は、ビューイングボリュームの別のセクションが、自動車の乗客である可能性がある視聴者がいる道路660であると決定し得る。ビューイングボリュームの分類されたセクションによれば、LFディスプレイシステム600は、セクションに従ってホログラフィックコンテンツを提供し得る。例えば、LFディスプレイシステム600は、歩道650内を移動する各視聴者に特定のホログラフィック広告を提供しながら、道路660内の視聴者(すなわち、車両の運転手または乗客)が見ることができる位置に固定されたホログラフィックサインを提供し得る。
【0186】
図7は、1つ以上の実施形態による、小規模サイネージシステム(例えば、パネルLF表示面)で使用されるLFディスプレイシステム700の図である。LFディスプレイシステム700は、LFディスプレイシステム500の一実施形態である。LFディスプレイシステム700は、LFディスプレイシステム700の1人以上の視聴者に、ホログラフィックコンテンツを提供するLFディスプレイアセンブリ(LFディスプレイアセンブリ510の実施形態)のLFディスプレイモジュール720を含む。図7に示されるLFディスプレイシステム700は、片面のシームレスな表面環境を形成する。さらに他の実施形態では、LFディスプレイシステム700は、多面シームレス表面環境を形成し得る。図7の例示では、LFディスプレイシステムは、平均的な視聴者と同様の大きさである。LFディスプレイシステム700は、コンテンツプロバイダからのホログラフィック広告の配信を制御するLFデジタルサイネージ環境の一部として実装され得る。
【0187】
LFディスプレイシステム700は、LFディスプレイシステム700の視聴者730を識別する。LFディスプレイシステム700は、視聴者プロファイリングモジュール(例えば、視聴者プロファイリングシステム528)を使用して、視聴者730を識別する。いくつかの実施形態では、視聴者プロファイリングモジュールは、視聴者730のキャプチャされた画像データを用いた画像認識技術を使用する。他の実施形態では、視聴者プロファイリングモジュールは、視聴者730の物理的識別トークンをスキャンすることができる識別スキャナをさらに採用する。例えば、視聴者730は、視聴者プロファイリングモジュールの1つ以上のRFIDスキャナ部分によってスキャンすることができるRFIDリストバンドを備えた遊園地にあり得る。次に、LFディスプレイシステム700は、データストア(例えば、データストア522)内の視聴者の視聴者プロファイルにアクセスすることができる。視聴者プロファイルは、視聴者に関する様々な特徴または情報を含み得る。特徴には、監視された動作から提供または推測された好みを含み得る。情報は、視聴者730にすでに提示されたホログラフィックコンテンツなどの履歴ログをさらに含み得る。次に、LFディスプレイシステム700は、ホログラフィックオブジェクト725を選択して、視聴者730に提示し得る。
【0188】
追跡システム(例えば、追跡システム550)は、ホログラフィックコンテンツを視聴者730に提供しながら、視聴者730を追跡する。追跡システムは、視聴者730の位置、視聴者730の視線、またはそれらの組み合わせを常に監視し得る。LFディスプレイシステム700は、追跡情報に従ってホログラフィックコンテンツの提示を更新し得る。例えば、LFディスプレイシステム700は、視聴者730がLFディスプレイシステム700の一方の側から他の側に移動していることを決定し得る。視聴者730の決定された動きに応じて、LFディスプレイシステム700は、ホログラフィックオブジェクト735の提示を更新して、視聴者730とともに一方の側から他の側に移動し得る。別の例では、視聴者730は、LFディスプレイモジュール720に対してほぼ垂直に立っていてもよい。視聴者730が視線を移すと、追跡システムは、視聴者の応答を監視し、視線を記録し得る。記録された視線に基づいて、LFディスプレイシステム700は、ホログラフィックオブジェクト735の提示を更新して、視聴者730の視線を追跡し得る。例えば、視聴者730の視線と交差するホログラフィックオブジェクトボリューム内の位置に修正されたホログラフィックコンテンツを提示する。
【0189】
1つ以上の実施形態では、LFディスプレイシステム700は、ホログラフィックコンテンツで感覚フィードバックを提供するための感覚フィードバックシステム(例えば、感覚フィードバックシステム540)を含む。感覚フィードバックシステムは、データストア(例えば、データストア522)に記憶されたパラメータに従って感覚フィードバックを生成し得る。場合によっては、各ホログラフィックオブジェクトは、LFディスプレイモジュール720によるホログラフィックオブジェクトの提示と並行して感覚フィードバックの提示を指示するパラメータを有し得る。例えば、ホログラフィックニワトリを提示する場合、感覚フィードバックシステムは、感覚フィードバックパラメータを含む命令を受信し、ビューイングボリューム内のホログラフィックニワトリの位置に近接した羽の触覚テクスチャを提示し得る。追加的に、感覚フィードバックシステムは、ニワトリの鳴き声(例えば、バック バック バック)に対応する音声フィードバックを提供し得る。次に、視聴者730は、より没入型の体験およびホログラフィックオブジェクト735との相互作用を提供する感覚フィードバックを知覚し得る。
【0190】
いくつかの実施形態では、LFディスプレイシステム700は、視聴者730からの入力を受信するように構成される。入力は、LFディスプレイモジュール720、感覚フィードバックシステム(例えば、感覚フィードバックシステム540)、追跡システム(例えば、追跡システム550)、視聴者プロファイリングモジュール(例えば、視聴者プロファイリングシステム528)、および追加の入力デバイス、の任意の組み合わせを介して受信され得る。受信される入力には、音声入力(例えば、視聴者からの音声入力)、追跡入力(例えば、追跡システムから追跡される視聴者によるジェスチャ)、ボタン入力(例えば、リモコンで押されたボタン、またはタッチスクリーンディスプレイなど)、またはそれらの任意の組み合わせ、を含み得るが、これらに限定されない。受信した入力に応じて、LFディスプレイシステム700は、ホログラフィックコンテンツの提示を更新することができる。場合によっては、LFディスプレイシステム700は、LFディスプレイモジュール720によって提示されるホログラフィックコンテンツ、または感覚フィードバックアセンブリによって提供される感覚フィードバックコンテンツを含む、LFディスプレイシステム700によって提示されるホログラフィックコンテンツの表示を変更するためのいくつかの入力を関連付け得る。
【0191】
LFディスプレイシステム700によって提示されるホログラフィック広告を伴う実施形態では、LFディスプレイシステム700は、ホログラフィック広告の提示を変換するための入力を受信し得る。ホログラフィック広告を提示するとき、LFディスプレイシステム700はまた、コンバージョンの機会として視聴者730にオプションを提示し得る。視聴者730は、LFディスプレイシステム700への入力を提供し得る。例えば、LFディスプレイシステム700は、視聴者730がホログラフィックオブジェクト735を購入したい場合、視聴者730に手を上げるように促す。追跡システムは、視聴者730を追跡し、視聴者730が手を上げたことを決定し得る。上げられた手は、追跡システム730によって入力として受信される。それに応答して、LFディスプレイシステム700は、ホログラフィック広告のコンバージョンを処理するために追加のホログラフィックコンテンツを提示する。例えば、LFディスプレイシステム700は、視聴者730がホログラフィックオブジェクト735の購入を完了することを可能にするためのホログラフィックウェブページを提示し得る。
【0192】
1つ以上の実施形態では、ホログラフィックオブジェクト735は、視聴者730に提示されるホログラフィック広告である。したがって、LFディスプレイシステム700は、視聴者730へのホログラフィック広告の提示のインスタンスを記録する。ホログラフィック広告は、デジタル資産または物理的な商品およびサービス、ホログラフィック映画、ホログラフィックショー、他のホログラフィックコンテンツなどのためのものであり得る。他の実施形態では、ホログラフィックオブジェクト735は、それぞれの視聴者に情報を提供する情報パネルであり得る。情報には、ウェルカムサイン、施設の名前、道順が記載された地図、様々なもの(例えば、物、店、レストラン、およびトイレ)の場所などを含み得るが、これらに限定されない。
追加の構成情報
【0193】
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。
【0194】
本明細書のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現の観点から、本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の当業者によって、自らの作業の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的、計算的、または論理的に説明される一方、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、これらの操作の配置を、一般性を損なうことなく、モジュールと呼ぶことが場合によっては好都合であることも判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具現化され得る。
【0195】
本明細書に記載の工程、操作、またはプロセスのうちのいずれかが、1つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独で、または他のデバイスと組み合わせて、実行または実装され得る。一実施形態では、ソフトウェアモジュールは、説明された工程、操作、またはプロセスのうちのいずれかまたはすべてを実行するために、コンピュータプロセッサによって実行され得るコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
【0196】
本開示の実施形態はまた、本明細書の操作を実行するための装置に関し得る。この装置は、要求された目的のために特別に構築され得、および/または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
【0197】
本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生み出される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品もしくは他のデータの組み合わせの任意の実施形態を含み得る。
【0198】
最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。
図1
図2A
図2B
図3A
図3B
図4A
図4B
図4C
図4D
図4E
図4F
図5A
図5B
図6
図7
【手続補正書】
【提出日】2022-08-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ホログラフィックコンテンツを生成するように構成されたコントローラと、
公共の場で、ビューイングボリューム内に位置する視聴者に、ホログラフィックオブジェクトボリューム内の前記ホログラフィックコンテンツを提示するように構成されている1つ以上のLFディスプレイモジュールを備えるLFディスプレイアセンブリと、
を備える、ライトフィールド(LF)ディスプレイシステム。
【請求項2】
前記ホログラフィックコンテンツは、
広告と、
発表と、
公共サービスのアラートと、
ニュースに関する情報と、
天気に関する情報と、
会場に関する情報と、
交通状況や交通量状況に関する情報と、
企業体に関する情報と、
イベントの放送と、
パフォーマンスと、
芸術的コンテンツと、
のうちの1つ以上を備える、請求項1に記載のLFディスプレイシステム。
【請求項3】
前記1つ以上のLFディスプレイモジュールは、前記ホログラフィックオブジェクトボリューム内の追加のホログラフィックコンテンツを、前記ビューイングボリュームとは異なる第2のビューイングボリューム内に位置する第2の視聴者に提示するようにさらに構成される、請求項1または2に記載のLFディスプレイシステム。
【請求項4】
前記ホログラフィックコンテンツは、前記ビューイングボリュームからは見ることができるが、前記第2のビューイングボリュームからは見ることができない、請求項3に記載のLFディスプレイシステム。
【請求項5】
視聴者の動きを追跡するように構成された追跡システムをさらに備え、前記ビューイングボリュームおよび前記第2のビューイングボリュームは、前記視聴者の追跡された動きに基づいて定義される、請求項4に記載のLFディスプレイシステム。
【請求項6】
前記LFディスプレイシステムの前記ビューイングボリューム内の前記視聴者の動きの追跡、
前記ホログラフィックコンテンツに対する前記視聴者の応答の監視、
前記LFディスプレイシステムの前記ビューイングボリューム内の前記視聴者の特徴を決定、
の1つ以上を実行するように構成された追跡システムをさらに備える、請求項1から5のいずれか一項に記載のLFディスプレイシステム。
【請求項7】
前記追跡システムは、前記1つ以上のLFディスプレイモジュールの前の領域の画像をキャプチャするように構成された1つ以上のカメラを備える、請求項6に記載のLFディスプレイシステム。
【請求項8】
前記1つ以上のカメラは、前記LFディスプレイアセンブリの外部にある、請求項7に記載のLFディスプレイシステム。
【請求項9】
前記1つ以上のLFディスプレイモジュールは、前記1つ以上のLFディスプレイモジュールの前の領域からのライトフィールドをキャプチャするようにさらに構成される、請求項6から8のいずれか一項に記載のLFディスプレイシステム。
【請求項10】
前記LFディスプレイアセンブリは、前記1つ以上のLFディスプレイモジュールによってキャプチャされた前記1つ以上のLFディスプレイモジュールの前の前記領域からの前記ライトフィールドに基づいて入力を受信するようにさらに構成される、請求項9に記載のLFディスプレイシステム。
【請求項11】
前記追跡システムは、前記1つ以上のLFディスプレイモジュールの前のオブジェクトの深さを検出するように構成された1つ以上の深度センサを備える、請求項6から10のいずれか一項に記載のLFディスプレイシステム。
【請求項12】
前記追跡される動きは、前記視聴者が前記ビューイングボリューム内で移動する速度を含み、前記LFディスプレイアセンブリは、前記視聴者の前記速度に基づいて前記ホログラフィックコンテンツの提示を更新するように構成される、請求項6から11のいずれか一項に記載のLFディスプレイシステム。
【請求項13】
前記ホログラフィックコンテンツは、前記視聴者の前記速度に基づいて、前記視聴者の前の前記ホログラフィックオブジェクトボリューム内の位置に提示される、請求項12に記載のLFディスプレイシステム。
【請求項14】
前記視聴者の前記監視された応答は、
前記ビューイングボリューム内の前記視聴者の位置と、
前記視聴者の動きと、
前記視聴者のジェスチャと、
前記視聴者の顔の表情と、
前記視聴者の視線と、
のうちの1つ以上を含む、請求項6から13のいずれか一項に記載のLFディスプレイシステム。
【請求項15】
前記LFディスプレイアセンブリは、前記視聴者の前記監視された応答に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、請求項14に記載のLFディスプレイシステム。
【請求項16】
前記視聴者の前記監視された応答は、ネットワーク上のデバイスと共有される、請求項14または15に記載のLFディスプレイシステム。
【請求項17】
前記視聴者の前記監視された応答は、前記視聴者の視線を含み、前記LFディスプレイアセンブリは、前記視聴者の前記視線に基づいて、前記ホログラフィックコンテンツを提示するように構成される、請求項6から16のいずれか一項に記載のLFディスプレイシステム。
【請求項18】
前記ホログラフィックコンテンツが、前記視聴者の前記視線と交差する前記ホログラフィックオブジェクトボリューム内の位置に提示される、請求項17に記載のLFディスプレイシステム。
【請求項19】
前記コントローラは、前記視聴者の前記視線に部分的に基づいてインプレッションが発生したことを決定するようにさらに構成される、請求項17または18に記載のLFディスプレイシステム。
【請求項20】
前記視聴者の前記決定された特徴は、前記視聴者の人口統計情報、職歴、学歴、性別、収入、購入に費やしたお金、趣味、場所、年齢、視聴履歴、アイテムに費やした時間、以前に閲覧したアイテムのカテゴリ、購入履歴、のうちの1つ以上を含む、請求項6から19のいずれか一項に記載のLFディスプレイシステム。
【請求項21】
前記LFディスプレイアセンブリは、前記視聴者の前記決定された特徴に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、請求項20に記載のLFディスプレイシステム。
【請求項22】
前記視聴者の前記決定された特徴は、ネットワーク上のデバイスと共有される、請求項20または21に記載のLFディスプレイシステム。
【請求項23】
前記視聴者の特徴を含む視聴者プロファイルを生成するように構成された視聴者プロファイリングモジュールをさらに備える、請求項1から22のいずれか一項に記載のLFディスプレイシステム。
【請求項24】
前記LFディスプレイアセンブリは、前記視聴者に対応する視聴者プロファイルの前記特徴に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、請求項23に記載のLFディスプレイシステム。
【請求項25】
前記LFディスプレイシステムは、前記ホログラフィックコンテンツの提示に応じて、入力を受信するように構成される、請求項1から24のいずれか一項に記載のLFディスプレイシステム。
【請求項26】
前記LFディスプレイアセンブリは、前記受信した入力に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、請求項25に記載のLFディスプレイシステム。
【請求項27】
前記入力は、前記ホログラフィックコンテンツに関連するコンバージョンに対応する、請求項25または26に記載のLFディスプレイシステム。
【請求項28】
前記LFディスプレイアセンブリは、前記受信した入力に基づいて前記コンバージョンを完了するために、後続のホログラフィックコンテンツを提示する、請求項27に記載のLFディスプレイシステム。
【請求項29】
前記コンバージョンは購入である、請求項28に記載のLFディスプレイシステム。
【請求項30】
前記ホログラフィックコンテンツは、
物理的な商品と、
デジタル資産と、
レンダリングされるサービスと、
のうちの1つ以上のホログラフィック広告である、請求項27から29のいずれか一項に記載のLFディスプレイシステム。
【請求項31】
前記1つ以上のLFディスプレイモジュールのそれぞれは、
複数のエネルギー源位置を提供するように構成されたエネルギーデバイス層と、
複数のエネルギー導波路を含み、各導波路は、4次元ライトフィールド関数に従って、ホログラフィックオブジェクトを形成するために、少なくとも1つのエネルギー源位置に応じた表示面から、少なくとも1つの特定の方向に、前記少なくとも1つのエネルギー源位置からのエネルギーを投影するように構成される、エネルギー導波路層と、
を備え、
前記ホログラフィックオブジェクトのビューイング視点は、前記ホログラフィックオブジェクトボリューム内の前記ホログラフィックオブジェクトに対する前記ビューイングボリュームにおける視聴者の位置に部分的に基づいて変化する、請求項1から30のいずれか一項に記載のLFディスプレイシステム。
【請求項32】
前記エネルギー導波路層は、
前記複数のエネルギー導波路に結合された静電スピーカのアレイをさらに備え、前記静電スピーカのアレイは、
駆動時に音響エネルギーを生成するように構成された少なくとも1つの透明膜と、
前記透明膜を音響的に駆動するように構成された複数の電極と、を備え、前記複数の電極の各電極は、前記複数のエネルギー導波路の1つ以上のエネルギー導波路の間に配置される、請求項31に記載のLFディスプレイシステム。
【請求項33】
前記1つ以上のLFディスプレイモジュールのそれぞれは、そこからホログラフィックオブジェクトが投影される表示面を有し、シームレスな表示面が、前記1つ以上のLFディスプレイモジュールの前記表示面をタイル張りすることによって形成される、請求項1から32のいずれか一項に記載のLFディスプレイシステム。
【請求項34】
前記シームレスな表示面は、単一のLFディスプレイモジュールの前記表示面の表面積よりも大きい、請求項33に記載のLFディスプレイシステム。
【請求項35】
1つ以上の感覚フィードバックデバイスを備え、ホログラフィックオブジェクトと同時に感覚フィードバックを提供するように構成された感覚フィードバックシステムをさらに備える、請求項1から34のいずれか一項に記載のLFディスプレイシステム。
【請求項36】
前記感覚フィードバックは、触覚フィードバック、音声フィードバック、芳香フィードバック、温度フィードバック、またはそれらの任意の組み合わせを含む、請求項35に記載のLFディスプレイシステム。
【請求項37】
前記感覚フィードバックシステムは、前記ホログラフィックオブジェクトに触覚フィードバックを提供するための超音波エネルギー投影デバイスを備え、前記超音波エネルギー投影デバイスは、前記ホログラフィックオブジェクトの表面に近接して、または前記ホログラフィックオブジェクトの表面と一致する体積触覚表面を生成するように構成される、請求項35または36に記載のLFディスプレイシステム。
【請求項38】
前記ホログラフィックコンテンツは、テクスチャを備えた物理的アイテムの表現であり、前記体積触覚表面は、前記物理的アイテムの前記テクスチャをシミュレートする、請求項37に記載のLFディスプレイシステム。
【請求項39】
前記体積触覚表面を生成するデバイスは、前記LFディスプレイアセンブリの一部である、請求項37または38に記載のLFディスプレイシステム。
【請求項40】
前記LFディスプレイシステムは、
ネットワークを介して前記LFディスプレイシステムに接続され、および前記ホログラフィックコンテンツを前記視聴者に提示するため前記LFディスプレイシステムに提供するように構成されているサイネージコントロールシステムを備える、LFデジタルサイネージ環境の構成要素である、請求項1から39のいずれか一項に記載のLFディスプレイシステム。
【請求項41】
前記ホログラフィックコンテンツは、
広告と、
発表と、
公共サービスのアラートと、
ニュースに関する情報と、
天気に関する情報と、
会場に関する情報と、
交通状況や交通量状況に関する情報と、
企業体に関する情報と、
イベントの放送と、
パフォーマンスと、
芸術的コンテンツと、
のうちの1つ以上を備える、請求項40に記載のLFディスプレイシステム。
【請求項42】
前記LFディスプレイシステムは、前記ネットワークを介して符号化されたフォーマットで前記ホログラフィックコンテンツを受信するように構成され、さらに、前記ホログラフィックコンテンツを前記視聴者に提示するためのフォーマットに復号するように構成される、請求項40または41に記載のLFディスプレイシステム。
【請求項43】
前記符号化されたフォーマットは、ベクトル化されたフォーマットであり、前記復号されたフォーマットは、ラスタライズされたフォーマットである、請求項42に記載のLFディスプレイシステム。
【請求項44】
前記ホログラフィックコンテンツは、前記LFディスプレイシステムのハードウェア構成に基づいて提示される、請求項1から43のいずれか一項に記載のLFディスプレイシステム。
【請求項45】
前記ハードウェア構成は、
解像度と、
1度当たりの投影光線数と、
視野と、
表示面の偏向角と、
前記表示面の次元と、
の1つ以上を備える、請求項44に記載のLFディスプレイシステム。
【請求項46】
ライトフィールド(LF)ディスプレイシステムのビューイングボリューム内の視聴者の動きを追跡することと、
前記追跡された動きに部分的に基づいて、前記視聴者が前記ビューイングボリューム内にいると決定することと、
前記LFディスプレイシステムの1つ以上のLFディスプレイモジュールを介して、前記視聴者が前記ビューイングボリューム内にいるという決定に部分的に基づいて、ホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを前記視聴者に提示することと、
を含む方法。
【請求項47】
前記視聴者が前記ビューイングボリューム内にいるという前記決定に基づいて、前記LFディスプレイシステムの前記視聴者にホログラフィックコンテンツを提示する機会を特定することと、
コンテンツストアから、前記ホログラフィックコンテンツを選択することであって、前記ホログラフィックコンテンツはパラメータのセットを含む、選択することと、
前記パラメータのセットに基づいて、前記ホログラフィックコンテンツの表示命令を生成することと、をさらに含み、
前記ホログラフィックコンテンツを前記視聴者に提示することは、前記パラメータのセットにさらに基づく、請求項46に記載の方法。
【請求項48】
前記ビューイングボリューム内の前記視聴者の動きを追跡することと、
前記ホログラフィックコンテンツに対する前記視聴者の応答を監視することと、
前記ビューイングボリューム内の前記視聴者の特徴を決定することと、のうちの1つ以上をさらに含む、請求項46または47に記載の方法。
【請求項49】
前記視聴者の前記監視された応答に基づいて、インプレッションの発生を判断することをさらに含む、請求項48に記載の方法。
【請求項50】
前記視聴者の前記追跡された動き、前記視聴者の前記監視された応答、および前記視聴者の決定された前記特徴のうちの1つ以上に応じて、前記ホログラフィックコンテンツの提示を更新することをさらに含む、請求項48または49に記載の方法。
【請求項51】
前記ホログラフィックコンテンツの提示に応じて、前記視聴者から入力を受信することをさらに含む、請求項46から50のいずれか一項に記載の方法。
【請求項52】
前記視聴者の前記応答を監視することは、前記視聴者の視線を記録することを含み、前記方法は、
前記視聴者の前記視線と交差する前記ホログラフィックオブジェクトボリューム内の位置に、修正されたホログラフィックコンテンツを提示することをさらに含む、請求項48に記載の方法。
【請求項53】
前記視聴者の前記視線に部分的に基づいてインプレッションが発生したかどうかを決定することをさらに含む、請求項52に記載の方法。
【請求項54】
前記ホログラフィックコンテンツに関連付けられたコンバージョンに対応する入力を受信することと、
前記受信した入力に基づいて、前記コンバージョンを完了するための後続のホログラフィックコンテンツを提示することと、をさらに含む、請求項46から53のいずれか一項に記載の方法。
【請求項55】
請求項1から45のいずれか一項に記載のLFディスプレイシステムを1つ以上備えるLFデジタルサイネージシステム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0198
【補正方法】変更
【補正の内容】
【0198】
最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。
(項目1)
ホログラフィックコンテンツを生成するように構成されたコントローラと、
公共の場で、ビューイングボリューム内に位置する視聴者に、ホログラフィックオブジェクトボリューム内の前記ホログラフィックコンテンツを提示するように構成されている1つ以上のLFディスプレイモジュールを備えるLFディスプレイアセンブリと、
を備える、ライトフィールド(LF)ディスプレイシステム。
(項目2)
前記ホログラフィックコンテンツは、
広告と、
発表と、
公共サービスのアラートと、
ニュースに関する情報と、
天気に関する情報と、
会場に関する情報と、
交通状況や交通量状況に関する情報と、
企業体に関する情報と、
イベントの放送と、
パフォーマンスと、
芸術的コンテンツと、
のうちの1つ以上を備える、項目1に記載のLFディスプレイシステム。
(項目3)
前記1つ以上のLFディスプレイモジュールは、前記ホログラフィックオブジェクトボリューム内の追加のホログラフィックコンテンツを、前記ビューイングボリュームとは異なる第2のビューイングボリューム内に位置する第2の視聴者に提示するようにさらに構成される、項目1に記載のLFディスプレイシステム。
(項目4)
前記ホログラフィックコンテンツは、前記ビューイングボリュームからは見ることができるが、前記第2のビューイングボリュームからは見ることができない、項目3に記載のLFディスプレイシステム。
(項目5)
視聴者の動きを追跡するように構成された追跡システムをさらに備え、前記ビューイングボリュームおよび前記第2のビューイングボリュームは、前記視聴者の追跡された動きに基づいて定義される、項目4に記載のLFディスプレイシステム。
(項目6)
前記LFディスプレイシステムの前記ビューイングボリューム内の前記視聴者の動きの追跡、
前記ホログラフィックコンテンツに対する前記視聴者の応答の監視、
前記LFディスプレイシステムの前記ビューイングボリューム内の前記視聴者の特徴を決定、
の1つ以上を実行するように構成された追跡システムをさらに備える、項目1に記載のLFディスプレイシステム。
(項目7)
前記追跡システムは、前記1つ以上のLFディスプレイモジュールの前の領域の画像をキャプチャするように構成された1つ以上のカメラを備える、項目6に記載のLFディスプレイシステム。
(項目8)
前記1つ以上のカメラは、前記LFディスプレイアセンブリの外部にある、項目7に記載のLFディスプレイシステム。
(項目9)
前記1つ以上のLFディスプレイモジュールは、前記1つ以上のLFディスプレイモジュールの前の領域からのライトフィールドをキャプチャするようにさらに構成される、項目6に記載のLFディスプレイシステム。
(項目10)
前記LFディスプレイアセンブリは、前記1つ以上のLFディスプレイモジュールによってキャプチャされた前記1つ以上のLFディスプレイモジュールの前の前記領域からの前記ライトフィールドに基づいて入力を受信するようにさらに構成される、項目9に記載のLFディスプレイシステム。
(項目11)
前記追跡システムは、前記1つ以上のLFディスプレイモジュールの前のオブジェクトの深さを検出するように構成された1つ以上の深度センサを備える、項目6に記載のLFディスプレイシステム。
(項目12)
前記追跡される動きは、前記視聴者が前記ビューイングボリューム内で移動する速度を含み、前記LFディスプレイアセンブリは、前記視聴者の前記速度に基づいて前記ホログラフィックコンテンツの提示を更新するように構成される、項目6に記載のLFディスプレイシステム。
(項目13)
前記ホログラフィックコンテンツは、前記視聴者の前記速度に基づいて、前記視聴者の前の前記ホログラフィックオブジェクトボリューム内の位置に提示される、項目12に記載のLFディスプレイシステム。
(項目14)
前記視聴者の前記監視された応答は、
前記ビューイングボリューム内の前記視聴者の位置と、
前記視聴者の動きと、
前記視聴者のジェスチャと、
前記視聴者の顔の表情と、
前記視聴者の視線と、
のうちの1つ以上を含む、項目6に記載のLFディスプレイシステム。
(項目15)
前記LFディスプレイアセンブリは、前記視聴者の前記監視された応答に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、項目14に記載のLFディスプレイシステム。
(項目16)
前記視聴者の前記監視された応答は、ネットワーク上のデバイスと共有される、項目14に記載のLFディスプレイシステム。
(項目17)
前記視聴者の前記監視された応答は、前記視聴者の視線を含み、前記LFディスプレイアセンブリは、前記視聴者の前記視線に基づいて、前記ホログラフィックコンテンツを提示するように構成される、項目6に記載のLFディスプレイシステム。
(項目18)
前記ホログラフィックコンテンツが、前記視聴者の前記視線と交差する前記ホログラフィックオブジェクトボリューム内の位置に提示される、項目17に記載のLFディスプレイシステム。
(項目19)
前記コントローラは、前記視聴者の前記視線に部分的に基づいてインプレッションが発生したことを決定するようにさらに構成される、項目17に記載のLFディスプレイシステム。
(項目20)
前記視聴者の前記決定された特徴は、前記視聴者の人口統計情報、職歴、学歴、性別、収入、購入に費やしたお金、趣味、場所、年齢、視聴履歴、アイテムに費やした時間、以前に閲覧したアイテムのカテゴリ、購入履歴、のうちの1つ以上を含む、項目6に記載のLFディスプレイシステム。
(項目21)
前記LFディスプレイアセンブリは、前記視聴者の前記決定された特徴に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、項目20に記載のLFディスプレイシステム。
(項目22)
前記視聴者の前記決定された特徴は、前記ネットワーク上のデバイスと共有される、項目20に記載のLFディスプレイシステム。
(項目23)
前記視聴者の特徴を含む視聴者プロファイルを生成するように構成された視聴者プロファイリングモジュールをさらに備える、項目1に記載のLFディスプレイシステム。
(項目24)
前記LFディスプレイアセンブリは、前記視聴者に対応する視聴者プロファイルの前記特徴に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、項目23に記載のLFディスプレイシステム。
(項目25)
前記LFディスプレイシステムは、前記ホログラフィックコンテンツの提示に応じて、入力を受信するように構成される、項目1に記載のLFディスプレイシステム。
(項目26)
前記LFディスプレイアセンブリは、前記受信した入力に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、項目25に記載のLFディスプレイシステム。
(項目27)
前記入力は、前記ホログラフィックコンテンツに関連するコンバージョンに対応する、項目25に記載のLFディスプレイシステム。
(項目28)
前記LFディスプレイアセンブリは、前記受信した入力に基づいて前記コンバージョンを完了するために、後続のホログラフィックコンテンツを提示する、項目27に記載のLFディスプレイシステム。
(項目29)
前記コンバージョンは購入である、項目28に記載のLFディスプレイシステム。
(項目30)
前記ホログラフィックコンテンツは、
物理的な商品と、
デジタル資産と、
レンダリングされるサービスと、
のうちの1つ以上のホログラフィック広告である、項目27に記載のLFディスプレイシステム。
(項目31)
前記1つ以上のLFディスプレイモジュールのそれぞれは、
複数のエネルギー源位置を提供するように構成されたエネルギーデバイス層と、
複数のエネルギー導波路を含み、各導波路は、4次元ライトフィールド関数に従って、前記ホログラフィックオブジェクトを形成するために、前記エネルギー源位置に応じた表示面から、少なくとも1つの特定の方向に、少なくとも1つのエネルギー源位置からのエネルギーを投影するように構成される、エネルギー導波路層と、
を備え、
前記ホログラフィックオブジェクトのビューイング視点は、前記ホログラフィックオブジェクトボリューム内の前記ホログラフィックオブジェクトに対する前記ビューイングボリュームにおける視聴者の位置に部分的に基づいて変化する、項目1に記載のLFディスプレイシステム。
(項目32)
前記エネルギー導波路層は、
前記複数のエネルギー導波路に結合された静電スピーカのアレイをさらに備え、前記静電スピーカのアレイは、
駆動時に音響エネルギーを生成するように構成された少なくとも1つの透明膜と、
前記透明膜を音響的に駆動するように構成された複数の電極と、を備え、前記複数の電極の各電極は、前記複数のエネルギー導波路の1つ以上のエネルギー導波路の間に配置される、項目31に記載のLFディスプレイシステム。
(項目33)
前記1つ以上のLFディスプレイモジュールのそれぞれは、そこからホログラフィックオブジェクトが投影される表示面を有し、シームレス表示面が、前記1つ以上のLFディスプレイモジュールの前記表示面をタイル張りすることによって形成される、項目1に記載のLFディスプレイシステム。
(項目34)
前記シームレスな表示面は、単一のLFディスプレイモジュールの前記表示面の表面積よりも大きい、項目33に記載のLFディスプレイシステム。
(項目35)
1つ以上の感覚フィードバックデバイスを備え、前記ホログラフィックオブジェクトと同時に感覚フィードバックを提供するように構成された感覚フィードバックシステムをさらに備える、項目1に記載のLFディスプレイシステム。
(項目36)
前記感覚フィードバックは、触覚フィードバック、音声フィードバック、芳香フィードバック、温度フィードバック、またはそれらの任意の組み合わせを含む、項目35に記載のLFディスプレイシステム。
(項目37)
前記感覚フィードバックシステムは、前記ホログラフィックオブジェクトに触覚フィードバックを提供するための超音波エネルギー投影デバイスを備え、前記超音波エネルギー投影デバイスは、前記ホログラフィックオブジェクトの表面に近接して、または前記ホログラフィックオブジェクトの表面と一致する体積触覚表面を生成するように構成される、項目35に記載のLFディスプレイシステム。
(項目38)
前記ホログラフィックコンテンツは、テクスチャを備えた物理的アイテムの表現であり、前記体積触覚表面は、前記物理的アイテムの前記テクスチャをシミュレートする、項目37に記載のLFディスプレイシステム。
(項目39)
前記体積触覚投影デバイスは、前記LFディスプレイアセンブリの一部である、項目37に記載のLFディスプレイシステム。
(項目40)
前記LFディスプレイシステムは、
ネットワークを介して前記LFディスプレイシステムに接続され、および前記ホログラフィックコンテンツを前記視聴者に提示するため前記LFディスプレイシステムに提供するように構成されているサイネージコントロールシステムを備える、LFデジタルサイネージ環境の構成要素である、項目1に記載のLFディスプレイシステム。
(項目41)
前記ホログラフィックコンテンツは、
広告と、
発表と、
公共サービスのアラートと、
ニュースに関する情報と、
天気に関する情報と、
会場に関する情報と、
交通状況や交通量状況に関する情報と、
企業体に関する情報と、
イベントの放送と、
パフォーマンスと、
芸術的コンテンツと、
のうちの1つ以上を備える、項目40に記載のLFディスプレイシステム。
(項目42)
前記LFディスプレイシステムは、前記ネットワークを介して符号化されたフォーマットで前記ホログラフィックコンテンツを受信するように構成され、さらに、前記ホログラフィックコンテンツを前記視聴者に提示するためのフォーマットに復号するように構成される、項目40に記載のLFディスプレイシステム。
(項目43)
前記符号化されたフォーマットは、ベクトル化されたフォーマットであり、前記復号されたフォーマットは、ラスタライズされたフォーマットである、項目42に記載のLFディスプレイシステム。
(項目44)
前記ホログラフィックコンテンツは、前記LFディスプレイシステムのハードウェア構成に基づいて提示される、項目1に記載のLFディスプレイシステム。
(項目45)
前記ハードウェア構成は、
解像度と、
1度当たりの投影光線数と、
視野と、
前記表示面の偏向角と、
前記表示面の次元と、
の1つ以上を備える、項目44に記載のLFディスプレイシステム。
(項目46)
ライトフィールド(LF)ディスプレイシステムのビューイングボリューム内の視聴者の動きを追跡することと、
前記追跡された動きに部分的に基づいて、前記視聴者が前記ビューイングボリューム内にいると決定することと、
前記LFディスプレイシステムの1つ以上のLFディスプレイモジュールを介して、前記視聴者が前記ビューイングボリューム内にいるという決定に部分的に基づいて、ホログラフィックオブジェクトボリューム内のホログラフィックコンテンツを前記視聴者に提示することと、
を含む方法。
(項目47)
前記視聴者が前記ビューイングボリューム内にいるという前記決定に基づいて、前記LFディスプレイシステムの前記視聴者にホログラフィックコンテンツを提示する機会を特定することと、
コンテンツストアから、前記ホログラフィックコンテンツを選択することであって、前記ホログラフィックコンテンツはパラメータのセットを含む、選択することと、
前記パラメータのセットに基づいて、前記ホログラフィックコンテンツの表示命令を生成することと、をさらに含み、
前記ホログラフィックコンテンツを前記視聴者に提示することは、前記パラメータのセットにさらに基づく、項目46に記載の方法。
(項目48)
前記ビューイングボリューム内の前記視聴者の動きを追跡することと、
前記ホログラフィックコンテンツに対する前記視聴者の応答を監視することと、
前記ビューイング内の前記視聴者の特徴を決定することと、のうちの1つ以上をさらに含む、項目46に記載の方法。
(項目49)
前記視聴者の前記監視された応答に基づいて、インプレッションの発生を判断することをさらに含む、項目48に記載の方法。
(項目50)
前記視聴者の前記追跡された動き、前記視聴者の前記監視された応答、および前記視聴者の決定された前記特徴のうちの1つ以上に応じて、前記ホログラフィックコンテンツの提示を更新することをさらに含む、項目48に記載の方法。
(項目51)
前記ホログラフィックコンテンツの提示に応じて、前記視聴者から入力を受信することをさらに含む、項目46に記載の方法。
(項目52)
前記視聴者の前記応答を監視することは、前記視聴者の視線を記録することを含み、前記方法は、
前記視聴者の前記視線と交差する前記ホログラフィックオブジェクトボリューム内の位置に、修正されたホログラフィックコンテンツを提示することをさらに含む、項目48に記載の方法。
(項目53)
前記視聴者の前記視線に部分的に基づいてインプレッションが発生したかどうかを決定することをさらに含む、項目52に記載の方法。
(項目54)
前記ホログラフィックコンテンツに関連付けられたコンバージョンに対応する入力を受信することと、
前記受信した入力に基づいて、前記コンバージョンを完了するための後続のホログラフィックコンテンツを提示することと、をさらに含む、項目46に記載の方法。
(項目55)
1つ以上のクライアントLFディスプレイシステムを備えるライトフィールド(LF)デジタルサイネージシステムであって、各ディスプレイシステムは、
ホログラフィックコンテンツの配信を仲介するように構成されたオンラインシステムからネットワークを介してホログラフィックコンテンツを受信するように構成されたコントローラと、
1つ以上のLFディスプレイモジュールを備えるLFディスプレイアセンブリであって、前記LFディスプレイモジュールは、前記ホログラフィックコンテンツをホログラフィックオブジェクトボリューム内のデジタルサイネージとしてビューイングボリューム内に配置された視聴者に表示するように構成された、LFディスプレイアセンブリと、
を備える、LFデジタルサイネージシステム。
(項目56)
前記1つ以上のクライアントLFディスプレイシステムは、追跡システムをさらに備え、前記追跡システムは、
前記ホログラフィックコンテンツに対する前記視聴者の応答の監視と、
前記ビューイングボリューム内の前記視聴者の特徴を決定することと、
の1つ以上を実行するように構成される、項目55に記載のLFデジタルサイネージシステム。
(項目57)
前記視聴者の前記監視された応答は、
前記ビューイングボリューム内の前記視聴者の位置と、
前記視聴者の動きと、
前記視聴者のジェスチャと、
前記視聴者の顔の表情と、
前記視聴者の視線と、
の1つ以上を含む、項目56に記載のLFデジタルサイネージシステム。
(項目58)
前記LFディスプレイアセンブリは、前記視聴者の前記監視された応答に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、項目56に記載のLFデジタルサイネージシステム。
(項目59)
前記視聴者の前記決められた特徴は、前記視聴者の人口統計情報、職歴、学歴、性別、収入、購入に費やしたお金、趣味、場所、年齢、視聴履歴、アイテムに費やした時間、以前に閲覧したアイテムのカテゴリ、および購入履歴、のうちの1つ以上を含む、項目56に記載のLFデジタルサイネージシステム。
(項目60)
前記LFディスプレイアセンブリは、前記視聴者の前記決定された特徴に応じて、前記ホログラフィックコンテンツの提示を更新するようにさらに構成される、項目56に記載のLFデジタルサイネージシステム。
(項目61)
前記視聴者の特徴を含む視聴者プロファイルを生成するように構成された視聴者プロファイリングモジュールをさらに備える、項目56に記載のLFデジタルサイネージシステム。
(項目62)
前記1つ以上のクライアントLFディスプレイシステムは、支払いと引き換えに、ホログラフィックコンテンツを受信する、項目55に記載のLFデジタルサイネージシステム。
(項目63)
前記ホログラフィックコンテンツは、前記クライアントLFディスプレイシステムのハードウェア構成に基づいて提示される、項目55に記載のLFデジタルサイネージシステム。
(項目64)
前記ハードウェア構成は、
解像度と、
1度当たりの投影光線数と、
視野と、
前記表示面の偏向角と、
前記表示面の次元と、
の1つ以上を含む、項目63に記載のLFデジタルサイネージシステム。
【誤訳訂正書】
【提出日】2022-12-09
【誤訳訂正1】
【訂正対象書類名】図面
【訂正対象項目名】全図
【訂正方法】変更
【訂正の内容】
図1
図2A
図2B
図3A
図3B
図4A
図4B
図4C
図4D
図4E
図4F
図5A
図5B
図6
図7
【国際調査報告】