IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エンヴィニクス リミテッドの特許一覧

<>
  • 特開-画像の歪み 図1
  • 特開-画像の歪み 図2A
  • 特開-画像の歪み 図2B
  • 特開-画像の歪み 図2C
  • 特開-画像の歪み 図3
  • 特開-画像の歪み 図4
  • 特開-画像の歪み 図5
  • 特開-画像の歪み 図6A
  • 特開-画像の歪み 図6B
  • 特開-画像の歪み 図7
  • 特開-画像の歪み 図8
  • 特開-画像の歪み 図9
  • 特開-画像の歪み 図10
  • 特開-画像の歪み 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167160
(43)【公開日】2024-12-03
(54)【発明の名称】画像の歪み
(51)【国際特許分類】
   G03H 1/22 20060101AFI20241126BHJP
   G03B 21/00 20060101ALI20241126BHJP
   G03B 21/14 20060101ALI20241126BHJP
   G02B 27/01 20060101ALI20241126BHJP
【FI】
G03H1/22
G03B21/00 D
G03B21/14 Z
G02B27/01
【審査請求】有
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024065215
(22)【出願日】2024-04-15
(31)【優先権主張番号】2306604.6
(32)【優先日】2023-05-04
(33)【優先権主張国・地域又は機関】GB
(71)【出願人】
【識別番号】519027213
【氏名又は名称】エンヴィシクス リミテッド
(74)【代理人】
【識別番号】100116850
【弁理士】
【氏名又は名称】廣瀬 隆行
(74)【代理人】
【識別番号】100165847
【弁理士】
【氏名又は名称】関 大祐
(72)【発明者】
【氏名】トーマス クレスペル
(72)【発明者】
【氏名】ロリー クーニー
(57)【要約】      (修正有)
【課題】ホログラフィックプロジェクタによって引き起こされる歪みを補償するためにターゲット画像を事前に歪ませるための歪みマップを計算する。
【解決手段】ホログラフィックプロジェクタによって投影されるターゲット画像を歪ませて温度の変化を補償するものであり、それぞれのマッピングが、二次元座標の配列を変換して、所定の温度における歪みを補償するベクトルを含むベクトルの配列を受け取り、それぞれのベクトルが所定の温度範囲にわたるそれぞれの二次元座標の校正された変化を表し、現在の温度と所定の温度との差に基づいてスケーリング係数を求め、スケーリングされたベクトルを出力しマッピングに適用することによって、現在の温度に基づいて修正されたマップを計算し、修正されたマップを出力する。
【選択図】図9
【特許請求の範囲】
【請求項1】
リアルタイムでマップを計算する方法であって、前記マップが、ホログラフィックプロジェクタによって投影されるターゲット画像を歪ませて、前記ホログラフィックプロジェクタの現在の温度の変化を補償するためのものであり、
複数のマッピングを含む校正されたマップを受け取るステップであって、それぞれのマッピングが、二次元座標の配列のそれぞれの二次元座標を変換して、所定の温度における歪みを補償するものであり、それぞれの二次元座標が、ターゲット画像の一つまたは複数の画像点に対応するステップと、
それぞれの二次元座標に対するベクトルを含むベクトルの配列を受け取るステップであって、それぞれのベクトルが、所定の温度範囲にわたるそれぞれの二次元座標の校正された変化を表すステップと、
前記ホログラフィックプロジェクタの現在の温度を受け取るステップと、
前記現在の温度と前記所定の温度との差に基づいてスケーリング係数を求めるステップと、
前記二次元座標の配列のそれぞれの座標について、現在の気温に基づいて修正されたマップを計算するステップと、
前記二次元座標の配列の前記それぞれの座標に関連するベクトルに前記スケーリング係数を乗算して、スケーリングされたベクトルを出力することと、
前記スケーリングされたベクトルを、前記校正されたマップの前記それぞれのマッピングに適用することによって、
前記修正されたマップを出力するステップと、
を含む方法。
【請求項2】
前記スケーリング係数が、温度に対して線形依存性を有する、請求項1に記載の方法。
【請求項3】
前記スケーリング係数を求めるステップが、前記現在の温度と前記所定の温度との差を求めることと、その差を前記所定の温度範囲で除算することとを含む、請求項2に記載の方法。
【請求項4】
前記スケーリング係数が、(T-T)/(Tmax-Tmin)に等しく、Tは前記現在の温度、Tは前記所定の温度、Tmaxは前記所定の温度範囲の最高温度、Tminは前記所定の温度範囲の最低温度である、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記二次元座標の配列を受け取るステップをさらに含む、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記修正されたマップを前記二次元座標の配列に適用して、修正された二次元座標の配列を出力するステップをさらに含む、請求項1から5のいずれか一項に記載の方法。
【請求項7】
複数の画像点を含むターゲット画像を受け取ることであって、前記二次元座標の配列のそれぞれの二次元座標が、前記ターゲット画像の一つまたは複数の画像点に対応する、受け取ることと、
前記修正された二次元座標の配列に基づいて、前記ターゲット画像をあらかじめ歪めることと、
をさらに含む、請求項6に記載の方法。
【請求項8】
前記あらかじめ歪められたターゲット画像のホログラムを計算することをさらに含む、請求項7に記載の方法。
【請求項9】
前記ターゲット画像が第1のターゲット画像であり、前記二次元座標の配列が第1の二次元座標の配列であり、前記校正されたマップが第1の校正されたマップであり、前記ベクトルの配列が第1のベクトルの配列であり、前記修正されたマップが第1の修正されたマップであり、
前記ホログラフィックプロジェクタによって投影される第2のターゲット画像を歪めるための第2のマップを、
複数の第2のマッピングを含む第2の校正されたマップを受け取ることであって、それぞれの第2のマッピングが、第2の二次元座標の配列のそれぞれの二次元座標を変換して、所定の温度における歪みを補償するものであり、それぞれの二次元座標が、ターゲット画像の一つまたは複数の画像点に対応することと、
それぞれの二次元座標に対するベクトルを含む第2のベクトルの配列を受け取ることであって、前記第2の配列のそれぞれのベクトルが、所定の温度範囲にわたるそれぞれの二次元座標の校正された変化を表すことと、
前記第2の二次元座標の配列のそれぞれの座標について、
前記第2の二次元座標の配列の前記それぞれの座標に関連するベクトルに前記スケーリング係数を乗算して、スケーリングされたベクトルを出力することと、
前記スケーリングされたベクトルを、前記第2の校正されたマップの前記それぞれのマッピングに適用することによって、前記現在の温度に基づいて第2の修正されたマップを計算することと、
前記第2の修正されたマップを出力することと、
によって計算することをさらに含む、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記第1の校正されたマップのマッピングおよび前記第1のベクトルの配列のベクトルが、前記第1のターゲット画像のホログラフィック投影において第1の波長が使用されるときのために求められている、請求項9に記載の方法。
【請求項11】
前記第2の校正されたマップの前記マッピングおよび前記第2のベクトルの配列の前記ベクトルが、前記第2のターゲット画像のホログラフィック投影において第2の波長が使用されるときのために求められている、請求項10に記載の方法。
【請求項12】
前記第2の修正されたマップを前記第2の二次元座標の配列に適用して、第2の二次元座標の修正された配列を出力することをさらに含む、請求項9から11のいずれか一項に記載の方法。
【請求項13】
前記修正されたマップに基づいて前記第2のターゲット画像を歪めることをさらに含む、請求項12に記載の方法。
【請求項14】
前記歪められた第2のターゲット画像の第2のホログラムを計算することをさらに含む、請求項13に記載の方法。
【請求項15】
画像のホログラムを表示し、前記ホログラムに従ってその上に入射する光を空間的に変調するように配置された表示デバイスを備えるホログラフィックプロジェクタであって、再生面において前記画像のホログラフィック再構成を形成するように配置されており、
複数のマッピングを含む校正されたマップであって、それぞれのマッピングが、二次元座標の配列のそれぞれの二次元座標を変換して、所定の温度における歪みを補償するものであり、それぞれの二次元座標が、ターゲット画像の一つまたは複数の画像点に対応する校正されたマップと、
それぞれの二次元座標に対するベクトルを含むベクトルの配列であって、それぞれのベクトルが、所定の温度範囲にわたるそれぞれの二次元座標の校正された変化を表すベクトルの配列と、
が格納されるメモリを備えるコントローラをさらに備え、
前記コントローラが、
前記ホログラフィックプロジェクタの現在の温度を求め、
前記現在の温度と前記所定の温度との差に基づいてスケーリング係数を求め、
前記二次元座標の配列のそれぞれの座標について、
前記二次元座標の配列の前記それぞれの座標に関連するベクトルに前記スケーリング係数を乗算して、スケーリングされたベクトルを出力することと、
前記スケーリングされたベクトルを、前記校正されたマップの前記それぞれのマッピングに適用することとによって、前記現在の温度に基づいて修正されたマップを計算するように配置される、ホログラフィックプロジェクタ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ターゲット画像のホログラフィック投影に関する。より具体的には、本開示は、ホログラフィックプロジェクタによって引き起こされる歪みを補償するためにターゲット画像を事前に歪ませるための歪みマップを計算する方法に関する。さらに具体的には、本開示は、リアルタイムで実行する方法である前記方法に関する。いくつかの実施形態は、ホログラフィックプロジェクタ、画像生成ユニット、またはヘッドアップディスプレイに関する。
【背景技術】
【0002】
物体から散乱した光には、振幅と位相の両方の情報が含まれている。この振幅および位相情報は、例えば、周知の干渉技術によって感光板上に捕捉され、干渉縞を含むホログラフィック記録、すなわち「ホログラム」を形成することができる。ホログラムは、元の物体を表す二次元または三次元のホログラフィック再構成または再生画像を形成するために、適切な光を用いた照明によって再構成され得る。
【0003】
コンピュータ生成ホログラフィは、干渉プロセスを数値的にシミュレートする場合がある。計算機合成ホログラムは、フレネル変換やフーリエ変換などの数学的変換に基づく手法により計算することができる。これらのタイプのホログラムは、フレネル/フーリエ変換ホログラム、または単にフレネル/フーリエホログラムと呼ばれることがある。フーリエホログラムは、物体のフーリエ領域/平面表現、または物体の周波数領域/平面表現と考えることができる。コンピュータ生成ホログラムは、例えば、コヒーレント光線追跡または点群技術によって計算することもできる。
【0004】
コンピュータ生成ホログラムは、入射光の振幅および/または位相を変調するように配置された空間光変調器上に符号化されてもよい。光変調は、例えば、電気的にアドレス指定可能な液晶、光学的にアドレス指定可能な液晶、またはマイクロミラーを使用して達成することができる。
【0005】
空間光変調器は通常、セルまたは要素とも呼ばれる、個別にアドレス指定可能な複数のピクセルを備える。光変調方式は、バイナリ、マルチレベル、または連続であってもよい。あるいは、デバイスは連続的であってもよく(すなわち、ピクセルで構成されていない)、したがって光変調はデバイス全体にわたって連続的であってもよい。空間光変調器は、変調された光が反射して出力されることを意味する反射型であってもよい。空間光変調器は同様に、変調された光が透過して出力されることを意味する透過型であってもよい。
【0006】
ホログラフィックプロジェクタは、本明細書に記載のシステムを使用して提供され得る。このようなプロジェクタは、ヘッドアップディスプレイ「HUD」に応用されている。
【発明の概要】
【0007】
本開示の態様は、添付の独立請求項で定義される。
【0008】
一般論として、ホログラフィックプロジェクタによって投影されるターゲット画像を処理する、例えば(事前に)歪ませるためのマップを計算するリアルタイム方法が提供され、マップは、ホログラフィックプロジェクタの現在の温度などの温度を補償するためにターゲット画像を事前に歪ませるのに適している。
【0009】
ホログラフィックプロジェクタは、空間光変調器などの表示装置を備えていてもよい。表示装置は、ターゲット画像のホログラム(例えば、事前に歪ませた画像のホログラム)を表示するように構成されてもよい。ホログラムはコンピュータ生成ホログラムであってもよい。表示装置は、表示装置上に表示されるホログラムに従って、表示装置に入射する光を空間的に変調するように構成することができる。ホログラフィックプロジェクタは、空間的に変調された光(ホログラムに従って空間的に変調される)を観察面またはアイボックスに向けて導くか中継するように構成され得る。ホログラフィックプロジェクタは、空間的に変調された光が再生面上に画像のホログラフィック再構成を形成するように配置され得る。ホログラフィックプロジェクタは、(ターゲット画像の)ホログラフィック再構成の画像(仮想イメージなど)が表示面またはアイボックスから見える(すなわち視認可能)ように配置され得る。
【0010】
ターゲット画像のホログラフィック再構成の画像は、ホログラフィック再構成自体に比べて歪んでいる可能性がある。概念的には、ホログラフィック再構成の複数の点(例えば、ピクセルまたはピクセルのグループ)、およびホログラフィック再構成の画像の対応する複数の点を考慮することが可能である。ホログラフィック再構成(の画像)における点、スポット、ピクセルまたは特徴の分布は、(ホログラムに符号化された)ターゲット画像のそれぞれの点、スポット、ピクセルまたは特徴とは位置的に異なる場合がある。例えば、ホログラフィック再構成の画像の画像点の少なくとも一部は、ホログラフィック再構成のそれぞれの画像点または画像特徴に対して隣接する画像点に対して位置的に平行移動またはシフトして見える場合がある。ホログラフィック再構成の画像内の異なる画像点または画像特徴は、異なる量だけシフトまたは平行移動されている可能性がある。換言すれば、画像点の平行移動またはシフトの量は、ホログラフィック再構成の画像全体にわたって不均一になる可能性がある。ホログラフィックプロジェクタは、表示装置からの空間的に変調された光を中継するための1つまたは複数の光学コンポーネントを備え得る。光学部品の例には、レンズやミラーが含まれる。光学コンポーネントは倍率を上げる場合がある。歪みの原因の1つは、例えば製造公差による光学コンポーネントの光学的な位置ずれの結果である可能性がある。温度変化によりホログラフィックプロジェクタの(光学)コンポーネントが膨張または収縮し、それによって歪みが変化する可能性があるため、ホログラフィックプロジェクタの温度の変化に応じて歪みが変化する可能性がある。温度の変化はまた、ホログラフィックプロジェクタの光源から発せられる光(表示装置を照射するために使用される光)の波長の変化を引き起こす可能性がある。例えば、光源は、レーザなどのコヒーレント光源であってもよい。コヒーレント光源/レーザの波長は温度の変化により変化する場合がある。歪みにより、ホログラフィック再構成の画像がホログラフィック再構成(および/またはターゲット画像)に対してゆがんでおよび/または歪んで見えることになり、したがって、歪みは、個々のホログラフィック再構成の視聴体験および品質(例えば、正確性)に悪影響を与える可能性がある。画像の品質または正確性は、光学/画像形成の分野で知られているさまざまな方法で定量化できる。光学分野の当業者はこれらの技術に精通しており、本開示は画質または画像歪みを測定/定量化する特定の方法に限定されない。したがって、広義には、本開示は、画質を向上させるか、または画像の歪みを低減する方法に関すると言える。
【0011】
例えば複数の単色チャネル(すなわち、異なる波長で動作する複数の単チャネル)を使用して、多色再構成を表示するように構成されたホログラフィックプロジェクタにおいて、歪みが波長とともに変化することが特に問題である。このような例では、各単色チャネルは、単色画像(例えば、赤、緑、または青の画像)をホログラフィックに投影するように配置され得る。ホログラフィックプロジェクタは、複数の単色画像を独立して(空間的および/または時間的に)投影する(例えば、赤色画像、緑色画像、および青色画像を独立して投影する)ように構成され得る。各チャネルに関連付けられた(単色の)ホログラフィック再構成は、再生面上に形成され得る。マルチカラーホログラフィック再構成は、再生面における複数の単色ホログラフィック再構成の組み合わせとして形成される。複数の単色チャネルは、少なくとも部分的に重複することができ、フレームシーケンシャルカラースキームなどで同じ空間光変調器を使用することさえできる。理想的には、複数の単色ホログラフィック再構成が互いに位置合わせされるであろう。これは、理想的には、単色ホログラフィック再構成のそれぞれの対応する画像点が再生面で互いに位置合わせされていることを意味し得る。ただし、各単色画像/単一ホログラフィック再構成は、それぞれ異なる波長を持っているため(歪みの量は波長に依存するため)、それぞれ異なる歪みが生じる可能性があるため、異なるカラーチャネル間で複雑な位置ずれが発生する可能性がある。。位置ずれは不均一になる可能性がある。人間の目は位置ずれに敏感であり、単色画像の画像ピクセル間の比較的小さな位置ずれによってさえ、知覚される画質が大幅に低下する可能性がある。この問題は、複雑な光学処理を実行し、厳しい光学的および物理的制約を満たすように設計された光学再生システムを備えるヘッドアップディスプレイにおいてさらに顕著である。
【0012】
表示前および/またはホログラム計算前にターゲット画像を事前に歪ませることで、ホログラフィック再構成(の画像)の歪みを補償することが可能である。これは、(所与の温度および波長で)ホログラフィックプロジェクタによって引き起こされる歪みとは逆の方法でターゲット画像の画像点を変換し、その後、予め歪められたターゲット画像のホログラムをホログラフィックプロジェクタの表示装置上に表示することを含んでもよい。したがって、ホログラフィックプロジェクタによって引き起こされる歪みはすでに補償されており、その結果、意図したとおりにホログラフィック再構成が表示される。歪みマップを使用して、ターゲット画像を事前に歪ませることができる。歪みマップは、二次元座標の配列に対する複数のマッピングを含むことができる。二次元座標の配列は、ターゲット画像の座標に関係し得る。各歪みマッピングは、二次元座標の1つを変換する可能性がある。歪みマップは、ホログラフィック再構成が意図したとおりに表示されるように、ホログラフィックプロジェクタによって引き起こされる歪みを正確に補償する方法でマッピングがターゲット画像を事前に歪めることを保証するために、実験および/またはシミュレーションによって決定および検証されている可能性がある。変換された二次元座標は、ターゲット画像を事前に歪ませるために使用できる。
【0013】
上述のように、ホログラフィック再構成の歪みは、ホログラフィックプロジェクタの現在の温度および/または(それぞれのホログラムに従って)空間的に変調された光の波長に依存する可能性がある。したがって、第1の歪みマップは、第1の波長の空間的に変調された光が第1の温度で使用される場合にのみ、ターゲット画像を正確に事前に歪ませることができる。例えば、(第1の波長とは異なる)第2の波長の空間変調された光が使用される場合、および/またはホログラフィックプロジェクタが(第1の温度とは異なる)第2の温度にある場合、第1の歪みマップはターゲット画像を正確に事前に歪ませることができない可能性がある。この問題に対する従来の解決策は、複数の異なる温度および波長で決定され検証された複数の歪みマップを記憶するようにホログラフィックプロジェクタのメモリをプログラムすることである。ホログラフィックプロジェクタは、ルックアップテーブルを使用して、特定のシナリオに対してメモリから適切な歪みマップを選択するように構成できる。しかしながら、発明者らは、この解決策は、非常に多くの歪みマップを決定し検証する必要があるため、リソース効率が悪く、最適ではないことを認識している。例えば、車両のヘッドアップディスプレイの一部など、車両での使用を目的としたホログラフィックプロジェクタは、広い温度範囲(少なくとも摂氏100度の範囲に及ぶ場合がある)で動作できなければならない。このような広い範囲をカバーするには、さまざまな温度で(例えば、温度範囲の摂氏1度ごとに)多数の歪みマップを決定し、検証する必要がある。マルチカラーホログラフィックプロジェクタの場合、これをカラーチャネルごとに繰り返す必要がある。発明者らは、このような多数の歪みマップを決定し、検証することは非常に時間とリソースを大量に消費するであろうことを認識した。さらに、このプロセスは、ホログラフィックプロジェクタのモデルごとに、またはホログラフィックプロジェクタが異なる状況(例えば、異なる形状を持つ異なる車両)で使用される場合に繰り返す必要がある。さらに、発明者らは、このような多数の歪みマップを記憶するためのメモリ要件が法外である可能性があることを認識した。さらに、上述の歪みマップは、ホログラフィックプロジェクタによって実行される多数の校正プロセスのうちの1つのみの一部であってもよい。例えば、ホログラフィックプロジェクタは、車両のフロントガラスなどの複雑な形状を有する光コンバイナの形状を補償するためにホログラムを校正する必要がある場合、および/またはホログラフィックプロジェクタのユーザの視線追跡に基づいてホログラムを調整する場合もある。これらの例は両方とも、(本開示の主題である歪み補償に加えて)別個の校正プロセスを必要とする可能性がある。したがって、波長と温度の変化を補償するための上記のプレディストーションは、投影/校正プロセスのほんの一部にすぎない可能性がある。したがって、各校正手順を可能な限りリソース効率よく行うことが重要である。これは、複数の温度および波長でホログラフィックプロジェクタを完全に特徴付ける従来の方法が最適ではないもう一つの理由である。
【0014】
多数の歪みマップを決定し記憶する問題に対処するために、発明者らは、歪みマップを計算/決定するための高速で、リソース効率が高く、時間効率が高い方法を開発した。この方法は、例えばホログラフィックプロジェクタの動作中(例えば、コンピュータが一連のホログラムを生成している間)に、リアルタイムまたは即座に実行することができる。本開示による(歪み)マップを計算する方法は、入力として、カラーチャネルごとに(特定の第1の温度で)事前に決定および事前検証された1つの歪みマップ(第1の歪みマップ)のみを必要とする。したがって、この方法は、複数の温度での歪みマップを決定するためにホログラフィックプロジェクタを完全に特徴付ける必要性を有利に回避する。
【0015】
一連のコンピュータ生成ホログラムのリアルタイム投影は、計算量が非常に多く、コストがかかる。発明者らにとって、追加のリアルタイム計算ステップ(メモリからマップを取得するのではなく、歪みマップを計算するステップ)をホログラフィック投影法に追加することは直感に反するものであった。しかしながら、本発明者らは、驚くべきことに、本開示による方法が、単純で安価な計算で第1の歪みマップを修正することができ、修正されたマップを使用して、ホログラフィック再構成が意図したとおりに見えるようにターゲット画像をプレディストーションすることができることを発見した。マルチカラーのホログラフィック再構成は、表示中にリアルタイムで行われるプロセス/計算を使用して位置合わせされる。特に、徹底的なシミュレーションと実験の後、発明者らは、上述の座標配列の位置の変化が、温度範囲にわたって実質的に予測可能な関係に従うことを発見した。いくつかの実施形態では、これは線形関係である。発明者らは、この関係を使用して、座標の配列が第2の温度と第3の温度との間でどのように変化するかを表すスケーリングされたベクトルを使用して第1の歪みマップを修正することによって、任意の現在の温度に対する歪みマップを単純に計算することができることを認識した。重要なことは、本開示によれば、この方法/計算のステップがホログラフィックプロジェクタによって繰り返し実行され得るということである。例えば、この方法のステップは、データストリーミングに基づくものなどのリアルタイム画像投影システムのフレームまたはサブフレームごとに実行することができる。この方法のステップは、現在の温度が所定の量だけ、または所定の量を超えて変化したときに実行/反復され得る。繰り返すが、これは、高品質のリアルタイム性能を達成するには計算を最小限に抑えるべきであるという当技術分野における重大な先入観に反する。発明者らは、追加の処理負担を負うに値する簡単な方法を特定した。
【0016】
本開示の第1の態様では、(歪み)マップをリアルタイムで計算する方法が提供される。(計算された)歪みマップは、ホログラフィックプロジェクタによって投影されるターゲット画像を歪ませる(本明細書では「プレディストーション」とも呼ぶ)ためのものである。ターゲット画像の(事前)歪みは、ホログラフィック投影の現在の温度と、ホログラフィック投影機の現在の温度の変化を補償するためのものである。本方法は、校正されたマップを受信するステップを含む。校正されたマップは複数のマッピングを含む。各マッピングは二次元座標を変換するためのものである。各二次元座標は、ターゲット画像の1つ以上の画像点に対応する。二次元座標によって定義される二次元平面上の点または位置は、校正点と呼ばれることがある。各校正点は、ターゲット画像の1つまたは複数の画像点に対応する場合がある。実施形態では、各二次元座標は、歪みのないターゲット画像の1つまたは複数の画像点に対応する。校正されたマップの各マッピングは、所定の第1の温度での歪みを補償するためにそれぞれの二次元座標を変換するためのものであり得る。換言すれば、校正されたマップの各マッピングは、第1の温度での投影プロセスによって引き起こされる歪みを補償するために、ターゲット画像の画像点を事前に歪ませるためのものであり得る。本明細書で使用するとき、「校正されたマップ」とは、実験および/またはシミュレーションを通じて(完全に)決定および検証された歪みマップを指す。実行できる校正されたマップを完全に決定するプロセスは、本開示の方法にとって必須ではない。したがって、校正されたマップを受信することを含む方法のステップは、所定のマップを受信することを含むことができる。所定の校正マップは、ホログラフィックプロジェクタが第1の温度にあるとき、かつ空間変調された光が第1の波長を有するときに決定される。本開示による方法は、有利なことには、現在の温度(空間変調された光が第1の波長を有する場合)の(修正された)マップを計算するために、(第1の温度での)ただ1つの校正されたマップの受信を必要とするだけである。校正されたマップは、本明細書では第1の歪みマップまたは初期歪みマップと呼ばれる場合がある。
【0017】
本方法はさらに、ベクトルの配列を受信するステップを含む。ベクトルの配列は、二次元座標の配列の各二次元座標のベクトルを含む/から構成される。ベクトルの配列内のベクトルの数と二次元座標の配列内の二次元座標の数との間には、1対1の比率があり得る。各ベクトルは二次元座標に一意に関連付けることができ、その逆も同様である。同様に、ベクトルの配列内のベクトルの数と、校正されたマップ内のマッピングの数との間には、1対1の比率が存在する可能性がある。各ベクトルは、校正されたマップ内のマッピングに一意に関連付けることができ、その逆も同様である。各ベクトルは、所定の温度範囲にわたる(二次元座標の配列の)それぞれの二次元座標の校正された変化を表す。本明細書で使用される場合、校正された変化は、二次元座標がそれぞれ第2の温度および第3の温度での歪みを補償するために変換されたと仮定して、第2の温度から第3の温度までのそれぞれの二次元座標のそれぞれの変化である。温度範囲は第2の温度と第3の温度を含む。いくつかの実施形態では、第2の温度は、(所定の)温度範囲の最低温度に対応する。いくつかの実施形態では、第3の温度は、(所定の)温度範囲の最高温度に対応する。校正されたマップと同様に、ベクトルの配列を決定する方法のステップは、本開示の方法にとって必須でなくてもよい。したがって、本方法のステップは、ベクトルの所定の配列を受信することを含む。ベクトルの配列は、本明細書ではベクトルマップまたはシミュレートされたマップと呼ばれる場合がある。
【0018】
本方法は、ホログラフィックプロジェクタの現在の温度を受信または決定することをさらに含む。現在の温度は、本明細書では第4の温度と呼ばれることがある。
【0019】
本方法はさらに、現在(第4)の温度と所定(第1)の温度との差に基づいて倍率を決定するステップを含む。現在(第4)の温度と所定(第1)の温度との差に基づくスケーリング係数の決定は、(現在の温度と所定の温度との差を決定することに加えて)追加のステップまたは数学的演算を含んでもよい。例えば、現在(第4)の温度と所定(第1)の温度との差の出力は、定数で乗算または除算されてもよい。
【0020】
本方法は、現在の温度に基づいて、または現在の温度に対して修正されたマップを計算するステップをさらに含む。修正されたマップを計算するステップは、二次元座標の配列の各座標について、二次元座標の配列のそれぞれの座標に関連するベクトルにスケーリング係数を乗じて、スケーリングされたベクトルを出力するステップを含む。そして、スケーリングされたベクトルを、校正されたマップのそれぞれのマッピングに適用する。スケーリングされたベクトルを校正されたマップのそれぞれのマッピングに適用するステップは、スケーリングされたベクトルをそれぞれのマッピングに加算または減算することを含むことができる。スケーリングされたベクトルを校正されたマップのそれぞれのマッピングに適用するステップは、現在の(第4の)温度でホログラフィックプロジェクタによって投影されるときのターゲット画像の歪みを補償するためにそれぞれの二次元座標を変換するための修正されたマッピングを出力することを含んでもよい。
【0021】
本方法は、修正されたマップを出力するステップをさらに含む。修正されたマップは、(方法の前のステップで計算された)修正されたマッピングの配列を構成する。
【0022】
いくつかの実施形態では、本方法は、二次元座標の配列を受信するステップをさらに含む。いくつかの実施形態では、ターゲット画像内の画像点の数と二次元座標の配列内の二次元座標の数は多対1の比率である。換言すれば、各二次元座標は、1つ以上、任意選択で5個以上、任意選択で10個以上の画像点に対応し得る。あるいは、画像点の数が二次元座標よりも少ない場合もある。この方法の(校正および修正された)マップは二次元座標と同数のマッピングを含む(そして、校正されたマップは二次元座標と同数のベクトルを含む)ため、ターゲット画像内の画像点の数と、二次元座標の配列内の二次元座標の数の比率が多対1であることが有利である。二二これは、指定された数の画像点に対して修正されたマップで計算されるマッピングが少なくなり、マッピングの数が多い場合よりもこの方法の計算コストが低くなるためである。補間は、修正されたマップのマッピングが画像点に対して多対1の対応を有する場合に、ターゲット画像の画像点の適切なプレディストーションを決定するために有利に使用することができる。
【0023】
ベクトルの配列内のベクトルは、方向と大きさが不均一に分布している可能性がある。一般に、ターゲット画像の中心に近い画像点に対応する二次元座標は、ターゲット画像の端/周囲に近い二次元座標よりも歪みが少なくなる。通常、ターゲット画像の反対側の画像点に対応する二次元座標は、互いに反対方向に歪められ、変換される。ベクトルの配列は、これら2つの効果を表す可能性がある。例えば、ベクトルの配列内のベクトルの大きさは、(二次元座標の)配列の中心からのそれぞれの二次元座標の距離が増すにつれて増加し得る。配列の中心の第1の側の二次元座標に対応するベクトルの配列内のベクトルの方向は、配列の中心の第2の側(第1の側とは反対側)の二次元座標に対応するベクトルの配列のベクトルの方向と反対であってもよい。いくつかの実施形態では、ベクトルの配列内の各ベクトルの方向は、(二次元座標の)配列の中心からそれぞれの二次元座標まで定義される方向と実質的に平行であり得る。
【0024】
いくつかの実施形態では、スケーリング係数は現在/第4の温度に線形依存する。徹底したシミュレーションと実験の後、発明者らは驚くべきことに、ターゲット画像の各画像点/それぞれの二次元座標で表される各校正点の歪みが温度とともに実質的に線形に変化することを発見した。いくつかの実施形態では、スケーリング係数を決定するステップは、現在の温度と所定の温度との差を決定し、その差を所定の温度範囲で除算することを含む。このような実施形態では、スケーリング係数はパーセンテージとも呼ばれる。このようなスケーリング係数は、第1の温度から現在の温度への変化を所定の温度範囲に対する割合として表す。現在の温度が第1の温度と等しい場合、変化率はゼロになる。したがって、スケーリング係数はゼロに等しくなる。それ以外の場合、スケーリング係数はゼロ以外になる可能性がある。
【0025】
いくつかの実施形態では、スケーリング係数を決定するステップは、(T-T)/(Tmax-Tmin)を計算するステップを含む。Tは現在の温度、Tは所定の温度、Tmaxは所定の温度範囲の最高(第3の)温度、Tminは所定の温度範囲の最低(第2の)温度である。言い換えれば、スケーリング係数は(T-T)/(Tmax-Tmin)に等しい可能性がある。
【0026】
いくつかの実施形態では、本方法は、修正されたマップを二次元座標の配列に適用して、修正された二次元座標の配列を出力するステップをさらに含む。いくつかの実施形態では、本方法は、複数の画像点を含むターゲット画像を受信するステップをさらに含み、二次元座標の配列の各二次元座標は、ターゲット画像の1つまたは複数の画像点に対応する。修正された配列のそれぞれの二次元座標は、ターゲット画像の同じそれぞれの1つまたは複数の画像点に対応し得る。いくつかの実施形態では、本方法は、修正された二次元座標配列に基づいてターゲット画像を歪めるステップをさらに含む。いくつかの実施形態では、本方法は、歪んだターゲット画像のホログラムを計算するステップをさらに含む。
【0027】
いくつかの実施形態では、現在/第4の温度を決定するステップは、例えば温度センサを使用して、ホログラフィックプロジェクタの現在/第4の温度を測定するステップを含んでもよい。任意選択で、温度センサは、ホログラフィックプロジェクタのレーザなどの光源の温度を測定するように配置されてもよい。他の実施形態では、現在/第4の温度を決定するステップは、空間変調された光の波長を測定することによってホログラフィックプロジェクタの現在/第4の温度を推測するステップを含んでもよい。例えば、本方法は、空間変調光の現在の波長を空間変調光の予想波長と比較することを含んでもよい。当業者には理解されるように、ホログラフィックプロジェクタの現在の温度/ホログラフィックプロジェクタの光源は、予想される波長からの光の波長の偏差に基づいて決定され得る。
【0028】
上述したように、本開示による方法はリアルタイムで実行することができる。この方法は、ホログラフィックプロジェクタの動作中に繰り返し実行することができる。いくつかの実施形態では、ホログラフィックプロジェクタは、読者にとって馴染みのある方法で、例えばビデオレートで、一連の(画像)フレームを投影するように構成される。各フレームは、異なるホログラム(関連付けられた異なるターゲット画像を有する)を有することができる。いくつかの実施形態では、本開示による方法は、一連のフレームごとに一度実行され得る。したがって、修正された(歪み)マップは一連のフレームごとに再計算される。次いで、再計算された修正(歪み)マップは、シーケンスのそれぞれのフレームのターゲット画像ごとに適用され(ターゲット画像を事前に歪ませるため)、その後、事前に歪められたターゲット画像のホログラムが計算される。他の実施形態では、本開示による方法は、現在の温度が閾値を超える量だけ変化したことが検出された場合にのみ繰り返され得る。このような例では、本方法は、初期温度で第1の修正(歪み)マップを計算することを含んでもよい。本方法は、一連のフレームごとに、現在の温度を監視することを含んでもよい。現在の温度と初期温度との差が閾値未満である場合、この方法は、第1の修正(歪み)マップを再利用して、それぞれのフレームのターゲット画像を事前に歪ませるステップを含むことができる。現在の温度と初期温度との間の差が閾値よりも大きい場合、この方法は、(上述の方法に従って)修正されたマップを再計算することを含んでもよい。次に、この方法は、再計算された修正マップを使用して、それぞれのフレームのターゲット画像を事前に歪ませるステップを含むことができる。いくつかの実施形態では、この方法は、画像フレームの入力ストリームの少なくとも2つの連続するフレームに対して実行される。いくつかの実施形態では、この方法は、画像フレームの受信ストリームのフレームごとに実行される。
【0029】
いくつかの実施形態では、ターゲット画像は第1のターゲット画像である。いくつかの実施形態では、二次元座標の配列は、二次元座標の第1の配列である。いくつかの実施形態では、校正されたマップは第1の校正されたマップである。いくつかの実施形態では、ベクトルの配列は、ベクトルの第1の配列である。いくつかの実施形態では、修正されたマップは第1の修正されたマップである。いくつかの実施形態では、本方法は、ホログラフィックプロジェクタによって投影される第2のターゲット画像を歪ませるための第2のマップを計算するステップをさらに含む。第2のマップの計算は、二次元座標の第2の配列を受け取ることを含んでもよい。各二次元座標は、第2のターゲット画像の1つ以上の画像点に対応し得る。第2のターゲット画像は、第1のターゲット画像と異なっていてもよい。第2のマップの計算は、二次元座標の第2の配列に対する第2の校正されたマップを受信することを含んでもよい。第2の校正されたマップは、所定の温度での歪みを補償するためにそれぞれの二次元座標を変換するために、第2の配列の各二次元座標に対するマッピングを含んでもよい。所定の温度は、上述した所定の第1の温度と同じであっても、異なっていてもよい。第2のマップの計算は、ベクトルの第2の配列を受信することを含んでもよく、ベクトルの第2の配列は、(二次元座標の第2の配列の)各二次元座標に対するベクトルを含んでいる。各ベクトルは、所定の温度範囲にわたるそれぞれの二次元座標の位置の変化を表すことができる。第2のマップの計算は、二次元座標の第2の配列の座標ごとに、現在の温度に基づいて次のようにして第2の修正マップを計算することを含んでもよい。二次元座標の第2の配列のそれぞれの座標に関連するベクトルにスケーリング係数を乗算して、スケーリングされたベクトルを出力する。そして、スケーリングされたベクトルを第2の校正されたマップのそれぞれのマッピングに適用し、第2の修正マップを出力する。
【0030】
第1の校正済みマップと第1のベクトル配列のベクトルのマッピングは、第1のターゲット画像のホログラフィック投影に第1の波長が使用される場合に決定されている可能性がある。第2の校正済みマップのマッピングおよび第2の校正済みマップのベクトルは、第2の波長(第1の波長とは異なる)が第2のターゲット画像のホログラフィック投影に使用される場合に決定されている可能性がある。
【0031】
本方法は、第2の修正マップを第2の二次元座標配列に適用して、第2の修正された二次元座標配列を出力するステップをさらに含むことができる。この方法は、修正されたマップに基づいて第2のターゲット画像を歪ませるステップをさらに含んでもよい。この方法は、歪んだ第2のターゲット画像の第2のホログラムを計算することをさらに含んでもよい。
【0032】
第2の態様では、マップのマッピングを計算する方法が提供され、このマッピングは、ホログラフィックプロジェクタによって投影されるターゲット画像の少なくとも一部を歪め、ホログラフィックプロジェクタの現在の温度の変化を補償するためのものである。本方法は、所定の(第1の)温度での歪みを補償するために第1の二次元座標を変換するための第1のマッピングを受信するステップを含む。この方法は、所定の温度範囲にわたる第1の二次元座標の校正された変化(例えば、第2の/最低温度と第3の/最高温度との間の第1の二次元座標の変化)を表す第1のベクトルを受信するステップをさらに含む。この方法はさらに、ホログラフィックプロジェクタの現在(第4)の温度を受信または決定するステップを含む。この方法はさらに、現在の温度と所定の温度との差に基づいてスケーリング係数を決定するステップを含む。この方法はさらに、(第1のマッピングを修正することによって)現在の温度に基づいて/を補償するために、第1の修正されたマッピングを計算するステップを含む。第1の修正されたマッピングは、第1の修正されたマップの一部を形成することができる。第1の修正されたマッピングを計算するステップは、第1のベクトルにスケーリング係数を乗算して、スケーリングされたベクトルを出力することを含む。この方法はさらに、スケーリングされたベクトルを第1のマッピングに適用するステップを含む。この方法はさらに、現在(第4)の温度でホログラフィックプロジェクタによって投影されるときのターゲット画像の一部の歪みを補償する目的で、第1の二次元座標を変換するために修正された第1のマッピングを出力するステップを含むことができる。
【0033】
第2の態様による方法は、第1のマップの任意の数のマッピングを計算するために繰り返すことができる。例えば、第1のマップは複数の第1のマッピングを含むことができる。それぞれの第1のマッピングは、各二次元座標を変換するためのものであり得る。各二次元座標は、二次元座標の配列の一部を形成する場合がある。第2の態様による方法は、第1のマップの複数の第1のマッピングに対して繰り返すことができる。いくつかの実施形態では、第2の態様による方法は、第1のマップの第1のマッピングのサブセットまたは一部に対して繰り返され得る。いくつかの実施形態では、第2の態様による方法は、第1のマップのすべての第1のマッピングに対して繰り返され得る。この方法が繰り返されるたびに、本方法はさらなるベクトルを受信することを含んでもよい。例えば、本方法が(第2の二次元座標を変換するための)第2のマッピングを受信することを含む場合、本方法は、(第2の二次元座標の変化を表す)第2のベクトルを受信することを含む。
【0034】
第3の態様では、画像のホログラムを表示し、そのホログラムに従って入射光を空間的に変調するように構成された表示装置を備えたホログラフィックプロジェクタが提供され、ホログラフィックプロジェクタは、画像のホログラフィック再構成を再生平面で形成するように構成されている。ホログラフィックプロジェクタは、校正されたマップおよびベクトルの配列が格納されるメモリを備えるコントローラをさらに備える。校正されたマップは複数のマッピングを含む。各マッピングは、所定の温度での歪みを補償するために二次元座標の配列のそれぞれの二次元座標を変換するためのものであり、各二次元座標はターゲット画像の1つ以上の画像点に対応する。ベクトルの配列は、各二次元座標に対するベクトルを含み、各ベクトルは、所定の温度範囲にわたるそれぞれの二次元座標の校正された変化を表す。コントローラはさらに、ホログラフィックプロジェクタの現在の温度(特に、光源の温度)を決定するように構成される。例えば、ホログラフィックプロジェクタは、ホログラフィックプロジェクタの光源の温度を測定するように構成された温度センサを備え得る。コントローラは、温度センサから信号を受信するように構成されてもよい。コントローラはさらに、現在の温度と所定の温度との間の差に基づいてスケーリング係数を決定するように構成されてもよい。コントローラはさらに、二次元座標の配列の各座標について、二次元座標の配列のそれぞれの座標に関連するベクトルにスケーリング係数を乗算して、スケーリングされたベクトルを出力し、スケーリングされたベクトルを校正されたマップのそれぞれのマッピングに適用することによって、現在の温度に基づいて修正されたマップを計算するように構成され得る。コントローラはさらに、修正されたマップを出力するように構成されてもよい。
【0035】
本開示の一態様に関連して説明された特徴および利点は、本開示の他の態様にも適用可能である可能性がある。特に、第1の態様の方法に関連して説明した特徴および利点は、第2の態様の方法および第3の態様のホログラフィックプロジェクタに適用することができる。
【0036】
本開示では、「レプリカ」という用語は、単に複雑なライトフィールドが複数の異なる光路に沿って方向付けられるように空間的に変調された光が分割されることを反映するために使用される。「レプリカ」という言葉は、瞳孔拡大器による部分的な反射・透過などの複製事象後の複雑なライトフィールドのそれぞれの発生またはインスタンスを指すために使用される。各レプリカは異なる光路に沿って移動する。本開示のいくつかの実施形態は、画像ではなくホログラムで符号化された光、すなわち、画像自体ではなく画像のホログラムで空間変調された光の伝播に関する。したがって、ホログラムのレプリカが複数形成されていると言える。ホログラフィ技術の当業者であれば、ホログラムで符号化された光の伝播に伴う複雑なライトフィールドが伝播距離に応じて変化することを理解するであろう。本明細書における「レプリカ」という用語の使用は伝播距離とは無関係であるため、複製事象に関連する光の2つの分岐または経路は、たとえ分岐の長さが異なっていても、また複雑なライトフィールドがそれぞれの経路に沿って異なる進化を遂げたとしても、依然として互いの「レプリカ」と呼ばれる。すなわち、2つの複雑なライトフィールドは、それらが異なる伝播距離に関連付けられている場合でも、本開示によれば、同じ複製事象または一連の複製事象から生じたものであれば、依然として「レプリカ」とみなされる。
【0037】
本開示による「回折したライトフィールド」または「回折性のライトフィールド」は、回折によって形成されるライトフィールドである。回折したライトフィールドは、対応する回折パターンを照射することによって形成され得る。本開示によれば、回折パターンの一例はホログラムであり、回折したライトフィールドの一例は、ホログラフィックライトフィールド、または画像のホログラフィック再構成を形成するライトフィールドである。ホログラフィックライトフィールドは、再生面上に画像の(ホログラフィック)再構成を形成する。ホログラムから再生面に伝播するホログラフィックライトフィールドは、ホログラムで符号化された光またはホログラム領域内の光から構成されると言える。回折したライトフィールドは、回折構造の最小特徴サイズと(回折したライトフィールドの)光の波長によって決定される回折角によって特徴付けられる。本開示によれば、「回折したライトフィールド」は、対応する回折構造から空間的に分離された平面上に再構成を形成するライトフィールドであるとも言える。本明細書では、回折構造から観察者まで回折したライトフィールドを伝播するための光学システムを開示する。回折したライトフィールドは画像を形成することができる。
【0038】
「ホログラム」という用語は、物体に関する振幅情報、位相情報、またはそれらの組み合わせを含む記録を指すのに使用される。「ホログラフィック再構成」という用語は、ホログラムを照射することによって形成される物体の光学的再構成を指すのに使用される。ホログラフィック再構成は実像であり、ホログラムから空間的に分離されているため、本明細書で開示されるシステムは「ホログラフィックプロジェクタ」として説明される。「リプレイフィールド」という用語は、ホログラフィック再構成が形成され、完全に焦点が合わせられている2D領域を指すために使用される。ホログラムがピクセルからなる空間光変調器上に表示される場合、リプレイフィールドは複数の回折次数の形で繰り返され、各回折次数は0次リプレイフィールドのレプリカである。0次リプレイフィールドは、最も明るいリプレイフィールドであるため、通常、優先または1次リプレイフィールドに対応する。特に明記されていない限り、「リプレイフィールド」という用語は、0次のリプレイフィールドを指すものとして解釈されるべきである。「リプレイプレーン」という用語は、すべてのリプレイフィールドを含む空間内の平面を指すために使用される。「画像」、「リプレイ画像」、および「画像領域」という用語は、ホログラフィック再構成の光によって照射されるリプレイフィールドの領域を指す。いくつかの実施形態では、「画像」は、「画像スポット」または便宜上のみ「画像ピクセル」と呼ばれる離散スポットから構成されることがある。
【0039】
「符号化」、「書き込み」、または「アドレス指定」という用語は、SLMの複数のピクセルに、各ピクセルの変調レベルをそれぞれ決定する複数の制御値を与えるプロセスを説明するために使用される。SLMのピクセルは、複数の制御値の受信に応答して光変調分布を「表示」するように構成されていると言うことができる。したがって、SLMはホログラムを「表示」すると言うことができ、ホログラムは光変調値またはレベルの配列と考えることができる。
【0040】
許容可能な品質のホログラフィック再構成は、元の物体のフーリエ変換に関連する位相情報のみを含む「ホログラム」から形成できることが判明した。このようなホログラフィック記録は、位相限定ホログラムと呼ばれることがある。実施形態は位相限定ホログラムに関するが、本開示は振幅限定ホログラフィにも同様に適用可能である。
【0041】
本開示は、元の物体のフーリエ変換に関連する振幅および位相情報を使用してホログラフィック再構成を形成することにも同様に適用可能である。いくつかの実施形態では、これは、元の物体に関連する振幅及び位相情報の両方を含む、いわゆる完全複素ホログラムを使用する複合変調によって達成される。このようなホログラムは、ホログラムの各ピクセルに割り当てられた値(グレーレベル)が振幅成分と位相成分を持っているため、完全複素ホログラムと呼ばれることがある。各ピクセルに割り当てられる値(グレーレベル)は、振幅成分と位相成分の両方を有する複素数として表すことができる。いくつかの実施形態では、完全に複素コンピュータ生成ホログラムが計算される。
【0042】
位相値、位相成分、位相情報、または単に「位相遅延」の略語として、コンピュータ生成ホログラムまたは空間光変調器のピクセルの位相を参照することもできる。つまり、記載されている位相値は、実際には、そのピクセルによって提供される位相遅延の量を表す数値(例えば、0~2πの範囲)である。例えば、π/2の位相値を有すると記載されている空間光変調器のピクセルは、受信した光の位相をπ/2ラジアンだけ遅らせることになる。いくつかの実施形態では、空間光変調器の各ピクセルは、複数の可能な変調値(例えば、位相遅延値)のうちの1つで動作可能である。「グレーレベル」という用語は、複数の利用可能な変調レベルを指すために使用され得る。例えば、「グレーレベル」という用語は、異なる位相レベルが異なるグレーの色合いを提供しない場合でも、位相専用変調器において利用可能な複数の位相レベルを指すために便宜上使用される場合がある。「グレーレベル」という用語は、便宜上、複素変調器において利用可能な複数の複素変調レベルを指すために使用されることもある。
【0043】
したがって、ホログラムはグレーレベルの配列、つまり位相遅延値または複雑な変調値の配列などの光変調値の配列で構成される。ホログラムは、空間光変調器上に表示され、空間光変調器のピクセルピッチに匹敵する、一般にそれより短い波長を有する光で照射されたときに回折を引き起こすパターンであるため、回折パターンともみなされる。本明細書では、ホログラムを、レンズまたは格子として機能する回折パターンなどの他の回折パターンと組み合わせることに言及する。例えば、格子として機能する回折パターンをホログラムと組み合わせて、再生面上でリプレイフィールドを平行移動させたり、レンズとして機能する回折パターンをホログラムと組み合わせて、ホログラフィック再構成を近視野の再生面上で収束させたりすることができる。
【0044】
以下の詳細な説明では、異なる実施形態および実施形態群が個別に開示される場合があるが、任意の実施形態または実施形態群の任意の特徴は、任意の実施形態または実施形態群の他の特徴または特徴の組み合わせと組み合わせることができる。すなわち、本開示で開示される特徴のあらゆる可能な組み合わせおよび並べ替えが想定される。
【図面の簡単な説明】
【0045】
具体的な実施形態は、以下の図を参照して、例としてのみ説明される。
図1】スクリーン上にホログラフィック再構成を生成する反射型SLMを示す概略図である。
図2A】ガーチバーグ・サクストン型アルゴリズム例の最初の反復を示す図である。
図2B】ガーチバーグ・サクストン型アルゴリズム例の第2反復およびそれ以降の反復を示す。
図2C】ガーチバーグ・サクストン型アルゴリズム例の第2反復およびそれ以降の反復の代替を示す。
図3】反射型LCOSSLMの概略図である。
図4】車両内のHUDの例を示す。
図5】ホログラフィック投影用にターゲット画像を事前歪曲するプロセスを示している。
図6A図5のターゲット画像に歪みマップが適用された後の、事前歪曲されたターゲット画像を表す図である。
図6B図6Aの事前歪曲されたターゲット画像のホログラフィック再構成の仮想イメージを表す。
図7】本開示による方法を表すフロー図を示す。
図8】スケーリングされる1つのベクトルを概略的に示す。
図9】本開示による方法を使用して計算された修正歪みマップを使用して、ターゲット画像のホログラムの計算に先立ち、ターゲット画像を事前歪曲するプロセスを概略的に表す図である。
図10】複数のカラーチャネルを備えるマルチカラーホログラフィックプロジェクタの概略図を示す。
図11】第1(緑)チャネルと第2(青)チャネルからのホログラフィック再構成における画像点の位置ずれを表している。図面全体を通して、同一または類似の部品を参照するために同じ参照番号を使用する。
【実施形態の詳細な説明】
【0046】
本発明は、以下に説明する実施形態に限定されるものではなく、添付の特許請求の範囲の全範囲に及ぶものである。すなわち、本発明は、異なる形態で具体化することができ、説明の目的で記載された記載の実施形態に限定されるものとして解釈されるべきではない。
【0047】
他の構造の上部/下部、あるいは他の構造の上/下に形成されていると記載されている構造は、構造同士が接触している場合、さらにはそれらの間に第3の構造が配置されている場合も含むものと解釈されるべきである。
【0048】
時間関係を説明する場合、例えば、イベントの時間的順序が「後」、「後続」、「次」、「前」などと記載される場合、本開示は、特に指定がない限り連続的イベントおよび非連続的イベントを含むものとみなされるべきである。例えば、「丁度」、「即時」、「直接」などの文言を用いない限り、連続しない場合も含めて記載するものとする。
【0049】
本明細書では、「第1」、「第2」などの用語が様々な要素を説明するために使用される場合があるが、これらの要素はこれらの用語によって限定されるものではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、添付の特許請求の範囲から逸脱することなく、第1の要素を第2の要素と呼ぶことができ、同様に、第2の要素を第1の要素と呼ぶことができる。
【0050】
異なる実施形態の特徴は、部分的または全体的に相互に結合または組み合わせることもでき、さまざまに相互運用することもできる。いくつかの実施形態は、互いに独立して実行されてもよいし、共依存関係で一緒に実行されてもよい。
【0051】
光学構成
図1は、コンピュータ生成ホログラムが単一の空間光変調器上で符号化される実施形態を示す。コンピュータ生成ホログラムは、物体をフーリエ変換して再構成したものである。したがって、ホログラムは、物体のフーリエ領域、周波数領域、またはスペクトル領域の表現であると言える。この実施形態では、空間光変調器はシリコン上の反射型液晶「LCOS」デバイスである。ホログラムは空間光変調器上で符号化され、ホログラフィック再構成がリプレイフィールド、例えばスクリーンや拡散板などの受光面に形成される。
【0052】
光源110、例えばレーザまたはレーザダイオードは、コリメートレンズ111を介してSLM140を照射するように配置される。コリメートレンズにより、光の波面が概ね平面になり、SLMに入射させる。図1では、波面の方向は法線から外れている(例えば、透明層の平面に対して真の直交から2度または3度離れている)。しかしながら、他の実施形態では、略平面状の波面が法線入射で提供され、ビームスプリッタ装置が入力光路と出力光路を分離するために使用される。図1に示される実施形態では、光源からの光がSLMの鏡面後面で反射され、光変調層と相互作用して出射波面112を形成するような配置となっている。出射波面112は、スクリーン125に焦点を有するフーリエ変換レンズ120を含む光学系に適用される。より具体的には、フーリエ変換レンズ120は、SLM140から変調された光のビームを受け取り、スクリーン125においてホログラフィック再構成を生成するために周波数空間変換を実行する。
【0053】
特に、このタイプのホログラフィでは、ホログラムの各ピクセルが全体の再構成に寄与する。リプレイフィールド上の特定のポイント(または画像ピクセル)と特定の光変調素子(またはホログラムピクセル)の間には1対1の相関関係はない。換言すれば、光変調層を出る変調された光は、リプレイフィールド全体に分布する。
【0054】
これらの実施形態では、空間内のホログラフィック再構成の位置は、フーリエ変換レンズの屈折力(集光力)によって決定される。図1に示す実施形態では、フーリエ変換レンズは物理レンズである。すなわち、フーリエ変換レンズは光学的なフーリエ変換レンズであり、フーリエ変換は光学的に行われる。どのレンズもフーリエ変換レンズとして機能するが、レンズの性能によって実行されるフーリエ変換の精度が制限される。当業者は、レンズを使用して光学フーリエ変換を実行する方法を理解している。
【0055】
ホログラム計算
いくつかの実施形態では、コンピュータ生成ホログラムは、フーリエ変換ホログラム、または単にフーリエホログラムもしくはフーリエベースのホログラムであり、正レンズのフーリエ変換特性を利用することによって画像が遠視野で再構成される。フーリエホログラムは、再生面内の目的のライトフィールドをレンズ面にフーリエ変換して戻すことによって計算される。コンピュータ生成のフーリエホログラムは、フーリエ変換を使用して計算できる。
【0056】
ガーチバーグ・サクストン型アルゴリズムなどのアルゴリズムを使用して計算することができる。さらに、ガーチバーグ・サクストン型アルゴリズムを使用して、空間領域の振幅のみの情報(写真など)からフーリエ領域のホログラム(すなわち、フーリエ変換ホログラム)を計算することができる。オブジェクトに関連する位相情報は、空間領域の振幅のみの情報から効果的に「取得」(retrieved)される。いくつかの実施形態では、コンピュータ生成ホログラムは、ガーチバーグ・サクストン型アルゴリズムまたはその変形を使用して振幅のみの情報から計算される。
【0057】
ガーチバーグ・サクストン型アルゴリズムは、それぞれ平面AおよびBにおける光ビームの強度断面積IA(x,y)およびIB(x,y)が既知であり、IA(x,y)およびIBである状況を考慮する。(x,y)は単一のフーリエ変換によって関連付けられる。指定された強度断面積を使用して、平面AおよびBの位相分布の近似値、それぞれΨA(x,y)およびΨB(x,y)が求められる。ガーチバーグ・サクストン型アルゴリズムは、反復プロセスに従ってこの問題の解決策を見つける。より具体的には、ガーチバーグ・サクストン型アルゴリズムは、空間領域とフーリエ(スペクトルまたは周波数)ドメインの間でIA(x,y)とIB(x,y)を表すデータセット(振幅と位相)を繰り返し転送しながら、空間制約とスペクトル制約を繰り返し適用する。スペクトル領域の対応する計算機生成ホログラムは、アルゴリズムの少なくとも1回の反復を通じて取得される。このアルゴリズムは収束的であり、入力画像を表すホログラムを生成するように構成される。ホログラムは、振幅のみのホログラム、位相のみのホログラム、または完全複素ホログラムであってもよい。
【0058】
いくつかの実施形態では、位相限定ホログラムは、その全体が参照により本明細書に組み込まれる英国特許第2,498,170号または第2,501,112号に記載されているような、ガーチバーグ・サクストン型アルゴリズムに基づくアルゴリズムを使用して計算される。しかしながら、本明細書に開示される実施形態は、単なる例として、位相限定ホログラムの計算を説明する。これらの実施形態では、ガーチバーグ・サクストン型アルゴリズムは、既知の振幅情報T[x,y]を生じさせるデータセットのフーリエ変換の位相情報Ψ[u,v]を取得する。ここで、振幅情報T[x,y]はターゲット画像(例えば写真)を表す。振幅と位相はフーリエ変換で本質的に結合されるため、変換された振幅と位相には、計算されたデータセットの精度に関する有用な情報が含まれる。したがって、このアルゴリズムは、振幅情報と位相情報の両方に関するフィードバックとともに繰り返し使用できる。しかしながら、これらの実施形態では、位相情報Ψ[u,v]のみがホログラムとして使用され、像面にターゲット画像を表すホログラフィックを形成する。ホログラムは、位相値のデータセット(2D配列など)である。
【0059】
ガーチバーグ・サクストン型アルゴリズムに基づくアルゴリズムを使用して、完全複素ホログラムを計算する。完全複素ホログラムは、振幅成分と位相成分を持つホログラムである。ホログラムは、複素データ値の配列を含むデータセット(例えば、2D配列)であり、各複素データ値は、振幅成分および位相成分を含む。
【0060】
いくつかの実施形態では、アルゴリズムは複素データを処理し、フーリエ変換は複素フーリエ変換である。複素データは、(i)実数成分と虚数成分、または(ii)振幅成分と位相成分を含むものと考えることができる。いくつかの実施形態では、複合データの2つの構成要素は、アルゴリズムのさまざまな段階で異なる方法で処理される。
【0061】
図2Aは、位相限定ホログラムを計算するためのいくつかの実施形態によるアルゴリズムの最初の反復を示す。アルゴリズムへの入力は、ピクセルまたはデータ値の2D配列を含む入力画像210であり、各ピクセルまたはデータ値は大きさまたは振幅値である。つまり、入力画像210の各ピクセルまたはデータ値は位相成分を有さない。したがって、入力画像210は、大きさのみ、振幅のみ、または強度のみの分布とみなすことができる。このような入力画像210の一例は、時間的フレームシーケンスを含む写真またはビデオの1フレームである。アルゴリズムの最初の反復は、ランダムな位相分布(またはランダムな位相シード)230を使用して入力画像の各ピクセルにランダムな位相値を割り当てることを含むデータ形成ステップ202Aから始まり、セットの各データ要素が大きさと位相で構成される開始複素データセットを形成する。。開始時の複素データセットは空間領域における入力画像を表していると言える。
【0062】
第1の処理ブロック250は、開始複素データセットを受け取り、複素フーリエ変換を実行して、フーリエ変換された複素データセットを形成する。第2の処理ブロック253は、フーリエ変換された複素データセットを受け取り、ホログラム280Aを出力する。いくつかの実施形態では、ホログラム280Aは位相限定ホログラムである。これらの実施形態では、第2の処理ブロック253は、ホログラム280Aを形成するために、各位相値を量子化し、各振幅値を1に設定する。各位相値は、位相限定ホログラムを「表示」(display)するために使用される空間光変調器のピクセル上に表現できる位相レベルに従って量子化される。例えば、空間光変調器の各ピクセルが256の異なる位相レベルを提供する場合、ホログラムの各位相値は、256の可能な位相レベルのうちの1つの位相レベルに量子化される。ホログラム280Aは、入力画像を表す位相限定フーリエホログラムである。他の実施形態では、ホログラム280Aは、受信したフーリエ変換された複素データセットから導出された複素データ値(それぞれ振幅成分および位相成分を含む)の配列を含む完全複素ホログラムである。いくつかの実施形態では、第2の処理ブロック253は、ホログラム280Aを形成するために、各複素データ値を複数の許容可能な複素変調レベルのうちの1つに制約する。制約するステップは、各複素データ値を複素平面内の最も近い許容可能な複素変調レベルに設定することを含むことができる。ホログラム280Aは、スペクトル領域、フーリエ領域、または周波数領域における入力画像を表していると言える。いくつかの実施形態では、アルゴリズムはこの時点で停止する。
【0063】
しかしながら、他の実施形態では、アルゴリズムは、図2Aの点線の矢印で表されるように継続する。換言すれば、図2Aの点線の矢印に続くステップは任意である(すなわち、すべての実施形態にとって必須ではない)。
【0064】
第3の処理ブロック256は、第2の処理ブロック253から修正複素データセットを受け取り、逆フーリエ変換を実行して、逆フーリエ変換された複素データセットを形成する。逆フーリエ変換された複素データセットは、空間領域における入力画像を表していると言える。
【0065】
第4の処理ブロック259は、逆フーリエ変換された複素データセットを受信し、大きさの値の分布211Aおよび位相値の分布213Aを抽出する。任意選択で、第4の処理ブロック259は、大きさの値211Aの分布を評価する。具体的には、第4の処理ブロック259は、逆フーリエ変換された複素データセットの大きさの値の分布211Aを、もちろんそれ自体の大きさの値の分布である入力画像510と比較することができる。強度値の分布211Aと入力画像210との間の差が十分に小さい場合、第4の処理ブロック259は、ホログラム280Aが許容可能であると決定することができる。すなわち、強度値の分布211Aと入力画像210との間の差が十分に小さい場合、第4の処理ブロック259は、ホログラム280Aが入力画像210を十分に正確に表現していると決定することができる。逆フーリエ変換された複素データセットの位相値213Aの分布は、比較の目的では無視される。大きさの値の分布211Aと入力画像210を比較するために任意の数の異なる方法を使用することができ、本開示は任意の特定の方法に限定されないことが理解されよう。いくつかの実施形態では、平均二乗差が計算され、平均二乗差が閾値より小さい場合、ホログラム280Aは許容可能であるとみなされる。第4の処理ブロック259がホログラム280Aを許容できないと判断した場合、アルゴリズムのさらなる反復が実行され得る。しかしながら、この比較ステップは必須ではなく、他の実施形態では、実行されるアルゴリズムの反復回数は、所定、プリセット、またはユーザ定義である。
【0066】
図2Bは、アルゴリズムの2回目の反復とアルゴリズムのさらなる反復を表している。前の反復の位相値213Aの分布は、アルゴリズムの処理ブロックを通じてフィードバックされる。強度値の分布211Aは、入力画像210の強度値の分布を優先して拒否される。最初の反復では、データ形成ステップ202Aは、入力画像210の強度値の分布を結合することによって第1の複素データセットを形成した。しかしながら、2回目以降の反復では、データ形成ステップ202Bは、(i)アルゴリズムの前の反復からの位相値213Aの分布と、(ii)入力画像210の大きさの値の分布とを組み合わせることによって、複素データセットを形成することを含む。
【0067】
次に、図2Bのデータ形成ステップ202Bによって形成された複合データセットは、図2Aを参照して説明したのと同じ方法で処理されて、第2の反復ホログラム280Bを形成する。したがって、プロセスの説明はここでは繰り返さない。アルゴリズムは、第2の反復ホログラム280Bが計算されたときに停止することができる。ただし、アルゴリズムのさらなる反復は任意の回数実行できる。第3の処理ブロック256は、第4の処理ブロック259が必要な場合、またはさらなる反復が必要な場合にのみ必要であることが理解されよう。出力ホログラム280Bは一般に、反復するたびに改善される。ただし、実際には、測定可能な改善が観察されないか、さらなる反復を実行することによるプラスの効果が、追加の処理時間によるマイナスの効果よりも上回る点に達するのが通常である。したがって、このアルゴリズムは反復的かつ収束的であると説明される。
【0068】
図2Cは、2回目以降の反復の代替実施形態を表す。前の反復の位相値213Aの分布は、アルゴリズムの処理ブロックを通じてフィードバックされる。大きさの値の分布211Aは、大きさの値の代替分布を支持して拒否される。この代替実施形態では、強度値の代替分布は、前の反復の大きさの値の分布211から導出される。具体的には、処理ブロック258は、前の反復の大きさの値の分布211から入力画像210の大きさの値の分布を減算し、その差をゲイン係数αでスケーリングし、スケーリングされた差を入力画像210から減算する。これは、次のように表される。数学的には次の方程式によって計算される。下付き文字と数字は反復数を示す。
【数1】
ここで、F’は逆フーリエ変換である。
Fは順フーリエ変換である。
R[x,y]は、第3の処理ブロック256によって出力される複素データセットである。
T[x,y]は入力画像またはターゲット画像である。
∠は位相成分である。
Ψは位相限定ホログラム280Bである。
ηは大きさの値211Bの新しい分布である。
αはゲイン係数である。
【0069】
ゲイン係数αは固定でも可変でもよい。いくつかの実施形態では、ゲイン係数αは、入力されるターゲット画像データのサイズおよびレートに基づいて決定される。いくつかの実施形態では、ゲイン係数αは反復数に依存する。いくつかの実施形態では、ゲイン係数αは単に反復数の関数である。
【0070】
図2Cの実施形態は、他のすべての点において図2Aおよび図2Bの実施形態と同じである。位相限定ホログラムΨ(u,v)は、周波数またはフーリエ領域の位相分布を含むと言える。
【0071】
いくつかの実施形態では、フーリエ変換は空間光変調器を使用して実行される。具体的には、ホログラムデータは、屈折力を提供する第2のデータと組み合わされる。すなわち、空間光変調に書き込まれるデータは、物体を表すホログラムデータとレンズを表すレンズデータとを含む。空間光変調器に表示されて光で照らされると、レンズデータは物理レンズをエミュレートする。つまり、対応する物理光学素子と同じ方法で光の焦点を合わせる。したがって、レンズデータは屈折力、または集束力を提供する。これらの実施形態では、図1の物理的フーリエ変換レンズ120を省略することができる。コンピュータ生成ホログラフィの分野では、レンズを表すデータを計算する方法が知られている。レンズを表すデータは、ソフトウェアレンズと呼ばれることがある。例えば、位相限定レンズは、その屈折率および空間的に変化する光路長に起因してレンズの各点によって引き起こされる位相遅延を計算することによって形成され得る。例えば、凸レンズの中心での光路長は、レンズの端での光路長よりも長くなる。振幅限定レンズは、フレネルゾーンプレートによって形成されてもよい。コンピュータ生成ホログラフィの技術分野では、物理的なフーリエレンズを必要とせずにホログラムのフーリエ変換を実行できるように、レンズを表すデータをホログラムと組み合わせる方法も知られている。いくつかの実施形態では、レンズデータは、単純なベクトル加算などの単純な加算によってホログラムと結合される。いくつかの実施形態では、物理レンズをソフトウェアレンズと組み合わせて使用して、フーリエ変換を実行する。あるいは、他の実施形態では、ホログラフィック再構成が遠視野で行われるように、フーリエ変換レンズが完全に省略される。さらなる実施形態では、ホログラムは、格子データ、つまり、ビームステアリングなどの格子の機能を実行するように配置されたデータと同じ方法で組み合わせることができる。繰り返しになるが、コンピュータ生成ホログラフィの分野では、そのようなデータを計算する方法が知られている。例えば、位相限定回折格子は、ブレーズ回折格子の表面上の各点によって引き起こされる位相遅延をモデル化することによって形成され得る。振幅のみの回折格子を振幅のみのホログラムと単純に重ね合わせて、ホログラフィック再構成の角度ステアリングを提供することができる。
【0072】
いくつかの実施形態では、フーリエ変換は、物理的フーリエ変換レンズとソフトウェアレンズによって共同して実行される。つまり、フーリエ変換に寄与する屈折力の一部はソフトウェアレンズによって提供され、フーリエ変換に寄与する屈折力の残りの部分は物理光学系によって提供される。
【0073】
いくつかの実施形態では、画像データを受信し、アルゴリズムを使用してリアルタイムでホログラムを計算するように構成されたリアルタイムエンジンが提供される。いくつかの実施形態では、画像データは、一連の画像フレームを含むビデオである。他の実施形態では、ホログラムは事前に計算され、コンピュータメモリに保存され、SLM上で表示するために必要に応じて呼び出される。すなわち、いくつかの実施形態では、所定のホログラムのリポジトリが提供される。
【0074】
これらの実施形態は、単なる例として、フーリエホログラフィーおよびガーチバーグ・サクストン型アルゴリズムに関する。本開示は、フレネルホログラフィおよび点群法に基づく技術などの他の技術によって計算されたホログラムにも同様に適用可能である。
【0075】
光の変調
空間光変調器を使用して、コンピュータ生成ホログラムを含む回折パターンを表示することができる。ホログラムが位相限定ホログラムの場合、位相を変調する空間光変調器が必要となる。ホログラムが完全複素ホログラムである場合、位相と振幅を変調する空間光変調器を使用するか、位相を変調する第1の空間光変調器と振幅を変調する第2の空間光変調器を使用することができる。
【0076】
いくつかの実施形態では、空間光変調器の光変調素子(すなわち、ピクセル)は、液晶を含むセルである。すなわち、いくつかの実施形態では、空間光変調器は、光学活性部品が液晶である液晶デバイスである。各液晶セルは、複数の光変調レベルを選択的に提供するように構成されている。すなわち、各液晶セルは、複数の可能な光変調レベルから選択された1つの光変調レベルで動作するように常に構成される。各液晶セルは、複数の光変調レベルとは異なる光変調レベルに動的に再構成可能である。いくつかの実施形態では、空間光変調器は反射型液晶オンシリコン(LCOS)空間光変調器であるが、本開示はこのタイプの空間光変調器に限定されない。
【0077】
LCOSデバイスは、小さな開口部(例えば幅数センチメートル)内に光変調素子またはピクセルの高密度配列を提供する。通常、ピクセルは約10ミクロン以下で、回折角は数度になる。これは、光学システムをコンパクトにできることを意味する。他の液晶デバイスの大きな開口よりも、LCOSSLMの小さな開口を適切に照射する方が簡単である。LCOSデバイスは通常、反射型であり,これは、LCOSSLMのピクセルを駆動する回路を反射面の下に埋め込むことができることを意味する。その結果、より高い開口率が得られる。言い換えれば、ピクセルは密に詰め込まれており、ピクセル間にデッドスペースがほとんどないことを意味する。これは、リプレイフィールドの光学ノイズを低減するので有利である。LCOSSLMはシリコンバックプレーンを使用しており、ピクセルが光学的に平坦であるという利点がある。これは、位相変調デバイスにとって特に重要である。
【0078】
適切なLCOSSLMについて、単なる例として、図3を参照して以下に説明する。LCOSデバイスは、単結晶シリコン基板302を使用して形成される。それは、ギャップ301aによって離間され、基板の上面に配置された正方形の平面アルミニウム電極301の2D配列を有する。電極301のそれぞれは、基板302に埋め込まれた回路302aを介してアドレス指定することができる。各電極は、それぞれ平面ミラーを形成する。配向層303は電極配列上に配置され、液晶層304は配向層303上に配置される。第2配向層305は、例えばガラスの平面透明層306上に配置される。例えばITOの単一の透明電極307が、透明層306と第2の配向層305との間に配置される。
【0079】
正方形の電極301のそれぞれは、透明電極307の上にある領域および介在する液晶材料とともに、しばしばピクセルと呼ばれる制御可能な位相変調素子308を画定する。有効ピクセル領域、またはフィルファクタは、ピクセル301a間のスペースを考慮した、光学的にアクティブであるピクセル全体のパーセンテージである。透明電極307に対して各電極301に印加する電圧を制御することによって、それぞれの位相変調素子の液晶材料の特性を変化させることができ、それにより、そこに入射する光に可変遅延を与えることができる。この効果は、波面に位相のみの変調を与えることである。つまり、振幅効果は発生しない。
【0080】
説明されているLCOSSLMは、空間的に変調された光を反射して出力する。反射型LCOSSLMには、信号線、ゲート線、トランジスタが鏡面の下にあるため、高いフィルファクタ(通常は90%以上)と高い解像度が得られるという利点がある。反射型LCOS空間光変調器を使用するもう1つの利点は、液晶層の厚さを、透過型デバイスを使用した場合に必要な厚さの半分にできることである。これにより、液晶のスイッチング速度が大幅に向上する(動画の投影における重要な利点)。しかしながら、本開示の教示では、透過型LCOSSLMを使用して同様に実装することができる。
【0081】
ヘッドアップディスプレイ
いくつかの実施形態では、ヘッドアップディスプレイ(または「HUD」)の一部としてホログラフィック投影システムが提供される。図4は、自動車などの車両に搭載されたHUDを示している。車両のフロントガラス430およびボンネット(またはフード)435が図4に示されている。HUDは、画像生成ユニット「PGU」410および光学システム420を備える。PGU410および光学システム420は、ホログラフィックプロジェクタと総称されることがある。。
【0082】
PGU410は、光源、受光面、および写真の画像内容をコンピュータ制御するように構成されたプロセッサ(またはコンピュータ)を備える。PGU410は、受光面上に画像または一連の画像を生成するように構成される。受光面は、スクリーンまたは拡散板であってもよい。いくつかの実施形態では、受光面はプラスチックである(すなわち、プラスチック製である)。受光面は一次再生面上に配置される。つまり、最初に画像が形成されるホログラフィック再生面である。
【0083】
光学システム420は、入力ポート、出力ポート、第1のミラー421および第2のミラー422を備える。第1のミラー421および第2のミラー422は、光を光学システムの入力ポートから光学システムの出力ポートに導くように配置される。より具体的には、第2のミラー442は、PGU410から映像の光を受けるように配置され、第1のミラー421は、第2のミラー422から映像の光を受けるように配置される。第1のミラー421はさらに、受信した光を出力ポートに反射するように配置される。したがって、入力ポートから出力ポートまでの光路は、入力から第2のミラー422までの第1の光路423(または第1の光路構成要素)と、第2のミラーからの第2の光路424(または第2の光路構成要素)とを含む。無論、第1のミラーから出力ポートまでの第3の光路(または光路コンポーネント)が存在するが、図4では参照番号が割り当てられていない。図4に示される光学構成は、光路の形状により、「z折り」構成と呼ばれることもある。
【0084】
HUDは、光学システム420の出力ポートからの画像の光がフロントガラス430に入射し、フロントガラス430によって少なくとも部分的に反射されてHUDのユーザ440に向かうように、車両内に構成され配置される。したがって、いくつかの実施形態では、光学システムは、空間的に変調された光をフロントガラスから反射することによって、フロントガラス内に各画像の仮想イメージを形成するように構成される。HUDのユーザ440(例えば、車の運転手)は、フロントガラス430内の写真の仮想イメージ450を見る。したがって、実施形態では、光学システムは、車両のフロントガラス上に各写真の仮想イメージを形成するように構成される。仮想イメージ450は、車のボンネット435から一定距離下に形成される。例えば、仮想イメージはユーザ440から1~2.5メートル離れていてもよい。光学システム420の出力ポートは、画像の光が光学システム420によって方向付けられるように、車のダッシュボードの開口と位置合わせされ、この構成では、フロントガラス430は光結合器として機能する。いくつかの実施形態では、光学システムは、システムに含まれる追加の光結合器上に各画像の仮想イメージを形成するように構成される。フロントガラス430、または追加の光学結合器が含まれる場合には、現実世界の光景からの光を写真の光と結合する。したがって、HUDが写真の仮想イメージを含む拡張現実を提供できることが理解されよう。例えば、拡張現実情報には、ナビゲーション情報や自動車の速度に関する情報が含まれる場合がある。いくつかの実施形態では、画像を形成する光は、ブリュースター角(偏光角としても知られる)、またはブリュースター角の5度以内、例えばブリュースター角の2度以内でフロントガラスに入射することによって出力される。
【0085】
いくつかの実施形態では、第1のミラーおよび第2のミラーは、HUDの物理的サイズを過度に大きくすることなく光路長を長くするために、入力から出力までの光路を折り返すように配置される。
【0086】
PGU410の受光面に形成される画像は、幅も高さも数センチメートルしかない。PGU410の受光面は、アライメント方式の表示面であってもよい。第1のミラー421および第2のミラー422は、集合的にまたは個別に拡大を行う。すなわち、第1のミラーおよび/または第2のミラーは屈折力(すなわち、屈折力または集束力)を有してもよい。したがって、ユーザ440は、PGUによって形成された画像の拡大された仮想イメージ450を見ることになる。第1のミラー421および第2のミラー422はまた、典型的には複雑な湾曲形状を有するフロントガラス430によって引き起こされるなどした光学的歪みを補償することもできる。折り畳まれた光路とミラーの屈折力により、画像の仮想イメージを適切に拡大することができる。
【0087】
本開示のPGU410は、ホログラフィックプロジェクタと、スクリーンまたはディフューザなどの受光面とを備える。
【0088】
歪み補償
上記の開示によれば、ホログラフィックプロジェクタは、光源、空間光変調器、およびホログラムプロセッサを備える。空間光変調器は、空間光変調器上に表される1つまたは複数の(通常は一連の)ホログラムに従って光を空間変調するように構成される。ホログラムプロセッサは、コンピュータ生成ホログラムを提供するように構成されている。いくつかの実施形態では、ホログラムプロセッサは、コンピュータ生成ホログラムをリアルタイムで計算して出力する。いくつかの実施形態では、PGU410によって形成される各画像は、受光面上のホログラフィック再構成である。すなわち、いくつかの実施形態では、各画像は、受光面における空間変調された光の干渉によって形成される。
【0089】
空間変調器上に表現される(または表示される)各ホログラムは、ターゲット画像のホログラムであってもよい。ホログラフィック再構成は、画像のホログラフィック再構成である。仮想イメージ450は、ホログラフィック再構成の仮想イメージである。ホログラフィック再構成の仮想イメージは、ホログラムによって符号化されたターゲット画像に対して歪む可能性がある。換言すれば、ホログラフィック再構成の仮想イメージの画像点またはピクセルは、ターゲット画像に対して異なる空間分布を有する可能性がある。特に、ホログラフィック再構成の仮想イメージ内の隣接するピクセルの間隔は、ターゲット画像内のそれぞれの隣接するピクセルの間隔とは異なる場合がある。換言すれば、ホログラフィック再構成の仮想イメージのピクセルは、ターゲット画像のそれぞれのピクセルに対して相互にシフトされている可能性がある。歪みは通常、ホログラフィック再構成の仮想イメージ全体にわたって不均一になる。言い換えれば、歪みはターゲットに対してホログラフィック再構成を均一に拡大するだけでなく、実際に画像を傾けたり歪ませたりする。この歪みの原因はいくつかある。本開示は、特に、ホログラフィックプロジェクタの電流または温度変化に関連する歪みを補償することに関する。例えば、ホログラフィックプロジェクタの光学コンポーネントは通常、温度変化に応じて膨張または収縮する。これにより光学的な位置ずれが発生する可能性がある。さらに、ホログラフィックプロジェクタ(特にホログラフィックプロジェクタの光源)の温度変化により、通常、光源(この例ではレーザなどのコヒーレント光源)から放射される光の波長が変化する。当業者には理解されるように、ホログラフィック再構成のピクセルの位置は、光源によって発せられる光の波長の変化に応じてシフトする。
【0090】
各ピクセルの歪みの量(特定の温度および光の波長における)がわかっている場合、以下によって引き起こされる歪みとは逆の方法でターゲット画像を事前に歪ませることで、仮想イメージ450の歪みを補償することが可能である。例えば、特定の温度におけるホログラフィックプロジェクタの光学的な位置ずれなどである。このようにして、事前に歪ませたターゲット画像のホログラムを計算/(コンピュータで)生成して表示すると、ターゲット画像のホログラフィック再構成が意図したとおりに表示される。このプレディストーションを図5に概略的に示す。
【0091】
図5は、ターゲット画像500のホログラムの計算に先立って、ターゲット画像500を事前に歪ませるプロセスを示す。図5の代表的な例では、ホログラフィックプロジェクタのユーザが仮想イメージを受け取ることを意図している。点502の配列は、図5において黒点502を含む。点502間の間隔は、配列全体にわたって均一である。図5の例の配列は、6つの点×6つの点で構成されている。ホログラムが点502の均一な配列から計算され、空間光変調器上に表示される場合、プロジェクタによって投影される後続の仮想イメージ450は、上述の影響の結果として歪むことになる。したがって、仮想イメージ450(プロジェクタのユーザによって受け取られる)は、不均一な配列として現れるであろう。ターゲット画像500は、所定の歪みマップを使用して事前に歪みを与えることができる。所定の歪みは、ターゲット画像の各ピクセルのマッピングを含む。各マッピングは変換として機能する。特に、各マッピングは、ターゲット画像の1つ以上のピクセルに関連付けられた二次元座標を新しい(事前に歪められた)位置に変換する。各マッピングは、仮想イメージ450内のターゲット画像のそれぞれのピクセルが経験する歪みを補償する。ターゲット画像500の変換/(事前に生じた)歪みは、図5では白点504によって表される。特に、黒点502ごとに白点504が存在する。各点504の位置の変換は、黒点502からそれぞれの白点504への矢印506によって表される。プレディストーションの量/各黒点502がシフトされる量は、図5の矢印506の長さによって表される。図5の矢印506の長さは、ターゲット画像500全体にわたって不均一であり、したがって、プレディストーションの量は不均一である。例えば、必要なプレディストーションの量は、ターゲット画像の中心510で最も少なく、ターゲット画像の端512に近い黒点502では増加する。さらに、プレディストーションの方向は、ターゲット画像500全体にわたって不均一である。特に、プレディストーションの方向は、ターゲット画像の中心510からそれぞれの黒点を通って定義される方向とほぼ平行である。したがって、図5の例では、中心510に関して対向する黒点502は、互いに反対方向に事前に歪められる。ターゲット画像500が事前に歪められると、事前に歪められた画像のホログラムが作成され、ターゲット画像が計算され、空間光変調器とプロジェクタに表示されて、ホログラフィック再構成が形成される。これを図6に示す。
【0092】
図6Aは、所定の歪みマップがターゲット画像500に適用された後の、事前に歪められたターゲット画像600を表す。図6Bは、事前に歪められたターゲット画像600のホログラフィック再構成の仮想イメージ602を表す。上述したように、これは、ホログラフィックプロジェクタによって投影されることを意図した画像である。したがって、ターゲット画像500のプレディストーションは、ホログラフィックプロジェクタによって引き起こされる特定の歪みをうまく補償することができる。
【0093】
図5のターゲット画像は、ホログラフィックプロジェクト/現在の環境条件によって引き起こされる歪みを補償するためにターゲット画像を事前に歪ませるプロセスを表すための単なる便宜的な例としての黒点502の配列を示したものである。当業者には、プレディストーションを任意のターゲット画像(例えば、ピクセルの不均一な分布を含むターゲット画像)に適用できることが明らかであるはずである。
【0094】
リアルタイムの歪みマップ計算
上記の図5および6に関連して説明した歪み補償には、事前に決定された歪みマップが必要である。通常、ホログラフィックプロジェクタを適切に特性評価して、ターゲット画像を十分に事前に歪ませる事前に決定された歪みマップに到達するには、多大な実験とシミュレーション作業が必要である。それでも、事前に決定された歪みマップは、特定の温度および/または光の波長での歪みを補償する場合にのみ正確である。したがって、図5および図6に示されるターゲット画像500のプレディストーションは、ホログラフィックプロジェクタがその温度にある場合、および/または所定の歪みが特に決定された波長を使用する場合にのみ、歪みを正確に補償することになる。ただし、ホログラフィックプロジェクタは通常、さまざまな温度にわたって動作し、高品質の(歪みのない)ホログラフィック再構成を提供できなければならない。車両内のホログラフィックプロジェクタの場合、必要な動作温度範囲は通常、比較的広く、例えば少なくとも摂氏100度になる。明らかに、単一の事前に決定された歪みマップは、このような広い温度範囲での使用には適していない。しかしながら、発明者らは、(異なる温度および/または波長に対する)多数の所定の歪みマップを特徴付けることは現実的ではないことを認識した。これは、a)そうする場合、非常に大量の検証作業が必要になること、およびb)メモリ要件が非常に高くなるためである。その代わりに、発明者らは、現在の温度の歪みマップを計算する高速で計算効率の高い方法を開発した。この方法は、リアルタイムで即座に実行できる。これは、多数の温度でホログラフィックプロジェクタの特性を評価したり、それぞれのマップを大規模なメモリや面倒なルックアップテーブルに保存したりする必要がないことを意味する。代わりに、この方法は、単一の(検証された)事前に決定されたマップを入力として受け取り、現在の温度に合わせてその単一のマップをスケール/変更することができる。発明者らは、徹底したシミュレーションと実験の結果、現在の温度と特定の歪みを補償するために必要なプレディストーションの量との間に予測可能な(線形)関係があるという発見を受けて、この方法を開発した。
【0095】
図7は、本開示による方法を表すフロー図を示す。
【0096】
この方法のステップ702は、二次元座標の配列を受信することを含む。いくつかの例では、各二次元座標は、プレディストーションが適用されていないターゲット画像500などのターゲット画像の1つまたは複数のピクセルを表すか、またはそれに対応する。本開示による方法は、ホログラフィックプロジェクタの現在の温度での歪みを補償するために配列の各二次元座標を変換するのに適した歪みマップを計算する。各二次元座標の変換された位置は、ターゲット画像を事前に歪ませるために使用される。一部の例では、配列内の二次元座標の数とターゲット画像内のピクセルの数の間には1対1の関係がある。言い換えれば、各二次元座標は、ターゲット画像のピクセルの1つを表す(または、それである)と考えることができる。このような例では、変換された二次元座標の配列を使用して、ターゲット画像の各ピクセルを直接事前に歪ませる/シフトすることができる。他の例では、配列内の二次元座標の数とターゲット画像内のピクセル数の間に1対多の関係がある。換言すれば、各二次元座標は、ターゲットピクセルの複数のピクセルを表すか、またはそれに対応すると考えることができる。このような例では、歪みマップに含まれる変換/マッピング(それぞれを計算する必要がある)が少ないため、歪みマップの計算がより効率的になる可能性がある。ただし、このような例では、変換された二次元座標の配列を使用して、ターゲット画像の各ピクセルを直接事前に歪めたりシフトしたりすることはできない。代わりに、変換された各二次元座標の位置を使用してターゲット画像の各ピクセルを事前に歪めたりシフトしたりする方法を決定する補間ステップが必要である。適切な補間方法は、当業者にはよく知られているであろう。
【0097】
この方法のステップ704は、単一の校正された歪みマップMを受信することを含む。単一の校正された歪みマップは複数のマッピングを含む。各マッピングは、受信した二次元座標の配列内の二次元座標の1つを変換するためのものである。単一の校正済み歪みマップのマッピングは、以前の実験および/シミュレーションによって決定および検証されたマッピングである。いくつかの例では、これらのマッピングを決定/検証するステップは、本開示による方法の一部を形成しない。単一の校正済み歪みマップのマッピングは、単一の第1の所定の温度Tにおけるターゲット画像の歪みを補償するために実験および/またはシミュレーションによって決定されたマッピングである。
【0098】
この方法のステップ706は、ベクトルCの配列を受信することを含む。ベクトルの配列Cは、二次元座標の配列の各二次元座標に対するベクトルを含む。ベクトルCの配列内の各ベクトルは、所定の温度範囲にわたるそれぞれの二次元座標の校正された変化を表す。この例では、各ベクトルは、所定の温度範囲の最低温度および所定の温度範囲の最高温度で座標を校正/事前に歪めるために、それぞれの二次元座標をどのように変換する必要があるかをシミュレーションすることによって決定されている。ベクトルは、これら2つの極端な温度範囲間の二次元座標の変化を表す。一例では、ベクトルの配列を決定することは、単一の校正された歪みマップを入力として取り、その歪みマップが温度の変化に伴ってどのように変化するかをシミュレートすることを含む。特に、最低温度と最高温度で歪みマップがどのように変化するかがシミュレーションされた可能性がある。本発明者らは、例において、温度に対する歪みマップのマッピングの変化が線形であることを発見した。実施形態では、最低温度および最高温度における歪みマップのシミュレーションは、この線形関係に依存する。明確にすると、この方法は、ほとんどの例において、ベクトルの配列内のベクトル(すなわち、ベクトルの大きさおよび/または方向)を決定するステップを含まない。代わりに、この方法は、別個にまたは事前に決定されたベクトルの配列を受信することを単に含む。ただし、完全を期すために、ベクトルがどのように決定されるかについての説明が上に含まれている。
【0099】
この方法のステップ708は、ホログラフィックプロジェクタの現在の温度Tを決定することを含む。この例では、方法のステップ708は、温度センサを使用して、ホログラフィックプロジェクタの温度(いくつかの例では、ホログラフィックプロジェクタの光源の温度)を測定することを含む。他の例では、方法のステップ708は、当業者には馴染みのある方法で、ホログラフィックプロジェクタの光源によって放出される光の波長を測定または決定することと、測定または決定された波長に基づいて光源の温度を推測することとを含む。
【0100】
この方法のステップ710は、測定または決定された現在の温度を使用してスケーリング係数を決定することを含む。一例では、スケーリング係数を決定するステップは、現在の温度と(校正された歪みマップに関連付けられた)第1の所定の温度との差を決定するステップを含む。次に、この差は、(ベクトルの配列に関連付けられた)所定の温度範囲で除算される。したがって、スケール係数は、(校正された歪みマップに関連付けられた)第1の所定の温度からの現在の(測定または決定された)温度の変化を、(ベクトルの配列に関連付けられた)所定の温度範囲の割合として表す。
【0101】
この方法のステップ712は、二次元座標配列の座標ごとに、現在の温度に基づいて修正されたマップを計算するステップと、二次元座標の配列のそれぞれの二次元座標に関連するベクトルにスケーリング係数を乗じて、スケーリングされたベクトルを出力するステップと、現在の温度でのホログラフィックプロジェクタにより投影されたときのターゲット画像の歪みを補償するために、スケーリングされたベクトルを校正されたマップのそれぞれのマッピングに適用する(例えば、加算または減算する)ことでそれぞれの二次元座標を変換するための修正されたマッピングを出力するステップを含む。
【0102】
本方法のステップ714は、ステップ712で決定された修正マッピングの配列を含む修正マップを出力することを含む。
【0103】
図7に示す方法は、リアルタイムまたは即座に実行するのに適している。特に、図7に示す方法は、ホログラフィックプロジェクタの動作中に実行することができる。図7の方法の後には、図7の方法で決定されたマッピングを使用してターゲット画像を事前に歪めるステップが続くことができる。その後、事前に歪められたターゲット画像のホログラムを計算することがこれに続くことができる。次に、これに続いて、事前に歪ませたターゲット画像のホログラムを表示し、ターゲット画像のホログラフィック再構成を形成することができる。このプロセス全体を2番目の(異なる)ターゲット画像に対して繰り返すことができる。
【0104】
一例では、本開示による方法は、次の方程式で表すことができる。
【数2】
本方程式において、M(x,y,T)は修正された歪みマップである。x、yは、(本方法のステップ702で受け取られた)二次元座標の配列のそれぞれの二次元座標を示す。Tは現在の温度(本方法のステップ708で決定される)である。Mは、第1の所定温度Tにおける複数のマッピングを含む(本方法のステップ704で受け取られた)校正された歪みマップである。Mは、操作されている現在の各二次元座標を入力として受け取り、適切なマッピングに従ってその二次元座標を変換する。C(x,y)はベクトルの配列(本方法のステップ706で受け取られる)であり、演算されているそれぞれの現在の二次元座標を入力として受け取り、その二次元座標のベクトルを出力する。方程式
【数3】
の残りの項は、(本方程式のステップ710で決定される)スケーリング係数である。TminおよびTmaxは、各ベクトルC(x,y)が関係する所定の温度範囲の最低温度と最高温度である。スケーリング係数は実質的にパーセンテージであり、最初の温度Tからの現在の温度Tの変化を所定の温度範囲Tmax-Tminの割合として表す。ベクトルの配列内の各ベクトルC(x,y)はスケーリング係数で乗算され、複数のスケーリングされたベクトルを含むスケーリングされたベクトル配列を出力する。
【0105】
図8は、現在の温度Tと第1の所定の温度Tに基づいてスケーリングされる(ベクトルC(x,y)の配列のうちの)1つのベクトルを概略的に示している。図8では、ベクトルは矢印802で表される。図8はまた、2つの黒点804、806を含む。これらの黒点は、所定の温度範囲の2つの極値におけるそれぞれの二次元座標の位置にある。特に、黒点804の位置はTminでシミュレートされ、黒点806の位置はTmaxでシミュレートされている。ベクトル802は、TminからTmaxまでの位置の変化の大きさと方向を表す。換言すれば、ベクトル802は、ホログラフィックプロジェクタの動作可能な温度範囲にわたって(温度歪みを補償するために適切に校正された場合に)それぞれの二次元座標がどのように変化するかを表す。矢印808は、ベクトルに
【数4】
を乗算することによってスケーリングされた後のベクトル802を表す。スケーリングされたベクトル808の長さ(すなわちベクトルの大きさ)はベクトル802の長さより短いが、方向は実質的に同じである。上記のように、スケーリングされたベクトルが変換された二次元座標に適用される。白点810は、校正された歪みマップのそれぞれのマッピングが適用された後のそれぞれの二次元座標の位置にある。M白点812は、スケーリングされたベクトル808が適用された後のそれぞれの二次元座標の位置にある。このモデルは、ベクトルが現在の温度に基づいて線形にスケーリングできるという事実に依存している。発明者らは、徹底したシミュレーションと実験の結果、線形モデルがこの関係をモデル化するのに適切であり、良好な結果を出力することを発見した(例えば、スケーリングされたベクトルが校正された歪みマップのマッピングに適用されるとM、歪み補償が良好になるなど)。
【0106】
修正された歪みマップM(リアルタイムで計算される)を使用してターゲット画像900を事前に歪ませるプロセスを概略的に表す。図9では、図5と同様に、ホログラフィックプロジェクタのユーザが点902の均一な配列の仮想イメージを受け取ることが意図されている。点902の配列は、図9では黒点902を含む。点902は配列全体で均一である。図9の例の配列は、6つの点×6つの点で構成されている。上の式に戻ると、修正された歪みマップの計算は効果的に2つの項で構成される。最初の項は、校正された歪みマップMに対応する。2番目の項は、スケーリングされたベクトルの配列に対応する。図9は、両方の項を個別の歪みとして表している。特に、図9では、各点902は、まず、校正された歪みマップMを使用して歪みが与えられ、次に、スケーリングされたベクトルを使用して調整される。校正された歪みマップMの結果としての各黒点902のプレディストーションの成分は、矢印904および白点906によって表される。スケーリングされたベクトルの結果としての各白点906のプレディストーションの成分は、次のとおりである。2つの異なる成分は、図9では、説明のみを目的として別個の変換/歪みとして示されている。実際には、修正されたマップMがターゲット画像を変換/事前歪ませるために使用されるとき、各黒点902は、破線の白点910によって表される、示されるそれぞれの位置に直接シフトされるであろう。
【0107】
単色チャネル
本開示による方法は、異なる色のホログラフィック再構成におけるピクセル/画像特徴が確実に位置合わせされることを保証する必要があるため、マルチカラーホログラフィックプロジェクタに特に応用され得る。このようなホログラフィックプロジェクタの一例を本明細書で説明する。
【0108】
本開示の例は、複数の単色チャネルを備えるホログラフィックプロジェクタに関する。各単一カラーチャネルは、単一カラーホログラフィック再構成(つまり、画像または写真)を形成する単一カラーホログラフィックプロジェクタを構成する。複数の単色画像が共通の再生面上に形成される。フルカラー画像は、赤、緑、青の画像を同時に使用して形成できる。
【0109】
図10は、赤、緑、青のカラーチャネルを示している。赤チャネルは、第1の空間光変調器1001r、第1のレンズ1020r、および第1のミラー1027rを備える。緑チャネルは、第2の空間光変調器1001g、第2のレンズ1020g、および第2のミラー1017gを備える。青チャネルは、第3の空間光変調器1001b、第3のレンズ1020b、および第3のミラー1007bを備える。各単一カラーチャネルは、再生面1050上に単一カラーのホログラフィック再構成(または画像)を形成する。第1のレンズ1020r、第2のレンズ1020g、および第3のレンズ1020bは任意である。表示される各ホログラムがフーリエホログラムである場合、第1のレンズ1020r、第2のレンズ1020g、および第3のレンズ1020bは、それぞれのホログラムのフーリエ変換に寄与し得る。
【0110】
第1の空間光変調器1001rは、赤色の画像に対応するホログラムを表示する。第1の空間光変調器1001rは赤色光で照射される。第1のレンズ1020rは、第1の空間光変調器1001rから空間変調された光を受け取り、再生面1050上に赤色の画像を形成する。第1のミラー1027rは、第1のレンズ1020rと再生面1050との間に配置される。
【0111】
第2の空間光変調器1001gは、緑色の画像に対応するホログラムを表示する。第2の空間光変調器1001gは緑色光で照射される。第2のレンズ1020gは、第2の空間光変調器1001gから空間的に変調された光を受け取り、再生面1050上に緑色の画像を形成する。第2のミラー1017gは、第2のレンズ1020gと再生面1050との間に配置される。
【0112】
第3の空間光変調器1001bは、青色の画像に対応するホログラムを表示する。第3の空間光変調器1001bは青色光で照射される。第3のレンズ1020bは、第3の空間光変調器1001bから空間的に変調された光を受け取り、再生面1050上に青色の画像を形成する。第3のミラー1007bは、第3のレンズ1020bと再生面1050との間に配置される。
【0113】
第1のミラー1027rは、赤色光を反射し、緑色光および青色光を透過する第1ダイクロイックミラーである。第2のミラー1017gは、緑色光を反射し、青色光を透過する第2のダイクロイックミラーである。第3のミラー1007bは青色光を反射する。
【0114】
各単色の光路は、空間光変調器からミラーまでの第1部分とミラーから再生面までの第2部分で構成される。実施形態では、単一チャネルの第1の部分は空間的にオフセットされているが、実質的に平行である。実施形態では、単一チャネルの第2の部分は実質的に同一直線上にある。
【0115】
第1の空間光変調器1001rから再生面1050までの赤色光路は、第1のミラー1027rからの反射を含む。第2の空間光変調器1001gから再生面1050までの緑色の光路は、第2のミラー1017gでの反射と、それに続く第1のミラー1027rの透過を含む。第3の空間光変調器1001bから再生面までの青色光路は、第3のミラー1007bでの反射、その後の第2のミラー1017gの透過、次いで第1のミラー1027rの透過を含む。再生面1050、第1のミラー1027r、第2のミラー1017g、および第3のミラー1007bは、実質的に同一直線上にある。青の光路長は緑の光路長よりも長く、緑の光路長は赤の光路長よりも長くなる。具体的には、実施形態では、青色光路の第2の部分は緑色光路の第2の部分よりも長く、緑色光路の第2の部分は赤色光路の第2の部分よりも長い。これらの実施形態では、第1の部分の長さは実質的に等しくてもよい。
【0116】
それぞれの単一カラーチャネルを使用して、リプレイフィールド領域内にホログラフィック再構成を形成することができる。赤色のリプレイフィールドには、画像の赤色の画像コンテンツが含まれる場合がある。緑色のリプレイフィールドには、画像の緑色の画像コンテンツが含まれる場合がある。青色のリプレイフィールドには、画像の青色の画像コンテンツが含まれる場合がある。当業者であれば、赤、緑、青のカラーチャネルを使用して赤、緑、青の画像コンテンツを重ね合わせることによって画像を形成するという考えに精通しているであろう。赤、緑、青のリプレイフィールドの位置合わせは、画質にとって非常に重要である。
【0117】
上述したように、ホログラフィック再構成は、空間光変調器上に表示されるそれぞれのホログラムに符号化されたターゲット画像に対して歪む可能性がある。これにより、ホログラフィック再構成のピクセル/光スポットが、ターゲット画像内のそれぞれの空間分布に対して異なる空間分布を有することになる可能性がある。この歪みを補償するためにターゲット画像を事前に歪ませるために歪みマップをリアルタイムで計算する方法についてはすでに説明した。しかしながら、多色ホログラフィックプロジェクタには別の問題があり、それは、異なるチャネルに関連付けられたホログラフィック再構成における対応する画像スポット/ピクセルの歪み/シフトの量が通常異なることである。当業者は、これが、a)異なるカラーチャネルの光の波長が異なり、b)異なるチャネルの位置ずれ(例えば、製造公差による)が異なる可能性があるためであることを認識するであろう。これにより、異なる光チャネルの対応するピクセルに位置ずれが生じ、画質に悪影響を及ぼす可能性がある。この位置ずれを図11に示す。
【0118】
図11は、第1(緑色)ホログラフィックチャネル(図11において白点で表される)によって形成される緑色光スポット1102Gの第1の配列と、第2(青色)ホログラフィックチャネル(図11において白点によって表される)によって形成される青色光スポット1102Bの第2の配列とを示す。図11の実線)。第1のホログラフィックチャネルの光スポットは、第2のホログラフィックチャネルの光スポットに対して位置がずれている。
【0119】
前述したように、ターゲット画像を事前に歪ませることで歪みを補償できる。しかしながら、当業者には理解されるように、異なるカラーチャネルの歪みの量は異なるため、赤のコンテンツ、緑のコンテンツ、および青のコンテンツに対して同じ歪みマップを使用することはできない。言い換えれば、上記の方法で計算された修正マップMは、1つのチャネルのみの歪みを補償するのに適している可能性がある。ただし、同じ変更されたマップが他のチャネルに適用された場合、異なるカラーポイント/ピクセルが整列することはない。したがって、多色ホログラフィックプロジェクタでは、上述の方法を各色チャネルに対して繰り返して、各色チャネルに対する修正を決定することができる。カラーチャネルごとに異なる調整された歪みマップと、カラーチャネルごとに異なるベクトルの配列が存在する場合がある。
【0120】
追加機能
本明細書で説明される方法およびプロセスは、コンピュータ可読媒体上で具体化され得る。「コンピュータ読み取り可能な媒体」という用語には、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、バッファメモリ、フラッシュメモリ、キャッシュメモリなど、データを一時的または永続的に保存するように構成された媒体が含まれる。「コンピュータ可読媒体」という用語は、マシンによる実行のための命令を格納できる任意の媒体、または複数の媒体の組み合わせも含むものと解釈され、その命令は、1つまたは複数のプロセッサによって実行されると、マシンに本明細書に記載されている方法論のいずれか1つまたは複数を全体または部分的に実行する。
【0121】
「コンピュータ可読媒体」という用語には、クラウドベースのストレージシステムも含まれる。「コンピュータ可読媒体」という用語には、ソリッドステートメモリチップ、光ディスク、磁気ディスクなどの形態例の、1つ以上の有形かつ非一時的なデータリポジトリ(例えば、データボリューム)が含まれるが、これらに限定されない。ディスク、またはそれらの任意の適切な組み合わせ。いくつかの例示的な実施形態では、実行命令は搬送媒体によって伝達されてもよい。このような搬送媒体の例には、一時的な媒体(例えば、命令を伝達する伝播信号)が含まれる。
【0122】
添付の特許請求の範囲から逸脱することなく、様々な修正および変形を行うことができることは、当業者には明らかであろう。本開示は、添付の特許請求の範囲およびその均等物の範囲内のすべての修正および変形を網羅する。
図1
図2A
図2B
図2C
図3
図4
図5
図6A
図6B
図7
図8
図9
図10
図11
【手続補正書】
【提出日】2024-09-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
リアルタイムでマップを計算する方法であって、前記マップが、ホログラフィックプロジェクタによって投影されるターゲット画像を歪ませて、前記ホログラフィックプロジェクタの現在の温度の変化を補償するためのものであり、
複数のマッピングを含む校正されたマップを受け取るステップであって、それぞれのマッピングが、二次元座標の配列のそれぞれの二次元座標を変換して、所定の温度における歪みを補償するものであり、それぞれの二次元座標が、ターゲット画像の一つまたは複数の画像点に対応するステップと、
それぞれの二次元座標に対するベクトルを含むベクトルの配列を受け取るステップであって、それぞれのベクトルが、所定の温度範囲にわたるそれぞれの二次元座標の校正された変化を表すステップと、
前記ホログラフィックプロジェクタの現在の温度を受け取るステップと、
前記現在の温度と前記所定の温度との差に基づいてスケーリング係数を求めるステップと、
前記二次元座標の配列のそれぞれの座標について、現在の気温に基づいて修正されたマップを計算するステップと、
前記二次元座標の配列の前記それぞれの座標に関連するベクトルに前記スケーリング係数を乗算して、スケーリングされたベクトルを出力することと、
前記スケーリングされたベクトルを、前記校正されたマップの前記それぞれのマッピングに適用することによって、
前記修正されたマップを出力するステップと、
を含む方法。
【請求項2】
前記スケーリング係数が、温度に対して線形依存性を有する、請求項1に記載の方法。
【請求項3】
前記スケーリング係数を求めるステップが、前記現在の温度と前記所定の温度との差を求めることと、その差を前記所定の温度範囲で除算することとを含む、請求項2に記載の方法。
【請求項4】
前記スケーリング係数が、(T-T)/(Tmax-Tmin)に等しく、Tは前記現在の温度、Tは前記所定の温度、Tmaxは前記所定の温度範囲の最高温度、Tminは前記所定の温度範囲の最低温度である、請求項1に記載の方法。
【請求項5】
前記二次元座標の配列を受け取るステップをさらに含む、請求項1に記載の方法。
【請求項6】
前記修正されたマップを前記二次元座標の配列に適用して、修正された二次元座標の配列を出力するステップをさらに含む、請求項1に記載の方法。
【請求項7】
複数の画像点を含むターゲット画像を受け取ることであって、前記二次元座標の配列のそれぞれの二次元座標が、前記ターゲット画像の一つまたは複数の画像点に対応する、受け取ることと、
前記修正された二次元座標の配列に基づいて、前記ターゲット画像をあらかじめ歪めることと、
をさらに含む、請求項6に記載の方法。
【請求項8】
前記あらかじめ歪められたターゲット画像のホログラムを計算することをさらに含む、請求項7に記載の方法。
【請求項9】
前記ターゲット画像が第1のターゲット画像であり、前記二次元座標の配列が第1の二次元座標の配列であり、前記校正されたマップが第1の校正されたマップであり、前記ベクトルの配列が第1のベクトルの配列であり、前記修正されたマップが第1の修正されたマップであり、
前記ホログラフィックプロジェクタによって投影される第2のターゲット画像を歪めるための第2のマップを、
複数の第2のマッピングを含む第2の校正されたマップを受け取ることであって、それぞれの第2のマッピングが、第2の二次元座標の配列のそれぞれの二次元座標を変換して、所定の温度における歪みを補償するものであり、それぞれの二次元座標が、ターゲット画像の一つまたは複数の画像点に対応することと、
それぞれの二次元座標に対するベクトルを含む第2のベクトルの配列を受け取ることであって、前記第2の配列のそれぞれのベクトルが、所定の温度範囲にわたるそれぞれの二次元座標の校正された変化を表すことと、
前記第2の二次元座標の配列のそれぞれの座標について、
前記第2の二次元座標の配列の前記それぞれの座標に関連するベクトルに前記スケーリング係数を乗算して、スケーリングされたベクトルを出力することと、
前記スケーリングされたベクトルを、前記第2の校正されたマップの前記それぞれのマッピングに適用することによって、前記現在の温度に基づいて第2の修正されたマップを計算することと、
前記第2の修正されたマップを出力することと、
によって計算することをさらに含む、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記第1の校正されたマップのマッピングおよび前記第1のベクトルの配列のベクトルが、前記第1のターゲット画像のホログラフィック投影において第1の波長が使用されるときのために求められている、請求項9に記載の方法。
【請求項11】
前記第2の校正されたマップの前記マッピングおよび前記第2のベクトルの配列の前記ベクトルが、前記第2のターゲット画像のホログラフィック投影において第2の波長が使用されるときのために求められている、請求項10に記載の方法。
【請求項12】
前記第2の修正されたマップを前記第2の二次元座標の配列に適用して、第2の二次元座標の修正された配列を出力することをさらに含む、請求項9のいずれか一項に記載の方法。
【請求項13】
前記修正されたマップに基づいて前記第2のターゲット画像を歪めることをさらに含む、請求項12に記載の方法。
【請求項14】
前記歪められた第2のターゲット画像の第2のホログラムを計算することをさらに含む、請求項13に記載の方法。
【請求項15】
画像のホログラムを表示し、前記ホログラムに従ってその上に入射する光を空間的に変調するように配置された表示デバイスを備えるホログラフィックプロジェクタであって、再生面において前記画像のホログラフィック再構成を形成するように配置されており、
複数のマッピングを含む校正されたマップであって、それぞれのマッピングが、二次元座標の配列のそれぞれの二次元座標を変換して、所定の温度における歪みを補償するものであり、それぞれの二次元座標が、ターゲット画像の一つまたは複数の画像点に対応する校正されたマップと、
それぞれの二次元座標に対するベクトルを含むベクトルの配列であって、それぞれのベクトルが、所定の温度範囲にわたるそれぞれの二次元座標の校正された変化を表すベクトルの配列と、
が格納されるメモリを備えるコントローラをさらに備え、
前記コントローラが、
前記ホログラフィックプロジェクタの現在の温度を求め、
前記現在の温度と前記所定の温度との差に基づいてスケーリング係数を求め、
前記二次元座標の配列のそれぞれの座標について、
前記二次元座標の配列の前記それぞれの座標に関連するベクトルに前記スケーリング係数を乗算して、スケーリングされたベクトルを出力することと、
前記スケーリングされたベクトルを、前記校正されたマップの前記それぞれのマッピングに適用することとによって、前記現在の温度に基づいて修正されたマップを計算するように配置される、ホログラフィックプロジェクタ。
【外国語明細書】