特許 7508734 ホログラフィック画像ディスプレイシステム及びホログラムを生成する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】ホログラフィック画像ディスプレイシステム及びホログラムを生成する方法

(51)【国際特許分類】

   G03H 1/22 20060101AFI20240625BHJP

【ＦＩ】

G03H1/22

【請求項の数】 16

(21)【出願番号】P 2021540854

(86)(22)【出願日】2020-01-13

(65)【公表番号】

(43)【公表日】2022-03-11

(86)【国際出願番号】 GB2020050061

(87)【国際公開番号】W WO2020148521

(87)【国際公開日】2020-07-23

【審査請求日】2021-07-13

【審判番号】

【審判請求日】2023-03-15

(31)【優先権主張番号】1900504.0

(32)【優先日】2019-01-14

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】521309824

【氏名又は名称】ヴィヴィッドキュー リミテッド

【氏名又は名称原語表記】ＶｉｖｉｄＱ Ｌｉｍｉｔｅｄ

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(74)【代理人】

【識別番号】100154656

【弁理士】

【氏名又は名称】鈴木 英彦

(74)【代理人】

【識別番号】100223424

【弁理士】

【氏名又は名称】和田 雄二

(72)【発明者】

【氏名】カチョロフスキ， アンジェイ

【合議体】

【審判長】里村 利光

【審判官】本田 博幸

【審判官】河原 正

(56)【参考文献】

【文献】特表２０１０－５１１８９９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１７２００１（ＵＳ，Ａ１）

【文献】特表２０１１－５０７０２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G03H1/22

(57)【特許請求の範囲】

【請求項1】

ホログラフィック画像ディスプレイシステムであって、
コヒーレントな、または部分的にコヒーレントな光源と、
前記コヒーレントな、または部分的にコヒーレントな光源によって照射される空間光変調器と、
出力ホログラムデータにより前記空間光変調器を駆動するように構成されたプロセッサであって、前記プロセッサは、入力において画像データを受信し、前記画像データに基づいて出力ホログラムデータを生成する、前記プロセッサと、を備え、
前記画像データは、異なる画像平面において複数の二次元画像レイヤに分離可能な三次元画像データを含み、前記プロセッサは、
ａ）変換された画像レイヤを提供するよう、各々の画像レイヤに対して、空間－周波数変換を実行し、
ｂ）各々の変換された画像レイヤに焦点因子を適用し、
ｃ）各々の変換された画像レイヤに、各々の変換された画像レイヤにわたって一定である疑似ランダム位相因子を適用し、
ｄ）ホログラフィックサブフレームを形成するよう、前記変換された画像レイヤを合計し、
ｅ）複数の反復に対し、ステップ（ｃ）及び（ｄ）を繰り返し、複数のホログラフィックサブフレームを形成するよう、各々の反復において前記変換された画像レイヤに異なる疑似ランダム位相因子を適用し、前記複数のホログラフィックサブフレームは、前記出力ホログラムデータを形成し、
ｆ）高速に時間的に連続して、前記ホログラフィックサブフレームにより前記空間光変調器を駆動する、
ように構成されている、ホログラフィック画像ディスプレイシステム。

【請求項2】

前記プロセッサは、ステップ（ａ）の前に、ステップ（ｘ）において各々の画像レイヤに初期のランダム位相因子を適用するように構成されている、請求項１に記載のホログラフィック画像ディスプレイシステム。

【請求項3】

前記プロセッサは、前記複数のホログラフィックサブフレームを生成するよう、ステップ（ｆ）を実行する前に、画像レイヤごとに複数の反復に対しステップ（ｘ）～（ｅ）を繰り返し、異なる初期のランダム位相因子は、各々の反復において対応する画像レイヤに適用される、ように構成されている、請求項２に記載のホログラフィック画像ディスプレイシステム。

【請求項4】

各々の初期のランダム位相因子は、前記画像レイヤ内の画素ごとの位相値を含み、前記位相値は、前記画像レイヤにわたって統計的に均一に分散される、請求項２または３に記載のホログラフィック画像ディスプレイシステム。

【請求項5】

前記画像データは、異なる画像平面において前記複数の二次元画像レイヤを含み、各々の二次元画像レイヤは、複数の画素を含み、前記プロセッサは、前記二次元画像レイヤ内の隣接する画素が異なるより低い解像度の画像レイヤにあるように、同一の画像平面内で各々の二次元画像レイヤを複数のより低い解像度の画像レイヤに分割し、前記複数のより低い解像度の画像レイヤは、複数の変換された部分画像を形成するよう、ステップ（ａ）が並列に実行される画像レイヤであり、前記変換された部分画像は、前記変換された画像レイヤを形成するためにタイリングされる、請求項１～４のいずれか１項に記載のホログラフィック画像ディスプレイシステム。

【請求項6】

前記画像データは、三次元空間内の複数のポイントを含むポイントクラウドを含み、前記ポイントクラウドは、前記ポイントクラウドの前記ポイントが、前記複数の画像レイヤ内の画素を占有するように、前記複数の二次元画像レイヤに分離される、請求項１～５のいずれか一項に記載のホログラフィック画像ディスプレイシステム。

【請求項7】

前記プロセッサは、ステップ（ａ）の前に、複数の隣接する画像レイヤの全ての画素が単一の結合された画像レイヤに含まれるように、前記複数の隣接する画像レイヤを結合するように構成されている、請求項６に記載のホログラフィック画像ディスプレイシステム。

【請求項8】

前記プロセッサは、どの画像レイヤがいずれの占有された画素をも含まないかを決定すると共に、前記プロセッサ内の前記画像レイヤの連続を、いずれの占有された画素をも含まない前記画像レイヤが前記連続において相互に隣接するように再順序付けするように構成され、ステップ（ａ）～（ｆ）は、少なくとも１つの占有された画素を含むレイヤに対してのみ実行される、請求項６または７に記載のホログラフィック画像ディスプレイシステム。

【請求項9】

前記空間－周波数変換は、フーリエ変換である、請求項１～８のいずれか一項に記載のホログラフィック画像ディスプレイシステム。

【請求項10】

三次元画像データセットからホログラムを生成する方法であって、前記三次元データセットは、異なる画像平面において複数の二次元画像レイヤに分離され、
ａ）変換された画像レイヤを提供するよう、各々の画像レイヤに対して、空間－周波数変換を実行することと、
ｂ）各々の変換された画像レイヤに焦点因子を適用することと、
ｃ）各々の変換された画像レイヤに疑似ランダム位相因子を適用することであって、前記疑似ランダム位相因子が、各々の変換された画像レイヤにわたって一定である、ことと、
ｄ）ホログラフィックサブフレームを形成するよう、前記変換された画像レイヤを結合することと、
ｅ）複数の反復に対し、ステップ（ｃ）及び（ｄ）を繰り返し、複数のホログラフィックサブフレームを形成するよう、各々の反復において前記変換された画像レイヤに異なる疑似ランダム位相因子を適用することと、
ｆ）高速に時間的に連続して、前記ホログラフィックサブフレームにより空間光変調器を駆動し、コヒーレントな光源により前記空間光変調器を照射することと、
を備えた、方法。

【請求項11】

ステップ（ａ）の前に、各々の画像レイヤに追加のランダム位相因子を適用するステップを備えた、請求項１０に記載の方法。

【請求項12】

各々の画像レイヤは、複数の画素を含み、ステップ（ａ）は、前記画像レイヤ内の隣接する画素が異なる部分画像にあるように、各々の画像レイヤを複数の部分画像に分離し、複数の変換された部分画像を提供するよう、各々の部分画像に対して前記空間－周波数変換を実行し、変換された画像レイヤを形成するよう、前記変換された部分画像をタイリングすることを含む、請求項１０または１１に記載の方法。

【請求項13】

前記画像データは、三次元空間内の複数のポイントを含むポイントクラウドを含み、前記方法は、前記ポイントクラウドの前記ポイントが前記複数の画像レイヤ内の画素を占有するように、前記ポイントクラウドを前記複数の二次元画像レイヤに分離することを含む、請求項１０、１１、または１２に記載の方法。

【請求項14】

ステップ（ａ）の前に、複数の隣接する画像レイヤからの画素が単一の結合された画像レイヤに含まれるように、前記複数の隣接する画像レイヤを結合するステップを備えた、請求項１３に記載の方法。

【請求項15】

どの画像レイヤがいずれの占有された画素をも含まないかを決定すること、及び、前記画像レイヤの連続を、いずれの占有された画素をも含まない前記画像レイヤが前記連続において相互に隣接するように再順序付けすることを備え、ステップ（ａ）～（ｆ）は、少なくとも１つの占有された画素を含むレイヤに対してのみ実行される、請求項１３または１４に記載の方法。

【請求項16】

前記空間－周波数変換は、フーリエ変換である、請求項１０～１５のいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルの、コンピュータにより生成されたホログラフィの分野に関する。特に、本発明は、計算負荷を低減させる方式において、空間光変調器上で表示された回折ホログラフィックパターンの生成に関する。

【背景技術】

【0002】

デジタル画像データの捕捉及び表示は、ますます洗練され続けている。リアルタイムビデオデータの捕捉、伝送、及び表示は、モバイルデータネットワークを通じて利用可能なＳｋｙｐｅ及びＦａｃｅｔｉｍｅなどのサービスにより、今では一般的である。オンラインコンピュータゲーム内の高度にリアルな画像のレンダリングも、今では広く普及している。

【0003】

三次元画像の生成も、今ではますます広く普及するようになっている。デジタル画像データに基づいて回折ホログラフィック画像を表示するために必要とされる計算及び技術は、良好に理解されている。しかしながら、特に動く画像ホログラムについて、処理される必要があるデータの量は、大容量であることがあり、計算要件が非常に高い。その理由により、ホログラフィックディスプレイシステムはなお、比較的専門的な製品であり、消費者に対して広く利用可能でない。

【0004】

ホログラム内の感知される雑音のレベルを低減させる、ホログラフィック画像を表示するための１つの前に説明された技術は、ワンステップ位相回復（ＯＳＰＲ）である。この技術は、例えば、ＷＯ２００７／０３１７９７に記載されている。必然的に、この技術は、単一のホログラム画像の代わりに、いくつかのサブフレームホログラムを高速に連続して表示することを含む。各々のサブフレームホログラムは、独立した雑音場を生じさせるよう、それに故意に導入された異なるランダム位相因子を有する。しかしながら、サブフレームホログラムは、人間の目が平均サブフレームのみを感知するように、高速に表示される。雑音場を平均化することは、各々の個々のサブフレームホログラムよりも雑音が少ないホログラムの感知をもたらす。

【0005】

この技術は、Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムに基づいた反復技術など、単一のホログラムフレームのみを表示することに基づいた同様の品質のホログラフィック画像を再現することを試みる技術と比較して、計算要件を低減させる利点を有する。しかしながら、高品質画像の感知に対して必要とされるサブフレームの数は、なおも比較的大きく、サブフレームごとに、何回かの高速フーリエ変換演算を実行する必要がある。これは、高速帯域幅メモリ及び高帯域幅メモリと共に、大きな計算リソースを必要とし、実用的な実装を困難にする。

【0006】

高品質ホログラフィック画像を生成及び表示するために必要とされる計算リソースを低減することが可能であることが望ましい。

【発明の概要】

【0007】

本発明の第１の態様では、
コヒーレントな、または部分的にコヒーレントな光源と、
コヒーレントな、または部分的にコヒーレントな光源によって照射される空間光変調器と、
出力ホログラムデータにより空間光変調器を駆動するように構成されたプロセッサであって、プロセッサは、入力において画像データを受信し、画像データに基づいて出力ホログラムデータを生成する、プロセッサと、を含み、
画像データは、異なる画像平面において複数の二次元画像レイヤに分離可能な三次元画像データを含み、プロセッサは、
ａ）変換された画像レイヤを提供するよう、各々の画像レイヤに対して、フーリエ変換などの空間－周波数変換を実行し、
ｂ）各々の変換された画像レイヤに焦点因子を適用し、
ｃ）各々の変換された画像レイヤに疑似ランダム位相因子を適用し、
ｄ）ホログラフィックサブフレームを形成するよう、変換された画像レイヤを合計し、
ｅ）複数の反復に対し、ステップ（ｃ）及び（ｄ）を繰り返し、複数のホログラフィックサブフレームを形成するよう、各々の反復において変換された画像レイヤに異なる疑似ランダム位相因子を適用し、出力ホログラムデータは、複数のホログラフィックサブフレームを含み、
ｆ）ホログラフィック画像を生成するよう、高速に時間的に連続して、ホログラフィックサブフレームにより空間光変調器を駆動する、
ように構成されている、ホログラフィック画像ディスプレイシステムが提供される。

【0008】

空間－周波数変換は好ましくは、フーリエ変換であるが、フレネル変換などの他の変換が使用されてもよい。フレネル変換が使用される場合、フレネル変換は、変換に焦点因子を適用する、ステップ（ｂ）を組み込む。そのケースでは、ステップ（ａ）及び（ｂ）は、単一のオペレーションにおいて実行される。

【0009】

変換された後に、各々の画像レイヤに疑似ランダム位相因子を適用することによって、サブフレームごとにフーリエ変換を実行する必要なく、多数のホログラフィックサブフレームを生成することができる。これは、比較的低い計算リソース要件により、多数のサブフレームを生成することができることを意味する。これは次いで、短時間のフレーム内で高品質の感知される画像を生成することができることを意味する。有利なことに、各々の変換された画像レイヤ内の画素の全てに同一の疑似ランダム位相因子を適用することができる。

【0010】

有利なことに、プロセッサは、ステップ（ａ）の前に、本明細書でステップ（ｘ）と称される、ステップにおいて各々の画像レイヤに初期のランダム位相因子を適用するように構成されている。各々の画像レイヤは、複数回複製されてもよく、異なる初期のランダム位相因子は、複数の全複合画像レイヤを生成するよう、所与の画像レイヤの各々の複製に適用される。プロセッサは、ホログラフィックサブフレームの複数のセットを生成するよう、複数の複合画像レイヤの各々に対してステップ（ａ）～（ｆ）を実行するように構成されてもよい。言い換えると、ホログラフィック画像ディスプレイシステムは、複数のホログラフィックサブフレームを生成するよう、各々の反復において対応する画像レイヤに適用される異なる初期のランダム位相因子により、ステップ（ｆ）を実行する前に画像レイヤごとに複数の反復に対しステップ（ｘ）～（ｅ）を繰り返すように構成されてもよい。プロセッサは、ホログラフィックに生成された画像を生成するよう、高速に時間的に連続して、ホログラフィックサブフレームの複数のセットの各々により空間光変調器を駆動するように構成されてもよい。

【0011】

画像データは、画像フレームのストリームを含んでもよい。各々の画像フレームは、異なる画像平面において複数の二次元画像レイヤを含んでもよい。プロセッサは、画像フレームごとに複数のホログラフィックサブフレームまたはホログラフィックサブフレームの複数のセットを生成し、動くホログラフィック画像を生成するよう、複数のホログラフィックサブフレームの各々またはホログラフィックサブフレームの複数のセットの各々により空間光変調器を連続して駆動するように構成されてもよい。

【0012】

各々の初期のランダム位相因子は、画像レイヤ内の画素ごとの位相値を含む。異なる位相値は、異なる画素に適用されてもよい。有利なことに、位相値は、画像レイヤにわたって統計的に均一に分散される。有利なことに、ランダム位相因子は、画像フレーム内の各々の異なる画像レイヤに適用される。しかしながら、画像フレームのストリーム内の連続した画像フレームごとに同一のランダム位相因子が使用されてもよい。よって、画像レイヤごとの初期のランダム位相因子の単一のセットのみが生成される必要がある。初期のランダム位相因子のセットは、ディスプレイシステム内の不揮発性メモリに記憶されてもよい。

【0013】

同様に、有利なことに、ステップ（ｃ）において各々の変換された画像レイヤに適用される疑似ランダム位相因子は、単一の画像フレーム内の画像レイヤごとに異なる。しかしながら、連続した画像フレーム内で同一の疑似ランダム位相因子が再度使用されてもよい。疑似ランダム位相因子の各々は、変換された画像レイヤ内の画素の全てに適用される単一の値を含んでもよい。

【0014】

各々の変換された画像レイヤに適用される焦点因子は、画像レイヤの各々の平面に直交する軸に沿ったそのレイヤの位置に対応する。焦点因子の適用は、空間周波数変換に続いて実行されてもよく、または空間周波数変換の一部として実行されてもよい。

【0015】

各々の画像レイヤは、より低い解像度の画像レイヤであってもよい。各々のより低い解像度の画像レイヤは、より高い解像度の画像レイヤを複数のより低い解像度の画像レイヤに分割することによって生成される。特に、画像データは、異なる画像平面において複数のより高い解像度の二次元画像レイヤの形式にあってもよい。プロセッサは、同一の画像平面において各々のより高い解像度の二次元画像レイヤを複数のより低い解像度の画像レイヤに分割するように構成されてもよい。各々のより高い解像度の画像レイヤは、複数の画素を含んでもよい。プロセッサは、タイリング技術を使用して、各々のより高い解像度の画像レイヤを複数のより低い解像度の画像レイヤに分割するように構成されてもよい。より高い解像度の画像レイヤ内のあらゆる画素が少なくとも１つのより低い解像度の画像レイヤに存在するように、各々のより低い解像度の画像レイヤは、より高い解像度の画像レイヤからの複数の画素を含む。有利なことに、より高い解像度の画像レイヤ内の隣接する画素は、異なるより低い解像度の画像レイヤにあってもよい。プロセッサは次いで、出力ホログラムデータを形成するよう、各々のより低い解像度の画像レイヤに対してステップ（ａ）～（ｅ）を並列して実行してもよい。ステップ（ｆ）では、プロセッサは、高速に時間的に連続して、同一のより高い解像度の二次元画像レイヤから生じたホログラフィックサブフレームにより空間光変調器を駆動してもよい。より低い解像度のホログラフィックサブフレームは、それらが正確に位置付けられることを保証するよう、再生領域内でタイリングまたはシフトされてもよい。

【0016】

タイリングは、一次元または二次元において実行されてもよい。一次元においてタイリングが実行されるケースでは、二次元のより高い解像度の画像レイヤの第１の次元において相互に隣接するより高い解像度の画像レイヤ内の画素は、異なるより低い解像度の画像レイヤ内で現れるが、二次元のより高い解像度の画像レイヤの第２の次元において相互に隣接するより高い解像度の画像レイヤ内の画素は、同一のより低い解像度の画像レイヤ内で現れる。二次元においてタイリングが実行されるケースでは、いずれかの次元において相互に隣接するより高い解像度の画像レイヤ内の画素は、異なるより低い解像度の画像レイヤ内で現れる。

【0017】

タイリング戦略は、いくつかの利点を有する。第１に、２つの空間的に隣接する画素が同時に相互に接して表示されるときはいつでも、それらの相対的な位相に応じて、それらが相互に干渉することがあることが、文献において注目されている。時間的に別個である異なるホログラフィックサブフレーム内の隣接する画素を表示するよう空間光変調器を駆動することによって、そのような干渉を回避することができ、より高い品質の画像につながる。第２に、フーリエ変換を実行するステップの前に、各々の画像レイヤを複数のより低い解像度の画像レイヤに分割することは、複数のより高い解像度のホログラフィックサブフレームを生成する代わりに、複数のより低い解像度のホログラフィックサブフレームが生成される場合に、計算的な利点をもたらす。

【0018】

画像データは、三次元空間内の複数のポイントを含むポイントクラウドを含んでもよく、ポイントクラウドは、複数の画素を含む複数の画像レイヤに分離されてもよく、複数の画像レイヤの一部は、ポイントクラウドのポイントによって占有される。単一の画像フレーム内の画像レイヤの数は、システム設計者によって選択されてもよいが、２５６個のレイヤが利便的な数である。プロセッサは、ステップ（ａ）の前に、複数の隣接する画像レイヤから、単一の結合された画像レイヤに画素を結合するように構成されてもよい。プロセッサは、あらゆるｎ個の隣接する画像レイヤから、異なる結合された画像レイヤに画素を結合するように構成されてもよく、ｎは、１よりも大きい整数である。これは、入力画像データ内の画像レイヤの数が、動くホログラフィック画像を表示するために必要とされる時間フレーム内で生成されることを可能にするために十分に高い場合に有益である。例えば、入力画像データが２５６個のレイヤに分離される場合、プロセッサは、あらゆる４つのレイヤを単一の結合された画像レイヤに結合するように構成されてもよい。そのケースでは、入力画像レイヤ１、２、３、及び４からの画素は、最初に結合された画像レイヤに含まれ、入力画像レイヤ５、６、７、及び８からの画素は、２番目に結合された画像レイヤに含まれる、などである。これは、実行時間を４倍だけ加速化する。

【0019】

プロセッサは、少なくとも１つの占有された画素を含む画像レイヤが相互に隣接するように、画像レイヤを再順序付けするように構成されてもよく、ステップ（ａ）は、少なくとも１つの占有された画素を含むレイヤに対してのみ実行される。これは特に、プロセッサが分岐予測能力を有さないときに有益である。フーリエ変換を実行する前にレイヤを再配列することによって、いくつかの画像に対して、処理時間における著しい加速化を達成することができる。

【0020】

本発明の第２の態様に従って、三次元画像データセットからホログラムを生成する方法であって、三次元データセットは、異なる画像平面において複数の二次元画像レイヤに分離され、
ａ）変換された画像レイヤを提供するよう、各々の画像レイヤに対して、フーリエ変換などの空間－周波数変換を実行することと、
ｂ）各々の変換された画像レイヤに焦点因子を適用することと、
ｃ）各々の変換された画像レイヤに疑似ランダム位相因子を適用することと、
ｄ）ホログラフィックサブフレームを形成するよう、変換された画像レイヤを結合することと、
ｅ）複数の反復に対し、ステップ（ｃ）及び（ｄ）を繰り返し、複数のホログラフィックサブフレームを形成するよう、各々の反復において変換された画像レイヤに異なる疑似ランダム位相因子を適用することと、
ｆ）ホログラムを生成するよう、高速に時間的に連続して、ホログラフィックサブフレームにより空間光変調器を駆動し、コヒーレントな光源により空間光変調器を照射することと、を含む方法が提供される。

【0021】

方法は、ステップ（ａ）の前に、各々の画像レイヤに追加のランダム位相因子を適用するステップを含んでもよい。方法は、複数の複合画像レイヤを生成するよう、所与の画像レイヤの複数の複製の各々に異なる初期の疑似ランダム位相因子を適用することを含んでもよい。ステップ（ａ）～（ｆ）は、ホログラフィックサブフレームの複数のセットを生成するよう、複数の複合画像レイヤの各々に対して実行されてもよい。空間光変調器は、ホログラフィック画像を生成するよう、高速に時間的に連続して、ホログラフィックサブフレームの複数のセットの各々により駆動されてもよい。

【0022】

画像データは、画像フレームのストリームを含んでもよい。各々の画像フレームは、異なる画像平面において複数の二次元画像レイヤを含んでもよい。方法は、画像フレームごとに複数のホログラフィックサブフレームまたはホログラフィックサブフレームの複数のセットを生成し、動くホログラフィック画像を生成するよう、複数のホログラフィックサブフレームの各々またはホログラフィックサブフレームの複数のセットの各々により空間光変調器を連続して駆動することを含んでもよい。

【0023】

各々の画像レイヤは、より低い解像度の画像レイヤであってもよい。各々のより低い解像度の画像レイヤは、画像平面においてより高い解像度の画像レイヤを複数のより低い解像度の画像レイヤに分割することによって生成されてもよい。特に、画像データは、異なる画像平面において複数のより高い解像度の二次元画像レイヤの形式にあってもよい。方法は、同一の画像平面内で各々のより高い解像度の二次元画像レイヤを複数のより低い解像度の画像レイヤに分割することを含んでもよい。各々のより高い解像度の画像レイヤは、複数の画素を含んでもよい。方法は、より高い解像度の画像レイヤ内の少なくとも一次元にわたって隣接する画素が異なるより低い解像度の画像レイヤにあるように、各々のより高い解像度の画像レイヤを複数のより低い解像度の画像レイヤに分割することを含んでもよい。例えば、各々のより高い解像度の画像レイヤは、２つまたは４つのより低い解像度の画像レイヤに分割されてもよい。ステップ（ａ）～（ｅ）は次いで、出力ホログラムデータを形成するよう、各々のより低い解像度の画像レイヤに対して並列に実行されてもよい。ステップ（ｆ）では、空間光変調器は、高速に時間的に連続して、同一のより高い解像度の二次元画像レイヤから生じたホログラフィックサブフレームにより駆動されてもよい。同一のより高い解像度の画像レイヤに属するより低い解像度の画像レイヤから生じたホログラフィックサブフレームは、それらが再生領域内で相互に重ならないように、ホログラム平面内でタイリングまたはシフトされてもよい。

【0024】

画像データは、三次元空間内の複数のポイントを含むポイントクラウドを含んでもよい。方法は、ポイントクラウドを画像レイヤに分離することを含んでもよく、画像レイヤの各々は、複数の画素を含む。画素の一部は、ポイントクラウドのポイントによって占有される。画像データは、複数の画像レイヤを含んでもよく、方法は、ステップ（ａ）の前に、複数の隣接する画像レイヤから、単一の結合された画像レイヤに画素を結合することを含んでもよい。方法は、あらゆるｎ個の隣接する画像レイヤから異なる結合された画像レイヤに画素を結合することを含んでもよく、ｎは、１よりも大きい整数である。

【0025】

方法は、ポイントクラウドからのポイントによって占有された少なくとも１つの画素を含む画像レイヤが相互に隣接するように、画像レイヤを再順序付けすることを含んでもよく、ステップ（ａ）は、少なくとも１つの占有された画素を含むレイヤに対してのみ実行される。いずれの占有された画素をも含まない画像レイヤは、少なくとも１つの占有された画素を含むレイヤの間から除去される。

【0026】

本発明の第３の態様に従って、
コヒーレントな、または部分的にコヒーレントな光源と、
コヒーレントな、または部分的にコヒーレントな光源によって照射される空間光変調器と、
出力ホログラムデータにより空間光変調器を駆動するように構成されたプロセッサであって、プロセッサは、入力において画像データを受信し、画像データに基づいて出力ホログラムデータを生成する、プロセッサと、を含み、
画像データは、異なる画像平面において複数の二次元画像レイヤに分離可能な三次元画像データを含み、各々の画像レイヤは、複数の画素を含み、プロセッサは、
画像レイヤ内の隣接する画素が異なる部分画像にあるように、各々の画像レイヤを複数の部分画像に分離し、
複数の変換された部分画像を提供するよう、各々の部分画像対して、フーリエ変換などの空間－周波数変換を実行し、完全な変換された画像レイヤを形成するよう、変換された部分画像を結合し、
各々の変換された画像レイヤに焦点因子を適用し、ホログラフィックサブフレームを形成するよう、変換された画像レイヤを結合し、
ホログラムを生成するよう、高速に時間的に連続して、ホログラフィックサブフレームにより空間光変調器を駆動するように構成されている、ホログラフィック画像ディスプレイシステムが提供される。

【0027】

本明細書で使用されるように、「隣接する」は、少なくとも１つの次元または方向において隣接することを意味する。特に、異なる部分画像にあるように画像レイヤ内の隣接する画素についての要件は、二次元画像レイヤの１つの次元のみにわたって隣接することを指してもよい。

【0028】

本発明の１つの態様に関連して説明される特徴は、本発明の他の態様に適用されてもよいことが明らかであるはずである。特に、第１の態様の特徴は、本発明の第２の態様及び第３の態様に適用されてもよい。

【0029】

本発明の実施形態は、添付図面を参照して詳細に説明される。

【図面の簡単な説明】

【0030】

【図1】本発明に従った、ホログラフィックディスプレイシステムの概略表示である。

【図2】本発明に従った、処理ステップを実行するように構成されたコンピュータシステムの構成要素の概略表示である。

【図3】複数の画像レイヤへのポイントクラウドの分割を示す。

【図4】本発明に従った、画像処理方法を示す。

【図5】４つのより低い解像度の画像レイヤへのより高い解像度の画像レイヤの分割を示す。

【図6a】再生領域内の変換された画像レイヤのシフトを示す。

【図6b】再生領域内の変換された画像レイヤのシフトを示す。

【図7】２つのより低い解像度の画像レイヤへのより高い解像度の画像レイヤの分割を示す。

【図8】再生領域内の変換された画像レイヤのシフトを示す。

【図9】処理、または処理の前に画像レイヤを再配列することを示す。

【発明を実施するための形態】

【0031】

図１は、ホログラフィックディスプレイシステムの概略表示である。システムは、ホログラフィックプロジェクタ２０及び駆動コンピュータ１０を含む。ホログラフィックプロジェクタは、バイナリ空間光変調器（ＳＬＭ）２４を照射するように構成されたレーザ照射モジュール２２を含む。レーザ照射モジュールは、３つのレーザダイオード（赤、緑、青）を含む。レーザ照射モジュールは、レーザダイオードからの出力を結合及びコリメートする。レーザ照射モジュール２２は、レーザドライバボード２６を通じて駆動コンピュータに接続される。バイナリＳＬＭ２４も、駆動コンピュータ１０に接続され、駆動コンピュータ１０によって制御される。ＳＬＭは、液晶デバイス（ＬＣＤ）またはデジタルマイクロミラーデバイス（ＤＭＤ）であってもよい。レーザ照射モジュールからのレーザ光は、ホログラムを形成するよう、ＳＬＭから反射される（または、それを通じて透過される）。ＳＬＭは、コンピュータ１０に、またはレーザドライバボード２６に直接、同期信号を提供する。レーザドライバボード２６は、ＳＬＭによって表示されたフレームに合致するよう、レーザパルスをスケジュールする。ＳＬＭからの光は、ユーザの目３０に到達する前に、光学画像拡大系２８及びビームスプリッタ２９を通過する。光学画像拡大系は、マルチレンズ光学系であってもよい。

【0032】

駆動コンピュータは、ホログラムの特性を制御するよう、ＳＬＭを制御する。この実施形態では、システムは、高速に連続して表示されたホログラフィックフレームの連続を生成することによって、動くホログラフィック画像を生成するように構成されている。

【0033】

図２は、ＳＬＭを駆動することに関与する駆動コンピュータの基本的構成要素の概略表示である。コンピュータは、コントローラ１８と共に、入力バッファ１２、グラフィックプロセシングユニット（ＧＰＵ）１４、及び出力バッファ１６を含む。入力バッファ１２は、一連の三次元フレームの形式にある三次元画像データを受信し、各々の三次元フレームは、複数の画像スライスまたはレイヤに分割される。各々の画像レイヤは必然的に、三次元画像のｚ軸に沿って配列されたスライスを有する二次元画像である。

【0034】

図３は、画像レイヤへの三次元ポイントクラウド画像の分割を示す。表示を明確にするために、画像が１６個のレイヤのみに分割されるが、実用的な実装では、より多くの数、典型的には２５６個のレイヤが使用される。

【0035】

画像レイヤは、ホログラフィックフレーム（または、説明されるようなサブフレーム）の連続を生成するよう、ＧＰＵ１４によって処理される。ホログラフィックフレームは、出力バッファに出力される。ホログラフィックフレームは次いで、コントローラの制御の下、出力バッファから空間光変調器２４に出力される。ＳＬＭ２４に出力されるホログラフィックフレームは各々、赤チャネル、緑チャネル、及び青チャネルごとに８ビットの、２４ビットのビットマップを含んでもよい。それらの各々は、ＳＬＭドライバによって２４個のバイナリホログラフィックフレームに分割されてもよく、２４個のバイナリホログラフィックフレームは次いで、ＳＬＭ上で順次表示される。

【0036】

ＧＰＵは、以下で図４、５、６、７、８、及び９を参照して説明される処理に従って、入力画像レイヤを処理するようプログラムされている。

【0037】

図４は、単一の画像フレームから複数のホログラフィックサブフレームを生成する処理を示す。画像フレームは、前に説明されたように、複数の画像レイヤを含む。図４は、Ｎ個の画像レイヤを示す。この実施例では、Ｎは、２５６に等しいが、表示を簡単にするために、３つの画像レイヤのみが示される。

【0038】

いずれのランダム位相も追加されることなく、深度ｚ＝ｚ_ｑにおける単一の画像レイヤΨ(ｕ，ｖ，ｚ)から生じる、最終的なホログラムに対する貢献は、

【数1】

として記述されてもよい。

【0039】

表示シナリオにおける初期の物体の位相をランダムに選択することができることを考慮して、これは、

【数2】

に近似することができ、
Ｚ_３（ｘ，ｙ）は、三次ゼルニケ多項式であり（四位相焦点因子）、
Ｚ_３（ｘ，ｙ）＝（ｘ^２＋ｙ^２）及びαは、システムの物理配置に応じたスケーリング定数（例えば、空間光変調器及びレーザ波長の特性）である。

【0040】

全てのレイヤについてファイルされ複合体における貢献は、和

【数3】

である。

【0041】

【数4】

である場合、和は、

【数5】

として記述されてもよい。

【0042】

しかしながら、ステップ４０５において、初期のランダム位相因子が各々のレイヤに追加される。各々の画像レイヤに適用される初期のランダム位相因子は、画像レイヤ内の画素ごとの位相値を含む。位相値は、画像レイヤにわたって統計的に均一な分散を有する。よって、各々のランダム位相因子は、２０４８×２０４８の画素を含む画像レイヤに適用されることになるランダム数の２０４８×２０４８のマトリックスを含んでもよい。各々の画像レイヤは、異なる初期のランダム位相因子が設けられる。しかしながら、画像レイヤのビデオストリーム内の後続の画像フレームに、同一の初期のランダム位相因子が適用されてもよい。

【0043】

入力ランダム位相は、

【数6】

として表現されてもよい。画像フレームごとの複合領域は次いで、

【数7】

として記述されてもよい。

【0044】

初期のランダム位相因子の適用に続いて、ステップ４１０において、各々の画像レイヤは、フーリエ変換を受ける。これは、最大の計算的に高価なステップである。

【0045】

フーリエ変換に続いて、ステップ４１５において、適切な焦点因子

【数8】

が各々のレイヤに追加される。画像レイヤは、投影軸に沿って異なる深度にある画像を通じたスライスである。焦点因子は、三次元画像内の画像レイヤの深度に依存し、三次元画像が正確に再構築されることを保証する。

【0046】

ステップ４２０において、複数のホログラフィックサブフレームを生成するために、更なる疑似ランダム位相貢献が導入される。ステップ４２０において導入された疑似ランダム位相貢献は、各々の変換された画像レイヤ内の座標（ｕ，ｖ）とは独立している。これは、フーリエ変換ステップの後に更なる疑似ランダム位相貢献を適用することができることを意味する。

【0047】

ステップ４１５に続いて、更なる疑似ランダム位相貢献は、各々の変換された画像レイヤに追加される。各々の画像レイヤは、異なる疑似ランダム位相因子を受信する。画像レイヤはその後、ステップ４２５において合計され、ステップ４３０においてホログラフィックサブフレームを生成する。しかしながら、ステップ４２０及び４２５は、複数回繰り返され、反復ごとに、異なる更なるランダム位相貢献が各々の画像レイヤに追加される。

【0048】

更なるランダム位相貢献は、

【数9】

として表現されてもよく、ｑは、画像レイヤ数であり、ｋは、反復数である。次いで、画像フレームごとの複合領域は、

【数10】

として記述されてもよい。

【0049】

疑似ランダム位相貢献が各々の変換された画像レイヤ内の座標（ｕ，ｖ）とは独立しているので、これは、

【数11】

として記述されてもよい。

【0050】

フーリエ変換ステップの後に更なる疑似ランダム位相貢献が適用されることを理由に、これは、比較的少ない計算オーバヘッドにより、複数のホログラフィックサブフレームがフーリエ変換された入力画像レイヤの単一のセットから生成されることを可能にする。

【0051】

空間光変調器は、高速に時間的に連続して、複数のホログラフィックサブフレームにより駆動される。これは、複数のサブフレームにわたって平均化することによって雑音がキャンセルされるにつれて、比較的少ない雑音を有するように、人間の目によって感知される画像を生成する。

【0052】

単一のホログラフィックサブフレームを生成するために、典型的には２５６である、入力画像レイヤの数と同等のフーリエ変換を実行することが必要であることと理解することができる。次のサブフレームを生成するために更なるランダム位相貢献を追加する説明された技術を使用することなく、別の２５６回のフーリエ変換が実行される必要がある。フーリエ変換演算が最も時間を要するので、ホログラフィックアルゴリズムの実行時間は、ホログラフィックサブフレームの数と共に線形に拡大縮小する。良好な雑音キャンセレーションのために、画像フレームごとに２４個程度のホログラフィックサブフレームが必要であり、ホログラム生成時間（レイヤの数に応じて）を数秒に拡張する。これは、動く画像を生成することを試みるときに実用的ではない。

【0053】

フーリエ変換の後に更なるランダム位相貢献を追加することによって、より多くのフーリエ変換を実行する必要なしに、複数のホログラフィックサブフレームを生成することができる。ステップ４０５～４２５を複数回実行することによって、単一の画像フレームから複数のホログラフィックサブフレームを生成することができる。フーリエ変換ステップの後の更なる疑似ランダム位相貢献の追加によって生成されたサブフレームは、疑似サブフレームと称されてもよい。２４個のホログラフィックサブフレームを生成するために、例えば、３回の反復に対してステップ４０５、４１０、及び４１５を実行することによって、８個の疑似サブフレームの３つのロットを生成することが可能であり、反復ごとにステップ４０５において異なる初期のランダム位相が追加され、３回の反復ごとに、８回の反復に対してステップ４２０及び４２５を実行することによって８個の疑似サブフレームを生成し、各々の反復において異なる更なる疑似ランダム位相貢献が追加される。実際には、これは、ステップ４０５～４１５の１２回の反復を実行するのと同等の品質を有する画像を生成することによって、４倍の加速を生じさせると共に、３回の反復に対してそれらのステップを実行する必要があるだけである。

【0054】

ホログラフィックフレームを生成する計算費用を低減させる追加の技術は、タイリング技術を使用して各々の画像レイヤを分割することである。各々の画像レイヤは、複数のより低い解像度の画像に分割され、複数の低い解像度の画像は次いで、フーリエ変換される。変換されたレイヤは次いで、ホログラム平面内で再結合される。図５及び６において第１の実施例が示される。

【0055】

各々の画像レイヤは、複数のより低い解像度の部分画像に最初に分離される。図５及び６の実施例では、４つの部分画像が存在するが、同一のタイプのスキームにおいて８または１６個の部分画像が使用されてもよい。画像レイヤ５００は、複数の２×２のグリッド５１０に分割される。各々の部分画像は次いで、各々の２×２のグリッドから対応する画素を空間的に取ることによって形成される。よって、この実施例では、各々の２×２のグリッド内の左上の位置から取られた画素５２０から１つの部分画像が形成され、右上の位置からの画素５２５から第２の部分画像が形成され、左下の位置からの画素５３０から第３の部分画像が形成され、右下の位置からの画素５３５から第４の部分画像が形成される。

【0056】

部分画像の各々は次いで、ホログラフィックサブフレームを生成するよう、図４と関連して説明された処理に従って処理される。特に、各々の部分画像は、フーリエ変換を受ける。各々の部分画像が４分の１画素の数を有することを理由に、各々の部分画像は、処理する計算費用が少ない。

【0057】

各々の部分画像のフーリエ変換の結果は、元の画像フレームのサイズの４分の１であるホログラムである。元のサイズの画像を再生成するために、再生領域内でより小さいホログラムの各々がタイリングされ、高速に連続して表示される。図６ａ及び６ｂは、タイリング処理を示す。複数の２×２のグリッドにわたって分散されるが、各々のグリッド内で左上の画像のみがポピュレートされるように、各々のより小さいホログラフィックサブフレーム６１０は、再生領域内でサンプリングされる。これは、図６ａに示される。部分画像６００は、低解像度ホログラム６１０を生成するよう変換される。再生領域内で各々の画素を正確な位置にシフトするために、シフトされた低解像度ホログラム６２０を生成するよう、それが基づいている元の画像の部分に応じて、フーリエ変換の前に、可変画像タイル６２０が各々の部分画像６００に適用される。これは、図６ｂに示される。

【0058】

図７及び８は、タイリング処理の別の実施例を示す。図７及び８の実施例では、二次元画像レイヤの一次元のみにわたってタイリングが実行される。より高い解像度の画像７００内の各々の画素７２０は、２つのより低い解像度の部分画像の１つに割り当てられる。この実施例では、各々の画素は、水平次元において隣接する画素とは異なる部分画像に割り当てられる。しかしながら、各々の画素は、垂直次元において隣接する画素と同一の部分画像に割り当てられる。これは、２つのより低い解像度の部分画像７３０、７４０をもたらし、その各々は、元のより高い解像度の画像とは異なるアスペクト比を有する。

【0059】

部分画像の各々は次いで、ホログラフィックサブフレームを生成するよう、図４に関連して説明された処理に従って処理される。特に、各々の部分画像は、フーリエ変換を受ける。各々の部分画像が２分の１の画素の数を有することを理由に、各々の部分画像は、処理する計算費用が少ない。

【0060】

各々の部分画像のフーリエ変換の結果は、元の画像フレームのサイズの２分の１であるホログラムである。元のサイズの画像を再生成するために、再生領域内でより小さいホログラムの各々がタイリングされ、高速に連続して表示される。これは、図８に示される。複数の垂直ライン７５０にわたって分散されるように、各々のより小さいホログラフィックサブフレームは、再生領域内でサンプリングされる。再生領域内で各々の画素を正確な位置にシフトするために、図６を参照して説明されたのと同一の方式において、シフトされたより低い解像度のホログラムを生成するよう、それが基づいている元の画像の部分に応じて、フーリエ変換の前に、可変画像タイルが各々の部分画像に適用される。

【0061】

計算時間を低減すると共に、タイリング処理は、ホログラム内の空間的に隣接する画素が異なる時間に表示されるという追加の利点を有する。これは、隣接する画素の間の干渉の影響を取り除く。しかしながら、ビューワが単一のより高い解像度の画像を経験するように十分に高速にサブフレームが表示される場合、人間の目及び脳は、サブフレームを融合する。

【0062】

計算時間を低減するために採用することができる追加のステップは、ホログラフィックサブフレームを生成する前に使用される画像レイヤの数を低減することである。例えば、受信された画像データが２５６個の画像レイヤを含む場合、処理される必要があり、特に、フーリエ変換される必要があるレイヤの数を低減するよう、画像レイヤを融合することが可能である。これは、デシメーション因子によって画像レイヤの数が低減されるレイヤデシメーションとして説明されてもよい。例えば、４のデシメーション因子により、画像レイヤ１、２、３、及び４からの全ての画素は、新たなデシメートされたレイヤ１に含まれる。レイヤ５、６、７、及び８は、デシメートされたレイヤ２に含まれる、などである。元の画像レイヤからの占有された画素がデシメートされたレイヤ内で重なる場合、平均値が使用されてもよい。

【0063】

計算時間を低減するために採用することができる更なるステップは、いずれの空のレイヤもが変換されないように、いずれかの占有された画素を含む画像レイヤを識別し、次いで、レイヤを再順序付けることである。ＧＰＵの、ＮＶｉｄｉａのＣＵＤＡ言語を使用するものなどは典型的には、分岐予測を実行する能力を有さない。画像レイヤは、バッチ演算において並列に処理され、その結果、ランタイムにおいて空のレイヤをスキップすることは、演算の加速化をもたらさない。４つのレイヤが並列に処理され、レイヤ１及び４が画素を含むが、レイヤ２及び３が含まない実施例では、ＧＰＵはなお、レイヤについての２つに対しては必要ないとしても、全ての４つのレイヤに対してフーリエ変換演算を実行する。

【0064】

そのように処理負荷を低減させるために、処理の前に空の画像レイヤが識別されてもよく、次いで、ＧＰＵの最適な使用を保証するよう、レイヤが再配列される。方法は、以下のステップ、
１）どの画像レイヤが占有された画素を含むか、すなわち、どの画像レイヤが空でないレイヤであるかを判定するよう、入力画像データを構文解析すること、
２）相互に接する空でないレイヤを積み重ねるよう、レイヤ情報を再配列すること、
３）空でないレイヤに対してのみフーリエ変換演算を実行すること、
４）図４を参照して説明されたように、変換されたレイヤに適切な焦点因子を適用すること、を含んでもよい。

【0065】

図９は、レイヤ２、３、５、及び８が空である、８個の画像レイヤの実施例における再順序付け処理を示す。元のレイヤ１が再順序付けされたレイヤ１に対応し、元のレイヤ４がレイヤ２になり、レイヤ６がレイヤ３になり、レイヤ７がレイヤ４になることを理解することができる。次いで、占有された画素を含む４つのレイヤのみが、融合される前に変換される。この処理は、特に、スパースポイントクラウドデータにより、処理を著しく加速化することができる。再順序付け処理は、いずれかの他の処理ステップの前に実行される。図２を参照して、再順序付け処理は、ＧＰＵ１４が画像レイヤを受信するとすぐに、コントローラ１８の制御の下、ＧＰＵ１４において実行される。

【0066】

説明された技術を使用することによって、標準的なＧＰＵハードウェアを使用して許容可能な解像度のリアルタイムな動く画像ホログラムを生成することができるように、ホログラフィックサブフレームを生成する処理を著しく加速化することが可能である。実際に、加速化は、２桁よりも大きくなり得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6(a)】

【図6(b)】

【図7】

【図8】

【図9】