特許 7430663 ディスプレイ装置およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-02

(45)【発行日】2024-02-13

(54)【発明の名称】ディスプレイ装置およびシステム

(51)【国際特許分類】

   G03H 1/04 20060101AFI20240205BHJP

   G03H 1/22 20060101ALI20240205BHJP

【ＦＩ】

G03H1/04

G03H1/22

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2021067223

(22)【出願日】2021-04-12

(65)【公開番号】P2021189439

(43)【公開日】2021-12-13

【審査請求日】2021-08-19

(31)【優先権主張番号】2008397.8

(32)【優先日】2020-06-04

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】519027213

【氏名又は名称】エンヴィシクス リミテッド

(74)【代理人】

【識別番号】100116850

【弁理士】

【氏名又は名称】廣瀬 隆行

(74)【代理人】

【識別番号】100165847

【弁理士】

【氏名又は名称】関 大祐

(72)【発明者】

【氏名】スティグ ミカエル コリン

【審査官】池田 博一

(56)【参考文献】

【文献】特開平０６－１３１４５６（ＪＰ，Ａ）

【文献】特開２００１－１６０１４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０２１４３０６（ＵＳ，Ａ１）

【文献】特表２０１３－５２４６８８（ＪＰ，Ａ）

【文献】特開２００９－０８７２５２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１１７１３９（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１００９５９６８（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１９／０３７７８４０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０１６７８８９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｈ １／０４

Ｇ０３Ｈ １／２２

Ｇ０６Ｔ １／２０

Ｇ０６Ｔ １／６０

Ｈ０４Ｎ １３／３３２

Ｈ０４Ｎ ９／３１

(57)【特許請求の範囲】

【請求項1】

ｍ行およびｎ列のカーネル値を有するカーネルを使用して一次画像をアンダーサンプリングすることにより二次画像を生成するように構成された画像処理エンジンであって、前記カーネルが、前記一次画像の各行に対して複数のカーネルサンプリング位置を有し、行の各サンプリング位置がｘ方向のｘ画素のストライド距離で隔てられ、
前記画像処理エンジンが、
画素値の第１のデータストリームを形成し、前記第１のデータストリームが前記一次画像の画像画素値を行ごとに読み取ることによって形成され、前記第１のデータストリームが前記一次画像の最初の行から最後の行までの画素値を含み、
カーネル値の第２のデータストリームを形成し、前記第２のデータストリームの各カーネル値は、前記第１のデータストリームの対応する画素値と対となるように調整されており、
前記第１のデータストリームの前記画素値を前記第２のデータストリームの前記カーネル値と同期させて、各画素値が、対応する前記カーネルサンプリング位置の前記カーネルの当該カーネル値と対になるようにする
ように構成されたデータ・ストリーミング・エンジンを備える
画像処理エンジン。

【請求項2】

前記第１のデータストリーム内の前記一次画像の前記画素値と前記第２のデータストリームの前記カーネル値との間に１対多の相関関係がある
請求項１に記載の画像処理エンジン。

【請求項3】

前記データ・ストリーミング・エンジンが、
（ｉ）前記カーネルの第１の行の前記カーネル値を複数回繰り返し読み取るステップ、
（ｉｉ）前記カーネルの次の行の前記カーネル値を複数回繰り返し読み取るステップと、
（ｉｉｉ）前記ステップ（ｉｉ）を（ｍ－２）回反復的に繰り返すステップ、
（ｉｖ）前記ステップ（ｉ）に戻るステップ、および
（ｖ）前記第１のデータストリーム内にもう画素値がないときに前記ステップ（ｉ）～（ｉｖ）を停止するステップ
を使用して、前記第２のデータストリームを形成するように構成される
請求項１または２に記載の画像処理エンジン。

【請求項4】

前記第２のデータストリーム内の前記カーネルのカーネル値の各行が、前記第１のデータストリーム内の前記一次画像の画像画素の複数の行と対になる
請求項１から請求項３のいずれか一項に記載の画像処理エンジン。

【請求項5】

バッファをさらに備え、前記画像処理エンジンが、
前記データ・ストリーミング・エンジンから前記第１のデータストリームの画像画素値と前記第２のデータストリームのカーネル値の同期された対を順番に受け取り、
前記第１のデータストリームの各画素値を、前記第２のデータストリームの、前記画素値の対になったカーネル値で処理し、
前記バッファに保存するための各カーネルサンプリング位置に対して前記処理が済んだ画素値を累積する
ようにさらに構成される
請求項１から請求項４のいずれか一項に記載の画像処理エンジン。

【請求項6】

（ａ）各画素値に、前記第２のデータストリームの、前記画素値の対になったカーネル値を乗算して、対応する重み付き画素値のシーケンスを決定するステップ、
（ｂ）第１の複数のカーネルサンプリング位置の各カーネルサンプリング位置に対してｎ個の前記重み付き画素値を合計するステップ、
（ｃ）前記第１の複数のカーネルサンプリング位置のそれぞれに対して前記累積重み付き画素値を決定するステップ、および
（ｄ）前記バッファ内の連続するストレージ場所における前記第１の複数のカーネルサンプリング位置のそれぞれに対して前記累積重み付き画素値を保存して、前記バッファ内の二次画像の部分的画素値のシーケンスを形成するようにするステップ
を使用して、前記第１のデータストリーム内の前記一次画像の第１の行の画素値を処理し、
前記ステップ（ａ）～（ｄ）を反復的に繰り返して、前記第１のデータストリーム内の前記一次画像の後続の各行に対して前記画素値を処理する、
ように構成された
請求項５に記載の画像処理エンジン。

【請求項7】

前記ステップ（ａ）～（ｄ）を反復的に繰り返して前記第１のデータストリーム内の前記一次画像の（ｍ－１）後続行の画素値を処理し、それによって前記第１の複数のカーネルサンプリング位置のそれぞれに対して累積重み付き完全画素値を決定し、
他の複数のカーネルサンプリング位置の各カーネルサンプリング位置に対して前記ステップ（ａ）～（ｄ）を使用して前記第１のデータストリーム内の前記一次画像のｍ行の画素値の後続連続するセットを処理する、
ように構成された
請求項６に記載の画像処理エンジン。

【請求項8】

（ｅ）前記第１のデータストリーム内の前記一次画像の次の行の前記画素値を処理する際に使用するための前記二次画像の部分的画素値の前記シーケンスを含む第３のデータストリームを前記バッファからフィードバックするステップ
を使用して、前記第１のデータストリーム内の前記一次画像の各行の前記画素値を処理する
ようにさらに構成された
請求項６または７に記載の画像処理エンジン。

【請求項9】

カーネルサンプリング位置に対して前記（ｂ）で決定されたｎ個の前記重み付き画素値と、
前記（ｅ）でのフィードバックに含まれる前記カーネルサンプリング位置に対する前記第３のデータストリームの前記対応する部分的２次画像画素値と
の和を決定することにより、前記（ｃ）での各前記カーネルサンプリング位置に対して前記累積重み付き画素値を決定するように構成された
請求項８に記載の画像処理エンジン。

【請求項10】

（ｆ）前記複数のカーネルサンプリング位置のそれぞれの各カーネルサンプリング位置に対応する最終二次画像画素値を前記バッファから出力する
ようにさらに構成された
請求項６から９のいずれか一項に記載の画像処理エンジン。

【請求項11】

ｘ方向の前記ストライド距離がｎ画素であり、前記カーネルが、ｙ方向の前記ストライド距離がｍ画素であるラスタ走査パス内で移動されて、前記カーネルサンプリング位置が前記一次画像のｍ×ｎ画素の連続する配列をサブサンプリングするようにする
請求項１から請求項１０のいずれか一項に記載の画像処理エンジン。

【請求項12】

ｍ行およびｎ列のカーネル値を有するカーネルを使用して一次画像をアンダーサンプリングすることにより二次画像を生成する方法であって、前記カーネルが、前記一次画像の各行に対して複数のカーネルサンプリング位置を有し、行の各カーネルサンプリング位置がｘ方向のｘ画素のストライド距離で隔てられ、前記方法が、
画素値の第１のデータストリームを形成することであって、前記第１のデータストリームが前記一次画像の画像画素値を行ごとに読み取ることによって形成され前記第１のデータストリームが前記一次画像の最初の行から最後の行までの画素値を含むこと、
カーネル値の第２のデータストリームを形成することであって、前記第２のデータストリームの各カーネル値は、前記第１のデータストリームの対応する画素値と対となるように調整されており、および
前記第１のデータストリームの前記画素値を前記第２のデータストリームの前記カーネル値と同期させて、各画素値が、対応する前記カーネルサンプリング位置に対する前記カーネルの当該カーネル値と対になるようにすること
を含む、
方法。

【請求項13】

前記第２のデータストリームを形成することが、
（ｉ）前記カーネルの第１の行の前記カーネル値を複数回繰り返し読み取るステップ、
（ｉｉ）前記カーネルの次の行の前記カーネル値を複数回繰り返し読み取るステップ、
（ｉｉｉ）前記ステップ（ｉｉ）を（ｍ－２）回反復的に繰り返すステップ、
（ｉｖ）前記ステップ（ｉ）に戻るステップ、および
（ｖ）前記第１のデータストリーム内にもう画素値がないときに前記ステップ（ｉ）～（ｉｖ）を停止するステップ
を含む、
請求項１２に記載の方法。

【請求項14】

前記第２のデータストリーム内の前記カーネルのカーネル値の各行を、前記第１のデータストリーム内の前記一次画像の画像画素の複数の行と対にすることをさらに含む
請求項１２または１３に記載の方法。

【請求項15】

前記第１のデータストリームの画像画素値と前記第２のデータストリームのカーネル値の同期された対を順番に受け取ること、
前記第１のデータストリームの各画素値を、前記第２のデータストリームの、前記画素値の対になったカーネル値で処理すること、
各カーネルサンプリング位置に対して前記処理が済んだ画素値を累積すること、および
前記累積値のそれぞれを、バッファ内の対応するストレージ場所に保存すること
をさらに含む、
請求項１２から１４のいずれか一項に記載の方法。

【請求項16】

（ａ）各画素値に、前記第２のデータストリームの、前記画素値の対になったカーネル値を乗算して、対応する重み付き画素値のシーケンスを決定するステップ、
（ｂ）第１の複数のカーネルサンプリング位置の各カーネルサンプリング位置に対してｎ個の前記重み付き画素値を合計するステップ、
（ｃ）前記第１の複数のカーネルサンプリング位置のそれぞれに対して前記累積重み付き画素値を決定するステップ、および
（ｄ）前記バッファ内の連続するストレージ場所における前記第１の複数のカーネルサンプリング位置のそれぞれに対して前記累積重み付き画素値を保存して、前記バッファ内の二次画像の部分的画素値のシーケンスを形成するようにするステップ
を使用して、前記第１のデータストリーム内の前記一次画像の第１の行の前記画素値を処理すること、および
前記ステップ（ａ）～（ｄ）を反復的に繰り返して、前記第１のデータストリーム内の前記一次画像の後続の各行に対して前記画素値を処理すること
をさらに含む、
請求項１５に記載の方法。

【請求項17】

前記ステップ（ａ）～（ｄ）を反復的に繰り返して前記第１のデータストリーム内の前記一次画像の（ｍ－１）後続行の画素値を処理し、それによって前記第１の複数のカーネルサンプリング位置のそれぞれに対して累積重み付き完全画素値を決定すること、および
他の複数のカーネルサンプリング位置の各カーネルサンプリング位置に対して前記ステップ（ａ）～（ｄ）を使用して前記第１のデータストリーム内の前記一次画像のｍ行の画素値の後続連続するセットを処理すること
をさらに含む、
請求項１６に記載の方法。

【請求項18】

前記第１のデータストリーム内の前記一次画像の各行の前記画素値を処理することが、
（ｅ）前記第１のデータストリーム内の前記一次画像の次の行の前記画素値を処理する際に使用するための前記二次画像の部分的画素値のシーケンスを含む第３のデータストリームを前記バッファからフィードバックするステップ
を含む、
請求項１６または１７に記載の方法。

【請求項19】

前記（ｃ）での各カーネルサンプリング位置に対して前記累積重み付き画素値を決定するステップが、
前記カーネルサンプリング位置に対して前記（ｂ）で決定されたｎ個の前記重み付き画素値と、
前記（ｅ）での前記フィードバックに含まれる前記カーネルサンプリング位置に対する前記第３のデータストリームの前記対応する部分的２次画像画素値と
の和を決定することを含む、
請求項１８に記載の方法。

【請求項20】

（ｆ）前記複数のカーネルサンプリング位置のそれぞれの各カーネルサンプリング位置に対応する最終二次画像画素値を前記バッファから出力するステップ
をさらに含む、
請求項１６から１９のいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ホログラフィック投影（ｈｏｌｏｇｒａｐｈｉｃ ｐｒｏｊｅｃｔｉｏｎ）のために画像を処理するための画像プロセッサ（ｉｍａｇｅ ｐｒｏｃｅｓｓｏｒ）および方法に関する。本開示はさらに、ホログラフィックプロジェクタ（ｈｏｌｏｇｒａｐｈｉｃ ｐｒｏｊｅｃｔｏｒ）、ホログラフィック投影システム、画像をホログラフィックに投影する方法、およびビデオ画像をホログラフィックに投影する方法に関する。いくつかの実施形態は、ヘッドアップディスプレイ（ｈｅａｄ－ｕｐ ｄｉｓｐｌａｙ）および光検出測距システムに関する。

【背景技術】

【0002】

物体から散乱された光は、振幅と位相の両方の情報を含んでいる。この振幅と位相の情報は、干渉縞を含むホログラフィック記録、すなわち「ホログラム（ｈｏｌｏｇｒａｍ）」を形成するために、周知の干渉技法によって例えば感光板上に捕捉され得る。ホログラムは、元の物体を表す２次元または３次元のホログラフィック再構成（ｈｏｌｏｇｒａｐｈｉｃ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）、すなわち再生画像を形成するために、適切な光で照明することによって再構成され得る。

【0003】

コンピュータ生成ホログラフィが干渉プロセスを数値的にシミュレートし得る。コンピュータ生成ホログラムが、フレネル変換やフーリエ変換などの数学的変換に基づく技法によって計算され得る。この種のホログラムは、フレネル／フーリエ変換ホログラムまたは単にフレネル／フーリエホログラムと呼ばれることがある。フーリエホログラムは、物体のフーリエ領域／面表現または物体の周波数領域／面表現と見なされ得る。コンピュータ生成ホログラムは、例えば、コヒーレント光線追跡技法または点群技法によって計算されてもよい。

【0004】

コンピュータ生成ホログラムは、入射光の振幅および／または位相を変調するようになされた空間光変調器上で符号化され得る。光変調は、例えば、電気的にアドレス可能な液晶、光学的にアドレス可能な液晶、またはマイクロミラーを使用して実現され得る。

【0005】

空間光変調器は、通常、セルまたは要素と呼ばれることもある複数の個別にアドレス可能な画素を備える。光変調方式は、バイナリ、マルチレベルまたは連続であり得る。あるいは、装置は連続的でよく（すなわち、画素から構成されず）、したがって、光変調は装置全体にわたって連続的でよい。空間光変調器は反射性でよい、すなわち変調光が反射して出力される。空間光変調器は同様に透過性でよい、すなわち変調光が透過して出力される。

【0006】

ホログラフィックプロジェクタは、本明細書に記載のシステムを使用して提供され得る。この種のプロジェクタは、例えば、ニアアイ装置（ｎｅａｒ－ｅｙｅ ｄｅｖｉｃｅｓ）を含むヘッドアップディスプレイ「ＨＵＤ」およびヘッドマウントディスプレイ「ＨＭＤ」に応用されている。

【0007】

ホログラフィックプロジェクタなどのコヒーレント光を使用する装置の画質を向上させるために、移動ディフューザ（ｍｏｖｉｎｇ ｄｉｆｆｕｓｅｒ）が使用され得る。

【発明の概要】

【0008】

本開示の諸態様は、添付の独立請求項に定義されている。

【0009】

データストリーミングを使用して投影用のターゲット画像のホログラムを形成する画像処理エンジンおよび方法が開示される。特に、以下でより詳細に説明するように、ターゲット画像のアップスケールおよび／または修正されたバージョンであり得る入力画像または一次画像は、カーネル（ｋｅｒｎｅｌ）を使用してサブサンプリングされてもよく、二次画像は、ターゲット画像のホログラムを生成するために出力され使用され得る。本明細書に記載されるように、複数の２つ以上のデータストリームを使用してカーネルサブサンプリングする技法は、データストレージ要件（ｄａｔａ ｓｔｏｒａｇｅ ｒｅｑｕｉｒｅｍｅｎｔｓ）（例えば、記憶容量および／またはバッファ容量）の低減および処理速度の向上を含む効率の改善を提供する。

【発明が解決しようとする課題】

【0010】

従来、カーネルサブサンプリング用の一次画像データ全体を保存するには、大容量のデータストレージが必要である。所期のカーネル演算（ｋｅｒｎｅｌ ｏｐｅｒａｔｉｏｎ）ごとに必要なすべての画素の一次画像データにアクセスするには、ランダム・メモリ・アクセスが必要である。さらに、ビデオ速度処理には、バッファリングされるべき画像データの少なくとも一部が必要であり、特に、処理を開始するためにかつその後の処理の各段階で必要な少なくともデータエントリ（画像画素値）が必要である。したがって、所要バッファリング容量は、出力データ（二次画像）のサイズではなく、入力データ（一次画像）のサイズに依存する。

【0011】

ホログラフィック画像投影の場合、画像の所望の解像度（ホログラフィック再構成）を達成するために、投影用のターゲット画像は、増加した画素数を有するソース画像を形成するように「アップスケール」され得る。さらに、ソース画像は、当技術分野で周知のようにプロジェクタの光学再生システムの光学構成要素によって引き起こされる画像歪み（ワーピング）を補正するために、中間画像、例えばいわゆる「ワープ画像」を形成するように修正され得る。アップスケールされたソース画像またはこの画像から導出された中間画像は、カーネルサブサンプリング用の一次画像として使用され得る。したがって、一次画像のサイズ（解像度／画素数）、したがってデータ量は、二次画像のサイズの複数倍とすることができる。その結果、一次画像をカーネルサブサンプリングして二次画像を生成するには、大量のデータストレージおよびバッファリング容量が必要になる。

【課題を解決するための手段】

【0012】

本開示によれば、データストリーミングは、ホログラム計算のための出力画像を決定するためにカーネルを使用して一次画像をサブサンプリングするために使用されるデータストレージおよびバッファリング容量を減らすために使用される。

【0013】

一次画像の画素値の第１のデータストリームは、カーネルのカーネル値の第２のデータストリームと同期されてもよく、その結果、各画素値は、複数のカーネルサンプリング位置でのカーネル演算のための対応するカーネル値と対になる。カーネル値は、カーネルサンプリング位置ごとに第２のデータストリーム内で繰り返される。したがって、第１のデータストリーム内の一次画像の画素値と第２のデータストリームのカーネル値との間には１対多の相関関係がある。さらに、第２のデータストリーム内のカーネルのカーネル値の各行は、第１のデータストリーム内の一次画像の画像画素の複数の行と対になる。

【0014】

いくつかの実施形態では、データ・ストリーミング・エンジンが、データストリーミング手順を実行するように構成される。特に、データ・ストリーミング・エンジンは、一次画像の画素の画素値を行ごとに読み取ることにより、第１のデータストリームを形成することができる。例えば、画素値は、ラスタ走査順序で画素ごとに読み取ることができる。同時に、データ・ストリーミング・エンジンは、（ｉ）カーネルの第１の行のカーネル値を複数回繰り返し読み取るステップ、（ｉｉ）カーネルの次の行のカーネル値を複数回繰り返し読み取るステップ、（ｉｉｉ）ステップ（ｉｉ）を（ｍ－２）回反復的に繰り返すステップ、（ｉｖ）ステップ（ｉ）に戻るステップ、および（ｖ）第１のデータストリーム内にもう画素値がないときにステップ（ｉ）～（ｉｖ）を停止するステップを使用して、ｍ行を有するカーネルのカーネル値の第２のデータストリームを形成することができる。クロックカウンタが、第１のデータストリーム内の値と第２のデータストリーム内の値を同期させるために使用され得る。

【0015】

いくつかの実施形態では、画像処理エンジンは、カーネル演算およびバッファリング手順を実行するように構成される。特に、カーネル演算は、複数のカーネルサンプリング位置で実行される。一次画像の画素の各行に対して、カーネル演算は、カーネルサンプリング位置に関連する第１および第２のデータストリームの値の同期された対を処理して、バッファに出力されるそれぞれの累積（部分的）画素値を導出する。バッファリング手順は、累積（部分的）画素値をバッファ内の連続する位置に保存することによって実行される。一次画像の１行の画素を処理することからバッファに出力される累積（部分）画素値は、一次画像の次の行の画素を処理するためのフィードバックとして提供される第３のデータストリームを形成して、更新された累積（部分）画素値を導出することができる。フィードバックプロセスは、一次画像の最後の行の画素が同じ複数のカーネルサンプリング位置に対して（すなわち、同じ行または列のカーネルサンプリング位置で）処理されるまで、行ごとに繰り返すことができる。次いで、バッファに出力される累積画素値は、二次画像の行の全または完全画素値になる。したがって、二次画像の画素の行が生成され、行ごとに出力され得る。好適には、二次画像の画素の行は、二次画像に対応するホログラムを計算するためのホログラムエンジンにリアルタイムでストリーミングされ得る。したがって、二次画像のすべての画素が導出される前にホログラム計算を開始することが可能である。

【0016】

いくつかの例では、ｍ行およびｎ列を有するカーネルは、ｘ方向のストライドがｎ画素であり、ｙ方向のストライドがｍ画素であるラスタ走査パス内で移動される。したがって、カーネルウィンドウは、一次画像のｍ×ｎ画素の連続する配列をサブサンプリングする。これらの例では、第１のデータストリームは、一次画像の画素値を画素ごとにラスタ走査順序で読み取ることによって形成され得る。これにより、第１のデータストリームを形成するためのデータストリーミング手順が簡素化される。

【0017】

実装形態では、データストリーミングにより、一次画像からの二次画像の決定および対応するホログラムの決定を同時に実行することが可能になり、それによって処理速度を上げることができる。特に、二次画像に対して決定された画素値は、以下でさらに説明するように、リアルタイムでホログラムエンジンにストリーミングされ得る。処理速度の向上により、ビデオストリーム内の画像に対してより多くのホログラムを表示することが（すなわち、より多くの二次画像またはサブフレームを使用して）が可能になる。人間の目の積分時間内により多くの画像を表示することにより、観察者に見られるホログラフィック再構成（ホログラフィック画像）の品質が向上する。

【0018】

いくつかの実装形態では、複数の二次画像は、異なるサブサンプリングスキームを使用して同じソース画像をサブサンプリングすることによって決定され得る。例えば、複数の異なるカーネルおよび／またはカーネルサンプリング位置が、複数の異なる二次画像を決定するために使用され得る。複数の異なる二次画像は、ターゲット画像を投影するための対応する複数のホログラムを生成するために使用され得る。例えば、複数の異なるホログラムは、人間の目の積分時間内に、空間光変調器上に順次表示されてもよく、空間光変調器は、投影し見るために再生面で一連のホログラフィック再構成を形成するために照明されてもよい。投影用の同じターゲット画像を表す複数の異なるホログラムを表示することは、観察者に見られる画像の品質の向上につながる可能性があることが見出されている。

【0019】

「ホログラム（ｈｏｌｏｇｒａｍ）」という用語は、物体に関する振幅情報または位相情報、あるいはそれらの何らかの組合せを含む記録を指して使用される。「ホログラフィック再構成（ｈｏｌｏｇｒａｐｈｉｃ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）」という用語は、ホログラムを照明することによって形成される物体の光学的再構成を指して使用される。本明細書に開示されるシステムは、ホログラフィック再構成が実画像であり、ホログラムから空間的に隔てられているため、「ホログラフィックプロジェクタ（ｈｏｌｏｇｒａｐｈｉｃ ｐｒｏｊｅｃｔｏｒ）」と言われる。「再生フィールド（ｒｅｐｌａｙ ｆｉｅｌｄ）」という用語は、ホログラフィック再構成が形成され、完全に焦点を合わせられている２次元領域を指して使用される。ホログラムが画素を備える空間光変調器に表示される場合、再生フィールドは、複数の回折次数の形で繰り返され、各回折次数は、ゼロ次再生フィールドのレプリカである。ゼロ次再生フィールドは通常、これが最も明るい再生フィールドであるため、好ましい再生フィールドまたは一次再生フィールドに対応する。特に明記されていない限り、「再生フィールド」という用語は、ゼロ次再生フィールドを指すと解釈されるものとする。「再生面（ｒｅｐｌａｙ ｐｌａｎｅ）」という用語は、すべての再生フィールドを含む空間内の平面を指して使用される。「画像（ｉｍａｇｅ）」、「再生画像（ｒｅｐｌａｙ ｉｍａｇｅ）」および「画像領域（ｉｍａｇｅ ｒｅｇｉｏｎ）」という用語は、ホログラフィック再構成の光によって照明される再生フィールドの領域を指す。いくつかの実施形態では、「画像」は、「画像スポット」または便宜上「画像画素」と呼ばれることがある離散スポットを含むことができる。

【0020】

「符号化（ｅｎｃｏｄｉｎｇ）」、「書き込み（ｗｒｉｔｉｎｇ）」または「アドレス指定（ａｄｄｒｅｓｓｉｎｇ）」という用語は、ＳＬＭの複数の画素に、各画素の変調レベルをそれぞれ決定する当該複数の制御値を提供するプロセスを説明するために使用される。ＳＬＭの画素は、複数の制御値を受け取るのに応答して光変調分布を「表示する」ように構成されると言うことができる。したがって、ＳＬＭはホログラムを「表示する」と言うことができ、ホログラムは、光変調の値またはレベルの配列と見なすことができる。

【0021】

許容品質のホログラフィック再構成は、元の物体のフーリエ変換に関連する位相情報のみを含む「ホログラム」から形成され得ることが分かっている。そのようなホログラフィック記録は、位相限定ホログラムと呼ばれることがある。諸実施形態は、位相限定ホログラムに関するが、本開示は、振幅限定ホログラフィにも同様に適用可能である。

【0022】

本開示はまた、元の物体のフーリエ変換に関連する振幅および位相情報を使用してホログラフィック再構成を形成することにも同様に適用可能である。いくつかの実施形態では、これは、元の物体に関連する振幅情報と位相情報の両方を含む、いわゆる完全複素ホログラムを使用する複素変調によって達成される。この種のホログラムは、ホログラムの各画素に割り当てられた値（グレーレベル）が振幅および位相の成分を有するため、完全複素ホログラムと呼ばれることがある。各画素に割り当てられた値（グレーレベル）は、振幅成分と位相成分の両方を有する複素数として表すことができる。いくつかの実施形態では、完全複素コンピュータ生成ホログラムが計算される。

【0023】

「位相遅れ」の省略表現として、位相値、位相成分、位相情報、あるいは単に、コンピュータ生成ホログラムまたは空間光変調器の画素の位相が参照され得る。すなわち、記載される位相値は、実際には、その画素によって提供される位相遅延の量を表す数値（例えば、０～２πの範囲内）である。例えば、位相値がπ／２であると言われる空間光変調器の画素は、受信光の位相をπ／２ラジアンだけ遅らせる。いくつかの実施形態では、空間光変調器の各画素は、複数の可能な変調値（例えば、位相遅れ値）のうちの１つで動作可能である。「グレーレベル（ｇｒｅｙ ｌｅｖｅｌ）」という用語は、複数の利用可能な変調レベルを指して使用され得る。例えば、「グレーレベル」という用語は、便宜上、異なる位相レベルが異なるグレー色合いを提供しない場合でも、位相限定変調器で利用可能な複数の利用可能な位相レベルを指して使用され得る。「グレーレベル」という用語はまた、便宜上、複素変調器での複数の利用可能な複素変調レベルを指して使用され得る。

【0024】

したがって、ホログラムは、グレーレベルの配列、すなわち、位相遅れ値の配列や複素変調値などの光変調値の配列を含む。ホログラムはまた、回折パターンと見なされる、というのは、ホログラムは、空間光変調器に表示され、空間光変調器の画素ピッチに匹敵する、一般にはそれよりも短い波長を有する光で照明されると回折を引き起こすパターンであるからである。本明細書では、ホログラムを、レンズまたは格子として機能する回折パターンなどの他の回折パターンと組み合わせることについて説明する。例えば、格子として機能する回折パターンは、再生面上の再生フィールドを並進させるためにホログラムと組み合わせることができる、または、レンズとして機能する回折パターンは、ホログラフィック再構成の焦点を近接場（ｎｅａｒ ｆｉｅｌｄ）での再生面に合わせるためにホログラムと組み合わせることができる。

【0025】

「ターゲット画像（ｔａｒｇｅｔ ｉｍａｇｅ）」という用語は、本明細書では、投影のための所望の画像を指して用いられる。すなわち、ターゲット画像は、ホログラフィックシステムがホログラフィック再生面上に投影するよう求められる画像である。ターゲット画像は、静止画像、またはビデオレート画像シーケンスなどの一連の画像のうちの１つの画像（または画像フレーム）とすることができる。

【0026】

「ソース画像（ｓｏｕｒｃｅ ｉｍａｇｅ）」という用語は、本明細書では、ターゲット画像から導出される画像を指して用いられる。ソース画像はターゲット画像と同じとすることができる、または、ソース画像は、ターゲット画像の高解像度バージョンまたはアップスケールバージョンとすることができる。特に、ソース画像は、この画像の解像度（画素数に関して）を高めるように、ターゲット画像のアップスケールバージョンとすることができる。すなわち、ソース画像は、ターゲット画像よりも多くの画素を含むことができる。任意のアップスケーリング手法が使用され得る。いくつかの実施形態では、アップスケーリングは、詳細な説明に記載されているように、ターゲット画像の画素値を繰り返すことを含む。これらの実施形態では、ターゲット画像をアップスケールするための計算エンジンは、繰り返しを表すために単純なマッピングスキームを使用することができる。

【0027】

さらに、ソース画像は、例えば、ホログラフィックプロジェクタの光学構成要素によって引き起こされる歪みを反映するように修正され得る。この場合、ソース画像は、ソース画像から導出される「中間画像」である。諸実施形態の記述では、「中間画像（ｉｎｔｅｒｍｅｄｉａｔｅ ｉｍａｇｅ）」という用語は、本明細書では、例えばワーピングマップ（ｗａｒｐｉｎｇ ｍａｐ）に従って、ソース画像から導出される画像を指して用いられる。

【0028】

「一次画像（ｐｒｉｍａｒｙ ｉｍａｇｅ）」という用語は、本明細書では、本明細書に記載されるようにサブサンプリングされた画像を指して用いられる。一次画像は、（１）ソース画像か（２）ソース画像から導出された中間画像のどちらかである。

【0029】

「二次画像（ｓｅｃｏｎｄａｒｙ ｉｍａｇｅ）」という用語は、本明細書では、一次画像から導出される画像を指して用いられる。本明細書に記載されるように、複数の二次画像が個々の一次画像から導出され得る。各二次画像は、一次画像をサブサンプリング（「アンダーサンプリング」とも呼ばれる）することによって形成される。各二次画像は、ソース画像よりも少ない画素を含む。二次画像の各画素値は、随意に、詳細な説明に記載されているように重み付け技法を使用して、一次画像のいくつかの画素値（例えば、画素の群または配列）から計算することができる。特に、ターゲット画像からソース画像を形成するために使用されるアップスケーリングプロセスは、一次画像から各二次画像を形成するために使用されるサブサンプリング技法とは異なる。二次画像はそれぞれ一次画像とは異なるが、随意に、二次画像は同じ画素数を有していてもよい。各二次画像に対応するホログラムが計算される。

【0030】

「出力画像（ｏｕｔｐｕｔ ｉｍａｇｅ）」という用語は、本明細書では、一次画像をサブサンプリングすることによって導出される「二次画像」を指して使用される、というのは、出力画像は、本明細書に記載されるように適切なアルゴリズムを使用してホログラムを計算するために画像処理エンジンからホログラムエンジンに出力されるからである。特に明記しない限り、「ターゲット画像」、「一次画像」、「ソース画像」、「中間画像」、および「二次／出力画像」という用語は、本明細書では（省略表現として）、それぞれの画像を表す画素値（または同様のもの）を含む画像データを指して使用される。

【0031】

様々な実施形態および実施形態の群が以下の詳細な説明において別個に開示され得るが、任意の実施形態または実施形態の群の他の特徴が、任意の実施形態または実施形態の群の他の特徴または他の特徴の組合せと組み合わされてもよい。すなわち、本開示で開示される特徴のすべての可能な組合せおよび順列が想定される。

【0032】

特定の実施形態について、以下の図を参照してほんの一例として説明する。

【図面の簡単な説明】

【0033】

【図1】スクリーン上にホログラフィック再構成を生成する反射型ＳＬＭを示す概略図である。

【図2A】Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎ型アルゴリズム例の第１の反復を示す図である。

【図2B】Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎ型アルゴリズム例の第２の反復およびその後の反復を示す図である。

【図2C】Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎ型アルゴリズム例の代替の第２の反復およびその後の反復を示す図である。

【図3】反射型ＬＣＯＳ ＳＬＭの概略図である。

【図4A】諸実施形態による、２つの連続するサンプリング位置で動作する４×４カーネルを使用して出力画像を導出するために一次画像をサブサンプリングするための例示的な技法を示す図である。

【図4B】諸実施形態による、２つの連続するサンプリング位置で動作する４×４カーネルを使用して出力画像を導出するために一次画像をサブサンプリングするための例示的な技法を示す別の図である。

【図5A】図４Ａおよび図４Ｂの技法で使用する汎用カーネルを示す図である。

【図5B】図４Ａおよび図４Ｂの技法で使用する、カーネルの値または重みを有するカーネル例を示す図である。

【図6】諸実施形態による、カーネルを使用してサブサンプリングするための一次画像の画素データをデータストリーミングする方法を概略的に示す図である。

【図7】諸実施形態による、一次画像の第１の行の入力データストリームの画像画素データとバッファに提供される出力データストリームの値とに対して実行される図６のカーネルサブサンプリング手順を示す図である。

【図8】諸実施形態による、図７に示される出力データストリームの値が、カーネルサブサンプリング手順へのフィードバックとして提供される部分的画素値としてどのように使用されるかを概略的に示す図である。

【図9】諸実施形態による、図７の手順の出力データ値をフィードバックとして受け取り、バッファに提供される出力データストリームの値を受け取る、一次画像の第２の行の入力データストリームの画像画素データに対して実行されるカーネルサブサンプリング手順を示す図である。

【図10】諸実施形態による、一次画像の前の行の画素値に対して実行された手順の出力データ値をフィードバックとして受け取り、二次画像に対応する全（または完全）画素値のストリームの出力を受け取る、一次画像の最後の行の入力データストリームの画像画素データに対して実行されるカーネルサブサンプリング手順を示す図である。

【図11】諸実施形態による、カーネルサブサンプリング手順のための、画素値のデータストリームがカーネル値のデータストリームと同期されるデータストリーミング手順の流れ図である。

【図12】諸実施形態による、各行のサブサンプリング手順の出力値が部分的画素値としてバッファリングされ、次の行のためのサブサンプリング手順へのフィードバックとして提供される、行ごとの画素値およびカーネル値のデータストリーミングによるカーネルサブサンプリング手順への入力値を含む、カーネル演算およびバッファリング手順の流れ図である。

【図13】諸実施形態によるホログラフィックプロジェクタを示す概略図である。

【発明を実施するための形態】

【0034】

同じまたは類似の部品を参照するために、図面全体で同じ参照番号が使用される。

【0035】

本発明は、以下に記述される実施形態に限定されるものではなく、添付の特許請求の範囲全体に及ぶ。すなわち、本発明は、様々な形態で具現化することができ、例示する目的で提示した上述の実施形態に限定されると解釈されるべきではない。

【0036】

単数形の用語は、特に指定のない限り、複数形を含み得る。

【0037】

ある構造が別の構造の上部／下部に形成されるかまたは他の構造上／下に形成される記述されるのは、その構造が互いに接触する場合を含み、さらに、第３の構造が上記構造の間に配置される場合も含むと解釈されるべきである。

【0038】

時間的関係を記述する際（例えば、事象の時間的順序が「後」、「後続」、「次」、「前」などと記述される場合）、本開示は、特に指定のない限り、連続的事象および非連続的事象を含むと解釈されるべきである。例えば、この記述は、「ちょうど」、「即時」、「直接」などの表現が用いられない限り、連続していない場合を含むと解釈されるべきである。

【0039】

「第１の（ｆｉｒｓｔ）」、「第２の（ｓｅｃｏｎｄ）」などの用語は、様々な要素を記述するために本明細書で用いられることがあり、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、一要素を別の要素と区別するためにのみ使用される。例えば、添付の特許請求の範囲から逸脱することなく、第１の要素は第２の要素と呼ばれることがあり、同様に、第２の要素は第１の要素と呼ばれることがある。

【0040】

異なる実施形態の特徴は、部分的または全体的に互いに結合されるかまたは組み合わされてもよく、互いに様々に相互運用されてもよい。いくつかの実施形態は、互いに独立して実行されてもよく、または共存関係で一緒に実行されてもよい。

【0041】

光学構成
図１は、コンピュータ生成ホログラムが単一の空間光変調器上で符号化される実施形態を示す。コンピュータ生成ホログラムは、再構成のための物体のフーリエ変換である。したがって、ホログラムは、物体のフーリエ領域または周波数領域またはスペクトル領域表現であると言うことができる。この実施形態では、空間光変調器は、反射型液晶オンシリコン「ＬＣＯＳ」装置である。ホログラムは空間光変調器上で符号化され、ホログラフィック再構成が、再生フィールド、例えば、スクリーンやディフューザなどの受光面で形成される。

【0042】

光源１１０、例えばレーザまたはレーザダイオードが、コリメートレンズ１１１経由でＳＬＭ１４０を照明するように配置される。コリメートレンズにより、光の略平面波面がＳＬＭ上に入射する。図１では、波面の方向はオフノーマルである（例えば、透明層の平面に真に直交することから２～３度離れている）。しかしながら、他の実施形態では、略平面波面は垂直入射で提供され、ビームスプリッタ配置が入力光路と出力光路を分離するために使用される。図１に示される実施形態では、この配置は、光源からの光がＳＬＭのミラー後面で反射され、光変調層と相互作用して出口波面１１２を形成するようなものである。出口波面１１２は、スクリーン１２５にその焦点を合わせたフーリエ変換レンズ１２０を含む光学系に適用される。より具体的には、フーリエ変換レンズ１２０は、ＳＬＭ１４０から変調光のビームを受け取り、周波数空間変換を実行してスクリーン１２５でホログラフィック再構成を生成する。

【0043】

特に、この種のホログラフィでは、ホログラムの各画素が再構成全体に寄与する。再生フィールド上の特定の点（または画像画素）と特定の光変調要素（またはホログラム画素）との間に１対１の相関関係はない。言い換えれば、光変調層から出て行く変調光は、再生フィールド全体に分散される。

【0044】

これらの実施形態では、空間におけるホログラフィック再構成の位置は、フーリエ変換レンズの屈折（集束）力によって決定される。図１に示される実施形態では、フーリエ変換レンズは物理レンズである。すなわち、フーリエ変換レンズは光学フーリエ変換レンズであり、フーリエ変換は光学的に実行される。どのレンズもフーリエ変換レンズとして機能することができるが、レンズの性能は、レンズが実行するフーリエ変換の精度を制限する。当業者は、レンズを使用して光学フーリエ変換を実行する方法を理解している。

【0045】

ホログラム計算
いくつかの実施形態では、コンピュータ生成ホログラムは、画像が正レンズのフーリエ変換特性を利用することによって遠方場（ｆａｒ ｆｉｅｌｄ）で再構成されるフーリエ変換ホログラム、あるいは単純にフーリエホログラムまたはフーリエベースのホログラムである。フーリエホログラムは、再生面の所望の明視野をフーリエ変換してレンズ面に戻すことによって計算される。コンピュータ生成フーリエホログラムは、フーリエ変換を使用して計算され得る。

【0046】

フーリエ変換ホログラムは、Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムなどのアルゴリズムを使用して計算され得る。さらに、Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムは、空間領域（写真など）の振幅限定情報からフーリエ領域のホログラム（すなわち、フーリエ変換ホログラム）を計算するために使用され得る。物体に関連する位相情報は、空間領域の振幅限定情報から効果的に「取得」される。いくつかの実施形態では、コンピュータ生成ホログラムは、Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムまたはその変形を使用して振幅限定情報から計算される。

【0047】

Ｇｅｒｃｈｂｅｒｇ Ｓａｘｔｏｎアルゴリズムは、平面Ａ内の光線の強度横断面Ｉ_Ａ（ｘ，ｙ）および平面Ｂ内の光線の強度横断面Ｉ_Ｂ（ｘ，ｙ）が既知であり、Ｉ_Ａ（ｘ，ｙ）およびＩ_Ｂ（ｘ，ｙ）が単一のフーリエ変換によって関連付けられる場合の状況を考慮する。所与の強度横断面で、平面Ａおよび平面Ｂ内の位相分布の近似値Ψ_Ａ（ｘ，ｙ）およびΨ_Ｂ（ｘ，ｙ）が見出される。Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムは、反復プロセスに従うことにより、この問題の解決策を見出す。より具体的には、Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムは、Ｉ_Ａ（ｘ，ｙ）およびＩ_Ｂ（ｘ，ｙ）を表すデータセット（振幅および位相）を空間領域とフーリエ（スペクトルまたは周波数）領域との間で繰り返し転送しながら、空間制約およびスペクトル制約を繰り返し適用する。スペクトル領域内の対応するコンピュータ生成ホログラムは、アルゴリズムの少なくとも１回の反復によって得られる。アルゴリズムは収束し、入力画像を表すホログラムを生成するようになされる。ホログラムは、振幅限定ホログラム、位相限定ホログラム、または完全複素ホログラムとすることができる。

【0048】

いくつかの実施形態では、位相限定ホログラムは、参照によりその全体が本明細書に組み込まれる英国特許第２，４９８，１７０号明細書または第２，５０１，１１２号明細書に記載されているようなＧｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムに基づくアルゴリズムを使用して計算される。しかしながら、本明細書に開示される実施形態は、ほんの一例として、位相限定ホログラムを計算することを記述している。これらの実施形態では、Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムは、既知の振幅情報Ｔ［ｘ，ｙ］の元であるデータセットのフーリエ変換の位相情報Ψ［ｕ，ｖ］を検索する、ただし、振幅情報Ｔ［ｘ，ｙ］はターゲット画像（例えば写真）を表す。大きさおよび位相はフーリエ変換で本質的に組み合わされるので、変換された大きさおよび位相は、計算されたデータセットの精度に関する有用な情報を含んでいる。したがって、アルゴリズムは、振幅情報と位相情報の両方に関するフィードバックとともに繰り返し使用され得る。しかしながら、これらの実施形態では、ターゲット画像を表すホログラフィックを画像平面に形成するために、位相情報Ψ［ｕ，ｖ］のみがホログラムとして使用される。ホログラムは、位相値のデータセット（例えば２次元配列）である。

【0049】

他の実施形態では、完全複素ホログラムを計算するために、Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムに基づくアルゴリズムが使用される。完全複素ホログラムは、大きさ成分および位相成分を有するホログラムである。ホログラムは、複素データ値の配列を含むデータセット（例えば２次元配列）であり、各複素データ値は大きさ成分および位相成分を含む。

【0050】

いくつかの実施形態では、アルゴリズムは複素データを処理し、フーリエ変換は複素フーリエ変換である。複素データは、（ｉ）実数成分および虚数成分、あるいは（ｉｉ）大きさ成分および位相成分を含むと見なすことができる。いくつかの実施形態では、複素データの２つの成分は、アルゴリズムの様々な段階で異なって処理される。

【0051】

図２Ａは、位相限定ホログラムを計算するためのいくつかの実施形態によるアルゴリズムの第１の反復を示す。アルゴリズムへの入力は、画素またはデータ値の２次元配列を含む入力画像２１０であり、各画素またはデータ値は、大きさすなわち振幅の値である。すなわち、入力画像２１０の各画素またはデータ値は、位相成分を有していない。したがって、入力画像２１０は、大きさのみまたは振幅のみまたは強度のみの分布と見なすことができる。この種の入力画像２１０の一例が、写真、またはフレームの時系列を含むビデオの１つのフレームである。アルゴリズムの第１の反復は、開始複素データセットを形成するために、ランダム位相分布（またはランダム位相シード）２３０を使用して入力画像の各画素にランダム位相値を割り当てることであって、セットの各データ要素が大きさおよび位相を含む、ランダム位相値を割り当てることを含むデータ形成ステップ２０２Ａで始まる。開始複素データセットは、空間領域内の入力画像を表していると言うことができる。

【0052】

第１の処理ブロック２５０は、開始複素データセットを受け取り、複素フーリエ変換を実行してフーリエ変換済み複素データセットを形成する。第２の処理ブロック２５３は、フーリエ変換済み複素データセットを受け取り、ホログラム２８０Ａを出力する。いくつかの実施形態では、ホログラム２８０Ａは位相限定ホログラムである。これらの実施形態では、第２の処理ブロック２５３は、ホログラム２８０Ａを形成するために、各位相値を量子化し、各振幅値を１に設定する。各位相値は、位相限定ホログラムを「表示する」ために使用される空間光変調器の画素上に表すことができる位相レベルに従って量子化される。例えば、空間光変調器の各画素が２５６個の異なる位相レベルを提供する場合、ホログラムの各位相値は、２５６個の可能な位相レベルのうちの１つの位相レベルに量子化される。ホログラム２８０Ａは、入力画像を表す位相限定フーリエホログラムである。他の実施形態では、ホログラム２８０Ａは、受け取ったフーリエ変換済み複素データセットから導出された複素データ値（それぞれが振幅成分および位相成分を含む）の配列を含む完全複素ホログラムである。いくつかの実施形態では、第２の処理ブロック２５３は、各複素データ値を複数の許容複素変調レベルのうちの１つに制約してホログラム２８０Ａを形成する。制約するステップは、各複素データ値を複素平面内の最も近い許容複素変調レベルに設定することを含むことができる。ホログラム２８０Ａは、スペクトル領域またはフーリエ領域または周波数領域内の入力画像を表すと言うことができる。いくつかの実施形態では、アルゴリズムはこの時点で停止する。

【0053】

しかしながら、他の実施形態では、アルゴリズムは、図２Ａに点線矢印で表されているように続く。言い換えれば、図２Ａの点線矢印に続くステップは随意である（すなわち、すべての実施形態に必須ではない）。

【0054】

第３の処理ブロック２５６は、第２の処理ブロック２５３から修正済み複素データセットを受け取り、逆フーリエ変換を実行して逆フーリエ変換済み複素データセットを形成する。逆フーリエ変換済み複素データセットは、空間領域内の入力画像を表していると言うことができる。

【0055】

第４の処理ブロック２５９は、逆フーリエ変換済み複素データセットを受け取り、大きさ値２１１Ａの分布および位相値２１３Ａの分布を抽出する。随意に、第４の処理ブロック２５９は、大きさ値２１１Ａの分布を評価する。具体的には、第４の処理ブロック２５９は、逆フーリエ変換済み複素データセットの大きさ値２１１Ａの分布を、それ自体がもちろん大きさ値の分布である入力画像２１０と比較することができる。大きさ値２１１Ａの分布と入力画像２１０との間の差が十分に小さい場合、第４の処理ブロック２５９は、ホログラム２８０Ａが許容可能であると決定することができる。すなわち、大きさ値２１１Ａの分布と入力画像２１０との差が十分に小さい場合、第４の処理ブロック２５９は、ホログラム２８０Ａが入力画像２１０を十分正確に表していると判断することができる。いくつかの実施形態では、逆フーリエ変換済み複素データセットの位相値２１３Ａの分布は、比較の目的のために無視される。大きさ値２１１Ａの分布と入力画像２１０を比較するあらゆる方法が使用されてもよく、本開示は特定の方法に限定されないことが理解されよう。いくつかの実施形態では、平均二乗差が計算され、平均二乗差が閾値未満であれば、ホログラム２８０Ａは許容可能と見なされる。第４の処理ブロック２５９が、ホログラム２８０Ａが許容できないと決定した場合、アルゴリズムのさらなる反復が実行され得る。しかしながら、この比較ステップは必須ではなく、他の実施形態では、実行されるアルゴリズムの反復回数は、予め決定されるか、予め設定されるか、またはユーザ定義される。

【0056】

図２Ｂは、アルゴリズムの第２の反復およびアルゴリズムのさらなる反復を示す。前の反復の位相値２１３Ａの分布は、アルゴリズムの上記処理ブロックを経由してフィードバックされる。大きさ値２１１Ａの分布は、入力画像２１０の大きさ値の分布を優先して拒否される。第１の反復では、データ形成ステップ２０２Ａは、入力画像２１０の大きさ値の分布をランダム位相分布２３０と組み合わせることにより第１の複素データセットを形成した。しかしながら、第２の反復およびその後の反復では、データ形成ステップ２０２Ｂは、（ｉ）アルゴリズムの前の反復からの位相値２１３Ａの分布を（ｉｉ）入力画像２１０の大きさ値の分布と組み合わせることにより複素データセットを形成することを含む。

【0057】

次いで、図２Ｂのデータ形成ステップ２０２Ｂによって形成された複素データセットは、図２Ａを参照して記述されたものと同じ方法で処理されて、第２の反復ホログラム２８０Ｂを形成する。したがって、プロセスの説明はここでは繰り返さない。アルゴリズムは、第２の反復ホログラム２８０Ｂが計算されたときに停止することができる。しかしながら、アルゴリズムの任意の数のさらなる反復が実行され得る。第３の処理ブロック２５６は、第４の処理ブロック２５９が必要であるか、またはさらなる反復が必要である場合にのみ必要であることが理解されよう。出力ホログラム２８０Ｂは一般に反復するたびに良くなる。しかしながら、実際には、通常、重要な改善が認められないところに達するか、または、さらなる反復を実行することの正の便益を追加の処理時間の負の効果が上回る。したがって、アルゴリズムは、反復的でありかつ収束的であると言われる。

【0058】

図２Ｃは、第２の反復およびその後の反復の代替実施形態を示す。前の反復の位相値２１３Ａの分布は、アルゴリズムの上記処理ブロックを経由してフィードバックされる。大きさ値２１１Ａの分布は、大きさ値の代替分布を優先して拒否される。この代替実施形態では、大きさ値の代替分布は、前の反復の大きさ値２１１の分布から導出される。具体的には、処理ブロック２５８は、前の反復の大きさ値２１１の分布から入力画像２１０の大きさ値の分布を減算し、その差を利得係数αでスケール変更し、スケール変更済み差を入力画像２１０から減算する。これは、下記方程式で数学的に表され、下付き文字のテキストおよび数字は反復回数を示す、
Ｒ_ｎ＋１［ｘ，ｙ］＝Ｆ’｛ｅｘｐ（ｉΨ_ｎ［ｕ，ｖ］）｝
Ψ_ｎ［ｕ，ｖ］＝∠Ｆ｛η・ｅｘｐ（ｉ∠Ｒ_ｎ［ｘ，ｙ］）｝
η＝Ｔ［ｘ，ｙ］－α（｜Ｒ_ｎ［ｘ，ｙ］｜－Ｔ［ｘ，ｙ］）
上式で、
Ｆ’は、逆フーリエ変換であり、
Ｆは、順方向フーリエ変換であり、
Ｒ［ｘ，ｙ］は、第３の処理ブロック２５６によって出力される複素データセットであり、
Ｔ［ｘ，ｙ］は入力またはターゲット画像であり、
∠は、位相成分であり、
Ψは、位相限定ホログラム２８０Ｂであり、
ηは、大きさ値２１１Ｂの新しい分布であり、
αは、利得係数である。
利得係数αは、固定または変数とすることができる。いくつかの実施形態では、利得係数αは、入ってくるターゲット画像データのサイズおよびレートに基づいて決定される。いくつかの実施形態では、利得係数αは、反復回数に依存する。いくつかの実施形態では、利得係数αは、単に反復回数の関数である。

【0059】

図２Ｃの実施形態は、他のあらゆる点で図２Ａおよび図２Ｂの実施形態と同じである。位相限定ホログラムΨ（ｕ，ｖ）は、周波数領域またはフーリエ領域における位相分布を含むと言うことができる。

【0060】

いくつかの実施形態では、フーリエ変換は、空間光変調器を使用して実行される。具体的には、ホログラムデータは、光パワーを提供する第２のデータと組み合わされる。すなわち、空間光変調に書き込まれるデータは、物体を表すホログラムデータとレンズを表すレンズデータとを含む。空間光変調器に表示され、光で照らされると、レンズデータは物理レンズをエミュレートする、すなわち、レンズデータは対応する物理光学系と同じ方法で光を焦点に導く。したがって、レンズデータは、光パワーまたは集束力を提供する。これらの実施形態では、図１の物理フーリエ変換レンズ１２０は省略され得る。レンズを表すデータを計算する方法は知られている。レンズを表すデータは、ソフトウェアレンズと呼ばれることがある。例えば、位相限定レンズは、このレンズの屈折率および空間的に異なる光路長のためにレンズの各点によって引き起こされる位相遅れを計算することによって形成され得る。例えば、凸レンズの中心での光路長は、レンズの縁での光路長よりも長い。振幅限定レンズは、フレネル・ゾーン・プレートによって形成され得る。コンピュータ生成ホログラフィの技術分野では、レンズを表すデータをホログラムと組み合わせて、物理フーリエレンズを必要とせずにホログラムのフーリエ変換を実行できるようにする方法も知られている。いくつかの実施形態では、レンズ効果データは、単純ベクトル加算などの単純加算によってホログラムと組み合わされる。いくつかの実施形態では、物理レンズは、フーリエ変換を実行するためにソフトウェアレンズと組み合わせて使用される。あるいは、他の実施形態では、フーリエ変換レンズは、ホログラフィック再構成が遠方場で行われるように、完全に省略される。他の実施形態では、ホログラムは、格子データ、すなわち、画像ステアリングなどの格子の機能を実行するようになされたデータと同じ方法で組み合わせることができる。やはり、そのようなデータを計算する方法はこの分野で知られている。例えば、位相限定格子が、ブレーズド回折格子の表面上の各点によって引き起こされる位相遅れをモデル化することによって形成され得る。ホログラフィック再構成の角度ステアリングを提供するために、振幅限定格子に振幅限定ホログラムが単純に重ね合わされ得る。レンズ効果および／またはステアリングを提供する第２のデータは、画像形成機能または画像形成パターンと呼ばれることがあるホログラムデータと区別するために、光処理機能または光処理パターンと呼ばれることがある。

【0061】

いくつかの実施形態では、フーリエ変換は、物理フーリエ変換レンズおよびソフトウェアレンズによって合同で実行される。すなわち、フーリエ変換に寄与する一部の光パワーはソフトウェアレンズによって提供され、フーリエ変換に寄与する光パワーの残りは物理光学系によって提供される。

【0062】

いくつかの実施形態では、画像データを受け取り、アルゴリズムを使用してホログラムをリアルタイムで計算するようになされたリアルタイムエンジンが提供される。いくつかの実施形態では、画像データは、一連の画像フレームを含むビデオである。他の実施形態では、ホログラムは事前に計算され、コンピュータメモリに保存され、ＳＬＭ上に表示するために必要に応じて呼び出される。すなわち、いくつかの実施形態では、所定のホログラムのリポジトリが提供される。

【0063】

諸実施形態は、ほんの一例として、フーリエホログラフィおよびＧｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎ型アルゴリズムに関する。本開示は、同様の方法によって計算され得るフレネルホログラフィおよびフレネルホログラムに等しく適用可能である。本開示は、点群法に基づく技法などの他の技法によって計算されたホログラムにも適用可能である。

【0064】

光変調
コンピュータ生成ホログラムを含む回折パターンを表示するために空間光変調器が使用され得る。ホログラムが位相限定ホログラムである場合、位相を変調する空間光変調器が必要である。ホログラムが完全複素ホログラムである場合、位相および振幅を変調する空間光変調器が使用されてもよく、あるいは、位相を変調する第１の空間光変調器および振幅を変調する第２の空間光変調器が使用されてもよい。

【0065】

いくつかの実施形態では、空間光変調器の光変調要素（すなわち、画素）は、液晶を含むセルである。すなわち、いくつかの実施形態では、空間光変調器は、光学活性構成要素が液晶である液晶装置である。各液晶セルは、複数の光変調レベルを選択的に提供するように構成される。すなわち、各液晶セルは、複数の可能な光変調レベルから選択された１つの光変調レベルで動作するようにどの時点でも構成される。各液晶セルは、複数の光変調レベルとは異なる光変調レベルに動的に再構成可能である。いくつかの実施形態では、空間光変調器は、反射型液晶オンシリコン（ＬＣＯＳ）空間光変調器であるが、本開示はこの種の空間光変調器に限定されない。

【0066】

ＬＣＯＳ装置は、小開口（例えば、幅数センチメートル）に高密度の光変調要素すなわち画素の配列を備えることができる。画素は通常、数度の回折角をもたらす約１０ミクロン以下であり、これは光学系を小型にできることを意味する。ＬＣＯＳ ＳＬＭの小開口を十分に照明するのは、他の液晶装置のより大きい開口の場合よりも容易である。ＬＣＯＳ装置は一般に反射性であり、これは、ＬＣＯＳ ＳＬＭの画素を駆動する回路網を反射面の下に埋め込むことができることを意味する。その結果、開口率が高くなる。言い換えると、画素は密集している、つまり、画素相互間のデッドスペースはほとんどない。これは、それにより再生フィールド内の光学ノイズが低減されるので有利である。ＬＣＯＳ ＳＬＭは、画素が光学的に平坦であるという利点があるシリコンバックプレーンを使用する。これは、位相変調装置にとって特に重要である。

【0067】

適切なＬＣＯＳ ＳＬＭについて、ほんの一例として、図３を参照して以下に説明する。ＬＣＯＳ装置は、単結晶シリコン基板３０２を使用して形成される。この装置は、基板の上面上に配置された、間隙３０１ａで離間された正方形平面アルミニウム電極３０１の２次元配列を有する。電極３０１はそれぞれ、基板３０２に埋め込まれた回路網３０２ａを経由してアドレス指定することができる。電極はそれぞれ、当該平面鏡を形成する。配向層３０３が電極の配列上に配置され、液晶層３０４が配向層３０３上に配置される。第２の配向層３０５が、例えばガラス製の平面透明層３０６上に配置される。例えばＩＴＯ製の単一透明電極３０７が、透明層３０６と第２の配向層３０５との間に配置される。

【0068】

正方形電極３０１はそれぞれ、透明電極３０７の上を覆う領域および介在液晶材料とともに、しばしば画素と呼ばれる制御可能な位相変調要素３０８を画定する。有効画素面積、すなわちフィルファクタは、画素相互間のスペース３０１ａを考慮に入れた、光学的に活性の全画素の割合である。透明電極３０７に関して各電極３０１に印加される電圧を制御することにより、当該位相変調要素の液晶材料の特性が変化し、それにより、この位相変調要素への入射光に可変遅延をもたらすことができる。効果は、波面に位相限定変調を与えることである、すなわち、振幅効果は発生しない。

【0069】

上述のＬＣＯＳ ＳＬＭは、空間的に変調された光を反射して出力する。反射型ＬＣＯＳ ＳＬＭには、信号線、ゲート線、およびトランジスタが鏡面の下にあるという利点があり、その結果、高いフィルファクタ（通常は９０％以上）および高い分解能が得られる。反射型ＬＣＯＳ空間光変調器を使用することのもう１つの利点は、液晶層の厚さが透過型装置を使用した場合に必要となる厚さの半分にできることである。これにより、液晶のスイッチング速度が大幅に向上する（ビデオ動画の投影の重要な利点）。しかしながら、本開示の教示は、透過型ＬＣＯＳ ＳＬＭを使用して等しく実施することができる。

【0070】

カーネルを用いたサブサンプリング
図４Ａおよび図４Ｂは、図５Ａおよび図５Ｂに示すように「カーネル」を使用して一次画像から二次画像を導出するための技法を示す。カーネルは、移動する「サンプリングウィンドウ」または「仮想開口」と見なすことができる。カーネルは、サンプリングウィンドウ内にある画像の画素の群で動作して、画素を表す単一出力（サブサンプリングされた）画素値を導出する。したがって、カーネルは、高解像度の一次画像（例えば、ソース画像または中間画像）の画素を「アンダーサンプリング」または「サブサンプリング」して１つまたは複数の二次画像（すなわち、出力画像）を導出するために使用され、したがって各二次画像は一次画像よりも少ない画素を含む。

【0071】

図５Ａは、４×４カーネル値（「カーネル画素」または「重み」とも呼ばれる）を含む汎用カーネルを示し、図５Ｂは、４×４カーネル値を含むカーネル例を示す。各カーネル値は、サンプリングウィンドウ内の対応する位置にある一次画像の画素値の重み付け係数または重みを定義する。図５Ａに示されるように、カーネル値はＷ_ｘ，ｙとして表される、ただし、ｘおよびｙは、カーネルを形成する４×４配列内のカーネル値のそれぞれの座標である。図５Ｂのカーネルの例では、サンプリングウィンドウの中央の画素値に高い重み（すなわち、カーネル値＝３）が与えられ、サンプリングウィンドウの縁および隅の画素値に低い重み（すなわち、カーネル値＝１）が与えられる。図示の実施形態では、各サンプリング位置で、カーネルは、（ｉ）サンプリングウィンドウ内にある一次画像の画素の４×４配列の各画素値に、その画素値の対応するカーネル値または重みを掛けること、および、（ｉｉ）重み付き画素値の正規化された（すなわち、重み付けされていない）平均値（例えば、重み付き画素値の和をカーネル値の和（すなわち、総カーネル重み）で割ることによって計算された平均値）を決定して、一次画像の画素の４×４配列を表す単一出力値を導出すること、により演算する。図示の例では、総カーネル重み＝２４である。したがって、ステップ（ｉｉ）は、サンプリングウィンドウ内の画素の重み付き画素値を合計し、２４で割ることによって実行され得る。

【0072】

図５Ｂは、カーネルの単純な例を示し、このカーネルは、一次画像の４×４画素配列の内側サンプリング済み画素（すなわち、サンプリングウィンドウの中央の画素）の画素値が一次画像の外側サンプリング済み画素の画素値よりも高い重みを有するようにカーネル重みを定義する。当業者なら理解するように、アプリケーション要件に応じて、カーネル重みの値の多くの変動値が可能である。加えて、サンプリングウィンドウまたは仮想開口に対応する任意のカーネルの形状およびサイズ（配置、アスペクト比、カーネル値／重みの数）が、アプリケーション要件に応じて選択され得る。例えば、カーネル重みは、最適なアンチエイリアス処理結果を達成するように選定され得る。

【0073】

技法の例によれば、４×４カーネルは、一次画像の一連の連続する（すなわち、隣り合いかつ重複しない）４×４画素配列をサブサンプリングするように、一次画像の上を一連のサンプリング位置（すなわち、一次画像の上のサンプリングウィンドウの位置または「サンプリングウィンドウ位置」）まで漸進的に動かされる。複数のサンプリング位置は、一次画像の画素の実質上すべてがサブサンプリングされて、一次画像全体のサブサンプリング済み画素値に対応する出力値を導出するように定義される。諸実施形態では、サンプリング位置は、一次画像上のｘ方向およびｙ方向に一定画素間隔または「ストライド」で間隔を置いて定義される。カーネルは、一次画像をｘ方向およびｙ方向に画素間隔またはストライドで漸進的に横切ると言うことができる。

【0074】

一次画像上のカーネルの２つの連続するサンプリング位置が図４Ａおよび図４Ｂに示されている。特に、初期（または第１の）サンプリング位置または「開始位置」が図４Ａに示されている。サンプリング位置は、カーネルの左上隅に対応する一次画像の画素座標として定義され得る。図４Ａに示される例では、第１のサンプリング位置は、一次画像の画素座標（０，０）にある。カーネルは、ストライドに応じて、一次画像を横切って左から右に漸進的に動かされる。この技法例では、ストライドは、ｘ方向の４画素およびｙ方向の４画素であり、したがって、各サンプリング位置に形成されるサンプリングウィンドウは連続していて、互いに重なり合うことはない。したがって、第２のサンプリング位置は、図４Ｂに示されるように、ｘ方向の４画素のストライド距離に対応する、一次画像の画素座標（０，４）にある。当業者なら理解するように、後続のサンプリング位置は、サンプリング位置が一次画像の最初の４行の最後の画素値に達するまで、画素座標（０，８）、（０，１２）などにある。カーネルがラスタ走査パス内で移動されると、カーネルは、ｙ方向の４画素のストライド距離に対応する画素座標（４，０）のサンプリング位置に戻る。次いで、カーネルは、一次画像の上をｘ方向の４画素およびｙ方向の４画素のストライドで横切り続け、それによって、一次画像のすべての画素がサブサンプリングされるまで、連続するサンプリングウィンドウを使用して一次画像の連続する４×４画素配列をサブサンプリングする。各サンプリング位置で決定された出力値は、サブサンプリング済み出力画像の画素値として提供される。したがって、出力二次画像は、画素数が減少した、一次画像のアンダーサンプリングまたはサブサンプリング済みバージョンである。

【0075】

当業者なら理解するように、上記の例では、一次画像の画素数は二次画像では１６分の１に減少する、というのは、一次画像の１６画素の４×４配列が二次画像の１（１つの）画素で表されるからである。したがって、一次画像の画素数は、ホログラフィックプロジェクタによって投影される画像（ホログラフィック再構成）の所望の解像度よりも高い解像度を有する。例えば、一次画像は、所望の解像度の４倍や８倍など、所望の解像度の最低２倍を有することができる。このようにして、二次画像から計算されるホログラムは、解像度が高解像度の一次画像に比べて低下している場合でも、所望の解像度でホログラフィック再構成を形成する。いくつかの実施形態では、ターゲット画像は、画像（ホログラフィック再構成）の所望の解像度を達成するために、一次画像を形成するように「オーバーサンプリング」または「アップスケール」される。

【0076】

図４Ａおよび図４Ｂに示される二次画像を導出するためにカーネルを使用して一次画像をサブサンプリングするためのサンプリングスキームは、一連のサンプリング位置、ｘ方向および／またはｙ方向のストライド距離、ならびにカーネルのサイズおよび／または重みのうちの１つまたは複数を変えることによって変更され得る。したがって、同じ一次画像から複数の二次画像を決定することが可能である。複数の二次画像に対応するホログラムが計算され、一次画像に対応する画像フレーム（ターゲット画像）のサブフレームとして空間光変調器上に順番に表示され得る。

【0077】

例えば、図５Ｂに示されるカーネルは、図４Ａおよび図４Ｂを参照して上述したように、ｘ方向の４画素およびｙ方向の４画素のストライドを有する一連のサンプリング位置を使用して第１の二次画像を導出するために使用され得る。同じカーネルは、ｘ方向およびｙ方向の４画素の同じストライドを有するが、座標（１，１）など、初期（または第１の）サンプリング位置または「開始位置」が異なる一連のサンプリング位置を使用して第２の２次画像を導出するために使用され得る。他の例では、ｘ方向および／またはｙ方向のストライドは変えることができる。

【0078】

他の例では、図５Ｂに示されるカーネルは、図４Ａおよび図４Ｂを参照して上述したように、ｘ方向の４画素およびｙ方向の４画素のストライドを有する一連のサンプリング位置を使用して第１の二次画像を導出するために使用され得る。別のカーネル、例えば、異なるカーネルの値または重みを有する４×４カーネルが、同じ一連のサンプリング位置を使用して第２の二次画像を導出するために使用され得る。他の例では、カーネルのサイズ、ならびにカーネルの値または重みは変更され得る（例えば、重みが類似するまたは異なる５×５カーネル）。

【0079】

上記のサンプリングスキーム例の任意の適切な組合せが、同じ一次画像から複数の二次画像を導出するために使用され得る。当業者なら理解するように、同じ一次画像から導出される各二次画像の総画素数は異なることがある。特に、各二次画像の画素数は、使用される当該サブサンプリングスキームで使用されるサンプリング位置の数に対応する。したがって、より少ないサンプリング位置を有するスキームでは、画素がより少ない２次画像になる。いくつかの例では、同じ一次画像から決定された各二次画像は、同じ数の画素を有する。

【0080】

したがって、投影用の画像を表す複数の二次画像が、サンプリングスキーム（カーネル値の４×４配列を含むカーネル）を使用して一次画像をサブサンプリングすることによって生成され得る。各二次画像は、一次画像よりも少ない画素を含む。ホログラムが複数の二次画像のそれぞれに対して決定され、各ホログラムがディスプレイ装置上に順番に表示されて、再生面上に各二次画像に対応するホログラフィック再構成を形成する。諸実施形態では、二次画像に対応する複数のホログラムのそれぞれが、人間の目の積分時間内にディスプレイ装置上に順番に表示され、その結果、再生面上での二次画像のホログラフィック再構成は、ターゲット画像の単一高品質再構成として現れる。

【0081】

データストリーミング
上述したように、カーネルを使用して一次画像をサブサンプリングするためには、一次画像の画素の２次元配列に対応する画素データを保存し、少なくとも、特定のサンプリング位置（例えば、４×４画素配列データ）でのカーネル演算に必要な一次画像の画素データエントリ（すなわち、画素値）を対応する時点でバッファリングする必要がある。したがって、システムは、比較的高い解像度の一次画像の画素データを収容するために、大量のデータストレージおよび／または容量を必要とする。

【0082】

したがって、本開示は、二次画像を決定するために一連のサンプリング位置でカーネルを用いて一次画像のサブサンプリングを実行する新しいスキームを提案する。新しいスキームにより、ストレージおよび／またはバッファリング容量の要件を減らすことができる。いくつかの実装形態では、二次画像に対応するホログラムを決定するための処理速度が高められる。

【0083】

新しいスキームは、データストリーミングに基づいている。特に、このスキームは、一次画像の画素値の第１のデータストリームとカーネルのカーネル値の第２のデータストリームとを形成することを含む。データストリーミングは、順番に（すなわち、画像／カーネル画素の画素ごとに）行ごとに実行される。特に、一次画像の画素の第１の行の画素値が最初にストリーミングされ、続いて、一次画像の画素の第２の行の画素値などから一次画像の画素の最後の行の画素値までストリーミングされ、この段階で第１のデータストリームが終了する。さらに、カーネルの第１の行のカーネル値が最初にストリーミングされ、続いて、カーネルの第２の行のカーネル値などからカーネルの最後の行のカーネル値までストリーミングされ、次いで、データ・ストリーミング・シーケンスは、カーネルの第１の行のカーネル値をストリーミングし、続いて、カーネルの第２の行の画素値などをストリーミングすることによって反復的に繰り返される。第１のデータストリームの画素値の数は、第２のデータストリームのカーネル値の数に対応する。特に、第１のデータストリームの各画素値は、対応する重み付き画素値の決定を可能にするために、第２のデータストリームの対応するカーネル値と対になる。これは、第１のデータストリーム内の一次画像の画素の画素値を第２のデータストリーム内のカーネルの対応するカーネル値に同期させることによって実現される。当業者なら理解するように、図示の例では、カーネルはラスタ走査パス内を移動するので、カーネルは一次画像を左から右に（すなわち、ｘ方向に）横切る。したがって、一次画像の画素の特定の行について、カーネル値の同じ行が対応する画素値に重みを付けるために使用され、カーネル値の行はサンプリング位置ごとに繰り返される。一次画像の画素の画素値とカーネルの対応するカーネル値または重みを行ごとに順次ストリーミングすることにより、処理は、従来技術のような画素の２次元配列の画素値の代わりに、画素の１次元配列に対応する画素値の単一データストリームに対して実行され得る。図６は、下述のようにカーネル演算を実行するためのいわゆる「ベース・ライン・ストリーミング・フレーム・カーネル」（または単に「フレームカーネル」）に入力される、画素値の第１のデータストリームとカーネルの値または重みの第２のデータストリームとを形成するこのプロセスを概略的に示す。

【0084】

図１１は、いくつかの実施形態による、カーネルを使用して一次画像をサブサンプリングする際に使用するデータストリーミングの方法１１００を示す流れ図である。方法１１００は、本明細書に記載されるように、二次画像を決定するためにサブサンプリングするための一次画像の画素の配列の画素データを含む一次画像に対応する入力画像を受け取る。方法１１００はさらに、本明細書に記載されるように、カーネルの値または重みの配列を含むカーネルを受け取る。図示の例では、カーネルは、カーネル値のＭ行およびＮ列の配列を含み、したがって、Ｍ×Ｎ画素の配列のサンプリングウィンドウを形成する。さらに、カーネルの一連のサンプリング位置が定義される。図示の例では、上述した図４Ａおよび図４Ｂの例のように、一連のサンプリング位置が一次画像のＭ×Ｎ画素の連続する配列をサブサンプリングするように、ｘ方向のストライドはＮ画素であり、ｙ方向のストライドはＭ画素である。これには、一次画像の各画素値が一度だけサブサンプリングされるという利点がある、つまり、後述するように、一次画像の画素データがラスタ走査順序でストリーミングされ得る。当業者なら理解するように、アプリケーション要件に従って一連のサンプリング位置を変えるために、ｘ方向およびｙ方向のそれぞれのストライドを変化させることが可能である。例えば、ストライドは、ｘ方向のＮ／２およびｙ方向のＭ／２とすることができる。

【0085】

図１１の方法１１００は、画素値の第１のデータストリームおよびカーネル値の第２のデータストリームを形成し、第１のデータストリームおよび第２のデータストリームは、第１のデータストリーム内の各画素値が適時に同期され、したがって第２のデータストリーム内の対応するカーネル値と対になるように同時に形成される。

【0086】

この方法は、ステップ１１０５で、諸実施形態に従ってカーネルを使用して一次画像をサブサンプリングする際に使用する一次画像およびカーネル情報を受け取るのに応答して開始する。

【0087】

ステップ１１０６は、画像の行カウンタを０（ゼロ）に設定し、ステップ１１０８は、画像の列カウンタを０（ゼロ）に設定する。ステップ１１１０は、初期サンプリング位置に対応する、画像の行カウンタおよび列カウンタによって示される行位置および列位置での一次画像の画素値（すなわち、座標（０，０）での画素値）を読み取る。ステップ１１１２は、画像列カウンタを１だけインクリメントする。ステップ１１１０で読み取られた画素値は、第１のデータストリームの第１の（次の）画素値として「Ａ」で出力される。さらに、ステップ１１５６は、カーネルの行カウンタを０（ゼロ）に設定し、ステップ１１５８は、カーネルの列カウンタを０（ゼロ）に設定する。ステップ１１６０は、カーネルの行カウンタおよび列カウンタによって示される行位置および列位置でのカーネル値（すなわち、座標（０，０）でのカーネル値）を読み取り、ステップ１１６２は、カーネル列カウンタを１だけインクリメントする。ステップ１１６０で読み取られたカーネル値は、第２のデータストリームの第１の（次の）カーネル値として「Ａ」で出力される。ステップ１１０６、１１０８および１１１０は、ステップ１１５６、１１５８および１１６０と同時に実行され、「Ａ」での第１および第２のデータストリームへのデータ値の出力は同期される。特に、画素値および対応するカーネル値は、「Ａ」で同時に（すなわち、同じクロックサイクルで）出力される。したがって、第１のデータストリーム内の画素値と第２のデータストリーム内の対応するカーネル値は、以下でさらに説明するように、カーネル処理のために対にされる。

【0088】

ステップ１１２０は、現在の反復について、ステップ１１１０で読み取られた画素値が、一次画像の現在の行の最後の画素値であったかどうかを決定する。この方法は一次画像を入力として受け取るので、画素の行数および列数で表した画像のサイズは既知である。したがって、ステップ１１１２で画像列カウンタに設定された値が画素の列数よりも大きい場合、反復で読み取られた画素値は画像行の最後の画素であり、次の画素は次の画像行から読み取られるものとする。ステップ１１２０が、ステップ１１１０で読み取られた画素値が現在の画像行の最後の画素値ではなかったと決定した場合、方法はステップ１１１０に戻り、現在の行の（すなわち、画像行カウンタおよび画像列カウンタで示される行位置および列位置にある）次の画素値を読み取る。次いで、この方法は、ステップ１１２０が、ステップ１１１０で読み取られた画素値が現在の行の最後の画素値であったと決定するまで、ステップ１１１０、１１１２および１１２０を経由するループで続く。ステップ１１２０が、画素値が現在の行の最後の画素値であったと決定すると、方法はステップ１１３０へ進む。さらに、決定の指示が「Ｃ」（例えば、「画像行の終わり」信号）で出力され得る。

【0089】

ステップ１１３０は、現在の画像行が一次画像の画素の最後の行であるかどうかを決定する。特に、画像行カウンタに設定された現在の値が一次画像の画素の行の総数と等しい場合、現在の画像行は画素の最後の行である。ステップ１１３０が、現在の画像行が一次画像の最後の行画素ではないと決定した場合、方法はステップ１１４０へ進み、画像行カウンタを１だけインクリメントする。次いで、この方法はステップ１１０８に戻り、画像列カウンタを０に（再）設定する。次いで、この方法は、ステップ１１３０が、現在の画像行が一次画像の画素の最後の行であると決定するまで、ステップ１１１０～１１２０で次の画像行の画素をストリーミングすることにより続く。ステップ１１３０が、現在の画像行が一次画像の最後の画素であると決定すると、方法はステップ１１９５で終了する。同時に、決定の指示が「Ｅ」（例えば、「画像の終わり」信号）で出力され得る。したがって、図１１の方法１１００によって形成される第１のデータストリームは、ラスタ走査順序で画素ごとにかつ行ごとに読み取られた一次画像の画素の画素値のストリームを含む。

【0090】

ステップ１１７０は、現在の反復について、ステップ１１６０で読み取られたカーネル値が、カーネルの現在の行の最後のカーネル値であったかどうかを決定する。この方法はカーネルを入力として受け取るので、カーネルの値または重みの行数Ｍおよび列数Ｎで表したカーネルのサイズは既知である。したがって、ステップ１１６２でカーネル列カウンタに設定された値がカーネル値の列数Ｎよりも大きい場合、前のカーネル値は行の最後のカーネル値であり、次のカーネル値はカーネルの次の行から読み取られるものとする。ステップ１１７０が、ステップ１１６０で読み取られたカーネル値が現在のカーネル行の最後のカーネル値ではなかったと決定した場合、方法はステップ１１６０に戻り、現在の行の（すなわち、カーネル行カウンタおよびカーネル列カウンタで示される行位置および列位置にある）次のカーネル値を読み取る。次いで、この方法は、ステップ１１７０が、ステップ１１６０で読み取られたカーネル値が現在の行の最後のカーネル値であったと決定するまで、ステップ１１６０、１１６２および１１７０を経由するループで続く。ステップ１１７０が、カーネル値が現在の行の最後のカーネル値であった決定すると、方法はステップ１１８０へ進む。さらに、決定の指示が「Ｂ」（例えば、「カーネル行の終わり」信号）で出力され得る。

【0091】

ステップ１１８０は、現在の反復について、ステップ１１１０で読み取られた画素値が、一次画像の現在の行の最後の画素値であったかどうかを決定する。ステップ１１８０は、「画像行の終わり」信号がステップ１１２０から「Ｃ」で出力されるかどうかを決定することによって実行されてもよく、またはステップ１１２０に関する別個または共同の演算であってもよい。ステップ１１８０が、画素値が一次画像の現在の行の最後の画素値ではなかったと決定すると、方法はステップ１１５８に戻り、カーネル列カウンタを０に（再）設定する。当業者なら理解するように、これは、ｘ方向のストライドによるカーネルの変位により次のサンプリング位置へ移動するのに対応し、この変位は、図示の例ではカーネルの列数Ｎに等しい。次いで、この方法は、ステップ１１８０が、（例えば、「画像行の終わり」信号を受け取ることにより）一次画像の画像行の終わりに達していると決定するまで、現在の行のカーネル値を順番に繰り返し読み取ることにより、ステップ１１６０から１１８０まで続く。ステップ１１８０が、ステップ１１１０で読み取られた画素値が一次画像の現在の行の最後の画素値であったと決定すると、方法はステップ１１８５へ進む。

【0092】

ステップ１１８５は、現在のカーネル行がカーネルのカーネル値の最後の行であるかどうかを決定する。特に、カーネル行カウンタに設定された現在の値がカーネル行の数Ｍと等しい場合、現在の行はカーネル値の最後の行である。ステップ１１８５が、現在のカーネル行がカーネル値の最後の行ではないと決定した場合、方法はステップ１１９０へ進み、カーネル行カウンタを１だけインクリメントする。次いで、この方法はステップ１１５８に戻り、カーネル列カウンタを０に（再）設定する。次いで、この方法は、ステップ１１８５が、現在のカーネル行がカーネル値の最後の行であると決定するまで、ステップ１１６０～１１８０で次のカーネル行のカーネル値を順番に繰り返しストリーミングすることにより続く。ステップ１１８５が、現在のカーネル行がカーネル値の最後の行であると決定すると、方法はステップ１１５６に戻り、カーネル行カウンタを０に（再）設定する。当業者なら理解するように、これは、ｙ方向のストライドによるカーネルの変位により次のサンプリング位置へ移動するのに対応し、この変位は、図示の例ではカーネルの行数Ｍに等しい。同時に、決定の指示が「Ｄ」（例えば、「カーネルの終わり」信号）で出力され得る。したがって、図１１の方法１１００によって形成される第２のデータストリームは、行単位で順番に読み取られる（かつ各サンプリング位置に対して繰り返される）カーネルの値または重みのストリームを含む。特に、第２のデータストリームのカーネル値は、第２のデータストリーム内の各位置／時点でのカーネル値が第１のデータストリーム内の画素の画素値に対応し、したがってその画素値と対になる／同期されるように提供される。

【0093】

当業者なら理解するように、一次画像のカーネルサブサンプリング用の同期された第１および第２のデータストリームを導出するために、図１１の方法に様々な修正を加えることができる。例えば、図１１の方法は、一次画像の画素値のストリームをラスタ走査順序で提供する、というのは、カーネル手順の例は、一次画像の画素の連続する配列をサンプリングするために、カーネル内の列数と同じｘ方向のストライド（およびカーネル内の行数と同じｙ方向のストライド）があるからである。しかしながら、他の例では、ｘ方向のストライドは、ｘ方向の一次画像の画素の重複する配列または分離された配列をサンプリングするために、それぞれカーネル内の列数より少なくてもよい、または多くてもよい。したがって、ｘ方向のストライドがカーネル内の列数より少ない場合、後続の各サンプリングウィンドウは、前のサンプリングウィンドウと１つまたは複数の画素だけ重複する。この場合、重複する画素値は、第１のデータストリームを形成するために、一次画像の各行から読み取られる画素値のシーケンスで繰り返され得る。逆に、ｘ方向のストライドがカーネル内の列数よりも多い場合、後続の各サンプリングウィンドウは、前のサンプリングウィンドウからｘ方向に１つまたは複数の画素だけ分離される。この場合、サンプリングウィンドウ相互間の空間の画素値は、第１のデータストリームを形成するために、一次画像の各行から読み取られる画素値のシーケンスから省略され得る。これらの例では、カーネル値の第２のデータストリームを形成するプロセスを修正して、対応する正しいカーネル値が当該移動するサンプリングウィンドウ内のそのカーネル値の位置に応じて画素値と同期されるようにするために、同様の修正が必要になり得る。同様に、他の例では、ｙ方向のストライドは、ｙ方向の一次画像の画素の重複する配列または分離された配列をサンプリングするために、それぞれカーネル内の行数より少なくてもよい、または多くてもよい。これらの例では、一次画像の画素の１つまたは複数の行の画素値は、第１のデータストリームで繰り返されるか、または第１のデータストリームから省略され、それに応じて、対応するカーネル値が第２のデータストリームで同期され得る。

【0094】

カーネル演算およびバッファリング
本明細書に記載されるように、二次画像を決定するために一次画像をサブサンプリングするプロセスが、一連のサンプリング位置でカーネル演算を用いて実行され得る。本開示によれば、カーネルベースのサブサンプリングプロセスは、ストレージおよび／またはバッファリング容量の要件を減らすために、データストリーミングを使用して実行される。

【0095】

図７は、一次画像の第１の行の画素値の第１のデータストリームに対して、第２のデータストリームの対応するカーネルの値または重みを使用して実行されるカーネルサブサンプリング手順の一例を示し、第１および第２のデータストリームは上述したように形成される。図７はさらに、バッファに提供される累積値（いわゆる「部分的画素値」）の出力データストリームを示す。図７は第１の反復と呼ばれることがある、というのは、図７は、一次画像の画素の行に対して、カーネルの第１の行の対応するカーネルの値または重みを使用してカーネル演算を実行するからである。一次画像の画素値は行ごとに処理されるので、画像画素の各行の処理は反復と見なすことができる。

【0096】

図７に示される例では、カーネルはカーネル値の４×４配列であり、カーネルは、一次画像の画素の連続する４×４配列がサンプリングウィンドウ内に含まれるように、一連のサンプリング位置に反復的に移される。特に、ｘ方向のストライドは４画素であり、ｙ方向のストライドは４画素である。説明を簡単にするために、一次画像は、行に２０個の画素（すなわち、２０列の画素）を有する。当業者なら理解するように、実際には、一次画像の画素の数は有意に多い。

【0097】

図７に示されるように、第１のデータストリーム９０は、データ入力位置１９、１８、１７、１６、１５、１４、１３、１２、１１、１０、９、８、７、６、５、４、３、２、１および０に、それぞれ一次画像の第１の行（行０）の画素の２０個の画素値Ｔ、Ｓ、Ｒ、Ｑ、Ｐ、Ｏ、Ｎ、Ｍ、Ｌ、Ｋ、Ｊ、Ｉ、Ｈ、Ｇ、Ｆ、Ｅ、Ｄ、Ｃ、ＢおよびＡの順序付けられたシーケンスを含む。さらに、第２のデータストリーム９２は、２０個のカーネル値の順序付けられたシーケンスを含み、第２のデータストリーム内の各データ入力位置にあるカーネル値は、第１のデータストリーム内の同じデータ入力位置にある画素値に対応する。当業者なら理解するように、画像画素の第１の行の画素をサンプリングするために使用されるカーネル値は、カーネルの第１の行のカーネル値に対応する。図５Ａの汎用カーネルのように、各カーネル値は記号Ｗ_ｘ，ｙで表される重みである、ただし、（ｘ，ｙ）は、カーネル値の４×４配列の座標またはカーネルの重みに対応する。

【0098】

基本カーネル手順９４は、第１のデータストリーム９０の各画素値と第２のデータストリーム９２の同期された対応する重みＷ_ｘ，ｙとを受け取り、対応する重み付き画素値を決定する。特に、重み付き画素値は、画素値と対応する重みの積である。基本カーネル手順９４は、カーネルサンプリング位置ごとに重み付き画素値を順番に合算して、対応する（重み付き）部分的画素値を決定する。したがって、第１のサンプリング位置（カーネル位置０）に対応する、第１のデータストリーム内の画素の第１の行の最初の４つの画素値の重み付き画素値は、Ｔ^＊Ｗ_０，０、Ｓ^＊Ｗ_１，０、Ｒ^＊Ｗ_２，０およびＱ^＊Ｗ_３，０である。第１のサンプリング位置での４つの重み付き画素値の和は値Ｉで表され、値Ｉは、出力バッファ９６の第１の位置（バッファ位置０）に書き込まれる。図７に示されるように、続いて、基本カーネル手順は、第２～第５のサンプリング位置（カーネル位置１～４）にそれぞれ対応する、第１のデータストリーム内の第１の行の画素の４つの画素値の各セットの重み付き画素値を順番に決定する。基本カーネル手順９４はさらに、ＩＩ、ＩＩＩ、ＩＶおよびＶとして表される４つの重み付き画素値のそれぞれの和を決定し、ＩＩ、ＩＩＩ、ＩＶおよびＶは、それぞれ出力バッファの第２～第５の位置（バッファ位置１～４）に順番に書き込まれる。いくつかの実施形態では、基本カーネル手順９４は、「積和演算」またはＭＡＣ手順を実装することができる。第１および第２のデータストリームから受け取った画素値とカーネル値の各対について、この手順は、画素値と重みを互いに乗算して重み付き画素値を決定し、この重み付き画素値を、同じカーネルサンプリング位置に対する以前に決定された重み付き画素値の和に加算することにより重み付き画素値を累積する。したがって、４つの重み付き画素値（カーネルの列数、したがって「ストライド」に対応する）に基づく累積和は、対応するカーネルサンプリング位置に対する部分的（サブサンプリングおよび重み付けされた）画素値である。これらの部分的画素値は、出力バッファ９６に保存され、第３のデータストリームを形成し、第３のデータストリームは、基本カーネル手順９４へのフィードバックとして提供される。図８は、一次画像の画素の第１の行を処理することから出力され、各サンプリング位置について出力バッファ９６に順次保存される第３のデータストリーム９８の部分的画素値の、基本カーネル手順９４へのフィードバックを概略的に示す。第３のデータストリーム９８のフィードバックは、第１のデータストリーム９０および第２のデータストリーム９２と同時に提供され、その結果、部分的画素値は、第１のデータストリーム９０内の一次画像の画素の次の行の画素値および第２のデータストリーム９２内の対応するカーネル値と同期される。

【0099】

図９は、図７のカーネルサブサンプリング手順の例の第２の反復を示す。図９では、この手順は、第２のデータストリームのカーネルの第２の行の対応するカーネル値を使用して、一次画像の第２の行の画像画素値の第１のデータストリームに対して実行される。図９はさらに、部分的画素値の第３のデータストリームの使用を示し、部分的画素値は、第１の反復で一次画像の第１の行の画素をサブサンプリングして出力され、出力バッファからのフィードバックとして提供されたものである。最後に、図９は、出力バッファに順番に提供される更新済み部分的画素値の出力データストリームを示す。

【0100】

図９に示されるように、第１のデータストリーム９０は、データ入力位置１９、１８、１７、１６、１５、１４、１３、１２、１１、１０、９、８、７、６、５、４、３、２、１および０に、それぞれ一次画像の第２の行（行１）の画素の２０個の画素値Ｔ、Σ、Ｐ、Θ、Π、Ｏ、Ｎ、Ｍ、Λ、Ｋ、θ、Ｉ、Ｈ、Γ、Φ、Ｅ、Δ、Χ、ＢおよびＡの順序付けられたシーケンスを含む。さらに、第２のデータストリーム９２は、２０個のカーネル値の順序付けられたシーケンスを含み、第２のデータストリーム内の各データ入力位置にあるカーネル値は、第１のデータストリーム内の同じデータ入力位置にある画素値に対応する。当業者なら理解するように、カーネル値はカーネルの次の（第２の）行に対応する。

【0101】

基本カーネル手順９４は、第１のデータストリーム９０の一次画像の画素の第２の行の各画素値と第２のデータストリーム９２の同期された対応する重みＷ_ｘ，ｙとを受け取り、対応する重み付き画素値を決定する。基本カーネル手順９４は、カーネルサンプリング位置ごとに重み付き画素値を順番に合算して、対応する（重み付き）部分的画素値を決定する。したがって、第１のサンプリング位置（カーネル位置０）に対応する、第１のデータストリーム内の画素の第２の行の最初の４つの画素値の重み付き画素値は、Ｔ^＊Ｗ_０，１、Σ^＊Ｗ_１，１、Ｐ^＊Ｗ_２，１およびΘ^＊Ｗ_３，１である。第１のサンプリング位置にある４つの重み付き画素値の和は、同じサンプリング位置にある重み付き画素値の累積和に対応する第３のデータストリーム９８の第１の部分的画素値に加算される。重み付き画素値の更新済み累積和は値Ｎで表され、値Ｎは、出力バッファ９６の第１の位置（バッファ位置０）に書き込まれる。図９に示されるように、続いて、基本カーネル手順は、同じ方法で第２～第５のサンプリング位置（カーネル位置１～４）のそれぞれに対して重み付き画素値の累積和を順番に決定し、これらの重み付き画素値の累積和は、それぞれ部分的画素値Ｐ、Ｑ、Ｒ、Ｚとして出力バッファの第２～第５の位置（バッファ位置１～４）に書き込まれる。

【0102】

当業者なら理解するように、図９に示される基本カーネル手順９４は、一次画像の後続の各画像行の第１のデータストリームの画素値を使用して、カーネルの対応する行から最後のカーネル行までのカーネル値を使用して反復的に繰り返される。最後のカーネル行のカーネル値に対応する画素値がサンプリング位置に対して処理されると、サンプリングウィンドウ内の画素値はすべてサンプリングされ、バッファ９６に出力された累積値は全（重み付きの和）画素値を表す。したがって、基本カーネル手順９４が、この手順が最後のカーネル行を使用してサブサンプリングしていると決定すると、累積（重み付き）画素値の出力は、図１０を参照して後述するように修正される。

【0103】

図１０は、２次画像の全または完全累積画素値の出力を概略的に示す。この手順は、最後のカーネル行のカーネル値を使用した各反復後にかつ／または最後の反復後に行われてもよい。特に、カーネルサンプリング位置にあるサンプリングウィンドウ内の画素の画素値がすべてサブサンプリングされた後、全累積（重み付き）画素値が決定される。特に、全累積画素値は、第２のデータストリーム９２内のカーネルのカーネル値の最後の行を使用して第１のデータストリーム内の画像行の画素値を処理するときに、基本カーネル手順９４によって出力される。前と同様に、累積された（重み付けされた）画素値は、出力バッファ９６に順次提供されて、第３のデータストリーム９８を形成する。しかしながら、累積画素値を基本カーネル手順９４へのフィードバックとして提供する代わりに、第３のデータストリーム９８は、オプションの除算ユニット１２６に供給される。オプションの除算ユニット１２６は、第３のデータストリーム９８の累積された（重み付けされた）画素値のそれぞれを総カーネル重みで除算することにより、二次画像の最終のサブサンプリング済み画素値を決定して、上述したように正規化された画素値を決定することができる。除算ユニットからの出力ストリーム１２２は、二次画像用のデータストレージにストリーミングされてもよく、かつ／またはホログラム計算用のホログラムエンジンにリアルタイムで送られてもよい。さらに、第３のデータストリーム９８を基本カーネル手順９４にフィードバックする代わりに、画像行をサブサンプリングするためのカーネル位置の数と同じ数のヌルデータ値のシーケンス（すなわち、ゼロ（０）のシーケンス）を含むバックデータストリーム１２４が、基本カーネル手順９４に提供され得る。バックデータストリーム１２４は、第１のデータストリーム９０および第２のデータストリーム９２と同時に提供され、したがって、それぞれのデータストリーム内の対応する位置の値は同期される。図７には示されていないが、同様のバックデータストリーム１２４が、第１の画像行に対応する画素値を処理するために、基本カーネル手順９４に提供され得る。

【0104】

図１２は、いくつかの実施形態による、一次画像をサブサンプリングするためのデータストリーミングに基づくカーネル演算およびバッファリングの方法１２００を示す流れ図である。方法１２００は、上述したように、同期された画素値の第１データストリームおよびカーネル値の第２のデータストリームを受け取り、部分（または全）画素値の第３のデータストリームをフィードバック（または出力）のために出力バッファに出力する。方法１２００は、上述したように、図１１のデータストリーミングの方法１１００と組み合わせて実装され得る。特に、図１２の方法１２００の特定のステップは、図１１の方法１１００のステップから出力信号を受け取ることができる。したがって、図１１の方法のように、カーネルは、カーネル値のＭ行およびＮ列の配列を含み、したがって、一次画像のＭ×Ｎ画素の配列のサンプリングウィンドウを形成する。さらに、カーネルの一連のサンプリング位置が定義され、一次画像のＭ×Ｎ画素の連続する配列をサブサンプリングするために、ｘ方向のストライドはＮ画素であり、ｙ方向のストライドはＭ画素である。

【0105】

図１２の方法では、カーネルを使用して一次画像のＭ×Ｎ画素の連続する配列をサブサンプリングして、解像度を下げた二次画像の画素値を生成する。特に、二次画像の単一画素値が、サンプリング位置でカーネルによって定義されたサンプリングウィンドウ内に含まれる一次画像のＭ×Ｎ画素の各配列に対して決定される。

【0106】

この方法は、ステップ１２０５で、第１および第２のデータストリームの第１の値、またはデータストリーミング手順の開始を指示する関連トリガを受け取るのに応答して開始する。いくつかの実施形態では、ステップ１２０５は、一次画像に関する情報、特に画像画素の行および列の数をさらに受け取ることができ、かつ／または、カーネルに関する情報、特にカーネル値の行および列の数が、後述するように画素値およびカーネル値とカーネルサンプリング位置とを追跡するために提供される。

【0107】

ステップ１２１０は、出力バッファの現在のストレージ場所を第１のカーネルサンプリング位置に設定する。出力バッファの第１のストレージ場所は、カーネルの第１のサンプリング位置と一致していると言うことができる。当業者なら理解するように、カーネルのサンプリング位置は、カーネルが一次画像の上を（例えば、ｘ方向およびｙ方向のストライドを含むラスタ走査パス内を）移動するときのサンプリング位置の順序付けられたシーケンスに従って、１の増分での数字の昇順に（例えば、カーネル位置０からカーネル位置Ｘまで）定義され得る。当業者なら理解するように、図示の実施形態では、出力バッファ内の各ストレージ場所は、対応するサンプリング位置に関連する出力（部分）画素値の受取り専用である。

【0108】

ステップ１２２０は、同期された第１のデータストリームと第２のデータストリームの値の第１の対を受け取る。例えば、第１のデータストリームおよび第２のデータストリームは、図１１の方法１１００の「Ａ」での出力から受け取ることができる。したがって、ステップ１２２０は、第１のデータストリームから一次画像の第１の画素値を受け取り、第２のデータストリームからカーネルの対応する第１のカーネルの値または重みを受け取る。上述したように、画素値とカーネル値のそれぞれの対は、クロックカウンタによって同期され得る。

【0109】

ステップ１２２２は、ステップ１２２０で受け取った画素値およびカーネル値を乗算することにより、対応する重み付き画素値を決定する。次いで、ステップ１２２４は、ステップ１２２２で決定された重み付き画素値が、現在のカーネルサンプリング位置での画像行の最後の画素値に対応するかどうかを決定する。特に、ステップ１２２４は、第１のデータストリームおよび第２のデータストリームの値の処理済み対がカーネル行（または最後のカーネル列）の終わりに対応するかどうかを決定することができる。図示の例では、ステップ１２２４は、ステップ１２２４が図１１の方法１１００の「Ｂ」から「カーネル行の終わり」信号を受け取った場合にステップ１２２２で決定された重み付き画素値が現在のカーネルサンプリング位置の値の最後の対に対応すると決定する。他の例では、カーネル列カウンタが使用されてもよく（例えば、ステップ１２２０の前にゼロに設定される）、その場合、ステップ１２２４は、カーネル列カウンタの値をカーネル列の数と直接比較することができる。当業者なら理解するように、図示の例では、カーネルが現在のサンプリング位置の最後の画素値で動作するとき、カーネル列カウンタはＮである。ステップ１２２４が、１２２２で決定された重み付き画素値が現在のサンプリング位置の最後の画素値ではないと決定した場合、方法はステップ１２２０に戻り、第１のデータストリームの画素値と第２のデータストリームのカーネル値の次の対を受け取る。カーネル列カウンタを使用する例では、カーネルカウンタは、ステップ１２２０で値の次の対を読み取る前に１だけインクリメントされる。次いで、この方法は、ステップ１２２４が、以前に決定された重み付き画素値が現在のサンプリング位置の画素カーネル値の最後の対に対応すると決定するまで、ステップ１２２０～１２２４を含むループで続き、方法はステップ１２３０へ進む。

【0110】

ステップ１２３０は、現在のカーネル位置の重み付き画素値の和を決定する。いくつかの実施形態では、所与のカーネルサンプリング位置について、ステップ１２２４の逐次反復によって順次決定されるＮ個の重み付き画素値はそれぞれ、加算器を介してレジスタ（または他の一時データストレージ）に送られる。加算器は、受け取った重み付き画素値をレジスタ内の現在の値に加算し、その結果をレジスタに戻し、それによってレジスタに保持された値が更新される。したがって、これらの実施形態では、特定のカーネルサンプリング位置に対して決定されたＮ個の重み付き画素値がリアルタイムで合算され、ステップ１２３０は、重み付き画素値の和をレジスタに保存される最終値として決定する。他の実施形態では、特定のカーネルサンプリング位置の各重み付け画素値は、レジスタ（または他の一時データストレージ）に保存され、ステップ１２３０で合算され得る。

【0111】

ステップ１２３２はさらに、ステップ１２３０で決定された現在のカーネル位置の重み付き画素値の和を、フィードバックとして出力バッファから受け取った第３のデータストリームの累積（部分画素）値に加算する。図示の例では、累積／部分的画素値の第３のデータストリームは、後述するように「Ｆ」から受け取ることができる。上述したように、カーネルの第１の行のカーネル値に対応する行の画素値を処理するときに、ヌル部分的画素値のストリームがフィードバックとして提供され得る。したがって、ステップ１２３２で決定された値は、現在のカーネル位置の更新済み累積（部分画素）値に対応する。

【0112】

ステップ１２４０は、ステップ１２２２で決定された更新済み累積（部分画素）値を出力バッファの現在のストレージ場所に保存する。次いで、この方法はステップ１２５０で続く。

【0113】

ステップ１２５０は、前のステップ１２２０で受け取った第１のデータストリームの画素値が、一次画像の画像行内の最後の画素の画素値に対応するかどうかを決定する。図示の例では、ステップ１２５０は、このステップが図１１の方法１１００の「Ｃ」から「画像行の終わり」信号を受け取った場合、前のステップ１２２０で受け取った画素値が、一次画像の画像行内の最後の画素であり、したがって一次画像の画像行の終わりにあると決定する。他の例では、方法１２００は、一次画像の画素列の数に関する情報を受け取り、画像行の終わりを識別するために、ステップ１２２０で受け取った第１のデータストリームの画素値を追跡する画像列カウンタ（図示せず）を含むことができる。ステップ１２５０が、前のステップ１２２０で受け取った画素値が画像行内の最後の画素に対応しないと決定した場合、方法はステップ１２５２へ進み、出力バッファのストレージ場所を１だけインクリメントし、例えば、カーネルサンプリング位置を１だけインクリメントすることにより、新たなストレージ場所を次のカーネルサンプリング位置に設定する（ステップ１２１０を参照）。次いで、この方法はステップ１２２０に戻り、第１のデータストリームの画素値と第２のデータストリームのカーネル値の次の対を受け取る。この場合も、カーネル列カウンタを使用する例では、カーネル列カウンタは、ステップ１２２０で値の次の対を受け取る前に０にリセットされる。次いで、この方法は、ステップ１２５０が、前のステップ１２２０で受け取った画素値が画像行の終わりにあると決定するまで、ステップ１２２０～１２５２を含む内部ループで続く。ステップ１２５０が、最後に受け取った画素値が画像行の終わりにあると決定すると、方法はステップ１２６０へ進む。

【0114】

ステップ１２６０は、前のステップ１２２０で受け取った画素値の画像行が一次画像の最後の画像行に対応するかどうかを、したがって、第１のデータストリーム内の一次画像の最後の画素の画素値であるかどうかを決定する。図示の例では、ステップ１２６０は、このステップが図１１の方法１１００の「Ｅ」から「画像の終わり」信号を受け取った場合、前のステップ１２２０で受け取った画素値が第１のデータストリームの最後の画素の画素値であると決定する。

【0115】

ステップ１２６０が、前のステップ１２２０で受け取った画素値が第１のデータストリーム内の最後の画素の画素値ではないと決定した場合、一次画像のサブサンプリングは完了せず、方法はステップ１２７０へ進む。一方、ステップ１２６０が、前のステップ１２２０で受け取った画素値が第１のデータストリーム内の最後の画素の画素値であると決定した場合、一次画像のサブサンプリングは完了し、方法はステップ１２８０へ進み、第３のデータストリームの累積値の最後の行を出力バッファから（サブサンプリングされた）二次画像の全（または完全）画素値として出力する。次いで、この方法はステップ１２８５で終了する。

【0116】

ステップ１２７０に戻ると、方法１２００は、ステップ１２２０で受け取った第２のデータストリームのカーネル値または重みがカーネルの最後の行からのものである（すなわち、カーネルの最後のカーネル値である）かどうかを決定する、つまり、現在のサンプリング位置でのカーネルサンプリングが完了する。図示の例では、ステップ１２７０は、このステップが図１１の方法１１００の「Ｄ」から「カーネルの終わり」信号を受け取った場合、前のステップ１２２０で受け取ったカーネル値がカーネルの最後のカーネル値であると決定する。他の例では、カーネル行カウンタがカーネル行を追跡するために使用され、ステップ１２７０は、カーネル行カウンタ内の現在の値をカーネル行の数Ｍと直接比較し、一致する場合、前のステップ１２２０で受け取ったカーネル値がカーネルの最後のカーネル値であると決定することができる。ステップ１２７０が、前のステップ１２２０で受け取ったカーネル値がカーネルの最後のカーネル値ではないと決定した場合、方法はステップ１２７２で続き、このステップは、出力バッファに保存された累積値の現在の行を、「Ｆ」でのフィードバックとしての部分的画素値の第３のデータストリームとして提供し、第３のデータストリームは、上述したようにステップ１２３２で受け取られる。次いで、この方法はステップ１２２０に戻り、第１のデータストリームの画素値と第２のデータストリームのカーネル値の次の対を受け取る。この場合も、カーネル列カウンタを使用する例では、カーネル列カウンタは、ステップ１２２０で値の次の対を受け取る前に０にリセットされる。次いで、この方法は、ステップ１２２０～１２７２を含む外部ループで続き、外部ループは、ステップ１２７０が、前のステップ１２２０で受け取ったカーネル値がカーネルの最後のカーネル値であると決定するまで、前の外部ループと同じサンプリング位置のセット（すなわち、サンプリング位置の行）のカーネルサブサンプリングを継続し、方法はステップ１２７４へ進む。

【0117】

ステップ１２７０が、前のステップ１２２０で受け取ったカーネル値がカーネルの最後のカーネル値であると決定すると、２つの結果が起こる。最初に、カーネルのサンプリングウィンドウは、ｙ方向のストライド距離だけ次のサンプリング位置（すなわち、サンプリング位置の次の行）に移され、ｘ方向の次の画像行の開始点に移される（第１のデータストリーム内の画素値はラスタ走査順序で一次画像から読み取られるため）。次に、サンプリング位置の行の各サンプリング位置でカーネル内に含まれるＮ個の画素値のサブサンプリングがカーネル演算によって処理され、したがって、出力バッファの対応する各ストレージ場所に出力される累積値は二次画像の全（または完全）画素値である。

【0118】

したがって、ステップ１２７４は、出力バッファに保存された累積値を、二次画像の全（または完全）画素値を含む第３のデータストリームとして、例えば図１０に示されるように除算器１２６に出力する。これは、出力バッファのストレージ場所をクリアするのに役立つことができる。次いで、方法１２００はステップ１２１０に戻り、出力バッファ内の現在のストレージ場所を次のカーネルサンプリング位置に設定する。したがって、出力バッファ内の現在の第１のストレージ場所は、カーネルのサンプリング位置の次の行の第１のサンプリング位置と一致する。次いで、方法１２００は、ステップ１２６０が最後の画像行が処理されたと決定するまで続き、（サブサンプリングされた）二次画像の累積された全（完全）画素値の最後の行がステップ１２８０で出力され、方法はステップ１２８５で終了する。

【0119】

当業者なら理解するように、図１１および図１２に示した流れ図は、単なる例に過ぎない。本開示を実施するときには多くの変形または修正が可能であり、企図される。例えば、上記ステップは、流れ図に示されているものとは異なる順序で実行されてもよい。

【0120】

インターレース
上述したように、複数の二次画像が、カーネルを使用して一次画像（ソース画像か中間画像のどちらか）をサブサンプリング（アンダーサンプリング）することによって生成され得る。各二次画像は、一次画像よりも少ない画素を含む。ホログラムが複数の二次画像のそれぞれに対して決定され、各ホログラムがディスプレイ装置上に順番に表示されて、再生面上に各二次画像に対応するホログラフィック再構成を形成する。

【0121】

したがって、随意に、ソース画像（すなわち中間画像）のワープバージョンをサブサンプリングすることによりワーピングを補償しながら、一次画像に対応する複数のホログラフィック再構成をインターレースするための技法が本明細書に開示される。

【0122】

いくつかの実施形態では、ホログラム計算およびインターレースの速度は、本開示によるデータストリーミング手法を用いて増加する。特に、二次画像の全または完全画素値は、二次画像のすべての画素値が決定される前にホログラム計算を開始するためにホログラムエンジンにリアルタイムでストリーミングされ得る。例えば、図１２の方法１２００のステップ１２７４で出力された二次画像の各行の全または完全画素値は、二次画像の最後の行の全または完全画素値がステップ１２８０で出力される前に、ホログラム計算を開始するためにホログラムエンジンにリアルタイムでストリーミングされ得る。

【0123】

したがって、本明細書では、ｍ行およびｎ列のカーネル値を有するカーネルを使用して一次画像をアンダーサンプリングすることにより二次画像を生成する方法が開示され、カーネルは、一次画像の各行に対して複数のカーネルサンプリング位置を有し、行の各カーネルサンプリング位置がｘ画素のストライド距離で隔てられ、この方法は、画素値の第１のデータストリームを形成することであって、第１のデータストリームが一次画像の画像画素値を行ごとに読み取ることによって形成されること、カーネル値の第２のデータストリームを形成すること、および、第１のデータストリームの画素値を第２のデータストリームのカーネル値と同期させて、各画素値が、対応するカーネルサンプリング位置に対するカーネルの当該カーネル値と対になるようにすること、を含む。

【0124】

いくつかの実施形態では、ホログラフィックプロジェクタおよび光学リレーシステムを備えるヘッドアップディスプレイなどのディスプレイ装置が提供される。光学リレーシステムは、各ホログラフィック再構成の虚像を形成するようになされる。いくつかの実施形態では、ターゲット画像は、ターゲット画像の第１の領域内の近接場画像コンテンツとターゲット画像の第２の領域内の遠方場画像コンテンツとを含む。ホログラフィックに再構成された近接場コンテンツの虚像は、観察面、例えばアイボックスからの第１の虚像距離で形成され、ホログラフィックに再構成された遠方場コンテンツの虚像は、観察面からの第２の虚像距離で形成され、第２の虚像距離は第１の虚像距離よりも大きい。いくつかの実施形態では、複数のホログラムのうちの１つのホログラムが、近接場でユーザに表示されるターゲット画像の画像コンテンツ（例えば、速度情報）に対応し、複数のホログラムのうちの別のホログラムが、遠方場内に投影されるターゲット画像の画像コンテンツ（例えば、ランドマークインジケータまたはナビゲーションインジケータ）に対応する。遠方場用の画像コンテンツは、近接場用の画像コンテンツよりも頻繁にリフレッシュされてもよく、その逆であってもよい。

【0125】

システム図
図１３は、諸実施形態によるホログラフィックシステムを示す概略図である。空間光変調器（ＳＬＭ）９４０は、コントローラ９３０から受け取ったホログラムを表示するようになされる。動作中、光源９１０は、ＳＬＭ９４０上に表示されたホログラムを照明し、再生面９２５上の再生フィールドにホログラフィック再構成が形成される。コントローラ９３０は、画像ソース９２０から１つまたは複数の画像を受け取る。例えば、画像ソース９２０は、単一静止画像を取り込むようになされた静止カメラや動画のビデオシーケンスを取り込むようになされたビデオカメラなどの画像取込装置とすることができる。

【0126】

コントローラ９３０は、画像処理エンジン９５０、ホログラムエンジン９６０、データフレーム生成器９８０、およびディスプレイエンジン９９０を備える。画像処理エンジン９５０は、画像ソース９２０からターゲット画像を受け取る。画像処理エンジン９５０は、本明細書に記載されるように、ターゲット画像およびカーネルを受け取り、画素値およびカーネル値または重みの対応する同期データストリームを形成するようになされたデータ・ストリーミング・エンジン９５２を備える。画像処理エンジン９５０は、本明細書に記載されるように、データ・ストリーミング・エンジン９５２からの同期データストリームを使用して、ターゲット画像に基づいて一次画像から複数の二次画像を生成するようになされた二次画像生成器９５５を含む。画像処理エンジン９５０は、制御信号を受け取るか、そうでなければ、データ・ストリーミング・エンジン９５２によって使用されるための二次画像を生成するためのカーネルスキームを決定することができる。したがって、各二次画像は一次画像よりも少ない画素を含む。画像処理エンジン９５０は、ソース画像を一次画像として使用して複数の二次画像を生成することができる。ソース画像は、ターゲット画像のアップスケールバージョンとすることができる、または画像処理エンジンは、本明細書に記載されるようにアップスケーリングを実行することができる。あるいは、画像処理エンジン９５０は、ソース画像を処理して中間画像を決定し、中間画像を一次画像として使用することができる。画像処理エンジン９５０は、本明細書に記載されるように、一次画像をアンダーサンプリングすることにより複数の二次画像を生成することができる。画像処理エンジン９５０は、第１の二次画像および第２の二次画像を決定することができる。画像処理エンジン９５０は、複数の二次画像をホログラムエンジン９６０に渡す。いくつかの実装形態では、画像処理エンジン９５０は、本明細書に記載されるように、二次画像の画素値をホログラムエンジン９６０にリアルタイムでストリーミングすることができる。

【0127】

ホログラムエンジン９６０は、本明細書に記載されるように、各二次画像に対応するホログラムを決定するようになされる。ホログラムエンジン９６０は、複数のホログラムをデータフレーム生成器９８０に渡す。データフレーム生成器９８０は、本明細書に記載されるように、複数のホログラムを含むデータフレーム（例えば、ＨＤＭＩフレーム）を生成するようになされる。特に、データフレーム生成器９８０は、複数のホログラムのそれぞれに対するホログラムデータと各ホログラムの開始を指示するポインタとを含むデータフレームを生成する。データフレーム生成器９８０は、データフレームをディスプレイエンジン９９０に渡す。次に、データフレーム生成器９８０およびディスプレイエンジン９９０は、データストリーミングによって動作することができる。ディスプレイエンジン９９０は、複数のホログラムをそれぞれ順番にＳＬＭ９４０上に表示するようになされる。ディスプレイエンジン９９０は、ホログラム抽出器９９２、タイリングエンジン９７０、およびソフトウェア光学系９９４を備える。ディスプレイエンジン９９０は、本明細書に記載されるように、ホログラム抽出器９９２を使用してデータフレームから各ホログラムを抽出し、タイリングエンジン９７０によって生成されたタイリングスキームに従ってホログラムをタイリングする。特に、タイリングエンジン９７０は、制御信号を受け取ってタイリングスキームを決定することができる、またはそうでなければ、ホログラムに基づいてタイリング用のタイリングスキームを決定することができる。ディスプレイエンジン９９０は、本明細書に記載されるように、再生面上の再生フィールドの位置を並進させるために、ソフトウェア光学系９９４を使用して位相ランプ機能（ソフトウェアレンズとも呼ばれるソフトウェア格子機能）を随意に追加することができる。したがって、各ホログラムについて、ディスプレイエンジン９９０は、本明細書に記載されるように、駆動信号をＳＬＭ９４０に出力して対応するタイリングスキームに従って複数のホログラムの各ホログラムを順番に表示するようになされる。

【0128】

コントローラ９３０は、二次画像生成器９５５が二次画像を生成する方法を動的に制御することができる。コントローラ９３０は、ホログラムのリフレッシュレートを動的に制御することができる。リフレッシュレートは、画像ソース９２０から画像処理エンジン９５０によって受け取られたシーケンス内の次のターゲット画像から、ホログラムがホログラムエンジンによって再計算される頻度と見なすことができる。本明細書に記載されるように、動的に制御可能な特徴およびパラメータは、制御信号で示される外部要因に基づいて決定され得る。コントローラ９３０は、かかる外部要因に関連する制御信号を受け取ることができる、またはかかる外部要因を決定し、それに応じてかかる制御信号を生成するためのモジュールを含むことができる。

【0129】

当業者なら理解するように、コントローラ９３０の上記の特徴は、ソフトウェア、ファームウェアまたはハードウェア、ならびにそれらの任意の組合せに実装され得る。

【0130】

したがって、ｍ行およびｎ列のカーネル値を有するカーネルを使用して一次画像をアンダーサンプリングすることにより二次画像を生成するようになされた画像処理エンジンが提供され、カーネルは、一次画像の各行に対して複数のカーネルサンプリング位置を有し、行の各カーネルサンプリング位置がｘ画素のストライド距離で隔てられ、画像処理エンジンは、画素値の第１のデータストリームを形成し、第１のデータストリームが一次画像の画像画素値を行ごとに読み取ることによって形成され、カーネル値の第２のデータストリームを形成し、第１のデータストリームの画素値を第２のデータストリームのカーネル値と同期させて、各画素値が、対応するカーネルサンプリング位置のカーネルの当該カーネル値と対になるようにするようになされたデータ・ストリーミング・エンジンを備える。

【0131】

追加機能
実施形態は、ほんの一例として、電気的に作動するＬＣＯＳ空間光変調器に言及している。本開示の教示は、例えば、任意の電気的に作動するＳＬＭ、光学的に作動するＳＬＭ、デジタルマイクロミラー装置、または微小電気機械装置などの、本開示に従ってコンピュータ生成ホログラムを表示することができる任意の空間光変調器に等しく実装され得る。

【0132】

いくつかの実施形態では、光源は、レーザダイオードなどのレーザである。いくつかの実施形態では、検出器は、フォトダイオードなどの光検出器である。いくつかの実施形態では、受光面は、ディフューザなどのディフューザ面またはスクリーンである。本開示のホログラフィック投影システムは、改良されたヘッドアップディスプレイ（ＨＵＤ）またはヘッドマウントディスプレイを提供するために使用され得る。いくつかの実施形態では、ＨＵＤを提供するために車両内に設置されたホログラフィック投影システムを備える車両が提供される。車両は、自動車、トラック、バン、大型トラック、オートバイ、列車、飛行機、ボート、船などの自動車両とすることができる。

【0133】

諸例は、可視光でＳＬＭを照明することを記述しているが、当業者なら、本明細書に開示されるように、光源およびＳＬＭが例えば赤外線光または紫外線光を向けるために等しく使用され得ることを理解するであろう。例えば、当業者なら、ユーザに情報を提供する目的で、赤外線光および紫外線光を可視光に変換するための技法を認識しているであろう。例えば、本開示は、この目的のために蛍光体および／または量子ドット技術を使用することにまで及ぶ。データストリーミングのための技法は、この種のすべての用途に適用可能である。

【0134】

いくつかの実施形態では、ほんの一例として２次元ホログラフィック再構成を記述している。他の実施形態では、ホログラフィック再構成は、３次元ホログラフィック再構成である。すなわち、いくつかの実施形態では、各コンピュータ生成ホログラムが３次元ホログラフィック再構成を形成する。

【0135】

本明細書に記載されているデータストリーミングの方法およびプロセスは、処理速度を最適化するためにハードウェアに実装され得る。それにもかかわらず、当業者なら、データストリーミング技法の特定の態様がソフトウェアにも実装され得ることを理解するであろう。したがって、態様は、コンピュータ可読媒体上に具体化され得る。「コンピュータ可読媒体（ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）」という用語は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、バッファメモリ、フラッシュメモリ、キャッシュメモリなど、データを一時的または永続的に保存するようになされた媒体を含む。「コンピュータ可読媒体」という用語はまた、機械で実行される命令を、この命令が、１つまたは複数のプロセッサによって実行されると、機械に本明細書に記載の方法論のいずれか１つまたは複数を全部または一部実行させるように、保存することができる任意の媒体または複数の媒体の組合せを含むと解釈されるものとする。

【0136】

「コンピュータ可読媒体」という用語は、クラウドベースのストレージシステムも包含する。「コンピュータ可読媒体」という用語は、ソリッドステート・メモリ・チップ、光ディスク、磁気ディスク、またはそれらの任意適切な組合せの形態例での１つまたは複数の有形の非一時的データリポジトリ（例えば、データ量）を含むが、これらに限定されるものではない。いくつかの例示的な実施形態では、実行のための命令は、キャリア媒体によって伝達され得る。そのようなキャリア媒体の例には、一時的媒体（例えば、命令を伝達する伝搬信号）が含まれる。

【0137】

添付の特許請求の範囲から逸脱することなく、様々な修正および変形がなされ得ることは当業者には明らかであろう。本開示は、添付の特許請求の範囲およびその均等物の範囲内のすべての修正および変形を包含する。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】