(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】計算機合成ホログラム生成装置、方法及びプログラム
(51)【国際特許分類】
G03H 1/08 20060101AFI20231129BHJP
G06T 15/50 20110101ALI20231129BHJP
【ＦＩ】
G03H1/08
G06T15/50
【請求項の数】
16
(21)【出願番号】P 2021048910
(22)【出願日】2021-03-23
(65)【公開番号】P2022147598
(43)【公開日】2022-10-06
【審査請求日】2023-03-07
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100092772
【弁理士】
【氏名又は名称】阪本 清孝
(74)【代理人】
【識別番号】100119688
【弁理士】
【氏名又は名称】田邉 壽二
(72)【発明者】
【氏名】渡邊 良亮
【審査官】藤岡 善行
(56)【参考文献】
【文献】特開２０２１－０１２３３８（ＪＰ，Ａ）
【文献】特開２０１６－０５７３７９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｈ １／０８
Ｇ０６Ｔ １５／５０
(57)【特許請求の範囲】
【請求項1】
ホログラム面における物体光と参照光との干渉計算に基づいて計算機合成ホログラムを生成する計算機合成ホログラム生成装置において、物体の3D点群を取得する3D点群取得手段と、
3D点群の点ごとに光波伝搬計算を行ってホログラム面上の物体光波分布を計算する光波伝搬計算手段と、
視点移動を、物体光波分布として記録される物体光波の振幅情報および位相情報の少なくとも一方に変換を加えることで模擬する物体光波変換手段と、
前記変換後の物体光波分布を対象にエイリアシングを生じさせる高周波領域を除去する物体点群周波数制限手段と、
前記高周波領域を除去した物体光波分布に対して参照光との干渉計算を行ってホログラムを出力する干渉計算部とを具備したことを特徴とする計算機合成ホログラム生成装置。
【請求項2】
3D点群の各点をその位置に応じて複数のグループに分割する手段を具備し、前記光波伝搬計算手段は、グループごとに物体光波分布を計算し、
前記物体光波変換手段は、グループごとに物体光波分布を視点移動に応じて変換し、
前記物体点群周波数制限手段は、グループごとに変換後の物体光波分布を対象にエイリアシングを生じさせる高周波領域を除去し、
グループごとに計算した高周波領域除去後の物体光波分布を統合する光波統合手段を更に具備したことを特徴とする請求項１に記載の計算機合成ホログラム生成装置。
【請求項3】
前記物体点群周波数制限手段は、グループごとに各点の重心位置を計算し、当該重心位置に点光源が存在するものと仮定して高周波領域を含まない周波数制限領域を計算することを特徴とする請求項２に記載の計算機合成ホログラム生成装置。
【請求項4】
前記物体点群周波数制限手段は、前記高周波領域を含まない領域の一部を周波数制限領域から除去することを特徴とする請求項３に記載の計算機合成ホログラム生成装置。
【請求項5】
前記グループに分割する手段は、3D点群の空間にXYZ方向から成る3次元直交座標系を定義して直方体形状のボクセルグリッドを配置し、同一ボクセルグリッドの内部に位置する点群を同一グループとして分割することを特徴とする請求項２ないし４のいずれかに記載の計算機合成ホログラム生成装置。
【請求項6】
前記グループに分割する手段は、3D点群の空間にホログラム面の中心からの距離l、水平方向の偏角θ及び垂直方向の偏角φから成る3次元極座標系を定義してボクセルグリッドを配置し、同一ボクセルグリッドの内部に位置する点群を同一グループとして分割することを特徴とする請求項２ないし４のいずれかに記載の計算機合成ホログラム生成装置。
【請求項7】
前記物体光波変換手段は、ホログラム面上の物体光波分布に対して画素シフトを行うことを特徴とする請求項１ないし６のいずれかに記載の計算機合成ホログラム生成装置。
【請求項8】
前記物体光波変換手段は、ホログラム面上の物体光波分布に対して画素ごとに異なる位相を付与することを特徴とする請求項１ないし７のいずれかに記載の計算機合成ホログラム生成装置。
【請求項9】
前記物体光波変換手段は、ホログラム面上の物体光波分布に対して画素領域の拡大および縮小のいずれかの処理を実施することを特徴とする請求項１ないし８のいずれかに記載の計算機合成ホログラム生成装置。
【請求項10】
ホログラム面における物体光波分布を前記高周波領域が含まれない周波数制限領域に限定する周波数制限手段を更に具備したことを特徴とする請求項１ないし９のいずれかに記載の計算機合成ホログラム生成装置。
【請求項11】
前記周波数制限手段は、3D点群の点ごとにホログラム面において物体光波分布がエイリアシングを生じさせることになる高周波領域への光波伝搬計算を禁止し、前記光波伝搬計算手段は、前記高周波領域への光波伝搬計算を行わないことを特徴とする請求項１０に記載の計算機合成ホログラム生成装置。
【請求項12】
前記周波数制限手段は、エイリアシングを生じさせる高周波領域を一部に含むように前記周波数制限領域を設定することを特徴とする請求項１０または１１に記載の計算機合成ホログラム生成装置。
【請求項13】
コンピュータがホログラム面における物体光と参照光との干渉計算に基づいて計算機合成ホログラムを生成する計算機合成ホログラム生成方法において、物体の3D点群を取得し、
3D点群の点ごとに光波伝搬計算を行ってホログラム面上の物体光波分布を計算し、
視点移動を物体光波分布の変換により模擬し、
前記変換後の物体光波分布を対象にエイリアシングを生じさせる高周波領域を除去し、
前記高周波領域を除去した物体光波分布に対して参照光との干渉計算を行ってホログラムを出力することを特徴とする計算機合成ホログラム生成方法。
【請求項14】
3D点群の各点をその位置に応じて複数のグループに分割し、グループごとに物体光波分布を計算し、
グループごとに物体光波分布を視点移動に応じて変換し、
グループごとに変換後の物体光波分布を対象にエイリアシングを生じさせる高周波領域を除去し、
グループごとに計算した高周波領域除去後の物体光波分布を統合することを特徴とする請求項１３に記載の計算機合成ホログラム生成方法。
【請求項15】
ホログラム面における物体光と参照光との干渉計算に基づいて計算機合成ホログラムを生成する計算機合成ホログラム生成プログラムにおいて、物体の3D点群を取得する手順と、
3D点群の点ごとに光波伝搬計算を行ってホログラム面上の物体光波分布を計算する手順と、
視点移動を物体光波分布の変換により模擬する手順と、
前記変換後の物体光波分布を対象にエイリアシングを生じさせる高周波領域を除去する手順と、
前記高周波領域を除去した物体光波分布に対して参照光との干渉計算を行ってホログラムを出力する手順と、をコンピュータに実行させることを特徴とする計算機合成ホログラム生成プログラム。
【請求項16】
3D点群の各点をその位置に応じて複数のグループに分割する手順と、グループごとに物体光波分布を計算する手順と、
グループごとに物体光波分布を視点移動に応じて変換する手順と、
グループごとに変換後の物体光波分布を対象にエイリアシングを生じさせる高周波領域を除去する手順と、
グループごとに計算した高周波領域除去後の物体光波分布を統合する手順とを更に含むことを特徴とする請求項１５に記載の計算機合成ホログラム生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計算機合成ホログラム生成装置、方法及びプログラムに係り、特に、計算機合成ホログラムをその品質劣化を抑制しながら高速に生成する装置、方法及びプログラムに関する。
【背景技術】
【0002】
ホログラフィは光の干渉・回折現象に基づいて、物体からの光（物体光）を記録・再生する立体表示技術である。ホログラフィ技術では、物体から放たれる光の波とレーザー等の光源から照射される参照光とを干渉させ、ホログラム面上に干渉縞（ホログラム）として物体光を記録する。この干渉縞に再生照明光を当てると記録時の光を再現することができる。ホログラフィ技術によれば、物体から放たれる光を忠実に再現できることから、人の３次元知覚の生理的要因を全て満たす理想的な３次元表示技術とされている。
【0003】
このホログラフィ技術の中で、計算機合成ホログラフィ(Computer-Generated Holography)は、ホログラムの計算のために必要となる光波の伝搬や干渉などの計算を計算機内部で光波シミュレーションし、干渉縞を画像に代表される電子データとして出力する技術である。
【0004】
写真乾板などに記録するアナログのホログラムと比較すると、撮影のための複雑な光学系が不要であることや、空間光変調器（Spatial Light Modulator, SLM）に表示するCGHを次々と切り替えていくことで動画化が容易に行えるなどの利点が存在するため、次世代のテレビや、VR/ARを始めとするXRデバイスなどへの適用が期待されている。
【0005】
なお、以下の説明では、干渉縞を電子データとして生成する技術名称を計算機合成ホログラフィと定義し、本技術にて出力される干渉縞の画像データのことを計算機合成ホログラム（Computer-generated hologram, CGH）と表記することとする。
【0006】
一方、計算機合成ホログラフィには、計算のための処理時間が膨大であるという技術課題が存在していた。CGHの計算法として、記録する物体を多数の点光源の集合（3D点群データ）で定義し、この各点光源から放出される光の伝搬を計算して物体光波を記録する「点光源法」が著名である。
【0007】
しかしながら、点光源法では多数の点群からの光波伝搬シミュレーションを行う必要があり、そのための計算処理時間が膨大となる。また、計算機合成ホログラフィの再生時に十分な視域を得るためには可視光の波長に近い約1μm程度の画素ピッチのSLMが必要とされている。
【0008】
例えば、1μmのオーダーで1cm×1cmの液晶を実現するために必要となるピクセル数は10000×10000ピクセルとなる。さらに液晶の大型化が成されることも想定すると、将来的には数百K～数千Kレベルの液晶が必要となる。点光源法の計算時間が一般に"点光源数×ホログラム面の画素数"であることを鑑みれば、膨大な点数を入力にリアルタイム計算を行うことは困難であり、CGHの生成高速化に関する研究は盛んに行われている。
【0009】
このような処理時間の高速化が求められる背景の中で、ある特定フレームのホログラム面の物体光波分布ないしは干渉縞に変換を加えて、ある特定のフレームから、異なる物体配置の他のフレームのCGHを高速に作り出す技術が提案されてきた。すなわち、連続する動画の各フレームのようなフレーム間の変化が微小である場合に、一つ前のフレームで計算された物体光波分布をベースに何らかの変換を加え、次のフレームの物体光波分布を作り出すというアプローチである。
【0010】
非特許文献１には、図13のように、ホログラム面の物体光波分布ないしは干渉縞上の画素をシフトさせると再生像も同様に3次元空間上を平行移動するという特徴を用いて、連続するフレーム間で、前のフレームの干渉縞を用いて現在のフレームを高速に生成する技術が開示されている。
【0011】
非特許文献１によれば、ある3D物体が、奥行きの変わらない平行移動（ホログラム面に対して深度が変わらないような移動）をするようなケースにおいて、移動ベクトルを計算し、移動ベクトルに基づいて当該3D物体から計算される干渉縞の画素をシフトさせることで、点光源法の計算をし直す回数を少なくし、計算時間を削減することに成功している。この手法によれば、3D物体の奥行きの変化が少ないシーンにおいて、前のフレームの干渉縞をシフトさせるだけで次のフレームの干渉縞を生成でき、効率的な計算が可能である。
【0012】
加えて、非特許文献２には、XR応用などを目的に、ホログラフィの再生像を視聴可能なXRデバイスを身に着けた着用者がわずかに視点の位置や向きを動かしたときに、その状況に合わせた干渉縞を移動前のフレームの物体光波分布に変換を加えることで高速に計算する手法が開示されている。
【0013】
非特許文献２によれば非特許文献１と同様に、図7のようにホログラム面上の物体光波分布を画素シフトさせることにより、再生像を画素シフトさせた方向に動かすことができるため、視聴者の視点がホログラム面に対して平行移動した際の再生像を模擬できるようになる。
【0014】
この平行移動の特性は、例えばHMD（Head Mounted Display）型のホログラフィ視聴が可能なXRデバイスなどにおいて、様々な瞳孔間距離を持つユーザーに対して、微妙に異なる視点位置からの再生像を掲示したい場合などに有用である。つまり、あるリファレンスとなる物体光波分布を一枚記録しておき、他の瞳孔間距離のユーザーに対しては物体光波分布を平行移動させて物体光波分布を作り出すことにより、リファレンス一枚だけを計算しておくだけで様々なユーザーの瞳孔間距離に適応したCGHを高速に作り出すことができる。
【0015】
また、非特許文献２では平行移動だけではなく、ホログラム面の回転移動と前後移動に関しても高速計算法が開示されている。視点の回転移動は、図8に示すようにホログラム面上の各画素に回転によって生じる光路差を計算し、この光路差を生み出す位相を各画素に付与することで模擬している。
【0016】
なお、図8はx軸を中心に視点を回転移動する例を示しており、図8中の式においてjは虚数単位、kは光の波長から計算される波数、θrotは回転角度を表している。視点の前後移動は、図9に示すようにホログラム面上の物体光波分布を拡大ないしは縮小することで模擬できる。非特許文献２によれば、上記の「平行移動」、「回転移動」および「前後移動」を組み合わせることで視聴者の任意の視点移動を、前フレームで計算した物体光波分布に対する変換処理で模擬できるのでCGHの高速生成が可能となる。
【先行技術文献】
【特許文献】
【0017】
【文献】特願2019-127852号
【文献】特願2020-192088号
【非特許文献】
【0018】
【文献】Seung-Cheol Kim, Xiao-Bin Dong, Min-Woo Kwon, and Eun-Soo Kim, "Fast generation of video holograms of three-dimensional moving objects using a motion compensation-based novel look-up table" Opt. Express 21, 11568-11584 (2013)
【文献】R. Watanabe, T. Nakamura, M. Mitobe, Y. Sakamoto, and S. Naito, "Fast calculation method for viewpoint movements in computer-generated holograms using a Fourier transform optical system," Appl. Opt. 58, G71-G83 (2019)
【文献】計算機合成ホログラムの動画の高速生成法に関する研究（https://eprints.lib.hokudai.ac.jp/dspace/handle/2115/78282）
【文献】T. Ichikawa, T. Yoneyama, and Y. Sakamoto, "CGH calculation with the ray tracing method for the Fourier transform optical system," Opt. Express 21, 32019-32031 (2013).
【発明の概要】
【発明が解決しようとする課題】
【0019】
非特許文献２では、視点の「平行移動」、「回転移動」および「前後移動」を模擬するための変換（ホログラム面上の各画素のシフト、ホログラム面上の各画素への位相の付与、ホログラム面の拡縮）を行った際にエイリアシングが生じてしまう可能性があった。
【0020】
一般にホログラフィにおける干渉縞の生成においては、干渉縞の縞と縞との間隔が非常に狭くなることから高周波成分が生じ易い。しかしながら、現状の電子デバイスのピクセルピッチの細かさには限界があり、表示に用いる電子デバイスの解像度に応じて表現できる空間周波数は限られてしまう。このとき、電子デバイスのサンプリング周波数を超える高周波領域ではエイリアシングが発生してしまう。
【0021】
このようなエイリアシングが発生すると、図5に示すように再生時に同じ像が複数表示される高次回折像（ゴースト像）が生じて正しい像の観察に支障をきたす。そのためCGHの計算を行う際にはホログラム面上の空間周波数の高い部分を除去する「周波数制限」が必要となる。
【0022】
周波数制限の計算は、非特許文献３などの文献に開示されるようにサンプリング定理に基づいて行われるもので、実際には図5に示すように縞の間隔が一定以上狭くなる領域を除去することで行われる。図5の「周波数制限を行わない場合」のように、縞の間隔が狭くなりすぎると高周波成分が折り返し歪として生じ、結果同じ像が折り返して表示されることとなる。ただし、高周波成分が失われると再生像の空間解像度が低下することから、エイリアシングが起こらない範囲で高周波成分を極力残すことが望ましい。
【0023】
実際の計算手順としては、光波伝搬のシミュレーション計算前にエイリアシングが発生するホログラム面上の領域を特定し（これは一般に、光学系の条件を基に決定できる）、エイリアシングが発生しない領域の画素に対してのみ光波伝搬シミュレーションを行う。
【0024】
このとき、計算に用いる物体点の位置によって周波数制限を行う領域が変わることから、上記の処理は各点に対して各々実施され、周波数制限済の各点からの物体光波分布を加算することで最終的な複数の3D点群からの物体光波分布を得る。以上の手順により、エイリアシングが生じることを回避できることに加えて、エイリアシングが生じる画素については光波伝搬計算が不要となるので効率的な計算が可能にある。
【0025】
しかしながら、非特許文献２のように計算後の物体光波分布に対して視点移動を模擬するための変換を加えるようなケースでは、変換の前後において周波数分布が変わってしまうことから、たとえ変換前の物体光波分布ではエイリアシングが発生しなかったとしても、変換後にはエイリアシングが生じてしまうことがあった。
【0026】
すなわち、画素シフト量や回転量、ホログラム面の拡大や縮小を過度に行えばエイリアシングが多く発生してしまい、ゴースト像が見えるようになることで再生像の品質が低下する。したがって、非特許文献２では視点の平行移動、回転移動あるいは前後移動の量が一所定量を上回る度に、改めてホログラム面全面の計算を点光源法を用いて実行し直す必要があり、これが計算時間を高速化する上での問題となっていた。
【0027】
また、視点移動を模擬する変換後の物体光波分布は、様々な位置にある物体点からの光波を加算した物体光波分布に対して変換を行ったものであることから、上述のように各点に対して周波数制限処理を実施することができず、一般的な周波数制限処理フローでは周波数制限を行うことができない。
【0028】
なお、特に非特許文献２が採用するレンズを用いて視野を拡大可能な光学系（以下、「レンズ拡大光学系」と表現する場合もある）では、計算法として参照光に「収束球面参照光」と呼ばれる特殊な参照光を利用しており、参照光からホログラム面上の各画素への光路差が異なって位相差が生じることから、単なる平行移動においても最終的な干渉縞の上ではエイリアシングが発生してしまう。
【0029】
本発明の目的は、上記の技術課題を解決し、視点移動を物体光波分布の変換により模擬できる計算機合成ホログラム生成において、CGHをその品質劣化を抑制しながら高速に生成する装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0030】
上記の目的を達成するために、本発明は、ホログラム面における物体光と参照光との干渉計算に基づいて計算機合成ホログラムを生成する装置において、以下の構成を具備した点に特徴がある。
【0031】
(1) 物体の3D点群を取得する3D点群取得手段と、3D点群の点ごとに光波伝搬計算を行ってホログラム面上の物体光波分布を計算する光波伝搬計算手段と、視点移動を物体光波分布の変換により模擬する 物体光波変換手段と、前記変換後の物体光波分布からエイリアシングを生じさせる高周波領域を除去する変換後周波数制限手段と、前記高周波領域を除去した物体光波分布に対して参照光との干渉計算を行ってホログラムを出力する干渉計算部とを具備した。
【0032】
(2) 3D点群の各点をその位置に応じて複数のグループに分割する手段を具備し、光波伝搬計算手段は、グループごとに物体光波分布を計算し、物体光波変換手段は、グループごとに物体光波分布を視点移動に応じて変換し、変換後周波数制限手段は、グループごとに物体光波分布からエイリアシングを生じさせる高周波領域を除去し、各グループの高周波領域除去後の物体光波分布を統合する光波統合手段を更に具備した。
【発明の効果】
【0033】
(1) 視点移動を画素シフトで模擬するための変換が行われた物体光波分布を対象にエイリアシングを防止するための周波数制限を行うので、前フレームの光波伝搬分布を再利用したCGHの高速生成が、その品質劣化を抑制しながら可能になる。
【0034】
(2) 3D点群を複数のグループに分割してグループごとに変換後の物体光波分布を対象に周波数制限を行い、周波数制限後の各グループの物体光波分布を統合するので、周波数制限の領域を最小限に抑えることができる。したがって、多少のメモリ消費量の増加と引き換えにCGHの品質劣化を更に抑制できるようになる。
【図面の簡単な説明】
【0035】
【図1】本発明の第1実施形態に係る計算機合成ホログラム生成装置の機能ブロック図である。
【図2】3D点群を複数のグループに分割する例を示した図である。
【図3】3D点群を複数のグループに分割する他の例を示した図である。
【図4】周波数制限領域の計算方法を示した図である。
【図5】エイリアシングの発生により高次回折像（ゴースト像）が生じる例を示した図である。
【図6】グループごとに物体光波を保存する例を示した図である。
【図7】ホログラム面上で物体光波分布を画素シフトさせて視点の平行移動を模擬する例を示した図である。
【図8】ホログラム面上で回転によって生じる光路差が生み出す位相を各画素に付与することで視点の回転を模擬する例を示した図である。
【図9】ホログラム面上で物体光波分布を拡縮させて視点の前後移動を模擬する例を示した図である。
【図10】変換後の物体光波分布に対して周波数制限を行う例を示した図である。
【図11】変換後の物体光波分布に対して周波数制限を行う他の例を示した図である。
【図12】物体光波分布の画素シフトによって干渉縞にエイリアシングが生じる理由を説明するための図である。
【図13】物体光波分布を画素シフトさせることで再生像を平行移動させる例を示した図である。
【図14】本発明の第2実施形態に係る計算機合成ホログラム生成装置の機能ブロック図である。
【図15】本発明の第3実施形態に係る計算機合成ホログラム生成装置の機能ブロック図である。
【発明を実施するための形態】
【0036】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る計算機合成ホログラム生成装置１の構成を示した機能ブロック図であり、3D点群取得部10、3D点群分割部20、周波数制限部30、光波伝搬計算部40、物体光波変換部50、物体点群周波数制限部60、光波統合部70および干渉計算部80を主要な構成とし、ここでは本発明の説明に不要な構成は図示を省略している。
【0037】
このような計算機合成ホログラム生成装置１は、汎用の少なくとも一台のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。
【0038】
3D点群取得部10は、CGHの計算に利用する3D点群データを取得する。本実施形態では、ホログラフィで再生したいシーンの3D点群を計算機内で扱うために各点pi（iは点のインデックス）のデータを装置内に取り込む。3D点群は、例えばPLYファイルなどの汎用フォーマットとして入力される。本実施例では各点piが位置情報（Xi, Yi, Zi）および輝度情報Aiを有している。
【0039】
輝度情報AiはRGBなどのカラー情報として入力されてもよいが、一般的なCGHの生成手法においてカラー化を行う場合は、赤の波長、緑の波長および青の波長でそれぞれ干渉縞を独立に生成する。このため、一般的には同じ処理を3回繰り返すのみで単色とカラーにおけるフローの違いはないことから、ここでは単色の輝度情報Aiを持つものとして説明を続ける。
【0040】
3D点群取得部10の前処理として、計算時間を減らす観点から3D点群の各位置にOctreeなどを適用して量子化し、同じ位置に重複する点については輝度を平均化して1点として扱うようなダウンサンプリングを行っても良い。更に特定視点位置から見た際に前方の点に隠されて見えない位置の点を予め除去する前処理を行っても良い。
【0041】
なお、入力データは3D点群データに限定されるものではなく、ポリゴンモデルを入力してもよい。ホログラフィ向けに3Dポリゴンモデルから運動視差を保ちつつ3D点群データを得る手法として、非特許文献4ではレイトレーシング法に基づく3D点群取得手法が提案されている。このような手法を採用してポリゴンモデルを入力し、点群に変換してもよい。
【0042】
3D点群分割部20は、入力された3D点群を複数のグループに分割する。本実施形態では、相互に近い位置にある点群はホログラム面上の画素において類似した領域に周波数制限が施されるという観点から、分割の基準として各点群の位置を採用している。
【0043】
最も単純な分割の例としては、図2に示すように、XYZ方向で表現される3次元直交座標系にボクセルグリッドを配置し、各ボクセルグリッド内に入る点群を同一グループとして扱う方法がある。ボクセルグリッドは任意の直方体形状とすることができる。
【0044】
また、シーン全体の平行移動（視聴者が真横に移動するように見えるシーン）を模擬する変換が物体光波分布に対して予定される場合、ホログラム面から遠いほど、実際の再生像の動きは小さく見える。すなわち、視聴者の視点が1cm平行移動する場合、物体が深さ50cmの位置にある物体の方が深さ100cmの位置にある物体よりも相対的に大きく動いているように見える。そこで、ホログラム面から距離が離れるほどグリッドの大きさが大きくなるようにグルーピングを行ってもよい。
【0045】
これを実現する例としては、ホログラム面の中央を中心とする距離l、仰角θ、方位角Φで表現される3D極座標系で物体点光源の配置を考え、各軸を一定の長さまたは角度ごとに区切ってグリッドを形成してもよい。
【0046】
あるいは図3に示すように、ホログラム面に平行な底面を持つ視錐体としてグリッドを表現してもよい。この場合、点の存在する3D領域全体を内包する視錐体の中に一定のz軸方向の長さ、及び一定の画角を持つ小さい視錐体のグリッドを作ることで空間を分割してもよい。
【0047】
なお、分割後のグループの数が増えるほどより正確な周波数制限が行えるものの、後述する光波伝搬計算部40が保持する物体光波分布の枚数が増えるため、メモリ消費量が多くなるのみならずメモリアクセスが増えるために計算時間も長くなる傾向がある。したがって、品質と計算機リソースとのトレードオフを高めるためには、ホログラム面から距離が遠くなるほどグリッドが大きくなるように3D点群を分割することが有効である。
【0048】
また、上記のように各点piをその位置に基づきグリッド単位でグルーピングをするのではなく、任意のクラスタリング手法を用いてグループを形成してもよい。例えば、k-means法に基づきクラスタリングを行い、各クラスタを同一のグループとして扱ってもよい。
【0049】
このようなクラスタリング手法に基づいてグループを作る方が、後段の物体点群周波数制限部60でグループ内の点群の重心位置を基に周波数制限の範囲を求める際に、より誤差の少ない周波数制限を実施できる可能性が高くなる。一方、膨大な数の点から成る3D点群を入力する場合、クラスタリングに要する処理時間が長くなってしまう可能性がある。そこで、本実施形態では前記図2に示すように、各点piを3次元直交座標系における位置情報に基づきN個のグループ（グループ1～グループn：nはグループのインデックス）に分割することとした。
【0050】
周波数制限部30は、3D点群の点piごとにホログラム面における物体光波分布からエイリアシングを生じさせる高周波領域を除去する周波数制限処理を実施し、周波数がエイリアシングを生じさせない帯域に制限された周波数制限領域を計算する。本実施形態では非特許文献3と同様に、点piごとに干渉縞の間隔が狭くなってエイリアシングが発生するホログラム面上の画素領域を特定し、当該領域に対しては後段の光波伝搬計算部40が光波伝搬計算を行わないようにすることで周波数制限を実現する。
【0051】
例えば、レンズ拡大光学系における物体光と参照光とに位相差がある場合の周波数制限領域は、非特許文献3に示される方法により、隣接画素に対する光路差を用いて計算できる。これは、ホログラムにおける空間周波数には物体光と参照光との角度に比例する性質があるためである。
【0052】
図4に示すように、ある物体光源と参照光源とが存在する場合において、判定対象画素（x, 0）に隣接する画素（x', 0）を考える。周波数制限領域を計算したい物体光源の位置（Xi, Yi, Zi）からホログラム面の各ピクセルまでの距離をrO，rO'と定義し、参照光源の位置から各ピクセルまでの距離をrR，rR'と定義する。
【0053】
なお、収束球面参照光波をレンズ拡大光学系にて用いる場合、非特許文献2に示されるように参照光の配置位置はレンズの焦点距離fを用いて（0, 0, f）に配置されることから、距離rR，rR'は各ピクセルと（0, 0, f）との距離となる。このとき、エイリアシングが発生しない領域（残すべき領域）は、λを光の波長とすれば次式(1)～(5)で計算できる。
【0054】
【数1】
【0055】
【数2】
【0056】
【数3】
【0057】
【数4】
【0058】
【数5】
【0059】
上式(5)が成立すれば判定対象画素（x,0）について周波数制限を行う必要はない。ただし、実際には判定対象画素（x,0）のx軸方向左右に隣接する2画素についても各々判定式を計算し、双方が式(5)を満たす場合に周波数制限を行う必要がない領域と見做す必要がある。更に、上式(1)～(5)はx方向のみならずy方向についても同様に計算する必要があり、x, y方向のいずれにでも残すべきと判断された領域のみが、図5に示すように周波数制限領域として残ることになる。
【0060】
加えて、本実施形態は周波数制限部30において、本来はエイリアシングが発生するはずの一部の領域を残すことができるようにしている。すなわち、上式(5)に対して次式(6)のように判定の度合いを制御するための変数m1を乗算できるようにした。
【0061】
【数6】
【0062】
m1=1であれば式(6)は式(5)と同一になるので、m1が大きくなるほど高い周波数成分まで残ることとなる。上式(6)ではm1を0以下に設定してしまうと全領域が周波数制限されてしまい、何も残らないことから、m1は0よりも大きな値に設定することが望ましい。なお、m1を無限大とすれば周波数制限を行わないことと同義である。
【0063】
本実施形態ではm1=1.2に設定している。この設定では最終的な干渉縞の上ではエイリアシングが発生してしまうが、本実施形態のように視点移動を模擬するための変換処理を物体光波分布に対して行うことが予定されている場合、高周波成分を残しておく方が有効となる場合がある。この有効性については後に詳述する。
【0064】
なお、変換前フレームの干渉縞も出力する場合には、このままではエイリアシングが生じてしまうため、変換前フレームの干渉縞に関してはm1＝1として個別に物体光波分布を計算してもよい。
【0065】
なお、0<m1<1であれば伝搬計算を行うべき領域が少なくなることと、低周波成分しか残らないために変換を施した際にエイリアシングが生じにくくなるため、低品質で高速に生成したい場合には有効である。ただし、多くの高周波成分が除去されてしまうので再生像の空間解像度が低下してしまう問題がある。
【0066】
なお、上式(1)～(5)で示される周波数制限処理は、参照光の性質によっては異なる式で計算すべき場合もある。例えば非特許文献3では、参照光に位相差が存在しない（すなわち参照光が平行光である）場合の周波数制限方法についても式が示されている。このように、周波数制限の計算方法は上式(1)～(5)の計算方法に限定されるものではない。
【0067】
本質的には、位相の方向微分で計算される空間周波数がサンプリング周波数を超えないようにすればよく、これを満たすのであれば任意の計算方法を用いることができる。その場合も上式(6)のように高周波数成分を残すように調節できる変数を導入することが望ましい。
【0068】
光波伝搬計算部40は、従来手法である点光源法に基づいて、3Ｄ点群からホログラム面までの物体光波の伝搬計算を次式(7)，(8)によりグループ単位で行う。ただし、次式(8)の計算は周波数制限部30で周波数制限しないと判定された画素にのみに実施する。
【0069】
【数7】
【0070】
【数8】
【0071】
ここで、(x, y)は光波が伝搬されるホログラム面上の画素位置、si (x, y)は各点（光源）piから伝搬されるホログラム面上の光波分布、Aiは点piの輝度、riは点piとホログラム面上の画素(x, y)との距離、kは光の波長から計算される波数、un (x, y)はグループnに所属する各点から計算される物体光波分布である。本実施形態では図6に示すように、グループごとに物体光波を保存しておく点に特徴がある。
【0072】
物体光波分布un (x, y)を保存するために必要となるメモリ量は、最終的な電子デバイス（SLM）に表示する干渉縞と同程度になることから、例えば4K解像度のSLMを用いるのであればun (x, y)も4K解像度となる。このように、本実施形態ではグループ数Ｎが増えるほど品質は向上するがメモリ消費量が増えるというトレードオフの関係が成り立つ。
【0073】
物体光波変換部50は、光波伝搬計算部40で得られた各グループnの物体光波分布un (x, y)に対して、フレーム間での視点の「平行移動」、「回転移動」および「前後移動」のいずれかまたは組み合わせをホログラム面上での物体光波分布に対する適宜の変換処理により模擬するための変換処理を施す。本実施形態では、物体光波分布として記録される物体光波の振幅情報および位相情報の少なくとも一方に変換を加えることで視点移動を模擬している。
【0074】
例えば、図7に示すように視点の平行移動を模擬するならば物体光波分布un (x, y)に対して画素シフトを行う。図8に示すように視点の回転移動を模擬するならば、物体光波分布un (x, y)に対して回転によって生じる光路差が生み出す位相を付与する。図9に示すように視点の前後移動を模擬するならばun (x, y)を拡大または縮小する。
【0075】
このような変換処理はグループごとに計算した物体光波分布un (x, y)のそれぞれに対して実施される。本実施形態では、変換の内容に応じてun (x, y)上の各画素をx方向にΔx、y方向yにΔyだけシフトさせることで、次式(9)で与えられる変換後物体光波分布u'n (x, y)を取得する。なお、(x-Δx，y-Δy)の位置に画素が存在しなければ当該画素(x, y)は0で穴埋めされる。
【0076】
【数9】
【0077】
なお、回転移動後の変換後物体光波分布u'n (x, y)は、非特許文献2などに開示される次式(10)を用いることで計算できる。
【0078】
【数10】
【0079】
また、前後移動後の変換後物体光波分布u'n (x, y)は次式(11)で計算できる。ただし、sは画素の拡縮率を表す変数（s>0）であり、sが1より大きい場合に拡大、sが1より小さい場合に縮小となる。
【0080】
【数11】
【0081】
物体点群周波数制限部60は、変換後物体光波分布u'n (x, y)に対してエイリアシングの抑制を目的とする周波数制限処理を行う。ただし、変換後物体光波分布u'n (x, y)はグループ単位で複数の点piからの物体光波を上式(6)で重ね合わされて保存されているため、変換前に前記周波数制限部30が実施する周波数制限のように、点piごとに高周波領域を除去して残りの領域のみを対象に光波伝搬の計算を行う制限手法を適用できない。
【0082】
そこで、物体点群周波数制限部60は各グループの代表点に対して周波数制限を計算し、高周波領域を除去した周波数制限領域のみを残すことで近似的に周波数制限を実現する。周波数制限後の物体光波分布をu''n (x, y)と表現する。
【0083】
本実施形態では、各グループに所属する点群の重心位置を計算する。例えば、図10に示すようにグループ2の重心位置の点をpg2とし、当該点pg2に対して上式(6)と同様に次式(12)で周波数制限を行う領域の計算を行う。ここでは判定の度合いを制御するための変数m2を導入した。
【0084】
【数12】
【0085】
本実施形態ではm2=0.8と設定し、図10のように変換後物体光波分布u'n (x, y)を対象に上式(12)を満たす画素のみ物体光波を残し、他の画素は全て0にすることで周波数制限された変換後物体光波分布u''n (x, y)を得る。
【0086】
なお、重心位置pg2はグループ内の各点と位置が異なるため、この周波数制限により全てのエイリアシングを除去できることは保証されない。しかしながら、グループ内の各点が重心位置pg2の近傍に存在する場合はグループ内の各点の周波数制限領域は重心位置pg2の周波数制限領域の近傍の領域となるため、結果的にエイリアシングの発生を抑制できる可能性が高い。
【0087】
また、物体光波分布un (x, y)に対する変換量すなわち画素シフト量、回転角度あるいは画素の拡縮割合が多いほど、より多くの低周波領域が高周波領域に変化する可能性があることから、前記変数m2は変換量が多いほど小さな値となるように設定し、周波数制限領域の帯域をより低周波数側へ狭めることが望ましい。
【0088】
変換後の周波数制限方法は、上記のようにグループ内の点を重心位置で代表する方法に限定されるものではなく、図11に示すように、各グループを構成する全ての点piについて周波数制限を行わない領域を計算し、その領域の積となる領域を周波数制限領域として残すようにしても良い。このようにすれば、一の点の低周波領域が他の一の点では高周波領域となるというように、ホログラム面上の各領域の周波数帯域が点Piごとに異なっている場合でも、エイリアシングの発生を抑制できる周波数制限領域を設定できるようになる。
【0089】
あるいは各領域の積ではなく、一定割合以上の点において周波数制限を行わない領域を算出するようにしても良い。このケースでは、いずれの点においてもエイリアシングが発生しない領域のみが残されるためエイリアシングの発生を完全に抑制できるが、積となる領域が少ない場合には再生像の品質劣化に繋がってしまう可能性もある。
【0090】
このように、本実施形態ではグループ分けした位置の近い光波に対して変換を施し、変換後の光波に対して、グループごとに周波数制限を行う領域を計算し、物体光波分布の一部カットを行うようにした点に特徴がある。
【0091】
なお、物体光波分布の単なる画素シフトによって干渉縞にエイリアシングが生じる理由は、図12に示すように、画素シフトに伴って参照光に対する相対位置が変わり、参照光に対する距離が変わるために最終的な干渉縞にした際に周波数が変化するからである。これは、各画素に対して位相差が存在する参照光を利用する場合や、非特許文献2のようなレンズの存在する光学系において画素シフトを行った際にレンズに対する通過位置が変わってしまうことなどが原因となる。
【0092】
一方、元々はエイリアシングが発生するはずであった領域の周波数が変換によりエイリアシングが発生しない周波数の領域に変化する可能性もある。したがって、周波数制限部30でm1＝1.2のようにm1として1以上の値を指定する意味は、前段の周波数制限部30では敢えてエイリアシングが発生する領域まで物体光波分布を残しておくことで、変換によって高周波領域が低周波領域に変化した際に、その低周波領域を残すことができて品質が高まる可能性がある、ということに基づく。
【0093】
光波統合部70は、グループごとに周波数制限された変換後物体光波分布u''n (x, y)を統合することで最終的な物体光波分布を得る。最終的な変換後の物体光波分布u(x, y)は、各グループの変換後物体光波分布u''n (x, y)を加算すれば良いので次式(13)で計算される。
【0094】
【数13】
【0095】
なお、平行移動や拡縮などの特定の変換によっては、前フレームの光波が存在しない空白領域がホログラム面上で発生してしまう可能性がある。この領域に関しては変換前のフレームに情報がないため、点光源法を用いて改めて変換後の3D点群配置から物体光波分布を再計算してもよい。空いた領域を再計算して埋める手法は非特許文献2に開示されているので、ここでは説明を省略する。
【0096】
干渉計算部80は、ホログラム面上の物体光波u(x, y)に対して、計算機上のシミュレーションとして参照光波を差し込むことで干渉計算を行う。本実施例では非特許文献2に開示される光学系（レンズ拡大光学系、フーリエ変換光学系）を採用し、参照光として非特許文献2に開示される再生光学系のレンズの焦点距離fの位置に収束する収束球面参照光波を用いる。この収束球面参照光波がホログラム面上に伝搬されたときの光波の複素振幅分布R(x, y)は次式(14)で表わされる。
【0097】
【数14】
【0098】
ここで、Roは参照光の強度、rは参照光の位置からホログラム面上の位置(x, y)までの距離を表している。参照光の位置は非特許文献2と同様、レンズ拡大光学系を構成するレンズの焦点位置（0,0,f）に配置される。fはレンズの焦点距離である。
【0099】
なお、本発明の参照光は上式(14)に限定されるものではなく、次式(15)で表される単なる球面波参照光でも良いし、次式(16)で表される平行光参照光でもよい。式(16)のφは参照光のホログラム面への入射角度である。
【0100】
【数15】
【0101】
【数16】
【0102】
参照光波と物体光波との干渉は次式(17)で求められる。
【0103】
【数17】
【0104】
ここで、I(x, y)はCGHの輝度分布である。最後に本実施例では、この、I(x, y)を0-255のレンジに正規化して画像として出力する。この画像をSLM上で再生し、そこに再生照明光を照射すれば再生像の再生及び視聴を行うことができる。
【0105】
なお、上記の実施形態では3D点群の各点piをその位置に基づいてグルーピングし、グループ単位で物体光波分布un (x, y)、変換後物体光波分布u'n (x, y)および周波数制限後の物体光波分布u''n (x, y)を計算し、これらを統合して最終的な物体光波分布とするものとして説明した。
【0106】
しかしながら、本発明はこれのみに限定されるものではなく、3D点群が3D空間の狭い範囲に分布しており、各点群の周波数領域が一定範囲内におさまっていればグルーピングはが不要なので、図14に示した第2実施形態のように、3D点群分割部20および光波統合部70を省略した構成としても良い。
【0107】
さらに、上記の各実施形態では周波数制限部30を設けて変換処理前の物体光波分布から予め高周波領域を削除する周波数制限を行うものとして説明したが、本発明はこれのみに限定されるものではなく、図15に示した第3実施形態のように周波数制限部30を省略し、高周波領域を削除する周波数制限に係る機能の全てを物体点群周波数制限部60に負わせるようにしても良い。
【0108】
そして、上記の各実施形態によれば高品質なCGHを短時間で生成することができ、通信インフラ経由でもリアルタイムで提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なエンターテインメントを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。
【符号の説明】
【0109】
1…計算機合成ホログラム生成装置、10…3D点群取得部、20…3D点群分割部、30…周波数制限部、40…光波伝搬計算部、50…物体光波変換部、60…物体点群周波数制限部、70…光波統合部、80…干渉計算部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】