(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-09
(45)【発行日】2024-05-17
(54)【発明の名称】ホログラムデータ生成装置およびそのプログラム
(51)【国際特許分類】
G03H 1/08 20060101AFI20240510BHJP
G11B 7/0065 20060101ALI20240510BHJP
【FI】
G03H1/08
G11B7/0065
(21)【出願番号】P 2020144158
(22)【出願日】2020-08-28
【審査請求日】2023-07-10
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】三浦 雅人
(72)【発明者】
【氏名】東田 諒
(72)【発明者】
【氏名】柴崎 純一
(72)【発明者】
【氏名】船橋 信彦
(72)【発明者】
【氏名】麻生 慎太郎
(72)【発明者】
【氏名】青島 賢一
(72)【発明者】
【氏名】町田 賢司
【審査官】植野 孝郎
(56)【参考文献】
【文献】米国特許出願公開第2017/0038727(US,A1)
【文献】特開平6-110371(JP,A)
【文献】米国特許出願公開第2013/0100510(US,A1)
【文献】特表2008-525830(JP,A)
【文献】特表2010-511899(JP,A)
【文献】特開2006-309012(JP,A)
【文献】特開2014-211565(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G03H 1/00- 5/00
G11B 7/0065
(57)【特許請求の範囲】
【請求項1】
ホログラム生成対象画像からホログラムデータを生成するホログラムデータ生成装置であって、
ホログラム再生像の空間周波数が少なくとも予め定めた値以上となる画素ピッチで、前記ホログラム生成対象画像をダウンサンプリングするダウンサンプリング手段と、
前記ダウンサンプリング手段でダウンサンプリングされたホログラム生成対象画像の複素振幅分布を、ホログラム面において、前記ホログラムデータを表示する空間光変調器の画素ピッチにアップサンプリングするように光波伝播の計算を行うアップサンプリング光波伝播手段と、
前記アップサンプリング光波伝播手段でアップサンプリングされた複素振幅分布を物体光の複素振幅
分布として、予め準備した参照光の複素振幅分布により、前記ホログラムデータを計算するホログラムデータ計算手段と、を備え
、
前記ホログラム生成対象画像は、断層画像であって、
前記ダウンサンプリング手段は、前記断層画像の奥行きごとの画像から前記ホログラム面までの距離に応じてダウンサンプリングを行い、
前記アップサンプリング光波伝播手段は、前記ホログラム面において、前記奥行きごとの画像に対して計算されたすべての複素振幅分布を加算することを特徴とするホログラムデータ生成装置。
【請求項2】
ホログラム生成対象画像からホログラムデータを生成するホログラムデータ生成装置であって、
ホログラム再生像の空間周波数が少なくとも予め定めた値以上となる画素ピッチで、前記ホログラム生成対象画像をダウンサンプリングするダウンサンプリング手段と、
前記ダウンサンプリング手段でダウンサンプリングされたホログラム生成対象画像の複素振幅分布を、ホログラム面において、前記ホログラムデータを表示する空間光変調器の画素ピッチにアップサンプリングするように光波伝播の計算を行うアップサンプリング光波伝播手段と、
前記アップサンプリング光波伝播手段でアップサンプリングされた複素振幅分布を物体光の複素振幅
分布として、予め準備した参照光の複素振幅分布により、前記ホログラムデータを計算するホログラムデータ計算手段と、を備え
、
前記ホログラム生成対象画像は、視点方向が異なる複数の視点画像からなる多視点画像であって、
前記ダウンサンプリング手段は、前記視点画像ごとに、前記ホログラム面までの距離に応じてダウンサンプリングを行い、
前記アップサンプリング光波伝播手段は、前記視点方向に応じて、前記ホログラム面までの光波伝播の計算を行い、前記ホログラム面において多視点画像のすべての複素振幅分布を加算することを特徴とするホログラムデータ生成装置。
【請求項3】
ホログラム生成対象画像からホログラムデータを生成するホログラムデータ生成装置であって、
ホログラム再生像の空間周波数が少なくとも予め定めた値以上となる画素ピッチで、前記ホログラム生成対象画像をダウンサンプリングするダウンサンプリング手段と、
前記ダウンサンプリング手段でダウンサンプリングされたホログラム生成対象画像の複素振幅分布を、ホログラム面において、前記ホログラムデータを表示する空間光変調器の画素ピッチにアップサンプリングするように光波伝播の計算を行うアップサンプリング光波伝播手段と、
前記アップサンプリング光波伝播手段でアップサンプリングされた複素振幅分布を物体光の複素振幅
分布として、予め準備した参照光の複素振幅分布により、前記ホログラムデータを計算するホログラムデータ計算手段と、を備え
、
前記ホログラム生成対象画像は、視点方向が異なる複数の断層画像からなる多視点断層画像であって、
前記ダウンサンプリング手段は、前記断層画像の奥行きごとの画像から前記ホログラム面までの距離に応じてダウンサンプリングを行い、
前記アップサンプリング光波伝播手段は、前記視点方向に応じて、前記ホログラム面までの光波伝播の計算を行い、前記ホログラム面において複数の断層画像のすべての複素振幅分布を加算することを特徴とするホログラムデータ生成装置。
【請求項4】
コンピュータを、請求項1から請求項
3のいずれか一項に記載のホログラムデータ生成装置として機能させるためのホログラムデータ生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ホログラムデータ生成装置およびそのプログラムに関する。
【背景技術】
【0002】
ホログラフィは、光の波面を干渉縞として記録・再生する技術である。ホログラフィにより再現される三次元映像は、原理的には実際の被写体からの光を忠実に再現できるため、ステレオグラム(二眼立体方式)などの課題として挙げられるいわゆる輻輳と調節との不一致が生じないといわれている。
ホログラフィの技術を用いて、干渉縞の情報をホログラムデータとして生成する手法として、コンピュータを用いて計算によって生成する手法が存在する。このコンピュータ上でホログラムデータを生成する手法は、計算機合成ホログラム(Computer Generated Hologram:以下、CGHという)と呼ばれる。
このCGHのホログラムデータを生成する手法は、種々存在するが、例えば、2次元画像に位相情報を付加してフーリエ変換を行うことで、ホログラム面における物体光の複素振幅分布を生成し、参照光の複素振幅分布から、ホログラムデータを生成する(例えば、特許文献1参照)。
【0003】
ホログラムデータは、空間光変調器(Spatial light modulator:SLM)に表示され、読み出し光が照射されることで、三次元映像として再現される。
この三次元映像の視域角(三次元映像を観察可能な角度)は、ホログラムデータを表示するSLMの画素構造による回折角により制限され、画素ピッチと光の波長とに依存する。ここで、SLMの画素ピッチをp、光の波長をλとしたとき、視域角(全角)θは、θ=2sin-1[λ/(2p)]と表すことができる。そのため、ホログラム再生において、広視域を得るためには、SLMの狭画素ピッチ化が必要となる。
【0004】
また、ホログラフィによる三次元映像を大きく表示するには、SLMの大面積化が必要となる。ここで、SLMの幅方向の画素数をNx、SLMの高さ方向の画素数をNy、SLMの画素ピッチをpとしたとき、SLMの面積Sは、S=p2NxNyと表すことができる。そのため、三次元映像の広視域化かつSLMの大面積化のためには、狭画素ピッチ化とともに多画素化が必要となる。
近年では、ホログラフィ立体表示用デバイスとして、狭画素ピッチおよび多画素のSLMの研究が進められている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2007-279221号公報
【文献】特開2019-144423号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ホログラム再生において、例えば、波長532nmで視域角30°を得るには、画素ピッチが1μmのSLMが必要となる。また、1cm2の大きさのSLMで10000×10000画素(1億画素)が必要となる。このように、広視域で大画面の三次元映像を表示するホログラムデータは情報量が膨大となる。
そのため、コンピュータで計算によりホログラムデータを生成する従来の手法では、計算時間が長くかかってしまうという問題がある。
【0007】
また、ホログラフィによる三次元映像の面内分解能は、集光レンズとして作用するホログラムパターンを表示したときのSLMの回折限界で決まる。光の波長をλ、光の集光角(半幅)をφとしたとき、
図13に示すように、面内分解能dは、d=λ/(2sinφ)と表すことができる。なお、光の集光角φは、ホログラム面の近傍の場合と、遠方の場合とで異なる。
図13(a)に示すように、ホログラム面の近傍では、集光角φは、回折角θ
dによって決まり、SLM100の画素ピッチをpとしたとき、φ=θ
d=sin
-1[λ/(2p)]と表すことができる。また、
図13(b)に示すように、ホログラム面から遠方では、集光角φは、見込み角θ
vによって決まり、SLM100の大きさをW、SLM100から三次元映像までの伝播距離をz
0としたとき、φ=θ
v=tan
-1[W/(2|z
0|)]と表すことができる。
例えば、波長532nmで画素ピッチが1μmのSLM100の場合、ホログラム面の近傍に再生される三次元映像の面内分解能は1μmとなる。
なお、集光角φが大きいほど、面内分解能の値は小さくなる。すなわち、遠方では近傍よりも集光角φが小さいため、面内分解能の値は大きくなる。このように、遠方では近傍と比べると面内分解能の値は大きくなるものの、人間が知覚できないくらい小さな値であり、ディスプレイ用途においては、CGHの元となる三次元データには情報削減の余地がある。
【0008】
本発明は、このような従来の問題点に鑑みてなされたもので、視覚的に影響のない範囲で、CGHの元となるデータを削減し、計算量を抑えて、ホログラムデータを生成することが可能なホログラムデータ生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0009】
前記課題を解決するため、本発明に係るホログラムデータ生成装置は、ホログラム生成対象画像からホログラムデータを生成するホログラムデータ生成装置であって、ダウンサンプリング手段と、アップサンプリング光波伝播手段と、ホログラムデータ計算手段と、を備える構成とした。
【0010】
かかる構成において、ホログラムデータ生成装置は、ダウンサンプリング手段によって、ホログラム再生像の空間周波数が少なくとも予め定めた値以上となる画素ピッチで、前記ホログラム生成対象画像をダウンサンプリングする。このホログラム再生像の空間周波数は、一般に視力1.0の人が知覚できる限界とされる30cpd(cycles per degree)を下らない値が好ましい。
そして、ホログラムデータ生成装置は、アップサンプリング光波伝播手段によって、ダウンサンプリング手段でダウンサンプリングされたホログラム生成対象画像の複素振幅分布を、ホログラム面において、ホログラムデータを表示する空間光変調器の画素ピッチにアップサンプリングするように光波伝播の計算を行う。このとき、光波伝播の計算を行う元データは、ダウンサンプリング手段でデータ量が削減されているため、光波伝播の計算で用いるフーリエ変換を高速に演算することができる。
そして、ホログラムデータ生成装置は、ホログラムデータ計算手段によって、アップサンプリング光波伝播手段でアップサンプリングされた複素振幅分布を物体光の複素振幅分布として、予め準備した参照光の複素振幅分布により、ホログラムデータを計算する。
これによって、ホログラムデータ生成装置は、予め定めた大きさの空間光変調器に表示するホログラムデータを、データを削減して生成することができる。
【0011】
なお、ホログラムデータ生成装置は、コンピュータを、前記した各手段として機能させるためのホログラムデータ生成プログラムで動作させることができる。
【発明の効果】
【0012】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、計算機ホログラムを生成する際に、視覚的に影響のない範囲でデータを削減し、計算量を抑えて、ホログラムデータを生成することができる。
これによって、本発明によれば、従来よりも高速にホログラムデータを生成することができる。
【図面の簡単な説明】
【0013】
【
図1】本発明の実施形態に係るホログラムデータ生成装置の処理概要を説明するための説明図である。
【
図2】本発明の実施形態に係るホログラムデータ生成装置が行うダウンサンプリング前後の画素ピッチを説明するための説明図であって、(a)はダウンサンプリング前、(b)はダウンサンプリング後を示す。
【
図3】本発明の実施形態に係るホログラムデータ生成装置の構成を示すブロック構成図である。
【
図4】ダウンサンプリング後の断層画像の複素振幅分布をホログラム面に光波伝播する処理を説明するための説明図である。
【
図5】(a)~(e)は、広指向性を有した状態で、角スペクトル伝播により、ダウンサンプリング後の断層画像の複素振幅分布をアップサンプリングするデータの流れを説明するための説明図である。
【
図6】(a)~(d)は、広指向性を有した状態で、フレネル伝播により、ダウンサンプリング後の断層画像の複素振幅分布をアップサンプリングするデータの流れを説明するための説明図である。
【
図7】本発明の実施形態に係るホログラムデータ生成装置の動作を示すフローチャートである。
【
図8】(a)~(c)は複素振幅分布からホログラムデータを生成するまでの例を示す画像例、(e)は再生像を示す。
【
図9】ダウンサンプリング後の多視点画像の複素振幅分布をホログラム面に光波伝播する処理を説明するための説明図である。
【
図10】ダウンサンプリング後の多視点断層画像の複素振幅分布をホログラム面に光波伝播する処理を説明するための説明図である。
【
図11】(a)~(e)は、狭指向性を有した状態で、角スペクトル伝播により、ダウンサンプリング後の多視点画像の複素振幅分布をアップサンプリングするデータの流れを説明するための説明図である。
【
図12】(a)~(d)は、狭指向性を有した状態で、フレネル伝播により、ダウンサンプリング後の多視点画像の複素振幅分布をアップサンプリングするデータの流れを説明するための説明図である。
【
図13】三次元映像の面内分解能を説明するための説明図であって、(a)はホログラム面の近傍、(b)はホログラム面から遠方の場合を示す。
【発明を実施するための形態】
【0014】
[ホログラムデータ生成装置の処理概要]
まず、
図1を参照して、本発明の実施形態に係るホログラムデータ生成装置1(
図3参照)の処理概要について説明する。
ホログラムデータ生成装置1は、ホログラムデータを生成するための元データ(三次元データ)である複素振幅分布U(x,y,z)を、観察者Mの視覚的に影響のない範囲でダウンサンプリングする。そして、ホログラムデータ生成装置1は、ダウンアンプリングされたデータから、光波伝播計算により、ホログラム面Hにおける元のデータに対応したSLM100の大きさの複素振幅分布U(x,y,0)を求め、ホログラムデータを生成する。なお、ホログラム面Hは、SLM100の表示面の位置である。
【0015】
[ホログラムデータ生成装置が行うダウンサンプリングについて]
次に、
図1を参照して、本発明の実施形態に係るホログラムデータ生成装置1が行うダウンサンプリングについて説明する。
ホログラムデータ生成装置1は、光波伝播計算を行う際に、ホログラム面Hから被写体Oまでの伝播距離z
Oに応じて、異なる光波伝播の計算を行う。
ここでは、ホログラムデータ生成装置1は、ホログラムデータを表示するSLM100の大きさをN、SLM100の画素ピッチをp、光の波長をλとしたとき、z
OがNp
2/λ未満の場合は角スペクトル伝播法、z
OがNp
2/λ以上の場合はフレネル伝播法を用いる。これによって、光波の伝播計算による折り返しひずみを避けることができる。
【0016】
〔角スペクトル伝播法〕
一般に、角スペクトル伝播法では、三次元データの複素振幅分布U(x,y,z)からホログラム面Hの複素振幅分布U(x,y,0)を計算する場合、以下の式(1)(式(1-1)~式(1-3))の計算を順次行う。
【0017】
【0018】
ここで、FTはフーリエ変換、FT-1は逆フーリエ変換、A(u,v,z)は、複素振幅分布U(x,y,z)のスペクトル分布、u、vはそれぞれx方向とy方向とに対応した空間周波数を示す。なお、角スペクトル伝播法は、高速フーリエ変換(FFT)を用いるため、サンプリング数が2のべき乗の場合に特に高速に計算を行うことができる。
そこで、ホログラムデータ生成装置1は、SLM100に表示する生成対象のホログラムデータのサンプリング数Nx,Ny(サンプリング間隔px,py)に対して、以下の式(2)式に示すサンプリング数Nx′,Ny′(サンプリング間隔px′,py′)で、複素振幅分布U(x,y,z)をサンプリングする。
【0019】
【0020】
このように、サンプリング数N
x,N
y(サンプリング間隔p
x,p
y)を、サンプリング数N
x′,N
y′(サンプリング間隔p
x′,p
y′)とダウンサンプリングしても、
図2(a)(b)に示すように、複素振幅分布U(x,y,z)のx方向およびy方向の解析領域の大きさは同じになる。
ここで、floor(x)はxを超えない整数、<<はシフト演算子である。
p(z
o)は、ホログラム面Hから三次元データの被写体Oまでの伝播距離をz
oとしたとき、z
oにおけるサンプリング間隔であって、以下の式(3)で求められる値である。
【0021】
【0022】
ここで、Lは観察者Mからホログラム面Hまでの距離(視距離)である。なお、ヘッドマウントディスプレイのように、レンズ等により三次元映像を拡大して観察する場合においては、各距離は、レンズにより拡大された像までの距離とする。
また、βは再生像の空間周波数(cpd:cycles per degree)である。一般に視力1.0の人が知覚できる空間周波数の限界は30cpdといわれている。そこで、βは、30cpd以上とすることが好ましい。
なお、
図1に示すように、サンプリング間隔p(z
o)の周期(2画素で1周期)Tを、T=2p(z
o)としたとき、1周期あたりの角度δθは、δθ=tan
-1[T/(L-z
o)]≒T/(L-z
o)[rad]=T/(L-z
o)×180/π[deg]となり、1度あたりの周期(空間周波数)βは、β=1/δθ=(L-z
o)/T×π/180[cpd]となる。これにより、式(3)を導き出すことができる。
【0023】
〔フレネル伝播法〕
また、フレネル伝播法では、三次元データの複素振幅分布U(x,y,z)からホログラム面Hの複素振幅分布U(x,y,0)を計算する場合、以下の式(4)の計算を行う。
【0024】
【0025】
ここで、(ξ,η)は空間座標であり、二重積分計算において変数が重複しないように、U(ξ,η,z)とした。また、kは波数であり、k=2π/λである。この式(4)を、x′=x/(λz)、y′=y/(λz)と置き換えることで、FFTを用いて複素振幅分布U(x,y,0)を計算することができる。
ホログラム面Hの複素振幅分布U(x,y,0)のサンプリング数をNx,Ny(サンプリング間隔qx,qy)として、座標変換を伴うFFT後のサンプリング間隔qx,qyは、以下の式(5)で計算することができる。
【0026】
【0027】
そこで、ホログラムデータ生成装置1は、SLM100に表示する生成対象のホログラムデータのサンプリング数Nx,Ny(サンプリング間隔qx,qy)に対して、以下の式(6)式に示すサンプリング数Nx′,Ny′(サンプリング間隔qx′,qy′)で、複素振幅分布U(x,y,z)をサンプリングする。
【0028】
【0029】
なお、floor(x)はxを超えない整数、<<はシフト演算子である。
また、p(zo)は、ホログラム面Hから三次元データの被写体Oまでの伝播距離をzoとしたとき、zoにおけるサンプリング間隔であって、前記式(3)で求められる値である。
【0030】
[ホログラムデータ生成装置の構成]
次に、
図3を参照して、本発明の実施形態に係るホログラムデータ生成装置1の構成について説明する。
【0031】
ホログラムデータ生成装置1は、ホログラム生成対象画像の各画素に位相を対応付けた複素振幅分布からホログラムデータを生成するものである。
ホログラム生成対象画像は、被写体やシーンの三次元データである。なお、この三次元データは、予め三次元データ記憶装置2に記憶されているものとする。
三次元データは、例えば、距離別に構成された断層画像、複数の視点位置に対応した多視点画像、多視点画像が距離別に構成された多視点断層画像等である。ここでは、三次元データは、画像の各画素に位相(例えば、ランダム位相、等位相、線形位相等)を対応付けた複素振幅分布とする。また、ここでは、三次元データを、断層画像の例で説明する。
図3に示すように、ホログラムデータ生成装置1は、データ受信手段10と、ダウンサンプリング手段11と、アップサンプリング光波伝播手段12と、ホログラムデータ計算手段13と、を備える。
【0032】
データ受信手段10は、三次元データ記憶装置2から三次元データ(ホログラム生成対象画像)を受信するものである。なお、データ受信手段10は、外部に外部記憶装置として接続された三次元データ記憶装置2から三次元データを読み出してよいし、遠隔地にネットワークで接続された三次元データ記憶装置2から三次元データを受信することとしてもよい。
データ受信手段10は、受信した三次元データをダウンサンプリング手段11に出力する。
【0033】
ダウンサンプリング手段11は、ホログラム再生像の空間周波数が少なくとも予め定めた値以上となる画素ピッチで、三次元データ(ホログラム生成対象画像)をダウンサンプリングするものである。ここでは、ダウンサンプリング手段11は、ホログラム再生時に視覚的に影響のない範囲で、複素振幅分布をダウンサンプリングする。
ダウンサンプリング手段11は、
図4に示すように、三次元データである断層画像U
i(x,y,z
i)の個々の奥行き方向の画像(
図4中、太線で示す)ごとに、ダウンサンプリングを行う。xyは二次元座標を示し、z
iはホログラム面Hからの断層画像ごとの伝播距離を示す。また、iは断層を識別する1以上の整数である。
なお、ダウンサンプリング手段11は、ホログラム面Hまでの伝播距離z
iに応じて、前記式(2)または前記式(6)により、画像ごとのサンプリング点を算出する。
【0034】
ダウンサンプリング手段11によるダウンサンプリング後の波面Udown(x,y)は、comb(x,y)をくし関数として、Udown(x,y)=Ui(x,y)comb(x/px′,y/py′)と点群のデータとなる(zは省略)。
ダウンサンプリング手段11は、ダウンサンプリングしたサンプリング点およびその位置における複素振幅分布の値を、断層画像ごとにアップサンプリング光波伝播手段12に出力する。
【0035】
アップサンプリング光波伝播手段12は、ダウンサンプリング手段11でダウンサンプリングされた三次元データ(ホログラム生成対象画像)の複素振幅分布を、ホログラム面Hにおいて、SLM100の画素ピッチにアップサンプリングするように光波伝播の計算を行うものである。
ここでは、アップサンプリング光波伝播手段12は、ダウンサンプリング手段11でダウンサンプリングされた断層画像ごとの複素振幅分布に対して、ホログラム面Hからの距離に応じて、異なる光波伝播の計算を行う。
具体的には、アップサンプリング光波伝播手段12は、SLM100の大きさをN、SLM100の画素ピッチをp、光の波長をλとしたとき、ziがNp2/λ未満の場合、角スペクトル伝播法、ziがNp2/λ以上の場合はフレネル伝播法を用いる。
【0036】
ここで、
図5を参照して、光波伝播として角スペクトル伝播法を用いる場合の処理について説明する。
図5(a)は、ダウンサンプリング手段11でダウンサンプリングされた複素振幅分布U
down(x,y,z
o)を示す。なお、a,b,p
x,p
y,N
x,N
yは、前記式(2)で説明した値である。
【0037】
アップサンプリング光波伝播手段12は、
図5(a)に示す複素振幅分布U
down(x,y,z
o)に対して、高速フーリエ変換(FFT)を行うことで、
図5(b)に示すスペクトル分布A
down(u,v,z
o)を生成する。ここで、u,vは、それぞれx方向,y方向の空間周波数を表す。
なお、スペクトル分布A
down(u,v,z
o)のサンプリング数は、ダウンサンプリング前の複素振幅分布U(
図2(a)参照)に比べて1/a,1/bとなっている。
【0038】
そこで、アップサンプリング光波伝播手段12は、スペクトル分布A
downを、アップサンプリングするため、
図5(c)に示すように、元のサンプリング数N
x,N
yに応じて、スペクトル分布A
downを複製・配置し、畳み込み積分を行うことで、アップサンプリングされたスペクトル分布A
up(u,v,z
o)を生成する。
A
up(u,v,z
o)は、以下の式(7)で算出することができる。
【0039】
【0040】
そこで、アップサンプリング光波伝播手段12は、スペクトル分布A
down(u,v,z
o)をu方向に1/p
x′間隔で、v方向に1/p
y′間隔で配置することで、畳み込み積分を行うことができる。
そして、アップサンプリング光波伝播手段12は、スペクトル分布A
up(u,v,z
o)に対して、角スペクトル伝播の演算を行うことで、
図5(d)に示すホログラム面Hにおけるスペクトル分布A(u,v,0)を生成する。
そして、アップサンプリング光波伝播手段12は、アップサンプリングされたスペクトル分布Aを断層画像の数だけ加算し、逆高速フーリエ変換(IFFT)を行うことで、
図5(e)に示す複素振幅分布U(x,y,0)を生成する。
【0041】
すなわち、アップサンプリング光波伝播手段12は、断層画像の奥行き方向のサンプリング数をNz、ziをi番目の断層画像のホログラム面Hまでの伝播距離としたとき、以下の式(8)により、スペクトル分布Aup(式(8)中、Ai)から、複素振幅分布U(u,v,0)を生成する。
【0042】
【0043】
これによって、アップサンプリング光波伝播手段12は、ダウンサンプリングされた複素振幅分布Udownから、元のサンプリング数Nx,Nyに応じた複素振幅分布Uを生成することができる。
なお、アップサンプリング光波伝播手段12において、以下の式(9)に示すフィルタHによるフィルタ処理を適用してもよい。
【0044】
【0045】
このフィルタHは、以下の式(10)のように作用し、三次元映像を構成する単位を点から他の形状に変えることができる。
【0046】
【0047】
ここで、h(x,y)=FT-1[H(u、v)]である。
このフィルタ処理により、例えば、三次元映像を構成する単位を点から正方形とすることで、観察者が設計視距離よりも近くから三次元映像を観察した際に、三次元映像を構成する画素が疎であることを認識され難くすることができる。
【0048】
次に、
図6を参照して、光波伝播としてフレネル伝播法を用いる場合の処理について説明する。
図6(a)は、ダウンサンプリング手段11でダウンサンプリングされた複素振幅分布U
down(x,y,z
o)を示す。なお、a,b,q
x,q
y,N
x,N
yは、前記式(5)で説明した値である。
アップサンプリング光波伝播手段12は、
図6(a)に示す複素振幅分布U
down(x,y,z
o)に対して、前記式(4)の高速フーリエ変換として、以下の式(11)の演算FTを行うことで、サンプリング間隔を縮小した
図6(b)に示す複素振幅分布U
s(x,y,z
o)を生成する。
【0049】
【0050】
この式(11)は、前記式(4)の二重積分を、FFTを用いて演算する式である。ここで、(ξ,η)は空間座標であり、FFT適用前後で変数が重複しないようにU
down(ξ,η,z
0)とした。また、前記式(4)に示すように、このFFTは座標変換を伴うものであり、三次元データの複素振幅分布U(x,y,z
0)を、サンプリング間隔q
x,q
yでダウンサンプリングすることにより、FFT後のサンプリング間隔をp
x,p
yとすることができる。
複素振幅分布U
s(x,y,z
o)のサンプリング数は、ダウンサンプリング前の複素振幅分布U(
図2(a)参照)に比べて1/a,1/bとなっている。
そこで、アップサンプリング光波伝播手段12は、複素振幅分布U
sを、アップサンプリングするため、
図6(c)に示すように、元のサンプリング数N
x,N
yに応じて、複素振幅分布U
sを複製・配置し、畳み込み積分を行うことで、アップサンプリングされた複素振幅分布U
up(x,y,z
o)を生成する。
U
up(x,y,z
o)は、以下の式(12)で算出することができる。
【0051】
【0052】
そこで、アップサンプリング光波伝播手段12は、複素振幅分布U
s(x,y,z
o)をx方向に1/q
x′間隔で、y方向に1/q
y′間隔で配置することで、畳み込み積分を行うことができる。
そして、アップサンプリング光波伝播手段12は、アップサンプリングされた複素振幅分布U
upに対して、以下の式(13)の係数を乗算し、断層画像の数だけ加算することで、
図6(d)に示すフレネル伝播後の複素振幅分布U(x,y,0)を生成する。
【0053】
【0054】
この式(13)の係数は、前記式(4)の二重積分に乗算する係数である。
これによって、アップサンプリング光波伝播手段12は、ダウンサンプリングされた複素振幅分布Udownから、元のサンプリング数Nx,Nyに応じた複素振幅分布Uを生成することができる。
【0055】
図3に戻って、ホログラムデータ生成装置1の構成について説明を続ける。
アップサンプリング光波伝播手段12は、生成した断層画像ごとの複素振幅分布U(x,y,0)を、ホログラムデータ計算手段13に出力する。
【0056】
ホログラムデータ計算手段13は、アップサンプリング光波伝播手段12で生成された複素振幅分布U(x,y,0)から、ホログラムデータを生成するものである。
ホログラムデータ計算手段13は、複素振幅分布U(x,y,0)を、物体光の複素振幅分布として、予め準備した参照光の複素振幅分布により、ホログラムデータを生成する。
参照光の複素振幅分布は、予めホログラムデータ生成条件記憶手段14に記憶しておく。参照光の波面は、平面波、球面波等、任意の波面でよい。
【0057】
また、ホログラムデータ計算手段13が生成するホログラムデータは、振幅型、位相型、複素振幅型のいずれであっても構わない。なお、振幅型のホログラム(振幅ホログラム)を生成する場合は、共役像が再生像に多重化される現象を回避するため、アップサンプリング光波伝播手段12における光波伝播計算では、ハーフゾーンプレート処理に代表される再生像から共役像を分離する処理を行うことが好ましい。
物体光の複素振幅分布と、参照光の複素振幅分布とからホログラムデータを生成する手法は一般的な手法を用いればよいため、ここでは、詳細な説明を省略する。
【0058】
ホログラムデータ生成条件記憶手段14は、ホログラムデータを生成すための条件を予め記憶しておくものである。このホログラムデータ生成条件記憶手段14は、半導体メモリ等の一般的な記憶媒体で構成することができる。
このホログラムデータ生成条件記憶手段14に記憶する生成条件は、三次元データの構造(断層画像、多視点画像、多視点断層画像の識別および画像の構成)、SLM100の大きさおよび画素ピッチ、生成するホログラムデータの型(振幅型、位相型、複素振幅型)等である。
このホログラムデータ生成条件記憶手段14は、ダウンサンプリング手段11、アップサンプリング光波伝播手段12およびホログラムデータ計算手段13によって参照される。
【0059】
以上説明したように、ホログラムデータ生成装置1を構成することで、ホログラムデータ生成装置1は、視覚的に影響のない範囲で、三次元データの情報量を削減して、高速にホログラムデータを生成することができる。
また、ホログラムデータ生成装置1の各構成は、1つの装置として構成する必要はなく、分離して構成してもよい。
なお、ホログラムデータ生成装置1は、図示を省略したコンピュータを、前記した各手段として機能させるためのホログラムデータ生成プログラムで動作させることができる。
【0060】
[ホログラムデータ生成装置の動作]
次に、
図7を参照(構成については適宜
図3参照)して、本発明の実施形態に係るホログラムデータ生成装置1の動作について説明する。なお、三次元データ記憶装置2には、予め画像の各画素に位相が付加された三次元データ(複素振幅分布)が記憶されているものとする。また、ここでは、三次元データは、断層画像とする。
【0061】
ステップS1において、データ受信手段10は、三次元データ記憶装置2から三次元データ(複素振幅分布)を受信する。
ステップS2において、ダウンサンプリング手段11は、断層画像の個々の画像に対応する複素振幅分布を順次選択する。
ステップS3において、ダウンサンプリング手段11は、ステップS2で選択された画像を、ホログラム面Hからの距離に応じて、前記式(2)または前記式(6)により、サンプリング点を算出し、ダウンサンプリングする。
【0062】
ステップS4において、ダウンサンプリング手段11は、断層画像のすべての画像について、ダウンサンプリングを完了したか否かを判定する。
ここで、断層画像のすべての画像についてのダウンサンプリングが完了していない場合(ステップS4でNo)、ホログラムデータ生成装置1は、ステップS2に戻って、他の画像の複素振幅分布を選択し、動作を継続する。
【0063】
一方、断層画像のすべての画像についてのダウンサンプリングが完了した場合(ステップS4でYes)、ステップS5において、アップサンプリング光波伝播手段12は、ステップS3でダウンサンプリングされたすべての複素振幅分布を、ホログラム面Hからの距離に応じた光波伝播計算により、アップサンプリングしてホログラム面Hに伝播させて加算した複素振幅分布を生成する。
ステップS6において、ホログラムデータ計算手段13は、ステップS5で生成されたホログラム面Hにおける複素振幅分布から、参照光の複素振幅分布を用いて、ホログラムデータを生成する。
以上の動作によって、ホログラムデータ生成装置1は、視覚的に影響のない範囲で、三次元データの情報量を削減して、高速にホログラムデータを生成することができる。
【0064】
なお、本発明の実施形態に係るホログラムデータ生成装置1は、ステップS5の動作を、ステップS3とステップS4との間で行ってもよい。これによって、各断面画像の選択、ダウンサンプリング、アップサンプリングしてホログラム面Hまでの伝播計算を1枚ずつ逐次処理することができ、計算に必要となるメモリ領域を節約することができる。
【0065】
[ホログラムデータの生成例]
次に、
図8を参照(適宜
図1,
図3参照)して、ホログラムデータ生成装置1によるホログラムデータの生成例について説明する。
(a)は、ホログラムデータを生成する対象である画像である。ここでは、説明を簡略化するため、1画像とする。
(a)は、画素数が2048×2048、画素ピッチが8μmであり、ランダム位相が付加された複素振幅分布とする。また、光の波長は、532nmとした。また、光波の伝播距離z
Oを-10mm(再生像は、SLM100の奥10mmの位置に表示)、視距離Lを500mmとした。この条件において、再生像の空間周波数が30cpd以上となる画素ピッチは、145μm以下である。一方、FFTを高速に計算可能なデータ数は2のべき乗であることが好ましい。
そこで、ダウンサンプリング手段11は、(a)の画像を水平・垂直方向にそれぞれ1/16に間引き、画素数を128×128、画素ピッチを128μmとする。このようにダウンサンプリングを行っても、再生像の空間周波数は、30cpd以上であるため、間引きによる影響は知覚されないことになる。また、水平・垂直方向にそれぞれ1/16に間引かれ、サンプリング数が1/256となった複素振幅分布に対してFFTを適用するため、元の複素振幅分布に適用する場合に比べて計算の高速化が可能となる。
【0066】
(b)は、(a)をダウンサンプリングした複素振幅分布をホログラム面Hに伝播させた画像である。すなわち、(b)は、アップサンプリング光波伝播手段12が、ダウンサンプリングした複素振幅分布にFFTを適用し、そのスペクトル分布を複製・配置、角スペクトル伝播法により-10mmの伝播距離だけ伝播させ、IFFTを適用した結果である。なお、(b-1)は伝播後の光波の振幅、(b-2)は伝播後の光波の位相を示している。
【0067】
(c)は、(b)のホログラム面Hに伝播させた画像から、ホログラムデータ計算手段13が生成したホログラムデータ(位相ホログラム)を示す。ここでは、参照光を平面波とし、入射角をx方向およびy方向ともに1.5°とした。
【0068】
(e)は、(c)のホログラムデータを再生計算し、再生の一部を拡大した画像である。なお、ここでは、読出光を平面波、波長を532nmとし、入射角を、ホログラムデータを生成した条件と同じにした。(e)に示すように、再生像は(a)の画像が水平・垂直方向にそれぞれ1/16に間引かれた点群として表現されている。
このように、ホログラムデータ生成装置1は、ダウンサンプリングを行って、視覚的に影響のないホログラムデータを生成することができる。
以上の説明では、三次元データとして、断層画像を用いた例で説明した。以下では、多視点画像、多視点断層画像を用いた場合の例を説明する。
【0069】
[他の三次元データの例]
〔多視点画像〕
図9を参照(適宜
図3参照)して、ホログラムデータ生成装置1が、多視点画像からホログラムデータを生成する処理の概要を説明する。
多視点画像は、同一の被写体を複数の視点位置から撮影(またはCG等で仮想的に撮影)した個々の視点位置ごとの画像である。
多視点画像は、二次元の各視点画像に視点位置への方向を付加したものである。また、多視点画像は、画像の各画素に位相(例えば、ランダム位相、等位相、線形位相等)を付加した複素振幅分布である。
図9に示す多視点画像U
mn(x,y,z
o)のxyは二次元座標を示し、z
oはホログラム面Hまでの伝播距離を示す。また、mおよびnは視点位置の多視点画像を識別する識別子である。また、θ
mおよびθ
nは、視点位置の方向を示す水平および垂直方向の角度である。
【0070】
ホログラムデータ生成装置1は、多視点画像Umn(x,y,zo)を、ダウンサンプリングする。そして、ホログラムデータ生成装置1は、伝播計算により、視点位置の方向(θm,θn)にアップサンプリングしてホログラム面Hに伝播させた複素振幅分布Umn(x,y,0)を生成する。そして、ホログラムデータ生成装置1は、ホログラム面Hにおいて、すべての複素振幅分布Umn(x,y,0)を加算して、1つの複素振幅分布U(x,y,0)を生成し、参照光の複素振幅分布を用いてホログラムデータを生成する。
【0071】
〔多視点断層画像〕
図10を参照(適宜
図3参照)して、ホログラムデータ生成装置1が、多視点断層画像からホログラムデータを生成する処理の概要を説明する。
多視点断層画像は、同一の被写体を複数の視点位置から撮影(またはCG等で仮想的に撮影)した個々の視点位置ごとの断層画像である。
多視点断層画像は、二次元の各断層画像に、視点位置への方向を付加したものである。また、多視点断層画像は、画像の各画素に位相(例えば、ランダム位相、等位相、線形位相等)を付加した複素振幅分布である。なお、多視点画像群は、二次元の各視点画像に、視点位置への方向と奥行情報を付加したものであってもよい。
図10に示す多視点断層画像U
imn(x,y,z
i)のxyは二次元座標を示し、z
iはホログラム面Hまでの断層画像ごとの伝播距離を示す。また、iは断層を識別する0以上の整数である。また、mおよびnは視点位置の多視点画像を識別する識別子である。また、θ
mおよびθ
nは、視点位置の方向を示す水平および垂直方向の角度である。
【0072】
ホログラムデータ生成装置1は、多視点断層画像Uimn(x,y,zi)を、ダウンサンプリングする。そして、ホログラムデータ生成装置1は、多視点断層画像Uimn(x,y,zi)を、伝播計算により、視点位置の方向(θm,θn)にアップサンプリングしてホログラム面Hに伝播させた複素振幅分布Uimn(x,y,0)を生成する。そして、ホログラムデータ生成装置1は、ホログラム面Hにおいて、すべての複素振幅分布Uimn(x,y,0)を加算して、1つの複素振幅分布U(x,y,0)を生成し、参照光の複素振幅分布を用いてホログラムデータを生成する。
【0073】
〔狭指向性光波伝播について〕
図9および
図10で説明した多視点画像および多視点断層画像は、視点位置の方向で画像を認識させるため、狭指向性の光波伝播を行う必要がある。
そこで、ここでは、アップサンプリング光波伝播手段12における狭指向性光波伝播の処理について説明する。
なお、ダウンサンプリング手段11の処理については、多視点画像または多視点断層画像であっても、個々の画像のダウンサンプリングの手法は同じであるため、説明を省略する。また、ホログラムデータ計算手段13の処理については、多視点画像または多視点断層画像であっても、同じであるため、説明を省略する。
【0074】
まず、
図11を参照して、アップサンプリング光波伝播手段12が、光波伝播として角スペクトル伝播法を用いる場合の処理について説明する。
図11(a)は、ダウンサンプリング手段11でダウンサンプリングされた複素振幅分布U
down(x,y,z
o)を示す。
図11(b)は、複素振幅分布U
down(x,y,z
o)を高速フーリエ変換(FFT)したスペクトル分布A
down(u,v,z
o)を示す。
図11の(a)から(b)への処理は、
図5の(a)から(b)への処理と同じである。
【0075】
アップサンプリング光波伝播手段12は、スペクトル分布A
down(u,v,z
o)に対して、角スペクトル伝播の演算を行うことで、
図11(c)に示すホログラム面Hにおけるスペクトル分布A
down(u,v,0)を生成する。
そして、アップサンプリング光波伝播手段12は、スペクトル分布A
down(u,v,0)を、視点位置の方向(θ
m,θ
n)に対応する位置にシフトさせるとともに、他の領域をゼロパディングして、
図11(d)に示すアップサンプリングしたスペクトル分布A(u,v,0)を生成する。
そして、アップサンプリング光波伝播手段12は、アップサンプリングされたスペクトル分布Aを多視点画像の数だけ加算し、逆高速フーリエ変換(IFFT)を行うことで、
図11(e)に示す複素振幅分布U(x,y,0)を生成する。
【0076】
なお、スペクトル分布Adown(u,v,0)のシフトとアップサンプリング、および、多視点画像の加算処理は、一括して行ってもよい。すなわち、アップサンプリング光波伝播手段12は、アップサンプリングしたスペクトル分布Adown(u,v,0)の計算用に予め振幅と位相をゼロに初期化した配列(サンプリング数:Nx×Ny)を用意しておき、各多視点画像に対応したスペクトル分布Adown(u,v,0)を計算後、(θm,θn)に対応する位置にシフトさせた上で用意した配列に足し合わせてもよい。これによって、アップサンプリング光波伝播手段12は、ダウンサンプリングされた複素振幅分布Udownから、視点位置の方向に対応し、元のサンプリング数Nx,Nyに応じた複素振幅分布Uを生成することができる。
【0077】
次に、
図12を参照して、アップサンプリング光波伝播手段12が、光波伝播としてフレネル伝播法を用いる場合の処理について説明する。
図12(a)は、ダウンサンプリング手段11でダウンサンプリングされた複素振幅分布U
down(x,y,z
o)を示す。
図12(b)は、複素振幅分布U
down(x,y,z
o)に対して、前記式(11)の演算FTを行うことで、サンプリング間隔を縮小した複素振幅分布U
s(x,y,z
o)を示す。
図12の(a)から(b)への処理は、
図6の(a)から(b)への処理と同じである。
【0078】
そして、アップサンプリング光波伝播手段12は、複素振幅分布U
s(x,y,z
o)を、視点位置の方向(θ
m,θ
n)に対応する位置にシフさせるとともに、他の領域をゼロパディングして、
図12(c)に示すアップサンプリングした複素振幅分布U
up(x,y,z
o)を生成する。
そして、アップサンプリング光波伝播手段12は、アップサンプリングされた複素振幅分布U
upに対して、前記式(13)の係数を乗算し、断層画像の数だけ加算することで、
図12(d)に示すフレネル伝播後の複素振幅分布U(x,y,0)を生成する。
これによって、アップサンプリング光波伝播手段12は、ダウンサンプリングされた複素振幅分布U
downから、視点位置の方向に対応し、元のサンプリング数N
x,N
yに応じた複素振幅分布Uを生成することができる。
【0079】
[変形例]
以上、本発明の実施形態について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、ホログラムデータ生成装置1において、三次元データのダウンサンプリングを行ったが、予め外部でダウンサンプリングを行った三次元データを入力し、ホログラムデータを生成することとしてもよい。その場合、ホログラムデータ生成装置1は、ダウンサンプリング手段11を省いて構成すればよい。
これによって、ホログラムデータ生成装置1は、外部から入力する三次元データのデータ量を削減することで、スループットを高めることができる。
【0080】
また、ここでは、アップサンプリング光波伝播手段12が行う光波伝播計算として、角スペクトル伝播法、フレネル伝播法を例として説明した。
しかし、これら以外の光波伝播計算を用いても構わない。例えば、角スペクトル伝播法は、シフト角スペクトル法等の派生計算法を用いてもよい。また、例えば、フレネル伝播法は、シフト回折計算法等の派生計算手法を用いてもよい。
また、フレネル伝播法は、伝播距離z
o(
図1参照)が、(x
2+y
2)/(2λ) << z
0の場合、以下の式(14)に示すフラウンホーファー回折計算を用いてもよい。
【0081】
【0082】
また、ここでは、三次元データ記憶装置2に予め位相が付加された三次元データ(ホログラム生成対象画像)を記憶することとした。
しかし、ホログラムデータ生成装置1に入力する画像は、必ずしも位相を付加した複素振幅分布である必要はない。
その場合、ホログラムデータ生成装置1は、アップサンプリング光波伝播手段12の前段で、ダウンサンプリング手段11の前段または後段に、画像に位相を付加する位相付加手段を備える構成とすればよい。
【符号の説明】
【0083】
1 ホログラムデータ生成装置
10 データ受信手段
11 ダウンサンプリング手段
12 アップサンプリング光波伝播手段
13 ホログラムデータ計算手段
14 ホログラムデータ生成条件記憶手段
2 三次元データ記憶装置