特許 7267967 計算機合成ホログラム生成装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-24

(45)【発行日】2023-05-02

(54)【発明の名称】計算機合成ホログラム生成装置、方法およびプログラム

(51)【国際特許分類】

   G03H 1/08 20060101AFI20230425BHJP

   G06T 15/00 20110101ALI20230425BHJP

【ＦＩ】

G03H1/08

G06T15/00 501

【請求項の数】 12

(21)【出願番号】P 2020052720

(22)【出願日】2020-03-24

(65)【公開番号】P2021152580

(43)【公開日】2021-09-30

【審査請求日】2022-04-04

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(73)【特許権者】

【識別番号】504173471

【氏名又は名称】国立大学法人北海道大学

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】渡邊 良亮

(72)【発明者】

【氏名】坂本 雄児

【審査官】藤岡 善行

(56)【参考文献】

【文献】特開平１０－２２２０４６（ＪＰ，Ａ）

【文献】特表２０１０－５２７０３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｈ １／０８

(57)【特許請求の範囲】

【請求項1】

ホログラム面の物体光波分布を静止物体および移動物体の各物体点光源から伝搬される光波に基づいて計算し、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成する装置において、
静止物体および移動物体の各物体点光源を取得する手段と、
フレームごとに静止物体の可視の各物体点光源からホログラム面への光波伝搬に基づいて計算した静止物体光波分布を保持する静止物体光波分布保持手段と、
前フレームで保持した静止物体光波分布を現フレームで可視化又は不可視化した静止物体の各物体点光源から伝搬される光波に基づいて更新する静止物体光波分布更新手段と、
現フレームの物体光波分布を前記更新された静止物体光波分布および現フレームの移動物体の各物体点光源から伝搬される光波に基づいて計算する光波分布計算手段とを具備したことを特徴とする計算機合成ホログラム生成装置。

【請求項2】

静止物体の可視の各物体点光源からホログラム面への光波伝搬に基づいて静止物体光波分布を計算する手段を更に具備したことを特徴とする請求項１に記載の計算機合成ホログラム生成装置。

【請求項3】

前記静止物体光波分布を計算する手段は、前フレームが静止物体光波分布を保持していないときに現フレームの静止物体光波分布を計算することを特徴とする請求項２に記載の計算機合成ホログラム生成装置。

【請求項4】

現フレームのホログラム面の物体光波分布を前記各物体点光源から伝搬される光波に基づいて第１手法または第１以外の手法で計算する選択的光波伝搬計算手段と、
前記第１手法または第１以外の手法を選択する計算手法選択手段とを具備し、
前記第１手法は、前記静止物体光波分布保持手段、静止物体光波分布更新手段および光波分散計算手段を用いて物体光波分布を計算し、
前記計算手法選択手段は、光波伝搬計算の総回数が相対的に少ない手法を選択することを特徴とする請求項１ないし３のいずれかに記載の計算機合成ホログラム生成装置。

【請求項5】

前記第１以外の手法は、静止物体の各物体点光源が可視および不可視のいずれであるかに基づいて前記静止物体光波分布を計算して保持し、当該静止物体光波分布の計算結果および移動物体の各物体点光源から伝搬される光波に基づいて物体光波分布を計算し、
前記第１手法は、前フレームで第１以外の手法が選択されていると、前フレームで保持された静止物体光波分布を用いて現フレームの物体光波分布を計算することを特徴とする請求項４に記載の計算機合成ホログラム生成装置。

【請求項6】

前記第１以外の手法が第２手法および第３手法の少なくとも一方を含み、
前記計算手法選択手段は第１手法ないし第３手法のいずれかを選択し、
前記第２手法は、フレームごとに静止物体および移動物体の可視の全ての物体点光源から伝搬される光波を計算して物体光波分布を計算し、
前記第３手法は、静止物体の全ての物体点光源から伝搬される光波を予め計算して固定光波分布として保持し、当該固定光波分布に対してフレームごとに、移動物体によって遮蔽される物体点光源から伝搬される光波を減算し、移動物体の各物体点光源から伝搬される光波を加算することで物体光波分布を計算することを特徴とする請求項４または５に記載の計算機合成ホログラム生成装置。

【請求項7】

前記第２手法は、静止物体の可視の各物体点光源から伝搬される光波を加算する計算を先に行って静止物体光波分布を保持し、当該静止物体光波分布に移動物体の各物体点光源から伝搬される光波を計算して加算することで物体光波分布を求め、
前記第１手法は、前フレームで第２手法が選択されていると、前フレームで保持された静止物体光波分布を用いて現フレームの物体光波分布を計算することを特徴とする請求項６に記載の計算機合成ホログラム生成装置。

【請求項8】

前記第３手法は、前記固定光波分布から静止物体の不可視の物体点光源による光波伝搬を減じる計算を先に行って静止物体光波分布を保持し、当該静止物体光波分布に移動物体の各物体点光源から伝搬される光波を計算して加算することで物体光波分布を求め、
前記第１手法は、前フレームで第３手法が選択されていると、前フレームで保持された静止物体光波分布を用いて現フレームの物体光波分布を計算することを特徴とする請求項６に記載の計算機合成ホログラム生成装置。

【請求項9】

コンピュータが、ホログラム面の物体光波分布を静止物体および移動物体の各物体点光源から伝搬される光波に基づいて計算し、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成する方法において、
静止物体および移動物体の各物体点光源を取得し、
フレームごとに静止物体の可視の各物体点光源からホログラム面への光波伝搬に基づいて計算した静止物体光波分布を保持し、
前フレームで保持した静止物体光波分布を現フレームで可視化又は不可視化した静止物体の各物体点光源から伝搬される光波に基づいて更新し、
現フレームの物体光波分布を前記更新された静止物体光波分布および現フレームの移動物体の各物体点光源から伝搬される光波に基づいて計算することを特徴とする計算機合成ホログラム生成方法。

【請求項10】

前フレームで静止物体光波分布が保持されていないと、静止物体の可視の各物体点光源からホログラム面への光波伝搬に基づいて静止物体光波分布を計算することを特徴とする請求項９に記載の計算機合成ホログラム生成方法。

【請求項11】

ホログラム面の物体光波分布を静止物体および移動物体の各物体点光源から伝搬される光波に基づいて計算し、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成するプログラムにおいて、
静止物体および移動物体の各物体点光源を取得する手順と、
フレームごとに静止物体の可視の各物体点光源からホログラム面への光波伝搬に基づいて計算した静止物体光波分布を保持する手順と、
前フレームで保持した静止物体光波分布を現フレームで可視化又は不可視化した静止物体の各物体点光源から伝搬される光波に基づいて更新する手順と、
現フレームの物体光波分布を前記更新された静止物体光波分布および現フレームの移動物体の各物体点光源から伝搬される光波に基づいて計算する手順と、
をコンピュータに実行させる計算機合成ホログラム生成プログラム。

【請求項12】

静止物体の可視の各物体点光源からホログラム面への光波伝搬に基づいて静止物体光波分布を計算する手順を更に含むことを特徴とする請求項１１に記載の計算機合成ホログラム生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計算機合成ホログラム(CGH：Computer-Generated Hologram)の生成装置、方法およびプログラムに係り、特に、移動物体が静止物体を遮りながら移動する場合でも各物体を含む3DシーンのCGH動画を少ない計算負荷で高速に生成できる計算機合成ホログラム生成装置、方法およびプログラムに関する。

【背景技術】

【0002】

ホログラフィは光の干渉・回折現象に基づいて、物体から伝搬される光（物体光）を記録・再生する立体表示技術である。ホログラフィ技術では、物体から放たれる光の波とレーザーなどから照射される参照光とを干渉させ、干渉縞として物体光を記録し、この干渉縞に光を当てることで記録時の光を再現できる。ホログラフィ技術では、物体から放たれる光を忠実に再現できることから、人の３次元知覚の生理的要因を全て満たす理想的な３次元表示技術とされている。

【0003】

計算機合成ホログラム(Computer-Generated Hologram：CGH)は、ホログラムの計算のために必要となる光波の伝搬や干渉などの計算を計算機内部で光波シミュレーションとして行い、干渉縞を画像などの電子データとして出力する技術である。写真乾板などを用いて撮影するアナログのホログラムと比較すると、撮影のための複雑な光学系が不要であることや、液晶に表示するCGHを次々と切り替えていくことで動画化が容易に行えるなどの利点が存在するため、次世代のテレビや、VR/ARを始めとするXRデバイスなどへの適用が期待されている。

【0004】

一方、広視野での視聴のためには光の波長オーダのピクセルピッチの液晶デバイス等が必要となる点や、光波シミュレーションの計算時間が大きいことなど、解決すべき課題も多く存在していた。また、ホログラフィの再生を考える場合、その入力データとしては予め用意された3DCG(3D Computer Graphics)のモデルなどが想定され、この3DCGのモデルから伝搬される光波を計算することで入力3DCGの立体表示を実現できる。

【0005】

しかしながら、入力される3DCGのモデルを、どのような形で光を放つ物体として落とし込むか、更に物体から伝搬される光波を記録する"CGHのレンダリング技法"については未確立の状況である。

【0006】

非特許文献１には、CGのレイトレーシング法をベースとして、写実性の高いレンダリングを行うことが可能なCGHの計算手法が開示されている。非特許文献１は、CGのレンダリング技法の中でも写実的なレンダリングが可能とされるレイトレーシング法をCGHのレンダリング向けに発展させた発明であり、写実性の高いCGHのレンダリングが可能となる。

【0007】

特許文献１には、デプスバッファを用いて、あるシーンで可視となる部分から伝搬される光波を計算し、遮蔽されている部分から伝搬される光波を計算しないことで隠面消去を考慮したホログラム計算を可能にする技術が開示されている。

【0008】

非特許文献１や特許文献１のような技術を用いれば、ある3Dシーンに生じる遮蔽を考慮し、適切な隠面消去を行うことができる。一方、CGHの抱える計算処理時間の膨大さという課題については未解決であり、光波シミュレーションの計算に多くの時間を要するという課題が存在していた。

【0009】

このような技術課題に対して、非特許文献２には、3Dシーン内の全ての物体が必ずしも移動物体ではなく、静止したままの物体もあることを鑑み、最初に静止物体から伝搬される光波を全て記録し、その後、移動物体が静止物体を覆い隠す際には、移動物体から伝搬される光波を加算する一方、移動物体が覆い隠す領域から伝搬される光波を減算することで、移動物体が小さい場合のCGHの生成を高速化する技術が開示されている。

【0010】

図８，９，１０は非特許文献２による光波伝搬の計算方法を模式的に示した図である。初めに、図８に示したように静止物体９０のみの3Dシーンに対してCGのレイトレーシング法によるレイトレーシングを実施することで静止物体９０を構成する物体点光源s₁，s₂…s_i…s₇を全て取得する。

【0011】

次いで、図９に示したように、静止物体９０の全ての物体点光源s_iからホログラム面１００へ伝搬される光波S_i(x, y)が次式(1)で求められる。ここで、(x, y)は光波が伝搬されるホログラム面上の画素位置、A_iは物体点光源の輝度、r_iは物体点光源とホログラム面(x, y)との距離、kは波数、iは静止物体点光源を識別するインデックスである。

【0012】

【数1】

【0013】

静止物体９０の全ての物体点光源s₁，s₂…から伝搬された光波の複素振幅分布u_s(x, y)は、各物体点光源s₁，s₂…から伝搬される光波S₁(x, y)，S₂(x, y)…を用いて次式(2)で求められる。

【0014】

【数2】

【0015】

次いで、図１０に示したように、現フレームにおける移動物体８０の物体点光源m₁，m₂を求め、次式(3)のように、静止物体９０の全ての物体点光源s₁，s₂…から伝搬される光波に基づいて計算した複素振幅分布u_s(x, y)に前記物体点光源m₁，m₂から伝搬される光波M₁，M₂を加算すると共に、移動物体８０により遮蔽された静止物体９０の物体点光源s₃，s₄から伝搬される光波S₃，S₄を減じることで、移動物体８０が静止物体９０の一部を遮蔽する3Dシーンの複素振幅分布u(x, y)が計算される。

【0016】

【数3】

【0017】

非特許文献２の技術は、例えばスポーツシーンのホログラフィを生成する際に、ベースとなるスタジアムのモデルを静的な3Dモデルとして用意し、その上を移動物体として人やボールが移動するようなシーンのCGHの高速計算に応用できると考えられる。

【0018】

特許文献２には、観察者の位置により近接するオブジェクト点のホログラムと、前者のオブジェクト点によって覆われているために可視ではないオブジェクト点のホログラムとの差を差分ホログラムとして得ることで計算処理の高速化を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0019】

【文献】特開平10-288939号公報

【文献】特表2010-528325号公報

【文献】特願2019-127852号

【非特許文献】

【0020】

【文献】T. Ichikawa, T. Yoneyama, and Y. Sakamoto, "CGH calculation with the ray tracing method for the Fourier transform optical system," Opt. Express 21, 32019-32031 (2013).

【文献】渡邊良亮, 市川翼, 坂本雄児, "光線追跡法を用いた計算機合成ホログラムにおける動画作成時の高速隠面消去法に関する研究," 3 次元画像コンファレンス2014, 2-2, 2014.

【文献】J. Chen, R. Watanabe, K. Nonaka, T. Konno, H. Sankoh, S. Naito, "A Fast Free-viewpoint Video Synthesis Algorithm for Sports Scenes", 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2019), WeAT17.2, (2019).

【文献】M. Lucente," Interactive computation of holograms using a look-up table, " J. Electron. Imaging 2, 28-34 (1993).

【発明の概要】

【発明が解決しようとする課題】

【0021】

非特許文献２では、ある移動物体が存在する際に、いずれのフレームでも予め計算した複素振幅分布u_s(x, y)に現フレームの移動物体８０から伝搬される光波を加算した後、移動物体８０で遮蔽される静止物体から伝搬される光波を減算することでCGHの生成を行う。そのため、移動物体８０のサイズが大きくなると、静止物体９０から伝搬される光波を減算するための計算回数が増えて高速計算ができないという技術課題があった。

【0022】

具体的には、移動物体８０のサイズがシーン全体の50%以上を占める場合、加算、減算と二度の伝搬計算を行う都合上、非特許文献２の手法で計算すると計算時間が増加してしまうため、従来の非特許文献１のアプローチを取る必要がある。そのため、更なる高速化アプローチが求められる。

【0023】

また、特許文献２の技術を移動物体８０と静止物体９０とが存在するシーンに適用し、前フレームとの差分を計算する場合、変化量が大きい場合には移動物体８０から伝搬される光波の変化に加えて、移動物体８０が移動することによって可視化した静止物体９０の部分と、移動物体８０が移動することで遮蔽されて不可視化した静止物体の部分から伝搬される光波の計算を考慮しなければならないので計算量が増大しがちである。

【0024】

特許文献２では、サブホログラムの計算を、LUT(Look-Up Table)を用いて高速化する機構も示されているが、LUTを用いる場合は予め多くのデータをテーブルに保存しておく必要があり、使用するメモリ量の観点でも課題が大きい。

【0025】

本発明の目的は、上記の技術課題を解決し、移動物体が静止物体を遮りながら移動する場合でも各物体を含む3DシーンのCGH動画を少ない計算負荷で高速に生成できる計算機合成ホログラム生成装置、方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0026】

上記の目的を達成するために、本発明は、ホログラム面の物体光波分布を静止物体および移動物体の各物体点光源から伝搬される光波に基づいて計算し、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成する装置において、以下の構成を具備した。

【0027】

(1) 静止物体および移動物体の各物体点光源を取得する手段と、フレームごとに静止物体の可視の各物体点光源からホログラム面への光波伝搬に基づいて計算した静止物体光波分布を保持する静止物体光波分布保持手段と、前フレームで保持した静止物体光波分布を現フレームで可視化又は不可視化した静止物体の各物体点光源から伝搬される光波に基づいて更新する静止物体光波分布更新手段と、現フレームの物体光波分布を前記更新された静止物体光波分布および現フレームの移動物体の各物体点光源から伝搬される光波に基づいて計算する光波分散計算手段とを具備した。

【0028】

(2) 静止物体の可視の各物体点光源からホログラム面への光波伝搬に基づいて静止物体光波分布を計算する手段を更に具備した。

【0029】

(3) 現フレームのホログラム面の物体光波分布を前記各物体点光源から伝搬される光波に基づいて第１手法または第１以外の手法で計算する選択的光波伝搬計算手段と、第１手法または第１以外の手法を選択する計算手法選択手段とを具備し、第１手法は、前記静止物体光波分布保持手段、静止物体光波分布更新手段および光波分散計算手段を用いて物体光波分布を計算し、計算手法選択手段は、光波伝搬計算の総回数が相対的に少ない手法を選択するようにした。

【0030】

(4) 第１以外の手法は、静止物体の各物体点光源が可視および不可視のいずれであるかに基づいて前記静止物体光波分布を計算して保持し、当該静止物体光波分布の計算結果および移動物体の各物体点光源から伝搬される光波に基づいて物体光波分布を計算し、現フレームで選択された第１手法は、前フレームで第１以外の手法が選択されていると、前フレームで保持された静止物体光波分布を用いて現フレームの物体光波分布を計算するようにした。

【発明の効果】

【0031】

本発明によれば、以下のような効果が達成される。

【0032】

(1) ホログラム面の物体光波分布が、フレームごとに静止物体の可視の物体点光源から伝搬される光波に基づいて計算／更新されたのちに保持された静止物体光波分布を用いて計算されるので、光波伝搬の計算に用いる各物体点光源からホログラム面への光波伝搬の計算回数を減じることができる。したがって、光波伝搬の計算回数が減ぜられる分だけ3DシーンのCGH動画を少ない計算負荷で高速に生成できるようになる。

【0033】

(2) 静止物体の可視の各物体点光源からホログラム面への光波伝搬に基づいて静止物体光波分布を計算する手段を具備したので、前フレームで静止物体光波分布が保持されていなくても物体光波分布を高速に計算できるようになる。

【0034】

(3) 現フレームの物体光波分布を各物体点光源から伝搬される光波に基づいて計算できる、本発明を適用した手法を含む複数の計算手法を具備し、物体光波分布がいずれかの計算手法を選択的に用いて計算されるようにしたので、3Dシーンの態様にかかわらず、その3DCGH動画を少ない計算負荷で高速に生成できるようになる。

【0035】

(4) いずれの計算手法でも静止物体光波分布が計算されて保持され、当該静止物体光波分布計算を経て物体光波分布が計算されるようにしたので、前フレームでいずれの計算手法が選択されていても次のフレームで第１手法を用いた高速な物体光波分布計算が可能になる。

【図面の簡単な説明】

【0036】

【図1】本発明の第１実施形態に係る計算機合成ホログラム生成装置の機能ブロック図である。

【図2】要素ホログラムからのレイトレーシングに基づくレンダリング法を示した図である。

【図3】3DCGHの出力例を示した図である。

【図4】静止物体光波分布の更新／計算方法を模式的に表した図である。

【図5】本発明の第２実施形態に係る計算機合成ホログラム生成装置の機能ブロック図である。

【図6】第２および第３手法を本発明の第１手法と比較した図である。

【図7】第２および第３手法で静止物体光波分布を計算し、保持する方法を示した図である。

【図8】非特許文献２による光波伝搬の計算方法を示した模式図（その１）である。

【図9】非特許文献２による光波伝搬の計算方法を示した模式図（その２）である。

【図10】非特許文献２による光波伝搬の計算方法を示した模式図（その３）である。

【発明を実施するための形態】

【0037】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る計算機合成ホログラム生成装置１の主要部の構成を示した機能ブロック図である。

【0038】

このような計算機合成ホログラム生成装置１は、CPU、メモリ、インタフェースおよびこれらを接続するバス等を備えた汎用のコンピュータやモバイル端末に、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。

【0039】

本実施形態では、3Dシーンを静止物体と移動物体とに分割した際、移動物体のフレーム間での移動により隠面となる静止物体の領域に連続性が認められる点に着目し、静止物体の可視領域から伝搬される光波を更新しながら保持し続け、前フレームの「静止物体の可視領域から伝搬される光波」をベースに、静止物体が移動物体により遮蔽される3DシーンでのCGHの動画生成を高速化する。

【0040】

シーン定義部１０は、静止物体の3DCGモデルを生成するモデル計算部１０ａおよび移動物体の3DCGモデルを計算するモデル計算部１０ｂを具備し、各3DCGのモデルデータを入力として、ホログラフィを制作したい特定シーンの3DCGを計算機内の座標空間に配置する。

【0041】

なお、3DCGモデルデータは、移動が発生する移動物体と、予め移動しないことが保証されている静止物体とを区別できるように入力され、各3DCGモデルは自らが移動物体であるか静止物体であるかの情報を有しているものとする。

【0042】

用意される3DCGは必ずしも仮想物体である必要はなく、非特許文献３で示されるような多数のカメラから被写体の3DCGモデルを復元する技術と組み合わせることで、実世界のシーンを立体映像として表現することも可能となる。

【0043】

レンダリング部２０は、前記シーン定義部１０が定義した3DCGシーンに対して、視聴者の視点からの映像を再生できるように各3DCGに対してモデルレンダリングを実施し、光波伝搬計算のための物体点光源を、移動物体および静止物体のそれぞれから取得する。具体的には、ポリゴンなどで表現される3Dシーンを、ある視点から見た3D点群に変換する計算処理が行われる。

【0044】

本実施例では、非特許文献１に開示されている要素ホログラムからのレイトレーシングに基づくレンダリング法を利用してシーンのレンダリングを行うが、3Dシーンを、ある視点から見た3D点群に変換することが可能であれば、その他のレンダリング法を用いても良い。

【0045】

本実施形態では、図２に示すように、ホログラム面を要素ホログラムと呼ばれる小領域に分割し、各小領域の中央から、CGの代表的なレンダリング技法の一つであるレイトレーシング法を用いてレンダリングを行う。

【0046】

レイトレーシング法は、ある一点から光線を飛ばし、その光線と交わるポリゴンの色で画面を着色することで、隠面消去やシェーディングなどを考慮した写実的なレンダリングを実現することができる技法である。本実施形態では、光線を飛ばした後に得られるポリゴンとの交点の位置及び色を、３次元の位置情報(x, y, z)および色情報(R, G, B)を持つ点として取得し、記録する。物体が大きければ多数の点を取得できることから、レンダリング部２０では対象シーンをある視点から見たときのPoint Cloudが得られる。

【0047】

ここで、ホログラム面を要素ホログラムに分割し、その中心からそれぞれレイトレーシングを行う理由は、視聴する位置に応じたオクルージョン（遮蔽関係）を適切に表現するためである。

【0048】

例えば、ホログラム面の中心１箇所からのレイトレーシングを実施する場合、違う視点から立体映像を視聴した際に適切にオクルージョンが表現されない可能性がある。そこで、ホログラム面を細かい要素ホログラム単位に分割し、要素ホログラムの中央からそれぞれレイトレーシングをすることで、視点ごとに異なるオクルージョンを実現することができる。

【0049】

静止物体光波分布計算／更新部３０は、静止物体光波分布計算部３０ａ、静止物体光波分布更新部３０ｂおよび静止物体光波分布保持部３０ｃを含み、静止物体の可視の物体点光源からホログラム面への光波伝搬に基づいて当該静止物体の可視の物体点光源のみに依存する光波分布（静止物体光波分布）を計算する。

【0050】

前記静止物体光波分布計算部３０ａは、最初のフレーム画像に含まれる静止物体の可視の物体点光源s_iからホログラム面へ伝搬される光波Sに基づいて静止物体光波分布u_bg(x, y)を計算する。計算結果は静止物体光波分布保持部３０ｃに保持される。静止物体光波分布更新部３０ｂは、最初のフレーム画像以外に関して、前フレームで計算／更新されて前記静止物体光波分布保持部３０ｃに保持された静止物体光波分布u_bg(x, y)を、現フレームで可視化または不可視化した静止物体の各物体点光源s_iから伝搬される光波Sに基づいて更新する。更新結果は静止物体光波分布保持部３０ｃに更新登録される。

【0051】

光波分布計算部４０は、現フレームにおける移動物体の各物体点光源m_jから伝搬される光波M_jおよび前記更新された静止物体光波分布u_bg(x, y)に基づいて、静止物体および移動物体の各物体点光源s_i，m_jから伝搬される光波S_i，M_jによる現フレームの物体光波分布u(x, y)を計算する。

【0052】

干渉計算部５０は、前記光波分布計算部４０が計算したホログラム面上の物体光波分布u(x, y)に対して、計算機上の光波シミュレーションとして参照光波を差し込むことで干渉計算を行う。点光源から照射された参照光波がホログラム面上に伝搬されたときの光波の複素振幅分布R(x, y)は次式(4)で表される。

【0053】

【数4】

【0054】

ここで、Roは参照光の強度であり、rは参照光の位置(0,0,f)からホログラム面上の位置(x, y,0)までの距離を表している。fは本実施形態が計算法のベースとした非特許文献１]の光学系に配置されるレンズの焦点距離である。(4)式では非特許文献１と同じように点光源から照射される球面波として参照光を定義しているが、この参照光は球面波に限らず平行光などでもよく、本発明は任意の参照光に対して適用することが可能である。
この参照光波と物体光波との干渉は次式(5)で表される。

【0055】

【数5】

【0056】

I(x, y)はCGH（干渉縞）の輝度分布であり、このI(x, y)の値に基づいて、CGHが後段の3DCGH出力部６０へ提供される。3DCGH出力部６０は、干渉計算部５０が計算した干渉縞を画像データとして出力する。3DCGHの出力形式は任意だが、一般的には図３に示したように、0-255などの一定の範囲の輝度値で示されることが多い。

【0057】

なお、干渉計算部５０で計算された干渉縞は、このレンジに正規化されていない場合が多いため、最大値を255、最小値を0とするような正規化を行うことが望ましい。また、出力される3DCGHに関しては各3DCGHを画像データとして1枚ずつ出力してもよいし、ウィンドウに画像が随時表示されるような形式であってもよい。

【0058】

図４は、前記静止物体光波分布計算／更新部３０および光波分布計算部４０による光波分布の更新／計算方法を模式的に表した図であり、連続するフレーム間で前フレームの物体光波分布u₁を計算後に現フレームの物体光波分布u₂を計算する例を示している。

【0059】

本実施形態では、静止物体９０の可視領域上の物体点光源s_iから伝搬される光波S_iによるホログラム面１００上の静止物体光波分布u_bg(x, y)を更新しながら保持し続け、現フレームの物体光波分布u₂を当該静止物体光波分布u_bg(x, y)を利用して計算することで計算処理の高速化を図る。

【0060】

前フレームが最初のフレームであれば静止物体光波分布u_bg(x, y)が存在しないので、可視領域にある7つの物体点光源（ここでは、静止物体の４つの物体点光源s₁，s₂，s₆，s₇および移動物体の３つの物体点光源m₁，m₂，m₃）からホログラム面１００への光波伝搬が計算される。

【0061】

本実施形態では、初めに静止物体光波分布計算部３０ａが次式(6)に基づいて、静止物体９０の可視の物体点光源s₁，s₂，s₆，s₇からホログラム面へ伝搬される光波S_iを計算し、加算することで静止物体光波分布u_bg (x, y)を求める。静止物体光波分布u_bg (x, y)の計算結果は前記静止物体光波分布保持部３０ｃに保持される。

【0062】

【数6】

【0063】

前記光波分布計算部４０は、移動物体８０の可視の３つの物体点光源m₁，m₂，m₃から伝搬される光波M_jを次式(7)に基づいて計算し、これを次式(8)に基づき前記静止物体光波分布u_bg(x, y)に加算することで当該フレームのホログラム面の物体光波分布u₁(x, y)を計算する。

【0064】

【数7】

【0065】

【数8】

【0066】

次のフレーム（現フレーム）が入力されると、レンダリング部２０が移動物体８０の３つの物体点光源m₄，m_5，m₆を取得する。前記静止物体光波分布更新部３０ｂは、静止物体９０の現フレームで可視化した物体点光源および不可視化した物体点光源を認識する。本実施形態では、物体点光源s₃が可視化する一方、物体点光源s₆が遮蔽されて不可視化したので、次式(9)のように、前フレームで計算した静止物体光波分布u_bg (x, y)を前記静止物体光波分布保持部３０ｃから取得し、これに不可視化した物体点光源s₆から伝搬される光波S₆を減じる一方、可視化した物体点光源s₃から伝搬される光波S₃を加算することで更新する。更新された静止物体光波分布u_bg (x, y)は前記静止物体光波分布保持部３０ｃで保持される。

【0067】

【数9】

【0068】

前記光波分布計算部４０は、次式(10)のように、前記更新された静止物体光波分布u_bg (x, y)に移動物体８０の各物体点光源m₄，m₅，m₆から伝搬される光波M₄，M₅，M₆を加算することで現フレームの物体光波分布u₂(x, y)を計算する。

【0069】

【数10】

【0070】

本実施形態によれば、最初のフレームの計算方法は、可視の全ての物体点光源s₁，s₂，s₆，s₇，m₁，m₂，m₃から伝搬される光波を計算するので、光波伝搬の計算回数は従来と同様に7回となる。

【0071】

これに対して、次フレームでは静止物体光波分布u_bg(x, y)の更新に2回、移動物体８０から伝搬される光波の加算に3回の光波伝搬計算を行えば良いから、光波伝搬計算の総回数を5回に減じることができる。

【0072】

このように、本実施形態によれば静止物体の可視の各物体点光源s_iから伝搬される光波S_iを計算して求めた静止物体光波分布u_bg(x, y)を計算、更新、保持し、次フレームでは当該静止物体光波分布u_bg(x, y)をベースとした光波計算を行うので、少ない計算回数で最終的なホログラム面の物体光波分布u(x, y)を得られるようになる。

【0073】

図５は、本発明の第２実施形態に係る計算機合成ホログラム生成装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。

【0074】

本実施形態は、計算手法選択部３５および選択的光波伝搬計算部４５を具備し、フレーム間での移動物体８０による静止物体９０の物体点光源の遮蔽状況に応じて、光波分布計算に関する複数の計算手法のいずれかが選択的に実行されるようにした点に特徴がある。

【0075】

第１実施形態のように、隠面領域の連続性に着目した手法は、フレーム間で隠面領域に連続性があれば有効であるが、そうでない場合には処理時間が多くなってしまう懸念がある。そこで、本実施形態では選択的光波伝搬計算部４５が光波分布計算手法として第１、第２および第３手法を備え、計算手法選択部３５がいずれかの計算手法を選択する。

【0076】

計算手法の選択はホログラム面全体として行っても良いが、要素ホログラムごとに選択して要素ホログラムごとに異なる計算手法が選択されるようにしても良い。一般に、ある要素ホログラムから移動物体が見えていても、他の要素ホログラムからは移動物体が見えないような状況が起こり得るためである。

【0077】

第１手法は、本発明の第１実施形態を適用した手法であり、前記静止物体光波分布計算／更新部３０および光波分布計算部４０に相当する機能を備える。第２手法は、レンダリング部２０から得られる全ての物体点光源s_i，m_jから伝搬される物体光波伝搬を都度計算する手法（非特許文献１に代表される従来手法)である。

【0078】

第３手法は、静止物体９０の全ての物体点光源s_iから伝搬される光波u_s(x, y)を予め計算して固定値（固定光波分布）として保持し、この固定光波分布u_s(x, y)からフレームごとに、移動物体８０によって遮蔽される物体点光源s_iから伝搬される光波S_iを都度減算すると共に、移動物体８０の各物体点光源m_jから伝搬される光波M_jを都度加算する手法（非特許文献2に代表される従来手法）である。

【0079】

計算方法の決定方法に関しては、レンダリング部２０でのレイトレーシングの結果を蓄積しておき、前フレームの結果と比較することで伝搬回数を計算することが可能である。

【0080】

図６は、計算手法により光波伝搬の計算回数が異なる例を示した図であり、前フレームでは、静止物体の７つの物体点光源s₁～s₇のうち３つ（s₃，s₄，s₅）が移動物体８０により遮蔽されているので、可視の７つの物体点光源（s₁，s₂，m₁，m₂，m₃，s₆，s₇）から伝搬される光波に基づいて物体光波分布u₁(x,y)が計算されている。

【0081】

現フレームでは移動物体が移動したことにより、物体点光源s3が可視化する一方、物体点光源s6が遮蔽により不可視化している。したがって、第２手法では現フレームで可視の７つの物体点光源s₁，s₂，s₃，m₄，m₅，m₆，s₇から伝搬される光波S₁，S₂，S₃，M₄，M₅，M₆，S₇が全て計算される。その結果、現フレームで第２手法が選択された場合の伝搬計算の総回数は７回となる。

【0082】

第３手法では、静止物体の全て（ここでは、７つ）の物体点光源s₁～s₇から伝搬される光波S₁～S₇に基づいて予め計算された固定光波分布u_s(x, y)から、現フレームで遮蔽により不可視化した３つの物体点光源s₄，s₅，s₆から伝搬される光波S₄，S₅，S₆を計算して減じる一方、移動物体の３つの各物体点光源m₄，m₅，m₆から伝搬される光波M₄，M₅，M₆が計算されて加算される。その結果、現フレームで第３手法が選択された場合の伝搬計算の総回数は６回となる。

【0083】

これに対して、本発明の第１実施形態を適用した第１手法では、前フレームが同様に第１計算手法で計算されていれば、次式(11)で表される静止物体光波分布u_bg(x, y)が既登録である。

【0084】

【数11】

【0085】

第１手法では、静止物体光波分布u_bg(x, y)を現フレームに合わせて更新するために、前フレームの静止物体光波分布u_bg(x, y)から、現フレームで不可視化した物体点光源s₆から伝搬される光波S₆を減じる一方、現フレームで可視化した物体点光源s₃から伝搬される光波S₃を加算するために２回の伝搬計算が必要となる。

【0086】

さらに、更新された静止物体光波分布u_bg(x, y)に移動後の移動物体の３つの物体点光源m₄，m₅，m₆から伝搬される光波M₄，M₅，M₆を計算して加算するために３回の伝搬計算回数が必要となる。その結果、現フレームでの第１手法による伝搬計算の総回数は５回となって最小となるため、本発明の第１実施形態を適用した第１手法が前記計算手法選択部３５により選択されることになる。

【0087】

ところで、本実施形態において各フレームでの光波分布計算に第１手法を効率的に適用するためには、前フレームにおいて静止物体光波分布u_bg(x, y)が計算され、保持されていなければならない。

【0088】

この点、図７に示したように、前フレームで第２手法が選択された際、静止物体の物体点光源s_iから伝搬される光波S_iを加算する計算を先に行うことで静止物体光波分布u_bg(x, y)を保持できる。

【0089】

すなわち、前フレームで７つの物体点光源（s₁，s₂，m₁，m₂，m₃，s₆，s₇）が可視であった場合、最初に静止物体の４つの物体点光源s₁，s₂，s₆，s₇から伝搬される光波を計算して加算すれば静止物体光波分布u_bg(x, y)が得られる。次いで、当該静止物体光波分布u_bg(x, y)に移動物体の３つの物体点光源m₁，m₂，m₃から伝搬される光波M₁，M₂，M₃を計算して加算すれば、第２手法でも新たな計算負荷を生じさせることなく物体光波分布u₁(x, y)を得られる。

【0090】

このように、各フレームで第２手法が選択された場合も、静止物体光波分布u_bg(x, y)が先に計算されるように計算順序を規定し、これを保持しておけば、次フレームでの第１手法の選択に備えられる。

【0091】

同様に、前フレームで第３計算手法が選択された際、固定光波分布u_s(x, y)から不可視の物体点光源による光波伝搬を減じる処理を経て物体光波分布が計算される。このとき、固定光波分布u_s(x, y)から不可視の静止物体の物体点光源s₃，s₄，s₅による光波S₃，S₄，S₅のみを減じる計算を先に行えば静止物体光波分布u_bg(x, y)が得られる。次いで、当該静止物体光波分布u_bg(x, y)に移動物体の３つの物体点光源m₁，m₂，m₃から伝搬される光波M₁，M₂，M₃を計算して加算すれば、第３手法でも新たな計算負荷を生じさせることなく物体光波分布u₁(x, y)を得られる。

【0092】

したがって、各フレームで第３計算手法が選択された場合も、静止物体光波分布u_bg(x, y)が先に計算されるように計算順序を規定し、これを保持しておけば、次フレームでの第１計算手法の選択に備えられる。

【0093】

なお、上記のような手順で計算を行うことによって、ホログラム面上の複素振幅を保持するにあたって、u_bg (x, y)やu_s(x, y)などの限られた複素振幅値のみを保持することで次フレームの計算を行うことができる。

【0094】

例えば、静止物体の物体点光源siから伝搬される光波の複素振幅S_iを全て保持しておくLUT (Look-Up Table)のような手法が非特許文献４に開示されており、特許文献２でもLUTに関する言及が成されている。しかしながら、LUTを利用する場合には多くの複素振幅値をテーブルに保存しておかなければならないことから、使用するメモリの量が増大する問題がある。これに対して、本実施形態では限られた複素振幅だけを保持しておくことで計算できることから、使用するメモリの観点でも効率的な計算を実施できる。

【0095】

上記の第２実施形態では、３つの計算手法を備え、第１、第２および第３手法のいずれかが選択されるものとして説明したが、本発明はこれのみに限定されるものではなく、第１および第２手法のいずれかが選択されるようにしても良いし、第１および第３手法のいずれかが選択されるようにしても良い。

【符号の説明】

【0096】

１０…シーン定義部，２０…レンダリング部，３０…静止物体光波分布計算／更新部，３０ａ…静止物体光波分布計算部，３０ｂ…静止物体光波分布更新部，３０ｃ…静止物体光波分布保持部，３５…計算手法選択部，４０…光波分布計算部，４５…選択的光波伝搬計算部，５０…干渉計算部，６０…3DCGH出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】