特許 7599400 計算機合成ホログラム生成装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-05

(45)【発行日】2024-12-13

(54)【発明の名称】計算機合成ホログラム生成装置、方法及びプログラム

(51)【国際特許分類】

   G06T 15/00 20110101AFI20241206BHJP

   G03H 1/08 20060101ALI20241206BHJP

【ＦＩ】

G06T15/00 501

G03H1/08

【請求項の数】 15

(21)【出願番号】P 2021169150

(22)【出願日】2021-10-14

(65)【公開番号】P2023059173

(43)【公開日】2023-04-26

【審査請求日】2024-02-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】小磯 諒太

【審査官】渡部 幸和

(56)【参考文献】

【文献】特表２００５－５０２０９５（ＪＰ，Ａ）

【文献】国際公開第２０２１／１１９４０５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００

Ｇ０３Ｈ １／００

(57)【特許請求の範囲】

【請求項1】

ホログラム面における物体光と参照光との干渉計算に基づいてフレームごとに計算機合成ホログラムを生成する装置において、
ホログラム計算に利用する3Dモデルを仮想空間に配置する手段と、
ホログラム面の要素ホログラムごとに3Dモデルの物体点を取得する手段と、
取得した物体点をメモリ領域に登録し、その際、位置が同一または近接する物体点同士は予め単一の物体点に統合する手段と、
フレームごとに統合後物体点数を推定する手段と、
統合後物体点数に応じたサイズで前記メモリ領域を予め確保する手段と、
前記メモリ領域に登録されている物体点ごとに各要素ホログラムへの光波伝搬を計算する手段とを具備し、
前記物体点の取得、統合および前記メモリ領域への登録を物体点間で並列的に行うことを特徴とする計算機合成ホログラム生成装置。

【請求項2】

前記メモリ領域が、
物体点ごとにその位置情報および色情報が登録される点群統合用メモリ領域と、
物体点および要素ホログラムの組み合わせごとにオクルージョン情報が登録されるオクルージョンテーブルとを含むことを特徴とする請求項1に記載の計算機合成ホログラム生成装置。

【請求項3】

前記統合後物体点数を推定する手段は、現フレームの統合後物体点数を過去フレームの統合後物体点数に基づいて推定することを特徴とする請求項1または2に記載の計算機合成ホログラム生成装置。

【請求項4】

前記統合後物体点数を推定する手段は、現フレームの統合後物体点数を、前フレームの統合後物体点数または過去数フレームの統合後物体点数の統計値に基づいて推定することを特徴とする請求項3に記載の計算機合成ホログラム生成装置。

【請求項5】

前記統合後物体点数を推定する手段は、過去フレームの統合後物体点数に所定の割合を乗じた値を現フレームの統合後物体点数とすることを特徴とする請求項3または4に記載の計算機合成ホログラム生成装置。

【請求項6】

前記物体点を取得する手段は、各要素ホログラムからのレイトレーシングにより光線と3Dモデルとの交点を物体点として取得し、
前記仮想空間の3Dモデルが配置された領域を通過する光線の密度を計算する手段を具備し、
前記統合後物体点数を推定する手段は、3Dモデルが配置された領域の光線密度が高いフレームほど前記割合を小さな値に設定することを特徴とする請求項5に記載の計算機合成ホログラム生成装置。

【請求項7】

前記光線密度を計算する手段は、前記仮想空間を多数の小領域に分割して当該小領域ごとに通過する光線数を計算し、
3Dモデルが含まれる小領域の光線数に基づいて前記割合を決定することを特徴とする請求項6に記載の計算機合成ホログラム生成装置。

【請求項8】

3Dモデルのフレーム間での移動量を計算する手段を具備し、
前記統合後物体点数を推定する手段は、3Dモデルの移動量が多いほど前記割合を大きな値に設定することを特徴とする請求項5に記載の計算機合成ホログラム生成装置。

【請求項9】

前記仮想空間における3Dモデルの配置確率分布と予め仮想空間の中央部近傍の確率分布が大きくなるように設計されたフィルタとの類似度を計算する手段を具備し、
前記統合後物体点数を推定する手段は前記類似度が高いほど前記割合を小さな値に設定することを特徴とする請求項5に記載の計算機合成ホログラム生成装置。

【請求項10】

前記確保した点群統合用メモリ領域に不足が生じると、登録済み物体点の一部をランダムに破棄することを特徴とする請求項2ないし9のいずれかに記載の計算機合成ホログラム生成装置。

【請求項11】

前記統合する手段は、前記仮想空間を多数の小領域に分割し、同一の小領域内に位置する物体点同士を統合することを特徴とする請求項1ないし10のいずれかに記載の計算機合成ホログラム生成装置。

【請求項12】

ホログラム面における物体光と参照光との干渉計算に基づいてコンピュータがフレームごとに計算機合成ホログラムを生成する方法において、
ホログラム計算に利用する3Dモデルを仮想空間に配置し、
ホログラム面の要素ホログラムごとに3Dモデルの物体点を取得し、
取得した物体点をメモリ領域に登録し、その際、位置が同一または近接する物体点同士は予め単一の物体点に統合し、
フレームごとに統合後物体点数を推定し、
統合後物体点数に応じたサイズで前記メモリ領域を予め確保し、
前記メモリ領域に登録されている物体点ごとに各要素ホログラムへの光波伝搬を計算し、
前記物体点の取得、統合および前記メモリ領域への登録を物体点間で並列的に行うことを特徴とする計算機合成ホログラム生成方法。

【請求項13】

現フレームの統合後物体点数を過去フレームの統合後物体点数に基づいて推定することを特徴とする請求項12に記載の計算機合成ホログラム生成方法。

【請求項14】

ホログラム面における物体光と参照光との干渉計算に基づいてフレームごとに計算機合成ホログラムを生成するプログラムにおいて、
ホログラム計算に利用する3Dモデルを仮想空間に配置する手順と、
ホログラム面の要素ホログラムごとに3Dモデルの物体点を取得する手順と、
取得した物体点をメモリ領域に登録し、その際、位置が同一または近接する物体点同士は予め単一の物体点に統合する手順と、
フレームごとに統合後物体点数を推定する手順と、
統合後物体点数に応じたサイズで前記メモリ領域を予め確保する手順と、
前記メモリ領域に登録されている物体点ごとに各要素ホログラムへの光波伝搬を計算する手順とをコンピュータに実行させ、
前記各物体点の取得、統合および前記メモリ領域への登録を物体点間で並列的に行うことを特徴とする計算機合成ホログラム生成プログラム。

【請求項15】

前記統合後の物体点数を推定する手順では、現フレームの統合後物体点数を過去フレームの統合後物体点数に基づいて推定することを特徴とする請求項14に記載の計算機合成ホログラム生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計算機合成ホログラム (CGH：Computer-Generated Hologram) の生成装置、方法及びプログラムに係り、特に、近接する物体点同士を統合することでCGHの計算に用いる物体点数を削減する計算機合成ホログラム生成装置、方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献1には、CGのレイトレーシング法をベースとして写実性の高いレンダリングを可能とするCGHの計算手法が開示されている。非特許文献1では、物体からの伝搬光波を記録するホログラム面を、図15に示すように要素ホログラムと呼ばれる複数の小領域に分割し、要素ホログラムごとに3Dシーンのレンダリング結果をレイトレーシング法に基づき得ることで運動視差を得ている。

【0003】

しかしながら、ホログラム面を複数の要素ホログラムに分割すると、要素ホログラムごとにその中心位置から見える3Dモデル上の点群をレイトレーシング法により取得して保持し、光波分布を計算することになる。そのため、保持すべき物体点数が最大で要素ホログラム数E×光線数Nとなり、CGH計算に必要なメモリサイズが膨大になるという課題があった。

【0004】

このような技術課題を解決するために、本発明の発明者等は、要素ホログラムごとに取得した点群の中で相互に距離の近い複数の物体点を一つに統合することで物体点の数を削減し、物体光波伝搬の計算対象となる点群の保持に必要なメモリサイズを削減する発明について特許出願（特許文献1）した。

【先行技術文献】

【特許文献】

【0005】

【文献】特願2021-068626号

【非特許文献】

【0006】

【文献】Ichikawa，T．Yoneyama and Y．Sakamoto, "CGH calculation with the ray tracing method for the Fourier transform optical system," Opt． Express 21, 32019-32031 (2013)．

【文献】William E．Lorensen，Harvey E． Cline: Marching Cubes: A high resolution 3D surface construction algorithm．In: Computer Graphics, Vol． 21, Nr． 4, July 1987．

【文献】J．-D．Boissonnat，Geometric structures for three-dimensional shape representation． ACM Trans．Graph．3, 4 (1984) 266．

【文献】Ryosuke Watanabe，Takamasa Nakamura，Masaya Mitobe，Yuji Sakamoto and Sei Naito，"Fast calculation method for viewpoint movements in computer-generated holograms using a Fourier transform optical system," Appl．Opt．58，G71-G83 (2019)

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献1によれば物体光波伝搬の計算対象となる物体点数を削減できるので、その保持に必要なメモリサイズを削減できる。具体的には、物体点ごとにその位置座標及び色情報を登録する点群用のメモリ領域およびオクルージョン情報を登録するオクルージョンテーブル用のメモリ領域を確保するためのメモリサイズを削減できる。

【0008】

一方、このような点群統合処理を物体点間で並列的に行うことができれば、メモリサイズの削減に加えてCGHの高速生成が可能になる。並列処理を効率的に行うためには点群用およびオクルージョンテーブル用のメモリに処理途中で過不足が生じないように予め必要なメモリサイズを確保しておくことが望ましい。
しかしながら、統合処理により削減されてCGHの生成に用いられる物体点数（統合後物体点数）が未知であると必要なメモリサイズを把握できないので過大に見積もらざるを得ず、メモリの有効利用が妨げられてしまう。
また、必要なメモリサイズを過少に見積もってしまうと処理途中でメモリサイズを拡張する処理が必要となる。しかも、メモリの有効利用を念頭に拡張量を最小限に抑えるとメモリ不足が逐次的に発生し、その都度、メモリ領域を拡張する処理が必要となるので、CGHの高速生成という並列処理の利益を十分に享受できなくなる。

【0009】

本発明の目的は、上記の技術課題を解決し、統合後の点群に含まれる物体点数を予め推定することで、物体光波伝搬の計算対象となる物体点を登録するために必要なサイズのメモリ領域を予め確保し、物体点の統合処理をメモリサイズに不足を生じさせることなく物体点間で並列的に行えるようにしてCGHを高速に生成する計算機合成ホログラム生成装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

上記の目的を達成するために、本発明は、ホログラム面における物体光と参照光との干渉計算に基づいてフレームごとに計算機合成ホログラムを生成する装置において、以下の構成を具備した点に特徴がある。

【0011】

(1) ホログラム計算に利用する3Dモデルを仮想空間に配置する手段と、ホログラム面の要素ホログラムごとに3Dモデルの物体点を取得する手段と、取得した物体点をメモリ領域に登録し、その際、位置が同一または近接する物体点同士は予め単一の物体点に統合する手段と、フレームごとに統合後物体点数を推定する手段と、統合後物体点数に応じたサイズで前記メモリ領域を予め確保する手段と、前記メモリ領域に登録されている物体点ごとに各要素ホログラムへの光波伝搬を計算する手段とを具備し、物体点の取得、統合およびメモリ領域への登録を物体点間で並列的に行うようにした。

【0012】

(2) 統合後物体点数を推定する手段は、過去フレームの統合後物体点数に所定の割合を乗じた値を現フレームの統合後物体点数とするようにした。

【0013】

(3) 物体点を取得する手段は、各要素ホログラムからのレイトレーシングにより光線と3Dモデルとの交点を物体点として取得し、前記仮想空間の3Dモデルが配置された領域を通過する光線の密度を計算する手段を具備し、統合後物体点数を推定する手段は、3Dモデルが配置された領域の光線密度が高いフレームほど前記割合を小さな値に設定するようにした。

【0014】

(4) 3Dモデルのフレーム間での移動量を計算する手段を具備し、統合後物体点数を推定する手段は、3Dモデルの移動量が多いほど前記割合を大きな値に設定するようにした。

【0015】

(5) 確保したメモリ領域に不足が生じると、登録済み物体点の一部をランダムに破棄するようにした。

【発明の効果】

【0016】

本発明によれば、以下のような効果が達成される。

【0017】

(1) 同一又は近接する物体点を統合して点群の物体点数を削減するにあたり統合後物体点数を予め計算し、光波伝搬計算に用いる物体点を登録するために必要なサイズのメモリ領域を予め確保するので、物体点登録に係る処理を並列的に行う過程でメモリ領域を拡張する処理の発生を抑止できる。その結果、CGH生成の高速化という、物体点登録に係る処理を並列的に行うことで得られる効果を最大化できるようになる。

【0018】

(2) 現フレームの統合後物体点数を過去フレームの統合後物体点数に基づいて推定するので、少ない計算量で精度の高い推定が可能になる。

【0019】

(3) 過去フレームの統合後物体点数に乗じて現フレームの統合後物体点数を推定する割合を3Dモデルが配置された領域の光線密度分布に基づいて最適化するので、現フレームの統合後物体点数を更に正確に推定できるようになる。

【0020】

(4) 過去フレームの統合後物体点数に乗じて現フレームの統合後物体点数を推定する割合を3Dモデルの移動量に基づいて最適化するので、現フレームの統合後物体点数を更に正確に推定できるようになる。

【0021】

(5) 確保したメモリ領域が不足すると登録済みの物体点をランダムに破棄するので、CGHの品質を大きく劣化させることなく、確保したメモリ領域の範囲内で物体点登録に係る処理を並列的に行えるようになる。

【図面の簡単な説明】

【0022】

【図1】本発明の第1実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図2】異なる要素ホログラムにそれぞれ登録されて同一または近い位置にある複数の物体点光源を単一の共通する物体点光源に統合する方法を示した図である。

【図3】物体点光源の統合範囲を規定する例を示した図である。

【図4】同一ボクセル内の複数の物体点光源を一つに統合する例を示した図である。

【図5】オクルージョンの計算方法の例を示した図である。

【図6】オクルージョンテーブルの例を示した図である。

【図7】本発明の第2実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図8】3Dモデルが配置される仮想空間において物体点の取得に用いるレイトレーシング法の光線が分布する例を示した図で

【図9】グリッドごとに光線通過数を求めて1次元の光線密度分布を計算する例を示した図である。

【図10】3Dモデルの配置分布の例を示した図である。

【図11】光線密度が中心軸近傍で高くなる例を示した図である。

【図12】仮想空間の中央領域を定義する例を示した図である。

【図13】中央付近の確率分布が大きくなるフィルタの例を示した図である。

【図14】本発明の第3実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図15】要素ホログラムごとに3Dシーンのレンダリング結果をレイトレーシング法に基づき得ることで運動視差を得る例を示した図である。

【発明を実施するための形態】

【0023】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、3Dモデル入力部10，物体点取得部20，統合後物体点数推定部30，メモリ領域確保部40，物体点統合部50，光波伝搬計算部60，干渉縞計算部70，CGH出力部80およびグローバルメモリ90を主要な構成とし、物体点統合部50はオクルージョン判定部501を含む。

【0024】

ホログラムは複数の要素ホログラムを仮想的に二次元に配列して構成される。3Dモデル入力部10にはフレーム単位で3Dモデルが入力され、CGH出力部80からはホログラフィの動画が出力される。

【0025】

このような計算機合成ホログラム生成装置1は、CPU，ROM，RAM，ストレージ，バス，インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0026】

3Dモデル入力部10は、ホログラム計算に用いる3Dモデルをフレーム単位で取得し、メッシュデータとして仮想空間に配置する。3DモデルはOBJファイルなどのメッシュデータとして直接入力されても良いし、ボクセルデータが非特許文献2のマーチン・キューブ法等のメッシュ化アルゴリズムでメッシュデータに変換されて入力されるようにしても良い。あるいは点群データが非特許文献3のBoissonnatの手法等によってメッシュデータに変換されて入力されるようにしても良い。

【0027】

物体点取得部20は、非特許文献1が開示するレイトレーシング法により、要素ホログラムごとにその中心から観測できる3Dモデル上の点を光波伝搬計算に用いる物体点として取得する。レイトレーシング法は、ある一点から多数の光線を飛ばし、その光線と交わる3Dモデルのポリゴンの位置情報および色情報を登録することで陰面消去やシェーディングなどを考慮した写実的なレンダリングを可能にする方法である。

【0028】

本実施例では、各要素ホログラムの中心からレイトレーシング法によって光線と3Dモデルとの交点に物体点を配置し、その3次元座標（x, y, z）及びその色情報(R, G, B)を取得して保持する。要素ホログラムごとに光線を飛ばす位置が異なるために要素ホログラムごとに異なる点群を取得することができ、滑らかな連続視差を持つホログラム再生が可能となる。

【0029】

物体点統合部50は、物体点取得部20が要素ホログラムごとに取得した物体点を対象に、図2に示すように、異なる要素ホログラムから検出された物体点のうち3次元座標が同一もしくは距離が近い物体点を共通する1点に統合することで光波伝搬計算に使用する物体点数を削減する。

【0030】

本実施例では、図3に示すように物体点が存在する3次元空間を立方体形状のボクセルグリッドに分割し、図4に示すように、同一ボクセル内の複数の物体点を一つの物体点に統合する。例えば8つの選抜要素ホログラムにそれぞれ登録された計8つの物体点が同一ボクセルに入っていると、8つの座標情報及び色情報が1つの座標情報及び色情報で代表されるので、座標情報及び色情報の登録に係るデータ量が1/8に減ぜられる。

【0031】

統合した1点の位置情報については、統合した複数点の3次元座標の平均値を統合後の3次元座標とすることができる。あるいは計算量を削減するためにボクセルの重心座標を統合後の3次元座標としてもよい。統合した1点の色情報については、統合した複数点の色情報の平均値を採用しても良いし、統合した複数点のいずれかの色情報を採用しても良い。

【0032】

本実施形態では、統合する物体点として人間の目で観測した際に同一の点とみなされるほど近い点を想定しており、ボクセルサイズは3Dモデルとホログラム面との距離lから、一辺の長さLが人間の視覚の空間分解能（1/60°）以下に観測されるよう、ホログラム面と3Dモデルの表面との最短距離l0に基づいて次式(1)により自動的に設定される。これにより、人間の視覚の空間分解能でボクセルサイズが設定されるため、複数の点群を1つに統合しても主観画質を損なうことなくメモリサイズを削減することが可能となる。

【0033】

【数1】

【0034】

なお、本実施形態では直方体のボクセルグリッドを採用するが、本発明はこれのみに限定されるものではない。例えば、本実施例におけるレイトレーシング法を用いた物体点の検出を考えた場合、物体点の位置がホログラム面から遠ければ遠いほど点と点との間の距離は大きくなる傾向にある。したがって、ホログラム面から距離が離れるほど、グリッドの大きさが大きくなるようにグリッドを形成してもよい。

【0035】

これを実現する例としては、ホログラム面の中央を中心とする距離lと、仰角θ、方位角Φで表現される3D極座標系で物体点光源の配置を考え、各軸を一定の長さ又は角度ごとに区切りってグリッドを形成してもよい。

【0036】

また、ホログラム面に平行な底面を持つ視錐体としてグリッドを表現してもよい。この場合、点の存在する3D領域全体を内包する視錐体の中に、一定のz軸方向（z軸はホログラム面に垂直方向とする）の長さ及び一定の画角を持つ小さい視錐体のグリッドを作ることで空間を分割してよい。

【0037】

統合後物体点数推定部30は、後に詳述するように、光波伝搬計算に用いる物体点を登録するために必要なメモリサイズを予め確保して物体点登録を並列処理できるようにするために、前記物体点統合部50が同一又は近接する物体点を統合して点群の物体点数を削減する前に、予めフレームごとに過去フレームにおける統合後物体点数に基づいて現フレームの統合後物体点数を推定する。

【0038】

本実施形態では現フレーム（ｆフレーム目）の統合後物体点数N^～ _fを、前フレーム（f-1フレーム目）の統合後物体点数N'_f-1に一定の割合αを乗じた数αN'_f-1として推定する。

【0039】

CGHの動画ではフレーム間で3Dモデルが大きく移動することがないため、物体点統合部50で統合される物体点数が大きく変化することはないことが経験的に認められる。したがって、例えば前フレームの統合後物体点数N'_f-1に一定の割合αを乗じるだけで現フレームの統合後物体点N^～ _fを高い確度で推定できる。

【0040】

前記割合αは予め定めた固定値でも良いし、モデル配置の変化やフレーム間のモデルの移動量に応じてフレームごとに変化させても良い。あるいは両者を組み合わせ、3Dモデルの移動量が少ないフレーム区間については割合αを固定値とし、移動量が多いフレーム区間については移動量に応じて割合αを適応的に変化させるようにしても良い。

【0041】

割合αは、基本的に推定値の誤差を考慮して前フレームより大きなメモリ領域を確保できるようにα>1とすることが望ましい。また、フレーム間では物体配置が大きく変わることがないため、αの値は高々2程度で十分である。例えば、遠隔会議で人物の上半身をホログラフィで立体表示する場合は、3Dキャプチャした人物の仮想空間での配置は大きく変化することがないため、過去の経験則から適当な割合αを固定値で与えることが有効である。

【0042】

メモリ領域確保部40は、前記物体点統合部50が統合処理を開始する前に、前記統合後物体点数の推定結果に基づいて、物体点の統合処理に必要なサイズのメモリ領域をグリーバルメモリ90上に確保する。確保したメモリ領域には、点群領域M1（以降、点群統合用メモリ領域と表記する場合もある）、オクルージョンテーブルM2およびグリッド番号保持用配列M3が確保される。

【0043】

点群領域M1には統合後の物体点ごとにその位置座標及び色情報が登録される。オクルージョンテーブルM2には統合後の物体点ごとに、どの要素ホログラムから可視でどの要素ホログラムから不可視であるかを表すオクルージョン情報が登録される。グリッド番号保持用配列M3には物体点が存在するグリッドの番号が登録される。

【0044】

本実施形態では、統合済み点群用のメモリ領域M1，M2，M3を予め確保することにより、以下に詳述するように、物体点取得部20および物体点統合部50の協調動作により要素ホログラムごとに物体点を取得し、更に同一のグリッド内に位置する物体点は統合して保持し、更にオクルージョンテーブルを生成する処理を、要素ホログラム毎および要素ホログラム間で並列的に行うことが可能になる。

【0045】

本実施形態では、同一グリッドに複数の物体点が格納されることになると統合が行われる。各グリッドには連番となるグリッド番号が識別子として予め割り当てられ、統合後の各物体点がそれぞれどの要素ホログラムから観測可能であるかを管理するオクルージョンテーブルM2も統合時に作成される。

【0046】

１フレーム目のCGH計算時には過去フレームの統合後物体点数を推定できないので、従来技術と同様に、物体点の取得、近接する物体点同士の統合および点群領域M1ならびにオクルージョンテーブルM2への登録が物体点ごとに直列的に繰り返される。

【0047】

2フレーム以降は過去フレームにおける統合後物体点数を基準にして推定した現フレームの統合後物体点数に応じたサイズのメモリ領域をグローバルメモリ90上に確保し、物体点の取得、近接する物体点同士の統合、点群領域M1ならびにオクルージョンテーブルM2への登録が、最大で要素ホログラム数E×光線数Nだけ並列で処理される。

【0048】

前記メモリ領域確保部40は、前フレームで使用したメモリ領域の再利用することを原則とする。メモリ領域が不足する場合には追加で不足分を確保しても良いし、フレームごとにメモリ領域の開放および確保を繰り返すようにしても良い。

【0049】

メモリ領域が確保されると、物体点取得部20がレイトレーシング法により各要素ホログラムの中心点から光線を仮想的に一斉照射し、各光線と3Dモデルとの交点に並列処理で物体点を配置する。

【0050】

物体点統合部50は、配置した物体点ごとにその位置情報に基づいて格納先のグリッド番号を並列処理で計算する。格納先のグリッド番号がグリッド番号保持用配列M3に存在しなければ追加し、当該物体点の位置情報及び色情報が点群領域M1に新規登録記録される。さらに、物体点ごとにどの要素ホログラムから可視でどの要素ホログラムから不可視であるかが、図5に示すようにオクルージョン判定部501で判定され、その判定結果がオクルージョンテーブルM2に登録される。

【0051】

オクルージョンテーブルM2では、図6に模式的に示すように、物体点および要素ホログラムの組み合わせごとにオクルージョン情報がテーブル形式で管理される。本実施形態では物体点をインデックスとして、当該物体点を観測できる要素ホログラムの対応するセルには"1"がセットされ、観測できない要素ホログラムの対応するセルには"0"がセットされる。

【0052】

これに対して、格納先のグリッド番号がグリッド番号保持用配列M3に存在すれば、点群領域M1に既登録の物体点と今回の物体点とを統合して点群領域M1およびオクルージョンテーブルM2を更新する。

【0053】

なお、本実施形態では物体点の格納先として同一のタイミングで同じグリッド番号が計算され、同一のグリッド番号と物体点が重複して保持される場合が極めて稀に起こりうる。これを防ぐためには、統合処理後にグリッド番号の重複をチェックし、重複データを削除する機能を設けても良い。具体的には、点群領域M1、オクルージョンテーブルM2およびグリッド番号保持用配列M3をグリッド番号でソートし、隣接するデータのグリッド番号が同一の場合にその一方を削除すれば良い。

【0054】

また、実際の統合後物体点数が推定値を超過し、事前に確保したメモリが不足する場合は、統合後物体点の一部をランダムに削除することで推定値以下の点群数に抑えても良い。CGHの光学再生像は多数の点光源の集合として考えられるため、その一部をランダムに削除しても再生像の形状には変化がない。このため、映像品質を大きく劣化させることなく、確保したメモリサイズの範囲内で物体点登録に係る処理を並列的に行うことが可能になる。

【0055】

統合後物体点の一部をランダムに削除する代わりに、不足するメモリサイズを逐次的に追加で確保しても良いし、メモリが不足した時点で統合後の点群を破棄し、より大きなメモリ領域を再確保した上で、改めて物体点取得部20および物体点統合部50が上記の処理を初めから行うようにしても良い。

【0056】

なお、本実施形態では過去の1フレームから現フレームの統合後物体点数を推定するものとして説明したが、本発明はこれのみに限定されるものではなく、過去複数フレームの統合後物体点数を参照して推定を行ってもよい。例えば、過去複数フレームの統合後物体点数の最大値に標準偏差を加算することで、過去フレームの統合後物体点数の変化の傾向から確度の高い推定結果を得られるようになる。

【0057】

光波伝搬計算部60は、前記点群領域M1およびオクルージョンテーブルM2の情報に基づいて、各物体点から当該物体点を観測可能な要素ホログラムへの光波伝搬計算を行う。なお、光波伝搬計算については非特許文献2が開示する点光源法を採用でき、その計算式は次式(2)，(3)で表される。

【0058】

【数2】

【0059】

【数3】

【0060】

ここで、(x, y)は光波が伝搬されるホログラム面上の画素位置を示しており、si (x, y)は各物体点piから伝搬されるホログラム面上の光波分布である。N'は統合後物体点数、Aiは各物体点piの輝度、riは各物体点piとホログラム面上の画素(x, y)との距離、O(i, e)は各物体点piと要素ホログラムeに該当するオクルージョンテーブルの値であり、物体点piが要素ホログラムeで観測可能か否かを示している。kは光の波長から計算される波数を表し、u(x, y)は計算される物体光波分布である。

【0061】

干渉縞計算部70は、ホログラム面上の物体光波u(x, y)に対して、計算機上のシミュレーションとして参照光波を差し込むことで干渉計算を行い、画像として出力する機能を有する。本実施例の参照光は収束球面参照光波を用いる。収束球面参照光波を用いた干渉計算には非特許文献4が開示する方法を適用できる。

【0062】

この収束球面参照光波がホログラム面上に伝搬されたときの光波の複素振幅分布R(x, y)は次式(4)で表わされる。ここで、Roは参照光の強度であり、rは参照光の位置からホログラム面上の位置(x, y)までの距離を表している。

【0063】

【数4】

【0064】

なお、参照光は上式(4)に限定されず、次式(5)で表されるような単なる球面波参照光でも良いし、次式(6)で表されるような平行波参照光でもよい。ただし、式(6)のβは参照光のホログラム面への入射角度である。

【0065】

【数5】

【0066】

【数6】

【0067】

この参照光波と物体光波の干渉を示す式は次式(7)で表される。ここで、I(x, y)はCGHの輝度分布である。

【0068】

【数7】

【0069】

最後に、この輝度分布を画像として出力する。例えば干渉縞を0-255のレンジに正規化し、画像として出力する。

【0070】

本実施形態によれば、同一又は近接する物体点を統合して点群の物体点数を削減するにあたり統合後物体点数を予め計算し、光波伝搬計算に用いる物体点の登録に必要なサイズのメモリ領域を予め確保するので、物体点登録に係る処理を並列的に行う過程でメモリ領域を拡張する処理の発生を抑止できる。その結果、CGH生成の高速化という、物体点登録に係る処理を並列的に行うことで得られる効果を最大化できるようになる。

【0071】

図7は、本発明の第2実施形態に係る計算機合成ホログラム生成装置1の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので説明を省略する。

【0072】

本実施形態は3Dモデル入力部10が光線密度分布計算部101を具備し、統合後物体点数推定部30が過去フレームの統合後物体点数を基準に現フレームの統合後物体点数を推定する際に用いる前記係数αを、レイトレーシング法に用いる光線の密度分布と3Dモデルの配置との関係に応じてフレームごとに適応的に決定するようにした点に特徴がある。

【0073】

図8は、3Dモデルが配置される仮想空間において物体点の取得に用いるレイトレーシング法の光線が分布する様子を示した図であり、ホログラム面の中心軸に近い領域に光線が集中することが判る。光線密度分布が高い中心軸付近ではそれ以外の領域よりも物体点が統合される確率が高くなるため、割合αは3Dモデルが光線密度の高い領域に配置されるフレームほど相対的に小さく、光線密度の低い領域に配置されるフレームでは相対的に大きくすることが望ましい。

【0074】

そこで、本実施形態では3Dモデル入力部10に光線密度分布計算部101を設け、統合後物体点数推定部30が過去フレームの統合後物体点数を基準に現フレームの統合後物体点数を推定する際に用いる前記係数αを光線密度分布計算部101の計算結果に基づいて適応的に設定するようにしている。

【0075】

光線密度分布はレイトレーシング法の光線が3Dモデルの各部位をどの程度通過するかの指標なので、3Dモデルが配置される仮想空間をボクセルグリッドで均等に分割し、各グリッドを光線が通過する本数（光線通過数）として事前に求めることができる。

【0076】

本実施形態では、仮想空間の3Dモデルが存在するグリッドごとに光線通過数を求めて図9のような1次元の光線密度分布を計算する。なお、このボクセルグリッドは物体点統合部50が統合対象の物体点を識別するために用いるボクセルグリッドとは異なり、光線密度分布の計算にのみ用いるため、そのボクセルサイズは統合対象の物体点を識別ためのボクセルサイズほど小さい必要がない。そのため、追加で大きなメモリ領域を必要とせずに光線密度分布を計算することができる。

【0077】

本実施形態では、光線分布密度が高い場合にはα=1.2、光線分布密度が低い場合にはα＝2.0といった設定が可能である。一方、何らかの方法で削減後の点群数が前フレームより小さくなることが判っているのであれば上記の範囲に限らず割合αを設定してもよい。光線密度のフレーム間の大小比較については光線密度分布の中央値や平均値といった代表値で比較しても良いし、分布の積分値で比較しても良い。

【0078】

なお、光線密度分布を厳密に計算することなく、モデル配置の分布で代替してもよい。モデル配置分布は、例えば図10に示すように、ホログラムの中心座標からレイトレーシング法の光線と交わる3Dモデルごとにラベリングを行って2次元のモデル配置の分布を計算することで求められる。これは図11に示すように、仮想空間上のホログラム面の中心軸に近い領域に点群取得に用いるレイトレーシング法の光線が集中するため、モデルの配置分布が中心軸にどれほど依っているかで光線密度分布を概算したのと同義である。

【0079】

光線密度分布をモデル配置分布で代替する場合は、図12に示すように仮想空間の中央領域を次式(8)で定義し、中央領域における3Dモデルの存在確率を最大値、平均値あるいは積分値で代表する。

【0080】

【数8】

【0081】

代表値が前フレームより高くなった場合は割合αを小さくする一方、周囲の存在確率が高くなった場合は割合αを大きくすることで、光線密度分布を用いた場合と同様に最適な割合αを決定できるようになる。

【0082】

なお、図13に一例を示すように、中央付近の値が大きくなるように設計されたフィルタとの確率分布の類似度を計算し、この計算結果に基づいてモデル配置分布を求めても良い。

【0083】

本実施形態によれば、現フレームの統合後物体点数を前フレームの統合後物体点数に基づいて計算するための割合αを、3Dモデルが配置される領域の光線密度に基づいて最適化できるので、統合後物体点数を更に正確に推定できるようになる。

【0084】

図14は、本発明の第3実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので説明を省略する。

【0085】

本実施形態は3Dモデル入力部10が移動量計算部102を具備し、統合後物体点数推定部30が過去フレームの統合後物体点数を基準に現フレームの統合後物体点数を推定する際に用いる前記係数αを、3Dモデルの移動量に基づいてフレームごとに適応的に設定するようにした点に特徴がある。

【0086】

前記移動量計算部102は仮想空間に3Dモデルを配置する際、当該3Dモデルの重心位置の前フレームからの変化を移動量として計算する。フレーム間の移動量によって統合後物体点数のフレーム間の変化量が異なるため、統合後物体点数の推定にモデルの移動量を用いることで推定精度を向上させることができる。

【0087】

一般的に、フレーム間での3Dモデルの移動量が大きいほどフレーム間での3Dモデル配置の変化が大きくなるため、統合後物体点数の変化が大きくなる可能性がある。そこで、本実施形態ではフレームごとに3Dモデルの移動量が大きいほど割合αを大きくすることで割合αを最適化するようにしている。

【0088】

本実施形態によれば、現フレームの統合後物体点数を前フレームの統合後物体点数に基づいて計算するための割合αをモデルの移動量に基づいて求めるので、統合後物体点数を更に正確に推定できるようになる。

【0089】

そして、上記の各実施形態によれば高品質なCGHを短時間で生成することができ、通信インフラ経由でもリアルタイムで提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なエンターテインメントを提供できるようになる。その結果、国連が主導する持続可能な開発目標（SDGs）の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

【符号の説明】

【0090】

10…3Dモデル入力部，20…物体点取得部，30…統合後物体点数推定部，40…メモリ領域確保部，50…物体点統合部，60…光波伝搬計算部，70…干渉縞計算部，80…CGH出力部，90…グローバルメモリ，101…光線密度分布計算部，102…移動量計算部，501…オクルージョンテーブル判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】