特許 7535024 計算機合成ホログラム生成装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-06

(45)【発行日】2024-08-15

(54)【発明の名称】計算機合成ホログラム生成装置、方法及びプログラム

(51)【国際特許分類】

   G06T 15/40 20110101AFI20240807BHJP

【ＦＩ】

G06T15/40

【請求項の数】 22

(21)【出願番号】P 2021153177

(22)【出願日】2021-09-21

(65)【公開番号】P2023045008

(43)【公開日】2023-04-03

【審査請求日】2023-08-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】小磯 諒太

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開平１０－２８８９３９（ＪＰ，Ａ）

【文献】特開２０１２－００８２０７（ＪＰ，Ａ）

【文献】特開平１０－２２２０４６（ＪＰ，Ａ）

【文献】特開平０６－１０２８１１（ＪＰ，Ａ）

【文献】特開２０２１－０１２３３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｈ １／００－ ５／００

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ５／５０

Ｇ０６Ｔ １１／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

連続する各フレームに配置される物体モデルの点群を取得する手段と、
前記点群の各点からホログラム面の各画素位置への遮蔽判定を行う手段と、
前記遮蔽判定の結果に基づいて各点からホログラム面の非遮蔽の画素位置への光波伝搬計算を行う手段とを具備した計算機合成ホログラム生成装置において、
前記遮蔽判定の結果をフレームごとに保持する手段と、
各点の過去フレームにおける近傍点を探索する手段とを具備し、
前記遮蔽判定を行う手段は、
前記近傍点を探索できない点からホログラム面の各画素位置への遮蔽計算を実行して遮蔽判定を行う遮蔽計算実行手段と、
前記近傍点を探索できた点の遮蔽判定結果として当該近傍点の過去フレームにおける遮蔽判定結果を代替利用する代替利用実行手段とを具備したことを特徴とする計算機合成ホログラム生成装置。

【請求項2】

前記近傍点を探索する手段は、少なくとも一つの過去フレームから前記点群の各点との距離が近い上位少なくとも一つの過去フレームにおける点を近傍点として探索することを特徴とする請求項1に記載の計算機合成ホログラム生成装置。

【請求項3】

前記近傍点が、前記点群の各点と直前フレームにおいて最も距離が近い最近点であることを特徴とする請求項2に記載の計算機合成ホログラム生成装置。

【請求項4】

少なくとも一つの近傍点の遮蔽判定結果に基づいてホログラム面における再判定領域を決定する手段を具備し、
前記遮蔽計算実行手段が再判定領域の各画素位置の遮蔽判定を行い、
前記代替利用実行手段が再判定領域以外の各画素位置の遮蔽判定結果として、対応する各近傍点の遮蔽判定結果を代替利用することを特徴とする請求項1ないし3のいずれかに記載の計算機合成ホログラム生成装置。

【請求項5】

前記再判定領域を決定する手段は、前記近傍点についてホログラム面の遮蔽と判定された画素領域と非遮蔽と判定された画素領域との境界に基づいて再判定領域を決定することを特徴とする請求項4に記載の計算機合成ホログラム生成装置。

【請求項6】

前記再判定領域を決定する手段は、前記点群の各点とホログラム面との距離に応じて再判定領域の範囲を決定することを特徴とする請求項4または5に記載の計算機合成ホログラム生成装置。

【請求項7】

前記再判定領域を決定する手段は、前記点群の各点とその近傍点との距離に応じて再判定領域の範囲を決定することを特徴とする請求項4または5に記載の計算機合成ホログラム生成装置。

【請求項8】

前記再判定領域を決定する手段は、複数の近傍点の遮蔽判定結果が不一致となる画素領域を再判定領域に決定することを特徴とする請求項4に記載の計算機合成ホログラム生成装置。

【請求項9】

前記再判定領域を決定する手段は、複数の近傍点の遮蔽判定結果を統計的に処理し、統計値が所定の条件を充足する画素領域を再判定領域に決定することを特徴とする請求項4に記載の計算機合成ホログラム生成装置。

【請求項10】

各物体モデルが最初に出現する初出現フレームを判別する手段と、
各フレームに配置される物体モデルが静止物体および移動物体のいずれであるかを判別する手段と、
初出現フレームに続く後続フレームに配置される静止物体の点群を破棄する手段とを具備し、
前記遮蔽計算実行手段は、当該破棄した点群の遮蔽判定を当該静止物体の初出現フレームにおいて取得した点群の位置座標に基づいて行うことを特徴とする請求項1ないし9のいずれかに記載の計算機合成ホログラム生成装置。

【請求項11】

前記遮蔽計算実行手段は、静止物体または移動物体が最初に出現するフレームの当該各物体モデルの各点の遮蔽判定を行い、
前記代替利用実行手段は、前記後続フレームにおける移動物体の各点の遮蔽判定結果としてその近傍点の遮蔽判定結果を代替利用することを特徴とする請求項10に記載の計算機合成ホログラム生成装置。

【請求項12】

後続フレームの各点がホログラム面との間に他の物体モデルが存在しない前面配置点であるか否かを判定する前面配置点判定手段をさらに具備し、
前記代替利用実行手段は、前面配置点の遮蔽判定結果としてその近傍点の遮蔽判定結果を代替利用することを特徴とする請求項10または11に記載の計算機合成ホログラム生成装置。

【請求項13】

前記代替利用実行手段は、後続フレームにおける各前面配置点の遮蔽判定結果として、所定のフレーム周期で各前面配置点の近傍点の遮蔽判定結果を代替利用し、前記所定のフレーム周期以外の各フレームでは直前フレームにおいて各前面配置点と最も近い最近点の遮蔽判定結果を代替利用することを特徴とする請求項12に記載の計算機合成ホログラム生成装置。

【請求項14】

後続フレームの各点がホログラム面から見て静止物体の背面側に配置される背面配置点であるか否かを判定する背面配置点判定手段をさらに具備し、
前記遮蔽判定を行う手段は、背面配置点の遮蔽判定計算を行わないことを特徴とする請求項10ないし13のいずれかに記載の計算機合成ホログラム生成装置。

【請求項15】

ホログラム面から各物体モデルへのレイトレーシングにより点光源を取得する手段を更に具備し、
前記前面配置点判定手段は、レイトレーシング光が物体モデルと1回目に交差した点を前面配置点と判定することを特徴とする請求項12または13に記載の計算機合成ホログラム生成装置。

【請求項16】

ホログラム面から各物体モデルへのレイトレーシングにより点光源を取得する手段を更に具備し、
前記背面配置点判定手段は、レイトレーシング光が静止物体モデルと偶数回目に交差した点であって、その近傍点のホログラム面上の全領域に対する遮蔽判定結果が遮蔽の点を背面配置点と判定して破棄することを特徴とする請求項14に記載の計算機合成ホログラム生成装置。

【請求項17】

ホログラム面から各物体モデルへのレイトレーシングにより点光源を取得する手段を更に具備し、
前記背面配置点判定手段は、レイトレーシング光が静止物体モデルまたは移動物体モデルと偶数回目に交差した点であって、その最近点のホログラム面上の全領域に対する遮蔽判定結果が遮蔽の点を背面配置点と判定し、その遮蔽判定結果として前記最近点の遮蔽判定結果を代替利用することを特徴とする請求項14または16に記載の計算機合成ホログラム生成装置。

【請求項18】

後続フレームの各点がホログラム面から見て他の物体の背後に隠れる背後点であるか否かを判定する背後点判定手段をさらに具備し、
前記遮蔽判定を行う手段は、背後点の遮蔽判定計算を行わないことを特徴とする請求項15ないし17のいずれかに記載の計算機合成ホログラム生成装置。

【請求項19】

前記背後点判定手段は、レイトレーシング光が静止物体モデルと2回目以降に交差した点であって、その近傍点のホログラム面上の全領域に対する遮蔽判定結果が遮蔽の点を背後点と判定して破棄することを特徴とする請求項18に記載の計算機合成ホログラム生成装置。

【請求項20】

前記背後点判定手段は、レイトレーシング光が静止物体モデルまたは移動物体モデルと2回目以降に交差した点であって、その最近点のホログラム面上の全領域に対する遮蔽判定結果が遮蔽の点を背後点と判定し、その遮蔽判定結果として前記最近点の遮蔽判定結果を代替利用することを特徴とする請求項18または19に記載の計算機合成ホログラム生成装置。

【請求項21】

連続する各フレームに配置される物体モデルの点群を取得し、
前記点群の各点からホログラム面の各画素位置への遮蔽判定を行い、
前記遮蔽判定の結果に基づいて各点からホログラム面の非遮蔽の画素位置への光波伝搬計算をコンピュータが行う計算機合成ホログラム生成方法において、
前記遮蔽判定の結果をフレームごとに保持し、
各点の過去フレームにおける近傍点を探索し、
前記遮蔽判定では、
前記近傍点を探索できない点からホログラム面の各画素位置への遮蔽計算を実行して遮蔽判定を行い、
前記近傍点を探索できた点の遮蔽判定結果として当該近傍点の過去フレームにおける遮蔽判定結果を代替利用することを特徴とする計算機合成ホログラム生成方法。

【請求項22】

連続する各フレームに配置される物体モデルの点群を取得する手順と、
前記点群の各点からホログラム面の各画素位置への遮蔽判定を行う手順と、
前記遮蔽判定の結果に基づいて各点からホログラム面の非遮蔽の画素位置への光波伝搬計算を行う手順とをコンピュータに実行させる計算機合成ホログラム生成プログラムにおいて、
前記遮蔽判定の結果をフレームごとに保持する手順と、
各点の過去フレームにおける近傍点を探索する手順とを更に含み、
前記遮蔽判定を行う手順は、
前記近傍点を探索できない点からホログラム面の各画素位置への遮蔽計算を実行して遮蔽判定を行う手順と、
前記近傍点を探索できた点の遮蔽判定結果として当該近傍点の過去フレームにおける遮蔽判定結果を代替利用する手順とを含むことを特徴とする計算機合成ホログラム生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計算機合成ホログラム(Computer-Generated Hologram, CGH)の生成装置、方法及びプログラムに係り、特に、連続視差ホログラムの計算を高速に行う計算機合成ホログラム生成装置、方法及びプログラムに関する。

【背景技術】

【0002】

CGHの計算手法として、非特許文献１では「連続視差ホログラム」が提案されている。連続視差ホログラムは、図14に示すように３Dモデル上の点群からホログラム面の各画素位置へ光波伝搬計算を行い、ホログラム面上の物体光波分布を計算する。その際、点群と各画素とを結ぶ直線上に別の３Dモデルが存在するか否かの遮蔽判定計算を実施し、点が遮蔽される場合には前述の光波伝搬計算を実施しない。この画素単位での遮蔽判定計算により滑らかかつ正しい陰面消去関係の運動視差が実現される。

【先行技術文献】

【非特許文献】

【0003】

【文献】Keita Watanabe, Yuji Sakamoto, "Hidden Surface Removal Method Using Object Point Based Ray Tracing in CGH" International Workshop on Advanced Image Technology 2021 (IWAIT2021), 2B-3, Jan 2021.

【文献】A. Stein, Z. Wang, and J. Jr, "Computer-generated holograms: A simplified ray-tracing approach," Comput. Phys. 6, 389－392 (1992).

【文献】Ryosuke Watanabe, Takamasa Nakamura, Masaya Mitobe, Yuji Sakamoto, and Sei Naito, "Fast calculation method for viewpoint movements in computer-generated holograms using a Fourier transform optical system," Appl. Opt. 58, G71-G83 (2019)

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１が開示するCGH計算では、遮蔽判定計算を点群数×ホログラム面の画素数だけ行うため、ホログラム面上の物体光波分布の計算に要する時間が膨大となるという課題があった。

【0005】

本発明の目的は、上記の技術課題を解決し、連続視差ホログラムの計算を高速に行える計算機合成ホログラム生成装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記の目的を達成するために、本発明は、連続する各フレームに配置される物体モデルの点群からホログラム面の各画素位置への遮蔽判定を行う手段と、遮蔽判定の結果に基づいて各点からホログラム面の非遮蔽の画素位置への光波伝搬計算を行う手段とを具備した計算機合成ホログラム生成装置において、以下の構成を具備した点に特徴がある。

【0007】

(1) 遮蔽判定の結果をフレームごとに保持する手段と、各点の過去フレームにおける近傍点を探索する手段とを具備し、遮蔽判定を行う手段は、近傍点を探索できない点からホログラム面の各画素位置への遮蔽計算を実行して遮蔽判定を行う遮蔽計算実行手段と、近傍点を探索できた点の遮蔽判定結果として当該近傍点の過去フレームにおける遮蔽判定結果を代替利用する代替利用実行手段とを具備した。

【0008】

(2) 少なくとも一つの近傍点の遮蔽判定結果に基づいて再判定領域を決定する手段を具備し、遮蔽計算実行手段が再判定領域の遮蔽判定を行い、代替利用実行手段が再判定領域以外の遮蔽判定結果として近傍点の遮蔽判定結果を代替利用するようにした。

【0009】

(3) 各物体モデルが最初に出現する初出現フレームを判別する手段と、各フレームに配置される物体モデルが静止物体および移動物体のいずれであるかを判別する手段とを具備し、初出現フレームに続く後続フレームに配置される静止物体の点群を破棄し、当該破棄した点群の遮蔽判定を当該静止物体の初出現フレームにおいて取得した点群の位置座標に基づいて行うようにした。

【0010】

(4) 後続フレームの各点がホログラム面との間に他の物体モデルが存在しない前面配置点であるか否かを判定する手段をさらに具備し、代替利用実行手段は、前面配置点の遮蔽判定結果としてその近傍点の遮蔽判定結果を代替利用するようにした。

【0011】

(5) 後続フレームの各点がホログラム面から見て静止物体の背面側に配置される背面配置点であるか否かを判定する手段をさらに具備し、遮蔽判定を行う手段は背面配置点の遮蔽判定計算を行わないようにした。

【0012】

(6) ホログラム面から各物体モデルへのレイトレーシングにより点光源を取得する手段を更に具備し、レイトレーシング光が物体モデルと1回目に交差した点を前面配置点と判定し、レイトレーシング光が物体モデルと偶数回目に交差した点であることを条件の一つとして背面配置点と判定し、いずれもその遮蔽判定計算を行わないようにした。

【0013】

(7) ホログラム面から各物体モデルへのレイトレーシングにより点光源を取得する手段を更に具備し、レイトレーシング光が物体モデルと2回目以降に交差した点であることを条件の一つとして、他の物体の背後に隠れる背後点と判定し、その遮蔽判定計算を行わないようにした。

【発明の効果】

【0014】

(1) 各フレームから取得した点との距離が近い近傍点を過去フレームから探索し、当該近傍点に対する過去フレームでの遮蔽判定結果を各点の遮蔽判定結果として代替利用するので、計算負荷の高い遮蔽判定計算の回数を減じることができ、連続視差ホログラムの計算を高速に行えるようになる。

【0015】

(2) 各点の遮蔽判定結果として過去フレームの最近点や近傍点の遮蔽判定結果を画一的に代替利用すると誤判定が懸念される画素領域を再判定領域に決定し、再判定領域に対しては遮蔽判定計算を改めて行うので、より正確な遮蔽判定が可能になる。

【0016】

(3) 後続フレームに出現する静止物体の点を破棄することで近傍点計算を省略できるので、連続視差ホログラムの計算を更に高速に行えるようになる。

【0017】

(4) フレーム間での遮蔽判定結果の変化が少ない前面配置点については計算負荷の高い遮蔽判定計算を数フレームに1回の割合でしか実行しないので、連続視差ホログラムの計算を更に高速に行えるようになる。

【0018】

(5) ホログラム面から常に不可視となる静止物体の背面配置点については点群を破棄して遮蔽判定を行わないので、計算負荷の高い遮蔽判定が不要となり、連続視差ホログラムの計算を更に高速に行えるようになる。

【0019】

(6) レイトレーシング光が物体モデルと交差した順番に基づいて前面配置点や背面配置点を簡単に判定できるようになる。

【0020】

(7) レイトレーシング光が物体モデルと交差した順番に基づいて背後点を判定し、その遮蔽判定計算を行わないようにしたので、連続視差ホログラムの計算を更に高速に行えるようになる。

【図面の簡単な説明】

【0021】

【図1】本発明の第1実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図2】第1実施形態の動作を示したフローチャートである。

【図3】遮蔽判定方法の一例を示した図である。

【図4】本発明の第2実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図5】最近点に基づいて再判定領域を決定する方法を示した図である。

【図6】複数の近傍点に基づいて再判定領域を決定する方法（その１）を示した図である。

【図7】複数の近傍点に基づいて再判定領域を決定する方法（その２）を示した図である。

【図8】本発明の第3実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図9】第3実施形態の動作を示したフローチャートである。

【図10】本発明の第4実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図11】本発明の第5実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図12】本発明の第6実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図13】レイトレーシング光と物体モデルとの交差順序に基づいて前面配置点および背面配置点を決定する方法を示した図である。

【図14】連続視差ホログラムの生成方法を説明するための図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、3D点群取得部10，近傍点探索部20，遮蔽判定部30，判定結果保持部40，光波伝搬計算部50および干渉縞計算部60を主要な構成とし、複数フレームからなるホログラフィの動画を生成する。

【0023】

このような計算機合成ホログラム生成装置1は、CPU，ROM，RAM，バス，インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0024】

3D点群取得部10はフレーム判別部101を具備し、CGHを計算する物体モデルの3D点群をフレーム単位で取得する。本実施形態では物体モデルが点群モデルであるものとして説明する。3D点群の各点は3次元の位置情報および輝度情報を持つものとし、輝度情報はRGB等のカラー情報および単色情報のいずれであっても良い。各点にはその物体モデルを識別する物体識別子を付与しても良いが、動画を通して同一の物体モデルを扱う場合には物体識別子の付与は不要である。

【0025】

図2は、第1実施形態において3D点群取得部10が3D点群を取得して近傍点探索部20および遮蔽判定部30へ選択的に出力する手順を示した図である。

【0026】

ステップS101において今回の処理フレームに配置される少なくとも一つの物体モデルの3D点群が入力されると、ステップS102では、今回の処理で注目する一つの物体モデルが注目物体として選択される。

【0027】

ステップS103では、前記フレーム判別部101により、今回の処理フレームが動画ファイルの最初のフレームまたは今回の注目物体が初めて出現するフレーム（以下、初出現フレームで総称する）であるか否かが判別される。初出現フレームであればステップS104へ進み、当該注目物体の3D点群が遮蔽判定部30へ出力される。

【0028】

これに対して、今回の処理フレームが初出現フレーム後に続くフレーム（以下、後続フレームと表現する）であればステップS105へ進み、当該注目物体の3D点群が近傍点探索部20へ出力される。ステップS106では、今回の処理フレームに配置される全ての物体モデルからの点群取得が完了したか否かが判定される。完了していなければステップS102へ戻り、注目物体を切り替えながら上記の各処理が繰り返される。

【0029】

図1へ戻り、遮蔽判定部30は遮蔽計算実行部301および代替利用実行部302を含む。遮蔽計算実行部301は、取得した点ごとにホログラム面の各画素位置へのレイトレーシングにより遮蔽判定を行う。代替利用実行部302は、取得した点ごとに過去フレームにおける近傍点の遮蔽判定結果に基づいて遮蔽判定を行う。遮蔽判定結果は判定結果保持部40へ保持される。

【0030】

前記近傍点探索部20は、取得した点ごとに前記判定結果保持部40に保持されている過去mフレームの点群から距離の近い点を近傍点として算出する。なお、近傍点は最も近い一点でも良いし、最も近い上位ｋ点（k近傍点）でも良い。あるいは距離が閾値ε以下となる全ての点を近傍点として採用しても良いし、k近傍点と距離εを組み合わせてk近傍点のうち距離が閾値ε以下となる点を採用しても良い。

【0031】

なお、ｋ，εはユーザに定められる固定値である。過去mフレームの点群は遮蔽情報保持部40から取得し、近傍点の探索にはkd木等を使用した効率的な探索など、高速に計算できる手法を用いる。

【0032】

前記遮蔽判定部30において、代替利用実行部302は、初出現フレームを除く各後続フレームから取得した点を対象に、近傍点の過去フレームにおける遮蔽判定結果を当該点の遮蔽判定結果として代替利用する。

【0033】

動画のように時系列に隣り合うフレーム間では映像に大きな変化は生じないため、判定対象の点の遮蔽判定結果は近傍点の結果と大部分が一致することが経験的に認められる。したがって、近傍点の遮蔽判定結果を代替利用することにより、品質を維持しながら遮蔽判定計算の回数を大幅に削減することが可能となる。

【0034】

遮蔽計算実行部301は、初出現フレームから取得した全ての点および各後続フレームから取得した点のうち前記近傍点探索部20が近傍点を探索できなかった点を対象に遮蔽計算を実行して遮蔽判定を行う。

【0035】

図3は、遮蔽計算実行部301による遮蔽判定方法の一例を示した図であり、判定対象の点piとホログラム面上の各画素の座標(x, y)とを結んだ直線から一定距離δ以下の位置に別の点が存在すれば遮蔽と判定する。δはユーザに定められる固定値である。本実施形態では各点piの各画素(x, y)に対する遮蔽判定結果をOpi (x, y)で表現するものとし、遮蔽の場合はOpi (x, y)=0，非遮蔽の場合はOpi (x, y)=1とする。

【0036】

光波伝搬計算部50は、前記遮蔽判定結果に基づいて各点からホログラム面上の非遮蔽の各画素までの光波伝搬計算を行う。なお、光波伝搬計算については非特許文献2が開示する点光源法を採用でき、その計算式は次式(1)、(2)で表される。

【0037】

【数1】

【0038】

【数2】

【0039】

ここで、(x, y)は光波が伝搬されるホログラム面上の画素位置を示しており、si (x, y)は各点光源piから伝搬されるホログラム面上の光波分布である。Nは点光源数、Aiはpiの輝度、riは点piとホログラム面上の画素(x, y)との距離を表している。kは光の波長から計算される波数を表し、u(x, y)は計算される物体光波分布である。

【0040】

干渉縞計算部60は、ホログラム面上の物体光波u(x, y)に対して、計算機上のシミュレーションとして参照光波を差し込むことで干渉計算を行い、画像として出力する機能を有する。本実施例の参照光は収束球面参照光波を用いる。収束球面参照光波を用いた干渉計算には非特許文献３が開示する方法を適用できる。

【0041】

この収束球面参照光波がホログラム面上に伝搬されたときの光波の複素振幅分布R(x, y)は次式(3)で表わされる。ここで、Roは参照光の強度であり、rは参照光の位置からホログラム面上の位置(x, y)までの距離を表している。

【0042】

【数3】

【0043】

なお、参照光は上式(3)に限定されず、次式(4)で表されるような単なる球面波参照光でも良いし、次式(5)で表されるような平行波参照光でもよい。ただし、式(5)のαは参照光のホログラム面への入射角度である。

【0044】

【数4】

【0045】

【数5】

【0046】

この参照光波と物体光波の干渉を示す式は次式(6)で表される。ここで、I(x, y)はCGHの輝度分布である。

【0047】

【数6】

【0048】

最後に、この輝度分布を画像として出力する。例えば干渉縞を0-255のレンジに正規化し、画像として出力する。

【0049】

本実施形態によれば、各フレームから取得した点との距離が近い近傍点が過去フレームから見つかると、当該近傍点に対する過去フレームでの遮蔽判定結果を各点の遮蔽判定結果として代替利用するので、計算負荷の高い遮蔽判定回数を減じることができる。その結果、連続視差ホログラムの計算を高速に行えるようになる。

【0050】

図4は、本発明の第2実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。本実施形態は遮蔽判定部30が再判定領域決定部303を具備した点に特徴がある。

【0051】

前記再判定領域決定部303は、取得した点ごとにその近傍点の過去フレームでの遮蔽判定結果に基づいてホログラム面の再判定領域を決定し、再判定領域については前記遮蔽計算実行部301が遮蔽判定を改めて行う。再判定領域以外については前記代替利用実行部302が各画素位置の遮蔽判定結果として、対応する近傍点の遮蔽判定結果を画一的に代替利用する。

【0052】

図5は、前記再判定領域決定部303による再判定領域の第1の決定方法を模式的に示した図であり、特に、直前フレームのみ（m=1）から最も近い一つ（ｋ=1）の近傍点（以下、m=1、ｋ=1の条件で探索した唯一の近傍点を最近点と表現する）に基づいて再判定領域を決定する例を示している。

【0053】

第1の決定方法では、同図(a)に示すように最近点に関して「遮蔽」と判定されたホログラム面の画素領域に「非遮蔽」と判定された画素領域が隣接していると、同図(b)に示すように、各画素領域の境界近傍においてハッチングで示した画素領域が再判定領域に決定される。図示の例では境界から±1画素の範囲が再判定領域に決定されている。

【0054】

前記遮蔽判定部30では、再判定領域に対して遮蔽計算実行部301が遮蔽計算を行って遮蔽判定を実行する。再判定領域以外の「遮蔽」および「非遮蔽」の各画素領域については、代替利用実行部302がその遮蔽判定結果として最近点の遮蔽判定結果を代替利用する。

【0055】

再判定領域の範囲（本実施形態では、境界から何画素を再判定領域とするか）はユーザが物体の移動速度等を考慮して固定値で与えても良い。あるいは点とその最近点との距離が近いほど遮蔽判定結果が一致するため、距離が離れるほど再判定領域を大きくする適応的な制御を追加しても良い。さらに、人間の視覚特性として奥行きが遠いほど認識可能な空間分解能が粗くなるため、ホログラム面から奥行方向の距離が遠い詳細な遮蔽関係を認識できない。加えて遠い点ほどより近い物体モデルによって遮蔽される確率が増加することから、奥行方向の距離が近いほど再判定領域を大きくする適応的な制御を追加しても良い。

【0056】

図6は、前記再判定領域決定部303による再判定領域の第2の決定方法を模式的に示した図であり、同図(a)に示したように複数の近傍点（本実施形態では、Pk1～Pk4の4点）が探索されている場合の決定方法を示している。

【0057】

第2の決定方法では、同図(b)に示すように、ホログラム面の画素ごとに4つの近傍点Pk1～Pk4の遮蔽判定結果を参照し、同図(c)に示すように、遮蔽判定結果が完全に一致する画素以外を再判定領域に決定する。

【0058】

図7は、前記再判定領域決定部303による再判定領域の第3の決定方法を模式的に示した図であり、同図(a)に示したように複数の近傍点（本実施形態では、Pk1～Pk4の4点）が探索された場合の決定方法を示している。

【0059】

第3の決定方法では、同図(b)に示すように、ホログラム面の画素ごとに4つの近傍点Pk1～Pk4の遮蔽判定結果を参照し、同図(c)に示すように画素ごとに前記遮蔽判定結果Opi (x, y)の統計値として、その平均値を計算する。その結果、平均値が所定の範囲内（本実施形態では、ハッチングで示した1/5～4/5の範囲内）の画素を再判定領域に決定する。

【0060】

なお、Opi (x, y)の統計値として前記平均値に代えて最頻値を用いても良い。また、各画素のOpi (x, y)に近傍点までの距離に応じた重み付けを行い、重み付け平均値を用いて再判定領域決定を行っても良い。

【0061】

本実施形態によれば、過去フレームでの最近点や近傍点に対する遮蔽判定結果を画一的に代替利用すると誤判定が懸念される画素領域を再判定領域に決定し、再判定領域に対しては遮蔽計算実行部301が遮蔽判定計算を改めて行うので、より正確な遮蔽判定が可能になる。

【0062】

なお、遮蔽判定計算は点群とホログラム面の各画素とを結んだ直線に対して一定距離以下に別の点群が存在するか否かを計算するため、直線と周囲の点群との距離を算出する必要があり、大きな計算コストを要する。その結果、本実施形態で追加される再判定領域計算の計算コストよりも、削減できる遮蔽判定計算の計算コストが大きくなるため、遮蔽判定全体の計算コストを低減できるようになる。

【0063】

図8は、本発明の第3実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

【0064】

本実施形態は、3D点群取得部10が物体種別判別部102を具備し、取得した3D点群の属する物体モデルが静止物体および移動物体のいずれであるかを判別し、遮蔽判定部30が物体モデルごとにその種別に固有の方法で3D点群の遮蔽判定を行うようにした点に特徴がある。

【0065】

図9は、本実施形態の動作を示したフローチャートであり、ステップS201において今回の処理フレームに配置される少なくとも一つの物体モデルの3D点群が入力されると、ステップS202では、今回の処理で注目する一つの注目物体が選択される。ステップS203では、注目物体の種別が静止物体および移動物体のいずれであるかが判別される。

【0066】

注目物体が静止物体であればステップS204へ進み、今回の処理フレームが注目物体にとって初出現フレームであるかが判断される。初出現フレームであればステップS205へ進み、当該静止物体の3D点群が遮蔽判定部30へ出力される。遮蔽判定部30では前記遮蔽計算実行部301が点ごとに遮蔽判定計算を行い、判定結果を判定結果保持部40に保持する。

【0067】

これに対して、今回の処理フレームが注目物体にとって初出現フレーム以外の後続フレームであれば、ステップS206へ進んで注目物体の点群が破棄される。遮蔽判定部30では前記遮蔽計算実行部301が、当該注目物体の初出現フレームから取得した各点の座標位置を判定結果保持部40から取得し、遮蔽計算実行部301が各座標位置に点が存在すると見做して点ごとに遮蔽判定計算を行い、判定結果を判定結果保持部40に保持する。

【0068】

一方、前記ステップS203において今回の注目物体が移動物体と判別されているとステップS207へ進み、今回の処理フレームが注目物体にとって初出現フレームであるか否かが判定される。初出現フレームであればステップS208へ進み、3D点群が遮蔽判定部30へ出力される。遮蔽判定部30では前記遮蔽計算実行部301が点光源ごとに遮蔽判定計算を行って判定結果を前記判定結果保持部40に保持する。

【0069】

これに対して、今回の処理フレームが注目物体にとって後続フレームであればステップS209へ進み、当該移動物体の点群が近傍点探索部20へ出力される。近傍点探索部20では点ごとに、前記判定結果保持部40に保持されている過去mフレームの点群から最近点または複数の近傍点を探索して遮蔽判定部30へ出力する。

【0070】

遮蔽判定部30では前記再判定領域決定部303が再判定領域を決定し、当該再判定領域の画素については前記遮蔽計算実行部301が、それ以外の画素については前記代替利用実行部302が、それぞれ第2実施形態と同様の処理を実行して遮蔽判定結果を判定結果保持部40に保持する。

【0071】

ステップS210では、今回の処理フレームに配置される全ての物体モデルからの点群取得が完了したか否かが判定される。完了していなければステップS202へ戻り、注目物体を切り替えながら上記の各処理が繰り返される。

【0072】

本実施形態によれば、後続フレームに出現する静止物体の点は破棄することで近傍点探索部20による近傍点計算を省略できるので、連続視差ホログラムの計算を更に高速に行えるようになる。

【0073】

図10は、本発明の第4実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

【0074】

本実施形態は遮蔽判定部30が前面配置点判定部304および背面配置点判定部305の少なくとも一方を具備し、前面配置点または背面配置点と判定された点群に対して固有の処理を行うようにした点に特徴がある。

【0075】

前面配置点判定部304は、点ごとに判定結果保持部40が保持する直前フレームの判定結果を参照し、最近点のホログラム面上の全画素に関する判定結果が「非遮蔽」である点を、ホログラム面側に別の3Dモデルが存在しない前面配置点と判定する。

【0076】

遮蔽判定部30は、前面配置点についてはその後、数フレームに1回の割合で再判定領域の決定および当該再判定領域に対する前記遮蔽計算実行部301による遮蔽判定を行い、再判定領域以外については前記代替利用実行部302が近傍点の遮蔽判定結果を代替利用する。前記数フレームに1回以外のフレームについては、前記代替利用実行部302が画素ごとに直前フレームの対応する最近点の遮蔽判定結果を代替利用する。

【0077】

前面配置点は別の物体モデルにより遮蔽されることがないため、前面配置点が含まれる物体モデル内での遮蔽のみ考慮すればよい。そのため、物体モデルの位置が大きく変化しない数フレームにおいては前フレームの遮蔽判定結果を利用しても不自然な遮蔽関係にはならず、遮蔽判定回数を減らすことができる。

【0078】

背面配置点判定部305は、次フレーム以降において静止物体から取得した点ごとに、判定結果保持部40に保持されている直前フレームの判定結果を参照し、最近点のホログラム面上の全画素に関する判定結果が当該静止物体により遮蔽されている点を、自物体により遮蔽されるためにホログラム面から常に見えない「背面配置点」と判定する。遮蔽判定部30は背面点を破棄する。

【0079】

本実施形態によれば、フレーム間での遮蔽判定結果の変化が少ない前面配置点については計算負荷の高い遮蔽計算実行部301による遮蔽計算を数フレームに1回の割合でしか実行しないので、連続視差ホログラムの計算を更に高速に行えるようになる。

【0080】

また、本実施形態によれば、ホログラム面から常に不可視となる背面配置点については点群を破棄して遮蔽判定計算を行わないので、計算負荷の高い遮蔽判定が不要となり、連続視差ホログラムの計算を更に高速に行えるようになる。

【0081】

図11は、本発明の第5実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

【0082】

本実施形態では計算機合成ホログラム生成装置1が3Dメッシュモデルを取得する。3D点群取得部10は、3Dメッシュモデルに対してホログラム面の所定位置（典型的には、ホログラム面の中央位置）からレイトレーシングを行い、レイトレーシング光と3Dメッシュモデルとの交点を3D点群として取得するレイトレーシング部103を具備する。

【0083】

前記レイトレーシング部103は、図13に模式的に示すように、レイトレーシングにおいてレイトレーシング光がメッシュモデルと交差する点ごとに、何回目に交差した点であるかを示す交差序数を記憶する。

【0084】

前面配置点判定部306は、メッシュモデルが静止物体および移動物体のいずれであるかを問わず、次フレーム以降においてレイトレーシング光が1回目に交差した点（図中、白丸）を画一的に前面配置点と判定する。あるいは1回目に交差した点のみを対象に、判定結果保持部40に保持されている直前フレームの遮蔽判定結果を参照し、最近点のホログラム面上の全画素に関する判定結果が「非遮蔽」の点を前面配置点と判定しても良い。

【0085】

第1背面配置点判定部307aは、次フレーム以降においてレイトレーシング光が偶数回目に交差した点（図中、黒丸）が静止物体に属していると、当該点を対象に判定結果保持部40に保持されている過去フレームの判定結果を参照し、近傍点のホログラム面上の全画素に関する判定結果が当該静止物体により遮蔽されている点を第1背面配置点と判定する。第1背面配置点は破棄され、その後の遮蔽判定および光波伝搬計算の対象とならない。

【0086】

第2背面配置点判定部307bは、次フレーム以降においてレイトレーシング光が偶数回目に交差した点について、静止物体および移動物体のいずれに属しているかを問わず、判定結果保持部40に保持されている直前フレームの最近点の遮蔽判定結果を参照する。その結果、最近点のホログラム面上の全画素に関する判定結果が「遮蔽」であれば第2背面配置点と判定し、その遮蔽判定結果として当該最近点の遮蔽判定結果を代替利用する。なお、静止物体に属する点については前記第1背面配置点判定部307aと排他的に用いられる。

【0087】

本実施形態によれば、レイトレーシング光が物体モデルと交差した順番に基づいて前面配置点や背面配置点を簡単に判定できるようになる。

【0088】

図12は、本発明の第6実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

【0089】

上記の第5実施形態では第1および第2背面配置点判定部307a，307bが、物体ごとにその背面側に配置されているために自物体により遮蔽される「背面配置点」をレイトレーシング光との交差回数に基づいて判定し、背面配置点の遮蔽判定計算を行わないことで遮蔽判定計算の回数を削減した。これに対して、本実施形態では自物体よりもホログラム面側に位置する他物体の背後に隠れて遮蔽される「背後点」を判定し、背後点の遮蔽判定計算を行わないことで遮蔽判定計算の回数を削減する。

【0090】

第1背後点判定部308aは、次フレーム以降においてレイトレーシング光が2回目以降に交差した点が静止物体に属していると、当該点を対象に判定結果保持部40に保持されている過去フレームの判定結果を参照し、近傍点のホログラム面上の全画素に関する判定結果が当該静止物体により遮蔽されている点を第1背後点と判定する。第1背後点は破棄され、その後の遮蔽判定および光波伝搬計算の対象とならない。

【0091】

第2背後点判定部308bは、次フレーム以降においてレイトレーシング光が2回目以降に交差した点について、静止物体および移動物体のいずれに属しているかを問わず、判定結果保持部40に保持されている直前フレームの最近点の遮蔽判定結果を参照する。その結果、最近点のホログラム面上の全画素に関する判定結果が「遮蔽」であれば第2背後点と判定し、その遮蔽判定結果として当該最近点の遮蔽判定結果を代替利用する。なお、静止物体に属する点については前記第1背後点判定部308aと排他的に用いられる。

【0092】

本実施形態によれば、背面配置点に加えて背後点についても遮蔽判定計算を行わないの遮蔽判定計算の回数を更に削減できるようになる。

【0093】

そして、上記の各実施形態によれば高品質なCGHを短時間で生成することができ、通信インフラ経由でもリアルタイムで提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なエンターテインメントを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

【符号の説明】

【0094】

1…計算機合成ホログラム生成装置，10…3D点群取得部，20…近傍点探索部，30…遮蔽判定部，40…判定結果保持部，50…光波伝搬計算部，60…干渉縞計算部，101…フレーム判別部，102…物体種別判別部，103…レイトレーシング部，301…遮蔽計算実行部，302…代替利用実行部，303…再判定領域決定部，304，306…前面配置点判定部，305…背面配置点判定部，307a…第1背面配置点判定部，307b…第2背面配置点判定部，308a…第1背後点判定部，308b…第2背後点判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】