特許 7509510 計算機合成ホログラム生成装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】計算機合成ホログラム生成装置、方法及びプログラム

(51)【国際特許分類】

   G03H 1/08 20060101AFI20240625BHJP

   G03H 1/22 20060101ALI20240625BHJP

   G06T 15/00 20110101ALI20240625BHJP

【ＦＩ】

G03H1/08

G03H1/22

G06T15/00 501

【請求項の数】 10

(21)【出願番号】P 2021110399

(22)【出願日】2021-07-01

(65)【公開番号】P2023007262

(43)【公開日】2023-01-18

【審査請求日】2023-08-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】渡邊 良亮

(72)【発明者】

【氏名】小磯 諒太

(72)【発明者】

【氏名】野中 敬介

【審査官】辻本 寛司

(56)【参考文献】

【文献】特表２００４－５１７３５４（ＪＰ，Ａ）

【文献】特開平１０－３０１４６６（ＪＰ，Ａ）

【文献】特開２０２１－０１２３３８（ＪＰ，Ａ）

【文献】中国実用新案第２０７５４１４１６（ＣＮ，Ｕ）

【文献】米国特許出願公開第２０１６／０３７９６０６（ＵＳ，Ａ１）

【文献】渡邊 良亮，“計算機合成ホログラムの動画の高速生成法に関する研究”，北海道大学大学院 情報科学研究科 博士論文，2020年03月25日，DOI: 10.14943/doctoral.k14137

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｈ １／０８

Ｇ０３Ｈ １／２２

Ｇ０６Ｔ １５／００

(57)【特許請求の範囲】

【請求項1】

ホログラム面上における物体光と参照光との干渉計算を行うことによって計算機合成ホログラムを生成する計算機合成ホログラム生成装置において、
物体の3D点群を取得する3D点群取得手段と、
ホログラム面の、複数の画素を包含するように仮想的に分割されたブロックごとに代表点を設定する代表点設定手段と、
3D点群の点光源ごとに各ブロックの代表点を対象に遮蔽判定を行い、当該遮蔽判定の結果を当該ブロック内の全画素に適用するブロック単位遮蔽判定手段と、
前記遮蔽判定の結果に基づいて、ホログラム面上の非遮蔽の画素について物体光波の伝搬計算を行う光波伝搬計算手段とを具備し、
前記各ブロックのブロックサイズを点光源ごとに設定する手段を更に具備したことを特徴とする計算機合成ホログラム生成装置。

【請求項2】

前記代表点設定手段は、各ブロックの中心位置又は重心位置に代表点を設定することを特徴とする請求項１に記載の計算機合成ホログラム生成装置。

【請求項3】

前記ブロックごとに、その代表点から見て回折角度外に位置する点光源との遮蔽判定を行わないことを特徴とする請求項１または２に記載の計算機合成ホログラム生成装置。

【請求項4】

点光源ごとにホログラム面との距離を計算する手段を具備し、
前記ブロックサイズを設定する手段は、ホログラム面との距離が長い点光源ほどブロックサイズを相対的に大きく設定することを特徴とする請求項１に記載の計算機合成ホログラム生成装置。

【請求項5】

前記3D点群取得手段は、ホログラム面の中心位置から物体のメッシュモデルへレイトレーシングを行った際の各交点を3D点群の各点光源として取得し、
前記点光源ごとに、レイトレーシングにおいて交差した光が当該交差以前に交差した総回数を交差回数として記録する交差回数記録手段と、
点光源ごとに前記交差回数に応じてホログラム面におけるブロックサイズを設定する手段とを具備したことを特徴とする請求項１に記載の計算機合成ホログラム生成装置。

【請求項6】

前記ブロックサイズを設定する手段は、前記交差回数が多い点光源ほどブロックサイズを大きく設定することを特徴とする請求項５に記載の計算機合成ホログラム生成装置。

【請求項7】

点光源の配置密度を計算し、前記交差回数が多い点光源ほどブロックサイズを大きく設定する割合を配置密度が低い点光源ほど小さくすることを特徴とする請求項６に記載の計算機合成ホログラム生成装置。

【請求項8】

ブロックサイズが所定のサイズよりも大きいブロックの遮蔽判定結果が遮蔽であると当該ブロックを複数の小ブロックに再分割して遮蔽判定をやり直すことを特徴とする請求項１，４ないし７のいずれかに記載の計算機合成ホログラム生成装置。

【請求項9】

コンピュータがホログラム面上における物体光と参照光との干渉計算を行うことによって計算機合成ホログラムを生成する計算機合成ホログラム生成方法において、
物体の3D点群を取得し、
ホログラム面の、複数の画素を包含するように仮想的に分割されたブロックごとに代表点を設定し、
3D点群の点光源ごとに各ブロックの代表点を対象に遮蔽判定を行って当該遮蔽判定の結果を当該ブロック内の全画素に適用し、
前記遮蔽判定の結果に基づいて、ホログラム面上の非遮蔽の画素について物体光波の伝搬計算を行い、
前記各ブロックのブロックサイズを点光源ごとに設定することを特徴とする計算機合成ホログラム生成方法。

【請求項10】

ホログラム面上における物体光と参照光との干渉計算を行うことによって計算機合成ホログラムを生成する計算機合成ホログラム生成プログラムにおいて、
物体の3D点群を取得する手順と、
ホログラム面の、複数の画素を包含するように仮想的に分割されたブロックごとに代表点を設定する手順と、
3D点群の点光源ごとに各ブロックの代表点を対象に遮蔽判定を行い、当該遮蔽判定の結果を当該ブロック内の全画素に適用する手順と、
前記遮蔽判定の結果に基づいて、ホログラム面上の非遮蔽の画素について物体光波の伝搬計算を行う手順と、をコンピュータに実行させ、
前記各ブロックのブロックサイズを点光源ごとに設定することを特徴とする計算機合成ホログラム生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計算機合成ホログラム(Computer-Generated Hologram, CGH)の一種である「連続視差ホログラム」の生成を高速に行う装置、方法及びプログラムに関する。

【背景技術】

【0002】

ホログラフィは光の干渉・回折現象に基づいて物体からの光（物体光）を記録・再生する立体表示技術である。ホログラフィ技術では、物体から放たれる光の波とレーザー等の光源から照射される参照光とを干渉させてホログラム面上に干渉縞（ホログラム）として物体光を記録し、この干渉縞に再生照明光を照射することで記録時の光を再現する。ホログラフィ技術は物体から放たれる光を忠実に再現できることから、人の３次元知覚の生理的要因を全て満たす理想的な３次元表示技術とされている。

【0003】

計算機合成ホログラフィ(Computer-Generated Holography)は、ホログラム計算のために必要となる光波の伝搬や干渉などの計算を計算機内部で光波シミュレーションし、干渉縞を画像に代表される電子データとして出力する技術である。以下、干渉縞を電子データとして生成する技術名称を計算機合成ホログラフィと定義し、出力される干渉縞の画像データを計算機合成ホログラム（Computer-generated hologram, CGH）と表記する。

【0004】

非特許文献1には、3DCGのモデルを入力としてCGHを計算する一手法として「連続視差ホログラム」が提案されている。この技術によるとホログラム面上の画素ピッチレベルで滑らかな連続視差を持つ再生像を再生可能となる。

【0005】

図18は、非特許文献1に示される連続視差ホログラムの計算処理フローであり、メッシュモデルで構成される3Dシーンが入力されると、当該モデルに対してホログラム面の中心から所定の角度範囲で光線を放出し、光線とメッシュモデルとの交点を計算する[同図(a)]。更に、フォンシェーディング等の周知のシェーディング技術を用いて当該交点の色を計算した後、当該交点位置に前記計算した色を有する点光源Pi（iは点光源のインデックス）が存在するものとして3D点群を得る。

【0006】

次いで、各点光源Piからホログラム面上の各画素に対して再びレイトレーシングを行い、間に遮蔽物が存在するか否かを判定する[同図(b)]。次いで、各点光源Piから見て遮蔽関係に無い可視の画素に対してのみ、点光源法を用いた物体光波伝搬計算を行う[同図(c)]。

【0007】

点光源法は非特許文献2等に開示されるようにホログラムの物体計算法における一般的な計算法である。その後は、物体光波と参照光波との干渉計算を行って計算結果をCGHとして出力する。

【0008】

CGHの計算法として連続視差ホログラムを採用する利点は、滑らかな運動視差を獲得できることに加えて、CGのレンダリング手法の一つであるレイトレ―シング法に基づいて正確な隠面処理を実現できるため、品質面に優れたCGH生成が可能となる点にある。

【先行技術文献】

【非特許文献】

【0009】

【文献】Keita Watanabe, Yuji Sakamoto, "Hidden Surface Removal Method Using Object Point Based Ray Tracing in CGH" International Workshop on Advanced Image Technology 2021 (IWAIT2021), 2B-3, Jan 2021.

【文献】A. Stein, Z. Wang, and J. Jr, "Computer-generated holograms: A simplified ray-tracing approach," Comput. Phys. 6, 389‐392 (1992).

【文献】深谷 直樹, 小倉 入忠, 本田 捷夫, 多視点画像を用いた3次元ディスプレイの立体視に関する研究 視差の連続性について, VISION, 1998, 10 巻, 1 号, p. 1-9.

【発明の概要】

【発明が解決しようとする課題】

【0010】

連続視差ホログラムの計算においては、ホログラム面上の各画素への遮蔽判定において点光源数とホログラム面の画素数との積に相当する回数の遮蔽判定計算が必要とされることから、遮蔽判定計算に要する時間が膨大となるという課題がある。

【0011】

本発明の目的は、上記の技術課題を解決し、計算機合成ホログラフィにおいて遮蔽判定回数を削減し、計算機合成ホログラムを高速に生成できる装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0012】

上記の目的を達成するために、本発明は、ホログラム面上における物体光と参照光との干渉計算を行うことによって計算機合成ホログラムを生成する計算機合成ホログラム生成装置において、以下の構成を具備した点に特徴がある。

【0013】

(1) 物体の3D点群を取得する手段と、ホログラム面の仮想的に分割されたブロックごとに代表点を設定する手段と、3D点群の点光源ごとに各ブロックの代表点を対象に遮蔽判定を行って当該遮蔽判定の結果を当該ブロック内の全画素に適用する手段と、遮蔽判定の結果に基づいて、ホログラム面上の非遮蔽の画素についてのみ物体光波の伝搬計算を行う手段とを具備した。

【0014】

(2) 点光源ごとにホログラム面との距離を計算し、点光源ごとにホログラム面との距離に応じてブロックサイズを設定するようにした。

【0015】

(3) 点光源ごとにホログラム面上の正対位置を計算し、点光源ごとに正対位置からの距離に応じてブロックサイズを設定するようにした。

【0016】

(4) 各ブロックに対して所定の順序で遮蔽判定を行う際に、遮蔽判定しようとするブロックに隣接する複数の遮蔽判定済ブロックの遮蔽判定結果に応じて、当該遮蔽判定しようとするブロックを複数の小ブロックに再分割するようにした。

【0017】

(5) 遮蔽判定済のブロックを当該ブロックに隣接する遮蔽判定済の複数のブロックの遮蔽判定結果に応じて、事後的に複数の小ブロックに再分割するようにした。

【0018】

(6) ホログラム面の中心位置からメッシュモデルへレイトレーシングを行った際の各交点を3D点群の各点光源として取得し、点光源ごとに、レイトレーシングにおいて交差した光が当該交差以前に交差した総回数を交差回数として記録し、点光源ごとに交差回数に応じてホログラム面におけるブロックサイズを設定するようにした。

【発明の効果】

【0019】

(1) ホログラム面上の全ての画素と全ての点光源との組み合わせごとに行っていた遮蔽判定を、ホログラム面上で複数の画素を包含するように設定されたブロックの代表点と全ての点光源との組み合わせごとに行えばよいので、遮蔽判定回数を各ブロックが包含する画素数分の１まで減じることができる。

【0020】

(2) ホログラム面からの距離が遠い点光源ほど、遮蔽判定の単位となるブロックがより多くの画素を包含するように大きなサイズに設定されるので、体感的な表示品質に影響を与えることなく遮蔽判定回数を削減できるようになる。

【0021】

(3) 点光源ごとにホログラム面における正対位置を計算し、ブロックサイズが正対位置から離れるほど大きなサイズに設定され、その結果、点光源からの距離が長いホログラム面上の領域ほどブロックサイズが大きく設定されるので、体感的な表示品質に影響を与えることなく遮蔽判定回数を削減できるようになる。

【0022】

(4) 遮蔽判定しようとするブロックに隣接する遮蔽判定済みブロックの判定結果が割れており、遮蔽判定しようとするブロック内で遮蔽の状態が一様ではない可能性が高い場合には、当該ブロックを小ブロックに再分割して遮蔽判定を行うので、ブロック単位での遮蔽判定の精度を向上させることができる。

【0023】

(5) 注目したブロックの遮蔽判定結果と周囲ブロックの遮蔽判定結果とを比較した結果、注目ブロック内で遮蔽の状態が一様ではない可能性が高い場合には当該ブロックを小ブロックに再分割して遮蔽判定を行うので、ブロック単位での遮蔽判定の精度を向上させることができる。

【0024】

(6) レイトレーシング法により3D点群を取得する際に同一光線上でホログラム面側の交差回数Ciが多い点光源ほど、そのブロックサイズが大きく設定されるので、体感的な表示品質を低下させることなく遮蔽判定の回数を減じることができる。

【図面の簡単な説明】

【0025】

【図1】本発明の第1実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図2】ホログラム面を仮想的に複数のブロックに分割する例を示した図である。

【図3】遮蔽計算をブロックごとにその代表点に対して実施する例を示した図である。

【図4】遮蔽判定の例を示した図である。

【図5】ブロックごとにその代表点から見て回折角度外に位置する点光源との遮蔽判定を行わない例を示した図である。

【図6】本発明の第2実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図7】点光源ごとにホログラム面からの距離に応じてブロックサイズを設定する例を示した図である。

【図8】本発明の第3実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図9】点光源ごとにホログラム面上の正対位置からの距離に応じてブロックサイズを設定する例を示した図である。

【図10】本発明の第4実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図11】ブロックサイズを適応的に変更する例を示した図である。

【図12】本発明の第5実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図13】ブロックサイズを事後的に変更する例を示した図である。

【図14】本発明の第6実施形態に係る計算機合成ホログラム生成装置の構成を示した機能ブロック図である。

【図15】レイトレーシングにおいて光がメッシュモデルと交差する回数を計算する例を示した図である。

【図16】点光源ごとに交差回数に応じてブロックサイズを設定する例を示した図である。

【図17】非遮蔽と判定されたサイズの大きいブロックを再分割して小ブロックごとに再判定する例を示した図である。

【図18】従来の連続視差ホログラムの計算処理を模式的に示した図である。

【発明を実施するための形態】

【0026】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、3D点群取得部10、ブロック単位遮蔽判定部20、光波伝搬計算部30および干渉計算部40を主要な構成としている。

【0027】

このような計算機合成ホログラム生成装置1は、CPU，ROM，RAM，バス，インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0028】

3D点群取得部10は、CGHの計算によりホログラムに記録したいシーンの3D点群データを取得する。3D点群は、例えばPLYファイルなどの汎用フォーマットとして入力される。本実施形態では全I個の点光源Piがファイルから入力され、各点光源Piは3D位置情報（Xi, Yi, Zi）および輝度情報（Ai）を持つものとする。

【0029】

輝度情報（Ai）はRGBなどの複数の色を持つ形式で入力することができる。ただし、CGHの生成過程では通常、カラー化の際に赤、緑、青の波長ごとに干渉縞を独立に計算するものの同じ処理を3回繰り返すのみで単色でもカラーでもフローの違いは無い。そこで、ここでは単色の輝度情報（Ai）を例にして説明する。

【0030】

なお、3D点群は上記のように3D位置及び色情報から成る3D点群をそのまま入力しても良いし、後に詳述するように、非特許文献1が開示するようにホログラム面中央からのレイトレーシング法によりメッシュモデルから3Ｄ点群を取得しても良い。後者の場合はレイトレーシングにより点群を得るための機能を具備する。

【0031】

ブロック単位遮蔽判定部20は代表点設定部201を具備し、ホログラム面における遮蔽判定をN×N画素またはN×M画素のブロック単位で行う。本実施形態では、図2に一例を示すようにホログラム面が仮想的に複数のN画素×N画素ブロック（ここでは、2×2画素ブロック）に分割されており、前記代表点設定部201はブロックごとに代表点を設定する。代表点は例えば各ブロックの中心位置や重心位置に設定できる。

【0032】

遮蔽計算は、図3に示すように代表点ごとに実施され、判定結果として遮蔽情報Sj (u, v)を取得する。遮蔽情報Sj (u, v)は、例えば非遮蔽（代表点から可視）であれば「1」、遮蔽（代表点から不可視）であれば「0」となる。各代表点の判定結果はそのブロック内の全画素に適用される。したがって、光波伝搬計算部30は後に詳述するように、代表点が「非遮蔽」と判断されたブロックのみを対象に当該ブロック内の全ての画素に対して各点光源からの光波伝搬計算を行う。

【0033】

なお、本実施形態では各ブロックの中心位置や重心位置がホログラム面上の画素位置と一致することは保証できず、それ自体は本発明の動作に影響しないものの、ソフトウェア実装の制約等により代表点をいずれかの画素位置と一致させることが望ましければ、中心位置や重心位置から最近傍の画素位置を代表点に設定しても良い。

【0034】

図4はブロック単位遮蔽判定部20による遮蔽判定の例を示した図であり、注目する点光源P_Aと各ブロックの代表点 (uc, vc)とを結んだ直線に対し、距離ε以下の位置に他の点光源Pが存在すれば遮蔽と判定する。距離εは予め決定される定数である。

【0035】

なお、ホログラフィの再生は光の回折現象によって実現されることから、図5に示すようにホログラム面から見て光の回折角度外に存在する点光源P1に関しては、当該画素に対する遮蔽判定を計算する必要はない。したがって、このケースにおいては遮蔽判定を行わずに無条件でSj(u,v)に0（遮蔽）をセットして、後段の光波伝搬計算部30で物体光波伝搬計算が行われないようにしてよい。

【0036】

本実施形態では、回折角度外になるか否かの判定をブロックごとに代表点において実施して判定結果をブロック内の全ての画素に適用するので判定回数を減らすことができ、計算処理の上で効率が高まることが考えられる。図5における光の回折角度θはホログラム面の画素ピッチp及び参照光の波長λを次式(1)に適用して計算される。λは色によって値が異なるため、カラー再生においてはそれぞれθを計算し、回折領域を計算する必要がある。

【0037】

【数1】

【0038】

光波伝搬計算部30は、次式(2)、(3)を用いる周知の点光源法に基づいて、3D点群の各点光源からホログラム面の非遮蔽の各画素までの物体光波の伝搬計算を行う。

【0039】

【数2】

【0040】

【数3】

【0041】

ここで、ai (u,v)は各点光源Piから伝搬されるホログラム面上の光波分布、AiはPiの輝度、kは光の波長から計算される波数、riは点光源Piとホログラム面上の画素(u,v)との距離を表している。

【0042】

干渉計算部40はホログラム面上の物体光波a(u,v)に対して参照光波R(u,v)との干渉計算を行う。本実施形態では次式(4)で表される平行光を入射するものとするが任意の参照光を用いてよい。ここでφは参照光のホログラム面への入射角度であり、R0は参照光の強度である。本実施形態ではφ=0（ホログラム面に直交して入射する平面波）とする。

【0043】

【数4】

【0044】

次いで、この参照光波と物体光波の干渉を次式(5)に適用してCGHの輝度分布を計算する。

【0045】

【数5】

【0046】

最後に、このI(u,v)を0-255のレンジに正規化し、画像として出力する。この画像を空間光変調器上で再生し、そこに再生照明光を照射することで、再生像の再生及び表示を行う。

【0047】

本実施形態によれば、ホログラム面上の全画素と全ての点光源との組み合わせごとに行っていた遮蔽判定を、ホログラム面上で複数の画素を包含するように設定されたブロックの代表点と全ての点光源との組み合わせごとに行えばよいので、遮蔽判定回数を各ブロックが包含する画素数分の１まで減じることができる。

【0048】

また、本実施形態によれば各ブロックの代表点から見て光の回折角度外に存在する点光源については当該ブロック内の全ての画素との関係で遮蔽判定が不要となるので遮蔽判定回数を更に減じることができる。

【0049】

なお、ブロックサイズが大きくなるほど理論的には遮蔽判定が不正確となることは避けられないが、人間の眼の分解能の限界から実質的には一定の表示品質が維持されることが期待される。

【0050】

すなわち、視覚の分解能は視力1.0において約1/60度とされており、これは1m先で0.3ミリの幅を知覚できることに相当する。一方、ホログラムの画素ピッチは光の波長に近いオーダーになることが期待されているが、ホログラム面の画素ピッチ単位で遮蔽判定を計算し、精緻な遮蔽関係を再現したとしても人間の眼の分解能を超えてしまう。したがって、一定のブロックサイズで遮蔽判定を代替することで遮蔽関係が多少粗く再現されたとしても見た目として変化が現れにくい。

【0051】

また、非特許文献3によれば、視域幅が眼の瞳孔径（2mm～8mm）を下回る場合に滑らかな運動視差を知覚できるとの報告がある。このことから考えても、ブロックサイズが極端に大きくならなければ、ブロック単位で遮蔽判定を計算し、その結果をブロック内の全画素へ適用しても知覚レベルでの表示品質の維持できるようになる。

【0052】

図6は、本発明の第2実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、第1実施形態と同一の符号は同一または同等部分を表している。本実施形態はブロックサイズ設定部15を具備し、点光源ごとにブロックサイズを可変とした点に特徴がある。

【0053】

前記ブロックサイズ設定部15は、点光源Piごとにホログラム面との距離を計算する距離計算部151を具備し、図7に示すように、当該距離に応じて、例えば相対的に距離が長い点光源P2のブロックサイズN [同図(b)]を、相対的に距離が短い点光源P1のブロックサイズN [同図(a)]よりも大きく設定する。

【0054】

一般に、人の眼の分解能は視角によって表され、距離が近い物体ほど高解像度に見える。したがって、点光源Piがホログラム面に近いほど精緻な遮蔽関係を感知できる一方、距離が遠くなるほど精緻な遮蔽関係を感知しづらくなる。

【0055】

本実施形態によれば、ホログラム面からの距離が遠い点光源ほど、遮蔽判定の単位となるブロックがより多くの画素を包含するように大きなサイズに設定されるので、体感的な表示品質に影響を与えることなく遮蔽判定回数を削減できるようになる。

【0056】

なお、距離が遠い点光源や遮蔽される可能性が高い点光源に対して遮蔽判定が粗くなることの影響が少ないと考えられる理由は以下の2点である

【0057】

第1に、距離が遠い物体を見る場合ほど人の視覚の分解能が低下するため、遮蔽部/非遮蔽部の境界を知覚しづらくなると考えられるためである。

【0058】

第2に、覆い隠される後方の物体の縁の部分の遮蔽関係は粗くなるが、一般に前方の物体を構成する点光源の空間解像度に基づき点光源が一定の広がりを持って再生されることから、後方物体において精緻な遮蔽判定を行っても前方の点光源の解像度に基づき縁部分を認識しづらくなると考えられるためである。この解像度は光源の性質や、光学系の設置誤差、使用するレンズの性質等に影響されるため、一概に計算することは困難である。

【0059】

図8は、本発明の第3実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、上記の各実施形態と同一の符号は同一または同等部分を表している。

【0060】

本実施形態はブロックサイズ設定部15が正対位置計算部152を具備し、点光源ごとにホログラム面における正対位置を計算し、ブロックサイズを正対位置からの距離に応じて可変とした点に特徴がある。

【0061】

図9は、本実施形態におけるブロックサイズの設定例を示した図であり、同図(a)では点光源P1の正対位置(uc, vc)がホログラム面の中心点より若干左下なので左下領域では相対的に小さなブロックサイズに設定される一方、当該左下領域からの距離が長くなるほど相対的に大きなブロックサイズに設定されている。

【0062】

同図(b)では点光源P2の正対位置(uc, vc)がホログラム面の右上なので右上領域では相対的に小さなブロックサイズが設定される一方、当該右上領域からの距離が長くなるほど相対的に大きなブロックサイズに設定されている。

【0063】

本実施形態によれば、点光源ごとにホログラム面における正対位置を計算し、ブロックサイズが正対位置から離れるほど大きなサイズに設定されるので、実質的に点光源からの距離が長いホログラム面上の領域ほどブロックサイズを大きく設定できる。

【0064】

図10は、本発明の第4実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、上記の各実施形態と同一の符号は同一または同等部分を表している。

【0065】

本実施形態はブロック単位遮蔽判定部20がブロックサイズ適応的変更部202を具備し、初めに所定のブロックサイズで遮蔽判定を開始し、遮蔽判定しようとするブロックBiに隣接する遮蔽判定済みブロックの判定結果を参照し、当該判定結果に応じてブロックBiのサイズを適応的に変更するようにした点に特徴がある。

【0066】

図11は本実施形態においてブロックサイズを適応的に変更する例を示した図である。ホログラム面の例えば左上ブロックから右下ブロックへシーケンシャルに遮蔽判定を行う過程でブロックBiを遮蔽判定する際、その上側および左側に隣接する2つの遮蔽判定済みブロックB1，B2の判定結果を参照する。

【0067】

その結果、ブロックB1，B2の判定結果が同じであれば当該ブロックBiのサイズを維持して遮蔽判定する一方、判定結果が異なっていると、ブロックサイズ適応的変更部202が当該ブロックBiを更に複数の小ブロックに分割する。ブロック単位遮蔽判定部20は小ブロックごとに遮蔽判定を行う。

【0068】

なお、遮蔽判定の結果を参照するブロックは上側および左側に隣接する2つのブロックに限定されるものではなく、遮蔽判定しようとするブロックBiから所定の距離内にある、より多くの遮蔽判定済みブロックの判定結果を参照するようにしても良い。

【0069】

本実施形態によれば、遮蔽判定しようとするブロックBiに隣接する遮蔽判定済みブロックの判定結果が割れており、遮蔽判定しようとするブロック内で遮蔽の状態が一様ではない可能性が高い場合には当該ブロックを小ブロックに再分割して遮蔽判定を行うので、ブロック単位での遮蔽判定の精度を向上させることができる。

【0070】

図12は、本発明の第5実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、上記の各実施形態と同一の符号は同一または同等部分を表している。

【0071】

本実施形態はブロック単位遮蔽判定部20がブロックサイズ事後的変更部203を具備し、全てのブロックについて所定のサイズで遮蔽判定を行った後、ブロックごとにその周囲ブロックの遮蔽判定結果に基づいて再分割の要否を判断し、再分割が必要であれば当該ブロックを複数の小ブロックに分割して遮蔽判定をやり直すようにした点に特徴がある。

【0072】

図13は本実施形態においてブロックサイズを事後的に変更する例を示した図であり、全てのブロックについて所定のサイズで遮蔽判定を行ったのち、ブロックごとにその周辺ブロックの判定結果を参照する。

【0073】

同図(a)は、ブロックごとにその上下左右の4ブロックの判定結果に基づいて再分割の要否を決定する例を示しており、ここでは注目ブロックBiの判定結果が「1」であり、その周囲4ブロックの判定結果も全て「1」なので、注目ブロックBiのブロックサイズおよびその判定結果が維持される。

【0074】

これに対して、同図(b)に示すように周囲4ブロックの判定結果が同じでないか、あるいは同図(c)に示すように周囲4ブロックの判定結果は同じであっても注目ブロックBiの判定結果と異なっていると、当該注目ブロックBiの判定結果を破棄して小ブロックに再分割し、小ブロックごとに遮蔽判定をやり直す。

【0075】

なお、遮蔽判定の結果を参照するブロックは上下左右に隣接する4つのブロックに限定されるものではなく、周辺8ブロックあるいは注目ブロックBiと所定の位置関係にある、より多くのブロックの遮蔽判定結果を参照するようにしても良い。

【0076】

本実施形態によれば、注目したブロックの遮蔽判定結果と周囲ブロックの遮蔽判定結果とを比較した結果、注目ブロック内で遮蔽の状態が一様ではない可能性が高い場合には、当該ブロックを小ブロックに再分割して遮蔽判定を行うので、ブロック単位での遮蔽判定の精度を向上させることができる。

【0077】

なお、ブロックはホログラム面全体を埋め尽くすように設定する必要があるため、上記の第3実施形態ではホログラム面の一部領域において複数のブロックが重複して設定され得る。第3実施形態以外でも、ホログラム面の縦横サイズが当初のブロックの縦横サイズの整数倍とならない場合にホログラム面の一部領域において複数のブロックが重複して設定され得る。このとき、重複部分について各ブロックの遮蔽判定結果が同一であれば当該結果をそのまま採用する一方、各ブロックの遮蔽判定結果が異なる場合は当該重複部分を複数の小ブロックに細分割し、当該小ブロックごとに遮蔽判定をやり直すようにしても良い。

【0078】

図14は本発明の第6実施形態に係る計算機合成ホログラム生成装置1の構成を示した機能ブロック図であり、上記の各実施形態と同一の符号は同一または同等部分を表している。

【0079】

上記の各実施形態では3D点群が予め与えられているものとして説明したが、本実施形態は前記3D点群取得部10に代えてレイトレーシング3D点群取得部10Aを具備し、メッシュモデルで構成される3Dシーンが入力される。レイトレーシング3D点群取得部10Aはメッシュモデルへホログラム面の中央からレイトレーシングを行い、各光線がメッシュモデルと交差するごとに当該交点（3D点群の点光源Pi）の色情報を取得する。

【0080】

レイトレーシング3D点群取得部10Aにおいて、交差回数記録部101は図15に示すように、点光源Piごとに当該光線にとって自身が何度目の交点であるかを計数し、当該計数値を点光源Piへ至るまでの交差回数Ciとしてブロックサイズ設定部15へ提供する。

【0081】

なお、光線と光線の作り出す角度（光線間隔）については、取得した点光源から計算したホログラムを再生した際に点と点の隙間が知覚できない解像度となる間隔で光線を射出することが望ましい。例えば人間の視力が1.0の場合、人の眼は約1/60度程度の解像度を持つことが知られている。厳密な空間解像度については光源のコヒーレンス性や光学系の設置誤差等にも影響を受けるため一概に測定することは困難であるため、隙間が見えない光線間隔を事前に測定のうえで採用してもよい。

【0082】

ブロックサイズ設定部15は、点光源Piごとに交差回数Ciに基づいてブロックサイズを設定する。交差回数Ciが2以上の点光源Piは、少なくともホログラム面の中央からのレイトレーシングにおいては遮蔽物が存在していることを意味しており、ホログラム面上の他の画素からも不可視の点である可能性が高くなる。

【0083】

そこで、本実施形態では図16に示すように、相対的に交差回数Ciが多い点光源P4 [同図(b)]については、相対的に交差回数Ciが少ない点光源P1[同図(a)]よりもブロックサイズを大きく設定する。

【0084】

一方、本実施形態のようにレイトレーシング法により3D点群を取得すると、ホログラム面から離れる点光源ほどブロックサイズが大きく設定されるのみならず配置密度が低下するので、遮蔽判定が粗くなって表示の違和感が大きくなる場合がある。

【0085】

そこで、本実施形態ではブロックサイズ設定部15に密度反映部153を設けている。密度反映部153は、交差回数Ciに応じてブロックサイズが大きく設定される割合を配置密度が低いほど小さくし、結果として、交差回数Ciが同じであっても配置密度が低い点光源のブロックサイズは配置密度が高い点光源のブロックサイズよりも相対的に小さく設定されるようにしている。

【0086】

本実施形態によれば、レイトレーシング法により3D点群を取得する際に同一光線上でホログラム面側の交差回数Ciが多い点光源ほど、そのブロックサイズが大きく設定されるので、体感的な表示品質を低下させることなく遮蔽判定の回数を減じることができる。

【0087】

また、本実施形態によれば、交差回数Ciに応じてブロックサイズを大きく設定する割合を配置密度が低い点光源ほど小さくするので、交差回数Ciが同じであっても配置密度が低い点光源のブロックサイズを配置密度が高い点光源のブロックサイズよりも相対的に小さくできる。したがって、ホログラム表示の粗さが原因となる表示品質の違和感を緩和できるようになる。

【0088】

なお、上記の第2，第6実施形態では確率的に遮蔽（不可視）と判定され易い点光源ほどブロックサイズを大きくすることで表示品質への影響を抑えながら遮蔽判定回数の削減を図っているが、図17に示すように、非遮蔽と判定された大きいブロックについては例外とみなして複数の小ブロックに再分割し、当該小ブロックごとに遮蔽判定をやり直すようにしても良い。

【0089】

さらに、各点光源Piのホログラム面までの距離と当該点光源に至るまでの交差回数とは一般的に正の相関があると考えられるが、このような相関が必ずしも成立しない環境であれば、上記の第5，第6実施形態を適宜に組み合わせ、距離が遠くても交差回数が少ない点光源Pi、その逆に交差回数が多くても距離の近い点光源Piについてはブロックサイズを大きくしない、または大きくする割合を低くしても良い。換言すれば、距離が遠く、かつ交差回数が多い点光源Piのみ、そのブロックサイズを大きく設定するようにしても良い。

【0090】

さらに、上記の各実施形態では3Dシーンが静止している場合を例にして説明したが、本発明はこれのみに限定されるものではなく、3Dシーンがフレーム単位で変化するCGH動画にも適用できる。この場合、各ブロックにおける代表点の位置をフレーム単位又は数フレーム単位でランダムに変更しても良い。

【0091】

すなわち、上記の各実施形態では本来は「非遮蔽」であるはずの点光源がブロック単位で遮蔽判定する際に生じる誤差によって「遮蔽」と誤判定されて見えなくなる可能性がある。これに対して、各ブロックにおける代表点の位置をフレーム間でランダムに設定すれば、一部のフレームでは「遮蔽」と誤判定されていた点光源が他のフレームでは「非遮蔽」と正しく判定されて見えるようになることが期待できる。なお、この場合でも人の眼の残像効果に基づき、いずれかのフレームで正しく見える箇所が残像として残ることでユーザは正常に視聴できていると体感できる。

【0092】

そして、上記の各実施形態によれば高品質なCGHを短時間で生成することができ、通信インフラ経由でもリアルタイムで提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なエンターテインメントを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

【符号の説明】

【0093】

10…3D点群取得部，10A…レイトレーシング3D点群取得部，15…ブロックサイズ設定部，20…ブロック単位遮蔽判定部，30…光波伝搬計算部，40…干渉計算部，101…交差回数記録部，151…距離計算部，152…正対位置計算部，153…密度反映部，201…代表点設定部，202…ブロックサイズ適応的変更部，203…ブロックサイズ事後的変更部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】