特開 2023-177670 計算機合成ホログラム生成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177670

(43)【公開日】2023-12-14

(54)【発明の名称】計算機合成ホログラム生成装置及びプログラム

(51)【国際特許分類】

   G03H 1/08 20060101AFI20231207BHJP

【ＦＩ】

G03H1/08

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022090462

(22)【出願日】2022-06-02

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】野中 敬介

【テーマコード（参考）】

2K008

【Ｆターム（参考）】

2K008AA00

2K008BB00

2K008FF27

(57)【要約】

【課題】例えば全天球映像の場合のように描画範囲が広範に渡る場合であっても計算量を抑制することができる計算機合成ホログラム生成装置を提供する。
【解決手段】物体表面の点光源による物体光と参照光との干渉計算をホログラム面上において行うことによって、計算機合成ホログラムを生成する計算機合成ホログラム生成装置において、ユーザが注視する度合いがより大きいと判定される領域により密な点光源を割り当てることで前記干渉計算を行うことを特徴とする。
【選択図】図５

【特許請求の範囲】

【請求項1】

物体表面の点光源による物体光と参照光との干渉計算をホログラム面上において行うことによって、計算機合成ホログラムを生成する計算機合成ホログラム生成装置において、
ユーザが注視する度合いがより大きいと判定される領域に対してより密な点光源を割り当てることで前記干渉計算を行うことを特徴とする計算機合成ホログラム生成装置。

【請求項2】

前記ホログラム面は全天球に対応しており、当該ホログラム面を要素ホログラム面に分割したうえで、当該要素ホログラム面ごとに観測可能な３次元モデル物体の点光源に関して前記干渉計算を行い、
前記全天球上における位置に応じて、要素ホログラム面がカバーする範囲の広狭を設定することで、ユーザが注視する度合いがより大きいと判定される領域に対してより密に要素ホログラム面を割り当てることにより、前記干渉計算を行うことを特徴とする請求項１に記載の計算機合成ホログラム生成装置。

【請求項3】

前記全天球上における位置が水平方向に近いほど、前記ユーザが注視する度合いがより大きいと判定される領域に該当するものとして、要素ホログラム面がカバーする範囲をより狭く設定することを特徴とする請求項２に記載の計算機合成ホログラム生成装置。

【請求項4】

前記全天球上における位置が、ユーザ視線向きとしての前方方向、または、描画対象となる３次元コンテンツにおいて予め設定される向きとしての前方方向により近いほど、前記ユーザが注視する度合いがより大きいと判定される領域に該当するものとして、要素ホログラム面がカバーする範囲をより狭く設定することを特徴とする請求項２に記載の計算機合成ホログラム生成装置。

【請求項5】

前記全天球における位置が、前景として描画する３次元物体モデルが存在する位置に該当する要素ホログラム面のカバーする範囲を、当該３次元物体モデルが存在しない位置に該当する要素ホログラム面のカバーする範囲よりも狭く設定することを特徴とする請求項２に記載の計算機合成ホログラム生成装置。

【請求項6】

前記全天球における位置が、より重要度が高いものとして描画する３次元物体モデルが存在する位置に該当する要素ホログラム面のカバーする範囲を、より重要度が低いものとして描画する３次元物体モデルが存在する位置に該当する要素ホログラム面のカバーする範囲よりも狭く設定することを特徴とする請求項２に記載の計算機合成ホログラム生成装置。

【請求項7】

前記重要度を、３次元物体モデルの位置とユーザ位置とが近いほど、３次元物体モデルがより高速に動くものであるほど、３次元物体モデルの彩度若しくは不透明度が高いほど、または、３次元物体モデルに予め設定される属性に応じて、より高い重要度として設定することを特徴とする請求項６に記載の計算機合成ホログラム生成装置。

【請求項8】

前記ホログラム面は全天球に対応しており、当該ホログラム面を要素ホログラム面に分割したうえで、当該要素ホログラム面ごとに観測可能な３次元モデル物体の点光源に関して前記干渉計算を行い、
当該要素ホログラム面の垂線方向から徐々に角度を変化させた光線について観測可能な点光源を調べることで前記干渉計算の対象となる点光源を設定し、
同一の要素ホログラム面においては、当該垂線方向が最も注視の度合いが高いものとして、前記徐々に変化させる角度の変化幅を、当該垂線方向に近い光線ほど小さい変化幅として設定することで、当該垂線方向に近いほど、対応する観測可能な点光源の密度がより密となるように設定することを特徴とする請求項１に記載の計算機合成ホログラム生成装置。

【請求項9】

コンピュータを請求項１ないし８のいずれかに記載の計算機合成ホログラム生成装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば全天球映像の場合のように描画範囲が広範に渡る場合であっても計算量を抑制することができる計算機合成ホログラム生成装置及びプログラムに関する。

【背景技術】

【0002】

ホログラフィは光の干渉・回折現象に基づいて、物体からの光（物体光）と外部からの参照光との干渉縞を記録・再生する立体表示技術である。ホログラフィ技術では、物体から放たれる光の波と、レーザー等の光源から照射される参照光を干渉させ、ホログラム面上に干渉縞（ホログラム）として物体光を記録する。この干渉縞に再生照明光を当てることで、記録時の光を再現することができる。物体から放たれる光を忠実に再現できることから、人の３次元知覚の生理的要因を全て満たす理想的な３次元表示技術とされている。

【0003】

このホログラフィ技術の中で、計算機合成ホログラム（Computer-Generated Hologram：CGH）は、ホログラムの計算のために必要となる光波の伝搬や干渉などの計算を計算機内部で光波シミュレーションし、干渉縞を画像に代表される電子データとして出力する技術である。写真乾板などに記録するアナログのホログラムと比較すると、撮影のための複雑な光学系が不要であることや、空間光変調器（SLM：Spatial Light Modulator）に表示するCGHを次々と切り替えていくことで動画化が容易に行えるなどの利点が存在するため、次世代のテレビや、VR/AR（仮想現実／拡張現実）を始めとするXR（VR,AR,MR（複合現実）等の総称）デバイスなどに適用されることが期待されている。

【0004】

一方、CGHの課題として、計算のための処理時間が膨大であるという問題が存在している。特にCGHの計算法として、記録する物体を多数の点光源の集合（3D点群データ）で定義し、この各点光源から放出される光の伝搬を計算して物体光波を記録する「点光源法」が著名であるが、多数の点群からの光波伝搬シミュレーションを行う必要があるため、この計算処理時間は膨大である。また、ホログラフィの再生時に十分な視域を得るためには可視光の波長に近い約1μm程度の画素ピッチのSLMが必要とされている。例えば1μmのオーダーで1cm×1cmの液晶を実現するために必要となるピクセル数は10000×10000ピクセルとなる。さらに液晶の大型化が成されることも想定すると、将来的には数百K～数千Kレベルの液晶が必要となる。点光源法の計算時間は一般に「点光源数×ホログラム面の画素数」であることを鑑みれば、膨大な点数を入力にリアルタイム計算を行うことは困難である。

【0005】

計算処理時間が膨大となるCGHの課題に対処する種々の従来技術がある。

【0006】

非特許文献1においては、VR（XR）応用などを目的に、着用者がわずかに視点の位置や向きを動かしたときに、その状況に合わせた干渉縞を移動前のフレームの物体光波分布に変換を加えることで高速に計算する手法が開示されている。この変換の特性は、例えばHMD（ヘッドマウントディスプレイ、Head Mounted Display）型のホログラフィ視聴が可能なXRデバイスなどにおいて、様々な瞳孔間距離を持つユーザに対して、微妙に異なる視点位置からの再生像を掲示したい場合などに有用である。

【0007】

また、非特許文献１などで用いられている要素ホログラム法では、単一の矩形ホログラム面を矩形の小領域（要素ホログラム）に分割し、当該要素ホログラム視点ごとの各点光源の観測可否を離散的に計測することで、自然な運動視差を高速に計算する手法が提案されている。前述の通り、要素ホログラム法ではない点光源法では、ホログラム面の画素ごとにレイトレーシングを行い、そこから可視の点光源を取得し、当該可視の点光源からのみ各画素に対する物体光の伝搬計算を行う。このことによりオブジェクトの遮蔽関係を考慮した干渉縞計算が可能となるが、この画素ごとのレイトレーシングは極めて膨大な計算を必要とする。このため、要素ホログラム法では、要素ホログラムごとにおおまかにレイトレーシングを行い、要素ホログラムごとに可視な点光源から各画素に対して物体光の計算を行う。図１に要素ホログラム法を模式的に示すように、6つの要素ホログラムh1,…,h6視点に対応する物体OBの描画結果G1,…,G6（厳密には描画結果には限定されずh1～h6の代表点からのレイトレーシングの結果）を得ている。例えば、h1の干渉縞計算にはG1の結果において得られた点光源（およびそれらによって得られる遮蔽関係）を用いて計算し、h2～h6についても同様に干渉縞を計算し、ホログラム面全体の干渉縞を得ることができる。当該要素ホログラム法も映像品質を保ちつつ計算高速化実現しているという観点で、有効な光波伝搬計算法である。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】R. Watanabe, T. Nakamura, M. Mitobe, Y. Sakamoto, and S. Naito, "Fast calculation method for viewpoint movements in computer-generated holograms using a Fourier transform optical system," Appl. Opt. 58, G71-G83 (2019).

【発明の概要】

【発明が解決しようとする課題】

【0009】

従来技術のCGHでは、CGHを全天球画像や全天球映像において用いる際の計算量の増大への対処が考慮されていなかった。図２に、CGHを全天球映像において用いる際の処理の枠組みと課題を模式的に示す。

【0010】

現在広く市場に展開されているHMDを用いたVR映像鑑賞は、ある視点からみた全天球型の360度映像をデバイス側で受信（またはレンダリング）し、ユーザの顔の向きなどの姿勢に応じて映像の一部を切り出し、表示することで実現されている。既存のVR体験がこのような形態をとるひとつの理由として、「VR酔いなどのない自然な映像鑑賞を実現するためには顔の動きに対して極めて短い遅延で位置姿勢に合わせた映像を表示する」点が挙げられる。こういった要件を鑑みると、非特許文献1などで提案されているHMDを対象とした高速な光波伝搬計算を利用した場合においても、実用的には全天球型の物体光波データを受信デバイスに送信し、デバイス側でユーザの位置姿勢に応じて一部の物体光波を切り出したうえでホログラフィを再生することが望ましい。一方で、このような広範囲にわたる全天球型の物体光波の計算には、前述の「CGHでは従来のディスプレイ以上に膨大な画素数（画素密度）を要する」という観点から、さらなる膨大な計算時間の増大を招くという課題がある。

【0011】

すなわち、図２に示されるように、リアルタイムで動作しうる3DCGモデルを用意（処理p1）して、リアルタイムに時間変化するユーザ視点の位置姿勢情報を取得（処理p2）し、この位置姿勢で全天球における3DCGモデルの干渉縞を計算（処理p3）し、その結果をリアルタイムに表示（処理p4）することでHMDでのホログラフィ鑑賞を実現するが、全天球では処理p3の計算が膨大になるという課題がある。

【0012】

ここで、既存のVR関連のホログラフィ技術においては、曲面をどのように平面のホログラム面（SLM）における光波伝搬として近似的に計算するか、などの計算理論の発明が主であり、このような全天球型のホログラフィを対象とした技術は提案されてこなかった。

【0013】

上記従来技術の課題に鑑み、本発明は、例えば全天球映像の場合のように描画範囲が広範に渡る場合であっても計算量を抑制することができる計算機合成ホログラム生成装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0014】

上記目的を達成するため、本発明は、物体表面の点光源による物体光と参照光との干渉計算をホログラム面上において行うことによって、計算機合成ホログラムを生成する計算機合成ホログラム生成装置において、ユーザが注視する度合いがより大きいと判定される領域に対してより密な点光源を割り当てることで前記干渉計算を行うことを特徴とする。また、コンピュータを前記計算機合成ホログラム生成装置として機能させるプログラムであることを特徴とする。

【発明の効果】

【0015】

本発明によれば、ユーザが注視する度合いの大小に応じた密度で点光源を設定することで、計算機合成ホログラムを生成する際の計算量を抑制することができる。

【図面の簡単な説明】

【0016】

【図1】要素ホログラム法を模式的に示す図である。

【図2】CGHを全天球映像において用いる際の処理の枠組みと課題を模式的に示す図である。

【図3】一実施形態に係るCGH生成装置の機能ブロック図である。

【図4】本実施形態のCGH生成装置が実現する計算高速化の態様を模式的に示す図である。

【図5】適応的要素ホログラム分割部及び点光源取得部の説明図である。

【図6】点光源取得部の第１実施形態の説明図である。

【図7】点光源取得部の第２実施形態の説明図である。

【図8】適応的ホログラム分割部で要素ホログラム面のサイズの大小を変えて設定することによる点光源の密度の変化の様子を模式的に示す図である。

【図9】一般的なコンピュータにおけるハードウェア構成例を示す図である。

【発明を実施するための形態】

【0017】

図３は、一実施形態に係るCGH生成装置10の機能ブロック図である。図示するようにCGH生成装置10は、ユーザの位置姿勢を取得するユーザ位置姿勢取得部1と、3Dモデルデータを取得する3Dモデル入力部3と、当該取得したユーザの位置姿勢に基づき要素ホログラムの分割方法を決定する適応的要素ホログラム分割部2と、各要素ホログラムの天球上の位置に応じた間隔で適応的に点光源を取得することができる点光源取得部4と、当該取得した点光源に基づき各要素ホログラム面の物体光波を計算する光波伝搬算出部5と、物体光波と参照光波の干渉縞を計算し再生する干渉計算部6とを備える。なお、点光源取得部4では、別の実施形態として、前記した適応的な点光源取得ではなく、既存手法と同様の均一な点光源取得を行うようにしてもよい。

【0018】

図４に、本実施形態のCGH生成装置10が実現する計算高速化の態様を模式的に示すように、本実施形態では要素ホログラム法の考え方を基に、全天球型のHMDにおけるユーザ体験の特性を利用して、計算に必要な対象データの量を削減することで計算高速化を図ることができる。

【0019】

すなわち、要素ホログラムに関して、ユーザ体験に重要な領域が割り当てられる要素ホログラムは狭い範囲にして密にカバーするようにし、ユーザ体験にそれほど重要ではない領域が割り当てられる要素ホログラムは広い範囲にして疎にカバーするようにすることで、ユーザ体験を損なわれる程度を最小限度に抑制してユーザ体験の品質を維持しつつ、計算高速化を図ることができる。（なお、基本的に、要素ホログラム分割は、ある固定の画素密度で構成されたホログラム面を領域分割し、その領域単位で点光源の取得を行うようにしており、画素の密度は変わらないが、本実施形態により、要素ホログラムごとの画素数を異なるものとすることができる。）

【0020】

具体的には、HMDを用いた映像鑑賞では、主に真正面および水平方向の視線移動に対応するコンテンツの品質はユーザ体験品質に大きく影響し、天球の真上（天井）や真下（足元）のコンテンツの品質はユーザ体験品質にあまり影響しないという特性がある。これは、ユーザが天井や足元の映像を注意深く鑑賞することは稀であることに起因する。また、コンテンツの前方に比べると背面側の品質も、同様の理由から体験品質に影響を及ぼしにくい。このHMD固有のユーザ体験の特性を活かして、図４に「実施形態１」として模式的に示されるように、天井または足元の周辺のコンテンツの品質の劣化を許すことで、光波伝搬の計算の高速化を行うことができる。

【0021】

同様に、図４に「実施形態２」として示されるように、CGレンダリングした際に、前景となる3Dモデルが存在する領域は密に要素ホログラムを割り当て、存在しない領域は疎に要素ホログラムを割り当てることでも、ユーザ体験の品質を維持しながら計算高速化を実現できる。

【0022】

なお、以下では便宜上、ユーザの視点を中心とした全天球型のホログラム面において、地球儀と同様に垂直方向の変位角を緯度、水平方向の変位角を経度と表現する。以下、CGH生成装置10の各部の詳細を説明する。

【0023】

[ユーザ位置姿勢取得部1]
ユーザ位置姿勢取得部1は、ユーザの位置姿勢を取得し、ワールド座標系における位置座標（x,y,z）の3次元情報、または当該位置座標に顔（視点）の向き（回転角）を結合した6次元情報（6DoF: Degrees of Freedom）、または顔（視点）の向き（回転角）のみの3次元情報（3DoF）を出力する。CGH生成装置10は図２で枠組みを説明したようなHMDでのホログラフィ鑑賞用途に適用することができ、ユーザ位置姿勢取得部1における当該6次元または3次元情報の取得は通常のHMDデバイスに備わるセンサ等による位置姿勢取得機能を用いて実現できる。

【0024】

[3Dモデル入力部3]
3Dモデル入力部3は、全天球型のホログラムを生成するための3Dモデルを適応的要素ホログラム分割部2及び点光源取得部4へと入力する機能をもつ。ここで、3Dモデルとは一般のコンピューターグラフィクスに用いられる点やポリゴンの集合体といった形式をとる。本実施形態は全天球型のホログラフィを鑑賞する用途への適用を想定しているため、以降ではある時刻tのユーザの位置姿勢において、ユーザの視点位置を取り囲むような3Dモデルの配置がなされたシーンを想定するが、当然ながら少数の3Dモデルが前方にのみ配置されているようなシーンでも一般性を損なわず適用可能である。

【0025】

なお、3Dモデル入力部3での3Dモデルは、時刻tに応じて変化するもの（動作して形状変化したり表面テクスチャが変化したりするものであり、特別な場合として静止したりテクスチャが変化しない場合も含む）として、CGH生成装置10が提供するホログラフィ鑑賞における所定のコンテンツとして予め用意しておけばよい。

【0026】

[適応的要素ホログラム分割部2]
適応的要素ホログラム分割部2では、非特許文献１などに挙げられる既存の要素ホログラム法と同様に、ホログラム面全体（本実施形態では視点位置からSLMまでの距離離れた全天球面がホログラム面全体となる）を要素ホログラムに分割する。この要素ホログラムは、後段の点群取得、オクルージョン情報の取得、物体光波の計算の単位として用いられる。

【0027】

非特許文献１の要素ホログラム法では、ホログラム面全体を均等なサイズの矩形要素ホログラムに分割し、それぞれにおいて点光源取得および光波伝搬の計算を行うことで、比較的軽量な計算量でのホログラフィ再生像における自然な運動視差を実現している。この要素ホログラムは、そのサイズを細かくすればするほど自然な運動視差を実現できるが、一方で要素ホログラムごとにレイトレーシングによる点光源取得を必要とする性質から、要素ホログラム数の増大は計算時間の増大を招く。

【0028】

そこで、本実施形態の適応的要素ホログラム分割部2では、図４を参照して概略を前述した通り、ユーザのXR体験の特性に基づき適応的に要素ホログラムのサイズを制御することで、計算高速化を図る。

【0029】

具体的には、「実施形態１」として、図５の説明欄(A)のようにユーザの視点の水平位置に近い（緯度0°に近い、低緯度の）要素ホログラムは十分な運動視差を実現できるサイズ（最小の要素ホログラムサイズs_min=（a,b）[度]。a,bはそれぞれ緯度経度方向のサイズを示す）で分割し、中緯度、高緯度と緯度が増えるにつれて図５の説明欄(B),(C)に示されるように、要素ホログラムの緯度の変位量yに応じて一定の割合で緯度方向のサイズを大きくしていくように、以下の式(1)に従って分割する。
a'=a+k*y …(1)

【0030】

式(1)でk>0は、緯度に応じた緯度方向のサイズの増分を示すユーザ設定のパラメータであり、a'は適応的要素ホログラム分割部2で出力される当該位置の要素ホログラムの緯度方向のサイズである。

【0031】

なお、図５は適応的要素ホログラム分割部2（及び点光源取得部4）の説明図であり、既に述べた通り説明欄(A),(B),(C)が適応的要素ホログラム分割部2の説明欄である。図５の説明欄(a),(b),(c)は点光源取得部4の説明欄であり、後述する。

【0032】

式(1)は緯度方向（上下方向）のサイズa'の設定例であった。あるいは、経度方向（水平方向）について以下の式(2)のように、事前に想定される前方（経度0°）からの経度の変位量xについて次のように経度方向のサイズを修正し、前方は細かいサイズで分割し背面にいくほど大きなサイズb'とするようにしてもよい。
b'=b+l*x …(2)

【0033】

式(2)でl>0は、kと同様、経度に応じた経度方向のサイズの増分を示すユーザ設定のパラメータである。

【0034】

なお、事前に想定される前方である経度0°及び／又は水平方向である緯度0°は、例えばユーザ位置姿勢取得部1で取得した視線向きとしてもよいし、ホログラフィ鑑賞のための3DCGコンテンツにおける仮想空間内に予め、所定の前方及び／又は水平方向に該当するものとしてとして経度0°及び／又は緯度0°を定義しておいてもよい。例えば、前方の経度に関して、3DCGコンテンツは仮想空間の3DライブハウスにおけるCGキャラクタの歌唱等によるライブ映像であり、ユーザが観客席に配置されてライブの視聴を行う前提で、CGキャラクタが存在するステージ側を前方に該当する経度0°と定義してよい。また、水平方向の緯度に関して、プラネタリウムのように寝ながら鑑賞する（あるいは見上げながら鑑賞する）ことを前提とする3DCGコンテンツでは、水平方向（地平面方向）ではなく、斜め上方方向を緯度0°として定義してよい。

【0035】

なお、式(1),(2)は両方を用いて要素ホログラムサイズs=(a',b')として分割結果を得るようにしてもよいし、片方を用いるようにしてもよい。式(1)のみを用いる場合、要素ホログラムサイズs=(a',b)として分割結果を得ることができ、式(2)のみを用いる場合、要素ホログラムサイズs=(a,b')として分割結果を得ることができる。

【0036】

適応的要素ホログラム分割部2ではまた、図４で概略を前述した「実施形態２」を用いるようにしてもよい。

【0037】

すなわち、あらかじめホログラム面上に3DCGモデルを大まかにレンダリング（干渉縞の計算は不要であり、通常の3DCGレンダリングのみを行う）し、天球上において3Dモデルが分布する領域をあらかじめ推定する。その上で、前景などの重要な3Dモデルオブジェクトに相当するモデルが分布する周辺の領域の要素ホログラムを細かく分割する。

【0038】

具体的には、当該3Dモデルオブジェクトがレンダリングされた領域をs_minのサイズをもつ要素ホログラム集合で包含するように分割する。それ以外の領域については、より粗い要素ホログラムサイズに分割する。また、「実施形態１」と組み合わせてs_minサイズの要素ホログラム以外の領域は緯度や経度に応じてサイズを変更するようにしてもよい。

【0039】

ここで、重要な3Dモデルオブジェクトの具体例としては、例えば以下(1)～(4)が挙げられ、3Dモデル入力部3において予め3DCGコンテンツとして3Dモデルを用意しておく際に、以下(2)～(4)の情報は属性やプロパティとして定義しておくことができる。以下(1)の情報は、ユーザ位置姿勢取得部1での取得位置と3DCGモデルの位置とを仮想空間内において比較することで得ることができる。
(1) ユーザに近いオブジェクト
(2) 動いているオブジェクト、特に高速に動くオブジェクト
(3) 不透明度または彩度が高いオブジェクト
（不透明度に関して、透明に近いオブジェクトほど重要度を低くする。）
(4) 人物や動物などのあらかじめ登録された属性をもつオブジェクト
なお、上記(1)～(4)以外にもコンテンツ制作者が予め手動でオブジェクトごとの重要度を設定しておくことで、ユーザにおいて当該設定された重要度のもとでの鑑賞利用が可能となるようにしてもよい。

【0040】

[点光源取得部4]
点光源取得部4では、適応的要素ホログラム分割部2から出力された要素ホログラムごとに点光源を取得する。具体的には、要素ホログラムの代表点（重心など）から一定の光線間隔でレイトレーシングを行い、3DCGモデルと交差判定された位置座標に点光源を配置する。「従来の技術」の項で前述した通り、後段の物体光波の計算時間は「点光源数×ホログラム面の画素数」によって決まるため、ここでもユーザの体験品質に大きく寄与しない点光源は疎に取得することが望ましい。

【0041】

従って、点光源取得部4では、図５の説明欄(a),(b)に示されるように、１つの3Dモデルの立体物OB1について、3Dモデルの中央部はユーザ体験品質への影響が大きいため光線を密とし、周辺部は当該影響が小さいため光線を疎とする。（また、前段側の適応的要素ホログラム分割部2の処理が加わることで、図５の説明欄(c)に示されるように、立体物OB1よりも高緯度側にある立体物OB2については、立体物OB1よりも疎に光線が取得されることとなる。）

【0042】

点光源取得部4では具体的には、図６に示す「実施形態１」、または、図７に示す「実施形態２」によって、ユーザ体験への影響を考慮した適応的な光線取得を行うことができる。

【0043】

「実施形態１」では、図６のように各要素ホログラムから出る光線の間隔を適応的に変更する。要素ホログラムの接平面λに対して、要素ホログラムの重心を通る法線ベクトルvを考える。（ここで、要素ホログラム面は全天球をカバーするために球面状を想定している。ユーザの位置姿勢を反映する前にあらかじめ全方位のホログラム（干渉縞）を計算するという本実施形態の前提では、球面上のホログラムを計算し、ユーザの位置姿勢を反映してSLMに表示する際に近似的に平面にマッピングするなどの処理を行うことで効率化を図ることができる。）このvと同一の方向をもつ光線r₀を基準として、ユーザ設定の最小点光源取得角θ_minをなす次の光線r₁を設定する。さらに光線r1と角度θ_min+αをなすr_2を設定するといった形で、外側に広がるほど光線間隔が広がるように光線を設定する。ここで、αはユーザ設定の増分であり、前述の方針に即してn番目の光線r_nがn-1番目の光線r_n-1となす角θ_nは例えば以下の式(3)のように設定することができる。
θ_n= θ_min+(n-1)α …(3)

【0044】

このような光線r_n（n=0,1,2,…）の設定を、ホログラムの画素密度から算出される視野角外に光線が出るまで行う。

【0045】

あるいは、図７の「実施形態２」のように、法線v（光線r₀）に対して一定の閾値θ_th以下の角度をなす光線は一律に、隣接光線とθ_minをなし、それ以外の場合はより大きなθ_maxをなすように光線を設定してもよい。図７では光線r1,r2等は閾値θ_th内として、隣接光線と角θ_minをなすように設定され、光線r₁₀,r₁₁等は閾値θ_th範囲外として隣接光線と角θ_maxをなすように設定される。これら設定された光線群が最初に3Dモデルと交差する点を点光源として取得する。

【0046】

ここで、図６，７では一次元の広がりをもつ形で光線が設定されているが、実際には光線は接平面λに対して平行な平面に沿う2次元的な広がりをもつことに注意されたい。（すなわち、図６，７では各光線r_nのなす角の図面上での視認性の観点から、各光線r_nがある１つの平面に乗っている場合のみを描いているが、実際には各光線r_n（n≧1）は円錐の側面に乗って法線の光線r₀から放射状に広がるように分布するものとして設定できる。このように放射状に各光線r_nを３次元空間内に設定する際の角度も式(3)等と同様の方針で設定できる。）

【0047】

なお、点光源取得部4で取得された点光源は、各要素ホログラムの代表点から当該点光源を観測可能であることが保証されているため、暗に3Dモデルのオクルージョン情報を保持しているととらえることができる。また、θ_minは式(1)と同様の考え方に基づき、要素ホログラムの緯度に応じて大きくなる（疎な間隔の光線となる）ように設定してもよい（図５の説明欄(c)）。

【0048】

なお、点光源取得部4では、以上の図６，７の手法のように適応的に点光源を取得することに代えて、従来技術と同様に要素ホログラムの中心から均等間隔で出る光線を用いて点群を取得するようにしてもよい。（この場合、CGH生成装置10において適応的ホログラム分割部2の処理により、ユーザ体験品質を確保して計算量を抑制する効果が得られる。）

【0049】

同様に、適応的ホログラム分割部2では、全天球における位置や向きを考慮した適応的な分割を行うことなく全天球を均一に一律に分割して要素ホログラムを設定し、点光源取得部4において、以上の図６，７の手法で適応的に点光源を取得するようにしてもよい。

【0050】

点光源取得部4で均一にではなく適応的に点光源を取得する場合と、適応的ホログラム分割部2によりサイズ大小を区別して要素ホログラム分割を行う場合とのいずれの場合も、本実施形態のCGH生成装置10では、適応的ホログラム分割部2及び／又は点光源取得部4の処理により、全天球の3DCGコンテンツにおいてユーザが注視する度合いが高いことが事前知識により想定される領域に対応する点光源の密度を高くし、当該度合いが低いことが想定される領域に対応する点光源の密度を低くすることで、ユーザ体験品質を確保して計算量を抑制する効果が得られる。

【0051】

すなわち、適応的ホログラム分割部2の実施形態１では全天球の位置に応じて注視の度合いが予め定まっているものとし、注視度合いが高い領域については要素ホログラム面のサイズをより小さく設定することで、対応する点光源の密度をより高くすることができる。

【0052】

図８は、適応的ホログラム分割部2で要素ホログラム面のサイズの大小を変えて設定することによる点光源の密度の変化の様子を模式的に示す図であり、同一の配置関係にある要素ホログラム面分布の部分領域HLPと描画対象となる物体OB3とが存在する状況で、疎な要素ホログラム分割を行う場合（要素ホログラムのサイズを大きく設定する場合）C1と、密な要素ホログラム分割を行う場合（要素ホログラムのサイズを小さく設定する場合）C2とで設定される点光源の様子を対比で模式的に示している。

【0053】

すなわち、要素ホログラムのサイズを大きく設定した場合C1では部分領域HLPが２つの大きな要素ホログラムhA,hB（代表点A,B）に分割され、小さく設定した場合C2では同部分領域HLPが４つの小さな要素ホログラムha,hb,hc,hd（代表点a,b,c,d）に分割されている。例えば、場合C1の代表点Aから可視となる点光源（及び対応する光線）の様子からわかるように、点光源取得部4で均一に点光源を設定する場合は、要素ホログラムのサイズの大小に依らず、一般に、代表点から近い（代表点Aから近傍の物体OB3の真正面など、経度／緯度が近い）位置では点光源が密に取得され、代表点から遠い位置では点光源が疎に取得される傾向がある。

【0054】

上記傾向の下において、要素ホログラムのサイズをより小さくすると、場合C1,C2を対比することからわかるように、代表点Aがカバーしていた範囲hAが結果的に２つの代表点a,bによって範囲ha,hbと密にカバーされることとなるため、結果的に、要素ホログラムのサイズが小さい場合C2は範囲hA内で物体OB3への視点が変化した場合でも高品質なホログラフィが再現できることとなる。（ただしここで、例えば視点が代表点bに該当する場合については、対応する◆（黒塗り菱形）の点光源のみが利用されるのであり、近傍にある●（黒丸）や◇（白塗り菱形）や〇（白丸）で示される別の代表点a,c,d等の点光源が代表点bに対しても同時に利用されるわけではないことに注意されたい。）

【0055】

また、適応的ホログラム分割部2の実施形態２でも同様に、同一の要素ホログラム面に関して、観測可能な物体光の点光源について、物体の正面側に該当し注視度合いが高いと判定される領域に対応する点光源ほど密度を高くすることができる。このように、適応的ホログラム分割部2では実施形態１，２により異なる要素ホログラム間において、注視の度合いに応じて対応する点光源の粗密に相違を設けるようにした。同様に、点光源取得部4で実施形態１，２により適応的に点光源を取得する場合は、同一の要素ホログラム内において、注視の度合いに応じて対応する点光源の粗密に（均一の角度間隔で光線を設定する場合の粗密と比べてより顕著となるように、）相違を設けるようにしている。

【0056】

なお、本実施形態のCGH生成装置10を利用する好適な例として描画範囲が広い全天球の３DCGコンテンツを扱う場合を説明してきたが、全天球の形式でなくとも、描画範囲が広いその他の３DCGコンテンツについても同様に、本実施形態のCGH生成装置10の手法によりユーザ体験品質を確保して計算量を抑制する効果を得ることができる。

【0057】

[光波伝搬算出部5]
光波伝搬算出部5においては、従来手法である点光源法に基づいて、各点光源から対応する要素ホログラム面までの物体光波の伝搬計算を行う。この計算は以下の式(4),(5)で表される。

【0058】

【数1】

【0059】

ここで(x,y)は光波が伝搬されるホログラム面上の画素位置を示しており、s_i(x,y)は各点光源c_iから伝搬されるホログラム面上の光波分布である。A_iはc_iの輝度で、r_iは点光源c_iとホログラム面上の画素(x,y)との距離を表している。また、kは光の波長から計算される波数を表す。

【0060】

[干渉計算部6]
干渉計算部6は、光波伝搬計算部5にて出力されたホログラム面上の物体光波u(x,y)に対して、計算機上のシミュレーションとして参照光波を差し込むことで、干渉計算を行う。本実施形態の参照光は、非特許文献1にて開示されている再生光学系のレンズの焦点距離fの位置に収束する収束球面参照光波を用いることができる。この収束球面参照光波が、ホログラム面上に伝搬されたときの光波の複素振幅分布R(x,y)は以下の式(6)で表わされる。

【0061】

【数2】

【0062】

ここでR_oは参照光の強度であり、rは参照光の位置から、ホログラム面上の位置(x,y)までの距離を表している。なお、参照光の位置は、非特許文献1と同様にして、本実施形態でもレンズ拡大光学系を構成するレンズの焦点位置（0,0,f）に配置するようにしてよい。ここでfはレンズの焦点距離である。なお、本発明の参照光は式(6)に限定されず、式(7)のような単なる球面波参照光でもよいし、式(8)のような平行光参照光でもよい。ただし式(8)のφは参照光のホログラム面への入射角度である。

【0063】

【数3】

【0064】

最後に、この参照光波と物体光波の干渉を示す式は以下の式(9)であり、ここで、I(x,y)はCGHの輝度分布である。本実施形態の干渉計算部6では、この、I(x,y)を0-255のレンジに正規化して、HMDに搭載されたSLMに画像として出力する。

【0065】

【数4】

【0066】

以上、本実施形態のCGH生成装置10によれば、HMDでのホログラフィ鑑賞等に適用可能な全天球型のホログラフィ再生において、従来の光波伝搬計算に比べて、再生像の品質を損なうことなく高速に光波伝搬を計算できるようになる。以下、種々の補足例、追加例、代替例などについて説明する。

【0067】

（１） 本発明の実施形態によれば、その応用例としてリアルタイム生成される３次元モデルのホログラム再生により、遠隔地に存在する対象（例えばスポーツ試合中の選手）を自由視点映像として、臨場感を持って視聴することが可能となる。これにより、遠隔地への実際の移動を必ずしも必須とせずに、スポーツ試合等のコンテンツを視聴したり、あるいは、遠隔コミュニケーションの表示インタフェースとして用いて遠隔地の対象についてのアドバイス（例えばスポーツ上達のアドバイス）を行ったりすることが可能となり、ユーザ移動に必要となるエネルギー資源を節約することで二酸化炭素排出量を抑制できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標１３「気候変動とその影響に立ち向かうため、緊急対策を取る」に貢献することが可能となる。

【0068】

（２） 図９は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。CGH生成装置10は、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で計算機合成ホログラム生成装置10を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、カメラ78と、これらの間でデータを授受するためのバスBSと、を備える。

【0069】

CGH生成装置10の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。ディスプレイ76はSLM（空間光変調器）として構成されることで干渉計算部6で計算した3Dコンテンツ表示を実現するものの他、通常の液晶ディスプレイ等として構成されるものも追加で存在することにより、当該液晶ディスプレイ等を介してCGH生成装置10における処理の途中結果の表示等を行うようにしてもよい。

【符号の説明】

【0070】

10…CGH生成装置（計算機合成ホログラム生成装置）、1…ユーザ位置姿勢取得部、2…適応的要素ホログラム分割部、3…3Dモデル入力部、4…点光源取得部、5…光波伝播計算部、6…干渉計算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】