知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-25
(45)【発行日】2024-01-09
(54)【発明の名称】計算機合成ホログラム生成装置、方法及びプログラム
(51)【国際特許分類】
G03H 1/08 20060101AFI20231226BHJP
【ＦＩ】
G03H1/08
【請求項の数】
18
(21)【出願番号】P 2020192088
(22)【出願日】2020-11-18
(65)【公開番号】P2022080792
(43)【公開日】2022-05-30
【審査請求日】2023-03-07
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100092772
【弁理士】
【氏名又は名称】阪本 清孝
(74)【代理人】
【識別番号】100119688
【弁理士】
【氏名又は名称】田邉 壽二
(72)【発明者】
【氏名】渡邊 良亮
【審査官】藤岡 善行
(56)【参考文献】
【文献】特開２０１２－００８２０７（ＪＰ，Ａ）
【文献】特開平１１－３１６５３９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｈ １／０８
Ｇ０６Ｔ １５／５０
(57)【特許請求の範囲】
【請求項1】
3D点群の点ごとに光波伝搬を計算してホログラム面上の物体光波分布を求め、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成する装置において、前記3D点群の各点をカテゴリ化する手段と、
3D点群の各点を、その位置およびカテゴリに基づいてフレームごとにクラスタリングする手段と、
前後するフレーム間で対応する各クラスタに属する各点の対応関係を判別する手段と、
現フレームの物体光波分布の計算方法を前記対応関係に基づいて、前フレームの物体光波分布の計算結果を再利用する方法および再利用せずに通常計算する方法のいずれかにクラスタ単位で決定する手段と、
現フレームの物体光波分布をクラスタごとに前記決定された計算方法で計算する手段とを具備し、
前記計算方法を決定する手段は、計算方法を決定する頻度をクラスタごとにそのカテゴリに基づいてフレーム単位で増減することを特徴とする計算機合成ホログラム生成装置。
【請求項2】
3D点群の点ごとに光波伝搬を計算してホログラム面上の物体光波分布を求め、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成する装置において、3D点群の各点をフレームごとにクラスタリングする手段と、
前後するフレーム間で対応する各クラスタに属する各点の対応関係を判別する手段と、
現フレームのクラスタごとに物体光波分布の計算時間を前記対応関係に基づいて、前フレームの物体光波分布の計算結果を再利用する方法および再利用せずに通常計算する方法について推定する手段と、
前記推定結果に基づいて、現フレームの物体光波分布の計算方法をクラスタごとに前記計算時間のより短い計算方法に決定する手段と、
現フレームの物体光波分布をクラスタごとに前記決定された計算方法で計算する手段とを具備したことを特徴とする計算機合成ホログラム生成装置。
【請求項3】
前記クラスタリングする手段は、3D点群の各点をその位置に基づいてクラスタリングすることを特徴とする請求項２に記載の計算機合成ホログラム生成装置。
【請求項4】
前記3D点群の各点をカテゴリ化する手段を更に具備し、前記クラスタリングする手段は、3D点群の各点をその位置およびカテゴリに基づいてクラスタリングすることを特徴とする請求項２に記載の計算機合成ホログラム生成装置。
【請求項5】
前記計算方法を決定する手段は、計算方法を決定する頻度をクラスタごとにそのカテゴリに基づいてフレーム単位で増減することを特徴とする請求項２に記載の計算機合成ホログラム生成装置。
【請求項6】
現フレームのクラスタごとに前記対応関係に基づいて前記再利用および通常計算の各方法による物体光波分布の計算時間を推定する手段を具備し、前記計算方法を決定する手段は、クラスタごとに前記計算時間のより短い計算方法に決定することを特徴とする請求項１または５に記載の計算機合成ホログラム生成装置。
【請求項7】
前記計算方法を決定する手段は、計算方法を決定する頻度を前記再利用および通常計算による物体光波分布の計算時間の推定結果に基づいてクラスタごとに増減することを特徴とする請求項６に記載の計算機合成ホログラム生成装置。
【請求項8】
前記計算時間を推定する手段は、物体光波分布の計算に要する光波伝搬の計算回数で前記計算時間を代表することを特徴とする請求項２ないし４，６，７のいずれかに記載の計算機合成ホログラム生成装置。
【請求項9】
前記計算時間を推定する手段は、クラスタごとに前フレームから現フレームに渡って出現または消失した点の個数を各点の位置に基づいてカウントし、当該カウント数で光波伝搬の計算回数を代表することを特徴とする請求項８に記載の計算機合成ホログラム生成装置。
【請求項10】
前記計算時間を推定する手段は、クラスタごとに前フレームから現フレームに渡って出現または消失した点の個数を各点の位置および色に基づいてカウントし、当該カウント数で光波伝搬の計算回数を代表することを特徴とする請求項８に記載の計算機合成ホログラム生成装置。
【請求項11】
前記計算時間を推定する手段は、クラスタごとに前フレームから現フレームに渡って消失した点の位置に色の異なる点が出現していると、当該消失および出現に係る光波伝搬の計算回数を1回とカウントすることを特徴とする請求項１０に記載の計算機合成ホログラム生成装置。
【請求項12】
前記計算する手段は、計算方法が再利用に決定された現フレームの各クラスタの物体光波分布を、前フレームの対応するクラスタの物体光波分布の計算結果に対して、当該前フレームから現フレームに渡って出現または消失した点の光波分布をそれぞれ加算または減算する加工を行って計算することを特徴とする請求項９ないし１１のいずれかに記載の計算機合成ホログラム生成装置。
【請求項13】
コンピュータが、3D点群の点ごとに光波伝搬を計算してホログラム面上の物体光波分布を求め、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成する方法において、前記3D点群の各点をカテゴリ化し、
3D点群の各点を、その位置およびカテゴリに基づいてフレームごとにクラスタリングし、
前後するフレーム間で対応する各クラスタに属する各点の対応関係を判別し、
現フレームの物体光波分布の計算方法を前記対応関係に基づいて、前フレームの物体光波分布の計算結果を再利用する方法および再利用せずに通常計算する方法のいずれかにクラスタ単位で決定し、
現フレームの物体光波分布をクラスタごとに前記決定された計算方法で計算し、
前記計算方法の決定では、計算方法を決定する頻度をクラスタごとにそのカテゴリに基づいてフレーム単位で増減することを特徴とする計算機合成ホログラム生成方法。
【請求項14】
コンピュータが、3D点群の点ごとに光波伝搬を計算してホログラム面上の物体光波分布を求め、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成する方法において、3D点群の各点をフレームごとにクラスタリングし、
前後するフレーム間で対応する各クラスタに属する各点の対応関係を判別し、
現フレームのクラスタごとに物体光波分布の計算時間を前記対応関係に基づいて、前フレームの物体光波分布の計算結果を再利用する方法および再利用せずに通常計算する方法について推定し、
前記推定結果に基づいて、現フレームの物体光波分布の計算方法をクラスタごとに前記計算時間のより短い計算方法に決定し、
現フレームの物体光波分布をクラスタごとに前記決定された計算方法で計算することを特徴とする計算機合成ホログラム生成方法。
【請求項15】
前記3D点群の各点をカテゴリ化し、前記3D点群の各点をその位置およびカテゴリに基づいてクラスタリングすることを特徴とする請求項１４に記載の計算機合成ホログラム生成方法。
【請求項16】
3D点群の点ごとに光波伝搬を計算してホログラム面上の物体光波分布を求め、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成するプログラムにおいて、前記3D点群の各点をカテゴリ化する手順と、
3D点群の各点を、その位置およびカテゴリに基づいてフレームごとにクラスタリングする手順と、
前後するフレーム間で対応する各クラスタに属する各点の対応関係を判別する手順と、
現フレームの物体光波分布の計算方法を前記対応関係に基づいて、前フレームの物体光波分布の計算結果を再利用する方法および再利用せずに通常計算する方法のいずれかにクラスタ単位で決定する手順と、
現フレームの物体光波分布をクラスタごとに前記決定された計算方法で計算する手順とを含み、
前記計算方法を決定する手順は、計算方法を決定する頻度をクラスタごとにそのカテゴリに基づいてフレーム単位で増減することを特徴とする計算機合成ホログラム生成プログラム。
【請求項17】
3D点群の点ごとに光波伝搬を計算してホログラム面上の物体光波分布を求め、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成するプログラムにおいて、3D点群の各点をフレームごとにクラスタリングする手順と、
前後するフレーム間で対応する各クラスタに属する各点の対応関係を判別する手順と、
現フレームのクラスタごとに物体光波分布の計算時間を前記対応関係に基づいて、前フレームの物体光波分布の計算結果を再利用する方法および再利用せずに通常計算する方法について推定する手順と、
前記推定結果に基づいて、現フレームの物体光波分布の計算方法をクラスタごとに前記計算時間のより短い計算方法に決定する手順と、
現フレームの物体光波分布をクラスタごとに前記決定された計算方法で計算する手順とを含むことを特徴とする計算機合成ホログラム生成プログラム。
【請求項18】
前記3D点群の各点をカテゴリ化する手順を更に含み、前記クラスタリングする手順は、3D点群の各点をその位置およびカテゴリに基づいてクラスタリングすることを特徴とする請求項１７に記載の計算機合成ホログラム生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計算機合成ホログラム（CGH）の生成装置、方法及びプログラムに係り、特にCGH動画の生成を高速に行う計算機合成ホログラム生成装置、方法及びプログラムに関する。
【背景技術】
【0002】
ホログラフィは光の干渉・回折現象に基づいて物体からの光（物体光）を記録・再生する立体表示技術である。ホログラフィ技術では、物体から放たれる光の波と、レーザー等の光源から照射される参照光を干渉させ、干渉縞として物体光を記録する。この干渉縞に光を当てることで、記録時の光を再現することができる。物体から放たれる光を忠実に再現できることから、人の3次元知覚の生理的要因を全て満たす理想的な3次元表示技術とされている。
【0003】
計算機合成ホログラム（Computer Generated Hologram：CGH）は、ホログラムの計算のために必要となる光波の伝搬や干渉などの計算を計算機内部で光波シミュレーションとして行い、干渉縞を画像などの電子データとして出力する技術である。写真乾板などを用いて撮影するアナログのホログラムと比較すると、撮影のための複雑な光学系が不要であることや、液晶に表示するCGHを次々と切り替えていくことで動画化が容易に行えるなどの利点が存在するため、次世代のテレビや、VR/ARを始めとするXRデバイスなどに適用されることが期待されている。
【0004】
一方、CGHの課題として、計算のための処理時間が膨大であるという問題が存在している。特にCGHの計算法として、記録する物体を多数の点光源の集合と見立て、この各点光源からの光の伝搬を計算して記録する「点光源法」が著名であるが、多数の点群からの光波の伝搬シミュレーションを行う必要があるために計算処理時間は膨大である。
【0005】
また、ホログラフィの再生時に十分な視域を得るためには、1μmオーダーの微細なピクセルピッチのSLM（空間光変調器）が必要とされており、例えば1μmのオーダーで1cm×1cmの液晶を実現するために必要となるピクセル数は10000×10000ピクセルとなる。すなわち、8Kを超える解像度の液晶が将来的に利用されることが想定されている。点光源法の計算時間は一般に"点光源数×ホログラム面の画素数"であることを鑑みれば、膨大な点数を入力にリアルタイム計算を行うことは困難であり、CGHの生成処理速度の高速化を行う必要がある。
【0006】
このような処理時間の高速化が求められる背景の中で、動画化が容易に行えることがCGHの利点であることを鑑み、動画を生成する前提で高速化を行うアルゴリズムが多数提案されてきた。
【0007】
特許文献1には、3Dシーン全体の変化量を測定し、シーン全体の変化量が少ない場合には、前のフレームの物体光波分布を再利用する技術が開示されている。本技術によると、3Dシーン全体に占める変化箇所が少なければ、連続する各フレームを独立して計算するよりも、前のフレームの光波を再利用することで連続するフレームの生成処理を高速化することができる。
【0008】
特許文献2には3D物体の移動ベクトルを計算し、移動ベクトルに基づいてホログラム面上の光波分布を移動させることで、点光源法の計算時間を削減する技術が開示されている。
【先行技術文献】
【特許文献】
【0009】
【文献】特開2012-008207号公報
【文献】特開平10-222046号公報
【非特許文献】
【0010】
【文献】T. Ichikawa, T. Yoneyama, and Y. Sakamoto, "CGH calculation with the ray tracing method for the Fourier transform optical system," Opt. Express 21, 32019-32031 (2013).
【文献】Takashi Nishitsuji, Tomoyoshi Shimobaba, Takashi Kakue, Nobuyuki Masuda, Tomoyoshi Ito, "Fast calculation of computer-generated hologram using circular symmetry of zone plate", Optics Express, 20, 27496-27502 (2012)
【文献】R. Q. Charles, H. Su, M. Kaichun and L. J. Guibas, "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 77-85.
【発明の概要】
【発明が解決しようとする課題】
【0011】
特許文献1では点光源の奥行きに変化が生じた場合に、変化前の深さから伝搬される光波の減算及び、変化後の深さから伝搬される光波の加算が必要になることから、再利用するフレームに対し2回の光波伝搬計算が必要となる。つまり、シーン全体のうち50%以上に変化が生じる場合には、再利用するよりも点光源法で改めてフレームをゼロから計算し直した方が、処理時間が少なくなる（ただし、深さが変化するわけではなく、点が新たに登場する場合や、点そのものが消失する場合にはこの限りではない）。
【0012】
この観点から、特許文献1では、シーン内の変化比率の臨界値として0.5未満の場合に前フレームの再利用を実施することが推奨されている。すなわち、シーン内の変化比率が0.5以上の場合には、特許文献1の技術では生成を高速化することが困難であった。
【0013】
また、計算処理にルックアップテーブル（LUT）を用いることで高速計算を実現しているが、ホログラム面から点光源までの距離ごとに異なるルックアップテーブルを用意する必要があることからメモリ消費量が大きいという問題が存在していた。
【0014】
さらに、特許文献2では3D物体が移動した際に重なることによって、遮蔽により3D物体の一部が見えなくなるケースなどが想定されておらず、このような遮蔽関係が生じるケースでは効率的に計算を行うことができない。
【0015】
本発明の目的は、上記の技術課題を解決し、少ないメモリ消費量でCGH動画の高速生成を可能にする計算機合成ホログラム生成装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0016】
上記の目的を達成するために、本発明は、3D点群の点ごとに光波伝搬を計算してホログラム面上の物体光波分布を求め、参照光波との干渉計算を行って計算機合成ホログラムの動画を生成する装置において、以下の構成を具備した点に特徴がある。
【0017】
(1) 3D点群の各点をフレームごとにクラスタリングする手段と、前後するフレーム間で対応する各クラスタに属する各点の対応関係を判別する手段と、現フレームの物体光波分布の計算方法を前記対応関係に基づいて「再利用」および「通常計算」のいずれかにクラスタ単位で決定する手段と、現フレームの物体光波分布をクラスタごとに前記決定された計算方法で計算する手段とを具備した。
【0018】
(2) クラスタリングする手段は、3D点群の各点をその位置に基づいてクラスタリングするようにした。
【0019】
(3) クラスタリングする手段は、3D点群の各点をその位置およびカテゴリに基づいてクラスタリングするようにした。
【0020】
(4) 計算方法を決定する手段は、計算方法を決定する頻度をクラスタごとにそのカテゴリに基づいてフレーム単位で増減するようにした。
【0021】
(5) 現フレームのクラスタごとに「再利用」および「通常計算」の各方法による物体光波分布の計算時間を推定する手段を具備し、クラスタごとに計算時間のより短い計算方法に決定するようにした。
【0022】
(6) 計算方法を決定する手段は、計算方法を決定する頻度を「再利用」および「通常計算」による物体光波分布の計算時間の推定結果に基づいてクラスタごとに増減するようにした。
【0023】
(7) 計算時間を推定する手段は、物体光波分布の計算に要する光波伝搬の計算回数で計算時間を代表するようにした。
【0024】
(8) 計算時間を推定する手段は、物体光波分布の計算に要する光波伝搬の計算回数で計算時間を代表する際に、前フレームから現フレームに渡って消失した点の位置に色の異なる点が出現していると、当該消失および出現に係る光波伝搬の計算回数を1回とカウントするようにした。
【発明の効果】
【0025】
(1) フレームごとにクラスタ単位で物体光波伝搬の計算方法を決定するので、シーン全体の変化量が多くてもシーンの変化量が少ない部分を同一クラスタにまとめて「再利用」の計算方法を適用すれば、シーン全体として計算時間を短縮することが可能になる。
【0026】
(2) 3D点群の各点をその位置に基づいてクラスタリングすれば、各シーンを変化量が少ない部分と多い部分とに高い選択性でクラスタリングできるようになる。
【0027】
(3) 3D点群の各点をその位置およびカテゴリに基づいてクラスタリングすれば、各シーンを変化量が少ない部分と多い部分とに更に高い選択性でクラスタリングできるようになる。
【0028】
(4) 計算方法を決定する頻度をクラスタごとにそのカテゴリに基づいてフレーム単位で増減させれば、計算方法の適切な決定を担保しながら、計算方法の決定に要する時間ロスを抑えられるようになる。
【0029】
(5) クラスタごとに計算時間が短くなる計算方法に決定すれば、シーン全体として計算時間を短縮することが可能になる。
【0030】
(6) 計算方法を決定する頻度をクラスタごとに、再利用および通常計算による物体光波分布の計算時間の推定結果に基づいて増減させれば、計算方法の適切な決定を担保しながら、計算方法の決定に要する時間ロスを抑えられるようになる。
【0031】
(7) 物体光波分布の計算に要する光波伝搬の計算回数で物体光波分布の計算時間を代表するので計算時間推定が容易になる。
【0032】
(8) クラスタごとに前フレームから現フレームに渡って消失した点の位置に色の異なる点が出現していると、当該消失および出現に係る光波伝搬の計算回数を1回とカウントするので計算時間を短縮できるようになる。
【図面の簡単な説明】
【0033】
【図1】本発明の第1実施形態に係る計算機合成ホログラム生成装置の主要部の構成を示した機能ブロック図である。
【図2】ホログラム面を要素ホログラムに分割してレイトレーシングをすることで小領域ごとに3D点群を得る技術を説明するための図である。
【図3】3D点群の分類例を示した図である。
【図4】フレーム間で点光源piの対応関係を判別する方法を示した図である。
【図5】クラスタごとに点光源piの対応関係に基づいて計算時間を推定する方法を模式的に示した図である。
【図6】CGHの出力例を示した図である。
【図7】本発明の第2実施形態に係る計算機合成ホログラム生成装置の主要部の構成を示した機能ブロック図である。
【図8】3D点群を各点光源の位置およびカテゴリに基づいて分類する例を示した図である。
【図9】フレーム間での各クラスタを対応付ける例を示した図である。
【図10】計算時間を推定する方法を模式的に示した図である。
【図11】本発明の第3実施形態に係る計算機合成ホログラム生成装置の主要部の構成を示した機能ブロック図である。
【発明を実施するための形態】
【0034】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る計算機合成ホログラム（CGH）生成装置1の主要部の構成を示した機能ブロック図である。
【0035】
点群入力部101にはCGHの計算に利用する3D点群データが入力される。入力された3D点群は点群クラスタリング部102によりいくつかの集合（クラスタ）に分類（クラスタリング）される。対応関係判別部103は隣接または前後するフレーム間で対応するクラスタごとに各点の対応関係を判別する。
【0036】
計算方法決定部104は、現フレームに関する光波伝搬の計算方法を前記対応関係に基づいてクラスタ単位で決定する。本実施形態では、過去のフレームにおける物体光波伝搬の計算結果を利用する「再利用」方法、または過去のフレームにおける計算結果を一切利用せずに、全ての点の光波伝搬を点光源法により改めて計算する「通常計算」方法のいずれかに決定される。
【0037】
光波伝搬計算部105は前記決定した計算方法で現フレームの物体光波伝搬を計算する。干渉計算部106は物体光波伝搬の計算結果と参照光との干渉を計算し干渉縞を計算する。CGH出力部107はCGH（干渉縞の画像データ）を出力する。
【0038】
このようなCGH生成装置1は、CPU，ROM，RAM，バス，インタフェース等を備えた汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。
【0039】
次いで、上記各部の機能を更に詳細に説明する。前記点群入力部101はホログラフィで再生したいシーンの3D点群を計算機で扱うために装置1内に入力する。3D点群は、例えばPLYファイルなどの汎用フォーマットとして入力される。本実施形態では各点が位置情報（X,Y,Z）および輝度情報（R,G,B）を有するものとして説明するが、更に法線ベクトルなどの付加情報を含んでいてもよい。
【0040】
また、点群入力部101の前処理として、計算時間を減らす観点から入力3D点群の位置に対して、Octreeなどを用いて同じ位置に量子化される点を削除することでダウンサンプリングを行い、あるいは特定視点位置から見た際に前方の点に隠されて見えない位置の点を予め除去してもよい。
【0041】
さらに、3D点群データに代えてポリゴンモデルを入力しても良い。非特許文献1には、ホログラフィ向けに3Dポリゴンモデルから3D点群データを得る手段としてレイトレーシング法に基づく3D点群取得手法が開示されており、このような手法に基づきポリゴンモデルを入力し、点群に変換してもよい。
【0042】
なお、非特許文献1には図2に示すように、ホログラム面を要素ホログラムと呼ばれる小領域に分割し、その小領域の中央からレイトレーシングをすることで小領域ごとに異なる3D点群を得る技術が開示されている。これにより、ホログラフィ視聴時に視点を動かした際、遮蔽関係によって異なる部分が見える運動視差を実現することができることから、本実施形態でも要素ホログラムごとに異なる3D点群を保持し、以後のフローを要素ホログラムごとに独立して処理を行ってもよい。
【0043】
前記点群クラスタリング部102は、入力された3D点群を所定の指標に基づいて複数のクラスタに分類する。本実施形態では3D点群をその位置（X, Y, Z）に基づいて分類するが、位置および色に関する情報（X, Y, Z, R, G, B）に基づいて分類しても良い。分類結果はキャッシュメモリ108にクラスタ情報108aの一部としてキャッシュされる。
【0044】
図3は、前記点群クラスタリング部102による3D点群の分類例を示した図であり、本実施形態では3D点群を構成する各点光源piが、その位置（X, Y, Z）に基づいて4つのクラスタA～Dのいずれかに分類される。本実施形態では4つのクラスタA～Dが絶対座標で定義され、各クラスタA～Dの位置はフレーム間で変化せずに固定的であるものとして説明を続ける。
【0045】
図示の例では、点光源p1～p4がクラスタAに、点光源p5，p6がクラスタBに、点光源p7～p9がクラスタCに、点光源p10～p13がクラスタDに、それぞれ分類されている。なお、図3では簡単のため各クラスタが2次元で表現されているが、実際はXYZの3次元の位置に基づいてクラスタリングされてもよい。
【0046】
対応関係判別部103は、図4に示したようにNフレーム目（現フレーム）の各クラスタに属する各点光源piについて、隣接するN-1フレーム目（前フレーム）の対応するクラスタに属する各点光源piとの対応関係を、その位置および色に基づいて判別する。
【0047】
図4では各点光源piのインデックス（主に、色情報）がハッチングで表現され、同一のハッチングで表現される点光源piは同一色であることを示している。本実施形態では、クラスタAの点光源p1～p4，クラスタBの点光源p5，クラスタDの点光源p10，p12，p13が、隣接するフレーム間で位置および色のいずれもが同一の点光源piと判別される。
【0048】
計算方法決定部104は計算時間推定部104aを含み、現フレームに適用する物体光波分布uN (x, y)の計算方法をクラスタごとに「再利用」および「通常計算」のいずれかに決定する。本実施形態では、「再利用」を採用した場合の計算時間および「通常計算」を採用した場合の計算時間を推定して比較し、計算時間のより短くなる計算方法がクラスタごとに決定される。
【0049】
3D空間中のI個の点光源piによるホログラム面上の物体光波分布uN (x, y)は各点光源piによる光波分布si (x, y)を次式(1)で積算することで求められ、各点光源piから伝搬されるホログラム面上の光波分布si (x, y)は次式(2)の光波伝搬計算で求められる。
【0050】
【数1】
【0051】
【数2】
【0052】
ここで、(x, y)は光波が伝搬されるホログラム面上の画素位置を示している。Aiは点光源piの輝度値であり、RGB色空間の場合は赤、緑、青でそれぞれ独立した値を持つ。riは点光源piとホログラム面(x, y)との距離を表す。kは光の波長から計算される波数を表す。最終的には、物体光波分布uN (x, y)に参照光を差し込み、干渉計算を実施することで干渉縞が得られる。
【0053】
「通常計算」ではクラスタごとに全ての点光源piによる光波分布si (x, y)を上式(2)に基づいて計算したのち、これらを上式(1)に基づき積算することでホログラム面上の物体光波分布uN (x, y)を計算する。
【0054】
「再利用」では前フレームでクラスタごとに計算した物体光波分布uN-1 (x, y)に、現フレームの対応するクラスタにおける各点光源piの対応関係に基づいて光波分布si (x, y)を加減算することでホログラム面上の物体光波分布uN (x, y)を求める。
【0055】
図5は、計算時間推定部104aがクラスタごとに点光源piの対応関係に基づいて計算時間を推定する方法を模式的に示した図である。Nフレーム目のクラスタAに属する各点光源piからの物体光波分布u(N，A) (x, y)は次式(3)で計算できる。
【0056】
【数3】
【0057】
クラスタA～クラスタDからの物体光波分布uN, A(x, y)～uN, D (x, y)が同様に計算されたとき、最終的に得たい全点群からの物体光波分布は次式(4)で計算される。
【0058】
【数4】
【0059】
一般に、上式(1)の物体光波分布の計算においては、その計算処理時間の大部分を式(2)の光波伝搬計算が占める。そこで、本実施形態では上式(2)の計算回数をカウントし、このカウント数で物体光波分布の計算時間を代表する。
【0060】
図5において、Nフレーム目のクラスタAは6個の点光源を含むので「通常計算」を適用した場合の伝搬計算回数は6回となる。「再計算」を適用する場合、N-1フレーム目の対応するクラスタAの物体光波分布u(N-1，A) (x, y)は次式(5)で計算されている。
【0061】
【数5】
【0062】
クラスタAに着目すると、N-1フレーム目からNフレーム目に渡って点光源p1，p2，p3，p4が位置および色のいずれも一致し、2つの点光源p14，p15が増えている。したがって、Nフレーム目のクラスタAの物体光波分布uN, A (x, y)は、N-1フレーム目のクラスタAの物体光波分布uN-1, A (x, y)に、Nフレーム目で増加した点光源p14，p15の光波分布s14，s15を加算すればよく、次式(6)で計算できる。
【0063】
【数6】
【0064】
つまり、N-1フレーム目のホログラム面上の物体光波分布uN, A (x, y)をその計算過程で保存しておき、Nフレーム目の光波分布計算において利用すれば、Nフレーム目では伝搬計算を2回に抑えることができる。したがって、クラスタAに適用される計算方法は「再利用」に決定される。
【0065】
クラスタBに着目すると、現フレームは2個の点光源p5，p17を含むので「通常計算」を適用した場合の光波伝搬の計算回数は2回となる。これに対して「再計算」を適用する場合、N-1フレーム目からNフレーム目に渡って点光源p6が消失しているが同じ位置に色の異なる点光源p17が新たに出現している。
【0066】
この場合、本来であれば点光源p6の光波分布を減じるための計算と点光源p17の光波分布を加算するための計算の計2回の光波搬計算が必要となるところ、色変化後の点光源p17からの光波は上式(2)によれば次式(7)で表されるから、変化前の点光源p6からの光波分布は次式(8)で表される。
【0067】
【数7】
【0068】
【数8】
【0069】
ここで、位置は変化せず色だけが変化したという仮定においてはr6＝r17であるから、色の変化に際し加算すべきホログラム面の物体光波分布dp17－p6 (x, y)は次式(9)で表される。
【0070】
【数9】
【0071】
つまり、減算1回（A17-A6）分だけ余計な計算が発生するものの、処理時間の大きい距離計算及びexp(-jkr_i)の計算を1回に抑えられることから、色のみが変わる点光源piについては伝搬計算を1回とカウントできることが判る。その結果、クラスタBに適用する計算方法も「再利用」に決定される。
【0072】
クラスタDに着目すると、現フレームは3個の点光源p10，p12，p13を含むので「通常計算」を適用した場合の伝搬計算回数は3回となる。これに対して、N-1フレーム目からNフレーム目に渡って点光源p10，p12，p13が一致し、点光源p11が消失しているので「再利用」による伝搬計算回数は1回となる。その結果、クラスタDに適用する計算方法も「再利用」に決定される。
【0073】
これに対して、クラスタCに着目すると、現フレームは1個の点光源p16を含むので「通常計算」を適用した場合の伝搬計算回数は1回となる。これに対して、N-1フレーム目からNフレーム目に渡って点光源p7，p9，p8が消失し、消失した点光源p8の位置に色の異なる点光源p11が新たに出現している。この場合、物体光波分布uN, C (x, y)は次式(10)で計算できるので伝搬計算回数が3回となる。その結果、クラスタCに適用する計算方法は「通常計算」に決定される。
【0074】
【数10】
【0075】
なお、上式(2)は、例えばフレネル近似に基づく近似を利用するなど、伝搬を表現する式であれば異なる式が用いられてもよい。また、非特許文献2のようなゾーンプレートを高速計算する手法が上式(2)を計算する代わりに用いられてもよい。
【0076】
また、上記の実施形態では隣接するフレーム間で位置が変化しない点による物体光波分布を再利用するものとして説明したが、微小な位置変化であれば再利用しても品質低下が少なくて済むので、位置の変化量に閾値を設け、当該閾値以下の位置変化は同一位置とみなしても良い。これは色情報に関しても同様であり、色が大きく変化していない場合には同一色とみなしても良い。
【0077】
光波伝搬計算部105は、前記計算方法決定部104が決定した計算方法で物体光波分布を計算する。図5の例ではクラスタA、クラスタB、クラスタDに「再利用」が適用され、クラスタCに「通常計算」が適用されるので以下の計算が実施される。
【0078】
【数11】
【0079】
【数12】
【0080】
【数13】
【0081】
【数14】
【0082】
【数15】
【0083】
以上の計算結果から、全てのクラスタに「通常計算」を適用した場合の伝搬計算回数が12回であるのに対して、本実施形態によればクラスタAでは2回、クラスタBでは1回、クラスタCでは1回、クラスタDでは1回の計5回となり、光波伝搬の計算回数を半分以下にすることができる。
【0084】
このように、本実施形態では3D点群をフレームごとに複数のクラスタに分けることで、クラスタごとに計算方法を決定できるので、シーン全体の変化量が多くても、シーンの変化量が少ない部分を同一クラスタにまとめて「再利用」を適用すればフレーム全体として計算時間を削減することが可能になる。
【0085】
前記光波伝搬計算部105は、次フレームでの再利用のため各クラスタの物体光波分布uN, A (x, y)，uN, B (x, y)，uN, C (x, y)，uN, D (x, y)の計算結果をメモリ108にキャッシュ（108b）する。
【0086】
なお、上式(2)で計算されるsi (x, y)そのものを保持することも考えられるが、計算機合成ホログラムの画素数は8Kを超える高解像度となることに加え、si (x, y)を保持する場合には点数×画素数分のメモリが必要となることから、特に大規模点群から成るデータに適用する場合にはメモリ消費量の観点で実施が困難となる。
【0087】
また、点群は多くのクラスタに分割した方が光波伝搬の計算時間を減らせる可能性がある一方、本実施形態では各クラスタを構成する点群からの光波が、それぞれホログラム面(x, y)上の物体光波分布としてキャッシュされることから、クラスタの数に比例してメモリの消費量が多くなることが考えられる。したがって、メモリ資源に応じてクラスタの数に制限を与えることが望ましい。
【0088】
干渉計算部106は、光波伝搬計算部105が計算したホログラム面上の物体光波分布uN (x, y)に対して、計算機上のシミュレーションとして参照光波を差し込むことで干渉計算を行う。例えば、点光源から射出される参照光波がホログラム面上に伝搬されたときの光波の複素振幅分布R(x,y)は次式(16)で表される。
【0089】
【数16】
【0090】
ここでRoは参照光の強度であり、rは参照光となる点光源位置からホログラム面上の位置(x, y)までの距離を表している。参照光の式は上式(16)に限らず、平行光などの異なる参照光波を用いてもよい。この参照光波と物体光波の干渉を示す式は次式(17)で表される。
【0091】
【数17】
【0092】
ここで、I(x, y)はCGH(干渉縞)の輝度分布であり、このI(x, y)の値に基づいてCGHが後段のCGH出力部107にて出力される。
【0093】
CGH出力部107は、干渉計算部106が計算した干渉縞を画像データとして出力する。実際のCGHの例を図6に示す。ここで出力する画像の形式は任意だが、一般的に画像データは0-255などの一定の範囲の輝度値で示されることが多い。一方、干渉計算部106が計算した干渉縞はこのレンジに正規化されていない場合が多いため、干渉計算部106で生成された干渉縞の全ての画素を探索し、最大値を255、最小値を0とするような正規化を行う機能を有していてもよい。
【0094】
また、出力されるCGHに関しては各CGHを画像データとして1枚ずつ出力してもよいし、ウィンドウに画像が随時表示されるような形式であってもよい。
【0095】
図7は、本発明の第2実施形態に係る計算機合成ホログラム生成装置1の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態では、3D点群の各点を「人」や「建物」などの複数のカテゴリに分類し、各点をクラスタリングする際に、その位置に加えてカテゴリも考慮するようにした点に特徴がある。
【0096】
点群入力部101には公知の深度センサ等を用いて実世界を3D点群としてスキャニングして取得した点群が入力される。点群カテゴリ分類部111は入力された3D点群をカテゴリ化する。
【0097】
近年、深層学習の発展に伴い、例えば非特許文献3のように事前の学習結果に基づき3D点群に対してSemantic Segmentationが行える手法が数多く提案されている。本実施形態では、このような手法を用いることで、入力された3D点群を人や車、道路などのカテゴリに分類する。なお、分類方法は深層学習ベースの方法に限定されるものではなく、点群の持つ色情報を参考にカテゴリを判定するなど、その他の方法でカテゴリ分類を行ってもよい。
【0098】
また、図8のように離れた場所に人の点群が認識された場合には「人物1A」，「人物1B」のようにインスタンスを分けてセグメンテーションしてもよい。このとき、インスタンスを分ける方法は最短距離法などの既存のクラスタリング手法に応じて行われてもよい。
【0099】
点群クラスタ対応計算部112は、Nフレーム目の各クラスタをN-1フレーム目の各クラスタと対応付ける。なお、同一カテゴリで複数のインスタンスがあるケースではフレームごとに各クラスタ（人物1A～1B、人物2A～2C）の重心位置を求め、Nフレーム目の各クラスタをN-1フレーム目の最も近いクラスタと対応付ける。
【0100】
本実施形態ではN-1フレーム目の各点光源piが、カテゴリ「人物」に分類される2つのクラスタ（インスタンス）1A，1Bおよびカテゴリ「建物」に分類される1つのクラスタ1Aの計3つのクラスタのいずれかに分類されている。
【0101】
Nフレーム目の各点光源piは、カテゴリ「人物」に分類される3つのクラスタ2A，2B，2C（インスタンス）およびカテゴリ「建物」に分類される1つのクラスタ2Aの計4つのクラスタのいずれかに分類されている。
【0102】
前記点群クラスタ対応計算部112は、Nフレーム目の各クラスタを、その重心位置およびカテゴリに基づいてN-1フレーム目の最も近いクラスタに対応付ける。本実施形態では、図9に示したように人物2Aが人物1Aに対応付けられ、人物2Bおよび2Cが人物1Bに対応付けられ、建物2Aが建物1Aに対応付けられたものとして説明を続ける。
【0103】
対応関係判別部103は、隣接または前後するフレーム間で対応するクラスタに属する各点の位置および色を比較し、Nフレームの各点光源piについてN-1フレーム目のいずれかの点と位置および色が一致するか否かの対応関係をクラスタごとに判別する。
【0104】
計算方法決定部104は第1実施形態と同様に、計算時間推定部104aがクラスタごとに推定した物体光波分布の計算時間に基づいて光路伝搬分布の計算方法をクラスタごとに「通常計算」および「再利用」のいずれかに決定する。本実施形態でも光波伝搬の計算回数で計算時間が代表される。
【0105】
本実施形態では、Nフレーム目の人物クラスタ2Aの各点光源piをN-1フレーム目の対応する人物クラスタ1Aの各点と比較すると、図10に示したように、4つの点が位置および色のいずれも一致し、2つの点が新たに出現し、2つの点が消失している。そのため、光波伝搬の計算回数は「再利用」であれば4回、「通常計算」であれば6回となり、計算方法は「再利用」に決定される。
【0106】
Nフレーム目の人物クラスタ2Bの各点光源piをN-1フレーム目の対応する人物クラスタ同1Bの各点光源piと比較すると、位置および色のいずれもが一致する点は存在しない。したがって、人物クラスタ2Bに適用される計算方法は「通常計算」に決定される。
【0107】
Nフレーム目の人物クラスタ2Cの各点光源piをN-1フレーム目の対応する人物クラスタ1Bの各点光源piと比較すると、位置および色のいずれもが一致する点光源piは存在しない。したがって、人物クラスタ2Cに適用される計算方法も「通常計算」に決定される。
【0108】
Nフレーム目の建物クラスタ2Aの各点光源piをN-1フレーム目の対応する建物クラスタ1Aの各点光源piと比較すると、4つの点光源piが位置および色のいずれも一致し、1つの点光源piは位置のみが一致し、1つの点光源piが消失している。そのため、光波伝搬の計算回数は「再利用」であれば2回、「通常計算」であれば5回となり、建物クラスタ2Aに適用される計算方法は「再利用」に決定される。
【0109】
なお、Nフレーム目の各クラスタは必ずしもN-1フレーム目のいずれかのクラスタと対応付けられる必要はなく、対応付けられなかったクラスタの計算方法は「通常計算」に決定される。例えば、N-1フレーム目に、近い距離で同一カテゴリの点群が存在しない場合、当該クラスタはNフレーム目にて視野外から新たに入ってきた点群であると判断して対応付けを行わなくてもよい。
【0110】
本実施形態によれば、3D点群の各点がその位置に加えてカテゴリを考慮してクラスタリングされるので、各クラスタには同一物体の点、換言すれば移動の有無や移動量が同一の点を分類できるようになる。その結果、「再利用」が適用されるクラスタ数を増やすことができるのみならず、「再利用」が適用されるクラスタにおいて光波伝搬の計算が必要となる点の数を減じることができるので、フレーム全体で計算時間の大幅な短縮が可能になる。
【0111】
図11は、本発明の第3実施形態に係る計算機合成ホログラム生成装置1の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので説明は省略する。
【0112】
上記の各実施形態ではフレームごとに物体光波分布の計算方法を決定するものとして説明したが、特に第2実施形態のように3D点群がカテゴリを考慮してクラスタリングされる場合、クラスタによっては連続するフレームの対応するクラスタ間で点群の変化率が大幅に変わらないことが経験的に認められる。
【0113】
例えば、N-2フレーム目からN-1フレーム目への移行時に3D点群の10%しか変化しなかったクラスタが、次のN-1フレーム目からNフレーム目に渡って3D点群の90%の変化が生じるような急激な変化は、フレーム間の相関を鑑みれば生じにくい。
【0114】
そこで、本実施形態では計算時間推定に要する時間のロスを減らすために、上記の経験則に基づいて推定頻度T（>1）を定義し、Tフレームに1回の割合で計算時間推定を行い、それ以外のフレームでは前フレームの判断結果をそのまま採用することとした。
【0115】
すなわち、N-1フレームのあるクラスタについてN-2フレーム目の各点との対応関係に基づいて計算方法が「再利用」に決定されていた場合、N-1フレーム目からNフレーム目を計算する際に計算時間を推定することなく画一的に「再利用」に決定する。これにより、計算時間推定部104aの処理をクラスタごとにTフレームに一度に抑えることができるため、計算時間推定に要する時間のロスを減らすことができる。
【0116】
前記推定頻度Tは固定値でも良いし、クラスタごとに異なるTが動的に決定されてもよい。本実施形態では計算方法決定部104が推定頻度決定部104bを具備し、クラスタごとに推定頻度Tを決定する。
【0117】
前記推定頻度決定部104bは、全点群カテゴリ分類部111が決定したカテゴリに基づいて推定頻度Tを決定する。例えば、人物クラスタのように点群に変化が発生しやすいカテゴリに適用する推定頻度Tは、建物クラスタのように点群に変化が生じにくいカテゴリに適用する推定頻度Tよりも相対的に小さな値に設定する。
【0118】
あるいは、クラスタごとに最後に計算した「通常計算」および「再利用」の各推定時間を比較し、時間差が小さい場合は大きい場合よりも相対的にTが小さな値に設定されるようにしても良い。これは、各計算方法による時間差が小さいと次のフレームで各計算方法の優劣に逆転が生じ易いため、推定誤りが生じにくくするためには推定頻度を高くすることが望ましいことに基づくものである。
【符号の説明】
【0119】
101…点群入力部，102…点群クラスタリング部，103…対応関係判別部，104…計算方法決定部，104a…計算時間推定部，104b…推定頻度計算部，105…光波伝搬計算部，106…干渉計算部，107…CGH出力部，108…キャッシュメモリ，111…点群カテゴリ分類部，112…点群クラスタ対応計算部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】