▶ ＫＤＤＩ株式会社の特許一覧 ▶ 学校法人 関西大学の特許一覧
特開2024-67697フルカラー計算機合成ホログラム再生装置、方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024067697
(43)【公開日】2024-05-17
(54)【発明の名称】フルカラー計算機合成ホログラム再生装置、方法及びプログラム
(51)【国際特許分類】
G03H 1/26 20060101AFI20240510BHJP
G03H 1/04 20060101ALI20240510BHJP
G02B 5/20 20060101ALI20240510BHJP
【ＦＩ】
G03H1/26
G03H1/04
G02B5/20 101
【審査請求】未請求
【請求項の数】24
【出願形態】ＯＬ
(21)【出願番号】P 2022177964
(22)【出願日】2022-11-07
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(71)【出願人】
【識別番号】399030060
【氏名又は名称】学校法人 関西大学
(74)【代理人】
【識別番号】100092772
【弁理士】
【氏名又は名称】阪本 清孝
(74)【代理人】
【識別番号】100119688
【弁理士】
【氏名又は名称】田邉 壽二
(72)【発明者】
【氏名】小磯 諒太
(72)【発明者】
【氏名】松島 恭治
【テーマコード（参考）】
2H148
2K008
【Ｆターム（参考）】
2H148BD21
2K008AA00
2K008CC03
2K008EE01
2K008EE04
2K008FF17
2K008FF27
2K008HH02
2K008HH16
(57)【要約】
【課題】CGH再生像のカラーバランスを意図したカラーバランスに調節できるフルカラー計算機合成ホログラム再生装置、方法及びプログラムを提供する
【解決手段】フルカラー計算機合成ホログラム再生装置１はカラーバランス比較部10及び再生光照明部20を主要な構成としている。カラーバランス比較部10は、レンダリング部101及び調節用乗数算出部102を具備し、CGH再生像の元となる3Dモデル及び当該再生像の色を実質的に模擬できる参照画像を入力として、前記レンダリング画像及び参照画像の各カラーバランスに基づいて調節用乗数（AR，AG，AB）を算出する。再生光照明部20は、光源のRGB強度比を前記調節用乗数（AR，AG，AB）を用いて調節し、RGB強度比が調節された再生光を用いてCGHを照明することでホログラムをカラー再生する。
【選択図】図１
【解決手段】フルカラー計算機合成ホログラム再生装置１はカラーバランス比較部10及び再生光照明部20を主要な構成としている。カラーバランス比較部10は、レンダリング部101及び調節用乗数算出部102を具備し、CGH再生像の元となる3Dモデル及び当該再生像の色を実質的に模擬できる参照画像を入力として、前記レンダリング画像及び参照画像の各カラーバランスに基づいて調節用乗数（AR，AG，AB）を算出する。再生光照明部20は、光源のRGB強度比を前記調節用乗数（AR，AG，AB）を用いて調節し、RGB強度比が調節された再生光を用いてCGHを照明することでホログラムをカラー再生する。
【選択図】図１
【特許請求の範囲】
【請求項1】
3DモデルのCGH(Computer-Generated Hologram）をフルカラーで再生するフルカラー計算機合成ホログラム再生装置において、
3Dモデルのレンダリング画像の色とCGHの再生像を模した参照画像の色とを比較して再生像のカラーバランスを調整するための調節用乗数を算出する手段と、
再生光の少なくともRGBの強度比を前記調節用乗数に基づいて調節する手段とを具備したことを特徴とするフルカラー計算機合成ホログラム再生装置。
3Dモデルのレンダリング画像の色とCGHの再生像を模した参照画像の色とを比較して再生像のカラーバランスを調整するための調節用乗数を算出する手段と、
再生光の少なくともRGBの強度比を前記調節用乗数に基づいて調節する手段とを具備したことを特徴とするフルカラー計算機合成ホログラム再生装置。
【請求項2】
前記CGHのデータを用いて再生像のシミュレーション画像を生成する手段を具備し、
前記調節用乗数を算出する手段は、前記シミュレーション画像を参照画像として調節用乗数を算出することを特徴とする請求項１に記載のフルカラー計算機合成ホログラム再生装置。
前記調節用乗数を算出する手段は、前記シミュレーション画像を参照画像として調節用乗数を算出することを特徴とする請求項１に記載のフルカラー計算機合成ホログラム再生装置。
【請求項3】
少なくともRGBの強度比が前記調節用乗数に基づいて調節された再生光による再生像を撮影する手段と、
前記少なくともRGBの強度比の調節終了を判定する手段とを具備し、
前記調節用乗数を算出する手段は、前記再生像の撮影画像を参照画像として調節用乗数を算出し、
前記調節終了を判定する手段は、前記レンダリング画像の色と前記撮影画像の色との間に所定の終了条件が成立しているか否かを判定し、
前記所定の終了条件が成立するまで、前記再生像の撮影、撮影画像による調節用乗数の算出及び少なくともRGBの強度比の調節を繰り返すことを特徴とする請求項１に記載のフルカラー計算機合成ホログラム再生装置。
前記少なくともRGBの強度比の調節終了を判定する手段とを具備し、
前記調節用乗数を算出する手段は、前記再生像の撮影画像を参照画像として調節用乗数を算出し、
前記調節終了を判定する手段は、前記レンダリング画像の色と前記撮影画像の色との間に所定の終了条件が成立しているか否かを判定し、
前記所定の終了条件が成立するまで、前記再生像の撮影、撮影画像による調節用乗数の算出及び少なくともRGBの強度比の調節を繰り返すことを特徴とする請求項１に記載のフルカラー計算機合成ホログラム再生装置。
【請求項4】
前記CGHのデータを用いて再生像のシミュレーション画像を生成する手段を更に具備し、
前記調節用乗数を算出する手段は、
初めに、前記シミュレーション画像を前記参照画像として調節用乗数の初期値を算出し、
次いで、少なくともRGBの強度比が前記初期値に基づいて調節された再生光による再生像の撮影画像を前記参照画像として調節用乗数を算出し、
前記所定の終了条件が成立するまで、前記再生像の撮影、撮影画像による調節用乗数の算出及び少なくともRGBの強度比の調節を繰り返すことを特徴とする請求項３に記載のフルカラー計算機合成ホログラム再生装置。
前記調節用乗数を算出する手段は、
初めに、前記シミュレーション画像を前記参照画像として調節用乗数の初期値を算出し、
次いで、少なくともRGBの強度比が前記初期値に基づいて調節された再生光による再生像の撮影画像を前記参照画像として調節用乗数を算出し、
前記所定の終了条件が成立するまで、前記再生像の撮影、撮影画像による調節用乗数の算出及び少なくともRGBの強度比の調節を繰り返すことを特徴とする請求項３に記載のフルカラー計算機合成ホログラム再生装置。
【請求項5】
前記再生像を撮影する手段がイメージセンサを備えたカメラであり、
前記イメージセンサの波長感度特性と等色関数との関係に基づいて調節用乗数を補正する手段を具備したことを特徴とする請求項３に記載のフルカラー計算機合成ホログラム再生装置。
前記イメージセンサの波長感度特性と等色関数との関係に基づいて調節用乗数を補正する手段を具備したことを特徴とする請求項３に記載のフルカラー計算機合成ホログラム再生装置。
【請求項6】
前記再生像を撮影する手段がイメージセンサを備えたカメラであり、
前記イメージセンサの波長感度特性と等色関数との関係に基づいて調節用乗数を補正する手段を具備したことを特徴とする請求項４に記載のフルカラー計算機合成ホログラム再生装置。
前記イメージセンサの波長感度特性と等色関数との関係に基づいて調節用乗数を補正する手段を具備したことを特徴とする請求項４に記載のフルカラー計算機合成ホログラム再生装置。
【請求項7】
前記CHGが、少なくともR，G及びBの各色に対応した干渉縞領域を空間多重化して構成され、
各干渉縞領域の表面に対応色のカラーフィルタが配置され、
前記再生光として、各干渉縞領域に対応した画像領域が前記調節用乗数に応じた濃度でグレースケース化された構造化照明画像をカラーフィルタ越しに照明することを特徴とする請求項１に記載のフルカラー計算機合成ホログラム再生装置。
各干渉縞領域の表面に対応色のカラーフィルタが配置され、
前記再生光として、各干渉縞領域に対応した画像領域が前記調節用乗数に応じた濃度でグレースケース化された構造化照明画像をカラーフィルタ越しに照明することを特徴とする請求項１に記載のフルカラー計算機合成ホログラム再生装置。
【請求項8】
前記調節用乗数を算出する手段は、前記レンダリング画像のカラーヒストグラムの代表値と前記参照画像のカラーヒストグラムの代表値との比率に基づいて調節用乗数を算出することを特徴とする請求項１ないし７のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
【請求項9】
前記代表値が、平均値、最大値、最小値及び最頻値のいずれかであることを特徴とする請求項８に記載のフルカラー計算機合成ホログラム再生装置。
【請求項10】
前記調節用乗数を算出する手段は、再生像の同一視点でのレンダリング画像の色と参照画像の色とを比較して調節用乗数を算出することを特徴とする請求項１ないし７のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
【請求項11】
前記調節用乗数を算出する手段は、レンダリング画像及び参照画像の複数視点での各色を比較して調節用乗数を算出することを特徴とする請求項１ないし７のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
【請求項12】
前記CGHには複数コマの干渉縞が空間多重化されており、
前記調節用乗数を算出する手段は、各コマにおける3Dモデルのレンダリング画像の色と再生像を模した参照画像の色とを比較して調節用乗数を算出することを特徴とする請求項１ないし７のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
前記調節用乗数を算出する手段は、各コマにおける3Dモデルのレンダリング画像の色と再生像を模した参照画像の色とを比較して調節用乗数を算出することを特徴とする請求項１ないし７のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
【請求項13】
前記撮影画像に基づいてカメラの視点を推定する手段を具備し、
前記推定した視点での3Dモデルのレンダリング画像の色と前記撮影画像の色とを比較することを特徴とする請求項３ないし６のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
前記推定した視点での3Dモデルのレンダリング画像の色と前記撮影画像の色とを比較することを特徴とする請求項３ないし６のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
【請求項14】
前記調節終了を判定する手段は、前記レンダリング画像及び撮影画像の各カラーヒストグラムの少なくともRGB毎の代表値の差分をカラーチャネルごとに求めて所定の第1閾値と比較し、少なくとも一つのカラーチャネルの差分が対応する第1閾値未満であれば調節終了と判定することを特徴とする請求項３ないし６のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
【請求項15】
前記調節終了を判定する手段は、前記レンダリング画像及び撮影画像の各カラーヒストグラムの少なくともRGB毎の代表値のベクトルの差分を所定の第2閾値と比較し、前記差分が第2閾値未満であれば調節終了と判定することを特徴とする請求項３ないし６のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
【請求項16】
前記調節終了を判定する手段は、前記レンダリング画像のカラーヒストグラムの偏りを推定し、
前記偏りが所定値未満であれば、前記レンダリング画像及び撮影画像の各カラーヒストグラムの少なくともRGB毎の代表値の差分をカラーチャネルごとに求めて所定の第1閾値と比較し、少なくとも一つのカラーチャネルの差分が対応する第1閾値未満であれば調節終了と判定し、
前記偏りが所定値以上であれば、前記レンダリング画像及び撮影画像の各カラーヒストグラムの少なくともRGB毎の代表値のベクトルの差分を所定の第2閾値と比較し、前記差分が第2閾値未満であれば調節終了と判定することを特徴とする請求項３ないし６のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
前記偏りが所定値未満であれば、前記レンダリング画像及び撮影画像の各カラーヒストグラムの少なくともRGB毎の代表値の差分をカラーチャネルごとに求めて所定の第1閾値と比較し、少なくとも一つのカラーチャネルの差分が対応する第1閾値未満であれば調節終了と判定し、
前記偏りが所定値以上であれば、前記レンダリング画像及び撮影画像の各カラーヒストグラムの少なくともRGB毎の代表値のベクトルの差分を所定の第2閾値と比較し、前記差分が第2閾値未満であれば調節終了と判定することを特徴とする請求項３ないし６のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
【請求項17】
前記撮影画像に基づいて再生像を撮影した視点を推定する手段を具備し、
前記レンダリング画像が前記3Dモデルを当該視点から見込んだ画像であることを特徴とする請求項３ないし６のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
前記レンダリング画像が前記3Dモデルを当該視点から見込んだ画像であることを特徴とする請求項３ないし６のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
【請求項18】
前記再生像を撮影する手段が分光器であることを特徴とする請求項３ないし６のいずれかに記載のフルカラー計算機合成ホログラム再生装置。
【請求項19】
調節用乗数を補正する手段は、前記イメージセンサの波長感度特性と標準的な等色関数との比に基づいて第1補正乗数を算出する手段を具備し、
前記少なくともRGBの強度比の調節が終了している調節用乗数を前記第1補正乗数で補正することを特徴とする請求項５または６に記載のフルカラー計算機合成ホログラム再生装置。
前記少なくともRGBの強度比の調節が終了している調節用乗数を前記第1補正乗数で補正することを特徴とする請求項５または６に記載のフルカラー計算機合成ホログラム再生装置。
【請求項20】
調節用乗数を補正する手段前記標準的な等色関数と観察者の等色関数との比率に基づいて第2補正乗数を算出する手段を具備し、
前記少なくともRGBの強度比の調節が終了している調節用乗数を前記第1及び第2補正乗数で補正することを特徴とする請求項１９に記載のフルカラー計算機合成ホログラム再生装置。
前記少なくともRGBの強度比の調節が終了している調節用乗数を前記第1及び第2補正乗数で補正することを特徴とする請求項１９に記載のフルカラー計算機合成ホログラム再生装置。
【請求項21】
前記構造化照明画像の各色に対応した干渉縞領域の境界部に遮光領域を設けたことを特徴とする請求項７に記載のフルカラー計算機合成ホログラム再生装置。
【請求項22】
前記構造化照明画像の各色に対応した干渉縞領域の境界部では濃度が段階的に変化することを特徴とする特徴とする請求項７に記載のフルカラー計算機合成ホログラム再生装置。
【請求項23】
コンピュータが3DモデルのCGHをフルカラーで再生するフルカラー計算機合成ホログラム再生方法において、
3Dモデルのレンダリング画像の色とCGHの再生像を模した参照画像の色とを比較して再生像のカラーバランスを調整するための調節用乗数を算出し、
再生光の少なくともRGBの強度比を前記調節用乗数に基づいて調節することを特徴とするフルカラー計算機合成ホログラム再生方法。
3Dモデルのレンダリング画像の色とCGHの再生像を模した参照画像の色とを比較して再生像のカラーバランスを調整するための調節用乗数を算出し、
再生光の少なくともRGBの強度比を前記調節用乗数に基づいて調節することを特徴とするフルカラー計算機合成ホログラム再生方法。
【請求項24】
3DモデルのCGHをフルカラーで再生するフルカラー計算機合成ホログラム再生プログラムにおいて、
3Dモデルのレンダリング画像の色とCGHの再生像を模した参照画像の色とを比較して再生像のカラーバランスを調整するための調節用乗数を算出する手順と、
再生光の少なくともRGBの強度比を前記調節用乗数に基づいて調節する手順とをコンピュータに実行させることを特徴とするフルカラー計算機合成ホログラム再生プログラム。
3Dモデルのレンダリング画像の色とCGHの再生像を模した参照画像の色とを比較して再生像のカラーバランスを調整するための調節用乗数を算出する手順と、
再生光の少なくともRGBの強度比を前記調節用乗数に基づいて調節する手順とをコンピュータに実行させることを特徴とするフルカラー計算機合成ホログラム再生プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計算機合成ホログラム(Computer-Generated Hologram : CGH)のフルカラー再生像のカラーバランスを調節する装置、方法及びプログラムに関する。
【背景技術】
【0002】
CGHは光の回折を利用してCGHの再生像（以下、CGH再生像又は単に再生像と表現する場合もある）を再生するため、波長ごとに計算される干渉縞が異なる。そのため、CGHのカラー化ではRGBの干渉縞を別々に計算し、それぞれの再生像を重畳する必要がある。
【0003】
特許文献１には、RGBなどの複数のカラーチャネルに対応する各波長を用いて計算した干渉縞を空間分割多重して単板の干渉縞に統合し、その表面に各干渉縞領域に対応した色のカラーフィルタを張り合わせて白色光を照明し、各色の再生像を合成することでカラー再生する方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2017-219824号公報
【非特許文献】
【0005】
【非特許文献1】木下 健治，"フレネルＣＧＨのカラー画像シミュレーション，ITE technical report 29 (48), 9-12, 2005-09
【非特許文献2】小林 達也，加藤 晴久，米山 暁夫，"三次元物体の姿勢検出における2D-3Dマッチングの高精度化の検討"，2012年映像情報メディア学会年次大会
【非特許文献3】山内泰樹，"個人の視覚感度の測定"，日本光学会，光学，34(6) 311-313，2005年06月
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１では、各色の強度比を考慮することなく別々に計算した複数色分の干渉縞を空間分割している。したがって、RGBのカラーバランスを干渉縞の計算過程や制作過程で保つことができない。
【0007】
そのため、例えばRGBの強度比が(R,G,B)=(8：1：1)というように特定の色の強度が強いなど、各色の強度比が均衡していない色のモデルを入力すると、再生像のカラーバランスが意図したカラーバランスから崩れて品質が損なわれるという技術課題があった。
【0008】
本発明の目的は、上記の技術課題を解決し、CGH再生像のカラーバランスを意図した本来のカラーバランスに調節できるフルカラー計算機合成ホログラム再生装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記の目的を達成するために、本発明は、3DモデルのCGHをフルカラーで再生するフルカラー計算機合成ホログラム再生装置において、以下の構成を具備した点に特徴がある。
【0010】
(1) 3Dモデルのレンダリング画像の色とCGH再生像を模した参照画像の色との比較結果に基づいて再生像のカラーバランスを調整するための調節用乗数を算出する手段と、再生光の少なくともRGBの強度比を調節用乗数に基づいて調節する手段とを具備した。
【0011】
(2) CGHのデータを用いて再生像のシミュレーション画像を生成する手段を設け、このシミュレーション画像を参照画像として調節用乗数を算出するようにした。
【0012】
(3) 少なくともRGBの強度比が調節用乗数に基づいて調節された再生光による再生像を撮影する手段と、少なくともRGBの強度比の調節終了を判定する手段とを更に設け、調節用乗数を算出する手段は、再生像の撮影画像を参照画像として調節用乗数を算出し、調節終了を判定する手段は、レンダリング画像の色と撮影画像の色との間に所定の終了条件が成立すると調節終了と判定し、所定の終了条件が成立するまで、再生像の撮影、撮影画像による調節用乗数の算出及び少なくともRGBの強度比の調節を繰り返すようにした。
【0013】
(4) CGHのデータを用いて再生像のシミュレーション画像を生成する手段を更に設け、調節用乗数を算出する手段は、初めに、シミュレーション画像を参照画像として調節用乗数の初期値を算出し、次いで、少なくともRGBの強度比が前記初期値に基づいて調節された再生光による再生像の撮影画像を参照画像として調節用乗数を算出し、以降、撮影画像を参照画像として調節用乗数を算出することを繰り返すようにした。
【0014】
(5) 再生像を撮影する手段がイメージセンサを備えたカメラであり、イメージセンサの波長感度特性と等色関数との関係に基づいて調節用乗数を補正する手段を設けた。
【0015】
(6) CHGを、少なくともR，G及びBの各色に対応した干渉縞領域を空間多重化して構成し、各干渉縞領域の表面に対応色のカラーフィルタを配置し、再生光として、各干渉縞領域に対応した画像領域を調節用乗数に応じた濃度でグレースケース化した白色の構造化照明画像をカラーフィルタ越しに照明するようにした。
【0016】
なお、本発明は上記の各構成を備えたフルカラー計算機合成ホログラム再生装置として実現できるのみならず、各構成の処理を手順とするフルカラー計算機合成ホログラム再生方法として実現したり、係る手順をコンピュータに実行させるフルカラー計算機合成ホログラム再生プログラムとしても実現できる。
【発明の効果】
【0017】
(1) CGHの再生像として表示する３Dモデルのレンダリング画像のカラーバランスを、意図した本来のカラーバランスと見做して、参照画像の色が当該レンダリング画像の色と一致するようにRGB光源強度を調節するので、再生像のカラーバランスを意図した本来のカラーバランスに合わせることができ、その品質を向上させることができる。
【0018】
(2) CGHのデータを用いて生成したシミュレーション画像を参照画像として採用すれば、再生像を撮影することなく再生像を模擬できるのみならず、撮影画像が持つ色味と人が視覚を通じて感じる色味との差分を補正する処理が不要となる。
【0019】
(3) 再生像の撮影画像を参照画像として採用すれば、観察者が実際に観察する再生像のカラーバランスをレンダリング画像のカラーバランスに合わせることができる。また、再生像の撮影、撮影画像による調節用乗数の算出及びRGB強度比の調節を所定の終了条件が成立するまで繰り返すので、再生像の品質を所望の品質まで向上させることができる。
【0020】
(4) 参照画像としてシミュレーション画像及び撮影画像を使い分け、初めは、シミュレーション画像を参照画像として調節用乗数の初期値を算出し、それ以降は、撮影画像を参照画像として調節用乗数を算出することを所定の終了条件が成立するまで繰り返すので、少ない調節回数で再生像の品質を所望の品質まで向上させることができる。
【0021】
(5) 再生像を電気信号に変換するイメージセンサの波長感度特性と視覚の等色関数との関係に基づいて調節用乗数を補正することで、撮影画像の色味を人が感じる色味に合わせることができるので、再生像の撮影画像を参照画像としてRGB光源強度を調節する際の精度を向上させることができる。
【0022】
(6) 再生光として、各干渉縞領域に対応した画像領域が調節用乗数に応じた濃度でグレースケース化された構造化照明画像をカラーフィルタ越しに照明するので、カラーフィルタを用いるカラー化手法でもカラーフィルタでの光の反射によるカラーバランスの低下を抑制したRGB強度比の調節が可能になる。
【図面の簡単な説明】
【0023】
【図1】本発明の第1実施形態に係るフルカラー計算機合成ホログラム再生装置の構成を示した機能ブロック図である。
【図2】本発明の第2実施形態に係るフルカラー計算機合成ホログラム再生装置の構成を示した機能ブロック図である。
【図3】本発明の第3実施形態に係るフルカラー計算機合成ホログラム再生装置の構成を示した機能ブロック図である。
【図4】本発明の第4実施形態に係るフルカラー計算機合成ホログラム再生装置の構成を示した機能ブロック図である。
【図5】第4実施形態の動作を示したフローチャートである。
【図6】本発明の第5実施形態に係るフルカラー計算機合成ホログラム再生装置の構成を示した機能ブロック図である。
【図7】第5実施形態の動作を示したフローチャートである。
【図8】本発明の第6実施形態に係るフルカラー計算機合成ホログラム再生装置の構成を示した機能ブロック図である。
【図9】再生光として構造化照明画像を用いたCGHの再生方法を示した図である。
【図10】構造化照明画像の例を示した図である。
【発明を実施するための形態】
【0024】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の第１実施形態に係るフルカラー計算機合成ホログラム再生装置１の主要部の構成を示した機能ブロック図であり、カラーバランス比較部10及び再生光照明部20を主要な構成としている。
【0025】
このようなフルカラー計算機合成ホログラム再生装置１は、CPU、ROM、RAM、バス、インタフェース等を備えた汎用の少なくとも1台のコンピュータやサーバに、以下に詳述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。
【0026】
カラーバランス比較部10は、レンダリング部101及び調節用乗数算出部102を具備し、CGH再生像の元となる3Dモデル及び当該再生像の色を実質的に模擬できる参照画像を入力として、前記レンダリング画像及び参照画像の各カラーバランスに基づいて調節用乗数（AR，AG，AB）を算出する。この調節用乗数は、再生像照明部20が管理する現在のRGB強度比（IR,IG,IB）に掛け合わせることで再生光のRGB強度比を調節するベクトル値である。
【0027】
再生光照明部20は、RGB強度比が調節可能な光源（図示省略）及び強度比調節部201を具備し、光源のRGB強度比を前記調節用乗数（AR，AG，AB）を用いて調節し、RGB強度比が調節された再生光を用いてCGHを照明することでホログラムをカラー再生する。
【0028】
カラーバランス比較部10において、レンダリング部101は3Dモデルをレンダリングしてレンダリング画像を生成する。３Dモデルのレンダリングには、z-buffer法やRay tracing法などの一般的に広く用いられているレンダリング手法を用いることができる。
【0029】
調節用乗数算出部102は、3Dモデルの所定の視点でのレンダリング画像のカラーヒストグラムの平均値（MR，MG，MB）と同一視点での参照画像のカラーヒストグラムの平均値（M'
R，M'
G，M'
B）との商（MR/M'
R，MG/M'
G，MB/M'
B）を正規化したベクトルを調節用乗数（AR，AG，AB）として計算する。なお、カラーヒストグラムの平均値に代えて、その中央値、最大値又は最頻値などの他の代表値を用いて調節用乗数を算出するようにしても良い。
【0030】
再生光照明部20は、現在のRGB強度比（IR,IG,IB）に前記調節用乗数（AR，AG，AB）を乗じることでカラー光源のRGB強度比を調節し、調節後のRGB強度比（AR×IR，AG×IG，AB×IB）を正規化したRGB強度比で再生光を照明する。
【0031】
本実施形態によれば、CGH再生像として表示する３Dモデルのレンダリング画像のカラーバランスを、意図した本来のカラーバランスと見做して、参照画像の色が当該レンダリング画像の色と一致するようにRGB光源強度が調節されるので、再生像のカラーバランスを意図した本来のカラーバランスに合わせることができ、その品質を向上させることができるようになる。
【0032】
なお、上記の実施形態ではRGBの3原色の光源を使用したカラーのCGH再生を例にして説明したが、本発明はこれのみに限定されるものではなく、例えば黄色Yを加えたRGBYの4原色の光源を使用したカラーのCGH再生のように、少なくともRGBの3原色の光源を使用したカラー再生であれば同様に適用できる。
【0033】
図2は、本発明の第2実施形態に係るフルカラー計算機合成ホログラム再生装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は、CGH再生像の色を模擬できる参照画像としてCGHデータのシミュレーション画像を採用した点に特徴があり、前記カラーバランス比較部10には3Dモデル及びCGHデータが入力される。
【0034】
カラーバランス比較部10はシミュレーション画像生成部103を具備し、CGHデータをシミュレーションしてCGH再生像のシミュレーション画像を生成する。シミュレーション画像の生成方法は、例えば非特許文献１に開示されているが当該方法に限定されない。シミュレーション画像生成部103は、再生光のRGB強度比（IR,IG,IB）が再生光照明部20の現在のRGB強度比（IR,IG,IB）と同一である前提でシミュレーション画像を生成する。
【0035】
調節用乗数算出部102は、生成したシミュレーション画像を、前記CHG再生像を模擬できる参照画像として採用し、そのカラーヒストグラムと前記3Dモデルのレンダリング画像のカラーヒストグラムとの比較結果に基づいて調節用乗数（AR，AG，AB）を算出する。本実施形態でも、CGH再生像を同一視点から見込んだシミュレーション画像及びレンダリング画像の各カラーヒストグラムを比較することが望ましい。
【0036】
再生光照明部20の強度比調節部201は、現在のRGB強度比（IR,IG,IB）に前記調節用乗数（AR，AG，AB）を乗じることでカラー光源のRGB強度比を調節し、調節後のRGB強度比（AR×IR，AG×IG，AB×IB）を正規化したRGB強度比の再生光でCGHを照明する。
【0037】
本実施形態によれば、CGHのデータを用いて生成したシミュレーション画像を参照画像として採用するので、再生像を撮影することなく再生像を模擬できるのみならず、撮影画像が持つ色味と人が視覚を通じて感じる色味との差分を補正する処理が不要となる。
【0038】
図3は、本発明の第3実施形態に係るフルカラー計算機合成ホログラム再生装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は、CHG再生像のカラーバランスを模擬できる参照画像としてホログラム再生像の撮影画像を採用した点に特徴があり、前記カラーバランス比較部10には3Dモデル及び撮影画像が入力される。
【0039】
フルカラー計算機合成ホログラム再生装置１は、カラーバランス比較部10、再生光照明部20及び再生像撮影部30を主要な構成とし、カラーバランス比較部10は終了判定部104及びカメラ姿勢推定部105を更に具備する。再生像撮影部30としてはイメージセンサを搭載したカメラや分光器を採用できるが、ここではカメラを採用した場合を例にして説明する。
【0040】
再生像撮影部30は、CGH再生像を所定の視点から撮影し、その撮影画像をカラーバランス比較部10へフィードバックする。カラーバランス比較部10は、3Dモデルのレンダリング画像のカラーヒストグラムと撮影画像のカラーヒストグラムとを比較して調節用乗数（AR，AG，AB）を算出する。
【0041】
本実施形態でも、CGH再生像を同一視点から見込んだ撮影画像及びレンダリング画像の各カラーヒストグラムを比較することが望ましい。カメラ姿勢推定部105は、撮影画像を用いた3D-2Dマッチング手法により再生像撮影部30の姿勢を計算し、その計算結果に基づいて視点を推定する。レンダリング部101は、推定した視点で3Dモデルのレンダリング画像を生成する。
【0042】
再生光照明部20は、現在のRGB強度比（IR,IG,IB）に前記調節用乗数（AR，AG，AB）を乗じることで再生光のRGB強度比を調節し、調節後のRGB強度比（AR×IR，AG×IG，AB×IB）を正規化したRGB強度比の再生光でCGHを照明する。調節用乗数の算出、RGB強度比の調節及び撮影画像のフィードバックの各手順は、終了判定部104が終了判定するまで繰り返される。
【0043】
終了判定部104は、例えば(1)調節用乗数（AR，AG，AB）による調節回数が予め定めた上限値に達したこと、(2)レンダリング画像及び撮影画像の各カラーヒストグラムの差分が予め定めた閾値（ThR，ThG，ThB）未満となったこと、又は(3)目視によりカラーバランスが十分に一致したと判断できること、の少なくとも一つを終了条件としてRGB強度比の調節終了を判定する。
【0044】
終了条件として、「(1)調節用乗数の調節回数」を採用するのであれば、最終的な調節用乗数（AR，AG，AB）は調節回数が上限値に達したときの値でも良いし、前記上限値に達するまでの複数回の照明強度比調節においてカラーヒストグラムの差分が最小値を示したときの値でも良い。
【0045】
終了条件として、「(2)カラーヒストグラムの差分」を採用するのであれば、調節用乗数の算出に用いた撮影画像のカラーヒストグラムの平均値（M'R，M'G，M'B）とレンダリング画像のカラーヒストグラムの平均値（MR，MG，MB）との差分を閾値（ThR，ThG，ThB）と比較することができる。
【0046】
なお、カラーヒストグラムの平均値の差分に代えて中央値や最頻値など他の代表値の差分を採用して終了判定しても良い。また、この差分は調節用乗数のように各色の比率を正すことが目的ではないため、代表値を用いるのではなくカラーヒストグラム同士の相関やコサイン類似度、Earth mover's distanceなど、全体の傾向を比較する評価指標を用いて差分を比較してもよい。
【0047】
前記差分に基づく終了判定においては、カラーチャネルごとにカラーヒストグラムの差分を対応する各閾値（ThR，ThG，ThB）と比較し、全ての差分が各閾値を下回った場合、すなわち|M'R-MR|＜ThR，|M'G-MG|＜ThG，|M'B-MB|＜ThB全てが同時に成立した場合に終了判定するようにしても良い。
【0048】
一方、例えば３Dモデルの色に１つのカラーチャネルがほとんど含まれていないなど、カラーバランスが極端に偏った場合においては、見た目に影響の少ないカラーチャネルのみが終了条件を満たさず照明強度の調節が完了しない場合がある。この場合、カラーチャネルごとに判定するのではなく、次式(1)のようにベクトルの大きさで判定すれば、特定のチャネルが収束しない場合でも頑強な終了判定が可能となる。
【0049】
【数1】
【0050】
更にはこれら2つの終了条件を組み合わせ、レンダリング画像のカラーヒストグラムの代表値（MR，MG，MB）から偏りが所定値以上と推定される場合には前記ベクトルの大きさによる判定を行う一方、それ以外の場合はカラーチャネルごとに判定するなど、カラーヒストグラムの偏りに応じて判定方法を切り替えるようにしても良い。
【0051】
また、(1)の終了条件と同様に、カラーヒストグラム同士の相関やコサイン類似度、Earth mover's distanceなど全体の傾向を比較する評価指標を用いて各カラーヒストグラムの差分を比較してもよい。更に、調節用乗数（AR，AG，AB）の初期値を所定値（例えば、（1/3，1/3，1/3））として最初の調節を行い、それ以降は撮影画像に基づく調節を行うようにしても良い。
【0052】
本実施形態によれば、再生像の撮影画像を参照画像として採用するので、観察者が実際に観察する再生像のカラーバランスをレンダリング画像のカラーバランスに合わせることができる。また、再生像の撮影、撮影画像による調節用乗数の算出及びRGB強度比の調節を所定の終了条件が成立するまで繰り返すので、再生像の品質を所望の品質まで向上させることができる。
【0053】
図4は、本発明の第4実施形態に係るフルカラー計算機合成ホログラム再生装置１の主要部の構成を示した機能ブロック図であり、第2及び第3実施形態を組み合わせた構成となっている。
【0054】
本実施形態は、3Dモデルのレンダリング画像のカラーヒストグラムを、初めはシミュレーション画像のカラーヒストグラムと比較して調節用乗数を算出し、次いで、撮影画像のカラーヒストグラムと比較して調節用乗数を算出することを、前記終了判定部104が終了判定するまで繰り返すようにした点に特徴がある。
【0055】
図5は、本実施形態の動作を示したフローチャートであり、ステップS１では、カラーバランス比較部10の調節用乗数算出部102において、レンダリング画像のカラーヒストグラムとシミュレーション画像のカラーヒストグラムとの比較結果に基づいて調節用乗数の初期値（AR0，AG0，AB0）が算出される。
【0056】
ステップS2では、再生光照明部20の強度比調節部201において、現在のRGB強度比（IR,IG,IB）に前記初期値（AR0，AG0，AB0）が乗じられてRGB強度比が調節される。ステップS3では、RGB強度比が調節された再生光がCGHへ照明されてCGHの再生像が再生される。ステップS4では、前記再生像が再生像撮影部30により撮影され、その撮影画像がカラーバランス比較部10へフィードバックされる。
【0057】
ステップS5では、調節用乗数算出部102において、前記レンダリング画像のカラーヒストグラムと撮影画像のカラーヒストグラムとの比較結果に基づいて調節用乗数（AR，AG，AB）が改めて算出される。前記レンダリング画像は、カメラ姿勢推定部105が撮影画像を用いて推定した視点で3Dモデルをレンダリングすることで再生成される。
【0058】
ステップS6では、カラーバランス比較部10の終了判定部104において終了判定が行われる。終了判定が成立していなければステップS2へ戻り、現在のRGB強度比（IR,IG,IB）に前記調節用乗数（AR，AG，AB）が乗じられてRGB強度比が再調節される。ステップS3では、RGB強度比が再調節された再生光が改めてCGHへ照明される。
【0059】
これに対して、終了判定が成立していれば当該処理を終了し、現時点でのRGB強度比（IR,IG,IB）が最終的なRGB強度比（IR,IG,IB）として維持される。
【0060】
本実施形態によれば、参照画像としてシミュレーション画像及び撮影画像を使い分け、初めは、シミュレーション画像を参照画像として調節用乗数の初期値を算出し、それ以降は、撮影画像を参照画像として調節用乗数を算出することを、所定の終了条件が成立するまで繰り返すので、少ない調節回数で再生像の品質を所望の品質まで向上させることができるようになる。
【0061】
図6は、本発明の第5実施形態に係るフルカラー計算機合成ホログラム再生装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は、カラーバランス比較部10、再生光照明部20及び再生像撮影部30に加えて照明強度比補正部40を具備した点に特徴がある。
【0062】
照明強度比補正部40は、第1補正部401及び第2補正部402のうち少なくとも第1補正部401を具備し、調節用乗数（AR，AG，AB）によるカラーバランス調節の完了後に、カメラや人間の眼の波長感度特性を考慮してRGB強度を補正するための補正用乗数（BR，BG，BB）を算出する。そして、補正用乗数（BR，BG，BB）を調節用乗数（AR，AG，AB）に乗じて最終の調節用乗数（AR，AG，AB）を算出する。
【0063】
再生光照明部20の強度比調節部201は、照明強度比補正部40が出力する最終調節用乗数を用いて調節済みのRGB強度比（IR,IG,IB）を補正する。照明強度比補正部40におけるRGB強度比の補正目的は、主に以下の2点である。
【0064】
第1の目的は、再生像の撮影画像が持つ色味と人が視覚を通じて感じる色味との差分を補正することにある。これは、再生像を撮影するカメラが搭載するイメージセンサの波長感度特性等により、再生像画像及びシミュレーション画像のカラーバランスが一致しても人には一致していないと感じられる場合があるからである。当該補正は第1補正部401が分担する。
【0065】
第2の目的は、色識別の個人差を補正することにある。これは、人間の眼が認識する色には僅かな個人差があり、例えば再生像内の色味の差が体感品質に大きな影響を与えるようなコンテンツへのCGH利用を想定すると、色味を個別に最適化することが望ましいからである。当該補正は第2補正部402が分担する。
【0066】
ホログラムの再生像をカメラで撮影した撮影画像の色は、再生像の光の波長分布R(λ)とイメージセンサの波長感度特性S(λ)とを掛け合わせて計算した三刺激値をRGB色空間に変換したものである。人が眼で再生像を観察する際には、カメラの波長感度特性S(λ)を等色関数H(λ)に置き換えて色を認識していると考えられる。
【0067】
ここで、第1の目的を達成する第1補正用係数（B'1R，B'1G，B'1B）は波長感度特性S(λ)及び等色関数H(λ)の比率として計算できる。したがって、波長感度特性S(λ)の平均値を次式(2)、等色関数H(λ)の平均値を次式(3)とすれば、第1補正用係数（B'1R，B'1G，B'1B）は次式(4)で算出できる。
【0068】
【数2】
【0069】
第2の目的を達成する第2補正用係数（B'2R，B'2G，B'2B）は、標準的な観測者の等色関数H(λ)ではなく、個人iごとに測定した固有の等色関数Hi(λ)を用いることで算出できる。個人iごとに等色関数Hi(λ)を計測する方法は、例えば非特許文献２が開示する方法を用いることができる。
【0070】
本実施形態では、照明強度比補正部40が波長感度特性S(λ)及び等色関数H(λ)，Hi(λ)を保持し、第1補正部401は波長感度特性S(λ)及び等色関数H(λ)を上式(2)-(4)に適用することで第1補正用乗数（B'R1，B'G1，B'B1）を算出する。第2補正部401は、個人iの等色関数Hi(λ)と標準的な観測者の等色関数H(λ)との比率を前記第1補正用乗数（B'R1，B'G1，B'B1）に乗じることで第2補正用乗数（B'2R，B'2G，B'2B）を算出する。
【0071】
なお、再生像撮像部30として分光器を採用するのであれば、複数点で光のスペクトルを取得し、これらを標準的な観察者の色認識、例えばCIE測色標準観察者等の標準的な観測者の等色関数を用いてRGBに変換すれば良い。この場合、前記第1の目的の補正は不要となる。
【0072】
図7は第5実施形態の動作を示したフローチャートであり、ステップS1～S6の各処理は第4実施形態と同一なので説明を省略する。ここでは、個人iの等色関数Hi(λ)を用いて当該個人i用にカラーバランスを補正する場合を例にして説明する。
【0073】
ステップS6において終了判定が成立し、RGB強度比（IR,IG,IB）の調節が完了すると、ステップS7では、前記第1補正部401により第1補正乗数（B'R1，B'G1，B'B1）が算出される。ステップS8では、前記第2補正部402により個人iの等色関数Hi(λ)と標準的な観測者の等色関数H(λ)との比率を前記第1補正用乗数に乗じることで第2補正乗数（B'R2，B'G2，B'B2）が算出される。
【0074】
ステップS9では、第2補正乗数（B'R2，B'G2，B'B2）がRGB強度比（IR,IG,IB）に乗じられて最終の調節用乗数（AR，AG，AB）が算出され、さらに現在のRGB強度比（IR,IG,IB）に最終の調節用乗数（AR，AG，AB）が乗じられてRGB強度比（IR,IG,IB）が個人i用に補正される。
【0075】
本実施形態によれば、再生像を電気信号に変換するイメージセンサの波長感度特性と視覚の等色関数との関係に基づいて調節用乗数を補正することで、撮影画像の色味を人が感じる色味に合わせることができるので、再生像の撮影画像を参照画像としてRGB光源強度を調節する際の精度を更に向上させることができる。
【0076】
図8は、本発明の第6実施形態に係るフルカラー計算機合成ホログラム再生装置１の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は、カラーバランス比較部10、再生光照明部20、再生像撮影部30及び照明強度比補正部40に加えて構造化照明画像生成部50を具備した点に特徴がある。
【0077】
カラーバランス比較部10には、3Dモデル、CGHデータ及び撮影画像が入力される。本実施形態は、図9に示すように、RGBの各カラーチャネルに対応した干渉縞を表示するディスプレイ（CGH）の表面にカラーフィルタを張り付け、白色の再生光をカラーフィルタ越しにCGHへ照明することでCGH再生像をカラー化している。
【0078】
構造化照明画像生成部50は、カラーチャネル毎に干渉縞が空間分割多重されていることを利用し、各カラーチャネルの干渉縞に対応する各照明範囲の輝度がカラーバランスに応じてグレースケールで調節された構造化照明用画像を生成する。
【0079】
構造化照明の各干渉縞に対応した照明範囲の輝度値は、カラーバランス比較部10で計算した調節用乗数（AR，AG，AB）に基づいて計算する。例えば、調整前の輝度値(LR，LG，LB)に調節用乗数（AR，AG，AB）掛け合わせて更に正規化することによって計算する。
【0080】
再生光照明部20は、構造化照明画像生成部50が生成した構造化照明画像をプロジェクタに表示してCGHを照明する。なお、再生光照明部20はプロジェクタに限定されるものではなく、構造化照明を任意の輝度で照明できる機器であれば任意の機器を用いることができる。
【0081】
ここで、光源は一定の拡がりを持つため、構造化照明画像の輝度値の切り替わり部分では、一のカラーチャネルを照明する輝度値の影響が隣接する他のカラーチャネルへも及んでしまう場合がある。
【0082】
このような技術課題は、図10に示すように、構造化照明画像[同図(a)]の輝度値の切り替わり部分に、同図(b)に示すように、光を透過させないマージン領域（遮光領域）を設けることで解決できる。あるいは同図(c)に示すように、輝度値の切り替わり部分で各輝度値をグラデーションのように段階的に変化させることでも解決できる。
【0083】
本実施形態によれば、再生光として、各干渉縞領域に対応した画像領域が調節用乗数に応じた濃度でグレースケース化された構造化照明画像をカラーフィルタ越しに照明するので、カラーフィルタを用いるカラー化手法でもカラーフィルタでの光の反射によるカラーバランス低下を抑制したカラーバランス調節が可能になる。
【0084】
なお、上記の各実施形態では、特定の1つの視点位置においてレンダリング画像のカラーヒストグラムとシミュレーション画像や撮影画像のカラーヒストグラムとを比較して調節用乗算（AR，AG，AB）を算出するものとして説明した。しかしながら本発明はこれのみに限定されるものではなく、複数の視点でそれぞれ調節用乗数を算出し、それらの平均値や中央値などの統計値を最終的な調節用乗算値（AR，AG，AB）として採用しても良い。また、観測されやすい視点の調節用乗算値を重み付けした加重平均を最終的な調節用乗算値（AR，AG，AB）としても良い。
【0085】
さらに、表示する干渉縞を切り替え可能な電子デバイスを用いてホログラムの動画を再生する場合には、複数フレームのCGH再生像から調節用乗数をそれぞれ算出し、それらの平均値や中央値などの統計値に基づいて最終的な調節用乗数を算出するようにしても良い。
【0086】
そして、上記の各実施形態によれば、CGH再生像のカラーバランスを意図したカラーバランスに合わせることができ、CGH再生像の品質を向上させることができるので、国連が主導する持続可能な開発目標（SDGs）の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。
【符号の説明】
【0087】
10…カラーバランス比較部，20…再生光照明部，30…再生像撮影部，40…照明強度比補正部，50…構造化照明画像生成部，101…レンダリング部，102…調節用乗数算出部，103…シミュレーション画像生成部，104…終了判定部，105…カメラ姿勢推定部，201…強度比調節部，401…第1補正部，402…第2補正部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
