特開 2024-16726 計算機合成ホログラム再生装置並びにその構造化照明キャリブレーション方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024016726

(43)【公開日】2024-02-07

(54)【発明の名称】計算機合成ホログラム再生装置並びにその構造化照明キャリブレーション方法及びプログラム

(51)【国際特許分類】

   G03H 1/28 20060101AFI20240131BHJP

   G03H 1/08 20060101ALI20240131BHJP

【ＦＩ】

G03H1/28

G03H1/08

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022119046

(22)【出願日】2022-07-26

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(71)【出願人】

【識別番号】399030060

【氏名又は名称】学校法人 関西大学

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】齋藤 雄太

(72)【発明者】

【氏名】小磯 諒太

(72)【発明者】

【氏名】松島 恭治

【テーマコード（参考）】

2K008

【Ｆターム（参考）】

2K008AA00

2K008CC01

2K008CC03

2K008EE04

2K008FF07

2K008FF27

2K008HH01

(57)【要約】

【課題】アニメーションCGHの構造化照明画像を高精度にキャリブレーションできる装置、方法及びプログラムを提供する。
【解決手段】カメラ10は、ホログラム面60において干渉縞が空間多重化されている干渉縞領域及びプロジェクタ50がホログラム面60に照射した構造化照明画像の照射領域を撮影する。観測画像入力部20は、カメラ10が撮影した干渉縞領域及び構造化照明画像の照射領域の画像を取得して一時記憶する。照射領域決定部30は、干渉縞領域のカメラ画像に基づいて、投影側のピクセル座標系で干渉縞領域の位置を認識し、当該干渉縞領域の位置を構造化照明画像の目標照射領域に決定する。照射調整部40は、カメラ画像に基づいてホログラム面60における構造化照明画像の照射領域を判別し、構造化照明画像が目標照射領域にマッピングされるように、構造化照明画像の投影条件をピクセル座標系で調整（キャリブレーション）する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数コマ分の干渉縞が空間多重化された干渉縞領域へ構造化照明画像を照射してアニメーションCGH（Computer-Generated Hologram）を再生する計算機合成ホログラム再生装置において、
干渉縞が空間多重化されている干渉縞領域及び構造化照明画像の照射領域のカメラ画像を取得する手段と、
前記カメラ画像に基づいて、干渉縞領域の位置を構造化照明画像の目標照射領域に決定する手段と、
前記カメラ画像に基づいて、構造化照明画像の照射領域を前記目標照射領域に調整する手段とを具備したことを特徴とする計算機合成ホログラム再生装置。

【請求項2】

前記調整する手段は、前記干渉縞領域を定義する複数の基準点と前記構造化照明画像の照射領域を定義する複数の基準点との相対位置に基づいて構造化照明画像の照射領域を調整することを特徴とする請求項１に記載の計算機合成ホログラム再生装置。

【請求項3】

前記調整する手段は、前記相対位置に基づいて計算した射影変換行列を用いて構造化照明画像の照射領域内の各位置を干渉縞領域内の各位置に射影変換することを特徴とする請求項２に記載の計算機合成ホログラム再生装置。

【請求項4】

複数コマ分の干渉縞が空間多重化された干渉縞領域へ構造化照明画像を照射してアニメーションCGH（Computer-Generated Hologram）を再生する計算機合成ホログラム再生装置において、
全ての干渉縞を均一に照射する全コマ照射を実施して全コマ照射画像を取得する手段と、
一のコマの干渉縞を選択的に照射する単一コマ照射を複数の照射領域に実施して複数の単一コマ照射画像を取得する手段と、
全コマ照射画像と各単一コマ照射画像との差分に基づいて各単一コマ照射画像のクロストーク量を代表する照射領域スコアを計算する手段と、
各単一コマ照射画像の照射領域スコアに基づいて構造化照明画像の照射領域を調整する手段と具備したことを特徴とする計算機合成ホログラム再生装置。

【請求項5】

各単一コマ照射画像の照射領域スコアに基づいて構造化照明画像の照射領域を決定する手段を具備し、
前記調整する手段は、構造化照明画像の照射領域を前記決定した照射領域に調整することを特徴とする請求項４に記載の計算機合成ホログラム再生装置。

【請求項6】

前記調整する手段は、前記相対位置に基づいて計算した射影変換行列を用いて構造化照明画像の照射領域内の各位置を目標照射領域内の各位置に射影変換することを特徴とする請求項５に記載の計算機合成ホログラム再生装置。

【請求項7】

前記複数の照射領域がランダムに選択されることを特徴とする請求項４に記載の計算機合成ホログラム再生装置。

【請求項8】

前記調整された構造化照明画像の照射領域において、前記単一コマ照射の各干渉縞に対応する照射範囲を縮小した縮小照射を実施して縮小照射画像を取得する手段と、
前記照射範囲の縮小を繰り返して取得した各縮小照射画像の合計画素値の変化に基づいて各縮小照射画像のクロストーク量を代表する照射範囲スコアを計算する手段とを具備し、
前記調整する手段は、構造化照明画像の各干渉縞への照射範囲を前記照射範囲スコアに基づいて調整することを特徴とする請求項４ないし７のいずれかに記載の計算機合成ホログラム再生装置。

【請求項9】

前記照射範囲スコアを計算する手段は、連続する３つの縮小照射画像の合計画素値の2回微分値を計算することを特徴とする請求項８に記載の計算機合成ホログラム再生装置。

【請求項10】

複数コマ分の干渉縞が空間多重化された干渉縞領域へ構造化照明画像を照射してアニメーションCGH（Computer-Generated Hologram）を再生する計算機合成ホログラム再生装置の構造化照明画像をコンピュータがキャリブレーションする方法において、
干渉縞が空間多重化されている干渉縞領域及び構造化照明画像の照射領域のカメラ画像を取得し、
前記カメラ画像に基づいて、干渉縞領域の位置を構造化照明画像の目標照射領域に決定し、
前記カメラ画像に基づいて、構造化照明画像の照射領域を前記目標照射領域に調整することを特徴とする計算機合成ホログラム再生装置の構造化照明キャリブレーション方法。

【請求項11】

複数コマ分の干渉縞が空間多重化された干渉縞領域へ構造化照明画像を照射してアニメーションCGH（Computer-Generated Hologram）を再生する計算機合成ホログラム再生装置の構造化照明画像をコンピュータがキャリブレーションする方法において、
全ての干渉縞を均一に照射する全コマ照射を実施して全コマ照射画像を取得し、
一のコマの干渉縞を選択的に照射する単一コマ照射を複数の照射領域に実施して複数の単一コマ照射画像を取得し、
全コマ照射画像と各単一コマ照射画像との差分に基づいて各単一コマ照射画像のクロストーク量を代表する照射領域スコアを計算し、
各単一コマ照射画像の照射領域スコアに基づいて構造化照明画像の照射領域を調整することを特徴とする計算機合成ホログラム再生装置の構造化照明キャリブレーション方法。

【請求項12】

前記調整された構造化照明画像の照射領域において、前記単一コマ照射の各干渉縞に対応する照射範囲を縮小した縮小照射を実施して縮小照射画像を取得し、
前記照射範囲の縮小を繰り返して取得した各縮小照射画像の合計画素値の変化に基づいて各縮小照射画像のクロストーク量を代表する照射範囲スコアを計算し、
構造化照明画像の各干渉縞への照射範囲を前記照射範囲スコアに基づいて調整することを特徴とする請求項１１に記載の計算機合成ホログラム再生装置の構造化照明キャリブレーション方法。

【請求項13】

複数コマ分の干渉縞が空間多重化された干渉縞領域へ構造化照明画像を照射してアニメーションCGH（Computer-Generated Hologram）を再生する計算機合成ホログラム再生装置の構造化照明画像をキャリブレーションするプログラムにおいて、
干渉縞が空間多重化されている干渉縞領域及び構造化照明画像の照射領域のカメラ画像を取得する手順と、
前記カメラ画像に基づいて、干渉縞領域の位置を構造化照明画像の目標照射領域に決定する手順と、
前記カメラ画像に基づいて、構造化照明画像の照射領域を前記目標照射領域に調整する手順と、
をコンピュータに実行させることを特徴とする計算機合成ホログラム再生装置の構造化照明キャリブレーションプログラム。

【請求項14】

複数コマ分の干渉縞が空間多重化された干渉縞領域へ構造化照明画像を照射してアニメーションCGH（Computer-Generated Hologram）を再生する計算機合成ホログラム再生装置の構造化照明画像をキャリブレーションするプログラムにおいて、
全ての干渉縞を均一に照射する全コマ照射を実施して全コマ照射画像を取得する手順と、
一のコマの干渉縞を選択的に照射する単一コマ照射を複数の照射領域に実施して複数の単一コマ照射画像を取得する手順と、
全コマ照射画像と各単一コマ照射画像との差分に基づいて各単一コマ照射画像のクロストーク量を代表する照射領域スコアを計算する手順と、
各単一コマ照射画像の照射領域スコアに基づいて構造化照明画像の照射領域を調整する手順と、
をコンピュータに実行させることを特徴とする計算機合成ホログラム再生装置の構造化照明キャリブレーションプログラム。

【請求項15】

前記調整された構造化照明画像の照射領域において、前記単一コマ照射の各干渉縞に対応する照射範囲を縮小した縮小照射を実施して縮小照射画像を取得する手順と、
前記照射範囲の縮小を繰り返して取得した各縮小照射画像の合計画素値の変化に基づいて、各縮小照射画像のクロストーク量を代表する照射範囲スコアを計算する手順とを更に含み、
前記調整する手順では、構造化照明画像の各干渉縞への照射範囲を前記照射範囲スコアに基づいて調整することを特徴とする請求項１４に記載の計算機合成ホログラム再生装置の構造化照明キャリブレーションプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計算機合成ホログラム再生装置並びにその構造化照明キャリブレーション方法及びプログラムに係り、特に、アニメーションCGHの再生に好適な計算機合成ホログラム再生装置並びにその構造化照明キャリブレーション方法及びプログラムに関する。

【背景技術】

【0002】

計算機合成ホログラム（CGH：Computer-Generated Hologram）において、パターン描画用素材にレーザ直接描画装置を用いて微細な干渉縞を印刷することで高解像度な再生像を自由な視点で視聴可能にする全方向視差高解像度計算機合成ホログラム (Full-parallax high-definition CGH, FPHD-CGH) が知られている。

【0003】

FPHD-CGHにおいて、複数コマの切り替えによるアニメーション再生を実現する手法が提案されている。この手法ではまず、図14のように複数コマ（コマ1，コマ2）分の干渉縞を抽出し、空間分割多重によって1つの干渉縞領域に統合する。

【0004】

次いで、図15のように、ある一つのコマに対応する干渉縞のみに構造化照明光を照射するために、プロジェクタは照明の照射場所を白、他の場所を黒とした画像（構造化照明画像）を照射する。照射するコマの干渉縞を順次切り替えて再生することでアニメーションCGHが実現される。

【0005】

アニメーションCGHは、所望のコマの干渉縞に精度良く構造化照明光を照射できない場合、再生像の一部の領域で所望のコマが再生されない、あるいは複数のコマが同時に再生されてクロストークが発生する、などの問題が存在することが知られている。そのため、アニメーションCGHでは構造化照明画像の照射領域を干渉縞領域に合わせて精度よく調整（キャリブレーション）することが一般に求められる。ここで、構造化照明画像の照射領域とはプロジェクタが構造化照明画像を照射する位置（四隅の座標）を指す。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開2011-102728号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

現在、アニメーションCGHの構造化照明画像の照射領域を自動的かつ正確にキャリブレーションする技術は提案されていない。そのため、構造化照明画像の照射領域は、一般にユーザがアニメーションCGHの再生像を確認しながら手作業で調整しなければならず、構造化照明画像の照射領域を高精度にキャリブレーションするには多くの時間を要する。

【0008】

本発明の目的は、上記の技術課題を解決し、アニメーションCGHの構造化照明画像の照射領域を短時間で高精度にキャリブレーションできる計算機合成ホログラム再生装置並びにその構造化照明キャリブレーション方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記の目的を達成するために、本発明は、複数コマ分の干渉縞が空間多重化された干渉縞領域へ構造化照明画像を照射してアニメーションCGHを再生する計算機合成ホログラム再生装置において、以下の構成を具備した点に特徴がある。

【0010】

(1) 干渉縞が空間多重化されている干渉縞領域及び構造化照明光の照射領域のカメラ画像を取得する手段と、前記カメラ画像に基づいて、干渉縞領域の位置を構造化照明画像の目標照射領域に決定する手段と、前記カメラ画像に基づいて、構造化照明画像の照射領域を前記目標照射領域に調整する手段とを具備した。

【0011】

(2) 全ての干渉縞を均一に照射する全コマ照射を実施して全コマ照射画像を取得する手段と、一のコマの干渉縞を選択的に照射する単一コマ照射を複数の照射領域に実施して複数の単一コマ照射画像を取得する手段と、全コマ照射画像と各単一コマ照射画像との差分に基づいて各単一コマ照射画像のクロストーク量を代表する照射領域スコアを計算する手段と、各単一コマ照射画像の照射領域スコアに基づいて構造化照明画像の照射領域を調整する手段と具備した。

【0012】

(3) 前記調整された構造化照明画像の照射領域において、前記単一コマ照射の各干渉縞に対応する照射範囲を縮小した縮小照射を実施して縮小照射画像を取得する手段と、前記照射範囲の縮小を繰り返して取得した各縮小照射画像の合計画素値の変化に基づいて各縮小照射画像のクロストーク量を代表する照射範囲スコアを計算する手段とを具備し、前記調整する手段は、構造化照明画像の各干渉縞への照射範囲を前記照射範囲スコアに基づいて調整するようにした。

【0013】

なお、本発明はこのような特徴的な構成を備える計算機合成ホログラム再生装置として実現できるのみならず、かかる特徴的な処理を手順とする計算機合成ホログラム再生装置の構造化照明キャリブレーション方法として実現したり、かかる手順をコンピュータに実行させる計算機合成ホログラム再生装置の構造化照明キャリブレーションプログラムとして実現したりすることができる。

【発明の効果】

【0014】

本発明によれば、以下のような効果が達成される。

【0015】

(1) アニメーションCGHにおける構造化照明画像の照射領域を自動で高速かつ高精度にキャリブレーションできるようになる。

【0016】

(2) 視聴者の主観品質に影響するクロストーク量に基づいてキャリブレーションを行うので、主観品質の向上に直接寄与できるキャリブレーションが可能になる。

【0017】

また、アニメーションCGHの再生像を十分に撮影できるだけの解像度しか備えていないカメラを用いてもクロストーク量の少ない構造化照明光のキャリブレーションを実現することができる。

【0018】

更に、構造化照明光の照射領域および各干渉縞に対する照射範囲を変化させたときのアニメーションCGHの再生像の変化からクロストーク量を推定できるので、キャリブレーションの誤差がもたらす再生像への影響をあらかじめ推定することができる。

【0019】

更に、アニメーションCGHの再生像の変化を観測しながらキャリブレーションが行われるので、ターゲット点を必要とせずに構造化照明光のキャリブレーションを実現することができる。

【0020】

(3) 構造化照明画像の照射領域のみならず各コマの干渉縞領域に対応した照射範囲もキャリブレーションできるので、局所的にも構造化照明画像の短時間かつ高精度なキャリブレーションが実現され、再生像の主観品質を更に向上させることができる。

【図面の簡単な説明】

【0021】

【図1】本発明を適用した計算機合成ホログラム再生装置の第1実施形態の機能ブロック図である。

【図2】第1実施形態による構造化照明画像のキャリブレーション方法を示した図である。

【図3】本発明を適用した計算機合成ホログラム再生装置の第2実施形態の機能ブロック図である。

【図4】全コマ照射及び全コマ照射画像の一例を示した図である。

【図5】単一コマ照射及び単一コマ照射画像の一例を示した図である。

【図6】単一コマ照射の照射領域と干渉縞領域との相対位置に応じて各単一コマ照射画像のクロストーク量が変化する例を示した図である。

【図7】第2実施形態の動作を示したフローチャートである。

【図8】本発明を適用した計算機合成ホログラム再生装置の第3実施形態の機能ブロック図である。

【図9】構造化照明画像の照射領域のキャリブレーション誤差が原因で再生像にクロストークが発生する例を示した図である。

【図10】構造化照明画像の各干渉縞への照射範囲を縮小することで再生像のクロストークが消滅する例を示した図である。

【図11】照射範囲の縮小に応じて照明範囲スコア及びクロストーク量が変化する例を示した図である。

【図12】第3実施形態の動作を示したフローチャートである。

【図13】第3実施形態において、構造化照明画像を空間的に複数の部分に分割し、分割した部分毎に照射範囲を決定する例を示した図である。

【図14】複数コマ分の干渉縞を空間分割多重によって1つの干渉縞領域に統合する例を示した図である。

【図15】アニメーションCGHの再生方法を説明するための図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明を適用した計算機合成ホログラム再生装置の第1実施形態の構成を示した機能ブロック図であり、カメラ10、観測画像入力部20、照射領域決定部30、照射調整部40及びプロジェクタ50を主要な構成としている。

【0023】

このような計算機合成ホログラム再生装置は、CPU、ROM、RAM、バス、インタフェース等を備えた汎用のコンピュータやサーバに、以下に詳述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0024】

カメラ10は、ホログラム面60において干渉縞が空間多重化されている干渉縞領域及びプロジェクタ50がホログラム面60に照射した構造化照明光の照射領域を撮影する。本実施形態では構造化照明光の照射領域を撮影するに際して、プロジェクタ50には照射領域の四隅だけに光を照射させ、カメラ10はホログラム面60の全体を撮影する。観測画像入力部20は、カメラ10が撮影した干渉縞領域及び構造化照明光の照射領域の画像を取得して一時記憶する。

【0025】

照射領域決定部30は、干渉縞領域のカメラ画像に基づいて、投影側のピクセル座標系で干渉縞領域の位置を認識し、当該干渉縞領域の位置を構造化照明画像の目標照射領域に決定する。なお、干渉縞領域との相対位置が既知のマーカやターゲット点を撮影し、当該マーカやターゲット点に基づいて干渉縞領域の位置を認識するようにしても良い。

【0026】

照射調整部40は、前記照射領域の四隅の点を含むカメラ画像に基づいてホログラム面60における構造化照明画像の照射領域を判別し、図2に一例を示すように、構造化照明画像が目標照射領域にマッピングされるように、構造化照明画像の投影条件をピクセル座標系で調整（キャリブレーション）する。本実施形態では、照射調整部40が射影変換部401を具備し、構造化照明画像の現在の照射領域を目標照射領域との相対位置関係に基づいて射影変換することで照射領域を調整する。

【0027】

構造化照明画像の現在の照射領域の四隅の点を(p_i，q_i) (i=1～4)、構造化照明画像の目標照射領域の四隅の点を(r_i，s_i) (i=1～4)としたとき、これらの点の相対位置関係は次式(1)のホモグラフィ行列Hで表現できる。ここで、u_iは左辺の[p_i q_i 1]^Tの第三成分を1にするための係数である。

【0028】

【数1】

【0029】

上式(1)のホモグラフィ行列Hは点(p_i，q_i)及び点(r_i，s_i)の対応する4つの点の組から最小二乗法を用いて計算することができる。射影変換部401は、このホモグラフィ行列Hを用いることで、構造化照明画像の現在の照射領域内の各画素位置と目標照射領域内の各画素位置とを対応付ける。プロジェクタ50は、照射領域を調整された構造化照射画像をホログラム面60へ投影して再生像70を生成する。

【0030】

照射調整部40による構造化照明画像の照射領域の調整は所定の終了条件が充足するまで繰り返されるようにしても良い。すなわち、調整した構造化照明画像の照射領域と目標照射領域との対応関係に基づいてホモグラフィ行列Hを再計算し、当該再計算したホモグラフィ行列Hで照射領域を射影変換した構造化照明画像を照射することを、所定の終了条件が充足されるまで繰り返しても良い。

【0031】

終了条件は調整の繰り返し回数として定義しても良いし、前記対応する4点の距離が所定値を下回ったこととしても良い。本実施形態によれば、アニメーションCGHにおける構造化照明画像の高速かつ高精度な自動キャリブレーションを実現できるようになる。

【0032】

ところで、上記の第1実施形態では以下の4つの技術課題が残る。第1に、カメラ10で干渉縞領域の位置を認識して構造化照明画像の照射領域をキャリブレーションするためには、干渉縞を認識することができる非常に高解像度なカメラが必要となる。そのため、一般的なカメラでは構造化照明光の照射領域を正確にキャリブレーションすることは難しい。

【0033】

第2に、キャリブレーション誤差が再生像にもたらす影響を予め推定することが難しいので、主観品質の向上に直接的に寄与できるキャリブレーションが難しい。

【0034】

第3に、干渉縞を認識する代わりにマーカやターゲット点を利用してキャリブレーションする場合、設置したマーカやターゲット点の位置のズレや数の不足によりキャリブレーション精度の低下する可能性がある。

【0035】

第4に、照射領域のキャリブレーションでは、構造化照明画像全体の照射位置をキャリブレーションするため、ホログラム面の一部で再生を所望していないコマの干渉縞へも構造化照明画像が照射されてしまうなど、局所的にキャリブレーション精度が低下する可能性がある。

【0036】

そこで、以下に詳述する本発明の第2，第3実施形態では、カメラ10で撮影したアニメーションCGHの再生像からクロストーク量を推定することで、キャリブレーション誤差が再生像にもたらす影響を推定し、高解像度のカメラやマーカ・ターゲット点を必要とせずに、主観品質の向上に直接的に寄与できる高精度なキャリブレーションを実現する。

【0037】

図3は、本発明を適用した計算機合成ホログラム再生装置の第2実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は、照射領域決定部30が、全コマ照射画像取得部301、単一コマ照射画像取得部302、画像蓄積部303，照射領域スコア計算部304及び照射領域スコア蓄積部305を具備した点に特徴がある。

【0038】

全コマ照射画像取得部301は、図4に一例を示すように、全てのコマの干渉縞へ構造化照明光を均一に照射する全コマ照射[同図(a)]を実施し、全コマ照射時に観測される再生像（以下、全コマ照射画像と表現する）[同図(b)]を取得して画像蓄積部303へ蓄積する。全コマ照射の明るさはコマ毎に構造化照明光を照射して各コマを再生する際の明るさの半分とすることが望ましいが、同一の明るさであっても良い。全コマ照射では全てのコマが同時に再生されるため、発生するクロストーク量は最大になる。

【0039】

単一コマ照射画像取得部302は、図5に一例を示すように、任意の単一コマに対応する干渉縞のみへ構造化照明光を選択的に照射する単一コマ照射[同図(a)]を実施し、単一コマ照射時に観測される再生像（以下、単一コマ照射画像と表現する）[同図(b)]を取得して画像蓄積部303へ蓄積する。単一コマ照射は照射領域の候補となる複数の位置をランダムに選択しながら繰り返され、照射領域ごとに単一コマ照射画像が蓄積される。

【0040】

照射領域スコア計算部304は、全コマ照射画像と各単一コマ照射画像との差分に基づいて各単一コマ照射画像のクロストーク量を代表する照射領域スコアを計算し、計算結果を照射領域スコア蓄積部305に蓄積する。本実施形態では、全コマ照射画像の各画素値を一列に並べたベクトルをy∈Rⁿ（nは観測画像の画素数、Rⁿはn次元の実数ベクトルの集合）、単一コマ照射画像の各画素値を一列に並べたベクトルをx∈Rⁿとして、照射領域スコアが次式(2)で計算される。

【0041】

【数2】

【0042】

図6は、単一コマ照射の照射領域と干渉縞領域との相対位置に応じて各単一コマ照射画像のクロストーク量が変化する例を示した図である。

【0043】

単一コマ照射画像の各画素値と全コマ照射画像の各画素値との平均二乗誤差が大きくなるように単一コマ照射の照射領域を変化させるとクロストーク量が小さくなる。したがって、照射領域スコアが大きくなるように単一コマ照射の照射領域を調整すればクロストーク量を低減できるようになる。

【0044】

図7は、第2実施形態の動作を示したフローチャートであり、主に照射領域決定部30の動作を示している。

【0045】

ステップS101では、全てのコマの干渉縞へ構造化照明光を均一に照射する全コマ照射が実施される。ステップS102では、全コマ照射により再生された全コマ照射画像がカメラ10で撮影されて画像蓄積部303へ蓄積される。

【0046】

ステップS103では、任意の単一コマに対応する干渉縞のみに構造化照明光を照射する単一コマ照射の照射領域がランダムに選択される。ステップS104では、前記ランダムに選択された照射領域に単一コマ照射が実施される。ステップS105では、前記単一コマ照射により再生された単一コマ照射画像がカメラ10で撮影されて画像蓄積部303へ蓄積される。

【0047】

ステップS106では、前記画像蓄積部303へ蓄積した全コマ照射画像と今回の単一コマ照射画像とのクロストーク量を推定するための照射領域スコアが上式(2)で計算される。ステップS107では、前記照射領域スコアが今回の単一コマ照射の照射領域と対応付けて記憶される。

【0048】

ステップS108では、所定の終了条件を充足したか否かが判断される。充足していなければステップS103へ戻り、他の照射領域をランダムに選択して照射領域スコアを計算する処理が繰り返される。

【0049】

終了条件は、単一コマ照射を繰り返してクロストーク量を推定した回数や照射領域スコアが所定の閾値を越えたこととして定義できる。あるいは単一コマ照射の回数及び照射領域スコアの少なくとも一方が閾値を超えたこととして定義しても良い。

【0050】

終了条件が充足するとステップS109へ進み、前記ステップS107で記憶した照射領域スコアのうちでクロストーク量が最小値となる照射領域スコア（最大となった照射領域スコア）に対応した単一コマ照射の照射領域が構造化照明画像の照射領域に決定される。照射調整部40は、構造化照明画像の照射領域を前記決定した照射領域に調整する。

【0051】

本実施形態によれば、視聴者の主観品質に影響するクロストーク量に基づいてキャリブレーションを行うので、主観品質の向上に直接寄与できるキャリブレーションが可能になる。

【0052】

また、本実施形態によればカメラ10に高い解像度が要求されず、アニメーションCGHの再生像を十分な解像度で撮影できるカメラであれば構造化照明画像のキャリブレーションを実現することができる。

【0053】

一般的に、1μm程度の極微細な干渉縞のピクセルピッチを観測する場合は4Kの数千倍の解像度を有するカメラが必要となる。一方、再生像は人間の視覚的特性から中心窩は1000万画素程度の解像度の観測系ととらえることができ、これは例えば8Ｋ程度（約3300万画素）の解像度で十分模擬できることを意味する。本実施形態では再生像の変化から実際にユーザが鑑賞する再生像の主観品質に基づくキャリブレーションを行うので、8K以上の解像度を有するカメラを用いればクロストークの削減が可能である。

【0054】

更に、本実施形態によれば、構造化照明光の照射領域を変化させたときのアニメーションCGHの再生像の変化からクロストーク量の推定できるので、キャリブレーションの誤差がもたらす再生像への影響をあらかじめ推定できる。

【0055】

更に、本実施形態によればアニメーションCGHの再生像の変化を観測しながらキャリブレーションが行われるので、ターゲット点を必要とせずに構造化照明光のキャリブレーションを実現できる。

【0056】

また、本実施形態では照射領域の候補をランダムに選択するものとして説明したが、照射領域の選択方法にルールを作成しても良い。例えば、候補となる照射領域の選択範囲を定義し、ラスタスキャンやジグザグスキャン、モートンコードに従い照射領域の四隅を選択範囲内で変化させるようにしても良い。この際、四隅の変化量を照射領域スコアに応じて、例えば照射領域スコアが大きくなるほど小さくするようにしても良い。

【0057】

図8は、本発明を適用した計算機合成ホログラム再生装置の第3実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は、前記照射領域決定部30が更に、縮小照射画像取得部306，照射範囲スコア計算部307及び照射範囲スコア蓄積部308を具備した点に特徴がある。

【0058】

前記第2実施形態では、調整した構造化照明画像の照射領域の位置がキャリブレーション誤差により、例えば図9(a)に示すように右側へズレて他のコマの干渉縞領域に跨ってしまうと、同図(b)に示すように、その再生像にはクロストークが発生する。

【0059】

そこで、本実施形態では構造化照明画像の照射領域の位置は維持したまま、図10(a)に示すように、当該構造化照明画像の各干渉縞に対応する構造化照明光の照射範囲のみを縮小させることで、同図(b)に示すようにクロストークの発生を阻止する。

【0060】

縮小照射画像取得部306は、第2実施形態において前記クロストーク量に基づいて決定した単一コマ照射の照射領域において、各干渉縞に対応する構造化照明光の照射範囲を所定の割合で縮小する縮小照射を実施し、縮小照射時に観測される再生像（以下、縮小照射画像と表現する）を取得して画像蓄積部303へ蓄積する。縮小照射は照射範囲を所定の割合で縮小させながら繰り返され、縮小された照射範囲ごとに縮小照射画像が蓄積される。

【0061】

照射範囲スコア計算部307は、照射範囲を所定の割合で縮小するごとに得られる縮小照射画像の合計画素値の変化に基づいて、各縮小照射画像のクロストーク量を代表できる照射範囲スコアを計算する。各縮小照射画像の照射範囲スコアは照射範囲スコア蓄積部308に蓄積される。

【0062】

図11に示すように、照射対象の1コマ目のみならず隣接する2コマ目の干渉縞も包含していた照射範囲を縮小させながら縮小照射画像の合計画素値を都度計算すると、縮小が進むにつれて縮小照射画像の合計画素値は徐々に減少する。

【0063】

しかしながら、あるタイミングで2コマ目の干渉縞に構造化照明光が完全に照射されなくなるとクロストークが消失し、その後は1コマ目の干渉縞のみに構造化照明光が照射されるものの照射範囲が徐々に縮小するので合計画素値が徐々に減少していく。

【0064】

そのため、クロストークが発生していた時の縮小照射画像の合計画素値の減少量と、クロストークが発生しなくなってからの縮小照射画像の合計画素値の減少量とは大きく異なると仮定できる。すなわち、クロストークの消失点を境に照射範囲の縮小率に対する合計画素値の減少率が特異的に変化する。

【0065】

そこで、本実施形態では縮小照射を繰り返して直近の連続する3つの縮小照射画像に注目し、当該連続する3つの縮小照射画像のベクトルx_t∈Rⁿ，x_t-1∈Rⁿ，x_t-2∈Rⁿを次式(3)に適用して照射範囲スコアを計算する。

【0066】

【数3】

【0067】

ここで、x_tはt回目の縮小照射で取得した縮小照射画像ベクトル、x_t-1はt-1回目の縮小照射で取得した縮小照射画像ベクトル、x_t-2はt-2回目の縮小照射で取得した縮小照射画像ベクトルを表している。したがって、各縮小照射画像における照射範囲の大きさは、x_t＜x_t-1＜x_t-2となる。

【0068】

上式(3)は、縮小照射画像の合計画素値の各干渉縞への照射範囲による二回微分になっている。クロストークが発生していた時の縮小照射画像の合計画素値の減少量とクロストークが発生しなくなってからの縮小照射画像の合計画素値の減少量とは異なるため、クロストークが発生しなくなったタイミングでの照射範囲スコアは、他のタイミングで計算した照射範囲スコアよりも大きな値をもつ。上式(3)においては、t-1回目の縮小照射の時点がクロストークの消失点となる。

【0069】

そこで、本実施形態では照射範囲スコアが大きな値をもったときの構造化照明光の各干渉縞への照射範囲を構造化照明光の最適な照射範囲と推定する。照射調整部40は、構造化照明画像の各干渉縞に対応する構造化照明光の照射範囲を前記最適な照射範囲に調整する。

【0070】

図12は、第3実施形態の動作を示したフローチャートであり、主に照射領域決定部30の動作を示している。なお、ステップS101～S109の処理は前記第2実施形態と同一なので説明を省略する。

【0071】

ステップS110では、前記ステップS109で決定した照射領域において、単一コマ照射における構造化照明光の各干渉縞に対応する照射範囲のみが所定の割合で縮小される。ステップS111では、各照射範囲が縮小された単一コマ照射画像による縮小照射が実施される。ステップS112では、前記縮小照射により再生された縮小照射画像がカメラ10で撮影されて画像蓄積部303へ蓄積される。

【0072】

ステップS113では、照射範囲スコア計算部307が直近の連続する3つの縮小照射画像のベクトルx_t∈Rⁿ，x_t-1∈Rⁿ，x_t-2∈Rⁿを上式(3)に適用して照射範囲スコアを計算し、計算結果を照射範囲スコア蓄積部308へ蓄積する。ステップS114では、所定の終了条件を充足したか否かが判断される。充足していなければステップS110へ戻り、照射範囲を更に縮小しながら上記の各処理が繰り返される。

【0073】

終了条件は、クロストーク量を推定した縮小照射の繰り返し回数や照射範囲スコアが所定の閾値を越えたこととして定義できる。あるいは縮小照射の繰り返し回数及び照射範囲スコアの少なくとも一方が所定の閾値を超えたこととして定義しても良い。

【0074】

これに対して、所定の終了条件が充足するとステップS115へ進み、ベクトルx_t-1に対応する照射範囲がクロストークの消失点に対応する照射範囲に決定される。照射調整部40は、構造化照明画像の照射範囲を前記決定した照射範囲に調整する。

【0075】

本実施形態では、照射範囲スコア蓄積部308に蓄積された全ての照射範囲スコアを参照し、所定の閾値を越えたときのベクトルx_t-1に対応する照射範囲がクロストークの消失点に対応する照射範囲に決定される。所定の閾値を越える照射範囲スコアが存在しなければ、照射範囲の縮小は行わないこととしても良い。閾値を越える照射範囲スコアが複数あった場合は、当該照射範囲スコアに対応する照射範囲の中で最も小さい照射範囲に決定されるようにしても良い。

【0076】

なお、上記の実施形態では構造化照明画像の照射領域に関するキャリブレーションが完了した後で各干渉縞に対応する照射範囲に関するキャリブレーションが実施されるものとして説明したが、本発明はこれのみに限定されるものではなく、各キャリブレーションの各プロセスが交互に行われるようにしても良い。

【0077】

本実施形態によれば、構造化照明画像の照射領域のみならず構造化照明画像の各コマの干渉縞に対応した構造化照明光の照射範囲もキャリブレーションできるので、局所的にも構造化照明画像の高精度なキャリブレーションが実現され、再生像の主観品質を更に向上させることができるようになる。

【0078】

また、本実施形態によれば、各干渉縞に対応する構造化照明光の照射範囲を変化させたときのアニメーションCGHの再生像の変化からクロストーク量を推定できるので、キャリブレーションの誤差がもたらす再生像への影響をあらかじめ推定できる。

【0079】

なお、本実施例では照射範囲スコアを上式(3)で計算するものとして説明したが、次式(4)を用いて他のlpノムルを計算しても良い。

【0080】

【数4】

【0081】

更に、本実施形態では各干渉縞に対する構造化照明光の照射範囲を一律に縮小させるものとして説明したが、構造化照明画像を空間的に複数の部分に分割し、分割した部分毎に照射範囲を適応的に決定するようにしても良い。

【0082】

図13は、構造化照明画像の部分毎に照射範囲を決定する方法を模式的に示した図であり、ここでは構造化照明画像を縦横に2分割することで計4分割する例を示している。

【0083】

初めに、前記決定した照射領域[同図(a)]において、構造化照明画像の左上部分[同図(b)]に注目して照射範囲（白色部分）を徐々に縮小させながら、そのときに観測できる再生像から照射範囲スコアを計算し、当該照射範囲スコアに基づいて当該左上部分の照射範囲を決定するという一連の処理を、注目する部分を右上部分[同図(c)]、左下部分[同図(d)]及び右下部分[同図(e)]へ切り替えながら順次に行って各部分の照射範囲を決定する。

【0084】

更に、照射範囲スコアの計算を、観測画像の各色チャンネルについて計算してもよい。その場合、いずれかの色チャンネルで照射範囲スコアが大きな値をもったときの、対応する照射範囲をキャリブレーションの結果としてもよい。

【0085】

また、本実施形態では構造化照明光の各干渉縞に対する照射範囲を右端から縮小させるものとして説明したが、左端、上端又は下端から縮小させても良いし、これらを組み合わせて縮小させたり、任意のルールで縮小させたりしても良い。

【0086】

なお、上記の各実施形態では2コマのアニメーションCGHを例にして説明したが、本発明はこれのみに限定されるものではなく、3コマ以上のアニメーションCGHにも同様に適用できる。

【0087】

そして、上記の各実施形態によれば、アニメーションCGHの構造化照明画像のキャリブレーションを自動化でき、その結果、再生像の主観品質を向上させることができるので、国連が主導する持続可能な開発目標（SDGs）の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

【符号の説明】

【0088】

10…カメラ，20…観測画像入力部，30…照射領域決定部，40…照射調整部，50…プロジェクタ，60…ホログラム面，70…再生像，301…全コマ照射画像取得部，302…単一コマ照射画像取得部，303…画像蓄積部，304…照射領域スコア計算部，305…照射領域スコア蓄積部，306…縮小照射画像取得部，307…照射範囲スコア計算部，308…照射範囲スコア蓄積部，401…射影変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】