特開2023-124051インコヒーレントディジタルホログラム信号処理装置および撮像表示システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023124051
(43)【公開日】2023-09-06
(54)【発明の名称】インコヒーレントディジタルホログラム信号処理装置および撮像表示システム
(51)【国際特許分類】
G03H 1/06 20060101AFI20230830BHJP
G03H 1/22 20060101ALI20230830BHJP
G02B 5/32 20060101ALI20230830BHJP
G11B 7/0065 20060101ALI20230830BHJP
【ＦＩ】
G03H1/06
G03H1/22
G02B5/32
G11B7/0065
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022027610
(22)【出願日】2022-02-25
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100097984
【弁理士】
【氏名又は名称】川野 宏
(74)【代理人】
【識別番号】100098073
【弁理士】
【氏名又は名称】津久井 照保
(72)【発明者】
【氏名】信川 輝吉
(72)【発明者】
【氏名】佐々木 桃子
(72)【発明者】
【氏名】東田 諒
(72)【発明者】
【氏名】片野 祐太郎
(72)【発明者】
【氏名】後藤 正英
(72)【発明者】
【氏名】室井 哲彦
(72)【発明者】
【氏名】萩原 啓
【テーマコード（参考）】
2H249
2K008
5D090
【Ｆターム（参考）】
2H249CA01
2H249CA09
2H249CA22
2H249CA24
2K008AA06
2K008BB04
2K008CC03
2K008FF27
2K008HH01
2K008HH02
2K008HH06
2K008HH18
2K008HH28
5D090BB16
(57)【要約】
【課題】 インコヒーレントディジタルホログラフィに基づく撮像部で取得した被写体像の奥行距離情報を、実際の被写体の奥行距離に応じた情報に変換し、表示部に送出し得るインコヒーレントディジタルホログラム信号処理装置および撮像表示システムを提供する。
【解決手段】 信号処理装置３０は、インコヒーレントディジタルホログラフィに基づく撮像装置２０で撮影したディジタルホログラムの３次元像情報から、被写体１０の形状情報（シルエット）と奥行距離情報を抽出し、この３次元像情報が実際の被写体１０の奥行距離に応じた情報に整合するように補正処理を施して、表示装置４０に送出するように構成されている。
【選択図】図１
【解決手段】 信号処理装置３０は、インコヒーレントディジタルホログラフィに基づく撮像装置２０で撮影したディジタルホログラムの３次元像情報から、被写体１０の形状情報（シルエット）と奥行距離情報を抽出し、この３次元像情報が実際の被写体１０の奥行距離に応じた情報に整合するように補正処理を施して、表示装置４０に送出するように構成されている。
【選択図】図１
【特許請求の範囲】
【請求項1】
被写体を光の自己干渉を利用して撮影してなるインコヒーレントディジタルホログラム情報を入力され、入力された該インコヒーレントディジタルホログラム情報に信号情報処理を施して、ホログラム表示部に送出するインコヒーレントディジタルホログラム信号処理装置において、
前記信号情報処理は、前記入力されたインコヒーレントディジタルホログラム情報から、前記被写体の形状情報と奥行距離情報を抽出し、前記被写体の３次元像情報が実際の前記被写体の奥行距離に応じた情報に整合するように補正処理を施して、前記ホログラム表示部に送出するように構成されたことを特徴とするインコヒーレントディジタルホログラム信号処理装置。
前記信号情報処理は、前記入力されたインコヒーレントディジタルホログラム情報から、前記被写体の形状情報と奥行距離情報を抽出し、前記被写体の３次元像情報が実際の前記被写体の奥行距離に応じた情報に整合するように補正処理を施して、前記ホログラム表示部に送出するように構成されたことを特徴とするインコヒーレントディジタルホログラム信号処理装置。
【請求項2】
光学系の構成および前記被写体の撮像距離に応じて横倍率を補正する処理を行うように構成されていることを特徴とする請求項１に記載のインコヒーレントディジタルホログラム信号処理装置。
【請求項3】
前記補正処理が施された前記被写体の３次元像情報に基づき計算機合成ホログラムを作成するように構成されていることを特徴とする請求項１または２に記載のインコヒーレントディジタルホログラム信号処理装置。
【請求項4】
前記信号情報処理は、前記入力されたインコヒーレントディジタルホログラム情報から、複素振幅分布を抽出し、この複素振幅分布にオートフォーカス処理を適用して、画角全体で鮮鋭度が最も高くなる伝搬距離を同定し、この伝搬距離を伝搬した該複素振幅分布に対してローパスフィルタリング処理を適用し、得られた明るさ分布に対して２値化処理を施し、モルフォロジー変換処理により被写体の形状情報を抽出し、この形状情報を用いてマスク処理を行い、前記被写体が存在する領域で、前記オートフォーカス処理を行って再生距離のデプスマップを作成し、この再生距離のデプスマップを、前記インコヒーレントディジタルホログラム情報を撮像するための撮像光学系の所定のパラメータ情報から導かれる、前記再生距離と前記撮像距離との間の関係式に基づき変換して、撮像距離のデプスマップである、前記被写体の奥行距離情報を抽出することを特徴とする請求項２または３に記載のインコヒーレントディジタルホログラム信号処理装置。
【請求項5】
前記明るさ分布の平方根を求め、この平方根の値を被写体の新たな明るさ分布の指標として用いるように構成されていることを特徴とする請求項４に記載のインコヒーレントディジタルホログラム信号処理装置。
【請求項6】
前記ホログラム表示部を構成する空間光変調器の分解能に基づき、該被写体の明るさ分布を、奥行き方向に積層される複数のレイヤーに分割し、分割された各レイヤーに対して前記複素振幅分布の伝搬計算を行い、これら各レイヤー毎の、該伝搬計算がなされた複素振幅分布を加算することで、前記計算機合成ホログラムを作成することを特徴とする請求項３を引用する、請求項４または５に記載のインコヒーレントディジタルホログラム信号処理装置。
【請求項7】
前記被写体を光の自己干渉を利用して撮影する撮像部に係る光学系のパラメータ情報と、前記ホログラム表示部に係る光学系のパラメータ情報とを記憶するパラメータ情報記憶部を備え、前記撮像部における分解能と、前記ホログラム表示部における分解能との差に応じて空間平均処理を行い、該撮像部で付加されたノイズ成分を除去する第１ノイズ除去処理手段を備えたことを特徴とする請求項１～６のうちいずれか１項に記載のインコヒーレントディジタルホログラム信号処理装置。
【請求項8】
前記撮像部により撮影した前記インコヒーレントディジタルホログラム情報、または該インコヒーレントディジタルホログラム情報から抽出した複素振幅分布情報に対して、ニアレストネイバーまたはゼロパディングのいずれかのデータ補間法によりデータを拡張し、伝搬計算またはフーリエ変換を用いて、ノイズ成分を高周波領域に拡散させ、該高周波領域に存在するノイズを除去した後に、逆伝搬計算あるいは逆フーリエ変換の演算を行うことでノイズ成分を除去する第２ノイズ除去処理手段を備えたことを特徴とする請求項７に記載のインコヒーレントディジタルホログラム信号処理装置。
【請求項9】
請求項１～８のうちいずれかのインコヒーレントディジタルホログラム信号処理装置と、該インコヒーレントディジタルホログラム信号処理装置に入力される被写体の３次元像情報を光の自己干渉を利用して撮像する撮像装置と、該インコヒーレントディジタルホログラム信号処理装置により信号情報処理を施された該被写体の３次元像情報を入力されて、該被写体の３次元再生像を表示するホログラム表示装置と、を備えたことを特徴とする撮像表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はディジタルホログラフィ、特に、インコヒーレントディジタルホログラフィの信号処理を行うインコヒーレントディジタルホログラム信号処理装置およびそれを備えた撮像表示システムに関する。
【背景技術】
【0002】
ディジタルホログラフィの技術では、光の干渉を利用することで被写体の３次元情報を反映したホログラムを撮像素子や光検出器をはじめとする光電子デバイスで撮影し、これをディジタルホログラムとして信号処理部に転送し、保存される。信号処理部では、必要に応じてノイズ除去の演算が行われる。この処理を適用した後のディジタルホログラムのデータを、信号処理部を介して空間光変調器で構成される表示装置に転送し、表示されることにより、観者が特別な眼鏡を装着することなく、撮影した被写体の３次元像を観察することができる（非特許文献１）。以上のように、被写体の３次元像をディジタルホログラフィの技術で撮影、表示するためには、一般的に、撮像装置、信号処理装置および表示装置の３つの装置を有機的に接続して構成する必要がある。
【0003】
特に、ディジタルホログラフィの撮像装置においては、被写体を照明するための光源として、コヒーレンス（可干渉性）の高いレーザー光を射出し得るレーザー光源を用いる。レーザー光源としては、人の目に損傷を与えないようにアイセーフの基準を満たす必要があるが、この条件を満たすためには、レーザー光の強度に限界を設ける必要がある。このように強度の限界が設けられることで、遠方の被写体を撮影する場合には十分な反射光強度が得られずに、ホログラムの形成が困難になる。また、屋外での使用を考えた場合には、被写体には撮像装置のレーザー光源から射出されるレーザー光の他に、太陽光等のインコヒーレント光も照射されており、これらの光が外乱となる。
【0004】
以上のレーザー光の課題を解決する技術として、インコヒーレントディジタルホログラフィが注目されている（非特許文献２）。本技術では、光の自己干渉の現象を応用することで、コヒーレンスが低い光源、すなわちインコヒーレント光を用いてホログラムを形成でき、レーザー光を必要とせず、太陽光の他、白熱灯やLEDの光をはじめとする、自然界に存在している光を光源光として利用することができる。したがって、上述したアイセーフの問題が存在せず、また、レーザー光を用いるディジタルホログラフィでは外乱となっていた、太陽光等のインコヒーレント光を被写体の照明光として利用することができる。
【0005】
さらに、特許文献１～３に示されているように、ディジタルホログラフィの撮像装置に、コヒーレンス性の高い光を出力し得る特殊な光源を含める必要がなく、被写体の３次元情報を反映したホログラムを撮影できる（ただし、特許文献１に示されているように、顕微鏡の場合には、試料を照明するための光源を撮像装置に組み込むことが必要となる）。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表２０１６－５３３５４２
【特許文献2】特開２０１９－１４４５２０
【特許文献3】特開２０２１－１３１４５７
【特許文献4】特開２０２０－１９０６１６
【非特許文献】
【0007】
【非特許文献1】Georges Nehmetallah and Partha P. Banerjee、「Applications of digital and analog holography in three-dimensional imaging」、Advances in Optics and Photonics、(2012)、vol．4、pp．472-553．
【非特許文献2】Joseph Rosen and Gary Brooker、「Digital spatially incoherent Fresnel holography」、Opt. Lett.、(2007)、vol．32、pp．912-914．
【非特許文献3】Teruyoshi Nobukawa, Yutaro Katano, Tetsuhiko Muroi, Nobuhiro Kinoshita, and Norihiko Ishii、「Sampling requirements and adaptive spatial averaging for incoherent digital holography」、Opt. Express、(2019)、vol．27、pp．33634-33651．
【非特許文献4】Victor Arrizon, Guadalupe Mendez and David Sanchez-de-La-Llave、「Accurate encoding of arbitrary complex fields with amplitude-only liquid crystal spatial light modulators」、Opt. Express、(2005)、vol．13、pp．7913-7927．
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、インコヒーレントディジタルホログラフィでは、被写体の実際の奥行距離と、撮像装置により撮影したディジタルホログラムに含まれる被写体の３次元像の奥行距離情報が、非線形の関係にある。これは、インコヒーレントディジタルホログラフィでは光の自己干渉を利用していることに起因するものであり、レーザー光を用いるディジタルホログラフィでは存在しなかった特性である（レーザー光を用いるディジタルホログラフィでは、被写体の実際の奥行距離と、撮影したディジタルホログラムに含まれる被写体の３次元像の奥行距離情報の関係は線形であり、理論的に一致する）。
【0009】
もし、インコヒーレントディジタルホログラフィに基づく撮像装置で撮影したディジタルホログラムを、レーザー光を用いるディジタルホログラフィと同様に、信号処理装置、撮像装置に転送、表示してしまうと、実際の被写体の奥行き感とは全く異なる３次元像が表示されてしまうことがある。例えば、奥行距離が異なる位置に配置された複数の被写体を撮影した場合に、これらの被写体の前後関係が入れ替わって表示されてしまうことがある。これまで、インコヒーレントディジタルホログラフィの撮像装置は複数提案されているが、いずれも、被写体の３次元像情報を取得し、この３次元像情報に対して伝搬計算による数値再生が行われるものであって、ディジタルホログラムを用いて３次元像を表示する具体的な手法は検討されていない。
【0010】
本発明の目的は、インコヒーレントディジタルホログラフィに基づく撮像部で取得した被写体像の奥行距離情報を、実際の被写体の奥行距離に応じた情報に変換して、表示部に送出し得るインコヒーレントディジタルホログラム信号処理装置および撮像表示システムを提供することを目的とするものである。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明のインコヒーレントディジタルホログラム信号処理装置は、
被写体を光の自己干渉を利用して撮影してなるインコヒーレントディジタルホログラム情報を入力され、入力された該インコヒーレントディジタルホログラム情報に信号情報処理を施して、ホログラム表示部に送出するインコヒーレントディジタルホログラム信号処理装置において、
前記信号情報処理は、前記入力されたインコヒーレントディジタルホログラム情報から、前記被写体の形状情報と奥行距離情報を抽出し、前記被写体の３次元像情報が実際の前記被写体の奥行距離に応じた情報に整合するように補正処理を施して、前記ホログラム表示部に送出するように構成されたことを特徴とするものである。
被写体を光の自己干渉を利用して撮影してなるインコヒーレントディジタルホログラム情報を入力され、入力された該インコヒーレントディジタルホログラム情報に信号情報処理を施して、ホログラム表示部に送出するインコヒーレントディジタルホログラム信号処理装置において、
前記信号情報処理は、前記入力されたインコヒーレントディジタルホログラム情報から、前記被写体の形状情報と奥行距離情報を抽出し、前記被写体の３次元像情報が実際の前記被写体の奥行距離に応じた情報に整合するように補正処理を施して、前記ホログラム表示部に送出するように構成されたことを特徴とするものである。
【0012】
また、上記インコヒーレントディジタルホログラム信号処理装置は、光学系の構成および前記被写体の撮像距離に応じて横倍率を補正する処理を行うように構成されていることが好ましい。
また、前記補正処理が施された前記被写体の３次元像情報に基づき計算機合成ホログラムを作成するように構成されていることが好ましい。
また、前記補正処理が施された前記被写体の３次元像情報に基づき計算機合成ホログラムを作成するように構成されていることが好ましい。
【0013】
また、前記信号情報処理は、前記入力されたインコヒーレントディジタルホログラム情報から、複素振幅分布を抽出し、この複素振幅分布にオートフォーカス処理を適用して、画角全体で鮮鋭度が最も高くなる伝搬距離を同定し、この伝搬距離を伝搬した該複素振幅分布に対してローパスフィルタリング処理を適用し、得られた明るさ分布に対して２値化処理を施し、モルフォロジー変換処理により被写体の形状情報を抽出し、この形状情報を用いてマスク処理を行い、前記被写体が存在する領域で、前記オートフォーカス処理を行って再生距離のデプスマップを作成し、この再生距離のデプスマップを、前記インコヒーレントディジタルホログラム情報を撮像するための撮像光学系の所定のパラメータ情報から導かれる、前記再生距離と前記撮像距離との間の関係式に基づき変換して、撮像距離のデプスマップである、前記被写体の奥行距離情報を抽出することが好ましい。
また、前記明るさ分布の平方根を求め、この平方根の値を被写体の新たな明るさ分布の指標として用いるように構成されていることが好ましい。
また、前記明るさ分布の平方根を求め、この平方根の値を被写体の新たな明るさ分布の指標として用いるように構成されていることが好ましい。
【0014】
また、前記ホログラム表示部を構成する空間光変調器の分解能に基づき、該被写体の明るさ分布を、奥行き方向に積層される複数のレイヤーに分割し、分割された各レイヤーに対して前記複素振幅分布の伝搬計算を行い、これら各レイヤー毎の、該伝搬計算がなされた複素振幅分布を加算することで、前記計算機合成ホログラムを作成することが好ましい。
【0015】
また、前記被写体を光の自己干渉を利用して撮影する撮像部に係る光学系のパラメータ情報と、前記ホログラム表示部に係る光学系のパラメータ情報とを記憶するパラメータ情報記憶部を備え、前記撮像部における分解能と、前記ホログラム表示部における分解能との差に応じて空間平均処理を行い、該撮像部で付加されたノイズ成分を除去する第１ノイズ除去処理手段を備えたことが好ましい。
【0016】
また、前記撮像部により撮影した前記インコヒーレントディジタルホログラム情報、または該インコヒーレントディジタルホログラム情報から抽出した複素振幅分布情報に対して、ニアレストネイバーまたはゼロパディングのいずれかのデータ補間法によりデータを拡張し、伝搬計算またはフーリエ変換を用いて、ノイズ成分を高周波領域に拡散させ、該高周波領域に存在するノイズを除去した後に、逆伝搬計算あるいは逆フーリエ変換の演算を行うことでノイズ成分を除去する第２ノイズ除去処理手段を備えたことが好ましい。
【0017】
さらに、本発明の撮像表示システムは、上述したいずれかのインコヒーレントディジタルホログラム信号処理装置と、該インコヒーレントディジタルホログラム信号処理装置に入力される被写体の３次元像情報を光の自己干渉を利用して撮像する撮像装置と、該インコヒーレントディジタルホログラム信号処理装置により信号情報処理を施された該被写体の３次元像情報を入力されて、該被写体の３次元再生像を表示するホログラム表示装置と、を備えたことを特徴とするものである。
【発明の効果】
【0018】
本発明のインコヒーレントディジタルホログラム信号処理装置および撮像表示システムによれば、入力されたインコヒーレントディジタルホログラム情報である被写体の３次元像情報から、被写体の形状情報（シルエット）と奥行距離情報を抽出して、この被写体の３次元像情報が、実際の被写体の奥行距離に整合するように補正処理をしているので、実際の被写体の像を忠実に再現した３次元像情報を表示部に送出することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態に係る撮像表示システムの構成を示す概略図である。
【図2】本発明の実施形態に係る撮像表示システムの撮像装置の光学系の構成を示す概略図（（ａ）マイケルソン型干渉計タイプの光学系、（ｂ）空間光変調器を用いた等光路長型干渉計の光学系）である。
【図3】本発明の実施形態に係る撮像表示システムの表示装置の光学系の構成を示す概略図（（ａ）一般的な反射型の空間光変調器を用いた配置、（ｂ）４ｆ光学系を導入した配置、ｃ）角度選択フィルターを導入した配置）である。
【図5】鮮鋭度（Ｆ）の評価を行うオートフォーカスの処理の概念図である。
【図6A】信号処理によるノイズ低減手法の概念図（伝搬計算に基づく手法（ゼロパディング補間処理）を用いる手法）である。
【図6B】信号処理によるノイズ低減手法の概念図（フーリエ変換に基づく手法（ニアレストネイバー補間処理）を用いる手法）である。
【図7】本発明の実施例に係る撮像表示システムにより形成される各段階における画像を示す図である（（ａ）撮影したホログラム群、（ｂ）取得した複素振幅分布、（ｃ）オートフォーカスとローパスフィルタリングを適用した後の明るさ分布、（ｄ）２値化およびモルフォロジー変換を適用することで取得した被写体のシルエット、（ｅ）被写体の撮像距離のデプスマップ）。
【図8】本発明の実施例に係る撮像表示システムにより得られた撮像データから作成した位相型ＣＧＨを示す図である。
【図9】本発明の実施例に係る撮像表示システムにおける表示装置の空間光変調器により再生した被写体の３次元再生構成像（（ａ）後方の被写体に焦点を合わせて撮影した場合、（ｂ）前方の被写体に焦点を合わせて撮影した場合）を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態に係るインコヒーレントディジタルホログラム信号処理装置および撮像表示システムについて図面を用いて説明する。
まず、図１に本実施形態に係る撮像表示システムの概念図を示す。
図１に示すように、この撮像表示システム１は、被写体１０のインコヒーレントディジタルホログラムを撮影する撮像装置２０、撮像装置２０で取得された被写体のディジタルホログラムの奥行距離情報を、実際の被写体１０を忠実に再現した３次元像情報に変換する信号処理装置（インコヒーレントディジタルホログラム信号処理装置）３０、および信号処理装置３０により変換された３次元像情報を空間光変調器に表示して、視聴者に被写体１０の３次元再構成像５０を視認せしめる表示装置４０と、を有機的に接続されてなる。
まず、図１に本実施形態に係る撮像表示システムの概念図を示す。
図１に示すように、この撮像表示システム１は、被写体１０のインコヒーレントディジタルホログラムを撮影する撮像装置２０、撮像装置２０で取得された被写体のディジタルホログラムの奥行距離情報を、実際の被写体１０を忠実に再現した３次元像情報に変換する信号処理装置（インコヒーレントディジタルホログラム信号処理装置）３０、および信号処理装置３０により変換された３次元像情報を空間光変調器に表示して、視聴者に被写体１０の３次元再構成像５０を視認せしめる表示装置４０と、を有機的に接続されてなる。
【0021】
なお、これらの装置は必ずしも有線で接続されている必要はなく、撮像装置２０と信号処理装置３０間、および信号処理装置３０と表示装置４０間、で情報、データの送受信が可能であれば接続形態は問わない。また、各装置２０、３０、４０が全て１つずつとされている場合の他、少なくとも１種の装置が複数個設けられるような構成とされていてもよい。
以下、上記装置２０、３０、４０の各々について順に説明するが、最初に、撮像装置２０と表示装置４０を簡単に説明した後、撮像表示システム１の主要部を構成する信号処理装置３０について詳しく説明する。
以下、上記装置２０、３０、４０の各々について順に説明するが、最初に、撮像装置２０と表示装置４０を簡単に説明した後、撮像表示システム１の主要部を構成する信号処理装置３０について詳しく説明する。
【0022】
［撮像装置］
撮像表示システム１を構成する、インコヒーレントディジタルホログラフィに基づく撮像装置は、例えば２光束のマイケルソン干渉計に基づく図２（ａ）の光学系のように、自己干渉のホログラムを撮影するために、レンズ２１Ａ、２つの光を合成して干渉光を得るための(および２つの光に分割するための)光合成分割素子２２Ａ、被写体の奥行距離情報をホログラムに反映させるための球面位相付与光学素子２３Ａ、ホログラムを撮影するための撮像素子２４Ａで構成される。
撮像表示システム１を構成する、インコヒーレントディジタルホログラフィに基づく撮像装置は、例えば２光束のマイケルソン干渉計に基づく図２（ａ）の光学系のように、自己干渉のホログラムを撮影するために、レンズ２１Ａ、２つの光を合成して干渉光を得るための(および２つの光に分割するための)光合成分割素子２２Ａ、被写体の奥行距離情報をホログラムに反映させるための球面位相付与光学素子２３Ａ、ホログラムを撮影するための撮像素子２４Ａで構成される。
【0023】
光合成分割素子２２Ａとしては、例えばビームスプリッターを用いることができる。
球面位相付与光学素子２３Ａとしては、凹面鏡２３Ａａと平面鏡２３Ａｂ、さらには、図示されないレンズ等を用いることができる。なお、平面鏡は曲率半径が∞の球面位相を付与する凹面鏡の一種と考えてよく、球面位相付与光学素子２３Ａに含まれる。
また、光合成分割素子２２Ａと球面位相付与光学素子２３Ａを同一の光学素子で実現してもよく、例えば、図２（ｂ）に示すように空間光変調器を用いたり、図示されない複屈折レンズやメタレンズを用い、さらに偏光光学素子を併せて配置することで実現することもでき、インコヒーレント光学系として干渉を起こさせるための、等光路長型の干渉計を構築することができる。
また、上記光学系内に、時間的コヒーレンスを制御するための、あるいは色を制御、取得するための波長フィルター（バンドパスフィルター）２５Ａや、倍率、光利用効率、さらには収差を制御するための追加の球面位相付与光学素子を導入することも可能である。
球面位相付与光学素子２３Ａとしては、凹面鏡２３Ａａと平面鏡２３Ａｂ、さらには、図示されないレンズ等を用いることができる。なお、平面鏡は曲率半径が∞の球面位相を付与する凹面鏡の一種と考えてよく、球面位相付与光学素子２３Ａに含まれる。
また、光合成分割素子２２Ａと球面位相付与光学素子２３Ａを同一の光学素子で実現してもよく、例えば、図２（ｂ）に示すように空間光変調器を用いたり、図示されない複屈折レンズやメタレンズを用い、さらに偏光光学素子を併せて配置することで実現することもでき、インコヒーレント光学系として干渉を起こさせるための、等光路長型の干渉計を構築することができる。
また、上記光学系内に、時間的コヒーレンスを制御するための、あるいは色を制御、取得するための波長フィルター（バンドパスフィルター）２５Ａや、倍率、光利用効率、さらには収差を制御するための追加の球面位相付与光学素子を導入することも可能である。
【0024】
なお、ホログラムに含まれる、０次光成分や共役像成分を除去するために位相シフト法やオフアクシス法を適用してもよい。
位相シフト法を適用する場合には、位相シフト素子を追加で導入する。位相シフト素子としては、ピエゾアクチュエータ、偏光子アレイ、空間光変調器、位相格子（特許文献２、３を参照）を光学系中に導入する。
位相シフト法を適用する場合には、位相シフト素子を追加で導入する。位相シフト素子としては、ピエゾアクチュエータ、偏光子アレイ、空間光変調器、位相格子（特許文献２、３を参照）を光学系中に導入する。
【0025】
なお、採用する位相シフト法の方式によっては、複数回の撮影が必要となる場合がある。例えば、時間分割の位相シフト法を適用する場合には、凹面鏡２３Ａａあるいは平面鏡２３Ａｂに付設されたピエゾアクチュエータにより、これら凹面鏡２３Ａａあるいは平面鏡２３Ａｂを光軸方向に走査し、２系の光の間に光路長差、すなわち位相シフトを生じさせることで光の干渉条件を変化させ、干渉縞の明暗の位置が異なるインコヒーレントディジタルホログラムを複数枚撮影する。
【0026】
オフアクシス法を用いる場合には、一方の鏡を微小に傾斜させて干渉させ、インコヒーレントディジタルホログラムを撮影する。
さらに、他の位相シフト素子を用いた場合の光学系の操作や特徴については割愛するが、複素振幅分布を抽出することができれば、いずれの手法を適用してもよい。
さらに、他の位相シフト素子を用いた場合の光学系の操作や特徴については割愛するが、複素振幅分布を抽出することができれば、いずれの手法を適用してもよい。
【0027】
ここで、上記撮像装置２０Ａを構成する各要素について、すなわち、球面位相付与光学素子２３Ａの瞳径およびそれぞれの素子間の距離、球面位相付与光学素子２３Ａのうち最後方に配置された光学素子と撮像素子２４Ａとの距離、撮像素子２４Ａの画素数と画素ピッチ、位相シフト法を適用する際の位相ステップ数のパラメータ情報等が信号処理装置３０内の所定の記憶部（パラメータ情報記憶部：図示せず）に保存されている。
【0028】
なお、図２（ａ）に示す撮像装置２０Ａの構成のものに限られるものではなく、その他の種々の変更態様が可能であり、レンズの配置構成についても、その他の種々の態様を採用することが可能である。例えば、凹面鏡２３Ａａおよび平面鏡２３Ａｂにより構成される球面位相付与光学素子２３Ａに替え、図２（ｂ）に示すように１つの空間光変調器２３Ｂａからなる球面位相付与光学素子２３Ｂを用いることも可能である。
【0029】
この空間光変調器２３Ｂａは２重焦点の可変焦点レンズ系として機能する反射型の空間光変調器である。このように、球面位相付与光学素子２３Ｂとして反射型の空間光変調器２３Ｂａを用いる場合には、レンズ２１Ｂと空間光変調器２３Ｂａの間に偏光ビームスプリッターからなる光合成分割素子２２Ｂが配され、レンズ２１Ｂと光合成分割素子２２Ｂの間に偏光子２６Ｂａを、また、光合成分割素子２２Ｂと撮像素子２４Ｂの間に偏光子２６Ｂｂを挿入して光の進む方向を調整する必要がある。なお、波長フィルター２５Ｂについては、図２（ａ）に示す波長フィルター２５Ａと同様の機能を有している。
【0030】
ここで重要な点は、前述したように、撮像装置２０を構成する光学系の少なくとも上記パラメータ情報が、信号処理装置３０の所定の記憶部に保存されることにある。したがって、撮像装置２０の光学系のパラメータ情報の値が変化した場合には、逐次、信号処理装置３０の所定の記憶部に保存されているパラメータ情報が更新されることになる。
【0031】
［表示装置］
撮像表示システム１を構成する表示装置４０は、前述したように、信号処理装置３０により変換された３次元像情報を表示して、被写体１０の３次元再構成像５０を視聴者に視認せしめるものであって、例えば図３（ａ）に示すように、レーザー光源４１Ａおよび、被写体１０の３次元像情報を表示する空間光変調器４５Ａを備えている。すなわち、レーザー光源４１Ａから出力されたレーザー光は、レンズ４２Ａ、４３Ａを介して光反射手段（ビームスプリッター）４４Ａに入射し、反射されて、反射型の空間光変調器４５Ａに照射される。
撮像表示システム１を構成する表示装置４０は、前述したように、信号処理装置３０により変換された３次元像情報を表示して、被写体１０の３次元再構成像５０を視聴者に視認せしめるものであって、例えば図３（ａ）に示すように、レーザー光源４１Ａおよび、被写体１０の３次元像情報を表示する空間光変調器４５Ａを備えている。すなわち、レーザー光源４１Ａから出力されたレーザー光は、レンズ４２Ａ、４３Ａを介して光反射手段（ビームスプリッター）４４Ａに入射し、反射されて、反射型の空間光変調器４５Ａに照射される。
【0032】
空間光変調器４５Ａには、被写体１０の３次元像情報が表示されており、この反射型の空間光変調器４５Ａに照射された光は、この被写体１０の３次元像情報を担持して、反射されるので、視聴者は、この光に担持された被写体１０の３次元像情報に基づき、被写体１０の３次元再構成画像を視認することができる。
【0033】
表示装置４０としては、図３（ａ）の構成のものに限られるものではなく、その他の種々の変更態様が可能であり、レンズの配置構成についても、その他の種々の態様を採用することが可能である。例えば、図３（ｂ）に示すように、空間光変調器４５Ｂにおいて光変調後に発生する不要な回折光、およびＣＧＨ（計算機合成ホログラム：以下同じ）で発生する０次光と共役像を除去するための、４ｆ光学系（レンズ４６Ｂａ、フィルター４６Ｂｂおよびレンズ４６Ｂｃからなる）４６Ｂを光反射手段４４Ｂよりも視聴者側に配設することも可能である（図３（ａ）に示す部材に対応する部材については、数字に付す記号としてＡに替えてＢとしている）。
また、図３（ｃ）に示すように、４ｆ光学系４６Ｂに替えて角度選択フィルター４７Ｃを配置して、同様の機能を付与するようにしてもよい（図３（ａ）に示す部材に対応する部材については、数字に付す記号としてＡに替えてＣとしている）。
また、図３（ｃ）に示すように、４ｆ光学系４６Ｂに替えて角度選択フィルター４７Ｃを配置して、同様の機能を付与するようにしてもよい（図３（ａ）に示す部材に対応する部材については、数字に付す記号としてＡに替えてＣとしている）。
【0034】
また、例えば、空間光変調器４５Ａ、Ｂ、Ｃに表示した立体像の倍率、視野、あるいは奥行き方向の表示位置を制御するためのレンズを配置するようにしてもよい。
また図３（ａ）、（ｂ）、（ｃ）においては、反射型の空間光変調器４５Ａ、Ｂ、Ｃを用いているが、これに替えて透過型の空間光変調器を用いてもよい。
さらに、撮像装置２０で色情報を取得している場合には、表示装置４０において、各色に対応した光源および空間光変調器を、各々並列に用いて光学系を構築してもよい。
また図３（ａ）、（ｂ）、（ｃ）においては、反射型の空間光変調器４５Ａ、Ｂ、Ｃを用いているが、これに替えて透過型の空間光変調器を用いてもよい。
さらに、撮像装置２０で色情報を取得している場合には、表示装置４０において、各色に対応した光源および空間光変調器を、各々並列に用いて光学系を構築してもよい。
【0035】
なお、表示装置４０を構成する光学系において、空間光変調器の画素数、画素ピッチ、および変調物理量(振幅、位相、あるいは複素振幅)等のパラメータ情報を、信号処理装置３０の所定の記憶部に保存することが肝要である。このため、表示装置４０の光学系のパラメータ情報が変化した場合には、逐次、信号処理装置３０の所定の記憶部に保存されているパラメータ情報が更新されることになる。
【0036】
［信号処理装置］
次に、撮像表示システム１を構成する信号処理装置３０について、詳しく説明する。
なお、本実施形態に係る信号処理装置３０は、インコヒーレントホログラフィの技術固有の問題を解決するために、被写体１０の奥行情報に整合した３次元像情報とするための補正処理、および撮像素子２４Ａ、Ｂにより発生するノイズの低減処理の２つの処理を行うことを要旨としているものであるので、以下、これら２つの処理について順に説明することにより、信号処理装置３０の特徴を説明する。
次に、撮像表示システム１を構成する信号処理装置３０について、詳しく説明する。
なお、本実施形態に係る信号処理装置３０は、インコヒーレントホログラフィの技術固有の問題を解決するために、被写体１０の奥行情報に整合した３次元像情報とするための補正処理、および撮像素子２４Ａ、Ｂにより発生するノイズの低減処理の２つの処理を行うことを要旨としているものであるので、以下、これら２つの処理について順に説明することにより、信号処理装置３０の特徴を説明する。
【0037】
Ａ.実際の被写体の奥行情報に整合した３次元像情報とするための補正処理
これまで、インコヒーレントディジタルホログラフィの撮像装置で撮影したディジタルホログラムを、空間光変調器を用いて３次元像として表示する技術、手法は検討されていない。仮に、インコヒーレントディジタルホログラフィに基づく撮像装置で撮影したディジタルホログラムを、コヒーレントな光を用いる従来のディジタルホログラムと同様に、空間光変調器にそのまま入力して３次元像として表示したとすると、被写体の実際の奥行距離である撮像距離と、インコヒーレントディジタルホログラフィの撮像装置で撮影したディジタルホログラムに含まれる再生距離とが非線形な関係となるため、空間光変調器には、実際の被写体１０とは奥行距離や奥行き感が異なる奇妙な３次元像が表示されてしまい、実際の使用に堪える画像を得ることはできない。
そこで、本実施形態に係る信号処理装置３０においては、インコヒーレントホログラフィの技術固有の問題を解決するために、被写体１０の奥行情報に整合した３次元像情報とするための補正処理を以下の手法、手順により行うようにしている。
これまで、インコヒーレントディジタルホログラフィの撮像装置で撮影したディジタルホログラムを、空間光変調器を用いて３次元像として表示する技術、手法は検討されていない。仮に、インコヒーレントディジタルホログラフィに基づく撮像装置で撮影したディジタルホログラムを、コヒーレントな光を用いる従来のディジタルホログラムと同様に、空間光変調器にそのまま入力して３次元像として表示したとすると、被写体の実際の奥行距離である撮像距離と、インコヒーレントディジタルホログラフィの撮像装置で撮影したディジタルホログラムに含まれる再生距離とが非線形な関係となるため、空間光変調器には、実際の被写体１０とは奥行距離や奥行き感が異なる奇妙な３次元像が表示されてしまい、実際の使用に堪える画像を得ることはできない。
そこで、本実施形態に係る信号処理装置３０においては、インコヒーレントホログラフィの技術固有の問題を解決するために、被写体１０の奥行情報に整合した３次元像情報とするための補正処理を以下の手法、手順により行うようにしている。
【0038】
まず、信号処理装置３０では、図４Ａおよび図４Ｂに示す手順で、撮影により得られたディジタルホログラムからＣＧＨを作成する。
すなわち、撮像装置２０において位相シフト法を用いている場合には、図４Ａ（ａ）に示すように複数枚のディジタルホログラムが撮影される（ディジタルホログラム群取得手段を用いる）ので、信号処理装置３０内の記憶手段に保存されている位相ステップ数の情報を参照して、位相シフト法を用いた演算を行い、複素振幅分布（振幅分布および位相分布）の情報を抽出する（図４Ａ（ｂ）：複素振幅分布抽出手段を用いる）。
撮像装置２０において、位相シフト法に替え、オフアクシス法に基づいてホログラムが撮影されている場合には、空間周波数のバンドパスフィルタリングを適用することで複素振幅分布の情報を抽出する。
すなわち、撮像装置２０において位相シフト法を用いている場合には、図４Ａ（ａ）に示すように複数枚のディジタルホログラムが撮影される（ディジタルホログラム群取得手段を用いる）ので、信号処理装置３０内の記憶手段に保存されている位相ステップ数の情報を参照して、位相シフト法を用いた演算を行い、複素振幅分布（振幅分布および位相分布）の情報を抽出する（図４Ａ（ｂ）：複素振幅分布抽出手段を用いる）。
撮像装置２０において、位相シフト法に替え、オフアクシス法に基づいてホログラムが撮影されている場合には、空間周波数のバンドパスフィルタリングを適用することで複素振幅分布の情報を抽出する。
【0039】
<デプスマップの生成>
次に、抽出した複素振幅分布から、以下に示す、伝搬計算に基づくオートフォーカスの手順で再生距離のデプスマップを生成する。
再生距離のデプスマップを生成するには、まず、位相シフト法あるいはオフアクシス法を用いて抽出した複素振幅分布から被写体のシルエット(２次元形状)を得る（図４Ｂ（ｆ））。
次に、抽出した複素振幅分布から、以下に示す、伝搬計算に基づくオートフォーカスの手順で再生距離のデプスマップを生成する。
再生距離のデプスマップを生成するには、まず、位相シフト法あるいはオフアクシス法を用いて抽出した複素振幅分布から被写体のシルエット(２次元形状)を得る（図４Ｂ（ｆ））。
【0040】
被写体のシルエット(２次元形状)を得るために、具体的には、下述する（１）～（４）の処理を行う。
（１）最も鮮鋭度（Ｆ）が高い再生距離を同定する（再生距離同定手段を用いる）。
すなわち、下記（ア）と（イ）の操作を繰り返して最も鮮鋭度が高い再生距離を同定する。
（ア）複素振幅分布に対して、光波の伝搬計算を適用し、再生距離を変化させて再生像を得る。
（イ）その再生像の鮮鋭度を評価する。
この結果、図５に示すように、例えば、伝搬距離ＺｒをＺ１～Ｚ５まで変化させ、その都度各伝搬距離Ｚ１～Ｚ５における鮮鋭度（Ｆ）を測定することで、再生像の鮮鋭度がもっとも高い伝搬距離Ｚｒを特定できる（図５の場合はＺ３）ので、この伝搬距離Ｚｒを被写体１０の再生位置として特定する。この伝搬計算適用後の再生像を図４Ａ（ｃ）に示す。
（１）最も鮮鋭度（Ｆ）が高い再生距離を同定する（再生距離同定手段を用いる）。
すなわち、下記（ア）と（イ）の操作を繰り返して最も鮮鋭度が高い再生距離を同定する。
（ア）複素振幅分布に対して、光波の伝搬計算を適用し、再生距離を変化させて再生像を得る。
（イ）その再生像の鮮鋭度を評価する。
この結果、図５に示すように、例えば、伝搬距離ＺｒをＺ１～Ｚ５まで変化させ、その都度各伝搬距離Ｚ１～Ｚ５における鮮鋭度（Ｆ）を測定することで、再生像の鮮鋭度がもっとも高い伝搬距離Ｚｒを特定できる（図５の場合はＺ３）ので、この伝搬距離Ｚｒを被写体１０の再生位置として特定する。この伝搬計算適用後の再生像を図４Ａ（ｃ）に示す。
【0041】
なお、光波の伝搬計算としては、角スペクトル法やフレネル回折を用いることができる。鮮鋭度の指標としては、明るさの変動係数、微分、ラプラシアンの値や、明るさ分布のフーリエスペクトル、コサイン変換の高周波成分の値を採用することができる。以上の処理の過程を、本明細書においてはオートフォーカスと称することとする。
なお、再生距離を変化させる間隔は、撮像装置の光学系を構成する光学素子およびそれらの配置間距離から導かれる奥行き分解能に従って変化させることにより、鮮鋭度（Ｆ）が高い再生距離を同定することができる。
なお、再生距離を変化させる間隔は、撮像装置の光学系を構成する光学素子およびそれらの配置間距離から導かれる奥行き分解能に従って変化させることにより、鮮鋭度（Ｆ）が高い再生距離を同定することができる。
【0042】
（２）被写界深度を拡張した再生像を得る（被写界深度拡張手段を用いる）。
次に、鮮鋭度が最も高い再生距離での再生像の明るさ分布に対して、ローパスフィルタリングを適用する。この処理により、複素振幅分布の被写界深度を拡張することができ、奥行き方向の異なる位置に配置されたすべての像のぼやけ方を、均一化できる。本手順は、通常のカメラで絞りを絞って被写界深度を拡張する操作に対応しており、本技術では、ディジタルホログラムの撮影データに対してローパスフィルタリングを数値計算で適用することで実装している。複素振幅分布の被写界深度を拡張した後の再生像を図４Ａ（ｄ）に示す。
必要に応じて、伝搬計算適用時に発生するリンギングのノイズを除去するために、非局所平均の処理を適用してもよい。なお、ノイズ除去の手法については後述する。
次に、鮮鋭度が最も高い再生距離での再生像の明るさ分布に対して、ローパスフィルタリングを適用する。この処理により、複素振幅分布の被写界深度を拡張することができ、奥行き方向の異なる位置に配置されたすべての像のぼやけ方を、均一化できる。本手順は、通常のカメラで絞りを絞って被写界深度を拡張する操作に対応しており、本技術では、ディジタルホログラムの撮影データに対してローパスフィルタリングを数値計算で適用することで実装している。複素振幅分布の被写界深度を拡張した後の再生像を図４Ａ（ｄ）に示す。
必要に応じて、伝搬計算適用時に発生するリンギングのノイズを除去するために、非局所平均の処理を適用してもよい。なお、ノイズ除去の手法については後述する。
【0043】
（３）再生像の明るさ分布について２値化処理を行う（２値化画像取得手段を用いる）。
次に、図４Ａ（ｄ）に示す再生像の明るさ分布に対し、所定の閾値に基づいて、０と１の２値化処理を行う。２値化処理の閾値としては、再生像の明るさの中央値や、最大値に対する所定割合の値を用いてもよいし、大津の２値化アルゴリズムを用いてもよい。被写体１０の形状を抽出することができれば、２値化の手法としては限定されるものではない。このような２値化処理を行った後の２値化画像を図４Ｂ（ｅ）に示す。
なお、２値化の処理の後、被写体１０の形状以外のノイズも、１として値が残る可能性があるため、これらをモルフォロジー変換により除去することも可能である（モルフォロジー変換手段を用いる）。
次に、図４Ａ（ｄ）に示す再生像の明るさ分布に対し、所定の閾値に基づいて、０と１の２値化処理を行う。２値化処理の閾値としては、再生像の明るさの中央値や、最大値に対する所定割合の値を用いてもよいし、大津の２値化アルゴリズムを用いてもよい。被写体１０の形状を抽出することができれば、２値化の手法としては限定されるものではない。このような２値化処理を行った後の２値化画像を図４Ｂ（ｅ）に示す。
なお、２値化の処理の後、被写体１０の形状以外のノイズも、１として値が残る可能性があるため、これらをモルフォロジー変換により除去することも可能である（モルフォロジー変換手段を用いる）。
【0044】
（４）被写体のシルエット（２次元形状）を得る（被写体シルエット取得手段を用いる）。
以上に説明した信号処理により、被写体１０のシルエット(２次元形状)を得ることができる（図４Ｂ（ｆ））。
次に、得られた被写体１０のシルエット(２次元形状)に、下記（５）～（７）の処理を施すことにより、ＣＧＨを作成する。
以上に説明した信号処理により、被写体１０のシルエット(２次元形状)を得ることができる（図４Ｂ（ｆ））。
次に、得られた被写体１０のシルエット(２次元形状)に、下記（５）～（７）の処理を施すことにより、ＣＧＨを作成する。
【0045】
（５）各画素の奥行距離情報を得る（奥行距離情報取得手段を用いる）。
（５―１）再生距離のデプスマップの取得
次に、このシルエットで１の値を有する画素毎に、その画素を中心とした任意の複数画素の評価領域内で、オートフォーカスの処理を適用するために、上述した（ア）の処理で得られた各再生距離の再生像の鮮鋭度（Ｆ）を評価する。この鮮鋭度（Ｆ）が最も高い再生距離を同定する。
なお、このオートフォーカスの手順と、図４Ａ（ｂ）の複素振幅分布に対して行う上述したオートフォーカスの手順との違いは、前者では再生像の画角の所定領域で鮮鋭度を評価しているのに対して、後者では再生像の画角の全域で鮮鋭度を評価している点にある。
（５―１）再生距離のデプスマップの取得
次に、このシルエットで１の値を有する画素毎に、その画素を中心とした任意の複数画素の評価領域内で、オートフォーカスの処理を適用するために、上述した（ア）の処理で得られた各再生距離の再生像の鮮鋭度（Ｆ）を評価する。この鮮鋭度（Ｆ）が最も高い再生距離を同定する。
なお、このオートフォーカスの手順と、図４Ａ（ｂ）の複素振幅分布に対して行う上述したオートフォーカスの手順との違いは、前者では再生像の画角の所定領域で鮮鋭度を評価しているのに対して、後者では再生像の画角の全域で鮮鋭度を評価している点にある。
【0046】
また、評価領域の大きさに応じて、デプスマップの面内分解能およびノイズに対するロバスト性が変化する。評価領域を大きく設定すれば、ノイズの影響が小さくなり、比較的高精度に再生距離を同定することができるが、デプスマップの面内分解能が低下する。一方、評価領域を小さく設定すれば、デプスマップの面内分解能が向上するが、ノイズの影響が大きくなり、再生距離の検出精度が低下する虞がある。評価領域の大きさは、目標とするデプスマップの面内分解能および精度に応じて設定することが好ましい。このようにして得られた再生距離のデプスマップを図４Ｂ（ｇ）に示す。
【0047】
（５―２）被写体の撮像距離のデプスマップの取得
上述したオートフォーカスにより同定した再生距離を、撮像装置２０の光学系を構成する光学素子およびそれらの配置間距離から導かれる再生距離と、撮像距離との関係式（例えば、下式（１）、（２））に基づき、撮像距離に変換する。すなわち、再生距離のデプスマップを撮像距離のデプスマップに変換する。
再生距離ｚｒと撮像距離ｚｓの関係は、光学系を構成する球面位相付与光学素子２３Ａ、Ｂの焦点距離および素子間の距離で決定され、上述した図２（ａ）に示す光学系の場合には、下式（１）により与えられる（本願発明者により開示された非特許文献３を参照）。
上述したオートフォーカスにより同定した再生距離を、撮像装置２０の光学系を構成する光学素子およびそれらの配置間距離から導かれる再生距離と、撮像距離との関係式（例えば、下式（１）、（２））に基づき、撮像距離に変換する。すなわち、再生距離のデプスマップを撮像距離のデプスマップに変換する。
再生距離ｚｒと撮像距離ｚｓの関係は、光学系を構成する球面位相付与光学素子２３Ａ、Ｂの焦点距離および素子間の距離で決定され、上述した図２（ａ）に示す光学系の場合には、下式（１）により与えられる（本願発明者により開示された非特許文献３を参照）。
【0048】
【数1】
【0049】
【数2】
【0050】
上式（２）中の±の符号は、＋と－の符号のうち、ｚｓが負にならず、物理的に整合している方の符号を選択する、ことを意味する。
上述したように、再生距離ｚｒと撮像距離ｚｓは非線形の関係にあるが、上式に基づいて変換処理を行うことで、非線形性を補正し、被写体１０の正確な３次元像情報を得ることができる。
上述したように、再生距離ｚｒと撮像距離ｚｓは非線形の関係にあるが、上式に基づいて変換処理を行うことで、非線形性を補正し、被写体１０の正確な３次元像情報を得ることができる。
【0051】
ここで、上式（２）は、図２（ａ）または図２（ｂ）に示される光学素子で光学系が構成されている場合に有効であるが、レンズの枚数が増える場合には、光波の伝搬計算を解析的に解くことで、光学系の構成に応じた理論式を導くことが可能であるので、本実施形態の適用対象は図２（ａ）または図２（ｂ）に示される光学素子で光学系が構成されている場合に限定されるものではない。以上に示す処理により、被写体１０のシルエットで１の値を有する各画素に対して、被写体１０の奥行距離情報を得ることができる。
【0052】
この処理をシルエットで１の値をもつ全画素に対して適用することで、撮像距離のデプスマップである被写体１０の奥行距離情報の分布が得られ、被写体１０の明るさ分布の２次元形状とデプスマップを合わせた３次元像情報を得ることができる。
このようにして得られた撮像距離のデプスマップを図４Ｂ（ｈ）に示す。
なお、上述の処理では、シルエットの１を表す箇所の１画素毎に、再生距離を同定し、撮像距離に変換して、撮像距離のデプスマップを得たが、再生距離のデプスマップを得てから、一括して、それを上式（１）、（２）に基づいて変換し、撮像距離のデプスマップを得るようにしてもよい。
このようにして得られた撮像距離のデプスマップを図４Ｂ（ｈ）に示す。
なお、上述の処理では、シルエットの１を表す箇所の１画素毎に、再生距離を同定し、撮像距離に変換して、撮像距離のデプスマップを得たが、再生距離のデプスマップを得てから、一括して、それを上式（１）、（２）に基づいて変換し、撮像距離のデプスマップを得るようにしてもよい。
【0053】
なお、以上の処理により得られる被写体１０のシルエット（２次元形状）は、撮像装置２０の光学系のパラメータ情報および撮像距離に応じて、横倍率が変化している。
具体的には、図２（ａ）または図２（ｂ）に示される光学系の場合の横倍率Ｍｔは、下式（３）により得られる。
具体的には、図２（ａ）または図２（ｂ）に示される光学系の場合の横倍率Ｍｔは、下式（３）により得られる。
【数3】
【0054】
実際の被写体１０のサイズ感を忠実に再現した３次元像を表示する場合には、被写体１０の像を１／Ｍｔ倍にリサイズする処理を行う。サイズ感の忠実さよりも、視野の広さを優先する場合には、この処理は行わない。ここで、ｚｌは、被写体１０の後段に配されたレンズと、光学素子との距離である。
なお、上式（１）、（２）と同様に、上式（３）も光学系の構成により変化するため、光学系の構成が変化する場合には、光波の伝搬計算により横倍率Ｍｔを導出する。
なお、上式（１）、（２）と同様に、上式（３）も光学系の構成により変化するため、光学系の構成が変化する場合には、光波の伝搬計算により横倍率Ｍｔを導出する。
【0055】
さらに、必要に応じて、被写体１０の３次元像情報に係る各画素の明るさについて平方根をとり、これを被写体１０の新たな明るさの指標として用いるように構成してもよい。
明るさについて平方根を求めない場合には、ノイズにロバストな３次元像を再生することができるが、明るさについて平方根を求め、これを被写体１０の新たな明るさの指標とする場合には、ノイズの影響を若干受け易くなるものの、実際の被写体１０の明るさをより忠実に再現できる、との利点を有する。
なお、この明るさについて平方根を求める手法は、コヒーレントなディジタルホログラフィでは適用する必要のない処理であり、インコヒーレントなディジタルホログラフィの場合に特有の処理である。
明るさについて平方根を求めない場合には、ノイズにロバストな３次元像を再生することができるが、明るさについて平方根を求め、これを被写体１０の新たな明るさの指標とする場合には、ノイズの影響を若干受け易くなるものの、実際の被写体１０の明るさをより忠実に再現できる、との利点を有する。
なお、この明るさについて平方根を求める手法は、コヒーレントなディジタルホログラフィでは適用する必要のない処理であり、インコヒーレントなディジタルホログラフィの場合に特有の処理である。
【0056】
インコヒーレントなディジタルホログラフィでは、光の強度のアナログ情報が、光の振幅のデジタル情報として得られ、これをそのまま表示装置４０に出力すると、表示装置４０に表示された画像は、人の眼には実際の光強度の２乗で知覚されてしまう。そこで、この２乗の効果を相殺するために、上述したように明るさの平方根を、新しい明るさの指標として用いることが好ましい。
【0057】
（６）ＣＧＨを作成する（ＣＧＨ取得用演算手段を用いる）。
得られた３次元像情報（図４Ｂ（ｈ）を参照）に基づき、表示装置４０の空間光変調器４５Ａ、Ｂ、Ｃに入力するためのＣＧＨ（計算機合成ホログラム）を下記演算処理により作成する。
具体的には、取得した被写体１０のデプスマップ（撮像距離のデプスマップ）を参照して複素振幅分布の各画素から、任意のホログラム表示面までの伝搬計算を行い、得られた複素振幅分布のすべてを加算する。
得られた３次元像情報（図４Ｂ（ｈ）を参照）に基づき、表示装置４０の空間光変調器４５Ａ、Ｂ、Ｃに入力するためのＣＧＨ（計算機合成ホログラム）を下記演算処理により作成する。
具体的には、取得した被写体１０のデプスマップ（撮像距離のデプスマップ）を参照して複素振幅分布の各画素から、任意のホログラム表示面までの伝搬計算を行い、得られた複素振幅分布のすべてを加算する。
【0058】
なお、表示装置４０を構成する空間光変調器４５Ａ、Ｂ、Ｃの分解能に基づき、被写体１０の明るさの３次元分布を、奥行き方向に積層された複数のレイヤーに分割し、分割された各レイヤーに対して複素振幅分布の伝搬計算を行って、これら各レイヤーからの複素振幅分布を加算することで、効率的にＣＧＨを作成することができる。
具体的には、デプスマップの奥行距離の情報を量子化する。したがって、表示装置４０の奥行き分解能の間隔で被写体１０の３次元像情報をレイヤー化すればよい。
表示装置４０の奥行き分解能は下式（４）で与えられる。
具体的には、デプスマップの奥行距離の情報を量子化する。したがって、表示装置４０の奥行き分解能の間隔で被写体１０の３次元像情報をレイヤー化すればよい。
表示装置４０の奥行き分解能は下式（４）で与えられる。
【0059】
【数4】
【0060】
上記ホログラムの直径Ｄは、撮像装置２０の光学系のパラメータ情報を参照し、下式（５）で与えられる（前述した非特許文献３を参照）。
【数5】
【0061】
【数6】
【0062】
【数7】
【0063】
前述したように、各レイヤー毎に複素振幅分布の伝搬計算を行い、ホログラム表示面の複素振幅分布を算出することで、計算の効率化を図ることができる。
最後に、得られた複素振幅分布から、干渉に基づく計算（例えば、非特許文献４を参照）あるいは回折に基づく計算（例えば、本願発明者が特許庁に開示した特願２０２０－１３８９６６号明細書に記載の計算）を行い、表示装置４０の変調物理量に応じて、振幅型あるいは位相型のＣＧＨを作成する。
このようにして得られたＣＧＨの画像を図４Ｂ（ｉ）に示す。
最後に、得られた複素振幅分布から、干渉に基づく計算（例えば、非特許文献４を参照）あるいは回折に基づく計算（例えば、本願発明者が特許庁に開示した特願２０２０－１３８９６６号明細書に記載の計算）を行い、表示装置４０の変調物理量に応じて、振幅型あるいは位相型のＣＧＨを作成する。
このようにして得られたＣＧＨの画像を図４Ｂ（ｉ）に示す。
【0064】
なお、振幅型あるいは位相型のＣＧＨを作成する手法は、従来から知られている種々の手法を用いることが可能である。また、表示装置４０において２つの空間光変調器を配設する光学系を採用する場合、あるいは複素振幅分布を変調可能な空間光変調器を用いる場合には、被写体１０の複素振幅分布を直接変調することが可能であるため、上述した干渉や回折に基づく計算を行う必要がなく、振幅型あるいは位相型に変換する必要はない。
【0065】
Ｂ.撮像素子により発生するノイズの低減処理
<ノイズの低減処理（撮像データに対して）>
本実施形態に係る信号処理装置３０においては、インコヒーレントホログラフィの技術固有の問題を解決するために、被写体１０の奥行情報に整合した３次元像情報とするための補正処理を行うための手法、手順について説明した。以下では、インコヒーレントホログラフィの技術固有のもう１つの問題である、撮像素子２４Ａ、Ｂにおいて発生するノイズの低減処理について説明する。
インコヒーレントディジタルホログラフィに基づく撮像装置２０では、ホログラムの撮影時に撮像素子２４Ａ、Ｂに由来するランダムノイズが付与されてしまうため、通常のカメラよりもノイズの影響を受けやすく、表示装置４０で得られる３次元像の品質が低下することが懸念されている。
<ノイズの低減処理（撮像データに対して）>
本実施形態に係る信号処理装置３０においては、インコヒーレントホログラフィの技術固有の問題を解決するために、被写体１０の奥行情報に整合した３次元像情報とするための補正処理を行うための手法、手順について説明した。以下では、インコヒーレントホログラフィの技術固有のもう１つの問題である、撮像素子２４Ａ、Ｂにおいて発生するノイズの低減処理について説明する。
インコヒーレントディジタルホログラフィに基づく撮像装置２０では、ホログラムの撮影時に撮像素子２４Ａ、Ｂに由来するランダムノイズが付与されてしまうため、通常のカメラよりもノイズの影響を受けやすく、表示装置４０で得られる３次元像の品質が低下することが懸念されている。
【0066】
そこで、本実施形態に係る信号処理装置３０においては、撮像装置２０と表示装置４０の面内分解能の比較を行ってノイズの低減を図るようにしている。すなわち、撮像装置２０を構成する撮像素子２４Ａ、Ｂの画素ピッチｓと表示装置４０を構成する空間光変調器４５Ａ、Ｂ、Ｃの画素ピッチｐを比較し、ｐの方が大きい場合には、撮影したディジタルホログラムあるいはディジタルホログラムから抽出した複素振幅分布に対して、空間平均の演算を適用することにより、撮像データであるディジタルホログラムからノイズを低減するようにしている。
【0067】
空間平均の処理としては、任意の空間フィルターとの畳み込み積分や移動平均、重みづけ平均、メディアンフィルター等を用いることが可能である。これにより高品質な３次元映像を表示することができる。
なお、本願発明者により開示された特許文献４においては、撮像素子の分解能と、撮像装置を構成する光学系の分解能の間にミスマッチがある場合に空間平均を行うようにしているが、本実施形態の信号処理装置３０においては、撮像素子２４Ａ、Ｂの分解能と、表示装置４０の空間光変調器４５Ａ、Ｂ、Ｃの分解能の間にミスマッチがある場合に空間平均を行うようにしている点で異なり、本実施形態によれば、表示装置４０の仕様に対して適用的に高品質な３次元像を表示することが可能となる。
なお、本願発明者により開示された特許文献４においては、撮像素子の分解能と、撮像装置を構成する光学系の分解能の間にミスマッチがある場合に空間平均を行うようにしているが、本実施形態の信号処理装置３０においては、撮像素子２４Ａ、Ｂの分解能と、表示装置４０の空間光変調器４５Ａ、Ｂ、Ｃの分解能の間にミスマッチがある場合に空間平均を行うようにしている点で異なり、本実施形態によれば、表示装置４０の仕様に対して適用的に高品質な３次元像を表示することが可能となる。
【0068】
なお、撮像装置２０を構成する撮像素子２４Ａ、Ｂの画素ピッチｓと表示装置４０を構成する空間光変調器４５Ａ、Ｂ、Ｃの画素ピッチｐとが一致している場合には、撮像素子２４Ａ、Ｂの撮影時において、下記のようなノイズの低減処理を行うことが効率的であり、有効である。
【0069】
<ノイズの低減処理（撮像素子による撮影時）>
信号処理装置３０において、撮像装置２０の撮像素子２４Ａ、Ｂでホログラムを撮影する際に生じるノイズ成分を除去するために、図６Ａに示す伝搬計算におけるノイズの低減処理、あるいは図６Ｂに示すフーリエ変換によるノイズの低減処理を適用してもよい。
信号処理装置３０において、撮像装置２０の撮像素子２４Ａ、Ｂでホログラムを撮影する際に生じるノイズ成分を除去するために、図６Ａに示す伝搬計算におけるノイズの低減処理、あるいは図６Ｂに示すフーリエ変換によるノイズの低減処理を適用してもよい。
【0070】
図６Ａに示すノイズの低減処理においては、位相シフト法あるいはオフアクシス法により抽出した複素振幅分布（あるいはホログラム）（図６Ａ（ａ））に対して、ゼロパディングの補間処理を行い、拡張した複素振幅分布（あるいはホログラム）を得る（図６Ａ（ｂ））。これに角スペクトル法あるいはフレネル回折に基づく伝搬計算を適用する。なおこのときの伝搬距離は、角スペクトル法あるいはフレネル回折のチャープ関数にエイリアシングが生じない程度に長い距離に設定する。
伝搬した後の複素振幅分布で、ゼロパディングにより拡張した領域は、撮像素子２４Ａ、Ｂの画角あるいは視野を超える領域であり、この領域に含まれる成分は、撮像時に発生したノイズである（図６Ａ（ｃ）を参照）ため、これらの値をすべて０にし、もとのホログラム面まで逆伝搬の計算を行う（図６Ａ（ｄ）を参照）。この後、拡張した領域を除去して、ノイズ成分が低減された複素振幅分布（あるいはホログラム）を得る（図６Ａ（ｅ））。
伝搬した後の複素振幅分布で、ゼロパディングにより拡張した領域は、撮像素子２４Ａ、Ｂの画角あるいは視野を超える領域であり、この領域に含まれる成分は、撮像時に発生したノイズである（図６Ａ（ｃ）を参照）ため、これらの値をすべて０にし、もとのホログラム面まで逆伝搬の計算を行う（図６Ａ（ｄ）を参照）。この後、拡張した領域を除去して、ノイズ成分が低減された複素振幅分布（あるいはホログラム）を得る（図６Ａ（ｅ））。
【0071】
一方、図６Ｂに示すノイズの低減処理においては、位相シフト法あるいはオフアクシス法により抽出した複素振幅分布（あるいはホログラム）（図６Ｂ（ａ））に対して、ニアレストネイバーの補間処理を行い、拡張した複素振幅分布（あるいはホログラム）を得る（図６Ｂ（ｂ））。次に、拡張した複素振幅分布（あるいはホログラム）に対してフーリエ変換を施す（図６Ｂ（ｃ））。ホログラムを撮影した際のナイキスト周波数以上の周波数領域は、撮像素子２４Ａ、Ｂで本来撮影できない周波数成分であり、この領域に存在する成分はノイズと考えることができる。そこで、ナイキスト周波数以上の成分をカット（トリミング）し、ナイキスト周波数領域のフーリエスペクトルのみを残す（図６Ｂ（ｄ））。この後、逆フーリエ変換を施して、ノイズ成分が低減された複素振幅分布（あるいはホログラム）を得る（図６Ｂ（ｅ））。
【0072】
上述した、２つのノイズの低減処理（伝搬計算およびフーリエ変換に基づくノイズ成分の低減処理）は、実空間面で処理を行うか、フーリエ面（周波数面）で処理を行うかの違いであり、ともに撮像素子における、視野外領域あるいは周波数成分を超える領域で発生しているノイズを低減するものであり、効果は同等である。なお、上記では、ノイズの低減処理に、ゼロパディングやニアレストネイバー等の画素の補間処理を用いているが、その他の画素の補間処理、例えば、バイリニアやバイキュービック等の補間処理も、同様にしてノイズの低減処理に用いることができる。
【0073】
なお、以上に説明したような画素の補間処理を用いたノイズの低減処理は、前述の空間平均の処理よりも計算処理の負荷が大きいため、前述の空間平均の処理を用いてノイズの低減処理を行う場合には、重複して行う必要はない。
【実施例0074】
以下、実施例を用いた検証により、本実施形態に係る撮像表示システムについて、さらに説明する。
実施例に係る撮像表示システム１は、撮像装置２０として図２（ｂ）に示す光学系を用い、表示装置４０として図３（ｂ）に示す光学系を用いて、被写体１０である、奥行き方向に所定の距離を設けた２枚の将棋の駒（歩兵（近距離）と桂馬（遠距離））の、３次元像の撮影および表示を行った。
実施例に係る撮像表示システム１は、撮像装置２０として図２（ｂ）に示す光学系を用い、表示装置４０として図３（ｂ）に示す光学系を用いて、被写体１０である、奥行き方向に所定の距離を設けた２枚の将棋の駒（歩兵（近距離）と桂馬（遠距離））の、３次元像の撮影および表示を行った。
【0075】
撮像装置２０としては、焦点距離500mmで直径10mmのレンズ２１Ｂと、変調領域サイズ12.8mm×12.8mmの空間光変調器２３Ｂａと、画素数2048×2048で画素ピッチが6.5μｍのＣＭＯＳの撮像素子２４Ｂを搭載したカメラを用いた。レンズ２１Ｂと空間光変調器２３Ｂａ間の光路上の距離を120mmとし、空間光変調器２３Ｂａと撮像素子２４Ｂの光路上の距離を200mmとした。また、複素振幅分布を検出するために４ステップの位相シフト法を用いた。
【0076】
表示装置４０としては、波長633nmのレーザー光源４１Ｂと、画素数1024×1024、画素ピッチ12.5μｍの空間光変調器４５Ｂを用いた。なお、空間光変調器４５Ｂの変調物理量は位相である。４ｆ光学系４６Ｂとしては、焦点距離が100mmの２枚のレンズ４６Ｂａ、Ｂｃを用いて構成した。
さらに、信号処理装置３０としては、Intel Core i7-9750H CPU（Intel、Coreは登録商標）、NVIDIA GeForce RTX 2060（NVIDIA、 GeForceは登録商標）が搭載されたコンピュータを用い、python（登録商標）により信号処理のプログラムを作成した。
さらに、信号処理装置３０としては、Intel Core i7-9750H CPU（Intel、Coreは登録商標）、NVIDIA GeForce RTX 2060（NVIDIA、 GeForceは登録商標）が搭載されたコンピュータを用い、python（登録商標）により信号処理のプログラムを作成した。
【0077】
上記撮像装置２０で撮影したディジタルホログラム群（位相を（π/２）ずつずらして４枚撮影）を図７（ａ）に示す。これらのディジタルホログラム群に対して、４ステップの位相シフト法のアルゴリズムを適用し、抽出した複素振幅分布を図７（ｂ）に示す。図７（ｂ）においては、わかりやすさのため、それぞれ2048×2048の画素の中から、光信号が存在する領域のみを切り出したものを表示している。
【0078】
また、この複素振幅分布からＣＧＨを得る手法、手段としては、図４Ａ、４Ｂを用いて上記に説明した手法、手段を用いた。
この複素振幅分布から生成した、伝搬計算適用後の再生像（被写界深度を拡張したもの）、シルエットおよびデプスマップを図７（ｃ）、（ｄ）および（ｅ）にそれぞれ示す。２値化の手法としては、複素振幅分布の絶対値の最大値の12％を閾値として用い、モルフォロジー変換には画角サイズに対する1％の幅のクロージング処理を適用した。また、デプスマップ作成の際のオートフォーカスの評価領域は、画角に対して24％の大きさに設定した。
この複素振幅分布から生成した、伝搬計算適用後の再生像（被写界深度を拡張したもの）、シルエットおよびデプスマップを図７（ｃ）、（ｄ）および（ｅ）にそれぞれ示す。２値化の手法としては、複素振幅分布の絶対値の最大値の12％を閾値として用い、モルフォロジー変換には画角サイズに対する1％の幅のクロージング処理を適用した。また、デプスマップ作成の際のオートフォーカスの評価領域は、画角に対して24％の大きさに設定した。
【0079】
信号処理装置３０を用い、図４Ａ、４Ｂの手法（具体的には、キャリア位相によって生じる非線形性を補正して高精度な複素振幅分布の変調を可能とした、前述した特願２０２０－１３８９６６号明細書に記載の手法を用いて作成した位相型のＣＧＨを図８に示す。このＣＧＨの画素数は1024×1024である。
【0080】
なお、撮像装置２０の撮像素子２４Ｂの画素ピッチは6.5μｍであり、また表示装置４０の空間光変調器４５Ｂの画素ピッチは12.5μｍであり、両者間では、およそ２倍のミスマッチがある。撮影したディジタルホログラムから撮像素子２４Ｂに由来するノイズ成分を除去するために、2×2画素の空間平均を行い、撮影したディジタルホログラムの有効な画素ピッチを13μｍ(＝6.5μｍ×2)とすることで、ミスマッチを最小化している。
【0081】
この位相型ＣＧＨを、位相変調型の空間光変調器４５Ｂに入力し、生成された光を、撮像素子を用いて撮影し、観察した。なお、生成される光は被写体の３次元情報を再現しているはずであるため、奥側の被写体（桂馬）の像と手前側の被写体（歩兵）の像のそれぞれに焦点が合うように撮像素子を光軸方向にずらして撮影した画像を図９に示す。
奥側の被写体（桂馬）に焦点が合う場合には手前側の被写体（歩兵）の像がぼやけたものとなり（図９（ａ））、逆に、手前側の被写体（歩兵）に焦点が合う場合には奥側の被写体（桂馬）の像がぼやけたものとなる（図９（ｂ））ことが明らかである。
奥側の被写体（桂馬）に焦点が合う場合には手前側の被写体（歩兵）の像がぼやけたものとなり（図９（ａ））、逆に、手前側の被写体（歩兵）に焦点が合う場合には奥側の被写体（桂馬）の像がぼやけたものとなる（図９（ｂ））ことが明らかである。
【0082】
このように、本実施例を用いた検証により、被写体１０の奥行き方向の前後関係が正しく得られていることが明らかである。したがって、本実施形態の撮像表示システムを用いることにより、インコヒーレントディジタルホログラフィに基づく撮像装置で取得した被写体像のディジタルホログラムの奥行距離情報を、実際の被写体を忠実に再現した３次元像情報に変換することで、実際の被写体１０と奥行距離が整合した３次元像を表示装置４０に表示可能である。
【0083】
本発明のインコヒーレントディジタルホログラム信号処理装置および撮像表示システムとしては、上述した実施形態のものに限られるものではなく、その他の種々の態様の変更が可能である。
例えば、上述した実施形態の撮像表示システムにおける撮像装置や表示装置の光学系としても、各部材を同様の機能を有する他の部材に適宜変更することが可能である。
また、上記実施形態においては、撮像装置の光学系として、マイケルソン型の干渉光学系（図２（ｂ）に示すような変型マイケルソン型の等光路長型干渉光学系を含む）を用いているが、マッハツェンダー型あるいは迂回路フィゾー型等の他の等光路長型の干渉光学系を用いることも可能である。
例えば、上述した実施形態の撮像表示システムにおける撮像装置や表示装置の光学系としても、各部材を同様の機能を有する他の部材に適宜変更することが可能である。
また、上記実施形態においては、撮像装置の光学系として、マイケルソン型の干渉光学系（図２（ｂ）に示すような変型マイケルソン型の等光路長型干渉光学系を含む）を用いているが、マッハツェンダー型あるいは迂回路フィゾー型等の他の等光路長型の干渉光学系を用いることも可能である。
【符号の説明】
【0084】
１ 撮像表示システム
１０ 被写体
２０、２０Ａ、２０Ｂ 撮像装置
２１Ａ、２１Ｂ、４２Ａ、４２Ｂ、４２Ｃ、４３Ａ、４３Ｂ、４３Ｃ、４６Ｂａ、４６Ｂｃ レンズ
２２Ａ、２２Ｂ 光合成分割素子
２３Ａ、２３Ｂ 球面位相付与光学素子
２３Ａａ 凹面鏡
２３Ａｂ 平面鏡
２３Ｂａ、４５Ａ、４５Ｂ、４５Ｃ 空間光変調器
２４Ａ、２４Ｂ 撮像素子
２５Ａ、２５Ｂ 波長フィルター
２６Ｂａ、２６Ｂｂ 偏光子
３０ 信号処理装置
４０、４０Ａ、４０Ｂ、４０Ｃ 表示装置
４１Ａ、４１Ｂ、４１Ｃ レーザー光源
４４Ａ、４４Ｂ、４４Ｃ 光反射手段
４６Ｂｂ フィルター
４７Ｃ 角度選択フィルター
５０ ３次元再構成像
１０ 被写体
２０、２０Ａ、２０Ｂ 撮像装置
２１Ａ、２１Ｂ、４２Ａ、４２Ｂ、４２Ｃ、４３Ａ、４３Ｂ、４３Ｃ、４６Ｂａ、４６Ｂｃ レンズ
２２Ａ、２２Ｂ 光合成分割素子
２３Ａ、２３Ｂ 球面位相付与光学素子
２３Ａａ 凹面鏡
２３Ａｂ 平面鏡
２３Ｂａ、４５Ａ、４５Ｂ、４５Ｃ 空間光変調器
２４Ａ、２４Ｂ 撮像素子
２５Ａ、２５Ｂ 波長フィルター
２６Ｂａ、２６Ｂｂ 偏光子
３０ 信号処理装置
４０、４０Ａ、４０Ｂ、４０Ｃ 表示装置
４１Ａ、４１Ｂ、４１Ｃ レーザー光源
４４Ａ、４４Ｂ、４４Ｃ 光反射手段
４６Ｂｂ フィルター
４７Ｃ 角度選択フィルター
５０ ３次元再構成像
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
