知財求人 - 知財ポータルサイト「IP Force」
特開2025-23713インコヒーレントディジタルホログラム信号処理装置および撮像装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025023713
(43)【公開日】2025-02-17
(54)【発明の名称】インコヒーレントディジタルホログラム信号処理装置および撮像装置
(51)【国際特許分類】
G03H 1/06 20060101AFI20250207BHJP
【ＦＩ】
G03H1/06
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023128090
(22)【出願日】2023-08-04
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100097984
【弁理士】
【氏名又は名称】川野 宏
(74)【代理人】
【識別番号】100125265
【弁理士】
【氏名又は名称】貝塚 亮平
(72)【発明者】
【氏名】信川 輝吉
(72)【発明者】
【氏名】片野 祐太郎
(72)【発明者】
【氏名】後藤 正英
(72)【発明者】
【氏名】室井 哲彦
(72)【発明者】
【氏名】萩原 啓
【テーマコード（参考）】
2K008
【Ｆターム（参考）】
2K008FF27
2K008HH06
2K008HH16
(57)【要約】
【課題】高精度、かつ高効率で、ディジタルホログラムから、被写界深度拡張画像およびデプスマップを得ることができるインコヒーレントディジタルホログラム信号処理装置および撮像装置を提供する。
【解決手段】インコヒーレントディジタルホログラフィーを撮影する光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離、ならびに該光学素子各々の配置間隔に基づき、被写体が存在し得ない再生距離の被写体不存在変域を求める被写体不存在変域決定手段３４を備え、再生距離／輝度値抽出手段３２における、鮮鋭度が最も高い値とされる局所領域を有する該再生像の探索処理から、前記被写体不存在変域決定手段３４により求められた被写体不存在変域の再生像の探索処理を予め排除しておくように構成されている。
【選択図】図２Ａ
【解決手段】インコヒーレントディジタルホログラフィーを撮影する光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離、ならびに該光学素子各々の配置間隔に基づき、被写体が存在し得ない再生距離の被写体不存在変域を求める被写体不存在変域決定手段３４を備え、再生距離／輝度値抽出手段３２における、鮮鋭度が最も高い値とされる局所領域を有する該再生像の探索処理から、前記被写体不存在変域決定手段３４により求められた被写体不存在変域の再生像の探索処理を予め排除しておくように構成されている。
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
被写体を光の自己干渉を利用して撮影してなるインコヒーレントディジタルホログラム情報を入力され、入力された該インコヒーレントディジタルホログラム情報に対して、
再生距離を変更しながら伝搬計算を逐次適用し、該再生距離が異なる複数の再生像からなる再生像群を得る再生像群取得手段と、
得られた該再生像群の該再生像の各々における、互いに対応する任意の画素位置に注目し、その画素位置を中心とした所定の局所領域内の鮮鋭度を評価し、該再生像群の該再生像のうち該鮮鋭度が最も高い値とされた局所領域が得られた所定の該再生像の前記再生距離と、該鮮鋭度が最も高い値とされた局所領域に係る画素位置での輝度値とを抽出する再生距離／輝度値抽出手段と、
前記再生像の、画像領域に含まれる複数の画素位置の各々について、該再生距離／輝度値抽出手段により抽出された前記再生距離と前記輝度値に基づいて被写界深度拡張画像および該再生距離のデプスマップを取得する被写界深度拡張画像／デプスマップ取得手段と、
インコヒーレントディジタルホログラムを撮影する光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離、および該光学素子各々の配置間隔に基づき、被写体が存在し得ない前記再生距離の被写体不存在変域を求める被写体不存在変域決定手段と、を備え、
前記再生距離／輝度値抽出手段における、前記鮮鋭度が最も高い値とされる局所領域に係る該再生像を探索する所定の該再生像の探索処理から、前記被写体不存在変域決定手段により求められた前記被写体不存在変域の該再生像の探索処理を予め排除しておくように構成されていることを特徴とするインコヒーレントディジタルホログラム信号処理装置。
再生距離を変更しながら伝搬計算を逐次適用し、該再生距離が異なる複数の再生像からなる再生像群を得る再生像群取得手段と、
得られた該再生像群の該再生像の各々における、互いに対応する任意の画素位置に注目し、その画素位置を中心とした所定の局所領域内の鮮鋭度を評価し、該再生像群の該再生像のうち該鮮鋭度が最も高い値とされた局所領域が得られた所定の該再生像の前記再生距離と、該鮮鋭度が最も高い値とされた局所領域に係る画素位置での輝度値とを抽出する再生距離／輝度値抽出手段と、
前記再生像の、画像領域に含まれる複数の画素位置の各々について、該再生距離／輝度値抽出手段により抽出された前記再生距離と前記輝度値に基づいて被写界深度拡張画像および該再生距離のデプスマップを取得する被写界深度拡張画像／デプスマップ取得手段と、
インコヒーレントディジタルホログラムを撮影する光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離、および該光学素子各々の配置間隔に基づき、被写体が存在し得ない前記再生距離の被写体不存在変域を求める被写体不存在変域決定手段と、を備え、
前記再生距離／輝度値抽出手段における、前記鮮鋭度が最も高い値とされる局所領域に係る該再生像を探索する所定の該再生像の探索処理から、前記被写体不存在変域決定手段により求められた前記被写体不存在変域の該再生像の探索処理を予め排除しておくように構成されていることを特徴とするインコヒーレントディジタルホログラム信号処理装置。
【請求項2】
前記再生像の、画像領域に含まれる複数の画素が、該再生像を構成するすべての画素であることを特徴とする請求項１に記載のインコヒーレントディジタルホログラム信号処理装置。
【請求項3】
前記インコヒーレントディジタルホログラムを撮影する光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離および開口径、波長フィルタの中心波長と波長幅、撮像素子の画素ピッチのパラメータおよび該光学素子各々の配置位置の各情報に基づいて奥行き分解能を求める奥行き分解能算出手段を備え、
前記再生像群取得手段において、該再生距離が異なる複数の再生像を得る際の各該再生像までの伝搬距離の刻み幅を、該奥行き分解能算出手段により求められた奥行き分解能の値が低い領域ほど、長くなるように設定する伝搬距離刻み幅設定手段を備えたことを特徴とする請求項１に記載のインコヒーレントディジタルホログラム信号処理装置。
前記再生像群取得手段において、該再生距離が異なる複数の再生像を得る際の各該再生像までの伝搬距離の刻み幅を、該奥行き分解能算出手段により求められた奥行き分解能の値が低い領域ほど、長くなるように設定する伝搬距離刻み幅設定手段を備えたことを特徴とする請求項１に記載のインコヒーレントディジタルホログラム信号処理装置。
【請求項4】
前記再生像の、画像領域に含まれる複数の画素が、該再生像を構成するすべての画素であることを特徴とする請求項３に記載のインコヒーレントディジタルホログラム信号処理装置。
【請求項5】
請求項１に記載のインコヒーレントディジタルホログラム信号処理装置と、前記インコヒーレントディジタルホログラムを撮影する光学系および撮像素子とを備えたことを特徴とする撮像装置。
【請求項6】
前記インコヒーレントディジタルホログラム信号処理装置は、前記光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離および開口径、波長フィルタの中心波長と波長幅、撮像素子の画素ピッチのパラメータおよび該光学素子各々の配置位置の各情報に基づいて決定された奥行き分解能の値に応じ、奥行き分解能の値が低い領域ほど、伝搬距離の刻み幅の間隔が長くなるように設定する伝搬距離刻み幅設定手段を備えたことを特徴とする請求項５に記載の撮像装置。
【請求項7】
請求項１～４のうちいずれかのインコヒーレントディジタルホログラム信号処理装置と、該インコヒーレントディジタルホログラム信号処理装置に入力される被写体の３次元像情報を光の自己干渉を利用して撮影する光学系および撮像素子と、該インコヒーレントディジタルホログラム信号処理装置により信号情報処理を施された該被写体の３次元像情報を入力されて、該被写体の３次元再生像を表示するホログラム表示装置と、を備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はディジタルホログラフィー、特に、インコヒーレントディジタルホログラフィーの信号処理を行うインコヒーレントディジタルホログラム信号処理装置およびそれを備えた撮像装置に関する。
【背景技術】
【0002】
インコヒーレントディジタルホログラフィーは、レーザー光を必要とせず、太陽光やLED、蛍光などのインコヒーレントな光でホログラムを撮影できる技術である（非特許文献１を参照）。本技術を用いて、蛍光の３次元顕微鏡や、太陽光下での３次元カメラ、放射温度分布の３次元測定器など、従来型のレーザー光を使用するディジタルホログラフィーでは実現できなかった機器を構築することができる（非特許文献１を参照）。
【0003】
インコヒーレントディジタルホログラフィーでは、被写体からの反射光を、インコヒーレント光の自己干渉を応用してホログラムに変換し、これをディジタルホログラムとして撮像素子で撮影する。信号処理部で、撮影したディジタルホログラムに対して、任意の距離を伝搬させるフレネル伝搬や角スペクトルの計算を適用することで、被写体の２次元の再生像が得られる。伝搬させる距離（伝搬距離）を連続的に変化させて得た再生像群（リフォーカス画像群）に基づいて、被写体の３次元情報を再構成することができる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Joseph Rosen、Simon Alford、Vijayakumar Anand、Jonathan Art、Petr Bouchal、Zdenek Bouchal、Munkh-Uchral Erdenebat、Lingling Huang、Ayumi Ishii、Saulius Juodkazis、Nam Kim、Peter Kner、Takako Koujin、Yuichi Kozawa、Dong Liang、Jun Liu、Christopher Mann、Abhijit Marar、Atsushi Matsuda、Teruyoshi Nobukawa、Takanori Nomura、Ryutaro Oi、Mariana Potcoava、Tatsuki Tahara、Bang L. Thanh、and Hongqiang Zhou、「Roadmap on Recent Progress in FINCH Technology」、Journal of Imaging、(2021)、vol． 7、197．
【非特許文献2】Conor P. McElhinney、Bryan M. Hennelly、and Thomas J. Naughton, 、「Extended focused imaging for digital holograms of macroscopic three-dimensional objects」、Applied Optics、(2008)、vol．47、pp.D71-D79．
【発明の概要】
【発明が解決しようとする課題】
【0005】
以上のようにディジタルホログラムには、被写体の３次元情報が含まれている。しかしながら、被写体の３次元情報は、複雑な２次元の位相分布として反映されているため、ディジタルホログラムから直接、被写体の奥行き距離情報を定量的に得ることができない。
【0006】
通常、ディジタルホログラムから被写体の奥行き距離情報を取得するためには、伝搬距離を等間隔に変化させて再構成したリフォーカス画像群から、鮮鋭度の最も高い再生像を同定し、その再生像が得られる際の伝搬距離を、被写体の奥行き距離とみなす（非特許文献２を参照）。
しかしながら、この手法では、被写体が存在し得ない領域範囲についても伝搬距離を変化させて伝搬計算を行うことになるため、計算負荷が大きく、多大な計算時間を要してしまう。
しかしながら、この手法では、被写体が存在し得ない領域範囲についても伝搬距離を変化させて伝搬計算を行うことになるため、計算負荷が大きく、多大な計算時間を要してしまう。
【0007】
本発明は、高精度かつ高効率に、ディジタルホログラムから、被写界深度拡張画像およびデプスマップを得ることができるインコヒーレントディジタルホログラム信号処理装置および撮像装置を提供することを目的とするものである。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明の第１のインコヒーレントディジタルホログラム信号処理装置は、
被写体を光の自己干渉を利用して撮影してなるインコヒーレントディジタルホログラム情報を入力され、入力された該インコヒーレントディジタルホログラム情報に対して、
再生距離を変更しながら伝搬計算を逐次適用し、該再生距離が異なる複数の再生像からなる再生像群を得る再生像群取得手段と、
得られた該再生像群の該再生像の各々における、互いに対応する任意の画素位置に注目し、その画素位置を中心とした所定の局所領域内の鮮鋭度を評価し、該再生像群の該再生像のうち該鮮鋭度が最も高い値とされた局所領域が得られた所定の該再生像の前記再生距離と、該鮮鋭度が最も高い値とされた局所領域に係る画素位置での輝度値とを抽出する再生距離／輝度値抽出手段と、
前記再生像の、画像領域に含まれる複数の画素位置の各々について、該再生距離／輝度値抽出手段により抽出された前記再生距離と前記輝度値に基づいて被写界深度拡張画像および該再生距離のデプスマップを取得する被写界深度拡張画像／デプスマップ取得手段と、
インコヒーレントディジタルホログラムを撮影する光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離、および該光学素子各々の配置間隔に基づき、被写体が存在し得ない前記再生距離の被写体不存在変域を求める被写体不存在変域決定手段と、を備え、
前記再生距離／輝度値抽出手段における、前記鮮鋭度が最も高い値とされる局所領域に係る該再生像を探索する所定の該再生像の探索処理から、前記被写体不存在変域決定手段により求められた前記被写体不存在変域の該再生像の探索処理を予め排除しておくように構成されていることを特徴とするものである。
被写体を光の自己干渉を利用して撮影してなるインコヒーレントディジタルホログラム情報を入力され、入力された該インコヒーレントディジタルホログラム情報に対して、
再生距離を変更しながら伝搬計算を逐次適用し、該再生距離が異なる複数の再生像からなる再生像群を得る再生像群取得手段と、
得られた該再生像群の該再生像の各々における、互いに対応する任意の画素位置に注目し、その画素位置を中心とした所定の局所領域内の鮮鋭度を評価し、該再生像群の該再生像のうち該鮮鋭度が最も高い値とされた局所領域が得られた所定の該再生像の前記再生距離と、該鮮鋭度が最も高い値とされた局所領域に係る画素位置での輝度値とを抽出する再生距離／輝度値抽出手段と、
前記再生像の、画像領域に含まれる複数の画素位置の各々について、該再生距離／輝度値抽出手段により抽出された前記再生距離と前記輝度値に基づいて被写界深度拡張画像および該再生距離のデプスマップを取得する被写界深度拡張画像／デプスマップ取得手段と、
インコヒーレントディジタルホログラムを撮影する光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離、および該光学素子各々の配置間隔に基づき、被写体が存在し得ない前記再生距離の被写体不存在変域を求める被写体不存在変域決定手段と、を備え、
前記再生距離／輝度値抽出手段における、前記鮮鋭度が最も高い値とされる局所領域に係る該再生像を探索する所定の該再生像の探索処理から、前記被写体不存在変域決定手段により求められた前記被写体不存在変域の該再生像の探索処理を予め排除しておくように構成されていることを特徴とするものである。
【0009】
ここで、前記再生像の、画像領域に含まれる複数の画素が、該再生像を構成するすべての画素であることが好ましい。
【0010】
また、上記「その画素位置を中心とした所定の局所領域」とは、その画素位置を中心として含み、その画素の周囲を囲むように各画素を配置して、例えば、計９画素からなる領域全体を称する。勿論、計９画素からなる領域のさらに周囲を囲むように各画素を配置して、例えば、計２５画素からなる領域としてもよい。また、各画素（１画素）により、上記「その画素位置を中心とした所定の局所領域」を構成することを排除するものではない。また、局所領域の形状としても、矩形に限られるものではなく、円径や楕円形等の他の形状も適用することができる。
【0011】
また、本発明の第２のインコヒーレントディジタルホログラム信号処理装置は、
前記第１のインコヒーレントディジタルホログラム信号処理装置において、
前記インコヒーレントディジタルホログラムを撮影する光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離および開口径、波長フィルタの中心波長と波長幅、撮像素子の画素ピッチのパラメータおよび該光学素子各々の配置位置の各情報に基づいて奥行き分解能を求める奥行き分解能算出手段を備え、
前記再生像群取得手段において、該再生距離が異なる複数の再生像を得る際の各該再生像までの伝搬距離の刻み幅を、該奥行き分解能算出手段により求められた奥行き分解能の値が低い領域ほど、長くなるように設定する伝搬距離刻み幅設定手段を備えたことを特徴とするものである。
前記第１のインコヒーレントディジタルホログラム信号処理装置において、
前記インコヒーレントディジタルホログラムを撮影する光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離および開口径、波長フィルタの中心波長と波長幅、撮像素子の画素ピッチのパラメータおよび該光学素子各々の配置位置の各情報に基づいて奥行き分解能を求める奥行き分解能算出手段を備え、
前記再生像群取得手段において、該再生距離が異なる複数の再生像を得る際の各該再生像までの伝搬距離の刻み幅を、該奥行き分解能算出手段により求められた奥行き分解能の値が低い領域ほど、長くなるように設定する伝搬距離刻み幅設定手段を備えたことを特徴とするものである。
【0012】
ここで、第２のインコヒーレントディジタルホログラム信号処理装置において、
前記再生像の、画像領域に含まれる複数の画素が、該再生像を構成するすべての画素であることが好ましい。
前記再生像の、画像領域に含まれる複数の画素が、該再生像を構成するすべての画素であることが好ましい。
【0013】
本発明の第１の撮像装置は、前記第１のインコヒーレントディジタルホログラム信号処理装置と、前記インコヒーレントディジタルホログラムを撮影する光学系および撮像素子とを備えたことを特徴とするものである。
【0014】
また、本発明の第２の撮像装置は、
前記第１の撮像装置において、
前記インコヒーレントディジタルホログラム信号処理装置が、前記光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離および開口径、波長フィルタの中心波長と波長幅、撮像素子の画素ピッチのパラメータおよび該光学素子各々の配置位置の各情報に基づいて決定された奥行き分解能の値に応じ、奥行き分解能の値が低い領域ほど、伝搬距離の刻み幅の間隔が長くなるように設定する伝搬距離刻み幅設定手段を備えたことを特徴とするものである。
前記第１の撮像装置において、
前記インコヒーレントディジタルホログラム信号処理装置が、前記光学系を構成するレンズおよび球面位相付与素子を含む光学素子各々の焦点距離および開口径、波長フィルタの中心波長と波長幅、撮像素子の画素ピッチのパラメータおよび該光学素子各々の配置位置の各情報に基づいて決定された奥行き分解能の値に応じ、奥行き分解能の値が低い領域ほど、伝搬距離の刻み幅の間隔が長くなるように設定する伝搬距離刻み幅設定手段を備えたことを特徴とするものである。
【0015】
さらに、本発明の第３の撮像装置は、
上述したいずれかのインコヒーレントディジタルホログラム信号処理装置と、該インコヒーレントディジタルホログラム信号処理装置に入力される被写体の３次元像情報を光の自己干渉を利用して撮影する光学系および撮像素子と、該インコヒーレントディジタルホログラム信号処理装置により信号情報処理を施された該被写体の３次元像情報を入力されて、該被写体の３次元再生像を表示するホログラム表示装置と、を備えていることが好ましい。
上述したいずれかのインコヒーレントディジタルホログラム信号処理装置と、該インコヒーレントディジタルホログラム信号処理装置に入力される被写体の３次元像情報を光の自己干渉を利用して撮影する光学系および撮像素子と、該インコヒーレントディジタルホログラム信号処理装置により信号情報処理を施された該被写体の３次元像情報を入力されて、該被写体の３次元再生像を表示するホログラム表示装置と、を備えていることが好ましい。
【発明の効果】
【0016】
本発明のインコヒーレントディジタルホログラム信号処理装置および撮像装置によれば、被写体が存在し得る再生距離の変域を、インコヒーレントディジタルホログラフィー撮像装置を構成する光学素子（レンズ、球面位相付与素子）の焦点距離および、それぞれの配置間隔により決定し、少なくともその変域から外れる再生距離を、鮮鋭度が最も高くなる再生距離の探索範囲から予め排除しておくことで、光学系を変更することなく、インコヒーレントディジタルホログラフィーの技術で撮影したディジタルホログラムから、高精度かつ高効率に被写体のデプスマップと被写界深度拡張画像が得られる。
なお、本発明のインコヒーレントディジタルホログラム信号処理装置および撮像装置は、特に、被写界深度拡張画像の生成手法に着目した点において、従来技術とは大きく異なる。
なお、本発明のインコヒーレントディジタルホログラム信号処理装置および撮像装置は、特に、被写界深度拡張画像の生成手法に着目した点において、従来技術とは大きく異なる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係る撮像装置の構成を示す概略図である。
【図2A】本発明の実施形態に係る信号処理装置の基本的な構成を示すブロック図である。
【図2B】本発明の実施形態に係る信号処理装置に保持されている情報・データの入出力関係を説明するための概念図である。
【図4】実施例に係る撮像装置の光学系（fo=250 mm、fd1=400 mm、fd2= ∞ mm、zl=10 mm）における、ｚｓとｚｒの関係を示すグラフである（（ａ）zh =200 mmとした場合、（ｂ）zh =600 mmとした場合、（ｃ）zh =800 mmとした場合）。
【図5】実施例に係る撮像装置の光学系（fo=300 mm、fd1=400 mm、fd2= ∞ mm、zl=300 mm）における、ｚｓとｚｒの関係を示すグラフである（（ａ）zh =100 mmとした場合、（ｂ）zh =300 mmとした場合、（ｃ）zh =600 mmとした場合）。
【図6】実施例に係る撮像装置により再生した被写体の再生構成像を示す図である（（ａ）後方の被写体に焦点を合わせて撮影した場合、（ｂ）前方の被写体に焦点を合わせて撮影した場合）。
【図7】実施例に係る撮像装置におけるｚｓとｚｒの関係を示すグラフである。
【図8】実施例の適用結果を示す図である（（ａ）被写界深度拡張画像（ｂ）デプスマップ）。
【図9】異なる光学系を用いて、奥行き距離が異なる２種の被写体を撮影し、実施例手法により被写界深度拡張画像とデプスマップを取得した結果を示す（（ａ）将棋の駒の画像（ｂ）動物の人形の画像）。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態に係るインコヒーレントディジタルホログラム信号処理装置および撮像装置について図面を用いて説明する。
まず、図１に本実施形態に係るインコヒーレントディジタルホログラム信号処理装置２６を備えた撮像装置１の概念図を示す。
本実施形態に係る撮像装置１は、２光束のマイケルソン干渉計に基づく光学系の態様をなすものであり、自己干渉のホログラムを撮影するための光学系（２１，２２、２３Ａ、２３Ｂ、２５）および撮像素子２４と、撮影したホログラムを再生するための信号処理装置２６とにより構成される。すなわち、被写体１０の自己干渉ホログラム像を撮影するために、レンズ（撮像レンズ）２１、このレンズ２１を介して入射した光を２つの光に分割するとともに、２つの光を合成して干渉光を得るためのビームスプリッタ（光合成分割素子）２２、被写体１０の奥行距離情報をホログラムに反映させるための凹面鏡２３Ａおよび平面鏡２３Ｂ（凹面鏡２３Ａおよび平面鏡２３Ｂを併せて球面位相付与光学素子と称する）により光学系が構成され、さらに、ホログラムを撮影するための撮像素子２４が配設される。
まず、図１に本実施形態に係るインコヒーレントディジタルホログラム信号処理装置２６を備えた撮像装置１の概念図を示す。
本実施形態に係る撮像装置１は、２光束のマイケルソン干渉計に基づく光学系の態様をなすものであり、自己干渉のホログラムを撮影するための光学系（２１，２２、２３Ａ、２３Ｂ、２５）および撮像素子２４と、撮影したホログラムを再生するための信号処理装置２６とにより構成される。すなわち、被写体１０の自己干渉ホログラム像を撮影するために、レンズ（撮像レンズ）２１、このレンズ２１を介して入射した光を２つの光に分割するとともに、２つの光を合成して干渉光を得るためのビームスプリッタ（光合成分割素子）２２、被写体１０の奥行距離情報をホログラムに反映させるための凹面鏡２３Ａおよび平面鏡２３Ｂ（凹面鏡２３Ａおよび平面鏡２３Ｂを併せて球面位相付与光学素子と称する）により光学系が構成され、さらに、ホログラムを撮影するための撮像素子２４が配設される。
【0019】
すなわち、図１の光学系では、被写体１０から伝搬してくる光をレンズ２１で集光し、これをビームスプリッタ２２で２光束に分割して、自己干渉に必要な第１分割光と第２分割光を得る。なお、レンズ２１の使用は任意であり、倍率の調整や光利用効率の向上のために用いる。
被写体１０の３次元情報を自己干渉のホログラムに反映させるためには、第１分割光と第２分割光のそれぞれに、球面位相を付与する役割を備えた光学素子である球面位相付与素子を用いて、異なる曲率半径の球面位相を付与することになるが、通常は、図１に示すように、凹面鏡２３Ａや平面鏡２３Ｂを用いる。なお、平面鏡２３Ｂは、光を反射させるだけで、平面の位相分布を付与することに相当するが、曲率半径が無限大の球面位相を付与する素子と見なすことができ、球面位相付与素子の一つとして扱われる。
この後、球面位相付与素子で変調した２つの光を、ビームスプリッタ２２によって合波することで、撮像素子２４の素子面上に形成された自己干渉のホログラムを撮影することができる。
被写体１０の３次元情報を自己干渉のホログラムに反映させるためには、第１分割光と第２分割光のそれぞれに、球面位相を付与する役割を備えた光学素子である球面位相付与素子を用いて、異なる曲率半径の球面位相を付与することになるが、通常は、図１に示すように、凹面鏡２３Ａや平面鏡２３Ｂを用いる。なお、平面鏡２３Ｂは、光を反射させるだけで、平面の位相分布を付与することに相当するが、曲率半径が無限大の球面位相を付与する素子と見なすことができ、球面位相付与素子の一つとして扱われる。
この後、球面位相付与素子で変調した２つの光を、ビームスプリッタ２２によって合波することで、撮像素子２４の素子面上に形成された自己干渉のホログラムを撮影することができる。
【0020】
なお、一般的には、光源の波長幅が狭いほうが、高い分解能で被写体１０の３次元情報を得ることができるため、光学系に波長フィルタ（バンドパスフィルタ）２５を設置してもよい。また、その波長フィルタの中心波長を任意に変えることで、任意の色成分のホログラムが得られる。
撮像素子２４により撮影されたホログラムは、信号処理装置２６に転送される。撮像素子２４としては、波長フィルタを搭載していないモノクロのものや、ベイヤー配列のカラーフィルタを搭載したもの、さらには、偏光子アレイフィルタを搭載したもの等を用いてもよい。
また、レンズ２１に関して、図１では一つだけ用いるようにしているが、任意の光路に、任意の数の、種々のタイプのレンズを配設することができる。
撮像素子２４により撮影されたホログラムは、信号処理装置２６に転送される。撮像素子２４としては、波長フィルタを搭載していないモノクロのものや、ベイヤー配列のカラーフィルタを搭載したもの、さらには、偏光子アレイフィルタを搭載したもの等を用いてもよい。
また、レンズ２１に関して、図１では一つだけ用いるようにしているが、任意の光路に、任意の数の、種々のタイプのレンズを配設することができる。
【0021】
なお、本実施形態において用いられる光学系は、図１に示すマイケルソン干渉計タイプのものに限定されるものでなく、偏光を利用した共通光路干渉計、サニャック干渉計、あるいはマッハツェンダー干渉計や迂回路フィゾー型等の他の等光路長型の干渉計を用いることも可能である。
また、高精度に被写体の３次元情報を得るためには、撮影したホログラムの０次光成分、共役像成分を除去する方がよく、これらを除去するために、位相シフト法やオフアクシス法を適用することができる。
また、高精度に被写体の３次元情報を得るためには、撮影したホログラムの０次光成分、共役像成分を除去する方がよく、これらを除去するために、位相シフト法やオフアクシス法を適用することができる。
【0022】
上記位相シフト法を適用するためには、図１の光学系の場合、凹面鏡２３Ａと平面鏡２３Ｂのうちの一方をピエゾ素子や移動ステージに設置し、これを光源の波長の所定位相（例えばλ/４）に相当する距離だけ走査し、２つの分割光間に位相シフト量を付与して、その都度ホログラムを撮影する。
また、オフアクシス法を適用する場合には、凹面鏡２３Ａと平面鏡２３Ｂの一方を他方に対して微小に傾け、ホログラムを撮影する。
また、オフアクシス法を適用する場合には、凹面鏡２３Ａと平面鏡２３Ｂの一方を他方に対して微小に傾け、ホログラムを撮影する。
【0023】
［信号処理装置］
次に、撮像装置１を構成する信号処理装置２６について、詳しく説明する。
本実施形態に係る信号処理装置２６においては、特に、以下の２つの処理を行うことを要旨としているものであるので、まず、これら２つの処理＜１＞、＜２＞について簡単に説明する。
次に、撮像装置１を構成する信号処理装置２６について、詳しく説明する。
本実施形態に係る信号処理装置２６においては、特に、以下の２つの処理を行うことを要旨としているものであるので、まず、これら２つの処理＜１＞、＜２＞について簡単に説明する。
【0024】
＜１＞変域から外れる再生距離を、鮮鋭度が最も高くなる再生距離の探索範囲から排除しておく処理
１．撮影したディジタルホログラムに対して、再生距離を変更しながら伝搬計算を逐次適用し、再生距離が異なる再生像群を得る。
２．再生像群の各再生像における特定の画素位置に注目し、その画素位置を中心とした局所領域内の鮮鋭度を評価し、鮮鋭度が最も高い値となる再生像が得られる再生距離と、その再生像の注目した画素位置での輝度値を抽出する。
３．以上の処理を、再生像の面内ですべての画素位置を中心として行うことで、以下のａ、ｂを得る。
ａ.再生距離の２次元分布を、再生距離のデプスマップとして得る。
ｂ.輝度値の２次元分布を、被写界深度拡張画像として得る。
４．なお、被写体１０が存在し得る再生距離の変域は、撮像装置１を構成する光学素子（レンズ２１および球面位相付与素子（２３Ａ、２３Ｂ））の焦点距離および、その光学素子それぞれの配置間隔に基づいて決定され、少なくともその変域から外れる再生距離を、あらかじめ鮮鋭度が最も高くなる再生距離の探索範囲から排除しておく。これにより、従来技術と比べて、伝搬計算・鮮鋭度評価における不要な計算を低減できる。
１．撮影したディジタルホログラムに対して、再生距離を変更しながら伝搬計算を逐次適用し、再生距離が異なる再生像群を得る。
２．再生像群の各再生像における特定の画素位置に注目し、その画素位置を中心とした局所領域内の鮮鋭度を評価し、鮮鋭度が最も高い値となる再生像が得られる再生距離と、その再生像の注目した画素位置での輝度値を抽出する。
３．以上の処理を、再生像の面内ですべての画素位置を中心として行うことで、以下のａ、ｂを得る。
ａ.再生距離の２次元分布を、再生距離のデプスマップとして得る。
ｂ.輝度値の２次元分布を、被写界深度拡張画像として得る。
４．なお、被写体１０が存在し得る再生距離の変域は、撮像装置１を構成する光学素子（レンズ２１および球面位相付与素子（２３Ａ、２３Ｂ））の焦点距離および、その光学素子それぞれの配置間隔に基づいて決定され、少なくともその変域から外れる再生距離を、あらかじめ鮮鋭度が最も高くなる再生距離の探索範囲から排除しておく。これにより、従来技術と比べて、伝搬計算・鮮鋭度評価における不要な計算を低減できる。
【0025】
＜２＞奥行き分解能に基づいて、伝搬距離の刻み幅を不等間隔に設定する処理
撮像装置１の光学系を構成するレンズ２１と球面位相付与素子（２３Ａ、２３Ｂ））の焦点距離と開口径、波長フィルタの中心波長と波長幅、撮像素子の画素ピッチのパラメータおよびそれぞれの光学素子の配置位置によって決定される奥行き分解能に基づいて、伝搬距離の刻み幅を不等間隔に設定する処理を行う。ここでの不当間隔とは、奥行き分解能が低い領域ほど、伝搬距離の刻み幅が長くなるように変化させた間隔、のことを称する。これにより、不要な探索の削減が可能となり、高精度に被写界深度拡張画像およびデプスマップを得ることができる。
なお、上述した各処理が行われるための必要条件は、上記信号処理装置２６に、光学系の各素子（光学素子（レンズ２１と球面位相付与素子（２３Ａ、２３Ｂ））の焦点距離、およびそれらの各素子各々の配設間隔）がすべて保存されていることである。
撮像装置１の光学系を構成するレンズ２１と球面位相付与素子（２３Ａ、２３Ｂ））の焦点距離と開口径、波長フィルタの中心波長と波長幅、撮像素子の画素ピッチのパラメータおよびそれぞれの光学素子の配置位置によって決定される奥行き分解能に基づいて、伝搬距離の刻み幅を不等間隔に設定する処理を行う。ここでの不当間隔とは、奥行き分解能が低い領域ほど、伝搬距離の刻み幅が長くなるように変化させた間隔、のことを称する。これにより、不要な探索の削減が可能となり、高精度に被写界深度拡張画像およびデプスマップを得ることができる。
なお、上述した各処理が行われるための必要条件は、上記信号処理装置２６に、光学系の各素子（光学素子（レンズ２１と球面位相付与素子（２３Ａ、２３Ｂ））の焦点距離、およびそれらの各素子各々の配設間隔）がすべて保存されていることである。
【0026】
次に、図２Ａを用いて上記信号処理装置２６の基本的な構成を説明する。
まず、本実施形態に係る信号処理装置２６は、被写体１０を光の自己干渉を利用して撮影して得たインコヒーレントディジタルホログラム情報を入力され、入力された該インコヒーレントディジタルホログラム情報に対して、再生距離を変更しながら伝搬計算を逐次適用し、この再生距離が異なる複数の再生像からなる再生像群を得る再生像群取得手段３１と、再生像群取得手段３１により得られた再生像群の再生像の各々における、互いに対応する任意の画素位置に注目し、その画素位置を中心とした所定の局所領域内の鮮鋭度を評価し、再生像群の再生像のうち鮮鋭度が最も高い値とされた局所領域が得られた再生像の再生距離と、鮮鋭度が最も高い値とされた局所領域に係る画素位置での輝度値とを抽出する再生距離／輝度値抽出手段３２と、再生像の、画像領域に含まれる複数の画素位置の各々について、再生距離／輝度値抽出手段３２により抽出された再生距離と輝度値に基づいて被写界深度拡張画像および再生距離のデプスマップを取得する被写界深度拡張画像／デプスマップ取得手段３３とを備えている。
まず、本実施形態に係る信号処理装置２６は、被写体１０を光の自己干渉を利用して撮影して得たインコヒーレントディジタルホログラム情報を入力され、入力された該インコヒーレントディジタルホログラム情報に対して、再生距離を変更しながら伝搬計算を逐次適用し、この再生距離が異なる複数の再生像からなる再生像群を得る再生像群取得手段３１と、再生像群取得手段３１により得られた再生像群の再生像の各々における、互いに対応する任意の画素位置に注目し、その画素位置を中心とした所定の局所領域内の鮮鋭度を評価し、再生像群の再生像のうち鮮鋭度が最も高い値とされた局所領域が得られた再生像の再生距離と、鮮鋭度が最も高い値とされた局所領域に係る画素位置での輝度値とを抽出する再生距離／輝度値抽出手段３２と、再生像の、画像領域に含まれる複数の画素位置の各々について、再生距離／輝度値抽出手段３２により抽出された再生距離と輝度値に基づいて被写界深度拡張画像および再生距離のデプスマップを取得する被写界深度拡張画像／デプスマップ取得手段３３とを備えている。
【0027】
また、本実施形態に係る信号処理装置２６は、インコヒーレントディジタルホログラフィーを撮影する光学系を構成するレンズ２１および球面位相付与素子（２３Ａ、２３Ｂ）を含む光学素子各々の焦点距離、およびこれら光学素子各々の配置間隔に基づき、被写体１０が存在し得ない再生距離の被写体不存在変域を求める被写体不存在変域決定手段３４を備え、再生距離／輝度値抽出手段３２における、鮮鋭度が最も高い値とされる局所領域に係る再生像を探索する再生像の探索処理から、被写体不存在変域決定手段３４により求められた被写体不存在変域の再生像の探索処理を予め排除しておくように構成されている。
【0028】
さらに、本実施形態に係る信号処理装置２６は、インコヒーレントディジタルホグラフィーを撮影する光学系を構成するレンズ２１および球面位相付与素子（２３Ａ、２３Ｂ）を含む光学素子各々の焦点距離および開口径、波長フィルタ２５の中心波長と波長幅、撮像素子２４の画素ピッチのパラメータおよびこれらの光学素子各々の配置位置の各情報に基づいて奥行き分解能を求める奥行き分解能算出手段３５を備え、再生像群取得手段３１において、再生距離が異なる複数の再生像を得る際の各再生像までの伝搬距離の刻み幅を、奥行き分解能算出手段３５により求められた奥行き分解能の値が低い領域ほど、長くなるように設定する伝搬距離刻み幅設定手段３６を備えている。
【0029】
以下、図２Ｂを用いて、信号処理装置２６に保持されている情報・データの入出力関係を説明する。図２Ｂに示すように、この信号処理装置２６は、事前の計算処理手段２６Ａおよび撮影時の計算処理手段２６Ｂを備えている。
まず、撮像装置構成時の光学素子・撮像素子のパラメータ、これら素子の配置データ、およびホログラムの中心波長の情報等が、事前の計算処理手段２６Ａに転送され保存される。これにより、事前の計算処理手段２６Ａでは、少なくとも、光学系を構成するすべてのレンズ２１の焦点距離、球面位相付与素子（２３Ａ、２３Ｂ）の焦点距離、撮像素子２４の画素ピッチ、およびこれらの光学素子（２１、２３Ａ、２３Ｂ）の配置距離の情報に基づき、デプスマップの探索範囲を算出する（２６１）（上記＜１＞の処理に対応する）。
このように、これらの情報を参照することで、被写体１０が存在し得る奥行き距離に対応した再生距離の変域を知ることができ、デプスマップ・被写界深度拡張画像を生成する際の距離探索の際に、無駄な探索をあらかじめ排除できるため、計算負荷を軽減できるとともに、誤った結果に陥る可能性を低減でき高精度化が可能である。
まず、撮像装置構成時の光学素子・撮像素子のパラメータ、これら素子の配置データ、およびホログラムの中心波長の情報等が、事前の計算処理手段２６Ａに転送され保存される。これにより、事前の計算処理手段２６Ａでは、少なくとも、光学系を構成するすべてのレンズ２１の焦点距離、球面位相付与素子（２３Ａ、２３Ｂ）の焦点距離、撮像素子２４の画素ピッチ、およびこれらの光学素子（２１、２３Ａ、２３Ｂ）の配置距離の情報に基づき、デプスマップの探索範囲を算出する（２６１）（上記＜１＞の処理に対応する）。
このように、これらの情報を参照することで、被写体１０が存在し得る奥行き距離に対応した再生距離の変域を知ることができ、デプスマップ・被写界深度拡張画像を生成する際の距離探索の際に、無駄な探索をあらかじめ排除できるため、計算負荷を軽減できるとともに、誤った結果に陥る可能性を低減でき高精度化が可能である。
【0030】
さらに、事前の計算処理手段２６Ａにおいては、上述した光学系のパラメータに加えて、光学系を構成するすべてのレンズ２１、球面位相付与素子（２３Ａ、２３Ｂ）、撮像素子２４の有効な開口径の情報と、ホログラムを撮影した際のホログラムの中心波長、さらに波長フィルタ２５を配設した場合には、その中心波長と波長幅に基づき、デプスマップの探索時の刻み幅を算出する（２６１）（上記＜２＞の処理に対応する）。
また、光学系内に、上述した光学素子（２１、２３Ａ、２３Ｂ）および撮像素子２４以外に、光の直径を制限する素子が存在する場合には、それらの有効な開口径の情報も信号処理部２６に保存され、事前の計算処理手段２６Ａにおける上述した算出処理の演算結果に加味される。
また、光学系内に、上述した光学素子（２１、２３Ａ、２３Ｂ）および撮像素子２４以外に、光の直径を制限する素子が存在する場合には、それらの有効な開口径の情報も信号処理部２６に保存され、事前の計算処理手段２６Ａにおける上述した算出処理の演算結果に加味される。
【0031】
後述するように、これらの情報も参照することで、インコヒーレントディジタルホログラフィーの光学系の奥行き分解能を知ることができ、この奥行き分解能に対応させて、デプスマップ・被写界深度拡張画像を生成する際の距離探索の刻み幅を、奥行き分解能の値が低い領域ほど長くなるような不等間隔に設定することで、高精度かつ高効率に被写体の奥行き距離情報を得ることができる。
【0032】
また、ホログラム撮影時においては、撮影データが、撮影時の計算処理手段（２６Ｂ）に転送される。撮影時の計算処理手段（２６Ｂ）では、このホログラムデータから、位相シフト法あるいはオフアクシス法を用いて複素振幅分布情報を抽出する（２６２）。
位相シフト法を適用する場合には、複数枚のホログラムから、位相シフト法のアルゴリズム（前述した非特許文献１を参照）を適用することにより複素振幅分布の情報が得られる。また、オフアクシス法を適用する場合には、ホログラムをフーリエ変換し、信号成分だけをバンドパスフィルタにより抽出し、逆フーリエ変換することで、複素振幅分布が得られる。なお、位相シフト法とオフアクシス法では、前者の方がより分解能に優れている。
位相シフト法を適用する場合には、複数枚のホログラムから、位相シフト法のアルゴリズム（前述した非特許文献１を参照）を適用することにより複素振幅分布の情報が得られる。また、オフアクシス法を適用する場合には、ホログラムをフーリエ変換し、信号成分だけをバンドパスフィルタにより抽出し、逆フーリエ変換することで、複素振幅分布が得られる。なお、位相シフト法とオフアクシス法では、前者の方がより分解能に優れている。
【0033】
撮影時の計算処理手段２６Ｂにおいては、抽出した複素振幅分布に基づき、以下の処理を順次行うことにより、被写界深度拡張画像とデプスマップを生成することができる（２６３）。このとき、必要に応じて、上記の探索範囲、刻み幅、刻み数が、入力手段２６４からユーザによって入力されるようにしてもよい（２６４⇒２６３）。なお、撮影時の計算処理手段２６Ｂによる計算結果は、必要に応じて信号処理装置２６から外部に出力される。
【0034】
抽出した複素振幅分布u(x,y)に対して回折伝搬計算の手法を適用し、任意の再生距離zrでの再生像Un(x,y)を得る。
回折伝搬計算の手法として、角スペクトル法を用いる場合、再生像Un(x,y)は、下式（１）により得られる。
なお、上記角スペクトル法に替えてフレネル回折積分等を用いてもよい。
回折伝搬計算の手法として、角スペクトル法を用いる場合、再生像Un(x,y)は、下式（１）により得られる。
【数1】
【0035】
インコヒーレントディジタルホログラフィの光学系では、再生距離ｚｒは、レンズ２１(撮像装置)から被写体１０の実際の奥行き距離（記録距離）ｚｓと非線形の関係があり、下式（２）で表される。
【数2】
【0036】
なお、コヒーレントな光を照明光として用いる、従来のコヒーレントディジタルホログラフィーでは、ｚｒ＝ｚsであるのに対し、本実施形態の、非線形で表される上式（２）、（３）は、インコヒーレントディジタルホログラフィ特有の関係である。例として、fo=250 mm、fd1=400 mm、fd2= ∞ mm、zl=10 mmとし、zhが200 mm、600 mm、800 mmとした場合のｚｓとｚｒの関係を、それぞれ図４（ａ）～（ｃ）に示す。
【数3】
【0037】
また、他の例としてfo=300 mm、fd1=400 mm、fd2= ∞、zl=300 mmとし、zhを100 mm、300 mm、600 mmと変化させた場合のｚｓとｚｒの関係を、それぞれ図５(ａ)～（ｃ）に示す。図示されるように、これらの関係を表すグラフは放物線のような形状となる。
図４、５から明らかなように、インコヒーレントディジタルホログラフィーにおける関数ｚｒ＝ｆ（ｚｓ）は、実用上、準凹関数であり、ｚｒの変域は、有限の範囲に制限される。また、準凸関数であることから、２つの異なるｚsの値が、同じｚｒとなるケースがあり、この曖昧性を排除して撮像装置１を利用する場合には、ｚｒの変域を限定できる。また、撮像装置１と被写体１０間の距離が極端に近くなることはない、等の事実関係から、実用上の被写体１０の配置距離ｚsの情報を加味すると、さらにｚｒの変域を限定することができる。
本実施形態では、このｚｒの変域を参照することで、効率的に被写体１０の被写界深度拡張画像およびデプスマップを得ることができる。
図４、５から明らかなように、インコヒーレントディジタルホログラフィーにおける関数ｚｒ＝ｆ（ｚｓ）は、実用上、準凹関数であり、ｚｒの変域は、有限の範囲に制限される。また、準凸関数であることから、２つの異なるｚsの値が、同じｚｒとなるケースがあり、この曖昧性を排除して撮像装置１を利用する場合には、ｚｒの変域を限定できる。また、撮像装置１と被写体１０間の距離が極端に近くなることはない、等の事実関係から、実用上の被写体１０の配置距離ｚsの情報を加味すると、さらにｚｒの変域を限定することができる。
本実施形態では、このｚｒの変域を参照することで、効率的に被写体１０の被写界深度拡張画像およびデプスマップを得ることができる。
【0038】
次に、図３を参照し、本発明における被写界深度拡張画像とデプスマップを生成する具体的な信号処理の流れを示す。
まず、撮像装置１において位相シフト法を用いる場合には、複数枚のディジタルホログラムが撮影されるので、信号処理装置２６内の記憶手段に保存されている位相ステップ数の情報を参照して、位相シフト法を用いた演算を行い、複素振幅分布（振幅分布および位相分布）の情報を抽出する（図３（ａ）を参照）。
撮像装置１において、位相シフト法に替え、オフアクシス法に基づいてホログラムが撮影されている場合には、空間周波数のバンドパスフィルタリングを適用することで複素振幅分布の情報を抽出する。
まず、撮像装置１において位相シフト法を用いる場合には、複数枚のディジタルホログラムが撮影されるので、信号処理装置２６内の記憶手段に保存されている位相ステップ数の情報を参照して、位相シフト法を用いた演算を行い、複素振幅分布（振幅分布および位相分布）の情報を抽出する（図３（ａ）を参照）。
撮像装置１において、位相シフト法に替え、オフアクシス法に基づいてホログラムが撮影されている場合には、空間周波数のバンドパスフィルタリングを適用することで複素振幅分布の情報を抽出する。
【0039】
撮影されたホログラムから得られた振幅分布および位相分布を、上式（２）、（３）により導かれるｚｒの変域内で、ｚｒを任意の間隔でN回変化させ、上式（１）に基づいてN枚の再生像U1(x,y)～ UN(x,y)を得る（図３（ｂ））。得られた各再生像（再生像群）Un(x,y)の面内で、任意の局所領域A(i,j)毎に、鮮鋭度を評価する。
任意の局所領域の形状としては、矩形、円形、楕円形等を適用することができ、特定の形状に限定されない。局所領域のサイズが大きいほど、ノイズに対してロバストに奥行き情報を抽出でき、局所領域のサイズが小さいほど、高い面内分解能で奥行き情報が得られる。
任意の局所領域の形状としては、矩形、円形、楕円形等を適用することができ、特定の形状に限定されない。局所領域のサイズが大きいほど、ノイズに対してロバストに奥行き情報を抽出でき、局所領域のサイズが小さいほど、高い面内分解能で奥行き情報が得られる。
【0040】
鮮鋭度の評価には、例えば、面内の輝度の変動を評価する指標（下式（５））を用いることが有効である。
【数4】
【0041】
あるいは、空間周波数面で、再生像のスペクトル成分を評価する指標（下式（６））を用いてもよい。
【数5】
【0042】
本発明で適用可能な鮮鋭度の指標としては、上述のものに限定されることなく、種々の指標を適用可能である。代表的な鮮鋭度の評価指標は、下記非特許文献に記載されている。
「Elsa S. R. Fonseca, Paulo T. Fiadeiro, Manuela Pereira, and Antonio Pinheiro、「Comparative analysis of autofocus functions in digital in-line phase-shifting holography」、Appl. Opt.、(2016)、vol. 55、pp．7663-7674」（以下、この非特許文献を非特許文献３と称する）。
「Elsa S. R. Fonseca, Paulo T. Fiadeiro, Manuela Pereira, and Antonio Pinheiro、「Comparative analysis of autofocus functions in digital in-line phase-shifting holography」、Appl. Opt.、(2016)、vol. 55、pp．7663-7674」（以下、この非特許文献を非特許文献３と称する）。
【0043】
いずれかの評価指標を用い、鮮鋭度が最も高くなる局所領域の再生像の輝度値を面内の各画素で同定し、それらで２次元画像を構成することで、被写界深度拡張画像が得られる（図３（ｄ））。また、鮮鋭度が最も高くなる局所領域の再生像が得られる再生距離ｚrを面内の各画素で同定し、それらで２次元画像を構成することで、再生距離の奥行き位置マップが得られる（図３（ｃ））。
【0044】
なお、上式（２）、（３）の逆関数により、再生距離ｚｒから記録距離ｚsの奥行き位置マップへの変換を行ってもよい。このとき、ｚｒの値に応じては、ｚsに２通りの曖昧性があるため、物理的に妥当なｚsを採用することに留意する。ただし、これらの処理で得た奥行き位置マップは、被写体が存在しない領域（不要な領域）についても、距離情報が得られることになるので、この不要な領域については、被写界深度拡張画像の情報を参照して、消去する。これにより、この後の計算処理を高速かつ効率的に行うことができる。
【0045】
この後、被写界深度拡張画像から、被写体形状に応じて０、１の２階調のマスクを生成する。すなわち、被写界深度拡張画像に閾値処理を適用して、２値化処理を行う（図３（ｅ））。
次に、必要に応じて、任意の画素面積以下の細かなノイズを除去し（図３（ｆ））、収縮・膨張のモルフォロジー変換を適用して（図３（ｇ）、（ｈ））、被写体形状の２階調のマスクを得る。
なお、視野全体にわたって、被写体１０が映っている場合には、画像の全面を１とするマスクを用いる。
このようにして生成されたマスクと、奥行き位置マップ（図３（ｃ）を参照）を掛け合わせることで、デプスマップが得られる（図３（ｉ））。
次に、必要に応じて、任意の画素面積以下の細かなノイズを除去し（図３（ｆ））、収縮・膨張のモルフォロジー変換を適用して（図３（ｇ）、（ｈ））、被写体形状の２階調のマスクを得る。
なお、視野全体にわたって、被写体１０が映っている場合には、画像の全面を１とするマスクを用いる。
このようにして生成されたマスクと、奥行き位置マップ（図３（ｃ）を参照）を掛け合わせることで、デプスマップが得られる（図３（ｉ））。
【0046】
上述した各処理において、計算負荷が最も大きい処理は、「ｚｒを任意の間隔でN回変化させ、（１）式に基づきN枚の再生像U1(x,y)～ UN(x,y)を得る」ための算出処理である。
なお、この処理は、あらかじめ、N枚の再生像をすべて取得しておいてもよいが、メモリ使用量の節約のために、ｚｒを一度変化させ、再生像を得、その再生像に対して鮮鋭度を評価し、この一連の流れにより、黄金分割法を用いて、被写界深度拡張画像あるいはデプスマップを生成してもよい。黄金分割法を用いれば、鮮鋭度がピークとなる位置を迅速に求めることができる。
なお、この処理は、あらかじめ、N枚の再生像をすべて取得しておいてもよいが、メモリ使用量の節約のために、ｚｒを一度変化させ、再生像を得、その再生像に対して鮮鋭度を評価し、この一連の流れにより、黄金分割法を用いて、被写界深度拡張画像あるいはデプスマップを生成してもよい。黄金分割法を用いれば、鮮鋭度がピークとなる位置を迅速に求めることができる。
【0047】
上記いずれの手法においても、被写界深度拡張画像あるいはデプスマップを高精度に得るためには、ｚｒの刻み幅を細かくした方がよく、一方、迅速に得るためには、ｚｒの刻み幅を粗くした方がよい。本実施形態においては、精度と迅速性を両立させるために、インコヒーレントディジタルホログラフィーの撮像装置１の奥行き分解能を参照し、これに基づいてｚｒの刻み幅を設定するようにしている。
【0048】
奥行き分解能ΔｚｓＸは、上述の光学系のパラメータに加えて、形成されるホログラムの中心波長λ、レンズ２１の有効開口径Ｄｏ、凹面鏡２３Ａの有効開口径Ｄｄ１、平面鏡２３Ｂの有効開口径Ｄｄ２、撮像素子２４の有効開口径Ｄｓｅｎｓｏｒ、撮像素子２４の画素ピッチｐＮの数値情報を参照することにより、下式（７）を用いて得られる。
【数6】
【0049】
【数7】
【0050】
【数8】
【0051】
上式（９）のＣは、１以下に設定される奥行き分解能となるsinc関数形状分布の半値幅を選択する係数であり、例えば０．５とする。
上述した奥行き分解能を参照し、具体的には上式（９）の値を、ｚｒの刻み幅として設定して、鮮鋭度を評価することで、無駄な探索を防ぐことができ、高精度かつ高速に被写界深度拡張画像とデプスマップを生成することができる。
上述した奥行き分解能を参照し、具体的には上式（９）の値を、ｚｒの刻み幅として設定して、鮮鋭度を評価することで、無駄な探索を防ぐことができ、高精度かつ高速に被写界深度拡張画像とデプスマップを生成することができる。
【0052】
なお、レンズ系等の光学素子を追加する場合には、それに応じて、上述した奥行き分解能の各式を変更する必要がある。また、探索範囲や奥行き分解能を計算する際に参照する、光学素子の配置距離の情報や、光学素子の焦点距離の情報には、誤差が含まれている可能性があるため、探索範囲や奥行き分解能を、性能的に多少余裕をもたせて設定することが好ましい。
【0053】
以上に説明した構成および手順により生成した被写界深度拡張画像とデプスマップの情報を、表示装置２７（図１を参照）やプリンタ２８（図１を参照）に出力することで、これらの画像を視覚的に確認することができる。
また、以上の構成および手順では、被写界深度拡張画像とデプスマップを生成し、出力することに主眼を置いているが、処理態様の切り替えにより、奥行き位置の被写界深度を拡張していない、従来の再生像を計算し、出力するようにしてもよい。
また、以上の構成および手順では、被写界深度拡張画像とデプスマップを生成し、出力することに主眼を置いているが、処理態様の切り替えにより、奥行き位置の被写界深度を拡張していない、従来の再生像を計算し、出力するようにしてもよい。
【実施例0054】
以下、図１に示す撮像装置１において、各数値を下記のように設定し、互いに奥行き方向の異なる面に配置された２つの被写体（撮像装置１から、より遠くに配置された腕時計と、より近くに配置されたサイコロ）の撮影を行った場合の実施例について、検証を行った。
fo=750 mm、fd1=1000 mm、fd2= ∞ mm、zl=100 mm、zh=200 mm、λ=633 nm、pN=6.5 μm、Do=10 mm、Dd1=Dd2=12 mm、Dsensor=13 mm
ここで、ｆｏは、図１のレンズ２１の焦点距離であり、ｆｄ１、ｆｄ２は、凹面鏡２３Ａと平面鏡２３Ｂの焦点距離であり、ｚｈは、凹面鏡２３Ａまたは平面鏡２３Ｂから、撮像素子２４までの距離である。また、ｚｌは、凹面鏡２３Ａまたは平面鏡２３Ｂから、レンズ２１までの距離である。また、λは、形成されるホログラムの中心波長、Ｄｏは、レンズの有効開口径、Ｄｄ１は、凹面鏡２３Ａの有効開口径、Ｄｄ２は、平面鏡２３Ｂの有効開口径、Ｄｓｅｎｓｏｒは、撮像素子２４の有効開口径、ｐＮは、撮像素子２４の画素ピッチである。
図６（ａ）は奥の被写体（腕時計）に合焦した再生像であり、図６（ｂ）は手前の被写体（サイコロ）に合焦した再生像である。図６（ａ）ではサイコロが、図６（ｂ）では腕時計がそれぞれぼやけている、ことが明らかである。
fo=750 mm、fd1=1000 mm、fd2= ∞ mm、zl=100 mm、zh=200 mm、λ=633 nm、pN=6.5 μm、Do=10 mm、Dd1=Dd2=12 mm、Dsensor=13 mm
ここで、ｆｏは、図１のレンズ２１の焦点距離であり、ｆｄ１、ｆｄ２は、凹面鏡２３Ａと平面鏡２３Ｂの焦点距離であり、ｚｈは、凹面鏡２３Ａまたは平面鏡２３Ｂから、撮像素子２４までの距離である。また、ｚｌは、凹面鏡２３Ａまたは平面鏡２３Ｂから、レンズ２１までの距離である。また、λは、形成されるホログラムの中心波長、Ｄｏは、レンズの有効開口径、Ｄｄ１は、凹面鏡２３Ａの有効開口径、Ｄｄ２は、平面鏡２３Ｂの有効開口径、Ｄｓｅｎｓｏｒは、撮像素子２４の有効開口径、ｐＮは、撮像素子２４の画素ピッチである。
図６（ａ）は奥の被写体（腕時計）に合焦した再生像であり、図６（ｂ）は手前の被写体（サイコロ）に合焦した再生像である。図６（ａ）ではサイコロが、図６（ｂ）では腕時計がそれぞれぼやけている、ことが明らかである。
【0055】
本実施形態を適用しない従来技術の場合、再生距離ｚｒの範囲が不明であるため、被写界深度拡張画像あるいはデプスマップを取得する際に、広い奥行き距離範囲に亘って鮮鋭度を評価する必要があり、無駄となる計算処理が多くなってしまう。
一方、本実施形態を適用した場合には、ｚｒの探索範囲を、必要な領域に限定することができるため、無駄となる計算処理が少ない。
図７に、本実施例における再生距離ｚｒと、レンズ２１から被写体１０までの実際の奥行き距離（記録距離）ｚsの関係を示す。
一方、本実施形態を適用した場合には、ｚｒの探索範囲を、必要な領域に限定することができるため、無駄となる計算処理が少ない。
図７に、本実施例における再生距離ｚｒと、レンズ２１から被写体１０までの実際の奥行き距離（記録距離）ｚsの関係を示す。
【0056】
本光学系では、ｚｒの探索範囲は－∞～－340.85mmの範囲である（上限値である－340.85mmの値は、上式（４）により得られる）。さらに、被写体１０の奥行き距離ｚsが撮像装置１の近傍には存在していないという前提条件、例えば、｜ｚｓ｜≦400mmでは被写体１０は存在しないという前提条件を設けると、ｚｒの探索範囲を－1219.9～－340.85mmに絞ることができる。このような事前情報を参照することで、効率的な被写体の探索が可能となる。
【0057】
また、本実施例においては、再生距離ｚｒの刻み幅を光学系の奥行き分解能を参照して決定する。
例えば、400≦ｚｓ≦2200 mmの範囲における再生距離ｚｒを、本実施例では表１に表されたN=39個の値に順次、設定する。各ｚｒの刻み幅は表１の２列目に示すように、26mm～14mmで、不等間隔に設定する。なお、表１の数値において、ｚｒの刻み幅が単調に減少しておらず、局所的に値が増加・減少しているものがあるが、これは奥行分解能計算時の数値丸め誤差に起因するものであり、刻み幅の大きさに対して、その誤差は比較的小さいため実用上問題とならない。
例えば、400≦ｚｓ≦2200 mmの範囲における再生距離ｚｒを、本実施例では表１に表されたN=39個の値に順次、設定する。各ｚｒの刻み幅は表１の２列目に示すように、26mm～14mmで、不等間隔に設定する。なお、表１の数値において、ｚｒの刻み幅が単調に減少しておらず、局所的に値が増加・減少しているものがあるが、これは奥行分解能計算時の数値丸め誤差に起因するものであり、刻み幅の大きさに対して、その誤差は比較的小さいため実用上問題とならない。
【0058】
【表1】
【0059】
再生距離ｚｒの刻み幅を等間隔に設定する従来技術の場合、例えば、刻み幅を26mmに均一に設定すると、Nは小さくなり計算負荷が小さくなるものの、デプスマップの精度が低下してしまい、逆に、刻み幅を14mmに均一に設定すると、デプスマップの精度は向上するが、Nが大きくなり、計算処理に時間を要してしまう。
このように本実施例の技術によれば、デプスマップの精度を高めつつ、必要最小限の計算時間で再生距離ｚｒの探索を実施することができる。
このように本実施例の技術によれば、デプスマップの精度を高めつつ、必要最小限の計算時間で再生距離ｚｒの探索を実施することができる。
【0060】
本実施例を適用して取得した被写界深度拡張画像を図８（ａ）に、デプスマップを図８（ｂ）に各々示す。
図８（ａ）に示す被写界深度拡張画像では、互いに奥行き方向の異なる面に配置された２つの被写体（腕時計とサイコロ）の像がともに合焦している。
また、図８（ｂ）に示すデプスマップでは、腕時計とサイコロが異なる奥行き位置に存在していることが明らかである（輝度値が明るい方が、撮像装置１の近くに配置されていることを表す）。
図８（ａ）に示す被写界深度拡張画像では、互いに奥行き方向の異なる面に配置された２つの被写体（腕時計とサイコロ）の像がともに合焦している。
また、図８（ｂ）に示すデプスマップでは、腕時計とサイコロが異なる奥行き位置に存在していることが明らかである（輝度値が明るい方が、撮像装置１の近くに配置されていることを表す）。
【0061】
図９は、上記実施例とは異なる光学系を用いた実施例により、上記実施例のものとは異なる被写体（（ａ）は将棋の駒（歩兵の駒が奥行き方向の近い位置に、桂馬の駒が奥行き方向の遠い位置に配されている）、（ｂ）は動物の人形（豹の人形が奥行き方向の近い位置に、シマウマの人形が奥行き方向の遠い位置に配されている））を撮影した場合について、被写界深度拡張画像とデプスマップを取得した結果を示すものである。
図９（ａ）、（ｂ）に示す被写界深度拡張画像では、互いに奥行き方向の異なる面に配置された２つの被写体（歩兵の駒と桂馬の駒、および豹の人形とシマウマの人形）の像が各々、ともに合焦している。
また、図９（ａ）、（ｂ）に示すデプスマップでは、２つの被写体が各々異なる奥行き位置に存在していることが明らかである（なお、図９のデプスマップは、再生距離ｚｒの値をグレースケール画像で可視化したものである。再生距離ｚｒは、実際の被写体の位置関係にかかわらず、撮影装置に応じて前後関係が異なる場合があり、動物の人形の実施例では、実際の配置位置と再生距離の大小関係が反転している。）。
図９（ａ）、（ｂ）に示す被写界深度拡張画像では、互いに奥行き方向の異なる面に配置された２つの被写体（歩兵の駒と桂馬の駒、および豹の人形とシマウマの人形）の像が各々、ともに合焦している。
また、図９（ａ）、（ｂ）に示すデプスマップでは、２つの被写体が各々異なる奥行き位置に存在していることが明らかである（なお、図９のデプスマップは、再生距離ｚｒの値をグレースケール画像で可視化したものである。再生距離ｚｒは、実際の被写体の位置関係にかかわらず、撮影装置に応じて前後関係が異なる場合があり、動物の人形の実施例では、実際の配置位置と再生距離の大小関係が反転している。）。
【0062】
本発明のインコヒーレントディジタルホログラム信号処理装置および撮像装置としては、上述した実施形態のものに限られるものではなく、その他の種々の態様の変更が可能である。
例えば、上述した実施形態の撮像装置における光学系としても、各部材を同様の機能を有する他の部材に適宜変更することが可能である。
また、撮像素子の全画素に係る局所領域について鮮鋭度の測定を行うことは必ずしも要求されるものではなく、撮像素子の全画素の中から、所定の画素の間引き処理を行い、選択された複数の画素に係る局所領域について、鮮鋭度を測定することも可能である。ただし、選択される複数の画素は、撮像素子の全画素の中から均一的に選択されたものであることが好ましい。
例えば、上述した実施形態の撮像装置における光学系としても、各部材を同様の機能を有する他の部材に適宜変更することが可能である。
また、撮像素子の全画素に係る局所領域について鮮鋭度の測定を行うことは必ずしも要求されるものではなく、撮像素子の全画素の中から、所定の画素の間引き処理を行い、選択された複数の画素に係る局所領域について、鮮鋭度を測定することも可能である。ただし、選択される複数の画素は、撮像素子の全画素の中から均一的に選択されたものであることが好ましい。
【符号の説明】
【0063】
１ 撮像装置
１０ 被写体
２１ レンズ
２２ ビームスプリッタ（光合成分割素子）
２３Ａ 凹面鏡
２３Ｂ 平面鏡
２４ 撮像素子
２５ 波長フィルタ
２６ 信号処理装置
２６Ａ 事前の計算処理手段
２６Ｂ 撮影時の計算処理手段
２７ 表示装置
２８ プリンタ
３１ 再生像群取得手段
３２ 再生距離／輝度値抽出手段
３３ 被写界深度拡張画像／デプスマップ取得手段
３４ 被写体不存在変域決定手段
３５ 奥行き分解能算出手段
３６ 伝搬距離刻み幅設定手段
１０ 被写体
２１ レンズ
２２ ビームスプリッタ（光合成分割素子）
２３Ａ 凹面鏡
２３Ｂ 平面鏡
２４ 撮像素子
２５ 波長フィルタ
２６ 信号処理装置
２６Ａ 事前の計算処理手段
２６Ｂ 撮影時の計算処理手段
２７ 表示装置
２８ プリンタ
３１ 再生像群取得手段
３２ 再生距離／輝度値抽出手段
３３ 被写界深度拡張画像／デプスマップ取得手段
３４ 被写体不存在変域決定手段
３５ 奥行き分解能算出手段
３６ 伝搬距離刻み幅設定手段
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
