知財求人 - 知財ポータルサイト「IP Force」
特開2023-97562インコヒーレントデジタルホログラフィ撮像装置および撮像方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023097562
(43)【公開日】2023-07-10
(54)【発明の名称】インコヒーレントデジタルホログラフィ撮像装置および撮像方法
(51)【国際特許分類】
G03H 1/06 20060101AFI20230703BHJP
G03H 1/26 20060101ALI20230703BHJP
【ＦＩ】
G03H1/06
G03H1/26
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021213754
(22)【出願日】2021-12-28
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100097984
【弁理士】
【氏名又は名称】川野 宏
(74)【代理人】
【識別番号】100098073
【弁理士】
【氏名又は名称】津久井 照保
(72)【発明者】
【氏名】後藤 正英
(72)【発明者】
【氏名】信川 輝吉
(72)【発明者】
【氏名】室井 哲彦
(72)【発明者】
【氏名】片野 祐太郎
(72)【発明者】
【氏名】石井 紀彦
【テーマコード（参考）】
2K008
【Ｆターム（参考）】
2K008BB04
2K008FF01
2K008HH12
2K008HH16
2K008HH18
2K008HH25
2K008HH28
(57)【要約】
【課題】 ホログラフィ技術を用いて得られた被写体の再構成画像を用いて、所望の画質の、被写体の新たなカラー再構成画像を、簡便かつ高精度に形成し得るインコヒーレントデジタルホログラフィ撮像装置および撮像方法を提供する。
【解決手段】 被写体１からのインコヒーレント光によるホログラム画像を撮像し、被写体１の再構成カラー画像である第１画像を形成する第１撮像機能部と、被写体１からの単一光束を結像して被写体１のカラー画像である第２画像を撮像する第２撮像機能部とを有し、第１画像に基づき被写体１の各部位の位置情報を得、得られた位置情報に基づき、第１画像の各部位に対応する第２画像の各部位を切り出し、位置設定して、新たな第１画像を形成する画像組合せ部１４を備えている。
【選択図】図１
【解決手段】 被写体１からのインコヒーレント光によるホログラム画像を撮像し、被写体１の再構成カラー画像である第１画像を形成する第１撮像機能部と、被写体１からの単一光束を結像して被写体１のカラー画像である第２画像を撮像する第２撮像機能部とを有し、第１画像に基づき被写体１の各部位の位置情報を得、得られた位置情報に基づき、第１画像の各部位に対応する第２画像の各部位を切り出し、位置設定して、新たな第１画像を形成する画像組合せ部１４を備えている。
【選択図】図１
【特許請求の範囲】
【請求項1】
２系に分割された被写体からのインコヒーレント光を互いに干渉させて形成したホログラム画像を撮像し、該被写体の再構成画像である第１画像を形成する第１撮像機能部と、該被写体からの単一光束を結像して該被写体のカラー画像である第２画像を該第１画像と同時にまたは順番に得る第２撮像機能部とを有し、
前記第１画像が有する画像情報と、前記第２画像が有するカラー画像情報とを組み合わせて前記被写体のカラー再構成画像を新たに形成する画像組合せ部を備えたことを特徴とするインコヒーレントデジタルホログラフィ撮像装置。
前記第１画像が有する画像情報と、前記第２画像が有するカラー画像情報とを組み合わせて前記被写体のカラー再構成画像を新たに形成する画像組合せ部を備えたことを特徴とするインコヒーレントデジタルホログラフィ撮像装置。
【請求項2】
前記第１画像が有する画像情報がカラー画像情報であることを特徴とする請求項１に記載のンコヒーレントデジタルホログラフィ撮像装置。
【請求項3】
２つの前記撮像機能部のうち、少なくとも前記第１撮像機能部が、前記第１画像を形成する３原色光各々の波長帯域のうち、一部の波長帯域の光を選択して使用する光波長帯域選択手段を備えていることを特徴とする請求項２に記載のインコヒーレントデジタルホログラフィ撮像装置。
【請求項4】
前記光波長帯域選択手段がバンドパスフィルタであることを特徴とする請求項３に記載のインコヒーレントデジタルホログラフィ撮像装置。
【請求項5】
前記一部の波長帯域の幅が50nm以下であることを特徴とする請求項３または４に記載のインコヒーレントデジタルホログラフィ撮像装置。
【請求項6】
前記第２撮像機能部は、前記第２画像を得る際には、分割された前記２系のインコヒーレント光のうちの一方を遮光するシャッタを備えたことを特徴とする請求項１～５のうちいずれか１項に記載のインコヒーレントデジタルホログラフィ撮像装置。
【請求項7】
前記画像組合せ部は、前記第１画像に基づき前記被写体の各部位の位置情報を得、該得られた位置情報に基づき、前記第２撮像機能部により得られた、該第１画像の各部位に対応する前記第２画像の各部位を位置設定して、新たな前記第１画像を形成する機能を有することを特徴とする請求項１～６のうちいずれか１項に記載のインコヒーレントデジタルホログラフィ撮像装置。
【請求項8】
前記第１撮像機能部は、前記被写体の各部位の位置情報を、得られた前記ホログラム画像の複素振幅分布を所定距離まで逆伝搬したときに、該所定距離における前記第１画像のコントラストの高さに基づいて決定するように構成されていることを特徴とする請求項１～７のうちいずれか１項に記載のインコヒーレントデジタルホログラフィ撮像装置。
【請求項9】
前記第１撮像機能部における撮像光学系は、前記被写体からの光束を２系に分割する光束分割手段と、分割された一方の光束を入射して平面波を反射する平面鏡と、分割された他方の光束を入射して球面波を収束させるように反射する凹面鏡と、該平面鏡からの平面波と該凹面鏡からの球面波を干渉させてカラーのホログラム画像を取得する撮像素子と、該平面波と該球面波との共通光路上に、該撮像素子に入射させる前記３原色光各々の波長帯域を狭めるバンドパスフィルタと、を備えていることを特徴とする請求項３～８のうちいずれか１項に記載のインコヒーレントデジタルホログラフィ撮像装置。
【請求項10】
前記平面鏡と前記凹面鏡のいずれかを、光軸方向に所定位相だけ移動させる位相シフト手段を備えていることを特徴とする請求項９に記載のインコヒーレントデジタルホログラフィ撮像装置。
【請求項11】
前記第２撮像機能部における撮像光学系は、少なくとも一部が、前記第１撮像機能部における撮像光学系と共用されるように構成され、前記光束分割手段と、該光束分割手段で分割された前記他方の光束を入射して球面波を収束させるように反射する前記凹面鏡と、該凹面鏡からの球面波を結像させて前記被写体のカラー画像を取得する前記撮像素子とを、備えていることを特徴とする請求項９または１０に記載のインコヒーレントデジタルホログラフィ撮像装置。
【請求項12】
前記第１撮像機能部における撮像光学系と、前記第２撮像機能部における撮像光学系とは、被写体からの光束を分割する光束分割手段に至るまでの第１の偏光子が配設された光路を共通にする一方、撮像素子は互いに別個に備え、
前記光束分割手段は空間光変調器とし、
前記光束分割手段から前記第１撮像機能部の撮像素子に至る平面波と球面波の共通光路上に前記バンドパスフィルタと第２の偏光子を配置して該第１撮像機能部の撮像素子においてカラーのホログラム画像が得られるようにするとともに、前記光束分割手段から前記第２撮像機能部の撮像素子に至る球面波を該第２撮像機能部の撮像素子に結像して前記被写体のカラー画像が得られるように構成されていることを特徴とする請求項４～１１のうちいずれか１項に記載のインコヒーレントデジタルホログラフィ撮像装置。
前記光束分割手段は空間光変調器とし、
前記光束分割手段から前記第１撮像機能部の撮像素子に至る平面波と球面波の共通光路上に前記バンドパスフィルタと第２の偏光子を配置して該第１撮像機能部の撮像素子においてカラーのホログラム画像が得られるようにするとともに、前記光束分割手段から前記第２撮像機能部の撮像素子に至る球面波を該第２撮像機能部の撮像素子に結像して前記被写体のカラー画像が得られるように構成されていることを特徴とする請求項４～１１のうちいずれか１項に記載のインコヒーレントデジタルホログラフィ撮像装置。
【請求項13】
２系に分割された被写体からのインコヒーレント光を互いに干渉させて形成したホログラム画像を撮像し、該被写体の再構成画像である第１画像を形成する第１撮像工程と、該被写体からの単一光束を結像して該被写体のカラー画像である第２画像を撮像する第２撮像工程とを同時または順番に行い、
前記第１画像が有する画像情報と、前記第２画像が有するカラー画像情報とを組み合わせて前記被写体の新たなカラー再構成画像を形成する工程を行うことを特徴とするインコヒーレントデジタルホログラフィ撮像方法。
前記第１画像が有する画像情報と、前記第２画像が有するカラー画像情報とを組み合わせて前記被写体の新たなカラー再構成画像を形成する工程を行うことを特徴とするインコヒーレントデジタルホログラフィ撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、可干渉距離の短いインコヒーレント光を用いてデジタルホログラフィを取得するインコヒーレントデジタルホログラフィ撮像装置および撮像方法に関する。
【背景技術】
【0002】
デジタルホログラフィは、被写体の複素振幅（振幅・位相分布）を取得できる撮影手法であり、空間分解能や奥行き分解能に優れている他、計算によりフォーカス位置を調節できる等の、多くの利点を有している。その中でも、近年、レーザー等の特殊な光源を用いずに、太陽光、LED、蛍光等のインコヒーレント光を用いてもディジタルホログラムを撮影できる、インコヒーレントデジタルホログラフィの技術が進展し、これによりホログラフィの応用範囲が拡大している。
【0003】
インコヒーレントデジタルホログラフィでは、物体光を２系に分割し、それらを互いに自己干渉させることによって撮像面上にホログラム（干渉縞）を形成する。
そして、インコヒーレントな光を干渉させるために、波長フィルタ（バンドパスフィルタ）で光源の波長幅を数10ｎｍ以下まで制限するようにしている（非特許文献１）。
このように、光源の波長幅を制限することによって分解能を向上させることができる。
そして、インコヒーレントな光を干渉させるために、波長フィルタ（バンドパスフィルタ）で光源の波長幅を数10ｎｍ以下まで制限するようにしている（非特許文献１）。
このように、光源の波長幅を制限することによって分解能を向上させることができる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】X. Quan, et al.” Three-dimensional stimulation and imaging-based functional optical microscopy of biological cells”, Optics Letters Vol. 43, No. 21, pp. 5447-5450 (2018)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、今日では、インコヒーレントデジタルホログラフィの分野においても、画像のカラー化が強く望まれており、この分野においては難しいとされていたカラー化の実現を図ることが急務である。
すなわち、インコヒーレントデジタルホログラフィの分野では、波長幅を狭くすることが必須であるため、通常のイメージセンサでＲ、Ｇ、Ｂのカラーフィルタを用いて行われる３バンドの撮影の手法によっては、インコヒーレントなホログラフィによるカラー撮影を行うことができない。一方で、例えば１０ｎｍの波長幅で可視光全域の情報を取得する、インコヒーレントなホログラフィによるカラー撮影を行うには４０個程度のバンド数が必要となり、実装するのは現実的とはいえない。
さらに、インコヒーレントデジタルホログラフィの分野では、波長幅を狭くすることが必須であるため、ノイズに対して相対的に信号値が低下する結果、画質（S/N比）が大幅に低下してしまう、との問題を解決する必要がある。
すなわち、インコヒーレントデジタルホログラフィの分野では、波長幅を狭くすることが必須であるため、通常のイメージセンサでＲ、Ｇ、Ｂのカラーフィルタを用いて行われる３バンドの撮影の手法によっては、インコヒーレントなホログラフィによるカラー撮影を行うことができない。一方で、例えば１０ｎｍの波長幅で可視光全域の情報を取得する、インコヒーレントなホログラフィによるカラー撮影を行うには４０個程度のバンド数が必要となり、実装するのは現実的とはいえない。
さらに、インコヒーレントデジタルホログラフィの分野では、波長幅を狭くすることが必須であるため、ノイズに対して相対的に信号値が低下する結果、画質（S/N比）が大幅に低下してしまう、との問題を解決する必要がある。
【0006】
本発明は、上記事情に鑑みなされたものであり、ホログラフィ技術を用いて得られた被写体の再構成画像を用いて、被写体の新たなカラー再構成画像を、高精度かつ高S/N比にて簡便に形成し得るインコヒーレントデジタルホログラフィ撮像装置および撮像方法を提供することを目的とするものである。
【課題を解決するための手段】
【0007】
本発明のインコヒーレントデジタルホログラフィ撮像装置は、
２系に分割された被写体からのインコヒーレント光を互いに干渉させて形成したホログラム画像を撮像し、該被写体の再構成画像である第１画像を形成する第１撮像機能部と、該被写体からの単一光束を結像して該被写体のカラー画像である第２画像を該第１画像と同時にまたは順番に得る第２撮像機能部とを有し、
前記第１画像が有する画像情報と、前記第２画像が有するカラー画像情報とを組み合わせて前記被写体の新たなカラー再構成画像を形成する画像組合せ部を備えたことを特徴とするものである。
また、前記第１画像が有する画像情報はカラー画像情報であることが好ましい。
２系に分割された被写体からのインコヒーレント光を互いに干渉させて形成したホログラム画像を撮像し、該被写体の再構成画像である第１画像を形成する第１撮像機能部と、該被写体からの単一光束を結像して該被写体のカラー画像である第２画像を該第１画像と同時にまたは順番に得る第２撮像機能部とを有し、
前記第１画像が有する画像情報と、前記第２画像が有するカラー画像情報とを組み合わせて前記被写体の新たなカラー再構成画像を形成する画像組合せ部を備えたことを特徴とするものである。
また、前記第１画像が有する画像情報はカラー画像情報であることが好ましい。
【0008】
また、２つの前記撮像機能部のうち、少なくとも前記第１撮像機能部が、前記第１画像を形成する３原色光各々の波長帯域のうち、一部の波長帯域の光を選択して使用する光波長帯域選択手段を備えていることが好ましい。
また、前記光波長帯域選択手段がバンドパスフィルタであることが好ましい。
また、前記一部の波長帯域の幅が50nm以下であることが好ましい。
また、前記第２撮像機能部は、前記第２画像を得る際には、分割された前記２系のインコヒーレント光のうちの一方を遮光するシャッタを備えたことが好ましい。
また、前記光波長帯域選択手段がバンドパスフィルタであることが好ましい。
また、前記一部の波長帯域の幅が50nm以下であることが好ましい。
また、前記第２撮像機能部は、前記第２画像を得る際には、分割された前記２系のインコヒーレント光のうちの一方を遮光するシャッタを備えたことが好ましい。
【0009】
前記画像組合せ部は、前記第１画像に基づき前記被写体の各部位の位置情報を得、該得られた位置情報に基づき、前記第２撮像機能部により得られた、該第１画像の各部位に対応する前記第２画像の各部位を位置設定して、新たな前記第１画像を形成する機能を有することが好ましい。
ここで、前記第１撮像機能部は、前記被写体の各部位の位置情報を、得られたホログラム画像の複素振幅分布を所定距離まで逆伝搬したときに、該所定距離における前記第１画像のコントラストの高さに基づいて決定するように構成されていることが好ましい。
ここで、前記第１撮像機能部は、前記被写体の各部位の位置情報を、得られたホログラム画像の複素振幅分布を所定距離まで逆伝搬したときに、該所定距離における前記第１画像のコントラストの高さに基づいて決定するように構成されていることが好ましい。
【0010】
また、前記第１撮像機能部における撮像光学系は、前記被写体からの光束を２系に分割する光束分割手段と、分割された一方の光束を入射して平面波を反射する平面鏡と、分割された他方の光束を入射して球面波を収束させるように反射する凹面鏡と、該平面鏡からの平面波と該凹面鏡からの球面波を干渉させてカラーのホログラム画像を取得する撮像素子と、該平面波と該球面波との共通光路上に、該撮像素子に入射させる前記３原色光各々の波長帯域を狭めるバンドパスフィルタと、を備えていることが好ましい。
また、前記平面鏡と前記凹面鏡のいずれかを、光軸方向に所定位相だけ移動させる位相シフト手段を備えていることが好ましい。
また、前記平面鏡と前記凹面鏡のいずれかを、光軸方向に所定位相だけ移動させる位相シフト手段を備えていることが好ましい。
【0011】
さらに、前記第２撮像機能部における撮像光学系は、少なくとも一部が、前記第１撮像機能部における撮像光学系と共用されるように構成され、前記光束分割手段と、該光束分割手段で分割された前記他方の光束を入射して球面波を収束させるように反射する前記凹面鏡と、該凹面鏡からの球面波を結像させて前記被写体のカラー画像を取得する前記撮像素子とを、備えていることが好ましい。
【0012】
また、前記第１撮像機能部における撮像光学系と、前記第２撮像機能部における撮像光学系とは、被写体からの光束を分割する光束分割手段に至るまでの第１の偏光子が配設された光路を共通にする一方、撮像素子は互いに別個に備え、
前記光束分割手段は空間光変調器とし、
前記光束分割手段から前記第１撮像機能部の撮像素子に至る平面波と球面波の共通光路上に前記バンドパスフィルタと第２の偏光子を配置して該第１撮像機能部の撮像素子においてカラーのホログラム画像が得られるようにするとともに、前記光束分割手段から前記第２撮像機能部の撮像素子に至る球面波を該第２撮像機能部の撮像素子に結像して前記被写体のカラー画像が得られるように構成されていることが好ましい。
前記光束分割手段は空間光変調器とし、
前記光束分割手段から前記第１撮像機能部の撮像素子に至る平面波と球面波の共通光路上に前記バンドパスフィルタと第２の偏光子を配置して該第１撮像機能部の撮像素子においてカラーのホログラム画像が得られるようにするとともに、前記光束分割手段から前記第２撮像機能部の撮像素子に至る球面波を該第２撮像機能部の撮像素子に結像して前記被写体のカラー画像が得られるように構成されていることが好ましい。
【0013】
また、本発明のインコヒーレントデジタルホログラフィ撮像方法は、
２系に分割された被写体からのインコヒーレント光を互いに干渉させて形成したホログラム画像を撮像し、該被写体の再構成画像である第１画像を形成する第１撮像工程と、該被写体からの単一光束を結像して該被写体のカラー画像である第２画像を撮像する第２撮像工程とを同時または順番に行い、
前記第１画像が有する画像情報と、前記第２画像が有するカラー画像情報とを組み合わせて前記被写体の新たなカラー再構成画像を形成する工程を行うことを特徴とするものである。
２系に分割された被写体からのインコヒーレント光を互いに干渉させて形成したホログラム画像を撮像し、該被写体の再構成画像である第１画像を形成する第１撮像工程と、該被写体からの単一光束を結像して該被写体のカラー画像である第２画像を撮像する第２撮像工程とを同時または順番に行い、
前記第１画像が有する画像情報と、前記第２画像が有するカラー画像情報とを組み合わせて前記被写体の新たなカラー再構成画像を形成する工程を行うことを特徴とするものである。
【発明の効果】
【0014】
本発明のインコヒーレントデジタルホログラフィ撮像装置および撮像方法では、画像のカラー化が強く望まれているインコヒーレントデジタルホログラフィの分野において、そのカラー化を、下記効果を達成しつつ、実現したものである。
すなわち、インコヒーレントデジタルホログラフィ撮像技術においては、得られた再構成画像（以下、第１画像と称する）は位置情報を有しており、３次元像を構築することができる。その一方で、前述したように、ホログラフィを撮像するには波長幅を狭くする必要があるため、通常のイメージセンサでＲ、Ｇ、Ｂのカラーフィルタを用いて行われている３バンドの撮影の手法によっては、インコヒーレントなホログラフィによるカラー撮影を行うことができない。例えば１０ｎｍの波長幅で可視光全域の情報を取得する、インコヒーレントなホログラフィによるカラー撮影を行うには４０個程度のバンド数が必要となり、実装するのは現実的とはいえない。さらに、ノイズを多く含んでいる、という特性も有している。
そこで本願発明者は、各部位の位置情報を得ることはできないが、可視光全域の情報を取得することができ、またノイズの影響も少ない通常の撮像方式により得られるカラー画像（以下、第２画像と称する）を、共通の光学系を用いて上記第１画像と同時に取得し、両画像における被写体の対応する部位を容易に判別できることを利用して、これら両画像を組み合わせて所望の画質の新しい被写体のカラー再構成画像を形成することを想起するに至った。
すなわち、インコヒーレントデジタルホログラフィ撮像技術においては、得られた再構成画像（以下、第１画像と称する）は位置情報を有しており、３次元像を構築することができる。その一方で、前述したように、ホログラフィを撮像するには波長幅を狭くする必要があるため、通常のイメージセンサでＲ、Ｇ、Ｂのカラーフィルタを用いて行われている３バンドの撮影の手法によっては、インコヒーレントなホログラフィによるカラー撮影を行うことができない。例えば１０ｎｍの波長幅で可視光全域の情報を取得する、インコヒーレントなホログラフィによるカラー撮影を行うには４０個程度のバンド数が必要となり、実装するのは現実的とはいえない。さらに、ノイズを多く含んでいる、という特性も有している。
そこで本願発明者は、各部位の位置情報を得ることはできないが、可視光全域の情報を取得することができ、またノイズの影響も少ない通常の撮像方式により得られるカラー画像（以下、第２画像と称する）を、共通の光学系を用いて上記第１画像と同時に取得し、両画像における被写体の対応する部位を容易に判別できることを利用して、これら両画像を組み合わせて所望の画質の新しい被写体のカラー再構成画像を形成することを想起するに至った。
【0015】
すなわち、一例について述べるに、第１撮像機能部においてホログラムを用いて得られた被写体の再構成カラー画像である第１画像に基づき、被写体の各部位の位置情報を得るようにし、得られた位置情報に基づき、第２撮像機能部により得られた第２画像の各部位を配するようにして、新たな第１画像を形成する。
【0016】
これにより、本発明のインコヒーレントデジタルホログラフィ撮像装置および撮像方法においては、得られた第１画像と第２画像の各カラー情報に基づき、所望の画質（高S/N比）の新たなカラー再構成画像を得ることができる。しかも、両画像は、共通の光学系を用いて、略同時に撮影することが可能であるから、所望の画質の新たなカラー画像を、簡便、かつ高精度に得ることができる。
【0017】
画像のカラー化を図る構成について、より具体的な例について述べると、インコヒーレントデジタルホログラフィ撮像技術において、少なくとも前記第１撮像機能部が、第１画像を形成する３原色光各々の波長帯域のうち、所定幅の狭波長帯域の光を選択して出力する光波長帯域選択手段を備えることにより、３原色光の各々において分解能を向上させつつ光干渉を生じさせることができ、インコヒーレントデジタルホログラフィの分野において、その画像のカラー化を良好に実現することができる。
また、この発明を利用することによって、被写体の情報（カラー情報を含む）を正確にとらえるカメラや計測装置、さらには顕微鏡等を構築することが可能である。
また、この発明を利用することによって、被写体の情報（カラー情報を含む）を正確にとらえるカメラや計測装置、さらには顕微鏡等を構築することが可能である。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態１に係るホログラフィ撮像再生装置を説明するための概念図である。
【図2】本発明の実施形態１に係るホログラフィ撮像再生装置のＢＰＦのON/OFF操作に伴う、撮像素子の各画素に入射する光の波長帯域を示すための概念図（（Ａ）は、ベイヤー配列の画素アレイを示すものであり、（Ｂ）は、第１撮像機能部の撮像素子の各画素に入射する各光の波長帯域（I.ホログラフィ）、および第２撮像機能部の撮像素子の各画素に入射する各光の波長帯域（II.単一の光による撮影）を示す）である。
【図3】本発明の実施形態２に係るホログラフィ撮像再生装置を説明するための概念図である。
【図4】本発明の実施形態２に係るホログラフィ撮像再生装置において、ＳＬＭに表示するパターン（第１の撮像素子１０６ａに結像する球面波のパターン（ａ）、第２の撮像素子１０６ｂに結像する球面波のパターン（ｂ）、および（ａ）と（ｂ）を合成したパターン（ｃ））である。
【図5】本発明の実施形態２に係るホログラフィ撮像再生装置における、ホログラフィを用いた撮影と、単一の光による撮影を併用するシステムによって再構成画像の画質が改善される手法の前提を示す概念図である。
【図6】本発明の実施形態２のホログラフィ撮像再生装置で互いに距離の異なる物体Ａ、Ｂ、Ｃの３つを含む画角で撮影する手法を説明するための概念図である。
【図8】本実施形態の変更態様１に係るホログラフィ撮像再生装置を説明するための概念図である。
【図9】本実施形態の変更態様２に係るホログラフィ撮像再生装置を説明するための概念図である。
【発明を実施するための形態】
【0019】
以下、本発明のインコヒーレントデジタルホログラフィ撮像装置および撮像方法について、実施形態を用いて説明する。本実施形態においては、カラー画像を撮像再生するホログラフィ撮像再生装置の構成を例に挙げて説明する。
また、以下の説明は、まず、実施形態１、２を用いて光学系の構成を主とした説明を行い、次に、実施形態２の構成を前提として、ホログラフィを用いた被写体の再構成カラー画像と、単一の光を用いた、一般の被写体カラー画像を組合せる手法の一例について説明する。その後、上記ホログラフィ撮像再生装置の光学系について、２種類の変更態様を挙げて補足説明を行う。
また、以下の説明は、まず、実施形態１、２を用いて光学系の構成を主とした説明を行い、次に、実施形態２の構成を前提として、ホログラフィを用いた被写体の再構成カラー画像と、単一の光を用いた、一般の被写体カラー画像を組合せる手法の一例について説明する。その後、上記ホログラフィ撮像再生装置の光学系について、２種類の変更態様を挙げて補足説明を行う。
【0020】
［ホログラフィ撮像再生装置の構成（光学系を主として）］
（実施形態１）
本発明における、実施形態１に係るホログラフィ撮像再生装置５０の光学系を主とした全体構成を図１に示す。
このホログラフィ撮像再生装置５０は、マイケルソン干渉計の光学系を用いたインコヒーレントデジタルホログラフィ撮像装置を構成している。本撮像再生装置５０は、ホログラフィを用いた撮影機能と、単一の光による撮影（通常の結像系による撮影）機能を有し、両機能を用いて、ノイズの少ない、インコヒーレントデジタルホログラフィ撮像画像を得ることができる。
（実施形態１）
本発明における、実施形態１に係るホログラフィ撮像再生装置５０の光学系を主とした全体構成を図１に示す。
このホログラフィ撮像再生装置５０は、マイケルソン干渉計の光学系を用いたインコヒーレントデジタルホログラフィ撮像装置を構成している。本撮像再生装置５０は、ホログラフィを用いた撮影機能と、単一の光による撮影（通常の結像系による撮影）機能を有し、両機能を用いて、ノイズの少ない、インコヒーレントデジタルホログラフィ撮像画像を得ることができる。
【0021】
まず、ホログラフィを用いた撮影について説明する。被写体１からの物体光はレンズ２により平行光とされてビームスプリッタ（Ｂ／Ｓ）３に入射し、分割された一方の光が平面鏡５に入射して平行光として反射され、分割された他方の光が凹面鏡４に入射して収束光として反射される。
反射された２つの光は、再びビームスプリッタ（Ｂ／Ｓ）３に入射し、前者の反射光と後者の透過光は単板カラー撮像素子６方向に進み、単板カラー撮像素子６の撮像面上において自己干渉によりホログラムを形成する。
反射された２つの光は、再びビームスプリッタ（Ｂ／Ｓ）３に入射し、前者の反射光と後者の透過光は単板カラー撮像素子６方向に進み、単板カラー撮像素子６の撮像面上において自己干渉によりホログラムを形成する。
【0022】
ここでは、in-lineホログラフィにおける直接光・共役光の重畳を避けて物体光を取得するために位相シフト法を用い、その中でも演算を容易とするために４ステップ位相シフト法を用いている。
平面鏡５が位相シフト手段（ピエゾ素子）７によって、基準位置から、波長の１／８倍、２／８倍、３／８倍の距離だけ光軸方向に移動する（平面鏡５側に進む光の光路長が波長の１／４倍、２／４倍、３／４倍だけ変化する）ことで、位相が０、π／２、π、３π／２の４段階で変化するように構成されている。
平面鏡５が位相シフト手段（ピエゾ素子）７によって、基準位置から、波長の１／８倍、２／８倍、３／８倍の距離だけ光軸方向に移動する（平面鏡５側に進む光の光路長が波長の１／４倍、２／４倍、３／４倍だけ変化する）ことで、位相が０、π／２、π、３π／２の４段階で変化するように構成されている。
【0023】
平面鏡５のビームスプリッタ（Ｂ／Ｓ）３側には遮光可能なシャッタ８が示されているが、これは後述する単一の光による撮影（本撮影）を行う際に機能させる（遮光する（ＯＮとする））ものであり、ホログラフィを用いた撮影の場合には、機能させない（遮光しない（ＯＦＦとする））ものである。これにより、単一の光による撮影を行う際には、凹面鏡４からの光のみを、一方、ホログラフィを用いた撮影の場合には、凹面鏡４からの光と平面鏡５からの光の両者を単板カラー撮像素子６に照射させるように切り替えることができる。
このシャッタ８としては、例えば、メカニカルシャッタや液晶シャッタ等を用いることができる。
このシャッタ８としては、例えば、メカニカルシャッタや液晶シャッタ等を用いることができる。
【0024】
単板カラー撮像素子６は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のオンチップカラーフィルタ（ＯＣＦ）を取り付けた画素がベイヤー配列等の配置で配列され、各画素はＲ、Ｇ、Ｂのいずれかの色情報を取得するようになっている。ＯＣＦの帯域は150～200ｎｍ程度であり、Ｒ、Ｇ、Ｂの３種類のフィルタで可視光の全帯域をカバーするように設定されている。
【0025】
一方、単板カラー撮像素子６のビームスプリッタ（Ｂ／Ｓ）３側には、インコヒーレント光（可干渉距離の短い光）によっても干渉を生じさせ得るよう、Ｒ、Ｇ、Ｂの各色光の波長帯域を狭めるためのバンドパスフィルタ（ＢＰＦ）９が配置されている。
このＢＰＦ９も、前述のシャッタ８と同様に機能をON/OFFする（切り替える）ことができるようになっている。このＢＰＦ９のON/OFF切替え動作としては、メカニカルに出し入れする機構を用いるものや、液晶を用いて透過波長帯域を変化させる手法を用いるもの等を採用可能である。なお、このＢＰＦ９のON/OFF切替え動作は、上記単一の光による撮影を行う場合には、ＢＰＦ９を動作させる（ＯＮとする）。ＢＰＦ９は、例えば、Ｒ、Ｇ、Ｂそれぞれの帯域の中心波長にピークを有する（３つのピークを有する）マルチバンドパスフィルタであり、３つのそれぞれの帯域は数10nm以下に設定されている。
このＢＰＦ９も、前述のシャッタ８と同様に機能をON/OFFする（切り替える）ことができるようになっている。このＢＰＦ９のON/OFF切替え動作としては、メカニカルに出し入れする機構を用いるものや、液晶を用いて透過波長帯域を変化させる手法を用いるもの等を採用可能である。なお、このＢＰＦ９のON/OFF切替え動作は、上記単一の光による撮影を行う場合には、ＢＰＦ９を動作させる（ＯＮとする）。ＢＰＦ９は、例えば、Ｒ、Ｇ、Ｂそれぞれの帯域の中心波長にピークを有する（３つのピークを有する）マルチバンドパスフィルタであり、３つのそれぞれの帯域は数10nm以下に設定されている。
【0026】
単板カラー撮像素子６からは、ホログラム画像データが、被写体像再構成手段１１に出力され、被写体像再構成手段１１内の第１画像演算部１２において、４ステップ位相シフト法を用い、撮像面に形成された４枚のホログラム情報から、演算により撮像面の振幅・位相分布を計算する。具体的には、撮像面から被写体面まで逆伝搬する演算を行うことで、被写体位置での振幅・位相分布が再構成できる。
この際、Ｒ、Ｇ、Ｂの画素ごとに、上記の振幅・位相分布の計算を行うことで、Ｒ、Ｇ、Ｂの各色光毎に、物体位置での振幅・位相分布が再構成できるため、これら３つの振幅・位相分布によりカラー画像を得ることができる。
上記４ステップ位相シフト法に替えて、３ステップ、２ステップあるいは５ステップ以上の位相シフト法を用いてもよいし、参照光チルト、並列位相シフトおよびランダム位相参照光使用等の、１回の撮像（露光）で複素振幅を取得するようにしてもよい（伊藤・下馬場：「ホログラフィ入門 コンピュータを利用した3次元映像・3次元計測」，講談社，pp. 119-125を参照）。
この際、Ｒ、Ｇ、Ｂの画素ごとに、上記の振幅・位相分布の計算を行うことで、Ｒ、Ｇ、Ｂの各色光毎に、物体位置での振幅・位相分布が再構成できるため、これら３つの振幅・位相分布によりカラー画像を得ることができる。
上記４ステップ位相シフト法に替えて、３ステップ、２ステップあるいは５ステップ以上の位相シフト法を用いてもよいし、参照光チルト、並列位相シフトおよびランダム位相参照光使用等の、１回の撮像（露光）で複素振幅を取得するようにしてもよい（伊藤・下馬場：「ホログラフィ入門 コンピュータを利用した3次元映像・3次元計測」，講談社，pp. 119-125を参照）。
【0027】
また、平面鏡５を移動させるのではなく、凹面鏡４を位相シフト手段７で移動させて、凹面鏡４を経由する光の位相を複数段階に変化させる上記のような位相シフト法を行ってもよい。この場合、後述する単一の光による撮影時においては位相シフト手段７による移動を止めて撮影してもよいし、あるいはホログラフィを用いた撮影時と同様に位相シフト手段７によって凹面鏡４を移動させながら撮影してもよい。後者の場合、単一の光による撮影において被写体１の広い奥行き範囲でフォーカスの合った像が得られる、という効果も期待できる。
【0028】
次に、単一の光による撮影について説明する。平面鏡５のビームスプリッタ（Ｂ／Ｓ）３側に設けたシャッタ８を作動させて、遮光機能をオンとすることで、平面鏡５を経由する光が遮断され、凹面鏡４を経由した光のみが単板カラー撮像素子６に到達することになる。
また、ＢＰＦ９は動作させない（オフとする）ように設定され、これにより単板カラー撮像素子６は、通常の単板カラーカメラとして機能し、被写体１のカラー画像（強度分布）を得ることができる。
なお、シャッタ８を凹面鏡４とビームスプリッタ（Ｂ／Ｓ）３の間に配置して、平面鏡５からの光のみを撮像面に到達させるようにしてもよい。この場合、被写体１の後段に位置するレンズ２により、撮像素子６と結像関係にある被写体１を撮像することができる。
また、ＢＰＦ９は動作させない（オフとする）ように設定され、これにより単板カラー撮像素子６は、通常の単板カラーカメラとして機能し、被写体１のカラー画像（強度分布）を得ることができる。
なお、シャッタ８を凹面鏡４とビームスプリッタ（Ｂ／Ｓ）３の間に配置して、平面鏡５からの光のみを撮像面に到達させるようにしてもよい。この場合、被写体１の後段に位置するレンズ２により、撮像素子６と結像関係にある被写体１を撮像することができる。
【0029】
また、単板カラー撮像素子６からは、単一の光による画像データが、被写体像再構成手段１１に出力され、被写体像再構成手段１１内の第２画像格納部１３において、単一の光により得られた複数の画像データが格納される。
この後、第１画像演算部１２での演算により得られた振幅・位相分布データと、第２画像格納部１３に格納された画像データとを、被写体像再構成手段１１内の画像組合せ部１４において組合せ、この組合わせられた再構成画像（新たな第１画像）を被写体像画像信号として外部のモニタ１５等に出力する。画像組合せ部１４においてなされる画像組合せ処理については後述する。
なお、上記被写体像再構成手段１１および上記モニタ１５等によって、ホログラフィ撮像装置部２０に対応するホログラフィ再生装置部４０が構築される。
この後、第１画像演算部１２での演算により得られた振幅・位相分布データと、第２画像格納部１３に格納された画像データとを、被写体像再構成手段１１内の画像組合せ部１４において組合せ、この組合わせられた再構成画像（新たな第１画像）を被写体像画像信号として外部のモニタ１５等に出力する。画像組合せ部１４においてなされる画像組合せ処理については後述する。
なお、上記被写体像再構成手段１１および上記モニタ１５等によって、ホログラフィ撮像装置部２０に対応するホログラフィ再生装置部４０が構築される。
【0030】
本実施形態の装置では、上記の、ホログラフィを用いた撮影機能と、単一の光による撮影機能を交互に切り替えて行う。すなわち第１の期間において、シャッタ８をオフ、ＢＰＦ９をオンとして４ステップ位相シフト法により、位相が０、π／２、π、３π／２に対応した被写体１のカラーのホログラム画像を撮影し、第２の期間において、シャッタ８をオン、ＢＰＦ９をオフとして、凹面鏡４により収束せしめられた光のみによって被写体１のカラー画像を取得する。
【0031】
ホログラフィを用いた撮影では、単板カラー撮像素子６の位置は凹面鏡４の焦点距離の位置付近にある必要はないが、単一の光による撮影では、解像度を保つため、単板カラー撮像素子６の位置は凹面鏡４の焦点距離の位置付近にあることが望ましい。
また、図１に示す構成では、時間を切り替えて２つの撮影を択一的に行うことが必要であることから、単板カラー撮像素子６の位置は単一の光による撮影にあわせて、凹面鏡４（単一の光による撮影に平面鏡５からの光を用いる場合は平面鏡５）の焦点距離の位置付近にあることが望ましい。
また、図１に示す構成では、時間を切り替えて２つの撮影を択一的に行うことが必要であることから、単板カラー撮像素子６の位置は単一の光による撮影にあわせて、凹面鏡４（単一の光による撮影に平面鏡５からの光を用いる場合は平面鏡５）の焦点距離の位置付近にあることが望ましい。
【0032】
図２は、ＢＰＦ９のON/OFF切替え動作による単板カラー撮像素子６の各画素に入射する光の波長帯域を説明するものである。
単一の光による撮影では、Ｒ、Ｇ、Ｂ用の画素にはＯＣＦの特性により決まる通常の広帯域な（例えば150～200ｎｍ幅の）Ｒ、Ｇ、Ｂに対応する各色光が入射するのに対し、ホログラフィを用いた撮影では、各画素にＢＰＦ９とＯＣＦの両者を通過した光が入射するため、Ｒ、Ｇ、Ｂ用の画素にはＲ、Ｇ、Ｂに対応する各色光の帯域幅が、ＢＰＦ９で定められた帯域（例えば10ｎｍ幅）まで狭められた光が入射することになる。
ホログラフィを用いた撮影のみにより可視光全域をカバーするためには、例えば10ｎｍ幅では４０個程度のバンド数が必要となり、実装するのは現実的とはいえない。
単一の光による撮影では、Ｒ、Ｇ、Ｂ用の画素にはＯＣＦの特性により決まる通常の広帯域な（例えば150～200ｎｍ幅の）Ｒ、Ｇ、Ｂに対応する各色光が入射するのに対し、ホログラフィを用いた撮影では、各画素にＢＰＦ９とＯＣＦの両者を通過した光が入射するため、Ｒ、Ｇ、Ｂ用の画素にはＲ、Ｇ、Ｂに対応する各色光の帯域幅が、ＢＰＦ９で定められた帯域（例えば10ｎｍ幅）まで狭められた光が入射することになる。
ホログラフィを用いた撮影のみにより可視光全域をカバーするためには、例えば10ｎｍ幅では４０個程度のバンド数が必要となり、実装するのは現実的とはいえない。
【0033】
本実施形態においては、単一の光による撮影によって、可視光全域のカラー情報を取得し、その上で、ホログラフィを用いた撮影により、特に奥行き情報等の被写体１の複素振幅（振幅・位相分布）から得られる情報を取得し、これら、単一の光による撮影およびホログラフィを用いた撮影の両者を用いることで、高精度な被写体情報の取得を可能とするものである。
後者については、Ｒ、Ｇ、Ｂそれぞれの帯域の中から、少なくとも１つずつの複素振幅（振幅・位相分布）を取得するために、３つのバンドを有するＯＣＦおよびＢＰＦ９を用いているが、このバンド数を増加させて、より広い帯域の複素振幅（振幅・位相分布）を取得する構成とすることも可能である。
後者については、Ｒ、Ｇ、Ｂそれぞれの帯域の中から、少なくとも１つずつの複素振幅（振幅・位相分布）を取得するために、３つのバンドを有するＯＣＦおよびＢＰＦ９を用いているが、このバンド数を増加させて、より広い帯域の複素振幅（振幅・位相分布）を取得する構成とすることも可能である。
【0034】
図１の構成の単板カラー撮像素子６に替えてモノクロの撮像素子を用い、前述のＢＰＦ９とＯＣＦで得られる狭帯域のＲ、Ｇ、Ｂ（以下、ｎ－Ｒ、ｎ－Ｇ、ｎ－Ｂと称する）、または前述のＯＣＦで得られる広帯域のＲ、Ｇ、Ｂ（以下、ｗ－Ｒ、ｗ－Ｇ、ｗ－Ｂと称する）の波長帯域を透過するように、ＢＰＦ９を時分割で切り替えるように設定し、ｎ－Ｒ、ｎ－Ｇ、ｎ－Ｂを用いたホログラフィによる撮影と、ｗ－Ｒ、ｗ－Ｇ、ｗ－Ｂを用いた単一の光による撮影とを順に行うことによっても、上記と同様の効果を得ることができる。
【0035】
また、図１に示すホログラフィ撮像再生装置５０において、被写体１とレンズ２の間にプリズム（Ｂ／Ｓ）３を設け、被写体１からの光をＲ、Ｇ、Ｂの３つの色光に分割し、それぞれの色光に対して、図１に示す装置５０の構成を設けるようにしてもよい。この場合には、撮像素子はモノクロ対応撮像素子とし、ＢＰＦ９はＲ、Ｇ、Ｂの各色光の帯域を狭めるように機能させるようにしてもよい。
【0036】
（実施形態２）
本発明における、実施形態２に係るホログラフィ撮像再生装置１５０の光学系を主とした全体構成を図３に示す。なお、本実施形態は、実施形態１のものと、部材の機能が略同様とされているものも多いので、そのような部材については、実施形態１の部材の符号に１００を加えて付し、その詳しい説明は煩を避けるため省略する。なお、実施形態１に示すホログラフィ再生装置部４０に関しては、本実施形態についても同様の構成とされているので、図面からも省略している（以下に説明する、図６、８、９において同じ）。また、本実施形態においては、ホログラム画像を得る際において、複素振幅を得るのに、位相シフト法を用いずに、参照光チルト、並列位相シフトおよびランダム位相参照光使用等の、１回の撮像（露光）で演算可能な手法を用いている（後述する変更態様１、２において同じ）。勿論、実施形態１と同様に、位相シフト法を用いて複素振幅を得るようにしてもよい。
本実施形態に係るホログラフィ撮像再生装置１５０の特徴は、図３に示すように、ホログラフィを用いた撮影と、単一の光による撮影との各々に、専用の撮像素子１０６ａ、ｂを設けたことにより、両撮影を同時に行うことを可能としていることにある。
本発明における、実施形態２に係るホログラフィ撮像再生装置１５０の光学系を主とした全体構成を図３に示す。なお、本実施形態は、実施形態１のものと、部材の機能が略同様とされているものも多いので、そのような部材については、実施形態１の部材の符号に１００を加えて付し、その詳しい説明は煩を避けるため省略する。なお、実施形態１に示すホログラフィ再生装置部４０に関しては、本実施形態についても同様の構成とされているので、図面からも省略している（以下に説明する、図６、８、９において同じ）。また、本実施形態においては、ホログラム画像を得る際において、複素振幅を得るのに、位相シフト法を用いずに、参照光チルト、並列位相シフトおよびランダム位相参照光使用等の、１回の撮像（露光）で演算可能な手法を用いている（後述する変更態様１、２において同じ）。勿論、実施形態１と同様に、位相シフト法を用いて複素振幅を得るようにしてもよい。
本実施形態に係るホログラフィ撮像再生装置１５０の特徴は、図３に示すように、ホログラフィを用いた撮影と、単一の光による撮影との各々に、専用の撮像素子１０６ａ、ｂを設けたことにより、両撮影を同時に行うことを可能としていることにある。
【0037】
図３に示すように、被写体１０１からの光は、レンズ１０２の後段に配された、斜め４５度の直線偏光を透過させる第１の偏光子１１０ａを経由した後、ＳＬＭ１１６で分割され、第１の単板カラー撮像素子１０６ａには平面波と球面波を、第２の単板カラー撮像素子１０６ｂには球面波のみを到達させることで、前者でホログラフィを用いた撮影、後者で単一の光による撮影がなされるように構成されている。すなわち、第１の単板カラー撮像素子１０６ａに到達する平面波は、入射光である４５度直線偏光の垂直（または水平）直線偏光成分であり、第１の単板カラー撮像素子１０６ａに到達する球面波は、入射光である４５度直線偏光の水平（または垂直）直線偏光成分である。第１の単板カラー撮像素子１０６ａのＳＬＭ１１６側に配置された第２の偏光子１１０ｂにより、各光の偏光成分を同一にそろえることで、上記２つの光が互いに干渉し、これによりホログラムが得られる。
【0038】
ＳＬＭ１１６に表示するパターンとしては、図４に示すように、第１の撮像素子１０６ａに結像される球面波（ａ）、第２の撮像素子１０６ｂに結像される球面波（ｂ）、これら（ａ）と（ｂ）の球面波を互いに合成したパターン（ｃ）等を適用できる。
このパターンは、入射した水平（または垂直）直線偏光成分を２つの球面波に分波する効果をもたらすが、ＳＬＭ１１６の領域を区切って、例えば奇数番目の画素に到達した光は第１の撮像素子１０６ａに、偶数番目の画素に到達した光は第２の撮像素子１０６ｂに、それぞれ結像するようなパターンを用いることもできる。この区切り方は画素単位でなくとも、複数画素をまとめたブロック単位としてもよい。
なお、ＳＬＭ１１６としては、透過型のもののみならず反射型のものを用いてもよい。また、液晶表示素子（ＬＣＤ）のみならず、ＤＭＤ等の素子を用いることも可能である。
このパターンは、入射した水平（または垂直）直線偏光成分を２つの球面波に分波する効果をもたらすが、ＳＬＭ１１６の領域を区切って、例えば奇数番目の画素に到達した光は第１の撮像素子１０６ａに、偶数番目の画素に到達した光は第２の撮像素子１０６ｂに、それぞれ結像するようなパターンを用いることもできる。この区切り方は画素単位でなくとも、複数画素をまとめたブロック単位としてもよい。
なお、ＳＬＭ１１６としては、透過型のもののみならず反射型のものを用いてもよい。また、液晶表示素子（ＬＣＤ）のみならず、ＤＭＤ等の素子を用いることも可能である。
【0039】
本実施形態の構成では、上述した実施形態１において用いられていたシャッタ８が不要となり、また、ＢＰＦ１０９は、ＳＬＭ１１６と第１の単板カラー撮像素子１０６ａの間の光路上のみに配置すればよく、ON/OFF切替え動作も不要である。このように、シャッタ８が不要で、ＢＰＦ１０９における切替えの動作および構造が不要であるから、装置の構造が簡便で、撮影の高速化を図り得るシステムとすることができる。
【0040】
ＳＬＭ１１６から撮像素子１０６ａ、ｂまでの距離は、２つの撮像素子１０６ａ、ｂで同一としてもよいが、第１の撮像素子１０６ａは、ホログラフィを用いた撮影で最も解像度が高くなるとされている距離（平面波と球面波の像が同じサイズになる距離）に配置し、第２の撮像素子１０６ｂは、焦点距離の位置に配置するというように、互いに異なる距離に配置してもよい。
【0041】
また、本実施形態のホログラフィ撮像再生装置１５０は、上述した実施形態１のホログラフィ撮像再生装置５０と略同様の以下の作用効果を得ることができる。すなわち、図３に示す第１の単板カラー撮像素子１０６ａに替えてモノクロの撮像素子を用いてもよい。この場合は、第２の単板カラー撮像素子１０６ｂのＳＬＭ１１６側にもＢＰＦを配置して、それぞれのＢＰＦを互いに同期させ、各撮像素子１０６ａ、ｂの撮影操作を時分割で行い得るようにし、第１の単板カラー撮像素子１０６ａのＳＬＭ１１６側に配置したＢＰＦ１０９で、図２（Ｂ）Iで示すような狭帯域のｎ－Ｒ、ｎ－Ｇ、ｎ－Ｂへの切替えを行い、また、第２の単板カラー撮像素子１０６ｂのＳＬＭ１１６側に配置したＢＰＦで、図２（Ｂ）IIで示すような広帯域のｗ－Ｒ、ｗ－Ｇ、ｗ－Ｂへの切替えを行って撮影することでも同様の効果が得られる。
【0042】
また、上述した実施形態１のホログラフィ撮像再生装置５０と略同様に、図３に示すホログラフィ撮像再生装置１５０において、被写体１０１とレンズ１０２の間にプリズム（Ｂ／Ｓ）１０３を設け、被写体１０１からの光をＲ、Ｇ、Ｂの３つの色光に分割し、それぞれの色光に対して、図３に示す装置１５０の構成を設けるようにしてもよい。この場合には、各撮像素子はモノクロ対応の撮像素子とし、ＢＰＦ１０９は、各色光に係る第１の撮像素子（第１の単板カラー撮像素子１０６ａに対応）のＳＬＭ１１６側にのみ配置し、このＢＰＦ１０９により、これら各色光の帯域を狭めるように機能させるようにしてもよい。
【0043】
［新たな再構成画像を得る際における画像を組合せる手法］
以下、実施形態２に係るホログラフィ撮像再生装置１５０において、ホログラフィを用いた撮影と、単一の光による撮影を併用する構成について詳細に説明する。
なお、以下に説明する構成は、前述した、被写体像再構成手段１１内の画像組合せ部１４における構成に対応する。
なお、本シミュレーションには、説明の簡便化のためモノクロ画像を用いて説明しているが、実際に取り扱うカラー画像の場合は、モノクロ画像を用いて説明した内容を、Ｒ、Ｇ、Ｂの各色光（チャネル）に対して行うようにすればよい。
なお、以下においては、「被写体」との用語に替え、「物体」との用語を用いて説明する場合がある。
図５は、ホログラフィを用いた撮影と、単一の光による撮影の、一般的な流れを示すものである。上方部分には、ホログラフィを用いた撮影（I）における、ホログラム形成と物体画像再構成の出力画像の処理の流れを概略的に示すものである。なお、用いた数値パラメータは図３に記載の数値であり、例えば、平面波と球面波を発生させるＳＬＭ１１６と、撮像素子１０６ａとの距離は500ｍｍに設定することで撮像面上に形成されたホログラム画像を取得した。
以下、実施形態２に係るホログラフィ撮像再生装置１５０において、ホログラフィを用いた撮影と、単一の光による撮影を併用する構成について詳細に説明する。
なお、以下に説明する構成は、前述した、被写体像再構成手段１１内の画像組合せ部１４における構成に対応する。
なお、本シミュレーションには、説明の簡便化のためモノクロ画像を用いて説明しているが、実際に取り扱うカラー画像の場合は、モノクロ画像を用いて説明した内容を、Ｒ、Ｇ、Ｂの各色光（チャネル）に対して行うようにすればよい。
なお、以下においては、「被写体」との用語に替え、「物体」との用語を用いて説明する場合がある。
図５は、ホログラフィを用いた撮影と、単一の光による撮影の、一般的な流れを示すものである。上方部分には、ホログラフィを用いた撮影（I）における、ホログラム形成と物体画像再構成の出力画像の処理の流れを概略的に示すものである。なお、用いた数値パラメータは図３に記載の数値であり、例えば、平面波と球面波を発生させるＳＬＭ１１６と、撮像素子１０６ａとの距離は500ｍｍに設定することで撮像面上に形成されたホログラム画像を取得した。
【0044】
４ステップ位相シフト法により、位相を０、π／２、π、３π／２と４段階で変化させることにより、４つのホログラム画像の強度分布（Ｉ１～Ｉ４）が得られたとすると、物体の撮像面での複素振幅分布（振幅・位相分布）ｕは下式（１）のように表される。
ｕ＝１／４×｛（Ｉ１－Ｉ３）＋ｉ（Ｉ２－Ｉ４）｝（ｉは虚数単位） …（１）
この複素振幅分布に対して、撮像面から物体面まで逆伝搬する演算を行うことで、物体位置での複素振幅分布（振幅・位相分布）が得られ、被写体１０１の再構成画像が得られる。
ｕ＝１／４×｛（Ｉ１－Ｉ３）＋ｉ（Ｉ２－Ｉ４）｝（ｉは虚数単位） …（１）
この複素振幅分布に対して、撮像面から物体面まで逆伝搬する演算を行うことで、物体位置での複素振幅分布（振幅・位相分布）が得られ、被写体１０１の再構成画像が得られる。
【0045】
図５の下方半分に、単一の光による撮影（II）における、物体像を示す。例えば、球面波を発生させるＳＬＭ１１６と、第２の単板カラー撮像素子１０６ｂとの距離を250ｍｍに設定することで撮像面上に形成された、Ｒ、Ｇ、Ｂからなる物体のカラー画像（強度分布）を取得する。
【0046】
以上の手法により、単一の光による撮影において、可視光全域にわたるＲ、Ｇ、Ｂの情報を取得でき、かつ、ホログラフィを用いた撮影では、Ｒ、Ｇ、Ｂの各波長帯域のうち少なくとも１つずつの狭帯域のバンドにより、種々の物体位置での複素振幅分布（振幅・位相分布）を取得することができる。
【0047】
図５に示す計算には、ノイズの影響が含まれていないため、ホログラフィを用いた撮影Iと、単一の光による撮影IIとの２つの撮影手法間において（（Ｄ）と（Ｅ）の各画像間において）、画質に差は見られないが、実際には波長幅の制限による光量の減少のため、ホログラフィを用いた撮影Iの方がノイズの影響をさらに受けることとなりやすい。
すなわち、撮像素子１０６ａで検出される主なノイズの一つに光ショットノイズがあるが、入射光子数をＳとすると光ショットノイズＮ＝√Ｓで表され、S/N比は、Ｓ／√Ｓ＝√Ｓとなり、光子数の平方根に比例する。
すなわち、撮像素子１０６ａで検出される主なノイズの一つに光ショットノイズがあるが、入射光子数をＳとすると光ショットノイズＮ＝√Ｓで表され、S/N比は、Ｓ／√Ｓ＝√Ｓとなり、光子数の平方根に比例する。
【0048】
例えば、単一の光による撮影ではＢＰＦによる波長幅制限を行わずに150～200ｎｍの波長の光で撮影し、ホログラフィを用いた撮影ではＢＰＦによって波長幅を10ｎｍに制限することとすると、スペクトル分布の影響にもよるが、後者の光量は前者のおよそ10分の1以下に減少してしまうため、Ｓ／Ｎ比も劣化する。
したがって、この入射光量の違いを考慮に入れると、上記２つの撮影手法によるＳ／Ｎ比としては、ホログラフィを用いた撮影のほうが悪くなってしまう。
したがって、この入射光量の違いを考慮に入れると、上記２つの撮影手法によるＳ／Ｎ比としては、ホログラフィを用いた撮影のほうが悪くなってしまう。
【0049】
以下、図３に示す装置で得られた２種類の画像から有用な画像を得ることができる実施形態に係る構成の一例について説明する。
図６に示すように、距離が互いに異なる物体Ａ、Ｂ、Ｃの３つを含む画角で撮影を行うものとし、その時の２つの撮影手法で得られる画像のイメージを図７に示す。なお、図６に係るホログラフィ撮像再生装置４５０は、実施形態２のホログラフィ撮像再生装置１５０を用いているが、便宜上、図３に示す部材の符号に３００を加えた符号を、対応する部材に付している。
ホログラフィを用いた再構成画像（以下、第１画像と称する）ではノイズ（図７では物体Ａ、Ｂ、Ｃ内のドットで表される）が多いが、各物体の距離ａ，ｂ，ｃに対応して逆伝搬させることで、その距離にある物体のコントラストが高くなるため、その距離にある物体の情報が得られることになる。一方、単一の光による撮影画像（以下、第２画像と称する）ではノイズが少ないが、距離と物体の関係は不明である。なお、ここで物体の存在する距離の範囲は、単一の光による撮影における被写界深度の範囲内であるとする。
図６に示すように、距離が互いに異なる物体Ａ、Ｂ、Ｃの３つを含む画角で撮影を行うものとし、その時の２つの撮影手法で得られる画像のイメージを図７に示す。なお、図６に係るホログラフィ撮像再生装置４５０は、実施形態２のホログラフィ撮像再生装置１５０を用いているが、便宜上、図３に示す部材の符号に３００を加えた符号を、対応する部材に付している。
ホログラフィを用いた再構成画像（以下、第１画像と称する）ではノイズ（図７では物体Ａ、Ｂ、Ｃ内のドットで表される）が多いが、各物体の距離ａ，ｂ，ｃに対応して逆伝搬させることで、その距離にある物体のコントラストが高くなるため、その距離にある物体の情報が得られることになる。一方、単一の光による撮影画像（以下、第２画像と称する）ではノイズが少ないが、距離と物体の関係は不明である。なお、ここで物体の存在する距離の範囲は、単一の光による撮影における被写界深度の範囲内であるとする。
【0050】
第１画像において、物体の各部位毎に、ノイズの少ない画像とするために、第２画像における、第１画像の部位に対応した部位である、コントラストの高い画素エリアだけを切り出す。すなわち、上記第２画像におけるコントラストの高い部位を特定し、対応する第１画像の各対応部位の位置情報に基づいて第２画像の各部位を位置設定して、新たな第１画像を形成するようにしている。
こうすることで、各距離ａ，ｂ，ｃに位置する物体において、ノイズの少ない第１画像（再構成画像）を得ることができる。
図７ではフォーカスの合った部分（コントラストの高い部分）を取り出して利用しているが、ホログラフィを用いた撮影におけるフォーカスが合っていないとの情報を利用して、フォーカスの合っていない部分のぼやけた画像も含めて合成し、敢えてボケ画像を作成することも可能である。
こうすることで、各距離ａ，ｂ，ｃに位置する物体において、ノイズの少ない第１画像（再構成画像）を得ることができる。
図７ではフォーカスの合った部分（コントラストの高い部分）を取り出して利用しているが、ホログラフィを用いた撮影におけるフォーカスが合っていないとの情報を利用して、フォーカスの合っていない部分のぼやけた画像も含めて合成し、敢えてボケ画像を作成することも可能である。
【0051】
以上のことを、Ｒ、Ｇ、Ｂそれぞれのチャネルについて行うことで、各物体の距離にある、ノイズの少ない物体のカラー画像が得られる。ここで、ホログラフィを用いた撮影で得られるＲ、Ｇ、Ｂ各色光毎の狭帯域の信号（ｎ－Ｒ、ｎ－Ｇ、ｎ－Ｂ）と、本来の、Ｒ、Ｇ、Ｂ各色光毎の広帯域の信号（ｗ－Ｒ、ｗ－Ｇ、ｗ－Ｂ）には関連性があると考えられるため、色光毎にフォーカス（合焦）の判定が可能であるとしているが、被写体や撮影条件によっては、カラー情報を取得した際に、誤差が生じることが考えられる。狭帯域で取得する信号のバンド数が増加するのに応じて、この誤差を軽減することができるため、用途に応じて、このバンド数を決定することが望ましい。
【0052】
また、他の利用手法として、ホログラフィを用いた撮影は、単一の光による撮影に比べて、物体の高い空間周波数の情報を含んでいることが知られているため、例えば、これら２つの撮影手法で得られた画像のＦＦＴ処理を行って、前者の撮影で得られた高周波の情報と後者の撮影で得られた低周波の情報を合成して画像を再構成することで、画質と空間周波数帯域を両立させた画像を得ることもできる。
【0053】
また、他の利用手法として、動画像を得る際の利用が考えられる。すなわち、ホログラフィを用いる撮影において４ステップ位相シフト法を用いた場合には、４枚の画像を取得し、さらに再構成画像を計算により得ることで時間を要するため、フレームレートの向上が制限される場合が考えられる。
【0054】
一方、単一の光による撮影では、撮像素子自体の性能の限界まで高フレームレートの撮影が可能であるため、最も高いフレームレートでの動画撮影は単一の光による撮影の画像情報を用い、その上で、図７と同様の合成手法を用いる。すなわち、ホログラフィを用いて得られた再構成画像における、各物体の距離に対応した第２画像の、コントラストの高い画素エリアだけを切り出すことで、各物体の距離における、物体の、カラー動画像を得ることができる。
距離情報は、最高フレームレートの時間精度では得ることができないものの、例えば物体の動きが同一の距離内では激しく変化するが、物体の奥行き方向には変化が少ない、というような撮影対象に対して、本実施形態は特に有効な手法となる。
距離情報は、最高フレームレートの時間精度では得ることができないものの、例えば物体の動きが同一の距離内では激しく変化するが、物体の奥行き方向には変化が少ない、というような撮影対象に対して、本実施形態は特に有効な手法となる。
【0055】
以上に説明したように、本実施形態の撮像装置および撮像方法では、通常の結像系による撮影の機能は保持しながら、被写体の複素振幅（振幅位相分布）を取得できるインコヒーレントデジタルホログラフィの機能を実現することができ、物体の情報を正確にとらえるカメラ、計測装置、顕微鏡等の種々の装置に適用が可能である。
【0056】
また、本発明に係るインコヒーレントデジタルホログラフィ撮像装置および撮像方法としては、上記実施形態のものに限られるものではなく、その他の種々の態様の変更が可能である。
例えば、光学系としては図８および図９に示すような変更態様のものを用いることもできる。
なお、以下の変更態様は、実施形態２のものと、部材の機能が類似しているものも多いので、そのような部材については、実施形態２の部材の符号に、変更態様１については４００を加えて付し、他方、変更態様２については５００を加えて付し、その詳しい説明は煩を避けるため省略する。
例えば、光学系としては図８および図９に示すような変更態様のものを用いることもできる。
なお、以下の変更態様は、実施形態２のものと、部材の機能が類似しているものも多いので、そのような部材については、実施形態２の部材の符号に、変更態様１については４００を加えて付し、他方、変更態様２については５００を加えて付し、その詳しい説明は煩を避けるため省略する。
【0057】
（変更態様１）
本変更態様は、図８に示すように、単板カラー撮像素子５０６のＳＬＭ５１６側に、光軸を中心として回転可能とされた回転偏光子５１７を配置して、ホログラフィを用いた撮影と単一の光による撮影とを、時間的に切り替える構成を備えたものである。ホログラフィを用いた撮影では、単板カラー撮像素子５０６のＳＬＭ５１６側に配置した回転偏光子５１７は、図３に示す実施形態２の場合と同様に、２光波の偏光方向をそろえる動作を行うが、単一の光による撮影では、回転偏光子５１７を回転させて水平（または垂直）直線偏光成分である球面波のみを透過させる。
この場合、単一の光による撮影条件にあわせて、撮像面で結像するような球面波をＳＬＭ５１６で発生させることが肝要である。ＢＰＦ５０９は、上記実施形態１の場合と同様に、ON/OFF切替え動作を行うものとする。この変更態様１の構成では、１つの単板カラー撮像素子５０６を用いるだけでよく、上記実施形態１で用いられているシャッタも不要であり、より簡便な構成とすることができる。
本変更態様は、図８に示すように、単板カラー撮像素子５０６のＳＬＭ５１６側に、光軸を中心として回転可能とされた回転偏光子５１７を配置して、ホログラフィを用いた撮影と単一の光による撮影とを、時間的に切り替える構成を備えたものである。ホログラフィを用いた撮影では、単板カラー撮像素子５０６のＳＬＭ５１６側に配置した回転偏光子５１７は、図３に示す実施形態２の場合と同様に、２光波の偏光方向をそろえる動作を行うが、単一の光による撮影では、回転偏光子５１７を回転させて水平（または垂直）直線偏光成分である球面波のみを透過させる。
この場合、単一の光による撮影条件にあわせて、撮像面で結像するような球面波をＳＬＭ５１６で発生させることが肝要である。ＢＰＦ５０９は、上記実施形態１の場合と同様に、ON/OFF切替え動作を行うものとする。この変更態様１の構成では、１つの単板カラー撮像素子５０６を用いるだけでよく、上記実施形態１で用いられているシャッタも不要であり、より簡便な構成とすることができる。
【0058】
（変更態様２）
本変更態様は、図９に示すように、偏光ビームスプリッタ（ＰＢＳ）６０３を用いて物体光をＳ偏光とＰ偏光に分離する構成を備えたものである。分離されたＳ偏光をレンズ６０２ａを介して第２の撮像素子６０６ｂに結像させて、単一の光による撮影を行い、一方、分離されたＰ偏光は半波長板６１８で斜め４５°の直線偏光を透過させる構成とし、以降は図８に示す変更態様１と同様に、第１の撮像素子６０６ａでホログラフィの撮影を行う。
なお、ＢＰＦ６０９は常時、オン状態に設定しておけばよい。本変更態様は、上記変更態様１と比べると、上記変更態様１で用いられている回転偏光子５１７における光量ロスをなくし、入射光を効率的に利用し得る、との利点を有している。
本変更態様は、図９に示すように、偏光ビームスプリッタ（ＰＢＳ）６０３を用いて物体光をＳ偏光とＰ偏光に分離する構成を備えたものである。分離されたＳ偏光をレンズ６０２ａを介して第２の撮像素子６０６ｂに結像させて、単一の光による撮影を行い、一方、分離されたＰ偏光は半波長板６１８で斜め４５°の直線偏光を透過させる構成とし、以降は図８に示す変更態様１と同様に、第１の撮像素子６０６ａでホログラフィの撮影を行う。
なお、ＢＰＦ６０９は常時、オン状態に設定しておけばよい。本変更態様は、上記変更態様１と比べると、上記変更態様１で用いられている回転偏光子５１７における光量ロスをなくし、入射光を効率的に利用し得る、との利点を有している。
【0059】
（その他の変更態様）
光学系に関するその他の変更態様としては、例えば、上記実施形態１においては、マイケルソンタイプの等光路長型の光学系を用いた態様が示されているが、例えば、マッハツェンダタイプや、迂回光路型の等光路長フィゾータイプの光学系等を用いることも可能である。
なお、上記実施形態においては、被写体の再構成画像である第１画像はカラー画像としているが、これをモノクロ画像とすることも可能である。すなわち、本発明のインコヒーレントデジタルホログラフィ撮像装置および撮像方法においては、第１画像がカラー画像であってもモノクロ画像であっても、第２画像と組み合わせた結果、カラー画像が得られるものであればよい。ただし、第２画像はカラー画像であることが必要である。
光学系に関するその他の変更態様としては、例えば、上記実施形態１においては、マイケルソンタイプの等光路長型の光学系を用いた態様が示されているが、例えば、マッハツェンダタイプや、迂回光路型の等光路長フィゾータイプの光学系等を用いることも可能である。
なお、上記実施形態においては、被写体の再構成画像である第１画像はカラー画像としているが、これをモノクロ画像とすることも可能である。すなわち、本発明のインコヒーレントデジタルホログラフィ撮像装置および撮像方法においては、第１画像がカラー画像であってもモノクロ画像であっても、第２画像と組み合わせた結果、カラー画像が得られるものであればよい。ただし、第２画像はカラー画像であることが必要である。
【符号の説明】
【0060】
１、１０１、４０１、５０１、６０１ 被写体
２、１０２、４０２、５０２、６０２、６０２ａ レンズ
３ ビームスプリッタ（Ｂ／Ｓ）
４ 凹面鏡
５ 平面鏡
６、１０６ａ、１０６ｂ、４０６ａ、４０６ｂ、５０６、６０６ａ、６０６ｂ
単板カラー撮像素子
７ 位相シフト手段（ピエゾ素子）
８ シャッタ
９、１０９、４０９、５０９、６０９ バンドパスフィルタ（ＢＰＦ）
１１ 被写体像再構成手段
１２ 第１画像演算部
１３ 第２画像格納部
１４ 画像組合せ部
１５ モニタ
２０、１２０、４２０、５２０、６２０ ホログラフィ撮像装置部
４０ ホログラフィ再生装置部
５０、１５０、４５０、５５０、６５０ ホログラフィ撮像再生装置
１１０ａ、１１０ｂ、４１０ａ、４１０ｂ、５１０、６１０ 偏光子（第１の偏光子、第２の偏光子）
１１６、４１６、５１６、６１６ ＳＬＭ
５１７ 回転偏光子
６０３ 偏光ビームスプリッタ（ＰＢＳ）
６１８ 半波長板
２、１０２、４０２、５０２、６０２、６０２ａ レンズ
３ ビームスプリッタ（Ｂ／Ｓ）
４ 凹面鏡
５ 平面鏡
６、１０６ａ、１０６ｂ、４０６ａ、４０６ｂ、５０６、６０６ａ、６０６ｂ
単板カラー撮像素子
７ 位相シフト手段（ピエゾ素子）
８ シャッタ
９、１０９、４０９、５０９、６０９ バンドパスフィルタ（ＢＰＦ）
１１ 被写体像再構成手段
１２ 第１画像演算部
１３ 第２画像格納部
１４ 画像組合せ部
１５ モニタ
２０、１２０、４２０、５２０、６２０ ホログラフィ撮像装置部
４０ ホログラフィ再生装置部
５０、１５０、４５０、５５０、６５０ ホログラフィ撮像再生装置
１１０ａ、１１０ｂ、４１０ａ、４１０ｂ、５１０、６１０ 偏光子（第１の偏光子、第２の偏光子）
１１６、４１６、５１６、６１６ ＳＬＭ
５１７ 回転偏光子
６０３ 偏光ビームスプリッタ（ＰＢＳ）
６１８ 半波長板
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】