特開 2022-160861 ディジタルホログラム信号処理装置およびディジタルホログラム撮像再生装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022160861

(43)【公開日】2022-10-20

(54)【発明の名称】ディジタルホログラム信号処理装置およびディジタルホログラム撮像再生装置

(51)【国際特許分類】

   G03H 1/04 20060101AFI20221013BHJP

   G03H 1/22 20060101ALI20221013BHJP

   G11B 7/0065 20060101ALI20221013BHJP

   G01N 21/17 20060101ALI20221013BHJP

【ＦＩ】

G03H1/04

G03H1/22

G11B7/0065

G01N21/17 A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021065331

(22)【出願日】2021-04-07

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100097984

【弁理士】

【氏名又は名称】川野 宏

(74)【代理人】

【識別番号】100098073

【弁理士】

【氏名又は名称】津久井 照保

(72)【発明者】

【氏名】信川 輝吉

(72)【発明者】

【氏名】片野 祐太郎

(72)【発明者】

【氏名】後藤 正英

(72)【発明者】

【氏名】室井 哲彦

(72)【発明者】

【氏名】石井 紀彦

【テーマコード（参考）】

2G059

2K008

5D090

【Ｆターム（参考）】

2G059AA05

2G059EE02

2G059EE09

2G059FF01

2G059GG01

2G059KK04

2G059LL01

2K008AA04

2K008AA06

2K008BB00

2K008CC03

2K008HH02

2K008HH06

2K008HH13

2K008HH18

2K008HH28

5D090BB16

5D090FF05

(57)【要約】

【課題】 被写体の奥行位置や奥行順序等の奥行感覚を正しく得ることを可能とし、通常のカメラで撮像した映像と合成することを可能とする。
【解決手段】 ディジタルホログラムの再構成像から、被写体の合焦像と、該合焦像の奥行位置情報を取得する合焦像／奥行位置情報取得手段１８Ａと、被写界深度の領域内の、所望の奥行位置に設定される領域内合焦像を指定し得るように演算し、得られた各合焦像を加算して基準画像Ｂを取得する基準画像取得手段１８Ｂと、被写界深度の領域外の、所望の奥行位置に配される領域外合焦像を指定し得るように演算してデフォーカス画像群Ｄｄを得るデフォーカス画像群取得手段１８Ｃと、得られた基準画像Ｂと、得られたデフォーカス画像群Ｄｄと、を互いに加算して、インコヒーレント応答画像を得る基準画像／デフォーカス画像群加算手段１８Ｄと、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

被写体の３次元情報を光の干渉を利用して撮像するディジタルホログラム撮像再生装置の信号処理を行うディジタルホログラム信号処理装置において、
該ディジタルホログラム撮像再生装置の干渉光学系により得られたディジタルホログラムの再構成像から、被写体の所望の数の合焦像と、該合焦像の奥行位置の情報を取得する合焦像／奥行位置情報取得手段と、
被写界深度の領域内の、所望の前記奥行位置に設定される領域内合焦像を指定し得るように、該奥行位置に応じて、被写界深度、レンズの焦点距離、該レンズの開口径、および該レンズから像面までの距離の各要素を設定し、得られた所定数の前記領域内合焦像を互いに加算して基準画像を取得する基準画像取得手段と、
前記被写界深度の領域外の、所望の前記奥行位置に配される領域外合焦像を指定し得るように、該奥行位置に応じて、前記レンズの焦点距離、該レンズの開口径、および該レンズから像面までの距離の各要素を設定し、得られた該領域外合焦像各々の強度分布と、インコヒーレント結像系の点像分布関数の強度分布との畳み込み積分を演算してデフォーカス画像群を得るデフォーカス画像群取得手段と、
前記基準画像取得手段により得られた前記基準画像と、前記デフォーカス画像群取得手段により得られた前記デフォーカス画像群と、を互いに加算して、インコヒーレント応答画像を得る基準画像／デフォーカス画像群加算手段と、
を備えたことを特徴とするディジタルホログラム信号処理装置。

【請求項2】

前記基準画像取得手段において前記基準画像を取得する演算処理は、前記奥行位置を変更して得られた、前記領域内合焦像各々の強度分布を加算して取得された合算強度分布と、前記インコヒーレント結像系の点像分布関数の強度分布との畳み込み積分に係る演算処理であることを特徴とする請求項１に記載のディジタルホログラム信号処理装置。

【請求項3】

前記合算強度分布と、前記インコヒーレント結像系の点像分布関数の強度分布との畳み込み積分に係る前記演算処理を行う際には、下式（Ａ）の関係を満たすように、前記インコヒーレント結像系の点像分布関数のパラメータを設定する構成とされていることを特徴とする請求項２に記載のディジタルホログラム信号処理装置。

【数1】

但し、前記レンズから被写体の合焦像までの距離をｚ_１、該レンズから像面までの距離をｚ_２、該レンズの焦点距離をｆとする。

【請求項4】

前記合焦像／奥行位置情報取得手段における、前記被写体の所望の数の合焦像と、該合焦像の奥行位置の情報を取得する処理が、前記ディジタルホログラムの再構成像の鮮鋭度の評価結果に基づいてなされる処理であることを特徴とする請求項１～３のうちいずれか１項に記載のディジタルホログラム信号処理装置。

【請求項5】

撮像素子と、少なくとも一方が被写体情報を担持した２系の光を互いに干渉させて該撮像素子にホログラム像を形成する撮像光学系と、請求項１～４のうちいずれか１項に記載のディジタルホログラム信号処理装置と、を備えたことを特徴とするディジタルホログラム撮像再生装置。

【請求項6】

コヒーレントな光源と、その光源からのコヒーレント光によりディジタルホログラムを得る干渉計の光学系を備え、前記ディジタルホログラム信号処理装置内に、該干渉計の光学系の奥行分解能を記憶するメモリを備えたことを特徴とする請求項５に記載のディジタルホログラム撮像再生装置。

【請求項7】

被写体からのインコヒーレントな光を入射されてディジタルホログラムを得る自己干渉計の光学系を備え、前記ディジタルホログラム信号処理装置内に、該自己干渉計の光学系の奥行分解能を記憶するメモリを備えたことを特徴とする請求項５に記載のディジタルホログラム撮像再生装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はディジタルホログラム信号処理装置およびディジタルホログラム撮像再生装置に関し、コヒーレント光およびインコヒーレント光のいずれを用いた場合にも、所望の再構成像を作成することが可能なディジタルホログラム信号処理装置およびディジタルホログラム撮像再生装置に関する。

【背景技術】

【0002】

ディジタルホログラフィの技術では、光の干渉を利用することで被写体の３次元情報を反映したホログラムを撮像素子や光検出器をはじめとする光電子デバイスで撮像し、これをディジタルホログラムとして信号処理部のメモリに保存する。このメモリに保存されたディジタルホログラムを空間光変調器で表示することにより、肉眼で観察可能な被写体の３次元映像を再生できる。また、信号処理部において、ディジタルホログラムに対して回折伝搬の計算を施すことで、任意の奥行位置の２次元画像を再構成することができ、被写体撮像後に焦点位置を任意に変更するリフォーカスが可能である（下記非特許文献１を参照）。

【0003】

ディジタルホログラフィの技術を用いることにより、上述の立体撮像・表示やリフォーカスといった有用な機能を実現することができるが、従来のディジタルホログラフィの技術の多くで、光源としてコヒーレンスが高いレーザー光の使用が必須であった。しかしながら、インコヒーレントディジタルホログラフィの技術の進展により、光源に要求される空間コヒーレンスの問題が緩和されたことで、太陽光や蛍光、ＬＥＤをはじめとするインコヒーレント光を用いてもディジタルホログラムを撮像でき、上述の立体撮像・表示やリフォーカスを実現できることが示され、ディジタルホログラフィの応用範囲が着実に拡大している（下記特許文献１、２を参照）。

【0004】

レーザー光(コヒーレント光)を光源とするディジタルホログラフィ（下記非特許文献１を参照）、およびインコヒーレント光を光源とするインコヒーレントディジタルホログラフィ（下記特許文献１、２を参照）は、使用光源のコヒーレンス長とディジタルホログラム作成用の干渉光学系の構成は異なるものの、２次元画像を再構成するために用いる回折伝搬の計算は共通であり、この場合は、フレネル回折積分や角スペクトル法（あるいは平面波展開）が共通して用いられる。これらの回折計算では、光の時間的・空間的コヒーレンスが大きいことを暗黙のうちに前提としており、その再構成像のぼやけの状態は、コヒーレント光の応答を示す。
なお、インコヒーレントディジタルホログラフィにおいても、撮像時はインコヒーレント光が対象とされているものの、再構成時の像は、コヒーレント光に係る性質を示す。
このコヒーレント光の応答は、光の波面情報を用いて３次元情報を再構成する上では不可欠な応答であり、３次元映像を再生する際に問題となることはない。

【0005】

したがって、ディジタルホログラフィにおける２次元画像を再構成した像のぼやけの状態は、インコヒーレント光に基づく一眼レフカメラやスマートフォンのような通常のカメラのぼやけ状態と全く異なる。つまり、３次元映像を撮像する技術であるディジタルホログラフィにより、上述する通常の手法で２次元画像を出力してしまうと、通常のカメラを使用してきたユーザーは、ディジタルホログラフィにおける２次元画像のぼやけの状態を不自然に感じてしまう。

【0006】

さらに、通常、人間はぼやけ具合（デフォーカスの大小）により物体の奥行、奥行方向の遠近の順序関係などを判断していることが知られており（下記非特許文献２、３を参照）、従来のディジタルホログラム撮像再生装置では、２次元画像から感じられる奥行感覚が正しく得られない。また、ディジタルホログラム撮像再生装置で撮像した映像を、ディジタルホログラム撮像再生装置ではない、通常のカメラで撮像した映像と合成しながら映像素材を構成する場合に、不整合が生じる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特表２０１６－５３３５４２号公報

【特許文献2】特開２０２０－０６０７０９号公報

【非特許文献】

【0008】

【非特許文献1】Georges Nehmetallah and Partha P. Banerjee、「Applications of digital and analog holography in three-dimensional imaging」、Advances in Optics and Photonics、(2012)、vol． 4、pp． 472-553．

【非特許文献2】Alex Paul Pentland、「A new sense for depth of field」、IEEE Transactions on pattern analysis and machine intelligence、(1987)、vol． 4、pp． 523-531．

【非特許文献3】George Mather and David R R Smith、「Blur discrimination and its relation to blur-mediated depth perception」、Perception、(2002)、vol． 31、pp． 1211-1219．

【発明の概要】

【発明が解決しようとする課題】

【0009】

従来のディジタルホログラフィで回折伝搬計算により２次元画像を再構成する際に、フォーカス面からはずれたデフォーカス面の光分布のぼやけ状態は、コヒーレント光の応答を示してリンギングや光の特異点が発生してしまい、通常のカメラを用いた場合のような滑らかなぼやけを得ることができないという問題がある。

【0010】

このように、被写体の奥行位置や奥行順序の奥行感覚が正しく得られないことに加え、通常のカメラで撮像した映像と合成することができない。さらに、ディジタルホログラフィにおける像のぼやけ量は、撮像再生装置と被写体間の距離で決定されてしまう。

【0011】

本発明はこのような問題を解決するためになされたものであり、被写体の奥行位置や奥行順序等の奥行感覚を正しく得ることができ、通常のカメラで撮像した映像と合成することが可能であり、さらに、ディジタルホログラフィにおける像のぼやけ量を、容易に調整可能なディジタルホログラム信号処理装置およびディジタルホログラム撮像再生装置を提供することを目的とするものである。

【課題を解決するための手段】

【0012】

本発明のディジタルホログラム信号処理装置は、
被写体の３次元情報を光の干渉を利用して撮像するディジタルホログラム撮像再生装置の信号処理を行うディジタルホログラム信号処理装置において、
該ディジタルホログラム撮像再生装置の干渉光学系により得られたディジタルホログラムの再構成像から、被写体の所望の数の合焦像と、該合焦像の奥行位置の情報を取得する合焦像／奥行位置情報取得手段と、
被写界深度の領域内の、所望の前記奥行位置に設定される領域内合焦像を指定し得るように、該奥行位置に応じて、被写界深度、レンズの焦点距離、該レンズの開口径、および該レンズから像面までの距離の各要素を設定し、得られた所定数の前記領域内合焦像を互いに加算して基準画像を取得する基準画像取得手段と、
前記被写界深度の領域外の、所望の前記奥行位置に配される領域外合焦像を指定し得るように、該奥行位置に応じて、前記レンズの焦点距離、該レンズの開口径、および該レンズから像面までの距離の各要素を設定し、得られた該領域外合焦像各々の強度分布と、インコヒーレント結像系の点像分布関数の強度分布との畳み込み積分を演算してデフォーカス画像群を得るデフォーカス画像群取得手段と、
前記基準画像取得手段により得られた前記基準画像と、前記デフォーカス画像群取得手段により得られた前記デフォーカス画像群と、を互いに加算して、インコヒーレント応答画像を得る基準画像／デフォーカス画像群加算手段と、
を備えたことを特徴とするものである。

【0013】

また、前記基準画像取得手段において前記基準画像を取得する演算処理は、前記奥行位置を変更して得られた、前記領域内合焦像各々の強度分布を加算して取得された合算強度分布と、前記インコヒーレント結像系の点像分布関数の強度分布との畳み込み積分に係る演算処理であることが好ましい。

【0014】

また、前記合算強度分布と、前記インコヒーレント結像系の点像分布関数の強度分布との畳み込み積分に係る前記演算処理を行う際には、下式（Ａ）の関係を満たすように、前記インコヒーレント結像系の点像分布関数のパラメータを設定する構成とされていることが好ましい。

【数1】

但し、前記レンズから被写体の合焦像までの距離をｚ_１、該レンズから像面までの距離をｚ_２、該レンズの焦点距離をｆとする。

【0015】

また、前記合焦像／奥行位置情報取得手段における、前記被写体の所望の数の合焦像と、該合焦像の奥行位置の情報を取得する処理が、前記ディジタルホログラムの再構成像の鮮鋭度の評価結果に基づいてなされる処理であることが好ましい。

【0016】

また、本発明のディジタルホログラム撮像再生装置は、撮像素子と、少なくとも一方が被写体情報を担持した２系の光を互いに干渉させて該撮像素子にホログラム像を形成する撮像光学系と、上述したいずれかのディジタルホログラム信号処理装置と、を備えたことを特徴とするものである。

【0017】

また、上記ディジタルホログラム撮像再生装置において、コヒーレントな光源と、その光源からのコヒーレント光によりディジタルホログラムを得る干渉計の光学系を備え、上記ディジタルホログラム信号処理装置内に、該干渉計の光学系の奥行分解能を記憶するメモリを備えたことが好ましく、被写体からのインコヒーレントな光を入射されてディジタルホログラムを得る自己干渉計の光学系を備え、上記ディジタルホログラム信号処理装置内に、該自己干渉計の光学系の奥行分解能を記憶するメモリを備えたことも好ましい。

【発明の効果】

【0018】

本発明のディジタルホログラム信号処理装置およびディジタルホログラム撮像再生装置によれば、被写界深度の領域内に位置する再構成画像を調整した合焦像を互いに加算してなる基準画像と、被写体深度の領域外に位置する再構成画像を調整した各合焦像からなるデフォーカス画像群とを互いに加算することにより、デフォーカス位置に存在する被写体の像のぼやけの特性をコヒーレント応答からインコヒーレント応答に変換し、さらにインコヒーレント結像系の点像分布関数のパラメータを変更することでぼやけ量を任意に制御することができる。

【0019】

これにより、ディジタルホログラフィの技術により撮像したデータからであっても、通常のカメラのようなぼやけの状態を示す２次元画像を再構成することができる。さらに、通常のカメラで撮像した映像と合成することも可能となる。

【0020】

さらに、通常のカメラや従来のディジタルホログラフィではなし得なかった、被写体の奥行位置に応じて異なるぼやけ量の付与や、ぼやけ量の自在な制御が可能であり、任意焦点画像に撮像の味であるぼやけを付け加えることで、演出効果も出すことができる。

【図面の簡単な説明】

【0021】

【図1】主として本発明の実施形態に係るディジタルホログラム信号処理装置によるぼやけ変換に係る信号処理の流れを説明するための概念図である。

【図2】本発明の実施形態に係るディジタルホログラム撮像再生装置のインコヒーレント結像系の構成を示す概略図である。

【図3】本発明の実施形態に係るディジタルホログラム撮像再生装置の構成例（（ａ）はコヒーレント光源を照明光とする場合、（ｂ）は周囲のインコヒーレント光を照明光とする場合）を示す概略図である。

【図4】本発明の実施形態に係るディジタルホログラム信号処理部の一例を示すブロック図である。

【図5】図３（ａ）に示す装置の光学系を用いた場合における、被写体画像（ａ）および、それを撮像して得られたディジタルホログラム（ｂ）を示すものである。

【図6】図５（ｂ）に示すディジタルホログラムに基づき再構成した２次元画像（合焦面の位置からのずれ量が各々、-20mm（ａ）、-10mm（ｂ）、0mm（ｃ）、10mm（ｄ）、および20mm（ｅ）、である場合の再構成像）を示すものである。

【図7】本実施形態技術によりぼやけを変換した結果（Ｆ値(合焦面位置)はいずれも8.33、合焦面の位置からのずれ量は各々、-20mm（ａ）、-10mm（ｂ）、0mm（ｃ）、10mm（ｄ）、および20mm（ｅ）、である場合の結果）を示すものである。

【図8】本実施形態技術によりぼやけを変換した結果（Ｆ値(合焦面位置)はいずれも25、合焦面の位置からのずれ量は各々、-20mm（ａ）、-10mm（ｂ）、0mm（ｃ）、10mm（ｄ）、および20mm（ｅ）、である場合の結果）を示すものである。

【図9】本実施形態技術によりぼやけを変換した結果（Ｆ値(合焦面位置)はいずれも83.33、合焦面の位置からのずれ量は各々、-20mm（ａ）、-10mm（ｂ）、0mm（ｃ）、10mm（ｄ）、および20mm（ｅ）、である場合の結果）を示すものである。

【図10】本発明の実施例技術において、奥行方向に配列された複数の物体を撮像する場合において、３つの物体の配置関係（ａ）とその３つの物体を撮像して得られたディジタルホログラム（ｂ）を表すものである。

【図11】図１０（ｂ）に示すディジタルホログラムに基づく再構成像に合焦させた場合（物体“１”の再構成像の場合（ａ）、物体“２”の再構成像の場合（ｂ）、物体“３”の再構成像の場合（ｃ））を表すものである。

【図12】本発明の実施例技術を用い、図１１（ａ）に示すディジタルホログラムに基づく再構成像に対して、物体“１”の奥行位置を焦点面としてぼやけを変換した結果（（ａ）はＤ=1.0(Ｆ値：20)の場合、（ｂ）はＤ=0.6(Ｆ値：33.33)の場合、（ｃ）はＤ=0.2(Ｆ値：100)の場合）を表すものである。

【図13】本発明の実施例技術を用い、図１１（ｂ）に示すディジタルホログラムに基づく再構成像に対して、物体“２”の奥行位置を焦点面としてぼやけを変換した結果（（ａ）はＤ=1.0(Ｆ値：20)の場合、（ｂ）はＤ=0.6(Ｆ値：33.33)の場合、（ｃ）はＤ=0.2(Ｆ値：100)の場合）を表すものである。

【図14】本発明の実施例技術を用い、図１１（ｃ）に示すディジタルホログラムに基づく再構成像に対して、物体“３”の奥行位置を焦点面としてぼやけを変換した結果（（ａ）はＤ=1.0(Ｆ値：20)の場合、（ｂ）はＤ=0.6(Ｆ値：33.33)の場合、（ｃ）はＤ=0.2(Ｆ値：100)の場合）を表すものである。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態に係るディジタルホログラム信号処理装置およびディジタルホログラム撮像再生装置を、図面を参照しながら説明する。
図１に本発明の信号処理の流れを示す。なお、ステップ１２（Ｓ１２）以降の各ステップは、ディジタルホログラム信号処理装置（以下、信号処理部１８、１８´とも称する：図３（ａ）、（ｂ）を参照）においてなされるもので、具体的にはコンピュータプログラムを用いてなされ、モニター上に映出されるものである。
はじめに、ディジタルホログラム撮像再生装置の干渉光学系（後述する）により、ディジタルホログラムを撮像し（Ｓ１１）、保存する。取得されたディジタルホログラムのデータに基づき、各被写体（被写体１～４）の奥行位置情報および合焦像を以下の手順で取得する（（Ｓ１２）：〈１〉は各被写体１～４の合焦像と奥行位置を示す）。

【0023】

すなわち、このステップ１２（Ｓ１２）においては、ディジタルホログラムの強度分布あるいは、位相シフト法やフーリエ縞解析の方法でディジタルホログラムから抽出した複素振幅分布に対して、回折伝搬の計算を適用する。回折伝搬の計算としては、フレネル回折積分や角スペクトル法（平面波展開）等の手法を用いることができる。回折伝搬の計算時に、伝搬距離を段階的かつ逐次的に変化させて、各伝搬距離における２次元の再構成画像を得る。これらの２次元の再構成画像において、被写体の奥行位置の変化に応じ、つまり伝搬距離に応じて、合焦したりぼやけたりする。合焦している像が形成されている場合、そのときの伝搬距離が、被写体の奥行位置と対応している。したがって、各伝搬距離における２次元の再構成画像から、最も合焦している像を探索すれば、被写体の奥行位置を得ることができる。また、最も合焦している像の探索には、２次元の再構成画像の鮮鋭度を評価すればよい。鮮鋭度の評価方法としては、各画像の微分や、各画像の空間周波数成分の大小を比較すればよい。これらの技術は、ディジタルホログラフィの分野でオートフォーカス技術として知られている。

【0024】

得られた２次元の再構成画像各々の鮮鋭度を評価し、最も鮮鋭度が高くなる伝搬距離を、その被写体の奥行位置として、この奥行位置情報と被写体の合焦像を取得し、信号処理部１８、１８´（図３を参照）に保存する。なお、被写体の奥行位置の取得には、ライダーなどの装置を併用して、計測してもよい。

【0025】

次に、信号処理部１８、１８´（図３を参照）に、フォーカスを合わせたい奥行位置情報、その奥行位置を中心とする所望の被写界深度情報、および実現したいぼやけ量に対応するインコヒーレント結像系のパラメータを指定する（Ｓ１３）。上記被写界深度の設定としては、ディジタルホログラム撮像再生装置１９、１９´内の光学系の奥行分解能よりも大きな値となるように設定する。
このことにより、結像系の応答を物理的に正しく計算することができ、不要な演算処理を省略することができる。また、光学系の奥行分解能の情報は、光学系の構成の情報を反映して、信号処理部１８、１８´のメモリに保存する。

【0026】

インコヒーレント結像系のパラメータとしては、図２に示すように、仮想レンズ６の焦点距離ｆ、開口直径Ｄ、仮想レンズ（以下、単にレンズと称する）６から被写体１～４の合焦像までの距離ｚ_１、仮想レンズ６から像面７までの距離ｚ_２の４つがある。これらの４つのパラメータをもとに、インコヒーレント結像系の点像分布関数は下式（１）に示すように形成される。

【数2】

ここで，P(x,y)はレンズの開口関数であり、ｘ、ｙは瞳面の空間領域の座標系である。
本実施形態においては、通常のカメラレンズを想定して、レンズの開口関数を直径Ｄの円形開口とするが、アポダイゼーション、矩形開口やランダムな開口をはじめ、付与したいぼやけ状態に応じて自由に設定してもよい。λは光源の波長であり、ｆ_ｘ、ｆ_ｙは空間周波数領域の座標系の変数である。

【0027】

以上に説明したように設定されたパラメータを用いて、以下の手順でぼやけを変換した２次元画像を生成する。
図２に示すように、設定された奥行位置情報および被写界深度の領域内に存在する被写体２、３の各合焦像を加算し、加算画像Iを得る（（Ｓ１４）：〈２〉に被写界深度内の合焦像の加算画像Iを示す）。
その後、下式（２）を用いて、加算画像Iとインコヒーレント結像系の点像分布関数（ＰＳＦ）の畳み込み積分により、基準画像Ｂを得る（（Ｓ１５）：〈３〉に基準画像Ｂを示す）。

【数3】

【0028】

上式（２）の演算処理を行う際には、下式（３）の関係を満たすように、上式（１）の点像分布関数のパラメータを設定することで、通常のカメラで被写体２、３にフォーカスを合わせたような像を得ることができる。

【数4】

【0029】

一方で、上式（１）中のＰ（ｘ，ｙ）の影響、つまりレンズの有限な開口直径の制限により、分解能を低下させる効果も含まれているため、その分解能の低下を抑制したい場合は、上式（２）のＰＳＦをデルタ関数として演算を行うか、本演算自体を省略してＢ＝Ｉとしてもよい。
なお、上式（１）、（２）の演算にあたり、フーリエ変換アルゴリズムを用いる手法が一般的であるが、その際にアルゴリズムに応じてエネルギーの増減が生じないように、エネルギーの規格化を行い、さらに強度が一定になるように留意する。

【0030】

上述した基準画像Ｂの作成とは別に、被写界深度の領域外の被写体１、４のデフォーカス像Ｄｄを作成する。デフォーカス像Ｄｄを作成する際には、下式（４）、（５）の演算を適用する。
すなわち、被写界深度の領域外の被写体１、４の各合焦像と、結像系の点像分布関数との畳み込み積分により、デフォーカス像Ｄｄを得る（（Ｓ１６）：〈４〉に被写界深度の領域外のデフォーカス像Ｄｄを示す）。

【数5】

ここで、ｄは被写界深度の領域外の被写体の奥行距離である。
なお、上式（１）に対して上式（４）が相違するのは、ｚ_１がｄに置き換わっている点である。この演算を、被写界深度の領域外の被写体１、４毎にｄの値を変化させて適用する。

【0031】

最後に、基準画像Ｂとすべてのデフォーカス像（デフォーカス像Ｄｄの群）の加算を行うことで、ぼやけの状態を変換した２次元画像を得ることができる（（Ｓ１７）：〈５〉に信号処理の結果（全画像を互いに加算して）得られた２次元画像を示す）。

【0032】

なお、以上の計算では、すべての被写体１～４に対して、共通のレンズ（仮想レンズ）６を用いた場合のぼやけ状態を付与するため、ｆの値およびｚ_２の値を固定しているが、いずれについても被写体１～４に応じて変更するようにしてもよい。
また、各被写体１～４の奥行位置情報も、任意の値に変更してもよい。以上の操作により、通常のカメラでは撮像できないようなぼやけ状態とされた２次元画像を得ることができ、さらに奥行位置情報も任意に入れ替え可能であるので、映像表現の幅を広げることができる。

【0033】

以上のぼやけ変換の信号処理を実現するディジタルホログラム撮像再生装置としては、例えば、図３（ａ）、（ｂ）に示すものを採用可能である。
なお、図３（ａ）、（ｂ）に示す撮像再生装置の光学系は、ディジタルホログラフィ分野では一般的な構成であるが、本撮像再生装置の特徴は、ぼやけ変換の信号処理を施す信号処理部１８、１８´が搭載されていることに加えて、ぼやけ変換の信号処理の計算の高効率化のために必要な、光学系の奥行分解能の情報が、信号処理部１８、１８´に保存され、設定されている点にある。

【0034】

図３（ａ）は、コヒーレント光を光源とする場合のディジタルホログラム撮像再生装置１９を示すものである。ディジタルホログラム撮像再生装置１９内のレーザー光源１６からのレーザー光を、スペイシャルフィルタ１５とレンズ１１により平面波とし、ビームスプリッタ１３で分波する。分派された一方を被写体１２に照射するとともに、分派された他方を平面鏡１４で反射させる。前者の光を物体光、後者の光を参照光とし、ビームスプリッタ１３で合波した後、撮像素子１７面上で両者を干渉させる。これをディジタルホログラムとして撮像し、信号処理部１８のメモリ部（図示されていない）に保存する。

【0035】

他方、図３（ｂ）は、周囲のインコヒーレント光を光源とする場合のディジタルホログラム撮像再生装置１９´を示すものである。周囲のインコヒーレント光で照明された被写体１２´からの反射光を、レンズ１１´で集光し、ビームスプリッタ１３´により分波する。分派したインコヒーレント光を平面鏡１４´と凹面鏡２０で反射させて、再度ビームスプリッタ１３´に戻して合波し、撮像素子１７´面上で干渉させる。撮像素子１７´により、これをディジタルホログラムとして撮像し、信号処理部１８´のメモリ部（図示されていない）に保存する。

【0036】

また、図４は、上記信号処理部１８（信号処理部１８´も同様）の内部構成を示すブロック図である。すなわち、信号処理部１８は、合焦像／奥行位置情報取得手段１８Ａと、基準画像取得手段１８Ｂと、デフォーカス画像群取得手段１８Ｃと、基準画像／デフォーカス画像群加算手段１８Ｄと、を備えている。

【0037】

まず、合焦像／奥行位置情報取得手段１８Ａは、ディジタルホログラム撮像再生装置１９、１９´の干渉光学系により得られたディジタルホログラムの再構成像から、被写体１２の合焦像（被写体像１～４の各々について）と、該合焦像の奥行位置情報を取得するように構成されている。

【0038】

また、基準画像取得手段１８Ｂは、被写界深度の領域内の、所望の奥行位置に設定される領域内合焦像を指定し得るように、その奥行位置に応じて、被写界深度、レンズ６の焦点距離ｆ、レンズ６の開口直径Ｄ、およびレンズ６から像面７までの距離ｚ_２の各要素を設定し、得られた所定数の領域内合焦像の強度分布を互いに加算して基準画像Ｂを取得する。

【0039】

また、基準画像取得手段１８Ｂにおいて基準画像Ｂを取得する演算処理は、奥行位置の設定値を順次変更して得られた、領域内合焦像（被写体２、３の合焦像）各々の強度分布を加算して取得された合算強度分布と、インコヒーレント結像系の点像分布関数の強度分布との畳み込み積分による演算とすることが望ましい。

【0040】

一方、デフォーカス画像群取得手段１８Ｃは、被写界深度の領域外の、所望の奥行位置に配される領域外合焦像（被写体１、４の合焦像）を指定し得るように、その奥行位置に応じて、レンズ６の焦点距離ｆ、レンズ６の開口直径Ｄ、およびレンズ６から像面までの距離ｚ_２の各要素を設定し、得られた領域外合焦像（被写体１、４の合焦像）各々の強度分布と、インコヒーレント結像系の点像分布関数の強度分布との畳み込み積分を演算してデフォーカス画像群Ｄｄを得る。
換言すれば、このデフォーカス画像群取得手段１８Ｃは、デフォーカス位置に存在する被写体１２の像のぼやけの状態を、コヒーレント応答からインコヒーレント応答に変換し、さらにインコヒーレント結像系の点像分布関数のパラメータを変更することでぼやけ量を調整するものである。

【0041】

さらに、基準画像／デフォーカス画像群加算手段１８Ｄは、基準画像取得手段１８Ｂにより得られた基準画像Ｂと、デフォーカス画像群取得手段１８Ｃにより得られたデフォーカス画像群Ｄｄと、を互いに加算して、インコヒーレント応答画像を得るものである。
また、図４には示されていないが、信号処理部１８には、干渉計の光学系の奥行分解能等を記憶するメモリ部が設けられている。

【0042】

なお、図３（ａ）、（ｂ）に示すディジタルホログラム撮像再生装置１９、１９´の光学系は、本発明に係るディジタルホログラム撮像再生装置の光学系の一例を表すものであり、干渉現象を用いてディジタルホログラムを撮像し、光学系の奥行位置情報を導出し得るものであれば、その他の種々の構成のものを採用することができる。

【実施例0043】

以下、本発明の実施例により得られた再構成結果について説明するが、比較例としての従来技術に係るシミュレーションの内容、およびシミュレーションの結果も対応させるようにして説明する。
本実施例および上記比較例に係るシミュレーションにおいては、角スペクトル法による光波の回折計算を用いており、光の伝搬を正確に計算することができる。
ディジタルホログラム撮像再生装置としては図３（ａ）に示すコヒーレント光を用いたものを採用した。コヒーレント光の波長は６３３ｎｍとし、被写体１２を図５（ａ）に示す２次元画像とし、被写体１２の奥行位置を１００ｍｍとした。参照光としては、平面位相を有する平面波とした。また、撮像素子１７としては、画素数２５６×２５６、画素ピッチ１０μｍ、階調数８ｂｉｔのものを用いた。ここで、比較例における撮像素子により取得したホログラム像は図５（ｂ）に示すものと同様になった。

【0044】

撮像素子により得られたこのホログラムから、位相シフト法により、複素振幅分布を抽出して、再構成した像を図６に示す。被写体のフォーカス位置を中心として、±２０ｍｍの範囲内の領域を１０ｍｍ間隔で伝搬距離を変更しながら、各位置で２次元画像を得るようにしている。すなわち、設定された伝搬距離が、０ｍｍ（被写体の合焦位置）のときの再構成結果を（ｃ）に示し、その他、設定された伝搬距離が、各々、－２０ｍｍ、－１０ｍｍ、１０ｍｍおよび２０ｍｍのときの再構成結果を、各々、（ａ）、（ｂ）、（ｄ）、および(ｅ)に示す。
図６の再構成結果から、通常のディジタルホログラフィの再構成計算では、デフォーカス像にリンギングが発生し、通常のカメラとはぼやけの状態が異なることが明らかである。

【0045】

次に、本実施例技術を適用して再構成した結果を図７に示す。インコヒーレント結像系および仮想レンズ６のパラメータとしては、ｚ_１＝１００ｍｍ、ｚ_２＝１００ｍｍ、ｆ＝５０ｍｍ、Ｄ＝６ｍｍ（Ｆ値８．３３）とし、被写界深度領域の長さを８ｍｍとした。本実施例技術を適用することにより、図６の場合と比較するとデフォーカス像が滑らかになっていることが明らかである。
さらに、Ｄ＝２ｍｍ（Ｆ値２５）、Ｄ＝０．６ｍｍ（Ｆ値８３．３３）とした場合の処理結果を図８、図９に示す（（ａ）～（ｅ）についての伝搬距離は図６の場合と同じ）。Ｆ値が大きくなることで、デフォーカス像のぼやけ量が縮小されており、ぼやけ量を良好に制御できていることが明らかである。

【0046】

次に、図１０（ａ）に示すように、奥行方向に、互いに６０ｍｍずつ離して３つの被写体１２を配置した場合の適用結果を以下に説明する。これらの３つの被写体１２を撮像した場合に、図１０（ｂ）のディジタルホログラムが得られる。以下、上記３つの被写体１２を、図１０（ａ）における奥行方向に向かって、便宜的に、“物体１”、“物体２”および“物体３”と称するものとする。

【0047】

この図１０（ｂ）のディジタルホログラムに対して、位相シフト法を適用し、回折伝搬計算を適用した結果を図１１（ａ）～（ｃ）に示す。各被写体１２にフォーカスを合わせて再構成すると、コヒーレント光特有のぼやけの状態（縞模様を有する）をしたデフォーカス像が得られていることが明らかである。
この図１１（ａ）～（ｃ）の再構成結果に対して、本実施例技術を適用した再構成結果を図１２、図１３、および図１４に示す。

【0048】

図１２、図１３、および図１４は各々、物体“１”、物体“２”および物体“３”の配設位置をフォーカスの奥行位置として設定し、被写界深度を１０ｍｍとした場合の再構成結果を示すものである。
また、各々のぼやけ量を、図１２～１４の各（ａ）では、開口直径Ｄ＝１（Ｆ値２０）とした場合、図１２～１４の各（ｂ）では、Ｄ＝０．６（Ｆ値３３．３３）とした場合、図１２～１４の各（ｃ）では、Ｄ＝０．２（Ｆ値１００）とした場合、の結果を各々示している。
以上に説明した各再構成結果から明らかなように、本実施例技術を用いることにより、ぼやけの状態をコヒーレント光を用いた状態から、インコヒーレント光を用いた状態に変換でき、さらにぼやけ量を任意に調整できていることが明らかである。

【0049】

なお、以上に説明したシミュレーションの結果は、コヒーレント光を利用したディジタルホログラム撮像再生装置１９を用いた場合のものであるが、図３（ｂ）のインコヒーレント光を利用したディジタルホログラム撮像再生装置１９´の場合でも同様の作用効果を奏することができる。

【0050】

なお、本発明のディジタルホログラム信号処理装置およびディジタルホログラム撮像再生装置としては、上記の実施形態のものに限られるものではなく、その他の種々の態様の変更が可能である。

【符号の説明】

【0051】

１～４、１２、１２´ 被写体
６ 仮想レンズ（レンズ）
７ 像面
１１，１１´ レンズ
１３、１３´ ビームスプリッタ
１４、１４´ 平面鏡
１５ スペイシャルフィルタ
１６ レーザー光源
１７、１７´ 撮像素子
１８、１８´ 信号処理部
１８Ａ 合焦像／奥行位置情報取得手段
１８Ｂ 基準画像取得手段
１８Ｃ ぼやけ量調整手段
１８Ｄ 基準画像／デフォーカス画像群加算手段
１９、１９´ ディジタルホログラム撮像再生装置
２０ 凹面鏡
Ｂ 基準画像
Ｄｄ デフォーカス画像群
Ｉ 加算画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】