特許 6983899 多重深度スパース位相復元によるホログラフィックレンズフリー画像の再構成のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6983899

(24)【登録日】2021年11月26日

(45)【発行日】2021年12月17日

(54)【発明の名称】多重深度スパース位相復元によるホログラフィックレンズフリー画像の再構成のためのシステムおよび方法

(51)【国際特許分類】

   G03H 1/00 20060101AFI20211206BHJP

【ＦＩ】

   G03H1/00

【請求項の数】12

【全頁数】23

(21)【出願番号】特願2019-545709(P2019-545709)

(86)(22)【出願日】2017年11月3日

(65)【公表番号】特表2019-534483(P2019-534483A)

(43)【公表日】2019年11月28日

(86)【国際出願番号】US2017059931

(87)【国際公開番号】WO2018085655

(87)【国際公開日】20180511

【審査請求日】2020年9月18日

(31)【優先権主張番号】62/417,708

(32)【優先日】2016年11月4日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】519155413

【氏名又は名称】ミダイアグノスティクス・エヌブイ

【氏名又は名称原語表記】ｍｉＤｉａｇｎｏｓｔｉｃｓ ＮＶ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】ハーフェル、ベンジャミン・ディー．

(72)【発明者】

【氏名】ビダル、レネ

【審査官】 中村 説志

(56)【参考文献】

【文献】 特開２０１５−０７２４８１（ＪＰ，Ａ）

【文献】 特表２０１９−５３７７３６（ＪＰ，Ａ）

【文献】 SONG.J; ET AL，SPARSITY-BASED PIXEL SUPER RESOLUTION FOR LENS-FREE DIGITAL IN-LINE HOLOGRAPHY，SCIENTIFIC REPORTS，2016年04月21日，VOL:6，PAGE(S):24681(1-9)，http://dx.doi.org/10.1038/srep24681

【文献】 DENIS.L; ET AL，INLINE HOLOGRAM RECONSTRUCTION WITH SPARSITY CONSTRAINTS，OPTICS LETTERS，OPTICAL SOCIETY OF AMERICA，2009年，VOL:34, NR:22，PAGE(S):3475-3477，https://dx.doi.org/10.1364/OL.34.003475

【文献】 RIVENSON,Y; ET AL，SPARSITY-BASED MULTI-HEIGHT PHASE RECOVERY IN HOLOGRAPHIC MICROSCOPY，SCIENTIFIC REPORTS，2016年11月30日，VOL:6，PAGE(S):37862(1-9)，http://dx.doi.org/10.1038/srep37862

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０３Ｈ １／００− ５／００

Ｇ０１Ｎ２１／００−２１／９５８

Ｇ０１Ｂ１１／００−１１／３０

(57)【特許請求の範囲】

【請求項1】

試験片をレンズフリー撮像するためのシステムであって、
画像センサと、
前記試験片を照射するように構成されたコヒーレント光源と、
前記画像センサと通信するプロセッサとを備え、前記プロセッサが、
前記コヒーレント光源によって照射された前記試験片のホログラムＨを取得するように前記画像センサを動作させることと、
前記ホログラムＨから、再構成された画像Ｘにおける対象物のスパース性の仮定を使用して、前記画像センサからの距離ｚにおける前記試験片の再構成された画像Ｘと位相Ｗとを生成することと、ここで、
前記距離ｚにおける前記再構成された画像Ｘと位相Ｗとが、｜Ｗ｜＝１であるような

【数1】

を解くことによって生成され、ここで、Ｔ（ｚ）が、ｚにおける試料を通した光回折をモデル化する伝達関数であり、μは、ゼロでない背景のスカラー量であり、λは、スパース性のパラメータである、
を行うようにプログラムされている、システム。

【請求項2】

前記画像センサが、アクティブピクセルセンサ、ＣＣＤ、またはＣＭＯＳアクティブピクセルセンサである、請求項１に記載のシステム。

【請求項3】

試験片の画像をホログラフィック再構成する方法であって、
画像センサとコヒーレント光源を使用して前記試験片のホログラムＨを取得することと、
前記ホログラムＨから、再構成された画像Ｘにおける対象物のスパース性の仮定を使用して、前記画像センサからの距離ｚにおける前記試験片の再構成された画像Ｘ

【数2】

と位相Ｗとを生成することと、ここで、
前記距離ｚにおける前記再構成された画像Ｘと位相Ｗとが、｜Ｗ｜＝１であるような

【数3】

を解くことによって生成され、ここで、Ｔ（ｚ）が、ｚにおける試料を通した光回折をモデル化する伝達関数であり、μは、ゼロでない背景のスカラー量であり、λは、スパース性のパラメータである、
を備える、方法。

【請求項4】

【数4】

が、Ｗ、μ、およびＸを更新するために交互最小化を使用することによって解かれる、請求項３に記載の方法。

【請求項5】

【数5】

が、
（ａ）前記再構成された画像Ｘ、推定された位相Ｗ、および前記背景へのフィットμのための初期値を設定することと、
（ｂ）伝達関数Ｔ（ｚ）のフーリエ変換を計算し、

【数6】

を設定することと、
（ｃ）

【数7】

を計算することと、ここで、ｋ＝２π／γが、前記ホログラムＨを取得するために使用される波長γを有する前記コヒーレント光の波数であり、
（ｄ）

【数8】

を計算することと、
（ｅ）

【数9】

を計算することと、
（ｆ）Ｘ＝ＳＦＴ_λ（Ｑ−μ・ｅｘｐ（−ｉｚｋ））を計算することと、ここで、ＳＦＴ_λは、

【数10】

によって与えられる複素数ソフトしきい値作用素であり、Ｚ［ｉ，ｊ］は、第ｉ行および第ｊ列におけるＺの成分を示す、
（ｇ）再構成された画像Ｘを決定するためにステップ（ｃ）から（ｆ）を繰り返すことと
を行うことによって解かれる、請求項３に記載の方法。

【請求項6】

ステップ（ｃ）から（ｆ）が、所定の回数繰り返される、請求項５に記載の方法。

【請求項7】

前記初期値が、Ｘ＝０、Ｗ＝１、およびμ＝０である、請求項５に記載の方法。

【請求項8】

Ｔ（ｚ）が、

【数11】

のように定義され、
ここで、ｋ＝２π／γが、前記ホログラムＨを取得するために使用される波長γを有する前記コヒーレント光の波数であり、（ｋ_x，ｋ_y）が、それぞれ水平および垂直方向の空間周波数を示す、請求項３に記載の方法。

【請求項9】

前記ホログラムＨから、再構成された画像における対象物のスパース性の仮定を使用して、再構成された画像Ｘ_iと位相Ｗとのシーケンスを生成することをさらに備え、ここにおいて、各画像が、前記画像センサからの指定された距離ｚ[ｉ]における画像に対応し、前記再構成された画像Ｘが、前記再構成された画像Ｘ_iのシーケンスにおける再構成された画像を形成する、請求項３に記載の方法。

【請求項10】

前記再構成された画像Ｘ_iと位相Ｗとが、｜Ｗ｜＝１であるような

【数12】

を解くことによって生成され、ここで、Ｔ（ｚ［ｉ］）が、ｚ［ｉ］における前記試験片を通した光回折をモデル化する伝達関数であり、Ｄは、前記再構成された画像Ｘ_iのシーケンスにおける再構成された画像の数である、請求項９に記載の方法。

【請求項11】

｜Ｗ｜＝１であるような

【数13】

が、Ｗおよびμを更新するために交互最小化を使用し、Ｘを更新するために近位勾配降下ステップを使用することによって解かれる、請求項１０に記載の方法。

【請求項12】

｜Ｗ｜＝１であるような

【数14】

が、
（ａ）再構成された画像Ｘ_i、推定された位相Ｗ、および背景へのフィットパラメータμの行列をそれぞれの初期値に設定することと、ここで、ｉ＝１，．．．，Ｄである、
（ｂ）伝達関数Ｔ（ｚ［ｉ］）のフーリエ変換を計算し、

【数15】

およびＲ＝Ｇ−Ｓを設定することと、
（ｃ）μ＝（Ｇ［１，１］−Ｓ［１，１］）／（ｍｎ）を計算することと、
（ｄ）

【数16】

を計算することと、
（ｅ）

【数17】

を計算することと、
（ｆ）Ｒ＝Ｇ−Ｓを計算することと、
（ｇ）Ｒ［１，１］＝Ｒ［１，１］−ｍｎμを計算することと、
（ｈ）画像ごとに、

【数18】

および

【数19】

を計算することと、
（ｉ）

【数20】

を計算することと、
（ｊ）再構成された画像Ｘ_iを取得するためにステップ（ｂ）から（ｉ）を繰り返すことと
を行うことによって解かれる、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001]本出願は、その開示全体が参照により本明細書に組み込まれる、２０１６年１１月４日に出願された「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ ＯＦ ＨＯＬＯＧＲＡＰＨＩＣ ＬＥＮＳ−ＦＲＥＥ ＩＭＡＧＥＳ ＢＹ ＭＵＬＴＩ−ＤＥＰＴＨ ＳＰＡＲＳＥ ＰＨＡＳＥ ＲＥＣＯＶＥＲＹ」と題する米国仮出願第６２／４１７，７０８号の優先権を主張する。

【背景技術】

【0002】

[0002]本開示は、レンズフリー撮像に関し、より詳細には、ホログラムから画像を再構成することに関する。

【0003】

[0003]レンズフリー撮像は、デジタルホログラフィの原理に基づく顕微鏡使用技法である。デジタルホログラフィでは、コヒーレント光源（たとえば、レーザー）が対象試験片を照明するために使用される。光は、試験片を通過するにつれて、試験片によって回析され、得られた回折パターンは、電荷結合デバイス（ＣＣＤ）などの画像センサによって記録される。得られた回折パターンが記録された後、試験片の画像は、回折プロセスの数学的モデルを使用することによって回折パターンを後処理することによって再構成される。

【0004】

[0004]ホログラフィックレンズフリー顕微鏡使用は、従来の顕微鏡使用に勝るいくつかの利点を有する。第１に、システムにレンズがないので、撮像システムの全体的なコストおよび物理的大きさが従来の顕微鏡と比較して大幅に減少され得る。さらに、レンズフリー顕微鏡使用により、等しい倍率をもつ従来の顕微鏡よりもはるかに広い視野を撮像することも可能になる。最後に、記録された回折パターンを後処理することを通して試験片の画像が生成されるため、焦点深度が後処理を通して自動的に調整され得るのでオペレータがシステムを手動で合焦させる必要がない。

【0005】

[0005]図１に、光が対象物を通過するにつれて対象物によって誘起されるコヒーレント光の回折を示す。原則として、コヒーレント光源（たとえば、レーザー）で照らされた対象物の厳密な回折パターンを記録することができれば、回折パターンは、任意の所望の焦点深度における試験片の完全な画像を再構成するのに十分な情報を含んでいることになる。ただし、残念ながら、光の波動性により、対象物の完全な回折パターンは、（波の周波数が照らしているコヒーレント光に等しくなると仮定された状態で）空間中の所与のロケーションにおける電磁波振幅と位相との両方によってパラメータ化される複素値エンティティとなる。これは、実際には、ＣＣＤなどの撮像センサが、一般に、位相ではなく回折パターンの振幅しか記録することができないという事実によりレンズフリー撮像を実際に応用するのに有意な課題を提示する。したがって、試験片の画像を完全に再構成するのに必要な情報のかなりの部分が記録されないことがあり、これは、従来の手法を用いて試験片の画像を再構成しようと試みるときに有意なアーティファクトとして現れる。さらに、レンズフリー撮像に対する従来の手法は、一般に、単一の焦点深度において試験片の画像を再構成しようと試みるだけであるが、試験片が複数の焦点深度において対象物を含んでいる場合、焦点はずれの対象物からの回折が、所与の焦点深度において再構成された画像を破損することになる。

【発明の概要】

【0006】

[0006]本開示の技法は、消失した位相情報の推定値を同時に生成しながら潜在的に焦点の複数の深度にわたって記録された回折パターンから試験片の画像を効率的に再構成するシステムおよび方法を利用することによって、前の手法の上記で説明した短所、不十分な画像再構成と単一の焦点深度への制限との両方に対処する。開示する技法を使用することは、従来の画像再構成技法よりも大幅に改善した画質を生じ、試験片の３次元体積を同時に再構成することを可能にし、対象物を含んでいる焦点深度を発見するロバストな手段を与えて、焦点深度を手動でチューニングする必要をなくす。

【0007】

[0007]本開示の技法は、それが強い経験的収束を与え、大規模画像の画像再構成問題を効率的に解決するという点で、以前の手法よりも有利である。さらに、本方法は、単一の記録されたホログラムからの３次元体積の効率的な再構成を可能にし、変化する光波長をもつ光源の必要をなくす。

【0008】

[0008]本開示の性質および目的をより完全に理解するために、添付の図面とともに以下の発明を実施するための形態を参照されたい。

【図面の簡単な説明】

【0009】

【図1】[0009]対象物によって誘起される光回折の一例を示す図。

【図2】[0010]広い視野（左）と画像のズームインされた部分（右）との両方を示す異なる再構成アルゴリズムを使用した全血試料の画像再構成のセットの図。ここで、上部パネルは、基本的な再構成アルゴリズムを使用した画像を示し、下部パネルは、本開示の実施形態を使用して再構成された画像を示す。

【図3】[0011]本開示の一実施形態による、方法を示すチャート。

【図4】[0012]焦点深度にわたる再構成された３次元体積の大きさを示すチャート。ここで、ｙ軸は、範囲［６５０，１１５０］ミクロンにわたって１００個の均等に離間した焦点深度のための再構成された画像のｌ₁ノルム、｜｜Ｘｉ｜｜₁を示し、垂直線は、画像を手動で合焦させることによって取得された焦点深度を示す。

【図5】[0013]本開示の別の実施形態による、システムの図。

【図6】[0014]本開示の別の実施形態による、システムによって取得されたホログラムのローカル再構成を示す図。

【図7】[0015]本開示の別の実施形態による、システムによって取得されたホログラムのリモート再構成を示す図。

【図8】[0016]本開示の別の実施形態による、方法を示すチャート。

【発明を実施するための形態】

【0010】

[0017]ホログラフィックレンズフリー撮像は、光が試験片を通過した後に光の回折パターンを記録し、試験片の画像を再構成するために光回折プロセスを反転させようと試みる原理に基づく。残念ながら、記録された回折パターンは、試験片の画像を適切に再構成するのに十分な情報を含んでおらず、結果として、多くの既存の再構成技法は、実質的なアーティファクトと劣化した画質とに悩まされる。本開示は、既存の技法よりも劇的に改善された画質をもつホログラフィックレンズフリー画像を再構成し、同時に、複数の焦点深度において画像を再構成する可能性を可能にする技法を提供する。

【0011】

[0018]本開示の方法およびシステムについて説明するのに必要な数学的な背景について説明する前に、数学的表記法について説明する。行列を大文字（Ｘ）で示し、ベクトルを小文字の太字（ｘ）で示し、スカラーを小文字（ｘ）で示す。複素数のセットを

【0012】

【数1】

【0013】

として示し、実数のセットを

【0014】

【数2】

【0015】

として示す。ベクトルｘが与えられれば、ｘ［ｉ］は、ｘのｉ番目の成分を示す。同様に、行列Ｘが与えられれば、Ｘ［ｉ，ｊ］は、第ｉ行および第ｊ列におけるＸの成分を示す。複素数ｘの角度を

【0016】

【数3】

【0017】

として示し、振幅を｜ｘ｜として示し、共役を

【0018】

【数4】

【0019】

として示す。行列（またはベクトル）

【0020】

【数5】

【0021】

について、｜Ｘ｜は、Ｘの成分の絶対値を含んでいるｍ×ｎ行列を示し、

【0022】

【数6】

【0023】

は、Ｘの成分の角度を含んでいるｍ×ｎ行列を示し、

【0024】

【数7】

【0025】

は、Ｘの成分の共役を含んでいるｍ×ｎ行列を示す。

【0026】

[0019]行列（またはベクトル）

【0027】

【数8】

【0028】

が与えられれば、Ｘのｌ₁ノルムを｜｜Ｘ｜｜₁として示し、

【0029】

【数9】

【0030】

と定義し、Ｘのフロベニウスノルムを｜｜Ｘ｜｜_Fと示し、

【0031】

【数10】

【0032】

と定義する。

【0033】

[0020]２つの行列

【0034】

【数11】

【0035】

および

【0036】

【数12】

【0037】

について、

【0038】

【数13】

【0039】

は、それらの成分の成分ごとの積を示し、＜Ｘ，Ｙ＞は、２つの行列のドット積を示す。行列Ｘの２次元離散フーリエ変換をＦ（Ｘ）と示し、逆離散フーリエ変換をＦ^-1（Ｘ）と示す。２つの信号の２次元畳み込みをＸ＊Ｙとして示すことになる。すべてのゼロまたは１の行列（またはベクトル）を、サイズが文脈から明らかである状態で、それぞれ、０または１として示されることになる。
ホログラフィック撮像
[0021]ホログラフィック撮像プロセスは、光回折のプロセスに基づく。回折理論の全面的なレビューは本明細書の範囲の外にあるが、ホログラフィにおいて使用される典型的な距離について極めて正確である通常使用される近似は、２次元畳み込みとして回折プロセスをモデル化することである。特に、平面Ｘ₀における光学波面では、その波面を距離ｚ離れた平面Ｘ_zに前方に伝搬することによって生じることになる波面は、以下の式によって与えられ、

【0040】

【数14】

【0041】

ここで、Ｔ（ｚ）は、距離ｚにわたって光の回折をモデル化する伝達関数を示す。回折プロセス（たとえば、フレネル、ホイヘンス、遠距離場）のモデル中で選定する特定の近似に応じてＴ（ｚ）のために様々な選定が行われ得る。本明細書では使用する近似は、周波数領域中の伝達関数を以下の式のように定義する広角スペクトル（ＷＡＳ）近似であり、

【0042】

【数15】

【0043】

ここで、ｋ＝２π／γは、波長γをもつ光の波数であり、（ｋ_x，ｋ_y）は、それぞれ、水平および垂直方向の空間周波数を示す。ＷＡＳ伝達関数が、本開示の技法において活用されることになるいくつかの容易に検証される性質を有することに留意されたい。
１．Ｔ（ｚ₁）＊Ｔ（ｚ₂）＝Ｔ（ｚ₁＋ｚ₂）
２．Ｔ（０）＊Ｘ＝Ｘ
３．

【0044】

【数16】

【0045】

４．線形演算子Ｔ_z（Ｘ）≡Ｔ（ｚ）＊Ｘはユニタリ演算子である。

【0046】

[0022]また、Ｔ（ｚ）を用いたＸの畳み込みが、フーリエ変換の性質を使用することによって効率的に計算され得ることを思い出されたい。

【0047】

【数17】

【0048】

[0023]光回折のためのモデルとしてＷＡＳ近似を使用すると、画像センサから記録された回折パターン

【0049】

【数18】

【0050】

が与えられれば、Ｈ＝Ｔ（ｚ）＊Ｘのように所与の焦点深度

【0051】

【数19】

【0052】

における試験片の対応する画像

【0053】

【数20】

【0054】

を発見することを試みることができる。したがって、試験片の画像の推定値を再構成する単純な方法は、以下の形式の最小２乗問題を解くことである。

【0055】

【数21】

【0056】

[0024]Ｔ（ｚ）が上記に記載した性質を満たすので、フロベニウスノルムがユニタリ演算に対して不変であることは、上記の問題に対する最適解がＸ^*＝Ｔ（−ｚ）＊Ｈとして閉じた形式で容易に計算され得ることを与えることに留意されたい。しかしながら、画像センサが、位相ではなく回折パターンの振幅しか記録することができない（すなわち、Ｈは、実際には複素数値でなければならないときに実際には実数値である）ことを思い出されたい。この制限は、一般に、対象物から発する波状のアーティファクトによって特徴づけられる、一般に二重像アーティファクトと呼ばれる、再構成された画像中に深刻なアーティファクトを生じる。図２（上部パネル）に、この手法を使用して再構成される人間の血液の例示的な画像を示し、再構成された画像中に大量の波状のアーティファクトが存在することに気づかれたい。

【0057】

[0025]この問題に対処する１つの可能性は、推定されたホログラムの大きさに一致させることにしか関心がないことを考慮するために（４）中で問題を修正することであり、これは、以下の形式の最小２乗問題を解くことによって数学的に表され得る。

【0058】

【数22】

【0059】

[0026]上記の問題が以下の形式で同等に表され得ることに注意されたい。

【0060】

【数23】

【0061】

ここで、（５）と（６）との間の等価性は任意の値のＸについて（６）中でＷのための最適解が

【0062】

【数24】

【0063】

によって与えられることに着目することによってわかり、（６）にＷ^*のこの値を代入すると（５）が与えられる。

【0064】

[0027]形式（５）および（６）への（４）の修正は、位相情報が記録されたホログラムＨから消失していることを考慮しているが、システムが現在過小指定されていることに留意されたい。これは、（６）について考え、Ｔ（ｚ）がユニタリ演算子であるので、任意の選定のＷについて、

【0065】

【数25】

【0066】

のように再構成された画像Ｘを生成することができることに着目することによってわかり得る。言い換えれば、推定された位相項Ｗはこのモデルでは全く任意であり、したがって、有意の解を発見するために問題について追加の仮定を行わなければならない。
スパース位相復元
[0028]以前のセクションから、（６）におけるレンズフリー再構成問題の性質により、システムは、劣決定され、有意な解を発見するのに追加の仮定が必要であることを思い出されたい。特に、再構成された画像Ｘが「スパース」でなければならないこと、およびスパース性の仮定は、ピクセルの多くが背景強度に等しい状態で試験片中の対象物がピクセルの一部分しか視野で占有されないときはいつでも正当化されること。スパース性の仮定は、再構成された画像ｘがスパースである解を奨励するために（６）に正規化項を追加することによって数学的に組み込まれる。

【0067】

【数26】

【0068】

信号のスパース性を測定する多くの方法があるが、ｌ₁ノルムが、依然として凸関数であり、効率的な最適化に貢献しながらスパース解を奨励する望ましい性質を有するので、この説明において使用されることに留意されたい。さらに、スパース性の典型的な測度はエントリの大部分が同じく０であることを必要とするが、ここで、ピクセルが対象物を含んでいない場合、ピクセルの値は照明光の背景強度に等しくなることになる。したがって、非ゼロの背景は、

【0069】

【数27】

【0070】

のスカラー項をもつ（推定される一定の）照明光を捕捉するためにモデルに追加の項を追加することによって考慮される。
スパース位相復元モデルを解くこと
[0029]（７）で与えられるモデルがレンズフリー撮像再構成問題の性質に基づいて多くの理論的正当性を有するが、残念ながら、最適化問題は｜Ｗ｜＝１であるという制約により非凸である。とはいえ、この課題にもかかわらず、変数のすべてに対して閉じられた形式での更新を可能にし、非常に効率的で、目的関数の少なくともナッシュ均衡点に収束することを保証する交互最小化に基づく方法について本明細書で説明する。最初に、Ｔ（ｚ）を用いた畳み込みが任意のｚのためのユニタリ演算子であるので、（７）は、関係を使用して同等に再構築され得る。

【0071】

【数28】

【0072】

ここで、等式は、フロベニウスノルムのユニタリ不変性、上記のＴ（ｚ）演算子の性質、および（２）のＴ（ｚ）の定義から来る。

【0073】

[0030]上記の関係から、他の変数が一定に保持された場合、（７）中の各変数に対する閉じられた形式での更新を導出することが可能になる。特に、以下を有する。

【0074】

【数29】

【0075】

【数30】

【0076】

【数31】

【0077】

ここで、ＳＦＴ_λ｛・｝は、以下の式によって与えられる複素軟判定しきい値演算子を示す。

【0078】

【数32】

【0079】

[0031]これらの更新された式を使用して、次いで、方法１において説明した変数に対する更新の交互シーケンスを使用して記録された回折パターンから画像を効率的に再構成することが可能になる。（７）によって説明した最適化問題が、Ｗへの制約により全体的に非凸であるが、方法１の非常に強い収束がほぼわずか１０から１５回の反復内で観測されている。さらに、方法１における主要な計算負担がフーリエ変換および要素ごとの積を計算することにあるので、計算は、グラフィカル処理ユニット（ＧＰＵ）上で計算を実行することによって著しく加速される。図２（下部パネル）に、提案された方法を使用して再構成された人間の血液の画像を示す。基本的な再構成方法からの波状のアーティファクトが完全に除去されていること、および基本的な再構成方法を使用して検出不可能だった多くのセルが今度は明確に可視になった状態で画像中での赤血球のコントラストが著しく増加していることに留意されたい。

【0080】

【表1】

【0081】

[0032]図３を参照すると、本開示は、画像のホログラフィック再構成のための方法１００として実施され得る。方法１００は、ホログラムを取得すること１０３を含む。再構成された画像および位相は、スパース性の仮定を使用して、指定された焦点深度において生成される１０６。たとえば、再構成された画像Ｘおよび位相Ｗは、｜Ｗ｜＝１であるような

【0082】

【数33】

【0083】

を解くこと１０９によって生成され得る１０６。上記で説明したように、式（７）を解く１０９手法は、位相Ｗ、背景レベルμ、および再構成された画像Ｘを更新するために交互最小化を使用することによる。

【0084】

[0033]特定の実施形態では、再構成された画像Ｘおよび位相Ｗは、再構成された画像Ｘ、推定された位相Ｗ、および背景へのフィットμの初期値を設定すること１１２によって生成される１０６。伝達関数Ｔ（ｚ）のフーリエ変換が計算され１１５、

【0085】

【数34】

【0086】

が設定される。背景レベルは、

【0087】

【数35】

【0088】

として計算すること１１８によって更新される。位相は、

【0089】

【数36】

【0090】

を計算すること１２１によって更新される。更新されたＱは、

【0091】

【数37】

【0092】

によって計算され１２４、再構成された画像は、Ｘ＝ＳＦＴ_λ（Ｑ−μ ｅｘｐ（−ｉｚｋ））を計算すること１２７によって更新される。更新ステップは、再構成された画像を決定するためにμ、Ｗ、Ｑ、およびＸの各々ごとに繰り返される１３０。ステップは、所定の回数繰り返され得る１３０。回数は、再構成された画像が望ましい品質になるまで上記の方法１００を実行することによって手動で決定され得る。別の実施形態では、ステップは、μ、Ｗ、および／またはＸの更新された値の変化が反復においてしきい値よりも小さくなるまで繰り返される１３０。たとえば、ステップは、再構成された画像の更新された値の変化がステップの反復において１０％、５％、３％、２％、または１％あるいは任意の他のパーセンテージ値よりも小さくなるまで繰り返され得る１３０。しきい値は、アンドパーセント変化または実効値であり得る。しきい値は、たとえば、追加の反復を実行することのコスト（たとえば、計算時間など）とバランスのとられた再構成された画像の品質に基づいて選択され得る。

【0093】

[0034]別の態様では、本開示は、レンズフリー撮像のためのシステム１０として実施され得る（図５を参照）。システム１０は、レンズフリー画像センサ１２と通信しているプロセッサ１４を有する。いくつかの実施形態では、システム１０は、ホログラフィック画像を取得するためのレンズフリー画像センサ１２を含み得る。画像センサ１２は、たとえば、アクティブピクセルセンサ、電荷結合デバイス（ＣＣＤ）、ＣＭＯＳアクティブピクセルセンサなどであり得る。システム１０は、コヒーレント光源などの光源１６をさらに含み得る。画像センサ１２は、ホログラフィック像を取得するために光源１６と協働するように構成される。

【0094】

[0035]プロセッサ１４は、本開示の方法のいずれかを実行するようにプログラムされる。たとえば、プロセッサ１４は、ホログラムを取得し、スパース性の仮定を使用してある焦点深度における再構成された画像および位相を生成するように画像センサ１２を動作させるようにプログラムされ得る。プロセッサ１４は、たとえば、式（７）を解くために位相、背景レベル、および再構成された画像を更新するために交互最小化を使用することによって再構成された画像を生成し得る。

【0095】

[0036]図６〜図７を参照すると、システム１０は、たとえば、画像センサ１２およびプロセッサ１４がシステム１０を構成する「ローカル」再構成のために構成され得る。システム１０は、試験片を照らすための光源１６をさらに含み得る。たとえば、光源１６は、たとえば、コヒーレント光を与えるレーザーダイオードなどのコヒーレント光源であり得る。システム１０は、ホログラムの取得中に試験片を含んでいるように構成される試験片撮像チャンバ１８をさらに含み得る。（たとえば、図７に示す）他の実施形態では、システム２０は、リモート再構成のために構成され、ここで、プロセッサ２４は、画像センサとは別個のものであり、たとえば、ワイヤードまたはワイヤレスネットワーク接続、フラッシュドライブなどを通して画像センサから情報を受信する。

【0096】

[0037]プロセッサは、メモリと通信しており、および／またはそれを含み得る。メモリは、たとえば、ランダムアクセスメモリ（ＲＡＭ）（たとえば、ダイナミックＲＡＭ、スタティックＲＡＭ）、フラッシュメモリ、取外し可能メモリなどであり得る。場合によっては、本明細書で説明する動作を実行すること（たとえば、画像センサを動作させる、再構成された画像を生成する）に関連する命令は、（いくつかの実施形態では、命令が記憶されるデータベースを含む）メモリおよび／または記憶媒体内に記憶され得、命令はプロセッサにおいて実行される。

【0097】

[0038]場合によっては、プロセッサは、１つまたは複数のモジュールおよび／または構成要素を含む。プロセッサによって実行される各モジュール／構成要素は、ハードウェアベースのモジュール／構成要素（たとえば、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ））、ソフトウェアベースのモジュール（たとえば、メモリ中におよび／もしくはデータベース中に記憶されたならびに／またはプロセッサにおいて実行されるコンピュータコードのモジュール）、および／またはハードウェアベースおよびソフトウェアベースのモジュールの組合せの任意の組合せであり得る。プロセッサによって実行される各モジュール／構成要素は、本明細書で説明する１つまたは複数の特定の機能／動作を実行することが可能である。場合によっては、プロセッサ中に含まれ、その中で実行されるモジュール／構成要素は、たとえば、プロセス、アプリケーション、仮想マシン、および／または何らかの他のハードウェアもしくはソフトウェアモジュール／構成要素であり得る。プロセッサは、それらのモジュール／構成要素を動作および／または実行するように構成された任意の好適なプロセッサであり得る。プロセッサは、命令のセットまたはコードを動作および／または実行するように構成された任意の好適な処理デバイスであり得る。たとえば、プロセッサは、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、加速処理ユニット（ＡＰＵ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）などであり得る。

【0098】

[0039]本明細書で説明するいくつかのインスタンスは、様々なコンピュータ実装動作を実行するための命令またはコンピュータコードをその上に有する（非一時的プロセッサ可読媒体と呼ばれることもある）非一時的コンピュータ可読媒体をもつコンピュータ記憶製品に関する。コンピュータ可読媒体（またはプロセッサ可読媒体）は、それ自体一過性の伝搬信号（たとえば、空間またはケーブルなどの送信媒体上で情報を搬送する伝搬電磁波）を含まないという点で非一時的である。（コードと呼ばれることもある）メディアおよびコンピュータコードは、特定の目的のための設計または構築されたものであり得る。非一時的コンピュータ可読媒体の例は、限定はしないが、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープなどの磁気記憶媒体、コンパクトなディスク／デジタルビデオディスク（ＣＤ／ＤＶＤ）、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、およびホログラフィックデバイスなどの光記憶媒体、光ディスクなどの光磁気記憶媒体、搬送波信号処理モジュール、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、読取り専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）デバイスなどのプログラムコードを記憶および実行するように特に構成されたハードウェアデバイスを含む。本明細書で説明する他のインスタンスは、たとえば、本明細書で説明する命令および／またはコンピュータコードを含むことができるコンピュータプログラム製品に関する。

【0099】

[0040]コンピュータコードの例は、限定はしないが、マイクロコードまたはマイクロ命令と、コンパイラによって生成されるような機械語命令と、ウェブサービスを生成するために使用されるコードと、インタープリタを使用するコンピュータによって実行されるより高いレベルの命令を含んでいるファイルを含む。たとえば、インスタンスは、Ｊａｖａ（登録商標）、Ｃ＋＋、．ＮＥＴ、または他のプログラミング言語（たとえば、オブジェクト指向プログラミング言語）および開発ツールを使用して実装され得る。コンピュータコードの追加の例は、限定はしないが、制御信号と、暗号化コードと、圧縮コードとを含む。
多重深度再構成
[0041]この時点まで、説明は、大部分は、単一の焦点深度において画像を再構成することに関していた。しかしながら、従来の顕微鏡使用に勝るホログラフィック撮像の主要な利点の１つは、単に１つの焦点深度における単一の画像に対して試験片の３次元体積全体を再構成する可能性である。１つの可能性は、焦点深度を変更する間に以前のセクションにおいて説明したアルゴリズムを使用して複数の画像を独立して再構成することであるが、残念ながら、試験片が複数の焦点深度において対象物を含んでいる場合、焦点はずれの対象物からの回折パターンが任意の所与の焦点深度において再構成を破損することになる。さらに、単一の焦点深度におけるただ１つの画像が必要とされる場合でさえ、以前として正しい焦点深度を決定することが必要になり、これは、手動で行うのは冗長であり得る。これらの問題に対処するために、このセクションは、試験片の３次元体積を再構成するために前のセクションにおいて説明したモデルに対する拡張について説明する。

【0100】

[0042]（７）中の単一の焦点深度モデルに戻ると、必要である唯一の修正は、単一の画像

【0101】

【数38】

【0102】

を再構成する代わりに、一連の画像Ｘ_i、ｉ＝１，．．．，Ｄが再構成され、ここで、各Ｘ_i画像は、指定された深度ｚ［ｉ］における画像に対応する。より形式的に、所望の再構成深度

【0103】

【数39】

【0104】

のベクトルが与えられれば、画像

【0105】

【数40】

【0106】

は、以下のモデルを使用して発見され得る。

【0107】

【数41】

【0108】

[0043]このモデルは、本質的に、（７）で使用する単一の焦点深度において画像を再構成するためのモデルと同様であるが、完全な３次元体積にさらに拡張されている。残念ながら、完全な３次元体積にモデルを拡張することによって、Ｘのための閉じられた形式での更新を導出するために（８）中で行われた目的関数を再構築することはもはや可能でない。代わりに、ハイブリッドアルゴリズムが使用され得、ここで、ハイブリッドアルゴリズムは、Ｗおよびμ変数を更新するために交互最小化を利用し、Ｘを更新するために近位勾配降下ステップを利用する。さらに、大部分の中間変数は、計算を容易にするためにフーリエ領域中に残される。方法のステップについて、方法２において説明する。図４に、範囲［６５０，１１５０］ミクロンにわたって１００個の一様に離間した焦点深度のための指定された焦点深度に応じた再構成されたＸ_i画像の大きさを示す。最大の大きさをもつ画像深度は、再構成の深度を手動で合焦することによって発見された焦点深度に対応し、提案された方法を用いて３次元体積にわたって画像をどのように再構成するのか示すことが、試験片内の対象物の焦点深度をロバストで自動的に復元することに留意されたい。

【0109】

【表2】

【0110】

[0044]図８を参照すると、別の態様では、本開示は、複数の焦点深度における画像のホログラフィック再構成のための方法２００として実施され得る。方法２００は、ホログラムを取得し、スパース性の仮定を使用してホログラムから一連の再構成された画像を生成すること２０６を含み、ここにおいて、各画像は、指定された焦点深度に対応する。たとえば、再構成された画像Ｘ_iおよび位相Ｗは、｜Ｗ｜＝１であるような

【0111】

【数42】

【0112】

を解くこと２０９によって生成され得る２０６。上記で説明したように、式（１３）を解く２０９手法は、位相Ｗおよび背景レベルμを更新するために交互最小化を使用し、Ｘを更新するために近位勾配降下ステップを使用することによる。

【0113】

[0045]特定の実施形態では、再構成された画像Ｘおよび位相Ｗは、再構成された画像Ｘｉ（ここで、ｉ＝１，．．．，Ｄ）、推定された位相Ｗ、および背景レベルμの行列の初期値を設定すること２１２によって生成される２０６。伝達関数Ｔ（ｚ［ｉ］）のフーリエ変換が計算され２１５（ここで、ｚ［ｉ］は、焦点深度のベクトルである）、

【0114】

【数43】

【0115】

およびＲ＝Ｇ−Ｓを設定する。背景レベルは、μ＝（Ｇ［１，１］−Ｓ［１，１］）／（ｍｎ）として計算すること２１８によって更新される。位相は、

【0116】

【数44】

【0117】

を計算すること２２１によって更新される。更新されたＧは、

【0118】

【数45】

【0119】

によって計算され２２４、更新されたＲは、Ｒ＝Ｇ−Ｓによって計算される２２７。更新された画像は、

【0120】

【数46】

【0121】

および

【0122】

【数47】

【0123】

に従って画像の行列中の画像ごとに計算される２３０。更新Ｓは、

【0124】

【数48】

【0125】

を解くことによって計算される２３３。更新ステップは、再構成された画像を決定するためにμ、Ｗ、Ｇ、Ｒ、Ｘ_i、およびＳの各々ごとに繰り返される２３６。ステップは、所定の回数繰り返され得る２３６。回数は、再構成された画像が望ましい品質になるまで上記の方法２００を実行することによって手動で決定され得る。別の実施形態では、ステップは、μ、Ｗ、および／またはＸ_iの更新された値の変化が反復においてしきい値よりも小さくなるまで繰り返される２３６。たとえば、ステップは、再構成された画像の更新された値の変化がステップの反復において１０％、５％、３％、２％、または１％あるいは任意の他のパーセンテージ値よりも小さくなるまで繰り返され得る２３６。しきい値は、アンドパーセント変化または実効値であり得る。しきい値は、たとえば、追加の反復を実行することのコスト（たとえば、計算時間など）とバランスのとられた再構成された画像の品質に基づいて選択され得る。

【0126】

[0046]本開示について、１つまたは複数の特定の実施形態に関して説明したが、本開示の趣旨および範囲から逸脱することなく本開示の他の実施形態が行われ得ることを理解されよう。以下は、本開示の実施形態を示すことを目的とする非限定的な例示的な特許請求の範囲である。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［１］ レンズフリー撮像のためのシステムであって、
レンズフリー画像センサと通信しているプロセッサを備え、前記プロセッサが、
ホログラムＨを取得するように前記レンズフリー画像センサを動作させることと、
前記ホログラムから、スパース性の仮定を使用して焦点深度ｚにおける再構成された画像Ｘと位相Ｗとを生成することと
を行うようにプログラムされる、システム。
［２］ 画像センサをさらに備える、［１］に記載のシステム。
［３］ 前記画像センサが、アクティブピクセルセンサ、ＣＣＤ、またはＣＭＯＳアクティブピクセルセンサである、［２］に記載のシステム。
［４］ コヒーレント光源をさらに備える、［１］に記載のシステム。
［５］ 画像のホログラフィック再構成の方法であって、
ホログラムＨを取得することと、
前記ホログラムから、スパース性の仮定を使用して焦点深度ｚにおける再構成された画像Ｘと位相Ｗとを生成することと
を備える、方法。
［６］ 焦点深度ｚにおける前記再構成された画像Ｘと位相Ｗとが、｜Ｗ｜＝１であるような

【数49】

を解くことによって生成され、ここで、Ｔ（ｚ）が、ｚにおける試料を通した光回折をモデル化する伝達関数であり、μは、背景へのフィットであり、λは、スパース性パラメータである、［５］に記載の方法。
［７］

【数50】

が、Ｗ、μ、およびＸを更新するために交互最小化を使用することによって解かれる、［６］に記載の方法。
［８］

【数51】

が、
（ａ）前記再構成された画像Ｘ、推定された位相Ｗ、および前記背景へのフィットμのための初期値を設定することと、
（ｂ）伝達関数Ｔ（ｚ）のフーリエ変換を計算し、

【数52】

を設定することと、
（ｃ）

【数53】

を計算することと、
（ｄ）

【数54】

を計算することと、
（ｅ）

【数55】

を計算することと、
（ｆ）Ｘ＝ＳＦＴ_λ（Ｑ−μ ｅｘｐ（−ｉｚｋ））を計算することと、
（ｇ）再構成された画像Ｘを決定するためにステップ（ｃ）から（ｆ）を繰り返すことと
を行うことによって解かれる、［６］に記載の方法。
［９］ ステップ（ｃ）から（ｆ）が、所定の回数繰り返される、［８］の方法。
［１０］ 前記初期値が、Ｘ＝０、Ｗ＝１、およびμ＝０である、［８］に記載の方法。
［１１］ Ｔ（ｚ）が、

【数56】

のように定義され、
ここで、ｋ＝２π／γが、前記ホログラムを取得するために使用される光の波数であり、（ｋ_x，ｋ_y）が、それぞれ水平および垂直方向の空間周波数を示す、［６］に記載の方法。
［１２］ 複数の焦点深度における画像のホログラフィック再構成の方法であって、
ホログラムＨを取得することと、
前記ホログラムから、スパース性の仮定を使用して、再構成された画像Ｘ_iと位相Ｗとのシーケンスを生成することと、ここにおいて、各画像が、指定された焦点深度ｚ[ｉ]における画像に対応する、
を備える、方法。
［１３］ 前記再構成された画像Ｘ_iと位相Ｗとが、｜Ｗ｜＝１であるような

【数57】

を解くことによって生成され、ここで、Ｔ（ｚ［ｉ］）が、ｚ［ｉ］における試料を通した光回折をモデル化する伝達関数であり、μは、背景へのフィットであり、λは、スパース性パラメータである、［１２］に記載の方法。
［１４］ ｜Ｗ｜＝１であるような

【数58】

が、Ｗおよびμを更新するために交互最小化を使用し、Ｘを更新するために近位勾配降下ステップを使用することによって解かれる、［１３］に記載の方法。
［１５］ ｜Ｗ｜＝１であるような

【数59】

が、
（ａ）再構成された画像Ｘ_i、推定された位相Ｗ、および背景へのフィットパラメータμの行列をそれぞれの初期値に設定することと、ここで、ｉ＝１，．．．，Ｄである、
（ｂ）伝達関数Ｔ（ｚ［ｉ］）のフーリエ変換を計算し、

【数60】

およびＲ＝Ｇ−Ｓを設定することと、
（ｃ）μ＝（Ｇ［１，１］−Ｓ［１，１］）／（ｍｎ）を計算することと、
（ｄ）

【数61】

を計算することと、
（ｅ）

【数62】

を計算することと、
（ｆ）Ｒ＝Ｇ−Ｓを計算することと、
（ｇ）Ｒ［１，１］＝Ｒ［１，１］−ｍｎμを計算することと、
（ｈ）画像ごとに、

【数63】

および

【数64】

を計算することと、
（ｉ）

【数65】

を計算することと、
（ｊ）再構成された画像Ｘ_iを取得するためにステップ（ｂ）から（ｉ）を繰り返すことと
を行うことによって解かれる、［１４］に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】