知財求人 - 知財ポータルサイト「IP Force」
▶ ブリガム・アンド・ウイミンズ・ホスピタル・インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6752212
(24)【登録日】2020年8月20日
(45)【発行日】2020年9月9日
(54)【発明の名称】画像システムとその使用方法
(51)【国際特許分類】
G01N 21/17 20060101AFI20200831BHJP
G06T 7/00 20170101ALI20200831BHJP
【ＦＩ】
G01N21/17 A
G06T7/00 630
【請求項の数】10
【全頁数】33
(21)【出願番号】特願2017-545227(P2017-545227)
(86)(22)【出願日】2016年2月25日
(65)【公表番号】特表2018-509616(P2018-509616A)
(43)【公表日】2018年4月5日
(86)【国際出願番号】US2016019548
(87)【国際公開番号】WO2016138255
(87)【国際公開日】20160901
【審査請求日】2018年12月5日
(31)【優先権主張番号】62/121,603
(32)【優先日】2015年2月27日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】505270980
【氏名又は名称】ブリガム・アンド・ウイミンズ・ホスピタル・インコーポレイテッド
(74)【代理人】
【識別番号】100134832
【弁理士】
【氏名又は名称】瀧野 文雄
(74)【代理人】
【識別番号】100165308
【弁理士】
【氏名又は名称】津田 俊明
(74)【代理人】
【識別番号】100115048
【弁理士】
【氏名又は名称】福田 康弘
(72)【発明者】
【氏名】ソビエランスキー アントニオ カルロス
(72)【発明者】
【氏名】デミルチ ウトカン
(72)【発明者】
【氏名】テキン フセイン クムフル
(72)【発明者】
【氏名】インチ ファティ
【審査官】
小野寺 麻美子
(56)【参考文献】
【文献】
米国特許出願公開第２０１３／０２５８０９１（ＵＳ，Ａ１）
【文献】
特表２０１４−５０７６４５（ＪＰ，Ａ）
【文献】
国際公開第２０１４／０２４０７６（ＷＯ，Ａ１）
【文献】
特表２０１５−５２５６４８（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１４／０３００６９６（ＵＳ，Ａ１）
【文献】
特表２００８−５１２７６６（ＪＰ，Ａ）
【文献】
SOBIERANSKI, et al.，Portable Digital In-line Holography Platform for Sperm Cell Visualization and Quantification，2014 27th SIBGRAPI Conference on Graphics, Patterns and Images，２０１４年，pp.274-281，DOI:10.1109/SIBGRAPI.2014.39
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０１Ｎ ２１／００ − Ｇ０１Ｎ ２１／０１
Ｇ０１Ｎ ２１／１７ − Ｇ０１Ｎ ２１／６１
Ｇ０１Ｂ １１／００ − Ｇ０１Ｂ １１／３０
Ｇ０６Ｔ １／００ − Ｇ０６Ｔ １／４０
Ｇ０６Ｔ ３／００ − Ｇ０６Ｔ ９／４０
(57)【特許請求の範囲】
【請求項1】
シャドウ光学画像方法であって、
レンズレス光学画像システムのシングル検出器で、前記シングル検出器に近接して配置され、シングル発散単色波面の光で照射される対象の光学シャドウを受け取る受取工程と、
一定期間にわたって前記シングル検出器で複数の光学データセットを取得する取得工程と、前記複数の光学データセットのそれぞれは、前記一定期間内で各対応するポイントにおいて前記波面で形成された前記光学シャドウの対応する第１画像を表すものであって、
前記複数の光学データセットから、コンピュータプロセッサで前記対象の第２画像を形成する形成工程と、を有し、
前記シングル発散単色波面は、光源と前記検出器との間に配置されたシングル発散単色波面形成手段によって形成され、
前記検出器と前記対象と前記光源との空間的位置および方向は、前記取得工程中に変化せず、
前記シングル発散単色波面は、時間内に変化しない空間的発散のレートおよび光学軸を有し、前記光学軸の空間的方向は、前記一定期間中に変化せず、
前記第１画像は、第１空間解像度により特徴付けられ、
前記形成工程は、各第１画像の幾何学的情報を修正するために、前記複数の光学データセットから１セットを異方性フィルタリングする工程を含み、
前記第２画像が、前記第１空間解像度よりも高い第２空間解像度により特徴付けられる
ことを特徴とするシャドウ光学画像方法。
レンズレス光学画像システムのシングル検出器で、前記シングル検出器に近接して配置され、シングル発散単色波面の光で照射される対象の光学シャドウを受け取る受取工程と、
一定期間にわたって前記シングル検出器で複数の光学データセットを取得する取得工程と、前記複数の光学データセットのそれぞれは、前記一定期間内で各対応するポイントにおいて前記波面で形成された前記光学シャドウの対応する第１画像を表すものであって、
前記複数の光学データセットから、コンピュータプロセッサで前記対象の第２画像を形成する形成工程と、を有し、
前記シングル発散単色波面は、光源と前記検出器との間に配置されたシングル発散単色波面形成手段によって形成され、
前記検出器と前記対象と前記光源との空間的位置および方向は、前記取得工程中に変化せず、
前記シングル発散単色波面は、時間内に変化しない空間的発散のレートおよび光学軸を有し、前記光学軸の空間的方向は、前記一定期間中に変化せず、
前記第１画像は、第１空間解像度により特徴付けられ、
前記形成工程は、各第１画像の幾何学的情報を修正するために、前記複数の光学データセットから１セットを異方性フィルタリングする工程を含み、
前記第２画像が、前記第１空間解像度よりも高い第２空間解像度により特徴付けられる
ことを特徴とするシャドウ光学画像方法。
【請求項2】
前記受取工程は、前記一定期間中に停止および中断することなく、前記検出器上に映し出された前記光学シャドウを受け取る受取工程を含む
ことを特徴とする請求項１に記載の方法。
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記システムの前記光源のみから放射される光をピンホールにおいて空間的にフィルタリングすることにより、光の前記発散波面を形成する形成工程、をさらに有する
ことを特徴とする請求項１又は２に記載の方法。
ことを特徴とする請求項１又は２に記載の方法。
【請求項4】
前記複数の光学データセットからの１つの光学データセットに相当する前記第１画像のそれぞれは、映し出された光学シャドウの全体フィールドオブビューからの第１フィールドオブビューを包み、
前記取得工程が、（ｉ）前記第１フィールドオブビューを減少させている間に前記第１画像のビデオ取得のフレームレートを増加させる工程、および、（ｉｉ）前記第１フィールドオブビューを増加させている間に前記フレームレートを減少させる工程、の少なくとも１つを含む
ことを特徴とする請求項１〜３の何れか一項に記載の方法。
前記取得工程が、（ｉ）前記第１フィールドオブビューを減少させている間に前記第１画像のビデオ取得のフレームレートを増加させる工程、および、（ｉｉ）前記第１フィールドオブビューを増加させている間に前記フレームレートを減少させる工程、の少なくとも１つを含む
ことを特徴とする請求項１〜３の何れか一項に記載の方法。
【請求項5】
レンズレス光学画像システムの任意の構成要素を空間的に再配置しない
ことを特徴とする請求項１〜４の何れか一項に方法。
ことを特徴とする請求項１〜４の何れか一項に方法。
【請求項6】
前記複数の光学データセットを取得する取得工程は、前記検出器と前記対象と前記光源との空間的位置および方向を前記取得工程中に変えずに維持することによって静止したままとなる前記光学シャドウの複数の第１画像をそれぞれ表す前記複数の光学データセットを取得する工程を含む
ことを特徴とする請求項５に記載の方法。
ことを特徴とする請求項５に記載の方法。
【請求項7】
前記第１画像は、第１空間解像度を有し、
前記第２画像は、第２空間解像度を有し、
前記第２空間解像度は、前記第１空間解像度よりも大きい
ことを特徴とする請求項１〜６の何れか一項に記載の方法。
前記第２画像は、第２空間解像度を有し、
前記第２空間解像度は、前記第１空間解像度よりも大きい
ことを特徴とする請求項１〜６の何れか一項に記載の方法。
【請求項8】
シングル発散単色波面の光の光源であって、移動しない光源と、
前記シングル発散単色波面の光から部分的コヒーレント光を生成するように構成された単一点光源を形成する手段と、
その間に光学構成要素を配置せずに前記点光源と直接光通信する、移動しないサンプルホルダーと、
前記移動しないサンプルホルダーに隣接して配置される、移動しない光学検出器を備えた光学検出システムと、を有するシャドウ光学画像システムであって、
前記光学検出システムは、一定期間にわたって前記移動しない光学検出器で、前記一定期間内の時間で対応するポイントにおいて前記波面で形成される前記移動しないサンプルホルダーに保持された対象の光学シャドウの対応する画像を表す複数の光学データセットを取得し、前記光学検出システムの電子回路を用いて、各第１画像の幾何学的情報を修正するために、前記複数の光学データセットから光学データの１セットを部分的に異方性フィルタリングすることにより前記対象の第２画像を形成するように、構成され、
前記各第１画像は、第１空間解像度で特徴付けられる前記複数の光学データセットによって表され、
前記第２画像は、前記第１空間解像度よりも高い第２空間解像度で特徴付けられ、
前記光学画像システムにおける移動しない各部品は全て、空間的に固定されておりかつ前記光学画像システムにおける他の部品に対して再配置できないよう構成されている
ことを特徴とするシャドウ光学画像システム。
前記シングル発散単色波面の光から部分的コヒーレント光を生成するように構成された単一点光源を形成する手段と、
その間に光学構成要素を配置せずに前記点光源と直接光通信する、移動しないサンプルホルダーと、
前記移動しないサンプルホルダーに隣接して配置される、移動しない光学検出器を備えた光学検出システムと、を有するシャドウ光学画像システムであって、
前記光学検出システムは、一定期間にわたって前記移動しない光学検出器で、前記一定期間内の時間で対応するポイントにおいて前記波面で形成される前記移動しないサンプルホルダーに保持された対象の光学シャドウの対応する画像を表す複数の光学データセットを取得し、前記光学検出システムの電子回路を用いて、各第１画像の幾何学的情報を修正するために、前記複数の光学データセットから光学データの１セットを部分的に異方性フィルタリングすることにより前記対象の第２画像を形成するように、構成され、
前記各第１画像は、第１空間解像度で特徴付けられる前記複数の光学データセットによって表され、
前記第２画像は、前記第１空間解像度よりも高い第２空間解像度で特徴付けられ、
前記光学画像システムにおける移動しない各部品は全て、空間的に固定されておりかつ前記光学画像システムにおける他の部品に対して再配置できないよう構成されている
ことを特徴とするシャドウ光学画像システム。
【請求項9】
前記波面は、（ｉ）前記一定期間中変化しない空間的発散のレート、および、（ｉｉ）前記一定期間中に変化しない空間的方向を備えた光学軸、を有する
ことを特徴とする請求項８に記載のシャドウ光学画像システム。
ことを特徴とする請求項８に記載のシャドウ光学画像システム。
【請求項10】
前記光学検出システムは、（ｉ）前記光学検出器上に映し出された前記光学シャドウの全体フィールドオブビューからの、前記第１画像のそれぞれに対応する第１フィールドオブビューを減少させている間に前記第１画像のビデオ取得のフレームレートを増加させる工程、および、（ｉｉ）前記第１フィールドオブビューを増加させている間に前記フレームレートを減少させる工程、の少なくとも１つの工程によって、前記複数の光学データセットを取得するように、構成されている
ことを特徴とする請求項８又は９の何れか一項に記載のシャドウ光学画像システム。
ことを特徴とする請求項８又は９の何れか一項に記載のシャドウ光学画像システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照本発明は、２０１５年２月２７日付けで出願され、発明の名称が「画像システムとその使用方法」である米国仮出願第６２／１２１，６０３号に基づく優先権を主張し、参照によりここに組み込まれる。
【0002】
連邦出資研究又は開発に関する声明本発明は、国立衛生研究所により授与されたＮＩＨＲ０１ＡＩ０９３２８２およびＮＩＨ ＲＯ１ＡＩ０８１５３４の下の政府支援で作られた。米国政府は、本発明に一定の権利を有する。
【背景技術】
【0003】
本発明は、ポイント・オブ・ケア医療プラットフォーム（Point-of-Care medical platform）の実装に関し、より詳細には、そのような医療プラットフォームと共に使用するためのシャドウ画像（shadow imaging）の方法論に関する。
【0004】
シャドウ画像は、その動作原理が、底面に直接配置される光学センサで上から照射される標本（例えば、マイクロ流体やスライドガラス上の細胞）によって生成される光学シャドウのキャプチャを利用した技術である。ここでは、ホログラムシャドウと呼ばれるキャプチャされた多数のシャドウ画像の分析から、標本の定性的（例えば、標本の形状や種類）および定量的（例えば、数やサイズ）の特性を導出することができる。画像システムのカテゴリーは、当然のことながら、画像センサのピクセルサイズによる光学解像度に課せられる制限を含む運用上の欠点を有し、シャドウ画像の品質を向上させることが可能な方法論が必要とされている。関連する技術は、標本または対象を照射する複数の光源を採用する、および／または、異なる角度で対象を照射する間に複数のホログラムシャドウを取得する、および／または、光学データを複数の光学検出器で収集することにより、そのような問題を対処するために試みられてきた。それらの各アプローチは、当然のことながら、操作を複雑にし、シャドウ画像システムのコストを増加させる。テスト中の標本の高フレームレートで光学ノイズ抑制および原位置の視覚化を容易にする簡素化されたハードウェアシステムや方法論において、シャドウ画像の空間解像度を高め、画像システムの回折限界に影響を与えないことが、依然として必要とされている。
【発明の概要】
【課題を解決するための手段】
【0005】
本発明の実施形態は、空間固定シャドウ光学画像方法（method for spatially-static shadow optical imaging）を提供する。その方法では、レンズレス画像システムのシングル検出器が設けられており、シングル検出器に隣接して配置されシングル発散単色波面の光で照射される標本により、映し出された光学シャドウを受け取る。また、その方法は、一定期間にわたって光学画像システムで複数の光学データセットを取得する工程を含む。各光学データセットは、一定期間内の時間で対応するポイントで、波面で形成された光学シャドウの対応する第１画像を表す。一実施形態において、波面を生成するための構成された検出器、対象、および光源の空間位置および／または方向は、光学データの取得中は変化しないままである。また、波面は、時間内で変化しないままの空間発散のレートと、その空間方向が一定期間中に変化しない光学軸と、を有する。また、本発明の方法は、少なくとも部分的に複数のデータセットを異方性フィルタリングすることにより、取得した複数のデータのセットから対象の第２画像を形成する工程を含み、各第１画像の幾何学的情報を修正し、第２画像を得る。第２画像の空間解像度は、第１画像のそれぞれの空間解像度よりも高い。
【0006】
また、本発明の実施形態は、光学画像システムを提供する。光学画像システムは、部分的コヒーレント光を生成するように構成された点光源と、その間に光学構成要素を設けずに前記点光源と直接光通信するサンプルホルダーと、前記サンプルホルダーに隣接して配置される光学検出器を備えた光学検出システムと、を有する。そのような光学検出システムは、（ｉ）一定期間にわたって前記光学検出器で複数の光学データセットを取得するように構成されている。各光学データセットは、一定期間内の時間内で各対応するポイントで形成される光学シャドウの対応する各第１画像を表す。その一方で、複数のデータセットに相当する第１画像のそれぞれは、第１空間解像度により特徴付けられる。また、光学検出システムは、（ｉｉ）プログラム可能なプロセッサを含むことができる電子回路を用いて、取得した光学データを少なくとも部分的に異方性フィルタリングすることにより対象の第２画像を形成するように構成されており、第２画像の空間解像度が第１画像のそれぞれの空間解像度よりも高くなるように、各第１画像の幾何学的情報を修正する。
【0007】
また、本発明の実施形態は、シャドウ光学画像方法を提供する。シャドウ光学画像方法は、レンズレス画像システムのシングル検出器で、シングル検出器に隣接して配置され、シングル発散単色波面の光で照射される対象上に映し出された光学シャドウを受け取る受取工程を含む。さらに、その方法は、一定期間にわなってシングル検出器で複数の光学データセットを取得する取得工程を含む。各光学データセットは、一定期間内で各対応するポイントで形成される光学シャドウの各対応する第１画像を表す。その取得中、一定期間内の第１ポイントで定義される光学検出器、対象、光源の少なくとも１つの空間的位置は、一定期間内の第２ポイントで定義されるものと異なる。また、その方法は、各第１画像のぼやけ度を少なくとも部分的に表すコスト関数を最小化することにより、コンピュータプロセッサで第１画像から対象の第２画像を形成する形成工程を含む。
【0008】
本発明は、以下の詳細な実施形態の詳細な説明を非限定的な図面と併せて参照することにより、より完全に理解されるであろう。
【0009】
通常、図面の要素のサイズおよび相対的なスケールは、図面の簡潔さ、明瞭性および理解を適切に容易にするために、実際のものとは異なるように設定されてもよい。 同様に、ある図面に存在するすべての要素が必ずしも他の図面に表示されるわけではない。
【図面の簡単な説明】
【0010】
【図1】ホログラムシャドウをキャプチャするために構成された光学画像装置を示す概略図である。
【図2】シングル光源の変化を使用する本発明の概念による方法を説明するためのブロック図を示す。
【図3A】任意の入力信号に対するＬＲサブピクセルジェネレータを示す。図３Ａにおいて、レッドグリッド３１０の各四角が、光取得装置の各センサセルを表す。各セルによってキャプチャされた光の強度は、時間の経過と共に平均化される。
【図3B】任意の入力信号に対するＬＲサブピクセルジェネレータを示す。図３Ｂにおいて、１ピクセルおよびｋ＝ｎ＝６（ＸおよびＹ軸にそれぞれ沿って）の精度で、センサーセルグリッド３１０の小さなシフトの結果として得られる画像のＬＲセットが示されている。得られたＬＲセットにおける画像の総数は、３６枚である。
【図4】複数のＬＲ画像に対する超解像方法の実施例を提供する。連続光信号を示す入力画像（図４Ａ）が、画像（図４Ｂ）間で画定される検出器の平面内における小さな空間シフトで３６枚のＬＲ画像にデジタル化されて合成され、シングルＨＲ画像（図４Ｃ）を生成する。
【図5A】画像登録用アルゴリズムの実施例を示す。画像登録は、対象と参照画像との間で対応するキーポイントを追跡することにより行われる。レッドライン５１０は、グローバルラップ変換を計算するために用いられる各特定のキーポイントに対する変位ベクトルに関連する。
【図5B】画像登録用アルゴリズムの実施例を示す。画像登録は、対象と参照画像との間で対応するキーポイントを追跡することにより行われる。レッドライン５１０は、グローバルラップ変換を計算するために用いられる各特定のキーポイントに対する変位ベクトルに関連する。
【図5C】最適化の実施例を示す。最適化ステップが証明されており、より高いレベルのコントラストおよびホログラム間の画素のマッチングを達成するために、コスト関数の最小化が行われる。アルゴリズムは、ＬＲセットにおける平面変換に対応するランダムな実数値を見つけるように構成されており、その品質は、コスト関数で測定される。特定の対象ソリューションの不十分な例が、ホログラフィック信号のぼやけた影響を生成するものとして、図５Ｃの左側に示されている。一方、高品質のソリューションは、コスト関数を最小化するのに役立ち、その結果、鮮明レベルおよび結果として生じる最適化されたホログラムのホログラフィックの縞模様を増加させる（図５Ｃの右側）。ホログラフィにおいて、回折画像の品質は、ホログラフィックの縞模様の数に比例的に関連する。このため、コスト関数の最小化は、サブピクセル画像登録用の高品質のソリューションをもたらす。
【図6】本発明の関連する実施形態において、時間内に画像フレームの固定観察結果を示す。１００マーカーに分割された１ｍｍのパターン形式は、図６（ａ）において提案されたホログラフィックプラットフォームを用いて画像化される。図６（ｂ）と図６（ｃ）に示されているように、連続フレームが得られ、その後、図６（ｄ）と図６（ｅ）において、異なるフレームで特定領域におけるピクセル強度が、それぞれ比較される。視覚的に認識した場合、図６（ｄ）と図６（ｅ）の画像は、同じ内容を有するように見えるが、図６（ｄ）の画像と図６（ｅ）との差が｜ｄ−ｅ｜に応じて図６（ｆ）に示されている。また、｜ｄ−ｅ｜2として、図６（ｄ）と図６（ｅ）の画像データから決定された二乗誤差が、一定の連続フレームの固定監視を示す図６（ｇ）に示されており、ちらつきの変化を時間と共にキャプチャすることができる。
【図7】図７のブロック（ａ）に数値回折処理後の図６のホログラフィックシャドウを示す。各ホログラムシャドウフレームは、図７のブロック（ｂ）と（ｃ）にそれぞれ示されている。図７のブロック（ｄ）には、ｆ＝３に対して、フレームの固定監視に基づく静的なマルチフレーム処理（本発明の静的実施形態）の計算パイプラインの結果が示されている。
【図8】微生物の原位置視覚化のためのホログラフィックビデオプラットフォームの概要を提供する。画像取得は、図８のブロック（ａ）の実験的装置を用いて行われ、図８のブロック（ｂ）に示されているように、高フレームレートホログラフィックビデオが記録される。図８のブロック（ｃ）では、計算数値回折処理が適用され、各フレームを復号する。最終的に、図８のブロック（ｄ）では、画像処理と特徴抽出方法が適用され、微生物を読み取って追跡する。
【図9A】水滴中にキャプチャされた線虫のホログラフィックビデオの数値回折処理の結果を示す。生デジタルホログラム（Raw digital holograms）は、第１列（ａ）に示されている。列（ｂ）において、それらの生信号を表すデータは、予め指定されたｚ軸における振幅信号を使用して、数値回折方法に従って処理される。列（ｃ）には、フェーズ信号が示されている。
【図9B】水滴中にキャプチャされた線虫のホログラフィックビデオの数値回折処理の結果を示す。生デジタルホログラム（Raw digital holograms）は、第１列（ａ）に示されている。列（ｂ）において、それらの生信号を表すデータは、予め指定されたｚ軸における振幅信号を使用して、数値回折方法に従って処理される。列（ｃ）には、フェーズ信号が示されている。
【図9C】水滴中にキャプチャされた線虫のホログラフィックビデオの数値回折処理の結果を示す。生デジタルホログラム（Raw digital holograms）は、第１列（ａ）に示されている。列（ｂ）において、それらの生信号を表すデータは、予め指定されたｚ軸における振幅信号を使用して、数値回折方法に従って処理される。列（ｃ）には、フェーズ信号が示されている。
【図10A】本発明の実施形態において、計算的解釈および画像特徴抽出を時間の経過と共に示す。図１０Ａは、線虫本体の長さおよびエリアをピクセルで示すキャプションを有する。そのエリアは、線虫本体の体積を示す。時間の経過と共に鼓動周波数を示すために、図１０Ａは、線虫の頭部および尾部の動きの追跡をそれぞれ示す。
【図10C】本発明の実施形態において、計算的解釈および画像特徴抽出を時間の経過と共に示す。
【図11】ＵＳＡＦ１９５１解像チャート（USAF1951 resolution chart）に適用されるビデオで超解像用全変動（ＴＶ）方法（Total Variation (TV) Method for Super-resolution）の結果を示す。一実施形態では、空間解像度が、２．７１ミクロン〜１．５５ミクロンに増加する。
【図12A】本発明の動的実施形態および本発明の静的実施形態を用いて、シングルイメージングフレームから直接形成されるホログラフィックシャドウ画像を示す。
【図12B】本発明の動的実施形態および本発明の静的実施形態を用いて、シングルイメージングフレームから直接形成されるホログラフィックシャドウ画像を示す。
【図12C】本発明の動的実施形態および本発明の静的実施形態を用いて、シングルイメージングフレームから直接形成されるホログラフィックシャドウ画像を示す。
【図12D】本発明の動的実施形態および本発明の静的実施形態を用いて、シングルイメージングフレームから直接形成されるホログラフィックシャドウ画像を示す。
【図12E】本発明の動的実施形態および本発明の静的実施形態を用いて、シングルイメージングフレームから直接形成されるホログラフィックシャドウ画像を示す。
【図13】光データ取得のフレームレートと取得した光シャドウ画像により画定されるフィールドオブビューとの間で操作上の相互作用を示すプロットである。
【図14】回折された数値回折後のＬＲ画像（フレームＡ１，Ａ２）とＨＲ回折され且つ計算的に決定された画像（フレームＢ１、Ｂ２）とを視覚的に比較するための情報を提供する。ＨＲ対応部分を得るために用いられる分解増加係数（Resolution increment factor）は、ｆ＝４である。ＬＲ回折画像における分解チャートラインペアは、１０マイクロメーターに対して約〜６ピクセルであり、一方、ＨＲ画像の対応部分においては、それは約２ピクセル＜〜１マイクロメーターである。
【図15】本発明の静的実施形態を用いて生成された結果の信号対ノイズ（ＳＮＲ）評価を示す。参照フレームは参照として用いられ、その後、ＬＲ画像のそれぞれと比較されると共に、計算的に決定されたＨＲ回折ホログラムとも比較される。ＬＲセット用のＳＮＲは、〜２８から３０ｄＢに変化する。その一方で、ＨＲ画像では、ＬＲセット用のＳＮＲは、２４ｄＨＢであり、ＬＲセットのピークＳＮＲは、３５から３０ｄＢに変化し、ＨＲ画像では、３０ｄＢである。また、ＲＭＳＥおよびＭＡＥのメリットが示されており、その信号がＬＲ画像よりも均一なので、両方ともＨＲ画像に対してより高いレベルが示されている。これらの最後の２つの項目ＲＭＳＥとＭＡＥは、特定のパターンから著しくずれる傾向にある。
【図16】静的実施形態のＳＮＲの評価に対する追加の図である。ＨＲ回折画像は、参照画像として用いられる。一旦、ＨＲがＬＲセットと同じデータ量から形成されると、ＬＲ対応部分画像と比較した場合に、ＳＮＲ値は均等に分布されている。
【図17】図１５および図１６におけるインデックスを計算するために用いられるＳＮＲとエラー計量方程式のリストである。参照画像は、γで示され、ｔは、比較されるクエリー画像（query image）である。
【図18A】４９枚のＬＲ画像から計算される高解像度の対応部分とシングルショット低解像度ホログラムとの比較を提供する。
【図18B】４９枚のＬＲ画像から計算される高解像度の対応部分とシングルショット低解像度ホログラムとの比較を提供する。
【図18C】４９枚のＬＲ画像から計算される高解像度の対応部分とシングルショット低解像度ホログラムとの比較を提供する。
【図18D】４９枚のＬＲ画像から計算される高解像度の対応部分とシングルショット低解像度ホログラムとの比較を提供する。
【図18E】４９枚のＬＲ画像から計算される高解像度の対応部分とシングルショット低解像度ホログラムとの比較を提供する。
【図18F】４９枚のＬＲ画像から計算される高解像度の対応部分とシングルショット低解像度ホログラムとの比較を提供する。
【図19】図１９のフレーム（Ａ）〜（Ｃ）は、ＵＳＡＦ−１９５１解像チャートの画像を示す。シングルショットホログラムの可視ラインペアは、７−４であり、一方、高解像度の対応部分の可視ラインペアは、約１．５５マイクロメーターに相当する８−３である。
【図21】図２０のホログラムに対して、光源のシフトに基づくマルチフレーム超解像アプローチ用ＳＮＲ（SNR for multi-frame super-resolution approach）を示す。参照画像と比較した場合のＨＲに対する有意差はない（reg 1. tif）。これは、ホログラフィックの縞模様に相当するＬＲセットから新しい情報を導入する方法の性質により説明することができる。
【図24】ホログラフィック測定に使用される鮮明度測定の決定に用いられるＣ＋＋ソースコードの一部を示す。
【発明を実施するための形態】
【0011】
本発明の好ましい実施形態によれば、デジタルインラインホログラフィ（ＤＩＨ：digital in-line holography）プロセスを計算マルチフレームピクセル超解像方法と統合するレンズレス広視野顕微鏡イメージングプラットフォーム用の方法および装置が開示されている。特に、標本のマルチ低解像（ＬＲ）ホログラムシャドウは、シングルコヒーレント照明源（single coherent-illumination source）だけを用いてキャプチャされている間に、相対的な空間的移動が、光源と標本との間にもたらされる（一実施形態では、標本に対する光源の空間的移動は、数ミリメートルの距離の範囲以内である）。ＬＲ画像フレーム（LR imaging frame）は、さまざまなピクセル内容を有するＬＲデータセットに記録される。全てのＬＲフレームまたはホログラムシャドウは、基本的に同じであるが、相対的な移動は、サブピクセルレベル光情報を利用することを可能にすることによって重要な役割を果たし、光源と標本との間における相対的位置変化で光センサセルに異なる光強度をキャプチャさせる。高解像度（ＨＲ）画像またはホログラムは、特徴登録およびサブピクセル最適化に基づき、そのような移動を定義することにより、その後得られる。ＬＲ画像は、最初に空間的に並べられ、同じ平面領域に登録され、そして、グローバルな最適解（global optimum solution）を見つけるために用いられる高速収束アプローチ（fast-convergence approach）に基づき、サブピクセル情報の最適化が行われる。取得したＨＲホログラムは、その後、異なる高さ位置の標本のＨＲシャドウ画像に位相回復方法（phase-retrieval method）でデコードされる。実験による結果のセットは、提案した方法論で、レンズレスのプラットフォーム（レンズ要素がないシステム、すなわち、レンズレス）を介してキャプチャされるシャドウ画像で見ると、約３０ｍｍ2のフィールドオブビューにおける１ミクロンサイズ未満の解像度に相当する空間解像度を有する画像を取得することができるということを明らかにしている。実験的装置の例
【0012】
図１に概略的に示されているように、標本／サンプル１０４は、サンプルホルダー１１０（例えば、マイクロ流体チップおよび／またはカバーガラスの下）に保持されており、光源１２０のみ（単一）（一実施例では、約３８５ｍｍで紫外線を生成するように構成されたＬＥＤ）で放出される光Ｌで照射され、ピンホール（例えば、円形状）１３０で回折されて、発散波面を有する光ビームＬ１を形成する。システム１００に存在する唯一の画像センサ（光検出器）１５０が、可能な限りサンプルの直下に配置されており（すなわち、すぐ近くでサンプルホルダー１１０と検出器１５０との間に追加の光学要素を挿入するのに十分な追加空間を残さない）、サンプル１０４のホログラフィックシャドウ画像をキャプチャする。通常、標本１０４の光シャドウは、時間内に停止または中断することなく、連続的に検出器１５０上に投影される。一実施形態では、検出器１５０は、約６．４ｍｍ×５．９ｍｍの寸法（ゆえに、約３０ｍｍ2の高感度エリア）と、３８４０×２７４８ピクセルの空間解像度と、１．６７ミクロンピクセルサイズと、を有するＣＭＯＳ１０メガピクセル単色センサである。
【0013】
空間シフトが光Ｌ１の発散ビームの波面軸の間に導入される実施形態では、点光源が、標本とセンサとの空間に固定された組み合わせに対して移動することができ、あるいは、標本１０４と検出器１５０の組み合わせがＰＬＳに対して移動することができることが理解される。後者の実施形態では、標本１０４とセンサ１５０との組み合わせを、図面の簡略化のため示されていない独立した位置決めステージ上に配置することが必要である。点光源が、サンプルに対して、ｘ軸方向とｙ軸方向に独立して検出器の平面と平行にシフトされると、サンプルは様々な方向から照射されるが、照射角度は同じである。複数画像を取得するために、シングル点光源のシフトは、予め定められた所定のステップサイズ（例えば、７×７の個々の位置で画定される正方形エリア、合計４９の個々のＬＲ画像）で行われる。また、任意の移動も、数と位置で行うことが可能であるが、大きなステップサイズのシフトは、システムに不利益をもたらし、個々のホログラフィックシャドウの異常および歪みを引き起こす可能性がある。固定の物理的エリア内（例えば、〜２．５×２．５ｃｍ）の任意の移動は、点光源のわずかなシフトでキャプチャされるいくつかのフレームで許容される。
【0014】
以下により詳細に記載するように、標本の個々のＬＲ画像の多様性は、標本１０４の複数のＬＲ画像の固定監視（stationary observation）と、画像フレームの合計を含む画像データ処理との結果により、静的に得ることができる。
【0015】
電子回路およびデータ収集プラットフォーム１６０は、適切なプログラムコードを有する有形の非一時的記憶媒体を備えており、位置決めステージと、光検出器１５０と、任意に光源とに動作可能に接続されて、それらの操作を管理し、光学データ（例えば、６ビット生データの形式）を収集し、以下に説明する実施形態で必要とされるようなデータ処理を実行する。一旦ピクセル情報がハードウェアで変更されると（例えば、ゲイン及びガンマ補正、アンチエイリアス処理）、生データの後処理がより高解像度の信号取得を困難にすることから、単色生データの収集がサブピクセル計算にとって重要であることに留意されたい。また、カラーベースの光センサは、カラーフィルター（例えば、Bayer-8）を使用するため、適切な空間解像度を実現することが難しい。動的実施形態
サブピクセルシフトに基づくシャドウ画像の解像度改善の方法論
【0016】
本発明のマルチフレームピクセル超解像度方法論では、対象の多数のＬＲ監視や画像（完璧なまたは部分的な画像）が対象の画像に復元されたときに、ＬＲレベル以上の画像の解像度を増加させる追加情報を含むという認識から生じる。対象の多数のＬＲ監視や画像における異なるＬＲ画像は、周波数領域または空間領域のいずれかで画像装置に導入される小さな障害の条件下で取得される。
【0017】
したがって、本発明の発想は、ＬＲセット（シーン画像のＬＲセット）と呼ばれる同じシーンの複数監視セットからＨＲ画像を取得するという前提に基づいている。特に、シーンまたは対象の複数画像のそれぞれが、シングル発散光波面（シングル光源のみで生成される）だけで、その対象の照明または照射の結果として得られる。発散光波面の軸は、画像システムのシングル検出器の平面と垂直であり、その発散角度は、複数の画像取得の処理を通して変化しない。つまり、対象が画像ライトで照射される角度は、連続的に取得されるＬＲ画像の間で変化しない。
【0018】
個々のＬＲ画像は、シーンのシングルかつ特定（時間内）の監視（すなわち、シングルショット監視または画像）および異なるＬＲ画像として定義され、その一方で、同じ対象またはシーンの画像は、サブピクセル空間シフトにより互いに区別される。求められているＨＲ画像は、画像として定義される。そのピクセルの空間密度は、ＬＲセットからの各ＬＲ画像の空間密度よりも大きい。このようにして、本発明の超解像方法では、ピクセル変化を計算的に探索するために用いられ、ＬＲ画像の所定のＬＲセットからＨＲ画像を取得する。
【0019】
既に上述したように、所定の標本１０４のホログラムシャドウへの適用において、ＬＲホログラムシャドウのセットは、光源と標本との間の小さな移動を利用して得られる。図２は、本発明の方法をまとめたものである。
【0020】
最初（図２のブロック（ａ））に、Ｎ個のホログラムシャドウのＬＲセットが、図１のシャドウ画像システムの実施形態１００を利用して得られる。ＨＲ画像内のシャドウ画像データをさらに処理するために取得しなければならないＬＲ画像の数Ｎは、ほぼ任意である。その一方で、より大きい数のＬＲセットは、より多くの画像情報を格納し、その結果、求められているＨＲ画像の品質を向上させることに留意されたい。
【0021】
特に、サブピクセル光情報を抽出することは、サブピクセルのほんの一部を有する同一の二次元平面下で、そのような画像が完全に登録されて参照フレームに位置合わせされている場合のみに、複数のＬＲ画像から得ることができる。最初に、ＬＲセットからのＬＲ画像の高速配列（fast alignment）は、特徴ベース登録方法（feature-based registration method）（図２のブロック（ｂ））で行われ、平面変換（plane transformations）のホログラフィマトリックスを決める（各フレームの１つは、変換に対応し、参照フレームに対する候補をラップする必要がある）。
【0022】
以下は、探索空間でグローバル最適点を決定するためのコスト関数（cost function）のサブピクセル最適化である（図２のブロック（ｃ））。目的コスト関数は、２つのペナルティ項目、すなわち、初期登録の場所を保持するための忠実度項目および微調整を容易にするための焦点計算項目で形成され、特定の登録の品質を推定し、鮮明測定に基づきホログラムフリンジを増やし、低空間周波数波と高空間周波数波の両方を表す情報を回復させる。
【0023】
参照フレームに対する各ＬＲ画像の混合登録（hybrid registration）のこのような手順の結果として、ＨＲホログラムシャドウ画像が形成され、その低／高周波が回復する（図２のブロック（ｄ））。混合登録アプローチは、ノイズフィルタの効果を生成するために構成されている。ノイズおよび他の望ましくないアーチファクト（例えば、システム１００を通して光の光路に存在するほこりや傷により生じる光アーチファクト）が、時間と空間で抑制される。
【0024】
図２のブロック（ｅ）に示されているステップでは、ＨＲホログラムシャドウが、例えば、フェーズ回復方法でデコードされる。これを達成するために、例えば、角度回折計算またはフルネル畳み込み法（Fresnel convolution method）を用いて、ブロック（ｄ）のＨＲホログラフィック画像を実信号、虚数信号、フェーズ信号、および、振幅信号に変換してもよい。
【0025】
この処理の結果の汎用例を提供するために、画像デジタル化の手順の計算的実証、超解像方法、および、ＬＲセットにおける制御されたサブピクセルの変化の重要性が、図３Ａ、図３Ｂ、図４Ａ〜図４Ｃに示されている。
【0026】
ここで、ＬＲ画像ジェネレータは、入力信号（画像）からＬＲ画像を生成し、センサセル（ピクセル）上に制御された空間移動（シフト）を達成し、それによって、連続的信号をシミュレートするために（実験的環境でデジタル取得装置／カメラで行われるように）、開発されている。図３Ａに示されている入力信号は、ダウンサンプリング係数ｋ（down-sampling factor k）を用いてその光強度を平均化することによりピクセル化される。図３Ａの入力信号から推定されるＬＲ画像は、図３Ｂに示されているように（例えば、「低解像度＃１」画像）、オリジナル入力信号よりｋ倍少ないピクセルを有する。次のステップでは、グリッド３００（光センサの領域）を１ピクセルユニットだけ移動させて、新しいＬＲ画像への光強度を平均化させることにより、対象の新しい鮮明なＬＲ画像が生成される（「低画像度＃２」画像）。この手順は、ｋ×ｎ領域の範囲でピクセルごとのシフトを生成するために、継続的に適用される。図３Ａに示されている例は、ｋ＝６、ｎ＝６とし、３６枚のＬＲ画像（図示していない最後の「低解像度＃３６」画像）を有する従来のシャドウ画像システムに対応する。各ＬＲ画像は、特定の対応する空間シフトにより生成され、変化したピクセル強度を含む。
【0027】
図面に存在する結果は、サブピクセル情報のキャプチャを容易にするためのマルチフレーム処理に対して制御された空間的シフトの重要性を証明している。ＬＲセットからの各特定画像の情報内容は、同じセットからの他の画像のものと視覚的に同じであるが、その一方で、強度における変化は、図３Ａに示されるように、セットからのＬＲ画像がピクセルごとに評価される場合に特定される。それらの変化は、その後、より高いピクセルベースの解像度でシングル画像に再結合される。通常、超解像度方法では、ローカル情報を回復してぼかし効果を減らすために、デコンボリューション（deconvolution）や鮮明アルゴリズム（sharpness algorithms）と組み合わせて登録方法の評価を必要とすることがある。光学装置によるデータ転送は、回折限界（diffraction limit）により制限されることが知られている。一方、空間解像度は、複数のサンプルから情報を組み合わせることにより、この限界近くまで増加させることができる。図４Ａ〜図４Ｃにおいて、図３Ａと図３Ｂに先に示されているＬＲセットに適用される超解像度方法のアプリケーションが、実証されている。入力信号は、図４Ａに示されている。図４Ｂに示されているように、３６枚のＬＲ画像が分解されている（ｋ＝６、ｎ＝６）。再結合した後に、３６枚のＬＲ画像のＬＲセットは、図４Ｃに示すシングルＨＲ画像を生成する（図４ＣのＨＲ画像は、以下に説明するように、登録手順を除いて、点光源のランダム動作を用いる特定の実施形態を用いて取得される。登録手順は、もうすでに知られており、すべでのシングル画像が、１ピクセルユニットの間引き（decimation）であり、登録手順後に、各ＬＲ画像の最適化されたアライメント（alignment）を表す適切な登録と共にＬＲセットを平均化する）。
【0028】
特に、図４Ｃの求められているＨＲ画像は、各ＬＲ画像（図４Ｂ）と比較した場合、画像情報の重要なレベルの詳細および幾何学的形状を見ることができる。ＬＲ画像は、電子画像装置の実際の状態および容量を密に表し、超解像度の実装は、実際の画像を処理するために用いられるものと同じである。図４Ｃの結果として生じるＨＲ画像は、図４Ａの入力信号と比較して、光学的情報の損失やぼやけのある程度のレベルを示す。しかしながら、この影響は、図３Ａのレッドグリッド３１０で用いられるサンプリングピッチのデジタル化手順およびサイズで予想される。
【0029】
以下の例では、図１のシステム１００のピンホールにより形成される点光源のランダム動作の特定状態が、デジタルホログラフィック顕微鏡プラットフォーム用ＬＲ画像のセットを生成するために用いられる。この特定のケースでは、点光源自体を除いて、全て固定である。点光源は、ピクセル化された検出器１５０の平面上に標本のシャドウを投影するために任意の方法で動かされる。このプラットフォームは、シングル点光源（光源のアレイに構成されるＬＥＤのような複数の光源の代わりに）を使用する利点、複雑な再配置や空間移動機構の低減、自動的な登録やサブピクセル最適化のためのアルゴリズムの使用する利点を有する。通常、完全に任意の予め定められていない移動（空間的シフト）が、示されたハイブリッド計算アプローチを使用して、決定される。
【0030】
図１のシャドウ画像システムを参照すると、ＣＯ2レーザーカッター研磨機を使用して、〜１０×１０ｃｍ2のエリアを有する基礎を構築し、その下に配置されるセンサ１５０を結合させる。同じ基礎で、画像化されるサンプル１０４（マイクロ流体チップまたはスライドガラス）は、サンプルと検出器１５０の平面との間で最小化された状態で、収容される。位置決めステージ１４０は、ピンホール１３０を介して放出される光Ｌによって形成される点光源をシフトさせるために構成されており、検出器の平面に平行な同一平面のＸ軸とＹ軸に沿ったピンホールの異なる位置により定義される別々の様々な視点からサンプル１０４を照らす。複数の画像を取得するために、シングル点光源のシフトは、約１ｍｍ2のエリア内の７×７空間グリッドまたはマトリックス内部に、固定の定められたステップサイズで行われており、その後、サンプルの合計４９個の別個の観察が、ピクセルの変化した内容で取得される。
【0031】
選択された固定の物理エリア（例えば、〜２．５×２．５ｃｍ）内の任意の移動は、点光源のわずかに小さいシフトでキャプチャされたいくつかのフレームで許容できる。また、大きな移動が、検出器で衝突する波面の入射角度における変化により、ホログラムシャドウ上の異常の存在を容易にさせることができることに留意されたい。
【0032】
複数のフレームを解釈するための計算アプローチは、Ｃ＋＋とＲ統計的言語で開発されており、ＬＲ画像の取得したセットを表すデータを含むデータ登録簿を読み込み、ＬＲ画像を変換マトリックスで登録し、所定のサブウィンドウエリアで自動的にサブピクセル最適化を実行する。このアプローチの性質上、使用された点光源が全ての特定のＬＲ画像に対して動くので（点光源が、固定されておらず、各取得手続きに対して変化する）、平面をラップするための変換の静的マトリックスが他の最先端のアプローチのように固定することはできない。ゆえに、ハイブリッドアプローチは、（ａ）特徴ベースアプローチを使用するＬＲセットの高速画像登録と、（ｂ）エリアマッチングアプローチに基づく最適化手順（最小化エラー）と、を用いて、ＬＲセットを同一平面ドメインに自動的に登録する。
【0033】
高速画像登録画像登録は、２つ以上の画像間の最適な変換を計算し、そのような画像を固有の座標系に空間的に整列させるプロセスである。これは、所定の参照画像に対し完全な照合を探す画像の変換および回転などの空間参照操作のセットにより行うことができる。ＬＲセットから異なる画像を取得中、実験的セットアップにおける唯一の変更は、点光源の非常に小さな移動であるので、個々のＬＲ画像のそれぞれのシーンは実質的に平面のままである。各ＬＲ画像は、照明光Ｌ１と同じ強度、かつ、同じ光源と標本との間の距離（source-to-specimen distance）で取得されるので、異なるＬＲ画像間の画像情報で生じる唯一の変化は、移動ステップサイズを表すものである。したがって、特徴ベース方法またはエリアベース方法の使用でＬＲ画像を整列することができる。エリアベース方法は、互いに個々の画像の照合品質を測定するために、ある程度の誤差計量（error metric）を必要とする。特徴ベース方法は、ホモグラフィを決定するために照合されるまばらな特徴点のセット（そのようなポイントの３つが同じ直線上にない最小４つのキーポイント）に基づいて、画像を記録する。
【0035】
キーポイントは、参照画像と対象画像との両方に対して検出され、特徴ベクトルが計算される。Ｈａａｒウェーブレッド（Haar wavelets）の合計に基づいてＩＦＴ（Scale-Invariant Feature-Transform：スケール不変特徴変換）アルゴリズムに触発されるＳＵＲＦ（Speeded Up Robust Features：頑健な特徴量の高速化）アルゴリズムは、関連するキーポイントを特定するために用いられる（例えば、Goshtasby A.A., 画像登録−原理、ツールおよび方法、コンピュータビジョンおよびパターン認識の進歩（Image registration - Principle, Tools and Methods, in Advances in Computer Vision and Pattern Recognition）を参照）。
【0036】
参照画像および対象画像の特徴ベクトルは、近傍関数により整合される。ＦＬＡＮＮ（Fast Approximate Nearest Neighbor matcher: 高速近傍探索整合）は、キーポイントと関連付けるために用いられる。
【0037】
高品質の照合のみを選択するために、取得した結果は、異常値のポイントを除去するように設計されたクラスタリング技術（clustering technique）で確認される。これらの異常値は、ＬＲセットの参照画像と対象画像との間の幾何学的距離および角度係数に基づいて、最小二乗適合（least-square fitting）で検出することができる。
【0038】
取得したマトリックス −マッチング（matrix-matching）は、ランダムサンプル合意スアルゴリズム（Random Sample Consensus algorithm）（上述で参照されたGoshtasbyを参照）を用いてシングルＬＲ画像ごとに計算され、ホモグラフィマトリックス（homography matrix）を推定する。取得したホモグラフィマトリックスを用いて、参照対象ＬＲ画像がラップされる。各ＬＲ画像は、それぞれ対応するホモグラフィマトリックスを必要とするため、この手順は、Ｎ−１ＬＲ画像に適用される。
【0039】
サブピクセル最適化本発明の方法における次の手続きステップは、エリアマッチングアプローチ（area matching approach）の使用で行われる最適化手続きを含む。エリアマッチングアプローチは、登録エラーの推定を表すエネルギーＥ（コスト関数）を最小化しようとするが、一般的に時間がかかる。このプロセスは、Ｅの値を最小限にしている間、モデルのペナルティ項目の中で妥協を見つける必要がある。ここで、２つのペナルティ項目は、エネルギーコスト関数を定義するために用いられる。データ項目または忠実度項目と呼ばれる第１項目は、ＬＲ画像セットからの対象ＨＲ画像のずれに不利益を与え、結果が、最小化中にオリジナルのＬＲデータに可能な限り近い（登録された後で、適切な位置に近い）ものでなければならないという推定を表す。第２項目は、鮮明測定（sharpness measure）と呼ばれ、対象決定が、適切なホログラフィック伝播（holographic propagation）を有するときを示すように設計されている。ＬＲセットからＬＲ画像に関連する対象ＨＲ画像決定Ｉに対して、この決定のエネルギーＥは、次のように定義される。
【0040】
【数1】
【0041】
式（１）において、Ｌは、Ｌの濃度としてｍを有する決定連続変数のセットにより変換されたＬＲ画像のセットである。第１項目は、Ｉに対する各ＬＲ画像間の近似値の品質を測定し、空間的場所に関連し、不十分な対応の解に不利益を与える忠実度項目（例えば、理想的なマッチングから離れている変換を試みる決定変数）である。第２項目β（∇Ｉ）は、画像の鮮明度を表すフォーカス尺度（focus measure）であり、画像の相対的なフォーカス度を計算するために使用される。この項目は、サムＬＡＭＰ方法（sum modified-Laplacian method：和修正ラプラシアン方法）により得ることができる。パラメータαおよびβは、従来技術で定式化された多くの変分モデルと同様に、各ペナルティ項目の相対的重要度を制御する。ＬＲセットが空間的移動（光源のシフト）により得られるので、回折パターンは、光源の位置およびその形状に応じて変化し、ホログラフィックの縞模様が、ＬＲ画像ごとにわずかに異なる。前述の式は、他の変分モデルから提示された超解像の一般的な式と同じであるが、縞模様の伝播の増加にも関連する鮮明度の向上を測定するために特別に設計された項目が追加されている（図５Ｃに示す）。
【0042】
図５Ａ、５Ｂ、５Ｃにおいて、説明した登録および最適化手順を示す。ここで、高速登録は、ホモグラフィマトリックス（例えば、任意の２つの平面をラップする変換マトリックス）を計算するために空間的に配置されたキーポイントのセットを有する上述の特徴ベースアルゴリズムを用いて行われる。ホモグラフィマトリックスは、第２ステップのための初期推測解として用いられる。第２ステップでは、サブピクセルレベルで微調整が行われる。前述のステップは、コスト関数の最小化に基づいてＬＲセットを整列させる強度分布の重心を計算することを主な目的として存在する。最適化は、勾配降下方法（gradient descent method）を用いて行われる。勾配降下方法では、さまざまなデシメーションの検索空間（ｘとｙの位置で許容可能な変換、回転）が、連続のＡＣＯ（Ant Colony Optimization：蟻コロニー最適化）アプローチにより作成される。ＡＯＣアプローチは、反復回数が完了した後にグローバル最適解を見つけるように設計されている（例えば、Socha K and Dorigo M., Europ. J. of Operational Res., 185 (3), 20018, pp. 1155-1173を参照、参照によりこの明細書に組み込まれる）。
【0043】
本発明で用いた高速登録および最適化手続きの結果は、図１８Ａ〜図１８Ｅに示されている。図１８Ａと図１８Ｄは、このようなホログラムにおいて勾配差を強調し和らげるために使用されるプレウィットコンパス演算子（Prewitt compass operator）に適用されるＬＲホログラムを表す。本発明の動的実施形態を用いて図１８Ａと図１８ＤのＬＲ画像のセットから得られるＨＲコンピュータ分解画像は、それぞれ、図１８Ｂと図１８Ｅに示されている。図１８Ｃと図１８Ｆは、それらの領域周辺でピクセルの平均強度を取得するために、対応するマークされた経路Ａ−ＬＲ、Ａ−ＨＲ、Ｂ−ＬＲ、Ｂ−ＨＲに沿って、ＬＲ画像とＨＲ画像（ホログラム）に対してプロットされたピクセル平均強度プロファイルを示す。これらのプロファイルの分析は、各特定のホログラム（ＬＲおよびＨＲ）のホログラフィックの縞模様作用を明らかにする。サイクル数が多いほど、数値回折処理が適用された後のホログラフィック信号の品質が良くなる。図１８Ｃにおいて、Ａ−ＨＲプロファイルが、縞模様の１６サイクルをカウントし、その一方で、Ａ−ＲＬの対応部分は、６サイクルのみを周期的に解析することができる。また、周期的な縞模様情報は、ＬＲケースと比較して、ＨＲケースに対しより低い値の強度を達成し、低および高ホログラフィック周波数に対してより良い精細度を示す。図１８Ｆで描かれている場合では、プロファイルラインＢ−ＬＲとＢ−ＨＲが示されている。当業者は、シングルショットフレームと比較して、波サイクルのホログラフィック伝播と精細度における利点を繰り返し観察することができる。
【0044】
また、図１８Ａ〜図１８Ｆを参照すると、本発明の実施形態の実装は、実質的なノイズ制御が生じる関連技術の手順よりも予想外の利点を有する。ＬＲケースで示されているように、ＨＲホログラムのバックグランドエリアが、単独のピクセル強度勾配のピークの影響を受けにくいことが当業者であれば理解できるだろう。バックグランド範囲は、サブピクセル情報の微調整で整列された後に連続するホモグラフィック画像から実行される画像加算手順に起因して、あらゆる種類の不均一性（inhomogeneities）を抑制する強度の暗い領域である。
【0045】
図１９（フレームＡ、Ｂ，Ｃ）は、物質的なＵＳＡＦ１９６１解像（physical USAF1951 resolution）を使用して測定される空間解像チャートを示し、シーンの複数の観察からキャプチャする。図１９のフレーム（Ａ）で示されているホログラムは、ＬＲ部とＨＲ部（図１９の右側のフレーム（Ｂ）とフレーム（Ｃ）にそれぞれ示されている）を用いて数値的に回折される。フレーム（Ｂ）のＬＲ結果は、ある程度の解像度アスペクト比で明確に視認できるラインペア７−４（line-pairs 7-4 ）を表示している。最適化手続きが適用された後、４９回の観察から本発明の動的実施形態を用いて、約１．５５マイクロメーターに相当するラインペア８−３（line pairs 8-3）の視覚情報が達成される。
【0046】
また、ノイズ抑制測定も本発明の動的実施形態を用いて行った。その比較は、図２１に示されているように、選択されたＬＲ画像（図２０のフレーム（Ａ）〜（Ｆ）のＬＲ画像から）を用いて行われ、続いて、ＳＮＲ、ＰＳＮＲ、ＲＭＳＥ、および、ＭＡＥインデックスの比較が行われる。得られた結果は、前のＬＲセットと比較した場合、ＨＲ画像に対して有意差がないことを表示している。また、二乗誤差ベースＳＮＲ推定の結果として、登録方法の性質により、ホログラフィック縞模様の伝播のために設計された追加のホログラフィック縞模様が導入されることが理解されるだろう。
【0047】
新しい測定は、ラプラス演算子に基づいて（例えば、S. Pertuz, D. Puig, and M. A. Garcia, “Analysis of focus measure operators for shape-from-focus,” Pattern Recognition, vol. 46, no. 5, pp. 1415 − 1432, 2013に記載されている）、ノイズ抑制推定およびＬＲとＨＲ画像の鮮明レベルを考慮して行われる。演算子のこのカテゴリーは、鮮明レベルを計算するのにとても適している。すなわち、画像から２つの偏導関数（partial derivatives）を計算することにより、画像の焦点レベルを表すことができる。フォトグラフィック画像係数である鮮明度は、画像システムが再現できる詳細な量を決める（Nayar, “Shape from Focus”, 1994）。図２２、２３Ａ、２３Ｂ、および、２３Ｃに示されているように、ラプラス演算子ベースの方法論の実装は、ＨＲ画像とＬＲ画像の両方のノイズ抑制の正確な推定および鮮明度の正確な評価を証明している。図２３Ａ〜２３Ｃは、評価方法の個々のカテゴリーのグラフプロットを提供する。３つの鮮明度の推定量に対して、ＨＲ画像は、ＬＲセットと比較して、ノイズ抑制と鮮明レベルとを含む、より良好なフォーカスレベルを有する。ラプラスベースの演算子の方法論は、図２４に示されているように、Ｃ＋＋で実現される。静的実施形態：時間の経過に伴うホログラムシャドウの固定観察の利用
【0048】
この関連した実施形態において、対象の照射のシングル光源（図１の画像システムの座標系に固定される）は、対象とその対象を照射するシングル光波面の軸との間の相対移動が導入されていない間、固定する方法で同じシーンまたは対象の画像セットをキャプチャするために用いられる。この固定のアプローチでは、上述に記載した実施形態で必要とされた空間的シフトの不在を補って、対象のＬＲ画像の連続的な取得中に情報を変更するために、時間と共に光Ｌ１のビームの強度のちらつき、および、複数のＬＲ画像データセットのフィルタリングの利点を有し、ノイズを低減すると共に、空間解像度を増加させる。特に、シーンまたは対象の複数の画像のそれぞれは、シングルの固定発散光学波面で、対象の照明または照射の結果として得られる。その波面の軸は、画像システムのシングル検出器の平面と垂直であり、その波面の発散角は、複数の画像取得のプロセスを通して変化しない。つまり、対象が画像光源で照射される角度が、連続して取得されるＬＲ画像間で変化しない。このアプローチは、その単純さにおいて有利である。特に、データ取得方法が、光源、サンプル、または、光検出器の任意の動きを受けない点で有利である。
【0049】
本発明のこの実施形態によれば、同じ対象の複数の固定観察（複数のホログラムシャドウ）は、システムのシングル検出器で取得される。そして、画像フレームのノイズ抑制および合計によるホログラムの品質を時間の経過と共に増加させるために、マルチフレームアプローチを用いることができる。また、シャドウを移動させるために光源の空間物理的シフトがない場合を除いて、強度変化は、連続するフレームで行われる取得ステップ中、確認することができる。幾何学的解像度向上のカテゴリーでは、光のちらつきの強度により生じる固有ノイズ、または、画像装置の電子的または物理的状況に関連する固有ノイズが、ホログラフィック信号を変動させる可能性がある。
【0050】
それらの変化を示すために、図６（ａ）では、静的に取得されたＬＲ画像フレームが、時間の経過と共に表示されており、ピクセル強度の変化を観察することができる。ここで、１００ラインに分けられる１ｍｍのパターン（各ラインは、ラインペア毎間で１０ミクロの距離を有する）は、図１０のシャドウ画像システム１００を用いて連続的にかつ静的に画像化され、５０枚の画像を形成する。異なる個々のフレームは、図６のブロック（ａ）の画像の同じ部分に対して、図６のブロック（ｂ）と（ｃ）、および、ブロック（ｄ）と（ｅ）に、それぞれ示されている。図６のブロック（ｄ）と（ｅ）のフレーム間の直接の比較は、時間の経過と共に分析される同じホログラムシャドウにおけるピクセル強度の変動で明らかになる。したがって、同じ対象の連続的かつ静的に取得されたシャドウ画像は、そのような画像にわたって光強度の異なる分布を持つ。
【0051】
より詳細な検証は、図６のブロック（ｄ）と（ｅ）に示されている例の間で簡単な減算が行われる際に得られる。この目的のために、それらのフレーム間の絶対差を用いて、図６のブロック（ｆ）に示されているフレームを形成する。このため、各特定のピクセル（例えば、｜ｄ−ｅ｜2）ごとの強度差の二乗値は、図６のブロック（ｇ）に示されており、他の変化しない画像状況下で得られる連続的な画像フレームにおいてさえ、キャプチャされた画像全体の強度分布が変化するという証拠を提供する。時間の経過による光強度のそのような「ちらつき（flickering）」は、対象照射光ビームＬ１の発散波面に空間的変動をもたらす。このため、空間は、約１ミクロンの状態で画像化される対象のシャドウにおいて変化する。
【0052】
検出される小さなピクセル変化に基づき、マルチフレームと非線形フィルタリングとを組み合わせる以下の手順が採用されて、ノイズを低減し、ＬＲセットから受け取る詳細なレベルを増加させる。
【0053】
（ａ）各ＬＲ画像は、鮮明なアルゴリズムに適用され、Ｌａｎｃｚｏｓ補間（Lanczos interpolation）を用いて、係数ｋによってアップサンプリング（up-sampled）される。
【0054】
（ｂ）アップサンプリングされた画像を用いて異方性拡散を適用し、アップサンプリングされた画像のピクセルの幾何学的情報を修正する。多数の変換の特性により、境界線が保存され、ノイズが同時に選択的に平滑化され、反復プロセスに条件付けられる。
【0055】
（ｃ）マルチフレームデータ統合が行われ、最終ステップとして、シングルＨＲ画像を推定する。このプロセスは、アップサンプリング処理された画像の合計に基づいている。
【0056】
具体的には、（ａ）Ｌａｎｃｚｏｓ補間は、シンク関数（sinc function）を使用してピクセル強度の平均に基づいている。シンク関数の使用は、正弦補間と同じであり、その作用は、三次補間法と計算的に類似している。一方、その目的のために、三次補間は、境界線を滑らかにする傾向があり、カーネルサイズに応じていくつかの境界情報を失う。しかしながら、Ｌａｎｃｚｏｓ補間は、ぼかし効果を避けるように設計されたリンギング形状（ringing shape）を有するカーネルを使用する。このＬａｎｃｚｏｓ補間は、次のように定義される。
【0057】
【数2】
【0058】
−ａ＜ｘ＜ａ、かつ、Ｌ（ｘ）＝０ならば、パラメータａは、画像に適用されたカーネルサイズを決める正の整数である。
【0059】
他の方法と比較すると、双一次（bilinear）、双三次（bicubic）、ガウス分布に基づくものであっても、正のカーネルを有する畳み込み演算子であり、隣接ピクセルを平均化する。Ｌａｎｃｚｏｓ補間は、局所的なコントラストを保持したり向上させたりすることが可能になるので、畳み込みに基づく他の多くの方法よりも優れている。これは、重要な特徴であり、特に、サンプリングされた画像が、グラデーション情報などの詳細な特徴を示す際に重要である。Ｌａｎｃｚｏｓ補間は、画像上の境界および勾配ピークを検出する能力を増加させる傾向がある。このアプローチで用いられるＬａｎｃｚｏｓアルゴリズムは、オープンＣＶコンピュータビジョンライブラリ（OpenCV computer vision library）で利用可能であり、マルチフレームアプローチのＣ＋＋の実装で用いられる。
【0060】
（ｂ）第２ステップは、勾配の細部を失うことなく、非線形異方性拡散フィルター（nonlinear Anisotropic Diffusion Filter：ＡＤＦ）を、効果的な方法で隣接ピクセルをフィルタリングするように設計された反復アルゴリズムに適用することである。フィルターは、画像上で平滑化を行うが、それと同時に、隣接する領域間の境界線を保つことで作用する。プロセスは、ホットスポット近傍の強度変化を測定する拡散マトリックス、および、拡散が二乗カーネルで行われるべき場所を選択的に決めるコントラストパラメータ（λ）により制御される。一方、アルゴリズムが、多くの反復で適用される場合、拡散マトリックスは、新しい局所強度にゆっくり適応し、領域を同様に分割する傾向を有し、隣接する領域間の適切な境界を見つける。
【0061】
このアプローチで用いられる異方性拡散フィルターは、Joachim Weickerにより提案されており、選択的畳み込み技術として知られている。画像上で特定の平滑化を行う適応マトリックス値カーネル（adaptive matrix-valued kernel）を用いて、エッジピクセルの平滑化を抑制し、内部範囲でそれを刺激する。Ｍチャネルを有する画像Ｉ（ｘ、ｙ）およびｕ（ｘ、ｙ、０）＝Ｉ（ｘ、ｙ）で初期化された信号に対する一般的な拡散方程式は、以下の式（４）である。
【0062】
【数3】
【0063】
Ｄは、マトリックス値関数（matrix-valued function）または拡散カーネルであり、ｉ＝１、・・・、Ｍは、個々のチャネル（この場合では、１次元）である。カーネルＤの各コンポーネントは、以下の拡散係数ｇの式によって計算できる。
【0064】
【数4】
【0065】
ｘ2は、ホットスポット（通常、Ｌ2−ノルム（L2-norm））上の領域における変化を示し、λは、拡散がどの領域にどれだけ強くなければならないかを決定するパラメータである。一般的に、カーネルは、不均一なマトリックス（３×３）であり、カーネルが拡散関数によって定義された後、畳み込みが行われ、そして、反復が終了する。アルゴリズムの他の関連パラメータは、隣接するピクセル回りの多数の移動の革新的影響（progressive effect of mass transportation）が何回実施されるべきかを決める反復回数ｔである。このアプローチで用いられる実装は、Ｃ＋＋で書かれており、組み込みシステムによりホログラフィックプラットフォームに簡単に統合されている。
【0066】
統合手順は、以下の式により行われる合計を含む。
【0067】
【数5】
【0068】
Ｌｉは、特定のＬＲ画像であり、係数ｋで縮小され、拡散手続きで後処理される。ＨＲ画像Ｉは、簡単な合計手続きを用いて得られる後処理された画像の合成である。図６は、結果として生じるホログラムシャドウを形成するために用いられる固定シングルショットの個々の画像フレームを備えた静的観察方法論に従って生成される結果で生じた画像の比較を表す。図６で用いられている同じパターンは、図７のブロック（ａ）に示されており、連続的なシングルショット画像フレームは、図７のブロック（ｂ）と（ｃ）に示されている。当業者は、図７のフレーム（ｂ）と（ｃ）との間のピクセルレベルでの強度分布の差異を容易に検証することができる。係数ｋ＝３で得られる「静的観察」結果は、図７のブロック（ｄ）に表されており、シングル画像フレームと比較して画像品質の有利な改善を証明する。観察された解像度の増加は、ピクセル数の３倍であった。アルゴリズムは、明確に定義された領域上のパターンラインを分離するＡＤＦによって提供される事前セグメンテーションの傾向を示す。
【0069】
また、このアプローチは、その実装が画像システムハードウェア内の動きの欠如に基づいていることから、データ処理プラットフォームをより単純化する。このため、サブピクセルの処理に対して登録する必要性はない（例えば、関連する実施形態において記載されているように、光源をシフトするために、複雑な装置は必要ないことから、ハードウェアプラットフォーム全体の最小化を容易にする）。
【0070】
図１２は、シングルショットの結果と、本実施形態による複数の静的観察と、上述した動的実施形態の使用と、装置１００のピンホール１３０によって形成される点光源のシフトを利用したものと、の比較を提供する。図１２Ａと１２Ｂの画像は、静的および動的な実施形態について、平面上の点光源の移動のマップをそれぞれ示す。図１２Ｃ、１２Ｄおよび１２Ｅは、シングルフレームで取得されるホログラムシャドウと、静的実施形態の使用で形成されるホログラムシャドウと、動的実施形態で形成されるホログラムシャドウと、をそれぞれ示す。
【0071】
図１４（フレームＡ１、Ａ２、Ｂ１、Ｂ２を示す）において、両方とも数値的に回折されるＬＲ画像（左側）と計算上決定されたＨＲ画像（右側）との視認比較が、示されている。ホログラム（シャドウ画像）は、１０マイクロメーターだけ間隔を置いたラインを備えた解像度チャートである対象により形成される。図１４のフレームＡ１とＡ２は、異なる倍率を有するＬＲ画像部分を示す。また、フレームＢ１とＢ２は、異なる倍率を有するＨＲ画像部分を示す。この実験では、増分係数ｆ＝４が、このシーンの静的観察のセットからシングルＨＲ画像を計算するために用いられている。ＬＲ画像（フレームＡ１、Ａ２）とＨＲ画像（フレームＢ１、Ｂ２）との間の直接的視覚比較は、ＨＲ回折画像に対してラインペア間の空間解像度の増分を示す。ＬＲ画像の初期解像度は、１．６７マイクロメーターであると推定され、明確に定義されていないエリアを有するぼやけによる影響を受ける。ＨＲ部分では、ラインペアを明確に認識することができ、各ラインペア間の２４ピクセルを観察することができ、本発明の実施形態で得られる大きさの範囲の２〜３の命令で解像度利益をもたらす。本発明の静的実施形態による画像取得ワンド処理（image acquisition wand processing）の結果としてのＳＮＲにおける変化を表すデータは、追加的に得られる。
【0072】
図１５では、基準γとしての特定の任意フレームを用いて、６枚のＬＲおよびＨＲ画像選択のＳＮＲ評価が行われた。結果は、ＳＮＲレベル（ＬＲセットにおいて約２８〜３０ｄＢまで最初に変化する）で２４ｄＢ（ＨＲ画像に対して）まで減少した。ＬＲセットにおけるＰＳＮＲのピーク値は、約３５から３９ｄＢまで変化し、ＨＲ画像ではそのようなピークは、約３０ｄＢまで減少した。また、ＲＭＳＥやＭＡＥのような他の測定が示されている。その信号がＬＲ画像よりも均質であることから、ＨＲ画像では高いレベルを示す。それら最後の測定は、特定のパターンからかなりの偏差を特定する傾向がある。
【0073】
また、ＨＲ画像を基準として使用するＳＮＲ値の比較が、図１６に示されている。ＨＲ画像は、ＬＲ画像セットから定期的に計算されるので、得られた結果は、ＳＮＲ値の実質的に等しい分布を示す。また、その結果は、バイアスされたＬＲ画像がないことを示し、そのＬＲ画像は、他のＬＲとは異なって提供される、または、合計手続きで重み付けされる。
【0075】
この関連する実施形態は、４Ｄホログラフィックビデオ処理用に構成される顕微鏡用プラットフォームを実装する。上述の動的および静的実施形態で利用される同じシングル標準画像センサが用いられ、専用の特定高速画像装置を必要とせずに、非常に高いフレームレートを達成する。
【0076】
使用されるＣＭＯＳ画像センサ１５０は、この画像装置で利用可能なフィールドオブビュー（ＦＯＶ）全体（約３０ｍｍ2）を考慮すると、３８４０×２７４８の最大空間解像度と、２．６〜３．２フレーム／秒（ｆｐｓ）の範囲のフレームレート内で、単色モードでフレームをキャプチャすることができる。実用的なアプリケーションに対して、この種の画像センサは、静的サンプルのみの視覚化に限定され、上述の動作フレームレートを考慮すると、時間の経過と共にホログラムシャドウの（非常に）高速な動きのため、ホログラフィックビデオ取得を実現することはできない。
【0077】
一方、ＣＭＯＳ画像装置におけるセンサセルは、ＣＣＤ技術に根ざしているものとは異なり、チップ構造（chip architecture）のために、各ピクセルは、それ自体の増幅器を有し、光電子の変換が並行して行われる。そして、取得中にアクティブフィールドオブビュー（画像のＦＯＶ）を減らすことにより、その構成およびデータ処理／計算パイプラインにおけるいくつかの特定の変更と共に、同じハードウェアセットアップ（例えば、静的取得構成に使用されるものと同じもの）を用いて、非常に高速にフレームレートを増やすことが可能である。後者は、製造者が提供するＳＤＫ（ソフトウェア開発キット）を用いて、バイナリコードで書かれてコンパイルされた外部プログラムを使用して直接実施することができる（このアプローチで用いられている画像センサの場合において）。ホログラムをキャプチャするために利用可能なアクティブＦＯＶの大幅な減少に加えて、新しい実施形態のフレームレートはかなり増加し、それによって、非常に高いフレームレートで連続フレームをキャプチャすることが可能になる。実施された実験では、〜４８ｆｐｓのレートの動作中の微生物物体（例えば、７１２×６６８ピクセル）の周りで適合されるＦＯＶの再定義が、達成された。図１３に示すグラフは、ＦＯＶの再定義後のフレームレート（ＦＰＳ）と画像フレーム寸法（ピクセルにおける画像ＦＯＶ）との間の経験的なトレードオフをまとめたものである。通常、画像ＦＯＶは、予め定められた要件なしに、より大きな画像フィールドのサブセットとして構成または定義することができる。例えば、画像フィールドで初期のＸ位置とＹ位置、または、基準を設定することにより、構成又は定義され、画像ＦＯＶの対応する幅および高さが、その後設定される。したがって、一実施形態において、光学データのシャドウベース取得は、（ｉ）検出器上の対象の全体的な光学シャドウからシングルＬＲ画像のそれぞれに対するフィールドオブビューを減少させている間に、対象のマルチＬＲ画像のフレームレートのビデオ取得を増加し、および／または、（ｉｉ）最初のフィールドオブビューを増加している間に、そのようなフレームレートを減少させる。例えば、図１３を再度参照すると、シングルキャプチャ画像の領域を約４倍に縮小すると、光学データ取得のフレームレートは、３倍以上増加する。他の例では、シングルキャプチャＬＲ画像の領域を約４倍に増加すると、光学データ取得のフレームレートは、約２．３倍まで減少する。
【0078】
いくつかの顕微鏡アプリケーションでは、ホログラムを取り込み、移動中の微生物の特異性を視覚化するために、約３０ｆｐｓのフレームレート以上が必要となり、その結果、４Ｄホログラフィック処理用のアプリケーションの新しい範囲を開くことになる。提案されたアプローチの利点は、従来のＣＭＯＳ検出器を使用して、画像フレームレートを大幅に増加させるために、ＦＯＶを再構成できることである。このため、特定の高フレームレートの工業用カメラを有することなく、画像システムを構成することができる。
【0079】
実際には、以下の変更が、実施形態のシステム１００で行われ、高フレームレートホログラフィックビデオ取得を達成する。
【0080】
ホログラムをキャプチャすると同時に、自動的に再寸法出力画像を出力するために、新しいアクティブＦＯＶを再定義する特定のユーザのインターフェースを作成する。
【0081】
画像取得中、露光時間を短縮する。ピンホール１３０がレンズレスプラットフォーム１００で使用される際、光源は、ピンホールにできるだけ近づけておくべきである。そうしないと、光が遮断され、サンプルを得てホログラムを生成するのに必要な光子量が、画像を生成するのに不十分である。この幾何学的な制限を補うために、シャッターが開いている時は、一般的には、光を取り込むために可能な最高レベル（この場合では、約５００マイクロ秒）まで大幅に増加させ、キャプチャされた画像のぼかしに（大きな露出を介して）貢献する。本発明の実施形態では、この問題が解消されている。特に、図１を参照して説明した光源１２０と比較して、光源が、光出力の強度をさらに低下する安価なＡｒｄｕｉｎｏＳＭＤレッドＬＲＤ（そこからレンズが除去された）と置き換えられる。このレッドＬＥＤは、それ自体で小さな点光源を提供する。このため、部分的コヒーレント光（coherent light）を得るための追加のピンホールの必要性が緩和され、この実施形態は、実施形態１００と比較して、ピンホール１３０を有していない。このため、ＬＥＤ光源は、検出器１５０の平面から３ｃｍだけ離れて位置付けられており、それにより、数マイクロ秒（１０マイクロ秒未満、好ましくは、５マイクロ秒未満、シャドウ画像に使用されていたものよりも低いレベルの予想外の２桁の大きさ）まで開くシャッターの継続時間を減少させることを容易にし、非常に高フレームレートでぼかし効果のないホログラム取得をもたらす。
【0082】
対象の昇温問題は、検出器と平面との間の距離を増加させる（実際には、１〜約１．２ｍｍの距離に達し、これは一般的に典型的なスライドガラスの厚みに相当する）ことにより対処される。サンプルは、サンプルとセンサ表面との間の直接的な接触をさけて位置づけされている。また、冷却システム（小さなＧＰＧＰＵプロセッサファンなど）は、検出器／プラットフォームの下に配置され、熱を分散させ、および／または過度の蒸発を避けたり減らしたりする。
【0083】
粒子の合流（Confluence）および密度は、デジタルインラインホログラフィ（digital in-line holography）でよく認識される固有の問題である。この問題を対処するために、図８のブロック（ａ）に示されているように、スライドガラスは、検査すべき流体の滴と一緒のみに使用される。
【0084】
取得と計算処理は、非同期モード（すなわち、初期に取得し、次にフレームごとの処理）で順次行われる。画像取得が終了した直後に、データの数値回折処理が行われる。得られたホログラフィックビデオは、数値回折を用いて繰り返し分析することができ、特定の平面（２次元平面（2D for plane）＋１次元時間（1D for time））、または、容積分析（３次元体積＋１次元時間）を検査する。
【0085】
３次元ホログラフィック視覚化（２次元平面画像および追加時間領域）は、ホログラフィックビデオにおける特定のフレームを選択することにより行われ、そして、数値回折処理をいくつかの対象面に適用し、数値回折アルゴリズムのパラメータとして用いられる適切な回折距離を見つける。その後、特定の平面（ｚ軸）は、適切なパラメータを用いてフレームごとに数値回折処理を適用することによりビデオ全体を処理するために選択され、各フレームに対し１つの回折出力が得られる。それらのステップに続いて、統合手続きを使用して、個々に得たフレームを、実信号、虚数信号、振幅信号、および、位相信号が利用可能である回折ビデオに再構成する。また、多次元カラービデオは、実部および虚部を多次元ＲＧＢ画像に再結合することにより得られる。４次元ホログラフィック視覚化（３次元体積＋１次元時間軸）は、現在開発中であり、それは、新しいＦＯＢ上の任意のホログラフィックシャドウまたはサブウィンドウの回折点を自動的に決定するオートフォーカス方法の使用と組み合わせる。上述の視覚化モデルと同様に、ホログラフィックビデオは、パラメータとして初期の対象平面および最終の対象平面を有する数値回折に直接送られて、各フレームに対して体積を構成するいくつかの対象平面が取得されることを意味する。いくつかの平面の体積では、オートフォーカス方法が、検出器の平面からの距離を決定するのに役立つ。この手続きは、ホログラフィックビデオにおける各フレームに適用されるが、時間的に標本をｘ、ｙ、ｚで視覚化することができる時間的体積再構築を出力として有する。
【0086】
高フレームレートビデオ処理に対する提案されたホログラフィックプラットフォームの一般的な概要は、図８のブロック（ａ）、（ｂ）、（ｃ）、および、（ｄ）に示されている。実験的セットアップは、図８のブロック（ａ）に示されており、微生物に接する液滴は、スライドガラス上に直接置かれ、図８のブロック（ｂ）に示すようにホログラフィックビデオを記録する。ビデオ処理用に特別に設計された計算ライブラリ（ＦＦＭＰＥＧなど）を使用すると、フレームが抽出されて、特定のｚ軸を用いる数値回折方法が適用されて、図８のブロック（ｃ）に示されているように、信号を再構成する。分析される標本に応じて、図８のブロック（ｄ）に示されるように、画像処理および特徴抽出方法を意思決定手続きで使用することができ、線虫本体分析は、その本体を自動的に分割し、経時的に追跡し、関連する特徴を抽出するように実施される。
【0087】
提案されたホログラフィックビデオプラットフォームにより得られた結果の例は、図９Ａ、９Ｂ、９Ｃのブロック（ａ）、（ｂ）、（ｃ）に示されている。オリジナルホログラフィックビデオの異なるフレームのいくつかは、ブロック（ａ）に示されており、複雑なホログラフィックパターンを時間の関数として提示する。数値回折処理が適用された後、振幅信号は、微生物の動きを示す（ブロック（ｂ）に示す）。文字ＨとＴは、それぞれ、線虫頭部と尾部を表す。また、フェーズ信号は、ブロック（ｃ）に示されているように、実信号と虚信号との間の角度から得られる。
【0088】
このホログラフィックビデオプラットフォームを補う計算的解釈が、現在開発中である。図１０Ａ、１０Ｂ、１０Ｃにおいて、線虫が時間の経過と共に追跡され、関連する特徴が特定のプロファイルを識別するために抽出される。図１０Ａでは、線虫本体と体積情報が証明されている。図１０Ｂと１０Ｃでは、曲線１０１０、１０２０で示すように、時間の経過とともに線虫の追跡が行われ、頭部と尾部のそれぞれは別の動きを示す。
【0089】
原位置観察用ホログラフィックビデオ（Holographic video for in-situ inspection）は、提案された実施形態の可能なアプリケーションの１つである。組み込まれた画像処理とパターン再認方法を組み合わせることにより、標本の定量的（数量的）および定性的分析のための特定のアプリケーションの開発が可能となる。ホログラフィックビデオを繰り返し再生することができるので、サンプルの体積Ｘ時間分析のために４次元ホログラフィを開発することができる。実験的には、図１１に示すようなホログラフィックビデオ処理についても、解像度の向上が観察された。シングルフレーム（図１１の左側に示す）を、時間の経過と共に連続的に分析することができ、増加させた解像度を有する（図１１の右側で示されている）。ここで、図１１の要素は、解像度チャートを示し、セクション８−３に対応するペアラインは、図の高解像度対応部分で視認できる。より高い空間解像度を達成するためにマルチフレームを組み合わせることができるという同じ仮定に基づいて、ホログラフィックビデオは、ビデオの超解像度用の特定の方法を用いることにより増加させる解像度を有する。図１１において、全変動（total variation）（ＴＶＬ１）およびオプティカルフローアルゴリズム（Optical Flow Algorithm）のアプリケーション（Mitzel, Pock, Schoenemann, Cremers., Video super resolution using duality based TV-L1 Optical Flow, DAGM, 2009の参照により、ここに組み込まれる）に基づき、画像化された超解像度が示されている。
【0090】
本発明の実施形態で用いられる数値回折計算は、例えば、角度スペクトル方法（Angular Spectrum Method：ＡＳＭ、例えば、Shimobaba T. et al, Computational wave optics library for C++: CWO++ library 183(5), 2012; pp 1124-1138を参照。参照により、ここに組み込まれる）を用いて行うことができる。ＡＳＭは、複雑な波動場を平面波の無数の総和に拡大することにより、波動場（wave-field）の伝播をモデル化するための技術を表す。空間周波数ｆｘとｆｙとすると、波動場は、以下のように表すことができる。
【0091】
【数6】
【0092】
検出器のピクセルのｘ方向ピッチ、ｙ方向ピッチに応じて、周波数領域で離散化された空間周波数は、（ｆｘ、ｆｙ）＝（ｍ１Δｆｘ、ｎ１Δｆｙ）として表すことができ、ｍ１とｎ１は、目的平面を誘導する整数である。伝達関数Ｈは、次の式により与えられる。
【0093】
【数7】
【0094】
λは、光源により生成される光の波長であり、ｋは、波数である。その値は、光源の平面（開口関数よって表される）ｕ１（ｘ１、ｙ１）と目的平面（光検出器の平面）ｕ２（ｘ２、ｙ２）の間の距離を示し、異なる高さの位置で焦点距離に等しいアルゴリズムのパラメータとして使用される。
【0095】
本発明の実施形態は、実施形態によって実行され、有形の非一時的メモリ記憶装置に格納され、書き込み不可能な記憶媒体（すなわち、ＲＯＭなどのコンピュータ内の読み出し専用メモリデバイス、または、ＣＤ−ＲＯＭまたはＤＶＤディスクなどのコンピュータＩ／Ｏアタッチメントによって読み取り可能なデバイス）に永久に保存される情報、書込み可能な記憶媒体（すなわち、フロッピーディスク、リムーバブルフラッシュメモリ、および、ハードドライブ）に変更可能に記憶される情報、または、有線または無線のコンピュータネットワークを含む通信媒体を介してコンピュータに伝達される情報を含む多くの形態でプロセッサに送信する機能を定義する命令やプログラムにより制御されるプロセッサを含むものとして説明したが、それに限定されない。また、本発明は、ソフトウェアで実施することができる一方で、本発明を実施するために必要な機能は、任意選択的または代替的に、組み合わせロジック、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、他のハードウェア、ハードウェア、ソフトウェアおよび／またはファームウェアコンポーネントのいくつかの組み合わせのようなファームウェアおよび／またはハードウェア構成要素を使用して部分的にまたは全体的に実施することができる。
【0096】
本発明の実施形態によって実行されるいくつかのプロセスは、組み合わされ、別々の動作ステップに分離され、および／または、異なる順序で実行されるステップを示すフローチャートおよび／またはブロック図を参照して説明されている。
【0097】
本発明は、上述の例示的な実施形態を通じて説明されているが、当業者には、本明細書に開示された発明の概念から逸脱することなく、図示された実施形態に対する変更および変形が可能であることが理解されるだろう。
【0098】
開示された態様またはこれらの態様の一部は、上記に列挙されていない方法で組み合わせることができる。 ゆえに、本発明は、開示された実施形態に限定されるものではない。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6】
【図7(a)】
【図7(b)】
【図7(c)】
【図7(d)】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図11】
【図12A】
【図12B】
【図12C】
【図12D】
【図12E】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図18C】
【図18D】
【図18E】
【図18F】
【図19】
【図20】
【図21】
【図22】
【図23A】
【図23B】
【図23C】
【図24】