特許 6235563 ウェーブレット分析を用いた単一粒子位置特定の方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6235563

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】ウェーブレット分析を用いた単一粒子位置特定の方法および装置

(51)【国際特許分類】

   G01N 21/64 20060101AFI20171113BHJP

【ＦＩ】

   G01N21/64 E

【請求項の数】28

【全頁数】29

(21)【出願番号】特願2015-509335(P2015-509335)

(86)(22)【出願日】2013年1月16日

(65)【公表番号】特表2015-516063(P2015-516063A)

(43)【公表日】2015年6月4日

(86)【国際出願番号】EP2013050706

(87)【国際公開番号】WO2013164103

(87)【国際公開日】20131107

【審査請求日】2016年1月14日

(31)【優先権主張番号】12166450.2

(32)【優先日】2012年5月2日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】502205846

【氏名又は名称】サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィク

(73)【特許権者】

【識別番号】514058706

【氏名又は名称】ユニヴェルシテ・ドゥ・ボルドー

(74)【代理人】

【識別番号】100136630

【弁理士】

【氏名又は名称】水野 祐啓

(72)【発明者】

【氏名】シバリタ， ジャン−バプタイズ

【審査官】 横尾 雅一

(56)【参考文献】

【文献】 特表２０１１−５０８２１４（ＪＰ，Ａ）

【文献】 特表２０１１−５２５００９（ＪＰ，Ａ）

【文献】 特表２０１０−５００５６３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０００２５３０（ＵＳ，Ａ１）

【文献】 国際公開第２００９／０８５２１８（ＷＯ，Ａ１）

【文献】 IZEDDIN I，WAVELET ANALYSIS FOR SINGLE MOLECULE LOCALIZATION MICROSCOPY，OPTICS EXPRESS [ONLINE]，２０１２年 １月３０日，V20 N3，P2081-2095，ＵＲＬ，https://www.osapublishing.org/oe/abstract.cfm?uri=oe-20-3-2081

【文献】 IGNACIO IZEDDIN，PSF SHAPING USING ADAPTIVE OPTICS FOR THREE-DIMENSIONAL SINGLE-MOLECULE SUPER-RESOLUTION 以下備考，OPTICS EXPRESS [ONLINE]，２０１２年 ２月２７日，V20 N5，P4957-4967，IMAGING AND TRACKING，ＵＲＬ，https://www.osapublishing.org/oe/abstract.cfm?uri=oe-20-5-4957

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／６２−２１／７４

Ｇ０６Ｔ １／００−１９／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

３次元（３Ｄ）空間内で１つ以上の粒子の位置を推定するための装置であって、
光学軸を画定し、前記光学軸に対して非対称である点広がり関数（ＰＳＦ）を有する結像システムと、
前記結像システムと光学連通し、前記３Ｄ空間内の平面の画像を検出するように構成されている検出器と、
前記検出器に動作可能に連結され、前記画像の表現を記憶するように構成されているメモリと、
前記メモリに動作可能に連結されているプロセッサと
を備え、前記プロセッサは、
（ａ）前記３Ｄ空間内の平面の画像のウェーブレット分解を実施し、前記画像のウェーブレットマップを形成することと、
（ｂ）前記ウェーブレットマップを所定の閾値を上回る強度値を有する少なくとも１つの領域にセグメント化することと、
（ｃ）前記少なくとも１つの領域の重心の位置を推定することであって、前記重心の位置は、前記３Ｄ空間内の第１の次元および第２の次元における前記粒子の位置に対応することと、
（ｄ）前記ウェーブレットマップのセグメント化の間に特定された少なくとも１つの領域の前記重心の周囲のデータを用いて、前記少なくとも１つの領域に対する前記ＰＳＦの適合性を決定することと、
（ｅ）前記ウェーブレットマップのセグメント化の間に特定された前記データを用いて、前記適合性から前記３Ｄ空間の第３の次元における前記粒子の位置を推定することと
を行うように構成されている、装置。

【請求項2】

前記粒子は、生物細胞、分子、蛍光タンパク質、有機蛍光体、量子ドット、カーボンナノチューブ、ダイヤモンド、金属ビーズ、誘電ビーズ、および蛍光体で標識された粒子のうちの少なくとも１つ含む、請求項１に記載の装置。

【請求項3】

前記結像システムは、非点収差結像システムである、請求項１に記載の装置。

【請求項4】

前記プロセッサは、（ａ）、（ｂ）、および（ｃ）を行うように構成されているグラフィック処理ユニット（ＧＰＵ）を備えている、請求項１に記載の装置。

【請求項5】

（ａ）は、前記ウェーブレット分解 a ｔｒｏｕｓを実施することを含む、請求項１に記載の装置。

【請求項6】

（ｂ）は、前記ウェーブレットマップの少なくとも一部の流域計算を実施することを含む、請求項１に記載の装置。

【請求項7】

（ｂ）は、
（ｉ）前記ウェーブレットマップに関連付けられた背景雑音レベルを決定することと、
（ｉｉ）前記背景雑音レベルに関連付けられた標準偏差を推定することと、
（ｉｉｉ）前記標準偏差に基づいて、前記所定の閾値を選択することと、
をさらに含む、請求項１に記載の装置。

【請求項8】

（ｉｉｉ）は、前記所定の閾値を前記標準偏差の０．５倍〜２．０倍であるように選択することを含む、請求項７に記載の装置。

【請求項9】

（ｃ）は、前記第１の次元および前記第２の次元における前記粒子の位置を１ｎｍ〜５ｎｍの精度まで推定することを含む、請求項１に記載の装置。

【請求項10】

（ｅ）は、前記第３の次元における前記粒子の位置を１０ｎｍ〜５０ｎｍの精度まで推定することを含む、請求項１に記載の装置。

【請求項11】

前記プロセッサは、前記結像システムが、前記３Ｄ空間の別の画像を取得する間、（ａ）、（ｂ）、および（ｃ）を実施するようにさらに構成されている、請求項１に記載の装置。

【請求項12】

前記１つ以上の粒子による蛍光放出を励起させる光源をさらに備え、
前記プロセッサは、前記画像の分析を実施し、前記画像の分析に基づいて、前記光源の強度および波長のうちの少なくとも１つを調節するようにさらに構成されている、請求項１に記載の装置。

【請求項13】

前記プロセッサは、前記画像の分析を実施し、前記画像の分析に基づいて、前記結像システムの焦点、視野、フレームサイズ、フレーム率、および積分時間のうちの少なくとも１つを調節するようにさらに構成されている、請求項１に記載の装置。

【請求項14】

３次元（３Ｄ）空間内で１つ以上の粒子の位置を推定する方法であって、前記方法は、
（ａ）前記３Ｄ空間内の平面の画像のウェーブレット分解を実施し、前記画像のウェーブレットマップを形成するステップと、
（ｂ）前記ウェーブレットマップを所定の閾値を上回る強度値を有する少なくとも１つの領域にセグメント化するステップと、
（ｃ）前記少なくとも１つの領域の重心の位置を推定するステップであって、前記重心の位置は、前記３Ｄ空間内の第１の次元および第２の次元における前記粒子の位置に対応する、ステップと、
（ｄ）前記ウェーブレットマップのセグメント化の間に特定された少なくとも１つの領域の前記重心の周囲のデータを用いて、前記少なくとも１つの領域に対するＰＳＦの適合性を決定するステップと、
（ｅ）前記ウェーブレットマップのセグメント化の間に特定された前記データを用いて、前記適合性から前記３Ｄ空間の第３の次元における前記粒子の位置を推定するステップと
を含む、方法。

【請求項15】

前記粒子は、生物細胞、分子、蛍光タンパク質、有機蛍光体、量子ドット、カーボンナノチューブ、ダイヤモンド、金属ビーズ、誘電ビーズ、および蛍光体で標識された粒子のうちの少なくとも１つを含む、請求項１４に記載の方法。

【請求項16】

（ａ）は、前記ウェーブレット分解a ｔｒｏｕｓを実施することを含む、請求項１４に記載の方法。

【請求項17】

（ｂ）は、前記ウェーブレットマップの少なくとも一部の流域計算を実施することを含む、請求項１４に記載の方法。

【請求項18】

（ｂ）は、
（ｉ）前記ウェーブレットマップに関連付けられた背景雑音レベルを決定することと、
（ｉｉ）前記背景雑音レベルに関連付けられた標準偏差を推定することと、
（ｉｉｉ）前記標準偏差に基づいて、前記所定の閾値を選択することと
をさらに含む、請求項１４に記載の方法。

【請求項19】

（ｉｉｉ）は、前記所定の閾値を前記標準偏差の０．５倍〜２．０倍であるように選択することを含む、請求項１８に記載の方法。

【請求項20】

（ｃ）は、前記第１の次元および前記第２の次元における前記粒子の位置を１ｎｍ〜５ｎｍの精度まで推定することを含む、請求項１４に記載の方法。

【請求項21】

（ｅ）は、前記第３の次元における前記粒子の位置を１０ｎｍ〜５０ｎｍの精度まで推定することを含む、請求項１４に記載の方法。

【請求項22】

前記ＰＳＦは、前記３Ｄ空間の第３の次元に対して非対称であり、（ａ）の前に、
前記ＰＳＦによって特徴付けられる結像システムを用いて、画像を取得することをさらに含む、請求項１４に記載の方法。

【請求項23】

前記結像システムは、非点収差結像システムである、請求項２２に記載の方法。

【請求項24】

前記３Ｄ空間の複数の画像を取得することであって、前記複数の画像内の各画像は、前記３Ｄ空間の異なる平面に対応する、ことと、
前記複数の画像内の各画像に対して、ステップ（ａ）、（ｂ）、および（ｃ）を実施することと
をさらに含む、請求項１４に記載の方法。

【請求項25】

ステップ（ａ）、（ｂ）、および（ｃ）のうちの少なくとも１つを実施する間、前記３Ｄ空間内の別の平面の別の画像を取得することをさらに含む、請求項１４に記載の方法。

【請求項26】

前記画像の分析を実施することと、
前記画像の分析に基づいて、前記結像システムの焦点、視野、フレームサイズ、フレーム率、および積分時間のうちの少なくとも１つを調節することと
をさらに含む、請求項１４に記載の方法。

【請求項27】

前記画像は、前記１つ以上の粒子による蛍光放出を表し、前記方法は、
前記画像の分析を実施することと、
前記画像の分析に基づいて、前記蛍光放出を励起させるために使用される光源の強度および波長のうちの少なくとも１つを調節することと
をさらに含む、請求項１４に記載の方法。

【請求項28】

非一過性コンピュータプログラム製品であって、
前記プログラム製品は、プロセッサによって実行されると、
（ａ）３Ｄ空間内の平面の画像のウェーブレット分解を実施し、前記画像のウェーブレットマップを形成することと、
（ｂ）前記ウェーブレットマップを所定の閾値を上回る強度値を有する少なくとも１つの領域にセグメント化することと、
（ｃ）前記少なくとも１つの領域の重心の位置を推定することであって、前記重心の位置は、前記３Ｄ空間内の第１の次元および第２の次元における粒子の位置に対応する、ことと、
（ｄ）前記ウェーブレットマップのセグメント化の間に特定された少なくとも１つの領域の前記重心の周囲のデータを用いて、前記少なくとも１つの領域に対するＰＳＦの適合性を決定することと、
（ｅ）前記ウェーブレットマップのセグメント化の間に特定された前記データを用いて、前記適合性から前記３Ｄ空間の第３の次元における粒子の位置を推定することと
を前記プロセッサに行わせる、
非一過性コンピュータプログラム製品。

【発明の詳細な説明】

【背景技術】

【0001】

生物学的用途のための光学顕微鏡法の分野は、単一粒子の検出につながる技術的進歩に伴って、定質的飛躍を遂げている。近年、単一粒子実験が、生物学および生物物理学において、結像技法を使用して、多くの実験室におけるルーチンとなっており、多数の生物学的プロセスに新しい洞察を提供している。ほとんどの場合、単一粒子実験の定量的分析のための第１のステップは、光学顕微鏡法の回折限界を優に下回る、ナノメートル範囲内のサブピクセル精度での粒子の位置の決定である。例えば、連続的時間経過画像内の蛍光標識されたタンパク質の精密な位置は、特定の膜タンパク質の拡散特性を決定するため、または分子モータのステッピング機構を解明するために使用されることができる。

【0002】

近年、光学システム内の光の回折限界（典型的には、約２５０ｎｍ）を上回る、いくつかの超解像度光学顕微鏡法技法が、開発されている。これらとして、（蛍光）光活性化局在顕微鏡法（（Ｆ）ＰＡＬＭ）、確率的光学再構成顕微鏡法（ＳＴＯＲＭ）、および（ＧＳＤ）基底状態抑制顕微鏡法が挙げられる。これらの技法は、単一蛍光体の疎らなサブセットの逐次光切り替えに基づく。これらは、各単一点放出体によって生成される点広がり関数（ＰＳＦ）の中心を正確に決定する能力を利用する。最終的には、画像の解像度は、達成された粒子位置特定精度によって決定される。これらの技法は、その価格妥当性および従来の全内部反射蛍光（ＴＩＲＦ）顕微鏡上への比較的に単純な実装のため、普及しつつある。

【0003】

概して、確率的光学再構成は、３つのステップ、すなわち、（ｉ）試料からの単一粒子の数万枚の画像の取得、（ｉｉ）最大百万個の単離された単一放出体の精密な位置特定、および（ｉｉｉ）検出された個々の粒子の位置から再構成された超解像画像の可視化を含む。これらのステップの逐次性質は、高取得フレーム率および処理ステップの負担に伴って、通常、ユーザが、画像取得中に超解像度画像を確認することを妨げる。その結果、ルーチンユーザの場合、後処理に先立ってデータにアクセスする可能性はなく、全体的取得パイプラインが断片化される必要があるので、膨大な時間の損失につながる。

【0004】

図１は、ＰＡＬＭ顕微鏡法のような確率的光学再構成技法を用いて、超解像度画像を記録および再構成するための典型的手技１００を図示する。手技１００は、蛍光顕微鏡（図示せず）を用いて、画像を取得し、次いで、以下のステップに従って、取得された画像を後処理することを伴う。ステップ１０２では、可視光の短パルスが、個々に、各ＰＳＦを解像するために十分に離れて広く分離された蛍光体のサブセットを活性化させる。ステップ１０４では、異なる波長を伴う第２のレーザが使用され、１つまたはいくつかの画像１１２が記録される間、その（不可逆的）光退色まで、活性蛍光体を励起させる。ステップ１０２および１０４は、連続して繰り返され、結像された蛍光体の密度が、着目構造の完全再現のために十分に高くなるまで（典型的には、数千フレーム）、蛍光体の異なるサブセットを活性化し、次いで、不可逆に光退色させる。画像取得が完了すると、後処理が生じ、ステップ１０６において、フレーム毎ベースで、結像された蛍光体の検出を開始する。可能性として考えられる蛍光体が、特定のフレーム内で検出されると、その位置が、ステップ１０８において、ＰＳＦに類似するプロファイルにガウス分布を適合することによって決定される。ステップ１０８は、取得されたデータのフレーム毎に繰り返される。ステップ１１０において再構成された画像は、全位置特定の重ね合せによって得られ、超解像度画像１１６を形成する。当業者によって理解されるように、１つ以上のプロセッサおよび／または処理ユニットが、ステップ１０６、１０８、および１１０を行い得る。

【0005】

位置特定の観点から、その良好な性能により、ＰＳＦ適合のために使用される標準的数学モデルは、２次元ガウス関数である。通常、取得ステップ１０２および１０４は、数分かかる一方、処理ステップ１０６、１０８、および１１０は、反復最小化ステップ、典型的には、最尤推定法（ＭＬＥ）または非線形最小二乗法（ＮＬＬＳ）を要求するため、ガウス適合が実施されるとき、計算に最大数時間かかり得る。これは、取得直後に顕微鏡内で得られた結果を迅速に評価し、実験条件を現場で改善することを事実上不可能にする。最近、ＭＬＥガウス適合の超並列実装が、提案されている。本解決策は、計算時間を大幅に低減させたが、専用グラフィック処理ユニット（ＧＰＵ）ハードウェアアーキテクチャの使用を要求する。

【発明の概要】

【課題を解決するための手段】

【0006】

本開示の実施形態は、３次元（３Ｄ）空間内の１つ以上の粒子（例えば、細胞、分子、および／または蛍光マーカーで標識された粒子）の位置を推定するための装置、対応する方法、および対応する非一過性コンピュータプログラム製品を含む。少なくともある場合には、本装置は、結像システムの光学軸に対して非対称である点広がり関数（ＰＳＦ）を用いた、非点収差結像システム等の結像システムを含む。本装置はまた、結像システムと光学連通し、３Ｄ空間内の平面の画像を検出するように構成されている検出器を含み得る。検出器に動作可能に連結されたメモリは、画像の表現を記憶するように構成される。本装置はまた、メモリおよび／または検出器に動作可能に連結され得る、プロセッサを含む。少なくともいくつかの実施形態では、プロセッサは、以下に説明されるステップのうちの１つ以上を行うように構成されているグラフィック処理ユニット（ＧＰＵ）を含む。

【0007】

少なくともいくつかの実施形態では、プロセッサは、非一過性コンピュータプログラム製品内に記憶された命令としてエンコードされ得る、一連のステップを実施することによって、粒子の位置を特定するように構成される。プロセッサは、画像（の表現）を受信し、画像のウェーブレット分解を実施し、画像のウェーブレットマップを形成する。プロセッサは、a ｔｒｏｕｓウェーブレット分解技法または任意の他の好適なウェーブレット分解技法を使用して、ウェーブレット分解を行うように構成され得る。

【0008】

プロセッサは、例えば、ウェーブレットマップの少なくとも一部に流域計算を実施することによって、結果として生じるウェーブレットマップを所定の閾値を上回る強度値を有する少なくとも１つの領域にセグメント化する。ある場合には、ウェーブレットマップをセグメント化することは、（ｉ）ウェーブレットマップに関連付けられた背景雑音レベルを決定することと、（ｉｉ）背景雑音レベルに関連付けられた標準偏差を推定することと、（ｉｉｉ）標準偏差に基づいて、所定の閾値を選択することとを含み得る。例えば、プロセッサは、所定の閾値を標準偏差の約０．５倍〜約２．０倍となるように選択し得る。

【0009】

ウェーブレットマップのセグメント化に応答して、プロセッサは、セグメント化された領域の重心、すなわち、質量中心の位置を推定する。重心の位置は、３Ｄ空間内の第１の次元および第２の次元における粒子の位置に対応する。例えば、重心の位置は、結像システムによって結像された３Ｄ空間の平面内の粒子の横軸（例えば、ｘ、ｙ）位置を表し得る。ある場合には、プロセッサは、第１の次元および第２の次元における粒子の位置を約１〜約５ｎｍの精度まで推定し得る。

【0010】

いくつかの実施形態では、プロセッサは、結像システムが、３Ｄ空間の別の画像を取得する間、画像を分解し、ウェーブレットマップをセグメント化し、および／または重心を推定するように構成される。例えば、プロセッサは、５０フレーム／秒、７５フレーム／秒、１００フレーム／秒、またはそれ以上のフレーム率で、画像取得の間、これらのステップをリアルタイムで行うように構成され得る。

【0011】

プロセッサはまた、セグメント化されたウェーブレットマップの領域に対する結像システムのＰＳＦの適合性を決定する。例えば、結像システムが、非点収差式である場合、プロセッサは、セグメント化された領域に対する結像システムのＰＳＦを表す、非等方性ガウス分布を使用する。プロセッサは、適合されたＰＳＦの質量中心の推定値として、重心を使用し得る。

【0012】

プロセッサは、適合性から３Ｄ空間の第３の次元における粒子の位置を推定する。言い換えると、プロセッサは、適合性を使用して、結像システムの焦点面に対する平面の軸方向（ｚ）位置を決定し、平面の軸方向位置を使用して、粒子の軸方向位置を推定し得る。非点収差結像システムとともに使用されると、プロセッサは、セグメント化された領域に適合された楕円形の偏心および配向から、軸方向位置を推定し得る。約１０〜約５０ｎｍの精度で、これを行い得る。

【0013】

いくつかの実施形態はまた、レーザ等の光源を含み、粒子による蛍光放出を励起させる。光源は、励起ビームを放出し、その強度および／または波長は、公知の技法を使用して調整されることができる。これらの実施形態では、プロセッサはさらに、画像の分析を実施し、画像の分析に基づいて、励起ビームの強度および／または波長を調節するように構成され得る。プロセッサはまた、画像の分析に基づいて、結像システムの焦点、視野、フレームサイズ、フレーム率、および積分時間のうちの少なくとも１つを調節するように構成され得る。

【0014】

先述の概要は、例証にすぎず、いかようにも限定的となることを目的としていない。上記で説明される例証的側面、実施形態、および特徴に加えて、以下の図面および発明を実施するための形態を参照することにより、さらなる側面、実施形態、および特徴が明白となるであろう。

【図面の簡単な説明】

【0015】

本明細書に組み込まれ、その一部を構成する、添付図面は、開示された技術の実施形態を図示し、説明とともに、開示された技術の性質を説明する働きをする。

【図1】図１は、蛍光粒子の位置特定に基づいて、超解像度画像を形成するための取得および処理技法を図示する。

【図2A】図２Ａは、２次元および３次元両方における超解像度結像のためのウェーブレットベースの単一粒子位置特定を実施するように構成されている、蛍光顕微鏡の概略図である。

【図2B】図２Ｂは、その点広がり関数（ＰＳＦ）が、光学軸（ｚ次元）に対して非対称である、非点収差対物レンズを図示する。

【図2C】図２Ｃは、２次元および３次元ウェーブレットベースの粒子位置特定を図示する、流れ図である。

【図2D】図２Ｄは、画像取得を制御するために、リアルタイムおよび／または近リアルタイムウェーブレットベースの粒子位置特定を使用するシステムを図示する。

【図3】図３は、１００ｎｍピクセルサイズの２５６ピクセル×２５６ピクセルマトリクス上の単一粒子のシミュレートされた画像を示す。

【図4】図４は、シミュレートされたデータを使用したウェーブレットセグメント化を図示する。

【図5A】図５Ａおよび５Ｂは、それぞれ、粒子密度および信号対雑音比（ＳＮＲ）の関数としてのウェーブレット分析およびガウス多標的追跡（ＭＴＴ）分析に対する計算時間のプロットである。

【図5B】図５Ａおよび５Ｂは、それぞれ、粒子密度および信号対雑音比（ＳＮＲ）の関数としてのウェーブレット分析およびガウス多標的追跡（ＭＴＴ）分析に対する計算時間のプロットである。

【図5C】図５Ｃは、粒子密度の関数としてのウェーブレット分析およびＱｕｉｃｋＰＡＬＭ分析に対する計算時間のプロットである。

【図5D】図５Ｄは、異なる粒子位置特定技法の２次元リアルタイム検出（左）および３次元後処理適合（右）に対する処理時間対粒子の数のプロットである。

【図6】図６は、異なる粒子密度におけるウェーブレットセグメント化およびＭＴＴ分析に対する位置特定精度対ＳＮＲのプロットである。

【図7】図７は、各シミュレートされた単一粒子対ＳＮＲの座標の周囲の半径１００ｎｍ以内の誤検出の検出のプロットである。

【図8】図８は、各シミュレートされた単一粒子対ＳＮＲの座標の周囲の半径１００ｎｍ以内の検出漏れの検出のプロットである。

【図9A】図９Ａ−９Ｃは、２００ｎｍ（周縁）〜６ｎｍ（中心）の範囲の可変幅の交互するストライプから作成された試験パターンの内側においてシミュレートされた単一粒子データを使用したウェーブレットベースの粒子位置特定の試験を図示する。

【図9B】図９Ａ−９Ｃは、２００ｎｍ（周縁）〜６ｎｍ（中心）の範囲の可変幅の交互するストライプから作成された試験パターンの内側においてシミュレートされた単一粒子データを使用したウェーブレットベースの粒子位置特定の試験を図示する。

【図9C】図９Ａ−９Ｃは、２００ｎｍ（周縁）〜６ｎｍ（中心）の範囲の可変幅の交互するストライプから作成された試験パターンの内側においてシミュレートされた単一粒子データを使用したウェーブレットベースの粒子位置特定の試験を図示する。

【図10A】図１０Ａ−１０Ｄは、実験ＰＡＬＭデータを用いたウェーブレットセグメント化およびＭＴＴアルゴリズムの性能を図示する、実験データを示す。

【図10B】図１０Ａ−１０Ｄは、実験ＰＡＬＭデータを用いたウェーブレットセグメント化およびＭＴＴアルゴリズムの性能を図示する、実験データを示す。

【図10C】図１０Ａ−１０Ｄは、実験ＰＡＬＭデータを用いたウェーブレットセグメント化およびＭＴＴアルゴリズムの性能を図示する、実験データを示す。

【図10D】図１０Ａ−１０Ｄは、実験ＰＡＬＭデータを用いたウェーブレットセグメント化およびＭＴＴアルゴリズムの性能を図示する、実験データを示す。

【図11】図１１Ａおよび１１Ｂは、Ａｌｅｘａ６４７蛍光体で標識されたチューブリンの回折限界画像である。図１１Ｃは、Ａｌｅｘａ６４７蛍光体で標識されたチューブリンの単一分子の種々の配向を示す、一連の回折限界画像を含む。図１１Ｄおよび１１Ｅは、リアルタイムで構成された、それぞれ、図１１Ａおよび１１Ｂに示される分子のｄＳＴＯＲＭ超解像度強度画像である。図１１Ｆおよび１１Ｇは、それぞれ、図１１Ｄおよび１１Ｅに示される分子の３Ｄマッピングを示す。図１１Ｈは、図１１Ｆおよび１１Ｇに示される個々の分子の３Ｄ位置を抽出するために使用される顕微鏡の較正関数（ＰＳＦ）のプロットである。

【発明を実施するための形態】

【0016】

粒子検出および重心位置特定（ｃｅｎｔｒｏｉｄ ｌｏｃａｌｉｚａｔｉｏｎ）のためのウェーブレットセグメント化は、時間がかかるデータ分析によって生じる限界に対処する。本発明の装置および技法は、生物細胞、分子（例えば、蛍光タンパク質）、有機蛍光体、量子ドット、カーボンナノチューブ、ダイヤモンド、金属または誘電ビーズ、および蛍光体で標識された粒子を含むが、それらに限定されない、単一粒子結像、超解像度結像、粒子追跡、および／または蛍光粒子の操作のために使用されることができる。本ウェーブレットアプローチには、２次元（２Ｄ）ガウス適合を伴うものより２桁以上高速であるその処理時間と、ナノメートルの位であり得る、その非常に良好な位置特定精度（ｌｏｃａｌｉｚａｔｉｏｎ ａｃｃｕｒａｃｙ）の少なくとも２つの利点がある。加えて、２Ｄウェーブレット位置特定（ｗａｖｅｌｅｔ ｌｏｃａｌｉｚａｔｉｏｎ）は、追加の適合技法とともに使用され、３次元（３Ｄ）におけるリアルタイムまたは近リアルタイム位置特定を提供することができる。

【0017】

（単一分子のウェーブレットベースの局在顕微鏡法）
図２Ａは、超解像度結像のための２Ｄおよび３Ｄ両方の単一粒子位置特定を実施するように構成されている、蛍光顕微鏡２００を示す。図２Ａは、蛍光顕微鏡を示すが、当業者は、本明細書に開示されるウェーブレットベースの技法が、任意の好適な結像システムと適合性があり、それに対して拡張され得ることを容易に理解するであろう。例えば、ウェーブレットベースの粒子位置特定はまた、広視野顕微鏡、共焦点顕微鏡、多光子蛍光顕微鏡、および全内部反射蛍光（ＴＩＲＦ）顕微鏡を含む、任意の好適な蛍光顕微鏡とともに使用されることができる。

【0018】

顕微鏡２００は、音響光学可変波長フィルタ（ＡＯＴＦ）等の励起フィルタ２０４に向かって光を放出するレーザ等の光源２０２を含み、励起フィルタ２０４は、光を励起波長で透過し、光を他の波長で吸収、反射、または回折する。当業者は、励起フィルタ２０４が調整可能であり得、光源２０２自体が、異なる励起波長で狭帯域幅放射を放出可能な調整可能レーザまたは源であり得ることを容易に理解するであろう。

【0019】

狭帯域幅励起放射は、励起放射を試料Ｓの表面上または試料２内のある点に集束させる、対物レンズ２０８に向かって、ダイクロイックミラー２０６から反射する。当業者によって理解されるように、対物レンズ２０８は、１つ以上のレンズ要素およびプリズム要素を含み得、それらの各々は、所定の点広がり関数（ＰＳＦ）を伴うビームを産生するように、湾曲または別様に成形され得る。ＰＳＦは、集束ビームによって産生されるぼやけた点の形状を表す。完璧なレンズの場合、ＰＳＦは、円形であり、その半径は、焦点面からの距離の関数として変動する。

【0020】

図２Ｂは、完璧なレンズと異なり、対物レンズ２０８が、対物レンズの光学軸（図２Ａおよび２Ｂに示される座標系内のｚ軸）に沿って非対称である、ＰＳＦを有することを示す。言い換えると、ＰＳＦは、対物レンズの焦点面からの距離の関数として、形状および／または配向を変化させる（単にスケールを変化させるのとは対照的）。例えば、対物レンズ２０８は、図２Ｂに示されるように、若干、非点収差を導入するレンズ要素または位相マスクを含み得る。対物レンズ２０８が、非点収差を有するとき、ＰＳＦは、焦点面の一方の側においてその半長径がｘ軸と整列された楕円形２０９ａ、公称焦点面における円形２０９ｂ、および、焦点面の他方の側においてその半長径がｙ軸と整列された別の楕円形２０９ｃとして現れ得る。代替として、対物レンズ２０８は、ｚ軸に沿った位置の関数として回転するＰＳＦを有し得る。ｚ軸に対するＰＳＦの非対称性は、以下に説明されるように、ｚ次元における粒子の位置を位置特定するために使用されることができる。ＰＳＦは、事前に計算されるか、または、例えば、既知の標本を結像し、その結果を使用して、顕微鏡２００を較正することによって、実験的に決定されることができる。

【0021】

標本Ｓ中の蛍光粒子（蛍光体）は、励起光を吸収し、励起波長と異なる放出波長で蛍光放射を放出する。対物レンズ２０８は、ダイクロイックミラー２０６および放出フィルタ２１０を介して、電子増倍型電荷結合素子（ＥＭ−ＣＣＤ）、ガイガーモードアバランシェフォトダイオードアレイ、または任意の他の好適な検出器アレイ等の検出器２２０上に蛍光放射を結像させる。励起フィルタ２０４のように、放出フィルタ２１０も、光を放出波長で透過し、光を他の波長で吸収または反射し、検出器２２０における焦点ぼけ、雑音、および他の望ましくない効果を低減させる。

【0022】

検出器２２０は、入射光を電流または電圧等の検出可能電気信号に変換し、その振幅は、対物レンズ２０８によって投影される標本Ｓの画像を表す。検出器２２０は、画像の表現を記憶する、メモリ２３０と、リアルタイム、近リアルタイム、またはオフライン（例えば、後処理において）で画像を処理し、標本Ｓ中の１つ以上の粒子を位置特定する、プロセッサ２４０とに連結される。いくつかの実施形態では、プロセッサ２４０は、少なくとも１つの中央処理ユニット（ＣＰＵ）２４２と、少なくとも１つのグラフィック処理ユニット（ＧＰＵ）２４４とを含む。ＣＰＵ２４２およびＧＰＵ２４４は、ウェーブレットベースの位置特定に関連付けられた異なるタスクを行い、例えば、リアルタイムまたは近リアルタイム粒子位置特定のための計算時間を短縮することができる。

【0023】

本ハイブリッドＣＰＵ２４２／ＧＰＵ２４４アーキテクチャは、５０フレーム／秒以上の画像取得率で、リアルタイム分析を可能にする。ウェーブレット分解は、コンボリューションに非常に類似するため、画像内の各ピクセルは、画像内の他のピクセルから独立して処理されることができる。ウェーブレット分解の局所性質は、ＧＰＵ２４４上での並列ピクセル毎処理に好適である。実際、ハイブリッドＣＰＵ／ＧＰＵプロセッサ２４０を用いた計算時間は、５００，０００個の分子の画像に対して、ＣＰＵのみの実装より約７倍高速であり得る。

【0024】

（２Ｄおよび３Ｄウェーブレットベースの位置特定）
図２Ｃは、３Ｄウェーブレットベースの画像セグメント化および粒子位置特定プロセス２５０と、３Ｄプロセス２５０の一部を形成する、２Ｄ（リアルタイム）ウェーブレットベースの単一粒子位置特定プロセス２６０の両方を図示する流れ図である。プロセス２５０および２６０は両方とも、例えば、図２Ａに示される顕微鏡２００または任意の他の好適な結像システムを使用した、ゼロ、１つ、または２つ以上の蛍光粒子を伴う、少なくとも１つの２Ｄ画像の取得（ステップ２５２）から開始する。（粒子が画像内に現れない場合、粒子は、位置特定されない。）ウェーブレットフィルタ処理は、画像雑音を除去し、ハード閾値法およびオブジェクトセグメント化を可能にする。流域アルゴリズムが、標識化後に適用され、密接に融合した粒子が分離され、重心セグメント化を使用して、２Ｄにおいて位置特定される。ＰＳＦ形状に対する適合が使用され、位置特定された粒子の軸方向位置を読み出し、粒子の３Ｄ位置をもたらす。

【0025】

これらのプロセス２５０、２６０は、ユーザが、画像取得の間、超解像画像を確認することを可能にする。これらはまた、以下により詳細に説明されるように、取得および位置特定パラメータをリアルタイムで制御することによって取得プロセスを最適化する可能性をもたらす。位置特定プロセス２５０、２６０は、各分子画像のＳＮＲに応じて、ナノメートルスケールの解像度（例えば、１ｎｍ、２ｎｍ、３ｎｍ、４ｎｍ、５ｎｍ、または１０ｎｍ、または数ナノメートル〜約５０ｎｍの間の任意の他の値以内）で、２（２Ｄ）または３（３Ｄ）次元のいずれかにおいて、各粒子の空間座標の精密な読み出しを可能にする。高取得フレーム率（例えば、５０フレーム／秒、１００フレーム／秒、またはそれ以上の率）でのリアルタイム再構成には時間がかかり過ぎ得る、ガウスＰＳＦ適合と異なり、ウェーブレットベースの位置特定は、５０フレーム／秒以上のフレーム率において、リアルタイム処理のために使用されることができる。

【0026】

（２Ｄ粒子位置特定）
ステップ２５４では、プロセッサ（例えば、図２Ａに示されるハイブリッドＣＰＵ／ＧＰＵプロセッサ２４０）が、３次Ｂスプライン曲線を使用する「a ｔｒｏｕｓ」と呼ばれる冗長ウェーブレット変換を使用して、２Ｄ画像をウェーブレットマップに分解する。（他のウェーブレット変換も、同様に機能し得る。）a ｔｒｏｕｓウェーブレット変換は、周知であり、以下により詳細に説明される。プロセッサは、a ｔｒｏｕｓウェーブレット分解を迅速かつ正確に実行し、１つ以上の等方性の点を検出することができる。この分解は、雑音の大部分が存在する場所である、高周波数の源画像（例えば、以下に説明される、図４の２列目に示されるような）を含む第１のウェーブレットマップ（または、第１のウェーブレット平面）をもたらす。また、回折限界に近いサイズを伴う構造（例えば、図４の３列目に示されるような）を含む第２のウェーブレットマップ（または、第２のウェーブレット平面）をもたらす。この第２のウェーブレットマップは、単一粒子位置特定に非常に好適である。より高次のウェーブレットマップは、より粗い画像詳細およびより低い空間周波数を含み得る。

【0027】

ステップ２５４の一部として、プロセッサは、その値が、２Ｄ画像に関連付けられた背景雑音レベルの標準偏差の約０．１倍〜約１０倍（例えば、約０．５倍〜約２．０倍）の範囲である固定閾値を適用することによって、第２のウェーブレット平面を抽出する。例えば、プロセッサは、標準偏差と等しい閾値から開始し、画質に基づいて、および／またはユーザ入力に応答して、閾値を調節し得る。また、第１のウェーブレットマップから背景ガウス雑音を推定することによって、最大雑音レベルであり得るこの背景雑音レベルを決定し得る。単一粒子の特定の信号が、単一粒子ベースの超解像度に対して所望されるように、疎らである場合、源画像の標準偏差は、閾値処理のために使用される、雑音レベルの良好な推定値である。図４の４列目に示される画像のウェーブレットセグメント化のために使用された閾値は、最も雑音の多い画像の標準偏差の０．５倍に設定された。

【0028】

単一粒子ベースの超解像度結像は、多数の検出された粒子を使用して、画像を（再）構成することからから恩恵を受け得る。いくつかの生物学的用途、とりわけ、生体細胞動態の場合、高結像率が、要求され、したがって、高密度の蛍光単一粒子を伴う画像が、取得される。これは、異なる粒子からの複数のＰＳＦが重複するとき、不正確な粒子位置特定をもたらし得る（図４における１列目の中央および下の画像内の左上アスタリスク参照）。

【0029】

ステップ２５６では、プロセッサは、第２のウェーブレットマップを１粒子ずつ伴う領域に分割またはセグメント化する。プロセッサは、流域アルゴリズムを適用することによって、第２のウェーブレットマップをセグメント化し得る。流域アルゴリズムの適用は、粒子を表す領域が所定の閾値を上回る強度値を有し、粒子の不在を表す領域が所定の閾値を下回る強度値を有することを決定することを伴い得る。プロセッサはまた、あるサイズ（例えば、４ピクセル未満）を下回る領域を除去し、雑音による可能性として考えられる残りの位置特定を回避し得る。

【0030】

ステップ２５８では、プロセッサは、粒子を表す各領域に対して、重心、すなわち、質量中心の位置を推定する。画像が２Ｄであるため、重心は、画像によって表される３Ｄ体積の平面内の粒子の横軸座標（例えば、そのｘおよびｙ座標）を表す。画像のＳＮＲに応じて、プロセッサは、１０ｎｍ、５ｎｍ、４ｎｍ、３ｎｍ、２ｎｍ、またはさらに１ｎｍを上回る精度で、重心を特定可能であり得る。プロセッサは、この重心抽出の結果を使用して、ステップ２７０において、粒子の２Ｄ超解像度画像を生成し得る。また、以下に説明されるように、３Ｄ画像可視化（ステップ２８４）を含む、さらなる処理のために、粒子の横軸座標をメモリ内に記憶し得る（ステップ２７２）。

【0031】

ステップ２５９では、プロセッサは、ウェーブレット分解、ウェーブレットセグメント化、および／または重心抽出を通して導出された画像（または、画像特性）に基づいて、統計計算または分析を実施する。例えば、プロセッサは、画像内の粒子の数、強度、および空間分布を決定し得る。ステップ２６２では、プロセッサは、全所望の２Ｄ画像を取得したかどうかを決定する。取得されるべきさらなる画像が存在する場合、プロセッサは、ステップ２６３において、ステップ２５９において決定された画像統計が容認可能であるかどうかチェックする。そうではない場合、プロセッサは、ステップ２６４において、粒子からの蛍光放出を励起するために使用されるビームの強度を調節し得る。また、結像システムに３Ｄ体積内の別の平面に焦点を合させ得る。

【0032】

（３Ｄ粒子位置特定）
３Ｄ位置特定は、結像システムのＰＳＦの演繹的知識を利用し、粒子の軸方向位置、すなわち、３Ｄ空間内の第３の次元（例えば、ｚ次元）における位置を見出すことを伴う。例えば、非点収差レンズを使用する、ＰＳＦ工学は、軸方向位置の読み出しを可能にする。実際、この情報は、通常、最尤推定法（ＭＬＥ）または非線形最小二乗法（ＮＬＬＳ）のような高度な方法を使用して、粒子の周囲にガウス適合を適用することによって計算される。位置特定精度の観点におけるＭＬＥおよびＮＬＬＳの信頼性にかかわらず、最終画像を再構成するために要求される時間は、ルーチンにおけるデータ生成の障害のままである。ＱｕｉｃｋＰＡＬＭ（古典的Ｈoｇｂｏｍ「ＣＬＥＡＮ」法）またはＬｉｖｅＰＡＬＭ（ｆｌｕｏｒｏＢａｎｃｒｏｆｔアルゴリズム）のような他の方法も提案された。これらの技法は、計算時間の観点から非常に効率的であるが、オフライン処理（後処理）に限定され得る。

【0033】

プロセッサが、ステップ２６２において、所望の２Ｄ画像の全てが取得されたことを示す場合、またはその指標を受信する場合、ステップ２８０において、３Ｄ画像を生成するかどうかを決定する。３Ｄ画像が所望される場合、プロセッサは、例えば、５０ｎｍ、４０ｎｍ、２５ｎｍ、１０ｎｍ、５ｎｍ、またはそれ以上の精度で、以前に位置特定された粒子のうちの１つ以上の軸方向（ｚ）位置を特定する（ステップ２８２）。ある実施形態では、プロセッサのＧＰＵは、各粒子の横軸位置（重心）の周囲の、結像システムの非対称ＰＳＦに基づいて関数を適合することによって、この３Ｄ位置特定を実施する。ｚ次元の関数としての関数パラメータは、結像システムの較正を通して決定され得、位置特定された粒子の軸方向座標は、ウェーブレットセグメント化プロセスによって既に計算された座標（例えば、重心）の周囲の生データの局所適合を実施することによって読み出されることができる。

【0034】

結像システムが、非点収差式である場合、例えば、ＧＰＵは、光学軸（軸方向またはｚ次元）に沿って変化する偏心配向（ｅｃｃｅｎｔｒｉｃｉｔｙ ｏｒｉｅｎｔａｔｉｏｎ）を伴う楕円形形状であるＰＳＦに基づいて、適合を計算し得る。例えば、ＧＰＵは、粒子の軸方向座標を決定するために使用される楕円形パラメータ（例えば、楕円形の長軸および短軸のサイズおよび配向）を計算するために、非線形最小二乗法を使用して、非等方性ガウス分布を９ピクセル×９ピクセル面積に適合させ得る。適合された楕円形が偏心しているほど、粒子は、対物レンズの焦点面から遠くにある。楕円形の長軸の配向は、粒子が焦点面の近い側または遠い側にあるかどうかを示す。完全円形適合は、粒子が焦点面にあることを示す。当業者は、他の適合関数および／または他のＰＳＦもまた、可能性であることを容易に理解するであろう。

【0035】

この適合ステップは、ＣＰＵ内で行われると、時間がかかり得、ＧＰＵベースの実装を示唆する。なお、リアルタイム制約は、超並列実装を可能にしない場合がある。その結果、ＧＰＵベースの実装でも、ガウス適合がリアルタイムで行われることを可能にしない場合がある。したがって、リアルタイムまたは近リアルタイム粒子位置特定の場合、プロセッサは、２ステップアプローチを実装する、すなわち、ｉ）ウェーブレットセグメント化を使用して、２Ｄ画像をリアルタイムで計算し（プロセス２６０）、ｉｉ）画像取得の終了直後、適合および３Ｄ抽出を計算し得る（ステップ２６６）。ＧＰＵ実装は、ＣＰＵ単独での数十分と比較して、百万個の粒子の軸方向座標を数分で計算可能にする。これは、ユーザが、取得プロセス後、実践的使用のために十分に高速である、数秒から数分以内に３Ｄ情報にアクセスすることを可能にする。計算は、ＧＰＵ対ＣＰＵの場合、ほぼ２０倍高速となる。ＧＰＵ実装は、各検出された粒子のＰＳＦが横断平面において異なる場合、３Ｄ適合の並列性質を効率的に利用することができる。

【0036】

（「A Ｔｒｏｕ」ウェーブレット実装）
Ｖ｛ｉ｝をレベルｉにおける係数マップ、Ｗ｛ｉ｝をレベルｉにおけるウェーブレット（または、詳細）係数マップとして定義する。Ｖ｛ｉ｝およびＷ｛ｉ｝は、オリジナル画像と同一のサイズを有する。Ｗ｛２｝は、前述のように、閾値および流域技法を使用してセグメント化された第２のウェーブレットマップである。一実装では、a ｔｒｏｕｓウェーブレット分解は、以下のステップを含む。

【0037】

（１）Ｖ｛０｝をオリジナル画像に対して初期化する。

【0038】

（２）Ｖ｛１｝：Ｖ｛１｝＝ｃｏｎｖＶ（ｃｏｎｖＨ（Ｖ｛１｝、ｇ｛１｝）、ｇ｛１｝）を計算する。

【0039】

（３）Ｖ｛２｝：Ｖ｛２｝＝ｃｏｎｖＶ（ｃｏｎｖＨ（Ｖ｛２｝、ｇ｛２｝）、ｇ｛２｝）を計算する。

【0040】

（４）Ｗ｛２｝：Ｗ｛２｝＝Ｖ｛１｝−Ｖ｛２｝を計算する。

【0041】

ここでは、ｇ｛１｝は、低域通過［Ｈ２、Ｈ１、Ｈ０、Ｈ１、Ｈ２］を指し、ｇ｛２｝は、低域通過［Ｈ２、０、Ｈ１、０、Ｈ０、０、Ｈ１、０、Ｈ２］を指し、Ｈ０＝３／８、Ｈ１＝１／４、Ｈ２＝１／１６である。ｃｏｎｖＨは、列（ｃｏｌｕｍｎｓ）にわたるコンボリューションを指し、ｃｏｎｖＶは、行（ｌｉｎｅｓ）にわたるコンボリューションを指す。

【0042】

（リアルタイム位置特定を使用した結像制御）
図２Ｄは、リアルタイムまたは近リアルタイム粒子位置特定を使用して、結像システム２９１による画像取得を制御するためのシステム２９０を図示する。結像システム２９１は、１つ以上のレンズ（例えば、対物レンズ２０８（図２Ａ））または他の光学要素および／または３Ｄ空間の場所（標本Ｓ（図２Ａ））に対する焦点面の位置を変化させるための１つ以上のステージを含み得る。システム２９０は、画像（フレーム）を取得するためのＣＣＤカメラ２２０と、画像分析２９２を実施するためのＧＰＵ２４４（例えば、ハイブリッドプロセッサ２４０の一部）およびメモリ２３０とを含み、画像分析２９２は、超解像度画像再構成２９４、ライブ粒子／画像統計２９６、および自動結像システム制御２９８のための粒子位置特定を含む。

【0043】

プロセッサ２４０は、粒子を励起させるために使用される源（レーザ）２０２の強度を制御し得る。例えば、プロセッサ２４０は、所与の画像内で可視である粒子の数を増加させるように、源の強度を上げてもよい。また、例えば、所与のフレーム取得期間で位置特定されるべき視野内に、多過ぎるまたは少な過ぎる粒子が現れるため、所与の画像内で可視の粒子の数を減少させるように、源の強度を下げ得る。ある実施形態では、プロセッサ２４０はまた、放出波長を調整し得る（例えば、レーザ２０２またはフィルタ２０４を調整することによって）。プロセッサ２４０は、異なる蛍光体を励起させるため、または励起される蛍光体の数を増減させるために、これを行い得る。

【0044】

プロセッサ２４０はまた、フレームあたりの粒子密度のリアルタイム調整のために、おそらく、最適密度を達成するために、結像システムの視野を移動、拡張、縮小、または別様に制御し得る。これは、結像システムの焦点面または視野を変化させることによって行い得る。代替として、または加えて、プロセッサ２４０は、ＣＣＤカメラ２２０の積分時間（ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）、フレーム率、および／またはフレームサイズを調節または制御し得る。

【0045】

（シミュレートされた画像を用いた２Ｄウェーブレットセグメント化）
単離された単一点放出体のシミュレーションは、ウェーブレットセグメント化の検出および位置決定ならびに重心決定の速度、信頼性、および精度を図示する。

【0046】

（現実的単一粒子画像のシミュレーション）
単一粒子画像が、最大強度Ｉ_０、標準偏差σ、および強度オフセットＢの２Ｄ等方性ガウス分布を使用してシミュレートされ、ピクセルサイズＤの離散空間内でサンプリングされた。σおよびＤは、それぞれ、物体空間内の対物レンズの解像度およびＣＣＤカメラピクセルサイズを指す。この場合、高ＮＡ対物レンズに対する理想的サンプリングをシミュレートするために、σ＝１およびＤ＝１００ｎｍである。２πσＩ_０は、単一粒子あたりの収集される光子の数Ｎ_Ｐを指す。オフセットＩ_Ｂ値は、１０００グレーレベルであり、Ｉ_０強度は、超解像度顕微鏡法において使用される従来の一般的蛍光タンパク質および有機単一粒子色素によって放出される光子の数に匹敵する、１００〜１０００グレーレベルの範囲であった。画像は、ポアソン（光子）およびガウス（電子）雑音の混合物によって変質される。各ピクセルｐにおいて、シミュレートされた画像の強度Ｉ_Ｐに対する雑音モデルは、限定光子数Ｎ_Ｐから生じる率μ_Ｐのポアソン雑音と、電子雑音を集約する平均Ｉ_Ｂおよび分散σ_Ｂのガウス雑音Ｂ_Ｐとの和となる。利得は、ＣＣＤによって収集された画像内の光電子あたりのグレーレベルの比率を表す。最後に、強度は、Ｉ_Ｐ＝ｇＮ_Ｐ＋Ｂ_Ｐとして記述され得る。各画像に対して、ＳＮＲは、以下のように定義される。

【0047】

【数1】

【0048】

式中、Ｉは、単一粒子信号の最大強度であり、σ^２_Ｂは、背景強度の分散であり、σ^２_Ｉは、光子の数に比例する、単一粒子に対して積算された信号として計算される、光子雑音を構成する。

【0049】

図３は、１００ｎｍピクセルサイズの２５６ピクセル×２５６ピクセルマトリクス上の単一粒子のシミュレートされた画像を示す。各単一点は、分散σ^２＝１ピクセル（例えば、２５０ｎｍのＦＷＨＭ）を伴う２Ｄガウス関数を用いて、コンボリューションされ、次いで、１００ｎｍのピクセルサイズを用いて、２５６ピクセル×２５６ピクセルマトリクス上でサンプリングされる。画像が、次いで、ガウスおよびポアソン雑音の混合物によって変性される。これらのシミュレーションは、画像あたりの異なるＳＮＲおよび粒子密度で行われた。２．６〜１０．３のＳＮＲ値および０．１粒子／μｍ^２〜１粒子／μｍ^２の粒子密度は、蛍光タンパク質または有機蛍光色素を使用したＰＡＬＭおよびＳＴＯＲＭ結像において遭遇される実験条件の範囲を網羅する。所与のＳＮＲおよび密度に対して、ランダムに再分布された粒子の一連の１００フレームが、生成された。

【0050】

図３では、そのような合成データの実施例が、粒子密度の増加およびＳＮＲの減少に対して示される。図３のパネル（１）は、ＳＮＲ＝７．１、粒子密度０．１、０．２５、０．５、０．７５、および１粒子／μｍ^２（左から右）における実施例を示す。パネル（２）は、分子密度０．１粒子／μｍ^２、１０．３、６．６、３．６、３、および２．６（左から右）の線形単位におけるＳＮＲにおける実施例を示す。パネル（３）は、差し込み図内で正規化される、異なるＳＮＲに対する１つの単一粒子にわたる強度プロファイルのプロット（左）と、同一のデータの生画像（右）を含む。図３に示されるデータの典型的ＳＮＲ値は、選定された蛍光体およびシミュレートされた実験条件に応じて、約８である。より低いＳＮＲにおける調査性能は、より低い量子収率を伴う蛍光探査および光活性化可能な蛍光体（ｓｐｔＰＡＬＭ）の単一粒子追跡の両方を満たし、両方とも、各画像フレーム内でより少ない光子が検出されることにつながる。

【0051】

図４は、シミュレートされたデータを使用したウェーブレットセグメント化を図示する。各列は、異なるタイプの画像を示し、各行は、異なるＳＮＲを示す。左から右に、（１）ボックス内の単一粒子の位置特定を伴う、源画像、（２）源画像に関連付けられた第１のウェーブレット平面、（３）源画像に関連付けられた第２のウェーブレット平面、（４）セグメント化された画像、（５）セグメント化された画像において定義された位置特定粒子に対する重心計算である。上から下に、最も雑音の多い画像の標準偏差の０．５倍によって定義された、同一のセグメント化閾値を使用した異なるＳＮＲ（それぞれ、１０．３、３．６、および３）を伴う例証である。マーカー（＊）は、誤検出および検出漏れの検出を図示する。

【0052】

（ウェーブレットセグメント化対ガウス適合）
生成された画像は、速度および精度の観点から、ウェーブレットセグメント化アプローチおよびガウス適合アプローチの性能を比較するために使用されることができる。この比較は、ガウス適合アプローチとして、多標的追跡（ＭＴＴ）を使用して行われた。ＭＴＴは、理論的限界に近い性能を伴う、高密度単一粒子検出計算のためのロバストな技法である。ＭＴＴは、粒子検出のための仮説検定に続いて、多パラメータガウス適合を使用し、単一粒子のサブピクセル位置を推定する。ＭＴＴは、重複ＰＳＦの位置を決定可能であり、追跡能力を含むが、この比較は、収縮ループおよび軌道決定を除く、単一ＰＳＦの検出および位置決めに限定される。

【0053】

ウェーブレットセグメント化およびＭＩＴＴは両方とも、Ｏ（ｎ）の複雑性を有し、式中、ｎは、フレームあたりの画像内のピクセルの数である。表１（以下）は、両方法の主要ステップを詳述する。２つのアプローチ間の差異の１つは、位置特定座標が計算される方法である。ウェーブレットの場合、単純重心が、各領域に対して第２のウェーブレットマップ上で計算される。セグメント化後の粒子の数およびその表面は、限定されるため、流域の複雑性も同様に、Ｏ（ｎ）に近似され得る。ガウス適合は、２Ｄガウス曲線を記述する５つのパラメータ（ｘ、ｙ、σ、強度、およびオフセット）を抽出するために、最低３０回の反復に依拠する。したがって、ここでの比較は、その計算複雑性の代わりに、計算動作の数に基づく。

【0054】

【表1】

【0055】

（計算時間）
効率的結像実験を実施する要素の１つは、取得の間またはその直後に実験構成を改変し得る決定を行う能力である。これは、顕微鏡下の実験の効果的時間が、試料の生理学的条件を維持するために限定され得る、生体細胞実験において、特に有用であり得る。長い後処理時間（すなわち、実際の実験後）は、したがって、数十万個の単一粒子データ点の定量的分析を伴う超解像度結像実験の設計および可能な用途を大幅に制限し得る。

【0056】

図５Ａ−５Ｃは、広範囲のＳＮＲおよび粒子密度値における一連の１００枚の画像に対する計算時間の比較を示す。これらの比較は、クロック速度２．２６ＧＨｚ、４８ＧＢのＲＡＭ、および２つのクワッドＩｎｔｅｌ ＸｅｏｎプロセッサＥ５５２０を伴う、Ｄｅｌｌ Ｐｒｅｃｉｓｉｏｎ Ｔ７５００コンピュータ上で行われたが、１つのみのコアが、計算の間、使用された。一般に、ウェーブレット技法の計算速度は、ＭＴＴより１０倍以上高速である。

【0057】

図５Ａおよび５Ｂは、ウェーブレットセグメント化とＭＴＴアプローチとの間の計算時間の比較を示す。シミュレートされた単一粒子を伴う一連の１００枚の画像の位置を検出および決定するために必要とされる合計時間は、異なるＳＮＲに対する分子密度の関数（図５Ａ）と、いくつかの分子密度に対するＳＮＲの関数（図５Ｂ）として表される。ＳＮＲの関数としての計算時間は、ウェーブレットセグメント化およびＭＴＴの両方に対して、ＳＮＲの同様の値で飽和するが、飽和レベルは、ウェーブレット分析の場合、約２０倍高速である（対数スケールに留意されたい）。一方、図５Ａは、粒子密度の関数としての計算時間の線形増加を示す。なお、正確な実験記録は、典型的には、重複ＰＳＦを回避するために、粒子密度をより低い密度レベルに制限するであろう。

【0058】

図５Ｃは、前述で使用された同一のシミュレートされたデータセットにおける一連の４０００枚の画像に対するウェーブレットアプローチとＱｕｉｃｋＰＡＬＭとの間の比較を示し、画像フレームあたりの粒子密度は、０．１〜０．７５粒子／μｍ^２であり、ＱｕｉｃｋＰＡＬＭアルゴリズムに対して１〜４のＣＰＵを使用した。ＱｕｉｃｋＰＡＬＭは、プログラムを並列して処理され得る多くのタスクに分割し、その性能を使用されるプロセッサの数にリンクさせることを伴う、マルチスレッディングアプローチを使用する。ＱｕｉｃｋＰＡＬＭでは、２〜４のＣＰＵプロセッサが、計算のために使用された。図５Ｃは、ウェーブレットセグメント化が、４つのプロセッサを使用しても、高密度（＞１５０粒子）の場合、ＱｕｉｃｋＰＡＬＭより効率的であることを示す。低密度（＜１５０粒子）の場合、ウェーブレットセグメント化およびＱｕｉｃｋＰＡＬＭは両方とも、使用されるプロセッサの数に応じて変動性を伴う、同様の性能を示す。ＱｕｉｃｋＰＡＬＭと異なり、ウェーブレットセグメント化は、マルチプロセッサアーキテクチャを伴っても、１つのみのプロセッサを使用する。なお、異なる画像の処理は、ウェーブレットセグメント化では完全に独立しているので、マルチプロセッサアーキテクチャ上の実装は、実行可能である。

【0059】

図５Ｄは、異なる粒子位置特定技法の２次元リアルタイム検出（左）および３次元後処理適合（右）に対する処理時間対粒子の数のプロットである。標準的ＣＰＵプロセッサおよびハイブリッドＣＰＵ／ＧＰＵプロセッサ（「ＷａｖｅＴｒａｃｅｒ」）上に実装される２Ｄウェーブレットベースの位置特定は、ガウス分解より数桁高速である。実際、これらは、１００フレーム／秒（以下）のフレーム率約、および１００粒子／平方ミクロンの粒子密度に対するリアルタイム画像再構成に好適である。３Ｄウェーブレットベースの位置特定は、３Ｄガウス適合より何桁も高速であり、１，０００，０００粒子以上の場合でも、数分以下（近リアルタイム）で行われることができる。

【0060】

（位置特定精度）
再構成された画像の解像度は、各単一蛍光体の位置を決定する際の精度に依存する。故に、任意の位置特定技法の全体的性能が、計算速度にわたり指示精度を損なわないことが望ましい。各粒子の位置特定における誤差を特性評価する方法の１つは、シミュレートされたデータの座標と、分析されたデータ内の最も近い座標との間のユークリッド距離を測定することである。位置特定精度が、次いで、各データセットの全検出に対して計算された位置決め誤差の平均値として定義され得る。

【0061】

図６は、ＳＮＲの関数として、蛍光体の位置を読み出す際の両アルゴリズムの性能を示す。位置特定精度は、各データセット内の全検出に対して計算された位置決め誤差の平均値として計算され、いくつかの分子密度に対するＳＮＲの関数として示される。予期されるように、位置特定精度は、検出された光子の数が大きい場合、ＳＮＲに反比例し、低ＳＮＲでは、背景雑音によって左右される。単一粒子位置を決定する際の精度は、本研究において使用されるＳＮＲおよび粒子密度の全範囲に対して、両アルゴリズムを使用して比較可能である。ウェーブレットアプローチアルゴリズムを用いて得られる結果は、可変粒子密度およびＳＮＲを伴う異なるシミュレートされたデータのセットに対して、表２（以下）に要約される。

【0062】

（誤検出および検出漏れ率）
検討すべき別のパラメータは、粒子検出の信頼性、すなわち、雑音の多い画像内で個々のＰＳＦを検出する能力である。例えば、シミュレートされたデータ内に存在する粒子が、半径１００ｎｍ以内に、分析されたデータセット内に一致する検出を有していない場合、検出漏れの検出としてカウントされ得る。同様に、誤検出の検出は、半径１００ｎｍ以内に、シミュレートされたデータに存在しなかった、分析されたデータセット内の粒子の識別として定義され得る。

【0063】

図７および８は、それぞれ、異なる分子密度におけるウェーブレットアプローチおよびＭＴＴに対するＳＮＲの関数として、誤検出率および検出漏れ率を示す。これらのプロットは、誤検出および検出漏れの検出の割合が、所与の分子密度において極めて一定のままであるウェーブレット分析によって行われる誤検出率を除き、ウェーブレットアプローチおよびＭＴＴの両方で類似し、シミュレートされたデータのＳＮＲに大きく依存することを示す。異なる最小強度閾値の選定は、計算速度および位置特定精度の観点において、性能を事実上損なうことなく、誤検出および検出漏れの検出率を改変させ得る。また、粒子検出および位置特定に先立って適用される、雑音低減フィルタは、検出誤差を改善し得る。

【0064】

（試験パターンシミュレーション）
図９Ａ−９Ｃは、幅２００ｎｍ〜６ｎｍの範囲のサイズの交互黒色および白色ストライプから作成される試験パターンを使用したシミュレーションを図示する。このタイプの試験パターンは、Ｘ線結像システムの解像度を決定するために、放射線学において広く使用されている。これは、セグメント化性能を視覚的に監視し、再構成された画像から変調伝達関数（ＭＴＦ）を計算するために使用されることができる。ＭＴＦ（ｆ）は、比率Ｃ（ｆ）／Ｃ（０）として、試験パターンの各周波数ｆに対して計算され、式中、Ｃ（ｆ）は、周波数ｆに対するコントラストであり、Ｃ（０）は、低周波数に対するコントラストである。

【0065】

図９Ａは、理想的シミュレートされたパターン（上）および限定粒子数から再構成されたシミュレートされたパターン（下）の両方を示す。図９Ｂは、種々のＳＮＲおよび粒子密度に対する位置特定後の再構成された画像を示す。このシミュレーションおよび分析は、黒色ストライプが、前述のプロトコルを使用して（図９Ａおよび９Ｂ）、０．５粒子／μｍ^２およびＳＮＲ７．１から１粒子／μｍ^２およびＳＮＲ３．１の異なる密度およびＳＮＲにおける単一粒子を取り込んだ４つの異なる単一粒子実験のものである。

【0066】

図９Ｃは、図９Ａおよび９Ｂにおけるシミュレーションに対するコントラスト関数（左）およびＭＴＦ（ｆ）（右）を示し、次いで、画像の解像度がＭＴＦ（ｆｃ）＝０のときに得られたカットオフ周波数（ｆｃ）の逆数として推定される。この表現は、理想的基準（例えば、密度０．５粒子／μｍ^２、ＳＮＲ６．６、および解像度約２５ｎｍ）からのＳＮＲの低下および粒子密度の増加が、超解像度画像の解像度を劣化させるという事実を立証する。これは、１粒子／μｍ^２密度およびＳＮＲ３の場合における、ライン５０ｎｍおよびさらに１００ｎｍに対するコントラストの損失によって図示される。その視覚的側面に加え、この表現は、他のシミュレーションを補完し、源点の座標の知識を要求せず、性能検定に対してそれをより好適にする。また、それは、単一粒子超解像度顕微鏡法に影響を及ぼす、解像度に及ぼす検出された粒子の密度の影響の定量化も可能にする。この側面が、本願において定量化されなくても、限定粒子数が、シミュレートされた画像のＭＴＦに影響を及ぼすことは明らかである。

【0067】

最後に、表２は、閾値がそれを下回ると、コントラストに雑音が多くなる、ＭＴＦ（ｆ）＞１５％である第１の点におけるＭＴＦの線形補間およびカットオフ周波数計算の結果を示す。表２における結果は、シミュレーションにおいて計算された解像度に合致する。異なるＳＮＲおよび分子密度においてシミュレートされたデータを用いた分析は、ウェーブレットアプローチが、最大２０倍の計算速度の増加を伴って、古典的ガウス適合分析と比較して、位置特定精度または検出された粒子の数を損なわせないことを示す。

【0068】

【表2】

【0069】

（実験データを用いた２Ｄウェーブレットベースの位置特定対ガウス適合）
超解像度結像が、倒立蛍光顕微鏡上で行われた。光活性化は、４０５ｎｍレーザを用いて行われ、励起は、５６１ｎｍレーザを用いて行われ、両方とも、顕微鏡にコリメートされ、高ＮＡ（１．４９）１００倍対物レンズの背面に集束され、したがって、広視野構成において、試料を照明する。光子密度は、３×１０^−２ｋＷ／ｃｍ_２（４０５ｎｍ）および４ｋＷ／ｃｍ^２（５６１ｎｍ）であった。単一粒子信号が、５６１ｎｍダイクロイックを用いて分離され、６１７ｎｍを中心とするスペクトル幅７０ｎｍの放出フィルタを用いてフィルタ処理された。信号は、１．５倍レンズを用いて拡大され、ピクセルサイズ１６μｍを用いて、ＥＭＣＣＤ上に集束され、したがって、画像平面上のピクセルサイズは、１０７ｎｍとなった。蛍光体の事前に変換された形態の低解像度画像が、照明（励起４８５ｎｍ、放出５２５ｎｍ）のための水銀灯を使用して得られた。

【0070】

図１０Ａ−１０Ｃは、ウェーブレットベースの位置特定およびガウス適合で処理された、ＡＢＰ−ｔｄＥｏｓＦＰを発現し、４％パラホルムアルデヒドで固定されたラットの海馬神経のアクチン細胞骨格の実験的に取得された画像を示す。図１０Ａは、蛍光体の事前に変換された形態の回折限界予備スナップショット（左）を示す。続いて、単一ｔｄＥｏｓＦＰ蛍光体の疎らなサブセットが、光変換され、退色するまで結像され、５０ｍｓの５０，０００フレームの長期取得を記録した（約４２分の記録）。これらのフレームは、ウェーブレットベースの位置特定およびガウス適合を用いて処理され、図１０Ａの中心および右における超解像度再構成物を生成した。ウェーブレットセグメント化アルゴリズムを用いた処理は、７．７分かかり、１，０５８，８８６個の単一粒子事象を識別した一方、ガウス分布アプローチは、１１６分かかり、１，０９２，２６６個の事象を検出した。再構成された超解像度画像は、同一の解像度を有し、画像の劣化は、観察されなかった。

【0071】

図１０Ｂは、低解像度画像、およびウェーブレットセグメント化およびＭＴＴの両方を用いて行われた超解像度再構成物に対する樹状突起軸（図１０Ａにおける白色線）を横断する強度プロファイルセクションを示す。これらの超解像度画像は、検出された単一粒子の位置座標を重畳することによってレンダリングされ、検出された粒子の平均位置特定精度によって決定された標準偏差を有する、単位強度値の２Ｄガウス曲線で表された。

【0072】

図１０Ｃの上パネルは、単一樹状突起棘を含むより小さい領域内の検出された蛍光体のＳＮＲを示す（図１０Ａ（左）におけるボックス）。より小さい領域は、約２．６５μｍ×２．６５μｍであり、個々の樹状突起棘を含んでおり、４５，８７８個の単一粒子事象がウェーブレットセグメント化を用いて検出された。検出された粒子は、事前に変換された蛍光体の回折限界画像と重ね合わせられる。図１０Ｃの下パネルは、ピクセルサイズ９．６ｎｍを伴う、超解像度再構成物を示し、各単一粒子は、１ピクセルの単位強度によって表される。

【0073】

図１０Ｄは、平均ＳＮＲ５．３を伴う、領域内で検出された単一蛍光体強度のＳＮＲ値のヒストグラムであり、ＳＮＲの平均値は、最も明るい１０％、２５％、５０％、７５％、および１００％検出を検討する。より具体的には、図１０Ｄは、４５８８，１１４６９、２２９３９，３４４０５、および４５８７８個の検出に対応する、全検出された粒子の最も明るい１０％、２５％、５０％、７５％、および１００％と、それぞれ、１０．８、８．７、７．１、６．１、および５．３のＳＮＲの平均値を検討する、平均ＳＮＲ分布を示す。

【0074】

単一粒子技法に基づく超解像度光学顕微鏡法は、とりわけ、取得パラメータおよび画像分析に依存し得る。より一般的には、超解像度顕微鏡法は、実験データを用いて得られた画像解像度の実質定量的情報を欠く。ある場合には、空間解像度は、データ自体で定量化されるか、または理論的フレームワークを使用して決定されるかのいずれかであった。単一粒子位置特定（例えば、ＰＡＬＭ、ＳＴＯＲＭ、およびＧＳＤ）に基づく技法では、最終再構成画像の解像度は、粒子あたりの検出された光子の数に比例し得る、各個々の粒子のＳＮＲと、総粒子密度とに依存する。再構成された画像解像度は、指示精度の２．４倍である、単一粒子位置の不確実性分布のＦＷＨＭと見なされ得る。しかし、超解像度画像の有意義な表現は、最小密度の検出粒子に変換される、最小サンプリングを要求し得る。ナイキスト−シャノンの情報サンプリング定理は、２ｆの周波数でサンプリングされる場合、帯域幅ｆの信号が、その全体として、再構成され得ることを示す。単一粒子ベースの超解像度の分野では、本定理の一般化は、一般に、画像解像度および検出された粒子の密度の観点において使用される。すなわち、検出された粒子のサンプリングは、画像解像度の密度の少なくとも２倍であるべきである。

【0075】

生物学的実験データの場合、全検出された粒子のＳＮＲは、樹状突起棘のＰＡＬＭ表現に対して図１０Ｄに図示されるように、広い分布を有し得る。そのような広い分布および単一粒子検出の高密度を前提として、ＰＡＬＭ再構成の解像度を改善する方法の１つは、最高ＳＮＲを伴う点のみを検討し、解像度の損失に影響する低指示精度を伴うものを排除することである。この帰納的フィルタ処理は、最終画像解像度を改善し得るが、粒子の密度の低下を犠牲にし、解像度のさらに別の制限要因を伴う。実際、これは、各個々の粒子の位置特定精度から独立して、ある画像解像度に達成するために、最小粒子密度を与える。図１０Ｃの個々の突起棘の場合、検出されたアクチン粒子は、面積１μｍ^２内に分布する。

【0076】

その結果、サンプリング定理のこの一般化に従う解像度は、最も明るい１０％の検出を検討すると２９．５ｎｍ、最も明るい粒子の２５％を検討すると１８．７ｎｍ、検出の５０％では１３．２ｎｍ、７５％では１０．８ｎｍ、および１００％では９．３ｎｍとなる。この解像度限界は、検出された粒子の密度によって与えられ、検出のＳＮＲによってではない。したがって、低密度の場合、検出された粒子の数は、最大画像解像度を定義し得る一方、その基準を超えると、検出のＳＮＲは、限界パラメータとなり得る。分子密度とデータの帰納的フィルタ処理との間の均衡は、超解像度画像を構成するときに考慮すべき２つの要因である。

【0077】

（３Ｄウェーブレットベースの粒子位置特定）
図１１Ａおよび１１Ｂは、Ａｌｅｘａ６４７蛍光体で標識されたチューブリンの回折限界画像である。図１１Ｃは、一連の回折限界画像を含み、単一分子の種々の配向を示す。図１１Ｄおよび１１Ｅは、それぞれ、図１１Ａおよび１１Ｂに示される場面からリアルタイムで構成されたｄＳＴＯＲＭ超解像度強度画像である。図１１Ｆおよび１１Ｇは、それぞれ、図１１Ｄおよび１１Ｅに示される分子の３Ｄマッピングを示す。これらの３Ｄマッピングは、図１１Ｄおよび１１Ｅに示される２Ｄ超解像度画像の構成後に生成された。

【0078】

図１１Ｈは、個々の分子の３Ｄ位置を抽出するために使用された顕微鏡の較正関数（ＰＳＦ）のプロットである。ｘ軸は、公称焦点面から測定されたｚ距離を表し、ｙ軸は、検出された画像に対するガウス適合の半値全幅（σ）を表す。差し込み画像は、焦点面から異なる距離におけるＰＳＦの外観を図示する。公称焦点面から負の距離では、ＰＳＦは、プロットのｘ軸と平行に整列された長軸を伴う略楕円形であるように現れる。ＰＳＦの偏心は、焦点面に近いほど減少し、次いで、公称焦点面からの正の距離に伴って増加し、長軸は、プロットのｘ軸に垂直に整列されている。

【0079】

図１１における超解像度画像は、前述のウェーブレットセグメント化およびガウス適合を使用して、リアルタイム（２Ｄ）または近リアルタイム（３Ｄ）で得られた。最右の画像は、横方向（ｘ、ｙ）解像度１５ｎｍおよび軸方向（ｚ）解像度４０ｎｍを伴う異なる平面における微小管構築を示し、２Ｄ超解像度画像は、１００フレーム／秒のストリーム取得の間、リアルタイムで観察され得る一方、１．２百万個の粒子の３Ｄ再構成は、取得後、数秒から数分以内に得られた。画像粒子密度は、取得の間、４０５ｎｍレーザ電力を調節することによって、全体的取得プロセスの間、一定に保たれた。

【0080】

（免疫細胞化学）
ＣＯＳ７細胞が、１８ｍｍカバースリップ上に置かれ、４％パラホルムアルデヒドおよびスクロースを使用して固定され、ＰＢＳ、次いで、ＰＢＳを含む１％ＢＳＡで洗浄された。洗浄された細胞は、透過化に先立って、５分間、ＮＨ_４Ｃｌ５０ｍＭでインキュベートされた。これらは、０．１％トリトンを使用して透過処理され、３０分間、１％ＢＳＡを含むＰＢＳでインキュベートされた。これらは、次いで、３０分間、マウス抗βチューブリン抗体（Ｔ４０２６、Ｃｌｏｎｅ２．１、Ｓｉｇｍａ）でインキュベートされ、１％ＢＳＡを含むＰＢＳで数回洗浄された。一次抗体が、次いで、Ａｌｅｘａ６４７連結抗マウスＩｇＧ二次抗体（Ａ２１２４５、Ｉｎｖｉｔｒｏｇｅｎ）を室温で３０分間インキュベートすることによって現れた。

【0081】

（直接確率的光学再構成顕微鏡法）
染色されたカバースリップは、翌日、１００Ｘ、１．４５ＮＡＰＬ−ＡＰＯ対物レンズおよびパーフェクトフォーカスシステムを具備する、倒立電動顕微鏡（Ｎｉｋｏｎ Ｔｉ，Ｊａｐａｎ）上に搭載された密閉されたチャンバ（Ｌｕｄｉｎ Ｃｈａｍｂｅｒ， Ｌｉｆｅ Ｉｍａｇｉｎｇ Ｓｅｒｖｉｃｅｓ，Ｓｗｉｔｚｅｒｌａｎｄ）内において、室温で結像され、傾斜照明モードで長期取得を可能にした。結像は、還元および酸素除去系を含む、細胞外溶液中で行われた。ｄＳＴＯＲＭの場合、Ａｌｅｘａ６４７の蛍光集合は、最初に、３０−５０ｋＷ／ｃｍ^２強度で、６４０ｎｍレーザを使用して、暗状態に変換された。蛍光集合が、フレームあたり所望の密度の単一粒子に変換されると、レーザ電力が、７−１５ｋＷ／ｃｍ^２まで減少され、２０，０００フレームに対して５０ｆｐｓで連続して結像された。フレームあたりの単一粒子のレベルは、４０５ｎｍレーザ（Ｏｍｉｃｒｏｎ， Ｇｅｒｍａｎｙ）を使用することによって制御された。レーザ電力は、確率的に活性化された粒子の特定のレベルを保つように調節され、取得の間、良好に分離された。

【0082】

蛍光集合および単一粒子蛍光は両方とも、ダイクロイックおよび放出フィルタ（それぞれ、Ｄ１０１−Ｒ５６１およびＦ３９−６１７、Ｃｈｒｏｍａ、ＵＳＡ）とクアッドバンドダイクロイックフィルタ（Ｄｉ０１−Ｒ４０５／４８８／５６１／６３５、Ｓｅｍｒｏｃｋ、ＵＳＡ）の組み合わせによって収集された。蛍光は、高感度ＥＭ ＣＣＤ（Ｅｖｏｌｖｅ，Ｐｈｏｔｏｍｅｔｒｉｃ，ＵＳＡ）を使用して収集された。取得シーケンスは、２５６ピクセル×２５６ピクセル以下の着目領域の面積を使用して、５０フレーム／秒（２０ｍｓｅｃ露光時間）におけるストリーミングモードで、Ｍｅｔａｍｏｒｐｈソフトウェア（分子デバイス、ＵＳＡ）によって駆動された。Ｍｕｌｔｉｃｏｌｏｕｒ蛍光マイクロビーズ（Ｔｅｔｒａｓｐｅｃｋ，Ｉｎｖｉｔｒｏｇｅｎ）が、長期取得を登録し、横変位および色シフトを補正するために使用された。空間解像度１４ｎｍが、ｄＳＴＯＲＭ単一粒子画像として、同様のＳＮＲを伴って取得された１００ｎｍＴｅｔｒａｓｐｅｃｋビーズ上の重心決定を使用して測定された。

【0083】

（結論）
本発明の種々の実施形態が、明細書に説明および図示されたが、当業者は、機能を果たし、および／または本明細書に説明される結果および／または利点のうちの１つ以上を得るために、種々の他の手段および／または構造を容易に想起し、そのような変形例および／または修正はそれぞれ、本明細書に説明される本発明の実施形態の範囲内であると見なされる。より一般的には、当業者は、本明細書に説明される全パラメータ、寸法、材料、および構成が、例示であることが意図され、実際のパラメータ、寸法、材料、および／または構成が、本発明の教示が使用される、具体的用途または複数の用途に依存するであろうことを容易に理解するであろう。当業者は、本明細書に説明される本発明の実施形態に特有の多くの均等物を認識する、またはルーチンにすぎない実験を使用して、確認可能であろう。したがって、前述の実施形態は、一例として提示されるにすぎず、具体的に、説明および請求されない限り、添付の請求項およびその均等物の範囲内において、本発明の実施形態が実践され得ることを理解されたい。本開示の本発明の実施形態は、本明細書に説明される各個々の特徴、システム、物品、材料、キット、および／または方法を対象とする。加えて、２つ以上のそのような特徴、システム、物品、材料、キット、および／または方法の任意の組み合わせも、そのような特徴、システム、物品、材料、キット、および／または方法が、互に矛盾しない限り、本発明の本開示の範囲内に含まれる。

【0084】

前述の実施形態は、多数の方法のいずれかにおいて実装され得る。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装され得る。ソフトウェア内に実装されるとき、ソフトウェアコードが、単一コンピュータ内に提供されるか、または複数のコンピュータ間に分散されるかにかかわらず、任意の好適なプロセッサまたはプロセッサ集合上で実行されることができる。

【0085】

さらに、コンピュータは、ラック搭載コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータ等のいくつかの形態のいずれかにおいて具現化され得ることを理解されたい。加えて、コンピュータは、携帯情報端末（ＰＤＡ）、スマートフォン、あるいは任意の他の好適なポータブルまたは固定電子デバイスを含む、概して、コンピュータとして見なされないが、好適な処理能力を伴う、デバイス内に埋め込まれ得る。

【0086】

また、コンピュータは、１つ以上の入力および出力デバイスを有し得る。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用されることができる。ユーザインターフェースを提供するために使用されることができる、出力デバイスの実施例として、出力の可視提示のためのプリンタまたはディスプレイ画面および出力の可聴提示のためのスピーカまたは他の音発生デバイスが挙げられる。ユーザインターフェースのために使用されることができる、入力デバイスの実施例として、キーボード、ならびにマウス、タッチパッド、およびディジタイズ用タブレット等の指示デバイスが挙げられる。別の実施例として、コンピュータは、発話認識を通して、または他の可聴形式において、入力情報を受信し得る。

【0087】

そのようなコンピュータは、企業ネットワーク等のローカルエリアネットワークまたは広域ネットワーク、およびインテリジェントネットワーク（ＩＮ）またはインターネットを含む、任意の好適な形態における１つ以上のネットワークによって、相互接続され得る。そのようなネットワークは、任意の好適な技術に基づいてもよく、任意の好適なプロトコルに従って動作し得、無線ネットワーク、有線ネットワーク、または光ファイバネットワークを含み得る。

【0088】

メモリは、任意のコンピュータ読み取り可能な媒体を備え得、本明細書に説明される種々の機能性を実装するためのコンピュータ命令（また、本明細書では、「プロセッサ実行可能命令」と称される）を記憶し得る。処理ユニット（例えば、ＣＰＵおよびＧＰＵ）が、命令を実行するために使用され得る。通信インターフェースは、有線または無線ネットワーク、バス、あるいは他の通信手段に連結され得、したがって、プロセッサおよび／または処理ユニットが、他のデバイスに通信を伝送する、および／またはそこから通信を受信することを可能にし得る。ディスプレイユニットは、例えば、ユーザが、命令の実行に関連して、種々の情報を確認することを可能にするために提供され得る。ユーザ入力デバイスは、例えば、ユーザが、手動調節を行う、選択を行う、データまたは種々の他の情報を打ち込む、および／または命令の実行の間、プロセッサと種々の様式のいずれかで相互作用することを可能にするために提供され得る。

【0089】

本明細書で概説された種々の方法またはプロセスは、種々のオペレーティングシステムまたはプラットフォームの任意の１つを採用する、１つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化され得る。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングまたはスクリプティングツールのいずれかを使用して書かれてもよく、また、フレームワークまたは仮想機械上で実行される、実行可能機械言語コードまたは中間コードとしてコンパイルされ得る。

【0090】

この点において、本発明の種々の概念は、非一過性コンピュータ読み取り可能な記憶媒体（または、複数のコンピュータ読み取り可能な記憶媒体）（例えば、コンピュータメモリ、１つ以上のフロッピー（登録商標）ディスク、コンパクトディスク、光学ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体デバイス内の回路構成、あるいは１つ以上のコンピュータまたは他のプロセッサ上で実行されると、前述の本発明の種々の実施形態を実装する方法を実施する、１つ以上のプログラムでエンコードされた他の非一過性媒体または有形コンピュータ記憶媒体）として具現化され得る。コンピュータ読み取り可能な媒体または媒体は、その上に記憶されたプログラムまたは複数のプログラムが、１つ以上の異なるコンピュータまたは他のプロセッサ上にロードされ、前述のような本発明の種々の側面を実装し得るように、トランスポータブルであることができる。

【0091】

用語「プログラム」または「ソフトウェア」は、前述のような実施形態の種々の側面を実装するように、コンピュータまたは他のプロセッサをプログラムするために採用され得る、任意のタイプのコンピュータコードまたは一式のコンピュータ実行可能命令を指すように、一般的意味において、本明細書で使用される。加えて、一側面によると、実行されると、本発明の方法を実施する、１つ以上のコンピュータプログラムは、本発明の種々の側面を実装するために、単一コンピュータまたはプロセッサ上に常駐する必要はなく、いくつかの異なるコンピュータまたはプロセッサ間にモジュール方式で分散され得ることを理解されたい。

【0092】

コンピュータ実行可能命令は、１つ以上のコンピュータまたは他のデバイスによって実行される、プログラムモジュール等の多くの形態であり得る。概して、プログラムモジュールは、特定のタスクを実施する、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。典型的には、プログラムモジュールの機能性は、種々の実施形態において、所望に応じて、組み合わせられる、または分散され得る。

【0093】

また、データ構造は、任意の好適な形態において、コンピュータ読み取り可能な媒体内に記憶され得る。例証の便宜上、データ構造は、データ構造内の場所を通して関連するフィールドを有するように示され得る。そのような関係は、同様に、フィールド間の関係を伝える、コンピュータ読み取り可能な媒体内の場所を伴うフィールドのための記憶を割り当てることによって達成され得る。しかしながら、任意の好適な機構が、データ構造のフィールド内の情報間の関係を確立するために使用され得る（例えば、ポインタ、タグ、またはデータ要素間の関係を確立するための他の機構の使用を通して）。

【0094】

また、本発明の種々の概念は、その実施例が提供された、１つ以上の方法として具現化され得る。方法の一部として行われる作用は、任意の好適な方法で順序付けられてもよい。故に、実施形態は、作用が図示されるものと異なる順序で行われるように構築され得、例証的実施形態において、逐次作用として示される場合でも、いくつかの作用を同時に実施することを含み得る。

【0095】

本明細書に定義および使用される全ての定義は、辞書定義、参照することによって組み込まれる文書中の定義、および／または定義される用語の通常の意味に優先するものと理解されたい。

【0096】

流れ図が本明細書で使用される。流れ図の使用は、行われる動作の順序に関して限定的となるように意図されていない。本明細書で説明された主題は、異なる他の構成要素内に含有される、またはそれらと接続される、異なる構成要素を図示することもある。そのような描写されたアーキテクチャは例示的にすぎず、実際には、同一の機能性を達成する、多くの他のアーキテクチャを実装できることを理解されたい。概念的な意味で、所望の機能性が達成されるように、同一の機能性を達成するための構成要素の任意の配列が、効果的に「関連付けられる」。したがって、アーキテクチャまたは中間構成要素にかかわらず、所望の機能性が達成されるように、特定の機能性を達成するように組み合わせられる、本明細書の任意の２つの構成要素は、互に「関連付けられる」と見なすことができる。同様に、そのように関連付けられる任意の２つの構成要素はまた、所望の機能性を達成するように、互に「動作可能に接続される」または「動作可能に連結される」と見なすこともでき、そのように関連付けられることが可能な任意の２つの構成要素はまた、所望の機能性を達成するように、互に「動作可能に連結可能である」と見なすこともできる。動作可能に連結可能なものの特定の実施例は、物理的に嵌合可能な、および／または物理的に相互作用する構成要素、および／または無線で相互作用可能な、および／または無線で相互作用する構成要素、および／または論理的に相互作用する、および／または論理的に相互作用可能な構成要素を含むが、それらに限定されない。

【0097】

実質的にあらゆる複数形および／または単数形の用語の本明細書での使用に関して、当業者であれば、文脈および／または用途に適切であるように、複数形から単数形へ、および／または単数形から複数形へ言い換えることができる。種々の単数／複数形の順列が、明確にするために明示的に本明細書に記載され得る。

【0098】

一般に、本明細書で、特に、添付の請求項（例えば、添付の請求項の本文）で使用される用語は、概して、「非制約的な」用語として意図されていることが、当業者によって理解されるであろう（例えば、「〜を含む」という用語は、「〜を含むが、それらに限定されない」として解釈されるべきであり、「〜を有する」という用語は、「少なくとも〜を有する」として解釈されるべきであり、「含む」という用語は、「含むが、それらに限定されない」として解釈されるべきである、等）。さらに、特定の番号の導入された請求項の記載が意図される場合、そのような意図は、請求項で明示的に記載され、そのような記載がない場合、そのような意図は存在しないことが、当業者によって理解されるであろう。例えば、理解の補助として、以下の添付の請求項は、請求項の記載を導入するように、「少なくとも１つの」および「１つ以上の」という導入語句の使用を含み得る。

【0099】

しかしながら、そのような語句の使用は、たとえ同一の請求項が、「１つ以上の」または「少なくとも１つの」という導入語句、および「１つの」（「ａ」または「ａｎ」）等の不定冠詞を含むときでさえも、「１つの」（「ａ」または「ａｎ」）という不定冠詞による請求項の記載の導入は、そのような導入された請求項の記載を含む任意の特定の請求項を、１つだけのそのような記載を含む主題に限定すると示唆するように解釈されるべきではない（例えば、「１つの」（「ａ」および／または「ａｎ」）は、典型的には、「少なくとも１つの」または「１つ以上の」）を意味するように解釈されるべきである）。同じことが、請求項の記載を導入するために使用される定冠詞の使用に当てはまる。加えて、たとえ特定の番号の導入された請求項の記載が明示的に記載されたとしても、当業者であれば、そのような記載は、典型的には、少なくとも記載された番号を意味すると解釈されるべきであると認識するであろう（例えば、他の修飾語がない「２つの記載」という最低限の記載は、典型的には、少なくとも２つの記載、または２つ以上の記載を意味する）。

【0100】

さらに、「Ａ、Ｂ、およびＣ等のうちの少なくとも１つ」に類似する慣例が使用される場合において、一般に、当業者であれば慣例を理解するであろうという意味で、そのような構造が意図される（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ともにＡおよびＢ、ともにＡおよびＣ、ともにＢおよびＣ、および／またはともにＡ、Ｂ、およびＣ等を有する、システムを含むが、それらに限定されないであろう）。「Ａ、Ｂ、およびＣ等のうちの少なくとも１つ」に類似する慣例が使用される場合において、一般に、当業者であれば慣例を理解するであろうという意味で、そのような構造が意図される（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ともにＡおよびＢ、ともにＡおよびＣ、ともにＢおよびＣ、および／またはともにＡ、Ｂ、およびＣ等を有する、システムを含むが、それらに限定されないであろう）。

【0101】

さらに、説明、請求項、または図面の中にかかわらず、２つ以上の代替的な用語を提示する、事実上あらゆる離接語および／または語句は、該用語のうちの１つ、該用語のいずれか一方、または両方の用語を含む可能性を考慮すると理解されるべきであると、当業者によって理解されるであろう。例えば、「ＡまたはＢ」および「Ａおよび／またはＢ」という語句はそれぞれ、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むと理解されるであろう。

【0102】

例証的実施形態の先述の説明が、例証および説明の目的で提示されている。開示される正確な形式に関して包括的または限定的となることは意図されておらず、修正および変形例が、上記の教示に照らして可能であるか、または開示された実施形態の実践から取得され得る。本発明の範囲は、本明細書に添付される請求項およびそれらの同等物によって定義されることが意図されている。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10A】

【図10B】

【図10C】

【図10D】

【図11】