知財求人 - 知財ポータルサイト「IP Force」
▶ ジーイー・ヘルスケア・バイオサイエンス・コーポレイションの特許一覧
特許6371289３次元構造化照明を用いた蛍光確率顕微鏡での位置を解像するための方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6371289
(24)【登録日】2018年7月20日
(45)【発行日】2018年8月8日
(54)【発明の名称】３次元構造化照明を用いた蛍光確率顕微鏡での位置を解像するための方法及びシステム
(51)【国際特許分類】
G02B 21/06 20060101AFI20180730BHJP
G02B 21/36 20060101ALI20180730BHJP
G01N 21/64 20060101ALI20180730BHJP
【ＦＩ】
G02B21/06
G02B21/36
G01N21/64 E
【請求項の数】9
【全頁数】34
(21)【出願番号】特願2015-533016(P2015-533016)
(86)(22)【出願日】2013年9月23日
(65)【公表番号】特表2015-530618(P2015-530618A)
(43)【公表日】2015年10月15日
(86)【国際出願番号】SE2013051104
(87)【国際公開番号】WO2014046606
(87)【国際公開日】20140327
【審査請求日】2016年9月6日
(31)【優先権主張番号】1251069-9
(32)【優先日】2012年9月24日
(33)【優先権主張国】SE
(73)【特許権者】
【識別番号】598041463
【氏名又は名称】ジーイー・ヘルスケア・バイオサイエンス・コーポレイション
(74)【代理人】
【識別番号】100137545
【弁理士】
【氏名又は名称】荒川 聡志
(74)【代理人】
【識別番号】100105588
【弁理士】
【氏名又は名称】小倉 博
(74)【代理人】
【識別番号】100129779
【弁理士】
【氏名又は名称】黒川 俊久
(72)【発明者】
【氏名】クーパー，ジェレミー
(72)【発明者】
【氏名】ドハーティ，ウィリアム・エム
【審査官】
森内 正明
(56)【参考文献】
【文献】
特表２００８−５４２８２６（ＪＰ，Ａ）
【文献】
国際公開第２０１２／１１８４３６（ＷＯ，Ａ１）
【文献】
米国特許出願公開第２０１１／０１９４１７５（ＵＳ，Ａ１）
【文献】
国際公開第２０１２／１１８５３０（ＷＯ，Ａ１）
【文献】
特表２０１１−５１４５３２（ＪＰ，Ａ）
【文献】
特表２０１２−５１００６６（ＪＰ，Ａ）
【文献】
国際公開第２０１１／０８５７６６（ＷＯ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０１Ｎ ２１／６２ − ２１／７４
Ｇ０２Ｂ ２１／００ − ２１／３６
(57)【特許請求の範囲】
【請求項1】
顕微鏡を使用して試料標本の一以上の成分を標識する光放射粒子の座標位置を決定するための方法であって、
活性化光ビームで試料を照明することにより、光放射粒子のサブセットを活性化する工程と、
３次元構造化照明パターンを形成する励起光を用いて照明される粒子のサブセットから放射される光の一連の画像を取得する工程と、
一連の画像からの光放射粒子の解像画像を生成する工程と、
一以上の成分の超解像画像を得るために処理された複数の解像画像を得るために、活性化、取得及び生成を繰り返す工程と
を含み、
前記一連の画像の各画像は、各画像が取得される時間における前記３次元構造化照明パターンの横方向のステップおよび軸方向のステップごとに特定される、方法。
活性化光ビームで試料を照明することにより、光放射粒子のサブセットを活性化する工程と、
３次元構造化照明パターンを形成する励起光を用いて照明される粒子のサブセットから放射される光の一連の画像を取得する工程と、
一連の画像からの光放射粒子の解像画像を生成する工程と、
一以上の成分の超解像画像を得るために処理された複数の解像画像を得るために、活性化、取得及び生成を繰り返す工程と
を含み、
前記一連の画像の各画像は、各画像が取得される時間における前記３次元構造化照明パターンの横方向のステップおよび軸方向のステップごとに特定される、方法。
【請求項2】
光放射粒子のサブセットを活性化する工程が、光放射粒子のサブセットを確率的に活性化する前記活性化光ビームを試料に照射することを含む、請求項１記載の方法。
【請求項3】
一連の画像を取得する工程が、試料内で交差するように、対物レンズを透過したコヒーレント励起光の３以上のビームから照明パターンを生成することをさらに含む、請求項１又は請求項２記載の方法。
【請求項4】
一連の画像を取得する工程が、一連の各画像を取得する前に、照明パターンの位置を変化させることをさらに含む、請求項１乃至請求項３のいずれか１項記載の方法。
【請求項5】
照明パターンの位置を変化させる工程が、照明パターンを回転させることをさらに含む、請求項４に記載の方法。
【請求項6】
照明パターンの位置を変化させる工程が、照明パターンを平行移動させることをさらに含む、請求項４に記載の方法。
【請求項7】
活性化状態における光放射粒子のサブセットを光退色させることをさらに含む、請求項１乃至請求項６のいずれか１項記載の方法。
【請求項8】
解像画像を生成する工程が、
前記一連の画像を加算して、光放射粒子のサブセットの前記一連の画像の加算画像を生成する工程と、
前記加算画像をフィルタ処理し、フィルタ処理された画像を生成する工程と、
前記フィルタ処理された画像における粒子の各サブセットの重心座標を決定する工程と、
前記重心座標を求めて前記解像画像を生成する工程と
を含む、請求項１乃至請求項７のいずれか１項記載の方法。
前記一連の画像を加算して、光放射粒子のサブセットの前記一連の画像の加算画像を生成する工程と、
前記加算画像をフィルタ処理し、フィルタ処理された画像を生成する工程と、
前記フィルタ処理された画像における粒子の各サブセットの重心座標を決定する工程と、
前記重心座標を求めて前記解像画像を生成する工程と
を含む、請求項１乃至請求項７のいずれか１項記載の方法。
【請求項9】
超解像画像を得るために複数の解像画像を処理するステップが、
解像画像を加算して超解像画像を生成することを含む、請求項１乃至請求項８のいずれか１項記載の方法。
解像画像を加算して超解像画像を生成することを含む、請求項１乃至請求項８のいずれか１項記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、構造化照明顕微鏡に関する。
【背景技術】
【0002】
蛍光顕微鏡は、細胞及び生物の３次元内部を調べるために、及び、蛍光標識を介して特異性を有する特定の生体分子を可視化するために、生物科学において広く使用される。しかし、蛍光顕微鏡の最大の弱点の一つは、適度な空間分解能であり、これは、基本的に光の波長によって制限される。典型的な広視野光学顕微鏡は、真の３次元イメージングを可能にするために、試料についての十分な情報を集めないという点で、別の弱点を有しており、この弱点は、欠落コーン問題と呼ばれる。一連の２次元画像として取得され、しばしば、異なる焦点を持つセクションと呼ばれる、生画像データにおける欠落コーン問題の症状は、データの各セクションが、試料の対応するセクションからの焦点の合った情報だけでなく、他のすべてのセクションからの焦点の合わないぼやけを含むという点にある。従来の顕微鏡データからの３次元再構成は、不足している情報を補うように試みるために、蛍光色素の密度の非負性のような先験的な制約に、現在依存する必要がある。
【0003】
共焦点顕微鏡は、焦点の合わない光が検出器に到達することを物理的に遮断するために、ピンホール開口を用いて両方の弱点に対処する一つの技術である。共焦点顕微鏡は、真の３次元イメージングを提供し、同時に、軸方向（すなわち、深さ）及び横方向の双方に、従来の限界を若干超えた解像度を拡張する。しかし、横方向の解像度の向上は、小さなピンホールが用いられる場合にのみ起こるが、小さなピンホールを使用することによって、多くの焦点の合った光が、望ましくない焦点の合わない光と一緒に廃棄される。実際には、典型的な生物学的試料の弱い蛍光及び共焦点顕微鏡で通常に使用される低感度の検出器が与えられた場合に、このような小さなピンホールを使用することが有利であるのは、まれである。焦点の合った光の有害な損失は、通常、任意の解像度の利点を上回る。その結果、代表的な共焦点顕微鏡は、より広いピンホールで作動され、それは、従来の広視野蛍光顕微鏡によって提供される解像度を超える唯一のわずかな改善である横方向の解像度を生成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１１／０８５７６６号公報
【発明の概要】
【0005】
近年では、顕微鏡の光通過帯域内への周波数混合高解像度情報に対して空間的に構造化照明光を用いて、光の有意な損失なしに、蛍光顕微鏡の横方向の解像度を２倍にすることができることが実証されている。具体的には、３次元構造化照明顕微鏡（「３Ｄ−ＳＩＭ」）は、共焦点顕微鏡に比べて、横方向及び軸方向の分解能において、２倍の向上を達成できる。３Ｄ−ＳＩＭは、特殊な蛍光色素又はタンパク質を必要としないため、生物学者は、３Ｄ−ＳＩＭを用いて高解像度を実現し、便利でお馴染みの蛍光標識技術を保持する。被写体の複数の画像は、試料を介して３次元構造化照明パターンを移動させることによって生成される。より高い解像度は、回折によって通常ぼかされた細かい空間的な詳細を復元するために、連立方程式を解くことによって達成される。３Ｄ−ＳＩＭによって提供される横方向及び軸方向の解像度の向上があってさえ、科学者、技術者、及び顕微鏡製造者は、蛍光顕微鏡を用いて試料成分の横方向及び軸方向の分解能を向上させるデータ処理方法及び顕微鏡システムを求め続けている。
【図面の簡単な説明】
【0006】
【図1】例示的な蛍光顕微鏡の概略図を示す。
【図2】電子バンド図の一例を示す。
【図3】対象物平面内の点光源から出力される光を受け取る例示的な顕微鏡の光学システムを示す。
【図4】画像平面におけるスポットの例示的な強度分布を示す。
【図5】光学システムに関連付けられた回折限界の一例を示す。
【図6】蛍光を発する蛍光体のまばらな分布の一例を示す。
【図7A-7C】３次元構造化照明パターンの作成を示す。
【図7D】３次元構造化照明パターンの強度分布を示す。
【図8】対物レンズの光軸に垂直にステップされた３次元構造化照明パターンにステップする一例を示す。
【図9】対物レンズの光軸に平行にステップされた３次元構造化照明パターンの例を示す。
【図10】例示的な蛍光顕微鏡の概略図を示す。
【図11】対物レンズの上方に形成され、かつ３つの回転角度で回転された、３次元構造化照明パターンの上面図を示す。
【図12A-12C】円筒形体積で表される試料標本のイメージングのための画像データ収集の例を示す。
【図12D-12F】円筒形体積で表される試料標本のイメージングのための画像データ収集の例を示す。
【図12G】円筒形体積で表される試料標本のイメージングのための画像データ収集の例を示す。
【図13】試料標本の確率的に活性化された蛍光体のセットの仮想的な一連の画像を示す。
【図15】横方向及び軸方向の空間的な間隔を介して段を付けられた３次元構造化照明パターンの断面図を示す。
【図16】余弦及び正弦曲線の図を示し、各々、蛍光体によって直面する横方向強度変化における振動を特徴付ける。
【図17】余弦及び正弦曲線の図を示し、各々、蛍光体によって直面する軸方向強度変化における振動を特徴付ける。
【図18】超解像画像を得るために解像画像を合成する例を示す。
【図19】回転されかつ試料標本内の異なる位置に移された３次元構造化照明パターンの例示的な表現を示す。
【図20】試料標本の確率的に活性化された蛍光体のセットの仮想的な一連の画像を示す。
【図21】ビームを交差させることにより画成された２次元表面の一例を示す。
【図22】試料標本の確率的に活性化された蛍光体のセットの仮想的な一連の画像を示す。
【図23】蛍光顕微鏡で蛍光体の位置を決定し、かつ解像するための計算方法の制御フロー図を示す。
【図24】試料標本の超解像画像を決定するための効率的な方法を実行するコンピュータシステムの一例を示す。
【図25A】実験及びシミュレーションからの結果の図を示す。
【図25B】実験及びシミュレーションからの結果の図を示す。
【図25C】実験及びシミュレーションからの結果の図を示す。
【図25D】実験及びシミュレーションからの結果の図を示す。
【図25E】実験及びシミュレーションからの結果の図を示す。
【発明を実施するための形態】
【0007】
３次元構造化照明顕微鏡（「３Ｄ−ＳＩＭ」）を用いて蛍光確率顕微鏡（fluorescence stochastic microscopy）で試料成分の位置を解像する方法及びシステムについて開示する。３次元構造化照明パターン（「３Ｄ−ＳＩＰ」）の時間変化する局所構造の個々の蛍光体の蛍光強度応答は、確率的な蛍光方法だけで得られる横方向の超解像と同等又はそれよりも良好である、横方向及び軸方向の分解能を可能にする。１つの態様では、試料は、蛍光体の位置が正確に決定された場合、それらの位置が、蛍光顕微鏡使用者にとって関心構造、成分、又は細胞小器官の画像を生成することを保証するように、十分な濃度の蛍光体で標識されている。最初に、蛍光体は、非蛍光で暗い状態にある。試料は、蛍光体のサブセットが暗い状態から活性化状態に確率的に変わるように、光の周波数を用いて、照射される。活性化は、蛍光体間の平均間隔が回折限界距離（すなわち、約２００ｎｍ）よりも大きいことを保証するために、弱い照明を用いて行われる。次いで、試料は、活性化蛍光体に蛍光を引き起こさせる励起光の３Ｄ−ＳＩＰを用いて照明される。３Ｄ−ＳＩＰは試料の体積内に徐々に移動され、かつ画像が記録されるので、活性化蛍光体の位置を探して洗練するように画像を処理するために、計算方法が使用される。
【0008】
一実施形態では、顕微鏡を使用して試料標本の一以上の成分を標識する光放射粒子の座標位置を決定するための方法が提供される。本方法は、光放射粒子のサブセットを活性化する工程と、
３次元構造化照明パターンにおける励起光を用いて照射粒子のサブセットから放射される光の一連の画像を取得する工程と、
一連の画像からの光放射粒子の解像画像を生成する工程と、
一以上の成分の超解像画像を得るために処理された複数の解像画像を得るために、活性化、照明、取得及び生成を繰り返す工程とを含む。
【0009】
粒子のサブセットを活性化する工程は、光放射粒子のサブセットを確率的に活性化する低強度の活性化光を用いて試料を照明する工程をさらに含んでもよい。一連の画像を取得する工程は、試料内で交差するように、対物レンズを透過したコヒーレント励起光の３以上のビームから照明パターンを生成する工程をさらに含んでもよい。一連の画像を取得する工程は、一連の各画像を取得するのに先立って、照明パターンの位置を変更する工程をさらに含んでもよく、照明パターンの位置を変更する工程は、照明パターンを回転させること、及び、照明パターンを平行移動させることをさらに含んでもよい。方法は、活性化状態における光放射粒子のサブセットを光退色させることを含んでもよい。
【0010】
解像画像を生成する工程は、スポットの加算画像を生成するために、一連の画像を加算する工程と、
スポットの重心位置を求める工程と、
解像画像を生成するために、スポット重心位置を解像する工程とをさらに含んでもよい。
【0011】
本方法は、単一の蛍光体のための一貫性のない画像の結果に関連する画像データを破棄する工程をさらに含んでもよい。方法では、複数の解像画像は、超解像画像を得るために処理されてもよい。本方法は、超解像画像を生成するために解像画像を加算する工程をさらに含む。
【0012】
顕微鏡を使用して試料標本の超解像画像を生成するための方法が、さらに提供される。本方法は、試料の成分に付着した光放射粒子の異なるサブセットを別々に活性化する工程と、
３次元構造化照明パターンで励起光を試料に繰り返し照射し、かつ試料内の異なる位置における照明パターンに対して粒子のサブセットから放射される光の画像を取得することによって、活性化粒子のサブセット毎に一連の画像を生成する工程と、
活性化粒子のサブセット毎に解像画像を生成するために、一連の画像を合成する工程と、
試料の超解像画像を生成するために解像画像を合成する工程とを含む。
【0013】
粒子の異なるサブセットを活性化する工程は、さらに、光放射粒子のサブセットを確率的に活性化するために低強度の活性化光で試料を照明する工程をさらに含んでもよい。３次元構造化照明パターンで励起光を試料に照射する工程は、試料内で交差するように、対物レンズを通過するコヒーレント励起光の３以上のビームを干渉させることをさらに含んでもよい。
【0014】
異なる位置において照明パターンに対して粒子のサブセットから放射される光の画像を取得する工程は、照明パターンを回転させること、又は、画像毎に異なる横方向位置に照明パターンを平行移動させることを含んでもよい。異なる位置における照明パターンに対して粒子のサブセットから放射される光の画像を取得する工程は、画像毎に異なる軸方向位置に照射パターンを移動させることを含んでもよい。
【0015】
本方法は、各解像画像が生成された後に、活性化状態における光放射粒子の各サブセットを光退色させることを含んでもよい。
【0016】
解像画像を生成する工程は、スポットの加算画像を生成するために、一連の画像を加算する工程と、
スポットの重心位置を決定する工程と、
解像画像を生成するために、スポット重心位置を解像する工程とをさらに含んでもよい。
【0017】
本方法は、単一の蛍光体のための一貫性のない画像の結果に関連する画像データを破棄する工程をさらに含んでもよい。
【0018】
超解像画像を生成するために解像画像を合成する工程は、解像画像を加算する工程をさらに含んでもよい。
【0019】
蛍光顕微鏡図１は、例示的な蛍光顕微鏡１００の概略図を示す。多くの種類の蛍光顕微鏡と、対応する光路とが、存在する。顕微鏡１００は、顕微鏡検査で使用されるすべての異なる多様な機器内の光路を表すものではないが、代わりに、以下により詳細に記載された蛍光確率顕微鏡及び３Ｄ−ＳＩＭ顕微鏡を実現するために使用される部品の配置を例示することを意図している。顕微鏡１００は、第１活性化光源１０２と、励起光源１０４とを備える。光源１０２は、ビーム１０６を平行にする１つのレンズ又は一連のレンズ１０８を透過した光１０６の低強度で実質的な単色光を放射する。ビーム１０６は、その後、ステージ１１６によって支持された試料１１４の領域にビーム１０６を集束する対物レンズ１１２に入るように、第１ダイクロイックミラー１１０から反射される。ビーム１０６の低強度で短時間の光は、比較的少数の蛍光体を活性状態へと確率的に励起する。
【0020】
光源１０４は、ビーム１１８を平行にする１つのレンズ又は一連のレンズ１２０を透過したコヒーレント光の高強度で実質的な単色ビーム１１８を放射する。ビーム１１８は、また、特定の偏光を有する光源１０４から出力されることができる。ビーム１１８は、その後、ビームを３以上の別々のコヒーレントビーム１２４〜１２６に分割するスプリッタ１２２を通過する。例えば、スプリッタ１２２は、各々、０次、＋１次、及び−１次回折ビームと呼ばれる、３つの同一平面上の発散コヒーレントビーム１２４〜１２６に、ビーム１１８を分割する１次元の透過型回折格子とすることができる。スプリッタ１２２は、様々な異なる種類の透過型回折格子のいずれかであることができる。例えば、スプリッタ１２２は、格子の一面に形成された実質的に平行な一連の溝を有するガラスの透明板からなる１次元透過型回折格子とすることができるか、又は、スプリッタ１２２は、実質的に平行な一連の薄いスリットを有する不透明板とすることができる。代わりに、スプリッタ１２２は、ビーム１１８を３つ以上の別々のコヒーレントビームに分割するように配置された２つ以上のビームスプリッタとすることができる。３つのビーム１２４〜１２６は、ビームが、０次回折ビーム１２５にほぼ平行に配向された＋１次及び−１次回折ビーム１２４及び１２６と同一平面上にあるように、ビーム１２４〜１２６を再配向する１つのレンズ又は一連のレンズ１２８を通過する。図１の例では、ビーム１２４〜１２６は、ビーム１２４〜１２６のうちの１つ以上の位相を制御する照明位相制御（「ＩＰＣ」）１３０を通過する。ＩＰＣの例は、Ａｐｐｌｉｅｄ Ｐｒｅｃｉｓｉｏｎ社が所有するＰＣＴ／ＳＥ２０１２／０５０２２７に記載されている。ビーム１２４〜１２６は、次いで、第２ダイクロイックミラー１３２で反射され、対物レンズ１１２の後焦点面１３４に再集束される。対物レンズ１１２は、試料１１４内の焦点面１３６付近で交差するように、ビーム１２４〜１２６を再び平行にする。ビーム１２４〜１２６は、３次元構造化照明顕微鏡と題する小節で以下に詳細に説明されるように、干渉し、かつ試料１１４の体積内に高コントラストの３次元構造化照明パターンを生成する。
【0021】
試料１１４は、細胞の細胞小器官のような複数の異なる種類の成分を含み、各種類の成分は、異なる種類の蛍光プローブで標識されることができる。各種類のプローブは、試料１１４の特定の成分に特異的に結合するように設計され、各種類の蛍光体は、特定の種類のプローブに結合される。試料１１４が、電磁スペクトルの可視及び近可視部分内の周波数を有する光を放射させる周波数を有する３次元構造化照明パターンで照明されると、活性化された蛍光体から放射される蛍光光の部分は、集められ、かつ対物レンズ１１２によって平行にされてビーム１３８に入る。ダイクロイックミラー１１０及び１３２は、ビーム１３８の透過を許容し、かつフィルタ及びイメージング光学システム１４０は、迷励起光をろ過し、かつ検出器１４２の感知部上にビーム１３８の焦点を合わせる。検出器１４２は、光検出器アレイ、ＣＣＤカメラ、又はＣＭＯＳカメラとすることができる。光源１０２は、また、活性化された蛍光体を光退色させるように光１０６と同じ経路を辿る光の実質的な単色ビームを出力するように、制御することができる。蛍光体を活性化させかつ光退色させるための光源１０２から出力される光の使用は、蛍光確率顕微鏡と題する小節で、以下、より詳細に説明されている。図１に示すように、第１光源１０２及び第２光源１０４、ＩＰＣ１３０、及び検出器１４２は、コンピュータシステム１４４に接続されている。システム１４４は、タイミングと、光源１０２及び１０４、ＩＰＣ１３０、及び検出器１４２のタイミング及び動作を制御し、以下に詳細に記載されるように蛍光体から放射される光の位置を解像するために、検出器１４２によって取り込まれた画像を処理することができる。
【0022】
蛍光確率顕微鏡光源１０２は、一組の又は少数の、試料１１４中の蛍光体を活性状態に変える活性化周波数を有する低強度の光を短時間照射する。一組の蛍光体が活性化された後、光源１０２は「オフ」にされ、光源１０４は、それらの蛍光体を既に蛍光を発する活性状態にさせる励起周波数を有する、より高い強度の光を放射するために、「オン」にされている。図２は、試料の成分を標識するために使用される蛍光体に関連する電子バンド図２００の一例を示す。蛍光体は、試料に導入されると、各種類の蛍光体は、試料の特定の成分に結合するプローブに取り付けられる。蛍光体は、まず、非蛍光の又は暗い状態２０２にあり、この状態は、蛍光体のための基底状態であってもよい。図１を参照して上述したように、光源１０２は、比較的少数の蛍光体を活性状態２０４に確率的に変えるために、短時間の間、活性化周波数ｖa（すなわち、電子エネルギーｈｖa≧Ｅa、ここではｈはプランク定数）を有し、かつ非常に低い強度を有する活性化光を放射する。活性化光は、「オフ」にされ、続いて、既に活性状態にある蛍光体のサブセットのみを蛍光状態２０６にさらに励起する励起周波数ｖe（すなわち、電子エネルギーｈｖe≧Ｅe）を有する光を放射するように光源１０４を「オン」にする。蛍光状態にある蛍光体は、低エネルギー中間状態２０８、続いて熱緩和に遷移し、活性状態２０４に戻るときに、周波数ｖf及び電子エネルギーｈｖfを有する蛍光光を放射する。特定の実施形態では、光源１０４は、活性化蛍光体に、数百、数千以上の励起／放射サイクル２１０を受けるようにさせるのに十分な励起光を放射することができる。光源１０２は、活性化された蛍光体を光退色させるために使用することができる。或いは、光源１０２は、蛍光体を活性状態２０４から非活性状態２１２に変える第３周波数を有する光を放射することができる。蛍光体を活性状態２０４から非活性状態２１２に変えることは、活性化又は励起周波数のいずれかで照射されたときに、活性状態又は蛍光状態に戻ることができない分子への、活性化された各蛍光体の完全又は部分的な再構成とすることができる。
【0023】
確率蛍光顕微鏡法は、放射蛍光体が、約２００ｎｍよりも大きな距離だけ互いに分離されている場合に、経時的に、蛍光体で標識された試料の成分の異なるサブセットから放射された一連の蛍光の中間画像を収集する。換言すれば、試料中の光放射蛍光体の位置が従来の光学顕微鏡によって解像することができる場合、試料中の蛍光体の位置は、ある場合には、１０ｎｍ以下の分解能で、決定されることができる。しかし、蛍光放射信号は、放射蛍光体が試料内にまばらに配置されている場合にのみ、解明されることができるので、多数の中間画像は、試料の最終画像を構築するために、まばらで確率的に分布した活性化された蛍光体の異なるサブセットから生成される。検出器１４２によって取り込まれた各中間画像は、まばらに配置された蛍光体のサブセットの回折限界画像である。蛍光体から顕微鏡１００の光学システムを通過して放射される蛍光光は、光検出器１４２の画像平面において幾分広がる。フィルタ化及びイメージング光学システム１４０は、試料の対象物平面から検出器１４２の画像平面に出力される光を向かわせ、かつ集束する、顕微鏡１００のカメラレンズ及び他の光学部品を備えてもよい。円形開口を有する光学システムが、画像平面において対応する明るい狭義の画像点というよりむしろ、蛍光体から放射される蛍光光のような、試料の対象物平面内の点光源から出力される平面波の出力を受信すると、その光は、実際には、光と闇のリングを順に交代させることから構成されたエアリーディスク（Airy disk）と呼ばれる円形スポットに広がる。図３は、試料の対象物平面３０６における点光源（ｘ，ｙ）３０４から出力された光を受ける例示的な顕微鏡の光学システム３０２の図を示す。例えば、点光源３０４は、図１に示す試料１１４の焦点面１３６において蛍光を発する蛍光体とすることができる。光学システム３０２は、検出器１４２の対応する画像平面３１０にスポット３０８を生成するように光を拡散する。点光源３０４から出力された光は、点（ｘ’，ｙ’）３１２の周りに中心が置かれたスポット３０８に、スポット３０８にわたって対称なエアリーディスク３１４で表される対応する強度分布を有する、光学システム３０２によって変換される強度Ｉ（ｘ，ｙ）を有する。
【0024】
図４は、画像平面の１次元におけるエアリーディスクの例示的な強度分布を示す。横軸４０２は、図３に示す点（ｘ’，ｙ’）３１２のような点を通過する画像平面における線であり、縦軸４０３は、強度を表す。エアリーディスクは、中央のピークから離れて外側に延びる高さ４０５〜４１４を減少させる２次ピークを有する、高くて比較的狭い中心ピーク４０４を有する。曲線の高さは、強度に対応する。エアリーディスクの表面上の任意の点は、画像平面上の対応する位置で観測される強度を表す。言い換えれば、対象物平面における点光源の光学システムによって生成される画像は、エアリーディスクの中心ピーク４０４に対応し、中央のピークを囲むリング又は稜線に対応する半径を増加させる光の同心リングを有する、中央の明るいディスクとして、現れる。
【0025】
エアリーディスクの半径は、したがって、隣接するエアリーディスクとの重なりと、画像の回折限界とを決定する。図５は、光学システムに関連付けられた回折限界の一例を示す。距離ｓ1５０６によって分離された対象物平面における２点（ｘ1，ｙ1）５０２及び（ｘ2，ｙ2）５０４を考慮されたい。光学システムから出力されるこれらの２点の画像は、各々、画像点（ｘ’1，ｙ’1）及び（ｘ’2，ｙ’2）を中心に置かれた２つのエアリーディスク５０８及び５１０として現れる。点光源５０２及び５０４から画像平面におけるディスク５０８及び５１０によって表される強度分布を有するスポットへの光の広がりは、回折に関連する現象である。ｓ1が十分大きくて、画像平面におけるディスク５０８及び５１０の中心間の対応する距離ｓ’1５１２がエアリーディスクを分離し、その結果、曲線５１４によって図５に表される、２つのエアリーディスクの合成が、二峰性を有するままであるとき、画像平面における点５０２及び５０４の画像は、互いから区別することができる。しかし、対象物平面における２つの点５１６及び５１８は、十分に小さな距離ｓ2５２０（すなわち、ｓ2＜ｓ1）だけ分離され、画像平面における２点の対応する画像５２２及び５２４が、重なり、２つのエアリーディスクの加算を有し、曲線５２６によって表され、単一のピークに合流するとき、２点５１６及び５１８は、画像平面において解像されえない。従来の光学顕微鏡に対する、最小間隔、又は最大解像度は、一般的に次のようにみなされる。
【0026】
【数1】
θは光学システムに入射又は出射できる光の最大円錐の半角であり、
λは光の波長であり、
ｎは光学システムが動作している媒体の屈折率であり、
ＮＡは顕微鏡対物レンズの開口数である。
【0027】
入力画像における最小間隔又は最大解像度は、右側のディスクの第１左側ゼロ点が、左側のディスクの第１右側ゼロ点と一致するエアリーディスク間の間隔に対応する。イメージングすることができる任意の２つの隣接する蛍光する蛍光体の、最小間隔又は最大解像度は、光学顕微鏡システムにとっての約２００ｎｍに対応する。最小間隔又は最大の解像度は、画像平面における点源のエアリーディスク画像が、回折の結果として生じるので、「回折限界」と呼ばれる。
【0028】
少なくとも２００ｎｍだけ分離された、同時に活性化された低密度の蛍光体を得るために、光源１０２は、非常に低い強度でかつ短時間の活性化ビーム１０６を放射し、その結果、活性化周波数を有するわずかな光子が、小さく確率的に分布した蛍光体のサブセットを励起するように、試料１１４の対象物平面に到達する。その結果、２００ｎｍ未満で分離された任意の２つの活性化された蛍光体が生じる可能性は、非常に低い。活性化された蛍光体が、続いて、光源１０４から出力された周波数の励起光で励起されたとき、検出器１４２によって取り込まれた画像は、理想的には、エアリーディスクによって特徴付けることができる非重複スポットのまばらな分布で構成されている。
【0029】
図６は、画像平面における４つの蛍光を発する蛍光体のまばらな確率分布の例示的な対象物平面６０２を示す。対象物平面６０２における蛍光を発する蛍光体のまばらな確率分布は、３次元構造化照明顕微鏡と題する小節において以下に説明するように、活性化光の非常に低い強度のビームを用いて試料に活性化させ、続いて、励起光の３次元干渉パターンを用いて、活性化された蛍光体のセットを励起させることにより、生成される。光学システム６０８は、対象物平面６０２における４つの蛍光点光源から出力される光を収集し、点光源からの光がシステム６０８を通過するにつれて、画像平面６１０における対応する４つのスポットを生成するように、広がる。例えば、対象物平面６０２における点光源６０４は、画像平面６１０におけるスポット６１２に対応する。画像平面６１０における各スポットの強度分布は、上述したように、エアリーディスクによって特徴付けることができる。各スポットの中央ピーク強度に対応する画素の座標を決定し、かつ解像するように、画像平面６１０におけるスポットを処理するための方法は、重心位置を解像するための方法と題する小節において、以下で説明される。
【0030】
３次元構造化照明顕微鏡図７Ａ〜図７Ｃは、コヒーレントビーム１２４から１２６の交点から３次元構造化照明パターン（「３Ｄ−ＳＩＰ」）の作成を示す。図７Ａにおいて、ビーム１２４〜１２６は、対物レンズ１１２の背面に伝えられる。ビーム１２４〜１２６は、コヒーレント光源１０４から発信するので、ビーム１２４〜１２６の平面波は、ビーム方向に垂直な、平面７０２のような任意の面で同一の位相を有している。ビーム１２４〜１２６がコヒーレントである一方、各ビームは、他の２つのビームとは異なる位相変位を有することができる。対物レンズ１１２は、図７Ａに示すように、２つの非軸方向のビーム１２４及び１２６の方向を変化させる焦点７０４に、ビームを集束させる。その結果、３つの平面波は、もはや、異なる方向を有する波ベクトルと平行ではなく、平面波の３つのセットは、建設的干渉によって形成され、かつ相殺的干渉により形成される暗領域によって囲まれた励起光の輝線の３Ｄ−ＳＩＰを形成するように交差する。図７Ａ〜図７Ｃ、及び以降の図は、ｙ方向に延び、かつｘｚ平面において離間された輝線を用いて、３Ｄ−ＳＩＰの向きを表す離間デカルト座標系を含む。デカルト座標系は、顕微鏡座標及び相対物を表すために使用することができる。ｚ方向は、対物レンズ１１２の光軸に平行である。図７Ｂの例において、静止３Ｄ−ＳＩＰ７０６は、対物レンズ１１２の焦点面と交差する。線７０８は、暗い又はより低い強度の領域によって分離された励起光の輝線を表す。図７Ｃは、対物レンズ１１２のｘｚ平面図及び３Ｄ−ＳＩＰ７０６を備えた輝線の真向き図を示す。白丸７１０は、暗い領域７１２内の励起光の輝線の中心の真向き図を表す。
【0031】
図７Ｄは、３Ｄ−ＳＩＰを備えた励起光の輝線の強度分布のｘｚ平面断面図を示す。輝線は、強度が線の中心から離れて減少するにつれ灰色に色褪せる細長い白いスポットで表される。ガウス曲線７１４及び７１５は、輝線７１６を横切って、各々、横方向（すなわち、ｘ方向）及び軸方向（すなわちｚ方向）断面強度分布を表す。明るい線の間の黒又は非常に暗い領域は、励起光強度が非常に小さい又は存在しない破壊的な干渉領域を表す。横方向ピッチＰl７１８及び軸方向ピッチＰa７１９は、中心ビーム１２５に対する外側ビーム１２４及び１２６の角度によって、決定される。例えば、横方向のピッチは、約４４０ｎｍから４５０ｎｍであることができ、一方、軸方向のピッチは、典型的には２倍の長さである。
【0032】
図１を参照して上述したように、試料１１４は、多数の異なる種類の成分、例えば、細胞の細胞小器官を含んでもよく、各種類の成分は、異なる種類の蛍光プローブを用いて標識されてもよい。各種類のプローブは、試料の特定の成分に特異的に結合するように設計され、各種類の蛍光体は、特定の種類のプローブに結合される。試料１１４が、励起周波数を有する３Ｄ−ＳＩＰで照明されると、蛍光体と交差する３Ｄ−ＳＩＰの各輝線は、蛍光体からの光の放射を励起する可能性がある。図７Ｄに示す明るい線の間の暗い領域に配置された試料１１４の成分に取り付けられた蛍光体は、励起光の強度が著しく低いため、蛍光を発する可能性が低いが、一方、明るい線のより高強度領域と交差する蛍光体は、蛍光を発する可能性がより高い。蛍光を発する蛍光体から放射された蛍光の一部は、図１に示すビーム１３８の中に対物レンズ１１２によって、集められ、かつ平行にされ、検出器１４２に伝わる。
【0033】
画像データは、３Ｄ−ＳＩＰにより励起された蛍光を発する蛍光体の画像を取得することによって、試料内の新しい位置に３Ｄ−ＳＩＰを移動させることによって、続いて、別の画像を取得することによって、かつ多数の画像を取得するためにこれらの工程を体系的に繰り返すことによって、取得される。ＩＰＣ１３０は、対物レンズ１１２の光軸に対して垂直な３Ｄ−ＳＩＰ７０６を横方向に平行移動させるために使用されることができる。図８Ａ〜図８Ｅは、対物レンズ１１２の光軸８０２の周りに中心が置かれた横方向ピッチの５つの等間隔な横方向位置を介して、３Ｄ−ＳＩＰ７０６にステップする例を示す。図８Ａ〜図８Ｅの例では、図８を参照して上述したように、３Ｄ−ＳＩＰ７０６の輝線は、ｙ方向に延びている。図８Ａ〜図８Ｅにおける標識されたマークｈ1〜ｈ5は、光軸８０２の周りに中心が置かれているほぼ等しい空間的な間隔で分離された５つの横方向に離れた位置を表している。言い換えると、３Ｄ−ＳＩＰ７０６の明るい線の間の間隔は、より細かい間隔距離を標本とするために使用される５つの横方向ステップを用いて、より細かい間隔距離を生成するために、６で割られる。点線８０４は、ｚ方向における３Ｄ−ＳＩＰ７０６の中心を特定する。図８Ａ〜図８Ｅは、３Ｄ−ＳＩＰ７０６が光軸８０２に対して実質的に垂直に平行移動される５つの別個の横方向ステップを表す。例えば、図８Ａにおいて、３Ｄ−ＳＩＰ７０６は、「ｈ1」で示される第１横方向位置にあり、図８Ｂにおいて、３Ｄ−ＳＩＰ７０６は、「ｈ2」で示される第２横方向位置に間隔を介してステップされている。図８Ａ〜図８Ｅに示す５の横方向位置の各々において、励起光放射蛍光体の画像が取り込まれる。最後のステップは、次のサイクルの第１横方向位置に３Ｄ−ＳＩＰを置き直す。
【0034】
ＩＰＣ１３０は、また、対物レンズ１１２の光軸に対して平行な３Ｄ−ＳＩＰ７０６を軸方向に平行移動するために、使用されることができる。図９Ａ〜図９Ｄは、軸方向ピッチの４つの等間隔の軸方向位置を介してステップされた３Ｄ−ＳＩＰ７０６の例を示す。図９Ａ〜図９Ｄにおける標識されたマークｖ1〜ｖ4は、ほぼ等しい軸方向の空間的な間隔で分離された４つの軸方向位置を表す。言い換えると、３Ｄ−ＳＩＰ７０６の明るい線の間の間隔は、より細かい間隔距離を標本とするために使用される４つの横方向ステップを用いて、より細かい間隔距離を生成するために、５で割られている。図９の例では、点線９０２は、ｘ方向における３Ｄ−ＳＩＰ７０６の中心を通過する。図９Ａ〜図９Ｄは、３Ｄ−ＳＩＰ７０６が光軸８０２に実質的に平行に軸方向で平行移動された４つの個別のステップを表す。例えば、図９Ａにおいて、３Ｄ−ＳＩＰ７０６は、「ｖ1」で示される第１軸方向位置にあり、図９Ｂにおいて、３Ｄ−ＳＩＰ７０６は、「ｖ2」で示される第２軸方向位置に間隔を空けた軸を介してステップされる。図９Ａ〜図９Ｄにおいて表される４つの軸方向位置の各々において、３Ｄ−ＳＩＰは、合計で２０個の別々の画像に対する各ステップのために取り込まれた光放射蛍光体の画像を用いて、図８Ａ〜図８Ｅに表される５つの横方向位置を介してステップされることができる。最後のステップは、次のサイクルの第１軸方向位置に３Ｄ−ＳＩＰを置き直す。
【0035】
図８及び図９に示す５つの横方向ステップ及び４つの軸方向ステップは、３Ｄ−ＳＩＰがステップされることができる、多数の横方向及び縦方向のステップの例を単に表す。実際には、多数の横方向及び軸方向のステップは、横方向及び軸方向のピッチがどのくらい多くの空間間隔に分割されるかに応じて、わずか１つのステップから５つ以上のステップまでに及びうる。位置復号方式に応じて、ステップが均等に配置される必要はないことに、注意されたい。
【0036】
別の実施形態では、蛍光顕微鏡は、対物レンズの光軸に垂直な横方向平面（すなわち、ｘｙ平面）における３Ｄ−ＳＩＰを回転させる照明パターン回転子（「ＩＰＲ」）を備えることができる。図１０は、例示的な蛍光顕微鏡１０００の概略図を示す。顕微鏡１０００は、顕微鏡１００に類似する。ただし、顕微鏡１０００が、ＩＰＲ１００２を備えることを除く。ＩＰＲ１００２は、ＩＰＣ１３０と第２ダイクロイックミラー１３２との間のビーム１２４〜１２６と交差し、コンピュータシステム１４４に電子的に接続され、かつコンピュータシステム１４４によって操作される。図１０は、２つの実質的に垂直な光軸１００４及び１００６を含む。ＩＰＲ１００２は、光軸１００４の周りで、ある角度に至るまでビーム１２４〜１２６を回転させ、これは、順々に、光軸１００６の周りで同一角度に至るまで試料１１４における３Ｄ−ＳＩＰの回転をもたらす。
【0037】
図１１Ａ〜図１１Ｃは、試料１１４における対物レンズ１１２の上方に形成された３Ｄ−ＳＩＰ７０６の上面図（すなわち、ｘｙ平面）を示す。図１１Ａにおいて、ＩＰＲ１１０２は、３Ｄ−ＳＩＰ７０６の輝線が、対物レンズ１１２の上方でｙ軸に対して初期になるように、光軸１１０４の周りでビーム１２４〜１２６を回転させる。図１１Ｂにおいて、ＩＰＲ１１０２は、光軸１００４の周りで６０度までビーム１２４〜１２６を回転させ、ｙ軸に対する０度の角度まで、光軸１００６の周りで６０度に至るまで回転された３Ｄ−ＳＩＰ７０６をもたらす。図１１Ｃにおいて、ＩＰＲ１００２は、光軸１００４の周りで追加の６０度に至るまでビーム１２４〜１２６を回転させ、ｙ軸に対する６０度の角度まで、光軸１００６の周りで６０度に至るまで回転された３Ｄ−ＳＩＰ７０６をもたらす。
【0038】
ＩＰＣ１３０及びＩＰＲ１００２は、系統的に３Ｄ−ＳＩＰを用いて、確率的に活性化された試料標本を走査するために、一緒に操作されることができる。図１２Ａ〜図１２Ｇは、円筒体積１２００で示される試料標本の３Ｄ−ＳＩＭイメージングのための画像データ収集の例を示す。対物レンズ（図示せず）は、図１２に示す直交座標系のｘｙ平面の下に配置されることができる。図１２Ａ〜図１２Ｇにおいて、平行線１２０２は、３Ｄ−ＳＩＰの輝線の角度位置を表す。図８を参照して上述したように、ビームは、３Ｄ−ＳＩＰを試料１２０２の対象物平面に形成されるようにする対物レンズ内又は後方にある焦点面に、集束される。対象物平面のための高解像度画像を再構成するために、３Ｄ−ＳＩＭデータ処理のための数学的手法は、円筒１２００によって示される試料体積から収集されるデータから、試料平面のための高解像度画像を再構成する。まず、図１２Ａに示すように、３Ｄ−ＳＩＰは、ｙ軸に対して平行に向けられた３Ｄ−ＳＩＰの輝線を有する試料体積１２００の上面、又は第１面に中心が置かれ、蛍光を発する蛍光体の第１画像が記録される。その後、方向矢印１２０４によって表されるように、３Ｄ−ＳＩＰは、線１２０２と直交する方向に空間的な間隔を介してステップを介して横方向にステップされ、画像がステップ毎に記録される。例えば、５つの横方向ステップは、５つの異なる横方向に偏位された３Ｄ−ＳＩＰを生成するために実行されることができる。その３Ｄ−ＳＩＰから、図８を参照して上述したように、５つの別々の画像が収集される。その後、図１２Ｂに示すように、３Ｄ−ＳＩＰは、６０度１２０６だけ回転され、次の画像が記録される。その後、３Ｄ−ＳＩＰは、方向矢印１２０８によって表されるように、多数の空間的な間隔を介して、横方向にステップされ、画像がステップ毎に記録される。その後、図１２Ｃに示すように、３Ｄ−ＳＩＰは、別の６０度１２１０（すなわち、図１２Ａの元の向きに対して１２０度又は−６０度）だけ回転され、３Ｄ−ＳＩＰは、方向矢印１２１２によって示されるように、ステップ毎に記録される画像を用いて多数のステップを介して、横方向にステップされる。３Ｄ−ＳＩＰの角度は、ｙ軸に対して０度に置き直され、その後、図１２Ｄに示すように、第２平面１２１４上で３Ｄ−ＳＩＰを中心に置くことによって、３Ｄ−ＳＩＰは軸方向１２１３（すなわち、ｚ方向）にステップされ、画像が、線１２０２と直交する方向１２１６における多数の横方向のステップに対して取り込まれる。図１２Ｅ及び１２Ｆは、３Ｄ−ＳＩＰの６０度回転１２１８及び追加の６０度回転１２２０及び方向１２２２及び１２２４における関連する横方向ステップを表し、各々、実行された同数の横方向ステップ及び回転角度毎に取り込まれる画像を伴う。図１２Ｇは、図１２Ａ〜図１２Ｆを参照して上述したように、各々標本にされた試料体積１２０２の軸方向で離間された８つの規則的な間隔の対象物平面を示す。例えば、８つの平面の各々は、試料１２００の合計で１２０個の異なる記録画像を生成するために、回転毎に、３回転及び５つの横方向ステップで照明することができる。
【0039】
実際には、軸方向（すなわち、ｚ方向）における対象物平面又はステップの数は、８つに限定されるものではなく、横方向ステップの数は、５つに限定されるものではない。一般的に、試料体積の記録画像の数は、ｌ×ｎ×ｍとすることができ、ここで、ｌは、試料体積の各対象物平面における角度回転の数であり、ｎは、横方向ステップの数であり、ｍは、軸方向ステップの数である。回転の最小数が３つに限定されるものではないことに注意されたい。３Ｄ−ＳＩＰの平行移動及び回転は組合せることができる。よく較正されたシステムでは、わずか３つの画像が、蛍光体の集合体を超解像するのに十分であることがある。
【0040】
重心位置を解像するための方法図１３は、取り込まれた試料標本の確率的に活性化された蛍光体のセットの仮想的な一連の画像１３０２を示す。この例では、画像は、図８及び図１０を参照して上述したような３Ｄ−ＳＩＰを使用して、取り込まれる。各画像は、画像が取り込まれるときに３Ｄ−ＳＩＰがある横方向及び軸方向ステップで特定される。例えば、画像１３０４は、（ｈ1，ｖ1）として特定され、３Ｄ−ＳＩＰが、図８及び図１０を参照して上述した横方向位置ｈ1及び軸方向位置ｖ1にあるときの光放射蛍光体の画像を表す。各画像は、試料内の異なる位置における３Ｄ−ＳＩＰを用いて、活性化された蛍光体を励起することによって得られるため、画像内の活性化された各蛍光体に関連するスポットは、異なっている。例えば、画像１３０２の各々を通る破線１３０５は、画像１３０２に共通のスポット１３０６を特定し、かつ３Ｄ−ＳＩＰにより励起される単一の光放射蛍光体の画像を表す。図１３は、各々、四角で表現された画像画素を用いた、画像（ｈ3，ｖ1）、（ｈ5，ｖ1）、及び（ｈ5，ｖ4）の部分領域１３１２〜１３１４の拡大図１３０８〜１３１０を含む。スポット１３０６は、影付きの画素群として拡大図１３０８〜１３１０に示されている。一連の画像１３０２内の各画素は、（ｘ，ｙ）座標及び強度Ｉを有する。便宜上、拡大図１３０８〜１３１０に示す画素は、同じ陰影で表されているが、実際には、実際の記録画素強度は、図３及び図４を参照して上述したように、エアリーディスクに応じて分配される。
【0041】
画像１３０２は、試料の確率的に活性化された蛍光体の加算画像１３１６を生成するために、加算される。加算画像１３１６の各画素の強度は、画像１３０２内の対応する画素の強度を加算することによって、計算することができる。
【0042】
【数2】
【0043】
次に、加算画像１３１６における残りのスポットの重心座標（ｘc，ｙc）は、重心のフィルタ処理された画像１３２８を生成するように、計算される。例えば、各スポットの重心（ｘc，ｙc）は、加重平均を用いて、算出することができる。
【0044】
【数3】
【0045】
次に、フィルタ処理された画像１３２８における重心が画像１３０２の対応するスポットの重心として使用されている。例えば、一点鎖線１３３６は、重心画素１３３０及び影付き画素１３３８〜１３４０を通過する。影付き画素１３３８〜１３４０は、重心１３３０と同じ座標を持ち、各々、拡大図１３０８〜１３１０におけるスポット１３０６の重心として指定されている。
【0046】
次に、カウントは、画像１３０２におけるスポットの各々について計算される。カウントは、スポットの重心の近傍内にある画素の強度の加算である。図１４は、図１３の拡大図１３０９に表されるスポットの拡大を示す。スポットを備える画素の強度は、整数値で表現される。例えば、重心画素１３３９の強度は、「９」である。画素１３３９の座標は、図１３に示す重心画素１３３０の座標と同じであることに注意されたい。この例では、画素１３３９に割り当てられた数は、「６４」であり、３×３の近傍の画素内にある画素の強度を加算すること１４０２によって決定され、重心画素１３３９の周りに中心が置かれた破線四角１４０４によって特定される。別の実施形態では、近傍は、画素重心の周りに中心が置かれた５×５の近傍とすることができる。さらに別の実施形態では、近傍は、近傍内に入る画素強度の各々を乗じた重み付け係数を含むことができる。
【0047】
カウントが画像１３０２におけるスポットの重心に割り当てられた後に、カウントが解像画像を生成するためにフィルタ処理された画像１３２８の重心座標を解像し、かつ改良するために、使用される。一実施形態では、これは、カウントベクトルを生成することによって達成することができる。カウントベクトルの要素は、画像１３０２の各々に共通のスポットに関連する数であり、パターンが試料体積を介してステップされるにつれて、３Ｄ−ＳＩＰの輝線の強度における変化を表す余弦及び正弦ベクトルを用いて、カウントベクトルを数学的に組合せている。横方向及び軸方向のカウントベクトルは、以下の式で表すことができる。
【0048】
【数4】
【0049】
【数5】
【0050】
【数6】
【0051】
【数7】
【0052】
【数8】
【0053】
フィルタ処理された画像におけるスポットの重心座標を解像するために、余弦、正弦、及びカウントベクトルを使用する例が、今、図１５〜図１７を参照して説明される。図１５は、３Ｄ−ＳＩＰの４つの線のｘｚ平面断面図を示し、各線は、図８及び図９を参照して上述した、横方向及び軸方向の空間的な間隔を介してステップされる異なる線パターンによって、表される。楕円は、図７Ｄを参照して上述した、３Ｄ−ＳＩＰにおける励起光の輝線の強度分布のｘｚ平面の断面形状を表すために、使用される。例えば、固体楕円形１５０２のような固体楕円は、図８及び図９を参照して上述した、横方向及び軸方向の位置を介してステップされる同一の線のｘｚ平面断面を表す。影付きの円１５０４は、試料の蛍光体を表し、線１５０２が横方向及び軸方向の位置を介してステップされるにつれて、線１５０２と相互作用する。線が、近くにステップされ、かつ蛍光体１５０４を最終的に包み込むにつれて、蛍光体から放射される光の強度は、増加する。例えば、線１５０２が軸方向位置ｖ3にあるとき、蛍光体から放射される光の強度は、増加し、その後、線１５０２が横方向位置ｈ1〜ｈ5を介してステップされるにつれて、減少する。
【0054】
蛍光体１５０４は、線１５０２が図１５Ａに示す横方向及び軸方向の位置を介してステップされるにつれて、線１５０２の励起光との少なくともある程度の重複を有するが、最強の相互作用は、線１５０２が横方向位置ｈ1〜ｈ5を介してステップされ、かつ軸方向位置がＶ3であるとき、及び、横方向位置がｈ2であり、かつ線が軸方向位置ｖ1〜ｖ4を介してステップされるときに、発生する。その結果、これらの位置に関連する画像は、蛍光体１５０４のｘ及びｚ座標を解像するように選択される。言い換えると、画像（ｈ1，ｖ3）、（ｈ2，ｖ3）、（ｈ3，ｖ3）、（ｈ4，ｖ3）、及び（ｈ5，ｖ3）の各々における蛍光体１５０４を表すスポットに関連付けられたカウントは、次式で示される横方向カウントベクトルを形成するように、使用される。
【0055】
【数9】
【0056】
【数10】
【0057】
図１６Ａ及び図１６Ｂは、余弦及び正弦曲線の図を示し、各々、線１５０２が横方向位置ｈ1、ｈ2、ｈ3、ｈ4、及びｈ5を介してステップされるにつれて、蛍光体１５０４により引き起こされた輝線１５０２の強度における振動を特徴付ける。図１６Ａにおける白丸１７０２のような白丸は、０、２π／５、４π／５、６π／５、及び８π／５での正弦関数値を表し、これらは、次式によって与えられる横方向余弦ベクトルを形成するために使用される。
【0059】
【数12】
【0061】
【数14】
【0062】
【数15】
【0063】
【数16】
【0064】
【数17】
【0065】
【数18】
【0066】
軸方向及び横方向のステップの数は、上述した数に限定されるものではない。実際には、ステップの任意の適切な数が、角度毎に使用されることができる。例えば、ＳＩＰの回転角度毎に４つのＳＩＰステップを移動させるために、ＰL／４及びＰA／４のオフセットピッチ（offset pitch）が使用されることができる。
【0067】
解像画像を生成するための上述の計算方法は、解像画像のセットを生成するために繰り返され、解像画像のセットの各々は、活性化された蛍光体の異なるセットである。その後、解像画像は、試料の超解像画像を形成するために合成される。図１８は、試料の超解像画像を得るために解像画像を合成する例を示す。図１８に示すように、例えば、解像画像１〜８の各々は、図１３〜図１７を参照して上述したように、まばらに活性化された蛍光体の異なるセットからデータを収集することによって、生成される。その後、解像画像は、最終的な複合超解像画像１８０４を生成するために一緒に加算され１８０２、最終的な複合超解像画像１８０４は、試料において、蛍光体で標識された、構造体、細胞小器官、細胞成分、又は他の特徴１８０６を明らかにする。
【0068】
上述の計算方法は、次のようにアドレスすることができる蛍光体に対する曖昧な軸方向位相φA位置を生成することができる。例えば、軸方向位相φA位置測定値が、２１度と２０１度であるとし、それらが、１８０度又はπラジアンだけ位相がずれており、π位相曖昧性と呼ばれる。π位相曖昧性は、蛍光体間の相対座標において、又は絶対座標において、処理されることができる。まず、相対座標を考えてみる。実際には、横方向ピッチは、典型的には、数百ナノメートルである。例えば、横方向ピッチは、４４０ｎｍとすることができる。その結果、横方向ピッチの位相は、顕微鏡の視野を横切る輝線に垂直な約４４０ｎｍだけ分離されたバンドにおいて、ほぼ同様であり、約４４０ｎｍは、これらのバンドにおける蛍光体間の相対距離を与える。同様の関係は、η×４４０＋２２０におけるバンドに対して存在し、これらは、バンドの第１セットと１８０度位相がずれている。一般的に、複数の横方向ステップは、ｘｙ平面における複数の方向に取り出されることができる。多くの蛍光体の複数の画像が、蛍光体の自己無撞着マップ上で収束のために許容された。
【0069】
π位相曖昧性は、また、３Ｄ−ＳＩＰの横方向及び軸方向ステップ毎に顕微鏡座標に対するｘ、ｙ及びｚ方向における３Ｄ−ＳＩＰをマッピングすることによって、解像することができる。３Ｄ−ＳＩＰを移動させるための機構は、安定し、３Ｄ−ＳＩＰ位置は、高精度に把握されることができる。各スポットのｘｙ平面の重心は、適切な分解能で計算され、蛍光体の位置が与えられると、π位相曖昧性は、解像する。
【0070】
２π位相曖昧性（すなわち、モジュロ２π）に対して、３Ｄ−ＳＩＰは、横方向ピッチと同様に長さ尺度で軸方向に繰り返されるが、横方向ピッチよりも長い。２π位相曖昧性を解像するための１つのアプローチは、焦点を変更すること、及び、焦点に対応する異なるｚ座標を有するスポットのサイズ及び強度における変化を観察することにより、軸方向に蛍光体をマッピングすることである。
【0071】
別のアプローチは、３Ｄ−ＳＩＰのピッチを変更し、かつ蛍光体の集合体の位置の相対的な位相における誘起変化を観察することである。さらに、上述した任意の基準面下の蛍光体は、より位相偏位を蓄積し、２π位相曖昧性は、ピッチにおける変化が十分小さくて新しい２π位相曖昧性が有限Ｚ深さ（例えば、２マイクロメートル）において生じない場合、解像することができる。３Ｄ−ＳＩＰ（横方向及び軸方向）のピッチは、対物レンズ１１２の後方に、図１及び図７を参照して上述した２つの位相コヒーレント外側ビーム１２４及び１２６の分離によって、制御される。ＩＰＣ１３０は、３Ｄ−ＳＩＰにおけるピッチの変化をもたらす、外側ビーム１２４及び１２６の位相における小さな変化を生成することができる。このようにピッチを変更することは、また、上述したπ位相曖昧性を解像し、かつ横方向位置決めを解像するために、使用されることができることに注意されたい。新しいピッチにおける少数の画像は、２π位相曖昧性を解像するために使用されることができる。
【0072】
別の実施形態では、フィルタ処理された画像に表されたスポットの重心座標は、試料体積内の３Ｄ−ＳＩＰの位置に対応するベクトルを使用して、解像することができる。図１９は、円筒体積１９０２によって表される試料標本内の異なる位置に、回転され、かつ偏位された３Ｄ−ＳＩＰの例示的な表現を示している。図１９において、ディスク１９０４〜１９０７は、試料１９０２内の３Ｄ−ＳＩＰの４つの位置及び向きを表している。各ディスク内の線は、３Ｄ−ＳＩＰの励起光の輝線がｘｙ平面と平行に延びる方向を表す。
【0073】
【数19】
【0074】
【数20】
【0075】
フィルタ処理された画像２０２２における各重心座標は、重心毎に最小二乗方程式のセットを解くことによって、解像画像を生成するように解像する。３つの回転角度の各々について、３つの平面波は、図７を参照して上述したように、ＳＩＰを生成するように干渉する。回転角度の各々は、三つの交差ビーム１２４〜１２６によって画成される２次元表面として、別々に処理される。図２１は、交差ビーム１２４〜１２６によって画成される２次元表面２１０２の一例を示す。ビーム１２４〜１２６の平面波が表面２１０２に沿って伝播するので、平面波は位相を蓄積する。
【0076】
【数21】
【0077】
【数22】
【0078】
【数23】
【0079】
【数24】
【0080】
【数25】
【0081】
画像再構成プログラムにおける電界強度及び振幅を連続的に計算するための代替案は、一度電界強度を計算し、かつ細かいメッシュの２次元ルックアップテーブルとして保存することである。一つの方法は、オフセット毎に異なるルックアップテーブルを計算することを含む。最小二乗和は、ルックアップテーブルの各々における同じ２次元インデックを変化させることによって、最小化される。
【0082】
方法の実施形態は、また、重複するスポットの重心位置を解像するための数学的手法を含む。１つの名目上の解像スポットからの信号が、２つの隣接する蛍光体からの信号を含む場合、適合データは、コントラストが低下するため、矛盾した及び／又は弱い適合を生成する。特定の場合には、接近した位置にある２つの蛍光体が仮定されることができ、上述した最小化は、最良適合を生成する２つの位置を見つけるために、使用されることができる。一般に、２つの蛍光体の強度は、適合の一部であってもよい。図２２は、試料標本の確率的に活性化された蛍光体のセットの仮想的な一連の画像２２０２を示す。画像は、図２０を参照して上述したのと同じ方法で取り込まれる。ただし、画像２２０２が、画像２２０２に共通するスポット２２０６と重複することを含むことを除く。画像２２０２の各々における重複スポットは、３Ｄ−ＳＩＰによってある程度まで励起される２つの接近して置かれた光放射蛍光体を表す。
【0083】
【数26】
【0084】
図２２に示すスポット２２０６のような重複スポットに対して、最小二乗方程式の異なるセットが、重複スポットの重心を計算するために使用される。
【0085】
【数27】
【0086】
【数28】
【0087】
図２４は、試料標本の超解像画像を決定するための効率的な方法を実行する、図１のコンピュータシステム１４４の例示的な一例を示す。多くの小さな、中規模の、及び大きなコンピュータシステムの内部成分、並びに特化されたプロセッサベースの記憶システムは、この一般化されたアーキテクチャに関連して記述されることができる。それにも拘わらず、各々の特定のシステムは、この一般化されたアーキテクチャと類似のアーキテクチャを有する、多くの付加的な構成要素、サブシステム、及び類似の並列なシステムを備えていてもよい。コンピュータシステムは、１以上の中央処理装置（「ＣＰＵ」）２４０２〜２４０５、ＣＰＵ／メモリサブシステムバス２４１０又は複数のバスによってＣＰＵに相互接続された１つ以上の電子メモリ２４０８、追加のバス２４１４及び２４１６を有するＣＰＵ／メモリサブシステムバス２４１０と相互接続する第１ブリッジ２４１２、又は、複数の、高速シリアル相互接続を含む他の種類の高速相互接続媒体を含む。これらのバス又はシリアル相互接続は、同様に、ＣＰＵ及びメモリをグラフィックスプロセッサ２４１８のような専用プロセッサと、１つ以上の追加のブリッジ２４２０とに接続し、これらの相互接続は、高速シリアルリンクに、又は、コントローラ２４２７のような複数のコントローラ２４２２〜２４２７に相互接続され、コンピュータ読み取り可能媒体２４２８、電子ディスプレイ、入力デバイス、及び他のそのようなコンポーネント、サブコンポーネント、及び計算資源のような、様々な異なる種類のコンピュータ読み取り可能媒体へのアクセスを提供する。視覚表示画面、オーディオスピーカ、及び他の出力インターフェースを備える電子ディスプレイと、マウス、キーボード、タッチスクリーン、及び他のそのような入力インターフェースを備える入力デバイスとは、一緒に、コンピュータシステムが人間のユーザーと対話することを可能にする入出力インターフェースを構成する。コンピュータ読み取り可能媒体２４２８は、電子メモリ、光学又は磁気ディスクドライブ、ＵＳＢドライブ、フラッシュメモリ及び他のそのようなデータ記憶装置のようなデータ記憶装置である。コンピュータ読み取り可能媒体２４２８は、機械読み取り可能命令を記憶するように使用されることができ、記憶動作中に、エンコードされたデータを記憶するために使用されることができ、そこからエンコードデータは、コンピュータシステム、データ記憶システム、及び周辺機器により、読出し動作中に、読み出されることができる。機械読み取り可能命令は、上述の方法を実行し、かつ光源と対物レンズを操作する。
【0088】
速度を最適化し、かつ計算要件を最小化するために、できるだけ少ない画像が、許容されることが可能なだけ高くまで、各々の画像における活性蛍光体空間密度を増加させることによって、記録されることができる。増加した数の活性蛍光体を用いることにより、対応するスポットが、画像平面に重なり、かつ回折限界の光学システムを用いて区別されることができない可能性が高い。例えば、与えられたスポットが、一貫性のない、又は不満足な複数の余弦及び正弦ベクトル積を与えるとき、スポットが特定される。
【0089】
活性化された蛍光体は、「オフ」又は「点滅」さえ早く変わるかもしれないことに注意されたい。本明細書に記載された方法は、軸方向位置の冗長な測定値を含んでいるので、単一の蛍光体に対する一貫性のない結果は、特定されることができ、その蛍光体は、画像データから破棄される。
【0090】
実験結果軸方向に重複するシミュレートされたデータにおける重複応答曲線に一致する、最小二乗を使用したＭａｔＬａｂにおけるモンテカルロテストが、実行された。
【0091】
図２５Ａは、期待される３Ｄ−ＳＩＭの局在分布を示すモンテカルロ試験からの結果を示す。蛍光体毎に受け入れられた画像の総数は、１０個の画像を越え、１０個の画像の間で、３Ｄ−ＳＩＰは、１０分の１の期間、軸方向にステップされる。図２５Ａにおけるモンテカルロデータは、人工画像スタックから処理された。画像スタックは、ＭａｔＬａｂにおいて処理され、加算画像におけるスポットは、そこで、ＭａｔＬａｂの「ｂｗａｒｅｏｐｅｎ」機能を用いて自動的に特定された。ＳＩＰは、１０個の垂直レベルを介してＰA／１０によって軸方向にステップされ、かつ合計５０個の画像に対して、垂直レベル毎に、５つのステップに対して、ＰL／５によって横方向にステップされた。データは、図２０を参照して上述した正弦−余弦ベクトルの積法によって、処理された。スポットの重心は、ランダムに生成され、読出しノイズ及びショットノイズの影響は、ガウススポット画素の幾何学形状に組み込まれた。横方向の解像度は、同程度である。９個の画素は、含まれている各画像におけるスポット毎に加算され、ショット及び読出しノイズが含まれている。第１パネル２５０２に対して、１０００個の電子は、ピッチ／４０に等しい半値全幅（「ＦＷＨＭ」）有し、１０枚の画像に分布している。ＣＣＤ及びＣＭＯＳ検出器は、光子によって伝導バンドに励起された電子の数を測定する。ショットノイズのような量は、電子の数ではなく、カウントの数に依存する。システムに依存する係数「カウントあたりの電子」は、既知の光子伝達曲線を用いて、決定されることができる。第２パネル２５０４に対して、３００個の電子は、ピッチ／２５に等しいＦＷＨＭを有し、１０枚の画像に分布している。第３パネル２５０６に対して、１００個の電子は、ピッチ／１５に等しいＦＷＨＭを有し、１０枚の画像に分布している。本明細書に記載の方法は、ロバストであり、画像スタックを通じて分布された非常に少ない（例えば、１００個の）検出された電子を用いてさえ、超解像度３次元位置情報を提供する。
【0092】
図２５Ｂ及び図２５Ｃは、４８８ｎｍでＳＩＰによって照明された緑色１００ｎｍの蛍光ビーズを使用して得られた実際の画像からのデータである。画像スタックは、ＭａｔＬａｂで処理され、加算画像におけるスポットは、そこで、ＭａｔＬａｂの「ｂｗａｒｅａｏｐｅｎ」機能を使用して、自動的に特定された。ＳＩＰは、１０個の垂直レベルを介してＰA／１０によって軸方向にステップされ、かつ合計５０個の画像に対して、各垂直レベルにおける５つのステップに対してＰL／５によって横方向にステップされた。データは、図２０を参照して上述した正弦−余弦ベクトルの積法によって処理された。５つの横方向ステップの蛍光体毎に、２つが最も強い垂直変調信号を生成した。これらの２つの走査は、同様の変調強度であるが逆位相を報告した。２つの走査は、同じ蛍光体を観察するが、効果的に独立した実験であり、したがって、それらの結果を比較することは有意義である。エラーがなかった場合、結果は、位相が正確に１８０度ずれているであろう。図２５Ｂ及び２５Ｃは、１８０度からの相違の分布を示し、それらは、ナノメートルにＳＩＰピッチによってスケールが合わせられている。どちらの場合においても、分布のＦＷＨＭは、十分に１０ｎｍ未満であり、技術の力を発揮させている。特に、図２５Ｂは、１０個の軸方向ステップ及び５つの横方向ステップを使用して得られた５０個の画像に対する蛍光ビーズの位置の軸方向分布のヒストグラムを示す。データは、１２０５個の１００ナノメートル蛍光ビーズからなる試料を用いて得られた。２つの位相、約１８０度ずれた位相は、減算され、その平均値は、ゼロの周りでヒストグラムの中心に対して減算される。分布のＦＷＨＭは、約７ナノメートルであり、それは、約２倍の標準偏差である。図２５Ｃは、図２５Ｂに表される同じビーズの横方向分布のヒストグラムを示す。横方向分布は、図２５Ｂに示す軸方向分布とほぼ同じである。
【0093】
図２５Ｄは、完全な２π垂直３Ｄ−ＳＩＰ変位の数に対するナノメートルにおけるオフセット位置の図を示す。結果は、単一のピッチを走査することによって得られ、２π位相曖昧性における結果は、曲線２５０８によって表される。しかし、２％だけ延長された３次元視野のピッチを用いるが、同じ試料を再走査することは、曲線２５１０で表される位置オフセットを与え、同一の３Ｄ−ＳＩＰのピッチが４％だけ延長されたとき、オフセット位置は、曲線２５１２によって表されるよりも大きくさえなった。曲線２５０８、２５１０、及び２５１２は、見掛けの位置が、一般的に、第１の３Ｄ−ＳＩＰ（変位０）においてさえのピッチにおける変化に伴って変化し、かつ変位の差が区別可能であることを示す。
【0094】
図２５Ｅは、５６ナノメートルで区切られた２つの蛍光ビーズのヒストグラムを示す。モンテカルロ試験は、２つの変調された蛍光体に対するデータを適合させることにより、２蛍光体（two-fluor）仮説を試験することによって、ｚ方向における近くの蛍光体を区別した。孤立した蛍光ビーズは、２蛍光体仮説に失敗した。図２５Ｅの結果は、人工的な画像スタックを使用しなかったが、モンテカルロ変調データベクトルの分析であった。
【0095】
上述の説明は、説明の目的のために、本開示の完全な理解を提供するための特定の用語を使用した。しかし、特定の詳細は、本明細書で説明されるシステム及び方法を実施するために必要とされないことは、当業者には明らかであろう。具体的な実施例の上述の説明は、例示及び説明のために提示されている。それらは、網羅されるべきこと、又は、説明された正確な形態に本開示を限定することは、意図されていない。明らかに、多くの修正及び変形が、上述の教示に鑑みて可能である。例えば、上述のようにｚ座標を変更するために、対物レンズ１１２の焦点を変えるよりもむしろ、顕微鏡のステージ１１１が、ｚ座標における実質的に同じ変更を生成するために光軸に沿って移動されることができる。
【0096】
実施例は、本開示の原理及び実際の応用を最良に説明するために示されかつ記述されており、それによって、当業者に、本開示、及び、考えられる特定の用途に適した様々な修正を伴う様々な例を最良に利用させることを可能にする。本開示の範囲は、添付の特許請求の範囲及びその均等物によって画成されることが、意図されている。