特許 7053845 プログラマブル・アレイ顕微鏡を用いた光学共焦点結像のための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-04

(45)【発行日】2022-04-12

(54)【発明の名称】プログラマブル・アレイ顕微鏡を用いた光学共焦点結像のための方法および装置

(51)【国際特許分類】

   G02B 21/00 20060101AFI20220405BHJP

   G01N 21/64 20060101ALI20220405BHJP

   G02B 26/08 20060101ALI20220405BHJP

   G02B 26/10 20060101ALN20220405BHJP

【ＦＩ】

G02B21/00

G01N21/64 E

G02B26/08 E

G02B26/10 104Z

【請求項の数】 15

(21)【出願番号】P 2020534865

(86)(22)【出願日】2017-12-20

(65)【公表番号】

(43)【公表日】2021-03-18

(86)【国際出願番号】 EP2017083728

(87)【国際公開番号】W WO2019120502

(87)【国際公開日】2019-06-27

【審査請求日】2020-10-14

(73)【特許権者】

【識別番号】512247223

【氏名又は名称】マツクス－プランク－ゲゼルシヤフト ツール フエルデルング デル ヴイツセンシヤフテン エー フアウ

【氏名又は名称原語表記】ＭＡＸ－ＰＬＡＮＣＫ－ＧＥＳＥＬＬＳＣＨＡＦＴ ＺＵＲ ＦＯｅＲＤＥＲＵＮＧ ＤＥＲ ＷＩＳＳＥＮＳＣＨＡＦＴＥＮ Ｅ．Ｖ．

【住所又は居所原語表記】Ｈｏｆｇａｒｔｅｎｓｔｒａｓｓｅ ８，８０５３９ Ｍｕｅｎｃｈｅｎ， Ｂｕｎｄｅｓｒｅｐｕｂｌｉｋ Ｄｅｕｔｓｃｈｌａｎｄ

(74)【代理人】

【識別番号】100105360

【弁理士】

【氏名又は名称】川上 光治

(74)【代理人】

【識別番号】100145023

【弁理士】

【氏名又は名称】川本 学

(72)【発明者】

【氏名】ジョヴィン，トーマス エム

(72)【発明者】

【氏名】デ フリーズ，アントニー ハー べー

(72)【発明者】

【氏名】アルント－ジョヴィン，ドンナ ヨット

【審査官】殿岡 雅仁

(56)【参考文献】

【文献】特開平１１－１９４２７５（ＪＰ，Ａ）

【文献】特表２０１３－５２２６８４（ＪＰ，Ａ）

【文献】特開２００６－３１７５４４（ＪＰ，Ａ）

【文献】特表２００３－５１７６３８（ＪＰ，Ａ）

【文献】特開平１１－２４９０２３（ＪＰ，Ａ）

【文献】特開２０１１－１０００１２（ＪＰ，Ａ）

【文献】特表２０１５－５１３６７１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２０２１７８（ＵＳ，Ａ１）

【文献】DE VRIES ANTHONY H B; ET AL，GENERATION 3 PROGRAMMABLE ARRAY MICROSCOPE (PAM) FOR HIGH SPEED LARGE FORMAT 以下備考，PROCEEDINGS OF SPIE，SPIE，2015年03月10日，VOL:9376,，PAGE(S):93760C1 - 15，http://dx.doi.org/10.1117/12.2076390，OPTICAL SECTIONING IN FLUORESCENCE

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２１／００ － ２１／３６

(57)【特許請求の範囲】

【請求項1】

プログラマブル・アレイ顕微鏡（ＰＡＭ）（１００）を用いて行われる光学共焦点結像方法であって、
前記プログラマブル・アレイ顕微鏡（ＰＡＭ）（１００）は、光源デバイス（１０）と、複数の反射変調器要素を有する空間光変調器デバイス（２０）と、ＰＡＭ対物レンズと、カメラ・デバイス（３０）とを有し、
前記空間光変調器デバイス（２０）は、複数の第１群の変調器要素（２１）が、励起光を調査対象の物体の共役位置へと方向付けるようおよび前記共役位置から発する検出光を前記カメラ・デバイス（３０）へと方向付けるよう選択可能であるように、および、複数の第２群の変調器要素（２２）が、前記物体の非共役位置からの検出光を前記カメラ・デバイス（３０）へと方向付けるよう選択可能であるように、構成され、
－ 前記光源デバイス（１０）からの励起光を前記複数の第１群の変調器要素を介して調査対象の前記物体へと方向付ける工程であって、所定のパターン・シーケンスの照射スポットが前記物体の前記共役位置に集束するように前記空間光変調器デバイス（２０）が制御され、現在のＰＡＭ照射開口を規定する少なくとも１つの単一変調器要素によって各照射スポットが形成される、工程と、
－ 各パターンのＰＡＭ照射開口に対して前記物体の共役位置からの検出光を収集することに基づいて共役画像Ｉ_ｃの画像データを収集する工程と、
－ 各パターンのＰＡＭ照射開口に対して前記カメラ・デバイス（３０）の非共役カメラ・チャネルで前記複数の第２群の変調器要素（２２）を介して前記物体の非共役位置からの検出光を収集することに基づいて非共役画像Ｉ_ｎｃの画像データを収集する工程と、
－ 前記共役画像Ｉ_ｃおよび前記非共役画像Ｉ_ｎｃの画像データに基づいて前記物体の光断層像（ＯＳＩ）を生成する工程と、
を含み、
－ 前記共役画像Ｉ_ｃの画像データを収集する工程は、
－ 各パターンのＰＡＭ照射開口に対して前記カメラ・デバイス（３０）の前記非共役カメラ・チャネルで、前記現在のＰＡＭ照射開口を包囲する前記複数の第２群の変調器要素（２２）の中の複数の変調器要素を介して前記物体の前記共役位置からの前記検出光の一部を収集すること
を含み、
特徴として、
－ 較正光源デバイス（１０）で前記複数の変調器要素に照射する工程と、
－ 前記複数の変調器要素で較正パターンのシーケンスを生成する工程と、
－ 前記カメラ・デバイス（３０）を用いて前記較正パターンの較正画像を記録する工程と、
－ 前記記録した較正画像を処理して、前記カメラ・デバイス（３０）の各カメラ・ピクセルを前記複数の変調器要素の中の１つに割り当てる較正データを生成する工程と、
を有する較正手順を含み、
－ 全ての収集された画像が累積され、複数のカメラ信号がそれらの対応する発生元の変調器要素に逆マッピングされ、
－ 前記複数のカメラ信号の複数の重心は、前記対応する発生元の変調器要素に割り当て可能な信号強度を生成するように所定のアルゴリズムによって複数の強度が合成された１つの局所的部分画像を規定するものである、
光学共焦点結像方法（３０）。

【請求項2】

前記空間光変調器デバイス（２０）は、前記現在のＰＡＭ照射開口が、近似的にＭ＊λ／２ＮＡ以下の径を有するように制御され、ここで、λは前記励起光の中心波長であり、ＮＡは前記対物レンズの開口数であり、Ｍは、前記変調器開口と調査対象の前記物体との間の前記対物レンズおよびリレー・レンズの合成倍率である、請求項１に記載の結像方法（３０）。

【請求項3】

前記現在のＰＡＭ照射開口の各々が１００μｍ未満の寸法を有する、請求項１または２に記載の結像方法。

【請求項4】

前記ＰＡＭ照射開口の各々が１つの単一変調器要素（２１）によって形成される、請求項１乃至３のいずれかに記載の結像方法。

【請求項5】

－ 前記ＰＡＭ照射開口の各々に対して、個々の変調器要素は、前記ＰＡＭ照射開口に対応する前記カメラ・デバイス（３０）の前記非共役カメラ・チャネルの前記カメラ信号の重心を包囲する非共役カメラ・ピクセル・マスク（３）を規定し、
－ 各非共役カメラ・ピクセル・マスク（３）が拡張され、
－ 背景の信号の推定が、前記非共役（Ｉ_ｎｃ）画像および共役（Ｉ_ｃ）画像の前記画像データの補正として用いるために、前記拡張された非共役カメラ・ピクセル・マスク（３）から得られ、
－ 前記カメラ・デバイス（３０）の前記非共役カメラ・チャネルに対応する光断層像（ＯＳＩ_ｎｃ）成分が形成される
請求項１乃至４のいずれかに記載の結像方法。

【請求項6】

前記共役画像Ｉ_ｃを形成する工程は、さらに、
－ 各パターンのＰＡＭ照射開口に対して前記カメラ・デバイス（３０）の共役カメラ・チャネルで前記複数の第１群の変調器要素（２１）を介して前記物体の前記共役位置および前記非共役位置からの検出光を収集することによって、部分共役画像Ｉ_ｃを形成し、
－ 前記カメラ・デバイス（３０）の前記共役カメラ・チャネルで収集された前記画像から前記部分共役画像Ｉ_ｃを抽出し、
－ Ｉ_ｎｃの評価量からその非共役寄与分の推定量を減算することによって前記部分共役画像Ｉ_ｃを補正し、
－ 前記Ｉ_ｃチャネルに対応する前記光断層像（ＯＳＩ_ｃ）成分を形成し、
－ 前記非共役寄与分と共役寄与分を合成する（ＯＳＩ＝ＯＳＩ_ｎｃ＋ＯＳＩ_ｃ）ことによって前記光断層像全体（ＯＳＩ）を形成する
ことを含むものである、請求項１乃至５のいずれかに記載の結像方法。

【請求項7】

－ 前記ＰＡＭ照射開口の各々に対して、個々の変調器要素は、前記ＰＡＭ照射開口に対応する前記カメラ・デバイス（３０）の前記共役カメラ・チャネルの前記カメラ信号の重心を包囲する共役カメラ・ピクセル・マスク（３）を規定し、
－ 前記共役カメラ・ピクセル・マスク（３）が拡張され、
－ 背景の信号の推定が、前記光断層像を形成するように前記共役（Ｉ_ｃ）画像および非共役（Ｉ_ｎｃ）画像の補正として用いるために、前記拡張された共役カメラ・ピクセル・マスク（３）から得られる、
請求項６に記載の結像方法。

【請求項8】

－ 前記較正パターンは、各々が少なくとも１つの単一変調器要素によって生成され重複のないカメラ応答を有する複数の光スポットからなる正規の、好ましくは六角格子の、マトリックスのシーケンスを含む、
－ 前記較正パターンの数は、全ての変調器要素が、前記較正画像を記録し前記較正データを生成するために使用されるように、選択される、および
－ 前記較正パターンのシーケンスは、連続的パターンの変調器要素相互間の分離が最大化されるように、ランダム化される
という特徴の中の少なくとも１つの特徴を含む、請求項１乃至７のいずれかに記載の結像方法。

【請求項9】

－ 前記個々の変調器要素から受け取った光に応答する前記カメラ・デバイス（３０）の前記カメラ・ピクセルは、前記較正手順を用いて前記対応する変調器要素にマッピングされる前記マトリックスのカメラ・ピクセルにおける相対的なカメラ信号強度およびそれらの座標の区別可能な固有の安定した分布を形成するものである、請求項１乃至８のいずれかに記載の結像方法。

【請求項10】

－ 前記複数の第１群の変調器要素（２１）は、重複のない応答を有する少数（限界１）の要素からなる複数のアレイであり、個々の変調器要素の前記カメラ信号は、前記マトリックスのカメラ・ピクセルにおけるおよび前記較正手順によって規定された前記マトリックスの変調要素における座標を有する相対的信号強度の区別可能な固有の安定した分布を構成するものである、請求項１乃至９のいずれかに記載の結像方法。

【請求項11】

さらに、反対側から適用される１つ以上の光源を用いた同じパターンでの同時励起またはタイムシフト励起を含む、請求項１０に記載の結像方法。

【請求項12】

前記複数の第１群の変調器要素は小数の（限界１）の要素からなる２次元直線アレイからなり、個々の変調器要素の前記カメラ信号は、前記マトリックスのカメラ・ピクセルにおけるおよび前記較正手順によって規定された前記マトリックスの変調要素における座標を有する相対信号強度の区別可能な固有の安定した分布を構成するものである、請求項８乃至１１のいずれかに記載の結像方法。

【請求項13】

－ 前記光源デバイス（１０）は、励起光を前記物体の前記共役位置へと方向付けるよう配置された第１の光源と、励起光を前記物体の前記非共役位置へと方向付けるよう配置された第２の光源とを含み、
－ 前記第２の光源は、前記第１の光源によって生成された前記励起が前記物体の前記共役位置に制限されるように、前記励起光を生成するよう制御されるものである、
請求項１乃至１２のいずれかに記載の結像方法。

【請求項14】

前記第２の光源は、前記物体の前記共役位置の周りに抑制された励起状態を形成するよう制御されるものである、請求項１３に記載の結像方法。

【請求項15】

前記物体からの前記検出光は、遅延放出光、例えば遅延蛍光およびリン光、であって、励起および蛍光のための開口パターンが区別可能であり実験的に同期可能であるようになっているものである、請求項１乃至１４のいずれかに記載の結像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラマブル（プログラム可能な）アレイ顕微鏡（ＰＡＭ）を用いて行われる光学共焦点結像方法に関する。さらに、本発明は、時空間光変調結像系（システム）を用いて共焦点光学結像を行うよう構成されたＰＡＭに関する。本発明の適用例は、特に共焦点顕微鏡法に存在する。

【背景技術】

【0002】

欧州特許出願公開第９１１６６７号、欧州特許出願公開第９１６９８１号および欧州特許第２３６９４０１号には、蛍光顕微鏡法における迅速な広視野（ワイドフィールド）光断層化（切断、断面）を達成するために、同時に捕捉される共役（ｃ、“合焦” （in-focus、焦点内）、Ｉ_ｃ）と非共役（ｎｃ、“焦点外れ”（out-of-focus）、Ｉ_ｎｃ）の２Ｄ（２次元）画像の組合せに基づいて作動されるＰＡＭが開示されている。複数の開口（“ピンホール”）は、大型の（現在は１０８０ｐ、１９２０×１０８０の）デジタル・マイクロミラー・デバイス（ＤＭＤ）アレイの起動された（“オン”状態の）マイクロミラー要素（素子）の分布によって規定または画定される。ＤＭＤは、（１つ以上の）光源デバイスおよび（１つ以上の）カメラ・デバイスを含むＰＡＭモジュールが単一の出力／入力ポートを介して取り付けられた顕微鏡の主画像フィールドに配置される。ＤＭＤは、或るパターンの励起光を試料へと方向付け、かつ、対応する放射光を同じマイクロミラー・パターンを介して受け取りそれをカメラ・デバイスへと方向付ける、という二重の目的を果たす。ＤＭＤは励起目的に広く適用されるが、励起経路（パス）と検出経路の双方におけるそれらの使用（“二重（デュアル）経路原理”）は、ＰＡＭの思想とその実現に特有のものである。“オン”状態および“オフ”状態の各ミラーは、それぞれｃ画像とｎｃ画像のレジストレーション（位置合せ、重ね合せ）のために、蛍光信号（シグナル）を二重（デュアル）カメラへと方向付ける。

【0003】

通常の手順では、所与のシーケンスのパターンによって生成された各信号が、最大捕捉速度を可能にするために、蓄積されて、各単一露出（露光）として各カメラから読み出された。しかし、通常のＰＡＭ動作手順には、通常の単純な蛍光放出を測定するための、空間結像（画像化）解像度（分解能）、システムの複雑性、および／または制限に関して、諸限界が存在し得る。特に、通常のＰＡＭのカメラ・デバイスは、共役および非共役画像をそれぞれ収集するのに必要な２つのカメラ・チャネルを必然的に含んでいる。さらに、高度な蛍光測定技術、特に構造化照射蛍光顕微鏡法（ＳＩＭ）（J. Demmerle et al., "Nature Protocols" vol. 12, 988-1010 (2017)を参照）、または単一分子局在蛍光顕微鏡法（ＳＭＬＭ）（Nicovich et al., "Nature Protocols" vol. 12, 453-460 (2017)を参照）、または蛍光顕微鏡で実質的に１００ｎｍ未満の解像度を達成する超解像蛍光顕微鏡法は、通常のＰＡＭでは実現できない。超解像蛍光顕微鏡法には、 例えば、選択抑制法（selective depletion methods）、例えば、ＲＥＳＯＬＦＴ（可逆的飽和光学蛍光遷移、切替性光学蛍光遷移）（Nienhaus et al., "Chemical Society Reviews" vol. 43, 1088-1106 (2014)）、確率的光学再構成顕微鏡法（ＳＴＯＲＭ（stochastic optical reconstruction microscopy）、Tam and Merino in Journal of Neurochemistry, vol. 135, 643-658 (2015)参照）; またはＭｉｎＦｌｕｘ（最小放射束）（C. A. Combs et al., "Fluorescence microscopy: A concise guide to current imaging methods. Current Protocols in Neuroscience" 79, 2.1.1-2.1.25. doi: 10.1002/cpns.29 (2017)；およびBalzarotti et al., "Science" 355, 606-612 (2017) 参照）が含まれる。

【先行技術文献】

【特許文献】

【0004】

【文献】欧州特許出願公開第９１１６６７号

【文献】欧州特許出願公開第９１６９８１号

【文献】欧州特許第２３６９４０１号

【非特許文献】

【0005】

【文献】J. Demmerle et al., "Nature Protocols" vol. 12, 988-1010 (2017)

【文献】Nicovich et al., "Nature Protocols" vol. 12, 453-460 (2017)

【文献】Nienhaus et al., "Chemical Society Reviews" vol. 43, 1088-1106 (2014)

【文献】Tam and Merino in Journal of Neurochemistry, vol. 135, 643-658 (2015)

【文献】C. A. Combs et al., "Fluorescence microscopy: A concise guide to current imaging methods. Current Protocols in Neuroscience" 79, 2.1.1-2.1.25. doi: 10.1002/cpns.29 (2017)

【文献】Balzarotti et al., "Science" 355, 606-612 (2017)

【発明の開示】

【0006】

発明の目的
本発明の目的は、通常の技術の欠点を解消することができる、共焦点光学結像のための改善された方法および／または装置を実現することである。特に、本発明の目的は、増大された空間分解能、低減されたシステムの複雑性、および／または高度な蛍光測定技術の新しいＰＡＭ適用例を有する共焦点光学結像を実現することである。

【0007】

発明の概要
上述の目的は、各独立請求項の中の１つの請求項の諸特徴を含む、光学共焦点結像法および／または時空間光変調結像系（プログラマブル・アレイ顕微鏡、ＰＡＭ）によって達成（解決）される。本発明の好ましい実施形態および適用例は、従属請求項に記載される。

【0008】

本発明の第１の一般的な態様によれば、上述の目的は、ＰＡＭを用いて行われる光学共焦点結像方法によって達成（解決）され、そのＰＡＭは、光源デバイスと、複数の反射変調器要素（elements：素子）を有する空間光変調器デバイスと、ＰＡＭ対物レンズと、カメラ・デバイスとを有する。空間光変調器デバイス、特に個別に傾斜可能なミラーのアレイを有するディジタル・マイクロミラー・デバイス（ＤＭＤ）は、複数の第１群の変調器要素（first groups of modulator elements）が、励起光を調査対象の物体（試料）の共役位置へと方向付けるようおよびこれらの（共役）位置から発する検出光をカメラ・デバイスへと方向付けるよう選択可能であるように、および、複数の第２群の変調器要素（second groups of modulator elements）が、その物体の非共役位置からの検出光をカメラ・デバイスへと方向付けるよう選択可能であるように、構成される。

【0009】

光学共焦点結像方法は、次の複数の工程を含んでいる。励起光が、光源デバイスから、特に複数の第１群の変調器要素を介しおよび反射および／または屈折結像光学系を介して、調査対象の物体へと方向付けられる（励起または照明工程）。空間光変調器デバイスは、所定のパターン・シーケンスの照射スポットが物体の各共役位置に集束するように制御され、その際、各照射スポットは、現在（着目）のＰＡＭ照射開口を規定または画定する１つの単一変調器要素または一群の隣接する変調器要素によって生成される。共役画像Ｉ_ｃの画像データおよび非共役画像Ｉ_ｎｃの画像データは、カメラ・デバイスで収集される。共役画像Ｉ_ｃの画像データは、各パターンの照射スポットおよびＰＡＭ照射開口に対して、物体の各共役位置からの検出光を使用することによって収集される（それら共役位置は、空間光変調器表面におよび（１つまたは複数の）カメラ・デバイスの結像面に対する共役焦点面である物体における平面における各位置である）。非共役画像Ｉ_ｎｃの画像データは、各パターンの照射スポットおよびＰＡＭ照射開口に対して、物体の非共役位置（共役位置とは異なる位置）から複数の第２群の変調器要素を介して受け取った検出光を使用することによって収集される。物体の光断層像（ＯＳＩ：光学断面画像）は、好ましくはＰＡＭに含まれる制御デバイスを用いて、共役画像Ｉ_ｃおよび非共役画像Ｉ_ｎｃに基づいて、生成される。制御デバイスは、例えば、光源デバイスおよび空間光変調器デバイスを制御するための少なくとも１つの制御ユニットと、カメラ・デバイスから受信したカメラ信号を処理するための少なくとも１つの計算ユニットとをそれぞれが含む少なくとも１つのコンピュータ回路を含んでいる。

【0010】

本発明によれば、共役画像Ｉ_ｃの画像データを収集するその工程は、各パターンのＰＡＭ照射開口に対して、カメラ・デバイスの非共役カメラ・チャネルで現在のＰＡＭ照射開口を包囲する複数の第２群の変調器要素の中の複数の変調器要素を介して、物体の各共役位置からの検出光の一部を収集することを含んでいる。調査対象の物体（試料）における開口サイズおよび吸収／放出種（species）の３次元（３Ｄ）分布に応じて、共役Ｉ_ｃ画像は、試料の非共役位置（配置）から発した（発生した）検出光の一部割合（fraction）をも含み得る。逆に、非共役Ｉ_ｎｃ画像は、試料の共役位置（配置）から発した検出光の一部割合をも含み得る。本発明によれば、特にＯＳＩを形成するその工程は、Ｉ_ｃ画像およびＩ_ｎｃ画像における共役および非共役検出光の各割合を計算しその両信号を合成する（組み合わせる）ことに基づく。この目的を達成するために、本発明は、次のような励起光の特性を使用し、即ち、その励起光は、物体の共役（“合焦”または“焦点内”（in-focus））体積（空間）要素に当たる（衝突する）だけでなく、結像光学系に対応する３次元（３Ｄ）ｐｓｆ（“３次元点広がり関数”、例えば、焦点面付近で（について）近似的に楕円体であり、例えば焦点面からの軸方向距離が長くなるにしたがって円錐状に、発散する）によって決定づけられまたは影響される強度分布でかつそれによって励起種の非共役（“焦点外れ”（out-of-focus））分布が形成される強度分布で、物体を横断もするものである。発明者が発見したこととして、照射チャネルおよび検出チャネルにおけるＰＡＭ結像光学系の点広がり関数（ｐｓｆ）に起因して、小さいＰＡＭ照射開口での動作の場合に、物体の共役位置からの検出光のかなりの部分が、非共役カメラ・チャネルへと方向付けられ、そこで（非共役カメラ・チャネルで）それが物体の非共役位置からの検出光と重ね合わされ、また、その両方の寄与分が互いに分離できる。これによって、ＰＡＭは、非共役カメラ・チャネルを形成する１つの単一カメラのみを有することができるので、システムの複雑さが大幅に低減し、また、非共役カメラ・チャネルを介した光の収集によって照射開口のサイズ（照射光スポット直径）を低減できるので、分解能（解像度）が増大する。小さい照射開口と検出光の効率的な収集との組合せによって、高い信号対ノイズ（雑音）比を維持しつつ、横方向の空間分解能（解像度）と光断層化効率が大幅に向上する。

【0011】

本発明の第２の一般的な態様によれば、上述の目的は、ＰＡＭを用いて行われる光学共焦点結像方法によって達成（解決）され、そのＰＡＭは、本発明の第１の態様によるＰＡＭと同様に、光源デバイスと、複数の反射変調器要素を有する空間光変調器デバイスと、ＰＡＭ対物レンズと、カメラ・デバイスとを有する。特に、本発明の第１の態様を参照して述べたように、空間光変調器デバイスが作動され、励起光が調査対象の物体へと方向付けられる。共役画像Ｉ_ｃは、各パターンの照射スポットおよびＰＡＭ照射開口に対して、カメラ・デバイスの共役カメラ・チャネルで複数の第１群の変調器要素を介して物体の各共役位置からの検出光を収集することによって形成され、非共役画像Ｉ_ｎｃは、各パターンの照射スポットおよびＰＡＭ照射開口に対して、カメラ・デバイスの非共役カメラ・チャネルで複数の第２群の変調器要素を介して物体の非共役位置からの検出光を収集することによって形成される。物体の光学断層化（切断、断面）画像は、共役画像Ｉ_ｃおよび非共役画像Ｉ_ｎｃに基づいて得られる。

【0012】

本発明によれば、共役（Ｉ_ｃ）画像および非共役（Ｉ_ｎｃ）画像は、各変調器要素の位置をカメラ・デバイスの、特に共役および非共役カメラ・チャネルを形成するカメラの、カメラ・ピクセル位置にマッピングすることを含む較正手順によって得られた較正データを使用することによって、相互に位置合せされる。較正手順は、較正画像を収集し、記録された較正画像を処理して、カメラ・デバイスの各カメラ・ピクセルをそれらの変調器要素の１つに割り当てる較正データを生成するようにすることを含んでいる。

【0013】

利点として、較正手順を適用することによって、“不鮮明な”記録されたスポットの総和の強度を空間光変調器デバイス（ＤＭＤアレイ）における既知の複数の単一位置にマッピングすることができ、従って空間結像解像度（画像分解能）が向上する。さらに、ｃおよびｎｃの各カメラ画像が元の同じ（供給源）ＤＭＤアレイにマッピングされ、従ってＤＭＤ空間におけるｃ分布とｎｃ分布の完全なレジストレーションが保証される。これらの利点は、通常のＰＡＭの動作に較正手順を追加することによって、直ぐに得ることができる。以下でさらに概説されるように、本発明の第１の一般的な態様による光学共焦点撮像方法の実施形態に較正手順が適用される場合、特定の利点が得られる。

【0014】

本発明の第３の一般的な態様によれば、上述の目的は、光源デバイスと、複数の反射変調器要素を有する空間光変調器デバイスと、ＰＡＭ対物レンズと、リレー（中継）光学系と、カメラ・デバイスと、制御デバイスとを有するＰＡＭによって達成（解決）される。ＰＡＭは、本発明の上述の第１の一般的な態様による光学共焦点結像方法を実行するよう構成されることが、好ましい。空間光変調器デバイスは、複数の第１群の変調器要素が、励起光を調査対象の物体の共役位置へと方向付けるようおよびこれらの位置から発する検出光をカメラ・デバイスへと方向付けるよう選択可能であるように、および、複数の第２群の変調器要素が、物体の非共役位置からの検出光をカメラ・デバイスへと方向付けるよう選択可能であるように、構成される。光源デバイスは、励起光を複数の第１群の変調器要素を介して調査対象の物体へと方向付けるよう配置され、その際、制御デバイスは、所定のパターン・シーケンスの照射スポットが物体の共役位置に集束されるように空間光変調装置を制御するよう適合化され、また、各照射スポットは、現在のＰＡＭ照射開口を規定または画定する少なくとも１つの単一変調器要素によって形成される。カメラ・デバイスは、各パターンの照射スポットおよびＰＡＭ照射開口に対して物体の共役位置からの検出光を収集することによって、共役画像Ｉ_ｃの画像データを収集するよう配置される。さらに、カメラ・デバイスは非共役カメラ・チャネルを含み、これ（カメラ・チャネル）は、各パターンの照射スポットおよびＰＡＭ照射開口に対して複数の第２群の変調器要素を介して物体の非共役位置からの検出光を収集することによって、非共役画像Ｉ_ｎｃの画像データを収集するよう構成される。制御デバイスは、共役画像Ｉ_ｃおよび非共役画像Ｉ_ｎｃに基づいて物体の光断層像を生成するよう適合化される。制御デバイスは、例えば、光源デバイスおよび空間光変調器デバイスを制御するための少なくとも１つの制御ユニットと、カメラ・デバイスから受信したカメラ信号を処理するための少なくとも１つの計算ユニットとをそれぞれ含む少なくとも１つのコンピュータ回路、を含んでいる。

【0015】

本発明によれば、カメラ・デバイスの非共役カメラ・チャネルは、各パターンの照射スポットおよびＰＡＭ照射開口に対して、現在のＰＡＭ照射開口を包囲する１つの第２群の変調器要素の中の複数の変調器要素を介して物体の共役位置からの検出光の一部を収集するよう配置される。制御デバイスは、非共役画像Ｉ_ｎｃに含まれる寄与分としての共役画像Ｉ_ｃを抽出するよう適合化されることが、好ましい。

【0016】

本発明の第４の一般的な態様によれば、上述の目的は、光源デバイスと、複数の反射変調器要素を有する空間光変調器デバイスと、ＰＡＭ対物レンズと、リレー光学系と、カメラ・デバイスと、制御デバイスとを有するＰＡＭによって達成（解決）される。そのＰＡＭは、本発明の上述の第２の一般的な態様による光学共焦点結像方法を実行するよう構成されることが、好ましい。空間光変調器デバイスは、複数の第１群の変調器要素が、励起光を調査対象の物体の共役位置へと方向付けるようおよびこれらの位置から発する検出光をカメラ・デバイスへと方向付けるよう選択可能であるように、および、複数の第２群の変調器要素が、物体の非共役位置からの検出光をカメラ・デバイスへと方向付けるよう選択可能であるように、構成される。光源デバイスは、励起光を複数の第１群の変調器要素を介して調査対象の物体へと方向付けるよう配置される。制御デバイスは、所定のパターン・シーケンスの照射スポットが物体の共役位置に集束されるように空間光変調器デバイスを制御するよう適合化され、その際、各照射スポットは、現在のＰＡＭ照明開口を規定または画定する少なくとも１つの単一変調器要素によって形成される。カメラ・デバイスは、各パターンの照射スポットおよびＰＡＭ照射開口に対して複数の第１群の変調器要素を介して物体の共役位置からの検出光を収集することによって、共役画像Ｉ_ｃを形成するよう構成された共役カメラ・チャネル（ｃカメラ）を有する。さらに、カメラ・デバイスは非共役カメラ・チャネル（ｎｃカメラ）を有し、そのチャネルは、各パターンの照射スポットおよびＰＡＭ照射開口に対して複数の第２群の変調器要素を介して物体の非共役位置からの検出光を収集することによって、非共役画像Ｉ_ｎｃを形成するよう構成される。制御デバイスは、共役画像Ｉ_ｃおよび非共役画像Ｉ_ｎｃに基づいて物体の光断層像を生成するよう適合化される。

【0017】

本発明によれば、制御デバイスは、複数の変調器要素の位置を複数のカメラ・ピクセル位置にマッピングすることを含む較正手順によって得られる較正データを使用することによって、共役（Ｉ_ｃ）画像と非共役（Ｉ_ｎｃ）画像を位置合せするよう適合化される。

【0018】

本発明の好ましい実施形態によれば、空間光変調器デバイスは、現在のＰＡＭ照射開口が近似的にＭ＊λ／２ＮＡ以下の径（直径）を有するように制御され、ここで、λは励起光の中心波長であり、ＮＡは対物レンズの開口数であり、Ｍは、変調器開口と調査対象の物体との間の対物レンズとリレー・レンズの合成（組合せ）倍率（combined magnification）である。利点として、ＰＡＭ照射開口は、エアリーディスクの直径以下の径（直径）を有し（それ（ディスク）は、円形開口を有する完全レンズが形成できるであろう最も焦点が合った回折限界の光スポットを表す）、従って、通常の各ＰＡＭおよび共焦点顕微鏡と比較して横方向の空間分解能（解像度）が増大する。本発明の特に好ましい実施形態によれば、現在のＰＡＭ照射開口の各々は１００μｍ以下の寸法を有する。

【0019】

１つの光スポットまたはＰＡＭ照射開口を形成する変調器要素の数は、使用するＤＭＤアレイの変調器要素（ミラー）のサイズと、分解能（解像度）の諸要件とに応じて、選択することができる。複数の変調器要素がＰＡＭ照射開口を形成する場合、それらは、コンパクトな配置構成、例えば正方形、を有することが好ましい。ＰＡＭ照射開口の各々は１つの単一変調器要素によって形成されることが、好ましい。従って、最大の空間分解能（解像度）の利点が得られる。

【0020】

本発明の別の有利な実施形態によれば、カメラ・デバイスは、非共役カメラ・チャネルに加えて、共役カメラ・チャネル（共役カメラ）をさらに含んでいる。この場合、共役画像Ｉ_ｃを形成する工程は、各パターンの照射スポットおよびＰＡＭ照射開口に対して共役カメラ・チャネルで複数の第１群の変調器要素を介して物体の共役位置および非共役位置からの検出光を収集し、その共役カメラ・チャネルで収集された画像から部分共役画像Ｉ_ｃを抽出することによって、部分共役画像Ｉ_ｃを形成し、さらに、部分共役画像Ｉ_ｃと、非共役画像Ｉ_ｎｃから抽出された寄与分とを重ね合わせることによって光断層像を形成すること、を含んでいる。利点として、この実施形態では、光断層像は、共役位置からの全ての利用可能な光を含み、従って画像信号ＳＮＲ（信号対ノイズ比）が改善される。

【0021】

ＰＡＭ照射開口の各々に関して、（１つのＰＡＭ照射開口に含まれるまたはその開口を包囲する）複数のＰＡＭ照射開口の個々の変調器要素は、１つのＰＡＭ照射開口に対応するカメラ・デバイスのそれぞれの共役または非共役カメラ・チャネルのカメラ信号の重心を包囲する共役または非共役カメラ・ピクセル・マスクを規定または画定することが、好ましい。それぞれの各共役または非共役カメラ・ピクセル・マスクは拡張（膨張）させられ、共役（Ｉ_ｃ）画像および非共役（Ｉ_ｎｃ）画像の補正（量、値）として用いるために、拡張した共役または非共役カメラ・ピクセル・マスクから、それぞれの背景の共役または非共役信号の推定（量、値）（estimations：概算（量、値））が得られる。利点として、そのマスクの形成および拡張によって、画質を改善する追加的な背景情報が得られる。

【0022】

本発明の第１の一般的態様による光学共焦点結像方法の特に好ましい実施形態によれば、較正光源デバイスで複数の変調器要素に照射する工程と、複数の変調器要素で較正パターンのシーケンスを生成する工程と、カメラ・デバイスで較正パターンの較正画像を記録する工程と、カメラ・デバイスの各カメラ・ピクセルを複数の変調器要素の中の１つに割り当てる較正データを生成するようにその記録された較正画像を処理する工程と、を含む較正手順、が適用される。較正光源デバイスは、例えば、空間光変調器デバイスに正面から均一に照射（照明）する白色光源またはカラー光源を（蛍光物体の代わりに）含んでいる。較正手順を用いて、２つのｃおよびｎｃ画像の正確なレジストレーション（位置合せ）というＰＡＭ動作（操作）の主要な技術的課題が解決される。

【0023】

較正パターンは、各々が少なくとも１つの単一変調器要素によって生成される光スポットの、例えば正則（規則的）マトリックスの、好ましくは六角格子マトリックスの、シーケンスを含んでおり、その光スポットは、重複のない（非オーバラップの）カメラ応答を有するものであることが、好ましい。換言すれば、本発明の全ての態様において較正を使用する好ましい実施形態によれば、選択された複数の変調器要素の分離は、カメラ・デバイスによって記録された誘発信号（evoked signals）の対応する分布が隣接の各分布の信号から明確に分離されるようなものである。利点として、カメラ画像における複数の記録スポットは、それらが明確に（一義的に）セグメント化できるように、重複なく充分に分離される。光スポットの六角格子マトリックスは、複数の単一変調器要素がカメラ検出器平面内で全ての方向に互いに等しくかつ充分に離れていて、カメラで複数の単一変調器要素からの単一応答の収集が最適化される、という利点があるので、特に好ましい。

【0024】

本発明の全ての態様において較正を使用する別の好ましい実施形態によれば、較正パターンの数は、全ての変調器要素が各較正画像を記録し較正データを形成するのに使用されるように、選択される。利点として、これによって、空間光変調器デバイスを完全にカバーする較正が可能になる。

【0025】

本発明の全ての態様において較正を使用する別の好ましい実施形態によれば、較正パターンのシーケンスは、連続的パターンの変調器要素相互間の分離が最大化されるように、ランダム化される。利点として、これによって、互いに隣接する軌跡（loci）の時間的摂動または擾乱（temporal perturbations）（例えば、一時的な抑制（depletion：枯渇））を最小化することできる。

【0026】

本発明の別の利点として、個々の変調器要素から受け取った光に応答するカメラ・デバイス（ｃおよび／またはｎｃチャネル）のカメラ・ピクセル、即ちピクセルのカメラ信号は、較正手順を使用して対応の変調器要素にマッピングされるそのマトリックスのカメラ・ピクセルにおける座標に対応付けられる相対的なカメラ信号強度の区別可能な固有のかつ安定した分布を形成することが、好ましい。その分布は、複数の変調器要素から発せられる（で生じる）各強度の任意の分布に対する応答を規定する連立線形方程式で記述される。

【0027】

利点として、様々なマッピング技術が利用可能である。第１の変形例（重心（セントロイド）法）によれば、収集された全ての較正パターン画像が蓄積され（照射パターンのシーケンス全体の画像信号の重ね合わせ）、カメラ信号が、対応する元の変調器要素に逆マッピングされ、その際、カメラ信号の重心（セントロイド）は、複数の強度が所定アルゴリズム（例えば、重心位置を中心とする３×３領域の算術またはガウス平均値）によって結合または合成される局所的（ローカル）部分（サブ）画像を規定して、対応するまたは元の変調器要素に割り当て可能な信号強度を生成するようにする。同じ手順が、共役チャネルと非共役チャネルに互いに独立に適用され、その結果、変調器要素の座標系においてその２つが位置合せされる。

【0028】

第２の変形例（エアリー開口法）によれば、収集された全ての画像が蓄積され、カメラ信号が再びそれらの対応する元の変調器要素へと逆マッピングされる。照射パターンのシーケンス全体の画像信号が重ね合わされる。照射パターンは、（励起光の中心波長に関連する）エアリー直径と同程度である寸法の照射開口を含んでいる。この場合、パターン・シーケンス全体に対する重複（オーバラップ）したカメラ応答から生じる画像内の全ての各位置における全ての各信号は、較正手順で既知の係数を有する一次方程式で表され、対応する変調器要素に当たる（衝突する）対応の放出信号は、画像全体を記述する連立一次方程式（system of linear equations）の解によって得られる。従って、個々の変調器要素の応答を表すカメラ信号は、変調器マトリックスにおけるそれらの対応する座標へと逆にマッピングされて、パターン・シーケンス全体に対する重複した応答から生じる画像内の全ての各位置での信号を、既知の係数を有する一次方程式で表すことができ、対応する複数の変調器要素に当たるその放出信号は、特定の位置（座標）に寄与し、その際、これらの信号は、画像全体を記述する連立一次方程式の解によって評価される。利点として、連立一次方程式を使用することによって、蛍光画像が改善された精度で得られる。

【0029】

本発明の特定の適用例では、空間光変調器デバイスおよび第１の励起光源に対して反対側から適用される（当てられる）１つ以上の光源で、同じパターンで、同時のまたは時間シフトされた励起が与えられる。励起光が一方の側のみから供給される通常の技術とは対照的に、この実施形態によって、少なくとも１つの第２の側からの励起が可能になる。少なくとも１つの第２の励起光源を使用して、物体における励起状態の局所的分布を制御することができ、特に、共役位置または非共役位置における励起状態の数を減らすことができる。利点として、この実施形態によって、例えば、ＲＥＳＯＬＦＴ、ＭＩＮＦＬＵＸ、ＳＩＭおよび／またはＳＭＬのような、高度の蛍光画像技術の適用が可能になる。

【0030】

従って、本発明の好ましい実施形態では、光源デバイスは、励起光を物体の共役位置へと方向付けるよう配置された第１の光源と、励起光を物体の非共役位置へと方向付けるよう配置された第２の光源とを含んでおり、また、第２の光源は、第１の光源によって形成される励起が物体の共役位置に制限されるように、励起光を生成するよう制御される。特に、第２の光源は、物体の共役位置の付近（周り）に、抑制された（枯渇した）励起状態を形成するよう制御することができる。

【0031】

さらに、物体からの検出光は、例えば遅延した蛍光およびリン光のような遅延放出光であってもよく、励起および検出のための変調器要素の各開口パターンが、区別可能で実験的に同期させることができるようになっていてもよい。

【0032】

本発明の別の好ましい実施形態によれば、複数の第１群の変調器要素は、少数（限界１）の要素からなる複数の２次元（２Ｄ）直線アレイ（配列）からなり、個々の変調器要素の各カメラ信号は、そのマトリックスのカメラ・ピクセルにおけるおよび較正手順によって規定（画定）されたそのマトリックスの変調要素における各座標を有する相対的信号強度の区別可能な固有の安定した分布を構成し、高度の蛍光技術を適用するための他の利点を得ることができる。

【0033】

本発明は、以下の他の利点および特徴を有する。本発明によるＰＡＭによって、高速の捕捉、広視野（大きいフィールド）、優れた分解能（解像度）および断層化力（パワー）、および単純な（即ち“安価な”）ハードウェアが可能になる。励起と放出の両方の点広がり関数を、信号を失うことなく最適化することができる。

【0034】

本発明の他の態様によれば、本発明による複数の方法の１つを実行するためのプログラマブル（プログラム可能な）アレイ顕微鏡を制御するコンピュータ実行可能な命令を含むコンピュータ読取り可能媒体、本発明による複数の方法の１つを実行するためのプログラム・コードを有するコンピュータ読取り可能媒体に位置（常駐）するコンピュータ・プログラム、および、例えば本発明による複数の方法の１つを実行するためのプログラム命令を含むコンピュータ読取り可能記憶媒体を含む制御デバイス装置、が説明される。

【0035】

本発明の好ましい実施形態の他の利点および詳細を、図面を参照して以下に説明する。

【図面の簡単な説明】

【0036】

【図1】図１は、本発明の好ましい実施形態によるＰＡＭにおける照射光路および検出光路の概略図である。

【図2】図２は、本発明の好ましい実施形態による較正手順を示すフローチャートである。

【図3】図３は、本発明の好ましい実施形態による較正手順において使用される単一開口マッピングの例を示す図である。

【図4】図４は、本発明の好ましい実施形態による較正手順における各レジストレーション（位置合せ）方法の比較を表す実験結果である。

【図5】図５は、本発明の好ましい実施形態による共役および非共役の単一開口画像を処理するための拡張マスクを形成することを示す例示である。

【図6】図６は、本発明の好ましい実施形態による光学共焦点結像方法を用いて得られた他の実験結果である。

【発明を実施するための形態】

【0037】

発明の好ましい実施形態
本発明の好ましい実施形態の以下の説明は、全てが光断層化（optical sectioning：光切断）を保持する３つのＰＡＭ動作モードに基づいて、分解能（resolution：解像度）の向上と速度の間の得失を評価しつつ、個々の画像捕捉に関する本発明による方策の実現に関する。それらは、結像の横方向の分解能（解像度）を向上させる３つの工程での動作を可能にする捕捉およびデータ処理の方法を組み込んでいる。第１のＰＡＭ動作モード（またはＲＥＳ１モード）は、結果的に２００ｎｍ以上の横方向分解能（解像度）が得られるような本発明による較正の使用に基づくものである。第２のＰＡＭ動作モード（またはＲＥＳ２モード）は、照射開口の減少（縮小）を可能としかつ結果的に１００ｎｍ乃至２００ｎｍの範囲の横方向分解能（解像度）が得られるような、本発明による、非共役カメラ・チャネルからの共役画像の抽出の使用に基づくものである。第３のＰＡＭ動作モード（またはＲＥＳ３モード）は、結果的に１００ｎｍ未満の横方向分解能（解像度）が得られるような高度の蛍光技術に基づくものである。留意すべきこととして、ＲＥＳ１モードでの較正が好ましいが、ＲＥＳ２およびＲＥＳ３モードの任意機能は、複数の単一変調器要素から共役および非共役信号を“受信する”（受け取る）複数のカメラ・ピクセルの分布を含む他の予め格納された参照データに基づいて代替的に実行できるものである。

【0038】

これらの３つの範囲の向上された分解能（解像度）は、通常の共焦点顕微鏡法、“ＳＩＭ”手法の系統（ファミリ）、例えばＲＥＳＯＬＦＴ（可逆的飽和性光学蛍光遷移）のような選択的抑制（ディプリーション）法、または、例えばＦＬＩＭ、ＦＲＥＴ、時間分解遅延蛍光またはリン光、ハイパースペクトル画像（結像）、最小露光量（ＭＬＥ）および／またはトラッキングのような他の方法によって、それぞれ達成される分解能（解像度）に対応する。利点として、これらのモードの間での切換えに、機器を物理的に変更する必要がない。留意すべきこととして、上述の３つの動作モードは、別々に実現することができ、例えば、ＲＥＳ１モードまたはＲＥＳ２モードまたはＲＥＳ３モードを単独で、または組合せで、例えばＲＥＳ２の機能を含むＲＥＳ３モードを、実現することができる。従って、各動作モード単独およびその任意の組合せは本発明の独立した構成と見なされる。

【0039】

２つのカメラを有するカメラ・デバイスを含むＰＡＭについて説明する。留意すべきこととして、特に、予め格納された較正データが利用可能であるので較正が省略されるという場合、および、光断層像が非共役カメラのみから抽出される場合に、単一カメラの実施形態を代替実施形態で使用することができる。

【0040】

以下の動作モードの説明では、ＰＡＭを使用する、較正手順、共役画像抽出、および高度の蛍光技術の実装について説明する。図１は、ＰＡＭ１００の複数の構成要素を概略的に示しており、ＰＡＭ１００は、例えば半導体レーザのような１つまたは２つの光源１１、１２を含む光源装置１０、傾斜可能な反射変調器要素２１、２２を有する例えばＤＭＤアレイ２０のような空間光変調器デバイス、１つの非共役カメラ３１または２つの共役および非共役カメラ３１、３２を有するカメラ・デバイス３０、構成要素１０、２０および３０に接続された制御デバイス（制御装置）４０、を有する。例えば、顕微鏡本体、対物レンズ、リレー（中継）光学系、調査対象の物体（対象物）１（試料）の支持体のような、ＰＡＭの他の詳細は、その概略図には示されていない。既知のＰＡＭの詳細、例えば、光学装置（セットアップ）、空間光変調器デバイスの制御手段、カメラ信号の収集、共役画像と非共役画像から得られる光断層像の生成は、通常のＰＡＭで知られているように実装される。欧州特許出願公開第２３６９４０１号の開示内容を、特に、図１、２、４および５に示されるＰＡＭの構造および動作並びにその説明および結像光学系の設計に関して、参照により本明細書に組み込む。

【0041】

より詳しくは、ＤＭＤアレイ２０は、ＰＡＭ１００の変調器平面（変調面）に配置された変調器要素２１、２２（ミラー要素）のアレイを含み、その変調器要素の各々は、２つの状態（傾斜角。図１の拡大断面図を参照）の間で個別に切り替えることができる。例えば、２進（バイナリ）１０８０ｐ（高解像度）パターンは、例えば約１６ｋＨｚの周波数で生成される。結像光学系（図１には示されていない）は、照射光ＡをＤＭＤアレイ２０から（“オン”傾斜状態を介して）ＰＡＭ１００における物体１上に集束させるよう、およびＤＭＤに向けた照射光に応答して物体において生成された放出光を中継するよう配置される。後者では、検出光を、各マイクロミラーの傾斜角に対応する２つの経路に分割する。１つの検出器カメラ３２は、（“オン”状態のミラーから発する）所謂“共役”光を収集するよう配置され、第２カメラ３１は、（“オフ”位置にあるミラーから発する）“非共役光”を検出するよう配置される。その２つの画像は、ポイント・スキャン・システムによって生成される“共焦点”画像と同様に、光学的に断層化された画像（光断層像）を生成するように、単純な減算手順によって（レジストレーション（位置合せ）および歪み補正の後で）リアルタイムで結合または合成される。しかし、ＰＡＭの励起デューティ・サイクル（比）は、桁違いに（数オーダも）高く、従って生体系（living systems）に対して非常に高いフレーム・レート（周波数）が必要になる。

【0042】

光源１１、１２からＤＭＤアレイ２０を介して物体１に進みおよびＤＭＤアレイ２０を介してカメラ３１、３２までに戻る光ビームが、図１において線だけで表されている。実際には、ＤＭＤアレイ２０の表面全体を覆う広い照射が形成され、ＤＭＤアレイ２０は、照射スポットの各パターンが物体１へと方向付けられその焦点面２に集束されるように、制御される。従って、実際には、各照射スポットは、図１に示されているようにライン・ビーム・パス（直線ビーム経路）を形成する。

【0043】

ＤＭＤアレイ２０（図１中の拡大概略図を参照）は、複数の第１群の変調器要素（例えば２１）が、励起光Ａを、物体１の焦点平面２内の各共役位置へと方向付け、これらの位置から発する検出光Ｂをカメラ・デバイス３０、特に非共役カメラ３１へと、さらに任意に共役カメラ３２へと、方向付けるよう選択可能であるように、制御することができる。さらに、ＤＭＤアレイ２０は、複数の第２群の変調器要素（例えば２２）が、検出光Ｃを、物体の各非共役位置からカメラ・デバイス３０、特に非共役カメラ３１、へと方向付けるよう選択可能であるように、制御することができる。さらに、複数の第２群の変調器要素（例えば２２）は、ＲＥＳ２モードに関して以下で説明するように、各共役位置から発する検出光Ｂを非共役カメラ３１へと向付ける。各一群の変調器要素は、或るパターンの複数の照射開口２３を含み、各開口は、１つの単一変調器要素２１または一群の変調器要素２１によって形成される。

【0044】

カメラ３１、３２は、変調器要素２１、２２を介して受け取った検出光を収集する高感度カメラ・ピクセル３３（例えば、ＣＭＯＳカメラ）のマトリクス・アレイを含んでいる。ＲＥＳ１モードの較正手順を用いて、カメラ・ピクセル３３は、ＤＭＤアレイ２０の変調器要素２１、２２にマッピングされる。

【0045】

機能ソフトウェアが制御デバイス４０において実行されることが好ましく（図１）、それによって、全ての接続された構成要素（コンポーネント）、特にユニット１０、２０および３０、を制御しおよび設定することができ、完全自動化された画像捕捉が実行される。また、それには、光学的に断層化されたＰＡＭ画像を生成するために設けられた別の画像処理（画像の歪み補正、レジストレーション（位置合せ）および減算）も含まれる。制御デバイス４０によって、例えば超分解能または超解像のような複数のＰＡＭモードの統合が可能になる。

【0046】

制御デバイス４０は、以下の作業を実行する。第１に、制御デバイス４０は、（制御および設定を含めて）接続されている全てのハードウェア（ＤＭＤアレイ２０コントローラ、１つまたは２つのカメラ３２、３１、フィルタ・ホイール、ＬＥＤおよび／またはレーザ励起光源１１、１２、顕微鏡、ｘｙマイクロモータ段およびｚ－ピエゾ段）と通信（交信）する。第２に、制御デバイス４０は、ＤＭＤアレイ２０上の（多数の）２進パターンの表示を、１つまたは２つのカメラ３２、３１上でこれらのパターン（共役および非共役画像）に起因するパターン化蛍光の結果の同期的捕捉との組合せで含む、ＰＡＭ１００に固有の特定の動作を実行するよう、ハードウェアに命令する。表示と捕捉の同期は、独自のスクリプト言語を使用してＤＭＤコントローラ・ボード上の統合ＦＰＧＡによって制御されるハードウェア・トリガによって実行される。特定のスクリプトが様々な捕捉モダリティ（様式）用に開発されてきた。アプリケーション・ソフトウェアは、捕捉プロトコルおよびパラメータに基づいて必要なスクリプトを組み立てる。第３に、制御デバイス４０は、捕捉した共役および非共役画像を処理し、背景およびシェーディング補正、非線形歪み補正、画像レジストレーション（位置合せ）、および最後に減算（大きい開口）または拡大縮小（スケーリング）された組合せ（小さい開口）を実行して、光断層化ＰＡＭ画像（ＯＳＩ）を生成する。アプリケーション・ソフトウェアは、例えばナショナルインスツルメンツ社のＬａｂＶＩＥＷ言語で、書かれている。それは、双方のカメラ３２、３１の最大帯域幅（例えば、４Ｋ、１６ビット、１００ｆｐｓ）までの画像を取得することができ、一方、２５ｆｐｓを超える共役／非共役画像のライブビューを提供する。捕捉された共役および非共役画像は、最初にＲＡＭバッファに格納され、その後で非同期で処理される。従って、ソフトウェアは、カメラの帯域幅によってのみ制限される最大の捕捉性能を保証することができる。

【0047】

ＲＥＳ１モード－較正手順
較正手順は、以下の考慮に基づいている。ＰＡＭ１００の像面における単一照射開口（仮想的“ピンホール”）は、物体１におけるＰＡＭ１００の焦点面２における励起点広がり関数（excitation point-spread function）（ｐｓｆ）を規定する。同時に、それは、その背後のカメラへと到達する誘発された放出光の幾何学的な制限を与える（“共焦点”という用語の由来）。焦点面２における軸外の点から発する信号は、ＰＡＭ光学系および放出波長に対応するｐｓｆと、ピンホール径とに依存する効率で開口２３を横切る。焦点面および／または光軸から外れた各位置から生じる焦点外れ信号は、はるかに大きい度合で減衰し、従ってＺ軸切断（断層化）が形成される。また、ピンホールは、横方向および軸方向の分解能（解像度）も規定し、その分解能は、合焦寄与分を失うことに起因して信号が減少するという犠牲を払うにもかかわらずサイズ（大きさ）が減少するにしたがって、改善される。ほとんどの通常の共焦点系では、開口サイズはｐｓｆｓによって規定された近似的にエアリー径に設定され、それによって、分解能（解像度）と記録信号強度の間に許容可能なトレードオフ（得失評価）が生じる。ＲＥＳ１モードにおける回折限界横分解能（解像度）は、Ｍ＊λ／２ＮＡ（λ：励起光Ａの中心波長、ＮＡ：ＰＡＭ対物レンズの開口数（numerical aperture）、Ｍ：複数の変調器要素と物体１の間にあるＰＡＭ対物レンズおよびリレー・レンズの合成倍率）で与えられ、例えば約２００乃至２５０ｎｍである。軸方向の分解能は約２乃至３倍低い。通常のＰＡＭでは、この条件は、５×５または６×６のＤＭＤ変調器要素２１、２２の正方形の走査開口と、３３乃至５０％のデューティ・サイクルで達成される。これらの条件下では、非常に高速な捕捉および高い強度（輝度）が達成され、各開口が大きくなると、軸方向および横方向の分解能（解像度）が低下する。

【0048】

通常の共焦点配置では、ピンホールによって遮られた光は破棄される。これとは対照的に、前述したように、ＰＡＭは、焦点外れ（out-of-focus）（ｏｆ、ｎｃ画像）強度と合焦（in-focus）（ｉｆ、ｃ画像）強度の双方を収集する。発明者たちの最近の洞察は、小さい開口サイズ、即ちエアリーディスクより小さいサイズに対応する複数のＤＭＤ要素（１×１、２×２、３×３）でのＰＡＭ動作において、何が起きるかを見出すことである。この試みにおいて、発明者たちは、ＤＭＤアレイ２０の表面のカメラ３１、３２の画像への光学的マッピングを規定するための較正手順を用いた。この工程で、ｃ－ｎｃレジストレーション（位置合せ）を達成するのに必要な扱いにくく不正確で時間のかかる幾何学的歪み（dewarping：反りを戻す）補正計算が回避される。

【0049】

較正手順（図２を参照）は、ＤＭＤ変調器要素２１、２２をカメラ・ピクセル３３へマッピングしその逆をも行う単一開口マッピング（ＳＡＭ）を含んでいる。ＰＡＭ１００において、物体１から発する蛍光の“実”（real）の画像は、ＤＭＤアレイ２０に当たる蛍光の分布と、これ（分布）と“オン”（２１）および“オフ”（２２）状態の各ミラー要素の間の対応関係とによって、与えられる。或る意味で、カメラ３１、３２は、単に記録デバイスであるに過ぎず、理想的には所望のＤＭＤ分布を再構成するのに役立つ。従って、較正手順は、複数の単一変調器要素のレベルにおけるそれぞれｃ寄与分とｎｃ寄与分からなる複数の構成ペアの一致を確保する形態で、カメラ情報をシステマティックにかつ明確に（一意的に）ＤＭＤアレイ源に逆マッピングする手段を形成する。同じ手順が、共役チャネルおよび非共役チャネルに適用される。

【0050】

新しいＳＡＭレジストレーション（位置合せ）方法において、或るピッチを有する規則的な格子の形に編成された複数の単一変調器要素２１（焦点平面に光を集束させる “オン”状態の複数のミラー）からなる一連の較正パターンが生成される（工程Ｓ１）。好ましい選択は、全ての各位置がその６つの隣接位置から等距離にある六角格子配置（hexagonal arrangement）である（図２）。他の格子形状も代替的に可能である。ＤＭＤアレイ２０は、そのパターンの複数の“オン”状態ピクセルによってｃカメラ３２における画像が得られるように、正面から（例えば、ケーラー（Koehler）透過モードで動作する顕微鏡明視野光源（図１には示されていない）から）照射される（この場合、ｎｃ信号は関係しない）。ｎｃチャネル用の対応する情報を得るためには、補完パターンを使用して、ｎｃカメラ３１で画像を記録する。この手順は、全範囲（カバレッジ）に必要な約８０乃至２００個のビットプレーンのシーケンスに対して、繰り返される（工程Ｓ２）。従って、単一ＤＭＤ要素２１、２２の各アレイに典型的な１０のピッチには、１００個のビットプレーン画像が必要であり、各画像は、そのシーケンスにおいて単位的な（ユニタリな）ｘ、ｙのＤＭＤ増分だけグローバルに（大域的に）シフトされた約１５０００個の“オン”状態の要素を有する。

【0051】

そのように規定されたビットプレーンの順序は、互いに隣接する軌跡の一時的摂動または偏差（例えば、過渡的な減少）を最小化するように、概してランダム化される。カメラ画像における記録スポットは、それらが明確に（一意的に）セグメント化できるように、（オーバラップなしで）充分に分離される。所与のスポットに対する信号全体を包含する複数のピクセル（約２０個）間の２進マスクおよび部分的強度分布を決定する（工程Ｓみ３）。また、合計強度を決定し（工程Ｓ３）、各スポットに関する複数の強度加重（重み付け）重心位置を計算する（工程Ｓ４）。その後、各重心位置を、信号が発せられるＤＭＤ要素に逆マッピングし、逆マッピング情報を表す較正データが計算される（工程Ｓ５）。これは、例えばソフトウェアＭａｔｈｅｍａｔｉｃａのような標準ソフトウェア・ツールで行うことができる。較正データは、カメラ・ピクセルおよび／または変調器要素への割当てラベルと、カメラ・ピクセルおよび変調器要素を互いに相互参照するマッピング・ベクトル・データとを含んでいる。

【0052】

図３は、単一開口マッピングの例を示している。上側の画像（図３Ａ）は、個々の開口からなる１つの完全なアレイ（９５行１５７列、ビットプレーン当り合計１４９１５個のスポット）のｃカメラ３２によって記録される。２進マスク（図３Ｂ）は、上側の画像から選択された複数スポットを示しており、約２０個のカメラ・ピクセルが背景の上に各有限値を表示する。図３Ｃに示されている、そのような１つのスポットのグレー（中間）値の分布は、ＰＡＭ光学系が再調整されない場合、区別可能（特徴的）であり再現性があり安定性がある。計算された重心位置（図３Ｄ）は、２進マスクの形に描かれたアレイに対応する。

【0053】

その手順は、次のような複数の利点を有する。（１）“不鮮明な”記録された複数のスポットの総和強度を、ＤＭＤアレイ２０におけるそれぞれの既知の単一位置にマッピングできること、（２）そのカメラは、較正（および後の試料の）スポットの正確な（および安定的な）セグメント化を可能にするのに充分な大きさの分解能（解像度）およびフォーマットを有する必要があるに過ぎないこと。高いＱＥ、低ノイズ、およびフィールド均一性は、他の望ましい特徴である。シャープで（鋭い）かなり均一な焦点合せが重要であるが、相対的な回転と平行移動は重要でなく、２つのカメラは、双方とも同じＤＭＤ変調器要素に逆にマッピングされるので、異なることさえあり得、（３）合計の較正強度によって、後で使用するための非常に正確なシェーディング補正を計算することができ、（４）ｃおよびｎｃカメラ画像は、同じ元の（供給源）アレイ２０にマッピングされ、従って、ＤＭＤ空間におけるｃおよびｎｃ分布の絶対的なレジストレーション（位置合せ）が保証され、（５）単一の露光と読出しにおいて全てのビットプレーン信号を重ね合わせるＲＥＳ１モードを使用し、レジストレーション（位置合せ）手順はこれらの条件下でも有効であり、それは、重なり合う強度分布パターンを合計して、各カメラ・ピクセルの複数の一次方程式を形成するようにすることができるからである。これらの方程式において、各変数は関心の対象であるＤＭＤ強度であり、各係数は較正で既知である。方程式マトリックスは（動作期間における呼出し（検索）用に）格納され、そのシステムは全ての各パターンの記録強度に対して別々に解かれ、即ち、それぞれ任意のｃ画像とｎｃ画像からなる複数ペアが、例えば、個々にまたはｚ走査順次に発生する。

【0054】

代替形態として、精度はより低いが有用なＳＡＭの簡略化には、各重心位置での強度の逆マッピング、および／または、各重心に関する各ピクセル値からなる小さい部分マトリックス（例えば、３×３領域）の手段が用いられる。この代替的なＳＡＭレジストレーション（位置合せ）手順は、非常に高速であり、ＬａｂＶＩＥＷ Ｖｉｓｉｏｎにおいて利用可能な通常の線形または非線形の幾何学的歪み補正（dewarping）方法でこれまでに実験的に達成された分解能（解像度）および断層化（切断）能力を超える充分な結果を生じさせる。

【0055】

図４には、各ＳＡＭレジストレーション（位置合せ）手順の比較が、α－チューブリン（α-tublin）用に染色されＡｌｅｘ４８８－ＧＡＭＩＧで対比染色された３Ｔ３ Ｂａｌｂｃマウス線維芽細胞の画像化（結像）を用いて、示されている。図４Ａ乃至４Ｃは、幾何歪み補正によるレジストレーション手順を示している。図４Ｄ乃至４Ｆは、ＰＡＭシーケンス５＿５０（５０％のデューティ・サイクルでランダム分布の５×５開口）で走査されたＳＡＭによるレジストレーションを示している。レジストレーションの改善に起因して、光断層化が大幅に改善された。同じ捕捉データが双方の手順で利用された。

【0056】

ＲＥＳ２モード－共役画像抽出手順
ＲＥＳ２モードにおいて、ＰＡＭは、より高い空間周波数を強化することによって横方向および／または軸方向の分解能（解像度）を最大２倍までに高めるための “構造化照射（照明）（ＳＩＭ）”としてまたは“ピクセル再配置”として文献で知られている手順用に構成される。その結果、利点として、横方向の分解能（解像度）が１００乃至２００ｎｍの範囲に拡大される。共焦点顕微鏡ＬＳＭ８００（製造業者ツァイス（Zeiss））の一般に知られている“エアリー”（Airy）検出器と同様に、その構想（コンセプト）は、空間周波数をより高く増大させるが上述のようなポイント・スキャン・システムにおける非常に小さいピンホールからの許容できない信号損失を回避する形態で、多数の軸外サブ・エアリー・ディスク開口（検出器）を利用することである。しかし、ＰＡＭの実装では、ツァイス・エアリー・システムの複雑な検出器アセンブリ（組立体）（complex detector assembly）および多要素のポスト・デコンボルーション（解析後）（multi-element post-deconvolution）および再配置処理（relocation processing）が回避される。

【0057】

ＰＡＭにおいて、通常の共焦点顕微鏡の物理的開口（ピンホール）は、空間光変調器デバイス（ＤＭＤアレイ）の少なくとも１つの変調器要素で置換される。従って、１つの“開口”（aperture）は、１つの単一要素または複数の要素の組合せで、例えば、正方形または疑似円形構成でまたは調整可能な幅のライン（線）で、構成することができる。通常の共焦点顕微鏡では、“小さい”ピンホールによって、空間帯域幅の増大により分解能（解像度）が増大し、それ（空間帯域幅）は、点光源（point-source）の像を表す３次元（３Ｄ）点広がり関数（ｐｓｆ）で表され、または、より直接的にはそれ（ｐｓｆ）のフーリエ変換で表され、そのフーリエ変換は、広視野顕微鏡の“ミッシング・コーン”が埋め込まれた３次元（３Ｄ）光学伝達関数（ｏｔｆ）である。しかし、ピンホールは励起と放出において“共有”されるので、サイズが小さいほど、より小さい放出信号強度が捕捉され、それに従って信号対ノイズ比が低くなる（ピンホールは、ピンホール外に到達する放出光を物理的に遮蔽（拒絶）する）。

【0058】

逆に、ＰＡＭにおいて、顕微鏡において物体から“戻る”放出光は、共役カメラによって（開口を規定または画定する単一の“オン”状態の変調器要素を介して）、および光を非共役カメラへと方向付ける単一変調器要素の周りの“オフ”状態の変調器要素のアレイによっても、位置合せされる（registered）。即ち、各共役位置からの全ての検出光Ｂが収集され、照射開口サイズによって、一方のまたは他方のカメラ３１、３２へと進む部分割合が決まる（図１を参照）。例えば単一要素のような、非常に小さい開口に対しては、合焦の（ｉｆ）信号および焦点外れの（ｏｆ）信号のほとんどが、非共役カメラ３２へと進む。

【0059】

ＲＥＳ１モードの単一開口較正方法は、複数の単一変調器要素の開口から共役信号および非共役信号を“受信する”カメラ・ピクセルの分布を規定するのに役立つ。較正において、一組の補完的な照射開口を使用して、全ての個々のマイクロミラー位置に対する両チャネル（カメラ）における分布（２進マスク）が決定される。上で規定されたｃおよびｎｃ“画像”（図３）は、次のように並列に処理される（より詳しくは図５および方式（スキーム）１をも参照）。

【0060】

較正（図５）から確立された応答領域を包囲する複数のピクセルのリング（環）を規定するように、較正（図５）から確立された２進マスクが１倍だけ（１×）拡張される。ｃチャネル（カメラ３２）において、“リング”状マスク３における各強度は、カメラ画像の標準的背景にのみ対応する（電子的バイアス＋オフセット）。その理由は、定義により、所与の開口に対応する合焦の（ｉｆ）信号および任意の関連する焦点外れの（ｏｆ）信号が、初期の２進マスクによって規定または画定される“コア”（芯）の複数のピクセルに制限されるからである。背景／ピクセルの平均値（ｂ）は、マスク３の“リング”状の複数のピクセルから計算され、合計の背景寄与分（ｂ・コアピクセル数）を計算するのに使用される。減算によって、ＲＥＳ２モードのｃ画像が生成される。

【0061】

ｎｃチャネル（カメラ３１）の場合、信号は、上述のようなｉｆ（合焦）信号の大部分と、その所与の位置および試料におけるその共役（位置）に対応する各寄与分とからなる。この場合、マスク３のリング・ピクセルにおける強度（拡張後）には、カメラの背景だけでなく、ｏｆ（焦点外れ）成分も含まれ、これらの成分は、較正マスクの境界を超えて（範囲外に）拡張されて拡大し、従って減算によってコア応答を修正するための手段を形成する。

【0062】

この正味のｎｃ信号（および各照射ビットプレーンに対して処理された全ての開口によって形成される画像全体）は、達成可能な最高分解能（解像度）（広視野と比較して２倍）と、小さい開口によって形成される断層化（切断）の度合とを有する所望のｉｆ情報とを含み、３次元（３Ｄ）分解能（解像度）のＲＥＳ２モード（１００～２００ｎｍ）を規定する。

【0063】

所望の信号のほとんどがｎｃチャネルに含まれるので（ｃ強度とｎｃ強度の間の関係は、我々の現在の機器の場合、約１／９である）、ＰＡＭ１００は、単一のｎｃカメラ３１のみを使用してこのモードで作動できる（図１）。しかし、追加的なノイズという犠牲を払ってでも、ｎｃカメラ３１およびｃカメラ３２で収集されたｃおよびｎｃ画像を加えて、合焦の（ｉｆ）放出光全体を生じさせるようにすることもできる。これらの関係の簡略化された代数的説明が図５および方式（スキーム）１に示され、ＲＥＳ２モード画像化（結像）の例が図６に示されている。

【0064】

（ＤＭＤアレイ空間における）最終的な画像における強度が通常のカメラ画像における強度よりもはるかに高いことも、留意に値する。その理由は、その手順が、（複数の記録画像に分散されている）応答全体を、元のＤＭＤ要素に対応する最終的な画像における座標に配置された単一値に積算または積分するからである。追加的な利点として、これらの方法は、レーザ光源の代わりにＬＥＤを含む励起光源で実行することができ、それ（励起光源）により、一般的により良好なフィールド（視野）均一性を形成し、レーザ照射の場合に（回折要素の使用にもかかわらず）残留する空間的および時間的なコヒーレンス（干渉性）から生じるアーティファクト（副作用、不要分）が回避される。

【0065】

ＲＥＳ２モードの実際のテストにおいて、数ｍｓのビットプレーン当り露光時間が、有用な画像を生成するのに充分であることが、見い出された。カメラ特性による制限（例えば、読出し速度およびノイズ、ローリング・シャッタ・モードにおける待ち時間（遅延）、複数のＲＯＩの使用）を最小化することによって、実質的に１ｆｐｓ超（＞１ｆｐｓ）の生体細胞での高品質の記録が可能である。

【0066】

ＲＥＳ２における共役および非共役の単一開口画像の処理を、以下でさらに詳細に図５を参照して説明する。１つの単一ＤＭＤ変調器要素が、放出光の（概略的な）スポットのｃカメラ画像およびｎｃカメラ画像を生じさせる励起源として選択される（図５Ａおよび５Ｂに示されているように）。その２つのスポットの幾何学的形状は関連性がない。簡略化のために、カメラのゲイン（利得）は整合していると仮定することができる。白ピクセル（数ｎ_ｉｊ，ｃ、ｎ_{ｉｊ，ｎｃ}）は、セグメント化によって生成されたそれぞれのマスクに対応する（工程Ｓ３）。図５Ａのｃ画像における中央の点（ドット）は、強度重み付けされた重心の計算位置である（工程Ｓ４）。ｃ画像の白ピクセルには、ｉｆ寄与分、ｏｆ寄与分、および背景寄与分が含まれる。背景値ｂ_ｉｊ，ｃは、マスク３を拡張し、差分マスクの平均値ｖ_ｉｊ，ｃ（外側リング・ピクセル）を計算し、ｎ_ｉｊ，ｃ（ｂ_ｉｊ，ｃ＝ｖ_ｉｊ，ｃ・ｎ_ｉｊ，ｃ）を乗算することによって、局所的に高い精度で推定され（定義によって、放出信号が存在し得ない）、また、グローバル（大域的）背景（暗い状態）信号を予め減算する場合にこの値は小さいかまたは無視できる。

【0067】

ｏｆ寄与分は、本発明によるＰＡＭの固有の能力を表す図５Ｂのｎｃスポットから推定することができる。ｃｎスポットは、反対側の位置にあるその選択された単一変調器要素の位置に対応する中央の（黒で表示された）ピクセル（実験的観察）を示し、従って背景値で示される。この場合の拡張されたマスク３には、マスク内で等しい密度であると見なされるｏｆ寄与分と背景寄与分の双方が含まれる（ｖ_{ｉｊ，ｖｃ}＝ｏｆ_{ｉｊ，ｎｃ}＋ｂ_{ｉｊ，ｎｃ}）。しかし、使用されるスポットのピッチに起因して、隣接する複数のスポットからの寄与分の幾分かの重ね合せが存在する場合、ｖ_{ｉｊ，ｎｃ}は係数β≦１だけ減衰する（経験的にβ～（およそ）０．８。各マスクにおける正規化分布の計算による。計算したｉｆ_ｉｊ値の非負性（non-negativity）が呼び出される）。ｃ信号の対応するｏｆ補正は、γｖ_{ｉｊ，ｎｃ}ｎｐ_ｉｊ，ｃで与えられ、経験により、γ≪βであり、これは、相対的ｖ値（ｂ）によっても示されるように、非常に小さい開口が非常に良好な断層化（切断）能力を提供すること、を示している。

【0068】

次の方式（スキーム）は、様々な分解能（解像度）形態におけるＰＡＭ信号の各規定（定義）を示している。また、ｓ_ｉｊ，ｃおよびｓ_{ｉｊ，ｎｃ}は、２次元（２Ｄ）ＤＭＤアレイ２０における添え字ｉｊを有するＤＭＤ変調器要素（開口）に対応する記録されたｃ信号およびｎｃ信号である。各信号は、合焦（ｉｆ_ｉｊ，ｃ，ｏｆ_ｉｊ，ｃ）寄与分、焦点外れ（ｉｆ_{ｉｊ，ｎｃ}，ｏｆ_{ｉｊ，ｎｃ}）寄与分、および背景（ｂ_ｉｊ，ｃ，ｂ_{ｉｊ，ｎｃ}）寄与分を含んでいる。ｃ画像とｎｃ画像の間の合焦の（ｉｆ）信号の割合分布はαで与えられ、任意の所与のＤＭＤパターンと光学的構成に対して一定であると見なされる。αは、開口サイズと共に大きく変化し、分解能（解像度）範囲ＲＥＳ１、２および３モードを規定するのに役立つ。ＲＥＳ１モードに関して、各開口は充分に大きいと見なされて、合焦信号（ｉｆ_ｉｊ）全体がｃに制限される。従って、α＝１であり、所望の正味のｉｆ_ｉｊ信号は、ｄｃが励起デューティ・サイクルである示された式によって与えられる。ＲＥＳ２（１）およびＲＥＳ２において、励起（従って“受け取る”）開口は、回折限界のエアリーディスクよりもかなり小さく、即ち、α＜１であって、ｉｆ_ｉｊの一部（９０％を超え得る部分割合）が今度はｎｃにある。ＲＥＳ３において、励起ｐｓｆは、誘導放出または光変換による励起状態の抑制によってさらに“細線化または薄面化”（thinned）される。

【0069】

一般的な関係

【数1】

【0070】

ＲＥＳ１モード

【数2】

【0071】

ＲＥＳ２モード、ＲＥＳ３モード

【数3】

【0072】

図６は、ＲＥＳ２モード画像化（結像）の例を示している。図６Ａは、図４におけるものと同じ細胞のｎｃ画像を示している。微細な詳細の分解能（解像度）ははるかに高く、ファイバ（繊維）は複数の単一ＤＭＤ要素の各幅（～１００ｎｍ^２）まで見ることができる。断層化（切断）も極めて良好で、図４のＲＥＳ１画像では不明瞭な領域における構造が明らかにされる。図６Ｂは、ボディピ－ファロイジン（bodipy-phalloidin）でアクチン・フィラメント（actin filaments）用に染色された細胞のｎｃ画像を示している。

【0073】

ＲＥＳ３－超解像蛍光顕微鏡
蛍光顕微鏡において実質的に１００ｎｍ未満の分解能（解像度）を達成するには、現在２つの主要な手法（アプローチ）が利用可能である。単一分子の励起状態動態（ダイナミクス）に基づく分子局在化法（例えば、ＳＴＯＲＭ法）は、ＲＥＳ１モードおよび可能性としてＲＥＳ２モードの動作と適合性がある。これとは対照的に、励起状態抑制（例えば、ＳＴＥＤ）および特に分子光変換（例えば、ＲＥＳＯＬＦＴ）プロトコル（手順）に基づく“ｐｓｆ細線化または薄面化”（psf-thinning）方法は、横方向分解能（解像度）のＲＥＳ３モードを達成するのに適した形態で適用されるＳＡＭ方法に理想的に適している。ＰＡＭモジュールによって、両側（双方向）照射が可能になる（図１、および例えば欧州特許出願公開第２３６９４０１号における図１およびその説明を参照）。従って、抑制または光変換照射（ＳＴＥＤにおける“ドーナツ”（donuts）と等価）の形成は、同じパターンを用いて、試料を片側から活性化（および読出し）光に当ておよび反対側から抑制（depletion）（または光変換）光に当てることによって、自動的かつ正確に達成される。特定の手順（プロトコル）および調査（プローブ）に応じて、各光源を同時にまたは時間をずらして使用することができる。ポイント・スキャン・システム（点走査系）における通常のＲＥＳＯＬＥＦＴとは対照的に、視野（フィールド、場）全体が同時に対処（アドレス）され処理される。利点として、ＰＡＭ光学設定の変更は必要ではない。さらに、留意すべきこととして、ＲＥＳ３モードは、通常の方法とは対照的に、光断層化を形成する。蛍光タンパク質発現系（システム）を使用してＲＥＳＯＬＥＦＴ蛍光測定を実現するためのＲＥＳ３モードの例示的な試験において、単純なパルス化４８８ｎｍのダイオード・レーザが、光変換による抑制（depletion）のための励起光源として使用される。

【0074】

ＰＡＭ１００の制御デバイスを用いたＲＥＳ１乃至ＲＥＳ３モードの実装
以下では、上述のＰＡＭモードを、好ましくはソフトウェア・プログラムによって、実装する方法を、さらに詳細に説明する。

【0075】

ＲＥＳ１モードに関して、個々の“ドット”（選択された変調器要素）の較正マトリックスを生成する機能を用いる較正手順の工程Ｓ１は、パラメータ定義を含んでいる。ＤＭＤアレイ・マトリックスにおける定義された活性状態の要素の原点パラメータ（例えば左上隅部のようなグローバル（大域的）原点からのｘ、ｙのオフセット（補正値））、および２Ｄ変調器ＤＭＤアレイ・マトリックスにおける隣接する要素開口間の間隔を表すスペース（間隔）パラメータ、励起マトリックスにおける行数ｎｒ、励起マトリックスにおける列数ｎｃ、およびシーケンス全体におけるビットプレーンの数ｎｂｐ＝ｓｐａｃｅ^２、が与えられる。ｎ未満（＜ｎ）（通常ｎ＝２）のｘまたはｙ変位（数）で、各ビットプレーンにおける単一要素開口の数ｎａ＝ｎｒ・ｎｃを用いて、連続するビットプレーンが互いにオーバーラップ（重複）しないように、ビットプレーン・シーケンス（配列）をランダム化することによって時間的重複（オーバーラップ）が最小化される。例えば、ｓｐａｃｅ＝１０では、ｎｂｐ＝１００であり、ｎｒ＝９５（上述）、ｎｃ＝１５７（上述）では、ｎａ＝１４９１５（上述）であり、較正スポットの総数＝ｎｂｐ・ｎａ＝１４９１５００である。

【0076】

複数の較正応答マトリックス（共役、非共役のもの）の捕捉を含む較正手順の工程Ｓ２は、（例えば、単一要素開口のマトリックスからなる）パターン・シーケンスを用いるＰＡＭ動作を含んでいる。例えばフィールド（視野）均一性を確立するケーラー（Koehler）調整を用いて透過モードで作動される結合された顕微鏡から、変調器の正面照射が形成される。シーケンスの各ビットプレーンに対応する画像の捕捉および作動中での（live）焦点調整は、検出器画像におけるスポット・サイズを最小化するように行われる（非反復的）。選択されたドットパ・ターンに対応する画像の捕捉は、順次の形態で行われる。対応する背景およびシェーディング（陰影）の画像は、補正の目的で収集されることが、好ましい。その動作は、（照射側と同じ側で記録する）共役チャネル用の所与のパターン・シーケンスと、（照射側の反対側で記録する）非共役チャネル用の相補（補足）的パターンとを用いて、行われる。その後、較正セッションにおける較正データの繰返しを平均化する（計算手段）ために平均化工程を行うことができる。

【0077】

工程Ｓ３乃至Ｓ５は、（変調器マトリックスの行および列によって）順序付けられた一組のベクトル化された応答パラメータを取得するように、各ビットプレーン較正画像を処理することを含んでいる。第１に、複数のビットプレーンが、既知のランダム化シーケンスに従った順序で並び替えられる。第２に、セグメント化（工程Ｓ３、Ｓ４）を行って、応答部分画像（“複数スポット”）パラメータを識別してラベル付けする。そのパラメータは、閾値、拡張、浸食（エロージョン）パラメータ、歪みの程度（行および列の湾曲（曲率）および変位）に応じた任意の順序（オーダ）である。その後で、２次元（２Ｄ）マスクと、行および列によるベクトルとを含む出力が生成される。その出力は、さらに、所与のスポットにおける複数のピクセル要素に対応する複数のピクセル位置からなる２次元（２Ｄ）マスク；応答ピクセルにおける相対的強度分布と、複合ビットプレーン画像用の一次方程式の応答マトリックスの計算とを表すアルファ（α）パラメータ（ＲＥＳ２およびＲＥＳ３モードにおいて使用される）；所与のスポットの計算された重心の座標；所与のスポットの合計の強度；および（複数ピクセルにおける）所与のスポットの総面積、を含むことが、好ましい。第３に、励起変調器マトリックスの行および列によるスポットの並べ替えが行われ、それは、所与のビットプレーンに対して変調器励起マトリックスの座標を供給することおよび所与のビットプレーンに対して応答マトリックスの座標を対応させることを含んでいる（工程Ｓ５）。最後に、捕捉および処理の期間において呼出し（検索）用のベクトルの記憶（格納）が行われる。これらの工程は、共役（ｃ）および非共役（ｎｃ）画像データに対して個々に実行される。

【0078】

実際には、リアルタイムの捕捉および表示には、１０乃至１００ｍｓで１００万超（＞1 million）個の一次方程式を解く必要がある場合でも、較正方法は良好に機能する。マルチコアおよびＧＰＵアーキテクチャを利用したスパース（疎）マトリックス（sparse matrices）（例えば、ここに含まれるもの）用の高度なソフトウェアは、計算に容易に使用することができる（例えば、ＳＰＡＲＳＥ ｓｕｉｔｅ）。

【0079】

ＲＥＳ２モードおよびＲＥＳ３モードのソフトウェア実装には、次のような工程が含まれる。第１に、パラメータ選択と、さらに、ＲＥＳ３モード用の、光変換および読出し用のパターン・シーケンスの選択（スーパーピクセル定義）とを含む、応答マトリックス（共役、非共役）の捕捉が行われる。さらに、Ｘ、Ｙ、Ｚの配置と、スペクトル（励起、放出、光変換）の成分（コンポーネント、構成要素）の選択（スペクトル・チャネル定義）とが、行われる。

【0080】

第２に、積算（積分）された応答マトリックス（単一露光の総和のビットプレーン応答）から変調器要素マトリックスへの逆マッピングが行われる。このレジストレーション（位置合せ）では、重心ベースの較正データ（ＲＥＳ１モードにおけるのと同様）および局所的部分画像処理アルゴリズム、または代替的に、αパラメータに基づく較正が使用される。その際、スパース・アルゴリズムを使用する完全または局所的α方程式マトリックスの解を用いて、（共役（ｃ）および非共役（ｎｃ）画像データに対して個々に実行することによって） ＤＭＤ空間における個々の応答の分布が生成される。

【0081】

第３に、先のｃおよびｎｃ処理に基づく光学的に断層化された画像の計算を含む、例えば複数の小さい励起スポットのスパース・パターン（複数）で、捕捉した画像が、評価される。ｃ画像に関して、重心較正データおよび局所的部分画像処理アルゴリズムを利用して、カメラ領域における応答信号の分布と、励起パターンによって規定または画定されたＤＭＤ領域への投射（投影、射影）とが確立される。ｎｃ画像に関して、ｃ画像と同様であるが、較正応答領域のすぐ周辺にある信号の評価による焦点外寄与分の系統的な評価と、較正応答領域における信号からの適切にスケール（拡大縮小）された減算とを含んでいる。最後に、画像の合成（組合せ）が行われ、その際、光学断層化ＲＥＳ２画像は、処理されたｎｃ画像のみ（非常に小さい励起スポットを用いた主要な寄与分）または処理されたｃ画像およびｎｃ画像のスケール（拡大縮小）された総和から得られる。

【0082】

上述の説明、図面、および請求の範囲に開示された本発明の特徴は、個々にまたは組合せでまたは部分的組合せで、その異なる実施形態において本発明を実現するために等しく重要であり得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】