知財求人 - 知財ポータルサイト「IP Force」
▶ サーモ エレクトロン サイエンティフィック インストルメンツ リミテッド ライアビリティ カンパニーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024149446
(43)【公開日】2024-10-18
(54)【発明の名称】Ｃ－ＳＩＭ顕微鏡法のための適応減算
(51)【国際特許分類】
G02B 21/06 20060101AFI20241010BHJP
【ＦＩ】
G02B21/06
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024061146
(22)【出願日】2024-04-05
(31)【優先権主張番号】18/296,859
(32)【優先日】2023-04-06
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】509027021
【氏名又は名称】サーモ エレクトロン サイエンティフィック インストルメンツ リミテッド ライアビリティ カンパニー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】ジョン アイホルスト
【テーマコード（参考）】
2H052
【Ｆターム（参考）】
2H052AA09
2H052AA10
2H052AF25
(57)【要約】 （修正有）
【課題】改良された超解像技術を提供する。
【解決手段】コンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、コンピュータプロセッサを用いて、撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と撮像領域にわたるピークトロイダルビーム撮像強度との間の比によって、非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、非トロイダル又はトロイダル画像成分の少なくとも１つのピクセルのスケーリングされた画像強度と、非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を含む。
【選択図】図５
【解決手段】コンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、コンピュータプロセッサを用いて、撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と撮像領域にわたるピークトロイダルビーム撮像強度との間の比によって、非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、非トロイダル又はトロイダル画像成分の少なくとも１つのピクセルのスケーリングされた画像強度と、非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を含む。
【選択図】図５
【特許請求の範囲】
【請求項1】
コンピュータプロセッサ及びコンピュータメモリを使用する、コンピュータ実装画像処理方法であって、
前記コンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、前記撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、
前記コンピュータプロセッサを用いて、前記撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と前記撮像領域にわたるピークトロイダルビーム撮像強度との間の比によって、前記非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、
前記非トロイダル又はトロイダル画像成分の前記少なくとも１つのピクセルの前記スケーリングされた画像強度と、前記非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を含む、コンピュータ実装画像処理方法。
前記コンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、前記撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、
前記コンピュータプロセッサを用いて、前記撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と前記撮像領域にわたるピークトロイダルビーム撮像強度との間の比によって、前記非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、
前記非トロイダル又はトロイダル画像成分の前記少なくとも１つのピクセルの前記スケーリングされた画像強度と、前記非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を含む、コンピュータ実装画像処理方法。
【請求項2】
前記スケーリングすることが、前記撮像領域にわたる前記ピーク非トロイダルビーム撮像ピクセル強度の、前記撮像領域にわたるピークトロイダルビーム撮像ピクセル強度に対する比によって、前記トロイダルビーム画像成分の前記少なくとも１つのピクセルをスケーリングすることを含み、前記差を決定することが、前記トロイダルビーム画像成分の前記少なくとも１つのピクセルの前記スケーリングされた画像強度を、前記非トロイダル画像成分の前記少なくともピクセルの前記画像強度から減算することを含む、請求項１に記載の方法。
【請求項3】
前記スケーリングすることが、前記撮像領域にわたる前記ピークトロイダルビーム撮像ピクセル強度の、前記撮像領域にわたる前記ピーク非トロイダルビーム画像ピクセル強度に対する比によって、前記非トロイダルビーム画像成分の前記少なくとも１つのピクセルをスケーリングすることを含み、前記差を決定することが、前記トロイダルビーム画像成分の前記少なくとも１つのピクセルの前記画像強度を、前記非トロイダル画像成分の前記少なくともピクセルの前記スケーリングされた画像強度から減算することを含む、請求項１に記載の方法。
【請求項4】
非トロイダルビームをサンプル領域に向け、前記サンプル領域から非トロイダルビーム誘起応答光を検出することであって、前記検出された非トロイダルビーム誘起応答光が、前記非トロイダルビーム画像成分に対応している、検出することと、
トロイダルビームを前記サンプル領域に向け、前記サンプル領域からトロイダルビーム誘起応答光を検出することであって、前記検出されたトロイダルビーム誘起応答光が、前記トロイダル画像成分に対応している、検出することと、
によって、前記非トロイダルビーム画像成分及び前記トロイダルビーム画像成分を取得することを更に含む、請求項１に記載の方法。
トロイダルビームを前記サンプル領域に向け、前記サンプル領域からトロイダルビーム誘起応答光を検出することであって、前記検出されたトロイダルビーム誘起応答光が、前記トロイダル画像成分に対応している、検出することと、
によって、前記非トロイダルビーム画像成分及び前記トロイダルビーム画像成分を取得することを更に含む、請求項１に記載の方法。
【請求項5】
前記非トロイダルビームが、前記サンプル領域においてガウス強度プロファイルを含み、前記トロイダルビームが、前記サンプル領域においてトロイダル強度プロファイルを含む、請求項４に記載の方法。
【請求項6】
前記トロイダルビームを前記サンプル領域に前記向けることが、渦位相板を通してソースビームを向けて、前記トロイダルビームを生成することを含む、請求項４に記載の方法。
【請求項7】
前記ピーク非トロイダル撮像ピクセル強度が、前記非トロイダル画像成分を取得するために使用される検出器の飽和レベル未満の最高強度を含む、請求項１に記載の方法。
【請求項8】
前記形成された画像が、超解像画像である、請求項１に記載の方法。
【請求項9】
前記超解像画像が、ラマン散乱画像である、請求項８に記載の方法。
【請求項10】
装置であって、
コンピュータプロセッサと、コンピュータメモリと、を備え、前記メモリが、前記プロセッサによって実行されたときに、前記プロセッサに、
前記コンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、前記撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、
前記コンピュータプロセッサを用いて、前記撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と前記撮像領域にわたるピークトロイダルビーム撮像ピクセル強度との間の比によって、前記非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、
前記非トロイダル又はトロイダル画像成分の前記少なくとも１つのピクセルの前記スケーリングされた画像強度と、前記非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を行わせる、コードを含む、装置。
コンピュータプロセッサと、コンピュータメモリと、を備え、前記メモリが、前記プロセッサによって実行されたときに、前記プロセッサに、
前記コンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、前記撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、
前記コンピュータプロセッサを用いて、前記撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と前記撮像領域にわたるピークトロイダルビーム撮像ピクセル強度との間の比によって、前記非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、
前記非トロイダル又はトロイダル画像成分の前記少なくとも１つのピクセルの前記スケーリングされた画像強度と、前記非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を行わせる、コードを含む、装置。
【請求項11】
前記プロセッサに画像強度をスケーリングさせる前記コードが、前記プロセッサに、前記撮像領域にわたる前記ピーク非トロイダルビーム画像ピクセル強度の、前記撮像領域にわたる前記ピークトロイダルビーム撮像ピクセル強度に対する比によって、前記トロイダルビーム画像成分の前記少なくとも１つのピクセルをスケーリングさせることを含み、前記プロセッサに差を決定させる前記コードが、前記プロセッサに、前記トロイダルビーム画像成分の前記少なくとも１つのピクセルの前記スケーリングされた画像強度を、前記非トロイダル画像成分の前記少なくともピクセルの前記画像強度から減算させることを含む、請求項１０に記載の装置。
【請求項12】
前記プロセッサに画像強度をスケーリングさせる前記コードが、前記プロセッサに、前記撮像領域にわたる前記ピークトロイダルビーム撮像ピクセル強度の、前記撮像領域にわたる前記ピーク非トロイダルビーム撮像ピクセル強度に対する比によって、前記非トロイダルビーム画像成分の前記少なくとも１つのピクセルをスケーリングさせることを含み、前記プロセッサに差を決定させる前記コードが、前記プロセッサに、前記トロイダルビーム画像成分の前記少なくとも１つのピクセルの前記画像強度を、前記非トロイダル画像成分の前記少なくともピクセルの前記スケーリングされた画像強度から減算させることを含む、請求項１０に記載の装置。
【請求項13】
非トロイダルビーム及びトロイダルビームを、サンプル領域に向けるように構成されたビーム源と、
前記サンプル領域からの非トロイダルビーム誘起応答光及びトロイダルビーム誘起応答光を検出するように位置する検出器であって、前記検出された非トロイダルビーム誘起応答光が、前記非トロイダルビーム画像成分に対応しており、前記検出されたトロイダルビーム誘起応答光が、前記トロイダル画像成分に対応している、検出器と、を更に備える、請求項１０に記載の装置。
前記サンプル領域からの非トロイダルビーム誘起応答光及びトロイダルビーム誘起応答光を検出するように位置する検出器であって、前記検出された非トロイダルビーム誘起応答光が、前記非トロイダルビーム画像成分に対応しており、前記検出されたトロイダルビーム誘起応答光が、前記トロイダル画像成分に対応している、検出器と、を更に備える、請求項１０に記載の装置。
【請求項14】
前記非トロイダルビームが、前記サンプル領域においてガウス強度プロファイルを含み、前記トロイダルビームが、前記サンプル領域においてトロイダル強度プロファイルを含む、請求項１３に記載の装置。
【請求項15】
前記ビーム源が、前記トロイダルビームを生成するように位置する渦位相板を備える、請求項１３に記載の装置。
【請求項16】
前記ビーム源が、前記トロイダルビームを生成するように位置する方位角偏光子及び空間光変調器を備える、請求項１５に記載の装置。
【請求項17】
前記ピーク非トロイダル撮像ピクセル強度が、前記非トロイダル画像成分を取得するために使用される検出器の飽和レベル未満の最高強度を含む、請求項１０に記載の装置。
【請求項18】
前記形成された画像が、超解像光散乱画像、リン光画像、又は蛍光画像である、請求項１０に記載の装置。
【請求項19】
請求項１０に記載の装置を備える、顕微鏡。
【請求項20】
コンピュータ実行可能命令を備えるコンピュータ可読媒体であって、前記コンピュータ実行可能命令が、コンピュータプロセッサに、
コンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、前記撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、
前記コンピュータプロセッサを用いて、前記撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と前記撮像領域にわたるピークトロイダルビーム撮像強度との間の比によって、前記非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、
前記非トロイダル又はトロイダル画像成分の前記少なくとも１つのピクセルの前記スケーリングされた画像強度と、前記非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を行わせる、コンピュータ可読媒体。
コンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、前記撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、
前記コンピュータプロセッサを用いて、前記撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と前記撮像領域にわたるピークトロイダルビーム撮像強度との間の比によって、前記非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、
前記非トロイダル又はトロイダル画像成分の前記少なくとも１つのピクセルの前記スケーリングされた画像強度と、前記非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を行わせる、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
この分野は、高解像度顕微鏡法である。
【背景技術】
【0002】
超解像撮像は、標準的なコンフォーカル顕微鏡システムの回折限界を超えて、顕微鏡撮像の解像度を増加させるために使用され得る一連の技術である。しかしながら、様々な画像再構成設定がしばしばユーザに委ねられるので、生成される画像の品質に問題が残る。任意の設定選択は、実験の過程で収集された画像において、又は機器間で不一致をもたらす可能性がある。これは、質の悪い画像、誤った特徴識別、又は撮像された特徴の過剰強調若しくは欠如に関する不適切な推論をもたらす可能性がある。したがって、改良された超解像技術が依然として必要とされている。
【発明の概要】
【0003】
開示される技術の態様によれば、コンピュータ実装画像処理方法は、コンピュータプロセッサ及びコンピュータメモリを使用し、かつコンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、コンピュータプロセッサを用いて、撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と撮像領域にわたるピークトロイダルビーム撮像強度との間の比によって、非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、非トロイダル又はトロイダル画像成分の少なくとも１つのピクセルのスケーリングされた画像強度と、非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を含む。一部の方法例では、スケーリングすることは、撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度の、撮像領域にわたるピークトロイダルビーム撮像ピクセル強度に対する比によって、トロイダルビーム画像成分の少なくとも１つのピクセルをスケーリングすることを含み、差を決定することは、トロイダルビーム撮像成分の少なくとも１つのピクセルのスケーリングされた画像強度を、非トロイダル画像成分の少なくともピクセルの画像強度から減算することを含む。一部の方法例では、スケーリングすることは、撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度に対する撮像領域にわたるピークトロイダルビーム撮像ピクセル強度の比によって非トロイダルビーム画像成分の少なくとも１つのピクセルをスケーリングすることを含み、差を決定することは、非トロイダル画像成分の少なくともピクセルのスケーリングされた画像強度からトロイダルビーム撮像成分の少なくとも１つのピクセルの画像強度を減算することを含む。一部の実施例は、非トロイダルビームをサンプル領域に向け、サンプル領域から非トロイダルビーム誘起応答光を検出することであって、検出された非トロイダルビーム誘起応答光が、非トロイダルビーム画像成分に対応している、検出することと、トロイダルビームをサンプル領域に向け、サンプル領域からトロイダルビーム誘起応答光を検出することであって、検出されたトロイダルビーム誘起応答光が、トロイダル画像成分に対応している、検出することと、によって、非トロイダルビーム画像成分及びトロイダルビーム画像成分を取得することを更に含む。一部の実施例では、非トロイダルビームは、サンプル領域においてガウス強度プロファイルを含み、トロイダルビームは、サンプル領域においてトロイダル強度プロファイルを含む。一部の実施例では、トロイダルビームをサンプル領域に向けることは、渦位相板を通してソースビームを向けて、トロイダルビームを生成することを含む。一部の実施例では、ピーク非トロイダル撮像ピクセル強度は、非トロイダル画像成分を取得するために使用される検出器の飽和レベル未満の最高強度を含む。一部の実施例では、形成された画像は、超解像画像である。一部の実施例では、超解像画像は、ラマン散乱画像である。
【0004】
開示される技術の別の態様によれば、装置は、コンピュータプロセッサと、コンピュータメモリと、を含み、メモリは、プロセッサによって実行されたときに、プロセッサに、コンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、コンピュータプロセッサを用いて、撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と撮像領域にわたるピークトロイダルビーム撮像強度との間の比によって、非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、非トロイダル又はトロイダル画像成分の少なくとも１つのピクセルのスケーリングされた画像強度と、非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を行わせる、コードを含む。一部の実施例では、プロセッサに画像強度をスケーリングさせるコードは、プロセッサに、撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度の、撮像領域にわたるピークトロイダルビーム撮像ピクセル強度に対する比によって、トロイダルビーム画像成分の少なくとも１つのピクセルをスケーリングさせ、プロセッサに差を決定させるコードは、プロセッサに、トロイダルビーム撮像成分の少なくとも１つのピクセルのスケーリングされた画像強度を、非トロイダル画像成分の少なくともピクセルの画像強度から減算させることを含む。一部の実施例では、プロセッサに画像強度をスケーリングさせるコードは、プロセッサに、撮像領域にわたるピークトロイダルビーム撮像ピクセル強度の、撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度に対する比によって、非トロイダルビーム画像成分の少なくとも１つのピクセルをスケーリングさせ、プロセッサに差を決定させるコードは、プロセッサに、トロイダルビーム撮像成分の少なくとも１つのピクセルの画像強度を、非トロイダル画像成分の少なくともピクセルのスケーリングされた画像強度から減算させる。一部の実施例は、非トロイダルビーム及びトロイダルビームを、サンプル領域に向けるように構成されたビーム源と、サンプル領域からの非トロイダルビーム誘起応答光及びトロイダルビーム誘起応答光を検出するように位置する検出器であって、検出された非トロイダルビーム誘起応答光が、非トロイダルビーム画像成分に対応しており、検出されたトロイダルビーム誘起応答光が、トロイダル画像成分に対応している、検出器と、を更に含む。一部の実施例では、非トロイダルビームは、サンプル領域においてガウス強度プロファイルを含み、トロイダルビームは、サンプル領域においてトロイダル強度プロファイルを含む。一部の実施例では、ビーム源は、トロイダルビームを生成するように位置する渦位相板を備える。一部の実施例では、ビーム源は、トロイダルビームを生成するように位置する方位角偏光子及び空間光変調器を備える。一部の実施例では、ピーク非トロイダル撮像ピクセル強度は、非トロイダル画像成分を取得するために使用される検出器の飽和レベル未満の最高強度を含む。一部の実施例では、形成された画像は、超解像光散乱画像、リン光画像、又は蛍光画像である。代表的な実施例において、装置、顕微鏡。
【0005】
開示される技術の別の態様によれば、コンピュータ可読媒体は、コンピュータ実行可能命令を備え、コンピュータ実行可能命令は、コンピュータプロセッサに、コンピュータメモリから、撮像領域にわたる一連のピクセル強度を含む非トロイダルビーム画像成分と、撮像領域にわたる一連のピクセル強度を含むトロイダルビーム画像成分と、にアクセスすることと、コンピュータプロセッサを用いて、撮像領域にわたるピーク非トロイダルビーム撮像ピクセル強度と撮像領域にわたるピークトロイダルビーム撮像強度との間の比によって、非トロイダル又はトロイダルビーム画像成分のうちの１つの少なくとも１つのピクセルの画像強度をスケーリングして、スケーリングされた画像強度を生成することと、非トロイダル又はトロイダル画像成分の少なくとも１つのピクセルのスケーリングされた画像強度と、非トロイダル又はトロイダル画像成分のうちの他方の少なくとも１つのピクセルの画像強度との間の差を決定して、画像の少なくとも一部分を形成することと、を行わせる。
【0006】
開示される技術の前述及び他の目的、特徴、及び利点は、添付の図面を参照して進められる以下の詳細な説明からより明らかになるであろう。
【図面の簡単な説明】
【0007】
【図1A】減算顕微鏡法プロセスを示すシミュレーション画像である。
【図1B】減算顕微鏡法プロセスを示すシミュレーション画像である。
【図1C】減算顕微鏡法プロセスを示すシミュレーション画像である。
【図1D】減算顕微鏡法プロセスを示すシミュレーション画像である。
【図1E】減算顕微鏡法プロセスを示すシミュレーション画像である。
【図1F】減算顕微鏡法プロセスを示すシミュレーション画像である。
【図2A】減算顕微鏡法プロセスにおいて適用されるガンマ係数を変化させた場合の性能変動を示すシミュレーション画像である。
【図2B】減算顕微鏡法プロセスにおいて適用されるガンマ係数を変化させた場合の性能変動を示すシミュレーション画像である。
【図2C】減算顕微鏡法プロセスにおいて適用されるガンマ係数を変化させた場合の性能変動を示すシミュレーション画像である。
【図2D】減算顕微鏡法プロセスにおいて適用されるガンマ係数を変化させた場合の性能変動を示すシミュレーション画像である。
【図3A】性能比較のための様々な量の輝度を有する一連のシミュレーションビーズである。
【図4A】それぞれ、トロイダルモード及びコンフォーカルモードで生成された顕微鏡画像である。
【図4B】それぞれ、トロイダルモード及びコンフォーカルモードで生成された顕微鏡画像である。
【図4D】コンフォーカル単独と画像減算との間の性能を比較するグラフである。
【図5】開示された技術による超解像画像を生成するように構成された顕微鏡システムの概略図である。
【図6】例示的な顕微鏡方法のフローチャートである。
【発明を実施するための形態】
【0008】
序論
コンフォーカル構造化照明ラマン顕微鏡法（Ｃ－ＳＩＭラマン）は、回折限界を超えてラマン顕微鏡の横方向分解能を改善するために使用され得る技術である。Ｃ－ＳＩＭ（差分顕微鏡法又は蛍光差分顕微鏡法とも呼ばれる）を使用すると、減算プロセスによって顕微鏡の横方向分解能を最大約４０％改善することができる。サンプルにわたってトロイダル形状の集束スポット（一般的なコンフォーカル顕微鏡スポットなど）を走査することによって取得される画像は、非トロイダル形状の集束スポットを用いて走査することによって取得される画像から減算され得る。トロイド形状の集束スポットを生成するために、渦位相板（vortex phase plate、ＶＰＰ）を顕微鏡の呼掛けビームの経路に沿って追加することができる。ＶＰＰは渦ビームを生成し、渦ビームは、集束されると、対物レンズによって許容される解像度よりも小さくすることができる内部暗領域を含むトロイド形状を生成する。他の実施例では、方位角偏光子を用いて方位角方向に偏光された光を形成することによって、ドーナツ形状の走査スポットを生成することができる。一部の実施例では、空間光変調器を使用するか、又は方位角偏光子とともに使用して、ドーナツ形状のスポットを生成することができる。例えば、ビームは、偏光子を通して指向され、半径方向及び方位角偏光の両方を生成することができ、次いで、半径方向成分は、空間光変調器（空間フィルタ）を用いて除去され、方位角偏光を残し、次いで、レンズシステムを使用して集束され、ドーナツスポットを形成することができる。空間光変調器は、典型的には、要素のマトリクス（例えば、１０００×１０００）を有し、その各々は、選択的にオン及びオフにされ得る。一部の実施例では、直線偏光がＳＬＭに向けられ、特定のマスク（オン／オフとしてプログラムされた一連の行列要素）が入力される。光は、ＳＬＭを通して反射又は透過され得る。ＳＬＭと相互作用した後、光は、円偏光され、次にサンプルに入射し、ドーナツ走査スポットを形成する。一般に、トロイダル形状は、円形又はドーナツ形であるが、楕円形、卵形、正方形などの他の形状もトロイダルであり得ることが理解されるであろう。画像が減算されるときに、この暗い領域の直径は、改善された横方向解像度を定義することができる。したがって、Ｃ－ＳＩＭ顕微鏡法及び関連する差分顕微鏡法技術では、２つの画像が、２つの異なる緊密に集束された走査スポットを走査することによって取得され、画像は、システムの横方向分解能を改善するために、互いから減算される。
コンフォーカル構造化照明ラマン顕微鏡法（Ｃ－ＳＩＭラマン）は、回折限界を超えてラマン顕微鏡の横方向分解能を改善するために使用され得る技術である。Ｃ－ＳＩＭ（差分顕微鏡法又は蛍光差分顕微鏡法とも呼ばれる）を使用すると、減算プロセスによって顕微鏡の横方向分解能を最大約４０％改善することができる。サンプルにわたってトロイダル形状の集束スポット（一般的なコンフォーカル顕微鏡スポットなど）を走査することによって取得される画像は、非トロイダル形状の集束スポットを用いて走査することによって取得される画像から減算され得る。トロイド形状の集束スポットを生成するために、渦位相板（vortex phase plate、ＶＰＰ）を顕微鏡の呼掛けビームの経路に沿って追加することができる。ＶＰＰは渦ビームを生成し、渦ビームは、集束されると、対物レンズによって許容される解像度よりも小さくすることができる内部暗領域を含むトロイド形状を生成する。他の実施例では、方位角偏光子を用いて方位角方向に偏光された光を形成することによって、ドーナツ形状の走査スポットを生成することができる。一部の実施例では、空間光変調器を使用するか、又は方位角偏光子とともに使用して、ドーナツ形状のスポットを生成することができる。例えば、ビームは、偏光子を通して指向され、半径方向及び方位角偏光の両方を生成することができ、次いで、半径方向成分は、空間光変調器（空間フィルタ）を用いて除去され、方位角偏光を残し、次いで、レンズシステムを使用して集束され、ドーナツスポットを形成することができる。空間光変調器は、典型的には、要素のマトリクス（例えば、１０００×１０００）を有し、その各々は、選択的にオン及びオフにされ得る。一部の実施例では、直線偏光がＳＬＭに向けられ、特定のマスク（オン／オフとしてプログラムされた一連の行列要素）が入力される。光は、ＳＬＭを通して反射又は透過され得る。ＳＬＭと相互作用した後、光は、円偏光され、次にサンプルに入射し、ドーナツ走査スポットを形成する。一般に、トロイダル形状は、円形又はドーナツ形であるが、楕円形、卵形、正方形などの他の形状もトロイダルであり得ることが理解されるであろう。画像が減算されるときに、この暗い領域の直径は、改善された横方向解像度を定義することができる。したがって、Ｃ－ＳＩＭ顕微鏡法及び関連する差分顕微鏡法技術では、２つの画像が、２つの異なる緊密に集束された走査スポットを走査することによって取得され、画像は、システムの横方向分解能を改善するために、互いから減算される。
【0009】
図１Ｃ～図１Ｆは、例示的なＣ－ＳＩＭ撮像プロセス１００を示す。図１Ｃは、顕微鏡で撮像されるように配置された一連の点光源オブジェクト１０２ａ、１０２ｂのグラウンドトゥルース形状である。示されるように、オブジェクト１０２ａ、１０２ｂは、フルオレセイン染色ナノスケールビーズのシミュレーションスポットである。図１Ｄは、集束されたガウスビームで畳み込まれたオブジェクト１０２ａ、１０２ｂの点広がり関数（point spread function、ＰＳＦ）画像である。回折限界のために、画像は、オブジェクト１０２ａ、１０２ｂの離間した二重の性質を省いた歪んだブロブ１０４として現れる。図１Ｄの画像は、典型的な高解像度コンフォーカル顕微鏡で取得された画像を表している。Ｃ－ＳＩＭ撮像プロセス１００では、オブジェクト１０２、１０２ｂが集束トロイダルビームで畳み込まれた第２の画像がまた取得される。集束されたトロイダルビーム（明るい領域及び暗い領域の両方）の直径は、典型的には、集束されたガウス（又は非トロイダル）ビームの直径よりも大きい。穴１０６ａ、１０６ｂが見えるようになり、幾分類似した歪んだブロブ１０８を形成する。図１Ｆは、減算された画像、すなわち差分画像を形成するために、ガウス画像のピクセル強度から減算されたトロイダル画像のピクセル強度を示している。減算画像では、実際のオブジェクト１０２ａ、１０２ｂと共通するより多くの特性を有する分離されたブロブ１１０ａ、１１０ｂが見られ、画像を収集するために使用される顕微鏡に利用可能な改善された横方向分解能を実証する。減算技術を使用することによって、改善された横方向分解能は、そうでなければ区別できないであろうシミュレーションスポット１０２ａ、１０２ｂを区別することができる。
【0010】
示されるように、トロイダル画像の強度は、ガンマ係数によって重み付けされる。したがって、１つの画像は、コンフォーカル走査スポット（ＩＣｏｎｆｏｃａｌ）を使用して取得され、他の画像は、トロイダル形状の走査スポット（ＩＤｏｎｕｔ）を使用して取得され、トロイダル形状の走査スポットで取得される画像は、通常、ガウス画像から減算される前にユーザ定義のパラメータによってスケーリングされて、超解像画像（ＩＳＲ）を生成し、超解像画像の強度を決定する方程式は、一般に、以下の形式であり得る。
ＩＳＲ＝ＩＣｏｎｆｏｃａｌ－（ガンマ）＊ＩＤｏｎｕｔ
ＩＳＲ＝ＩＣｏｎｆｏｃａｌ－（ガンマ）＊ＩＤｏｎｕｔ
【0011】
残念ながら、Ｃ－ＳＩＭのアプリケーションの多くにおいて、この減算に関与するガンマのようなパラメータは、実験中にユーザ自身によって任意に決定される。Ｃ－ＳＩＭ実験中の画像の不適切な減算は、画像劣化又は改善された解像度の不完全な利用のいずれかをもたらし得る。ユーザ入力の必要性と、減算に必要なパラメータをユーザが決定することによって生成されるアーチファクトの可能性との両方を除去する適応的解決策は、望ましい改善であろう。ユーザ入力を必要としない以前に公開された適応方法は、画像内の可変強度のオブジェクトを正確に処理することができなかった。可変強度は、例えば、画像内の明るいビーズ及び暗いビーズのように、異なる強度を有する画像内の異なるオブジェクト又はオブジェクトの部分として定義され得る。また、これらの公開された方法は、Ｃ－ＳＩＭによって提供される改善された分解能を十分に利用していない。
【0012】
例えば、様々な過去の試みがあっても、この減算のためのスケーリングパラメータを定義するために導入される正確な又は明確な基準はまだ存在していない。不明確なスケーリング係数を有する危険性は、アーチファクトを生成し、かつ画像内の特徴を劣化させる可能性を含む。画像が、小さなビーズの集まりなどの回折限界オブジェクトのまばらな集まりを含む場合、スケーリングパラメータの定義は、著しいアーチファクトが画像に導入されることなく変化することができる。しかしながら、ほとんどの場合、画像は、細胞核又は細胞骨格などの連続オブジェクトを含み、これらは、不正確なスケーリングパラメータが選択された場合に著しく劣化する可能性がある。
【0013】
以下で更に説明する開示される技術の実施例では、適応アルゴリズムは、画像減算を実行するためにユーザ入力を必要とせず、Ｃ－ＳＩＭ技術によって許容される完全な解像度を有する画像内の強度の任意の組み合わせを有するオブジェクトを正確に解像することができる。方法は、ユーザが改善された横方向解像度を有する画像を取得することができるように、リアルタイムで実装することができる。開示される方法は、減算顕微鏡法を伴う種々の顕微鏡及び／又はソフトウェアパッケージに適用され得る。例示的な技術は、特に超解像空間において、信頼性を改善し、既存の顕微鏡の有用性を広げることができる。例示的な方法は、超解像顕微鏡法のための費用効果の高い解決策を提示することができ、これにより、これらの技術は、綿密な訓練又は高度な技能なしに使用することができ、一貫性を機器全体にわたって取得することができる。
【0014】
例示的なスケーリング技術
開示される方法は、ガウス（例えば、通常のコンフォーカル）走査スポットを用いて収集される画像を、トロイダル走査スポットを用いて収集される画像と同じ最大強度にスケーリングすることができる。最大強度は、例として、最大放射輝度に対応することができ、１つ以上のピクセルに関連付けることができる。強度最大値は、ピクセル（画像）のアレイ又はマトリクスの他のピクセルに対して定量化することができる。このようにして、強度の最大値が同じになるように画像をスケーリングすることができる。スケーリング後、２つの画像を減算して、より高い解像度の画像を形成することができる。最大強度は、カメラの飽和レベル未満の最高強度として定義され得る。画像内の最大強度を使用することは、スケーリングが、最も高い信号／雑音比を有する画像内の特徴に基づくことを可能にする。ほとんど又は全ての場合において、渦位相板によって生成されるトロイダル形状の走査スポットは、コンフォーカル取得において使用されるガウス走査スポットよりも面積が大きい。トロイダル形状の走査スポットにおける励起光の密度は強度が低いので、トロイダル形状の走査スポットによって生成される画像は、ガウス走査スポットによって生成される画像よりも強度が暗くなる。ガウス走査スポットによって生成される画像は、最高強度を有することができる。開示された実施例の多くにおいて、正のスケーリングのみが適用される。その結果、ユーザは、自身の画像内の薄暗いオブジェクトを覆い隠すことを回避する。両方の画像は、例えば、共通の撮像領域にわたって、オブジェクトの同じセットを表すので、両方の画像は、この特徴を含み、したがって、それは、減算のためのスケーリング係数を定義するために使用され得る。適応減算の選択された実装態様のためのＰｙｔｈｏｎコードは、以下のコード表１に再現される。この効果を達成するために、トロイダル点広がり関数（ＰＳＦ）を用いて収集された画像は、ガウスＰＳＦを用いて収集された画像と同じピーク強度にスケーリングされ、スケーリングされたトロイダル画像は、ガウス画像から減算され、強度＜０を有する差分画像内の任意の位置において、強度は０に送られる。
開示される方法は、ガウス（例えば、通常のコンフォーカル）走査スポットを用いて収集される画像を、トロイダル走査スポットを用いて収集される画像と同じ最大強度にスケーリングすることができる。最大強度は、例として、最大放射輝度に対応することができ、１つ以上のピクセルに関連付けることができる。強度最大値は、ピクセル（画像）のアレイ又はマトリクスの他のピクセルに対して定量化することができる。このようにして、強度の最大値が同じになるように画像をスケーリングすることができる。スケーリング後、２つの画像を減算して、より高い解像度の画像を形成することができる。最大強度は、カメラの飽和レベル未満の最高強度として定義され得る。画像内の最大強度を使用することは、スケーリングが、最も高い信号／雑音比を有する画像内の特徴に基づくことを可能にする。ほとんど又は全ての場合において、渦位相板によって生成されるトロイダル形状の走査スポットは、コンフォーカル取得において使用されるガウス走査スポットよりも面積が大きい。トロイダル形状の走査スポットにおける励起光の密度は強度が低いので、トロイダル形状の走査スポットによって生成される画像は、ガウス走査スポットによって生成される画像よりも強度が暗くなる。ガウス走査スポットによって生成される画像は、最高強度を有することができる。開示された実施例の多くにおいて、正のスケーリングのみが適用される。その結果、ユーザは、自身の画像内の薄暗いオブジェクトを覆い隠すことを回避する。両方の画像は、例えば、共通の撮像領域にわたって、オブジェクトの同じセットを表すので、両方の画像は、この特徴を含み、したがって、それは、減算のためのスケーリング係数を定義するために使用され得る。適応減算の選択された実装態様のためのＰｙｔｈｏｎコードは、以下のコード表１に再現される。この効果を達成するために、トロイダル点広がり関数（ＰＳＦ）を用いて収集された画像は、ガウスＰＳＦを用いて収集された画像と同じピーク強度にスケーリングされ、スケーリングされたトロイダル画像は、ガウス画像から減算され、強度＜０を有する差分画像内の任意の位置において、強度は０に送られる。
【0015】
コード表１
ｄｅｆ ｓｕｂｔｒａｃｔ＿ｍｅｔｈｏｄ＿４（ｉｍｇ，ｉｍｄ）：
＃ｒｅｍｏｖｉｎｇ ｓａｔｕｒａｔｉｎｇ ｐｉｘｅｌｓ ｆｏｒ ｓｃａｌｉｎｇ ｏｎｌｙ
ｓａｔ＿ｌｅｖｅｌ＝６５５３５
ｉｄｘ＿ｓａｔ＿ｉｍｇ＝ｎｐ．ｗｈｅｒｅ（ｉｍｇ＝＝ｓａｔ＿ｌｅｖｅｌ）
ｉｍｇ＿ｆｏｒ＿ｓｃａｌｉｎｇ＝ｉｍｇ
ｉｍｇ＿ｆｏｒ＿ｓｃａｌｉｎｇ［ｉｄｘ＿ｓａｔ＿ｉｍｇ］＝０
＃ｄｏｉｎｇ ｔｈｅ ｓｃａｌｉｎｇ
ｄｏｎｕｔ＿ｕｓｅ＝ｉｍｄ＊（ｎｐ．ｍａｘ（ｉｍｇ＿ｆｏｒ＿ｓｃａｌｉｎｇ）／ｎｐ．ｍａｘ（ｉｍｄ））
＃ｄｏｉｎｇ ｔｈｅ ｓｕｂｔｒａｃｔｉｏｎ
ｔｅｓｔ４＝ｉｍｇ－ｄｏｎｕｔ＿ｕｓｅ
＃ｒｅｍｏｖｉｎｇ ｎｏｎ－ｚｅｒｏ ｅｎｔｒｉｅｓ
ｉｄｘ＿ｆ＝ｎｐ．ｗｈｅｒｅ（ｔｅｓｔ４＜０）
ｔｅｓｔ４［ｉｄｘ＿ｆ］＝０
＃ｒｅｔｕｒｎｉｎｇ Ｃ－ＳＩＭ ｉｍａｇｅ
ｒｅｔｕｒｎ ｔｅｓｔ４
ｄｅｆ ｓｕｂｔｒａｃｔ＿ｍｅｔｈｏｄ＿４（ｉｍｇ，ｉｍｄ）：
＃ｒｅｍｏｖｉｎｇ ｓａｔｕｒａｔｉｎｇ ｐｉｘｅｌｓ ｆｏｒ ｓｃａｌｉｎｇ ｏｎｌｙ
ｓａｔ＿ｌｅｖｅｌ＝６５５３５
ｉｄｘ＿ｓａｔ＿ｉｍｇ＝ｎｐ．ｗｈｅｒｅ（ｉｍｇ＝＝ｓａｔ＿ｌｅｖｅｌ）
ｉｍｇ＿ｆｏｒ＿ｓｃａｌｉｎｇ＝ｉｍｇ
ｉｍｇ＿ｆｏｒ＿ｓｃａｌｉｎｇ［ｉｄｘ＿ｓａｔ＿ｉｍｇ］＝０
＃ｄｏｉｎｇ ｔｈｅ ｓｃａｌｉｎｇ
ｄｏｎｕｔ＿ｕｓｅ＝ｉｍｄ＊（ｎｐ．ｍａｘ（ｉｍｇ＿ｆｏｒ＿ｓｃａｌｉｎｇ）／ｎｐ．ｍａｘ（ｉｍｄ））
＃ｄｏｉｎｇ ｔｈｅ ｓｕｂｔｒａｃｔｉｏｎ
ｔｅｓｔ４＝ｉｍｇ－ｄｏｎｕｔ＿ｕｓｅ
＃ｒｅｍｏｖｉｎｇ ｎｏｎ－ｚｅｒｏ ｅｎｔｒｉｅｓ
ｉｄｘ＿ｆ＝ｎｐ．ｗｈｅｒｅ（ｔｅｓｔ４＜０）
ｔｅｓｔ４［ｉｄｘ＿ｆ］＝０
＃ｒｅｔｕｒｎｉｎｇ Ｃ－ＳＩＭ ｉｍａｇｅ
ｒｅｔｕｒｎ ｔｅｓｔ４
【0016】
ガンマ変動のシミュレーション結果
図２Ａ～図２Ｄは、シミュレーション閉構造についての一連の画像結果であり、スケーリング係数（ガンマ）の定義が、アーチファクトの生成を含めて、Ｃ－ＳＩＭ超解像画像にどのように影響し得るかを示す。シミュレーション正方形構造２０２及びシミュレーション円形構造２０４が図２Ａに示されている。各構造２０２、２０４は、単一ピクセルの幅を有する連続線を含んでいた。構造２０２、２０４は、コンフォーカル走査スポットを表すガウシアンと、渦板からの走査スポットを表すトロイダルドーナツとで畳み込まれた。画像の減算は、様々な一連のスケーリングパラメータを用いて行われ、得られた画像を図２Ｂ～図２Ｄに示す。一般に、スケーリングパラメータが低すぎるように選択された場合、結果として得られるＣ－ＳＩＭ画像は、横方向解像度が改善されない。図２Ｂは、ガンマレベルが０．３であるように任意に選択された図２Ａからのオブジェクト２０２、２０４の超解像画像についてのそのような改善の欠如を示す。大きなスケーリングパラメータを使用する場合にも、画像内の特徴に対する著しい劣化が生じる可能性がある。図２Ｄは、１．３のガンマ値を用いて構造２０２、２０４に対して得られた超解像画像を示す。（ガンマ）のこのより高い値を用いて取得された超解像度は、不連続性の形態の正方形の角の周りの明確なアーチファクト、並びに円全体にわたる欠落した強度を含む。図２Ｃは、ガンマが０．７の場合に得られる減算超解像画像を示しており、アーチファクトがより少ないことを示している。
図２Ａ～図２Ｄは、シミュレーション閉構造についての一連の画像結果であり、スケーリング係数（ガンマ）の定義が、アーチファクトの生成を含めて、Ｃ－ＳＩＭ超解像画像にどのように影響し得るかを示す。シミュレーション正方形構造２０２及びシミュレーション円形構造２０４が図２Ａに示されている。各構造２０２、２０４は、単一ピクセルの幅を有する連続線を含んでいた。構造２０２、２０４は、コンフォーカル走査スポットを表すガウシアンと、渦板からの走査スポットを表すトロイダルドーナツとで畳み込まれた。画像の減算は、様々な一連のスケーリングパラメータを用いて行われ、得られた画像を図２Ｂ～図２Ｄに示す。一般に、スケーリングパラメータが低すぎるように選択された場合、結果として得られるＣ－ＳＩＭ画像は、横方向解像度が改善されない。図２Ｂは、ガンマレベルが０．３であるように任意に選択された図２Ａからのオブジェクト２０２、２０４の超解像画像についてのそのような改善の欠如を示す。大きなスケーリングパラメータを使用する場合にも、画像内の特徴に対する著しい劣化が生じる可能性がある。図２Ｄは、１．３のガンマ値を用いて構造２０２、２０４に対して得られた超解像画像を示す。（ガンマ）のこのより高い値を用いて取得された超解像度は、不連続性の形態の正方形の角の周りの明確なアーチファクト、並びに円全体にわたる欠落した強度を含む。図２Ｃは、ガンマが０．７の場合に得られる減算超解像画像を示しており、アーチファクトがより少ないことを示している。
【0017】
スケーリングパラメータを決定するために現在利用可能な方法は、適応強度加重減算法とともに、ガンマ値に対する任意のユーザ選択の変形を含む。Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎも、同様のタイプの画像減算のためにＫｕｍｂｈａｍらによって適用されているが、特定のサンプルタイプに限定されるか、又はサンプルの屈折率の任意の変動のための較正を必要とする。後述するように、これらの手法は全て、本出願で説明する新しい適応手法及び装置と比較した場合に欠点を有する。
【0018】
実験性能の比較
図３Ａ～図３Ｅは、開示された技術と既存の適応手法との間のシミュレーション性能比較を示す。図３Ａに示すように、漸増する強度を有するビーズのグリッドをシミュレートした。ビーズは、単一ピクセルオブジェクトのグリッドを提示した。超解像（Ｃ－ＳＩＭ）画像は、Ｋｓｅｎｉｙａら、「Ｉｎｔｅｎｓｉｔｙ Ｗｅｉｇｈｔｅｄ Ｓｕｂｔｒａｃｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ Ａｐｐｒｏａｃｈ ｆｏｒ Ｉｍａｇｅ Ｃｏｎｔｒａｓｔ ａｎｄ Ｒｅｓｏｌｕｔｉｏｎ Ｅｎｈａｎｃｅｍｅｎｔ」、Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ第６巻、記事番号：２５８１６（２０１６）に記載されている適応方法を使用して作成され、結果を図３Ｂに示す。これとは別に、図３Ｃは、上述のコード表１によるステップを使用して生成された画像を示しており、強度は、トロイダル画像成分及び非トロイダル画像成分のピーク強度に基づいてスケーリングされる。図３Ｄ及び図３Ｅは、Ｋｓｅｎｉｙａらの手法（図３Ｄ）及び本明細書に記載の手法（図３Ｅ）の性能を示すグラフである。グラフの各々において、図３Ａの生のシミュレーション単一ピクセルオブジェクトの強度ラインプロファイル（画像の右側のライン）が、図３Ｂ及び図３Ｃに示される結果において取られた同様の強度ラインプロファイルと比較された。最初に、図３Ｄに示すように、Ｋｓｅｎｉｙａらの手法によって作成されたシミュレーションＣ－ＳＩＭ画像内のスポットの相対強度は、シミュレーション強度と一致しない。また、Ｋｓｅｎｉｙａらの手法によって生成された超解像画像は、図３Ｂに見られるように、特にスポットの最下列に沿って、ビーズ間に多くの拡散蛍光を含む。コンフォーカル顕微鏡法と比較すると、撮像システムの横方向分解能の改善が、両方のセットの手法において見られるが、開示される技術によるピーク強度スケーリング手法は、オブジェクト間の分離がより明確に分解されるため、図３Ｃから分かるように、Ｃ－ＳＩＭ技術からの改善された分解能のより多くにアクセスすることができる。同様に、本明細書で説明されるステップに従って生成される超解像画像内のスポットの相対強度は、図３Ｅに見られるように、元のシミュレーションスポット内の強度と密接に一致する。したがって、Ｋｓｅｎｉｙａらの既存の適応的手法は、ある範囲の強度を有する画像内の特徴が提示される場合には問題が生じるが、本明細書で開示される技術は、著しい改善を示す。
図３Ａ～図３Ｅは、開示された技術と既存の適応手法との間のシミュレーション性能比較を示す。図３Ａに示すように、漸増する強度を有するビーズのグリッドをシミュレートした。ビーズは、単一ピクセルオブジェクトのグリッドを提示した。超解像（Ｃ－ＳＩＭ）画像は、Ｋｓｅｎｉｙａら、「Ｉｎｔｅｎｓｉｔｙ Ｗｅｉｇｈｔｅｄ Ｓｕｂｔｒａｃｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ Ａｐｐｒｏａｃｈ ｆｏｒ Ｉｍａｇｅ Ｃｏｎｔｒａｓｔ ａｎｄ Ｒｅｓｏｌｕｔｉｏｎ Ｅｎｈａｎｃｅｍｅｎｔ」、Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ第６巻、記事番号：２５８１６（２０１６）に記載されている適応方法を使用して作成され、結果を図３Ｂに示す。これとは別に、図３Ｃは、上述のコード表１によるステップを使用して生成された画像を示しており、強度は、トロイダル画像成分及び非トロイダル画像成分のピーク強度に基づいてスケーリングされる。図３Ｄ及び図３Ｅは、Ｋｓｅｎｉｙａらの手法（図３Ｄ）及び本明細書に記載の手法（図３Ｅ）の性能を示すグラフである。グラフの各々において、図３Ａの生のシミュレーション単一ピクセルオブジェクトの強度ラインプロファイル（画像の右側のライン）が、図３Ｂ及び図３Ｃに示される結果において取られた同様の強度ラインプロファイルと比較された。最初に、図３Ｄに示すように、Ｋｓｅｎｉｙａらの手法によって作成されたシミュレーションＣ－ＳＩＭ画像内のスポットの相対強度は、シミュレーション強度と一致しない。また、Ｋｓｅｎｉｙａらの手法によって生成された超解像画像は、図３Ｂに見られるように、特にスポットの最下列に沿って、ビーズ間に多くの拡散蛍光を含む。コンフォーカル顕微鏡法と比較すると、撮像システムの横方向分解能の改善が、両方のセットの手法において見られるが、開示される技術によるピーク強度スケーリング手法は、オブジェクト間の分離がより明確に分解されるため、図３Ｃから分かるように、Ｃ－ＳＩＭ技術からの改善された分解能のより多くにアクセスすることができる。同様に、本明細書で説明されるステップに従って生成される超解像画像内のスポットの相対強度は、図３Ｅに見られるように、元のシミュレーションスポット内の強度と密接に一致する。したがって、Ｋｓｅｎｉｙａらの既存の適応的手法は、ある範囲の強度を有する画像内の特徴が提示される場合には問題が生じるが、本明細書で開示される技術は、著しい改善を示す。
【0019】
図４Ａ～図４Ｄは、シミュレートされていないデータに適用された、本明細書で説明されるスケーリング技術の結果を示す。この実施例では、カバーガラス上で乾燥させたサブ解像度蛍光ビーズ（直径０．５μｍ）を、０．７５ＮＡ ５０×空気対物レンズで撮像した。図４Ａの画像は、実証目的のためにわずかに焦点をぼかした。渦位相板をビーム経路に配置して、図４Ａに示す画像用のトロイダル焦点スポットを生成した。図４Ａからの同じビーズの画像は、図４Ｂに示されるように、渦位相板なしで、５０×、０．７５ＮＡ対物レンズを用いて取得された。比較のために、画像を１０００カウントにスケーリングした。図４Ｃに示されるように、図４Ａの画像は、開示された適応減算技術を使用して図４Ｂの画像から減算され、画像は、比較のために再び１０００カウントにスケーリングされた。図４Ｄは、図４Ａ及び図４Ｂの画像の中心付近のビーズのラインプロファイルを示す。示されたラインプロファイルは、基本的なコンフォーカル取得のためのものであり、新たに開示された技術によるＣ－ＳＩＭのためのものである。図４Ｂ及び図４Ｃにおける矢印は、図４Ｄにおいて分析されたビーズを示す。改善されたサブトラクション技術の使用により、サブトラクション後のビーズの幅（したがって、横方向解像度）は、コンフォーカルＰＳＦを用いて取得された画像よりも小さかった。この実施例では、画像内に存在する明るいビーズ及び暗いビーズの両方が、横方向分解能の改善を明確に示した。同様に、互いに近くに位置するビーズも明確に分離することができた。シミュレーションデータに基づいて上述したように、開示される技術は、以前の方法よりも、トロイダル走査スポットによって提供される許容される解像度の多くを確実に保持することができる。
【0020】
図５は、開示される技術による適応画像減算を実施するように構成された例示的なＣ－ＳＩＭシステム５００である。システム５００は、ビーム源５０２及び検出器５０４を含む。使用中、サンプル５０６は、ビーム源５０２で生成されたビーム５０８に対して配置される。ある領域にわたって画像を生成するために、サンプル５０６及び／又はビーム５０８を互いに対して移動させて、例えば、制御された走査によって、ビーム５０８をサンプル５０６上の異なる位置に向けることができるようにする。代表的な実施例では、ビーム源５０２は、少なくとも２つのモードでビーム５０８を提供するように構成されている。第１のモードでは、ビーム源５０２は、例えば、ガウス分布が使用され得る通常のコンフォーカルビーム走査と同様に、ビーム５０８が非トロイダル強度分布を有するように、ビーム５０８を生成し、サンプル５０６に集束させる。第２のモードでは、ビーム源５０２は、ビーム５０８がトロイダル形状の強度分布を有するように、ビーム５０８を生成し、サンプル５０６に集束させる。トロイダル形状の強度分布は、サンプル５０６の同様の領域にわたって誘導又は走査することができる。一部の実施例では、ビーム源５０２は、ガウス強度分布を形成するために生成された同じビームであるが、ビーム経路内に位置する渦位相板を用いて、トロイダル形状の強度分布を生成する。更なる実施例では、ビーム源５０２は、ビーム経路内に位置する方位角偏光子及び／又は空間光変調器を使用して、トロイダル形状の強度分布を生成する。一部の実施例では、顕微鏡５００は、３Ｄ撮像及び走査のために構成され得、例えば、チューブ形状を有する３Ｄトロイダル分布を形成するためにｚ方向に延在するトロイダル分布を用いて、３ＤコンテキストにおけるＣ－ＳＩＭ減算顕微鏡法に適した同様のモード及びビーム強度分布で動作する。そのような実施例では、ボクセルは、ピクセルを置き換えることができ、ボリュームは、領域を置き換えることができる。走査スポットのトロイダル形状は、典型的には、対物レンズの焦点に、又はその非常に近くに存在するので、ｚ軸に沿って焦点位置を変化させる走査技術を使用することができる。
【0021】
検出器５０４は、サンプル５０６から応答光５１０を受信するように配置されている。応答光５１０は、例えば、光散乱（ラマン、レイリー、ミーなど）、リン光、蛍光などの様々な形態のものとすることができ、ビーム５０８の強度プロファイルとサンプル５０６の構造との畳み込みとして点広がり関数（ＰＳＦ）によって記述され得る。第１のモードでは、焦点においてガウス又は他の非トロイダル形状を有するビーム５０８で生成された画像成分５１２が検出され、コンピュータメモリに記憶され得る。第２のモードでは、焦点においてトロイダル形状を有するビーム５０８で生成された画像成分５１４がまた検出され、コンピュータメモリに記憶され得る。画像成分５１２、５１４は、サンプル５０６の共通位置にわたる強度のマッピングを含むことができる。システム５００は、画像成分５１２、５１４を分析及び処理して、超解像画像５１６を形成するためのプロセッサ実行可能命令を用いて構成されたプロセッサを更に含むか、又は（例えば、ローカルに、リモートに、有線で、無線でなど）プロセッサに結合され得る。任意の機器において、特に異なる一連の画像が異なる時間に取得される（例えば、コンフォーカル画像が第１に、ドーナツ画像が第２に）場合、いくらかのｘ－ｙドリフトが存在し得る。画像レジストレーション解析は、画像が位置合わせされ得るように、画像減算が行われる前に実施され得る。代表的な実施例では、ピーク強度トロイダル画像ピクセル５１８は、画像成分５１４を形成する一連のピクセルにおいて最大強度を有するピクセルとして画像成分５１４から識別され得る。また、ピーク強度非トロイダル画像ピクセル５１９は、画像成分５１２を形成する一連のピクセルにおいて最大強度を有するピクセルとして画像成分５１２から識別され得る。スケーリング比５２０、すなわちガンマ係数は、ピーク非トロイダル画像ピクセルの強度に対するピークトロイダル画像ピクセルの強度の比によって定義され得る。画像減算ルーチン５２２は、超解像画像５１６を生成するように進むことができる。例えば、トロイダル画像成分５１４の強度は、スケーリング比５２０に従ってスケーリングされ得、次に、スケーリングされた強度が、非トロイダル画像成分５１２の強度から減算され得る。代替的に、非トロイダル画像成分５１４の強度は、逆数形式のスケーリング比５２０に従ってスケーリングされ得、次に、トロイダル画像成分５１４の強度が、非トロイダル成分５１２のスケーリングされた強度から減算され得る。スケーリング比５２０に基づいてスケーリングすることによって、超解像画像５１６における特徴定義の改善を取得することができる。更に、ユーザがもはやスケーリング比５２０を任意に又は発見的に選択する必要がなく、又はスケーリング比５２０を準最適デフォルト値に設定する必要がないことを含む、いくつかの追加の利点を提供することができる。むしろ、多くの場合、適応的に定義されたスケーリング比５２０は、Ｃ－ＳＩＭ技術によって許容される完全な解像度を有する画像内の強度の任意の組み合わせを有するオブジェクトを正確に解像することができる。手法は、ユーザが改善された横方向解像度を有する画像を取得することができるように、リアルタイムで実装することができる。多くの実施例では、適応スケーリングが動作して高解像画像を生成するために、較正、制御測定、又は機器に関する先験的知識を実装する必要はない。
【0022】
図６は、例えば、向上した超解像画像などの向上した画像を生成するために使用することができる顕微鏡法の様々な例示的な方法６００を示す。６０２において、非トロイダル（例えば、ガウス）画像成分及びトロイダル画像成分を取得することができる。画像成分は、様々な方法で取得され得る。一部の実施例では、画像成分は、顕微鏡システムの撮像センサを用いて顕微鏡画像を収集することと、収集された顕微鏡画像と関連付けられた収集された画像データをコンピューティングシステムに送信することと、強調画像を形成するように構成されたプロセッサを用いて画像データを受信することと、によって取得され得る。一部の事例では、画像成分を取得することは、顕微鏡システムを用いて画像を収集することなく、記憶された画像データを受信すること又はそれにアクセスすることを伴い得る。例えば、画像データは、実験若しくは画像バッチが完了した後など、画像取得後のある後の時点で、又は異なるリモート若しくはクラウドコンピューティングユニットを用いて処理され得る。
【0023】
６０４において、強調画像を形成するタスクを課された１つ又は複数のプロセッサは、トロイダル画像成分内のピーク強度ピクセルと、非トロイダル画像成分内のピーク強度ピクセルとを識別することができる。６０６において、非トロイダル画像成分のピクセルにおけるピーク強度を、トロイダル画像成分のピクセルにおけるピーク強度で割ることができ、又は、トロイダル画像成分のピクセルにおけるピーク強度を、非トロイダル画像成分のピクセルにおけるピーク強度で割ることができる。選択は、トロイダル画像成分及び非トロイダル画像成分のどちらがより明るいかに依存し得る。ほとんどの場合、より明るい画像は、非トロイダル（例えば、通常のコンフォーカル）画像成分である。しかしながら、これが当てはまらない原因となり得る機器の光退色又はミスアライメントの場合があり得る。一般に、スケーリングされる画像中の特徴が減少又は除去されないように、スケーリング係数＞１が画像に適用されていることを確実にすることが望ましい場合がある。
【0024】
多くの場合、トロイダル又は非トロイダル画像成分のピーク強度ピクセル、及び非トロイダル又はトロイダル画像成分の他方のピクセルは、撮像されているターゲットの同じグラウンドトゥルース位置に対応することができる。更なる実施例では、非トロイダル及びトロイダル成分のグラウンドトゥルース位置は、画像成分収集時間の間の、撮像されたオブジェクト、センサ、又はプローブビームの間のドリフト又は相対移動に起因して、異なるピクセル位置を有する可能性がある。例えば、画像を互いに位置合わせするために１つ以上の画像レジストレーション技術を使用することによって、ピクセル位置を画像成分間でマッピングすることができるように、画像成分を比較することができる。一部の事例では、トロイダル成分の２つ以上のピクセルが同じピーク強度値を有することができ、又は非トロイダル成分の２つ以上のピクセルが同じピーク強度値を有することができ、そのようなピクセルのいずれも、画像強調目的のためにピーク強度を定義するものとして選択され得る。
【0025】
６０８において、６０６で決定された商は、スケーリング比又はガンマに対応することができ、次いで、これを使用して、トロイダル又は非トロイダル画像成分の各ピクセル強度値をスケーリングすることができる。多くの場合、スケーリングは、各ピクセル強度に、トロイダル又は非トロイダル画像成分のうちの１つにおけるスケーリング係数を乗算することによって適用され得る。６１０において、コンポーネントのスケーリングされたピクセルと他のコンポーネントのスケーリングされていないピクセルとの間の差が決定され得る。例えば、ピークトロイダル画像成分ピクセル強度に対するピーク非トロイダル画像成分ピクセル強度の比によってスケーリングされたトロイダル成分ピクセルの各々を用いて、スケーリングされたトロイダル成分ピクセル強度を非トロイダル成分ピクセル強度から減算することができる。代替的に、ピーク非トロイダル画像成分ピクセル強度に対するピークトロイダル画像成分ピクセル強度の比によってスケーリングされた非トロイダル成分ピクセルの各々を用いて、トロイダル成分ピクセル強度をスケーリングされた非トロイダル成分ピクセル強度から減算することができる。６１２において、例えば、６１０で取得されたピクセル強度の配列から、超解像画像を形成することができる。
【0026】
一般的な考察
本出願及び特許請求の範囲において使用される場合、「ａ」、「ａｎ」、及び「ｔｈｅ」という単数形は、その内容に別段の明確な指示がない限り、複数形を含む。更に、「含む（includes）」という用語は、「備える（comprises）」を意味する。更に、「結合された（coupled）」という用語は、結合されたアイテム間の中間要素の存在を除外しない。
本出願及び特許請求の範囲において使用される場合、「ａ」、「ａｎ」、及び「ｔｈｅ」という単数形は、その内容に別段の明確な指示がない限り、複数形を含む。更に、「含む（includes）」という用語は、「備える（comprises）」を意味する。更に、「結合された（coupled）」という用語は、結合されたアイテム間の中間要素の存在を除外しない。
【0027】
本明細書で説明されるシステム、装置、及び方法は、決して限定するものとして解釈されるべきではない。代わりに、本開示は、様々な開示される実施形態の全ての新規かつ非自明な特徴並びに態様を、単独で、並びに互いとの様々な組み合わせ及び部分的組み合わせで対象とする。開示されるシステム、方法、及び装置は、任意の特定の態様若しくは特徴又はそれらの組み合わせに限定されず、開示されるシステム、方法、及び装置は、任意の１つ以上の特定の利点が存在すること、又は問題が解決されることを必要としない。動作の任意の理論は、説明を容易にするためのものであるが、開示されるシステム、方法、及び装置は、このような動作の理論に限定されない。
【0028】
開示される方法のうちのいくつかの動作は、便宜的な提示のために特定の連続的な順序で説明されるが、この説明の様式は、特定の順序付けが以下に記載される特定の文言によって必要とされない限り、並べ替えを包含することを理解されたい。例えば、連続して説明される動作は、場合によっては、並べ替えられてもよいか、又は同時に行われてもよい。更に、簡略化のために、添付の図面は、開示されるシステム、方法、及び装置が、他のシステム、方法、及び装置とともに使用され得る様々な方法を示していない場合がある。更に、説明は、開示される方法を説明するために「生成する、発生させる（produce）」及び「提供する（provide）」のような用語を使用することがある。これらの用語は、行われる実際の動作の高レベルの抽象化である。これらの用語に対応する実際の動作は、特定の実装態様に応じて変化し、当業者によって容易に認識可能である。
【0029】
一部の実施例では、値、手順、又は装置は、「最低」、「最良」、「最小」などと称される。かかる説明は、多くの使用される機能的代替物の中から選択を行うことができることを示すことを意図しており、かかる選択は、他の選択よりもよい、小さい、又はそうでなければ好ましい必要はないことが理解されるであろう。
【0030】
開示されるアルゴリズム技術は、例えば、デジタルコンピュータによって実行されるソフトウェア又はファームウェア命令として具現化され得る。例えば、開示される適応撮像技術のいずれも、画像処理及び／又は顕微鏡システムの一部であるコンピュータ又は他のコンピューティングハードウェア（例えば、ＡＳＩＣ又はＦＰＧＡ）によって実行され得る。システムは、撮像プロセッサに接続されるか、又はそうでなければ撮像プロセッサと通信し、検出器（例えば、ＣＣＤ、ＣＭＯＳなど）から撮像データを受信し、所望の減算計算（例えば、本明細書に開示される適応減算技術のいずれか）を行うようにプログラム又は構成され得る。コンピュータは、１つ以上のプロセッサ（処理デバイス）及び有形の非一時的コンピュータ可読媒体（例えば、１つ以上の光媒体ディスク、揮発性メモリデバイス（ＤＲＡＭ若しくはＳＲＡＭなど）、又は不揮発性メモリ若しくは記憶デバイス（ハードドライブ、ＮＶＲＡＭ、及びソリッドステートドライブ（例えば、フラッシュドライブ）など）を備えるコンピュータシステムであり得る。１つ以上のプロセッサは、有形の非一時的コンピュータ可読媒体のうちの１つ以上に記憶されたコンピュータ実行可能な命令を実行し得るが、それによって、開示される技術のいずれかを実行する。例えば、開示された実施形態のいずれかを実施するためのソフトウェアは、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに開示された適応減算技術のいずれかを実行させるコンピュータ実行可能命令として、１つ以上の揮発性の非一時的なコンピュータ可読媒体に記憶され得る。計算の結果は、１つ以上の有形の非一時的なコンピュータ可読記憶媒体に記憶され得（例えば、好適なデータ構造又はルックアップテーブルにおいて）、及び／又は例えば、グラフィカルユーザインターフェースを用いて超解像画像を表示デバイス上に表示することによって、ユーザに出力され得る。
【0031】
開示される技術の原理が適用され得る多くの可能な実施形態を考慮して、例解された実施形態は、代表的な実施例に過ぎず、本開示の範囲を限定するものとして解釈されるべきではないことを、認識されたい。これらのセクションで具体的に扱われる代替形態は、単に例示的なものであり、本明細書で説明される実施形態に対する全ての可能な代替形態を構成するものではない。例えば、本明細書で説明されるシステムの様々なコンポーネントは、機能及び使用において組み合わされてもよい。したがって、我々は、添付の特許請求の範囲の範囲に入る全てを請求する。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【外国語明細書】