IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝メディカルシステムズ株式会社の特許一覧 ▶ ザ ジェネラル ホスピタル コーポレイションの特許一覧

特開2024-167165プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減
<>
  • 特開-プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減 図1
  • 特開-プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減 図2
  • 特開-プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減 図3
  • 特開-プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減 図4
  • 特開-プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減 図5
  • 特開-プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減 図6
  • 特開-プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減 図7
  • 特開-プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減 図8
  • 特開-プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減 図9
  • 特開-プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167165
(43)【公開日】2024-12-03
(54)【発明の名称】プラズモン増強蛍光バイオセンシングのための背景ホットスポット低減
(51)【国際特許分類】
   G01N 21/64 20060101AFI20241126BHJP
   G01N 21/41 20060101ALI20241126BHJP
   G02B 21/36 20060101ALI20241126BHJP
【FI】
G01N21/64 E
G01N21/64 F
G01N21/64 B
G01N21/41 102
G02B21/36
【審査請求】未請求
【請求項の数】23
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024077569
(22)【出願日】2024-05-10
(31)【優先権主張番号】63/501,874
(32)【優先日】2023-05-12
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(71)【出願人】
【識別番号】592017633
【氏名又は名称】ザ ジェネラル ホスピタル コーポレイション
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小松 知
(72)【発明者】
【氏名】イム ヒョンスン
(57)【要約】      (修正有)
【課題】プラズモン増強光学撮像のための光学撮像システムおよび方法を提供する。
【解決手段】プラズモン基板1017上のサンプルを撮像するマルチチャネル蛍光顕微鏡101と、第1のチャネルにおいて複数の画像を異なる時間で取得する画像取得制御部102と、前記複数の画像のうち1つまたは複数の画像内の信号を、(1)前記サンプルからの信号または(2)背景ホットスポットからの信号に区別する画像処理部103と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
プラズモニック基板上のサンプルを撮像する蛍光顕微鏡と、
第1の画像を第1の時間で、少なくとも1つの第2の画像を第2の時間で取得する画像取得制御部と、
前記少なくとも1つの第1の画像内の信号を、(1)前記サンプルからの信号または(2)背景ホットスポットからの信号に区別する画像処理部と、を備え、
前記信号の区別は、
粒子検出分析を前記第1の画像に実行し、ベース粒子マップを作成することと、
粒子検出分析を前記少なくとも1つの第2の画像に実行し、一時粒子マップを作成することと、
前記ベース粒子マップ内の粒子が、前記一時粒子マップにおいて当該粒子の場所閾値内の場所に対応する粒子を有しない場合は、当該粒子を背景ホットスポットとして規定することと、
前記ベース粒子マップ内の粒子が、前記一時粒子マップにおいて当該粒子の場所閾値内の場所に対応する粒子を有する場合は、当該粒子を前記サンプルからの信号として規定することと、を含む、
プラズモン増強光学撮像のための光学撮像システム。
【請求項2】
前記少なくとも1つの第2の画像に粒子検出分析を実行することは、検出された粒子を有するベース粒子マップ上の場所に対応する前記少なくとも1つの第2の画像上の場所にのみ行われる、
請求項1に記載の光学撮像システム。
【請求項3】
更新粒子マップを作成するために、前記背景ホットスポットが前記ベース粒子マップから取り除かれる、
請求項1に記載の光学撮像システム。
【請求項4】
前記更新粒子マップは、繰り返し処理によって更に更新され、
前記繰り返し処理は、
前記少なくとも1つの第2の画像の別の画像に粒子検出分析を実行し、第2の(または以降の)一時粒子マップを作成することと、
前記更新ベース粒子マップ内の粒子について、前記第2の(または以降の)一時粒子マップ内の当該粒子の場所閾値内の場所に対応する粒子がない場合は、当該粒子を背景ホットスポットとして規定することと、を含む、
請求項3に記載の光学撮像システム。
【請求項5】
前記場所閾値は、前記粒子の領域が前記複数の粒子マップにおいて半分より広く重なることを求める、
請求項1に記載の光学撮像システム。
【請求項6】
前記ベース粒子マップ内で検出され前記サンプルからの信号として規定された粒子は、細胞外小胞(Extracellular vesicle:EV)または1つまたは複数の蛍光染料が付着したEVである、
請求項1に記載の光学撮像システム。
【請求項7】
前記画像取得制御部は、前記第1の画像と前記第2の画像の取得時間を設定し、前記取得時間は、前記サンプル内の蛍光染料の退色時間より短く設定される、
請求項1に記載の光学撮像システム。
【請求項8】
前記取得時間は、100msから5sであり、前記第1のチャネルにおいて異なる時間で少なくとも2つの画像が取得される、
請求項1に記載の光学撮像システム。
【請求項9】
前記信号の区別は、
前記少なくとも1つの第2の画像を前記第1の画像で位置合わせすることと、
前記ベース粒子マップと前記一時粒子マップとのコローカリゼーションをチェックすることと、
前記ベース粒子マップを更新することと、
をさらに含む、
請求項1に記載の光学撮像システム。
【請求項10】
前記画像処理部はさらに、
前記背景ホットスポットからの信号を前記少なくとも1つの第2の画像からサブトラクトし、
前記少なくとも1つの第2の画像を組み合わせて、組み合わせた画像を形成し、
前記組み合わせた画像をディスプレイに送る、
請求項1に記載の光学撮像システム。
【請求項11】
前記蛍光顕微鏡は、マルチチャネル蛍光顕微鏡であり、
前記画像取得制御部は、第1のチャネルと第2のチャネルのそれぞれで異なる時間で複数の画像を取得し、
前記画像処理部は、前記第1のチャネルと前記第2のチャネルのそれぞれで、前記複数の画像のうち1つまたは複数の画像内の信号を区別する、
請求項1に記載の光学撮像システム。
【請求項12】
前記画像取得制御部は、データ分析のために、信号対雑音比(signal-to-noise ratio:SNR)が高い画像をさらに取得し、
異なる時間で取得した前記少なくとも1つの第2の画像は、背景特定のために別々に取得される、
請求項1に記載の光学撮像システム。
【請求項13】
前記SNRが高い画像は、背景特定のための前記少なくとも1つの第2の画像の前に取得され、
背景特定のための前記少なくとも1つの第2の画像の前記取得時間は10msから1sである、
請求項12に記載の光学撮像システム。
【請求項14】
蛍光顕微鏡を用いてプラズモニック基板上のサンプルから複数の画像を取得することであって、前記複数の画像は第1のチャネルにおいて異なる時間で取得されることと、
前記複数の画像のうち1つまたは複数の画像内の信号を、(1)前記サンプルからの信号または(2)背景ホットスポットからの信号に区別すること、を含み、
前記信号の区別は、
粒子検出分析を前記複数の画像のうちの第1の画像に実行し、ベース粒子マップを作成することと、
粒子検出分析を前記複数の画像のうちの第2の画像に実行し、一時粒子マップを作成することと、
前記ベース粒子マップ内の粒子が、前記一時粒子マップにおいて当該粒子の場所閾値内の場所に対応する粒子を有する場合は、当該粒子を前記サンプルからの信号として規定することと、を含む、
分析方法。
【請求項15】
前記複数の画像の取得時間を、前記サンプル内の蛍光染料の退色時間より短く設定すること、を更に含む
請求項14に記載の分析方法。
【請求項16】
前記取得時間は、100msから900msであり、前記第1のチャネルにおいて異なる時間で少なくとも2つの画像が取得される、
請求項14に記載の分析方法。
【請求項17】
前記複数の画像のうちの1つの画像内の信号の区別は
前記複数の画像から前記第2の画像を前記ベース粒子マップで位置合わせすることと、
前記ベース粒子マップと前記一時粒子マップとのコローカリゼーションをチェックすることと、
前記ベース粒子マップを更新することと、
をさらに含む、
請求項14に記載の分析方法。
【請求項18】
更新粒子マップを作成するために、前記背景ホットスポットが前記ベース粒子マップから取り除かれる、
請求項16に記載の分析方法。
【請求項19】
前記更新粒子マップを表示することをさらに含む、
請求項18に記載の分析方法。
【請求項20】
前記更新粒子マップ上にある検出された粒子の数を算出することをさらに含む、
請求項18に記載の分析方法。
【請求項21】
少なくとも2つのチャネルそれぞれから複数の画像を取得することと、
前記少なくとも2つのチャネルそれぞれからの前記複数の画像のうちの1つまたは複数の画像内の信号を区別することと、
をさらに含む、
請求項16に記載の分析方法。
【請求項22】
前記複数の画像のうち前記第2の画像に対する粒子検出分析の実行は、粒子が検出された前記ベース粒子マップ上の場所に対応する前記第2画像上の場所にのみ行われる、
請求項16に記載の分析方法。
【請求項23】
前記更新粒子マップは繰り返し処理によって更に更新され、
前記繰り返し処理は、
前記複数の画像のうち別の画像に粒子検出分析を実行し、追加の一時粒子マップを作成することと、
前記更新ベース粒子マップ内の粒子について、前記追加の一時粒子マップ内の当該粒子の場所閾値内の場所に対応する粒子がない場合は、当該粒子を背景ホットスポットとして規定することと、を含む、
請求項18に記載の分析方法。
【発明の詳細な説明】
【背景技術】
【0001】
本願は米国特許出願番号が63/501,874で、出願日が2023年5月12日である米国特許出願に関し、その米国特許出願の優先権を主張し、その米国特許出願の全文を援用により本願に組み入れる。
【技術分野】
【0002】
本開示は、プラズモン増強バイオセンシングに関する。本開示は、より具体的には、画像を処理して背景ホットスポット雑音を除去するプラズモン増強蛍光バイオセンシングを例示する。
【0003】
体液中の細胞外小胞(Extracellular vesicle:EV)は、多種のタンパク質、miRNA、mRNAをその表面またはベシクル(小胞)内部に含むEVのおかげで、液体生検において有望材料であると考えられている。EVはいくつかのサブタイプに分類され、エキソーム(exosome)、微小胞、微小粒子、エクトソーム(ectosome)、オンコソーム(oncosome)、アポトーシス小体(apoptotic body)等を含み、そのサイズは約50nmから5μmの範囲で変化に富んでいる。200nmより小さい小型EVにおける液体生検が活発に研究されているが、EVが小さすぎて一般的な光学顕微鏡で観察できないことから、研究の大半はEVプロパティを分析するためにバルク分析を使用する。蛍光顕微鏡検査法は、単体のEVを観察可能にする方法の1つであるが、小型EVにおいては蛍光強度が弱く観察が困難となる。小型の単体EVを検出する方法の1つは、古典的なガラスプレートの代わりにプラズモンチップを用いるプラズモン増強蛍光バイオセンシングである。多種のプラズモンチップが開発されており、一部の種類のプラズモンチップはサイズと強度がEVからの信号に類似する不安定な背景ホットスポットを生じ得る。
【0004】
表面プラズモンを用いるセンシングが、例えばS. Park, et al., (“Self-Assembly of Nanoparticle-Spiked Pillar Arrays for Plasmonic Biosensing,” Adv. Funct. Mater., 2019, Vol. 29, Issue 43, 1904257)、Keiko Tawa, et al., (“Optical microscopic observation of fluorescence enhanced by grating-coupled surface plasmon resonance,” Opt. Express 16, 9781-9790 (2008))、Taylor, AB and Zijlstra, P, (ACS Sens. 2017, 2, 8, 1103-1122)、U.S. Pat. 8,039,267のように検討されている。表面プラズモンはまた、WO 2021/211756においても記載されており、援用によりその全文を本明細書に組み入れる。
【発明の概要】
【0005】
本開示の少なくとも1つの実施形態によると、プラズモン増強光学撮像のための光学撮像システムを含むシステム、装置、および方法を提供する。前記光学撮像システムは、プラズモニック基板上のサンプルを撮像する蛍光顕微鏡と、第1のチャネルにおいて複数の画像を異なる時間で取得する画像取得制御部と、前記複数の画像のうち1つまたは複数の画像内の信号を、(1)前記サンプルからの信号または(2)背景ホットスポットからの信号に区別する画像処理部と、を備える。この変化は前記複数の画像のうち1つまたは複数の画像における経時的変化に基づいてよい。前記画像処理部は、粒子検出分析を前記第1の画像に実行し、ベース粒子マップを作成することと、粒子検出分析を前記少なくとも1つの第2の画像に実行し、一時粒子マップを作成することと、前記ベース粒子マップ内の粒子が、前記一時粒子マップにおいて当該粒子の場所閾値内の場所に対応する粒子を有しない場合は、当該粒子を背景ホットスポットとして規定することと、前記ベース粒子マップ内の粒子が、前記一時粒子マップにおいて当該粒子の場所閾値内の場所に対応する粒子を有する場合は、当該粒子を前記サンプルからの信号として規定すること、によって前記信号を区別する。前記画像処理部は、繰り返しによりこれらの処理を数多く行い、前記ベース粒子マップを追加画像からの情報で更新してよい。前記画像処理部は、例えば、前記ベース粒子マップまたは更新粒子マップを表示してよい。
【0006】
本開示のさらに他の実施形態では、プラズモン増強光学撮像のための光学撮像システムを含むシステム、装置、および方法を提供する。前記光学撮像システムは、プラズモン基板上のサンプルを撮像する蛍光顕微鏡と、第1のチャネルにおいて異なる時間で複数の画像を取得する画像取得制御部と、前記複数の画像のうち1つまたは複数の画像内の信号を、(1)前記サンプルからの信号または(2)背景ホットスポットからの信号に区別する画像処理部と、を備える。この変化は前記複数の画像のうち1つまたは複数の画像における経時的変化に基づいてよい。前記画像取得制御部は前記複数の画像の取得時間を設定し、前記取得時間は前記サンプル内の蛍光染料の退色時間より長く設定される。具体的には、前記取得時間は100msから5sまたは600msから2sであり、前記第1のチャネルにおいて異なる時間で少なくとも2,4,6,8,10枚またはそれ以上の画像が取得される。
【0007】
本開示のこれら及びその他の目的と特徴と利点は、以下に示される本開示の例示的な実施形態の詳細な説明を、添付した図面と提示したクレームと合わせて読むことで明らかとなる。
【図面の簡単な説明】
【0008】
本開示の更なる目的、特徴、および利点が、本開示の実例となる実施形態を示す添付図面とともに下記の詳細な説明から明らかとなるだろう。
図1図1は、異なる露光時間におけるパーセンテージ表記の雑音の図である。
図2図2は、システム図である。
図3図3は、当該処理の1つの実施形態のフローチャートである。
図4図4は、背景ホットスポット雑音低減のためのフローチャートである。
図5図5(A)~5(D)は、各種粒子マップの例である。
図6図6は、背景ホットスポット雑音低減の1つの実施形態を示すフローチャートである。
図7図7は、背景ホットスポット雑音低減の1つの実施形態を示すフローチャートである。
図8図8は、背景ホットスポット雑音低減の1つの実施形態を示すフローチャートである。
図9図9は、検出された背景ホットスポット雑音のカウント数を示すグラフである。
図10図10は、前のフレームデータおよび第1のフレームデータに基づくコローカリゼーション率を示すグラフである。
【0009】
図面を通して、別途記載がない限り、同一の参照番号および文字は、図示した実施形態の同様の特徴、エレメント、コンポーネント、または部分を示すために使用する。また、本開示は図面を参照して詳細を説明するが、実証となる例示的な実施形態とともに説明される。添付した請求項によって定義される本開示の精神と範囲を逸脱しない限り、記載する例示的な実施形態に変更および修正を行うことができることを意図する。
【発明を実施するための形態】
【0010】
蛍光染料を用いた高感度ウイルス検出用プラズモンチップを適用する際には、その分析は単体の分子分析ではなくバルク検出であるため、微小な背景ホットスポット雑音は分析に重大な影響を及ぼさない。単体のEV分析の場合、各EVを分ける微小な信号を検出することが重要であり、これらの小さな信号のサイズと強度がプラズモンチップに生じる背景ホットスポット雑音に類似していることに難しさがある。また、背景ホットスポット雑音がやがて安定する場合は、事前に発生位置を測定することにより容易に特定できるが、生成され消滅する雑音などの強度はさらに変調し、生成位置はランダムである。信号対雑音率(signal to noise ratio:「SNR」)を改善するために長露光を用いる場合は、背景の点滅が輝点(bright spot)として捉えられ、EVからの信号と区別できない。当初において輝点が生じない場所での画像が取得される一方で輝点が生成されるため、事前取得した背景ホットスポット位置はこれらの低減に適用できない。
【0011】
このように、細胞外小胞などの小型生体サンプル上の少量の蛍光染料からの蛍光信号を検出する蛍光顕微鏡用プラズモンチップから不必要な背景ホットスポット雑音を低減するシステム、装置、方法を提供する。
【0012】
顕微鏡を用いたEV検出
EVはサイズが小さいため、光学顕微鏡で解像することができない。顕微鏡で検出するためには、蛍光染料を塗布し、その蛍光の光を輝点として検出して、蛍光信号の有無を検出する。サイズが小さいため、EVに塗布する蛍光染料は少なく、蛍光信号が弱いため、信号増幅が必要である。1つの方法として、プラズモン共鳴を用いる。
【0013】
背景ホットスポット雑音
局所プラズモニック共鳴効果を用いるプラズモンチップのなかには、サンプルからの信号に類似する微小な輝点である背景ホットスポット雑音を有する種類がある。加えて、雑音の場所はランダムであり、強い信号も弱い信号もあり、不規則に点滅する、または、特定の位置に一度だけ観測される。例えば3×3または2×2ピクセルなどの最小サイズより大きく、強度が強度閾値を超えるピクセルによって指定されたピクセルセットは、背景ホットスポット雑音として検出される。ゴールド製のプラズモンチップの一例では、AF555の波長帯からのホットスポット雑音は少なく、AF647とCy7の波長帯にホットスポット雑音が多数ある。より詳しくは、AF647波長帯でチップを観察すると、雑音総数のおよそ5%が(連続撮像5秒、露光時間1フレームあたり100ms等のいくつかの実施形態においては)全フレームに出現し、上述した消滅しない雑音を含む雑音総数の約16%が1回のみ出現する。雑音の半数は50フレーム画像中に4回以下で点滅し、90%は10回以下で点滅する。雑音点滅回数の予想値は、上記条件でおよそ5回である。また、雑音の予想最大長出力時間は、常時出現する雑音を除けば、約900msである。
【0014】
1フレームあたりの露光時間が短くなると、検出される背景ホットスポット雑音が減少するが、SNRは低くなる。一方、1フレームあたりの露光時間が長くなると、SNRは改善されるが、検出される雑音が増加する。従って、露光時間とフレーム数を変えることで、検出された背景ホットスポット雑音がどのように変化するかを検査した。全フレーム時間中に少なくとも1回点滅したホットスポットのパーセンテージを検査し、結果を図1に示す。ここで、露光時間は100ms、500ms、1s、2s、5sに設定した。露光時間が長くなると、検出される雑音が増加するが、ホットスポット雑音として特定されるパーセンテージは同数のフレームに対してプラスまたはマイナス2%の範囲内であった。雑音が完全に除去されるならば、数百フレームを取得する必要がある。露光時間とフレーム数を判定する際には、全体の取得時間と、残留雑音と、SNRとを考慮しなければならない。ホットスポット雑音の絶対数を減少させるためには短露光時間が適切であるが、SNR品質の低下に対してバランスを取らなければならない。SNRが低いと、EVからの弱い信号の検出ロスが生じる。雑音低減法後の残留雑音の許容パーセンテージは、好ましい取得条件を判定する1つの方法であり、図1から最適フレーム数を判定することができる。言い換えると、SNRと容認可能な残留ホットスポット雑音パーセンテージとに基づいて1フレームの露光時間を判定することで、必要フレーム数を判定することができる。
【0015】
これらの特徴のため、雑音の大半を事前にロケートすることができない。しかし、複数の画像を撮像する場合は、点滅する輝点からの雑音と信号強度減衰とを区別することができる。
【0016】
システム概略
図2に示される撮像システムは、ここで説明される蛍光撮像システムを有する撮像システムの一例である。図2の撮像システムは、蛍光顕微鏡101と、制御部102と、画像処理部103と、メモリ部104と、表示部105と、を備える。蛍光顕微鏡は、カメラ1011と、レンズユニット1012と、フィルタユニット1013と、照明ユニット1014と、対物レンズ1015と、ステージ1016と、を備える。プラズモンチップ1017上のサンプルをステージに置く。制御部102は、蛍光顕微鏡制御での画像取得と、画像処理と、画像表示と、データ記録とを含む全システム処理を制御する。画像処理部103は、複数の画像を用いて背景ホットスポット雑音低減を実行し、検出したサンプル位置および/または特定した背景ホットスポット雑音位置を出力する。メモリ部104は、取得した画像と算出したデータを一時的に記録する。表示部105は、顕微鏡制御の情報、ライブ画像、および取得画像、算出結果などの当該システムのデータを示す。
【0017】
汎用化された処理
雑音の強度特徴は蛍光による強度特徴よりも変化しやすく、蛍光退色にかかる時間よりも早くに検出レベル以下に落ちる。一方、蛍光退色とは異なり、雑音は検出レベル以下に落ちた後、再び検出レベル以上に上昇することがある。強度変化特徴におけるこの相違を使って、検出した輝点が蛍光信号であるのか輝点雑音であるのかを区別する。このため、蛍光退色しない時間内で複数の画像フレームを取得し、輝点の強度が所与の強度閾値を越えて変化した場合は、当該輝点を雑音として特定する。
【0018】
ここで上述したプラズモンチップは、表面プラズモン信号を増強する影響を及ぼす任意のプラズモニック表面であってよい。プラズモンチップの例として、Park et al., (“Self-Assembly of Nanoparticle-Spiked Pillar Arrays for Plasmonic Biosensing,” Adv. Funct. Mater., 2019, Vol. 29, Issue 43, 1904257)またはWO 2021/211756に記載されるものがあり、援用によりその全文を本明細書に組み入れる。これらのプラズモンチップは、電磁波放射の1つまたは複数の特定の波長を増幅するナノプラズモニックアレイである。これらのプラズモンチップは、レジスト層に印字されクエン酸塩やPEG等の表面層でコーティングされたゴールドのナノロッドであってよい。他例のプラズモンチップは、例えば、シルバーまたはゴールドの島状膜、ゴールドのナノスフェア、ゴールド製の両錘等から形成されてよい。
【0019】
各フレームでの粒子検出結果の使用
背景ホットスポット雑音を特定するために、通常の露光時間を短い露光時間に分割し、複数の画像を取得して、不安定な雑音信号とより安定したサンプルからの信号とを区別する。
【0020】
図3に示される例示的フローチャートに従って、単一チャネルにおける粒子検出処理を説明する。
【0021】
第一に、蛍光染料を励起する波長に基づいて蛍光顕微鏡の波長帯を選択し、当該波長帯に応じて(画像取得のための)撮像パラメータを設定する。蛍光染料の退色時間は蛍光染料と照度(illumination power)とに応じて異なるため、合計露光時間(各フレームの露光時間の合計)と照度を蛍光染料に基づいて最適化する。
【0022】
露光時間とフレーム数を判定するアプローチはいくつかある。その1つの方法は上記背景雑音分析の結果を用いる方法であり、当該方法では露光時間を予想最大雑音継続時間である900msに設定し、フレーム数を予想雑音再点灯(relight of noise)数である5に設定する。他の方法としては、EVの信号レベルに基づく方法がある。露光時間が短いと、EVからの弱い信号の検出ロスが生じる。露光時間は、未検出のEVを最小化しつつ雑音を分離可能である最適な露光時間に設定すべきである。最適な露光時間を判定するために、EVサンプルを用いて異なる露光時間の画像を取得する必要がある。検出されたEVと背景ホットスポットの数は露光時間に応じて増えるが、検出されたEVの数は所与の露光時間後に飽和するだろう。このように、検出変化数と、変化が生じた露光時間数とを描くグラフの傾きは、全EVを検出可能な時間とみなすことができる。ここで、背景雑音はランダムな場所で発生し、露光時間に対して単調に増加すると仮定する。例えば、露光時間はここで記載する実験においてAF488とCy7チャネルとの間の波長で約600msだった。このケースでは、SNRはそれほど高くなく、EV信号のいくつかは見逃された。SNRと全体の取得時間を考慮すると、1フレームあたり1から2秒の露光時間がこれらの実験条件において最適である。残留雑音のパーセンテージを5%に設定する場合は、約40フレームを取得することが好ましい。同様に、10%または2%に設定する場合は、それぞれ約15または80フレームを必要とするだろう。ここで、残留雑音の絶対数は露光時間に依存するため、1秒に設定することが好ましい。
【0023】
また、いくつかの実施形態では、雑音生成位置の可能性が変化するため、同一波長で画像を連続取得するのではなく、波長を変えながら画像を取得することが好ましい。
【0024】
蛍光染料が退色したら背景ホットスポット雑音と区別不能になるため、所与の照明条件における合計露光時間は、蛍光染料の退色時間よりも短くなくてはならない。個々の蛍光モジュールの退色時間は微妙に異なり、同一の蛍光染料を使用する場合であっても、退色時間は分布を有する。合計露光時間は、退色時間の差による誤検出の影響を回避できる程度に短くなければならない。例えば、合計露光時間は退色時間の平均マイナス退色時間分布の3つの標準偏差よりも短くするべきである。合計露光時間が決定すると、合計露光時間と各フレームの露光時間とに基づいて取得画像数を決定する。
【0025】
フレーム数について、使用するフレームが多いほど雑音低減は良好であるため、EVに塗布される蛍光体が退色しない最大フレーム数を使用する方が良い。しかし、測定時間と効果とを考慮して減らすことができる。例えば、5%の残留雑音が許容可能であれば、上記例に基づいて合計露光時間は5sであるべきだ。
【0026】
次に、前のステップで決定したパラメータに基づいて、画像取得を実行する。ここで、波長を変えて順番にまたは交互に、波長ごとに複数画像の取得を行ってよい。
【0027】
基本ワークフロー
同一の蛍光チャネル内で複数の一時(temporal)画像を取得した後、背景雑音低減処理が行われる。図4に背景雑音低減のフローチャートを示す。
【0028】
第1フレームの画像がメモリ部からロードされ、当該画像内の輝点を粒子として検出する粒子検出のために処理される。ここで、第1フレームの画像は、サンプルからの信号だけでなく、背景ホットスポット雑音からの信号をも含む。検出結果から0値と1値をもつベース粒子マップが作成され、メモリに記憶される。図5(a)はベース粒子マップの一例を示し、点線の丸は背景ホットスポット雑音である。さらに詳しくは、検出された各粒子の重心ピクセルを中心とし、粒子の所定の最小検出サイズの矩形エリアを1とし、非粒子エリアを0として、マップが作成される。若しくは、検出された粒子によって境界される又は内接される矩形エリアを1として作成し、非粒子エリアを0として作成する。
【0029】
その後、第2フレームの画像がロードされ、第1の画像と同様に粒子検出を第2の画像に適用することにより、やはり0値と1値をもつ第2の粒子マップが作成される。図5(b)は第2の粒子マップの一例を示し、点線の丸は消滅した粒子エリアを意味し、細かい点線の丸は新たに検出された粒子エリアを意味する。ベース粒子マップと第2の粒子マップとを比較して、粒子が同一位置に検出されているかチェックする、いわゆるコローカリゼーションチェックを行い、ベース粒子マップ内にあり、第2の粒子マップにおいて同一位置に存在する粒子を、粒子(例えばEV粒子)として特定し、また、ホットスポット雑音ではなくサンプルからの信号として特定する。粒子が同一位置にあるかは、ベース粒子マップ内の粒子が、一時粒子マップにおける当該粒子の場所閾値内の場所に対応する粒子を有する場合に依存する。ある粒子がベース粒子マップと一時粒子マップのうち片方にあり、他方の粒子マップにおいて当該粒子の場所閾値内に対応する粒子がない場合は、ホットスポット雑音として特定される。
【0030】
ベース粒子マップ内の全ての粒子についてこの処理を行い、背景ホットスポット雑音とみなされない粒子を特定する。図5(c)は更新ベース粒子マップの一例を示し、図5(d)は雑音マップ、すなわち、雑音として特定されたマップの一例を示す。ここで、2つのマップにおける各粒子エリアが設定した場所閾値より大きく重なる場合は、当該粒子は当該両画像にわたって同一場所に存在すると判定される。場所閾値は、重複領域の半分より大きくあるべきだ。いくつかの実施形態では、場所閾値は重複領域の50%、60%、または70%より大きい。検出された粒子のサイズは微妙に異なってよく、異なる場合にはより小さな粒子が判断根拠として用いられる。
【0031】
複数の画像を取得した後、背景雑音低減処理が行われる。背景雑音低減のフローチャートが図6に示され、ループ処理が行われる。
【0032】
前回のように、第1フレームの画像がメモリ部からロードされ、粒子検出のために処理され、ベース粒子マップが作成される。
【0033】
その後、次フレームの画像がロードされ、第1フレームの画像と現フレームの画像との間で画像位置合わせ(image registration)処理が行われる。一連の画像を取得する間に顕微鏡のステージが安定している場合は、この処理を省略することができる。第1の画像と同様に粒子検出を現在の画像に適用することにより、一時粒子マップが作成される。ベース粒子マップと一時粒子マップとを比較して、粒子が同一位置に検出されているかチェックする、いわゆるコローカリゼーションチェックを行い、ベース粒子マップ内にあり、一時粒子マップにおいて同一位置に存在しない粒子を、ベース粒子マップから除外する。ベース粒子マップ内の全ての粒子についてこの処理を行い、更新ベース粒子マップを生成する。図5(c)は更新ベース粒子マップの一例を示し、図5(d)は雑音マップ、すなわち、雑音として特定されたマップの一例を示す。この更新処理は追加画像を用いて行われ、最終フレームの画像まで続く。ここで、2つのマップにおける各粒子エリアが設定した場所閾値より大きく重なる場合は、当該粒子は両フレームにわたって同一場所に存在すると判定される。いくつかの実施形態では、場所閾値は、重複領域の半分より大きくあるべきだ。いくつかの実施形態では、場所閾値は重複領域の50%、60%、または70%より大きい。検出された粒子のサイズは微妙に異なってよく、異なる場合にはより小さな粒子が判断根拠として用いられる。コローカリゼーションチェックが行われる場合は、当該処理は更新ベース粒子マップを用いて進む。
【0034】
更新ベース粒子マップを粒子検出結果としてメモリ部に保存する。加えて、粒子のサイズ情報と、検出された粒子の強度と、一部の統計情報とを使用可能なデータとして記憶することができる。また、必要であれば取得した画像を保存するが、メモリ使用の削減のためには、全フレームを合計した画像または全フレームを平均化した画像を保存する方が良い。
【0035】
更新ベース粒子マップなどの算出結果を保存した後、当該処理は完了する。本実施形態では、第1の画像からベース粒子マップが作成されるが、ベース粒子マップを作成するために全フレームからの合計画像または平均化画像を用いることができる。図7を参照。このケースでは、ベース粒子マップを作成するために、より良好な信号対雑音比を有する画像が適用されるだろう。
【0036】
隣接フレーム間の粒子の強度差を使用
一部の背景ホットスポット雑音は完全には消滅しないが、その代わりに、蛍光染料の退色スピードよりも大きな強度変化を示す。この種の雑音は、前述の方法で除去することができない。一方、迅速に退色し消滅する蛍光信号が雑音として除去されてしまう可能性がある。フレーム間の粒子の強度変化における差によって雑音か雑音ではないかを判定する方が良い。
【0037】
背景ホットスポット雑音低減方法の別の態様を同一システムへ適用することができる。このケースでは、全体の処理は図3に示されるフローチャートに従うが、背景ホットスポット雑音低減処理は図8に示される。
【0038】
最初に、第1フレームの画像がメモリ部からロードされ、当該画像内の輝点を粒子として検出する粒子検出のために処理され、その後、粒子マップが作成される。
【0039】
次フレームの画像がロードされ、画像位置合わせ(image registration)が適用され、現フレームの画像を第1フレームの画像にアライメントする。
【0040】
粒子マップに基づいて検出された各粒子の強度を、現フレームの画像と前フレームの画像の双方から抽出する。ここで強度を判定する際に、検出された各粒子の最大値または平均値を使用することができる。最大値を使用する場合は光学ショット雑音の影響により変動が大きく、平均値を使用する場合は変動が小さいだろう。従って、使用する値に応じて最適な強度閾値を設定することが好ましい。強度差を算出し、蛍光染料の退色の強度に基づいて決定される強度閾値と比較する。蛍光標識された粒子を除外しないように、強度閾値は退色による強度変化よりも大きな強度変化に設定すべきだ。いくつかの実施形態では、処理のために単一の強度閾値を設定する。他の実施形態では、強度閾値を画像ごとに(または画像セットごとに)画像ベースライン強度または類似する背景強度に基づいて規定してよい。強度差が強度閾値より大きい場合は、粒子マップから当該粒子を除去する。強度バリエーションチェックを粒子マップ内の検出された全ての粒子において繰り返し、その後、全フレーム画像に繰り返す。最終的に更新粒子マップが出力される。
【0041】
背景ホットスポット雑音低減の両処理を、同時に適用することができる。
【0042】
一時方法は、EVの数を検出するために、つまり単一チャネル検出に十分に好適である。しかし、取得時間および処理時間が所望の取得・処理時間よりも長くなることがある。このように、分析に必要な時間を削減する処理を実現してよい。
【0043】
例示的実施形態
本実施形態では、図7に示されるように、粒子検出のための画像と、背景ホットスポット雑音を特定するための画像とを別々に取得する。第一に、上述したものと同様に、使用する波長に基づいて画像取得パラメータを設定する。第二に、粒子検出のための画像を、背景ホットスポット雑音を特定するための画像よりも長い露光時間で取得する。これにより、信号対雑音率が上昇し、弱い信号を検出できる。第三に、上述したように背景ホットスポット雑音を特定するための画像を取得する。次に、粒子検出を粒子検出のための画像に適用し、粒子位置を示す粒子マップ(複数可)を作成する。図4に示される上述した背景低減処理に類似する背景ホットスポット雑音マップを作成する処理を適用する。この処理は、特定された背景ホットスポット雑音の位置を維持および更新することで、更新粒子マップの代わりに、背景ホットスポット雑音マップを作成する。最後に、特定された背景雑音を検出された粒子マップから除外し、粒子マップを更新し、各種データを保存することにより、当該処理を終了する。上記いずれかの実施形態に開示された背景低減処理が、背景ホットスポット雑音マップの本処理に適用される。
【0044】
ここで記載された例は、Zeiss Axio Imager M2を用いてZeiss Colibri-7 LED光源とZeiss Plan Apochromat 40x/0.95対物レンズで行われた。また、Chroma39002,39004,39007蛍光フィルタセットがAF488、AF555、AF647チャネルに用いられた。ZeissマルチバンドフィルタまたはChroma蛍光フィルタがCy7チャネルに用いられた。プラズモニックチップ(複数可)は顕微鏡ステージ上にセットされ、50枚の画像が500msの露光時間で取得された。本実験では、チャネルごとに画像を連続取得した。
【0045】
効果
本発明で開示される背景ホットスポット低減方法の効果が図9に示される。背景ホットスポット雑音を、AF488と、AF555と、AF647と、Cy7との蛍光染料の波長帯域に対応する4つの異なる波長帯域を用いて分析する。図9におけるオリジナルBGは、第1フレームにおける背景ホットスポット雑音の数を意味する。一般的方法として開示される方法1と、各フレームで粒子検出結果を用いる実施形態として開示される方法2と、方法1と方法2の混合方法と、が適用された。図9は特定された背景ホットスポット雑音の数を示す。これらの実施形態において、AF488およびAF555チャネルにおいて雑音は稀に検出され、多くの雑音がAF647およびCy7チャネルにあった。このため、AF647およびCy7チャネルに注目し、開示方法の効果をチェックする。全体的に、方法1は雑音低減に効果的であるが、混合方法はより多くの雑音を低減可能であり、これは方法2が異なるプロパティの雑音を低減可能であることを意味する。方法2において、検出された粒子エリアの平均値(mean value)が使用され、前フレームから20%より大きく異なるものが雑音として特定された。当該領域における最大値またはそれより低い強度閾値を使用することで、方法1よりも高い感度で雑音を検出してよい。方法2は下限がなく、信号漸減により検出レベルを下回る雑音を検出できないことがある。しかし、徐々に退色するEVからの蛍光信号は残り得る。AF647チャネルにおいて、本実験では、方法1により79.5%の雑音が低減でき、混合方法により84.8%の雑音が低減できる。同様に、Cy7チャネルにおいて、方法1により約90.1%の雑音が低減でき、混合方法により92.4%の雑音が低減できる。
【0046】
雑音低減量は露光時間と励起出力に依存するだろう。上述した実施形態では、所望する信号の検出リミットに基づいて、1フレームあたりの取得時間を600ms以上に設定することが好ましい。より安定した信号においては、1フレームあたりの取得時間を900ms以上とすることが好ましい。検出されるホットスポット雑音の絶対数を考慮すると、1フレームあたりの取得時間を2sより短く保つことが好ましい。ショットまたは画像の数は、特定されることなく雑音として残る雑音のパーセンテージを指定することにより、決定される。上記残留雑音があるパーセンテージ(例えば、10%、5%、2%)に設定されると、これに基づいて取得画像数を変えることができる(例えば、それぞれ10から20フレーム、30から50フレーム、70から90フレーム)。
【0047】
検出されたEVの絶対数は、正常細胞および癌などの異常細胞からの単体のEVの分析にとって重要である。プラズモニックチップを単体EV分析に使用する場合は、背景ホットスポット雑音は単体EVからの信号として考えられ、ホットスポットを取り除かない不正確な分析結果を生じる。特に、EV濃度が低い場合は、EV濃度が高い場合に比べて背景の影響が相対的に大きいため、このエラーは深刻である。本開示の背景低減方法(複数可)を適用することで、EV濃度が低い場合であってもエラーが抑制される。
【0048】
いくつかの実施形態では、演算負荷を減らすために、予想される最大雑音継続時間と予想されるホットスポット雑音の再点灯(re-light)数とを考慮して、予想される最大雑音継続時間と予想されるホットスポット雑音の再点灯数との少なくとも積である間隔で取得された画像を用いて、取得する画像の数を減らすことが望ましく、重複位置で生じる雑音の数を減らすことができ、より少ない画像数で効果的な低減を実現することができる。複数の蛍光チャネルを使用する場合は、異なるチャネルの画像を1回につき1フレーム取り、この処理を繰り返して同一チャネルで取る画像の間隔を伸ばすことが適切である。
【0049】
方法1において演算コストを低減する別の方法は、粒子検出分析をフレームごとに行わないことである。ベース粒子マップ内の粒子の位置情報と粒子検出のための場所閾値とを用いて、各フレーム内の各粒子位置における画像強度を場所閾値と比較し、場所閾値を下回る場合は、ベース粒子マップから当該粒子を予想する。この方法により、オリジナルの方法と同じ結果を得ることができる。
【0050】
各実施形態を比較するコローカリゼーション率を図10に示す。この図において、AF647チャネルの画像について、100msおよび100フレームで、前フレームに基づくデータ及び第1フレームデータに基づくデータを示す。上のトレースは前フレームデータに基づき、前フレームとの重複は約70%である。下のトレースは第1フレームデータに基づき、10秒後の第1フレームとの重複は約25%である。
【0051】
定義
明細書を参照すると、開示した例を完全に理解するように具体的な詳細が前述される。他のインスタンスでは、周知の方法、プロシージャ、コンポーネント、回路については、不必要に本開示を長くしないために、詳しく説明していない。
【0052】
ここで用いられる「約(about)」または「およそ(approximately)」の用語は、例えば10%内、5%内、またはそれ以下を意味する。いくつかの実施形態では、用語「約(about)」は測定誤差内を意味してよい。この点について、明細書および請求項において、全ての数は、その前に「約(about)」または「およそ(approximately)」の単語が付いているように、たとえ当該用語が明示的に存在しない場合であっても、読んでよい。記載される当該値および/または位置が合理的に予想される範囲の値および/または位置内にあることを示す大きさおよび/または位置を示すことを説明する場合に、「約(about)」または「およそ(approximately)」の語句を用いることがある。例えば、数値は記載値の+/-0.1%の値(または値の範囲)、記載値の+/-1%(または値の範囲)、記載値の+/-2%(または値の範囲)、記載値の+/-5%(または値の範囲)、記載値の+/-10%(または値の範囲)、等を取ってよい。ここで記載される任意の数値範囲は、特別に記載される場合を除いて、端値を含めるものと意図され、ここに組み込まれる全てのサブ範囲を含む。ここで用いられるように、「実質的に(substantially)」という用語は、意図された目的に否定的な影響を与えない記述子からの逸脱を許容することを意味する。例えば、測定限界、製作公差内での差、または5%未満の変動からの逸脱は、実質的に同一の範囲内であると考えることができる。指定された記述子は絶対値(例えば、実質的に球体、実質的に垂直、実質的に同心、等)または相対語句(例えば、実質的に類似、実質的に同一、等)であってよい。
【0053】
特別に記載される場合を除いて、下記の開示から明らかなように、本開示を通じて、例えば「処理する(processing)」、「演算する(computing)」、「算出する(calculating)」、「判定する(determining)」、「表示する(displaying)」等の用語を用いる検討は、コンピュータシステム、類似する電子コンピューティング装置、またはデータ処理装置において、当該コンピュータシステムのレジスタおよびメモリ内にある物理(電子的)量として表されるデータを操作して、当該コンピュータシステムメモリまたはレジスタまたは他の情報記憶部、送信または表示装置内の物理量として似たように表される他のデータに変換する行為および処理に言及するものだと理解される。本明細書で説明したまたは添付のクレームで記載したコンピュータまたは電子操作は、文脈に別の指示がある場合を除いて、一般的には任意の順番で行ってよい。また、各種操作フロー図が順序通りに示されているが、当該各種操作を図示またはクレームされているものとは別の順番で行ってよい、若しくは、操作を同時に行ってよい。そのような代替となる順番の例は、文脈に別の指示がある場合を除いて、重複、インターリーブ、中断、記録、インクリメンタル、予備的、補充的、同時、逆、またはその他の異なる順序を含んでよい。さらに、「応答する(responsive to)」、「応答して(in response to)」、「関して(related to)」、「基づいて(based on)」、または他の過去形形容詞のようなものは、文脈に別の指示がある場合を除いて、一般的にはそのような異形を排除する意図はない。
【0054】
第1(の)、第2(の)、第3(の)、等の用語は、ここでは各種エレメント、コンポーネント、領域、パーツ、および/またはセクションを記述するために使われることがある。これらのエレメント、コンポーネント、領域、パーツ、および/またはセクションが、これらの用語によって限定されるべきではないと理解すべきである。これらの用語は、あるエレメント、コンポーネント、領域、パーツ、またはセクションを他の領域、パーツ、またはセクションと区別ためだけに使われる。このように、下記で検討する第1のエレメント、コンポーネント、領域、パーツ、またはセクションは、ここでの教示から逸脱しない限りにおいて、第2のエレメント、コンポーネント、領域、パーツ、またはセクションと称することができる。
【0055】
ここで使う専門用語は、特定の実施形態を記述することのみを目的としており、限定する意図はない。ここで使用されるように、単数形の「a」、「an」、および「the」は、文脈から明らかに異なる場合を除いて、複数形をも含有すると意図される。用語「含む(includes)」および/または「含んでいる(including)」は、本明細書で使用された場合は、記載する特徴、整数、ステップ、オペレーション、エレメント、および/または、コンポーネントが存在することを指定するが、明示的に記載していない1つまたは複数のその他の特徴、整数、ステップ、オペレーション、エレメント、コンポーネント、および/または、そのグループの存在、または、追加を除外しない。
【0056】
図面に示された例示的実施形態を説明するにあたって、明瞭化のために特定の専門用語が使用されている。しかし、本特許明細書の開示は、このように選択された特定の専門用語に限定される意図はなく、特定のエレメントのそれぞれは同様に機能する技術的均等物の全てを含むと理解するべきである。
【0057】
本開示は例示的な実施形態を参照して説明したが、本開示は開示した例示的実施形態に限定されないと理解すべきである。下記の特許請求の範囲は、そのような変形および同等のストラクチャおよび機能の全てを包括する最も広い解釈を認めるべきである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
【外国語明細書】