(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
サンプル中のまたはサンプル中にあると疑われる検体を検出するときのアッセイの精度を向上させるための方法であって、前記アッセイのデバイスまたは動作は、それぞれランダム変動がある1つ以上のパラメータを有し、前記方法は、
(a)前記アッセイを用いて、前記検体を含むかまたは含むと疑われる前記サンプル中の前記検体を検出することであって、前記検出することには、
(i)前記アッセイデバイス中に前記サンプルを置くことと、
(ii)前記アッセイデバイスを用いて前記検体を検出して、検出結果を生成することと
を含む、前記検出することと、
(b)ステップ(a)における前記検出結果の信頼価値を判定することであって、
(i)画像化装置を用いて、前記サンプルの少なくとも一部及び/または前記アッセイデバイスの少なくとも一部の1つ以上の画像を取り込むことであって、前記画像は実質的に、ステップ(a)において前記検出結果を生成するときに前記サンプルの前記少なくとも一部を測定した状態を表す、前記取り込むことと、
(ii)前記画像を分析するアルゴリズムを用いることによってステップ(a)における前記検出結果の信頼価値を判定して、信頼価値スコアを生成することであって、前記アルゴリズムには前記1つ以上の画像をトレーニングデータと比較することが含まれ、前記トレーニングデータには、前記1つ以上のパラメータのうちの1つのランダム変動及び/または前記1つ以上のパラメータのランダム変動に対する前記アッセイの前記精度の統計的応答が含まれる、前記生成することと
を含む、前記判定することと、
(c)前記検出結果及び前記信頼価値スコアを報告することと
を含む、前記方法。
サンプル中のまたはサンプル中にあると疑われる検体を検出するときのアッセイの精度を向上させるための方法であって、前記アッセイのデバイスまたは動作は、それぞれランダム変動がある1つ以上のパラメータを有し、前記方法は、
(a)前記アッセイデバイス中に前記サンプルを置くことと、
(b)画像化装置を用いて、前記サンプルの少なくとも一部及び前記アッセイデバイスの少なくとも一部の1つ以上の画像を取り込むことと、
(c)前記1つ以上の画像を分析して前記サンプル中の前記検体を検出して、検出結果を生成することと、
(d)前記1つ以上の画像を分析するアルゴリズムを用いて前記検出結果の信頼価値を判定して、信頼価値スコアを生成することであって、前記アルゴリズムには前記1つ以上の画像をトレーニングデータと比較することが含まれ、前記トレーニングデータには、前記1つ以上のパラメータのうちの1つのランダム変動及び/または前記1つ以上のパラメータのランダム変動に対する前記アッセイの前記精度の統計的応答が含まれる、前記生成することと、
(e)前記検出結果及び前記信頼価値スコアを報告することと
を含む、前記方法。
サンプル中のまたはサンプル中にあると疑われる検体を検出するときのアッセイの精度を向上させるための方法であって、前記アッセイのデバイスまたは動作は、それぞれランダム変動がある1つ以上のパラメータを有し、前記方法は、
(a)前記アッセイデバイス中に前記サンプルを置くことであって、前記アッセイデバイスは、前記サンプルと接触するための少なくとも1つのサンプル接触領域を有し、前記少なくとも1つのサンプル接触領域は1つ以上のモニタリング構造を含む、前記置くことと、
(b)画像化装置を用いて、前記サンプルの少なくとも一部及び前記モニタリング構造の少なくとも一部の1つ以上の画像を取り込むことと、
(c)前記1つ以上の画像を分析して前記サンプル中の前記検体を検出して、検出結果を生成することと、
(d)前記1つ以上の画像を分析するアルゴリズムを用いて前記検出結果の信頼価値を判定して、信頼価値スコアを生成することであって、前記アルゴリズムには前記1つ以上の画像をトレーニングデータと比較することが含まれ、前記トレーニングデータには、前記1つ以上のパラメータのうちの1つのランダム変動、モニタリング構造、及び/または前記1つ以上のパラメータのランダム変動に対する前記アッセイの前記精度の統計的応答が含まれる、前記生成することと、
(e)前記検出結果及び前記信頼価値スコアを報告することと
を含み、
前記モニタリング構造には、前記アッセイの前記動作及び/またはアッセイデバイス品質をモニタするために用いられる光学特性の構造が含まれる、前記方法。
サンプル中のまたはサンプル中にあると疑われる検体を検出するときのアッセイの精度を向上させるための方法であって、前記アッセイのデバイスまたは動作は、それぞれランダム変動がある1つ以上のパラメータを有し、前記方法は、
(a)前記アッセイを用いて、前記検体を含むかまたは含むと疑われる前記サンプル中の前記検体を検出することであって、
(i)前記アッセイデバイス中に前記サンプルを置くことと、
(ii)前記アッセイデバイスを用いて前記検体を検出して、検出結果を生成することと
を含む、前記検出することと、
(b)ステップ(a)における前記検出結果の信頼価値を判定することであって、
(i)画像化装置を用いて、前記サンプルの少なくとも一部及び/または前記アッセイデバイスの少なくとも一部の1つ以上の画像を取り込むことであって、前記画像は実質的に、ステップ(a)で前記検出結果を生成するときに前記サンプルの前記少なくとも一部を測定した状態を表す、前記取り込むことと、
(ii)前記画像を分析する第1のアルゴリズムを用いることによってステップ(a)における前記検出結果の信頼価値を判定して、信頼価値スコアを生成することであって、前記第1のアルゴリズムには前記1つ以上の画像をトレーニングデータと比較することが含まれ、前記トレーニングデータには、前記1つ以上のパラメータのうちの1つのランダム変動及び/または前記1つ以上のパラメータのランダム変動に対する前記アッセイの前記精度の統計的応答が含まれる、前記生成することと
を含む、前記判定することと、
(c)前記信頼価値スコアが閾値を超えた場合に前記検出結果を報告し、そうでない場合にはステップ(d)に進むことと、
(d)前記信頼価値スコアが前記閾値を超えた場合に、異なるアッセイデバイスを用いてステップ(a)、(b)、及び(c)を繰り返して、前記検出結果を報告し、そうでない場合にはステップ(e)に進むことと、
(e)ステップ(e)の前に生成したすべての前記検出結果及びすべての前記画像を分析する第2のアルゴリズムを用いることによって、平均の検出結果及び平均の信頼価値スコアを決定して、平均の検出結果及び平均の信頼価値スコアを生成することであって、前記第2のアルゴリズムには前記1つ以上の画像をトレーニングデータと比較することが含まれ、前記トレーニングデータには、前記1つ以上のパラメータのうちの1つのランダム変動及び/または前記1つ以上のパラメータのランダム変動に対する前記アッセイの前記精度の統計的応答が含まれる、前記生成することと、
(f)前記平均の信頼価値スコアが前記閾値を超えた場合に、前記検出結果を報告し、そうでない場合には前記ステップ(d)に進むことと
を含む、前記方法。
前記アッセイデバイスは、前記サンプルと接触するための少なくとも1つのサンプル接触領域を有し、前記少なくとも1つのサンプル接触領域は1つ以上のモニタリング構造を含み、前記モニタリング構造には、前記アッセイの前記動作及び/またはアッセイデバイス品質をモニタするために用いられる光学特性の構造が含まれ、前記トレーニングデータには前記モニタリング構造が含まれる、先行請求項のいずれか一項に記載のシステム及び方法。
前記サンプルは、ランダム変動があるパラメータのうちの少なくとも1つを含み、前記パラメータには、ホコリ、気泡、無サンプル材料、またはそれらの任意の組み合わせを有することが含まれる、先行請求項のいずれか一項に記載のシステム及び方法。
前記サンプルは、ランダム変動があるパラメータのうちの少なくとも1つを含み、前記パラメータには、ホコリ、気泡、無サンプル材料、またはそれらの任意の組み合わせを有することが含まれる、先行請求項のいずれか一項に記載のシステム及び方法。
前記アッセイは、イムノアッセイ、核酸アッセイ、比色分析アッセイ、発光アッセイ、またはそれらの任意の組み合わせである、先行請求項のいずれか一項に記載のシステム及び方法。
前記アッセイデバイスは、ギャップを伴って互いに向き合う2つのプレートを含み、前記サンプルの少なくとも一部は前記ギャップの内部にある、先行請求項のいずれか一項に記載のシステム及び方法。
前記アッセイデバイスはQMAXを含み、互いに移動可能な2つのプレートと、前記プレート間の前記間隔を調整するスペーサとを含む、先行請求項のいずれか一項に記載のシステム及び方法。
前記サンプルは、羊水、房水、硝子体液、血液(たとえば、全血、分画血液、血漿、血清など)、母乳、脳脊髄液(CSF)、耳垢(耳糞)、乳糜、糜粥、内リンパ、外リンパ、糞便、胃酸、胃液、リンパ液、粘液(鼻漏及び痰を含む)、心膜液、腹水、胸膜液、膿、粘膜分泌物、唾液、皮脂(皮膚の油)、精液、痰、汗、滑液、涙、嘔吐物、尿、または呼気凝縮液である、先行請求項のいずれか一項に記載のシステム及び方法。
前記検体には、分子(たとえば、タンパク質、ペプチド、DNA、RNA、核酸、または他の分子)、細胞、組織、ウィルス、及びナノ粒子が含まれる、先行請求項のいずれか一項に記載のシステム及び方法。
前記方法は、前記ステップ(b)で判定した前記価値が閾値を下回った場合に、ステップ(a)で生成した前記検出結果を廃棄するステップをさらに含む、先行請求項のいずれか一項に記載のシステム及び方法。
前記方法は、前記ステップ(b)で判定した前記価値が閾値を下回った場合に、ステップ(a)で生成した前記検出結果を修正するステップをさらに含む、先行請求項のいずれか一項に記載のシステム及び方法。
ステップ(e)が、ステップ(c)で測定した前記結果のエラーリスク確率が高いと決定した場合に、前記結果が廃棄される、先行請求項のいずれか一項に記載のシステム及び方法。
ステップ(d)における前記分析が、ステップ(b)で測定した前記結果が信頼価値がないと判定した場合に、前記結果が廃棄される、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
ステップ(d)が、ステップ(b)で測定した前記結果が信頼価値がないと判定した場合に、前記結果が廃棄される、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
ステップ(d)における前記分析が、ステップ(b)で測定した前記結果が信頼価値がないと判定した場合に、前記結果が廃棄される、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
複数のアッセイデバイスを用いて前記アッセイングを行い、前記アッセイは、画像解析を用いてアッセイ結果が信頼価値があるか否かをチェックするステップを有し、第1のアッセイデバイスが信頼価値がないと判定された場合には、前記アッセイ結果が信頼価値があると判定されるまで第2のアッセイデバイスを用いる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
ステップ(d)において、前記分析は機械学習をトレーニングセットとともに用いて、結果が信頼価値があるか否かを判定し、前記トレーニングセットは前記サンプル中の検体とともに動作変数を用いる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
ステップ(d)において、前記分析はルックアップテーブルを用いて、結果が信頼価値があるか否かを判定し、前記ルックアップテーブルには前記サンプル中の検体とともに動作変数が含まれる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
ステップ(d)において、前記分析はニューラルネットワークを用いて、結果が信頼価値があるか否かを判定し、前記ニューラルネットワークは、前記サンプル中の検体とともに動作変数を用いてトレーニングされる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
ステップ(d)において、前記分析は前記動作変数に対する閾値を用いて、結果が信頼価値があるか否かを判定する、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
ステップ(d)において、前記分析は、機械学習、ルックアップテーブル、またはニューラルワークを用いて、結果が信頼価値があるか否かを判定し、前記動作変数には、前記サンプルの前記一部の前記画像内の気泡及び/またはホコリの状態が含まれる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
ステップ(d)において、前記分析は機械学習を用いて、結果が信頼価値があるか否かを判定し、機械学習、ルックアップテーブルまたはニューラルネットワークを用いて、前記サンプルの前記一部の前記画像内の気泡及び/またはホコリの前記動作変数を決定する、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
前記検体を測定するステップ(b)において、前記測定は画像化を用い、検体測定に対して用いた同じ画像を、ステップ(d)における前記信頼価値判定に対して用いる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
前記検体を測定するステップ(b)において、前記測定は画像化を用い、検体測定に対して用いた同じ画像化装置を、ステップ(d)における前記信頼価値判定に対して用いる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
前記モニタリングマークは、ステップ(b)とともにパラメータとして用いられる、任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
前記スペーサは前記モニタリングマークであり、前記スペーサは、200ミクロン以下の実質的に均一な高さと、固定のスペーサ間距離(ISD)とを有する、任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
ステップ(b)には、前記サンプル中の前記サンプルの前記画像内の乾燥テクスチャについての分析がさらに含まれる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
ステップ(b)には、歪み除去、温度補正、明るさ補正、コントラスト補正などのカメラパラメータ及び状態の補正がさらに含まれる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
ステップ(b)には、ヒストグラムベースの演算、数学ベースの演算、畳み込みベースの演算、平滑化演算、微分ベースの演算、形態ベースの演算を伴う方法及び演算がさらに含まれる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
前記画像ベースのアッセイにおいて前記画像化装置が取り込んだ前記サンプルの前記画像からの異常の前記検出及びセグメンテーションは、画像処理、機械学習、または画像処理及び機械学習の組み合わせに基づく、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
前記サンプルの前記画像の前記関心領域(AoI)内でセグメンテーション輪郭マスクに覆われた前記面積の前記推定が、画像あたりまたはサブ画像あたりのパッチベースの真の横寸法(または視界(FoV))推定を用いて、微視的画像化における歪み、たとえば、これらに限定されないが、レンズからの球面歪み、微視的レベルにおける欠陥、フォーカシングにおける誤位置合わせなど、を補償する、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
前記サンプル保持デバイス、たとえばQMAXカード内に構築されたモニタリングマーク(たとえばピラー)をさらに含み、前記モニタマーク(たとえばピラー)は、微視的画像化における前記歪みにもかかわらず前記真の横寸法(または視界(FoV))推定の前記推定を正確にするために、検出可能アンカーとして適用される、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
前記サンプル保持デバイスの前記モニタマーク(たとえばピラー)は、真の横寸法(TLD)(または視界(FoV))推定におけるアンカーとしての前記モニタマークの検出及び場所特定を信頼性が高く堅固なものにするために、前記サンプル保持デバイス、たとえばQMAXカード内の所定の周期分布を伴ういくつかの構成を有する、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
前記画像ベースのアッセイにおける前記外れ値の検出及び特性評価は、本明細書で説明する前記サンプルの前記入力画像の前記非重複サブ画像パッチに基づいており、前記外れ値の決定は、前記アッセイング処理におけるノンパラメトリック法、パラメトリック法、及び両方の組み合わせに基づくことができる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
限られたリソース設定(LRS)においてサンプルをアッセイすると、前記アッセイングからの結果は信頼性が低い可能性があるが、従来、所与のサンプルに対する特定の試験の間または試験の後に、特定の結果の前記信頼性に対するチェッキングは行われていない、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
LRSアッセイングにおいて(または実験室試験環境においてさえ)、1つ以上の予測不可能でランダムな動作状態が生じて、前記アッセイング結果に影響する可能性があり、それが起こると、たとえ同じサンプルを用いていても、特定のアッセイングごとに実質的に異なる可能性があるが、前記アッセイング結果をそのまま採用する代わりに、所与のサンプルに対する特定の試験における特定の結果の前記信頼性を、その特定のアッセイにおける前記アッセイ動作状態に関係づけられる1つ以上の因子を分析することによって評価することができる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
1つ以上の予測不可能でランダムな動作状態を有するLRSアッセイングにおいて、各特定のアッセイングの前記信頼性に対する分析を用いて、前記信頼価値がないアッセイ結果を拒否することによって、前記アッセイングの全体の精度を実質的に向上させることができる、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
前記アッセイは、特定の試験における前記検体を測定することだけでなく、その特定の試験の前記動作状態の分析を通して前記測定結果の信頼価値をチェックすることによっても行う、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
前記アッセイの前記測定結果の信頼価値を前記チェックすることは機械学習フレームワークにおいてモデリングされ、予測不可能でランダムな動作状態が生じて前記アッセイ結果に影響することに対処するために、機械学習アルゴリズム及びモデルが考案されて適用される、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
機械学習を革新的に利用することには、アッセイングにおける予測不可能でランダムな動作状態にもかかわらず前記アッセイ結果の前記信頼価値の判定を、複雑で、予測が難しく、エラーを起こしやすい可能性がある前記予測不可能な状態に対して明確な仮定を行うことなく、前記データから直接行うプロセスを、自動化する利点がある、先行請求項のいずれか一項に記載のシステム、方法、またはデバイス。
【発明を実施するための形態】
【0088】
例示的な態様の詳細な説明
以下の詳細な説明では、本発明のいくつかの実施形態を一例として限定としてではなく例示する。本明細書で用いるセクションヘッディング及び任意のサブタイトルは、単に構成上の目的であり、決して記載の主題を限定するものと解釈してはならない。セクションヘッディング及び/またはサブタイトル下の内容は、セクションヘッディング及び/またはサブタイトルには限定されず、本発明の全体の記載に適用される。
【0089】
任意の刊行物についてその引用は、出願日前のその開示を見るためであり、先行発明により本特許請求の範囲にはこのような刊行物に先行する権利はないと認めるものであると解釈してはならない。さらに、示した刊行物の日付は、独立に確認する必要があり得る実際の刊行日付とは異なる可能性がある。
【0091】
別に定義がない限り、本明細書で用いる技術用語及び科学用語はすべて、本開示が属する当業者によって広く理解されるものと同じ意味を有する。本教示を実施または試験する際に、本明細書で説明したものと同様または同等の任意の方法及び材料を用いることもできるが、ここではいくつかの典型的な方法及び材料について説明する。
【0092】
用語「サンプル」は、本明細書で用いる場合、対象とする1つ以上の検体または実体を含む材料または材料の混合物に関する。ある実施形態では、サンプルは被検者からの体液サンプルである。ある場合には、固体または半固体サンプルを用意することができる。サンプルには被検者から収集した組織及び/または細胞を含むことができる。サンプルは生物学的サンプルとすることができる。生物学的サンプルの例としては以下を挙げることができるが、これらに限定されない。血液、血清、血漿、鼻腔スワブ、鼻咽頭洗浄液、唾液、尿、胃液、脊髄液、涙、糞便、粘液、汗、耳垢、オイル、腺分泌物、脳脊髄液、組織、精液、膣液、腫瘍性組織から得られる間質液、眼液、脊髄液、咽頭スワブ、吐出凝縮液(たとえば呼気)、毛髪、指の爪、皮膚、生検材料、胎盤液、羊水、臍帯血、リンパ液、体腔液、痰、膿、微生物叢、胎便、母乳、及び/または他の排出物。サンプルには鼻咽頭洗浄液が含まれていてもよい。鼻腔スワブ、咽頭スワブ、糞便サンプル、毛髪、指の爪、耳垢、呼気、及び他の固体、半固体、または気体サンプルを、その分析の前に、たとえば、固定時間または可変時間の間、抽出緩衝液内で処理してもよい。次に抽出緩衝液またはその一定分量を、必要に応じて他の流体サンプルと同様に処理してもよい。被検者の組織サンプルの例としては以下を挙げてもよいが、これらに限定されない。結合組織、筋肉組織、神経組織、上皮組織、軟骨、癌サンプル、または骨。特定の実施形態において、サンプルを被検者(たとえば、ヒト)から取得してもよく、被検者アッセイにおいて使用する前に処理してもよい。たとえば、分析前に、タンパク質/核酸を、使用前の組織サンプルから既知の方法で抽出してもよい。特定の実施形態において、サンプルは臨床サンプル、たとえば、患者から収集したサンプルであってもよい。サンプルは食品、環境などのサンプルとすることもできる。
【0093】
用語「検体」は本発明での試験に適した任意の物質を指す。検体には以下が含まれるが、これらに限定されない。原子、分子(たとえば、タンパク質、ペプチド、DNA、RNA、核酸、または他の分子)、細胞、組織、ウィルス、細菌、及び異なる形状のナノ粒子。バイオマーカーは検体である。
【0094】
本明細書で用いる場合、用語「決定する」、「測定する」、及び「評価する」、及び「アッセイする」は交換可能に使用され、定量的決定及び定性的決定の両方が含まれる。
【0095】
本明細書で用いる場合、用語「発光標識」は、外部励起の下で発光することができる標識を指す。これは発光とすることができる。蛍光標識(色素分子または量子ドットを含む)及び発光標識(たとえば、電気または化学発光標識)は、発光標識の型である。外部励起は、蛍光の場合は光(光子)、エレクトロルミネッセンスの場合は電流、及び化学発光の場合は化学反応である。外部励起は上記の組み合わせとすることができる。
【0096】
語句「標識化検体」は、発光標識によって検出可能に標識化された検体であって、標識の存在を評価することによって検体を検出することができるものを指す。標識化検体を直接標識化してもよいし(すなわち、検体自体を標識に直接共役させることを、たとえば、強い結合、たとえば、共有または非共有結合を介して行ってもよい)、または標識化検体を間接的に標識化してもよい(すなわち、直接標識化した二次的な捕捉剤によって検体を結合する)。
【0097】
用語「スペーサ」と「光学式校正マーク」及び「光学式校正マーク」と「ピラー」は交換可能である。
【0098】
用語「アッセイ」は、実験室、薬剤、薬理学、環境生物学、健康管理、及び分子生物学(これらに限定されない)における調査(分析的)手順を指し、標的実体(すなわち検体)の存在、量、濃度、または機能活性の定性的評価または定量的測定のためであるがこれらに限定されない。検体は、薬剤、生化学物質、または生物もしくは有機サンプル(たとえば、人血)中の細胞とすることができる。
【0099】
用語「画像ベースのアッセイ」は、画像化装置が取り込んだサンプル画像を用いるアッセイング手順を指す。サンプルは、医療用サンプル、生物学的サンプル、及び化学サンプルとすることができるが、これらに限定されない。
【0100】
用語「画像化装置」は、物体の画像を取ることができる任意のデバイスを指す。これには、顕微鏡、スマートフォン、または種々の波長で画像を取り込むことができる特別なデバイス内のカメラが含まれるが、これらに限定されない。
【0101】
用語「サンプル特徴」は、潜在的に興味深い状態を表すサンプルの何らかの特性を指す。ある実施形態では、サンプル特徴は、サンプル画像内に現れる特徴であり、機械学習モデルまたはいくつかの他のアルゴリズムによってセグメント化して分類することができる。サンプル特徴の例としては、サンプル中の検体タイプ、たとえば、赤血球、白血球、及び腫瘍細胞が挙げられるがこれらに限定されず、検体形状、カウント、サイズ、体積、濃度などが挙げられる。
【0102】
用語「サンプル中の微小特徴」は、サンプル中の物質の検体、微細構造、及び/または微小変化を指す。検体には、粒子、細胞、巨大分子(たとえば、タンパク質、核酸、及び他の部分)が含まれる。微細構造は異なる材料における微小規模の差を指し得る。微小変化はサンプルの局所的な特性の微小規模の変化を指す。微小変化の例は局所的な光学指数及び/または局所的な質量の変化である。細胞の例は血球、たとえば白血球、赤血球、及び血小板である。
【0103】
用語「サンプル中の欠陥」は、理想的なサンプル状態において存在するべきではないかまたはサンプルにおいて考慮すべきではない異物及び人工物を指す。これらは、汚染物質(たとえば、ホコリ、気泡など)及び周辺物体(たとえば、サンプル中の構造的物体、たとえば、サンプル保持デバイス内のモニタマーク(たとえばピラー))に由来する可能性があるが、これらに限定されない。サンプル中の欠陥は、アッセイング用サンプル中で著しいサイズである可能性があり、また著しい量の体積を取る可能性がある(たとえば、気泡)。これらは、サンプル中に異なる形状、サイズ、量、及び濃度で現れる可能性があり、またサンプルに依存してサンプル毎に変わる可能性もある。
【0104】
用語、検体の「形態的特徴」は、検体の外観(たとえば形状、色彩、サイズなど)及び構造を指す。
【0105】
用語「ホモグラフィ変換」は、射影空間の同型写像によって引き起こされる共線変換のクラスを指す。像平面及び現実世界での対応する物理面を特性評価することは、画像処理の分野において知られており、カメラモデルに適用される。
【0106】
用語「機械学習」は、多くの場合に統計的手法及び人工ニューラルネットワークを用いて、明示的なプログラムミングなしにデータから「学習する」(すなわち、特定のタスクに対する性能を徐々に向上させる)能力をコンピュータに与える人工知能の分野におけるアルゴリズム、システム及び装置を指す。
【0107】
用語「人工ニューラルネットワーク」は、一般的に何らかのタスク特定のルールを用いたプログラミングなしに例を考えることによってタスクの実行を「学習する」ことができる、生物学的ネットワークから着想を得た階層コネクショニストシステムを指す。
【0108】
用語「畳み込みニューラルネットワーク」は、通常は視覚画像の解析に適用される多層フィードフォワード人工ニューラルネットワークのクラスを指す。
【0109】
用語「深層学習」は、いくつかの深いネットワーク構造を用いてデータから学習する人工知能(AI)における幅広いクラスの機械学習方法を指す。
【0110】
用語「深層学習」は、いくつかの深いネットワーク構造を用いてデータから学習する人工知能(AI)における幅広いクラスの機械学習方法を指す。トレーニングされた機械学習モデルは、コンピュータによる推論ステージの間に適用され、自力で特定のタスクを実行する(たとえば、物体を検出して分類する)能力をコンピュータに与える。機械学習モデルの例としては、ResNet、DenseNetなどが挙げられる。これらは、その層状ネットワーク構造における深さから「深層学習モデル」という名前もつけられている。
【0111】
用語「画像セグメンテーション」は、デジタル画像を複数の画像パッチセグメント(画素の組、多くの場合に、そのセグメント境界輪郭によって囲まれた画像セグメントを覆うビットマップマスクの組を伴う)に分割する画像解析処理を指す。画像セグメンテーションは、画像処理における画像セグメンテーションアルゴリズム(たとえば、ウォーターシェッド、グラブカット、平均シフトなど)を通して実現することができ、また専用の機械学習アルゴリズム(たとえば、MaskRCNNなど)を通して実現することもできる。
【0112】
アッセイの結果において「信頼性が低い」という用語の意味は、所与のサンプルをアッセイする際、アッセイの結果は常に正確というわけではなく、アッセイの結果が正確なときもあれば、結果が不正確なときもあり、不正確な結果は正確な結果とは実質的に異なるということである。このような不正確な結果は「誤った結果」と言われる。いくつかの文献において、誤った結果は「外れ値」とも言われる。
【0113】
アッセイの結果において「正確である」という用語の意味は、アッセイの結果が、トレーニングを受けた専門家が理想的な環境下で操作するゴールド標準器具によってアッセイした同じサンプルの結果と、許容範囲内で一致するということである。
【0114】
従来、診断アッセイは高性能な(多くの場合に高価な)器具を用いて行われるのが普通であり、高度なトレーニングを受けた職員と高性能なインフラストラクチャが必要である。これらは、リソース設定が限られている場合には利用できない。
【0115】
サンプルをアッセイする際の用語「リソース設定が限られている」または「LRS」は、アッセイを行う際の設定を指し、簡易/低コストなアッセイ処理または簡易/低コストな器具を使用しているか、トレーニングを受けていない人が行っているか、悪環境(たとえば、解放された実験室環境でホコリがある)で使用されているか、またはそれらの任意の組み合わせである。
【0116】
用語「LRSアッセイ」はLRS下で行われるアッセイを指す。
【0117】
特定のアッセイ結果(またはデータ)の信頼性を説明する際の用語「信頼価値がある」は、特定のアッセイ結果の信頼性分析が、結果が不正確である確率が低いと判定したことを指す。
【0118】
特定のアッセイ結果(またはデータ)の信頼性を説明する際の用語「信頼価値がない」は、特定のアッセイ結果の信頼性分析が、結果が不正確である確率が高いと判定したことを指す。
【0119】
用語「価値」及び「信頼価値」は交換可能である。
【0120】
用語「モニタリング構造」は、アッセイの動作及び/またはアッセイデバイス品質をモニタするために用いる光学特性の構造を意味する。
【0121】
「モニタリング構造」には、モニタリングマーク、スペーサ、場所マーク、画像化マーク、またはスケールマークが含まれる。
【0122】
アッセイを行う際の用語「動作状態」は、その下でアッセイが行われる状態を指す。動作状態には、少なくとも3つの種類、(1)サンプルに関係する欠陥、(2)サンプルホルダに関係する欠陥、(3)測定プロセスに関係する欠陥が含まれるが、これらに限定されない。用語「欠陥」は理想状態からはずれた状態を意味する。
【0123】
A1:画像ベースのアッセイングにおけるサンプル欠陥
画像ベースのアッセイでは、サンプル調製、画像化用のサンプル保持デバイス、及びアッセイング用のサンプル保持デバイス上で画像化装置が取り込んだサンプルの画像を伴う。アッセイング処理では、欠陥はすべての操作行為及びコンポーネントにおいて生じる可能性があり、アッセイングの精度及びアッセイング結果の信頼価値に影響する。
【0124】
たとえば、サンプル調製からの欠陥としては、限定することなく、以下が挙げられる。気泡、ホコリ、異物(すなわち、物体はサンプル中にあってはならないが、サンプル中に入り込んでいる)、サンプルの乾燥テクスチャ(サンプルの特定の部分がサンプル保持デバイス内で乾燥した)、サンプル保持デバイス内でのアッセイング用サンプルの量が不十分、サンプルの母材が不適切である(たとえば血液、唾液)、サンプルに対する試薬の反応が正しくない、サンプルの分布が不均一である、サンプルホルダに対するサンプル位置が不適切である(たとえばスペーサの下の血球)など。
【0125】
サンプル保持デバイスに関係する欠陥の例としては、限定することなく、以下が挙げられる。サンプルホルダ内のスペーサが欠落している、デバイスが適切に閉じていない、不適切な位置に配置されている、シールした後に再び開いている、表面が汚染されている、スペーサ高さが不適切である、表面粗さが大きい、透明性が不適切である、吸収率が不適切である、モニタリングマークが欠落している、光学特性が不適切である、電気特性が不適切である、幾何学的(サイズ、厚さ)特性が不適切である等。
【0126】
さらなる例には測定プロセスからの欠陥が含まれる。これには、限定することなく、以下が含まれる。光の強度が不適切である、アッセイング用の画像においてサンプルのフォーカスが合っていない、光の色が不適切である、周辺光の漏れがある、照明強度が一様でない、不適切なレンズ状態、フィルタ状態、光学部品状態、電気部品状態、器具の組立状態、画像化装置の画像プランに対するサンプル保持デバイスの相対位置など。
【0127】
また、画像ベースのアッセイにおける多くの欠陥(たとえば、気泡及びホコリ)が、動作環境、検体、使用している試薬、温度などに応じて、予測できないほど生じる可能性があり、そのため、画像ベースのアッセイング処理においてそれらを完全になくすことは極めて難しい。したがって、画像ベースのアッセイングにおける欠陥の悪影響を検出し、取り除き、なくすとともに、アッセイング結果を正確で信頼価値があるものにする方法及び装置が緊急に求められている。
【0128】
図7は、画像ベースのアッセイング用のいくつかのインテリジェントモニタリング構造を有するサンプル保持デバイスにおいてアッセイング用サンプルを調製するプロセス100のブロック図である。プロセス100の種々の実施態様において、動作を取り除いてもよいし、結合してもよいし、サブ動作に分解してもよい。プロセスは操作モジュール101から始まる。ここでは、サンプル保持デバイスがナノインプリントを用いて高精度で作製される。ここには、画像ベースのアッセイング動作をモニタするためのインテリジェントモニタリング構造(IMS)がある。
【0129】
図7に例示するように、サンプル保持デバイス内のIMSには、デバイスのベースプレート上に製造されたピラーが含まれる。いくつかの実施形態では、これらのピラーは高さ及びサイズが均一であり、予めデザインされた周期パターンで分布している。操作モジュール102において、アッセイング用サンプルをサンプル接触領域に落とす。サンプル接触領域には、試薬、抗体、抗原、化学薬品など、サンプルと相互作用してアッセイング用サンプルを調製するものが含まれていてもよい。操作モジュール103において、操作モジュール102のサンプル保持デバイスを透明なカバーで閉じて、サンプルを含むサンプル保持デバイスを周囲の壁及びその2つのプレートによってシールする。アッセイング用サンプルは、サンプル保持デバイスの2つのプレートの間に挟まれる。操作モジュール103において、シールしたサンプル保持デバイスを画像化用のアダプタ内に挿入する。操作モジュール104における画像化装置は、サンプル保持接触領域上の操作モジュール103からのアダプタ内のサンプル保持デバイス(たとえば、QMAXカード)の画像(複数可)を、インテリジェントモニタリング構造とともに取り込む。
【0130】
操作モジュール105において、アッセイング用サンプルの画像(複数可)を保存して、以後の画像ベースのアッセイング動作でサンプルの画像からの検体の特性を分析することに備える。
図8は、画像ベースのアッセイにおいて赤血球の全血球計算(CBC)用に画像化装置が取り込んだ画像である。
【0131】
A2:画像ベースのアッセイ用の欠陥のセグメンテーション
アッセイング結果の品質及び信頼価値を検証するためのいくつかの実施形態では、アッセイング用サンプルの画像からの対象物体をセグメント化する必要がある。機械学習ベースの画像セグメンテーションアルゴリズム(たとえば、マスクRCNN)を適用することができるが、機械学習モデルをトレーニングするためには、サンプルの微視的画像内のアッセイすべき物体の形状の正確な輪郭標識化が必要であり、これが多くの応用例においてボトルネックとなっている。画像ベースのアッセイの場合、物体の形状輪郭のこのような標識化を得るのは費用がかかって難しい可能性がある。なぜならば、サンプル中の物体は非常に小さい可能性があり、それらの出現はランダムであり、また、形状サイズ、及び着色において非常に大きく変化するからである(たとえばホコリ、気泡など)。
【0132】
いくつかの実施形態では、ファイングラインドな画像セグメンテーションアルゴリズムを、機械学習ベースの粗いバウンディングボックスセグメンテーションと画像処理ベースのファイングラインドな形状決定との組み合わせに基づいて考案している。それを画像ベースのアッセイにおける画像セグメンテーションに適用する。各物体は、形状及び形状輪郭詳細とは独立に、粗いバウンディングボックスにおいて標識化する必要があるだけである。それにより、サンプルの画像内の物体の形状依存性の輪郭のファイングラインドな標識化を行う必要がなくなる。これは、難しく、複雑で、費用がかかるだけでなく、正確に行うのが難しいものである。このファイングラインドな画像セグメンテーションアルゴリズムには以下が含まれる。
a)アッセイング用サンプルの画像内の検出すべき物体を含むトレーニング用に複数の画像化装置が取り込んだサンプル画像を収集する;
b)モデルトレーニング用の前記物体を含む粗いバウンディングボックスを用いて、収集した画像内の各物体を標識化する;
c)サンプルの画像内の前記物体を、物体を含むバウンディングボックスによって検出するように、機械学習モデル(たとえばFRCNN)をトレーニングする;
d)推論ステージにおいて、アッセイング用サンプルの画像を入力として取得するe)トレーニングされた機械学習モデルを適用して、サンプルの画像内のバウンディングボックスによって前記物体を検出してその場所を特定する;
f)検出した物体を含むバウンディングボックスに対応する各画像パッチをグレー色に変換した後に、適応的閾値処理によってそれを二値に変換する;
g)形態学的膨張(7x7)及び縮退(3x3)を行って形状の輪郭をバックグラウンドノイズから強調する;
h)各前記画像パッチ上で凸状輪郭分析を行って、パッチ内で見つかった最長の接続輪郭を物体形状の輪郭として用いて、物体の画像マスク(たとえば、サンプルの画像内の物体を覆う二値ビットマップ)を決定する;
i)(h)からすべての画像マスクを収集することによって画像セグメンテーションを完了する。
【0133】
いくつかの実施形態では、検出した物体にセグメンテーションマスクを追加のマージンΔを伴って適用して、画像ベースのアッセイングにおいて局所的な隣接する領域に及ぼされる欠陥の負の影響を減らす。したがって、本明細書で説明するファイングラインドな画像セグメンテーションにはさらに、
1)(h)における各検出した輪郭をマージンΔを伴って新しいマスクとして膨張させることと、
2)(1)からのすべての拡大像マスクを収集することによって、Δマージンを伴った画像セグメンテーションを完了することと、が含まれる。
【0134】
図9〜12は、説明したファイングラインドな画像セグメンテーションアルゴリズムを、赤血球に対する画像ベースのアッセイングに適用する応用例である。画像に示したように、説明したファイングラインドな画像セグメンテーション方法は、異なるサイズ及び形状の物体を取り扱って、サンプルの画像内の物体を覆う非常にタイトなマスクを用いてセグメンテーションを行うことができ、これはサンプルの画像内の欠陥の形状及びサイズの概形さえ分かっていなくても可能である。これは、サンプル中の検体または細胞(たとえば、全血球計算における赤血球)のセグメンテーションとは全く異なる。この場合は、検体または細胞の形状またはサイズの概形が分かっているかまたはその基本的構成からのある程度の変化内で分かっている。
【0135】
本明細書で説明する欠陥に対する画像セグメンテーションの方法の別の態様では、サンプルの画像内の検出した欠陥を取り除くだけでなく、制御された追加のマージンΔを伴ってサンプルの画像内の欠陥を取り除くことができる。この能力はアッセイングにとって非常に重要である。なぜならば、アッセイング用サンプル中の欠陥は、サンプル中の検体分布の一様性及び局所的なサンプル層高さなどを変える可能性があり、アッセイング結果が大きく変化して不正確になるからである。
【0136】
A3:モニタリングマークを用いた画像化ベースのアッセイング
画像ベースのアッセイでは、画像化装置が取り込んだサンプルの画像を用いて、アッセイング用の検体の少なくとも1つの特性を決定する。またいくつかの実施形態では、画像を、モニタリングマークを伴うサンプル保持デバイス(たとえば、本明細書で説明するQMAXカード)内のサンプルに対して取り込む。多くの要因によってサンプルの画像が歪められる可能性がある(すなわち、実際のサンプルまたは完全な状態での画像とは異なる)。画像が歪むと、検体の特性を決定する際に不正確及びエラーとなる可能性がある。たとえば、1つの歪みは、画像化装置が取り込んだサンプルの画像内の真の横寸法(TLD)の変化である。
【0137】
用語「横寸法」は、画像化している薄いサンプル層の平面内の直線寸法を指す。用語「真の横寸法(TLD)」及び「視野(FoV)」はこの文献において交換可能である。
【0138】
サンプルの画像のTLDを決定することは画像ベースのアッセイにおいて重要である。なぜならば、画素単位で記述されるサンプルの画像内の物体のサイズを、画像化装置が画像化している物理的なサンプルプランにおけるその実際のサイズ(マイクロメートル)にマッピングするからである。サンプルの画像のTLDが分かれば、物体の実際のサイズ(たとえば、実際の長さ、面積など)を画像ベースのアッセイングにおいて決定することができる。
【0139】
画像ベースのアッセイにおいてモニタリングマークを用いてTLDを推定する方法が、PCT/US19/46971に記載されている。ここでは、球面及びバレルレンズ歪み、サンプル中の粒子からの強力な光散乱及び回折、画像化装置によるフォーカス条件などの悪条件の下で、モニタリングマークの構造特性及び機械学習を用いて信頼性の高いTLD推定を得ている。
【0140】
加えて、方法はPCT/US19/46971にも記載されている。ここでは、モニタリングマークの構造、及びサンプル保持デバイス(たとえば、QMAXカード)の特性、及び機械学習を用いて、画像化装置が取り込んだサンプルの画像から特定の物体を取り除いた後で残りのサンプル体積を決定する方法について説明されている。これらの方法を本発明の実施形態において適用して、本明細書で説明する実施形態における画像ベースのアッセイングの精度及びアッセイング結果の信頼価値を向上させる。
【0141】
A4:画像ベースのアッセイングにおいてサンプル中の欠陥を取り除く
サンプル中の欠陥はアッセイング結果の精度及び信頼価値に著しく影響する可能性がある。これらの欠陥は、サンプル中の何らかの望ましくない物体である可能性があり、
図9及び
図11に示すようにホコリ、オイルなどが含まれるがこれらに限定されない。それらは、アッセイング用サンプル中に入り込むと取り扱いが難しい。なぜならば、サンプル中でのそれらの発生及び形状はすべてランダムだからである。
【0142】
いくつかの実施形態では、欠陥検出用の専用プロセスを考案して画像ベースのアッセイに適用している。ここでは、欠陥がない良好なサンプルの画像とサンプル中に種々の度合いで欠陥があるサンプルの画像とを、トレーニングデータとして収集する。トレーニングデータから、画像内の欠陥面積をバウンディングボックスによって標識化する。機械学習モデル(たとえば速いRCNN)を選択して、標識化したトレーニング画像によってトレーニングして、バウンディングボックス内のサンプルの画像内の欠陥を検出し、それに続いて、説明したファイングラインドな画像セグメンテーション法(以前のセクションA2で説明)を適用して、欠陥を覆うセグメンテーション輪郭マスクを決定する。
図10及び
図11は、説明したファイングラインドなセグメンテーション法(セクションA2で説明)を用いた赤血球に対する全血球計算における
図9及び12のサンプルの画像からのセグメント化された欠陥の画像である。
【0143】
画像ベースのアッセイング処理の間、欠陥検出及び面積決定を行ってアッセイング結果の信頼価値を検証する。これには以下が含まれる。
a)画像化装置からのサンプルの画像を入力として取り込む;
b)トレーニングした欠陥検出機械学習モデル(たとえば、FastRCNN)をアッセイング用サンプルの画像に適用して、バウンディングボックス内の欠陥を検出してそれらの場所を特定する;
c)セクションA2で説明したファイングラインドな画像セグメンテーション法を用いて、検出した欠陥のセグメンテーション輪郭マスクを決定する;
d)セクションA3で説明したモニタリングマーク及びサンプル保持デバイスを用いて、サンプルの画像のTLDを推定する;
e)(d)からの推定TLDを用いて、アッセイング用の関心領域(AoI)において欠陥が占有する全面積(すなわち、AoI内欠陥面積)を、検出した欠陥を覆うセグメンテーションマスクのすべての面積を合計することによって決定する;
f)サンプルの画像におけるAoI内欠陥面積とアッセイング用AoI面積との間の面積比:AoI内欠陥面積比=AoI内欠陥面積/アッセイング用AOI面積を決定する;
g)AoI内欠陥面積比が特定の閾値を超えたら、アッセイング結果の信頼価値についてフラッグを立てる。
【0144】
いくつかの実施形態では、(b)における機械学習モデルのトレーニングには以下が含まれる。
i.モデルトレーニング用のアッセイングサンプルの複数の画像を収集する;
ii.バウンディングボックスによって(i)からのサンプルのトレーニング画像から画像内の欠陥を標識化する;
iii.畳み込みニューラルネットワークの形態の機械学習モデル(たとえば、FastRCNN)を選択する;
iv.選択した機械学習モデルのパラメータをトレーニングにおける損失関数に対して調整して、トレーニングサンプルをそれらの正しい素性に対して分類することを、トレーニング用のバウンディングボックス標識化欠陥により前記複数のサンプルを繰り返すことによって行う;
v.特定の停止条件が満足されたときに(iv)から機械学習モデルを出力する。
【0145】
いくつかの実施形態では、AoI内欠陥面積比に基づいて(g)において閾値を決定する閾値は約15%である。この閾値は、欠陥の影響を受けた面積に対応するサンプル体積を取り除いた後の残りのサンプル体積に依存し、欠陥除去後のサンプルの体積は、セクションA2、A3で説明したサンプルの画像、及び前記サンプル保持デバイスの一定の高さ特性からサンプル体積推定の方法を用いて取得することができる。
【0146】
いくつかの実施形態では、取り除く物体はアッセイング用サンプル中に生じる気泡である。いくつかの実施形態では、取り除く物体は、画像ベースのアッセイングの動作においてサンプル中に入り込むホコリ、毛髪などである。
【0147】
いくつかの実施形態では、取り除く物体及び関連する体積は、モニタリングマーク(たとえば、ピラー)及びサンプルホルダ内でそれらが占める体積とすることができる。これは、アッセイング用サンプルの画像内で関与しているが、アッセイング用の実際のサンプル体積においてカウントしてはならない。そうでない場合、アッセイング結果は正確でもなく信頼価値もない。なぜならば、不正確なサンプル体積が用いられているからである。
【0148】
A5:サンプル中の塊状検体を取り除く
アッセイングにおいて、1つの厄介な状況はアッセイング用サンプル中での検体凝集であり、これはアッセイング結果及び精度(たとえば、カウンティング、セグメンテーションなど)に影響する可能性がある。
【0149】
また、検体凝集は、サンプル調製における操作、検体のタイプ、サンプル保持デバイス内でのサンプルの存続時間、サンプルの新鮮さ、使用している試薬などによって生じる可能性がある。さらに、検体凝集は移動過程である。それは時間とともに悪化する可能性があり、アッセイングにおいて段階を追ってチェックしなければならない。
【0150】
たとえば、全血球計算において、アッセイング用サンプル中の赤血球の特定の一部を総計することができる。特にそれらが特定の時間、開放空気にさらされた場合にそうである。サンプル中の塊状検体クラスタは、それらがどのように集まって塊状になったかに応じて、いくつかのランダムサイズ及び形状を有する。塊状検体の部分がサンプル中の特定のパーセンテージを超えたら、サンプルをアッセイングに対して用いてはならない。
【0151】
いくつかの実施形態では、検体凝集検出及び除去に対して機械学習を用いたプロセスを考案している。そこでは、検体凝集/クラスタをアッセイング用サンプル中の特別な欠陥(動的で、時間とともに変化する)として扱う。したがって、画像化装置が取り込んだサンプルの画像をアッセイングの各ステップにおいてチェックして、アッセイング用サンプル中で検体が塊状/クラスタ化となっているか否かを判定する。
【0152】
いくつかの実施形態では、サンプルの画像内の検体凝集/クラスタを検出及びセグメント化するように機械学習モデルをトレーニングするために、複数のサンプルの画像を収集する。収集したトレーニング画像セットには、検体クラスタリングのないサンプルの画像と種々の度合いでクラスタリングがあるサンプルの画像とが含まれている。それは、バウンディングボックスによってサンプルの画像内の検体凝集/クラスタを標識化することによって、セクションA4で説明した同様の機械学習モデルトレーニング手順に従う。それは、トレーニングデータのバウンディングボックス標識化に基づいて機械学習モデルをトレーニングして、推論過程の間にサンプルの画像内の検体凝集/クラスタを検出するようにする。そしてその後、セクションA2で説明したファイングラインドな画像セグメンテーション法を、サンプルの画像内の検体凝集/クラスタリングを含む検出したバウンディングボックスに適用する。
【0153】
アッセイング中に、検体凝集/クラスタ検出及び除去には以下が含まれる。
a)画像化装置からのサンプルの画像入力として取り込む;
b)検体凝集/クラスタ検出に対してトレーニングされた機械学習モデルを適用して、バウンディングボックス内でアッセイング用サンプルの画像内の塊状検体を検出する;
c)セクションA2で説明したファイングラインドな画像セグメンテーション法を適用することによって、(b)からの検出した検体凝集/クラスタのファイングラインドなセグメンテーション輪郭マスクを決定する;
d)(c)からの塊状検体を覆うセグメンテーション輪郭マスクに付随するすべての面積を合計することによって、サンプルの画像において関心面積(AoI)内で塊状検体が占有する全面積(AoI内塊状検体面積)を決定する;
e)サンプルの画像内でAoI内塊状検体面積とAoI面積との間の面積比:AoI内塊状検体面積比=AoI内塊状検体面積/AoI面積を決定する;
f)AoI内塊状検体面積比が特定の閾値を超えたら、アッセイング結果の信頼価値についてフラッグを立てる。
【0154】
いくつかの実施形態では、閾値を10〜20%に設定する。閾値は、最終的な推定(トレーニング及び評価データから推定することができる)に対する塊状検体面積の影響に依存する。
【0155】
A6:画像ベースのアッセイングに対してサンプル中の気泡を取り除く
アッセイング用サンプル中の気泡は特別なタイプの欠陥であり、アッセイング中にかなり頻繁に生じる。それらの発生はランダムであり、サンプル調製、サンプル中での検体と試薬との間の反応などにおける操作手順に由来する可能性がある。
【0156】
本発明のいくつかの実施形態では、アッセイング中に気泡を取り除くために気泡を特別な欠陥として扱う専用プロセスを用いる。いくつかの他の実施形態では、セクションA4で説明した欠陥を取り除く手順に、気泡を新しいタイプの欠陥として加える。説明したファイングラインドな画像セグメンテーション法(セクションA2で説明)を適用して、欠陥のファイングラインドなセグメンテーション及びセグメンテーションを拡大マージンΔを伴って行って、アッセイング結果を正確で信頼価値があるものにする。
【0157】
いくつかの実施形態では、A4で説明したプロセスに従って、サンプルの画像内の気泡の全面積を決定し、アッセイング用の対象面積内の気泡面積の比(AoI内気泡比)を計算する。AoI内気泡比が特定の閾値を超えたら、アッセイング結果の信頼価値についてフラッグを立てる。いくつかの実施形態では、気泡に対する閾値を約10%に設定する。閾値は、最終的な推定(トレーニング及び評価データから推定することができる)に対する気泡面積の影響に依存する。
【0158】
いくつかの実施形態では、よりタイトな閾値を気泡に対して適用する。なぜならば、気泡が占有する面積が大きかった場合、アッセイング用サンプル中の成分間でいくつかの化学反応または生物反応が生じたこと、または特別な注意に値するサンプル保持デバイス内でのいくつかの欠陥/問題点を示しているからである。
【0159】
A7:画像ベースのアッセイング用のサンプル中の乾燥テクスチャを取り除く
アッセイング用サンプルの画像内に乾燥テクスチャがあると、画像ベースのアッセイにおけるアッセイング結果の精度及び信頼価値に影響する可能性がある。これが起こるのは、アッセイング用サンプルの量が必要量を下回っているか、または画像保持デバイス内のサンプルの特定の部分がいくつかの予測できない要因によって完全に乾燥しているときである。
【0160】
いくつかの実施形態では、画像ベースのアッセイにおいて画像化装置が取り込んだサンプルの画像内の乾燥テクスチャ面積を検出するために、機械学習に基づくプロセスを考案して適用している。それは、画像ベースのアッセイング用のサンプル中の乾燥テクスチャをサンプル中の特別なタイプの欠陥として扱い、その検出及び除去用にセクションA4で説明した手順に従う。種々の度合いの乾燥テクスチャ面積を伴うサンプルの画像を含むアッセイング用サンプル中の乾燥テクスチャの検出用に機械学習モデルをトレーニングするために、複数のサンプルを収集する。
【0161】
画像ベースのアッセイング中に、セクションA4で説明した手順に従って、サンプルの画像をチェックして乾燥テクスチャを調べる。アッセイング用サンプルの画像をチェックするために、機械学習ベースの乾燥テクスチャ検出を適用する。事前トレーニングされた機械学習モデルにより検出した乾燥テクスチャを用いて、バウンディングボックス内の乾燥テクスチャの場所を特定する。検出した乾燥テクスチャのファイングラインドなセグメンテーションを行うために、セクションA2で説明したファイングラインドな画像セグメンテーション法を適用する。セクションA3で説明した推定したTLD(真の横寸法)を用いて、また検出した乾燥テクスチャのすべてのマスク面積を合計して、検出した乾燥テクスチャの全面積を推定する。
【0162】
いくつかの実施形態では、AoI内乾燥テクスチャ面積とアッセイング用AoI面積との間の比:AoI内乾燥テクスチャ面積比=AoI内乾燥テクスチャ面積/AoI面積を計算する。またAoI内乾燥テクスチャ面積比が特定の閾値を超えたら、アッセイング結果の信頼価値についてフラッグを立てる。
【0163】
いくつかの実施形態では、閾値を約10%に設定する。閾値は、最終的な推定結果(トレーニング及び評価データから推定することができる)に対する乾燥テクスチャ面積の影響に依存する。
【0164】
A8:画像ベースのアッセイングにおいてピラー上の物体を検出する
前述したように、いくつかの実施形態では、サンプル保持デバイス内でピラーの形態のモニタリングマークを用いて、画像ベースのアッセイングにおいて2つのプレート間のギャップを均一にする。サンプル保持デバイス内のギャップのこの均一性は、アッセイング用のサンプル体積を制御するのに重要である。しかし、サンプル保持デバイスのピラーの上部及びピラーと上部プレートとの間にいくつかの検体または異物があると、これは乱される可能性がある。これが生じると、サンプル保持デバイスのギャップは高さが均一でなくなり、上部に検体または異物があるピラーの周りの高さが高くなる。
【0165】
いくつかの実施形態では、セクションA4の場合と同様にサンプルの画像内のピラーを検出するが、別個にトレーニングされた機械学習モデルを用いて、画像内の他の欠陥及び検体も検出する。いくつかの実施形態では、ピラー、検体、気泡、ホコリなどを異なる物体種類としてカバーする1つの大きな機械学習モデルを構築する。推論ステージでは、各種類に属するすべての物体を検出する。サンプルの画像からのピラーをセグメント化するために、セクションA2の方法を適用する。そして、検体、ホコリ、及び気泡の他の検出物体をセグメント化するために、セクションA2の方法を適用する。ピラー上の検体、ホコリ、及び気泡を検出する方法にはさらに以下が含まれる。
a)サンプルの画像において、検出した検体、ホコリ、及び気泡のセグメンテーションマスクを、ピラーのセグメンテーションマスクと交差させる;
b)検体、ホコリ、及び気泡のセグメンテーションマスクとの交差点が空でないセグメンテーションマスクを伴う影響を受けたピラーを特定する;
c)影響を受けたピラーの数が予め設定した閾値を超えたら、アッセイング用サンプルの画像を廃棄する;
d)サンプルの画像内で影響を受けたピラーの数が少なかった場合のみ、セクションA4で説明した方法に従って、アッセイング用サンプルの画像内で、影響を受けたピラーをマージンΔを伴って取り除く;
e)サンプルの画像内でマージンΔを伴って取り除いた影響を受けたピラーに対応するサンプル体積を除外することによって、サンプル体積を更新する;
f)(d)(e)に従ってサンプル体積を更新し、更新したアッセイングサンプルに基づいて画像ベースのアッセイングを行う。
【0166】
A9:サンプル保持デバイス内で欠落したピラーを検出する
ある場合には、サンプル保持デバイスにはその独自の欠陥があり得る。詳細には、サンプル保持デバイス(たとえば、QMAXカード)内のモニタリングマーク(たとえば、ピラー)は、アッセイング動作において欠落しているかまたは壊れる可能性がある。これが起こると、サンプル保持デバイス内のギャップまたはサンプル厚さが変わる可能性があり、アッセイング用の実際のサンプル体積が異なってくる。
【0167】
本発明のいくつかの実施形態では、モニタリングマーク(たとえば、ピラー)を、アッセイング用サンプル中の特別なタイプの欠陥として扱う。セクションA4で説明した方法を用いてサンプルの画像内のピラーを検出し、サンプル保持デバイス内でいくつかのピラーが欠落している(デバイス自体に欠陥があるという表示)か否かを判定する。さらに、セクションA2のファイングラインドなセグメンテーションを用いて、検出したピラーの形状を特定し、それに基づいて、サンプル保持デバイス内の壊れたピラー(やはりサンプル保持デバイス内の欠陥に由来する)を検出する。
【0168】
いくつかの実施形態では、セクションA4で説明した方法及びプロセスに続いて、上部ピラー上の物体、サンプル保持デバイス内の欠落したピラー、及びサンプル保持デバイス内の壊れたピラーの検出を1つのプロセスに結合する。いくつかの実施形態では、これは、アッセイングにおいてサンプル保持デバイスが適切に閉じているか(たとえば、ピラーの上に物体がないか)、及びサンプル保持デバイスが不良品でないか(たとえば、欠落したピラーも壊れたピラーもないか)を判定する重要な検証プロセスになる。
【0169】
A10:サンプル中の検体分布の一様性
アッセイング結果の信頼価値に影響する1つの因子はサンプル中の検体分布の一様性であり、これは経験豊富な技師であっても目視チェックで検出することは難しい。
【0170】
いくつかの実施形態では、アッセイング用サンプルの画像に基づいてアッセイング用サンプル中の検体分布の一様性を決定する方法を考案して適用している。検体検出機械学習モデル(たとえば、FRCNN)をトレーニングするために、アッセイングにおいて画像化装置が取り込んだ複数のサンプル画像を収集する。
【0171】
アッセイングの間に、アッセイング用サンプル中の検体の一様性を決定する方法には以下が含まれる。
a)アッセイング用サンプルの画像を入力として取得する;
b)(a)からのサンプルの画像を等しいサイズの非重複画像パッチ(たとえば、8x8の等しいサイズの小さい画像パッチ)に分割する;
c)検体検出用のトレーニングした機械学習モデルを(b)からの各分割画像パッチに適用する
d)各パッチにおける検体濃度を決定する;
e)(d)に基づく画像パッチの検体濃度を昇順でソートして、(b)の分割画像パッチのソートした濃度ならびにおけるその25%分位点Q1及びその75%分位点Q3を決定する;
f)(e)からの濃度ならびに四分位範囲(IQR)ベースの信頼度指標を適用して、IQRベースの信頼度指標:信頼度−IQR=(Q3−Q1)/(Q3+Q1)を計算する。
信頼度−IQRが特定の予め設定した閾値を超えたら、フラッグを立てて、アッセイング用サンプルの画像内で検体が不均一に分布しており、アッセイ結果は信頼性が高くない場合があるということを示す。
いくつかの実施形態では、閾値を30%に設定する。閾値は、サンプル中の検体の不一様な分布に対するアッセイングの許容範囲に依存する。検体の不一様な分布に対するアッセイングのこのような許容範囲は、トレーニング及び評価アッセイングデータから推定することができる。
【0172】
A12:画像ベースのアッセイにおいて動作故障を検出する
動作故障は、不正確で信頼性の低いアッセイング結果に対する別の供給源である。1つのこのような故障は、サンプル保持デバイス内の十分なサンプルでも、アッセイング用のサンプル保持デバイス内のサンプルのオーバーフローでもない。
【0173】
いくつかの実施形態では、特別なサンプル保持デバイス(たとえば、QMAXカード)を用いてアッセイング用のサンプルを保持する。アッセイング用のサンプルは、サンプル保持デバイスの2つの平行なプレートのギャップ内に挟まれる。サンプル保持デバイス内の2つのプレート間のギャップは、アッセイすべき検体に対して分かっている。
【0174】
いくつかの実施形態では、サンプル画像内のアッセイング用サンプルの輪郭を検出して、画像内でサンプル輪郭に囲まれた全面積を推定する。全サンプル体積を、サンプルの画像内の実際のサンプル面積とサンプル保持デバイスのギャップの均一な高さ(QMAXカード内のピラーなどのモニタリングマークによって特徴付けられる)によって決定することができる。サンプル輪郭の実際の面積を、セクションA3で説明した方法によりサンプルの画像のTLD(真の横寸法)によって決定することができる。モニタリングマスク、ピラー、気泡、ホコリなどを取り除くことによってサンプルの画像から計算した実際のサンプル体積が、アッセイングにとって必要な体積を下回っていた場合、アッセイング用のサンプルが十分でないことを示すエラーメッセージによってアッセイング処理を中断する。
【0175】
アッセイング精度の原因となる別の動作故障は、閉じたサンプル保持デバイス(たとえば、QMAXカード)を再び開いて、もう一度再び閉じることである。ある観測結果によれば、閉じたサンプル保持QMAXカードを、血液サンプルが再び開いた後に閉じた状態で閉じると、QMAXカードの下部プレート上に特定可能な血液輪郭マークが残る。サンプル保持デバイスの上部及び下部プレートが離れて再び閉じたときに、著しい量のサンプル血液がQMAXカードの両方の部片上に再分布する傾向がある。
【0176】
サンプル保持デバイスが再び閉じると、血液サンプルの一部が再分布して、わずかに異なる面積を覆う結果、輪郭マークが視覚的に特定できる状態で残る。加えて、新たに生じたサンプル面積は当初の覆われた面積とは同一にならない。
【0177】
いくつかの実施形態では、サンプルの画像内の二重の境界を検出して、サンプル保持デバイスが、最初に閉じた後に再び開いてそして再び閉じているか否かを判定する。
【0178】
また、サンプル保持デバイス内のサンプルオーバーフローは、画像ベースのアッセイングにおける別のタイプの動作故障である。いくつかの実施形態では、アッセイング用サンプルの画像内でのサンプル境界検出を用いて、サンプル保持デバイス内のサンプルオーバーフローを決定する。サンプルの画像内でのサンプル境界検出は、サンプルの画像全体を1つの特別な大きなバウンディングボックスとして扱うセクションA2で説明した方法を用いた画像輪郭分析によって決定する。
【0179】
画像ベースのアッセイングにおいて、アッセイング動作において起きる故障の1つのタイプは、分析に対する不適切な仕様を伴う不適切なサンプル保持デバイスを用いることである。いくつかの実施形態では、サンプル保持デバイス(たとえば、QMAXカード)のプレートの上側に特別な符号を置いて、デバイスの特性及びこのカードの意図したアッセイング使用を指定する。これは、画像化装置によってサンプル保持デバイス内のサンプルとともに画像化することができる。この特別な符号をサンプルの画像から認識して、アッセイングに対して正しいサンプル保持デバイスを用いているか否か、及びアッセイング処理において間違ったカードを用いた場合にアッセイング処理は停止するか否かを判定することができる。
【0180】
いくつかの実施形態では、サンプル保持デバイス内のモニタリングマーク(たとえば、ピラー)の形状及び分布を用いて、サンプル保持デバイス(たとえば、QMAXカード)の特性を符号化する。実施形態では、セクションA4での方法を適用して、サンプルの画像内のピラーを検出し、それらのサイズ及び分布パターンを決定する。これにより、アッセイングに対して間違ったサンプル保持デバイスを用いる動作故障をなくすために、サンプル保持デバイスの特性及びその意図するアッセイング応用が決定される。
【0181】
A12:画像ベースのアッセイにおけるフォーカスチェッキング
画像ベースのアッセイでは、画像化装置が取り込んだサンプルの画像は、アッセイングに対して画像化装置によりサンプル上でフォーカスが合っている必要があり、画像化装置が取り込んだサンプルの画像内でフォーカスが外れていると、サンプルの画像内の検体がボケる。結果として、アッセイング結果は信頼性の低いものになる。しかし、サンプルの画像を部分的または完全にフォーカス外れにする可能性がある多くの要因が存在する。たとえば、画像取り込みプロセス中の振動及び握手、画像センサ平面へのサンプル保持デバイスの置き違いなどが挙げられるが、これらに限定されない。また、従来技術はほとんどの場合、いくつかの予め設定された内容依存性の閾値を伴う特定のエッジ内容ベースの指標(たとえば、Tenengrad指標など)に基づいており、これは、信頼性が低くて、脆弱な可能性があり、画像ベースのアッセイの要求には達しない。
【0182】
いくつかの実施形態では、画像ベースのアッセイにおいて画像化装置が取り込んだサンプルの画像のフォーカスが合っているか外れているかを判定するために、機械学習に基づく検証プロセスを考案して適用している。画像化装置が取り込んだアッセイング用サンプルの複数の画像を、フォーカスが合っている条件及びフォーカスが外れている条件の両方の下で収集して、トレーニングデータとして用いる。収集したトレーニングデータにおける画像を、その分かっているフォーカス条件に基づいて標識化する。機械学習モデル(たとえば、DenseNet)を選択して、標識化したトレーニングデータによってトレーニングする。アッセイング処理中に、サンプルの画像におけるフォーカス条件を分類するためにトレーニングされた機械学習モデルを適用する。これは、その推論過程において、画像化装置が取り込んだサンプルの画像のフォーカスが合っているか否かを検出するためである。そこから、アッセイング結果の信頼性を高めるためにサンプルの画像を再度取り込むべきか否かを判定することができる。
【0183】
いくつかの実施形態では、サンプル保持デバイス(たとえば、QMAXカード)上の予めデザインされたモニタマークを、画像ベースのアッセイにおけるフォーカス品質の決定を助ける参照またはアンカーとして機能するように用いる。
【0184】
B1:画像ベースのアッセイの信頼価値を改善する実施形態
サンプル中の検体をアッセイするための画像化ベースのアッセイでは、画像化装置を用いて、サンプルホルダ上にあるサンプルの画像を生成し、検体の特性を決定する際に画像を用いる。
【0185】
しかし、多くの要因によって画像が歪められる可能性がある(すなわち、実際のサンプルまたは完全な状態の画像とは異なる)。画像が歪むと、検体の特性を決定する際に不正確となる可能性がある。たとえば、1つの事実は、生物学的サンプル自体が、フォーカシングにおいて好ましい鋭いエッジを有さないために、フォーカシングが不十分となることである。フォーカシングが不十分であると、物体寸法は実際の物体とは異なり、及び他の物体(たとえば血球)を特定することができなくなる。別の例は、レンズが完全であり得るために、サンプルの異なる場所で異なる歪みとなることである。また別の例は、サンプルホルダが光学画像化システムと同じ平面にないために、ある領域ではフォーカスが良好であり、他の領域ではフォーカシングが不十分となることである。
【0186】
本発明は、歪んだ画像から「真の」画像を得て、したがってアッセイの精度を向上させることができるデバイス及び方法に関する。
【0187】
本発明の一態様は、隣接する表面と平行な光学的に観察可能な平坦面を有するモニタリングマークを用いるデバイス及び方法である。
【0188】
本発明の別の態様は、サンプルの少なくとも一部に均一な層を形成させ、カード上のモニタリングマークを用いてアッセイ精度を向上させるQMAXカードを用いるデバイス及び方法である。
【0189】
本発明の別の態様は、モニタリングマークとともにコンピューテーショナル画像化、人工知能、及び/または機械学習を用いるデバイス及び方法である。
【0190】
用語「横寸法」は、画像化している薄いサンプル層の平面内の直線寸法を指す。
【0191】
用語「真の横寸法(TLD)」及び「視野(FoV)」は交換可能である。
【0192】
用語「サンプル中の微小特徴」は、サンプル中の物質検体、微細構造、及び/または微小変化を指し得る。検体は、粒子、細胞、巨大分子、たとえばタンパク質、核酸及び他の部分を指す。微細構造は異なる材料における微小規模の差を指し得る。微小変化はサンプルの局所的な特性の微小規模の変化を指す。微小変化の例は局所的な光学指数及び/または局所質量の変化である。細胞の例は血球、たとえば白血球、赤血球、及び血小板である。
【0193】
A.固相表面上のモニタリングマーク
A1−1.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
(a)微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のモニタリングマークであって、
i.サンプルからの異なる材料で形成され、
ii.微細構造のアッセイ中は、サンプル中部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
iii.横直線寸法が約1um(ミクロン)以上であり、
iv.少なくとも1つの横直線寸法が300um以下である、モニタリングマークと、を含み、
アッセイ中に、少なくとも1つのモニタリングマークが、検体のアッセイ中に用いられる画像化装置によって画像化され、モニタリングマークの幾何学的パラメータ(たとえば形状及びサイズ)及び/またはモニタリングマーク間のピッチは、(a)予め決められて検体のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
【0194】
A1−2.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
1つ以上のモニタリングマークであって、各モニタリングマークは固相表面からの突起物または溝を含み、
v.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
vi.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
vii.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
viii.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
ix.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、モニタリングマークと、を含むデバイス。
【0195】
B.QMAXカード上のモニタリングマーク
A2−1.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
i.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
iii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iv.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
v.モニタリングマークはサンプルからの異なる材料で形成され、
vi.モニタリングマークは微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
vii.モニタリングマークは横直線寸法が約1um(ミクロン)以上であり、少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう1つは閉構成であり、開構成でサンプルが堆積された後に構成され、力領域に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である。
【0196】
A2−2.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
viii.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ix.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
x.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
xi.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
xii.各モニタリングマークは一方または両方のサンプル接触領域上に突起物または溝を含み、
xiii.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
xiv.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
xv.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
xvi.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
xvii.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力領域に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である。
【0197】
A3.画像ベースのアッセイ用のデバイスであって、いずれかの先行するデバイス実施形態のデバイスであって、少なくとも5つのモニタリングマークを有し、モニタリングマークのうちの少なくとも3つは直線上で位置合わせされていないデバイスを含むデバイス。
【0198】
A4.画像化装置を用いてサンプル中の検体をアッセイするための装置であって、システムには、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)検体を含むサンプルをアッセイするときに用いる画像化装置と、が含まれる装置。
【0199】
A5.画像化ベースのアッセイを行うためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)検体を含むサンプルをアッセイするときに用いる画像化装置と、
(c)デバイスのモニタリングマークを用いて検体に関係する特性を決定するアルゴリズムと、を含むシステム。
【0200】
いくつかの実施形態では、薄層の厚さは、所与の検体濃度に対して薄層内に検体の単層があるように構成されている。用語「単層」の意味は、薄いサンプル層において、サンプル層の平面に垂直な方向において2つの隣接する検体の間に実質的な重なりがないということである。
【0201】
C.コンピューテーション画像化、人工知能、及び/または機械学習を伴うモニタリングマーク
本発明の別の態様は、モニタリングマークを、コンピューテーショナル画像化、人工知能、及び/または機械学習と結合することである。画像を処理して画像内の物体を現実世界でのその物理的寸法にマッピングするアルゴリズムを用いて、測定値から画像を形成するプロセスを用いる。本発明では機械学習(ML)を適用して、MLモデルに埋め込まれ、画像化装置が取り込んだサンプルの画像から構築及びトレーニングされたサンプル中の物体の顕著な特徴を学習する。本発明の推論プロセスにインテリジェントな決定ロジックを組み込んで適用して、MLモデルに埋め込まれた知識によりサンプル中の対象物体を検出して分類する。コンピューテーショナル画像化は、著しい量のコンピューティングに基づくアルゴリズムを用いて、測定値から画像を間接的に形成するプロセスである。
【0202】
A6.画像化装置を用いてサンプル中の検体をアッセイングするためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)検体を含むサンプルをアッセイするときに用いる画像化装置と、
(c)デバイスのモニタリングマークを用いて検体に関係する特性をアッセイするアルゴリズムであって、機械学習を用いるアルゴリズムと、を含むシステム。
【0203】
A7.画像化装置を用いてサンプル中の検体をアッセイするための方法であって、
(a)任意の先行する実施形態のデバイス、装置、またはシステムを取得することと、
(b)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触領域上にサンプルを堆積させることであって、サンプルには検体が含まれる、堆積させることと、
(c)検体をアッセイすることと、を含む方法。
【0204】
8.画像化装置を用いてサンプル中の検体をアッセイングするための方法であって、(a)任意の先行する実施形態のデバイス、装置、またはシステムを取得することと、
(b)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触領域上にサンプルを堆積させることであって、サンプルには検体が含まれる、堆積させることと、
(c)検体をアッセイすることであって、アッセイングには機械学習を用いるステップが含まれる、アッセイすることと、を含む方法。
【0205】
本発明の1つの主要な考え方は、較正用の検出可能アンカーとしてサンプル保持デバイス(たとえば、QMAXデバイス)内でピラーを用いて、画像ベースのアッセイの精度を改善することである。QMAXデバイスにおいて、ピラーは、サンプル保持デバイス内のサンプルを保持する2つのプレート間のギャップを均一に保つモニタマークである。しかし、較正用のアンカーとしてサンプル保持デバイス内のピラーを正確に検出して、アッセイの精度を向上させることは難問である。なぜならば、ピラーはサンプル保持デバイスの内部の検体に浸透して周りを囲まれているからである。さらに、それらの画像は、レンズの球面(バレル)歪み、微小物体からの光回折、微視的レベルでの欠陥、フォーカシングの誤位置合わせ、サンプル画像内のノイズなどから、微視的画像化において歪められてボケている。また、画像化が汎用デバイス(たとえばスマートフォンからのカメラ)によって取り込まれるとさらに難しくなる。なぜならば、このようなカメラは、いったん製造を離れると、専用のハードウェアによって較正されることはないからである。
【0206】
本発明では、ピラー検出を機械学習フレームワークに定式化して、サンプル保持デバイス(たとえばQMAXデバイス)内のピラーを、画像ベースのアッセイにおける較正及び精度向上に適した精度で検出する。ピラーの分布及び物理的構成は先験的に知られており、微細ナノスケール製造(たとえば、QMAXデバイス)によって制御されているため、画像ベースのアッセイにおいてアンカーとして検出可能なモニタマーク(たとえば、ピラー)を用いるこの革新的なアプローチは、実現可能であるだけでなく有効でもある。
【0207】
いくつかの実施形態では、任意の先行する実施形態のアルゴリズムには、コンピューテーショナル画像化、人工知能、及び/または機械学習のアルゴリズムが含まれる。
【0208】
いくつかの実施形態では、任意の先行する実施形態のアルゴリズムには機械学習のアルゴリズムが含まれる。
【0209】
いくつかの実施形態では、任意の先行する実施形態のアルゴリズムには人工知能及び/または機械学習のアルゴリズムが含まれる。
【0210】
いくつかの実施形態では、任意の先行する実施形態のアルゴリズムにはコンピューテーショナル画像化及び/または機械学習のアルゴリズムが含まれる。
【0211】
本発明の実施形態には以下が含まれる。
(1)画像ベースのアッセイにおいてサンプル装着デバイス(たとえば、QMAXデバイス)を用いることであって、既知の構成を伴うモニタマークがデバイス内に存在し、モニタマークはサンプル中に浸漬しておらず、画像ベースのアッセイにおいて上方から画像化装置によって画像化することができる、用いることと、
(2)検体及びモニタマークを含むサンプル装着デバイス内のサンプルの画像を取り込むことと、
(3)画像化装置が取り込んだ画像からサンプル保持デバイス内のモニタマークを検出するように機械学習(ML)モデルを構築及びトレーニングすることと、
(4)(3)からの前記ML検出モデルを用いて、画像化装置が取り込んだサンプル画像からサンプル装着デバイス内のモニタマークを検出して場所を特定することと、(5)(4)で検出したモニタマークからマーカーグリッドを作成することと、(6)作成したモニタマークグリッドに基づいてホモグラフィ変換を計算することと、
(7)TLDを推定し、画像ベースのアッセイにおいて画像化した検体の面積、サイズ、及び濃度を決定すること。
【0212】
本発明はさらに、領域ベースのTLD推定及び較正を実行して画像ベースのアッセイの精度を向上させるために、精緻なものにすることができる。このようなアプローチの実施形態には以下が含まれる。
(1)画像ベースのアッセイにおいてサンプル装着デバイス(たとえば、QMAXデバイス)を用いることであって、モニタマークがサンプル中に浸漬せずに、画像ベースのアッセイにおいて画像化装置が上方から画像化することができるデバイス内に存在する、用いることと、
(2)検体とモニタマークとを含むサンプル保持デバイス内のサンプルの画像を取り込むことと、
(3)画像化装置が取り込んだ画像からサンプル保持デバイス内のモニタマークを検出するように機械学習(ML)モデルを構築及びトレーニングすることと、
(4)画像化装置が取り込んだサンプルの画像を非重複領域に分割することと、
(5(3)のMLモデルを用いて、画像化装置が取り込んだサンプル画像からモニタマークを)検出して場所を特定することと、
(6)局所領域で検出された5つを超える非共線のモニタマークを用いて各領域に対する領域ベースのマークグリッドを作成することと、
(7)画像化装置が取り込んだサンプルの画像から検出したモニタマークに基づいて、(6)にないすべての領域に対してマークグリッドを形成することと、
(8)(6)の各領域に対して領域特定のホモグラフィ変換を、(6)で作成したその独自の領域ベースのマークグリッドに基づいて計算することと、
(9)(7)で生成したマークグリッドに基づいて、他のすべての領域に対してホモグラフィ変換を計算することと、
(10)(8)で生成した領域ベースのホモグラフィ変換に基づいて、(6)の各領域に対して領域ベースのTLDを推定することと、
(11)(9)からのホモグラフィ変換に基づいて、他の領域に対してTLDを推定することと、
(12)(10)(12)からの推定したTLDを適用して、画像ベースのアッセイにおいて各分割における画像化した検体の面積及び濃度を決定すること。
【0213】
いくつかの実施形態では、モニタリングマークには鋭いエッジ及び平坦面がある。
【0214】
いくつかの実施形態では、モニタリングマークを用いて、画像の局所的な特性及び/または局所的な動作条件(たとえばギャップサイズ、プレート品質)を決定する。
【0215】
いくつかの実施形態では、モニタリングマークはスペーサと同じ形状である。
【0216】
モニタリングマークを用いてアッセイ操作をモニタリングする
本発明の一態様は、2つの移動可能なプレートを有するQMAXカードを用いてアッセイするために、薄いサンプルの内部に配置したモニタリングマークを用いてQMAXカードに対する動作状態をモニタすることができる。動作状態には、サンプルが適切に装着されているか否か、2つのプレートが適切に閉じているか否か、2つのプレート間のギャップが所定の値と同じまたはほぼ同じであるか否かを含めることができる。
【0217】
いくつかの実施形態では、2つの移動可能なプレートを含み閉構成において2つのプレート間に所定のギャップを有するQMAXカードに対して、QMAXアッセイの動作状態を、閉構成においてモニタリングマークの画像を取り込むことによってモニタする。たとえば、2つのプレートが適切に閉じていない場合、モニタリングマークは、画像内で、2つのプレートが適切に閉じている場合とは現れ方が異なる。サンプルに囲まれたモニタリングマークは、サンプルに囲まれていないモニタリングマークとは異なる外観を有する。したがって、サンプル装着状態に関係する情報を得ることができる。
【0218】
Z−1.第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含むデバイスの動作状態を、モニタリングマークを用いてモニタするためのデバイスであって、
i.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ii.第1のプレート及び第2のプレートはそれぞれ、分析しているサンプルと接触するためのサンプル接触領域を含む内面を含み、
iii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iv.モニタリングマークはその寸法の少なくとも1つが、(a)予め決められて分かっており、(b)画像化装置によって観察可能であり、
v.モニタリングマークは、少なくとも1つの横直線寸法が300um以下の微細構造であり、
vi.モニタリングマークはサンプルの内部にあり、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
もう一つの構成は閉構成であり、開構成でサンプルが堆積された後に構成され、力領域に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
2つのプレートを閉構成に到達させるときに力を用いた後に、モニタリングマークを画像化して、(i)2つのプレートが意図する閉構成に到達した結果、サンプル厚さがほぼ所定の厚さに調整されたか否かを判定し、及び/または(ii)サンプルが要望どおりに装着されたか否かを判定する。
【0219】
いくつかの実施形態では、モニタリングマークの画像を用いて、2つのプレートが意図する閉構成(サンプルがほぼ所定の厚さの厚さを有するように調整される)に到達したか否かを判定する。
【0220】
いくつかの実施形態では、モニタリングマークの画像を用いて、サンプルが要望どおりに装着されたか否かを判定する。
【0221】
いくつかの実施形態では、モニタリングマークを画像化して、2つのプレートが意図する閉構成(サンプル厚さが所定の厚さに調整される)に到達したか否かを判定し、サンプルが要望どおりに装着されたか否かを判定する。
【0222】
いくつかの実施形態では、スペーサはモニタリングマークとして機能する。
【0223】
いくつかの実施形態では、システムには、デバイスと、コンピューテーショナルデバイスと、命令を有する非一時的コンピュータ可読媒体と、が含まれている。命令は、実行されると、アッセイングにおいて決定プロセスを実行する。
【0224】
いくつかの実施形態では、命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、薄いサンプル層とともにモニタリングマークの1つ以上の画像を用いて、(i)2つのプレートが意図する閉構成に到達した結果、サンプル厚さがほぼ所定の厚さに調整されたか否か、または(ii)サンプルが要望どおりに装着されたか否かを判定することを含む方法を実施する。
【0225】
いくつかの実施形態では、システムは、命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、本開示の任意の方法を実施する非一時的コンピュータ可読媒体を含んでいる。
【0226】
W−1.モニタリングマークを用いてデバイスの動作状態をモニタするための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを含み、モニタリングマークはサンプル接触領域内にある、取得することと、
(b)画像化装置を取得することと、
(c)(a)のデバイスのサンプル接触領域内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことと、
(e)モニタリングマークの画像を用いて、(i)2つのプレートが意図する閉構成に到達した結果、サンプル厚さがほぼ所定の厚さに調整されたか否か、または(ii)サンプルが要望どおりに装着されたか否かを判定することと、を含む方法。
【0227】
いくつかの実施形態では、モニタリングマークの画像を用いて、2つのプレートが意図する閉構成(サンプルがほぼ所定の厚さの厚さを有するように調整される)に到達したか否かを判定する。
【0228】
いくつかの実施形態では、モニタリングマークの画像を用いて、サンプルが要望どおりに装着されたか否かを判定する。
【0229】
いくつかの実施形態では、モニタリングマークを画像化して、2つのプレートが意図する閉構成(サンプル厚さが所定の厚さに調整される)に到達したか否かを判定し、サンプルが要望どおりに装着されたか否かを判定する。
【0230】
いくつかの実施形態では、システムは、デバイスと、コンピューテーショナルデバイスと、命令を有する非一時的コンピュータ可読媒体とを含み、命令は、実行されると、決定を実行する。
【0231】
対象面積を選択して及び/または欠陥画像面積を取り除く
いくつかの実施形態では、サンプルには欠陥があり、アッセイに対する欠陥の影響を取り除く方法には、画像内の欠陥を特定すること、欠陥画像面積を取り込むかまたは欠陥によって生じた画像がない良好な画像面積を選択することが含まれる。
【0232】
いくつかの実施形態では、画像から取り除く面積は欠陥画像面積の面積よりも大きい。
【0233】
いくつかの実施形態では、対象物体(たとえば細胞)が単層を形成する(すなわちサンプル層に垂直な方向において物体間の著しい重なりがない)ように、サンプルの厚さは薄い厚さに構成されている。
【0234】
画像化装置を用いてQMAXカードの製造品質を決定するための方法であって、(f)任意の先行する実施形態のデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを含み、モニタリングマークはサンプル接触領域内にある、取得することと、
(g)画像化装置を取得することと、
(h)(a)のデバイスのサンプル接触領域内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
(i)画像化装置を用いて、薄いサンプル層の1つ以上の画像を取ることと、
(j)モニタリングマークの画像を用いてQMAXカードの製造品質を決定することと、を含む方法。
【0235】
画像化装置を用いてQMAXカードの製造品質を決定するための方法であって、(a)任意の先行する実施形態のデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを含み、モニタリングマークはサンプル接触領域内にある、取得することと、
(b)画像化装置を取得することと、
(c)(a)のデバイスのサンプル接触領域内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取ることと、
(e)モニタリングマークの画像を用いてQMAXカードの製造品質を決定することと、を含む方法。
【0236】
製造品質を決定することには、1つ以上のモニタリングマークの特性(たとえば、長さ、幅、ピッチ、ウェビング)を測定することと、測定した特性を基準値と比較してQMAXカードの製造品質を決定することと、が含まれる任意の先行する実施形態の方法。
【0237】
製造品質を決定することには、1つ以上の第1のモニタリングマークの第1の特性(たとえば、量、長さ、幅、ピッチ、ウェビング)を測定することと、測定した第1の特性を1つ以上の第2のモニタリングマークの第2の特性(たとえば、数、長さ、幅、ピッチ、ウェビング)と比較するQMAXカードの製造品質を決定することと、が含まれる任意の先行する実施形態の方法。
【0238】
決定することは、任意の先行する実施形態のデバイスを用いてサンプルを分析している間に行う任意の先行する実施形態の方法。
【0239】
本発明の別の態様は、モニタマークがサンプル保持デバイス内(たとえば、QMAXデバイス内)で周期パターンを有するようにして、画像化装置が取り込んだサンプルの画像内で特定のピッチで周期的に生じるようにする。この周期的な特性に基づいて、モニタマーク検出は非常に信頼性の高いものになる可能性がある。なぜならば、すべてのモニタマークをほんの少数の検出されたものから特定して得ることができるからであり、なぜなら、それらは、事前に指定された構成で周期的に位置し、またこのような構成はナノ加工技術(たとえば、ナノインプリント)を用いて正確に形成することができるからである。そのことから、サンプル画像ベースのTLD推定及び画像面積ベースのTLD推定は両方とも、モニタマークの周期パターンにより、より正確で堅固なものとなる可能性がある。
【0240】
いくつかの例
単一プレート
AA−1.1画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
x.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能である、エッジを有し、
xi.少なくとも1つの横直線寸法が300um以下の微細構造であり、
xii.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
【0241】
AA−1.2画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
i.固相表面からの突起物または溝を含み、
ii.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能であり、エッジを有し、iii.少なくとも1つの横直線寸法が300um以下の微細構造であり、
iv.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
【0242】
一定間隔の2つのプレート
AA−2.1画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、及び1つ以上のモニタリングマークを含み、
xviii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触領域を含む内面を含み、
xix.サンプルの少なくとも一部は、第1及び第2のプレートによって、200um以下の実質的に一定の厚さの薄層内に制限され、
xx.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
xxiモニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
xxii.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
【0243】
2つの移動可能なプレート
AA−3.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
vii.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
viii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触領域を含む内面を含み、
ix.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
x.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
xi.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
xii.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化され、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力領域に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
【0244】
B.微視的マークを有するサンプルホルダを用いた画像取り込み改善
BB−1.サンプル中の微小特徴の画像取り込みを改善するための装置であって、
(c)いずれかの先行するデバイス実施形態のデバイスと、
(d)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、を含み、
画像化装置は画像を取り込み、少なくとも1つの画像はサンプルの一部及びモニタリングの両方を含む、装置。
【0245】
CB−2.サンプル中の微小特徴の画像取り込みを改善するためのシステムであって、(d)いずれかの先行するデバイス実施形態のデバイスと、
(e)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、
(f)マークをパラメータとして用いるとともに、次の画像に対する画像化装置の設定を調整する画像化処理方法を用いるアルゴリズムと、を含むシステム。
【0246】
C.微視的マークを有するサンプルホルダを用いた画像化解析
CC−1.サンプル中の微小特徴の画像の解析を改善するための装置であって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)マークと、微小特徴を含むかまたは含むと疑われるサンプルとの画像を受け取る際に用いられるコンピューテーションデバイスと、を含み、
コンピューテーションデバイスは、マークをパラメータとして用いるとともに画像の画質を向上させる画像化処理方法を用いるアルゴリズムを実行する、装置。
【0247】
CC−2.サンプル中の微小特徴の画像の解析を改善するためのシステムであって、(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むかまたは含むと疑われるサンプルをサンプル及びマークの1つまたは複数の画像を取り込むことによってアッセイする際に用いられる画像化装置と、
(c)マークをパラメータとして用いるとともに(c)で取り込んだ少なくとも1つの画像の画質を向上させる画像化処理方法を用いるアルゴリズムと、を含むシステム。
【0248】
CC−3.サンプル中の微小特徴をアッセイするためのコンピュータプログラム製品であって、プログラムには、少なくとも1つの画像において、
(a)サンプル及びモニタリングマーク(複数可)の画像を受け取ることであって、サンプルはいずれかの先行するデバイス請求項のデバイス内に装着され、画像は画像化装置が取り込む、受け取ることと、
(b)画像を処理及び解析して微小特徴の量を計算することであって、解析では、機械学習とモニタリングマーク(複数可)の画像によって得られる情報とに基づく検出モデルを用いる、計算することと、に適用及び適応されるコンピュータプログラムコード手段が含まれる、コンピュータプログラム製品。
【0249】
CC−4.サンプル中の微小特徴をアッセイするためのコンピューティングデバイスであって、本発明の実施形態のいずれかでアルゴリズムを動作させるコンピューティングデバイスが含まれるコンピューテーションデバイス。
【0250】
CC−5.画質の改善には、ノイズ除去、画像正規化、画像シャープニング、画像スケーリング、位置合わせ(たとえば、顔検出用)、超解像度、ボケ修正、及びそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0251】
CC−6.画像化処理方法には、ヒストグラムベースの演算、数学ベースの演算、畳み込みベースの演算、平滑化演算、微分ベースの演算、形態ベースの演算、シェーディング補正、画像向上及び/または復元、セグメンテーション、特徴抽出及び/またはマッチング、物体検出及び/または分類及び/または場所特定、画像理解、ならびにそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0252】
CC−6.1.ヒストグラムベースの演算には、コントラストストレッチング、均等化、最小値フィルタリング、中央値フィルタリング、最大値フィルタリング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0253】
CC−6.2.数学ベースの演算には、二値演算(たとえば、NOT、OR、AND、XOR、及びSUB)、算術ベースの演算(たとえば、ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、及びINVERT)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0254】
CC−6.3.畳み込みベースの演算には、空間ドメインでの演算、フーリエ変換、DCT、整数変換、周波数ドメインでの演算、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0255】
CC−6.4.平滑化演算には、線形フィルタ、均一フィルタ、三角フィルタ、ガウシアンフィルタ、非線形フィルタ、中間フィルタ、桑原フィルタ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0256】
CC−6.5.微分ベースの演算には、一次微分演算、勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、二次微分フィルタ、基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタ、三次微分フィルタ、より高次数の微分フィルタ(たとえば、三次微分フィルタよりも高次数)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0257】
CC−6.6.形態ベースの演算には、拡張、腐食、ブール型畳み込み、開及び/または閉、ヒットアンドミス演算、輪郭、スケルトン、伝搬、グレー値形態処理、グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖、形態学的平滑化、形態学的勾配、形態学的ラプラシアン、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0258】
CC−6.7.画像向上及び/または復元には、シャープニング、アンシャープニング、ノイズ抑制、歪み抑制、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0259】
CC−6.8.セグメンテーションには、閾値化、固定閾値化、ヒストグラム由来の閾値化、ISOデータアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、エッジ発見、勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順、二値数学的形態、ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、グレー値数学形態、トップハット変換、閾値化、局所的コントラストストレッチング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0260】
CC−6.9.特徴抽出及び/またはマッチングには、独立成分分析、ISOマップ、カーネル主成分分析、潜在意味解析、部分的最小二乗、主成分分析、多因子次元削減、非線形次元削減、多重線形主成分分析、多重線形部分空間学習、半定値埋め込み、オートエンコーダ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0261】
A.微視的マークを有するサンプルホルダ
単一プレート
AA−1.1画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
xiii.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
xiv.少なくとも1つの横直線寸法が300um以下の微細構造であり、
xv.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
【0262】
AA−1.2.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
v.固相表面からの突起物または溝を含み、
vi.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
vii.少なくとも1つの横直線寸法が300um以下の微細構造であり、
viii.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
【0263】
一定間隔の2つのプレート
AA−2.1.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、及び1つ以上のモニタリングマークを含み、
xxiii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触領域を含む内面を含み、
xxiv.サンプルの少なくとも一部は、第1及び第2のプレートによって、200um以下の実質的に一定の厚さの薄層内に制限され、
xxv.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
xxviモニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
xxvii.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
【0264】
2つの移動可能なプレート
AA−3.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
xiii第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
xiv.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触領域を含む内面を含み、
xv.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
xvi.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
xvii.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
xviii.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化され、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力領域に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
【0265】
B.微視的マークを有するサンプルホルダを用いた画像取り込み改善
BB−1.サンプル中の微小特徴の画像取り込みを改善するための装置であって、
(e)いずれかの先行するデバイス実施形態のデバイスと、
(f)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、を含み、
画像化装置は画像を取り込み、少なくとも1つの画像はサンプルの一部及びモニタリングの両方を含む、装置。
【0266】
CB−2.サンプル中の微小特徴の画像取り込みを改善するためのシステムであって、
(g)いずれかの先行するデバイス実施形態のデバイスと、
(h)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、
(i)命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、マークをパラメータとして用いるとともに、次の画像に対する画像化装置の設定を調整する画像化処理方法を用いる、非一時的コンピュータ可読媒体と、を含むシステム。
【0267】
C.微視的マークを有するサンプルホルダを用いた画像化解析
CC−1.サンプル中の微小特徴の画像の解析を改善するための装置であって、
(c)いずれかの先行するデバイス実施形態のデバイスと、
(d)マークと、微小特徴を含むかまたは含むと疑われるサンプルとの画像を受け取る際に用いられるコンピューテーションデバイスと、を含み、
コンピューテーションデバイスは、マークをパラメータとして用いるとともに画像の画質を向上させる画像化処理方法を用いるアルゴリズムを実行する、装置。
【0268】
CC−2.サンプル中の微小特徴の画像の解析を改善するためのシステムであって、(d)いずれかの先行するデバイス実施形態のデバイスと、
(e)微小特徴を含むかまたは含むと疑われるサンプルをサンプル及びマークの1つまたは複数の画像を取り込むことによってアッセイする際に用いられる画像化装置と、
(f)命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、マークをパラメータとして用いるとともに、(c)で取り込んだ少なくとも1つの画像の画質を向上させる画像化処理方法を用いる、非一時的コンピュータ可読媒体と、を含む、システム。
【0269】
CC−3.サンプル中の微小特徴をアッセイするためのコンピュータプログラム製品であって、プログラムには、少なくとも1つの画像において、
(a)サンプル及びモニタリングマーク(複数可)の画像を受け取ることであって、サンプルはいずれかの先行するデバイス請求項のデバイス内に装着され、画像は画像化装置が取り込む、受け取ることと、
(b)画像を処理及び解析して微小特徴の量を計算することであって、解析では、機械学習とモニタリングマーク(複数可)の画像によって得られる情報とに基づく検出モデルを用いる、計算することと、に適用及び適応されるコンピュータプログラムコード手段が含まれる、コンピュータプログラム製品。
【0270】
CC−4.サンプル中の微小特徴をアッセイするためのコンピューティングデバイスであって、本発明の実施形態のいずれかでアルゴリズムを動作させるコンピューティングデバイスが含まれるコンピューテーションデバイス。
【0271】
CC−5.画質の改善には、ノイズ除去、画像正規化、画像シャープニング、画像スケーリング、位置合わせ(たとえば、顔検出用)、超解像度、ボケ修正、及びそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0272】
CC−6.画像化処理方法には、ヒストグラムベースの演算、数学ベースの演算、畳み込みベースの演算、平滑化演算、微分ベースの演算、形態ベースの演算、シェーディング補正、画像向上及び/または復元、セグメンテーション、特徴抽出及び/またはマッチング、物体検出及び/または分類及び/または場所特定、画像理解、ならびにそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0273】
CC−6.1.ヒストグラムベースの演算には、コントラストストレッチング、均等化、最小値フィルタリング、中央値フィルタリング、最大値フィルタリング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0274】
CC−6.2.数学ベースの演算には、二値演算(たとえば、NOT、OR、AND、XOR、及びSUB)、算術ベースの演算(たとえば、ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、及びINVERT)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0275】
CC−6.3.畳み込みベースの演算には、空間ドメインでの演算、フーリエ変換、DCT、整数変換、周波数ドメインでの演算、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0276】
CC−6.4.平滑化演算には、線形フィルタ、均一フィルタ、三角フィルタ、ガウシアンフィルタ、非線形フィルタ、中間フィルタ、桑原フィルタ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0277】
CC−6.5.微分ベースの演算には、一次微分演算、勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、二次微分フィルタ、基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタ、三次微分フィルタ、より高次数の微分フィルタ(たとえば、三次微分フィルタよりも高次数)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0278】
CC−6.6.形態ベースの演算には、拡張、腐食、ブール型畳み込み、開及び/または閉、ヒットアンドミス演算、輪郭、スケルトン、伝搬、グレー値形態処理、グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖、形態学的平滑化、形態学的勾配、形態学的ラプラシアン、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0279】
CC−6.7.画像向上及び/または復元には、シャープニング、アンシャープニング、ノイズ抑制、歪み抑制、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0280】
CC−6.8.セグメンテーションには、閾値化、固定閾値化、ヒストグラム由来の閾値化、ISOデータアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、エッジ発見、勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順、二値数学的形態、ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、グレー値数学形態、トップハット変換、閾値化、局所的コントラストストレッチング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0281】
CC−6.9.特徴抽出及び/またはマッチングには、独立成分分析、ISOマップ、カーネル主成分分析、潜在意味解析、部分的最小二乗、主成分分析、多因子次元削減、非線形次元削減、多重線形主成分分析、多重線形部分空間学習、半定値埋め込み、オートエンコーダ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0282】
T1.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)のデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(e)アルゴリズムを用いてサンプルの真の横寸法を決定することと、を含み、(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、方法。
【0283】
T2.各モニタリングマークは固相表面からの突起物または溝を含む任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0284】
T3.微細構造は鋭いエッジを有さない任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0285】
T4.サンプルは、生物学的サンプル、化学サンプル、及び鋭いエッジを有さないサンプルからなる群から選択される任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0286】
T5.(i)画像化を調整すること、(ii)サンプル画像を処理すること、(iii)微小特徴に関係する特性を決定こと、または(iv)それらの任意の組み合わせを行うアルゴリズム内で、モニタリングマークをパラメータとして用いるとともに画像化処理方法を用いる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0287】
T6.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有する任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0288】
AA.サンプルの薄層の画像化を改善するための方法及びデバイス
AA1.サンプルの薄層の画像化を改善するための方法であって、
(f)マーキングされたサンプルホルダを取得することであって、サンプルはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、
(g)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(h)(a)のデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(i)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(j)アルゴリズムを用いてサンプルの真の横寸法を決定することと、を含み、
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、方法。
【0289】
A−1
T1.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(k)任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、
(l)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的なコンピュータ可読媒体とを取得することと、
(m)(a)のデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(n)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(o)アルゴリズムを用いてサンプルの真の横寸法を決定することと、を含み、
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、方法。
【0290】
14.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
(a)微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のモニタリングマークであって、モニタリングマークは、
ix.サンプルからの異なる材料で形成され、
x.微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
xi.その横直線寸法が約1um(ミクロン)以上であり、
xii.少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、検体のアッセイ中に用いられる画像化装置によって画像化され、モニタリングマークの幾何学的パラメータ(たとえば形状及びサイズ)及び/またはモニタリングマーク間のピッチは、(a)予め決められて検体のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
【0291】
N8.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
1つ以上のモニタリングマークであって、各モニタリングマークは固相表面からの突起物または溝を含む1つ以上のモニタリングマークと、を含み、
xiii.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
xiv.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
xv.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
xvi.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
xvii.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
【0292】
N9.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
xix.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
xx.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
xxi.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
xxii.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
xxiii.モニタリングマークはサンプルからの異なる材料で形成され、
xxiv.モニタリングマークは微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
xxv.モニタリングマークは横直線寸法が約1um(ミクロン)以上であり、少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力領域に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
【0293】
N10.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
xxvi.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
xxvii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
xxviii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
xxix.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
xxx.各モニタリングマークは一方または両方のサンプル接触領域上に突起物または溝を含み、
xxxi.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
xxxii.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
xxxiii.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
xxxiv.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
xxxv.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力領域に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
【0294】
N12.少なくとも5つのモニタリングマークを有し、モニタリングマークのうち少なくとも3つは直線上で位置合わせされていないいずれかの先行するデバイス実施形態のデバイスを含む画像化ベースのアッセイ用のデバイス。
【0295】
N12.画像化装置を用いてサンプル中の微小特徴をアッセイするための装置であって、システムは、
(e)いずれかの先行するデバイス実施形態のデバイスと、
(f)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と、を含む装置。
【0296】
N14.画像化ベースのアッセイを行うためのシステムであって、
(d)いずれかの先行するデバイス実施形態のデバイスと、
(e)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と、
(f)命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されると、デバイスのモニタリングマークを用いて微小特徴に関係する特性を決定する、非一時的コンピュータ可読媒体と、を含むシステム。
【0297】
NN8.画像化装置を用いてサンプル中の微小特徴をアッセイするためのシステムであって、
(j)いずれかの先行するデバイス実施形態のデバイスと、
(k)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と、
(l)命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されると、デバイスのモニタリングマークを用いて微小特徴に関係する特性をアッセイし、命令には機械学習が含まれる、非一時的コンピュータ可読媒体と、を含むシステム。
【0298】
NN9.画像化装置を用いてサンプル中の微小特徴をアッセイするための方法であって、
(d)任意の先行する実施形態のデバイス、装置、またはシステムを取得することと、
(e)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触領域上にサンプルを堆積させることであって、サンプルには微小特徴が含まれる、堆積させることと、
(f)微小特徴をアッセイすることと、を含む方法。
【0299】
140.画像化装置を用いてサンプル中の微小特徴をアッセイするための方法であって、
(d)任意の先行する実施形態のデバイス、装置、またはシステムを取得することと、
(e)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触領域上にサンプルを堆積させることであって、サンプルには微小特徴が含まれる、堆積させることと、
(f)微小特徴をアッセイすることであって、アッセイングには機械学習を用いるステップが含まれる、アッセイすることと、を含む方法。
【0300】
T1.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(p)任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、(q)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(r)(a)のデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(s)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(t)アルゴリズムを用いてサンプルの真の横寸法を決定することと、を含み。
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、方法。
【0301】
T2.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、
(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)におけるデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(e)アルゴリズムを用いて、物理的評価基準(たとえばマイクロメートル)によって、画像化したサンプルの現実世界での真の横寸法及び座標を決定することと
を含み、
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、方法。
【0302】
T3.サンプルからの微小特徴とモニタリングマークとはサンプル保持デバイス内に配置されている任意の先行する実施形態のデバイス、方法、またはシステム。
【0303】
T4.決定することには、画像化装置が取り込んだサンプルの画像内のモニタリングマークを検出して場所を特定することが含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
【0304】
T5.決定することには、画像化装置が取り込んだサンプルの画像から検出されたモニタリングマークに基づいてモニタリングマークグリッドを作成することが含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
【0305】
T6.決定することには、生成されたモニタリングマークグリッドからホモグラフィ変換を計算することが含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
【0306】
T7.決定することには、ホモグラフィ変換からTLDを推定することと、画像ベースのアッセイにおいて検出された微小特徴の面積、サイズ、及び濃度を決定することと、が含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
【0307】
T8.TLD推定は画像化装置が取り込んだサンプル画像内の領域に基づいており、
(a)サンプルを取得することと、
(b)サンプルを、サンプル保持デバイス(たとえば、QMAXデバイス)内に装着することであって、モニタリングマークが存在し、モニタリングマークは、サンプル中に浸漬しておらず、画像ベースのアッセイにおいて画像化装置が上方から画像化することができるデバイス内に存在する、装着することと、
(c)微小特徴とモニタリングマークとを含むサンプル装着デバイス内のサンプルの画像を取り込むことと、
(d)画像化装置が取り込んだサンプル画像内のモニタリングマークを検出することと、
(e)サンプル画像を非重複領域に分割することと、
(f)局所領域で検出された4つを超える非共線のモニタリングマークを用いて、領域ベースのマークグリッドを各非重複領域に対して作成することと、
(g)画像化装置が取り込んだサンプル画像から検出されたモニタリングマークに基づいて、(f)にない他のすべての領域に対してマークグリッドを作成することと、(h)(f)の各領域に対して領域特定のホモグラフィ変換を、(f)から作成したその独自の領域ベースのマークグリッドに基づいて計算することと、
(i)(g)で作成したマークグリッドに基づいて、(f)にない他のすべての領域に対してホモグラフィ変換を計算することと、
(j)(g)の領域ベースのホモグラフィ変換に基づいて、(f)の各領域に対して領域ベースのTLDを推定することと、
(k)(i)のホモグラフィ変換に基づいて、(f)にない他の領域に対してTLDを推定することと、
(l)(j)及び(k)からの推定TLDを適用して、画像ベースのアッセイにおいて各画像分割における画像化された微小特徴の面積及び濃度を決定することと、を含む任意の先行する実施形態の方法、デバイス、またはシステム。
【0308】
T9.サンプル保持デバイス内のモニタリングマークは、規定されたピッチ周期を伴う周期パターンに従って分布している任意の先行する実施形態の方法、デバイス、またはシステム。
【0309】
T10.前記モニタリングマークを検出して、較正及び画像ベースのアッセイにおける測定精度の向上のための検出可能アンカーとして適用する任意の先行する実施形態の方法、デバイス、またはシステム。
【0310】
T12.画像化装置が取り込んだサンプル画像内のモニタリングマークの検出では、エラー補正及び/または検出の信頼性用のサンプル保持デバイス内でのモニタリングマーク分布の周期性を用いる任意の先行する実施形態の方法、デバイス、またはシステム。
【0311】
T12.画像ベースのアッセイにおける前記モニタリングマークの検出、特定、面積及び/または形状輪郭の推定は、機械学習(ML)を通して、MLベースのモニタリングマーク検出モデルと、画像ベースのアッセイにおいて前記デバイス上で画像化装置が取り込んだ画像から構築またはトレーニングされた装置とを用いて行う任意の先行する実施形態の方法、デバイス、またはシステム。
【0312】
T14.画像ベースのアッセイにおける前記モニタリングマークの検出、特定、面積及び/または形状輪郭の推定は、画像処理、または機械学習と結合した画像処理を通して行う任意の先行する実施形態の方法、デバイス、またはシステム。
【0313】
T14.検出したモニタリングマークを画像ベースのアッセイにおけるTLD推定に適用して、システムを較正し及び/または画像化ベースのアッセイにおける測定精度を向上させる任意の先行する実施形態の方法、デバイス、またはシステム。
【0314】
T15.検出したモニタリングマークを画像ベースのアッセイにおける微小特徴サイズ、体積及び/または濃度の推定(これらに限定されない)に適用して、システムを較正し及び/または測定精度を向上させる任意の先行する実施形態の方法、デバイス、またはシステム。
【0315】
T16.モニタリングマークの検出及び/またはTLD推定を画像ベースのアッセイにおける故障検出(サンプル保持デバイス内の欠陥、画像化装置内でのサンプル保持デバイスの置き違い、及び/または画像化装置のフォーカシング故障の検出が挙げられるが、これらに限定されない)に適用する任意の先行する実施形態の方法、デバイス、またはシステム。
【0316】
T17.前記モニタリングマークを、画像ベースのアッセイにおいて物体の面積を推定するシステムにおいて適用するアンカーとして検出し、
i.サンプルを、画像ベースのアッセイにおいて前記デバイス内にモニタリングマークが存在するサンプル保持デバイスに装着することと、
ii.微小特徴とモニタリングマークとを含むサンプル保持デバイス内のサンプルの画像を取り込むことと、
iii.サンプル保持デバイス上で画像化装置が取り込んだサンプル画像内のモニタリングマークを検出して、画像ベースのアッセイにおいてTLDを決定して面積推定値を計算し、画像化した物体のサイズを画像内の画素から決定し、現実世界でのマイクロメートルでのその物理的寸法を決定する任意の先行する実施形態の方法、デバイス、またはシステム。
【0317】
T18.システムには、
i.デジタル画像内のモニタリングマークを検出することと、
ii.モニタリングマークグリッドを作成することと、
iii.モニタリングマークグリッドに基づいて画像変換を計算することと、
iv.画像ベースのアッセイにおいてサンプル画像内の物体の面積と現実世界でのその物理的寸法とを推定することと、を含む任意の先行する実施形態の方法、デバイス、またはシステム。
【0318】
T19.検出したモニタリングマークから作成したモニタリングマークグリッドを用いてホモグラフィ変換を計算して、TLD、画像化装置が取り込んだサンプル画像内での物体の面積、及び現実世界での物体の物理的寸法を推定する任意の先行する実施形態の方法、デバイス、またはシステム。
【0319】
T20.方法には、
i.画像ベースのアッセイにおいて画像化装置が取り込んだサンプル画像を非重複領域に分割することと、
ii.画像内の局所的なモニタリングマークを検出することと、
iii.領域内で5つを超える非共線のモニタリングマークが検出された場合にその領域に対する領域ベースのマークグリッドを作成することと、
iv.画像化装置が取り込んだサンプル画像内で検出されたモニタリングマークに基づいて、他のすべての領域に対するマークグリッドを作成することと、
v.(iii)の各領域に対して、作成した領域ベースのマークグリッドから領域ベースのホモグラフィ変換を計算することと、
vi.(iv)で作成したマークグリッドに基づいて、(iii)にない他のすべての領域に対してホモグラフィ変換を計算することと、
vii.(v)及び(vi)から生成したホモグラフィ変換に基づいて、各領域に対してTLDを推定し、画像ベースのアッセイにおいて各領域におけるサンプルの画像内での物体の面積と現実世界でのそのサイズとを決定することと、が含まれる任意の先行する実施形態の方法、デバイス、またはシステム。
【0320】
T21.アッセイは医療、診断、化学的または生物学的試験である任意の先行する実施形態の方法、デバイス、またはシステム。
【0321】
T22.前記微小特徴は細胞である任意の先行する実施形態の方法、デバイス、またはシステム。
【0322】
T23.前記微小特徴は血球である任意の先行する実施形態の方法、デバイス、またはシステム。
【0323】
T24.前記微小特徴はタンパク質、ペプチド、DNA、RNA、核酸、小分子、細胞、またはナノ粒子である任意の先行する実施形態の方法、デバイス、またはシステム。
【0324】
T25.前記微小特徴には標識が含まれる任意の先行する実施形態の方法、デバイス、またはシステム。
【0325】
T26.前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
(a)サンプル画像を受け取ることであって、サンプルはQMAXデバイス内に装着され、画像はQMAXデバイスに接続された画像化装置が取り込み、画像にはサンプル及びモニタリングマークの両方が含まれる、受け取ることと、
(b)検出モデルを用いて画像を解析して画像の2Dデータアレイを作成することであって、2Dデータアレイには画像内の各場所に対する微小特徴の確率データが含まれ、検出モデルはトレーニングプロセスを通して設定され、トレーニングプロセスには、
i.注釈付きデータセットを畳み込みニューラルネットワークに供給することであって、注釈付きデータセットは、テストサンプルと同じタイプのサンプルからであり、同じ微小特徴に対するものである、供給することと、
ii.畳み込みによって検出モデルをトレーニングして設定することと、が含まれる、作成することと、
(c)2Dデータアレイを解析して、局所的な信号ピークを、
i.信号リストプロセス、または
ii.局所的な検索プロセス、を用いて検出することと、
(d)局所的な信号ピーク情報に基づいて微小特徴の量を計算することと、に適応される任意の先行する実施形態の方法、デバイス、またはシステム。
【0326】
T27.前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
前記プログラムをコンピューティングデバイス上でまたはネットワーク接続によってコンピューティングクラウドにおいて実行したときに、
(a)サンプル中の物体とサンプル保持デバイス上で画像化装置が取り込んだサンプル画像内の前記物体の画素輪郭マップとの間の推論のパターンを表すことと、
(b)サンプル画像内の推論パターンから検出した少なくとも1つの物体の画像を数値的に再構成して、物体にフォーカスが合っている場合に推論モジュールによって特定された物体を囲む輪郭マスクを作成することと、
(c)サンプル画像の少なくとも1つの部分を、サンプル画像の選択部分における少なくとも1つの物体に対して特定することと、
(d)、前記少なくとも1つの部分から物体の少なくとも1つの特徴を計算して、画像化装置が取り込んだサンプル画像の選択部分における物体を特定することと、(e)サンプル画像の選択部分から、選択部分における検出した物体のカウント及びその濃度を計算することと、に適用及び適応される任意の先行する実施形態の方法、デバイス、またはシステム。
【0327】
T28.前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
(a)サンプル画像を受け取ることであって、サンプルはQMAXデバイス内に装着され、画像はQMAXデバイスに接続された画像化装置が取り込み、画像にはサンプル及びモニタリングマークの両方が含まれる、受け取ることと、
(b)画像を解析して微小特徴の量を計算することであって、解析では機械学習とモニタリングマークの画像によって得られる情報とに基づく検出モデルを用いる、計算することと、に適応される任意の先行する実施形態の方法、デバイス、またはシステム。
【0328】
任意の先行する実施形態のコンピュータプログラムを含むコンピュータ可読記憶媒体またはメモリ記憶ユニットをさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
【0329】
任意の先行する実施形態の計算デバイスを含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
【0330】
任意の先行する実施形態のコンピュータプログラム製品を含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
【0331】
任意の先行する実施形態のコンピュータ可読記憶媒体または記憶ユニットを含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
【0332】
サンプルを分析するためのデバイスであって、
第1のプレート、第2のプレート、表面増幅層、及び捕捉剤を含み、
(a)第1及び第2のプレートは、互いに対して移動して異なる構成になることができ、その対応する表面上に、標的検体を含むサンプルに接触するためのサンプル接触領域を有し、
(b)表面増幅層はサンプル接触領域の1つ上にあり、
(c)捕捉剤は表面増幅層上に固定化され、捕捉剤は標的検体に特異的に結合し、表面増幅層は標的検体または標的検体に取り付けられた標識からの光信号を、それらが表面増幅層の付近にあるときに、それらがミクロン以上離れているときよりもはるかに大きく増幅し、
構成の1つは開構成であり、2つのプレートの内面間の平均間隔は少なくとも200umであり、
構成のもう一つは閉構成であり、サンプルの少なくとも一部は2つのプレート間にあり、プレートの内面間の平均間隔は200um未満である、デバイス。
【0333】
サンプルを分析するためのデバイスであって、
第1のプレート、第2のプレート、表面増幅層、及び捕捉剤を含み、
(d)第1及び第2のプレートは、互いに対して移動して異なる構成になることができ、その対応する表面上に、標的検体を含むサンプルに接触するためのサンプル接触領域を有し、
(e)表面増幅層はサンプル接触領域の1つ上にあり、
(f)捕捉剤は表面増幅層上に固定化され、捕捉剤は標的検体に特異的に結合し、
表面増幅層は標的検体に取り付けられた標識からの光信号を、それが表面増幅層の付近にあるときに、それがミクロン以上離れているときよりもはるかに大きく増幅し、構成の1つは開構成であり、2つのプレートの内面間の平均間隔は少なくとも200umであり、
構成のもう一つは閉構成であり、サンプルの少なくとも一部は2つのプレート間にあり、プレートの内面間の平均間隔は200um未満であり、
閉構成におけるサンプルの厚さ、閉構成においてサンプルに溶解した標識の濃度、及び表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された任意の標識が閉構成において未結合標識を洗い流すことなく見えるように、構成されている、デバイス。
【0334】
任意の先行する実施形態のデバイスとデバイスを読み取るための読取機とを含む装置。
【0335】
任意の先行する実施形態のデバイスを用いる均一アッセイ法であって、閉構成におけるサンプルの厚さ、標識の濃度、及び増幅表面の増幅率は、増幅表面上に結合された標識(複数可)を、未結合標識を洗い流すことなく見えるように構成されている、均一アッセイ法。
【0336】
方法を、
任意の先行する実施形態のいずれかのデバイスを取得することと、
プレートが開構成にあるときにサンプルを一方または両方のプレート上に堆積させることと、
プレートを閉じて閉構成にすることと、
サンプル接触領域を読み取りデバイスを用いて読み取って信号の画像を形成することと、によって行う任意の先行する実施形態の方法。
【0337】
増幅表面に結合された標識は60秒未満で見える任意の先行する実施形態のデバイスまたは方法。
【0338】
方法は、任意の生物学的材料または増幅表面に結合された標識を洗浄ステップを用いて取り除くことなく信号を読み取る均一アッセイである任意の先行する実施形態のデバイスまたは方法。
【0339】
増幅表面に結合された標識を画素化された読み取り方法によって読み取る任意の先行する実施形態のデバイスまたは方法。
【0340】
増幅表面に結合された標識を一括の読み取り方法によって読み取る任意の先行する実施形態のデバイスまたは方法。
【0341】
アッセイは検出感度が0.1nM以下である任意の先行する実施形態のデバイスまたは方法。
【0342】
方法生物学的材料または増幅表面に結合された標識は読み取り前にスポンジによって取り除かれる任意の先行する実施形態のデバイスまたは方法。
【0343】
信号増幅層にはD2PAが含まれる任意の先行する実施形態のデバイスまたは方法。
【0344】
信号増幅層には金属材料層が含まれる任意の先行する実施形態のデバイスまたは方法。
【0345】
信号増幅層には、金、銀、銅、アルミニウム、それらの合金、及びそれらの組み合わせからなる群から選択される材料で形成される連続的な金属膜が含まれる任意の先行する実施形態のデバイスまたは方法。
【0346】
異なる金属の層は、光信号を高めるために局所的に高めるかもしくは反射体として働くかまたは両方を行って任意の先行する実施形態のデバイスまたは方法。
【0347】
信号増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にある任意の先行する実施形態のデバイスまたは方法。
【0348】
金属材料層は均一な金属層、ナノ構造の金属層、または組み合わせである任意の先行する実施形態のデバイスまたは方法。
【0349】
プラズモン増強によって信号を増幅する任意の先行する実施形態のデバイスまたは方法。
【0350】
アッセイには標識をラマン散乱によって検出することが含まれる任意の先行する実施形態のデバイスまたは方法。
【0351】
捕捉剤は抗体である任意の先行する実施形態のデバイスまたは方法。
【0352】
捕捉剤はポリヌクレオチドである任意の先行する実施形態のデバイスまたは方法。
【0353】
デバイスにはさらに、プレートの1つ上に固定されたスペーサが含まれ、スペーサは閉構成における第1のプレートと第2のプレートとの間の間隔を調整する任意の先行する実施形態のデバイスまたは方法。
【0354】
表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された単一標識からの光信号が見えるように調整される任意の先行する実施形態のデバイスまたは方法。
【0355】
表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された単一標識からの光信号が見えるように調整され、捕捉剤に結合された見える単一標識は別個にカウントされる任意の先行する実施形態のデバイスまたは方法。
【0356】
閉構成における第1のプレートと第2のプレートとの間の間隔は、捕捉剤に対する標的検体の飽和結合時間が300秒以下になるように構成されている任意の先行する実施形態のデバイスまたは方法。
【0357】
閉構成における第1のプレートと第2のプレートとの間の間隔は、捕捉剤に対する標的検体の飽和結合時間が60秒以下になるように構成されている任意の先行する実施形態のデバイスまたは方法。
【0358】
表面増幅層の増幅率は、単一標識からの光信号が見えるように調整される任意の先行する実施形態のデバイスまたは方法。
【0359】
捕捉剤は核酸である任意の先行する実施形態のデバイスまたは方法。
【0360】
捕捉剤はタンパク質である任意の先行する実施形態のデバイスまたは方法。
【0361】
捕捉剤は抗体である任意の先行する実施形態のデバイスまたは方法。
【0362】
第2のプレートのサンプル接触領域は試薬保存部位を有し、保存部位は閉構成における第1のプレート上の結合部位のほぼ上方にある任意の先行する実施形態のデバイスまたは方法。
【0363】
試薬保存部位には標的検体に結合する検出剤が含まれる任意の先行する実施形態のデバイスまたは方法。
【0364】
検出剤には標識が含まれる任意の先行する実施形態のデバイスまたは方法。
【0365】
捕捉剤及び検出剤の両方が標的検体に結合して、標識を含むサンドイッチを形成する任意の先行する実施形態のデバイスまたは方法。
【0366】
信号増幅層には金属材料層が含まれる任意の先行する実施形態のデバイスまたは方法。
【0367】
信号増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にある任意の先行する実施形態のデバイスまたは方法。
【0368】
金属材料層は均一な金属層、ナノ構造の金属層、または組み合わせである任意の先行する実施形態のデバイスまたは方法。
【0369】
増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にあり、誘電体材料層は厚さが0.5nm、1nm、5nm、10nm、20nm、50nm、00nm、200nm、500nm、1000nm、2um、3um、5um、10um、20um、30um、50um、100um、200um、500um、またはいずれか2つの値の範囲内である任意の先行する実施形態のデバイスまたは方法。
【0370】
方法にはさらに、画像の面積内の信号を定量化してサンプル中の1つ以上の検体の量の推定値を得ることが含まれる任意の先行する実施形態のデバイスまたは方法。
【0371】
方法には、画像の面積における検体と捕捉剤との間の個々の結合事象を特定してカウントすることによって、サンプル中の1つ以上の検体の量の推定値を得ることが含まれる任意の先行する実施形態のデバイスまたは方法。
【0372】
特定してカウントするステップには、(1)バックグラウンド信号の局所的な強度を決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号強度を決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる任意の先行する実施形態のデバイスまたは方法。
【0373】
特定してカウントするステップには、(1)バックグラウンド信号の局所的なスペクトルを決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号スペクトルを決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる任意の先行する実施形態のデバイスまたは方法。
【0374】
特定してカウントするステップには、(1)バックグラウンド信号の局所的なラマンシグネチャを決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号ラマンシグネチャを決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる任意の先行する実施形態のデバイスまたは方法。
【0375】
特定してカウントするステップには、局所的な強度、スペクトル、及びラマンシグネチャのうちの1つ以上を決定することが含まれる任意の先行する実施形態のデバイスまたは方法。
【0376】
方法には、画像の面積における一括の信号を定量化することによって、サンプル中の1つ以上の検体の量を推定値を得ることが含まれる任意の先行する実施形態のデバイスまたは方法。
【0377】
第2のプレートのサンプル接触領域は試薬保存部位を有し、保存部位は、閉構成では、第1のプレート上の結合部位のほぼ上方にある任意の先行する実施形態のデバイスまたは方法。
【0378】
方法にはさらに、標的検体を検出剤によって標識化するステップが含まれる任意の先行する実施形態のデバイスまたは方法。
【0379】
検出剤には標識が含まれる任意の先行する実施形態のデバイスまたは方法。
【0380】
捕捉剤及び検出剤の両方が標的検体に結合してサンドイッチを形成する任意の先行する実施形態のデバイスまたは方法。
【0381】
方法にはさらに、読み取りデバイスによって画像化された面積におけるサンプルの体積を測定することが含まれる任意の先行する実施形態のデバイスまたは方法。
【0382】
標的検体はタンパク質、ペプチド、DNA、RNA、核酸、小分子、細胞、またはナノ粒子である任意の先行する実施形態のデバイスまたは方法。
【0383】
画像は信号の位置、局所的な強度、及び局所的なスペクトルを示す任意の先行する実施形態のデバイスまたは方法。
【0384】
信号は、蛍光、エレクトロルミネッセンス、化学発光、及び電気化学発光信号からなる群から選択される発光信号任意の先行する実施形態のデバイスまたは方法。
【0385】
信号はラマン散乱信号である任意の先行する実施形態のデバイスまたは方法。
【0386】
信号は、プレートと読み取りデバイスとの間の局所的な電気的、局所的な機械的、局所的な生物学的、または局所的な光学的相互作用に起因する力である任意の先行する実施形態のデバイスまたは方法。
【0387】
スペーサはピラー形状を有し、ほぼ均一な断面を有する任意の先行する実施形態の方法またはデバイス。
【0388】
スペーサ間距離(SD)は約120um(マイクロメートル)以下である任意の先行する実施形態の方法またはデバイス。
【0389】
スペーサ間距離(SD)は約100um(マイクロメートル)以下である任意の先行する実施形態の方法またはデバイス。
【0390】
スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD
4/(hE))が、5x10
6um
3/GPa以下である任意の先行する実施形態の方法またはデバイス。
【0391】
スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD
4/(hE))が、5x10
5um
3/GPa以下である任意の先行する実施形態の方法またはデバイス。
【0392】
スペーサは、ピラー形状、実質的に平坦な上面、所定の略均一な高さ、及び検体のサイズよりも少なくとも約2倍大きい所定の一定のスペーサ間距離を有し、スペーサのYoung率×スペーサの充填率は2MPa以上であり、充填率はスペーサ接触面積対全プレート面積の比であり、各スペーサに対して、スペーサの横寸法対その高さの比は少なくとも1(イチ)である任意の先行する実施形態の方法またはデバイス。
【0393】
スペーサは、ピラー形状、実質的に平坦な上面、所定の略均一な高さ、及び検体のサイズよりも少なくとも約2倍大きい所定の一定のスペーサ間距離を有し、スペーサのYoung率×スペーサの充填率は2MPa以上であり、充填率はスペーサ接触面積対全プレート面積の比であり、各スペーサに対して、スペーサの横寸法対その高さの比は少なくとも1(イチ)であり、スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD
4/(hE))が、5x10
6um
3/GPa以下である任意の先行する実施形態の方法またはデバイス。
【0394】
スペーサの間隔間距離対スペーサの平均幅の比は2以上であり、スペーサの充填率にスペーサのYoung率を乗じたものは2MPa以上である任意の先行する実施形態の方法またはデバイス。
【0395】
検体はタンパク質、ペプチド、核酸、合成化合物、または無機化合物である任意の先行する実施形態の方法またはデバイス。
【0396】
サンプルは、羊水、房水、硝子体液、血液(たとえば、全血、分画血液、血漿または血清)、母乳、脳脊髄液(CSF)、耳垢(耳糞)、乳糜、糜粥、内リンパ、外リンパ、糞便、呼気、胃酸、胃液、リンパ液、粘液(鼻漏及び痰を含む)、心膜液、腹水、胸膜液、膿、粘膜分泌物、唾液、呼気凝縮液、皮脂、精液、痰、汗、滑液、涙、嘔吐物、及び尿から選択された生物学的サンプルである任意の先行する実施形態の方法またはデバイス。
【0397】
スペーサはピラーの形状を有し、ピラーの幅対高さの比は1以上である任意の先行する実施形態の方法またはデバイス。
【0398】
プレートの一方または両方に堆積されるサンプルの体積は分かっていない任意の先行する実施形態の方法またはデバイス。
【0399】
スペーサはピラーの形状を有し、ピラーは略均一な断面を有する任意の先行する実施形態の方法またはデバイス。
【0400】
サンプルは、特定の病気のステージと相関する化合物または生体分子の検出、精製、及び定量化用である任意の先行する実施形態の方法またはデバイス。
【0401】
サンプルは、感染症及び寄生病、負傷、心血管疾患、癌、精神障害、神経精神障害、肺疾患、腎臓病、ならびに他及び器質性疾患に関係する任意の先行する実施形態の方法またはデバイス。
【0402】
サンプルは微生物の検出、精製、及び定量化に関係する任意の先行する実施形態の方法またはデバイス。
【0403】
サンプルは環境(たとえば、水、土壌、または生物学的サンプル)からのウィルス、菌類、及び細菌に関係する任意の先行する実施形態の方法またはデバイス。
【0404】
サンプルは、食品の安全または国の安全に危険を引き起こす化合物または生物学的サンプル(たとえば、有毒廃棄物、炭疽)の検出、定量化に関係する任意の先行する実施形態の方法またはデバイス。
【0405】
サンプルは、医療用または生理モニタにおけるバイタルパラメータの定量化に関係する任意の先行する実施形態の方法またはデバイス。
【0406】
サンプルはブドウ糖、血液、酸素レベル、全血球計算に関係する任意の先行する実施形態の方法またはデバイス。
【0407】
サンプルは、生物学的サンプルからの特異的DNAまたはRNAの検出及び定量化に関係する任意の先行する実施形態の方法またはデバイス。
【0408】
サンプルは、ゲノム解析用の染色体及びミトコンドリア内のDNAにおける遺伝子配列の配列決定及び比較に関係する任意の先行する実施形態の方法またはデバイス。
【0409】
サンプルは、たとえば医薬品の合成または精製中の反応生成物の検出に関係する任意の先行する実施形態の方法またはデバイス。
【0410】
サンプルは細胞、組織、体液、及び糞便である任意の先行する実施形態の方法またはデバイス。
【0411】
サンプルは、ヒト、獣医、農業、食品、環境、及び薬物検査の分野におけるサンプルである任意の先行する実施形態の方法またはデバイス。
【0412】
サンプルは、毛髪、指の爪、耳垢、呼気、結合組織、筋肉組織、神経組織、上皮組織、軟骨、癌サンプル、または骨から選択された生物学的サンプルである任意の先行する実施形態の方法またはデバイス。
【0413】
スペーサ間距離は5um〜120umの範囲である任意の先行する実施形態の方法またはデバイス。
【0414】
スペーサ間距離は120um〜200umの範囲である任意の先行する実施形態の方法またはデバイス。
【0415】
柔軟なプレートは厚さが20um〜250umの範囲であり、Young率が0.1〜5GPaの範囲である任意の先行する実施形態の方法またはデバイス。
【0416】
柔軟なプレートは、柔軟なプレートの厚さ×柔軟なプレートのYoung率が60〜750GPa−umの範囲である任意の先行する実施形態の方法またはデバイス。
【0417】
均一厚さのサンプルの層は少なくとも1mm
2の側面積上で均一である任意の先行する実施形態の方法またはデバイス。
【0418】
均一厚さのサンプルの層は少なくとも3mm
2の側面積上で均一である任意の先行する実施形態の方法またはデバイス。
【0419】
均一厚さのサンプルの層は少なくとも5mm
2の側面積上で均一である任意の先行する実施形態の方法またはデバイス。
【0420】
均一厚さのサンプルの層は少なくとも10mm
2の側面積上で均一である任意の先行する実施形態の方法またはデバイス。
【0421】
均一厚さのサンプルの層は少なくとも20mm
2の側面積上で均一である任意の先行する実施形態の方法またはデバイス。
【0422】
均一厚さのサンプルの層は20mm
2〜100mm
2の範囲の側面積上で均一である任意の先行する実施形態の方法またはデバイス。
【0423】
均一厚さのサンプルの層は、厚さ均一性が最大で+/−5%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
【0424】
均一厚さのサンプルの層は、厚さ均一性が最大で+/−10%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
【0425】
均一厚さのサンプルの層は、厚さ均一性が最大で+/−20%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
【0426】
均一厚さのサンプルの層は、厚さ均一性が最大で+/−30%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
【0427】
5つ以上のモニタリングマークを有し、モニタリングマークのうちの少なくとも3つは直線上にない任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0428】
各プレートには、その対応する外面上に、プレートを同時に強制する不正確な押圧を印加するための力領域が含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0429】
一方または両方のプレートが柔軟である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0430】
スペーサ間距離(IDS)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD4/(hE))が、5x106um3/GPa以下である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0431】
スペーサの少なくとも1つがサンプル接触領域の内部にある任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0432】
検体の脂肪仕様である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0433】
アルゴリズムの脂肪仕様である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0434】
手動による圧痕力及び押圧の脂肪仕様である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0435】
アルゴリズムは非一時的コンピュータ可読媒体上に記憶され、アルゴリズムには、実行されると、デバイスのモニタリングマークを用いて検体に対応する特性を決定する方法を実施する命令が含まれる任意の先行する実施形態のデバイス、システム、または方法。
【0436】
マークのいくつかの例
本発明では、いくつかの実施形態において、マークはスペーサと同じ形状を有する。
【0437】
いくつかの実施形態では、マークは周期的または非周期である。
【0438】
いくつかの実施形態では、2つのマーク間の距離は予め決められて分かっているが、プレート上の絶対座標は分かっていない。
【0439】
いくつかの実施形態では、マークの形状は予め決められて分かっている。
【0440】
いくつかの実施形態では、プレートの位置とは関係なく画像化光学系の視野内に常にマークがあるようなプレート内の分布を有するようにマークは構成されている。
【0441】
いくつかの実施形態では、マークのプレート内での分布は、プレートの位置とは関係なく画像化光学系の視野内に常にマークがあり、またマークの数が局所的な光学情報に対して十分であるように構成されている。
【0442】
いくつかの実施形態では、マークを用いてサンプルの局所領域の光学特性を制御し、領域サイズは1um^2、5um^2、10um^2、20um^2、50um^2、100um^2、200um^2、500um^2、1000um^2、2000um^2、5000um^2、10000um^2、100000um^2、500000um^2、またはいずれか2つの値の間の範囲である。
【0443】
「限定された画像化光学系」の使用
本発明では、いくつかの実施形態において、画像化アッセイに対する光学システはム「限定された画像化光学系」を有している。限定された画像化光学系のいくつかの実施形態には、限定することなく、以下が含まれる。
1.限定された画像化光学系システムであって、
結像レンズと、
画像化センサと、を含み、
画像化センサはスマートフォンのカメラの一部であり、
結像レンズの少なくとも1つはスマートフォンのカメラの一部である、限定された画像化光学系システム。
2.物理による光学解像度が、1um、2um、3um、5um、10um、50umよりも悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
3.物理による光学解像度が、1um、2um、3um、5um、10um、50umよりも悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
4.物理あたりの好ましい光学解像度は1um〜3umである任意の先行する実施形態の限定された画像化光学系システム。
5.開口数が0.1、0.15、0.2、0.2、0.25、0.3、0.35、0.4、0.45、0.5未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
6.好ましい開口数は0.2〜0.25である任意の先行する実施形態の限定された画像化光学系システム。
7.作動距離が0.2mm、0.5mm、1mm、2mm、5mm、10mm、20mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
8.作動距離が0.2mm、0.5mm、1mm、2mm、5mm、10mm、20mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
9.好ましい作動距離は0.5mm〜1mmである任意の先行する実施形態の限定された画像化光学系システム。
10.焦点深度が100nm、500nm、1um、2um、10um、100um、1mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
11.焦点深度が100nm、500nm、1um、2um、10um、100um、1mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
12.画像センサはスマートフォンカメラモジュールの一部である任意の先行する実施形態の限定された画像化光学系システム。
13.画像センサの対角長さは、1インチ、1/2インチ、1/3インチ、1/4インチ未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
14.結像レンズは少なくとも2つのレンズを含み、1つのレンズはスマートフォンのカメラモジュールの一部である任意の先行する実施形態の限定された画像化光学系システム。
15.少なくとも1つの外部レンズはスマートフォンの内部レンズと対になっている任意の先行する実施形態の限定された画像化光学系システム。
16.外部レンズの光軸はスマートフォンの内部レンズと位置合わせされており、位置合わせ許容範囲は、0.1mm、0.2mm、0.5mm、1mm未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
17.外部レンズの高さは、2mm、5mm、10mm、15mm、20m未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
18.外部レンズの好ましい高さは3mm〜8mmである任意の先行する実施形態の限定された画像化光学系システム。
19.外部レンズの好ましい高さは3mm〜8mmである任意の先行する実施形態の限定された画像化光学系システム。
20.外部レンズの直径が、2mm、4mm、8mm、10mm、15mm、20mm未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
21.物理あたりの光学倍率が、0.1X、0.5X、1X、2X、4X、5X、10X未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
22.物理あたりの好ましい光学倍率は0.1X、0.5X、1X、2X、4X、5X、10X未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
【0444】
用語「画像ベースのアッセイ」は、画像化装置が取り込んだサンプル画像を用いるアッセイ手順を指す。サンプルは、医療用サンプル、生物学的サンプル、及び化学サンプルとすることができるが、これらに限定されない。
【0445】
用語「画像化装置」は、物体の画像を取り込むことができる任意のデバイスを指す。これには、顕微鏡、スマートフォン、または種々の波長で画像を取り込むことができる特別なデバイス内のカメラが含まれるが、これらに限定されない。
【0446】
用語「サンプル特徴」は、潜在的に興味深い状態を表すサンプルの何らかの特性を指す。ある実施形態では、サンプル特徴は、サンプル画像内に現れる特徴であり、機械学習モデルによってセグメント化して分類することができる。サンプル特徴の例としては、サンプル中の検体タイプ、たとえば、赤血球、白血球、及び腫瘍細胞が挙げられるがこれらに限定されず、検体カウント、サイズ、体積、濃度などが挙げられる。
【0447】
用語「機械学習」は、多くの場合に統計的手法及び人工ニューラルネットワークを用いて、明示的なプログラムミングなしにデータから「学習する」(すなわち、特定のタスクに対する性能を徐々に向上させる)能力をコンピュータに与える人工知能の分野におけるアルゴリズム、システム及び装置を指す。
【0448】
用語「人工ニューラルネットワーク」は、一般的に何らかのタスク特定のルールを用いたプログラミングなしに例を考えることによってタスクの実行を「学習する」ことができる、生物学的ネットワークから着想を得た階層コネクショニストシステムを指す。
【0449】
用語「畳み込みニューラルネットワーク」は、通常は視覚画像の解析に適用される多層フィードフォワード人工ニューラルネットワークのクラスを指す。
【0450】
用語「深層学習」は、いくつかの深いネットワーク構造を用いてデータから学習する人工知能(AI)における幅広いクラスの機械学習方法を指す。
【0451】
用語「機械学習モデル」は、データからの機械学習におけるトレーニングプロセスから構築されたトレーニングされたコンピューテーショナルモデルを指す。トレーニングされた機械学習モデルは、コンピュータによる推論ステージの間に適用され、自力で特定のタスクを実行する(たとえば、物体を検出して分類する)能力をコンピュータに与える。機械学習モデルの例としては、ResNet、DenseNetなどが挙げられる。これらは、そのネットワーク構造における層状深さから「深層学習モデル」という名前もつけられている。
【0452】
用語「画像セグメンテーション」は、デジタル画像を複数のセグメント(画素の組、多くの場合に、そのセグメント境界輪郭によって囲まれた画像セグメントを覆うビットマップマスクの組を伴う)に分割する画像解析処理を指す。像セグメンテーションは、画像処理における画像セグメンテーションアルゴリズム(たとえば、ウォーターシェッド、グラブカット、平均シフトなど)を通して、また機械学習アルゴリズム(たとえば、MaskRCNNなど)を通して実現することができる。
【0453】
用語「サンプル中の欠陥」は、理想的なサンプル状態において存在するべきではないかまたはサンプルの特徴において考慮すべきではない人工物を指す。これらは、汚染物質(たとえば、ホコリ、気泡など)及びサンプル中の周辺物体(たとえば、サンプル保持デバイス内のモニタマーク(たとえばピラー))に由来する可能性があるが、これらに限定されない。欠陥は、サンプル中で著しいサイズで著しい量の体積を取る可能性がある(たとえば、気泡)。それらは、サンプル中のその分布及び量(サンプル依存性である)に加えて、異なる形状である可能性がある。
【0454】
用語「閾値」は、本明細書では、任意の数であって、たとえば、サンプル特徴を特定の検体タイプとして分類するための切り捨て、またはサンプル中の正常細胞に対する異常細胞の比として用いる数を指す。閾値は経験的または分析的に特定することができる。
【0455】
従来、高品質(限定することなく、高解像度、良好な照明、低ノイズレベル、低歪みレベル、良好なフォーカス、良好なシャープネスなどの点で)の顕微鏡画像は、高開口数で高倍率の複合レンズを含む複雑で非常に高度な画像化光学系によって収集する必要がある。また、機械学習の助けを借りて低コストの限定された光学系を用いた顕微鏡画像化において高品質の画像(複数可)を再構成する方法を発明した。
図C−1に示すように、トレーニングプロセスでは、高品質画像(高品質光学系を用いて取り込んだ)及び限定された光学系を用いて取り込んだ及び/または高品質画像から画像処理及び/または機械学習を用いることによって作成した低品質画像(仮想画像と言う)の両方を、サンプル上で対象とする同じ視野(面積)のトレーニングペアとして用いる。そして、高品質画像及び低品質画像のペアを用いて機械をトレーニングして、高品質形態において低品質画像はどのようになるべきかを学習させる。トレーニングしたモデルを用いて、同じ種類の物体の新しいサンプルに対して、機械は、低品質入力に基づいて高品質形態の画像を予測することができる。
【0456】
いくつかの実施形態では、機械学習においてモニタリングマークを用いて、高解像度画像を、より低い解像度の光学システムを用いて実現する。
【0457】
「限定されたサンプル操作」の使用
本発明では、いくつかの実施形態において、画像化アッセイに対するサンプル位置決めシステムが「限定されたサンプル操作」を有している。限定されたサンプル操作のいくつかの実施形態には、限定することなく、以下が含まれる。
限定されたサンプル操作システムの説明。
1.限定されたサンプル操作システムであって、
サンプルホルダを含み、
サンプルホルダはサンプルカードを収容するための容器を有する限定されたサンプル操作システム。
2.光軸に沿った方向でサンプルを位置決めする精度は、0.1um、1um、10um、100um、1mmより悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定されたサンプル操作システム。
3.光軸に沿った方向でサンプルを位置決めする好ましい精度は50um〜200umである任意の先行する実施形態の限定されたサンプル操作システム。
4.光軸に垂直な平面内でサンプルを位置決めする精度は、0.01um、0.1um、1um、10um、100um、1mmより悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定されたサンプル操作システム。
5.光軸に垂直な平面内でサンプルを位置決めする好ましい精度は100um〜1mmである任意の先行する実施形態の限定されたサンプル操作システム。
6.サンプルカードを位置決めするレベル誤差は、0.01度、0.1度、0.5度、1度、10度より悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定されたサンプル操作システム。
7.サンプルカードを位置決めする好ましいレベル誤差は0.5度〜10度である任意の先行する実施形態の限定されたサンプル操作システム。
8.サンプルカードを位置決めする好ましいレベル誤差は0.5度〜10度である任意の先行する実施形態の限定されたサンプル操作システム。
【0458】
モニタリングマークの鋭いエッジ
用語「鋭い光学的エッジ」は、以下の特性を伴う特定の光学システムが取り込んだ画像内の物体のエッジまたは境界を指す。画像内の物体のエッジまたは境界において、光強度(R、G、B、グレー、色相、輝度を含むが、これらに限定されない)が場所に対して大きく変化する。たとえば、定量的には、
図1に示すように、境界において、規格化強度が90%から10%まで減少する距離(X
90%)は、このような光学システムによる画像内の物体の長さの5%未満でなければならない。言い換えれば、境界勾配=90%/X
90%>1800%/物体の長さである。鋭いエッジの例は、平坦な頂部とほぼ90度の側壁とを有するピラースペーサのエッジである。鋭いエッジがない物体の例は球体である。
【0459】
モニタマークを用いたTLD及び体積推定の例
図5に、本発明のいくつかの実施形態で用いるサンプル保持デバイス、QMAXデバイス、及びそのモニタマーク、ピラーの実施形態を示す。QMAXデバイス内のピラーによって、サンプル保持デバイスの2つの平行なプレート間のギャップが均一になる。ギャップは狭く、検体がギャップ内で単層を形成する場合に検体のサイズに関連している。また、QMAXデバイス内のモニタマークはピラーの特別な形態であり、結果として、それらはサンプルによって浸漬されておらず、画像ベースのアッセイにおいて画像化装置によってサンプルとともに画像化することができる。
【0460】
モニタマークを用いたTLD(真の横寸法)推定の例
TLD及び真の体積推定に対する本発明のいくつかの実施形態では、モニタマーク(ピラー)を検出可能アンカーとして用いる。しかし、モニタマークの検出を、画像ベースのアッセイにおけるTLD推定に適した精度で行うのは難しい。その理由は、これらのモニタマークはサンプル保持デバイスの内部の検体に浸透して周りを囲まれており、またレンズからの歪み、微小物体からの光回折、微視的レベルでの欠陥、フォーカシングの誤位置合わせ、サンプル画像内のノイズなどが原因で画像内で歪んでボケているからである。また画像化装置が汎用デバイスからのカメラ(たとえばスマートフォンからのカメラ)だとさらに難しくなる。なぜならば、このようなカメラは、いったん製造を離れると、専用のハードウェアによって較正されることはないからである。
【0461】
本発明では、モニタマークをTLD推定用の検出可能アンカーとして検出及び場所特定することを機械学習のフレームワークにおいて定式化し、専用の機械学習モデルを、モニタマークを微視的画像化において検出するように構築/トレーニングする。また、本発明のいくつかの実施形態におけるモニタマークの分布は、周期的となるように、また所定のパターンで分布するように意図的に形成されている。このため、本発明におけるアプローチはより堅固で信頼性の高いものとなっている。
【0462】
詳細には、本発明の実施形態には以下が含まれる。
(8)サンプルをサンプル保持デバイス(たとえば、QMAXデバイス)に装着することであって、既知の構成を伴うモニタマークがデバイス内に存在し、モニタマークはサンプル中に浸漬しておらず、画像化装置によって画像化することができる、装着すること。
(9)検体とモニタマークとを含むサンプル保持デバイス内のサンプルの画像を取り込むこと。
(10)サンプル画像内のモニタマークを検出するように機械学習(ML)モデルを構築及びトレーニングすること。
(11)(3)からの前記ML検出モデルを用いて、サンプル画像から、サンプル保持デバイス内のモニタマークを検出して場所を特定すること。
(12)(4)で検出したモニタマークからマークグリッドを作成すること。
(13)作成したモニタマークグリッドに基づいてホモグラフィ変換を計算すること。
(14)(6)からのホモグラフィ変換から、サンプル画像の真の横寸法を推定して保存すること。
(15)(7)からの推定TLDを以後の画像ベースのアッセイにおいて適用して検体の面積、サイズ、体積、及び濃度を決定すること。
【0463】
本発明のいくつかの実施形態では、領域ベースのTLD推定及び較正を画像ベースのアッセイにおいて用いる。それには以下が含まれる。
(13)サンプルをサンプル保持デバイス(たとえば、QMAXデバイス)に装着することであって、デバイス内にモニタマークが存在し、モニタはサンプル中に浸漬しておらず、画像ベースのアッセイにおいて画像化装置によって画像化することができる、装着すること。
(14)検体とモニタマークとを含むサンプル保持デバイス内のサンプルの画像を取り込むこと。
(15)画像化装置が取り込んだサンプル画像からモニタマークを検出するために、機械学習(ML)モデルを構築及びトレーニングすること。
(16)画像化装置が取り込んだサンプル画像を非重複領域に分割すること。
(17)(3)のMLモデルを用いて、画像化装置が取り込んだサンプル画像からモニタマークを検出して場所を特定すること。
(18)局所領域で検出された5つを超える非共線のモニタマークを用いて各領域に対する領域ベースのマークグリッドを作成すること。
(19)画像化装置が取り込んだサンプル画像から検出したモニタマークに基づいて、(6)にないすべての領域に対してマークグリッドを形成すること。
(20)(6)の各領域に対して領域特定のホモグラフィ変換を、(6)で作成したその独自の領域ベースのマークグリッドに基づいて計算すること。
(21)(7)で作成したマークグリッドに基づいて、他のすべての領域に対してホモグラフィ変換を計算すること。
(22)(8)で生成した領域ベースのホモグラフィ変換に基づいて、(6)の各領域に対して領域ベースのTLDを推定すること。
(23)(9)からのホモグラフィ変換に基づいて、他の領域に対してTLDを推定すること。
(24)(10)及び(11)からの推定TLDを保存して、分割した領域上での以後の画像ベースのアッセイにおいて適用すること。
【0464】
モニタマークが所定の周期パターンで、たとえばQMAXデバイス内に分布するとき、それらは特定のピッチで周期的に生じて分布する。その結果、モニタマーク検出は、前述した手順においてより堅固で信頼性の高いものとなる。その理由は、周期性により、すべてのモニタマークをほんの少数の検出されたものから特定して決定することができるからであり、検出した場所及び構成が所定の周期パターンに従わない場合には検出誤差を補正してなくすことができる。
【0465】
モニタマークを用いた体積推定
図3は、画像ベースのアッセイにおける体積推定に対する本発明のブロック図である。アッセイにおいてサンプルの真の体積を推定するために、サンプル中の欠陥及び周囲物体から体積を取り除く必要があり、本発明の実施形態には以下が含まれる。
(1)サンプルをモニタマークを伴うサンプル保持デバイス(たとえば、QMAXデバイス)に装着して、画像化装置によってサンプルの画像を取り込むことと、
(2)前述した方法及び装置を用いてサンプルの画像内のモニタマークをアンカーとして検出することによって、画像の真の横寸法(TLD)を推定することと、
(3)サンプルの画像から構築及びトレーニングした機械学習(ML)検出モデルを用いて、サンプルの画像内の欠陥(たとえば、気泡、ホコリ、モニタマークなど)を検出して場所を特定することと、
(4)サンプルの画像から構築及びトレーニングした機械学習(ML)セグメンテーションモデルを用いて、サンプルの画像内の前記検出欠陥の覆いマスクを決定することと、
(5)サンプル及びサンプル保持デバイス内の検体/物体のサイズに基づいてマージン距離Δ(たとえば、2x最大検体直径)を決定することと、
(6)すべての検出欠陥に対してΔ+マスク(すなわち、(4)からの欠陥の覆いマスクに対して追加のマージンΔ拡大を伴うマスク)を決定することと、
(7)サンプルの画像内で(6)のΔ+マスクに基づいて検出欠陥を取り除くことと、
(8)(7)からの画像を保存し、以後の画像ベースのアッセイにおいて、(7)の対応するΔ+マスクによって体積を取り除いた後に対応する体積を保存することと、(9)取り除いたΔ+マスクの面積またはサンプルの残りの真の体積が何らかの予め設定した閾値を超えたら、サンプルを拒否すること。
【0466】
本発明では、追加のマージンΔ+マスクを用いてサンプルの画像から欠陥を取り除く。これは重要である。なぜならば、欠陥はその環境に影響する可能性があるからである。たとえば、欠陥の中には、サンプル保持デバイス内のギャップの高さを変える可能性があるものがあり、欠陥の周りの局所的な体積または濃度分布が異なってくる可能性がある。
【0467】
用語「モニタリングマーク」、「モニタマーク」、及び「マーク」は、本発明の説明において交換可能である。
【0468】
用語「画像化装置」及び「カメラ」は本発明の説明において交換可能である。
【0469】
用語「ノイズ除去」は受信信号からノイズを取り除くプロセスを指す。一例は、画像化装置/カメラからの画像が種々の供給源(ホワイトノイズ、ごま塩ノイズ、ガウシアンノイズなどを含むが、これらに限定されない)からノイズを拾う可能性があるために、サンプル画像内のノイズを取り除くことである。ノイズ除去する方法としては、線形及び非線形フィルタリング、ウェーブレット変換、統計的方法、深層学習などが挙げられるが、これらに限定されない。
【0470】
用語「画像正規化」は、処理した画像内の画素強度値の範囲を変えるアルゴリズム、方法、及び装置を指す。たとえば、ヒストグラムストレッチングによってコントラストを増加させること、各画像から平均の画素値を差し引くなどが挙げられるが、これらに限定されない。
【0471】
用語「画像シャープニング」は、画像のエッジコントラスト及びエッジコンテンツを高めるプロセスを指す。
【0472】
用語「画像スケーリング」は画像のサイズを変更するプロセスを指す。たとえば、サンプルの画像内で物体が小さすぎる場合、画像スケーリングを適用して画像を拡大して、検出を助けることができる。本発明のいくつかの実施形態では、トレーニングまたは推論目的で深層学習モデルに入力する前に、画像のサイズを指定の寸法に変更する必要がある。
【0473】
用語「位置合わせ」は、異なるデータセットをそれらが比較して結合されるように1つの共通の座標系に変換することを指す。たとえば、画像処理において、異なるデータセットは、複数の画像化装置センサからの画像、及び同じセンサからだが時間、フォーカシング深さなどが異なる画像からであるが、これらに限定されない。
【0474】
用語「超解像度」は、1つまたは複数の低解像度画像からより解像度がより高い画像を得るプロセスを指す。
【0475】
用語「ボケ除去」は、画像からボケ人工物を取り除く(たとえば、画像化処理における焦点ぼけ、振動、移動が原因のボケを取り除く)プロセスを指す。
【0476】
本発明のいくつかの実施形態では、サンプル保持デバイス(たとえば、QMAXデバイス)内のモニタリングマークを利用する方法及びアルゴリズムを考案している。これには、画像化装置内の以下のパラメータの推定及び調整が含まれるが、これらに限定されない。
1.シャッタ速度
2.ISO
3.フォーカス(レンズ位置)
4.露出補正
5.ホワイトバランス:温度、色合い
6.ズーミング(倍率)
【0477】
マークとともに用いる画像処理/解析アルゴリズムの例
本発明のいくつかの実施形態では、画像処理/解析を、本発明におけるモニタリングマークを用いて適用して強化している。それらには、以下の画像処理アルゴリズム及び方法が含まれるが、これらに限定されない。
1.ヒストグラムベースの演算として以下が挙げられるが、これらに限定されない。a.コントラストストレッチング
b.均等化
c.最小値フィルタ
d.中央値フィルタ
e.最大値フィルタ
2.数学ベースの演算としては以下が挙げられるが、これらに限定されない。
a.二項演算:NOT、OR、AND、XOR、SUBなど
b.算術ベースの演算:ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、INVERTなど
3.空間及び周波数ドメイン両方における畳み込みベースの演算としては、フーリエ変換、DCT、整数変換、ウェーブレット変換などが挙げられるが、これらに限定されない。
4.平滑化演算としては以下が挙げられるが、これらに限定されない。
a.線形フィルタ:均一フィルタ、三角フィルタ、ガウシアンフィルタなど
b.非線形フィルタ:中間フィルタ、桑原フィルタなど
5.微分ベースの演算としては以下が挙げられるが、これらに限定されない。
a.一次微分:勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、など
b.二次微分:基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタなど
c.より高次数微分による他のフィルタなど
6.形態ベースの演算としては以下が挙げられるが、これらに限定されない。
a.拡張及び腐食
b.ブール型畳み込み
c.開閉
d.ヒットアンドミス演算
e.セグメンテーション及び輪郭
f.スケルトン
g.伝搬
h.グレー値形態処理:グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖など
i.形態学的平滑化、形態学的勾配、形態学的ラプラシアンなど。
【0478】
画像処理/解析手法の他の例
本発明のいくつかの実施形態では、画像処理/解析アルゴリズムを、本開示で説明しているモニタリングマークとともに用いてこれによって向上させている。それらには以下が含まれるが、これらに限定されない。
1.画像の向上及び復元としては以下が挙げられるが、これらに限定されない。
a.シャープニング及びアンシャープニング
b.ノイズ抑制
c.歪み抑制
2.画像セグメンテーションとしては以下が挙げられるが、これらに限定されない。a.閾値化−固定閾値化、ヒストグラム由来の閾値化、ISOデータアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、など
b.エッジ発見−勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順など
c.二値数学的形態−ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、など
d.グレー値数学形態−トップハット変換、適応性のある閾値化、局所的コントラストストレッチングなど
3.特徴抽出及びマッチングとしては以下が挙げられるが、これらに限定されない。
a.独立成分分析
b.ISOマップ
c.主成分分析及びカーネル主成分分析
d.潜在意味解析
e.最小二乗及び部分的最小二乗
f.多因子次元削減及び非線形次元削減
g.多重線形主成分分析
h.多重線形部分空間学習
i.半定値埋め込み
j.オートエンコーダ/デコーダ
4.物体検出、分類、及び場所特定。
5.画像理解。
【0479】
例E1.モニタリングマークを用いた微視的画像化の改善
本発明におけるモニタリングマークを用いて、微視的画像化におけるフォーカスを向上させる。
【0480】
鋭いエッジを伴うマークによって、特に弱光環境及び微視的画像化における特定のフォーカス設定のフォーカス条件を解析するためのフォーカス評価アルゴリズムに対する検出可能な(目に見える特徴)が得られる。本発明のいくつかの実施形態では、
図E1−1に示すように、フォーカス評価アルゴリズムはオートフォーカス実施態様における中心である。
【0481】
いくつかの診断応用例(たとえば、比色分析の吸収ベースのヘモグロビンテスト、及び細胞濃度が非常に低いサンプルに対するCBC)においては、サンプル画像内の検体によって得られる検出可能な特徴では、フォーカス評価アルゴリズムを正確かつ滑らかに実行させるには十分でないことが多い。鋭いエッジを伴うマーク(たとえば、QMAXデバイス内のモニタマーク)によって、画像ベースのアッセイにおいて必要な精度及び信頼性をフォーカス評価プログラムが実現するためのさらなる検出可能な特徴が得られる。
【0482】
いくつかの診断応用例では、サンプル中の検体は不均一に分布している。検体によって得られる特徴に単に基づくだけでは、何らかの偏ったフォーカス設定が生じて、いくつかの局所的な高濃度領域に対してフォーカシングの重みが高くなって、低い検体濃度領域が標的でなくなる傾向がある。本発明のいくつかの実施形態では、この影響を、強力なエッジを有し、正確に処理される周期パターンで一様に分布するモニタマークの情報からのフォーカシング調整を用いて制御する。
【0483】
単一画像からの超解像度を用いて解像度がより高い画像を生成する。
【0484】
各画像化装置の画像化解像度は部分的に、そのセンサ内の画素数(100万〜数100万画素で変化する)によって限定される。いくつかの微視的画像化応用例では、検体はサンプル中のサイズが小さいかまたは極めて小さく、たとえば、人血中の血小板のサイズは直径が約1.4umである。画像センサの解像度が限定されていると、標的検出プログラムに特定の数の画素が必要なときに、FOVの利用可能なサイズだけでなく、画像ベースのアッセイにおけるデバイスの能力が著しく制約される。
【0485】
単一画像超解像度(SISR)は、画像処理及び/または機械学習技術を用いて、当初のソース画像をより高い解像度にアップサンプルし、補間によって生じたボケをできる限り取り除いて、新しく生成された画像上でも物体検出プログラムを実行できるようにする技術である。これによって、前述した制約が著しく減り、本来は不可能ないくつかの応用例が可能になる。形状及び構造が分かっているモニタマーク(たとえば、QMAX内のモニタマーク)を使えば、SISRアルゴリズムを評価して、ほとんどの既存の従来技術のアルゴリズムによって生じるオーバーシャープニング効果を回避するための局所的な参照として機能することができる。
【0486】
本発明のいくつかの実施形態では、画像ベースのアッセイにおける物理的なSNR(信号対雑音)制限を壊すために画像融合を行う。
【0487】
信号対雑音比は、微視的画像化において画像化装置が取り込んだサンプル画像の品質を測定する。画像化装置にはコスト、技術、製造などに起因する実際的な制限が存在する。ある状況では、たとえば巡回健康管理では、応用例に要求されるSNRは、画像化装置がもたらし得るものよりも高い。本発明のいくつかの実施形態では、複数の画像を取り込んで処理して(同じ及び/または異なる画像化設定を用いて、たとえば異なるフォーカス深さでフォーカスされた複数の画像を1つの超焦点画像に合併する3D融合の実施形態によって)、SNRがより高い出力画像(複数可)を生成して、このような応用例を可能にする。
【0488】
しかし、画像化装置または複数の画像化装置が取り込んだ画像には、物理的制限及び実装制約によって生じるいくつかの不完全性及び欠陥が伴う傾向がある。画像ベースのアッセイにおけるサンプルの微視的画像化において状況は深刻になる。なぜならば、サンプル中の検体はサイズが極めて小さく、はっきりしたエッジ特徴がない場合が多いからである。本発明のいくつかの実施形態では、画像保持デバイス(たとえば、QMAXデバイス)内のモニタマークを用いて解決方法の改善を図る。
【0489】
このような実施形態の1つは、画像化装置が取り込んだサンプル画像内の歪みを処理することである。
図E1−2は、一般的なカメラモデルに対する改良点の図である。単純な歪みパラメータが分かっている場合には状況は比較的である(ほとんどの製造では、比歪みを記述するためにそのレンズに対する曲線/テーブルを出しており、他の歪みは明確な実験において測定することができる)。しかし、歪みパラメータが分かっていないときには(ここでは、フォーカス場所及びサンプルによっても変化する)、モニタリングマークを用いて、新しいアルゴリズムによって、サンプル保持デバイス(たとえばQMAXデバイス)の規則的かつ周期的にさえ配置されたモニタマークを用いて、歪みパラメータを反復的に推定することができ、
図E1−3に示すような単一の座標参照は必要ない。
【0490】
図E1−3:知ることなく歪み除去及びカメラ改良図
本発明では、いくつかの実施形態において、サンプル保持デバイスは、画像ベースのアッセイにおいて微小特徴を分析する目的でいくつかの特別なモニタマークを伴う平坦面を有する。いくつかの典型的な実施形態は以下のように列記される。
【0491】
A1:画像ベースのアッセイにおけるサンプルの微視的画像に対する真の横寸法(TLD)推定真の横寸法(TLD)によって、画像化した検体の現実世界での物理的寸法が決定され、サンプル画像の現実世界での座標(画像ベースのアッセイにおける濃度推定に関係する)も決定される。モニタマークを検出可能アンカーとして用いてTLDを決定し、画像ベースのアッセイにおける精度を向上させることができる。本発明の一実施形態では、モニタマークに対する機械学習モデルを用いてモニタマークを検出する。ここからサンプル画像のTLDが得られる。また、モニタリングマークがサンプル保持デバイスの平坦面上に周期的な分布パターンを有している場合には、画像ベースのアッセイにおいて、モニタリングマークの検出及びサンプル当たりベースのTLD推定がより信頼性高くかつ堅固になる可能性がある。
【0492】
A2:検体の分析を、特定の波長の光または多波長の光において検体化合物から測定した応答を用いて行って、検体濃度を予測する。サンプル中に浸漬していないモニタマークを用いて、検体化合物に対応しないバックグラウンドの光吸収を決定し、検体濃度を光吸収を通して決定することができる(たとえば、全血球試験におけるHgBテスト)。加えて、各モニタマークは、濃度推定を堅固で信頼性の高いものにするための、バックグラウンド吸収に対する独立した検出器として働くことができる。
【0493】
A3:画像ベースのアッセイ用の微視的画像化におけるフォーカシング均一に分布したモニタマークを用いてフォーカス精度を向上させることができる。(a)これは、信頼性の高いフォーカシングを行うために、サンプルに特徴がない/必要な数の特徴よりも少ない場合に最小量の視覚特徴を得るために用いることができ、これは、モニタマークのエッジ内容に起因する弱光において行うことができる。(b)これは、フォーカス判定をより偏りのないものにするために、サンプル中の特徴が不均一に分布しているときに視覚特徴を得るために用いることができる。(c)これによって、フォーカス評価アルゴリズムにおける重みを調整するために、サンプルの中身による影響がない/少ない/異なる局所的な照明条件に対する参照を得ることができる。
【0494】
A4:モニタマークは、画像不完全性(原因は、限定することなく、不均一に分布した照明、種々のタイプの画像歪み、ノイズ、及び不完全な画像前処理動作)を検出及び/または補正するための参照として用いることができる。(a)たとえば、
図E1−4に示すように、3D世界における直線が画像の曲線にマッピングされたときに、マークの位置を用いて比歪みを検出及び/または補正することができる。マークの位置変化に基づいて、画像全体の比分布パラメータを推定することができる。また想定した比歪みパラメータに基づいて歪みが取り除かれた再生画像内の水平/垂直線の線形試験によって、比歪みパラメータの値を反復的に推定することができる。
【0495】
機械学習(ML)計算の例
B1:機械学習を用いて、サンプル画像内の検体を検出するとともに、検体をそれらの場所に対して覆うバウンディングボックスを計算する1つの方法を、処理の推論プロセスにおいてトレーニングされた機械学習モデルを用いて行う。機械学習法を用いてサンプル画像内の検体を検出して場所を特定する別の方法は、画素レベルでのサンプル画像内の検体の注釈を伴う検出及びセグメンテーションモデルを構築及びトレーニングすることである。このアプローチでは、画像ベースのアッセイにおいて検体を覆う密な二値画素マスクを用いて、サンプル画像内の検体を検出して場所を特定することができる。
【0496】
B2:人血中のヘモグロビンを試験するときには、画像を所与の狭帯域波長において取り込んだ後に、検体面積及び参照面積を通る平均エネルギーを解析する。所与の波長及び検体サンプル面積の高さにおける検体の既知の吸収レートに基づいて、濃度を推定することができる。しかしこの測定値にはノイズがある。ノイズを消すために、異なる波長の光を用いて複数の画像を取り込むことができ、機械学習回帰を用いてより正確で堅固な推定を実現することができる。機械学習ベースの推論では、サンプルの複数の入力画像を取り込んで(異なる波長で取り込む)、単一の濃度数を出力する。
【0497】
E.エラーリスクを特定して測定信頼性を向上させる例。
いくつかの実施形態では、アッセイの信頼性を向上させるための方法であって、(a)QMAXカード上のサンプルを画像化することと、
(b)エラー危険因子を分析することと、
(c)エラー危険因子が閾値よりも高い場合に、カードがカードの測定結果を報告することを拒否することと、を含み、
エラー危険因子は、以下の因子のうちの1つまたはそれらの任意の組み合わせである、方法。因子は以下であるが、これらに限定されない。(1)血液のエッジ、(2)血液中の気泡、(3)血液量が少なすぎるかまたは血液量が多すぎる、(4)スペーサの下の血球、(5)塊状の血球、(6)溶解した血球、(7)サンプル画像が露出過多である、(8)サンプル画像が露出不足である、(8)サンプルのフォーカスが不十分である、(9)間違ったレバー位置としての光学システムエラー、(10)カードが閉じていない、(12)スペーサがないカードとしての間違ったカード、(12)カード内のホコリ、(14)カード内のオイル、(14)カード上の焦点面から汚れが出ている、(15)カードが読取機の内部の正しい位置にない、(16)カードが空である、(17)カード内の製造エラー、(18)他の応用例に対する間違ったカード、(19)血液が乾燥している、(20)カードの有効期限が切れている、(21)血球の分布が大きく変化している、(22)血液サンプルではないかまたは標的血液サンプルではないなど。
【0498】
いくつかの実施形態では、エラー危険分析器が、デバイス内での生物学的及び化学的応用における以下のケースを検出し、識別し、分類し、訂正及び/または補正することができる。(1)サンプルのエッジにおいて、(2)サンプル中の気泡、(3)サンプル量が少なすぎるかまたはサンプル量が多すぎる、(4)スペーサの下のサンプル、(5)塊状のサンプル、(6)溶解したサンプル、(7)サンプル画像が露出過多である、(8)サンプル画像が露出不足である、(8)サンプルのフォーカスが不十分である、(9)間違ったレバーとしての光学システムエラー、(10)カードが閉じていない、(12)スペーサがないカードとしての間違ったカード、(12)カード内のホコリ、(14)カード内のオイル、(14)カード上の焦点面から汚れが出ている、(15)カードが読取機の内部の正しい位置にない、(16)カードが空である、(17)カード内の製造エラー、(18)他の応用例に対する間違ったカード、(19)サンプルが乾燥している、(20)カードの有効期限が切れている、(21)血球の分布が大きく変化している、(22)サンプルが間違っているなど。閾値は集団テストから決定する。
閾値は機械学習から決定する。
モニタリングマークはエラー危険因子を特定するための対照として用いる。
モニタリングマークはエラー危険因子の閾値を評価するための対照として用いる。
【0499】
他の実施形態
別に定義がない限り、本明細書で用いる技術及び科学用語はすべて、本開示が属する技術分野において通常の知識を有する者によって広く理解されるものと同じ意味を有する。本教示を実施または試験する際に、本明細書で説明したものと同様または同等である任意の方法及び材料を用いることもできるが、ここではいくつかの典型的な方法及び材料について説明する。
【0500】
「QMAX」(Q:定量化、M:拡大、A.試薬の添加、X:加速、自己校正型圧縮オープンフロー(SCOF)とも言われる)デバイス、アッセイ、方法、キット、及びシステムは、以下の文献に記載されている。米国特許仮出願第62/202、989号(2015年8月10日に出願)、米国特許仮出願第62/218、455号(2015年9月14日に出願)、米国特許仮出願第62/293、188号(2016年2月9日に出願)、米国特許仮出願第62/305、123号(2016年3月8日に出願)、米国特許仮出願第62/369、181号(2016年7月31日に出願)、米国特許仮出願第62/394、753号(2016年9月15日に出願)、PCT出願(指定国は米国)第PCT/US2016/045437号(2016年8月10日に出願)、PCT出願(指定国は米国)第PCT/US2016/051775号(2016年9月14日に出願)、PCT出願(指定国は米国)第PCT/US2016/051794号(2016年9月15日に出願)、及びPCT出願(指定国は米国)第PCT/US2016/054025号(2016年9月27日に出願)。これらの開示はすべて、それらの全体及びすべての目的に対して参照により本明細書に組み込まれている。
【0501】
用語「サンプル」は、本明細書で用いる場合、対象とする1つ以上の検体または実体を含む材料または材料の混合物に関する。いくつかの実施形態では、サンプルは生物学的サンプル(たとえば、細胞、組織、体液、及び糞便)から取得してもよい。対象とする体液としては以下が挙げられるが、これらに限定されない。羊水、房水、硝子体液、血液(たとえば、全血、分画血液、血漿、血清、など)、母乳、脳脊髄液(CSF)、耳垢(耳糞)、乳糜、糜粥、内リンパ、外リンパ、糞便、胃酸、胃液、リンパ液、粘液(鼻漏及び痰を含む)、心膜液、腹水、胸膜液、膿、粘膜分泌物、唾液、皮脂(皮膚オイル)、精液、痰、汗、滑液、涙、嘔吐物、尿及び呼気凝縮液。特定の実施形態において、サンプルを被検者(たとえば、ヒト)から取得してもよく、被検者アッセイにおいて用いる前に処理してもよい。たとえば、分析前に、タンパク質/核酸を、使用前の組織サンプルから既知の方法で抽出してもよい。特定の実施形態において、サンプルは臨床サンプル、たとえば、患者から収集したサンプルであってもよい。
【0502】
用語「検体」は、分子(たとえば、タンパク質、ペプチド、DNA、RNA、核酸、または他の分子)、細胞、組織、ウィルス、及び異なる形状のナノ粒子を指す。いくつかの実施形態では、「検体」は、本明細書で用いる場合、本方法での試験に適した任意の物質である。
【0503】
本明細書で用いる場合、「診断サンプル」は、被検者から得られた身体副産物(たとえば、体液)である任意の生物学的サンプルを指す。診断サンプルは液体の形態で被検者から直接取得してもよいし、または最初に身体副産物を溶液(たとえば、緩衝液)に入れることによって被検者から得てもよい。典型的な診断サンプルとしては以下が挙げられるが、これらに限定されない。唾液、血清、血液、痰、尿、汗、涙液、精液、糞便、呼気、生検材料、粘液など。
【0504】
本明細書で用いる場合、「環境サンプル」は環境から取得した任意のサンプルを指す。環境サンプルとしては、河、湖、池、海、氷河、氷山、雨、雪、下水、貯水池、水道水、飲料水などからの液体サンプル、土壌、堆肥、砂、岩、コンクリート、木材、レンガ、下水などからの固体サンプル、及び空気、水中排熱口、産業排気ガス、車両排気ガスなどからの気体サンプルを挙げてもよい。典型的に、液体状でないサンプルは、本方法でサンプルを分析する前に液体状に変換する。
【0505】
本明細書で用いる場合、「食品サンプル」は飼料用(たとえば、食用)に適した任意のサンプルを指す。食品サンプルとしては、生の食材、調理済み食品、植物及び動物性食物源、予備加工済み食品、ならびに部分または完全加工食品などを挙げてもよい。典型的に、液体状でないサンプルは、本方法でサンプルを分析する前に液体状に変換する。
【0506】
用語「診断」は、本明細書で用いる場合、対象とする疾患または症状を特定し、予後を予測し、及び/または治療反応を予測するための方法または検体を用いることを指す。診断としては、疾患または症状を有する可能性または素因を予測すること、疾患または症状の重症度を推定すること、疾患または症状が進行するリスクを決定すること、治療に対する臨床反応を評価すること、及び/または治療に対する反応を予測することを挙げてもよい。
【0507】
「バイオマーカー」は、本明細書で用いる場合、対象とするサンプル中で見出されるとともに、サンプルを取得する被検者における対象とする疾患または症状の診断に役立つか、または存在に関係付けられるか、または素因であることが分かっている任意の分子または化合物である。バイオマーカーとしては以下が挙げられるが、これらに限定されない。ポリペプチドまたはその錯体(たとえば、抗原、抗体)、核酸(たとえば、DNA、miRNA、mRNA)、薬物代謝物、脂質、炭水化物、ホルモン、ビタミンなどであって、対象とする疾患または症状に関係付けられることが分かっているものである。
【0508】
「症状」は、本明細書で健康状態の診断に対して用いる場合、他の生理的状態と区別できる精神または身体の生理的状態を指す。健康状態は、場合によっては疾患とは診断されない場合がある。対象とする健康状態の典型的なものとしては以下が挙げられるが、これらに限定されない。栄養上の健康;加齢;環境毒素、駆除剤、除草剤、合成ホルモン類似体への暴露;妊娠;更年期;男性更年期;睡眠;ストレス;前糖尿病;運動;疲労;化学的バランスなど。
【0509】
さらなる注記
本明細書で用いる場合及び添付の請求項では、単数形「a」、「an」、及び「the」には、文脈上明らかに別の意味が示される場合(たとえば、用語「単一」を用いたとき)を除き、複数の指示対象が含まれることに注意されたい。たとえば、「検体」に言及した場合、単一の検体及び複数の検体が含まれ、「捕捉剤」に言及した場合、単一の捕捉剤及び複数の捕捉剤が含まれ、「検出剤」に言及した場合、単一の検出剤及び複数検出剤が含まれ、参照「薬剤」に言及した場合、単一の薬剤及び複数の薬剤が含まれる。
【0510】
本明細書で用いる場合、2つ以上の実体のリストを参照して語句「少なくとも1つ」及び「1つ以上」は、実体のリストにおける実体のいずれか1つ以上を意味し、実体のリスト内で具体的に列記されたすべての実体の少なくとも1つに限定されない。たとえば、「A及びBの少なくとも1つ」(または、同様な意味合いで「AまたはBの少なくとも1つ」または、同様な意味合いで「A及び/またはBの少なくとも1つ」)は、A単独、B単独、またはA及びBの組み合わせを指してもよい。
【0511】
本明細書で用いる場合、第1の実体と第2の実体との間に用語「及び/または」が置かれている場合、(1)第1の実体、(2)第2の実体、(3)第1の実体及び第2の実体のうちの1つを意味する。「及び/または」によって列記された複数の実体は、同様に、すなわち実体の「1つ以上」がそのように結合されると、解釈しなければならない。「及び/または」節によって具体的に特定した実体以外の他の実体が、具体的に特定したこれらの実体に関係していようと関係していまいと、任意的に存在してもよい。
【0512】
本明細書で数値範囲について述べた場合、本発明には、端点が含まれる実施形態、両方の端点が除外される実施形態、及び一方の端点が含まれて他方が除外される実施形態が含まれる。別段の指定がない限り両方の端点が含まれることを前提としなければならない。さらに、別途記載がないかまたは別途文脈及び当業者の理解から明らかでない限り。
【0513】
任意の特許、特許出願、または他の参考文献が、参照により本明細書に組み込まれており、本開示の組み込まれていない部分または何らかの他の組み込まれている参考文献と、(1)用語の規定が一致せず及び/または(2)他の点でそれらと一致しない場合には、本開示の組み込まれていない部分が優先するものとし、また本明細書の用語または組み込まれた開示内容は、用語が規定され及び/または組み込まれた開示内容が元々存在していた参考文献に対してのみ優先するものとする。