(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-06-15
(54)【発明の名称】アッセイ精度及び信頼性の向上
(51)【国際特許分類】
G01N 33/483 20060101AFI20220608BHJP
【FI】
G01N33/483 C
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2021559273
(86)(22)【出願日】2020-04-06
(85)【翻訳文提出日】2021-11-17
(86)【国際出願番号】 US2020026959
(87)【国際公開番号】W WO2020206464
(87)【国際公開日】2020-10-08
(31)【優先権主張番号】PCT/US2019/048678
(32)【優先日】2019-08-28
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-04-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】PCT/US2019/046971
(32)【優先日】2019-08-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518048123
【氏名又は名称】エッセンリックス コーポレーション
(74)【代理人】
【識別番号】100102978
【氏名又は名称】清水 初志
(74)【代理人】
【識別番号】100102118
【氏名又は名称】春名 雅夫
(74)【代理人】
【識別番号】100160923
【氏名又は名称】山口 裕孝
(74)【代理人】
【識別番号】100119507
【氏名又は名称】刑部 俊
(74)【代理人】
【識別番号】100142929
【氏名又は名称】井上 隆一
(74)【代理人】
【識別番号】100148699
【氏名又は名称】佐藤 利光
(74)【代理人】
【識別番号】100128048
【氏名又は名称】新見 浩一
(74)【代理人】
【識別番号】100129506
【氏名又は名称】小林 智彦
(74)【代理人】
【識別番号】100205707
【氏名又は名称】小寺 秀紀
(74)【代理人】
【識別番号】100114340
【氏名又は名称】大関 雅人
(74)【代理人】
【識別番号】100121072
【氏名又は名称】川本 和弥
(72)【発明者】
【氏名】チョウ スティーブン ワイ.
(72)【発明者】
【氏名】チョウ ウー
(72)【発明者】
【氏名】リ シン
(72)【発明者】
【氏名】リ ホンビン
(72)【発明者】
【氏名】チャン ユエチェン
(72)【発明者】
【氏名】ウー ミンカン
(72)【発明者】
【氏名】ディン ウェイ
(72)【発明者】
【氏名】ティアン ジュン
【テーマコード(参考)】
2G045
【Fターム(参考)】
2G045AA39
2G045CA25
2G045CA26
2G045CB01
2G045CB03
2G045CB04
2G045CB07
2G045CB11
2G045CB12
2G045CB14
2G045DA13
2G045DA14
2G045DA36
2G045FA14
2G045FA16
2G045JA02
2G045JA03
(57)【要約】
本発明は、とりわけ、アッセイデバイス及び/またはアッセイデバイスの動作が特定のエラーを有しており、いくつかの実施形態ではエラーがランダムであった場合でも、アッセイの精度及び信頼性を向上させるデバイス及び方法に関する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
サンプル中の検体を検出するアッセイの精度を向上させるための方法であって、前記アッセイの1つ以上のパラメータはランダム変動を有し、前記方法は、
(a)前記アッセイを用いて前記サンプル中の前記検体を検出して、検出結果を生成することと、
(b)(i)前記アッセイにおける前記サンプルを画像化すること、および
(ii)アルゴリズムを用いて画像(複数可)を処理すること
によって、前記検出結果の信頼性を判定することと、
(c)前記信頼性が所定の閾値を満たすときにのみ前記検出結果を報告することと
を含む、前記方法。
【請求項2】
サンプル中の検体を検出するアッセイの精度を向上させるための装置であって、前記アッセイの1つ以上のパラメータはランダム変動を有し、前記装置は、
(a)前記サンプル中の前記検体を検出して検出結果を生成するアッセイであって、サンプルホルダを有する、前記アッセイと、
(b)前記サンプルホルダ内の前記サンプルを画像化する画像化装置と、
(c)前記画像を用いて前記検出結果の信頼性を判定するアルゴリズムを記憶する非一時的な記憶媒体と
を含む、前記装置。
【請求項3】
前記アッセイ上のサンプルホルダ上の1つ以上のモニタリングマークを用いることと、
前記信頼性を判定するために前記画像内の前記モニタリングマークを画像化することと
をさらに含み、
前記モニタリングマークは前記サンプルホルダの製造において所定の光学特性を有する、
先行請求項のいずれか一項に記載の方法。
【請求項4】
前記サンプルホルダ上の1つ以上のモニタリングマークをさらに含み、
前記モニタリングマークは、前記サンプルホルダの製造において所定の光学特性を有し、前記信頼性を判定するために前記画像内で画像化される、
先行請求項のいずれか一項に記載の装置。
【請求項5】
サンプル中の検体を検出する画像ベースのアッセイの精度を向上させるための方法であって、前記アッセイは、歪みを伴う光学システムを有し、前記方法は、
(a)サンプル接触面を有するサンプルホルダを有することであって、
(i)前記サンプルが、前記サンプル接触面上に200nm厚以下の薄層を形成し、かつ
(ii)前記サンプル接触面上の前記サンプル上の1つ以上のモニタリングマークが、前記サンプルホルダの製造中に予め決められた第1の組のパラメータを有する、
前記有することと、
(b)前記アッセイの前記光学システムを用いて、前記モニタリングマークとともに前記サンプルホルダの1つ以上の画像を取ることであって、前記モニタリングマークは前記画像内に第2の組のパラメータを有する、前記取ることと、
(c)プロセッサを用いて前記1つ以上の画像を処理することであって、前記プロセッサは、アルゴリズムと前記第1の組及び前記第2の組の前記パラメータとを用いることによって、前記光学システムの歪みを検出する、前記処理することと
を含む、前記方法。
【請求項6】
サンプル中の検体を検出する画像ベースのアッセイの精度を向上させるための装置であって、前記アッセイは、歪みを伴う光学システムを有し、前記装置は、
(a)サンプル接触面を有するサンプルホルダであって、
(i)サンプルが、前記サンプル接触面上に200nm厚以下の薄層を形成し、かつ
(ii)前記サンプル接触面上の前記サンプル上の1つ以上のモニタリングマークが、前記サンプルホルダの製造中に予め決められた第1の組のパラメータを有する、
前記サンプルホルダと、
(b)前記モニタリングマークとともに前記サンプルホルダ内の前記サンプルの1つ以上の画像を取るための前記アッセイの光学システムであって、前記モニタリングマークは前記画像内に第2の組のパラメータを有する、前記光学システムと、
(c)アルゴリズムを記憶する非一時的な記憶媒体を伴うプロセッサであって、前記アルゴリズムと前記第1の組及び前記第2の組の前記パラメータとを用いることによって、前記1つ以上の画像を処理して前記光学システムの歪みを補正する、前記プロセッサと
を含む、前記装置。
【請求項7】
前記アルゴリズムは機械学習モデルである、先行請求項のいずれか一項に記載の方法及び装置。
【請求項8】
前記信頼性には、
(1)血液のエッジ、(2)前記血液中の気泡、(3)血液量が少なすぎるかまたは血液量が多すぎる、(4)スペーサの下の血球、(5)塊状の血球、(6)溶解した血球、(7)前記サンプルの画像が露出過多である、(8)前記サンプルの画像が露出不足である、(8)前記サンプルの焦点が不十分である、(9)不適切なレバー位置による光学システムエラー、(10)カードが閉じていない、(12)スペーサが無いカードとしての不適切なカード、(12)前記カード内のホコリ、(14)前記カード内のオイル、(14)前記カード上の前記焦点面から汚れが出ている、(15)カードが読取機の内部の正しい位置にない、(16)カードが空である、(17)前記カード内の製造エラー、(18)他の応用例に対する不適切なカード、(19)血液が乾燥している、(20)カードの有効期限が切れている、(21)血球の分布が大きく変化している、(22)血液サンプルが無い、または(23)標的血液サンプルが無い
が含まれる、先行請求項のいずれか一項に記載の方法及び装置。
【請求項9】
前記アルゴリズムは機械学習である、先行請求項のいずれか一項に記載の方法及び装置。
【請求項10】
前記サンプルには、ランダム変動を有するパラメータのうちの少なくとも1つが含まれ、
前記パラメータには、ホコリ、気泡、無サンプル材料、またはそれらの任意の組み合わせを有することが含まれる、
先行請求項のいずれか一項に記載の方法及び装置。
【請求項11】
前記アッセイは、細胞アッセイ、イムノアッセイ、核酸アッセイ、比色分析アッセイ、発光アッセイ、またはそれらの任意の組み合わせである、先行請求項のいずれか一項に記載の方法及び装置。
【請求項12】
前記アッセイデバイスは、ギャップを介して互いに向き合う2つのプレートを含み、
前記サンプルの少なくとも一部は前記ギャップの内部にある、
先行請求項のいずれか一項に記載の方法及び装置。
【請求項13】
前記アッセイデバイスはQMAXを含み、互いに対して移動可能な2つのプレートと、前記プレート間の間隔を調節するスペーサとを含む、先行請求項のいずれか一項に記載の方法及び装置。
【請求項14】
前記モニタリング構造のうちのいくつかは周期的に配列されている、先行請求項のいずれか一項に記載の方法及び装置。
【請求項15】
前記サンプルは、細胞、組織、体液、及び糞便から選択される、先行請求項のいずれか一項に記載の方法及び装置。
【請求項16】
前記サンプルは、羊水、房水、硝子体液、血液(たとえば、全血、分画血液、血漿、血清など)、母乳、脳脊髄液(CSF)、耳垢(耳糞)、乳糜、糜粥、内リンパ、外リンパ、糞便、胃酸、胃液、リンパ液、粘液(鼻漏及び痰を含む)、心膜液、腹腔液、胸膜液、膿、粘膜分泌物、唾液、皮脂(皮膚の油)、精液、痰、汗、滑液、涙、嘔吐物、尿、または呼気凝縮液である、先行請求項のいずれか一項に記載の装置及び方法。
【請求項17】
前記検体には、分子(たとえば、タンパク質、ペプチド、DNA、RNA、核酸、または他の分子)、細胞、組織、ウィルス、及びナノ粒子が含まれる、先行請求項のいずれか一項に記載の装置及び方法。
【請求項18】
前記サンプルは、非流動性だが変形可能なサンプルである、先行請求項のいずれか一項に記載の装置及び方法。
【請求項19】
前記アルゴリズムは、機械学習、人工知能、統計的方法、またはそれらの組み合わせである、先行請求項のいずれか一項に記載の装置及び方法。
【請求項20】
前記スペーサは前記モニタリングマークであり、
前記スペーサは、200ミクロン以下の略均一な高さと、固定されたスペーサ間距離(ISD)とを有する、
先行する実施形態のいずれかに記載の装置及び方法。
【請求項21】
前記モニタリングマークは、TLD(真の横寸法)及び真の体積推定を推定するために用いられる、先行請求項のいずれかに記載の装置及び方法。
【請求項22】
ステップ(b)はさらに、画像ベースのアッセイに対する画像セグメンテーションを含む、先行請求項のいずれか一項に記載の装置及び方法。
【請求項23】
ステップ(b)はさらに、画像ベースのアッセイにおける焦点チェッキングを含む、先行請求項のいずれか一項に記載の方法及び装置。
【請求項24】
ステップ(b)はさらに、前記サンプル中の検体分布の一様性を含む、先行請求項のいずれか一項に記載の方法及び装置。
【請求項25】
ステップ(b)はさらに、前記サンプル中の塊状検体に対する分析及び検出を含む、先行請求項のいずれか一項に記載の方法及び装置。
【請求項26】
ステップ(b)はさらに、前記サンプルにおける前記サンプルの前記画像内の乾燥テクスチャに対する分析を含む、先行請求項のいずれか一項に記載の方法及び装置。
【請求項27】
ステップ(b)はさらに、前記サンプル中の欠陥に対する分析を含む、先行請求項のいずれか一項に記載の方法及び装置。
【請求項28】
ステップ(b)はさらに、歪み除去、温度補正、明るさ補正、コントラスト補正としてカメラパラメータ及び条件の補正を含む、先行請求項のいずれか一項に記載の方法及び装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、米国特許仮出願第62/830,311号(2019年4月5日に出願)、及び国際特許出願第PCT/US2019/048678号(2019年8月28日に出願)(米国仮出願第62/742,247号(2018年10月5日に出願)及び第62/724,025号(2018年8月28日に出願)の利益を主張する)の一部継続出願の優先権の利益を主張する。また本出願は、国際特許出願第PCT/US2019/046971号(2019年8月16日に出願)(米国仮出願第62/764,886号(2018年8月16日に出願)及び第62/719,129号(2018年8月16日に出願)の利益を主張する)の一部継続出願である。これらの内容を基にしており、それらはその全体において参照により本明細書に組み込まれている。本明細書で述べる任意の刊行物または特許文献の全体の開示は、参照により全体的に組み込まれている。
【0002】
分野
とりわけ、本発明は、生物学的及び化学的アッセイを行うデバイス及び方法に関し、特に、歪み及び確率変数(たとえばリソース設定が限られている)を伴う不完全な状態の下でアッセイが行われるときのアッセイ検出精度、及び信頼性の向上に関する。
【背景技術】
【0003】
背景
被検体(たとえば、ヒト)から得たサンプル中のバイオマーカーをアッセイして疾患または病気を診断する際、アッセイの精度は極めて重要である。結果が間違っていると被検体にとって有害となる可能性がある。従来、アッセイの精度は「完全なプロトコルパラダイム」(すなわち、サンプルの取り扱いを含むすべてのものを正確に行うこと)によって、実現されている。このようなアプローチでは、「完全な」アッセイデバイスならびに「完全な」アッセイ性能及び動作を確実にするために、複雑な機械、専門的な操作、理想的な環境などが必要である。しかし、アッセイに含まれる少なくとも1つのパラメータが、それぞれ、アッセイデバイスまたはデバイスの動作に由来する可能性があるエラーを有し、エラーは特定のデバイスまたは特定の動作に応じてランダムとなる可能性がある場合に、アッセイの精度を向上させるシステム及び方法を開発することが強く求められている。
【発明の概要】
【0004】
概要
本発明は、とりわけ、アッセイデバイス及び/またはアッセイデバイスの動作が特定のエラーを有していて、いくつかの実施形態ではエラーがランダムであったときでも、アッセイの精度及び信頼性を向上させるデバイス及び方法に関する。
【0005】
本発明の一態様は、アッセイデバイスまたはアッセイデバイスの動作のランダムエラーまたは不完全性を、サンプル中の検体を測定して検体試験結果を生成することに加えて、検体試験結果の信頼性を測定することによって打開することである。検体試験結果は、信頼性が所定の閾値を満たすときにのみ報告し、そうでない場合には、検体試験結果は廃棄する。
【0006】
いくつかの実施形態では、信頼性測定は、アッセイしているサンプルの1つ以上のパラメータを画像化し、アルゴリズムを用いて画像を処理することによって行う。
【0007】
いくつかの実施形態では、1つ以上のモニタリング構造(すなわちピラーアレイ)をサンプルホルダのサンプル接触領域上に配置して、信頼性測定に対する情報を得る。
【0008】
本発明の一態様は、画像ベースのアッセイにおける光学システムの歪みを、サンプルホルダ上にモニタリングマークを有することによって打開することである。歪みを伴わない光学システムに対するモニタリングマークの1つ以上の光学特性を、アッセイ試験の前に決定する。歪みを伴う光学システムを用いて、モニタリングマークをサンプルとともに画像化する。アルゴリズムを用いて、歪みを伴う光学システムにおけるモニタリングマークを、歪みを伴わないものと比較して、画像ベースのアッセイにおける歪みを補正する。
【0009】
いくつかの実施形態では、アルゴリズムは機械学習モデルである。
【0010】
いくつかの実施形態では、サンプル中の検体を検出するアッセイの精度を向上させるための方法であって、アッセイの1つ以上のパラメータはランダム変動を有し、本方法は、
アッセイを用いてサンプル中の検体を検出して、検出結果を生成することと、
(i)アッセイにおけるサンプルを画像化すること、(ii)アルゴリズムを用いて画像(複数可)を処理することによって、検出結果の信頼性を判定することと、
信頼性が所定の閾値を満たすときにのみ検出結果を報告することと、を含む方法。
【0011】
いくつかの実施形態では、サンプル中の検体を検出するアッセイの精度を向上させるための装置であって、アッセイの1つ以上のパラメータはランダム変動を有し、本装置は、
サンプル中の検体を検出して検出結果を生成するアッセイであって、アッセイはサンプルホルダを有する、アッセイと、
サンプルホルダ内のサンプルを画像化する画像化装置と、
画像を用いて検出結果の信頼性を判定するアルゴリズムを記憶する非一時的な記憶媒体と、を含む装置。
【0012】
いくつかの実施形態では、アッセイ上のサンプルホルダ上の1つ以上のモニタリングマークを用いることと、信頼性を判定するために画像内のモニタリングマークを画像化することと、をさらに含み、モニタリングマークはサンプルホルダの製造において所定の光学特性を有する、いずれかの先行する実施形態における方法。
【0013】
いくつかの実施形態では、サンプルホルダ上の1つ以上のモニタリングマークをさらに含み、モニタリングマークは、サンプルホルダの製造において所定の光学特性を有し、信頼性を判定するために画像内で画像化される、いずれかの先行する実施形態における装置。
【0014】
いくつかの実施形態では、サンプル中の検体を検出する画像ベースのアッセイの精度を向上させるための方法であって、アッセイは、歪みを伴う光学システムを有し、本方法は、
サンプル接触面を有するサンプルホルダを有することであって、(i)サンプル接触面上に200nm厚以下の薄層を形成するサンプル及び(ii)サンプル接触面上のサンプル上の1つ以上のモニタリングマーク、モニタリングマークは、サンプルホルダの製造中に予め決められた第1の組のパラメータを有する、有することと、
アッセイの光学システムを用いて、モニタリングマークとともにサンプルホルダ内のサンプルの1つ以上の画像を取ることであって、モニタリングマークは画像内に第2の組のパラメータを有する、取ることと、
プロセッサを用いて1つ以上の画像を処理することであって、プロセッサは、アルゴリズムと第1の組及び第2の組のパラメータとを用いることによって光学システムの歪みを検出する、処理することと、を含む方法。
【0015】
いくつかの実施形態では、サンプル中の検体を検出する画像ベースのアッセイの精度を向上させるための装置であって、アッセイは、歪みを伴う光学システムを有し、本装置は、
サンプル接触面を有するサンプルホルダであって、(i)サンプル接触面上に200nm厚以下の薄層を形成するサンプル及び(ii)サンプル接触面上のサンプル上の1つ以上のモニタリングマーク、モニタリングマークは、サンプルホルダの製造中に予め決められた第1の組のパラメータを有する、サンプルホルダと、
モニタリングマークとともにサンプルホルダ内のサンプルの1つ以上の画像を取るためのアッセイの光学システムであって、モニタリングマークは画像内に第2の組のパラメータを有する、光学システムと、
アルゴリズムを記憶する非一時的な記憶媒体を伴うプロセッサであって、アルゴリズムと第1の組及び第2の組のパラメータとを用いることによって、1つ以上の画像を処理して光学システムの歪みを補正する、プロセッサと、を含む装置。
【0016】
いくつかの実施形態では、アルゴリズムは機械学習モデルである、いずれかの先行する実施形態における方法。
【0017】
いくつかの実施形態では、信頼性には、(1)血液のエッジ、(2)気泡血液、(3)血液量が少なすぎるかまたは血液量が多すぎる、(4)スペーサの下の血球、(5)塊状の血球、(6)溶解した血球、(7)サンプルの画像が露出過多である、(8)サンプルの画像が露出不足である、(8)サンプルの焦点が不十分である、(9)不適切なレバー位置としての光学システムエラー、(10)カードが閉じていない、(12)スペーサが無いカードとしての不適切なカード、(12)カード内のホコリ、(14)カード内のオイル、(14)カード上の焦点面から汚れが出ている、(15)カードが読取機の内部の正しい位置にない、(16)カードが空である、(17)カード内の製造エラー、(18)他の応用例に対する不適切なカード、(19)血液が乾燥している、(20)カードの有効期限が切れている、(21)血球の分布が大きく変化している、(22)血液サンプルが無い、または(23)標的血液サンプルが無い、が含まれる、いずれかの先行する実施形態における方法。
【0018】
いくつかの実施形態では、アルゴリズムは機械学習である、いずれかの先行する実施形態における方法。
【0019】
いくつかの実施形態では、サンプルには、ランダム変動を有するパラメータのうちの少なくとも1つが含まれ、パラメータには、ホコリ、気泡、無サンプル材料、またはそれらの任意の組み合わせを有することが含まれる、いずれかの先行する実施形態における方法。
【0020】
いくつかの実施形態では、アッセイは、細胞アッセイ、イムノアッセイ、核酸アッセイ、比色分析アッセイ、発光アッセイ、またはそれらの任意の組み合わせである、いずれかの先行する実施形態における方法。
【0021】
いくつかの実施形態では、アッセイデバイスは、ギャップを介して互いに向き合う2つのプレートを含み、サンプルの少なくとも一部はギャップの内部にある、いずれかの先行する実施形態における方法。
【0022】
いくつかの実施形態では、アッセイデバイスはQMAXを含み、互いに対して移動可能な2つのプレートと、プレート間の間隔を調節するスペーサとを含む、いずれかの先行する実施形態における方法。
【0023】
いくつかの実施形態では、モニタリング構造のうちのいくつかは周期的に配列されている、いずれかの先行する実施形態における方法。
【0024】
いくつかの実施形態では、サンプルは細胞、組織、体液、及び糞便から選択される、いずれかの先行する実施形態における方法。
【0025】
サンプルは、羊水、房水、硝子体液、血液(たとえば、全血、分画血液、血漿、血清など)、母乳、脳脊髄液(CSF)、耳垢(耳糞)、乳糜、糜粥、内リンパ、外リンパ、糞便、胃酸、胃液、リンパ液、粘液(鼻漏及び痰を含む)、心膜液、腹腔液、胸膜液、膿、粘膜分泌物、唾液、皮脂(皮膚の油)、精液、痰、汗、滑液、涙、嘔吐物、尿、または呼気凝縮液である、いずれかの先行請求項の装置及び方法。
【0026】
検体には、分子(たとえば、タンパク質、ペプチド、DNA、RNA、核酸、または他の分子)、細胞、組織、ウィルス、及びナノ粒子が含まれる、いずれかの先行請求項の装置及び方法。
【0027】
サンプルは、非流動性だが変形可能なサンプルである、いずれかの先行請求項の装置及び方法。
【0028】
アルゴリズムは機械学習、人工知能、統計的方法、またはそれらの組み合わせである、いずれかの先行請求項の装置及び方法。
【0029】
スペーサはモニタリングマークであり、スペーサは、200ミクロン以下の略均一な高さと、固定されたスペーサ間距離(ISD)とを有する、いずれかの先行する実施形態の装置及び方法。
【0030】
モニタリングマークは、TLD(真の横寸法)及び真の体積推定を推定するために用いられる、いずれかの先行請求項の装置及び方法。
【0031】
ステップ(b)はさらに、画像ベースのアッセイに対する画像セグメンテーションを含む、いずれかの先行請求項の装置及び方法。
【0032】
いくつかの実施形態では、ステップ(b)はさらに、画像ベースのアッセイにおける焦点チェッキングを含む、いずれかの先行する実施形態における方法。
【0033】
いくつかの実施形態では、ステップ(b)はさらに、サンプル中の検体分布の一様性を含む、いずれかの先行する実施形態における方法。
【0034】
いくつかの実施形態では、ステップ(b)はさらに、サンプル中の塊状検体に対する分析及び検出を含む、いずれかの先行する実施形態における方法。
【0035】
いくつかの実施形態では、ステップ(b)はさらに、サンプルにおけるサンプルの画像内の乾燥テクスチャに対する分析を含む、いずれかの先行する実施形態における方法。
【0036】
いくつかの実施形態では、ステップ(b)はさらに、サンプル中の欠陥に対する分析を含む、いずれかの先行する実施形態における方法。
【0037】
いくつかの実施形態では、ステップ(b)はさらに、歪み除去、温度補正、明るさ補正、コントラスト補正としてのカメラパラメータ及び条件の補正を含む、いずれかの先行する実施形態における方法。
【0038】
当業者であれば分かるように、以下に説明する図面は単に例示を目的としている。図面は本教示の範囲を限定することは決して意図していていない。図面は全体的に一定の割合というわけではない。実験データポイントを示す図において、データポイントを接続する線は単にデータの視認をガイドするためのものであり、他の意味はない。
【図面の簡単な説明】
【0039】
【
図1】特別なサンプルホルダを用いる画像ベースのアッセイのフローチャートを示す図である。
【
図2】モニタリングマークピラーを伴うサンプルホルダ、Qカード、の側面図及び平面図である。
【
図3】並行信頼性危険性推定を伴うブロック図である。
【
図4】信頼性危険性推定を伴う画像化ベースのアッセイの制御フローを示す図である。
【
図5】ピラー検出用にトレーニングされた機械学習モデルを用いた真の横寸法補正のフロー図である。
【
図6】サンプルの画像からピラーを検出するための機械学習(ML)モデルをトレーニングするフロー図である。
【
図7】機械学習モデルをトレーニングすることと、トレーニングされた機械学習モデルを予測(推論)において適用することとの間の関係を示す図である。
【
図8】アッセイング用のサンプル中に現れる可能性がある欠陥(たとえば、ホコリ、気泡など)の図である。
【
図9】アッセイング用サンプルの画像内の欠陥を伴う血液試験における実像を示す図である。
【
図10】説明するアプローチを用いたサンプルの画像上での欠陥検出及びセグメンテーションを示す図である。
【
図11】微視的な写真撮影におけるオート焦点の図である。
【
図12】既知の歪みパラメータを用いた歪み除去の図である。
【
図13】既知の歪みパラメータを用いない歪み除去及びカメラ調整の図である。
【
図14】画像化装置の歪みからサンプルの画像内でのモニタリングマークピラーの歪み位置を示す図である。
【発明を実施するための形態】
【0040】
例示的な態様の詳細な説明
以下の詳細な説明では、本発明のいくつかの実施形態を一例として限定としてではなく例示する。本明細書で用いるセクション見出し及びサブタイトルは、単に構成上の目的であり、決して記載の主題を限定するものと解釈してはならない。セクション見出し及び/またはサブタイトル下の内容は、セクションヘッディング及び/またはサブタイトルには限定されず、本発明の全体の記載に適用される。
【0041】
任意の刊行物についてその引用は、出願日前のその開示を見るためであり、先行発明により本特許請求の範囲にはこのような刊行物に先行する権利はないと認めるものであると解釈してはならない。さらに、示した刊行物の日付は、独立に確認する必要があり得る実際の刊行日付とは異なる可能性がある。
【0042】
用語「信頼性」、「エラー危険性」、「エラー危険因子」及び「危険因子」は、試験結果が不正確である可能性を説明する互換性のある用語である。「信頼性」が高いことは、「可能性」が少ないこと(すなわち、危険性が小さい)こと、したがって「危険因子」が低いことを意味する。
【0043】
用語「命令」及び「算術」は互換性がある。
【0044】
「画像化ベースのアッセイ」の用語は、サンプル中の検体を検出する際に画像化装置を含むアッセイを指す。
【0045】
試験結果の信頼性をチェックすることによってアッセイ精度を向上させる
試験精度を向上させるための信頼性ベースの試験報告の例。多くのアッセイング状況において、アッセイの動作、サンプルの取り扱い、及びアッセイ動作に関係する他のプロセスにはランダム変動が存在し、これらのランダム変動はアッセイの試験結果精度に影響する可能性がある。
【0046】
本発明によれば、アッセイ動作パラメータをモニタするためのモニタリング構造を、サンプルホルダ上(いくつかの実施形態では、試験しているサンプル領域内)に配置する。
図1のフローチャートに示す一例として、試験中に、サンプル中の検体及びモニタリング構造の両方を測定し(並行または順次に)、モニタリング構造測定から、命令(命令を記憶する非一時的な記憶媒体)を通して、検体測定の信頼性を判定することを決定する。信頼性が閾値よりも高い(すなわち、危険因子が閾値よりも低い)場合、検体測定結果を報告し、そうでない場合には、検体測定結果は報告しない。
【0047】
信頼性が不十分である(閾値よりも高い)ために、検体測定結果を報告しない場合、任意的に、第2のサンプル及び/または第2の試験を第1の場合と同様に試験する。もし第2のサンプル及び/または試験でも信頼性が不十分である場合には、第3のサンプル及び/または試験を行う。信頼性検体測定結果を報告するまで、プロセスを続ける可能性がある。
【0048】
モニタリング構造の例としては、限定することなく、Qカード(すなわちQMAXカード)上のスペーサ、スケールマーク、画像化マーク、及び場所マークが挙げられる。
図2はサンプルホルダQカードの図である。モニタリングパラメータとしては、限定することなく、モニタリング構造、光透過、光散乱、色(波長スペクトル)、偏光などの画像が挙げられる。モニタリングパラメータとしてはQカード上のサンプル画像も挙げられる。信頼性があるかないかを決定する命令は、理想的なものから外れた種々の状態下で試験を行うことによって関係することができる。いくつかの実施形態では、機械学習を用いて、信頼性の閾値をどのように決定するかを学習する。
【0049】
いくつかの実施形態では、モニタリングパラメータは、サンプルホルダ動作及び状態、サンプル状態、もしくは試薬状態、または測定値器具状態に関係する。
【0050】
アッセイの試験結果精度を向上させるための方法であって、
モニタリングマークを伴うサンプルホルダを有することと、
サンプルホルダ上にサンプルを有することであって、サンプルは検体を含むと疑われるかまたは含んでいる、有することと、
検体を測定して検体測定結果(すなわち、試験結果)を生成することと、モニタリングマークを測定してモニタリングパラメータを生成することとを、並行または順次に行うことと、
命令及びモニタリングパラメータを用いて、検体測定結果の信頼性を判定することと、
検体測定結果を報告することを決定することと、を含む方法。
【0051】
図3に、信頼性チェッキングを伴うアッセイングの図を示す。いくつかの実施形態では、信頼性が高い(危険因子が低い)ときにのみ検体測定結果を報告する。いくつかの実施形態では、信頼性が低いとき、検体測定結果は報告しない。いくつかの実施形態では、信頼性が低いとき、第1のサンプルの検体測定結果は報告せず、第2のサンプルを用いて前述と同じプロセスを経る。いくつかの実施形態では、高い信頼性検体測定結果が実現されるまでプロセスを繰り返す。
【0052】
モニタリングパラメータを測定することによって試験精度を向上させるためのデバイスには、モニタリング構造を伴うサンプルカード、画像化装置、及び試験結果の信頼性を判定するための命令を記憶する媒体が含まれる。
【0053】
画像処理及び機械学習を用いた携帯型アッセイング(QMAXカード付き)の方法及び装置-濃度の推定(CBC)、セグメンテーションなどに対する例。
【0054】
AA-1.
薄層サンプルを含む画像システムのシステムエラーを補正するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードに付随する画像及び第1のパラメータを受け取ることと、
処理装置によって、第1の機械学習モデルを用いることによって、第1のパラメータをサンプルカードの製造中に決定されるモニタ基準に付随する第2のパラメータと比較することによって、画像システムのシステムエラーを決定することと、
処理装置によって、システムエラーを考慮してサンプルカードの画像を補正することと、
処理装置によって、補正した画像を用いることによって、サンプルの生物学的特性を決定することと、を含む方法。
【0055】
AA-2.
モニタ基準はサンプルカードのプレート上の複数のナノ構造を含み、サンプルはプレート上に堆積されている例AA-1の方法。
【0056】
AA-3.
サンプルは、動物から収集した生物学的サンプルである例AA-1の方法。
【0057】
図5に、ピラーを用いた真の横寸法(TLD)推定、及びマーカー(ピラー)を用いてQカードの画像化から画像補正を行うためのフローチャートを示す。
【0058】
BA-1.
インテリジェントアッセイモニタ方法であって、
サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を、処理装置によって受け取ることと、
処理装置によって、画像に対して第1の機械学習モデルを実行することによって、複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
処理装置によって、幾何学的特徴の測定値とサンプルカードによって与えられる幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
処理装置によって、変化に基づいて、第1の情報及び第2の情報をエンコードする画像を補正することと、
処理装置によって、補正した画像を用いることによって、生物学的サンプルの生物学的特性を決定することと、を含む方法。
【0059】
BA-2.
サンプルカードには、第1のプレートと、第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、第1のプレートを囲んで生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、が含まれる例BA-1の方法。
【0060】
BA-3.
複数のモニタマークは複数のピラーに対応する例BA-2の方法。
【0061】
BA-4.複数のピラーのうち少なくとも2つが真の横寸法(TLD)によって分離され、処理装置によって、画像に対して第1の機械学習モデルを実行することによって、複数のモニタマークに付随する幾何学的特徴の測定値を決定することには、処理装置によって、画像に対して第1の機械学習モデルを実行することによって、TLDを決定することが含まれる例BA-3の方法。
【0062】
図6に、モニタリングマークピラーを用いてTLD補正においてピラー検出を行うための機械学習モデルをトレーニングするフロー図を示す。
図7に、関係機械学習モデルをトレーニングすることと、トレーニングされた機械学習モデルを予測(推論)において適用することとの間の関係を示す。
【0063】
BB-1.
画像システムであって、
第1のプレートと、第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、第1のプレートを囲んで生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、を含むサンプルカードと、
コンピューティングデバイスと、を含み、コンピューティングデバイスは、
光学センサに通信可能に結合された処理装置を含み、処理装置は、
光学センサから、サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を受け取ることと、
画像に対して第1の機械学習モデルを用いることによって、複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
幾何学的特徴の測定値とサンプルカードによって与えられる幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
変化に基づいて、第1の情報及び第2の情報をエンコードする画像を補正することと、
補正した画像に基づいて、生物学的サンプルの生物学的特性を決定することと、を行う画像システム。
【0064】
アッセイングにおけるカードの不適切な閉検出に対するピラー上の物体の検出
CA-1.
薄層サンプルのアッセイ画像に記録された人間操作エラーを補正するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準にはサンプルカードの第1のプレート上に一体化された複数のナノ構造が含まれ、サンプルは、サンプルカードの開構成において第1のプレート上に堆積され、サンプルカードの閉構成においてサンプルカードの第2のプレートによって囲まれる、受け取ることと、
処理装置によって、画像を、サンプルに対応する第1のサブ領域と複数のナノ構造に対応する第2のサブ領域とにセグメント化することと、
処理装置によって、第2のサブ領域を、サンプルの製造中に与えられるモニタ基準と比較して、第2のサブ領域のうちの少なくとも1つにナノ構造以外の異物が含まれるか否かを判定することと、
第2のサブ領域のうちの少なくとも1つにナノ構造以外の異物が含まれるという決定に応じて、サンプルカードの操作に付随するエラーを決定することと、
画像から少なくとも1つのサブ領域を取り除くことによってサンプルカードの画像を補正することと、を含む方法。
【0065】
CA-2.
異物はサンプルの一部、気泡、または不純物のうちの1つである例CA-1の方法。
【0066】
アッセイングにおける欠陥(たとえば気泡、ホコリなど)及び補助構造(たとえば、ピラー)除去に対する例
DA-1.
薄層サンプルカード内のサンプルの体積を測定するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準にはサンプルの第1のプレートに垂直に一体化された複数のピラーが含まれ、複数の各ピラーは高さ(H)が実質的に同一である、受け取ることと、
処理装置によって、機械学習モデルを用いることによって、複数の無サンプルサブ領域を決定することであって、複数の無サンプルサブ領域はピラー、気泡、または不純物要素のうちの少なくとも1つに対応する、決定することと、
処理装置によって、画像から複数の無サンプルサブ領域を取り除くことによってサンプルによって占有された面積を計算することと、
処理装置によって、計算した面積及び高さ(H)に基づいてサンプルの体積を計算することと、
処理装置によって、体積に基づいて、サンプルの生物学的特性を決定することと、を含む方法。
【0067】
アッセイ結果の信頼性を判定する例
a.MLベースの境界ボックス検出と画像処理ベースの形状決定とを結合する形状セグメンテーション
b.アッセイングにおける検体検出の一様性(IQRベースの外れ値検出)
c.MLを用いた塊状検体検出
d.MLを用いたカード上の乾燥テクスチャ検出
e.MLを用いた欠陥(たとえば、ホコリ、オイルなど)検出
f.MLを用いた気泡検出
【0068】
EA-1.
画像アッセイ結果に付随する信頼性測定値を決定するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準にはサンプルの第1のプレートに一体化された複数のナノ構造が含まれる、受け取ることと、
処理装置によって、画像を、サンプルに対応する第1のサブ領域と複数のナノ構造に対応する第2のサブ領域とにセグメント化することと、
処理装置によって、第1の機械学習モデルを用いることによって、第1のサブ領域または第2のサブ領域のうちの少なくとも1つにおける不適合な要素を決定することと、
処理装置によって、第1のサブ領域及び第2のサブ領域に基づいて、サンプルの生物学的特性を決定することと、
処理装置によって、不適合な要素の統計分析に基づいて、生物学的特性に付随する信頼性測定値を計算することと、
処理装置によって、信頼性測定値に基づいて、サンプルに対するさらなる操作を決定することと、を含む方法。
【0069】
EA-2.
例EA-1の方法であって、さらに、
処理装置によって、信頼性測定値に基づいて、生物学的特性は信頼性が高いと判定することと、
処理装置によって、生物学的特性を表示デバイスに送ることと、を含む方法。
【0070】
EA-3.
例EA-1の方法であって、さらに、
処理装置によって、信頼性測定値に基づいて、生物学的特性はそれほど信頼性が高くないと判定することと、
処理装置によって、生物学的特性及び対応する信頼性測定値を表示デバイスに送って生物学的特性を受け入れるか廃棄するかをユーザが判定できるようにすることと、を含む方法。
【0071】
EA-4.
例EA-1の方法であって、処理装置によって、画像を、サンプルに対応する第1のサブ領域と複数のナノ構造に対応する第2のサブ領域とにセグメント化することには、
処理装置によって、画像処理方法を用いることによって、画像に対して第1の画像セグメンテーションを行うことによって、第1のセグメンテーション結果を生成することと、
処理装置によって、第2の機械学習モデルを用いることによって、画像に対して第2の画像セグメンテーションを行うことによって、第2のセグメンテーション結果を生成することと、
処理装置によって、第1のセグメンテーション結果と第2のセグメンテーション結果とを結合することによって、画像を、サンプルに対応する第1のサブ領域と複数のナノ構造に対応する第2のサブ領域とにセグメント化することと、が含まれる方法。
【0072】
EA-5.
例EA-1の方法であって、処理装置によって、第1の機械学習モデルを用いることによって、第1のサブ領域または第2のサブ領域のうちの少なくとも1つにおける不適合な要素を決定することには、
処理装置によって、サンプル中の少なくとも1つの検体の分布不均一に基づいて、不適合要素を決定すること、
処理装置によって、サンプルの塊状検体検出に基づいて、不適合要素を決定すること、
処理装置によって、サンプル中の乾燥テクスチャの検出に基づいて、不適合要素を決定すること、
処理装置によって、サンプル中の不純物の検出に基づいて、不適合要素を決定すること、または
処理装置によって、サンプル中の気泡の検出に基づいて、不適合要素を決定すること、のうちの少なくとも1つが含まれる方法。
【0073】
セグメンテーションに基づく中身を伴う単一カードに対するマルチセグメント化された試験
FA-1.
単一のサンプルカードを用いて複数の検体の測定値を決定するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準にはサンプルの第1のプレートに一体化された複数のナノ構造が含まれる、受け取ることと、
処理装置によって、第1の機械学習モデルを用いることによって、画像を、サンプルに含まれる第1の検体に付随する第1のサブ領域と、サンプルに含まれる第2の検体に付随する第2の領域と、複数のナノ構造に対応する第3のサブ領域とにセグメント化することと、
処理装置によって、複数のナノ構造に対応する第3のサブ領域に基づいて、2つの隣接するナノ構造間の真の横方向距離(TLD)を決定することと、
処理装置によって、TLDに基づいて、第1のサブ領域の第1の累積面積を決定し、さらに第1の累積面積と複数のナノ構造に付随する高さとに基づいて第1の体積を決定することと、
処理装置によって、TLDに基づいて、サブ領域の第2の累積面積を決定し、さらに第2の累積面積と複数のナノ構造に付随する高さとに基づいて第2の体積を決定することと、
処理装置によって、第1の体積内の第1の検体のカウントに基づいて、第1の検体の第1の測定値を決定することと、
処理装置によって、第2の体積内の第2の検体のカウントに基づいて、第2の検体の第2の測定値を決定することと、を含む方法。
【0074】
ピラーベースの分光光度計のシステム及び装置
GA-1.
複数のナノピラーを含むサンプルカード内に与えられたサンプルの生物学的特性を測定するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準にはサンプルの第1のプレートに一体化された複数のナノ構造が含まれる、受け取ることと、
処理装置によって、画像を、サンプルに対応する第1のサブ領域と複数のナノピラーに対応する第2のサブ領域とにセグメント化することと、
処理装置によって、第1のサブ領域の第1の分光光度測定値を決定することと、
処理装置によって、第2のサブ領域の第2の分光光度測定値を決定することと、
処理装置によって、第1の分光光度測定値と第2の分光光度測定値との間の比に基づいて、サンプルの生物学的特性を決定することと、を含む方法。
【0075】
GA-2.特定の波長の光または多波長の光において化合物の測定した応答を用いて化合物濃度を分析する方法であって、
特定または多波長の光によってサンプルカード上で取った画像または複数の画像を、画像システムの処理装置によって受け取ることであって、サンプルカードはサンプルとモニタ基準とを含み、モニタ基準にはサンプルの第1のプレートに一体化された複数のナノ構造が含まれる、受け取ることと、
処理装置によって、各画像を、サンプルに対応する第1のサブ領域と複数のナノピラーに対応する第2のサブ領域とにセグメント化することと、
異なる波長で取ったサンプルの画像から、サンプルからの第1のサブ領域における光吸収を決定することと、
異なる波長で取ったサンプルの画像から、ナノピラーからの第2のサブ領域における光吸収を決定することと、
1つまたは複数の波長におけるこれらの2つのサブ領域の光吸収測定値から化合物濃度を決定することと、を含む方法。
【0076】
また、本発明のいくつかの実施形態では、各画像を検出して、サンプルに対応する第1のサブ領域と複数のナノピラーに対応する第2のサブ領域とにセグメント化することは、標識化されたナノピラーによってトレーニング画像サンプル上でトレーニングされた機械学習モデルに基づく。
【0077】
大量の小さくて繰り返される物体の標識化
HA-1.
トレーニングデータを調製するために画像内の複数の物体を標識化するための方法であって、
処理装置によって、グラフィックユーザインターフェースにおける画像を受け取ることと、
処理装置によって、グラフィックユーザインターフェースを通して、画像内の位置の選択を受け取ることと、
処理装置によって、位置の近くの複数の画素に基づいて、位置を囲む境界ボックスを計算することと、
処理装置によって、グラフィックユーザインターフェースにおける画像に重ねられた境界ボックスの表示をもたらすことと、
ユーザ確認を受け取ることに応じて、境界ボックス内の領域をトレーニングデータとして標識化することと、を含む方法。
【0078】
IA-1.アッセイ画像を調製するための方法であって、
複数のマーカー要素を含むサンプルカードを用意することと、
開構成のサンプルカードの第1のプレート上にサンプルを堆積させることと、
サンプルカードを閉じて、サンプルカードの第2のプレートを第1のプレートに対して押して、閉構成にすることであって、閉構成にある第1のプレート及び第2のプレートは、略均一な厚さのサンプルと複数のマーカー要素とを含む薄層を形成する、閉較正にすることと、
処理装置と命令を記憶する非一時的な記憶媒体とを含む画像システムを用意することであって、命令は処理装置によって実行されると、
略均一な厚さのサンプルと複数のマーカー要素とを含むサンプルカードの画像を取ることと、
画像内の複数のマーカー要素を検出することと、
検出した複数のマーカー要素をサンプルカードに付随するモニタ基準と比較して、複数のマーカー要素とモニタ基準との間の幾何学的マッピングを決定することと、
幾何学的マッピングに基づいて画像システムの非理想因子を決定することと、
非理想因子を補正するようにサンプルカードの画像を処理することと、を行う用意することと、を含む方法。
【0079】
IB-1.アッセイ画像を調製するための方法であって、
複数のマーカー要素を含むサンプルカードを用意することと、
開構成のサンプルカードの第1のプレート上にサンプルを堆積させることと、
サンプルカードを閉じて、サンプルカードの第2のプレートを第1のプレートに対して押して、閉構成にすることであって、閉構成にある第1のプレート及び第2のプレートは、略均一な厚さのサンプルと複数のマーカー要素とを含む薄層を形成する、閉較正にすることと、
処理装置と命令を記憶する非一時的な記憶媒体とを含む画像システムを用意することであって、命令は処理装置によって実行されると、
略均一な厚さのサンプルと複数のマーカー要素とを含むサンプルカードの画像を取ることと、
画像を複数のサブ領域に分割することと、
機械学習モデル及び複数のマーカー要素を用いて、複数の各サブ領域が画像システムの要求を満たすか否かを判定することと、
サブ領域が要求を満たさないという判定に応じて、第1のサブ領域を不適合であると標識化することと、
サブ領域が要求を満たすという判定に応じて、第1のサブ領域を適合していると標識化することと、
画像の適合しているサブ領域を用いてアッセイ分析を実行することと、を行う用意することと、を含む方法。
【0080】
IC-1.画像システムの非理想因子を補正するための方法であって、
画像システムの処理装置によって、サンプルカードの画像を受け取ることであって、サンプルカートには、サンプルカードのプレート上に堆積された略均一な層のサンプルとサンプルカードに付随する複数のマーカー要素とが含まれる、受け取ることと、
処理装置によって、画像内の複数のマーカー要素を検出することと、
検出した複数のマーカー要素をサンプルカードに付随するモニタ基準と比較して、複数のマーカー要素とモニタ基準との間の幾何学的マッピングを決定することと、
幾何学的マッピングに基づいて画像システムの非理想因子を決定することと、
サンプルカードの画像を処理して非理想因子を補正することと、を含む方法。
【0081】
ID-1.画像システムの非理想因子を補正するための方法であって、
画像システムの処理装置によって、サンプルカードの画像を受け取ることであって、サンプルカートには、サンプルカードのプレート上に堆積された略均一な層のサンプルとサンプルカードに付随する複数のマーカー要素とが含まれる、受け取ることと、
処理装置によって、画像を複数のサブ領域に分割することと、
処理装置によって、機械学習モデル及び複数のマーカー要素を用いて、複数の各サブ領域が画像システムの要求を満たすか否かを判定することと、
サブ領域が要求を満たさないという判定に応じて、処理装置によって、第1のサブ領域を不適合であると標識化することと、
サブ領域が要求を満たすという判定に応じて、処理装置によって、第1のサブ領域を適合していると標識化すること、
処理装置によって、画像の適合しているサブ領域を用いてアッセイ分析を行うことと、を含む方法。
【0082】
IE-1.画像システムであって、
第1のプレート、第2のプレート、及び複数のマーカー要素を含むサンプルカードを保持するアダプタと、
アダプタに結合されたモバイルコンピューティングデバイスと、を含み、モバイルコンピューティングデバイスは、
複数のマーカー要素及びサンプルカードの画像を取る光学センサであって、サンプルカードには、サンプルカードの第1のプレートと第2のプレートとの間に堆積された略均一な層のサンプルが含まれる、光学センサと、
光学センサに通信可能に結合された処理装置と、を含み、処理装置は、
光学センサが取った画像を受け取ることと、
画像内の複数のマーカー要素を検出することと、
検出した複数のマーカー要素をサンプルカードに付随するモニタ基準と比較して、複数のマーカー要素とモニタ基準との間の幾何学的マッピングを決定することと、
幾何学的マッピングに基づいて画像システムの非理想因子を決定することと、
非理想因子を補正するようにサンプルカードの画像を処理することと、を行う画像システム。
【0083】
IF-1.画像システムであって、
第1のプレート、第2のプレート、及び複数のマーカー要素を含むサンプルカードを保持するアダプタと、
アダプタに結合されたモバイルコンピューティングデバイスと、を含み、モバイルコンピューティングデバイスは、
複数のマーカー要素及びサンプルカードの画像を取る光学センサであって、サンプルカードには、サンプルカードの第1のプレートと第2のプレートとの間に堆積された略均一な層のサンプルが含まれる、光学センサと、
光学センサに通信可能に結合された処理装置と、を含み、処理装置は、
光学センサが取った画像を受け取ることと、
分画像を複数のサブ領域に分割することと、
機械学習モデル及び複数のマーカー要素を用いて、複数の各サブ領域が画像システムの要求を満たすか否かを判定することと、
サブ領域が要求を満たさないという判定に応じて、第1のサブ領域を不適合であると標識化することと、
サブ領域が要求を満たすという判定に応じて、第1のサブ領域を適合していると標識化することと、
画像の適合しているサブ領域を用いてアッセイ分析を実行することと、を行う画像システム。
【0084】
IG-1.モバイル画像化デバイスであって、
光学センサと、
光学センサに通信可能に結合された処理装置と、を含み、処理装置は、
光学センサが取った画像を受け取ることであって、画像には、複数のマーカー要素と、サンプルカードの第1のプレートと第2のプレートとの間に堆積された略均一な層のサンプルとが含まれる、受け取ることと、
画像内の複数のマーカー要素を検出することと、
検出した複数のマーカー要素をサンプルカードに付随するモニタ基準と比較して、複数のマーカー要素とモニタ基準との間の幾何学的マッピングを決定することと、
幾何学的マッピングに基づいて画像システムの非理想因子を決定することと、
非理想因子を補正するようにサンプルカードの画像を処理することと、を行うモバイル画像化デバイス。
【0085】
IH-1.モバイル画像化デバイスであって、
光学センサと、
光学センサに通信可能に結合された処理装置と、を含み、処理装置は、
光学センサが取った画像を受け取ることであって、画像には、複数のマーカー要素と、サンプルカードの第1のプレートと第2のプレートとの間に堆積された略均一な層のサンプルとが含まれる、受け取ることと、
画像を複数のサブ領域に分割することと、
機械学習モデル及び複数のマーカー要素を用いて、複数の各サブ領域が画像システムの要求を満たすか否かを判定することと、
サブ領域が要求を満たさないという判定に応じて、第1のサブ領域を不適合であると標識化することと、
サブ領域が要求を満たすという判定に応じて、第1のサブ領域を適合していると標識化することと、
画像の適合しているサブ領域を用いてアッセイ分析を実行することと、を行うモバイル画像化デバイス。
【0086】
II-1.インテリジェントアッセイモニタ方法であって、
サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を、処理装置によって受け取ることと、
処理装置によって、画像に対して第1の機械学習モデルを実行することによって、複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
処理装置によって、幾何学的特徴の測定値とサンプルカードによって与えられる幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
処理装置によって、変化に基づいて、第1の情報及び第2の情報をエンコードする画像を補正することと、
処理装置によって、補正した画像を用いることによって、生物学的サンプルの生物学的特性を決定することと、を含むインテリジェントアッセイモニタ方法。
【0087】
II-2.
サンプルカードには、第1のプレートと、第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、第1のプレートを囲んで生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、が含まれる例II-1の方法。
【0088】
II-3.
複数のモニタマークは複数のピラーに対応する請求項II-2の方法。
【0089】
II-4.
複数のモニタマークは、第1のプレートまたは第2のプレートの少なくとも一方内に与えられる請求項II-2の方法。
【0090】
II-5.
【0091】
II-1の方法であって、処理装置によって、画像に対して第1の機械学習モデルを実行することによって、複数のモニタマークに付随する幾何学的特徴の測定値を決定することにはさらに、
処理装置によって、第1の機械学習モデルを実行することによって、画像から複数のモニタマークを特定することと、
処理装置によって、特定した複数のモニタマークに基づいて、幾何学的特徴の測定値を決定することと、が含まれる方法。
【0092】
II-6.
請求項II-1の方法であって、処理装置によって、幾何学的特徴の測定値とサンプルカードによって与えられる幾何学的特徴のグラウンドトゥルース値との間の変化を決定することにはさらに、
処理装置によって、システムエラーまたは人間操作エラーの一方を決定することと、
システムエラーまたは人間操作エラーの決定した一方を、処理装置に付随する表示デバイス上に示すことと、が含まれる方法。
【0093】
II-7.
画像システムであって、
第1のプレートと、第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、第1のプレートを囲んで生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、を含むサンプルカードと、
コンピューティングデバイスと、を含み、コンピューティングデバイスは、
光学センサに通信可能に結合された処理装置を含み、処理装置は、
光学センサから、サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を受け取ることと、
画像に対して第1の機械学習モデルを用いることによって、複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
幾何学的特徴の測定値とサンプルカードによって与えられる幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
変化に基づいて、第1の情報及び第2の情報をエンコードする画像を補正することと、
補正した画像に基づいて、生物学的サンプルの生物学的特性を決定することと、を行う画像システム。
【0094】
IJ-1.
薄層サンプルのアッセイ画像における非理想因子を補正するための方法であって、
モニタ基準を含むサンプルカードであって、モニタ基準はサンプルカードのプレート上に複数のナノ構造を含む、サンプルカードを用意することと、
サンプルカードのプレート上にサンプルを堆積させることと、
処理装置と命令を記憶する非一時的な記憶媒体とを含む画像システムを用意することであって、命令は処理装置によって実行されると、
サンプルとモニタ基準とを含むサンプルカードの画像を取ることと、
サンプルカードの画像をサンプルカードの製造中に決定されるモニタ基準の複数の幾何学的値と比較することによって、画像システムの非理想因子を決定することと、
非理想因子を考慮してサンプルカードの画像を補正することと、を含む方法。
【0095】
IJ-2.
薄層サンプルのアッセイ画像における非理想因子を補正するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準はサンプルカードのプレート上に複数のナノ構造を含み、サンプルはプレート上に堆積されている、受け取ることと、
処理装置によって、サンプルカードの画像をサンプルカードの製造中に決定されるモニタ基準の複数の幾何学的値と比較することによって、画像システムの非理想因子を決定することと、
非理想因子を考慮してサンプルカードの画像を補正することと、を含む方法。
【0096】
IJ-3.
薄層サンプルのアッセイ画像における非理想因子を補正するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準はサンプルカードのプレート上に複数のナノ構造を含み、サンプルはプレート上に堆積されている、受け取ることと、
処理装置によって、機械学習モデルを用いて、画像システムの非理想因子を決定することであって、サンプルカードの画像をサンプルカードの製造中に決定されるモニタ基準の幾何学的値と比較することによって、機械学習モデルをトレーニングする、決定することと、
非理想因子を考慮してサンプルカードの画像を補正することと、を含む方法。
【0097】
IJ-4.
モバイル画像化デバイスであって、
光学センサと、
光学センサに通信可能に結合された処理装置と、を含み、処理装置は、
サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準はサンプルカードのプレート上に複数のナノ構造を含み、サンプルはプレート上に堆積されている、受け取ることと、
サンプルカードの画像をサンプルカードの製造中に決定されるモニタ基準の複数の幾何学的値と比較することによって、モバイル画像化システムの非理想因子を決定することと、
非理想因子を考慮してサンプルカードの画像を補正することと、を行うモバイル画像化デバイス。
【0098】
IJ-5.
画像システムであって、
モニタ基準を含むサンプルカードを保持するアダプタであって、モニタ基準はサンプルカードのプレート上に複数のナノ構造を含み、サンプルはプレート上に堆積されている、アダプタと、
アダプタに結合されたモバイルコンピューティングデバイスと、を含み、モバイルデバイスは、
光学センサと、
光学センサに通信可能に結合された処理装置と、を含み、処理装置は、
サンプルカードの画像を受け取ることと、
プレート上に堆積されたサンプルを含むサンプルカードの画像を、サンプルカードの製造中に決定されるモニタ基準の複数の幾何学的値と比較することによって、画像システムの非理想因子を決定することと、
非理想因子を考慮してサンプルカードの画像を補正することと、を行う画像システム。
【0099】
IJ-6.
サンプルカードであって、
サンプルカードのプレート上に複数のナノ構造を含むモニタ基準であって、サンプルはプレート上に堆積され、サンプルカードを、処理装置と光学センサとを含む画像システムに結合されたアダプタに差し込んで、サンプルカードの画像を取る、モニタ基準を含み、処理装置は、
サンプルカードの画像を受け取ることと、
プレート上に堆積されたサンプルを含むサンプルカードの画像を、サンプルカードの製造中に決定されるモニタ基準の複数の幾何学的値と比較することによって、画像システムの非理想因子を決定することと、
非理想因子を考慮してサンプルカードの画像を補正することと、を行うサンプルカード。
【0100】
IJ-7.
薄層サンプルを含む画像システムのシステムエラーを補正するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードに付随する画像及び第1のパラメータを受け取ることであって、モニタ基準はサンプルカードのプレート上に複数のナノ構造を含み、サンプルはプレート上に堆積されている、受け取ることと、
処理装置によって、画像システムのシステムエラーを、第1のパラメータをサンプルカードの製造中に決定されるモニタ基準に付随する第2のパラメータと比較することによって決定することと、
システムエラーを考慮してサンプルカードの画像を補正することと、を含む方法。
【0101】
IJ-8.
薄層サンプルのアッセイ画像に記録された人間操作エラーを補正するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準はサンプルカードのプレート上に複数のナノ構造を含み、サンプルはプレート上に堆積されている、受け取ることと、
処理装置によって、機械学習モデルを用いて、サンプルカードの画像をサンプルカードの製造中に決定されるモニタ基準の複数の幾何学的値と比較することによって、画像内に反映された人間操作エラーを決定することであって、人間操作エラーには画像システムの取り扱いミスが含まれる、決定することと、
画像内に反映された人間操作エラーを取り除くことによってサンプルカードの画像を補正することと、を含む方法。
【0102】
アッセイデバイス動作エラーモニタリング及び補正
アッセイデバイスを動作させるときに生じるエラーをモニタ及び補正する方法であって、
(a)(サンプルの内部の)プレート上のモニタリングマークを伴うQカードを有することと、
(b)サンプル堆積を行うことと、
(c)測定中に、画像化装置を用いてモニタリングマーク画像化することと、
(d)モニタリングマークの画像をモニタリングマークの理想的な画像と比較することによって動作エラーを判定することと、を含み、
モニタリングマークの理想的な画像は、動作が正しく行われたときのモニタリングマークの画像であり、
モニタリングマークはあらかじめ作製されている方法。
【0103】
アッセイデバイスを動作させるときの不完全性をモニタする方法であって、
(a)(サンプルの内部)のプレート上のモニタリングマークを伴うQカードを有することと、
(b)サンプル堆積を行うことと、
(c)測定中に、画像化装置を用いてモニタリングマーク画像化することと、
(d)モニタリングマークの画像をモニタリングマークの理想的な画像と比較することによって動作エラーを判定することと、を含み、
モニタリングマークの理想的な画像は、動作が正しく行われたときのモニタリングマークの画像であり、
モニタリングマークはあらかじめ作製されている方法。
【0104】
OA-1.
本発明のいくつかの実施形態では、予測不可能でランダムな1つ以上の動作状態を有するアッセイの精度を向上させるための方法であって、
(a)検体を含むかまたは含むと疑われるサンプル中の検体を検出することであって、
(i)検出装置中にサンプルを入れることと、
(ii)検出装置を用いてサンプルを測定して検体を検出し、検出の検出結果を生成することと、を含む検出することと、
(b)ステップ(a)における検出結果の信頼性を判定することであって、
(i)(1)サンプルの一部及び/または(2)サンプルの一部に囲まれた検出装置の一部の1つ以上の画像を取ることであって、画像は実質的に、ステップ(a)において検出結果を生成するときにサンプルの一部が測定された状態を表す、取ることと、
(ii)アルゴリズムを伴うコンピュテーショナルデバイスを用いてステップ(b)(i)で取った画像を解析して、ステップ(a)における検出結果の信頼性を判定することと、を含む判定することと、
(c)検出結果及び信頼性の両方を報告することと、を含み、
ステップ(a)は、予測不可能でランダムな1つ以上の動作状態を有する方法。
【0105】
ある実施形態では、本方法OA-1はさらに、ステップ(b)で決定した価値が閾値を下回っていた場合、ステップ(a)で生成した検出結果を廃棄するステップを含む。
【0106】
ある実施形態では、本方法OA-1はさらに、ステップ(b)で決定した価値が閾値を下回っていた場合、ステップ(a)で生成した検出結果を修正するステップを含む。
【0107】
OA-2.
予測不可能でランダムな1つ以上の動作状態を有するアッセイの精度を向上させるための装置であって、
(1) サンプル中の検体を検出して検出結果を生成する検出デバイスであって、サンプルは検体を含むかまたは含むと疑われる、検出デバイスと、
(2)検出デバイスが生成した特定の検出結果の信頼性をチェックするチェッキングデバイスであって、
(i)(1)サンプルの一部及び/または(2)サンプルの一部に囲まれた検出装置の一部の1つ以上の画像を取ることができる画像化装置であって、画像は実質的に、ステップ(a)において検出結果を生成するときにサンプルの一部が測定された状態を表す、画像化装置と、
(ii)ステップ(b)(i)で取った画像内の特徴を解析して検出結果の信頼性を判定することができるアルゴリズムを伴うコンピューティングユニットと、を含むチェッキングデバイスと、
(c)ステップ(b)において検出結果は信頼性が無いと判定した場合に、ステップ(a)で生成した検出結果を廃棄することと、を含み、
ステップ(a)は予測不可能でランダムな1つ以上の動作状態を有する装置。
【0108】
ある実施形態では、OA-1におけるアルゴリズムは、機械学習、人工知能、統計的方法などであるか またはそれらの組み合わせである。
【0109】
アッセイを行うときの用語「動作状態」は、アッセイを行う状態を指す。動作状態には、限定することなく、少なくとも3つのクラス、(1)サンプルに関係する欠陥、(2)サンプルホルダに関係する欠陥、及び(3)測定プロセスに関係する欠陥が含まれる。用語「欠陥」は理想状態から外れていることを示す。
【0110】
サンプルに関係する欠陥の例としては、限定することなく、以下が挙げられる。サンプル中の気泡、サンプル中のホコリ、異物(すなわち当初のサンプルからではなく、後にサンプル中に入った物体)、サンプルの特定の一部が完全に乾燥したサンプル中の乾燥テクスチャ、不十分な量のサンプル、不適切なサンプル、サンプルがない、不適切な母材のサンプル(たとえば血液、唾液)、サンプルに対する試薬の反応が正しくない、サンプルの検出範囲が不適切である、サンプルの信号均一性が不適切である、サンプル分布が不適切である、サンプルホルダに対するサンプル位置が不適切である(たとえばスペーサの下の血球)など。
【0111】
サンプルホルダに関係する欠陥の例としては、限定することなく、以下が挙げられる。サンプルホルダ内のスペーサが欠落している、サンプルホルダが適切に閉じていない、サンプルホルダが損傷を受けている、サンプルホルダ表面が汚染されている、サンプル上の試薬が適切に調製されていなかった、サンプルホルダが不適切な位置にある、サンプルホルダのスペーサ高さが不適切である、表面粗さが大きい、透明性が不適切である、吸収率が不適切である、サンプルホルダがない、サンプルホルダの光学特性が不適切である、サンプルホルダの電気特性が不適切である、サンプルホルダの幾何学的形状(サイズ、厚さ)が不適切であるなど。
【0112】
測定プロセスに関係する欠陥の例としては、限定することなく、以下が挙げられる。光強度、カメラ状態、画像化装置が取った画像内でサンプルの焦点が合っていない、光の温度、光の色、環境光の漏れ、光の分布、レンズ状態、フィルタ状態、光学部品状態、電気部品状態、器具の組立状態、サンプル、サンプルホルダ、及び器具の相対位置など。
【0113】
A.固相上の薄層サンプル
A1.ランダムで予測不可能な1つ以上の動作状態を伴うサンプルをアッセイするための方法であって、
(a)検体を含むかまたは含むことが疑われるサンプルを用意することと、
(b)固体表面上にサンプルを堆積させることと、
(c)ステップ(b)の後に、サンプルを測定して検体を検出し、検出の結果を生成することであって、アッセイングを行うときに結果は1つ以上の動作状態によってもたらされる可能性があり、動作状態はランダムで予測不可能である、生成することと、
(d)ステップ(c)でサンプル中の検体が測定されるサンプルの面積/体積の一部を画像化することと、
(e)ステップ(d)で生成した1つ以上の画像内に示される1つ以上の動作状態を分析することによって、ステップ(c)で測定した結果のエラーリスク確率を決定することと、を含む方法。
さらに、ステップ(e)で、ステップ(c)で測定した結果のエラーリスク確率が高いと決定した場合には、結果を廃棄する。
【0114】
AD1.1つ以上の動作変数の下でサンプル中に存在する検体をアッセイするためのデバイスであって、
(a)薄層のサンプルを受け取るためのサンプル接触領域を有する固体表面であって、サンプルには測定すべき検体が含まれる、固体表面と、
(b)検体が測定されるサンプル接触領域の一部を画像化するように構成された画像化装置と、
(c)命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、サンプルの一部の画像中に表示される動作変数を分析することによって、アッセイ結果の信頼性の判定を行う、非一時的コンピュータ可読媒体と、を含むデバイス。
【0115】
B.2つのプレート間の薄層サンプル
B1.
1つ以上の動作変数を用いてサンプルをアッセイするための方法であって、
(a)検体を含むサンプルを第1のプレートと第2のプレートとの間に堆積させることであって、サンプルは、実質的に平行である第1のプレートと第2のプレートとの間に挟まれる、堆積させることと、
(b)サンプル中に含まれる検体を測定して結果を生成することであって、測定することにはランダムで予測不可能な1つ以上の動作変数が含まれる、生成することと、
(c)第1のプレートと第2のプレートとの面積部分を画像化して画像を生成することであって、面積部分にはサンプルが含まれ、サンプル中に含まれる検体を測定する、生成することと、
(d)サンプルを含む面積部分の画像内に示される動作変数を分析することによって、ステップ(b)で測定した結果に信頼性があるか否かを判定することと、を含む方法。
さらに、ステップ(d)における分析が、ステップ(b)で測定した結果に信頼性がないと判定した場合には、結果を廃棄する。
【0116】
C.スペーサを伴う2つのプレート間の薄層サンプル
C1.
1つ以上の動作変数を用いてサンプルをアッセイするための方法であって、
(a)第1のプレートと第2のプレートとの間に検体を含むかまたは含むと疑われるサンプルを堆積させることであって、サンプルは、互いに対して移動して第1の構成または第2の構成になることができる第1のプレートと第2のプレートとの間に挟まれる、堆積させることと、
(b)サンプル中の検体を測定して結果を生成することであって、測定することにはランダムで予測不可能な1つ以上の動作変数が含まれる、生成することと、
(c)検体が測定されるサンプルの面積部分を画像化することと、
(d)面積部分の画像内に示される動作変数を分析することによって、ステップ(b)で測定した結果に信頼性があるか否かを判定することと、を含み、
第1の構成は開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
第2の構成は閉構成であり、開構成でサンプルが堆積された後に構成され、力領域に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限されて、プレート及びスペーサによって調整される、方法。
さらに、ステップ(d)で、ステップ(b)で測定した結果に信頼性がないと判定した場合には、結果を廃棄する。
【0117】
D.説明するすべてのデバイスにおける信頼性チェック
D1.
1つ以上の動作変数を用いてサンプルをアッセイするための方法であって、
(a)検体を含むかまたは含むと疑われるサンプルを堆積させることであって、サンプルは、本開示で説明する任意の実施形態のデバイス内の面積に堆積される、堆積させることと、
(b)サンプル中の検体を測定することであって、測定することにはランダムで予測不可能な1つ以上の動作変数が含まれる、測定することと、
(c)サンプル面積の一部を画像化することであって、一部は検体が測定される場所である、画像化することと、
(d)サンプルの一部の画像内に示される動作変数を分析することによって、ステップ(b)で測定した結果に信頼性があるか否かを判定することと、を含む方法。
【0118】
さらに、ステップ(d)における分析が、ステップ(b)で測定した結果に信頼性がないと判定した場合には、結果を廃棄する。
【0119】
E.複数のアッセイデバイスを用いたアッセイング
E.1
ある実施形態では、複数のアッセイデバイスを用いてアッセイングを行い、アッセイは、画像解析を用いてアッセイ結果に信頼性があるか否かをチェックするステップを有し、第1のアッセイデバイスに信頼性がないと判定された場合には、アッセイ結果に信頼性があると判定されるまで第2のアッセイデバイスを用いる。
【0120】
いくつかの実施形態では、サンプルは生物学的サンプルまたは化学サンプルである。
【0121】
ある実施形態では、ステップ(d)において、分析は機械学習をトレーニングセットとともに用いて、結果に信頼性があるか否かを判定し、トレーニングセットはサンプル中の既知の検体とともに動作変数を用いる。
【0122】
ある実施形態では、ステップ(d)において、分析はルックアップテーブルを用いて、結果に信頼性があるか否かを判定し、ルックアップテーブルにはサンプル中の既知の検体とともに動作変数が含まれる。
【0123】
ある実施形態では、ステップ(d)において、分析はニューラルネットワークを用いて、結果に信頼性があるか否かを判定し、ニューラルネットワークは、サンプル中の既知の検体とともに動作変数を用いてトレーニングされる。
【0124】
ある実施形態では、ステップ(d)において、分析は動作変数に対する閾値を用いて、結果に信頼性があるか否かを判定する。
【0125】
ある実施形態では、ステップ(d)において、分析は機械学習、ルックアップテーブル、またはニューラルワークを用いて、結果に信頼性があるか否かを判定し、動作変数には、サンプルの一部の画像内の気泡及び/またはホコリの状態が含まれる。
【0126】
ある実施形態では、ステップ(d)において、分析は機械学習を用いて、結果に信頼性があるか否かを判定し、機械学習、ルックアップテーブルまたはニューラルネットワークを用いて、サンプルの一部の画像内の気泡及び/またはホコリの動作変数を決定する。
【0127】
いくつかの実施形態では、検体を測定するステップ(b)において、測定は画像化を用いる。
【0128】
いくつかの実施形態では、検体を測定するステップ(b)において、測定は画像化を用い、検体測定に対して用いた同じ画像を、ステップ(d)における信頼性判定に対して用いる。
【0129】
いくつかの実施形態では、検体を測定するステップ(b)において、測定は画像化を用い、検体測定に対して用いた同じ画像を、ステップ(d)における信頼性判定に対して用いる。
【0130】
いくつかの実施形態では、A1、B1、及び/またはC1で用いるデバイスはさらに、モニタリングマークを含む。
【0131】
(i)画像化を調整するか、(ii)サンプルの画像を処理するか、(iii)微小特徴に関係する特性を決定するか、または(iv)前記の任意の組み合わせを行うアルゴリズムにおける画像化処理方法とともに、モニタリングマークをパラメータとして用いる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0132】
モニタリングマークは、ステップ(b)とともにパラメータとして用いられる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0133】
スペーサはモニタリングマークであり、スペーサは、200ミクロン以下の実質的に均一な高さと、固定のスペーサ間距離(ISD)とを有する、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0134】
本発明のいくつかの実施形態では、モニタリングマークは、TLD(真の横寸法)及び真の体積推定を推定するために用いられる。
【0135】
ある実施形態では、ステップ(b)はさらに、画像ベースのアッセイに対する画像セグメンテーションを含む。
【0136】
ある実施形態では、ステップ(b)はさらに、画像ベースのアッセイにおける焦点チェッキングを含む。
【0137】
ある実施形態では、ステップ(b)はさらに、サンプル中の検体分布の一様性を含む。
【0138】
ある実施形態では、ステップ(b)はさらに、サンプル中の塊状検体に対する分析及び検出を含む。
【0139】
ある実施形態では、ステップ(b)はさらに、サンプルにおけるサンプルの画像内の乾燥テクスチャに対する分析を含む。
【0140】
ある実施形態では、ステップ(b)はさらに、サンプル中の欠陥に対する分析を含む。
【0141】
ある実施形態では、ステップ(b)はさらに、歪み除去、温度補正、明るさ補正、コントラスト補正としてカメラパラメータ及び条件の補正を含む。
【0142】
ある実施形態では、ステップ(b)は、ヒストグラムベースの演算、数学ベースの演算、畳み込みベースの演算、平滑化演算、微分ベースの演算、形態ベースの演算を伴う方法及び演算をさらに含む。
【0143】
F.信頼性チェッキングのためのシステム
図8は、欠陥(たとえば、ホコリ、気泡など)がサンプルホルダにおいてサンプル中に生じる可能性がある例示的な図である。
図9は、画像ベースアッセイングにおいて生じる複数の欠陥を含む実際の血液サンプルの画像である。
【0144】
F1.1つ以上の未知の動作状態を伴うサンプルをアッセイするためのシステムであって、
a)サンプルを、サンプル保持デバイス、たとえばQMAXデバイス、であって、そのギャップが分析すべき検体またはギャップ間で単層を形成する検体のサイズに比例するサンプル保持デバイスに装着することと、
b)アッセイングに対する関心面積(AoI)上のサンプル保持デバイス内のサンプルの画像を、画像化装置によって取ることと、
c)(b)からの画像化装置が取ったサンプルの画像を、等しいサイズの非重複サブ画像パッチ(たとえば、8x8の等しいサイズの小さい画像パッチ)にセグメント化することと、
d)各画像パッチ上での検体検出及びセグメンテーションに対してトレーニングされた機械学習モデルを用いて機械学習ベースの推論を行って、これに限定されないが検体カウント及びその濃度を決定することと、
e)構築されたサブ画像パッチの検体濃度を昇順でソートして、その25%分位点Q1及び75%分位点Q3を決定することと、
f)サンプルの画像内の検体の均一性を、四分位範囲ベースの信頼度指標:信頼度IQR=(Q3-Q1)/(Q3+Q1)によって決定することと、
g)(f)からの信頼度IQRが特定の閾値(たとえば、30%)を超えた場合に、フラッグを立てて、アッセイ結果は信頼性がないことを示すことであって、閾値は、トレーニング/評価データからまたは検体の分布を支配する物理法則から得られる、示すことと、を含むシステム。
【0145】
F2.
1つ以上の未知の動作状態を伴うサンプルをアッセイするためのシステムであって、
a)アッセイを、サンプル保持デバイス、たとえばQMAXデバイス、であって、そのギャップが分析すべき検体またはギャップ間で単層を形成する検体のサイズに比例するサンプル保持デバイス内に装着することと、
b)アッセイングに対する関心面積(AoI)上のサンプル保持デバイス内のサンプルの画像を、画像化装置によって取ることと、
c)乾燥テクスチャ検出及びセグメンテーションに対してトレーニングされた機械学習モデルを用いて機械学習ベースの推論を行って、乾燥テクスチャ面積を検出し、AoI内乾燥テクスチャ面積を決定することであって、AoI内乾燥テクスチャ面積は、サンプルの画像のAoI内の乾燥テクスチャの面積を覆うセグメンテーション輪郭マスクに対応付けられる、決定することと、
d)AoI内乾燥テクスチャ面積とAoI面積との間の面積比:AoI内乾燥テクスチャ面積比=AoI内乾燥テクスチャ面積/AoI面積を決定することと、
h)(d)からのAoI内乾燥テクスチャ面積比が特定の閾値(たとえば、10%)を超えた場合に、フラッグを立てて、アッセイ結果は信頼性がないことを示すことであって、閾値は、トレーニング/評価データからまたは検体の分布を支配する物理法則から得られる、示すことと、を含むシステム。
【0146】
F3.
1つ以上の未知の動作状態を伴うサンプルをアッセイするためのシステムであって、
a)アッセイを、サンプル保持デバイス、たとえばQMAXデバイス、であって、そのギャップが分析すべき検体またはギャップ間で単層を形成する検体のサイズに比例するサンプル保持デバイス内に装着することと、
b)アッセイングに対する関心面積(AoI)上のサンプル保持デバイス内のサンプルの画像を、画像化装置によって取ることと、
c)塊状検体の検出及びセグメンテーションに対してトレーニングされた機械学習モデルを用いて機械学習ベースの推論を行って、塊になった検体を検出し、面積(AoI内塊状検体面積)を決定することであって、面積は、そのAoI内のそれらを覆うセグメンテーション輪郭マスクに対応付けられる、決定することと、
d)AoI内塊状検体面積とAoI面積との間の面積比:AoI内塊状検体面積比=AoI内塊状検体面積/AoI面積を決定することと、
i)(d)からのAoI内塊状検体面積比が特定の閾値(たとえば、40%)を超えた場合に、フラッグを立てて、アッセイ結果は信頼性がないことを示すことであって、閾値は、トレーニング/評価データまたは検体の分布を支配する物理法則から得られる、示すことと、を含むシステム。
【0147】
F4.
1つ以上の未知の動作状態を伴うサンプルをアッセイするためのシステムであって、
a)アッセイを、サンプル保持デバイス、たとえばQMAXデバイス、であって、そのギャップが分析すべき検体またはギャップ間で単層を形成する検体のサイズに比例するサンプル保持デバイス内に装着することと、
b)アッセイングに対する関心面積(AoI)上のサンプル保持デバイス内のサンプルの画像を、画像化装置によって取ることと、
c)サンプルの画像内の欠陥、欠陥には、これらに限定されないが、ホコリ、オイルなどが含まれる、の検出及びセグメンテーションに対してトレーニングされた機械学習モデルを用いて機械学習ベースの推論を行って、欠陥を検出し、面積(AoI内欠陥面積)を決定することであって、面積は、そのAoI内のそれらを覆うセグメンテーション輪郭マスクに対応付けられる、決定することと、
d)AoI内欠陥面積とAoI面積との間の比:AoI内欠陥面積比=AoI内欠陥面積/AoI面積を決定することと、
j)(d)からのAoI内欠陥面積比が特定の閾値(たとえば、15%)を超えた場合に、フラッグを立てて、アッセイ結果は信頼性がないことを示すことであって、閾値は、トレーニング/評価データまたは検体の分布を支配する物理法則から得られる、示すことと、を含むシステム。
【0148】
F5.
1つ以上の未知の動作状態を伴うサンプルをアッセイするためのシステムであって、
a)アッセイを、サンプル保持デバイス、たとえばQMAXデバイス、であって、そのギャップが分析すべき検体またはギャップ間で単層を形成する検体のサイズに比例するサンプル保持デバイス内に装着することと、
b)アッセイングに対する関心面積(AoI)上のサンプル保持デバイス内のサンプルの画像を、画像化装置によって取ることと、
c)気泡及び空隙の検出及びセグメンテーションに対してトレーニングされた機械学習モデルを用いて機械学習ベースの推論を行って、気泡及び空隙を検出し、AOI内気泡空隙面積を決定することであって、AOI内気泡空隙面積は、そのAoI内のそれらを覆うセグメンテーション輪郭マスクに対応付けられる、決定することと、
d)AOI内気泡空隙面積とAoI面積との間の面積比:
AoI内気泡空隙面積比=AOI内気泡空隙面積/AoI面積を決定することと、
k)(d)からのAoI内気泡空隙面積比が、特定の閾値(たとえば、10%)を超えた場合に、フラッグを立てて、アッセイ結果は信頼性がないことを示すことであって、閾値は、トレーニング/評価データまたは検体の分布を支配する物理法則から得られる、示すことと、を含むシステム。
【0149】
F6.
1つ以上の未知の動作状態を伴うサンプルをアッセイするためのシステムであって、
a)アッセイを、サンプル保持デバイス、たとえばQMAXデバイス、であって、サンプル保持デバイスのギャップは、分析すべき検体またはギャップ間で単層を形成する検体のサイズに比例する、サンプル保持デバイス内に装着することであって、モニタマーク(たとえばピラー)がデバイス内に存在して埋もれておらず、モニタマークは、サンプルとともに、サンプル保持デバイス上で画像化装置によって画像化することができる、装着することと、
b)アッセイングに対する関心面積(AoI)上のサンプル保持デバイス内のサンプルの画像を、画像化装置によって取ることと、
c)トレーニングされた機械学習モデルを用いて機械学習ベースの推論を行って、上部に検体があるモニタマーク(ピラー)を検出及びセグメント化し、面積(AoI内ピラー上検体面積)を決定することであって、面積は、AoI内のそれらのセグメンテーション輪郭マスクに基づいて、検出されたモニタマーク(ピラー)に対応付けられる、決定することと、
d)AoI内ピラー上検体面積とAoI面積との間の面積比:
AoI内ピラー上検体面積比=AoI内ピラー上検体面積/AoI面積を決定することと、
l)(d)からのAoI内ピラー上検体面積比が、特定の閾値(たとえば、10%)を超えた場合に、フラッグを立てて、アッセイ結果は信頼性がないことを示すことであって、閾値は、トレーニング/評価データまたは検体の分布を支配する物理法則から得られる、示すことと、を含むシステム。
【0150】
F7.
1つ以上の動作状態を伴うサンプルをアッセイするためのシステムであって、
a)アッセイを、サンプル保持デバイス、たとえばQMAXデバイス内に装着することと、
b)アッセイングに対する関心面積(AoI)上のサンプル保持デバイス内のサンプルの画像を、画像化装置によって取ることと、
c)機械学習ベースの焦点チェックを行って、画像化装置が取ったサンプルの画像がサンプルに対して焦点が合っているか否かを検出することであって、画像化装置の焦点を検出するための機械学習モデルは、既知の、焦点が合っている状態及び焦点が外れている状態を伴う画像化装置の複数の画像から構築される、検出することと、
d)(c)から、画像化装置が取ったサンプルの画像が焦点が外れた状態で検出された場合に、フラッグを立てて、画像ベースのアッセイ結果は信頼性がないことを示すことと、を含むシステム。
【0151】
F8.
1つ以上の未知の動作状態を伴うサンプルをアッセイするためのシステムであって、
a)アッセイを、サンプル保持デバイス、たとえばQMAXデバイス内に装着することと、
b)アッセイングに対する関心面積(AoI)上のサンプル保持デバイス内のサンプルの画像を、画像化装置によって取ることと、
c)機械学習ベースの検体検出を行うことと、
d)検体カウントが予め設定された許容範囲よりも極めて低い場合に、フラッグを立てて、結果に信頼性がないことを示すことであって、許容範囲は、アッセイの物理的または生物学的状態に基づいて特定される、示すことと、を含むシステム
【0152】
F9.
1つ以上の未知の動作状態を伴うサンプルをアッセイするためのシステムであって、
a)アッセイを、サンプル保持デバイス、たとえばQMAXデバイス内に装着することと、
b)アッセイングに対する関心面積(AoI)上のサンプル保持デバイス内のサンプルの画像を、画像化装置によって取ることと、
c)サンプルの画像を非重複の等しいサイズのサブ画像パッチに分割することと、
d)機械学習ベースの検体検出をその各サブ画像パッチ上で行うことと、
e)いくつかのサブ画像パッチに対して、検出された検体のカウントが非現実的に低い(たとえば全血球計算において、サンプル中の赤血球の数がヒトの許容範囲を下回る)場合に、アッセイにおいてサンプルが不十分であるかまたはサンプルの分布が不均一であるために、フラッグを立てて、結果に信頼性がないことを示すことと、を含むシステム。
【0153】
F10.
すべての先行請求項における方法、装置、及び実施形態において、画像ベースのアッセイにおいて画像化装置が取ったサンプルの画像からの異常の検出及びセグメンテーションは、画像処理、機械学習、または画像処理及び機械学習の組み合わせに基づく。
【0154】
F11.
すべての先行請求項における方法、装置、及び実施形態において、サンプルの画像の関心面積(AoI)内でセグメンテーション輪郭マスクに覆われた面積の推定が、画像あたりまたはサブ画像あたりのパッチベースの真の横寸法(または視界(FoV))推定を用いて、微視的画像化における歪み、たとえば、これらに限定されないが、レンズからの球面歪み、微視的レベルにおける欠陥、フォーカシングにおける誤位置合わせなど、を補償する。
【0155】
F12.
F11の方法、装置、及び実施形態において、サンプル保持デバイス、たとえばQMAXカード内に構築されたモニタリングマーク(たとえばピラー)があり、前記モニタマーク(たとえばピラー)は、微視的画像化における歪みにもかかわらず真の横寸法(または視界(FoV))推定の推定を正確にするために、検出可能アンカーとして適用される。
【0156】
F13.
F12の方法、装置、及び実施形態において、サンプル保持デバイスのモニタマーク(たとえばピラー)は、真の横寸法(TLD)(または視界(FoV))推定におけるアンカーとしてのモニタマークの検出及び場所特定を信頼性が高く堅固なものにするために、サンプル保持デバイス、たとえばQMAXカード内の所定の周期分布を伴ういくつかの既知の構成を有する。
【0157】
F14.
F1の方法、装置、及び実施形態において、画像ベースのアッセイにおける外れ値の検出及び特性評価は、本明細書で説明するサンプルの入力画像の非重複サブ画像パッチに基づいており、外れ値の決定は、アッセイング処理におけるノンパラメトリック法、パラメトリック法、及び両方の組み合わせに基づくことができる。
【0158】
G-1
方法であって、
(a) 検体を含むかまたは含むと疑われるサンプル中の検体を検出することであって、
(i)サンプルを検出装置内に堆積させることと、
(ii)検出装置を用いてサンプルを測定して検体を検出し、その結果、検出結果を生成することと、を含む検出することと、
(b)検出結果の信頼性を判定することであって、
(i)サンプルの一部及び/またはサンプルの一部に隣接する検出装置の一部の1つ以上の画像を取ることであって、1つ以上の画像は検出結果が生成された1つ以上の動作状態を反映する、取ることと、
(ii)コンピュテーショナルデバイスを1つ以上の画像を分析するアルゴリズムとともに用いて、ステップ(a)における検出結果の信頼性を判定することと、を含む判定することと、
(c)検出結果及び検出結果の信頼性を報告することと、を含み、
1つ以上の動作状態は予測不可能及び/またはランダムである、方法。
【0159】
アッセイの結果において「信頼性が低い」という用語の意味は、所与のサンプルをアッセイする際、アッセイの結果は常に正確というわけではなく、アッセイの結果が正確なときもあれば、結果が不正確なときもあり、不正確な結果は正確な結果とは実質的に異なるということである。このような不正確な結果は「誤った結果」と言われる。いくつかの文献において、誤った結果は「外れ値」とも言われる。
【0160】
アッセイの結果において「正確である」という用語の意味は、アッセイの結果が、トレーニングを受けた専門家が理想的な環境下で操作するゴールド標準器具によってアッセイした同じサンプルの結果と、許容範囲内で一致するということである。
【0161】
従来、診断アッセイは高性能な(多くの場合に高価な)器具を用いて行われるのが普通であり、高度なトレーニングを受けた職員と高性能なインフラストラクチャが必要である。これらは、リソース設定が限られている場合には利用できない。
【0162】
サンプルをアッセイする際の用語「リソース設定が限られている」または「LRS」は、アッセイを行う際の設定を指し、簡易/低コストなアッセイ処理または簡易/低コストな器具を使用しているか、トレーニングを受けていない人が行っているか、悪環境(たとえば、解放された実験室環境でホコリがある)で使用されているか、またはそれらの任意の組み合わせである。
【0163】
用語「LRSアッセイ」はLRS下で行われるアッセイを指す。
【0164】
特定のアッセイ結果(またはデータ)の信頼性を説明する際の用語「信頼性がある」は、特定のアッセイ結果の信頼性分析が、結果が不正確である確率が低いと判定したことを指す。
【0165】
特定のアッセイ結果(またはデータ)の信頼性を説明する際の用語「信頼性がない」は、特定のアッセイ結果の信頼性分析が、結果が不正確である確率が高いと判定したことを指す。
【0166】
アッセイを行う際の用語「動作状態」は、その下でアッセイが行われる状態を指す。動作状態としては、限定することなく、以下が挙げられる。サンプル中の気泡、サンプル中のホコリ、異物(すなわち当初のサンプルからではなく、後にサンプル中に入った物体)、固相表面の欠陥、及び/またはアッセイの手渡し状態。
【0167】
限られたリソース設定(LRS)においてサンプルをアッセイすると、アッセイングからの結果は信頼性が低い可能性がある。しかし、従来、所与のサンプルに対する特定の試験の間または試験の後に、特定の結果の信頼性に対するチェッキングは行われていない。
【0168】
本発明では、LRSアッセイングにおいて(または実験室試験環境においてさえ)、1つ以上の予測不可能でランダムな動作状態が生じて、アッセイング結果に影響する可能性があることに注視している。それが起こると、たとえ同じサンプルを用いていても、特定のアッセイングごとに実質的に異なる可能性がある。しかし、アッセイング結果をそのまま採用する代わりに、所与のサンプルに対する特定の試験における特定の結果の信頼性を、その特定のアッセイにおけるアッセイ動作状態に関係づけられる1つ以上の因子を分析することによって評価することができる。
【0169】
本発明では、1つ以上の予測不可能でランダムな動作状態を有するLRSアッセイングにおいて、各特定のアッセイングの信頼性に対する分析を用いて、信頼性がないアッセイ結果を拒否することによって、アッセイングの全体の精度を実質的に向上させることができることに注視している。
【0170】
本発明の一態様は、アッセイを、特定の試験における検体を測定することだけでなく、その特定の試験の動作状態の分析を通して測定結果の信頼性をチェックすることによっても行うデバイス、システム及び本方法である。
【0171】
本発明のいくつかの実施形態では、アッセイの測定結果の信頼性をチェックすることは機械学習フレームワークにおいてモデリングされ、予測不可能でランダムな動作状態が生じてアッセイ結果に影響することに対処するために、機械学習アルゴリズム及びモデルが考案されて適用される。
【0172】
用語「機械学習」は、多くの場合に統計的手法及び人工ニューラルネットワークを用いて、明示的なプログラムミングなしにデータから「学習する」(すなわち、特定のタスクに対する性能を徐々に向上させる)能力をコンピュータに与える人工知能の分野におけるアルゴリズム、システム及び装置を指す。
【0173】
用語「人工ニューラルネットワーク」は、一般的に何らかのタスク特定のルールを用いたプログラミングなしに例を考えることによってタスクの実行を「学習する」ことができる、生物学的ネットワークから着想を得た階層コネクショニストシステムを指す。
【0174】
用語「畳み込みニューラルネットワーク」は、通常は視覚画像の解析に適用される多層フィードフォワード人工ニューラルネットワークのクラスを指す。
【0175】
用語「深層学習」は、多くの接続された層からなるネットワーク構造を用いてデータから学習する人工知能(AI)における幅広いクラスの機械学習方法を指す。
【0176】
用語「機械学習モデル」は、データからの機械学習におけるトレーニングプロセスから構築されたトレーニングされたコンピューテーショナルモデルを指す。トレーニングされた機械学習モデルは、コンピュータによる推論ステージの間に適用され、自力で特定のタスクを実行する(たとえば、物体を検出して分類する)能力をコンピュータに与える。機械学習モデルの例としては、ResNet、DenseNetなどが挙げられる。これらは、そのネットワーク構造における層状深さから「深層学習モデル」という名前もつけられている。
【0177】
用語「画像セグメンテーション」は、デジタル画像を複数のセグメント(そのセグメンテーション境界輪郭に沿って画像セグメントを覆うビットマップマスクの組を伴う画素の組)に分割する画像解析処理を指す。画像セグメンテーションは、画像処理における画像セグメンテーションアルゴリズム(たとえば、ウォーターシェッド、グラブカット、平均シフトなど)を通して実現することができ、また機械学習アルゴリズム(たとえば、MaskRCNN)を通して実現することもできる。
【0178】
画像内の用語「物体」または「対象物体」は、画像内で見ることができて固定の形状または形態を有する物体を意味する。
【0179】
本発明では、機械学習を革新的に利用することには、アッセイングにおける予測不可能でランダムな動作状態にもかかわらずアッセイ結果の信頼性を判定するプロセスであって、複雑で、予測が難しく、エラーを起こしやすい可能性がある予測不可能な状態に対して明確な想定を行うことなくデータから直接行うプロセスを、自動化する利点がある。
【0180】
本発明における機械学習フレームワークは、
(a)タスクのトレーニングデータを収集することと、
(b)データを標識化によって調製することと、
(c)機械学習モデルを選択することと、
(d)選択した機械学習モデルをトレーニングデータによってトレーニングすることと、
(e)トレーニング及び評価データによってハイパーパラメータ及びモデル構造を調整することを、モデルが評価及び試験データに対して満足のいく性能に達するまで行うことと、
(f)(e)からのトレーニングされた機械学習モデルを用いて、試験データに対する推論を行うことと、を含むプロセスを伴う。
【0181】
画像ベースのアッセイに対する画像セグメンテーション:試験結果の信頼性を検証するための本発明のいくつかの実施形態では、アッセイング用サンプルの画像から対象物体をセグメント化する必要がある。機械学習ベースの画像セグメンテーションアルゴリズム(たとえば、マスクRCNN)は強力であるが、機械学習モデルをトレーニングするために、サンプルの微視的画像内の物体の形状を正確に輪郭標識化する必要があり、これは多くの用途においてボトルネックになる。
また、それらは画像内の物体の形状に対して非常に感度が良い。
画像ベースのアッセイの場合、物体の形状輪郭のこのような標識化は、手に入れることが難しい。なぜならば、サンプル中の物体は非常に小さい可能性があり、それらの発生はランダムであり、また、それらの間で形状、サイズ及び着色(たとえばホコリ、気泡など)が非常に大きく変化するからである。
【0182】
本発明のいくつかの実施形態では、機械学習ベースの粗い境界ボックスセグメンテーションと画像処理ベースの細かく分ける形状判定との組み合わせに基づいて、細かく分ける画像セグメンテーションアルゴリズムを考案している。それを、画像ベースのアッセイにおいて画像セグメンテーションに適用する。各物体は、その形状及び形状輪郭詳細から独立した粗い境界ボックスにおいて標識化する必要があるだけである。
それにより、サンプルの画像内の物体の形状依存性の輪郭を微細に標識化する必要がなくなる。微細な標識化は難しく、複雑で、費用がかかり、また正確に行うことが難しい。
この細かく分ける画像セグメンテーションアルゴリズムには、以下が含まれる。
a)さらにアッセイングするためにサンプルの画像内に検出すべき物体を含む画像化装置が取ったサンプルの複数の画像を集める
b)モデルトレーニングに対して前記物体を含む粗い境界ボックスを用いて、集めた画像内の各物体を標識化する
c)機械学習モデル(たとえばFRCNN)をトレーニングして、サンプルの画像内の前記物体をそれらを含む粗い境界ボックスを用いて検出する
d)アッセイングにおいてサンプルの画像を入力として取る
e)サンプルの画像内で、トレーニングされた機械学習モデルを適用して、前記物体をそれらの粗い境界ボックスを用いて検出する
f)検出した境界ボックスに対応する各画像パッチをグレー色に変換し、そして適応的閾値処理によりバイナリに変換する
g)形態学的膨張(7x7)及び腐食(3x3)を行って、バックグラウンドノイズから形状の輪郭を強調する。
h)それぞれの前記画像パッチ上で凸状輪郭分析を行い、パッチ内で見出される最長の接続された輪郭を物体形状の輪郭として用いて、物体の画像マスク(たとえば、サンプルの画像内の物体を覆うバイナリビットマップ)を決定する。
i)(h)からのすべての画像マスクを集めることによって画像セグメンテーションを完了する
(余分なマージンΔを伴うセグメンテーションマスクが必要である場合、(h)においてそれぞれの検出された輪郭をマージンΔを用いて広げて、新しいマスクとする)。
【0183】
図10は、画像ベースのアッセイにおいて
図9に示した血液サンプルの画像に適用される、説明した細かく分ける画像セグメンテーションアルゴリズムの例である。例に例示するように、説明した細かく分ける画像セグメンテーションアルゴリズムは、画像ベースのアッセイにおいて、サイズ及び形状が異なる物体を、非常に密なマスクによってサンプルの画像内の物体を覆うことによって適切に取り扱うことができる。
【0184】
画像ベースのアッセイにおける焦点チェッキング:画像ベースのアッセイでは、画像化装置が取ったサンプルの画像は、アッセイングするために画像化装置によってサンプル上で焦点が合っている必要がある。画像化装置が取ったサンプルの画像において焦点が外れていると、サンプルの画像内の検体がぼけて、結果として、アッセイング結果は信頼性が無くなる。しかし、サンプルの画像の焦点を部分的にまたは全体的にさえ外れさせる可能性がある多くのランダム要因が存在する。たとえば、これらに限定されないが、画像を取る間の振動/握手、画像センサ平面に対するサンプル保持デバイスの置き違いなどである。また、従来技術は主に、特定のエッジ内容ベースの測定(たとえば、Tenengradなど)及びいくつかの予め設定された内容依存性閾値(信頼性が低くて脆い)に基づいており、微視的画像化ベースのアッセイにおける要求に達しない。
【0185】
本発明のいくつかの実施形態では、機械学習に基づいた検証プロセスを考案し、画像ベースのアッセイにおいて画像化装置が取ったサンプルの画像が焦点が合っているかまたは焦点が外れているかを判定するために適用する。焦点が合っている状態及び焦点が外れている状態の両方の状態の画像化装置が取ったサンプルの画像をトレーニングデータとして集めて、それらを、それらの既知の焦点条件に基づいて標識化する。機械学習モデルを選択し、標識化されたトレーニングデータによってトレーニングする。アッセイング処理中に、トレーニングされた機械学習モデルを、画像化装置が取ったサンプルの画像に適用して、アッセイング用に画像化装置が取ったサンプルの画像が焦点が合っているか否かを推測/予測し、また従来技術の場合と同様に予め設定された内容依存性閾値を必要とするようなことなく、アッセイング結果に信頼性があるか否かを判定する。
【0186】
いくつかの実施形態では、ピラー形態のモニタマークがサンプル保持QMAXカード上にあって、サンプル保持QMAXカードの2つの平行板間のギャップを一定に保つ。そのため、サンプル保持QMAXカード上の画像化装置が取った画像内の関心面積(AoI)下のサンプルの体積を、AoIと2つの平行板間の前記ギャップとによって決定することができる。
【0187】
サンプル中の検体分布の一様性:アッセイング結果の信頼性に影響する可能性がある1つの要因は、サンプル中に分配する検体の一様性であり、それらは、経験豊富な技師であっても目視チェックによって検出することは難しい。
【0188】
本発明のいくつかの実施形態では、機械学習に基づいた専用プロセスによるアルゴリズムを考案し、画像化装置が取ったサンプルの画像から、アッセイング用のサンプル中に検体が一様に分布しているか否かを判定するために適用する。画像化装置が取った複数のサンプルの画像を集め、そこからサンプルの画像内の検体を特定して標識化する。機械学習モデル(たとえばF-RCNN)を選択し、標識化されたトレーニング画像によってトレーニングして、サンプルの画像内の検体を検出する。
【0189】
アッセイング処理中に、その専用プロセスを伴うアルゴリズムは、
a)画像化装置からサンプルの画像を入力として取ることと、
b)サンプルの画像を等しいサイズで非重複の画像パッチ(たとえば、8x8の等しいサイズの小さい画像パッチ)にセグメント化することと、
c)それぞれの構成された画像パッチに、トレーニングされた機械学習モデルを適用して、これに限定されないが各パッチ内の検体濃度を決定することと、
d)構成された画像パッチの検体濃度を昇順にソートして、構成された画像パッチのソートした濃度ならびにおいてその25%分位点Q1及び75%分位点Q3を決定することと、
e)堅固なノンパラメトリックの外れ値検出アルゴリズムを適用して、アッセイング用のサンプル中の検体の一様性/均一性を、構成された画像パッチの検体濃度分布から決定することであって、本発明のいくつかでは、四分位範囲ベースの信頼度指標:
信頼度IQR=(Q3-Q1)/(Q3+Q1)を構成して適用し、
信頼度IQRが特定の閾値(たとえば30%)を超えた場合、フラッグを立てて、アッセイ結果は信頼性がなく、閾値は、トレーニング及び評価データから推定することができる最終的な推定に対する不一様な分布の影響に依存する、決定することと、を含む。
【0190】
サンプル中の塊状検体:加えて、サンプル中の塊状検体がアッセイング結果の精度に影響する可能性があり、特にそれらはサンプルのかなりの部分を占める。たとえば、全血球計算において、赤血球の特定の部分は、特にそれらが特定の時間、開放空気にさらされた場合、サンプル中で塊状の可能性がある。サンプル中の塊状検体は、それらがどのように塊状に集まったかに応じて、種々のサイズ及び形状を有する。サンプル中で塊状検体の部分が特定のパーセンテージを超えた場合、そのサンプルはアッセイング用に用いてはならない。
【0191】
本発明のいくつかの実施形態では、機械学習に基づいたプロセスを考案し、アッセイング用のサンプル中で検体が塊状/クラスタ化されているか否かを、画像化装置が取ったサンプルの画像から判定するために適用する。良好なサンプルの画像とサンプル中に種々の程度の塊状検体があるサンプルの画像とを画像化装置によって取って、トレーニングデータとして集める。本発明で説明した細かく分ける画像セグメンテーションアルゴリズムに従って、画像内の塊状検体を、それらの形状及び形状輪郭詳細とは関係なく、最初に境界ボックスによって粗く標識化する。機械学習モデル(たとえばFast RCNN)を選択し、標識化されたトレーニング画像によってトレーニングして、サンプルの画像内の塊状検体クラスタをそれらの境界ボックスによって検出し、そしてその後、さらなる処理ステップを行って、それらの細かく分けられたセグメンテーションを、本発明で説明した細かく分ける画像セグメンテーションアルゴリズムに基づいて決定する。
【0192】
アッセイング処理中に、塊状検体に対する動作を行い、これには以下が含まれる。
a)画像化装置からサンプルの画像を入力として取ることと、
b)塊状検体に対してトレーニングされた機械学習モデルを適用して、境界ボックス内でアッセイング用サンプルの画像内の塊状検体を検出することと、
c) 本発明で説明した細かく分ける画像セグメンテーションアルゴリズムに従って、サンプルの画像内のそれらのセグメンテーション輪郭マスクを決定することと、
d)(c)からの塊状検体を覆うセグメンテーション輪郭マスクに付随するすべての面積を合計することによって、サンプルの画像において関心面積(AoI)内で塊状検体が占有する全面積(AoI内塊状検体面積)を決定することと、
e)サンプルの画像内でAoI内塊状検体面積とAoI面積との間の面積比:
AoI内塊状検体面積比=AoI内塊状検体面積/AoI面積を決定することと、
f)AoI内塊状検体面積比が特定の閾値を超えた場合に、アッセイング結果の信頼性に対してフラッグを立てることであって、説明したアプローチのいくつかの実施形態では、閾値は約10~20%であり、閾値は、トレーニング及び評価データから推定することができる最終的な推定塊状検体面積の影響に依存する、決定すること。
【0193】
サンプルの画像内の乾燥テクスチャ:サンプルの画像内の乾燥テクスチャは、画像ベースのアッセイにおけるアッセイング結果の信頼性に影響する別の要因である。これが起きるのは、アッセイング用のサンプルの量が必要量を下回っているか、または画像保持デバイス内のサンプルの特定の部分が、いくつかの予測できない要因によって完全に乾燥している場合である。
【0194】
本発明のいくつかの実施形態では、機械学習に基づいたプロセスを考案し、画像ベースのアッセイにおいて画像化装置が取ったサンプルの画像内の乾燥テクスチャ面積を検出するために適用する。乾燥テクスチャ面積を伴わない良好なサンプルの画像と、サンプル中に種々の程度の乾燥テクスチャ面積があるサンプルの画像とを、トレーニングデータとして集め、そこから画像内の乾燥テクスチャ面積を、形状及び形状輪郭詳細とは関係なく、境界ボックスによって粗く標識化する。機械学習モデル(たとえばFAST RCNN)を選択し、標識化されたトレーニング画像によってトレーニングして、境界ボックスによってサンプルの画像内の乾燥テクスチャ面積を検出する。そして、本発明で説明した細かく分ける画像セグメンテーションアルゴリズムに従って、それらを覆うセグメンテーション輪郭マスクを決定する。
【0195】
画像ベースのアッセイング処理中に、以下の処理動作を行う。
a)画像化装置からサンプルの画像を入力として取ることと、
b)乾燥テクスチャ用のトレーニングされた機械学習モデル(たとえばFAST RCNN)を、アッセイング用サンプルの画像に適用して、境界ボックス内のその乾燥テクスチャ面積を検出することと、
c)(b)において、サンプルの画像内で検出された乾燥テクスチャ面積が存在する場合、本発明で説明した細かく分ける画像セグメンテーションアルゴリズムによって、セグメンテーション輪郭マスクを決定することと、
d)(c)において、検出した乾燥テクスチャのすべての面積を、それらを覆うセグメンテーション輪郭マスクに基づいて合計することによって、アッセイング用サンプルの画像において関心面積(AoI)(AoI内乾燥テクスチャ面積)内で乾燥テクスチャが占める総面積を決定することと、
e)サンプルの画像内のAoI内乾燥テクスチャ面積とAoI面積との面積比:
AoI内乾燥テクスチャ面積比=AoI内乾燥テクスチャ面積/AoI面積を決定することと、
f)AoI内乾燥テクスチャ面積比が特定の閾値を超えた場合に、アッセイング結果の信頼性に対してフラッグを立てることであって、説明したアプローチのいくつかの実施形態では、閾値は約10%であり、閾値は、トレーニング及び評価データから推定することができる最終的な推定に対する乾燥テクスチャ面積の影響に依存する、立てること。
【0196】
サンプル中の欠陥:サンプル中の欠陥はアッセイング結果の信頼性に著しく影響する可能性がある。これらの欠陥は、サンプル中の何らかの不要な物体である可能性があり、たとえば、これらに限定されないが、ホコリ、オイル等である。それらは、従来技術で取り扱うのは難しい。なぜならば、サンプル中でのそれらの発生及び形状はすべてランダムであるからである。
【0197】
本発明のいくつかの実施形態では、欠陥検出用の専用プロセスを考案して、画像ベースのアッセイに適用する。欠陥を伴わない良好なサンプルの画像とサンプル中に種々の程度の欠陥があるサンプルの画像とをトレーニングデータとして集めて、そこから画像内の欠陥面積を、粗い境界ボックス標識化によって標識化する。
機械学習モデル(たとえばFAST RCNN)を選択し、標識化されたトレーニング画像によってトレーニングして、境界ボックスにおけるサンプルの画像内の欠陥を検出し、続いて、本発明において説明した細かく分ける画像セグメンテーションアルゴリズムを適用して、それらを覆うセグメンテーション輪郭マスクを決定する。
【0198】
画像ベースのアッセイング処理中に、欠陥検出及び面積決定を行って、アッセイング結果の信頼性を検証することであって、以下が含まれる。
a)画像化装置からサンプルの画像を入力として取ることと、
b)欠陥用のトレーニングされた機械学習モデル(たとえばFAST RCNN)をアッセイング用サンプルの画像に適用して、境界ボックス内のその欠陥を検出することと、
c)本発明で説明した細かく分ける画像セグメンテーションアルゴリズムに従って、それらのセグメンテーション輪郭マスクを決定することと、
d) (c)から、検出した欠陥のすべての面積を、それらを覆うセグメンテーション輪郭マスクに基づいて合計することによって、アッセイング用サンプルの画像において関心面積(AoI)(AoI内欠陥面積)内で欠陥が占める総面積を決定することと、
e)サンプルの画像内のAoI内欠陥面積とAoI面積との面積比:
AoI内欠陥比=AoI内欠陥面積/AoI面積を決定することと、
f)AoI内欠陥比が特定の閾値を超えた場合に、アッセイング結果の信頼性に対してフラッグを立てることであって、説明したアプローチのいくつかの実施形態では、閾値は約15%であり、閾値は、トレーニング及び評価データから推定することができる最終的な推定に対する欠陥の面積の影響に依存する、立てること。
【0199】
サンプル中の気泡:サンプル中の気泡は、アッセイング中に発生する特別なタイプの欠陥である。その発生はランダムであり、操作手順ならびにサンプル中の検体と他の薬剤と間の反応に由来する可能性がある。固体のホコリとは異なり、その数、サイズ、及び形状がすべて時間とともに変化するため、その発生はよりランダムである。
【0200】
本発明のいくつかの実施形態では、専用プロセスを考案して、画像ベースのアッセイにおいてサンプル中の気泡を検出するために適用する。気泡を伴わない良好なサンプルの画像と種々の程度の気泡があるサンプルの画像とをトレーニングデータとして集めて、そこから画像内の気泡を、その形状及び形状輪郭詳細とは関係なく、境界ボックスによって粗く標識化する。機械学習モデル(たとえばFAST RCNN)を選択し、標識化されたトレーニング画像によってトレーニングして、境界ボックス内のサンプルの画像中の気泡を検出する。そして、本発明で説明した細かく分ける画像セグメンテーションアルゴリズムに従って、サンプルの画像内でそれらを覆うセグメンテーション輪郭マスクを決定する。
【0201】
画像ベースのアッセイング処理中に、本発明のいくつかの実施形態では気泡検出及び面積決定を行って、アッセイング結果の信頼性を検証する。これには以下が含まれる。
a)画像化装置からサンプルの画像を入力として取ることと、
b)気泡用のトレーニングされた機械学習モデル(たとえばFASTRCNN)をアッセイング用サンプルの画像に適用して、境界ボックス内の気泡を検出することと、
c)それらのセグメンテーション輪郭マスクを、本発明で説明した細かく分ける画像セグメンテーションアルゴリズムを適用することによって決定することと、
d) (c)において、検出した気泡のすべての面積を、それらを覆うセグメンテーション輪郭マスクに基づいて合計することによって、アッセイング用サンプルの画像において関心面積(AoI)(AoI内欠陥面積)内で気泡が占める総面積を決定することと、
e)サンプルの画像内でのAoI内気泡面積とAoI面積との面積比:
AoI内気泡比=AoI内気泡面積/AoI面積を判決定することと、
f)AoI内気泡比が特定の閾値を超えた場合に、アッセイング結果の信頼性に対してフラッグを立てることであって、説明したアプローチのいくつかの実施形態では、閾値は約10%であり、閾値は、トレーニング及び評価データから推定することができる最終的な推定に対する気泡面積の影響に依存する、立てること。
【0202】
本発明のいくつかの実施形態では、気泡に対してより厳しい閾値を適用する。なぜならば、大量の面積を気泡が占めているというのは、アッセイング用のサンプルにおいてコンポーネント間にいくつかの化学または生物反応があること、またはサンプル保持デバイスにおいていくつかの欠陥/問題点があることの表示だからである。
【0203】
モニタリングマークを用いた画像化ベースのアッセイ
サンプル中の検体をアッセイするための画像ベースのアッセイにおいて、画像化装置を用いてサンプルホルダ上にあるサンプルの画像を形成し、この画像を、検体の特性を決定する際に用いる。
【0204】
しかし、多くの要因によって画像が歪む可能性がある(すなわち、実際のサンプルまたは完全な状態の画像とは異なる)。画像の歪みが原因で検体の特性の決定が不正確になる可能性がある。たとえば、1つの事実は、生物学的サンプル自体に、フォーカシングにおいて好ましい鋭いエッジがないために、フォーカシングが不十分となることである。フォーカシングが不十分だと、物体寸法が実際の物体とは異なり、他の物体(たとえば血球)が特定できなくなる可能性がある。別の例は、レンズが完全でなくて、サンプルの場所が異なると歪みが異なる場合があることである。また別の例は、サンプルホルダが光学イメージングシステムとは同じ平面になく、ある面積ではフォーカスが良好で、他の面積ではフォーカシング不十分ということである。
【0205】
本発明は、歪んだ画像から「真の」画像を取得することができ、したがってアッセイの精度を向上させることができるデバイス及び方法に関する。
【0206】
本発明の一態様は、隣接する表面と平行な視覚的に観察可能な平坦面を有するモニタリングマークを用いるデバイス及び方法である。
【0207】
本発明の別の態様は、QMAXカードを用いてサンプルの少なくとも一部に均一な層を形成させ、カード上のモニタリングマークを用いてアッセイ精度を向上させるデバイス及び方法に関する。
【0208】
本発明の別の態様は、モニタリングマークとともに、コンピューテーショナル画像化、人工知能、及び/または機械学習を用いるデバイス及び方法に関する。
【0209】
用語「横寸法」は、画像化している薄いサンプル層の平面内での直線寸法を指す。
【0210】
用語「真の横寸法(TLD)」及び「視界(FoV)」は互換性がある。
【0211】
用語「サンプル内の微小特徴」は、サンプル中の物質の検体、微細構造、及び/または微小変化を指す可能性がある。検体は、粒子、細胞、巨大分子、たとえばタンパク質、核酸、及び他の部分を指す。微細構造は、異なる材料中の微小規模の差を指す可能性がある。微小変化は、サンプルの局所的な特性の微小規模の変化を指す。微小変化の例は局所的な光学指数及び/または局所質量の変化である。細胞の例は血球、たとえば白血球、赤血球、及び血小板である。
【0212】
A.固体相表面上のモニタリングマーク
A1-1.
画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
(a)微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のモニタリングマークであって、
i.サンプルからの異なる材料で形成され、
ii.微細構造のアッセイ中は、サンプル中部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
iii.横直線寸法が約1um(ミクロン)以上であり、
iv.少なくとも1つの横直線寸法が300um以下である、モニタリングマークと、を含み、
アッセイ中に、少なくとも1つのモニタリングマークが、検体のアッセイ中に用いられる画像化装置によって画像化され、
モニタリングマークの幾何学的パラメータ(たとえば形状及びサイズ)及び/またはモニタリングマーク間のピッチは、(a)予め決められて検体のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
【0213】
A1-2.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
1つ以上のモニタリングマークであって、各モニタリングマークは固相表面からの突起物または溝を含み、
v.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
vi.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
vii.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
viii.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
ix.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、モニタリングマークと、を含むデバイス。
【0214】
B.QMAXカード上のモニタリングマーク
A2-1.
画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
i.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
iii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iv.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
v.モニタリングマークはサンプルからの異なる材料で形成され、
vi.モニタリングマークは微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
vii.モニタリングマークは横直線寸法が約1um(ミクロン)以上であり、少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう1つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
【0215】
A2-2.
画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
viii.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ix.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
x.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
xi.スペーサは、200ミクロン以下の略均一な高さと、固定されたスペーサ間距離(ISD)と、を有し、
xii.各モニタリングマークは一方または両方のサンプル接触領域上に突起物または溝を含み、
xiii.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
xiv.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
xv.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
xvi.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
xvii.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
【0216】
A3.
画像ベースのアッセイ用のデバイスであって、
いずれかの先行するデバイス実施形態のデバイスであって、少なくとも5つのモニタリングマークを有し、モニタリングマークのうちの少なくとも3つは直線上で位置合わせされていないデバイスを含むデバイス。
【0217】
A4.
画像化装置を用いてサンプル中の検体をアッセイするための装置であって、システムには、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)検体を含むサンプルをアッセイするときに用いる画像化装置と、が含まれる装置。
【0218】
A5.
画像化装置を用いてサンプル中の検体をアッセイするためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)検体を含むサンプルをアッセイするときに用いる画像化装置と、
(c)デバイスのモニタリングマークを用いて検体に関係する特性を決定するアルゴリズムと、を含むシステム。
【0219】
いくつかの実施形態では、薄層の厚さは、所与の検体濃度に対して薄層中に単層の検体が存在するように、構成されている。用語「単層」とは、薄いサンプル層中で、サンプル層の平面に垂直な方向において2つの隣接する検体間に実質的な重なりがないことを意味する。
【0220】
C.コンピューテーション画像化人工知能及び/または機械学習を伴うモニタリングマーク
本発明の別の態様は、モニタリングマークをコンピューテーショナル画像化、人工知能、及び/または機械学習と結合することである。それは、測定から画像を形成するプロセスを利用し、画像を処理して画像内の物体を現実世界でのそれらの物理的寸法にマッピングするアルゴリズムを用いる。本発明では、機械学習(ML)を、サンプル中の物体の顕著な特徴を学習するために適用し、画像化装置が取ったサンプルの画像から構築及びトレーニングされたMLモデル中に埋め込む。インテリジェントな決定論理を、本発明の推論プロセスに組み込んで適用し、MLモデルに埋め込まれた知識に従って対象サンプル中の物体を検出及び分類する。コンピューテーショナル画像化は、著しい量の計算に基づくアルゴリズムを用いて、測定から画像を間接的に形成するプロセスである。
【0221】
A6.
画像化装置を用いてサンプル中の検体をアッセイするためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)検体を含むサンプルをアッセイするときに用いる画像化装置と、
(c)デバイスのモニタリングマークを用いて検体に関係する特性をアッセイするアルゴリズムであって、アルゴリズムは機械学習を用いる、アルゴリズムと、を含むシステム。
【0222】
A7.
画像化装置を用いてサンプル中の検体をアッセイするための方法であって、
(a)いずれかの先行する実施形態のデバイス、装置、またはシステムを取得することと、
(b)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触領域上にサンプルを堆積させることであって、サンプルには検体が含まれる、取得することと、
(c)検体をアッセイすることと、を含む方法。
【0223】
A8.
画像化装置を用いてサンプル中の検体をアッセイするための方法であって、
(a)いずれかの先行する実施形態のデバイス、装置、またはシステムを取得することと、
(b)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触領域上にサンプルを堆積させることであって、サンプルには検体が含まれる、取得することと、
(c)検体をアッセイすることであって、アッセイングには、機械学習を用いるステップが含まれる、アッセイすることと、を含む方法。
【0224】
本発明の1つの主要な考え方は、サンプル保持デバイス(たとえば、QMAXデバイス)内でピラーを、画像ベースのアッセイの較正及び精度向上のための検出可能アンカーとして用いることである。QMAXデバイスでは、ピラーは、サンプル保持デバイス内のサンプルを保持する2つのプレート間のギャップを一定に保つためのモニタマークである。しかし、サンプル保持デバイス内のピラーを、アッセイの較正及び精度向上のためのアンカーとして正確に検出することは難題である。なぜならば、ピラーはサンプル保持デバイスの内部で検体に浸透して検体に囲まれているからである。また、それらの画像は、レンズの球面(たる形)歪み、微小物体からの光回折、微視的レベルでの欠陥、フォーカシングにおける誤位置合わせ、サンプル画像中のノイズなどから、微視的画像化において歪められてぼやける。さらに、汎用デバイス(たとえば、スマートフォンからのカメラ)によって画像化を行う場合、より難しくなる。なぜならば、このようなカメラは、製造を離れたら、専用のハードウェアによって較正されることはないからである。
【0225】
本発明では、ピラー検出を機械学習フレームワークに定式化して、サンプル保持デバイス(たとえばQMAXデバイス)内のピラーを、画像ベースのアッセイにおける較正及び精度向上に適した精度で検出する。ピラーの分布及び物理的構成は先験的に知られており、微細ナノスケール加工(たとえば、QMAXデバイス)によって制御されるため、検出可能なモニタマーク(たとえば、ピラー)を、画像ベースのアッセイにおけるアンカーとして用いるこの革新的なアプローチは、実現可能なだけでなく、効果的でもある。
【0226】
いくつかの実施形態では、いずれかの先行する実施形態のアルゴリズムには、コンピューテーショナル画像化、人工知能、及び/または機械学習のアルゴリズムが含まれる。
【0227】
いくつかの実施形態では、いずれかの先行する実施形態のアルゴリズムには機械学習のアルゴリズムが含まれる。
【0228】
いくつかの実施形態では、いずれかの先行する実施形態のアルゴリズムには、人工知能、及び/または機械学習のアルゴリズムが含まれる。
【0229】
いくつかの実施形態では、いずれかの先行する実施形態のアルゴリズムには、コンピューテーショナル画像化、及び/または機械学習のアルゴリズムが含まれる。
【0230】
いくつかの実施形態では、サンプルの画像からピラーを検出するために機械学習ベースのピラー検出を考案し、そしてそこから、カード加工からのピラーの既知の構成及び分布を適用して、良好なポイントセット(すなわち、互いに対応する画像プランにおけるポイントとカードの物理的なプランにおけるポイントと)を構築する。そして、検出した良好なポイントセットに基づいて、歪んだ画像プランを正しいTLD(真の横寸法)を伴うサンプルの物理的なプランにマッピングする同形異義語の(透視)変換を計算する。
図6は、ピラーに基づく機械学習を用いた真の横寸法(TLD)推定及び補正のフロー図であり、本発明の実施形態には以下が含まれる。
(1)画像ベースのアッセイにおいてサンプル装着デバイス(たとえば、QMAXデバイス)を用いることであって、デバイス内に存在する既知の構成を伴うモニタマークが存在し、このモニタマークは、サンプル中に浸漬しておらず、画像ベースのアッセイにおいて画像化装置によって一番上から画像化することができる、用いることと、
(2)検体及びモニタマークを含むサンプル装着デバイス内でサンプルの画像を取ることと、
(3)画像化装置が取った画像からサンプル保持デバイス内のモニタマークを検出するための機械学習(ML)モデルを構築してトレーニングすることと、
(4)(3)からの前記ML検出モデルを用いて、サンプル画像化装置が取った画像からサンプル装着デバイス内のモニタマークを検出して場所を特定することと、
(5)(4)で検出したモニタマークからマーカーグリッドを生成することと、
(6)生成したモニタマークグリッドに基づいてホモグラフィ変換を計算することと、
(7)画像ベースのアッセイにおいて、画像化した検体のTLDを推定し、面積、サイズ、及び濃度を決定すること。
【0231】
本発明はさらに改良して、領域ベースのTLD推定及び較正を実行し、画像ベースのアッセイの精度を向上させることができる。このようなアプローチの実施形態には以下が含まれる。
(1)画像ベースのアッセイにおいてサンプル装着デバイス(たとえば、QMAXデバイス)を用いることであって、モニタマークが存在し、モニタマークは、サンプル中に浸漬しておらず、画像ベースのアッセイにおいて画像化装置によって一番上から画像化することができるデバイス内に存在する、用いることと、
(2)検体及びモニタマークを含むサンプル保持デバイス内でサンプルの画像を取ることと、
(3)画像化装置が取った画像からサンプル保持デバイス内のモニタマークを検出するための機械学習(ML)モデルを構築してトレーニングすることと、
(4)画像化装置が取ったサンプルの画像を非重複領域に分割することと、
(5)(3)のMLモデルを用いて、画像化装置が取ったサンプル画像からモニタマークを検出して場所を特定することと、
(6)局所領域において検出された5を超える非共線モニタマークを伴う領域のそれぞれに対して領域ベースのマークグリッドを生成することと、
(7)画像化装置が取ったサンプルの画像から検出したモニタマークに基づいて、(6)にないすべての領域に対してマークグリッドを生成することと、
(8)(6)における各領域に対して領域特有のホモグラフィ変換を、(6)で生成したそれ独自の領域ベースのマークグリッドに基づいて計算することと、
(9)他のすべての領域に対するホモグラフィ変換を、(7)で生成したマークグリッドに基づいて計算することと、
(10)(6)における各領域に対する領域ベースのTLDを、(8)で生成した領域ベースのホモグラフィ変換に基づいて推定することと、
(11)(9)からのホモグラフィ変換に基づいて他の領域に対するTLDを推定することと、
(12)(10)及び(11)から推定したTLDを適用して、画像ベースのアッセイにおける各分割内での画像化した検体の面積及び濃度を決定すること。
【0232】
いくつかの実施形態では、モニタリングマークは鋭いエッジ及び平坦面を有している。
【0233】
いくつかの実施形態では、モニタリングマークを用いて、画像の局所的な特性及び/または局所的な動作状態(たとえば、ギャップサイズ、プレート品質)を決定する。
【0234】
いくつかの実施形態では、モニタリングマークはスペーサと同じ形状を有している。
【0235】
モニタリングマークを用いたアッセイ動作のモニタリング
本発明の一態様は、2つの移動可能なプレートを有するQMAXカードを用いてアッセイするために、薄いサンプルの内部に配置されたモニタリングマークを用いてQMAXカードに対する動作状態をモニタリングできることである。動作状態には、サンプルが適切に装着されているか否か、2つのプレートが適切に閉じているか否か、2つのプレート間のギャップが所定の値と同じであるかまたはほぼ同じであるかを含めることができる。
【0236】
いくつかの実施形態では、2つの移動可能なプレートを含んで閉構成では2つのプレート間に所定のギャップを有するQMAXカードに対して、QMAXアッセイの動作状態を、閉構成でモニタリングマークの画像を取ることによってモニタする。たとえば、2つのプレートが適切に閉じていない場合、モニタリングマークは、画像内で、2つのプレートが適切に閉じている場合とは異なって見える。サンプルに囲まれたモニタリングマークは、サンプルに囲まれていないモニタリングマークとは見た目が異なる。したがって、サンプル装着状態に関する情報を得ることができる。
【0237】
Z-1.1
モニタリングマークを用いてデバイスの動作状態をモニタするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
i.第1のプレート及び第2のプレートは互いに対して移動して異なる構成になることができ、
ii.第1のプレート及び第2のプレートはそれぞれ、分析しているサンプルと接触するためのサンプル接触領域を含む内面を含み、
iii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面上に取り外し不能に固定されたスペーサを含み、
iv.モニタリングマークはその寸法の少なくとも1つが、(a)予め決められていて既知であり、(b)画像化装置によって観察可能であり、
v.モニタリングマークは、少なくとも1つの横直線寸法が300um以下である微細構造であり、
vi.モニタリングマークはサンプルの内部にあり、
構成の1つは開構成で、2つのプレートが部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルはプレートの一方または両方上に堆積しており、
構成のもう1つは閉構成で、開構成でサンプルを堆積させた後に構成され、力面積上に不正確な押圧を印加することによってプレートは強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部は、2つのプレートによって圧縮されて極めて均一な厚さの層になっており、プレートに対して実質的に停滞しており、層の均一な厚さは、2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
2つのプレートを閉構成に到達させる際に力を用いた後で、モニタリングマークを画像化して、(i)2つのプレートが意図した閉構成に到達して、サンプル厚さがほぼ所定の厚さに調整されたか否かを判定し、及び/または(ii)サンプルが要望どおりに装着されたか否かを判定する。
【0238】
いくつかの実施形態では、モニタリングマークの画像を用いて、2つのプレートが意図した閉構成に到達したか否かを判定し、サンプルは、ほぼ所定の厚さの厚さを有するように調整される。
【0239】
いくつかの実施形態では、モニタリングマークの画像を用いて、サンプルが要望どおりに装着されたか否かを判定する。
【0240】
いくつかの実施形態では、モニタリングマークを画像化して、2つのプレートが意図した閉構成に到達してサンプル厚さが所定の厚さに調整されたか否かを判定し、及びサンプルが要望どおりに装着されたか否かを判定する。
【0241】
いくつかの実施形態では、スペーサはモニタリングマークとして機能する。
【0242】
いくつかの実施形態では、システム含むデバイス、及びコンピュテーショナルデバイス、及び命令を有する非一時的コンピュータ可読媒体を含み、命令は、実行されると決定を行う。
【0243】
いくつかの実施形態では、非一時的コンピュータ可読媒体が命令を有し、命令は、実行されると、薄いサンプル層とともにモニタリングマークの1つ以上の画像を用いて、(i)2つのプレートが意図した閉構成に到達して、サンプル厚さがほぼ所定の厚さに調整されたか否か、または(ii)サンプルが要望どおりに装着されたか否かを判定することを含む方法を実行する。
【0244】
いくつかの実施形態では、システムは、命令を有する非一時的コンピュータ可読媒体を含み、命令は、実行されると、本開示の任意の方法を実行する。
【0245】
W-1.
モニタリングマークを用いてデバイスの動作状態をモニタするための方法であって、
(a)いずれかの先行する実施形態のデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを含み、モニタリングマークはサンプル接触領域内にある、取得することと、
(b)画像化装置を取得することと、
(c)(a)のデバイスのサンプル接触領域内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取ることと、
(e)モニタリングマークの画像を用いて、(i)2つのプレートが意図する閉構成に到達した結果、サンプル厚さがほぼ所定の厚さに調整されたか否か、または(ii)サンプルが要望どおりに装着されたか否かを判定することと、を含む方法。
【0246】
いくつかの実施形態では、モニタリングマークの画像を用いて、2つのプレートが意図する閉構成(サンプルがほぼ所定の厚さの厚さを有するように調整される)に到達したか否かを判定する。
【0247】
いくつかの実施形態では、モニタリングマークの画像を用いて、サンプルが要望どおりに装着されたか否かを判定する。
【0248】
いくつかの実施形態では、モニタリングマークを画像化して、2つのプレートが意図する閉構成(サンプル厚さが所定の厚さに調整される)に到達したか否かを判定し、サンプルが要望どおりに装着されたか否かを判定する。
【0249】
いくつかの実施形態では、システムには、デバイスと、コンピュテーショナルデバイスと、命令を有する非一時的コンピュータ可読媒体と、が含まれている。命令は、実行されると、決定処理を実行する。
【0250】
対象面積の選択及び/または欠陥画像面積の除去
いくつかの実施形態では、サンプルは欠陥を有し、アッセイに対する欠陥の影響を取り除く方法は、画像内の欠陥を特定することと、欠陥画像面積を取るかまたは欠陥によって生じた画像を有しない画像の良好な面積を選択することと、を含む。
【0251】
いくつかの実施形態では、画像から取り除かれた面積は欠陥画像面積の面積よりも大きい。
【0252】
いくつかの実施形態では、サンプルの厚さは、対象物体(たとえば、細胞)が単層を形成する(すなわち、サンプル層に垂直な方向において物体間の著しい重なりがない)ように、薄い厚さに構成されている。
【0253】
画像化装置を用いてQMAXカードの製造品質を決定するための方法であって、
(f)いずれかの先行する実施形態のデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを含み、モニタリングマークはサンプル接触領域内にある、取得することと、
(g)画像化装置を取得することと、
(h)(a)のデバイスのサンプル接触領域内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
(i)画像化装置を用いて、薄いサンプル層の1つ以上の画像を取ることと、
(j)モニタリングマークの画像を用いてQMAXカードの製造品質を決定することと、を含む方法。
【0254】
製造品質を決定することには、1つ以上のモニタリングマークの特性(たとえば、長さ、幅、ピッチ、ウェビング)を測定することと、測定した特性を基準値と比較してQMAXカードの製造品質を決定することと、が含まれる、いずれかの先行する実施形態の方法。
【0255】
製造品質を決定することには、1つ以上の第1のモニタリングマークの第1の特性(たとえば、量、長さ、幅、ピッチ、ウェビング)を測定することと、測定した第1の特性を1つ以上の第2のモニタリングマークの第2の特性(たとえば、数、長さ、幅、ピッチ、ウェビング)と比較してQMAXカードの製造品質を決定することと、が含まれる、いずれかの先行する実施形態の方法。
【0256】
いずれかの先行する実施形態のデバイスを用いてサンプルを分析する間に決定を行う、いずれかの先行する実施形態の方法。
【0257】
本発明の別の態様は、モニタマークにサンプル保持デバイス(たとえば、QMAXデバイス)内で周期パターンを作らせて、それが、画像化装置が取ったサンプルの画像内で特定のピッチで周期的に現れるようにする。この周期的な特性に基づいて、モニタマーク検出は非常に信頼性の高いものになる可能性がある。なぜならば、すべてのモニタマークを、それらが事前指定の構成で周期的に位置するために、少数の検出したものから特定して取得することができ、さらに、このような構成をナノ加工技術(たとえば、ナノインプリント)によって正確に作成することができるからである。またこれから、サンプル画像ベース及び画像領域ベースのTLD推定の両方が、モニタマークの周期パターンによって、より正確で堅固になる可能性がある。
【0258】
A.微視的マークを有するサンプルホルダ
単一プレート
AA-1.1
画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
x.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能である、エッジを有し、
xi.少なくとも1つの横直線寸法が300um以下の微細構造であり、
xii.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
【0259】
AA-1.2
画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)i)厚さが200um以下であり(ii)微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
i.固相表面からの突起物または溝を含み、
ii.微小特徴を画像化する画像化装置によって観察可能な鋭いエッジを有し、
iii.少なくとも1つの横直線寸法が300um以下の微細構造であり
iv.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
【0260】
一定間隔の2つのプレート
AA-2.1
画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、及び1つ以上のモニタリングマークを含み、
xviii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触領域を含む内面を含み、
xix.サンプルの少なくとも一部は、第1及び第2のプレートによって、200um以下の実質的に一定の厚さの薄層内に制限され、
xx.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
xxi.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
xxii.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
【0261】
2つの移動可能なプレート
AA-3.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
vii.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
viii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触領域を含む内面を含み、
ix.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
x.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
xi.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
xii.vii.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化され、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
【0262】
B.微視的マークを有するサンプルホルダを用いた画像取り改善
BB-1.
サンプル中の微小特徴の画像取りを改善するための装置であって、
(c)いずれかの先行するデバイス実施形態のデバイスと、
(d)(d)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、を含み、
画像化装置は画像を取り、少なくとも1つの画像はサンプルの一部及びモニタリングの両方を含む、装置。
【0263】
BB-2.
サンプル中の微小特徴の画像取りを改善するためのシステムであって、
(d)いずれかの先行するデバイス実施形態のデバイスと、
(e)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、
(f)命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、マークをパラメータとして用いるとともに、次の画像に対する画像化装置の設定を調整する画像化処理方法を用いる、非一時的コンピュータ可読媒体と、を含む、システム。
【0264】
C.微視的マークを有するサンプルホルダを用いた画像化解析。
CC1:
サンプル中の微小特徴の画像の解析を改善するための装置であって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)マークと、微小特徴を含むかまたは含むと疑われるサンプルとの画像を受け取る際に用いられるコンピューテーションデバイスと、を含み、
コンピューテーションデバイスは、マークをパラメータとして用いるとともに画像の画質を向上させる画像化処理方法を用いるアルゴリズムを実行する、装置。
【0265】
CC-2:
サンプル中の微小特徴の画像の解析を改善するためのシステムであって、(a)いずれかの先行するデバイス実施形態のデバイスと、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むかまたは含むと疑われるサンプルをサンプル及びマークの1つまたは複数の画像を取ることによってアッセイする際に用いられる画像化装置と、
(c)命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、マークをパラメータとして用いるとともに、(c)で取った少なくとも1つの画像の画質を向上させる画像化処理方法を用いる、非一時的コンピュータ可読媒体と、を含む、システム。
【0266】
CC-3:
サンプル中の微小特徴をアッセイするためのコンピュータプログラム製品であって、プログラムには、少なくとも1つの画像において、
(a)サンプル及びモニタリングマーク(複数可)の画像を受け取ることであって、サンプルはいずれかの先行するデバイス請求項のデバイス内に装着され、画像は画像化装置が取る、受け取ることと、
(b)画像を処理及び解析して微小特徴の量を計算することであって、解析では、機械学習とモニタリングマーク(複数可)の画像によって得られる情報とに基づく検出モデルを用いる、計算することと、に適用及び適応されるコンピュータプログラムコード手段が含まれる、コンピュータプログラム製品。
【0267】
CC-4:
サンプル中の微小特徴をアッセイするためのコンピューティングデバイスであって、本発明の実施形態のいずれかでアルゴリズムを動作させるコンピューティングデバイスが含まれるコンピューテーションデバイス。
【0268】
CC-5:
画質の改善には、ノイズ除去、画像正規化、画像シャープニング、画像スケーリング、位置合わせ(たとえば、顔検出用)、超解像度、ボケ修正、及びそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0269】
CC-6.画像化処理方法には、ヒストグラムベースの演算、数学ベースの演算、畳み込みベースの演算、平滑化演算、微分ベースの演算、形態ベースの演算、シェーディング補正、画像向上及び/または復元、セグメンテーション、特徴抽出及び/またはマッチング、物体検出及び/または分類及び/または場所特定、画像理解、ならびにそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0270】
CC-6.1:
ヒストグラムベースの演算には、コントラストストレッチング、均等化、最小値フィルタリング、中央値フィルタリング、最大値フィルタリング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0271】
CC-6.2:
数学ベースの演算には、二値演算(たとえば、NOT、OR、AND、XOR、及びSUB)、算術ベースの演算(たとえば、ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、及びINVERT)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0272】
CC-6.3:
畳み込みベースの演算には、空間ドメインでの演算、フーリエ変換、DCT、整数変換、周波数ドメインでの演算、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0273】
CC-6.4:
平滑化演算には、線形フィルタ、均一フィルタ、三角フィルタ、ガウシアンフィルタ、非線形フィルタ、中間フィルタ、桑原フィルタ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0274】
CC-6.5:
微分ベースの演算には、一次微分演算、勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、二次微分フィルタ、基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタ、三次微分フィルタ、より高次数の微分フィルタ(たとえば、三次微分フィルタよりも高次数)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0275】
CC-6.6:
形態ベースの演算には、拡張、腐食、ブール型畳み込み、開及び/または閉、ヒットアンドミス演算、輪郭、スケルトン、伝搬、グレー値形態処理、グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖、形態学的平滑化、形態学的勾配、形態学的ラプラシアン、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0276】
CC-6.7:
画像向上及び/または復元には、シャープニング、アンシャープニング、ノイズ抑制、歪み抑制、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0277】
CC-6.8:
セグメンテーションには、閾値化、固定閾値化、ヒストグラム由来の閾値化、ISODATAアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、エッジ発見、勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順、二値数学的形態、ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、グレー値数学形態、トップハット変換、閾値化、局所的コントラストストレッチング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0278】
CC-6.9:
特徴抽出及び/またはマッチングには、独立成分分析、ISOマップ、カーネル主成分分析、潜在意味解析、部分的最小二乗、主成分分析、多因子次元削減、非線形次元削減、多重線形主成分分析、多重線形部分空間学習、半定値埋め込み、オートエンコーダ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる、いずれかの先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0279】
NN1.
画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
(a)微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のモニタリングマークであって、モニタリングマークは、
v.サンプルからの異なる材料で形成され、
vi.微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
vii.その横直線寸法が約1um(ミクロン)以上であり、
viii.少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、検体のアッセイ中に用いられる画像化装置によって画像化され、
モニタリングマークの幾何学的パラメータ(たとえば形状及びサイズ)及び/またはモニタリングマーク間のピッチは、(a)予め決められて検体のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
【0280】
NN2.
画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
1つ以上のモニタリングマークであって、各モニタリングマークは固相表面からの突起物または溝を含む1つ以上のモニタリングマークと、を含み、
ix.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
x.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
xi.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
xii.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
xiii.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
【0281】
NN3.
画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
xiii.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
xiv.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
xv.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
xvi.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
xvii.モニタリングマークはサンプルからの異なる材料で形成され、
xviii.モニタリングマークは微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
xix.モニタリングマークは横直線寸法が約1um(ミクロン)以上であり、少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
【0282】
NN4.
画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
xx.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
xxi.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
xxii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
xxiii.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
xxiv.各モニタリングマークは一方または両方のサンプル接触領域上に突起物または溝を含み、
xxv.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
xxvi.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
xxvii.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
xxviii.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
xxix.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
【0283】
NN5.
いずれかの先行するデバイス実施形態のデバイスを含む画像ベースのアッセイ用のデバイスであって、
デバイスは少なくとも5つのモニタリングマークを有し、モニタリングマークのうち少なくとも3つは直線上で位置合わせされていない、デバイス。
【0284】
NN6.
画像化装置を用いてサンプル中の微小特徴をアッセイするための装置であって、システムは、
(c)いずれかの先行するデバイス実施形態のデバイスと、
(d)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と、を含む装置。
【0285】
NN7.
画像化ベースのアッセイを行うためのシステムであって、
(d)いずれかの先行するデバイス実施形態のデバイスと、
(e)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と、
(f)命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されると、デバイスのモニタリングマークを用いて微小特徴に関係する特性をアッセイし、命令には機械学習が含まれる、非一時的コンピュータ可読媒体と、を含むシステム。
【0286】
NN8.
画像化装置を用いてサンプル中の微小特徴をアッセイするためのシステムであって、
(g)いずれかの先行するデバイス実施形態のデバイスと、
(h)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と、
(i)命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されると、デバイスのモニタリングマークを用いて微小特徴に関係する特性をアッセイし、命令には機械学習が含まれる、非一時的コンピュータ可読媒体と、を含むシステム。
【0287】
NN9.
画像化装置を用いてサンプル中の微小特徴をアッセイするための方法であって、
(d)いずれかの先行する実施形態のデバイス、装置、またはシステムを取得することと、
(e)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触領域上にサンプルを堆積させることであって、サンプルには微小特徴が含まれる、堆積させることと、
(f)(c)微小特徴をアッセイすることと、を含む方法。
【0288】
NN10.
画像化装置を用いてサンプル中の微小特徴をアッセイするための方法であって、
(d)いずれかの先行する実施形態のデバイス、装置、またはシステムを取得することと、
(e)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触領域上にサンプルを堆積させることであって、サンプルには微小特徴が含まれる、堆積させることと、
(f)(c)微小特徴をアッセイすることであって、アッセイングには機械学習を用いるステップが含まれる、アッセイすることと、を含む方法。
【0289】
T1.
歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(a)いずれかの先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、
(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)のデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取ることであって、画像化装置は薄いサンプル層の上方に位置する、取ることと、
(e)アルゴリズムを用いてサンプルの真の横寸法を決定することと、を含み、
ここで、
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、方法。
【0290】
T2.
歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(a)いずれかの先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、
(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)におけるデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取ることであって、画像化装置は薄いサンプル層の上方に位置する、取ることと、
(e)アルゴリズムを用いて、物理的評価基準(たとえばマイクロメートル)によって、画像化したサンプルの現実世界での真の横寸法及び座標を決定することと、を含み、
ここで、
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、方法。
【0291】
T3.
サンプルからの微小特徴とモニタリングマークとはサンプル保持デバイス内に配置されている、いずれかの先行する実施形態のデバイス、方法、またはシステム。
【0292】
T4.
決定することには、画像化装置が取ったサンプルの画像内のモニタリングマークを検出して場所を特定することが含まれる、いずれかの先行する実施形態のデバイス、方法、またはシステム。
【0293】
T5.
決定することには、画像化装置が取ったサンプルの画像から検出されたモニタリングマークに基づいてモニタリングマークグリッドを作成することが含まれる、いずれかの先行する実施形態のデバイス、方法、またはシステム。
【0294】
T6.
決定することには、作成されたモニタリングマークグリッドからホモグラフィ変換を計算することが含まれる、いずれかの先行する実施形態のデバイス、方法、またはシステム。
【0295】
T7.
決定することには、ホモグラフィ変換からTLDを推定することと、画像ベースのアッセイにおいて検出された微小特徴の面積、サイズ、及び濃度を決定することと、が含まれる、いずれかの先行する実施形態のデバイス、方法、またはシステム。
【0296】
T8.
いずれかの先行する実施形態の方法、デバイス、またはシステムであって、TLD推定は画像化装置が取ったサンプル画像内の領域に基づいており、
(a)サンプルを取得することと、
(b)サンプルを、サンプル保持デバイス(たとえば、QMAXデバイス)内に装着することであって、モニタリングマークが存在し、モニタリングマークは、サンプル中に浸漬しておらず、画像ベースのアッセイにおいて画像化装置が上方から画像化することができるデバイス内に存在する、装着することと、
(c)微小特徴とモニタリングマークとを含むサンプル装着デバイス内のサンプルの画像を取ることと、
(d)画像化装置が取ったサンプル画像内のモニタリングマークを検出することと、
(e)サンプル画像を非重複領域に分割することと、
(f)局所領域で検出された5つを超える非共線のモニタリングマークを用いて、領域ベースのマークグリッドを各非重複領域に対して作成することと、
(g)画像化装置が取ったサンプル画像から検出されたモニタリングマークに基づいて、(f)にない他のすべての領域に対してマークグリッドを作成することと、
(h)(f)の各領域に対して領域特定のホモグラフィ変換を、(f)から作成したその独自の領域ベースのマークグリッドに基づいて計算することと、
(i)(g)で作成したマークグリッドに基づいて、(f)にない他のすべての領域に対してホモグラフィ変換を計算することと、
(j)(g)の領域ベースのホモグラフィ変換に基づいて、(f)の各領域に対して領域ベースのTLDを推定することと、
(k)(i)のホモグラフィ変換に基づいて、(f)にない他の領域に対してTLDを推定することと、
(l)(j)及び(k)から推定したTLDを適用して、画像ベースのアッセイにおいて各画像分割における画像化された微小特徴の面積及び濃度を決定することと、を含む、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0297】
T9.
サンプル保持デバイス内のモニタリングマークは、規定されたピッチ周期を伴う周期パターンに従って分布している、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0298】
T10.
前記モニタリングマークを検出して、較正及び画像ベースのアッセイにおける測定精度の向上のための検出可能アンカーとして適用する、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0299】
T11.
画像化装置が取ったサンプル画像内のモニタリングマークの検出では、エラー補正及び/または検出の信頼性用のサンプル保持デバイス内でのモニタリングマーク分布の周期性を用いる、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0300】
T12.
画像ベースのアッセイにおける前記モニタリングマークの検出、特定、面積及び/または形状輪郭の推定は、機械学習(ML)を通して、MLベースのモニタリングマーク検出モデルと、画像ベースのアッセイにおいて前記デバイス上で画像化装置が取った画像から構築またはトレーニングされた装置とを用いて行う、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0301】
T13.
画像ベースのアッセイにおける前記モニタリングマークの検出、特定、面積及び/または形状輪郭の推定は、画像処理、または機械学習と結合した画像処理を通して行う、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0302】
T14.
検出したモニタリングマークを画像ベースのアッセイにおけるTLD推定に適用して、システムを較正し及び/または画像化ベースのアッセイにおける測定精度を向上させる、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0303】
T15.
検出したモニタリングマークを画像ベースのアッセイにおける微小特徴サイズ、体積及び/または濃度の推定(これらに限定されない)に適用して、システムを較正し及び/または測定精度を向上させる、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0304】
T16.
モニタリングマークの検出及び/またはTLD推定を画像ベースのアッセイにおける故障検出(サンプル保持デバイス内の欠陥、画像化装置内でのサンプル保持デバイスの置き違い、及び/または画像化装置のフォーカシング故障の検出が挙げられるが、これらに限定されない)に適用する、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0305】
T17.
前記モニタリングマークを、画像ベースのアッセイにおいて物体の面積を推定するシステムにおいて適用するアンカーとして検出し、
i.サンプルを、画像ベースのアッセイにおいて前記デバイス内にモニタリングマークが存在するサンプル保持デバイスに装着することと、
ii.微小特徴とモニタリングマークとを含むサンプル保持デバイス内のサンプルの画像を取ることと、
iii.サンプル保持デバイス上で画像化装置が取ったサンプルの画像内のモニタリングマークを検出して、画像ベースのアッセイにおいてTLDを決定して面積推定値を計算し、画像化した物体のサイズを画像内の画素から決定し、現実世界でのマイクロメートルでのその物理的寸法を決定する、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0306】
T18.
いずれかの先行する実施形態の方法、デバイス、またはシステムであって、システムには、
i.デジタル画像内のモニタリングマークを検出することと、
ii.モニタリングマークグリッドを作成することと、
iii.モニタリングマークグリッドに基づいて画像変換を計算することと、
iv.画像ベースのアッセイにおいてサンプルの画像内の物体の面積と現実世界でのその物理的寸法とを推定することと、を含む、いずれかの先行する実施形態の方法、デバイス、またはシステム。
【0307】
T19.
検出したモニタリングマークから作成したモニタリングマークグリッドを用いてホモグラフィ変換を計算して、TLD、画像化装置が取ったサンプルの画像内での物体の面積、及び現実世界での物体の物理的寸法を推定する、任意の先行する実施形態の方法、デバイス、またはシステム。
【0308】
T20.
が含まれる、任意の先行する実施形態の方法、デバイス、またはシステムであって、方法には、
i.画像ベースのアッセイにおいて画像化装置が取ったサンプルの画像を非重複領域に分割することと、
ii.画像内の局所的なモニタリングマークを検出することと、
iii.領域内で5つを超える非共線のモニタリングマークが検出された場合にその領域に対する領域ベースのマークグリッドを作成することと、
iv.画像化装置が取ったサンプルの画像内で検出されたモニタリングマークに基づいて、他のすべての領域に対するマークグリッドを作成することと、
v.(iii)の各領域に対して、作成した領域ベースのマークグリッドから領域ベースのホモグラフィ変換を計算することと、
vi.(iv)で作成したマークグリッドに基づいて、(iii)にない他のすべての領域に対してホモグラフィ変換を計算することと、
vii.(v)及び(vi)から生成したホモグラフィ変換に基づいて、各領域に対してTLDを推定し、画像ベースのアッセイにおいて各領域におけるサンプルの画像内での物体の面積と現実世界でのそのサイズとを決定することと、が含まれる、任意の先行する実施形態の方法、デバイス、またはシステム。
【0309】
T21.
アッセイは医療、診断、化学的または生物学的試験である、任意の先行する実施形態の方法、デバイス、またはシステム。
【0310】
T22.
前記微小特徴は細胞である、任意の先行する実施形態の方法、デバイス、またはシステム。
【0311】
T23.
前記微小特徴は血球である、任意の先行する実施形態の方法、デバイス、またはシステム。
【0312】
T24.
前記微小特徴はタンパク質、ペプチド、DNA、RNA、核酸、小分子、細胞、またはナノ粒子である、任意の先行する実施形態の方法、デバイス、またはシステム。
【0313】
T25.
前記微小特徴には標識が含まれる、任意の先行する実施形態の方法、デバイス、またはシステム。
【0314】
T26.
前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
(a)サンプルの画像を受け取ることであって、サンプルはQMAXデバイス内に装着され、画像はQMAXデバイスに接続された画像化装置が取り、画像にはサンプル及びモニタリングマークの両方が含まれる、受け取ることと、
(b)検出モデルを用いて画像を解析して画像の2Dデータアレイを作成することであって、2Dデータアレイには画像内の各場所に対する微小特徴の確率データが含まれ、検出モデルはトレーニングプロセスを通して設定され、トレーニングプロセスには、
i.注釈付きデータセットを畳み込みニューラルネットワークに供給することであって、注釈付きデータセットは、試験サンプルと同じタイプのサンプルからであり、同じ微小特徴に対するものである、供給することと、
ii.畳み込みによって検出モデルをトレーニングして設定することと、が含まれる、作成することと、
(c)2Dデータアレイを解析して、局所的な信号ピークを、
i.信号リストプロセス、または
ii.局所的な検索プロセス、を用いて検出することと、
(d)局所的な信号ピーク情報に基づいて微小特徴の量を計算することと、に適応される、任意の先行する実施形態の方法、デバイス、またはシステム。
【0315】
T27.
前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
前記プログラムをコンピューティングデバイス上でまたはネットワーク接続によってコンピューティングクラウドにおいて実行したときに、
(a)サンプル中の物体とサンプル保持デバイス上で画像化装置が取ったサンプルの画像内の前記物体の画素輪郭マップとの間の推論のパターンを表すことと、
(b)サンプルの画像内の推論パターンから検出した少なくとも1つの物体の画像を数値的に再構成して、物体に焦点が合っている場合に推論モジュールによって特定された物体を囲む輪郭マスクを作成することと、
(c) サンプルの画像の少なくとも1つの部分を、サンプルの画像の選択部分における少なくとも1つの物体に対して特定することと、
(d)前記少なくとも1つの部分から物体の少なくとも1つの特徴を計算して、画像化装置が取ったサンプルの画像の選択部分における物体を特定することと、
(e)サンプルの画像の選択部分から、選択部分における検出した物体のカウント及びその濃度を計算することと、に適用及び適応される、任意の先行する実施形態の方法、デバイス、またはシステム。
【0316】
T28.
前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
(a)サンプルの画像を受け取ることであって、サンプルはQMAXデバイス内に装着され、画像はQMAXデバイスに接続された画像化装置が取り、画像にはサンプル及びモニタリングマークの両方が含まれる、受け取ることと、
(b)画像を解析して微小特徴の量を計算することであって、解析では機械学習とモニタリングマークの画像によって得られる情報とに基づく検出モデルを用いる、計算することと、に適応される、任意の先行する実施形態の方法、デバイス、またはシステム。
【0317】
任意の先行する実施形態のコンピュータプログラムを含むコンピュータ可読記憶媒体またはメモリ記憶ユニットをさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
【0318】
任意の先行する実施形態の計算デバイスを含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
【0319】
任意の先行する実施形態のコンピュータプログラム製品を含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
【0320】
任意の先行する実施形態のコンピュータプログラム製品を含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
【0321】
サンプルを分析するためのデバイスであって、
第1のプレート、第2のプレート、表面増幅層、及び捕捉剤を含み、
(a)第1及び第2のプレートは、互いに対して移動して異なる構成になることができ、その対応する表面上に、標的検体を含むサンプルに接触するためのサンプル接触領域を有し、
(b)表面増幅層はサンプル接触領域の1つ上にあり、
(c)(c)捕捉剤は表面増幅層上に固定化され、捕捉剤は標的検体に特異的に結合し、
表面増幅層は標的検体または標的検体に取り付けられた標識からの光信号を、それらが表面増幅層の付近にあるときに、それらがミクロン以上離れているときよりもはるかに大きく増幅し、
構成の1つは開構成であり、2つのプレートの内面間の平均間隔は少なくとも200umであり、
構成のもう一つは閉構成であり、サンプルの少なくとも一部は2つのプレート間にあり、プレートの内面間の平均間隔は200um未満である、デバイス。
【0322】
サンプルを分析するためのデバイスであって、
第1のプレート、第2のプレート、表面増幅層、及び捕捉剤を含み、
(d)第1及び第2のプレートは、互いに対して移動して異なる構成になることができ、その対応する表面上に、標的検体を含むサンプルに接触するためのサンプル接触領域を有し、
(e)表面増幅層はサンプル接触領域の1つ上にあり、
(f)捕捉剤は表面増幅層上に固定化され、捕捉剤は標的検体に特異的に結合し、
表面増幅層は標的検体に取り付けられた標識からの光信号を、それが表面増幅層の付近にあるときに、それがミクロン以上離れているときよりもはるかに大きく増幅し、
構成の1つは開構成であり、2つのプレートの内面間の平均間隔は少なくとも200umであり、
構成のもう一つは閉構成であり、サンプルの少なくとも一部は2つのプレート間にあり、プレートの内面間の平均間隔は200um未満であり、
閉構成におけるサンプルの厚さ、閉構成においてサンプルに溶解した標識の濃度、及び表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された任意の標識が閉構成において未結合標識を洗い流すことなく見えるように、構成されている、デバイス。
【0323】
任意の先行する実施形態のデバイスとデバイスを読み取るための読取機とを含む装置。
【0324】
任意の先行する実施形態のデバイスを用いる均一アッセイ法であって、閉構成におけるサンプルの厚さ、標識の濃度、及び増幅表面の増幅率は、増幅表面上に結合された標識(複数可)を、未結合標識を洗い流すことなく見えるように構成されている、均一アッセイ法。
【0325】
方法を、
任意の先行する実施形態のいずれかのデバイスを取得することと、
プレートが開構成にあるときにサンプルを一方または両方のプレート上に堆積させることと、
プレートを閉じて閉構成にすることと、
サンプル接触領域を読み取りデバイスを用いて読み取って信号の画像を形成することと、によって行う任意の先行する実施形態の方法。
【0326】
増幅表面に結合された標識は60秒未満で見える、任意の先行する実施形態のデバイスまたは方法。
【0327】
方法は、任意の生物学的材料または増幅表面に結合された標識を洗浄ステップを用いて取り除くことなく信号を読み取る均一アッセイである、任意の先行する実施形態のデバイスまたは方法。
【0328】
増幅表面に結合された標識を画素化された読み取り方法によって読み取る、任意の先行する実施形態のデバイスまたは方法。
【0329】
増幅表面に結合された標識を一括の読み取り方法によって読み取る、任意の先行する実施形態のデバイスまたは方法。
【0330】
アッセイは検出感度が0.1nM以下である、任意の先行する実施形態のデバイスまたは方法。
【0331】
方法生物学的材料または増幅表面に結合された標識は読み取り前にスポンジによって取り除かれる、任意の先行する実施形態のデバイスまたは方法。
【0332】
信号増幅層にはD2PAが含まれる、任意の先行する実施形態のデバイスまたは方法。
【0333】
信号増幅層には金属材料層が含まれる、任意の先行する実施形態のデバイスまたは方法。
【0334】
信号増幅層には、金、銀、銅、アルミニウム、それらの合金、及びそれらの組み合わせからなる群から選択される材料で形成される連続的な金属膜が含まれる、任意の先行する実施形態のデバイスまたは方法。
【0335】
異なる金属の層は、光信号を高めるために局所的に高めるかもしくは反射体として働くかまたは両方を行う任意の先行する実施形態のデバイスまたは方法。
【0336】
信号増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にある、任意の先行する実施形態のデバイスまたは方法。
【0337】
金属材料層は均一な金属層、ナノ構造の金属層、または組み合わせである、任意の先行する実施形態のデバイスまたは方法。
【0338】
プラズモン増強によって信号を増幅する、任意の先行する実施形態のデバイスまたは方法。
【0339】
アッセイには標識をラマン散乱によって検出することが含まれる、任意の先行する実施形態のデバイスまたは方法。
【0340】
捕捉剤は抗体である、任意の先行する実施形態のデバイスまたは方法。
【0341】
捕捉剤はポリヌクレオチドである、任意の先行する実施形態のデバイスまたは方法。
【0342】
デバイスにはさらに、プレートの1つ上に固定されたスペーサが含まれ、スペーサは閉構成における第1のプレートと第2のプレートとの間の間隔を調整する、任意の先行する実施形態のデバイスまたは方法。
【0343】
表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された単一標識からの光信号が見えるように調整される、任意の先行する実施形態のデバイスまたは方法。
【0344】
表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された単一標識からの光信号が見えるように調整され、捕捉剤に結合された見える単一標識は別個にカウントされる、任意の先行する実施形態のデバイスまたは方法。
【0345】
閉構成における第1のプレートと第2のプレートとの間の間隔は、捕捉剤に対する標的検体の飽和結合時間が300秒以下になるように構成されている、任意の先行する実施形態のデバイスまたは方法。
【0346】
閉構成における第1のプレートと第2のプレートとの間の間隔は、捕捉剤に対する標的検体の飽和結合時間が60秒以下になるように構成されている、任意の先行する実施形態のデバイスまたは方法。
【0347】
表面増幅層の増幅率は、単一標識からの光信号が見えるように調整される、任意の先行する実施形態のデバイスまたは方法。
【0348】
捕捉剤は核酸である、任意の先行する実施形態のデバイスまたは方法。
【0349】
捕捉剤はタンパク質である、任意の先行する実施形態のデバイスまたは方法。
【0350】
捕捉剤は抗体である、任意の先行する実施形態のデバイスまたは方法。
【0351】
第2のプレートのサンプル接触領域は試薬保存部位を有し、保存部位は閉構成における第1のプレート上の結合部位のほぼ上方にある、任意の先行する実施形態のデバイスまたは方法。
【0352】
試薬保存部位には標的検体に結合する検出剤が含まれる、任意の先行する実施形態のデバイスまたは方法。
【0353】
検出剤には標識が含まれる、任意の先行する実施形態のデバイスまたは方法。
【0354】
捕捉剤及び検出剤の両方が標的検体に結合して、標識を含むサンドイッチを形成する、任意の先行する実施形態のデバイスまたは方法。
【0355】
信号増幅層には金属材料層が含まれる、任意の先行する実施形態のデバイスまたは方法。
【0356】
信号増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にある、任意の先行する実施形態のデバイスまたは方法。
【0357】
金属材料層は均一な金属層、ナノ構造の金属層、または組み合わせである、任意の先行する実施形態のデバイスまたは方法。
【0358】
増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にあり、誘電体材料層は厚さが0.5nm、1nm、5nm、10nm、20nm、50nm、00nm、200nm、500nm、1000nm、2um、3um、5um、10um、20um、30um、50um、100um、200um、500um、またはいずれか2つの値の範囲内である、任意の先行する実施形態のデバイスまたは方法。
【0359】
方法にはさらに、画像の面積内の信号を定量化してサンプル中の1つ以上の検体の量の推定値を得ることが含まれる、任意の先行する実施形態のデバイスまたは方法。
【0360】
方法には、画像の面積における検体と捕捉剤との間の個々の結合事象を特定してカウントすることによって、サンプル中の1つ以上の検体の量の推定値を得ることが含まれる、任意の先行する実施形態のデバイスまたは方法。
【0361】
特定してカウントするステップには、(1)バックグラウンド信号の局所的な強度を決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号強度を決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる、任意の先行する実施形態のデバイスまたは方法。
【0362】
特定してカウントするステップには、(1)バックグラウンド信号の局所的なスペクトルを決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号スペクトルを決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる、任意の先行する実施形態のデバイスまたは方法。
【0363】
特定してカウントするステップには、(1)バックグラウンド信号の局所的なラマンシグネチャを決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号ラマンシグネチャを決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる、任意の先行する実施形態のデバイスまたは方法。
【0364】
特定してカウントするステップには、局所的な強度、スペクトル、及びラマンシグネチャのうちの1つ以上を決定することが含まれる、任意の先行する実施形態のデバイスまたは方法。
【0365】
方法には、画像の面積における一括の信号を定量化することによって、サンプル中の1つ以上の検体の量を推定値を得ることが含まれる、任意の先行する実施形態のデバイスまたは方法。
【0366】
第2のプレートのサンプル接触領域は試薬保存部位を有し、保存部位は、閉構成では、第1のプレート上の結合部位のほぼ上方にある、任意の先行する実施形態のデバイスまたは方法。
【0367】
方法にはさらに、標的検体を検出剤によって標識化するステップが含まれる、任意の先行する実施形態のデバイスまたは方法。
【0368】
検出剤には標識が含まれる、任意の先行する実施形態のデバイスまたは方法。
【0369】
捕捉剤及び検出剤の両方が標的検体に結合してサンドイッチを形成する、任意の先行する実施形態のデバイスまたは方法。
【0370】
方法にはさらに、読み取りデバイスによって画像化された面積におけるサンプルの体積を測定することが含まれる、任意の先行する実施形態のデバイスまたは方法。
【0371】
標的検体はタンパク質、ペプチド、DNA、RNA、核酸、小分子、細胞、またはナノ粒子である、任意の先行する実施形態のデバイスまたは方法。
【0372】
画像は信号の位置、局所的な強度、及び局所的なスペクトルを示す任意の先行する実施形態のデバイスまたは方法。
【0373】
信号は、蛍光、エレクトロルミネッセンス、化学発光、及び電気化学発光信号からなる群から選択される発光信号任意の先行する実施形態のデバイスまたは方法。
【0374】
信号はラマン散乱信号である、任意の先行する実施形態のデバイスまたは方法。
【0375】
信号は、プレートと読み取りデバイスとの間の局所的な電気的、局所的な機械的、局所的な生物学的、または局所的な光学的相互作用に起因する力である、任意の先行する実施形態のデバイスまたは方法。
【0376】
スペーサはピラー形状を有し、ほぼ均一な断面を有する、任意の先行する実施形態の方法またはデバイス。
【0377】
スペーサ間距離(SD)は約120um(マイクロメートル)以下である、任意の先行する実施形態の方法またはデバイス。
【0378】
スペーサ間距離(SD)は約100um(マイクロメートル)以下である、任意の先行する実施形態の方法またはデバイス。
【0379】
スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びヤング率(E)で割ったもの(ISD4/(hE))が、5x106um3/GPa以下である、任意の先行する実施形態の方法またはデバイス。
【0380】
スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びヤング率(E)で割ったもの(ISD4/(hE))が、5x105um3/GPa以下である、任意の先行する実施形態の方法またはデバイス。
【0381】
スペーサは、ピラー形状、実質的に平坦な上面、所定の略均一な高さ、及び検体のサイズよりも少なくとも約2倍大きい所定の一定のスペーサ間距離を有し、スペーサのヤング率×スペーサの充填率は2MPa以上であり、充填率はスペーサ接触面積対全プレート面積の比であり、各スペーサに対して、スペーサの横寸法対その高さの比は少なくとも1(イチ)である、任意の先行する実施形態の方法またはデバイス。
【0382】
スペーサは、ピラー形状、実質的に平坦な上面、所定の略均一な高さ、及び検体のサイズよりも少なくとも約2倍大きい所定の一定のスペーサ間距離を有し、スペーサのヤング率×スペーサの充填率は2MPa以上であり、充填率はスペーサ接触面積対全プレート面積の比であり、各スペーサに対して、スペーサの横寸法対その高さの比は少なくとも1(イチ)であり、スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びヤング率(E)で割ったもの(ISD4/(hE))が、5x106um3/GPa以下である、任意の先行する実施形態の方法またはデバイス。
【0383】
スペーサの間隔間距離対スペーサの平均幅の比は2以上であり、スペーサの充填率にスペーサのヤング率を乗じたものは2MPa以上である、任意の先行する実施形態の方法またはデバイス。
【0384】
検体はタンパク質、ペプチド、核酸、合成化合物、または無機化合物である、任意の先行する実施形態の方法またはデバイス。
【0385】
サンプルは、羊水、房水、硝子体液、血液(たとえば、全血、分画血液、血漿または血清)、母乳、脳脊髄液(CSF)、耳垢(耳糞)、乳糜、糜粥、内リンパ、外リンパ、糞便、呼気、胃酸、胃液、リンパ液、粘液(鼻漏及び痰を含む)、心膜液、腹腔液、胸膜液、膿、粘膜分泌物、唾液、呼気凝縮液、皮脂、精液、痰、汗、滑液、涙、嘔吐物、及び尿から選択された生物学的サンプルである、任意の先行する実施形態の方法またはデバイス。
【0386】
スペーサはピラーの形状を有し、ピラーの幅対高さの比は1以上である、任意の先行する実施形態の方法またはデバイス。
【0387】
プレートの一方または両方に堆積されるサンプルの体積は分かっていない任意の先行する実施形態の方法またはデバイス。
【0388】
スペーサはピラーの形状を有し、ピラーは略均一な断面を有する、任意の先行する実施形態の方法またはデバイス。
【0389】
サンプルは、特定の病気のステージと相関する化合物または生体分子の検出、精製、及び定量化用である、任意の先行する実施形態の方法またはデバイス。
【0390】
サンプルは、感染症及び寄生病、負傷、心血管疾患、癌、精神障害、神経精神障害、肺疾患、腎臓病、ならびに他及び器質性疾患に関係する、任意の先行する実施形態の方法またはデバイス。
【0391】
サンプルは微生物の検出、精製、及び定量化に関係する、任意の先行する実施形態の方法またはデバイス。
【0392】
サンプルは環境(たとえば、水、土壌、または生物学的サンプル)からのウィルス、菌類、及び細菌に関係する、任意の先行する実施形態の方法またはデバイス。
【0393】
サンプルは、食品の安全または国の安全に危険を引き起こす化合物または生物学的サンプル(たとえば、有毒廃棄物、炭疽)の検出、定量化に関係する、任意の先行する実施形態の方法またはデバイス。
【0394】
サンプルは、医療用または生理モニタにおけるバイタルパラメータの定量化に関係する、任意の先行する実施形態の方法またはデバイス。
【0395】
サンプルはブドウ糖、血液、酸素レベル、全血球計算に関係する、任意の先行する実施形態の方法またはデバイス。
【0396】
サンプルは、生物学的サンプルからの特異的DNAまたはRNAの検出及び定量化に関係する、任意の先行する実施形態の方法またはデバイス。
【0397】
サンプルは、ゲノム解析用の染色体及びミトコンドリア内のDNAにおける遺伝子配列の配列決定及び比較に関係する、任意の先行する実施形態の方法またはデバイス。
【0398】
サンプルは、たとえば医薬品の合成または精製中の反応生成物の検出に関係する、任意の先行する実施形態の方法またはデバイス。
【0399】
サンプルは細胞、組織、体液、及び糞便である、任意の先行する実施形態の方法またはデバイス。
【0400】
サンプルは、ヒト、獣医、農業、食品、環境、及び薬物検査の分野におけるサンプルである、任意の先行する実施形態の方法またはデバイス。
【0401】
サンプルは、毛髪、指の爪、耳垢、呼気、結合組織、筋肉組織、神経組織、上皮組織、軟骨、癌サンプル、または骨から選択された生物学的サンプルである、任意の先行する実施形態の方法またはデバイス。
【0402】
スペーサ間距離は5um~120umの範囲である、任意の先行する実施形態の方法またはデバイス。
【0403】
スペーサ間距離は120um~200umの範囲である、任意の先行する実施形態の方法またはデバイス。
【0404】
柔軟なプレートは厚さが20um~250umの範囲であり、ヤング率が0.1~5GPaの範囲である、任意の先行する実施形態の方法またはデバイス。
【0405】
柔軟なプレートは、柔軟なプレートの厚さ×柔軟なプレートのヤング率が60~750GPa-umの範囲である、任意の先行する実施形態の方法またはデバイス。
【0406】
均一厚さのサンプルの層は少なくとも1mm2の側面積上で均一である、任意の先行する実施形態の方法またはデバイス。
【0407】
均一厚さのサンプルの層は少なくとも3mm2の側面積上で均一である、任意の先行する実施形態の方法またはデバイス。
【0408】
均一厚さのサンプルの層は少なくとも5mm2の側面積上で均一である、任意の先行する実施形態の方法またはデバイス。
【0409】
均一厚さのサンプルの層は少なくとも10mm2の側面積上で均一である、任意の先行する実施形態の方法またはデバイス。
【0410】
均一厚さのサンプルの層は少なくとも20mm2の側面積上で均一である、任意の先行する実施形態の方法またはデバイス。
【0411】
均一厚さのサンプルの層は20mm2~100mm2の範囲の側面積上で均一である、任意の先行する実施形態の方法またはデバイス。
【0412】
均一厚さのサンプルの層は、厚さ均一性が最大で+/-5%またはそれよりも良好である、任意の先行する実施形態の方法またはデバイス。
【0413】
均一厚さのサンプルの層は、厚さ均一性が最大で+/-10%またはそれよりも良好である、任意の先行する実施形態の方法またはデバイス。
【0414】
均一厚さのサンプルの層は、厚さ均一性が最大で+/-20%またはそれよりも良好である、任意の先行する実施形態の方法またはデバイス。
【0415】
均一厚さのサンプルの層は、厚さ均一性が最大で+/-30%またはそれよりも良好である、任意の先行する実施形態の方法またはデバイス。
【0416】
5つ以上のモニタリングマークを有し、モニタリングマークのうちの少なくとも3つは直線上にない任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0417】
各プレートには、その対応する外面上に、プレートを同時に強制する不正確な押圧を印加するための力面積が含まれる、任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0418】
一方または両方のプレートが柔軟である、任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0419】
スペーサ間距離(IDS)の4乗を柔軟なプレートの厚さ(h)及びヤング率(E)で割ったもの(ISD4/(hE))が、5x106um3/GPa以下である、任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0420】
スペーサの少なくとも1つがサンプル接触領域の内部にある、任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0421】
検体の脂肪仕様である、任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0422】
アルゴリズムの脂肪仕様である、任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0423】
手動による圧痕力及び押圧の脂肪仕様である、任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
【0424】
アルゴリズムは非一時的コンピュータ可読媒体上に記憶され、アルゴリズムには、実行されると、デバイスのモニタリングマークを用いて検体に対応する特性を決定する方法を実施する命令が含まれる、任意の先行する実施形態のデバイス、システム、または方法。
【0425】
マークのいくつかの例
本発明では、いくつかの実施形態において、マークはスペーサと同じ形状を有する。
【0426】
いくつかの実施形態では、マークは周期的または非周期的である。
【0427】
いくつかの実施形態では、2つのマーク間の距離は予め決められて分かっているが、プレート上の絶対座標は分かっていない。
【0428】
いくつかの実施形態では、マークの形状は予め決められて分かっている。
【0429】
いくつかの実施形態では、プレートの位置とは関係なく画像化光学系の視野内に常にマークがあるようなプレート内の分布を有するようにマークは構成されている。
【0430】
いくつかの実施形態では、マークのプレート内での分布は、プレートの位置とは関係なく画像化光学系の視野内に常にマークがあり、またマークの数が局所的な光学情報に対して十分であるように構成されている。
【0431】
いくつかの実施形態では、マークを用いてサンプルの局所面積の光学特性を制御し、面積サイズは1um^2、5um^2、10um^2、20um^2、50um^2、100um^2、200um^2、500um^2、1000um^2、2000um^2、5000um^2、10000um^2、100000um^2、500000um^2、またはいずれか2つの値の間の範囲である。
【0432】
「限定された画像化光学系」の使用
本発明では、いくつかの実施形態において、画像化アッセイに対する光学システはム「限定された画像化光学系」を有している。限定された画像化光学系のいくつかの実施形態には、限定することなく、以下が含まれる。
【0433】
1.限定された画像化光学系システムであって、
結像レンズと、
画像化センサと、を含み、
画像化センサはスマートフォンのカメラの一部であり、
結像レンズの少なくとも1つはスマートフォンのカメラの一部である、限定された画像化光学系システム。
【0434】
2.物理による光学解像度が、1um、2um、3um、5um、10um、50umよりも悪いか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0435】
3.物理による光学解像度が、1um、2um、3um、5um、10um、50umよりも悪いか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0436】
4.物理による好ましい光学解像度は1um~3umである、任意の先行する実施形態の限定された画像化光学系システム。
【0437】
5.開口数が0.1、0.15、0.2、0.2、0.25、0.3、0.35、0.4、0.45、0.5未満であるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0438】
6.好ましい開口数は0.2~0.25である、任意の先行する実施形態の限定された画像化光学系システム。
【0439】
7.作動距離が0.2mm、0.5mm、1mm、2mm、5mm、10mm、20mmであるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0440】
8.作動距離が0.2mm、0.5mm、1mm、2mm、5mm、10mm、20mmであるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0441】
9.好ましい作動距離は0.5mm~1mmである、任意の先行する実施形態の限定された画像化光学系システム。
【0442】
10.焦点深度が100nm、500nm、1um、2um、10um、100um、1mmであるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0443】
11.焦点深度が100nm、500nm、1um、2um、10um、100um、1mmであるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0444】
12.画像センサはスマートフォンカメラモジュールの一部である、任意の先行する実施形態の限定された画像化光学系システム。
【0445】
13.画像センサの対角長さは、1インチ、1/2インチ、1/3インチ、1/4インチ未満であるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0446】
14.結像レンズは少なくとも2つのレンズを含み、1つのレンズはスマートフォンのカメラモジュールの一部である、任意の先行する実施形態の限定された画像化光学系システム。
【0447】
15.少なくとも1つの外部レンズはスマートフォンの内部レンズと対になっている、任意の先行する実施形態の限定された画像化光学系システム。
【0448】
16.外部レンズの光軸はスマートフォンの内部レンズと位置合わせされており、位置合わせ許容範囲は、0.1mm、0.2mm、0.5mm、1mm未満であるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0449】
17.外部レンズの高さは、2mm、5mm、10mm、15mm、20m未満であるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0450】
18.外部レンズの好ましい高さは3mm~8mmである、任意の先行する実施形態の限定された画像化光学系システム。
【0451】
19.外部レンズの好ましい高さは3mm~8mmである、任意の先行する実施形態の限定された画像化光学系システム。
【0452】
20.外部レンズの直径が、2mm、4mm、8mm、10mm、15mm、20mm未満であるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0453】
21.物理による光学倍率が、0.1X、0.5X、1X、2X、4X、5X、10X未満であるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0454】
22.物理による好ましい光学倍率は0.1X、0.5X、1X、2X、4X、5X、10X未満であるか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定された画像化光学系システム。
【0455】
用語「画像ベースのアッセイ」は、画像化装置が取ったサンプルの画像を用いるアッセイ手順を指す。サンプルは、医療用サンプル、生物学的サンプル、及び化学サンプルとすることができるが、これらに限定されない。
【0456】
用語「画像化装置」は、物体の画像を取ることができる任意のデバイスを指す。これには、顕微鏡、スマートフォン、または種々の波長で画像を取ることができる特別なデバイス内のカメラが含まれるが、これらに限定されない。
【0457】
用語「サンプル特徴」は、潜在的に興味深い状態を表すサンプルの何らかの特性を指す。ある実施形態では、サンプル特徴は、サンプルの画像内に現れる特徴であり、機械学習モデルによってセグメント化して分類することができる。サンプル特徴の例としては、サンプル中の検体タイプ、たとえば、赤血球、白血球、及び腫瘍細胞が挙げられるがこれらに限定されず、検体カウント、サイズ、体積、濃度などが挙げられる。
【0458】
用語「機械学習」は、多くの場合に統計的手法及び人工ニューラルネットワークを用いて、明示的なプログラムミングなしにデータから「学習する」(すなわち、特定のタスクに対する性能を徐々に向上させる)能力をコンピュータに与える人工知能の分野におけるアルゴリズム、システム及び装置を指す。
【0459】
用語「人工ニューラルネットワーク」は、一般的に何らかのタスク特定のルールを用いたプログラミングなしに例を考えることによってタスクの実行を「学習する」ことができる、生物学的ネットワークから着想を得た階層コネクショニストシステムを指す。
【0460】
用語「畳み込みニューラルネットワーク」は、通常は視覚画像の解析に適用される多層フィードフォワード人工ニューラルネットワークのクラスを指す。
【0461】
用語「深層学習」は、いくつかの深いネットワーク構造を用いてデータから学習する人工知能(AI)における幅広いクラスの機械学習方法を指す。
【0462】
用語「機械学習モデル」は、データからの機械学習におけるトレーニングプロセスから構築されたトレーニングされたコンピューテーショナルモデルを指す。トレーニングされた機械学習モデルは、コンピュータによる推論ステージの間に適用され、自力で特定のタスクを実行する(たとえば、物体を検出して分類する)能力をコンピュータに与える。機械学習モデルの例としては、ResNet、DenseNetなどが挙げられる。これらは、そのネットワーク構造における層状深さから「深層学習モデル」という名前もつけられている。
【0463】
用語「画像セグメンテーション」は、デジタル画像を複数のセグメント(画素の組、多くの場合に、そのセグメント境界輪郭によって囲まれた画像セグメントを覆うビットマップマスクの組を伴う)に分割する画像解析プロセスを指す。画像セグメンテーションは、画像処理における画像セグメンテーションアルゴリズム(たとえば、ウォーターシェッド、グラブカット、平均シフトなど)を通して、また機械学習アルゴリズム(たとえば、MaskRCNNなど)を通して実現することができる。
【0464】
用語「サンプル中の欠陥」は、理想的なサンプル状態において存在してはならないかまたはサンプルの特徴において考慮すべきではない人工物を指す。欠陥は、これに限定されないが、汚染物質、たとえば、ホコリ、気泡など、及びサンプル保持デバイス内のサンプル中の周辺物体、たとえば、モニタマーク(たとえば、ピラー)に由来する可能性がある。欠陥は著しいサイズとなる可能性があり、サンプル中で著しい量の体積を取る可能性がある(たとえば、気泡)。欠陥は、サンプル中でのその分布及び量(サンプルに依存する)に加えて、異なる形状である可能性がある。
【0465】
用語「閾値」は、本明細書では、たとえば、サンプル特徴を特定のタイプの検体として分類するためのカットオフまたはサンプル中の異常細胞対正常細胞の比として用いられる任意の数を指す。閾値は経験的または分析的に特定することができる。
【0466】
「限定されたサンプル操作」の使用
本発明では、いくつかの実施形態において、画像化アッセイに対するサンプル位置決めシステムが「限定されたサンプル操作」を有している。限定されたサンプル操作のいくつかの実施形態には、限定することなく、以下が含まれる。
【0467】
限定されたサンプル操作システムの説明。
1.限定されたサンプル操作システムであって、
サンプルホルダを含み、
サンプルホルダはサンプルカードを収容するための容器を有する限定されたサンプル操作システム。
【0468】
2.光軸に沿った方向でサンプルを位置決めする精度は、0.1um、1um、10um、100um、1mmより悪いか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定されたサンプル操作システム。
【0469】
3.光軸に沿った方向でサンプルを位置決めする好ましい精度は50um~200umである、任意の先行する実施形態の限定されたサンプル操作システム。
【0470】
4.光軸に垂直な平面内でサンプルを位置決めする精度は、0.01um、0.1um、1um、10um、100um、1mmより悪いか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定されたサンプル操作システム。
【0471】
5.光軸に垂直な平面内でサンプルを位置決めする好ましい精度は100um~1mmである、任意の先行する実施形態の限定されたサンプル操作システム。
【0472】
6.サンプルカードを位置決めするレベル誤差は、0.01度、0.1度、0.5度、1度、10度より悪いか、またはいずれか2つの値の間の範囲にある、任意の先行する実施形態の限定されたサンプル操作システム。
【0473】
7.サンプルカードを位置決めする好ましいレベル誤差は0.5度~10度である、任意の先行する実施形態の限定されたサンプル操作システム。
【0474】
8.サンプルカードを位置決めする好ましいレベル誤差は0.5度~10度である、任意の先行する実施形態の限定されたサンプル操作システム。
【0475】
モニタマークを用いたTLD及び体積推定
図2に、本発明のいくつかの実施形態で用いるサンプル保持デバイス、QMAXデバイス、及びそのモニタマーク、ピラーの実施形態を示す。QMAXデバイス内のピラーによって、サンプル保持デバイスの2つの平行なプレート間のギャップが均一になる。ギャップは狭く、検体がギャップ内で単層を形成する場合に検体のサイズに関連している。また、QMAXデバイス内のモニタマークはピラーの特別な形態であり、結果として、それらはサンプルによって浸漬されておらず、画像ベースのアッセイにおいて画像化装置によってサンプルとともに画像化することができる。
【0476】
モニタマークを用いたTLD(真の横寸法)推定の例
TLD及び真の体積推定に対する本発明のいくつかの実施形態では、モニタマーク(ピラー)を検出可能アンカーとして用いる。しかし、モニタマークの検出を、画像ベースのアッセイにおけるTLD推定に適した精度で行うのは難しい。その理由は、これらのモニタマークはサンプル保持デバイスの内部の検体に浸透して周りを囲まれているからであり、それらは、レンズからの歪み、微小物体からの光回折、微視的レベルでの欠陥、フォーカシングの誤位置合わせ、サンプルの画像内のノイズなどが原因で画像内で歪んでボケている。また画像化装置が汎用デバイスからのカメラ(たとえばスマートフォンからのカメラ)だとさらに難しくなる。なぜならば、このようなカメラは、いったん製造を離れると、専用のハードウェアによって較正されることはないからである。
【0477】
本発明では、モニタマークをTLD推定用の検出可能アンカーとして検出及び場所特定することを機械学習のフレームワークにおいて定式化し、専用の機械学習モデルを、モニタマークを微視的画像化において検出するように構築/トレーニングする。また、本発明のいくつかの実施形態におけるモニタマークの分布は、周期的となるように、また所定のパターンで分布するように意図的に形成されている。このため、本発明におけるアプローチはより堅固で信頼性の高いものとなっている。
【0478】
詳細には、本発明の実施形態には以下が含まれる。
(8)サンプルをサンプル保持デバイス(たとえば、QMAXデバイス)に装着することであって、既知の構成を伴うモニタマークがデバイス内に存在し、モニタマークはサンプル中に浸漬しておらず、画像化装置によって画像化することができる、装着すること。
(9)検体とモニタマークとを含むサンプル保持デバイス内のサンプルの画像を取ること。
(10)サンプルの画像内のモニタマークを検出するように機械学習(ML)モデルを構築及びトレーニングすること。
(11)(3)からの前記ML検出モデルを用いて、サンプルの画像から、サンプル保持デバイス内のモニタマークを検出して場所を特定すること。
(12)(4)で検出したモニタマークからマークグリッドを作成すること。
(13)作成したモニタマークグリッドに基づいてホモグラフィ変換を計算すること。
(14)(6)からのホモグラフィ変換から、サンプルの画像の真の横寸法を推定して保存すること。
(15)(7)から推定したTLDを以後の画像ベースのアッセイにおいて適用して検体の面積、サイズ、体積、及び濃度を決定すること。
【0479】
本発明のいくつかの実施形態では、領域ベースのTLD推定及び較正を画像ベースのアッセイにおいて用いる。それには以下が含まれる。
(13)サンプルをサンプル保持デバイス(たとえば、QMAXデバイス)に装着することであって、デバイス内にモニタマークが存在し、モニタはサンプル中に浸漬しておらず、画像ベースのアッセイにおいて画像化装置によって画像化することができる、装着すること。
(14)検体とモニタマークとを含むサンプル保持デバイス内のサンプルの画像を取ること。
(15)画像化装置が取ったサンプルの画像からモニタマークを検出するために、機械学習(ML)モデルを構築及びトレーニングすること。
(16)画像化装置が取ったサンプルの画像を非重複領域に分割すること。
(17)(3)のMLモデルを用いて、画像化装置が取ったサンプル画像からモニタマークを検出して場所を特定すること。
(18)局所領域で検出された5つを超える非共線のモニタマークを用いて各領域に対する領域ベースのマークグリッドを作成すること。
(19)画像化装置が取ったサンプルの画像から検出したモニタマークに基づいて、(6)にないすべての領域に対してマークグリッドを形成すること。
(20)(6)の各領域に対して領域特定のホモグラフィ変換を、(6)で作成したその独自の領域ベースのマークグリッドに基づいて計算すること。
(21)(7)で作成したマークグリッドに基づいて、他のすべての領域に対してホモグラフィ変換を計算すること。
(22)(8)で生成した領域ベースのホモグラフィ変換に基づいて、(6)の各領域に対して領域ベースのTLDを推定すること。
(23)(9)からのホモグラフィ変換に基づいて、他の領域に対してTLDを推定すること。
(24)(10)及び(11)から推定したTLDを保存して、分割した領域上での以後の画像ベースのアッセイにおいて適用すること。
【0480】
モニタマークが所定の周期パターンで、たとえばQMAXデバイス内に分布するとき、それらは特定のピッチで周期的に生じて分布する。その結果、モニタマーク検出は、前述した手順においてより堅固で信頼性の高いものとなる。その理由は、周期性により、すべてのモニタマークをほんの少数の検出されたものから特定して決定することができるからであり、検出した場所及び構成が所定の周期パターンに従わない場合には検出誤差を補正してなくすことができる。
【0481】
モニタマークを伴う体積推定
アッセイにおいてサンプルの真の体積を推定するために、サンプル中の欠陥及び周辺物体から体積を取り除く必要があり、本発明の実施形態には以下が含まれる。
(1)モニタマークを伴うサンプル保持デバイス(たとえば、QMAXデバイス)にサンプルを装着して、画像化装置によってサンプルの画像を取ることと、
(2)前述した方法及び装置によってサンプルの画像内のモニタマークをアンカーとして検出することによって、画像の真の横寸法(TLD)を推定することと、
(3)サンプルの画像から構築及びトレーニングした機械学習(ML)検出モデルを用いて、サンプルの画像内の欠陥(たとえば、気泡、ホコリ、モニタマークなど)を検出して場所を特定することと、
(4)サンプルの画像から構築及びトレーニングした機械学習(ML)セグメンテーションモデルを用いて、前記検出したサンプルの画像中の欠陥の覆いマスクを決定することと、
(5)マージン距離Δ(サンプル中の検体/物体及びサンプル保持デバイスのサイズに基づく)(たとえば、2x最大検体直径)を決定することと、
(6)すべての検出した欠陥に対するΔ+マスク、すなわち(4)からのそれらの覆いマスクに対する余分なマージンΔ延長を伴うマスクを決定することと、
(7)サンプルの画像において(6)におけるΔ+マスクに基づいて検出した欠陥を取り除くことと、
(8)以後の画像ベースのアッセイにおいて、(7)からの画像を保存して、(7)の対応するΔ+マスクを伴う体積を取り除いた後の対応する体積を保存することと、
(9)取り除いたΔ+マスクの面積またはサンプルの残りの真の体積がいくつかの予め設定した閾値を超えた場合に、サンプルを拒否すること。
【0482】
本発明では、欠陥を、余分なマージンΔ+マスクによりサンプルの画像から取り除く。これは重要である。なぜならば、欠陥はその環境に影響を与える可能性があるからである。たとえば、いくつかの欠陥は、サンプル保持デバイス内のギャップの高さを変える可能性があり、欠陥の周りの局所的な体積または濃度分布が異なる可能性がある。
【0483】
用語「モニタリングマーク」、「モニタマーク」、及び「マーク」は、本発明の説明において交換可能である。
【0484】
用語「画像化装置」及び「カメラ」は本発明の説明において交換可能である。
【0485】
用語「ノイズ除去」は受信信号からノイズを取り除くプロセスを指す。一例は、画像化装置/カメラからの画像が種々の供給源(ホワイトノイズ、ごま塩ノイズ、ガウシアンノイズなどを含むが、これらに限定されない)からノイズを拾う可能性があるために、サンプルの画像内のノイズを取り除くことである。ノイズ除去する方法としては、線形及び非線形フィルタリング、ウェーブレット変換、統計的方法、深層学習などが挙げられるが、これらに限定されない。
【0486】
用語「画像正規化」は、処理した画像内の画素強度値の範囲を変えるアルゴリズム、方法、及び装置を指す。たとえば、ヒストグラムストレッチングによってコントラストを増加させること、各画像から平均の画素値を差し引くことなどが挙げられるが、これらに限定されない。
【0487】
用語「画像シャープニング」は、画像のエッジコントラスト及びエッジ内容を強調するプロセスを指す。
【0488】
用語「画像スケーリング」は、画像をサイズ変更するプロセスを指す。たとえば、サンプルの画像内で物体が小さすぎる場合、画像スケーリングを適用して画像を拡大して、検出を助けることができる。本発明のいくつかの実施形態では、画像を、トレーニングまたは推論目的のために深層学習モデルに入力する前に、サイズ変更して指定寸法にする必要がある。
【0489】
用語「位置合わせ」は、異なるデータセットを1つの共通の座標系に変換して、それを比較して組み合わせられるようにすることを指す。たとえば、画像処理では、異なるデータセットは、これらに限定されないが、複数の画像化装置センサからの画像、同じセンサからだが異なる時間における画像、フォーカシング深さなどから来る。
【0490】
用語「超解像度」は、1つまたは複数の低解像度画像からより高い解像度画像を得るプロセスを指す。
【0491】
用語「ボケを修正する」は、プロセス画像から不鮮明な人工物を取り除くプロセス、たとえば、画像化処理において焦点ぼけ、振動、移動などによって生じるぼかしを取り除くプロセスを指す。
【0492】
本発明のいくつかの実施形態では、サンプル保持デバイス(たとえば、QMAXデバイス)内のモニタマークを利用する方法及びアルゴリズムを考案している。これには、画像化装置内の以下のパラメータの推定及び調整が含まれるが、これらに限定されない。
1.シャッタ速度
2.ISO
3.焦点(レンズ位置)
4.露出補正
5.ホワイトバランス:温度、色合い
6.ズーミング(倍率)
【0493】
マークとともに用いる画像処理/解析アルゴリズムの例
本発明のいくつかの実施形態では、画像処理/解析を、本発明におけるモニタリングマークを用いて適用して強化している。それらには、以下の画像処理アルゴリズム及び方法が含まれるが、これらに限定されない。
【0494】
1.ヒストグラムベースの演算として以下が挙げられるが、これらに限定されない。
a.コントラストストレッチング
b.均等化
c.最小値フィルタ
d.中央値フィルタ
e.最大値フィルタ
【0495】
2.数学ベースの演算としては以下が挙げられるが、これらに限定されない。
a.二項演算:NOT、OR、AND、XOR、SUBなど
b.算術ベースの演算:ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、INVERTなど
【0496】
3.空間及び周波数ドメイン両方における畳み込みベースの演算としては、フーリエ変換、DCT、整数変換、ウェーブレット変換などが挙げられるが、これらに限定されない。
【0497】
4.平滑化演算としては以下が挙げられるが、これらに限定されない。
a.線形フィルタ:均一フィルタ、三角フィルタ、ガウシアンフィルタなど
b.非線形フィルタ:中間フィルタ、桑原フィルタなど
【0498】
5.微分ベースの演算としては以下が挙げられるが、これらに限定されない。
a.一次微分:勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、など
b.二次微分:基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタなど
c.より高次数微分による他のフィルタなど
【0499】
6.形態ベースの演算としては以下が挙げられるが、これらに限定されない。
a.拡張及び腐食
b.ブール型畳み込み
c.開閉
d.ヒットアンドミス演算
e.セグメンテーション及び輪郭
f.スケルトン
g.伝搬
h.グレー値形態処理:グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖など
i.形態学的平滑化、形態学的勾配、形態学的ラプラシアンなど。
【0500】
画像処理/解析手法の他の例
本発明のいくつかの実施形態では、画像処理/解析アルゴリズムを、本開示で説明するモニタリングマークとともに用いてこれによって向上させている。それらには以下が含まれるが、これらに限定されない。
【0501】
1.画像の向上及び復元としては以下が挙げられるが、これらに限定されない。
a.シャープニング及びアンシャープニング
b.ノイズ抑制
c.歪み抑制
2.画像セグメンテーションとしては以下が挙げられるが、これらに限定されない。
a.閾値化-固定閾値化、ヒストグラム由来の閾値化、ISOデータアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、など。
b.エッジ発見-勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順など
c.二値数学的形態-ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、など
d.グレー値数学形態-トップハット変換、適応性のある閾値化、局所的コントラストストレッチングなど
3.特徴抽出及びマッチングとしては以下が挙げられるが、これらに限定されない。
a.独立成分分析
b.ISOマップ
c.主成分分析及びカーネル主成分分析
d.潜在意味解析
e.最小二乗及び部分的最小二乗
f.多因子次元削減及び非線形次元削減
g.多重線形主成分分析
h.多重線形部分空間学習
i.半定値埋め込み
j.オートエンコーダ/デコーダ
4.物体検出、分類、及び場所特定
5.画像理解
【0502】
モニタリングマークを用いた微視的画像化の改善
モニタリングマークを用いて、微視的画像化における焦点を向上させることができる。詳細には、鋭いエッジを伴うマークによって、特に弱光環境及び微視的画像化における特定の焦点設定の焦点状態を解析するための焦点評価アルゴリズムに対する検出可能な(目に見える特徴)が得られる。本発明のいくつかの実施形態では、カード上のモニタリングマークを用いて、微視的画像補正及び強調を行う。たとえば、焦点評価アルゴリズムは、
図11に示すようにオート焦点実施態様における中核にある。
【0503】
いくつかの診断応用例(たとえば、比色分析の吸収ベースのヘモグロビン試験、及び細胞濃度が非常に低いサンプルに対するCBC)においては、サンプルの画像内の検体によって得られる検出可能な特徴では、焦点評価アルゴリズムを正確かつ滑らかに実行させるには十分でないことが多い。鋭いエッジを伴うマーク(たとえば、QMAXデバイス内のモニタマーク)によって、画像ベースのアッセイにおいて必要な精度及び信頼性を焦点評価プログラムが実現するためのさらなる検出可能な特徴が得られる。
【0504】
いくつかの診断応用例では、サンプル中の検体は不均一に分布している。検体によって得られる特徴に単に基づくだけでは、何らかの偏った焦点設定が生じて、いくつかの局所的な高濃度領域に対してフォーカシングの重みが高くなって、低い検体濃度領域が標的でなくなる傾向がある。本発明のいくつかの実施形態では、この影響を、強力なエッジを有し、正確に処理される周期パターンで一様に分布するモニタマークの情報からのフォーカシング調整を用いて制御する。
【0505】
単一画像からの超解像度を用いて、解像度がより高い画像を生成する
各画像化装置の画像化解像度は部分的に、そのセンサ内の画素数(100万~数100万画素で変化する)によって限定される。いくつかの微視的画像化応用例では、検体はサンプル中のサイズが小さいかまたは極めて小さく、たとえば、人血中の血小板のサイズは直径が約1.4umである。画像センサの解像度が限定されていると、標的検出プログラムに特定の数の画素が必要なときに、FOVの利用可能なサイズだけでなく、画像ベースのアッセイにおけるデバイスの能力が著しく制約される。
【0506】
単一画像超解像度(SISR)は、画像処理及び/または機械学習技術を用いて、当初のソース画像をより高い解像度にアップサンプルし、補間によって生じたボケをできる限り取り除いて、新しく生成された画像上でも物体検出プログラムを実行できるようにする技術である。これによって、前述した制約が著しく減り、本来は不可能ないくつかの応用例が可能になる。形状及び構造が分かっているマーク(たとえば、QMAX内のモニタマーク)を使えば、SISRアルゴリズムを評価して、ほとんどの既存の従来技術のアルゴリズムによって生じるオーバーシャープニング効果を回避するための局所的な参照として機能することができる。
【0507】
本発明のいくつかの実施形態では、画像ベースのアッセイにおける物理的なSNR(信号対雑音)制限を壊すために画像融合を行う。
【0508】
信号対雑音比は、微視的画像化において画像化装置が取ったサンプルの画像の品質を測定する。画像化装置にはコスト、技術、製造などに起因する実際的な制限が存在する。ある状況では、たとえば巡回健康管理では、応用例に要求されるSNRは、画像化装置で得られる可能性があるものよりも高い。本発明のいくつかの実施形態では、複数の画像を取って処理して(同じ及び/または異なる画像化設定を用いて、たとえば異なる焦点深さで焦点された複数の画像を1つの超焦点画像に合併する3D融合の実施形態によって)、SNRがより高い出力画像(複数可)を生成して、このような応用例を可能にする。
【0509】
しかし、画像化装置または複数の画像化装置が取った画像には、物理的制限及び実装制約によって生じるいくつかの不完全性及び欠陥が伴う傾向がある。画像ベースのアッセイにおけるサンプルの微視的画像化において状況は深刻になる。なぜならば、サンプル中の検体はサイズが極めて小さく、はっきりしたエッジ特徴がない場合が多いからである。本発明のいくつかの実施形態では、画像保持デバイス(たとえば、QMAXデバイス)内のモニタマークを用いて解決方法の改善を図る。
【0510】
このような実施形態の1つは、画像化装置が取ったサンプルの画像内の歪みを処理することである。
図12は全般的なカメラモデルに対する改良点の図である。単純な歪みパラメータが分かっているときには状況は比較的である(ほとんどの製造では、比歪みを記述するためにそのレンズに対する曲線/テーブルを出しており、他の歪みは明確な実験において測定することができる)。しかし、歪みパラメータがモニタリングマークに対して未知であるとき、サンプル保持デバイス(たとえば、QMAXデバイス)の規則的及び周期的にさえ配置されたモニタマークを用いて、
図13に示すように単一の座標参照を必要とすることなく、歪みパラメータを反復的に推定することができる。
【0511】
いくつかのさらなる実施形態
本発明では、いくつかの実施形態において、サンプル保持デバイスは、画像ベースのアッセイにおける微小特徴を解析するためのいくつかの特別なモニタマークを伴う平坦面を有する。本発明のいくつかの実施形態を以下に列記する。
【0512】
A1:画像ベースのアッセイにおけるサンプルの微視的画像に対する真の横寸法(TLD)推定。真の横寸法(TLD)によって、画像化した検体の現実世界での物理的寸法が決定され、サンプルの画像の現実世界での座標(画像ベースのアッセイにおける濃度推定に関係する)も決定される。モニタマークを検出可能アンカーとして用いてTLDを決定し、画像ベースのアッセイにおける精度を向上させることができる。本発明の一実施形態では、モニタマークの検出を、モニタマークに対する機械学習モデルを用いて行う。ここからサンプルの画像のTLDが得られる。また、モニタマークがサンプル保持デバイスの平坦面上に周期的な分布パターンを有している場合には、画像ベースのアッセイにおいて、モニタマークの検出及びサンプル当たりベースのTLD推定がより信頼性高くかつ堅固になる可能性がある。
【0513】
A2:検体の分析を、特定の波長の光または多波長の光において検体化合物から測定した応答を用いて行って、検体濃度を予測する。サンプル中に浸漬していないモニタマークを用いて、検体化合物なしに対応するバックグラウンドの光吸収を決定し、光吸収を通して検体濃度を決定することができる。たとえば、全血球試験におけるHgB試験である。加えて、各モニタマークは、濃度推定を堅固で信頼性の高いものにするための、バックグラウンド吸収に対する独立した検出器として働くことができる。
【0514】
A3:画像ベースのアッセイ用の微視的画像化におけるフォーカシング均一に分布したモニタマークを用いて焦点精度を向上させることができる。(a)これは、信頼性の高いフォーカシングを行うために、サンプルに特徴がない/必要な数の特徴よりも少ない場合に最小量の視覚特徴を得るために用いることができ、これは、モニタマークのエッジ内容に起因する弱光において行うことができる。(b)これは、焦点判定をより偏りのないものにするために、サンプル中の特徴が不均一に分布しているときに視覚特徴を得るために用いることができる。(c)これによって、焦点評価アルゴリズムにおける重みを調整するために、サンプルの中身による影響がない/少ない/異なる局所的な照明条件に対する参照を得ることができる。
【0515】
A4:モニタマークは、画像不完全性(原因は、限定することなく、不均一に分布した照明、種々のタイプの画像歪み、ノイズ、及び不完全な画像前処理動作)を検出及び/または補正するための参照として用いることができる。たとえば、
図14に示すように、3D世界における直線がサンプルの画像の曲線にマッピングされたときに、サンプルの画像内のマークの位置を用いて比歪みを検出及び/または補正することができる。マークの位置変化に基づいて、画像全体の比分布パラメータを推定することができる。また想定した比歪みパラメータに基づいて歪みが取り除かれた再生画像内の水平/垂直線の線形試験によって、比歪みパラメータの値を反復的に推定することができる。
【0516】
機械学習(ML)計算の例
B1:機械学習を用いる1つの方法は、サンプルの画像内の検体を検出して、検体をそれらの場所に対して覆う境界ボックスを計算することであり、これは、処理の推論プロセスにおいてトレーニングされた機械学習モデルを用いて行う。機械学習法を用いてサンプルの画像内の検体を検出して場所を特定する別の方法は、画素レベルでのサンプルの画像内の検体の注釈を伴う検出及びセグメンテーションモデルを構築及びトレーニングすることである。このアプローチでは、画像ベースのアッセイにおいて検体を覆う密な二値画素マスクを用いて、サンプルの画像内の検体を検出して場所を特定することができる。
【0517】
B2:人血中のヘモグロビンを試験するときには、画像を所与の狭帯域波長において取った後に、検体面積及び参照面積を通る平均エネルギーを解析する。所与の波長及び検体サンプル面積の高さにおける検体の既知の吸収レートに基づいて、濃度を推定することができる。しかしこの測定値にはノイズがある。ノイズを消すために、異なる波長の光を用いて複数の画像を取ることができ、機械学習回帰を用いてより正確で堅固な推定を実現することができる。本発明のいくつかの実施形態では、機械学習ベースの推論は、サンプルの複数の入力画像を取って(異なる波長で取る)、単一の濃度数を出力する。
【0518】
エラー危険性を特定して測定信頼性を向上させる例
いくつかの実施形態では、アッセイの信頼性を向上させるための方法であって、
(a)QMAXカード上のサンプルを画像化することと、
(b)エラー危険因子を分析することと、
(c)エラー危険因子が閾値よりも高い場合に、カードがカードの測定結果を報告することを拒否することと、を含み、
エラー危険因子は、以下の因子のうちの1つまたはそれらの任意の組み合わせである、方法。因子は以下であるが、これらに限定されない。(1)血液のエッジ、(2)血液中の気泡、(3)血液量が少なすぎるかまたは血液量が多すぎる、(4)スペーサの下の血球、(5)塊状の血球、(6)溶解した血球、(7)サンプルの画像が露出過多である、(8)サンプルの画像が露出不足である、(8)サンプルの焦点が不十分である、(9)不適切なレバー位置としての光学システムエラー、(10)カードが閉じていない、(11)スペーサがないカードとしての不適切なカード、(12)カード内のホコリ、(13)カード内のオイル、(14)カード上の焦点面から汚れが出ている、(15)カードが読取機の内部の正しい位置にない、(16)カードが空である、(17)カード内の製造エラー、(18)他の応用例に対する不適切なカード、(19)血液が乾燥している、(20)カードの有効期限が切れている、(21)血球の分布が大きく変化している、(22)血液サンプルではないかまたは標的血液サンプルではないなど。
【0519】
いくつかの実施形態では、エラー危険分析器が、デバイス内での生物学的及び化学的応用における以下のケースを検出し、識別し、分類し、訂正及び/または補正することができる。(1)サンプルのエッジにおいて、(2)サンプル中の気泡、(3)サンプル量が少なすぎるかまたはサンプル量が多すぎる、(4)スペーサの下のサンプル、(5)塊状のサンプル、(6)溶解したサンプル、(7)サンプルの画像が露出過多である、(8)サンプルの画像が露出不足である、(8)サンプルの焦点が不十分である、(9)不適切なレバーとしての光学システムエラー、(10)カードが閉じていない、(11)スペーサがないカードとしての不適切なカード、(12)カード内のホコリ、(13)カード内のオイル、(14)カード上の焦点面から汚れが出ている、(15)カードが読取機の内部の正しい位置にない、(16)カードが空である、(17)カード内の製造エラー、(18)他の応用例に対する不適切なカード、(19)サンプルが乾燥している、(20)カードの有効期限が切れている、(21)血球の分布が大きく変化している、(22)サンプルが間違っているなど。閾値は集団試験から決定する。閾値は機械学習から決定する。モニタリングマークはエラー危険因子を特定するための対照として用いる。モニタリングマークはエラー危険因子の閾値を評価するための対照として用いる。
【0520】
以下の概要では、本発明のすべての特徴及び態様を含むことは意図していない。
【0521】
本明細書で開示したのは、生物学的、化学的、及び医療用診断においてサンプルの形態的、分子、物理的、比色分析、及び病理学的特徴を分析するための画像ベースのアッセイの方法及びシステムである。たとえば、CBC(全血球計算)試験では、サンプルの画像から血球(たとえば、赤血球、白血球など)を特性評価し、分子及び核酸試験では、試薬を用いた種々の状態の下で取ったサンプルの画像内での抗原及び抗体または粒子の結合を取り、比色分析の試験では、サンプルの画像内で取った種々の波長における光の吸収からサンプル特徴及び粒子濃度を決定する。
【0522】
しかし、これらの試験はすべて、試験中のデバイス動作に対するサンプル調製からの多くの未知の要因を伴って行われ、試験結果の信頼性に影響する可能性がある。たとえば、血液試験では、良く知られている未知の要因としては、これらに限定されないが、細胞凝集、ホコリ、気泡、不一様な分布、乾燥テクスチャなどが挙げられる。これらの未知の要因を、通常の試験手順以外の制御に入れることができる方法及びシステムが緊急に必要とされている。
【0523】
本明細書で開示した本方法及びシステムの一態様は、画像ベースのアッセイにおける信頼性フレームワークである。これは、通常の画像ベースのアッセイと並行して実行されるが、試験しているサンプルのメタ特徴を、画像ベースアッセイングで用いる同じ画像から分析する。試験しているサンプルについてのこれらのメタ特徴によって、試験結果の信頼性を判定するための重要な情報が得られる。また、いくつかの実施形態では、画像ベースのアッセイについてのこれらのメタ特徴を、ノイズが多い様々な環境で実行することができる専用の機械学習モデルによって取得して特性評価する。
【0524】
詳細には、試験結果の信頼性を検証するための重要な方法及びシステムを開示している。これには以下が含まれる。
(a)画像ベースのアッセイにおいてサンプルの不一様な分布を検出する方法及びシステム。不一様に分配された(汚れた)サンプルが不正確及びエラーの原因である。
(b)画像ベースのアッセイにおいてサンプルの乾燥テクスチャを検出する方法及びシステム。部分的に乾燥した(たとえば血液)サンプルが試験結果の精度に影響を与える可能性がある。
(c)画像ベースのアッセイにおいてサンプルの凝集を検出する方法及びシステム。試験サンプル中の凝集の程度は、サンプル品質、試験に用いる試薬などの強力な表示である。
(d)画像ベースのアッセイに対してサンプル中の欠陥を検出する方法及びシステムである。サンプル中の欠陥としては、これらに限定されないが、ホコリ、気泡、繊維などが挙げられる。
【0525】
画像ベースのアッセイに対して提案した信頼性試験フレームワークは、機械学習によって駆動される。専用の機械学習モデルを、アッセイング結果の信頼性を速くかつ堅固に推定するために構築する。これは、血液及び比色分析の試験などの実際の応用に適用している。
【0526】
加えて、本明細書では、画像ベースのアッセイにおいて物体の細かく分けた輪郭マスクレベルセグメンテーションを取得するために、専用のセグメンテーション方法を開示している。これは、細胞検出及び特性評価に適用しており、また信頼性アッセイングにも適用しサンプル中の欠陥及び異常を検出及び特性評価している。
【0527】
提案したアプローチは、機械学習ベースのセグメンテーションを境界ボックスレベル(構築が速くて容易である)におけるセグメンテーションに適用している。そして、境界ボックス内の各物体に対して、細かく分けた輪郭マスクセグメンテーションを取得するために専用の形態分析方法を考案している。この方法は画像ベースのアッセイにおける多くの応用例に、有効性を伴って適用している。
【0528】
本明細書で開示した本方法及びシステムの別の態様は、特別にデザインされたサンプルホルダを伴う画像ベースのアッセイのフレームワークである。サンプルホルダは、ピラー形態で画像ベースのアッセイ中にサンプルホルダ内のサンプルの画像から見えるモニタリングマーク構造を有している。特別にデザインされたサンプルホルダによって、画像ベースのアッセイにおいて多くの新しい能力及び特徴が開かれる。これには以下が含まれる。
(a)画像ベースのアッセイに対する真の横寸法(TLD)補正用の方法及びシステム。TLDが、細胞の、物理的な世界でのその実際のサイズに対する画像内の寸法を決定する。これは、画像化装置が取ったサンプルの画像内での歪みがあるために、アッセイング結果の精度に影響する重要なパラメータである。
(b)前記サンプルホルダによるサンプルの画像に基づいた画像システムにおける分光光度計の方法及びシステム。サンプルの画像を機械学習モデルを用いて2つのサブ領域に分割する。サンプルに対応する第1のサブ領域と、ピラーに対応する第2のサブ領域とである。単一または多波長の光の下で取った1つまたは複数の画像に基づいて、2つのクラスのサブ領域に対して分光化学測定を行い、これらのデータを集めて、サンプルの化学特性及び物理特性(たとえば、化合物濃度)を得るために適用する。
(c)均一な高さを伴うモニタリングマークピラーに基づいてサンプル体積を決定する方法及びシステム。サンプルの体積は、画像内のサンプルの表面積によって決定することができる。なぜならば、サンプルは、ピラーによって制御される一定のギャップを伴うサンプルホルダの2つの平行板の間に挟まれているからである。この提案した構造によって、サンプルから任意の見える欠陥、ピラー、ホコリ、気泡などを事実上取り除くことができ、それでもやはり、アッセイング用に除去した後にサンプル体積の正確な制御が行われる。
(d)モニタリングマークピラーを用いて画像ベースのアッセイにおける微視的画像化品質を向上させる方法及びシステム。局所的な照明、照明の一様性、及び歪み比制御は、画像ベースのアッセイにおいて検出したピラーの画像に基づくことができる。これらのパラメータは、微視的画像化において制御することが難しく、特に異なるタイプのサンプルをアッセイング用に画像化している場合がそうである。
【0529】
全般的に、サンプルの画像内のピラーを検出すること、場所を特定すること、及びセグメント化することは難題であり、特に微視的画像(たとえば、画像ベースのアッセイからのもの)においてそうである。説明したアプローチ及び実施形態では、ピラー検出用に特別な機械学習モデルも構築しており、前述したセグメンテーション方法を、ピラー場所、形状輪郭、及びサイズの高精度推定用の真の横寸法(TLD)補正と組み合わせて、前述した方法を画像ベースのアッセイに対して効果的なものにしている。
【国際調査報告】