【解決手段】センシングシステムは、所定の検知エリアを有する基板と、前記基板上に供給される粒子を前記基板と水平な方向に駆動する第1駆動手段と、前記検知エリアでの前記粒子の動きを追跡するトラッキング手段と、を有する。
前記基板の前記検知エリアに、前記粒子を捕捉する捕捉手段が設けられており、前記トラッキング手段は、前記粒子の捕捉を検出する請求項1〜9のいずれか1項に記載のセンシングシステム。
【発明を実施するための形態】
【0014】
図1は、実施形態のセンシングシステム1の模式図である。センシングシステム1は、粒子の制御と、粒子の反応または振舞いの解析とを行う。センシングシステム1は、所定の検知エリア40が形成された基板21と、基板21上に供給される粒子の動きを制御する駆動機構と、顕微鏡25と、情報処理装置10を有する。
【0015】
基板21には、電極パターン211a、及び211bが形成されており、電極パターン211a及び211bの内側が検知エリア40となっている。この構成例では、電極パターン211a及び211bと、電極パターン211a及び211bに接続される電流源23で、駆動機構が構成される。
【0016】
情報処理装置10は、プロセッサ11、メモリ12、ディスプレイ13、通信インタフェース(I/F)14、及びカメラ15を有し、これらはバス16によって相互接続されている。情報処理装置10は、スマートフォン、タブレット端末、パーソナルコンピュータ等である。
【0017】
情報処理装置10のカメラ15は、顕微鏡25の接眼レンズと光学的に接続される。顕微鏡25は、一般的な光学顕微鏡であり、カメラ15と顕微鏡25の接眼レンズの間に、ミラー等の光学系が挿入されていてもよい。あるいは、情報処理装置10のカメラ15を直接、接眼レンズの上に配置してもよい。カメラ15は、ビデオカメラ機能を有していることが望ましい。たとえば、スマートフォンのカメラ用の開口部を、直接顕微鏡25の接眼レンズの上に置いてもよい。
【0018】
電極パターン211a及び211bによって、検知エリア40内の粒子30に、基板21と水平な方向に力が働くと(点線の双方向矢印)、粒子30は、基板21の表面近傍で水平方向に移動する。この例では、電圧を印加して電流を流し、基板と水平方向の電界を発生させている。カメラ15は、粒子30を撮影し、撮影データを取得する。
【0019】
撮影データは、情報処理装置10内のプロセッサ11によって処理され、解析されてもよいし、通信インタフェース14を介して、外部の解析装置に送信されてもよい。撮影データの処理及び解析には、粒子30のトラッキングが含まれる。粒子30は、電流源23を含む駆動機構によって、基板21上の比較的広い検知エリア40内を移動する。検知エリア40内で粒子30に反応が起きたとき、あるいは粒子30が別の物質と結合したときに、粒子30の動きが止まる。粒子30の動きを追跡することで、反応または結合の有無を解析することができる。
【0020】
図1の例では、顕微鏡25とカメラ15、及びプロセッサ11によってトラッキング手段が構成されるが、粒子30のサイズによっては、顕微鏡25を用いずに、直接、カメラ15によって粒子30の動画像を取得してもよい。情報処理装置10は、4K解像度の映像出力に対応しているのが好ましいが、この要件は必須ではない。実施形態では、ビデオ画像のひとつの画素の解像度を100nm程度とする。
【0021】
粒子30が所定の質量を有するときは、重力によって、基板21の表面近傍に位置することができる。電極パターン211a及び211bを介して交流電界が印加されているときも、粒子30は、基板21から一定の高さ範囲で、面内方向に移動する。
【0022】
粒子30を自重によって基板21の表面近傍に維持することが難しい場合は、基板21の表面から一定の高さ範囲内に粒子30を維持するために、粒子30に対して基板21と垂直な方向の力(図中の実線の矢印)を作用させる第2の駆動手段を用いてもよい。
図1の例では、第2の駆動手段として、マグネット22が基板21の裏面に配置されている。マグネット22により、基板21と垂直な方向に磁力が働く。粒子30が磁性を帯びる場合は、磁力によって基板21と垂直な方向で粒子30の位置が制御される。
【0023】
電流源23に接続された電極パターン211a及び211bによって、水平方向に交流電界が生成され、マグネット22によって垂直方向の磁力が働く。検知エリア40内に非線形または不均一な電磁場が生成され、粒子30に電気双極子モーメントが誘起されて、誘電泳動する。粒子30は、基板21上の検知エリア40内で、基板21の表面から一定の高さ範囲を保ったまま、面内方向に移動する。
【0024】
粒子30を基板21の近傍に維持する第2の駆動手段は、マグネット22に限定されない。斜め下方に向かう電界を印加してもよいし、真空吸着力、電気泳動力、誘電泳動力等の外力を印加してもよい。
【0025】
図2は、基板21に形成される検知エリア40の顕微画像である。基板21の表面に、互いに90°の角度で配置される電極パターン211a、211b、211c、及び211dが形成されている。電極パターン211a〜211dの内側の領域が、検知エリア40である。検知エリア40は500μm×500μm以上であり、従来の検知エリアと比較して格段に広い。
【0026】
基板21は、たとえばSi/SiO
2基板である。電極パターン211a〜211dは、SiO
2膜上に形成された金(Au)等の導体膜である。電極パターン211a〜211dは、真空蒸着とエッチング、電子ビームリソグラフィを用いたリフトオフ法など、任意の方法で形成することができる。
図2の例で、検知エリア40のサイズは575μm×575μmである。
図2の電極パターンの形状、材料等は一例であって、互いに90°の角度で配置される2組の電極によって検知エリア40が規定されるかぎり、より簡単な電極パターンが形成されてもよい。他の電極パターンについては、後述する。
【0027】
検知エリア40に供給されるナノサイズの粒子30に誘電泳動力を生じさせて、検知エリア40全体にわたって移動させるには、電極パターン211aと211bのペアと、電極パターン211cと211dのペアに、振幅が20mA程度の交流電流を印加すればよい。このとき、電極パターン211aと211bに流れる電流と、電極パターン211cと211dに流れる電流の位相が、互いにπ/2ずれるようにする。互いに直交する向きに配置される2組の電極パターン211aと211b、及び211cと211dを用いることで、粒子30は楕円形の軌道を描きながら、検知エリア40の中を移動する。
【0028】
粒子30が抗原で修飾されているときは、基板21の表面を、プローブとしての抗体で官能基化(修飾)してもよい。電界の印加の下で、粒子30が検知エリア40内を移動することで、特異的な相互作用の確率が高まって検出効率が向上するとともに、非特異的な相互作用は抑制される。
【0029】
図3は、一対の電極パターンの電流の流れ方向の違いによる電気ポテンシャルエネルギー分布図である。
図3の(a)は、電極パターン211dにy軸に沿って正の電流を流した場合(すなわち、電極パターン211dに+y軸方向に電流を流した場合であり、その際、電極パターン211cは−y軸方向に電流が流れる)、
図3の(b)は電極パターン211dにy軸に沿って負の電流を流した場合(すなわち、電極パターン211dに−y軸方向に電流を流した場合であり、その際、電極パターン211cは+y軸方向に電流が流れる)に、発生したポテンシャルエネルギー分布図である。対向する一対の電極パターン211c及び211dに、一端側の電位を固定し、他端で電位が正弦波的に変化するように、y軸方向に沿って電流を印加し、ラプラス方程式を解くことで検知エリア40のポテンシャルエネルギー分布が計算されている。
【0030】
図3の(a)では、x=0、y=2でポテンシャルエネルギーが最も大きくなり、+x方向に力が働く。
図3の(b)でy軸に沿って負の電流を印加すると、−x方向に力が働く。この正弦波の場により、粒子30はx方向に沿って振動する。電極パターン211a及び211bとともに、電極パターン211c及び211dを用いて、x軸方向とy軸方向に同時に、かつπ/2の位相差を与えて電流を印加すると、検知エリア40で粒子30は楕円形の軌道を描いて移動する。
【0031】
粒子30に作用する誘電泳動力Fdepは外部電界に比例し、式(1)で表される。
【0032】
【数1】
ここで、r
0は粒子の半径、CMは角周波数ωの関数としてのクラウジウス-モソッティの関係であり、ε
mは溶媒の誘電率、ε
pは粒子の誘電率である。
【0033】
このような粒子の誘電泳動を利用したバイオセンシングの具体的な構成を、以下で説明する。
【0034】
<ヘテロジニアス・バイオセンシング>
図4は、ヘテロジニアスなセンシングシステム1Aの模式図である。センシングシステム1Aは、情報処理装置10としてスマートフォン10Aを用いる。基板21の表面は、抗原201で修飾されている。互いに対向する電極21aと21b、及び21cと21d(
図2参照)で区画される領域が検知エリア40となる。
【0035】
基板21A上に、支持フレーム28によって反応チャンバーが形成され、反応チャンバー内に磁性粒子30Aを含む溶液が充填されている。支持フレーム28は、プラスチックで形成されていてもよいし、基板21Aと同じ材料で形成されていてもよい。支持フレーム28で区画される反応チャンバーは、ガラスプレート29が覆われている。スマートフォン10Aのカメラ機能を利用して、拡大レンズ25Aを介して磁性粒子30Aの動きを記録する。
【0036】
図5は、磁性粒子30Aの一例を示す。
図5の(a)は模式図、
図5の(b)はTEM像である。磁性粒子30Aは、磁性粉末301が分散されたポリマー302で形成されており、表面がリガンド303で修飾されている。
図4の例では、基板21Aの表面を抗原201で修飾し、磁性粒子30Aの表面を抗体で修飾するが、基板表面を抗体で修飾して磁性粒子30Aの表面を抗原で修飾してもよい。
【0037】
磁性粒子30Aの直径は、用途に応じて、サブミクロン〜数ミクロンに設定されてもよい。実際に作製されたTEM像の磁性粒子30Aの平均直径は2.8μmである。磁性粒子30Aは、電場、または電磁場によって操作可能であり、表面の修飾が自在である。
【0038】
図4のように、磁性粒子30Aのリガンド(抗体)の一部は、溶液中の自由抗原202と反応し得るが、自由抗原202の割合が少ない場合は、電磁界に沿って磁性粒子30Aが移動する過程で、基板21A上の抗原201と高い確率で相互作用する。このような磁性粒子30Aの挙動は、拡大レンズ25Aを介してスマートフォン10Aで観察され、記録される。
【0039】
図6は、検知エリア40内に分布する磁性粒子30Aの顕微写真である。
図4のセンシングシステム1Aでは、基板21Aと垂直方向への駆動手段としてマグネット22を用いている。電界の印加前は、磁性粒子30Aの動きは非常に少ないか、ランダムに動くだけであり、基板21Aの表面に設けられた物質(たとえば抗原201)と相互作用する機会が限定的である。
【0040】
図7は、電界の印加による磁性粒子30Aの動きを示す図である。
図7の(a)は電界印加前の基板21A上の磁性粒子30Aの顕微画像、
図7の(b)は電界印加の0.5秒後の顕微画像、
図7の(c)は、(a)と(b)の合成画像である。
図7の(c)で、濃い点が初期位置であり、薄い点が移動後の位置である。電界の印加により、多数の磁性粒子30Aがほぼ同じ方向に移動していることがわかる。
【0041】
上述のように、電極パターン211aと211bの組と、電極パターン211a及び211bの組は、その長軸が互いに直交する方向に延びるように配置されている。互いに直交する方向に所定の位相差で交流電流を流すことで、磁性粒子30Aは正弦波的に振動しながら検知エリア40内を移動する。
【0042】
図7の(c)に示されるように、電界印加の0.5秒には、ほとんどの磁性粒子30Aが、紙面の水平方向から45°の方向(右上の方向)に移動している。スマートフォン10Aのカメラ機能で撮影された動画像を取り込み、所定の画像処理プログラムを実行することで、個々の磁性粒子30Aの識別とトラッキングが可能である。あらかじめスマートフォン10Aに画像処理プログラムをインストールして、スマートフォン10Aでプログラムを実行してもよいし、スマートフォン10AからPC等に画像データを転送して、PCで画像処理プログラムを実行してもよい。
【0043】
たとえば、正規化相互相関法またはテンプレートマッチング法を使用して、ビデオフレームごとに各磁性粒子30Aを識別することができる。テンプレートマッチング等で得られた特徴マップにしきい値処理を施し、残りの一致部分について、「non-maximum suppression」処理によりフィルタリングを行う。「non-maximum suppression」は、重複して認識された粒子について、最大値を除く値をすべてゼロにして、検出の信頼度を高める処理である。これにより、現在のフレーム内で粒子が存在する場所を多数検出することができる。
【0044】
フレーム間の磁性粒子30Aの時間的な関連付けは、カルマンフィルタに基づいて各粒子の運動モデルを展開することで行われる。カルマンフィルタは、粒子の速度と加速度に基づいて粒子の次の位置を予測する。特徴マップから得られた磁性粒子30Aの位置は、追跡対象の各磁性粒子30Aの運動モデルでなされた予測結果と比較される。時間的関連付けは、予測された位置から観測された位置への最近傍探索によって行われる。カルマンフィルタは、予測値と観測値の差に基づいて更新される。
【0045】
図8は、検知エリア40のうち
図7に示す領域での磁性粒子30Aの軌道を示す図である。シミュレーションから予測され、かつ実験で観察された各磁性粒子30Aの楕円形の軌跡は、粒子トラッキングメカニズムによってうまく識別されている。これらの軌跡から、位置、速度、加速度などのパラメータが取得され、目的の磁性粒子30Aがいつ、どこで基板21Aの表面に捕捉されたかを明らかにすることができる。
【0046】
図8からわかるように、任意の粒子の軌跡はスマートフォンで得られた高解像度ビデオ画像から確実に復元される。磁性粒子30A等の粒子が生物学的相互作用によって基板21Aの表面に付着し、または捕捉されると、その粒子は移動を停止するので、補捉された粒子を識別することができる。
【0047】
このトラッキング方法によると、まったく運動がない状態から粒子のブラウン運動を識別することができる。検知エリア40に電界を印加して粒子を面内方向に駆動する実施形態の構成と手法は、広い領域にわたって生物学的相互作用を促進する。また、トラッキングによって、基板21Aのセンシング面に付着した粒子の数を特定することができる。各粒子は個別に追跡されるので、広い面積にわたって単一の粒子でさえも検出することができる。この検出感度は、従来の磁性粒子センサと比較して、格段に高い。
【0048】
図9は、個々の粒子の位置トラッキングを示す図である。横軸は時間(秒)、縦軸はx方向の位置(μm)である。電界の印加により、粒子#1〜#4のそれぞれが、x方向に振動しながら移動している。この振動は、正弦波の交流電界の印加によるものであり、粒子間で運動の振幅は同じである。
図9では、粒子#1〜#4は、まだ基板21Aの表面に捕捉されていない。
【0049】
図10は、粒子#1〜#4の振動周波数を示す図である。横軸は周波数(Hz)、縦軸は振幅の正規化対数である。全ての粒子が、0.5Hzの前後で大きく振れている。この周波数の逆数が、印加された電界の周期である。
【0050】
図11は、粒子#5〜#7のトラッキング結果を示す図である。横軸は時間(秒)、縦軸はx方向の位置(μm)である。基板21と平行な方向への電界の印加により、各粒子は基板21上の溶媒中を移動するが、基板21の表面に存在する物質と結合した場合、その粒子の運動は止まる。
【0051】
粒子#5は、電界の印加が開始される時点で、すでに基板21の表面に付着または結合し、電界が印加されても、その動作は停止している。粒子#6は、電界印加開始から約40秒は、基板21上を移動しているが、40秒以降は動作が停止している。ここから、粒子#6が基板21の表面と相互作用した時間と、位置がわかる。
【0052】
粒子#7は、電界印加から約20秒後に一度、動きが停止するが、相互作用が弱い等の理由により、約32秒後に、再度、動き始める。その後、約46秒後に基板21上の別の位置で捕捉され、動きが止まる。
【0053】
このように、個々の粒子について反応または相互作用の有無と、反応位置を高精度に検出することができる。相互作用が起きるまで、粒子は検知エリア40の面内方向に駆動されて一か所にとどまらないので、相互作用の確率が増大し、反応効率が高い。電極パターン211a〜211dが形成された基板21と電流/電圧源、小型の顕微鏡、及びスマートフォン等の携帯端末があれば、微粒子、分子、抗体の存在、動き、反応等を検知またはテストすることができる。
【0054】
<電極パターンの変形例>
図4のセンシングシステム1Aでは、
図6に示すように円形の突起が形成された電極パターンを用いたが、より簡単な電極構成を採用してもよい。
【0055】
図12は、電極パターンの変形例を示す。基板21Aの表面に、電極パターン212a〜212dが形成されている。基板21Aは、たとえば、窒化ケイ素(Si
3N
4)でコーティングされたシリコン基板である。Si
3N
4コートの上に、厚さ100nmのチタン(Ti)の薄膜と、厚さ100nmのAuの薄膜を蒸着で形成し、フォトリソグラフィでパターニングすることで、電極パターン212a〜212dが形成される。
【0056】
電極パターン212a〜212dで規定される検知エリア40のサイズは、560μm×560μmである。検知エリア40の紙面の左側に多く分布する黒い点は、直径1μmの磁性粒子である。
図12の状態で、電界は印可されていない。
【0057】
電極パターン212aと211bのペア、及び、電極パターン211cと211dのペアに、位相をπ/2ずらして交流電流を印加することで、検知エリア40内で磁性粒子をらせん状に振動させながら、一定方向へ誘電泳動させることができる。
【0058】
A点とD点を結ぶ対角線での断面、あるいは、P点とS点を結ぶ対角線での断面が、
図4の断面構成に相当する。
図12の電極パターン212a〜212dは、
図1及び
図6の電極パターン211a〜211dと比較して、形状がシンプルで作製が容易であり、バイオセンシング用のチップの小型化と低コスト化に適している。
【0059】
図13は、
図12の電極パターンを用いて測定された磁性粒子のカリブレーションカーブである。縦軸は、磁性粒子が基板21Aに捕捉される割合(%)、横軸は時間(分)である。基板21Aの表面はビオチンで修飾され、磁性粒子30Aの表面はストレプトアビジンで修飾されている。ビオチン濃度の異なる4種類の溶液中に磁性粒子30Aを一定濃度で分散させた溶液のそれぞれで、1分ごとに基板21Aへの磁性粒子の捕捉割合を計測する。
【0060】
まず、脱イオン水中に体積濃度で2%の磁性粒子を分散させた磁性粒子の溶液を準備する。一方で、ビオチン濃度が20マイクロモル(μM)、200ナノモル(nM)、2nM、及び、0nMの4通りのビオチン溶液を準備する。500μLの各ビオチン溶液に、500μLの磁性粒子の溶液を混合して、4種類の溶液を生成する。いずれの溶液にも、1%の磁性粒子(ストレプトアビジンでコーティングされている)が含まれている。ビオチン濃度が0nMの溶液が、基準サンプルとなる。
【0061】
この測定法は、競合的結合原理に基づく測定(アッセイ)である。溶液中のフリービオチンの量が多くなるほど、ストレプトアビジンで標識された磁性粒子と基板21Aとの相互作用が減少する。
【0062】
1分経過の時点で、図中の縦棒で示される信頼区間は4つの溶液間で比較的近いが、2分以降は離れていく。2分の時点での横方向の破線は、3σ検出限界(LOD:Limit of Detection)を示す。3σ検出限界は、基準サンプル(自由ビオチン濃度が0nM)よりも低い。
図12の結果から、
図4のセンシングシステム1Aでの検出限界は、非標識物質(フリービオチン)の濃度1nMである。
【0063】
非標識物質の濃度が1nM以下のときに、実施形態のセンシングシステム1Aにより、効率的、かつ高い信頼性でヘテロジニアス・バイオセンシングを行うことができる。
【0064】
<ホモジニアス・バイオセンシング>
本発明のバイオセンシングは、基板表面を修飾しないホモジニアス・バイオセンシングにも適用可能である。
【0065】
図14は、ホモジニアスなセンシングシステム1Bの模式図である。ヘテロジニアスなセンシングシステム1Aと同様に、基板21上に電極パターンが形成されて、電極パターンの間に検知エリア40が形成されている。電極パターンは、
図2の電極パターン211a〜211dを用いてもよいし、
図12の電極パターン212a〜212dを用いてもよい。
【0066】
基板21は修飾されていない。溶液(バルク)中に、標的物質で修飾された粒子310と、リガンド303Bで修飾された粒子30−1〜30−3が存在する。この例で、リガンド303Bはカルボキシ基(COOH)である。COOHで修飾された粒子30−1〜30−3を、便宜上、COOHビーズと呼ぶ。COOHビーズの平均直径は約1μmである。
【0067】
粒子310は、アミノ基(NH2)で修飾されている。NH2で修飾された粒子310を、便宜上、NH2ビーズと呼ぶ。NH2ビーズの平均直径は、200nmである。
【0068】
図14の(a)で、検知エリア40に電場が印加されることで、粒子30−1〜30−3は調和振動、すなわち正弦波形で表される周期運動をしながら、一定方向に移動する。
図14の(b)のように、粒子30−2が、標的物質(NH2)で修飾された粒子310と結合すると、調和振動の振幅が小さくなる。
【0069】
各粒子30の挙動を追跡し、粒子の振幅の変化を検出することで、物質間の相互作用の有無、割合、タイミング等を検出することができる。
【0070】
図15は、COOHビーズのみの溶液(a)と、COOHビーズとNH2ビーズを混合した溶液(b)の、粒子挙動の観察結果である。
図15の(a)で観察される円形の軌跡は、電場印可下でのCOOHビーズの挙動である。図中の数字は、各ビーズの識別番号である。COOHビーズだけの方が、粒子の動きが大きいことがわかる。
【0071】
図16は、COOHビーズ単体の動きと、COOHにNH2が結合した粒子の動きを比較する図である。縦軸は位置(μm)、横軸は時間(秒)である。COOHビーズは、大きな振幅で正弦波の周期運動をしている。一方、COOHにNH2が結合した粒子の振幅は非常に小さいか、ほとんど振動していない。
【0072】
この観察結果を利用して、各粒子の動きを追跡し、振動の停止、または所定の閾値以下への振幅の低減を検出することで、生体反応を検出することができる。ホモジニアス・バイオセンシングでは、基板21の表面を修飾する必要がない。また、粒子30を基板21の表面近傍に維持するための磁場の印可が不要である。電場中の粒子のトラッキングのみで、効率的に相互作用の有無等を検出できる。
【0073】
図17は、NH2ビーズ濃度を変化させたときの粒子30の振幅分布を示す。縦軸は確率、横軸は振幅(ピクセル数)である。NH2ビーズの濃度は、200μg/ml、150μg/ml、120μg/ml、100μg/ml、50μg/ml、0μg/mlの6種類である。
【0074】
NH2ビーズの濃度が小さいときは、COOHビーズは9ピクセルにわたって大きく振動している。アミノ基の濃度が増えるほど、COOHに結合するNH2が増え、COOHビーズの振幅が減少する。
【0075】
実施形態のホモジニアス・バイオセンシングは、簡易なシステム構成で電場印加下の各粒子を追跡することで、効率よく生体反応の有無や進行状況を検出することができる。たとえば、抗原で修飾された微小な粒子を含むの溶液中に、抗体で修飾された粒子30を導入して挙動を観察し、またはカウントすることで、反応位置や反応速度を推定することができる。、
<AIベースのトラッキングアルゴリズム>
上述したヘテロジニアスまたはホモジニアスなバイオセンシングにおいて、粒子のトラッキングにニューラルネットワークを適用してもよい。実施形態のトラッキングアルゴリズムの特徴として、人工的に生成された画像データをトレーニングデータとして、ニューラルネットワークを訓練する。
【0076】
図18は、粒子トラッキングのためのトレーニングデータの生成と、学習済みのニューラルネットワークによる粒子トラッキングのフローチャートである。ステップS11で、粒子が撮影された画像を取得する。すでに撮影されて保存されている画像であってもよいし、新たに撮影した画像であってもよい。後述するように、トレーニングデータの生成に多大な量の画像データは不要なので、ある程度変化のある画像が得られればよい。
【0077】
ステップS12で、基板上に粒子が存在しない空の基板の画像を取得する。たとえば、
図2または
図12の電極パターンが形成された基板のみの画像を取得する。
【0078】
ステップS13で、粒子の画像と、空の基板の画像をソフトウェアで合成して、粒子の画像が既知の合成画像を生成する。合成画像は、基板上に粒子が存在しているかのように見える画像となる。生成された合成画像ごとに、そこに含まれる粒子の位置が対応付けられる。オリジナル画像(粒子の画像と空基板の画像)の数が少なくても、ソフトウェアによって所望の数、所望の種類の合成画像を生成することができる。
【0079】
ステップS14で、生成した合成画像をトレーニングデータとして用いて、粒子トラッキングのためのニューラルネットワークを訓練する。ステップS15で、学習済みのニューラルネットワークを用いて、バイオセンシングで観測された画像中の粒子の動きをトラッキングする。ニューラルネットワークは、座標情報が既知の合成画像で訓練されているので、観測データ中の粒子の位置を正しく判定することができる。
【0080】
この方法により、情報処理装置の種類に関係なく、正しく粒子をトラッキングすることができる。
【0081】
現在、スマートフォンを含めて、多種多様な情報処理端末が市場に出回っている。異なる機種、異なるバージョンのスマートフォンで磁性粒子の挙動を撮影すると、ピクセルレベルで磁性粒子の外観が異なり得る。機種やバージョンごとにカメラ機能、センサのノイズ特性、フォーカシング条件等が異なるからである。20〜30種類のスマートフォンがある場合、スマートフォンごとに個別にトラッキングプログラムを調整することは非現実的である。
【0082】
一般に、多くのスマートフォンに内蔵されているビデオカメラのフォーカス機能は、それほど精密ではない。磁性粒子を精度よく追跡するには焦点合わせが重要であるが、フォーカス機能が劣る場合でも、トラッキングプログラムで粒子を特定できることが望ましい。
【0083】
実施形態では、
図18の方法に基づいて、情報処理装置間に発生し得る特性ばらつきやフォーカス機能の相違を、自動的、またはインテリジェントに理解し、調整することが可能になる。
【0084】
粒子トラッキングの用途でAI(Artificial Intelligence;人口知能)プログラムを訓練するには、一般的には、撮影された画像に含まれる何千万もの磁性粒子の例をAIプログラムに与えて、磁性粒子の位置が正しく検出されるように学習させる。膨大な画像の例と、各画像における磁性粒子の正確な位置情報とを含む「ラベル付きデータセット」が必要であるが、磁性粒子を同定する既存のデータセットは存在しない。
【0085】
実施形態では、ラベル付きデータセットをプログラムにより自動生成する。上述のように、様々な粒子の画像と、空の基板の画像を組み合わせて、ランダムな位置に粒子が存在する人工画像を生成する。このような合成画像はソフトウェアによって生成されるので、粒子の位置は既知であり、何百万もの学習用の画像を生成できる。人工的に生成された画像を使用して学習されたAIアルゴリズムは、スマートフォン等で撮影された実際の画像から磁性粒子を正しく識別することができる。
【0086】
実際にスマートフォンで撮影された画像(または焦点の合っていない画像を含む)から粒子を検出するアルゴリズムは、セマンティックセグメンテーションのタスクを実行する畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)によって実現され得る。セマンティックセグメンテーションは、画像内のピクセルの1つひとつに対して、そのピクセルが示す意味(周辺のピクセル情報を含む)をラベル付けし、カテゴリ分類する手法である。
【0087】
図19は、実施形態の粒子トラッキング用のニューラルネットワーク500のアーキテクチャの例である。たとえば、4Kビデオフレームがセマンティックセグメンテーションのアルゴリズムに入力され、ビデオフレーム内の粒子分布の確率マップが出力される。出力される確率マップの各ピクセルは「0」と「1」の間の値を持つ。「1」は、そのピクセルが粒子を含むことが100%確実であることを表す。「0」は、そのピクセルに粒子が存在しないことが100%確実であることを示す。
【0088】
サイズ2160×3840×3の4Kビデオフレームは、サイズが270×480×3の64個のパッチに分割される。分割された各パッチに、第1の軸に沿ってゼロ(またはバイアス項)が埋め込まれて、272×480×3のテンソルが生成される。このテンソルは、
図19のCNNを通過するRGB画像である。
【0089】
図19の例で、CNNは、フィルタ数が徐々に増大する4つの畳み込みレイヤと、フィルタ数が徐々に減少する4つの転置畳み込み(デコンボリューションとも呼ばれる)のレイヤを有する。前半の4つの畳み込みレイヤでは、2×2のストライドで、連続して画像が縮小される。畳み込み後のテンソルのサイズは、17×30×256になる。後半の転置畳み込みでは、レイヤごとにフィルタ数が低減され、2×2のストライドでテンソルがアップスケーリングされる。
ニューラルネットワーク500の後半のテンソルを、前半のテンソルと互換性のある形状に連結(concatenate)してもよい。換言すると、ニューラルネットワーク500のレイヤを通過するテンソルの形状が、通過方向に対称性を持つように連結されてもよい。
【0090】
最終のデコンボリューションレイヤには2つのフィルタが含まれ、272×480×2のテンソルが出力される。出力テンソルの最初のフィルタは、ピクセルが背景である確率であり、2番目のフィルタは、ピクセルに粒子が存在する確率である。各ピクセルで、2つの確率の合計は1になる。ネットワークの計算コストを削減するために、ネットワークの前半で深さ方向に分離可能な畳み込みが使用されている。
【0091】
各レイヤで、各ピクセルのx位置とy位置が入力テンソルと連結されて、ピクセル位置に関するより多くの情報がネットワークに提供される。CNNの中に座標情報を取り込むこの手法は、CoordConvとして知られている。
【0092】
畳み込み、及び転置畳み込みのカーネルサイズは、各レイヤで3×3である。すべてのレイヤでバッチ正規化が行われてもよい。後半の転置畳み込みのレイヤでは、バッチノルムは連結の後に適用される。
【0093】
最終レイヤでの活性化関数として、ピクセル単位でsoftmax(正規化指数)関数を用いてもよい。最終レイヤ以外のレイヤでは、活性化関数としてLeaky ReLu関数(負の部分の勾配係数α=0.3)が用いてもよい。
【0094】
出力では、softmaxクロスエントロピー損失が計算される。最適化アルゴリズムとしてAdamオプティマイザを適用し、標準的な誤差逆伝播(back-propagation)アルゴリズムを用いてモデルを訓練してもよい。学習率は、最初は5×10
−5から始め、各エポックで2倍に減衰させてオプティマイザの収束を加速してもよい。
【0095】
上述したように、粒子トラッキングのためにAIアルゴリズムを実現する際の最大のハードルは、ニューラルネットワーク500を訓練するための既存のデータセット(画像及びこれに対応する確率マップの例)が存在しないことである。
【0096】
実施形態では、合成データセットを生成し、これを用いてニューラルネットワーク500を訓練する。具体的には、実験データから磁性粒子のテンプレートを抽出し、粒子がまったく存在しない空の基板のフレームに重ねる。重ね合わせはソフトウェアで行われるので、粒子の正確な位置は既知である。この位置情報に基づいて、画像に対応する確率マップを生成する。合成データ生成のプログラミング言語としてCythonを用い、Cコードにコンパイルして実行速度を高めてもよい。
【0097】
図18の方法により、実際に、約37万個の合成フレームパッチと、対応する確率マップを生成し、これらのトレーニングデータを用いて、5エポックでニューラルネットワーク500を訓練する。
【0098】
図20は、生成された合成フレーム(a)と、ニューラルネットワーク500で出力された確率マップ(b)である。確率マップ(b)で、明るい点は、高い確率でその粒子が存在することを示している。
【0099】
合成フレーム(a)では磁性粒子の輪郭がシャープな境界線となっており、人間の目からすると、自然に取られた画像ではないことは明らかである。合成フレームは人工的なデータであるが、このデータで訓練されたニューラルネットワーク500は、スマートフォンで撮影された実際のビデオデータに非常に良く機能する。
【0100】
図21は、ニューラルネットワーク500への入力画像と、出力(予測)された確率マップを示す。左側の画像(a)、(c),(e)が実際にスマートフォンで撮影され、ニューラルネットワーク500に入力された画像である。右側の画像(b)、(d)、(f)が対応する確率マップである。
【0101】
画像(a)では、サークルで囲まれた領域に、ポリマー汚染物質が写っている。対応する確率マップ(b)では、このポリマー汚染物質はトラッキングアルゴリズムによって無視され、粒子の存在確率が非常に低い(暗い)ピクセルとして提示されている。
【0102】
画像(c)に対しては、確率マップ(d)によって、画像内のすべての粒子がうまく検出されている。
【0103】
画像(e)では、粒子とともに基板上の電極パターンが写っている。ニューラルネットワーク500は合成データによって学習済みであり、確率マップ(f)で電極パターンは無視されて、電極パターン上と近傍の磁性粒子がうまく検出されている。
【0104】
図21から、ニューラルネットワーク500により、鮮明な粒子像が確率マップとして得られることがわかる。
図20、及び
図21では、1種類の粒子についてのみニューラルネットワーク500を適用しているが、アルゴリズムを微調整することで、異なる種類の粒子を検出し、それらを互いに異なるものとして識別することも可能である。ニューラルネットワーク500を用いた粒子のトラッキングは、ヘテロジニアスなバイオセンシングにも、ホモジニアスなバイオセンシングにも適用可能である。
【0105】
実施形態のセンシングシステムは、ナノ粒子またはミクロ粒子を用いたバイオセンシングや医療診断に有効に適用できる。特に、診療所、自宅、病院の診察室、ベッドサイド、手術室等の医療の現場で行うポイントオブケアの検査に良好に適用される。実施形態のシステムは、特に以下の利点を有する。
(a)検知エリア40は、従来の磁気センサの検知エリアと比較して、はるかに大きい。
(b)単一の粒子の軌跡を追跡することができる。
(c)数千個の粒子を個別かつ同時に追跡可能であり、センサの感度を向上し、ダイナミクスの範囲を拡張することができる。
(d)粒子を駆動する機構は、粒子の特性に応じて選択できるので、使用される粒子の性質として、磁性、非磁性、荷電、非荷電を問わない。
(e)粒子を面内方向に駆動する電界は、磁気センサの磁力と比較してはるかに強く、必要な電流量は小さい。消費電力が低減されるだけでなく、大電流の磁力ベースのセンサに一般的に必要とされる冷却機構が不要になる。
(f)ホモジニアスセンシングでは、基板の修飾や磁界の印可は不要であり、簡単な電極パターンのみでセンシング用の標識粒子と、標的物質との相互作用を促進することができる。
(g)合成データを用いて訓練したニューラルネットワークを用いることで、正確かつ鮮明に粒子をトラッキングすることができる。
【0106】
実施形態のセンシング方法は、基板上に所定の検知エリアを形成し、基板上に供給される粒子30を基板21と水平な方向に駆動し、検知エリア内の粒子30の運動をトラッキング手段で追跡することで実現される。
【0107】
基板21と水平な方向への駆動手段の一例として、電界を印加するが、誘導泳動力、電気泳動力、その他の外力を利用してもよい。基板21と垂直な方向への駆動手段として、磁界の印加に替えて、誘導泳動力、電気泳動力、吸着力などの外力を用いてもよいし、粒子自体の自重と重力を利用してもよい。垂直方向の誘導泳動力を用いる場合、粒子30は非磁性粒子でよい。
【0108】
基板21と水平な方向と垂直な方向の駆動手段を用いることで、基板21上で粒子30の三次元的な動きを制御することができる。
【0109】
溶媒中に分散された粒子30を基板21上に供給する場合は、電極パターンが形成された基板21の全体を容器内に収容してもよい。シリコン酸化膜付きのシリコン基板を加工する際に、電極パターンの外側に一定の高さの外壁を形成しておいてもよい。外壁で囲まれた検知エリア40に、粒子30を含む溶媒を注入することで、試料をテストすることができる。
【0110】
粒子30が抗原で修飾(官能基化)されている場合、基板21の表面にプローブとして設けられている相補的な抗体によって捕捉される。粒子20が検知エリア40内を効率的に移動するほど、抗原と抗体の相互作用の確率は高くなる。電磁力を利用して粒子30を駆動する場合、印加する電磁力の大きさ、方向、タイミングなどの制御が容易であり、かつ精密に制御することができる。粒子30と基板表面との生物学的相互作用の確率が向上するとともに、非特異的相互作用を抑制できる。
【0111】
スマートフォン等の情報処理端末の高解像度ビデオ機能を用いる場合、視野内のすべての粒子30を追跡することができ、基板21の表面と生物学的に相互作用した粒子、あるいはバルク中で標的粒子と相互作用したセンシング粒子を識別することができる。生物学的に相互作用するセンシング粒子の数は、標的分子の濃度と強く相関する。従って、ビデオ中の粒子を追跡することで、標的生体分子の濃度の決定が容易になる。
【0112】
実施形態の構成は、光源を捕捉抗体と検出抗体でサンドイッチして検出するサンドイッチアッセイと異なり、標識抗原を用いた競合的バイオアッセイに適している。
【0113】
基板21の表面を修飾せずに、センシング粒子の表面が抗体で修飾(官能基化)されている場合は、均質な溶媒中でセンシング粒子と標的となる抗原の相互作用が起きる。相互作用により形成されたクラスターをトラッキング手段で追跡し、クラスターの数を識別することができる。
【0114】
粒子30として、蛍光性の粒子を用いる場合、粒子30からの光学的な反射信号または透過信号を用いる替わりに、蛍光信号を取得することができる。この場合、光学顕微鏡に替えて、蛍光顕微鏡を用いてもよい。
【0115】
実施形態の構成と手法は、ブラウン運動する粒子を、動きを示さない粒子から追跡して識別する場合にも適用可能である。
【0116】
スマートフォン等の情報処理装置で取得されたビデオ画像は、クラウドコンピューティング等を介して遠隔処理されてもよい。この手法は、特にポイントオブケアのテスティングに有用である。あるいは、情報処理装置による処理の結果を、リアルタイムで地理的に離れて位置する患者と医療専門家との間で共有することが可能である。