(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-06
(45)【発行日】2024-08-15
(54)【発明の名称】マイクロ流体デバイスによる微小物体の自動検出及び再配置
(51)【国際特許分類】
G01N 15/1409 20240101AFI20240807BHJP
G01N 15/14 20240101ALI20240807BHJP
G01N 15/1429 20240101ALI20240807BHJP
G01N 21/17 20060101ALI20240807BHJP
G01N 33/48 20060101ALI20240807BHJP
G06T 7/00 20170101ALI20240807BHJP
G06V 10/82 20220101ALI20240807BHJP
G01N 37/00 20060101ALN20240807BHJP
【FI】
G01N15/1409 100
G01N15/14 C
G01N15/1429
G01N21/17 A
G01N33/48 M
G06T7/00 350C
G06V10/82
G01N37/00 101
【外国語出願】
(21)【出願番号】P 2023013800
(22)【出願日】2023-02-01
(62)【分割の表示】P 2022150955の分割
【原出願日】2017-12-01
【審査請求日】2023-03-02
(32)【優先日】2016-12-01
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2017-11-01
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514304762
【氏名又は名称】バークレー ライツ,インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】キム,ハンソル イー.
(72)【発明者】
【氏名】テニー,ジョン エー.
(72)【発明者】
【氏名】スローカム,ジョシュア エフ.
【審査官】山口 剛
(56)【参考文献】
【文献】米国特許出願公開第2016/0171686(US,A1)
【文献】特表2013-535686(JP,A)
【文献】国際公開第2016/107896(WO,A1)
【文献】国際公開第2015/095623(WO,A1)
【文献】国際公開第2015/061506(WO,A1)
【文献】米国特許出願公開第2013/0170730(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 15/00 - 15/1492
G01N 37/00
C12M 1/00 - 1/42
C12Q 1/00
(57)【特許請求の範囲】
【請求項1】
複数の隔離ペンを備えるマイクロ流体デバイス内で微小物体を再配置する方法であって、
マイクロ流体デバイスの画像を取得することと、
前記マイクロ流体デバイス内に配置された微小物体のセットを同定することであって、対応する複数の微小物体特性に対して前記画像から複数のピクセルマスクを発生させることによって、前記微小物体のセットが同定され、前記複数のピクセルマスクを発生させることが、
ニューラルネットワークを備える機械学習アルゴリズムを用いて、前記画像からピクセルデータを処理することを含み、各ピクセルマスクがピクセルアノテーションのセットを含み、前記セットの各ピクセルアノテーションが、前記画像中の対応するピクセルが前記対応する微小物体特性を表す確率を表し、
1つ以上の軌道を計算することであって、各軌道が、前記微小物体のセットの中の1つの微小物体と前記複数の隔離ペンの中の1つの隔離ペンとを結び付ける経路であり、
前記微小物体のセットの中の1つ以上の微小物体に対して、前記1つ以上の軌道の中から軌道を選択することとと、
前記1つ以上の微小物体の中から選択された軌道を有する少なくとも1つの微小物体を、その選択された軌道に沿って当該微小物体を移動させることにより、再配置することと、
を含
み、
前記ニューラルネットワークが複数のダウンサンプリングブロックを含み、各ダウンサンプリングブロックが、第1のダウンサンプリング畳込み層と、第1のバッチ正規化層と、ゲーティング関数を含む第1のELU層と、を含み、且つ前記第1のダウンサンプリング畳込み層の各々が、それが受け取る画像データの空間分解能を低減し、
前記ニューラルネットワークが前記複数のダウンサンプリングブロックの各々に対してアップサンプリングブロックを含み、各アップサンプリングブロックが、転置畳込み層と、アップサンプリングバッチ正規化層と、ゲーティング関数を含むアップサンプリングELU層と、を含み、且つ各アップサンプリングブロックの転置畳込み層が、それが受け取る画像データの空間分解能を増加させ、
前記アップサンプリングブロックの1つ以上の各々が再結合層を含み、そこで前記アップサンプリングバッチ正規化層からの画像データが、スキップ接続を介して、先行する残差ネットワークブロックから受け取った画像データとマージされ、前記アップサンプリングELU層が前記再結合層から画像データを直接受け取り、前記アップサンプリングバッチ正規化層が前記転置畳込み層から画像データを直接受け取り、
前記複数のダウンサンプリングブロックの1つ以上に、ブランチ構造を有する残差ネットワークブロックが続き、前記残差ネットワークブロックのブランチ構造が第1のブランチと第2のブランチとを含み、且つ前記第1のブランチが、先行するダウンサンプリングブロックから受け取った画像データを前記第2のブランチよりも少ない程度で処理し、前記残差ネットワークブロックの第1のブランチが、第2の畳込み層と、第2のバッチ正規化層と、ゲーティング関数を含む第2のELU層と、を含み、
前記残差ネットワークブロックの第2のブランチが2つ以上の処理ユニットを含み、各処理ユニットが、畳込み層とバッチ正規化層とを含み、前記残差ネットワークブロックの第2のブランチが、第3の畳込み層と、第3のバッチ正規化層と、ゲーティング関数を含む第3のELU層と、第4の畳込み層と、第4のバッチ正規化層と、からなり、前記第4のバッチ正規化層が前記第4の畳込み層から画像データを直接受け取り、前記第4の畳込み層が前記第3のELU層から画像データを直接受け取り、前記第3のELU層が前記第3のバッチ正規化層から画像データを直接受け取り、且つ前記第3のバッチ正規化層が前記第3の畳込み層から画像データを直接受け取る、
方法。
【請求項2】
前記複数の微小物体特性が、少なくとも3つの微小物体特性を含み、
前記複数の微小物体特性が、少なくとも、(i)微小物体中心、(ii)微小物体エッジ、又は(iii)非微小物体を含む、
請求項1に記載の方法。
【請求項3】
前記マイクロ流体デバイス内に配置された微小物体のセットを同定することが、前記微小物体中心特性に対応する前記ピクセルマスク又は前記微小物体中心特性に対応する前記ピクセルマスクを含むピクセルマスクの組合せから、微小物体の数を得ることをさらに含む、請求項2に記載の方法。
【請求項4】
前記複数の隔離ペンの中の1つの隔離ペンが、微小物体を含まない空のペンである、請求項1に記載の方法。
【請求項5】
前記複数の隔離ペンの中の他の空のペンと、前記少なくとも1つの微小物体と、の間の距離と比較して、前記選択された軌道が、前記空のペンである前記1つの隔離ペンと、前記少なくとも1つの微小物体と、の間の、最小化された距離を提供する、請求項
4に記載の方法。
【請求項6】
前記1つ以上の軌道を計算することが、前記マイクロ流体デバイスの空間領域内の前記微小物体のセットの密度を決定することを含み、
前記軌道を選択することが、前記マイクロ流体デバイスの前記空間領域内の前記微小物体のセットの前記密度に基づく、
請求項1に記載の方法。
【請求項7】
コンピュータに、
マイクロ流体デバイスの画像を取得させ、
前記マイクロ流体デバイス内に配置された微小物体のセットを同定させ、ここで、対応する複数の微小物体特性に対して前記画像から複数のピクセルマスクを発生させることによって、前記微小物体のセットが同定され、前記複数のピクセルマスクを発生させることが、
ニューラルネットワークを備える機械学習アルゴリズムを用いて、前記画像からピクセルデータを処理することを含み、各ピクセルマスクがピクセルアノテーションのセットを含み、前記セットの各ピクセルアノテーションが、前記画像中の対応するピクセルが前記対応する微小物体特性を表す確率を表し、
1つ以上の軌道を計算させ、ここで、各軌道が、前記微小物体のセットの中の1つの微小物体と前記マイクロ流体デバイスの複数の隔離ペンの中の1つの隔離ペンとを結び付ける経路であり、
前記微小物体のセットの中の1つ以上の微小物体に対して、前記1つ以上の軌道の中から軌道を選択させ、
前記1つ以上の微小物体の中から選択された軌道を有する少なくとも1つの微小物体を、その選択された軌道に沿って当該微小物体を移動させることにより、再配置させるよう構成されている、
プログラム
であって、
前記ニューラルネットワークが複数のダウンサンプリングブロックを含み、各ダウンサンプリングブロックが、第1のダウンサンプリング畳込み層と、第1のバッチ正規化層と、ゲーティング関数を含む第1のELU層と、を含み、且つ前記第1のダウンサンプリング畳込み層の各々が、それが受け取る画像データの空間分解能を低減し、
前記ニューラルネットワークが前記複数のダウンサンプリングブロックの各々に対してアップサンプリングブロックを含み、各アップサンプリングブロックが、転置畳込み層と、アップサンプリングバッチ正規化層と、ゲーティング関数を含むアップサンプリングELU層と、を含み、且つ各アップサンプリングブロックの転置畳込み層が、それが受け取る画像データの空間分解能を増加させ、
前記アップサンプリングブロックの1つ以上の各々が再結合層を含み、そこで前記アップサンプリングバッチ正規化層からの画像データが、スキップ接続を介して、先行する残差ネットワークブロックから受け取った画像データとマージされ、前記アップサンプリングELU層が前記再結合層から画像データを直接受け取り、前記アップサンプリングバッチ正規化層が前記転置畳込み層から画像データを直接受け取り、
前記複数のダウンサンプリングブロックの1つ以上に、ブランチ構造を有する残差ネットワークブロックが続き、前記残差ネットワークブロックのブランチ構造が第1のブランチと第2のブランチとを含み、且つ前記第1のブランチが、先行するダウンサンプリングブロックから受け取った画像データを前記第2のブランチよりも少ない程度で処理し、前記残差ネットワークブロックの第1のブランチが、第2の畳込み層と、第2のバッチ正規化層と、ゲーティング関数を含む第2のELU層と、を含み、
前記残差ネットワークブロックの第2のブランチが2つ以上の処理ユニットを含み、各処理ユニットが、畳込み層とバッチ正規化層とを含み、前記残差ネットワークブロックの第2のブランチが、第3の畳込み層と、第3のバッチ正規化層と、ゲーティング関数を含む第3のELU層と、第4の畳込み層と、第4のバッチ正規化層と、からなり、前記第4のバッチ正規化層が前記第4の畳込み層から画像データを直接受け取り、前記第4の畳込み層が前記第3のELU層から画像データを直接受け取り、前記第3のELU層が前記第3のバッチ正規化層から画像データを直接受け取り、且つ前記第3のバッチ正規化層が前記第3の畳込み層から画像データを直接受け取る、
プログラム。
【請求項8】
前記複数の微小物体特性が、少なくとも3つの微小物体特性を含み、
前記複数の微小物体特性が、少なくとも、(i)微小物体中心、(ii)微小物体エッジ、又は(iii)非微小物体を含む、
請求項
7に記載のプログラム。
【請求項9】
前記マイクロ流体デバイス内に配置された微小物体のセットを同定することが、前記微小物体中心特性に対応する前記ピクセルマスク又は前記微小物体中心特性に対応する前記ピクセルマスクを含むピクセルマスクの組合せから、微小物体の数を得ることをさらに含む、請求項
8に記載のプログラム。
【請求項10】
前記複数の隔離ペンの中の1つの隔離ペンが、微小物体を含まない空のペンである、請求項
7に記載のプログラム。
【請求項11】
前記複数の隔離ペンの中の他の空のペンと、前記少なくとも1つの微小物体と、の間の距離と比較して、前記選択された軌道が、前記空のペンである前記1つの隔離ペンと、前記少なくとも1つの微小物体と、の間の、最小化された距離を提供する、請求項
10に記載のプログラム。
【請求項12】
前記1つ以上の軌道を計算することが、前記マイクロ流体デバイスの空間領域内の前記微小物体のセットの密度を決定することを含み、
前記軌道を選択することが、前記マイクロ流体デバイスの前記空間領域内の前記微小物体のセットの前記密度に基づく、
請求項
7に記載のプログラム。
【請求項13】
1つ以上のプロセッサとメモリを備えるシステムであって、
マイクロ流体デバイスの画像を取得し、
前記マイクロ流体デバイス内に配置された微小物体のセットを同定し、ここで、対応する複数の微小物体特性に対して前記画像から複数のピクセルマスクを発生させることによって、前記微小物体のセットが同定され、前記複数のピクセルマスクを発生させることが、
ニューラルネットワークを備える機械学習アルゴリズムを用いて、前記画像からピクセルデータを処理することを含み、各ピクセルマスクがピクセルアノテーションのセットを含み、前記セットの各ピクセルアノテーションが、前記画像中の対応するピクセルが前記対応する微小物体特性を表す確率を表し、
1つ以上の軌道を計算し、ここで、各軌道が、前記微小物体のセットの中の1つの微小物体と前記マイクロ流体デバイスの複数の隔離ペンの中の1つの隔離ペンとを結び付ける経路であり、
前記微小物体のセットの中の1つ以上の微小物体に対して、前記1つ以上の軌道の中から軌道を選択し、
前記1つ以上の微小物体の中から選択された軌道を有する少なくとも1つの微小物体を、その選択された軌道に沿って当該微小物体を移動させることにより、再配置するよう構成されている、
システム
であって、
前記ニューラルネットワークが複数のダウンサンプリングブロックを含み、各ダウンサンプリングブロックが、第1のダウンサンプリング畳込み層と、第1のバッチ正規化層と、ゲーティング関数を含む第1のELU層と、を含み、且つ前記第1のダウンサンプリング畳込み層の各々が、それが受け取る画像データの空間分解能を低減し、
前記ニューラルネットワークが前記複数のダウンサンプリングブロックの各々に対してアップサンプリングブロックを含み、各アップサンプリングブロックが、転置畳込み層と、アップサンプリングバッチ正規化層と、ゲーティング関数を含むアップサンプリングELU層と、を含み、且つ各アップサンプリングブロックの転置畳込み層が、それが受け取る画像データの空間分解能を増加させ、
前記アップサンプリングブロックの1つ以上の各々が再結合層を含み、そこで前記アップサンプリングバッチ正規化層からの画像データが、スキップ接続を介して、先行する残差ネットワークブロックから受け取った画像データとマージされ、前記アップサンプリングELU層が前記再結合層から画像データを直接受け取り、前記アップサンプリングバッチ正規化層が前記転置畳込み層から画像データを直接受け取り、
前記複数のダウンサンプリングブロックの1つ以上に、ブランチ構造を有する残差ネットワークブロックが続き、前記残差ネットワークブロックのブランチ構造が第1のブランチと第2のブランチとを含み、且つ前記第1のブランチが、先行するダウンサンプリングブロックから受け取った画像データを前記第2のブランチよりも少ない程度で処理し、前記残差ネットワークブロックの第1のブランチが、第2の畳込み層と、第2のバッチ正規化層と、ゲーティング関数を含む第2のELU層と、を含み、
前記残差ネットワークブロックの第2のブランチが2つ以上の処理ユニットを含み、各処理ユニットが、畳込み層とバッチ正規化層とを含み、前記残差ネットワークブロックの第2のブランチが、第3の畳込み層と、第3のバッチ正規化層と、ゲーティング関数を含む第3のELU層と、第4の畳込み層と、第4のバッチ正規化層と、からなり、前記第4のバッチ正規化層が前記第4の畳込み層から画像データを直接受け取り、前記第4の畳込み層が前記第3のELU層から画像データを直接受け取り、前記第3のELU層が前記第3のバッチ正規化層から画像データを直接受け取り、且つ前記第3のバッチ正規化層が前記第3の畳込み層から画像データを直接受け取る、
システム。
【請求項14】
前記複数の微小物体特性が、少なくとも3つの微小物体特性を含み、
前記複数の微小物体特性が、少なくとも、(i)微小物体中心、(ii)微小物体エッジ、又は(iii)非微小物体を含む、
請求項
13に記載のシステム。
【請求項15】
前記マイクロ流体デバイス内に配置された微小物体のセットを同定することが、前記微小物体中心特性に対応する前記ピクセルマスク又は前記微小物体中心特性に対応する前記ピクセルマスクを含むピクセルマスクの組合せから、微小物体の数を得ることをさらに含む、請求項
14に記載のシステム。
【請求項16】
前記複数の隔離ペンの中の1つの隔離ペンが、微小物体を含まない空のペンである、請求項
13に記載のシステム。
【請求項17】
前記複数の隔離ペンの中の他の空のペンと、前記少なくとも1つの微小物体と、の間の距離と比較して、前記選択された軌道が、前記空のペンである前記1つの隔離ペンと、前記少なくとも1つの微小物体と、の間の、最小化された距離を提供する、請求項
16に記載のシステム。
【請求項18】
前記1つ以上の軌道を計算することが、前記マイクロ流体デバイスの空間領域内の前記微小物体のセットの密度を決定することを含み、
前記軌道を選択することが、前記マイクロ流体デバイスの前記空間領域内の前記微小物体のセットの前記密度に基づく、
請求項
13に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本出願は、米国法典第35編第119条(e)の下、2016年12月1日出願の米国仮特許出願第62/429,071号及び2017年11月1日出願の米国仮特許出願第62/579,897号(それらの開示はそれぞれその全体が参照により本明細書に援用される)に基づく利益を主張する非仮出願である。
【0002】
分野
[0002] 本開示は、一般的には、画像中の微小物体の自動検出方法に関する。特定的には、本方法は、マイクロ流体デバイス内に位置決めされた細胞やビーズ等の微小物体を画像中で自動検出する工程を含み得る。
【背景技術】
【0003】
背景
[0003] 不均一又は複雑なバックグラウンドで生体細胞やビーズ等の微小物体を効率的且つロバストに検出することは、マイクロ流体環境で微小物体を自動操作するうえできわめて重要である。特定の微小物体の外観は半透明であるため、かかる微小物体にサイズが類似した特徴を有する不均一なバックグラウンドは、検出上の重大な課題をもたらす。同様に、細胞再配置等の自動操作は、OET技術固有の特徴により複雑化される。本発明のいくつかの実施形態は、マイクロ流体環境で微小物体をロバストに検出し再配置することに関する。
【発明の概要】
【課題を解決するための手段】
【0004】
発明の概要
[0004] 一態様では、画像中の微小物体の自動検出方法が提供される。本方法は、対応する複数の微小物体特性に対して画像から複数のピクセルマスクを発生させることと、複数のピクセルマスクの少なくとも1つから画像中の微小物体を同定することと、を含み得る。本方法は、画像中の同定された微小物体の数を取得することを更に含み得る。複数のピクセルマスクを発生させることは、畳込みニューラルネットワーク等の機械学習アルゴリズムを用いて画像のピクセルデータを処理することを含み得る。各ピクセルマスクはピクセルアノテーションのセットを含み、セットの各ピクセルアノテーションは、画像中の対応するピクセルが対応する微小物体特性を表す確率を表す。
【0005】
[0005] 他の態様では、機械可読記憶デバイスが提供される。記憶デバイスは、非一時的機械可読命令を記憶可能であり、命令の実行により、計算デバイスは、1つ以上の微小物体を含み得る画像をメモリに記憶させたり、第1のモジュールで対応する複数の微小物体特性に対して画像から複数のピクセルマスクを発生させたり、第2のモジュールで複数のピクセルマスクの少なくとも1つから微小物体の数を取得させたりし得る。発生させたり取得させたりする工程は、本明細書に開示される方法のいずれかに従って実施可能である。第1及び第2のモジュールは、互いに同一であり得るか(すなわち、単一モジュールが存在する)、又は個別の識別可能なモジュールであり得る。
【0006】
[0006] 他の態様では、複数の隔離ペンを含むマイクロ流体デバイスにより微小物体を再配置する方法が提供される。本方法は、マイクロ流体デバイス内に配置された微小物体のセットを同定することと、1つ以上の軌道を計算することであって、各軌道が微小物体のセットの中の1つの微小物体と複数の隔離ペンの中の1つの隔離ペンとを結び付ける経路である、計算することと、微小物体のセットの中の1つ以上の微小物体に対して、1つ
以上の軌道の中から軌道を選択することと、その選択された軌道に沿って微小物体を移動させることにより、1つ以上の微小物体の中から選択された軌道を有する少なくとも1つの微小物体を再配置することと、を含み得る。マイクロ流体デバイス内に配置された微小物体のセットを同定する工程は、本明細書に開示される方法のいずれかにより実施可能である。
【0007】
[0007] 更に他の態様では、マイクロ流体デバイスにより微小物体を再配置する方法が提供される。本方法は、マイクロ流体デバイスの特定空間領域内に配置された微小物体のセットを同定することと、特定空間領域を微小物体のセットの中の1つ以上の微小物体を各々含有するサブ領域に分割する頂点のセットを計算することと、計算された頂点のセットに基づいて微小物体のセットの中の少なくとも1つの微小物体に対して第1の光ケージを発生させることと、マイクロ流体デバイスの特定空間領域に対して第1の光ケージを移動させることにより少なくとも1つの微小物体を再配置することと、を含み得る。マイクロ流体デバイス内に配置された微小物体のセットを同定する工程は、本明細書に開示される方法のいずれかにより実施可能である。
【0008】
[0008] 追加の態様は、以下の詳細な説明更には本明細書に添付の特許請求の範囲及び図面から明らかになろう。
【図面の簡単な説明】
【0009】
図面の簡単な説明
【
図1A】[0001]本開示のいくつかの実施形態にかかるマイクロ流体デバイス及び関連する制御装置で用いられるシステムの例を例示する。
【
図1B】[0002]本開示のいくつかの実施形態にかかるマイクロ流体デバイスを例示する。
【
図1C】[0002]本開示のいくつかの実施形態にかかるマイクロ流体デバイスを例示する。
【
図2A】[0003]本開示のいくつかの実施形態にかかる分離ペンを例示する。
【
図2B】[0003]本開示のいくつかの実施形態にかかる分離ペンを例示する。
【
図2C】[0004]本開示のいくつかの実施形態にかかる詳細な隔離ペンを例示する。
【
図2D】[0005]本開示のいくつかの他の実施形態にかかる隔離ペンを例示する。
【
図2E】[0005]本開示のいくつかの他の実施形態にかかる隔離ペンを例示する。
【
図2F】[0005]本開示のいくつかの他の実施形態にかかる隔離ペンを例示する。
【
図2G】[0006]本開示の実施形態にかかるマイクロ流体デバイスを例示する。
【
図2H】[0007]本開示の実施形態にかかるマイクロ流体デバイスのコーティング表面を例示する。
【
図3A】[0008]本開示のいくつかの実施形態にかかるマイクロ流体デバイス及び関連する制御装置で用いられるシステムの例を例示する。
【
図3B】[0009]本開示のいくつかの実施形態にかかる撮像デバイスを例示する。
【
図4A】[0010]本発明の一実施形態にかかる微小物体の平行ペン隔離を示す。
【
図4B】[0010]本発明の一実施形態にかかる微小物体の平行ペン隔離を示す。
【
図4C】[0010]本発明の一実施形態にかかる微小物体の平行ペン隔離を示す。
【
図5】[0011]種々の実施形態にかかるコンピュータシステムのブロック図を例示する。
【
図6A】[0012]本発明の具体的な実施形態に従って微小物体を分離するために使用可能な改変光ケージの発生を例示する。
【
図6B】[0012]本発明の具体的な実施形態に従って微小物体を分離するために使用可能な改変光ケージの発生を例示する。
【
図6C】[0012]本発明の具体的な実施形態に従って微小物体を分離するために使用可能な改変光ケージの発生を例示する。
【
図6D】[0012]本発明の具体的な実施形態に従って微小物体を分離するために使用可能な改変光ケージの発生を例示する。
【
図6E】[0012]本発明の具体的な実施形態に従って微小物体を分離するために使用可能な改変光ケージの発生を例示する。
【
図6F】[0012]本発明の具体的な実施形態に従って微小物体を分離するために使用可能な改変光ケージの発生を例示する。
【
図7】[0013]種々の実施形態にかかる畳込みニューラルネットワークの模式図を例示する。
【
図8A】[0014]種々の実施形態にかかる残りのネットワーク、ダウンサンプリングブロック、及びアップサンプリングブロックの模式図を例示する。
【
図8B】[0014]種々の実施形態にかかる残りのネットワーク、ダウンサンプリングブロック、及びアップサンプリングブロックの模式図を例示する。
【
図8C】[0014]種々の実施形態にかかる残りのネットワーク、ダウンサンプリングブロック、及びアップサンプリングブロックの模式図を例示する。
【
図9A】[0015]種々の実施形態にかかる畳込みニューラルネットワークのより詳細な模式図のセクションを例示する。
【
図9B】[0015]種々の実施形態にかかる畳込みニューラルネットワークのより詳細な模式図のセクションを例示する。
【
図9C】[0015]種々の実施形態にかかる畳込みニューラルネットワークのより詳細な模式図のセクションを例示する。
【
図9D】[0015]種々の実施形態にかかる畳込みニューラルネットワークのより詳細な模式図のセクションを例示する。
【
図10】[0016]種々の実施形態にかかる画像中の微小物体の自動検出方法のフローチャートを例示する。
【
図11】[0017]種々の実施形態にかかる画像中の微小物体の自動検出システムを例示する。
【発明を実施するための形態】
【0010】
詳細な説明
[0018] 本明細書には、本開示の例示的な実施形態及び適用が記載されている。しかし、本開示は、これらの例示的な実施形態及び適用にも、例示的な実施形態及び適用を行う方式やそれについての本明細書に記載の方式にも、限定されるものではない。更に、図は、簡略図又は部分図を示し得ると共に、図中の要素の寸法は、誇張されたりさもなければ比例していなかったりし得る。そのほか、「~上」、「~に装着される」、「~に接続される」、「~に結合される」という用語又は類似語が本明細書で使用される場合、一方の要素が直接他方の要素上にあるか、それに装着されるか、それに接続されるか、若しくはそれに結合されるか、又は一方の要素と他方の要素との間に1つ以上の介在要素があるかにかかわらず、一方の要素(例えば、材料、層、基板等)は、他方の要素「上」にあるか、それ「に装着される」か、それ「に接続される」か、又はそれ「に結合される」。また、文脈上特に規定されない限り、方向(例えば、上、下、頂、底、側、上向き、下向き、下方、上方、上側、下側、水平、垂直、「x」、「y」、「z」等)は、提供された場合、相対的なものであり、単なる例として説明及び考察が容易になるように提供されたものであり、限定を目的としたものではない。そのほか、要素のリスト(例えば、要素a、b、c)が参照された場合、かかる参照は、列挙された要素のいずれか1つだけ、列挙された要素の全てに満たない任意の組合せ、及び/又は列挙された要素の全ての組合せを含むことが意図される。本明細書でのセクション分割は、概説を容易にすることのみを目的としたものであり、考察される要素のいずれの組合せにも限定されるものではない。
【0011】
[0019] マイクロ流体フィーチャの寸法が幅又は面積を有するものとして記載されている場合、寸法は、典型的には、マイクロ流体デバイスの基板及び/又はカバーに平行な平
面内にいずれも位置するx軸方向及び/又はy軸方向の寸法に対して記載されている。マイクロ流体フィーチャの高さは、マイクロ流体デバイスの基板及び/又はカバーに平行な平面に垂直なz軸方向に対して記載されている。いくつかの場合には、チャネルや通路等のマイクロ流体フィーチャの断面積は、x軸方向/z軸方向、y軸方向/z軸方向、又はx軸方向/y軸方向の面積に対するものである。
【0012】
[0020] 本明細書で使用される場合、「実質的に」とは、意図された目的で機能するのに十分であることを意味する。そのため、「実質的に」という用語は、当業者により予想されるような、ただし、全体性能にそれほど影響を及ぼさない、絶対的又は完全な状態、寸法、測定、結果等からのわずかな有意でない変動を許容する。数値又は数値として表現可能なパラメータ若しくは特性に対して用いられる場合、「実質的に」とは10パーセント以内を意味する。
【0013】
[0021] 「もの(ones)」という用語は2つ以上を意味する。
【0014】
[0022] 本明細書で使用される場合、「複数」という用語は、2、3、4、5、6、7、8、9、10、又はそれ以上であり得る。
【0015】
[0023] 本明細書で使用される場合、μmとはマイクロメートルを意味し、μm3とは立方マイクロメートルを意味し、pLとはピコリットルを意味し、nLとはナノリットルを意味し、且つμL(又はuL)とはマイクロリットルを意味する。
【0016】
[0024] 本明細書で使用される場合、「配置される」という用語は、その意味内に「位置決めされる」を包含する。
【0017】
[0025] 本明細書で使用される場合、「マイクロ流体デバイス」又は「マイクロ流体装置」とは、流体を保持するように構成された1つ以上の離散マイクロ流体回路(各マイクロ流体回路は、限定されるものではないが、領域、流路、チャネル、チャンバ、及び/又はペンをはじめとする流体相互接続回路要素を含む)と、マイクロ流体デバイスに対して流体(及び任意選択的に流体中に懸濁された微小物体)の流入及び/又は流出を可能にするように構成された少なくとも1つのポートと、を含むデバイスのことである。典型的には、マイクロ流体デバイスのマイクロ流体回路は、マイクロ流体チャネルと少なくとも1つのチャンバとを含み得るフロー領域を含むであろう。また、約1mL未満、例えば、約750、500、250、200、150、100、75、50、25、20、15、10、9、8、7、6、5、4、3、又は2マイクロリットル未満の体積の流体を保持するであろう。特定の実施形態では、マイクロ流体回路は、約1~2、1~3、1~4、1~5、2~5、2~8、2~10、2~12、2~15、2~20、5~20、5~30、5~40、5~50、10~50、10~75、10~100、20~100、20~150、20~200、50~200、50~250、又は50~300マイクロリットルを保持する。マイクロ流体回路は、マイクロ流体デバイスの第1のポート(例えば、流入口)に流体接続された第1の端と、マイクロ流体デバイスの第2のポート(例えば、流出口)に流体接続された第2の端と、を有するように構成し得る。
【0018】
[0026] 本明細書で使用される場合、「ナノ流体デバイス」又は「ナノ流体装置」は、約1マイクロリッター未満の容量の流体、例えば、約750nL、約500nL、約250nL、約200nL、約150nL、約100nL、約75nL、約50nL、約25nL、約20nL、約15nL、約10nL、約9nL、約8nL、約7nL、約6nL、約5nL、約4nL、約3nL、約2nL、約1nL、又はそれ未満の流体を保持するように構成された少なくとも1つの回路要素を含むマイクロ流体回路を有するタイプのマイクロ流体デバイスである。ナノ流体デバイスは、複数の回路要素(例えば、少なくとも
2個、3個、4個、5個、6個、7個、8個、9個、10個、15個、20個、25個、50個、75個、100個、150個、200個、250個、300個、400個、500個、600個、700個、800個、900個、1000個、1500個、2000個、2500個、3000個、3500個、4000個、4500個、5000個、6000個、7000個、8000個、9000個、10,000個、又はこれを超える)を含む。特定の実施形態では、少なくとも1つの回路要素の1つ又は複数(例えば、全て)は、約100pL~1nL、約100pL~2nL、約100pL~5nL、約250pL~2nL、約250pL~5nL、約250pL~10nL、約500pL~5nL、約500pL~10nL、約500pL~15nL、約750pL~10nL、約750pL~15nL、約750pL~20nL、約1nL~10nL、約1nL~15nL、約1nL~20nL、約1nL~25nL、又は約1nL~50nLの容量の流体を保持するように構成される。他の実施形態では、少なくとも1つの回路要素の1つ又は複数(例えば、全て)は、約20nL~約200nL、約100nL~200nL、約100nL~300nL、約100v~400nL、約100nL~500nL、約200nL~300nL、約200nL~400nL、約200nL~500nL、約200nL~600nL、約200nL~700nL、約250nL~400nL、約250nL~500nL、約250nL~600nL、又は約250nL~750nLの容量の流体を保持するように構成される。
【0019】
[0027] マイクロ流体デバイス又はナノ流体デバイスは、本明細書では、「マイクロ流体チップ」若しくは「チップ」又は「ナノ流体チップ」若しくは「チップ」として参照され得る。
【0020】
[0028] 本明細書で使用される「マイクロ流体チャネル」又は「フローチャネル」とは、水平寸法及び垂直寸法の両寸法よりも有意に長い長さを有するマイクロ流体デバイスのフロー領域を意味する。例えば、フローチャネルは、水平寸法又は垂直寸法のいずれかの長さの少なくとも5倍、例えば、その長さの少なくとも10倍、その長さの少なくとも25倍、その長さの少なくとも100倍、その長さの少なくとも200倍、その長さの少なくとも500倍、その長さの少なくとも1,000倍、その長さの少なくとも5,000倍、又はそれ以上であり得る。いくつかの実施形態では、フローチャネルの長さは、介在する任意の値を含めて約100,000ミクロン~約500,000ミクロンの範囲内である。いくつかの実施形態では、水平寸法は、約100ミクロン~約1000ミクロン(例えば、約150~約500ミクロン)であり、且つ垂直寸法は、約25ミクロン~約200ミクロン(例えば、約40~約150ミクロン)である。フローチャネルは、マイクロ流体デバイス内で多種多様な空間構成を有し得るので、完全に線状の要素に制限されないことに留意されたい。例えば、フローチャネルは、次の構成、すなわち、を有する1つ以上のセクションであり得るか又はそれらを含み得る。カーブ、ベンド、スパイラル、傾斜、下降、フォーク(例えば、複数の異なる流路)、及びそれらの任意の組合せ。そのほか、フローチャネルは、その中に所望の流体フローを提供するように、その通路に沿って異なる断面積、拡幅、及び狭窄を有し得る。フローチャネルはバルブを含み得ると共に、バルブはマイクロフルイディクス技術分野で公知の任意のタイプであり得る。バルブを含むマイクロ流体チャネルの例は、米国特許第6,408,878号及び同第9,227,200号(それぞれその全体が参照により本明細書に援用される)に開示されている。
【0021】
[0029] 本明細書で使用される場合、「障害物」という用語は、一般に、マイクロ流体デバイス内の2つの異なる領域又は回路要素間の標的微小物体の移動を部分的に(完全にではなく)妨げるのに十分に大きいバンプ又は同様のタイプの構造物を指す。2つの異なる領域/回路要素は、例えば、マイクロ流体隔離ペンの接続領域及び分離領域であり得る。
【0022】
[0030] 本明細書で使用される場合、「狭窄」という用語は、一般に、マイクロ流体デバイスの回路要素(又は2つの回路要素間のインターフェース)の幅の狭小化を意味する。狭窄は、例えば、本開示のマイクロ流体隔離ペンの分離領域と接続領域との間のインターフェースに位置決め可能である。
【0023】
[0031] 本明細書で使用される場合、「透明」という用語は、透過の際に光を実質的に変化させることなく可視光を透過させる材料を意味する。
【0024】
[0032] 本明細書で使用される場合、「微小物体」という用語は、一般に、本開示に従って分離及び/又は操作し得る任意の微視的物体を意味する。限定されるものではないが微小物体の例としては、無生物微小物体、例えば、マイクロ粒子、マイクロビーズ(例えば、ポリスチレンビーズ、Luminex(商標)ビーズ等)、磁気ビーズ、マイクロロッド、
マイクロワイヤ、量子ドット等、生物学的微小物体、例えば、細胞、生物オルガネラ、ベシクル又は複合体、合成ベシクル、リポソーム(例えば、合成又は膜調製物由来)、脂質ナノラフト等、又は無生物微小物体と生物学的微小物体との組合せ(例えば、細胞装着マイクロビーズ、リポソームコーティングマイクロビーズ、リポソームコーティング磁気ビーズ等)が挙げられる。ビーズは、共有結合又は非共有結合された部分/分子、例えば、蛍光標識、タンパク質、炭水化物、抗原、低分子シグナリング部分、又はアッセイで使用可能な他の化学的/生物学的種を含み得る。脂質ナノラフトは、例えば、Ritchie et al.(2009) “Reconstitution of Membrane Proteins in Phospholipid Bilayer Nanodiscs,
” Methods Enzymol., 464:211-231に記載されている。
【0025】
[0033] 本明細書で使用される場合、「細胞」という用語は、「生体細胞」という用語と同義的に用いられる。限定されるものではないが生体細胞の例としては、真核細胞、植物細胞、動物細胞、例えば、哺乳動物細胞、爬虫動物細胞、トリ細胞、サカナ細胞等、原核細胞、細菌細胞、真菌細胞、原生動物細胞等、組織、例えば、筋肉、軟骨、脂肪、皮膚、肝臓、肺、神経の組織等から解離させた細胞、免疫細胞、例えば、T細胞、B細胞、ナチュラルキラー細胞、マクロファージ等、胚(例えば、接合体)、卵母細胞、卵子、精子細胞、ハイブリドーマ、培養細胞、細胞系細胞、癌細胞、感染細胞、トランスフェクト及び/又はトランスフォーム細胞、レポーター細胞等が挙げられる。哺乳動物細胞は、例えば、ヒト、マウス、ラット、ウマ、ヤギ、ヒツジ、ウシ、霊長動物等に由来し得る。
【0026】
[0034] コロニー中の複製可能な生細胞の全てが単一の親細胞に由来する娘細胞である場合、生体細胞のコロニーは「クローン」である。特定の実施形態では、クローンコロニーの娘細胞は全て、10回以下の分裂により単一の親細胞から派生される。他の実施形態では、クローンコロニーの娘細胞は全て、14回以下の分裂により単一の親細胞から派生される。他の実施形態では、クローンコロニーの娘細胞は全て、17回以下の分裂により単一の親細胞から派生される。他の実施形態では、クローンコロニーの娘細胞は全て、20回以下の分裂により単一の親細胞から派生される。「クローン細胞」という用語は、同一のクローンコロニーの細胞を意味する。
【0027】
[0035] 本明細書で使用される場合、生体細胞の「コロニー」とは、2細胞以上(例えば、約2~約20、約4~約40、約6~約60、約8~約80、約10~約100、約20~約200、約40~約400、約60~約600、約80~約800、約100~約1000細胞、又は1000細胞超)を意味する。
【0028】
[0036] 本明細書で使用される場合、「細胞を維持する」という用語は、細胞の生存及び/又は増殖を続けるのに必要な条件を提供する、流体及び気体の両成分と任意選択的に表面とを含む環境を提供することを意味する。
【0029】
[0037] 本明細書で使用される場合、「増殖」という用語は、細胞を指す場合、細胞数の増大を指す。
【0030】
[0038] 流体培地の「成分」は、溶媒分子、イオン、小分子、抗生物質、ヌクレオチド及びヌクレオシド、核酸、アミノ酸、ペプチド、タンパク質、糖、炭水化物、脂質、脂肪酸、コレステロール、代謝産物等を含め、培地に存在する任意の化学的又は生物学的分子である。
【0031】
[0039] 本明細書で使用される場合、「捕捉部分」とは、微小物体に対する認識部位を提供する化学的若しくは生物学的種、官能基、又はモチーフである。所定のクラスの微小物体は、インサイチューで生成された捕捉部分を認識し得ると共に、インサイチューで生成された捕捉部分に結合し得るか又はそれに対して親和性を有し得る。限定されるものではないが例としては、抗原、抗体、及び細胞表面結合モチーフが挙げられる。
【0032】
[0040] 本明細書で使用される場合、「流動性ポリマー」とは、流体培地(例えば、プレポリマー溶液)に溶解可能又は分散可能なポリマーモノマー又はマクロマーのことである。流動性ポリマーは、マイクロ流体フロー領域に進入し得ると共に、その中の流体培地の他の成分と共に流動し得る。
【0033】
[0041] 本明細書で使用される場合、「光開始ポリマー」とは、光に暴露されると、共有結合による架橋、特異的共有結合の形成、剛性化化学モチーフの周りの位置化学の変化、又は物理的状態の変化を引き起こすイオン対の形成が可能であり、それによりポリマーネットワークを形成するポリマー(又はポリマーを生成するために使用可能なモノマー分子)を意味する。いくつかの場合には、光開始ポリマーは、共有結合による架橋、特異的共有結合の形成、剛性化化学モチーフの周りの位置化学の変化、又は物理的状態の変化を引き起こすイオン対の形成が可能な1つ以上の化学部分に結合されたポリマーセグメントを含み得る。いくつかの場合には、光開始ポリマーは、ポリマーネットワークの形成を開始(例えば、ポリマーの重合により)するために光活性ラジカル開始剤を必要とし得る。
【0034】
[0042] 本明細書で使用される場合、「抗体」とは、免疫グロブリン(Ig)を意味し、これは、ポリクローナル抗体及びモノクローナル抗体の両方、霊長動物化(例えば、ヒト化)、ネズミ、マウス-ヒト、マウス-霊長動物、並びにキメラを含み、且つインタクト分子、そのフラグメント(例えば、scFv、Fv、Fd、Fab、Fab’、及びF(ab)’2フラグメント)、又はインタクト分子及び/若しくはフラグメントのマルチマー若しくはアグリゲートであり得ると共に、天然に存在し得るか、又は免疫化、合成、遺伝子工学等により生成し得る。「抗体フラグメント」とは、本明細書で使用される場合、抗原に結合する、且ついくつかの実施形態では、ガラクトース残基の導入等により、クリアランス及び取込みを促進する構造特徴部を呈するように誘導体化し得る、抗体に由来する又は関連するフラグメントを意味する。これは、例えば、F(ab)、F(ab)’2、scFv、軽鎖可変領域(VL)、重鎖可変領域(VH)、及びそれらの組合せを含む。
【0035】
[0043] 流体培地を参照して本明細書で使用される場合、「拡散する」及び「拡散」は、濃度勾配の低い方への流体培地の成分の熱力学的運動を指す。
【0036】
[0044] 「培地のフロー」という語句は、拡散以外の任意の機構に主に起因した流体培地のバルク移動を意味する。例えば、培地のフローは、ある箇所から別の箇所への、箇所間の圧力差に起因した流体培地の移動を含むことができる。そのようなフローは、液体の連続、パルス、周期的、ランダム、断続的、若しくは往復フロー、又はそれらの任意の組合せを含むことができる。ある流体培地が別の流体培地に流れる場合、培地の乱流又は混
合が生じ得る。
【0037】
[0045] 「実質的にフローがない」という語句は、時間にわたり平均された、流体培地内への又は流体培地内での材料(例えば、関心のある分析物)の成分の拡散率未満である流体培地の流量を指す。そのような材料の成分の拡散率は、例えば、温度、成分のサイズ、及び成分と流体培地との相互作用の強さに依存し得る。
【0038】
[0046] マイクロ流体デバイス内の異なる領域を参照して本明細書で使用される場合、「流体接続される」という語句は、異なる領域が流体培地等の流体で実質的に充填される場合、各領域内の流体が連通して単一の流体を形成することを意味する。これは、異なる領域内の流体(又は流体培地)が必ずしも組成物内で同一であることを意味しない。むしろ、マイクロ流体デバイスの異なる流体接続領域内の流体は、流束内にある異なる組成物(例えば、タンパク質、炭水化物、鉄、又は他の分子等の異なる濃度の溶質)を有することができ、その理由は、溶質が各濃度勾配を下がって移動し、及び/又は流体がマイクロ流体デバイスを通って流れるためである。
【0039】
[0047] 本明細書で使用される場合、「流路」とは、培地のフローの軌道を規定する且つその対象となる1つ以上の流体接続回路要素(例えば、チャネル、領域、チャンバ等)を意味する。そのため、流路は、マイクロ流体デバイスの掃引領域の例である。他の回路要素(例えば、非掃引領域)は、流路の培地のフローの対象とならない流路を含む回路要素に流体接続し得る。
【0040】
[0048] 本明細書で使用される場合、「微小物体を分離する」とは、マイクロ流体デバイス内の規定領域に微小物体を閉じ込めることである。
【0041】
[0049] マイクロ流体(又はナノ流体)デバイスは、「掃引」領域及び「非掃引」領域を含むことができる。本明細書で使用される場合、「掃引」領域は、マイクロ流体回路の流体相互接続された1つ又は複数の回路要素で構成され、各回路要素は、流体がマイクロ流体回路を通って流れているとき、培地のフローを経験する。掃引領域の回路要素は、例えば、領域、チャネル、及び室の全て又は部分を含むことができる。本明細書で使用される場合、「非掃引」領域は、マイクロ流体回路の流体的に相互接続された1つ又は複数の回路要素で構成され、各回路要素は、流体がマイクロ流体回路を通って流れているとき、流束を実質的に経験しない。非掃引領域は、流体接続が、拡散を可能にするが、掃引領域と非掃引領域との間で実質的に培地が流れないように構造化される場合、掃引領域に流体接続することができる。したがって、マイクロ流体デバイスは、実質的に掃引領域と非掃引領域との間での拡散連通のみを可能にしながら、非掃引領域を掃引領域での培地のフローから実質的に分離するように構造化することができる。例えば、マイクロ流体デバイスのフローチャネルは掃引領域の例であり、一方、マイクロ流体デバイスの分離領域(更に詳細に後述する)は非掃引領域の例である。
【0042】
[0050] 特定の生体物質(例えば、抗体等のタンパク質)を産生する生物学的微小物体(例えば、生体細胞)の能力は、かかるマイクロ流体デバイスでアッセイ可能である。アッセイの具体的な実施形態では、対象のアナライトを産生するためにアッセイされる生物学的微小物体(例えば、細胞)を含むサンプル材料は、マイクロ流体デバイスの掃引領域にロード可能である。生物学的微小物体(例えば、ヒト細胞等の哺乳動物細胞)のうち特定の特徴のものを選択して非掃引領域に配置することが可能である。次いで、残留サンプル材料を掃引領域から流出させ、アッセイ材料を掃引領域に流入させることが可能である。選択された生物学的微小物体は非掃引領域内にあるので、選択された生物学的微小物体は、残留サンプル材料の流出やアッセイ材料の流入の影響を実質的に受けない。選択された生物学的微小物体は、対象のアナライトの産生を可能にし得る。この場合、対象のアナ
ライトは、非掃引領域から掃引領域内に拡散可能であり、掃引領域では、対象のアナライトは、アッセイ材料と反応して局在化された検出可能な反応を引き起こすことが可能であり、各反応は、特定の非掃引領域に関連付け可能である。検出された反応に関連付けられる任意の非掃引領域を分析して、非掃引領域内のどの生物学的微小物体(もしあれば)が対象のアナライトの十分なプロデューサーであるかを決定することが可能である。
【0043】
[0051] マイクロ流体デバイス並びにかかるデバイスの操作及び観測のためのシステム。
図1Aは、微小物体の搬入、培養、及び/又は監視に使用可能なマイクロ流体デバイス100及びシステム150の例を例示する。マイクロ流体デバイス100の斜視図は、マイクロ流体デバイス100に部分図を提供するためにそのカバー110の部分破断図を伴って示されている。マイクロ流体デバイス100は、一般に、流体培地180が貫流可能で任意選択的に1つ以上の微小物体(図示せず)をマイクロ流体回路120に搬入及び/又は搬送する流路106を含むマイクロ流体回路120を含む。
図1Aには単一のマイクロ流体回路120が例示されているが、好適なマイクロ流体デバイスは、複数(例えば、2つ又は3つ)のかかるマイクロ流体回路を含み得る。それにもかかわらず、マイクロ流体デバイス100は、ナノ流体デバイスになるように構成可能である。
図1Aに例示されるように、マイクロ流体回路120は、複数のマイクロ流体隔離ペン124、126、128、及び130を含み得ると共に、各隔離ペンは、流路106に流体連通した状態で1つ以上の開口を有し得る。
図1Aのデバイスのいくつかの実施形態では、隔離ペンは、流路106に流体連通した状態で単一の開口部のみを有し得る。以下で更に考察されるように、マイクロ流体隔離ペンは、培地180が流路106を貫流する場合でさえも、マイクロ流体デバイス100等のマイクロ流体デバイス内に微小物体を保持するように最適化された種々の特徴及び構造を含む。しかし、上記に目を向ける前に、マイクロ流体デバイス100及びシステム150の簡単な説明を提供する。
【0044】
[0052]
図1Aに一般に例示されるように、マイクロ流体回路120はエンクロージャ102により画定される。エンクロージャ102は、様々な構成で物理的に構造化可能であるが、
図1Aに示される例では、エンクロージャ102は、支持構造体104(例えばベース)、マイクロ流体回路構造体108、及びカバー110を含むものとして示される。支持構造体104、マイクロ流体回路構造体108、及びカバー110は、互いに結合可能である。例えば、マイクロ流体回路構造体108は、支持構造体104の内面109上に配置可能であり、且つカバー110は、マイクロ流体回路構造体108を覆うように配置可能である。支持構造体104及びカバー110と共に、マイクロ流体回路構造体108は、マイクロ流体回路120の要素を画定可能である。
【0045】
[0053]
図1Aに示されるように、支持構造体104は、マイクロ流体回路120の下部にあり得、カバー110はマイクロ流体回路120の上部にあり得る。代替的に、支持構造体104及びカバー110は、他の向きで構成され得る。例えば、支持構造体104は、マイクロ流体回路120の上部にあり得、カバー110はマイクロ流体回路120の下部にあり得る。それに関係なく、それぞれがエンクロージャ102内又は外への通路を含む1つ又は複数のポート107があり得る。通路の例としては、弁、ゲート、貫通孔等が挙げられる。示されるように、ポート107は、マイクロ流体回路構造108のギャップにより作られる貫通孔である。しかし、ポート107は、カバー110等のエンクロージャ102の他の構成要素に配置することができる。1つのみのポート107が
図1Aに示されているが、マイクロ流体回路120は2つ以上のポート107を有することができる。例えば、流体がマイクロ流体回路120に入るための流入口として機能する第1のポート107があり得、流体がマイクロ流体回路120を出るための流出口として機能する第2のポート107があり得る。ポート107が流入口として機能するか、それとも流出口として機能するかは、流体が流路106を通って流れる方向に依存し得る。
【0046】
[0054] 支持構造体104は、1つ又は複数の電極(図示せず)と、基板又は複数の相互接続された基板を含むことができる。例えば、支持構造体104は、1つ又は複数の半導体基板を含むことができ、各半導体基板は電極に電気的に接続される(例えば、半導体基板の全て又はサブセットは、1つの電極に電気的に接続することができる)。支持構造体104は、プリント回路基板組立体(「PCBA」)を更に含むことができる。例えば、半導体基板はPCBA上に搭載することができる。
【0047】
[0055] マイクロ流体回路構造108は、マイクロ流体回路120の回路要素を画定することができる。そのような回路要素は、マイクロ流体回路120に流体が充填される場合、流体的に相互接続することができる、(フローチャネルを含み得るか、1又は複数のフローチャネルであり得る)フロー領域、室、ペン、トラップ等の空間又は領域を含むことができる。
図1Aに示されるマイクロ流体回路120では、マイクロ流体回路108は、枠114及びマイクロ流体回路材料116を含む。枠114は、マイクロ流体回路材料116を部分的又は完全に囲むことができる。枠114は、例えば、マイクロ流体回路材料116を実質的に囲む比較的剛性の構造であり得る。例えば、枠114は金属材料を含むことができる。
【0048】
[0056] マイクロ流体回路材料116には、キャビティ等をパターニングして、マイクロ流体回路120の回路要素及び相互接続を画定することができる。マイクロ流体回路材料116は、ガス透過可能であり得る可撓性ポリマー(例えば、ゴム、プラスチック、エラストマー、シリコーン、ポリジメチルシロキサン(「PDMS」)等)等の可撓性材料を含むことができる。マイクロ流体回路材料116を構成することができる材料の他の例としては、成形ガラス、シリコーン(フォトパターニング可能シリコーン又は「PPS」)等のエッチング可能材料、フォトレジスト(例えば、SU8)等が挙げられる。幾つかの実施形態では、そのような材料 - したがって、マイクロ流体回路材料116 - は、剛性及び/又はガスを実質的に不透過であり得る。それに関係なく、マイクロ流体回路材料116は、支持構造体104上及び枠114内部に配置することができる。
【0049】
[0057] カバー110は、枠114及び/又はマイクロ流体回路材料116の一体部分であり得る。代替的に、カバー110は、
図1Aに示されるように、構造的に別個の要素であり得る。カバー110は、枠114及び/又はマイクロ流体回路材料116と同じ又は異なる材料を含むことができる。同様に、支持構造体104は、示されるように枠114若しくはマイクロ流体回路材料116とは別個の構造であってもよく、又は枠114若しくはマイクロ流体回路材料116の一体部分であってもよい。同様に、枠114及びマイクロ流体回路材料116は、
図1Aに示されるように別個の構造であってもよく、又は同じ構造の一体部分であってもよい。
【0050】
[0058] 幾つかの実施形態では、カバー110は剛性材料を含むことができる。剛性材料は、ガラス又は同様との特性を有する材料であり得る。幾つかの実施形態では、カバー110は変形可能材料を含むことができる。変形可能材料は、PDMS等のポリマーであり得る。幾つかの実施形態では、カバー110は、剛性材料及び変形可能材料の両方を含むことができる。例えば、カバー110の1つ又は複数の部分(例えば、隔離ペン124、126、128、130上に位置する1つ又は複数の部分)は、カバー110の剛性材料と界面を接する変形可能材料を含むことができる。幾つかの実施形態では、カバー110は1つ又は複数の電極を更に含むことができる。1つ又は複数の電極は、ガラス又は同様の絶縁材料でコーティングし得る、インジウム-錫-酸化物(ITO)等の導電性酸化物を含むことができる。代替的に、1つ又は複数の電極は、ポリマー(例えば、PDMS)等の変形可能ポリマーに埋め込まれた単層ナノチューブ、多層ナノチューブ、ナノワイヤ、導電性ナノ粒子のクラスタ、又はそれらの組合せ等の可撓性電極であり得る。マイクロ流体デバイスで使用することができる可撓性電極は、例えば、米国特許出願公開第20
12/0325665号(Chiouら)に記載されており、この内容は参照により本明細書
に援用される。幾つかの実施形態では、カバー110は、細胞の接着、生存、及び/又は成長を支持するように変更することができる(例えば、マイクロ流体回路120に向かって内側に面する表面の全て又は部分を調整することにより)。変更は、合成ポリマー又は天然ポリマーのコーティングを含み得る。幾つかの実施形態では、カバー110及び/又は支持構造体104は、光を透過することができる。カバー110は、ガス透過可能な少なくとも1つの材料(例えば、PDMS又はPPS)を含むこともできる。
【0051】
[0059]
図1Aはまた、マイクロ流体デバイス例えばマイクロ流体デバイス100の操作及び制御を行うためのシステム150を示す。システム150は、電源192、撮像デバイス(撮像モジュール164に組み込まれるが、
図1Aでは撮像デバイスは例示されていない)、及び傾斜デバイス(傾斜モジュール166の一部であるが、
図1Aでは傾斜デバイスは例示されていない)を含む。
【0052】
[0060] 電源192は、電力をマイクロ流体デバイス100及び/又は傾斜デバイス190に提供し、バイアス電圧又は電流を必要に応じて提供することができる。電源192は、例えば、1つ又は複数の交流(AC)及び/又は直流(DC)電圧源又は電流源を含むことができる。(後述するように、撮像モジュール164の一部である)撮像デバイス194は、マイクロ流体回路120内部の画像を捕捉する、デジタルカメラ等のデバイスを含むことができる。幾つかの場合、撮像デバイス194は、高速フレームレート及び/又は高感度(例えば、低光用途用)を有する検出器を更に含む。撮像デバイス194は、刺激放射線及び/又は光線をマイクロ流体回路120内に向け、マイクロ流体回路120(又はマイクロ流体回路120内に含まれる微小物体)から反射されるか、又は発せられる放射線及び/又は光線を収集する機構を含むこともできる。発せられる光線は可視スペクトル内であり得、例えば、蛍光放射を含み得る。反射光線は、LED又は水銀灯(例えば、高圧水銀灯)若しくはキセノンアーク灯等の広域スペクトル灯から発せられた反射放射を含み得る。
図3Bに関して考察するように、撮像デバイス194は顕微鏡(又は光学縦列)を更に含み得、これは接眼レンズを含んでもよく、又は含まなくてもよい。
【0053】
[0061] システム150は、1つ又は複数の回転軸の周りでマイクロ流体デバイス100を回転させるように構成された傾斜デバイス190(後述するように、傾斜モジュール166の一部)を更に含む。幾つかの実施形態では、傾斜デバイス190は、マイクロ流体デバイス100(したがって、マイクロ流体回路120)を水平向き(すなわち、x軸及びy軸に相対して0°)、垂直向き(すなわち、x軸及び/又はy軸に相対して90°)、又はそれらの間の任意の向きで保持することができるように、少なくとも1つの軸の周りでマイクロ流体回路120を含むエンクロージャ102を支持及び/又は保持するように構成される。軸に相対するマイクロ流体デバイス100(及びマイクロ流体回路120)の向きは、本明細書では、マイクロ流体デバイス100(及びマイクロ流体回路120)の「傾斜」と呼ばれる。例えば、傾斜デバイス190は、x軸に相対して0.1°、0.2°、0.3°、0.4°、0.5°、0.6°、0.7°、0.8°、0.9°、1°、2°、3°、4°、5°、10°、15°、20°、25°、30°、35°、40°、45°、50°、55°、60°、65°、70°、75°、80°、90°、又はそれらの間の任意の度数でマイクロ流体デバイス100を傾斜させることができる。水平向き(したがって、x軸及びy軸)は、重力により定義される垂直軸に垂直なものとして定義される。傾斜デバイスは、マイクロ流体デバイス100(及びマイクロ流体回路120)をx軸及び/又はy軸に相対して90°よりも大きい任意の角度に傾斜させるか、又はマイクロ流体デバイス100(及びマイクロ流体回路120)をx軸若しくはy軸に相対して180°に傾斜させて、マイクロ流体デバイス100(及びマイクロ流体回路120)を真逆にすることもできる。同様に、幾つかの実施形態では、傾斜デバイス190は、流路106又はマイクロ流体回路120の何らかの他の部分により定義される回転軸
の周りでマイクロ流体デバイス100(及びマイクロ流体回路120)を傾斜させる。
【0054】
[0062] いくつかの場合には、マイクロ流体デバイス100は、流路106が1つ以上の隔離ペンの上方又は下方に位置するように垂直方向に傾斜される。本明細書で使用される「上方」という用語は、流路106が重力により規定される垂直軸上の1つ以上の隔離ペンよりも高い位置にあることを意味する(すなわち、流路106の上方の隔離ペン内の物体は、流路内の物体よりも高い重力ポテンシャルエネルギーを有する)。本明細書で使用される「下方」という用語は、流路106が重力により規定される垂直軸上の1つ以上の隔離ペンよりも低い位置にあることを意味する(すなわち、流路106の下方の隔離ペン内の物体は、流路内の物体よりも低い重力ポテンシャルエネルギーを有する)。
【0055】
[0063] いくつかの場合には、傾斜デバイス190は、流路106に平行な軸を中心にマイクロ流体デバイス100を傾斜させる。更に、マイクロ流体デバイス100は、流路106が隔離ペンの真上にも真下にも位置決めされることなく1つ以上の隔離ペンの上方又は下方に位置決めされるように90°未満の角度に傾斜させることが可能である。他の場合には、傾斜デバイス190は、流路106に垂直な軸を中心にマイクロ流体デバイス100を傾斜させる。更に他の場合には、傾斜デバイス190は、流路106に平行でも垂直でもない軸を中心にマイクロ流体デバイス100を傾斜させる。
【0056】
[0064] システム150は培地源178を更に含むことができる。培地源178(例えば、容器、リザーバ等)は、それぞれが異なる流体培地180を保持する複数のセクション又は容器を含むことができる。したがって、培地源178は、
図1Aに示されるように、マイクロ流体デバイス100の外部にある、マイクロ流体デバイス100とは別個のデバイスであり得る。代替的に、培地源178は、全体的又は部分的に、マイクロ流体デバイス100のエンクロージャ102内部に配置することができる。例えば、培地源178は、マイクロ流体デバイス100の部分であるリザーバを含むことができる。
【0057】
[0065]
図1Aは、システム150の一部を構成し、マイクロ流体デバイス100と併せて利用することができる制御及び監視機器152の例の簡易ブロック図表現も示す。示されるように、そのような制御及び監視機器152の例は、培地源178を制御する培地モジュール160と、マイクロ流体回路120での微小物体(図示せず)及び/又は培地(例えば、培地の液滴)の移動及び/又は選択を制御する原動モジュール162と、画像(例えば、デジタル画像)を捕捉する撮像デバイス194(例えば、カメラ、顕微鏡、光源、又はそれらの任意の組合せ)を制御する撮像モジュール164と、傾斜デバイス190を制御する傾斜モジュール166とを含むマスタコントローラ154を含む。制御機器152は、マイクロ流体デバイス100に関する他の機能を制御、監視、又は実行する他のモジュール168を含むこともできる。示されるように、機器152は、表示デバイス170及び入/出力デバイス172を更に含むことができる。
【0058】
[0066] マスタコントローラ154は、制御モジュール156及びデジタルメモリ158を含むことができる。制御モジュール156は、例えば、メモリ158内に非一時的データ又は信号として記憶される機械実行可能命令(例えば、ソフトウェア、ファームウェア、ソースコード等)に従って動作するように構成されたデジタルプロセッサを含むことができる。代替的に又は追加として、制御モジュール156は、ハードワイヤードデジタル回路及び/又はアナログ回路を含むことができる。培地モジュール160、原動モジュール162、撮像モジュール164、傾斜モジュール166、及び/又は他のモジュール168は、同様に構成され得る。したがって、マイクロ流体デバイス100又は任意の他のマイクロ流体装置に関して実行されるものとして本明細書で考察される機能、プロセス、行動、動作、又はプロセスのステップは、上述したように構成されたマスタコントローラ154、培地モジュール160、原動モジュール162、撮像モジュール164、傾斜
モジュール166、及び/又は他のモジュール168の任意の1つ又は複数により実行され得る。同様に、マスタコントローラ154、培地モジュール160、原動モジュール162、撮像モジュール164、傾斜モジュール166、及び/又は他のモジュール168は、通信可能に結合されて、本明細書において考察される任意の機能、プロセス、行動、動作、又はステップで使用されるデータを送受信し得る。
【0059】
[0067] 培地モジュール160は培地源178を制御する。例えば、培地モジュール160は、培地源178を制御して、選択された流体培地180をエンクロージャ102に入れる(例えば、流入口107を介して)ことができる。培地モジュール160は、エンクロージャ102からの培地の取り出し(例えば、流出口(図示せず)を通して)を制御することもできる。したがって、1つ又は複数の培地を選択的にマイクロ流体回路120に入れ、マイクロ流体回路120から搬出することができる。培地モジュール160は、マイクロ流体回路120内部の流路106での流体培地180のフローを制御することもできる。例えば、幾つかの実施形態では、培地モジュール160は、傾斜モジュール166が傾斜デバイス190に所望の傾斜角までマイクロ流体デバイス100を傾斜させる前に、流路106内及びエンクロージャ102を通る培地180のフローを停止させる。
【0060】
[0068] 原動モジュール162は、マイクロ流体回路120での微小物体(図示せず)の選択、捕捉、及び移動を制御するように構成され得る。
図1B及び
図1Cに関して後述するように、エンクロージャ102は、誘電泳動(DEP)構成、光電子ピンセット(OET)構成、及び/又は光電子ウェッティング(OEW)構成(
図1Aに示されず)を含むことができ、原動モジュール162は、電極及び/又はトランジスタ(例えば、フォトトランジスタ)のアクティブ化を制御して、流路106及び/又は隔離ペン124、126、128、130で微小物体(図示せず)及び/又は培地の液滴(図示せず)を選択し移動させることができる。
【0061】
[0069] 撮像モジュール164は撮像デバイス194を制御することができる。例えば、撮像モジュール164は、撮像デバイス194から画像データを受信し、処理することができる。撮像デバイス194からの画像データは、撮像デバイス194により捕捉された任意のタイプの情報を含むことができる(例えば、微小物体、培地の液滴、蛍光標識等の標識の蓄積の有無等)。撮像デバイス194により捕捉された情報を使用して、撮像モジュール164は、物体(例えば、微小物体、培地の液滴)の位置及び/又はマイクロ流体デバイス100内のそのような物体の移動速度を更に計算することができる。
【0062】
[0070] 傾斜モジュール166は、傾斜デバイス190の傾斜移動を制御することができる。代替的に又は追加として、傾斜モジュール166は、重力を介して1つ又は複数の隔離ペンへの微小物体の移送を最適化するように、傾斜率及びタイミングを制御することができる。傾斜モジュール166は、撮像モジュール164と通信可能に結合されて、マイクロ流体回路120での微小物体及び/又は培地の液滴の移動を記述するデータを受信する。このデータを使用して、傾斜モジュール166は、マイクロ流体回路120の傾斜を調整して、マイクロ流体回路120内で微小物体及び/又は培地の液滴が移動する率を調整し得る。傾斜モジュール166は、このデータを使用して、マイクロ流体回路120内での微小物体及び/又は培地の液滴の位置を繰り返し調整することもできる。
【0063】
[0071]
図1Aに示される例では、マイクロ流体回路120は、マイクロ流体チャネル122及び隔離ペン124、126、128、130を含むものとして例示される。各ペンはチャネル122への開口を含むが、それ以外にペンが微小物体を流体培地180からペン内に及び/又は微小物体をチャネル122の流路106内に又は他のペン内に実質的に分離できるように包囲される。隔離ペンの壁は、ベースの内面109からカバー110の内面に延在してエンクロージャを提供する。マイクロ流体チャネル122へのペンの開
口は、フロー106がペン内にダイレクトされないように流体培地180のフロー106に対して角度をなして配置される。フローは、ペンの開口平面に接し得るか又は直交し得る。いくつかの場合には、ペン124、126、128、130は、1つ以上の微小物体をマイクロ流体回路120内に物理的に閉じ込めるように構成される。本開示にかかる隔離ペンは、以下で詳細に考察され示されるように、DEP、OET、OEW、流体フロー、及び/又は重力の使用に最適化された種々の形状、表面、及び特徴を含み得る。
【0064】
[0072] マイクロ流体回路120は、任意の数のマイクロ流体隔離ペンを含み得る。5つの隔離ペンが示されているが、マイクロ流体回路120は、より少ない又はより多くの隔離ペンを有し得る。示されるように、マイクロ流体回路120のマイクロ流体隔離ペン124、126、128、及び130は、それぞれ、生物学的微小物体の保持、分離、アッセイ、又は培養に役立つ1つ以上の利益を提供し得る様々な特徴及び形状を含む。いくつかの実施形態では、マイクロ流体回路120は、複数の同一のマイクロ流体隔離ペンを含む。
【0065】
[0073]
図1Aに例示される実施形態では、単一のチャネル122及び流路106が示されている。しかし、他の実施形態は、流路106を含むようにそれぞれ構成された複数のチャネル122を含有し得る。マイクロ流体回路120は、流路106と流体培地180とに流体連通した流入口バルブ又はポート107を更に含み、流体培地180は、流入口ポート107を介してチャンネル122にアクセス可能である。いくつかの場合には、流路106は単一経路を含む。いくつかの場合には、単一経路は、ジグザグパターンで配置され、流路106は、交互方向にマイクロ流体デバイス100を2回以上横切って移動する。
【0066】
[0074] いくつかの場合には、マイクロ流体回路120は、複数の平行チャネル122及び流路106を含み、各流路106内の流体培地180は、同一方向に流動する。いくつかの場合には、各流路106内の流体培地は、順方向又は逆方向の少なくとも一方向に流動する。いくつかの場合には、複数の隔離ペンは、隔離ペンに標的微小物体が並行してロードされるように構成される(例えば、チャネル122に対して)。
【0067】
[0075] いくつかの実施形態では、マイクロ流体回路120は、1つ以上の微小物体トラップ132を更に含む。トラップ132は、一般にチャネル122の境界を形成する壁に形成され、マイクロ流体隔離ペン124、126、128、130の1つ以上の開口に対向して位置し得る。いくつかの実施形態では、トラップ132は、流路106から単一微小物体を受容又は捕捉するように構成される。いくつかの実施形態では、トラップ132は、流路106から複数の微小物体を受容又は捕捉するように構成される。いくつかの場合には、トラップ132は、単一標的微小物体の体積にほぼ等しい体積を占める。
【0068】
[0076] トラップ132は、トラップ132への標的微小物体の流入を支援するように構成された開口を更に含み得る。いくつかの場合には、トラップ132は、単一標的微小物体の寸法にほぼ等しい高さ及び幅を有する開口を含み、より大きな微小物体は、微小物体トラップへの進入が妨げられる。トラップ132は、トラップ132内への標的微小物体の保持を支援するように構成された他のフィーチャを更に含み得る。いくつかの場合には、トラップ132は、マイクロ流体チャネル122に平行な軸を中心にマイクロ流体デバイス100を傾斜させたときに、トラップされた微小物体が隔離ペンの開口内に微小物体を降下させる軌道でトラップ132から出るように、マイクロ流体隔離ペンの開口に対向してチャネル122の反対側にアライメントされ配置される。いくつかの場合には、トラップ132は、トラップ132を介する流動を促進させることによりトラップ132内に微小物体を捕捉する可能性を増加させるように標的微小物体よりも小さな側方流路134を含む。
【0069】
[0077] いくつかの実施形態では、1つ以上の電極(図示せず)により流体培地180(例えば、流路内及び/又は隔離ペン内のもの)を横切って誘電泳動(DEP)力を印加することにより、その内部に位置決めされた微小物体を操作、輸送、分離、及び選別する。例えば、いくつかの実施形態では、マイクロ流体回路120の1つ以上の部分にDEP力を印加することにより、流路106から所望のマイクロ流体隔離ペン内に単一微小物体を移動させる。いくつかの実施形態では、DEP力を使用することにより、隔離ペン(例えば、隔離ペン124、126、128、又は130)内の微小物体がそこから変位しないようにする。更に、いくつかの実施形態では、DEP力を使用することにより、本開示の実施形態に従ってすでに捕集された微小物体を隔離ペンから選択的に取り出す。いくつかの実施形態では、DEP力は光電子ピンセット(OET)力を含む。
【0070】
[0078] 他の実施形態では、1つ以上の電極(図示せず)によりマイクロ流体デバイス100の支持構造体104(及び/又はカバー110)の1つ以上の位置(例えば、流路及び/又は隔離ペンを画定するのに役立つ位置)にオプトエレクトロウェッティング(OEW)力を印加することにより、マイクロ流体回路120内に位置決めされたドロップレットを操作、輸送、分離、及び選別する。例えば、いくつかの実施形態では、支持構造体104(及び/又はカバー110)の1つ以上の位置にOEW力を印加することにより、単一ドロップレットを流路106から所望のマイクロ流体隔離ペン内に移動させる。いくつかの実施形態では、OEW力を使用することにより、隔離ペン(例えば、隔離ペン124、126、128、又は130)内のドロップレットをそこから変位しないようにする。更に、いくつかの実施形態では、OEW力を使用することにより、本開示の実施形態に従ってすでに捕集されたドロップレットを隔離ペンから選択的に取り出す。
【0071】
[0079] いくつかの実施形態では、DEP力及び/又はOEW力を流動力及び/又は重力等の他の力と組み合わせることにより、マイクロ流体回路120内の微小物体及び/又はドロップレットを操作、輸送、分離、及び選別する。例えば、エンクロージャ102を傾斜させて(例えば、傾斜デバイス190により)流路106及びその中に位置決めされた微小物体をマイクロ流体隔離ペンの上方に配置することが可能であり、そして重力により微小物体及び/又はドロップレットをペン内に輸送することが可能である。いくつかの実施形態では、他の力の前にDEP力及び/又はOEW力を印加することが可能である。他の実施形態では、他の力の後にDEP力及び/又はOEW力を印加することが可能である。更に他の場合には、他の力と同時に又は他の力と交互にDEP力及び/又はOEW力を印加することが可能である。
【0072】
[0080]
図1B、1C、及び2A~2Hは、本開示の実施形態の実施時に使用可能なマイクロ流体デバイスの種々の実施形態を例示する。
図1Bは、マイクロ流体デバイス200が光学作動動電デバイスとして構成される実施形態を示す。光電子ピンセット(OET)構成を有するデバイス及びオプトエレクトロウェッティング(OEW)構成を有するデバイスをはじめとする様々な光学作動動電デバイスが当技術分野で知られている。好適なOET構成の例は、次の米国特許文書(それぞれその全体が参照により本明細書に援用される):米国再発行特許発明第44,711号(Wuら)(米国特許第7,612,355号として最初に発行された)及び米国特許第7,956,339号(Ohtaら)に例示されている。OEW構成の例は、米国特許第6,958,132号(Chiouら)及び米国特許
出願公開第2012/0024708号(Chiouら)(両方ともその全体が参照により本
明細書に援用される)に例示されている。光学作動動電デバイスの更に他の例としては、組合せOET/OEW構成が挙げられ、その例は米国特許出願公開第20150306598号(Khandrosら)及び同第20150306599号(Khandrosら)並びにそれらの対応するPCT国際公開第2015/164846号及び国際公開第2015/164847号(それらは全てその全体が参照により本明細書に援用される)に示されている。
【0073】
[0081] 生物学的微小物体を配置可能、培養可能、及び/又は監視可能なペンを有するマイクロ流体デバイスの例は、例えば、米国特許出願公開第2014/0116881号(2013年10月22日出願の米国出願第14/060,117号)、米国特許出願公開第2015/0151298号(2014年10月22日出願の米国出願第14/520,568号)、及び米国特許出願公開第2015/0165436号(2014年10月22日出願の米国出願第14/521,447号)(それぞれその全体が参照により本明細書に援用される)に記載されている。また、米国特許出願第14/520,568号及び同第14/521,447号には、マイクロ流体デバイスで培養された細胞の分泌物を分析する例示的な方法が記載されている。上記の各出願には更に、光電子ピンセット(OET)等のように誘電泳動(DEP)力を生じるように構成された又はオプトエレクトロウェッティング(OEW)を提供するように構成されたマイクロ流体デバイスが記載されている。例えば、米国特許出願公開第2014/0116881号の
図2に例示される光電子ピンセットデバイスは、個別の生物学的微小物体又は一群の生物学的微小物体を選択して移動させるために本開示の実施形態で利用し得るデバイスの例である。
【0074】
[0082] 原動マイクロ流体デバイス構成
上述したように、システムの制御及び監視機器は、マイクロ流体デバイスのマイクロ流体回路において微小物体又は液滴等の物体を選択し移動させる原動モジュールを含むことができる。マイクロ流体デバイスは、移動される物体のタイプ及び他の考慮事項に応じて様々な原動構成を有することができる。例えば、誘電泳動(DEP)構成を利用して、マイクロ流体回路において微小物体を選択し移動させることができる。したがって、マイクロ流体デバイス100の支持構造体104及び/又はカバー110は、マイクロ流体回路120内の流体培地180内の微小物体に対してDEP力を選択的に誘導し、それにより、個々の微小物体又は微小物体群の選択、捕捉、及び/又は移動を行うDEP構成を含むことができる。代替的に、マイクロ流体デバイス100の支持構造体104及び/又はカバー110は、マイクロ流体回路120内の流体培地180内の液滴に対して電子ウェッティング(EW)力を選択的に誘導し、それにより、個々の液滴又は液滴群の選択、捕捉、及び/又は移動を行う電子ウェッティング(EW)構成を含むことができる。
【0075】
[0083] DEP構成を含むマイクロ流体デバイス200の一例を
図1B及び
図1Cに示す。簡潔にするために、
図1B及び
図1Cは、領域/室202を有するマイクロ流体デバイス200のエンクロージャ102の部分の側面断面図及び上面断面図をそれぞれ示すが、領域/室202が、成長室、隔離ペン、フロー領域、又はフローチャネル等のより詳細な構造を有する流体回路要素の部分であり得ることを理解されたい。更に、マイクロ流体デバイス200は他の流体回路要素を含み得る。例えば、マイクロ流体デバイス200は、マイクロ流体デバイス100に関して本明細書に記載される等の複数の成長室、或いは隔離ペン及び/又は1つ若しくは複数のフロー領域又はフローチャネルを含むことができる。DEP構成は、マイクロ流体デバイス200の任意のそのような流体回路要素に組み込み得るか、又はその部分を選択し得る。上記又は下記の任意のマイクロ流体デバイス構成要素及びシステム構成要素がマイクロ流体デバイス200内に組みこまれ得、及び/又はマイクロ流体デバイス200と組み合わせて使用し得ることを更に理解されたい。例えば、培地モジュール160、原動モジュール162、撮像モジュール164、傾斜モジュール166、及び他のモジュール168の1つ又は複数を含む上述した制御及び監視機器152を含むシステム150は、マイクロ流体デバイス200と併用し得る。
【0076】
[0084]
図1Bにおいて見られるように、マイクロ流体デバイス200は、下部電極204及び下部電極204に重なる電極活性化基板206を有する支持構造体104と、上部電極210を有するカバー110とを含み、上部電極210は下部電極204から離間される。上部電極210及び電極活性化基板206は、領域/室202の両面を画定する
。したがって、領域/室202に含まれる培地180は、上部電極210と電極活性化基板206との間に抵抗接続を提供する。下部電極204と上部電極210との間に接続され、領域/室202でのDEP力の生成のために必要に応じて電極間にバイアス電圧を生成するように構成された電源212も示されている。電源212は、例えば、交流(AC)電源であり得る。
【0077】
[0085] 特定の実施形態では、
図1B及び
図1Cに示されるマイクロ流体デバイス200は、光学作動DEP構成を有することができる。したがって、原動モジュール162により制御し得る光源216からの光218の変更パターンは、電極活性化基板206の内面208の領域214においてDEP電極の変更パターンを選択的に活性化又は非活性化することができる。(以下ではDEP構成を有するマイクロ流体デバイスの領域214を「DEP電極領域」と呼ぶ)。
図1Cに示されるように、電極活性化基板206の内面208に向けられる光パターン218は、正方形等のパターンで、選択されたDEP電極領域214a(白色で示される)を照明することができる。照明されないDEP電極領域214(斜線が付される)を以下では「暗」DEP電極領域214と呼ぶ。DEP電極活性化基板206を通る相対電気インピーダンス(すなわち、下部電極204から、フロー領域106において培地180と界面を接する電極活性化基板206の内面208まで)は、各暗DEP電極領域214での領域/室202において培地180を通る(すなわち、電極活性化基板206の内面208からカバー110の上部電極210まで)相対電気インピーダンスよりも大きい。しかし、照明DEP電極領域214aは、各照明DEP電極領域214aでの領域/室202での培地180を通る相対インピーダンス未満である電極活性化基板206を通る相対インピーダンスの低減を示す。
【0078】
[0086] 電源212が活性化されている場合、上記DEP構成は、照明DEP電極領域214aと隣接する暗DEP電極領域214との間に流体培地180内で電場勾配を生じさせ、次に、電場勾配は、流体培地180内の付近の微小物体(図示せず)を引き寄せるか、又は排斥する局所DEP力を生成する。したがって、流体培地180内の微小物体を引き寄せるか、又は排斥するDEP電極は、光源216からマイクロ流体デバイス200に投射される光パターン218を変更することにより、領域/室202の内面208での多くの異なるそのようなDEP電極領域214において選択的に活性化及び非活性化することができる。DEP力が付近の微小物体を引き寄せるか、それとも排斥するかは、電源212の周波数並びに培地180及び/又は微小物体(図示せず)の誘電特性等のパラメータに依存し得る。
【0079】
[0087]
図1Cに示される照明DEP電極領域214aの正方形パターン220は単なる例である。マイクロ流体デバイス200に投射される光パターン218により、任意のパターンのDEP電極領域214を照明する(それにより、活性化する)ことができ、照明/活性化されるDEP電極領域214のパターンは、光パターン218を変更又は移動させることにより繰り返し変更することができる。
【0080】
[0088] 幾つかの実施形態では、電極活性化基板206は、光伝導性材料を含むか、又は光導電性材料からなることができる。そのような実施形態では、電極活性化基板206の内面208は、特徴を有さないことができる。例えば、電極活性化基板206は、水素化非晶質シリコン(a-Si:H)の層を含むか、又はa-Si:Hの層からなることができる。a-Si:Hは、例えば、約8%~40%の水素を含むことができる(水素原子の数/水素及びケイ素原子の総数に100を掛けたものとして計算)。a-Si:Hの層は厚さ約500nm~約2.0μmを有することができる。そのような実施形態では、DEP電極領域214は、光パターン218により、電極活性化基板206の内面208上の任意の場所に任意のパターンで作成することができる。したがって、DEP電極領域214の数及びパターンは、固定される必要がなく、光パターン218に対応することがで
きる。上述したような光伝導層を含むDEP構成を有するマイクロ流体デバイスの例は、例えば、米国特許第RE44,711号(Wuら)(元々は米国特許第7,612,355号として発行された)に記載されており、その内容全体は参照により本明細書に援用される。
【0081】
[0089] 他の実施形態では、電極活性化基板206は、半導体分野で既知等の半導体集積回路を形成する複数のドープ層、絶縁層(又は領域)、及び導電層を含む基板を含むことができる。例えば、電極活性化基板206は、例えば、横型バイポーラフォトトランジスタを含む複数のフォトトランジスタを含むことができ、各フォトトランジスタはDEP電極領域214に対応する。代替的に、電極活性化基板206は、フォトトランジスタスイッチにより制御される電極(例えば、導電性金属電極)を含むことができ、そのような各電極はDEP電極領域214に対応する。電極活性化基板206は、パターンになったそのようなフォトトランジスタ又はフォトトランジスタ制御される電極を含むことができる。パターンは、例えば、
図2Bに示される等、行列に配置された実質的に正方形のフォトトランジスタ又はフォトトランジスタ制御される電極のアレイであり得る。代替的に、パターンは、六角形格子を形成する実質的に六角形のフォトトランジスタ又はフォトトランジスタ制御される電極のアレイであり得る。パターンに関係なく、電気回路素子は、電極活性化基板206の内面208におけるDEP電極領域214と下部電極210との間に電気接続を形成することができ、それらの電気接続(すなわち、フォトトランジスタ又は電極)は、光パターン218により選択的に活性化又は非活性化することができる。活性化されない場合、各電気接続は、電極活性化基板206を通る(すなわち、下部電極204から、領域/室202内の培地180と界面を接する電極活性化電極206の内面208まで)相対インピーダンスが、対応するDEP電極領域214における培地180を通る(すなわち、電極活性化基板206の内面208からカバー110の上部電極210まで)相対インピーダンスよりも大きいような高いインピーダンスを有することができる。しかし、光パターン218内の光により活性化される場合、電極活性化基板206を通る相対インピーダンスは、各照明DEP電極領域214での培地180を通る相対インピーダンス未満であり、それにより、上述したように、対応するDEP電極領域214でのDEP電極を活性化する。したがって、培地180内の微小物体(図示せず)を引き寄せるか、又は排斥するDEP電極は、光パターン218により決まるように、領域/室202での電極活性化基板206の内面208での多くの異なるDEP電極領域214において選択的に活性化及び非活性化することができる。
【0082】
[0090] フォトトランジスタを含む電極活性化基板を有するマイクロ流体デバイスの例は、例えば、米国特許第7,956,339号(Ohtaら)に記載されており(例えば、
図21及び
図22に示されるデバイス300並びにその説明を参照されたい)、この内容全体は参照により本明細書に援用される。フォトトランジスタスイッチにより制御される電極を含む電極活性化基板を有するマイクロ流体デバイスの例は、例えば、米国特許出願公開第2014/0124370号(Shortら)に記載されており(例えば、図面全体を通
して示されるデバイス200、400、500、600、及び900並びにその説明を参照されたい)、これらの内容全体は参照により本明細書に援用される。
【0083】
[0091] DEP構成のマイクロ流体デバイスの幾つかの実施形態では、上部電極210はエンクロージャ102の第1の壁(又はカバー110)の一部であり、電極活性化基板206及び下部電極204は、エンクロージャ102の第2の壁(又は支持構造体104)の一部である。領域/室202は、第1の壁と第2の壁との間にあり得る。他の実施形態では、電極210は第2の壁(又は支持構造体104)の一部であり、電極活性化基板206及び/又は電極210の一方又は両方は、第1の壁(又はカバー110)の一部である。更に、光源216は代替的に、下からエンクロージャ102を照明するのに使用することができる。
【0084】
[0092] DEP構成を有する
図1B~1Cのマイクロ流体デバイス200を用いて、微小物体を取り囲んで捕捉するパターン(例えば、正方形パターン220)で電極活性化基板206の内面208のDEP電極領域214aの1つ以上のDEP電極の第1のセットを活性化させるように光パターン218をマイクロ流体デバイス200内に投影すれば、原動モジュール162により領域/チャンバ202内の培地180中の微小物体(図示せず)を選択することが可能である。次いで、DEP電極領域214の1つ以上のDEP電極の第2のセットを活性化させるようにマイクロ流体デバイス200に対して光パターン218を移動させれば、インサイチュー発生で捕捉された微小物体を原動モジュール162により移動させることが可能である。代替的に、光パターン218に対してマイクロ流体デバイス200を移動させることが可能である。
【0085】
[0093] 他の実施形態では、マイクロ流体デバイス200は、電極活性化基板206の内面208でのDEP電極の光活性化に依存しないDEP構成を有することができる。例えば、電極活性化基板206は、少なくとも1つの電極を含む表面(例えば、カバー110)とは逆に位置する、選択的にアドレス指定可能且つエネルギー付与可能な電極を含むことができる。スイッチ(例えば、半導体基板のトランジスタスイッチ)を選択的に開閉して、DEP電極領域214でのDEP電極を活性化又は非活性化し得、それにより、活性化されたDEP電極の近傍での領域/室202内の微小物体(図示せず)に対する正味DEP力を生成する。電源212の周波数及び培地(図示せず)及び/又は領域/室202内の微小物体の誘電特性等の特徴に応じて、DEP力は、付近の微小物体を引き寄せるか、又は排斥することができる。DEP電極の組(例えば、正方形パターン220を形成するDEP電極領域214の組における)を選択的に活性化又は非活性化することにより、領域/室202における1つ又は複数の微小物体を捕捉し、領域/室202内で移動させることができる。
図1Aの原動モジュール162は、そのようなスイッチを制御し、したがって、DEP電極の個々の電極を活性化及び非活性化して、領域/室202の周囲の特定の微小物体(図示せず)を選択、捕捉、及び移動させることができる。選択的にアドレス指定可能且つエネルギー付与可能な電極を含むDEP構成を有するマイクロ流体デバイスは、当技術分野で既知であり、例えば、米国特許第6,294,063号(Beckerら)及び同第6,942,776号(Medoro)に記載されており、これらの内容全体は参照により本明細書に援用される。
【0086】
[0094] 更なる別例として、マイクロ流体デバイス200は電子ウェッティング(EW)構成を有することができ、EW構成は、DEP構成の代わりであってもよく、又はDEP構成を有する部分とは別個のマイクロ流体デバイス200の部分に配置されてもよい。EW構成は、光電子ウェッティング構成又は誘電体上の電子ウェッティング(EWOD)構成であり得、これらは両方とも当技術分野で既知である。幾つかのEW構成では、支持構造体104は、誘電層(図示せず)と下部電極204との間に挟まれた電極活性化基板206を有する。誘電層は、後述するように、疎水性材料を含むことができ、及び/又は疎水性材料でコーティングすることができる。EW構成を有するマイクロ流体デバイス200の場合、支持構造体104の内面208は、誘電層の内面又はその疎水性コーティングである。
【0087】
[0095] 誘電層(図示せず)は、1つ又は複数の酸化物層を含むことができ、厚さ約50nm~約250nm(例えば、約125nm~約175nm)を有することができる。特定の実施形態では、誘電層は、金属酸化物(例えば、酸化アルミニウム又は酸化ハフニウム)等の酸化物の層を含むことができる。特定の実施形態では、誘電層は、酸化ケイ素又は窒化物等の金属酸化物以外の誘電材料を含むことができる。厳密な組成及び厚さに関係なく、誘電層は約10kオーム~約50kオームのインピーダンスを有することができる。
【0088】
[0096] 幾つかの実施形態では、領域/室202に向かって内側に面した誘電層の表面は、疎水性材料でコーティングされる。疎水性材料は、例えば、フッ素化炭素分子を含むことができる。フッ素化炭素分子の例としては、ポリテトラフルオロエチレン(例えば、TEFLON(登録商標)又はポリ(2,3-ジフルオロメチレニル-ペルフルオロテトラヒドロフラン)(例えば、CYTOP(商標))などのパーフルオロポリマーが挙げられる。疎水
性材料を構成する分子は、誘電層の表面に共有結合され得る。例えば、疎水性材料の分子は、シロキサン基、ホスホン酸基、又はチオール基等のリンカーにより、誘電層の表面に共有結合され得る。したがって、幾つかの実施形態では、疎水性材料は、アルキル末端シロキサン、アルキル末端ホスホン酸、又はアルキル末端チオールを含むことができる。アルキル基は長鎖炭化水素(例えば、少なくとも10個の炭素又は少なくとも16個、18個、20個、22個、若しくはそれを超える個数の炭素の鎖を有する)であり得る。代替的に、フッ素化(又はパーフルオロ化)炭素鎖をアルキル基の代わりに使用することができる。したがって、例えば、疎水性材料は、フルオロアルキル末端シロキサン、フルオロアルキル末端ホスホン酸、又はフルオロアルキル末端チオールを含むことができる。幾つかの実施形態では、疎水性コーティングは約10nm~約50nmの厚さを有する。他の実施形態では、疎水性コーティングは厚さ10nm未満(例えば、5nm未満又は約1.5~3.0nm)を有する。
【0089】
[0097] 幾つかの実施形態では、電子ウェッティング構成を有するマイクロ流体デバイス200のカバー110も同様に疎水性材料(図示せず)でコーティングされる。疎水性材料は、支持構造体104の誘電層のコーティングに使用されるものと同じ疎水性材料であり得、疎水性コーティングは、支持構造体104の誘電層の疎水性コーティングの厚さと略同じである厚さを有することができる。更に、カバー110は、支持構造体104の様式で、誘電層と上部電極210との間に挟まれた電極活性化基板206を含むことができる。電極活性化基板206及びカバー110の誘電層は、電極活性化基板206及び支持構造体104の誘電層と同じ組成及び/又は寸法を有することができる。したがって、マイクロ流体デバイス200は2つの電子ウェッティング表面を有することができる。
【0090】
[0098] 幾つかの実施形態では、電子活性化基板206は、上述した光伝導性材料等の光伝導性材料を含むことができる。したがって、特定の実施形態では、電極活性化基板206は、水素化非晶質シリコン(a-Si:H)の層を含むか、又はa-Si:Hの層からなることができる。a-Si:Hは、例えば、約8%~40%の水素を含むことができる(水素原子の総数及びケイ素原子の総数/水素原子の総数に100を掛けたものとして計算)。a-Si:Hの層は厚さ約500nm~約2.0μmを有することができる。代替的に、電子活性化基板206は、上述したように、フォトトランジスタスイッチにより制御される電極(例えば、導電性金属電極)を含むことができる。光電子ウェッティング構成を有するマイクロ流体デバイスは当技術分野で既知であり、及び/又は当技術分野で既知の電極活性化基板を用いて構築することができる。例えば、内容全体が参照により本明細書に援用される米国特許第6,958,132号(Chiouら)には、a-Si:H等
の光伝導性材料を有する光電子ウェッティング構成が開示されており、一方、上記引用した米国特許出願公開第2014/0124370号(Shortら)には、フォトトランジス
タスイッチにより制御される電極を有する電極活性化基板が開示されている。
【0091】
[0099] したがって、マイクロ流体デバイス200は光電子ウェッティング構成を有することができ、光パターン218を使用して、電極活性化基板206での光応答性EW領域又は光応答性EW電極を活性化することができる。電極活性化基板206のそのような活性化されたEW領域又はEW電極は、支持構造体104の内面208(すなわち、重なった誘電層の内面又はその疎水性コーティング)において電子ウェッティング力を生成することができる。電子活性化基板206に入射する光パターン218を変更する(又は光
源216に相対してマイクロ流体デバイス200を移動させる)ことにより、支持構造体104の内面208に接触する液滴(例えば、水性培地、水溶液又は水性溶媒を含む)は、領域/室202内に存在する不混和流体(例えば、油媒体)を通って移動することができる。
【0092】
[0100] 他の実施形態では、マイクロ流体デバイス200は、EWOD構成を有することができ、電極活性化基板206は、活性化のために光に依存しない、選択的にアドレス指定可能且つエネルギー付与可能な電極を含むことができる。したがって、電極活性化基板206は、パターンになったそのような電子ウェッティング(EW)電極を含むことができる。パターンは、例えば、
図2Bに示される等の行列に配置された略正方形のEW電極のアレイであり得る。代替的に、パターンは、六角形格子を形成する略六角形のEW電極のアレイであり得る。パターンに関係なく、EW電極は、電気スイッチ(例えば、半導体基板のトランジスタスイッチ)により選択的に活性化(又は非活性化)することができる。電極活性化基板206でのEW電極を選択的に活性化及び非活性化することにより、重なった誘電層の内面208又はその疎水性コーティングに接触する液滴(図示せず)は、領域/室202内で移動することができる。
図1Aの原動モジュール162は、そのようなスイッチを制御することができ、したがって、個々のEW電極を活性化及び非活性化して、領域/室202の周囲で特定の液滴を選択し移動させることができる。選択的にアドレス指定可能且つエネルギー付与可能な電極を有するEWOD構成を有するマイクロ流体デバイスは、当技術分野で既知であり、例えば、米国特許第8,685,344号(Sundarsanら)に記載されており、この内容全体は参照により本明細書に援用される。
【0093】
[0101] マイクロ流体デバイス200の構成に関係なく、電源212を使用して、マイクロ流体デバイス200の電気回路に給電する電位(例えば、AC電源電位)を提供することができる。電源212は、
図1で参照される電源192と同じ又は電源192の構成要素であり得る。電源212は、上部電極210及び下部電極204にAC電圧及び/又は電流を提供するように構成され得る。AC電圧の場合、電源212は、上述したように、領域/室202内の個々の微小物体(図示せず)を捕捉して移動させ、及び/又はこれらも上述したように、領域/室202内の支持構造体104の内面208(すなわち、誘電層及び/又は誘電層上の疎水性コーティング)のウェッティング特性を変更するのに十分に強い正味DEP力(又は電子ウェッティング力)を生成するのに十分な周波数範囲及び平均又はピーク電力(例えば、電圧又は電流)を提供することができる。そのような周波数範囲及び平均又はピーク電力範囲は、当技術分野で既知である。例えば、米国特許第6,958,132号(Chiouら)、米国特許第RE44,711号(Wuら)(元々は米
国特許第7,612,355号として発行された)、並びに米国特許出願公開第2014/0124370号(Shortら)、同第2015/0306598号(Khandrosら)、及
び同第2015/0306599号(Khandrosら)を参照されたい。
【0094】
[00102] 隔離ペン。限定されるものではないが一般的隔離ペン224、226、及び
228の例は、
図2A~2Cに表されるマイクロ流体デバイス230内に示される。各隔離ペン224、226、及び228は、分離領域240と分離領域240をチャネル122に流体接続する接続領域236とを画定する分離構造体232を含み得る。接続領域236は、マイクロ流体チャネル122への基端開口234と分離領域240への先端開口238とを含み得る。接続領域236は、マイクロ流体チャネル122から隔離ペン224、226、228に流入する流体培地フロー(図示せず)の最大侵入深さが分離領域240内に延在しないように構成可能である。そのため、接続領域236があるので、隔離ペン224、226、228の分離領域240に配置された微小物体(図示せず)又は他の物質(図示せず)は、マイクロ流体チャネル122の培地フロー180からこうして分離されてその影響を実質的に受けないようにし得る。
【0095】
[00103]
図2A~2Cの隔離ペン224、226、及び228は、それぞれ、マイク
ロ流体チャネル122に直接開口する単一開口を有する。隔離ペンの開口は、マイクロ流体チャネル122の横方向に開口する。電極活性化基板206は、マイクロ流体チャネル122並びに隔離ペン224、226、及び228の両方の下側に配置される。隔離ペンのエンクロージャ内の電極活性化基板206の上表面(隔離ペンのフロアを形成する)は、マイクロ流体チャネル122(又はチャネルが存在しないときはフロー領域)内の電極活性化基板206の上表面(マイクロ流体デバイスのフローチャネル(又はそれぞれフロー領域)のフロアを形成する)と同一レベル又は実質的に同一レベルに配置される。電極活性化基板206は、特徴部を有していなくてもよいし、その最高位からその最低位まで約3ミクロン未満、2.5ミクロン、2ミクロン、1.5ミクロン、1ミクロン、0.9ミクロン、0.5ミクロン、0.4ミクロン、0.2ミクロン、0.1ミクロン、若しくはそれ以下で変動する不規則表面若しくはパターン化表面を有していてもよい。マイクロ流体チャネル122(又はフロー領域)及び隔離ペンの両方を横切る基板の上表面の高位の変動は、隔離ペンの壁又はマイクロ流体デバイスの壁の高さの約3%未満、2%、1%、0.9%、0.8%、0.5%、0.3%、又は0.1%であり得る。マイクロ流体デバイス200について詳細に記載されているが、このことは本明細書に記載のマイクロ流体デバイス100、200、230、250、280、290、300のいずれにも適用される。
【0096】
[00104] そのため、マイクロ流体チャネルチャネル122は、掃引領域の例であり得
ると共に、隔離ペン224、226、228の分離領域240は、非掃引領域の例であり得る。記載のごとく、マイクロ流体チャネル122及び隔離ペン224、226、228は、1つ以上の流体培地180を含有するように構成可能である。
図2A~2Bに示される例では、ポート222をマイクロ流体チャネル122に接続して流体培地180をマイクロ流体デバイス230に導入したり又はそれから取り出したりできるようにし得る。流体培地180の導入前に、マイクロ流体デバイスを二酸化炭素ガス等のガスでプライムし得る。マイクロ流体デバイス230が流体培地180を含有した後、マイクロ流体チャネル122の流体培地180のフロー242の発生及び停止を選択的に行うことが可能である。例えば、示されるように、ポート222は、マイクロ流体チャネル122の異なる位置(例えば対向端)に配置可能であり、且つ培地のフロー242は、流入口として機能する1つのポート222から流出口として機能する他のポート222の方向に形成可能である。
【0097】
[00105]
図2Cは、本開示にかかる隔離ペン224の例の詳細図を例示する。微小物
体246の例も示される。
【0098】
[00106] 分かるように、隔離ペン224の基端開口234を通過したマイクロ流体チ
ャネル122の流体培地180のフロー242は、隔離ペン224への及び/又はそこからの培地180の二次フロー244を引き起こし得る。微小物体246を二次フロー244から隔離ペン224の分離領域240に分離するために、隔離ペン224の接続領域236の長さLcon(すなわち、基端開口234から先端開口238まで)は、接続領域2
36への二次フロー244の侵入深さDpよりも長くすべきである。二次フロー244の
侵入深さDpは、マイクロ流体チャネル122を流れる流体培地180の速度並びにマイ
クロ流体チャネル122及びマイクロ流体チャネル122への接続領域236の基端開口234の構成に関する種々のパラメータに依存する。所与のマイクロ流体デバイスでは、マイクロ流体チャネル122及び開口234の構成は固定されるであろうが、マイクロ流体チャネル122の流体培地180のフロー242のレートは可変であろう。したがって、各隔離ペン224では、チャネル122の流体培地180のフロー242の最大速度Vmaxは、二次フロー244の侵入深さDpが接続領域236の長さLconを超えないことを
保証するように同定可能である。マイクロ流体チャネル122の流体培地180のフロー
242のレートが最高速度Vmaxを超えない限り、得られる二次フロー244は、マイク
ロ流体チャネル122及び接続領域236に限定して分離領域240に入らないようにすることが可能である。そのため、マイクロ流体チャネル122の培地180のフロー242は、分離領域240から微小物体246を引き出さないであろう。より正確には、分離領域240に位置決めされた微小物体246は、マイクロ流体チャネル122の流体培地180のフロー242にかかわらず分離領域240に留まるであろう。
【0099】
[00107] 更に、マイクロ流体チャネル122の培地180のフロー242のレートが
V
maxを超えない限り、マイクロ流体チャネル122の流体培地180のフロー242は
、多種多様な粒子(例えば、ナノ粒子及び/又はマイクロ粒子)をマイクロ流体チャネル122から隔離ペン224の分離領域240に移動しないであろう。接続領域236の長さL
conを二次フロー244の最大侵入深さDpよりも長くすれば、マイクロ流体チャネ
ル122又は他の隔離ペン(例えば、
図2Dの隔離ペン226、228)からの多種多様な粒子による一隔離ペン224の汚染を防止可能である。
【0100】
[00108] マイクロ流体チャネル122及び隔離ペン224、226、228の接続領
域236は、マイクロ流体チャネル122の培地180のフロー242の影響を受け得るので、マイクロ流体チャネル122及び接続領域236は、マイクロ流体デバイス230の掃引(又はフロー)領域とみなし得る。一方、隔離ペン224、226、228の分離領域240は、非掃引(又は非フロー)領域とみなし得る。例えば、マイクロ流体チャネル122の第1の流体培地180の成分(図示せず)は、マイクロ流体チャネル122から接続領域236を介して分離領域240の第2の流体培地248に第1の培地180の成分が拡散するだけで、分離領域240の第2の流体培地248と実質的に混合し得る。同様に、分離領域240の第2の培地248の成分(図示せず)は、分離領域240から接続領域236を介してマイクロ流体チャネル122の第1の培地180に第2の培地248の成分が拡散するだけで、マイクロ流体チャネル122の第1の培地180と実質的に混合し得る。いくつかの実施形態では、拡散による隔離ペンの分離領域とフロー領域との間の流体培地交換の程度は、流体交換の約90%超、91%、92%、93%、94%の95%、96%、97%、98%、又は約99%超である。第1の培地180は、第2の培地248と同一の培地又は異なる培地であり得る。更に、第1の培地180及び第2の培地248は、同一のものから開始して後で異なるものになり得る(例えば、分離領域240の1つ以上の細胞による第2の培地248の調整を介して又はマイクロ流体チャネル122を貫流する培地180を変化させることにより)。
【0101】
[00109] マイクロ流体チャネル122の流体培地180のフロー242により引き起
こされる二次フロー244の最大侵入深さDpは、上述したいくつかのパラメータに依存
し得る。かかるパラメータの例としては、マイクロ流体チャネル122の形状(例えば、マイクロ流体チャネルは、培地を接続領域236に方向付けたり、培地を接続領域236から遠ざけたり、又はマイクロ流体チャネル122への接続領域236の基端開口234に実質的に垂直な方向に培地を方向付けたりすることが可能である)、基端開口234におけるマイクロ流体チャネル122の幅Wch(又は断面積)、及び基端開口234における接続領域236の幅Wcon(又は断面積)、マイクロ流体チャネル122の流体培地1
80のフロー242の速度V、第1の培地180及び/又は第2の培地248の粘度等が挙げられる。
【0102】
[00110] いくつかの実施形態では、マイクロ流体チャネル122及び隔離ペン224
、226、228の寸法は、マイクロ流体チャネル122の流体培地180のフロー242のベクトルに対して以下のように、すなわち、マイクロ流体チャネル幅Wch(又はマイクロ流体チャネル122の断面領域)が培地180のフロー242に実質的に垂直になり得るように、開口234における接続領域236の幅Wcon(又は断面領域)がマイクロ
流体チャネル122の培地180のフロー242に実質的に平行になり得るように、及び/又は接続領域の長さのLconがマイクロ流体チャネル122の培地180のフロー24
2に実質的に垂直になり得るように、配向可能である。上記は単なる例にすぎず、マイクロ流体チャネル122及び隔離ペン224、226、228の相対位置は、互いに他の配向をとり得る。
【0103】
[00111]
図2Cに例示されるように、接続領域236の幅W
conは、基端開口234から先端開口238まで均一であり得る。そのため、先端開口238における接続領域236の幅W
conは、基端開口234における接続領域236の幅W
conに対して本明細書に明記されたいずれかの範囲内にあり得る。代替的に、先端開口238における接続領域236の幅W
conは、基端開口234における接続領域236の幅W
conよりも大きくし得る。
【0104】
[00112]
図2Cに例示されるように、先端開口238における分離領域240の幅は
、基端開口234における接続領域236の幅W
conと実質的に同一であり得る。そのた
め、先端開口238における分離領域240の幅は、基端開口234における接続領域236の幅W
conに対して本明細書に明記された値のいずれかであり得る。代替的に、先端
開口238における分離領域240の幅は、基端開口234における接続領域236の幅W
conよりも大きく又は小さくし得る。更に、先端開口238は、基端開口234よりも
小さくし得ると共に、接続領域236の幅W
conは、基端開口234と先端開口238と
の間で狭窄化し得る。例えば、接続領域236は、多種多様なジオメトリー(例えば、接続領域の面取り、接続領域の傾斜)を用いて基端開口と先端開口との間で狭窄化し得る。更に、接続領域236の任意の部分又はサブ部分を狭窄化し得る(例えば、基端開口234に隣接する接続領域部分)。
【0105】
[00113]
図2D~2Fは、マイクロ流体回路262とフローチャネル264とを含有
する他の例示的実施形態のマイクロ流体デバイス250を示す。これは、
図1Aのそれぞれのマイクロ流体デバイス100、回路132、及びチャネル134の変形形態である。マイクロ流体デバイス250はまた、以上に記載の隔離ペン124、126、128、130、224、226、又は228の追加の変形形態である複数の隔離ペン266を有する。特定的には、
図2D~2Fに示されるデバイス250の隔離ペン266により以上に記載のデバイス100、200、230、280、290、300の隔離ペン124、126、128、130、224、226、又は228のいずれかを交換可能であることを認識すべきである。同様に、マイクロ流体デバイス250は、マイクロ流体デバイス100の他の変形形態であり、以上に記載のマイクロ流体デバイス100、200、230、280、290、300、更には本明細書に記載の他のマイクロ流体システムコンポーネントのいずれかと同一又は異なるDEP構成も有し得る。
【0106】
[00114]
図2D~2Fのマイクロ流体デバイス250は、支持構造体(
図2D~2F
では目視できないが、
図1Aに示されるデバイス100の支持構造体104と同一又は略類似のものであり得る)と、マイクロ流体回路構造体256と、カバー(
図2D~2Fでは目視できないが、
図1Aに示されるデバイス100のカバー122と同一又は略類似のものであり得る)と、を含む。マイクロ流体回路構造体256は、
図1Aに示されるデバイス100のフレーム114及びマイクロ流体回路材料116と同一又は略類似のものであり得るフレーム252及びマイクロ流体回路材料260を含む。
図2Dに示されるように、マイクロ流体回路材料260により規定されるマイクロ流体回路262は、複数の隔離ペン266が流体接続された複数のチャネル264(2つが示されているが、それよりも多くし得る)を含み得る。
【0107】
[00115] 各隔離ペン266は、分離構造体272、分離構造体272内の分離領域2
70、及び接続領域268を含み得る。マイクロ流体チャネル264の基端開口274か
ら分離構造体272の先端開口276まで、接続領域268はマイクロ流体チャネル264を分離領域270に流体接続する。一般に、
図2B及び2Cの以上の考察によれば、チャネル264内の第1の流体培地254のフロー278は、マイクロ流体チャネル264から隔離ペン266のそれぞれの接続領域268に入る及び/又はそこから出る第1の培地254の二次フロー282を形成可能である。
【0108】
[00116]
図2Eに例示されるように、各隔離ペン266の接続領域268は、一般に
、チャネル264への基端開口274と分離構造体272への先端開口276と間に延在する領域を含む。接続領域268の長さのL
conは、二次フロー282の最大侵入深さD
p超であり得ると共に、その場合、二次フロー282は、分離領域270に再方向付けられることなく接続領域268内に延在するであろう(
図2Dに示される)。代替的に、
図2Fに例示されるように、接続領域268は、最大侵入深さD
p未満の長さL
conを有し得ると共に、その場合、二次フロー282は、接続領域268を介して延在し分離領域270に再方向付けられるであろう。この後者の状況で、接続領域268の長さL
c1及びL
c2の和は、最大侵入深さD
p超であるので、二次フロー282は、分離領域270内に延在し
ないであろう。接続領域268の長さL
conが侵入深さD
p超であるか又は接続領域268の長さL
c1及びL
c2の和が侵入深さD
p超である場合、最大速度V
maxを超えないチャネル264内の第1の培地254のフロー278は、侵入深さD
pを有する二次フローを生成
するであろう。また、隔離ペン266の分離領域270内の微小物体(示されていないが、
図2Cに示される微小物体246と同一又は略類似のものであり得る)は、チャネル264内の第1の培地254のフロー278により分離領域270から引き出されないであろう。また、チャネル264内のフロー278は、チャネル264から隔離ペン266の分離領域270内に多種多様な材料(図示せず)を引き出さないであろう。したがって、拡散は、マイクロ流体チャネル264内の第1の培地254中の成分がマイクロ流体チャネル264から隔離ペン266の分離領域270内の第2の培地258中に移動可能な唯一の機序である。同様に、拡散は、隔離ペン266の分離領域270内の第2の培地258中の成分が分離領域270からマイクロ流体チャネル264内の第1の培地254中に移動可能な唯一の機序である。第1の培地254は第2の培地258と同一の培地であり得るか、又は第1の培地254は第2の培地258と異なる培地であり得る。代替的に、第1の培地254及び第2の培地258は、同一のものから開始して、例えば分離領域270の1つ以上の細胞による第2の培地の調整を介して又はマイクロ流体チャネル264を貫流する培地を変化させることにより、後で異なるものになり得る。
【0109】
[00117]
図2Eに例示されるように、マイクロ流体チャネル264内のマイクロ流体
チャネル264の幅W
ch(すなわち、
図2Dの矢印278により示されるマイクロ流体チャネルを通る流体培地フローの方向の横方向にとる)は、基端開口274の幅W
con1に実質的に垂直、つまり先端開口276の幅W
con2に実質的に平行であり得る。しかし、基端開口274の幅W
con1及び先端開口276の幅W
con2は、互いに実質的に垂直である必要はない。例えば、基端開口274の幅W
con1の配向軸(図示せず)と先端開口276の幅W
con2の他の配向軸とのなす角度は、垂直以外つまり90°以外であり得る。代替的な配向角度の例としては、約30°~約90°、約45°~約90°、約60°~約90°等の角度が挙げられる。
【0110】
[00118] 隔離ペン(例えば、124、126、128、130、224、226、2
28、又は266)の種々の実施形態では、分離領域(例えば、240又は270)は、複数の微小物体を含有するように構成される。他の実施形態では、分離領域は、1、2、3、4、5個のみ、又は類似の比較的小さな数の微小物体を含有するように構成可能である。したがって、分離領域の体積は、例えば、少なくとも1×106、2×106、4×106、6×106立方ミクロン、又はそれ以上であり得る。
【0111】
[00119] 隔離ペンの種々の実施形態では、基端開口(例えば234)におけるマイク
ロ流体チャネル(例えば122)の幅Wchは、約50~1000ミクロン、50~500ミクロン、50~400ミクロン、50~300ミクロン、50~250ミクロン、50~200ミクロン、50~150ミクロン、50~100ミクロン、70~500ミクロン、70~400ミクロン、70~300ミクロン、70~250ミクロン、70~200ミクロン、70~150ミクロン、90~400ミクロン、90~300ミクロン、90~250ミクロン、90~200ミクロン、90~150ミクロン、100~300ミクロン、100~250ミクロン、100~200ミクロン、100~150ミクロン、又は100~120ミクロンであり得る。いくつかの他の実施形態では、基端開口(例えば234)におけるマイクロ流体チャネル(例えば122)の幅Wchは、約200~800ミクロン、200~700ミクロン、又は200~600ミクロンであり得る。上記は単なる例にすぎず、マイクロ流体チャネル122の幅Wchは、以上に列挙した端点のいずれかの範囲内の任意の幅であり得る。更に、マイクロ流体チャネル122のWchは、隔離ペンの基端開口以外のマイクロ流体チャネルの領域がこれらのいずれかの範囲内になるように選択可能である。
【0112】
[00120] いくつかの実施形態では、隔離ペンは、約30~約200ミクロン又は約5
0~約150ミクロンの高さを有する。いくつかの実施形態では、隔離ペンは、約1×104~3×106平方ミクロン、2×104~2×106平方ミクロン、4×104~1×1
06平方ミクロン、2×104~5×105平方ミクロン、2×104~1×105平方ミク
ロン、又は約2×105~2×106平方ミクロンの断面積を有する。
【0113】
[00121] 隔離ペンの種々の実施形態では、基端開口(例えば234)におけるマイク
ロ流体チャネル(例えば122)の高さHchは、次の高さ:20~100ミクロン、20~90ミクロン、20~80ミクロン、20~70ミクロン、20~60ミクロン、20~50ミクロン、30~100ミクロン、30~90ミクロン、30~80ミクロン、30~70ミクロン、30~60ミクロン、30~50ミクロン、40~100ミクロン、40~90ミクロン、40~80ミクロン、40~70ミクロン、40~60ミクロン、又は40~50ミクロンのいずれかの範囲内の高さであり得る。上記は単なる例にすぎず、マイクロ流体チャネル(例えば122)の高さHchは、以上に列挙した端点のいずれかの範囲内の高さであり得る。マイクロ流体チャネル122の高さHchは、隔離ペンの基端開口以外のマイクロ流体チャネルの領域がこれらの高さのいずれかになるよう選択可能である。
【0114】
[00122] 隔離ペンの種々の実施形態では、基端開口(例えば234)におけるマイク
ロ流体チャネル(例えば122)の断面積は、約500~50,000平方ミクロン、500~40,000平方ミクロン、500~30,000平方ミクロン、500~25,000平方ミクロン、500~20,000平方ミクロン、500~15,000平方ミクロン、500~10,000平方ミクロン、500~7,500平方ミクロン、500~5,000平方ミクロン、1,000~25,000平方ミクロン、1,000~20,000平方ミクロン、1,000~15,000平方ミクロン、1,000~10,000平方ミクロン、1,000~7,500平方ミクロン、1,000~5,000平方ミクロン、2,000~20,000平方ミクロン、2,000~15,000平方ミクロン、2,000~10,000平方ミクロン、2,000~7,500平方ミクロン、2,000~6,000平方ミクロン、3,000~20,000平方ミクロン、3,000~15,000平方ミクロン、3,000~10,000平方ミクロン、3,000~7,500平方ミクロン、又は3,000~6,000平方ミクロンであり得る。上記は単なる例にすぎず、基端開口(例えば234)におけるマイクロ流体チャネル(例えば122)の断面積は、以上に列挙した端点のいずれかの範囲内の任意の面積であり得る。
【0115】
[00123] 隔離ペンの種々の実施形態では、接続領域(例えば236)の長さのLconは、約1~600ミクロン、5~550ミクロン、10~500ミクロン、15~400ミクロン、20~300ミクロン、20~500ミクロン、40~400ミクロン、60~300ミクロン、80~200ミクロン、又は約100~150ミクロンであり得る。上記は単なる例にすぎず、接続領域(例えば236)の長さLconは、以上に列挙した端点
のいずれかの範囲内の任意の長さであり得る。
【0116】
[00124] 隔離ペンの種々の実施形態では、基端開口(例えば234)における接続領
域(例えば236)の幅Wconは、約20~500ミクロン、20~400ミクロン、2
0~300ミクロン、20~200ミクロン、20~150ミクロン、20~100ミクロン、20~80ミクロン、20~60ミクロン、30~400ミクロン、30~300ミクロン、30~200ミクロン、30~150ミクロン、30~100ミクロン、30~80ミクロン、30~60ミクロン、40~300ミクロン、40~200ミクロン、40~150ミクロン、40~100ミクロン、40~80ミクロン、40~60ミクロン、50~250ミクロン、50~200ミクロン、50~150ミクロン、50~100ミクロン、50~80ミクロン、60~200ミクロン、60~150ミクロン、60~100ミクロン、60~80ミクロン、70~150ミクロン、70~100ミクロン、又は80~100ミクロンであり得る。上記は単なる例にすぎず、基端開口(例えば234)における接続領域(例えば236)の幅Wconは、上記の例と異なり得る(例えば
、以上に列挙した端点のいずれかの範囲内の任意の値)。
【0117】
[00125] 隔離ペンの種々の実施形態では、基端開口(例えば234)における接続領
域(例えば236)の幅Wconは、隔離ペンで意図される微小物体(例えば、T細胞、B
細胞、又は卵細胞若しくは胚であり得る生体細胞)の最大寸法と少なくとも同程度であり得る。上記は単なる例にすぎず、基端開口(例えば234)における接続領域(例えば236)の幅Wconは、上記の例と異なり得る(例えば、以上に列挙した端点のいずれかの
範囲内の幅)。
【0118】
[00126] 隔離ペンの種々の実施形態では、接続領域の基端開口の幅Wprは、隔離ペン
で意図される微小物体(例えば、細胞等の生物学的微小物体)の最大寸法と少なくとも同程度であり得る。例えば、幅Wprは、約50ミクロン、約60ミクロン、約100ミクロン、約200ミクロン、約300ミクロンであり得るか、又は約50~300ミクロン、約50~200ミクロン、約50~100ミクロン、約75~150ミクロン、約75~100ミクロン、若しくは約200~300ミクロンであり得る。
【0119】
[00127] 隔離ペンの種々の実施形態では、接続領域(例えば236)の長さLconと基端開口234における接続領域(例えば236)の幅Wconとの比は、次の比のいずれか
以上、すなわち、0.5、1.0、1.5、2.0、2.5、3.0、3.5、4.0、4.5、5.0、6.0、7.0、8.0、9.0、10.0、又はそれ以上であり得る。上記は単なる例にすぎず、接続領域236の長さのLconと基端開口234における接
続領域236の幅Wconとの比は、上記の例と異なり得る。
【0120】
[00128] マイクロ流体デバイス100、200、23、250、280、290、3
00の種々の実施形態では、Vmaxは、0.2、0.5、0.7、1.0、1.3、1.
5、2.0、2.5、3.0、3.5、4.0、4.5、5.0、5.5、6.0、6.7、7.0、7.5、8.0、8.5、9.0、10、11、12、13、14、又は15マイクロリットル/secの近傍に設定可能である。
【0121】
[00129] 隔離ペンを有するマイクロ流体デバイスの種々の実施形態では、隔離ペンの
分離領域(例えば240)の容積は、例えば、少なくとも5×105、8×105、1×1
06、2×106、4×106、6×106、8×106、1×107、5×107、1×10
8、5×108又は8×108立方ミクロン、又はそれ以上であり得る。隔離ペンを有するマイクロ流体デバイスの種々の実施形態では、隔離ペンの容積は、約5×105、6×
105、8×105、1×106、2×106、4×106、8×106、1×107、3×1
07、5×107、又は約8×107立方ミクロン、又はそれ以上であり得る。いくつかの
他の実施形態では、隔離ペンの容積は、約1ナノリットル~約50ナノリットル、2ナノリットル~~約25ナノリットル、2ナノリットル~約20ナノリットル、約2ナノリットル~約15ナノリットル、又は約2ナノリットル~約10ナノリットルであり得る。
【0122】
[00130] 種々の実施形態では、マイクロ流体デバイスは、本明細書で考察される実施
形態のいずれかと同様に構成される隔離ペンを有する。この場合、マイクロ流体デバイスは、約5~約10の隔離ペン、約10~約50の隔離ペン、約100~約500の隔離ペン、約200~約1000の隔離ペン、約500~約1500の隔離ペン、約1000~約2000の隔離ペン、約1000~約3500の隔離ペン、約3000~約7000の隔離ペン、約5000~約10,000の隔離ペン、約9,000~約15,000の隔離ペン、又は約12,000~約20,000の隔離ペンを有する。隔離ペンは全て同一のサイズである必要はなく、様々な構成(例えば、異なる幅、隔離ペン内の異なるフィーチャ)を含み得る。
【0123】
[00131]
図2Gは、一実施形態にかかるマイクロ流体デバイス280を例示する。図
2Gに例示されるマイクロ流体デバイス280は、マイクロ流体デバイス100の定型化された図である。実際には、マイクロ流体デバイス280及びその構成要素の回路要素(例えば、チャネル122及び隔離ペン128)は、本明細書に考察される寸法を有するであろう。
図2Gに例示されるマイクロ流体回路120は、2つのポート107、4つの識別可能チャネル122、及び4つの識別可能流路106を有する。マイクロ流体デバイス280は、各チャネル122に通じる複数の隔離ペンを更に含む。
図2Gに例示されるマイクロ流体デバイスでは、隔離ペンは、
図2Cに例示されるペンに類似したジオメトリーを有するので、接続領域及び分離領域の両方を有する。したがって、マイクロ流体回路120は、掃引領域(例えば、チャネル122及び二次フロー244の最大侵入深さDp以内の接続領域236の部分)と、非掃引領域(例えば、分離領域240及び二次フロー244の最大侵入深さDp以内にない接続領域236の部分)と、の両方を含む。
【0124】
[00132]
図3A~3Bは、本開示にかかるマイクロ流体デバイス(例えば、100、
200、230、250、280、290、300)の操作及び観測に使用可能なシステム150の種々の実施形態を示す。
図3Aに例示されるように、システム150は、マイクロ流体デバイス100(図示せず)又は本明細書に記載の任意の他のマイクロ流体デバイスを保持するように構成される構造体(「ネスト」)300を含み得る。ネスト300は、マイクロ流体デバイス320(例えば、光学作動動電デバイス100)とのインターフェースと、電源192からマイクロ流体デバイス320への電気接続の提供と、が可能なソケット302を含み得る。ネスト300は、組み込まれた電気シグナル発生サブシステム304を更に含み得る。電気シグナル発生サブシステム304は、ソケット302にバイアス電圧を供給してソケット302により保持されているときにマイクロ流体デバイス320の電極対の両端にバイアス電圧を印加するように構成可能である。そのため、電気シグナル発生サブシステム304は電源192の一部であり得る。マイクロ流体デバイス320にバイアス電圧を印加する能力は、マイクロ流体デバイス320がソケット302により保持されている全ての時間にバイアス電圧が印加されることを意味するものではない。より正確には、ほとんどの場合、バイアス電圧は、間欠的に、例えば、マイクロ流体デバイス320で誘電泳動やエレクトロウェッティング等の動電力の発生を促進する必要があるときのみ、印加されるであろう。
【0125】
[00133]
図3Aに例示されるように、ネスト300は、プリント回路ボードアセンブ
リー(PCBA)322を含み得る。電気シグナル発生サブシステム304は、PCBA322への実装及び電気的一体化が可能である。例示的な支持体は、同様にPCBA322に実装されたソケット302を含む。
【0126】
[00134] 通常、電気信号生成サブシステム304は波形生成器(図示せず)を含む。
電気信号生成サブシステム304は、波形生成器から受信される波形を増幅するように構成されたオシロスコープ(図示せず)及び/又は波形増幅回路(図示せず)を更に含むことができる。オシロスコープは、存在する場合、ソケット302により保持されるマイクロ流体デバイス320に供給される波形を測定するように構成され得る。特定の実施形態では、オシロスコープは、マイクロ流体デバイス320の基端位置(及び波形生成器の先端位置)において波形を測定し、それにより、デバイスに実際に印加されている波形を測定するに当たりより大きい精度を保証する。オシロスコープ測定から得られるデータは、例えば、フィードバックとして波形生成器に提供され得、波形生成器は、そのようなフィードバックに基づいて出力を調整するように構成され得る。適する結合された波形生成器及びオシロスコープの例は、Red Pitaya(商標)である。
【0127】
[00135] 特定の実施形態では、ネスト300は、電気信号生成サブシステム304の
検知及び/又は制御に使用される、マイクロプロセッサ等のコントローラ308を更に含む。適するマイクロプロセッサの例としては、Arduino Nano(商標)等のArduino(商標
)マイクロプロセッサが挙げられる。コントローラ308を使用して機能及び分析を実行し、又は外部マスタコントローラ154(
図1Aに示される)と通信して機能及び分析を実行し得る。
図3Aに示される実施形態では、コントローラ308は、インタフェース310(例えば、プラグ又はコネクタ)を通してマスタコントローラ154と通信する。
【0128】
[00136] 幾つかの実施形態では、ネスト300は、Red Pitaya(商標)波形生成器/
オシロスコープユニット(「Red Pitayaユニット」)を含む電気信号生成サブシステム304と、Red Pitayaユニットにより生成された波形を増幅し、増幅電圧をマイクロ流体デバイス100に渡す波形増幅回路とを含むことができる。幾つかの実施形態では、Red Pitayaユニットは、マイクロ流体デバイス320での増幅電圧を測定し、次に、マイクロ流体デバイス320での測定電圧が所望の値であるように、必要に応じてそれ自体の出力電圧を調整するように構成される。幾つかの実施形態では、波形増幅回路は、PCBA322に搭載されるDC-DCコンバータの対により生成される+6.5V~-6.5V電源を有することができ、その結果、マイクロ流体デバイス100において13Vppまでの信号が生成される。
【0129】
[00137]
図3Aに例示されるように、支持構造体300(例えばネスト)は、熱制御
サブシステム306を更に含み得る。熱制御サブシステム306は、支持構造体300により保持されるマイクロ流体デバイス320の温度を調整するように構成可能である。例えば、熱制御サブシステム306は、ペルティエ熱電デバイス(図示せず)と冷却ユニット(図示せず)とを含み得る。ペルティエ熱電デバイスは、マイクロ流体デバイス320の少なくとも1つの表面とインターフェースするように構成された第1の表面を有し得る。冷却ユニットは、例えば、液冷アルミニウムブロック等の冷却ブロック(図示せず)であり得る。ペルティエ熱電デバイスの第2表面(例えば、第1の表面に対向する表面)は、かかる冷却ブロックの表面とインターフェースするように構成可能である。冷却ブロックは、冷却ブロックを介して冷却流体を循環させるように構成された流体路314に接続可能である。
図3Aに例示される実施形態では、支持構造体300は、外部リザーバー(図示せず)からの冷却流体の受容、流体路314への冷却流体の導入及び冷却ブロックへの貫流、次いで、外部リザーバーへの冷却流体の帰還を行うように、流入口316と流出口318とを含む。いくつかの実施形態では、ペルティエ熱電デバイス、冷却ユニット、
及び/又は流体路314は、支持構造体300のケーシング312に実装可能である。いくつかの実施形態では、熱制御サブシステム306は、マイクロ流体デバイス320の目標温度を達成するようにペルティエ熱電デバイスの温度を調整するように構成される。ペルティエ熱電デバイスの温度調整は、例えば、Pololu(商標)熱電源(Pololu Robotics and Electronics Corp.)等の熱電源により達成可能である。熱制御サブシステム306
は、アナログ回路により提供される温度値等のフィードバック回路を含み得る。代替的に、フィードバック回路は、ディジタル回路により提供可能である。
【0130】
[00138] 幾つかの実施形態では、ネスト300は、抵抗(例えば、抵抗1kオーム+
/-0.1%、温度係数+/-0.02ppm/C0)及びNTCサーミスタ(例えば、公称抵抗1kオーム+/-0.01%を有する)を含むアナログ分圧回路(図示せず)であるフィードバック回路を有する熱制御サブシステム306を含むことができる。幾つかの場合、熱制御サブシステム306は、フィードバック回路からの電圧を測定し、次に、計算された温度値をオンボードPID制御ループアルゴリズムへの入力として使用する。PID制御ループアルゴリズムからの出力は、例えば、Pololu(商標)モーター駆動デバイス(図示せず)上の方向信号及びパルス幅変調信号ピンの両方を駆動して熱電電源を作動させることができ、それにより、ペルチェ熱電デバイスを制御する。
【0131】
[00139] ネスト300は、インターフェース310(図示せず)を介してコントロー
ラ308のマイクロプロセッサと外部マスターコントローラ154との通信を可能にするシリアルポート324を含み得る。そのほか、コントローラ308のマイクロプロセッサは、電気シグナル発生サブシステム304及び熱制御サブシステム306との通信が可能である(例えば、Plinkツール(図示せず)を介して)。そのため、コントローラ308とインターフェース310とシリアルポート324とを組み合わせることにより、電気シグナル発生サブシステム304及び熱制御サブシステム306は、外部マスターコントローラ154との通信が可能である。このようにして、マスターコントローラ154は、特に、出力電圧調整のためにスケーリング計算を実施することにより電気シグナル発生サブシステム304を支援可能である。外部マスターコントローラ154に結合された表示デバイス170を介して提供されるグラフィカルユーザインターフェース(GUI)(図示せず)は、熱制御サブシステム306及び電気シグナル発生サブシステム304からそれぞれ得られる温度及び波形のデータをプロットするように構成可能である。代替的又は追加的に、GUIは、コントローラ308、熱制御サブシステム306、及び電気シグナル発生サブシステム304へのアップデートを可能にし得る。
【0132】
[00140] 以上で考察したように、システム150は撮像デバイス194を含み得る。
いくつかの実施形態では、撮像デバイス194は光変調サブシステム330を含む(
図3B参照)。光変調サブシステム330は、ディジタルミラーデバイス(DMD)又はマイクロシャッターアレイシステム(MSA)を含み得ると共に、いずれも光源332から光を受け取って受け取った光の一部を顕微鏡350の光学縦列に送るように構成可能である。代替的に、光変調サブシステム330は、それ自体が光を生成する(したがって、光源332を必要としないで済む)デバイス、例えば、有機発光ダイオードディスプレイ(OLED)、液晶オンシリコン(LCOS)デバイス、強誘電性液晶オンシリコンデバイス(FLCOS)、又は透過液晶ディスプレイ(LCD)を含み得る。光変調サブシステム330は、例えば、プロジェクターであり得る。そのため、光変調サブシステム330は、構造化光及び非構造化光の両方を発光可能である。特定の実施形態では、システム150の撮像モジュール164及び/又は原動モジュール162は、光変調サブシステム330を制御可能である。
【0133】
[00141] 特定の実施形態では、撮像デバイス194は顕微鏡350を更に含む。かか
る実施形態では、ネスト300及び光変調サブシステム330は、顕微鏡350に実装さ
れるように個別に構成可能である。顕微鏡350は、例えば、標準的な研究グレードの光学顕微鏡又は蛍光顕微鏡であり得る。そのため、ネスト300は、顕微鏡350のステージ344に実装されるように構成可能であり、及び/又は光変調サブシステム330は、顕微鏡350のポートに実装されるように構成可能である。他の実施形態では、本明細書に記載のネスト300及び光変調サブシステム330は、顕微鏡350の一体化コンポーネントであり得る。
【0134】
[00142] 特定の実施形態では、顕微鏡350は1つ以上の検出器348を更に含み得
る。いくつかの実施形態では、検出器348は撮像モジュール164により制御される。検出器348は、接眼レンズ、電荷結合デバイス(CCD)、カメラ(例えばディジタルカメラ)、又はそれらの任意の組合せを含み得る。少なくとも2つの検出器348が存在する場合、1つの検出器は、例えば、高速フレームレートカメラであり得ると共に、他の検出器は高感度カメラであり得る。更に、顕微鏡350は、マイクロ流体デバイス320からの反射光及び/又は発光光を受け取って反射光及び/又は発光光の少なくとも一部を1つ以上の検出器348に集束させるように構成された光学縦列を含み得る。顕微鏡の光学縦列はまた、各検出器の最終倍率が異なり得るように異なる検出器に対して異なるチューブレンズ(図示せず)を含み得る。
【0135】
[00143] 特定の実施形態では、撮像デバイス194は、少なくとも2つの光源を使用
するように構成される。例えば、第1の光源332は、構造化光(例えば、光変調サブシステム330を介する)を出力するために使用可能であり、第2の光源334は、非構造化光を提供するために使用可能である。第1の光源332は、光学作動動電性及び/又は蛍光励起のために構造化光を生成可能であり、第2の光源334は、明視野照明を提供するために使用可能である。これらの実施形態では、原動モジュール164は、第1の光源332を制御するために使用可能であり、撮像モジュール164は、第2の光源334を制御するために使用可能である。顕微鏡350の光学縦列は、(1)デバイスがネスト300により保持されたとき、光変調サブシステム330から構造化光を受け取ってマイクロ流体デバイスの少なくとも第1の領域、例えば、光学作動動電デバイスに構造化光を集束させるように、且つ(2)マイクロ流体デバイスから反射光及び/又は発光光を受け取ってかかる反射光及び/又は発光光の少なくとも一部を検出器348に集束させるように、構成可能である。光学縦列は、デバイスがネスト300により保持されたとき、第2の光源から非構造化光を受け取って、マイクロ流体デバイスの少なくとも第2の領域に非構造化光を集束させるように、更に構成可能である。特定の実施形態では、マイクロ流体デバイスの第1及び第2の領域はオーバーラップ領域であり得る。例えば、第1の領域は、第2の領域のサブセットであり得る。他の実施形態では、第2の光源334は、追加的又は代替的に、任意の好適な波長の光を有し得るレーザーを含み得る。
図3Bに示される光学システムの図は模式図にすぎず、光学システムは、追加のフィルタ、ノッチフィルタ、レンズ等を含み得る。第2の光源334が明視野及び/又は蛍光励起更にはレーザー照明のための1つ以上の光源を含む場合、光源の物理的構成は、
図3Bに示されるものと異なり得ると共に、レーザー照明は、光学システム内の任意の好適な物理的位置に導入し得る。光源334及び光源332/光変調サブシステム330の模式的位置は、同様に交換し得る。
【0136】
[00144]
図3Bでは、第1の光源332は、システム355(図示せず)の顕微鏡3
50の光学縦列に構造化光を提供する光変調サブシステム330に光を供給するように示される。第2の光源334は、ビームスプリッター336を介して光学縦列に非構造化光を提供するように示される。光変調サブシステム330からの構造化光及び第2の光源334からの非構造化光は、ビームスプリッター336から光学縦列を介して進行して一緒に第2のビームスプリッター(又は光変調サブシステム330により提供される光に依存してダイクロイックフィルタ338)に達し、そこで光は下方に反射されて対物レンズ3
36を介してサンプル平面342に至る。次いで、サンプル平面342からの反射光及び/又は発光光は、対物レンズ340を介して上向きに進行して戻り、ビームスプリッター及び/又はダイクロイックフィルタ338を介してダイクロイックフィルタ346に至る。ダイクロイックフィルタ346に達する光の一部のみが通り抜けて検出器348に達する。
【0137】
[00145] いくつかの実施形態では、第2の光源334は青色光を発する。適切なダイ
クロイックフィルタ346を用いれば、サンプル平面342から反射された青色光は、ダイクロイックフィルタ346を通り抜けて検出器348に達し得る。これとは対照的に、光変調サブシステム330から到来する構造化光は、サンプル平面342から反射されるが、ダイクロイックフィルタ346を通り抜けない。この例では、ダイクロイックフィルタ346は、495nmよりも長い波長を有する可視光を除去している。光変調サブシステム330からの光のかかる除去は、光変調サブシステムから発せられた光が495nmよりも短い波長を何ら含んでいない場合のみ、(示されるように)完全であるにすぎない。実際には、光変調サブシステム330から到来する光が495nm(例えば、青色波長)よりも短い波長を含んでいれば、光変調サブシステムからの光の一部は、フィルタ346を通り抜けて検出器348に達するであろう。かかる実施形態では、フィルタ346は、第1の光源332及び第2の光源334から検出器348に達する光の量のバランスを変化させるように作用する。これは、第1の光源332が第2の光源334よりも有意に強い場合に有益であり得る。他の実施形態では、第2の光源334は赤色光を発することが可能であり、且つダイクロイックフィルタ346は、赤色光以外の可視光(例えば、650nmよりも短い波長を有する可視光)を除去可能である。
【0138】
[00146] コーティング溶液及びコーティング剤。理論により限定することを意図する
ものではないが、マイクロ流体デバイスとその中に維持された生物学的微小物体との間に主要なインターフェースを提供する有機分子及び/又は親水性分子の層を呈するようにマイクロ流体デバイスの少なくとも1つ以上の内面が調整又はコーティングされている場合、マイクロ流体デバイス(例えば、DEP構成及び/又はEW構成のマイクロ流体デバイス)内の生物学的微小物体(例えば、生体細胞)の維持は容易であり得る(すなわち、生物学的微小物体は、マイクロ流体デバイス内で向上した生存能、より大量の増殖、及び/又はより向上した可搬性を呈する)。いくつかの実施形態では、マイクロ流体デバイスの内面(例えば、DEP構成マイクロ流体デバイスの電極活性化基板の内面、マイクロ流体デバイスのカバーの内面、及び/又は回路材料の表面)の1つ以上は、有機分子及び/又は親水性分子の所望の層を生成するようにコーティング溶液及び/又はコーティング剤で処理又は改質し得る。
【0139】
[00147] コーティングは、生物学的微小物体の導入前又は導入後に施してもよいし、
生物学的微小物体と同時に導入してもよい。いくつかの実施形態では、生物学的微小物体は、1つ以上のコーティング剤を含む流体培地に入れてマイクロ流体デバイスに搬入し得る。他の実施形態では、マイクロ流体デバイス(例えば、DEP構成マイクロ流体デバイス)の内面は、マイクロ流体デバイスへの生物学的微小物体の導入前にコーティング剤を含むコーティング溶液で処理又は「プライミング」される。
【0140】
[00148] いくつかの実施形態では、マイクロ流体デバイスの少なくとも1つの表面は
、生物学的微小物体の維持及び/又は増殖に好適な有機分子及び/又は親水性分子の層を提供する(例えば、以下に記載の調整された表面を提供する)コーティング材料を含む。いくつかの実施形態では、マイクロ流体デバイスの内面は実質的に全て、コーティング材料を含む。コーティングされた内面は、フロー領域(例えばチャネル)、チャンバ、若しくは隔離ペンの表面又はそれらの組合せを含み得る。いくつかの実施形態では、複数の隔離ペンのそれぞれは、コーティング材料でコーティングされた少なくとも1つの内面を有
する。他の実施形態では、複数のフロー領域又はチャネルのそれぞれは、コーティング材料でコーティングされた少なくとも1つの内面を有する。いくつかの実施形態では、複数の隔離ペンのそれぞれ及び複数のチャネルのそれぞれの少なくとも1つの内面は、コーティング材料でコーティングされる。
【0141】
[00149] コーティング剤/溶液。限定されるものではないが、血清又は血清因子、ウ
シ血清アルブミン(BSA)、ポリマー、界面活性剤、酵素、及びそれらの任意の組合せをはじめとする任意の便利なコーティング剤/コーティング溶液を使用可能である。
【0142】
[00150] ポリマー系コーティング材料。少なくとも1つの内面は、ポリマーを含むコ
ーティング材料を含み得る。ポリマーは、少なくとも1つの表面に共有結合又は非共有結合し得る(又は非特異的に装着し得る)。ポリマーは、ブロックポリマー(及びコポリマー)、スターポリマー(スターコポリマー)、及びグラフトポリマー又はコームポリマー(グラフトコポリマー)に見られるような様々な構造モチーフを有し得ると共に、それらは全て、本明細書に開示される方法に好適であり得る。
【0143】
[00151] ポリマーは、アルキレンエーテル部分を含むポリマーを含み得る。多種多様
なアルキレンエーテル含有ポリマーが本明細書に記載のマイクロ流体デバイスに使用するのに好適であり得る。限定されるものではないがアルキレンエーテル含有ポリマーの例示的なクラスの1つは、ポリエチレンオキシド(PEO)サブユニットのブロックとポリプロピレンオキシド(PPO)サブユニットのブロックとを様々な比で及びポリマー鎖内の様々な位置で含む両親媒性非イオン性ブロックコポリマーである。Pluronic(登録商標)ポリマー(BASF)は、このタイプのブロックコポリマーであり、生細胞に接触した状態で使用するのに好適であることが当技術分野で公知である。このポリマーは、平均分子量Mwが約2000Da~約20KDaの範囲内であり得る。いくつかの実施形態では、PE
O-PPOブロックコポリマーは、約10超(例えば12~18)の親水性親油性バランス(HLB)を有し得る。コーティング表面の生成に有用な具体的なPluronic(登録商標)ポリマーとしては、Pluronic(登録商標)L44、L64、P85、及びF127(F127NFを含む)が挙げられる。アルキレンエーテル含有ポリマーの他のクラスは、ポリエチレングリコール(PEG Mw<100,000Da)又は代替的にポリエチレン
オキシド(PEO、Mw>100,000)である。いくつかの実施形態では、PEGは
、約1000Da、5000Da、10,000Da、又は20,000DaのMwを有
し得る。
【0144】
[00152] 他の実施形態では、コーティング材料は、カルボン酸部分を含有するポリマ
ーを含み得る。カルボン酸サブユニットは、アルキル部分、アルケニル部分、又は芳香族部分を含有するサブユニットであり得る。限定されるものではないが一例は、ポリ乳酸(PLA)である。他の実施形態では、コーティング材料は、ポリマー骨格の末端又はポリマー骨格からのペンダントのいずれかにリン酸部分を含有するポリマーを含み得る。更に他の実施形態では、コーティング材料は、スルホン酸部分を含有するポリマーを含み得る。スルホン酸サブユニットは、アルキル部分、アルケニル部分、又は芳香族部分を含有するサブユニットであり得る。限定されるものではないが一例は、ポリスチレンスルホン酸(PSSA)又はポリアネトールスルホン酸である。更なる実施形態では、コーティング材料は、アミン部分を含むポリマーを含み得る。ポリアミノポリマーは、天然ポリアミンポリマー又は合成ポリアミンポリマーを含み得る。天然ポリアミンの例としては、スペルミン、スペルミジン、及びプトレシンが挙げられる。
【0145】
[00153] 他の実施形態では、コーティング材料は、糖部分を含有するポリマーを含み
得る。限定されるものではないが例として、キサンタンガムやデキストラン等の多糖は、マイクロ流体デバイスにおいて細胞固着を低減又は防止し得る材料を形成するのに好適で
あり得る。例えば、約3kDaのサイズを有するデキストランポリマーは、マイクロ流体デバイス内の表面のコーティング材料を提供するために使用し得る。
【0146】
[00154] 他の実施形態では、コーティング材料は、ヌクレオチド部分を含有するポリ
マー、すなわち、リボヌクレオチド部分又はデオキシリボヌクレオチド部分を有し得る核酸を含んで、高分子電解質表面を提供し得る。核酸は、天然ヌクレオチド部分のみを含有し得るか、又はヌクレオ塩基、リボース、若しくはリン酸の部分のアナログ、例えば、限定されるものではないが7-デアザアデニン、ペントース、メチルホスホネート、又はホスホロチオエートの部分を含む非天然ヌクレオチド部分を含有し得る。
【0147】
[00155] 更に他の実施形態では、コーティング材料は、アミノ酸部分を含有するポリ
マーを含み得る。アミノ酸部分を含有するポリマーは、天然アミノ酸含有ポリマー又は非天然アミノ酸含有ポリマーを含み得ると共に、それらはいずれもペプチド、ポリペプチド、又はタンパク質を含み得る。限定されるものではないが一例では、タンパク質は、ウシ血清アルブミン(BSA)及び/又はコーティング剤としてアルブミン及び/又は1つ以上の他の類似のタンパク質を含む血清(又は複数の異なる血清の組み合わせ)であり得る。血清は、限定されるものではないがウシ胎仔血清、ヒツジ血清、ヤギ血清、ウマ血清等をはじめとする任意の便利な供給源に由来し得る。特定の実施形態では、コーティング溶液中のBSAは、5mg/mL、10mg/mL、20mg/mL、30mg/mL、40mg/mL、50mg/mL、60mg/mL、70mg/mL、80mg/mL、90mg/mL、若しくはそれ以上、又はそれらの間の任意の位置を含めて、約1mg/mL~約100mg/mLの濃度で存在する。特定の実施形態では、コーティング溶液中の血清は、25%、30%、35%、40%、45%、若しくはそれ以上、又はそれらの間の任意の位置を含めて、約20%(v/v)~約50%v/vの濃度で存在し得る。いくつかの実施形態では、BSAは、5mg/mLでコーティング溶液中にコーティング剤として存在し得る。これに対して、他の実施形態では、BSAは、70mg/mLでコーティング溶液中にコーティング剤として存在し得る。特定の実施形態では、血清は、30%でコーティング溶液中にコーティング剤として存在する。いくつかの実施形態では、細胞接着を最適化して細胞成長を促進するために細胞外マトリックス(ECM)タンパク質をコーティング材料中に提供し得る。コーティング材料に含まれ得る細胞マトリックスタンパク質としては、限定されるものではないがコラーゲン、エラスチン、RGD含有ペプチド(例えばフィブロネクチン)、又はラミニンが挙げられ得る。更に他の実施形態では、成長因子、サイトカイン、ホルモン、又は他の細胞シグナリング種をマイクロ流体デバイスのコーティング材料中に提供し得る。
【0148】
[00156] いくつかの実施形態では、コーティング材料は、アルキレンオキシド部分、
カルボン酸部分、スルホン酸部分、リン酸部分、糖部分、ヌクレオチド部分、又はアミノ酸部分の2つ以上を含有するポリマーを含み得る。他の実施形態では、ポリマーで調整された表面は、アルキレンオキシド部分、カルボン酸部分、スルホン酸部分、リン酸部分、糖部分、ヌクレオチド部分、及び/又はアミノ酸部分をそれぞれ有する2種以上のポリマーの混合物を含み得ると共に、それらは、別々に又は同時にコーティング材料に組み込み得る。
【0149】
[00157] 共有結合コーティング材料。いくつかの実施形態では、少なくとも1つの内
面は、マイクロ流体デバイス内における生物学的微小物体の維持/増殖に好適な有機分子及び/又は親水性分子の層を提供する共有結合分子を含み、かかる細胞に対して調整された表面を提供する。
【0150】
[00158] 以下に記載されるように、共有結合分子は結合基を含み、結合基はマイクロ
流体デバイスの1つ以上の表面に共有結合される。結合基はまた、生物学的微小物体の維
持/増殖に好適な有機分子及び/又は親水性分子の層を提供するように構成された部分に共有結合される。
【0151】
[00159] いくつかの実施形態では、生物学的微小物体の維持/増殖に好適な有機分子
及び/又は親水性分子の層を提供するように構成された共有結合部分は、アルキル部分又はフルオロアルキル(ペルフルオロアルキルを含む)部分、単糖又は多糖(限定されるものではないがデキストランを含み得る)、アルコール(限定されるものではないがプロパルギルアルコールを含む)、ポリアルコール、限定されるものではないがポリビニルアルコールを含む、アルキレンエーテル、限定されるものではないがポリエチレングリコールを含む、高分子電解質(限定されるものではないがポリアクリル酸又はポリビニルホスホン酸を含む)、アミノ基(その誘導体、例えば、限定されるものではないがアルキル化アミン、ヒドロキシアルキル化アミノ基、グアニジニウム、及び非芳香族窒素環原子含有ヘテロ環式基、例えば、限定されるものではないがモルホリニル又はピペラジニルを含む)、カルボン酸、限定されるものではないがプロピオル酸を含む(カルボキシレートアニオン性表面を供給し得る)、ホスホン酸、限定されるものではないがエチニルホスホン酸を含む(ホスホネートアニオン性表面を提供し得る)、スルホネートアニオン、カルボキシベタイン、スルホベタイン、スルファミン酸、又はアミノ酸を含み得る。
【0152】
[00160] 種々の実施形態では、マイクロ流体デバイスにおいて生物学的微小物体の維
持/増殖に好適な有機分子及び/又は親水性分子の層を提供するように構成された共有結合部分は、非ポリマー部分、例えば、アルキル部分、置換アルキル部分、例えば、フルオロアルキル部分(限定されるものではないがペルフルオロアルキル部分を含む)、アミノ酸部分、アルコール部分、アミノ部分、カルボン酸部分、ホスホン酸部分、スルホン酸部分、スルファミン酸部分、又は糖部分を含み得る。代替的に、共有結合部分は、以上に記載の部分のいずれかであり得る高分子部分を含み得る。
【0153】
[00161] いくつかの実施形態では、共有結合アルキル基部分は、直鎖(例えば、少な
くとも10個の炭素又は少なくとも14、16、18、20、22個、若しくはそれ以上の炭素の直鎖)を形成する炭素原子を含む。いくつかの実施形態では、アルキル基は、置換アルキル基を含み得る(例えば、アルキル基の炭素のいくつかは、フッ素化又は過フッ素化し得る)。いくつかの実施形態では、アルキル基は、非置換アルキル基を含み得る第2のセグメントに連結された、ペルフルオロアルキル基を含み得る第1のセグメントを含み得ると共に、第1及び第2のセグメントは、直接的又は間接的に(例えば、エーテル結合により)連結し得る。アルキル基の第1のセグメントは、結合基から離れて位置し得ると共に、アルキル基の第2のセグメントは結合基に近接して位置し得る。
【0154】
[00162] 他の実施形態では、共有結合部分は、少なくとも1つのアミノ酸を含み得る
と共に2つ以上のタイプのアミノ酸を含み得る。そのため、共有結合部分は、ペプチド又はタンパク質を含み得る。いくつかの実施形態では、共有結合部分は、細胞の成長、生存能、可搬性、又はそれらの任意の組合せをサポートするために双性イオン性表面を提供し得るアミノ酸を含み得る。
【0155】
[00163] 他の実施形態では、共有結合部分は、少なくとも1つのアルキレンオキシド
部分を含み得ると共に、以上に記載の任意のアルキレンオキシドポリマーを含み得る。アルキレンエーテル含有ポリマーの有用な一クラスは、ポリエチレングリコール(PEG Mw<100,000Da)又は代替的にポリエチレンオキシド(PEO、Mw>100,000)である。いくつかの実施形態では、PEGは、約1000Da、5000Da、10,000Da、又は20,000DaのMwを有し得る。
【0156】
[00164] 共有結合部分は、1つ以上の糖を含み得る。共有結合糖は、単糖、二糖、又
は多糖であり得る。共有結合糖は、表面へのカップリング又は装着精緻化を可能にする反応性対部分を導入するように修飾し得る。例示的な反応性対部分は、アルデヒド部分、アルキン部分、又はハロ部分を含み得る。多糖はランダムに修飾し得る。この場合、表面に直接的又は間接的にカップリングし得る反応性対部分を提供するために、多糖内の糖モノマーのそれぞれを修飾し得るか又は糖モノマーの一部分のみを修飾し得る。一代表例は、非分岐状リンカーを介して表面に間接的にカップリングし得るデキストラン多糖を含み得る。
【0157】
[00165] 共有結合部分は、1つ以上のアミノ基を含み得る。アミノ基は、置換アミン
部分、グアニジン部分、窒素含有ヘテロ環式部分、又はヘテロアリール部分であり得る。アミノ含有部分は、マイクロ流体デバイス内、任意選択的に隔離ペン内及び/又はフロー領域(例えばチャネル)内の環境のpH調整を可能にする構造を有し得る。
【0158】
[00166] 調整された表面を提供するコーティング材料は、1種類のみの共有結合部分
を含み得るか又は2種類以上の異なる共有結合部分を含み得る。例えば、フルオロアルキルで調整された表面(ペルフルオロアルキルを含む)は、全て同一の、例えば、同一の結合基及び表面への共有結合、同一の全長、並びにフルオロアルキル部分を含む同一の数のフルオロメチレンユニットを有する、複数の共有結合部分を有し得る。代替的に、コーティング材料は、表面に装着された2種類以上の共有結合部分を有し得る。例えば、コーティング材料は、特定数のメチレンユニット又はフルオロメチレンユニットを有する共有結合されたアルキル部分又はフルオロアルキル部分を有する分子を含み得ると共に、より嵩高い部分をコーティング表面に呈する能力を提供し得るより多数のメチレンユニット又はフルオロメチレンユニットを有するアルキル鎖又はフルオロアルキル鎖に共有結合された荷電部分を有する分子の更なるセットを更に含み得る。この場合、異なるそれほど立体的に嵩高くない末端及びより少数の骨格原子を有する分子の第1のセットは、全基板表面の機能化を支援可能であり、それにより、基板自体を構成するシリコン/酸化ケイ素、酸化ハフニウム、又はアルミナへの望ましくない接着又は接触を防止する。他の例では、共有結合部分は、表面上にランダムに交互電荷を呈する双性イオン性表面を提供し得る。
【0159】
[00167] 調整された表面の性質。調整された表面の組成以外に、疎水性材料の物理的
厚さ等の他の因子がDEP力に影響を及ぼし得る。調整された表面を基板に形成する方法(例えば、気相堆積、液相堆積、スピンコーティング、フラッディング、静電コーティング)等の種々の因子は、調整された表面の物理的厚さを変化させ得る。いくつかの実施形態では、調整された表面は、約1nm~約10nm、約1nm~約7nm、約1nm~約5nm、又はそれらの間の任意の個別値の厚さを有する。他の実施形態では、共有結合された部分により形成された調整された表面は、約10nm~約50nmの厚さを有し得る。種々の実施形態では、本明細書に記載されるように作製された調整された表面は、10nm未満の厚さを有する。いくつかの実施形態では、調整された表面の共有結合された部分は、マイクロ流体デバイスの表面(例えば、DEP構成の基板表面)に共有結合された場合、単層を形成し得ると共に、10nm未満(例えば、5nm未満又は約1.5~3.0nm)の厚さを有し得る。これらの値は、例えば、典型的には約30nmの厚さを有し得るスピンコーティングにより作製された表面のものとは対照的である。いくつかの実施形態では、調整された表面は、DEP構成のマイクロ流体デバイス内の操作で好適に機能するように完全に形成された単層を必要とするものではない。
【0160】
[00168] 種々の実施形態では、マイクロ流体デバイスの調整された表面を提供するコ
ーティング材料は、望ましい電気的性質を提供し得る。理論により限定することを意図するものではないが、特定のコーティング材料でコーティングされた表面のロバスト性に影響を及ぼす因子の1つは、固有電荷トラッピングである。様々なコーティング材料が電子をトラップし得るので、コーティング材料が破壊されるおそれがある。コーティング材料
の欠陥は、電荷トラッピングを増加させてコーティング材料の更なる破壊をもたらし得る。同様に、様々なコーティング材料が様々な絶縁耐力(すなわち、絶縁破壊をもたらす最小印加電界)を有するので、電荷トラッピングが影響を受けるおそれがある。特定の実施形態では、コーティング材料は、電荷トラッピングの量を低減又は制限する全体構造(例えば、密充填単層構造)を有し得る。
【0161】
[00169] 電気的性質のほか、調整された表面はまた、生物学的分子との併用に有益な
性質を有し得る。例えば、フッ素化(又は過フッ素化)炭素鎖を含有する調整された表面は、表面ファウリング量の低減に関してアルキル末端鎖と比べて利益を提供し得る。本明細書で使用される表面ファウリングとは、マイクロ流体デバイスの表面上への無差別な材料堆積量を意味し、これは、バイオ材料、例えば、タンパク質及びその分解産物、核酸及び各分解産物等の永久的又は半永久的な堆積を含み得る。
【0162】
[00170] 単一部分又は複数部分で調整された表面。共有結合コーティング材料は、以
下に記載されるように、マイクロ流体デバイスにおける生物学的微小物体の維持/増殖に好適な有機分子及び/又は親水性分子の層を提供するように構成された部分をすでに含有する分子の反応により形成し得る。代替的に、共有結合コーティング材料は、生物学的微小物体の維持/増殖に好適な有機分子及び/又は親水性分子の層を提供するように構成された部分と、それ自体が表面に共有結合された表面改質リガンドと、をカップリングさせることにより2部系列で形成し得る。
【0163】
[00171] 共有結合コーティング材料を調製する方法。いくつかの実施形態では、マイ
クロ流体デバイスの表面(例えば、隔離ペン及び/又はフロー領域の少なくとも1つの表面を含む)に共有結合されるコーティング材料は、式1又は式2の構造を有する。コーティング材料を一工程で表面に導入する場合、それは式1の構造を有し、一方、コーティング材料を多工程プロセスで導入する場合、それは式2の構造を有する。
【化1】
【0164】
[00172] コーティング材料は、DEP構成又はEW構成の基板の表面の酸化物に共有
結合し得る。DEP構成又はEW構成の基板は、シリコン、酸化ケイ素、アルミナ、又は酸化ハフニウムを含み得る。酸化物は、基板の天然化学構造の一部として存在し得るか又は以下で考察されるように導入し得る。
【0165】
[00173] コーティング材料は、シロキサン基又はホスホン酸基と酸化物との反応から
形成されるシロキシ基又はホスホネートエステル基であり得る結合基(「LG」)を介して酸化物に装着し得る。マイクロ流体デバイスにおいて生物学的微小物体の維持/増殖に好適な有機分子及び/又は親水性分子の層を提供するように構成された部分は、本明細書に記載の部分のいずれかであり得る。結合基LGは、マイクロ流体デバイスにおいて生物学的微小物体の維持/増殖に好適な有機分子及び/又は親水性分子の層を提供するように構成された部分に直接的又は間接的に接続し得る。結合基LGが部分に直接的に接続され
る場合、任意選択的なリンカー(「L」)は存在しないのでnは0である。結合基LGが部分に間接的に接続される場合、リンカーLは存在するのでnは1である。リンカーLは線状部分を有し得ると共に、線状部分の骨格は、当技術分野で公知の化学結合制限に従ってケイ素、炭素、窒素、酸素、硫黄、及び/又はリンの原子の任意の組合せから選択される1~200個の非水素原子を含み得る。それにはエーテル基、アミノ基、カルボニル基、アミド基、及び/又はホスホネート基、アリーレン基、ヘテロアリーレン基、又はヘテロ環式基から選択し得る1つ以上の部分の任意の組合せが介在し得る。いくつかの実施形態では、リンカーLの骨格は10~20原子を含み得る。他の実施形態では、リンカーLの骨格は、約5原子~約200原子、約10原子~約80原子、約10原子~約50原子、又は約10原子~約40原子を含み得る。いくつかの実施形態では、骨格原子は全て炭素原子である。
【0166】
[00174] いくつかの実施形態では、生物学的微小物体の維持/増殖に好適な有機分子
及び/又は親水性分子の層を提供するように構成された部分は、以上に示されたように、多工程プロセスで基板の表面に付加し得ると共に式2の構造を有する。この部分は以上に記載の部分のいずれかであり得る。
【0167】
[00175] いくつかの実施形態では、カップリング基CGは、反応性部分Rxと反応性対部分Rpx(すなわち、反応性部分Rxと反応するように構成された部分)との反応から得
られる基を表す。例えば、典型的なカップリング基CGの1つは、アミノ基と、カルボン酸の誘導体、例えば、活性化エステル、酸塩化物等と、の反応の結果であるカルボキサミジル基を含み得る。他のCGは、トリアゾリレン基、カルボキサミジル、チオアミジル、オキシム、メルカプチル、ジスルフィド、エーテル、若しくはアルケニル基、又は反応性部分とそのそれぞれの反応性対部分との反応により形成し得る任意の他の好適な基を含み得る。カップリング基CGは、以上に記載の要素の任意の組合せを含み得るリンカーLの第2の末端(すなわち、マイクロ流体デバイスにおいて生物学的微小物体の維持/増殖に好適な有機分子及び/又は親水性分子の層を提供するように構成された部分に近接する末端)に位置し得る。いくつかの他の実施形態では、カップリング基CGは、リンカーLの骨格に介在し得る。カップリング基CGがトリアゾリレンである場合、それはクリックカップリング反応から生じる生成物であり得ると共に、更に置換し得る(例えば、ジベンゾシクロオクテニル縮合トリアゾリレン基)。
【0168】
[00176] いくつかの実施形態では、コーティング材料(又は表面改質リガンド)は、
化学気相堆積を用いてマイクロ流体デバイスの内面上に堆積される。気相堆積プロセスは、任意選択的に、例えば、カバー110、マイクロ流体回路材料116、及び/又は基板(例えば、DEP構成基板の電極活性化基板206の内面208又はEW構成基板の支持構造体104の誘電体層)のプレクリーニングにより、溶媒浴、超音波処理、又はそれらの組み合わせへの暴露により改善可能である。代替的又は追加的に、かかるプレクリーニングは、種々の不純物を除去可能であると同時に酸化表面(例えば、本明細書に記載されるように共有結合修飾し得る表面の酸化物)を導入する酸素プラズマクリーナーによるカバー110、マイクロ流体回路材料116、及び/又は基板の処理を含み得る。代替的に、酸素プラズマクリーナーの代わりに、塩酸と過酸化水素との混合物又は硫酸と過酸化水素との混合物(例えば、約3:1~約7:1の硫酸対過酸化水素比を有し得るピラニア溶液)を使用し得る。
【0169】
[00177] いくつかの実施形態では、気相堆積は、マイクロ流体デバイス200をアセ
ンブルしてマイクロ流体回路120を規定するエンクロージャ102を形成した後にマイクロ流体デバイス200の内面をコーティングするために使用される。理論により限定することを意図するものではないが、完全にアセンブルされたマイクロ流体回路120上にかかるコーティング材料を堆積させることは、マイクロ流体回路材料116と電極活性化
基板206誘電体層及び/又はカバー110との間の結合の弱化により引き起こされるデラミネーションの防止に有益であり得る。2工程プロセスを利用する実施形態では、以上に記載されるように気相堆積により表面改質リガンドを導入してから、生物学的微小物体の維持/増殖に好適な有機分子及び/又は親水性分子の層を提供するように構成された部分を導入し得る。後続反応は、表面改質マイクロ流体デバイスを溶液中で好適なカップリング試薬に暴露することにより実施し得る。
【0170】
[00178]
図2Hは、調整された表面を提供する例示的な共有結合コーティング材料を
有するマイクロ流体デバイス290の断面図を示す。例示されるように、コーティング材料298(模式的に示される)は、DEP基板であり得るベース286の内面294及びマイクロ流体デバイス290のカバー288の内面292の両方に共有結合された密充填分子の単層を含み得る。コーティング材料298は、いくつかの実施形態では以上で考察したように、マイクロ流体デバイス290内の回路要素及び/又は構造体を規定するために使用されるマイクロ流体回路材料(図示せず)の表面を含めて、マイクロ流体デバイス290のエンクロージャ284に近接する内向きの実質的に全て内面294、292上で配置可能である。代替的な実施形態では、コーティング材料298は、マイクロ流体デバイス290の内面の1つのみ又はいくつかの上に配置可能である。
【0171】
[00179]
図2Hに示される実施形態では、コーティング材料298は、オルガノシロ
キサン分子の単層を含み得ると共に、各分子は、シロキシリンカー296を介してマイクロ流体デバイス290の内面292、294に共有結合される。以上で考察したコーティング材料298はいずれも使用可能であり(例えば、オルガノシロキシ部分に対するアルキル末端部分、フルオロアルキル末端部分、PEG末端部分、デキストラン末端部分、又は正電荷若しくは負電荷を含有する末端部分)、末端部分は、そのエンクロージャ対向末端(すなわち、内面292、294に結合せずにエンクロージャ284に近接するコーティング材料298の単層部分)に配置される。
【0172】
[00180] 他の実施形態では、マイクロ流体デバイス290の内面292、294をコ
ーティングするために使用されるコーティング材料298は、アニオン性、カチオン性、若しくは双性イオン性の部分又はそれらの任意の組合せを含み得る。理論により限定することを意図するものではないが、マイクロ流体回路120のエンクロージャ284の内面にカチオン性部分、アニオン性部分、及び/又は双性イオン性部分を呈することにより、コーティング材料298は、得られる水和水が生物学的微小物体と非生物学的分子(例えば、基板のシリコン及び/又は酸化ケイ素)との相互作用を回避する層(又は「シールド」)として作用するように水分子との強い水素結合を形成可能である。そのほか、コーティング材料298がコーティング剤と併用される実施形態では、コーティング材料298のアニオン、カチオン、及び/又は双性イオンは、エンクロージャ284内の培地180(例えばコーティング溶液)に存在する非共有結合コーティング剤(例えば溶液中のタンパク質)の荷電部分とのイオン結合を形成可能である。
【0173】
[00181] 更に他の実施形態では、コーティング材料は、そのエンクロージャ対向末端
に親水性コーティング剤を含み得るか又はそれを呈するように化学修飾し得る。いくつかの実施形態では、コーティング材料は、PEG等のアルキレンエーテル含有ポリマーを含み得る。いくつかの実施形態では、コーティング材料は、デキストラン等の多糖を含み得る。以上で考察した荷電部分(例えば、アニオン性、カチオン性、及び双性イオン性の部分)のように、親水性コーティング剤は、得られる水和水が生物学的微小物体と非生物学的分子(例えば、基板のシリコン及び/又は酸化ケイ素)との相互作用を回避する層(又は「シールド」)として作用するように水分子との強い水素結合を形成可能である。
【0174】
[00182] 適切なコーティング処理及び改質の更なる詳細は、2016年4月22日出
願の米国特許出願第15/135,707号(その全体が参照により組み込まれる)に見いだし得る。
【0175】
[00183] マイクロ流体デバイスの隔離ペン内の細胞の生存能を維持するための追加の
システムコンポーネント。細胞集団の成長及び/又は増殖を促進するために、システムの追加のコンポーネントにより機能細胞の維持の助けとなる環境条件を提供し得る。例えば、かかる追加のコンポーネントは、栄養素、細胞成長シグナリング種、pH調節、ガス交換、温度制御、及び細胞からの老廃物の除去を提供可能である。
【0176】
[00184] コンピュータシステム
[00185]
図7は、本教示にかかる実施形態又は実施形態の一部分を実現し得るコンピ
ュータシステム1000を例示するブロック図である。本教示の種々の実施形態では、コンピュータシステム1000は、情報通信用のバス1002又は他の通信機構と、バス1002に結合された情報処理用のプロセッサ1004と、を含み得る。種々の実施形態では、コンピュータシステム1000はまた、プロセッサ1004により実行される命令を決定するために、バス1002に結合されたランダムアクセスメモリ(RAM)又は他の動的記憶デバイスであり得るメモリ1006を含み得る。メモリ1006はまた、プロセッサ1004により実行される命令の実行時に一時変数又は他の中間情報を記憶するために使用可能である。種々の実施形態では、コンピュータシステム1000は、静的情報及びプロセッサ1004用命令を記憶するために、バス1002に結合されたリードオンリーメモリ(ROM)1008又は他の静的記憶デバイスを更に含み得る。情報及び命令を記憶するために、磁気ディスクや光ディスク等の記憶デバイス1010を提供してバス1002に結合することが可能である。
【0177】
[00186] 種々の実施形態では、コンピュータシステム1000は、情報をコンピュー
タユーザに表示するために、バス1002を介して陰極線管(CRT)や液晶ディスプレイ(LCD)等のディスプレイ1012に結合可能である。英数字キー及び他のキーをはじめとする入力デバイス1014は、情報通信及びプロセッサ1004に対するコマンド選択のためにバス1002に結合可能である。他のタイプのユーザ入力デバイスは、指示情報通信及びプロセッサ1004に対するコマンド選択並びにディスプレイ1012上のカーソル移動制御のためのマウス、トラックボール、カーソル方向キー等のカーソルコントロール1016である。この入力デバイス1014は、典型的には、第1の軸(すなわちx)及び第2の軸(すなわちy)の2つの軸で2つの自由度を有し、デバイスによる平面内の位置の特定を可能にする。しかし、本明細書では、3次元(x、y、及びz)カーソル移動を可能にする入力デバイス1014も企図されることを理解すべきである。
【0178】
[00187] 本教示の特定の実現形態に合致して、コンピュータシステム1000は、メ
モリ1006に含まれる1つ以上の命令の1つ以上のシーケンスを実行するプロセッサ1004に応答して結果を提供可能である。かかる命令は、記憶デバイス1010等の他のコンピュータ可読媒体又はコンピュータ可読記憶媒体からメモリ1006に読込み可能である。メモリ1006に含まれる命令のシーケンスを実行することにより、プロセッサ1004は本明細書に記載のプロセスを実施可能である。代替的に、本教示を実現するために、ソフトウェア命令の代わりに又はそれとの組合せでハードワイヤド回路を使用可能である。そのため、本教示の実現形態は、ハードウェア回路とソフトウェアとの特定の組合せに何ら限定されるものではない。
【0179】
[00188] 本明細書で使用される「コンピュータ可読媒体」(例えば、データストア、
データストレージ等)又は「コンピュータ可読記憶媒体」という用語は、実行用プロセッサ1004への命令の提供に関与する任意の媒体を意味する。かかる媒体は、限定されるものではないが、不揮発性媒体、揮発性媒体、及び伝送媒体をはじめとする多くの形態を
とることが可能である。不揮発性媒体の例としては、限定されるものではないが、光ディスク、ソリッドステートディスク、磁気ディスク、例えば、記憶デバイス1010が挙げられる。揮発性媒体の例としては、限定されるものではないが、動的メモリ、例えば、メモリ1006が挙げられる。伝送媒体の例としては、限定されるものではないが、同軸ケーブル、銅線、及び光ファイバ、例えば、バス1002を含むワイヤが挙げられる。
【0180】
[00189] コンピュータ可読媒体の通常の形態としては、例えば、フロッピーディスク
、フレキシブルディスク、ハードディスク、磁気テープ、又は任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、孔パターンを有する任意の他の物理媒体、RAM、PROM、及びEPROM、FLASH-EPROM、任意の他のメモリチップ又はメモリカートリッジ、又はコンピュータにより読取り可能な任意の他のタンジブル媒体が挙げられる。
【0181】
[00190] 実行用のコンピュータシステム1000のプロセッサ1004に1つ以上の
命令のシーケンスを提供するために、コンピュータ可読媒体のほか、通信装置又はシステムに含まれる伝送媒体に命令又はデータをシグナルとして提供可能である。例えば、通信装置としては、命令及びデータを表すシグナルを有するトランシーバが挙げられ得る。命令及びデータは、本明細書の開示に概説される機能を1つ以上のプロセッサにより実現するように構成される。データ通信伝送接続の代表的な例としては、限定されるものではないが、電話モデム接続、広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)、赤外線データ接続、NFC接続等が挙げられ得る。
【0182】
[00191] フローチャート、図、及び付随する開示を含めて本明細書に記載された方法
は、スタンドアロンデバイスとしての又はクラウドコンピューティングネットワーク等の共有コンピュータ処理資源の分散ネットワーク上のコンピュータシステム1000を用いて実現可能であることを認識すべきである。
【0183】
[00192] 特定の実施形態では、機械可読記憶デバイスは、本明細書に記載の方法を実
行又は実施するための非一時的機械可読命令を記憶するために提供されることを更に認識すべきである。機械可読命令は、以下に詳細に記載されように、画像処理、畳込みニューラルネットワーク(CNN)フロー(以下に詳細に記載される)、論理モジュール及びメモリモジュール、並びに微小物体の検出及び計数の全ての態様を制御可能である。更に、機械可読命令は、初期にメモリモジュールにロード可能であるか又はクラウド若しくはAPIを介してアクセス可能である。
【0184】
[00193] 対象の微小物体の自動検出。一態様では、画像特にディジタル画像(又はデ
ィジタル化された画像)中の対象の微小物体の自動検出方法が提供される。対象の微小物体は、マイクロ流体デバイス内に配置可能である。対象の微小物体は、細胞、例えば、哺乳動物細胞(例えば、血液細胞、ハイブリドーマ、癌細胞、トランスフォーム細胞、配偶子、胚等)であり得る。代替的に、対象の微小物体は、ビーズ、例えば、アッセイに使用し得るもの(例えば、マイクロビーズ、磁気ビーズ等)であり得る。本方法は、画像データ(すなわち、画像中のピクセルに関するデータ)を処理する機械学習アルゴリズムの使用を含み得る。機械学習アルゴリズムは、畳込みニューラルネットワーク等のニューラルネットワークを含み得る。
【0185】
[00194] 画像分類は、入力画像を受け取って、画像を最良に記述するクラス又はクラ
スの確率を出力することを必要とする。これは、入力画像を処理して結果を出力するアルゴリズムを利用する処理エンジンを備えたコンピュータシステムを用いて実施可能である。画像検出もまた、類似の処理エンジンを利用可能であり、この場合、システムは、入力画像を受け取って、処理エンジンに予めプログラムされたアルゴリズムを用いて高レベル
の確度でその画像中の対象の物体を同定する。
【0186】
[00195] 入力画像に関して、システムは、一般に、ピクセル値のアレイとして入力画
像を適応させるであろう。これらのピクセル値は、画像分解能及びサイズに依存して、(長さ)x(幅)x(チャネル数)に対応する数のアレイになるだろう。チャネル数は深さともいい得る。例えば、アレイは、L×W×赤緑青色モデル(RBG値)でありえる。RGBは3つのチャネルとみなされ、各チャネルはRGB色モデルの3つの色の1つを表す。例えば、システムは、一般に、アレイの各点にピクセル強度を表す値(例えば0~255)を割り当てて、20×20×3(RGBに対して)の代表的なアレイを用いて20×20画像を特徴付けることが可能である。こうした値のアレイを考慮して、処理エンジンは、そのアルゴリズムを用いてこれらの値を処理し、画像が特定のクラスである確率を記述する数(例えば、細胞の場合には0.80、細胞壁の場合には0.15、及び細胞がない場合には0.05)を出力することが可能である。
【0187】
[00196] 畳込みニューラルネットワーク(CNN)は、一般に、最初に、例えばエッ
ジやカーブ等の低レベルの特徴を探索し、次いで、一連の畳込み層を介してより抽象的な(例えば、分類される画像のタイプに特有の)概念に進むことにより、画像処理及び分類/検出の先進的形態を達成する。CNNは、画像を一連の畳込み非線形プーリング(又は以下でより詳細に考察されるダウンサンプリング)及び全結合層に通して出力を得ることにより、これを実施可能である。この場合も、出力は、画像を最良に記述する又は画像上の物体を検出する単一クラス又はクラスの確率であり得る。
【0188】
[00197] CNNの層に関して、第1の層は一般に畳込み層(Conv)である。この
第1の層は、一連のパラメータを用いて画像の代表的なアレイを処理する。全体として画像を処理するのではなく、CNNは、フィルタ(又はニューロン又はカーネル)を用いて画像サブセットのコレクションを分析する。サブセットは、アレイの焦点更には周囲点を含む。例えば、フィルタは、32×32画像の一連の5×5領域を調べることが可能である。これらの領域は受容野といい得る。フィルタは一般に入力と同一の深さを有するので、32×32×3の次元を有する画像は、同一の深さのフィルタ(例えば5×5×3)を有しよう。以上の例示的な次元を用いて畳み込む実際の工程は、入力画像に沿ってフィルタをスライドさせることと、フィルタ値と画像の元のピクセル値とを乗算して要素ごとの乗算を計算することと、これら値の和をとって画像のその検査領域に対して単一の数を導くことと、を必要としよう。
【0189】
[00198] この畳込み工程の終了後、5×5×3フィルタを用いて28×28×1の次
元を有する活性化マップ(又はフィルタマップ)が得られよう。使用される各追加の層に対して、空間次元は、より良好に保存されるので、2つのフィルタを使用すれば28×28×2の活性化マップが得られよう。各フィルタは、一般に、ユニークな特徴を有しよう。それは、(例えば、色、エッジ、カーブ等)を表し、一緒になって、最終画像出力に必要とされる特徴識別子を表す。これらのフィルタは、組み合わせて使用すると、CNNにより画像入力を処理して各ピクセルに存在するそうした特徴の検出を可能にする。したがって、フィルタがカーブ検出器として機能する場合、画像入力に沿ってフィルタの畳込みが行われ、カーブの高い尤度(要素ごとの乗算の和が高値)、カーブの低い尤度(要素ごとの乗算の和が低値)、又は特定の点の入力ボリュームにカーブ検出器フィルタを活性化するものがないときのゼロ値に対応する数のアレイが活性化マップに生成されよう。したがって、Convのフィルタ(チャネルともいう)の数が多くなるほど、活性化マップに生成される深さ(又はデータ)が深くなるので、入力に関する情報が多くなり、より正確な出力がもたらされよう。
【0190】
[00199] CNNの確度とのバランスがとられるのは、結果の生成に必要とされる処理
時間及び処理能力である。言い換えると、使用されるフィルタ(又はチャネル)が多くなるほど、Convの実行に必要とされる時間及び処理能力が増す。したがって、CNN法のニーズを満たすフィルタ(又はチャネル)の選択及び数は、具体的には、利用可能な時間及び能力を考慮しつつできる限り正確な出力を生成するように選択すべきである。
【0191】
[00200] より複雑な特徴を更にCNNにより検出できるようにするために、追加のC
onvを加えて前のConvからの出力(すなわち活性化マップ)を分析可能である。例えば、第1のConvがカーブやエッジ等の基本的特徴を探索する場合、第2のConvは、より初期のConv層で検出された個別の特徴との組合せであり得る形状等のより複雑な特徴を探索可能である。一連のConvを提供することにより、CNNは、次第により高レベルの特徴を検出して最終的に特定の所望の物体を検出する確率を導くことが可能である。更に、Convが互いに重なってスタックされて前の活性化マップ出力が分析されるにつれて、スタック中の各Convは、各Convレベルで行われるスケールダウンに基づいて自然にますます大きな受容野を分析するようになるので、CNNは、対象の物体の検出時にピクセル空間の成長領域に対処できるようになる。
【0192】
[00201] CNNアーキテクチャーは、一般に、入力ボリューム(画像)を畳み込むた
めの少なくとも1つの処理ブロックと、逆畳込み(又は転置畳込み)のための少なくとも1つの処理ブロックと、を含む処理ブロックのグループならなる。そのほか、処理ブロックは、少なくとも1つのプーリングブロック及び逆プーリングブロックを含み得る。プーリングブロックは、画像の分解能をスケールダウンしてConvに利用可能な出力を生成するために使用可能である。これは、計算効率(効率的な時間及び能力)を提供可能であり、ひいてはCNNの実際の性能を向上可能である。これらのプーリングブロック又はサブサンプリングブロックは、フィルタを小さな状態且つ計算要件を合理的な状態に維持するが、これらのブロックは、出力を粗くする可能性があり(受容野内の空間情報の損失をもたらす可能性があり)、特定の倍率で入力のサイズから縮小する。
【0193】
[00202] 逆プーリングブロックは、これらの粗い出力を再構築して入力ボリュームと
同一の次元を有する出力ボリュームを生成するために使用可能である。逆プーリングブロックは、畳込みブロックの逆操作とみなすことが可能であり、活性化出力を元の入力ボリューム次元に戻す。
【0194】
[00203]しかし、逆プーリングプロセスは、一般に、粗い出力をまばらな活性化マップ
に単に拡大するにすぎない。こうした結果を回避するために、逆畳込みブロックは、このまばらな活性化マップを緻密化することにより、拡大されると共に緻密でもある活性化マップ、すなわち、いかなる更なる必要な処理の後でも最終的には入力ボリュームにかなり近いサイズ及び密度を有する最終出力ボリュームを生成する。受容野の複数のアレイ点を単一数に低減するのではなく、畳込みブロックの逆操作として、逆畳込みブロックは、単一活性化出力点を複数の出力に関連付けることにより、得られる活性化出力を拡大且つ緻密化する。
【0195】
[00204] プーリングブロックは画像をスケールダウンするために使用可能であり、且
つ逆プーリングブロックはこれらのスケールダウンされた活性化マップを拡大するために使用可能であるのが、畳込みブロック及び逆畳込みブロックは、プーリングブロックと逆プーリングブロックとの分離を必要とすることなく畳込み/逆畳込み及びスケールダウン/拡大の両方を行うように構造化可能であることに留意すべきである。
【0196】
[00205] プーリング及び逆プーリングのプロセスは、画像入力で検出される対象の物
体に依存する欠点を有し得る。プーリングは、一般に、ウィンドウのオーバーラップを伴うことなくサブ画像ウィンドウを調べることにより画像をスケールダウンするが、スケー
ルダウンが行われると空間情報が損なわれることは明らかである。
【0197】
[00206] 処理ブロックは、畳込み層又は逆畳込み層と共にパッケージされた他の層を
含み得る。これらは、例えば、その処理ブロックのConvからの出力を検査する活性化機能である整流リニアユニット層(ReLU)又は指数関数的リニアユニット層(ELU)を含み得る。ReLU層又はELU層は、Convに特有な対象の特徴のポジティブ検出に対応する値のみを前進させるゲーティング関数として作用する。
【0198】
[00207] 次いで、基本的アーキテクチャーを考慮して、CNNは、(対象の物体の)
画像の分類/検出の確度に磨きをかけるトレーニングプロセスに備える。これは、トレーニングデータセット又はCNNのトレーニングに使用されるサンプル画像を用いる逆伝搬(backprop)と呼ばれるプロセスを含み、それによりそのパラメータを更新して最適又は閾値の確度を達成する。逆伝搬は、backpropのパラメータに依存して緩速又は急速のいずれかでCNNをトレーニングする一連の繰返し工程(トレーニングの繰返し)を含む。backprop工程は、一般に、所与の学習率に従ってフォワードパス、損失関数、バックワードパス、及びパラメータ(重み)更新を含む。フォワードパスは、トレーニング画像をCNNに通すことを含む。損失関数は、出力における誤差の尺度である。バックワードパスは、損失関数への寄与因子を決定する。重み更新は、CNNを最適方向に移動させるようにフィルタのパラメータを更新することを含む。学習率は、最適に達するように繰返し当たりの重み更新の程度を決定する。学習率が小さすぎると、トレーニングに時間がかかりすぎたり過度の処理容量が必要になったりするおそれがある。学習率が大きすぎると、各重み更新が大きくなりすぎて所与の最適値又は閾値を正確に達成できなくなるおそれがある。
【0199】
[00208] backpropプロセスは、トレーニングを複雑化させる可能性があるの
で、トレーニングを開始するに当たりより小さな学習率及びより特定的な且つ注意深く決定された初期パラメータが必要になる可能性がある。かかる複雑化の1つは、各繰返しの終わりに重み更新が行われると、Convのパラメータの変化がネットワークのより深くまで増幅することである。例えば、以上で考察したように、CNNがより高レベルの特徴分析を可能にする複数のConvを有する場合、第1のConvに対するパラメータ更新は、各後続のConvで乗算される。正味の効果は、パラメータの最小変化が所与のCNNの深さに依存して大きな影響を及ぼし得ることである。この現象は内部共変量シフトと呼ばれる。
【0200】
[00209] 本明細書に開示される実施形態は、公知のCNNと対比していくつかの利点
を有する。これらの利点としては、例えば、プーリング層に固有の損失空間情報を排除するCNNの提供、backpropプロセスに固有の内部共変量シフトの低減/最小化、並びにより複雑な特徴検出を達成するために深層ニューラルネットワークに一般に必要とされる処理時間及び処理スピードの低減が挙げられる。
【0201】
[00210] 以上に記載したように、CNNは受容野の複数の層からなる。これらは、入
力画像の一部分を処理する「ニューロン」(又はカーネル)集合である。次いで、これらの集合の出力は、それらの入力領域がオーバーラップするようにタイリングされ、元の画像のより良好な表現を達成する。これはかかる層全てに対して繰り返される。タイリングは、CNNが入力画像の並進に耐えられるようにする。CNNは、例えば、Long et al.,“Fully Convolutional Networks for Semantic Segmentation, ” CVPR 2015, and Noh
et al., “Learning Deconvolution Network for Semantic Segmentation,” ICCV 2015
(それぞれの内容は参照により本明細書に援用される)に記載されている。
【0202】
[00211] CNNは、畳込み層と全結合層との組合せを含み得ると共に、各層の終わり
又はその後に点ごとの非線形性が適用される。入力の小領域上での畳込み演算は、自由パラメータの数を低減して一般化を向上させるために導入される。畳込みネットワークの主な利点の1つは、畳込み層での共有重みの使用である。つまり、層中の各ピクセルに対して同一のフィルタ(重みバンク)を使用し、これによりメモリフットプリントの低減及び性能の向上の両方を行う。
【0203】
[00212] 一実施形態では、CNNは、微分可能関数を介して入力ボリュームを出力ボ
リュームに変換する識別可能層のスタックにより形成される(例えば、クラススコアを保持して)。
【0204】
[00213] この実施形態では、畳込み層は、この実施形態に対してエンプティー、モノ
クローナル、及びポリクローナルとして規定される。層のパラメータは、小さな受容野を有するが入力ボリュームの全深さにわたり延在する学習可能フィルタのセットを含み得る。フォワードパス時、各フィルタは、入力ボリュームの幅及び高さを横切って畳み込まれ、フィルタ及び入力のエントリー間のドット積を計算してそのフィルタの2次元活性化マップを生成する。結果として、ネットワークは、入力のある空間位置である特定のタイプの特徴に遭遇したときに活性化するフィルタを学習する。
【0205】
[00214] 深さ次元に沿って全てのフィルタに対して活性化マップをスタックすると、
畳込み層の全出力ボリュームが形成される。そのため、出力ボリュームのエントリーは全て、入力の小領域を調べて同一活性化マップのニューロンとパラメータを共有するニューロンの出力としても解釈可能である。
【0206】
[00215] 一実施形態では、空間配置は、畳込み層の出力ボリュームのサイズを制御す
るハイパーパラメータ、例えば、深さ、ストライド、及びゼロパディングに基づく。
【0207】
[00216] 一実施形態では、出力ボリュームの深さは、入力ボリュームの同一領域に接
続する層のニューロンの数を制御する。これらのニューロンは全て、入力の様々な特徴に対して活性化するように学習する。例えば、第1の畳込み層が入力として生の画像を受け取る場合、深さ次元に沿った様々なニューロンは、種々の有向エッジ又は色のブロブの存在下で活性化し得る。
【0208】
[00217] 一実施形態では、ストライドは、空間次元(幅及び高さ)全体にわたり深さ
列がどのように割り付けられるかを制御する。ストライドが1である場合、ニューロンの新しい深さ列は、1空間単位だけ離れた空間位置に割り付けられる。これにより、列間で受容野が高度にオーバーラップすると共に、大きな出力ボリュームが得られる。それとは逆に、より大きなストライドを使用した場合、受容野はそれほどオーバーラップせずに、得られる出力ボリュームは空間的により小さな寸法を有し得る。
【0209】
[00218] ときには、入力ボリュームの境界で入力にゼロをパディングすることが便利
である。このゼロパディングのサイズは第3のハイパーパラメータである。ゼロパディングは、出力ボリュームの空間サイズの制御を提供する。特に、入力ボリュームの空間サイズを正確に保存することが望ましいこともある。
【0210】
[00219] この実施形態では、畳込み層でパラメータ共有スキームを使用して自由パラ
メータの数を制御する。それは次の1つの合理的な仮定に依拠する。すなわち、ある空間位置で1パッチの特徴を計算することが有用であれば、異なる位置でも計算することが有用であるはずである。言い換えると、深さの単一2次元スライスを深さスライスとして表して、同一の重み及びバイアスを使用するように各深さスライスのニューロンを拘束する。
【0211】
[00220] 単一深さスライスのニューロンは全て同一のパラメータ化を共有するので、
CONV層の各深さスライスのフォワードパスは、入力ボリュームを用いたニューロンの重みの畳込みとして計算可能である(そのため、名称:畳込み層)。
【0212】
[00221] したがって、重みのセットは、通常、入力を用いて畳み込まれるフィルタを
意味する。この畳込みの結果は活性化マップであり、各異なるフィルタに対する活性化マップのセットは、深さ次元に沿って一緒にスタックされ、出力ボリュームを生成する。パラメータ共有は、CNNアーキテクチャーの並進不変に寄与する。
【0213】
[00222] 種々の実施形態では、ニューラルネットワーク(又はCNN)は、例えば、
図7のニューラルネットワーク700により例示されるように提供される。ニューラルネットワーク例に関連する更なる詳細は、
図8及び9A~9Dに例示されており、
図8及び9A~9Dにより把握されるCNNの特徴は、
図7に例示されたネットワーク又は本明細書の種々の他の実施形態と組み合わせて使用可能であるので、この実施形態を記載するときに参照目的でのみ使用されよう。
【0214】
[00223]
図7では、ニューラルネットワーク700は、関連する第1の720、第2
の740、及び第3の760の処理ブロック(又は残差ネットワークブロック)と共に、第1のダウンサンプリングブロック710、第2のダウンサンプリングブロック730、及び第3のダウンサンプリングブロック750を含む。第1のダウンサンプリングブロック710は入力画像701を受け取る。例示されるように、各ダウンサンプリングブロックにはその関連する処理(又は残差)ブロックが続く。処理(又は残差)ブロックは、以下で詳細に考察されるようにシングルブランチ又はマルチブランチであり得る。
【0215】
[00224] CNNは、複数のダウンサンプリングブロックを含み得る(例えば、
図7と
同様に3つ等)。この場合、各ダウンサンプリングブロックは、ダウンサンプリング畳込み層(Conv)、バッチ正規化(norm)層、及びゲーティング関数を含む活性化層を含み得る。
【0216】
[00225]
図8Bは、入力871を受け取って出力879を提供する、且つカーネルサ
イズD×Dを有するConv874、バッチnorm層876、及び活性化層878を含む、ダウンサンプリングブロックの例として例示される。活性化層は、例えば、ELU又はReLUであり得る。種々の実施形態では、活性化層は、ダウンサンプリング畳込み層から画像データを直接受け取るバッチnorm層から画像データを直接受け取る。ダウンサンプリング畳込み層は、それが受け取る画像データの空間分解能を低減するように機能し得る。これについては、
図9A~9Dを参照してより詳細に考察する。
【0217】
[00226] 処理ブロック(又は残差ネットワークブロック)は、シングルブランチ処理
ブロック又はマルチブランチ処理ブロックであり得ると共に、各ブランチは、先行するダウンサンプリングブロックからの出力を処理し、次いで、両方のブランチの出力を組み合わせてダウンサンプリングされた活性化マップを生成し、更なるダウンサンプリング又はアップサンプリングに供して最終出力に至る。
【0218】
[00227]
図8Aは、上流ダウンサンプリングブロック(描かれていないが、
図8Bに
関連する考察を参照されたい)から入力805(例えば、活性化マップの形態のもの)を受け取るように構成されたマルチブランチ処理ブロック800(又は残差ネットワークブロック)の例を例示する。ブロック800は、第1のブランチ810及び第2のブランチ840を含む。第1のブランチ810は、N×Nのカーネルを有する第1の畳込み層815(Conv)、第1のConv815からデータを受け取る第1のバッチ正規化(no
rm)層820、第1のバッチnorm層820からデータを受け取る第1の活性化層825(ゲーティング関数を含み得るか又はゲーティング関数として作用し得る)、第1の活性化層825通り抜けたデータを受け取るM×Mのカーネルを有する第2のConv830、及び第2のConv830からデータを受け取る第2のバッチnorm層835を含む。Conv815(N×N)及び830(M×M)のカーネルは同一のサイズを有し得るか又は異なり得ることに留意されたい。
図9A~9Cに例示されるように(以下で考察される)、例示された残差ネットワークの逐次的Convのカーネルは同一である(3×3)。それとは関係なく、Conv815/830は1×1超のカーネルを有することが一般に好ましい。
【0219】
[00228] 第2のブランチ840は、第3のConv845、第3のConv845か
らデータを受け取る第3のバッチnorm層850、及び第3のバッチnorm層850からデータを受け取る第2の活性化層855(ゲーティング関数を含み得るか又はゲーティング関数として作用し得る)を含む。ブロック800は、第2のバッチnorm層835からのデータ及び第2の活性化層855を通り抜けたデータの両方を受け取る再結合層860を更に含む。最後に、ブロック800は、更なる処理のためにブロック800から出力864を生成する前に、再結合層860から受け取ったデータに対してゲーティング関数として機能し得るブロック活性化層862を含む。以上に述べたように、活性化層は、例えば、ELU又はReLUであり得る。種々の実施形態では、活性化層はELUである。
【0220】
[00229]
図8では、第2のブランチ840は、先行するダウンサンプリングブロック
から受け取った画像データをその第1のブランチ810よりも低度に処理する。特定的には、第2のブランチ840の第3のConv845は、1×1のフィルタウィンドウ(又は寸法又はカーネル)を使用するが、第1のブランチ810の第1及び第2のConv815/830は、それぞれ、以上で考察したように一般に1×1超のN×N又はM×Mのフィルタウィンドウ(又は寸法又はカーネル)を使用する。これらのフィルタウィンドウは、例えば、画像タイプ、画像品質、物体タイプ、物体サイズ、物体形状、出力要件、時間制約、ストライド長(以下で考察される)、能力/処理資源等の因子を考慮して、必要であれば必要に応じて調整可能である。例えば、第1及び第2のConv815/830は、3×3のフィルタウィンドウ(又は寸法)を使用可能である(このフィルタウィンドウサイズを例示する以下の
図9A~9Dを参照されたい)。
【0221】
[00230]
図8のブランチは両方とも、1のストライドのConvを有するが、ストラ
イドは異なるものであってもよい。しかし、再結合層860を有効なものにし得るには、第1のブランチ810のConv815/830のストライドを乗算した積は、第2のブランチ840のConv845のストライドに等しくなければならない。
【0222】
[00231] 活性化工程前へのバッチ正規化層の挿入は、内部共変量シフトの最小化を支
援という利点を提供する。そのように、敷衍すればConv後に、バッチnorm層を挿入することにより、バッチnormは、Convの出力を正規化して正規化データを活性化工程に提供可能であるので、活性化のより安定な分布を可能にする。逆伝搬プロセス時に内部共変量シフトを最小限に抑えることにより、ニューラルネットワークのトレーニングをより高い学習度(重み更新の程度)でより積極的に行えば、CNNがネットワークの所与のフィルタの最適パラメータの方向に作用するので、効率及び確度の損失を伴うことなくより速いCNN学習がもたらされる。
【0223】
[00232] 更に、最低限の処理が行われる情報のブランチ(例えば、1×1Convブ
ランチ)を有する残差ネットワークを追加すれば、トレーニング時のより容易な学習が可能になる。こうした最低限の処理が行われるブランチは、最終結果に及ぼすより初期のパ
ラメータの影響を追跡するためのより直接的な経路を提供する。事実上、このブランチは、所与の残差ネットワーク内のスキップ接続(以下でより詳細に考察される)とほぼ同一の目的を果たすので、一部の情報は、ダウンサンプリング時に失われる可能性のある空間情報を失わないように不変のままネットワークを通過し得る。
【0224】
[00233] したがって、要約すると、残差ネットワークを単独で及びバッチ正規化層と
の組合せで使用すれば、当技術分野で公知のニューラルネットワークと対比してトレーニング時のより容易且つより効率的な学習が可能になる。この利点は、例えば、ダウンサンプリング時及び内部共変量シフトの最小化時により多くの空間情報を保持することにより達成される。空間情報の損失の最小化は、ニューラルネットワークプロセス時により少ない処理が行われた情報のフィードフォワードを可能にするスキップ接続と同様に、プーリング等の公知の方法と対比してダウンサンプリング時により多くのオーバーラップを可能にするスライディング(以下でより詳細に考察される)を用いても達成される(以上で考察したダウンサンプリング工程内及び以下で考察されるアップサンプリング工程に進む際)。
【0225】
[00234] マルチブランチ残差ネットワークを用いることにより、特に1×1フィルタ
ウィンドウ(すなわち、ダウンサンプリングされないもの)を用いたブランチの1つを併用することにより、ニューラルネットワークは、単一ウィンドウでの全てのピクセルの分析が(より大きなカーネルサイズ又はフィルタサイズで複数の畳込みが行われ得る)他のブランチからのデータと再結合層860で組み合わされることを保証するために、同一の分解能を維持しつつ先行するConvからの出力データを更に畳み込んで、更なるダウンサンプリングに備える高品質画像データ(先行するConvからダウンサンプリングされない)を出力することが可能である。
【0226】
[00235]
図7に戻ると、ニューラルネットワーク700は更に、第3のアップサンプ
リングブロック790の後に出力799を有して、第1のアップサンプリングブロック770、第2のアップサンプリングブロック780、及び第3のアップサンプリングブロック790を含む。各アップサンプリングブロックは、転置畳込み(又は逆畳込み)層、アップサンプリングバッチnorm層、及びゲーティング関数を含むアップサンプリング活性化層を含み得る。
【0227】
[00236]
図8Cは、入力881を受け取って出力889を提供する、且つカーネルサ
イズZ×Zを有する転置Conv884、バッチnorm層886、及び活性化層888を含む、アップサンプリングブロックの例として例示される。これらのサブコンポーネントについては、
図9A~9Dを参照してより詳細に考察する。各アップサンプリングブロックの転置畳込み層は、それが受け取る画像データの空間分解能を増加させることによりダウンサンプリングされた出力を再構築するように構成可能である。そのほか、アップサンプリングブロックの1つ以上は再結合層も含み得ると共に、それにより、アップサンプリングバッチ正規化層からの画像データは、先行する残差ネットワークブロックからの画像データとマージされる(以下で考察されるスキップ接続を介して)。
【0228】
[00237] ニューラルネットワークのアーキテクチャーに関して、アップサンプリング
ブロックの数は、ダウンサンプリングブロックの数と等しくなるように構成可能である。種々の実施形態では、ニューラルネットワークは、n個のダウンサンプリングブロック、n個の残差ネットワーク(又は処理)ブロック、n個のアップサンプリングブロック、及び再結合層を含むn-1個のアップサンプリングブロックを有する(
図9Dの考察を参照されたい)。以下でより詳細に考察されるように、空間分解能はダウンサンプリングプロセス時に部分的に低減されるので、空間分解能を同一の割合で増加させることが望まれ得る。例えば、空間分解能がダウンサンプリングブロック(又はダウンサンプリングブロッ
クと残差ネットワークブロックとの組合せ)を介して毎回半分(倍率1/2)になる場合、今度は、空間分解能を2倍(倍率2)にして元の画像寸法に戻すことが最も効率的であろう。これによりダウンサンプリングブロック及びアップサンプリングブロックの数が等しくなり得る。
【0229】
[00238] 例えば、
図7では、各Convは、画像データの空間分解能を1/2に減少
させ、各転置Convは、画像データの空間分解能を2倍に増加させる。空間分解能の低減は、例えば、畳込みフィルタ(又はカーネル)を一度に2ピクセルだけスライドさせることにより達成可能である。この2ピクセルのスライドをストライド長という。一度に2ピクセルだけスライドさせる場合、ストライドは2となる。2のストライド長を用いることにより、Convは、Convからの出力である活性化マップの寸法を半分にしてダウンサンプリングすることが可能である。
【0230】
[00239] しかし、以上に教示されるようにプーリングではなくスライディングにより
、プーリングに固有であり得る空間情報の損失を排除することが可能である。フィルタサイズは、どの程度のローカル情報が単一ピクセル分析に取り入れられてネットワークの次の層の各ピクセルに影響を及ぼすかを決定する。一般に、フィルタサイズは、対象のピクセルが中心となるように奇数である。例えば、5×5フィルタでは、周囲の24ピクセルを調べて所与の領域の1中心ピクセルが分析されよう。プーリングを用いた場合、第1の領域が調べられてその第1の領域のピクセルに対応する単一値が効果的に決定される。フィルタが第2の領域に移動すると、第1の領域のピクセルはもはやそのフィルタ掃引時に分析されない。それにより、行われる画像分析のタイプ(例えば、検出される物体タイプ)に依存して、非常に誤った、粗い、又は不正確な結果をもたらす可能性がある。
【0231】
[00240] 一方、ストライド理論を用いて、第1の領域(例えば5×5領域)が調べれ
て2ピクセルストライドにより第2の領域(同様に5×5)に移ると、明らかにオーバーラップを生じるので、ピクセル点が2回以上調べられて複数のピクセルに対して決定因子となり、2ピクセルストライドのサンプリングの最終結果が前のサイズの半分の画像出力(活性化マップ出力)をもたらすのでその間ずっと依然としてダウンサンプリングが可能である。したがって、スライディングを用いた場合、ダウンサンプリングは、プーリングと比較して空間情報の損失が少ない状態で行われよう。適切なストライド長を決定する因子としては、例えば、画像タイプ、画像品質、物体タイプ、物体サイズ、物体形状、出力要件、時間制約、及び能力/処理資源が挙げられる。
【0232】
[00241] 例示されるように、入力画像701の空間分解能がXである場合、ダウンサ
ンプリングブロック710により空間分解能を半分のX/2に、次いで、ダウンサンプリングブロック730によりX/4に、次いで、ダウンサンプリングブロック750によりX/8に低減可能である。次いで、アップサンプリングブロック770によりX/8の入力を2倍のX/4に、ブロック780によりX/2に、そしてブロック790によりXに、又は出力799で元のサイズに増加可能である。
図7は、各ダウンサンプリングブロックの漸減する高さ及び各アップサンプリングブロックの漸増する高さを用いてこのことを視覚的に表す。
【0233】
[00242] ダウンサンプリングが進行するにつれて、CNNは、より低レベルの特徴分
析からより高レベルの特徴分析へ、そうした処理の特徴複雑性を増加させるように設計可能である。先に考察したように、より複雑な特徴を更にCNNにより検出できるようにするために、追加のConvを加えて前のConvからの出力(すなわち活性化マップ)を分析可能である。例えば、第1のConvがカーブやエッジ等の基本的特徴を探索する場合、第2のConvは、より初期のConvで検出された個別の特徴との組合せであり得る形状等のより複雑な特徴を探索可能である。一連のConvを提供することにより、C
NNは、次第により高レベルの特徴を検出して最終的に特定の所望の物体の検出に至ることが可能である。更に、Convが互いに重なってスタックされて前の活性化マップ出力が分析されるにつれて、スタック中の各Convは、各Convレベルで行われるスケールダウンに基づいて自然にますます大きな受容野を分析するようになるので、CNNは、対象の物体の検出時にピクセル空間の成長領域に対処できるようになる。
【0234】
[00243]
図7では、各Conv及び処理ブロックは、チャネル深さを2倍に増加させ
、各アップサンプリングブロックは、第3のアップサンプリングブロック790までチャネル深さを1/2に減少させる。例示されるように、ダウンサンプリングブロック710及び処理ブロック720では、32個のチャネル又はフィルタが使用される。ダウンサンプリングブロック730及び処理ブロック740では、チャネル数は64である。最後に、ダウンサンプリングブロック750及び処理ブロック760では、128個のチャネルが使用される。逆に、アップサンプリングブロック770はチャネルを半分の64に、アップサンプリングブロック780は32に、そしてアップサンプリングブロック790は3に戻す(その有意性については以下でより詳細に考察する)。
図7は、各ダウンサンプリングブロックの漸増する幅及び各アップサンプリングブロック(最終ブロック790を除く)の漸減する幅を用いてチャネル使用時のこの増加及び減少を視覚的に一般的に表す。
【0235】
[00244] 空間分解能の変化率(元の状態、X/2、X/4、X/8、X/4、X/2
、元の状態)はチャネル深さ率(0、32、64、128、64、32、3、0)の場合のほぼ逆であるが、このことはCNNアーキテクチャーに必要ではない。しかし、空間分解能の変化がチャネル数の変化に対応すると、有利には、フィルタ深さの逐次増加を入力データの逐次減少(活性化マップ寸法)で相殺することにより、時間、処理能力、及び出力799の品質をCNNにより最大化可能になる。事実上、CNNに対する処理要件は各逐次ダウンサンプリングブロックを通るフィルタの深さと共に増加するので、CNNは、各逐次ダウンサンプリングブロックを通る画像アレイ入力(活性化マップ寸法)を減少させてCNNによりより大きな深さ全体にわたりより小さな入力を分析可能にすることにより、これを相殺する。それに対応して、その逆を行えばアップサンプリングブロックの出力799が支援される。
【0236】
[00245] 画像ボリュームの再構築もまた、スキップアーキテクチャーの形態により支
援可能である。例えば、ニューラルネットワーク内に挿入されるスキップ接続は、情報をより初期のダウンサンプリング層からより後期のアップサンプリング層に投影して、このより初期の最低限の処理が行われた情報を再構築プロセスの一部にすることが可能である。スキップアーキテクチャーを用いない場合、アップサンプリング時に再構築を大きく支援し得る初期Conv層で捕捉された一部の情報は、ダウンサンプリングプロセス時に失われよう。言い換えると、かかる価値のある情報は、情報を更に使用できなくなるほど抽象的な状態になるまでダウンサンプリングされたものとなろう。この情報を最初の層からスキップアーキテクチャーを用いてより後期のアップサンプリング層に供給すれば、より初期の情報を保持して効率的アップサンプリングに使用できるようになる。
【0237】
[00246] 種々の実施形態では、ニューラルネットワークは、第2の残差ネットワーク
ブロックから画像データを受け取る再結合層を有する第1のアップサンプリングブロック(例えば、スキップ接続を介して)、第1の残差ネットワークブロックから画像データを受け取る再結合層を有する第2のアップサンプリングブロック(例えば、スキップ接続を介して)、及び再結合層を含まない第3のアップサンプリングブロックを含み得る。
【0238】
[00247]
図7では、例えば、第1のスキップ接続792及び第2のスキップ接続79
4が提供される。第1のスキップ接続792は、X/2の分解能の処理ブロック720か
らの出力情報を同様にX/2の分解能のアップサンプリングブロック780のバッチnorm(以下で考察される)後の再結合層にフィードフォワードする。このスキップ接続を介して、ニューラルネットワークは、対応するアップサンプリングブロックと同一の分解能のより初期の最低限の処理が行われた情報を提供することにより、より正確且つより効率的なアップサンプリングを可能にする。同様に、第2のスキップ接続794は、X/4の分解能の処理ブロック740からの出力情報を同様にX/4の分解能のアップサンプリングブロック770のバッチnorm(以下で考察される)後の再結合層にフィードフォワードすることにより機能する。
【0239】
[00248] 以上に述べたように、CNNは、画像分類及び画像検出(画像内の物体検出
も同様)をはじめとする多くの目的に使用可能である。したがって、CNNの目標に依存して、出力は、CNNに課される主要な質問に答えなければならない。本明細書の種々の実施形態では、CNNは画像検出に使用される。種々の実施形態では、画像検出は、対象の物体を検出するために使用可能である。種々の実施形態では、対象の物体は微小物体であり得る。種々の実施形態では、画像検出は、微小物体を複数の微小物体タイプの少なくとも1つに分類するために使用可能である。種々の実施形態では、微小物体は生体細胞である。種々の実施形態では、生体細胞は、免疫細胞、例えば、T細胞、B細胞、NK細胞、マクロファージ、それらの組合せ等である。種々の実施形態では、生体細胞は、細胞系細胞(例えば、CHO細胞)又は癌細胞である。種々の実施形態では、生体細胞は、卵母細胞、精子、又は胚である。
【0240】
[00249]
図7のアップサンプリングブロック790の3つのチャネルの例示される使
用に関して、種々の実施形態では、CNNを利用するシステムは、画像入力から微小物体の数を得る。システムは、入力画像の複数のピクセルにアノテートすることにより、これを行うことが可能であり、セットの各ピクセルアノテーションは、画像中の対応するピクセルが対応する微小物体特性を表す確率を表す。この分析から、微小物体の数を得ることが可能である。種々の実施形態では、複数の微小物体特性は、少なくとも3つの微小物体特性を含む。種々の実施形態では、複数の微小物体特性は、少なくとも微小物体中心、微小物体エッジ、及び非微小物体(又は細胞中心、細胞エッジ、及び非細胞)を含む。
図7のアップサンプリングブロック790は、その3つのチャネル深さによるこの3つの微小物体特性分析を例示する。したがって、
図7の最後のアップサンプリングブロック790は、正確な微小物体(例えば細胞)数を決定するためにニューラルネットワーク700に必要な物体特性分析を提供する。
【0241】
[00250]
図9A~9Dは、種々の実施形態にかかるより詳細な畳込みニューラルネッ
トワーク(CNN)900の模式図を例示する。模式図は、以上で考察したニューラルネットワークの原理の多くを採り入れており、そうした理由から、これらの原理を繰返し詳述することはしない。しかし、原理は類似したものであり得るが、本明細書の種々の実施形態に使用されるパラメータ、例えば、画像タイプ、画像品質、物体タイプ、物体サイズ、物体形状、出力要件、時間制約、及び能力/処理資源は全て、以上で考察した特定の理由に基づいて変化させ得ることに留意されたい。したがって、
図9A~9Dの模式図に使用されるパラメータは単なる例にすぎない。
【0242】
[00251] 説明目的で、
図9Aは、左から右に、種々の実施形態にかかる第1のダウン
サンプリングブロック910、続いて第1の残差ネットワークブロック920を例示する。
図9Bは、左から右に、種々の実施形態にかかる第1の残差ネットワークブロック920(
図9Aのもの)からデータを受け取る第2のダウンサンプリングブロック930、続いて第2の残差ネットワークブロック940を示す。
図9Cは、左から右に、種々の実施形態にかかる第2の残差ネットワークブロック940(
図9Bのもの)からデータを受け取る第3のダウンサンプリングブロック950、続いて第3の残差ネットワークブロック
960を示す。
図9Dは、左から右に、第1のアップサンプリングブロック970、第2のアップサンプリングブロック980、及び第3のアップサンプリングブロック990を示す。第1のアップサンプリングブロック970は、第3の残差ネットワークブロック960(
図9C)からデータを受け取ると共に、第1のアップサンプリング再結合層976を含み、この場合、第1のアップサンプリングブロック970のバッチ正規化層からのデータは、第2のスキップ接続994を介してフィードフォワードされる第2の残差ネットワークブロック940の最終ELU層948からのデータと再結合される。同様に、第2のアップサンプリングブロック980は、第2のアップサンプリング再結合層986を含み、この場合、第2のアップサンプリングブロック980のバッチ正規化層からのデータは、第1のスキップ接続992を介してフィードフォワードされる第1の残差ネットワークブロック920の最終ELU層928からのデータと再結合される。
【0243】
[00252]
図9Aに戻って参照すると、CNN900は、画像入力901を受け取るよ
うに構成された第1のダウンサンプリングブロック910を含む。第1のダウンサンプリングブロック910は、第1のConv912、第1のバッチnorm層914、及び第1の活性化層916(例えば、
図9AのELU)を含む。第1のConv912は、カーネルサイズ及びストライドに関して様々なパラメータを有し得る。この場合、カーネルは5×5であり、且つストライドは2ピクセルである。層916からの出力は、第1のブランチ922と第2のブランチ924とを含む第1の残差ネットワークブロック920に供給される。残差ネットワークのレイアウトの一般的考察に関しては
図8を参照されたい。第1のブランチ922では、2つのConvは3×3のカーネルサイズを有する。
図9Aはまた、以上で考察したように第1の再結合層926及び第1のELU928の後で出力されるデータをフィードフォワードする第1のスキップ接続992の開始を例示する。CNN900のこの段階でのスケールダウンは倍率1/2であり(1/2の空間分解能にダウンサンプリングされる)、且つ特徴の32チャネルがこの段階で使用されることにも留意されたい。
【0244】
[00253]
図9Bを参照すると、CNN900は更に、第2のConv932と第2の
バッチnorm層934と第2の活性化層936(例えば、
図9BのELU)を含む第2のダウンサンプリングブロック930を含む。第2のダウンサンプリングブロック930は、第1のELU928からの出力を受け取るように構成される。第2のConv932は、カーネルサイズ及びストライドに関して様々なパラメータを有し得る。この場合、カーネルは先と同様に5×5であり、且つストライドは先と同様に2ピクセルである。層936からの出力は、第3のブランチ942と第4のブランチ944とを含む第2の残差ネットワークブロック940に供給される。残差ネットワークのレイアウトの一般的考察に関しては
図8を参照されたい。第1のブランチ942では、2つのConvは3×3のカーネルサイズを有する。
図9Bはまた、以上で考察したように第2の再結合層946及び第2のELU948の後で出力されるデータをフィードフォワードする第2のスキップ接続994の開始を例示する。CNN900のこの段階でのスケールダウンは
図9A中の前の段階と対比して倍率1/2であり(元の状態と対比して1/4の空間分解能にダウンサンプリングされる)、且つ特徴の64チャネルがこの段階で使用されることにも留意されたい。
【0245】
[00254]
図9Cを参照すると、CNN900は、第3のConv952と第3のバッ
チnorm層954と第3の活性化層956(例えば、
図9CのELU)とを含む第3のダウンサンプリングブロック950を含む。第3のダウンサンプリングブロック950は、第2のELU948からの出力を受け取るように構成される。第3のConv952は、カーネルサイズ及びストライドに関して様々なパラメータを有し得る。この場合、カーネルは先と同様に5×5であり、且つストライドは先と同様に2ピクセルである。層956からの出力は、第5のブランチ962と第6のブランチ964とを含む第3の残差ネッ
トワークブロック960に供給される。残差ネットワークのレイアウトの一般的考察に関しては
図8を参照されたい。第5のブランチ962では、2つのConvは3×3のカーネルサイズを有する。CNN900のこの段階でのスケールダウンは倍率1/2であり(1/8の空間分解能にダウンサンプリングされる)、且つ特徴の128チャネルがこの段階で使用されることにも留意されたい。
【0246】
[00255]
図9Dを参照すると、CNN900は、第1のアップサンプリングブロック
970、第2のアップサンプリングブロック980、及び第3のアップサンプリングブロック990を含む。第1のアップサンプリングブロック970は、第1のアップサンプリングConv972、第1のアップサンプリングバッチnorm層974、第1のアップサンプリング再結合層976、及び第1のアップサンプリング活性化層978(例えばELU)を含む。第1のアップサンプリング再結合層976は、第1のスキップ接続992から入力を受け取って、その入力と第1のアップサンプリングバッチnorm層974からの出力とを組み合わせ、そしてその組み合わせた出力を第1のアップサンプリング活性化層978に供給するように構成される。ダウンサンプリングConv912/932/952を参照して以上で考察したように、アップサンプリングConv層は、カーネルサイズ及びストライドに関して様々なパラメータを有し得る。この場合、第1のアップサンプリングConv972に対して、カーネルは5×5であり、且つストライドは2ピクセルである。CNN900のこの段階でのスケールアップは第3の残差ネットワーク960からの出力と対比して倍率2であり(1/4の空間分解能にアップサンプリングされる)、且つ特徴の64チャネルがこの段階で使用されることにも留意されたい。
【0247】
[00256] 第2のアップサンプリングブロック980は、第2のアップサンプリングC
onv982、第2のアップサンプリングバッチnorm層984、第2のアップサンプリング再結合層986、及び第2のアップサンプリング活性化層988(例えばELU)を含む。第2のアップサンプリング再結合層986は、第2のスキップ接続994から入力を受け取って、その入力と第2のアップサンプリングバッチnorm層984からの出力とを組み合わせ、そしてその組み合わせた出力を第2のアップサンプリング活性化層988に供給するように構成される。ダウンサンプリングConv912/932/952を参照して以上で考察したように、アップサンプリングConv層は、カーネルサイズ及びストライドに関して様々なパラメータを有し得る。この場合、第2のアップサンプリングConv982に対して、カーネルは5×5であり、且つストライドは2ピクセルである。CNN900のこの段階でのスケールアップは第1のアップサンプリングブロック970からの出力と対比して倍率2であり(1/2の空間分解能にアップサンプリングされる)、且つ特徴の32チャネルがこの段階で使用されることにも留意されたい。
【0248】
[00257] 第3のアップサンプリングブロック990は、第3のアップサンプリングC
onv992、第3のアップサンプリングバッチnorm層994、及び第3のアップサンプリング活性化層996(例えばELU)を含む。層996は、CNN900の出力999を生成する。ダウンサンプリングConv912/932/952を参照して以上で考察したように、アップサンプリングConv層は、カーネルサイズ及びストライドに関して様々なパラメータを有し得る。この場合、第3のアップサンプリングConv992に対して、カーネルは5×5であり、且つストライドは2ピクセルである。CNN900のこの段階でのスケールアップは第2のアップサンプリングブロック980からの出力と対比して倍率2であり(元の空間分解能にアップサンプリングされる)、且つ特徴の3チャネルがこの段階で使用されることにも留意されたい。
【0249】
[00258]
図7との関連で以上で考察したように、種々の実施形態では、CNNを利用
するシステムは、画像入力から微小物体の数を得る。システムは、入力画像の複数のピクセルにアノテートすることにより、これを行うことが可能であり、セットの各ピクセルア
ノテーションは、画像中の対応するピクセルが対応する微小物体特性を表す確率を表す。この分析から、微小物体の数を得ることが可能である。種々の実施形態では、複数の微小物体特性は、少なくとも3つの微小物体特性を含む。種々の実施形態では、複数の微小物体特性は、少なくとも微小物体中心、微小物体エッジ、及び非微小物体(又は細胞中心、細胞エッジ、及び非細胞)を含む。
図9Dのアップサンプリングブロック990は、その3つのチャネル深さによるこの3つの微小物体特性分析を例示する。したがって、
図9Dの最後のアップサンプリングブロック990は、正確な微小物体(例えば細胞)数を決定するためにニューラルネットワーク900に必要な物体特性分析を提供する。
【0250】
[00259] 種々の実施形態によれば、画像中の微小物体を自動検出するためのシステム
及び方法が開示される。種々の実施形態では、微小物体は生体細胞である。種々の実施形態では、生体細胞は、免疫細胞、例えば、T細胞、B細胞、NK細胞、マクロファージ、それらの組合せ等である。種々の実施形態では、生体細胞は、細胞系細胞(例えば、CHO細胞)又は癌細胞である。種々の実施形態では、生体細胞は、卵母細胞、精子、又は胚である。
【0251】
[00260]
図10は、種々の実施形態にかかる画像中の微小物体の自動検出方法を例示
する例示的なフローチャートである。例示的なフローチャートは、以下に詳細に記載されるように、例えば、
図11のシステム1200で行うことが可能である。本明細書に示されるように、システム1200の画像取得ユニット1202の撮像素子1206により行い得る工程1110は、マイクロ流体デバイスの撮像データを受け取ることを含む。
【0252】
[00261] 本明細書に示されるように、工程1120は、システム1200の画像取得
ユニット1202の画像前処理エンジン1208により実現可能な例示的なワークフロー工程を詳述する。工程1120では、本方法は、画像データを前処理して画像データ中の異常を低減することを含む。
【0253】
[00262] 本明細書に示されるように、工程1130は、システム1200の微小物体
検出ユニット1204のニューラルネットワーク1210により実現可能な例示的なワークフロー工程を詳述する。工程1130では、本方法は、ニューラルネットワークを用いて撮像データ中のピクセルデータを処理して複数の微小物体特性に従ってピクセルデータにアノテートすると共にピクセルデータ中のピクセルに対する確率値を出力する。出力確率値は、複数のピクセルマスクの形態であり得ると共に、各マスクは、複数の微小物体特性からの微小物体特性に対応する。各マスクは、そのマスクに関連する特定の微小物体特性に基づいて画像に対してピクセルアノテーションのセット(又は確率値のセット)を含み得る。
【0254】
[00263] 本明細書に示されるように、工程1140は、システム1200の微小物体
検出ユニット1204の閾値エンジン1212により実現可能な例示的なワークフロー工程を詳述する。工程1150では、本方法は、閾値を適用してどのピクセル確率が少なくとも規定閾値を満たすか決定することを含む。
【0255】
[00264] 本明細書に示されるように、工程1150は、システム1200の微小物体
検出ユニット1204の検出エンジン1214により実現可能な例示的なワークフロー工程を詳述する。工程1160では、本方法は、閾値適用後に同定可能な微小物体の数に基づいて微小物体の数を決定することを含む。
【0256】
[00265]
図11は、種々の実施形態にかかる画像中の微小物体の自動検出システムの
模式図である。本明細書に示されるように、システム1200は、画像取得ユニット1202、画像前処理エンジン1208、微小物体検出ユニット1204、及び最終微小物体
出力用の入出力デバイス(I/Oデバイス)1216を含み得る。
【0257】
[00266] I/Oデバイス1216は、例えば、システム1000の関連する表示デバ
イス1012及び/又は入力デバイス1014(
図5参照)を含むように構成可能であり、これらは、例えば、画像取得ユニット1202、画像前処理エンジン1208、微小物体検出ユニット1204、又はそれらの組合せに転送可能なデータ(例えば、パラメータ、ユーザ要件等)の形態であり得る。I/Oデバイス1216はまた、システム1000の関連する表示デバイス1012及び/又は入力デバイス1014(
図5参照)を介してユーザ入力を受け取るように構成可能であり、これらは、例えば、画像取得ユニット1202、画像前処理エンジン1208、微小物体検出ユニット1204、又はそれらの組合せに転送可能なデータ(例えば、パラメータ、ユーザ要件等)の形態であり得る。代替的に又は組合せで、コンピュータシステム1000の入力デバイス1014(
図5参照)はまた、ユーザ入力、パラメータ、及び/又はそれらの類似物を、例えば、画像取得ユニット1202、画像前処理エンジン1208、微小物体検出ユニット1204、又はそれらの組合せに直接転送するように使用可能である。更に、I/Oデバイス1216は、例えば、検出エンジン1214から受け取ったデータ又は画像を内臓表示デバイス1012上に表示するように構成可能である。デバイス1216はまた、画像又はデータを表示するためにデータ又は画像を個別のディスプレイ1012に転送するように構成可能である。
【0258】
[00267] 画像取得ユニット1202(例えば、限定されるものではないが以上の
図1
Aに示される撮像モジュール164)は、撮像素子1206(例えば、限定されるものではないが撮像デバイス194)を含み得る。代替的に、ユニット1202はまた、画像前処理エンジン1208を含むように(又は収容するように)構成することも可能である。
【0259】
[00268] 撮像素子1206は、1つ以上の画像(又は画像データ)を捕捉するように
構成可能である。画像は、例えば、マイクロ流体デバイスの複数のチャンバ(例えば隔離ペン)及び/又は周囲の構造体(例えばチャネル)であり得る。マイクロ流体デバイスは、本明細書に記載の種々の例のいずれかを含み得る(例えば、限定されるものではないが、以上の
図1A~1C、2A~2B、2D、及び2G-2Hに示されるマイクロ流体デバイス100、200、230、250、280、及び290)。マイクロ流体デバイスは、フロー領域とフロー領域に流体接続可能なチャンバ又は複数のチャンバとを含み得ると共に、チャンバのそれぞれは、1つ以上の微小物体を保持可能である。以上で述べたように、チャンバは、例えば、隔離ペンであり得る。チャンバは、使用される特定の用途に必要とされる任意の形状、サイズ、又は位置付けであり得ることを認識すべきである。フロー領域は、単一マイクロ流体チャネル又は複数のマイクロ流体フローチャネルであり得る(例えば、限定されるものではないが、以上の
図1A及び2A~2Cに示されるチャネル122並びに以上の
図2D~2Fに示されるフローチャネル264)。これらは、単一の流路又は複数の流路を提供する(例えば、限定されるものではないが、以上の
図1A及び2Bに示される流路106)。フロー領域は、単一又は複数のチャンバに流体連通可能である。代替的に、フロー領域は、リバーシブルクロージャー例えばバルブ等を介して単一のチャンバ又は複数のチャンバに流体連通し得る。フロー領域は、以上に記載の流入口を介して材料のフローを受け取るように構成可能である。材料のフローは、例えば、微小物体、結合剤、若しくは結合試薬のフロー、又は材料を含む媒体のフローを含み得る。
【0260】
[00269] 種々の実施形態では、撮像素子1206はまた、更なる処理のために送信前
に捕捉画像をサイズ変更するように構成可能である。サイズ変更は、例えば、ビニング(例えば、4ピクセルから1ピクセルへ)により達成可能である。
【0261】
[00270] 画像前処理エンジン1208は、種々の実施形態にかかる更なる分析のため
の画像を作製するように構成可能である。例えば、エンジン1208により受け取る前に
捕捉画像をビニングした場合、エンジン1208は、ビニングを補償するために画像をフルサイズにサイズ変更可能である。エンジン1208は、例えば、ピクセル値間の線形補間を用いてサイズ変更可能である。エンジン1208は、所望の位置付けの必要に応じて、画像のフリップ及び/又は回転を行うことが可能である。エンジン1208は、例えば、既知のドット間隔を有するドットアレイを調べることにより計算されたルックアップテーブルを用いて、画像に歪み補正工程を適用可能である。
【0262】
[00271] 種々の実施形態では、エンジン1208は、画像全体にわたり明るさレベリ
ング手順を実行可能である。例えば、エンジン1208は、二次多項式又は高次多項式による最良当てはめ補正等の多項式による最良当てはめ補正を使用可能である。任意選択的に、多項式関数の代わりに正弦波関数又は指数関数を使用可能である。レベリングは、最良当てはめ関数の所望の乗数をシステム校正時に決定して画像の明るさとスケーリング画像とを乗算することにより達成可能である。エンジン1208はまた、例えば、自己蛍光から生じるバックグラウンドの明るさを減算するためにラジオメトリック補正を実行可能である。
【0263】
[00272] 種々の実施形態では、そのままでは半透明で出現する可能性のある細胞を可
視化するために、蛍光画像が必要になることがある(例えば、DAPIは、特定の細胞をより良好に検出/計数する手段として核の染色に使用可能である)。その場合、エンジン1208は、ドットアレイを用いて校正を行って、明視野画像にアライメントさせるために蛍光画像のスケール調整、シフト、及び/又は回転を行うことが可能である。
【0264】
[00273] 種々の実施形態では、マイクロ流体デバイスの伝導性シリコン基板からの干
渉を低減するために、フーリエ変換を使用可能である。フーリエ変換は、フォトトランジスタアレイ等の伝導性シリコン基板に伴うアーチファクト及び干渉の同定を促進する画像の周波数表現を可能にする。時間自体の関数のフーリエ変換は、周波数の複素数値関数であり、その絶対値は、元の関数に存在するその周波数の量を表し、その複素偏角は、その周波数の基本正弦曲線の位相オフセットである。フーリエ変換は、元のシグナルの周波数領域表現と呼ばれる。フーリエ変換という用語は、周波数領域表現と周波数領域表現を時間の関数の関連付ける数学演算との両方を意味する。フーリエ変換は時間の関数に限定されないが、統一された言葉にするために、元の関数の領域は、通常、時間領域という。
【0265】
[00274]以下でより詳細に考察されるように、対象の微小物体は、マイクロ流体デバイ
スの特徴と比較して類似の混同しやすい形態、例えば、フォトトランジスタアレイ等を有することもある。そのほか、細胞等の微小物体は、マイクロ流体デバイスの種々の特徴と比較して相対的に半透明であることもある。したがって、対象の微小物体を同定する前にマイクロ流体デバイスの望ましくない特徴(例えば、マイクロ流体デバイスのフォトトランジスタアレイ、壁、又は回路要素)を同定して除去することが役立ち得る。フーリエ解析は、例えば、微小物体の検出前にトランジスタパターンを除去するために使用可能である。この工程は、エンジン1208内で又は代替的に微小物体検出ユニット1204の検出エンジン1214の後処理工程で行うことが可能である(より詳細に以下に記載される)。
【0266】
[00275] 種々の実施形態では、画像の前処理は、明るさ正規化又はコントラスト強調
を利用して、マイクロ流体デバイスの伝導性シリコン基板からの干渉を低減することを含み得る。
【0267】
[00276] 種々の実施形態では、エンジン1208は、以上に記載したように前処理さ
れた画像のコピーを作製して、種々の「クライアント」1220に転送可能である(例えば、GUI、画像処理、動画作成、画像捕捉、メモリ/ストレージ/サーバー等)。
【0268】
[00277] 種々の実施形態では、流域アルゴリズムは、元の画像入力で細胞境界を書き
込むために使用可能である。このアルゴリズムは、対象の物体を集水域として且つその物体のエッジを集水域の周りの分水界線として、地形図とほぼ同様に画像を処理する。その際、この画像解析法は、物体(集水域)の周りの物体境界(分水界線)のより明確な定義を可能にする。
【0269】
[00278]
図11のシステム1200の微小物体検出ユニット1204は、画像取得ユ
ニット1202に通信接続可能である。種々の実施形態では、微小物体検出ユニット1204は、ニューラルネットワーク1210、閾値エンジン1212、及び検出エンジン1214を含み得る。微小物体検出ユニット1204の一部として示される(及び本明細書に記載される)各コンポーネント(例えば、エンジン、モジュール等)は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの任意の組合せとして実現可能であることを認識すべきである。
【0270】
[00279] 種々の実施形態では、微小物体検出ユニット1204は、画像取得ユニット
1202と共に統合機器システムアセンブリーとして実現可能である。すなわち、微小物体検出ユニット1204及び画像取得ユニット1202は、同一のハウジングアセンブリー内に収容可能であり、且つ従来のデバイス/コンポーネント接続手段(例えば、シリアルバス、光学ケーブル、電気ケーブル等)を介して通信可能である。
【0271】
[00280] 種々の実施形態では、微小物体検出ユニット1204は、光学接続、シリア
ルポート接続、ネットワーク接続、又はモデム接続を介して画像取得ユニット1202に通信接続されるスタンドアロン計算デバイスとして実現可能である(
図11に示されるように)。例えば、画像処理ユニットは、画像取得ユニット1202により取得された撮像データを分析のために微小物体検出ユニット1204に送信可能にするLAN接続又はWAN接続を介して接続可能である。
【0272】
[00281] 種々の実施形態では、微小物体検出ユニット1204の機能は、WAN(又
は等価物)接続を介して画像取得ユニット1202に通信接続される共有コンピュータ処理資源の分散ネットワーク(例えばクラウドコンピューティングネットワーク)上に実現可能である。例えば、微小物体検出ユニット1204の機能は、分割されてAMAZON WEB SERVICES(商標)等のクラウド処理サービス上の1つ以上の計算ノードで実現が可能であ
る。
【0273】
[00282] ニューラルネットワーク1210は、画像前処理エンジン1208から画像
データ入力を受け取って、複数の微小物体特性に従って画像データ中のピクセルデータにアノテートし、ピクセルアノテーションに基づいてピクセルデータ中の各ピクセルに対して確率値を割り当て、そして確率画像データを出力するように設計・構成することが可能である。ニューラルネットワーク1210は、畳込みニューラルネットワークであり得ると共に、以上に記載のアーキテクチャー例の任意の組合せを利用したアーキテクチャーを有し得る(例えば、
図7、8、及び9A~9D、並びに関連する考察を参照されたい)。
【0274】
[00283] 閾値エンジン1212は、ニューラルネットワーク1210から確率画像出
力データを受け取り、そして所与の閾値を適用してどのピクセル確率が少なくとも規定閾値を満たすかを決定するように設計・構成することが可能である。例えば、種々の実施形態では、微小物体タイプは、細胞中心、細胞境界、又は非細胞型のいずれか1つであり得るか、又は微小物体特性、例えば、真円度特性、サイズ特性、又はその両方を含む。ピクセルアノテーションに割り当てられた確率は、割り当てられた閾値と比較して、更なる分析又は閾値未満のピクセルの排除を促進可能である。閾値は、ユーザ定義し得ると共に、
ピクセルアノテーションの確率が閾値未満である場合、ピクセルアノテーションを他のタイプに再分類し得る。割り当てられた確率は、一般に、ピクセルアノテーションの信頼度を示唆する。例えば、確率は、次のように割当て可能である。すなわち、境界の場合には0.15、細胞中心の場合には0.8、及び非細胞の場合には0.05である。ピクセルのクラスターが分析されるので、各ピクセルアノテーションを近接ピクセルと共に用いて適正な同定の尤度を決定することが可能である。
【0275】
[00284]
図11のシステム1200の検出エンジン1214は、閾値エンジン121
2の閾値分析で補正された画像出力データを受け取って、画像後処理技術を適用し、そして微小物体の数を出力するように設計・構成することが可能である。
【0276】
[00285] 以下に提供されるいくつかの例を含めて多くの後処理技術が企図される。エ
ンジン1214は、隔離ペン(マイクロ流体デバイス内のもの)のCADモデルを実際の画像出力にアライメントして、どこにペンが位置決めされているかを正確に見いだすように構成可能である。蛍光画像(検出される細胞型に依存する)の場合には、エンジン1214は、減算により、例えば、ブラー(画像)ルーチンから得られる対応する画像を減算することにより、バックグラウンドを除去するように構成可能である。エンジン1214はまた、微小物体の数を得るために画像出力を個別のペンに分断するように構成可能である。エンジン1214はまた、対象の物体の周りの任意の構造体を除去可能なピクセルマスクを適用可能である(例えば、マイクロ流体デバイス又はペン壁)。最後に、エンジン1214は、閾値処理及び後処理の後に識別可能な物体に基づいて微小物体の数を決定可能である。エンジン1214からのカウント数及び出力画像は、I/Oデバイス1216に転送可能であり、そこで、例えば、記憶、メモリ記憶装置への転送、更なる分析、及び/又はクライアント1220への転送を行うことが可能である。
【0277】
[00286] 種々の実施形態によれば、画像取得ユニット1202及び微小物体検出ユニ
ット1204は、単一の物理ユニットに一体化可能である。代替的に、画像取得ユニット1202及び微小物体検出ユニット1204は、情報交換のためにユニットが依然として通信接続されるように独立したユニットで提供されれば、分離可能に位置付け可能である。
【0278】
[00287] 以上に記載の微小物体検出ユニット1204の各コンポーネントは、ハード
ウェアであり得るか、又は部分的に若しくは完全にソフトウェアモジュールであり得る。
【0279】
[00288] 微小物体の自動検出。画像中の対象の微小物体の自動検出方法が提供される
。対象の微小物体は、画像中の1つ以上の他のフィーチャと比較して類似の混同しやすい形態を有することもある。例えば、いくつかの場合には、マイクロ流体デバイス内に配置された微小物体の検出は、対象の微小物体に類似の形態を有するマイクロ流体デバイスのフィーチャにより複雑化する可能性がある。例えば、細胞が10ミクロンの直径を有する場合には、細胞と両方の寸法が10ミクロンのピッチを有するフォトトランジスタアレイ(すなわち、各フォトトランジスタは10ミクロン×10ミクロンのサイズを有する)とを識別するのは困難なおそれがある。そのほか、細胞等の微小物体は、マイクロ流体デバイスの種々の特徴と比較して相対的に半透明であることもある。したがって、対象の微小物体を同定する前にマイクロ流体デバイスの望ましくない特徴(例えば、マイクロ流体デバイスのフォトトランジスタアレイ、壁、又は回路要素)を同定して除去することが役立ち得る。
【0280】
[00289] いくつかの実施形態では、単一ピクセルは、対象の微小物体の断面積よりも
実質的に小さなマイクロ流体デバイス内の領域に対応可能である。例えば、微小物体は、約80ミクロン2の断面積を有し得るが、ピクセルは、約2ミクロン2の面積に対応する。
かかる実施形態では、微小物体の断面領域をカバーするために、ピクセルの1つ以上のクラスターが必要となろう(例えば、以上の例では、微小物体の断面領域をカバーするために実質的に40ピクセルを要し、微小物体の外周の断面領域をカバーするために24ピクセルを要するであろう)。
【0281】
[00290] ピクセルクラスターのセットの分析は、ピクセルクラスターの領域及び外周
のほかにいくつかの他の特徴を更に含み得る。ピクセルクラスターのセットは、グローバルな形態(すなわち、1つ以上のピクセルクラスターのセットのサイズ及び形状)、ローカルな形態(すなわち、個別のピクセルクラスターのサイズ及び形状)、正及び負の光強度値Li、並びにこれらの要素の組合せに基づく他の特徴(例えば、サイズの関数としての光強度)に従って分析し得る。ピクセルクラスターのセットを分析するために、伝統的な機械学習技術をはじめとする種々の方法を使用し得る。この場合、以上で考察された特徴は、微小物体の画像のセットに対して計算され、同一の特徴に基づいて新しい画像中の対象の微小物体を同定する分類器をトレーニングするために使用される、
【0282】
[00291] 微小物体の同定(以下でより詳細に考察される)はまた、OET力やDEP
力等の力を用いた微小物体の操作又は再配置と併用し得る。いくつかの実施形態では、特定の回路要素(例えば、チャネル若しくは隔離ペン)又はマイクロ流体回路の位置で同定される微小物体は、他のタイプの回路要素又はマイクロ流体回路の位置に移動(すなわち再配置)させ得る。例えば、微小物体をマイクロ流体回路のチャネルで同定し、そしてマイクロ流体回路の隔離ペンに再配置し得る(本明細書では微小物体の「ペン隔離」という)。それとは逆に、微小物体をマイクロ流体回路の隔離ペンで同定し、そしてマイクロ流体回路のチャネルに移動させ得る。代替的に、1つ以上の微小物体を1つの隔離ペンで同定し、そして空の隔離ペンに再配置し得る(本明細書では微小物体の「再ペン隔離」という)。実施形態によれば、OET力及びDEP力を含めて種々の機序を用いて微小物体を移動させ得る。同様に、微小物体は、逐次的に(すなわち、一度に1つの微小物体)、並行的に、又はそれらの任意の組合せで再配置し得る(例えば、並行的な複数の細胞のグループを逐次的に再配置し得る)。
【0283】
[00292] 微小物体をチャネルから個別の隔離ペンに再配置する場合(又は個別の隔離
ペンから他の隔離ペンに再ペン隔離する場合)、様々なアルゴリズムを用いて微小物体を空の隔離ペンに割り当て得る。いくつかの実施形態では、微小物体とペンとの距離(すなわち、再配置時に微小物体が移動しなければならない軌道又は経路)が最小化されるように、微小物体を空の隔離ペンに割り当てるアルゴリズムが使用されよう。これらの実施形態では、最短距離を移動させて微小物体を空の隔離ペンに再配置することが必要とされるにすぎないので、微小物体を移動させるための力(例えば、OET力又はDEP力)の使用もまた、最小化される。
【0284】
[00293] これらの実施形態では、チャネル中のローカルな微小物体密度(すなわち、
チャネルの特定の空間領域内の微小物体の数)を用いて、チャネル中の特定の微小物体を空の隔離ペンに割り当てるのに好適なアルゴリズムを決定し得る。ローカルな微小物体密度は、いくつかの方法で計算し得る。いくつかの実施形態では、ローカルな微小物体密度は、固定サイズ領域(例えば、200ミクロン2、若しくはチャネルの幅に延在する長さ100ミクロンのチャネル領域)に基づいて又は種々のサイズの領域を使用する方法を用いて計算し得る。他の実施形態では、ローカルな微小物体密度は、同定された微小物体のクラスター又は同定された微小物体間の距離に基づいて計算し得る。ローカルな微小物体密度はまた、チャネルをグリッドに細分することにより又はチャネルのオーバーラップ領域の密度を計算する「スライディングウィンドウ」法を使用することにより計算し得る。
【0285】
[00294] ローカルな微小物体密度が閾値T1密度超である場合、微小物体と隔離ペン
との距離が最小化されるように微小物体を最も近い空の隔離ペンに割り当て得る。ローカルな微小物体密度が特定の閾値T1密度未満である場合、微小物体と隔離ペンとの距離が最小化されるように空の隔離ペンを空の隔離ペンに最も近い微小物体に割り当て得る。いくつかの場合には、空のペンの数更には所定の近傍領域のチャネル内の微小物体の密度に基づいて、ローカルなT1密度を計算し得る。
【0286】
[00295] 微小物体と空の隔離ペンとの距離(すなわち、ペン隔離時に微小物体を移動
させる必要がある経路又は軌道)の様々な計算方法を用いて、特定の微小物体を空の隔離ペンに割り当て得る。いくつかの実施形態では、微小物体と可能性のある隔離ペンとの距離は、OET力及び/又はDEP力を用いる最適な軌道のみに基づいて計算し得る。いくつかの場合には、OET力又はDEP力を用いる最適な軌道は、微小物体を移動させる直交運動経路の組合せ(例えば、y軸及びx軸のみに沿った識別可能な移動の組合せ)を含む。他の場合には、距離は、拘束条件なしの微小物体と隔離ペンとの最短可能経路に基づき得る(すなわち、微小物体は、隔離ペンに達する任意の経路に沿って移動し得る)。ほとんどの実施形態では、微小物体は、距離(軌道)の計算に使用されたアルゴリズムにより決定されたものと同一の軌道を用いて再配置(すなわち、「ペン隔離」又は「再ペン隔離」)されよう。
【0287】
[00296] 同様に、多数の微小物体を隔離ペンに割り当てる場合(又はその逆の場合)
、様々なアルゴリズムを用いてペンへの微小物体の最適割当てを計算し得る(又はその逆を行い得る)。これらのアルゴリズムは、微小物体を隔離ペンに再配置するために微小物体を移動させる必要がある全距離(すなわち、軌道の長さ)を最小化する微小物体対隔離ペンの割当てを決定する様々な計算方法を使用可能である。例えば、アルゴリズムは、微小物体を移動させる必要がある距離を最小化するためにヒューリスティック法として全ての軌道の長さの和を使用し得る。いくつかの実施形態では、再配置時に微小物体を移動可能な最大距離等の拘束条件を最適割当ての計算に導入し得る。種々のコンビナトリアルアルゴリズムを用いて微小物体と隔離ペンとの間の最適割当てを計算し得る。好適なアルゴリズムとしては、グリーディアルゴリズム、非線形最適化、ヒューリスティックベースのアルゴリズム、及び拘束検索が挙げられる。他の類似のアルゴリズムは、当技術分野で公知である。
【0288】
[00297] 微小物体に対して最適な割当て及び軌道を計算した後、OET及び/又はD
EP等の力を用いて微小物体を割り当てられたペンに移動させ得る。微小物体は、微小物体を取り囲んで微小物体にOET力及び/又はDEP力を加える「光ケージ」等の光のパターンを使用することにより、又はバー若しくは類似の構造体を用いて微小物体にOET力及び/又はDEP力を印加することにより、再配置し得る。典型的には、光ケージは、微小物体を実質的に包囲する構造(例えば、正方形、円形、又は多角形)であろう。しかし、いくつかの場合には、光ケージは、微小物体を完全に包囲しないように切断又は開口を含有し得る。
【0289】
[00298] 以上で考察したように、ほとんどの実施形態では、微小物体は、ペンへの微
小物体の最適割当てを計算するために使用された距離(軌道)に従って移動されよう。実施形態によれば、微小物体は、逐次的に又は並行的に又はそれらの任意の組合せで移動させ得る(例えば、並行的な細胞群を逐次的に移動させ得る)。微小物体を並行的に移動させる実施形態では、最適な割当て又は軌道の計算に使用されるアルゴリズムは、軌道を比較して、ペンへの微小物体の軌道及び割当てを変更することにより並行的に移動させるときに微小物体が衝突しないように保証し得る。具体的な実施形態では、アルゴリズムは、衝突の可能性が同定されたときにペンへの微小物体の割当てを「スワップ」し得る。この実施形態では、第1の微小物体の最適軌道が第2の微小物体の最適軌道と交差する場合、第1の微小物体の最適軌道は第2の微小物体に割り当てられ、且つ第2の微小物体の最適
軌道は第1の微小物体に割り当てられる。他の具体的な実施形態では、アルゴリズムは、第1及び第2の微小物体がそれらのそれぞれの軌道に沿って衝突せずに移動可能な時間になるまで、第1の微小物体の再配置を遅延する。
【0290】
[00299] いくつかの場合には、微小物体を隔離ペンに割り当てて微小物体を再配置(
すなわち、「ペン隔離」又は「再ペン隔離」)する前に微小物体を互いに分離する必要があるほど、微小物体密度が高すぎることもある。例えば、OET力及び/又はDEP力を用いて物体を再配置するために使用される光ケージが、他の微小物体を妨害することなく単一の微小物体に使用できないことが理由で、OET力及び/又はDEP力を用いて微小物体をペンに隔離できないほど、微小物体密度が高すぎることもある。この妨害は、微小物体に印加されるOET力及び/又はDEP力の大きさを最小化することが重要である場合、特に懸念される。例えば、OET力及び/又はDEP力により又はOET力の副作用により微小物体が妨害を受ける場合である(例えば、OET力及び/又はDEP力に伴う電解)。こうした場合には、他の細胞を妨害することなく微小物体のペン隔離又は再ペン隔離(本明細書では微小物体の「分離」という)を行い得るように、微小物体の同定時に生成される情報(例えば、微小物体の半径、重心、外周、及び位置)を用いて微小物体を移動させ得る。
【0291】
[00300] ペンに隔離する前に微小物体を分離する必要がある場合を同定するために、
規定空間領域に基づいてローカルな微小物体密度を計算して第2の閾値T2密度と比較し得る。代替的に、微小物体間の距離(例えば、微小物体の重心間距離、微小物体の外周間距離)を計算して、微小物体を分離する必要があるかの決定に使用し得る。しかし、分かるであろうが、いくつかの場合には、微小物体間の距離が短すぎて、微小物体を個別の微小物体として同定できないこともある。こうした場合には、各隔離ペンが単一の微小物体を含有することを保証するために、微小物体を再配置(すなわち「ペン隔離」)した後で微小物体を再同定し得る。
【0292】
[00301] いくつかの実施形態では、ペン隔離(又はペン再隔離)の前又はその時に、
光ボックスを用いて微小物体を分離し得る。光ボックス(又は光ケージ)を形成する場合、分割アルゴリズムを用いて、マイクロ流体デバイスの空間領域(例えば、チャネルの一部分又は隔離ペン)内で同定された各微小物体と同一空間領域内の他の微小物体とを仕切る頂点のセットを計算することが可能である。しかし、当業者であれば分かるであろうが、頂点のセットは、マイクロ流体デバイスの空間領域内の微小物体のサブセットのみが他の微小物体から分離されるように導出され得る。例えば、頂点のセットは、他の微小物体にごく近接していることが原因で再配置が必要とされる空間領域内の微小物体のサブセットを分離するにすぎない。
【0293】
[00302] 具体的な実施形態では、各微小物体の重心を用いてドロネー三角形分割が計
算される。ドロネー三角形分割は、微小物体の重心を結ぶ三角形のセットを生成する。次いで、ドロネー三角形分割を用いて計算された三角形の外接円に基づいてボロノイ図が計算される。ボロノイ図は、頂点のセットと微小物体の重心との距離が最大化されるように空間領域をサブ領域のセットに分割する頂点のセットである。空間領域内の各細胞と他の細胞とを仕切る頂点のセットを計算する他の方法は、当技術分野で公知である。
【0294】
[00303] 頂点のセットを計算した後、頂点のセットをOET力及び/又はDEP力と
組み合わせて使用することにより微小物体を移動させることが可能である。
図6A~6Fは、本発明の種々の実施形態にかかる微小物体の分離を例示する。
図6Aは、特定の空間領域内の微小物体のセットのドロネー三角形分割及び対応するボロノイ図を例示する。
図6Bは、ドロネー三角形分割を有していない対応するボロノイ図を例示する。
図6Cは、微小物体を移動させるために典型的に使用される光ケージをボロノイ図に重ねて例示する
。
図6Dは、
図6Cの典型的な光ケージとボロノイ図との交差を計算することにより発生させた修正光ケージを例示する。
図6Eは、修正光ケージを用いた互いにごく近接する微小物体の分離を例示する。
図6Fは、分離された微小物体を例示する。
【0295】
[00304] 一実施形態では、頂点のセットの頂点のサブセットを結ぶ複数の光バーを発
生させることにより、1つ以上の光ケージを発生させる。この場合、頂点のサブセットは、移動させる各微小物体に最も近接する又はそれを取り囲む頂点を含む(又はそれからなる)。例えば、
図6Bに示される多角形状はいずれも、微小物体を取り囲む光ケージを規定するために使用可能である。特定の実施形態では、このように形成された光ケージを収縮させることにより、光ケージ内の微小物体を特定空間領域内の他の微小物体及び/又は光ケージから分離することが可能である。他の実施形態では、
図6Dに例示されるように、「標準」光ケージ設計(例えば、正方形又は円形)を多角形状(
図6C参照)上に重畳して、標準光ケージ設計と多角形状との交差から生じる光ケージを発生させることにより、光ケージを規定することが可能である。この例では、光ケージが交差もオーバーラップもしない領域として頂点と光ケージとの交差が規定されるので、他の微小物体を妨害しないように「標準」光ケージを再描画することが可能である。形成方法のいかんにかかわらず、形成後、光ケージを用いて、微小物体を互いに移動させ、微小物体を再配置することにより、微小物体を分離することが可能である。いくつかの場合には、微小物体が再配置されて微小物体が最終位置にあるときの元の光ケージが描かれるように、修正光ケージを再描画し得る。
【0296】
[00305] 非標準(又は「修正」)光ケージは、様々な実施形態で微小物体を再配置す
るために使用し得る。実施形態に依存して、2つの近接する微小物体に対する修正光ケージは、各微小物体に対して隔離ペンへの軌道及び割当てを計算及び選択する前又は後に微小物体を再配置するために使用される。いくつかの実施形態では、修正光ケージは、微小物体を反復的又は逐次的に再配置するために使用される。そのほか、修正光ケージは、割り当てられた隔離ペンで微小物体をペン隔離するために使用し得る。いくつかの実施形態では、他の微小物体を再配置又はペン隔離する前に、空間領域の外周に最も近い又は空間内で互いに最も近い微小物体を再配置又はペン隔離し得る。
【0297】
[00306]
図4A、4B、及び4Cは、光ボックスを用いた微小物体のペン隔離を例示
する。
図4Aには、細胞の同定及びペンへの細胞の割当てが行われた直後のマイクロ流体回路のチャネル内の生体細胞が示されている。細胞を取り囲む黒色ボックスは、細胞同定アルゴリズムの出力、すなわち、細胞の周りのボックスにより示された細胞の同定を例示する。黒色ボックスを取り囲む白色ボックスは、細胞を再配置するために使用されたOET力の光ケージである。最後に、細胞を取り囲むボックスを隔離ペンに接続する黒色ラインは、細胞を隔離ペンに割り当てる際に計算された最適軌道を例示する。
図4Bは、選択された軌道に沿って光ケージを移動させたより後の時点の同一の細胞を示す。
図4Cは、選択された軌道に沿って光ケージをほぼ完全に移動させて細胞を隔離ペン内に配置した第3の時点の同一の細胞を示す。
【0298】
[00307] 微小物体の移動時、OET及び/又はDEPを用いて細胞を移動させるため
に使用されるスピードは、微小物体の運動を「増加」させて微小物体がその光ケージから失われないことを保証するために、徐々に加速し得る。例えば、具体的な実施形態では、微小物体の初期速度は、低初速度からより高い移動速度に徐々に加速し得る。この漸進的加速は、微小物体を自動で再配置する場合(例えば、ペン隔離、ペン再隔離、及び搬出する場合)並びに微小物体を手動で再配置する場合(例えば、細胞の選択及び移動を手動で行う場合)の両方に適用し得る。同様に、高移動速度は、微小物体がその軌道の終点に達してその最終位置にあるときの最終速度ゼロに「減速」し得る。
【0299】
[00308] 本発明の方法は、全てのタイプのマイクロ流体デバイスによる微小物体の自
動検出に有用である。特定の実施形態では、マイクロ流体デバイスは、フロー領域(又はフローチャネル)と1つ以上のチャンバ(又は隔離ペン)とを含み得る。代替的又は追加的に、マイクロ流体デバイスは、光学作動動電デバイス等の動電デバイスであり得るか、又は動電用に構成された領域を含み得る。動電デバイス、特に、トランジスタ(例えばフォトトランジスタ)のアレイを有する動電デバイスは、アレイのトランジスタが検出対象の微小物体の断面領域に類似した領域を有する場合、特に複雑なバックグランドを提供する可能性がある。本明細書に記載の方法は、かかるデバイスに配置された微小物体の検出に特に有効であり得る。
【0300】
[00309] 特定の実施形態では、本発明は更に、本明細書に記載の方法のいずれかを実
施するために非一時的機械可読命令を記憶するための機械可読記憶デバイスを提供する。機械可読命令は、画像を得るために使用される撮像デバイス及び/又は画像のアライメント、微分画像の発生、及び/又は微分画像の分析を行うプロセッサ(例えば、計算デバイス中のもの)を制御可能である。
【0301】
[00310] 本明細書に記載の方法は、用途に依存して種々の手段により実現し得る。例
えば、これらの方法は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの任意の組合せで実現し得る。ハードウェア実現形態では、処理ユニットは、1つ以上の特定用途向け集積回路(ASIC)、ディジタルシグナルプロセッサ(DSP)、ディジタルシグナル処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載の機能を実施するように設計された他の電子ユニット又はそれらの組合せに内蔵して実現し得る。
【0302】
[00311] 種々の実施形態では、本教示の方法は、ファームウェア及び/又はC、C+
+等の従来のプログラミング言語で書かれたソフトウェアプログラム及びアプリケーションとして実現し得る。ファームウェア及び/又はソフトウェアとして実現する場合、本明細書に記載の実施形態は、以上に記載の方法をコンピュータで実施するためのプログラムが記憶された非一時的コンピュータ可読媒体で実現可能である。本明細書に記載の種々のエンジンは、コンピュータシステムで提供可能であることを理解すべきである。例えば、
図5のコンピュータシステム1000で提供可能であり、その場合、プロセッサ1004は、メモリコンポーネント1006/1008/1010のいずれか1つ又はそれらの組合せにより提供される命令及び入力デバイス1014を介して提供されるユーザ入力に従って、これらのエンジンにより提供される解析及び決定を実行しよう。
【0303】
[00312] 本教示は種々の実施形態との関連で記載されているが、本教示をかかる実施
形態に限定することを意図するものではない。そうではなく、当業者であれば分かるであろうが、本教示は、種々の代替形態、変更形態、及び等価形態を包含する。
【0304】
[00313] 更に、種々の実施形態を記載する際、本明細書では、特定の順序の工程とし
て方法及び/又はプロセスを提示したものもある。しかし、本方法又はプロセスが本明細書に明記された特定の順序の工程に依拠しない限り、本方法又はプロセスは、記載の特定の順序の工程に限定すべきでない。当業者であれば分かるであろうが、他の順序の工程も可能であり得る。したがって、本明細書に明記された特定の順序の工程は、特許請求の範囲を限定するものと解釈すべきでない。そのほか、本方法及び/又はプロセスに関する請求項は、記載の順序でそれらの工程を実施することに限定すべきでなく、順序を変更しても依然として種々の実施形態の趣旨及び範囲の枠内にとどまり得ることは、当業者であれば容易に理解できる。
【0305】
[00314] 本明細書に記載の実施形態は、ハンドヘルドデバイス、マイクロプロセッサ
システム、マイクロプロセサーベースの又はプログラマブルなコンシューマ電子製品、ミニコンピュータ、メインフレームコンピュータ等を含む他のコンピュータシステム構成と共に実施可能である。実施形態はまた、ネットワークを介してリンクされたリモート処理デバイスによりタスクが実施される分散コンピューティング環境でも実施可能である。
【0306】
[00315] 本明細書に記載の実施形態は、コンピュータシステムに記憶されたデータを
必要とする種々のコンピュータ実行操作を利用可能であることも、理解すべきである。こうした操作は、物理量の物理的操作を必要とするものである。必ずというわけではないが、通常、これらの量は、組み合わせて、記憶、転送、結合、比較、及び他の操作が可能な電気シグナル又は磁気シグナルの形態をとる。更に、実施される操作は、生成、同定、決定、比較等という用語で呼ばれることが多い。
【0307】
[00316] 本明細書に記載の実施形態の一部をなす操作はいずれも、有用な機械操作で
ある。本明細書に記載の実施形態はまた、これらの操作を実施するためのデバイス又は装置に関する。本明細書に記載のシステム及び方法は、所要の目的に合わせて特別に構築可能であるか、又はコンピュータに記憶されたコンピュータプログラムにより選択的に起動又は構成される汎用コンピュータであり得る。特定的には、本明細書の教示に従って書かれたコンピュータプログラムにより種々の汎用機械を使用し得るか、又は所要の操作を実施するようにより専用化された装置を構築することがより便利なこともあり得る。
【0308】
[00317] 特定の実施形態はまた、コンピュータ可読媒体上のコンピュータ可読コード
として具現化可能である。コンピュータ可読媒体は、データを記憶可能で後でコンピュータシステムにより読取り可能な任意のデータ記憶デバイスである。コンピュータ可読媒体の例としては、ハードドライブ、ネットワーク接続記憶装置(NAS)、リードオンリーメモリ、ランダムアクセスメモリ、CD-ROM、CD-R、CD-RW、磁気テープ、並びに他の光学、FLASHメモリ、及び非光学のデータ記憶デバイスが挙げられる。コンピュータ可読媒体はまた、コンピュータ可読コードが分散方式で記憶・実行されるように、ネットワーク結合コンピュータシステム全体に分散可能である。
【0309】
[00318] 本発明の具体的な実施形態及び適用を本明細書に記載してきたが、これらの
実施形態及び適用は例示的なものにすぎず、多くの変形形態が可能である。
【0310】
[00319] 本開示のいくつかの実施形態の列挙。
[00320] 1. 画像中の微小物体の自動検出方法であって、対応する複数の微小物体
特性に対して画像から複数のピクセルマスクを発生させることであって、複数のピクセルマスクを発生させることが、機械学習アルゴリズムを用いて画像からのピクセルデータを処理することを含み、且つ各ピクセルマスクがピクセルアノテーションのセットを含み、セットの各ピクセルアノテーションが、画像中の対応するピクセルが対応する微小物体特性を表す確率を表す、発生させることと、複数のピクセルマスクの少なくとも1つのピクセルマスクから微小物体の数を得ることと、を含む方法。
【0311】
[00321] 2. 微小物体の数が複数のピクセルマスクの、ピクセルマスクの組合せか
ら得られる、実施形態1に記載の方法。
【0312】
[00322] 3. 複数の微小物体特性が少なくとも3つの微小物体特性を含む、実施形
態1又は2に記載の方法。
【0313】
[00323] 4. 複数の微小物体特性が、少なくとも(i)微小物体中心、(ii)微
小物体エッジ、及び(iii)非微小物体を含む、実施形態1又は2に記載の方法。
【0314】
[00324] 5. 微小物体の数を得ることが、微小物体中心特性に対応するピクセルマ
スク又は微小物体中心特性に対応するピクセルマスクを含むピクセルマスクの組合せから微小物体の数を得ることを含む、実施形態4に記載の方法。
【0315】
[00325] 6. 機械学習アルゴリズムがニューラルネットワーク(例えば、畳込みニ
ューラルネットワーク)を含む、実施形態1~5のいずれか一つに記載の方法。
【0316】
[00326] 7. ニューラルネットワークが複数のダウンサンプリングブロック(例え
ば、少なくとも2、3、4個等のダウンサンプリングブロック)を含み、各ダウンサンプリングブロックが、第1のダウンサンプリング畳込み層と、第1のバッチ正規化層と、ゲーティング関数を含む第1のELU層と、を含み、且つ第1のダウンサンプリング畳込み層の各々が、それが受け取る画像データの空間分解能を低減する、実施形態6に記載の方法。
【0317】
[00327] 8. ダウンサンプリングブロックの1つ以上(例えば各々)が、第1のダ
ウンサンプリング畳込み層と、第1のバッチ正規化層と、第1のELU層と、からなり(又はそれらから本質的になり)、第1のELU層が第1のバッチ正規化層から画像データを直接受け取り、且つ第1のバッチ正規化層が第1のダウンサンプリング畳込み層から画像データを直接受け取る、実施形態7に記載の方法。
【0318】
[00328] 9. 各ダウンサンプリング畳込み層が、それが受け取る画像データの空間
分解能を1/2に低減する(例えば、畳込みフィルタ(又はカーネル)を一度に2ピクセルだけスライドさせることにより)、実施形態7又は8に記載の方法。
【0319】
[00329] 10. 第1のダウンサンプリング畳込み層の各々が5×5畳込みフィルタ
を含む、実施形態7~9のいずれか一つに記載の方法。
【0320】
[00330] 11. 複数のダウンサンプリングブロックの1つ以上(例えば各々)に、
ブランチ構造を有する残差ネットワークブロックが続く、実施形態7~10のいずれか一つに記載の方法。
【0321】
[00331] 12. 残差ネットワークブロックのブランチ構造が第1のブランチと第2
のブランチとを含み、且つ第1のブランチが、先行するダウンサンプリングブロックから受け取った画像データを第2のブランチよりも少ない程度で処理する、実施形態11に記載の方法。
【0322】
[00332] 13. 残差ネットワークブロックの第1のブランチが、第2の畳込み層と
、第2のバッチ正規化層と、ゲーティング関数を含む第2のELU層と、を含む、実施形態12に記載の方法。
【0323】
[00333] 14. 残差ネットワークブロックの第1のブランチが、第2の畳込み層と
、第2のバッチ正規化層と、第2のELU層と、からなり(又はそれらから本質的になり)、第2のELU層が第2のバッチ正規化層から画像データを直接受け取り、且つ第2のバッチ正規化層が第2の畳込み層から画像データを直接受け取る、実施形態13に記載の方法。
【0324】
[00334] 15. 第2の畳込み層が1×1畳込みフィルタを含む、実施形態13又は
14に記載の方法。
【0325】
[00335] 16. 残差ネットワークブロックの第2のブランチが2つ以上の処理ユニ
ットを含み、各処理ユニットが畳込み層とバッチ正規化層とを含む、実施形態11~15のいずれか一つに記載の方法。
【0326】
[00336] 17. 残差ネットワークブロックの第2のブランチが、第3の畳込み層と
、第3のバッチ正規化層と、ゲーティング関数を含む第3のELU層と、第4の畳込み層と、第4のバッチ正規化層と、からなり(又はそれらから本質的になり)、第4のバッチ正規化層が第4の畳込み層から画像データを直接受け取り、第4の畳込み層が第3のELU層から画像データを直接受け取り、第3のELU層が第3のバッチ正規化層から画像データを直接受け取り、且つ第3のバッチ正規化層が第3の畳込み層から画像データを直接受け取る、実施形態16に記載の方法。
【0327】
[00337] 18. 第3の畳込み層が3×3畳込みフィルタを含む、実施形態16又は
17に記載の方法。
【0328】
[00338] 19. 第4の畳込み層が3×3畳込みフィルタを含む、実施形態17又は
18に記載の方法。
【0329】
[00339] 20. 残差ネットワークブロックの第1のブランチ(例えば、第1のブラ
ンチのELU層)からの画像データと、残差ネットワークブロックの第2のブランチ(例えば、第2のブランチの第4のバッチ正規化層)からの画像データと、が再結合されて、ゲーティング関数を含む第4のELU層に転送される、実施形態11~19のいずれか一つに記載の方法。
【0330】
[00340] 21. ニューラルネットワークが、第1のダウンサンプリングブロック、
第1の残差ネットワークブロック、第2のダウンサンプリングブロック、第2の残差ネットワークブロック、第3のダウンサンプリングブロック、及び第3の残差ネットワークブロックを含む、実施形態6~20のいずれか一つに記載の方法。
【0331】
[00341] 22. 第1のダウンサンプリングブロック及び第1の残差ネットワークブ
ロックの各々が、32個のチャネルと画像の空間分解能の1/2の空間分解能とを含む、実施形態21に記載の方法。
【0332】
[00342] 23. 第2のダウンサンプリングブロック及び第2の残差ネットワークブ
ロックの各々が、64個のチャネルと画像の分解能の1/4の空間分解能とを含む、実施形態21又は22に記載の方法。
【0333】
[00343] 24. 第3のダウンサンプリングブロック及び第3の残差ネットワークブ
ロックの各々が、128個のチャネルと画像の分解能の1/8の空間分解能とを含む、実施形態21~23のいずれか一つに記載の方法。
【0334】
[00344] 25. ニューラルネットワークが複数のダウンサンプリングブロックの各
々に対してアップサンプリングブロックを含み、各アップサンプリングブロックが、転置畳込み層と、アップサンプリングバッチ正規化層と、ゲーティング関数を含むアップサンプリングELU層と、を含み、且つ各アップサンプリングブロックの転置畳込み層がそれが受け取る画像データの空間分解能を増加させる、実施形態7~24のいずれか一つに記載の方法。
【0335】
[00345] 26. アップサンプリングブロックの1つ以上の各々が再結合層を含み、
そこでアップサンプリングバッチ正規化層からの画像データが先行する残差ネットワーク
ブロックからの画像データとマージされる、実施形態25に記載の方法。
【0336】
[00346] 27. 1つ以上のアップサンプリングブロックの各々が、転置畳込み層と
、アップサンプリングバッチ正規化層と、再結合層と、アップサンプリングELU層と、からなり(又はそれらから本質的になり)、アップサンプリングELU層が再結合層から画像データを直接受け取り、アップサンプリングバッチ正規化層が再構築転置層から画像データを直接受け取る、実施形態26に記載の方法。
【0337】
[00347] 28. 各転置畳込み層がそれが受け取る画像データの空間分解能を2倍に
増加させる、実施形態25~27のいずれか一つに記載の方法。
【0338】
[00348] 29. ニューラルネットワークがn個のダウンサンプリングブロックとn
個の残差ネットワークブロックとを有する場合、ネットワークが、再結合層を含むn-1個のアップサンプリングブロックを有する、実施形態27又は28に記載の方法。
【0339】
[00349] 30. ニューラルネットワークが、第2の残差ネットワークブロックから
画像データを受け取る再結合層を有する第1のアップサンプリングブロックと、第1の残差ネットワークブロックから画像データを受け取る再結合層を有する第2のアップサンプリングブロックと、再結合層を含まない第3のアップサンプリングブロックと、を含む、実施形態25~29のいずれか一つに記載の方法。
【0340】
[00350] 31. 第1のアップサンプリングブロックが、64個のチャネルを含み、
且つ画像の空間分解能の1/4の空間分解能を有する画像データを出力する、実施形態30に記載の方法。
【0341】
[00351] 32. 第2のアップサンプリングブロックが、32個のチャネルを含み、
且つ画像の空間分解能の1/2の空間分解能を有する画像データを出力する、実施形態30又は31に記載の方法。
【0342】
[00352] 33. 第3のアップサンプリングブロックが、3個のチャネルを含み、且
つ画像の分解能と同一の空間分解能を有する画像データを出力する、実施形態30~32のいずれか一つに記載の方法。
【0343】
[00353] 34. ニューラルネットワークが
図5A~Dに示されるものと実質的に同
一の構造を有する、実施形態6~33のいずれか一つに記載の方法。
【0344】
[00354] 35. 複数のピクセルマスクを発生させる前に画像を前処理することを更
に含む、実施形態1~34のいずれか一つに記載の方法。
【0345】
[00355] 36. 微小物体がマイクロ流体デバイス内で撮像され、且つ前処理するこ
とが、撮像時にマイクロ流体デバイスの少なくとも1つのコンポーネントにより生成された繰返しパターンを減算することを含む、実施形態35に記載の方法。
【0346】
[00356] 37. 前処理することが、画像にフーリエ変換を適用して繰返しパターン
を同定することを含む、実施形態36に記載の方法。
【0347】
[00357] 38. マイクロ流体デバイスの少なくとも1つのコンポーネントが基板表
面である、実施形態36又は37に記載の方法。
【0348】
[00358] 39. マイクロ流体デバイスの少なくとも1つのコンポーネントが、フォ
トトランジスタアレイを含む基板表面である、実施形態36~38のいずれか一つに記載の方法。
【0349】
[00359] 40. 画像を前処理することが、画像をフリップ及び/又は回転させて所
望の位置付けにすることを含む、実施形態35~39のいずれか一つに記載の方法。
【0350】
[00360] 41. 画像を前処理することが、(例えば、二次又はより高次の多項式に
よる最良当てはめ補正等の多項式による最良当てはめ補正を用いて)画像全体にわたり明るさをレベリングすることを含む、実施形態35~40のいずれか一つに記載の方法。
【0351】
[00361] 42. 画像を前処理することが、(例えば、既知のドット間隔を有するド
ットアレイの対応する画像を検査することにより計算されたルックアップテーブルを用いて)撮像プロセス時に画像に導入された歪みを補正することを含む、実施形態35~41のいずれか一つに記載の方法。
【0352】
[00362] 43. 画像を前処理することが、コントラスト強調を適用することを含む
、実施形態35~42のいずれか一つに記載の方法。
【0353】
[00363] 44. 微小物体の数が同定された微小物体を複数の微小物体タイプの少な
くとも1つに分類することを更に含む、実施形態1~43のいずれか一つに記載の方法。
【0354】
[00364] 45. 微小物体を含有するトレーニング画像のセットを用いてニューラル
ネットワークをトレーニングすることを更に含む、実施形態6~44のいずれか一つに記載の方法。
【0355】
[00365] 46. トレーニング画像が、トレーニング画像の手動目視検査から得られ
たトレーニングデータと組み合わせて使用される、実施形態45に記載の方法。
【0356】
[00366] 47. トレーニング画像が、同一のタイプ及び/又は数の微小物体を含有
するコンピュータ検証画像から得られたトレーニングデータと組み合わせて使用される、実施形態45又は46に記載の方法。
【0357】
[00367] 48. 微小物体が生体細胞である、実施形態1~47のいずれか一つに記
載の方法。
【0358】
[00368] 49. 生体細胞が免疫細胞(例えば、T細胞、B細胞、NK細胞、マクロ
ファージ等)である、実施形態48に記載の方法。
【0359】
[00369] 50. 生体細胞が細胞系細胞(例えばCHO細胞)又は癌細胞である、実
施形態49に記載の方法。
【0360】
[00370] 51. 生体細胞が、卵母細胞、精子、又は胚である、実施形態49に記載
の方法。
【0361】
[00371] 52. 画像中の微小物体の自動検出方法をコンピュータで実施するための
プログラムが記憶された非一時的コンピュータ可読媒体であって、方法が、1つ以上の微小物体を含み得る画像をメモリに記憶させることと、対応する複数の微小物体特性に対して画像から複数のピクセルマスクを発生させることと、複数のピクセルマスクの少なくとも1つのピクセルマスクから微小物体の数を得ることと、を含み、発生させる工程及び得る工程が、実施形態1~51又は93~128のいずれか一つに従って実施される、非一
時的コンピュータ可読媒体。
【0362】
[00372] 53. 微小物体の数が、マイクロ流体デバイス内に配置された微小物体に
対するものである、実施形態52に記載の方法。
【0363】
[00373] 54. 方法が、画像を前処理することを更に含み、前処理することが、複
数のピクセルマスクを発生させる前に実施される、実施形態52又は53に記載の方法。
【0364】
[00374] 55. 微小物体がマイクロ流体デバイス内で撮像されたものであり、且つ
画像を前処理することが、撮像時にマイクロ流体デバイスの少なくとも1つのコンポーネントにより生成された繰返しパターンを減算することを含む、実施形態54に記載の方法。
【0365】
[00375] 56. 前処理が、画像にフーリエ変換を適用して繰返しパターンを同定す
ることを含む、実施形態55に記載の方法。
【0366】
[00376] 57. マイクロ流体デバイスの少なくとも1つのコンポーネントが基板表
面である、実施形態55又は56に記載の方法。
【0367】
[00377] 58. マイクロ流体デバイスの少なくとも1つのコンポーネントがフォト
トランジスタアレイである、実施形態55又は56に記載の方法。
【0368】
[00378] 59. 複数の微小物体特性が、微小物体中心、微小物体境界、及び非微小
物体を含む、実施形態52~58のいずれか一つに記載の方法。
【0369】
[00379] 60. 複数の対応する微小物体特性が細胞特性である、実施形態52~5
8のいずれか一つに記載の方法。
【0370】
[00380] 61. 細胞特性が、細胞中心、細胞境界、及び非細胞を含む、実施形態6
0に記載の方法。
【0371】
[00381] 62. カウントされる微小物体が生体細胞である、実施形態52~61の
いずれか一つに記載の方法。
【0372】
[00382] 63. 生体細胞が免疫細胞(例えば、T細胞、B細胞、NK細胞、マクロ
ファージ等)である、実施形態62に記載の方法。
【0373】
[00383] 64. 生体細胞が細胞系細胞(例えばCHO細胞)又は癌細胞である、実
施形態62に記載の方法。
【0374】
[00384] 65. 生体細胞が、卵母細胞、精子、又は胚である、実施形態62に記載
の方法。
【0375】
[00385] 66. 発生させる工程が第1のモジュールで実施される、実施形態52~
65のいずれか一つに記載の方法。
【0376】
[00386] 67. 得る工程が第2のモジュールで実施される、実施形態52~66の
いずれか一つに記載の方法。
【0377】
[00387] 68. 発生させる工程及び得る工程が単一モジュールで実施される、実施
形態52~65のいずれか一つに記載の方法。
【0378】
[00388] 69. 複数の隔離ペンを含むマイクロ流体デバイスによる微小物体の再配
置方法であって、マイクロ流体デバイス内に配置された微小物体のセットを同定することであって、微小物体のセットが実施形態1~51又は93~128のいずれか一つに記載の方法に従って同定される、同定することと、1つ以上の軌道を計算することであって、各軌道が微小物体のセットの中の1つの微小物体と複数の隔離ペンの中の1つの隔離ペンとを結び付ける経路である、計算することと、微小物体のセットの中の1つ以上の微小物体に対して、1つ以上の軌道の中から軌道を選択することと、その選択された軌道に沿って微小物体を移動させることにより、1つ以上の微小物体の中から選択された軌道を有する少なくとも1つの微小物体を再配置することと(例えば、再配置することは、本明細書に開示されるように活性化可能なDEP力を用いて又は当技術分野で公知の任意の他の技術を用いて実施可能である)、を含む方法。
【0379】
[00389] 70. 1つ以上の微小物体の中から選択された軌道を有する少なくとも1
つの微小物体を再配置することが、その選択された軌道に沿って第1の微小物体を移動させることと、その選択された軌道に沿って第2の微小物体を移動させることと、を含む、実施形態69に記載の方法。
【0380】
[00390] 71. 第1及び第2の微小物体がそれらの選択された軌道に沿って並列に
移動される、実施形態70に記載の方法。
【0381】
[00391] 72. 微小物体のセットに関連する密度値を計算することと、微小物体の
セットに関連する密度値に少なくとも部分的に基づいて1つ以上の軌道を計算することとを更に含む、実施形態69~71のいずれか一つに記載の方法。
【0382】
[00392] 73. 密度値が閾値を超えることを決定することと、微小物体のセットの
中の第1の微小物体に対して、第1の微小物体と複数の隔離ペンの中の1つ以上の隔離ペンとを結び付ける1つ以上の軌道を計算することと、を更に含む、実施形態72に記載の方法。
【0383】
[00393] 74. 密度値が閾値を超えないことを決定することと、複数の隔離ペンの
中の第1の隔離ペンに対して、第1の隔離ペンと微小物体のセットの中の1つ以上の微小物体とを結び付ける1つ以上の軌道を計算することと、を更に含む、実施形態72に記載の方法。
【0384】
[00394] 75. 複数の隔離ペンの中の空の隔離ペンを同定することを更に含み、1
つ以上の計算された軌道が、微小物体のセットの中の1つの微小物体と、複数の隔離ペンの中の1つの空の隔離ペンと、を結び付ける、実施形態69~74のいずれか一つに記載の方法。
【0385】
[00395] 76. 1つ以上の軌道の中から軌道を選択することが、選択された軌道の
長さの和が最小化されるように、再配置される各微小物体に対して軌道を選択することを含む、実施形態69~75のいずれか一つに記載の方法。
【0386】
[00396] 77. 選択された軌道の長さの和を最小化することが、次のもの:グリー
ディアルゴリズム、ヒューリスティックスベースのアルゴリズム、非線形アルゴリズム、及び拘束探索の少なくとも1つを使用することを含む、実施形態76に記載の方法。
【0387】
[00397] 78. 1つ以上の軌道の中から軌道を選択することが、軌道が予め決めら
れた最大長さを超えるかを決定することを更に含む、実施形態69~77のいずれか一つに記載の方法。
【0388】
[00398] 79. 1つ以上の微小物体の中の少なくとも1つの微小物体を再配置する
ことが、少なくとも1つの微小物体の各々を第1の時間にわたり初期速度から移動速度に加速することを含む、実施形態69~78のいずれか一つに記載の方法。
【0389】
[00399] 80. 1つ以上の微小物体の中の少なくとも1つの微小物体を再配置する
ことが、少なくとも1つの微小物体の各々を第2の時間にわたり移動速度から最終速度に減速することを含む、実施形態69に記載の方法。
【0390】
[00400] 81. マイクロ流体デバイスによる微小物体の再配置方法であって、マイ
クロ流体デバイスの特定空間領域内に配置された微小物体のセットを同定することであって、微小物体のセットが実施形態1~51又は93~128のいずれか一つに記載の方法に従って同定される、同定することと、特定空間領域を微小物体のセットの中の1つ以上の微小物体を各々含有するサブ領域に分割する頂点のセットを計算することと、計算された頂点のセットに基づいて微小物体のセットの中の第1の微小物体に対して第1の光ケージを発生させることと、マイクロ流体デバイスの特定空間領域に対して第1の光ケージを移動させることにより第1の微小物体を再配置することと(例えば、対応する複数の微小物体に対して複数の光ケージを発生させ、次いで、マイクロ流体デバイスの特定空間領域に対して複数の光ケージを移動させることが可能である)、を含む方法。
【0391】
[00401] 82. 頂点のセットを計算することが、特定空間領域をサブ領域に分割す
る頂点のセットを計算することを含み、サブ領域の少なくともサブセットが、微小物体のセットの中の単一微小物体を含有する、実施形態81に記載の方法。
【0392】
[00402] 83. 頂点のセットを計算することが、微小物体のセットのドロネー三角
形分割を計算することと、微小物体のセットのドロネー三角形分割に基づいてボロノイ図を作成することと、ボロノイ図に基づいて頂点のセットを同定することと、を含む、実施形態81又は82に記載の方法。
【0393】
[00403] 84. 第1の光ケージを発生させることが、頂点のセットの頂点のサブセ
ットを結ぶ複数の光バーを発生させることを含み、頂点のサブセットが、第1の微小物体に最も近接する及びそれを取り囲む頂点を含む(又はそれからなる)、実施形態81~83のいずれか一つに記載の方法。
【0394】
[00404] 85. 第1の光ケージのサイズを収縮させることにより、第1の微小物体
と特定空間領域内の他の微小物体及び/又は光ケージとを分離することを更に含む、実施形態84に記載の方法。
【0395】
[00405] 86. 第1の光ケージを発生させることが、微小物体のセットの中の第1
の微小物体に対して初期光ケージを計算することと、初期光ケージと頂点のセットとの交差を計算することと、初期光ケージと頂点のセットとの交差に基づいて修正された第1の光ケージを発生させることと、を含む、実施形態81~83のいずれか一つに記載の方法。
【0396】
[00406] 87. 微小物体のセットの中の第2の微小物体に対して、計算された頂点
のセットに基づいて第2の光ケージを発生させることを更に含む、実施形態81~86のいずれかに記載の方法。
【0397】
[00407] 88. マイクロ流体デバイスの特定空間領域に対して第1の修正光ケージ
及び第2の修正光ケージの両方を移動させて、第1の微小物体と第2の微小物体とを物理的に分離させることを更に含む、実施形態87に記載の方法。
【0398】
[00408] 89. 第1の微小物体及び第2の微小物体が特定空間領域の隣接サブ領域
に初期に位置決めされる、実施形態88に記載の方法。
【0399】
[00409] 90. 対象の微小物体が細胞である、実施形態81~89のいずれか一つ
に記載の方法。
【0400】
[00410] 91. 細胞が哺乳動物細胞である、実施形態90に記載の方法。
【0401】
[00411] 92. 細胞が、血液細胞、ハイブリドーマ、癌細胞、及びトランスフォー
ム細胞からなる群から選択される、実施形態90又は91に記載の方法。
【0402】
[00412] 93. 画像中の微小物体の自動検出方法であって、マイクロ流体デバイス
の画像データを受け取ることと、画像データを前処理して画像データ中の異常を低減することと、ニューラルネットワークを用いて画像データ中のピクセルデータを処理して複数の微小物体特性に従ってピクセルデータにアノテートすると共にピクセルデータ中の各ピクセルに対する確率値を出力することと、閾値を適用してどのピクセル確率が少なくとも規定閾値を満たすかを決定することと、閾値適用後に同定可能な微小物体の数に基づいて微小物体の数を決定することと、を含む方法。
【0403】
[00413] 94. ニューラルネットワークがダウンサンプリングブロックを含み、ダ
ウンサンプリングブロックが、ダウンサンプリング畳込み層と、ダウンサンプリングバッチ正規化層と、ダウンサンプリング活性化層と、を含む、実施形態93に記載の方法。
【0404】
[00414] 95. ニューラルネットワークが複数のダウンサンプリングブロックを含
み、各ダウンサンプリングブロックが、ダウンサンプリング畳込み層と、ダウンサンプリングバッチ正規化層と、ダウンサンプリング活性化層と、を含む、実施形態93に記載の方法。
【0405】
[00415] 96. 各ダウンサンプリング畳込み層が画像データの空間分解能を1/2
に低減する、実施形態94又は95に記載の方法。
【0406】
[00416] 97. 各ダウンサンプリング畳込み層が画像データの空間分解能を1/2
に低減し、且つ各ダウンサンプリング畳込み層が5×5畳込みフィルタを含む、実施形態94又は95に記載の方法。
【0407】
[00417] 98. 複数のダウンサンプリングブロックの1つ以上に、ブランチ構造を
有する残差ネットワークブロックが続く、実施形態94又は95に記載の方法。
【0408】
[00418] 99. 残差ネットワークブロックのブランチ構造が第1のブランチと第2
のブランチとを含み、且つ第1のブランチが、先行するダウンサンプリングブロックから受け取った画像データを第2のブランチよりも少ない程度で処理する、実施形態98に記載の方法。
【0409】
[00419] 100. 残差ネットワークブロックの第1のブランチが、第1のブランチ
畳込み層と、第1のブランチバッチ正規化層と、第1のブランチ活性化層と、を含む、実施形態99に記載の方法。
【0410】
[00420] 101. 第1のブランチ活性化層が、第1のブランチバッチ正規化層から
画像データを直接受け取り、且つ第1のブランチバッチ正規化層が第1のブランチ畳込み層から画像データを直接受け取る、実施形態100に記載の方法。
【0411】
[00421] 102. 第1のブランチ畳込み層が1×1畳込みフィルタを含む、実施形
態100又は101に記載の方法。
【0412】
[00422] 103. 残差ネットワークブロックの第2のブランチが2つ以上の処理ユ
ニットを含み、各処理ユニットが残差畳込み層と残差バッチ正規化層とを含む、実施形態99~102のいずれか一つに記載の方法。
【0413】
[00423] 104. 残差ネットワークブロックの第2のブランチが、第1の残差畳込
み層と、第1の残差バッチ正規化層と、第2のブランチ活性化層と、第2の残差畳込み層と、第2の残差バッチ正規化層と、を含み、第2の残差バッチ正規化層が第2の残差畳込み層から画像データを直接受け取り、第2の残差畳込み層が第2のブランチ活性化層から画像データを直接受け取り、第2のブランチ活性化層が第1の残差バッチ正規化層から画像データを直接受け取り、且つ第1の残差バッチ正規化層が第1の残差畳込み層から画像データを直接受け取る、実施形態103に記載の方法。
【0414】
[00424] 105. 第1の残差畳込み層が第1の残差畳込みフィルタを含み、且つ第
2の残差畳込み層が第2の残差畳込みフィルタを含み、且つ第1及び第2の残差畳込みフィルタが異なる寸法を有する、実施形態104に記載の方法。
【0415】
[00425] 106. 第1の残差畳込み層が第1の残差畳込みフィルタを含み、且つ第
2の残差畳込み層が第2の残差畳込みフィルタを含み、且つ第1及び第2の残差畳込みフィルタが同一の寸法を有する、実施形態104に記載の方法。
【0416】
[00426] 107. 第1のブランチ及び第2のブランチからの画像データが再結合さ
れて、残差ネットワーク活性化層に転送される、実施形態99~106のいずれか一つに記載の方法。
【0417】
[00427] 108. ニューラルネットワークが、第1のダウンサンプリングブロック
、第1の残差ネットワークブロック、第2のダウンサンプリングブロック、第2の残差ネットワークブロック、第3のダウンサンプリングブロック、及び第3の残差ネットワークブロックを含む、実施形態94~107のいずれか一つに記載の方法。
【0418】
[00428] 109. 第1のダウンサンプリングブロック及び第1の残差ネットワーク
ブロックの各々が、32個のチャネルと画像の空間分解能の1/2の空間分解能とを含む、実施形態108に記載の方法。
【0419】
[00429] 110. 第2のダウンサンプリングブロック及び第2の残差ネットワーク
ブロックの各々が、64個のチャネルと画像の分解能の1/4の空間分解能とを含む、実施形態108又は109に記載の方法。
【0420】
[00430] 111. 第3のダウンサンプリングブロック及び第3の残差ネットワーク
ブロックの各々が、128個のチャネルと画像の分解能の1/8の空間分解能とを含む、実施形態108~110のいずれか一つに記載の方法。
【0421】
[00431] 112. ニューラルネットワークが複数のダウンサンプリングブロックの
各々に対してアップサンプリングブロックを含み、各アップサンプリングブロックが、転置畳込み層と、アップサンプリングバッチ正規化層と、アップサンプリング活性化層と、を含み、且つ各アップサンプリングブロックの転置畳込み層がそれが受け取る画像データの空間分解能を増加させる、実施形態95~111のいずれか一つに記載の方法。
【0422】
[00432] 113. アップサンプリングブロックの1つ以上が再結合層を含み、そこ
でアップサンプリングバッチ正規化層からの画像データが先行する残差ネットワークブロックからの画像データとマージされる、実施形態112に記載の方法。
【0423】
[00433] 114. 1つ以上のアップサンプリングブロックが、転置畳込み層と、ア
ップサンプリングバッチ正規化層、再結合層と、アップサンプリング活性化層と、を含み、アップサンプリング活性化層が再結合層から画像データを直接受け取り、再結合層がアップサンプリングバッチ正規化層から画像データを直接受け取り、且つアップサンプリングバッチ正規化層が転置畳込み層から画像データを直接受け取る、実施形態113に記載の方法。
【0424】
[00434] 115. 各転置畳込み層が画像データの空間分解能を2倍に増加させる、
実施形態112~114のいずれか一つに記載の方法。
【0425】
[00435] 116. ニューラルネットワークがn個のダウンサンプリングブロックと
n個の残差ネットワークブロックとを有する場合、ネットワークが、再結合層を含むn-1個のアップサンプリングブロックを有する、実施形態113又は114に記載の方法。
【0426】
[00436] 117. ニューラルネットワークが、第2の残差ネットワークブロックか
ら画像データを受け取る再結合層を有する第1のアップサンプリングブロックと、第1の残差ネットワークブロックから画像データを受け取る再結合層を有する第2のアップサンプリングブロックと、再結合層を含まない第3のアップサンプリングブロックと、を含む、実施形態113~116のいずれか一つに記載の方法。
【0427】
[00437] 118. 第1のアップサンプリングブロックが、64個のチャネルを含み
、且つ画像の空間分解能の1/4の空間分解能を有する画像データを出力する、実施形態117に記載の方法。
【0428】
[00438] 119. 第2のアップサンプリングブロックが、32個のチャネルを含み
、且つ画像の空間分解能の1/2の空間分解能を有する画像データを出力する、実施形態117又は118に記載の方法。
【0429】
[00439] 120. 第3のアップサンプリングブロックが、3個のチャネルを含み、
且つ画像の分解能と同一の空間分解能を有する画像データを出力する、実施形態117~120のいずれか一つに記載の方法。
【0430】
[00440] 121. 微小物体を複数の微小物体タイプの少なくとも1つに分類するこ
とを更に含む、実施形態93~120のいずれか一つに記載の方法。
【0431】
[00441] 122. 微小物体を含有するトレーニング画像のセットを用いてニューラ
ルネットワークをトレーニングすることを更に含む、実施形態93~121のいずれか一つに記載の方法。
【0432】
[00442] 123. トレーニング画像が、トレーニング画像の手動目視検査から得ら
れたトレーニングデータと組み合わせて使用される、実施形態122に記載の方法。
【0433】
[00443] 124. トレーニング画像が、同一のタイプ及び/又は数の微小物体を含
有するコンピュータ検証画像から得られたトレーニングデータと組み合わせて使用される、実施形態122又は123に記載の方法。
【0434】
[00444] 125. 微小物体が生体細胞である、実施形態93~124のいずれか一
つに記載の方法。
【0435】
[00445] 126. 生体細胞が免疫細胞である、実施形態125に記載の方法。
【0436】
[00446] 127. 生体細胞が細胞系細胞又は癌細胞である、実施形態125に記載
の方法。
【0437】
[00447] 128. 生体細胞が、卵母細胞、精子、又は胚である、実施形態125に
記載の方法。
【0438】
[00448] 129. 画像中の微小物体の自動検出方法をコンピュータで実施するため
のプログラムが記憶された非一時的コンピュータ可読媒体であって、方法が、マイクロ流体デバイスの画像データを受け取ることと、画像データを前処理して画像データ中の異常を低減することと、ニューラルネットワークを用いて画像データ中のピクセルデータを処理して複数の微小物体特性に従ってピクセルデータにアノテートすると共にピクセルデータ中の各ピクセルに対する確率値を出力することと、閾値を適用してどのピクセル確率が少なくとも規定閾値を満たすかを決定することと、閾値適用後に同定可能な微小物体の数に基づいて微小物体の数を決定することと、を含む、非一時的コンピュータ可読媒体。
【0439】
[00449] 130. ニューラルネットワークがダウンサンプリングブロックを含み、
ダウンサンプリングブロックが、ダウンサンプリング畳込み層と、ダウンサンプリングバッチ正規化層と、ダウンサンプリング活性化層と、を含む、実施形態129に記載の方法。
【0440】
[00450] 131. ニューラルネットワークが複数のダウンサンプリングブロックを
含み、各ダウンサンプリングブロックが、ダウンサンプリング畳込み層と、ダウンサンプリングバッチ正規化層と、ダウンサンプリング活性化層と、を含む、実施形態129に記載の方法。
【0441】
[00451] 132. 各ダウンサンプリング畳込み層が画像データの空間分解能を1/
2に低減する、実施形態130又は131に記載の方法。
【0442】
[00452] 133. 各ダウンサンプリング畳込み層が画像データの空間分解能を1/
2に低減し、且つ各ダウンサンプリング畳込み層が5×5畳込みフィルタを含む、実施形態130又は131に記載の方法。
【0443】
[00453] 134. 複数のダウンサンプリングブロックの1つ以上に、ブランチ構造
を有する残差ネットワークブロックが続く、実施形態130又は131に記載の方法。
【0444】
[00454] 135. 残差ネットワークブロックのブランチ構造が第1のブランチと第
2のブランチとを含み、且つ第1のブランチが、先行するダウンサンプリングブロックから受け取った画像データを第2のブランチよりも少ない程度で処理する、実施形態134に記載の方法。
【0445】
[00455] 136. 残差ネットワークブロックの第1のブランチが、第1のブランチ
畳込み層と、第1のブランチバッチ正規化層と、第1のブランチ活性化層と、を含む、実施形態135に記載の方法。
【0446】
[00456] 137. 第1のブランチ活性化層が、第1のブランチバッチ正規化層から
画像データを直接受け取り、且つ第1のブランチバッチ正規化層が第1のブランチ畳込み層から画像データを直接受け取る、実施形態136に記載の方法。
【0447】
[00457] 138. 第1のブランチ畳込み層が1×1畳込みフィルタを含む、実施形
態136又は137に記載の方法。
【0448】
[00458] 139. 残差ネットワークブロックの第2のブランチが2つ以上の処理ユ
ニットを含み、各処理ユニットが残差畳込み層と残差バッチ正規化層とを含む、実施形態135~137のいずれか一つに記載の方法。
【0449】
[00459] 140. 残差ネットワークブロックの第2のブランチが、第1の残差畳込
み層と、第1の残差バッチ正規化層と、第2のブランチ活性化層と、第2の残差畳込み層と、第2の残差バッチ正規化層と、を含み、第2の残差バッチ正規化層が第2の残差畳込み層から画像データを直接受け取り、第2の残差畳込み層が第2のブランチ活性化層から画像データを直接受け取り、第2のブランチ活性化層が第1の残差バッチ正規化層から画像データを直接受け取り、且つ第1の残差バッチ正規化層が第1の残差畳込み層から画像データを直接受け取る、実施形態139に記載の方法。
【0450】
[00460] 141. 第1の残差畳込み層が第1の残差畳込みフィルタを含み、且つ第
2の残差畳込み層が第2の残差畳込みフィルタを含み、且つ第1及び第2の残差畳込みフィルタが異なる寸法を有する、実施形態140に記載の方法。
【0451】
[00461] 142. 第1の残差畳込み層が第1の残差畳込みフィルタを含み、且つ第
2の残差畳込み層が第2の残差畳込みフィルタを含み、且つ第1及び第2の残差畳込みフィルタが同一の寸法を有する、実施形態140に記載の方法。
【0452】
[00462] 143. 第1のブランチ及び第2のブランチからの画像データが再結合さ
れて、残差ネットワーク活性化層に転送される、実施形態135~142のいずれか一つに記載の方法。
【0453】
[00463] 144. ニューラルネットワークが、第1のダウンサンプリングブロック
、第1の残差ネットワークブロック、第2のダウンサンプリングブロック、第2の残差ネットワークブロック、第3のダウンサンプリングブロック、及び第3の残差ネットワークブロックを含む、実施形態129~143のいずれか一つに記載の方法。
【0454】
[00464] 145. 第1のダウンサンプリングブロック及び第1の残差ネットワーク
ブロックの各々が、32個のチャネルと画像の空間分解能の1/2の空間分解能とを含む、実施形態144に記載の方法。
【0455】
[00465] 146. 第2のダウンサンプリングブロック及び第2の残差ネットワーク
ブロックの各々が、64個のチャネルと画像の分解能の1/4の空間分解能とを含む、実施形態144又は145に記載の方法。
【0456】
[00466] 147. 第3のダウンサンプリングブロック及び第3の残差ネットワーク
ブロックの各々が、128個のチャネルと画像の分解能の1/8の空間分解能とを含む、
実施形態144~146のいずれか一つに記載の方法。
【0457】
[00467] 148. ニューラルネットワークが複数のダウンサンプリングブロックの
各々に対してアップサンプリングブロックを含み、各アップサンプリングブロックが、転置畳込み層と、アップサンプリングバッチ正規化層と、アップサンプリング活性化層と、を含み、且つ各アップサンプリングブロックの転置畳込み層がそれが受け取る画像データの空間分解能を増加させる、実施形態131~147のいずれか一つに記載の方法。
【0458】
[00468] 149. アップサンプリングブロックの1つ以上が再結合層を含み、そこ
でアップサンプリングバッチ正規化層からの画像データが先行する残差ネットワークブロックからの画像データとマージされる、実施形態148に記載の方法。
【0459】
[00469] 150. 1つ以上のアップサンプリングブロックが、転置畳込み層と、ア
ップサンプリングバッチ正規化層、再結合層と、アップサンプリング活性化層と、を含み、アップサンプリング活性化層が再結合層から画像データを直接受け取り、再結合層がアップサンプリングバッチ正規化層から画像データを直接受け取り、且つアップサンプリングバッチ正規化層が転置畳込み層から画像データを直接受け取る、実施形態149に記載の方法。
【0460】
[00470] 151. 各転置畳込み層が画像データの空間分解能を2倍に増加させる、
実施形態148~150のいずれか一つに記載の方法。
【0461】
[00471] 152. ニューラルネットワークがn個のダウンサンプリングブロックと
n個の残差ネットワークブロックとを有する場合、ネットワークが、再結合層を含むn-1個のアップサンプリングブロックを有する、実施形態149又は150に記載の方法。
【0462】
[00472] 153. ニューラルネットワークが、第2の残差ネットワークブロックか
ら画像データを受け取る再結合層を有する第1のアップサンプリングブロックと、第1の残差ネットワークブロックから画像データを受け取る再結合層を有する第2のアップサンプリングブロックと、再結合層を含まない第3のアップサンプリングブロックと、を含む、実施形態149~151のいずれか一つに記載の方法。
【0463】
[00473] 154. 第1のアップサンプリングブロックが、64個のチャネルを含み
、且つ画像の空間分解能の1/4の空間分解能を有する画像データを出力する、実施形態153に記載の方法。
【0464】
[00474] 155. 第2のアップサンプリングブロックが、32個のチャネルを含み
、且つ画像の空間分解能の1/2の空間分解能を有する画像データを出力する、実施形態153又は154に記載の方法。
【0465】
[00475] 156. 第3のアップサンプリングブロックが、3個のチャネルを含み、
且つ画像の分解能と同一の空間分解能を有する画像データを出力する、実施形態153~155のいずれか一つに記載の方法。
【0466】
[00476] 157. 微小物体を複数の微小物体タイプの少なくとも1つに分類するこ
とを更に含む、実施形態129~156のいずれか一つに記載の方法。
【0467】
[00477] 158. 微小物体を含有するトレーニング画像のセットを用いてニューラ
ルネットワークをトレーニングすることを更に含む、実施形態129~157のいずれか一つに記載の方法。
【0468】
[00478] 159. トレーニング画像が、トレーニング画像の手動目視検査から得ら
れたトレーニングデータと組み合わせて使用される、実施形態158に記載の方法。
【0469】
[00479] 160. トレーニング画像が、同一のタイプ及び/又は数の微小物体を含
有するコンピュータ検証画像から得られたトレーニングデータと組み合わせて使用される、実施形態158又は159に記載の方法。
【0470】
[00480] 161. 微小物体が生体細胞である、実施形態129~160のいずれか
一つに記載の方法。
【0471】
[00481] 162. 生体細胞が免疫細胞である、実施形態161に記載の方法。
【0472】
[00482] 163. 生体細胞が細胞系細胞又は癌細胞である、実施形態161に記載
の方法。
【0473】
[00483] 164. 生体細胞が、卵母細胞、精子、又は胚である、実施形態161に
記載の方法。
【0474】
[00484] 165. 画像中の微小物体の自動検出システムであって、マイクロ流体デ
バイスの1つ以上の画像を捕捉するように構成された撮像素子と、画像データ中の異常を低減するように構成された画像前処理エンジンと、を含む画像取得ユニットと、複数の微小物体特性に従って画像中のピクセルデータにアノテートすると共に、ピクセルデータの各ピクセルに対する確率値を出力するように構成されたニューラルネットワークと、どのピクセル確率が少なくとも規定閾値を満たすか決定するように構成された閾値エンジンと、画像後処理技術を適用して微小物体の数を出力するように構成された検出エンジンと、を含む、画像取得ユニットに通信接続された微小物体検出ユニットと、を含むシステム。
【0475】
[00485] 166. ニューラルネットワークがダウンサンプリングブロックを含み、
ダウンサンプリングブロックが、ダウンサンプリング畳込み層と、ダウンサンプリングバッチ正規化層と、ダウンサンプリング活性化層と、を含む、実施形態165に記載のシステム。
【0476】
[00486] 167. ニューラルネットワークが複数のダウンサンプリングブロックを
含み、各ダウンサンプリングブロックが、ダウンサンプリング畳込み層と、ダウンサンプリングバッチ正規化層と、ダウンサンプリング活性化層と、を含む、実施形態165に記載のシステム。
【0477】
[00487] 168. 各ダウンサンプリング畳込み層が、画像データの空間分解能を1
/2に低減するように構成される、実施形態166又は167のシステム。
【0478】
[00488] 169. 各ダウンサンプリング畳込み層が画像データの空間分解能を1/
2に低減するように構成され、且つ各ダウンサンプリング畳込み層が5×5畳込みフィルタを含む、実施形態166又は167に記載のシステム。
【0479】
[00489] 170. 複数のダウンサンプリングブロックの1つ以上に、ブランチ構造
を有する残差ネットワークブロックが続く、実施形態166又は167に記載のシステム。
【0480】
[00490] 171. 残差ネットワークブロックのブランチ構造が第1のブランチと第
2のブランチとを含み、且つ第1のブランチが、先行するダウンサンプリングブロックから受け取った画像データを第2のブランチよりも少ない程度で処理する、実施形態170に記載のシステム。
【0481】
[00491] 172. 残差ネットワークブロックの第1のブランチが、第1のブランチ
畳込み層と、第1のブランチバッチ正規化層と、第1のブランチ活性化層と、を含む、実施形態171に記載のシステム。
【0482】
[00492] 173. 第1のブランチ活性化層が、第1のブランチバッチ正規化層から
画像データを直接受け取るように構成され、且つ第1のブランチバッチ正規化層が第1のブランチ畳込み層から画像データを直接受け取るように構成される、実施形態172に記載のシステム。
【0483】
[00493] 174. 第1のブランチ畳込み層が1×1畳込みフィルタを含む、実施形
態172又は173に記載のシステム。
【0484】
[00494] 175. 残差ネットワークブロックの第2のブランチが2つ以上の処理ユ
ニットを含み、各処理ユニットが残差畳込み層と残差バッチ正規化層とを含む、実施形態171~173のいずれか一つに記載のシステム。
【0485】
[00495] 176. 残差ネットワークブロックの第2のブランチが、第1の残差畳込
み層と、第1の残差バッチ正規化層と、第2のブランチ活性化層と、第2の残差畳込み層と、第2の残差バッチ正規化層と、を含み、第2の残差バッチ正規化層が第2の残差畳込み層から画像データを直接受け取るように構成され、第2の残差畳込み層が第2のブランチ活性化層から画像データを直接受け取るように構成され、第2のブランチ活性化層が第1の残差バッチ正規化層から画像データを直接受け取るように構成され、且つ第1の残差バッチ正規化層が第1の残差畳込み層から画像データを直接受け取るように構成される、実施形態175に記載のシステム。
【0486】
[00496] 177. 第1の残差畳込み層が第1の残差畳込みフィルタを含み、且つ第
2の残差畳込み層が第2の残差畳込みフィルタを含み、且つ第1及び第2の残差畳込みフィルタが異なる寸法を有する、実施形態176に記載のシステム。
【0487】
[00497] 178. 第1の残差畳込み層が第1の残差畳込みフィルタを含み、且つ第
2の残差畳込み層が第2の残差畳込みフィルタを含み、且つ第1及び第2の残差畳込みフィルタが同一の寸法を有する、実施形態176に記載のシステム。
【0488】
[00498] 179. 残差ネットワークブロックが、第1のブランチ及び第2のブラン
チからの画像データを再結合させて再結合層からの出力を残差ネットワーク活性化層に転送するように構成された再結合層を更に含む、実施形態176~178のいずれか一つに記載のシステム。
【0489】
[00499] 180. ニューラルネットワークが、第1のダウンサンプリングブロック
、第1の残差ネットワークブロック、第2のダウンサンプリングブロック、第2の残差ネットワークブロック、第3のダウンサンプリングブロック、及び第3の残差ネットワークブロックを含む、実施形態175~179のいずれか一つに記載のシステム。
【0490】
[00500] 181. 第1のダウンサンプリングブロック及び第1の残差ネットワーク
ブロックの各々が、32個のチャネルと画像の空間分解能の1/2の空間分解能とを含む、実施形態180に記載のシステム。
【0491】
[00501] 182. 第2のダウンサンプリングブロック及び第2の残差ネットワーク
ブロックの各々が、64個のチャネルと画像の分解能の1/4の空間分解能とを含む、実施形態180又は181のシステム。
【0492】
[00502] 183. 第3のダウンサンプリングブロック及び第3の残差ネットワーク
ブロックの各々が、128個のチャネルと画像の分解能の1/8の空間分解能とを含む、実施形態180~182のいずれか一つに記載のシステム。
【0493】
[00503] 184. ニューラルネットワークが複数のダウンサンプリングブロックの
各々に対してアップサンプリングブロックを含み、各アップサンプリングブロックが、転置畳込み層と、アップサンプリングバッチ正規化層と、アップサンプリング活性化層と、を含み、且つ各アップサンプリングブロックの転置畳込み層が、それが受け取る画像データの空間分解能を増加させるように構成される、実施形態179~183のいずれか一つに記載のシステム。
【0494】
[00504] 185. アップサンプリングブロックの1つ以上が、アップサンプリング
バッチ正規化層からの画像データと先行する残差ネットワークブロックからの画像データとをマージするように構成された再結合層を含む、実施形態184に記載のシステム。
【0495】
[00505] 186. 1つ以上のアップサンプリングブロックが、転置畳込み層と、ア
ップサンプリングバッチ正規化層、再結合層と、アップサンプリング活性化層と、を含み、アップサンプリング活性化層が再結合層から画像データを直接受け取るように構成され、再結合層がアップサンプリングバッチ正規化層から画像データを直接受け取るように構成され、且つアップサンプリングバッチ正規化層が転置畳込み層から画像データを直接受け取るように構成される、実施形態185に記載のシステム。
【0496】
[00506] 187. 各転置畳込み層が、画像データの空間分解能を2倍に増加させる
ように構成される、実施形態184~186のいずれか一つに記載のシステム。
【0497】
[00507] 188. ニューラルネットワークがn個のダウンサンプリングブロックと
n個の残差ネットワークブロックとを有する場合、ネットワークが、再結合層を含むn-1個のアップサンプリングブロックを有する、実施形態185又は186に記載のシステム。
【0498】
[00508] 189. ニューラルネットワークが、第2の残差ネットワークブロックか
ら画像データを受け取るように構成された再結合層を有する第1のアップサンプリングブロックと、第1の残差ネットワークブロックから画像データを受け取るように構成された再結合層を有する第2のアップサンプリングブロックと、再結合層を含まない第3のアップサンプリングブロックと、を含む、実施形態185~188のいずれか一つに記載のシステム。
【0499】
[00509] 190. 第1のアップサンプリングブロックが、64個のチャネルを含み
、且つ画像の空間分解能の1/4の空間分解能を有する画像データを出力する、実施形態189に記載のシステム。
【0500】
[00510] 191. 第2のアップサンプリングブロックが、32個のチャネルを含み
、且つ画像の空間分解能の1/2の空間分解能を有する画像データを出力する、実施形態189又は190に記載のシステム。
【0501】
[00511] 192. 第3のアップサンプリングブロックが、3個のチャネルを含み、
且つ画像の分解能と同一の空間分解能を有する画像データを出力する、実施形態189~191のいずれか一つに記載のシステム。
【0502】
[00512] 193. 微小物体が生体細胞である、実施形態165~192のいずれか
一つに記載のシステム。
【0503】
[00513] 194. 生体細胞が免疫細胞である、実施形態193に記載のシステム。
【0504】
[00514] 195. 生体細胞が細胞系細胞又は癌細胞である、実施形態193に記載
のシステム。
【0505】
[00515] 196. 生体細胞が、卵母細胞、精子、又は胚である、実施形態193に
記載のシステム。