知財求人 - 知財ポータルサイト「IP Force」
▶ ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニアの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025029037
(43)【公開日】2025-03-05
(54)【発明の名称】画像ベースの細胞分取システムおよび方法
(51)【国際特許分類】
G01N 15/1429 20240101AFI20250226BHJP
G01N 15/14 20240101ALI20250226BHJP
G01N 15/1404 20240101ALI20250226BHJP
G01N 15/1433 20240101ALI20250226BHJP
G01N 15/149 20240101ALI20250226BHJP
G01N 15/1434 20240101ALI20250226BHJP
【ＦＩ】
G01N15/1429 200
G01N15/14 C
G01N15/1404
G01N15/1433
G01N15/149
G01N15/1434 110
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2024208498
(22)【出願日】2024-11-29
(62)【分割の表示】P 2022076473の分割
【原出願日】2017-06-09
(31)【優先権主張番号】62/348,511
(32)【優先日】2016-06-10
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＭＡＴＬＡＢ
(71)【出願人】
【識別番号】506115514
【氏名又は名称】ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア
【氏名又は名称原語表記】Ｔｈｅ Ｒｅｇｅｎｔｓ ｏｆ ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(72)【発明者】
【氏名】ユ－ホァ ロー
(72)【発明者】
【氏名】ユアンユアン ハン
(72)【発明者】
【氏名】イー グー
(72)【発明者】
【氏名】ツェ ジャン
(57)【要約】
【課題】画像ベースの細胞分取システムおよび方法の提供。
【解決手段】フローサイトメーター内の細胞を含む、フローシステム内の粒子の撮像および画像ベースの分取のためのシステム、デバイス、および方法が開示される。いくつかの態様では、システムは、粒子に流路を貫流させるための粒子流装置と、流路を貫流する間に粒子の画像データを取得するための撮像システムと、粒子に関連する特性を判定し、粒子特性に関連する分取基準に基づいて粒子を分取する制御コマンドを生成するための処理ユニットと、粒子をリアルタイムで粒子流装置の複数の出力経路のうちの１つに方向付けるためのアクチュエータとを含む。
【選択図】図１Ａ
【解決手段】フローサイトメーター内の細胞を含む、フローシステム内の粒子の撮像および画像ベースの分取のためのシステム、デバイス、および方法が開示される。いくつかの態様では、システムは、粒子に流路を貫流させるための粒子流装置と、流路を貫流する間に粒子の画像データを取得するための撮像システムと、粒子に関連する特性を判定し、粒子特性に関連する分取基準に基づいて粒子を分取する制御コマンドを生成するための処理ユニットと、粒子をリアルタイムで粒子流装置の複数の出力経路のうちの１つに方向付けるためのアクチュエータとを含む。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
図面に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
連邦政府による資金提供を受けた研究または開発に関する陳述
本発明は、国立衛生研究所（ＮＩＨ）によって授与された助成金第１Ｒ４３ＤＡ０４２６３６－０１号の下で政府の支援を受けてなされた。政府は本発明に対して一定の権利を有する。
本発明は、国立衛生研究所（ＮＩＨ）によって授与された助成金第１Ｒ４３ＤＡ０４２６３６－０１号の下で政府の支援を受けてなされた。政府は本発明に対して一定の権利を有する。
【0002】
関連出願の相互参照
本特許文書は、２０１６年６月１０日に出願された「ＦＬＯＷ ＣＹＴＯＭＥＴＥＲ ＷＩＴＨ ＩＭＡＧＥ－ＢＡＳＥＤ ＣＥＬＬ ＳＯＲＴＩＮＧ」と題された米国仮特許出願第６２／３４８，５１１号の優先権および恩恵を主張する。前述の特許出願の全内容は、本特許文書の開示の一部として参照により組み込まれる。
本特許文書は、２０１６年６月１０日に出願された「ＦＬＯＷ ＣＹＴＯＭＥＴＥＲ ＷＩＴＨ ＩＭＡＧＥ－ＢＡＳＥＤ ＣＥＬＬ ＳＯＲＴＩＮＧ」と題された米国仮特許出願第６２／３４８，５１１号の優先権および恩恵を主張する。前述の特許出願の全内容は、本特許文書の開示の一部として参照により組み込まれる。
【0003】
本特許文書は、フローサイトメトリー装置および技法、ならびに化学的または生物学的試験および診断測定における応用を含む、流体中の粒子分取のためのシステム、装置、および技法に関する。
【背景技術】
【0004】
フローサイトメトリーは、生細胞などの粒子が流体を貫流する際にそれらを検出および分析するための技法である。例えば、フローサイトメーター装置を使用して、細胞および／または生化学分子もしくは分子クラスターの物理的および生化学的特性を、それらが連続的にインテロゲーションされる際のそれらの光学的、電気的、音響的および／または磁気的応答に基づいて特徴付けることができる。典型的には、フローサイトメトリーは粒子をインテロゲーションするために外部光源を使用し、そこから前方散乱、側方散乱、および蛍光などの入力光と粒子との間の１つ以上の相互作用によって引き起こされる光信号が検出される。フローサイトメトリーによって測定される特性としては、粒子の相対サイズ、粒度、および／または蛍光強度が挙げられる。
【0005】
単一細胞レベルでの細胞分取を含む細胞分取は、研究者および臨床医が例えば幹細胞、循環腫瘍細胞、および希少細菌種などの特定の細胞の研究および精製により大きな関心を寄せるにつれて、フローサイトメトリーの分野において重要な特徴となっている。細胞分取は様々な技法によって達成することができる。
【0006】
フローサイトメトリー装置およびシステムは、研究用アッセイおよび診断用ならびに臨床応用用のマイクロ流体技術に基づいて実装することができる。マイクロ流体装置は、比較的小さい寸法、例えばサブミリメートル範囲の寸法を有する流路を介して非常に少量の流体（例えばｎＬ、ｐＬ、およびｆＬなど）の挙動を制御することができる機器である。マイクロ流体装置は、分子拡散値、化学結合係数、ｐＨ値、流体粘度、分子反応動態などを含む様々な分析測定値を得るために実装することができる。マイクロ流体装置は、生物学的試料を検出、分離、および分析するためにマイクロチップ上に構築することができ、これはラボオンチップとも呼ばれる。例えば、マイクロ流体装置は、病気を診断するために細胞または細胞部分を含む生物学的流体または溶液を使用してもよい。例えば、マイクロ流体フローサイトメーターのマイクロ流体流路の内側では、細胞、ビーズ、および高分子を含む粒子を、フローサイトメトリー技法を使用してそれらの光学的、電気的、音響的、および／または磁気的応答に従ってインテロゲーションすることができる。
【発明の概要】
【課題を解決するための手段】
【0007】
本特許文書に開示される技術は、フローシステムにおいて粒子の画像を生成するための方法、装置、およびシステムを提供するために実装することができる。特定の構成では、開示される技術は、粒子をリアルタイムで撮像し、その後細胞を含む粒子を画像からの空間情報に基づいて分取するために使用することができる。開示される技法は、フローサイトメーターにおける細胞画像の生成および細胞の分取に適用することができる。応用において、開示される技術は、蛍光の空間分布などの空間情報を考慮に入れることによって、蛍光強度および／または散乱強度に基づいて細胞を検出および分取するために使用することができる。
【0008】
実装において、例えば、開示されるシステムは、フローサイトメーターの高いスループットおよび撮像サイトメーターの高い空間分解能を有し、細胞画像は、例えば単なる検出事象ではなく細胞の物理的および／または生理学的特性に基づいて、フローシステムにおけるリアルタイム細胞分取に対応するために十分速い速度で生成される。
【0009】
いくつかの態様では、画像ベースの粒子分取システムは、基板と、基板上に形成された流路であって、細胞を流れ方向に沿って流路の第１の領域に流すように動作可能な流路と、流路内の第１の領域に近接した第２の領域で流路から分岐する２つ以上の出力経路とを含むように構築された粒子流装置と；粒子流装置とインターフェース接続し、細胞が流路を貫流する間に第１の領域内にあるときに細胞に関連する画像データを取得するように動作可能である撮像システムと；撮像システムと通信するデータ処理および制御ユニットであって、データ処理および制御ユニットは、撮像システムによって取得された画像データを処理して処理された画像データから細胞に関連する１つ以上の特性を判定し、判定された１つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含み、制御コマンドは、細胞が流路内を流れる間に生成され、細胞に対応する画像信号データから確認された１つ以上の細胞属性に基づいて決定された分取決定を示す、データ処理および制御ユニットと；粒子流装置に作動的に連結され、アクチュエータと通信するアクチュエータであって、細胞を制御コマンドに基づいて２つ以上の出力経路のうちの１つの出力経路に方向付けるように動作可能な、アクチュエータと、を含み、システムは、撮像システムによる画像取り込みの第１の時間からアクチュエータによる粒子方向付けの第２の時間までの１５ｍｓ以下の時間枠内で細胞の各々を流路内を流れる間に分取するように動作可能である。
【0010】
いくつかの態様では、画像ベースの粒子分取方法は、粒子流装置の流路を貫流する細胞の画像信号データを取得することと、画像信号データを処理して細胞の画像を表す画像データセットを生成することと、生成された画像データセットを分析して、処理された画像データから細胞の１つ以上の特性を識別することと、細胞の１つ以上の識別された特性を分取基準で評価して、粒子流装置内の細胞流中の細胞に対応する画像信号データから確認された１つ以上の細胞属性に基づいて細胞を分取する制御コマンドを生成することと、制御コマンドに基づいて粒子流装置の複数の出力経路のうちの１つに細胞を方向付けることと、を含む。
【0011】
いくつかの態様では、画像ベースの粒子分取システムは、基板と、基板上に形成された流路であって、粒子を流れ方向に沿って流路の第１の領域に流すように動作可能な流路と、流路内の第１の領域に近接した第２の領域で流路から分岐する２つ以上の出力経路とを含むように構築された粒子流装置と；粒子流装置とインターフェース接続し、粒子が流路を貫流する間に第１の領域内にあるときに粒子に関連する画像データを取得するように動作可能である撮像システムと；撮像システムと通信するデータ処理および制御ユニットであって、データ処理および制御ユニットは、撮像システムによって取得された画像データを処理して処理された画像データから粒子に関連する１つ以上の特性を判定し、判定された１つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含む、データ処理および制御ユニットと；粒子流装置に作動的に連結され、アクチュエータと通信するアクチュエータであって、粒子を制御コマンドに基づいて２つ以上の出力経路のうちの１つの出力経路に方向付けるように動作可能な、アクチュエータと、を含み、システムは、撮像システムによる画像取り込みの第１の時間からアクチュエータによる粒子方向付けの第２の時間までの１５ｍｓ以下の時間枠内で粒子の各々を流路内を流れる間に分取するように動作可能である。
【0012】
いくつかの態様では、粒子の画像ベースの分取方法は、粒子流装置の流路を貫流する粒子の画像信号データを取得することと、画像信号データを処理して粒子の画像を表す画像データセットを生成することと、生成された画像データセットを分析して、処理された画像データから粒子の１つ以上の特性を識別することと、１つ以上の識別された特性を分取基準で評価することによって制御コマンドを生成することと、制御コマンドに基づいて粒子流装置の複数の出力経路のうちの１つに粒子を方向付けることと、を含む。
【0013】
開示される技術ならびにその実装および応用の上記および他の態様は、図面、明細書、および特許請求の範囲においてより詳細に説明する。
【図面の簡単な説明】
【0014】
【図1A】開示される技術による画像ベースの粒子分取システムの例示的な実施形態の図を示す。
【図1B】開示される技術による画像ベースの粒子分取システムのデータ処理および制御ユニットの例示的な実施形態のブロック図を示す。
【図2A】開示される技術による画像ベースの細胞分取マイクロ流体システムの例示的な実施形態の図を示す。
【図2B】開示される技術による画像ベースの細胞分取マイクロ流体システムの例示的な実施形態の図を示す。
【図2C】開示される技術による画像ベースの細胞分取マイクロ流体システムの例示的な実施形態の図を示す。
【図3A】開示される技術による画像ベースの粒子分取技法のための細胞画像を生成するためにＰＭＴ信号から取り込まれ処理された例示的な画像データを示す。
【図3B】開示される技術による画像ベースの粒子分取技法のための細胞画像を生成するためにＰＭＴ信号から取り込まれ処理された例示的な画像データを示す。
【図4A】本技術による画像ベースの粒子分取方法のプロセスの例示的な実施形態の図を示す。
【図4B】本技術による画像ベースの粒子分取方法のプロセスの例示的な実施形態の図を示す。
【図4C】本技術による画像ベースの粒子分取方法のプロセスの例示的な実施形態の図を示す。
【図4D】本技術による例示的なシステムの照射エリアを通過する単一細胞に関連する時間領域ＰＭＴ信号の処理に基づく例示的な細胞検出プロセスの実装を描いた輝度－時間プロットを示す。
【図5A】画像ベースの細胞分取のために検出された細胞の識別された特徴（複数可）を判定するためのプロセスの例示的な実装の図を示す。
【図5B】本技術による例示的な画像再構成技法の実装の結果を描いたデータプロットを示す。
【図6】例示的な画像再構成に基づいて細胞の蛍光強度信号を描いたデータプロットを示す。
【図7】細胞の再構成画像の例を示す。
【図8A】トランスフェクトされたが薬剤処理されていない細胞およびトランスフェクトされ薬剤処理された細胞の例示的な蛍光顕微鏡画像を示す。
【図8B】トランスフェクトされたが薬剤処理されていない細胞およびトランスフェクトされ薬剤処理された細胞の例示的な蛍光顕微鏡画像を示す。
【図9A】トランスフェクトされたが薬物処理されていない細胞およびトランスフェクトされ薬物処理された細胞の画像ベースのセルソータシステムによって撮影された例示的な蛍光細胞画像を示す。
【図9B】トランスフェクトされたが薬物処理されていない細胞およびトランスフェクトされ薬物処理された細胞の画像ベースのセルソータシステムによって撮影された例示的な蛍光細胞画像を示す。
【図10】例示的な実装からの、全てのイベントおよび分取された細胞の例示的な計算された蛍光面積のヒストグラムを示す。
【図11】開示される技術による画像ベースの細胞分取マイクロ流体システムの例示的な実施形態の図を示す。
【図13B】細胞形態パラメータなどの抽出されたパラメータを評価するための例示的な受信者動作特性（ＲＯＣ）技法を使用してサブセットの例示的な分布プロットを示す。
【図14A】それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、非転位細胞および転位細胞の細胞画像を示す。
【図14B】それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、非転位細胞および転位細胞の細胞画像を示す。
【図15】細胞分取基準の実装について、２組の細胞の分離を呈する超平面の例を示す。
【図16A】それぞれ、顕微鏡を介して、例示的なシステムによって取り込まれた非転位細胞および転位細胞の細胞画像を示す。
【図16B】それぞれ、顕微鏡を介して、例示的なシステムによって取り込まれた非転位細胞および転位細胞の細胞画像を示す。
【図17A】それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、Ｇ１相細胞およびＧ２／Ｍ相細胞の細胞画像を示す。
【図17B】それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、Ｇ１相細胞およびＧ２／Ｍ相細胞の細胞画像を示す。
【図18】細胞分取基準の実装について、２組の細胞の分離を呈する超平面の例を示す。
【図19A】それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、Ｇ１相細胞およびＧ２／Ｍ細胞の細胞画像を示す。
【図19B】それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、Ｇ１相細胞およびＧ２／Ｍ細胞の細胞画像を示す。
【図21】ビーズ数が異なる例示的な画像処理モジュールによって処理されたグレースケール細胞画像の例を示す。
【図22】ビーズ数が異なる場合のビーズ画像面積のヒストグラムを示す。
【発明を実施するための形態】
【0015】
いくつかの既存のフローサイトメーター装置およびシステムは、蛍光の空間分布などの空間情報を考慮することなく、蛍光強度および／または散乱強度に基づいて細胞を検出および分取する。高いスループットおよび高い空間分解能を有するフローサイトメーター用の細胞画像を生成するための技法の開発においていくつかの進歩があった。しかしながら、細胞画像は、例えば細胞画像を生成するのに必要な計算量のために、応用、特にフローシステムにおける細胞分取に有用となるために十分に速い速度で生成されていない。そのため、細胞分取能力に関する既存の現状技術は、「検出専用」システムであり、検出された細胞を有意義かつ繊細な基準に基づいて「スクリーニング」しない。
【0016】
応用において、開示される技術は、（ａ）ＦＰＧＡおよび／またはＧＰＵで実装された数学的アルゴリズムを利用した効率的なデータ処理技法による高速移動細胞のリアルタイム画像取得と、同時の（ｂ）リアルタイム取得画像からの分取基準としての粒子の空間特性に基づく「ゲーティング」技法とを使用して、フローサイトメトリーにおける画像ベースの細胞分取のための方法、システム、および装置の形で具体的な方法で実装することができる。細胞分取の基準として選択されたバイオマーカーの蛍光強度を使用する従来のフローサイトメーターとは異なり、開示される技術による方法、システム、および装置は、空間的特徴を含む様々なユーザ定義のゲーティング基準を可能にする。
【0017】
画像ベースのゲーティング基準の例としては、細胞輪郭、細胞サイズ、細胞形状、細胞核などの細胞内部構造のサイズおよび形状、蛍光パターン、蛍光色分布などが挙げられる。例えば、ユーザは、分離することを望む細胞を描くことができ、システムは、それに応じて動作する。このような独特の能力により、研究者などのユーザは、サイトゾル、核、または細胞膜ドメインおよびサブドメイン内の特定のタンパク質の局在化によって、多くの重要な生物学的プロセスを追跡することができる。あらゆる細胞集団がゲノムレベル（例えば、突然変異、エピジェネティクス）または環境レベル（例えば、非対称分裂、モルフォゲン勾配）である程度の不均一性を有するので、それらの独特の空間的特徴による単一細胞の識別および抽出は、免疫学、腫瘍の異質性、幹細胞の分化、およびニューロンの分析の分野に大きく貢献すると考えられる。
【0018】
いくつかの実施形態では、画像ベースの粒子分取システムは、粒子分取アクチュエータと一体化されたフローセルまたはマイクロ流体装置などの粒子流装置と、高速高感度光学撮像システムと、リアルタイム細胞画像処理および分取制御電子システムとを含む。例えば、開示される方法、システム、および装置の目的は、（ｉ）粒子（例えば、細胞）の画像取り込み、（ｉｉ）時間領域信号からの画像特徴再構成、および（ｉｉｉ）リアルタイム粒子分取のニーズを満たすために１５ｍｓ未満のレイテンシ内に粒子分取の決定およびアクチュエータによる分取動作を行うこと、の全プロセスを遂行することである。本明細書で説明されるいくつかの実装では、総レイテンシは８ｍｓ未満（例えば７．８ｍｓ）であり、いくつかの実装では、総レイテンシは６ｍｓ未満（例えば５．８ｍｓ）であり、いくつかの実装では、総レイテンシは３．５ｍｓ未満（例えば３．３ｍｓ）である。細胞分取の実装のために、例えば、開示される方法、システム、および装置は、様々な病気または病原体に関連していることがある細胞周期、タンパク質局在化、遺伝子局在化、ＤＮＡ損傷、および他の細胞特性に特有の画像特徴によって細胞を撮像、分析、および分取することができる。
【0019】
図１Ａは、本技術による画像ベースの粒子分取システム１００の例示的な実施形態の図を示す。システム１００は、粒子流装置１１０と、粒子流装置１１０とインターフェース接続された撮像システム１２０と、撮像システム１２０と通信するデータ処理および制御ユニット１３０と、データ処理および制御ユニット１３０と通信するアクチュエータ１４０とを含み、粒子流装置１１０に作動的に連結されている。粒子流装置１１０は、粒子が流れ方向に沿ってインテロゲーションエリア１１５に流れる流路１１１を含むように構築されており、インテロゲーションエリア１１５内の各粒子について画像データが撮像システム１２０によって取得される。データ処理および制御ユニット１３０は、画像データを処理し、粒子に関連する１つ以上の特性を判定して粒子の分取のための制御コマンドを生成するように構成されている。制御コマンドは、アクチュエータ１４０に提供され、アクチュエータ１４０は、アクチュエータが制御コマンドに対応する出力流路に特定の粒子を分取するように動作するように、装置１１０の分取エリアで粒子流装置１１０とインターフェース接続されている。システム１００は、リアルタイムでの画像ベースの粒子分取を実装し、粒子は、インテロゲーションエリアにおいて撮像システム１２０によって撮像され、データ処理および制御ユニット１３０によって分析された判定された特性に基づいてリアルタイムで分取エリアにおいてアクチュエータ１４０によって分取される。
【0020】
システム１００は、データ処理および制御ユニット１３０によってリアルタイムで分析される各個々の粒子が呈する複数の特性のうちの１つ以上に関連付けることができるユーザ定義基準に基づいて各粒子を分取するようにユーザがプログラム可能である。いくつかの例示的なユーザ定義基準としては、個々の粒子の部分特徴もしくは個々の粒子上の部分特徴の量および／もしくはサイズ（例えば、細胞によって貪食されたか、または細胞に付着した粒子を含む、生細胞に付着したサブ粒子）、個々の粒子の形態、ならびに／または個々の粒子のサイズが挙げられるが、これらに限定されない。このようにして、システム１００は、細胞の生理学的機能（例えば、細胞による粒子もしくは物質の取り込み、または細胞による粒子の貪食）によって、細胞損傷によって、タンパク質の局在化によって、または他の細胞特性によって分取することを含め、生細胞の特性などの特性によって粒子を評価および分取することができる。
【0021】
図１Ｂは、データ処理および制御ユニット１３０の例示的な実施形態のブロック図を示す。様々な実装では、データ処理および制御ユニット１３０は、例えばデスクトップもしくはラップトップコンピュータを含む１つ以上のパーソナルコンピューティングデバイス、クラウド内のサーバおよび／もしくはデータベースを含むインターネットを介してアクセス可能なコンピュータシステムもしくは通信ネットワーク内の１つ以上のコンピューティングデバイス（「クラウド」と呼ばれる）、ならびに／またはスマートフォン、タブレット、もしくはスマートウォッチもしくはスマートグラスを含むウェアラブルコンピュータデバイスなどの１つ以上のモバイルコンピューティングデバイス上に具現化される。データ処理および制御ユニット１３０は、データを処理するためのプロセッサ１３１と、データを記憶および／またはバッファするためにプロセッサ１３１と通信するメモリ１３２とを含む。例えば、プロセッサ１３１は、中央処理装置（ＣＰＵ）またはマイクロコントローラユニット（ＭＣＵ）を含むことができる。いくつかの実装では、プロセス１３１は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはグラフィック処理装置（ＧＰＵ）を含むことができる。例えば、メモリ１３２は、プロセッサ１３１によって実行されると、例えば情報、コマンド、および／またはデータを受信すること、撮像システム１２０からなどの情報およびデータを処理すること、ならびに処理された情報／データをアクチュエータ１４０などの別の装置に送信または提供すること、などの様々な動作を遂行するようにデータ処理および制御ユニット１３０を構成するプロセッサ実行可能コードを含み、かつ記憶することができる。データ処理および制御ユニット１３０の様々な機能をサポートするために、メモリ１３２は、命令、ソフトウェア、値、画像、およびプロセッサ１３１によって処理または参照される他のデータなどの情報およびデータを記憶することができる。例えば、様々な種類のランダムアクセスメモリ（ＲＡＭ）デバイス、読み出し専用メモリ（ＲＯＭ）デバイス、フラッシュメモリデバイス、および他の好適な記憶媒体を使用して、メモリ１３２の記憶機能を実装することができる。いくつかの実装では、データ処理および制御ユニット１３０は、プロセッサ１３１および／またはメモリ１３２を他のモジュール、ユニット、またはデバイスにインターフェース接続するための入出力（Ｉ／Ｏ）ユニット１３３を含む。モバイルコンピューティングデバイス用などのいくつかの実装では、データ処理および制御ユニット１３０は、例えば送信機（Ｔｘ）または送信機／受信機（Ｔｘ／Ｒｘ）ユニットなどの無線通信ユニットを含む。例えば、このような実施形態では、Ｉ／Ｏユニット１３３は、例えば、例えばクラウド内の１つ以上のコンピュータとユーザデバイスとの間などの、データ処理および制御ユニット１３０の他のデバイスとの通信において使用することができる典型的なデータ通信規格と互換性のある様々な種類の無線インターフェースを利用するために、プロセッサ１３１およびメモリ１３２を無線通信ユニットとインターフェース接続することができる。データ通信規格としては、ブルートゥース（登録商標）、ブルートゥース（登録商標）低エネルギー（ＢＬＥ）、ジグビー、ＩＥＥＥ８０２．１１、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線広域ネットワーク（ＷＷＡＮ）、ＷｉＭＡＸ、ＩＥＥＥ８０２．１６（マイクロ波アクセスのための世界規模の相互運用性（ＷｉＭＡＸ））、３Ｇ／４Ｇ／ＬＴＥセルラー通信方法、およびパラレルインターフェースが挙げられるが、これらに限定されない。いくつかの実装では、データ処理および制御ユニット１３０は、Ｉ／Ｏユニット１３３を介して有線接続を使用して他の装置とインターフェース接続することができる。データ処理および制御ユニット１３０は、他の外部インターフェース、データ記憶源、および／または視覚的もしくは音声表示装置などとインターフェース接続してデータおよび情報を検索し転送することもでき、データおよび情報は、プロセッサ１３１によって処理し、メモリ１３２に記憶し、または表示装置もしくは外部装置の出力ユニット上で呈示することができる。
【0022】
図２Ａ～図２Ｃは、画像ベースの粒子分取システム１００のいくつかの実施形態による画像ベースの細胞分取マイクロ流体システム２００の図を示す。システム２００は、分取のために粒子に光学インテロゲーション流路を貫流させるためのマイクロ流体装置２１０と、インテロゲーション流路の照射エリア内の粒子の画像データを取得するための撮像システム２２０と、取得した画像データをリアルタイムで処理して分取コマンドを決定するためのデータ処理および制御システム２３０と、決定した分取コマンドに基づいてマイクロ流体装置２１０内の粒子をゲーティングするためのアクチュエータ２４０とを含む。
【0023】
図２Ａおよび図２Ｃに示すように、マイクロ流体試料流路２１１を形成する通路を有する基板２１３と、試料流路２１１上に収束するマイクロ流体シース流路２１２とを含むように構築されたマイクロ流体装置２１０。実装において、例えば、試料流路は、流れ方向に流れる流体中に懸濁した粒子（例えば、細胞）を運ぶように構成され、シース流路２１２は、マイクロ流体装置２１０の照射エリア２１５を貫流する前に流体中の懸濁粒子を流体力学的に集束させるように流体のシース流を提供するように構成される。いくつかの実施形態では、例えば、基板２１３は、ベース基板、例えばガラスベース基板または他の材料のベース基板に接合された、例えばポリジメチルシロキサン（ＰＤＭＳ）などのバルク材料で形成することができる。
【0024】
システム２００の撮像システム２２０は、マイクロ流体装置２１０の照射エリア２１５に入力光またはプローブ光を提供するための光源２２１、例えばレーザと、照射エリア２１５内の照射された粒子の画像を取得するための光学イメージャ２２２とを含む。例示的な光学イメージャ２２２は、図２Ａに示すように、空間フィルタ（ＳＦ）２２４、吸収フィルタ（ＥＦ）２２５、および光電子増倍管（ＰＭＴ）２２６に光結合された対物レンズ２２３（例えば顕微鏡または他の光学撮像装置の）を含む。いくつかの実装では、例えば、撮像システム２２０は、マイクロ流体装置２１０の照射エリア２１５に入力光を方向付けるための１つ以上の導光素子２２９を含む。図２Ａに示す例では、導光素子２２９は、照射エリア２１５に入力光を方向付けるために光源２２１および光学イメージャ２２２と共に配置されたダイクロイックミラーを含む。
【0025】
撮像システム２２０のいくつかの実装では、光源２２１（例えば、レーザ）は、粒子による蛍光発光を引き起こすために照射エリア２１５に入射する蛍光励起信号を生成するように構成される。光学イメージャ２２２は、粒子の画像を生成することができるように光出力蛍光発光信号を取り込む。
【0026】
システム２００のデータ処理および制御システム２３０は、撮像した粒子を迅速に処理して撮像された各粒子の処理画像に基づいて分取制御をリアルタイムで行うために、例えばＰＭＴを介して光学イメージャ２２２と通信するように構成される。データ処理および制御ユニット２３０のいくつかの実装では、ＦＰＧＡ処理ユニットは、光学イメージャ２２２によって受信された画像信号データを迅速に処理するように構成される。このような実装の例としては、本技術のデータ処理方法に従ってアルゴリズムを実行するためにＮａｔｉｏｎａｌ ＩｎｓｔｒｕｍｅｎｔのシャーシＣｒｉｏ－９１０４を介して提供され得るコンパイラＸｉｌｉｎｘ １０．１と共にＶｉｒｔｅｘ－ＩＩ（ｘｃ２ｖ３０００）ＦＰＧＡプラットフォームが挙げられる。
【0027】
システム２００のアクチュエータ２４０は、試料流路２１１のゲートエリア２１７を流れる粒子にゲートをかけてマイクロ流体装置の２つ以上の出力流路２１８に入れるように、リアルタイムデータ処理および制御システム２３０と通信するように構成される。いくつかの実施形態において、例えば、照射エリア２１５とゲートエリア２１７との間の距離は、５０μｍ～１ｍｍの範囲内とすることができる。実装では、撮像システム２２０およびデータ処理および制御システム２３０が照射エリア２１５を貫流する間の各粒子の画像を取り込み処理するように動作するように、アクチュエータ２４０は、リアルタイムでデータ処理および制御システム２３０から分取コマンドを受信する。その結果、アクチュエータ２４０は、各粒子に適宜ゲートをかけるための分取コマンドを受信して実行する。例えば、いくつかの実装では、アクチュエータ２４０は、粒子をゲートエリア２１７内で粒子方向に移動させて粒子を出力流路２１８の２つ以上のうちの１つへの軌道に沿って方向付ける偏向を生じさせるように、基板２１３に連結された圧電アクチュエータを含む。
【0028】
システム２００の実装において、例えば、懸濁した単一細胞は、シース流によってマイクロ流体流路内で流体力学的に集束され、細胞が流体流路の中心を等速度で移動することを保証する。蛍光発光は、図２Ａに示す例などの広視野蛍光顕微鏡構成においてＰＭＴ２２６によって検出される。この例では、マイクロ流体装置の幾何学的形状に対応するために、レーザビームは、５０倍対物レンズ２２３の前に配置された小型ダイクロイックミラー（ＤＭ）２２９による５２度反射によって光学インテロゲーションに導入される（例えば、ＮＡ＝０．５５、作動距離＝１３ｍｍ）。
【0029】
図２Ｂは、撮像システム２２０の光学イメージャ２２２のちょうど像面において検出経路内に挿入された空間フィルタ（ＳＦ）２２５の例示的な実施形態を示す。空間フィルタ設計は、離れて配置された複数のスリットを有するパターンを含む。いくつかの実施形態では、例えば、空間フィルタ２２５は、均一な寸法を有する開口部のパターンを含み、開口部のパターンは、光学イメージャによって受光された光の波形を符号化する。図２Ｂに示す例では、パターンは、すぐ前後するようなやり方で離れて配置された１０個の１００μｍ×５０μｍのスリットを含む。いくつかの実施形態では、例えば、空間フィルタ２２５は、マイクロ流体流路を横切る流れ方向に対して異なる長手方向および横方向の寸法を有する開口部のパターンを含み、その結果、マイクロ流体流路２１１の照射エリア２１５内の少なくとも２つの次元において粒子位置の光学検出を可能にするように波形が光学イメージャによって符号化される。二次元の空間的に変化する空間フィルタの例は、「マイクロ流体装置における光学的時空間符号化技法」と題した米国特許第９，０７４，９７８Ｂ２号で提供されており、その全内容は、あらゆる目的のために参照により本明細書に組み込まれる。
【0030】
図２Ａに戻って参照すると、撮像システム２２０は蛍光信号の検出のためのただ１つのＰＭＴを示しているが、より多くのＰＭＴを光学イメージャ２２２に追加することができ、必要に応じて多色蛍光細胞画像を生成するためにより多くの励起レーザビームを光源２２１に追加することができる。
【0031】
リアルタイムデータ処理および制御システム２３０は、取り込んだ画像を処理して各粒子について対応する分取コマンドを生成するために、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を使用して実装された制御ループシステムを含む。データ処理および制御システム２３０は、システム２００による自動化された細胞画像生成および正確な分取を提供するために、ＦＰＧＡによって実行可能な画像処理および画像ベースの粒子分取アルゴリズムを含む。例えば、ＦＰＧＡアルゴリズムによって分取決定がなされると、例示的なオンチップ集積圧電ジルコン酸チタン酸鉛（ＰＺＴ）アクチュエータ２４０が、分取接合部のノズル構造に流体圧力を加えるように作動される。いくつかの実装では、例示的なＰＺＴアクチュエータ２４０は、１動作あたり０．１ｍｓ以下の時間枠内で分取コマンドに応答して流体変位動作を実行するように構成される。例えば、０．１ｍｓ未満でのＰＺＴアクチュエータによる流体変位は、高いスループットを有する単一細胞の流体力学的操作能力を呈する。
【0032】
開示される技術による装置、システム、および方法の例示的な実施形態で使用することができる粒子流装置および／またはアクチュエータの特徴の他の例は、「流体フローサイトメトリー装置および信号符号化に基づく粒子感知」と題した米国特許第９，１３４，２２１Ｂ２号で提供されており、その全内容は、あらゆる目的のために参照により本開示の一部として組み込まれる。本発明による装置、システム、および方法の例示的な実施形態で使用することができる光学撮像システムの特徴の他の例は、「時空間変換を使用した撮像フローサイトメトリー」と題され、国際公開第２０１６／０５４２９３Ａ１号として公開されたＰＣＴ出願第ＰＣＴ／ＵＳ２０１５／０５３３６８号に基づく米国特許法第３７１条の下での国内段階出願である米国特許出願第１５／５１４，９３０号で提供されており、その全内容は、あらゆる目的のために参照により本開示の一部として組み込まれる。
【0033】
図３Ａおよび図３Ｂは、図４に記載の例示的なアルゴリズムを使用して例示的なデータ処理および制御システム２３０によって処理され、例示的なＦＰＧＡによって実行されるＰＭＴ信号およびＰＭＴ信号から構築された蛍光細胞画像の例示的な結果を示す。図３Ａは、ＣｅｌｌＴｒａｃｅ ＣＦＳＥで染色したＡ５４９細胞からの蛍光の例示的な時間領域ＰＭＴ出力信号を示す。図３Ｂは、細胞の実サイズを描いた対応する処理済み（例えば、サイズ変更された）蛍光画像を示す。図中の破線で区分された番号付き領域は、時間領域信号と得られた画像との間の対応関係を実証する。サイズは図３Ｂにラベル付けされている。
【0034】
ｘ（横）方向の復元画像の空間分解能は、空間フィルタ上のスリットの数に依存し、ｙ（細胞進行）方向ではサンプリングレートおよび細胞流速に依存する。撮像フローサイトメーター（図３Ｂに示す）によって復元された原画像では、有効画素サイズは、ｘ方向に２μｍ、ｙ方向に約０．４μｍである。回復された画像は、マイクロ流体流路内の物体平面内の２０μｍ×２０μｍの面積を表す。
【0035】
図４Ａは、画像ベースの粒子分取のための方法４００の例示的な実施形態の図を示す。方法４００の実装は、システム２００およびシステム１１００などの本技術による画像ベースの粒子分取システム１００の様々な実施形態によって遂行することができる。
【0036】
方法４００は、撮像システム１２０によって、例えばインテロゲーションエリア１１５において粒子流装置１１０内の流路を貫流する粒子の画像データを取り込むためのプロセス４０５を含む。例えば、プロセス４０５は、流路内の粒子流速に基づいてもよい、所定の速度または変動する速度で画像を連続的に取り込むことを含むことができる。いくつかの実装では、プロセス４０５は、画像処理プロトコルに影響を与えて画像データを取得するために、撮像システム１２０のコントローラでデータ処理および制御ユニット２３０から画像取り込みコマンドを受信することを含む。例えば、データ処理および制御ユニット１３０は、システムのリアルタイム実装において撮像システム１２０によって実行される画像取り込みプロトコルの１つ以上のパラメータを変更することができる。
【0037】
画像取り込み速度は、単一粒子のデータ量と関連付けることができる。例えば、システムは、少なくとも部分的に（ａ）粒子流装置１１０の粒子流速および（ｂ）電子サンプリングレートに基づいて、例えばどの解像度が所望されるかに基づいて、画像取り込み速度および／または画像取り込みプロトコルの他のパラメータを決定することができ、これは、単一粒子のデータ量を決定するために使用することができる。画像取り込み速度は、データ処理および制御ユニット１３０ならびに／または撮像システム１２０のコントローラ（例えばプロセッサ）のデータ記録／計算能力と関連付けることができる。例えば、アナログ－デジタル変換（ＡＤＣ）が高速であり、大きなメモリが大容量であるほど、画像取り込み速度を増大させることができる。例えばいくつかの実装では空間フィルタからの光出力がアルゴリズムの複雑さの処理に影響を及ぼし得るので、画像取り込みおよび処理パラメータを含む画像取り込みプロトコルは、少なくとも部分的に空間フィルタの設計に基づいて選択することができる。特に、倍率、光学フィルタ、撮像モードなどの光学的要因は、典型的に、画像取り込み速度に対してもしあったとしてもほとんど影響を及ぼさないが、全体的な結果、例えば分取決定または他の分析を決定するために評価される粒子特性の判定、を生成するために処理される入力データを得るために重要である。
【0038】
方法４００は、データ処理および制御ユニット１３０において、かつ撮像システム１２０から画像データを受信するためのプロセス４１０を含み、受信されたデータは、粒子流装置１１０の流路を流れる撮像システム１２０によって撮像された粒子と関連している。例えば、プロセス４１０のいくつかの実装では、データ処理および制御ユニット１３０は、粒子流装置１１０上の照射エリア内で撮像された各粒子について、撮像システム１２０の１つ以上のＰＭＴから時間領域信号データ、例えば光強度を受信する。方法４００は、データ（例えば、画像信号データ）を処理して撮像システム１２０によって撮像された粒子の画像を表す画像データセットを生成するためのプロセス４２０を含む。例えば、プロセス４２０のいくつかの実装では、受信された画像信号データは、データをフィルタ処理し、本技術による画像再構成アルゴリズムを使用してフィルタ処理されたデータに基づいて画像を再構成し、かつ／または再構成された画像をサイズ変更することによって前処理され、例えば、再構成された画像は、二値画像データに変換される。方法４００は、生成された画像データセットを分析して、所定の基準に基づいて撮像された粒子の１つ以上の特徴を識別し、１つ以上の識別された特徴に基づいて分取コマンドを決定するためのプロセス４３０を含む。本方法のいくつかの実装では、方法４００は、最初に、受信した画像信号データを処理して照射エリア内の粒子の存在を検出し、次いでプロセス４２０に従ってデータを処理して画像データセットを生成するための処理４１５を含み、画像データセットは、その後プロセス４３０に従って分析される。方法４００は、分取コマンドをアクチュエータ１４０に提供するためのプロセス４４０を含む。方法４００は、粒子流装置１１０の流路の分取エリアを流れる粒子を装置１１０の対応する出力流路に方向付けるための分取コマンドをアクチュエータ１４０によって実行するためのプロセス４４５を含む。例えば、方法４００の実装では、撮像システム１２０ならびにデータ処理および制御システム２３０は、プロセス４０５および４１０、４２０、４３０、および４４０をそれぞれリアルタイムで実施し、その結果、アクチュエータ１４０は粒子を適宜方向付けるための分取コマンドを受信して実行し、例えば、画像取り込み（プロセス４０５）から粒子ゲーティングの起動（プロセス４４５）までの短い期間内に、各粒子が装置１１０の適切な出力流路に入るようにゲートをかける。例えば、プロセス４４５のいくつかの実装では、アクチュエータ１４０は、流体内に流体力学的偏向を生じさせて粒子を所望の軌道に沿って粒子方向に移動させて所望の出力流路に入らせる流動装置１１０に連結された圧電アクチュエータを含む。
【0039】
いくつかの実施形態では、データ処理および制御ユニット１３０は、メモリ１３２に記憶された、プロセス４１０、４２０、４３０、および／または４４０を実装するためにプロセッサ１３１によって実行可能なプロセス４１０、４２０、４３０、および４４０のうちの１つまたは任意の組み合わせに対応するソフトウェアモジュールを含む。図４Ｂは、本技術によるシステムの例示的なデータ処理モジュールの図を示す。例えば、データ処理および制御ユニット１３０は、粒子検出モジュール４６１、画像処理モジュール４６３、および分取決定モジュール４６５を含むことができる。図４Ｂの例示的な図によって示されるように、粒子検出モジュール４６１によって実行可能なアルゴリズムを実装することによって粒子（例えば、細胞）が検出されると、データ処理および制御ユニット１３０は、粒子（例えば細胞）が検出された場合は画像処理モジュール４６３の実装に進む。さもなければ、データ処理および制御ユニット１３０は、戻って例えばＰＭＴ読み出しを介して画像を記録し続ける。例えば画像処理モジュール４６３によって遂行される、細胞画像からパラメータを抽出し、それらの値を事前に定義する分取基準と比較することによって、分取決定モジュール４６５は、アクチュエータ１４０をトリガするか否かを決定するために実装される。いくつかの実施形態では、データ処理および制御ユニット１３０は、プロセス４０５を実装するように撮像システム１２０を少なくとも部分的に制御する画像記録モジュール４６７を含み、これは、例えば撮像システムの画像取り込みプロトコルまたは設定を開始および／または適応させることを含み得る。例えば、イメージャ２２２を有するなどのいくつかの実装では、画像記録モジュール４６７は、ＰＭＴ読み出しの記録をある長さに制御するように動作可能である。
【0040】
いくつかの実装では、粒子特性（例えば、細胞特性）に関連するパラメータは、抽出されるべきパラメータ（複数可）の種類に基づいて抽出される。例えば、異なる形態パラメータについて、細胞形態特性に関連するパラメータを抽出するためのプロセスは、以下の技法のうちの少なくともいくつかを含みことができる。このプロセスは、例えば、二値画像内の値「１」を有する画素数を決定することを含む、画像面積を分析することを含むことができる。画素数は画像面積である。このプロセスは、例えば、画像の輪郭が検出される際に、画像の輪郭上の画素数を決定することを含む、周囲長を分析することを含むことができる。このプロセスは、例えば（例えば二値画像内で）ｘ方向を表す各行の「１」の画素数を決定することを含む、ｘ方向の直径を分析することを含むことができる。例えば、最大計数は、ｘ方向の直径として決定することができる。このプロセスは、例えば（例えば二値画像内で）ｙ方向を表す各列の「１」の画素数を決定することを含む、ｙ方向の直径を分析することを含むことができる。例えば、最大計数は、ｙ方向の直径として決定することができる。
【0041】
図４Ｃは、画像ベースの細胞分取のために細胞を検出するためのプロセス４３０の例示的な実装、例えば粒子検出モジュール４６１の実装、の図を示す。いくつかの実装では、例えば、粒子検出モジュール４６１は、事前設定された閾値より大きい積分蛍光強度（本明細書で「輝度」と呼ばれる）を有する時間領域ＰＭＴ信号の部分を探索する。例えば、いくつかの実施態様では、粒子分取および画像処理アルゴリズムが連続する毎５００データポイントを統合して輝度値を取得するように、フローセルまたはマイクロ流体装置内の細胞移動速度は０．０８ｍ／ｓであり、２００ｋＨｚのサンプリングレートが使用される。輝度が第１の事前設定された閾値、例えば閾値１より大きい時はいつでも、これは、細胞が像平面内の光学系の視野に入っていることを意味する。アルゴリズムは、輝度の時間微分を決定し、輝度の時間微分は、次いで第２の事前設定された閾値、例えば閾値２と比較される。時間微分が閾値２より小さい場合、アルゴリズムは、細胞が十分に視野内にあると見なし、例示的なプロセス４３０は、引き続いて、検出された細胞の識別された特徴（複数可）を判定し、その結果として例えば画像処理モジュール４６３の実装が開始される。
【0042】
図４Ｄは、システムの照射エリアを通過する単一細胞に関連する時間領域ＰＭＴ信号の処理に基づく例示的な細胞検出プロセスの実装を描いた輝度－時間プロットを示す。プロットに示されるように、細胞は、１．１７６ｓのタイムマーカー直後の閾値（例えば、輝度≧１．０）に基づいて撮像エリア（例えば、インテロゲーションエリア１１５）に入ったと検出され、システムは、細胞が、１．１７９ｓのタイムマーカー後の閾値（例えば、輝度≦１．０）に基づいて撮像エリアから出たと検出されるまで、画像信号データを取り込む。
【0043】
図５Ａは、画像ベースの細胞分取のために検出された細胞の識別された特徴（複数可）を判定するためのプロセス４３０の例示的な実装、例えば画像処理モジュール４６３の実装、の図を示す。図５Ａに示す例では、プロセス４２０は、プロセス４３０のいくつかの側面の後、例えば特に画像信号データを分析して細胞が検出されたかどうかを判定した後に実装される。例えば、図５Ａに示すようないくつかの実装では、受信した画像信号データを部分的に分析してセルの存在を判定した後、画像処理モジュール４６３は、フィルタ処理または他の信号処理技法を含む画像信号データ（例えば時間領域ＰＭＴ信号）を前処理する。例えば、いくつかの実装では、受信された画像信号データは、高周波ノイズを除去するためにローパスフィルタ処理される。いくつかの例では、ローパスフィルタ処理のための１０次ハミング窓が使用され、これは、適用可能な特定のローパスフィルタの一例である。プロセス画像モジュール４６３は、時間領域信号を細胞の蛍光の二次元空間分布を表す画像に変換するために、（例えば、式（１）を含む、本明細書で説明される例示的なアルゴリズムに基づく）画像再構成技法を含むプロセス４２０の他の特徴を実装することができる。その後、再構成された細胞画像は、忠実性の目的のためにサイズ変更され、二値画像に変換される。二値画像の場合、例えば、スプリアスノイズを除去するために任意選択のオープンフィルタ技法が適用され、オープンフィルタが適用された後に画像処理モジュール４６３が１つ以上の細胞特徴を検出する（例えば細胞壁または膜検出）。いくつかの実装では、細胞特徴（複数可）が検出された後にオープンフィルタを適用することができる。画像処理モジュール４６３は、細胞形態などの、細胞の側面を記述する検出された細胞特徴に基づいてパラメータを抽出し、これは、その後の分取コマンド（例えば、ゲート処理コマンド）の決定のために、ユーザの事前設定された分取基準からの値と比較することができる。
【0044】
システム２００を使用する方法４００の例示的な実装を、画像ベースの細胞分取を実証する例示的な研究に関して、以下に説明する。例示的な研究において、撮像システム２２０は、コリメートされ、集束され、次いでマイクロ流体装置２１０上の照射エリア２１５から１００μｍ（ｘ方向）×２５０μｍ（ｙ方向）の面積を照射するように拡大される、楕円形ビーム形状を有しガウスエネルギー分布を有する１００ｍＷの４８８ｎｍレーザ（例えば、ｉＢｅａｍ－ＳＭＡＲＴ、Ｔｏｐｔｉｃａ）を含んでいた。５００ｎｍのカットオフ波長を有する小型ダイクロイックミラー（例えば、ＴｈｏｒＬａｂｓ）を通過する蛍光および散乱光を、５０倍、０．５５ＮＡ対物レンズ（例えば、Ｍｉｔｕｙｏｙｏ）を介して集光した。各チャンネルの光強度信号は、ＰＭＴ（例えば、Ｈ９３０７－０２、浜松）によって獲得された。
【0045】
例えば、画像処理モジュール４６３によって実装された画像再構成技法を、以下で数学的に定式化することができる画像データの空間－時間変換のために使用した。
式中、Ｓ（ｔ）は測定されたＰＭＴ信号、Ｃｅｌｌは二次元の細胞の蛍光または散乱強度プロファイル、Ｆ（ｘ、ｙ）は空間フィルタの特性関数、Ｉ（ｘ、ｙ）はレーザ照射の強度プロファイルであり、ｙは細胞進行方向に沿っており、ｘは横方向に沿っており、Ｍはフローサイトメーターに属する光学系の倍率である。細胞がマイクロ流体流路内を速度ｖで移動すると、空間フィルタ上に投影された画像、例えば図２Ｂに示す例示的なＳＦ２２４は、Ｍｖの有効速度で移動する。式（１）において、原理を説明しＣｅｌｌを解くための最も簡単な場合では、Ｆ（ｘ，ｙ）は、近似的に式（２）で表される一連の小さいスリット（例えば１００μｍ×５０μｍの長方形スリット）となるように、Ｉ（ｘ，ｙ）は、均一強度のレーザビームから一定になるように（すなわちトップハット型ビームプロファイル）、選択することができる。
式中、ｘ＝１，２，…，Ｎは空間フィルタの行数、Ｌは蛍光を透過する２つのスリット間の距離である。その結果、例えば、細胞画像は以下の関係から構築することができる。
【数1】
【数2】
【数3】
【0046】
画像処理モジュール４６３によって実装することができる例示的な画像再構成技法は、例えば、流れる細胞について２つの変数、すなわち各ピークにおけるサンプリング点の数、および時間領域画像信号データ（例えば、ＰＭＴ信号）の開始点、を判定することを含む。例えば、細胞は完全に等速度で移動してはいないので、各ピークのサンプリング点の数はわずかに変動する。また細胞移動速度および画像面積内の細胞位置はわずかに変動するので（例えば、例示的な空間フィルタに基づいて設定された２０μｍ×２０μｍの画像面積）、時間領域ＰＭＴ読み出しの開始点も変動する。例示的な画像再構成技法では、ｍはＰＭＴ読み出しの開始点と呼ばれ、ｎは各ピーク内の点の数と呼ばれる。例えば、細胞の速度のばらつきに基づいて、ｎは４６～５１の範囲である。したがって、ｍは０～５１９－１０ｎの範囲である。例示的な画像再構成技法は、細胞画像を再構成するための最良の組み合わせを保証するためにｍおよびｎを掃引する。例えば、各ピークの開始点における強度の合計は、掃引におけるあらゆる組み合わせについて計算される。最小の合計を有する組み合わせが、画像再構成のための正解である。ｍおよびｎを計算した後、両方のＰＭＴによって記録された信号が同期されるので、これらを使用して明視野および蛍光画像の両方を再構成することができる。例示的な画像再構成技法は、式（４）に基づいて値を計算する。
【数4】
【0047】
図５Ｂは、画像再構成技法の実装の結果を描いた例示的なデータプロットを示し、例えば、各ピークについて開始点とサンプリング点の数との最良の組み合わせに関する探索の例示的な結果を示す。データプロットに示されている黒い「＊」記号は、再構成アルゴリズムによって見出された各ピークの開始点を表す。
【0048】
一般に、上述の空間フィルタ（例えば、図２Ｂの空間フィルタ２２４）が画像平面に挿入されていると、細胞の異なる部分からの蛍光は、異なる時間に異なるスリットを通過することになる。その結果、ＰＭＴからの蛍光信号の波形は、時間領域で分離された一連のパターンを含み、時間領域の信号の各部分は、細胞の各特定の状態によって発生した蛍光信号に対応する。各スリットにわたる光強度プロファイルを受信した後、細胞全体の細胞画像は、全てのプロファイルを継ぎ合わせることによって構築することができる。図２Ａ～図２Ｃに示すシステム２００の例示的な実施形態では、空間フィルタは、順番に配置された１０個の１００μｍ×５０μｍの長方形スリットを含む。例えば、５０倍対物レンズ（Ｍ＝５０）を用いると、フィルタ設計は、式（３）を含むアルゴリズムを使用して、例えば２０μｍ×２０μｍ以下の移動細胞の蛍光画像または散乱画像を構築することを可能にする。これは、最小限の計算量を必要とするものであり、高いスループットかつリアルタイムの画像ベースの細胞分類および分取に好適である。例えば、５０倍／０．５５ＮＡの対物レンズ、ＰＭＴ信号を獲得するための５００ｋＨｚのサンプリングレート、および１２μＬ／分の試料流速および１２０μＬ／ｍｉｎのシース流速によって与えられる０．２ｍ／ｓの細胞移動速度を使用すると、ｙ方向の画素の有効サイズは、レイリー基準より小さい
であり、このようにして、ｙ方向の回折限界分解能が得られる。ここで、Ｒは、この計算におけるＰＭＴ読み出しのサンプリングレートである。各ピークが５０個のサンプリング点を含むように、約８ｃｍ／ｓの速度で移動する細胞（例えば、流速によって与えられる）、２０μｍ×２０μｍに設定された画像面積（例えば、１０個のピークの蛍光画像に基づくＰＭＴ読み出し）、２００ｋ試料／ｓのサンプリングレート、などの他の実装パラメータを使用することができることに留意されたい。
【数5】
【0049】
この例示的な研究では、空間フィルタのデザインは、ＡｕｔｏＣＡＤで描画し、２０，０００ドット／インチ（ｄｐｉ）で透明マスクに印刷した。ネガ型フォトレジスト層（例えば、ＮＲ９－１５００ＰＹ、Ｆｕｔｕｒｒｅｘ，Ｉｎｃ．）を６インチガラスウェハ上に毎分３，０００回転（ｒｐｍ）で回転形成した。ウェハは、ホットプレート上で１５０℃で３分間加熱し、次いで透明マスクを通じてＵＶ光（例えば、ＥＶＧ６２０ＮＴ、ＥＶ
Ｇｒｏｕｐ）に露光した。ＵＶ露光後、ウェハを１００℃でさらに３分間ベークした後、ＲＤ６（例えば、Ｆｕｔｕｒｒｅｘ，Ｉｎｃ．）で１２秒間現像した。ガラスウェハ上に２００ｎｍ厚のアルミニウムのフィルムをスパッタリングした。金属をリフトオフした後、空間フィルタのパターンを形成し、ガラスウェハを１５ｍｍ×１５ｍｍ片にダイシングした。フローサイトシステムにおいて空間フィルタを保持するのを助けるために、１０個の５０μｍ×１００μｍのスリットを有する空間フィルタを、３Ｄ印刷法によって製造された試料ホルダーに装着した。
Ｇｒｏｕｐ）に露光した。ＵＶ露光後、ウェハを１００℃でさらに３分間ベークした後、ＲＤ６（例えば、Ｆｕｔｕｒｒｅｘ，Ｉｎｃ．）で１２秒間現像した。ガラスウェハ上に２００ｎｍ厚のアルミニウムのフィルムをスパッタリングした。金属をリフトオフした後、空間フィルタのパターンを形成し、ガラスウェハを１５ｍｍ×１５ｍｍ片にダイシングした。フローサイトシステムにおいて空間フィルタを保持するのを助けるために、１０個の５０μｍ×１００μｍのスリットを有する空間フィルタを、３Ｄ印刷法によって製造された試料ホルダーに装着した。
【0050】
この例示的な研究については、ＨＥＫ２９３Ｔヒト胚性腎臓細胞試料にｐＥＧＦＰ－ＧＲプラスミド（例えばＡｄｄｇｅｎｅ）をトランスフェクトした。３日間連続培養した後、１μＭのデキサメタゾン（例えば、Ｓｉｇｍａ－Ａｌｄｒｉｃｈ）を培地に添加した。６０分間インキュベートした後、ＨＥＫ２９３Ｔ細胞を採取し、４％パラホルムアルデヒドで固定し、洗浄し、１倍のリン酸緩衝食塩水（ＰＢＳ）中に再懸濁した。各撮像実験の前に、懸濁液をＰＢＳで２００細胞／μＬの濃度に希釈した。
【0051】
例示的な研究で使用された画像ベースの細胞分取システム２００の例示的な実施例は、１０個のスリットを含む空間マスクを含み、約０．０８ｍ／ｓの細胞流速を利用した。画像面積は、２０μｍ×２０μｍに設定した。この設計では、細胞の蛍光からのＰＭＴ信号は、１０個の別々のピークであるように見え、各ピークのサンプリング点の数は約５０である。しかしながら、異なる細胞の速度は完全に等速ではないので、各セルのサンプリング点の数はわずかに変動し、各ピークの開始点も判定される必要がある。したがって、細胞画像を成功裡に再構成することができるように、データ処理アルゴリズムを、このような変動する細胞速度を考慮に入れるように、すなわちある範囲内の各ピークについて開始点およびサンプリング点の数を探索するように構成した。細胞流動速度のばらつきに基づいて、各ピークのサンプリング点の数は、典型的には４６～５１の範囲であった。そのため、細胞画像内の点の総数は、４６０～５１０である。各セルについて、粒子検出モジュール４６１が細胞が来ると判定すると、５２０個のサンプリング点の長さのＰＭＴ信号を記録した。例えば、各ピークについて開始点とサンプリング点の数との最良の組み合わせを保証するために、アルゴリズムは、４６～５１の数のサンプリング点と各ピークの開始点とを適宜掃引した。掃引における各組み合わせについて、全ての開始点における強度の合計を計算し、最小の合計を有する組み合わせを画像再構成のための正解として選択した。
【0052】
図６は、例示的な画像再構成に基づいて細胞の蛍光強度信号を描いたデータプロットを示す。例示的な結果は、各ピークについて開始点とサンプリング点の数との最良の組み合わせを探索することを示している。
【0053】
図７は、細胞の再構成画像の一例を示しており、例えば、蛍光エリアを使用して細胞の境界を判定して細胞の画像を生成する基準が使用されている。侵食とそれに続く膨張であるオープンフィルタについては、３×３の近傍を使用した。細胞壁または膜検出のステップでは、二値細胞画像中の全ての画素が走査される。非ゼロの強度を有する画素については、例示的なアルゴリズムは、その３×３の近傍内の９個の画素全てをチェックした。例えば、計数された数が０より大きく８より小さい場合、非ゼロの強度を有するその隣接画素を計数することによって、この画素を細胞壁または膜上の画素として判定した。
【0054】
この例示的な技法は、少なくとも部分的にＦＰＧＡを使用して実装した。表１は、データ処理アルゴリズムの例示的な実装における各ステップの切り上げ概算レイテンシ結果を示しており、総レイテンシは十分に３．３ｍｓ以内である。例示的なデータ処理アルゴリズムは、並列を含め、複数のプラットフォーム上で実装されるように柔軟である。例えば、グラフィック処理ユニット（ＧＰＵ）の並列処理能力を利用すると、アルゴリズムは、例えばＮｖｉｄｉａによるＣＵＤＡアーキテクチャまたはＡＭＤによるＯｐｅｎＣＬのいずれかによってＧＰＵに実装することもできる。画像ソーリング（ｓｏｒｉｎｇ）アルゴリズムは、ＧＰＵの並列処理能力を組み合わせた非常に短い実行時間を有するので、分取スループットは、さらに改善される。本特許文書では、細胞画像を生成する定式化が例示的な方法の形で説明されているが、前述の１０スリット空間マスクとは異なる空間フィルタ設計を使用する場合、アルゴリズムが多少異なる可能性があることは注目に値する。しかしながら、システムの全体的な作業手順は同じである。
【0055】
表１は、例えばレイテンシが時間（ｍｓ）で表される、例示的なＦＰＧＡ設計におけるモジュールの性能を描いた例示的なデータを示す。
【表1】
【0056】
例示的な研究からの例示的な分取結果を記載する。例えば、例示的なリアルタイムの画像ベースのセルソータシステムの実現可能性を実証するために、蛍光細胞質を有する細胞と蛍光核を有する細胞との混合物に対して分取試験を遂行した。正常なヒト胚性腎臓細胞、ＨＥＫ２９３Ｔ細胞は、ｐＥＧＦＰ－ＧＲプラスミドのトランスフェクション後、４８８ｎｍのレーザにより励起することができ、その細胞質において５０９ｎｍに発光ピークを有するＧＦＰを発現している。１時間にわたる１μＭデキサメタゾン処理後、蛍光は、細胞質領域から細胞核に転位する。
【0057】
図８Ａおよび８Ｂは、トランスフェクトされたが薬剤処理されていない細胞（図８Ａ）およびトランスフェクトされ薬剤処理された細胞（図８Ｂ）の例示的な蛍光顕微鏡画像を示す。図８Ａおよび図８Ｂの画像は、２０μｍ×２０μｍの面積を表す。薬物処理なしのトランスフェクトされたＨＥＫ２９３Ｔ細胞の例示的かつ代表的な顕微鏡画像（図８Ａ）および処理済み細胞の例示的かつ代表的な顕微鏡画像（図８Ｂ）により示されるように、処理済み細胞および未処理細胞の両方の蛍光強度の大きさはかなり広い範囲を有するが、薬物処理された細胞画像はより小さい蛍光面積を有する。
【0058】
図８Ａおよび図８Ｂの画像に示すように、両方の行の左列は蛍光画像を示し、中央列は明視野画像を示し、右列はオーバーレイ画像を示す。行１は、蛍光が細胞質内に分布した（例えば、デキサメタゾンで未処理の）サンプル細胞を示す。行２は、蛍光が核内に分布した（デキサメタゾンで処理された）サンプル細胞を示す。細胞は、ｐＥＧＦＰ－ＧＲプラスミドをトランスフェクトしたＨＥＫ２９３Ｔヒトエンブロイニック（ｅｍｂｒｏｙｎｉｃ）腎臓細胞である。
【0059】
図９Ａおよび９Ｂは、トランスフェクトされたが薬物処理されていない細胞（図９Ａ）およびトランスフェクトされ薬物処理された細胞（図９Ｂ）の画像ベースのセルソータシステムによって撮影された例示的な蛍光細胞画像を示す。例示的な画像は、２０μｍ×２０μｍの面積を表す。
【0060】
図１０は、例示的な研究からの、全てのイベントおよび分取された細胞の例示的な計算された蛍光面積のヒストグラムを示す。
【0061】
例示的な研究では、薬物処理細胞が例示的なシステムによって分取されるように、分取基準を８４μｍ２に事前設定した。この例示的な研究では、細胞サイズ、核サイズ、および細胞による薬物の取り込みのばらつきのため、全ての薬物処理細胞が分取されたわけではないことがあり得るが、分取された細胞は全て核内にのみ蛍光を有するので、純度は確保されている。
【0062】
システム２００の例示的な実施形態の例示的な実装で実証されるように、開示されるシステムおよび技法は、単一細胞の蛍光画像および光散乱画像に基づく細胞分取能力を有する高スループットのフローサイトメーターを提供する。ＦＰＧＡおよび／またはＧＰＵにおいて細胞画像の取り込み、処理、および分取の作動を実現することにより、前述の設計はミリ秒レベルの全体的な処理レイテンシを提供することを例示的な結果は示している。
【0063】
図１１は、画像ベースの粒子分取システム１００のいくつかの実施形態による、画像ベースの細胞分取マイクロ流体システム１１００の図を示す。システム１１００は、分取のために粒子に光学インテロゲーション流路を貫流させるためのマイクロ流体装置１１１０と、インテロゲーション流路の照射エリア内の粒子の画像データを取得するための撮像システム１１２０と、取得した画像データをリアルタイムで処理して分取コマンドを決定するためのデータ処理および制御システム１１３０と、決定した分取コマンドに基づいてマイクロ流体装置２１０内の粒子にゲートをかけるためのアクチュエータ１１４０とを含む。例示的なシステム１１１０のいくつかの実装では、マイクロ流体装置１１１０およびアクチュエータ１１４０は、それぞれマイクロ流体装置２１０およびアクチュエータ２４０を含むことができる。
【0064】
システム１１００の撮像システム１１２０は、マイクロ流体装置１１１０の照射エリアに入力光またはプローブ光を提供するための光源１１２１、例えばレーザと、照射エリア２１５内の照射された粒子の画像を取得するための光学イメージャ１１２２とを含む。例示的な光学イメージャ１１２２は、図１１に示すように、空間フィルタ（ＳＦ）１１２４、吸収フィルタ（ＥＦ）１１２５Ａおよび１１２５Ｂ、ならびに光電子増倍管（ＰＭＴ）１１２６に光結合された対物レンズ１１２３（例えば顕微鏡または他の光学撮像装置の）を含む。図１１に示す例示的な実装では、撮像システム１１２０は、ダイクロイックミラー（ＤＭ）１１２９Ａおよび１１２９Ｂを含み、ＤＭ１１２９Ａは、入力光をマイクロ流体装置１１１０上の照射エリアに方向付けるように光源と共に配置され、ＤＭ１１２９Ｂは、光出力信号の一部をＥＦ１１２５Ｂを介してＰＭＴ１１２６Ｂに方向付けるように光学イメージャ１１２２と共に光路内に配置され、光出力信号の無向部分は、ＥＦ１１２５Ａを介してＰＭＴ１１２６Ａに進む。いくつかの実装では、光源１１２１（例えば、レーザ）は、粒子による蛍光発光を引き起こすように照射エリアに入射する蛍光励起信号を生成するように構成される。光学イメージャ１１２２は、粒子の画像を生成することができるように、ＰＭＴ１１２６Ａおよび１１２６Ｂで光学出力蛍光発光信号を取り込む。
【0065】
システム１１００の例示的な実装において、懸濁した単一細胞は、シース流によってマイクロ流体装置１１１０の分取流路内で流体力学的に集束され、細胞が流体流路の中心を等速度で移動することを保証する。例えば、蛍光発光と明視野信号の両方を、複数の光電子増倍管、例えばＰＭＴ１１２６Ａおよび１１２６Ｂによって検出することができる。マイクロ流体装置の幾何学的形状に対応するために、レーザ１１２１からの４８８ｎｍのレーザビームは、５０倍対物レンズの前に配置された小型ダイクロイックミラー１１２９Ａによる５２°反射によって光学インテロゲーションに導入される（例えば、ＮＡ＝０．５５、作動距離＝１３ｍｍ）。いくつかの例示的な実施形態において、システム１１００は、明視野画像を生成するために流路の反対側に配置することができる光学光源１１２８（例えば、図１１に示される例示的な４０５ｎｍのＬＥＤなどのＬＥＤ）を含み、光は、レーザ照射位置に集束させることができる。空間的に符号化されたフィルタ、例えばＳＦ１１２４は、検出経路内の画像平面に挿入される。所望の発光帯域をそれらのそれぞれのＰＭＴにルーティングするために、ダイクロイックミラー１１２９Ｂは、スペクトルに基づいて対物レンズによって集光された蛍光および明視野光を分割する。再構成画像の空間分解能は、フィルタによって決定される。ｘ（横）方向の分解能は、フィルタのスリット数に依存し、ｙ（細胞進行）方向の分解能は、サンプリングレートと細胞の流速に依存する。図１１に示すシステム１１００の例示的な実施形態では、有効画素サイズは、ｘ方向に２μｍ、ｙ方向に約０．４μｍである。
【0066】
図１２は、システム１１００の例示的な実施形態の例示的な画像処理実装の流れ図を示す。データ処理および制御ユニット１１３０は、撮像システム１１２０によって取り込まれた蛍光画像および明視野画像を処理するための画像処理モジュールを含む。例えば、方法４００のプロセス４２０および４３０の態様を実装するための例示的な画像処理モジュールは、例えば複数のＰＭＴ１１２６Ａおよび１１２６Ｂからの受信した画像信号データを前処理することを含む。このような実装では、前処理技法は、受信した画像信号データの分析に基づいて細胞の検出が判定された後に遂行することができる。図１２に示す例では、蛍光画像および明視野画像のＰＭＴ信号は、高周波ノイズを除去するためにローパスフィルタ処理されている。いくつかの実装では、例えば、１０次ハミング窓がローパスフィルタ処理のために使用される。例示的な画像処理モジュールは、時間領域ＰＭＴ信号から明視野画像と蛍光画像の両方を例えば二次元画像に再構成するための画像再構成アルゴリズムを実行するように構成される。明視野および蛍光信号は同じスリットによって生成されるので、これらは、データ処理および制御ユニット１１３０によって同期される。いくつかの実装では、画像再構成アルゴリズムは、明視野画像と蛍光画像の両方に対して一度起動される。いくつかの実装では、例えば、再構成画像は５０×５０画素にサイズ変更される。いくつかの実装では、例えば、グレースケール画像は、強度閾値に基づいて二値画像に変換される。いくつかの実装では、例えば、二値画像は、スプリアスノイズを除去するためにオープンフィルタによってフィルタ処理される。いくつかの実装では、例えば、細胞輪郭アルゴリズムが、両方の二値画像の輪郭を検出するために起動される。いくつかの実装では、例えば、形態パラメータは処理された画像に基づいて抽出され、分取決定は抽出されたパラメータに基づいて行われる。
【0067】
図１３Ａは、図１２に示す例示的な画像処理ステップによる例示的なデータを描いた流れ図を示す。図において、例示的な画像処理モジュールは、生成された画像から細胞形態などの細胞特徴パラメータを抽出することを可能にする、画像輪郭特徴を含む検出された個々の細胞の再構成されサイズ変更された画像を生成する。
【0068】
このアルゴリズムは、ＦＰＧＡ（Ｎａｔｉｏｎａｌ Ｉｎｓｔｒｕｍｅｎｔ ｃＲＩＯ－９０３９）上に実装されている。表２は、データ処理および制御ユニット１１３０の例示的な画像処理モジュールによって実装される各ステップの例示的な切り上げ概算レイテンシ結果を示す。明視野画像および蛍光画像の画像処理は、並列して実行される。表に示すように、この例では、画像処理の総レイテンシは約５．８ｍｓである。
【0069】
表２は、例えばレイテンシが時間（ｍｓ）で表される、システム１１００の例示的な実装のための例示的なＦＰＧＡ設計におけるモジュールの性能を描いた例示的なデータを示す。
【表2】
【0070】
例えば、画像処理の時間レイテンシを低下させることによって、分取スループットを改善することができる。例えば、より多くの計算資源を有するより強力なＦＰＧＡを用いると、画像処理モジュールをさらに並列化して時間レイテンシを改善することができる。例示的な画像処理アルゴリズムは、例えばＮｖｉｄｉａによるＣＵＤＡアーキテクチャまたはＡＭＤによるＯｐｅｎＣＬのいずれかなどによって、代替的または追加的に（例えばＦＰＧＡとの並列処理で）ＧＰＵ上に実装することもできる。例示的な画像処理アルゴリズムはデータ並列であるため、ＧＰＵの並列処理能力を利用することによって、処理速度をはるかに加速することができ、その結果、はるかに高いスループットを達成することができる。
【0071】
いくつかの実装では、例えば、データ処理および制御ユニット１１３０は、例えば受信者動作特性（ＲＯＣ）を使用して、抽出された形態パラメータを評価するように構成することができる。最上位パラメータが、リアルタイム分取用に選択される。
【0072】
いくつかの実装では、抽出された形態パラメータをＲＯＣ技法を使用して評価するための方法は、以下を含む。例えば、ＲＯＣ技法は、システムを通るフローセル試料によって得られた画像データから処理済みデータに適用することができる。例えば、細胞画像は、例えば場合によっては手動識別により２つのサブセットに分離することができる。一例として、２つのサブセットは、転位細胞（例えば、分取された群）および非転位細胞（例えば、未分取群）とすることができる。各細胞について、形態パラメータが抽出される。ＲＯＣ技法は、両方のサブセットの各パラメータの分布を生成することを含むことができる。この技法は、分布のＲＯＣ曲線である曲線を生成することを含む。この技法は、曲線下面積（ＡＵＣ）、すなわち曲線の積分を計算することを含む。この技法は、パラメータが分類にどのように適用されるかを評価することを含み、例えば、より大きいＡＵＣを有するパラメータを、分類に最も好適なパラメータとして選択することができる。
【0073】
図１３Ｂは、細胞形態パラメータなどの抽出されたパラメータを評価するための例示的な受信者動作特性（ＲＯＣ）技法を使用してサブセットの例示的な分布プロットを示す。示される例では、ＲＯＣは、ＴＰ、ＦＰ、ＦＮ、ＴＮを含む（ＴＰは真陽性、ＦＰは偽陽性、ＦＮは偽陰性、ＴＮは真陰性）。例示的な曲線はＲＯＣ曲線を表す。より大きいＡＵＣを有するパラメータが、分類にはより良好である。
【0074】
分取のためのパラメータが選択された後、サポートベクターマシン（ＳＶＭ）を使用して、選択されたパラメータを使用してゲート処理基準として非線形超平面を生成することができる。
【0075】
一例として、画像が、例えば２つの例示的なサブセットなどのサブセットに分離された後、選択されたパラメータが、各画像について計算される。各画像は、ｎ次元ベクトルに対応する（ｎは選択されたパラメータの数である）。例示的なＳＶＭ技法は、サブセットを分離するｎ次元空間内の境界を生成するために実装される。例えば、分取決定を下す際、例えば細胞が境界のどちら側にあるか（例えば、細胞がどのサブセットに属するか）を知るために、各セルについて選択されたパラメータを計算することができる。次いで、分取決定を下すことができる。
【0076】
例示的な抽出された形態パラメータを表３に示す。
【表3】
【0077】
システム１１００を使用する方法４００の例示的な実装を、タンパク質転位に基づく分取、細胞周期に基づく分取、および細胞の細胞膜に結合したビーズの数に基づく分取を含む、画像ベースの細胞分取を実証する例示的な研究に関して、以下に説明する。
【0078】
１つの例示的な研究は、ｐＥＧＦＰ－ＧＲプラスミドを転位したＨＥＫ－２９７Ｔヒト胚性腎臓細胞の分取、例えばタンパク質転位に基づく分取の実装を含んでいた。例示的な研究は、ｐＥＧＦＰ－ＧＲプラスミドが転位したＨＥＫ－２９７Ｔヒト胚性腎臓細胞を転位および非転位混合物から識別して分取する能力を実証した。この研究では、ＨＥＫ－２９３Ｔヒト胚性腎臓細胞にＧＲ－ＧＦＰをトランスフェクトし、２枚のプレートに分離した。細胞の一方のプレートは、蛍光が細胞質内に留まるように、未処理である。細胞の他方のプレートは、蛍光が細胞質から核に移動するように、薬物で処理した。両方の種類の細胞を混合し、システムを貫流させ、例示された方法の実装に基づいて、転位細胞のみを分取して収集した。
【0079】
例示的な研究では、記録されたＰＭＴ信号は、例えばＭａｔｌａｂコードによって実装されたアルゴリズムを実行しているデータ処理および制御ユニットによって処理した。ＰＭＴ信号に基づいて、各細胞の蛍光画像および明視野画像の両方を再構築し、各細胞の形態パラメータを抽出して記録した。抽出された形態パラメータは、リアルタイムの画像ベースの細胞分取基準を生成するための教師あり機械学習に使用した。
【0080】
例示的な研究では、再構成された細胞画像を、手動識別によって２つのサブセットに分離した。細胞の一方のサブセットは、細胞質内に蛍光を有する非転位細胞であり、細胞の他方のサブセットは、核内に蛍光を有する転位細胞であった。
【0081】
図１４Ａおよび図１４Ｂは、例示的なシステムによって取り込まれ、Ｍａｔｌａｂコードによって再構成された非転位細胞および転位細胞の細胞画像を示す。図１４Ａは、非転位細胞の画像を示し、図１４Ｂは、転位細胞の画像を示す。図１４Ａおよび図１４Ｂの画像において、左側の画像は細胞の蛍光画像であり、中央の画像は細胞の明視野画像であり、右側の画像は検出された明視野輪郭を含むオーバーレイ画像である。
【0082】
例示的な研究では、形態パラメータを、受信者動作特性（ＲＯＣ）を使用して２つの注釈付きサブセットに基づいて評価した。リアルタイム分取用に上位３つのパラメータを選択した。例えば、この場合の上位３つのパラメータは、蛍光面積／明視野面積（例えば、面積比）、蛍光周囲長／明視野周囲長（例えば、周囲長比）、および蛍光面積であった。
【0083】
例示的な研究では、３つの選択されたパラメータを使用する分取基準を、システム内の細胞のリアルタイム分取に用いた。選択された上位３つのパラメータに基づいて２つの細胞サブセットを分離する三次元非線形超平面を、サポートベクターマシン（ＳＶＭ）によって形成した。
【0084】
図１５は、分取基準の実装について、２組の細胞（例えば、転位細胞と非転位細胞）の分離を呈する超平面の例を示す。
【0085】
２種類の細胞を５０：５０で混合し、リン酸緩衝生理食塩水（ＰＢＳ）を使用して２００／μＬに希釈した。混合試料に例示的な画像ベースの分取システムを貫流させ、リアルタイムモジュールに基づいて分取した。細胞は、６μＬ／ｍｉｎの試料流速および６０μＬ／ｍｉｎのシース流速によって与えられる８ｃｍ／ｓの速度で移動した。例示的なイメージャは、収集された細胞の蛍光画像と明視野画像の両方を取り込むために使用されたＣＣＤカメラを備えた顕微鏡を含んでいた。
【0086】
図１６Ａおよび図１６Ｂは、顕微鏡を介して、例示的なシステムによって取り込まれた非転位細胞および転位細胞の細胞画像を示す。図１６Ａは、非転位細胞の顕微鏡画像を示し、図１６Ｂは、転位細胞の顕微鏡画像を示す。図１６Ａおよび図１６Ｂの画像において、左側の画像は顕微鏡によって撮像された細胞の蛍光画像であり、中央の画像は顕微鏡による細胞の明視野画像であり、右側の画像はオーバーレイ画像である。
【0087】
１つの例示的な研究は、Ｇ２／Ｍ段階でのＭＤＣＫ Ｍａｄｉｎ－Ｄａｒｂｙイヌ腎臓上皮細胞の分取、例えば細胞周期に基づく分取の実装を含んでいた。この研究では、ＭＤＣＫ Ｍａｄｉｎ－Ｄａｒｂｙイヌ腎臓上皮細胞を固定し、細胞核をヨウ化プロピジウム（ＰＩ）で染色した。固定され染色されたＭＤＣＫ細胞に例示的な画像ベースの分取システムを貫流させ、Ｇ２／Ｍ相細胞のみを分取して収集した。
【0088】
タンパク質転位に基づく分取のための例示的な研究と同様に、記録されたＰＭＴ信号を処理して細胞画像を再構成し、形態パラメータを抽出した。再構成された細胞画像を、手動識別によって２つのサブセットに分離した。細胞の一方のサブセットはＧ１相にあった。Ｇ１相では、核の構成要素は核膜内に閉じ込められている。細胞の他方のサブセットはＧ２／Ｍ相にあった。Ｇ２／Ｍ相では、核膜が崩壊し、核の構成要素は細胞内に分布する。
【0089】
図１７Ａおよび図１７Ｂは、例示的なシステムによって取り込まれ、Ｍａｔｌａｂコードによって再構成されたＧ１相細胞およびＧ２／Ｍ相細胞の細胞画像を示す。図１７Ａは、Ｇ１相細胞の画像を示し、図１７Ｂは、Ｇ２／Ｍ相細胞の画像を示す。図１７Ａおよび１７Ｂの画像において、左側の画像は細胞の蛍光画像であり、中央の画像は細胞の明視野画像であり、右側の画像は検出された明視野輪郭を含むオーバーレイ画像である。
【0090】
タンパク質転位に基づく分取のための例示的な研究と同様に、形態パラメータをＲＯＣを使用して評価し、三次元非線形超平面をＳＶＭによって形成した。上位３つの形態パラメータは、蛍光面積／明視野面積（例えば、面積比）、蛍光面積、および蛍光周囲長／明視野周囲長（例えば、周囲長比）である。
【0091】
図１８は、分取基準の実装について、２組の細胞（例えば、Ｇ１相の細胞とＧ２／Ｍの細胞）の分離を呈する超平面の例を示す。
【0092】
ＭＤＣＫ細胞を、ＰＢＳを使用して２００／μＬに希釈した。試料に例示的なシステムを貫流させ、リアルタイムモジュールに基づいて分取した。細胞は、６μＬ／ｍｉｎの試料流速および６０μＬ／ｍｉｎのシース流速によって与えられる８ｃｍ／ｓの速度で移動した。例示的なイメージャは、収集された細胞の蛍光画像と明視野画像の両方を取り込むために使用されたＣＣＤカメラを備えた顕微鏡を含んでいた。
【0093】
図１９Ａおよび１９Ｂは、顕微鏡を介して、例示的なシステムによって取り込まれたＧ１相細胞およびＧ２／Ｍ細胞の細胞画像を示す。図１９Ａは、Ｇ１相細胞の顕微鏡画像を示し、図１９Ｂは、Ｇ２／Ｍ相細胞の顕微鏡画像を示す。図１９Ａおよび図１９Ｂの画像において、左側の画像は顕微鏡によって撮像された細胞の蛍光画像であり、中央の画像は顕微鏡による細胞の明視野画像であり、右側の画像はオーバーレイ画像である。
【0094】
１つの例示的な研究は、細胞と結合したビーズの数に基づくＨＥＫ－２９７Ｔヒト胚性腎臓細胞の分取、例えば細胞の細胞膜上に結合したビーズの数に基づく分取の実装を含んでいた。この研究では、ＨＥＫ－２９７Ｔヒト胚性腎臓細胞を蛍光ビーズで結合し、ＣＦＳＥキットで染色した。細胞の蛍光は５２０ｎｍであり、ビーズの蛍光は６４５ｎｍである。ダイクロイックミラーによってルーティングされ、２つのＰＭＴによって検出された２つの波長の蛍光信号。細胞は、結合ビーズの数に基づいて分取した。この用途のための画像処理モジュールは、画像を処理するために適宜修正した。
【0095】
図２０は、システム１１００の例示的な実施形態によって実装される細胞の細胞膜上に結合したビーズの数に基づいて分取するための例示的な画像処理の実装の流れ図を示す。データ処理および制御ユニット１１３０は、撮像システム１１２０によって取り込まれた蛍光画像および明視野画像を処理するための画像処理モジュールを含む。例えば、方法４００のプロセス４２０および４３０の態様を実装するための例示的な画像処理モジュールは、例えば複数のＰＭＴ１１２６Ａおよび１１２６Ｂからの受信した画像信号データを前処理することを含む。図に示すように、例えば、両方の波長の蛍光信号がローパスフィルタ処理された。この例示的な研究では、５２０ｎｍの蛍光信号を画像再構成に使用した。再構成されたビーズ画像を、５０×５０画素にサイズ変更した。画像の背景を除去するためにトップハット型変換を実装した。この例示的な実装では、７×７画素近傍をトップハット型変換のために使用した。この例示的な実装では、グレースケール画像を二値画像に変換した。形態パラメータを抽出した。この例では、ビーズは比較的均一なサイズを有するので、画像面積を分取基準として選択した。いくつかの実装では、例えば、形態パラメータは処理された画像に基づいて抽出され、分取決定は抽出されたパラメータに基づいて行われる。
【0096】
表４は、リアルタイム画像処理の総レイテンシが７．８ｍｓであることを示している。例示的なモジュールは、ビーズ計数にＦＰＧＡを使用して実装した。
【表4】
【0097】
図２１は、ビーズ数が異なる画像処理モジュールによって処理されたグレースケール細胞画像の例を示す。図２１に示すように、左列の画像はビーズの蛍光画像であり、中央列の画像は細胞の蛍光画像であり、右列の画像はオーバーレイ画像である。
【0098】
図２２は、異なる数のビーズについてビーズ画像面積のヒストグラムを示す。
【実施例0099】
以下の実施例は、本技術によるいくつかの実施形態の例示である。本技術の他の例示的な実施形態が、以下に列挙する例の前に、または以下に列挙する例の後に提示される場合がある。
【0100】
本技術によるいくつかの実施形態（実施例Ａ１）では、画像ベースの粒子分取システムは、基板と、基板上に形成された流路であって、粒子を流れ方向に沿って流路の第１の領域に流すように動作可能な流路と、流路内の第１の領域に近接した第２の領域で流路から分岐する２つ以上の出力経路とを含むように構築された粒子流装置と；粒子流装置とインターフェース接続し、粒子が流路を貫流する間に第１の領域内にあるときに粒子に関連する画像データを取得するように動作可能である撮像システムと；撮像システムと通信するデータ処理および制御ユニットであって、データ処理および制御ユニットは、撮像システムによって取得された画像データを処理して処理された画像データから粒子に関連する１つ以上の特性を判定し、判定された１つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含む、データ処理および制御ユニットと；粒子流装置に作動的に連結され、アクチュエータと通信するアクチュエータであって、粒子を制御コマンドに基づいて２つ以上の出力経路のうちの１つの出力経路に方向付けるように動作可能な、アクチュエータと、を含み、システムは、撮像システムによる画像取り込みの第１の時間からアクチュエータによる粒子方向付けの第２の時間までの１５ｍｓ以下の時間枠内で粒子の各々を流路内を流れる間に分取するように動作可能である。
【0101】
実施例Ａ２は、実施例Ａ１のシステムを含み、粒子流装置は、マイクロ流体装置またはフローセルの基板上のアクチュエータと一体化されたマイクロ流体装置またはフローセルを含む。
【0102】
実施例Ａ３は、実施例Ａ１のシステムを含み、アクチュエータは、基板に連結され、粒子を２つ以上の出力経路のうちの１つの出力経路への軌道に沿って方向付ける第２の領域内の方向に移動させる偏向を生じさせるように動作可能である圧電アクチュエータを含む。
【0103】
実施例Ａ４は、実施例Ａ１のシステムを含み、撮像システムは、粒子流装置の第１の領域に入力光を提供するための１つ以上の光源と、第１の領域内の入力光によって照射された粒子から画像データを取り込むための光学イメージャとを含む。
【0104】
実施例Ａ５は、実施例Ａ４のシステムを含み、１つ以上の光源は、レーザまたは発光ダイオード（ＬＥＤ）のうちの少なくとも一方を含む。
【0105】
実施例Ａ６は、実施例Ａ４のシステムを含み、光学イメージャは、空間フィルタ、吸収フィルタ、および光電子増倍管に光結合された顕微鏡の対物レンズを含む。
【0106】
実施例Ａ７は、実施例Ａ６のシステムを含み、光学イメージャは、入力光を第１の領域に方向付けるため、粒子によって放出または散乱された光を光学イメージャの光学素子に方向付けるため、またはその両方のために１つ以上の導光素子をさらに含む。
【0107】
実施例Ａ８は、実施例Ａ７のシステムを含み、導光素子は、ダイクロイックミラーを含む。
【0108】
実施例Ａ９は、実施例Ａ６のシステムを含み、光学イメージャは、粒子によって放出または散乱された２つ以上の帯域または種類の光に基づいて２つ以上の対応する信号を生成するための２つ以上の光電子増倍管を含む。
【0109】
実施例Ａ１０は、実施例Ａ１のシステムを含み、データ処理および制御ユニットのプロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、または並列のＦＰＧＡおよびＧＰＵを含む。
【0110】
実施例Ａ１１は、実施例Ａ１のシステムを含み、データ処理および制御ユニットは、粒子流装置上の第１の領域内で撮像された粒子に関連する画像データ（例えば、時間領域信号データを含む）を受信し、画像データを処理して粒子の画像を表す画像データセットを生成し、生成された画像データセットを分析して粒子の１つ以上の特性に関連する１つ以上のパラメータを画像データセットから抽出し、抽出された１つ以上のパラメータと分取基準の１つ以上の閾値との比較に基づいて制御コマンドを決定するように構成されている。
【0111】
実施例Ａ１２は、実施例Ａ１１のシステムを含み、データ処理および制御ユニットは、画像データをフィルタ処理し、フィルタ処理されたデータに基づいて第１の画像を再構成し、再構成された第１の画像をサイズ変更して第２の画像を生成することによって、画像データを処理して画像データセットを生成するように構成され、第２の画像は、二値画像データを含む。
【0112】
実施例Ａ１３は、実施例Ａ１のシステムを含み、粒子は、細胞を含み、細胞に関連する１つ以上の特性は、細胞の特徴もしくは細胞上の特徴の量もしくはサイズ、細胞に付着した１つ以上のサブ粒子、または細胞もしくは細胞の一部分の特定の形態を含む。
【0113】
実施例Ａ１４は、実施例Ａ１のシステムを含み、粒子は、細胞を含み、分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む。
【0114】
実施例Ａ１５は、実施例Ａ１のシステムを含み、粒子は、細胞を含み、細胞に関連する１つ以上の特性は、細胞周期相、細胞によるタンパク質の発現もしくは局在化、細胞に対する損傷、または細胞による物質もしくはサブ粒子の貪食を含む細胞の生理学的特性を含む。
【0115】
本技術によるいくつかの実施形態（実施例Ａ１６）では、粒子の画像ベースの分取方法は、粒子流装置の流路を貫流する粒子の画像信号データを取得することと、画像信号データを処理して粒子の画像を表す画像データセットを生成することと、生成された画像データセットを分析して、処理された画像データから粒子の１つ以上の特性を識別することと、１つ以上の識別された特性を分取基準で評価することによって制御コマンドを生成することと、制御コマンドに基づいて粒子流装置の複数の出力経路のうちの１つに粒子を方向付けることと、を含む。
【0116】
実施例Ａ１７は、実施例Ａ１６の方法を含み、取得する動作、処理する動作、分析する動作、生成する動作、および方向付ける動作は、細胞が流路内を流れる間に１５ｍｓ以下の時間枠内で遂行される。
【0117】
実施例Ａ１８は、実施例Ａ１６の方法を含み、制御コマンドを生成することは、粒子の識別された１つ以上の特性に関連する粒子の処理された画像データから１つ以上のパラメータを抽出することと、画像からの抽出された１つ以上のパラメータと分取基準の１つ以上の閾値とを比較することとを含む。
【0118】
実施例Ａ１９は実施例Ａ１６の方法を含み、画像信号データを処理して画像データセットを生成することは、画像信号データをフィルタ処理することと、フィルタ処理されたデータに基づいて第１の画像を再構成することと、再構成された第１の画像をサイズ変更して第２の画像を生成することとを含み、第２の画像は、二値画像データを含む。
【0119】
実施例Ａ２０は、実施例Ａ１６の方法を含み、画像信号データを処理することは、粒子の画像を表す画像データセットを生成する前に粒子の存在を検出することを含む。
【0120】
実施例Ａ２１は、実施例Ａ２０の方法を含み、粒子の存在を検出することは、画像信号データの信号強度の大きさに関連する輝度値を計算することと、その輝度値を第１の閾値で評価することと、輝度値が第１の閾値を超えたときに微分値を決定することと、微分値が第２の閾値を超えたことを評価することと、微分値が第２の閾値を超えたと判定することとを含む。
【0121】
実施例Ａ２２は、実施例Ａ１６の方法を含み、流路を貫流する粒子は、細胞であり、細胞に関連する１つ以上の特性は、細胞の特徴もしくは細胞上の特徴の量もしくはサイズ、細胞に付着した１つ以上のサブ粒子、または細胞もしくは細胞の一部分の特定の形態を含む。
【0122】
実施例Ａ２３は、実施例Ａ１６の方法を含み、流路を貫流する粒子は、細胞であり、分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む。
【0123】
実施例Ａ２４は、実施例Ａ１６の方法を含み、流路を貫流する粒子は、細胞であり、細胞に関連する１つ以上の特性は、細胞周期相、細胞によるタンパク質の発現もしくは局在化、細胞に対する損傷、または細胞による物質もしくはサブ粒子の貪食を含む細胞の生理学的特性を含む。
【0124】
本技術によるいくつかの実施形態（実施例Ａ２５）では、フローサイトメトリー装置において画像ベースの細胞の分取を得るための方法は、画像を記録することと、記録された画像を分析して細胞が検出されたか否かを判定することと、細胞が検出されたという判定が判定されたとき、画像を処理することと、処理の結果に基づいて、フローサイトメトリー装置内のアクチュエータをトリガするべきかどうかの決定を下すこととを含む。
【0125】
実施例Ａ２６は、実施例Ａ２５の方法を含み、細胞が検出されていないと判定されると、画像の記録を再開すること。
【0126】
実施例Ａ２７は、実施例Ａ２５の方法を含み、細胞が検出されたか否かを判定することは、輝度値を計算することと；輝度値が第１の閾値を超えたか否かを判定することと；輝度値が第１の閾値を超えたという判定がなされると、微分値を決定することと；微分値が第２の閾値を超えたか否かを判定することと；微分値が第２の閾値を超えたという判定がなされると、細胞が検出されたという表示を提供し、輝度値が第１の閾値を超えたまたは微分値が第２の閾値を超えたという判定がなされないと、細胞は検出されなかったという表示を提供するか、または何も表示を提供しないことと、を含む。
【0127】
本技術によるいくつかの実施形態（実施例Ａ２８）では、粒子撮像およびフローシステムは、基板と、基板上に形成された流路であって、粒子を流れ方向に沿って流路の第１の領域に流すように動作可能な流路と；粒子流装置とインターフェース接続し、粒子が流路を貫流する間に第１の領域内にあるときに粒子に関連する画像データを取得するように動作可能である撮像システムと；撮像システムと通信するデータ処理および制御ユニットであって、データ処理および制御ユニットは、撮像システムによって取得された画像データを処理して粒子に関連する１つ以上の特性を判定し、粒子の判定された１つ以上の特性を示すデータを含む分析されたデータセットを生成するように構成された、データ処理および制御ユニットと、を含む。
【0128】
実施例Ａ２９は、実施例Ａ２８のシステムを含み、粒子流装置は、マイクロ流体装置またはフローセルを含む。
【0129】
実施例Ａ３０は、実施例Ａ２８のシステムを含み、撮像システムは、粒子流装置の第１の領域に入力光を提供するための１つ以上の光源と、第１の領域内の入力光によって照射された粒子から画像データを取り込むための光学イメージャとを含む。
【0130】
実施例Ａ３１は、実施例Ａ３０のシステムを含み、１つ以上の光源は、レーザまたは発光ダイオード（ＬＥＤ）のうちの少なくとも一方を含む。
【0131】
実施例Ａ３２は、実施例Ａ３０のシステムを含み、光学イメージャは、空間フィルタ、吸収フィルタ、および光電子増倍管に光結合された顕微鏡の対物レンズを含む。
【0132】
実施例Ａ３３は、実施例Ａ３２のシステムを含み、光学イメージャは、入力光を第１の領域に方向付けるため、粒子によって放出または散乱された光を光学イメージャの光学素子に方向付けるため、またはその両方のために１つ以上の導光素子（例えば、ダイクロイックミラー）をさらに含む。
【0133】
実施例Ａ３４は、実施例Ａ３０のシステムを含み、光学イメージャは、粒子によって放出または散乱された２つ以上の帯域または種類の光に基づいて２つ以上の対応する信号を生成するための２つ以上の光電子増倍管を含む。
【0134】
実施例Ａ３５は、実施例Ａ２８のシステムを含み、データ処理および制御ユニットのプロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、または並列のＦＰＧＡおよびＧＰＵを含む。
【0135】
実施例Ａ３６は、実施例Ａ２８のシステムを含み、データ処理および制御ユニットは、粒子流装置上の第１の領域内で撮像された粒子に関連する画像データ（例えば、時間領域信号データを含む）を受信し、画像データを処理して粒子の画像を表す画像データセットを生成し、生成された画像データセットを分析して粒子の１つ以上の特性に関連する１つ以上のパラメータを画像データセットから抽出するように構成されている。
【0136】
実施例Ａ３７は、実施例Ａ３６のシステムを含み、データ処理および制御ユニットは、画像データをフィルタ処理し、フィルタ処理されたデータに基づいて第１の画像を再構成し、再構成された第１の画像をサイズ変更して第２の画像を生成することによって、画像データを処理して画像データセットを生成するように構成され、第２の画像は、二値画像データを含む。
【0137】
実施例Ａ３８は、実施例Ａ２８のシステムを含み、粒子は、細胞を含み、細胞に関連する１つ以上の特性は、細胞の特徴もしくは細胞上の特徴の量もしくはサイズ、細胞に付着した１つ以上のサブ粒子、または細胞もしくは細胞の一部分の特定の形態を含む。
【0138】
実施例Ａ３９は、実施例Ａ２８のシステムを含み、粒子は、細胞を含み、分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む。
【0139】
実施例Ａ４０は、実施例Ａ２８のシステムを含み、粒子は、細胞を含み、細胞に関連する１つ以上の特性は、細胞周期相、細胞によるタンパク質の発現もしくは局在化、細胞に対する損傷、または細胞による物質もしくはサブ粒子の貪食を含む細胞の生理学的特性を含む。
【0140】
本技術によるいくつかの実施形態（実施例Ｂ１）では、システムは、オンチップ分取アクチュエータと一体化されたマイクロ流体装置と、高速高感度の撮像光学系と、リアルタイム細胞画像処理および分取制御電子システムとを含む。
【0141】
実施例Ｂ２は、実施例Ｂ１のシステムを含み、リアルタイム細胞画像処理および分取制御電子システムは、１つ以上のユーザ定義のゲーティング基準を許容するように構成されている。
【0142】
実施例Ｂ３は、実施例Ｂ１のシステムを含み、１つ以上のユーザ定義のゲーティング基準は、細胞輪郭、細胞サイズ、細胞形状、核のサイズおよび形状、蛍光パターン、または蛍光色分布を含む。
【0143】
本技術によるいくつかの実施形態（実施例Ｂ４）では、フローサイトメトリー装置において画像ベースの細胞の分取を得るための方法は、画像を記録することと、細胞が検出されたか否かを判定することと、細胞が検出されたと判定されると、画像を処理することと、処理の結果に基づいて、フローサイトメトリー装置内のアクチュエータをトリガするべきかどうかの決定を下すこととを含む。
【0144】
実施例Ｂ５は、実施例Ｂ４の方法を含み、細胞が検出されていないと判定されると、画像の記録を再開すること。
【0145】
実施例Ｂ６は、実施例Ｂ４の方法を含み、細胞が検出されたか否かを判定することは、輝度値を計算することと、輝度値が第１の閾値を超えたと判定されると、微分値を計算することと、微分値が第２の閾値を超えたと判定されると、細胞が検出されたという表示を提供することとを含む。
【0146】
実施例Ｂ７は、実施例Ｂ４の方法を含み、これは、ＦＰＧＡまたはＤＳＰのうちの一方で実装される。
【0147】
実施例Ｂ８は、実施例Ｂ１のシステムを含み、リアルタイム細胞画像処理および分取制御電子システムは、ＦＰＧＡで実装される。
【0148】
本技術によるいくつかの実施形態（実施例Ｃ１）では、画像ベースの粒子分取システムは、基板と、基板上に形成された流路であって、細胞を流れ方向に沿って流路の第１の領域に流すように動作可能な流路と、流路内の第１の領域に近接した第２の領域で流路から分岐する２つ以上の出力経路とを含むように構築された粒子流装置と；粒子流装置とインターフェース接続し、細胞が流路を貫流する間に第１の領域内にあるときに細胞に関連する画像データを取得するように動作可能である撮像システムと；撮像システムと通信するデータ処理および制御ユニットであって、データ処理および制御ユニットは、撮像システムによって取得された画像データを処理して処理された画像データから細胞に関連する１つ以上の特性を判定し、判定された１つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含み、制御コマンドは、細胞が流路内を流れる間に生成され、細胞に対応する画像信号データから確認された１つ以上の細胞属性に基づいて決定された分取決定を示す、データ処理および制御ユニットと；粒子流装置に作動的に連結され、アクチュエータと通信するアクチュエータであって、細胞を制御コマンドに基づいて２つ以上の出力経路のうちの１つの出力経路に方向付けるように動作可能な、アクチュエータと、を含み、システムは、撮像システムによる画像取り込みの第１の時間からアクチュエータによる粒子方向付けの第２の時間までの１５ｍｓ以下の時間枠内で細胞の各々を流路内を流れる間に分取するように動作可能である。
【0149】
実施例Ｃ２は、実施例Ｃ１のシステムを含み、粒子流装置は、マイクロ流体装置またはフローセルの基板上のアクチュエータと一体化されたマイクロ流体装置またはフローセルを含む。
【0150】
実施例Ｃ３は、実施例Ｃ１のシステムを含み、アクチュエータは、基板に連結され、細胞を２つ以上の出力経路のうちの１つの出力経路への軌道に沿って方向付ける第２の領域内の方向に移動させる偏向を生じさせるように動作可能である圧電アクチュエータを含む。
【0151】
実施例Ｃ４は、実施例Ｃ１のシステムを含み、撮像システムは、粒子流装置の第１の領域に入力光を提供するための１つ以上の光源と、第１の領域内の入力光によって照射された細胞から画像データを取り込むための光学イメージャとを含む。
【0152】
実施例Ｃ５は、実施例Ｃ４のシステムを含み、１つ以上の光源は、レーザまたは発光ダイオード（ＬＥＤ）のうちの少なくとも一方を含む。
【0153】
実施例Ｃ６は、実施例Ｃ４のシステムを含み、光学イメージャは、空間フィルタ、吸収フィルタ、および光電子増倍管に光結合された顕微鏡の対物レンズを含む。
【0154】
実施例Ｃ７は、実施例Ｃ６のシステムを含み、光学イメージャは、入力光を第１の領域に方向付けるため、細胞によって放出または散乱された光を光学イメージャの光学素子に方向付けるため、またはその両方のために１つ以上の導光素子をさらに含む。
【0155】
実施例Ｃ８は、実施例Ｃ７のシステムを含み、導光素子は、ダイクロイックミラーを含む。
【0156】
実施例Ｃ９は、実施例Ｃ６のシステムを含み、光学イメージャは、細胞によって放出または散乱された２つ以上の帯域または種類の光に基づいて２つ以上の対応する信号を生成するための２つ以上の光電子増倍管を含む。
【0157】
実施例Ｃ１０は、実施例Ｃ１のシステムを含み、データ処理および制御ユニットのプロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、または並列のＦＰＧＡおよびＧＰＵを含む。
【0158】
実施例Ｃ１１は、実施例Ｃ１のシステムを含み、データ処理および制御ユニットは、粒子流装置上の第１の領域内で撮像された細胞に関連する時間領域信号データを含む画像データを受信し、画像データを処理して細胞の画像を表す画像データセットを生成し、生成された画像データセットを分析して細胞の１つ以上の特性に関連する１つ以上のパラメータを画像データセットから抽出し、抽出された１つ以上のパラメータと分取基準の１つ以上の閾値との比較に基づいて制御コマンドを決定するように構成されている。
【0159】
実施例Ｃ１２は、実施例Ｃ１１のシステムを含み、データ処理および制御ユニットは、画像データをフィルタ処理し、フィルタ処理されたデータに基づいて第１の画像を再構成し、再構成された第１の画像をサイズ変更して第２の画像を生成することによって、画像データを処理して画像データセットを生成するように構成され、第２の画像は、二値画像データを含む。
【0160】
実施例Ｃ１３は、実施例Ｃ１のシステムを含み、細胞に関連する１つ以上の特性は、細胞の特徴もしくは細胞上の特徴の量もしくはサイズ、細胞に付着した１つ以上の粒子、または細胞もしくは細胞の一部分の特定の形態のうちの１つ以上を含む。
【0161】
実施例Ｃ１４は、実施例Ｃ１のシステムを含み、分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む。
【0162】
実施例Ｃ１５は、実施例Ｃ１のシステムを含み、細胞に関連する１つ以上の特性は、細胞周期相、細胞によるタンパク質の発現もしくは局在化、細胞による遺伝子の発現もしくは局在化、細胞に対する損傷、または細胞による物質もしくは粒子の貪食を含む細胞の生理学的特性を含む。
【0163】
実施例Ｃ１６は、実施例Ｃ１５のシステムを含み、判定された細胞に対する損傷は、ＤＮＡ損傷を含む。
【0164】
本技術によるいくつかの実施形態（実施例Ｃ１７）では、画像ベースの粒子分取方法は、粒子流装置の流路を貫流する細胞の画像信号データを取得することと、画像信号データを処理して細胞の画像を表す画像データセットを生成することと、生成された画像データセットを分析して、処理された画像データから細胞の１つ以上の特性を識別することと、細胞の１つ以上の識別された特性を分取基準で評価して、粒子流装置内の細胞流の間の細胞に対応する画像信号データから確認された１つ以上の細胞属性に基づいて細胞を分取する制御コマンドを生成することと、制御コマンドに基づいて粒子流装置の複数の出力経路のうちの１つに細胞を方向付けることと、を含む。
【0165】
実施例Ｃ１８は、実施例Ｃ１７の方法を含み、取得する動作、処理する動作、分析する動作、生成する動作、および方向付ける動作は、細胞が流路内を流れる間に１５ｍｓ以下の時間枠内で遂行される。
【0166】
実施例Ｃ１９は、実施例Ｃ１７の方法を含み、制御コマンドを生成することは、細胞の識別された１つ以上の特性に関連する細胞の処理された画像データから１つ以上のパラメータを抽出することと、画像からの抽出された１つ以上のパラメータと分取基準の１つ以上の閾値とを比較することとを含む。
【0167】
実施例Ｃ２０は、実施例Ｃ１７の方法を含み、画像信号データを処理して画像データセットを生成することは、画像信号データをフィルタ処理することと、フィルタ処理されたデータに基づいて第１の画像を再構成することと、再構成された第１の画像をサイズ変更して第２の画像を生成することとを含み、第２の画像は、二値画像データを含む。
【0168】
実施例Ｃ２１は、実施例Ｃ１７の方法を含み、画像信号データを処理することは、細胞の画像を表す画像データセットを生成する前に細胞の存在を検出することを含む。
【0169】
実施例Ｃ２２は、実施例Ｃ２１の方法を含み、細胞の存在を検出することは、画像信号データの信号強度の大きさに関連する輝度値を計算することと、その輝度値を第１の閾値で評価することと、輝度値が第１の閾値を超えたときに微分値を決定することと、微分値が第２の閾値を超えたことを評価することと、微分値が第２の閾値を超えたと判定することとを含む。
【0170】
実施例Ｃ２３は、実施例Ｃ１７の方法を含み、細胞に関連する１つ以上の特性は、細胞の特徴もしくは細胞上の特徴の量もしくはサイズ、細胞に付着した１つ以上の粒子、または細胞もしくは細胞の一部分の特定の形態のうちの１つ以上を含む。
【0171】
実施例Ｃ２４は、実施例Ｃ１７の方法を含み、分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む。
【0172】
実施例Ｃ２５は、実施例Ｃ１７の方法を含み、細胞に関連する１つ以上の特性は、細胞周期相、細胞によるタンパク質の発現もしくは局在化、細胞による遺伝子の発現もしくは局在化、細胞に対する損傷、または細胞による物質もしくは粒子の貪食を含む細胞の生理学的特性を含む。
【0173】
実施例Ｃ２６は、実施例Ｃ２５の方法を含み、判定された細胞に対する損傷は、ＤＮＡ損傷を含む。
【0174】
本特許文書に記載の主題および機能動作の実装は、本明細書に開示された構造およびその構造上の均等物を含む、様々なシステム、デジタル電子回路、もしくはコンピュータソフトウェア、ファームウェア、もしくはハードウェア、またはそれらの１つ以上の組み合わせで実装することができる。本明細書に記載の主題の実装は、データ処理装置によって実行するためまたはデータ処理装置の動作を制御するための、１つ以上のコンピュータプログラム製品、すなわち有形の非一時的コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝搬信号を成し遂げる材料の組成物、またはそれらの１つ以上の組合せとすることができる。「データ処理ユニット」または「データ処理装置」という用語は、例としてプログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、当該コンピュータプログラムの実行環境を作り出すコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの１つ以上の組み合わせを構成するコードを含むことができる。
【0175】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイル言語またはインタープリター言語を含む任意の形式のプログラミング言語で書くことができ、スタンドアローンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に好適な他の単位としてを含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に記憶された１つ以上のスクリプト）に、当該プログラム専用の単一ファイルに、または複数の連動ファイル（例えば１つ以上のモジュール、サブプログラム、もしくはコードの一部を記憶するファイル）に、記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトに位置するかもしくは複数のサイトにわたって分散し、通信ネットワークによって相互接続されている複数のコンピュータ上で実行されるように展開することができる。
【0176】
本明細書に記載のプロセスおよび論理フローは、入力データを操作して出力を生成することによって機能を実行する１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって遂行することができる。プロセスおよび論理フローは、特殊目的論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって遂行することもでき、装置は、特殊目的論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）として実装することもできる。
【0177】
コンピュータプログラムの実行に好適なプロセッサとしては、例として、汎用および特殊目的の両方のマイクロプロセッサ、ならびに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサが挙げられる。一般に、プロセッサは、読み出し専用メモリ、ランダムアクセスメモリ、またはその両方から命令およびデータを受け取る。コンピュータの本質的な要素は、命令を遂行するためのプロセッサと、命令およびデータを記憶するための１つ以上のメモリデバイスである。一般に、コンピュータは、データを記憶するための１つ以上の大容量記憶装置、例えば磁気、光磁気ディスク、もしくは光ディスクを含むか、またはそれらからデータを受信し、もしくはそれらにデータを送信し、もしくはその両方を行うように作動的に連結される。しかしながら、コンピュータは、このような装置を有する必要はない。コンピュータプログラムの命令およびデータを記憶するのに好適なコンピュータ可読媒体としては、例として半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスが挙げられる。プロセッサおよびメモリは、特殊目的論理回路によって補完するか、またはその中に組み込むことができる。
【0178】
本明細書は、図面と共に、例示と見なされることを意図しており、例示とは例を意味する。本明細書で使用されるとき、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明らかにそうでないことを示さない限り、複数形も含むことを意図する。さらに、文脈が明らかにそうでないことを示さない限り、「または」の使用は「および／または」を含むことを意図する。
【0179】
本特許文書は多くの詳細を含んでいるが、これらは、いかなる発明の範囲または特許請求の対象に対する限定として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。本特許文書に別々の実施形態の文脈で記載されている特定の特徴は、単一実施形態で組み合わせて実装することもできる。逆に、単一実施形態の文脈で記載されている様々な特徴は、複数の実施形態で別々に、または任意の好適なサブ組み合わせで、実装することもできる。さらに、特徴は特定の組み合わせで作用するものとして上記で説明され、最初はそのようなものとして請求されるかもしれないが、場合によっては請求する組み合わせから１つ以上の特徴を削除することができ、請求する組み合わせは、サブ組み合わせまたはサブ組み合わせの変形に関してもよい。
【0180】
同様に、動作は図面に特定の順序で描かれているが、このことは、望ましい結果を達成するためには、そのような動作が示された特定の順序または順番で遂行されること、または全ての例示された動作が遂行されることが必要であるとして理解されるべきではない。さらに、本特許文書に記載の実施形態中の様々なシステム構成要素の分離は、全ての実施形態においてそのような分離が必要であるとして理解されるべきではない。
【0181】
本明細書に記載の様々な実施形態は、方法またはプロセスの一般的な文脈で説明されており、一実施形態では、コンピュータ可読媒体内に具現化された、ネットワーク環境内のコンピュータによって実行されるプログラムコードなどのコンピュータ実行可能命令を含むコンピュータプログラム製品によって実装されてもよい。コンピュータ可読媒体としては、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスクなどを含むがこれらに限定されない、取り外し可能および取り外し不能な記憶装置が挙げられる。したがって、本出願に記載のコンピュータ可読媒体は、非一時的記憶媒体を含む。一般に、プログラムモジュールは、特定のタスクを遂行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み得る。コンピュータ実行可能命令、関連するデータ構造、およびプログラムモジュールは、本明細書に開示した方法のステップを実行するためのプログラムコードの例を表す。このような実行可能命令または関連するデータ構造の特定のシーケンスは、そのようなステップまたはプロセスに記載の機能を実装するための対応する行為の例を表す。
【0182】
例えば、開示した実施形態の一態様は、非一時的コンピュータ可読媒体上に具現化されたコンピュータプログラム製品に関する。コンピュータプログラム製品は、開示した実施形態の動作のうちのいずれか１つおよび／または全てを行うためのプログラムコードを含む。
【0183】
いくつかの実装および実施例のみが説明されており、本特許文書で説明および例示したことに基づいて他の実装、拡張、および変形を行うことができる。
本発明は、以下の項目を提供する。
（項目１）
画像ベースの粒子分取システムであって、
基板と、前記基板上に形成された流路であって、細胞を流れ方向に沿って前記流路の第１の領域に流すように動作可能な流路と、前記流路内の前記第１の領域に近接した第２の領域で前記流路から分岐する２つ以上の出力経路とを含むように構築された粒子流装置と、
前記粒子流装置とインターフェース接続し、細胞が前記流路を貫流する間に前記第１の領域内にあるときに前記細胞に関連する画像データを取得するように動作可能である撮像システムと、
前記撮像システムと通信するデータ処理および制御ユニットであって、前記データ処理および制御ユニットは、前記撮像システムによって取得された前記画像データを処理して前記処理された画像データから前記細胞に関連する１つ以上の特性を判定し、前記判定された１つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含み、前記制御コマンドは、前記細胞が前記流路内を流れる間に生成され、前記細胞に対応する画像信号データから確認された１つ以上の細胞属性に基づいて決定された分取決定を示す、データ処理および制御ユニットと、
前記粒子流装置に作動的に連結され、前記アクチュエータと通信するアクチュエータであって、前記細胞を前記制御コマンドに基づいて前記２つ以上の出力経路のうちの１つの出力経路に方向付けるように動作可能な、アクチュエータと、を備え、
前記システムは、前記撮像システムによる画像取り込みの第１の時間から前記アクチュエータによる粒子方向付けの第２の時間までの１５ｍｓ以下の時間枠内で前記細胞の各々を、前記流路内を流れる間に分取するように動作可能である、システム。
（項目２）
前記粒子流装置は、マイクロ流体装置またはフローセルを含み、前記マイクロ流体装置またはフローセルが、前記マイクロ流体装置または前記フローセルの基板上の前記アクチュエータと一体化されている、項目１に記載のシステム。
（項目３）
前記アクチュエータは、前記基板に連結され、前記細胞を前記２つ以上の出力経路のうちの前記１つの出力経路への軌道に沿って方向付ける前記第２の領域内の方向に前記細胞を移動させる偏向を生じさせるように動作可能である圧電アクチュエータを含む、項目１に記載のシステム。
（項目４）
前記撮像システムは、前記粒子流装置の前記第１の領域に入力光を提供するための１つ以上の光源と、前記第１の領域内の前記入力光によって照射された前記細胞から前記画像データを取り込むための光学イメージャとを含む、項目１に記載のシステム。
（項目５）
前記１つ以上の光源は、レーザまたは発光ダイオード（ＬＥＤ）のうちの少なくとも一方を含む、項目４に記載のシステム。
（項目６）
前記光学イメージャは、空間フィルタ、吸収フィルタ、および光電子増倍管に光結合された顕微鏡の対物レンズを含む、項目４に記載のシステム。
（項目７）
前記光学イメージャは、前記入力光を前記第１の領域に方向付けるため、前記細胞によって放出または散乱された光を前記光学イメージャの光学素子に方向付けるため、またはその両方のために１つ以上の導光素子をさらに含む、項目６に記載のシステム。
（項目８）
前記導光素子はダイクロイックミラーを含む、項目７に記載のシステム。
（項目９）
前記光学イメージャは、前記細胞によって放出または散乱された２つ以上の帯域または種類の光に基づいて２つ以上の対応する信号を生成するための２つ以上の光電子増倍管を含む、項目６に記載のシステム。
（項目１０）
前記データ処理および制御ユニットの前記プロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、または並列のＦＰＧＡおよびＧＰＵを含む、項目１に記載のシステム。
（項目１１）
前記データ処理および制御ユニットは、前記粒子流装置上の前記第１の領域内で撮像された前記細胞に関連する時間領域信号データを含む前記画像データを受信し、前記画像データを処理して前記細胞の画像を表す画像データセットを生成し、前記生成された画像データセットを分析して前記細胞に関連する前記１つ以上の特性に関連する１つ以上のパラメータを前記画像データセットから抽出し、前記抽出された１つ以上のパラメータと前記分取基準の１つ以上の閾値との比較に基づいて前記制御コマンドを決定するように構成されている、項目１に記載のシステム。
（項目１２）
前記データ処理および制御ユニットは、前記画像データをフィルタ処理し、前記フィルタ処理されたデータに基づいて第１の画像を再構成し、前記再構成された第１の画像をサイズ変更して第２の画像を生成することによって、前記画像データを処理して前記画像データセットを生成するように構成され、前記第２の画像は、二値画像データを含む、項目１１に記載のシステム。
（項目１３）
前記細胞に関連する前記１つ以上の特性は、前記細胞の特徴もしくは前記細胞上の特徴の量もしくはサイズ、前記細胞に付着した１つ以上の粒子、または前記細胞もしくは前記細胞の一部分の特定の形態のうちの１つ以上を含む、項目１に記載のシステム。
（項目１４）
前記分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む、項目１に記載のシステム。
（項目１５）
前記細胞に関連する前記１つ以上の特性は、細胞周期相、前記細胞によるタンパク質の発現もしくは局在化、前記細胞による遺伝子の発現もしくは局在化、前記細胞に対する損傷、または前記細胞による物質もしくは粒子の貪食を含む前記細胞の生理学的特性を含む、項目１に記載のシステム。
（項目１６）
前記判定された前記細胞に対する損傷はＤＮＡ損傷を含む、項目１５に記載のシステム。
（項目１７）
画像ベースの粒子分取方法であって、
粒子流装置の流路を貫流する細胞の画像信号データを取得することと、
前記画像信号データを処理して前記細胞の画像を表す画像データセットを生成することと、
前記生成された画像データセットを分析して、前記処理された画像データから前記細胞の１つ以上の特性を識別することと、
前記細胞の前記１つ以上の識別された特性を分取基準で評価して、前記粒子流装置内の細胞流の間の前記細胞に対応する前記画像信号データから確認された１つ以上の細胞属性に基づいて前記細胞を分取する制御コマンドを生成することと、
前記制御コマンドに基づいて前記粒子流装置の複数の出力経路のうちの１つに前記細胞を方向付けることと、を含む、方法。
（項目１８）
前記取得する動作、前記処理する動作、前記分析する動作、前記生成する動作、および前記方向付ける動作は、前記細胞が前記流路内を流れる間に１５ｍｓ以下の時間枠内で遂行される、項目１７に記載の方法。
（項目１９）
前記制御コマンドを生成することは、前記細胞の前記識別された１つ以上の特性に関連する前記細胞の前記処理された画像データから１つ以上のパラメータを抽出することと、前記画像から抽出された前記１つ以上のパラメータと前記分取基準の前記１つ以上の閾値とを比較することとを含む、項目１７に記載の方法。
（項目２０）
前記画像信号データを処理して前記画像データセットを生成することは、
前記画像信号データをフィルタ処理することと、
前記フィルタリングされたデータに基づいて第１の画像を再構成することと、
前記再構成された第１の画像をサイズ変更して第２の画像を生成することと、を含み、前記第２の画像が二値画像データを含む、項目１７に記載の方法。
（項目２１）
前記画像信号データを処理することは、前記細胞の前記画像を表す前記画像データセットを生成する前に前記細胞の存在を検出することを含む、項目１７に記載の方法。
（項目２２）
前記細胞の存在を検出することは、
前記画像信号データの信号強度の大きさに関連する輝度値を計算することと、
前記輝度値を第１の閾値で評価することと、
前記輝度値が前記第１の閾値を超えたときに微分値を決定することと、
前記微分値が第２の閾値を超えたことを評価することと、
前記微分値が前記第２の閾値を超えたと判定することと、を含む、項目２１に記載の方法。
（項目２３）
前記細胞に関連する前記１つ以上の特性は、前記細胞の特徴もしくは前記細胞上の特徴の量もしくはサイズ、前記細胞に付着した１つ以上の粒子、または前記細胞もしくは前記細胞の一部分の特定の形態のうちの１つ以上を含む、項目１７に記載の方法。
（項目２４）
前記分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む、項目１７に記載の方法。
（項目２５）
前記細胞に関連する前記１つ以上の特性は、細胞周期相、前記細胞によるタンパク質の発現もしくは局在化、前記細胞による遺伝子の発現もしくは局在化、前記細胞に対する損傷、または前記細胞による物質もしくは粒子の貪食を含む前記細胞の生理学的特性を含む、項目１７に記載の方法。
（項目２６）
前記判定された前記細胞に対する損傷はＤＮＡ損傷を含む、項目２５に記載の方法。
本発明は、以下の項目を提供する。
（項目１）
画像ベースの粒子分取システムであって、
基板と、前記基板上に形成された流路であって、細胞を流れ方向に沿って前記流路の第１の領域に流すように動作可能な流路と、前記流路内の前記第１の領域に近接した第２の領域で前記流路から分岐する２つ以上の出力経路とを含むように構築された粒子流装置と、
前記粒子流装置とインターフェース接続し、細胞が前記流路を貫流する間に前記第１の領域内にあるときに前記細胞に関連する画像データを取得するように動作可能である撮像システムと、
前記撮像システムと通信するデータ処理および制御ユニットであって、前記データ処理および制御ユニットは、前記撮像システムによって取得された前記画像データを処理して前記処理された画像データから前記細胞に関連する１つ以上の特性を判定し、前記判定された１つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含み、前記制御コマンドは、前記細胞が前記流路内を流れる間に生成され、前記細胞に対応する画像信号データから確認された１つ以上の細胞属性に基づいて決定された分取決定を示す、データ処理および制御ユニットと、
前記粒子流装置に作動的に連結され、前記アクチュエータと通信するアクチュエータであって、前記細胞を前記制御コマンドに基づいて前記２つ以上の出力経路のうちの１つの出力経路に方向付けるように動作可能な、アクチュエータと、を備え、
前記システムは、前記撮像システムによる画像取り込みの第１の時間から前記アクチュエータによる粒子方向付けの第２の時間までの１５ｍｓ以下の時間枠内で前記細胞の各々を、前記流路内を流れる間に分取するように動作可能である、システム。
（項目２）
前記粒子流装置は、マイクロ流体装置またはフローセルを含み、前記マイクロ流体装置またはフローセルが、前記マイクロ流体装置または前記フローセルの基板上の前記アクチュエータと一体化されている、項目１に記載のシステム。
（項目３）
前記アクチュエータは、前記基板に連結され、前記細胞を前記２つ以上の出力経路のうちの前記１つの出力経路への軌道に沿って方向付ける前記第２の領域内の方向に前記細胞を移動させる偏向を生じさせるように動作可能である圧電アクチュエータを含む、項目１に記載のシステム。
（項目４）
前記撮像システムは、前記粒子流装置の前記第１の領域に入力光を提供するための１つ以上の光源と、前記第１の領域内の前記入力光によって照射された前記細胞から前記画像データを取り込むための光学イメージャとを含む、項目１に記載のシステム。
（項目５）
前記１つ以上の光源は、レーザまたは発光ダイオード（ＬＥＤ）のうちの少なくとも一方を含む、項目４に記載のシステム。
（項目６）
前記光学イメージャは、空間フィルタ、吸収フィルタ、および光電子増倍管に光結合された顕微鏡の対物レンズを含む、項目４に記載のシステム。
（項目７）
前記光学イメージャは、前記入力光を前記第１の領域に方向付けるため、前記細胞によって放出または散乱された光を前記光学イメージャの光学素子に方向付けるため、またはその両方のために１つ以上の導光素子をさらに含む、項目６に記載のシステム。
（項目８）
前記導光素子はダイクロイックミラーを含む、項目７に記載のシステム。
（項目９）
前記光学イメージャは、前記細胞によって放出または散乱された２つ以上の帯域または種類の光に基づいて２つ以上の対応する信号を生成するための２つ以上の光電子増倍管を含む、項目６に記載のシステム。
（項目１０）
前記データ処理および制御ユニットの前記プロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、または並列のＦＰＧＡおよびＧＰＵを含む、項目１に記載のシステム。
（項目１１）
前記データ処理および制御ユニットは、前記粒子流装置上の前記第１の領域内で撮像された前記細胞に関連する時間領域信号データを含む前記画像データを受信し、前記画像データを処理して前記細胞の画像を表す画像データセットを生成し、前記生成された画像データセットを分析して前記細胞に関連する前記１つ以上の特性に関連する１つ以上のパラメータを前記画像データセットから抽出し、前記抽出された１つ以上のパラメータと前記分取基準の１つ以上の閾値との比較に基づいて前記制御コマンドを決定するように構成されている、項目１に記載のシステム。
（項目１２）
前記データ処理および制御ユニットは、前記画像データをフィルタ処理し、前記フィルタ処理されたデータに基づいて第１の画像を再構成し、前記再構成された第１の画像をサイズ変更して第２の画像を生成することによって、前記画像データを処理して前記画像データセットを生成するように構成され、前記第２の画像は、二値画像データを含む、項目１１に記載のシステム。
（項目１３）
前記細胞に関連する前記１つ以上の特性は、前記細胞の特徴もしくは前記細胞上の特徴の量もしくはサイズ、前記細胞に付着した１つ以上の粒子、または前記細胞もしくは前記細胞の一部分の特定の形態のうちの１つ以上を含む、項目１に記載のシステム。
（項目１４）
前記分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む、項目１に記載のシステム。
（項目１５）
前記細胞に関連する前記１つ以上の特性は、細胞周期相、前記細胞によるタンパク質の発現もしくは局在化、前記細胞による遺伝子の発現もしくは局在化、前記細胞に対する損傷、または前記細胞による物質もしくは粒子の貪食を含む前記細胞の生理学的特性を含む、項目１に記載のシステム。
（項目１６）
前記判定された前記細胞に対する損傷はＤＮＡ損傷を含む、項目１５に記載のシステム。
（項目１７）
画像ベースの粒子分取方法であって、
粒子流装置の流路を貫流する細胞の画像信号データを取得することと、
前記画像信号データを処理して前記細胞の画像を表す画像データセットを生成することと、
前記生成された画像データセットを分析して、前記処理された画像データから前記細胞の１つ以上の特性を識別することと、
前記細胞の前記１つ以上の識別された特性を分取基準で評価して、前記粒子流装置内の細胞流の間の前記細胞に対応する前記画像信号データから確認された１つ以上の細胞属性に基づいて前記細胞を分取する制御コマンドを生成することと、
前記制御コマンドに基づいて前記粒子流装置の複数の出力経路のうちの１つに前記細胞を方向付けることと、を含む、方法。
（項目１８）
前記取得する動作、前記処理する動作、前記分析する動作、前記生成する動作、および前記方向付ける動作は、前記細胞が前記流路内を流れる間に１５ｍｓ以下の時間枠内で遂行される、項目１７に記載の方法。
（項目１９）
前記制御コマンドを生成することは、前記細胞の前記識別された１つ以上の特性に関連する前記細胞の前記処理された画像データから１つ以上のパラメータを抽出することと、前記画像から抽出された前記１つ以上のパラメータと前記分取基準の前記１つ以上の閾値とを比較することとを含む、項目１７に記載の方法。
（項目２０）
前記画像信号データを処理して前記画像データセットを生成することは、
前記画像信号データをフィルタ処理することと、
前記フィルタリングされたデータに基づいて第１の画像を再構成することと、
前記再構成された第１の画像をサイズ変更して第２の画像を生成することと、を含み、前記第２の画像が二値画像データを含む、項目１７に記載の方法。
（項目２１）
前記画像信号データを処理することは、前記細胞の前記画像を表す前記画像データセットを生成する前に前記細胞の存在を検出することを含む、項目１７に記載の方法。
（項目２２）
前記細胞の存在を検出することは、
前記画像信号データの信号強度の大きさに関連する輝度値を計算することと、
前記輝度値を第１の閾値で評価することと、
前記輝度値が前記第１の閾値を超えたときに微分値を決定することと、
前記微分値が第２の閾値を超えたことを評価することと、
前記微分値が前記第２の閾値を超えたと判定することと、を含む、項目２１に記載の方法。
（項目２３）
前記細胞に関連する前記１つ以上の特性は、前記細胞の特徴もしくは前記細胞上の特徴の量もしくはサイズ、前記細胞に付着した１つ以上の粒子、または前記細胞もしくは前記細胞の一部分の特定の形態のうちの１つ以上を含む、項目１７に記載の方法。
（項目２４）
前記分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む、項目１７に記載の方法。
（項目２５）
前記細胞に関連する前記１つ以上の特性は、細胞周期相、前記細胞によるタンパク質の発現もしくは局在化、前記細胞による遺伝子の発現もしくは局在化、前記細胞に対する損傷、または前記細胞による物質もしくは粒子の貪食を含む前記細胞の生理学的特性を含む、項目１７に記載の方法。
（項目２６）
前記判定された前記細胞に対する損傷はＤＮＡ損傷を含む、項目２５に記載の方法。
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14A】
【図14B】
【図15】
【図16A】
【図16B】
【図17A】
【図17B】
【図18】
【図19A】
【図19B】
【図20】
【図21】
【図22】
