特表 2025-501490 粒子分類のための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-22

(54)【発明の名称】粒子分類のための方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250115BHJP

   G06V 10/82 20220101ALI20250115BHJP

   G06V 20/69 20220101ALI20250115BHJP

   G06N 3/0464 20230101ALI20250115BHJP

   G06N 20/00 20190101ALI20250115BHJP

   G01N 15/1433 20240101ALI20250115BHJP

   G01N 21/17 20060101ALI20250115BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06V20/69

G06N3/0464

G06N20/00

G01N15/1433

G01N21/17 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024535397

(86)(22)【出願日】2022-12-13

(85)【翻訳文提出日】2024-06-13

(86)【国際出願番号】 US2022081461

(87)【国際公開番号】W WO2023114776

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】63/289,489

(32)【優先日】2021-12-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/341,775

(32)【優先日】2022-05-13

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】597160510

【氏名又は名称】リジェネロン・ファーマシューティカルズ・インコーポレイテッド

【氏名又は名称原語表記】ＲＥＧＥＮＥＲＯＮ ＰＨＡＲＭＡＣＥＵＴＩＣＡＬＳ， ＩＮＣ．

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】ナガルカッティ、アスラム

(72)【発明者】

【氏名】ラヴィ、シヴァ ナヴィーン

(72)【発明者】

【氏名】プラディープ、カウシク クリシュナ

(72)【発明者】

【氏名】フー、チンイェン

(72)【発明者】

【氏名】エルナンデス、マルコ

【テーマコード（参考）】

2G059

5L096

【Ｆターム（参考）】

2G059AA05

2G059BB09

2G059CC16

2G059FF01

2G059FF03

2G059HH01

2G059KK04

2G059MM01

2G059MM02

5L096AA06

5L096BA06

5L096BA18

5L096CA04

5L096DA01

5L096EA35

5L096FA19

5L096FA69

5L096HA11

5L096KA04

5L096MA07

(57)【要約】

粒子分類のための方法及びシステムが本明細書に提供される。医薬品、薬剤、薬物などの流体／試料の複数の画像が、１つ以上の機械学習モデルを使用して分析され得る。１つ以上の機械学習モデルは、例えば、畳み込みニューラルネットワークを含み得る。１つ以上の機械学習モデルは、各画像内の１つ以上のサブビジブル粒子を識別及び分類し得る。１つ以上の１つ以上のサブビジブル粒子は、例えば、細胞、病原体、タンパク質凝集体、シリコンオイル液滴、繊維、気泡、ガラス粒子、それらの組み合わせ、及び／又は同様のものを含み得る。
【選択図】図１

【特許請求の範囲】

【請求項1】

方法であって、
コンピューティングデバイスによって、複数の入力画像を含む訓練データを受信することであって、前記複数の入力画像の各入力画像が、少なくとも１つのサブビジブル粒子（ＳＶＰ）を含む、受信することと、
前記複数の入力画像に基づいて、複数の訓練画像を生成することであって、前記複数の訓練画像の各訓練画像が、少なくとも１つのＳＶＰを含む、生成することと、
前記複数の訓練画像に基づいて、畳み込みニューラルネットワーク（ＣＮＮ）を訓練することと、を含み、訓練された前記ＣＮＮが、１つ以上の試験画像において１つ以上のＳＶＰを、第１のＳＶＰタイプ又は第２のＳＶＰタイプを含むものとして分類するように構成されている、方法。

【請求項2】

前記複数の入力画像が、医薬品に関連付けられた複数のフローイメージング顕微鏡画像を含む、請求項１に記載の方法。

【請求項3】

前記訓練データが、前記複数の入力画像に関連付けられた画像メタデータを含み、前記画像メタデータが、前記複数の入力画像の各入力画像における前記少なくとも１つのＳＶＰの場所を示す、請求項１に記載の方法。

【請求項4】

前記少なくとも１つのＳＶＰが、タンパク質粒子、シリコン粒子、繊維粒子、気泡、ガラス粒子、又は他の既知の粒子タイプを含むか、
前記少なくとも１つのＳＶＰが、１．１２５～１３０マイクロメートルの範囲の等価円形直径を含むか、
前記複数の訓練画像の各訓練画像が、少なくとも６４×６４ピクセルのサイズを含むか、
前記第１のＳＶＰタイプが、タンパク質を含むか、又は
前記第２のＳＶＰタイプが、シリコンを含む、のうちの少なくとも１つである、請求項１に記載の方法。

【請求項5】

前記訓練されたＣＮＮが、少なくとも３つの隠れ層を含む、請求項１に記載の方法。

【請求項6】

前記少なくとも３つの隠れ層の各隠れ層が、少なくとも３×３ピクセルのサイズを含む少なくとも１つのフィルタを含む、請求項５に記載の方法。

【請求項7】

前記ＣＮＮを訓練することが、複数のハイパーパラメータを判定することを更に含み、前記複数のハイパーパラメータが、６４～２５６の範囲のバッチサイズ、又は５％～５０％の範囲のドロップアウト率のうちの１つ以上を含む、請求項１に記載の方法。

【請求項8】

前記ＣＮＮを訓練することが、活性化関数を判定することを更に含み、前記活性化関数が、整流された線形単位活性化関数又は双曲線正接活性化関数を含む、請求項１に記載の方法。

【請求項9】

方法であって、
コンピューティングデバイスによって、少なくとも１つのサブビジブル粒子（ＳＶＰ）を含む少なくとも１つの入力画像を受信することと、
前記少なくとも１つの入力画像に基づいて、少なくとも１つの前処理された画像を生成することと、
訓練された畳み込みニューラルネットワーク（ＣＮＮ）によって、前記少なくとも１つの前処理された画像に基づいて、前記少なくとも１つのＳＶＰの分類を判定することと、
前記訓練されたＣＮＮによって、前記少なくとも１つのＳＶＰの前記分類の表示を出力することと、を含む、方法。

【請求項10】

前記少なくとも１つの入力画像が、医薬品に関連付けられた少なくとも１つのフローイメージング顕微鏡画像を含む、請求項９に記載の方法。

【請求項11】

前記少なくとも１つの入力画像に関連付けられた画像メタデータを受信することを更に含み、前記画像メタデータが、前記少なくとも１つのＳＶＰの場所を示す、請求項９に記載の方法。

【請求項12】

前記少なくとも１つの前処理された画像を生成することが、
前記少なくとも１つの入力画像を少なくとも６４×６４ピクセルにサイズ変更すること、又は
少なくとも１つのセグメンテーションアルゴリズムに基づいて、前記少なくとも１つのＳＶＰの場所を判定すること、のうちの少なくとも１つを含む、請求項９に記載の方法。

【請求項13】

前記訓練されたＣＮＮが、少なくとも３つの隠れ層を含み、前記少なくとも３つの隠れ層の各隠れ層が、少なくとも３×３ピクセルのサイズを含む少なくとも１つのフィルタを含む、請求項９に記載の方法。

【請求項14】

前記訓練されたＣＮＮが、複数のハイパーパラメータを含み、前記複数のハイパーパラメータが、６４～２５６の範囲のバッチサイズ、又は５％～５０％の範囲のドロップアウト率のうちの１つ以上を含む、請求項９に記載の方法。

【請求項15】

前記訓練されたＣＮＮが、活性化関数を含み、前記活性化関数が、整流された線形単位活性化関数又は双曲線正接活性化関数を含む、請求項９に記載の方法。

【請求項16】

方法であって、
コンピューティングデバイスによって、複数のサブビジブル粒子（ＳＶＰ）を含む少なくとも１つの入力画像を受信することと、
前記少なくとも１つの入力画像に基づいて、複数の前処理された画像を生成することであって、前記複数の前処理された画像の各前処理された画像が、前記複数のＳＶＰのうちの１つを含む、生成することと、
訓練された畳み込みニューラルネットワーク（ＣＮＮ）によって、前記複数の前処理された画像に基づいて、前記複数のＳＶＰの各ＳＶＰの分類を判定することと、
前記訓練されたＣＮＮによって、前記複数のＳＶＰの各ＳＶＰの前記分類の表示を出力することと、を含む、方法。

【請求項17】

少なくとも１つのセグメンテーションアルゴリズムに基づいて、前記複数のＳＶＰの各ＳＶＰの場所を判定することを更に含む、請求項１６に記載の方法。

【請求項18】

前記少なくとも１つの入力画像が、医薬品に関連付けられた少なくとも１つのフローイメージング顕微鏡画像を含む、請求項１６に記載の方法。

【請求項19】

画像メタデータが、前記少なくとも１つのフローイメージング顕微鏡画像に関連付けられたメタデータを含む、請求項１８に記載の方法。

【請求項20】

前記複数のＳＶＰが、タンパク質粒子、シリコン粒子、繊維粒子、気泡、又はガラス粒子を含むか、
前記複数のＳＶＰの各ＳＶＰが、１．１２５～１３０マイクロメートルの範囲の等価円形直径を含むか、又は
前記ＣＮＮが、各々が少なくとも６４×６４ピクセルのサイズを含む訓練画像を使用して訓練される、のうちの少なくとも１つである、請求項１６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１２月１４日出願の米国仮特許出願第６３／２８９，４８９号、及び２０２２年５月１３日出願の米国仮特許出願第６３／３４１，７７５号、に対する優先権を主張するものであり、これらはいずれも、参照することによりその全体が本明細書に組み込まれる。

【背景技術】

【0002】

医薬品中のサブビジブル粒子（ＳＶＰ）のモニタリングは、ある特定のＳＶＰタイプの免疫原性のために重要である。ある特定のＳＶＰは、数千から数百万の分子の凝集体を表し得るため、医薬品中のＳＶＰの存在は、臨床性能並びに患者の安全性に悪影響を及ぼし得る。既存の方法及びシステムは、医薬品におけるＳＶＰのある特定のタイプ及びサイズを効率的に識別しない。これら及び他の考慮事項を、本明細書で考察する。

【発明の概要】

【0003】

以下の一般的な説明及び以下の詳細な説明は両方とも、あくまで例示的かつ説明的なものにすぎず、限定的なものではないことを理解されたい。本明細書において、粒子分類のための方法及びシステムが記載される。これらの方法及びシステムは、医薬品（例えば、薬剤、薬物、抗体製剤など）の範囲に存在し得るサブビジブル粒子（「ＳＶＰ」）を検出及び分類するために使用され得る。例えば、医薬品の試料の１つ以上の画像は、フローイメージング顕微鏡（「ＦＩＭ」）システムによって捕捉され得る。ＦＩＭシステムは、試料内に存在する任意のＳＶＰを検出し得る。ＦＩＭシステムは、１つ以上の画像内の検出された各ＳＶＰの場所を示すメタデータを生成し得る。追加的に、又は代替的に、別のシステム又はデバイスは、（例えば、セグメンテーションアルゴリズムを使用して）ＳＶＰを検出し得る。

【0004】

１つ以上の画像は、機械学習モデル（例えば、分類指標）を使用して分析され得る。機械学習モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を含み得る。ＣＮＮは、１つ以上の画像（及び任意選択でメタデータも）を入力として受信し、１つ以上の画像内の各ＳＶＰを分類し得る。ＣＮＮは、サイズ、タイプなどに従って各ＳＶＰを分類し得る。追加の利点は、後に続く説明の中で部分的に述べられるか、又は実践によって学ぶ場合がある。これらの利点は、添付の特許請求の範囲において特に指摘されている要素及び組み合わせによって実現され、達成されるであろう。

【図面の簡単な説明】

【0005】

本明細書において援用され、かつ本明細書の一部をなす添付の図面は、開示される方法及び構成のいくつかの実施形態を例解し、説明とともに、開示される方法及び構成の原理を説明するのに役立つ。

【図1】例示的なシステムを示す。

【図2】サブビジブル粒子の実施例を示す。

【図3A】例示的な画像を示す。

【図3B】例示的な画像を示す。

【図4A】例示的な画像を示す。

【図4B】例示的な画像を示す。

【図5A】例示的な画像を示す。

【図5B】例示的な画像を示す。

【図6】例示的なシステムを示す。

【図7】例示的な訓練ワークフローを示す。

【図8】例示的な畳み込みニューラルネットワークを示す。

【図9】例示的な分類ワークフローを示す。

【図10】例示的な表を示す。

【図11】例示的な表を示す。

【図12】例示的な画像及び特徴マップを示す。

【図13】例示的なグラフを示す。

【図14A】例示的な表を示す。

【図14B】例示的な表を示す。

【図14C】例示的な表を示す。

【図14D】例示的な表を示す。

【図15】例示的なグラフを示す。

【図16】例示的なグラフを示す。

【図17】例示的なシステムを示す。

【図18】例示的な方法のフローチャートを示す。

【図19】例示的な方法のフローチャートを示す。

【図20】例示的な方法のフローチャートを示す。

【発明を実施するための形態】

【0006】

本明細書及び添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈上特に指示されていない限り、複数の参照語を含む。本明細書では、範囲は、「約」１つの特定の値から、及び／又は「約」別の特定の値までとして表現されてもよい。そのような範囲が表現されるときに、別の構成は、１つの特定の値から、及び／又は別の特定の値までを含む。同様に、値が近似値として表現される場合、先行詞「約」の使用により、特定の値が別の構成を形成することが理解されるであろう。これらの範囲の各々の終点は、他の終点と関連して、かつ他の終点とは独立して有意であることが更に理解されるであろう。

【0007】

「任意選択の」又は「任意選択に」は、その後に記載する事象又は状況が生じても生じなくてもよいこと、並びにこの説明が、該事象又は状況が生じる場合及び生じない場合を含むことを意味する。

【0008】

この明細書の説明及び特許請求の範囲を通じて、語「含む（ｃｏｍｐｒｉｓｅ）」及びこの語の変形、例えば「含む（ｃｏｍｐｒｉｓｉｎｇ）」及び「含む（ｃｏｍｐｒｉｓｅｓ）」などは、「～を含むがこれに限定されない」を意味し、例えば、他の構成要素、整数、又はステップを除外することを意図するものではない。「例示的な」は、「～の一例」を意味し、好ましい構成又は理想的な構成の表示を伝達することを意図するものではない。「など」は、限定的な意味で使用されるものではなく、説明を目的に使用される。

【0009】

構成要素の組み合わせ、サブセット、相互作用、群などが開示される場合、これらの構成要素の各様々な個別的及び集合的な組み合わせ及び並べ替えについての具体的な言及は明示的に記載されていない場合があるが、各々が本明細書に具体的に企図かつ記載されることが理解される。これは、記載の方法におけるステップを含むがこれらに限定されない、本出願の全ての部分に適用される。したがって、実施され得る様々な追加のステップが存在する場合、これらの追加のステップの各々は、記載の方法の任意の特定の構成又は構成の組み合わせで実施されてもよいことが理解される。

【0010】

当業者には理解されるように、ハードウェア、ソフトウェア、又はソフトウェア及びハードウェアの組み合わせが実装され得る。更に、記憶媒体に具現化されたプロセッサ実行可能命令（例えば、コンピュータソフトウェア）を有するコンピュータ可読記憶媒体（例えば、非一時的）上のコンピュータプログラム製品を実装し得る。ハードディスク、ＣＤ－ＲＯＭ、光学記憶デバイス、磁気記憶デバイス、記憶抵抗器、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ、又はそれらの組み合わせを含む、任意の好適なコンピュータ可読記憶媒体を利用し得る。

【0011】

本出願全体を通して、ブロック図及びフローチャートに対する参照がなされる。ブロック図及びフローチャートの各ブロック、並びにブロック図及びフローチャートのブロックの組み合わせはそれぞれ、プロセッサ実行可能命令によって実装され得ることが理解されるであろう。これらのプロセッサ実行可能命令は、汎用コンピュータ、特殊用途向けコンピュータ、又は他のプログラム可能データ処理装置にロードされて、マシンを作り出し得、その結果、コンピュータ又は他のプログラム可能データ処理装置上で実行されるプロセッサ実行可能命令が、フローチャートの単一又は複数のブロックにおいて特定された機能を実装するためのデバイスを創出する。

【0012】

これらのプロセッサ実行可能命令はまた、コンピュータ又は他のプログラム可能データ処理装置が特定の様式で機能するように指示し得るコンピュータ可読メモリ内に記憶されてもよく、その結果、コンピュータ可読メモリ内に記憶されるプロセッサ実行可能命令が、フローチャートの単一又は複数のブロックにおいて特定された機能を実装するためのプロセッサ実行可能命令を含む製造品を作り出す。プロセッサ実行可能命令はまた、コンピュータ又は他のプログラム可能データ処理装置にロードされて、コンピュータ又は他のプログラム可能装置上で一連の操作ステップが実施されて、コンピュータ実装プロセスを作り出し得、その結果コンピュータ又は他のプログラム可能装置上で実行されるプロセッサ実行可能命令が、フローチャートの単一又は複数のブロックにおいて特定された機能を実装するためのステップを提供する。

【0013】

ブロック図及びフローチャートのブロックは、特定された機能を実施するためのデバイスの組み合わせ、特定された機能を実施するためのステップの組み合わせ、及び特定された機能を実施するためのプログラム命令手段をサポートする。ブロック図及びフローチャートの各ブロック、並びにブロック図及びフローチャートのブロックの組み合わせは、特定された機能若しくはステップを実施する特殊用途向けハードウェアベースのコンピュータシステム、又は特殊用途向けハードウェアとコンピュータ命令との組み合わせによって実装され得ることもまた理解されるであろう。

【0014】

粒子分類のための方法及びシステムが本明細書に記載される。本方法及びシステムは、種々の医療及び医薬用途に対して、ハイスループットフローイメージング技術及び機械学習を組み合わせ得る。こうした用途には、医薬品（例えば、薬剤、薬物、抗体製剤など）の流体／試料の画像中の汚染物質及び／又は予想外の粒子の検出及び分類が含まれる。画像は、フローイメージング顕微鏡（「ＦＩＭ」）システムから受信され得る。画像は、１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）などの１つ以上の機械学習モデルを使用して分析され得る。

【0015】

画像（以下、「ＦＩＭ画像」）は、単独では（例えば、顕微鏡又は他の器具の助けなしには）観察できない場合がある、様々なサイズ及びタイプのサブビジブル粒子（「ＳＶＰ」）を含み得る。例示的なＳＶＰとしては、細胞、病原体、タンパク質凝集体、シリコンオイル液滴、繊維、気泡、ガラス粒子、それらの組み合わせ、及び／又は同様のものが挙げられるが、これらに限定されない。医薬品中のＳＶＰの存在は、有効性、安全性、標準化などにとって望ましくない場合がある。したがって、本方法及びシステムは、医薬品中に存在し得るＳＶＰを検出及び分類し得る。

【0016】

各ＦＩＭ画像内の各ＳＶＰは、１つ以上の機械学習モデルを使用して分類され得る。ＦＩＭ画像は、各ＦＩＭ画像中の各未分類粒子の場所を示すメタデータと関連付けられ、非ＳＶＰを含む場合がある。メタデータは、ＦＩＭ画像を捕捉したＦＩＭシステムによって生成されている場合がある。追加的に、又は代替的に、別のシステム又はデバイスは、（例えば、セグメンテーションアルゴリズムを使用して）ＦＩＭ画像内の粒子を検出し得る。例えば、各ＦＩＭ画像中の各粒子の場所は、１つ以上の画像セグメンテーションアルゴリズムを使用して判定され得る。

【0017】

ＦＩＭ画像中の各未分類粒子は、最初に、１つ以上の機械学習モデルによって、ＳＶＰ（又は特定のＳＶＰタイプ）又は非ＳＶＰとして分類され得る。追加的に、又は代替的に、各ＦＩＭ画像中の各ＳＶＰ及び／又は各非ＳＶＰの初期分類及び／又は場所は、メタデータによって示され得る。ＦＩＭ画像中の非ＳＶＰは無視され得、一方でＦＩＭ画像中のＳＶＰは、サイズ及び／又はタイプに従って更に分類され得る。例えば、ＳＶＰの各々は、その等価円形直径（ＥＣＤ）サイズに基づいて分類され得る。ＳＶＰは、複数のＳＶＰタイプの各々に対する複数の特徴に従って、１つ以上の機械学習モデルによって更に分類され得る。例えば、１つ以上の機械学習モデルは、特定のタイプのＳＶＰを示すＦＩＭ画像の１つ以上の特徴（例えば、タンパク質粒子を示す特徴）に基づいて、少なくとも１つのＳＶＰを分類するように訓練され得る。

【0018】

１つ以上の機械学習モデルは、ＣＮＮを含み得る。ＣＮＮは、各ＦＩＭ画像に適用され得る少なくとも１つのフィルタを備え得る。少なくとも１つのフィルタは、例えば３×３ピクセルのサイズを含み得る。一部の実施例では、訓練及び／又は試験のための各ＦＩＭ画像は、ＣＮＮに提供される前に前処理され得る。例えば、各ＦＩＭ画像は、６４×６４ピクセルなどの均一なサイズにサイズ変更され得る。他の実施例も可能である。少なくとも１つのフィルタは、ＣＮＮによって各リサイズされたＦＩＭ画像に適用され得る。

【0019】

ＣＮＮは、複数のハイパーパラメータと、各隠れ層のための少なくとも１つの活性化関数と、を含み得る。複数のハイパーパラメータは、例えば、バッチサイズ、ドロップアウト率、エポック数、カーネルサイズ、ストライド、パディングなどを含み得る。少なくとも１つの活性化関数は、例えば、整流された線形単位活性化関数又は双曲線正接活性化関数を含み得る。他の実施例も可能である。

【0020】

ＣＮＮは、訓練データセットを使用して訓練され得る。訓練データセットは、複数のＦＩＭ画像及び対応するメタデータを含み得る。この対応するメタデータは、初期分類（例えば、ＳＶＰ若しくは非ＳＶＰ、ＳＶＰタイプＡ若しくはＳＶＰタイプＢなど）、及び／又は各ＦＩＭ画像中の各粒子の場所を示し得る。一部の実施例では、ＣＮＮは、対応するメタデータなしで（例えば、複数のＦＩＭ画像のみを使用して）訓練され得ることが理解されるべきである。各ＦＩＭ画像中の少なくとも１つの粒子の場所はまた、ＣＮＮ及び／又は別のモデルによって使用される１つ以上の画像セグメンテーションアルゴリズム（例えば、凝集クラスタリング、水流変換など）によって判定され得る。訓練データセット内の複数のＦＩＭ画像は、複数のＳＶＰタイプ及び／又はサイズを含み得る。一部の実施例では、訓練データセットの各ＦＩＭ画像は、１つのＳＶＰのみ、及び／又は１つのＳＶＰタイプのみ、及び／又は１つのＳＶＰサイズのみを含み得る。他の実施例では、訓練データセットの各ＦＩＭ画像は、複数のＳＶＰ及び／又は複数のＳＶＰタイプ及び／又は複数のＳＶＰサイズを含み得る。少なくとも１つのフィルタは、ＣＮＮによって訓練データセットの各ＦＩＭ画像に適用されて、複数のＳＶＰタイプの各々に対応する複数の特徴を判定し得る。訓練データセットで訓練する前に、ＣＮＮの少なくとも１つのパラメータは、別の訓練データセット（例えば、「伝達学習」）で訓練された別のＣＮＮに関連付けられたその少なくとも１つのパラメータの値で初期化され得る。

【0021】

ＣＮＮは、試験データセットを使用して試験され得る。試験データセットは、複数のＦＩＭ画像及び対応するメタデータを含み得る。この対応するメタデータは、初期分類（例えば、ＳＶＰ若しくは非ＳＶＰ、ＳＶＰタイプＡ若しくはＳＶＰタイプＢなど）、及び／又は各ＦＩＭ画像中の各粒子の場所を示し得る。一部の実施例では、ＣＮＮは、対応するメタデータなしで（例えば、複数のＦＩＭ画像のみを使用して）試験され得ることが理解されるべきである。各ＦＩＭ画像中の少なくとも１つの粒子の場所はまた、ＣＮＮ及び／又は別のモデルによって使用される１つ以上の画像セグメンテーションアルゴリズム（例えば、凝集クラスタリング、水流変換など）によって判定され得る。試験データセット内の複数のＦＩＭ画像は、複数のＳＶＰタイプ及び／又はサイズを含んでもよく、これは、訓練データセット内のタイプ及び／又はサイズと異なっていてもよく、異なっていなくてもよい。一部の実施例では、試験データセットの各ＦＩＭ画像は、１つのＳＶＰのみ、及び／又は１つのＳＶＰタイプのみ、及び／又は１つのＳＶＰサイズのみを含み得る。他の実施例では、試験データセットの各ＦＩＭ画像は、複数のＳＶＰ及び／又は複数のＳＶＰタイプ及び／又は複数のＳＶＰサイズを含み得る。

【0022】

ＣＮＮは、試験データセット内の各ＦＩＭ画像内の各ＳＶＰを分類し得る。例えば、少なくとも１つのフィルタは、ＣＮＮの各層において試験データセット内の各ＦＩＭ画像に適用されてもよい。ＣＮＮは、少なくとも１つのＳＶＰのタイプを示す１つ以上の特徴に基づいて、試験データセット内の各ＦＩＭ画像内の少なくとも１つのＳＶＰを分類し得る。分類は、「タンパク質かタンパク質でないか」、「シリコンかシリコンでないか」、「タンパク質か繊維か」などの二項分類、又は「シリコン、若しくは気泡、若しくはガラス片」などの多クラス分類を含み得る。分類は、少なくとも１つのＳＶＰが特定のタイプであるというスコア又は信頼レベル（例えば、少なくとも１つのＳＶＰがタンパク質粒子であるという９０％の信頼性）を含み得る。他の実施例も可能である。

【0023】

ここで図１を参照すると、粒子分類のための例示的なシステム１００が示されている。システム１００は、フローイメージング顕微鏡（「ＦＩＭ」）システムの一部であり得るコンピューティングデバイス１０２を備え得る。コンピューティングデバイス１０２は、収集モジュール１０４及び画像処理モジュール１０６を備え得る。収集モジュール１０４は、フローイメージング顕微鏡、静止画像カメラ、ビデオカメラ、赤外線カメラ、光学センサ、それらの組み合わせ、及び／又は同様のもののために構成されているカメラ及び／又は顕微鏡などの撮像デバイスを備え得る。コンピューティングデバイス１０２は、ネットワーク１０６を介してクライアントデバイス１１２及び／又はサーバ１１０と通信してもよい。一部の実施例では、クライアントデバイス１１２及びサーバ１１０は、単一のデバイス（図示せず）であってもよい。ネットワーク１０６は、通信のために種々のネットワーク経路、プロトコル、デバイス、及び／又は同様のものを使用するように構成されてもよい。ネットワーク１０６は、システム１００に示されるデバイスの各々を接続する複数の通信リンクを有してもよい。ネットワーク１０６は、光ファイバネットワーク、同軸ケーブルネットワーク、ハイブリッドファイバ同軸ネットワーク、無線ネットワーク、衛星システム、直接ブロードキャストシステム、イーサネットネットワーク、高解像度マルチメディアインターフェースネットワーク、ユニバーサルシリアルバス（ＵＳＢ）ネットワーク、又はそれらの任意の組み合わせであってもよい。

【0024】

クライアントデバイス１１２は、コンピューティングデバイス、モバイルデバイス、スマートデバイス、それらの組み合わせ、及び／又は同様のものを備え得る。サーバ１１０は、記憶モジュール１１０Ａ（例えば、記憶媒体）、撮像処理モジュール１１０Ｂ、及び機械学習モジュール１１０Ｃを備える、１つ以上のコンピューティングデバイスを備えてもよい。クライアントデバイス１１２は、サーバ１１０の態様と通信及び／又は制御するように構成されているアプリケーションモジュール１１３を備え得る。例えば、アプリケーションモジュール１１３は、サーバ１１０（及びそのモジュール）に、本明細書に記載されるステップ及びプロセスを実施させるように構成されてもよい。

【0025】

システム１００は、サブビジブル粒子（「ＳＶＰ」）の分類のために構成されてもよい。本明細書で使用される場合、「粒子」という用語は、タンパク質又はシリコンの凝集体、ほこり、カビ胞子、細胞、細胞群、繊維、物質の小さい塊、生物、組織、生物学的物質、鉱物、気泡、ガラス片、それらの組み合わせ、及び／又は同様のものなどの物質又は材料の任意の部分を意味する。コンピューティングデバイス１０２は、高スループットフローイメージング技術を使用して、収集モジュール１０４及び画像処理モジュール１０６を介してＳＶＰを含む試料／流体の画像を捕捉し得る。例えば、コンピューティングデバイス１０２は、ＦＩＭシステム（図示せず）のフローセルを通してポンプ注入され得る試料／流体の画像を捕捉するように構成され得る。一部の実施例では、収集モジュール１０４は、試料／流体内の粒子を含む画像を捕捉し得るデジタル顕微鏡を備え得る。収集モジュール１０４は、フローセル（図示せず）を通って流れる際に、各試料／流体の連続画像／フレームを捕捉し得る。

【0026】

試料／流体は、医薬品（例えば、薬剤、薬物、抗体製剤など）を含んでもよい。このような画像（以下、「ＦＩＭ画像」）は、単独では（例えば、顕微鏡又は他の器具の助けを借りなければ）観察できない場合がある多様なタイプのＳＶＰを含み得る。例示的なＳＶＰとしては、細胞、病原体、タンパク質凝集体、シリコンオイル、繊維、気泡、ガラス粒子、それらの組み合わせ、及び／又は同様のものが挙げられるが、これらに限定されない。医薬品中のＳＶＰの存在は、有効性、安全性、標準化などにとって望ましくない場合がある。したがって、システム１００は、ＦＩＭ画像内のＳＶＰを検出及び分類するように構成され得る。

【0027】

コンピューティングデバイス１０２の収集モジュール１０４によって捕捉されたＦＩＭ画像は、画像処理モジュール１０６によってメタデータ（又は別個のメタデータが生成され得る）が付加され得る。例えば、画像処理モジュール１０６は、潜在的に非ＳＶＰを含む各ＦＩＭ画像中の粒子の数、及び／又は各ＦＩＭ画像中の各粒子の各場所の表示を示すメタデータをＦＩＭ画像に付加する（又は別途生成する）場合がある。ＦＩＭ画像及びメタデータは、記憶のためにネットワーク１０８を介してサーバ１１０に送信され得る。例えば、コンピューティングデバイス１０２は、ＦＩＭ画像及びメタデータを、記憶のためにサーバ１１０の記憶モジュール１１０Ａに送信してもよい。本明細書に更に記載するように、クライアントデバイス１１２は、サーバ１１０の機械学習モジュール１１０Ｃに、例えば、ＦＩＭ画像自体及び関連するメタデータに基づいて、ＦＩＭ画像内のＳＶＰを分類させてもよい。

【0028】

ここで図２を参照すると、様々なサイズのタンパク質及びシリコンＳＶＰを描写する例示的な画像２０２Ａ、２０２Ｂ、２０４Ａ、２０４Ｂ、２０６Ａ、２０６Ｂが示されている。ＳＶＰは、それらの等価円形直径（ＥＣＤ）サイズに基づいて分類され得る。ＳＶＰのＥＣＤは、例えば、マイクロメートル（μｍ）で測定されてもよい。本明細書に記載されるＦＩＭ画像に描写されるＳＶＰのＥＣＤは、例えば、およそ１．１２５μｍ～１３０μｍ超の範囲であり得る。例示的なＥＣＤサイズには、非常に小さいＥＣＤ（＜２μｍ）（図示せず）、小さいＥＣＤ（＞＝２μｍ及び＜１０μｍ）（２０２Ａ、２０２Ｂ）、中程度のＥＣＤ（＞＝１０μｍ及び＜＝２５μｍ）（２０４Ａ、２０４Ｂ）、及び大きいＥＣＤ（＞＝２５μｍ）（２０６Ａ、２０６Ｂ）が含まれ得る。他の実施例サイズも可能である。

【0029】

本明細書に更に記載するように、クライアントデバイス１１２は、サーバ１１０の機械学習モジュール１１０Ｃに、例えば、ＦＩＭ画像自体及び関連するメタデータに基づいて、ＦＩＭ画像においてＳＶＰを分類させてもよい。一部の実施例では、機械学習モジュール１１０Ｃは、対応するメタデータなしで（例えば、ＦＩＭ画像のみを使用して）、ＦＩＭ画像内のＳＶＰを分類し得ることが理解されるべきである。説明の目的で、本明細書の記載は、サーバ１１０の撮像処理モジュール１１０Ｂを、ＦＩＭ画像を受信及び分析するモジュールとして説明するが、画像処理モジュール１０６は、同様に、コンピューティングデバイス１０２によって捕捉されたＦＩＭ画像のいずれかを受信及び処理し得ることが理解されるべきである。

【0030】

機械学習モジュール１１０Ｃは、１つ以上の機械学習モデル、人工知能モデル、それらの組み合わせ、及び／又は同様のものを含み得る。例えば、機械学習モジュール１１０Ｃは、畳み込みニューラルネットワーク、画像分類モデル、セグメンテーションモデル、統計アルゴリズムなどを使用してもよく、又はそれを含んでもよい。一部の実施例では、機械学習モジュール１１０Ｃ（又はシステム１００の別のモジュール又はデバイス）は、関連するメタデータによって示されていないＦＩＭ画像内の任意の粒子を分類し得る。例えば、ＦＩＭ画像中の粒子は、最初に、機械学習モジュール１１０Ｃによって、ＳＶＰ（又は特定のＳＶＰタイプ）又は非ＳＶＰであると分類され得る。追加的に、又は代替的に、各ＦＩＭ画像中の各ＳＶＰ及び／又は各非ＳＶＰの初期分類及び／又は場所は、関連するメタデータによって示され得る。ＦＩＭ画像中の非ＳＶＰは、検出／分類されると、無視され得るが、ＦＩＭ画像中のＳＶＰは、タイプ（例えば、タンパク質又はシリコン）によって更に分類／識別され得る。例えば、本明細書に更に記載するように、機械学習モジュール１１０Ｃは、各ＳＶＰのタイプを示す特徴に基づいて、ＦＩＭ画像においてＳＶＰを分類するように構成され得る（例えば、訓練され得る）。分類は、「タンパク質かタンパク質でないか」、「シリコンかシリコンでないか」、「タンパク質か繊維か」などの二項分類、又は「シリコン、若しくは気泡、若しくはガラス片」などの多クラス分類であり得る。分類は、対応するＳＶＰが特定のタイプであるというスコア又は信頼レベル（例えば、ＳＶＰがタンパク質粒子であるという９０％の信頼）を含み得る。他の実施例も可能である。

【0031】

例示的なＦＩＭ画像を、図３Ａ～図４Ｂに示す。図３Ａ及び図３Ｂは、例示的なＦＩＭ画像３０２及び３０４を示す。ＦＩＭ画像３０２及び３０４の各々は、本明細書に更に記載される方法を使用して、機械学習モジュール１１０Ｃによって分類され得る、タンパク質ＳＶＰ３０２Ａ及び３０４Ａをそれぞれ含む。図４Ａ及び図４Ｂは、例示的なＦＩＭ画像４０２及び４０４を示す。ＦＩＭ画像４０４は、いかなる検出可能なＳＶＰも含まなくてもよい。しかしながら、ＦＩＭ画像４０２は、本明細書に更に説明される方法を使用して機械学習モジュール１１０Ｃによって分類され得る、１つ以上のシリコンＳＶＰ４０６Ａを含み得る。

【0032】

機械学習モジュール１１０Ｃは、本明細書に更に記載するように、少なくとも１つのフィルタを使用して、ＦＩＭ画像のＳＶＰを検出するように構成され得る。少なくとも１つのフィルタは、各ＦＩＭ画像を一度に１部分ずつ表示／分析する「スライディングウィンドウ」とみなされ得る。図５Ａは、例示的なＦＩＭ画像５０２及びスライディングウィンドウ５０４（例えば、少なくとも１つのフィルタ）を示す。機械学習モジュール１１０Ｃは、スライディングウィンドウ５０４を使用して、ＦＩＭ画像５０２にわたって、ＦＩＭ画像５０２の各部分に存在し得るＳＶＰを分類し得る。例えば、機械学習モジュール１１０Ｃは、画像処理モジュール１１０Ｂに、スライディングウィンドウ５０４及びＦＩＭ画像５０２の複数の領域内の複数のＳＶＰを検出するための１つ以上のセグメンテーションアルゴリズム／技法を使用して、ＦＩＭ画像５０２を分析させ得る。別の実施例として、機械学習モジュール１１０Ｃは、ＦＩＭ画像５０２に関連付けられたメタデータを使用して、画像処理モジュール１１０Ｂに、スライディングウィンドウ５０４を使用してＦＩＭ画像５０２の特定の部分を分析させてもよい。ＦＩＭ画像５０２の特定の部分は、メタデータによって示されてもよく（又は示されなくてもよい）、ＳＶＰの場所に対応してもよい。

【0033】

スライディングウィンドウ５０４を使用してＦＩＭ画像５０２を分析する画像処理モジュール１１０Ｂの例示的な結果を、図５Ｂに出力画像５０６として示されている。少なくとも１つのフィルタは、各ＦＩＭ画像を一度に１部分ずつ表示／分析する「スライドウィンドウ」とみなされ得る。例えば、スライディングウィンドウ５０４は、ＦＩＭ画像５０２のコーナーにおいて開始し、ＦＩＭ画像５０２の領域内の任意のＳＶＰの表示を出力し得る。分類は、ＳＶＰの存在及び／又はタイプの表示を含み得る。スライディングウィンドウ５０４は、ＦＩＭ画像５０２の各部分を「ループ」又は「わたる」場合があり、ＳＶＰが存在する領域５０８を示してもよい。

【0034】

一部の実施例では、領域５０８の各々を含むトリミングされた画像は、画像処理モジュール１１０Ｂによって生成され、機械学習モジュール１１０Ｃによる更なる分析（例えば、ＳＶＰタイプの分類）のために記憶モジュール１１０Ａによって記憶され得る。他の実施例では、領域５０８の各々を含む注釈付き／標識された画像は、画像処理モジュール１１０Ｂによって生成され、機械学習モジュール１１０Ｃによる更なる分析（例えば、ＳＶＰタイプの分類）のために記憶モジュール１１０Ａによって記憶され得る。

【0035】

ここで図６を参照すると、機械学習モジュール６３０を訓練するためのシステム６００が示されている。機械学習モジュール６３０は、機械学習モジュール１１０Ｃを含んでもよい。機械学習モジュール６３０は、システム６００の訓練モジュール６２０によって訓練されて、ＦＩＭ画像内でＳＶＰを分類し得る。例えば、訓練モジュール６２０は、機械学習（「ＭＬ」）技法を使用して、１つ以上の訓練データセット６１０の分析に基づいて、ＭＬモジュール６３０を訓練し得る。一部の実施例では、訓練データセット６１０で訓練する前に、バッチサイズ、ドロップアウト率、エポック数、カーネルサイズ、ストライド、パディングなどの機械学習モジュール６３０の少なくとも１つのパラメータは、別の訓練データセット（例えば、「伝達学習」）で訓練された別の機械学習モジュール（例えば、別のＭＬモデル、別のＣＮＮなど）に関連付けられたその少なくとも１つのパラメータの値で初期化されてもよい。

【0036】

訓練データセット６１０は、任意の数のデータセット又はサブセット６１０～６１０Ｎを含んでもよい。例えば、訓練データセット６１０は、第１の訓練データセット６１０Ａ及び第２の訓練データセット６１０Ｂを含んでもよい。第１の訓練データセット６１０Ａは、第１の複数のＦＩＭ画像を含み得る。図６に示すように、第１の訓練データセット６１０Ａ（例えば、第１の複数のＦＩＭ画像）は、複数のＳＶＰサイズ（例えば、非常に小さいＥＣＤから大きいＥＣＤまで）を含んでもよい。一部の実施例では、第１の複数のＦＩＭ画像の各ＦＩＭ画像は、１つのＳＶＰのみ、及び／又は１つのＳＶＰタイプのみ、及び／又は１つのＳＶＰサイズのみを含み得る。他の実施例では、第１の複数のＦＩＭ画像は各々、複数のＳＶＰ及び／又は複数のＳＶＰタイプ及び／又は複数のＳＶＰサイズを含み得る。第２の訓練データセット６１０Ｂは、第２の複数のＦＩＭ画像を含み得る。第２の複数のＦＩＭ画像は、複数のＳＶＰサイズ（例えば、非常に小さいＥＣＤから大きいＥＣＤまで）を含んでもよく、これは、第１の複数のＦＩＭ画像のサイズと異なっても異なっていなくてもよい。一部の実施例では、第２の複数のＦＩＭ画像の各ＦＩＭ画像は、１つのＳＶＰのみ、及び／又は１つのＳＶＰタイプのみ、及び／又は１つのＳＶＰサイズのみを含み得る。他の実施例では、第２の複数のＦＩＭ画像は各々、複数のＳＶＰ及び／又は複数のＳＶＰタイプ及び／又は複数のＳＶＰサイズを含み得る。

【0037】

第１の訓練データセット６１０Ｂ又は第２の訓練データセット６１０Ｂの一方又は両方のサブセットは、試験データセットに無作為に割り当てられてもよい。一部の実装形態では、試験データセットへの割り当ては完全に無作為ではない場合がある。この場合、１つ以上の基準が、割り当て中に使用され得る。一般に、特定のサイズ及び／又はタイプのＳＶＰを含むＦＩＭ画像の分布が、訓練及び試験目的のために適切に割り当てられていることを確実にする一方で、任意の好適な方法を使用して、データを試験データセットに割り当てる場合がある。

【0038】

訓練モジュール６２０は、１つ以上の特徴選択技法に従って訓練データセット６１０のＦＩＭ画像から特徴セットを抽出することによって、ＭＬモジュール６３０を訓練し得る。例えば、訓練モジュール６２０は、統計的に有意な特徴を含む訓練データセット６１０から特徴セットを抽出することによって、ＭＬモジュール６３０を訓練してもよい。訓練モジュール６２０は、種々の方法で、訓練データセット６１０から特性セットを抽出してもよい。訓練モジュール６２０は、異なる特徴抽出技法を使用して、各回に特徴抽出を複数回実施し得る。実施例では、異なる技法を使用して生成される特徴セットは各々が、異なる機械学習ベースの分類モデル６４０Ａ～６４０Ｎを生成するために使用されてもよい。例えば、最も高い品質の測定基準を伴う特徴セットが、訓練における使用のために選択され得る。訓練モジュール６２０は、特徴セットを使用して、種々のＳＶＰを分類するように構成されている１つ以上の機械学習ベースの分類モデル６４０Ａ～６４０Ｎを構築してもよい。

【0039】

訓練データセット６１０を分析して、標識されていないＦＩＭ画像（例えば、ＳＶＰタイプ及び／又は存在を示さないもの）における判定された特徴と、訓練データセット６１０における標識されたＦＩＭ画像の特徴との間の任意の依存性、関連付け、及び／又は相関を判定してもよい。識別された相関は、特徴のリストの形態を有してもよい。本明細書で使用される場合、「特徴」という用語は、データのある項目が、１つ以上の特定のカテゴリー内にあるかどうかを判定するために使用され得るデータの項目の任意の特徴を指してもよい。特徴選択技術は、１つ以上の特徴選択ルールを含んでもよい。１つ以上の特徴選択ルールは、特徴発生ルールを含んでもよい。特徴発生ルールは、訓練データセット６１０においていずれの特徴が閾値の回数にわたって生じるかを判定すること、及び特徴として閾値を満たすそれらの特徴を識別することを含み得る。

【0040】

単一の特徴選択ルールが、特徴を選択するために適用されてもよいし、複数の特徴選択ルールが、特徴を選択するために適用されてもよい。特徴選択ルールは、カスケード方式で適用されてもよく、この際、特徴選択ルールは、特定の順序で適用され、以前のルールの結果に適用される。例えば、特徴発生ルールは、訓練データセット６１０に適用されて、第１の特徴のリストを生成してもよい。特徴の最終リストは、１つ以上の特徴群（例えば、ＳＶＰを分類するために使用され得る特徴の群）を判定するための追加の特徴選択技法により分析されてもよい。任意の好適な計算技術を使用して、フィルタ方法、ラッパ方法、及び／又は埋め込み方法などの任意の特徴選択技法を使用して、特徴群を識別し得る。１つ以上の特徴群は、フィルタ方法に従い選択されてもよい。フィルタ方法には、例えば、ピアソンの相関、線形判別分析、分散分析（ＡＮＯＶＡ）、カイ二乗、それらの組み合わせ、及び同様のものが含まれる。フィルタ方法に従った特徴の選択は、任意の機械学習アルゴリズムから独立している。代わりに、特徴は、転帰変数との相関について、様々な統計検定におけるスコアに基づいて選択され得る。

【0041】

別の実施例として、１つ以上の特徴群は、ラッパ方法に従って選択されてもよい。ラッパ方法は、特徴のサブセットを使用し、特徴のサブセットを使用してＭＬモジュール６３０を訓練するように構成され得る。以前のモデルから引き出された推論に基づいて、特徴は、サブセットから追加及び／又は削減され得る。ラッパ方法は、例えば、前方特徴量選択、後方特徴量削減、再帰的特徴量削減、それらの組み合わせ、及び同様のものを含む。実施例として、前方特徴量選択を使用して、１つ以上の特徴群を識別してもよい。前方特徴量選択は、対応する機械学習モデルにおける特徴なしに始まる反復方法である。各反復では、モデルを最良に改善する特徴が、新たな変数の追加によって機械学習モデルの性能が改善されなくなるまで加えられる。実施例として、後方削減を使用して、１つ以上の特徴群を識別してもよい。後方削減は、機械学習モデルにおける全ての特徴で始まる反復方法である。各反復では、最下位の特徴が、特徴の削除時に改善が観察されなくなるまで除去される。再帰的特徴量削減を使用して、１つ以上の特徴群を識別してもよい。再帰的特徴量削減は、性能が最良である特徴サブセットを見出すことを目指す貪欲最適化アルゴリズムである。再帰的特徴量削減によって、モデルが反復的に作成され、各反復において最良又は最悪の性能の特徴を別にしておく。再帰的特徴量削減によって、全ての特徴が消耗するまで、特徴が残っている次のモデルが構築される。再帰的特徴量削減によって、次に、それらの削減の順序に基づいて特徴がランク付けされる。

【0042】

更なる実施例として、１つ以上の特徴群は、埋め込み方法に従って選択されてもよい。埋め込み方法によって、フィルタ方法及びラッパ方法の質が組み合わされる。埋め込み方法には、例えば、過学習を低下させるためのペナルティ機能を実装する、最小絶対収縮及び選択演算子（ＬＡＳＳＯ）及びリッジ回帰が含まれる。例えば、ＬＡＳＳＯ回帰によって、係数の大きさの絶対値に相当するペナルティを加えるＬ１正則化が実施され、リッジ回帰によって、係数の大きさの二乗に相当するペナルティを加えるＬ２正則化が実施される。

【0043】

訓練モジュール６２０によって特徴セットが生成された後、訓練モジュール６２０によって、特徴セットに基づいて、機械学習ベースの分類モデル６４０が生成され得る。機械学習ベースの分類モデルは、機械学習技法を使用して生成される、データ分類のための複雑な数学的モデルを指し得る。一実施例では、機械学習ベースの分類モデル６４０は、境界特徴を表すサポートベクトルのマップを含み得る。実施例として、境界特徴は、ある特徴セット内の最高ランクの特徴から選択されても、かつ／又はそれらを表してもよい。訓練モジュール６２０は、機械学習ベースの分類モデル６４０Ａ～６４０Ｎを構築するために、訓練データセット６１０から判定又は抽出された特徴セットを使用し得る。一部の実施例では、機械学習ベースの分類モデル６４０Ａ～６４０Ｎを、単一の機械学習ベースの分類モデル６４０に組み合わせてもよい。同様に、ＭＬモジュール６３０は、単一若しくは複数の機械学習ベースの分類モデル６４０を含有する単一の分類指標、及び／又は単一若しくは複数の機械学習ベースの分類モデル６４０を含有する複数の分類指標を表し得る。

【0044】

特徴を、機械学習アプローチ、例えば判別分析；決定木；最近傍（ＮＮ）アルゴリズム（例えば、ｋ－ＮＮモデル、レプリケータＮＮモデルなど）；統計アルゴリズム（例えば、ベイジアンネットワークなど）；クラスタリングアルゴリズム（例えば、ｋ平均値、平均値シフトなど）；ニューラルネットワーク（例えば、リザーバネットワーク、人工ニューラルネットワークなど）；サポートベクトル機械（ＳＶＭ）；ロジスティック回帰アルゴリズム；線形回帰アルゴリズム；マルコフモデル又はチェーン；主成分分析（ＰＣＡ）（例えば、線形モデルについて）；多層パーセプトロン（ＭＬＰ）ＡＮＮ（例えば、非線形モデルについて）；リザーバネットワークの複製（例えば、非線形モデルについて、通常は時系列について）；ランダムフォレスト分類；それらの組み合わせ及び／又は同様のものを使用して訓練された分類モデルにおいて組み合わせてもよい。結果として得られるＭＬモジュール６３０は、他のＦＩＭ画像においてＳＶＰを分類するために使用され得る、訓練データセット６１０における各ＦＩＭ画像の各特徴に対する決定ルール又はマッピングを含み得る。実施形態では、訓練モジュール６２０は、畳み込みニューラルネットワーク（ＣＮＮ）として機械学習ベースの分類モデル６４０を訓練してもよく、これは、図８に関して本明細書で更に説明される。

【0045】

特徴及びＭＬモジュール６３０は、試験データセット内のＦＩＭ画像中のＳＶＰを検出及び／又は分類するために使用され得る。一実施例では、各検出／分類されたＳＶＰに対する予測／結果は、導出された各特徴が特定のＳＶＰタイプ及び／又はサイズに関連付けられている可能性又は確率に対応する信頼レベルを含む。信頼レベルは、０と１との間の値であり得る。一実施例では、２つの状態（例えば、ＳＶＰ又はＳＶＰなし、ＳＶＰタイプＡ対タイプＢなど）があるとき、信頼レベルは、値ｐに対応してもよく、これは、特定の検出／分類されたＳＶＰが実際にＳＶＰである可能性を指す。この場合では、値１－ｐは、特定の検出／分類されたＳＶＰが、第２の状態（例えば、実際にはＳＶＰではない）に属する可能性を指し得る。概して、複数の信頼レベルは、試験データセットの各検出された／分類されたＳＶＰについて、及び３つ以上の状態があるとき、各特徴について提供され得る。

【0046】

図７は、訓練モジュール６２０を使用して、ＭＬモジュール６３０を生成するための例示的な訓練方法７００を例解するフローチャートである。訓練モジュール６２０によって、教師あり、教師なし、及び／又は半教師あり（例えば、補強ベース）の機械学習ベースの分類モデル６４０を実装することができる。図７に例解する方法７００は、教師あり学習方法の実施例であり；訓練方法のこの実施例の変形を以下で考察するが、しかし、他の訓練方法は、教師なし及び／又は半教師ありの機械学習モデルを訓練するために類似的に実装することができる。訓練方法７００は、ステップ７１０においてデータを判定（例えば、アクセス、受信、検索など）してもよい。データは、ＦＩＭ画像及び関連するメタデータを含み得る。一部の実施例では、データはメタデータを含まなくてもよく、本明細書に記述される訓練は対応するメタデータを使用しなくてもよいことが理解されるべきである。

【0047】

訓練方法７００は、ステップ７２０において、訓練データセット及び試験データセットを生成し得る。訓練データセット及び試験データセットは、ＦＩＭ画像（又はその一部分）を訓練データセット又は試験データセットのいずれかにランダムに割り当てることによって生成され得る。一部の実装形態では、訓練データ又は試験データとしてのＦＩＭ画像（又はその一部分）の割り当ては、完全にランダムでなくてもよい。実施例として、訓練データセットを生成するために、ＦＩＭ画像の大部分（又はその一部分）を使用し得る。例えば、ＦＩＭ画像（又はその一部分）の７５％を訓練データセットの生成に使用し得、２５％を試験データセットの生成に使用し得る。別の実施例では、ＦＩＭ画像（又はその一部分）の８０％を訓練データセットの生成に使用し得、２０％を試験データセットの生成に使用し得る。

【0048】

訓練方法７００は、ステップ７３０において、例えば、検出されたＳＶＰの異なる分類の中で区別するための分類指標によって使用することができる１つ以上の特徴を判定（例えば、抽出、選択など）してもよい。実施例として、訓練方法７００は、ＦＩＭ画像（又はその一部分）から特徴のセットを判定し得る。更なる実施例では、特徴のセットは、訓練データセット又は試験データセットのいずれかにおいて、ＦＩＭ画像（又はその一部分）とは異なるデータから判定されてもよい。そのようなＦＩＭ画像（又はその一部分）を使用して、特徴の初期のセットを判定してもよく、それは、訓練データセットを使用して更に低減されてもよい。

【0049】

訓練方法７００によって、ステップ７４０において、１つ以上の特徴を使用して、１つ以上の機械学習モデルがトレーニングされ得る。一実施例では、機械学習モデルは、教師あり学習を使用して訓練され得る。別の実施例では、教師なし学習及び半教師ありを含む、他の機械学習技法が採用され得る。７４０において訓練された機械学習モデルは、解決される問題及び／又は訓練データセットで利用可能なデータに応じて、異なる基準に基づいて選択され得る。例えば、機械学習分類指標は、異なる程度のバイアスを受け得る。したがって、２つ以上の機械学習モデルを、７４０において訓練し、７５０において最適化し、改善し、相互検証することができる。

【0050】

訓練方法７００は、７６０において予測モデルを構築するために、１つ以上の機械学習モデルを選択し得る。予測モデルは、試験データセットを使用して評価してもよい。予測モデルは、ステップ７７０において、試験データセットを分析し、ＦＩＭ画像（又はその一部分）中に存在する予測されるＳＶＰを生成してもよい。ＦＩＭ画像（又はその一部分）中に存在する予測されるＳＶＰは、ステップ７８０において評価されて、こうした値が所望の精度レベルを達成したかどうかを判定し得る。予測モデルの性能は、予測モデルによって示される複数のデータ点の多数の真の陽性、偽陽性、真の陰性、及び／又は偽陰性の分類に基づいて、多数の方法で評価され得る。

【0051】

例えば、予測モデルの偽陽性は、予測モデルが、実際にはＳＶＰではない（又は特定のＳＶＰタイプではない）ＳＶＰ（又は特定のＳＶＰタイプ）として、ＦＩＭ画像内の粒子を誤って分類した回数を指し得る。逆に、予測モデルの偽陰性は、実際には粒子が真のＳＶＰであったときに、機械学習モデルがＦＩＭ画像内の粒子をＳＶＰではないと分類した回数を指し得る。真陰性及び真陽性は、予測モデルが１つ以上のＦＩＭ画像中の１つ以上の粒子をＳＶＰ（又は特定のＳＶＰタイプ）として正しく分類した回数を指し得る。これらの測定に関連するのは、再現率及び精密度の概念である。概して、再現率とは、真陽性及び偽陰性の合計に対する真陽性の比率を指し、これは、予測モデルの感度を定量化する。同様に、精密度は、真陽性及び偽陽性の合計に対する真陽性の比率を指す。こうした所望の精度レベルに達したとき、訓練段階が終了し、予測モデル（例えば、ＭＬモジュール６３０）がステップ７９０において出力され得る。所望の精度レベルに達しない場合、訓練方法７００のその後の反復は、例えば、ＦＩＭ画像のより大きい収集を考慮するなどの変動を伴い、ステップ７１０で開始して実施され得る。

【0052】

本明細書で説明されるように、訓練モジュール６２０は、畳み込みニューラルネットワーク（ＣＮＮ）を含み得る、機械学習ベースの分類モデル６４０を訓練し得る。図８は、ＣＮＮの例示的なニューラルネットワークアーキテクチャ８００を示す。機械学習ベースの分類モデル６４０の各々は、ニューラルネットワークアーキテクチャ８００の１つ以上の部分を含む深層学習モデルを含み得る。ニューラルネットワークアーキテクチャ８００は、本明細書に記載されるように、畳み込み操作のセットを使用して、複数のＦＩＭ画像上で特徴抽出を実施し得、これは、各画像をフィルタリングするために使用される一連のフィルタを含み得る。ニューラルネットワークアーキテクチャ８００は、いくつかの畳み込み操作（例えば、特徴抽出操作）を実施し得る。図８に示すニューラルネットワークアーキテクチャ８００の構成要素は、例示のみを意図している。ニューラルネットワークアーキテクチャ８００は、当業者が理解し得るように、図８に示されるもの以外の追加の構成要素及び／又は層を備え得る。

【0053】

ニューラルネットワークアーキテクチャ８００は、入力ＦＩＭ画像８０２（例えば、上述したようなＦＩＭ画像）に対して実施されるいくつかの操作を各々が含み得る複数のブロック８０４Ａ～８０４Ｄを含み得る。入力ＦＩＭ画像８０２に対して実施される操作は、例えば、別の畳み込み層、ドロップアウト操作、フラット化操作、密層、又はニューラルネットワークアーキテクチャ８００の出力に到達するまで、Ｃｏｎｖｏｌｕｔｉｏｎ２Ｄ（Ｃｏｎｖ２Ｄ）操作又はＳｅｐａｒａｂｌｅＣｏｎｖｏｌｕｔｉｏｎ２Ｄ操作に続くゼロ以上の操作（例えば、プーリング、ドロップアウト、活性化、正規化、ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ、他の操作、又はそれらの組み合わせ）を含み得る。密層は、別の畳み込み層、別の密層、又はネットワークの出力に到達するまで、密操作（例えば、完全に接続された層）で始まり、ゼロ以上の操作（例えば、プーリング、ドロップアウト、活性化、正規化、ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ、他の操作、又はそれらの組み合わせ）が続く操作又は層の群を含み得る。畳み込み層に基づく特徴抽出と密操作を使用する特徴分類との間の境界は、特徴抽出技法を使用して生成された多次元マトリクスをベクトルに「フラット化」し得るフラット化操作によって示され得る。

【0054】

ニューラルネットワークアーキテクチャ８００は、わずか１つの隠れ層から最大４つの隠れ層に及ぶ、複数の隠れ層を含み得る。複数の隠れ層のうちの１つ以上は、本明細書に記載の少なくとも１つのフィルタ（例えば、スライディングウィンドウ５０４）を備え得る。少なくとも１つのフィルタは、例えば３×３ピクセルのサイズを含み得る。少なくとも１つのフィルタは、入力ＦＩＭ画像８０２に適用され得る。一部の実施例では、入力ＦＩＭ画像８０２は、ニューラルネットワークアーキテクチャ８００に提供される前に前処理されてもよい。例えば、入力ＦＩＭ画像８０２は、６４×６４ピクセルなどの均一なサイズにサイズ変更され得る。他の実施例も可能である。少なくとも１つのフィルタは、サイズ変更した入力ＦＩＭ画像８０２に適用され得る。

【0055】

ニューラルネットワークアーキテクチャ８００は、複数のハイパーパラメータと、複数のブロック８０４Ａ～８０４Ｄの各ブロックにおける少なくとも１つの活性化関数と、を含み得る。複数のハイパーパラメータは、例えば、バッチサイズ、ドロップアウト率、エポック数、カーネルサイズ、ストライド、パディングなどを含み得る。少なくとも１つの活性化関数は、例えば、整流された線形単位活性化関数又は双曲線正接活性化関数を含み得る。複数のハイパーパラメータの各々の例示的な値は、以下及び本明細書の他の場所に提供されるが、当然のことながら、これらの値、並びに使用される特定のハイパーパラメータは、実装時に変化し得る。すなわち、本明細書で論じる複数のハイパーパラメータの値及び選択は、例示のみを意味し、限定するものではない。

【0056】

入力ＦＩＭ画像８０２は、処理される前にサイズ変更され得る。本明細書に記載されるように、入力ＦＩＭ画像８０２は、６４×６４ピクセルにサイズ変更され得る。複数のブロック８０４Ａ～８０４Ｄの各ブロックにおいて、入力ＦＩＭ画像８０２は、特定のカーネルサイズ（例えば、ピクセル数）に従って処理され得る。例えば、図８に示すように、第１のブロック８０４Ａは、６４個の畳み込みフィルタ、同じ値を有するパディングを有する「３」のカーネルサイズ、及び整流された線形単位（ＲＥＬＵ）活性化関数を含み得る。次に、入力ＦＩＭ画像８０２は、ＭａｘＰｏｏｌｉｎｇ２Ｄ操作及びストライド操作などの１つ以上のプーリング操作を含み得る第２のブロック８０４Ｂを渡され得る。次いで、入力ＦＩＭ画像８０２は、ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ操作を含み得る第３のブロック８０４Ｃに渡され得る。ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ操作は、入力ＦＩＭ画像８０２が各ブロックを通過する際にそれを標準化し得、これは、ニューラルネットワークアーキテクチャ８００の訓練を加速し、一般化エラーを低減し得る。例えば、第３のブロック８０４Ｃにおいて、入力ＦＩＭ画像８０２は、過学習を防止するためにドロップアウト率（例えば、０．１５）を適用し得るドロップアウト層を通過し得る。

【0057】

一部の実施例では、ネットワークアーキテクチャ８００は、入力ＦＩＭ画像８０２をネットワークアーキテクチャ８００の複数のブロック８０４Ａ～８０４Ｄを通過させた結果として判定される出力特徴を受信し得るフラット化層及び／又は密層を含み得る。出力特徴は、入力ＦＩＭ画像８０２から、及び／又はネットワークアーキテクチャ８００の訓練から導出された複数のＳＶＰ特徴を含み得る。フラット化層は、出力特徴に基づいてＮ次元アレイを判定／生成してもよい。アレイは、ニューラルネットワークアーキテクチャ８００の最終層に渡されてもよい。例えば、アレイは、その後、１つ以上の密層及び／又は第２のドロップアウト層を通過し得る。

【0058】

入力ＦＩＭ画像８０２は、複数のブロック８０４Ａ～８０４Ｄの各ブロックにおいていくつかの畳み込みフィルタを通過してもよく、次いで、出力８０６が提供されてもよい。出力８０６は、入力ＦＩＭ画像８０２で検出及び分類された各ＳＶＰのタイプ（例えば、シリコン又はタンパク質）及び／又はサイズ（例えば、ＥＣＤサイズ）の表示を含み得る。出力８０６は、二項分類（例えば、「ＳＶＰ／非ＳＶＰ」）、多クラス分類（例えば、「気泡、繊維、又はガラス片」）、パーセンテージ（例えば、ＳＶＰタイプＡ及び／又はサイズＡの７０％の信頼性）、数値（例えば、０．７）、それらの組み合わせ、及び／又は同様のものを含み得る。

【0059】

図９は、ＭＬモジュール６３０などの訓練された機械学習ベースの分類指標を使用して、ＦＩＭ画像内の１つ以上のＳＶＰを分類するための例示的なプロセスフロー９００の例解図を示す。実施例として、図９に示すように、未分類ＳＶＰを含むＦＩＭ画像は、ＭＬモジュール６３０への入力として提供され得る。ＭＬモジュール６３０は、本明細書に記載の方法を使用してＦＩＭ画像を処理して、１つ以上の分類されたＳＶＰを含む出力９２０に到達し得る。出力９２０は、ＳＶＰの１つ以上の特性を識別し得る。例えば、出力９２０は、各分類されたＳＶＰのタイプ及び／又はサイズを識別し得る。

【0060】

図１０は、ＭＬモジュール６３０などの、本明細書に記載の１つ以上の機械学習モデルを訓練及び試験するために使用され得る、例示的なデータセットの統計の表を示す。データセットは、合計７，５００個の標識されたＳＶＰ（シリコン及びタンパク質）を含み得る。図１０に示すように、データセットは、「非常に小さい」ＥＣＤから「大きい」ＥＣＤまでに及ぶＳＶＰを含有するＦＩＭ画像を含み得る。上述のように、第１の訓練データセット６１０Ｂ又は第２の訓練データセット６１０Ｂの一方又は両方のサブセットは、試験データセットに無作為に割り当てられてもよい。このサブセットは、データセットの２０％を含み得る、図１０に示す「試験セット」に対応し得る。データセットの残りの８０％は、本明細書に記載されるように訓練に使用され得る。

【0061】

図１１は、本明細書に記載の１つ以上の機械学習モデルを訓練するためのパラメータの表を示す。図１１に示す表は、ニューラルネットワークアーキテクチャ８００を使用して実施されて、本明細書に記載の１つ以上の機械学習モデルに対する最適なパラメータを判定した一連の実験に対応する。これらの実験は、図１１に示す表の第１の列に、各実験の対応するバッチサイズ、ドロップアウト率、活性化関数、及び交差検証スコアを用いて標識される。図１１に示す交差検証スコアは、本明細書に記載の訓練方法７００の交差検証ステップ７５０に対応し得る。

【0062】

これらの実験のうちのいくつかについて、ニューラルネットワークアーキテクチャ８００は、３つの隠れ層を含み、モデルのハイパーパラメータ（例えば、バッチサイズ、エポック、ドロップアウト率、ストライド／パディング、及びフィルタカウント）、及びニューラルネットワークアーキテクチャ８００の複数のブロック８０４Ａ～８０４Ｄの各々によって使用するための最良の活性化関数の調整に焦点を当てた。図１１に示すように、使用したバッチサイズは６４～１２８の範囲であった。所与のバッチサイズの影響は、ニューラルネットワークアーキテクチャ８００によって使用される対応する数の訓練エポックに依存していた。平均して、最良の精度は、多くのエポックにわたってより小さいバッチサイズ使用することから導き出されたが、これは表に示される交差検証スコアに見られる。

【0063】

図１１に例解する試料実験では、エポック効果は、バッチサイズ及びドロップアウト率に依存していた。概して、大きいバッチサイズ及び大きいドロップアウト率があれば、少ない訓練エポックでも高い精度が得られる。所与のドロップアウト率の影響は、訓練エポック数に大きく依存していた。十分な訓練時間を考慮すると、理想的なドロップアウト率は、およそ１５％であると判定された。概して、ドロップアウト率を調整することは、ニューラルネットワークアーキテクチャ８００の第２の隠れ層に続いて、最高の性能改善をもたらした。ストライド及びパディングの数は、統計的に有意な方法でニューラルネットワークアーキテクチャ８００の性能にほとんど影響を与えなかった。ニューラルネットワークアーキテクチャ８００の複数のブロック８０４Ａ～８０４Ｄの各々によって使用するために試験された活性化関数には、シグモイド（ロジスティック関数）、Ｔａｎｈ（双曲線正接）、及びＲｅＬＵ（整流された線形単位）が含まれていた。シグモイド活性化関数は、最も低い試験精度を作り出した（図１１）。ＲｅＬＵ活性化関数は、最も高い試験精度を作り出した（図１１）。Ｔａｎｈ活性化関数は、短い訓練サイクルでは有効であったが、中間及び大きい訓練サイクル（例えば、エポック）では、ＲｅＬＵ活性化関数に劣っていた。

【0064】

上述のように、複数の出力特徴は、入力ＦＩＭ画像８０２をニューラルネットワークアーキテクチャ８００の複数のブロック８０４Ａ～８０４Ｄに通過させた結果として判定され得る。図１２は、ニューラルネットワークアーキテクチャ８００によって生成され得る例示的な特徴マップを示す。例えば、第１の入力ＦＩＭ画像８０２Ａは、少なくとも１つのタンパク質ＳＶＰを含んでもよく、図１２に示す特徴マップ１２０２、１２０６、及び１２１０は、画像８０２Ａをニューラルネットワークアーキテクチャ８００の複数のブロック８０４Ａ～８０４Ｄに通過させた結果として判定され得る出力特徴に対応する。別の実施例として、第２の入力ＦＩＭ画像８０２Ｂは、少なくとも１つのシリコンＳＶＰを含んでもよく、図１２に示される特徴マップ１２０４、１２０８、及び１２１２は、画像８０２Ｂをニューラルネットワークアーキテクチャ８００の複数のブロック８０４Ａ～８０４Ｄに通過させた結果として判定され得る出力特徴に対応する。

【0065】

特徴マップ１２０２は、画像８０２Ａをニューラルネットワークアーキテクチャ８００の第１のブロック８０４Ａに通すことに対応する特徴マップを表し得る一方で、特徴マップ１２０４は、画像８０２Ｂをニューラルネットワークアーキテクチャ８００の第１のブロック８０４Ａに通すことに対応する特徴マップを表し得る。特徴マップ１２０６は、画像８０２Ａをニューラルネットワークアーキテクチャ８００の第２のブロック８０４Ｂに通すことに対応する特徴マップを表し得る一方で、特徴マップ１２０８は、画像８０２Ｂをニューラルネットワークアーキテクチャ８００の第２のブロック８０４Ｂに通すことに対応する特徴マップを表し得る。特徴マップ１２１０は、画像８０２Ａをニューラルネットワークアーキテクチャ８００の第３のブロック８０４Ｃに通すことに対応する特徴マップを表し得る一方で、特徴マップ１２１２は、画像８０２Ｂをニューラルネットワークアーキテクチャ８００の第３のブロック８０４Ｃに通すことに対応する特徴マップを表し得る。

【0066】

ここで図１３を参照すると、ニューラルネットワークアーキテクチャ８００の精度を描写するグラフが示されている。図１３に示すように、ニューラルネットワークアーキテクチャ８００は、反復回数が７５を超えると、著しくより正確になる。図１３によっても示されるように、ニューラルネットワークアーキテクチャ８００の精度は、反復回数が１５０回を超えた後、著しく向上することはない。

【0067】

図１４Ａ～図１４Ｄは、ニューラルネットワークアーキテクチャ８００の精度を描写する一連の表を示す。図１４Ａは、ＳＶＰタイプ、すなわちタンパク質又はシリコンに基づくパーセント精度を示す。図１４Ｂは、ＥＣＤサイズに基づくパーセント精度を示す。図１４Ｃは、図１１に示すような使用された実験及びパラメータに関連するニューラルネットワークアーキテクチャ８００のパーセントジ精度を示し、図１４Ｄは、ＥＣＤサイズに基づく同じ実験に対するパーセント精度を示す。

【0068】

図１５は、ニューラルネットワークアーキテクチャ８００の精度、精密度、再現率、及びＦ１スコアのレベルを示す。図１５に示すように、ＳＶＰをタンパク質粒子又はシリコン粒子として分類するために、８２．３％の全体的な精度が達成された。図１６は、粒子数に対するＥＣＤサイズに基づくニューラルネットワークアーキテクチャ８００の性能の関連する統計を示す。Ｓ因子分析を使用するなどの現在の業界標準と比較して、図１３～図１６は、ニューラルネットワークアーキテクチャ８００が、ＳＶＰを区別する能力が高いことを実証している。

【0069】

図１７は、粒子分類のための本方法及びシステムを実装するための例示的な環境１７００を描写するブロック図を示す。図１７に示す例示的な環境１７００は、コンピューティングデバイス１７０１と、ネットワーク１７０４を通して接続されたサーバ１７０２と、を備える。態様では、記載されるいずれの方法のいくつか又は全てのステップも、コンピューティングデバイス１７０１及び／又はサーバ１７０２によって実施されてもよい。コンピューティングデバイス１７０１は、画像データ１７２０及び／又は分類データ１７２２（例えば、ＦＩＭ画像、関連データ、及び本明細書に記載される１つ以上の機械学習モデル）のうちの１つ以上を記憶するように構成されている１つ以上のコンピュータを備えることができる。サーバ１７０２は、画像データ１７２０及び／又は分類データ１７２２を記憶するように構成されている１つ以上のコンピュータを備えることができる。複数のサーバ１７０２は、ネットワーク１７０４を通じてコンピューティングデバイス１７０１と通信することができる。

【0070】

コンピューティングデバイス１７０１及びサーバ１７０２は各々、ハードウェアアーキテクチャに関して、概してプロセッサ１７０８、メモリシステム１７１０、入力／出力（Ｉ／Ｏ）インターフェース１７１２、及びネットワークインターフェース１７１４を含む、デジタルコンピュータを備え得る。これらの構成要素は、ローカルインターフェース１７１６を介して通信的に結合され得る。ローカルインターフェース１７１６は、例えば、当該技術分野で既知の１つ以上のバス又は他の有線若しくは無線接続であることができるが、これに限定されない。ローカルインターフェース１７１６は、通信を可能にするために、コントローラ、バッファ（キャッシュ）、ドライバ、リピータ、レシーバなど、簡略化のために省略されている追加の要素を有することができる。更に、ローカルインターフェースは、前述の構成要素間の適切な通信を可能にするためのアドレス、制御、及び／又はデータ接続を含んでもよい。

【0071】

プロセッサ１７０８は、特にメモリシステム１７１０に記憶される、ソフトウェアを実行するためのハードウェアデバイスであることができる。プロセッサ１７０８は、任意のカスタム作製又は市販のプロセッサ、中央処理ユニット（ＣＰＵ）、コンピューティングデバイス１７０１及びサーバ１７０２に関連付けられたいくつかのプロセッサの中の補助プロセッサ、半導体ベースのマイクロプロセッサ（マイクロチップ若しくはチップセットの形態）、又はソフトウェア命令を実行するための概して任意のデバイスとすることができる。コンピューティングデバイス１７０１及び／又はサーバ１７０２が動作中であるとき、プロセッサ１７０８は、メモリシステム１７１０内に記憶されているソフトウェアを実行し、メモリシステム１７１０への及びそこからのデータを通信し、ソフトウェアに従って、コンピューティングデバイス１７０１及びサーバ１７０２の動作を概ね制御するように構成することができる。

【0072】

Ｉ／Ｏインターフェース１７１２は、１つ以上のデバイス又は構成要素からユーザ入力を受信するため、かつ／又は１つ以上のデバイス又は構成要素にシステム出力を提供するために使用することができる。ユーザ入力は、例えば、キーボード及び／又はマウスを介して提供することができる。システム出力は、表示デバイス及びプリンタ（図示せず）を介して提供することができる。Ｉ／Ｏインターフェース１７１２は、例えば、シリアルポート、パラレルポート、スモールコンピュータシステムインターフェース（ＳＣＳＩ）、赤外（ＩＲ）インターフェース、無線周波数（ＲＦ）インターフェース、及び／又はユニバーサルシリアルバス（ＵＳＢ）インターフェースを含むことができる。

【0073】

ネットワークインターフェース１７１４は、コンピューティングデバイス１７０１及び／又はネットワーク１７０４上のサーバ１７０２から送信及び受信するために使用することができる。ネットワークインターフェース１７１４は、例えば、１０ＢａｓｅＴ Ｅｔｈｅｒｎｅｔアダプタ、１００ＢａｓｅＴ Ｅｔｈｅｒｎｅｔアダプタ、ＬＡＮ ＰＨＹ Ｅｔｈｅｒｎｅｔアダプタ、Ｔｏｋｅｎ Ｒｉｎｇアダプタ、ワイヤレスネットワークアダプタ（例えば、ＷｉＦｉ、セルラー、サテライト）、又は任意の他の好適なネットワークインターフェースデバイスを含み得る。ネットワークインターフェース１７１４は、ネットワーク１７０４上での適切な通信を可能にするためのアドレス、制御、及び／又はデータ接続を含み得る。

【0074】

メモリシステム１７１０は、揮発性メモリ素子（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭなどのＲＡＭ））及び不揮発性メモリ素子（例えば、ＲＯＭ、ハードドライブ、テープ、ＣＤＲＯＭ、ＤＶＤＲＯＭなど）のうちのいずれか１つ又はその組み合わせを含むことができる。更に、メモリシステム１７１０は、電子、磁気、光学、及び／又は他のタイプの記憶媒体を組み込んでもよい。メモリシステム１７１０は、様々な構成要素が互いに離れて位置するが、プロセッサ１７０８によってアクセスすることができる、分散型アーキテクチャを有することができることに留意されたい。

【0075】

メモリシステム１７１０内のソフトウェアは、１つ以上のソフトウェアプログラムを含み得、これらの各々は、論理機能を実装するための実行可能な命令の順序付けされたリストを含む。図１７の実施例では、コンピューティングデバイス１７０１のメモリシステム１７１０におけるソフトウェアは、実験データ１７２０、計算導出データ１７２２、予測モジュール１７２６、及び好適なオペレーティングシステム（Ｏ／Ｓ）１７１８を含むことができる。図１７の実施例では、サーバ１７０２のメモリシステム１７１０内のソフトウェアは、実験データ１７２０、計算導出データ１７２２、及び好適なオペレーティングシステム（Ｏ／Ｓ）１７１８を含むことができる。オペレーティングシステム１７１８は、他のコンピュータプログラムの実行を本質的に制御し、スケジューリング、入力－出力制御、ファイル及びデータ管理、メモリ管理、及び通信制御、並びに関連するサービスを提供する。

【0076】

例解の目的で、アプリケーションプログラム及びオペレーティングシステム１７１８などの他の実行可能なプログラム構成要素は、本明細書では別々のブロックとして例解されているが、そのようなプログラム及び構成要素は、コンピューティングデバイス１７０１及び／又はサーバ１７０２の異なる記憶構成要素内で、様々な時間に存在できることが認識される。本明細書で説明する方法はいずれも、コンピュータ可読媒体上に具現化されたコンピュータ可読命令に記憶させることができる。コンピュータ可読媒体は、コンピュータによってアクセス可能な任意の利用可能媒体とすることができる。実施例として、かつ限定を意図するものではないが、コンピュータ可読媒体は、「コンピュータ記憶媒体」及び「通信媒体」を含むことができる。「コンピュータ記憶媒体」は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの、情報を記憶するための任意の方法又は技術で実装される、揮発性及び不揮発性の取り外し可能な媒体及び取り外し不能な媒体を含むことができる。例示的なコンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶デバイス若しくは他の磁気記憶デバイス、又は所望の情報の記憶に使用することができ、かつコンピュータによってアクセスすることができる任意の他の媒体を含むことができる。

【0077】

図１８は、粒子分類のための例示的な方法１８００のフローチャートを示す。方法１８００のステップは、単一のコンピューティングデバイス、複数のコンピューティングデバイス、及び同様のものによって、全体的又は部分的に実施されてもよい。例えば、方法１８００は、アプリケーションモジュール１１３を介してクライアントデバイス１１２などのシステム１００のデバイスのうちの１つ以上によって実施され得る。別の実施例として、方法１８００は、ＭＬモジュール６３０などによって、システム６００のデバイスのうちの１つ以上によって実施され得る。更なる実施例として、方法１８００は、ニューラルネットワークアーキテクチャ８００によって実施され得る。なお更なる実施例では、方法１８００の一部のステップは、上述のデバイス及び／又はシステムのうちの１つによって実施されてもよく、方法１８００の他のステップは、別のデバイス及び／又はシステムによって実施されてもよい。

【0078】

ステップ１８１０において、コンピューティングデバイスは、訓練データを受信し得る。訓練データは、医薬品（例えば、本明細書に記載のＦＩＭ画像及び／又は第１の訓練データセット６１０Ａ）に関連付けられた複数のフローイメージング顕微鏡画像などの複数の入力画像を含み得る。複数の入力画像の各入力画像は、少なくとも１つのサブビジブル粒子（ＳＶＰ）を含み得る。少なくとも１つのＳＶＰは、タンパク質粒子、シリコン粒子、繊維粒子、気泡、ガラス粒子などを含み得る。少なくとも１つのＳＶＰは、１．１２５～１３０マイクロメートルの範囲の等価円形直径（ＥＣＤ）を含み得る。

【0079】

一部の実施例では、コンピューティングデバイスは、第２の訓練データを受信してもよい。第２の訓練データは、本明細書に記載のＦＩＭ画像（例えば、本明細書に記載の第２の訓練データセット６１０Ｂ）に関連するメタデータなど、複数の入力画像に関連付けられた画像メタデータを含み得る。画像メタデータは、複数のフローイメージング顕微鏡画像に関連付けられたメタデータを含んでもよい。画像メタデータは、複数の入力画像の各入力画像における少なくとも１つのＳＶＰの場所を示し得る。

【0080】

ステップ１８２０において、コンピューティングデバイスは、複数の訓練画像を生成してもよい。例えば、コンピューティングデバイスは、複数の入力画像（例えば、訓練方法７００に従って訓練のために選択された画像）に基づいて、複数の訓練画像を生成してもよい。複数の訓練画像の各訓練画像は、少なくとも１つのＳＶＰを含み得る。複数の訓練画像の各訓練画像は、少なくとも６４×６４ピクセルのサイズなどの均一なサイズを含み得る。均一なサイズは、本明細書に記載されるように、複数の訓練画像を前処理した結果であり得る。

【0081】

ステップ１８３０において、コンピューティングデバイスは、畳み込みニューラルネットワーク（ＣＮＮ）（例えば、ニューラルネットワークアーキテクチャ８００）を訓練してもよい。例えば、コンピューティングデバイスは、複数の訓練画像に基づいてＣＮＮを訓練してもよい。訓練されたＣＮＮは、１つ以上の試験画像において１つ以上のＳＶＰを、第１のＳＶＰタイプ又は第２のＳＶＰタイプを含むものとして分類するように構成され得る。第１のＳＶＰタイプは、例えば、タンパク質を含んでもよく、第２のＳＶＰタイプは、シリコンを含んでもよい。別の実施例として、訓練されたＣＮＮは、１つ以上の試験画像中の１つ以上のＳＶＰを、特定のＳＶＰタイプ（例えば、シリコン、タンパク質、又は気泡）を含むものとして分類するように構成されてもよい。訓練されたＣＮＮは、少なくとも３つの隠れ層を含み得る。少なくとも３つの隠れ層の各隠れ層は、少なくとも３×３ピクセル（例えば、スライディングウィンドウ５０４）のサイズを含む少なくとも１つのフィルタを備えてもよい。

【0082】

ＣＮＮを訓練することは、複数のハイパーパラメータを判定することを更に含み得る。複数のハイパーパラメータは、６４～２５６の範囲のバッチサイズ、又は５％～５０％の範囲のドロップアウト率のうちの１つ以上を含み得る。ＣＮＮを訓練することは、活性化関数を判定することを更に含み得る。活性化関数は、整流された線形単位活性化（ＲＥＬＵ）関数又は双曲線正接活性化（Ｔａｎｈ）関数を含み得る。

【0083】

図１９は、粒子分類のための例示的な方法１９００のフローチャートを示す。方法１９００のステップは、単一のコンピューティングデバイス、複数のコンピューティングデバイス、及び同様のものによって、全体的又は部分的に実施されてもよい。例えば、方法１９００は、アプリケーションモジュール１１３を介してクライアントデバイス１１２などのシステム１００のデバイスのうちの１つ以上によって実施され得る。別の実施例として、方法１９００は、ＭＬモジュール６３０などによって、システム６００のデバイスのうちの１つ以上によって実施され得る。更なる実施例として、方法１９００は、ニューラルネットワークアーキテクチャ８００によって実施され得る。なお更なる実施例では、方法１９００の一部のステップは、上述のデバイス及び／又はシステムのうちの１つによって実施されてもよく、方法１９００の他のステップは、別のデバイス及び／又はシステムによって実施されてもよい。

【0084】

ステップ１９１０において、コンピューティングデバイスは、少なくとも１つの入力画像（例えば、ＦＩＭ画像）を受信してもよい。少なくとも１つの入力画像は、少なくとも１つのサブビジブル粒子（ＳＶＰ）を含み得る。少なくとも１つの入力画像は、医薬品に関連付けられた少なくとも１つのフローイメージング顕微鏡画像を含み得る。一部の実施例では、コンピューティングデバイスは、少なくとも１つの入力画像に関連付けられた画像メタデータを受信してもよい。画像メタデータは、少なくとも１つのフローイメージング顕微鏡画像に関連付けられたメタデータを含んでもよい。画像メタデータは、少なくとも１つのＳＶＰの場所を示し得る。

【0085】

ステップ１９２０において、コンピューティングデバイスは、少なくとも１つの前処理された画像を生成してもよい。コンピューティングデバイスは、少なくとも１つの入力画像、及び一部の事例では、画像メタデータに基づいて、少なくとも１つの前処理された画像を生成してもよい。例えば、少なくとも１つの前処理された画像を生成することは、少なくとも１つの入力画像を少なくとも６４×６４ピクセルにサイズ変更することを含み得る。別の実施例として、少なくとも１つの前処理された画像を生成することは、少なくとも１つのセグメンテーションアルゴリズム（例えば、凝集クラスタリング、水流変換など）に基づいて、少なくとも１つのＳＶＰの場所を判定することを含み得る。コンピューティングデバイスは、画像メタデータが場所を示さないとき（又は画像メタデータが方法１９００によって使用されないとき）、少なくとも１つのセグメンテーションアルゴリズムを使用して、少なくとも１つのＳＶＰの場所を判定し得る。他の実施例では、コンピューティングデバイスは、少なくとも１つのセグメンテーションアルゴリズムを使用して、少なくとも１つのＳＶＰの場所を判定して、画像メタデータによって示される場所を確認／検証し得る。

【0086】

ステップ１９３０において、コンピューティングデバイスは、少なくとも１つのＳＶＰの分類を判定し得る。例えば、コンピューティングデバイスは、ＳＶＰのタイプを判定し得る。コンピューティングデバイスは、ニューラルネットワークアーキテクチャ８００などの訓練された畳み込みニューラルネットワーク（ＣＮＮ）を使用して、少なくとも１つのＳＶＰの分類を判定し得る。追加的に、又は代替的に、コンピューティングデバイスは、少なくとも１つの前処理された画像を訓練されたＣＮＮに通過させることによって、少なくとも１つのＳＶＰの分類を判定し得る。

【0087】

コンピューティングデバイスは、ＣＮＮを訓練してもよい。例えば、コンピューティングデバイスは、複数の訓練画像に基づいてＣＮＮを訓練してもよい。訓練されたＣＮＮは、１つ以上の試験画像において１つ以上のＳＶＰを、第１のＳＶＰタイプ又は第２のＳＶＰタイプを含むものとして分類するように構成され得る。第１のＳＶＰタイプはタンパク質を含んでもよく、第２のＳＶＰタイプはシリコンを含んでもよい。訓練されたＣＮＮは、少なくとも３つの隠れ層を含み得る。少なくとも３つの隠れ層の各隠れ層は、少なくとも３×３ピクセル（例えば、スライディングウィンドウ５０４）のサイズを含む少なくとも１つのフィルタを備えてもよい。ＣＮＮを訓練することは、複数のハイパーパラメータを判定することを含み得る。複数のハイパーパラメータは、６４～２５６の範囲のバッチサイズ、又は５％～５０％の範囲のドロップアウト率のうちの１つ以上を含み得る。ＣＮＮを訓練することは、活性化関数を判定することを更に含み得る。活性化関数は、整流された線形単位活性化（ＲＥＬＵ）関数又は双曲線正接活性化（Ｔａｎｈ）関数を含み得る。

【0088】

ステップ１９４０において、コンピューティングデバイスは、少なくとも１つのＳＶＰの分類の表示を出力し得る。例えば、コンピューティングデバイスは、ユーザインターフェース又は他の機構を介して、少なくとも１つのＳＶＰがタンパク質粒子を含むことを示す。メッセージ、レポートなどを介して表示を提供することなど、他の実施例も可能である。更に他の実施例では、コンピューティングデバイスは、少なくとも１つのＳＶＰの分類を示すデータレコードを保存し得る。

【0089】

図２０は、粒子分類のための例示的な方法２０００のフローチャートを示す。方法２０００のステップは、単一のコンピューティングデバイス、複数のコンピューティングデバイス、及び同様のものによって、全体的又は部分的に実施されてもよい。例えば、方法２０００は、アプリケーションモジュール１１３を介してクライアントデバイス１１２などのシステム１００のデバイスのうちの１つ以上によって実施され得る。別の実施例として、方法２０００は、ＭＬモジュール６３０などによって、システム６００のデバイスのうちの１つ以上によって実施され得る。更なる実施例として、方法２０００は、ニューラルネットワークアーキテクチャ８００によって実施され得る。なお更なる実施例では、方法２０００の一部のステップは、上述のデバイス及び／又はシステムのうちの１つによって実施されてもよく、方法２０００の他のステップは、別のデバイス及び／又はシステムによって実施されてもよい。

【0090】

ステップ２０１０において、コンピューティングデバイスは、少なくとも１つの入力画像（例えば、ＦＩＭ画像）を受信してもよい。少なくとも１つの入力画像は、複数の１つのサブビジブル粒子（ＳＶＰ）を含み得る。少なくとも１つの入力画像は、医薬品に関連付けられた少なくとも１つのフローイメージング顕微鏡画像を含み得る。一部の実施例では、コンピューティングデバイスは、少なくとも１つの入力画像に関連付けられた画像メタデータを受信してもよい。画像メタデータは、少なくとも１つのフローイメージング顕微鏡画像に関連付けられたメタデータを含んでもよい。画像メタデータは、複数のＳＶＰの各ＳＶＰの場所を示し得る。

【0091】

ステップ２０２０において、コンピューティングデバイスは、複数の前処理された画像を生成してもよい。複数の前処理された画像の各前処理された画像は、複数のＳＶＰのうちの１つを含み得る。コンピューティングデバイスは、少なくとも１つの入力画像に基づいて、複数の前処理された画像を生成してもよい。追加的に、又は代替的に、コンピューティングデバイスは、少なくとも１つの入力画像及び画像メタデータに基づいて、複数の前処理された画像を生成し得る。例えば、複数の前処理された画像を生成することは、少なくとも１つの入力画像を少なくとも６４×６４ピクセルにサイズ変更することを含み得る。別の実施例として、複数の前処理された画像を生成することは、少なくとも１つのセグメンテーションアルゴリズム（例えば、凝集クラスタリング、水流変換など）に基づいて、複数のＳＶＰの各ＳＶＰの場所を判定することを含み得る。コンピューティングデバイスは、画像メタデータが場所を示さない場合（又は画像メタデータが方法２０００によって使用されない場合）、少なくとも１つのセグメンテーションアルゴリズムを使用して、複数のＳＶＰの各ＳＶＰの場所を判定し得る。他の実施例では、コンピューティングデバイスは、少なくとも１つのセグメンテーションアルゴリズムを使用して、複数のＳＶＰの各ＳＶＰの場所を判定して、画像メタデータによって示される場所を確認／検証し得る。

【0092】

ステップ２０３０において、コンピューティングデバイスは、複数のＳＶＰの各ＳＶＰの分類を判定し得る。例えば、コンピューティングデバイスは、複数のＳＶＰの各ＳＶＰのタイプを判定し得る。コンピューティングデバイスは、ニューラルネットワークアーキテクチャ８００などの訓練された畳み込みニューラルネットワーク（ＣＮＮ）を使用して、複数のＳＶＰの各ＳＶＰの分類を判定し得る。追加的に、又は代替的に、コンピューティングデバイスは、複数の前処理された画像の各前処理された画像を訓練されたＣＮＮに通すことによって、複数のＳＶＰの各ＳＶＰの分類を判定し得る。

【0093】

ステップ２０４０において、コンピューティングデバイスは、複数のＳＶＰの各ＳＶＰの分類の表示を出力し得る。例えば、コンピューティングデバイスは、ユーザインターフェース又は他の機構を介して、複数のＳＶＰの各ＳＶＰの分類を示す。メッセージ、レポートなどを介して表示を提供することなど、他の実施例も可能である。更に他の実施例では、コンピューティングデバイスは、複数のＳＶＰの各ＳＶＰの分類を示すデータレコードを保存し得る。

【0094】

方法及びシステムは、好ましい実施形態及び特定の実施例に関連して記載されているが、その範囲は、記載されている特定の実施形態に限定されることを意図するものではない。この理由は、本明細書中の実施形態が、全ての点において限定的ではなくむしろ例解的であることを意図したものであるからである。

【0095】

別途明記しない限り、本明細書中に記載のいかなる方法も、そのステップを特定の順序で実施することを必要としていると解釈するべきであることを意図するものでは決してない。したがって、方法についてのある請求項が、実際にそのステップに従うべき順序を列挙していない場合、又は、特許請求の範囲若しくは明細書において特定の順序に限定されることが別途明記されていない場合には、いかなる点においても、順序を推定することは決して意図されない。これは、ステップの配置又は操作の流れの配列に関するロジックの問題、文法的な編成又は句読法から導き出される明白な意味、本明細書中に記載されている実施形態の数又はタイプを含む、解釈するための、あらゆる可能な非明示的基礎に対して成り立つ。

【0096】

当業者は、通常の実験だけを用いることで、本明細書に記載の方法及び組成物の特定の実施形態の多数の同等物を認識し、又は確認できる。かかる同等物は、以下の特許請求の範囲に包含されることが意図される。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図14C】

【図14D】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【国際調査報告】