特表 2023-550927 細胞画像分類のための効率的かつロバストな高速ニューラルネットワーク

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-06

(54)【発明の名称】細胞画像分類のための効率的かつロバストな高速ニューラルネットワーク

(51)【国際特許分類】

   G01N 15/14 20060101AFI20231129BHJP

   G01N 33/48 20060101ALI20231129BHJP

   C12Q 1/02 20060101ALI20231129BHJP

   C12M 1/34 20060101ALI20231129BHJP

   G06T 7/00 20170101ALI20231129BHJP

   G06V 10/82 20220101ALI20231129BHJP

   G06V 20/69 20220101ALI20231129BHJP

【ＦＩ】

G01N15/14 C

G01N15/14 B

G01N33/48 M

C12Q1/02

C12M1/34 A

G06T7/00 350C

G06T7/00 630

G06V10/82

G06V20/69

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023530264

(86)(22)【出願日】2021-11-19

(85)【翻訳文提出日】2023-05-18

(86)【国際出願番号】 IB2021060728

(87)【国際公開番号】W WO2022107053

(87)【国際公開日】2022-05-27

(31)【優先権主張番号】63/116,088

(32)【優先日】2020-11-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/372,150

(32)【優先日】2021-07-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】504257564

【氏名又は名称】ソニー コーポレイション オブ アメリカ

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】ゴン リユ

(72)【発明者】

【氏名】リウ ミン－チャン

【テーマコード（参考）】

2G045

4B029

4B063

5L096

【Ｆターム（参考）】

2G045AA24

2G045FA19

2G045JA01

2G045JA03

2G045JA07

4B029AA07

4B029BB11

4B029FA01

4B029GA08

4B029GB06

4B029GB10

4B063QA18

4B063QQ02

4B063QR72

4B063QS36

4B063QS39

4B063QX02

5L096BA18

5L096CA22

5L096GA51

5L096HA11

5L096KA04

5L096KA15

5L096MA07

(57)【要約】

本明細書では、細胞画像分類のための効率的かつロバストな高速ニューラルネットワークを説明する。細胞画像分類のためのニューラルネットワークは、ソフトマックススコア間の差分を利用して、細胞が曖昧であるか否かを判断する。細胞が曖昧である場合、擬似クラスに細胞を分類し、細胞が曖昧ではない場合、最も高いクラススコアに対応するクラスに細胞を分類する。細胞画像分類のためのニューラルネットワークは、高速度、高精度及び高再現率の実装を可能にする。
【選択図】図１

【特許請求の範囲】

【請求項1】

方法であって、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理するステップと、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと２番目に高いソフトマックススコアとを比較して、差分を求めるステップと、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類するステップと、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類するステップと、
を含むことを特徴とする方法。

【請求項2】

前記ニューラルネットワークは、２つの畳み込み層と、１つの全結合層とを含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記ソフトマックススコアは、０以上１以下であることを特徴とする、請求項１に記載の方法。

【請求項4】

前記閾値は、履歴情報に基づいて設定されて、高い適合率（ｐｒｅｃｉｓｉｏｎ）及び高い再現率（ｒｅｃａｌｌ）を生成することを特徴とする、請求項１に記載の方法。

【請求項5】

前記閾値は、機械学習及び人工知能によって決定されることを特徴とする、請求項１に記載の方法。

【請求項6】

前記閾値は、ユーザによって手動で決定されることを特徴とする、請求項１に記載の方法。

【請求項7】

前記細胞画像を取得するステップを更に含むことを特徴とする、請求項１に記載の方法。

【請求項8】

装置であって、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理し、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと２番目に高いソフトマックススコアとを比較して、差分を求め、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、
ためのアプリケーションを記憶するための非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含むことを特徴とする装置。

【請求項9】

前記ニューラルネットワークは、２つの畳み込み層と、１つの全結合層とを含むことを特徴とする、請求項８に記載の装置。

【請求項10】

前記ソフトマックススコアは、０以上１以下であることを特徴とする、請求項８に記載の装置。

【請求項11】

前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成することを特徴とする、請求項８に記載の装置。

【請求項12】

前記閾値は、機械学習及び人工知能によって決定されることを特徴とする、請求項８に記載の装置。

【請求項13】

前記閾値は、ユーザによって手動で決定されることを特徴とする、請求項８に記載の装置。

【請求項14】

前記装置は、前記細胞画像を取得するように更に構成されることを特徴とする、請求項８に記載の装置。

【請求項15】

システムであって、
細胞画像を取得するように構成される第１の装置と、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、前記細胞画像を処理し、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと２番目に高いソフトマックススコアとを比較して、差分を求め、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、
ように構成される第２の装置と、
を含むことを特徴とするシステム。

【請求項16】

前記ニューラルネットワークは、２つの畳み込み層と、１つの全結合層とを含むことを特徴とする、請求項１５に記載のシステム。

【請求項17】

前記ソフトマックススコアは、０以上１以下であることを特徴とする、請求項１５に記載のシステム。

【請求項18】

前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成することを特徴とする、請求項１５に記載のシステム。

【請求項19】

前記閾値は、機械学習及び人工知能によって決定されることを特徴とする、請求項１５に記載のシステム。

【請求項20】

前記閾値は、ユーザによって手動で決定されることを特徴とする、請求項１５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願の相互参照〕
本出願は、米国特許法第１１９条（ｅ）の下で、２０２０年１１月１９日出願の米国仮特許出願第６３／１１６，０８８号「細胞画像分類のための効率的かつロバストな高速ニューラルネットワーク（ＥＦＦＩＣＩＥＮＴ ＡＮＤ ＲＯＢＵＳＴ ＨＩＧＨ－ＳＰＥＥＤ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫＳ ＦＯＲ ＣＥＬＬ ＩＭＡＧＥ ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ）」の優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。

【0002】

本発明は、セルソーティングに関する。より具体的には、本発明は、画像ベースのセルソーティングに関する。

【背景技術】

【0003】

細胞画像分析は、生物学的及び医学的研究においてますます重要な役割を果たすが、既存の方法は、セルソーティングなどのリアルタイム高速アプリケーションのために利用することができない。通常、ディープニューラルネットワークを構築して、高精度（ｈｉｇｈ ａｃｃｕｒａｃｙ）分類を達成するが、その複雑さは、超高速を必要とするリアルタイムアプリケーションにおける使用を限定する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本明細書では、細胞画像分類のための効率的かつロバストな高速ニューラルネットワークを説明する。細胞画像分類のためのニューラルネットワークは、ソフトマックススコア間の差分を利用して、細胞が曖昧（ａｍｂｉｇｕｏｕｓ）であるか否かを判断する。細胞が曖昧である場合、擬似クラスに細胞を分類し、細胞が曖昧ではない場合、最も高いクラススコアに対応するクラスに細胞を分類する。細胞画像分類のためのニューラルネットワークは、高速度、高精度及び高再現率の実装を可能にする。

【0005】

最新の方法は、ブースティング及び手動で設計された特徴に基づく。深層学習ベースの方法（例えば、ＤｅｅｐＦｌｏｗ、ＲｅｓＮｅｔ）も提案されている。それらの既存の方法の全てが、画像活性化セルソーティングを含む通常のアプリケーションの速度要件を満たすとは限らない。

【課題を解決するための手段】

【0006】

１つの態様では、方法は、クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理するステップと、前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと２番目に高いソフトマックススコアとを比較して、差分を求めるステップと、前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類するステップと、前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類するステップと、を含む。前記ニューラルネットワークは、２つの畳み込み層と、１つの全結合層とを含む。前記ソフトマックススコアは、０以上１以下である。前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する。前記閾値は、機械学習及び人工知能によって決定される。前記閾値は、ユーザによって手動で決定される。前記方法は、前記細胞画像を取得するステップを更に含む。

【0007】

別の態様では、装置は、クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理し、前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと２番目に高いソフトマックススコアとを比較して、差分を求め、前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、ためのアプリケーションを記憶するための非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記ニューラルネットワークは、２つの畳み込み層と、１つの全結合層とを含む。前記ソフトマックススコアは、０以上１以下である。前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する。前記閾値は、機械学習及び人工知能によって決定される。前記閾値は、ユーザによって手動で決定される。前記装置は、前記細胞画像を取得するように更に構成される。

【0008】

別の態様では、システムは、細胞画像を取得するように構成される第１の装置と、クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、前記細胞画像を処理し、前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと２番目に高いソフトマックススコアとを比較して、差分を求め、前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、ように構成される第２の装置と、を含む。前記ニューラルネットワークは、２つの畳み込み層と、１つの全結合層とを含む。前記ソフトマックススコアは、０以上１以下である。前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する。前記閾値は、機械学習及び人工知能によって決定される。前記閾値は、ユーザによって手動で決定される。

【図面の簡単な説明】

【0009】

【図1】いくつかの実施形態による細胞画像分類のためのニューラルネットワークを実装する方法のフローチャートを示す図である。

【図2】いくつかの実施形態によるニューラルネットワークアーキテクチャの図である。

【図3】いくつかの実施形態による、ソフトマックススコアに基づいて再現率を適合率とトレードするフローチャートを示す図である。

【図4】いくつかの実施形態による例示的な分類のチャートを示す図である。

【図5】いくつかの実施形態による細胞画像分類のためのニューラルネットワークを実装するように構成される例示的なコンピュータ装置のブロック図である。

【図6】いくつかの実施形態による生体サンプル分析器の全体構成を概略的に示す図である。

【発明を実施するための形態】

【0010】

超高速リアルタイム細胞画像分類に適した浅い２つの畳み込み層のニューラルネットワークアーキテクチャが、設計され確立された。また、アルゴリズムは、適合率と再現率との間の共通のトレードオフのピットフォール（ｐｉｔｆａｌｌ）を最小にして、高い適合率及び高い再現率を達成することができる。

【0011】

細胞画像分類を含むニューラルネットワークは、多くの細胞画像分類アプリケーションのまだ満たされていないニーズ－主に２つの重要な要件、すなわち、高精度及び高速度に対処する。既存の古典的な機械学習ベースの方法（例えば、ブースティング、手動で設計された特徴を含むＳＶＭ）及び深層学習ベースの方法は、速度要件を満たすことができない。本明細書で説明する方法は、アーキテクチャ探索技術によって設計される浅いニューラルネットワークアーキテクチャ及び新規の適合率－再現率トレードオフモジュールに起因して、非常に高速で動作するだけでなく、高精度も達成する。

【0012】

細胞画像分類を含むニューラルネットワークは、画像ベースのフローサイトメトリーシステムで使用することができ、これは、高スループット及び高精度を含む。細胞画像分類を含むニューラルネットワークは、細胞画像組織化、検索等などの他の細胞画像分析システムで使用することもできる。

【0013】

図１に、いくつかの実施形態による細胞画像分類のためのニューラルネットワークを実装する方法のフローチャートを示す。ステップ１００において、細胞画像を取得する。細胞画像は、顕微鏡及びカメラを含むシステムを使用するなどの任意の方法で取得することができる。

【0014】

ステップ１０２において、ニューラルネットワークを使用して、細胞画像を処理する。ニューラルネットワークは、任意のタイプのニューラルネットワーク、例えば、２つの畳み込み層と、１つの全結合層とを含むニューラルネットワークとすることができる。ニューラルネットワークは、細胞の分類スコアであるソフトマックススコアを生成する。例えば、ソフトマックススコアは、０以上１以下の数であり、この場合、あるクラスに対して数が１に近いほど、そのクラスに細胞が存在する可能性が高いことを意味し、あるクラスに対して数が０に近いほど、そのクラスに細胞が存在する可能性が低いことを意味する。単一の細胞に対して複数のソフトマックススコア（例えば、クラスごとに１つのスコア）を生成することができる。例えば、ニューラルネットワークによって細胞を分析して、全ての５つのクラスに対してソフトマックススコアを生成する。例えば、白血球を分類する時に、５つのクラス／分類（例えば、好中球、好酸球、好塩基球、単球、リンパ球）が存在する。異なるクラスに対する１つの例示的な画像からのスコアは、合計すると１になる。例えば、［０．５，０．２，０．１，０．１，０．１］は、５つのクラスに対して有効なスコアである。ソフトマックススコアは、複数のクラスのうちの各クラスの予測確率を決定するための標準計算（ソフトマックス関数）である。例示的なソフトマックス関数は、次式を含む。

上式において、ｌ_i,cは、例ｉに対して、クラスｃごとのロジットである。

【0015】

ステップ１０４において、適合率－再現率トレードオフを適用して、高速度及び高精度を達成して、クラス又は擬似クラスに細胞を分類する。本明細書で説明するように、単に最も高いソフトマックススコアに基づいて細胞を分類する代わりに、２つの最も高いソフトマックススコアを比較して（例えば、最も高いスコア－２番目に高いスコア）、２つの最も高いソフトマックススコア間の差分が閾値に等しいか又はそれを上回る場合、最も高いソフトマックススコアを含むクラスに細胞（画像）を分類する。差分が閾値よりも小さい場合、擬似クラスに細胞（画像）を分類する。いくつかの実施形態では、ステップの順序が変更される。いくつかの実施形態では、より少ない又は追加のステップを実装する。

【0016】

図２に、いくつかの実施形態によるニューラルネットワークアーキテクチャの図を示す。畳み込みニューラルネットワークは、細胞画像入力を受け取る。畳み込みニューラルネットワークは、正規化線形活性化関数（ＲｅＬＵ）を使用して、正（ｐｏｓｉｔｉｖｅ）の場合は、入力を直接出力し、そうでない場合には、出力はゼロである。次に、最大プーリングを使用して、２ｘ２データを１つの値にダウンサンプリングする。この値は、２ｘ２の代表的な画像である最大値である。畳み込みニューラルネットワーク及びＲｅＬＵの別の層が存在する。次に、全体平均プーリングを実装する。最後に、ソフト最大（ソフトマックス）スコアを達成する。ソフトマックスは、確率に類似した正規化されたスコアである。ソフトマックススコアは、信頼レベル閾値として使用することができる。ソフトマックススコアは、０以上１以下の数である。ソフトマックススコアは、任意のマルチクラス分類器の標準出力である。

【0017】

図３に、いくつかの実施形態による、ソフトマックススコアに基づいて再現率を適合率とトレードするフローチャートを示す。ステップ３００において、ソフトマックススコアを生成する及び／又は受け取る。ステップ３０２において、ソフトマックススコアの決定に基づく分類が曖昧であるかどうかを判断する。Ｓ₁－Ｓ₂＜ｔである場合、判断は曖昧である。この式において、Ｓ₁は最も大きいソフトマックススコアであり、Ｓ₂は２番目に大きいソフトマックススコアであり、ｔはテストセット及び目標適合率によって決定される閾値である。例えば、以前のテスト及び所望の適合率に基づいて、閾値を決定して、所望の適合率を達成することができる（例えば、以前のテスト／履歴データは、０．５の閾値は９０％の適合率をもたらすが、０．６の閾値は９９％の適合率をもたらすと決定し、これはその例の目標である）。別の例では、ユーザによって、閾値を決定及び設定することができる。別の例では、学習及び人工知能を使用して、閾値を調整することができる。ステップ３０４において、細胞がどのクラスに存在するかが曖昧である場合、擬似クラスに細胞を分類する。ステップ３０６において、細胞がどのクラスに属するかが曖昧ではない場合、最も大きいスコアに対応するクラスに細胞を分類する。いくつかの実施形態では、ステップの順序が変更される。いくつかの実施形態では、より少ない又は追加のステップを実装する。

【0018】

図４に、いくつかの実施形態による例示的な分類のチャートを示す。見出しの下の第１行では、例示的なデータは、Ｓ₁－Ｓ₂の差分が０．９であり、非常に高い（かつ閾値を上回る）ので、明瞭であり、システムは（例えばクラス３に）細胞を分類できることを確信している。第２行では、例示的なデータは、Ｓ₁－Ｓ₂の差分が０．１であり、非常に低いので、曖昧であり分類しにくく、擬似クラスに細胞を分類する。ソフトマックススコア間の差分が低い細胞を拒絶することによって、約９９％の適合率及び９８．５％の再現率を達成することができる。

【0019】

図５に、いくつかの実施形態による細胞画像分類のためのニューラルネットワークを実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置５００を使用して、画像及びビデオなどの情報を取得、記憶、計算、処理、通信及び／又は表示することができる。コンピュータ装置５００は、細胞画像分類のためのニューラルネットワークの態様のいずれかを実装することができる。一般に、コンピュータ装置５００を実装するのに適したハードウェア構造は、ネットワークインターフェイス５０２、メモリ５０４、プロセッサ５０６、Ｉ／Ｏデバイス５０８、バス５１０、及び記憶装置５１２を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ５０４は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置５１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置５００は、１又は２以上のネットワークインターフェイス５０２を含むことができる。ネットワークインターフェイスの例は、イーサネット又は他のタイプのＬＡＮに接続されるネットワークカードを含む。Ｉ／Ｏデバイス５０８は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス及び他のデバイスのうちの１又は２以上を含むことができる。細胞画像分類のためのニューラルネットワークを実装するのに使用されるニューラルネットワークアプリケーション５３０は、記憶装置５１２及びメモリ５０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置５００は、図５に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、ニューラルネットワークハードウェア５２０が含まれる。図５のコンピュータ装置５００は、細胞画像分類のためのニューラルネットワークのためのアプリケーション５３０及びハードウェア５２０を含むが、細胞画像分類のためのニューラルネットワークは、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、ニューラルネットワークアプリケーション５３０は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態では、ニューラルネットワークハードウェア５２０は、細胞画像分類のためのニューラルネットワークを実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。

【0020】

いくつかの実施形態では、ニューラルネットワークアプリケーション５３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。

【0021】

好適なコンピュータ装置の例は、顕微鏡、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話／携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、移動体デバイス、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えば、ＤＶＤライター／プレーヤー、高精細ディスクライター／プレーヤー、超高精細ディスクライター／プレーヤー）、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、車両（例えば、自動運転車両）又は他の任意の好適なコンピュータ装置を含む。

【0022】

図６に、いくつかの実施形態による生体サンプル分析器の全体構成を概略的に示す図を示す。

【0023】

図６は、本開示の生体サンプル分析器の例示的な構成を示す。図６に示す生体サンプル分析器６１００は、流路Ｃ内を流れる生体サンプルＳに光を照射する光照射ユニット６１０１と、生体サンプルＳに照射することによって発生する光を検出する検出ユニット６１０２と、検出ユニットによって検出される光についての情報を処理する情報処理ユニット６１０３と、を含む。生体サンプル分析器６１００は、例えば、フローサイトメータ又はイメージングサイトメータである。生体サンプル分析器６１００は、生体サンプル中の特定の生体粒子Ｐを選別するソーティングユニット６１０４を含むことができる。ソーティングユニットを含む生体サンプル分析器６１００は、例えば、セルソーターである。

【0024】

（生体サンプル）
生体サンプルＳは、生体粒子を含む液体サンプルとすることができる。生体粒子は、例えば、細胞又は非細胞生体粒子である。細胞は、生細胞とすることができ、そのより具体的な例は、赤血球及び白血球などの血液細胞、及び精子及び受精卵などの生殖細胞を含む。また、細胞は、全血などのサンプルから直接収集されるものとすることができるか、又は培養の後に取得される培養細胞とすることができる。非細胞生体粒子は、細胞外小胞、特に、例えば、エクソソーム及びマイクロベシクルである。１又は２以上の標識物質（例えば、色素（特に蛍光色素）、及び蛍光色素で標識された抗体）を用いて、生体粒子を標識することができる。本開示の生体サンプル分析器によって、生体粒子以外の粒子を分析することができ、較正等のためにビーズ等を分析することができることに留意されたい。

【0025】

（流路）
流路Ｃは、生体サンプルＳの流れが形成されるように設計される。特に、生体サンプルに含まれる生体粒子が実質的に１列に配列されている流れが形成されるように、流路Ｃを設計することができる。流路Ｃを含む流路構造は、層流が形成されるように設計することができる。特に、生体サンプルの流れ（サンプル流）がシース液の流れによって取り囲まれる層流が形成されるように、流路構造を設計する。流路構造の設計は、当業者によって適宜選択することができるか、又は公知の構造を採用することもできる。流路Ｃは、マイクロチップ（マイクロメートルのオーダーの流路を有するチップ）又はフローセルなどの流路構造に形成することができる。流路Ｃの幅は、１ｍｍ以下であり、特に、１０μｍ以上１ｍｍ以下とすることができる。流路Ｃ及び流路Ｃを含む流路構造は、プラスチック又はガラスなどの材料で形成することができる。

【0026】

本開示の生体サンプル分析器は、流路Ｃ内を流れる生体サンプル、特に、生体サンプル中の生体粒子に、光照射ユニット６１０１からの光が照射されるように設計される。本開示の生体サンプル分析器は、生体サンプル上の光の照射点が、流路Ｃが形成される流路構造内に位置するように設計することができるか、又は照射点が流路構造の外側に位置するように設計することができる。前者の場合の例は、マイクロチップ又はフローセル内の流路Ｃ上に光が発せられる構成とすることができる。後者の場合、流路構造（特に、そのノズル部分）を出た後の生体粒子に光を照射することができ、例えば、ジェットインエアータイプのフローサイトメータを採用することができる。

【0027】

（光照射ユニット）
光照射ユニット６１０１は、光を発する光源ユニットと、照射点に光を導く導光光学システムとを含む。光源ユニットは、１又は２以上の光源を含む。光源のタイプは、例えば、レーザ光源又はＬＥＤである。各光源から発せられるべき光の波長は、紫外線光、可視光、及び赤外線光の任意の波長とすることができる。導光光学システムは、例えば、ビームスプリッタ、ミラー、又は光ファイバなどの光学部品を含む。導光光学システムは、光を集光するためのレンズ群を含むこともでき、例えば、対物レンズを含む。生体サンプル及び光が交差する１又は２以上の照射点が存在することができる。光照射ユニット６１０１は、１つの光源又は異なる光源から１つの照射点上に発せられる光を収集するように設計することができる。

【0028】

（検出ユニット）
検出ユニット６１０２は、生体粒子上に光を発することによって発生する光を検出する少なくとも１つの光検出器を含む。検出すべき光は、例えば、蛍光又は散乱光（前方散乱光、後方散乱光、及び側方散乱光のうちの１又は２以上など）とすることができる。各光検出器は、１又は２以上の受光素子を含み、例えば、受光素子アレイを有する。各光検出器は、受光素子として、１又は２以上の光電子増倍管（ＰＭＴ）及び／又はＡＰＤ及びＭＰＰＣなどのフォトダイオードを含むことができる。光検出器は、例えば、複数のＰＭＴが１次元方向に配置されるＰＭＴアレイを含む。検出ユニット６１０２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを含むこともできる。イメージセンサを用いて、検出ユニット６１０２は、生体粒子の画像（例えば、明視野画像、暗視野画像、又は蛍光画像など）を取得することができる。

【0029】

検出ユニット６１０２は、所定の検出波長の光を対応する光検出器に到達させる検出光学システムを含む。検出光学システムは、プリズム又は回折格子などの分光ユニット、又はダイクロイックミラー又は光フィルタなどの波長分離ユニットを含む。検出光学システムは、例えば、生体粒子への光照射によって発生する光を分散させて、生体粒子の標識に用いられる蛍光色素の数よりも多い数の光検出器を用いて分散光を検出するように設計される。このような検出光学システムを含むフローサイトメータは、スペクトルフローサイトメータと呼ばれる。更に、検出光学システムは、例えば、生体粒子への光照射によって発生する光からの特定の蛍光色素の蛍光波長帯域に対応する光を分離して、対応する光検出器に分離光を検出させるように設計される。

【0030】

検出ユニット６１０２は、光検出器によって取得される電気信号をデジタル信号に変換する信号処理ユニットを含むこともできる。信号処理ユニットは、変換を実行する装置としてＡ／Ｄコンバータを含むことができる。信号処理ユニットによって実行される変換によって取得されるデジタル信号を、情報処理ユニット６１０３に送信することができる。デジタル信号は、情報処理ユニット６１０３によって、光に関連するデータ（以下「光データ」とも呼ばれる）として扱うことができる。光データは、例えば、蛍光データを含む光データとすることができる。より具体的には、光データは、光強度のデータとすることができ、光強度は、蛍光を含む光の光強度データとすることができる（光強度データは、面積、高さ、及び幅などの特徴量を含むことができる）。

【0031】

（情報処理ユニット）
情報処理ユニット６１０３は、様々な種類のデータ（例えば、光データ）の処理を実行する処理ユニットと、例えば、様々な種類のデータを記憶する記憶ユニットとを含む。処理ユニットが、検出ユニット６１０２からの蛍光色素に対応する光データを取得する場合、処理ユニットは、光強度データに対して蛍光漏れ込み補正（コンペンセーションプロセス）を実行することができる。スペクトルフローサイトメータの場合、処理ユニットは、また、光データに対して蛍光分離プロセスを実行して、蛍光色素に対応する光強度データを取得する。蛍光分離プロセスは、例えば、特開２０１１－２３２２５９号公報に開示されるアンミキシング（ｕｎｍｉｘｉｎｇ）方法によって実行することができる。検出ユニット６１０２がイメージセンサを含む場合、処理ユニットは、イメージセンサによって取得される画像に基づいて、生体粒子についての形態学的情報を取得することができる。記憶ユニットは、取得された光データを記憶できるように設計することができる。記憶ユニットは、アンミキシングプロセスで使用すべきスペクトル参照データを更に記憶できるように設計することができる。

【0032】

生体サンプル分析器６１００が後述するソーティングユニット６１０４を含む場合、情報処理ユニット６１０３は、光データ及び／又は形態学的情報に基づいて、生体粒子を分取すべきかどうかを判断することができる。次に、情報処理ユニット６１０３は、判断の結果に基づいてソーティングユニット６１０４を制御し、ソーティングユニット６１０４によって生体粒子を分取することができる。

【0033】

情報処理ユニット６１０３は、様々な種類のデータ（例えば、光データ及び画像など）を出力できるように設計することができる。例えば、情報処理ユニット６１０３は、光データに基づいて生成される様々な種類のデータ（例えば、２次元プロット又はスペクトルプロットなど）を出力することができる。情報処理ユニット６１０３は、様々な種類のデータの入力を受け入れることができるように設計することもでき、例えば、ユーザによるプロット上のゲーティングプロセスを受け入れる。情報処理ユニット６１０３は、出力ユニット（例えば、ディスプレイなど）又は入力ユニット（例えば、キーボードなど）を含み、出力又は入力を実行することができる。

【0034】

情報処理ユニット６１０３は、汎用コンピュータとして設計することができ、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭを含む情報処理装置として設計することができる。情報処理ユニット６１０３は、光照射ユニット６１０１及び検出ユニット６１０２が含まれるハウジング内に含まれることができるか、又はハウジングの外側に位置することができる。更に、情報処理ユニット６１０３によって実行すべき様々なプロセス又は機能は、ネットワークを介して接続されるサーバコンピュータ又はクラウドによって実現することができる。

【0035】

（ソーティングユニット）
ソーティングユニット６１０４は、情報処理ユニット６１０３によって実行される判断の結果に従って、生体粒子のソーティングを実行する。ソーティング方法は、振動によって生体粒子を含む液滴が生成され、分取すべき液滴に電荷が加えられ、電極によって液滴の移動方向が制御される方法とすることができる。ソーティング方法は、流路構造内の生体粒子の移動方向を制御することによって分取する方法とすることができる。流路構造は、例えば、圧力（注入又は吸引）又は電荷に基づく制御機構を有する。流路構造の例は、流路Ｃが下流側で回収流路と廃液流路とに分岐して、特定の生体粒子が回収流路内に収集される流路構造を有するチップ（例えば、特開２０２０－０７６７３６号公報に開示されるチップ）とすることができる。

【0036】

本明細書で説明する細胞画像分類のためのニューラルネットワークを利用するために、カメラを含む顕微鏡などの装置を使用してコンテンツを取得し、装置は、取得されたコンテンツを処理することができる。細胞画像分類のためのニューラルネットワークは、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。

【0037】

動作時、細胞画像分類のためのニューラルネットワークは、高精度、高速度、及び高再現率を可能にする。高精度は近似的に９９％とすることができ、高速度は毎秒２５００個の画像を分類することを含み、高再現率は近似的に９９％である。他の実装は、精度、速度、及び／又は再現率をマッチさせない。

【0038】

サイトメトリーのための精度に関して、精度閾値は、通常、約９９％であり、これは、システムが、正確であると見なされるために９９％の確率で正しいはずであることを意味する。例示的な実装では、一般公開されているデータセットに対して、９９％の適合率及び９８．５％の再現率が存在した。速度に関して、システムは、例えば、Ｔｉｔａｎ Ｘ ＧＰＵ上で、毎秒２５００個の画像を処理する（０．４ｍｓ未満の待ち時間）。

【0039】

細胞画像分類のための効率的かつロバストな高速ニューラルネットワークのいくつかの実施形態
１．方法であって、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理するステップと、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと２番目に高いソフトマックススコアとを比較して、差分を求めるステップと、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類するステップと、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類するステップと、
を含む方法。

【0040】

２．前記ニューラルネットワークは、２つの畳み込み層と、１つの全結合層とを含む、第１項に記載の方法。

【0041】

３．前記ソフトマックススコアは、０以上１以下である、第１項に記載の方法。

【0042】

４．前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する、第１項に記載の方法。

【0043】

５．前記閾値は、機械学習及び人工知能によって決定される、第１項に記載の方法。

【0044】

６．前記閾値は、ユーザによって手動で決定される、第１項に記載の方法。

【0045】

７．前記細胞画像を取得するステップを更に含む、第１項に記載の方法。

【0046】

８．装置であって、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理し、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと２番目に高いソフトマックススコアとを比較して、差分を求め、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、
ためのアプリケーションを記憶するための非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。

【0047】

９．前記ニューラルネットワークは、２つの畳み込み層と、１つの全結合層とを含む、第８項に記載の装置。

【0048】

１０．前記ソフトマックススコアは、０以上１以下である、第８項に記載の装置。

【0049】

１１．前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する、第８項に記載の装置。

【0050】

１２．前記閾値は、機械学習及び人工知能によって決定される、第８項に記載の装置。

【0051】

１３．前記閾値は、ユーザによって手動で決定される、第８項に記載の装置。

【0052】

１４．前記装置は、前記細胞画像を取得するように更に構成される、第８項に記載の装置。

【0053】

１５．システムであって、
細胞画像を取得するように構成される第１の装置と、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、前記細胞画像を処理し、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと２番目に高いソフトマックススコアとを比較して、差分を求め、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、
ように構成される第２の装置と、
を含むシステム。

【0054】

１６．前記ニューラルネットワークは、２つの畳み込み層と、１つの全結合層とを含む、第１５項に記載のシステム。

【0055】

１７．前記ソフトマックススコアは、０以上１以下である、第１５項に記載のシステム。

【0056】

１８．前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する、第１５項に記載のシステム。

【0057】

１９．前記閾値は、機械学習及び人工知能によって決定される、第１５項に記載のシステム。

【0058】

２０．前記閾値は、ユーザによって手動で決定される、第１５項に記載のシステム。

【0059】

本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。

【符号の説明】

【0060】

１００ 細胞画像を取得
１０２ ニューラルネットワークを使用して細胞画像を処理
１０４ 適合率－再現率トレードオフを適用して、クラス又は擬似クラスに細胞を分類
３００ ソフトマックススコアを生成及び／又は受け取る
３０２ 分類が曖昧であるかどうかを判断
３０４ 擬似クラスに細胞を分類
３０６ 最も大きいスコアに対応するクラスに細胞を分類
５００ コンピュータ装置
５０２ ネットワークインターフェイス
５０４ メモリ
５０６ プロセッサ
５０８ Ｉ／Ｏデバイス
５１０ バス
５１２ 記憶装置
５２０ ニューラルネットワークハードウェア
５３０ ニューラルネットワークアプリケーション
６１００ 生体サンプル分析器
６１０１ 光照射ユニット
６１０２ 検出ユニット
６１０３ 情報処理ユニット
６１０４ ソーティングユニット
Ｃ 流路
Ｐ 生体粒子
Ｓ 生体サンプル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】