(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-06
(54)【発明の名称】細胞画像分類のための効率的かつロバストな高速ニューラルネットワーク
(51)【国際特許分類】
G01N 15/14 20060101AFI20231129BHJP
G01N 33/48 20060101ALI20231129BHJP
C12Q 1/02 20060101ALI20231129BHJP
C12M 1/34 20060101ALI20231129BHJP
G06T 7/00 20170101ALI20231129BHJP
G06V 10/82 20220101ALI20231129BHJP
G06V 20/69 20220101ALI20231129BHJP
【FI】
G01N15/14 C
G01N15/14 B
G01N33/48 M
C12Q1/02
C12M1/34 A
G06T7/00 350C
G06T7/00 630
G06V10/82
G06V20/69
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023530264
(86)(22)【出願日】2021-11-19
(85)【翻訳文提出日】2023-05-18
(86)【国際出願番号】 IB2021060728
(87)【国際公開番号】W WO2022107053
(87)【国際公開日】2022-05-27
(32)【優先日】2020-11-19
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-07-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(71)【出願人】
【識別番号】504257564
【氏名又は名称】ソニー コーポレイション オブ アメリカ
(74)【代理人】
【識別番号】100092093
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【氏名又は名称】近藤 直樹
(72)【発明者】
【氏名】ゴン リユ
(72)【発明者】
【氏名】リウ ミン-チャン
【テーマコード(参考)】
2G045
4B029
4B063
5L096
【Fターム(参考)】
2G045AA24
2G045FA19
2G045JA01
2G045JA03
2G045JA07
4B029AA07
4B029BB11
4B029FA01
4B029GA08
4B029GB06
4B029GB10
4B063QA18
4B063QQ02
4B063QR72
4B063QS36
4B063QS39
4B063QX02
5L096BA18
5L096CA22
5L096GA51
5L096HA11
5L096KA04
5L096KA15
5L096MA07
(57)【要約】
本明細書では、細胞画像分類のための効率的かつロバストな高速ニューラルネットワークを説明する。細胞画像分類のためのニューラルネットワークは、ソフトマックススコア間の差分を利用して、細胞が曖昧であるか否かを判断する。細胞が曖昧である場合、擬似クラスに細胞を分類し、細胞が曖昧ではない場合、最も高いクラススコアに対応するクラスに細胞を分類する。細胞画像分類のためのニューラルネットワークは、高速度、高精度及び高再現率の実装を可能にする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
方法であって、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理するステップと、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと2番目に高いソフトマックススコアとを比較して、差分を求めるステップと、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類するステップと、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類するステップと、
を含むことを特徴とする方法。
【請求項2】
前記ニューラルネットワークは、2つの畳み込み層と、1つの全結合層とを含むことを特徴とする、請求項1に記載の方法。
【請求項3】
前記ソフトマックススコアは、0以上1以下であることを特徴とする、請求項1に記載の方法。
【請求項4】
前記閾値は、履歴情報に基づいて設定されて、高い適合率(precision)及び高い再現率(recall)を生成することを特徴とする、請求項1に記載の方法。
【請求項5】
前記閾値は、機械学習及び人工知能によって決定されることを特徴とする、請求項1に記載の方法。
【請求項6】
前記閾値は、ユーザによって手動で決定されることを特徴とする、請求項1に記載の方法。
【請求項7】
前記細胞画像を取得するステップを更に含むことを特徴とする、請求項1に記載の方法。
【請求項8】
装置であって、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理し、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと2番目に高いソフトマックススコアとを比較して、差分を求め、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、
ためのアプリケーションを記憶するための非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含むことを特徴とする装置。
【請求項9】
前記ニューラルネットワークは、2つの畳み込み層と、1つの全結合層とを含むことを特徴とする、請求項8に記載の装置。
【請求項10】
前記ソフトマックススコアは、0以上1以下であることを特徴とする、請求項8に記載の装置。
【請求項11】
前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成することを特徴とする、請求項8に記載の装置。
【請求項12】
前記閾値は、機械学習及び人工知能によって決定されることを特徴とする、請求項8に記載の装置。
【請求項13】
前記閾値は、ユーザによって手動で決定されることを特徴とする、請求項8に記載の装置。
【請求項14】
前記装置は、前記細胞画像を取得するように更に構成されることを特徴とする、請求項8に記載の装置。
【請求項15】
システムであって、
細胞画像を取得するように構成される第1の装置と、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、前記細胞画像を処理し、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと2番目に高いソフトマックススコアとを比較して、差分を求め、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、
ように構成される第2の装置と、
を含むことを特徴とするシステム。
【請求項16】
前記ニューラルネットワークは、2つの畳み込み層と、1つの全結合層とを含むことを特徴とする、請求項15に記載のシステム。
【請求項17】
前記ソフトマックススコアは、0以上1以下であることを特徴とする、請求項15に記載のシステム。
【請求項18】
前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成することを特徴とする、請求項15に記載のシステム。
【請求項19】
前記閾値は、機械学習及び人工知能によって決定されることを特徴とする、請求項15に記載のシステム。
【請求項20】
前記閾値は、ユーザによって手動で決定されることを特徴とする、請求項15に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願の相互参照〕
本出願は、米国特許法第119条(e)の下で、2020年11月19日出願の米国仮特許出願第63/116,088号「細胞画像分類のための効率的かつロバストな高速ニューラルネットワーク(EFFICIENT AND ROBUST HIGH-SPEED NEURAL NETWORKS FOR CELL IMAGE CLASSIFICATION)」の優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。
【0002】
本発明は、セルソーティングに関する。より具体的には、本発明は、画像ベースのセルソーティングに関する。
【背景技術】
【0003】
細胞画像分析は、生物学的及び医学的研究においてますます重要な役割を果たすが、既存の方法は、セルソーティングなどのリアルタイム高速アプリケーションのために利用することができない。通常、ディープニューラルネットワークを構築して、高精度(high accuracy)分類を達成するが、その複雑さは、超高速を必要とするリアルタイムアプリケーションにおける使用を限定する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本明細書では、細胞画像分類のための効率的かつロバストな高速ニューラルネットワークを説明する。細胞画像分類のためのニューラルネットワークは、ソフトマックススコア間の差分を利用して、細胞が曖昧(ambiguous)であるか否かを判断する。細胞が曖昧である場合、擬似クラスに細胞を分類し、細胞が曖昧ではない場合、最も高いクラススコアに対応するクラスに細胞を分類する。細胞画像分類のためのニューラルネットワークは、高速度、高精度及び高再現率の実装を可能にする。
【0005】
最新の方法は、ブースティング及び手動で設計された特徴に基づく。深層学習ベースの方法(例えば、DeepFlow、ResNet)も提案されている。それらの既存の方法の全てが、画像活性化セルソーティングを含む通常のアプリケーションの速度要件を満たすとは限らない。
【課題を解決するための手段】
【0006】
1つの態様では、方法は、クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理するステップと、前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと2番目に高いソフトマックススコアとを比較して、差分を求めるステップと、前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類するステップと、前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類するステップと、を含む。前記ニューラルネットワークは、2つの畳み込み層と、1つの全結合層とを含む。前記ソフトマックススコアは、0以上1以下である。前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する。前記閾値は、機械学習及び人工知能によって決定される。前記閾値は、ユーザによって手動で決定される。前記方法は、前記細胞画像を取得するステップを更に含む。
【0007】
別の態様では、装置は、クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理し、前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと2番目に高いソフトマックススコアとを比較して、差分を求め、前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、ためのアプリケーションを記憶するための非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記ニューラルネットワークは、2つの畳み込み層と、1つの全結合層とを含む。前記ソフトマックススコアは、0以上1以下である。前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する。前記閾値は、機械学習及び人工知能によって決定される。前記閾値は、ユーザによって手動で決定される。前記装置は、前記細胞画像を取得するように更に構成される。
【0008】
別の態様では、システムは、細胞画像を取得するように構成される第1の装置と、クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、前記細胞画像を処理し、前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと2番目に高いソフトマックススコアとを比較して、差分を求め、前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、ように構成される第2の装置と、を含む。前記ニューラルネットワークは、2つの畳み込み層と、1つの全結合層とを含む。前記ソフトマックススコアは、0以上1以下である。前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する。前記閾値は、機械学習及び人工知能によって決定される。前記閾値は、ユーザによって手動で決定される。
【図面の簡単な説明】
【0009】
【
図1】いくつかの実施形態による細胞画像分類のためのニューラルネットワークを実装する方法のフローチャートを示す図である。
【
図2】いくつかの実施形態によるニューラルネットワークアーキテクチャの図である。
【
図3】いくつかの実施形態による、ソフトマックススコアに基づいて再現率を適合率とトレードするフローチャートを示す図である。
【
図4】いくつかの実施形態による例示的な分類のチャートを示す図である。
【
図5】いくつかの実施形態による細胞画像分類のためのニューラルネットワークを実装するように構成される例示的なコンピュータ装置のブロック図である。
【
図6】いくつかの実施形態による生体サンプル分析器の全体構成を概略的に示す図である。
【発明を実施するための形態】
【0010】
超高速リアルタイム細胞画像分類に適した浅い2つの畳み込み層のニューラルネットワークアーキテクチャが、設計され確立された。また、アルゴリズムは、適合率と再現率との間の共通のトレードオフのピットフォール(pitfall)を最小にして、高い適合率及び高い再現率を達成することができる。
【0011】
細胞画像分類を含むニューラルネットワークは、多くの細胞画像分類アプリケーションのまだ満たされていないニーズ-主に2つの重要な要件、すなわち、高精度及び高速度に対処する。既存の古典的な機械学習ベースの方法(例えば、ブースティング、手動で設計された特徴を含むSVM)及び深層学習ベースの方法は、速度要件を満たすことができない。本明細書で説明する方法は、アーキテクチャ探索技術によって設計される浅いニューラルネットワークアーキテクチャ及び新規の適合率-再現率トレードオフモジュールに起因して、非常に高速で動作するだけでなく、高精度も達成する。
【0012】
細胞画像分類を含むニューラルネットワークは、画像ベースのフローサイトメトリーシステムで使用することができ、これは、高スループット及び高精度を含む。細胞画像分類を含むニューラルネットワークは、細胞画像組織化、検索等などの他の細胞画像分析システムで使用することもできる。
【0013】
図1に、いくつかの実施形態による細胞画像分類のためのニューラルネットワークを実装する方法のフローチャートを示す。ステップ100において、細胞画像を取得する。細胞画像は、顕微鏡及びカメラを含むシステムを使用するなどの任意の方法で取得することができる。
【0014】
ステップ102において、ニューラルネットワークを使用して、細胞画像を処理する。ニューラルネットワークは、任意のタイプのニューラルネットワーク、例えば、2つの畳み込み層と、1つの全結合層とを含むニューラルネットワークとすることができる。ニューラルネットワークは、細胞の分類スコアであるソフトマックススコアを生成する。例えば、ソフトマックススコアは、0以上1以下の数であり、この場合、あるクラスに対して数が1に近いほど、そのクラスに細胞が存在する可能性が高いことを意味し、あるクラスに対して数が0に近いほど、そのクラスに細胞が存在する可能性が低いことを意味する。単一の細胞に対して複数のソフトマックススコア(例えば、クラスごとに1つのスコア)を生成することができる。例えば、ニューラルネットワークによって細胞を分析して、全ての5つのクラスに対してソフトマックススコアを生成する。例えば、白血球を分類する時に、5つのクラス/分類(例えば、好中球、好酸球、好塩基球、単球、リンパ球)が存在する。異なるクラスに対する1つの例示的な画像からのスコアは、合計すると1になる。例えば、[0.5,0.2,0.1,0.1,0.1]は、5つのクラスに対して有効なスコアである。ソフトマックススコアは、複数のクラスのうちの各クラスの予測確率を決定するための標準計算(ソフトマックス関数)である。例示的なソフトマックス関数は、次式を含む。
上式において、l
i,cは、例iに対して、クラスcごとのロジットである。
【0015】
ステップ104において、適合率-再現率トレードオフを適用して、高速度及び高精度を達成して、クラス又は擬似クラスに細胞を分類する。本明細書で説明するように、単に最も高いソフトマックススコアに基づいて細胞を分類する代わりに、2つの最も高いソフトマックススコアを比較して(例えば、最も高いスコア-2番目に高いスコア)、2つの最も高いソフトマックススコア間の差分が閾値に等しいか又はそれを上回る場合、最も高いソフトマックススコアを含むクラスに細胞(画像)を分類する。差分が閾値よりも小さい場合、擬似クラスに細胞(画像)を分類する。いくつかの実施形態では、ステップの順序が変更される。いくつかの実施形態では、より少ない又は追加のステップを実装する。
【0016】
図2に、いくつかの実施形態によるニューラルネットワークアーキテクチャの図を示す。畳み込みニューラルネットワークは、細胞画像入力を受け取る。畳み込みニューラルネットワークは、正規化線形活性化関数(ReLU)を使用して、正(positive)の場合は、入力を直接出力し、そうでない場合には、出力はゼロである。次に、最大プーリングを使用して、2x2データを1つの値にダウンサンプリングする。この値は、2x2の代表的な画像である最大値である。畳み込みニューラルネットワーク及びReLUの別の層が存在する。次に、全体平均プーリングを実装する。最後に、ソフト最大(ソフトマックス)スコアを達成する。ソフトマックスは、確率に類似した正規化されたスコアである。ソフトマックススコアは、信頼レベル閾値として使用することができる。ソフトマックススコアは、0以上1以下の数である。ソフトマックススコアは、任意のマルチクラス分類器の標準出力である。
【0017】
図3に、いくつかの実施形態による、ソフトマックススコアに基づいて再現率を適合率とトレードするフローチャートを示す。ステップ300において、ソフトマックススコアを生成する及び/又は受け取る。ステップ302において、ソフトマックススコアの決定に基づく分類が曖昧であるかどうかを判断する。S
1-S
2<tである場合、判断は曖昧である。この式において、S
1は最も大きいソフトマックススコアであり、S
2は2番目に大きいソフトマックススコアであり、tはテストセット及び目標適合率によって決定される閾値である。例えば、以前のテスト及び所望の適合率に基づいて、閾値を決定して、所望の適合率を達成することができる(例えば、以前のテスト/履歴データは、0.5の閾値は90%の適合率をもたらすが、0.6の閾値は99%の適合率をもたらすと決定し、これはその例の目標である)。別の例では、ユーザによって、閾値を決定及び設定することができる。別の例では、学習及び人工知能を使用して、閾値を調整することができる。ステップ304において、細胞がどのクラスに存在するかが曖昧である場合、擬似クラスに細胞を分類する。ステップ306において、細胞がどのクラスに属するかが曖昧ではない場合、最も大きいスコアに対応するクラスに細胞を分類する。いくつかの実施形態では、ステップの順序が変更される。いくつかの実施形態では、より少ない又は追加のステップを実装する。
【0018】
図4に、いくつかの実施形態による例示的な分類のチャートを示す。見出しの下の第1行では、例示的なデータは、S
1-S
2の差分が0.9であり、非常に高い(かつ閾値を上回る)ので、明瞭であり、システムは(例えばクラス3に)細胞を分類できることを確信している。第2行では、例示的なデータは、S
1-S
2の差分が0.1であり、非常に低いので、曖昧であり分類しにくく、擬似クラスに細胞を分類する。ソフトマックススコア間の差分が低い細胞を拒絶することによって、約99%の適合率及び98.5%の再現率を達成することができる。
【0019】
図5に、いくつかの実施形態による細胞画像分類のためのニューラルネットワークを実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置500を使用して、画像及びビデオなどの情報を取得、記憶、計算、処理、通信及び/又は表示することができる。コンピュータ装置500は、細胞画像分類のためのニューラルネットワークの態様のいずれかを実装することができる。一般に、コンピュータ装置500を実装するのに適したハードウェア構造は、ネットワークインターフェイス502、メモリ504、プロセッサ506、I/Oデバイス508、バス510、及び記憶装置512を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ504は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置512は、ハードドライブ、CDROM、CDRW、DVD、DVDRW、高精細ディスク/ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置500は、1又は2以上のネットワークインターフェイス502を含むことができる。ネットワークインターフェイスの例は、イーサネット又は他のタイプのLANに接続されるネットワークカードを含む。I/Oデバイス508は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス及び他のデバイスのうちの1又は2以上を含むことができる。細胞画像分類のためのニューラルネットワークを実装するのに使用されるニューラルネットワークアプリケーション530は、記憶装置512及びメモリ504に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置500は、
図5に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、ニューラルネットワークハードウェア520が含まれる。
図5のコンピュータ装置500は、細胞画像分類のためのニューラルネットワークのためのアプリケーション530及びハードウェア520を含むが、細胞画像分類のためのニューラルネットワークは、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、ニューラルネットワークアプリケーション530は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態では、ニューラルネットワークハードウェア520は、細胞画像分類のためのニューラルネットワークを実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。
【0020】
いくつかの実施形態では、ニューラルネットワークアプリケーション530は、いくつかのアプリケーション及び/又はモジュールを含む。いくつかの実施形態では、モジュールは、1又は2以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。
【0021】
好適なコンピュータ装置の例は、顕微鏡、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話/携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、移動体デバイス、ビデオプレーヤー、ビデオディスクライター/プレーヤー(例えば、DVDライター/プレーヤー、高精細ディスクライター/プレーヤー、超高精細ディスクライター/プレーヤー)、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー(例えば、スマートウォッチ)、車両(例えば、自動運転車両)又は他の任意の好適なコンピュータ装置を含む。
【0022】
図6に、いくつかの実施形態による生体サンプル分析器の全体構成を概略的に示す図を示す。
【0023】
図6は、本開示の生体サンプル分析器の例示的な構成を示す。
図6に示す生体サンプル分析器6100は、流路C内を流れる生体サンプルSに光を照射する光照射ユニット6101と、生体サンプルSに照射することによって発生する光を検出する検出ユニット6102と、検出ユニットによって検出される光についての情報を処理する情報処理ユニット6103と、を含む。生体サンプル分析器6100は、例えば、フローサイトメータ又はイメージングサイトメータである。生体サンプル分析器6100は、生体サンプル中の特定の生体粒子Pを選別するソーティングユニット6104を含むことができる。ソーティングユニットを含む生体サンプル分析器6100は、例えば、セルソーターである。
【0024】
(生体サンプル)
生体サンプルSは、生体粒子を含む液体サンプルとすることができる。生体粒子は、例えば、細胞又は非細胞生体粒子である。細胞は、生細胞とすることができ、そのより具体的な例は、赤血球及び白血球などの血液細胞、及び精子及び受精卵などの生殖細胞を含む。また、細胞は、全血などのサンプルから直接収集されるものとすることができるか、又は培養の後に取得される培養細胞とすることができる。非細胞生体粒子は、細胞外小胞、特に、例えば、エクソソーム及びマイクロベシクルである。1又は2以上の標識物質(例えば、色素(特に蛍光色素)、及び蛍光色素で標識された抗体)を用いて、生体粒子を標識することができる。本開示の生体サンプル分析器によって、生体粒子以外の粒子を分析することができ、較正等のためにビーズ等を分析することができることに留意されたい。
【0025】
(流路)
流路Cは、生体サンプルSの流れが形成されるように設計される。特に、生体サンプルに含まれる生体粒子が実質的に1列に配列されている流れが形成されるように、流路Cを設計することができる。流路Cを含む流路構造は、層流が形成されるように設計することができる。特に、生体サンプルの流れ(サンプル流)がシース液の流れによって取り囲まれる層流が形成されるように、流路構造を設計する。流路構造の設計は、当業者によって適宜選択することができるか、又は公知の構造を採用することもできる。流路Cは、マイクロチップ(マイクロメートルのオーダーの流路を有するチップ)又はフローセルなどの流路構造に形成することができる。流路Cの幅は、1mm以下であり、特に、10μm以上1mm以下とすることができる。流路C及び流路Cを含む流路構造は、プラスチック又はガラスなどの材料で形成することができる。
【0026】
本開示の生体サンプル分析器は、流路C内を流れる生体サンプル、特に、生体サンプル中の生体粒子に、光照射ユニット6101からの光が照射されるように設計される。本開示の生体サンプル分析器は、生体サンプル上の光の照射点が、流路Cが形成される流路構造内に位置するように設計することができるか、又は照射点が流路構造の外側に位置するように設計することができる。前者の場合の例は、マイクロチップ又はフローセル内の流路C上に光が発せられる構成とすることができる。後者の場合、流路構造(特に、そのノズル部分)を出た後の生体粒子に光を照射することができ、例えば、ジェットインエアータイプのフローサイトメータを採用することができる。
【0027】
(光照射ユニット)
光照射ユニット6101は、光を発する光源ユニットと、照射点に光を導く導光光学システムとを含む。光源ユニットは、1又は2以上の光源を含む。光源のタイプは、例えば、レーザ光源又はLEDである。各光源から発せられるべき光の波長は、紫外線光、可視光、及び赤外線光の任意の波長とすることができる。導光光学システムは、例えば、ビームスプリッタ、ミラー、又は光ファイバなどの光学部品を含む。導光光学システムは、光を集光するためのレンズ群を含むこともでき、例えば、対物レンズを含む。生体サンプル及び光が交差する1又は2以上の照射点が存在することができる。光照射ユニット6101は、1つの光源又は異なる光源から1つの照射点上に発せられる光を収集するように設計することができる。
【0028】
(検出ユニット)
検出ユニット6102は、生体粒子上に光を発することによって発生する光を検出する少なくとも1つの光検出器を含む。検出すべき光は、例えば、蛍光又は散乱光(前方散乱光、後方散乱光、及び側方散乱光のうちの1又は2以上など)とすることができる。各光検出器は、1又は2以上の受光素子を含み、例えば、受光素子アレイを有する。各光検出器は、受光素子として、1又は2以上の光電子増倍管(PMT)及び/又はAPD及びMPPCなどのフォトダイオードを含むことができる。光検出器は、例えば、複数のPMTが1次元方向に配置されるPMTアレイを含む。検出ユニット6102は、CCD又はCMOSなどのイメージセンサを含むこともできる。イメージセンサを用いて、検出ユニット6102は、生体粒子の画像(例えば、明視野画像、暗視野画像、又は蛍光画像など)を取得することができる。
【0029】
検出ユニット6102は、所定の検出波長の光を対応する光検出器に到達させる検出光学システムを含む。検出光学システムは、プリズム又は回折格子などの分光ユニット、又はダイクロイックミラー又は光フィルタなどの波長分離ユニットを含む。検出光学システムは、例えば、生体粒子への光照射によって発生する光を分散させて、生体粒子の標識に用いられる蛍光色素の数よりも多い数の光検出器を用いて分散光を検出するように設計される。このような検出光学システムを含むフローサイトメータは、スペクトルフローサイトメータと呼ばれる。更に、検出光学システムは、例えば、生体粒子への光照射によって発生する光からの特定の蛍光色素の蛍光波長帯域に対応する光を分離して、対応する光検出器に分離光を検出させるように設計される。
【0030】
検出ユニット6102は、光検出器によって取得される電気信号をデジタル信号に変換する信号処理ユニットを含むこともできる。信号処理ユニットは、変換を実行する装置としてA/Dコンバータを含むことができる。信号処理ユニットによって実行される変換によって取得されるデジタル信号を、情報処理ユニット6103に送信することができる。デジタル信号は、情報処理ユニット6103によって、光に関連するデータ(以下「光データ」とも呼ばれる)として扱うことができる。光データは、例えば、蛍光データを含む光データとすることができる。より具体的には、光データは、光強度のデータとすることができ、光強度は、蛍光を含む光の光強度データとすることができる(光強度データは、面積、高さ、及び幅などの特徴量を含むことができる)。
【0031】
(情報処理ユニット)
情報処理ユニット6103は、様々な種類のデータ(例えば、光データ)の処理を実行する処理ユニットと、例えば、様々な種類のデータを記憶する記憶ユニットとを含む。処理ユニットが、検出ユニット6102からの蛍光色素に対応する光データを取得する場合、処理ユニットは、光強度データに対して蛍光漏れ込み補正(コンペンセーションプロセス)を実行することができる。スペクトルフローサイトメータの場合、処理ユニットは、また、光データに対して蛍光分離プロセスを実行して、蛍光色素に対応する光強度データを取得する。蛍光分離プロセスは、例えば、特開2011-232259号公報に開示されるアンミキシング(unmixing)方法によって実行することができる。検出ユニット6102がイメージセンサを含む場合、処理ユニットは、イメージセンサによって取得される画像に基づいて、生体粒子についての形態学的情報を取得することができる。記憶ユニットは、取得された光データを記憶できるように設計することができる。記憶ユニットは、アンミキシングプロセスで使用すべきスペクトル参照データを更に記憶できるように設計することができる。
【0032】
生体サンプル分析器6100が後述するソーティングユニット6104を含む場合、情報処理ユニット6103は、光データ及び/又は形態学的情報に基づいて、生体粒子を分取すべきかどうかを判断することができる。次に、情報処理ユニット6103は、判断の結果に基づいてソーティングユニット6104を制御し、ソーティングユニット6104によって生体粒子を分取することができる。
【0033】
情報処理ユニット6103は、様々な種類のデータ(例えば、光データ及び画像など)を出力できるように設計することができる。例えば、情報処理ユニット6103は、光データに基づいて生成される様々な種類のデータ(例えば、2次元プロット又はスペクトルプロットなど)を出力することができる。情報処理ユニット6103は、様々な種類のデータの入力を受け入れることができるように設計することもでき、例えば、ユーザによるプロット上のゲーティングプロセスを受け入れる。情報処理ユニット6103は、出力ユニット(例えば、ディスプレイなど)又は入力ユニット(例えば、キーボードなど)を含み、出力又は入力を実行することができる。
【0034】
情報処理ユニット6103は、汎用コンピュータとして設計することができ、例えば、CPU、RAM、及びROMを含む情報処理装置として設計することができる。情報処理ユニット6103は、光照射ユニット6101及び検出ユニット6102が含まれるハウジング内に含まれることができるか、又はハウジングの外側に位置することができる。更に、情報処理ユニット6103によって実行すべき様々なプロセス又は機能は、ネットワークを介して接続されるサーバコンピュータ又はクラウドによって実現することができる。
【0035】
(ソーティングユニット)
ソーティングユニット6104は、情報処理ユニット6103によって実行される判断の結果に従って、生体粒子のソーティングを実行する。ソーティング方法は、振動によって生体粒子を含む液滴が生成され、分取すべき液滴に電荷が加えられ、電極によって液滴の移動方向が制御される方法とすることができる。ソーティング方法は、流路構造内の生体粒子の移動方向を制御することによって分取する方法とすることができる。流路構造は、例えば、圧力(注入又は吸引)又は電荷に基づく制御機構を有する。流路構造の例は、流路Cが下流側で回収流路と廃液流路とに分岐して、特定の生体粒子が回収流路内に収集される流路構造を有するチップ(例えば、特開2020-076736号公報に開示されるチップ)とすることができる。
【0036】
本明細書で説明する細胞画像分類のためのニューラルネットワークを利用するために、カメラを含む顕微鏡などの装置を使用してコンテンツを取得し、装置は、取得されたコンテンツを処理することができる。細胞画像分類のためのニューラルネットワークは、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。
【0037】
動作時、細胞画像分類のためのニューラルネットワークは、高精度、高速度、及び高再現率を可能にする。高精度は近似的に99%とすることができ、高速度は毎秒2500個の画像を分類することを含み、高再現率は近似的に99%である。他の実装は、精度、速度、及び/又は再現率をマッチさせない。
【0038】
サイトメトリーのための精度に関して、精度閾値は、通常、約99%であり、これは、システムが、正確であると見なされるために99%の確率で正しいはずであることを意味する。例示的な実装では、一般公開されているデータセットに対して、99%の適合率及び98.5%の再現率が存在した。速度に関して、システムは、例えば、Titan X GPU上で、毎秒2500個の画像を処理する(0.4ms未満の待ち時間)。
【0039】
細胞画像分類のための効率的かつロバストな高速ニューラルネットワークのいくつかの実施形態
1.方法であって、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理するステップと、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと2番目に高いソフトマックススコアとを比較して、差分を求めるステップと、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類するステップと、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類するステップと、
を含む方法。
【0040】
2.前記ニューラルネットワークは、2つの畳み込み層と、1つの全結合層とを含む、第1項に記載の方法。
【0041】
3.前記ソフトマックススコアは、0以上1以下である、第1項に記載の方法。
【0042】
4.前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する、第1項に記載の方法。
【0043】
5.前記閾値は、機械学習及び人工知能によって決定される、第1項に記載の方法。
【0044】
6.前記閾値は、ユーザによって手動で決定される、第1項に記載の方法。
【0045】
7.前記細胞画像を取得するステップを更に含む、第1項に記載の方法。
【0046】
8.装置であって、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、細胞画像を処理し、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと2番目に高いソフトマックススコアとを比較して、差分を求め、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、
ためのアプリケーションを記憶するための非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。
【0047】
9.前記ニューラルネットワークは、2つの畳み込み層と、1つの全結合層とを含む、第8項に記載の装置。
【0048】
10.前記ソフトマックススコアは、0以上1以下である、第8項に記載の装置。
【0049】
11.前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する、第8項に記載の装置。
【0050】
12.前記閾値は、機械学習及び人工知能によって決定される、第8項に記載の装置。
【0051】
13.前記閾値は、ユーザによって手動で決定される、第8項に記載の装置。
【0052】
14.前記装置は、前記細胞画像を取得するように更に構成される、第8項に記載の装置。
【0053】
15.システムであって、
細胞画像を取得するように構成される第1の装置と、
クラスに各々対応する複数のソフトマックススコアを生成することを含むニューラルネットワークを使用して、前記細胞画像を処理し、
前記複数のソフトマックススコアのうちの最も高いソフトマックススコアと2番目に高いソフトマックススコアとを比較して、差分を求め、
前記差分が閾値を下回る時に、擬似クラスに前記細胞画像を分類し、
前記差分が前記閾値に等しいか又はそれを上回る時に、前記最も高いソフトマックススコアに対応するクラスに前記細胞画像を分類する、
ように構成される第2の装置と、
を含むシステム。
【0054】
16.前記ニューラルネットワークは、2つの畳み込み層と、1つの全結合層とを含む、第15項に記載のシステム。
【0055】
17.前記ソフトマックススコアは、0以上1以下である、第15項に記載のシステム。
【0056】
18.前記閾値は、履歴情報に基づいて設定されて、高い適合率及び高い再現率を生成する、第15項に記載のシステム。
【0057】
19.前記閾値は、機械学習及び人工知能によって決定される、第15項に記載のシステム。
【0058】
20.前記閾値は、ユーザによって手動で決定される、第15項に記載のシステム。
【0059】
本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。
【符号の説明】
【0060】
100 細胞画像を取得
102 ニューラルネットワークを使用して細胞画像を処理
104 適合率-再現率トレードオフを適用して、クラス又は擬似クラスに細胞を分類
300 ソフトマックススコアを生成及び/又は受け取る
302 分類が曖昧であるかどうかを判断
304 擬似クラスに細胞を分類
306 最も大きいスコアに対応するクラスに細胞を分類
500 コンピュータ装置
502 ネットワークインターフェイス
504 メモリ
506 プロセッサ
508 I/Oデバイス
510 バス
512 記憶装置
520 ニューラルネットワークハードウェア
530 ニューラルネットワークアプリケーション
6100 生体サンプル分析器
6101 光照射ユニット
6102 検出ユニット
6103 情報処理ユニット
6104 ソーティングユニット
C 流路
P 生体粒子
S 生体サンプル
【国際調査報告】