IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧 ▶ ソニー コーポレイション オブ アメリカの特許一覧

特表2023-550929フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー
<>
  • 特表-フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー 図1
  • 特表-フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー 図2
  • 特表-フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー 図3
  • 特表-フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー 図4
  • 特表-フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー 図5
  • 特表-フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー 図6
  • 特表-フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-06
(54)【発明の名称】フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー
(51)【国際特許分類】
   G01N 33/48 20060101AFI20231129BHJP
   G06T 7/00 20170101ALI20231129BHJP
   G06V 10/762 20220101ALI20231129BHJP
   G06V 10/82 20220101ALI20231129BHJP
【FI】
G01N33/48 M
G06T7/00 350C
G06T7/00 630
G06V10/762
G06V10/82
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023530266
(86)(22)【出願日】2021-11-19
(85)【翻訳文提出日】2023-05-18
(86)【国際出願番号】 IB2021060765
(87)【国際公開番号】W WO2022107077
(87)【国際公開日】2022-05-27
(31)【優先権主張番号】63/116,090
(32)【優先日】2020-11-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(71)【出願人】
【識別番号】504257564
【氏名又は名称】ソニー コーポレイション オブ アメリカ
(74)【代理人】
【識別番号】100092093
【弁理士】
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(72)【発明者】
【氏名】ゾルダン マイケル
(72)【発明者】
【氏名】リウ ミン-チャン
(72)【発明者】
【氏名】ホアン コ-カイ アルバート
(72)【発明者】
【氏名】チャン スー-フイ
(72)【発明者】
【氏名】ゴン リユ
【テーマコード(参考)】
2G045
5L096
【Fターム(参考)】
2G045CB01
2G045JA03
5L096AA13
5L096BA08
5L096FA26
5L096HA11
5L096MA07
(57)【要約】
画像ベースの分類ワークフローは、教師なしクラスタリングを使用して、ユーザが分取するための関心サブ集団を識別するのを助ける。標識された細胞画像を使用して、特定の実験のために教師あり分類ネットワークを微調整する。ワークフローは、ユーザが、様々なアプリケーションに対して同様に集団を選択して分取できるようにする。教師あり分類ネットワークは非常に高速であり、細胞が装置中を移動している時、リアルタイム分取決定を行えるようにする。ワークフローは、より自動化されて、ユーザステップがより少なく、これにより、使いやすさを向上させる。ワークフローは、機械学習を使用して、手動ゲーティングからのヒューマンエラー及びバイアスを回避する。ワークフローは、ユーザが画像処理の熟練者である必要がないので、使いやすさを向上させる。
【選択図】図5
【特許請求の範囲】
【請求項1】
方法であって、
細胞画像を使用して、特徴エンコーダを事前に訓練するステップと、
教師なしクラスタリングを実行して、集団を識別するステップであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練するステップから出力を受け取る、ステップと、
分類器を実装して、教師あり分類を微調整するステップと、
前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行するステップと、
を含むことを特徴とする方法。
【請求項2】
前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定することを特徴とする、請求項1に記載の方法。
【請求項3】
前記特徴エンコーダは、ニューラルネットワークを使用して実装されることを特徴とする、請求項1に記載の方法。
【請求項4】
前記特徴エンコーダは、1~12個の画像チャネルに対応するようにスケーラブルであることを特徴とする、請求項1に記載の方法。
【請求項5】
前記教師なしクラスタリングを実行するステップは、前記細胞画像の細胞をクラスタに分類するステップを含むことを特徴とする、請求項1に記載の方法。
【請求項6】
前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するステップを更に含むことを特徴とする、請求項1に記載の方法。
【請求項7】
ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識されることを特徴とする、請求項5に記載の方法。
【請求項8】
前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整することを特徴とする、請求項1に記載の方法。
【請求項9】
前記分類器は、実験ごとに再訓練されるように構成されることを特徴とする、請求項1に記載の方法。
【請求項10】
装置であって、
細胞画像を使用して、特徴エンコーダを事前に訓練することと、
教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、
分類器を実装して、教師あり分類を微調整することと、
前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、
を行うためのアプリケーションを記憶するための非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含むことを特徴とする装置。
【請求項11】
前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定することを特徴とする、請求項10に記載の装置。
【請求項12】
前記特徴エンコーダは、ニューラルネットワークを使用して実装されることを特徴とする、請求項10に記載の装置。
【請求項13】
前記特徴エンコーダは、1~12個の画像チャネルに対応するようにスケーラブルであることを特徴とする、請求項10に記載の装置。
【請求項14】
前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含むことを特徴とする、請求項10に記載の装置。
【請求項15】
前記装置は、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成されることを特徴とする、請求項10に記載の装置。
【請求項16】
ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識されることを特徴とする、請求項14に記載の装置。
【請求項17】
前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整することを特徴とする、請求項10に記載の装置。
【請求項18】
前記分類器は、実験ごとに再訓練されるように構成されることを特徴とする、請求項10に記載の装置。
【請求項19】
システムであって、
細胞画像を取得するように構成される第1の装置と、
第2の装置と、
を含み、
前記第2の装置は、
前記細胞画像を使用して、特徴エンコーダを事前に訓練することと、
教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、
分類器を実装して、教師あり分類を微調整することと、
前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、
を行うように構成される、
ことを特徴とするシステム。
【請求項20】
前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定することを特徴とする、請求項19に記載のシステム。
【請求項21】
前記特徴エンコーダは、ニューラルネットワークを使用して実装されることを特徴とする、請求項19に記載のシステム。
【請求項22】
前記特徴エンコーダは、1~12個の画像チャネルに対応するようにスケーラブルであることを特徴とする、請求項19に記載のシステム。
【請求項23】
前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含むことを特徴とする、請求項19に記載のシステム。
【請求項24】
前記システムは、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成されることを特徴とする、請求項19に記載のシステム。
【請求項25】
ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識されることを特徴とする、請求項23に記載のシステム。
【請求項26】
前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整することを特徴とする、請求項19に記載のシステム。
【請求項27】
前記分類器は、実験ごとに再訓練されるように構成されることを特徴とする、請求項19に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願の相互参照〕
本出願は、米国特許法第119条(e)の下で、2020年11月19日出願の米国仮特許出願第63/116,090号「フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー(CLASSIFICATION WORKFLOW FOR FLEXIBLE IMAGE BASED PARTICLE SORTING)」の優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。
【0002】
本発明は、セルソーティングに関する。より具体的には、本発明は、画像ベースのセルソーティングに関する。
【背景技術】
【0003】
従来の蛍光活性化セルソーティングは、細胞を蛍光マーカーで標識することに依拠し、細胞の形態学的情報が非常に限定されている。しかしながら、いくつかのアプリケーションは、細胞を正確に分取するために細胞の形態学的情報を必要とし、一方、いくつかのアプリケーションは、蛍光マーカーを使用するのに適していない。また、従来の蛍光活性化セルソーティングは、手動ゲーティングを使用して、蛍光マーカーに基づいてソーティング基準を確立する。しかしながら、手動ゲーティングは、時間がかかり、偏りがある場合がある。
【0004】
セルソーティングから利益を得る多くの生物学的アプリケーションが存在するが、これらは、関心細胞を識別するためのイメージングを実行しないので、現在のフローサイトメトリーベースのセルソーター上では不可能である。
【0005】
従来の画像処理及び特徴抽出を使用して、細胞画像から分取決定を行う既存の手法が存在し、また、深層学習ネットワークを使用して、リアルタイム分取分類を行う手法も存在する。従来の画像分析手法は、ユーザが定量画像分析を実行する方法を知っている必要があり、それは大抵のセルソーティングユーザが有さない技術であるという欠点を有する。公開された深層学習手法は、細胞画像のオフライン識別を使用して畳み込みネットワークを訓練する必要があるので、限定されている。これは、労働集約的な手動プロセスであり、特定のアプリケーションのために深層学習ネットワークを訓練することは、数時間から数日かかる可能性があるので、異なるアプリケーションに対してフレキシブルな解決策を提供しない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
画像ベースの分類ワークフローは、教師なしクラスタリングを使用して、ユーザが分取するための関心サブ集団を識別するのを助ける。標識された細胞画像を使用して、特定の実験のために教師あり分類ネットワークを微調整する。ワークフローは、ユーザが、様々なアプリケーションに対して同様に集団を選択して分取できるようにする。教師あり分類ネットワークは非常に高速であり、細胞が装置中を移動している時、リアルタイム分取決定を行えるようにする。ワークフローは、より自動化されて、ユーザステップがより少なく、これにより、使いやすさを向上させる。ワークフローは、機械学習を使用して、手動ゲーティングからのヒューマンエラー及びバイアスを回避する。ワークフローは、ユーザが画像処理の熟練者である必要がないので、使いやすさを向上させる。
【課題を解決するための手段】
【0007】
1つの態様では、方法は、細胞画像を使用して、特徴エンコーダを事前に訓練するステップと、教師なしクラスタリングを実行して、集団を識別するステップであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練するステップから出力を受け取る、ステップと、分類器を実装して、教師あり分類を微調整するステップと、前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行するステップと、を含む。前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する。前記特徴エンコーダは、ニューラルネットワークを使用して実装される。前記特徴エンコーダは、1~12個の画像チャネルに対応するようにスケーラブルである。前記教師なしクラスタリングを実行するステップは、前記細胞画像の細胞をクラスタに分類するステップを含む。前記方法は、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するステップを更に含む。ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される。前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する。前記分類器は、実験ごとに再訓練されるように構成される。
【0008】
別の態様では、装置は、細胞画像を使用して、特徴エンコーダを事前に訓練することと、教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、分類器を実装して、教師あり分類を微調整することと、前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、を行うためのアプリケーションを記憶するための非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する。前記特徴エンコーダは、ニューラルネットワークを使用して実装される。前記特徴エンコーダは、1~12個の画像チャネルに対応するようにスケーラブルである。前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含む。前記装置は、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成される。ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される。前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する。前記分類器は、実験ごとに再訓練されるように構成される。
【0009】
別の態様では、システムは、細胞画像を取得するように構成される第1の装置と、第2の装置と、を含み、前記第2の装置は、前記細胞画像を使用して、特徴エンコーダを事前に訓練することと、教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、分類器を実装して、教師あり分類を微調整することと、前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、を行うように構成される。前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する。前記特徴エンコーダは、ニューラルネットワークを使用して実装される。前記特徴エンコーダは、1~12個の画像チャネルに対応するようにスケーラブルである。前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含む。前記システムは、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成される。ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される。前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する。前記分類器は、実験ごとに再訓練されるように構成される。
【図面の簡単な説明】
【0010】
図1】いくつかの実施形態による画像活性化セルソーター(IACS)のアプリケーションの例を示す図である。
図2】いくつかの実施形態による分類ワークフローのフローチャートを示す図である。
図3】いくつかの実施形態による特徴エンコーダ及び教師なしクラスタリングのフローチャートを示す図である。
図4】いくつかの実施形態による、標識された画像を使用して教師あり分類を微調整する図である。
図5】いくつかの実施形態による、リアルタイム画像分類のために教師あり分類を使用する図である。
図6】いくつかの実施形態による生体サンプル分析器の全体構成を概略的に示す図である。
図7】いくつかの実施形態による分類ワークフローを実装するように構成される例示的なコンピュータ装置のブロック図である。
【発明を実施するための形態】
【0011】
画像ベースの分類ワークフローは、サンプル中に存在するサブ集団を識別し、ユーザがどのサブ集団を精練(purified)すべきかを選択できるようにし、次に、リアルタイム分取決定を行う教師あり分類システムを微調整する。
【0012】
分類ワークフローは、多種多様な生物学的アプリケーションに対応するフレキシブルな画像ベースの細胞分類システムを可能にする解決策である。教師なしクラスタリングを使用して細胞画像を標識して、効率的な教師あり分類ネットワークを微調整してリアルタイム分取決定を行うことは、画像ベースのセルソーターの使いやすさの向上を可能にする新しい概念である。
【0013】
分類ワークフローは、フローサイトメトリーベースのセルソーティングのカスタマーのまだ満たされていないニーズに対処する。すなわち、分類ワークフローは、従来の蛍光活性化セルソーティングにおいて実行できないイメージングを必要とするセルソーティングアプリケーションを可能にし、また、多種多様なアプリケーションのために分取分類を最適化できるようにする。
【0014】
最適化された教師あり分類ネットワークは、画像に基づいて細胞を分取することを可能にするリアルタイム画像分類を実行することができる。これは、通常、顕微鏡検査又はハイコンテントイメージング(どちらもソーティング能力を有さない)を使用して実行されるアプリケーションをセルソーター上で使用できるようにする。
【0015】
広範な潜在的な画像ベースのセルソーティングアプリケーションが存在する。ワークフローは、教師なしクラスタリングを使用して、サンプル中に存在するサブ集団を識別し、次に、ユーザは、関心細胞を含む1又は複数のクラスタを選び出すことができる。次に、教師あり分類システムを微調整して、ユーザが分取したいと望む特定の関心細胞を識別する。
【0016】
分類ワークフローの実装は、細胞画像の共通の特徴を識別する事前に訓練された特徴エンコーダを利用して、教師なしクラスタリングを実行することを含む。結果として得られるクラスタは、サンプル中に存在するサブ集団を表現し、次に、ユーザは、関心細胞を含むクラスタを選び出し、それらのクラスタ内の細胞は標識される。次に、リアルタイムセルソーティングのために使用される最適化された分類器の教師あり微調整のために、標識された細胞画像を使用する。
【0017】
分類ワークフローは、画像活性化セルソーター(IACS)で使用することができる。
【0018】
図1に、いくつかの実施形態によるIACSのアプリケーションの例を示す。IACSは、蛍光局在(例えば、マーカーの共発現)、immuno-flowFISH(例えば、FISHスポットのカウント)、細胞外小胞(例えば、エクソソーム)、及び細胞活性化応答(例えば、FLテクスチャ(斑紋、平滑(smooth)、点))で使用することができる。immuno-flowFISHアプリケーションは、別個のスポットが検出/区別されない場合があるので、従来のサイトメトリーでは不可能である。しかしながら、別個のスポットを区別及び検出するアプリケーションは、IACSを使用して可能である。別の例では、蛍光局在のために、IACSは、異なる信号(例えば、赤対緑)の特定の位置を検出することができるが、従来のサイトメトリーは、各信号の強度を提供することしかできず、細胞内のどこで信号が発生するかを提供することができない。
【0019】
図2に、いくつかの実施形態による分類ワークフローのフローチャートを示す。画像ベースの又はIACS分類ワークフローは、別個の要素/ステップを含むプリソートセットアップ及びアクティブソーティングなどのステップを含む。プリソートセットアップは、分取すべき細胞の識別と、その後の教師あり分類ネットワークの微調整とを可能にする。アクティブソーティング部分は、最適化され微調整された教師あり分類ネットワークを使用して、細胞が装置中を流れている時、リアルタイム分取決定を行う。
【0020】
ステップ200において、特徴エンコーダを事前に訓練する。実験からの特定の数の細胞がシステムに通される。特徴エンコーダは、サンプル中に何が存在するかをユーザに示すことができる。細胞が特徴エンコーダを通過している時、特徴エンコーダは、画像から特徴値を検出/測定し、特徴エンコーダからの出力は、教師なしクラスタリングに進む。特徴エンコーダは、1~12個の画像チャネル(例えば、明視野及び複数の蛍光チャネル)に対応するようにスケーラブルである。任意の数又は範囲の画像チャネルを利用することができる。特徴エンコーダの例は、2021年4月5日出願の米国特許出願第17/222,131号「画像ベースの教師なしセルクラスタリング及びソーティングのためのフレームワーク(A FRAMEWORK FOR IMAGE BASED UNSUPERVISED CELL CLUSTERING AND SORTING)」に記載されており、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。
【0021】
ステップ202において、教師なしクラスタリングを利用して、集団を識別する(例えば、類似した細胞を一緒にグループ化する)。教師なしクラスタリングは、特徴エンコーダの出力を使用して、細胞をクラスタにグループ化/分類する。細胞のグループ化は、任意の方法で(例えば、検出された特徴、サイズ、及び/又は他の任意の特性に基づいて)実行することができる。ユーザは、教師なしクラスタリングの結果を見て、どの細胞の集団を分取すべきかを決定することができる。ユーザは、クラスタの単一イベント及び/又は抽出された特徴値(例えば、蛍光強度又は他の特徴値)の代表的な画像セットを見ることができる。ユーザは、クラスタ及び代表的な情報を見ることに基づいて、(例えば、教師なしクラスタリングの後に)クラスタを標識することができる。ユーザは、クラスタを、例えば「分取する」又は「分取しない」と標識することができる。複数の「分取する」クラスタが可能である。いくつかの実施形態では、標識プロセスは、機械学習、ニューラルネットワーク及び人工知能を使用して自動化される。
【0022】
ステップ204において、分類器を実装して、教師あり分類を微調整する。教師なしクラスタリングからの分類結果/標識を分類器によって使用して、例えば、浅い又は畳み込みニューラルネットワークを微調整することができる。分類器は、実験ごとに再訓練されることができる。
【0023】
ステップ206において、アクティブソーティング中にリアルタイム分類を実行する。訓練された分類器を使用して、ソーティング分類に基づいてリアルタイム分類を行う。信号の強度を測定する1つのチャネル検出器を有する従来のセルソーターとは異なり、分類ワークフローは、処理のために全体画像(例えば、50画素×50画素)を利用する。いくつかの実施形態では、より少ない又は追加のステップを実装する。いくつかの実施形態では、ステップの順序が変更される。
【0024】
図3に、いくつかの実施形態による特徴エンコーダ及び教師なしクラスタリングのフローチャートを示す。ステップ300において、分取サンプルからの細胞画像を取得する。分取すべきサンプルの一定分量(aliquot)をIACS上で実行して、細胞画像を取り込む。細胞画像は、ニューラルネットワークベースの特徴エンコーダへの入力である。ステップ302において、特徴エンコーダ(例えば、ニューラルネットワーク)を実装する。いくつかの実施形態では、(例えば、オフラインで)特徴エンコーダを事前に訓練して、細胞画像の大きいデータセットによって明視野及び蛍光画像において一般的な特徴を検出する。ステップ304において、(例えば、階層密度ベースの)教師なしクラスタリングを実行する。細胞の残りのクラスタは、サンプル中に存在する細胞の異なるサブ集団を表現する。ステップ306において、ユーザは、クラスタ(例えば、代表的な画像、測定された画像特徴)を見て、どのクラスタが関心細胞を含むかを判断する。この手法の利益は、ユーザが、実験で使用されるアプリケーションタイプ及び特定の蛍光染色パネルにかかわらず、分取すべき(及び分取すべきではない)集団を識別及び選択できるようにすることである。クラスタは、教師あり分類を訓練するために使用することができる真理集合に類似している。クラスタリングからの標識された画像を使用して、教師あり分類ネットワークを訓練(又は再訓練)する。教師あり分類ネットワークが訓練されて精度及び速度のために最適化されると、ネットワークは、ライブソーティング(live sorting)(例えば、システムを通過する細胞)のために使用される準備ができている。ライブソーティングでは、細胞の画像が撮影され、教師あり分類は、その細胞が分取すべき細胞であるかどうかを判断し、リアルタイム分類を行って細胞を物理的に分取し、精練器(purifier)が関心細胞を単離する。
【0025】
図4に、いくつかの実施形態による、標識された画像を使用して教師あり分類を微調整する図を示す。標識された画像400を使用して、特定の実験のために教師あり分類ニューラルネットワーク402を微調整する。いくつかの実施形態では、教師あり分類ニューラルネットワーク402は、訓練された分類器204と同じであるか又はその一部である。所望の精度でリアルタイムのために十分に速く分取決定を行うために、高速分類ネットワークを使用する。
【0026】
図5に、いくつかの実施形態による、リアルタイム画像分類のために教師あり分類を使用する図を示す。訓練された分類器204を使用して、アクティブソーティング206のためにリアルタイム分取決定を行う。(細胞が1つずつ到着する)機器上で、残りの分取サンプルを実行する。細胞ごとに、複数の画像チャネルを取得することができる。訓練された分類器204は、画像に基づいて、各イベントを、分取集団のうちの1つに又は分取すべきではないものに分類する。分取決定は、細胞が撮像領域から分取作動領域に移動するのにかかる時間内に(例えば、500マイクロ秒未満で)行われる。
【0027】
実験は、細胞ごとに1つの画像又は細胞ごとに複数の画像(例えば、一緒に使用される1つの細胞に対する4つの画像チャネル)とすることができる。システムは、実装に応じて(例えば、何個のアクティブ画像チャネルが使用されているかに応じて)拡大縮小できる。異なる数の画像チャネルのために使用される異なるアーキテクチャが存在することができるので、全ての可能な数の画像チャネルのためにインスタンスを訓練して、実験ごとにアクティブ画像チャネルに基づいて、対応する最適化されたアーキテクチャを選択する。ワークフローは、任意のアプリケーションのために任意のタイプの入力を受け入れて、ユーザが異なる実験のために異なる規則を書き込まないようにすることができる。
【0028】
図6に、いくつかの実施形態による生体サンプル分析器の全体構成を概略的に示す図を示す。
【0029】
図6は、本開示の生体サンプル分析器の例示的な構成を示す。図6に示す生体サンプル分析器6100は、流路C内を流れる生体サンプルSに光を照射する光照射ユニット6101と、生体サンプルSに照射することによって発生する光を検出する検出ユニット6102と、検出ユニットによって検出される光についての情報を処理する情報処理ユニット6103と、を含む。生体サンプル分析器6100は、例えば、フローサイトメータ又はイメージングサイトメータである。生体サンプル分析器6100は、生体サンプル中の特定の生体粒子Pを選別するソーティングユニット6104を含むことができる。ソーティングユニットを含む生体サンプル分析器6100は、例えば、セルソーターである。
【0030】
(生体サンプル)
生体サンプルSは、生体粒子を含む液体サンプルとすることができる。生体粒子は、例えば、細胞又は非細胞生体粒子である。細胞は、生細胞とすることができ、そのより具体的な例は、赤血球及び白血球などの血液細胞、及び精子及び受精卵などの生殖細胞を含む。また、細胞は、全血などのサンプルから直接収集されるものとすることができるか、又は培養の後に取得される培養細胞とすることができる。非細胞生体粒子は、細胞外小胞、特に、例えば、エクソソーム及びマイクロベシクルである。1又は2以上の標識物質(例えば、色素(特に蛍光色素)、及び蛍光色素で標識された抗体)を用いて、生体粒子を標識することができる。本開示の生体サンプル分析器によって、生体粒子以外の粒子を分析することができ、較正等のためにビーズ等を分析することができることに留意されたい。
【0031】
(流路)
流路Cは、生体サンプルSの流れが形成されるように設計される。特に、生体サンプルに含まれる生体粒子が実質的に1列に配列されている流れが形成されるように、流路Cを設計することができる。流路Cを含む流路構造は、層流が形成されるように設計することができる。特に、生体サンプルの流れ(サンプル流)がシース液の流れによって取り囲まれる層流が形成されるように、流路構造を設計する。流路構造の設計は、当業者によって適宜選択することができるか、又は公知の構造を採用することもできる。流路Cは、マイクロチップ(マイクロメートルのオーダーの流路を有するチップ)又はフローセルなどの流路構造に形成することができる。流路Cの幅は、1mm以下であり、特に、10μm以上1mm以下とすることができる。流路C及び流路Cを含む流路構造は、プラスチック又はガラスなどの材料で形成することができる。
【0032】
本開示の生体サンプル分析器は、流路C内を流れる生体サンプル、特に、生体サンプル中の生体粒子に、光照射ユニット6101からの光が照射されるように設計される。本開示の生体サンプル分析器は、生体サンプル上の光の照射点が、流路Cが形成される流路構造内に位置するように設計することができるか、又は照射点が流路構造の外側に位置するように設計することができる。前者の場合の例は、マイクロチップ又はフローセル内の流路C上に光が発せられる構造とすることができる。後者の場合、流路構造(特に、そのノズル部分)を出た後の生体粒子に光を照射することができ、例えば、ジェットインエアータイプのフローサイトメータを採用することができる。
【0033】
(光照射ユニット)
光照射ユニット6101は、光を発する光源ユニットと、照射点に光を導く導光光学システムとを含む。光源ユニットは、1又は2以上の光源を含む。光源のタイプは、例えば、レーザ光源又はLEDである。各光源から発せられるべき光の波長は、紫外線光、可視光、及び赤外線光の任意の波長とすることができる。導光光学システムは、例えば、ビームスプリッタ、ミラー、又は光ファイバなどの光学部品を含む。導光光学システムは、光を集光するためのレンズ群を含むこともでき、例えば、対物レンズを含む。生体サンプル及び光が交差する1又は2以上の照射点が存在することができる。光照射ユニット6101は、1つの光源又は異なる光源から1つの照射点上に発せられる光を収集するように設計することができる。
【0034】
(検出ユニット)
検出ユニット6102は、生体粒子上に光を発することによって発生する光を検出する少なくとも1つの光検出器を含む。検出すべき光は、例えば、蛍光又は散乱光(前方散乱光、後方散乱光、及び側方散乱光のうちの1又は2以上など)とすることができる。各光検出器は、1又は2以上の受光素子を含み、例えば、受光素子アレイを有する。各光検出器は、受光素子として、1又は2以上の光電子増倍管(PMT)及び/又はAPD及びMPPCなどのフォトダイオードを含むことができる。光検出器は、例えば、複数のPMTが1次元方向に配置されるPMTアレイを含む。検出ユニット6102は、CCD又はCMOSなどのイメージセンサを含むこともできる。イメージセンサを用いて、検出ユニット6102は、生体粒子の画像(例えば、明視野画像、暗視野画像、又は蛍光画像など)を取得することができる。
【0035】
検出ユニット6102は、所定の検出波長の光を対応する光検出器に到達させる検出光学システムを含む。検出光学システムは、プリズム又は回折格子などの分光ユニット、又はダイクロイックミラー又は光フィルタなどの波長分離ユニットを含む。検出光学システムは、例えば、生体粒子への光照射によって発生する光を分散させて、生体粒子の標識に用いられる蛍光色素の数よりも多い数の光検出器を用いて分散光を検出するように設計される。このような検出光学システムを含むフローサイトメータは、スペクトルフローサイトメータと呼ばれる。更に、検出光学システムは、例えば、生体粒子への光照射によって発生する光からの特定の蛍光色素の蛍光波長帯域に対応する光を分離して、対応する光検出器に分離光を検出させるように設計される。
【0036】
検出ユニット6102は、光検出器によって取得される電気信号をデジタル信号に変換する信号処理ユニットを含むこともできる。信号処理ユニットは、変換を実行する装置としてA/Dコンバータを含むことができる。信号処理ユニットによって実行される変換によって取得されるデジタル信号を、情報処理ユニット6103に送信することができる。デジタル信号は、情報処理ユニット6103によって、光に関連するデータ(以下「光データ」とも呼ばれる)として扱うことができる。光データは、例えば、蛍光データを含む光データとすることができる。より具体的には、光データは、光強度のデータとすることができ、光強度は、蛍光を含む光の光強度データとすることができる(光強度データは、面積、高さ、及び幅などの特徴量を含むことができる)。
【0037】
(情報処理ユニット)
情報処理ユニット6103は、様々な種類のデータ(例えば、光データ)の処理を実行する処理ユニットと、例えば、様々な種類のデータを記憶する記憶ユニットとを含む。処理ユニットが、検出ユニット6102からの蛍光色素に対応する光データを取得する場合、処理ユニットは、光強度データに対して蛍光漏れ込み補正(コンペンセーションプロセス)を実行することができる。スペクトルフローサイトメータの場合、処理ユニットは、また、光データに対して蛍光分離プロセスを実行して、蛍光色素に対応する光強度データを取得する。蛍光分離プロセスは、例えば、特開2011-232259号公報に開示されるアンミキシング(unmixing)方法によって実行することができる。検出ユニット6102がイメージセンサを含む場合、処理ユニットは、イメージセンサによって取得される画像に基づいて、生体粒子についての形態学的情報を取得することができる。記憶ユニットは、取得された光データを記憶できるように設計することができる。記憶ユニットは、アンミキシングプロセスで使用すべきスペクトル参照データを更に記憶できるように設計することができる。
【0038】
生体サンプル分析器6100が後述するソーティングユニット6104を含む場合、情報処理ユニット6103は、光データ及び/又は形態学的情報に基づいて、生体粒子を分取すべきかどうかを判断することができる。次に、情報処理ユニット6103は、判断の結果に基づいてソーティングユニット6104を制御し、ソーティングユニット6104によって生体粒子を分取することができる。
【0039】
情報処理ユニット6103は、様々な種類のデータ(例えば、光データ及び画像など)を出力できるように設計することができる。例えば、情報処理ユニット6103は、光データに基づいて生成される様々な種類のデータ(例えば、2次元プロット又はスペクトルプロットなど)を出力することができる。情報処理ユニット6103は、様々な種類のデータの入力を受け入れることができるように設計することもでき、例えば、ユーザによるプロット上のゲーティングプロセスを受け入れる。情報処理ユニット6103は、出力ユニット(例えば、ディスプレイなど)又は入力ユニット(例えば、キーボードなど)を含み、出力又は入力を実行することができる。
【0040】
情報処理ユニット6103は、汎用コンピュータとして設計することができ、例えば、CPU、RAM、及びROMを含む情報処理装置として設計することができる。情報処理ユニット6103は、光照射ユニット6101及び検出ユニット6102が含まれるハウジング内に含まれることができるか、又はハウジングの外側に位置することができる。更に、情報処理ユニット6103によって実行すべき様々なプロセス又は機能は、ネットワークを介して接続されるサーバコンピュータ又はクラウドによって実現することができる。
【0041】
(ソーティングユニット)
ソーティングユニット6104は、情報処理ユニット6103によって実行される判断の結果に従って、生体粒子のソーティングを実行する。ソーティング方法は、振動によって生体粒子を含む液滴が生成され、分取すべき液滴に電荷が加えられ、電極によって液滴の移動方向が制御される方法とすることができる。ソーティング方法は、流路構造内の生体粒子の移動方向を制御することによって分取する方法とすることができる。流路構造は、例えば、圧力(注入又は吸引)又は電荷に基づく制御機構を有する。流路構造の例は、流路Cが下流側で回収流路と廃液流路とに分岐して、特定の生体粒子が回収流路内に収集される流路構造を有するチップ(例えば、特開2020-076736号公報に開示されるチップ)とすることができる。
【0042】
図7に、いくつかの実施形態による分類ワークフローを実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置700を使用して、画像及びビデオなどの情報を取得、記憶、計算、処理、通信及び/又は表示することができる。コンピュータ装置700は、分類ワークフローの態様のいずれかを実装することができる。一般に、コンピュータ装置700を実装するのに適したハードウェア構造は、ネットワークインターフェイス702、メモリ704、プロセッサ706、I/Oデバイス708、バス710、及び記憶装置712を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ704は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置712は、ハードドライブ、CDROM、CDRW、DVD、DVDRW、高精細ディスク/ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置700は、1又は2以上のネットワークインターフェイス702を含むことができる。ネットワークインターフェイスの一例は、イーサネット又は他のタイプのLANに接続されるネットワークカードを含む。I/Oデバイス708は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス及び他のデバイスのうちの1又は2以上を含むことができる。分類ワークフローを実装するのに使用される分類ワークフローアプリケーション730は、記憶装置712及びメモリ704に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置700は、図7に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、分類ワークフローハードウェア720が含まれる。図7のコンピュータ装置700は、分類ワークフローのためのアプリケーション730及びハードウェア720を含むが、分類ワークフローは、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、分類ワークフローアプリケーション730は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態では、分類ワークフローハードウェア720は、分類ワークフローを実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。
【0043】
いくつかの実施形態では、分類ワークフローアプリケーション730は、いくつかのアプリケーション及び/又はモジュールを含む。いくつかの実施形態では、モジュールは、1又は2以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。
【0044】
好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話/携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、移動体デバイス、ビデオプレーヤー、ビデオディスクライター/プレーヤー(例えば、DVDライター/プレーヤー、高精細ディスクライター/プレーヤー、超高精細ディスクライター/プレーヤー)、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー(例えば、スマートウォッチ)、車両(例えば、自動運転車両)又は他の任意の好適なコンピュータ装置を含む。
【0045】
本明細書で説明する分類ワークフローを利用するために、カメラを含む顕微鏡などの装置を使用して、コンテンツを取得し、装置は、取得したコンテンツを処理することができる。分類ワークフローは、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。
【0046】
動作時、分類ワークフローは、IACSで使用される。ワークフローは、スペクトルセルソーター又は他の従来のセルソーターで使用することもできる。教師なしクラスタリングと教師あり分類とを組み合わせる分類ワークフローの利点は、関心サブ集団を識別するために現在の手動順次ゲーティングの方法を使用して発生する可能性があるバイアス及びヒューマンエラーを低減することである。IACSは、細胞の高速イメージングを実行することにより、従来のフローサイトメトリーを使用して不可能である新たなアプリケーションを可能にする。IACSは、フローサイトメトリーの高スループットと、顕微鏡検査のハイコンテント情報とを組み合わせる。IACSは、細胞のサブ集団を分取して、下流のアッセイのためにその集団を単離/精練(purify)する。セルソーティングは、500マイクロ秒未満で行われる。
【0047】
フレキシブルな画像ベースの粒子ソーティングのための分類ワークフローのいくつかの実施形態
1.方法であって、
細胞画像を使用して、特徴エンコーダを事前に訓練するステップと、
教師なしクラスタリングを実行して、集団を識別するステップであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練するステップから出力を受け取る、ステップと、
分類器を実装して、教師あり分類を微調整するステップと、
前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行するステップと、
を含む方法。
【0048】
2.前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する、第1項に記載の方法。
【0049】
3.前記特徴エンコーダは、ニューラルネットワークを使用して実装される、第1項に記載の方法。
【0050】
4.前記特徴エンコーダは、1~12個の画像チャネルに対応するようにスケーラブルである、第1項に記載の方法。
【0051】
5.前記教師なしクラスタリングを実行するステップは、前記細胞画像の細胞をクラスタに分類するステップを含む、第1項に記載の方法。
【0052】
6.前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するステップを更に含む、第1項に記載の方法。
【0053】
7.ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される、第5項に記載の方法。
【0054】
8.前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する、第1項に記載の方法。
【0055】
9.前記分類器は、実験ごとに再訓練されるように構成される、第1項に記載の方法。
【0056】
10.装置であって、
細胞画像を使用して、特徴エンコーダを事前に訓練することと、
教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、
分類器を実装して、教師あり分類を微調整することと、
前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、
を行うためのアプリケーションを記憶するための非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。
【0057】
11.前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する、第10項に記載の装置。
【0058】
12.前記特徴エンコーダは、ニューラルネットワークを使用して実装される、第10項に記載の装置。
【0059】
13.前記特徴エンコーダは、1~12個の画像チャネルに対応するようにスケーラブルである、第10項に記載の装置。
【0060】
14.前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含む、第10項に記載の装置。
【0061】
15.前記装置は、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成される、第10項に記載の装置。
【0062】
16.ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される、第14項に記載の装置。
【0063】
17.前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する、第10項に記載の装置。
【0064】
18.前記分類器は、実験ごとに再訓練されるように構成される、第10項に記載の装置。
【0065】
19.システムであって、
細胞画像を取得するように構成される第1の装置と、
第2の装置と、
を含み、
前記第2の装置は、
前記細胞画像を使用して、特徴エンコーダを事前に訓練することと、
教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、
分類器を実装して、教師あり分類を微調整することと、
前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、
を行うように構成される、
システム。
【0066】
20.前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する、第19項に記載のシステム。
【0067】
21.前記特徴エンコーダは、ニューラルネットワークを使用して実装される、第19項に記載のシステム。
【0068】
22.前記特徴エンコーダは、1~12個の画像チャネルに対応するようにスケーラブルである、第19項に記載のシステム。
【0069】
23.前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含む、第19項に記載のシステム。
【0070】
24.前記システムは、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成される、第19項に記載のシステム。
【0071】
25.ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される、第23項に記載のシステム。
【0072】
26.前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する、第19項に記載のシステム。
【0073】
27.前記分類器は、実験ごとに再訓練されるように構成される、第19項に記載のシステム。
【0074】
本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。
【符号の説明】
【0075】
200 特徴エンコーダを事前に訓練
202 教師なしクラスタリングを利用して集団を識別
204 分類器を実装して教師あり分類を微調整/訓練された分類器
206 アクティブソーティング中にリアルタイム分類を実行
300 分取サンプルからの細胞画像を取得
302 特徴エンコーダ(ニューラルネットワーク)を実装
304 (階層密度ベースの)教師なしクラスタリングを実行
306 ユーザがクラスタを見て、どのクラスタが関心細胞を含むかを判断
400 標識された画像
402 教師あり分類ニューラルネットワーク
700 コンピュータ装置
702 ネットワークインターフェイス
704 メモリ
706 プロセッサ
708 I/Oデバイス
710 バス
712 記憶装置
720 分類ワークフローハードウェア
730 分類ワークフローアプリケーション
6101 光照射ユニット
6102 検出ユニット
6103 情報処理ユニット
6104 ソーティングユニット
C 流路
P 生体粒子
S 生体サンプル
図1
図2
図3
図4
図5
図6
図7
【国際調査報告】