(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-27
(45)【発行日】2024-09-04
(54)【発明の名称】細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム
(51)【国際特許分類】
C12Q 1/02 20060101AFI20240828BHJP
C12M 1/34 20060101ALI20240828BHJP
【FI】
C12Q1/02
C12M1/34 A
(21)【出願番号】P 2019217162
(22)【出願日】2019-11-29
【審査請求日】2022-10-14
【前置審査】
(73)【特許権者】
【識別番号】390014960
【氏名又は名称】シスメックス株式会社
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】今久保 桃子
(72)【発明者】
【氏名】陸 建銀
(72)【発明者】
【氏名】白井 健太郎
(72)【発明者】
【氏名】勝俣 恵理
(72)【発明者】
【氏名】岡本 有司
【審査官】松田 芳子
(56)【参考文献】
【文献】特開2019-095212(JP,A)
【文献】特開2019-095853(JP,A)
【文献】特開2018-185759(JP,A)
【文献】特表2014-529158(JP,A)
【文献】国際公開第2017/061155(WO,A1)
【文献】特開2006-333710(JP,A)
【文献】特表2002-521066(JP,A)
【文献】国際公開第2017/104556(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
C12Q 1/00
C12M 1/00
G01N 33/00
CAplus/MEDLINE/EMBASE/BIOSIS(STN)
(57)【特許請求の範囲】
【請求項1】
細胞を解析する細胞解析方法であって、
複数の細胞を含む
、被検者から採取された検体から調製された試料を流路に流し、
前記流路内を通過する前記細胞を撮像して解析対象画像を生成し、前記解析対象画像は1つの細胞について複数の画像を含み、
検査項目又は解析項目を受け付け、
撮像した前記細胞のそれぞれについて、受け付けた検査項目又は解析項目に基づいて、解析用データの生成に使用する画像を前記複数の画像から選択し、
撮像した前記細胞のそれぞれについて、選択した前記画像から前記解析用データを生成し、
生成した前記解析用データの入力先となる人工知能アルゴリズムを、複数の人工知能アルゴリズムから選択し、
選択した前記人工知能アルゴリズムによって、前記細胞の性状を示すデータを前記解析用データに基づいて生成する、
前記細胞解析方法。
【請求項2】
前記複数の画像が、核に存在する第1の蛍光標識を撮像した第1の蛍光画像と、核に存在する第2の蛍光標識を撮像した第2の蛍光画像を含む、請求項1に記載の細胞解析方法。
【請求項3】
前記複数の画像が、前記細胞の明視野画像と、前記細胞の蛍光標識を撮像した蛍光画像を含む、請求項1に記載の細胞解析方法。
【請求項4】
前記人工知能アルゴリズムは、受け付けた検査項目又は解析項目に基づいて選択される、
請求項1から3のいずれか一項に記載の細胞解析方法。
【請求項5】
複数の解析モードから一の解析モードを受け付け、
前記人工知能アルゴリズムは、受け付けた解析モードに基づいて選択される、
請求項1から4のいずれか一項に記載の細胞解析方法。
【請求項6】
前記解析モードは、解析モードを受け付けるためのモード受付画面を介して受け付ける、請求項5に記載の細胞解析方法。
【請求項7】
前記人工知能アルゴリズムが、ニューラルネットワーク構造を有する深層学習アルゴリズムである、請求項1から6のいずれか一項に記載の細胞解析方法。
【請求項8】
前記複数の人工知能アルゴリズムは、染色体異常を有する細胞であるか否かを示すデータを生成するアルゴリズム、及び末梢循環腫瘍細胞であるか否かを示すデータを生成するアルゴリズムの少なくとも一方を含む、請求項1から7のいずれか一項に記載の細胞解析方法。
【請求項9】
前記複数の人工知能アルゴリズムは、同一のコンピュータに記憶されている、請求項1から8のいずれか一項に記載の細胞解析方法。
【請求項10】
細胞を含む試料が流れるフローセルと、
前記フローセルを流れる試料に光を照射するための光源と、
前記光が照射された前記試料中の細胞を撮像する撮像部と、
制御部と、
を備えた、細胞解析システムであって
前記制御部は、
複数の細胞を含む、
被検者から採取された検体から調製された試料を流路に流し、
前記流路内を通過する細胞を撮像して解析対象画像を生成し、前記解析対象画像は1つの細胞について複数の画像を含み、
検査項目又は解析項目を受け付け、
撮像した前記細胞のそれぞれについて、受け付けた検査項目又は解析項目に基づいて、解析用データの生成に使用する画像を前記複数の画像から選択し、
撮像した前記細胞のそれぞれについて、選択した前記画像から 前記解析用データを生成し、
前記解析用データの入力先となる人工知能アルゴリズムを、複数の人工知能アルゴリズムから選択し、
選択した前記人工知能アルゴリズムによって、前記解析対象画像に含まれる前記細胞の性状を示すデータを前記解析用データに基づいて生成する、ように構成された、
前記細胞解析システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、細胞を解析する細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラムに関する。
【背景技術】
【0002】
特許文献1には、フィルタ処理をした顕微鏡画像を、訓練された機械学習モデルに適用し、特定のタイプの細胞の中心及び境界を決定し、決定された細胞を計数するとともに、その細胞の画像を出力する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
検査においては、複数の解析項目を解析することが多い。しかし、解析項目の数が増えると、判定間違いを減らすため、機械学習モデルの訓練回数を増やしたり、機械学習モデルに入力するパラメータの種類を増やしたりすることが必要になり、訓練に長時間が必要になるとともに、機械学習モデルが大型化する。
【0005】
本発明は、複数の解析項目の解析を容易にする、細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一実施形態は、細胞を解析する細胞解析方法に関する。前記細胞解析方法は、試料に含まれる細胞の解析用データ(82,87,585)を生成し、生成した解析用データ(82,87,585)の入力先となる人工知能アルゴリズム(60,63,560)を、複数の人工知能アルゴリズム(60,63,560)から選択し、選択した人工知能アルゴリズム(60,63,560,563)によって、細胞の性状を示すデータ(84,88,582)を解析用データ(82,87,585)に基づいて生成する。
【0007】
本発明の一実施形態は、細胞を解析する細胞解析装置(400A,200T)に関する。細胞解析装置(400A,200T)試料に含まれる細胞の解析用データ(82,87,585)の入力先となる人工知能アルゴリズム(60,63,560)を、複数の人工知能アルゴリズム(60,63,560)から選択し、選択した人工知能アルゴリズム(60,63,560,563)によって、前記細胞の性状を示すデータ(84,88,582)を解析用データ(82,87,585)に基づいて生成する、ように構成された、制御部(40A,20T)を備える。
【0008】
本発明の一実施形態は、細胞解析システム(1000)に関する。細胞解析システム(1000)は、細胞を含む試料が流れるフローセル(110)と、前記フローセル(110)を流れる試料に光を照射するための光源(120,121,122,123)と、前記光が照射された前記試料中の細胞を撮像する撮像部(160)と、制御部(40A,)と、を備える。制御部(40A)は、細胞を含む試料を流路(111)に流し、流路(111)内を通過する細胞を撮像した解析対象画像(80,85)から生成した解析用データ(82,87)の入力先となる人工知能アルゴリズム(60,63)を、複数の人工知能アルゴリズム(60,63)から選択し、選択した人工知能アルゴリズム(60,63)によって、前記解析対象画像(80,85)に含まれる前記細胞の性状を示すデータ(84,88)を解析用データ(82,87,585)に基づいて生成する、ように構成される。
【0009】
本発明の一実施形態は、細胞解析システム(5000)細胞を含む試料が流れる流路(4113a)と、前記流路を流れる試料中の細胞から信号を取得する信号取得部(610)と、制御部(20T)と、を備える。制御部(20T)は、細胞を含む試料を流路(4113a)に流し、前記流路(4113a)内を通過する個々の細胞に関する信号強度を取得し、取得した前記信号強度から前記解析用データ(585)を生成し、前記解析用データ(585)の入力先となる人工知能アルゴリズム(560,563)を、複数の人工知能アルゴリズム(560,563)から選択し、選択した人工知能アルゴリズム(560,563)によって、前記細胞の性状を示すデータ(582)を解析用データ(585)に基づいて生成する、ように構成される。
【0010】
本発明の一実施形態は、細胞解析システム(1000)に関する。細胞解析システム(1000)は、細胞を含む試料が塗布されたスライドを設置するステージを備える顕微鏡700と、前記顕微鏡により拡大された前記試料中の細胞を撮像する撮像部(710d)と、制御部(40A)と、を備える。制御部(40A)は、スライドに塗布された試料に含まれる細胞を顕微鏡(700)により拡大して撮像した解析対象画像(80,85)から生成した解析用データ(82,87)の入力先となる人工知能アルゴリズム(60,63)を、複数の人工知能アルゴリズム(60,63)から選択し、選択した人工知能アルゴリズム(60,63)によって、前記解析対象画像(80,85)に含まれる前記細胞の性状を示すデータ(84,88)を前記解析用データ(82,87)に基づいて生成する。
【0011】
本発明の一実施形態は、細胞を解析する細胞解析プログラムに関する。前記細胞解析プログラムは、コンピュータに、試料に含まれる細胞の解析用データ(82,87,585)の入力先となる人工知能アルゴリズム(60,63,560)を、複数の人工知能アルゴリズム(60,63,560)から選択するステップと、選択した人工知能アルゴリズム(60,63,560)によって、前記細胞の性状を示すデータ(84,88,582)を解析用データ(82,87,585)に基づいて生成するするステップと、を含む処理を実行させる。
【発明の効果】
【0012】
本発明によれば、細胞解析において、複数の解析項目の解析を容易にする。
【図面の簡単な説明】
【0013】
【
図2】染色体異常を解析するための第1の人工知能アルゴリズム50を訓練する訓練データの生成方法を示す。(A)は、陽性訓練データの生成方法を示す。(B)は、陰性訓練データの生成方法を示す。
【
図3】染色体異常を解析するための第1の人工知能アルゴリズム50を訓練する訓練データの生成方法を示す。
【
図4】染色体異常を解析するため解析データの生成方法と、訓練された第1の人工知能アルゴリズム60による細胞の解析方法を示す。
【
図5】イメージングフローサイトメータによるPML-RARAキメラ遺伝子陽性細胞の染色パターンを示す。(A)の左は、チャンネル2の画像を、右は、チャンネル2の画像を示す。(B)は、(A)とは異なる細胞であり、左は、チャンネル2の画像を、右は、チャンネル2の画像を示す。
【
図9】末梢循環腫瘍細胞を解析するための第2の人工知能アルゴリズム53を訓練する訓練データの生成方法を示す。
【
図10】末梢循環腫瘍細胞を解析するための第2の人工知能アルゴリズム53を訓練する訓練データの生成方法を示す。(A)は、陽性訓練データの生成方法を示す。(B)は、陰性訓練データの生成方法を示す。
【
図11】末梢循環腫瘍細胞を解析するための第2の人工知能アルゴリズム53を訓練する訓練データの生成方法を示す。
【
図12】末梢循環腫瘍細胞を解析するため解析データの生成方法と、訓練された第2の人工知能アルゴリズム63による細胞の解析方法を示す。
【
図13】細胞解析システム1000のハードウエア構成を示す。
【
図14】訓練装置200Aのハードウエア構成を示す。
【
図16】第1の人工知能アルゴリズムの訓練処理のフローチャートを示す。
【
図17】細胞撮像装置100Aと細胞解析装置400Aのハードウエア構成を示す。
【
図18】細胞解析装置400Aの機能ブロックを示す。
【
図20】第1の実施形態における人工知能アルゴリズムを格納したアルゴリズムデータベースの例を示す。
【
図21】細胞撮像装置が顕微鏡である場合のハードウエア構成を示す。
【
図26】細胞解析システム5000の外観の例を示す。
【
図28】測定ユニット600の有核細胞検出部611の光学系の概略の例を示す。
【
図29】測定ユニット600の試料調製部640の概略の例を示す。
【
図31】細胞解析装置のハードウエアの構成例を示す。
【
図34】第3および第4の人工知能アルゴリズムの訓練処理のフローチャートを示す。
【発明を実施するための形態】
【0014】
I.発明の実施形態の概要
図1を用いて、本発明の実施形態の概要を説明する。
【0015】
本発明の実施形態は、細胞を解析する細胞解析方法に関する。
図1に示すように、細胞解析方法は、試料に含まれる細胞の解析用データ82、87、又は585を生成し、生成した前記解析用データの入力先となる人工知能アルゴリズムを、検査項目に応じて複数の人工知能アルゴリズム405(a)、405(b)、T205(a)およびT205(b)から選択することを特徴とする。選択した人工知能アルゴリズムは、入力された解析用データから、解析対象の細胞の性状を示すデータを生成する。
図1に示すように、細胞を解析する際には、フローサイトメータや顕微鏡を使って、細胞の画像や細胞からの信号強度に基づく波形データが取得されうる。細胞からどのようなデータを収集するかは、染色体異常検査、末梢循環腫瘍細胞検査、末梢血検査、尿検査等の検査項目又は解析項目に応じてあらかじめ定められている。したがって、本発明においては、検査項目又は解析項目に応じて、各解析に適した人工知能アルゴリズムを選択する。
【0016】
II.第1の実施形態
【0017】
第1の実施形態は、細胞の画像から人工知能アルゴリズムを用いて細胞を解析する方法に関する。
【0018】
1.細胞解析方法の概要
本実施形態は、人工知能アルゴリズムを用いて細胞を解析する細胞解析方法に関する。細胞解析方法において、解析対象となる細胞を撮像した解析対象画像は、細胞を含む試料を流路に流し、前記流路内を通過する細胞を撮像して取得される。人工知能アルゴリズムに入力するための解析用データは、取得した前記解析対象画像から生成される。解析用データを人工知能アルゴリズムに入力すると、人工知能アルゴリズムによって、解析対象画像に含まれる細胞の性状を示すデータが生成される。解析対象画像は、流路内を通過する細胞を個々に撮像したものであることが好ましい。
【0019】
本実施形態において、試料は、被検者から採取された検体から調製された試料を挙げることができる。検体は、例えば、末梢血、静脈血、動脈血等の血液検体、尿検体、血液及び尿以外の体液検体を含み得る。血液及び尿以外の体液として、骨髄、腹水、胸水、髄液等を含みうる。血液及び尿以外の体液を単に「体液」という場合がある。血液は、好ましくは末梢血である。例えば、血液は、エチレンジアミン四酢酸塩ナトリウム塩又はカリウム塩)、ヘパリンナトリウム等の抗凝固剤を使用して採血された末梢血を挙げることができる。
【0020】
検体からの試料の調製は、公知の方法にしたがって行うことができる。例えば、検査者が、被検者から採取した血液検体に対してフィコール等の細胞分離用媒体を用いて遠心分離等を行って有核細胞を回収する。有核細胞の回収にあたっては、遠心分離による有核細胞の回収に代えて溶血剤を用いて赤血球等を溶血させることにより有核細胞を残してもよい。回収された有核細胞の標的部位に、後述するFluorescence In Situ Hybridization(FISH)法、免疫染色法、及び細胞内小器官染色法等から選択される少なくとも1つによって標識、好ましくは蛍光標識を行い、標識された細胞の浮遊液を試料として、例えばイメージングフローサイトメータに供し、解析対象となり得る細胞の撮像を行う。
【0021】
試料には、複数の細胞が含まれ得る。試料に含まれる細胞数は、特に制限されないが、少なくとも102個以上、好ましくは103個以上、より好ましくは104個以上、さらに好ましくは105個以上、さらにより好ましくは106個以上である。また、複数の細胞は、異なる種類の細胞を含み得る。
【0022】
本実施形態において、解析対象となり得る細胞を解析対象細胞とも呼ぶ。解析対象細胞は、被検者から採取された検体中に含まれる細胞であり得る。好ましくは、前記細胞は、有核細胞であり得る。細胞には、正常細胞と異常細胞とが含まれ得る。
【0023】
正常細胞は、検体を採取した体の部位に応じて本来前記検体に含まれるべき細胞を意図する。異常細胞は、正常細胞以外の細胞を意図する。異常細胞には、染色体異常を有する細胞、及び/又は腫瘍細胞が含まれ得る。ここで、前記腫瘍細胞は、好ましくは末梢循環腫瘍細胞である。より好ましくは、末梢循環腫瘍細胞は、通常の病態において血液中に腫瘍細胞が存在する造血系腫瘍細胞を意図せず、造血系細胞系統以外の細胞系列を起源とする腫瘍細胞が、血液中を循環していることを意図する。本明細書において、末梢を循環している腫瘍細胞をcirculating tumor cells(CTC)とも呼ぶ。
【0024】
染色体異常を検出する場合の標的部位は解析対象細胞の核である。染色体異常として、例えは、染色体の転座、欠失、逆位、重複等を挙げることができる。このような染色体異常を有する細胞として、例えば、骨髄異形成症候群、急性骨髄芽球性白血病、急性骨髄芽球性白血病、急性前骨髄球性白血病、急性骨髄単球性白血病、急性単球性白血病、赤白血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性白血病、慢性骨髄性白血病、又は慢性リンパ球性白血病等の白血病、ホジキンリンパ腫、非ホジキンリンパ腫等の悪性リンパ腫、及び多発性骨髄腫よりなる群から選択される疾患に罹患した際に出現する細胞を挙げることができる。
【0025】
染色体異常は、FISH法等の公知の方法により検出することができる。一般に、染色体異常を検出するための検査項目は、検出したい異常細胞の種類に応じて設定されている。検体についてどのような検査項目を行うかに応じて、解析対象となる遺伝子、又は遺伝子座が解析項目として設定されている。FISH法による染色体異常の検出では、解析対象となる細胞の核内に存在する遺伝子、又は遺伝子座に対して特異的に結合するプローブをハイブリダイズさせることにより、染色体の位置の異常、又は数の異常を検出することができる。プローブは、標識物質で標識されている。標識物質は、蛍光色素であることが好ましい。標識物質は、プローブに応じて異なっており、標識物質が蛍光色素である場合には、異なる蛍光の波長領域を有する蛍光色素を組み合わせて、1つの細胞に対して、複数の遺伝子、又は遺伝子座を検出することが可能である。
【0026】
異常細胞は、所定の疾患に罹患した際に出現する細胞であり、例えば、癌細胞、白血病細胞等の腫瘍細胞等を含み得る。造血系器官の場合、所定の疾患は、骨髄異形成症候群、急性骨髄芽球性白血病、急性骨髄芽球性白血病、急性前骨髄球性白血病、急性骨髄単球性白血病、急性単球性白血病、赤白血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性白血病、慢性骨髄性白血病、又は慢性リンパ球性白血病等の白血病、ホジキンリンパ腫、非ホジキンリンパ腫等の悪性リンパ腫、及び多発性骨髄腫よりなる群から選択される疾患であり得る。また、造血系器官以外の器官の場合、所定の疾患は、上咽頭、食道、胃、十二指腸、空腸、回腸、盲腸、虫垂、上行結腸、横行結腸、下行結腸、S状結腸、直腸又は肛門部等から発生する消化管系悪性腫瘍;肝臓癌;胆嚢癌胆管癌;膵臓癌;膵管癌;膀胱、尿管又は腎臓から発生する泌尿器系悪性腫瘍;卵巣、卵管及び子宮等のから発生する女性生殖器系悪性腫瘍;乳癌;前立腺癌;皮膚癌;視床下部、下垂体、甲状腺、副甲状腺、副腎、膵臓等の内分泌系悪性腫瘍;中枢神経系悪性腫瘍;骨軟部組織から発生する悪性腫瘍等の固形腫瘍であり得る。
【0027】
異常細胞の検出は、明視野画像、種々の抗原に対する免疫染色画像、及び細胞内小器官を特異的に染色する細胞内小器官染色画像から選択される少なくとも1つを用いて行うことができる。
【0028】
明視野画像は、細胞に光を照射し、細胞からの透過光又は反射光を撮像することにより取得することができる。好ましくは、明視野画像は、透過光を使用し細胞の位相差を撮像した画像であることが好ましい。
【0029】
免疫染色画像は、核、細胞質、及び細胞表面から選択される少なくとも1つの細胞内又は細胞上の標的部位に存在する抗原に結合可能な抗体を使って標識物質を標識することによって免疫染色を施した細胞を撮像することにより取得することができる。標識物質は、FISH法と同様に蛍光色素を使用することが好ましい。標識物質は、抗原に応じて異なっており、標識物質が蛍光色素である場合には、異なる蛍光の波長領域を有する蛍光色素を組み合わせて、1つの細胞に対して、複数の抗原を検出することが可能である。
【0030】
細胞内小器官染色画像は、核、細胞質、及び細胞膜から選択される少なくとも1つの細胞内又は細胞膜の標的部位に存在するタンパク質、糖鎖、脂質又は核酸等に選択的に結合可能な色素を用いて染色を施した細胞を撮像することにより取得することができる。例えば、核に特異的な染色色素として、Hoechst(商標)33342、Hoechst(商標)33258、4’,6-diamidino-2-phenylindole(DAPI)、Propidium Iodide(PI)、ReadyProbes(商標)核染色試薬等のDNA結合色素、CellLight(商標)試薬等のヒストンタンパク質結合試薬等を挙げることができる。核小体、及びRNAに特異的な染色試薬として、RNAと特異的に結合するSYTO(登録商標)RNASelect(商標)等を挙げることができる。細胞骨格に特異的な染色試薬として、例えば蛍光標識ファロイジン等を挙げることができる。その他の細胞内小器官である、ライソソーム、小胞体、ゴルジ体、ミトコンドリア等を染色する色素として、例えは、アブカム社(Abcam plc,Cambridge,UK)のCytoPainterシリーズを使用することができる。これらの染色色素、又は染色試薬は、蛍光色素であるか、蛍光色素を含む試薬であり、細胞内小器官や、1つの細胞に対して共に施される別の染色に用いる蛍光色素の蛍光の波長領域に応じて、異なる蛍光の波長領域を選択することができる。
【0031】
異常細胞を検出する場合、どのような異常細胞を検出するかに応じて検査項目が設定されている。検査項目には、異常細胞を検出するために必要な解析項目が含まれ得る。解析項目は、上述した明視野画像、各抗原、各細胞内小器官に対応して設定され得る。明視野を除く各解析項目には、それぞれ異なる蛍光の波長領域を有する蛍光色素が対応しており、1つの細胞において異なる解析項目を検出可能である。
【0032】
人工知能アルゴリズムに入力するための解析用データは、後述する方法により取得される。人工知能アルゴリズムによって生成される、解析対象画像に含まれる細胞の性状を示すデータは、例えば、解析対象細胞が、正常であるか異常であるかを示すデータである。より具体的には、解析対象画像に含まれる細胞の性状を示すデータは、解析対象細胞が、染色体異常を有する細胞であるか否か、あるいは末梢循環腫瘍細胞であるか否かを示すデータである。
【0033】
本明細書において、記載の便宜上「解析対象画像」を「解析画像」と、「解析用データ」を「解析データ」と、「訓練用画像」を「訓練画像」と、「訓練用データ」を「訓練データ」と称する場合がある。また、「蛍光画像」は、蛍光標識を撮像した訓練画像又は蛍光標識を撮像した解析画像を意図する。
【0034】
2.第1の人工知能アルゴリズムを使った細胞解析方法
第1の人工知能アルゴリズム50、及び第2の人工知能アルゴリズム53の訓練方法と訓練された第1の人工知能アルゴリズム60及び訓練された第2の人工知能アルゴリズム63を使った細胞の解析方法について
図2から
図12を用いて説明する。第1及び第2の人工知能アルゴリズム60,63は、ニューラルネットワーク構造を有する深層学習アルゴリズムであり得る。前記ニューラルネットワーク構造は、フルコネクトのディープニューラルネットワーク(FC-DNN)、畳み込みニューラルネットワーク(CNN)、自己回帰ニューラルネットワーク(RNN)、及びこれらの組み合わせから選択することができる。好ましくは、畳み込みニューラルネットワークである。
【0035】
人工知能アルゴリズムは、例えば、Python社から提供されるものを使用することができる。
【0036】
2-1.染色体異常を検出するための人工知能アルゴリズム
本実施形態は、染色体異常を検出するための第1の人工知能アルゴリズム50の訓練方法と、染色体異常を検出するための訓練された第1の人工知能アルゴリズム60を用いた細胞の解析方法に関する。ここで「訓練」又は「訓練する」という用語は、「生成」又は「生成する」という用語に置き換えて使用される場合がある。
【0037】
(1)訓練データの生成
図2及び
図3を用いて染色体異常を検出するための第1の人工知能アルゴリズム50の訓練方法について説明する。
図2には、15番染色体長腕(15q24.1)に座位する転写制御因子であるPML遺伝子と17番染色体長腕(17q21.2)に座位するレチノイン酸レセプターα(RARA)遺伝子が相互転座して形成されるPML-RARAキメラ遺伝子のFISH染色の画像を用いた例を示す。
【0038】
図2に示すように、染色体異常が陽性である細胞(以下、「第1の陽性コントロール細胞」と呼ぶ)を撮像した陽性訓練画像70Pと、染色体異常が陰性である細胞(以下、「第1の陰性コントロール細胞」と呼ぶ)を撮像した陰性訓練画像70Nから、それぞれラベル付き陽性統合訓練データ73Pと、ラベル付き陰性統合訓練データ73Nを生成する。陽性訓練画像70Pと陰性訓練画像70Nを併せて、訓練画像70と呼ぶ場合がある。また、ラベル付き陽性統合訓練データ73Pと、ラベル付き陰性統合訓練データ73Nとを併せて訓練データ73と呼ぶことがある。
【0039】
ここでは、PML-RARAキメラ遺伝子を検出する場合を例示する。PML遺伝子座を検出するプローブには、緑色の波長領域の蛍光を発する第1の蛍光色素を結合させ、RARA遺伝子座を検出するプローブには、第1の蛍光色素とは異なる赤色の波長領域の蛍光を発する第2の蛍光色素を結合させた例を示す。第1の蛍光色素を結合したプローブと、第2の蛍光色素を結合したプローブを使って、FISH法により第1の陽性コントロール細胞と、第1の陰性コントロール細胞のそれぞれの核に第1の蛍光色素と第2の蛍光色素の標識を施すことができる。標的部位における第1の蛍光色素による標識を第1の蛍光標識と呼び、標的部位における第2の蛍光色素による標識を第2の蛍光標識と呼ぶことがある。
【0040】
第1の蛍光標識と、第2の蛍光標識を有する細胞を含む試料をイメージングフローサイトメータ等の細胞撮像装置における解析に供し、細胞の画像を撮像することができる。細胞の撮像画像は、同じ細胞の同じ視野について複数の画像を含み得る。第1の蛍光標識と、第2の蛍光標識は、それぞれの蛍光色素が有する蛍光の波長領域が異なるため、第1の蛍光色素から発せられる光を透過するための第1のフィルタと、第2の蛍光色素から発せられる光を透過するための第2のフィルタとは異なっている。このため、第1のフィルタを透過した光と第2のフィルタを透過した光は、それぞれに対応する第1のチャンネル第2のチャンネルを介して後述する撮像部160に取り込まれ、同一細胞の同一視野の別画像として撮像される。すなわち、撮像部160において、同一細胞の同一視野について、細胞を標識した標識物質の数に応じた画像が複数取得される。
【0041】
したがって、
図2の例では、
図2(A)に示すように、陽性訓練画像70Pには、第1の陽性コントロール細胞について、第1のチャンネルを介して緑色の第1の蛍光標識を撮像した第1の陽性訓練画像70PAと、第2のチャンネルを介して赤色の第2の蛍光標識を撮像した第2の陽性訓練画像70PBとが含まれ得る。第1の陽性訓練画像70PAと第2の陽性訓練画像70PBとは、同一細胞の同一視野の画像として対応付けられている。第1の陽性訓練画像70PAと第2の陽性訓練画像70PBは、次に画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の陽性数値訓練データ71PAと第2の陽性数値訓練データ71PBに変換される。
【0042】
第1の陽性訓練画像70PAを用いて、第1の陽性数値訓練データ71PAの生成方法について説明する。撮像部160において撮像された各画像を、例えば、縦100ピクセル×横100ピクセルの画素数にトリミングし訓練画像70を生成する。このとき、1つの細胞について各チャンネルから取得した画像が同じ視野となるようにトリミングする。第1の陽性訓練画像70PAは、例えば16ビットのグレースケール画像として表される。したがって、各画素においてその画素の明るさが、1から65,536までの65,536階調の明るさの数値で示され得る。
図2(A)に示すように、第1の陽性訓練画像70PAの各画素における明るさの階調を示す値が第1の陽性数値訓練データ71PAであり、各画素に対応した数字の行列で表される。
【0043】
第1の陽性数値訓練データ71PAと同様に、第2の陽性訓練画像70PBから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の陽性数値訓練データ71PBを生成することができる。
【0044】
次に、第1の陽性数値訓練データ71PAと第2の陽性数値訓練データ71PBとを、画素ごとに統合し、陽性統合訓練データ72Pを生成する。
図2(A)に示すように、陽性統合訓練データ72Pは、第1の陽性数値訓練データ71PAの各画素における数値が、第2の陽性数値訓練データ71PBの対応する各画素における値と並べて示された行列データとなっている。
【0045】
次に陽性統合訓練データ72Pに、この陽性統合訓練データ72Pが第1の陽性コントロール細胞に由来することを示すラベル値74Pを付し、ラベル付き陽性統合訓練データ73Pを生成する。第1の陽性コントロール細胞であることを示すラベルとして、
図2(A)では「2」を付している。
【0046】
陰性訓練画像70Nからも、ラベル付き陽性統合訓練データ73Pを生成する場合と同様にしてラベル付き陰性統合訓練データ73Nを生成する。
【0047】
図2(B)に示すように、陰性訓練画像70Nは、第1の陰性コントロール細胞について、第1のチャンネルを介して緑色の第1の蛍光標識を撮像した第1の陰性訓練画像70NAと、第2のチャンネルを介して赤色の第2の蛍光標識を撮像した第2の陰性訓練画像70NBとを含む。撮像及びトリミング、各画素における光の明るさの数値化は、第1の陽性訓練画像70PAから第1の陽性数値訓練データ71PAを取得する場合と同様である。第1の陽性数値訓練データ71PAと同じ手法により、第1の陰性訓練画像70NAから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の陰性数値訓練データ71NAを生成することができる。
【0048】
同様に、第2の陰性訓練画像70NBから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の陰性数値訓練データ71NBを生成することができる。
【0049】
図2(B)に示すように、陽性統合訓練データ72Pを生成した方法にしたがって、第1の陰性数値訓練データ71NAと第2の陰性数値訓練データ71NBとを、画素ごとに統合し、陰性統合訓練データ72Nを生成する。
図2(B)に示すように、陰性統合訓練データ72Nは、第1の陰性数値訓練データ71NAの各画素における数値が、第2の陰性数値訓練データ71NBの対応する各画素における値と並べて示された行列データとなっている。
【0050】
次に陰性統合訓練データ72Nに、この陰性統合訓練データ72Nが第1の陰性コントロール細胞に由来することを示すラベル値74Nを付し、ラベル付き陰性統合訓練データ73Nを生成する。第1の陰性コントロール細胞であることを示すラベルとして、
図2(B)では「1」を付している。
【0051】
図3には、第1の人工知能アルゴリズム50に生成したラベル付き陽性統合訓練データ73Pと、ラベル付き陰性統合訓練データ73Nを入力する方法を示す。ニューラルネットワーク構造を有する第1の人工知能アルゴリズム50における入力層50aのノード数は、訓練画像70のピクセル数(上記例では100×100=10,000)と1つの細胞に対するチャンネル数(上記例では、緑色チャンネルと赤色チャンネルの2チャンネル)の積に対応している。ニューラルネットワークの入力層50aには、ラベル付き陽性統合訓練データ73Pの陽性統合訓練データ72Pに相当するデータを入力する。ニューラルネットワークの出力層50bには、入力層50aに入力されたデータに対応するラベル値74Pを入力する。また、ニューラルネットワークの入力層50aには、ラベル付き陰性統合訓練データ73Nの陰性統合訓練データ72Nに対応するデータを入力する。ニューラルネットワークの出力層50bには、入力層50aに入力されたデータに対応するラベル値74Nを入力する。これらの入力により、ニューラルネットワークの中間層50cにおける各重みを計算し、第1の人工知能アルゴリズム50を訓練し、訓練された第1の人工知能アルゴリズム60を生成する。
【0052】
(2)解析用データの生成と細胞解析
図4を用いて解析画像80から、統合解析データ72の生成方法と、訓練された第1の人工知能アルゴリズム60を使用した細胞解析方法について説明する。解析画像80は、訓練画像70を撮像した方法と同様に撮像され得る。
【0053】
図4に示すように、解析画像80は、解析対象細胞について、第1のチャンネルを介して緑色の第1の蛍光標識を撮像した第1の解析画像80Aと、第2のチャンネルを介して赤色の第2の蛍光標識を撮像した第2の解析画像80Bとを含む。撮像及びトリミング、各画素における光の明るさの数値化は、第1の陽性訓練画像70PAから第1の陽性数値訓練データ71PAを取得する場合と同様である。第1の陽性数値訓練データ71PAと同じ手法により、第1の解析画像80Aから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の数値解析データ81Aを生成することができる。
【0054】
同様に、第2の解析画像80Bから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の数値解析データ81Bを生成することができる。
【0055】
図4に示すように、陽性統合訓練データ72Pを生成した方法にしたがって、第1の数値解析データ81Aと第2の数値解析データ81Bとを、画素ごとに統合し統合解析データ82を生成する。
図4に示すように、統合解析データ82は、第1の数値解析データ81Aの各画素における数値が、第2の数値解析データ81Bの対応する各画素における値と並べて示された行列データとなっている。
【0056】
図4に示すように、生成された統合解析データ82を訓練された第1の人工知能アルゴリズム60内のニューラルネットワークの入力層60aに入力する。入力された統合解析データ82に含まれる値は、ニューラルネットワークの中間層60cを経て、ニューラルネットワークの出力層60bから、解析対象細胞が染色体異常を有するかいなかを示すラベル値84を出力する。
図4に示す例では、解析対象細胞が、染色体異常を有さないと判定した場合には、ラベル値として「1」を出力し、染色体異常を有すると判定した場合には、ラベル値として「2」を出力する。ラベル値に替えて、「無」、「有」や「正常」、「異常」等のラベルを出力してもよい。
【0057】
(3)その他の構成
i.本実施形態において、イメージングフローサイトメータでは、細胞を撮像する際に被写界の深度を拡大するためのExtended Depth of Field(EDF)フィルタを使用し、撮像後の画像の焦点深度に復元処理を行い検査者に細胞画像を提供する場合がある。しかし、本実施形態で使用される訓練画像70及び解析画像80は、EDFフィルタを使用して撮像した画像に対し、復元処理を行っていない画像であることが好ましい。復元処理を行っていない画像の例を
図5に示す。
図5は、PML-RARAキメラ遺伝子が陽性である細胞を示す。(A)と(B)は異なる細胞の画像である。
図5(A)及び
図5(B)の左側の画像は第1の蛍光標識を撮像した画像を示す。
図5(A)及び
図5(B)の右側の画像は、左側の細胞と同一細胞であって、左側の画像と同一視野において第2の蛍光標識を撮像した画像を示す。
【0058】
ii.訓練画像70及び解析画像80からは、撮像の際、焦点の合っていない画像は除かれ得る。画像の焦点が合っているか否かは、各画素について、隣接する画素との明るさの差分を求めた時に、画像全体において差分の勾配が極端に変わる部分が含まれていない場合、その画像は焦点が合っていないと判定することができる。
【0059】
iii.本実施形態で使用される訓練画像70及び解析画像80は、例示的に画素数を縦100ピクセル×横100ピクセルとなるようにトリミングしているが、画像の大きさはこれに限定されない。画素数は、縦50から500ピクセル、横50から500ピクセルの間で適宜設定することができる。画像の縦方向の画素数と、横方向の画素数は、必ずしも同じである必要はない。しかし、第1の人工知能アルゴリズム50を訓練するための訓練画像70と、前記訓練画像70を用いて訓練された第1の人工知能アルゴリズム60に入力する統合解析データ82を生成するための解析画像80は、同じ画素数であって、縦方向と横方向の画素数も同じであることが好ましい。
【0060】
iv.本実施形態では、訓練画像70及び解析画像80は、16ビットのグレースケール画像を使用している。しかし、明るさの階調は16ビットの他、8ビット、32ビット等であってもよい。また、本実施形態では、各数値訓練データ71PA,71PB,71NA,71NBについて、16ビット(65,536階調)で表された明るさの数値をそのまま使用しているが、これらの数値を、一定幅の階調でまとめる低次元化処理を行い、低次元化後の数値を各数値訓練データ71PA,71PB,71NA,71NBとして使用してもよい。この場合、訓練画像70及び解析画像80に対して同じ処理を行うことが好ましい。
【0061】
v.本実施形態において検出できる染色体異常は、PML-RARAキメラ遺伝子に限定されない。例えば、BCR/ABL融合遺伝子、AML1/ETO(MTG8)融合遺伝子(t(8;21))、PML/RARα融合遺伝子(t(15;17))、AML1(21q22)転座、MLL(11q23)転座、TEL(12p13)転座、TEL/AML1融合遺伝子(t(12;21))、IgH(14q32)転座、CCND1(BCL1)/IgH融合遺伝子(t(11;14))、BCL2(18q21)転座、IgH/MAF融合遺伝子(t(14;16))、IgH/BCL2融合遺伝子(t(14;18))、c-myc/IgH融合遺伝子(t(8;14))、FGFR3/IgH融合遺伝子(t(4;14))、BCL6(3q27)転座、c-myc(8q24)転座、MALT1(18q21)転座、API2/MALT1融合遺伝子(t(11;18)転座)、TCF3/PBX1融合遺伝子(t(1;19)転座)、EWSR1(22q12)転座、PDGFRβ(5q32)転座、IGH-CCND1遺伝子[(IGH-BCL1) (t(11;14)転座)]、IGH-FGFR3遺伝子(t(4;14)転座)、IgH-MAF遺伝子(t(14;16)転座)等を検出することができる。
【0062】
また、転座には様々なバリエーションが含まれ得る。
図6及び
図7にBCR/ABL融合遺伝子の典型陽性パターン(メジャーパターン)の蛍光標識の例を示す。第1の蛍光標識画像及び第2の蛍光標識画像を重ねた状態では、ESプローブを用いた場合、陰性例は第1の蛍光標識の数が2個であり、第2の蛍光標識の数が2個であり、融合蛍光標識画像の数は0個である。ESプローブを用いた典型陽性パターンは、第1の蛍光標識の数が1個であり、第2の蛍光標識の数が2個であり、融合蛍光標識の数は1個である。DFプローブを用いた場合、第1の蛍光標識画像及び第2の蛍光標識画像を重ねた状態では、陰性パターンは第1の蛍光標識の数が2個であり、第2の蛍光標識の数が2個であり、融合蛍光標識の数は0個である。DFプローブを用いた典型陽性パターン例は、第1の蛍光標識の数が1個であり、第2の蛍光標識の数が1個であり、融合蛍光標識の数は2個である。
【0063】
図7は、BCR/ABL融合遺伝子の非典型陽性パターンの蛍光標識の例である。非典型陽性パターンの1例は、マイナーBCR/ABLパターンであり、BCR遺伝子の切断点がBCR遺伝子の比較的上流にあるため、ESプローブでも第1の蛍光標識が3個検出される。非典型陽性パターンの他の例は、9番染色体のABL遺伝子を標的とするプローブの結合領域の一部が欠失した例であり、これに依存してDFプローブを使用した場合に本来2個検出されるはずの融合蛍光標識が1個のみ検出されている。また、非典型陽性パターンの他の例は、9番染色体のABL遺伝子を標的とするプローブの結合領域の一部と22番染色体のBCR遺伝子を標的とするプローブの結合領域の一部とが共に欠失した例である。これに依存してDFプローブを使用した場合に本来2個検出されるはずの融合蛍光標識が1個のみ検出されている。
【0064】
図8に、ALK遺伝子座に関連する染色体異常を検出する場合の陰性パターン及び陽性パターンの参照パターンの例を示す。陰性パターンでは、ALK遺伝子が切断されていないため、融合蛍光標識が2個存在する。一方、陽性パターンでは、ALK遺伝子が切断されているため、融合蛍光標識が1個のみとなる(対立遺伝子の一方のみが切断された場合)か、融合蛍光標識が認められなくなる(対立遺伝子の両方が切断された場合)。この陰性パターン及び陽性パターンは、ALK遺伝子の他、ROS1遺伝子、RET遺伝子でも同じである。
【0065】
さらに、
図8に、第5番染色体長腕(5q)が欠失する染色体異常の参照パターンの例を示す。例えば、第1の蛍光標識プローブは第5番染色体長腕に結合し、第2の蛍光標識プローブは第5番染色体のセントロメアと結合するように設計する。陰性パターンでは、第5番染色体のセントロメアの数と第5番染色体長腕の数は同じであるため、第1の蛍光標識と第2の蛍光標識は、相同染色体の数を反映し2個ずつ存在する。陽性パターンでは、第5番染色体の一方又は両方に長腕の欠失が起り、第1の蛍光標識の数が1個のみ又は0個となる。この陰性パターンと陽性パターンは、他の染色体の短腕又は長腕の欠失でも同じである。他の染色体の長腕欠失の例として、第7番染色体、及び第20番染色体の長腕欠失を挙げることができる。また、この他、同様の陽性パターン及び陰性パターンを示す例として、7q31(欠失)、p16(9p21欠失解析)、IRF-1(5q31)欠失、D20S108(20q12)欠失、D13S319(13q14)欠失、4q12欠失、ATM(11q22.3)欠失、p53(17p13.1)欠失等を挙げることができる。
【0066】
さらにまた、
図8に第8番染色体トリソミーの例を示す。第1の蛍光標識プローブは例えば第8番染色体のセントロメアと結合する。陽性パターンは第1の蛍光標識が3個となる。陰性パターンは、第1の蛍光標識が2個となる。このような蛍光標識パターンは第12番染色体トリソミーでも同様である。さらに、第7番染色体モノソミーでは、例えば第7番染色体のセントロメアと結合する第1の蛍光標識プローブを用いた場合、陽性パターンは第1の蛍光標識が1個となる。陰性パターンは、第1の蛍光標識が2個となる。
【0067】
2-2.末梢循環腫瘍細胞を検出するための人工知能アルゴリズム
本実施形態は、末梢循環腫瘍細胞を検出するための第2の人工知能アルゴリズム53の訓練方法と、末梢循環腫瘍細胞を検出するための訓練された第2の人工知能アルゴリズム63を用いた細胞の解析方法に関する。ここで「訓練」又は「訓練する」という用語は、「生成」又は「生成する」という用語に置き換えて使用される場合がある。
【0068】
(1)訓練データの生成
図9から
図11を用いて末梢循環腫瘍細胞を検出するための第2の人工知能アルゴリズム53の訓練方法について説明する。
【0069】
図9は、撮像部160が撮像した画像に対する前処理方法を示す。
図9(A)は前処理前の撮像画像を示す。前処理は、訓練画像75及び解析画像85を同じ大きさにするためのトリミング処理であり、訓練画像75又は解析画像85として使用される画像全てに対して行われ得る。
図9(A)において(a)と(b)は同じ細胞の撮像であるが、撮像した際のチャンネルが異なっている。
図9(A)において、(c)は、(a)とは異なる細胞を撮像した画像である。(c)と(d)は、同じ細胞の撮像であるが、撮像した際のチャンネルが異なっている。
図9(A)の(a)と(c)に示されるように、細胞を撮像した際の画像のサイズは異なる場合がある。また、細胞自体の大きさも細胞に応じて異なる。したがって、細胞の大きさを反映し、かつ同一の画像サイズとなるように、取得した画像をトリミングすることが好ましい。
図9に示す例では、画像内の細胞の核の重心を中心として、前記中心から縦方向及び横方向に16ピクセルずつ離れた箇所をトリミング位置として設定している。トリミングにとって切り出された画像を
図9(B)に示す。
図9(B)(a)は
図9(A)(a)から切り出された画像であり、
図9(B)(b)は
図9(A)(b)から切り出された画像であり、
図9(B)(c)は
図9(A)(c)から切り出された画像であり、
図9(B)(d)は
図9(A)(d)から切り出された画像である。
図9(B)の各画像は、縦32ピクセル×横32ピクセルとなっている。核の重心は、例えば、イメージングフローサイトメータ(ImageStream MarkII,ルミネックス)に付属の解析ソフト(IDEAS)を用いて決定することができる。
【0070】
図10及び
図11に、第2の人工知能アルゴリズム53の訓練方法を示す。
【0071】
図10に示すように、末梢循環腫瘍細胞(以下、「第2の陽性コントロール細胞」と呼ぶ)を撮像した陽性訓練画像75Pと、末梢循環腫瘍以外の細胞(以下、「第2の陰性コントロール細胞」と呼ぶ)を撮像した陰性訓練画像75Nから、それぞれ陽性統合訓練データ78Pと、陰性統合訓練データ78Nを生成する。陽性訓練画像75Pと陰性訓練画像75Nを併せて、訓練画像75と呼ぶ場合がある。また、陽性統合訓練データ78Pと、陰性統合訓練データ78Nとを併せて訓練データ78と呼ぶことがある。
【0072】
末梢循環腫瘍細胞を検出する場合、撮像部160によって撮像される画像には、明視野画像と、蛍光画像が含まれ得る。明視野画像は、細胞の位相差を撮像であり得る。この撮像は、例えば第1のチャンネルで撮像され得る。蛍光画像は、免疫染色、又は細胞内小器官染色により細胞内の標的部位に標識された蛍光標識を撮像したものである。蛍光標識は、抗原ごと、及び/又は細胞内小器官ごとに異なる蛍光の波長領域を有する蛍光色素により行われる。
【0073】
例えば、第1の抗原に第1の緑色の波長領域の蛍光を発する第1の蛍光色素を結合させる場合には、第1の抗原に直接又は間接的に結合する抗体に第1の蛍光色素を結合させておくことにより、第1の抗原に第1の蛍光色素を標識することができる。
【0074】
第2の抗原に結合する抗体に第1の蛍光色素とは異なる赤色の波長領域の蛍光を発する第2の蛍光色素を結合させる場合には、第2の抗原に直接又は間接的に結合する抗体に第2の蛍光色素を結合させておくことにより、第2の抗原に第2の蛍光色素を標識することができる。
【0075】
第3の抗原に結合する抗体に第1の蛍光色素及び第2の蛍光色素とは異なる黄色の波長領域の蛍光を発する第3の蛍光色素を結合させる場合には、第3の抗原に直接又は間接的に結合する抗体に第3の蛍光色素を結合させておくことにより、第3の抗原に第3の蛍光色素を標識することができる。
【0076】
このように、抗原ごと及び/又は細胞内小器官ごとに異なる蛍光の波長領域を有する蛍光色素を標識することにより、第1番目の蛍光標識から第X番目の蛍光標識まで、異なる蛍光の波長領域を有する蛍光色素を標識することができる。
【0077】
第1の蛍光標識から第Xの蛍光標識を有する細胞を含む試料をイメージングフローサイトメータ等の細胞撮像装置における撮像に供し、細胞の画像を撮像することができる。細胞の撮像画像は、同じ細胞の同じ視野について複数の画像を含み得る。第1の蛍光標識から第Xの蛍光標識は、それぞれの蛍光色素が有する蛍光の波長領域が異なるため、各蛍光色素から発せられる光を透過するためのフィルタは蛍光色素ごとに異なっている。また、明視野画像は、蛍光色素をからの光を透過するフィルタとは異なるフィルタを用いる必要がある。このため、各フィルタを透過した光は、それぞれに対応する各チャンネルを介して後述する撮像部160に取り込まれ、同一細胞の同一視野の別画像として撮像される。すなわち、撮像部160において、同一細胞の同一視野について、細胞を標識した標識物質の数に明視野画像の数を加えた数に応じた複数の画像が取得される。
【0078】
図10に示す例では、
図10(A)及び(B)において、第1のチャンネル(Ch1)は、明視野撮像画像を示す。
図10(A)及び(B)において、第2のチャンネル(Ch2)、第3のチャンネル(Ch3)、・・・第Xのチャンネル(ChX)は、異なる複数の標識物質を撮像した各チャンネルを意図する。
【0079】
図10の例では、
図10(A)に示すように、陽性訓練画像75Pには、第2の陽性コントロール細胞について、第1のチャンネルを介して撮像した第1の陽性訓練画像75P1と、第2のチャンネルを介して第1の蛍光標識を撮像した第2の陽性訓練画像75P2と、第3のチャンネルを介して第2の蛍光標識を撮像した第3の陽性訓練画像75P3と、第Xまでのチャンネルを介して各蛍光標識を撮像した第Xの陽性訓練画像75Pxが含まれ得る。第1の陽性訓練画像75P1から第Xの陽性訓練画像75Pxまでは、同一細胞の同一視野の画像として対応付けられている。第1の陽性訓練画像75P1から第Xの陽性訓練画像75Pは、次に画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の陽性数値訓練データ76P1から第Xの陽性数値訓練データ76Pxに変換される。
【0080】
第1の陽性訓練画像75P1を用いて、第1の陽性数値訓練データ76P1の生成方法について説明する。撮像部160において撮像された各画像は、上述した前処理により、例えば、縦32ピクセル×横32ピクセルの画素数にトリミングしされ、訓練画像75となっている。第1の陽性訓練画像75P1は、例えば16ビットのグレースケール画像として表される。したがって、各画素においてその画素の明るさが、1から65,536までの65,536階調の明るさの数値で示され得る。
図10(A)に示すように、第1の陽性訓練画像75P1の各画素における明るさの階調を示す値が第1の陽性数値訓練データ76P1であり、各画素に対応した数字の行列で表される。
【0081】
第1の陽性数値訓練データ76P1と同様に、第2の陽性訓練画像75P2から第Xの陽性訓練画像75Pxから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の陽性数値訓練データ76P2から第Xの陽性数値訓練データ76Pxを生成することができる。
【0082】
次に、第1の陽性数値訓練データ76P1から第Xの陽性数値訓練データ76Pxを、画素ごとに統合し、陽性統合訓練データ77Pを生成する。
図10(A)に示すように、陽性統合訓練データ77Pは、第1の陽性数値訓練データ76PAの各画素における数値が、第2の陽性数値訓練データ76P2から第Xの陽性数値訓練データ76Pxの対応する各画素における値と並べて示された行列データとなっている。
【0083】
次に陽性統合訓練データ77Pに、この陽性統合訓練データ77Pが第2の陽性コントロール細胞に由来することを示すラベル値79Pを付し、ラベル付き陽性統合訓練データ78Pを生成する。第2の陽性コントロール細胞であることを示すラベルとして、
図10(A)では「2」を付している。
【0084】
陰性訓練画像75Nからも、ラベル付き陽性統合訓練データ78Pを生成する場合と同様にしてラベル付き陰性統合訓練データ78Nを生成する。
【0085】
図10(B)に示すように、陰性訓練画像75Nは、第2の陰性コントロール細胞について、陽性訓練画像75Pと同様に、第1のチャンネルから第Xの画像を介して取得した第1の陰性訓練画像75N1から第Xの陰性訓練画像75Nxを含む。各画素における光の明るさの数値化は、第1の陽性訓練画像75PAから第Xの陽性訓練画像75Pxから第1の陽性数値訓練データ76P1から第Xの陽性数値訓練データ76Pxを取得する場合と同様である。第1の陽性数値訓練データ76P1と同じ手法により、第1の陰性訓練画像75N1から、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の陰性数値訓練データ76N1を生成することができる。
【0086】
同様に、第2の陰性訓練画像75N2から第Xの第2の陰性訓練画像75Nxから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の陰性数値訓練データ76N2から第Xの陰性数値訓練データ76Nxを生成することができる。
【0087】
図10(B)に示すように、陽性統合訓練データ77Pを生成した方法にしたがって、第1の陰性数値訓練データ76N1から第Xの陰性数値訓練データ76Nxを、画素ごとに統合し、陰性統合訓練データ77Nを生成する。
図10(B)に示すように、陰性統合訓練データ77Nは、第1の陰性数値訓練データ76N1の各画素における数値が、第2の陰性数値訓練データ76N2から第Xの陰性数値訓練データ76Nxの対応する各画素における値と並べて示された行列データとなっている。
【0088】
次に陰性統合訓練データ77Nに、この陰性統合訓練データ77Nが第2の陰性コントロール細胞に由来することを示すラベル値79Nを付し、ラベル付き陰性統合訓練データ78Nを生成する。第2の陰性コントロール細胞であることを示すラベルとして、
図10(B)では「1」を付している。
【0089】
図11には、第2の人工知能アルゴリズム53に生成したラベル付き陽性統合訓練データ78Pと、ラベル付き陰性統合訓練データ78Nを入力する方法を示す。ニューラルネットワーク構造を有する第1の人工知能アルゴリズム53における入力層53aのノード数は、訓練画像75のピクセル数(上記例では32×32=1024)と1つの細胞に対するチャンネル数(上記例では、1からXまでのXチャンネル)の積に対応している。ニューラルネットワークの入力層53aには、ラベル付き陽性統合訓練データ78Pの陽性統合訓練データ77Pに相当するデータを入力する。ニューラルネットワークの出力層53bには、入力層53aに入力されたデータに対応するラベル値79Pを入力する。また、ニューラルネットワークの入力層53aには、ラベル付き陰性統合訓練データ78Nの陰性統合訓練データ77Nに対応するデータを入力する。ニューラルネットワークの出力層53bには、入力層53aに入力されたデータに対応するラベル値79Nを入力する。これらの入力により、ニューラルネットワークの中間層53cにおける各重みを計算し、第2の人工知能アルゴリズム53を訓練し、訓練された第2の人工知能アルゴリズム63を生成する。
【0090】
(2)解析用データの生成
図12を用いて解析画像85から、統合解析データ72の生成方法と、訓練された第2の人工知能アルゴリズム63を使用した細胞解析方法について説明する。解析画像85は、訓練画像75を撮像した方法と同様に撮像され、前処理され得る。
【0091】
図12に示すように、解析画像85は、解析対象細胞について、第1のチャンネルを介して撮像した明視野画像である第1の解析画像85T1と、第2のチャンネルから第Xのチャンネルを介して第2から第Xの蛍光標識を撮像した第2の解析画像85T2から第Xの解析画像85Txとを含む。撮像及び前処理、各画素における光の明るさの数値化は、第1の陽性訓練画像75P1から第1の陽性数値訓練データ76P1を取得する場合と同様である。第1の陽性数値訓練データ76P1と同じ手法により、第1の解析画像85T1から、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の数値解析データ86T1を生成することができる。
【0092】
同様に、第2の解析画像85T2から第Xの解析画像85Txから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の数値解析データ86T2から第Xの数値解析データ86Txを生成することができる。
【0093】
図12に示すように、陽性統合訓練データ77Pを生成した方法にしたがって、第1の数値解析データ86T1から第Xの数値解析データ86Txを、画素ごとに統合し統合解析データ87を生成する。
図12に示すように、統合解析データ87は、第1の数値解析データ86T1の各画素における数値が、第2の数値解析データ86T2から第Xの数値解析データ86Txの対応する各画素における値と並べて示された行列データとなっている。
【0094】
図12に示すように、生成された統合解析データ87を訓練された第2の人工知能アルゴリズム63内のニューラルネットワークの入力層63aに入力する。入力された統合解析データ87に含まれる値は、ニューラルネットワークの中間層63cを経て、ニューラルネットワークの出力層63bから、解析対象細胞が末梢循環腫瘍細胞であるか否かを示すラベル値89を出力する。
図12に示す例では、解析対象細胞が、末梢循環腫瘍細胞でないと判定した場合には、ラベル値として「1」を出力し、末梢循環腫瘍細胞であると判定した場合には、ラベル値として「2」を出力する。ラベル値に替えて、「無」、「有」や「正常」、「異常」等のラベルを出力してもよい。
【0095】
(3)その他の構成
i.本実施形態で使用される訓練画像75及び解析画像85は、EDFフィルタを使用して撮像した画像に対し、復元処理を行っていない画像であることが好ましい。
【0096】
ii.訓練画像75及び解析画像85からは、撮像の際、焦点の合っていない画像は除かれ得る。
【0097】
iii.本実施形態で使用される訓練画像75及び解析画像85は、例示的に画素数を縦32ピクセル×横32ピクセルとなるようにトリミングしているが、画像の大きさは細胞全体が画像内に収まる限り限定されない。画素数は、縦30から50ピクセル、横30から50ピクセルの間で適宜設定することができる。画像の縦方向の画素数と、横方向の画素数は、必ずしも同じである必要はない。しかし、第1の人工知能アルゴリズム53を訓練するための訓練画像75と、前記訓練画像75を用いて訓練された第1の人工知能アルゴリズム63に入力する統合解析データ87を生成するための解析画像85は、同じ画素数であって、縦方向と横方向の画素数も同じであることが好ましい。
【0098】
iv.本実施形態では、訓練画像70及び解析画像80は、16ビットのグレースケール画像を使用している。しかし、明るさの階調は16ビットの他、8ビット、32ビット等であってもよい。また、本実施形態では、各数値訓練データ76P1から数値訓練データ76Px、数値訓練データ76N1から数値訓練データ76Nxについて、16ビット(65,536階調)で表された明るさの数値をそのまま使用しているが、これらの数値を、一定幅の階調でまとめる低次元化処理を行い、低次元化後の数値を各数値訓練データ76P1から数値訓練データ76Px、数値訓練データ76N1から数値訓練データ76Nxとして使用してもよい。この場合、訓練画像70及び解析画像80に対して同じ処理を行うことが好ましい。
【0099】
4.細胞解析システム
以下、
図13から
図21を用いて、第1から第3の実施形態にかかる細胞解析システム1000,2000,3000について説明する。
【0100】
4-1.細胞解析システムの第1の実施形態
図13に、第1の実施形態に係る細胞解析システム1000のハードウエアの構成を示す。細胞解析システム1000は、人工知能アルゴリズムを訓練するための訓練装置200Aと、細胞撮像装置100Aと、細胞解析装置400Aを備え得る。細胞撮像装置100Aと細胞解析装置400Aは通信可能に接続されている。また、訓練装置200Aと、細胞解析装置400Aは、有線又は無線のネットワークで接続されうる。
【0101】
4-1-1.訓練装置
(1)ハードウエアの構成
図14を用いて訓練装置200Aのハードウエアの構成を説明する。訓練装置200Aは、制御部20Aと、入力部26と、出力部27を備える。また、訓練装置200Aはネットワーク99と接続可能である。
【0102】
制御部20Aは、後述するデータ処理を行うCPU(Central Processing Unit)21と、データ処理の作業領域に使用するメモリ22と、後述するプログラム及び処理データを記録する記憶部23と、各部の間でデータを伝送するバス24と、外部機器とのデータの入出力を行うインタフェース(I/F)部25と、GPU(Graphics Processing Unit)29とを備えている。入力部26及び出力部27は、I/F部25を介して制御部20Aに接続されている。例示的には、入力部26はキーボード又はマウス等の入力装置であり、出力部27は液晶ディスプレイ等の表示装置である。GPU29は、CPU21が行う演算処理(例えば、並列演算処理)を補助するアクセラレータとして機能する。以下の説明においてCPU21が行う処理とは、CPU21がGPU29をアクセラレータとして用いて行う処理も含むことを意味する。ここで、GPU29に代えて、ニューラルネットワークの計算に好ましい、チップを搭載してもよい。このようなチップとして、例えば、FPGA(Field-Programmable Gate Array)、ASIC(Application specific integrated circuit)、Myriad X(Intel)等を挙げることができる。
【0103】
また、制御部20Aは、以下の
図16で説明する各ステップの処理を行うために、人工知能アルゴリズムを訓練するための訓練プログラム及び訓練前の人工知能アルゴリズムを、例えば実行形式で記憶部23に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。制御部20Aは、オペレーティングシステムと、記憶部23に記録した訓練プログラムを協働させて、訓練前の人工知能アルゴリズムの訓練処理を行う。
【0104】
以下の説明においては、特に断らない限り、制御部20Aが行う処理は、記憶部23又はメモリ22に格納されたプログラム及び人工知能アルゴリズムに基づいて、CPU21又はCPU21及びGPU29が行う処理を意味する。CPU21はメモリ22を作業領域として必要なデータ(処理途中の中間データ等)を一時記憶し、記憶部23に演算結果等の長期保存するデータを適宜記録する。
【0105】
(2)訓練装置の機能構成
図15に、訓練装置200Aの機能構成を示す。訓練装置200Aは、訓練データ生成部201と、訓練データ入力部202と、アルゴリズム更新部203と、訓練データデータベース(DB)204と、アルゴリズムデータベース(DB)205(a)、205(b)とを備える。
図16に示すステップS11が訓練データ生成部201に該当する。
図16に示すステップS12に示すステップS112が訓練データ入力部202に該当する。
図16に示すステップS14がアルゴリズム更新部203に該当する。
【0106】
訓練画像70PA,70PB,70NA,70NB,75P1から75Px,75N1から75Nxは、細胞撮像装置100Aから細胞解析装置400Aによって予め取得され、訓練装置200Aの制御部20Aの記憶部23又はメモリ22に予め記憶されている。訓練装置200Aは、訓練画像70PA,70PB,70NA,70NB,75P1から75Px,75N1から75Nxを細胞解析装置400Aからネットワーク経由で取得してもよく、メディアドライブD98を介して取得してもよい。訓練データデータベース(DB)204は、生成された訓練データ73,78を格納する。訓練前の人工知能アルゴリズムは、アルゴリズムデータベース205(a)、205(b)に予め格納されている。訓練された第1の人工知能アルゴリズム60は、染色体異常を検査するための検査項目及び解析項目と対応付けられて、アルゴリズムデータベース205(a)に記録される。訓練された第2の人工知能アルゴリズム63は、末梢循環腫瘍細胞を検査するための検査項目及び解析項目と対応付けられて、アルゴリズムデータベース205(b)に記録される。
【0107】
(3)訓練処理
訓練装置200Aの制御部20Aは、
図16に示す訓練処理を行う。
【0108】
はじめに、ユーザからの処理開始の要求に従って、制御部20AのCPU21は、記憶部23又はメモリ22に記憶された訓練画像70PA,70PB,70NA,70NB;訓練画像75P1から75Px,75N1から75Nxを取得する。訓練画像70PA,70PB,70NA,70NBは第1の人工知能アルゴリズム50を訓練するために、訓練画像75P1から75Px,75N1から75Nxは第2の人工知能アルゴリズム53を訓練するために、それぞれ使用され得る。
【0109】
i.第1の人工知能アルゴリズム50の訓練処理
制御部20Aは、
図16のステップS11において、陽性訓練画像70PA,70PBから陽性統合訓練データ72Pを生成し、陰性訓練画像70NA,70NBから陰性統合訓練データ72Nを生成する。制御部20Aは、陽性統合訓練データ72Pと陰性統合訓練データ72Nのそれぞれに対応するラベル値74P又はラベル値74Nを付し、ラベル付き陽性統合訓練データ73P又はラベル付き陰性統合訓練データ73Nを生成する。ラベル付き陽性統合訓練データ73P又はラベル付き陰性統合訓練データ73Nは、訓練データ73として記憶部23に記録される。ラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nの生成方法は、上記2-1.で説明した通りである。
【0110】
次に、制御部20Aは、
図16のステップS12において、生成したラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nを第1の人工知能アルゴリズム50に入力し、第1の人工知能アルゴリズム50を訓練する。第1の人工知能アルゴリズム50の訓練結果は複数のラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nを用いて訓練する度に蓄積される。
【0111】
続いて、制御部20Aは、
図16のステップS13において、予め定められた所定の試行回数分の訓練結果が蓄積されているか否かを判断する。訓練結果が所定の試行回数分蓄積されている場合(「YES」の場合)、制御部20AはステップS14の処理に進み、訓練結果が所定の試行回数分蓄積されていない場合(「NO」の場合)、制御部20AはステップS15の処理に進む。
【0112】
訓練結果が所定の試行回数分蓄積されている場合、ステップS14において、制御部20Aは、ステップS12において蓄積しておいた訓練結果を用いて、第1の人工知能アルゴリズム50の重みw(結合重みw)を更新する。
【0113】
次に、制御部20Aは、ステップS15において、第1の人工知能アルゴリズム50を規定数のラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nで訓練したか否かを判断する。規定数のラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nで訓練した場合(「YES」の場合)には、訓練処理を終了する。制御部20Aは、訓練された第1の人工知能アルゴリズム60を記憶部23に格納する。
【0114】
第1の人工知能アルゴリズム50を規定数のラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nで訓練していない場合(「NO」の場合)には、制御部20Aは、ステップS15からステップS16に進み、次の陽性訓練画像70PA,70PB及び陰性訓練画像70NA,70NBについてステップS11からステップS15までの処理を行う。
【0115】
ii.第2の人工知能アルゴリズム53の訓練処理
制御部20Aは、
図16のステップS11において、陽性訓練画像75P1から75Pxから陽性統合訓練データ77Pを生成し、陰性訓練画像75N1から75Nxから陰性統合訓練データ77Nを生成する。制御部20Aは、陽性統合訓練データ77Pと陰性統合訓練データ77Nのそれぞれに対応するラベル値79P又はラベル値79Nを付し、ラベル付き陽性統合訓練データ78P又はラベル付き陰性統合訓練データ78Nを生成する。ラベル付き陽性統合訓練データ78P又はラベル付き陰性統合訓練データ78Nは、訓練データ78として記憶部23に記録される。ラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nの生成方法は、上記2-2.で説明した通りである。
【0116】
次に、制御部20Aは、
図16のステップS12において、生成したラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nを第2の人工知能アルゴリズム53に入力し、第2の人工知能アルゴリズム53を訓練する。第2の人工知能アルゴリズム53の訓練結果は複数のラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nを用いて訓練する度に蓄積される。
【0117】
続いて、制御部20Aは、
図16のステップS13において、予め定められた所定の試行回数分の訓練結果が蓄積されているか否かを判断する。訓練結果が所定の試行回数分蓄積されている場合(「YES」の場合)、制御部20AはステップS14の処理に進み、訓練結果が所定の試行回数分蓄積されていない場合(「NO」の場合)、制御部20AはステップS15の処理に進む。
【0118】
訓練結果が所定の試行回数分蓄積されている場合、ステップS14において、制御部20Aは、ステップS12において蓄積しておいた訓練結果を用いて、第2の人工知能アルゴリズム53の重みw(結合重みw)を更新する。
【0119】
次に、制御部20Aは、ステップS15において、第2の人工知能アルゴリズム53を規定数のラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nで訓練したか否かを判断する。規定数のラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nで訓練した場合(「YES」の場合)には、訓練処理を終了する。制御部20Aは、訓練された第2の人工知能アルゴリズム63を記憶部23に格納する。
【0120】
第2の人工知能アルゴリズム53を規定数のラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nで訓練していない場合(「NO」の場合)には、制御部20Aは、ステップS15からステップS16に進み、次の陽性訓練画像75P1から75Px及び陰性訓練画像75N1から75NxについてステップS11からステップS15までの処理を行う。
【0121】
(4)訓練プログラム
本実施形態は、ステップS11~S16の処理をコンピュータに実行させる、人工知能アルゴリズムを訓練するためのコンピュータプログラムを含む。
【0122】
さらに、本実施形態のある実施形態は、前記コンピュータプログラムを記憶した、記憶媒体等のプログラム製品に関する。すなわち、前記コンピュータプログラムは、ハードディスク、フラッシュメモリ等の半導体メモリ素子、光ディスク等の記憶媒体に格納され得る。記憶媒体へのプログラムの記録形式は、訓練装置200Aがプログラムを読み取り可能である限り制限されない。前記記憶媒体への記録は、不揮発性であることが好ましい。
【0123】
ここで、「プログラム」とは、CPUにより、直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【0124】
4-1-2.細胞撮像装置
訓練画像70,75及び/又は解析画像80,85を撮像する細胞撮像装置100Aの構成を
図17に示す。
図17に示す細胞撮像装置100Aは、イメージングフローサイトメータを例示している。細胞撮像装置100Aの撮像装置としての動作は、細胞解析装置400Aによって制御される。
【0125】
上述した通り、染色体異常又は末梢循環腫瘍細胞は、1以上の蛍光色素を使用して標的部位を検出する。好ましくはFISH法は、2以上の蛍光色素を使用して第1の染色体上の標的部位と第2の染色体上の標的部位を検出する(「染色体」を修飾する「第1」及び「第2」は染色体番号を意味しない、包括的な数の概念である)。例えば、PML遺伝子座とハイブリダイズするプローブは、PML遺伝子座の塩基配列に相補的な配列を有する核酸が、波長λ11の光が照射されることにより波長λ21の第1蛍光を生じる第1蛍光色素によって標識されたものである。このプローブを使うことで、PML遺伝子座が、第1蛍光色素によって標識される。RARA遺伝子座とハイブリダイズするプローブは、RARA遺伝子座の塩基配列に相補的な配列を有する核酸が、波長λ12の光が照射されることにより波長λ22の第2蛍光を生じる第2蛍光色素によって標識されたものである。このプローブを使うことで、RARA遺伝子座が、第2蛍光色素によって標識される。核は、波長λ13の光が照射されることにより波長λ23の第3蛍光を生じる核染色用色素によって染色される。波長λ11、波長λ12及び波長λ13はいわゆる励起光である。また、波長λ114は、明視野観察を行うためのハロゲンランプ等から照射される光である。
【0126】
細胞撮像装置100Aは、フローセル110と、光源120~123と、集光レンズ130~133と、ダイクロイックミラー140~141と、集光レンズ150と、光学ユニット151と、集光レンズ152と、撮像部160と、を備えている。フローセル110の流路111には、試料10が流される。
【0127】
光源120~123は、フローセル110を下から上に流れる試料10に光を照射する。光源120~123は、例えば半導体レーザ光源により構成される。光源120~123からは、それぞれ波長λ11~λ14の光が出射される。
【0128】
集光レンズ130~133は、光源120~123から出射された波長λ11~λ14の光をそれぞれ集光する。ダイクロイックミラー140は、波長λ11の光を透過させ、波長λ12の光を屈折させる。ダイクロイックミラー141は、波長λ11及びλ12の光を透過させ、波長λ13の光を屈折させる。こうして、波長λ11~λ14の光が、フローセル110の流路111を流れる試料10に照射される。なお、細胞撮像装置100Aが備える半導体レーザ光源の数は1以上であれば制限されない。半導体レーザ光源の数は、例えば、1、2、3、4、5又は6の中から選択することができる。
【0129】
フローセル110を流れる試料10に波長λ11~λ13の光が照射されると、流路111を流れる細胞に標識されている蛍光色素から蛍光が生じる。具体的には、波長λ11の光がPML遺伝子座を標識する第1蛍光色素に照射されると、第1蛍光色素から波長λ21の第1蛍光が生じる。波長λ12の光がRARA遺伝子座を標識する第2蛍光色素に照射されると、第2蛍光色素から波長λ22の第2蛍光が生じる。波長λ13の光が核を染色する核染色用色素に照射されると、核染色用色素から波長λ23の第3蛍光が生じる。フローセル110を流れる試料10に波長λ14の光が照射されると、この光は細胞を透過する。細胞を透過した波長λ14の透過光は、明視野画像の生成に用いられる。例えば、実施形態では、第1蛍光は緑色の光の波長領域であり、第2蛍光は赤色の光の波長領域であり、第3蛍光は青色の光の波長領域である。
【0130】
集光レンズ150は、フローセル110の流路111を流れる試料10から生じた第1蛍光~第3蛍光と、フローセル110の流路111を流れる試料10を透過した透過光とを集光する。光学ユニット151は、4枚のダイクロイックミラーが組み合わせられた構成を有する。光学ユニット151の4枚のダイクロイックミラーは、第1蛍光から第3蛍光と透過光とを、互いに僅かに異なる角度で反射し、撮像部160の受光面上において分離させる。集光レンズ152は、第1蛍光~第3蛍光と透過光とを集光する。
【0131】
撮像部160は、TDI(Time Delay Integration)カメラにより構成される。撮像部160は、第1蛍光~第3蛍光と透過光とを撮像して第1蛍光~第3蛍光にそれぞれ対応した蛍光画像と、透過光に対応した明視野画像とを、撮像信号として細胞解析装置400Aに出力する。撮像される画像は、カラー画像であってもよいし、グレースケール画像であってもよい。
【0132】
また、細胞撮像装置100Aは、必要に応じて前処理装置300を備えていてもよい。前処理装置300は、検体の一部をサンプリングし、検体に含まれる細胞にFISH、免疫染色、又は細胞内小器官染色等を施し、試料10を調製する。
【0133】
4-1-3.細胞解析装置
【0134】
(1)ハードウエアの構成
図17を用いて、細胞解析装置400Aのハードウエアの構成を説明する。細胞解析装置400Aは、細胞撮像装置100Aと通信可能に接続されている。細胞解析装置400Aは、制御部40Aと、入力部46と、出力部47と、メディアドライブ98を備える。また、細胞解析装置400Aはネットワーク99と接続可能である。
【0135】
制御部40Aの構成は、訓練装置200Aの制御部20Aの構成と同様である。ここでは、訓練装置200Aの制御部20AにおけるCPU21、メモリ22、記憶部23、バス24、I/F部25、GPU29を、CPU41、メモリ42、記憶部43、バス44、I/F部45、GPU49とそれぞれ読み替えるものとする。但し、記憶部43は、訓練装置200Aが生成し、ネットワーク99を介して、又はメディアドライブ98を介してI/F部45からCPU41が取得した訓練された人工知能アルゴリズム60,63を格納する。
【0136】
解析画像80,85は、細胞撮像装置100Aによって取得され、細胞解析装置400Aの制御部40Aの記憶部43又はメモリ42に記憶され得る。
【0137】
(2)細胞解析装置の機能構成
図18に、細胞解析装置400Aの機能構成を示す。細胞解析装置400Aは、解析データ生成部401と、解析データ入力部402と、解析部403と、解析データデータベース(DB)404と、アルゴリズムデータベース(DB)405(a)、405(b)とを備える。
図19に示すステップS21が解析データ生成部401に該当する。
図19に示すステップS22が解析データ入力部402に該当する。
図19に示すステップS23が解析部403に該当する。解析データデータベース404は、解析データ82,88を格納する。
【0138】
訓練された第1の人工知能アルゴリズム60は、染色体異常を検査するための検査項目及び解析項目と対応付けられて、アルゴリズムデータベース405(a)に記録されている。訓練された第2の人工知能アルゴリズム63は、末梢循環腫瘍細胞を検査するための検査項目及び解析項目と対応付けられて、アルゴリズムデータベース405(b)に記録されている。
【0139】
(3)細胞解析処理
細胞解析装置400Aの制御部40Aは、
図19に示す細胞解析処理を行う。本実施形態により、高い精度かつ高速での解析を容易にする。
【0140】
ユーザからの処理開始の要求に従って、又は細胞撮像装置100Aが解析を開始したことをトリガとして、制御部40AのCPU41は、細胞解析処理を開始する。
【0141】
制御部40Aは、
図19に示すステップS20において、入力部46により検査項目を受け付ける。具体的には、検査項目は、各試料に付されたバーコードから検査項目に関する情報を、入力部46の一例であるバーコードリーダにより読み取とることにより受け付けられる。制御部40Aは、ステップS21において、ステップS20で受け付けた検査項目に応じて、細胞撮像装置100Aから出力された各チャンネルの細胞画像から、解析データの生成に使用するチャンネルを選択し、選択したチャンネルに対応する細胞画像を取得し、統合解析データ82又は統合解析データ87を生成する。統合解析データ82の生成方法は、上記2-1.において説明した通りである。統合解析データ87の生成方法は、上記2-2.において説明した通りである。制御部40Aは、生成した統合解析データ82又は統合解析データ87を記憶部43又はメモリ42に記憶する。
【0142】
制御部40Aは、ステップS22において、ステップS20で受け付けた検査項目に応じて、第1の人工知能アルゴリズム60又は第2の人工知能アルゴリズム63を選択する。受け付けた検査項目と、人工知能アルゴリズムとの紐づけは、
図20に示す、検査項目・アルゴリズムテーブルにより行われる。検査項目・アルゴリズムテーブルは、記憶部43に記憶されている。
図20に示す検査項目・アルゴリズムテーブルは、「検査項目」として、「染色体異常」、及び「末梢循環腫瘍細胞」を例示している。検査項目「染色体異常」には、解析項目として「BCR-ABL」、「PML-RARA」、「IGH-CCND1,IGH-FGFR3,IGH-MAF」が対応しており、検査項目「末梢循環腫瘍細胞」には、解析項目として「CTC」が対応している。また、各検査項目には、標的部位に標識された蛍光の波長領域を示す、「緑」、「黄」、「青」、「赤」のラベルと、明視野撮像であることを示す「明視野」のラベルが付されている。さらに各蛍光の波長領域と明視野撮像に対応する撮像チャンネルの名称のラベルである、「ch1」、「ch2」、「ch3」、「ch4」、「明視野」のラベルが付されている。そして、解析項目「BCR-ABL」、「PML-RARA」、「IGH-CCND1,IGH-FGFR3,IGH-MAF」には、訓練された第1の人工知能アルゴリズム60が紐付けられている。解析項目「CTC」には、訓練された第2の人工知能アルゴリズム63が紐付けられている。
【0143】
制御部40Aは、ステップS22において、検査項目が「染色体異常」の場合には、解析項目のラベルに応じて、第1の人工知能アルゴリズム60を選択し、検査項目が「末梢循環腫瘍細胞」の場合には、解析項目のラベルに応じて、第2の人工知能アルゴリズム63を選択する。
【0144】
制御部40Aは、ステップS23において、選択した第1の人工知能アルゴリズム60又は第2の人工知能アルゴリズム63を使用し、解析画像80A,80Bにおける解析対象細胞の性状を判定し、判定結果のラベル値84を記憶部43又はメモリ42に記憶する。判定方法は、上記2-1.及び2-2.において説明した通りである。
【0145】
制御部40Aは、ステップS24において、全ての解析画像80A,80Bを判定したか判断し、全ての解析画像80A,80Bを判定した場合(「YES」の場合)、ステップS25に進み、判定結果のラベル値84に対応する判定結果を記憶部43に記憶すると共に、判定結果を出力部に出力する。ステップS24において、全ての解析画像80A,80Bを判定していない場合(「NO」の場合)、制御部40Aは、ステップS26において解析画像80A,80Bを更新し、全ての解析画像80A,80Bについて判定を行うまで、ステップS21からステップS24を繰り返す。判定結果はラベル値そのものであってもよいが、各ラベル値に対応した「有」、「無」又は「異常」、「正常」等のラベルでもよい。
【0146】
(4)細胞解析プログラム
本実施形態は、ステップS20からS26及びステップS221からS222の処理をコンピュータに実行させる、細胞の解析を行うためのコンピュータプログラムを含む。
【0147】
さらに、本実施形態のある実施形態は、前記コンピュータプログラムを記憶した、記憶媒体等のプログラム製品に関する。すなわち、前記コンピュータプログラムは、ハードディスク、フラッシュメモリ等の半導体メモリ素子、光ディスク等の記憶媒体に格納され得る。記憶媒体へのプログラムの記録形式は、訓練装置200Aがプログラムを読み取り可能である限り制限されない。前記記憶媒体への記録は、不揮発性であることが好ましい。
【0148】
ここで、「プログラム」とは、CPUにより、直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【0149】
5.その他の実施形態
(1)解析装置の変形例
【0150】
第1の実施形態において、制御部40Aは、S20で受け付けた検査項目に基づいて、人工知能アルゴリズムを選択する例を説明した。しかし、検査項目に変えて、
図36および
図37に示す解析モードに基づいてもよい。
【0151】
制御部40Aは、
図36に示すステップS200において、入力部46により解析モードを受け付ける。具体的には、入力部46および出力部47の機能を兼ね備えるタッチパネル式ディスプレイに、
図37に示す解析モード受付画面を表示し、染色体異常判定モードボタン801又はCTC判定モード802を受け付けることにより、解析モードを受け付ける。制御部40Aは、ステップS201において、ステップS200で受け付けた解析モードに応じて、細胞撮像装置100Aから出力された各チャンネルの細胞画像から、解析データの生成に使用するチャンネルを選択し、選択したチャンネルに対応する細胞画像を取得し、統合解析データ82又は統合解析データ87を生成する。統合解析データ82の生成方法は、上記2-1.において説明した通りである。統合解析データ87の生成方法は、上記2-2.において説明した通りである。制御部40Aは、生成した統合解析データ82又は統合解析データ87を記憶部43又はメモリ42に記憶する。
【0152】
制御部40Aは、ステップS202において、受け付けた解析モードが「染色体異常判定モード」の場合には、第1の人工知能アルゴリズム60を選択し、受け付けた解析モードが「CTC判定モード」の場合には、第2の人工知能アルゴリズム63を選択する。
【0153】
制御部40Aは、ステップS203において、選択した第1の人工知能アルゴリズム60又は第2の人工知能アルゴリズム63を使用し、解析画像80A,80Bにおける解析対象細胞の性状を判定し、判定結果のラベル値84を記憶部43又はメモリ42に記憶する。判定方法は、上記2-1.および2-2.において説明した通りである。
【0154】
制御部40AによるステップS204~S206の処理は、
図19で説明したステップS24~S26と同様であるため、説明を省略する。
【0155】
(2)撮像部の変形例
第1の実施形態において、上記1.から4.では、撮像部160がイメージングフローサイトメータに備えられている例を説明した。しかし、イメージングフローサイトメータに変えて、
図21及び
図22に示す顕微鏡700を使用してもよい。ここで、
図21に示す顕微鏡は、米国特許第2018-0074308号公報に開示されており、本明細書に組み込まれる。
【0156】
図21に示すように、顕微鏡装置700は、筐体部710と、移動部720とを備える。顕微鏡装置700は、撮像部710dと、スライド設置部711とを備える。撮像部710dは、対物レンズ712と、光源713と、撮像素子714とを備える。スライド設置部711は、筐体部710の上面(Z1方向側の面)に設けられている。対物レンズ712と、光源713と、撮像素子714とは、筐体部710の内部に設けられている。顕微鏡装置700は、表示部721を備える。表示部721は、移動部720の前面(Y1方向側の面)に設けられている。表示部721の表示面721aは、移動部720の前面側に配置されている。顕微鏡装置700は、筐体部710に対して移動部720を相対移動させる駆動部710aを備える。
【0157】
スライド設置部711は、ステージ711aを含む。ステージ711aは、水平方向(X方向およびY方向)と、上下方向(Z方向)とに移動可能である。ステージ711aは、X方向、Y方向及びZ方向において、互いに独立して移動可能である。これにより、スライドを対物レンズ712に対して相対移動させることができるので、スライドの所望の位置を拡大して見ることが可能である。
【0158】
対物レンズ712は、スライド設置部711のステージ711aに近接して配置されている。対物レンズ712は、スライド設置部711のステージ711aの下方(Z2方向)に近接して配置されている。対物レンズ712は、上下方向(Z方向)においてスライド設置部711に対向するように設けられている。対物レンズ712は、光軸がスライド設置部711のスライドが設置されるスライド設置面に対して略垂直となるように配置されている。対物レンズ712は、上方向に向いて配置されている。対物レンズ712は、スライド設置部711に対して上下方向(Z方向)に相対移動可能である。対物レンズ712は、上下方向に長手方向を有するように配置されている。つまり、対物レンズ712は、略鉛直方向に光軸を有するように配置されている。対物レンズ712は、複数のレンズを含む。
【0159】
光源713は、試料が塗布されたスライドに光を照射することが可能である。光源713は、対物レンズ712を介してスライドに光を照射する。光源713は、スライドに対して、撮像素子714と同じ側から光を照射する。光源713は、所定の波長の光を出力することが可能である。光源713は、異なる複数の波長の光を出力することが可能である。つまり、光源713は、異なる種類の光を出力することが可能である。光源713は、発光素子を含む。発光素子は、たとえば、LED素子、または、レーザ素子などを含む。
【0160】
図22に顕微鏡装置700の光学系の構成例を示す。顕微鏡装置700は、光学系の構成として、対物レンズ712と、光源713と、撮像素子714と、第1光学素子715と、フィルタ716aと、第2光学素子716b、716c、716f及び716gと、レンズ716d、716e及び716hと、反射部717a、717b及び717dと、レンズ717cとを備える。対物レンズ712と、光源713と、撮像素子714と、第1光学素子715と、フィルタ716aと、第2光学素子716b、716c、716f及び716gと、レンズ716d、716e及び716hと、反射部717a、717b及び717dと、レンズ717cとは、筐体部710の内部に配置されている。
【0161】
第1光学素子715は、光源713から照射された光を対物レンズ712の光軸方向に反射し、スライドからの光を透過するように構成されている。第1光学素子715は、たとえば、ダイクロイックミラーを含む。つまり、第1光学素子715は、光源713から照射される波長の光を反射し、スライドから発生される光の波長を透過させるように構成されている。
【0162】
フィルタ716aは、所定の波長の光を透過させてそれ以外の波長の光を遮蔽する、または、所定の波長の光を遮蔽してそれ以外の波長の光を透過させる、ように構成されている。つまり、フィルタ716aにより、所望の波長の光が透過されて、撮像素子714に到達する。
【0163】
第2光学素子716b、716c、716f及び716gは、スライドからの光を撮像素子714に向けて反射するように構成されている。第2光学素子716b、716c、716f及び716gは、反射部を含む。第2光学素子716b、716c、716f及び716gは、たとえば、ミラーを含む。
【0164】
反射部717a、717b及び717dは、光源713からの光を対物レンズ712に向けて反射するように構成されている。反射部717a、717b及び717dは、たとえば、ミラーを含む。
【0165】
光源713から出射された光は、反射部717aに反射されて反射部17bに入射する。反射部717bに入射した光は、反射されてレンズ717cを介して反射部717dに入射する。反射部717dに入射した光は、反射されて第1光学素子715に入射する。第1光学素子715に入射した光は、反射されて対物レンズ712を介して、スライド設置部11に到達し、スライドに照射される。
【0166】
光源713の光に基づいてスライドから発せられる光は、対物レンズ712を介して、第1光学素子715に入射される。第1光学素子715に入射した光は、透過されてフィルタ716aを介して第2光学素子716bに入射する。第2光学素子716bに入射した光は、反射されて第2光学素子716cに入射する。第2光学素子716cに入射した光は、反射されてレンズ716d及び716eを介して第2光学素子716fに入射する。第2光学素子716fに入射した光は、反射されて第2光学素子716gに入射する。第2光学素子716gに入射した光は、反射されてレンズ16hを介して撮像素子714に到達する。撮像素子714は、到達した光に基づいてスライドの拡大画像を撮像する。
【0167】
撮像された画像は、顕微鏡700から
図21に示すコンピュータ800に送信される。コンピュータ800は、生成装置(200A)及び/又は細胞解析装置(400A)に相当する。
【0168】
III.第2の実施形態
第2の実施形態は、細胞からの信号強度に基づく波形データから人工知能アルゴリズムを用いて細胞を解析する方法に関する。
【0169】
1.細胞の解析方法
本実施形態は、生体試料に含まれる細胞を解析する細胞の解析方法に関する。解析方法は、個々の細胞に関する信号強度に対応する数値データを、ニューラルネットワーク構造を有する第3の人工知能アルゴリズム560又は第4の人工知能アルゴリズム563に入力する。そして、第3の人工知能アルゴリズム560又は第4の人工知能アルゴリズム563から出力された結果に基づいて、信号強度を取得した細胞の種別を細胞毎に判定する。
【0170】
本実施形態のある形態において判定しようとする細胞の種別は、形態学的な分類に基づく細胞の種別を基準とするものであり、生体試料の種類に応じて異なる。生体試料が血液である場合であって、血液が健常人から採血されたものである場合、本実施形態において判定しようとする細胞の種別には、赤血球、白血球等の有核細胞、血小板等が含まれる。有核細胞には、好中球、リンパ球、単球、好酸球、好塩基球が含まれる。好中球には、分葉核好中球及び桿状核好中球が含まれる。一方、血液が非健常人から採血されたものである場合、有核細胞には、幼若顆粒球及び異常細胞からなる群から選択される少なくとも一種が含まれる場合がある。このような細胞も本実施形態において判定しようとする細胞の種別に含まれる。幼若顆粒球には、後骨髄球、骨髄球、前骨髄球、骨髄芽球等の細胞が含まれ得る。
【0171】
図23~
図25に示す例を用いて訓練データ575の生成方法及び波形データの解析方法を説明する。ここで「訓練」又は「訓練する」という用語は、「生成」又は「生成する」という用語に置き換えて使用される場合がある。記載の便宜上「解析対象画像」を「解析画像」と、「解析用データ」を「解析データ」と、「訓練用画像」を「訓練画像」と、「訓練用データ」を「訓練データ」と称する場合がある。また、「蛍光画像」は、蛍光標識を撮像した訓練画像又は蛍光標識を撮像した解析画像を意図する。
【0172】
(1)訓練データの生成
図23に示す例は、白血球、幼若顆粒球、異常細胞の種別を判定するための第3の人工知能アルゴリズムを訓練するために使用される訓練用波形データの生成方法の一例である。訓練用波形データである、前方散乱光の波形データ570a、側方散乱光の波形データ570b、及び側方蛍光の波形データ570cは、訓練対象の細胞に紐付けられている。前方散乱光の波形データ570a、側方散乱光の波形データ570b、及び側方蛍光の波形データ570cを併せて、訓練用波形データ570ともいう。訓練対象の細胞から取得される訓練用波形データ570a、570b、570cは、形態学的な分類に基づく細胞の種類が既知である細胞をフローサイトメトリーで測定した波形データであってもよい。あるいは、健常人のスキャッタグラムから既に細胞の種別が判定されている細胞の波形データを用いてもよい。また、健常人の細胞の種別が判定されている波形データとして、複数人から取得した細胞の波形データのプールを使用してもよい。訓練用波形データ570a、570b、570cを取得するための検体は、訓練対象の細胞と同種の細胞を含む試料から、訓練対象の細胞を含む検体と同様の検体処理方法で処理されることが好ましい。また、訓練用波形データ570a、570b、570cは、解析対象の細胞の取得条件と同様の条件で取得されることが好ましい。訓練用波形データ570a、570b、570cは、例えば公知のフローサイトメトリーやシースフロー電気抵抗法により、細胞毎に予め取得することができる。ここで、訓練対象の細胞が、赤血球又は血小板である場合には、訓練データは、シースフロー電気抵抗法によって取得される波形データとなり、波形データは、電気信号強度から得られる一種となる場合がある。
【0173】
図23に示す例では、Sysmex XN-1000を用いてフローサイトメトリーにより取得した訓練用波形データ570a、570b、570cを用いている。訓練用波形データ570a、570b、570cは、例えば、前方散乱光が所定の閾値に達してから、前方散乱光の信号強度、側方散乱光の信号強度、側方蛍光の信号強度の取得を開始し、所定時間後に取得を終了するまでの間、1つの訓練対象の細胞について一定の間隔で複数の時点で各波形データを取得した例である。一定の間隔で複数の時点の波形データを取得する例として、例えば、10ナノ秒間隔で1024ポイント、80ナノ秒間隔で128ポイント、又は160ナノ秒間隔で64ポイント等を挙げることができる。各波形データは、フローサイトメータ、及びシースフロー電気抵抗方式の測定装置等に備えられた細胞を個別に検出可能な測定部内の細胞検出用の流路に生体試料に含まれる細胞を流し、流路内を通過する個々の細胞について取得される。具体的には、流路内の所定位置を1つの訓練対象の細胞が通過する間の複数の時点において、信号強度を取得した時間を示す値とその時点における信号強度を示す値を要素とするデータ群が、信号毎に取得され、訓練用波形データ570a、570b、570cとして使用される。時点に関する情報は、信号強度の取得が開始されてからどのくらい経過したか、後述する制御部10T,20Tが判定できるように記憶されうる限り制限されない。例えば、時点の情報は、測定開始からの時間であってもよく、何番のポイントであるかであってもよい。信号強度は、その信号強度が取得された時点の情報とともに後述する記憶部13、23又はメモリ12、22に記憶されることが好ましい。
【0174】
図23の訓練用波形データ570a、570b、570cはそれぞれを生データの値で示すと例えば前方散乱光の数列データ572a、側方散乱光の数列データ572b、側方蛍光の数列データ572cのようになる。数列データ572a、572b、572cは、訓練対象の細胞毎に、信号強度を取得した時点が同期され、前方散乱光の数列データ576a、側方散乱光の数列データ576b、側方蛍光の数列データ576cとなる。すなわち、576aの左から2番目の数値が計測を開始した時刻t=0における信号強度で10となっている。同様に576b及び576cの左から2番目の数値が計測を開始した時刻t=0における信号強度で、それぞれ50と100となっている。また、576a、576b、576cそれぞれの内部で隣り合うセルは、10ナノ秒間隔で信号強度を格納している。数列データ576a、576b、576cは、訓練対象の細胞の種別を示すラベル値577と組み合わされて、同時点の3つの信号強度(前方散乱光の信号強度、側方散乱光の信号強度、及び側方蛍光の信号強度)がセットとなるように訓練データ575として第3の人工知能アルゴリズム550に入力される。例えば、訓練対象の細胞が好中球である場合には、数列データ576a、576b、576cに好中球であることを示すラベル値577として「1」が付与され、訓練データ575が生成される。
図24にラベル値577の例を示す。訓練データ575は、細胞の種別毎に生成されるため、ラベル値は、細胞の種類に応じて異なるラベル値577が付与される。ここで、信号強度を取得した時点の同期とは、例えば測定開始からの時間が前方散乱光の数列データ572a、側方散乱光の数列データ572b、側方蛍光の数列データ572cにおいて同時点で組み合わせられるように測定ポイントを一致させることをいう。言い換えると、前方散乱光の数列データ572a、側方散乱光の数列データ572b、側方蛍光の数列データ572cのそれぞれがフローセル内を通過する一つの細胞において同じ時点での取得した信号強度となるように調整されることを意図する。測定開始の時間は、前方散乱光の信号強度が閾値等の所定の閾値を超えた時点としてもよいが、他の散乱光、又は蛍光の信号強度の閾値を使用してもよい。また、数列データ毎に閾値を設定してもよい。
【0175】
数列データ576a、576b、576cは、取得した信号強度値をそのまま使用してもよいが、必要に応じて、ノイズ除去、ベースライン補正、正規化等の処理を行ってもよい。本明細書において、「信号強度に対応する数値データ」には、取得した信号強度値そのもの、及び必要に応じてノイズ除去、ベースライン補正、正規化等を施した値を含み得る。
【0176】
図23を例として、ニューラルネットワーク構造を有する第3の人工知能アルゴリズム550及び第4の人工知能アルゴリズム553の訓練の概要を説明する。第3の人工知能アルゴリズム550は、好中球、リンパ球、単球、好酸球、好塩基球、幼若顆粒球を分類するためのアルゴリズムであり、第4の人工知能アルゴリズム553は、異常細胞を分類するためのアルゴリズムである。第3の人工知能アルゴリズム550及び第4の人工知能アルゴリズム553は、畳み込みニューラルネットワークであることが好ましい。第3の人工知能アルゴリズム550における入力層550aのノード数は、入力される訓練データ575の波形データに含まれる配列数に対応している。訓練データ575を、数列データ576a、576b、576cが信号強度を取得した時点が同時点となるように組み合わせて、第1の訓練データとして第3の人工知能アルゴリズム550の入力層550aに入力する。訓練データ575の各波形データのラベル値577を、第2の訓練データとして第3の人工知能アルゴリズム550の出力層550bに入力し、第3の人工知能アルゴリズム550を訓練する。
図23の符号550cは、中間層を示す。第4の人工知能アルゴリズム553も同様の構成を有する。
【0177】
(2)解析データの生成と細胞の解析方法
図25に解析対象である細胞の波形データを解析する方法の例を示す。波形データを用いた細胞解析方法では、解析対象の細胞から取得した前方散乱光の波形データ580a、側方散乱光の波形データ580b、及び側方蛍光の波形データ580cから解析データ585を生成する。波形データ580a、波形データ580b、及び波形データ580cを合わせて、解析用波形データ580ともいう。解析用波形データ580a、580b、580cは、例えば公知のフローサイトメトリーを用いて取得することができる。
図25に示す例では、解析用波形データ580a、580b、580cは、Sysmex XN-1000を用いて訓練用波形データ570a、570b、570cと同様に取得する。解析用波形データ580a、580b、580cはそれぞれを生データの値で示すと例えば前方散乱光の数列データ582a、側方散乱光の数列データ582b、及び側方蛍光の数列データ582cのようになる。
【0178】
解析データ585の生成と訓練データ575の生成に関しては、少なくとも取得条件、及び各波形データ等からニューラルネットワークに入力するデータを生成する条件を同じにすることが好ましい。数列データ582a、582b、582cは、訓練対象の細胞毎に、信号強度を取得した時点が同期され、数列データ586a(前方散乱光)、数列データ586b(側方散乱光)、数列データ586c(側方蛍光)となる。数列データ586a、586b、586cは、同時点の3つの信号強度(前方散乱光の信号強度、側方散乱光の信号強度、及び側方蛍光の信号強度)がセットとなるように組み合わされて、解析データ585として第3の人工知能アルゴリズム560又は第4の人工知能アルゴリズム563に入力される。
【0179】
解析データ585を訓練された第3の人工知能アルゴリズム560を構成する入力層560a又は第4の人工知能アルゴリズム563を構成する入力層563aに入力すると、出力層560b又は入力層563aから、訓練データとして入力された細胞の種別のそれぞれに、解析データ585を取得した解析対象の細胞が属する確率が出力される。
図25の符号560cおよび563cは、中間層を示す。さらに、この確率の中で、値が最も高い分類に、解析データ585を取得した解析対象の細胞が属すると判断し、その細胞の種別と紐付けられたラベル値582等が出力されてもよい。出力される細胞に関する解析結果583は、ラベル値そのものの他、ラベル値を細胞の種別を示す情報(例えば用語等)に置き換えたデータであってもよい。
図25では解析データ585に基づいて、第3の人工知能アルゴリズム560又は第4の人工知能アルゴリズム563が解析データ585を取得した解析対象の細胞が属する確率が最も高かったラベル値「1」を出力し、さらに、このラベル値に対応する「好中球」という文字データが、細胞に関する解析結果583として出力される例を示している。ラベル値の出力は、第3の人工知能アルゴリズム560又は第4の人工知能アルゴリズム563が行ってもよいが、他のコンピュータプログラムが、第3の人工知能アルゴリズム560又は第4の人工知能アルゴリズム563が算出した確率に基づいて、最も好ましいラベル値を出力してもよい。
【0180】
2.細胞解析装置システム
本実施形態の波形データは、細胞解析システム5000において取得され得る。
図26には、細胞解析システム5000の外観を示す。細胞解析システム5000は、測定ユニット(測定部ともいう)600と、測定ユニット600における試料の測定条件の設定や測定を制御するための処理ユニット100T,200Tを備える測定ユニット600と処理ユニット100T,200Tは相互に通信可能に有線、又は無線で接続されうる。以下に、測定ユニット600の構成例を示すが、本実施形態の実施形態は、以下の例示に限定されて解釈されるものではない。処理ユニット100T、又は処理ユニット200Tは、後述する訓練装置100T、又は細胞解析装置200Tとそれぞれ共用され得る。ここでは、処理ユニット100T、又は処理ユニット200Tとして、訓練装置100T、又は細胞解析装置200Tをそれぞれ使用する例を用いて説明する。
【0181】
2-1.第1の細胞解析システム5000
(1)第1の測定ユニットの構成
図26から
図28を用いて、測定ユニット600が血液試料の有核細胞を検出するためのフローサイトメータである場合の構成例を説明する。
【0182】
図27は、測定ユニット600の機能構成の例を示す。この図に示されるように、測定ユニット600は、血球を検出する検出部610、検出部610の出力に対するアナログ処理部620、測定ユニット制御部680、表示・操作部650、試料調製部640、及び装置機構部630を備えている。アナログ処理部620は、検出部から入力されるアナログ信号としての電気信号に対してノイズ除去を含む処理を行い、処理した結果を電気信号としてA/D変換部682に対して出力する。
【0183】
検出部610は、信号取得部として機能し、少なくとも白血球等の有核細胞を検出する有核細胞検出部611、赤血球数及び血小板数を測定する赤血球/血小板検出部612、必要に応じて血液中の血色素量を測定するヘモグロビン検出部613を備える。なお、有核細胞検出部611は、光学式検出部から構成され、より具体的にはフローサイトメトリー法による検出を行うための構成を備える。
【0184】
図27に示されるように、測定ユニット制御部680は、A/D変換部682と、デジタル値演算部683と、訓練装置100T、又は細胞解析装置200Tと接続するインタフェース部689とを備えている。さらに、測定ユニット制御部680は、表示・操作部650との間に介在するインタフェース部486と、装置機構部630との間に介在するインタフェース部688とを備えている。
【0185】
なお、デジタル値演算部683は、インタフェース部684及びバス685を介してインタフェース部689と接続されている。また、インタフェース部689は、バス685及びインタフェース部486を介して表示・操作部650と接続され、バス685及びインタフェース部688を介して検出部610、装置機構部630及び試料調製部640と接続されている。
【0186】
A/D変換部682は、アナログ処理部620から出力されたアナログ信号である受光信号をデジタル信号に変換して、デジタル値演算部683に出力する。デジタル値演算部683は、A/D変換部682から出力されたデジタル信号に対して所定の演算処理を行う。所定の演算処理として、例えば、前方散乱光が所定の閾値に達してから、前方散乱光の信号強度、側方散乱光の信号強度、側方蛍光の信号強度の取得を開始し、所定時間後に取得を終了するまでの間、1つの訓練対象の細胞について一定の間隔で複数の時点で各波形データを取得する処理、波形データのピーク値を抽出する処理などが含まれ、これに限られない。そして、デジタル値演算部683は、演算結果(測定結果)をインタフェース部684、バス685及びインタフェース部689を介して訓練装置100T、又は細胞解析装置200Tに出力する。
【0187】
訓練装置100T、又は細胞解析装置200Tは、インタフェース部684、バス685、及びインタフェース部689を介してデジタル値演算部683と接続されており、デジタル値演算部683から出力された演算結果を訓練装置100T、又は細胞解析装置200Tが受信することができる。また、訓練装置100T、又は細胞解析装置200Tは、試料容器を自動供給するサンプラ(図示省略)、試料の調製・測定のための流体系などからなる装置機構部630の制御及びその他の制御を行う。
【0188】
有核細胞検出部611は、細胞を含む測定試料を細胞検出用の流路に流し、細胞検出用の流路を流れる細胞に光を照射して、細胞から生じる散乱光及び蛍光を測定する。赤血球/血小板検出部612は、細胞を含む測定試料を細胞検出用の流路に流し、細胞検出用の流路を流れる細胞の電気抵抗を測定し、細胞の容積を検出する。
【0189】
本実施形態において、測定ユニット600は、フローサイトメータ及び/又はシースフロー電気抵抗方式検出部を備えることが好ましい。
図27において、有核細胞検出部611は、フローサイトメータでありうる。
図27において、赤血球/血小板検出部612は、シースフロー電気抵抗方式検出部であり得る。ここで、有核細胞を赤血球/血小板検出部612で測定してもよく、赤血球及び血小板を有核細胞検出部611で測定することも可能である。
【0190】
(2)フローサイトメータ
図28に示すように、フローサイトメータによる測定では、測定試料に含まれる細胞がフローサイトメータ内に備えられたフローセル(シースフローセル)4113を通過する際に、光源4111がフローセル4113に光を照射し、この光によってフローセル4113内の細胞から発せられる散乱光及び蛍光を検出する。
【0191】
本実施形態において、散乱光は、一般に流通しているフローサイトメータで測定できる散乱光であれば特に限定されない。例えば、散乱光としては、前方散乱光(例えば、受光角度0~20度付近)及び側方散乱光(受光角度90度付近)を挙げることができる。側方散乱光は細胞の核や顆粒などの細胞の内部情報を反映し、前方散乱光は細胞の大きさの情報を反映することが知られている。本実施形態においては、散乱光強度として前方散乱光強度、及び側方散乱光強度を測定することが好ましい。
【0192】
蛍光は、細胞内の核酸などに結合した蛍光色素に対し、適当な波長の励起光を詳細した際に蛍光色素から発せられる光である。励起光波長及び受光波長は、用いた蛍光色素の種類に応じる。
【0193】
図28は、有核細胞検出部611の光学系の構成例を示している。この図において、光源4111であるレーザダイオードから出射された光は、照射レンズ系4112を介してフローセル6113内を通過する細胞に照射される。
【0194】
本実施形態において、フローサイトメータの光源4111は特に限定されず、蛍光色素の励起に好適な波長の光源4111が選択される。そのような光源4111としては、例えば赤色半導体レーザ及び/又は青色半導体レーザを含む半導体レーザ、アルゴンレーザ、ヘリウム-ネオンレーザ等の気体レーザ、水銀アークランプなどが使用される。特に半導体レーザは、気体レーザに比べて非常に安価であるので好適である。
【0195】
図28に示されるように、フローセル4113を通過する粒子から発せられる前方散乱光は、集光レンズ4114とピンホール部4115を介して前方散乱光受光素子4116によって受光される。前方散乱光受光素子4116はフォトダイオード等であり得る。側方散乱光は、集光レンズ4117、ダイクロイックミラー4118、バンドパスフィルタ4119、及びピンホール部4120を介して側方散乱光受光素子4121によって受光される。側方散乱光受光素子4121は、フォトダイオード、フォトマルチプライヤ等であり得る。側方蛍光は、集光レンズ4117及びダイクロイックミラー4118を介して側方蛍光受光素子4122によって受光される。側方蛍光受光素子4122は、アバランシェフォトダイオード、フォトマルチプライヤ等であり得る。
【0196】
各受光素子4116、4121及び4122から出力された受光信号は、それぞれ、アンプ4151、4152及び4153を有する
図27に示すアナログ処理部620によって増幅・波形処理などのアナログ処理が施され、測定ユニット制御部680に送られる。
【0197】
図27に戻り、測定ユニット600は、測定試料を調製する試料調製部640を備えていてもよい。試料調製部640は、インタフェース部688及びバス685を介して測定ユニット情報制御部481によって制御される。
図29は、測定部600内に備えられた試料調製部640において、血液試料と染色試薬と溶血試薬とを混合して測定試料を調製し、得られた測定試料を有核細胞検出部で測定する様子を示している。
【0198】
図29において、試料容器00a内の血液試料は、吸引ピペット601から吸引される。吸引ピペット601で定量された血液試料は、所定量の希釈液と混合され反応チャンバ602に運ばれる。反応チャンバ602には、所定量の溶血試薬が添加される。反応チャンバ602には、所定量の染色試薬が供給され、上記の混合物と混合される。血液試料と染色試薬及び溶血試薬との混合物を反応チャンバ602にて所定の時間反応させることにより、血液試料中の赤血球が溶血され、有核細胞が蛍光色素で染色された測定試料が得られる。
【0199】
得られた測定試料は、シース液(例えば、セルパック(II)、シスメックス株式会社製)とともに有核細胞検出部611内のフローセル4113に送られ、有核細胞検出部611においてフローサイトメトリー法により測定される。
【0200】
(1)訓練装置のハードウエア構成
図30に、訓練装置100Tのハードウエア構成を例示する。訓練装置100Tは、制御部10Tと、入力部16と、出力部17を備える。また、訓練装置100Tはネットワーク99と接続可能である。
【0201】
制御部10Tの構成は、訓練装置200Aの制御部20Aの構成と同様である。ここでは、訓練装置200Aの制御部20AにおけるCPU21、メモリ22、記憶部23、バス24、I/F部25、GPU29を、CPU11、メモリ12、記憶部13、バス14、I/F部15、GPU19とそれぞれ読み替えるものとする。但し、記憶部13は、第3の人工知能アルゴリズム550及び第4の人工知能アルゴリズム560格納する。
【0202】
訓練用波形データ570は、測定ユニット600によって取得され、訓練装置100Tの制御部10Tの記憶部13又はメモリ12に記憶され得る。
【0203】
(2)解析装置のハードウエア構成
図31を参照すると、細胞解析装置200Tは、制御部20と、入力部26と、出力部27と、メディアドライブD98を備える。また、細胞解析装置200Tはネットワーク99と接続可能である。
【0204】
制御部20Tの構成は、細胞解析装置400Aの制御部40Aの構成と同様である。ここでは、細胞解析装置400Aの制御部40AにおけるCPU41、メモリ42、記憶部43、バス44、I/F部45、GPU49を、CPU21、メモリ22、記憶部23、バス24、I/F部25、GPU29とそれぞれ読み替えるものとする。但し、記憶部23は、訓練された複数の第3の人工知能アルゴリズム560を後述する
図32に示すデータベースとして格納する。
【0205】
解析用波形データ580は、測定ユニット600によって取得され、細胞解析装置200Tの制御部20Tの記憶部23又はメモリ22に記憶され得る。
【0206】
(3)訓練装置の機能構成
図32を参照すると、訓練装置100Tの制御部10Tは、訓練データ生成部T101と、訓練データ入力部T102と、アルゴリズム更新部T103とを備える。
図34に示すステップS1001が訓練データ生成部T101に該当する。
図34に示すステップS1002が訓練データ入力部T102に該当する。
図34に示すステップS1004がアルゴリズム更新部T103に該当する。訓練データデータベース(DB)T104と、アルゴリズムデータベース(DB)T105(a)、T105(b)とは、制御部10Tの記憶部13に記録され得る。
【0207】
訓練用波形データ570a、570b、570cは、測定ユニット600によって予め取得され、制御部10Tの訓練データデータベースT104(a)に予め記憶されている。第3の人工知能アルゴリズム550は、アルゴリズムデータベースT105(b)に予め格納されている。
【0208】
(4)細胞解析装置の機能構成
図33に、細胞解析装置200Tの機能構成を示す。細胞解析装置200Tは、解析データ生成部T201と、解析データ入力部T202と、解析部T203と、解析データデータベース(DB)T204と、アルゴリズムデータベース(DB)T205(a)、T205(b)とを備える。
図35に示すステップS2001が解析データ生成部T201に該当する。
図35に示すステップS2002が解析データ入力部T202に該当する。
図35に示すステップS2003が解析部T403に該当する。解析用波形データ580は、測定ユニット600によって取得され、解析データデータベースT204に記憶される。訓練された複数の第3の人工知能アルゴリズム560は、アルゴリズムデータベースT205(a)に記憶される。第4の人工知能アルゴリズム563は、アルゴリズムデータベースT205(b)に記憶される。
【0209】
(5)訓練処理
図34に、訓練装置100Tの制御部10Tが行う処理の例を示す。
【0210】
はじめに、制御部10Tは、訓練用波形データ570a,570b,570cを取得する。訓練用波形データ570aは前方散乱光の波形データであり、訓練用波形データ570bは側方散乱光の波形データであり、訓練用波形データ570cは側方蛍光の波形データである。訓練用波形データ570a,570b,570cの取得は、オペレータの操作によって、測定ユニット600から取り込まれるか、メディアドライブD98から取り込まれるか、ネットワーク経由でI/F部15を介して行われる。訓練用波形データ570a,570b,570cを取得する際に、その訓練用波形データ570a,570b,570cが,いずれの細胞の種類を示すものであるかの情報も取得される。いずれの細胞の種類を示すものであるかの情報は、訓練用波形データ570a,570b,570cに紐付けられ、またオペレータが入力部16から入力してもよい。
【0211】
ステップS1001において、制御部10Tは、訓練用波形データ570a,570b,570cに紐付けられている,細胞の種類のいずれを示すものであるかの情報と、メモリ12又は記憶部13に記憶されている細胞の種類に紐付けられたラベル値と、数列データ572a,572b,572cを、波形データを取得した時間で前方散乱光、側方散乱光、及び側方蛍光の波形データを同期させた数列データ576a,576b、576cに対応するラベル値577を付与する。斯くして、制御部10Tは、訓練データ575を生成する。
【0212】
ステップS1002において、制御部10Tは、訓練データ575を用いて、第3の人工知能アルゴリズム550又は第4の人工知能アルゴリズム553を訓練する。第3の人工知能アルゴリズム550及び第4の人工知能アルゴリズム553の訓練結果は複数の訓練データ575を用いて訓練する度に蓄積される。訓練データ575のラベル値577が、好中球、リンパ球、単球、好酸球、好塩基球、幼若顆粒球を示す場合には、第3の人工知能アルゴリズム550を訓練し、訓練データ575のラベル値577が、異常細胞を示す場合には、第4の人工知能アルゴリズム553を訓練する。
【0213】
本実施形態に係る細胞種別の解析方法では、畳み込みニューラルネットワークを使用しており、確率的勾配降下法を用いるため、ステップS1003において、制御部10Tは、予め定められた所定の試行回数分の訓練結果が蓄積されているか否かを判断する。訓練結果が所定の試行回数分蓄積されている場合(「YES」の場合)、制御部10TはステップS1004の処理に進み、訓練結果が所定の試行回数分蓄積されていない場合(「NO」の場合)、制御部10TはステップS15の処理に進む。
【0214】
次に、訓練結果が所定の試行回数分蓄積されている場合、ステップS1004において、制御部10Tは、ステップS1002において蓄積しておいた訓練結果を用いて、第3の人工知能アルゴリズム550又は第4の人工知能アルゴリズム553の重みwを更新する。本実施形態に係る細胞種別の解析方法では、確率的勾配降下法を用いるため、所定の試行回数分の訓練結果が蓄積した段階で、第3の人工知能アルゴリズム550又は第4の人工知能アルゴリズム553の重みwを更新する。
【0215】
ステップS1005において、制御部10Tは、第3の人工知能アルゴリズム550又は第4の人工知能アルゴリズム553を規定数の訓練用データ575で訓練したか否かを判断する。規定数の訓練用データ575で訓練した場合(「YES」の場合)には、訓練処理を終了する。
【0216】
制御部10Tは、ステップS1005において第3の人工知能アルゴリズム550又は第4の人工知能アルゴリズム553を規定数の訓練用データ575で訓練していない場合(「NO」の場合)と判断した場合には、ステップS1005からステップS1006に進み、次の訓練用波形データ570についてステップS1001からステップS1005までの処理を行う。
【0217】
以上説明した処理にしたがって、制御部10Tは、第3の人工知能アルゴリズム550および第4の人工知能アルゴリズム553を訓練し、第3の人工知能アルゴリズム560および第4の人工知能アルゴリズム563を生成する。第3の人工知能アルゴリズム560および第4の人工知能アルゴリズム563は、1台のコンピュータに記録されうる。
【0218】
(6)細胞解析処理
【0219】
はじめに、制御部20Tは、解析用波形データ580a、580b、580cを取得する。解析用波形データ580a、580b、580cの取得は、ユーザの操作によって、若しくは自動的に、測定ユニット600から取り込まれるか、記録媒体98から取り込まれるか、ネットワーク経由でI/F部25を介して行われる。
【0220】
制御部20Tは、
図35に示すステップS2000において、入力部26により検査項目を受け付ける。具体的には、検査項目は、各試料に付されたバーコードから検査項目に関する情報を、入力部46の一例であるバーコードリーダにより読み取とることにより受け付けられる。検査項目は、「血球分類検査」および「異常細胞検査」から選択される。制御部20Tは、ステップS2001において、数列データ582a、582b、582cから、上記細胞解析方法で説明した手順に従い細胞に関する解析データ585を生成する。制御部20Tは、生成した解析データ585を記憶部23又はメモリ22に記憶する。
【0221】
制御部20Tは、ステップS2002において、ステップS2000で受け付けた検査項目に応じて、第3の人工知能アルゴリズム560又は第4の人工知能アルゴリズム563を選択する。制御部20Tは、検査項目が「血球分類検査」の場合には、第3の人工知能アルゴリズム560を選択し、検査項目が「異常細胞検査」の場合には、第4の人工知能アルゴリズム563を選択する。
【0222】
制御部20Tは、ステップS2003において、選択した第3の人工知能アルゴリズム560又は第4の人工知能アルゴリズム563を使用し、解析対象細胞を分類し、判定結果のラベル値577を記憶部43又はメモリ42に記憶する。
【0223】
制御部20Tは、ステップS2004において、全ての解析対象細胞を判定したか判断し、全てを判定した場合(「YES」の場合)、ステップS2005に進み、判定結果を記憶部43に記憶すると共に、判定結果を出力部に出力する。ステップS2004において、全てを判定していない場合(「NO」の場合)、制御部20Tは、ステップS2006において解析対象細胞を更新し、全てについて判定を行うまで、ステップS2001からステップS2004を繰り返す。
【0224】
上記した各実施形態により、検査者のスキルを問わず細胞の種類の判定を行うことが可能となる。また、細胞解析において、複数の解析項目の解析を容易にする。
【0225】
(7)各種プログラム
第2の実施形態は、ステップS1001~S1006の処理をコンピュータに実行させる、人工知能アルゴリズムを訓練するためのコンピュータプログラムを含む。
【0226】
第2の実施形態は、ステップS2000~S2006及びS22001~S22002の処理をコンピュータに実行させる、細胞を解析するためのコンピュータプログラムを含む。
【0227】
さらに、本実施形態のある実施形態は、前記コンピュータプログラムを記憶した、記憶媒体等のプログラム製品に関する。すなわち、前記コンピュータプログラムは、ハードディスク、フラッシュメモリ等の半導体メモリ素子、光ディスク等の記憶媒体に格納され得る。記憶媒体へのプログラムの記録形式は、訓練装置200Aがプログラムを読み取り可能である限り制限されない。前記記憶媒体への記録は、不揮発性であることが好ましい。
【0228】
ここで、「プログラム」とは、CPUにより、直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【0229】
IV.その他
本発明は上述した実施形態に限定して解釈されるものではない。例えば、上記実施形態においては、受け付けた検査項目に応じて使用するアルゴリズムを選択しているが、解析項目を受け付け、受け付けた解析項目に応じて使用するアルゴリズムを選択してもよい。
【符号の説明】
【0230】
82,87,585 解析用データ
60,63,560,563 人工知能アルゴリズム
84,88,582 細胞の性状を示すデータ
400A,200B,200T 細胞解析装置
1000,5000, 細胞解析システム
110 フローセル
120,121,122,123 光源
160 撮像部