IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シスメックス株式会社の特許一覧

特許7475848細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム、並びに訓練された人工知能アルゴリズムの生成方法、生成装置、及び生成プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-19
(45)【発行日】2024-04-30
(54)【発明の名称】細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム、並びに訓練された人工知能アルゴリズムの生成方法、生成装置、及び生成プログラム
(51)【国際特許分類】
   G01N 33/483 20060101AFI20240422BHJP
   G06T 7/00 20170101ALI20240422BHJP
   G01N 33/53 20060101ALI20240422BHJP
   G01N 33/533 20060101ALI20240422BHJP
   G01N 37/00 20060101ALI20240422BHJP
   G01N 21/64 20060101ALI20240422BHJP
   G01N 15/14 20240101ALI20240422BHJP
【FI】
G01N33/483 C
G06T7/00 350C
G06T7/00 630
G01N33/53 M
G01N33/53 Y
G01N33/533
G01N37/00 101
G01N21/64 F
G01N15/14 C
【請求項の数】 17
(21)【出願番号】P 2019217159
(22)【出願日】2019-11-29
(65)【公開番号】P2021085849
(43)【公開日】2021-06-03
【審査請求日】2022-10-14
(73)【特許権者】
【識別番号】390014960
【氏名又は名称】シスメックス株式会社
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】白井 健太郎
(72)【発明者】
【氏名】勝俣 恵理
(72)【発明者】
【氏名】岡本 有司
(72)【発明者】
【氏名】今久保 桃子
(72)【発明者】
【氏名】陸 建銀
【審査官】草川 貴史
(56)【参考文献】
【文献】特開平10-048120(JP,A)
【文献】特表2019-513228(JP,A)
【文献】特開2019-086524(JP,A)
【文献】JAKKRICH Laosai 外1名,Deep-Learning-Based Acute Leukemia Classification Using Imaging Flow Cytometry and Morphology,International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS),2018年,Page.427-430
(58)【調査した分野】(Int.Cl.,DB名)
G01N 33/48-33/98
G01N 15/00-15/14
G01N 35/00-37/00
G06T 7/00- 7/90
G06V 10/00-20/90
G01N 21/64
(57)【特許請求の範囲】
【請求項1】
人工知能アルゴリズムを用いて、細胞を解析する細胞解析方法であって、
標的部位が標識されている細胞を含む試料を流路に流し、
前記流路内を通過する細胞を撮像して解析対象画像を生成し、
生成した前記解析対象画像から解析用データを生成し、
生成した前記解析用データを前記人工知能アルゴリズムに入力し、
前記人工知能アルゴリズムによって、前記解析対象画像に含まれる細胞の性状を示すデータを生成する、
前記細胞解析方法。
【請求項2】
前記細胞の性状を示すデータは、染色体異常を有する細胞であるか否かを示すデータ、又は末梢循環腫瘍細胞であるか否かを示すデータである、請求項1に記載の細胞解析方法。
【請求項3】
前記標的部位は、核、細胞質、及び細胞表面から選択される少なくとも1つに存在する、請求項1又は2に記載の細胞解析方法。
【請求項4】
前記標的部位は、in situ hybridization法、免疫染色法又は細胞内小器官染色により標識されている、請求項1から3のいずれか一項に記載の細胞解析方法。
【請求項5】
前記標識は、蛍光色素による標識である、請求項からのいずれか一項に記載の細胞解析方法。
【請求項6】
前記解析対象画像は、1つの細胞を複数回撮像して得られた複数の画像を含み、前記解析用データは、各画像からそれぞれ生成される、請求項1からのいずれか一項に記載の細胞解析方法。
【請求項7】
前記複数の画像は、同じ視野の異なる光の波長領域を撮像した画像である、請求項に記載の細胞解析方法。
【請求項8】
前記複数の画像が、核に存在する第1の蛍光標識を撮像した第1の蛍光画像と、核に存在する第2の蛍光標識を撮像した第2の蛍光画像を含む、請求項に記載の細胞解析方法。
【請求項9】
前記複数の画像が、前記細胞の明視野画像と、前記細胞の蛍光標識を撮像した蛍光画像を含む、請求項に記載の細胞解析方法。
【請求項10】
前記解析対象画像を生成することは、細胞を撮像して得られた画像から細胞領域を抽出するトリミング処理を含む、請求項1からのいずれか一項に記載の細胞解析方法。
【請求項11】
前記人工知能アルゴリズムが、ニューラルネットワーク構造を有する深層学習アルゴリズムである、請求項1から10のいずれか一項に記載の細胞解析方法。
【請求項12】
前記解析用データが、前記解析対象画像の各画素の明るさを示すデータである、請求項11に記載の細胞解析方法。
【請求項13】
前記解析用データが、前記解析対象画像における特徴量を示すデータである、請求項1から11のいずれか一項に記載の細胞解析方法。
【請求項14】
前記特徴量が、前記解析対象画像における前記細胞の面積を含む、請求項13に記載の細胞解析方法。
【請求項15】
人工知能アルゴリズムを用いて、細胞を解析する細胞解析装置であって、
標的部位が標識されている細胞を含む試料を流路に流し、前記流路内を通過する細胞を撮像した解析対象画像から生成した解析用データを前記人工知能アルゴリズムに入力し、
前記人工知能アルゴリズムによって、前記解析対象画像に含まれる細胞の性状を示すデータを生成する、ように構成された、
制御部を備える、前記細胞解析装置。
【請求項16】
細胞を含む試料が流れるフローセルと、
前記フローセルを流れる試料に光を照射するための光源と、
前記光が照射された前記試料中の細胞を撮像する撮像部と、
制御部と、
を備えた、細胞解析システムであって
前記制御部は、
前記撮像部が撮像した流路内を通過する細胞の画像を解析対象画像として取得し、前記細胞は標的部位が標識されており、
前記解析対象画像から解析用データを生成し、
前記解析用データを人工知能アルゴリズムに入力し、
前記人工知能アルゴリズムによって、前記解析対象画像に含まれる細胞の性状を示すデータを生成する、ように構成された、
前記細胞解析システム。
【請求項17】
コンピュータに、
標的部位が標識されている細胞を含む試料を流路に流し、前記流路内を通過する細胞を撮像した解析対象画像から生成した解析用データを人工知能アルゴリズムに入力するステップと、
前記人工知能アルゴリズムによって、前記解析対象画像に含まれる細胞の性状を示すデータを生成するステップと、
を、含む処理を実行させる、細胞を解析する細胞解析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、細胞を解析する細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム、並びに細胞を解析するための訓練された人工知能アルゴリズムの生成方法、生成装置、及び生成プログラムに関する。
【背景技術】
【0002】
特許文献1には、フィルタ処理をした顕微鏡画像を、訓練された機械学習モデルに適用し、特定のタイプの細胞の中心及び境界を決定し、決定された細胞を計数すると共に、その細胞の画像を出力する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第2015/065697号
【発明の概要】
【発明が解決しようとする課題】
【0004】
腫瘍を有する可能性のある患者の検査では、腫瘍の有無、抗がん療法の効果、再発の有無等を判定するため、複数種の細胞を含む検体中に、どのくらいの割合で染色体異常を有する細胞や末梢循環腫瘍細胞などの異常細胞が存在しているか把握する必要がある。
【0005】
検体に含まれる異常細胞は、本来その検体中に存在すべき正常細胞の数と比較すると非常に少ない場合もある。このため検体に含まれる異常細胞を検出するためには、より多くの細胞を解析する必要がある。しかし、特許文献1に記載の方法は、顕微鏡画像を用いているため、判定する細胞の数を増やすと、顕微鏡画像の取得に要する時間が増大してしまう。
【0006】
本発明は、検体に含まれるより多くの細胞について、高い精度かつ高速での解析を容易にする、細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム、並びに訓練された人工知能アルゴリズムの生成方法、生成装置、及び生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態は、人工知能アルゴリズム(60,63,97)を用いて、細胞を解析する細胞解析方法に関する。前記細胞解析方法は、細胞を含む試料(10)を流路(111)に流し、流路(111)内を通過する細胞を撮像して解析対象画像(80,85,95)を生成し、生成した前記解析対象画像(80,85,95)から解析用データ(82,87,96)を生成し、生成した前記解析用データを前記人工知能アルゴリズム(60,63,97)に入力し、前記人工知能アルゴリズムによって、前記解析対象画像(80,85,95)に含まれる細胞の性状を示すデータ(84,88,98)を生成する。
【0008】
本発明の一実施形態は、人工知能アルゴリズム(60,63,97)を用いて、細胞を解析する細胞解析装置(400A,200B,200C)に関する。細胞解析装置(400A,200B,200C)は、細胞を含む試料(10)を流路(111)に流し、前記流路(111)内を通過する細胞を撮像した解析対象画像(80,85,95)から生成した解析用データ(82,87,96)を前記人工知能アルゴリズム(60,63,97)に入力し、前記人工知能アルゴリズム(60,63,97)によって、前記解析対象画像(80,85,95)に含まれる細胞の性状を示すデータ(84,88,98)を生成する、ように構成された、制御部(40A,20B,20C)を備える。
【0009】
本発明の一実施形態は、細胞解析システム(1000,2000,3000)に関する。細胞解析システム(1000,2000,3000)細胞を含む試料(10)が流れるフローセル(110)と、フローセル(110)を流れる試料(10)に光を照射するための光源(120,121,122,123)と、前記光が照射された試料(10)中の細胞を撮像する撮像部(160)と、制御部(40A,20B,20C)と、を備える。制御部(40A,20B,20C)は、撮像部(160)が撮像した流路(111)内を通過する細胞の画像を解析対象画像(80,85,95)として取得し、解析対象画像(80,85,95)から解析用データ(82,87,96)を生成し、解析用データ(82,87,96)を人工知能アルゴリズム(60,63,97)に入力し、前記人工知能アルゴリズム(60,63,97)によって、前記解析対象画像(80,85,95)に含まれる細胞の性状を示すデータ(84,88,98)を生成するように構成される。
【0010】
本発明の一実施形態は、細胞を解析する細胞解析プログラムに関する。前記細胞解析プログラムは、コンピュータに、細胞を含む試料(10)を流路(111)に流し、前記流路(111)内を通過する細胞を撮像した解析対象画像(80,85,95)から生成した解析用データ(82,87,96)を人工知能アルゴリズム(60,63,97)に入力するステップ(S22)と、人工知能アルゴリズム(60,63,97)によって、解析対象画像(80,85,95)に含まれる細胞の性状を示すデータ(84,88,98)を生成するステップ(S32)と、を含む処理を実行させる。
【0011】
細胞解析装置(400A,200B,200C)、細胞解析システム(1000,2000,3000)、及び細胞解析プログラムは、検体に含まれるより多くの細胞について、高い精度かつ高速での解析を容易にする。
【0012】
本発明の一実施形態は、細胞を解析するための訓練された人工知能アルゴリズム(60,63,97)の生成方法に関する。前記生成方法は、細胞を含む試料(10)を流路(111)に流し、前記流路(111)内を通過する細胞を撮像した訓練画像(70,75,90)から生成した訓練用データ(73,78,92)と、訓練画像(70,75,90)に含まれる細胞の性状を示すラベル(74P,74N,79P、79N,93P,93N)とを人工知能アルゴリズム(50,53,94)に入力し、人工知能アルゴリズム(50,53,94)を訓練することを含む。
【0013】
本発明の一実施形態は、細胞を解析するための訓練された人工知能アルゴリズム(60,63,97)の生成装置(200A,200B,200C)に関する。生成装置(200A,200B,200C)は、細胞を含む試料(10)を流路(111)に流し、流路(111)内を通過する細胞を撮像した訓練画像(70,75,90)から生成した訓練用データ(73,78,92)と、前記訓練画像(70,75,90)に含まれる細胞の性状を示すラベル(74P,74N,79P、79N,93P,93N)と、を人工知能アルゴリズム(50,53,94)に入力し、人工知能アルゴリズム(50,53,94)を訓練する、制御部(20A,20B,20C)を備える。
【0014】
本発明の一実施形態は、細胞を解析するための訓練された人工知能アルゴリズム(60,63,97)の生成プログラムに関する。前記生成プログラムは、コンピュータに、細胞を含む試料(10)を流路(111)に流し、前記流路(111)内を通過する細胞を撮像した訓練画像(70,75,90)から生成された訓練用データ(73,78,92)と、訓練画像(70,75,90)に含まれる細胞の性状を示すラベル(74P,74N,79P、79N,93P,93N)と、を人工知能アルゴリズム(50,53,94)に入力するステップ(S12)と、人工知能アルゴリズム(50,53,94)を訓練するステップ(S12)と、を備える処理を実行させる。
【0015】
訓練された人工知能アルゴリズム(60,63,97)の生成方法、生成装置(200A,200B,200C)、及び生成プログラムによれば、検体に含まれるより多くの細胞について、高い精度かつ高速での解析を容易にする人工知能アルゴリズム(60,63,97)を生成することができる。
【発明の効果】
【0016】
検体に含まれるより多くの細胞について、高い精度かつ高速での解析を容易にすることができる。
【図面の簡単な説明】
【0017】
図1】染色体異常を解析するための第1の人工知能アルゴリズム50を訓練する訓練データの生成方法を示す。(A)は、陽性訓練データの生成方法を示す。(B)は、陰性訓練データの生成方法を示す。
図2】染色体異常を解析するための第1の人工知能アルゴリズム50を訓練する訓練データの生成方法を示す。
図3】染色体異常を解析するため解析データの生成方法と、訓練された第1の人工知能アルゴリズム60による細胞の解析方法を示す。
図4】イメージングフローサイトメータによるPML-RARAキメラ遺伝子陽性細胞の染色パターンを示す。(A)の左は、チャンネル2の画像を、右は、チャンネル2の画像を示す。(B)は、(A)とは異なる細胞であり、左は、チャンネル2の画像を、右は、チャンネル2の画像を示す。
図5】蛍光標識のパターン例を示す。
図6】蛍光標識のパターン例を示す。
図7】蛍光標識のパターン例を示す。
図8】末梢循環腫瘍細胞を解析するための第1の人工知能アルゴリズム53を訓練する訓練データの生成方法を示す。
図9】末梢循環腫瘍細胞を解析するための第1の人工知能アルゴリズム53を訓練する訓練データの生成方法を示す。(A)は、陽性訓練データの生成方法を示す。(B)は、陰性訓練データの生成方法を示す。
図10】末梢循環腫瘍細胞を解析するための第1の人工知能アルゴリズム53を訓練する訓練データの生成方法を示す。
図11】末梢循環腫瘍細胞を解析するため解析データの生成方法と、訓練された第1の人工知能アルゴリズム63による細胞の解析方法を示す。
図12】(A)は、末梢循環腫瘍細胞を解析するための第2の人工知能アルゴリズム94を訓練する訓練データの生成方法を示す。(B)は、解析データの生成方法と、第2の人工知能アルゴリズム97による細胞の解析方法を示す。
図13】第2の人工知能アルゴリズム94を訓練するための特徴量を示す。
図14】第2の人工知能アルゴリズム94を訓練するための特徴量の定義を示す。(A)HeghtとWidthを示す。(B)Major AxisとMinor Axisを示す。(C)Length、Thickness Max、Thickness minを示す。(D)Aspect Ratio、Elongatedness、Shape Ratioを示す。(E)Lobe Symmetryパターンを示す。
図15】細胞解析システム1000のハードウエア構成を示す。
図16】訓練装置200A、200B、200Cのハードウエア構成を示す。
図17】訓練装置200Aの機能ブロックを示す。
図18】(A)第1の人工知能アルゴリズムの訓練処理のフローチャートを示す。(B)第2の人工知能アルゴリズムの訓練処理のフローチャートを示す。
図19】細胞撮像装置100Aと細胞解析装置400Aのハードウエア構成を示す。
図20】細胞解析装置400Aの機能ブロックを示す。
図21】細胞解析処理のフローチャートを示す。
図22】細胞解析システム2000のハードウエア構成を示す。
図23】訓練/解析装置200Bの機能ブロックを示す。
図24】細胞解析システム3000のハードウエア構成を示す。
図25】訓練200Cの機能ブロックを示す。
図26】(A)末梢循環腫瘍細胞を解析する人工知能アルゴリズム(CNN)を検討するためのデータセットを示す。(B)訓練された人工知能アルゴリズムの正答率を示す。(C)正解画像の例を示す。
図27】末梢循環腫瘍細胞を解析する人工知能アルゴリズム(ランダムフォレスト、勾配ブースティング)を検討するためのデータセットを示す。
図28】(A)染色体異常を解析するCNNの損失関数を示す。(B)染色体異常を解析するCNNの正答率を示す。
図29】(A)は検体番号04-785の推論結果を示す。(B)は検体番号03-352の推論結果を示す。(C)は検体番号11-563の推論結果を示す。
【発明を実施するための形態】
【0018】
以下、本発明の概要及び実施の形態を、添付の図面を参照して詳細に説明する。なお、以下の説明及び図面において、同じ符号は同じ又は類似の構成要素を示すこととし、よって、同じ又は類似の構成要素に関する説明を省略する場合がある。
【0019】
I.細胞の解析方法
1.細胞解析方法の概要
本実施形態は、人工知能アルゴリズムを用いて細胞を解析する細胞解析方法に関する。細胞解析方法において、解析対象となる細胞を撮像した解析対象画像は、細胞を含む試料を流路に流し、前記流路内を通過する細胞を撮像して取得される。人工知能アルゴリズムに入力するための解析用データは、取得した前記解析対象画像から生成される。解析用データを人工知能アルゴリズムに入力すると、人工知能アルゴリズムによって、解析対象画像に含まれる細胞の性状を示すデータが生成される。解析対象画像は、流路内を通過する細胞を個々に撮像したものであることが好ましい。
【0020】
本実施形態において、試料は、被検者から採取された検体から調製された試料を挙げることができる。検体は、例えば、末梢血、静脈血、動脈血等の血液検体、尿検体、血液及び尿以外の体液検体を含み得る。血液及び尿以外の体液として、骨髄、腹水、胸水、髄液等を含みうる。血液及び尿以外の体液を単に「体液」という場合がある。血液は、好ましくは末梢血である。例えば、血液は、エチレンジアミン四酢酸塩ナトリウム塩又はカリウム塩)、ヘパリンナトリウム等の抗凝固剤を使用して採血された末梢血を挙げることができる。
【0021】
検体からの試料の調製は、公知の方法にしたがって行うことができる。例えば、検査者が、被検者から採取した血液検体に対してフィコール等の細胞分離用媒体を用いて遠心分離等を行って有核細胞を回収する。有核細胞の回収にあたっては、遠心分離による有核細胞の回収に代えて溶血剤を用いて赤血球等を溶血させることにより有核細胞を残してもよい。回収された有核細胞の標的部位に、後述するFluorescence In Situ Hybridization(FISH)法、免疫染色法、及び細胞内小器官染色法等から選択される少なくとも1つによって標識、好ましくは蛍光標識を行い、標識された細胞の浮遊液を試料として、例えばイメージングフローサイトメータに供し、解析対象となり得る細胞の撮像を行う。
【0022】
試料には、複数の細胞が含まれ得る。試料に含まれる細胞数は、特に制限されないが、少なくとも10個以上、好ましくは10個以上、より好ましくは10個以上、さらに好ましくは10個以上、さらにより好ましくは10個以上である。また、複数の細胞は、異なる種類の細胞を含み得る。
【0023】
本実施形態において、解析対象となり得る細胞を解析対象細胞とも呼ぶ。解析対象細胞は、被検者から採取された検体中に含まれる細胞であり得る。好ましくは、前記細胞は、有核細胞であり得る。細胞には、正常細胞と異常細胞とが含まれ得る。
【0024】
正常細胞は、検体を採取した体の部位に応じて本来前記検体に含まれるべき細胞を意図する。異常細胞は、正常細胞以外の細胞を意図する。異常細胞には、染色体異常を有する細胞、及び/又は腫瘍細胞が含まれ得る。ここで、前記腫瘍細胞は、好ましくは末梢循環腫瘍細胞である。より好ましくは、末梢循環腫瘍細胞は、通常の病態において血液中に腫瘍細胞が存在する造血系腫瘍細胞を意図せず、造血系細胞系統以外の細胞系列を起源とする腫瘍細胞が、血液中を循環していることを意図する。本明細書において、末梢を循環している腫瘍細胞をcirculating tumor cells(CTC)とも呼ぶ。
【0025】
染色体異常を検出する場合の標的部位は解析対象細胞の核である。染色体異常として、例えは、染色体の転座、欠失、逆位、重複等を挙げることができる。このような染色体異常を有する細胞として、例えば、骨髄異形成症候群、急性骨髄芽球性白血病、急性骨髄芽球性白血病、急性前骨髄球性白血病、急性骨髄単球性白血病、急性単球性白血病、赤白血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性白血病、慢性骨髄性白血病、又は慢性リンパ球性白血病等の白血病、ホジキンリンパ腫、非ホジキンリンパ腫等の悪性リンパ腫、及び多発性骨髄腫よりなる群から選択される疾患に罹患した際に出現する細胞を挙げることができる。
【0026】
染色体異常は、FISH法等の公知の方法により検出することができる。一般に、染色体異常を検出するための検査項目は、検出したい異常細胞の種類に応じて設定されている。検体についてどのような検査項目を行うかに応じて、解析対象となる遺伝子、又は遺伝子座が解析項目として設定されている。FISH法による染色体異常の検出では、解析対象となる細胞の核内に存在する遺伝子、又は遺伝子座に対して特異的に結合するプローブをハイブリダイズさせることにより、染色体の位置の異常、又は数の異常を検出することができる。プローブは、標識物質で標識されている。標識物質は、蛍光色素であることが好ましい。標識物質は、プローブに応じて異なっており、標識物質が蛍光色素である場合には、異なる蛍光の波長領域を有する蛍光色素を組み合わせて、1つの細胞に対して、複数の遺伝子、又は遺伝子座を検出することが可能である。
【0027】
異常細胞は、所定の疾患に罹患した際に出現する細胞であり、例えば、癌細胞、白血病細胞等の腫瘍細胞等を含み得る。造血系器官の場合、所定の疾患は、骨髄異形成症候群、急性骨髄芽球性白血病、急性骨髄芽球性白血病、急性前骨髄球性白血病、急性骨髄単球性白血病、急性単球性白血病、赤白血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性白血病、慢性骨髄性白血病、又は慢性リンパ球性白血病等の白血病、ホジキンリンパ腫、非ホジキンリンパ腫等の悪性リンパ腫、及び多発性骨髄腫よりなる群から選択される疾患であり得る。また、造血系器官以外の器官の場合、所定の疾患は、上咽頭、食道、胃、十二指腸、空腸、回腸、盲腸、虫垂、上行結腸、横行結腸、下行結腸、S状結腸、直腸又は肛門部等から発生する消化管系悪性腫瘍;肝臓癌;胆嚢癌胆管癌;膵臓癌;膵管癌;膀胱、尿管又は腎臓から発生する泌尿器系悪性腫瘍;卵巣、卵管及び子宮等のから発生する女性生殖器系悪性腫瘍;乳癌;前立腺癌;皮膚癌;視床下部、下垂体、甲状腺、副甲状腺、副腎、膵臓等の内分泌系悪性腫瘍;中枢神経系悪性腫瘍;骨軟部組織から発生する悪性腫瘍等の固形腫瘍であり得る。
【0028】
異常細胞の検出は、明視野画像、種々の抗原に対する免疫染色画像、及び細胞内小器官を特異的に染色する細胞内小器官染色画像から選択される少なくとも1つを用いて行うことができる。
【0029】
明視野画像は、細胞に光を照射し、細胞からの透過光又は反射光を撮像することにより取得することができる。好ましくは、明視野画像は、透過光を使用し細胞の位相差を撮像した画像であることが好ましい。
【0030】
免疫染色画像は、核、細胞質、及び細胞表面から選択される少なくとも1つの細胞内又は細胞上の標的部位に存在する抗原に結合可能な抗体を使って標識物質を標識することによって免疫染色を施した細胞を撮像することにより取得することができる。標識物質は、FISH法と同様に蛍光色素を使用することが好ましい。標識物質は、抗原に応じて異なっており、標識物質が蛍光色素である場合には、異なる蛍光の波長領域を有する蛍光色素を組み合わせて、1つの細胞に対して、複数の抗原を検出することが可能である。
【0031】
細胞内小器官染色画像は、核、細胞質、及び細胞膜から選択される少なくとも1つの細胞内又は細胞膜の標的部位に存在するタンパク質、糖鎖、脂質又は核酸等に選択的に結合可能な色素を用いて染色を施した細胞を撮像することにより取得することができる。例えば、核に特異的な染色色素として、Hoechst(商標)33342、Hoechst(商標)33258、4’,6-diamidino-2-phenylindole(DAPI)、Propidium Iodide(PI)、ReadyProbes(商標)核染色試薬等のDNA結合色素、CellLight(商標)試薬等のヒストンタンパク質結合試薬等を挙げることができる。核小体、及びRNAに特異的な染色試薬として、RNAと特異的に結合するSYTO(登録商標)RNASelect(商標)等を挙げることができる。細胞骨格に特異的な染色試薬として、例えば蛍光標識ファロイジン等を挙げることができる。その他の細胞内小器官である、ライソソーム、小胞体、ゴルジ体、ミトコンドリア等を染色する色素として、例えは、アブカム社(Abcam plc,Cambridge,UK)のCytoPainterシリーズを使用することができる。これらの染色色素、又は染色試薬は、蛍光色素であるか、蛍光色素を含む試薬であり、細胞内小器官や、1つの細胞に対して共に施される別の染色に用いる蛍光色素の蛍光の波長領域に応じて、異なる蛍光の波長領域を選択することができる。
【0032】
異常細胞を検出する場合、どのような異常細胞を検出するかに応じて検査項目が設定されている。検査項目には、異常細胞を検出するために必要な解析項目が含まれ得る。解析項目は、上述した明視野画像、各抗原、各細胞内小器官に対応して設定され得る。明視野を除く各解析項目には、それぞれ異なる蛍光の波長領域を有する蛍光色素が対応しており、1つの細胞において異なる解析項目を検出可能である。
【0033】
人工知能アルゴリズムに入力するための解析用データは、後述する方法により取得される。人工知能アルゴリズムによって生成される、解析対象画像に含まれる細胞の性状を示すデータは、例えば、解析対象細胞が、正常であるか異常であるかを示すデータである。より具体的には、解析対象画像に含まれる細胞の性状を示すデータは、解析対象細胞が、染色体異常を有する細胞であるか否か、あるいは末梢循環腫瘍細胞であるか否かを示すデータである。
【0034】
本明細書において、記載の便宜上「解析対象画像」を「解析画像」と、「解析用データ」を「解析データ」と、「訓練用画像」を「訓練画像」と、「訓練用データ」を「訓練データ」と称する場合がある。また、「蛍光画像」は、蛍光標識を撮像した訓練画像又は蛍光標識を撮像した解析画像を意図する。
【0035】
2.第1の人工知能アルゴリズムを使った細胞解析方法
第1の人工知能アルゴリズム50,53の訓練方法と訓練された第1の人工知能アルゴリズム60,63を使った細胞の解析方法について図1から図11を用いて説明する。第1の人工知能アルゴリズム60,63は、ニューラルネットワーク構造を有する深層学習アルゴリズムであり得る。前記ニューラルネットワーク構造は、フルコネクトのディープニューラルネットワーク(FC-DNN)、畳み込みニューラルネットワーク(CNN)、自己回帰ニューラルネットワーク(RNN)、及びこれらの組み合わせから選択することができる。好ましくは、畳み込みニューラルネットワークである。
【0036】
人工知能アルゴリズムは、例えば、Python社から提供されるものを使用することができる。
【0037】
2-1.染色体異常を検出するための人工知能アルゴリズム
本実施形態は、染色体異常を検出するための第1の人工知能アルゴリズム60の訓練方法と、染色体異常を検出するための第1の人工知能アルゴリズム60を用いた細胞の解析方法に関する。ここで「訓練」又は「訓練する」という用語は、「生成」又は「生成する」という用語に置き換えて使用される場合がある。
【0038】
(1)訓練データの生成
図1及び図2を用いて染色体異常を検出するための第1の人工知能アルゴリズム50の訓練方法について説明する。図1には、15番染色体長腕(15q24.1)に座位する転写制御因子であるPML遺伝子と17番染色体長腕(17q21.2)に座位するレチノイン酸レセプターα(RARA)遺伝子が相互転座して形成されるPML-RARAキメラ遺伝子のFISH染色の画像を用いた例を示す。
【0039】
図1に示すように、染色体異常が陽性である細胞(以下、「第1の陽性コントロール細胞」と呼ぶ)を撮像した陽性訓練画像70Pと、染色体異常が陰性である細胞(以下、「第1の陰性コントロール細胞」と呼ぶ)を撮像した陰性訓練画像70Nから、それぞれ陽性訓練データ73Pと、陰性訓練データ73Nを生成する。陽性訓練画像70Pと陰性訓練画像70Nを併せて、訓練画像70と呼ぶ場合がある。また、陽性訓練データ73Pと、陰性訓練データ73Nとを併せて訓練データ73と呼ぶことがある。
【0040】
ここでは、PML-RARAキメラ遺伝子を検出する場合を例示する。PML遺伝子座を検出するプローブには、緑色の波長領域の蛍光を発する第1の蛍光色素を結合させ、RARA遺伝子座を検出するプローブには、第1の蛍光色素とは異なる赤色の波長領域の蛍光を発する第2の蛍光色素を結合させた例を示す。第1の蛍光色素を結合したプローブと、第2の蛍光色素を結合したプローブを使って、FISH法により第1の陽性コントロール細胞と、第1の陰性コントロール細胞のそれぞれの核に第1の蛍光色素と第2の蛍光色素の標識を施すことができる。標的部位における第1の蛍光色素による標識を第1の蛍光標識と呼び、標的部位における第2の蛍光色素による標識を第2の蛍光標識と呼ぶことがある。
【0041】
第1の蛍光標識と、第2の蛍光標識を有する細胞を含む試料をイメージングフローサイトメータ等の細胞撮像装置における解析に供し、細胞の画像を撮像することができる。細胞の撮像画像は、同じ細胞の同じ視野について複数の画像を含み得る。第1の蛍光標識と、第2の蛍光標識は、それぞれの蛍光色素が有する蛍光の波長領域が異なるため、第1の蛍光色素から発せられる光を透過するための第1のフィルタと、第2の蛍光色素から発せられる光を透過するための第2のフィルタとは異なっている。このため、第1のフィルタを透過した光と第2のフィルタを透過した光は、それぞれに対応する第1のチャンネル及び第2のチャンネルを介して後述する撮像部160に取り込まれ、同一細胞の同一視野の別画像として撮像される。すなわち、撮像部160において、同一細胞の同一視野について、細胞を標識した標識物質の数に応じた画像が複数取得される。
【0042】
したがって、図1の例では、図1(A)に示すように、陽性訓練画像70Pには、第1の陽性コントロール細胞について、第1のチャンネルを介して緑色の第1の蛍光標識を撮像した第1の陽性訓練画像70PAと、第2のチャンネルを介して赤色の第2の蛍光標識を撮像した第2の陽性訓練画像70PBとが含まれ得る。第1の陽性訓練画像70PAと第2の陽性訓練画像70PBとは、同一細胞の同一視野の画像として対応付けられている。第1の陽性訓練画像70PAと第2の陽性訓練画像70PBは、次に画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の陽性数値訓練データ71PAと第2の陽性数値訓練データ71PBに変換される。
【0043】
第1の陽性訓練画像70PAを用いて、第1の陽性数値訓練データ71PAの生成方法について説明する。撮像部160において撮像された各画像を、細胞領域を抽出するために、例えば、所定数の画素数、例えば縦100ピクセル×横100ピクセルの画素数にトリミング処理し訓練画像70を生成する。このとき、1つの細胞について各チャンネルから取得した画像が同じ視野となるようにトリミング処理する。トリミング処理は、細胞の重心を決定し、重心を中心とした所定数の画素数の範囲で細胞領域を切り出すことを例示できる。フローセルを流れる細胞を撮像した画像は、画像における細胞の位置が画像間で異なる場合があるが、トリミングをすることにより、より精度の高い訓練が可能となる。第1の陽性訓練画像70PAは、例えば16ビットのグレースケール画像として表される。したがって、各画素においてその画素の明るさが、1から65,536までの65,536階調の明るさの数値で示され得る。図1(A)に示すように、第1の陽性訓練画像70PAの各画素における明るさの階調を示す値が第1の陽性数値訓練データ71PAであり、各画素に対応した数字の行列で表される。
【0044】
第1の陽性数値訓練データ71PAと同様に、第2の陽性訓練画像70PBから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の陽性数値訓練データ71PBを生成することができる。
【0045】
次に、第1の陽性数値訓練データ71PAと第2の陽性数値訓練データ71PBとを、画素ごとに統合し、陽性統合訓練データ72Pを生成する。図1(A)に示すように、陽性統合訓練データ72Pは、第1の陽性数値訓練データ71PAの各画素における数値が、第2の陽性数値訓練データ71PBの対応する各画素における値と並べて示された行列データとなっている。
【0046】
次に陽性統合訓練データ72Pに、この陽性統合訓練データ72Pが第1の陽性コントロール細胞に由来することを示すラベル値74Pを付し、ラベル付き陽性統合訓練データ73Pを生成する。第1の陽性コントロール細胞であることを示すラベルとして、図1(A)では「2」を付している。
【0047】
陰性訓練画像70Nからも、ラベル付き陽性統合訓練データ73Pを生成する場合と同様にしてラベル付き陰性統合訓練データ73Nを生成する。
【0048】
図1(B)に示すように、陰性訓練画像70Nは、第1の陰性コントロール細胞について、第1のチャンネルを介して緑色の第1の蛍光標識を撮像した第1の陰性訓練画像70NAと、第2のチャンネルを介して赤色の第2の蛍光標識を撮像した第2の陰性訓練画像70NBとを含む。撮像及びトリミング、各画素における光の明るさの数値化は、第1の陽性訓練画像70PAから第1の陽性数値訓練データ71PAを取得する場合と同様である。第1の陽性数値訓練データ71PAと同じ手法により、第1の陰性訓練画像70NAから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の陰性数値訓練データ71NAを生成することができる。
【0049】
同様に、第2の陰性訓練画像70NBから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の陰性数値訓練データ71NBを生成することができる。
【0050】
図1(B)に示すように、陽性統合訓練データ72Pを生成した方法にしたがって、第1の陰性数値訓練データ71NAと第2の陰性数値訓練データ71NBとを、画素ごとに統合し、陰性統合訓練データ72Nを生成する。図1(B)に示すように、陰性統合訓練データ72Nは、第1の陰性数値訓練データ71NAの各画素における数値が、第2の陰性数値訓練データ71NBの対応する各画素における値と並べて示された行列データとなっている。
【0051】
次に陰性統合訓練データ72Nに、この陰性統合訓練データ72Nが第1の陰性コントロール細胞に由来することを示すラベル値74Nを付し、ラベル付き陰性統合訓練データ73Nを生成する。第1の陰性コントロール細胞であることを示すラベルとして、図1(B)では「1」を付している。
【0052】
図2には、第1の人工知能アルゴリズム50に生成したラベル付き陽性統合訓練データ73Pと、ラベル付き陰性統合訓練データ73Nを入力する方法を示す。ニューラルネットワーク構造を有する第1の人工知能アルゴリズム50における入力層50aのノード数は、訓練画像70のピクセル数(上記例では100×100=10,000)と1つの細胞に対するチャンネル数(上記例では、緑色チャンネルと赤色チャンネルの2チャンネル)の積に対応している。ニューラルネットワークの入力層50aには、ラベル付き陽性統合訓練データ73Pの陽性統合訓練データ72Pに相当するデータを入力する。ニューラルネットワークの出力層50bには、入力層50aに入力されたデータに対応するラベル値74Pを入力する。また、ニューラルネットワークの入力層50aには、ラベル付き陰性統合訓練データ73Nの陰性統合訓練データ72Nに対応するデータを入力する。ニューラルネットワークの出力層50bには、入力層50aに入力されたデータに対応するラベル値74Nを入力する。これらの入力により、ニューラルネットワークの中間層50cにおける各重みを計算し、第1の人工知能アルゴリズム50を訓練し、訓練された第1の人工知能アルゴリズム60を生成する。
【0053】
(2)解析用データの生成と細胞解析
図3を用いて、フローセル110を流れる細胞を撮像し、生成した解析画像80から、統合解析データ82を生成し、訓練された第1の人工知能アルゴリズム60を使用する細胞解析方法について説明する。解析画像80は、訓練画像70を撮像した方法と同様に撮像され得る。
【0054】
図3に示すように、フローセル110を流れる細胞を撮像部160で撮像し、解析画像80を生成する。フローセル110を流れる細胞を撮像することにより、短時間で多数の解析画像80を生成することができ、多数の細胞について短時間での解析が可能となる。検体に含まれる異常細胞は、本来その検体中に存在すべき正常細胞の数と比較すると非常に少ない場合があるが、多数の細胞について短時間での解析が可能な本解析方法によれば、異常細胞の見落としを抑制することができる。解析画像80は、解析対象細胞について、第1のチャンネルを介して緑色の第1の蛍光標識を撮像した第1の解析画像80Aと、第2のチャンネルを介して赤色の第2の蛍光標識を撮像した第2の解析画像80Bとを含む。撮像及びトリミング、各画素における光の明るさの数値化は、第1の陽性蛍光標識画像70PAから第1の陽性数値訓練データ71PAを取得する場合と同様である。上述したとおり、フローセルを流れる細胞を撮像した画像は、画像における細胞の位置が画像間で異なる場合があるが、トリミングをすることにより、より精度の高い解析が可能となる。第1の陽性数値訓練データ71PAと同じ手法により、第1の解析画像80Aから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の数値解析データ81Aを生成することができる。
【0055】
同様に、第2の解析画像80Bから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の数値解析データ81Bを生成することができる。
【0056】
図3に示すように、陽性統合訓練データ72Pを生成した方法にしたがって、第1の数値解析データ81Aと第2の数値解析データ81Bとを、画素ごとに統合し統合解析データ82を生成する。図3に示すように、統合解析データ82は、第1の数値解析データ81Aの各画素における数値が、第2の数値解析データ81Bの対応する各画素における値と並べて示された行列データとなっている。
【0057】
図3に示すように、生成された統合解析データ82を訓練された第1の人工知能アルゴリズム60内のニューラルネットワークの入力層60aに入力する。入力された統合解析データ82に含まれる値は、ニューラルネットワークの中間層60cを経て、ニューラルネットワークの出力層60bから、解析対象細胞が染色体異常を有するかいなかを示すラベル値84を出力する。図3に示す例では、解析対象細胞が、染色体異常を有さないと判定した場合には、ラベル値として「1」を出力し、染色体異常を有すると判定した場合には、ラベル値として「2」を出力する。ラベル値に替えて、「無」、「有」や「正常」、「異常」等のラベルを出力してもよい。
【0058】
(3)その他の構成
i.本実施形態において、イメージングフローサイトメータでは、細胞を撮像する際に被写界の深度を拡大するためのExtended Depth of Field(EDF)フィルタを使用し、撮像後の画像の焦点深度に復元処理を行い検査者に細胞画像を提供する場合がある。しかし、本実施形態で使用される訓練画像70及び解析画像80は、EDFフィルタを使用して撮像した画像に対し、復元処理を行っていない画像であることが好ましい。復元処理を行っていない画像の例を図4に示す。図4は、PML-RARAキメラ遺伝子が陽性である細胞を示す。(A)と(B)は異なる細胞の画像である。図4(A)及び図4(B)の左側の画像は第1の蛍光標識を撮像した画像を示す。図4(A)及び図4(B)の右側の画像は、左側の細胞と同一細胞であって、左側の画像と同一視野において第2の蛍光標識を撮像した画像を示す。
【0059】
ii.訓練画像70及び解析画像80からは、撮像の際、焦点の合っていない画像は除かれ得る。画像の焦点が合っているか否かは、各画素について、隣接する画素との明るさの差分を求めた時に、画像全体において差分の勾配が極端に変わる部分が含まれていない場合、その画像は焦点が合っていないと判定することができる。
【0060】
iii.本実施形態で使用される訓練画像70及び解析画像80は、例示的に画素数を縦100ピクセル×横100ピクセルとなるようにトリミングしているが、画像の大きさはこれに限定されない。画素数は、縦50から500ピクセル、横50から500ピクセルの間で適宜設定することができる。画像の縦方向の画素数と、横方向の画素数は、必ずしも同じである必要はない。しかし、第1の人工知能アルゴリズム50を訓練するための訓練画像70と、前記訓練画像70を用いて訓練された第1の人工知能アルゴリズム60に入力する統合解析データ82を生成するための解析画像80は、同じ画素数であって、縦方向と横方向の画素数も同じであることが好ましい。
【0061】
iv.本実施形態では、訓練画像70及び解析画像80は、16ビットのグレースケール画像を使用している。しかし、明るさの階調は16ビットの他、8ビット、32ビット等であってもよい。また、本実施形態では、各数値訓練データ71PA,71PB,71NA,71NBについて、16ビット(65,536階調)で表された明るさの数値をそのまま使用しているが、これらの数値を、一定幅の階調でまとめる低次元化処理を行い、低次元化後の数値を各数値訓練データ71PA,71PB,71NA,71NBとして使用してもよい。この場合、訓練画像70及び解析画像80に対して同じ処理を行うことが好ましい。
【0062】
v.本実施形態において検出できる染色体異常は、PML-RARAキメラ遺伝子に限定されない。例えば、BCR/ABL融合遺伝子、AML1/ETO(MTG8)融合遺伝子(t(8;21))、PML/RARα融合遺伝子(t(15;17))、AML1(21q22)転座、MLL(11q23)転座、TEL(12p13)転座、TEL/AML1融合遺伝子(t(12;21))、IgH(14q32)転座、CCND1(BCL1)/IgH融合遺伝子(t(11;14))、BCL2(18q21)転座、IgH/MAF融合遺伝子(t(14;16))、IgH/BCL2融合遺伝子(t(14;18))、c-myc/IgH融合遺伝子(t(8;14))、FGFR3/IgH融合遺伝子(t(4;14))、BCL6(3q27)転座、c-myc(8q24)転座、MALT1(18q21)転座、API2/MALT1融合遺伝子(t(11;18)転座)、TCF3/PBX1融合遺伝子(t(1;19)転座)、EWSR1(22q12)転座、PDGFRβ(5q32)転座等を検出することができる。
【0063】
また、転座には様々なバリエーションが含まれ得る。図5及び図6にBCR/ABL融合遺伝子の典型陽性パターン(メジャーパターン)の蛍光標識の例を示す。第1の蛍光標識画像及び第2の蛍光標識画像を重ねた状態では、ESプローブを用いた場合、陰性例は第1の蛍光標識の数が2個であり、第2の蛍光標識の数が2個であり、融合蛍光標識画像の数は0個である。ESプローブを用いた典型陽性パターンは、第1の蛍光標識の数が1個であり、第2の蛍光標識の数が2個であり、融合蛍光標識の数は1個である。DFプローブを用いた場合、第1の蛍光標識画像及び第2の蛍光標識画像を重ねた状態では、陰性パターンは第1の蛍光標識の数が2個であり、第2の蛍光標識の数が2個であり、融合蛍光標識の数は0個である。DFプローブを用いた典型陽性パターン例は、第1の蛍光標識の数が1個であり、第2の蛍光標識の数が1個であり、融合蛍光標識の数は2個である。
【0064】
図6は、BCR/ABL融合遺伝子の非典型陽性パターンの蛍光標識の例である。非典型陽性パターンの1例は、マイナーBCR/ABLパターンであり、BCR遺伝子の切断点がBCR遺伝子の比較的上流にあるため、ESプローブでも第1の蛍光標識が3個検出される。非典型陽性パターンの他の例は、9番染色体のABL遺伝子を標的とするプローブの結合領域の一部が欠失した例であり、これに依存してDFプローブを使用した場合に本来2個検出されるはずの融合蛍光標識が1個のみ検出されている。また、非典型陽性パターンの他の例は、9番染色体のABL遺伝子を標的とするプローブの結合領域の一部と22番染色体のBCR遺伝子を標的とするプローブの結合領域の一部とが共に欠失した例である。これに依存してDFプローブを使用した場合に本来2個検出されるはずの融合蛍光標識が1個のみ検出されている。
【0065】
図7に、ALK遺伝子座に関連する染色体異常を検出する場合の陰性パターン及び陽性パターンの参照パターンの例を示す。陰性パターンでは、ALK遺伝子が切断されていないため、融合蛍光標識が2個存在する。一方、陽性パターンでは、ALK遺伝子が切断されているため、融合蛍光標識が1個のみとなる(対立遺伝子の一方のみが切断された場合)か、融合蛍光標識が認められなくなる(対立遺伝子の両方が切断された場合)。この陰性パターン及び陽性パターンは、ALK遺伝子の他、ROS1遺伝子、RET遺伝子でも同じである。
【0066】
さらに、図7に、第5番染色体長腕(5q)が欠失する染色体異常の参照パターンの例を示す。例えば、第1の蛍光標識プローブは第5番染色体長腕に結合し、第2の蛍光標識プローブは第5番染色体のセントロメアと結合するように設計する。陰性パターンでは、第5番染色体のセントロメアの数と第5番染色体長腕の数は同じであるため、第1の蛍光標識と第2の蛍光標識は、相同染色体の数を反映し2個ずつ存在する。陽性パターンでは、第5番染色体の一方又は両方に長腕の欠失が起り、第1の蛍光標識の数が1個のみ又は0個となる。この陰性パターンと陽性パターンは、他の染色体の短腕又は長腕の欠失でも同じである。他の染色体の長腕欠失の例として、第7番染色体、及び第20番染色体の長腕欠失を挙げることができる。また、この他、同様の陽性パターン及び陰性パターンを示す例として、7q31(欠失)、p16(9p21欠失解析)、IRF-1(5q31)欠失、D20S108(20q12)欠失、D13S319(13q14)欠失、4q12欠失、ATM(11q22.3)欠失、p53(17p13.1)欠失等を挙げることができる。
【0067】
さらにまた、図7に第8番染色体トリソミーの例を示す。第1の蛍光標識プローブは例えば第8番染色体のセントロメアと結合する。陽性パターンは第1の蛍光標識が3個となる。陰性パターンは、第1の蛍光標識が2個となる。このような蛍光標識パターンは第12番染色体トリソミーでも同様である。さらに、第7番染色体モノソミーでは、例えば第7番染色体のセントロメアと結合する第1の蛍光標識プローブを用いた場合、陽性パターンは第1の蛍光標識が1個となる。陰性パターンは、第1の蛍光標識が2個となる。
【0068】
2-2.末梢循環腫瘍細胞を検出するための人工知能アルゴリズム
本実施形態は、末梢循環腫瘍細胞を検出するための第1の人工知能アルゴリズム63の訓練方法と、末梢循環腫瘍細胞を検出するための第1の人工知能アルゴリズム63を用いた細胞の解析方法に関する。ここで「訓練」又は「訓練する」という用語は、「生成」又は「生成する」という用語に置き換えて使用される場合がある。
【0069】
(1)訓練データの生成
図8から図10を用いて末梢循環腫瘍細胞を検出するための第1の人工知能アルゴリズム53の訓練方法について説明する。
【0070】
図8は、撮像部160が撮像した画像に対する前処理方法を示す。図8(A)は前処理前の撮像画像を示す。前処理は、訓練画像75及び解析画像85を同じ大きさにするためのトリミング処理であり、訓練画像75又は解析画像85として使用される画像全てに対して行われ得る。図8(A)において(a)と(b)は同じ細胞の撮像であるが、撮像した際のチャンネルが異なっている。図8(A)において、(c)は、(a)とは異なる細胞を撮像した画像である。(c)と(d)は、同じ細胞の撮像であるが、撮像した際のチャンネルが異なっている。図8(A)の(a)と(c)に示されるように、細胞を撮像した際の画像のサイズは異なる場合がある。また、細胞自体の大きさも細胞に応じて異なる。したがって、細胞の大きさを反映し、かつ同一の画像サイズとなるように、取得した画像をトリミングすることが好ましい。図8に示す例では、画像内の細胞の核の重心を中心として、前記中心から縦方向及び横方向に16ピクセルずつ離れた箇所をトリミング位置として設定している。トリミングにとって切り出された画像を図8(B)に示す。図8(B)(a)は図8(A)(a)から切り出された画像であり、図8(B)(b)は図8(A)(b)から切り出された画像であり、図8(B)(c)は図8(A)(c)から切り出された画像であり、図8(B)(d)は図8(A)(d)から切り出された画像である。図8(B)の各画像は、縦32ピクセル×横32ピクセルとなっている。核の重心は、例えば、イメージングフローサイトメータ(ImageStream MarkII, ルミネックス)に付属の解析ソフト(IDEAS)を用いて決定することができる。
【0071】
図9及び図10に、第1の人工知能アルゴリズム53の訓練方法を示す。
【0072】
図9に示すように、末梢循環腫瘍細胞(以下、「第2の陽性コントロール細胞」と呼ぶ)を撮像した陽性訓練画像75Pと、末梢循環腫瘍以外の細胞(以下、「第2の陰性コントロール細胞」と呼ぶ)を撮像した陰性訓練画像75Nから、それぞれ陽性統合訓練データ78Pと、陰性統合訓練データ78Nを生成する。陽性訓練画像75Pと陰性訓練画像75Nを併せて、訓練画像75と呼ぶ場合がある。また、陽性統合訓練データ78Pと、陰性統合訓練データ78Nとを併せて訓練データ78と呼ぶことがある。
【0073】
末梢循環腫瘍細胞を検出する場合、撮像部160によって撮像される画像には、明視野画像と、蛍光画像が含まれ得る。明視野画像は、細胞の位相差を撮像した画像であり得る。この撮像は、例えば第1のチャンネルで撮像され得る。蛍光画像は、免疫染色、又は細胞内小器官染色により細胞内の標的部位に標識された蛍光標識を撮像したものである。蛍光標識は、抗原ごと、及び/又は細胞内小器官ごとに異なる蛍光の波長領域を有する蛍光色素により行われる。
【0074】
例えば、第1の抗原に第1の緑色の波長領域の蛍光を発する第1の蛍光色素を結合させる場合には、第1の抗原に直接又は間接的に結合する抗体に第1の蛍光色素を結合させておくことにより、第1の抗原に第1の蛍光色素を標識することができる。
【0075】
第2の抗原に結合する抗体に第1の蛍光色素とは異なる赤色の波長領域の蛍光を発する第2の蛍光色素を結合させる場合には、第2の抗原に直接又は間接的に結合する抗体に第2の蛍光色素を結合させておくことにより、第2の抗原に第2の蛍光色素を標識することができる。
【0076】
第3の抗原に結合する抗体に第1の蛍光色素及び第2の蛍光色素とは異なる黄色の波長領域の蛍光を発する第3の蛍光色素を結合させる場合には、第3の抗原に直接又は間接的に結合する抗体に第3の蛍光色素を結合させておくことにより、第3の抗原に第3の蛍光色素を標識することができる。
【0077】
このように、抗原ごと及び/又は細胞内小器官ごとに異なる蛍光の波長領域を有する蛍光色素を標識することにより、第1番目の蛍光標識から第X番目の蛍光標識まで、異なる蛍光の波長領域を有する蛍光色素を標識することができる。
【0078】
第1の蛍光標識から第Xの蛍光標識を有する細胞を含む試料をイメージングフローサイトメータ等の細胞撮像装置における撮像に供し、細胞の画像を撮像することができる。細胞の撮像画像は、同じ細胞の同じ視野について複数の画像を含み得る。第1の蛍光標識から第Xの蛍光標識は、それぞれの蛍光色素が有する蛍光の波長領域が異なるため、各蛍光色素から発せられる光を透過するためのフィルタは蛍光色素ごとに異なっている。また、明視野画像は、蛍光色素をからの光を透過するフィルタとは異なるフィルタを用いる必要がある。このため、各フィルタを透過した光は、それぞれに対応する各チャンネルを介して後述する撮像部160に取り込まれ、同一細胞の同一視野の別画像として撮像される。すなわち、撮像部160において、同一細胞の同一視野について、細胞を標識した標識物質の数に明視野画像の数を加えた数に応じた複数の画像が取得される。
【0079】
図9に示す例では、図9(A)及び(B)において、第1のチャンネル(Ch1)は、明視野撮像画像を示す。図9(A)及び(B)において、第2のチャンネル(Ch2)、第3のチャンネル(Ch3)、・・・第Xのチャンネル(ChX)は、異なる複数の標識物質を撮像した各チャンネルを意図する。
【0080】
図9の例では、図9(A)に示すように、陽性訓練画像75Pには、第2の陽性コントロール細胞について、第1のチャンネルを介して撮像した第1の陽性訓練画像75P1と、第2のチャンネルを介して第1の蛍光標識を撮像した第2の陽性訓練画像75P2と、第3のチャンネルを介して第2の蛍光標識を撮像した第3の陽性訓練画像75P3と、第Xまでのチャンネルを介して各蛍光標識を撮像した第Xの陽性訓練画像75Pxが含まれ得る。第1の陽性訓練画像75P1から第Xの陽性訓練画像75Pxまでは、同一細胞の同一視野の画像として対応付けられている。第1の陽性訓練画像75P1から第Xの陽性訓練画像75Pは、次に画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の陽性数値訓練データ76P1から第Xの陽性数値訓練データ76Pxに変換される。
【0081】
第1の陽性訓練画像75P1を用いて、第1の陽性数値訓練データ76P1の生成方法について説明する。撮像部160において撮像された各画像は、上述した前処理により、例えば、縦32ピクセル×横32ピクセルの画素数にトリミングしされ、訓練画像75となっている。第1の陽性訓練画像75P1は、例えば16ビットのグレースケール画像として表される。したがって、各画素においてその画素の明るさが、1から65,536までの65,536階調の明るさの数値で示され得る。図9(A)に示すように、第1の陽性訓練画像75P1の各画素における明るさの階調を示す値が第1の陽性数値訓練データ76P1であり、各画素に対応した数字の行列で表される。
【0082】
第1の陽性数値訓練データ76P1と同様に、第2の陽性訓練画像75P2から第Xの陽性訓練画像75Pxから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の陽性数値訓練データ76P2から第Xの陽性数値訓練データ76Pxを生成することができる。
【0083】
次に、第1の陽性数値訓練データ76P1から第Xの陽性数値訓練データ76Pxを、画素ごとに統合し、陽性統合訓練データ77Pを生成する。図9(A)に示すように、陽性統合訓練データ77Pは、第1の陽性数値訓練データ76PAの各画素における数値が、第2の陽性数値訓練データ76P2から第Xの陽性数値訓練データ76Pxの対応する各画素における値と並べて示された行列データとなっている。
【0084】
次に陽性統合訓練データ77Pに、この陽性統合訓練データ77Pが第2の陽性コントロール細胞に由来することを示すラベル値79Pを付し、ラベル付き陽性統合訓練データ78Pを生成する。第2の陽性コントロール細胞であることを示すラベルとして、図9(A)では「2」を付している。
【0085】
陰性訓練画像75Nからも、ラベル付き陽性統合訓練データ78Pを生成する場合と同様にしてラベル付き陰性統合訓練データ78Nを生成する。
【0086】
図9(B)に示すように、陰性訓練画像75Nは、第2の陰性コントロール細胞について、陽性訓練画像75Pと同様に、第1のチャンネルから第Xの画像を介して取得した第1の陰性訓練画像75N1から第Xの陰性訓練画像75Nxを含む。各画素における光の明るさの数値化は、第1の陽性訓練画像75PAから第Xの陽性訓練画像75Pxから第1の陽性数値訓練データ76P1から第Xの陽性数値訓練データ76Pxを取得する場合と同様である。第1の陽性数値訓練データ76P1と同じ手法により、第1の陰性訓練画像75N1から、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の陰性数値訓練データ76N1を生成することができる。
【0087】
同様に、第2の陰性訓練画像75N2から第Xの第2の陰性訓練画像75Nxから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の陰性数値訓練データ76N2から第Xの陰性数値訓練データ76Nxを生成することができる。
【0088】
図9(B)に示すように、陽性統合訓練データ77Pを生成した方法にしたがって、第1の陰性数値訓練データ76N1から第Xの陰性数値訓練データ76Nxを、画素ごとに統合し、陰性統合訓練データ77Nを生成する。図9(B)に示すように、陰性統合訓練データ77Nは、第1の陰性数値訓練データ76N1の各画素における数値が、第2の陰性数値訓練データ76N2から第Xの陰性数値訓練データ76Nxの対応する各画素における値と並べて示された行列データとなっている。
【0089】
次に陰性統合訓練データ77Nに、この陰性統合訓練データ77Nが第2の陰性コントロール細胞に由来することを示すラベル値79Nを付し、ラベル付き陰性統合訓練データ78Nを生成する。第2の陰性コントロール細胞であることを示すラベルとして、図9(B)では「1」を付している。
【0090】
図10には、第1の人工知能アルゴリズム53に生成したラベル付き陽性統合訓練データ78Pと、ラベル付き陰性統合訓練データ78Nを入力する方法を示す。ニューラルネットワーク構造を有する第1の人工知能アルゴリズム53における入力層53aのノード数は、訓練画像75のピクセル数(上記例では32×32=1024)と1つの細胞に対するチャンネル数(上記例では、1からXまでのXチャンネル)の積に対応している。ニューラルネットワークの入力層53aには、ラベル付き陽性統合訓練データ78Pの陽性統合訓練データ77Pに相当するデータを入力する。ニューラルネットワークの出力層53bには、入力層53aに入力されたデータに対応するラベル値79Pを入力する。また、ニューラルネットワークの入力層53aには、ラベル付き陰性統合訓練データ78Nの陰性統合訓練データ77Nに対応するデータを入力する。ニューラルネットワークの出力層53bには、入力層53aに入力されたデータに対応するラベル値79Nを入力する。これらの入力により、ニューラルネットワークの中間層53cにおける各重みを計算し、第1の人工知能アルゴリズム53を訓練し、訓練された第1の人工知能アルゴリズム63を生成する。
【0091】
(2)解析用データの生成
図11を用いて解析画像85から、統合解析データ72の生成方法と、訓練された第1の人工知能アルゴリズム63を使用した細胞解析方法について説明する。解析画像85は、訓練画像75を撮像した方法と同様に撮像され、前処理され得る。
【0092】
図11に示すように、解析画像85は、解析対象細胞について、第1のチャンネルを介して撮像した明視野画像である第1の解析画像85T1と、第2のチャンネルから第Xのチャンネルを介して第2から第Xの蛍光標識を撮像した第2の解析画像85T2から第Xの解析画像85Txとを含む。撮像及び前処理、各画素における光の明るさの数値化は、第1の陽性訓練画像75P1から第1の陽性数値訓練データ76P1を取得する場合と同様である。第1の陽性数値訓練データ76P1と同じ手法により、第1の解析画像85T1から、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第1の数値解析データ86T1を生成することができる。
【0093】
同様に、第2の解析画像85T2から第Xの解析画像85Txから、画像内の各画素(ピクセル)における、撮像された光の明るさを数値で示した第2の数値解析データ86T2から第Xの数値解析データ86Txを生成することができる。
【0094】
図11に示すように、陽性統合訓練データ77Pを生成した方法にしたがって、フローセル110を流れる細胞を撮像し、生成した第1の数値解析データ86T1から第Xの数値解析データ86Txを、画素ごとに統合し統合解析データ87を生成する。図11に示すように、統合解析データ87は、第1の数値解析データ86T1の各画素における数値が、第2の数値解析データ86T2から第Xの数値解析データ86Txの対応する各画素における値と並べて示された行列データとなっている。
【0095】
図11に示すように、フローセル11を流れる細胞を撮像部160で撮像し、解析画像85を生成する。フローセル11を流れる細胞を撮像することにより、短時間で多数の解析画像85を生成することができ、多数の細胞について短時間での解析が可能となる。検体に含まれる異常細胞は、本来その検体中に存在すべき正常細胞の数と比較すると非常に少ない場合があるが、多数の細胞について短時間での解析が可能な本解析方法によれば、異常細胞の見落としを抑制することができる。生成された統合解析データ87を訓練された第1の人工知能アルゴリズム63内のニューラルネットワークの入力層63aに入力する。入力された統合解析データ87に含まれる値は、ニューラルネットワークの中間層63cを経て、ニューラルネットワークの出力層63bから、解析対象細胞が末梢循環腫瘍細胞であるか否かを示すラベル値89を出力する。図11に示す例では、解析対象細胞が、末梢循環腫瘍細胞でないと判定した場合には、ラベル値として「1」を出力し、末梢循環腫瘍細胞であると判定した場合には、ラベル値として「2」を出力する。ラベル値に替えて、「無」、「有」や「正常」、「異常」等のラベルを出力してもよい。
【0096】
(3)その他の構成
i.本実施形態で使用される訓練画像75及び解析画像85は、EDFフィルタを使用して撮像した画像に対し、復元処理を行っていない画像であることが好ましい。
【0097】
ii.訓練画像75及び解析画像85からは、撮像の際、焦点の合っていない画像は除かれ得る。
【0098】
iii.本実施形態で使用される訓練画像75及び解析画像85は、例示的に画素数を縦32ピクセル×横32ピクセルとなるようにトリミングしているが、画像の大きさは細胞全体が画像内に収まる限り限定されない。画像の縦方向の画素数と、横方向の画素数は、必ずしも同じである必要はない。しかし、第1の人工知能アルゴリズム53を訓練するための訓練画像75と、前記訓練画像75を用いて訓練された第1の人工知能アルゴリズム63に入力する統合解析データ87を生成するための解析画像85は、同じ画素数であって、縦方向と横方向の画素数も同じであることが好ましい。
【0099】
iv.本実施形態では、訓練画像70及び解析画像80は、16ビットのグレースケール画像を使用している。しかし、明るさの階調は16ビットの他、8ビット、32ビット等であってもよい。また、本実施形態では、各数値訓練データ76P1から数値訓練データ76Px、数値訓練データ76N1から数値訓練データ76Nxについて、16ビット(65,536階調)で表された明るさの数値をそのまま使用しているが、これらの数値を、一定幅の階調でまとめる低次元化処理を行い、低次元化後の数値を各数値訓練データ76P1から数値訓練データ76Px、数値訓練データ76N1から数値訓練データ76Nxとして使用してもよい。この場合、訓練画像70及び解析画像80に対して同じ処理を行うことが好ましい。
【0100】
3.第2の人工知能アルゴリズムを使った細胞解析方法
第2の人工知能アルゴリズム94の訓練方法と訓練された第2の人工知能アルゴリズム97を使った細胞の解析方法について図12及び図13を用いて説明する。第2の人工知能アルゴリズム94,97は、ニューラルネットワーク構造を有する深層学習アルゴリズム以外のアルゴリズムであり得る。第2の人工知能アルゴリズム94は、上述した第2の陽性コントロール細胞又は第2の陰性コントロール細胞から、ユーザが定めた特徴量を抽出し、抽出した特徴量と、対応する第2の陽性コントロール細胞又は第2の陰性コントロール細胞の性状を示すラベルとを訓練データとして用いて訓練される。また、訓練された第2の人工知能アルゴリズム97は、訓練データを生成する際に抽出された特徴量に対応する特徴量を解析対象画像から抽出し、これを解析データとして細胞の性状を示すデータを生成する。
【0101】
本実施形態において、第2の人工知能アルゴリズム94,97として使用され得るアルゴリズムは、ランダムフォレスト、勾配ブースティング、サポートベクターマシン(SVM)、リレバンスベクターマシン(RVM)、ナイーブベイズ、ロジスティック回帰、フィードフォワードニューラルネットワーク、ディープラーニング、K近傍法、AdaBoost、バギング、C4.5、カーネル近似、確率的勾配降下法(SGD)分類器、Lasso、リッジ回帰、Elastic Net、SGD回帰、カーネル回帰、Lowess回帰、マトリックス フラクトリゼーション、ノンネガティブ マトリックス フラクトリゼーション、カーネル マトリックス フラクトリゼーション、内挿法、カーネルスムーサー、協調フィルタリング等を挙げることができる。第2の人工知能アルゴリズム94,97として好ましくは、ランダムフォレスト、又は勾配ブースティングである。
【0102】
第2の人工知能アルゴリズム94,97としては、例えば、Python社から提供されるものを使用することができる。
【0103】
ここで「訓練」又は「訓練する」という用語は、「生成」又は「生成する」という用語に置き換えて使用される場合がある。
【0104】
(1)訓練データの生成
図12(A)に示すように、本実施形態では、上記2-2.において使用した第2の陽性コントロール細胞を撮像した陽性訓練画像90Aと、上記2-2.において使用した第2の陰性コントロール細胞を撮像した陰性訓練画像90Bから、それぞれ陽性訓練データ91Aと、陰性訓練データ91Bを生成する。陽性訓練画像90Aと陰性訓練画像90Bを併せて、訓練画像90と呼ぶ場合がある。また、陽性訓練データ91Aと、陰性訓練データ91Bとを併せて訓練データ91と呼ぶことがある。
【0105】
末梢循環腫瘍細胞を検出する場合、訓練画像90として使用される、後述する撮像部160によって撮像される画像は、上記2-2.と同様に明視野画像、及び/又は蛍光画像であり得る。明視野画像は、細胞の位相差を撮像であり得る。訓練画像90は、上記2-2.(1)と同様に取得することができる。
【0106】
訓練データ91としては、例えば図13に示す特徴量を例示することができる。図13に示す特徴量は、5つのカテゴリに分類し得る。前記カテゴリは、細胞の大きさ(Size)に関する情報、細胞の配置(Location)に関する情報、細胞の形状(Shape)に関する情報、細胞のテクスチャ(Texture)に関する情報、細胞画像から取得される光の強度(Signal strength)である。各カテゴリに含まれる特徴量の詳細は、図13に示す通りである。これらの特徴量は、1又は2以上を組み合わせて使用することができる。特徴量には、少なくとも細胞の大きさに関する情報から選択される少なくとも1つの情報が含まれることが好ましい。より好ましくは、特徴量には、少なくとも細胞の面積に関する情報が含まれることが好ましい。これらの特徴量は、例えば上述の解析ソフト(IDEAS)を使用して決定することができる。
【0107】
図14には、代表的な特徴量の説明を示す。図14(A)は、図13におけるHeight及びWidthの説明を示す。Height(高さ)は、例示的には、画像上で細胞を囲むことができる最小の四角形(好ましくは正長方形、又は正方形)の長辺(正方形の場合は一辺)の長さを意図する。Width(幅)は、例示的には、前記四角形の短辺(正方形の場合は一辺)の長さを意図する。図14(B)は、図13におけるMajor Axis(長軸)及びMinor Axis(短軸)の説明を示す。Major Axisは、例示的には、画像上で細胞を囲むことができる楕円(正楕円であることが好ましい)であって、前記楕円の重心が細胞の重心と重なり、かつ細胞を囲むことができる最小の楕円の長径を意図する。Minor Axisは、前記楕円の短径を意図する。Minor Axisは、例示的には、前記楕円の短径を意図する。
【0108】
図14(C)には、細胞のLength(長さ)、Thickness Max(最大厚み)、Thickness min(最小厚み)の説明を示す。細胞のLengthは、図14(A)に示すHeightとは異なり、画像上で細胞の片側の先端ともう一方の先端とを結ぶ線分を仮定した時に最も長い線の長さを意図する。Thickness Maxは、Lengthを表す線分と直行する線分であって細胞の輪郭線により区切られる内側の線分を仮定した時に、最も長い線分の長さを意図する。Thickness minは、Lengthを表す線分と直行する線分であって細胞の輪郭線により区切られる内側の線分を仮定した時に、最も短い線分の長さを意図する。
【0109】
図14(D)には、Aspect Ratio(アスペクト比)、Elongatedness(伸び)、Shape Ratio(形状比)の説明を示す。Aspect Ratioは、Minor Axisの長さをMajor Axisの長さで割った値を意図する。Elongatednessは、Heightの値をWidthの値で割った値を意図する。Shape Ratioは、Thickness minの値をThickness Maxの値で割った値を意図する。
【0110】
図14(E)には、lobe symmetry(分葉)の説明を示す。図14(E)には、2 lobe symmetry(2分葉)、3 lobe symmetry(3分葉)、4 lobe symmetry(4分葉)の例を示す。分葉は、1つの細胞が葉に分かれていることを意図する。
【0111】
図12(A)に示すように、陽性訓練データ91Aは、第2の陽性コントロール細胞に由来することを示すラベル値93Aである、例えば「2」と組み合わされて、ラベル付き陽性訓練データ92Aとして、第2の人工知能アルゴリズム94に入力される。陰性訓練データ91Bは、第2の陰性コントロール細胞に由来することを示すラベル値93Bである、例えば「1」と組み合わされて、ラベル付き陰性訓練データ92Bとして、第2の人工知能アルゴリズム94に入力される。ラベル付き陽性訓練データ92A及びラベル付き陰性訓練データ92Bにより第2の人工知能アルゴリズム94が訓練される。
【0112】
ここで、図12の例では、明視野画像のみ示しているが、上記2-2.において示したように複数のチャンネルを使って、複数の蛍光標識を撮像した場合には、チャンネルごとに、陽性訓練データ91A及び陰性訓練データ91Bを取得し、それぞれについてラベル付き陽性訓練データ92A及びラベル付き陰性訓練データ92Bを生成し第2の人工知能アルゴリズム94に入力する。
【0113】
ここで、ラベル付き陽性訓練データ92A及びラベル付き陰性訓練データ92Bを併せて訓練データ92ともいう。
【0114】
訓練データ92により第2の人工知能アルゴリズム94が訓練され、訓練された第2の人工知能アルゴリズム97が生成される。
【0115】
(2)解析用データの生成と細胞解析
図12(B)に、フローセル110を流れる細胞を撮像した第3の解析画像95から、解析データ96を生成し、訓練された第2の人工知能アルゴリズム97を使用する細胞解析方法を示す。訓練された第2の人工知能アルゴリズム97は、解析データ96を使用して、解析対象細胞の性状を示すデータ98を生成する。図12(B)に示すように、フローセル110を流れる細胞を撮像部160で撮像し、第3の解析画像95を生成する。解析データ96は、訓練画像90と同様の方法で撮像された第3の解析画像95から生成され得る。解析データ96は、第3の訓練データに対応する特徴量であることが好ましい。
【0116】
解析データ96を訓練された第2の人工知能アルゴリズム97に入力することで、細胞の正常又は異常を示すデータとして、解析対象細胞が、末梢循環腫瘍細胞であるかいなかを示すデータ98を生成する。例えば、解析対象細胞が、末梢循環腫瘍細胞でないと判定した場合には、ラベル値として「1」を出力し、末梢循環腫瘍細胞であると判定した場合には、ラベル値として「2」を出力する。ラベル値に替えて、「無」、「有」や「正常」、「異常」等のラベルを出力してもよい。
【0117】
4.細胞解析システム
以下、図15から図25を用いて、第1から第3の実施形態にかかる細胞解析システム1000,2000,3000について説明する。以下の説明において、第1の人工知能アルゴリズム50,第1の人工知能アルゴリズム53、及び第2の人工知能アルゴリズム94は、区別せずに「人工知能アルゴリズム」と称する場合がある。
【0118】
4-1.細胞解析システムの第1の実施形態
図15に、第1の実施形態に係る細胞解析システム1000のハードウエアの構成を示す。細胞解析システム1000は、人工知能アルゴリズム94を訓練するための訓練装置200Aと、細胞撮像装置100Aと、細胞解析装置400Aを備え得る。細胞撮像装置100Aと細胞解析装置400Aは通信可能に接続されている。また、訓練装置200Aと、細胞解析装置400Aは、有線又は無線のネットワークで接続されうる。
【0119】
4-1-1.訓練装置
(1)ハードウエアの構成
図16を用いて訓練装置200Aのハードウエアの構成を説明する。訓練装置200Aは、制御部20Aと、入力部26と、出力部27と、メディアドライブD98を備える。また、訓練装置200Aはネットワーク99と接続可能である。
【0120】
制御部20Aは、後述するデータ処理を行うCPU(Central Processing Unit)21と、データ処理の作業領域に使用するメモリ22と、後述するプログラム及び処理データを記録する記憶部23と、各部の間でデータを伝送するバス24と、外部機器とのデータの入出力を行うインタフェース(I/F)部25と、GPU(Graphics Processing Unit)29とを備えている。入力部26及び出力部27は、I/F部25を介して制御部20Aに接続されている。例示的には、入力部26はキーボード又はマウス等の入力装置であり、出力部27は液晶ディスプレイ等の表示装置である。GPU29は、CPU21が行う演算処理(例えば、並列演算処理)を補助するアクセラレータとして機能する。以下の説明においてCPU21が行う処理とは、CPU21がGPU29をアクセラレータとして用いて行う処理も含むことを意味する。ここで、GPU29に代えて、ニューラルネットワークの計算に好ましい、チップを搭載してもよい。このようなチップとして、例えば、FPGA(Field-Programmable Gate Array)、ASIC(Application specific integrated circuit)、Myriad X(Intel)等を挙げることができる。
【0121】
また、制御部20Aは、以下の図18で説明する各ステップの処理を行うために、人工知能アルゴリズムを訓練するための訓練プログラム及び訓練前の人工知能アルゴリズムを、例えば実行形式で記憶部23に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。制御部20Aは、オペレーティングシステムと、記憶部23に記録した訓練プログラムを協働させて、訓練前の人工知能アルゴリズムの訓練処理を行う。
【0122】
以下の説明においては、特に断らない限り、制御部20Aが行う処理は、記憶部23又はメモリ22に格納されたプログラム及び人工知能アルゴリズムに基づいて、CPU21又はCPU21及びGPU29が行う処理を意味する。CPU21はメモリ22を作業領域として必要なデータ(処理途中の中間データ等)を一時記憶し、記憶部23に演算結果等の長期保存するデータを適宜記録する。
【0123】
(2)訓練装置の機能構成
図17に、訓練装置200Aの機能構成を示す。訓練装置200Aは、訓練データ生成部201と、訓練データ入力部202と、アルゴリズム更新部203と、訓練データデータベース(DB)204と、アルゴリズムデータベース(DB)205とを備える。図18(A)に示すステップS11及び図18(B)に示すステップS111が訓練データ生成部201に該当する。図18(A)に示すステップS12及び図18(B)に示すステップS112が訓練データ入力部202に該当する。図18(A)に示すステップS14がアルゴリズム更新部203に該当する。
【0124】
訓練画像70PA,70PB,70NA,70NB,75P1から75Px,75N1から75Nx,90A,90Bは、細胞撮像装置100Aから細胞解析装置400Aによって予め取得され、訓練装置200Aの制御部20Aの記憶部23又はメモリ22に予め記憶されている。訓練装置200Aは、訓練画像70PA,70PB,70NA,70NB,75P1から75Px,75N1から75Nx,90A,90Bを細胞解析装置400Aからネットワーク経由で取得してもよく、メディアドライブD98を介して取得してもよい。訓練データデータベース(DB)204は、生成された訓練データ73,78,92を格納する。訓練前の人工知能アルゴリズムは、アルゴリズムデータベース205に予め格納されている。訓練された第1の人工知能アルゴリズム60は、染色体異常を検査するための検査項目及び解析項目と対応付けられて、アルゴリズムデータベース205に記録され得る。訓練された第1の人工知能アルゴリズム63は、末梢循環腫瘍細胞を検査するための検査項目及び解析項目と対応付けられて、アルゴリズムデータベース205に記録され得る。訓練された第2の人工知能アルゴリズム97は、入力すべき特徴量の項目と対応付けられて、アルゴリズムデータベース205に記録され得る。
【0125】
(3)訓練処理
訓練装置200Aの制御部20Aは、図18に示す訓練処理を行う。
【0126】
はじめに、ユーザからの処理開始の要求に従って、制御部20AのCPU21は、記憶部23又はメモリ22に記憶された訓練画像70PA,70PB,70NA,70NB;訓練画像75P1から75Px,75N1から75Nx、又は訓練画像90A,90Bを取得する。訓練画像70PA,70PB,70NA,70NBは第1の人工知能アルゴリズム50を訓練するために、訓練画像75P1から75Px,75N1から75Nxは第1の人工知能アルゴリズム53を訓練するために、訓練画像90A,90Bは第2の人工知能アルゴリズム94を訓練するために、それぞれ使用され得る。
【0127】
i.第1の人工知能アルゴリズム50の訓練処理
制御部20Aは、図18(A)のステップS11において、陽性訓練画像70PA,70PBから陽性統合訓練データ72Pを生成し、陰性訓練画像70NA,70NBから陰性統合訓練データ72Nを生成する。制御部20Aは、陽性統合訓練データ72Pと陰性統合訓練データ72Nのそれぞれに対応するラベル値74P又はラベル値74Nを付し、ラベル付き陽性統合訓練データ73P又はラベル付き陰性統合訓練データ73Nを生成する。ラベル付き陽性統合訓練データ73P又はラベル付き陰性統合訓練データ73Nは、訓練データ73として記憶部23に記録される。ラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nの生成方法は、上記2-1.で説明した通りである。
【0128】
次に、制御部20Aは、図18(A)のステップS12において、生成したラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nを第1の人工知能アルゴリズム50に入力し、第1の人工知能アルゴリズム50を訓練する。第1の人工知能アルゴリズム50の訓練結果は複数のラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nを用いて訓練する度に蓄積される。
【0129】
続いて、制御部20Aは、図18(A)のステップS13において、予め定められた所定の試行回数分の訓練結果が蓄積されているか否かを判断する。訓練結果が所定の試行回数分蓄積されている場合(「YES」の場合)、制御部20AはステップS14の処理に進み、訓練結果が所定の試行回数分蓄積されていない場合(「NO」の場合)、制御部20AはステップS15の処理に進む。
【0130】
訓練結果が所定の試行回数分蓄積されている場合、ステップS14において、制御部20Aは、ステップS12において蓄積しておいた訓練結果を用いて、第1の人工知能アルゴリズム50の重みw(結合重みw)を更新する。
【0131】
次に、制御部20Aは、ステップS15において、第1の人工知能アルゴリズム50を規定数のラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nで訓練したか否かを判断する。規定数のラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nで訓練した場合(「YES」の場合)には、訓練処理を終了する。制御部20Aは、訓練された第1の人工知能アルゴリズム60を記憶部23に格納する。
【0132】
第1の人工知能アルゴリズム50を規定数のラベル付き陽性統合訓練データ73P及びラベル付き陰性統合訓練データ73Nで訓練していない場合(「NO」の場合)には、制御部20Aは、ステップS15からステップS16に進み、次の陽性訓練画像70PA,70PB及び陰性訓練画像70NA,70NBについてステップS11からステップS15までの処理を行う。
【0133】
ii.第1の人工知能アルゴリズム53の訓練処理
制御部20Aは、図18(A)のステップS11において、陽性訓練画像75P1から75Pxから陽性統合訓練データ77Pを生成し、陰性訓練画像75N1から75Nxから陰性統合訓練データ77Nを生成する。制御部20Aは、陽性統合訓練データ77Pと陰性統合訓練データ77Nのそれぞれに対応するラベル値79P又はラベル値79Nを付し、ラベル付き陽性統合訓練データ78P又はラベル付き陰性統合訓練データ78Nを生成する。ラベル付き陽性統合訓練データ78P又はラベル付き陰性統合訓練データ78Nは、訓練データ78として記憶部23に記録される。ラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nの生成方法は、上記2-2.で説明した通りである。
【0134】
次に、制御部20Aは、図18(A)のステップS12において、生成したラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nを第1の人工知能アルゴリズム53に入力し、第1の人工知能アルゴリズム53を訓練する。第1の人工知能アルゴリズム53の訓練結果は複数のラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nを用いて訓練する度に蓄積される。
【0135】
続いて、制御部20Aは、図18のステップS13において、予め定められた所定の試行回数分の訓練結果が蓄積されているか否かを判断する。訓練結果が所定の試行回数分蓄積されている場合(「YES」の場合)、制御部20AはステップS14の処理に進み、訓練結果が所定の試行回数分蓄積されていない場合(「NO」の場合)、制御部20AはステップS15の処理に進む。
【0136】
訓練結果が所定の試行回数分蓄積されている場合、ステップS14において、制御部20Aは、ステップS12において蓄積しておいた訓練結果を用いて、第1の人工知能アルゴリズム53の重みw(結合重みw)を更新する。
【0137】
次に、制御部20Aは、ステップS15において、第1の人工知能アルゴリズム53を規定数のラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nで訓練したか否かを判断する。規定数のラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nで訓練した場合(「YES」の場合)には、訓練処理を終了する。制御部20Aは、訓練された第1の人工知能アルゴリズム63を記憶部23に格納する。
【0138】
第1の人工知能アルゴリズム53を規定数のラベル付き陽性統合訓練データ78P及びラベル付き陰性統合訓練データ78Nで訓練していない場合(「NO」の場合)には、制御部20Aは、ステップS15からステップS16に進み、次の陽性訓練画像75P1から75Px及び陰性訓練画像75N1から75NxについてステップS11からステップS15までの処理を行う。
【0139】
iii.第2の人工知能アルゴリズム94の訓練処理
制御部20Aは、図18(B)のステップS111において、陽性訓練画像90Aから陽性訓練データ91Aを生成し、陰性訓練画像90Bから陰性訓練データ91Bを生成する。制御部20Aは、陽性訓練データ91Aと陰性訓練データ91Bのそれぞれに対応するラベル値93P又はラベル値93Nを付し、ラベル付き陽性訓練データ92A又はラベル付き陰性訓練データ92Bを生成する。ラベル付き陽性訓練データ92A又はラベル付き陰性訓練データ92Bは、訓練データ92として記憶部23に記録される。ラベル付き陽性訓練データ92A及びラベル付き陰性訓練データ92Bの生成方法は、上記3.で説明した通りである。
【0140】
次に、制御部20Aは、図18(B)のステップS112において、生成したラベル付き陽性訓練データ92A及びラベル付き陰性訓練データ92Bを第2の人工知能アルゴリズム94に入力し、第2の人工知能アルゴリズム94を訓練する。
【0141】
次に、制御部20Aは、ステップS113において、第2の人工知能アルゴリズム94を規定数のラベル付き陽性訓練データ92A及びラベル付き陰性訓練データ92Bで訓練したか否かを判断する。規定数のラベル付き陽性訓練データ92A及びラベル付き陰性訓練データ92Bで訓練した場合(「YES」の場合)には、訓練処理を終了する。制御部20Aは、訓練された第2の人工知能アルゴリズム97を記憶部23に格納する。
【0142】
第2の人工知能アルゴリズム94を規定数のラベル付き陽性訓練データ92A及びラベル付き陰性訓練データ92Bで訓練していない場合(「NO」の場合)には、制御部20Aは、ステップS113からステップS114に進み、次の陽性訓練画像90A及び陰性訓練画像90BについてステップS111からステップS113までの処理を行う。
【0143】
(4)訓練プログラム
本実施形態は、ステップS11~S16又はS111~S114の処理をコンピュータに実行させる、人工知能アルゴリズムを訓練するためのコンピュータプログラムを含む。
【0144】
さらに、本実施形態のある実施形態は、前記コンピュータプログラムを記憶した、記憶媒体等のプログラム製品に関する。すなわち、前記コンピュータプログラムは、ハードディスク、フラッシュメモリ等の半導体メモリ素子、光ディスク等の記憶媒体に格納され得る。記憶媒体へのプログラムの記録形式は、訓練装置200Aがプログラムを読み取り可能である限り制限されない。前記記憶媒体への記録は、不揮発性であることが好ましい。
【0145】
ここで、「プログラム」とは、CPUにより、直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【0146】
4-1-2.細胞撮像装置
訓練画像70,75,90及び/又は解析画像80,85,95を撮像する細胞撮像装置100Aの構成を図19に示す。図19に示す細胞撮像装置100Aは、イメージングフローサイトメータを例示している。細胞撮像装置100Aの撮像装置としての動作は、細胞解析装置400Aによって制御される。
【0147】
例えば、上述した通り、染色体異常又は末梢循環腫瘍細胞は、1以上の蛍光色素を使用して標的部位を検出する。好ましくはFISH法は、2以上の蛍光色素を使用して第1の染色体上の標的部位と第2の染色体上の標的部位を検出する(「染色体」を修飾する「第1」及び「第2」は染色体番号を意味しない、包括的な数の概念である)。例えば、PML遺伝子座とハイブリダイズするプローブは、PML遺伝子座の塩基配列に相補的な配列を有する核酸が、波長λ11の光が照射されることにより波長λ21の第1蛍光を生じる第1蛍光色素によって標識されたものである。このプローブを使うことで、PML遺伝子座が、第1蛍光色素によって標識される。RARA遺伝子座とハイブリダイズするプローブは、RARA遺伝子座の塩基配列に相補的な配列を有する核酸が、波長λ12の光が照射されることにより波長λ22の第2蛍光を生じる第2蛍光色素によって標識されたものである。このプローブを使うことで、RARA遺伝子座が、第2蛍光色素によって標識される。核は、波長λ13の光が照射されることにより波長λ23の第3蛍光を生じる核染色用色素によって染色される。波長λ11、波長λ12及び波長λ13はいわゆる励起光である。また、波長λ114は、明視野観察を行うためのハロゲンランプ等から照射される光である。
【0148】
細胞撮像装置100Aは、フローセル110と、光源120~123と、集光レンズ130~133と、ダイクロイックミラー140~141と、集光レンズ150と、光学ユニット151と、集光レンズ152と、撮像部160と、を備えている。フローセル110の流路111には、試料10が流される。
【0149】
光源120~123は、フローセル110を下から上に流れる試料10に光を照射する。光源120~123は、例えば半導体レーザー光源により構成される。光源120~123からは、それぞれ波長λ11~λ14の光が出射される。
【0150】
集光レンズ130~133は、光源120~123から出射された波長λ11~λ14の光をそれぞれ集光する。ダイクロイックミラー140は、波長λ11の光を透過させ、波長λ12の光を屈折させる。ダイクロイックミラー141は、波長λ11及びλ12の光を透過させ、波長λ13の光を屈折させる。こうして、波長λ11~λ14の光が、フローセル110の流路111を流れる試料10に照射される。なお、細胞撮像装置100Aが備える半導体レーザー光源の数は1以上であれば制限されない。半導体レーザー光源の数は、例えば、1、2、3、4、5又は6の中から選択することができる。
【0151】
フローセル110を流れる試料10に波長λ11~λ13の光が照射されると、流路111を流れる細胞に標識されている蛍光色素から蛍光が生じる。具体的には、波長λ11の光がPML遺伝子座を標識する第1蛍光色素に照射されると、第1蛍光色素から波長λ21の第1蛍光が生じる。波長λ12の光がRARA遺伝子座を標識する第2蛍光色素に照射されると、第2蛍光色素から波長λ22の第2蛍光が生じる。波長λ13の光が核を染色する核染色用色素に照射されると、核染色用色素から波長λ23の第3蛍光が生じる。フローセル110を流れる試料10に波長λ14の光が照射されると、この光は細胞を透過する。細胞を透過した波長λ14の透過光は、明視野画像の生成に用いられる。例えば、実施形態では、第1蛍光は緑色の光の波長領域であり、第2蛍光は赤色の光の波長領域であり、第3蛍光は青色の光の波長領域である。
【0152】
集光レンズ150は、フローセル110の流路111を流れる試料10から生じた第1蛍光~第3蛍光と、フローセル110の流路111を流れる試料10を透過した透過光とを集光する。光学ユニット151は、4枚のダイクロイックミラーが組み合わせられた構成を有する。光学ユニット151の4枚のダイクロイックミラーは、第1蛍光から第3蛍光と透過光とを、互いに僅かに異なる角度で反射し、撮像部160の受光面上において分離させる。集光レンズ152は、第1蛍光~第3蛍光と透過光とを集光する。
【0153】
撮像部160は、TDI(Time Delay Integration)カメラにより構成される。撮像部160は、第1蛍光~第3蛍光と透過光とを撮像して第1蛍光~第3蛍光にそれぞれ対応した蛍光画像と、透過光に対応した明視野画像とを、撮像信号として細胞解析装置400Aに出力する。撮像される画像は、カラー画像であってもよいし、グレースケール画像であってもよい。
【0154】
また、細胞撮像装置100Aは、必要に応じて前処理装置300を備えていてもよい。前処理装置300は、検体の一部をサンプリングし、検体に含まれる細胞にFISH、免疫染色、又は細胞内小器官染色等を施し、試料10を調製する。
【0155】
4-1-3.細胞解析装置
【0156】
(1)ハードウエアの構成
図19を用いて、細胞解析装置400Aのハードウエアの構成を説明する。細胞解析装置400Aは、細胞撮像装置100Aと通信可能に接続されている。細胞解析装置400Aは、制御部40Aと、入力部46と、出力部47を備える。また、細胞解析装置400Aはネットワーク99と接続可能である。
【0157】
制御部40Aの構成は、訓練装置200Aの制御部20Aの構成と同様である。ここでは、訓練装置200Aの制御部20AにおけるCPU21、メモリ22、記憶部23、バス24、I/F部25、GPU29を、CPU41、メモリ42、記憶部43、バス44、I/F部45、GPU49とそれぞれ読み替えるものとする。但し、記憶部43は、訓練装置200Aが生成し、ネットワーク99を介して、又はメディアドライブD98を介してI/F部45からCPU41が取得した訓練された人工知能アルゴリズム60,63,94を格納する。
【0158】
解析画像80,85,95は、細胞撮像装置100Aによって取得され、細胞解析装置400Aの制御部40Aの記憶部43又はメモリ42に記憶され得る。
【0159】
(2)細胞解析装置の機能構成
図20に、細胞解析装置400Aの機能構成を示す。細胞解析装置400Aは、解析データ生成部401と、解析データ入力部402と、解析部403と、解析データデータベース(DB)404と、アルゴリズムデータベース(DB)405とを備える。図21に示すステップS21が解析データ生成部401に該当する。図21に示すステップS22が解析データ入力部402に該当する。図21に示すステップS23が解析部403に該当する。解析データデータベース404は、解析データ82,88,96を格納する。
【0160】
訓練された第1の人工知能アルゴリズム60は、染色体異常を検査するための検査項目及び解析項目と対応付けられて、アルゴリズムデータベース405に記録され得る。訓練された第1の人工知能アルゴリズム63は、末梢循環腫瘍細胞を検査するための検査項目及び解析項目と対応付けられて、アルゴリズムデータベース405に記録され得る。訓練された第2の人工知能アルゴリズム97は、入力すべき特徴量の項目と対応付けられて、アルゴリズムデータベース405に記録され得る。
【0161】
(3)細胞解析処理
細胞解析装置400Aの制御部40Aは、図21に示す細胞解析処理を行う。本実施形態により、高い精度かつ高速での解析を容易にする。
【0162】
ユーザからの処理開始の要求に従って、又は細胞撮像装置100Aが解析を開始したことをトリガとして、制御部40AのCPU41は、細胞解析処理を開始する。
【0163】
i.第1の人工知能アルゴリズム60による細胞解析処理
制御部40Aは、図21に示すステップS21において、解析画像80A,80Bから統合解析データ82を生成する。統合解析データ82の生成方法は、上記2-1.において説明した通りである。制御部40Aは、生成した統合解析データ82を記憶部43又はメモリ42に記憶する。
【0164】
制御部40Aは、図21に示すステップS22において、記憶部43に格納された訓練された第1の人工知能アルゴリズム60をメモリ42に呼び出すことで取得し、ステップS21において生成した統合解析データ82を第1の人工知能アルゴリズム60に入力する。
【0165】
制御部40Aは、図21に示すステップS23において、第1の人工知能アルゴリズム60を使用し、解析画像80A,80Bにおける解析対象細胞の性状を判定し、判定結果のラベル値84を記憶部43又はメモリ42に記憶する。判定方法は、上記2-1.において説明した通りである。
【0166】
制御部40Aは、図21に示すステップS24において、全ての解析画像80A,80Bを判定したか判断し、全ての解析画像80A,80Bを判定した場合(「YES」の場合)、ステップS25に進み、判定結果のラベル値84に対応する判定結果を記憶部43に記憶すると共に、判定結果を出力部に出力する。ステップS24において、全ての解析画像80A,80Bを判定していない場合(「NO」の場合)、制御部40Aは、ステップS26において解析画像80A,80Bを更新し、全ての解析画像80A,80Bについて判定を行うまで、ステップS21からステップS24を繰り返す。判定結果はラベル値そのものであってもよいが、各ラベル値に対応した「有」、「無」又は「異常」、「正常」等のラベルでもよい。
【0167】
ii.第1の人工知能アルゴリズム63による細胞解析処理
制御部40Aは、図21に示すステップS21において、解析画像85T1から85Txから統合解析データ87を生成する。統合解析データ87の生成方法は、上記2-2.において説明した通りである。制御部40Aは、生成した統合解析データ87を記憶部43又はメモリ42に記憶する。
【0168】
制御部40Aは、図21に示すステップS22において、記憶部43に格納された訓練された第1の人工知能アルゴリズム63をメモリ42に呼び出すことで取得し、ステップS21において生成した統合解析データ87を第1の人工知能アルゴリズム63に入力する。
【0169】
制御部40Aは、図21に示すステップS23において、第1の人工知能アルゴリズム63を使用し、解析画像85T1から85Txにおける解析対象細胞の性状を判定し、判定結果のラベル値88を記憶部43又はメモリ42に記憶する。判定方法は、上記2-2.において説明した通りである。
【0170】
制御部40Aは、図21に示すステップS24において、全ての解析画像85T1から85Txを判定したか判断し、全ての解析画像85T1から85Txを判定した場合(「YES」の場合)、ステップS25に進み、判定結果のラベル値88に対応する判定結果を記憶部43に記憶すると共に、判定結果を出力部に出力する。ステップS24において、全ての解析画像85T1から85Txを判定していない場合(「NO」の場合)、制御部40Aは、ステップS26において解析画像85T1から85Txを更新し、全ての解析画像85T1から85Txについて判定を行うまで、ステップS21からステップS24を繰り返す。判定結果はラベル値そのものであってもよいが、各ラベル値に対応した「有」、「無」又は「異常」、「正常」等のラベルでもよい。
【0171】
iii.第2の人工知能アルゴリズム97による細胞解析処理
制御部40Aは、図21に示すステップS21において、解析画像95から解析データ96を生成する。解析データ96の生成方法は、上記3.において説明した通りである。制御部40Aは、生成した解析データ96を記憶部43又はメモリ42に記憶する。
【0172】
制御部40Aは、図21に示すステップS22において、記憶部43に格納された訓練された第2の人工知能アルゴリズム97をメモリ42に呼び出すことで取得し、ステップS21において生成した解析データ96を第2の人工知能アルゴリズム97に入力する。
【0173】
制御部40Aは、図21に示すステップS23において、第2の人工知能アルゴリズム97を使用し、解析画像95における解析対象細胞の性状を判定し、判定結果を記憶部43又はメモリ42に記憶する。判定方法は、上記3.において説明した通りである。
【0174】
制御部40Aは、図21に示すステップS24において、全ての解析画像95を判定したか判断し、全ての解析画像95を判定した場合(「YES」の場合)、ステップS25に進み、判定結果のラベル値98を記憶部43に記憶すると共に、判定結果を出力部に出力する。ステップS24において、全ての解析画像95を判定していない場合(「NO」の場合)、制御部40Aは、ステップS26において解析画像95を更新し、全ての解析画像95について判定を行うまで、ステップS21からステップS24を繰り返す。判定結果はラベル値そのものであってもよいが、各ラベル値に対応した「有」、「無」又は「異常」、「正常」等のラベルでもよい。
【0175】
(4)細胞解析プログラム
本実施形態は、ステップS21~S26の処理をコンピュータに実行させる、細胞の解析を行うためのコンピュータプログラムを含む。
【0176】
さらに、本実施形態のある実施形態は、前記コンピュータプログラムを記憶した、記憶媒体等のプログラム製品に関する。すなわち、前記コンピュータプログラムは、ハードディスク、フラッシュメモリ等の半導体メモリ素子、光ディスク等の記憶媒体に格納され得る。記憶媒体へのプログラムの記録形式は、訓練装置200Aがプログラムを読み取り可能である限り制限されない。前記記憶媒体への記録は、不揮発性であることが好ましい。
【0177】
ここで、「プログラム」とは、CPUにより、直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【0178】
4-2.細胞解析システムの第2の実施形態
第2の実施形態にかかる細胞解析システム2000は、図22に示す様に、細胞撮像装置100Aと、人工知能アルゴリズムを訓練し、かつ細胞の解析を行う、訓練/解析装置200Bとを備える。第1の実施形態にかかる細胞解析システム1000は、人工知能アルゴリズムの訓練と細胞の解析を異なるコンピュータが行っていた。第2の実施形態では、1台のコンピュータが、人工知能アルゴリズムの訓練と細胞の解析を行う例である。訓練/解析装置200Bは、細胞撮像装置100Aから、訓練画像70PA,70PB,70NA,70NB,75P1から75Px,75N1から75Nx,90A,90B及び解析画像80A,80B,85T1から85Tx,95を取得する。
【0179】
訓練/解析装置200Bのハードウエアの構成は、図19に示す細胞解析装置400Aと同様である。訓練/解析装置200Bの機能を図23を用いて説明する。訓練/解析装置200Bは、訓練データ生成部201と、訓練データ入力部202と、アルゴリズム更新部203と、解析データ生成部401と、解析データ入力部402と、解析部403と、訓練データデータベース(DB)204と、アルゴリズムデータベース(DB)205、とを備える。各機能構成は、図17及び図20に示す構成と基本的に同様であるが、本実施形態では、訓練データデータベース(DB)204に訓練データ73,78,92及び解析データ82,88,96が格納される。図18(A)に示すステップS11及び図18(B)に示すステップS111が訓練データ生成部201に該当する。図18(A)に示すステップS12及び図18(B)に示すステップS112が訓練データ入力部202に該当する。図18(A)に示すステップS14がアルゴリズム更新部203に該当する。図21に示すステップS21が解析データ生成部401に該当する。図21に示すステップS22が解析データ入力部402に該当する。図21に示すステップS23が解析部403に該当する。
【0180】
訓練処理及び細胞解析処理は、上記4-1.に記載の説明をここに援用する。但し、処理の過程で生成される各種データは、訓練/解析装置200Bの記憶部23又はメモリ22に記憶される。
【0181】
4-3.細胞解析システムの第3の実施形態
第3の実施形態にかかる細胞解析システム3000は、図24に示す様に、細胞撮像装置100Bと、人工知能アルゴリズムを訓練し、かつ細胞の解析を行う訓練装置200Cと、細胞撮像装置100Aと、細胞撮像装置100Aから画像の取得を行う画像取得装置400Bとを備える。第1の実施形態にかかる細胞解析システム1000は、人工知能アルゴリズムの訓練と細胞の解析を異なるコンピュータが行っていた。第3の実施形態では、訓練装置200Cが、人工知能アルゴリズムの訓練と細胞の解析を行う例である。訓練装置200Cは、細胞撮像装置100Bから、訓練画像70PA,70PB,70NA,70NB,75P1から75Px,75N1から75Nx,90A,90Bを取得し、画像取得装置400Bから解析画像80A,80B,85T1から85Tx,95を取得する。
【0182】
訓練装置200Cと画像取得装置400Bのハードウエアの構成は、図19に示す細胞解析装置400Aと同様である。訓練装置200Cの機能を図25を用いて説明する。訓練装置200Cの機能構成は、図23に示す訓練/解析装置200Bと同様であり、訓練データ生成部201と、訓練データ入力部202と、アルゴリズム更新部203と、解析データ生成部401と、解析データ入力部402と、解析部403と、訓練データデータベース(DB)204と、アルゴリズムデータベース(DB)205、とを備える。各機能構成は、図17及び図20に示す構成と基本的に同様であるが、本実施形態では、訓練データデータベース(DB)204に訓練データ73,78,92及び解析データ82,88,96が格納される。図18(A)に示すステップS11及び図18(B)に示すステップS111が訓練データ生成部201に該当する。図18(A)に示すステップS12及び図18(B)に示すステップS112が訓練データ入力部202に該当する。図18(A)に示すステップS14がアルゴリズム更新部203に該当する。図21に示すステップS21が解析データ生成部401に該当する。図21に示すステップS22が解析データ入力部402に該当する。図21に示すステップS23が解析部403に該当する。
【0183】
訓練処理及び細胞解析処理は、上記4-1.に記載の説明をここに援用する。但し、処理の過程で生成される各種データは、訓練200Cの記憶部23又はメモリ22に記憶される。
【0184】
5.その他
本発明は上述した実施形態に限定して解釈されるものではない。
【0185】
例えば、上述した実施形態においては、訓練データ及び解析用データの生成において、同一細胞の同一視野の別画像を複数用いているが、1枚の細胞画像から1つの訓練データを生成し、1枚の細胞画像から1つの解析用データを生成してもよい。
【0186】
また、上述した実施形態においては、1つの細胞の同じ視野の異なる光の波長領域を撮像した複数の画像から解析用データを生成しているが、他の方法により、1つの細胞を複数回撮像し、複数の画像を取得してもよい。例えば、1つの細胞を異なる角度から撮像して取得した複数の画像から解析用データを生成してもよいし、1つの細胞をタイミングをずらして撮像して取得した複数の画像から解析用データを生成してもよい。
【0187】
また、上述した実施形態においては、細胞の正常又は異常を判定しているが、細胞の種類、細胞の形態を判定してもよい。
【実施例
【0188】
実施例を用いて、実施形態についてより詳細に説明する。しかし、本発明は、実施例に限定して解釈されるものではない。
【0189】
I.末梢循環腫瘍細胞の検出
1.データ取得方法
CTCと血球のモデルサンプルとして、乳癌細胞株MCF7と末梢血単核血球PBMC(Peripheral Blood Mononuclear Cells)を用いた。細胞をHoechst試薬で染色後、イメージングフローサイトメータ(ImageStream MarkII, ルミネックス)に供し、明視野画像と核染色画像を取得した。イメージングフローサイトメータの条件は倍率:40倍、流速:Medium、EDFフィルタ有とした。
【0190】
2.解析
2-1.深層学習アルゴリズムによる解析例
(1)人工知能アルゴリズム
言語及びライブラリは、Python 3.7.3, TensorFlow 2.0 alpha Kerasを使用した。人工知能アルゴリズムとして畳み込みニューラルネットワーク(CNN)を使用した。
【0191】
(2)データセット
データセットの詳細を図26(A)に示す。なお、1個の細胞につき明視野画像と核染色像の2枚の画像を用いたため、解析には細胞数の2倍の画像数を使用した。画像サイズは32×32 pixelとなるようにトリミングした。その際、細胞核の重心が画像の中心となるように細胞を切り出した。明細書本文に記載された第1の人工知能アルゴリズム63を使用した末梢循環腫瘍細胞の解析方法にしたがって、訓練データと解析データを生成した。
【0192】
(3)結果
【0193】
MCF7とPBMCの2クラス判別を実施した。まず、訓練用データセットを用いて判別モデルを作成した。図26(B)にエポック数(学習回数)とAccuracy(正答率)の関係を示す。エポック数10回未満で正答率がほぼ100%に達した。エポック数50回目のモデルを判別モデルとして正答率を検討した。エポック数50回目のモデルを用いた場合、訓練用データセットの正答率は99.19%であり、検証用データセットの正答率は99.10%であり非常に良好な成績であった。
【0194】
図26(C)に正答した画像の例を示す。Nucは核染色を示し、BFは位相差画像を示す。
【0195】
2-2.深層学習以外の機械学習による解析例
(1)人工知能アルゴリズム
言語及びライブラリは、Python 3.7.3, scikit-learnを使用した。人工知能アルゴリズムとしてランダムフォレスト及び勾配ブースティングを使用した。
【0196】
(2)データセット
図26(A)に示したデータセットの明視野画像と核染色像それぞれについて、イメージングフローサイトメータに付属の解析ソフト(IDEAS)を用いて、図13に示す70種類の特徴量(明視野画像と核染色画像を合わせて140種類の特徴量)を定義したデータセットを生成した。
【0197】
(3)結果
MCF7とPBMCの2クラス判別を実施した。上記のデータセットを用いてランダムフォレスト及び勾配ブースティングにより判別モデルを作成した。それぞれのモデルを用いた場合の正答率を図27に示す。正答率は全て99.9%以上であり、ランダムフォレスト、勾配ブースティングとも正答率は非常に良好であった。
【0198】
II.染色体異常細胞の検出
1.検討1
(1).人工知能アルゴリズム
言語及びライブラリは、Python 3.7.3, TensorFlow 2.0 alphaを使用した。人工知能アルゴリズムとして畳み込みニューラルネットワーク(CNN)を使用した。訓練は50回まで行った。
【0199】
(2).データ取得方法
PML-RARAキメラ遺伝子陽性細胞をイメージングフローサイトメータMI-1000に供しチャンネル2(緑色)とチャンネル4(赤色)の画像を取得した。倍率は60倍、EDFフィルタ有で撮像した。
【0200】
既知の方法により染色体異常がない(G2R2F0)と判定された陰性コントロール細胞のチャンネル2(緑色)及びチャンネル4(赤色)の画像セットから、明細書本文に記載した第1の人工知能アルゴリズム60を使用した染色体異常細胞の解析方法にしたがって、陰性統合訓練データを生成した。陰性統合訓練データに染色体異常が陰性であることを示す「negaラベル」を付し、ラベル付き陰性統合訓練データを生成した。同様に、既知の方法により染色体異常がある(G3R3F2)と判定された陽性コントロール細胞のチャンネル2及びチャンネル4の画像セットから、陽性統合訓練データを生成した。陽性統合訓練データに染色体異常が陽性であることを示す「posiラベル」を付し、ラベル付き陽性統合訓練データを生成した。ここで、例えば、G2R2F0の「G」及び「R」はチャンネル番号を意味し、「F」は融合シグナルを示す。数字は、1つの細胞におけるシグナルの数を示す。
【0201】
ラベル付き陰性統合訓練データを3741セット、ラベル付き陽性統合訓練データを2052セット準備し、これらの6割にあたる3475セットを訓練データとして使用した。また、3割にあたる1737セットをテストデータ、1割にあたる581セットをバリデーションデータとして使用した。
【0202】
(3)結果
正答率は、100%であった。また、図28(A)にエポック数の増加に伴う損失率の変化を示す。エポック数の増加に伴い損失率の低下が認められた。また、図28(B)にエポック数の増加に伴う正答率の変化を示す。エポック数の増加に伴い、正答率が向上した。
【0203】
2.検討2
(1)人工知能アルゴリズム
言語及びライブラリは、Python 3.7.3, TensorFlow 2.0 alphaを使用した。人工知能アルゴリズムとして畳み込みニューラルネットワーク(CNN)を使用した。訓練は100回まで行った。
【0204】
(2)データ
PML-RARAキメラ遺伝子陽性検体3サンプル(サンプルID : 03-532、04-785、11-563)をイメージングフローサイトメータMI-1000に供しチャンネル2(緑色)とチャンネル4(赤色)の画像を取得した。倍率は60倍、EDFフィルタ有で撮像した。既知の方法により染色体異常がない(G2R2F0)と判定された細胞のチャンネル2及びチャンネル4の画像セットから、明細書本文に記載した方法にしたがって、陰性統合訓練データを生成した。陰性統合訓練データに染色体異常が陰性であることを示す「negaラベル」を付し、ラベル付き陰性統合訓練データを生成した。同様に、既知の方法により染色体異常がある(G3R3F2)と判定された細胞のチャンネル2及びチャンネル4の画像セットから、陽性統合訓練データを生成した。陽性統合訓練データに染色体異常が陽性であることを示す「posiラベル」を付し、ラベル付き陽性統合訓練データを生成した。ここで、例えば、G2R2F0の「G」及び「R」はチャンネル番号を意味し、「F」は融合シグナルを示す。数字は、1つの細胞におけるシグナルの数を示す。
【0205】
これらの検体の撮像画像を用いて、深層学習アルゴリズムによるPML-RARAキメラ遺伝子の検出を試みた。訓練データ数を20537、解析データ数を5867として検討を行った。
【0206】
(3)結果
各検体における判定結果を図29(A)から(C)に示す。(A)は検体番号04-785、(B)は検体番号03-352、(C)は検体番号11-563の推論結果を示す。推論結果は全解析データのうち、正しく陽性あるいは陰性と判定された細胞の割合は92%となった。また、各検体の正答率は、いずれも90%程度で偏りは見られなかった。さらに、偽陽性あるいは偽陰性となる割合も3~6%で偏りは見られなかった。この結果から、検体ごとのバイアス及び陽性あるいは陰性のバイアスがかかっていないモデルを生成できていると考えられた。
【符号の説明】
【0207】
10 試料
20A,20B,20C, 制御部
50,53,60,63,94,97 人工知能アルゴリズム
70,75,90 訓練画像
73,78,92 訓練用データ
74N,74P ラベル
79N,79P ラベル
80,85,95 解析対象画像
82,87,96 解析用データ
84 データ
88 データ
93N,93P ラベル
98 データ
110 フローセル
111 流路
120,121,122,123 光源
160 撮像部
200A 生成装置
200B,200C,400A 細胞解析装置
1000,2000,3000 細胞解析システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29