知財求人 - 知財ポータルサイト「IP Force」
▶ 学校法人順天堂の特許一覧 ▶ シスメックス株式会社の特許一覧
特開2024-10110疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024010110
(43)【公開日】2024-01-23
(54)【発明の名称】疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
(51)【国際特許分類】
G01N 33/48 20060101AFI20240116BHJP
G06T 7/00 20170101ALI20240116BHJP
G06V 20/69 20220101ALI20240116BHJP
G06V 10/82 20220101ALI20240116BHJP
G06V 10/762 20220101ALI20240116BHJP
G06V 10/766 20220101ALI20240116BHJP
G06V 10/774 20220101ALI20240116BHJP
【ＦＩ】
G01N33/48 M
G06T7/00 630
G06V20/69
G06T7/00 350C
G06V10/82
G06T7/00 350B
G06V10/762
G06V10/766
G06V10/774
【審査請求】有
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2023183746
(22)【出願日】2023-10-26
(62)【分割の表示】P 2019086363の分割
【原出願日】2019-04-26
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】502285457
【氏名又は名称】学校法人順天堂
(71)【出願人】
【識別番号】390014960
【氏名又は名称】シスメックス株式会社
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】大坂 顯通
(72)【発明者】
【氏名】田部 陽子
(72)【発明者】
【氏名】木村 考伸
(57)【要約】
【課題】
個々の細胞画像に基づいて疾患を識別することを一課題とする。
【解決手段】
被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する、ことを含む、疾患解析を支援するための方法により課題を解決する。
【選択図】図１
個々の細胞画像に基づいて疾患を識別することを一課題とする。
【解決手段】
被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する、ことを含む、疾患解析を支援するための方法により課題を解決する。
【選択図】図１
【特許請求の範囲】
【請求項1】
被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、
前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する、
ことを含む、疾患解析を支援するための方法。
前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する、
ことを含む、疾患解析を支援するための方法。
【請求項2】
前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞の種類を識別する、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項3】
前記細胞形態分類に関する情報は、細胞の種類毎の細胞数に関する情報である、請求項２に記載の方法。
【請求項4】
前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞における異常所見の種類を識別する、
請求項１又は２に記載の方法。
請求項１又は２に記載の方法。
【請求項5】
前記細胞形態分類に関する情報は、異常所見の種類毎の細胞数に関する情報である、請求項４に記載の方法。
【請求項6】
前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞の種類毎に異常所見の種類を識別する、請求項１又は２に記載の方法。
【請求項7】
前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞に関する情報を含む解析データを、ニューラルネットワーク構造を有する深層学習アルゴリズムに入力し、前記深層学習アルゴリズムによって、各解析対象の細胞の形態を分類する、
請求項１から６のいずれか一項に記載の方法。
請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記コンピュータアルゴリズムが、機械学習アルゴリズムであり、
前記被検体が保有する疾患の解析は、前記細胞形態分類に関する情報を特徴量として前記機械学習アルゴリズムに入力することにより行われる、請求項１から７のいずれか一項に記載の方法。
前記被検体が保有する疾患の解析は、前記細胞形態分類に関する情報を特徴量として前記機械学習アルゴリズムに入力することにより行われる、請求項１から７のいずれか一項に記載の方法。
【請求項9】
前記機械学習アルゴリズムが、木、回帰、ニューラルネットワーク、ベイズ、クラスタリング、又はアンサンブル学習から選択される、請求項８に記載の方法。
【請求項10】
前記機械学習アルゴリズムが、勾配ブースティング木である、請求項９に記載の方法。
【請求項11】
前記細胞形態分類に関する情報を取得する工程では、各解析対象の細胞が複数の細胞の形態分類のそれぞれに属する確率を求め、前記細胞の形態分類の種類毎の前記確率の総和を算出し、前記総和を前記細胞形態分類に関する情報として取得する、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
前記試料が、血液試料である、請求項１から１１のいずれか一項に記載の方法。
【請求項13】
前記疾患が、造血系疾患である、請求項１から１２のいずれか一項に記載の方法。
【請求項14】
前記造血系疾患が、再生不良性貧血又は骨髄異形成症候群である、
請求項１３に記載の方法。
請求項１３に記載の方法。
【請求項15】
前記異常所見が、核形態異常、顆粒異常、細胞の大きさ異常、細胞奇形、細胞破壊、空砲、幼若細胞、封入体の存在、デーレ小体、衛星現象、核網異常、花弁様核、Ｎ／Ｃ比大、ブレッブ様、スマッジ及びヘアリー細胞様形態よりなる群から選択される少なくとも一種を含む、請求項４～６のいずれか一項に記載の方法。
【請求項16】
前記核形態異常が、過分葉、低分葉、偽ペルゲル核異常、輪状核、球形核、楕円形核、アポトーシス、多核、核崩壊、脱核、裸核、核辺縁不整、核断片化、核間橋、複数核、切れ込み核、核分裂及び核小体異常から選択される少なくとも一種を含み、
前記顆粒異常が、脱顆粒、顆粒分布異常、中毒性顆粒、アウエル小体、ファゴット細胞、及び偽Ｃｈｅｄｉａｋ－Ｈｉｇａｓｈｉ顆粒様顆粒から選択される少なくとも一種を含み、
前記細胞の大きさ異常が、巨大血小板を含む、
請求項１５に記載の方法。
前記顆粒異常が、脱顆粒、顆粒分布異常、中毒性顆粒、アウエル小体、ファゴット細胞、及び偽Ｃｈｅｄｉａｋ－Ｈｉｇａｓｈｉ顆粒様顆粒から選択される少なくとも一種を含み、
前記細胞の大きさ異常が、巨大血小板を含む、
請求項１５に記載の方法。
【請求項17】
前記細胞の種類が、好中球、好酸球、血小板、リンパ球、単球、及び好塩基球から選択される少なくとも一種を含む、請求項２又は３に記載の方法。
【請求項18】
前記細胞の種類が、さらに、後骨髄球、骨髄球、前骨髄球、芽球、形質細胞、異型リンパ球、幼若好酸球、幼若好塩基球、赤芽球、及び巨核球から選択される少なくとも一種を含む、請求項１７に記載の方法。
【請求項19】
疾患解析を支援するための装置であって、
処理部を備え、
前記処理部は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、
前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する、
装置。
処理部を備え、
前記処理部は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、
前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する、
装置。
【請求項20】
被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得するステップと、
前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析するステップと、
をコンピュータに実行させる、疾患解析を支援するためのプログラム。
前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析するステップと、
をコンピュータに実行させる、疾患解析を支援するためのプログラム。
【請求項21】
疾患解析を支援するためのコンピュータアルゴリズムの訓練方法であって、
被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、
取得した前記細胞形態分類に関する情報を第１の訓練データとし、前記被検体の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力することを含む、訓練方法。
被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、
取得した前記細胞形態分類に関する情報を第１の訓練データとし、前記被検体の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力することを含む、訓練方法。
【請求項22】
疾患解析を支援するためのコンピュータアルゴリズムの訓練装置であって、
処理部を備え、
前記処理部は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、取得した前記細胞形態分類に関する情報を第１の訓練データとし、前記被検体の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力する、訓練装置。
処理部を備え、
前記処理部は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、取得した前記細胞形態分類に関する情報を第１の訓練データとし、前記被検体の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力する、訓練装置。
【請求項23】
疾患解析を支援するためのコンピュータアルゴリズムの訓練プログラムであって、
被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得するステップと、
前記細胞形態分類に関する情報を第１の訓練データとし、前記被検体の疾患情報を第２の訓練データとして、コンピュータアルゴリズムに入力するステップと、をコンピュータに実行させる、訓練プログラム。
被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得するステップと、
前記細胞形態分類に関する情報を第１の訓練データとし、前記被検体の疾患情報を第２の訓練データとして、コンピュータアルゴリズムに入力するステップと、をコンピュータに実行させる、訓練プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、疾患解析を支援する方法、装置、及びコンピュータプログラム、並びに疾患解析を支援するためのコンピュータアルゴリズムを訓練する方法、装置、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、組織画像から抽出した、核領域の数、面積、形状、円形度、色、色度、腔隙領域の数、面積、形状、円形度、間質領域の数、面積、形状、円形度、色、色度、管腔領域の数、面積、形状、円形度、画像のテクスチャ、ウエーブレット変換値を用いて算出される特徴量、上皮細胞が筋上皮細胞を伴う２層構造を示す程度、線維化の程度、乳頭状パターンの有無、ふるい状パターンの有無、壊死物質の有無、充実性パターンの有無、画像の色或いは色度を用いて算出される特徴量をニューラルネットワークに入力し、「硬癌パターン」及び「管内性線維腫瘍パターン」の病理組織の鑑別を行う方法が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平１０－１９７５２２号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献１には、組織の画像に基づいて疾患を識別していることは開示されているが、個々の細胞画像に基づいた疾患の識別については開示されていない。
【0005】
本発明は、個々の細胞画像から精度良く疾患を識別することを一課題とする。
【課題を解決するための手段】
【0006】
本発明は、疾患解析を支援するための方法に関する。前記方法は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する。これらの構成によれば、個々の細胞画像に基づいて、疾患を識別することができる。
【0007】
好ましくは、前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞の種類を識別する。より好ましくは、前記細胞形態分類に関する情報は、細胞の種類毎の細胞数に関する情報（６４）である。これらの構成によれば、個々の細胞の種類に基づいて、疾患を識別することができる。
【0008】
好ましくは、前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞における異常所見の種類を識別する。より好ましくは、前記細胞形態分類に関する情報は、異常所見の種類毎の細胞数に関する情報（６３）である。これらの構成によれば、個々の細胞における異常所見の種類に基づいて、疾患を識別することができる。
【0009】
前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞の種類毎に異常所見の種類を識別する。これらの構成によれば、個々の細胞画像に基づいて、より精度よく
、疾患を識別することができる。
、疾患を識別することができる。
【0010】
前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞に関する情報を含む解析データを、ニューラルネットワーク構造を有する深層学習アルゴリズムに入力し、前記深層学習アルゴリズムによって、各解析対象の細胞の形態を分類する。これらの構成によれば、より精度よく、疾患を識別することができる。
【0011】
前記コンピュータアルゴリズムが、機械学習アルゴリズムであり、前記被検体が保有する疾患の解析は、前記細胞形態分類に関する情報を特徴量として機械学習アルゴリズム（６７）に入力することにより行われる。これらの構成によれば、より精度よく、疾患を識別することができる。
【0012】
機械学習アルゴリズム（６７）は、好ましくは、木、回帰、ニューラルネットワーク、ベイズ、クラスタリング、又はアンサンブル学習から選択される。より好ましくは、前記機械学習アルゴリズムが、勾配ブースティング木である。これらの機械学習アルゴリズムを使用することにより、より正確に疾患を識別することができる。
【0013】
前記細胞形態分類に関する情報を取得する工程では、各解析対象の細胞が複数の細胞の形態分類のそれぞれに属する確率を求め、前記細胞の形態分類の種類毎の前記確率の総和を算出し、前記総和を前記細胞形態分類に関する情報として取得する。これらの構成によれば、より精度の高い疾患の識別が可能である。
【0014】
好ましくは、前記試料は、血液試料である。血液中の細胞は、様々な疾患の病態を反映するため、より精度の高い疾患の識別が可能である。
【0015】
好ましくは、前記疾患は、造血系疾患である。本発明によれば、造血系疾患を精度よく識別することができる。
【0016】
前記造血系疾患が、再生不良性貧血又は骨髄異形成症候群である。本発明によれば、造血系疾患を精度よく識別することができる。
【0017】
好ましくは、前記異常所見は、核形態異常、顆粒異常、細胞の大きさ異常、細胞奇形、細胞破壊、空砲、幼若細胞、封入体の存在、デーレ小体、衛星現象、核網異常、花弁様核、Ｎ／Ｃ比大、ブレッブ様、スマッジ及びヘアリー細胞様形態よりなる群から選択される少なくとも一種である。これらの細胞においてこれらの異常所見を評価することにより、より精度の高い疾患の識別が可能である。
【0018】
好ましくは、前記核形態異常が、過分葉、低分葉、偽ペルゲル核異常、輪状核、球形核、楕円形核、アポトーシス、多核、核崩壊、脱核、裸核、核辺縁不整、核断片化、核間橋、複数核、切れ込み核、核分裂及び核小体異常から選択される少なくとも一種を含む。前記顆粒異常が、脱顆粒、顆粒分布異常、中毒性顆粒、アウエル小体、ファゴット細胞、及び偽Ｃｈｅｄｉａｋ－Ｈｉｇａｓｈｉ顆粒様顆粒から選択される少なくとも一種を含む。前記細胞の大きさ異常が、巨大血小板を含む。これらの異常所見を評価することにより、より精度の高い疾患の識別が可能である。
【0019】
好ましくは、前記細胞の種類は、好中球、好酸球、血小板、リンパ球、単球、及び好塩基球から選択される少なくとも一種を含む。これらの細胞の種類を評価することにより、より精度の高い疾患の識別が可能である。
【0020】
より好ましくは、前記細胞の種類が、さらに、後骨髄球、骨髄球、前骨髄球、芽球、形
質細胞、異型リンパ球、幼若好酸球、幼若好塩基球、赤芽球、及び巨核球から選択される少なくとも一種を含む。これらの細胞においてこれらの細胞の種類を評価することにより、より精度の高い疾患の識別が可能である。
質細胞、異型リンパ球、幼若好酸球、幼若好塩基球、赤芽球、及び巨核球から選択される少なくとも一種を含む。これらの細胞においてこれらの細胞の種類を評価することにより、より精度の高い疾患の識別が可能である。
【0021】
本発明は、疾患解析を支援するための装置（２００）に関する。装置（２００）は、処理部（２０）を備え、処理部（２０）は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する。
【0022】
本発明は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得するステップと、前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析するステップと、をコンピュータに実行させる、疾患解析を支援するためのプログラムに関する。
【0023】
疾患解析を支援するための装置又はプログラムによれば、精度の高い疾患の識別が可能である。
【0024】
本発明は、疾患解析を支援するためのコンピュータアルゴリズムの訓練方法に関する。前記訓練方法は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、取得した前記細胞形態分類に関する情報を第１の訓練データとし、前記被検体の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力することを含む。
【0025】
本発明は、疾患解析を支援するためのコンピュータアルゴリズムの訓練装置（１００）に関する。訓練装置（１００）は、処理部（１０）を備え、処理部（１０）は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、取得した前記細胞形態分類に関する情報を第１の訓練データとし、前記被検体の疾患情報（５５）を第２の訓練データとして、前記コンピュータアルゴリズムに入力する。
【0026】
本発明は、疾患解析を支援するためのコンピュータアルゴリズムの訓練プログラムに関する。被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得するステップと、前記細胞形態分類に関する情報を第１の訓練データとし、前記被検体の疾患情報（５５）を第２の訓練データとして、コンピュータアルゴリズムに入力するステップと、をコンピュータに実行させる。
【0027】
訓練方法、訓練装置（１００）又は訓練プログラムによれば、精度の高い疾患の識別が可能である。
【発明の効果】
【0028】
本発明によれば、個々の細胞画像から精度良く疾患を識別することができる。
【図面の簡単な説明】
【0029】
【図1】識別器を用いた支援方法の概要を示す図である。
【図2】深層学習用訓練データの生成手順と、第１の深層学習アルゴリズム、第２の深層学習アルゴリズム及び機械学習アルゴリズムの訓練手順の例を示す模式図である。
【図3】ラベル値の例を示す。
【図4】機械学習用訓練データの例を示す。
【図5】解析データの生成手順と、コンピュータアルゴリズムを用いた疾患解析の手順の例を示す模式図である。
【図6】疾患解析システム１の構成例の概略を示す図である。
【図7】ベンダ側装置１００のハードウェア構成の例を示すブロック図である。
【図8】ユーザ側装置２００のハードウェア構成の例を示すブロック図である。
【図9】訓練装置１００Ａの機能の例を説明するためのブロック図である。
【図10】深層学習処理の流れの例を示すフローチャートである。
【図11】ニューラルネットワークを説明するための模式図である。
【図12】機械学習装置１００Ａの機能の例を説明するためのブロック図である。
【図13】第１情報を用いた機械学習処理の流れの例を示すフローチャートである。
【図14】第１情報と第２情報を用いた機械学習処理の流れの例を示すフローチャートである。
【図15】疾患解析装置２００Ａの機能の例を説明するためのブロック図である。
【図16】第１情報を用いた疾患解析処理の流れの例を示すフローチャートである。
【図17】第１情報と第２情報を用いた疾患解析処理の流れの例を示すフローチャートである。
【図18】疾患解析システム２の構成例の概略を示す図である。
【図19】統合型の疾患解析装置２００Ｂの機能の例を説明するためのブロック図である。
【図20】疾患解析システム３の構成例の概略を示す図である。
【図21】統合型の画像解析装置１００Ｂの機能の例を説明するためのブロック図である。
【図22】実施例で使用した識別器の構造を示す図である。
【図23】深層学習アルゴリズムの訓練データとして使用した細胞の数と、訓練された深層学習アルゴリズムの性能を評価するためのバリデーションに用いた細胞の数を示す表である。
【図24】訓練された第２の深層学習アルゴリズムの性能を評価した結果を示す表である。
【図25】訓練された第１の深層学習アルゴリズムの性能を評価した結果を示す表である。
【図26】疾患解析に貢献する異常所見のヒートマップである。
【図27】疾患解析結果のROC曲線を示す図である。
【発明を実施するための形態】
【0030】
以下、発明を実施するための形態を、添付の図面を参照して詳細に説明する。なお、以下の説明及び図面において、同じ符号は同じ又は類似の構成要素を示すこととし、よって、同じ又は類似の構成要素に関する説明を省略する。
【0031】
被検体が保有する疾患解析を支援する方法（以下、単に「支援方法」とする場合がある）について説明する。支援方法は、各解析対象の細胞の形態を分類し、その分類結果に基づき、前記被検体が保有する疾患を解析することを含む。被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得する。支援方法は、細胞形態分類に関する情報として異常所見の種類に関する情報（以下、「第１情報」と呼ぶことがある）に基づき、前記被検体が保有する疾患を解析することを含む。第１情報は、試料に含まれる複数の解析対象の細胞のそれぞれから検出された異常所見の
種類に基づいて取得された、前記試料に対応する前記異常所見の種類に関する情報である。異常所見は、解析対象の細胞を撮像した画像から識別される。また、支援方法は、細胞形態分類に関する情報として細胞の種類に関する情報（以下、「第２情報」と呼ぶことがある）に基づき、前記被検体が保有する疾患を解析することを含む。第２情報は、試料に含まれる複数の解析対象の細胞の種類に基づいて取得された、前記試料に対応する前記細胞の種類に関する情報である。細胞の種類は、解析対象の細胞を撮像した画像から識別される。
種類に基づいて取得された、前記試料に対応する前記異常所見の種類に関する情報である。異常所見は、解析対象の細胞を撮像した画像から識別される。また、支援方法は、細胞形態分類に関する情報として細胞の種類に関する情報（以下、「第２情報」と呼ぶことがある）に基づき、前記被検体が保有する疾患を解析することを含む。第２情報は、試料に含まれる複数の解析対象の細胞の種類に基づいて取得された、前記試料に対応する前記細胞の種類に関する情報である。細胞の種類は、解析対象の細胞を撮像した画像から識別される。
【0032】
被検体は、疾患解析の対象となる動物である限り制限されない。動物としては、ヒト、イヌ、ネコ、ウサギ、サル等を挙げることができる。好ましくは、ヒトである。
【0033】
疾患は、上記動物が罹患する疾患で限り制限されない。例えば、疾患は、造血器系以外の組織の腫瘍、造血器系疾患、代謝性疾患、腎疾患、感染症、アレルギー性疾患、自己免疫疾患、外傷等を含み得る。
【0034】
造血器系以外の組織の腫瘍は、良性上皮性腫瘍、良性非上皮性腫瘍、悪性上皮性腫瘍、悪性非上皮性腫瘍を含み得る。造血器系以外の組織の腫瘍として、好ましくは悪性上皮性腫瘍、悪性非上皮性腫瘍を挙げることができる。
【0035】
造血器系疾患として、腫瘍、貧血、多血症、血小板異常、骨髄線維症等を挙げることができる。造血系腫瘍として、好ましくは、骨髄異型性症候群、白血病（急性骨髄芽球性白血病、急性骨髄芽球性白血病（好中球分化を伴う）、急性前骨髄球性白血病、急性骨髄単球性白血病、急性単球性白血病、赤白血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性白血病、慢性骨髄性白血病、及び慢性リンパ球性白血病等）、悪性リンパ腫（ホジキンリンパ腫及び非ホジキンリンパ腫等）、多発性骨髄腫、肉芽腫等を挙げることができる。造血系の悪性腫瘍として、好ましくは骨髄異型性症候群、白血病、及び多発性骨髄腫であり、より好ましくは骨髄異形成症候群である。
【0036】
貧血として、再生不良性貧血、鉄欠乏性貧血、巨赤芽球性貧血（ビタミンＢ１２欠乏症、葉酸欠乏症等を含む）、出血性貧血、腎性貧血、溶血性貧血、サラセミア、鉄芽球性貧血、無トランスフェリン血症等を挙げることができる。貧血として、好ましくは再生不良性貧血、悪性貧血、鉄欠乏性貧血、及び鉄芽球性貧血であり、より好ましくは再生不良性貧血である。
【0037】
多血症は、真性多血症、二次性多血症を含み得る。多血症として、好ましくは真性多血症である。
【0038】
血小板異常は、血小板減少症、血小板増加症、巨核球異常を含み得る。血小板減少症は、播種性血管内凝固症候群、特発性血小板減少性紫斑病、ＭＹＨ９異常症、ベルナール・スーリエ症候群等を含み得る。血小板増加症は、本態性血小板血症を含み得る。巨核球異常は、小型巨核球、多核分離巨核球、血小板形成不全等を含み得る。
【0039】
骨髄線維症は、原発性骨髄線維症、及び二次性骨髄線維症を含み得る。
【0040】
代謝性疾患は、糖質代謝異常、脂質代謝異常、電解質異常、金属代謝異常等を含み得る。糖代謝異常は、ムコ多糖症、糖尿病、糖原病を含み得る。糖代謝異常として、好ましくはムコ多糖症、及び糖尿病である。脂質代謝異常は、ゴーシェ病、ニーマン・ピック病、高脂血症、及び動脈硬化性疾患を含み得る。動脈硬化性疾患には、動脈硬化症、粥状硬化症、血栓症、塞栓症等を含み得る。電解質異常には、高カリウム血症、低カリウム血症、高ナトリウム血症、低ナトリウム血症等を含み得る。金属代謝異常には、鉄代謝異常、銅
代謝異常、カルシウム代謝異常、無機リン代謝異常を含み得る。
代謝異常、カルシウム代謝異常、無機リン代謝異常を含み得る。
【0041】
腎障害には、ネフローゼ症候群、腎機能低下、急性腎不全、慢性腎疾患、腎不全等を含み得る。
【0042】
感染症は、細菌感染症、ウイルス感染症、リケッチア感染症、クラミジア感染症、真菌感染症、原虫感染症、寄生虫感染症を含み得る。
【0043】
細菌感染症の原因菌は、特に制限されない。原因菌として、例えば大腸菌群、ブドウ球菌、連鎖球菌、ヘモフィルス属菌、ナイセリア属菌、モラキセラ属菌、リステリア属菌、ジフテリア菌、クトストリジウム菌等、ヘリコバクター菌、結核菌群等を挙げることができる。
【0044】
ウイルス感染症の原因ウイルスは制限されない。原因ウイルスとして、インフルエンザウイルス、麻疹ウイルス、風疹ウイルス、水痘ウイルス、デング熱ウイルス、サイトメガロウイルス、ＥＢウイルス、エンテロウイルス、ヒト免疫不全ウイルス、ＨＴＬＶ－１（ｈｕｍａｎ Ｔ－ｌｙｍｐｈｏｔｒｏｐｉｃ ｖｉｒｕｓ ｔｙｐｅ－Ｉ）、狂犬病ウイルス等を挙げることができる。
【0045】
真菌感染症の原因真菌は特に制限されない。原因真菌は、酵母様真菌、糸状菌等を含み得る。酵母様真菌は、クリプトコッカス属菌、カンジダ属菌等を含み得る。糸状菌は、アスペルギルス属菌等を含み得る。
【0046】
原虫感染症の原因虫は、特に制限されない。原因虫は、マラリア、カラアザール等を含み得る。
【0047】
寄生虫感染症の原因虫は、回虫、線虫、鉤虫等を含み得る。
【0048】
感染症として、好ましくは細菌感染症、ウイルス感染症、原虫感染症、寄生虫感染症を挙げることができ、より好ましくは細菌感染症を挙げることができる。また、感染症の病態として、肺炎、敗血症、髄膜炎、尿路感染症を含み得る。
【0049】
アレルギー性疾患は、Ｉ型、ＩＩ型、ＩＩＩ型、ＩＶ型、又はＶ型に属するアレルギー疾患を含み得る。Ｉ型に属するアレルギー性疾患は、花粉症、アナフィラキシーショック、アレルギー性鼻炎、結膜炎、気管支喘息、蕁麻疹、アトピー性皮膚炎等を含み得る。ＩＩ型に属するアレルギー性疾患は、免疫不適合輸血、自己免疫性溶血性貧血、自己免疫性血小板減少症、自己免疫性顆粒球減少症、橋本病、グッドバスチャー症候群等を含み得る。ＩＩＩ型に属するアレルギー性疾患は、免疫複合体腎炎、アルサス反応、血清病等を含み得る。ＩＶ型に属するアレルギー疾患は、結核、接触性皮膚炎等を含み得る。Ｖ型に属するアレルギー疾患は、バセドウ病等を含み得る。アレルギー性疾患として、好ましくはＩ型、ＩＩ型、ＩＩＩ型、及びＩＶ型であり、より好ましくは、Ｉ型、ＩＩ型、及びＩＩＩ型であり、さらに好ましくはＩ型である。ＩＩ型、ＩＩＩ型、及びＶ型に属するアレルギー疾患は、一部後述する自己免疫疾患と重複する。
【0050】
自己免疫疾患は、全身性エリテマトーデス、関節リウマチ、多発性硬化症、シェーグレン症候群、強皮症、皮膚筋炎、原発性胆汁性肝硬変、原発性硬化性胆管炎、潰瘍性大腸炎、クローン病、乾癬、尋常性白斑、水疱性類天疱瘡、円形脱毛症、突発性拡張型心筋症、１型糖尿病、バセドウ病、橋本病、重症筋無力症、ＩｇＡ腎症、膜性腎症、巨赤芽球性貧血等を含み得る。自己免疫疾患として、好ましくは、全身性エリテマトーデス、関節リウマチ、多発性硬化症、シェーグレン症候群、強皮症、及び皮膚筋炎である。また、自己免
疫疾患として、好ましくは抗核抗体が検出される自己免疫疾患である。
疫疾患として、好ましくは抗核抗体が検出される自己免疫疾患である。
【0051】
外傷には、骨折、熱傷等を含み得る。
【0052】
試料は、被検体から採取できるものである限り制限されない。試料として好ましくは、血液、骨髄、尿、及び体液である。血液として、末梢血、静脈血、動脈血等を挙げることができる。血液は、末梢血であることが好ましい。血液は、エチレンジアミン四酢酸塩ナトリウム塩又はカリウム塩）、ヘパリンナトリウム等の抗凝固剤を使用して採血された末梢血を挙げることができる。体液は、血液及び尿以外である。このような体液として、腹水、胸水、髄液等を挙げることができる。
【0053】
試料は、解析する疾患に応じて選択してもよい。血液中の細胞は、特に、上述した疾患において、後述する細胞の種類の数的な分布及び／又は異常所見の種類に正常とは異なる特徴を有することが多い。したがって、様々な疾患について、血液試料を用いて解析を行うことが可能である。また、骨髄は、特に造血器系疾患の解析が可能である。腹水、胸水、髄液等に含まれる細胞は、特に造血器系以外の組織の腫瘍、造血器系疾患、感染症等の診断に有効である。尿は、特に造血器系以外の組織の腫瘍、感染症等の解析が可能である。
【0054】
解析対象の細胞は、試料に含まれる限り制限されない。解析対象の細胞は、疾患を解析するために使用される細胞を意図する。解析対象の細胞は、複数の細胞を含み得る。ここで複数とは、１種類の細胞の数が複数である場合、細胞種が複数である場合を含み得る。試料には、正常の場合、組織学的な顕微鏡観察や細胞学的な顕微鏡観察により形態学的に分類される複数の細胞の種類が含まれ得る。細胞の形態学的な分類（「細胞形態分類」ともいう）は、細胞の種類の分類と細胞の異常所見の種類の分類を含む。好ましくは、解析対象の細胞は、所定の細胞系統に属する細胞群である。所定の細胞系統とは、ある一種の組織幹細胞から分化した同じ系統に属する細胞群である。所定の細胞系統として好ましくは、造血系であり、より好ましくは血液中の細胞（「血中細胞」ともいう）である。
【0055】
造血系細胞は、従来法では、明視野用の染色を施した標本を顕微鏡の明視野でヒトが観察することにより、形態学的に分類される。前記染色は、ライト染色、ギムザ染色、ライトギムザ染色及びメイギムザ染色から選択されることが好ましい。より好ましくはメイギムザ染色である。標本は、所定の細胞群に属する各細胞の形態を個々に観察できる限り制限されない。例えば、塗抹標本、及び捺印標本等を挙げることができる。好ましくは、末梢血又は骨髄を試料とした塗抹標本であり、より好ましくは、末梢血の塗抹標本である。
【0056】
形態学的な分類では、血中細胞は、分葉核好中球及び桿状核好中球を含む好中球、後骨髄球、骨髄球、前骨髄球、芽球、リンパ球、形質細胞、異型リンパ球、単球、好酸球、好塩基球、赤芽球（有核赤血球であり、前赤芽球、好塩基性赤芽球、多染性赤芽球、正染性赤芽球、前巨赤芽球、好塩基性巨赤芽球、多染性巨赤芽球、及び正染性巨赤芽球を含む）、血小板、血小板凝集塊、及び巨核球（有核巨核球であり、ミクロメガカリオサイトを含む）等の細胞の種類を含む。
【0057】
また、前記所定の細胞群には、正常細胞の他、形態学的な異常所見を呈する異常細胞が含まれていてもよい。異常は、形態学的に分類される細胞の特徴として現れる。異常細胞の例は、所定の疾患に罹患した際に出現する細胞であり、例えば腫瘍細胞等である。造血系の場合、所定の疾患は、骨髄異型性症候群、白血病（急性骨髄芽球性白血病、急性骨髄芽球性白血病、急性前骨髄球性白血病、急性骨髄単球性白血病（好中球分化を伴う）、急性単球性白血病、赤白血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性白血病、慢性骨髄性白血病、及び慢性リンパ球性白血病等を含む、
悪性リンパ腫（ホジキンリンパ腫及び非ホジキンリンパ腫等）、及び多発性骨髄腫よりなる群から選択される疾患である。また、造血系の場合、異常所見は、核形態異常、空胞の存在、顆粒形態異常、顆粒分布異常、異常顆粒の存在、細胞の大きさ異常、封入体の存在及び裸核よりなる群から選択される少なくとも一種の形態学的特徴を有する細胞である。
悪性リンパ腫（ホジキンリンパ腫及び非ホジキンリンパ腫等）、及び多発性骨髄腫よりなる群から選択される疾患である。また、造血系の場合、異常所見は、核形態異常、空胞の存在、顆粒形態異常、顆粒分布異常、異常顆粒の存在、細胞の大きさ異常、封入体の存在及び裸核よりなる群から選択される少なくとも一種の形態学的特徴を有する細胞である。
【0058】
核形態異常には、核が小さくなるもの、核が大きくなるもの、核が過分葉になるもの、正常であれば分葉するべき核が分葉していないもの（偽ペルゲルの核異常等を含む）、空胞があるもの、核小体が肥大しているもの、核に切れ込みがあるもの、及び本来であれば１細胞に１つの核を有するべきところ１細胞に２核異常が存在するもの等を挙げることができる。
【0059】
細胞全体の形態の異常として、細胞質に空胞を有するもの（空胞変性とも呼ぶ）、巨大血小板、アズール顆粒、好中性顆粒、好酸性顆粒、好塩基性顆粒等の顆粒に形態的な異常を有するもの、前記顆粒の分布の異常（過剰、又は減少若しくは消失）を有するもの、異常顆粒（例えば、中毒性顆粒等）を有するもの、細胞の大きさ異常（正常よりも大きい、又は小さい）、封入体（デーレー小体、及びアウエル小体等）を有するもの、及び裸核のもの等を挙げることができる。
【0060】
好ましくは、前記異常所見は、核形態異常、顆粒異常、細胞の大きさ異常、細胞奇形、細胞破壊、空砲、幼若細胞、封入体の存在、デーレ小体、衛星現象、核網異常、花弁様核、Ｎ／Ｃ比大、ブレッブ様、スマッジ及びヘアリー細胞様形態よりなる群から選択される少なくとも一種よりなる群から選択される少なくとも一種である。
【0061】
好ましくは、前記核形態異常が、過分葉、低分葉、偽ペルゲル核異常、輪状核、球形核、楕円形核、アポトーシス、多核、核崩壊、脱核、裸核、核辺縁不整、核断片化、核間橋、複数核、切れ込み核、核分裂及び核小体異常から選択される少なくとも一種を含む。前記顆粒異常が、脱顆粒、顆粒分布異常、中毒性顆粒、アウエル小体、ファゴット細胞、及び偽Ｃｈｅｄｉａｋ－Ｈｉｇａｓｈｉ顆粒様顆粒から選択される少なくとも一種を含む。好酸球及び好塩基球における顆粒異常には、異常顆粒として細胞内での顆粒の分布が偏る等の現象が含まれる。前記細胞の大きさ異常が、巨大血小板を含む。
【0062】
好ましくは、前記細胞の種類は、好中球、好酸球、血小板、リンパ球、単球、及び好塩基球から選択される少なくとも一種を含む。
【0063】
より好ましくは、前記細胞の種類が、さらに、後骨髄球、骨髄球、前骨髄球、芽球、形質細胞、異型リンパ球、幼若好酸球、幼若好塩基球、赤芽球、及び巨核球から選択される少なくとも一種を含む。
【0064】
より好ましくは、前記造血系疾患が、再生不良性貧血又は骨髄異形成症候群であり、前記細胞の種類が、好中球であるとき、前記異常所見が、顆粒異常及び過分葉から選択される少なくとも一種であるか、前記細胞の種類が、好酸球であるとき、前記異常所見が、異常顆粒である。また、細胞の異常所見として、巨大血小板が含まれる。これらの所見を評価することにより、再生不良性貧血と骨髄異形成症候群を識別することができる。
【0065】
＜支援方法の概要＞
支援方法において、異常所見を識別すること、及び／又は細胞の種類を識別することは、画像から異常所見を識別すること、及び／又は細胞の種類を識別できる限り制限されない。識別は、検査者が行ってもよく、以下に述べる識別器を用いて行ってもよい。
支援方法において、異常所見を識別すること、及び／又は細胞の種類を識別することは、画像から異常所見を識別すること、及び／又は細胞の種類を識別できる限り制限されない。識別は、検査者が行ってもよく、以下に述べる識別器を用いて行ってもよい。
【0066】
図１を用いて、識別器を用いた支援方法の概要を説明する。支援方法において使用され
る識別器は、コンピュータアルゴリズムを含む。好ましくは、コンピュータアルゴリズムは、第１のコンピュータアルゴリズムと、第２のコンピュータアルゴリズムを含む。より好ましくは、第１のコンピュータアルゴリズムは、ニューラルネットワーク構造を有する複数の深層学習アルゴリズムを含む。第２のコンピュータアルゴリズムは、機械学習アルゴリズムを含む。好ましくは、深層学習アルゴリズムは、細胞の形態学的な特徴を定量的に表した特徴量を抽出するための第１のニューラルネットワーク５０と、細胞における異常所見の種類を識別するための第２のニューラルネットワーク５１、及び／又は細胞の種類を識別する第２のニューラルネットワーク５２含む。第１ニューラルネットワーク５０は細胞の特徴量を抽出し、第２のニューラルネットワーク５１，５２は、第１のニューラルネットワークの下流にあり、第１のニューラルネットワーク５０が抽出した特徴量に基づいて、細胞における異常所見、又は細胞の種類を識別する。より好ましくは、第２のニューラルネットワーク５１，５２は、細胞の種類の識別を目的として訓練されたニューラルネットワーク、細胞における異常所見毎に訓練された各異常所見に対応した複数種のニューラルネットワークを含んでいてもよい。例えば、図１において、第１の深層学習アルゴリズムは、第１の異常所見（例えば顆粒異常）を識別するための深層学習アルゴリズムであり、第１のニューラルネットワーク５０と、第１の異常所見を識別するために訓練された第２のニューラルネットワーク５１を含む。第１’の深層学習アルゴリズムは、第２の異常所見（例えば、過分葉）を検出するための深層学習アルゴリズムであり、第１のニューラルネットワーク５０と、第２の異常所見を識別するために訓練された第２のニューラルネットワーク５１を含む。第２の深層学習アルゴリズムは、細胞の種類を識別するための深層学習アルゴリズムであり、第１のニューラルネットワーク５０と、細胞の種類を識別するために訓練された第２のニューラルネットワーク５２を含む。
る識別器は、コンピュータアルゴリズムを含む。好ましくは、コンピュータアルゴリズムは、第１のコンピュータアルゴリズムと、第２のコンピュータアルゴリズムを含む。より好ましくは、第１のコンピュータアルゴリズムは、ニューラルネットワーク構造を有する複数の深層学習アルゴリズムを含む。第２のコンピュータアルゴリズムは、機械学習アルゴリズムを含む。好ましくは、深層学習アルゴリズムは、細胞の形態学的な特徴を定量的に表した特徴量を抽出するための第１のニューラルネットワーク５０と、細胞における異常所見の種類を識別するための第２のニューラルネットワーク５１、及び／又は細胞の種類を識別する第２のニューラルネットワーク５２含む。第１ニューラルネットワーク５０は細胞の特徴量を抽出し、第２のニューラルネットワーク５１，５２は、第１のニューラルネットワークの下流にあり、第１のニューラルネットワーク５０が抽出した特徴量に基づいて、細胞における異常所見、又は細胞の種類を識別する。より好ましくは、第２のニューラルネットワーク５１，５２は、細胞の種類の識別を目的として訓練されたニューラルネットワーク、細胞における異常所見毎に訓練された各異常所見に対応した複数種のニューラルネットワークを含んでいてもよい。例えば、図１において、第１の深層学習アルゴリズムは、第１の異常所見（例えば顆粒異常）を識別するための深層学習アルゴリズムであり、第１のニューラルネットワーク５０と、第１の異常所見を識別するために訓練された第２のニューラルネットワーク５１を含む。第１’の深層学習アルゴリズムは、第２の異常所見（例えば、過分葉）を検出するための深層学習アルゴリズムであり、第１のニューラルネットワーク５０と、第２の異常所見を識別するために訓練された第２のニューラルネットワーク５１を含む。第２の深層学習アルゴリズムは、細胞の種類を識別するための深層学習アルゴリズムであり、第１のニューラルネットワーク５０と、細胞の種類を識別するために訓練された第２のニューラルネットワーク５２を含む。
【0067】
機械学習アルゴリズムは、各試料について、深層学習アルゴリズムから出力された特徴量に基づいて、試料を採取した被検体が保有する疾患を解析し、疾患名又は疾患名を示すラベルを解析結果として出力する。
【0068】
次に、図２～図４に示す例を用いて深層学習用訓練データ７５、機械学習用訓練データの生成方法及び疾患の解析方法を説明する。以下では、説明の便宜上第１のニューラルネットワークと、第２のニューラルネットワークと、機械学習アルゴリズムである勾配ブースティング木を用いて説明する。
【0069】
＜深層学習用訓練データの生成＞
深層学習アルゴリズムを訓練するために使用される訓練用画像７０は、既に疾患名がつけられている被検体から採取した試料に含まれる解析対象の細胞を撮像した画像である。訓練用画像７０は、１試料について複数枚撮像される。各画像に含まれる解析対象の細胞は、形態学的な分類に基づく細胞の種類や異常所見を検査者が識別した結果と紐付けられている。訓練用画像７０を撮像するための標本は、解析対象の細胞と同種の細胞を含む試料から、解析対象の細胞を含む標本と同様の標本作成方法と染色方法で作成されることが好ましい。また、訓練用画像７０は、解析対象の細胞の撮像条件と同様の条件で撮像されることが好ましい。
深層学習アルゴリズムを訓練するために使用される訓練用画像７０は、既に疾患名がつけられている被検体から採取した試料に含まれる解析対象の細胞を撮像した画像である。訓練用画像７０は、１試料について複数枚撮像される。各画像に含まれる解析対象の細胞は、形態学的な分類に基づく細胞の種類や異常所見を検査者が識別した結果と紐付けられている。訓練用画像７０を撮像するための標本は、解析対象の細胞と同種の細胞を含む試料から、解析対象の細胞を含む標本と同様の標本作成方法と染色方法で作成されることが好ましい。また、訓練用画像７０は、解析対象の細胞の撮像条件と同様の条件で撮像されることが好ましい。
【0070】
訓練用画像７０は、例えば公知の光学顕微鏡、又はバーチャルスライドスキャナ等の撮像装置を用いて、細胞毎に予め取得することができる。図２に示す例では、血液像自動分析装置 ＤＩ－６０（シスメックス株式会社製）を用いて３６０画素×３６５画素で撮像
された生画像を、２５５画素×２５５画素に縮小することで訓練用画像７０を生成しているが、この縮小は必須ではない。訓練用画像７０の画素数は、解析ができる限り制限されないが、一辺が１００画素を超えていることが好ましい。また、図２に示す例では、好中球を中心とした周囲に赤血球が存在しているが、目的の細胞のみが入るように画像をトリミングしてもよい。少なくとも、１枚の画像の中に、訓練しようとする細胞を１細胞含み
（赤血球、及び正常サイズの血小板は含まれていてもよい）、訓練しようとする細胞に該当する画素が画像全体画素の１／９程度以上存在していれば訓練用画像７０として使用することができる。
された生画像を、２５５画素×２５５画素に縮小することで訓練用画像７０を生成しているが、この縮小は必須ではない。訓練用画像７０の画素数は、解析ができる限り制限されないが、一辺が１００画素を超えていることが好ましい。また、図２に示す例では、好中球を中心とした周囲に赤血球が存在しているが、目的の細胞のみが入るように画像をトリミングしてもよい。少なくとも、１枚の画像の中に、訓練しようとする細胞を１細胞含み
（赤血球、及び正常サイズの血小板は含まれていてもよい）、訓練しようとする細胞に該当する画素が画像全体画素の１／９程度以上存在していれば訓練用画像７０として使用することができる。
【0071】
例示的には、撮像装置における撮像は、ＲＧＢカラー及びＣＭＹカラー等で行われることが好ましい。カラー画像は、赤、緑及び青又はシアン、マゼンタ、イエロー等の各原色の濃淡又は輝度を、２４ビットの値（８ビット×３色）で表すことが好ましい。訓練用画像７０は、少なくとも１つの色相と、その色相の濃淡又は輝度とを含んでいればよいが、少なくとも２つの色相と、それぞれ色相の濃淡又は輝度とを含むことがより好ましい。色相とその色相の濃淡又は輝度とを含む情報を色調ともいう。
【0072】
次に、各画素における色調の情報を、例えば、ＲＧＢカラーから、輝度の情報と色相の情報を含むフォーマットに変換する。輝度の情報と色相の情報を含むフォーマットとして、ＹＵＶ（ＹＣｂＣｒ、ＹＰｂＰｒ、ＹＩＱ等）等を挙げることができる。ここでは、ＹＣｂＣｒフォーマットへの変換を例として説明する。ここでは、訓練用画像がＲＧＢカラーであるため、輝度７２Ｙと、第１の色相（例えば青色系）７２Ｃｂと、第２の色相（例えば、赤色系）７２Ｃｒとに変換する。ＲＧＢから、ＹＣｂＣｒへの変換は公知の方法により行うことができる。例えば、ＲＧＢから、ＹＣｂＣｒへは、国際規格ＩＴＵ－Ｒ ＢＴ．６０１にしたがって変換できる。変換した輝度７２Ｙ、第１の色相７２Ｃｂ及び第２の色相７２Ｃｒはそれぞれ図２に示すように階調値の行列として表すことができる（以下、色調行列７２ｙ，７２ｃｂ，７２ｃｒともいう）。輝度７２Ｙ、第１の色相７２Ｃｂ、第２の色相７２Ｃｒは、それぞれ０から２５５階調までの２５６階調で表される。ここで、輝度７２Ｙ、第１の色相７２Ｃｂ、第２の色相７２Ｃｒに換えて、赤Ｒ、緑Ｇ、青Ｂの３原色や、シアンＣ、マゼンタＭ、イエローＹの色の３原色で訓練用画像を変換してもよい。
【0073】
次に、色調行列７２ｙ，７２ｃｂ，７２ｃｒに基づいて、画素毎に、輝度７２ｙ、第１の色相７２ｃｂ、及び第２の色相７２ｃｒの３つの階調値を組み合わせた色調ベクトルデータ７４を生成する。
【0074】
次に、例えば、図２の訓練用画像７０は分葉核好中球であるため、図２の訓練用画像７０から生成される各色調ベクトルデータ７４には、分葉核好中球であることを示すラベル値７７として「１」が付与され、深層学習用訓練データ７５となる。図２では、便宜上深層学習用訓練データ７５を３画素×３画素で表しているが、実際は訓練用画像７０を撮像した際の画素の分だけ色調ベクトルデータが存在する。
【0075】
図３にラベル値７７の例を示す。ラベル値は、細胞の種類及び各細胞の異常所見の有無に応じて異なるラベル値７７が付与される。
【0076】
＜識別器の生成の概要＞
図２を例として、識別器の生成方法の概要を説明する。識別器の生成には深層学習アルゴリズムの訓練と、機械学習アルゴリズムの訓練を含み得る。
図２を例として、識別器の生成方法の概要を説明する。識別器の生成には深層学習アルゴリズムの訓練と、機械学習アルゴリズムの訓練を含み得る。
【0077】
・深層学習アルゴリズムの訓練
第１の深層学習アルゴリズムは、異常所見の種類に関する情報である第１情報５３を生成するため、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１を備える。第２の深層学習アルゴリズムは、細胞の種類に関する情報である第２情報５４を生成するため、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５２を備える。
第１の深層学習アルゴリズムは、異常所見の種類に関する情報である第１情報５３を生成するため、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１を備える。第２の深層学習アルゴリズムは、細胞の種類に関する情報である第２情報５４を生成するため、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５２を備える。
【0078】
第１のニューラルネットワーク５０における入力層５０ａのノード数は、入力される深層学習用訓練データ７５の画素数と画像に含まれる輝度と色相の数（例えば上記例では、輝度７２ｙ、第１の色相７２ｃｂ、及び第２の色相７２ｃｒの３つ）との積に対応している。色調ベクトルデータ７４はその集合７６として第１のニューラルネットワーク５０の入力層５０ａに入力される。深層学習用訓練データ７５の各画素のラベル値７７を、第１のニューラルネットワークの出力層５０ｂに入力して、第１のニューラルネットワーク５０を訓練する。
【0079】
第１のニューラルネットワーク５０は、深層学習用訓練データ７５に基づいて、上述した形態学的な細胞の種類や異常所見を反映する細胞の特徴について、特徴量を抽出する。第１のニューラルネットワークの出力層５０ｂは、これらの特徴量を反映する結果を出力する。第２のニューラルネットワーク５１の入力層５１ａ及び第２のニューラルネットワーク５２の入力層５２ａには、第１のニューラルネットワーク５０の出力層５０ｂのソフトマックス関数から出力された各結果が入力される。また、所定の細胞系統に属する細胞は、細胞の形態が似ているため、第２のニューラルネットワーク５１，５２をさらに形態学的な特定の細胞の種類や特定の異常所見を反映する細胞の特徴の識別に特化するようを訓練する。したがって、第２のニューラルネットワークの出力層５１ｂ，５２ｂにも、深層学習用訓練データ７５のラベル値７７が入力される。図２の符号５０ｃ、５１ｃ及び５２ｃは、中間層を示す。また、１つの異常所見に対して、１つの第２のニューラルネットワーク５１が訓練され得る。換言すると解析すべき異常所見の種類の数に対応した第２のニューラルネットワーク５１が訓練され得る。細胞の種類を識別するための第２のニューラルネットワーク５２は１種である。
【0080】
好ましくは、第１のニューラルネットワーク５０は、コンボリューションコネクトのニューラルネットワークであり、第２のニューラルネットワーク５１，５２は、フルコネクトのニューラルネットワークである。
【0081】
斯くして訓練された第１のニューラルネットワーク６０及び第２のニューラルネットワーク６１を有する第１の深層学習アルゴリズムと、第１のニューラルネットワーク６１及び第２のニューラルネットワーク６２を有する第２の深層学習アルゴリズムが生成される（図５参照）。
【0082】
例えば、異常所見を識別するための第２のニューラルネットワーク６１は、異常所見の識別結果として、異常所見があるかないかの確率を出力する。前記確率は、異常所見名又は異常所見に対応するラベル値であってもよい。細胞の種類を識別するための第２のニューラルネットワーク６２は、各解析対象の細胞が、訓練データとして入力された複数の細胞の種類のそれぞれに属する確率を識別結果として出力する。前記確率は、細胞の種類名又は細胞の種類に対応するラベル値であってもよい。
【0083】
・機械学習アルゴリズムの訓練
機械学習アルゴリズム５７を訓練するための訓練データとして、図４に示す機械学習用訓練データ９０が用いられる。機械学習用訓練データ９０は、特徴量と疾患情報５５を含む。各試料について、深層学習アルゴリズムから出力された異常所見、及び／又は細胞の種類の確率又は前記確率を細胞数に換算した値を、学習対象の特徴量とすることができる。機械学習用訓練データ９０では、特徴量が、各試料を採取した被検体が保有する疾患名、疾患のラベル値等で表される疾患情報と紐付けられている。
機械学習アルゴリズム５７を訓練するための訓練データとして、図４に示す機械学習用訓練データ９０が用いられる。機械学習用訓練データ９０は、特徴量と疾患情報５５を含む。各試料について、深層学習アルゴリズムから出力された異常所見、及び／又は細胞の種類の確率又は前記確率を細胞数に換算した値を、学習対象の特徴量とすることができる。機械学習用訓練データ９０では、特徴量が、各試料を採取した被検体が保有する疾患名、疾患のラベル値等で表される疾患情報と紐付けられている。
【0084】
機械学習アルゴリズム５７に入力される特徴量は、少なくとも異常所見の種類に関する情報及び細胞の種類に関する情報の少なくとも１つである。特徴量として、異常所見の種類に関する情報と細胞に関する情報とを使用することが好ましいである。特徴量として使
用される異常所見は１種であってもよいし、複数種であってもよい。また、特徴量として使用される細胞の種類は１種であってもよいし、複数種であってもよい。
用される異常所見は１種であってもよいし、複数種であってもよい。また、特徴量として使用される細胞の種類は１種であってもよいし、複数種であってもよい。
【0085】
深層学習アルゴリズムを訓練するために使用された各試料から撮像された訓練用画像７０を、訓練された第１の深層学習アルゴリズム及び／又は第２の深層学習アルゴリズムを用いて解析し、各訓練用画像７０の細胞について異常所見及び／又は細胞の種類を識別する。第２のニューラルネットワーク６１から各細胞について各異常所見を保有する確率と異常所見を示すラベル値を出力する。各異常所見を保有する確率と異常所見を示すラベル値が異常所見の種類の識別結果となる。第２のニューラルネットワーク６２から、各細胞の種類に該当する確率と細胞の種類を示すラベル値を出力する。各細胞の種類に該当する確率と細胞の種類を示すラベル値が細胞の種類の識別結果となる。これらの情報に基づいて機械学習アルゴリズム５７に入力される特徴量を生成する。
【0086】
機械学習用訓練データ９０の例を図４に示す。図４では説明の便宜上細胞数を３個（細胞Ｎｏ．１から３）、異常所見を脱顆粒、アウエル小体、球状核、過分葉、及び巨大血小板の５所見、細胞の種類を分葉核好中球、桿状核好中球、リンパ球、単球、好酸球、好塩基球、芽球、及び血小板の８種類として示している。図４において表上部に付されたＡからＦは、表の各列の番号を示す。表左部に付された１から１９は、行番号を示す。
【0087】
試料毎に、各解析対象の細胞について各異常所見を保有する確率を第１のニューラルネットワーク５０と第２のニューラルネットワーク５１が算出し、第２のニューラルネットワーク５１は算出した確率を出力する。図４では、異常所見を保有する確率は、０から１までの数字で表される。例えば異常所見を保有する場合には「１」に近い値で表され、異常所見を保有しない場合には「０」に近いで表され得る。図４では、列ＡからＥの行１から５のセルに記載されている値が、第２のニューラルネットワーク５１が出力した値となる。次に、各試料について、解析された異常所見の種類毎の確率の合計を算出する。図４では、列Ｆの行１から５のセルに記載されている値が、各異常所見の合計となる。１試料について、異常所見名を示すラベルとそれぞれの異常所見を保有する確率の１試料あたりの合計を紐付けたデータの群を、「異常所見の種類に関する情報」と呼ぶ。異常所見の種類に関する情報は、図２において第１情報５３である。図４では、セルＢ１とＦ１、セルＢ２とＦ２、セルＢ３とＦ３、セルＢ４とＦ４、セルＢ５とＦ５をそれぞれ紐付けたデータの群が、「異常所見の種類に関する情報」であり、第１情報５３となる。第１情報５３は、疾患名又は疾患名を示すラベル値で表される疾患情報５５と紐付けられて、機械学習用訓練データ９０となる。図４において、行１９は疾患情報５５を示す。
【0088】
また、図４に示すように、１つの異常所見の種類について、「１」に満たない確率が示される場合がある。この場合には、例えば、所定のカットオフ値を定めてカットオフ値より低い値を示す異常所見の種類を全て確率「０」と見なしてもよい。また、所定のカットオフ値を定めてカットオフ値より高い値を示す異常所見の種類を全て確率「１」と見なしてもよい。
【0089】
ここで、異常所見の種類毎の確率は、異常所見の種類毎の細胞数として表されていてもよい。
【0090】
また、細胞の種類についても、各解析対象の細胞について各細胞の種類に該当する確率を第１のニューラルネットワーク５０と第２のニューラルネットワーク５２が算出し、第２のニューラルネットワーク５２は算出した確率を出力する。各細胞の種類に該当する確率は、第１のニューラルネットワーク５０と第２のニューラルネットワーク５２が解析対象としている細胞の種類全てについて、算出される。図４の例では、１つの解析対象の細胞について、分葉核好中球、桿状核好中球、リンパ球、単球、好酸球、好塩基球、芽球及
び血小板の全ての項目について各種の細胞に該当する確率が算出される。列ＡからＥの行６から１３のセルに記載されている値が、第２のニューラルネットワーク５２が出力した値となる。次に、各試料について、解析された細胞の種類毎の確率の合計を算出する。図４では、列Ｆの行６から１３のセルに記載されている値が、各細胞の種類の合計となる。細胞種名を示すラベルとそれぞれの細胞種に該当する確率の１試料あたりの合計を紐付けたデータの群を、「細胞の種類に関する情報」と呼ぶ。細胞の種類に関する情報は、図２において第２情報５４である。図４では、セルＢ６とＦ６、セルＢ７とＦ７、セルＢ８とＦ８、セルＢ９とＦ９、セルＢ１０とＦ１０、セルＢ１１とＦ１１、セルＢ１２とＦ１２、セルＢ１３とＦ１３をそれぞれ紐付けたデータの群が、「細胞の種類に関する情報」であり、第２情報５４となる。第２情報５４は、疾患名又は疾患名を示すラベル値で表される疾患情報５５と紐付けられて、機械学習用訓練データ９０となる。図４において、行１９は疾患情報５５を示す。
び血小板の全ての項目について各種の細胞に該当する確率が算出される。列ＡからＥの行６から１３のセルに記載されている値が、第２のニューラルネットワーク５２が出力した値となる。次に、各試料について、解析された細胞の種類毎の確率の合計を算出する。図４では、列Ｆの行６から１３のセルに記載されている値が、各細胞の種類の合計となる。細胞種名を示すラベルとそれぞれの細胞種に該当する確率の１試料あたりの合計を紐付けたデータの群を、「細胞の種類に関する情報」と呼ぶ。細胞の種類に関する情報は、図２において第２情報５４である。図４では、セルＢ６とＦ６、セルＢ７とＦ７、セルＢ８とＦ８、セルＢ９とＦ９、セルＢ１０とＦ１０、セルＢ１１とＦ１１、セルＢ１２とＦ１２、セルＢ１３とＦ１３をそれぞれ紐付けたデータの群が、「細胞の種類に関する情報」であり、第２情報５４となる。第２情報５４は、疾患名又は疾患名を示すラベル値で表される疾患情報５５と紐付けられて、機械学習用訓練データ９０となる。図４において、行１９は疾患情報５５を示す。
【0091】
ここで、細胞の種類毎の確率は、細胞の種類毎の細胞数で表されていてもよい。また、図４に示すように、１つの解析対象の細胞について、複数の細胞の種類の項目について０より高い確率が示される場合がある。この場合には、例えば、所定のカットオフ値を定めてカットオフ値より低い値を示す細胞の種類を全て確率「０」と見なしてもよい。また、所定のカットオフ値を定めてカットオフ値より高い値を示す細胞の種類を全て確率「１」と見なしてもよい。
【0092】
さらに、好ましい特徴量は、細胞の種類毎に取得された異常所見の種類に関する情報である。図４を用いて説明すると、行１４から行１８に示されるように、例えば好中球の脱顆粒（セルＢ１４）、芽球のアウエル小体（セルＢ１５）、好中球の球状核（セルＢ１６）、好中球の過分葉（セルＢ１７）、巨大血小板（セルＢ１８）のように、深層学習用訓練データ７５を生成する際に特定の細胞の種類と特定の異常所見の種類を紐付けて訓練する。特徴量の生成は、細胞の種類と結びつけていない異常所見の種類を使用する場合と同様である。細胞の種類毎に取得された異常所見の種類に関する情報を第３情報と呼ぶ。第３情報は、疾患名又は疾患名を示すラベル値で表される疾患情報５５と紐付けられて、機械学習用訓練データ９０となる。
【0093】
機械学習用訓練データ９０を、機械学習アルゴリズム５７に入力することにより機械学習アルゴリズム５７を訓練し、訓練された機械学習アルゴリズム６７（図５参照）を生成する。
【0094】
機械学習用アルゴリズム５７の訓練方法として、好ましくは、第１情報と疾患情報５５とが紐付けられた機械学習用訓練データ９０、第２情報と疾患情報５５とが紐付けられた機械学習用訓練データ９０、及び第３情報と疾患情報５５とが紐付けられた機械学習用訓練データ９０の少なくとも１つを使用する方法である。より好ましくは、第１情報と疾患情報５５とが紐付けられた機械学習用訓練データ９０、及び第２情報と疾患情報５５とが紐付けられた機械学習用訓練データ９０を使用するか、第３情報と疾患情報５５とが紐付けられた機械学習用訓練データ９０、及び第２情報と疾患情報５５とが紐付けられた機械学習用訓練データ９０を使用して、機械学習用アルゴリズム５７の訓練方法する方法である。最も好ましくは、第２情報５４と疾患名又は疾患名を示すラベル値で表される疾患情報５５とが紐付けられた機械学習用訓練データ９０と、第３情報と疾患名又は疾患名を示すラベル値で表される疾患情報５５とが紐付けられた機械学習用訓練データ９０との両方を訓練データとして機械学習用アルゴリズム５７に入力する方法である。この場合、第２情報５４の細胞の種類と第３情報とに紐付いている細胞の種類は同じであっても異なっていてもよい。
【0095】
機械学習アルゴリズムは、上述した特徴量に基づいて疾患を解析できる限り制限されな
い。例えば、回帰、木、ニューラルネットワーク、ベイズ、時系列モデル、クラスタリング、及びアンサンブル学習から選択され得る。
い。例えば、回帰、木、ニューラルネットワーク、ベイズ、時系列モデル、クラスタリング、及びアンサンブル学習から選択され得る。
【0096】
回帰は、線形回帰、ロジスティック回帰、サポートベクターマシーン等を含み得る。木は、勾配ブースティング木、決定木、回帰木、ランダムフォレスト等を含み得る。ニューラルネットワーク、パーセプトロン、畳み込みニューラルネットワーク、再起型ニューラルネットワーク、残差ネットワーク等を含み得る。時系列モデルは、移動平均、自己回帰、自己回帰移動平均、自己回帰和分移動平均等を含み得る。クラスタリングは、ｋ近傍法を含み得る。アンサンブル学習は、ブースティング、バギング等を含み得る。好ましくは、勾配ブースティング木である。
【0097】
＜疾患解析の支援方法＞
図５に疾患解析の支援方法の例を示す。支援方法では、解析対象の細胞を撮像した解析用画像７８から解析データ８１を生成する。解析用画像７８は、被検体から採取された試料に含まれる解析対象の細胞を撮像した画像である。解析用画像７８は、例えば公知の光学顕微鏡、又はバーチャルスライドスキャナ等の撮像装置を用いて、取得することができる。図５に示す例では、血液像自動分析装置 ＤＩ－６０（シスメックス株式会社製）を
用いて、訓練用画像７０と同様に、３６０画素×３６５画素で撮像された生画像を、２５５画素×２５５画素に縮小することで解析用画像７８を生成しているが、この縮小は必須ではない。解析用画像７８の画素数は、解析ができる限り制限されないが、一辺が１００画素を超えていることが好ましい。また、図５に示す例では、分葉核好中球を中心とした周囲に赤血球が存在しているが、目的の細胞のみが入るように画像をトリミングしてもよい。少なくとも、１枚の画像の中に、解析しようとする細胞を１細胞含み（赤血球、及び正常サイズの血小板は含まれていてもよい）、解析しようとする細胞に該当する画素が画像全体画素の１／９程度以上存在していれば解析用画像７８として使用することができる。
図５に疾患解析の支援方法の例を示す。支援方法では、解析対象の細胞を撮像した解析用画像７８から解析データ８１を生成する。解析用画像７８は、被検体から採取された試料に含まれる解析対象の細胞を撮像した画像である。解析用画像７８は、例えば公知の光学顕微鏡、又はバーチャルスライドスキャナ等の撮像装置を用いて、取得することができる。図５に示す例では、血液像自動分析装置 ＤＩ－６０（シスメックス株式会社製）を
用いて、訓練用画像７０と同様に、３６０画素×３６５画素で撮像された生画像を、２５５画素×２５５画素に縮小することで解析用画像７８を生成しているが、この縮小は必須ではない。解析用画像７８の画素数は、解析ができる限り制限されないが、一辺が１００画素を超えていることが好ましい。また、図５に示す例では、分葉核好中球を中心とした周囲に赤血球が存在しているが、目的の細胞のみが入るように画像をトリミングしてもよい。少なくとも、１枚の画像の中に、解析しようとする細胞を１細胞含み（赤血球、及び正常サイズの血小板は含まれていてもよい）、解析しようとする細胞に該当する画素が画像全体画素の１／９程度以上存在していれば解析用画像７８として使用することができる。
【0098】
例示的には、撮像装置における撮像は、ＲＧＢカラー及びＣＭＹカラー等で行われることが好ましい。カラー画像は、赤、緑及び青又はシアン、マゼンタ、イエロー等の各原色の濃淡又は輝度を、２４ビットの値（８ビット×３色）で表すことが好ましい。解析用画像７８は、少なくとも１つの色相と、その色相の濃淡又は輝度とを含んでいればよいが、少なくとも２つの色相と、それぞれ色相の濃淡又は輝度とを含むことがより好ましい。色相とその色相の濃淡又は輝度とを含む情報を色調ともいう。
【0099】
例えば、ＲＧＢカラーから、輝度の情報と色相の情報を含むフォーマットに変換する。輝度の情報と色相の情報を含むフォーマットとして、ＹＵＶ（ＹＣｂＣｒ、ＹＰｂＰｒ、ＹＩＱ等）等を挙げることができる。ここでは、ＹＣｂＣｒフォーマットへの変換を例として説明する。ここでは、解析用画像がＲＧＢカラーであるため、輝度７９Ｙと、第１の色相（例えば青色系）７９Ｃｂと、第２の色相（例えば、赤色系）７９Ｃｒとに変換する。ＲＧＢから、ＹＣｂＣｒへの変換は公知の方法により行うことができる。例えば、ＲＧＢから、ＹＣｂＣｒへは、国際規格ＩＴＵ－Ｒ ＢＴ．６０１にしたがって変換できる。変換した輝度７９Ｙ、第１の色相７９Ｃｂ及び第２の色相７９Ｃｒはそれぞれ図５に示すように階調値の行列として表すことができる（以下、色調行列７９ｙ，７９ｃｂ，７９ｃｒともいう）。輝度７２Ｙ、第１の色相７２Ｃｂ、第２の色相７２Ｃｒは、それぞれ０から２５５階調までの２５６階調で表される。ここで、輝度７９Ｙ、第１の色相７９Ｃｂ、第２の色相７９Ｃｒに換えて、赤Ｒ、緑Ｇ、青Ｂの３原色や、シアンＣ、マゼンタＭ、イエローＹの色の３原色で訓練用画像を変換してもよい。
【0100】
次に、色調行列７９ｙ，７９ｃｂ，７９ｃｒに基づいて、画素毎に、輝度７９ｙ、第１の色相７９ｃｂ、及び第２の色相７９ｃｒの３つの階調値を組み合わせた色調ベクトルデ
ータ８０を生成する。１枚の解析用画像７８から生成された色調ベクトルデータ８０の集合を解析データ８１として生成する。
ータ８０を生成する。１枚の解析用画像７８から生成された色調ベクトルデータ８０の集合を解析データ８１として生成する。
【0101】
解析データ８１の生成と深層学習用訓練データ７５の生成は、少なくとも撮像条件や、各画像からニューラルネットワークに入力するベクトルデータの生成条件を同じにすることが好ましい。
【0102】
第１の深層学習アルゴリズムは、異常所見の種類に関する情報である第１情報６３を生成するため、第１のニューラルネットワーク６０及び第２のニューラルネットワーク６２を備える。第２の深層学習アルゴリズムは、細胞の種類に関する情報である第２情報６４を生成するため、第１のニューラルネットワーク６０及び第２のニューラルネットワーク６２を備える。
【0103】
解析データ８１を訓練済みの第１のニューラルネットワーク６０の入力層６０ａに入力する。第１のニューラルネットワーク６０は、解析データ８１から細胞の特徴量を抽出し、その結果を第１のニューラルネットワーク６０の出力層６０ｂから出力する。第２のニューラルネットワーク６１の入力層６１ａ及び第２のニューラルネットワーク６２の入力層６２ａには、第１のニューラルネットワーク６０の出力層６０ｂのソフトマックス関数から出力された各結果が入力される。
【0104】
次に、出力層６０ｂから出力された結果を、訓練済みの第２のニューラルネットワーク６１の入力層６１ａに入力する。例えば、異常所見を識別するための第２のニューラルネットワーク６１は、入力された特徴量に基づいて、出力層６１ｂから異常所見の識別結果として、異常所見があるかないかの確率を出力する。
【0105】
また、出力層６０ｂから出力された結果を、訓練済みの第２のニューラルネットワーク６２の入力層６２ａに入力する。第２のニューラルネットワーク６２は、入力された特徴量に基づいて、出力層６２ｂから、訓練データとして入力された細胞の種類のそれぞれに、解析用画像に含まれる解析対象の細胞が属する確率を出力する。図５において、符号６０ｃ、６１ｃ及び６２ｃは、中間層を示す。
【0106】
次に、異常所見の識別結果に基づいて、試料毎に、試料に対応する異常所見の種類に関する情報（図５において第１情報６３）を取得する。第１情報６３は、例えば、第２のニューラルネットワーク６１の出力層６１ｂから出力される解析された異常所見の種類毎の確率の合計である。第１情報６３の生成方法は、機械学習用訓練データの生成方法と同様である。
【0107】
また、細胞の種類の識別結果に基づいて、試料毎に、試料に対応する細胞の種類に関する情報（図５において第２情報６４）を取得する。第２情報６４は、例えば、第２のニューラルネットワーク６２の出力層６２ｂから出力される解析された細胞の種類毎の確率の合計である。第２情報６４の生成方法は、機械学習用訓練データ９０の生成方法と同様である。
【0108】
生成された第１情報６３及び第２情報６４を訓練された機械学習アルゴリズム６７に入力すると解析結果８３が機械学習アルゴリズム６７により生成される。解析結果８３は、疾患名又は疾患名を表すラベル値であり得る。
【0109】
機械学習用アルゴリズム６７に入力されるデータとして、好ましくは、第１情報６３、第２情報６４、及び第３情報の少なくとも１つを使用することができる。より好ましくは、第１情報６３、及び第２情報６４を使用するか、第３情報、及び第２情報６４を使用す
ることができる。最も好ましくは、第２情報６４と第３情報との両方を解析データ８１として使用する方法である。この場合、第２情報６４の細胞の種類と第３情報に紐付いている細胞の種類は同じであっても異なっていてもよい。第３情報は、解析データ８１を生成する際に、特定の細胞の種類と特定の異常所見の種類とを紐付けて生成された情報であり、その生成方法は、機械学習用訓練データ９０の生成方法で記載した方法と同様である。
ることができる。最も好ましくは、第２情報６４と第３情報との両方を解析データ８１として使用する方法である。この場合、第２情報６４の細胞の種類と第３情報に紐付いている細胞の種類は同じであっても異なっていてもよい。第３情報は、解析データ８１を生成する際に、特定の細胞の種類と特定の異常所見の種類とを紐付けて生成された情報であり、その生成方法は、機械学習用訓練データ９０の生成方法で記載した方法と同様である。
【0110】
［疾患解析の支援システム１］
＜疾患解析の支援システム１の構成＞
疾患解析の支援システム１について説明する。図６を参照すると、疾患解析の支援システム１は、訓練装置１００Ａと、疾患解析装置２００Ａとを備える。ベンダ側装置１００は訓練装置１００Ａとして動作し、ユーザ側装置２００は疾患解析装置２００Ａとして動作する。訓練装置１００Ａは、深層学習用訓練データ７５と機械学習用訓練データ９０を使って識別器を生成しユーザに提供する。識別器は、記録媒体９８又はネットワーク９９を通じて、訓練装置１００Ａから疾患解析装置２００Ａに提供される。疾患解析装置２００Ａは、訓練装置１００Ａから提供された識別器を用いて解析対象の細胞の画像の解析を行う。
＜疾患解析の支援システム１の構成＞
疾患解析の支援システム１について説明する。図６を参照すると、疾患解析の支援システム１は、訓練装置１００Ａと、疾患解析装置２００Ａとを備える。ベンダ側装置１００は訓練装置１００Ａとして動作し、ユーザ側装置２００は疾患解析装置２００Ａとして動作する。訓練装置１００Ａは、深層学習用訓練データ７５と機械学習用訓練データ９０を使って識別器を生成しユーザに提供する。識別器は、記録媒体９８又はネットワーク９９を通じて、訓練装置１００Ａから疾患解析装置２００Ａに提供される。疾患解析装置２００Ａは、訓練装置１００Ａから提供された識別器を用いて解析対象の細胞の画像の解析を行う。
【0111】
訓練装置１００Ａは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、深層学習処理を行う。疾患解析装置２００Ａは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、疾患解析処理を行う。記録媒体９８は、例えばＤＶＤ－ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体である。
【0112】
訓練装置１００Ａは撮像装置３００に接続されている。撮像装置３００は、撮像素子３０１と、蛍光顕微鏡３０２とを備え、ステージ３０９上にセットされた学習用の標本３０８の明視野画像を撮像する。訓練用の標本３０８は、上述の染色が施されている。訓練装置１００Ａは、撮像装置３００によって撮像された訓練用画像７０を取得する。
【0113】
疾患解析装置２００Ａは撮像装置４００に接続されている。撮像装置４００は、撮像素子４０１と、蛍光顕微鏡４０２とを備え、ステージ４０９上にセットされた解析対象の標本４０８の明視野画像を撮像する。解析対象の標本４０８は、上述の通り予め染色されている。疾患解析装置２００Ａは、撮像装置４００によって撮像された解析対象画像７８を取得する。
【0114】
撮像装置３００，４００には、標本を撮像する機能を有する、公知の光学顕微鏡又はバーチャルスライドスキャナ等を用いることができる。
【0115】
＜訓練装置のハードウェア構成＞
図７を参照すると、ベンダ側装置１００（訓練装置１００Ａ）は、処理部１０（１０Ａ）と、入力部１６と、出力部１７とを備える。
図７を参照すると、ベンダ側装置１００（訓練装置１００Ａ）は、処理部１０（１０Ａ）と、入力部１６と、出力部１７とを備える。
【0116】
処理部１０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）１１と
、データ処理の作業領域に使用するメモリ１２と、後述するプログラム及び処理データを記録する記憶部１３と、各部の間でデータを伝送するバス１４と、外部機器とのデータの入出力を行うインタフェース部１５と、ＧＰＵ（Graphics Processing Unit）１９とを備えている。入力部１６及び出力部１７は、処理部１０に接続されている。例示的には、入力部１６はキーボード又はマウス等の入力装置であり、出力部１７は液晶ディスプレイ等の表示装置である。ＧＰＵ１９は、ＣＰＵ１１が行う演算処理（例えば、並列演算処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ１１が行う処理とは、ＣＰＵ１１がＧＰＵ１９をアクセラレータとして用いて行う処理も含むこと
を意味する。
、データ処理の作業領域に使用するメモリ１２と、後述するプログラム及び処理データを記録する記憶部１３と、各部の間でデータを伝送するバス１４と、外部機器とのデータの入出力を行うインタフェース部１５と、ＧＰＵ（Graphics Processing Unit）１９とを備えている。入力部１６及び出力部１７は、処理部１０に接続されている。例示的には、入力部１６はキーボード又はマウス等の入力装置であり、出力部１７は液晶ディスプレイ等の表示装置である。ＧＰＵ１９は、ＣＰＵ１１が行う演算処理（例えば、並列演算処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ１１が行う処理とは、ＣＰＵ１１がＧＰＵ１９をアクセラレータとして用いて行う処理も含むこと
を意味する。
【0117】
また、処理部１０は、以下の図１０、図１３及び図１４で説明する各ステップの処理を行うために、本発明に係るプログラム及び識別器を、例えば実行形式で記憶部１３に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。処理部１０は、記憶部１３に記録したプログラムを使用して、第１のニューラルネットワーク５０、第２のニューラルネットワーク５１、第２のニューラルネットワーク５２、機械学習アルゴリズム５７の訓練処理を行う。
【0118】
以下の説明においては、特に断らない限り、処理部１０が行う処理は、記憶部１３又はメモリ１２に格納されたプログラム、並びに第１のニューラルネットワーク５０、第２のニューラルネットワーク５１、第２のニューラルネットワーク５２、機械学習アルゴリズム５７に基づいて、ＣＰＵ１１が行う処理を意味する。ＣＰＵ１１はメモリ１２を作業領域として必要なデータ（処理途中の中間データ等）を揮発性に一時記憶し、記憶部１３に演算結果等の長期保存するデータを不揮発性に適宜記憶する。
【0119】
＜疾患解析装置のハードウェア構成＞
図８を参照すると、ユーザ側装置２００（疾患解析装置２００Ａ，疾患解析装置２００Ｂ，疾患解析装置２００Ｃ）は、処理部２０（２０Ａ，２０Ｂ，２０Ｃ）と、入力部２６と、出力部２７とを備える。
図８を参照すると、ユーザ側装置２００（疾患解析装置２００Ａ，疾患解析装置２００Ｂ，疾患解析装置２００Ｃ）は、処理部２０（２０Ａ，２０Ｂ，２０Ｃ）と、入力部２６と、出力部２７とを備える。
【0120】
処理部２０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）２１と
、データ処理の作業領域に使用するメモリ２２と、後述するプログラム及び処理データを記憶する記憶部２３と、各部の間でデータを伝送するバス２４と、外部機器とのデータの入出力を行うインタフェース部２５と、ＧＰＵ（Graphics Processing Unit）２９とを備えている。入力部２６及び出力部２７は、処理部２０に接続されている。例示的には、入力部２６はキーボード又はマウス等の入力装置であり、出力部２７は液晶ディスプレイ等の表示装置である。ＧＰＵ２９は、ＣＰＵ２１が行う演算処理（例えば、並列演算処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ２１が行う処理とは、ＣＰＵ２１がＧＰＵ２９をアクセラレータとして用いて行う処理も含むことを意味する。
、データ処理の作業領域に使用するメモリ２２と、後述するプログラム及び処理データを記憶する記憶部２３と、各部の間でデータを伝送するバス２４と、外部機器とのデータの入出力を行うインタフェース部２５と、ＧＰＵ（Graphics Processing Unit）２９とを備えている。入力部２６及び出力部２７は、処理部２０に接続されている。例示的には、入力部２６はキーボード又はマウス等の入力装置であり、出力部２７は液晶ディスプレイ等の表示装置である。ＧＰＵ２９は、ＣＰＵ２１が行う演算処理（例えば、並列演算処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ２１が行う処理とは、ＣＰＵ２１がＧＰＵ２９をアクセラレータとして用いて行う処理も含むことを意味する。
【0121】
また、処理部２０は、以下の疾患解析処理で説明する各ステップの処理を行うために、本発明に係るプログラム及び識別器を、例えば実行形式で記憶部２３に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。処理部２０は、記憶部２３に記録したプログラム及び識別器を使用して処理を行う。
【0122】
以下の説明においては、特に断らない限り、処理部２０が行う処理は、記憶部２３又はメモリ２２に格納されたプログラム及び深層学習アルゴリズム６０に基づいて、実際には処理部２０のＣＰＵ２１が行う処理を意味する。ＣＰＵ２１はメモリ２２を作業領域として必要なデータ（処理途中の中間データ等）を揮発性に一時記憶し、記憶部２３に演算結果等の長期保存するデータを不揮発性に適宜記録する。
【0123】
＜機能ブロック及び処理手順＞
（深層学習処理）
図９を参照すると、訓練装置１００Ａの処理部１０Ａは、深層学習用訓練データ生成部１０１と、深層学習用訓練データ入力部１０２と、深層学習用アルゴリズム更新部１０３とを備える。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラムを、処理部１０Ａの記憶部１３又はメモリ１２にインストールし、このプログラムを
ＣＰＵ１１が実行することにより実現される。深層学習用訓練データデータベース（ＤＢ）１０４と、深層学習用アルゴリズムデータベース（ＤＢ）１０５とは、処理部１０Ａの記憶部１３又はメモリ１２に記録される。
（深層学習処理）
図９を参照すると、訓練装置１００Ａの処理部１０Ａは、深層学習用訓練データ生成部１０１と、深層学習用訓練データ入力部１０２と、深層学習用アルゴリズム更新部１０３とを備える。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラムを、処理部１０Ａの記憶部１３又はメモリ１２にインストールし、このプログラムを
ＣＰＵ１１が実行することにより実現される。深層学習用訓練データデータベース（ＤＢ）１０４と、深層学習用アルゴリズムデータベース（ＤＢ）１０５とは、処理部１０Ａの記憶部１３又はメモリ１２に記録される。
【0124】
訓練用画像７０は、撮像装置３００によって予め撮像され、例えば解析対象の細胞が属する形態学的な細胞の種類や異常所見と対応付けられて、処理部１０Ａの記憶部１３又はメモリ１２に予め記憶されている。未訓練の第１のニューラルネットワーク５０並びに第２のニューラルネットワーク５２及び第２のニューラルネットワーク５２は、深層学習用アルゴリズムデータベース１０５に予め格納されている。一度訓練され、更新を受け付ける第１のニューラルネットワーク５０並びに第２のニューラルネットワーク５２及び第２のニューラルネットワーク５２は、深層学習用アルゴリズムアルゴリズムデータベース１０５に予め格納されている。
【0125】
訓練装置１００Ａの処理部１０Ａは、図１０に示す処理を行う。図９に示す各機能ブロックを用いて説明すると、ステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理は、深層学習用訓練データ生成部１０１が行う。ステップＳ１３の処理は、深層学習用訓練データ入力部１０２が行う。ステップＳ１４の処理は、深層学習用アルゴリズム更新部１０３が行う。
【0126】
図１０を用いて、処理部１０Ａが行う深層学習処理の例について説明する。はじめに、処理部１０Ａは、訓練用画像７０を取得する。訓練用画像７０の取得は、オペレータの操作によって、撮像装置３００から取り込まれるか、記録媒体９８から取り込まれるか、ネットワーク経由でＩ／Ｆ部１５を介して行われる。訓練用画像７０を取得する際に、その訓練用画像７０が、形態学的に分類される細胞の種類及び／又は異常所見のいずれを示すものであるかの情報も取得される。形態学的に分類される細胞の種類及び／又は異常所見のいずれを示すものであるかの情報は、訓練用画像７０に紐付けられていてもよく、またオペレータが入力部１６から入力してもよい。
【0127】
ステップＳ１１において、処理部１０Ａは、取得された訓練用画像７０を輝度Ｙ、第１の色相Ｃｂ及び
第２の色相Ｃｒに変換し、上記訓練データの生成方法で説明した手順に従い色調ベクトルデータ７４を生成する。
第２の色相Ｃｒに変換し、上記訓練データの生成方法で説明した手順に従い色調ベクトルデータ７４を生成する。
【0128】
ステップＳ１２において、処理部１０Ａは、訓練用画像７０に紐付けられている、形態学的に分類される細胞の種類及び／又は異常所見のいずれを示すものであるかの情報と、メモリ１２又は記憶部１３に記憶されている形態学的に分類される細胞の種類又は異常所見に紐図けられたラベル値とに基づいて色調ベクトルデータ７４に対応するラベル値を付与する。斯くして、処理部１０Ａは、深層学習用訓練データ７５を生成する。
【0129】
図１０に示すステップＳ１３において、処理部１０Ａは、深層学習用訓練データ７５を用いて、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１を訓練する。第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１の訓練結果は複数の深層学習用訓練データ７５を用いて訓練する度に蓄積される。
【0130】
次に、ステップＳ１４において、処理部１０Ａは、予め定められた所定の試行回数分の訓練結果が蓄積されているか否かを判断する。訓練結果が所定の試行回数分蓄積されている場合（ＹＥＳ）、処理部１０ＡはステップＳ１５の処理に進み、訓練結果が所定の試行回数分蓄積されていない場合（ＮＯ）、処理部１０ＡはステップＳ１６の処理に進む。
【0131】
次に、訓練結果が所定の試行回数分蓄積されている場合、ステップＳ１５において、処
理部１０Ａは、ステップＳ１３において蓄積しておいた訓練結果を用いて、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１、又は１のニューラルネットワーク５０及び第２のニューラルネットワーク５２の結合重みｗを更新する。疾患解析方法では、確率的勾配降下法を用いるため、所定の試行回数分の学習結果が蓄積した段階で、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１、又は１のニューラルネットワーク５０及び第２のニューラルネットワーク５２の結合重みｗを更新する。結合重みｗを更新する処理は、具体的には、後述の（式１１）及び（式１２）に示される、勾配降下法による計算を実施する処理である。
理部１０Ａは、ステップＳ１３において蓄積しておいた訓練結果を用いて、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１、又は１のニューラルネットワーク５０及び第２のニューラルネットワーク５２の結合重みｗを更新する。疾患解析方法では、確率的勾配降下法を用いるため、所定の試行回数分の学習結果が蓄積した段階で、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１、又は１のニューラルネットワーク５０及び第２のニューラルネットワーク５２の結合重みｗを更新する。結合重みｗを更新する処理は、具体的には、後述の（式１１）及び（式１２）に示される、勾配降下法による計算を実施する処理である。
【0132】
ステップＳ１６において、処理部１０Ａは、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１、又は１のニューラルネットワーク５０及び第２のニューラルネットワーク５２を規定数の訓練用データ７５で訓練したか否かを判断する。規定数の訓練用データ７５で訓練した場合（ＹＥＳ）には、深層学習処理を終了する。
【0133】
第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１、又は１のニューラルネットワーク５０及び第２のニューラルネットワーク５２を規定数の訓練用データ７５で訓練していない場合（ＮＯ）には、処理部１０Ａは、ステップＳ１６からステップＳ１７に進み、次の訓練用画像７０についてステップＳ１１からステップＳ１６までの処理を行う。
【0134】
以上説明した処理にしたがって、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１、又は１のニューラルネットワーク５０及び第２のニューラルネットワーク５２を訓練し第２の深層学習アルゴリズム及び第２の深層学習アルゴリズムを得る。
【0135】
（ニューラルネットワークの構造）
図１１（ａ）に第１のニューラルネットワーク５０と第２のニューラルネットワーク５１，５２の構造を例示する。第１のニューラルネットワーク５０と第２のニューラルネットワーク５１は、入力層５０ａ，５１ａ，５２ａと、出力層５０ｂ，５１ｂ，５２ｂと、入力層５０ａ，５１ａ，５２ａ及び出力層５０ｂ，５１ｂ，５２ｂの間の中間層５０ｃ，５１ｃ，５２ｃとを備え、中間層５０ｃ，５１ｃ，５２ｃが複数の層で構成されている。中間層５０ｃ，５１ｃ，５２ｃを構成する層の数は、例えば５層以上とすることができる。
図１１（ａ）に第１のニューラルネットワーク５０と第２のニューラルネットワーク５１，５２の構造を例示する。第１のニューラルネットワーク５０と第２のニューラルネットワーク５１は、入力層５０ａ，５１ａ，５２ａと、出力層５０ｂ，５１ｂ，５２ｂと、入力層５０ａ，５１ａ，５２ａ及び出力層５０ｂ，５１ｂ，５２ｂの間の中間層５０ｃ，５１ｃ，５２ｃとを備え、中間層５０ｃ，５１ｃ，５２ｃが複数の層で構成されている。中間層５０ｃ，５１ｃ，５２ｃを構成する層の数は、例えば５層以上とすることができる。
【0136】
第１のニューラルネットワーク５０と第２のニューラルネットワーク５１、又は第１のニューラルネットワーク５０と第２のニューラルネットワーク５２では、層状に配置された複数のノード８９が、層間において結合されている。これにより、情報が入力側の層５０ａ，５１ａ，５２ａから出力側の層５０ｂ，５１ｂ，５２ｂに、図中矢印Ｄに示す一方向のみに伝播する。
【0137】
（各ノードにおける演算）
図１１（ｂ）は、各ノードにおける演算を示す模式図である。各ノード８９では、複数の入力を受け取り、１つの出力（ｚ）を計算する。図１１（ｂ）に示す例の場合、ノード８９は４つの入力を受け取る。ノード８９が受け取る総入力（ｕ）は、以下の（式１）で表される。
図１１（ｂ）は、各ノードにおける演算を示す模式図である。各ノード８９では、複数の入力を受け取り、１つの出力（ｚ）を計算する。図１１（ｂ）に示す例の場合、ノード８９は４つの入力を受け取る。ノード８９が受け取る総入力（ｕ）は、以下の（式１）で表される。
【0138】
【数1】
【0139】
各入力には、それぞれ異なる重みが掛けられる。（式１）中、ｂはバイアスと呼ばれる値である。ノードの出力（ｚ）は、（式１）で表される総入力（ｕ）に対する所定の関数ｆの出力となり、以下の（式２）で表される。関数ｆは活性化関数と呼ばれる。
【0140】
【数2】
【0141】
図１１（ｃ）は、ノード間の演算を示す模式図である。第１のニューラルネットワーク５０、第２のニューラルネットワーク５１，５２では、（式１）で表される総入力（ｕ）に対して、（式２）で表される結果（ｚ）を出力するノードが層状に並べられている。前の層のノードの出力が、次の層のノードの入力となる。図１１（ｃ）に示す例では、図中左側の層のノード８９ａの出力が、図中右側の層のノード８９ｂの入力となる。右側の層の各ノード８９ｂは、それぞれ、左側の層のノード８９ａからの出力を受け取る。左側の層の各ノード８９ａと右側の層の各ノード８９ｂとの間の各結合には、異なる重みが掛けられる。左側の層の複数のノード８９ａのそれぞれの出力をｘ１～ｘ４とすると、右側の層の３つのノード８９ｂのそれぞれに対する入力は、以下の（式３－１）～（式３－３）で表される。
【0142】
【数3】
【0143】
【数4】
【0144】
【数5】
【0145】
（活性化関数）
疾患解析方法では、活性化関数として、正規化線形関数（rectified linear unit function）を用いる。正規化線形関数は以下の（式５）で表される。
疾患解析方法では、活性化関数として、正規化線形関数（rectified linear unit function）を用いる。正規化線形関数は以下の（式５）で表される。
【0146】
【0147】
【数7】
【0148】
（ニューラルネットワークの学習）
ニューラルネットワークを用いて表現される関数をｙ（ｘ：ｗ）とおくと、関数ｙ（ｘ：ｗ）は、ニューラルネットワークのパラメータｗを変化させると変化する。入力ｘに対してニューラルネットワークがより好適なパラメータｗを選択するように、関数ｙ（ｘ：ｗ）を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワークを用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力ｘに対する望ましい出力をｄとすると、入出力の組は、｛（ｘ１，ｄ１），（ｘ２，ｄ２），・・・，（ｘｎ，ｄｎ）｝と与えられる。（ｘ，ｄ）で表される各組の集合を、訓練データと呼ぶ。具体的には、図２（ｂ）に示す、Ｙ、Ｃｂ、Ｃｒ各色の単一色画像における画素ごとの色濃度値と真値像のラベルとの組、の集合が、図２（ａ）に示す訓練データである。
ニューラルネットワークを用いて表現される関数をｙ（ｘ：ｗ）とおくと、関数ｙ（ｘ：ｗ）は、ニューラルネットワークのパラメータｗを変化させると変化する。入力ｘに対してニューラルネットワークがより好適なパラメータｗを選択するように、関数ｙ（ｘ：ｗ）を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワークを用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力ｘに対する望ましい出力をｄとすると、入出力の組は、｛（ｘ１，ｄ１），（ｘ２，ｄ２），・・・，（ｘｎ，ｄｎ）｝と与えられる。（ｘ，ｄ）で表される各組の集合を、訓練データと呼ぶ。具体的には、図２（ｂ）に示す、Ｙ、Ｃｂ、Ｃｒ各色の単一色画像における画素ごとの色濃度値と真値像のラベルとの組、の集合が、図２（ａ）に示す訓練データである。
【0149】
ニューラルネットワークの学習とは、どのような入出力の組（ｘｎ，ｄｎ）に対しても、入力ｘｎを与えたときのニューラルネットワークの出力ｙ（ｘｎ：ｗ）が、出力ｄｎになるべく近づくように重みｗを調整することを意味する。誤差関数（error function）とは、ニューラルネットワークを用いて表現される関数と訓練データとの近さ
【0150】
【数8】
において用いる誤差関数Ｅ（ｗ）は、以下の（式６）で表される。（式６）は交差エントロピー（cross entropy）と呼ばれる。
【0151】
【数9】
【0152】
【数10】
各クラスをＣ１，・・・，ＣＫと表すと、出力層Ｌのノードｋの出力ｙＫ（すなわちｕｋ （Ｌ））は、与えられた入力ｘがクラスＣＫに属する確率を表す。以下の（式８）を参照されたい。入力ｘは、（式８）で表される確率が最大になるクラスに分類される。
【0153】
【数11】
下で、訓練データに対する重みｗの尤度（likelihood）を評価し、尤度を最大化するような重みｗを選択する。
【0154】
（式７）のソフトマックス関数による目標出力ｄｎを、出力が正解のクラスである場合のみ１とし、出力がそれ以外の場合は０になるとする。目標出力をｄｎ＝［ｄｎ１，・・・，ｄｎＫ］というベクトル形式で表すと、例えば入力ｘｎの正解クラスがＣ３である場合、目標出力ｄｎ３のみが１となり、それ以外の目標出力は０となる。このように符号化すると、事後分布（posterior）は以下の（式９）で表される。
【0155】
【数12】
【0156】
【数13】
【0157】
誤差関数Ｅ（ｗ）をパラメータｗについて最小化することは、関数Ｅ（ｗ）の局所的な極小点を求めることと同じ意味である。パラメータｗはノード間の結合の重みである。重みｗの極小点は、任意の初期値を出発点として、パラメータｗを繰り返し更新する反復計算によって求められる。このような計算の一例には、勾配降下法（gradient descent method）がある。
【0158】
勾配降下法では、次の（式１１）で表されるベクトルを用いる。
勾配降下法では、現在のパラメータｗの値を負の勾配方向（すなわち－∇Ｅ）に移動させる処理を何度も繰り返す。現在の重みをｗ（ｔ）とし、移動後の重みをｗ（ｔ＋１）とすると、勾配降下法による演算は、以下の（式１２）で表される。値ｔは、パラメータｗを移動させた回数を意味する。
【数14】
【0159】
【数15】
【数16】
【0160】
なお、（式１２）による演算は、全ての訓練データ（ｎ＝１，・・・，Ｎ）に対して実施してもよく、一部の訓練データのみに対して実施してもよい。一部の訓練データのみに対して行う勾配降下法は、確率的勾配降下法（stochastic gradient descent）と呼ばれ
る。疾患解析方法では、確率的勾配降下法を用いる。
る。疾患解析方法では、確率的勾配降下法を用いる。
【0161】
（機械学習処理１）
第１の機械学習処理は、第１情報又は第２情報から機械学習アルゴリズム５７を訓練する。
図１２を参照すると、訓練装置１００Ａの処理部１０Ａは、第１情報５３と疾患情報５５に基づいて機械学習アルゴリズム５７を訓練する。処理部１０Ａは、機械学習用訓練データ生成部１０１ａと、機械学習用訓練データ入力部１０２ａと、機械学習用アルゴリズム更新部１０３ａとを備える。これらの機能ブロックは、コンピュータに機械学習処理を実行させるプログラムを、処理部１０Ａの記憶部１３又はメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。機械学習用訓練データデータベース（ＤＢ）１０４ａと、機械学習用アルゴリズムデータベース（ＤＢ）１０５ａとは、処理部１０Ａの記憶部１３又はメモリ１２に記録される。
第１の機械学習処理は、第１情報又は第２情報から機械学習アルゴリズム５７を訓練する。
図１２を参照すると、訓練装置１００Ａの処理部１０Ａは、第１情報５３と疾患情報５５に基づいて機械学習アルゴリズム５７を訓練する。処理部１０Ａは、機械学習用訓練データ生成部１０１ａと、機械学習用訓練データ入力部１０２ａと、機械学習用アルゴリズム更新部１０３ａとを備える。これらの機能ブロックは、コンピュータに機械学習処理を実行させるプログラムを、処理部１０Ａの記憶部１３又はメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。機械学習用訓練データデータベース（ＤＢ）１０４ａと、機械学習用アルゴリズムデータベース（ＤＢ）１０５ａとは、処理部１０Ａの記憶部１３又はメモリ１２に記録される。
【0162】
第１情報又は第２情報は、処理部１０Ａにより生成されており、例えば解析対象の細胞が属する形態学的な細胞の種類や異常所見と対応付けられて、処理部１０Ａの記憶部１３又はメモリ１２に予め記憶されている。未訓練の第１のニューラルネットワーク５０並びに第２のニューラルネットワーク５１及び第２のニューラルネットワーク５２は、機械学習用アルゴリズムデータベース１０５に予め格納されている。一度訓練され、更新を受け付ける第１のニューラルネットワーク５０並びに第２のニューラルネットワーク５１及び第２のニューラルネットワーク５２は、機械学習用アルゴリズムアルゴリズムデータベース１０５ａに予め格納されている。
【0163】
訓練装置１００Ａの処理部１０Ａは、図１３に示す処理を行う。図１２に示す各機能ブロックを用いて説明すると、ステップＳ１１１、Ｓ１１２、Ｓ１１４及びＳ１１５の処理は、機械学習用訓練データ生成部１０１ａが行う。ステップＳ１１３の処理は、機械学習用訓練データ入力部１０２ａが行う。
【0164】
図１３を用いて、処理部１０Ａが行う第１機械学習処理の例について説明する。
訓練装置１００Ａの処理部１０Ａは、ステップＳ１１１において、上記機械学習アルゴリズムの訓練の項で述べた方法に従い第１情報又は第２情報を生成する。具体的には、処理部１０Ａは、ステップＳ１１からステップＳ１６によって訓練された第１の深層学習アルゴリズム又は第２の深層学習アルゴリズムから、各訓練用画像７０の細胞について異常所見の種類を識別し、識別結果を得る。第２のニューラルネットワーク６１から各細胞について異常所見の種類の識別結果を出力する。ステップＳ１１１において、処理部１０Ａは、異常所見の種類の識別結果に基づいて、訓練用画像７０を取得した試料毎に第１情報を生成する。また、処理部１０Ａは、第２のニューラルネットワーク６２から、各訓練用画像７０の細胞について細胞の種類を識別し、識別結果を得る。処理部１０Ａは、細胞の種類の識別結果に基づいて、訓練用画像７０を取得した試料毎に第２情報を生成する。
訓練装置１００Ａの処理部１０Ａは、ステップＳ１１１において、上記機械学習アルゴリズムの訓練の項で述べた方法に従い第１情報又は第２情報を生成する。具体的には、処理部１０Ａは、ステップＳ１１からステップＳ１６によって訓練された第１の深層学習アルゴリズム又は第２の深層学習アルゴリズムから、各訓練用画像７０の細胞について異常所見の種類を識別し、識別結果を得る。第２のニューラルネットワーク６１から各細胞について異常所見の種類の識別結果を出力する。ステップＳ１１１において、処理部１０Ａは、異常所見の種類の識別結果に基づいて、訓練用画像７０を取得した試料毎に第１情報を生成する。また、処理部１０Ａは、第２のニューラルネットワーク６２から、各訓練用画像７０の細胞について細胞の種類を識別し、識別結果を得る。処理部１０Ａは、細胞の種類の識別結果に基づいて、訓練用画像７０を取得した試料毎に第２情報を生成する。
【0165】
次に、ステップＳ１１２において、処理部１０Ａは、第１情報と訓練用画像７５に紐付けられている疾患情報５５とから機械学習用訓練データ９０を生成する。或いは、処理部１０Ａは、第２情報と訓練用画像７５に紐付けられている疾患情報５５とから機械学習用訓練データ９０を生成する。
【0166】
次に、ステップＳ１１３において、処理部１０Ａは、機械学習用訓練データ９０を機械学習アルゴリズムに入力し、機械学習アルゴリズムを訓練する。
【0167】
次に、ステップＳ１１４において、処理部１０Ａは、全ての訓練用の試料について処理を実行したかを判断する。全ての訓練用の試料について処理を実行した場合には処理を終了する。全ての訓練用の試料について処理を実行していない場合には、ステップＳ１１５に進み、別の試料の異常所見の種類の識別結果、又は細胞の種類の識別結果を取得し、ステップＳ１１１に戻って機械学習アルゴリズムの訓練を繰り返す。
【0168】
（機械学習処理２）
第２の機械学習処理は、第１情報及び第２情報から機械学習アルゴリズム５７を訓練する。
図１２を参照すると、訓練装置１００Ａの処理部１０Ａは、第１情報５３と疾患情報５５に基づいて機械学習アルゴリズム５７を訓練する。処理部１０Ａは、機械学習用訓練データ生成部１０１ｂと、機械学習用訓練データ入力部１０２ｂと、機械学習用アルゴリズム更新部１０３ｂとを備える。これらの機能ブロックは、コンピュータに機械学習処理を実行させるプログラムを、処理部１０Ａの記憶部１３又はメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。機械学習用訓練データデータベース（ＤＢ）１０４ｂと、機械学習用アルゴリズムデータベース（ＤＢ）１０５ｂとは、処理部１０Ａの記憶部１３又はメモリ１２に記録される。
第２の機械学習処理は、第１情報及び第２情報から機械学習アルゴリズム５７を訓練する。
図１２を参照すると、訓練装置１００Ａの処理部１０Ａは、第１情報５３と疾患情報５５に基づいて機械学習アルゴリズム５７を訓練する。処理部１０Ａは、機械学習用訓練データ生成部１０１ｂと、機械学習用訓練データ入力部１０２ｂと、機械学習用アルゴリズム更新部１０３ｂとを備える。これらの機能ブロックは、コンピュータに機械学習処理を実行させるプログラムを、処理部１０Ａの記憶部１３又はメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。機械学習用訓練データデータベース（ＤＢ）１０４ｂと、機械学習用アルゴリズムデータベース（ＤＢ）１０５ｂとは、処理部１０Ａの記憶部１３又はメモリ１２に記録される。
【0169】
第１情報又は第２情報は、処理部１０Ａにより生成されており、例えば解析対象の細胞が属する形態学的な細胞の種類や異常所見と対応付けられて、処理部１０Ａの記憶部１３又はメモリ１２に予め記憶されている。未訓練の第１のニューラルネットワーク５０並びに第２のニューラルネットワーク５１及び第２のニューラルネットワーク５２は、機械学習用アルゴリズムデータベース１０５に予め格納されている。一度訓練され、更新を受け付ける第１のニューラルネットワーク５０並びに第２のニューラルネットワーク５１及び第２のニューラルネットワーク５２は、機械学習用アルゴリズムアルゴリズムデータベース１０５ｂに予め格納されている。
【0170】
訓練装置１００Ａの処理部１０Ａは、図１４に示す処理を行う。図１２に示す各機能ブロックを用いて説明すると、ステップＳ１１１１、Ｓ１１１２、Ｓ１１１４及びＳ１１１５の処理は、機械学習用訓練データ生成部１０１ｂが行う。ステップＳ１１１３の処理は、機械学習用訓練データ入力部１０２が行う。
【0171】
図１４を用いて、処理部１０Ａが行う第２の機械学習処理の例について説明する。訓練装置１００Ａの処理部１０Ａは、ステップＳ１１１１において、上記機械学習アルゴリズムの訓練の項で述べた方法に従い第１情報及び第２情報を生成する。具体的には、処理部１０Ａは、ステップＳ１１からステップＳ１６によって訓練された第１の深層学習アルゴリズム及び第２の深層学習アルゴリズムから、各訓練用画像７０の細胞について異常所見の種類を識別し、識別結果を得る。第２のニューラルネットワーク６１から各細胞について異常所見の種類の識別結果を出力する。ステップＳ１１１１において、処理部１０Ａは、異常所見の種類の識別結果に基づいて、訓練用画像７０を取得した試料毎に第１情報を生成する。また、処理部１０Ａは、第２のニューラルネットワーク６２から、各訓練用画像７０の細胞について細胞の種類を識別し、識別結果を得る。処理部１０Ａは、細胞の種
類の識別結果に基づいて、訓練用画像７０を取得した試料毎に第２情報を生成する。
類の識別結果に基づいて、訓練用画像７０を取得した試料毎に第２情報を生成する。
【0172】
次に、ステップＳ１１１２において、処理部１０Ａは、第１情報と第２情報と訓練用画像７５に紐付けられている疾患情報５５とから機械学習用訓練データ９０を生成する。
【0173】
次に、ステップＳ１１１３において、処理部１０Ａは、機械学習用訓練データ９０を機械学習アルゴリズムに入力し、機械学習アルゴリズムを訓練する。
【0174】
次に、ステップＳ１１１４において、処理部１０Ａは、全ての訓練用の試料について処理を実行したかを判断する。全ての訓練用の試料について処理を実行した場合には処理を終了する。全ての訓練用の試料について処理を実行していない場合には、ステップＳ１１１５に進み、別の試料の異常所見の種類の識別結果、又は細胞の種類の識別結果を取得し、ステップＳ１１１１に戻って機械学習アルゴリズムの訓練を繰り返す。
【0175】
ステップＳ１１３及びＳ１１１３において使用される機械学習アルゴリズムの概要は以下の通りである。
【0176】
機械学習アルゴリズムとして、Gradient Boosting(勾配ブースティング)等のアンサン
ブル学習(複数の分類器を集めて構成される分類器)を使用することができる。アンサンブル学習としてはExtreme Gradient Boosting（EGB）、Stochastic Gradient Boostingを挙げることができる。Gradient Boostingは、ブースティングアルゴリズムの一種であり、
複数の弱学習器を構成する手法である。弱学習器として、例えば、回帰木を用いることができる。
ブル学習(複数の分類器を集めて構成される分類器)を使用することができる。アンサンブル学習としてはExtreme Gradient Boosting（EGB）、Stochastic Gradient Boostingを挙げることができる。Gradient Boostingは、ブースティングアルゴリズムの一種であり、
複数の弱学習器を構成する手法である。弱学習器として、例えば、回帰木を用いることができる。
【0177】
例えば、回帰木は、入力ベクトルをｘ、ラベルをｙとして、全体の学習器
を損失関数Ｌ（ｙ、Ｆ（ｘ））が最少となるように弱学習器 ｆｍ（ｘ）、ｍ＝１，２,・・・Ｍを逐次的に学習、統合する。すなわち、学習開始時に関数Ｆ０（ｘ）＝ｆ０（ｘ）が与えられるとし、ｍステップ目の学習ではｍ個の弱学習器からなる学習器
を損失関数Ｌ（ｙ、Ｆ（ｘ））が最小になるように弱学習器ｆｍ（ｘ）を決定する。アンサンブル学習では、弱学習器を最適化する際に訓練集合中の全てのデータを使わず、ランダムに一定にするデータをサンプリングして用いる。
【数17】
【数18】
【0178】
【数19】
shrinkageパラメータvは１とし、Ｆ０（ｘ）は定数関数から変更してもよい。
【0179】
（疾患解析処理）
図１５に、解析対象画像７８から、解析結果８３を生成するまでの疾患解析処理を行う疾患解析装置２００Ａの機能ブロック図を示す。疾患解析装置２００Ａの処理部２０Ａは、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３とを備える。これらの機能ブロックは、本発明に係るコンピュータに疾患解析処理を実行させるプログラムを、処理部２０Ａの記憶部２３又はメモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される。深層学習用訓練データデータベース（ＤＢ）１０４と、深層学習用アルゴリズムデータベース（ＤＢ）１０５とは、記録媒体９８又はネットワーク９９を通じて訓練装置１００Ａから提供され、処理部２０Ａの記憶部２３又はメモリ２２に記録される。機械学習用訓練データデータベース（ＤＢ）１０４ａ，ｂと、深層学習用アルゴリズムデータベース（ＤＢ）１０５ａ，ｂとは、記録媒体９８又はネットワーク９９を通じて訓練装置１００Ａから提供され、処理部２０Ａの記憶部２３又はメモリ２２に記録される。
図１５に、解析対象画像７８から、解析結果８３を生成するまでの疾患解析処理を行う疾患解析装置２００Ａの機能ブロック図を示す。疾患解析装置２００Ａの処理部２０Ａは、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３とを備える。これらの機能ブロックは、本発明に係るコンピュータに疾患解析処理を実行させるプログラムを、処理部２０Ａの記憶部２３又はメモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される。深層学習用訓練データデータベース（ＤＢ）１０４と、深層学習用アルゴリズムデータベース（ＤＢ）１０５とは、記録媒体９８又はネットワーク９９を通じて訓練装置１００Ａから提供され、処理部２０Ａの記憶部２３又はメモリ２２に記録される。機械学習用訓練データデータベース（ＤＢ）１０４ａ，ｂと、深層学習用アルゴリズムデータベース（ＤＢ）１０５ａ，ｂとは、記録媒体９８又はネットワーク９９を通じて訓練装置１００Ａから提供され、処理部２０Ａの記憶部２３又はメモリ２２に記録される。
【0180】
解析対象画像７８は、撮像装置４００によって撮像され、処理部２０Ａの記憶部２３又はメモリ２２に記憶される。訓練済みの結合重みｗを含む第１のニューラルネットワーク６０及び第２のニューラルネットワーク６１，６２は、例えば解析対象の細胞が属する形態学的な分類に基づく細胞の種類や異常所見の種類と対応付けられて、深層学習用アルゴリズムデータベース１０５に格納されており、コンピュータに疾患解析処理を実行させるプログラムの一部であるプログラムモジュールとして機能する。すなわち、第１のニューラルネットワーク６０及び第２のニューラルネットワーク６１，６２は、ＣＰＵ及びメモリを備えるコンピュータにて用いられ、異常所見の種類の判結果又は細胞の種類の識別結果を出力する。処理部２０ＡのＣＰＵ２１は、使用目的に応じた特有の情報の演算又は加工を実行するよう、コンピュータを機能させる。また、訓練済みの機械学習アルゴリズム６７は、機械学習用アルゴリズムデータベース１０５ａ，ｂに格納されており、コンピュ
ータに疾患解析処理を実行させるプログラムの一部であるプログラムモジュールとして機能する。すなわち、機械学習アルゴリズム６７は、ＣＰＵ及びメモリを備えるコンピュータにて用いられ、疾患の解析結果を出力する。
ータに疾患解析処理を実行させるプログラムの一部であるプログラムモジュールとして機能する。すなわち、機械学習アルゴリズム６７は、ＣＰＵ及びメモリを備えるコンピュータにて用いられ、疾患の解析結果を出力する。
【0181】
具体的には、処理部２０ＡのＣＰＵ２１は、記憶部２３又はメモリ２２に記憶された第１の深層学習アルゴリズムを用いて、解析データ生成部２０１において、異常所見の種類の識別結果を生成する。処理部２０Ａは、解析データ生成部２０１において、異常所見の種類の識別結果に基づいて第１情報６３を生成する。生成された第１情報６３は解析データ入力部２０２に入力されると共に、機械学習用訓練データＤＢ１０４ａに記憶される。処理部２０Ａは、解析部２０３において、疾患の解析を行い、解析結果８３を出力部２７に出力する。或いは、処理部２０ＡのＣＰＵ２１は、記憶部２３又はメモリ２２に記憶された第２の深層学習アルゴリズムを用いて、解析データ生成部２０１において、異常所見の種類の識別結果を生成する。処理部２０Ａは、解析データ生成部２０１において、異常所見の種類の識別結果に基づいて第２情報６４を生成する。生成された第２情報６４は解析データ入力部２０２に入力されると共に、機械学習用訓練データＤＢ１０４ｂに記憶される。処理部２０Ａは、解析部２０３において疾患の解析を行い、解析結果８３を出力部２７に出力する。
【0182】
図１６に示す各機能ブロックを用いて説明すると、ステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２６の処理は、解析部２０３が行う。
【0183】
（疾患解析処理１）
図１６を用いて、処理部２０Ａが行う解析対象画像７８から、解析結果８３を出力するまでの第１の疾患解析処理の例を説明する。第１の疾患解析処理は、第１情報又は第２情報から解析結果８３を出力する。
図１６を用いて、処理部２０Ａが行う解析対象画像７８から、解析結果８３を出力するまでの第１の疾患解析処理の例を説明する。第１の疾患解析処理は、第１情報又は第２情報から解析結果８３を出力する。
【0184】
はじめに、処理部２０Ａは、解析用画像７８を取得する。解析用画像７８の取得は、ユーザの操作によって、撮像装置４００から取り込まれるか、記録媒体９８から取り込まれるか、ネットワーク経由でＩ／Ｆ部２５を介して行われる。
【0185】
ステップＳ２１において、図１０に示すステップＳ１１と同様に、取得された解析用画像７８を輝度Ｙ、第１の色相Ｃｂ及び第２の色相Ｃｒに変換し、上記解析データの生成方法で説明した手順に従い色調ベクトルデータ８０を生成する。
【0186】
次に、ステップＳ２２において、処理部２０Ａは、色調ベクトルデータ８０から、上記解析データの生成方法で説明した手順に従い解析データ８１を生成する。
【0187】
次に、ステップＳ２３において、処理部２０Ａは、アルゴリズムデータベース１０５に格納されている第１の深層学習アルゴリズム又は第２の深層学習アルゴリズムを取得する。
【0188】
次に、ステップＳ２４において、処理部２０Ａは、解析データ８１を第１の深層学習アルゴリズムを構成する第１のニューラルネットワーク６０に入力する。処理部２０Ａは、上記疾患の解析方法で述べた手順に従い、第１のニューラルネットワーク６０から、出力された特徴量を第２のニューラルネットワーク６１に入力し、第２のニューラルネットワーク６１から、異常所見の種類の識別結果を出力する。処理部２０Ａは、この識別結果をメモリ２２又は記憶部２３に記憶する。或いは、ステップＳ２４において、処理部２０Ａは、解析データ８１を第２の深層学習アルゴリズムを構成する第１のニューラルネットワーク６０に入力する。処理部２０Ａは、上記疾患の解析方法で述べた手順に従い、第１の
ニューラルネットワーク６０から、出力された特徴量を第２のニューラルネットワーク６２に入力し、第２のニューラルネットワーク６２から、細胞の種類の識別結果を出力する。処理部２０Ａは、この識別結果をメモリ２２又は記憶部２３に記憶する。
ニューラルネットワーク６０から、出力された特徴量を第２のニューラルネットワーク６２に入力し、第２のニューラルネットワーク６２から、細胞の種類の識別結果を出力する。処理部２０Ａは、この識別結果をメモリ２２又は記憶部２３に記憶する。
【0189】
ステップＳ２５において、処理部２０Ａは、はじめに取得した解析用画像７８を全て識別したかを判断する。全ての解析用画像７８の識別が終わっている（ＹＥＳ）の場合には、ステップＳ２６へ進み、細胞の種類の識別結果から第１情報６３を生成するか又は細胞の種類の識別結果から第２情報を生成する。全ての解析用画像７８の識別が終わっていない（ＮＯ）の場合には、ステップＳ２７に進み、まだ識別を行っていない解析用画像７８に対して、ステップＳ２１からステップＳ２５の処理を行う。
【0190】
次に、ステップＳ２８において、処理部２０Ａは、機械学習アルゴリズム６７を取得する。続いてステップＳ２９において、処理部２０Ａは、機械学習アルゴリズム６７に第１情報又は第２情報を入力する。
【0191】
最後に、ステップＳ３０において、処理部２０Ａは、解析結果８３を疾患名又は疾患名に紐付けられたラベル値として出力部２７に出力する。
【0192】
（疾患解析処理２）
図１７を用いて、処理部２０Ａが行う解析対象画像７８から、解析結果８３を出力するまでの第２の疾患解析処理の例を説明する。第２の疾患解析処理は、第１情報及び第２情報から解析結果８３を出力する。
図１７を用いて、処理部２０Ａが行う解析対象画像７８から、解析結果８３を出力するまでの第２の疾患解析処理の例を説明する。第２の疾患解析処理は、第１情報及び第２情報から解析結果８３を出力する。
【0193】
はじめに、処理部２０Ａは、解析用画像７８を取得する。解析用画像７８の取得は、ユーザの操作によって、撮像装置４００から取り込まれるか、記録媒体９８から取り込まれるか、ネットワーク経由でＩ／Ｆ部２５を介して行われる。
【0194】
ステップＳ１２１において、図１０に示すステップＳ１１と同様に、取得された解析用画像７８を輝度Ｙ、第１の色相Ｃｂ及び第２の色相Ｃｒに変換し、上記解析データの生成方法で説明した手順に従い色調ベクトルデータ８０を生成する。
【0195】
次に、ステップＳ１２２において、処理部２０Ａは、色調ベクトルデータ８０から、上記解析データの生成方法で説明した手順に従い解析データ８１を生成する。
【0196】
次に、ステップＳ１２３において、処理部２０Ａは、アルゴリズムデータベース１０５に格納されている第１の深層学習アルゴリズム及び第２の深層学習アルゴリズムを取得する。
【0197】
次に、ステップＳ１２４において、処理部２０Ａは、解析データ８１を第１の深層学習アルゴリズムを構成する第１のニューラルネットワーク６０に入力する。処理部２０Ａは、上記疾患の解析方法で述べた手順に従い、第１のニューラルネットワーク６０から、出力された特徴量を第２のニューラルネットワーク６１に入力し、第２のニューラルネットワーク６１から、異常所見の種類の識別結果を出力する。処理部２０Ａは、この識別結果をメモリ２２又は記憶部２３に記憶する。また、ステップＳ１２４において、処理部２０Ａは、解析データ８１を第２の深層学習アルゴリズムを構成する第１のニューラルネットワーク６０に入力する。処理部２０Ａは、上記疾患の解析方法で述べた手順に従い、第１のニューラルネットワーク６０から、出力された特徴量を第２のニューラルネットワーク６２に入力し、第２のニューラルネットワーク６２から、細胞の種類の識別結果を出力する。処理部２０Ａは、この識別結果をメモリ２２又は記憶部２３に記憶する。
【0198】
ステップＳ１２５において、処理部２０Ａは、はじめに取得した解析用画像７８を全て識別したかを判断する。全ての解析用画像７８の識別が終わっている（ＹＥＳ）の場合には、ステップＳ１２６へ進み、細胞の種類の識別結果から第１情報６３を生成し、かつ細胞の種類の識別結果から第２情報を生成する。全ての解析用画像７８の識別が終わっていない（ＮＯ）の場合には、ステップＳ１２７に進み、まだ識別を行っていない解析用画像７８に対して、ステップＳ１２１からステップＳ１２５の処理を行う。
【0199】
次に、ステップＳ１２８において、処理部２０Ａは、機械学習アルゴリズム６７を取得する。続いてステップＳ１２９において、処理部２０Ａは、機械学習アルゴリズム６７に第１情報及び第２情報を入力する。
【0200】
最後に、ステップＳ１３０において、処理部２０Ａは、解析結果８３を疾患名又は疾患名に紐付けられたラベル値として出力部２７に出力する。
【0201】
＜コンピュータプログラム＞
ステップＳ２１～Ｓ３０又はステップＳ１２１～Ｓ１３０の処理をコンピュータに実行させる、疾患解析を補助するためのコンピュータプログラムについて説明する。コンピュータプログラムは、ステップＳ１１からＳ１７及びステップＳ１１１からＳ１１５の処理をコンピュータに実行させる、機械学習アルゴリズムの訓練するためのプログラム、又はステップＳ１１からＳ１７及びステップＳ１１１１からＳ１１１５の処理をコンピュータに実行させる、機械学習アルゴリズムの訓練するためのプログラムを含んでいてもよい。
ステップＳ２１～Ｓ３０又はステップＳ１２１～Ｓ１３０の処理をコンピュータに実行させる、疾患解析を補助するためのコンピュータプログラムについて説明する。コンピュータプログラムは、ステップＳ１１からＳ１７及びステップＳ１１１からＳ１１５の処理をコンピュータに実行させる、機械学習アルゴリズムの訓練するためのプログラム、又はステップＳ１１からＳ１７及びステップＳ１１１１からＳ１１１５の処理をコンピュータに実行させる、機械学習アルゴリズムの訓練するためのプログラムを含んでいてもよい。
【0202】
さらに、前記コンピュータプログラムを記憶した、記憶媒体等のプログラム製品について説明する。前記コンピュータプログラムは、ハードディスク、フラッシュメモリ等の半導体メモリ素子、光ディスク等の記憶媒体に記憶される。前記記憶媒体へのプログラムの記憶形式は、前記処理部が前記プログラムを読み取り可能である限り制限されない。前記記憶媒体への記憶は、不揮発性であることが好ましい。
【0203】
［疾患解析システム２］
＜疾患解析システム２の構成＞
疾患解析システムの別の態様について説明する。図１８に第２の疾患解析システム２の構成例を示す。疾患解析システム２は、ユーザ側装置２００を備え、ユーザ側装置２００が、統合型の疾患解析装置２００Ｂとして動作する。疾患解析装置２００Ｂは、例えば汎用コンピュータで構成されており、上記疾患解析システム１で説明した深層学習処理及び疾患解析処理の両方の処理を行う。つまり、疾患解析システム２は、ユーザ側で深層学習及び疾患解析を行う、スタンドアロン型のシステムである。第２の疾患解析システムは、ユーザ側に設置された統合型の疾患解析装置２００Ｂが、訓練装置１００Ａ及び疾患解析装置２００Ａの両方の機能を担う。
＜疾患解析システム２の構成＞
疾患解析システムの別の態様について説明する。図１８に第２の疾患解析システム２の構成例を示す。疾患解析システム２は、ユーザ側装置２００を備え、ユーザ側装置２００が、統合型の疾患解析装置２００Ｂとして動作する。疾患解析装置２００Ｂは、例えば汎用コンピュータで構成されており、上記疾患解析システム１で説明した深層学習処理及び疾患解析処理の両方の処理を行う。つまり、疾患解析システム２は、ユーザ側で深層学習及び疾患解析を行う、スタンドアロン型のシステムである。第２の疾患解析システムは、ユーザ側に設置された統合型の疾患解析装置２００Ｂが、訓練装置１００Ａ及び疾患解析装置２００Ａの両方の機能を担う。
【0204】
図１８において、疾患解析装置２００Ｂは撮像装置４００に接続されている。撮像装置４００は、深層学習処理時には、訓練用画像７０を撮像し、疾患解析処理時には、解析対象画像７８を撮像する。
【0205】
＜ハードウェア構成＞
疾患解析装置２００Ｂのハードウェア構成は、図９に示すユーザ側装置２００のハードウェア構成と同様である。
疾患解析装置２００Ｂのハードウェア構成は、図９に示すユーザ側装置２００のハードウェア構成と同様である。
【0206】
＜機能ブロック及び処理手順＞
図１９に、疾患解析装置２００Ｂの機能ブロック図を示す。疾患解析装置２００Ｂの処理部２０Ｂは、深層学習用訓練データ生成部１０１と、深層学習用訓練データ入力部１０
２と、深層学習用アルゴリズム更新部１０３と、機械学習用訓練データ生成部１０１ａ，ｂと、機械学習用訓練データ入力部１０２ａ，ｂと、機械学習用アルゴリズム更新部１０３ａ，ｂと、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３とを備える。
図１９に、疾患解析装置２００Ｂの機能ブロック図を示す。疾患解析装置２００Ｂの処理部２０Ｂは、深層学習用訓練データ生成部１０１と、深層学習用訓練データ入力部１０
２と、深層学習用アルゴリズム更新部１０３と、機械学習用訓練データ生成部１０１ａ，ｂと、機械学習用訓練データ入力部１０２ａ，ｂと、機械学習用アルゴリズム更新部１０３ａ，ｂと、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３とを備える。
【0207】
疾患解析装置２００Ｂの処理部２０Ｂは、深層学習処理時には、図９に示す処理を行い、機械学習時には、図１３又は図１４の処理を行い、疾患解析処理時には、図１６又は図１７に示す処理を行う。図１９に示す各機能ブロックを用いて説明すると、深層学習処理時には、図９のステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理を、深層学習用訓練データ生成部１０１が行う。図９のステップＳ１３の処理は、深層学習用訓練データ入力部１０２が行う。図９のステップＳ１４の処理は、深層学習用アルゴリズム更新部１０３が行う。機械学習処理時には、図１３のステップＳ１１１、Ｓ１１２、Ｓ１１４及びＳ１１５の処理は、機械学習用訓練データ生成部１０１ａが行う。ステップＳ１１３の処理は、機械学習用訓練データ入力部１０２ａが行う。或いは、機械学習時には、図１４のステップＳ１１１１、Ｓ１１１２、Ｓ１１１４及びＳ１１１５の処理は、機械学習用訓練データ生成部１０１ｂが行う。図１４のステップＳ１１１３の処理は、機械学習用訓練データ入力部１０２が行う。疾患解析処理時には、図１６のステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。図１６のステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。図１６のステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は、解析用データ入力部２０２が行う。図１６のステップＳ２６の処理は、解析部２０３が行う。或いは、図１７のステップＳ１２１及びＳ１２２の処理は、解析用データ生成部２０１が行う。図１７のステップＳ１２３、Ｓ１２４、Ｓ１２５及びＳ１２７の処理は、解析用データ入力部２０２が行う。図１６のステップＳ１２６の処理は、解析部２０３が行う。
【0208】
疾患解析装置２００Ｂが行う深層学習処理の手順及び疾患解析処理の手順は、訓練装置１００Ａ及び疾患解析装置２００Ａがそれぞれ行う手順と同様である。但し、疾患解析装置２００Ｂは、訓練画像７０を撮像装置４００から取得する。
【0209】
疾患解析装置２００Ｂでは、ユーザが、識別器の識別精度を確認することができる。万が一識別器の識別結果がユーザの画像観察による識別結果と異なる場合には、解析データ８１を訓練データ７８として、ユーザの画像観察による識別結果をラベル値７７として、第１の深層学習アルゴリズムと第２の深層学習アルゴリズムを訓練し治すことができる。このようにすることにより、第１のニューラルネットワーク５０及び第１のニューラルネットワーク５１の訓練効率をより向上することができる。
【0210】
［疾患解析システム３］
＜疾患解析システム３の構成＞
疾患解析システムの別の態様について説明する。図２０に第３の疾患解析システム３の構成例を示す。疾患解析システム３は、ベンダ側装置１００と、ユーザ側装置２００とを備える。ベンダ側装置１００は、処理部１０（１０Ｂ）と、入力部１６と、出力部１７とを備える。ベンダ側装置１００は統合型の疾患解析装置１００Ｂとして動作し、ユーザ側装置２００は端末装置２００Ｃとして動作する。疾患解析装置１００Ｂは、例えば汎用コンピュータで構成されており、上記疾患解析システム１で説明した深層学習処理及び疾患解析処理の両方の処理を行う、クラウドサーバ側の装置である。端末装置２００Ｃは、例えば汎用コンピュータで構成されており、ネットワーク９９を通じて、解析対象の画像を疾患解析装置１００Ｂに送信し、ネットワーク９９を通じて、解析結果の画像を疾患解析装置１００Ｂから受信する。
＜疾患解析システム３の構成＞
疾患解析システムの別の態様について説明する。図２０に第３の疾患解析システム３の構成例を示す。疾患解析システム３は、ベンダ側装置１００と、ユーザ側装置２００とを備える。ベンダ側装置１００は、処理部１０（１０Ｂ）と、入力部１６と、出力部１７とを備える。ベンダ側装置１００は統合型の疾患解析装置１００Ｂとして動作し、ユーザ側装置２００は端末装置２００Ｃとして動作する。疾患解析装置１００Ｂは、例えば汎用コンピュータで構成されており、上記疾患解析システム１で説明した深層学習処理及び疾患解析処理の両方の処理を行う、クラウドサーバ側の装置である。端末装置２００Ｃは、例えば汎用コンピュータで構成されており、ネットワーク９９を通じて、解析対象の画像を疾患解析装置１００Ｂに送信し、ネットワーク９９を通じて、解析結果の画像を疾患解析装置１００Ｂから受信する。
【0211】
疾患解析システム３は、ベンダ側に設置された統合型の疾患解析装置１００Ｂが、訓練
装置１００Ａ及び疾患解析装置２００Ａの両方の機能を担う。一方、第３の疾患解析システムは、端末装置２００Ｃを備え、解析用画像７８の入力インタフェースと、解析結果の画像の出力インタフェースとをユーザ側の端末装置２００Ｃに提供する。つまり、第３の疾患解析システムは、深層学習処理及び疾患解析処理を行うベンダ側が、解析用画像７８をユーザ側に提供する入力インタフェースと、解析結果８３をユーザ側に提供する出力インタフェースを、クラウドサービス型のシステムである。入力インタフェースと出力インタフェースは一体化されていてもよい。
装置１００Ａ及び疾患解析装置２００Ａの両方の機能を担う。一方、第３の疾患解析システムは、端末装置２００Ｃを備え、解析用画像７８の入力インタフェースと、解析結果の画像の出力インタフェースとをユーザ側の端末装置２００Ｃに提供する。つまり、第３の疾患解析システムは、深層学習処理及び疾患解析処理を行うベンダ側が、解析用画像７８をユーザ側に提供する入力インタフェースと、解析結果８３をユーザ側に提供する出力インタフェースを、クラウドサービス型のシステムである。入力インタフェースと出力インタフェースは一体化されていてもよい。
【0212】
疾患解析装置１００Ｂは撮像装置３００に接続されており、撮像装置３００によって撮像される、訓練用画像７０を取得する。
【0213】
端末装置２００Ｃは撮像装置４００に接続されており、撮像装置４００によって撮像される、解析対象画像７８を取得する。
【0214】
＜ハードウェア構成＞
疾患解析装置１００Ｂのハードウェア構成は、図７に示すベンダ側装置１００のハードウェア構成と同様である。端末装置２００Ｃのハードウェア構成は、図８に示すユーザ側装置２００のハードウェア構成と同様である。
疾患解析装置１００Ｂのハードウェア構成は、図７に示すベンダ側装置１００のハードウェア構成と同様である。端末装置２００Ｃのハードウェア構成は、図８に示すユーザ側装置２００のハードウェア構成と同様である。
【0215】
＜機能ブロック及び処理手順＞
図２１に、疾患解析装置１００Ｂの機能ブロック図を示す。疾患解析装置１００Ｂの処理部１０Ｂは、深層学習用訓練データ生成部１０１と、深層学習用訓練データ入力部１０２と、深層学習用アルゴリズム更新部１０３と、機械学習用訓練データ生成部１０１ａ，ｂと、機械学習用訓練データ入力部１０２ａ，ｂと、機械学習用アルゴリズム更新部１０３ａ，ｂと、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３とを備える。
図２１に、疾患解析装置１００Ｂの機能ブロック図を示す。疾患解析装置１００Ｂの処理部１０Ｂは、深層学習用訓練データ生成部１０１と、深層学習用訓練データ入力部１０２と、深層学習用アルゴリズム更新部１０３と、機械学習用訓練データ生成部１０１ａ，ｂと、機械学習用訓練データ入力部１０２ａ，ｂと、機械学習用アルゴリズム更新部１０３ａ，ｂと、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３とを備える。
【0216】
疾患解析装置２００Ｂの処理部２０Ｂは、深層学習処理時には、図９に示す処理を行い、機械学習時には、図１３又は図１４の処理を行い、疾患解析処理時には、図１６又は図１７に示す処理を行う。図１９に示す各機能ブロックを用いて説明すると、深層学習処理時には、図９のステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理を、深層学習用訓練データ生成部１０１が行う。図９のステップＳ１３の処理は、深層学習用訓練データ入力部１０２が行う。図９のステップＳ１４の処理は、深層学習用アルゴリズム更新部１０３が行う。機械学習処理時には、図１３のステップＳ１１１、Ｓ１１２、Ｓ１１４及びＳ１１５の処理は、機械学習用訓練データ生成部１０１ａが行う。ステップＳ１１３の処理は、機械学習用訓練データ入力部１０２ａが行う。或いは、機械学習時には、図１４のステップＳ１１１１、Ｓ１１１２、Ｓ１１１４及びＳ１１１５の処理は、機械学習用訓練データ生成部１０１ｂが行う。図１４のステップＳ１１１３の処理は、機械学習用訓練データ入力部１０２が行う。疾患解析処理時には、図１６のステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。図１６のステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。図１６のステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は、解析用データ入力部２０２が行う。図１６のステップＳ２６の処理は、解析部２０３が行う。或いは、図１７のステップＳ１２１及びＳ１２２の処理は、解析用データ生成部２０１が行う。図１７のステップＳ１２３、Ｓ１２４、Ｓ１２５及びＳ１２７の処理は、解析用データ入力部２０２が行う。図１６のステップＳ１２６の処理は、解析部２０３が行う。
【0217】
疾患解析装置１００Ｂが行う深層学習処理の手順及び疾患解析処理の手順は、訓練装置１００Ａ及び疾患解析装置２００Ａがそれぞれ行う手順と同様である。
【0218】
処理部１０Ｂは、解析対象画像７８を、ユーザ側の端末装置２００Ｃから受信し、図９に示すステップＳ１１からＳ１７にしたがって深層学習用訓練データ７５を生成する。
【0219】
図１２に示すステップＳ２６において、処理部１０Ｂは、解析結果８３を含む解析結果を、ユーザ側の端末装置２００Ｃに送信する。ユーザ側の端末装置２００Ｃでは、処理部２０Ｃが、受信した解析結果を出力部２７に出力する。
【0220】
以上、端末装置２００Ｃのユーザは、解析対象画像７８を疾患解析装置１００Ｂに送信することにより、解析結果８３を取得することができる。
【0221】
疾患解析装置１００Ｂによると、ユーザは、訓練データデータベース１０４及びアルゴリズムデータベース１０５を訓練装置１００Ａから取得することなく、識別器を使用することができる。これにより、形態学的な分類に基づく細胞の種類及び細胞の特徴を識別するサービスを、クラウドサービスとして提供することができる。
【0222】
［その他の形態］
本発明は上記形態に限定されるものではない。
本発明は上記形態に限定されるものではない。
【0223】
上記形態では、色調を輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとに変換して深層学習用訓練データ７５を生成する方法を例示しているが、色調の変換はこれに限定されない。色調を変換せずに、例えば、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色まま使用してもよい。或いは、前記原色からいずれか１つの色相を減らした２原色としてもよい。或いは、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のいずれか１つ（例えば緑（Ｇ））のみの１原色としてもよい。シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）の３原色に変換してもよい。原色を例えば解析対象画像７８も、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のカラー画像に限定されず、２原色のカラー画像であってもよく、１以上の原色を含む画像であればよい。
【0224】
上記訓練データの生成方法及び解析データの生成方法では、ステップＳ１１において、処理部１０Ａ，２０Ｂ，１０Ｂは、訓練用画像７０から色調行列７２ｙ，７２ｃｂ，７２ｃｒを生成しているが、訓練用画像７０は輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとに変換された画像方法であってもよい。すなわち、処理部１０Ａ，２０Ｂ，１０Ｂは、輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとを初めから、例えばバーチャルスライドスキャナ等から直接取得してもよい。同様に、ステップＳ２１において、処理部２０Ａ，２０Ｂ，１０Ｂは、解析対象画像７８から色調行列７２ｙ，７２ｃｂ，７２ｃｒを生成しているが、処理部２０Ａ，２０Ｂ，１０Ｂは、輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとを初めから、例えばバーチャルスライドスキャナ等から直接取得してもよい。
【0225】
ＲＧＢ、ＣＭＹ以外にも、ＹＵＶ、及びＣＩＥ Ｌ＊ａ＊ｂ＊等の種々のカラースペースを画像の取得及び色調の変換に用いることができる。
【0226】
色調ベクトルデータ７４及び色調ベクトルデータ８０において、各画素について輝度Ｙ、第１の色相Ｃｂ、第２の色相Ｃｒの順番で色調の情報が格納されているが、色調の情報の格納する順番及び取り扱う順番はこれに限定されない。但し色調ベクトルデータ７４における色調の情報の並び順と、色調ベクトルデータ８０における色調の情報の並び順とは同じであることが好ましい。
【0227】
各場像解析システムにおいて、処理部１０Ａ，１０Ｂは一体の装置として実現されているが、処理部１０Ａ，１０Ｂは一体の装置である必要はなく、ＣＰＵ１１、メモリ１２、記憶部１３、ＧＰＵ１９等が別所に配置され、これらがネットワークで接続されていても
よい。処理部１０Ａ，１０Ｂと、入力部１６と、出力部１７とについても、一ヶ所に配置される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に接続されていてもよい。処理部２０Ａ，２０Ｂ，２０Ｃについても処理部１０Ａ，１０Ｂと同様である。
よい。処理部１０Ａ，１０Ｂと、入力部１６と、出力部１７とについても、一ヶ所に配置される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に接続されていてもよい。処理部２０Ａ，２０Ｂ，２０Ｃについても処理部１０Ａ，１０Ｂと同様である。
【0228】
上記疾患解析支援システムでは、深層学習用訓練データ生成部１０１、機械学習用訓練データ生成部１０１ａ，１０１ｂ、深層学習用訓練データ入力部１０２、機械学習用訓練データ入力部１０２ａ，１０２ｂ、深層学習用アルゴリズム更新部１０３、機械学習用アルゴリズム更新部１０３ａ，１０３ｂ、解析用データ生成部２０１、解析用データ入力部２０２、及び解析部２０３の各機能ブロックは、単一のＣＰＵ１１又は単一のＣＰＵ２１において実行されているが、これら各機能ブロックは単一のＣＰＵにおいて実行される必要は必ずしもなく、複数のＣＰＵで分散して実行されてもよい。また、これら各機能ブロックは、複数のＧＰＵで分散して実行されてもよいし、複数のＣＰＵと複数のＧＰＵとで分散して実行されてもよい。
【0229】
上記疾患解析支援システムでは、図９及び図１２で説明する各ステップの処理を行うためのプログラムを記憶部１３，２３に予め記録している。これに代えて、プログラムは、例えばＤＶＤ－ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体９８から処理部１０Ｂ，２０Ｂにインストールしてもよい。又は、処理部１０Ｂ，２０Ｂをネットワーク９９と接続し、ネットワーク９９を介して例えば外部のサーバ（図示せず）からプログラムをダウンロードしてインストールしてもよい。
【0230】
各疾患解析システムにおいて、入力部１６，２６はキーボード又はマウス等の入力装置であり、出力部１７，２７は液晶ディスプレイ等の表示装置として実現されている。これに代えて、入力部１６，２６と出力部１７，２７とを一体化してタッチパネル式の表示装置として実現してもよい。又は、出力部１７，２７をプリンター等で構成してもよい。
【0231】
上記各疾患解析システムでは、撮像装置３００は、訓練装置１００Ａ又は疾患解析装置１００Ｂと直接接続されているが、撮像装置３００は、ネットワーク９９を介して訓練装置１００Ａ又は疾患解析装置１００Ｂと接続されていてもよい。撮像装置４００についても同様に、撮像装置４００は、疾患解析装置２００Ａ又は疾患解析装置２００Ｂと直接接続されているが、撮像装置４００は、ネットワーク９９を介して疾患解析装置２００Ａ又は疾患解析装置２００Ｂと接続されていてもよい。
【0232】
［識別器の効果］
＜深層学習アルゴリズム及び機械学習アルゴリズムの訓練＞
2017年から2018年の間に、順天堂大学病院において取得された、血液疾患を保有する被検者に由来する1,165の末梢血（PB）塗抹標本（骨髄異形成症候群（n = 94）、骨髄増殖
性腫瘍（n = 127）、急性骨髄性白血病（n = 38）、急性リンパ芽球性白血病（n = 27）
、悪性リンパ腫（n = 324）、多発性骨髄腫（n = 82）、非腫瘍性の血液疾患（n = 473））を含む合計3,261の末梢血（PB）塗抹標本を評価に用いた。PB塗抹標本スライドは、塗
抹標本作製装置SP-10（シスメックス株式会社製）を用いMay Grunwald-Giemsaで染色して作成した。PB塗抹標本スライドを、血液像自動分析装置 DI-60（シスメックス株式会社製）を用い、合計703,970個のデジタル化細胞画像を取得した。画像から、上記深層学習用
の訓練データの生成方法に従って深層学習用の訓練データ７５を生成した。
＜深層学習アルゴリズム及び機械学習アルゴリズムの訓練＞
2017年から2018年の間に、順天堂大学病院において取得された、血液疾患を保有する被検者に由来する1,165の末梢血（PB）塗抹標本（骨髄異形成症候群（n = 94）、骨髄増殖
性腫瘍（n = 127）、急性骨髄性白血病（n = 38）、急性リンパ芽球性白血病（n = 27）
、悪性リンパ腫（n = 324）、多発性骨髄腫（n = 82）、非腫瘍性の血液疾患（n = 473））を含む合計3,261の末梢血（PB）塗抹標本を評価に用いた。PB塗抹標本スライドは、塗
抹標本作製装置SP-10（シスメックス株式会社製）を用いMay Grunwald-Giemsaで染色して作成した。PB塗抹標本スライドを、血液像自動分析装置 DI-60（シスメックス株式会社製）を用い、合計703,970個のデジタル化細胞画像を取得した。画像から、上記深層学習用
の訓練データの生成方法に従って深層学習用の訓練データ７５を生成した。
【0233】
第１のコンピュータアルゴリズムとして深層学習アルゴリズムを使用した。深層学習アルゴリズムは、第１のニューラルネットワークとしてConvolutional Neural Network（CNN）を使用し、第２のニューラルネットワークとしてFully Connected Neural Network（FCNN）を使用し、細胞の種類及び異常所見の種類の識別を行った。
【0234】
第２のコンピュータアルゴリズムとして、機械学習アルゴリズムであるExtreme Gradient Boosting（EGB）を使用し、疾患の自動解析支援システムを構築した。
【0235】
図２２に実施例で使用した識別器の構成を示す。細胞の種類と異常所見の種類を同時に検出するために、深層学習アルゴリズムを体系化した。
【0236】
この深層学習アルゴリズムは「CNNモジュール」と「FCNNモジュール」の２つの主要モ
ジュールから構成される。CNNモジュールは、DI-60で撮影された画像から色調ベクトルデータで表された特徴を抽出する。FCNNモジュールは、CNNモジュールから抽出された特徴
を分析し、細胞や核の大きさや形、細胞質の画像パターンなどの97種の異常所見の特徴と共に17種の細胞の種類に細胞画像を分類する。
ジュールから構成される。CNNモジュールは、DI-60で撮影された画像から色調ベクトルデータで表された特徴を抽出する。FCNNモジュールは、CNNモジュールから抽出された特徴
を分析し、細胞や核の大きさや形、細胞質の画像パターンなどの97種の異常所見の特徴と共に17種の細胞の種類に細胞画像を分類する。
【0237】
「CNNモジュール」は、2つのサブモジュールから構成されている。最初の（上流の）サブモジュールは3つの合同ブロックを持ち、各ブロックはいくつかの畳み込みネットワー
ク層からなる2つの並列経路を持つ。これらの層の積み重ねは、入力画像データ及び出力
パラメータから次のブロックへの特徴の抽出を最適化する。2番目（下流）のサブモジュ
ールには8つの連続ブロックがある。各ブロックには、1系列のたたみ込み層と、たたみ込み成分を含まない1つの経路からなる2つのパラレル経路がある。これをResidual Network（ResNet）と呼ぶ。このResNetはシステムの飽和を防ぐためのバッファとして機能する。
ク層からなる2つの並列経路を持つ。これらの層の積み重ねは、入力画像データ及び出力
パラメータから次のブロックへの特徴の抽出を最適化する。2番目（下流）のサブモジュ
ールには8つの連続ブロックがある。各ブロックには、1系列のたたみ込み層と、たたみ込み成分を含まない1つの経路からなる2つのパラレル経路がある。これをResidual Network（ResNet）と呼ぶ。このResNetはシステムの飽和を防ぐためのバッファとして機能する。
【0238】
分離可能畳み込み、例外ベースの畳み込み層（Conv 2D）、バッチ正規化層（BN）、及
びアクティブ化層（ACT）の各層には異なる役割がある。分離可能畳み込みは、Xception
と呼ばれる変形型の畳み込みである。Conv 2Dは、特徴を抽出し、画像を処理して「特徴
マップ」を形成する際にパラメータを最適化するニューラルネットワークの主要構成要素である。Conv 2D及びBNの2つの層に続くACTは整流型リニアユニット（ReLU）である。第
１のサブモジュールは、特徴マップを作成するために８つの連続した類似のブロックからなる第２のサブモジュールに接続される。逆伝播による重量の効果的な計算につながる、深層の予期せぬ飽和を回避するために、Conv 2Dが2番目のモジュールでバイパスする。上記のディープコンボリューションニューラルネットワークアーキテクチャはKerasとTensorflowとのバックエンドで実装した。
びアクティブ化層（ACT）の各層には異なる役割がある。分離可能畳み込みは、Xception
と呼ばれる変形型の畳み込みである。Conv 2Dは、特徴を抽出し、画像を処理して「特徴
マップ」を形成する際にパラメータを最適化するニューラルネットワークの主要構成要素である。Conv 2D及びBNの2つの層に続くACTは整流型リニアユニット（ReLU）である。第
１のサブモジュールは、特徴マップを作成するために８つの連続した類似のブロックからなる第２のサブモジュールに接続される。逆伝播による重量の効果的な計算につながる、深層の予期せぬ飽和を回避するために、Conv 2Dが2番目のモジュールでバイパスする。上記のディープコンボリューションニューラルネットワークアーキテクチャはKerasとTensorflowとのバックエンドで実装した。
【0239】
第１のコンピュータアルゴリズムにより識別された17種の細胞の種類の識別結果と、97種の細胞の種類毎の異常所見の種類の識別結果を機械学習アルゴリズムの訓練のために使用した。細胞の種類毎の異常所見の種類の識別の際、好中球は、分葉核好中球と桿状核好中球は区別せずに異常所見と結びつけた。また、図３に示す異常所見のうち、「その他の異常」、「偽Chediak-Higashi顆粒様」、血小板の「その他異常(凝集含む)」の項目は解
析からは除外した。XGBoostには、細胞の種類毎の異常所見の種類の識別結果から第1情報を生成し、細胞の種類の識別結果から第2情報を生成し、入力した。
析からは除外した。XGBoostには、細胞の種類毎の異常所見の種類の識別結果から第1情報を生成し、細胞の種類の識別結果から第2情報を生成し、入力した。
【0240】
深層学習アルゴリズムをトレーニングするために、703,970個のデジタル化された細胞
画像をトレーニングデータセット用の695,030画像と検証データセット用の8,940画像に分割した。
画像をトレーニングデータセット用の695,030画像と検証データセット用の8,940画像に分割した。
【0241】
システムの構築のため89例の骨髄異形成症候群（MDS）症例と43例の再生不良性貧血（AA）症例の末梢血の細胞をトレーニングに使用した。次に、26人のMDS患者と11人のAA患者から得られたPB塗抹標本画像を使用し、EGBベースの疾患の自動解析支援システムを検証
した。
した。
【0242】
訓練に用いる細胞の識別は、臨床検査基準協会（CLSI）H20-A2ガイドラインの形態学的
基準及び2016年に改訂されたWHOの骨髄性腫瘍と急性白血病の分類に従って、2人の委員会認定血液検査技師及び1人の上級血液病理学者によって行った。訓練データセットを17の
細胞型及び97の異常所見の種類に分類した。
基準及び2016年に改訂されたWHOの骨髄性腫瘍と急性白血病の分類に従って、2人の委員会認定血液検査技師及び1人の上級血液病理学者によって行った。訓練データセットを17の
細胞型及び97の異常所見の種類に分類した。
【0243】
図２３に、訓練及び試験用の細胞画像の種類及び数を示す。
【0244】
訓練後、評価データセットを使用して第１のコンピュータアルゴリズムのパフォーマンスを評価した。図２４に、訓練された第１のコンピュータアルゴリズムによる細胞の種類の識別結果の精度を示す。ROC曲線によって計算した感度（Sensitivity）及び特異度（Specificity）は良好であった。
【0245】
図２５に、訓練された第１のコンピュータアルゴリズムによる異常所見の種類の識別結果の精度を示す。ROC曲線によって計算した、感度（Sensitivity）、特異度（Specificity）及びAUCは良好であった。
【0246】
したがって、訓練された第１のコンピュータアルゴリズムの識別精度は良好であることが示された。
【0247】
次に、識別器を使用して、MDSとAAの鑑別を行った。図２６は、細胞の種類毎の異常所
見の種類の寄与度をSHAP値のヒートマップとして表した図である。図２６に示すヒートマップの列はそれぞれ一人の患者の試料に対応し、行は細胞の種類毎の異常所見に対応する。左端の１列目から２６列目までの患者がMDS患者に対応し、２７列目から右端の３７列
目までの患者がAA患者に対応する。検出率の高低がヒートマップの濃淡で表現されている。図２６から、MDS患者の好中球における異常な脱顆粒及び好酸球の異常顆粒の検出率、
並びに巨大血小板の検出率はAA患者より有意に高いことが分かる。
見の種類の寄与度をSHAP値のヒートマップとして表した図である。図２６に示すヒートマップの列はそれぞれ一人の患者の試料に対応し、行は細胞の種類毎の異常所見に対応する。左端の１列目から２６列目までの患者がMDS患者に対応し、２７列目から右端の３７列
目までの患者がAA患者に対応する。検出率の高低がヒートマップの濃淡で表現されている。図２６から、MDS患者の好中球における異常な脱顆粒及び好酸球の異常顆粒の検出率、
並びに巨大血小板の検出率はAA患者より有意に高いことが分かる。
【0248】
図２７に、MDSとAAの鑑別診断における識別器の精度を評価した結果を示す。評価は、ROC曲線によって計算した、感度、特異度及びAUCにより行った。識別器の感度（Sensitivity）と特異度（Specificity）はそれぞれ96.2％と100％で、ROC曲線のAUCは0.990であり
、MDSとAAの鑑別診断における高い精度が示された。
、MDSとAAの鑑別診断における高い精度が示された。
【0249】
上述した識別器が、疾患の解析の支援に有用であることが示された。
【符号の説明】
【0250】
２００ 疾患解析の支援装置
２０ 処理部
６０ 第１のニューラルネットワーク
６１ 第２のニューラルネットワーク
６２ 第２のニューラルネットワーク
６７ 機械学習アルゴリズム
５５ 疾患情報
５３ 異常所見の種類に関する情報
５４ 細胞の種類に関する情報
８１ 解析データ
２０ 処理部
６０ 第１のニューラルネットワーク
６１ 第２のニューラルネットワーク
６２ 第２のニューラルネットワーク
６７ 機械学習アルゴリズム
５５ 疾患情報
５３ 異常所見の種類に関する情報
５４ 細胞の種類に関する情報
８１ 解析データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【手続補正書】
【提出日】2023-11-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
血液の塗抹標本を撮像して得られた画像から、前記血液に含まれる複数の細胞の異常所見に関する情報を取得し、
前記情報に基づき、コンピュータアルゴリズムによって、前記血液の疾患を解析する、
ことを含む、疾患解析を支援するための方法。
前記情報に基づき、コンピュータアルゴリズムによって、前記血液の疾患を解析する、
ことを含む、疾患解析を支援するための方法。
【請求項2】
前記情報は、血球細胞の種類毎の数に関する情報を含む、請求項１に記載の方法。
【請求項3】
前記情報は、血球細胞の種類毎の異常所見の情報を含む、請求項１または２に記載の方法。
【請求項4】
前記情報を取得する工程は、血液に含まれる細胞の画像のデータを、ニューラルネットワーク構造を有する深層学習アルゴリズムに入力し、前記深層学習アルゴリズムによって、細胞の異常所見に関する情報を取得することを含む、
請求項１から３のいずれか一項に記載の方法。
請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記コンピュータアルゴリズムが、機械学習アルゴリズムであり、
前記疾患の解析は、前記情報を特徴量として前記機械学習アルゴリズムに入力することにより行われる、請求項１から４のいずれか一項に記載の方法。
前記疾患の解析は、前記情報を特徴量として前記機械学習アルゴリズムに入力することにより行われる、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記機械学習アルゴリズムが、木、回帰、ニューラルネットワーク、ベイズ、クラスタ
リング、又はアンサンブル学習から選択される、請求項５に記載の方法。
リング、又はアンサンブル学習から選択される、請求項５に記載の方法。
【請求項7】
前記機械学習アルゴリズムが、勾配ブースティング木である、請求項６に記載の方法。
【請求項8】
前記情報を取得する工程では、細胞が複数の細胞の形態分類のそれぞれに属する確率を求め、前記細胞の形態分類の種類毎の前記確率の総和を算する、請求項１から７のいずれか一項に記載の方法。
【請求項9】
前記疾患が、造血系疾患である、請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記造血系疾患が、再生不良性貧血又は骨髄異形成症候群である、請求項９に記載の方法。
【請求項11】
前記異常所見が、核形態異常、顆粒異常、細胞の大きさ異常、細胞奇形、細胞破壊、空砲、幼若細胞、封入体の存在、デーレ小体、衛星現象、核網異常、花弁様核、Ｎ／Ｃ比大、ブレッブ様、スマッジ及びヘアリー細胞様形態よりなる群から選択される少なくとも一種を含む、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
前記核形態異常が、過分葉、低分葉、偽ペルゲル核異常、輪状核、球形核、楕円形核、アポトーシス、多核、核崩壊、脱核、裸核、核辺縁不整、核断片化、核間橋、複数核、切れ込み核、核分裂及び核小体異常から選択される少なくとも一種を含み、
前記顆粒異常が、脱顆粒、顆粒分布異常、中毒性顆粒、アウエル小体、ファゴット細胞、及び偽Ｃｈｅｄｉａｋ－Ｈｉｇａｓｈｉ顆粒様顆粒から選択される少なくとも一種を含み、
前記細胞の大きさ異常が、巨大血小板を含む、
請求項１１に記載の方法。
前記顆粒異常が、脱顆粒、顆粒分布異常、中毒性顆粒、アウエル小体、ファゴット細胞、及び偽Ｃｈｅｄｉａｋ－Ｈｉｇａｓｈｉ顆粒様顆粒から選択される少なくとも一種を含み、
前記細胞の大きさ異常が、巨大血小板を含む、
請求項１１に記載の方法。
【請求項13】
前記細胞の種類が、好中球、好酸球、血小板、リンパ球、単球、及び好塩基球から選択される少なくとも一種を含む、請求項１から１２のいずれか一項に記載の方法。
【請求項14】
前記細胞の種類が、さらに、後骨髄球、骨髄球、前骨髄球、芽球、形質細胞、異型リンパ球、幼若好酸球、幼若好塩基球、赤芽球、及び巨核球から選択される少なくとも一種を含む、請求項１３に記載の方法。
【請求項15】
疾患解析を支援するための装置であって、
処理部を備え、
前記処理部は、血液の塗抹標本を撮像して得られた画像から、前記血液に含まれる複数の細胞の異常所見に関する情報を取得し、
前記情報に基づき、コンピュータアルゴリズムによって、前記血液の疾患を解析する、装置。
処理部を備え、
前記処理部は、血液の塗抹標本を撮像して得られた画像から、前記血液に含まれる複数の細胞の異常所見に関する情報を取得し、
前記情報に基づき、コンピュータアルゴリズムによって、前記血液の疾患を解析する、装置。
【請求項16】
血液の塗抹標本を撮像して得られた画像から、前記血液に含まれる複数の細胞の異常所見に関する情報を取得するステップと、
前記情報に基づき、コンピュータアルゴリズムによって、前記血液の疾患を解析するステップと、
をコンピュータに実行させる、疾患解析を支援するためのプログラム。
前記情報に基づき、コンピュータアルゴリズムによって、前記血液の疾患を解析するステップと、
をコンピュータに実行させる、疾患解析を支援するためのプログラム。
【請求項17】
疾患解析を支援するためのコンピュータアルゴリズムの訓練方法であって、
血液の塗抹標本を撮像して得られた画像から、前記血液に含まれる複数の細胞の異常所見に関する情報を取得し、
取得した前記情報を第１の訓練データとし、前記血液の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力することを含む、訓練方法。
血液の塗抹標本を撮像して得られた画像から、前記血液に含まれる複数の細胞の異常所見に関する情報を取得し、
取得した前記情報を第１の訓練データとし、前記血液の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力することを含む、訓練方法。
【請求項18】
疾患解析を支援するためのコンピュータアルゴリズムの訓練装置であって、
処理部を備え、
前記処理部は、血液の塗抹標本を撮像して得られた画像から、前記血液に含まれる複数の細胞の異常所見に関する情報を取得し、取得した前記情報を第１の訓練データとし、前記血液の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力する、訓練装置。
処理部を備え、
前記処理部は、血液の塗抹標本を撮像して得られた画像から、前記血液に含まれる複数の細胞の異常所見に関する情報を取得し、取得した前記情報を第１の訓練データとし、前記血液の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力する、訓練装置。
【請求項19】
疾患解析を支援するためのコンピュータアルゴリズムの訓練プログラムであって、
血液の塗抹標本を撮像して得られた画像から、前記血液に含まれる複数の細胞の異常所見に関する情報を取得するステップと、
取得した前記情報を第１の訓練データとし、前記血液の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力するステップと、をコンピュータに実行させる、訓練プログラム。
血液の塗抹標本を撮像して得られた画像から、前記血液に含まれる複数の細胞の異常所見に関する情報を取得するステップと、
取得した前記情報を第１の訓練データとし、前記血液の疾患情報を第２の訓練データとして、前記コンピュータアルゴリズムに入力するステップと、をコンピュータに実行させる、訓練プログラム。