▶ 学校法人順天堂の特許一覧 ▶ シスメックス株式会社の特許一覧
特開2023-61956画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023061956
(43)【公開日】2023-05-02
(54)【発明の名称】画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
(51)【国際特許分類】
C12Q 1/02 20060101AFI20230425BHJP
C12M 1/00 20060101ALI20230425BHJP
G06T 7/00 20170101ALI20230425BHJP
G06N 20/10 20190101ALI20230425BHJP
【ＦＩ】
C12Q1/02
C12M1/00 A
G06T7/00 350C
G06T7/00 630
G06N20/10
【審査請求】有
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2023008570
(22)【出願日】2023-01-24
(62)【分割の表示】P 2018091776の分割
【原出願日】2018-05-10
(71)【出願人】
【識別番号】502285457
【氏名又は名称】学校法人順天堂
(71)【出願人】
【識別番号】390014960
【氏名又は名称】シスメックス株式会社
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】大坂 顯通
(72)【発明者】
【氏名】田部 陽子
(72)【発明者】
【氏名】木村 考伸
(57)【要約】
【課題】より高精度に、解析用画像に含まれる複数の細胞について各々の形態を識別する
ための画像解析方法を提供することを一課題とする。
【解決手段】ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて、細胞
の形態を解析する画像解析方法であって、解析対象の細胞に関する情報を含む解析データ
を、前記深層学習アルゴリズム（６０，６１）に入力し、前記深層学習アルゴリズム（６
０，６１）によって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、
前記解析対象の細胞が属する確率を算出する方法により、画像を解析する。
【選択図】図１
ための画像解析方法を提供することを一課題とする。
【解決手段】ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて、細胞
の形態を解析する画像解析方法であって、解析対象の細胞に関する情報を含む解析データ
を、前記深層学習アルゴリズム（６０，６１）に入力し、前記深層学習アルゴリズム（６
０，６１）によって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、
前記解析対象の細胞が属する確率を算出する方法により、画像を解析する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて、細胞の形態を解析する、コンピュータが実施する画像解析方法であって、
解析対象の細胞に関する情報を含む解析データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって前記解析データを解析して、所定の細胞群に属する複数の細胞の形態分類の各々について前記解析対象の細胞が属する確率を算出し、 前記所定の細胞群は、血中細胞の群であり、
前記形態分類が、異常な芽球又は異常な好中球を含む、
画像解析方法。
解析対象の細胞に関する情報を含む解析データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって前記解析データを解析して、所定の細胞群に属する複数の細胞の形態分類の各々について前記解析対象の細胞が属する確率を算出し、 前記所定の細胞群は、血中細胞の群であり、
前記形態分類が、異常な芽球又は異常な好中球を含む、
画像解析方法。
【請求項2】
算出した前記確率に基づいて、前記解析対象の細胞が、所定の細胞群に属する複数の細胞の形態分類のいずれかを識別する、
請求項１に記載の画像解析方法。
請求項１に記載の画像解析方法。
【請求項3】
前記所定の細胞群は、所定の細胞系統に属する細胞の群である、請求項１又は２に記載の画像解析方法。
【請求項4】
前記所定の細胞系統は、造血系である、請求項３に記載の画像解析方法。
【請求項5】
前記形態分類が、前記解析対象の細胞の種類の識別を含む、請求項１から４のいずれか一項に記載の画像解析方法。
【請求項6】
前記複数の細胞の形態分類が、分葉核好中球、桿状核好中球、後骨髄球、骨髄球、芽球、リンパ球、異型リンパ球、単球、好酸球、好塩基球、赤芽球、巨大血小板、血小板凝集塊、及び巨核球よりなる群から選択される複数の細胞を含む、請求項１から５のいずれか一項に記載の画像解析方法。
【請求項7】
前記形態分類が、前記解析対象の細胞の異常所見の識別を含む、請求項１から６のいずれか一項に記載の画像解析方法。
【請求項8】
前記複数の細胞の形態分類に含まれる異常な芽球または異常な好中球が、形態核異常を有する芽球、空胞が存在する芽球、異常顆粒が存在する芽球、巨大な桿状核好中球、顆粒形態異常を有する桿状核好中球、顆粒分布異常を有する桿状核好中球、巨大な分葉核好中球、顆粒形態異常を有する分葉核好中球、偽ペルゲル核異常を有する分葉核好中球、過分葉が存在する分葉核好中球、および、顆粒分布異常を有する分葉核好中球よりなる群から選択される少なくとも一つの細胞を含む、請求項１から７のいずれか一項に記載の画像解析方法。
【請求項9】
前記深層学習アルゴリズムが、
所定の細胞群に属する複数の細胞の第１の形態分類の各々について、前記解析対象の細胞が属する確率を算出する第１のアルゴリズムと、
所定の細胞群に属する複数の細胞の第２の形態分類の各々について、前記解析対象の細胞が属する確率を算出する第２のアルゴリズムと、
を含む、請求項１から８のいずれか一項に記載の画像解析方法。
所定の細胞群に属する複数の細胞の第１の形態分類の各々について、前記解析対象の細胞が属する確率を算出する第１のアルゴリズムと、
所定の細胞群に属する複数の細胞の第２の形態分類の各々について、前記解析対象の細胞が属する確率を算出する第２のアルゴリズムと、
を含む、請求項１から８のいずれか一項に記載の画像解析方法。
【請求項10】
前記第１の形態分類は、前記解析対象の細胞の種類であり、
前記第２の形態分類は、前記解析対象の細胞の異常所見である、
請求項９に記載の画像解析方法。
前記第２の形態分類は、前記解析対象の細胞の異常所見である、
請求項９に記載の画像解析方法。
【請求項11】
前記解析データが、染色された血中細胞を撮像した画像のデータである、請求項１から１０のいずれか一項に記載の画像解析方法。
【請求項12】
前記染色が、ライト染色、ギムザ染色、ライトギムザ染色及びメイギムザ染色から選択される、請求項１１に記載の画像解析方法。
【請求項13】
前記解析データが、解析対象画像の輝度に関する情報と、少なくとも２種の色相に関する情報を含む、請求項１から１２のいずれか一項に記載の画像解析方法。
【請求項14】
ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて、細胞の形態を解析する画像解析装置であって、
解析対象の細胞に関する情報を含む解析データを、前記深層学習アルゴリズムに入力し、前記深層学習アルゴリズムによって前記解析データを解析して、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出する処理部を備え、
前記所定の細胞群は、血中細胞の群であり、
前記形態分類が、異常な芽球又は異常な好中球を含む、
画像解析装置。
解析対象の細胞に関する情報を含む解析データを、前記深層学習アルゴリズムに入力し、前記深層学習アルゴリズムによって前記解析データを解析して、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出する処理部を備え、
前記所定の細胞群は、血中細胞の群であり、
前記形態分類が、異常な芽球又は異常な好中球を含む、
画像解析装置。
【請求項15】
前記形態分類が、前記解析対象の細胞の種類の識別を含む、請求項１４に記載の画像解析装置。
【請求項16】
前記形態分類が、前記解析対象の細胞の異常所見の識別を含む、請求項１４又は１５に記載の画像解析装置。
【請求項17】
ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて、細胞の形態を解析する画像解析するためのコンピュータプログラムであって、
解析対象の細胞に関する情報を含む解析データを、前記深層学習アルゴリズムを含む判別器に入力し、前記深層学習アルゴリズムによって前記解析データを解析して、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出し、
前記所定の細胞群は、血中細胞の群であり、
前記形態分類が、異常な芽球又は異常な好中球を含む、
処理をコンピュータに実行させる、
コンピュータプログラム。
解析対象の細胞に関する情報を含む解析データを、前記深層学習アルゴリズムを含む判別器に入力し、前記深層学習アルゴリズムによって前記解析データを解析して、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出し、
前記所定の細胞群は、血中細胞の群であり、
前記形態分類が、異常な芽球又は異常な好中球を含む、
処理をコンピュータに実行させる、
コンピュータプログラム。
【請求項18】
前記形態分類が、前記解析対象の細胞の種類の識別を含む、請求項１７に記載のコンピュータプログラム。
【請求項19】
前記形態分類が、前記解析対象の細胞の異常所見の識別を含む、請求項１７又は１９に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、細胞形態を解析する画像解析方法、装置、コンピュータプログラム、及び深
層学習アルゴリズムの生成方法に関する。
層学習アルゴリズムの生成方法に関する。
【背景技術】
【0002】
特許文献１には、顕微鏡画像を処理するための細胞識別システムが開示されている。前
記細胞識別システムにおいては、機械訓練技法を用いて訓練されたモデルが、取得された
画像内の画素を、細胞、細胞エッジ、背景、及び同等物のうちの１つ又はそれを上回るも
のと関連付ける。機械訓練技法は、ランダムフォレスト決定木技法を使用している。
記細胞識別システムにおいては、機械訓練技法を用いて訓練されたモデルが、取得された
画像内の画素を、細胞、細胞エッジ、背景、及び同等物のうちの１つ又はそれを上回るも
のと関連付ける。機械訓練技法は、ランダムフォレスト決定木技法を使用している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2016-534709号
【発明の概要】
【発明が解決しようとする課題】
【0004】
細胞検査では、通常検査者が顕微鏡観察により細胞を観察し、細胞の種類や特徴を形態
学的に同定する。しかし、同じ系統の細胞は似た形態を有するため、形態学的に細胞を識
別できるようになるためには、多くの細胞標本を観察し、識別スキルを向上させることが
必要となる。特に疾患に罹患した際に出現する異常細胞の識別には熟練を要する。例えば
、初期の骨髄異型性症候群のように異常細胞の出現頻度が少ない場合、スキルが十分でな
い検査者が異常細胞に気づかない等のリスクもある。
学的に同定する。しかし、同じ系統の細胞は似た形態を有するため、形態学的に細胞を識
別できるようになるためには、多くの細胞標本を観察し、識別スキルを向上させることが
必要となる。特に疾患に罹患した際に出現する異常細胞の識別には熟練を要する。例えば
、初期の骨髄異型性症候群のように異常細胞の出現頻度が少ない場合、スキルが十分でな
い検査者が異常細胞に気づかない等のリスクもある。
【0005】
また、検査者が１日に観察できる標本枚数には限界があり、１日に１００枚を超える観
察は、検査者にも負担となる。
察は、検査者にも負担となる。
【0006】
細胞検査の処理件数を増やすことは、フロー方式を採用した自動血球分類装置等でも可
能である。しかし、フロー方式の自動血球分類装置からは得られる情報が限られており、
芽球、前骨髄球、巨大血小板といった出現頻度の低い血球については識別が困難であった
。
能である。しかし、フロー方式の自動血球分類装置からは得られる情報が限られており、
芽球、前骨髄球、巨大血小板といった出現頻度の低い血球については識別が困難であった
。
【0007】
特許文献１に記載の方法のように、機械訓練技法（機械学習ともいう）を使用して、細
胞を識別する方法も知られている。しかしながら、機械学習モデルを訓練するための訓練
データをユーザが作成する必要があり、モデルの生成に膨大な労力が必要となる。また、
ユーザが訓練データを作成するため、作成可能な訓練データの数が限られ、機械学習モデ
ルによる解析の精度、汎化性能に課題があるというのが現状である。
胞を識別する方法も知られている。しかしながら、機械学習モデルを訓練するための訓練
データをユーザが作成する必要があり、モデルの生成に膨大な労力が必要となる。また、
ユーザが訓練データを作成するため、作成可能な訓練データの数が限られ、機械学習モデ
ルによる解析の精度、汎化性能に課題があるというのが現状である。
【0008】
また、特許文献１に記載の方法は、顕微鏡画像において、細胞の部分と非細胞の部分と
を識別するための方法である。したがって、各々の細胞がどのような種類であるか、また
どのような異常所見を含んでいるか等は識別することはできない。
を識別するための方法である。したがって、各々の細胞がどのような種類であるか、また
どのような異常所見を含んでいるか等は識別することはできない。
【0009】
本開示は、より高精度に解析用画像に含まれる複数の細胞について各々の形態を識別す
るための画像解析方法を提供することを一課題とする。
るための画像解析方法を提供することを一課題とする。
【課題を解決するための手段】
【0010】
本開示におけるある実施形態は、ニューラルネットワーク構造を有する深層学習アルゴ
リズム（５０，５１）を用いて、細胞の形態を解析する画像解析方法に関する。前記画像
解析方法では、解析対象の細胞に関する情報を含む解析データ（８０）を、ニューラルネ
ットワーク構造を有する深層学習アルゴリズム（６０，６１）に入力し、前記深層学習ア
ルゴリズムによって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、
前記解析対象の細胞が属する確率を算出して画像を解析する。本実施形態により、検査者
が顕微鏡観察を行わなくても、所定の細胞群に属する複数の細胞の形態分類の各々につい
て、前記解析対象の細胞が属する確率を求め画像を解析することができる。
リズム（５０，５１）を用いて、細胞の形態を解析する画像解析方法に関する。前記画像
解析方法では、解析対象の細胞に関する情報を含む解析データ（８０）を、ニューラルネ
ットワーク構造を有する深層学習アルゴリズム（６０，６１）に入力し、前記深層学習ア
ルゴリズムによって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、
前記解析対象の細胞が属する確率を算出して画像を解析する。本実施形態により、検査者
が顕微鏡観察を行わなくても、所定の細胞群に属する複数の細胞の形態分類の各々につい
て、前記解析対象の細胞が属する確率を求め画像を解析することができる。
【0011】
好ましくは、前記画像解析方法は、算出した前記確率に基づいて、前記解析対象の細胞
が、所定の細胞群に属する複数の細胞の形態分類のいずれかを識別する。本実施形態によ
り、検査者が顕微鏡観察を行わなくても、解析対象の細胞が形態分類のいずれに該当する
かを識別することができる。
が、所定の細胞群に属する複数の細胞の形態分類のいずれかを識別する。本実施形態によ
り、検査者が顕微鏡観察を行わなくても、解析対象の細胞が形態分類のいずれに該当する
かを識別することができる。
【0012】
好ましくは、前記所定の細胞群は、血中細胞の群である。本実施形態により、検査者が
顕微鏡観察を行わなくても、血球の形態分類を行うことができる。
顕微鏡観察を行わなくても、血球の形態分類を行うことができる。
【0013】
前記所定の細胞群は、好ましくは、所定の細胞系統に属する細胞の群である。より好ま
しくは、前記所定の細胞系統は、造血系である。本実施形態により、検査者が顕微鏡観察
を行わなくても、同じ細胞系統に属する細胞の形態分類を行うことができる。
しくは、前記所定の細胞系統は、造血系である。本実施形態により、検査者が顕微鏡観察
を行わなくても、同じ細胞系統に属する細胞の形態分類を行うことができる。
【0014】
好ましくは、前記形態分類が、前記解析対象の細胞の種類の識別である。より好まし
くは、形態学分類が、分葉核好中球及び桿状核好中球を含む好中球、後骨髄球、骨髄球、
前骨髄球、芽球、リンパ球、形質細胞、異型リンパ球、単球、好酸球、好塩基球、赤芽球
、巨大血小板、血小板凝集塊、及び巨核球を含む。本実施形態によれば、似たような形態
を有する同系列の細胞であっても識別することができる。
くは、形態学分類が、分葉核好中球及び桿状核好中球を含む好中球、後骨髄球、骨髄球、
前骨髄球、芽球、リンパ球、形質細胞、異型リンパ球、単球、好酸球、好塩基球、赤芽球
、巨大血小板、血小板凝集塊、及び巨核球を含む。本実施形態によれば、似たような形態
を有する同系列の細胞であっても識別することができる。
【0015】
好ましくは、前記形態分類が、前記解析対象の細胞の異常所見の識別である、前記形態
学的分類は、より好ましくは、形態核異常、空胞の存在、顆粒形態異常、顆粒分布異常、
異常顆粒の存在、細胞の大きさ異常、封入体の存在及び裸核よりなる群から選択される少
なくとも一つの細胞を含む。本実施形態によれば異常所見を呈する細胞であっても識別す
ることができる。
学的分類は、より好ましくは、形態核異常、空胞の存在、顆粒形態異常、顆粒分布異常、
異常顆粒の存在、細胞の大きさ異常、封入体の存在及び裸核よりなる群から選択される少
なくとも一つの細胞を含む。本実施形態によれば異常所見を呈する細胞であっても識別す
ることができる。
【0016】
前記実施形態において、前記細胞の形態に関するデータが、形態学的な分類における細
胞の種類に関するデータ及び形態学的な分類における細胞の特徴に関するデータである。
この実施形態により、形態学的な細胞の種類と、細胞の特徴とを出力することができる。
胞の種類に関するデータ及び形態学的な分類における細胞の特徴に関するデータである。
この実施形態により、形態学的な細胞の種類と、細胞の特徴とを出力することができる。
【0017】
前記実施形態は、好ましくは、前記深層学習アルゴリズムが、所定の細胞群に属する複
数の細胞の第１の形態分類の各々について、前記解析対象の細胞が属する確率を算出する
第１のアルゴリズムと、所定の細胞群に属する複数の細胞の第２の形態分類の各々につい
て、前記解析対象の細胞が属する確率とを算出を算出する第１のアルゴリズムとを含む。
例えば、前記第１の形態分類は、前記解析対象の細胞の種類であり、前記第２の形態分類
は、前記解析対象の細胞の異常所見である。このようにすることにより、似た形態を有す
る細胞の識別精度をより向上することができる。
数の細胞の第１の形態分類の各々について、前記解析対象の細胞が属する確率を算出する
第１のアルゴリズムと、所定の細胞群に属する複数の細胞の第２の形態分類の各々につい
て、前記解析対象の細胞が属する確率とを算出を算出する第１のアルゴリズムとを含む。
例えば、前記第１の形態分類は、前記解析対象の細胞の種類であり、前記第２の形態分類
は、前記解析対象の細胞の異常所見である。このようにすることにより、似た形態を有す
る細胞の識別精度をより向上することができる。
【0018】
前記実施形態では、前記解析データ（８０）が、染色された血中細胞を撮像した画像の
データである。より好ましくは、前記染色が、ライト染色、ギムザ染色、ライトギムザ染
色及びメイギムザ染色から選択される。このようにすることで、従来行われている顕微鏡
下の観察と同様の識別を行うことができる。
データである。より好ましくは、前記染色が、ライト染色、ギムザ染色、ライトギムザ染
色及びメイギムザ染色から選択される。このようにすることで、従来行われている顕微鏡
下の観察と同様の識別を行うことができる。
【0019】
前記解析データ（８０）及び訓練データ（７５）が、解析対象画像及び訓練用画像の輝
度に関する情報と、少なくとも２種の色相に関する情報を含む。このようにすることで、
識別精度を向上させることができる。
度に関する情報と、少なくとも２種の色相に関する情報を含む。このようにすることで、
識別精度を向上させることができる。
【0020】
本開示における別の実施形態は、ニューラルネットワーク構造を有する深層学習アルゴ
リズムを用いて、細胞の形態を解析する画像解析装置（２００）に関する。前記画像解析
装置（２００）は、解析対象の細胞に関する情報を含む解析データ（８０）を、前記深層
学習アルゴリズム（６０，６１）を含む識別器に入力し、前記深層学習アルゴリズム（６
０，６１）によって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、
前記解析対象の細胞が属する確率を算出して画像を解析する処理部（１０）を備える。好
ましくは、前記形態分類は、前記解析対象の細胞の種類の識別である。また、好ましくは
、前記形態分類は、前記解析対象の細胞の異常所見の識別である。
リズムを用いて、細胞の形態を解析する画像解析装置（２００）に関する。前記画像解析
装置（２００）は、解析対象の細胞に関する情報を含む解析データ（８０）を、前記深層
学習アルゴリズム（６０，６１）を含む識別器に入力し、前記深層学習アルゴリズム（６
０，６１）によって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、
前記解析対象の細胞が属する確率を算出して画像を解析する処理部（１０）を備える。好
ましくは、前記形態分類は、前記解析対象の細胞の種類の識別である。また、好ましくは
、前記形態分類は、前記解析対象の細胞の異常所見の識別である。
【0021】
本開示における、別の実施形態は、ニューラルネットワーク構造を有する深層学習アル
ゴリズムを用いて（６０，６１）、細胞の形態を解析する画像解析するためのコンピュー
タプログラムに関する。前記コンピュータプログラムは、解析対象の細胞に関する情報を
含む解析データ（８３）を、前記深層学習アルゴリズム（６０，６１）によって、前記所
定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する
確率を算出して画像を解析する処理をコンピュータ（２００）に実行させる。好ましくは
、前記形態分類は、前記解析対象の細胞の種類の識別である。また、好ましくは、前記形
態分類は、前記解析対象の細胞の異常所見の識別である。
ゴリズムを用いて（６０，６１）、細胞の形態を解析する画像解析するためのコンピュー
タプログラムに関する。前記コンピュータプログラムは、解析対象の細胞に関する情報を
含む解析データ（８３）を、前記深層学習アルゴリズム（６０，６１）によって、前記所
定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する
確率を算出して画像を解析する処理をコンピュータ（２００）に実行させる。好ましくは
、前記形態分類は、前記解析対象の細胞の種類の識別である。また、好ましくは、前記形
態分類は、前記解析対象の細胞の異常所見の識別である。
【0022】
本開示の別の実施形態は、訓練済みの深層学習アルゴリズム（６０，６１）の生成方法
に関する。本実施形態は、細胞に関する情報を含む訓練データをニューラルネットワーク
（５０，５１）の入力層（５０ａ，５０ｂ）に入力し、所定の細胞群に属する複数の細胞
の形態分類に紐付けられたラベル値を出力層（５１ａ，５１ｂ）として入力する。好まし
くは、前記形態分類は、前記解析対象の細胞の種類の識別である。また、好ましくは、前
記形態分類は、前記解析対象の細胞の異常所見の識別である。
に関する。本実施形態は、細胞に関する情報を含む訓練データをニューラルネットワーク
（５０，５１）の入力層（５０ａ，５０ｂ）に入力し、所定の細胞群に属する複数の細胞
の形態分類に紐付けられたラベル値を出力層（５１ａ，５１ｂ）として入力する。好まし
くは、前記形態分類は、前記解析対象の細胞の種類の識別である。また、好ましくは、前
記形態分類は、前記解析対象の細胞の異常所見の識別である。
【0023】
画像解析装置（２００）、訓練済みの深層学習アルゴリズム（６０，６１）を使用する
ことにより、検査者のスキルに影響されずに、形態学的な細胞の種類及び細胞の特徴を識
別することができる。
ことにより、検査者のスキルに影響されずに、形態学的な細胞の種類及び細胞の特徴を識
別することができる。
【発明の効果】
【0024】
解析用画像に含まれる複数の細胞について各々の形態を識別することができる。結果と
して、検査者のスキルに影響されない細胞検査を行うことができる。
して、検査者のスキルに影響されない細胞検査を行うことができる。
【図面の簡単な説明】
【0025】
【図1】本開示の概要を示す図である。
【図2】訓練データの生成手順と、第１の深層学習アルゴリズムと第２の深層学習アルゴリズムの訓練手順の例を示す模式図である。
【図3】ラベル値の例を示す。
【図4】解析データの生成手順と、深層学習アルゴリズムを用いた細胞の識別の手順の例を示す模式図である。
【図5】画像解析システム１の構成例の概略を示す図である。
【図6】ベンダ側装置１００のハードウェア構成の例を示すブロック図である。
【図7】ユーザ側装置２００のハードウェア構成の例を示すブロック図である。
【図8】深層学習装置１００Ａの機能の例を説明するためのブロック図である。
【図9】深層学習処理の流れの例を示すフローチャートである。
【図10】ニューラルネットワークを説明するための模式図である。
【図11】画像解析装置２００Ａの機能の例を説明するためのブロック図である。
【図12】画像解析処理の流れの例を示すフローチャートである。
【図13】画像解析システム２の構成例の概略を示す図である。
【図14】統合型の画像解析装置２００Ｂの機能の例を説明するためのブロック図である。
【図15】画像解析システム３の構成例の概略を示す図である。
【図16】統合型の画像解析装置１００Ｂの機能の例を説明するためのブロック図である。
【図17】深層学習アルゴリズムを用いた細胞の種類の識別結果を示す。
【図18】深層学習アルゴリズムを用いた細胞の特徴の識別結果を示す。
【発明を実施するための形態】
【0026】
以下、本発明の概要及び実施の形態を、添付の図面を参照して詳細に説明する。なお、
以下の説明及び図面において、同じ符号は同じ又は類似の構成要素を示すこととし、よっ
て、同じ又は類似の構成要素に関する説明を省略する。
以下の説明及び図面において、同じ符号は同じ又は類似の構成要素を示すこととし、よっ
て、同じ又は類似の構成要素に関する説明を省略する。
【0027】
［１．画像の解析方法］
本開示の第１の実施形態は、細胞形態を解析する画像の解析方法に関する。前記画像の
解析方法は、解析対象の細胞に関する情報を含む解析データを、ニューラルネットワーク
構造を有する深層学習アルゴリズムを含む識別器（Ｃｌａｓｓｉｆｉｅｒ）に入力する。
前記識別器は、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解
析対象の細胞が属する確率を算出する。好ましくは、画像解析方法は、前記確率に基づい
て、前記解析対象の細胞が、所定の細胞群に属する複数の細胞の形態分類のいずれかを識
別することをさらに含む。
本開示の第１の実施形態は、細胞形態を解析する画像の解析方法に関する。前記画像の
解析方法は、解析対象の細胞に関する情報を含む解析データを、ニューラルネットワーク
構造を有する深層学習アルゴリズムを含む識別器（Ｃｌａｓｓｉｆｉｅｒ）に入力する。
前記識別器は、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解
析対象の細胞が属する確率を算出する。好ましくは、画像解析方法は、前記確率に基づい
て、前記解析対象の細胞が、所定の細胞群に属する複数の細胞の形態分類のいずれかを識
別することをさらに含む。
【0028】
第１の実施形態において、解析対象の細胞は、所定の細胞群に属する。所定の細胞群は
、哺乳動物や鳥類の体内の各器官を構成する細胞群である。所定の細胞群には、正常の場
合、組織学的な顕微鏡観察や細胞学的な顕微鏡観察により形態学的に分類される複数の細
胞の種類が含まれる。形態学的な分類（「形態分類」ともいう）は、細胞の種類の分類と
細胞の形態学的な特徴の分類を含む。好ましくは、解析対象の細胞は、所定の細胞群に属
する所定の細胞系統に属する細胞群である。所定の細胞系統とは、ある一種の組織幹細胞
から分化した同じ系統に属する細胞群である。所定の細胞系統として好ましくは、造血系
であり、より好ましくは血液中の細胞（「血中細胞」ともいう）である。
、哺乳動物や鳥類の体内の各器官を構成する細胞群である。所定の細胞群には、正常の場
合、組織学的な顕微鏡観察や細胞学的な顕微鏡観察により形態学的に分類される複数の細
胞の種類が含まれる。形態学的な分類（「形態分類」ともいう）は、細胞の種類の分類と
細胞の形態学的な特徴の分類を含む。好ましくは、解析対象の細胞は、所定の細胞群に属
する所定の細胞系統に属する細胞群である。所定の細胞系統とは、ある一種の組織幹細胞
から分化した同じ系統に属する細胞群である。所定の細胞系統として好ましくは、造血系
であり、より好ましくは血液中の細胞（「血中細胞」ともいう）である。
【0029】
造血系細胞は、従来法では、明視野用の染色を施した標本を顕微鏡の明視野でヒトが観
察することにより、形態学的に分類される。前記染色は、ライト染色、ギムザ染色、ライ
トギムザ染色及びメイギムザ染色から選択されることが好ましい。より好ましくはメイギ
ムザ染色である。標本は、所定の細胞群に属する各細胞の形態を個々に観察できる限り制
限されない。例えば、塗抹標本、及び捺印標本等を挙げることができる。好ましくは、末
梢血又は骨髄を試料とした塗抹標本であり、より好ましくは、末梢血の塗抹標本である。
察することにより、形態学的に分類される。前記染色は、ライト染色、ギムザ染色、ライ
トギムザ染色及びメイギムザ染色から選択されることが好ましい。より好ましくはメイギ
ムザ染色である。標本は、所定の細胞群に属する各細胞の形態を個々に観察できる限り制
限されない。例えば、塗抹標本、及び捺印標本等を挙げることができる。好ましくは、末
梢血又は骨髄を試料とした塗抹標本であり、より好ましくは、末梢血の塗抹標本である。
【0030】
形態学的な分類では、血中細胞は、分葉核好中球及び桿状核好中球を含む好中球、後骨
髄球、骨髄球、前骨髄球、芽球、リンパ球、形質細胞、異型リンパ球、単球、好酸球、好
塩基球、赤芽球（有核赤血球であり、前赤芽球、好塩基性赤芽球、多染性赤芽球、正染性
赤芽球、前巨赤芽球、好塩基性巨赤芽球、多染性巨赤芽球、及び正染性巨赤芽球を含む）
、巨大血小板、血小板凝集塊、及び巨核球（有核巨核球であり、ミクロメガカリオサイト
を含む）等の細胞の種類を含む。
髄球、骨髄球、前骨髄球、芽球、リンパ球、形質細胞、異型リンパ球、単球、好酸球、好
塩基球、赤芽球（有核赤血球であり、前赤芽球、好塩基性赤芽球、多染性赤芽球、正染性
赤芽球、前巨赤芽球、好塩基性巨赤芽球、多染性巨赤芽球、及び正染性巨赤芽球を含む）
、巨大血小板、血小板凝集塊、及び巨核球（有核巨核球であり、ミクロメガカリオサイト
を含む）等の細胞の種類を含む。
【0031】
また、前記所定の細胞群には、正常細胞の他、形態学的な異常所見を呈する異常細胞が
含まれていてもよい。異常は、形態学的に分類される細胞の特徴として現れる。異常細胞
の例は、所定の疾患に罹患した際に出現する細胞であり、例えば腫瘍細胞等である。造血
系の場合、所定の疾患は、骨髄異型性症候群、白血病（急性骨髄芽球性白血病、急性骨髄
芽球性白血病、急性前骨髄球性白血病、急性骨髄単球性白血病、急性単球性白血病、赤白
血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性
白血病、慢性骨髄性白血病、及び慢性リンパ球性白血病等を含む、悪性リンパ腫（ホジキ
ンリンパ腫及び非ホジキンリンパ腫等）、及び多発性骨髄腫よりなる群から選択される疾
患である。また、造血系の場合、異常所見は、形態核異常、空胞の存在、顆粒形態異常、
顆粒分布異常、異常顆粒の存在、細胞の大きさ異常、封入体の存在及び裸核よりなる群か
ら選択される少なくとも一種の形態学的特徴を有する細胞である。
含まれていてもよい。異常は、形態学的に分類される細胞の特徴として現れる。異常細胞
の例は、所定の疾患に罹患した際に出現する細胞であり、例えば腫瘍細胞等である。造血
系の場合、所定の疾患は、骨髄異型性症候群、白血病（急性骨髄芽球性白血病、急性骨髄
芽球性白血病、急性前骨髄球性白血病、急性骨髄単球性白血病、急性単球性白血病、赤白
血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性
白血病、慢性骨髄性白血病、及び慢性リンパ球性白血病等を含む、悪性リンパ腫（ホジキ
ンリンパ腫及び非ホジキンリンパ腫等）、及び多発性骨髄腫よりなる群から選択される疾
患である。また、造血系の場合、異常所見は、形態核異常、空胞の存在、顆粒形態異常、
顆粒分布異常、異常顆粒の存在、細胞の大きさ異常、封入体の存在及び裸核よりなる群か
ら選択される少なくとも一種の形態学的特徴を有する細胞である。
【0032】
形態核異常には、核が小さくなるもの、核が大きくなるもの、核が過分葉になるもの、
正常であれば分葉するべき核が分葉していないもの（偽ペルゲルの核異常等を含む）、空
胞があるもの、核小体が肥大しているもの、核に切れ込みがあるもの、及び本来であれば
１細胞に１つの核を有するべきところ１細胞に２核異常が存在するもの等を挙げることが
できる。
正常であれば分葉するべき核が分葉していないもの（偽ペルゲルの核異常等を含む）、空
胞があるもの、核小体が肥大しているもの、核に切れ込みがあるもの、及び本来であれば
１細胞に１つの核を有するべきところ１細胞に２核異常が存在するもの等を挙げることが
できる。
【0033】
細胞全体の形態の異常として、細胞質に空胞を有するもの（空胞変性とも呼ぶ）、アズ
ール顆粒、好中性顆粒、好酸性顆粒、好塩基性顆粒等の顆粒に形態的な異常を有するもの
、前記顆粒の分布の異常（過剰、又は減少若しくは消失）を有するもの、異常顆粒（例え
ば、中毒性顆粒等）を有するもの、細胞の大きさ異常（正常よりも大きい、又は小さい）
、封入体（デーレー小体、及びアウエル小体等）を有するもの、及び裸核のもの等を挙げ
ることができる。
ール顆粒、好中性顆粒、好酸性顆粒、好塩基性顆粒等の顆粒に形態的な異常を有するもの
、前記顆粒の分布の異常（過剰、又は減少若しくは消失）を有するもの、異常顆粒（例え
ば、中毒性顆粒等）を有するもの、細胞の大きさ異常（正常よりも大きい、又は小さい）
、封入体（デーレー小体、及びアウエル小体等）を有するもの、及び裸核のもの等を挙げ
ることができる。
【0034】
＜画像の解析方法の概要＞
図１を用いて、画像の解析方法の概要を説明する。
画像の解析方法において使用される識別器は、ニューラルネットワーク構造を有する複
数の深層学習アルゴリズム（単に「アルゴリズム」と呼ぶこともある）を含む。好ましく
は、第１の深層学習アルゴリズム（５０）と、第２の深層学習アルゴリズム（５１）を含
み、第１の深層学習アルゴリズム（５０）は細胞の特徴量を抽出し、第２の深層学習アル
ゴリズム（５１）は、第１の深層学習アルゴリズムが抽出した特徴量に基づいて、前記解
析対象の細胞を識別する。より好ましくは、識別器は、図１に示すように第１の深層学習
アルゴリズムの下流に、第２の深層学習アルゴリズムの他、識別の目的に応じて訓練され
た複数種の深層学習アルゴリズム（第２、第３、第４、第５・・・・第ｉとナンバリング
することがある）を含んでいてもよい。例えば、第２の深層学習アルゴリズムは、上述し
た形態学的な分類に基づく細胞の種類を識別する。また、例えば第３の深層学習アルゴリ
ズムは、上述した形態学的な分類に基づく細胞の特徴を、特徴ごとに識別する。好ましく
は、第１の深層学習アルゴリズムは、コンボリューションコネクトのニューラルネットワ
ークであり、第１の深層学習アルゴリズムの下流に位置する第２以降の深層学習アルゴリ
ズムは、フルコネクトのニューラルネットワークである。
図１を用いて、画像の解析方法の概要を説明する。
画像の解析方法において使用される識別器は、ニューラルネットワーク構造を有する複
数の深層学習アルゴリズム（単に「アルゴリズム」と呼ぶこともある）を含む。好ましく
は、第１の深層学習アルゴリズム（５０）と、第２の深層学習アルゴリズム（５１）を含
み、第１の深層学習アルゴリズム（５０）は細胞の特徴量を抽出し、第２の深層学習アル
ゴリズム（５１）は、第１の深層学習アルゴリズムが抽出した特徴量に基づいて、前記解
析対象の細胞を識別する。より好ましくは、識別器は、図１に示すように第１の深層学習
アルゴリズムの下流に、第２の深層学習アルゴリズムの他、識別の目的に応じて訓練され
た複数種の深層学習アルゴリズム（第２、第３、第４、第５・・・・第ｉとナンバリング
することがある）を含んでいてもよい。例えば、第２の深層学習アルゴリズムは、上述し
た形態学的な分類に基づく細胞の種類を識別する。また、例えば第３の深層学習アルゴリ
ズムは、上述した形態学的な分類に基づく細胞の特徴を、特徴ごとに識別する。好ましく
は、第１の深層学習アルゴリズムは、コンボリューションコネクトのニューラルネットワ
ークであり、第１の深層学習アルゴリズムの下流に位置する第２以降の深層学習アルゴリ
ズムは、フルコネクトのニューラルネットワークである。
【0035】
【0036】
＜訓練データの生成＞
深層学習アルゴリズムを訓練するために使用される訓練用画像７０は、前記解析対象の
細胞に対応した形態学的な分類に基づく細胞の種類や細胞の特徴が既知である細胞を撮像
した画像である。訓練用画像７０を撮像するための標本は、解析対象の細胞と同種の細胞
を含む試料から、解析対象の細胞を含む標本と同様の標本作成方法と染色方法で作成され
ることが好ましい。また、訓練用画像７０は、解析対象の細胞の撮像条件と同様の条件で
撮像されることが好ましい。
深層学習アルゴリズムを訓練するために使用される訓練用画像７０は、前記解析対象の
細胞に対応した形態学的な分類に基づく細胞の種類や細胞の特徴が既知である細胞を撮像
した画像である。訓練用画像７０を撮像するための標本は、解析対象の細胞と同種の細胞
を含む試料から、解析対象の細胞を含む標本と同様の標本作成方法と染色方法で作成され
ることが好ましい。また、訓練用画像７０は、解析対象の細胞の撮像条件と同様の条件で
撮像されることが好ましい。
【0037】
訓練用画像７０は、例えば公知の光学顕微鏡、又はバーチャルスライドスキャナ等の撮
像装置を用いて、細胞ごとに予め取得することができる。図２に示す例では、Ｓｙｓｍｅ
ｘ ＤＩ－６０を用いて訓練用画像７０は３６０画素×３６５画素で撮像された生画像を
、２５５画素×２５５画素に縮小しているが、この縮小は必須ではない。訓練用画像７０
の画素数は、解析ができる限り制限されないが、一辺が１００画素を超えていることが好
ましい。また、図２に示す例では、好中球を中心とした周囲に赤血球が存在しているが、
目的の細胞のみが入るように画像をトリミングしてもよい。少なくとも、１枚の画像の中
に、訓練しようとする細胞を１細胞含み（赤血球、及び正常サイズの血小板は含まれてい
てもよい）、訓練しようとする細胞に該当する画素が画像全体画素の１／９程度以上存在
していれば訓練用画像７０として使用することができる。
像装置を用いて、細胞ごとに予め取得することができる。図２に示す例では、Ｓｙｓｍｅ
ｘ ＤＩ－６０を用いて訓練用画像７０は３６０画素×３６５画素で撮像された生画像を
、２５５画素×２５５画素に縮小しているが、この縮小は必須ではない。訓練用画像７０
の画素数は、解析ができる限り制限されないが、一辺が１００画素を超えていることが好
ましい。また、図２に示す例では、好中球を中心とした周囲に赤血球が存在しているが、
目的の細胞のみが入るように画像をトリミングしてもよい。少なくとも、１枚の画像の中
に、訓練しようとする細胞を１細胞含み（赤血球、及び正常サイズの血小板は含まれてい
てもよい）、訓練しようとする細胞に該当する画素が画像全体画素の１／９程度以上存在
していれば訓練用画像７０として使用することができる。
【0038】
例示的には、本実施形態において撮像装置における撮像は、ＲＧＢカラー及びＣＭＹカ
ラー等で行われることが好ましい。カラー画像は、赤、緑及び青又はシアン、マゼンタ、
イエロー等の各原色の濃淡又は輝度を、２４ビットの値（８ビット×３色）で表すことが
好ましい。訓練用画像７０は、少なくとも１つの色相と、その色相の濃淡又は輝度とを含
んでいればよいが、少なくとも２つの色相と、それぞれ色相の濃淡又は輝度とを含むこと
がより好ましい。色相とその色相の濃淡又は輝度とを含む情報を色調ともいう。
ラー等で行われることが好ましい。カラー画像は、赤、緑及び青又はシアン、マゼンタ、
イエロー等の各原色の濃淡又は輝度を、２４ビットの値（８ビット×３色）で表すことが
好ましい。訓練用画像７０は、少なくとも１つの色相と、その色相の濃淡又は輝度とを含
んでいればよいが、少なくとも２つの色相と、それぞれ色相の濃淡又は輝度とを含むこと
がより好ましい。色相とその色相の濃淡又は輝度とを含む情報を色調ともいう。
【0039】
次に、各画素における色調の情報を、例えば、ＲＧＢカラーから、輝度の情報と色相の
情報を含むフォーマットに変換する。輝度の情報と色相の情報を含むフォーマットとして
、ＹＵＶ（ＹＣｂＣｒ、ＹＰｂＰｒ、ＹＩＱ等）等を挙げることができる。ここでは、Ｙ
ＣｂＣｒフォーマットへの変換を例として説明する。ここでは、訓練用画像がＲＧＢカラ
ーであるため、輝度７２Ｙと、第１の色相（例えば青色系）７２Ｃｂと、第２の色相（例
えば、赤色系）７２Ｃｒとに変換する。ＲＧＢから、ＹＣｂＣｒへの変換は公知の方法に
より行うことができる。例えば、ＲＧＢから、ＹＣｂＣｒへは、国際規格ＩＴＵ－Ｒ Ｂ
Ｔ．６０１にしたがって変換できる。変換した輝度７２Ｙ、第１の色相７２Ｃｂ及び第２
の色相７２Ｃｒはそれぞれ図２に示すように階調値の行列として表すことができる（以下
、色調行列７２ｙ，７２ｃｂ，７２ｃｒともいう）。輝度７２Ｙ、第１の色相７２Ｃｂ、
第２の色相７２Ｃｒは、それぞれ０から２５５階調までの２５６階調で表される。ここで
、輝度７２Ｙ、第１の色相７２Ｃｂ、第２の色相７２Ｃｒに換えて、赤Ｒ、緑Ｇ、青Ｂの
３原色や、シアンＣ、マゼンタＭ、イエローＹの色の３原色で訓練用画像を変換してもよ
い。
情報を含むフォーマットに変換する。輝度の情報と色相の情報を含むフォーマットとして
、ＹＵＶ（ＹＣｂＣｒ、ＹＰｂＰｒ、ＹＩＱ等）等を挙げることができる。ここでは、Ｙ
ＣｂＣｒフォーマットへの変換を例として説明する。ここでは、訓練用画像がＲＧＢカラ
ーであるため、輝度７２Ｙと、第１の色相（例えば青色系）７２Ｃｂと、第２の色相（例
えば、赤色系）７２Ｃｒとに変換する。ＲＧＢから、ＹＣｂＣｒへの変換は公知の方法に
より行うことができる。例えば、ＲＧＢから、ＹＣｂＣｒへは、国際規格ＩＴＵ－Ｒ Ｂ
Ｔ．６０１にしたがって変換できる。変換した輝度７２Ｙ、第１の色相７２Ｃｂ及び第２
の色相７２Ｃｒはそれぞれ図２に示すように階調値の行列として表すことができる（以下
、色調行列７２ｙ，７２ｃｂ，７２ｃｒともいう）。輝度７２Ｙ、第１の色相７２Ｃｂ、
第２の色相７２Ｃｒは、それぞれ０から２５５階調までの２５６階調で表される。ここで
、輝度７２Ｙ、第１の色相７２Ｃｂ、第２の色相７２Ｃｒに換えて、赤Ｒ、緑Ｇ、青Ｂの
３原色や、シアンＣ、マゼンタＭ、イエローＹの色の３原色で訓練用画像を変換してもよ
い。
【0040】
次に、色調行列７２ｙ，７２ｃｂ，７２ｃｒに基づいて、画素ごとに、輝度７２ｙ、第
１の色相７２ｃｂ、及び第２の色相７２ｃｒの３つの階調値を組み合わせた色調ベクトル
データ７４を生成する。
１の色相７２ｃｂ、及び第２の色相７２ｃｒの３つの階調値を組み合わせた色調ベクトル
データ７４を生成する。
【0041】
次に、例えば、図２の訓練用画像７０は分葉核好中球であるため、図２の訓練用画像７
０から生成される各色調ベクトルデータ７４には、分葉核好中球であることを示すラベル
値７７として「１」が付与され、訓練データ７５となる。図２では、便宜上訓練データ７
５を３画素×３画素で表しているが、実際は訓練用データ７０を撮像した際の画素の分だ
け色調ベクトルデータが存在する。
図３にラベル値７７の例を示す。ラベル値は、細胞の種類及び各細胞の特徴の有無に応
じて異なるラベル値７７が付与される。
０から生成される各色調ベクトルデータ７４には、分葉核好中球であることを示すラベル
値７７として「１」が付与され、訓練データ７５となる。図２では、便宜上訓練データ７
５を３画素×３画素で表しているが、実際は訓練用データ７０を撮像した際の画素の分だ
け色調ベクトルデータが存在する。
図３にラベル値７７の例を示す。ラベル値は、細胞の種類及び各細胞の特徴の有無に応
じて異なるラベル値７７が付与される。
【0042】
＜深層学習の概要＞
図２を例として、ニューラルネットワークの訓練の概要を説明する。第１のニューラル
ネットワーク５０及び第２のニューラルネットワーク５１共に、畳み込みニューラルネッ
トワークであることが好ましい。第１のニューラルネットワーク５０における入力層５０
ａのノード数は、入力される訓練データ７５の画素数と画像に含まれる輝度と色相の数（
例えば上記例では、輝度７２ｙ、第１の色相７２ｃｂ、及び第２の色相７２ｃｒの３つ）
との積に対応している。色調ベクトルデータ７４はその集合７６として第１のニューラル
ネットワーク５０の入力層５０ａに入力される。訓練データ７５の各画素のラベル値７７
を、第１のニューラルネットワークの出力層５０ｂとして、第１のニューラルネットワー
ク５０を訓練する。
図２を例として、ニューラルネットワークの訓練の概要を説明する。第１のニューラル
ネットワーク５０及び第２のニューラルネットワーク５１共に、畳み込みニューラルネッ
トワークであることが好ましい。第１のニューラルネットワーク５０における入力層５０
ａのノード数は、入力される訓練データ７５の画素数と画像に含まれる輝度と色相の数（
例えば上記例では、輝度７２ｙ、第１の色相７２ｃｂ、及び第２の色相７２ｃｒの３つ）
との積に対応している。色調ベクトルデータ７４はその集合７６として第１のニューラル
ネットワーク５０の入力層５０ａに入力される。訓練データ７５の各画素のラベル値７７
を、第１のニューラルネットワークの出力層５０ｂとして、第１のニューラルネットワー
ク５０を訓練する。
【0043】
第１のニューラルネットワーク５０は、訓練データ７５に基づいて、上述した形態学的
な細胞の種類や細胞の特徴について、特徴量を抽出する。第１のニューラルネットワーク
の出力層５０ｂは、これらの特徴量を反映する結果を出力する。第２のニューラルネット
ワーク５１の入力層５１ａには、第１のニューラルネットワーク５０のソフトマックス関
数から出力された各結果が入力される。また、所定の細胞系統に属する細胞は、細胞の形
態が似ているため、第２のニューラルネットワーク５１を有する深層学習アルゴリズム５
１をさらに形態学的な特定の細胞の種類や特定の細胞の特徴の識別に特化するよう深層学
習アルゴリズムを訓練する。したがって、第２のニューラルネットワークの出力層にも、
訓練データ７５のラベル値７７が入力される。
図２の符号５０ｃ及び５１ｃは、中間層を示す。
な細胞の種類や細胞の特徴について、特徴量を抽出する。第１のニューラルネットワーク
の出力層５０ｂは、これらの特徴量を反映する結果を出力する。第２のニューラルネット
ワーク５１の入力層５１ａには、第１のニューラルネットワーク５０のソフトマックス関
数から出力された各結果が入力される。また、所定の細胞系統に属する細胞は、細胞の形
態が似ているため、第２のニューラルネットワーク５１を有する深層学習アルゴリズム５
１をさらに形態学的な特定の細胞の種類や特定の細胞の特徴の識別に特化するよう深層学
習アルゴリズムを訓練する。したがって、第２のニューラルネットワークの出力層にも、
訓練データ７５のラベル値７７が入力される。
図２の符号５０ｃ及び５１ｃは、中間層を示す。
【0044】
斯くして訓練された第１のニューラルネットワーク６０を有する第１の深層学習アルゴ
リズム６０と、第２のニューラルネットワーク６１を有する第２の深層学習アルゴリズム
６１とを組み合わせて、解析対象の細胞が、所定の細胞群に属し形態学的に分類される複
数の細胞の種類のいずれに該当するかを識別するための識別器として使用する。
リズム６０と、第２のニューラルネットワーク６１を有する第２の深層学習アルゴリズム
６１とを組み合わせて、解析対象の細胞が、所定の細胞群に属し形態学的に分類される複
数の細胞の種類のいずれに該当するかを識別するための識別器として使用する。
【0045】
＜画像の解析方法＞
図４に画像の解析方法の例を示す。画像の解析方法では、解析対象の細胞を撮像した解
析用画像７８から解析データ８１を生成する。解析用画像７８は、解析対象の細胞を撮像
した画像である。解析用画像７８は、例えば公知の光学顕微鏡、又はバーチャルスライド
スキャナ等の撮像装置を用いて、取得することができる。図４に示す例では、Ｓｙｓｍｅ
ｘ ＤＩ－６０を用いて解析用画像７８は、訓練用画像７０と同様に、３６０画素×３６
５画素で撮像された生画像を、２５５画素×２５５画素に縮小しているが、この縮小は必
須ではない。訓練用画像７０の画素数は、解析ができる限り制限されないが、一辺が１０
０画素を超えていることが好ましい。また、図４に示す例では、分葉核好中球を中心とし
た周囲に赤血球が存在しているが、目的の細胞のみが入るように画像をトリミングしても
よい。少なくとも、１枚の画像の中に、訓練しようとする細胞を１細胞含み（赤血球、及
び正常サイズの血小板は含まれていてもよい）、訓練しようとする細胞に該当する画素が
画像全体画素の１／９程度以上存在していれば解析用画像７８として使用することができ
る。
図４に画像の解析方法の例を示す。画像の解析方法では、解析対象の細胞を撮像した解
析用画像７８から解析データ８１を生成する。解析用画像７８は、解析対象の細胞を撮像
した画像である。解析用画像７８は、例えば公知の光学顕微鏡、又はバーチャルスライド
スキャナ等の撮像装置を用いて、取得することができる。図４に示す例では、Ｓｙｓｍｅ
ｘ ＤＩ－６０を用いて解析用画像７８は、訓練用画像７０と同様に、３６０画素×３６
５画素で撮像された生画像を、２５５画素×２５５画素に縮小しているが、この縮小は必
須ではない。訓練用画像７０の画素数は、解析ができる限り制限されないが、一辺が１０
０画素を超えていることが好ましい。また、図４に示す例では、分葉核好中球を中心とし
た周囲に赤血球が存在しているが、目的の細胞のみが入るように画像をトリミングしても
よい。少なくとも、１枚の画像の中に、訓練しようとする細胞を１細胞含み（赤血球、及
び正常サイズの血小板は含まれていてもよい）、訓練しようとする細胞に該当する画素が
画像全体画素の１／９程度以上存在していれば解析用画像７８として使用することができ
る。
【0046】
例示的には、本実施形態において撮像装置における撮像は、ＲＧＢカラー及びＣＭＹカ
ラー等で行われることが好ましい。カラー画像は、赤、緑及び青又はシアン、マゼンタ、
イエロー等の各原色の濃淡又は輝度を、２４ビットの値（８ビット×３色）で表すことが
好ましい。解析用画像７８は、少なくとも１つの色相と、その色相の濃淡又は輝度とを含
んでいればよいが、少なくとも２つの色相と、それぞれ色相の濃淡又は輝度とを含むこと
がより好ましい。色相とその色相の濃淡又は輝度とを含む情報を色調ともいう。
ラー等で行われることが好ましい。カラー画像は、赤、緑及び青又はシアン、マゼンタ、
イエロー等の各原色の濃淡又は輝度を、２４ビットの値（８ビット×３色）で表すことが
好ましい。解析用画像７８は、少なくとも１つの色相と、その色相の濃淡又は輝度とを含
んでいればよいが、少なくとも２つの色相と、それぞれ色相の濃淡又は輝度とを含むこと
がより好ましい。色相とその色相の濃淡又は輝度とを含む情報を色調ともいう。
【0047】
例えば、ＲＧＢカラーから、輝度の情報と色相の情報を含むフォーマットに変換する。輝
度の情報と色相の情報を含むフォーマットとして、ＹＵＶ（ＹＣｂＣｒ、ＹＰｂＰｒ、Ｙ
ＩＱ等）等を挙げることができる。ここでは、ＹＣｂＣｒフォーマットへの変換を例とし
て説明する。ここでは、訓練用画像がＲＧＢカラーであるため、輝度７９Ｙと、第１の色
相（例えば青色系）７９Ｃｂと、第２の色相（例えば、赤色系）７９Ｃｒとに変換する。
ＲＧＢから、ＹＣｂＣｒへの変換は公知の方法により行うことができる。例えば、ＲＧＢ
から、ＹＣｂＣｒへは、国際規格ＩＴＵ－Ｒ ＢＴ．６０１にしたがって変換できる。変
換した輝度７９Ｙ、第１の色相７９Ｃｂ及び第２の色相７９Ｃｒはそれぞれ図２に示すよ
うに階調値の行列として表すことができる（以下、色調行列７９ｙ，７９ｃｂ，７９ｃｒ
ともいう）。輝度７２Ｙ、第１の色相７２Ｃｂ、第２の色相７２Ｃｒは、それぞれ０から
２５５階調までの２５６階調で表される。ここで、輝度７９Ｙ、第１の色相７９Ｃｂ、第
２の色相７９Ｃｒに換えて、赤Ｒ、緑Ｇ、青Ｂの３原色や、シアンＣ、マゼンタＭ、イエ
ローＹの色の３原色で訓練用画像を変換してもよい。
度の情報と色相の情報を含むフォーマットとして、ＹＵＶ（ＹＣｂＣｒ、ＹＰｂＰｒ、Ｙ
ＩＱ等）等を挙げることができる。ここでは、ＹＣｂＣｒフォーマットへの変換を例とし
て説明する。ここでは、訓練用画像がＲＧＢカラーであるため、輝度７９Ｙと、第１の色
相（例えば青色系）７９Ｃｂと、第２の色相（例えば、赤色系）７９Ｃｒとに変換する。
ＲＧＢから、ＹＣｂＣｒへの変換は公知の方法により行うことができる。例えば、ＲＧＢ
から、ＹＣｂＣｒへは、国際規格ＩＴＵ－Ｒ ＢＴ．６０１にしたがって変換できる。変
換した輝度７９Ｙ、第１の色相７９Ｃｂ及び第２の色相７９Ｃｒはそれぞれ図２に示すよ
うに階調値の行列として表すことができる（以下、色調行列７９ｙ，７９ｃｂ，７９ｃｒ
ともいう）。輝度７２Ｙ、第１の色相７２Ｃｂ、第２の色相７２Ｃｒは、それぞれ０から
２５５階調までの２５６階調で表される。ここで、輝度７９Ｙ、第１の色相７９Ｃｂ、第
２の色相７９Ｃｒに換えて、赤Ｒ、緑Ｇ、青Ｂの３原色や、シアンＣ、マゼンタＭ、イエ
ローＹの色の３原色で訓練用画像を変換してもよい。
【0048】
次に、色調行列７９ｙ，７９ｃｂ，７９ｃｒに基づいて、画素ごとに、輝度７９ｙ、第
１の色相７９ｃｂ、及び第２の色相７９ｃｒの３つの階調値を組み合わせた色調ベクトル
データ８０を生成する。１枚の解析用画像７８から生成された色調ベクトルデータ８０の
集合を解析データ８１として生成する。
１の色相７９ｃｂ、及び第２の色相７９ｃｒの３つの階調値を組み合わせた色調ベクトル
データ８０を生成する。１枚の解析用画像７８から生成された色調ベクトルデータ８０の
集合を解析データ８１として生成する。
【0049】
解析データ８１の生成と訓練データ７５の生成は、少なくとも撮像条件や、各画像から
ニューラルネットワークに入力するベクトルデータの生成条件を同じにすることが好まし
い。
ニューラルネットワークに入力するベクトルデータの生成条件を同じにすることが好まし
い。
【0050】
解析データ８１を訓練済みの第１の深層学習アルゴリズム６０を構成する第１のニュー
ラルネットワーク６０の入力層６０ａに入力する。第１の深層学習アルゴリズムは、解析
データ８１から特徴量を抽出し、その結果を第１のニューラルネットワーク６０の出力層
６０ｃから出力する。出力層６０ｃから出力される値は、訓練データとして入力された形
態学的な細胞の分類や特徴のそれぞれに、解析用画像に含まれる解析対象の細胞が属する
確率である。
ラルネットワーク６０の入力層６０ａに入力する。第１の深層学習アルゴリズムは、解析
データ８１から特徴量を抽出し、その結果を第１のニューラルネットワーク６０の出力層
６０ｃから出力する。出力層６０ｃから出力される値は、訓練データとして入力された形
態学的な細胞の分類や特徴のそれぞれに、解析用画像に含まれる解析対象の細胞が属する
確率である。
【0051】
次に、出力層６０ｃから出力された結果を、訓練済みの第２の深層学習アルゴリズム６
１を構成する第２のニューラルネットワーク６１の入力層６１ａに入力する。第２の深層
学習アルゴリズム６１は、入力された特徴量に基づいて、出力層６１ｂから、訓練データ
として入力された形態学的な細胞の分類や特徴のそれぞれに、解析用画像に含まれる解析
対象の細胞が属する確率を出力する。さらに、この確率の中で、値が最も高い形態学的分
類に、解析用画像に含まれる解析対象の細胞が属すると判断し、その形態学的な細胞の種
類又は細胞の特徴をと紐付けられたラベル値が出力される。ラベル値そのもの、あるいは
ラベル値を形態学的な細胞の種類又は細胞の特徴の有無を示す情報（例えば用語等）に置
き換えたデータが細胞の形態に関するデータ８３として出力される。図４では解析データ
８１から、識別器によってラベル値「１」が最も可能性が高いラベル値８２として出力さ
れ、このラベル値に対応する「分葉核好中球」という文字データが、細胞の形態に関する
データ８３として出力される。
図４の符号６０ｃ及び６１ｃは、中間層を示す。
１を構成する第２のニューラルネットワーク６１の入力層６１ａに入力する。第２の深層
学習アルゴリズム６１は、入力された特徴量に基づいて、出力層６１ｂから、訓練データ
として入力された形態学的な細胞の分類や特徴のそれぞれに、解析用画像に含まれる解析
対象の細胞が属する確率を出力する。さらに、この確率の中で、値が最も高い形態学的分
類に、解析用画像に含まれる解析対象の細胞が属すると判断し、その形態学的な細胞の種
類又は細胞の特徴をと紐付けられたラベル値が出力される。ラベル値そのもの、あるいは
ラベル値を形態学的な細胞の種類又は細胞の特徴の有無を示す情報（例えば用語等）に置
き換えたデータが細胞の形態に関するデータ８３として出力される。図４では解析データ
８１から、識別器によってラベル値「１」が最も可能性が高いラベル値８２として出力さ
れ、このラベル値に対応する「分葉核好中球」という文字データが、細胞の形態に関する
データ８３として出力される。
図４の符号６０ｃ及び６１ｃは、中間層を示す。
【0052】
［２．画像解析システム１］
＜画像解析システム１の構成＞
本開示における第２の実施形態は、画像解析システムに関する。
図５を参照すると、第２の実施形態に係る画像解析システムは、深層学習装置１００Ａ
と、画像解析装置２００Ａとを備える。ベンダ側装置１００は深層学習装置１００Ａとし
て動作し、ユーザ側装置２００は画像解析装置２００Ａとして動作する。深層学習装置１
００Ａは、ニューラルネットワーク５０に訓練データを使って学習させ、訓練データによ
って訓練された深層学習アルゴリズム６０をユーザに提供する。学習済みのニューラルネ
ットワーク６０から構成される深層学習アルゴリズムは、記録媒体９８又はネットワーク
９９を通じて、深層学習装置１００Ａから画像解析装置２００Ａに提供される。画像解析
装置２００Ａは、学習済みのニューラルネットワーク６０から構成される深層学習アルゴ
リズムを用いて解析対象の画像の解析を行う。
＜画像解析システム１の構成＞
本開示における第２の実施形態は、画像解析システムに関する。
図５を参照すると、第２の実施形態に係る画像解析システムは、深層学習装置１００Ａ
と、画像解析装置２００Ａとを備える。ベンダ側装置１００は深層学習装置１００Ａとし
て動作し、ユーザ側装置２００は画像解析装置２００Ａとして動作する。深層学習装置１
００Ａは、ニューラルネットワーク５０に訓練データを使って学習させ、訓練データによ
って訓練された深層学習アルゴリズム６０をユーザに提供する。学習済みのニューラルネ
ットワーク６０から構成される深層学習アルゴリズムは、記録媒体９８又はネットワーク
９９を通じて、深層学習装置１００Ａから画像解析装置２００Ａに提供される。画像解析
装置２００Ａは、学習済みのニューラルネットワーク６０から構成される深層学習アルゴ
リズムを用いて解析対象の画像の解析を行う。
【0053】
深層学習装置１００Ａは、例えば汎用コンピュータで構成されており、後述するフロー
チャートに基づいて、深層学習処理を行う。画像解析装置２００Ａは、例えば汎用コンピ
ュータで構成されており、後述するフローチャートに基づいて、画像解析処理を行う。記
録媒体９８は、例えばＤＶＤ－ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能で
あって非一時的な有形の記録媒体である。
チャートに基づいて、深層学習処理を行う。画像解析装置２００Ａは、例えば汎用コンピ
ュータで構成されており、後述するフローチャートに基づいて、画像解析処理を行う。記
録媒体９８は、例えばＤＶＤ－ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能で
あって非一時的な有形の記録媒体である。
【0054】
深層学習装置１００Ａは撮像装置３００に接続されている。撮像装置３００は、撮像素
子３０１と、蛍光顕微鏡３０２とを備え、ステージ３０９上にセットされた学習用の標本
３０８の、明視野画像を撮像する。訓練用の標本３０８は、上述の染色が施されている。
深層学習装置１００Ａは、撮像装置３００によって撮像された訓練用画像７０を取得する
。
子３０１と、蛍光顕微鏡３０２とを備え、ステージ３０９上にセットされた学習用の標本
３０８の、明視野画像を撮像する。訓練用の標本３０８は、上述の染色が施されている。
深層学習装置１００Ａは、撮像装置３００によって撮像された訓練用画像７０を取得する
。
【0055】
画像解析装置２００Ａは撮像装置４００に接続されている。撮像装置４００は、撮像素
子４０１と、蛍光顕微鏡４０２とを備え、ステージ４０９上にセットされた解析対象の標
本４０８の、明視野画像を撮像する。解析対象の標本４０８は、上述の通り予め染色され
ている。画像解析装置２００Ａは、撮像装置４００によって撮像された解析対象画像７８
を取得する。
撮像装置３００，４００には、標本を撮像する機能を有する、公知の光学顕微鏡又はバ
ーチャルスライドスキャナ等を用いることができる。
子４０１と、蛍光顕微鏡４０２とを備え、ステージ４０９上にセットされた解析対象の標
本４０８の、明視野画像を撮像する。解析対象の標本４０８は、上述の通り予め染色され
ている。画像解析装置２００Ａは、撮像装置４００によって撮像された解析対象画像７８
を取得する。
撮像装置３００，４００には、標本を撮像する機能を有する、公知の光学顕微鏡又はバ
ーチャルスライドスキャナ等を用いることができる。
【0056】
【0057】
処理部１０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）１１と
、データ処理の作業領域に使用するメモリ１２と、後述するプログラム及び処理データを
記録する記録部１３と、各部の間でデータを伝送するバス１４と、外部機器とのデータの
入出力を行うインタフェース部１５と、ＧＰＵ（Graphics Processing Unit）１９とを備
えている。入力部１６及び出力部１７は、処理部１０に接続されている。例示的には、入
力部１６はキーボード又はマウス等の入力装置であり、出力部１７は液晶ディスプレイ等
の表示装置である。ＧＰＵ１９は、ＣＰＵ１１が行う演算処理（例えば、並列演算処理）
を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ１１が行
う処理とは、ＣＰＵ１１がＧＰＵ１９をアクセラレータとして用いて行う処理も含むこと
を意味する。
、データ処理の作業領域に使用するメモリ１２と、後述するプログラム及び処理データを
記録する記録部１３と、各部の間でデータを伝送するバス１４と、外部機器とのデータの
入出力を行うインタフェース部１５と、ＧＰＵ（Graphics Processing Unit）１９とを備
えている。入力部１６及び出力部１７は、処理部１０に接続されている。例示的には、入
力部１６はキーボード又はマウス等の入力装置であり、出力部１７は液晶ディスプレイ等
の表示装置である。ＧＰＵ１９は、ＣＰＵ１１が行う演算処理（例えば、並列演算処理）
を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ１１が行
う処理とは、ＣＰＵ１１がＧＰＵ１９をアクセラレータとして用いて行う処理も含むこと
を意味する。
【0058】
また、処理部１０は、以下の図８で説明する各ステップの処理を行うために、本発明に
係るプログラム及び訓練前のニューラルネットワーク５０を、例えば実行形式で記録部１
３に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変
換されて生成される形式である。処理部１０は、記録部１３に記録したプログラムを使用
して、訓練前の第１のニューラルネットワーク５０及び第２のニューラルネットワーク５
１の訓練処理を行う。
係るプログラム及び訓練前のニューラルネットワーク５０を、例えば実行形式で記録部１
３に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変
換されて生成される形式である。処理部１０は、記録部１３に記録したプログラムを使用
して、訓練前の第１のニューラルネットワーク５０及び第２のニューラルネットワーク５
１の訓練処理を行う。
【0059】
以下の説明においては、特に断らない限り、処理部１０が行う処理は、記録部１３又は
メモリ１２に格納されたプログラム及びニューラルネットワーク５０に基づいて、ＣＰＵ
１１が行う処理を意味する。ＣＰＵ１１はメモリ１２を作業領域として必要なデータ（処
理途中の中間データ等）を一時記憶し、記録部１３に演算結果等の長期保存するデータを
適宜記録する。
メモリ１２に格納されたプログラム及びニューラルネットワーク５０に基づいて、ＣＰＵ
１１が行う処理を意味する。ＣＰＵ１１はメモリ１２を作業領域として必要なデータ（処
理途中の中間データ等）を一時記憶し、記録部１３に演算結果等の長期保存するデータを
適宜記録する。
【0060】
＜画像解析装置のハードウェア構成＞
図７を参照すると、ユーザ側装置２００（画像解析装置２００Ａ，画像解析装置２００
Ｂ，画像解析装置２００Ｃ）は、処理部２０（２０Ａ，２０Ｂ，２０Ｃ）と、入力部２６
と、出力部２７とを備える。
図７を参照すると、ユーザ側装置２００（画像解析装置２００Ａ，画像解析装置２００
Ｂ，画像解析装置２００Ｃ）は、処理部２０（２０Ａ，２０Ｂ，２０Ｃ）と、入力部２６
と、出力部２７とを備える。
【0061】
処理部２０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）２１と
、データ処理の作業領域に使用するメモリ２２と、後述するプログラム及び処理データを
記録する記録部２３と、各部の間でデータを伝送するバス２４と、外部機器とのデータの
入出力を行うインタフェース部２５と、ＧＰＵ（Graphics Processing Unit）２９とを備
えている。入力部２６及び出力部２７は、処理部２０に接続されている。例示的には、入
力部２６はキーボード又はマウス等の入力装置であり、出力部２７は液晶ディスプレイ等
の表示装置である。ＧＰＵ２９は、ＣＰＵ２１が行う演算処理（例えば、並列演算処理）
を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ２１が行
う処理とは、ＣＰＵ２１がＧＰＵ２９をアクセラレータとして用いて行う処理も含むこと
を意味する。
、データ処理の作業領域に使用するメモリ２２と、後述するプログラム及び処理データを
記録する記録部２３と、各部の間でデータを伝送するバス２４と、外部機器とのデータの
入出力を行うインタフェース部２５と、ＧＰＵ（Graphics Processing Unit）２９とを備
えている。入力部２６及び出力部２７は、処理部２０に接続されている。例示的には、入
力部２６はキーボード又はマウス等の入力装置であり、出力部２７は液晶ディスプレイ等
の表示装置である。ＧＰＵ２９は、ＣＰＵ２１が行う演算処理（例えば、並列演算処理）
を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ２１が行
う処理とは、ＣＰＵ２１がＧＰＵ２９をアクセラレータとして用いて行う処理も含むこと
を意味する。
【0062】
また、処理部２０は、以下の画像解析処理で説明する各ステップの処理を行うために、
本発明に係るプログラム及び訓練済みのニューラルネットワーク構造の深層学習アルゴリ
ズム６０を、例えば実行形式で記録部２３に予め記録している。実行形式は、例えばプロ
グラミング言語からコンパイラにより変換されて生成される形式である。処理部２０は、
記録部２３に記録したプログラム及び第１の深層学習アルゴリズム６０及び第２の深層学
習アルゴリズム６１を使用して処理を行う。
本発明に係るプログラム及び訓練済みのニューラルネットワーク構造の深層学習アルゴリ
ズム６０を、例えば実行形式で記録部２３に予め記録している。実行形式は、例えばプロ
グラミング言語からコンパイラにより変換されて生成される形式である。処理部２０は、
記録部２３に記録したプログラム及び第１の深層学習アルゴリズム６０及び第２の深層学
習アルゴリズム６１を使用して処理を行う。
【0063】
以下の説明においては、特に断らない限り、処理部２０が行う処理は、記録部２３又は
メモリ２２に格納されたプログラム及び深層学習アルゴリズム６０に基づいて、実際には
処理部２０のＣＰＵ２１が行う処理を意味する。ＣＰＵ２１はメモリ２２を作業領域とし
て必要なデータ（処理途中の中間データ等）を一時記憶し、記録部２３に演算結果等の長
期保存するデータを適宜記録する。
メモリ２２に格納されたプログラム及び深層学習アルゴリズム６０に基づいて、実際には
処理部２０のＣＰＵ２１が行う処理を意味する。ＣＰＵ２１はメモリ２２を作業領域とし
て必要なデータ（処理途中の中間データ等）を一時記憶し、記録部２３に演算結果等の長
期保存するデータを適宜記録する。
【0064】
＜機能ブロック及び処理手順＞
（深層学習処理）
図８を参照すると、本実施形態に係る深層学習装置１００Ａの処理部１０Ａは、訓練デ
ータ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３とを備える
。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラムを、処
理部１０Ａの記録部１３又はメモリ１２にインストールし、このプログラムをＣＰＵ１１
が実行することにより実現される。訓練データデータベース（ＤＢ）１０４と、アルゴリ
ズムデータベース（ＤＢ）１０５とは、処理部１０Ａの記録部１３又はメモリ１２に記録
される。
（深層学習処理）
図８を参照すると、本実施形態に係る深層学習装置１００Ａの処理部１０Ａは、訓練デ
ータ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３とを備える
。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラムを、処
理部１０Ａの記録部１３又はメモリ１２にインストールし、このプログラムをＣＰＵ１１
が実行することにより実現される。訓練データデータベース（ＤＢ）１０４と、アルゴリ
ズムデータベース（ＤＢ）１０５とは、処理部１０Ａの記録部１３又はメモリ１２に記録
される。
【0065】
訓練用画像７０は、撮像装置３００によって予め撮像され、処理部１０Ａの記録部１３
又はメモリ１２に予め記憶されている。第１の深層学習アルゴリズム５０及び第２の深層
学習アルゴリズム５１は、例えば解析対象の細胞が属する形態学的な細胞の種類や細胞の
特徴と対応付けられて、アルゴリズムデータベース１０５に予め格納されている。
又はメモリ１２に予め記憶されている。第１の深層学習アルゴリズム５０及び第２の深層
学習アルゴリズム５１は、例えば解析対象の細胞が属する形態学的な細胞の種類や細胞の
特徴と対応付けられて、アルゴリズムデータベース１０５に予め格納されている。
【0066】
深層学習装置１００Ａの処理部１０Ａは、図９に示す処理を行う。図８に示す各機能ブ
ロックを用いて説明すると、ステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理は、訓練
データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ入力部１０２が行う。
ステップＳ１４、及びＳ１８の処理は、アルゴリズム更新部１０３が行う。
図９を用いて、処理部１０Ａが行う深層学習処理の例について説明する。
ロックを用いて説明すると、ステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理は、訓練
データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ入力部１０２が行う。
ステップＳ１４、及びＳ１８の処理は、アルゴリズム更新部１０３が行う。
図９を用いて、処理部１０Ａが行う深層学習処理の例について説明する。
【0067】
はじめに、処理部１０Ａは、訓練用画像７０を取得する。訓練用画像７０の取得は、オペ
レータの操作によって、撮像装置３００から取り込まれるか、記録媒体９８から取り込ま
れるか、ネットワーク経由でＩ／Ｆ部１５を介して行われる。訓練用画像７０を取得する
際に、その訓練用画像７０が、形態学的に分類される細胞の種類及び／又は形態学的な細
胞の特徴のいずれを示すものであるかの情報も取得される。形態学的に分類される細胞の
種類及び／又は形態学的な細胞の特徴のいずれを示すものであるかの情報は、訓練用画像
７０に紐付けられていてもよく、またオペレータが入力部１６から入力してもよい。
レータの操作によって、撮像装置３００から取り込まれるか、記録媒体９８から取り込ま
れるか、ネットワーク経由でＩ／Ｆ部１５を介して行われる。訓練用画像７０を取得する
際に、その訓練用画像７０が、形態学的に分類される細胞の種類及び／又は形態学的な細
胞の特徴のいずれを示すものであるかの情報も取得される。形態学的に分類される細胞の
種類及び／又は形態学的な細胞の特徴のいずれを示すものであるかの情報は、訓練用画像
７０に紐付けられていてもよく、またオペレータが入力部１６から入力してもよい。
【0068】
ステップＳ１１において、処理部１０Ａは、取得された訓練用画像７０を輝度Ｙ、第１
の色相Ｃｂ及び第２の色相Ｃｒに変換し、上記訓練データの生成方法で説明した手順に従
い色調ベクトルデータ７４を生成する。
の色相Ｃｂ及び第２の色相Ｃｒに変換し、上記訓練データの生成方法で説明した手順に従
い色調ベクトルデータ７４を生成する。
【0069】
ステップＳ１２において、処理部１０Ａは、訓練用画像７０に紐付けられている、形態
学的に分類される細胞の種類及び／又は形態学的な分類における細胞の特徴のいずれを示
すものであるかの情報と、メモリ１２又は記録部１３に記憶されている形態学的に分類さ
れる細胞の種類又は形態学的な分類における細胞の特徴に紐図けられたラベル値とに基づ
いて色調ベクトルデータ７４に対応するラベル値を付与する。斯くして、処理部１０Ａは
、訓練データ７５を生成する。
学的に分類される細胞の種類及び／又は形態学的な分類における細胞の特徴のいずれを示
すものであるかの情報と、メモリ１２又は記録部１３に記憶されている形態学的に分類さ
れる細胞の種類又は形態学的な分類における細胞の特徴に紐図けられたラベル値とに基づ
いて色調ベクトルデータ７４に対応するラベル値を付与する。斯くして、処理部１０Ａは
、訓練データ７５を生成する。
【0070】
図８に示すステップＳ１３において、処理部１０Ａは、訓練データ７５を用いて、第１
のニューラルネットワーク５０及び第２のニューラルネットワーク５１を訓練する。第１
のニューラルネットワーク５０及び第２のニューラルネットワーク５１の訓練結果は複数
の訓練データ７５を用いて訓練する度に蓄積される。
のニューラルネットワーク５０及び第２のニューラルネットワーク５１を訓練する。第１
のニューラルネットワーク５０及び第２のニューラルネットワーク５１の訓練結果は複数
の訓練データ７５を用いて訓練する度に蓄積される。
【0071】
本実施形態に係る画像解析方法では、畳み込みニューラルネットワークを使用しており
、確率的勾配降下法を用いるため、ステップＳ１４において、処理部１０Ａは、予め定め
られた所定の試行回数分の訓練結果が蓄積されているか否かを判断する。訓練結果が所定
の試行回数分蓄積されている場合（ＹＥＳ）、処理部１０ＡはステップＳ１５の処理に進
み、訓練結果が所定の試行回数分蓄積されていない場合（ＮＯ）、処理部１０Ａはステッ
プＳ１６の処理に進む。
、確率的勾配降下法を用いるため、ステップＳ１４において、処理部１０Ａは、予め定め
られた所定の試行回数分の訓練結果が蓄積されているか否かを判断する。訓練結果が所定
の試行回数分蓄積されている場合（ＹＥＳ）、処理部１０ＡはステップＳ１５の処理に進
み、訓練結果が所定の試行回数分蓄積されていない場合（ＮＯ）、処理部１０Ａはステッ
プＳ１６の処理に進む。
【0072】
次に、訓練結果が所定の試行回数分蓄積されている場合、ステップＳ１５において、処
理部１０Ａは、ステップＳ１３において蓄積しておいた訓練結果を用いて、第１のニュー
ラルネットワーク５０及び第２のニューラルネットワーク５１の結合重みｗを更新する。
本実施形態に係る画像解析方法では、確率的勾配降下法を用いるため、所定の試行回数分
の学習結果が蓄積した段階で、第１のニューラルネットワーク５０及び第２のニューラル
ネットワーク５１の結合重みｗを更新する。結合重みｗを更新する処理は、具体的には、
後述の（式１１）及び（式１２）に示される、勾配降下法による計算を実施する処理であ
る。
理部１０Ａは、ステップＳ１３において蓄積しておいた訓練結果を用いて、第１のニュー
ラルネットワーク５０及び第２のニューラルネットワーク５１の結合重みｗを更新する。
本実施形態に係る画像解析方法では、確率的勾配降下法を用いるため、所定の試行回数分
の学習結果が蓄積した段階で、第１のニューラルネットワーク５０及び第２のニューラル
ネットワーク５１の結合重みｗを更新する。結合重みｗを更新する処理は、具体的には、
後述の（式１１）及び（式１２）に示される、勾配降下法による計算を実施する処理であ
る。
【0073】
ステップＳ１６において、処理部１０Ａは、第１のニューラルネットワーク５０及び第
２のニューラルネットワーク５１を規定数の訓練用データ７５で訓練したか否かを判断す
る。規定数の訓練用データ７５で訓練した場合（ＹＥＳ）には、深層学習処理を終了する
。
２のニューラルネットワーク５１を規定数の訓練用データ７５で訓練したか否かを判断す
る。規定数の訓練用データ７５で訓練した場合（ＹＥＳ）には、深層学習処理を終了する
。
【0074】
第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１を規定数の
訓練用データ７５で訓練していない場合（ＮＯ）には、処理部１０Ａは、ステップＳ１６
からステップS１７に進み、次の訓練用画像７０についてステップS１１からステップS16
までの処理を行う。
訓練用データ７５で訓練していない場合（ＮＯ）には、処理部１０Ａは、ステップＳ１６
からステップS１７に進み、次の訓練用画像７０についてステップS１１からステップS16
までの処理を行う。
【0075】
以上説明した処理にしたがって、第１のニューラルネットワーク５０及び第２のニュー
ラルネットワーク５１を訓練し第２の深層学習アルゴリズム６０及び第２の深層学習アル
ゴリズム６２を得る。
ラルネットワーク５１を訓練し第２の深層学習アルゴリズム６０及び第２の深層学習アル
ゴリズム６２を得る。
【0076】
（ニューラルネットワークの構造）
上述したように、本実施形態において、畳み込みニューラルネットワークを用いる。図
１０（ａ）に第１のニューラルネットワーク５０と第２のニューラルネットワーク５１の
構造を例示する。第１のニューラルネットワーク５０と第２のニューラルネットワーク５
１は、入力層５０ａ，５１ａと、出力層５０ｂ，５１ｂと、入力層５０ａ，５１ａ及び出
力層５０ｂ，５１ｂの間の中間層５０ｃ，５１ｃとを備え、中間層５０ｃ，５１ｃが複数
の層で構成されている。中間層５０ｃ，５１ｃを構成する層の数は、例えば５層以上とす
ることができる。
上述したように、本実施形態において、畳み込みニューラルネットワークを用いる。図
１０（ａ）に第１のニューラルネットワーク５０と第２のニューラルネットワーク５１の
構造を例示する。第１のニューラルネットワーク５０と第２のニューラルネットワーク５
１は、入力層５０ａ，５１ａと、出力層５０ｂ，５１ｂと、入力層５０ａ，５１ａ及び出
力層５０ｂ，５１ｂの間の中間層５０ｃ，５１ｃとを備え、中間層５０ｃ，５１ｃが複数
の層で構成されている。中間層５０ｃ，５１ｃを構成する層の数は、例えば５層以上とす
ることができる。
【0077】
第１のニューラルネットワーク５０と第２のニューラルネットワーク５１では、層状に
配置された複数のノード８９が、層間において結合されている。これにより、情報が入力
側の層５０ａ，５１ａから出力側の層５０ｂ，５１ｂに、図中矢印Ｄに示す一方向のみに
伝播する。
配置された複数のノード８９が、層間において結合されている。これにより、情報が入力
側の層５０ａ，５１ａから出力側の層５０ｂ，５１ｂに、図中矢印Ｄに示す一方向のみに
伝播する。
【0078】
（各ノードにおける演算）
図１０（ｂ）は、各ノードにおける演算を示す模式図である。各ノード８９では、複数
の入力を受け取り、１つの出力（ｚ）を計算する。図１０（ｂ）に示す例の場合、ノード
８９は４つの入力を受け取る。ノード８９が受け取る総入力（ｕ）は、以下の（式１）で
表される。
図１０（ｂ）は、各ノードにおける演算を示す模式図である。各ノード８９では、複数
の入力を受け取り、１つの出力（ｚ）を計算する。図１０（ｂ）に示す例の場合、ノード
８９は４つの入力を受け取る。ノード８９が受け取る総入力（ｕ）は、以下の（式１）で
表される。
【0079】
【数1】
【0080】
各入力には、それぞれ異なる重みが掛けられる。（式１）中、ｂはバイアスと呼ばれる
値である。ノードの出力（ｚ）は、（式１）で表される総入力（ｕ）に対する所定の関数
ｆの出力となり、以下の（式２）で表される。関数ｆは活性化関数と呼ばれる。
値である。ノードの出力（ｚ）は、（式１）で表される総入力（ｕ）に対する所定の関数
ｆの出力となり、以下の（式２）で表される。関数ｆは活性化関数と呼ばれる。
【0081】
【数2】
【0082】
図１０（ｃ）は、ノード間の演算を示す模式図である。ニューラルネットワーク５０で
は、（式１）で表される総入力（ｕ）に対して、（式２）で表される結果（ｚ）を出力す
るノードが層状に並べられている。前の層のノードの出力が、次の層のノードの入力とな
る。図１０（ｃ）に示す例では、図中左側の層のノード８９ａの出力が、図中右側の層の
ノード８９ｂの入力となる。右側の層の各ノード８９ｂは、それぞれ、左側の層のノード
８９ａからの出力を受け取る。左側の層の各ノード８９ａと右側の層の各ノード８９ｂと
の間の各結合には、異なる重みが掛けられる。左側の層の複数のノード８９ａのそれぞれ
の出力をｘ１～ｘ４とすると、右側の層の３つのノード８９ｂのそれぞれに対する入力は
、以下の（式３－１）～（式３－３）で表される。
は、（式１）で表される総入力（ｕ）に対して、（式２）で表される結果（ｚ）を出力す
るノードが層状に並べられている。前の層のノードの出力が、次の層のノードの入力とな
る。図１０（ｃ）に示す例では、図中左側の層のノード８９ａの出力が、図中右側の層の
ノード８９ｂの入力となる。右側の層の各ノード８９ｂは、それぞれ、左側の層のノード
８９ａからの出力を受け取る。左側の層の各ノード８９ａと右側の層の各ノード８９ｂと
の間の各結合には、異なる重みが掛けられる。左側の層の複数のノード８９ａのそれぞれ
の出力をｘ１～ｘ４とすると、右側の層の３つのノード８９ｂのそれぞれに対する入力は
、以下の（式３－１）～（式３－３）で表される。
【0083】
【数3】
＝１，・・・Ｉ、ｊ＝１，・・・Ｊである。
【0084】
【数4】
れる。
【0085】
【数5】
【0086】
（活性化関数）
実施形態に係る画像解析方法では、活性化関数として、正規化線形関数（rectified li
near unit function）を用いる。正規化線形関数は以下の（式５）で表される。
実施形態に係る画像解析方法では、活性化関数として、正規化線形関数（rectified li
near unit function）を用いる。正規化線形関数は以下の（式５）で表される。
【0087】
【0088】
【数7】
【0089】
（ニューラルネットワークの学習）
ニューラルネットワークを用いて表現される関数をｙ（ｘ：ｗ）とおくと、関数ｙ（ｘ
：ｗ）は、ニューラルネットワークのパラメータｗを変化させると変化する。入力ｘに対
してニューラルネットワークがより好適なパラメータｗを選択するように、関数ｙ（ｘ：
ｗ）を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワーク
を用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力ｘに
対する望ましい出力をｄとすると、入出力の組は、｛（ｘ１，ｄ１），（ｘ２，ｄ２），
・・・，（ｘｎ，ｄｎ）｝と与えられる。（ｘ，ｄ）で表される各組の集合を、訓練デー
タと呼ぶ。具体的には、図２（ｂ）に示す、Ｒ、Ｇ、Ｂ各色の単一色画像における画素ご
との色濃度値と真値像のラベルとの組、の集合が、図２（ａ）に示す訓練データである。
ニューラルネットワークの学習とは、どのような入出力の組（ｘｎ，ｄｎ）に対しても
、入力ｘｎを与えたときのニューラルネットワークの出力ｙ（ｘｎ：ｗ）が、出力ｄｎに
なるべく近づくように重みｗを調整することを意味する。誤差関数（error function）と
は、ニューラルネットワークを用いて表現される関数と訓練データとの近さ
ニューラルネットワークを用いて表現される関数をｙ（ｘ：ｗ）とおくと、関数ｙ（ｘ
：ｗ）は、ニューラルネットワークのパラメータｗを変化させると変化する。入力ｘに対
してニューラルネットワークがより好適なパラメータｗを選択するように、関数ｙ（ｘ：
ｗ）を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワーク
を用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力ｘに
対する望ましい出力をｄとすると、入出力の組は、｛（ｘ１，ｄ１），（ｘ２，ｄ２），
・・・，（ｘｎ，ｄｎ）｝と与えられる。（ｘ，ｄ）で表される各組の集合を、訓練デー
タと呼ぶ。具体的には、図２（ｂ）に示す、Ｒ、Ｇ、Ｂ各色の単一色画像における画素ご
との色濃度値と真値像のラベルとの組、の集合が、図２（ａ）に示す訓練データである。
ニューラルネットワークの学習とは、どのような入出力の組（ｘｎ，ｄｎ）に対しても
、入力ｘｎを与えたときのニューラルネットワークの出力ｙ（ｘｎ：ｗ）が、出力ｄｎに
なるべく近づくように重みｗを調整することを意味する。誤差関数（error function）と
は、ニューラルネットワークを用いて表現される関数と訓練データとの近さ
【0090】
【数8】
る画像解析方法において用いる誤差関数Ｅ（ｗ）は、以下の（式６）で表される。（式６
）は交差エントロピー（cross entropy）と呼ばれる。
【0091】
【数9】
いて用いるニューラルネットワーク５０の出力層５０ｂでは、すなわちニューラルネット
ワークの最終層では、入力ｘを内容に応じて有限個のクラスに分類するための活性化関数
を用いる。活性化関数はソフトマックス関数（softmax function）と呼ばれ、以下の（式
７）で表される。なお、出力層５０ｂには、クラス数ｋと同数のノードが並べられている
とする。出力層Ｌの各ノードｋ（ｋ＝１，・・・Ｋ）の総入力ｕは、前層Ｌ－１の出力か
ら、ｕｋ （Ｌ）で与えられるとする。これにより、出力層のｋ番目のノードの出力は以下
の（式７）で表される。
【0092】
【数10】
和は常に１となる。
各クラスをＣ１，・・・，ＣＫと表すと、出力層Ｌのノードｋの出力ｙＫ（すなわちｕ
ｋ （Ｌ））は、与えられた入力ｘがクラスＣＫに属する確率を表す。以下の（式８）を参
照されたい。入力ｘは、（式８）で表される確率が最大になるクラスに分類される。
【0093】
【数11】
ラスの事後確率（posterior probability）のモデルとみなし、そのような確率モデルの
下で、訓練データに対する重みｗの尤度（likelihood）を評価し、尤度を最大化するよう
な重みｗを選択する。
【0094】
（式７）のソフトマックス関数による目標出力ｄｎを、出力が正解のクラスである場合
のみ１とし、出力がそれ以外の場合は０になるとする。目標出力をｄｎ＝［ｄｎ１，・・
・，ｄｎＫ］というベクトル形式で表すと、例えば入力ｘｎの正解クラスがＣ３である場
合、目標出力ｄｎ３のみが１となり、それ以外の目標出力は０となる。このように符号化
すると、事後分布（posterior）は以下の（式９）で表される。
のみ１とし、出力がそれ以外の場合は０になるとする。目標出力をｄｎ＝［ｄｎ１，・・
・，ｄｎＫ］というベクトル形式で表すと、例えば入力ｘｎの正解クラスがＣ３である場
合、目標出力ｄｎ３のみが１となり、それ以外の目標出力は０となる。このように符号化
すると、事後分布（posterior）は以下の（式９）で表される。
【0095】
【数12】
は、以下の（式１０）で表される。尤度Ｌ（ｗ）の対数をとり符号を反転すると、（式６
）の誤差関数が導出される。
【0096】
【数13】
パラメータｗについて最小化することを意味する。実施形態に係る画像解析方法では、誤
差関数Ｅ（ｗ）は（式６）で表される。
【0097】
誤差関数Ｅ（ｗ）をパラメータｗについて最小化することは、関数Ｅ（ｗ）の局所的な
極小点を求めることと同じ意味である。パラメータｗはノード間の結合の重みである。重
みｗの極小点は、任意の初期値を出発点として、パラメータｗを繰り返し更新する反復計
算によって求められる。このような計算の一例には、勾配降下法（gradient descent met
hod）がある。
極小点を求めることと同じ意味である。パラメータｗはノード間の結合の重みである。重
みｗの極小点は、任意の初期値を出発点として、パラメータｗを繰り返し更新する反復計
算によって求められる。このような計算の一例には、勾配降下法（gradient descent met
hod）がある。
【0098】
勾配降下法では、次の（式１１）で表されるベクトルを用いる。
勾配降下法では、現在のパラメータｗの値を負の勾配方向（すなわち－∇Ｅ）に移動さ
せる処理を何度も繰り返す。現在の重みをｗ（ｔ）とし、移動後の重みをｗ（ｔ＋１）と
すると、勾配降下法による演算は、以下の（式１２）で表される。値ｔは、パラメータｗ
を移動させた回数を意味する。
【数14】
せる処理を何度も繰り返す。現在の重みをｗ（ｔ）とし、移動後の重みをｗ（ｔ＋１）と
すると、勾配降下法による演算は、以下の（式１２）で表される。値ｔは、パラメータｗ
を移動させた回数を意味する。
【0099】
【数15】
【数16】
）で表される演算を繰り返すことにより、値ｔの増加に伴って誤差関数Ｅ（ｗ（ｔ））が
減少し、パラメータｗは極小点に到達する。
【0100】
なお、（式１２）による演算は、全ての訓練データ（ｎ＝１，・・・，Ｎ）に対して実
施してもよく、一部の訓練データのみに対して実施してもよい。一部の訓練データのみに
対して行う勾配降下法は、確率的勾配降下法（stochastic gradient descent）と呼ばれ
る。実施形態に係る画像解析方法では、確率的勾配降下法を用いる。
施してもよく、一部の訓練データのみに対して実施してもよい。一部の訓練データのみに
対して行う勾配降下法は、確率的勾配降下法（stochastic gradient descent）と呼ばれ
る。実施形態に係る画像解析方法では、確率的勾配降下法を用いる。
【0101】
（画像解析処理）
図１１に、解析対象画像７８から、細胞の形態に関するデータ８３を生成するまでの画
像解析処理を行う画像解析装置２００Ａの機能ブロック図を示す。画像解析装置２００Ａ
の処理部２０Ａは、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部
２０３と、細胞核領域検出部２０４とを備える。これらの機能ブロックは、本発明に係る
コンピュータに画像解析処理を実行させるプログラムを、処理部２０Ａの記録部２３又は
メモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現さ
れる。訓練データデータベース（ＤＢ）１０４と、アルゴリズムデータベース（ＤＢ）１
０５とは、記録媒体９８又はネットワーク９９を通じて深層学習装置１００Ａから提供さ
れ、処理部２０Ａの記録部２３又はメモリ２２に記録される。
図１１に、解析対象画像７８から、細胞の形態に関するデータ８３を生成するまでの画
像解析処理を行う画像解析装置２００Ａの機能ブロック図を示す。画像解析装置２００Ａ
の処理部２０Ａは、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部
２０３と、細胞核領域検出部２０４とを備える。これらの機能ブロックは、本発明に係る
コンピュータに画像解析処理を実行させるプログラムを、処理部２０Ａの記録部２３又は
メモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現さ
れる。訓練データデータベース（ＤＢ）１０４と、アルゴリズムデータベース（ＤＢ）１
０５とは、記録媒体９８又はネットワーク９９を通じて深層学習装置１００Ａから提供さ
れ、処理部２０Ａの記録部２３又はメモリ２２に記録される。
【0102】
解析対象画像７８は、撮像装置４００によって撮像され、処理部２０Ａの記録部２３又
はメモリ２２に記憶される。訓練済みの結合重みｗを含む第１の深層学習アルゴリズム６
０及び第２の深層学習アルゴリズム６１は、例えば解析対象の細胞が属する形態学的な分
類に基づく細胞の種類や細胞の特徴と対応付けられて、アルゴリズムデータベース１０５
に格納されており、コンピュータに画像解析処理を実行させるプログラムの一部であるプ
ログラムモジュールとして機能する。すなわち、第１の深層学習アルゴリズム６０及び第
２の深層学習アルゴリズム６１は、ＣＰＵ及びメモリを備えるコンピュータにて用いられ
、前記解析対象の細胞が、所定の細胞群に属し形態学的に分類される複数の細胞の種類の
いずれに該当するかを識別し、前記細胞の形態に関するデータ８３を生成するために使用
される。また生成されたデータは、必要に応じて出力される。また、処理部２０ＡのＣＰ
Ｕ２１は、使用目的に応じた特有の情報の演算又は加工を実行するよう、コンピュータを
機能させる。具体的には、処理部２０ＡのＣＰＵ２１は、記録部２３又はメモリ２２に記
録された第１の深層学習アルゴリズム６０及び第２の深層学習アルゴリズム６１を用いて
、細胞の形態に関するデータ８３を生成する。処理部２０ＡのＣＰＵ２１は、解析データ
８１を入力層６０ａに入力し、第１の深層学習アルゴリズム６０によって算出さえた解析
用画像７８の特徴量を出力層６０ｂから出力する。処理部２０ＡのＣＰＵ２１は、第１の
深層学習アルゴリズム６０から出力された特徴量を、第２の深層学習アルゴリズムの入力
層６１ａに入力し、解析対象の細胞が属する形態学的な分類に基づく細胞の種類や細胞の
特徴に関するラベル値を出力層６１ｂから解析対象画像に含まれる細胞が属すると識別さ
れた形態学的な分類に基づく細胞の種類又は細胞の特徴のラベル値を出力する。
図１１に示す各機能ブロックを用いて説明すると、ステップＳ２１及びＳ２２の処理は、
解析用データ生成部２０１が行う。ステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は
、解析用データ入力部２０２が行う。ステップＳ２６の処理は、解析部２０３が行う。
はメモリ２２に記憶される。訓練済みの結合重みｗを含む第１の深層学習アルゴリズム６
０及び第２の深層学習アルゴリズム６１は、例えば解析対象の細胞が属する形態学的な分
類に基づく細胞の種類や細胞の特徴と対応付けられて、アルゴリズムデータベース１０５
に格納されており、コンピュータに画像解析処理を実行させるプログラムの一部であるプ
ログラムモジュールとして機能する。すなわち、第１の深層学習アルゴリズム６０及び第
２の深層学習アルゴリズム６１は、ＣＰＵ及びメモリを備えるコンピュータにて用いられ
、前記解析対象の細胞が、所定の細胞群に属し形態学的に分類される複数の細胞の種類の
いずれに該当するかを識別し、前記細胞の形態に関するデータ８３を生成するために使用
される。また生成されたデータは、必要に応じて出力される。また、処理部２０ＡのＣＰ
Ｕ２１は、使用目的に応じた特有の情報の演算又は加工を実行するよう、コンピュータを
機能させる。具体的には、処理部２０ＡのＣＰＵ２１は、記録部２３又はメモリ２２に記
録された第１の深層学習アルゴリズム６０及び第２の深層学習アルゴリズム６１を用いて
、細胞の形態に関するデータ８３を生成する。処理部２０ＡのＣＰＵ２１は、解析データ
８１を入力層６０ａに入力し、第１の深層学習アルゴリズム６０によって算出さえた解析
用画像７８の特徴量を出力層６０ｂから出力する。処理部２０ＡのＣＰＵ２１は、第１の
深層学習アルゴリズム６０から出力された特徴量を、第２の深層学習アルゴリズムの入力
層６１ａに入力し、解析対象の細胞が属する形態学的な分類に基づく細胞の種類や細胞の
特徴に関するラベル値を出力層６１ｂから解析対象画像に含まれる細胞が属すると識別さ
れた形態学的な分類に基づく細胞の種類又は細胞の特徴のラベル値を出力する。
図１１に示す各機能ブロックを用いて説明すると、ステップＳ２１及びＳ２２の処理は、
解析用データ生成部２０１が行う。ステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は
、解析用データ入力部２０２が行う。ステップＳ２６の処理は、解析部２０３が行う。
【0103】
図１２を用いて、処理部２０Ａが行う解析対象画像７８から、細胞の形態に関するデー
タ８３を生成するまでの画像解析処理の例を説明する。
タ８３を生成するまでの画像解析処理の例を説明する。
【0104】
はじめに、処理部２０Ａは、解析用画像７８を取得する。解析用画像７８の取得は、ユ
ーザの操作によって、撮像装置４００から取り込まれるか、記録媒体９８から取り込まれ
るか、ネットワーク経由でＩ／Ｆ部２５を介して行われる。
ーザの操作によって、撮像装置４００から取り込まれるか、記録媒体９８から取り込まれ
るか、ネットワーク経由でＩ／Ｆ部２５を介して行われる。
【0105】
ステップＳ２１において、図９に示すステップＳ１１と同様に、取得された解析用画像
７８を輝度Ｙ、第１の色相Ｃｂ及び第２の色相Ｃｒに変換し、上記解析データの生成方法
で説明した手順に従い色調ベクトルデータ８０を生成する。
７８を輝度Ｙ、第１の色相Ｃｂ及び第２の色相Ｃｒに変換し、上記解析データの生成方法
で説明した手順に従い色調ベクトルデータ８０を生成する。
【0106】
次に、ステップＳ２２において、処理部２０Ａは、色調ベクトルデータ８０から、上記
解析データの生成方法で説明した手順に従い解析データ８１を生成する。
解析データの生成方法で説明した手順に従い解析データ８１を生成する。
【0107】
次に、ステップＳ２３において、処理部２０Ａは、アルゴリズムデータベース１０５に
格納されている第１の深層学習アルゴリズムと第２の深層学習アルゴリズムを取得する。
格納されている第１の深層学習アルゴリズムと第２の深層学習アルゴリズムを取得する。
【0108】
次に、ステップＳ２４において、処理部２０Ａは、解析データ８１を第１の深層学習ア
ルゴリズムに入力する。処理部２０Ａは、上記画像の解析方法で述べた手順に従い、第１
の深層学習アルゴリズムから、出力された特徴量を第２の深層学習アルゴリズムに入力し
、第２の深層学習アルゴリズムから、解析用画像に含まれる解析対象の細胞が属すると判
断される、ラベル値が出力される。処理部２０Ａは、このラベル値をメモリ２２又は記録
部２３に記憶する。
ルゴリズムに入力する。処理部２０Ａは、上記画像の解析方法で述べた手順に従い、第１
の深層学習アルゴリズムから、出力された特徴量を第２の深層学習アルゴリズムに入力し
、第２の深層学習アルゴリズムから、解析用画像に含まれる解析対象の細胞が属すると判
断される、ラベル値が出力される。処理部２０Ａは、このラベル値をメモリ２２又は記録
部２３に記憶する。
【0109】
ステップＳ２５において、処理部２０Ａは、はじめに取得した解析用画像７８を全て識
別したかを判断する。全ての解析用画像７８の識別が終わっている（ＹＥＳ）の場合には
、ステップＳ２６へ進み、細胞の形態に関するデータ８３を含む解析結果を出力する。全
ての解析用画像７８の識別が終わっていない（ＮＯ）の場合には、ステップＳ２７に進み
、まだ識別を行っていない解析用画像７８に対して、ステップＳ２１からステップＳ２５
の処理を行う。
別したかを判断する。全ての解析用画像７８の識別が終わっている（ＹＥＳ）の場合には
、ステップＳ２６へ進み、細胞の形態に関するデータ８３を含む解析結果を出力する。全
ての解析用画像７８の識別が終わっていない（ＮＯ）の場合には、ステップＳ２７に進み
、まだ識別を行っていない解析用画像７８に対して、ステップＳ２１からステップＳ２５
の処理を行う。
【0110】
本実施形態により、検査者のスキルを問わず形態学的な分類に基づく細胞の種類及び細
胞の特徴の識別を行うことが可能となり、形態検査のばらつきを抑制することができる。
胞の特徴の識別を行うことが可能となり、形態検査のばらつきを抑制することができる。
【0111】
＜コンピュータプログラム＞
本開示には、ステップＳ１１～Ｓ１７及び／又はＳ２１～Ｓ２７の処理をコンピュータ
に実行させる、細胞の形態を解析する画像解析するためのコンピュータプログラムを含む
。
本開示には、ステップＳ１１～Ｓ１７及び／又はＳ２１～Ｓ２７の処理をコンピュータ
に実行させる、細胞の形態を解析する画像解析するためのコンピュータプログラムを含む
。
【0112】
さらに、本開示のある実施形態は、前記コンピュータプログラムを記憶した、記憶媒体
等のプログラム製品に関する。すなわち、前記コンピュータプログラムは、ハードディス
ク、フラッシュメモリ等の半導体メモリ素子、光ディスク等の記憶媒体に記憶される。前
記記憶媒体へのプログラムの記憶形式は、前記提示装置が前記プログラムを読み取り可能
である限り制限されない。前記記憶媒体への記憶は、不揮発性であることが好ましい。
等のプログラム製品に関する。すなわち、前記コンピュータプログラムは、ハードディス
ク、フラッシュメモリ等の半導体メモリ素子、光ディスク等の記憶媒体に記憶される。前
記記憶媒体へのプログラムの記憶形式は、前記提示装置が前記プログラムを読み取り可能
である限り制限されない。前記記憶媒体への記憶は、不揮発性であることが好ましい。
【0113】
［３．画像解析システム２］
＜画像解析システム２の構成＞
画像解析システムの別の態様について説明する。
図１３に第２の画像解析システムの構成例を示す。第２の画像解析システムは、ユーザ
側装置２００を備え、ユーザ側装置２００が、統合型の画像解析装置２００Ｂとして動作
する。画像解析装置２００Ｂは、例えば汎用コンピュータで構成されており、上記画像解
析システム１で説明した深層学習処理及び画像解析処理の両方の処理を行う。つまり、第
２の画像解析システムは、ユーザ側で深層学習及び画像解析を行う、スタンドアロン型の
システムである。第２の画像解析システムは、ユーザ側に設置された統合型の画像解析装
置２００Ｂが、第１の実施形態に係る深層学習装置１００Ａ及び画像解析装置２００Ａの
両方の機能を担う。
＜画像解析システム２の構成＞
画像解析システムの別の態様について説明する。
図１３に第２の画像解析システムの構成例を示す。第２の画像解析システムは、ユーザ
側装置２００を備え、ユーザ側装置２００が、統合型の画像解析装置２００Ｂとして動作
する。画像解析装置２００Ｂは、例えば汎用コンピュータで構成されており、上記画像解
析システム１で説明した深層学習処理及び画像解析処理の両方の処理を行う。つまり、第
２の画像解析システムは、ユーザ側で深層学習及び画像解析を行う、スタンドアロン型の
システムである。第２の画像解析システムは、ユーザ側に設置された統合型の画像解析装
置２００Ｂが、第１の実施形態に係る深層学習装置１００Ａ及び画像解析装置２００Ａの
両方の機能を担う。
【0114】
【0115】
【0116】
＜機能ブロック及び処理手順＞
図１４に、画像解析装置２００Ｂの機能ブロック図を示す。画像解析装置２００Ｂの処
理部２０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更
新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０
３と、細胞核検出部２０４とを備える。これらの機能ブロックは、コンピュータに深層学
習処理及び画像解析処理を実行させるプログラムを、処理部２０Ｂの記録部２３又はメモ
リ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される
。訓練データデータベース（ＤＢ）１０４と、アルゴリズムデータベース（ＤＢ）１０５
とは、処理部２０Ｂの記録部２３又はメモリ２２に記憶され、どちらも深層学習時及び画
像解析処理時に共通して使用される。訓練済みの第１のニューラルネットワーク６０及び
第２のニューラルネットワーク６１は、例えば解析対象の細胞が属する形態学的な分類に
基づく細胞の種類や細胞の特徴と対応付けられて、アルゴリズムデータベース１０５に予
め格納されている。深層学習処理により結合重みｗが更新されて、深層学習アルゴリズム
６０として、アルゴリズムデータベース１０５に格納される。なお、訓練用画像７０は、
撮像装置４００によって予め撮像され、訓練データデータベース（ＤＢ）１０４又は処理
部２０Ｂの記録部２３若しくはメモリ２２に予め記憶されていることとする。解析対象の
標本の解析対象画像７８は、撮像装置４００によって予め撮像され、処理部２０Ｂの記録
部２３又はメモリ２２に予め記憶されていることとする。
図１４に、画像解析装置２００Ｂの機能ブロック図を示す。画像解析装置２００Ｂの処
理部２０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更
新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０
３と、細胞核検出部２０４とを備える。これらの機能ブロックは、コンピュータに深層学
習処理及び画像解析処理を実行させるプログラムを、処理部２０Ｂの記録部２３又はメモ
リ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される
。訓練データデータベース（ＤＢ）１０４と、アルゴリズムデータベース（ＤＢ）１０５
とは、処理部２０Ｂの記録部２３又はメモリ２２に記憶され、どちらも深層学習時及び画
像解析処理時に共通して使用される。訓練済みの第１のニューラルネットワーク６０及び
第２のニューラルネットワーク６１は、例えば解析対象の細胞が属する形態学的な分類に
基づく細胞の種類や細胞の特徴と対応付けられて、アルゴリズムデータベース１０５に予
め格納されている。深層学習処理により結合重みｗが更新されて、深層学習アルゴリズム
６０として、アルゴリズムデータベース１０５に格納される。なお、訓練用画像７０は、
撮像装置４００によって予め撮像され、訓練データデータベース（ＤＢ）１０４又は処理
部２０Ｂの記録部２３若しくはメモリ２２に予め記憶されていることとする。解析対象の
標本の解析対象画像７８は、撮像装置４００によって予め撮像され、処理部２０Ｂの記録
部２３又はメモリ２２に予め記憶されていることとする。
【0117】
画像解析装置２００Ｂの処理部２０Ｂは、深層学習処理時には、図９に示す処理を行い
、画像解析処理時には、図１２に示す処理を行う。図１３に示す各機能ブロックを用いて
説明すると、深層学習処理時には、ステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理は
、訓練データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ入力部１０２が
行う。ステップＳ１４、及びＳ１８の処理は、アルゴリズム更新部１０３が行う。画像解
析処理時には、ステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。
ステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は、解析用データ入力部２０２が行う
。ステップＳ２６の処理は、解析部２０３が行う。
、画像解析処理時には、図１２に示す処理を行う。図１３に示す各機能ブロックを用いて
説明すると、深層学習処理時には、ステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理は
、訓練データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ入力部１０２が
行う。ステップＳ１４、及びＳ１８の処理は、アルゴリズム更新部１０３が行う。画像解
析処理時には、ステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。
ステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は、解析用データ入力部２０２が行う
。ステップＳ２６の処理は、解析部２０３が行う。
【0118】
画像解析装置２００Ｂが行う深層学習処理の手順及び画像解析処理の手順は、深層学習
装置１００Ａ及び画像解析装置２００Ａがそれぞれ行う手順と同様である。但し、画像解
析装置２００Ｂは、訓練画像７０を撮像装置４００から取得する。
装置１００Ａ及び画像解析装置２００Ａがそれぞれ行う手順と同様である。但し、画像解
析装置２００Ｂは、訓練画像７０を撮像装置４００から取得する。
【0119】
画像解析装置２００Ｂでは、ユーザが、識別器の識別精度を確認することができる。万
が一識別器の識別結果がユーザの画像観察による識別結果と異なる場合には、解析データ
８１を訓練データ７８として、ユーザの画像観察による識別結果をラベル値７７として、
第１の深層学習アルゴリズムと第２の深層学習アルゴリズムを訓練し治すことができる。
このようにすることにより、第１のニューラルネットワーク５０及び第１のニューラルネ
ットワーク５１の訓練効率をより向上することがでる。
が一識別器の識別結果がユーザの画像観察による識別結果と異なる場合には、解析データ
８１を訓練データ７８として、ユーザの画像観察による識別結果をラベル値７７として、
第１の深層学習アルゴリズムと第２の深層学習アルゴリズムを訓練し治すことができる。
このようにすることにより、第１のニューラルネットワーク５０及び第１のニューラルネ
ットワーク５１の訓練効率をより向上することがでる。
【0120】
［４．画像解析システム３］
＜画像解析システム３の構成＞
画像解析システムの別の態様について説明する。
図１５に第３の画像解析システムの構成例を示す。第３の画像解析システムは、ベンダ
側装置１００と、ユーザ側装置２００とを備える。ベンダ側装置１００は統合型の画像解
析装置１００Ｂとして動作し、ユーザ側装置２００は端末装置２００Ｃとして動作する。
画像解析装置１００Ｂは、例えば汎用コンピュータで構成されており、上記画像解析シス
テム１で説明した深層学習処理及び画像解析処理の両方の処理を行う、クラウドサーバ側
の装置である。端末装置２００Ｃは、例えば汎用コンピュータで構成されており、ネット
ワーク９９を通じて、解析対象の画像を画像解析装置１００Ｂに送信し、ネットワーク９
９を通じて、解析結果の画像を画像解析装置１００Ｂから受信する、ユーザ側の端末装置
である。
＜画像解析システム３の構成＞
画像解析システムの別の態様について説明する。
図１５に第３の画像解析システムの構成例を示す。第３の画像解析システムは、ベンダ
側装置１００と、ユーザ側装置２００とを備える。ベンダ側装置１００は統合型の画像解
析装置１００Ｂとして動作し、ユーザ側装置２００は端末装置２００Ｃとして動作する。
画像解析装置１００Ｂは、例えば汎用コンピュータで構成されており、上記画像解析シス
テム１で説明した深層学習処理及び画像解析処理の両方の処理を行う、クラウドサーバ側
の装置である。端末装置２００Ｃは、例えば汎用コンピュータで構成されており、ネット
ワーク９９を通じて、解析対象の画像を画像解析装置１００Ｂに送信し、ネットワーク９
９を通じて、解析結果の画像を画像解析装置１００Ｂから受信する、ユーザ側の端末装置
である。
【0121】
第３の画像解析システムは、ベンダ側に設置された統合型の画像解析装置１００Ｂが、
深層学習装置１００Ａ及び画像解析装置２００Ａの両方の機能を担う。一方、第３の画像
解析システムは、端末装置２００Ｃを備え、解析用画像７８の入力インタフェースと、解
析結果の画像の出力インタフェースとをユーザ側の端末装置２００Ｃに提供する。つまり
、第３の画像解析システムは、深層学習処理及び画像解析処理を行うベンダ側が、解析用
画像７８をユーザ側に提供する入力インタフェースと、細胞の形態に関するデータ８３を
ユーザ側に提供する出力インタフェースを、クラウドサービス型のシステムである。入力
インタフェースと出力インタフェースは一体化されていてもよい。
深層学習装置１００Ａ及び画像解析装置２００Ａの両方の機能を担う。一方、第３の画像
解析システムは、端末装置２００Ｃを備え、解析用画像７８の入力インタフェースと、解
析結果の画像の出力インタフェースとをユーザ側の端末装置２００Ｃに提供する。つまり
、第３の画像解析システムは、深層学習処理及び画像解析処理を行うベンダ側が、解析用
画像７８をユーザ側に提供する入力インタフェースと、細胞の形態に関するデータ８３を
ユーザ側に提供する出力インタフェースを、クラウドサービス型のシステムである。入力
インタフェースと出力インタフェースは一体化されていてもよい。
【0122】
画像解析装置１００Ｂは撮像装置３００に接続されており、撮像装置３００によって撮
像される、訓練用画像７０を取得する。
像される、訓練用画像７０を取得する。
【0123】
端末装置２００Ｃは撮像装置４００に接続されており、撮像装置４００によって撮像さ
れる、解析対象画像７８を取得する。
れる、解析対象画像７８を取得する。
【0124】
＜ハードウェア構成＞
画像解析装置１００Ｂのハードウェア構成は、図６に示すベンダ側装置１００のハード
ウェア構成と同様である。端末装置２００Ｃのハードウェア構成は、図７に示すユーザ側
装置２００のハードウェア構成と同様である。
＜機能ブロック及び処理手順＞
図１６に、画像解析装置１００Ｂの機能ブロック図を示す。画像解析装置１００Ｂの処
理部１０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更
新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０
３と、細胞核領域検出部２０４とを備える。これらの機能ブロックは、コンピュータに深
層学習処理及び画像解析処理を実行させるプログラムを、処理部１０Ｂの記録部１３又は
メモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現さ
れる。訓練データデータベース（ＤＢ）１０４と、アルゴリズムデータベース（ＤＢ）１
０５とは、処理部１０Ｂの記録部１３又はメモリ１２に記憶され、どちらも深層学習時及
び画像解析処理時に共通して使用される。第１のニューラルネットワーク５０及び第２の
ニューラルネットワーク５１は、例えば解析対象の細胞が属する形態学的な分類に基づく
細胞の種類や細胞の特徴と対応付けられて、アルゴリズムデータベース１０５に予め格納
されており、深層学習処理により結合重みｗが更新されて、第１の深層学習アルゴリズム
６０及び第２の深層学習アルゴリズム６１として、アルゴリズムデータベース１０５に格
納される。
画像解析装置１００Ｂのハードウェア構成は、図６に示すベンダ側装置１００のハード
ウェア構成と同様である。端末装置２００Ｃのハードウェア構成は、図７に示すユーザ側
装置２００のハードウェア構成と同様である。
＜機能ブロック及び処理手順＞
図１６に、画像解析装置１００Ｂの機能ブロック図を示す。画像解析装置１００Ｂの処
理部１０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更
新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０
３と、細胞核領域検出部２０４とを備える。これらの機能ブロックは、コンピュータに深
層学習処理及び画像解析処理を実行させるプログラムを、処理部１０Ｂの記録部１３又は
メモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現さ
れる。訓練データデータベース（ＤＢ）１０４と、アルゴリズムデータベース（ＤＢ）１
０５とは、処理部１０Ｂの記録部１３又はメモリ１２に記憶され、どちらも深層学習時及
び画像解析処理時に共通して使用される。第１のニューラルネットワーク５０及び第２の
ニューラルネットワーク５１は、例えば解析対象の細胞が属する形態学的な分類に基づく
細胞の種類や細胞の特徴と対応付けられて、アルゴリズムデータベース１０５に予め格納
されており、深層学習処理により結合重みｗが更新されて、第１の深層学習アルゴリズム
６０及び第２の深層学習アルゴリズム６１として、アルゴリズムデータベース１０５に格
納される。
【0125】
訓練用画像７０は、撮像装置３００によって予め撮像され、訓練データデータベース（
ＤＢ）１０４又は処理部１０Ｂの記録部１３若しくはメモリ１２に予め記載されている。
解析対象画像７８は、撮像装置４００によって撮像され、端末装置２００Ｃの処理部２０
Ｃの記録部２３又はメモリ２２に予め記録されていることとする。
ＤＢ）１０４又は処理部１０Ｂの記録部１３若しくはメモリ１２に予め記載されている。
解析対象画像７８は、撮像装置４００によって撮像され、端末装置２００Ｃの処理部２０
Ｃの記録部２３又はメモリ２２に予め記録されていることとする。
【0126】
画像解析装置１００Ｂの処理部１０Ｂは、深層学習処理時には、図９に示す処理を行い
、画像解析処理時には、図１２に示す処理を行う。図１６に示す各機能ブロックを用いて
説明すると、深層学習処理時には、ステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理は
、訓練データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ入力部１０２が
行う。ステップＳ１４、及びＳ１８の処理は、アルゴリズム更新部１０３が行う。画像解
析処理時には、ステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。
ステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は、解析用データ入力部２０２が行う
。ステップＳ２６の処理は、解析部２０３が行う。
、画像解析処理時には、図１２に示す処理を行う。図１６に示す各機能ブロックを用いて
説明すると、深層学習処理時には、ステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理は
、訓練データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ入力部１０２が
行う。ステップＳ１４、及びＳ１８の処理は、アルゴリズム更新部１０３が行う。画像解
析処理時には、ステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。
ステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は、解析用データ入力部２０２が行う
。ステップＳ２６の処理は、解析部２０３が行う。
【0127】
画像解析装置１００Ｂが行う深層学習処理の手順及び画像解析処理の手順は、第１の実
施形態に係る深層学習装置１００Ａ及び画像解析装置２００Ａがそれぞれ行う手順と同様
である。
施形態に係る深層学習装置１００Ａ及び画像解析装置２００Ａがそれぞれ行う手順と同様
である。
【0128】
処理部１０Ｂは、解析対象画像７８を、ユーザ側の端末装置２００Ｃから受信し、図９
に示すステップS１１からS17にしたがって訓練データ７５を生成する。
に示すステップS１１からS17にしたがって訓練データ７５を生成する。
【0129】
図１２に示すステップＳ２６において、処理部１０Ｂは、細胞の形態に関するデータ８
３を含む解析結果を、ユーザ側の端末装置２００Ｃに送信する。ユーザ側の端末装置２０
０Ｃでは、処理部２０Ｃが、受信した解析結果を出力部２７に出力する。
３を含む解析結果を、ユーザ側の端末装置２００Ｃに送信する。ユーザ側の端末装置２０
０Ｃでは、処理部２０Ｃが、受信した解析結果を出力部２７に出力する。
【0130】
以上、端末装置２００Ｃのユーザは、解析対象画像７８を画像解析装置１００Ｂに送信
することにより、解析結果として、細胞の形態に関するデータ８３を取得することができ
る。
することにより、解析結果として、細胞の形態に関するデータ８３を取得することができ
る。
【0131】
第３の実施形態に係る画像解析装置１００Ｂによると、ユーザは、訓練データデータベ
ース１０４及びアルゴリズムデータベース１０５を深層学習装置１００Ａから取得するこ
となく、識別器を使用することができる。これにより、形態学的な分類に基づく細胞の種
類及び細胞の特徴を識別するサービスを、クラウドサービスとして提供することができる
。
ース１０４及びアルゴリズムデータベース１０５を深層学習装置１００Ａから取得するこ
となく、識別器を使用することができる。これにより、形態学的な分類に基づく細胞の種
類及び細胞の特徴を識別するサービスを、クラウドサービスとして提供することができる
。
【0132】
［５．その他の形態］
以上、本発明を概要及び特定の実施形態によって説明したが、本発明は上記した概要及
び各実施形態に限定されるものではない。
以上、本発明を概要及び特定の実施形態によって説明したが、本発明は上記した概要及
び各実施形態に限定されるものではない。
【0133】
本開示において、色調を輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとに変換して訓
練データ７５を生成する方法を例示しているが、色調の変換はこれに限定されない。色調
を変換せずに、例えば、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色まま使用してもよい。あ
るいは、前記原色からいずれか１つの色相を減らした２原色としてもよい。あるいは、赤
（Ｒ），緑（Ｇ），青（Ｂ）の３原色のいずれか１つ（例えば緑（Ｇ））のみの１原色と
してもよい。シアン（C）、マゼンタ（M）、イエロー（Y）の３原色に変換してもよい。
原色を例えば解析対象画像７８も、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のカラー画像
に限定されず、２原色のカラー画像であってもよく、１以上の原色を含む画像であればよ
い。
練データ７５を生成する方法を例示しているが、色調の変換はこれに限定されない。色調
を変換せずに、例えば、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色まま使用してもよい。あ
るいは、前記原色からいずれか１つの色相を減らした２原色としてもよい。あるいは、赤
（Ｒ），緑（Ｇ），青（Ｂ）の３原色のいずれか１つ（例えば緑（Ｇ））のみの１原色と
してもよい。シアン（C）、マゼンタ（M）、イエロー（Y）の３原色に変換してもよい。
原色を例えば解析対象画像７８も、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のカラー画像
に限定されず、２原色のカラー画像であってもよく、１以上の原色を含む画像であればよ
い。
【0134】
上記訓練データの生成方法及び解析データの生成方法では、ステップＳ１１において、
処理部１０Ａ，２０Ｂ，１０Ｂは、訓練用画像７０から色調行列７２ｙ，７２ｃｂ，７２
ｃｒを生成しているが、訓練用画像７０は輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒ
とに変換された画像方法であってもよい。すなわち、処理部１０Ａ，２０Ｂ，１０Ｂは、
輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとを初めから、例えばバーチャルスライド
スキャナ等から直接取得してもよい。同様に、ステップＳ２１において、処理部２０Ａ，
２０Ｂ，１０Ｂは、解析対象画像７８から色調行列７２ｙ，７２ｃｂ，７２ｃｒを生成し
ているが、処理部２０Ａ，２０Ｂ，１０Ｂは、輝度Ｙと、第１の色相Ｃｂと、第２の色相
Ｃｒとを初めから、例えばバーチャルスライドスキャナ等から直接取得してもよい。
処理部１０Ａ，２０Ｂ，１０Ｂは、訓練用画像７０から色調行列７２ｙ，７２ｃｂ，７２
ｃｒを生成しているが、訓練用画像７０は輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒ
とに変換された画像方法であってもよい。すなわち、処理部１０Ａ，２０Ｂ，１０Ｂは、
輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとを初めから、例えばバーチャルスライド
スキャナ等から直接取得してもよい。同様に、ステップＳ２１において、処理部２０Ａ，
２０Ｂ，１０Ｂは、解析対象画像７８から色調行列７２ｙ，７２ｃｂ，７２ｃｒを生成し
ているが、処理部２０Ａ，２０Ｂ，１０Ｂは、輝度Ｙと、第１の色相Ｃｂと、第２の色相
Ｃｒとを初めから、例えばバーチャルスライドスキャナ等から直接取得してもよい。
【0135】
ＲＧＢ、ＣＭＹ以外にも、ＹＵＶ、及びＣＩＥ Ｌ＊ａ＊ｂ＊等の種々のカラースペー
スを画像の取得及び色調の変換に用いることができる。
スを画像の取得及び色調の変換に用いることができる。
【0136】
色調ベクトルデータ７４及び色調ベクトルデータ８０において、各画素について輝度Ｙ
、第１の色相Ｃｂ、第２の色相Ｃｒの順番で色調の情報が格納されているが、色調の情報
の格納する順番及び取り扱う順番はこれに限定されない。但し色調ベクトルデータ７４に
おける色調の情報の並び順と、色調ベクトルデータ８０における色調の情報の並び順とは
同じであることが好ましい。
、第１の色相Ｃｂ、第２の色相Ｃｒの順番で色調の情報が格納されているが、色調の情報
の格納する順番及び取り扱う順番はこれに限定されない。但し色調ベクトルデータ７４に
おける色調の情報の並び順と、色調ベクトルデータ８０における色調の情報の並び順とは
同じであることが好ましい。
【0137】
各場像解析システムにおいて、処理部１０Ａ，１０Ｂは一体の装置として実現されてい
るが、処理部１０Ａ，１０Ｂは一体の装置である必要はなく、ＣＰＵ１１、メモリ１２、
記録部１３、ＧＰＵ１９等が別所に配置され、これらがネットワークで接続されていても
よい。処理部１０Ａ，１０Ｂと、入力部１６と、出力部１７とについても、一ヶ所に配置
される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に
接続されていてもよい。処理部２０Ａ，２０Ｂ，２０Ｃについても処理部１０Ａ，１０Ｂ
と同様である。
るが、処理部１０Ａ，１０Ｂは一体の装置である必要はなく、ＣＰＵ１１、メモリ１２、
記録部１３、ＧＰＵ１９等が別所に配置され、これらがネットワークで接続されていても
よい。処理部１０Ａ，１０Ｂと、入力部１６と、出力部１７とについても、一ヶ所に配置
される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に
接続されていてもよい。処理部２０Ａ，２０Ｂ，２０Ｃについても処理部１０Ａ，１０Ｂ
と同様である。
【0138】
上記第１から第３の実施形態では、訓練データ生成部１０１、訓練データ入力部１０２
、アルゴリズム更新部１０３、解析用データ生成部２０１、解析用データ入力部２０２、
及び解析部２０３の各機能ブロックは、単一のＣＰＵ１１又は単一のＣＰＵ２１において
実行されているが、これら各機能ブロックは単一のＣＰＵにおいて実行される必要は必ず
しもなく、複数のＣＰＵで分散して実行されてもよい。また、これら各機能ブロックは、
複数のＧＰＵで分散して実行されてもよいし、複数のＣＰＵと複数のＧＰＵとで分散して
実行されてもよい。
、アルゴリズム更新部１０３、解析用データ生成部２０１、解析用データ入力部２０２、
及び解析部２０３の各機能ブロックは、単一のＣＰＵ１１又は単一のＣＰＵ２１において
実行されているが、これら各機能ブロックは単一のＣＰＵにおいて実行される必要は必ず
しもなく、複数のＣＰＵで分散して実行されてもよい。また、これら各機能ブロックは、
複数のＧＰＵで分散して実行されてもよいし、複数のＣＰＵと複数のＧＰＵとで分散して
実行されてもよい。
【0139】
上記第２及び第３の実施形態では、図９及び図１２で説明する各ステップの処理を行う
ためのプログラムを記録部１３，２３に予め記録している。これに代えて、プログラムは
、例えばＤＶＤ－ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時
的な有形の記録媒体９８から処理部１０Ｂ，２０Ｂにインストールしてもよい。又は、処
理部１０Ｂ，２０Ｂをネットワーク９９と接続し、ネットワーク９９を介して例えば外部
のサーバ（図示せず）からプログラムをダウンロードしてインストールしてもよい。
ためのプログラムを記録部１３，２３に予め記録している。これに代えて、プログラムは
、例えばＤＶＤ－ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時
的な有形の記録媒体９８から処理部１０Ｂ，２０Ｂにインストールしてもよい。又は、処
理部１０Ｂ，２０Ｂをネットワーク９９と接続し、ネットワーク９９を介して例えば外部
のサーバ（図示せず）からプログラムをダウンロードしてインストールしてもよい。
【0140】
各画像解析システムにおいて、入力部１６，２６はキーボード又はマウス等の入力装置
であり、出力部１７，２７は液晶ディスプレイ等の表示装置として実現されている。これ
に代えて、入力部１６，２６と出力部１７，２７とを一体化してタッチパネル式の表示装
置として実現してもよい。又は、出力部１７，２７をプリンター等で構成してもよい。
であり、出力部１７，２７は液晶ディスプレイ等の表示装置として実現されている。これ
に代えて、入力部１６，２６と出力部１７，２７とを一体化してタッチパネル式の表示装
置として実現してもよい。又は、出力部１７，２７をプリンター等で構成してもよい。
【0141】
上記各画像解析システムでは、撮像装置３００は、深層学習装置１００Ａ又は画像解析
装置１００Ｂと直接接続されているが、撮像装置３００は、ネットワーク９９を介して深
層学習装置１００Ａ又は画像解析装置１００Ｂと接続されていてもよい。撮像装置４００
についても同様に、撮像装置４００は、画像解析装置２００Ａ又は画像解析装置２００Ｂ
と直接接続されているが、撮像装置４００は、ネットワーク９９を介して画像解析装置２
００Ａ又は画像解析装置２００Ｂと接続されていてもよい。
装置１００Ｂと直接接続されているが、撮像装置３００は、ネットワーク９９を介して深
層学習装置１００Ａ又は画像解析装置１００Ｂと接続されていてもよい。撮像装置４００
についても同様に、撮像装置４００は、画像解析装置２００Ａ又は画像解析装置２００Ｂ
と直接接続されているが、撮像装置４００は、ネットワーク９９を介して画像解析装置２
００Ａ又は画像解析装置２００Ｂと接続されていてもよい。
【0142】
［６．深層学習アルゴリズムの効果］
深層学習アルゴリズムの効果を検証するため、従来行われている機械学習を用いた細胞
識別方法と本開示における深層学習アルゴリズムを用いた細胞識別法による細胞の識別精
度の比較を行った。
末梢血塗抹標本は、塗抹標本作製装置SP-1000iで作成し、血液像自動分析装置 DI-60に
より、細胞の撮像を行った。染色は、メイギムザ染色である。
従来の機械学習による細胞の識別は、血液像自動分析装置 DI-60で行った。また、バリ
デーションは、医師及び熟練した検査技師を含む３名により画像を観察することで行った
。
図１７に、血球分類精度の比較結果を示す。深層学習アルゴリズムを使用した場合、従
来法よりも高い精度で判別を行うことができた。
深層学習アルゴリズムの効果を検証するため、従来行われている機械学習を用いた細胞
識別方法と本開示における深層学習アルゴリズムを用いた細胞識別法による細胞の識別精
度の比較を行った。
末梢血塗抹標本は、塗抹標本作製装置SP-1000iで作成し、血液像自動分析装置 DI-60に
より、細胞の撮像を行った。染色は、メイギムザ染色である。
従来の機械学習による細胞の識別は、血液像自動分析装置 DI-60で行った。また、バリ
デーションは、医師及び熟練した検査技師を含む３名により画像を観察することで行った
。
図１７に、血球分類精度の比較結果を示す。深層学習アルゴリズムを使用した場合、従
来法よりも高い精度で判別を行うことができた。
【0143】
次に骨髄異型性症候群（ＭＤＳ）認められる形態学的な特徴を、本開示の深層学習アル
ゴリズムが識別できるか検討した。その結果を図１８に示す。
ゴリズムが識別できるか検討した。その結果を図１８に示す。
【0144】
図１８に示すように、形態核異常、空胞化、顆粒分布異常等も精度よく識別することが
できた。
できた。
【0145】
以上の結果から、本開示における深層学習アルゴリズムは、形態学的な分類に基づく細
胞の種類の識別、及び細胞の特徴を精度よく識別できると考えられた。
胞の種類の識別、及び細胞の特徴を精度よく識別できると考えられた。
【符号の説明】
【0146】
２００ 画像解析装置
１０ 処理部
５０，５１ 訓練前の深層学習アルゴリズム
５０ａ，５１ａ 入力層
５０ｂ，５１ｂ 出力層
６０，６１ 訓練済み深層学習アルゴリズム
７５ 訓練データ
８０ 解析データ
８３ 細胞の形態に関するデータ
１０ 処理部
５０，５１ 訓練前の深層学習アルゴリズム
５０ａ，５１ａ 入力層
５０ｂ，５１ｂ 出力層
６０，６１ 訓練済み深層学習アルゴリズム
７５ 訓練データ
８０ 解析データ
８３ 細胞の形態に関するデータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
