特許 7137935 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-07

(45)【発行日】2022-09-15

(54)【発明の名称】画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220908BHJP

   G01N 33/48 20060101ALI20220908BHJP

   G06N 3/08 20060101ALI20220908BHJP

   G06V 20/69 20220101ALI20220908BHJP

【ＦＩ】

G06T7/00 350C

G01N33/48 Z

G06N3/08

G06T7/00 630

G06V20/69

【請求項の数】 25

(21)【出願番号】P 2018032757

(22)【出願日】2018-02-27

(65)【公開番号】P2019148950

(43)【公開日】2019-09-05

【審査請求日】2020-10-20

(73)【特許権者】

【識別番号】390014960

【氏名又は名称】シスメックス株式会社

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】山田 浩平

(72)【発明者】

【氏名】袴田 和巳

(72)【発明者】

【氏名】相原 祐希

(72)【発明者】

【氏名】増本 佳那子

(72)【発明者】

【氏名】関口 陽介

(72)【発明者】

【氏名】ジャイン クルパリ

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１９－０９５２１２（ＪＰ，Ａ）

【文献】KORSUK SIRINUKUNWATTANA 他，Locality Sensitive Deep Learning for Detection and Classification of Nuclei in Routine，IEEE TRANSACTIONS ON MEDICAL IMAGING，vol.35, no.5 ，米国，IEEE，2016年05月，p1196-1206

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ３３／４８

Ｇ０６Ｎ ３／０８

Ｇ０６Ｖ ２０／６９

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワーク構造の深層学習アルゴリズムを用いて、被検体から採取された組織の画像を解析する、コンピュータが実行する画像解析方法であって、
解析対象の組織を含む解析対象画像から解析用データを生成し、
前記解析用データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析対象画像における組織を構成する層構造を示すデータを生成する、
ことを含み、
前記層構造を示すデータは、解析対象画像の画素毎に、核の領域であるか否かを示すとともに、核の領域である画素については、当該画素が前記組織を構成する複数の層のうち何れの層であるかを示す、画像解析方法。

【請求項2】

前記解析対象画像が、組織診断用標本の画像である、請求項１の画像解析方法。

【請求項3】

前記解析対象画像が、前記解析対象の組織の染色された明視野画像である、請求項１または２の画像解析方法。

【請求項4】

前記層構造が、上皮細胞層、内皮細胞層、結合組織層、および筋層から選択される少なくとも１つを含む、請求項１の画像解析方法。

【請求項5】

前記組織が、胃、小腸、または大腸から採取されたものであり、前記層構造が、粘膜上皮細胞層、粘膜固有層、粘膜筋板、粘膜下層、固有筋層、および漿膜層から選択される少なくとも１つを含む、請求項１乃至４のいずれか１項の画像解析方法。

【請求項6】

前記組織が、気管または気管支から採取されたものであり、前記層構造が、粘膜上皮細胞層、粘膜固有層、平滑筋層、粘膜下層、および外膜層から選択される少なくとも１つを含む、請求項１乃至４のいずれか１項の画像解析方法。

【請求項7】

前記組織が、子宮体部から採取されたものであり、前記層構造が、粘膜上皮細胞層、粘膜固有層、筋層、および外膜層から選択される少なくとも１つを含む、請求項１乃至４のいずれか１項の画像解析方法。

【請求項8】

前記組織が、胆嚢から採取されたものであり、前記層構造が、粘膜上皮細胞層、粘膜固有層、筋層、および漿膜層から選択される少なくとも１つを含む、請求項１乃至５のいずれか１項の画像解析方法。

【請求項9】

前記組織が、胃、小腸、大腸および子宮以外の組織から採取された腺組織であり、前記層構造が、腺上皮細胞層、筋層、および結合組織層から選択される少なくとも１つを含む、請求項１乃至４のいずれか１項の画像解析方法。

【請求項10】

１つの解析対象画像について所定画素数の領域毎に、複数の解析用データが生成される、
請求項１乃至９のいずれか１項の画像解析方法。

【請求項11】

前記深層学習アルゴリズムの学習に用いられる訓練データが、
被検体から採取された組織に明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した訓練用の明視野画像と、
前記標本に対応する、または同一の標本に蛍光核染色を施して作製された標本の染色像を蛍光顕微鏡の蛍光観察下で撮像した細胞核の蛍光画像であって、前記蛍光画像の標本内での位置は前記取得された明視野画像の標本内での位置に対応する訓練用の蛍光画像とから生成される、
請求項１乃至１０のいずれか１項の画像解析方法。

【請求項12】

前記訓練データが、前記層構造を示すラベル値を前記訓練用の明視野画像の画素毎に含む、
請求項１１の画像解析方法。

【請求項13】

前記訓練データが、前記明視野画像における所定画素数の領域毎に生成される、
請求項１１または１２の画像解析方法。

【請求項14】

前記深層学習アルゴリズムが、前記解析用データを、前記解析対象画像に含まれる組織を構成する層構造を示すクラスに分類する、
請求項１乃至１３のいずれか１項の画像解析方法。

【請求項15】

前記ニューラルネットワークの出力層がソフトマックス関数を活性化関数とするノードである、
請求項１乃至１４のいずれか１項の画像解析方法。

【請求項16】

前記深層学習アルゴリズムは、前記解析用データが入力される度に、前記解析対象画像に含まれる組織を構成する層構造を示すデータを単位画素毎に生成する、
請求項１乃至１５のいずれか１項の画像解析方法。

【請求項17】

前記深層学習アルゴリズムが、前記解析対象の組織を採取した臓器に応じて生成される、
請求項１乃至１６のいずれか１項の画像解析方法。

【請求項18】

さらに、前記深層学習アルゴリズムが、前記解析対象の組織を採取した臓器に応じて準備されており、前記臓器に対応する前記深層学習アルゴリズムを用いて、前記解析用データを処理する、
請求項１７の画像解析方法。

【請求項19】

前記層構造を示すデータに基づいて層構造の厚さを算出する、
請求項１乃至１８のいずれか１項の画像解析方法。

【請求項20】

算出した前記層構造の厚さに基づいて疾患のグレードを判定する、
請求項１９の画像解析方法。

【請求項21】

ニューラルネットワーク構造の深層学習アルゴリズムを用いて、被検体から採取された組織の画像を解析する画像解析装置であって、
解析対象の組織または細胞を含む解析対象画像から解析用データを生成し、
前記解析用データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析対象画像における組織を構成する層構造を示すデータを生成する処理部、
を備え、
前記層構造を示すデータは、解析対象画像の画素毎に、核の領域であるか否かを示すとともに、核の領域である画素については、当該画素が前記組織を構成する複数の層のうち何れの層であるかを示す、
画像解析装置。

【請求項22】

ニューラルネットワーク構造の深層学習アルゴリズムを用いて、被検体から採取された組織の画像を解析するコンピュータプログラムであって、
コンピュータに、
解析対象の組織または細胞を含む解析対象画像から解析用データを生成する処理と、
前記解析用データを、前記深層学習アルゴリズムに入力する処理と、
前記深層学習アルゴリズムによって、前記解析対象画像における組織を構成する層構造を示すデータを生成する処理であって、前記層構造を示すデータは、解析対象画像の画素毎に、核の領域であるか否かを示すとともに、核の領域である画素については、当該画素が前記組織を構成する複数の層のうち何れの層であるかを示す、処理と、
を実行させるプログラム。

【請求項23】

訓練用画像に含まれる第１の学習対象の層構造を含む第１の訓練用画像に対応する第１の訓練データを取得する第１の取得ステップと、
前記第１の訓練用画像における核領域を示す第２の訓練用画像に対応する第２の訓練データを取得する第２の取得ステップと、
訓練用画像に含まれる第２の学習対象の層構造を含む第３の訓練用画像に対する第３の訓練データを取得する第３の取得ステップと、
前記第３の訓練用画像における核領域を示す第４の訓練用画像に対応する第４の訓練データを取得する第４の取得ステップと、
訓練用画像に含まれる第３の学習対象の層構造を含む第５の訓練用画像に対する第５の訓練データを取得する第５の取得ステップと、
前記第５の訓練用画像における核領域を示す第６の訓練用画像に対応する第６の訓練データを取得する第６の取得ステップと、
前記第１の訓練データと、前記第２の訓練データとの関係をニューラルネットワークに学習させる学習ステップと、
前記第３の訓練データと、前記第４の訓練データとの関係をニューラルネットワークに学習させる学習ステップと、
前記第５の訓練データと、前記第６の訓練データとの関係をニューラルネットワークに学習させる学習ステップと、
を含む、コンピュータが実行する学習済み深層学習アルゴリズムの生成方法。

【請求項24】

前記第１の訓練データと、第３の訓練データと、第５の訓練データとをニューラルネットワークの入力層とし、前記第２の訓練データと、第４の訓練データと、第６の訓練データとを第１の訓練データ、第３の訓練データおよび第５の訓練データのそれぞれに対応するニューラルネットワークの出力層とする、
請求項２３の学習済み深層学習アルゴリズムの生成方法。

【請求項25】

前記第１の取得ステップの前に、前記第１の訓練用画像から、前記第１の訓練データを生成するステップと、
前記第２の取得ステップの前に、前記第２の訓練用画像から、前記第２の訓練データを生成するステップと、
前記第３の取得ステップの前に、前記第３の訓練用画像から、前記第３の訓練データを生成するステップと、
前記第４の取得ステップの前に、前記第４の訓練用画像から、前記第４の訓練データを生成するステップと、
前記第５の取得ステップの前に、前記第５の訓練用画像から、前記第５の訓練データを生成するステップと、
前記第６の取得ステップの前に、前記第６の訓練用画像から、前記第６の訓練データを生成するステップと、
をさらに含む、
請求項２３または２４の学習済み深層学習アルゴリズムの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズムに関する。より詳細には、組織画像において、組織を構成する層構造を示すデータを生成するための画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズムに関する。

【背景技術】

【0002】

医療現場では、被検体から採取した組織を用いた診断が行われている。例えば、臨床で胃炎を定量的に評価し分類する方法として、シドニー分類が用いられている（非特許文献１）。シドニー分類は、胃炎の重篤度を定量的に評価するために、ピロリ菌量、好中球浸潤、慢性炎症の程度、腺管の萎縮、腸上皮化生を指標として用いている。

【先行技術文献】

【非特許文献】

【0003】

【文献】D A F Lynch, J Clin Pathol 1999;52:367-371

【発明の概要】

【発明が解決しようとする課題】

【0004】

腺管等の上皮細胞層の萎縮や肥厚は、胃に限らず様々な組織で炎症等に伴って認められる現象である。上皮細胞層の評価は、一般的に内視鏡検査において採取された生検材料からパラフィン包埋切片を作成し、ヘマトキシリン・エオジン染色を施した病理組織標本を病理医が観察することにより行われている。

【0005】

しかしながら、顕微鏡を介した目視による萎縮の程度の評価は、目視による評価であり、病理医毎に、また病理医の熟練度に応じてばらつくこともあり、再現性のある評価が困難である。

【0006】

本発明は、一定の判断基準に基づいた組織を構成する層構造の評価を行うことが可能な、画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズムを提供することを目的とする。

【課題を解決するための手段】

【0007】

ある実施形態は、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用いて、被検体から採取された組織の画像を解析する画像解析方法に関する。画像解析方法は、解析対象の組織を含む解析対象画像（７８）から解析用データ（８０）を生成し、解析用データ（８０）を、深層学習アルゴリズム（６０）に入力し、前記深層学習アルゴリズムによって、解析対象画像（７８）における組織を構成する層構造を示すデータを生成する、ことを含む。本実施形態により、深層学習アルゴリズムという一定の判断基準を用いた組織を構成する層構造を判別し、定量的な評価が可能となる。これにより、病理医の熟練度等によるばらつきを抑え、再現性のある評価を行うことが可能となる。

【0008】

前記実施形態において、解析対象画像（７８）は、組織診断用標本、好ましくは解析対象の組織の染色された明視野画像である。一実施形態により、組織診断を幇助することができる。

【0009】

前記実施形態において、深層学習アルゴリズム（６０）によって、前記解析対象の組織における少なくとも一つの層構造の核領域を示すデータを生成する。

【0010】

前記実施形態において、前記層構造は、上皮細胞層、内皮細胞層、結合組織層、および筋層から選択される少なくとも１つを含む。

【0011】

前記実施形態において、前記組織は、胃、小腸、または大腸から採取されたものであり、前記層構造が、粘膜上皮細胞層、粘膜固有層、粘膜筋板、粘膜下層、固有筋層、および漿膜層から選択される少なくとも１つを含む。この実施形態により消化管組織を構成する層構造を判別することができる。

【0012】

前記実施形態において、前記組織は、気管または気管支から採取されたものであり、前記層構造が、粘膜上皮細胞層、粘膜固有層、平滑筋層、粘膜下層、および外膜層から選択される少なくとも１つを含む。この実施形態により呼吸器系組織を構成する層構造を判別することができる。

【0013】

前記実施形態において、前記組織は、子宮体部から採取されたものであり、前記層構造が、粘膜上皮細胞層、粘膜固有層、筋層、および外膜層から選択される少なくとも１つを含む。この実施形態により子宮体部の組織を構成する層構造を判別することができる。

【0014】

前記実施形態において、前記組織が、胆嚢から採取されたものであり、前記層構造が、粘膜上皮細胞層、粘膜固有層、筋層、および漿膜層から選択される少なくとも１つを含む。この実施形態により胆嚢組織を構成する層構造を判別することができる。

【0015】

前記実施形態において、前記組織が、胃、小腸、大腸および子宮以外の組織から採取された腺組織であり、前記層構造が、腺上皮細胞層、筋層、および結合組織層から選択される少なくとも１つを含む。この実施形態により胃、小腸、大腸および子宮以外の組織を構成する層構造を判別することができる。

【0016】

前記実施形態において、前記組織は、心臓であり、前記層構造が、心内膜層、心筋層、心外膜層、および心外膜下組織から選択される少なくとも１つを含む。この実施形態により心臓の組織を構成する層構造を判別することができる。

【0017】

前記実施形態において、前記組織が、血管であり、前記層構造が、内皮細胞層、および筋層から選択される少なくとも１つを含む。この実施形態により血管の組織を構成する層構造を判別することができる。

【0018】

前記実施形態において、前記組織を構成する層構造を示すデータが、組織を構成する複数の層の種別をそれぞれ区別して提示するためのデータである。この実施形態により、ユーザは一目で、解析対象の組織を構成する層構造を把握することができる。

【0019】

前記実施形態において、１つの解析対象画像（７８）について所定画素数の領域毎に、複数の解析用データ（８０）が生成される。また、前記深層学習アルゴリズムは、入力された前記解析用データに対し画素毎に層構造を示すラベル値を付す。この実施形態により、解析対象画像（７８）の複数の箇所について、層構造の構成を提示することができる。

【0020】

前記実施形態において、深層学習アルゴリズム（５０）の学習に用いられる訓練データは、被検体から採取された組織に明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した訓練用の明視野画像（７０Ｒ１，７０Ｒ２，７０Ｒ３）と、前記標本に対応する、または同一の標本に蛍光核染色を施して作製された標本の染色像を蛍光顕微鏡の蛍光観察下で撮像した細胞核の蛍光画像（７１Ｒ１、７１Ｒ２、７１Ｒ３）であって、前記蛍光画像の標本内での位置は前記取得された明視野画像の標本内での位置に対応する訓練用の蛍光画像とから生成される。この実施形態により、解析対象画像（７８）の核の領域を深層学習アルゴリズム（５０）に学習させることができる。

【0021】

前記実施形態において、前記訓練データは、前記層構造を示すラベル値を前記訓練用の明視野画像の画素毎に含む。この実施形態により、解析対象画像（７８）の画素毎に各領域か否かを学習させることができる。

【0022】

前期実施形態において、前記訓練データは、前記明視野画像における所定画素数の領域毎に生成される。この実施形態により深層学習アルゴリズム（５０）の学習効率を向上させることができる。

【0023】

前記実施形態において、前記深層学習アルゴリズムは、前記解析用データを、解析対象画像（７８）に含まれる組織を構成する層構造を示すクラスに分類する。この実施形態により、解析対象画像（７８）に含まれる組織を構成する層構造を示すことができる。

【0024】

前記実施形態において、ニューラルネットワーク（５０）の出力層（５０ｂ）がソフトマックス関数を活性化関数とするノードである。この実施形態により深層学習アルゴリズム（５０）の学習効率を向上させることができる。

【0025】

深層学習アルゴリズム（６０）は、解析用データ（８０）が入力される度に、解析対象画像（８０）に含まれる組織を構成する層構造を示すデータを単位画素毎に生成する。この実施形態により深層学習アルゴリズム（６０）の解析効率を向上させることができる。
前記実施形態により、深層学習アルゴリズム（６０）が、前記解析対象の組織を採取した臓器に応じて生成される。この実施形態により深層学習アルゴリズム（６０）の解析効率を向上させることができる。

【0026】

前記実施形態において、さらに、深層学習アルゴリズム（６０）は、前記解析対象の組織を採取した臓器に応じて準備されており、前記臓器に対応する深層学習アルゴリズム（６０）を用いて、前記解析用データを処理する。この実施形態により深層学習アルゴリズム（６０）の解析効率を向上させることができる。

【0027】

前記実施形態は、さらに、層構造を示すデータに基づいて層構造の厚さを算出する。また、層構造の厚さに基づいて疾患のグレードを判定することを含む。この実施形態により、病理医の目によらなくても、各層構造の厚さを把握することができ、また疾患のグレーディングを行うことができる。

【0028】

ある実施形態は、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用いて、被検体から採取された組織の画像を解析する画像解析装置（１００）に関する。画像解析装置（１００）は、解析対象の組織または細胞を含む解析対象画像（７８）から解析用データ（８０）を生成し、解析用データ（８０）を、深層学習アルゴリズム（６０）に入力し、深層学習アルゴリズム（６０）によって、解析対象画像（７８）における組織を構成する層構造を示すデータを生成する処理部（１０）を備える。本実施形態により、深層学習アルゴリズムという一定の判断基準を用いて組織を構成する層構造を判別することが可能となる。

【0029】

ある実施形態は、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用いて、被検体から採取された組織の画像を解析するコンピュータプログラムに関する。前記コンピュータプログラムは、コンピュータに、解析対象の組織または細胞を含む解析対象画像（７８）から解析用データ（８０）を生成する処理と、解析用データ（８０）を、深層学習アルゴリズム（６０）に入力する処理と、深層学習アルゴリズム（６０）によって、解析対象画像（７８）における組織を構成する層構造を示すデータを生成する処理とを実行させる。本実施形態により、深層学習アルゴリズムという一定の判断基準を用いて組織を構成する層構造を判別することが可能となる。

【0030】

ある実施形態は、訓練用画像に含まれる第１の学習対象の層構造を含む第１の訓練用画像（７０Ｒ１）に対応する第１の訓練データ（７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂ）を取得する第１の取得ステップと、第１の訓練用画像（７０Ｒ１）における核領域を示す第２の訓練用画像（７１Ｒ１）に対応する第２の訓練データ（７３Ｒ１）を取得する第２の取得ステップと、訓練用画像に含まれる第２の学習対象の層構造を含む第３の訓練用画像（７０Ｒ２）に対する第３の訓練データ（７２Ｒ２ｒ，７２Ｒ１２，７２Ｒ２ｂ）を取得する第３の取得ステップと、第３の訓練用画像（７０Ｒ２）における核領域を示す第４の訓練用画像（７１Ｒ２）に対応する第４の訓練データ（７３Ｒ２）を取得する第４の取得ステップと、訓練用画像に含まれる第３の学習対象の層構造を含む第５の訓練用画像（７０Ｒ３）に対する第５の訓練データ（７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂ）を取得する第５の取得ステップと、第５の訓練用画像（７０Ｒ３）における核領域を示す第６の訓練用画像（７１Ｒ３）に対応する第６の訓練データ（７３Ｒ３）を取得する第６の取得ステップと、前記第１の訓練データ（７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂ）と、第２の訓練データ（７３Ｒ１）との関係をニューラルネットワーク（５０）に学習させる学習ステップと、前記第３の訓練データ（７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ）と、第４の訓練データ（７３Ｒ２）との関係をニューラルネットワーク（５０）に学習させる学習ステップと、前記第５の訓練データ（７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂ）と、前記第６の訓練データ（７３Ｒ３）との関係をニューラルネットワークに学習させる学習ステップと、を含む学習済み深層学習アルゴリズム（６０）の生成方法に関する。本実施形態により、組織を構成する層構造を判別することが可能な、深層学習アルゴリズムを生成することができる。

【0031】

前記生成方法の実施形態において、前記第１の訓練データ（７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂ）と、第３の訓練データ（７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ）と、第５の訓練データ（７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂ）とをニューラルネットワーク（５０）の入力層（５０ａ）とし、前記第２の訓練データ（７３Ｒ１）と、第４の訓練データ（７３Ｒ２）と、第６の訓練データ（７３Ｒ３）とを第１の訓練データ（７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂ）、第３の訓練データ（７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ）および第５の訓練データ（７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂ）のそれぞれに対応するニューラルネットワーク（５０）の出力層（５０ｂ）とする。さらに本実施形態は、前記第１の取得ステップの前に、第１の訓練用画像（７０Ｒ１）から、前記第１の訓練データ（７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂ）を生成するステップと、前記第２の取得ステップの前に、前記第２の訓練用画像から（７０Ｒ２）、前記第２の訓練データを生成するステップと、前記第３の取得ステップの前に、前記第３の訓練用画像（７０Ｒ３）から、前記第３の訓練データ（７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ）を生成するステップと、前記第４の取得ステップの前に、第４の訓練用画像（７１Ｒ２）から、第４の訓練データ（７３Ｒ２）を生成するステップと、前記第５の取得ステップの前に、前記第５の訓練用画像（７０Ｒ３）から、前記第５の訓練データ（７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂ）を生成するステップと、前記第６の取得ステップの前に、前記第６の訓練用画像（７１Ｒ３）から、前記第６の訓練データ（７３Ｒ３）を生成するステップと、をさらに含む。本実施形態により、組織を構成する層構造を判別することが可能な、深層学習アルゴリズムを生成することができる。

【0032】

ある実施形態は、第１の訓練データ（７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂ）、第３の訓練データ（７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ）および第５の訓練データ（７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂ）をニューラルネットワーク（５０）の入力層（５０ａ）とし、第２の訓練データ（７３Ｒ１）、第４の訓練データ（７３Ｒ２）および第６の訓練データ（７３Ｒ３）を第１の訓練データ（７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂ）、第３の訓練データ（７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ）および第５の訓練データ（７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂ）のそれぞれに対応するニューラルネットワーク（５０）の出力層（５０ｂ）として学習させた深層学習アルゴリズムであって、前記第１の訓練データ（７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂ）は、訓練用画像に含まれる第１の学習対象の層構造を含む第１の訓練用画像（７０Ｒ１）から生成され、前記第２の訓練データ（７３Ｒ１）は、前記第１の訓練用画像（７０Ｒ１）における核領域を示し、前記第３の訓練データ（７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ）は、訓練用画像に含まれる第２の学習対象の層構造を含む第３の訓練用画像（７０Ｒ２）から生成され、前記第４の訓練データ（７３Ｒ２）は、前記第３の訓練用画像（７０Ｒ２）における核領域を示し、前記第５の訓練データ（７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂ）は、訓練用画像に含まれる第３の学習対象の層構造を含む第５の訓練用画像（７０Ｒ３）から生成され、前記第６の訓練データ（７３Ｒ３）は、前記第５の訓練用画像（７０Ｒ３）における核領域を示す、学習済み深層学習アルゴリズム（６０）に関する。本実施形態により、組織を構成する層構造を一定条件で判別することが可能な、深層学習アルゴリズムを提供することができる。

【発明の効果】

【0033】

深層学習アルゴリズムという一定の判断基準を用いた組織を構成する層構造を判別することが可能となる。

【図面の簡単な説明】

【0034】

【図1】深層学習方法の概要を説明するための模式図である。

【図2】深層学習方法の概要を説明するための模式図である。

【図3】深層学習方法の概要を説明するための模式図である。

【図4】訓練データの詳細を説明するための模式図である。

【図5】訓練データの詳細を説明するための模式図である。

【図6】画像解析方法の概要を説明するための模式図である。

【図7】第１の実施形態に係る画像解析システムの概略構成図である。

【図8】ベンダ側装置１００のハードウェア構成を示すブロック図である。

【図9】ユーザ側装置２００のハードウェア構成を示すブロック図である。

【図10】第１の実施形態に係る深層学習装置１００Ａの機能を説明するためのブロック図である。

【図11】深層学習処理の手順を示すフローチャートである。

【図12】ニューラルネットワークによる学習の詳細を説明するための模式図である。

【図13】第１の実施形態に係る画像解析装置２００Ａの機能を説明するためのブロック図である。

【図14】画像解析処理の手順を示すフローチャートである。

【図15】第２の実施形態に係る画像解析システムの概略構成図である。

【図16】第２の実施形態に係る統合型の画像解析装置２００Ｂの機能を説明するためのブロック図である。

【図17】第３の実施形態に係る画像解析システムの概略構成図である。

【図18】第３の実施形態に係る統合型の画像解析装置１００Ｂの機能を説明するためのブロック図である。

【図19】結果の表示例を示す図である。

【図20】疾患のグレードを判定する手順を示すフローチャートである。

【図21】胃から取得された組織の解析結果である。（ａ）は、胃組織をＨＥ染色して撮像した明視野画像である。（ｂ）は、解析処理により得られた第１の層構造の核領域を示す図である。（ｃ）は、解析処理により得られた第２の層構造の核領域を示す図である。（ｄ）は、解析処理により得られた第３の層構造の核領域を示す図である。（ｅ）は、解析処理により得られた第１の層構造の核領域、第２の層構造の核領域および第３の層構造の核領域以外の領域を白く表示した図である。（ｆ）は、各層の判定結果を第１の訓練画像に重ねた図を示す。

【発明を実施するための形態】

【0035】

以下、本発明の概要および実施の形態を、添付の図面を参照して詳細に説明する。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する説明を省略する。

【0036】

画像解析方法は、組織の画像を解析する画像解析方法であって、ニューラルネットワーク構造の、好ましくは、畳み込みニューラルネットワーク構造の深層学習アルゴリズムを用いる。前記画像解析方法は、解析対象の組織を構成する層構造を判別することができる。

【0037】

本発明において、組織の画像は、組織の標本から取得される画像である。組織は、被検体から採取される。被検体は、特に制限されないが、好ましくは哺乳類であり、より好ましくはヒトである。前記被検体から組織が採取される際に、被検体が生きているか死亡しているかは問わない。臓器は、被検体に存在するものである限り、制限されない。例えば、前記臓器には循環器系臓器（心臓、動脈、静脈、リンパ管等）、呼吸器系臓器（鼻腔、副鼻腔、喉頭、気管、気管支、肺等）、消化器系臓器（口唇、舌、唾液腺、咽頭、食道、胃、十二指腸、空腸、回腸、盲腸、虫垂、上行結腸、横行結腸、S状結腸、直腸、肛門、肝臓、胆嚢、胆管、胆道、膵臓、膵管等）、泌尿器系臓器（尿道、膀胱、尿管、腎臓）、女性生殖器系臓器（卵巣、卵管、子宮体部、子宮頸部、膣等）、男性生殖器系臓器（前立腺、精巣、精巣上体、精管等）、内分泌系臓器（甲状腺、副甲状腺等）、外皮系臓器（皮膚、毛、爪等）、感覚器系器官（眼球、涙腺等）を挙げることができる。本発明において、対象とする組織としては、好ましくは胃、小腸（十二指腸、空腸、回腸）、大腸（結腸、直腸）、気管または気管支、子宮体部、胆嚢、胃、小腸、大腸および子宮以外の組織から採取された腺組織（唾液腺、膵臓、甲状腺等）、心臓、血管、および網膜等である。

【0038】

一般的に、組織の多くは複数の異なる細胞および異なる複数の細胞外マトリックスから構成されている。そして、これらの細胞および細胞外マトリックスは、細胞同士、細胞外マトリックス同士、または細胞と細胞外マトリックスとが結合し、組織内において層構造を形成する。組織の多くは、少なくとも体外側から上皮細胞層、結合組織層（結合組織、線維芽細胞、リンパ球、好中球、マクロファージ、血管、神経叢等から構成されうる。臓器によっては、固有層、粘膜下層を含む）、および筋層（主に平滑筋層）等の複数の層構造から構成される。例えば、胃、小腸、および大腸等の消化管は、体外側から粘膜上皮細胞層、粘膜固有層（結合組織、線維芽細胞、リンパ球、好中球、マクロファージ、血管、神経叢等から構成されうる）、粘膜筋板（平滑筋細胞および平滑筋等から構成される）、粘膜下層（結合組織、線維芽細胞、リンパ球、好中球、マクロファージ、血管、神経叢等から構成されうる）、固有筋層（平滑筋および平滑筋細胞等から構成される）、漿膜層等から構成される。固有筋層は、内輪走筋および外縦走筋の２層から構成されうる。
食道は、胃等と層構造はほぼ同じであるが、上皮細胞層は、粘膜上皮細胞層に替えて重層扁平上皮細胞層から構成される。

【0039】

気管および気管支も、粘膜上皮細胞層と、粘膜固有層と、平滑筋層と、粘膜下層と、外膜層等から構成される。気管および気管支の一部は、平滑筋層に替えて軟骨層を含む。

【0040】

子宮は、上皮細胞層と、筋層と、外膜層を含む。子宮は、体部と頚部で上皮細胞層が異なる。体部の上皮細胞層は、粘膜上皮細胞層であるが、頚部の上皮細胞層は重層扁平上皮細胞層等から構成される。
胆嚢は、粘膜上皮細胞層と、粘膜固有層と、筋層と、漿膜層から構成される。

【0041】

胃、小腸、大腸および子宮以外の腺組織は、腺上皮細胞層と、筋層と、結合組織層（結合組織、線維芽細胞、リンパ球、好中球、マクロファージ、血管等から構成されうる）等から構成される。

【0042】

心臓および血管は、外部に接する臓器ではないため上皮細胞層は有さず、腔側を内側とし、内側から外側に向かって、内膜（内皮細胞）層、筋層（平滑筋繊維、平滑筋細胞、弾性繊維等を含む）、外膜層等が存在する。具体的には、心臓は、心内膜層と、心筋層と、心外膜層と、心外膜下組織等から構成される。血管は、内皮細胞層と、筋層等から構成される。

【0043】

網膜は、桿体錘体層、外顆粒層、外網状層、内顆粒層、内網状層および神経節細胞層等から構成される。

【0044】

前記標本は、前記組織を顕微鏡等で観察ができるように加工した状態のもの、例えばプレパラートを意図する。前記標本は、公知の方法に従って作製することができる。例えば、組織標本は、前記被検体から組織を採取した後に、所定の固定液（ホルマリン固定等）で組織を固定し、その固定組織をパラフィン包埋し、パラフィン包埋組織を薄切する。薄切切片をスライドグラスにのせる。切片がのったスライドグラスに対して光学顕微鏡での観察のため、すなわち明視野観察のための染色を施し、所定の封入処理をして標本が完成する。組織標本の典型例は、組織診断用標本（病理標本）であり、染色は、へマトキシリン・エオジン（ＨＥ）染色である。

【0045】

前記画像解析には、訓練用画像を用いて訓練された深層学習アルゴリズムを用いる。前記画像解析は、前記標本から取得した、解析対象の組織を含む解析対象画像から解析用データを生成する。前記解析用データを、前記深層学習アルゴリズムに入力し、前記解析対象画像内に存在する組織を構成する層構造を示すデータを生成する。層構造を示すデータとは、判別対象にある注目画素の位置の組織の層構造が、上述のいずれの層構造であるかを意味するデータである。また、層構造を示すデータは、前記注目画素内に存在する核領域が上述のいずれの層構造の核に該当するかを示すデータである。層構造を示すデータは、上述のいずれの層構造の核に該当するかを区別できるラベル値、表示等であり得る。

【0046】

前記訓練用画像は、学習対象となる組織の１つまたは複数の層構造から取得される。好ましくは、前記訓練用画像は、学習対象となる組織に含まれる複数の層構造から層構造ごとに取得される。

【0047】

例えば、第１の訓練用画像７０Ｒ１は、被検体から採取された組織に含まれる、第１の層構造（例えば上皮細胞層又は内皮細胞層）から取得された画像である。この画像は、顕微鏡観察により、組織構造が認識できるように染色された標本から取得される。前記染色は、組織構造が認識できる限り制限されないが、好ましくは明視野観察用の染色である。前記明視野観察用染色は、少なくとも細胞核と細胞核以外の部位が、色相で区別可能に染色できる限り制限されない。前記標本が哺乳類の組織標本である場合には、例えば、ＨＥ染色を挙げることができる。

【0048】

第１の訓練用画像７０Ｒ１からは、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂと、第１の予備訓練データ７０Ｒ１Ｌが生成される。第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂは、第１の訓練用画像７０Ｒ１に含まれる色相を原色毎に分離した単一色画像に関する情報である。第１の予備訓練データ７０Ｒ１Ｌは、第１の訓練用画像７０Ｒ１に含まれている層構造が、第１の層構造であることを示す二値化データ（ラベル値）として生成される。第１の訓練用画像７０Ｒ１に含まれる層構造は、例えば検査者等による標本観察により第１の層構造であると判定される。

【0049】

前記訓練用画像に含まれる第２の訓練用画像７１Ｒ１は、第１の訓練用画像７０Ｒ１において、どこが細胞の核領域であるかを示す、すなわち「核領域である」という正解が第１の訓練用画像７０Ｒ１のどこの領域であるかを示す画像である。前記細胞の画像は、好ましくは第１の層構造の核の領域を示す画像である。この画像は、第１の訓練用画像７０Ｒ１を取得した標本と同一の標本、または第１の訓練用画像７０Ｒ１を取得した標本に対応する標本（例えば、連続切片標本）に対して、細胞核を選択的に染色する蛍光核染色を施し、撮像された画像である。前記蛍光核染色としては、制限されないが、4',6-diamidino-2-phenylindole（DAPI）染色を挙げることができる。第２の訓練用画像７１Ｒ１からは、第２の予備訓練データ７１Ｒ１Ｎが生成される。第２の予備訓練データ７１Ｒ１Ｎは、第２の訓練用画像７１Ｒ１を二値化することにより生成される二値化データ（ラベル値）であり、細胞の核領域かそれ以外の領域かを示している。

【0050】

第２の予備訓練データ７１Ｒ１Ｎと第１の予備訓練データ７０Ｒ１Ｌは、画素毎に紐付けられる。第２の予備訓練データ７１Ｒ１Ｎの中で細胞核領域を示す画素には、「第１の層構造の核領域である」ことを示すラベル値がさらに付与される。第２の予備訓練データ７１Ｒ１Ｎ内の細胞核の領域に「第１の層構造の核領域である」ことを示すラベル値が付されたデータを第２の訓練データ７３Ｒ１として用いる。

【0051】

前記訓練用画像に含まれる第３の訓練用画像７０Ｒ２は、第１の訓練用画像７０Ｒ１を取得した組織に含まれる、第２の層構造（例えば結合組織層）から取得された画像である。この画像は、顕微鏡観察により、組織構造が認識できるように染色された標本から取得される。前記染色は、組織構造が認識できる限り制限されないが、好ましくは明視野観察用の染色である。前記明視野観察用染色は、少なくとも細胞核と細胞核以外の部位が、色相で区別可能に染色できる限り制限されない。前記標本が哺乳類の組織標本である場合には、例えば、ＨＥ染色を挙げることができる。前記染色は、第１の訓練用画像７０Ｒ１を取得した標本と同じものであることが好ましい。

【0052】

第３の訓練用画像７０Ｒ２からは、第３の訓練データ（７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ）と、第３の予備訓練データ７０Ｒ２Ｌが生成される。第３の訓練データ（７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ）は、第３の訓練用画像７０Ｒ２に含まれる色相を原色毎に分離した単一色画像に関する情報である。第３の予備訓練データ７０Ｒ２Ｌは、第３の訓練用画像７０Ｒ２に含まれている層構造が、第２の層構造であることを示す二値化データ（ラベル値）である。第３の訓練用画像７０Ｒ２に含まれる層構造は、例えば検査者等による標本観察により第２の層構造であると判定される。

【0053】

前記訓練用画像に含まれる第４の訓練用画像７１Ｒ２は、第３の訓練用画像７０Ｒ２において、どこが細胞の核領域であるかを示す、すなわち「核領域である」という正解が第２の層構造のどこの領域であるかを示す画像である。この画像は、第３の訓練用画像７０Ｒ２を取得した標本と同一の標本、または第３の訓練用画像７０Ｒ２を取得した標本に対応する標本（例えば、連続切片標本）に対して、細胞核を選択的に染色する蛍光核染色を施し、撮像された画像である。前記蛍光核染色としては、制限されないが、前記蛍光核染色は第２の訓練用画像７１Ｒ１を取得する際の標本に施した前記蛍光核染色と同じであることが好ましい。第４の訓練用画像７１Ｒ２からは、第４の予備訓練データ７１Ｒ２Ｎが生成される。第４の予備訓練データ７１Ｒ２Ｎは、第４の訓練用画像７１Ｒ２を二値化することにより生成される二値化データ（ラベル値）であり、細胞核の領域かそれ以外の領域かを示している。

【0054】

第４の予備訓練データ７１Ｒ２Ｎと第３の予備訓練データ７０Ｒ２Ｌは、画素毎に紐付けられる。第４の予備訓練データ７１Ｒ２Ｎの中で細胞核領域を示す画素には、「第２の層構造の核領域である」ことを示すラベル値がさらに付与される。第４の予備訓練データ７１Ｒ２Ｎ内の細胞核の領域に「第２の層構造の核領域である」ことを示すラベル値が付されたデータを第４の訓練データ７３Ｒ２として用いる。

【0055】

前記訓練用画像に含まれる第５の訓練用画像７０Ｒ３は、第１の訓練用画像７０Ｒ１を取得した組織に含まれる、第３の層構造（例えば結合組織層）から取得された画像である。この画像は、顕微鏡観察により、組織構造が認識できるように染色された標本から取得される。前記染色は、組織構造が認識できる限り制限されないが、好ましくは明視野観察用の染色である。前記明視野観察用染色は、少なくとも細胞核と細胞核以外の部位が、色相で区別可能に染色できる限り制限されない。前記標本が哺乳類の組織標本である場合には、例えば、ＨＥ染色を挙げることができる。

【0056】

第５の訓練用画像７０Ｒ３からは、第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂと、第５の予備訓練データ７０Ｒ３Ｌが生成される。第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂは、第５の訓練用画像７０Ｒ３に含まれる色相を原色毎に分離した単一色画像に関する情報である。第５の予備訓練データ７０Ｒ３Ｌは、第５の訓練用画像７０Ｒ３に含まれている層構造が、第３の層構造であることであることを示す二値化データ（ラベル値）である。第５の訓練用画像に含まれる層構造は、例えば検査者等による標本観察により第３の層構造であると判定される。

【0057】

前記訓練用画像に含まれる第６の訓練用画像７１Ｒ３は、第５の訓練用画像７０Ｒ３において、どこが細胞の核領域であるかを示す、すなわち「核領域である」という正解が第３の層構造のどこの領域であるかを示す画像である。この画像は、第５の訓練用画像７０Ｒ３を取得した標本と同一の標本、または第５の訓練用画像７０Ｒ３を取得した標本に対応する標本（例えば、連続切片標本）に対して、細胞核を選択的に染色する蛍光核染色を施し、撮像された画像である。前記蛍光核染色としては、制限されないが、前記蛍光核染色は第２の訓練用画像７１Ｒ１を取得する際の標本に施した蛍光核染色と同じであることが好ましい。第６の訓練用画像７１Ｒ３からは、第６の予備訓練データ７１Ｒ３Ｎが生成される。第６の予備訓練データ７１Ｒ３Ｎは、第６の訓練用画像７１Ｒ３を二値化することにより生成される二値化データ（ラベル値）であり、細胞の核の領域かそれ以外の領域かを示している。

【0058】

第６の予備訓練データ７１Ｒ３Ｎと第５の予備訓練データ７０Ｒ３Ｌは、画素毎に紐付けられる。第６の予備訓練データ７１Ｒ３Ｎの中で細胞核領域を示す画素には、「第３の層構造の核領域である」ことを示すラベル値がさらに付与される。第６の予備訓練データ７１Ｒ３Ｎ内の細胞核の領域に「第３の層構造の核領域である」ことを示すラベル値が付されたデータを第６の訓練データ７３Ｒ３として用いる。

【0059】

訓練データは、第１の層構造訓練データ７４Ｒ１、第２の層構造訓練データ７４Ｒ２および第３の層構造訓練データ７４Ｒ３を含む。組織がさらなる層構造を含む場合には、上記第４または第６の訓練データ７３Ｒ３の生成方法に従って、さらなる訓練データを作成してもよい。
前記細胞の核の領域とは、１つまたは複数の核を含む領域をいう。以下、前記細胞の核の領域を「核領域」ともいう。

【0060】

本発明の概要および実施の形態では、ＨＥ染色された組織標本を撮像した画像内に含まれる組織の層構造を、深層学習アルゴリズムによって判別する場合を一例として説明する。

【0061】

［深層学習方法および画像解析方法の概要］
はじめに、深層学習方法について説明する。
・深層学習方法の概要

【0062】

図１を用いて、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂと第２の訓練データ７３Ｒ１を含む第１の層構造訓練データ７４Ｒ１の生成の概要を説明する。図１には、組織標本のスライドイメージ７０Ｗを使ったニューラルネットワークへの訓練データの入力例を示す。スライドイメージ７０Ｗは明視野観察用染色としてＨＥ染色を施して作製された標本を明視野で撮像した訓練用画像を示す。スライドイメージ７０Ｗ内に示されたＬ１は第１の層構造を示す。Ｌ２は第２の層構造を示す。Ｌ３は第３の層構造を示す。スライドイメージ７０Ｗ内の記号Ｒ１で示された四角枠で囲まれた領域は、第１の訓練用画像７０Ｒ１として使用する領域を示す。記号Ｒ２で示された四角枠で囲まれた領域は、図２に示す第３の訓練用画像７０Ｒ２として使用する領域を示す。記号Ｒ３で示された四角枠で囲まれた領域は、図３に示す第５の訓練用画像７０Ｒ３として使用する領域を示す。第１の訓練用画像７０Ｒ１が第１の層構造に含まれ、第３の訓練用画像７０Ｒ２が第２の層構造に含まれ、および第５の訓練用画像７０Ｒ３が第３の層構造に含まれることは、それぞれの訓練画像を取得する前に判定していてもよく、それぞれの訓練画像を取得してから判定してもよい。

【0063】

図１において、第１の訓練用画像７０Ｒ１は、ＨＥ染色した標本を明視野観察下で例えばカラー画像として撮像しているため、第１の訓練用画像７０Ｒ１には複数の色相が含まれる。

【0064】

第１の訓練用画像７０Ｒ１は、例えば公知の光学顕微鏡、蛍光顕微鏡またはバーチャルスライドスキャナ等の画像取得装置を用いて、予め取得することができる。例示的には、本実施形態において画像取得装置から取得されるカラー撮像は、カラースペースがＲＧＢの２４ビットカラーであることが好ましい。ＲＧＢの２４ビットカラーでは、赤色、緑色および青色のそれぞれの濃さ（色濃度）を、８ビット（２５６段階）の階調で表すことが好ましい。第１の訓練用画像７０Ｒ１は、１以上の原色を含む画像であればよい。第１の訓練用画像７０Ｒ１からは、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂと、第１の予備訓練データ７０Ｒ１Ｌとが生成される。

【0065】

本発明において、色相は、例示的には、光の３原色の組み合わせ、または色の３原色の組み合わせで規定される。第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂは、第１の訓練用画像７０Ｒ１に対応して生成される、第１の訓練用画像７０Ｒ１に現れる色相を個々の原色に分離して原色毎に生成し、その濃度に応じた符号で表されたデータである。図１では光の３原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色毎に分離した単一色の濃淡で示された画像（以下、「単一色画像」ともいう）７２Ｒ１Ｒ，７２Ｒ１Ｇ，７２Ｒ１Ｂを得る。

【0066】

単一色画像７２Ｒ１Ｒ，７２Ｒ１Ｇ，７２Ｒ１Ｂ上の各画素について各色の色濃度を符号化し、画像全体をＲ、Ｇ、Ｂ毎の各画像について、画素毎の色濃度に対応した符号化図（以下、「色濃度符号化図」ともいう）７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂを生成する。色濃度は、各色２５６段階を示す数値で符号化しても良い。また、色濃度は、各色２５６段階を示す数値に対して、さらに前処理を行って、各画素における色濃度を例えば、値０から値７の８段階で示す数字で符号化してもよい。図１に例示的に示すＲ、Ｇ、Ｂ各色の単一色画像から生成された色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂは、説明の便宜上、各画素における色濃度を値０から値７の８段階の符号で表している。図１に示す色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂから各画素のＲ、Ｇ、Ｂの色濃度値が組み合わされた第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂが生成される。色濃度を示す符号は、本明細書において色濃度値ともいう。また、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂとして、色濃度符号化図に替えて、各画素に対応した色濃度値の行列を生成してもよい。

【0067】

図１において、第１の予備訓練データ７０Ｒ１Ｌは、第１の訓練用画像７０Ｒ１に含まれている層構造が、第１の層構造であることを示すデータである。前記データは、画像データであってもよく、第１の訓練用画像７０Ｒ１内の各画素に対応するラベル値であってもよい。例えば、第１の訓練用画像７０Ｒ１は、全領域が第１の層構造であるため第１の訓練用画像７０Ｒ１内の各画素全てに対して第１の層構造であることを示すラベル値として同じ数値が付される。

【0068】

図１において、第２の訓練用画像７１Ｒ１は、蛍光核染色された標本を蛍光顕微鏡の蛍光観察下で、２階調以上のグレースケールで撮像するか、またはカラー撮像することにより取得される。第２の訓練用画像７１Ｒ１は、例えば公知の蛍光顕微鏡またはバーチャルスライドスキャナ等の画像取得装置を用いて、予め取得することができる。第２の訓練用画像７１Ｒ１からは、第２の予備訓練データ７１Ｒ１Ｎが生成される。

【0069】

第２の予備訓練データ７１Ｒ１Ｎは、例えば、２階調以上のグレースケールのまたはカラーの第２の訓練用画像７１Ｒ１を、二値化処理により白黒の蛍光画像として変換することにより生成される。第２の訓練用画像７１Ｒ１を二値化して、細胞核の領域とそれ以外の領域とを区別することにより、細胞核の領域が判別される。二値化処理による細胞核の領域またはそれ以外の領域であるかの判断は、例えば、画像内の各画素の色濃度値を、所定の条件（例えば、色濃度のしきい値）と比較することにより行う。前記しきい値は、例えば判別分析法、モード法、Ｋｉｔｔｌｅｒ法、３σ法、ｐ‐ｔｉｌｅ法等で設定することができる。しきい値との比較に代えて、最尤推定法を用いて二値化してもよい。前記二値化処理によって得られる二値化データは、第２の訓練用画像７１Ｒ１内の画素毎にラベル値として付してもよい。例えば、細胞核の領域を示す画素には「１」、細胞核の領域以外には「０」のラベル値が付される。また、前記ラベル値を第２の訓練用画像７１Ｒ１上に色として示してもよい（例えば、核領域は白、核以外の領域は黒）。

【0070】

次に第２の訓練データ７３Ｒ１を生成する。第２の訓練データ７３Ｒ１は、第１の予備訓練データ７０Ｒ１Ｌと、第２の予備訓練データ７１Ｒ１Ｎとから生成されるデータであり、真値像７３Ｒ１としてニューラルネットワーク５０に正解として学習させるデータである。第２の訓練データ７３Ｒ１は、第１の層構造を含む第１の訓練用画像７０Ｒ１および第２の訓練用画像７１Ｒ１から生成されるため、組織の層構造を示す正解は、第１の層構造の核領域である。第２の訓練データ７３Ｒ１には、第２の訓練用画像７１Ｒ１の各画素に対応する第１の層構造の核領域と、それ以外の領域を区別して示すラベル値が含まれる。例えば第１の層構造の核領域を示すラベル値は「１」、それ以外の領域を示すラベルは「０」である。図１に示す第２の訓練データ７３Ｒ１は、説明の便宜上画像で示されているが、前記ニューラルネットワークに入力される際には、各画素には、第１の層構造の核領域と、それ以外の領域を区別して示すラベル値が付与される。

【0071】

深層学習法では、図１に示す第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂおよび第２の訓練データ７３Ｒ１を第１の層構造訓練データ７４Ｒ１として使用する。具体的には、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂを入力層５０ａとし、第２の訓練データ７３Ｒ１を出力層５０ｂとするニューラルネットワーク５０に学習させる。すなわち、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂと第２の訓練データ７３Ｒ１とのペアの関係を、ニューラルネットワーク５０に学習させる。

【0072】

次に、図２を用いて、第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂと第４の訓練データ７３Ｒ２を含む第２の層構造訓練データ７４Ｒ２の生成の概要を説明する。図２において、スライドイメージ７０Ｗは図１と同様であるため、第３の訓練用画像７０Ｒ２には、第１の訓練用画像７０Ｒ１と同様に複数の色相が含まれる。

【0073】

第３の訓練用画像７０Ｒ２は、第１の層構造に替えて第２の層構造を用いる以外は、第１の訓練用画像７０Ｒ１と同様の方法で取得される。第３の訓練用画像７０Ｒ２からは、第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂと、第３の予備訓練データ７０Ｒ２Ｌとが生成される。

【0074】

第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂは、第１の層構造に替えて第２の層構造を用いる以外は、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂと同様の方法で生成される。図２に示す色濃度符号化図７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂから各画素のＲ、Ｇ、Ｂの色濃度値が組み合わされた第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂが生成される。

【0075】

図２において、第３の予備訓練データ７０Ｒ２Ｌは、第３の訓練用画像７０Ｒ２に含まれている層構造が、第２の層構造であることを示すデータである。前記データは、画像データであってもよく、第３の訓練用画像７０Ｒ２内の各画素に対応するラベル値であってもよい。例えば、第３の訓練用画像７０Ｒ２は全領域が第２の層構造であるため、第３の訓練用画像７０Ｒ２内の各画素全てに対して第２の層構造であることを示すラベル値として同じ数値が付される。第２の層構造であることを示すラベル値は、他の層構造を示す数値とは区別される。

【0076】

図２において、第４の訓練用画像７１Ｒ２は、第１の層構造に替えて第２の層構造を用いる以外は、第２の訓練用画像７１Ｒ１と同様の方法で取得される。第４の訓練用画像７１Ｒ２からは、第４の予備訓練データ７１Ｒ２Ｎが生成される。
第４の予備訓練データ７１Ｒ２Ｎは、第１の層構造に替えて第２の層構造を用いる以外は、第２の予備訓練データ７１Ｒ１Ｎと同様の方法で生成される。

【0077】

次に第４の訓練データ７３Ｒ２を生成する。第４の訓練データ７３Ｒ２は、第３の予備訓練データ７０Ｒ２Ｌと、第４の予備訓練データ７１Ｒ２Ｎとから生成されるデータであり、真値像７３Ｒ２としてニューラルネットワーク５０に正解として学習させるデータである。第４の訓練データ７３Ｒ２は、第２の層構造を含む第３の訓練用画像７０Ｒ２および第４の訓練用画像７１Ｒ２から生成されるため、組織の層構造を示す正解は、第２の層構造の核領域である。第４の訓練データ７３Ｒ２には、第４の訓練用画像７１Ｒ２の各画素に対応する第２の層構造の核領域と、それ以外の領域を区別して示すラベル値が含まれる。例えば第２の層構造の核領域を示すラベル値は「２」、それ以外の領域を示すラベル値は「０」である。図２に示す第４の訓練データ７３Ｒ２は、説明の便宜上画像で示されているが、前記ニューラルネットワークに入力される際には、各画素には、第２の層構造の核領域と、それ以外の領域を区別して示すラベル値が付与される。

【0078】

深層学習方法では、図２に示す第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂおよび第４の訓練データ７３Ｒ２を第２の層構造訓練データ７４Ｒ２として使用する。具体的には、第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂを入力層５０ａとし、第４の訓練データ７３Ｒ２を出力層５０ｂとしニューラルネットワーク５０に学習させる。すなわち、第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂと第４の訓練データ７３Ｒ２とのペアの関係を、ニューラルネットワーク５０に学習させる。

【0079】

次に、図３を用いて、第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂと第６の訓練データ７３Ｒ３を含む第２の層構造訓練データ７４Ｒ３の生成の概要を説明する。図３において、スライドイメージ７０Ｗは図１と同様であるため、第５の訓練用画像７０Ｒ３には、第１の訓練用画像７０Ｒ１と同様に複数の色相が含まれる。

【0080】

第５の訓練用画像７０Ｒ３は、第１の層構造に替えて第３の層構造を用いる以外は、第１の訓練用画像７０Ｒ１と同様の方法で取得される。第５の訓練用画像７０Ｒ３からは、第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂと、第５の予備訓練データ７０Ｒ３Ｌとが生成される。

【0081】

第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂは、第１の層構造に替えて第３の層構造を用いる以外は、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂと同様の方法で生成される。図３に示す色濃度符号化図７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂから各画素のＲ、Ｇ、Ｂの色濃度値が組み合わされた第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂとして生成される。

【0082】

図３において、第５の予備訓練データ７０Ｒ３Ｌは、第５の訓練用画像７０Ｒ３に含まれている層構造が、第３の層構造であることを示すデータである。前記データは、画像データであってもよく、第５の訓練用画像７０Ｒ３内の各画素に対応するラベル値であってもよい。例えば、第５の訓練用画像７０Ｒ３は全領域が第３の層構造であるため、第５の訓練用画像７０Ｒ３内の各画素全てに対して第３の層構造であることを示すラベル値として同じ数値が付される。第３の層構造であることを示す数値は、他の層構造を示す数値とは区別される。

【0083】

図３において、第６の訓練用画像７１Ｒ３は、第１の層構造に替えて第３の層構造を用いる以外は、第２の訓練用画像７１Ｒ１と同様の方法で取得される。第６の訓練用画像７１Ｒ３からは、第６の予備訓練データ７１Ｒ３Ｎが生成される。

【0084】

第６の予備訓練データ７１Ｒ３Ｎは、第１の層構造に替えて第３の層構造を用いる以外は、第２の予備訓練データ７１Ｒ１Ｎと同様の方法で生成される。

【0085】

次に第６の訓練データ７３Ｒ３を生成する。第６の訓練データ７３Ｒ３は、第５の予備訓練データ７０Ｒ３Ｌと、第６の予備訓練データ７１Ｒ３Ｎとから生成されるデータであり、真値像７３Ｒ３としてニューラルネットワーク５０に正解として学習させるデータである。第６の訓練データ７３Ｒ３は、第３の層構造を含む第５の訓練用画像７０Ｒ３および第６の訓練用画像７１Ｒ３から生成されるため、組織の層構造を示す正解は、第３の層構造の核領域である。第６の訓練データ７３Ｒ３には、第６の訓練用画像７１Ｒ３の各画素に対応する第３の層構造の核領域と、それ以外の領域を区別して示すラベル値が含まれる。例えば第３の層構造の核領域を示すラベル値は「３」、それ以外の領域を示すラベル値は「０」である。図３に示す第６の訓練データ７３Ｒ３は、説明の便宜上画像で示されているが、前記ニューラルネットワークに入力される際には、各画素には、第３の層構造の核領域と、それ以外の領域を区別して示すラベル値が付与される。

【0086】

深層学習方法では、図３に示す第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂおよび第６の訓練データ７３Ｒ３を第３の層構造訓練データ７４Ｒ３として使用する。具体的には、第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂを入力層５０ａとし、第６の訓練データ７３Ｒ３を出力層５０ｂとするニューラルネットワーク５０に学習させる。すなわち、第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂと第６の訓練データ７３Ｒ３とのペアの関係を、ニューラルネットワーク５０に学習させる。

【0087】

図４（ａ）から（ｃ）を参照して、第１の層構造訓練データ７４Ｒ１の生成方法を説明する。第１の層構造訓練データ７４Ｒ１は、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂの色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂのそれぞれの色濃度値と第２の訓練データ７３Ｒ１とを画素毎に組み合わせたデータである。第１の層構造訓練データ７４Ｒ１は、図４（ａ）では、その画像サイズ（訓練データ１つあたりの大きさ）が説明の便宜のために簡素化されており、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂおよび第２の訓練データ７３Ｒ１が、縦方向９画素および横方向９画素の合計８１画素を有する。

【0088】

図４（ｂ）に、第１の層構造訓練データ７４Ｒ１を構成する１つの画素における７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂのそれぞれの色濃度値と核領域を示すラベル値の組み合わせの一例を示す。図４（ｂ）の上段に示す３つの値７４Ｒ１ａが、各画素におけるＲ、Ｇ、Ｂ各色の色濃度値である。例示的には、３つの値は、左から、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の順序で格納されている。色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂの各画素の色濃度値は便宜的に値０から値７の８段階で示されている。これは、画像の前処理の一例として、撮像された際に２５６段階で表されている各色の画像７２Ｒ１Ｒ，７２Ｒ１Ｇ，７２Ｒ１Ｂの明るさを、８段階の色濃度値にそれぞれ変換する処理である。色濃度値は、例えば最も低い明るさ（ＲＧＢカラー２５６段階で表した時の輝度値が低い階調群）を色濃度値０とし、明るさの程度が高くなるに従い徐々に高い値を割り当ててゆき、最も高い明るさ（ＲＧＢカラー２５６段階で表した時の輝度値が高い階調群）を色濃度値７とする。図４（ｂ）中の下段に示す値７４Ｒ１ｂが、対応する画素の第２の訓練データ７３Ｒ１のラベル値である。例えばラベル値１は第１の層構造の細胞核を示し、ラベル値０はそれ以外の領域を示すこととする。すなわち、図１および図４（ａ）に示す第２の訓練データ７３Ｒ１において、ラベル値が１から０に変化する画素または０から１に変化する画素の位置が、第１の層構造の核領域とそれ以外の領域との境界に相当する。

【0089】

図１および図４（ｃ）に示す第１の層構造訓練データ７５Ｒ１は、図４（ａ）に示す第１の層構造訓練データ７４Ｒ１の所定の画素数の領域（以下、「ウィンドウサイズ」と記載する）を切り出したデータである。ウィンドウサイズの第１の層構造訓練データ７５Ｒ１も、説明の便宜のために３×３画素に簡素化して示すが、実際の好ましいウィンドウサイズは、例示的には１１３×１１３画素程度であり、その中に正常の胃上皮細胞の核が３×３個程度入る大きさが、学習効率の点から好ましい。例えば、図３（ｃ）に示すように、３×３画素のウィンドウＷ１を設定し、第１の層構造訓練データ７４Ｒ１に対してウィンドウＷ１を移動させる。ウィンドウＷ１の中心は、第１の層構造訓練データ７４Ｒ１のいずれかの画素に位置しており、例えば、黒枠で示すウィンドウＷ１内の第１の層構造訓練データ７４Ｒ１がウィンドウサイズの第１の層構造訓練データ７５Ｒ１として切り出される。切り出したウィンドウサイズの第１の層構造訓練データ７５Ｒ１は図１に示すニューラルネットワーク５０の学習に用いられる。

【0090】

図１に示すように、ニューラルネットワーク５０の入力層５０ａのノード数は、入力されるウィンドウサイズの第１の層構造訓練データ７５Ｒ１の画素数と画像に含まれる原色の数（例えば光の三原色であれば、Ｒ、Ｇ、Ｂの３つ）との積に対応している。ウィンドウサイズの第１の層構造訓練データ７５Ｒ１の各画素の色濃度値データ７６をニューラルネットワークの入力層５０ａとし、第１の層構造訓練データ７５Ｒ１の各画素の第２の訓練データ７３Ｒ１に対応するラベル値７４Ｒ１ｂのうち中心に位置する画素のラベル値７７Ｒ１を、ニューラルネットワークの出力層５０ｂとして、ニューラルネットワーク５０に学習させる。各画素の色濃度値データ７６は、第１の層構造訓練データ７５Ｒ１の各画素のＲ、Ｇ、Ｂ各色の色濃度値７４Ｒ１ａの集合データである。例示として、ウィンドウサイズの第１の層構造訓練データ７５Ｒ１が３×３画素である場合には、各画素についてＲ、Ｇ、Ｂ毎に１つずつの色濃度値７４ａが与えられるので、色濃度値データ７６の色濃度値数は「２７」（３×３×３＝２７）となり、ニューラルネットワーク５０の入力層５０ａのノード数も「２７」となる。

【0091】

このように、ニューラルネットワーク５０に入力するウィンドウサイズの第１の層構造訓練データ７５Ｒ１は、ユーザが作成することなく、コンピュータが自動的に作成することができる。これにより、ニューラルネットワーク５０の効率的な深層学習が促進される。

【0092】

図４（ｃ）に示すように、初期状態において、ウィンドウＷ１の中心は、第１の層構造訓練データ７４Ｒ１の左上角に位置している。以後、ウィンドウＷ１によってウィンドウサイズの第１の層構造訓練データ７５Ｒ１を切り出し、ニューラルネットワーク５０の学習を行う度に、ウィンドウＷ１の位置を移動させる。具体的には、ウィンドウＷ１の中心が第１の層構造訓練データ７４Ｒ１の例えば全ての画素を走査するように、ウィンドウＷ１を１画素単位で移動させる。これにより、第１の層構造訓練データ７４Ｒ１の全ての画素から切り出されたウィンドウサイズの第１の層構造訓練データ７５Ｒ１が、ニューラルネットワーク５０の学習に用いられる。よってニューラルネットワーク５０の学習の程度を向上でき、深層学習の結果、図６に示すニューラルネットワーク６０構造を有する深層学習アルゴリズムが得られる。

【0093】

図５（ａ）には、第２の層構造訓練データ７４Ｒ２を示す。第２の層構造訓練データ７４Ｒ２の生成方法は、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂおよび第２の訓練データ７３Ｒ１に替えて、第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂおよび第４の訓練データ７３Ｒ２を使用する点を除き、第１の層構造訓練データ７４Ｒ１と同様である。図５（ａ）において、第２の層構造訓練データ７４Ｒ２においては、例えばラベル値２は第２の層構造の細胞の核領域を示し、ラベル値０はそれ以外の領域を示すこととする。すなわち、図２に示す第４の訓練データ７３Ｒ２において、ラベル値が２から０に変化する画素または０から２に変化する画素の位置が、第２の層構造の核領域とそれ以外の領域との境界に相当する。第２の層構造訓練データ７５Ｒ２内の各画素の第４の訓練データ７３Ｒ２に対応するラベル値のうち中心に位置する画素のラベル値は、図２に示す出力層５０ｂに入力されるラベル値７７Ｒ２となる。

【0094】

図５（ｂ）には、第３の層構造訓練データ７４Ｒ３を示す。第３の層構造訓練データ７４Ｒ３の生成方法は、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂおよび第２の訓練データ７３Ｒ１に替えて、第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂおよび第６の訓練データ７３Ｒ３を使用する点を除き、第１の層構造訓練データ７４Ｒ１と同様である。図５（ｂ）において、第３の層構造訓練データ７４Ｒ３においては、例えばラベル値３は第３の層構造の細胞の核領域を示し、ラベル値０はそれ以外の領域を示すこととする。すなわち、図３に示す第６の訓練データ７３Ｒ３において、ラベル値が３から０に変化する画素または０から３に変化する画素の位置が、第４の層構造の核領域とそれ以外の領域との境界に相当する。第３の層構造訓練データ７５Ｒ３内の各画素の第６の訓練データ７３Ｒ３に対応するラベル値のうち中心に位置する画素のラベル値は、図３に示す出力層５０ｂに入力されるラベル値７７Ｒ３となる。

【0095】

第１の層構造訓練データ７５Ｒ１、第２の層構造訓練データ７５Ｒ２および第３の層構造訓練データ７５Ｒ３は、合わせて第１の層構造の核領域を示すラベルが１、第２の層構造の核領域を示すラベルが２、第３の層構造の核領域を示すラベルが３、第１の層構造の核領域、第２の層構造の核領域、および第３の層構造の核領域のいずれにも該当しない部分を示すラベルが０の４値のデータとなり、真値としてニューラルネットワーク５０に学習される。

【0096】

学習に使用されるウィンドウサイズの訓練用画像は、例えば２０倍～６０倍の拡大倍率で撮像されたホールスライドイメージを３００～６００分割したものを用いることが好ましい。ホールスライドイメージの拡大倍率は、２０倍、４０倍、６０倍から選択することができる。好ましくは、４０倍である。ホールスライドイメージの分割は、３００分割、３５０分割、４００分割、４５０分割、５００分割、５５０分割、６００分割程度から選択することができる。好ましくは４０倍の拡大倍率で撮像されたホールスライドイメージを５１２分割した訓練用画像を使用することができる。訓練用画像の枚数は制限されないが、各層構造について、少なくとも１０枚、少なくとも３０枚、少なくとも５０枚使用することが好ましい。ウィンドウサイズは、２５±３０μｍ×２５±３０μｍの範囲から選択することができる。好ましくは２５±２０μｍ×２５±２０μｍの範囲、より好ましくは２５±２０μｍ×２５±２０μｍの範囲、さらに好ましくは２５±１０μｍ×２５±１０μｍの範囲である。最も好ましくは２５±５μｍ×２５±５μｍの範囲である。

【0097】

・画像解析方法の概要
図６に示すように、画像解析方法では、解析対象の組織または細胞を含む標本を撮像した解析対象画像（明視野画像）７８から、解析用データ８０を生成する。前記標本は、第１の訓練用画像７０Ｒ１と同じ染色が施されていることが好ましい。解析対象画像７８も、例えば公知の顕微鏡またはバーチャルスライドスキャナ等を用いて、例えばカラー画像として取得することができる。解析対象画像（明視野画像）７８は、１以上の原色を含む画像であればよい。カラーの解析対象画像７８を、各画素についてＲ、Ｇ、Ｂ各色の色濃度値で符号化すると、画像全体をＲ、Ｇ、Ｂ毎に各画素における色濃度値の符号化図として表すことができる（解析用色濃度符号化図７９ｒ，７９ｇ，７９ｂ）。色濃度符号化図７９ｒ，７９ｇ，７９ｂから画素毎にＲ、Ｇ、Ｂの色濃度値が組み合わされた解析対象データが生成される。図６に例示的に示すＲ、Ｇ、Ｂ各色の単一色画像における色濃度の符号を示す色濃度符号化図７９ｒ，７９ｇ，７９ｂは、３原色の各画像７９Ｒ，７９Ｇ，７９Ｂに代えて、値０から値７の８段階で符号で表された色濃度値を表示している。

【0098】

解析用データ８０は、解析対象データの所定の画素数の領域（すなわち、ウィンドウサイズ）を切り出したデータであり、解析対象画像７８に含まれている組織または細胞の色濃度値を含むデータである。ウィンドウサイズの解析用データ８０も、第１の層構造訓練データ７５Ｒ１、第２の層構造訓練データ７５Ｒ２および第３の層構造訓練データ７５Ｒ３と同様に、説明の便宜のために３×３画素に簡素化して示すが、実際の好ましいウィンドウサイズは、例示的には１１３×１１３画素程度であり、その中に正常の胃上皮細胞の核が３×３個程度入る大きさが、判別精度の点から好ましく、例えば４０倍の視野で１１３×１１３画素程度である。例えば、３×３画素のウィンドウＷ２を設定し、解析対象データに対してウィンドウＷ２を移動させる。ウィンドウＷ２の中心は、解析対象データのいずれかの画素に位置しており、色濃度符号化図７９ｒ，７９ｇ，７９ｂを、例えば３×３画素の黒枠で示すウィンドウＷ２によって切り出すと、ウィンドウサイズの解析用データ８０が得られる。このように、解析用データ８０は、解析対象データから、所定の画素を中心として周辺の画素を含む領域毎に生成される。所定の画素とは、ウィンドウＷ２の中心に位置する解析対象データの画素を意味し、周辺の画素とは、この所定の画素を中心とする、ウィンドウサイズの範囲内に含まれる解析対象データの画素を意味する。解析用データ８０においても、第１の層構造訓練データ７５Ｒ１、第２の層構造訓練データ７５Ｒ２および第３の層構造訓練データ７５Ｒ３と同様に、各画素について、色濃度値が赤（Ｒ）、緑（Ｇ）および青（Ｂ）の順序で格納されている。

【0099】

画像解析方法では、図１から図３に示すウィンドウサイズの第１の層構造訓練データ７５Ｒ１、第２の層構造訓練データ７５Ｒ２および第３の層構造訓練データ７５Ｒ３を用いて学習させたニューラルネットワークを有する深層学習アルゴリズム６０を用いて、解析用データ８０を処理する。解析用データ８０を処理することによって、解析対象の組織における層構造を示すデータ８３を生成する。

【0100】

再び図６を参照し、解析対象データから切り出された解析用データ８０が深層学習アルゴリズムを構成するニューラルネットワーク６０に入力される。ニューラルネットワーク６０の入力層６０ａのノード数は、入力される画素数と画像に含まれる原色の数との積に対応している。解析用データ８０の各画素の色濃度値データ８１を、ニューラルネットワーク６０に入力すると、出力層６０ｂからは、解析用データ８０の中心に位置する画素の推定値８２（４値）が出力される。例えば推定値が１の場合は第１の層構造の核領域であることを示し、推定値が２の場合は第２の層構造の核領域であることを示し、推定値が３の場合は第３の層構造の核領域であることを示し、推定値が０の場合は、細胞核以外の領域であることを示す。すなわち、ニューラルネットワーク６０の出力層６０ｂから出力される推定値８２は、解析対象画像の画素毎に生成されるラベル値であり、解析対象画像における層構造を示すデータである。推定値８２は、ニューラルネットワークに関する後述する説明ではクラスとも呼ばれる。ニューラルネットワーク６０は、入力された解析用データ８０に対し、解析用データ８０の中心に位置する画素に対し、層構造を示すラベル値を生成する。言い替えると、ニューラルネットワーク６０は、解析用データ８０を、解析対象画像に含まれる組織の層構造を示すクラスに分類する。ここで、各画素の色濃度値データ８１は、解析用データ８０の各画素のＲ、Ｇ、Ｂ各色の色濃度値の集合データである。

【0101】

以後、ウィンドウＷ２の中心が解析対象データの全ての画素を走査するように、ウィンドウＷ２を１画素単位で移動させながら、解析用データ８０をウィンドウサイズで切り出す。切り出された解析用データ８０を、ニューラルネットワーク６０に入力する。これにより、解析対象画像における組織または細胞の層構造を示すデータとして、ラベル値８３を得る。図６に示す例では、ラベル値８３についてさらに各層構造の核領域検出処理を行うことにより、各層構造の核領域を示す層構造核領域強調画像８４を得る。層構造核領域検出処理は、具体的には、例えば推定値８２に応じて各層構造の核領域を示す画素を検出する処理となり、実際に推定値８２が１の画素を第１の層構造の核領域と、推定値８２が２の画素を第２の層構造の核領域と、推定値８２が３の画素を第３の層構造の核領域と判別する処理となる。層構造核領域強調画像８４は、ラベル値８３をラベル値に応じた色で表した画像である。また、第１の層構造の核領域を判別した後に、第１の層構造の核領域と、それ以外の領域（すなわち、第２の層構造および／または第３の層構造核領域または核領域以外の領域）とを識別可能に表示装置に表示させる処理を行ってもよい。例えば、第１の層構造の核領域を色で塗りつぶす、第１の層構造の核領域とそれ以外の領域との間に線を描画する等の処理を行い、これらを表示装置に識別可能に表示する。また、第２の層構造および／または第３の層構造核領域についても、関心領域（解析の対象となる領域）の層構造の核領域と、それ以外の領域とを識別可能に表示装置に表示させる処理を行ってもよい。

【0102】

＜第１の実施形態＞
第１の実施形態では、上述の概要で説明した深層学習方法および画像解析方法を実施するシステムの構成について、具体的に説明する。

【0103】

［構成の概要］
図７を参照すると、第１の実施形態に係る画像解析システムは、深層学習装置１００Ａと、画像解析装置２００Ａとを備える。ベンダ側装置１００は深層学習装置１００Ａとして動作し、ユーザ側装置２００は画像解析装置２００Ａとして動作する。深層学習装置１００Ａは、ニューラルネットワーク５０に訓練データを使って学習させ、訓練データによって訓練された深層学習アルゴリズム６０をユーザに提供する。学習済みのニューラルネットワーク６０から構成される深層学習アルゴリズムは、記憶媒体９８またはネットワーク９９を通じて、深層学習装置１００Ａから画像解析装置２００Ａに提供される。画像解析装置２００Ａは、学習済みのニューラルネットワーク６０から構成される深層学習アルゴリズムを用いて解析対象の画像の解析を行う。

【0104】

深層学習装置１００Ａは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、深層学習処理を行う。画像解析装置２００Ａは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、画像解析処理を行う。記憶媒体９８は、例えばＤＶＤ－ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記憶媒体である。

【0105】

深層学習装置１００Ａは撮像装置３００に接続されている。撮像装置３００は、撮像素子３０１と、蛍光顕微鏡３０２とを備え、ステージ３０９上にセットされた学習用の標本３０８の、明視野画像および蛍光画像を撮像する。学習用の標本３０８は、上述の染色が施されている。深層学習装置１００Ａは、撮像装置３００によって撮像された訓練用画像を取得する。

【0106】

画像解析装置２００Ａは撮像装置４００に接続されている。撮像装置４００は、撮像素子４０１と、蛍光顕微鏡４０２とを備え、ステージ４０９上にセットされた解析対象の標本４０８の、明視野画像を撮像する。解析対象の標本４０８は、上述の通り予め染色されている。画像解析装置２００Ａは、撮像装置４００によって撮像された解析対象画像７８を取得する。

【0107】

撮像装置３００，４００には、標本を撮像する機能を有する、公知の蛍光顕微鏡またはバーチャルスライドスキャナ等を用いることができる。撮像装置４００は、標本を撮像する機能を有する限り、光学顕微鏡であっても良い。

【0108】

［ハードウェア構成］
図８を参照すると、ベンダ側装置１００（１００Ａ，１００Ｂ）は、処理部１０（１０Ａ，１０Ｂ）と、入力部１６と、出力部１７とを備える。

【0109】

処理部１０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）１１と、データ処理の作業領域に使用するメモリ１２と、後述するプログラムおよび処理データを記憶する記憶部１３と、各部の間でデータを伝送するバス１４と、外部機器とのデータの入出力を行うインタフェース部１５と、ＧＰＵ（Graphics Processing Unit）１９とを備えている。入力部１６および出力部１７は、処理部１０に接続されている。例示的には、入力部１６はキーボードまたはマウス等の入力装置であり、出力部１７は液晶ディスプレイ等の表示装置である。ＧＰＵ１９は、ＣＰＵ１１が行う演算処理（例えば、並列演算処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ１１が行う処理とは、ＣＰＵ１１がＧＰＵ１９をアクセラレータとして用いて行う処理も含むことを意味する。

【0110】

また、処理部１０は、以下の図１０で説明する各ステップの処理を行うために、本発明に係るプログラムおよび学習前のニューラルネットワーク５０を、例えば実行形式で記憶部１３に予め記憶している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。処理部１０は、記憶部１３に記憶したプログラムおよび学習前のニューラルネットワーク５０を使用して処理を行う。

【0111】

以下の説明においては、特に断らない限り、処理部１０が行う処理は、記憶部１３またはメモリ１２に格納されたプログラムおよびニューラルネットワーク５０に基づいて、ＣＰＵ１１が行う処理を意味する。ＣＰＵ１１はメモリ１２を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、記憶部１３に演算結果等の長期保存するデータを適宜記憶する。

【0112】

図９を参照すると、ユーザ側装置２００（２００Ａ，２００Ｂ，２００Ｃ）は、処理部２０（２０Ａ，２０Ｂ，２０Ｃ）と、入力部２６と、出力部２７とを備える。

【0113】

処理部２０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）２１と、データ処理の作業領域に使用するメモリ２２と、後述するプログラムおよび処理データを記憶する記憶部２３と、各部の間でデータを伝送するバス２４と、外部機器とのデータの入出力を行うインタフェース部２５と、ＧＰＵ（Graphics Processing Unit）２９とを備えている。入力部２６および出力部２７は、処理部２０に接続されている。例示的には、入力部２６はキーボードまたはマウス等の入力装置であり、出力部２７は液晶ディスプレイ等の表示装置である。ＧＰＵ２９は、ＣＰＵ２１が行う演算処理（例えば、並列演算処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ２１が行う処理とは、ＣＰＵ２１がＧＰＵ２９をアクセラレータとして用いて行う処理も含むことを意味する。

【0114】

また、処理部２０は、以下の図１４で説明する各ステップの処理を行うために、本発明に係るプログラムおよび学習済みのニューラルネットワーク構造の深層学習アルゴリズム６０を、例えば実行形式で記憶部２３に予め記憶している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。処理部２０は、記憶部２３に記憶したプログラムおよび深層学習アルゴリズム６０を使用して処理を行う。

【0115】

以下の説明においては、特に断らない限り、処理部２０が行う処理は、記憶部２３またはメモリ２２に格納されたプログラムおよび深層学習アルゴリズム６０に基づいて、実際には処理部２０のＣＰＵ２１が行う処理を意味する。ＣＰＵ２１はメモリ２２を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、記憶部２３に演算結果等の長期保存するデータを適宜記憶する。

【0116】

［機能ブロックおよび処理手順］
・深層学習処理
図１０を参照すると、第１の実施形態に係る深層学習装置１００Ａの処理部１０Ａは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３とを備える。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラムを、処理部１０Ａの記憶部１３またはメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部１０Ａの記憶部１３またはメモリ１２に記憶される。

【0117】

学習用の標本の第１の訓練用画像７０Ｒ１、第２の訓練用画像７１Ｒ１、第３の訓練用画像７０Ｒ２、第４の訓練用画像７１Ｒ２、第５の訓練用画像７０Ｒ３、第６の訓練用画像７１Ｒ３は、撮像装置３００によって予め撮像され、処理部１０Ａの記憶部１３またはメモリ１２に予め記憶されていることとする。ニューラルネットワーク５０は、例えば解析対象の標本が由来する組織の種別（例えば組織名）と対応付けられて、アルゴリズムデータベース１０５に予め格納されている。

【0118】

深層学習装置１００Ａの処理部１０Ａは、図１１に示す処理を行う。図１０に示す各機能ブロックを用いて説明すると、ステップＳ１０からＳ１４、Ｓ１９およびＳ２０の処理は、訓練データ生成部１０１が行う。ステップＳ１５の処理は、訓練データ入力部１０２が行う。ステップＳ１６からＳ１８の処理は、アルゴリズム更新部１０３が行う。

【0119】

以下に説明するステップＳ１０からＳ２０では、第１の訓練用画像７０Ｒ１および第２の訓練用画像７１Ｒ１の１ペアと、第３の訓練用画像７０Ｒ２および第４の訓練用画像７１Ｒ２の１ペアと、第５の訓練用画像７０Ｒ３および第６の訓練用画像７１Ｒ３の１ペアとを用いた深層学習処理を説明する。

【0120】

処理部１０Ａは、深層学習方法の概要に記載の方法に準じて、第１の層構造訓練データ７４Ｒ１、第２の層構造訓練データ７４Ｒ２および第３の層構造訓練データ７４Ｒ３を生成するための深層学習処理を行う。処理部１０Ａは、例えば、検査者の入力部１６からの操作により、第１の訓練用画像７０Ｒ１の領域を含む広い領域の画像（スライドイメージ７０Ｗ）を、出力部１７に表示する。判定を行う検査者は、出力部１７に表示されたスライドイメージ７０Ｗの画像を目視で確認する。検査者は、第１の層構造を含むと判定したスライドイメージ７０Ｗ中の領域を、例えば入力部１６を介して指定し、スライドイメージ７０Ｗに例えば赤色等の実線で囲む。検査者は、第２の層構造および第３の層構造についても、同様に、スライドイメージ７０Ｗ中の領域について、例えば赤色とは異なる青色、緑色等の実線で囲む。処理部１０Ａは、スライドイメージ７０Ｗを出力部１７に表示して検査者により判断してもらうことに代えて、判定済みのスライドイメージ７０Ｗを、Ｉ／Ｆ部１５を介して例えばネットワーク９９を介して取得してもよい。

【0121】

処理部１０Ａは、検査者の入力部１６からの指定により、スライドイメージ７０Ｗ中に赤色の実線で囲まれている領域から取得された第１の訓練用画像７０Ｒ１を所定の画素数を含むように切り出す。同様に、第２の層構造および第３の層構造と判定された部分からも、第３の訓練用画像７０Ｒ２、第５の訓練用画像７０Ｒ３のそれぞれを、所定の画素数を含むように切り出す。

【0122】

ステップＳ１０において、処理部１０Ａは、切り出された第１の訓練用画像７０Ｒ１から第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂとしてＲ、Ｇ、Ｂ各色の色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂを生成する。色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂは、第１の訓練用画像７０Ｒ１の各画素のＲ、Ｇ、Ｂ各色の色濃度値を段階的に表す符号を各画素に付すことにより生成する。本実施形態では、色濃度値を値０から値２５５の２５６階調で表して各Ｒ、Ｇ、Ｂ階調画像について色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂを生成する。色濃度値の割り当ては、例えば最も低い明るさを色濃度値０とし、明るさの程度が高くなるに従い徐々に高い値を割り当ててゆき、最も高い明るさを色濃度値２５５とする。第３の訓練用画像７０Ｒ２、第５の訓練用画像７０Ｒ３のそれぞれからも、同様に第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ、第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂを生成する。

【0123】

ステップＳ１１において、処理部１０Ａは、第１の訓練用画像７０Ｒ１、第３の訓練用画像７０Ｒ２、第５の訓練用画像７０Ｒ３がそれぞれ第１の層構造、第２の層構造、および第３の層構造であることを示す第１の予備訓練データ７０Ｒ１Ｌ、第３の予備訓練データ７０Ｒ２Ｌ、第５の予備訓練データ７０Ｒ３Ｌを生成する。

【0124】

具体的には、第１の訓練用画像７０Ｒ１の各画素には、第１の層構造であることを示すラベル値として、例えば値「１」を付与し、第１の予備訓練データ７０Ｒ１Ｌとする。第３の訓練用画像７０Ｒ２の各画素には、第２の層構造であることを示すラベル値として、例えば値「２」を付与し、第３の予備訓練データ７０Ｒ２Ｌとする。第５の訓練用画像７０Ｒ３の各画素には、第３の層構造であることを示すラベル値として、例えば値「３」を付与し、第５の予備訓練データ７０Ｒ３Ｌとする。

【0125】

ステップＳ１２において、処理部１０Ａは、検査者の入力部１６からの指定により、第１の訓練用画像７０Ｒ１に対応する部位について蛍光核染色画像から切り出された第２の訓練用画像７１Ｒ１の各画素の階調を二値化して、学習対象の組織の核領域を示す第２の予備訓練データ７１Ｒ１Ｎを生成する。処理部１０Ａは、検査者の入力部１６からの指定により、第３の訓練用画像７０Ｒ２に対応する部位について蛍光核染色画像から切り出された第４の訓練用画像７１Ｒ２の各画素の階調を二値化して、学習対象の組織の核領域を示す第４の予備訓練データ７１Ｒ２Ｎを生成する。処理部１０Ａは、検査者の入力部１６からの指定により、第５の訓練用画像７０Ｒ３に対応する部位について蛍光核染色画像から切り出された第６の訓練用画像７１Ｒ３の各画素の階調を二値化して、学習対象の組織の核領域を示す第６の予備訓練データ７１Ｒ３Ｎを生成する。

【0126】

ステップＳ１３ａにおいて、処理部１０Ａは、第１の予備訓練データ７０Ｒ１Ｌと、第２の予備訓練データ７１Ｒ１Ｎとから、第２の訓練データ７３Ｒ１を生成する。

【0127】

ステップＳ１３ｂにおいて、処理部１０Ａは、第３の予備訓練データ７０Ｒ２Ｌと、第４の予備訓練データ７１Ｒ２Ｎとから、第４の訓練データ７３Ｒ２を生成する。

【0128】

ステップＳ１３ｃにおいて、処理部１０Ａは、第５の予備訓練データ７０Ｒ３Ｌと、第６の予備訓練データ７１Ｒ３Ｎとから、第６の訓練データ７３Ｒ３を生成する。

【0129】

ステップＳ１４において、処理部１０Ａは、入力部１６を通じて、深層学習装置１００Ａ側の検査者からの、学習用の組織の種別の入力を受け付ける。処理部１０Ａは、入力された組織の種別に基づき、ウィンドウサイズデータベース１０４（ウィンドウサイズＤＢ１０４）を参照して、ウィンドウサイズを設定し、アルゴリズムデータベース１０５（アルゴリズムＤＢ１０５）を参照して、学習に用いるニューラルネットワーク５０を設定する。ウィンドウサイズは例えば１１３×１１３画素とする。この画素サイズは、例えば４０倍で撮像された画像におけるサイズである。例示的には２つから９つ程度の複数の細胞のうち、少なくとも１つの細胞の細胞核領域の全体形状が、ウィンドウ内に含まれることをサポートするサイズである。ウィンドウサイズは、１回の入力時にニューラルネットワーク５０に入力する訓練データの単位であり、ウィンドウサイズの第１の層構造訓練データ７５Ｒ１の画素数と画像に含まれる色の原色の数との積が、入力層５０ａのノード数に対応している。ウィンドウサイズは組織の種別と対応付けられて、ウィンドウサイズデータベース１０４内に予め記憶されている。

【0130】

ステップＳ１５において、処理部１０Ａは、色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂである第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂおよび第２の訓練データ７３Ｒ１から、ウィンドウサイズの第１の層構造訓練データ７５Ｒ１を生成する。具体的には、上述の「深層学習方法の概要」において、図４（ａ）ないし（ｃ）を参照して説明したように、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂおよび第２の訓練データ７３Ｒ１を組み合わせた第１の層構造訓練データ７４Ｒ１から、ウィンドウＷ１によって、ウィンドウサイズの第１の層構造訓練データ７５Ｒ１を作成する。処理部１０Ａは、色濃度符号化図７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂである第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂおよび第４の訓練データ７３Ｒ２から、ウィンドウサイズの第２の層構造訓練データ７５Ｒ２を生成する。具体的には、上述の「深層学習方法の概要」において、図４（ａ）ないし（ｃ）および図５（ａ）を参照して説明したように、色濃度符号化図７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂである第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂおよび第４の訓練データ７３Ｒ２を組み合わせた第２の層構造訓練データ７４Ｒ２から、ウィンドウＷ１によって、ウィンドウサイズの第２の層構造訓練データ７５Ｒ２を作成する。処理部１０Ａは、色濃度符号化図７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂである第５の訓練データおよび第６の訓練データ７３Ｒ３から、ウィンドウサイズの第３の層構造訓練データ７５Ｒ３を生成する。具体的には、上述の「深層学習方法の概要」において、図４（ａ）ないし（ｃ）および図５（ｂ）を参照して説明したように、色濃度符号化図７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂである第５の訓練データおよび第６の訓練データ７３Ｒ３を組み合わせた第３の層構造訓練データ７４Ｒ３から、ウィンドウＷ１によって、ウィンドウサイズの第３の層構造訓練データ７５Ｒ３を作成する。

【0131】

図１０に示すステップＳ１６において、処理部１０Ａは、ウィンドウサイズの第１の層構造訓練データ７５Ｒ１、第２の層構造訓練データ７５Ｒ２および第３の層構造訓練データ７５Ｒ３を用いて、ニューラルネットワーク５０を学習させる。ニューラルネットワーク５０の学習結果は、ウィンドウサイズの第１の層構造訓練データ７５Ｒ１、第２の層構造訓練データ７５Ｒ２および第３の層構造訓練データ７５Ｒ３を用いてニューラルネットワーク５０を学習させる度に蓄積される。

【0132】

実施形態に係る画像解析方法では、畳み込みニューラルネットワークを使用しており、確率的勾配降下法を用いるため、ステップＳ１７において、処理部１０Ａは、予め定められた所定の試行回数分の学習結果が蓄積されているか否かを判断する。学習結果が所定の試行回数分蓄積されている場合、処理部１０ＡはステップＳ１８の処理を行い、学習結果が所定の試行回数分蓄積されていない場合、処理部１０ＡはステップＳ１９の処理を行う。

【0133】

学習結果が所定の試行回数分蓄積されている場合、ステップＳ１８において、処理部１０Ａは、ステップＳ１６において蓄積しておいた学習結果を用いて、ニューラルネットワーク５０の結合重みｗを更新する。実施形態に係る画像解析方法では、確率的勾配降下法を用いるため、所定の試行回数分の学習結果が蓄積した段階で、ニューラルネットワーク５０の結合重みｗを更新する。結合重みｗを更新する処理は、具体的には、後述の（式１１）および（式１２）に示される、勾配降下法による計算を実施する処理である。

【0134】

ステップＳ１９において、処理部１０Ａは、第１の層構造訓練データ７４Ｒ１、第２の層構造訓練データ７４Ｒ２および第３の層構造訓練データ７４Ｒ３のそれぞれについて各層構造訓練データ内の規定数の画素を処理したか否かを判断する。各層構造訓練データの規定数の画素について、ステップＳ１６からステップＳ１８の一連の処理がなされている場合は、深層学習処理を終了する。ニューラルネットワークの学習は、必ずしも層構造訓練データ７４Ｒ１、７４Ｒ２、７４Ｒ３の全ての画素に対して行う必要は無く、処理部１０Ａは、層構造訓練データ７４Ｒ１、７４Ｒ２、７４Ｒ３画像内の一部の画素、すなわち規定数の画素に対して処理をし学習を行うことができる。規定数の画素は、層構造訓練データ７４Ｒ１、７４Ｒ２、７４Ｒ３内の全ての画素であってもよい。

【0135】

層構造訓練データ内の規定数の画素が処理されていない場合は、処理部１０Ａは、ステップＳ２０において、図４（ｃ）に示すように、第１の層構造訓練データ７４Ｒ１内、第２の層構造訓練データ７４Ｒ２内または第３の層構造訓練データ７４Ｒ３内において、ウィンドウの中心位置を１画素単位で移動させる。その後、処理部１０Ａは、移動後の新たなウィンドウ位置において、ステップＳ１５からステップＳ１８の一連の処理を行う。すなわち、処理部１０Ａは、ステップＳ１５において、移動後の新たなウィンドウ位置において第１の層構造訓練データ７４Ｒ１、第２の層構造訓練データ７４Ｒ２および第３の層構造訓練データ７４Ｒ３のそれぞれについてウィンドウサイズの各層構造訓練データ７５Ｒ１，７５Ｒ２，７５Ｒ３を切り出す。引き続き、処理部１０Ａは、ステップＳ１６において、新たに切り出したウィンドウサイズの各層構造訓練データ７５Ｒ１，７５Ｒ２，７５Ｒ３を用いて、ニューラルネットワーク５０を学習させる。ステップＳ１７において、所定の試行回数分の学習結果が蓄積されている場合は、処理部１０Ａは、ステップＳ１８において、ニューラルネットワーク５０の結合重みｗを更新する。このようなウィンドウサイズ毎のニューラルネットワーク５０の学習を、第１の層構造訓練データ７４Ｒ１、第２の層構造訓練データ７４Ｒ２および第３の層構造訓練データ７４Ｒ３のそれぞれについて規定数の画素に対して行う。

【0136】

以上説明した、ステップＳ１０からＳ２０の深層学習処理を、さらに第１の訓練用画像７０Ｒ１および第２の訓練用画像７１Ｒ１の複数のペアと、第３の訓練用画像７０Ｒ２および第４の訓練用画像７１Ｒ２の複数のペアと、第５の訓練用画像７０Ｒ３および第６の訓練用画像７１Ｒ３の複数のペアに対して繰り返し行うことにより、ニューラルネットワーク５０の学習の程度を向上させる。これにより、図５に示すニューラルネットワーク構造の深層学習アルゴリズム６０を得る。
・ニューラルネットワークの構造

【0137】

図１２（ａ）に示すように、第１の実施形態では、深層学習タイプのニューラルネットワークを用いる。深層学習タイプのニューラルネットワークは、図１２に示すニューラルネットワーク５０のように、入力層５０ａと、出力層５０ｂと、入力層５０ａおよび出力層５０ｂの間の中間層５０ｃとを備え、中間層５０ｃが複数の層で構成されている。中間層５０ｃを構成する層の数は、例えば５層以上とすることができる。

【0138】

ニューラルネットワーク５０では、層状に配置された複数のノード８９が、層間において結合されている。これにより、情報が入力側の層５０ａから出力側の層５０ｂに、図中矢印Ｄに示す一方向のみに伝播する。本実施形態では、入力層５０ａのノード数は、入力される画像の画素数すなわち図４（ｃ）に示すウィンドウＷ１の画素数と各画素に含まれる色の原色の数との積に対応している。入力層５０ａに画像の画素データ（色濃度値）を入力することができるので、ユーザは入力画像から特徴量を別途算出することなく、入力画像を入力層５０ａに入力することができる。

【0139】

・各ノードにおける演算
図１２（ｂ）は、各ノードにおける演算を示す模式図である。各ノード８９では、複数の入力を受け取り、１つの出力（ｚ）を計算する。図１２（ｂ）に示す例の場合、ノード８９は４つの入力を受け取る。ノード８９が受け取る総入力（ｕ）は、以下の（式１）で表される。

【0140】

【数1】

【0141】

各入力には、それぞれ異なる重みが掛けられる。（式１）中、ｂはバイアスと呼ばれる値である。ノードの出力（ｚ）は、（式１）で表される総入力（ｕ）に対する所定の関数ｆの出力となり、以下の（式２）で表される。関数ｆは活性化関数と呼ばれる。

【0142】

【数2】

【0143】

図１２（ｃ）は、ノード間の演算を示す模式図である。ニューラルネットワーク５０では、（式１）で表される総入力（ｕ）に対して、（式２）で表される結果（ｚ）を出力するノードが層状に並べられている。前の層のノードの出力が、次の層のノードの入力となる。図１２（ｃ）に示す例では、図中左側の層のノード８９ａの出力が、図中右側の層のノード８９ｂの入力となる。右側の層の各ノード８９ｂは、それぞれ、左側の層のノード８９ａからの出力を受け取る。左側の層の各ノード８９ａと右側の層の各ノード８９ｂとの間の各結合には、異なる重みが掛けられる。左側の層の複数のノード８９ａのそれぞれの出力をｘ_１～ｘ_４とすると、右側の層の３つのノード８９ｂのそれぞれに対する入力は、以下の（式３－１）～（式３－３）で表される。

【0144】

【数3】

【0145】

これら（式３－１）～（式３－３）を一般化すると、（式３－４）となる。ここで、ｉ＝１，・・・Ｉ、ｊ＝１，・・・Ｊである。

【0146】

【数4】

【0147】

（式３－４）を活性化関数に適用すると出力が得られる。出力は以下の（式４）で表される。

【0148】

【数5】

【0149】

・活性化関数
実施形態に係る画像解析方法では、活性化関数として、正規化線形関数（rectified linear unit function）を用いる。正規化線形関数は以下の（式５）で表される。

【0150】

【数6】

【0151】

（式５）は、ｚ＝ｕの線形関数のうち、ｕ＜０の部分をｕ＝０とする関数である。図１２（ｃ）に示す例では、ｊ＝１のノードの出力は、（式５）により、以下の式で表される。

【0152】

【数7】

・ニューラルネットワークの学習

【0153】

ニューラルネットワークを用いて表現される関数をｙ（ｘ：ｗ）とおくと、関数ｙ（ｘ：ｗ）は、ニューラルネットワークのパラメータｗを変化させると変化する。入力ｘに対してニューラルネットワークがより好適なパラメータｗを選択するように、関数ｙ（ｘ：ｗ）を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワークを用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力ｘに対する望ましい出力をｄとすると、入出力の組は、｛（ｘ_１，ｄ_１），（ｘ_２，ｄ_２），・・・，（ｘ_ｎ，ｄ_ｎ）｝と与えられる。（ｘ，ｄ）で表される各組の集合を、訓練データと呼ぶ。具体的には、図３（ｂ）に示す、Ｒ、Ｇ、Ｂ各色の単一色画像における画素毎の色濃度値と真値像のラベルとの組、の集合が、図３（ａ）に示す訓練データである。

【0154】

ニューラルネットワークの学習とは、どのような入出力の組（ｘ_ｎ，ｄ_ｎ）に対しても、入力ｘ_ｎを与えたときのニューラルネットワークの出力ｙ（ｘ_ｎ：ｗ）が、出力ｄ_ｎになるべく近づくように重みｗを調整することを意味する。

【0155】

【数8】

【0156】

誤差関数（error function）とは、ニューラルネットワークを用いて表現される関数と訓練データとの近さを測る尺度である。誤差関数は損失関数（loss function）とも呼ばれる。実施形態に係る画像解析方法において用いる誤差関数Ｅ（ｗ）は、以下の（式６）で表される。（式６）は交差エントロピー（cross entropy）と呼ばれる。

【0157】

【数9】

【0158】

（式６）の交差エントロピーの算出方法を説明する。実施形態に係る画像解析方法において用いるニューラルネットワーク５０の出力層５０ｂでは、すなわちニューラルネットワークの最終層では、入力ｘを内容に応じて有限個のクラスに分類するための活性化関数を用いる。活性化関数はソフトマックス関数（softmax function）と呼ばれ、以下の（式７）で表される。なお、出力層５０ｂには、クラス数ｋと同数のノードが並べられているとする。出力層Ｌの各ノードｋ（ｋ＝１，・・・Ｋ）の総入力ｕは、前層Ｌ－１の出力から、ｕ_ｋ ^（Ｌ）で与えられるとする。これにより、出力層のｋ番目のノードの出力は以下の（式７）で表される。

【0159】

【数10】

【0160】

（式７）がソフトマックス関数である。（式７）で決まる出力ｙ_１，・・・，ｙ_Ｋの総和は常に１となる。

【0161】

各クラスをＣ_１，・・・，Ｃ_Ｋと表すと、出力層Ｌのノードｋの出力ｙ_ｋ（すなわちｕ_ｋ ^（Ｌ））は、与えられた入力ｘがクラスＣ_ｋに属する確率を表す。以下の（式８）を参照されたい。入力ｘは、（式８）で表される確率が最大になるクラスに分類される。

【0162】

【数11】

【0163】

ニューラルネットワークの学習では、ニューラルネットワークで表される関数を、各クラスの事後確率（posterior probability）のモデルとみなし、そのような確率モデルの下で、訓練データに対する重みｗの尤度（likelihood）を評価し、尤度を最大化するような重みｗを選択する。

【0164】

（式７）のソフトマックス関数による目標出力ｄ_ｎを、出力が正解のクラスである場合のみ１とし、出力がそれ以外の場合は０になるとする。目標出力をｄ_ｎ＝［ｄ_ｎ１，・・・，ｄ_ｎＫ］というベクトル形式で表すと、例えば入力ｘ_ｎの正解クラスがＣ_３である場合、目標出力ｄ_ｎ３のみが１となり、それ以外の目標出力は０となる。このように符号化すると、事後分布（posterior）は以下の（式９）で表される。

【0165】

【数12】

【0166】

訓練データ｛（ｘ_ｎ，ｄ_ｎ）｝（ｎ＝１，・・・，Ｎ）に対する重みｗの尤度Ｌ（ｗ）は、以下の（式１０）で表される。尤度Ｌ（ｗ）の対数をとり符号を反転すると、（式６）の誤差関数が導出される。

【0167】

【数13】

【0168】

学習は、訓練データを基に計算される誤差関数Ｅ（ｗ）を、ニューラルネットワークのパラメータｗについて最小化することを意味する。実施形態に係る画像解析方法では、誤差関数Ｅ（ｗ）は（式６）で表される。

【0169】

誤差関数Ｅ（ｗ）をパラメータｗについて最小化することは、関数Ｅ（ｗ）の局所的な極小点を求めることと同じ意味である。パラメータｗはノード間の結合の重みである。重みｗの極小点は、任意の初期値を出発点として、パラメータｗを繰り返し更新する反復計算によって求められる。このような計算の一例には、勾配降下法（gradient descent method）がある。
勾配降下法では、次の（式１１）で表されるベクトルを用いる。

【0170】

【数14】

【0171】

勾配降下法では、現在のパラメータｗの値を負の勾配方向（すなわち－∇Ｅ）に移動させる処理を何度も繰り返す。現在の重みをｗ^（ｔ）とし、移動後の重みをｗ^{（ｔ＋１）}とすると、勾配降下法による演算は、以下の（式１２）で表される。値ｔは、パラメータｗを移動させた回数を意味する。

【0172】

【数15】

【0173】

記号

【数16】

は、パラメータｗの更新量の大きさを決める定数であり、学習係数と呼ばれる。（式１２）で表される演算を繰り返すことにより、値ｔの増加に伴って誤差関数Ｅ（ｗ^（ｔ））が減少し、パラメータｗは極小点に到達する。

【0174】

なお、（式１２）による演算は、全ての訓練データ（ｎ＝１，・・・，Ｎ）に対して実施してもよく、一部の訓練データのみに対して実施してもよい。一部の訓練データのみに対して行う勾配降下法は、確率的勾配降下法（stochastic gradient descent）と呼ばれる。実施形態に係る画像解析方法では、確率的勾配降下法を用いる。

【0175】

・画像解析処理
図１３を参照すると、第１の実施形態に係る画像解析装置２００Ａの処理部２０Ａは、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、核領域検出部２０４とを備える。これらの機能ブロックは、本発明に係るコンピュータに画像解析処理を実行させるプログラムを、処理部２０Ａの記憶部２３またはメモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、記憶媒体９８またはネットワーク９９を通じて深層学習装置１００Ａから提供され、処理部２０Ａの記憶部２３またはメモリ２２に記憶される。

【0176】

解析対象の組織の解析対象画像７８は、撮像装置４００によって予め撮像され、処理部２０Ａの記憶部２３またはメモリ２２に予め記憶されていることとする。学習済みの結合重みｗを含む深層学習アルゴリズム６０は、解析対象の組織の標本が由来する組織の種類と対応付けられてアルゴリズムデータベース１０５に格納されており、コンピュータに画像解析処理を実行させるプログラムの一部であるプログラムモジュールとして機能する。すなわち、深層学習アルゴリズム６０は、ＣＰＵおよびメモリを備えるコンピュータにて用いられ、解析対象の組織において層構造を示すデータを出力するという、使用目的に応じた特有の情報の演算または加工を実行するよう、コンピュータを機能させる。具体的には、処理部２０ＡのＣＰＵ２１は、記憶部２３またはメモリ２２に記憶された深層学習アルゴリズム６０に規定されているアルゴリズムに従って、学習済みの結合重みｗに基づくニューラルネットワーク６０の演算を行う。処理部２０ＡのＣＰＵ２１は、入力層６０ａに入力された、解析対象の組織を撮像した解析対象画像７８に対して演算を行い、出力層６０ｂから、解析対象の組織において層構造を示すデータであるラベル値８３を出力する。

【0177】

図１４を参照すると、画像解析装置２００Ａの処理部２０Ａは、図１３に示す処理を行う。図１３に示す各機能ブロックを用いて説明すると、ステップＳ２１およびＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。ステップＳ２９の処理は、核領域検出部２０４が行う。

【0178】

ステップＳ２１において、処理部２０Ａは、例えば、ユーザが入力部２６から入力した処理開始の指令により、入力された解析対象画像７８からＲ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂを生成する。色濃度符号化図７９ｒ，７９ｇ，７９ｂが解析対象データとなる。色濃度符号化図７９ｒ，７９ｇ，７９ｂの生成方法は、図１１に示す深層学習処理時におけるステップＳ１０での生成方法と同様である。

【0179】

図１４に示すステップＳ２２において、処理部２０Ａは、入力部２６を通じて、解析条件として、画像解析装置２００Ａ側のユーザからの、組織の種別の入力を受け付ける。処理部２０Ａは、入力された組織の種別に基づき、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を参照して、解析に用いるウィンドウサイズを設定し、解析に用いる深層学習アルゴリズム６０を取得する。ウィンドウサイズは、１回の入力時にニューラルネットワーク６０に入力する解析用データの単位であり、ウィンドウサイズの解析用データ８０の画素数と画像に含まれる色の原色の数との積が、入力層６０ａのノード数に対応している。ウィンドウサイズは組織の種別と対応付けられて、ウィンドウサイズデータベース１０４内に予め記憶されている。ウィンドウサイズは、図６に示すウィンドウＷ２のように、例えば３×３画素である。深層学習アルゴリズム６０も、組織の種別と対応付けられて、図１３に示すアルゴリズムデータベース１０５内に予め記憶されている。
図１４に示すステップＳ２３において、処理部２０Ａは、色濃度符号化図７９ｒ，７９ｇ，７９ｂから、ウィンドウサイズの解析用データ８０を生成する。

【0180】

ステップＳ２４において、処理部２０Ａは、図５に示す解析用データ８０を、深層学習アルゴリズム６０に入力する。ウィンドウの初期位置は、深層学習処理時におけるステップＳ１６と同様に、例えばウィンドウ内の３×３画素の中心に位置する画素が、解析対象画像の左上角に対応する位置である。処理部２０Ａは、ウィンドウサイズの解析用データ８０に含まれる、３×３画素×３原色の合計２７個の色濃度値のデータ８１を入力層６０ａに入力すると、深層学習アルゴリズム６０は、出力層６０ｂに判別結果８２を出力する。

【0181】

図１４に示すステップＳ２５において、処理部２０Ａは、図５に示す出力層６０ｂに出力される判別結果８２を記憶する。判別結果８２は、解析対象である、色濃度符号化図７９ｒ，７９ｇ，７９ｂの中心に位置する画素の推定値（４値）である。

【0182】

図１４に示すステップＳ２６において、処理部２０Ａは、解析対象データ内の全ての画素を処理したか否かを判断する。そして、解析対象データ内の全ての画素について、図１４に示すステップＳ２３からステップＳ２５の一連の処理がなされている場合は、ステップＳ２８の処理を行う。

【0183】

解析対象データ内の全ての画素が処理されていない場合は、処理部２０Ａは、ステップＳ２７において、深層学習処理時におけるステップＳ２０と同様に、解析対象データ内において、ウィンドウＷ２の中心位置を１画素単位で移動させる。その後、処理部２０Ａは、移動後の新たなウィンドウＷ２の位置において、ステップＳ２３からステップＳ２５の一連の処理を行う。処理部２０Ａは、ステップＳ２５において、移動後の新たなウィンドウ位置に対応する、判別結果８２を記憶する。このようなウィンドウサイズ毎の判別結果８２の記憶を、解析対象画像内の全ての画素に対して行うことにより、解析結果のラベル値８３が得られる。解析結果のラベル値８３の画像サイズは、解析対象画像の画像サイズと同じである。ここで、ラベル値８３には、推定値の値３、値２、値１および値０が各画素に付された数値データであってもよく、推定値の値３、値２、値１および値０に代えて、例えば値３、値２、値１および値０のそれぞれに対応付けた表示色で示した画像であっても良い。
図１４に示すステップＳ２８では、処理部２０Ａは、解析結果のラベル値８３を出力部２７に出力する。

【0184】

ステップＳ２９では、ステップＳ２８に引き続き、処理部２０Ａは、解析結果のラベル値８３についてさらに、核領域検出処理を行う。ラベル値８３において、第１の層構造の細胞の核領域と、第２の層構造の細胞の核領域と、第３の層構造の細胞の核領域と、核領域以外の領域とは、４値で区別して表されている。

【0185】

任意ではあるが、処理部２０Ａは、得られたラベル値８３をラベル値に応じた色で表示した層構造核領域強調画像８４を作成してもよい。処理部２０Ａは、作成した層構造核領域強調画像８４を出力部２７に出力し、画像解析処理を終了する。

【0186】

図１９は、画像処理結果を表示するユーザインタフェース（出力部２７への表示）の例である。表示画面７００は、解析対象画像７８上に各層の境界を標示する表示領域７０１と、各層の厚さを示す層構造表示領域７０２と、疾患のグレード（例えばシドニー分類による胃炎のグレード）を表示する疾患グレード表示領域７０３を備える。このようにすることで、解析から結果表示までを、病理医の目によらずに行うことができる。

【0187】

疾患のグレードを表示する場合には、図２０に示すように、処理部２０Ａは、各層構造の細胞の核領域の分布に基づいて、各層構造の厚さを算出する（ステップＳ４１）。続いて、処理部２０Ａは、記憶部２３に記憶された各層構造の厚さの基準値と、ステップＳ４１で算出された各層構造の厚さと比較する（ステップＳ４２）。処理部２０Ａは、記憶部２３に記憶された各層構造の厚さの基準値に対応付けられた疾患のグレード（胃炎のシドニー分類であれば、正常、軽度、中等度、高度）から、解析対象画像７８に含まれる組織の疾患グレードを判定する（ステップＳ４３）。

【0188】

以上、画像解析装置２００Ａのユーザは、解析対象の組織の解析対象画像７８を画像解析装置２００Ａに入力することにより、解析結果として、ラベル値８３を取得することができる。ラベル値８３は、解析対象の標本における、第１の層構造の細胞の核領域と、第２の層構造の細胞の核領域と、第３の層構造の細胞の核領域と、核領域以外の領域とを表しており、ユーザは、解析対象の標本において、各層構造の核領域を判別することが可能となる。

【0189】

さらに、画像解析装置２００Ａのユーザは、解析結果として、層構造核領域強調画像８４を取得することができる。層構造核領域強調画像８４は、例えば、解析対象の解析対象画像７８に、核領域を色で塗りつぶすことにより生成される。また、別の態様では、各層構造の核領域とそれ以外の領域との境界線を重ねることにより生成されている。これにより、ユーザは、解析対象の組織において、各層構造の核領域を一目で把握することが可能となり、層構造を一目で把握することが可能となる。

【0190】

解析対象の標本において組織を構成する層構造を示すことは、標本を見慣れていない者に各層構造を把握させる一助となる。

【0191】

＜第２の実施形態＞
以下、第１の実施形態に係る画像解析システムと相違する点について、第２の実施形態に係る画像解析システムを説明する。

【0192】

［構成の概要］
図１５を参照すると、第２の実施形態に係る画像解析システムは、ユーザ側装置２００を備え、ユーザ側装置２００が、統合型の画像解析装置２００Ｂとして動作する。画像解析装置２００Ｂは、例えば汎用コンピュータで構成されており、第１の実施形態において説明した深層学習処理および画像解析処理の両方の処理を行う。つまり、第２の実施形態に係る画像解析システムは、ユーザ側で深層学習および画像解析を行う、スタンドアロン型のシステムである。第２の実施形態に係る画像解析システムは、ユーザ側に設置された統合型の画像解析装置２００Ｂが、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａの両方の機能を担う点において、第１の実施形態に係る画像解析システムと異なる。

【0193】

画像解析装置２００Ｂは撮像装置４００に接続されている。撮像装置４００は、深層学習処理時には、学習用の組織の訓練用画像を取得し、画像解析処理時には、解析対象の組織の解析対象画像７８を取得する。

【0194】

［ハードウェア構成］
画像解析装置２００Ｂのハードウェア構成は、図９に示すユーザ側装置２００のハードウェア構成と同様である。

【0195】

［機能ブロックおよび処理手順］
図１６を参照すると、第２の実施形態に係る画像解析装置２００Ｂの処理部２０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、核領域検出部２０４とを備える。これらの機能ブロックは、コンピュータに深層学習処理および画像解析処理を実行させるプログラムを、処理部２０Ｂの記憶部２３またはメモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部２０Ｂの記憶部２３またはメモリ２２に記憶され、どちらも深層学習時および画像解析処理時に共通して使用される。学習済みのニューラルネットワーク６０は、組織の種別または細胞を含む試料の種別と対応付けられて、アルゴリズムデータベース１０５に予め格納されており、深層学習処理により結合重みｗが更新されて、深層学習アルゴリズム６０として、アルゴリズムデータベース１０５に格納される。なお、訓練用画像である第１の訓練用画像７０Ｒ１、第２の訓練用画像７１Ｒ１、第３の訓練用画像７０Ｒ２、第４の訓練用画像７１Ｒ２、第５の訓練用画像７０Ｒ３、第６の訓練用画像７１Ｒ３は、撮像装置４００によって予め撮像され、処理部２０Ｂの記憶部２３またはメモリ２２に予め記載されていることとする。解析対象の標本の解析対象画像７８も、撮像装置４００によって予め撮像され、処理部２０Ｂの記憶部２３またはメモリ２２に予め記憶されていることとする。

【0196】

画像解析装置２００Ｂの処理部２０Ｂは、深層学習処理時には、図１１に示す処理を行い、画像解析処理時には、図１４に示す処理を行う。図１６に示す各機能ブロックを用いて説明すると、深層学習処理時には、ステップＳ１０からＳ１４、Ｓ１９およびＳ２０の処理は、訓練データ生成部１０１が行う。ステップＳ１５の処理は、訓練データ入力部１０２が行う。ステップＳ１６からＳ１８の処理は、アルゴリズム更新部１０３が行う。画像解析処理時には、ステップＳ２１およびＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。ステップＳ２９の処理は、核領域検出部２０４が行う。

【0197】

第２の実施形態に係る画像解析装置２００Ｂが行う深層学習処理の手順および画像解析処理の手順は、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａがそれぞれ行う手順と同様である。なお、第２の実施形態に係る画像解析装置２００Ｂは、次の点において第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａと異なる。

【0198】

深層学習処理時のステップＳ１４において、処理部２０Ｂは、入力部２６を通じて、画像解析装置２００Ｂのユーザからの、学習用の組織の種別の入力を受け付ける。処理部２０Ｂは、入力された組織の種別に基づき、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズを設定し、アルゴリズムデータベース１０５を参照して、学習に用いるニューラルネットワーク５０を設定する。

【0199】

以上、画像解析装置２００Ｂのユーザは、解析対象画像７８を画像解析装置２００Ｂに入力することにより、解析結果として、ラベル値８３を取得することができる。さらに、画像解析装置２００Ｂのユーザは、解析結果として、層構造核領域強調画像８４を取得することができる。

【0200】

第２の実施形態に係る画像解析装置２００Ｂによると、ユーザは、自身が選択した種類の組織を、学習用の組織として用いることができる。これは、ニューラルネットワーク５０の学習がベンダ側任せではなく、ユーザ自身がニューラルネットワーク５０の学習の程度を向上できることを意味する。

【0201】

＜第３の実施形態＞
以下、第２の実施形態に係る画像解析システムと相違する点について、第３の実施形態に係る画像解析システムを説明する。

【0202】

［構成の概要］
図１７を参照すると、第３の実施形態に係る画像解析システムは、ベンダ側装置１００と、ユーザ側装置２００とを備える。ベンダ側装置１００は統合型の画像解析装置１００Ｂとして動作し、ユーザ側装置２００は端末装置２００Ｃとして動作する。画像解析装置１００Ｂは、例えば汎用コンピュータで構成されており、第１の実施形態において説明した深層学習処理および画像解析処理の両方の処理を行う、クラウドサーバ側の装置である。端末装置２００Ｃは、例えば汎用コンピュータで構成されており、ネットワーク９９を通じて、解析対象の画像を画像解析装置１００Ｂに送信し、ネットワーク９９を通じて、解析結果の画像を画像解析装置１００Ｂから受信する、ユーザ側の端末装置である。

【0203】

第３の実施形態に係る画像解析システムは、ベンダ側に設置された統合型の画像解析装置１００Ｂが、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａの両方の機能を担う点において、第２の実施形態に係る画像解析システムと同様である。一方、第３の実施形態に係る画像解析システムは、端末装置２００Ｃを備え、解析対象の画像の入力インタフェースと、解析結果の画像の出力インタフェースとをユーザ側の端末装置２００Ｃに提供する点において、第２の実施形態に係る画像解析システムと異なる。つまり、第３の実施形態に係る画像解析システムは、深層学習処理および画像解析処理を行うベンダ側が、解析対象の画像および解析結果の画像の入出力インタフェースをユーザ側に提供する、クラウドサービス型のシステムである。

【0204】

画像解析装置１００Ｂは撮像装置３００に接続されており、撮像装置３００によって撮像される、学習用の組織の訓練用画像を取得する。

【0205】

端末装置２００Ｃは撮像装置４００に接続されており、撮像装置４００によって撮像される、解析対象の組織の解析対象画像７８を取得する。

【0206】

［ハードウェア構成］
画像解析装置１００Ｂのハードウェア構成は、図７に示すベンダ側装置１００のハードウェア構成と同様である。端末装置２００Ｃのハードウェア構成は、図９に示すユーザ側装置２００のハードウェア構成と同様である。

【0207】

［機能ブロックおよび処理手順］
図１８を参照すると、第３の実施形態に係る画像解析装置１００Ｂの処理部１０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、核領域検出部２０４とを備える。これらの機能ブロックは、コンピュータに深層学習処理および画像解析処理を実行させるプログラムを、処理部１０Ｂの記憶部１３またはメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部１０Ｂの記憶部１３またはメモリ１２に記憶され、どちらも深層学習時および画像解析処理時に共通して使用される。ニューラルネットワーク５０は、組織の種別と対応付けられて、アルゴリズムデータベース１０５に予め格納されており、深層学習処理により結合重みｗが更新されて、深層学習アルゴリズム６０として、アルゴリズムデータベース１０５に格納される。

【0208】

なお、訓練用画像である第１の訓練用画像７０Ｒ１、第２の訓練用画像７１Ｒ１、第３の訓練用画像７０Ｒ２、第４の訓練用画像７１Ｒ２、第５の訓練用画像７０Ｒ３、第６の訓練用画像７１Ｒ３は、撮像装置３００によって予め撮像され、処理部１０Ｂの記憶部１３またはメモリ１２に予め記載されていることとする。解析対象の組織の解析対象画像７８も、撮像装置４００によって予め撮像され、端末装置２００Ｃの処理部２０Ｃの記憶部２３またはメモリ２２に予め記憶されていることとする。

【0209】

画像解析装置１００Ｂの処理部１０Ｂは、深層学習処理時には、図１１に示す処理を行い、画像解析処理時には、図１４に示す処理を行う。図１８に示す各機能ブロックを用いて説明すると、深層学習処理時には、ステップＳ１０からＳ１４、Ｓ１９およびＳ２０の処理は、訓練データ生成部１０１が行う。ステップＳ１５の処理は、訓練データ入力部１０２が行う。ステップＳ１６からＳ１８の処理は、アルゴリズム更新部１０３が行う。画像解析処理時には、ステップＳ２１およびＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。ステップＳ２９の処理は、核領域検出部２０４が行う。

【0210】

第３の実施形態に係る画像解析装置１００Ｂが行う深層学習処理の手順および画像解析処理の手順は、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａがそれぞれ行う手順と同様である。なお、第３の実施形態に係る画像解析装置１００Ｂは、次の４つの点において第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａと異なる。

【0211】

図１４に示す画像解析処理時のステップＳ２１において、処理部１０Ｂは、解析対象の組織の解析対象画像７８を、ユーザ側の端末装置２００Ｃから受信し、受信した解析対象画像７８からＲ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂを生成する。色濃度符号化図７９ｒ，７９ｇ，７９ｂの生成方法は、図１１に示す深層学習処理時におけるステップＳ１０での生成方法と同様である。

【0212】

図１４に示す画像解析処理時のステップＳ２２において、処理部１０Ｂは、端末装置２００Ｃの入力部２６を通じて、解析条件として、端末装置２００Ｃのユーザからの、組織の種別の入力を受け付ける。処理部１０Ｂは、入力された組織の種別に基づき、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を参照して、解析に用いるウィンドウサイズを設定し、解析に用いる深層学習アルゴリズム６０を取得する。

【0213】

画像解析処理時のステップＳ２８において、処理部１０Ｂは、解析結果のラベル値８３を、ユーザ側の端末装置２００Ｃに送信する。ユーザ側の端末装置２００Ｃでは、処理部２０Ｃが、受信した解析結果のラベル値８３を出力部２７に出力する。

【0214】

画像解析処理時のステップＳ２９において、処理部１０Ｂは、ステップＳ２８に引き続き、解析結果のラベル値８３についてさらに、核領域の検出処理を行う。任意のステップとして、処理部１０Ｂは、ラベル値８３をラベル値に応じた色で表示した層構造核領域強調画像８４を作成してもよい。処理部１０Ｂは、作成した層構造核領域強調画像８４を、ユーザ側の端末装置２００Ｃに送信する。ユーザ側の端末装置２００Ｃでは、処理部２０Ｃが、受信した層構造核領域強調画像８４を出力部２７に出力し、画像解析処理を終了する。

【0215】

以上、端末装置２００Ｃのユーザは、解析対象の組織の解析対象画像７８を画像解析装置１００Ｂに送信することにより、解析結果として、ラベル値８３を取得することができる。さらに、端末装置２００Ｃのユーザは、解析結果として、層構造核領域強調画像８４を取得することができる。

【0216】

第３の実施形態に係る画像解析装置１００Ｂによると、ユーザは、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を深層学習装置１００Ａから取得することなく、画像解析処理の結果を享受することができる。これにより、解析対象の組織を解析するサービスとして、各層構造の核領域を判別し各組織における各層構造を提示するサービスを、クラウドサービスとして提供することができる。

【0217】

病理医の数は全国的に不足している。病理医は、都市部の大病院には在籍しているが、遠隔地の医療機関や、都市部であってもクリニック等の比較的小規模な医療機関には在籍していないケースが殆どである。画像解析装置１００Ｂおよび端末装置２００Ｃにて提供されるクラウドサービスは、このような遠隔地または比較的小規模な医療機関における組織診断の手助けとなる。

【0218】

［コンピュータプログラム］
本発明の実施形態には、前記ステップＳ１０からＳ２０を処理部１０Ａ，２０Ｂ，１０Ｂに実行させ、学習済み深層学習アルゴリズムの生成するコンピュータプログラムおよびその製品が含まれる。また、本発明の実施形態には、前記ステップＳ２１からＳ２９を処理部１０Ａ，２０Ｂ，１０Ｂに実行させ、コンピュータを被検体から採取された組織の画像を解析するために機能させるコンピュータプログラムおよびその製品が含まれる。

【0219】

［その他の形態］
以上、本発明を概要および特定の実施形態によって説明したが、本発明は上記した概要および各実施形態に限定されるものではない。

【0220】

上記第１から第３の実施形態では、ステップＳ１４において、処理部１０Ａ，２０Ｂ，１０Ｂは、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズの画素数を設定しているが、オペレータまたはユーザがウィンドウサイズを直接設定してもよい。この場合、ウィンドウサイズデータベース１０４は不要となる。

【0221】

上記第１から第３の実施形態では、ステップＳ１４において、処理部１０Ａ，２０Ｂ，１０Ｂは、入力された組織の種別に基づいて、ウィンドウサイズの画素数を設定しているが、組織の種別の入力に代えて、組織のサイズを入力してもよい。処理部１０Ａ，２０Ｂ，１０Ｂは、入力された組織のサイズに基づいて、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズの画素数を設定すればよい。ステップＳ２２においてもステップＳ１４と同様に、組織の種別の入力に代えて、組織のサイズを入力してもよい。処理部２０Ａ，２０Ｂ，１０Ｂは、入力された組織のサイズに基づいて、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を参照して、ウィンドウサイズの画素数を設定し、ニューラルネットワーク６０を取得すればよい。

【0222】

組織のサイズを入力する態様については、サイズを数値として直接入力してもよいし、例えば入力のユーザインタフェースをプルダウンメニューとして、ユーザが入力しようとするサイズに対応する、所定の数値範囲をユーザに選択させて入力してもよい。

【0223】

また、ステップＳ１４およびステップＳ２２において、組織の種別または組織のサイズに加えて、訓練用画像、および解析対象画像７８を撮像した際の撮像倍率を入力してもよい。撮像倍率を入力する態様については、倍率を数値として直接入力してもよいし、例えば入力のユーザインタフェースをプルダウンメニューとして、ユーザが入力しようとする倍率に対応する、所定の数値範囲をユーザに選択させて入力してもよい。

【0224】

上記第１から第３の実施形態では、深層学習処理時および画像解析処理時において、説明の便宜のためにウィンドウサイズを３×３画素と設定しているが、ウィンドウサイズの画素数はこれに限定されない。ウィンドウサイズは、例えば組織の種別に応じて設定してもよい。この場合、ウィンドウサイズの画素数と画像に含まれる色の原色の数との積が、ニューラルネットワーク５０，６０の入力層５０ａ，６０ａのノード数に対応していればよい。

【0225】

ステップＳ１４において、処理部１０Ａ，２０Ｂ，１０Ｂは、ウィンドウサイズの画素数を取得し、さらに、取得したウィンドウサイズの画素数を、入力された撮像倍率に基づいて補正してもよい。

【0226】

上記第１から第３の実施形態では、ステップＳ１８において、処理部１０Ａ，２０Ｂ，１０Ｂは、深層学習アルゴリズム６０を、組織の種別と一対一に対応付けて、アルゴリズムデータベース１０５に記憶している。これに代えて、ステップＳ１８において、処理部１０Ａ，２０Ｂ，１０Ｂは、１つの深層学習アルゴリズム６０に、複数の組織の種別を対応付けて、アルゴリズムデータベース１０５に記憶してもよい。

【0227】

上記第１から第３の実施形態では、色相は、光の３原色の組み合わせ、または色の３原色の組み合わせで規定されているが、色相の数は３つに限定されない。色相の数は、赤（Ｒ），緑（Ｇ），青（Ｂ）に黄（Ｙ）を加えた４原色としても良いし、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色からいずれか１つの色相を減らした２原色としてもよい。あるいは、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のいずれか１つ（例えば緑（Ｇ））のみの１原色としてもよい。例えば公知の顕微鏡またはバーチャルスライドスキャナ等を用いて取得される明視野画像７０Ｒ１，７０Ｒ２，７０Ｒ３および解析対象画像７８も、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のカラー画像に限定されず、２原色のカラー画像であってもよく、１以上の原色を含む画像であればよい。

【0228】

上記第１から第３の実施形態では、ステップＳ１０において、処理部１０Ａ，２０Ｂ，１０Ｂは、訓練用画像の各色濃度符号化図（色濃度符号化図７０Ｒ１ｒ，７０Ｒ１ｇ，７０Ｒ１ｂ、色濃度符号化図７０Ｒ２ｒ，７０Ｒ２ｇ，７０Ｒ２ｂ、色濃度符号化図７０Ｒ３ｒ，７０Ｒ３ｇ，７０Ｒ３ｂ）を各原色の８ビット（２５６段階）の単一色画像として生成しているが、各色濃度符号化図を作成する際の原色の階調は、８ビットに制限されない。各色濃度符号化図の階調は、スライドイメージスキャナーの撮像条件に依存してもよい。例えば、１ビット以上であり２ビット、４ビット、１６ビット、２４ビットの画像であってもよい。同様に、ステップＳ２１において、処理部２０Ａ，２０Ｂ，１０Ｂは、色濃度符号化図７９ｒ，７９ｇ，７９ｂ原色ごとの単一色画像として生成しているが、色濃度符号化図を作成する際の原色の階調は３階調に制限されない。色濃度符号化図を作成する際の原色は、８ビットに制限されない。色濃度符号化図７９ｒ，７９ｇ，７９ｂの階調は、スライドイメージスキャナーの撮像条件に依存してもよい。例えば、１ビット以上であり２ビット、４ビット、１６ビット、２４ビットの画像であってもよい。訓練用画像の各色濃度符号化図および色濃度符号化図７９ｒ，７９ｇ，７９ｂの階調は、全てが同じ階調であることが好ましい。

【0229】

上記第１から第３の実施形態では、ステップＳ１０において、処理部１０Ａ，２０Ｂ，１０Ｂは、訓練用画像から、各色濃度符号化図を生成しているが、予め各画素が階調に応じて符号化された行列表を訓練用画像として用いてもよい。処理部１０Ａ，２０Ｂ，１０Ｂは、訓練用画像を各色濃度符号化図として、例えばバーチャルスライドスキャナ等から直接取得してもよい。同様に、ステップＳ２１において、処理部２０Ａ，２０Ｂ，１０Ｂは、解析対象画像７８からＲ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂを生成しているが、予め各画素が階調に応じて符号化された行列表を解析用画像として用いてもよい。すなわち、処理部２０Ａ，２０Ｂ，１０Ｂは、色濃度符号化図７９ｒ，７９ｇ，７９ｂを、例えばバーチャルスライドスキャナ等から直接取得してもよい。

【0230】

上記第１から第３の実施形態では、訓練用画像から各色濃度符号化図を生成する際のカラースペースにはＲＧＢを用いているが、カラースペースはＲＧＢに制限されない。ＲＧＢ以外にも、ＹＵＶ、ＣＭＹ、およびＣＩＥ Ｌ^＊ａ^＊ｂ^＊等の種々のカラースペースを用いることができる。

【0231】

上記第１から第３の実施形態では、層構造訓練データおよび解析用データ８０において、各画素について濃度値が赤（Ｒ），緑（Ｇ），青（Ｂ）の順番で格納されているが、濃度値を格納および取り扱う順番はこれに限定されない。例えば濃度値は、青（Ｂ），緑（Ｇ），赤（Ｒ）の順番で格納されていてもよく、各層構造訓練データにおける濃度値の並び順と、解析用データ８０における濃度値の並び順とが同じであればよい。

【0232】

上記第１から第３の実施形態では、ステップＳ１２において、処理部１０Ａ，２０Ｂ，１０Ｂは、入力された第２の訓練用画像７１Ｒ１、第４の訓練用画像７１Ｒ２および第６の訓練用画像７１Ｒ３の各画素の階調を二値化して第２の予備訓練データ７１Ｒ１Ｎ、第４の予備訓練データ７１Ｒ２Ｎおよび第６の予備訓練データ７１Ｒ３Ｎを生成しているが、予め二値化された第２の予備訓練データ７１Ｒ１Ｎ、第４の予備訓練データ７１Ｒ２Ｎおよび第６の予備訓練データ７１Ｒ３Ｎを取得してもよい。

【0233】

上記第１から第３の実施形態では、処理部１０Ａ，１０Ｂは一体の装置として実現されているが、処理部１０Ａ，１０Ｂは一体の装置である必要はなく、ＣＰＵ１１、メモリ１２、記憶部１３等が別所に配置され、これらがネットワークで接続されていてもよい。処理部１０Ａ，１０Ｂと、入力部１６と、出力部１７とについても、一ヶ所に配置される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に接続されていてもよい。処理部２０Ａ，２０Ｂ，２０Ｃについても処理部１０Ａ，１０Ｂと同様である。

【0234】

上記第１から第３の実施形態では、訓練データ生成部１０１、訓練データ入力部１０２、アルゴリズム更新部１０３、解析用データ生成部２０１、解析用データ入力部２０２、解析部２０３および核領域検出部２０４の各機能ブロックは、単一のＣＰＵ１１または単一のＣＰＵ２１において実行されているが、これら各機能ブロックは単一のＣＰＵにおいて実行される必要は必ずしもなく、複数のＣＰＵで分散して実行されてもよい。また、これら各機能ブロックは、複数のＧＰＵで分散して実行されてもよいし、複数のＣＰＵと複数のＧＰＵとで分散して実行されてもよい。

【0235】

上記第２および第３の実施形態では、図１１および図１４で説明する各ステップの処理を行うためのプログラムを記憶部１３，２３に予め記憶している。これに代えて、プログラムは、例えばＤＶＤ－ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記憶媒体９８から処理部１０Ｂ，２０Ｂにインストールしてもよい。または、処理部１０Ｂ，２０Ｂをネットワーク９９と接続し、ネットワーク９９を介して例えば外部のサーバ（図示せず）からプログラムをダウンロードしてインストールしてもよい。

【0236】

上記第１から第３の実施形態では、入力部１６，２６はキーボードまたはマウス等の入力装置であり、出力部１７，２７は液晶ディスプレイ等の表示装置として実現されている。これに代えて、入力部１６、２６と出力部１７、２７とを一体化してタッチパネル式の表示装置として実現してもよい。または、出力部１７，２７をプリンター等で構成し、解析結果のラベル値８３または層構造核領域強調画像８４を印刷して出力してもよい。

【0237】

上記第１から第３の実施形態では、撮像装置３００は、深層学習装置１００Ａまたは画像解析装置１００Ｂと直接接続されているが、撮像装置３００は、ネットワーク９９を介して深層学習装置１００Ａまたは画像解析装置１００Ｂと接続されていてもよい。撮像装置４００についても同様に、撮像装置４００は、画像解析装置２００Ａまたは画像解析装置２００Ｂと直接接続されているが、撮像装置４００は、ネットワーク９９を介して画像解析装置２００Ａまたは画像解析装置２００Ｂと接続されていてもよい。

【0238】

＜学習済み深層学習アルゴリズムの検証＞
上記第２の実施形態に示すスタンドアロン型のシステムにて、深層学習処理および画像解析処理を行った。学習の対象とする組織として、サルの胃から取得された正常の胃組織を用いた。学習済みの深層学習アルゴリズムを用いた画像解析処理を行い、解析結果が適切であることを確認した。
学習データおよび解析データの詳細は、次の通りであった。
学習データ：ホールスライドイメージを５１２分割した画像１２枚
検証用解析データ：ホールスライドイメージを５１２分割した画像２枚

【0239】

［訓練データの作成および学習］
ＨＥ染色した胃の明視野画像およびＤＡＰＩ染色のホールスライドイメージ（ＷＳＩ）を、バーチャルスライドスキャナ（NanoZoomer-XR(Hamamatsu Photonics；スキャン分解能：20倍モードスキャン時0.46 μm/pixel、40倍モードスキャン時0.23 μm/pixel)）を用いてカラー撮像した。撮像倍率は４０倍であった。学習対象の組織を含む明視野画像の領域を含むホールスライドイメージから、第１の層構造（粘膜上皮細胞層）、第２の層構造（粘膜下層）、第３の層構造（筋層）のそれぞれの領域について、第１の訓練用画像７０Ｒ１、第３の訓練用画像７０Ｒ２および第５の訓練用画像を切り出した。各層構造の明視野画像をもとにＲ、Ｇ、Ｂ各色の色濃度値を８ビットで階調化して、Ｒ、Ｇ、Ｂ各色の色濃度符号化図を生成した。また、各層構造を区別するラベル値（第１の層構造は「１」、第２の層構造は「２」、第３の層構造は「３」）を付与し、第１の予備訓練データ７０Ｒ１Ｌ、第３の予備訓練データ７０Ｒ２Ｌおよび第５の予備訓練データ７０Ｒ３Ｌを生成した。

【0240】

また、ＤＡＰＩ染色した蛍光画像から、第１の訓練用画像７０Ｒ１、第３の訓練用画像７０Ｒ２および第５の訓練用画像７０Ｒ３に対応する位置の画像を第２の訓練用画像７１Ｒ１、第４の訓練用画像７１Ｒ２および第６の訓練用画像７１Ｒ３を切り出した。第２の訓練用画像７１Ｒ１、第４の訓練用画像７１Ｒ２および第６の訓練用画像７１Ｒ３について予め設定していたしきい値を用いて色濃度値を細胞核の領域とそれ以外の領域とに二値化して、第２の予備訓練データ７１Ｒ１Ｎ、第４の予備訓練データ７１Ｒ２Ｎおよび第６の予備訓練データ７１Ｒ３Ｎを作成した。第１の予備訓練データ７０Ｒ１Ｌおよび第２の予備訓練データ７１Ｒ１Ｎと、第３の予備訓練データ７０Ｒ２Ｌおよび第４の予備訓練データ７１Ｒ２Ｎと、第５の予備訓練データ７０Ｒ３Ｌおよび第６の予備訓練データ７１Ｒ３Ｎとのそれぞれから第２の訓練データ７３Ｒ２、第４の訓練データ７３Ｒ２、第６の訓練データ７３Ｒ３を生成した。

【0241】

その後、第１の訓練データ７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂと第２の訓練データ７３Ｒ２とを組み合わせて第１の層構造訓練データを作成した。第３の訓練データ７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂと第４の訓練データ７３Ｒ２とを組み合わせて第２の層構造訓練データを作成した。第５の訓練データ７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂと第６の訓練データ７３Ｒ３とを組み合わせて第３の層構造訓練データを作成した。作成した各層構造訓練データを１１３×１１３画素のウィンドウサイズに分割し、分割したウィンドウサイズの訓練データを入力層として、ニューラルネットワークを学習させた。ウィンドウサイズとして採用した１１３×１１３画素は、例示的には２つから９つ程度の複数の細胞のうち、少なくとも１つの細胞の細胞核領域の全体形状が、ウィンドウ内に含まれることをサポートするサイズであった。

【0242】

［解析対象画像の作成］
訓練データと同様に、ＨＥ染色したサルの胃の明視野画像のホールスライドイメージを、バーチャルスライドスキャナを用いてカラー撮像した。撮像倍率は４０倍であった。その後、撮像した明視野画像をもとにＲ、Ｇ、Ｂ各色の色濃度符号化図を作成し、作成したＲ、Ｇ、Ｂ各色の色濃度符号化図を組み合わせて解析対象画像を作成した。

【0243】

［解析結果］
解析対象画像の各画素を中心に、１１３×１１３画素のウィンドウサイズの解析用データを作成し、作成したウィンドウサイズの解析用データを、学習済みのニューラルネットワークに入力した。ニューラルネットワークから出力される解析結果をもとに、第１の層構造の核領域と、第２の層構造の核領域と、第３の層構造の核領域と核領域以外の領域（背景）とに分類し、各層構造の核領域を白で、核領域以外を黒で表示するように処理した。解析結果を図２１に示す。

【0244】

図２１中、（ａ）は、胃組織をＨＥ染色して撮像した明視野画像であり、解析対象の画像である。（ｂ）は、解析処理により得られた第１の層構造の核領域を示す図である。粘膜細胞の核領域が精度よく白く表示された。（ｃ）は、解析処理により得られた第２の層構造の核領域を示す図である。粘膜下層の核領域が精度よく白く表示された。（ｄ）は、解析処理により得られた第３の層構造の核領域を示す図である。胃の平滑筋層が、内輪走筋、外縦走筋ともに核領域が精度よく白く表示された。また、血管の平滑筋層および粘膜筋板の平滑筋細胞の核領域も、第３の層構造の核領域として判別された。（ｅ）は、解析処理により得られた第１の層構造の核領域、第２の層構造の核領域および第３の層構造の核領域以外の領域を白く表示した図である。結合組織等の核以外の領域が精度よく検出された。（ｆ）は、各層の判定結果を第１の訓練画像に重ねた図である。

【0245】

以上の結果から、正常の胃の第１の層構造（粘膜上皮細胞層）、第２の層構造（粘膜下層）、第３の層構造（筋層）のそれぞれの領域を訓練用画像として学習させた深層学習アルゴリズムは、学習対象となった胃の粘膜上皮細胞層、粘膜下層、および筋層を精度よく検出することができる。加えて、胃の筋層の学習データは、同じ平滑筋細胞から構成される血管の筋層、および粘膜筋板も検出できていることから、本発明の学習済み深層アルゴリズムは、組織特異的な層構造の判別にとどまらず、細胞毎に核領域がどの細胞に由来するかについても判別が可能であると考えられた。言い換えると、本発明の学習済み深層アルゴリズムは、様々な組織に対して判別が可能であると考えられた。

【符号の説明】

【0246】

１０（１０Ａ，１０Ｂ） 処理部
２０（２０Ａ，２０Ｂ，２０Ｃ） 処理部
１１，２１ ＣＰＵ
１２，２２ メモリ
１３，２３ 記録部
１４，２４ バス
１５，２５ インタフェース部
１６，２６ 入力部
１７，２７ 出力部
１９，２９ ＧＰＵ
５０ ニューラルネットワーク（深層学習アルゴリズム）
５０ａ 入力層
５０ｂ 出力層
５０ｃ 中間層
６０ 学習済みのニューラルネットワーク（学習済みの深層学習アルゴリズム）
６０ａ 入力層
６０ｂ 出力層
６０ｃ 中間層
７０Ｗ ホールスライドイメージ
７０Ｒ１，７０Ｒ２，７０Ｒ３ 学習用の明視野画像
７０Ｒ１Ｌ 第１の予備訓練データ
７０Ｒ２Ｌ 第３の予備訓練データ
７０Ｒ３Ｌ 第５の予備訓練データ
７１Ｒ１，７１Ｒ２，７１Ｒ３ 学習用の蛍光画像
７１Ｒ１Ｎ 第２の予備訓練データ
７１Ｒ２Ｎ 第４の予備訓練データ
７１Ｒ３Ｎ 第６の予備訓練データ
７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂ 色濃度符号化図
７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ 色濃度符号化図
７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂ 色濃度符号化図
７３Ｒ１，７３Ｒ２，７３Ｒ３ 訓練データ
７４Ｒ１，７４Ｒ２，７４Ｒ３ 訓練データ
７４ａ 明視野画像の階調化された色濃度値
７４ｂ 真値像のラベル値
７５Ｒ１，７５Ｒ２, ７５Ｒ３ ウィンドウサイズの訓練データ
７６ 色濃度値
７７Ｒ１，７７Ｒ２，７７Ｒ３ 真値像のラベル値
７８ 解析対象の明視野画像
７９ｒ，７９ｇ，７９ｂ 解析対象の色濃度符号化図
８０ 解析用データ
８１ 色濃度値
８２ 判別結果（画素の推定値）
８３ 解析結果の４値画像
８４ 核領域強調画像
８９（８９ａ，８９ｂ） ノード
９８ 記録媒体
９９ ネットワーク
１００ ベンダ側装置
１００Ａ 深層学習装置
１００Ｂ 統合型の画像解析装置
１０１ 訓練データ生成部
１０２ 訓練データ入力部
１０３ アルゴリズム更新部
１０４ ウィンドウサイズデータベース
１０５ アルゴリズムデータベース
２００ ユーザ側装置
２００Ａ 画像解析装置
２００Ｂ 統合型の画像解析装置
２００Ｃ 端末装置
２０１ 解析用データ生成部
２０２ 解析用データ入力部
２０３ 解析部
２０４ 核領域検出部
３００，４００ 撮像装置
３０１，４０１ 撮像素子
３０２，４０２ 蛍光顕微鏡
３０８，４０８ 試料組織
３０９，４０９ ステージ
Ｗ１ ウィンドウ
Ｗ２ ウィンドウ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】