特開 2022-189096 情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022189096

(43)【公開日】2022-12-22

(54)【発明の名称】情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法

(51)【国際特許分類】

   G01N 33/48 20060101AFI20221215BHJP

   G06T 7/00 20170101ALI20221215BHJP

   G06T 7/11 20170101ALI20221215BHJP

   G01N 33/483 20060101ALI20221215BHJP

   G16H 30/40 20180101ALI20221215BHJP

【ＦＩ】

G01N33/48 M

G06T7/00 612

G06T7/11

G06T7/00 350B

G01N33/483 C

G16H30/40

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021097477

(22)【出願日】2021-06-10

【国等の委託研究の成果に係る記載事項】（出願人による申告）２０２０年度、国立研究開発法人医薬基盤・健康・栄養研究所、「戦略的イノベーション創造プログラムＡＩ（人工知能）ホスピタルによる高度診断・治療システム」「ＡＩ基盤拠点病院の確立」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】松井 功

(72)【発明者】

【氏名】松本 あゆみ

(72)【発明者】

【氏名】猪阪 善隆

【テーマコード（参考）】

2G045

5L096

5L099

【Ｆターム（参考）】

2G045AA24

2G045CB01

2G045FA13

2G045FA16

2G045JA03

5L096BA06

5L096CA25

5L096DA01

5L096DA04

5L096FA02

5L096FA33

5L096GA17

5L096HA09

5L096HA11

5L096JA22

5L096KA04

5L096KA15

5L099AA26

(57)【要約】

【課題】情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法を提供する。
【解決手段】検体の観察画像を取得する取得部と、取得した観察画像上に仮想枠を設定し、部分画像同士が一部重複するように仮想枠をスライドさせながら複数の部分画像を抽出する抽出部と、画像の入力に応じて画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、抽出部より抽出される複数の部分画像の夫々を入力し、複数の部分画像の夫々について分類クラスの情報を取得する分類部と、複数の部分画像が重複する重複部分毎に、複数の部分画像について取得した分類クラスの情報を集計する集計部と、集計結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して観察画像を複数種の領域に分割することにより、領域分割画像を生成する生成部と、生成された領域分割画像を表示する表示部とを備える。
【選択図】図１５

【特許請求の範囲】

【請求項1】

検体の観察画像を取得する取得部と、
取得した観察画像上に仮想枠を設定し、抽出すべき部分画像同士が一部重複するように、前記仮想枠をスライドさせながら複数の部分画像を抽出する抽出部と、
画像の入力に応じて前記画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、前記抽出部より抽出される複数の部分画像の夫々を入力し、前記複数の部分画像の夫々について分類クラスの情報を取得する分類部と、
複数の部分画像が重複する重複部分毎に、前記複数の部分画像について取得した分類クラスの情報を集計する集計部と、
集計した結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して前記観察画像を複数種の領域に分割することにより、領域分割画像を生成する生成部と、
生成された領域分割画像を表示する表示部と
を備える情報処理装置。

【請求項2】

表示すべき領域の種別に関する選択を受付ける受付部を備え、
前記生成部は、選択された種別に対応する領域のみを示す領域分割画像を生成し、
前記表示部は、生成された領域分割画像を前記観察画像に重畳して表示する
請求項１に記載の情報処理装置。

【請求項3】

前記表示部は、前記観察画像に占める各領域の割合の情報を前記領域分割画像と共に表示する
請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記学習済みモデルは、観察画像から抽出される複数の部分画像と、各部分画像の分類クラスを示すラベル情報とを含むデータセットを訓練データに用いて生成したものである
請求項１から請求項３の何れか１つに記載の情報処理装置。

【請求項5】

前記訓練データは、前記部分画像を、画素値のバラツキが相対的に大きい第１画像群と、画素値のバラツキが相対的に小さい第２画像群とに選別し、前記第１画像群に選別された部分画像に対して前記ラベル情報が付与された訓練データを含む
請求項４に記載の情報処理装置。

【請求項6】

前記訓練データは、前記部分画像の全領域における画素値のバラツキと、前記部分画像の四隅領域における画素値のバラツキとに基づき、前記第２画像群に選別された部分画像を、背景画像群と非背景画像群とに選別し、背景画像群に選別された部分画像と、非背景画像群に選別された部分画像とに対して前記ラベル情報が付与された訓練データを更に含む
請求項５に記載の情報処理装置。

【請求項7】

各部分画像の識別情報と、前記分類部より得られる各部分画像の分類クラスの情報とを関連付けて記憶する記憶部
を備える請求項１から請求項６の何れか１つに記載の情報処理装置。

【請求項8】

前記観察画像は、検体を撮像して得られる複数の撮像画像を継ぎ合わせることにより生成される合成画像であり、
前記抽出部は、前記仮想枠を前記観察画像の直交する２つの方向に夫々スライドさせて前記部分画像を抽出する
請求項１から請求項７の何れか１つに記載の情報処理装置。

【請求項9】

前記観察画像は、腎生検画像であり、
前記学習済みモデルは、腎生検画像の入力に応じて、糸球体、尿細管、血管、皮質、髄質、炎症部、及び病変部を含む分類クラスの情報を出力するよう構成してある
請求項１から請求項８の何れか１つに記載の情報処理装置。

【請求項10】

糸球体を含むように前記部分画像の寸法を規定してある
請求項９に記載の情報処理装置。

【請求項11】

検体の観察画像を取得し、
取得した観察画像上に仮想枠を設定し、抽出すべき部分画像同士が一部重複するように、前記仮想枠をスライドさせながら複数の部分画像を抽出し、
画像の入力に応じて前記画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、抽出した複数の部分画像の夫々を入力し、前記複数の部分画像の夫々について分類クラスの情報を取得し、
複数の部分画像が重複する重複部分毎に、前記複数の部分画像について取得した分類クラスの情報を集計し、
集計した結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して前記観察画像を複数種の領域に分割することにより、領域分割画像を生成し、
生成した領域分割画像を出力する
処理をコンピュータにより実行する情報処理方法。

【請求項12】

コンピュータに、
検体の観察画像を取得し、
取得した観察画像上に仮想枠を設定し、抽出すべき部分画像同士が一部重複するように、前記仮想枠をスライドさせながら複数の部分画像を抽出し、
画像の入力に応じて前記画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、抽出した複数の部分画像の夫々を入力し、前記複数の部分画像の夫々について分類クラスの情報を取得し、
複数の部分画像が重複する重複部分毎に、前記複数の部分画像について取得した分類クラスの情報を集計し、
集計した結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して前記観察画像を複数種の領域に分割することにより、領域分割画像を生成し、
生成した領域分割画像を出力する
処理を実行させるためのコンピュータプログラム。

【請求項13】

コンピュータにより、
検体の観察画像を取得し、
取得した観察画像から複数の部分画像を抽出し、
抽出した複数の部分画像を、画素値のバラツキが相対的に大きい第１画像群と、画素値のバラツキが相対的に小さい第２画像群とに選別し、
前記第１画像群に選別された複数の部分画像と、該複数の部分画像の夫々の分類クラスを示すラベル情報とを含むデータセットを訓練データに用いて、部分画像の入力に応じて前記部分画像が属する分類クラスの情報を出力するための学習済みモデルを生成する
学習モデルの生成方法。

【請求項14】

前記コンピュータにより、
前記部分画像の全領域における画素値のバラツキと、前記部分画像の四隅領域における画素値のバラツキとに基づき、前記第２画像群に選別された部分画像を、背景画像群と非背景画像群とに選別し、
前記背景画像群に選別された複数の部分画像と、該複数の部分画像の夫々の分類クラスを示すラベル情報とを含むデータセット、並びに、前記非背景画像群に選別された複数の部分画像と、該複数の部分画像の夫々の分類クラスを示すラベル情報とを更に含むデータセットを訓練データに用いて、前記学習済みモデルを生成する
請求項１３に記載の学習モデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法に関する。

【背景技術】

【0002】

病理診断の分野において、組織又は細胞の画像を機械学習の学習モデルに入力し、学習モデルによる演算結果を参照して、腫瘍などの病変部の有無を判断する画像解析装置が提案されている（例えば、特許文献１－３を参照）。

【0003】

また、病理診断の分野において、検体の小領域を順次撮像し、得られた複数の画像を継ぎ目なく貼り合わせてバーチャルスライド画像を構築する顕微鏡装置が提案されている（例えば、特許文献４を参照）。このような顕微鏡装置では、高い解像度と広い視野範囲とを両立することが可能である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－９５２１２号公報

【特許文献2】特許第６８０１６５３号公報

【特許文献3】特許第６２２２５８４号公報

【特許文献4】特開平１１－２６４９３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

機械学習の分野において、学習モデルに入力される画像のサイズは、数百ピクセル四方（例えば５１２×５１２ピクセル）であることが一般的である。このため、数億～数十億ピクセル以上の画素数を有するような画像（例えばバーチャルスライド画像）について、機械学習の学習モデルを用いて解析する場合、解析対象の画像から適宜のサイズの部分画像を切り出し、切り出した部分画像を学習モデルに入力することによって学習モデルによる演算を行う。

【0006】

しかしながら、解析対象の画像から任意に切り出した部分画像に、検出すべき組織や病変部が判別可能な状態で含まれている保証はない。切り出した部分画像に検出対象が全く含まれていないケースもあれば、部分的に欠けた状態で部分画像に含まれるケースもあり得る。部分画像のサイズを大きくすれば、検出対象が含まれる可能が高くなるが、部分画像を単位として検出対象の有無を判断するため、部分画像より小さな構造を検出することはできず、観察画像を緻密に解析することができない。一方、部分画像のサイズを小さくすれば、その中に含まれる組織や病変を視認することが困難となるので、そもそも部分画像についてアノテーションを行うことが困難となり、学習モデルを生成するために十分な訓練データを得ることはできない。

【0007】

一つの側面では、抽出すべき部分画像同士が一部重複するように仮想枠をスライドさせながら観察画像から複数の部分画像を抽出し、部分画像の重複部分について学習済みモデルから得られる分類クラスの情報を集計して重複部分の分類を決定し、分類された重複部分に対応して領域分割画像を生成することにより、観察画像内の構造的な特徴を認識できるような大きさの部分画像を用いた場合であっても、部分画像よりも小さな領域に現れる組織や病変部などの構造を検出することができ、観察画像を緻密に解析することができる情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

一つの側面に係る情報処理装置は、検体の観察画像を取得する取得部と、取得した観察画像上に仮想枠を設定し、抽出すべき部分画像同士が一部重複するように、前記仮想枠をスライドさせながら複数の部分画像を抽出する抽出部と、画像の入力に応じて前記画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、前記抽出部より抽出される複数の部分画像の夫々を入力し、前記複数の部分画像の夫々について分類クラスの情報を取得する分類部と、複数の部分画像が重複する重複部分毎に、前記複数の部分画像について取得した分類クラスの情報を集計する集計部と、集計した結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して前記観察画像を複数種の領域に分割することにより、領域分割画像を生成する生成部と、生成された領域分割画像を表示する表示部とを備える。

【発明の効果】

【0009】

一つの側面では、観察画像内の構造的な特徴を認識できるような大きさの部分画像を用いた場合であっても、部分画像よりも小さな領域に現れる組織や病変部などの構造を検出することができ、観察画像を緻密に解析することができる。

【図面の簡単な説明】

【0010】

【図1】診断支援システムの構成を説明する模式図である。

【図2】情報処理装置の内部を示すブロック図である。

【図3】腎生検画像の一例を示す模式図である。

【図4】パッチ画像の生成手法を説明する説明図である。

【図5】分類クラスの一例を示す図である。

【図6】訓練データの記憶例を示す概念図である。

【図7】学習モデルの構成例を示す模式図である。

【図8】学習フェーズにおいて情報処理装置が実行する処理の手順を示すフローチャートである。

【図9】モデル生成処理の手順を示すフローチャートである。

【図10】スライディングウィンドウの一例を示す模式図である。

【図11】パッチ画像の抽出例を示す模試図である。

【図12】集計テーブルの一例を示す概念図である。

【図13】糸球体の領域分割画像の一例を示す模式図である。

【図14】炎症部分及び病変部分の領域分割画像の一例を示す模式図である。

【図15】領域分割画像の他の例を示す模式図である。

【図16】運用フェーズにおいて情報処理装置が実行する処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

実施の形態に係る情報処理装置は、検体の観察画像を取得する取得部と、取得した観察画像上に仮想枠を設定し、抽出すべき部分画像同士が一部重複するように、前記仮想枠をスライドさせながら複数の部分画像を抽出する抽出部と、画像の入力に応じて前記画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、前記抽出部より抽出される複数の部分画像の夫々を入力し、前記複数の部分画像の夫々について分類クラスの情報を取得する分類部と、複数の部分画像が重複する重複部分毎に、前記複数の部分画像について取得した分類クラスの情報を集計する集計部と、集計した結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して前記観察画像を複数種の領域に分割することにより、領域分割画像を生成する生成部と、生成された領域分割画像を表示する表示部とを備える。

【0012】

本明細書において、検体は、被検者から採取される組織、細胞、体液、排泄物、及びこれらの処理物を含む。代替的に、検体は、ヒト以外の動物から採取される組織、細胞、体液、排泄物、及びこれらの処理物であってもよい。

【0013】

被検者から採取される組織及び細胞は、特に制限されないが、食道、胃、大腸、肝臓、腎臓、膵臓、脾臓、胆嚢などの臓器、若しくは、脂肪、血管、筋肉、膜状構造物などの非臓器から外科的に切除された組織、生検として採取された組織や細胞などを含む。体液は、血液、骨髄液、髄液、リンパ液、唾液、涙液などを含む。排泄物は、尿及び便を含む。処理物は、被検者から採取された組織などを所定の固定液で固定したもの、パラフィンで包埋したもの、観察しやすいように薄切りにしたもの、染色をしたものなどを含む。染色には、ＰＡＳ染色（Periodic Acid Schiff stain）、ＰＡＭ染色（Periodic Acid Methenamine silver stain）、ヘマトキシリン・エオジン染色（Hematoxylin and Eosin stain）などが用いられる。

【0014】

観察画像は、光学顕微鏡、透過電子顕微鏡（TEM : Transmission Electron Microscope）、操作電子顕微鏡（SEM : Scanning Electron Microscope）などの顕微鏡装置によって検体を撮像することにより得られるデジタル形式の画像であり、複数の画素により構成される。観察画像は、顕微鏡装置によって撮像された複数の撮像画像を継ぎ目なく貼り合わせることにより生成されるバーチャルスライド画像を含む。観察画像は、数億～数十億ピクセル以上の画素数を有する画像であってもよい。

【0015】

仮想枠は、観察画像から部分画像を抽出するために設定されるスライディングウィンドウである。仮想枠のサイズは、学習済みモデルに入力する部分画像のサイズに合わせて設定される。一例では、仮想枠のサイズは５１２×５１２画素のサイズである。

【0016】

部分画像は、観察画像上で仮想枠をスライドさせながら各位置において仮想枠内の画像を観察画像から抽出することにより得られる画像である。仮想枠のスライド幅は、抽出すべき部分画像同士が一部重複するように設定される。仮想枠のサイズを５１２×５１２画素のサイズとした場合、スライド幅は、例えば、縦方向及び横方向にそれぞれ６４画素分に設定することができる。仮想枠を６４×６４画素のブロック単位で縦方向及び横方向に順次スライドさせていくことによって、最大で６４枚の部分画像が重複する。

【0017】

学習済みモデルは、機械学習や深層学習の適宜のアルゴリズムによって学習された学習済みの学習モデルであり、画像の入力に応じて当該画像の分類を示す分類クラスの情報を出力するように構成される。学習モデルには、画像セグメンテーション用の学習モデルや物体検出用の学習モデルなどが用いられる。画像セグメンテーション用の学習モデルは、ＥｆｆｉｃｉｅｎｔＮｅｔ、ＳｅｇＮｅｔ（Segmentation Network）、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）などを含む。物体検出用の学習モデルは、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）などを含む。学習済みモデルは、観察画像から抽出される複数の部分画像と、各部分画像の分類クラスを示すラベル情報とを含むデータセットを訓練データに用いて、上記の学習モデルをトレーニング（学習）することによって生成される。なお、訓練データに含まれる各部分画像のラベル情報は、医師などの専門家によって付与される。

【0018】

分類クラスは、同一の属性を有する部分集合を表す。本明細書では、部分画像を分類するために分類クラスが設定される。例えば、観察画像が腎生検画像である場合、分類クラスとして、糸球体、ボーマン嚢、髄質、皮質、尿細管、血管、動脈、筋肉、脂肪、炎症、Kimmelstiel-Wilson病変などが設定される。分類クラスは、観察画像の種類に応じて適宜設定されるとよい。

【0019】

部分画像を入力した場合に学習モデルから出力される分類クラスの情報は、部分画像の重複部分毎に集計される。上述の例では、６４×６４画素のブロック単位で重複部分が形成されるので、このブロック単位で分類クラスの情報が集計される。分類クラスの集計結果に基づき、重複部分が分類されるべき分類クラスが決定される。

【0020】

領域分割画像は、観察画像を複数種の領域に分割した画像である。領域分割画像は、同一の分類クラスに分類された重複部分を一連の領域として抽出することによって生成される。例えば、糸球体の分類クラスに分類された重複部分を一連の領域として抽出した場合、糸球体に属する領域と、糸球体に属さない領域とに分割した領域分割画像を生成することができる。なお、領域の分割数は、２つに限らず、３つ以上であってもよい。すなわち、糸球体、ボーマン嚢、髄質、皮質、尿細管、血管、動脈、筋肉、脂肪、炎症、Kimmelstiel-Wilson病変などの分類クラスに属する領域を個別に分割した領域分割画像を生成してもよい。

【0021】

情報処理装置は、表示すべき領域の種別に関する選択を受付ける受付部を備え、前記生成部は、選択された種別に対応する領域のみを示す領域分割画像を生成し、前記表示部は、生成された領域分割画像を前記観察画像に重畳して表示してもよい。受付部は、医師などのユーザによる操作を受付けるユーザインタフェースである。ユーザインタフェースは、キーボード、マウス、タッチパネルなどを含む。受付部により選択を受付ける種別は、上述した分類クラスである。例えば、糸球体の分類クラスが種別として選択された場合、糸球体に属する領域分割画像が観察画像上に重畳して表示される。

【0022】

前記表示部は、前記観察画像に占める各領域の割合の情報を前記領域分割画像と共に表示してもよい。観察画像に占める各領域の割合は、領域毎の面積を観察画像の面積で除算した値を表す。各領域の画素数を観察画像全体の画素数で除算して割合を算出してもよい。

【0023】

前記学習済みモデルは、観察画像から抽出される複数の部分画像と、各部分画像の分類クラスを示すラベル情報とを含むデータセットを訓練データに用いて生成したものであってもよい。ラベル情報は、分類クラスを指定するための情報であり、例えば、０１，０２，…といった分類クラス毎に割り当てられた値（クラス値）が用いられる。

【0024】

前記訓練データは、前記部分画像を、画素値のバラツキが相対的に大きい第１画像群と、画素値のバラツキが相対的に小さい第２画像群とに選別し、前記第１画像群に選別された部分画像に対して前記ラベル情報が付与された訓練データを含んでもよい。画素値のバラツキは、一定の領域内で画素値がどれだけばらけているのかを示す指標である。画素値のバラツキとして標準偏差や分散が用いられる。画素値のバラツキが相対的に大きい第１画像群には、画像内の濃淡差が比較的明瞭であり、構造的な特徴が明瞭に現れている部分画像が選別される。一方、画素値のバラツキが相対的に小さい第２画像群には、濃淡差の少ない領域が画像内の多くを占める部分画像が選別される。訓練データに用いる部分画像として、第１画像群に選別された部分画像を用いることができる。

【0025】

前記訓練データは、前記部分画像の全領域における画素値のバラツキと、前記部分画像の四隅領域における画素値のバラツキとに基づき、前記第２画像群に選別された部分画像を、背景画像群と非背景画像群とに選別し、背景画像群に選別された部分画像と、非背景画像群に選別された部分画像とに対して前記ラベル情報が付与された訓練データを更に含んでもよい。第２画像群に選別された部分画像は、背景画像群と非背景画像群とに選別される。背景画像群には、部分画像の全領域における画素値のバラツキが相対的に小さい画像が選別され、非背景画像群には、部分画像の四隅領域における画素値のバラツキが相対的に大きい画像が選別される。訓練データに用いる部分画像として、背景画像群及び非背景画像群に選別された部分画像を用いてもよい。

【0026】

情報処理装置は、各部分画像の識別情報と、前記分類部より得られる各部分画像の分類クラスの情報とを関連付けて記憶する記憶部とを備えてもよい。部分画像の識別情報は、個々の部分画像を識別するための情報である。観察画像から抽出された部分画像の識別情報は、アノテーションにより付与された分類クラスの情報に関連付けてメモリなどの記憶部に記憶される。

【0027】

前記観察画像は、検体を撮像して得られる複数の撮像画像を継ぎ合わせることにより生成される合成画像であり、前記抽出部は、前記仮想枠を前記観察画像の直交する２つの方向に夫々スライドさせて前記部分画像を抽出してもよい。合成画像は、一例ではバーチャルスライド画像である。合成画像は、バーチャルスライド画像に限らず、複数の撮像画像を継ぎ合わせた画像であってもよい。

【0028】

前記観察画像は、腎生検画像であり、前記学習済みモデルは、腎生検画像の入力に応じて、糸球体、尿細管、血管、皮質、髄質、炎症部、及び病変部を含む分類クラスの情報を出力するよう構成してもよい。腎生検画像は、腎生検によって得られる観察画像であり、糸球体、尿細管、血管、皮質、髄質などの組織を含む画像である。腎生検画像は、検出対象として炎症部や病変部を含んでもよい。

【0029】

糸球体を含むように前記部分画像の寸法を規定してもよい。腎生検画像を観察画像とした場合、糸球体を含むように部分画像を寸法が規定される。

【0030】

以下、本発明の適用例の１つとして、腎生検画像の診断支援を行う診断支援システムについて、図面を用いて具体的に説明する。
（実施の形態１）
図１は診断支援システムの構成例を示す模式図である。実施の形態に係る診断支援システムは、情報処理装置１と、顕微鏡装置２とを備える。

【0031】

情報処理装置１は、腎生検組織の画像を解析し、診断支援に関する情報を出力するためのサーバコンピュータ、パーソナルコンピュータなどの処理装置である。情報処理装置１は、例えば、腎生検組織を診断する医療施設内に設置される。代替的に、情報処理装置１は、医療施設の外部に設けられ、通信により各種情報を送受信してもよい。情報処理装置１は、顕微鏡装置２から腎生検画像を取得し、取得した腎生検画像を解析することによって診断支援に関する情報を出力する。

【0032】

なお、本実施の形態では、顕微鏡装置２から腎生検画像を取得する構成としたが、外部のコンピュータに取り込まれた腎生検画像を通信などの手段により取得する構成としてもよい。

【0033】

図２は情報処理装置１の内部を示すブロック図である。情報処理装置１は、制御部１１、記憶部１２、入力部１３、通信部１４、操作部１５、表示部１６などを備える専用又は汎用のコンピュータである。

【0034】

制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備える。制御部１１が備えるＲＯＭには、情報処理装置１が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部１１内のＣＰＵは、ＲＯＭに記憶された制御プログラムや後述する記憶部１２に記憶された各種コンピュータプログラムを実行し、ハードウェア各部の動作を制御することによって、装置全体を本願の情報処理装置として機能させる。制御部１１が備えるＲＡＭには、演算の実行中に生成されるデータが一時的に記憶される。

【0035】

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の演算回路であってもよい。また、制御部１１は、日時情報を出力するクロック、開始指示を与えてから終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。

【0036】

記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置を備える。記憶部１２には、制御部１１によって実行される各種コンピュータプログラムや制御部１１によって利用される各種データが記憶される。

【0037】

記憶部１２に記憶されるコンピュータプログラムは、診断支援プログラムＰＧ１を含む。診断支援プログラムＰＧ１は、腎生検画像から複数の部分画像を抽出し、それぞれを学習済みモデルＭＤに入力することにより各部分画像について分類クラスの情報を取得し、部分画像の重複部分について分類クラスの情報を集計し、集計結果に基づいて領域分割画像を生成して表示する処理をコンピュータに実行させるためのコンピュータプログラムである。

【0038】

記憶部１２に記憶されるコンピュータプログラムは、モデル生成プログラムＰＧ２を含んでもよい。モデル生成プログラムＰＧ２は、腎生検画像から複数の部分画像を抽出し、抽出した部分画像を、画素値のバラツキが相対的に大きい第１画像群と、画素値のバラツキが相対的に小さい第２画像群とに選別し、第１画像群に選別された部分画像と当該部分画像に対するラベル情報とを含むデータセットを訓練データに用いて学習済みモデルを生成する処理をコンピュータに実行させるためのコンピュータプログラムである。

【0039】

記憶部１２に記憶されるコンピュータプログラムは、当該コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体ＲＭにより提供される。記録媒体ＲＭは、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カード、コンパクトフラッシュ（登録商標）などの可搬型メモリである。制御部１１は、図に示していない読取装置を用いて、記録媒体ＲＭに記録されたコンピュータプログラムを読み取り、読み取ったコンピュータプログラムを記憶部１２に記憶させる。代替的に、記憶部１２に記憶されるコンピュータプログラムは、通信によって提供されてもよい。この場合、制御部１１は、通信部１４を通じてコンピュータプログラムを取得し、取得したコンピュータプログラムを記憶部１２に記憶させればよい。

【0040】

記憶部１２は、学習済みモデルＭＤを備えてもよい。学習済みモデルＭＤは、腎生検画像の部分画像が入力された場合、当該部分画像が属する分類クラスの情報を出力するよう構成される。学習済みモデルＭＤは、例えばＥｆｆｉｃｉｅｎｔＮｅｔにより構築される機械学習の学習モデルである。学習済みモデルＭＤは、ＥｆｆｉｃｉｅｎｔＮｅｔに限らず、ＳｅｇＮｅｔ、ＦＣＮ、Ｕ－Ｎｅｔ、ＰＳＰＮｅｔなど画像セグメンテーションが行える任意のニューラルネットワークを用いて構築されてもよい。代替的に、学習済みモデルＭＤは、ＹＯＬＯ、ＳＳＤなど物体検出用のニューラルネットワークを用いて構築されてもよい。記憶部１２には、学習済みモデルＭＤを定義する情報として、ニューラルネットワークを構成する層の情報、各層を構成するノードの情報、ノード間に設定される重みやバイアスの情報などが記憶される。

【0041】

入力部１３は、外部装置を接続するためのインタフェースを備える。入力部１３に接続される外部装置の一例は、腎生検組織を撮像し、観察画像として生成する顕微鏡装置２である。顕微鏡装置２は、例えば、対物レンズを光軸と垂直の方向に移動させながら、観察対象物を所定の倍率（例えば２０倍や４０倍など）で順次撮像し、得られた複数の撮像画像を継ぎ目なく貼り合わせることにより観察画像（バーチャルスライド画像、ＷＳＩ：Whole Slide Imageともいう）を生成する。情報処理装置１は、入力部１３に接続された顕微鏡装置２から腎生検組織の観察画像（腎生検画像）を取得する。代替的に、情報処理装置１は、外部のコンピュータに取り込まれ、当該コンピュータにより画像処理が施された腎生検画像を通信により取得してもよい。

【0042】

通信部１４は、各種データを送受信する通信インタフェースを備える。通信部１４が備える通信インタフェースは、例えば、ＷｉＦｉ（登録商標）やイーサネット（登録商標）で用いられるＬＡＮ（Local Area Network）の通信規格に準じた通信インタフェースである。通信部１４は、送信すべきデータが制御部１１から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部１４は、外部装置から送信されたデータを受信した場合、受信したデータを制御部１１へ出力する。

【0043】

操作部１５は、キーボード、マウス、タッチパネルなどの操作デバイスを備え、医療従事者等による各種の操作及び設定を受付ける。制御部１１は、操作部１５より与えられる各種の操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部１２に記憶させる。

【0044】

表示部１６は、液晶モニタや有機ＥＬ（Electro-Luminescence）などの表示デバイスを備え、制御部１１からの指示に応じて医師などに報知すべき情報を表示する。

【0045】

なお、情報処理装置１は、単一のコンピュータに限らず、複数のコンピュータや周辺機器からなるコンピュータシステムであってもよい。また、情報処理装置１は、ソフトウェアによって仮想的に構築される仮想マシンであってもよい。実施の形態に係る情報処理装置１は、操作部１５及び表示部１６を備える構成としたが、これらは必須ではなく、情報処理装置１と通信可能に接続された外部コンピュータから操作を受付け、外部モニタに各種の情報を表示させる構成であってもよい。

【0046】

情報処理装置１は、学習フェーズにおいて、訓練データを用いて機械学習を行うことにより学習済みモデルＭＤを生成し、運用フェーズにおいて、学習済みモデルＭＤを用いて腎生検画像を解析し、解析結果に基づいて診断支援に関する情報を出力する。

【0047】

以下、学習フェーズについて説明する。
情報処理装置１は、学習フェーズにおいて、（Ａ１）訓練用の腎生検画像を取得し、（Ａ２）腎生検画像を所定サイズに分割することにより多数のパッチ画像を生成し、（Ａ３）パッチ画像にラベルを付与した訓練データを生成し、（Ａ４）生成した訓練データを用いて機械学習を行うことにより学習済みモデルＭＤを生成する。

【0048】

（Ａ１）腎生検画像の取得
腎生検画像は腎生検組織（検体）の観察画像である。腎生検組織の観察のために、腎生検組織にはＰＡＳ染色が施される。ＰＡＳ染色は、糖タンパク質を赤く染め、糸球体や尿細管などの腎生検組織の観察に優れた染色法である。代替的に、ＰＡＭ染色やヘマトキシリン・エオジン染色などの染色が施されてもよい。

【0049】

腎生検組織の観察には顕微鏡装置２が用いられる。顕微鏡装置２は、既存の光学顕微鏡であり、観察対象物（腎生検組織）が載置されるステージ、ステージを水平面内で二軸方向に駆動するアクチュエータ、観察対象物に照明光を照射する光源、観察対象物を撮像する撮像素子、観察対象物の光学像を撮像素子に投影する光学系などを備える。光学系は対物レンズを含む。顕微鏡装置２は、ステージを駆動しながら観察対象物を順次撮像し、得られた複数の撮像画像を継ぎ目なく貼り合わせることにより、高解像度と高視野領域とを実現したバーチャルスライド画像（デジタル画像）を生成する。

【0050】

図３は腎生検画像の一例を示す模式図である。図３は腎生検組織のバーチャルスライド画像である。バーチャルスライド画像には、糸球体、ボーマン嚢、基底膜、上皮細胞、メザンギウム細胞、尿細管、血管などの組織が含まれる。

【0051】

情報処理装置１は、顕微鏡装置２により生成される腎生検画像を入力部１３より取得する。情報処理装置１は、取得した腎生検画像を記憶部１２に記憶させる。情報処理装置１は、外部のコンピュータに取り込まれた腎生検画像を通信などの手段により取得してもよい。

【0052】

（Ａ２）パッチ画像の生成
情報処理装置１の制御部１１は、取得した腎生検画像から、学習済みモデルＭＤの訓練データに用いるパッチ画像（部分画像）を生成する。図４はパッチ画像の生成手法を説明する説明図である。情報処理装置１は、腎生検画像を複数の領域に分割することによりパッチ画像を生成する。図４の例では、腎生検画像を７×２６個の矩形領域に分割した例を示しているが、分割数は元の腎生検画像のサイズや撮像時の拡大率（対物レンズの倍率）等に応じて定められる。パッチ画像は、それぞれが５１２×５１２程度の画素数を有し、糸球体の構造を認識できる程度の大きさ（現実の寸法で９０×９０μｍ程度の大きさ）を有するようにサイズが調整される。

【0053】

制御部１１は、生成したパッチ画像から、訓練データに用いるパッチ画像を選別する。パッチ画像の選別には画素値のバラツキが用いられる。制御部１１は、画素値のバラツキとして、標準偏差（ＳＤ：Standard Deviation）を計算する。代替的に、制御部１１は、画素値の分散を計算してもよい。

【0054】

制御部１１は、各パッチ画像について、パッチ画像の領域全体の標準偏差SD_allと、四隅領域の標準偏差SD_four cornersとを計算する。四隅領域は、パッチ画像を例えば４×４の合計１６個の小領域に分割したとき、四隅に位置する４個の少領域を表す。制御部１１は、計算した標準偏差SD_all，SD_four cornersを閾値と比較し、何れも閾値以上である場合、相対的に画素値のバラツキが大きいと判断し、そのパッチ画像を第１画像群に選別する。閾値の一例は８であるが、腎生検画像のフォーマットや腎生検組織の染色法などに応じて適宜設定すればよい。一方、何れか１つの標準偏差が閾値未満である場合、相対的に画素のバラツキは小さいと判断し、そのパッチ画像を第２画像群に選別する。なお、図４では、計算した５つの標準偏差の全てが８以上である場合を「ＳＤ≧８」、何れか１つが８未満である場合を「ＳＤ＜８」と略記して示している。

【0055】

制御部１１は、更に、第２画像群に選別したパッチ画像を、背景画像群と非背景画像群とに選別する。背景画像群は、パッチ画像の領域全体の標準偏差SD_allが閾値未満の画像群であり、非背景画像群は、パッチ画像の領域全体の標準偏差SD_allが閾値以上、かつ四隅領域の標準偏差SD_four cornersの何れか１つが閾値未満の画像群である。

【0056】

制御部１１は、第１画像群に選別したパッチ画像を、訓練データに用いるパッチ画像として選別する。また、制御部１１は、背景画像群に選別したパッチ画像のうち、ランダムに選択した所定数のパッチ画像を、訓練データに用いるパッチ画像として選別してもよい。更に、制御部１１は、非背景画像群に選別したパッチ画像を、訓練データに用いるパッチ画像として選別してもよい。

【0057】

（Ａ３）訓練データの生成
制御部１１は、選別したパッチ画像に対するラベル（分類クラス）を受付けることにより、複数のパッチ画像と、各パッチ画像の分類クラスを示すラベル情報とを含むデータセットを訓練データとして生成する。各パッチ画像に対するラベル付け（アノテーション）は、医師などの専門家によりマニュアルで実施される。図５は分類クラスの一例を示す図である。図５に示す分類クラスのうち、クラス値が０１～１３のものは糸球体関連の分類クラス、１４～２６は尿細管関連の分類クラス、２７～３２は円柱に属する分類クラス、３３～３５は血管に属する分類クラス、３６～４０は基質などの分類クラス、４１～４２はその他に属する分類クラス、４３～４８は解析に不適切な分類クラス、４９～５６は背景に属する分類クラスを表す。なお、パッチ画像の分類クラスは、図５に示すものに限らず、適宜設定されるとよい。

【0058】

図５に示す分類クラスに基づきアノテーションが実施された場合、第１画像群の各パッチ画像には、０１～５０（ただし４５を除く）の何れかのクラス値が付与される。また、背景画像群のパッチ画像には、５１～５６の何れかのクラス値が付与され、非背景画像群のパッチ画像には、４５のクラス値が付与される。

【0059】

制御部１１は、腎生検画像から生成した複数のパッチ画像と、それぞれのパッチ画像に付与されたクラス値（分類クラス）とのデータセットを、訓練データとして記憶部１２に記憶させる。図６は訓練データの記憶例を示す概念図である。図６の例は、パッチ画像を識別するパッチ画像ＩＤに関連付けて、分類クラスの情報（クラス値）を記憶部１２に記憶した状態を示している。

【0060】

（Ａ４）学習済みモデルＭＤの生成
制御部１１は、記憶部１２に記憶された訓練データに基づき、学習済みモデルＭＤを生成する。図７は学習済みモデルＭＤの構成例を示す模式図である。学習済みモデルＭＤは、入力層、中間層（隠れ層）、及び出力層を備える。入力層、中間層、及び出力層は複数のノードを備える。入力層が備える各ノードには、パッチ画像を構成する各画素の画素値が入力される。入力層の各ノードに入力されたパッチ画像の各画素の画素値を示すデータは中間層へ送出される。

【0061】

中間層は、畳み込み層、プーリング層、全結合層などにより構成される。簡略化のために、図７の例では中間層を２つだけ記載しているが、学習済みモデルＭＤが備える中間層の数は２つに限定されず、３つ以上であってもよい。また、中間層が備える層の種類は、使用するニューラルネットワークに応じて適宜設計される。中間層の各層が備える個々のノードは、前後に設けられた層のノードに結合されている。各ノードにおける内部活性度やノード間の結合の強さ（重み係数）を含む学習済みモデルＭＤのパラメータは、学習の過程で定められる。中間層の各層のノードは、内部活性度や重み係数などのパラメータに基づいて計算される値を後段のノードへ出力する。

【0062】

出力層は、中間層から入力される値を基にソフトマックス関数を用いて確率を計算する。出力層の各ノードが出力する確率は、分類対象のパッチ画像が各分類クラスに属する確率を表す。本実施の形態に係る学習済みモデルＭＤは、パッチ画像に関して、クラス値０１の分類クラス（糸球体）に該当する確率Ｐ１、クラス値０２の分類クラス（メサンギウム増殖を伴う糸球体）に該当する確率Ｐ２、…、及びクラス値５６の分類クラス（黒）に該当する確率Ｐ５６を出力するよう構成される。制御部１１は、分類対象のパッチ画像を学習済みモデルＭＤに与えたとき、学習済みモデルＭＤの出力層から出力される確率を参照し、確率が最も高い分類クラスをそのパッチ画像の分類クラスとして推定する。

【0063】

情報処理装置１は、事前に準備した訓練データを用いて、学習済みモデルＭＤを生成する。すなわち、情報処理装置１は、訓練データに含まれるパッチ画像と、当該パッチ画像に付与されたラベル（正解データ）とを用いて、所定の学習アルゴリズムで学習することにより、学習済みモデルＭＤを生成することができる。

【0064】

図８は学習フェーズにおいて情報処理装置１が実行する処理の手順を示すフローチャートである。情報処理装置１の制御部１１は、入力部１３若しくは通信部１４を通じて、腎生検画像を取得する（ステップＳ１０１）。制御部１１は、例えば入力部１３に接続された顕微鏡装置２から腎生検画像を取得する。代替的に、制御部１１は、通信部１４を介して通信可能に接続された外部のコンピュータから腎生検画像を取得する。情報処理装置１が取得する腎生検画像は、例えば腎生検組織の撮像画像を継ぎ目なく貼り合わせたバーチャルスライド画像である。

【0065】

次いで、制御部１１は、取得した腎生検画像からパッチ画像を抽出する（ステップＳ１０２）。制御部１１は、腎生検画像を複数の領域に分割することにより、パッチ画像を抽出する。パッチ画像のサイズは、糸球体の構造を認識できる程度のサイズである。制御部１１は、腎生検画像から抽出したパッチ画像を記憶部１２に記憶させる。

【0066】

次いで、制御部１１は、訓練データに用いるパッチ画像を選別する（ステップＳ１０３）。制御部１１は、各パッチ画像について画素値のバラツキ（例えば標準偏差ＳＤ）を計算し、相対的に画素値のバラツキが大きいものを第１画像群、相対的に画素値のバラツキが小さいものを第２画像群に選別する。また、制御部１１は、第２画像群に選別したパッチ画像を、領域全体の画素値のバラツキが小さい背景画像群と、四隅領域の何れかのみの画素値のバラツキが小さい非背景画像群とに選別する。

【0067】

次いで、制御部１１は、選別されたパッチ画像についてラベルを受付ける（ステップＳ１０４）。制御部１１は、操作部１５を通じて医師などの専門家の操作を受付けることにより、各パッチ画像に対するラベル（クラス値）を受付ける。図５に示すように５６種類の分類クラスが設定されている場合、第１画像群に選別されたパッチ画像には、０１～５０（４５を除く）の何れかのクラス値が付与される。また、背景画像群に選別されたパッチ画像には、５１～５６の何れかのクラス値が付与され、非背景画像群に選別されたパッチ画像には、４５のクラス値が付与される。

【0068】

次いで、制御部１１は、各パッチ画像と、各パッチ画像に対して付与されたラベル（クラス値）とを関連付け、それらのデータセットを学習用の訓練データとして記憶部１２に記憶させる（ステップＳ１０５）。

【0069】

次いで、制御部１１は、学習を開始するか否かを判断する（ステップＳ１０６）。予め定められた数の訓練データが得られた場合、制御部１１は、学習を開始すると判断する。また、操作部１５を通じて学習開始指示を受付けた場合、制御部１１は、学習を開始すると判断してもよい。学習を開始しないと判断した場合（Ｓ１０６：ＮＯ）、制御部１１は、処理をステップＳ１０１へ戻す。

【0070】

学習を開始すると判断した場合（Ｓ１０６：ＹＥＳ）、制御部１１は、後述するモデル生成処理を実行する（ステップＳ１０７）。

【0071】

図９はモデル生成処理の手順を示すフローチャートである。制御部１１は、記憶部１２に記憶されている訓練データから、パッチ画像と、当該パッチ画像に付与されているクラス値とを一組選択し（ステップＳ１２１）、選択したパッチ画像を、予め用意されている学習モデルに入力することによって、当該学習モデルによる演算を実行する（ステップＳ１２２）。なお、学習を開始する前の段階において、学習モデルを特徴付けるパラメータ（各ノードの内部活性度やノード間の重み）には、初期値が設定されているものとする。

【0072】

制御部１１は、学習モデルによる演算結果を評価し（ステップＳ１２３）、学習が完了したか否かを判断する（ステップＳ１２４）。制御部１１は、演算結果より推定される分類クラスの推定値（クラス値）と、正解データとして含むクラス値とに基づく誤差関数（目的関数、損失関数、コスト関数ともいう）に基づき、学習モデルによる演算結果を評価することができる。制御部１１は、例えば、最急降下法などの勾配降下法により誤差関数を最適化（最小化又は最大化）する課程で、誤差関数が閾値以下（又は閾値以上）となった場合、学習が完了したと判断する。

【0073】

学習が完了していないと判断した場合（Ｓ１２４：ＮＯ）、制御部１１は、各ノードの内部活性度やノード間の重みを含むパラメータを更新し（ステップＳ１２５）、処理をステップＳ１２１へ戻す。制御部１１は、学習モデルの出力層から入力層に向かって各ノードの内部活性度やノード間の重みを含む学習パラメータを順次更新する誤差逆伝搬法を用いて、各ノードのパラメータを更新することができる。

【0074】

学習が完了したと判断した場合（Ｓ１２４：ＹＥＳ）、制御部１１は、学習済みの学習モデルが得られるので、当該学習モデルを学習済みモデルＭＤとして記憶部１２に記憶させる（ステップＳ１２５）。

【0075】

本実施の形態では、情報処理装置１において学習済みモデルＭＤを生成する構成について説明したが、外部のサーバ装置において生成されてもよい。情報処理装置１は、外部のサーバ装置において生成された学習済みモデルＭＤを通信又は記録媒体により取得し、取得した学習済みモデルＭＤを記憶部１２にインストールすればよい。

【0076】

また、本実施の形態では、医師などの専門家がマニュアルでラベル付けを行うことによりアノテーションを実施する構成としたが、学習が進めば、学習済みモデルＭＤに入力したパッチ画像と、学習済みモデルＭＤの演算結果に基づく分類結果とを訓練データの一部として用いてもよい。

【0077】

次に、運用フェーズについて説明する。
情報処理装置１は、学習済みモデルＭＤを取得した後のタイミングで運用フェーズに移行する。情報処理装置１は、運用フェーズにおいて、（Ｂ１）診断対象の腎生検画像を取得し、（Ｂ２）腎生検画像から複数のパッチ画像を抽出し、（Ｂ３）各パッチ画像を学習済みモデルＭＤに入力することによって分類クラスに分類し、（Ｂ５）分類結果を集計し、（Ｂ６）集計結果に基づき領域分割画像を生成して表示部１６に表示する。

【0078】

（Ｂ１）腎生検画像の取得
情報処理装置１は、診断対象の腎生検画像を取得する。診断対象の腎生検画像は、被検者から採取された腎生検組織の観察画像である。腎生検画像の一例は、顕微鏡装置２より得られる複数の撮像画像を継ぎ目なく貼り合わせて生成されるバーチャルスライド画像である。情報処理装置１は、入力部１３に接続された顕微鏡装置２から腎生検画像を取得する。代替的に、情報処理装置１は、代替的に、情報処理装置１は、外部のコンピュータに取り込まれ、当該コンピュータにより画像処理が施された腎生検画像を通信により取得する。

【0079】

（Ｂ２）パッチ画像の抽出
情報処理装置１は、取得した腎生検画像にスライディングウィンドウを設定し、当該スライディングウィンドウを直交する２つの方向にスライドさせながら、パッチ画像（部分画像）を抽出する。

【0080】

図１０はスライディングウィンドウＳＷの一例を示す模式図である。スライディングウィンドウＳＷは、腎生検画像からパッチ画像を抽出するために設定される仮想枠であり、抽出すべきパッチ画像と同じ大きさを有する。情報処理装置１の制御部１１は、スライディングウィンドウＳＷが設定された位置において、スライディングウィンドウＳＷ内の画素情報を腎生検画像から読み出すことにより、パッチ画像を抽出する。制御部１１は、抽出したパッチ画像を記憶部１２に記憶させる。制御部１１は、スライディングウィンドウＳＷを腎生検画像上の直交する２つの方向（図１０に示すＸ方向及びＹ方向）に１ブロックずつスライドさせながら、各位置においてパッチ画像を順次抽出する。１つのブロックは、Ｘ方向及びＹ方向にそれぞれスライディングウィンドウＳＷの１／ｎの寸法を有する。ここで、ｎは２以上の整数である。図１０はｎ＝８の例を示している。

【0081】

図１１はパッチ画像の抽出例を示す模試図である。制御部１１は、腎生検画像上でスライディングウィンドウＳＷを１ブロックずつスライドさせながら、パッチ画像を順次抽出する。図１１Ａは、腎生検画像の左上隅にスライディングウィンドウＳＷを設定し、その位置にてパッチ画像を抽出した例を示している。図１１Ｂは、図１１Ａの状態からＸ方向に１ブロックだけスライディングウィンドウＳＷをスライドさせ、その位置においてパッチ画像を抽出した例を示している。図１１Ｃは、スライディングウィンドウＳＷのスライドと、パッチ画像の抽出とを更に進め、Ｘ方向に１０ブロック、Ｙ方向に６ブロックまでスライドさせたスライディングウィンドウＳＷからパッチ画像を抽出した例を示している。このように、制御部１１は、腎生検画像上でスライディングウィンドウＳＷを１ブロックずつスライドさせながら、腎生検画像の画像全体からパッチ画像を抽出する。

【0082】

（Ｂ３）分類クラスへの分類
制御部１１は、診断対象の腎生検画像から抽出した複数のパッチ画像をそれぞれ学習済みモデルＭＤに入力し、学習済みモデルＭＤによる演算を実行する。学習済みモデルＭＤは、パッチ画像を入力した場合、出力層が備える各ノードから各分類クラスに該当する確率を出力するよう学習されている。制御部１１は、学習済みモデルＭＤから得られる演算結果に基づき、確率が最も高い分類クラスを特定することにより、パッチ画像を分類クラスの何れかに分類することができる。

【0083】

（Ｂ４）分類結果の集計
本実施の形態では、Ｘ方向及びＹ方向にそれぞれｎ分割したブロック単位でスライディングウィンドウＳＷをスライドさせ、パッチ画像を抽出するので、各パッチ画像について分類を行った場合、各ブロックにつき最大でｎ×ｎ個の分類結果が得られる。制御部１１は、パッチ画像を分類する都度、分類結果を集計テーブルに記録する。集計テーブルは、例えば記憶部１２に用意される。

【0084】

図１２は集計テーブルの一例を示す概念図である。腎生検画像の左上隅のブロックを（１，１）、その右に隣接するブロックを（２，１）、更にその右に隣接するブロックを（３，１）、…、といったように、各ブロックを座標（ｘ，ｙ）により表す。このとき、腎生検画像の左上隅に設定したスライディングウィンドウＳＷから抽出したパッチ画像には、（１，１）～（８，８）の合計６４個のブロックが含まれる。このパッチ画像について分類を行った結果、糸球体（クラス値＝０１）との分類結果が得られた場合、制御部１１は、（１，１）～（８，８）の６４個のブロックについて、クラス値０１に対応するカウンタを１だけ増加させる。この結果、図１２に示されている範囲では、（１，１）～（８，１）のブロックについて、クラス値０１に対応するカウンタが１だけ増加する。

【0085】

同様に、Ｘ方向に１ブロックだけスライディングウィンドウＳＷをスライドさせ、パッチ画像を抽出した場合、このパッチ画像には、（２，１）～（９，８）の合計６４個のブロックが含まれる。このパッチ画像について分類を行った結果、同じく糸球体（クラス値＝０１）との分類結果が得られた場合、制御部１１は、（２，１）～（９，８）の６４個のブロックについて、クラス値０１に対応するカウンタを１だけ増加させる。この結果、図１２に示されている範囲では、（２，１）～（８，１）のブロックについて、クラス値０１に対応するカウンタが１だけ増加する。

【0086】

このように、制御部１１は、スライディングウィンドウＳＷをブロック単位でスライドさせながらパッチ画像を抽出し、各パッチ画像について分類を行い、ブロック毎の分類結果を集計する。

【0087】

（Ｂ５）領域分割画像の生成・表示
制御部１１は、集計テーブルに記録されたカウント値を参照し、領域分割画像を生成する。例えば、糸球体の領域のみを抽出した領域分割画像を生成する場合、制御部１１は、集計テーブルのクラス値０１の欄に記録されているカウント値を参照し、糸球体が存在していると推定される領域の画像（領域分割画像）を生成すればよい。図１３は糸球体の領域分割画像の一例を示す模式図である。図１３Ａは腎生検画像の一例を示し、図１３Ｂは学習済みモデルＭＤの演算結果に基づき生成した糸球体の領域分割画像の例を示している。制御部１１は、クラス値０１に対応するカウント値が、例えば、０～１４の範囲、１５～２４の範囲、２５～３４の範囲、３５～４４の範囲、４５～５４の範囲、及び５５～６４の範囲に属する領域をそれぞれ区別して描画することにより、図１３Ｂに示すようなコンターマップを生成することができる。なお、図１３Ｂに示すコンターマップは、白色から黒色に向かうにつれて、糸球体である確度が高い領域であることを示している。

【0088】

同様に、炎症を含む領域を抽出した領域分割画像を生成する場合、制御部１１は、炎症に該当するクラス値（クラス値１９，２０，３０など）に関連付けて記録されているカウント値を集計テーブルから読み出し、読み出したカウント値に基づき炎症と推定される領域の画像を生成すればよい。病変を含む領域を抽出した領域分割画像を生成する場合、制御部１１は、特定の病変に応じたクラス値（クラス値０２，０３，０４，０６，０８など）に関連付けて記録されているカウント値を集計テーブルから読み出し、読み出したカウント値に基づき病変と推定される領域の画像を生成すればよい。

【0089】

図１４は炎症部分及び病変部分の領域分割画像の一例を示す模式図である。図１４Ａは腎生検画像の一例を示し、図１４Ｂは学習済みモデルＭＤの演算結果に基づき生成した炎症部分の領域分割画像の例、図１４Ｃは学習済みモデルＭＤの演算結果に基づき生成した病変部分（Kimmelstiel-Wilson病変部分）の領域分割画像の例を示している。制御部１１は、クラス値２０に対応するカウント値が例えば上記の各範囲に属する領域をそれぞれ区別して描画することにより、図１４Ｂに示すようなコンターマップを生成することができる。同様に、制御部１１は、クラス値０４に対応するカウント値が例えば上記の各範囲に属する領域をそれぞれ区別して描画することにより、図１４Ｃに示すようなコンターマップを生成することができる。なお、図１４Ｂに示すコンターマップは、白色から黒色に向かうにつれて、炎症である確度が高い領域であることを示し、図１４Ｃに示すコンターマップは、白色から黒色に向かうにつれて、Kimmelstiel-Wilson病変である確度が高い領域であることを示している。

【0090】

本実施の形態では、一例として、糸球体領域を示す領域分割画像（図１３Ｂ）、炎症領域を示す領域分割画像（図１４Ｂ）、及びKimmelstiel-Wilson病変領域を示す領域分割画像（図１４Ｃ）について示したが、制御部１１は、５６種類の分類クラス毎に領域分割画像を生成することができる。

【0091】

制御部１１は、生成した領域分割画像を表示部１６に表示する。表示部１６に表示される領域分割画像は、医師への診断支援情報となり得る。制御部１１は、診断対象の腎生検画像と、この腎生検画像から生成した領域分割画像とを並べて表示してもよく、腎生検画像に重畳して領域分割画像を表示してもよい。

【0092】

図１３の例では糸球体の領域分割画像、図１４では炎症部分及び病変部分の領域分割画像を示したが、制御部１１は、糸球体、炎症部分、病変部分の領域分割画像に限らず、各分類クラスに対応した領域分割画像を個別に生成することが可能である。制御部１１は、操作部１５を通じて分類クラスの選択を受付け、選択された分類クラスに該当する領域分割画像を生成してもよい。

【0093】

また、本実施の形態では、分類クラス毎に領域分割画像を生成する構成としたが、複数の分類クラスをまとめ、１つの領域分割画像として生成してもよい。例えば、分類クラス２２及び２３は、共に髄質に該当する分類クラスを示すので、制御部１１は、これらの分類クラスのカウント値を合計し、合計値に基づき領域分割画像を生成してもよい。

【0094】

また、制御部１１は、カウント値を閾値と比較し、カウント値が閾値以上の領域のみを抽出して分類画像を生成してもよい。閾値は、分類クラス毎に設定された値であってもよく、分類クラスに依らず一律の値であってもよい。また、閾値は、医師の入力操作によって設定され、運用開始後に適宜変更されてもよい。

【0095】

図１５は領域分割画像の他の例を示す模式図である。図１５Ａは腎生検画像の一例を示し、図１５Ｂは学習済みモデルＭＤの演算結果に基づき生成した領域分割画像の他の例を示している。図１５Ｂの例では、健全な皮質尿細管（クラス値１４）、皮質髄質（クラス値２１）、基質拡張（クラス値２４，２５）、糸球体（クラス値０１）、及び動脈（クラス値３３，３４）の領域を個別に抽出し、これらの５つの領域を含む領域分割画像を生成した例を示している。

【0096】

制御部１１は、複数の領域を含む領域分割画像を生成する際、画像全体に各領域が占める割り合いを算出し、領域分割画像と共に表示してもよい。画像全体の面積は、腎生検画像に含まれる全てのブロックの個数として算出される。また、各領域分割画像の面積は、各領域に含まれるブロックの個数として算出される。制御部１１は、各領域分割画像の面積を画像全体の面積で除算することにより、画像全体に各領域が占める割り合いを算出することができる。

【0097】

制御部１１は、生成した領域分割画像を表示部１６に表示する。表示部１６に表示した領域分割画像は、医師への診断支援情報となり得る。制御部１１は、診断対象の腎生検画像と、この腎生検画像から生成した領域分割画像とを並べて表示してもよく、腎生検画像に重畳して領域分割画像を表示してもよい。

【0098】

図１６は運用フェーズにおいて情報処理装置１が実行する処理の手順を示すフローチャートである。情報処理装置１の制御部１１は、入力部１３若しくは通信部１４を通じて、腎生検画像を取得する（ステップＳ２０１）。制御部１１は、例えば入力部１３に接続された顕微鏡装置２から腎生検画像を取得する。代替的に、制御部１１は、通信部１４を介して通信可能に接続された外部のコンピュータから腎生検画像を取得する。情報処理装置１が取得する腎生検画像は、例えば腎生検組織の撮像画像を継ぎ目なく貼り合わせたバーチャルスライド画像である。

【0099】

次いで、制御部１１は、取得した腎生検画像からパッチ画像を抽出する（ステップＳ２０２）。制御部１１は、取得した腎生検画像上にスライディングウィンドウＳＷを設定し、スライディングウィンドウＳＷが設定された位置において、ウィンドウ内の画素情報を腎生検画像から読み出すことにより、パッチ画像を抽出する。

【0100】

次いで、制御部１１は、抽出したパッチ画像を学習済みモデルＭＤに入力し、学習モデル済みＭＤによる演算を実行する（ステップＳ２０３）。学習済みモデルＭＤが備える入力層の各ノードには、パッチ画像を構成する各画素の画素値のデータが与えられる。入力層の各ノードに与えられたデータは、隣接する中間層のノードへ出力される。中間層では各ノードの内部活性度やノード間の重み等に基づく演算が実行される。学習済みモデルＭＤの出力層は、中間層から入力される値を基にソフトマックス関数を用いて確率を計算し、各ノードから演算結果として出力する。出力層の各ノードが出力する確率は、分類対象のパッチ画像が各分類クラスに属する確率を表す。

【0101】

次いで、制御部１１は、学習済みモデルＭＤによる演算結果に基づき、パッチ画像を分類する（ステップＳ２０４）。制御部１１は、学習済みモデルＭＤから得られる演算結果を参照して、確率が最も高い分類クラスを特定することにより、パッチ画像を分類クラスの何れかに分類することができる。

【0102】

次いで、制御部１１は、分類結果を集計する（ステップＳ２０５）。制御部１１は、分類結果を集計テーブルに記録することによって集計する。具体的には、制御部１１は、パッチ画像を構成する各ブロックについて、分類されたクラス値に対応するカウンタを１だけ増加させることにより、分類結果を集計する。

【0103】

次いで、制御部１１は、全てのパッチ画像について分類が終了したか否かを判断する（ステップＳ２０６）。分類が終了していないパッチ画像が存在する場合（Ｓ２０６：ＮＯ）、制御部１１は、スライディングウィンドウＳＷ（仮想枠）をＸ方向又はＹ方向に１ブロックだけスライドさせ（ステップＳ２０７）、処理をステップＳ２０２へ戻す。

【0104】

全てのパッチ画像について分類が終了したと判断した場合（Ｓ２０６：ＹＥＳ）、制御部１１は、分類の集計結果に基づき、領域分割画像を生成する（ステップＳ２０８）。制御部１１は、予め設定された１又は複数の領域を含む領域分割画像を生成してもよい。代替的に、制御部１１は、存在率が上位の分類クラスを特定し、例えば上位５種までの分類クラスの領域を含む領域分類画像を生成してもよい。また、制御部１１は、操作部１５を通じて分類クラスの選択を受付け、選択された分類クラスに該当する領域の領域分割画像を生成してもよい。更に、選択された分類クラスに該当する領域と、存在率が上位の領域とを含む領域分割画像を生成してもよい。

【0105】

次いで、制御部１１は、生成した領域分割画像を表示部１６に表示する（ステップＳ２０９）。制御部１１は、腎生検画像と領域分割画像とを並べて表示してもよく、腎生検画像上に領域分割画像を重畳して表示してもよい。制御部１１は、画像全体に各領域が占める割り合いを算出し、領域分割画像と共に表示してもよい。

【0106】

本願発明者らは、国内２４施設において腎生検を受けた５００２名を対象に腎生検バーチャルスライドデータを収集し、臨床データと紐づけたデータベースを作成した。ＰＡＳ染色画像からパッチ画像を切り出して、学習データとした。

【0107】

本願発明者らは、データを訓練及び検証用のデータセットとテストセットとに分割し、患者背景に差がないことを確認した。訓練及び検証用のデータセットは、更に５分割され、そのうち２つのサブセットから約２６万枚のパッチ画像を選択して５６クラスに分類した訓練データを作成した。この訓練データに基づき学習済みモデル（ＡＩ１とする）を生成した。ＡＩ１を用いて、残りの３つのサブセットのパッチ画像を予測させ、高信頼性を示した約１３９万枚の画像を新たな訓練データとして作成した。新たに作成した訓練データを用いて学習済みモデル（ＡＩ２とする）を新たに生成した。ＡＩ２を用いて、ＡＩ１の学習に用いた訓練データ約２６万枚を分類させたところ、適合率（precision）は平均で０．９１６、再現率（recall）は平均で０．９４７となった。更に、訓練及び検証用のデータセットに含まれる全パッチ画像（約２４０万枚）を訓練データに用いて学習済みモデル（ＡＩ３）を生成し、領域分割画像により病変を可視化したところ、良好に病変が検出された。

【0108】

以上のように、本実施の形態では、バーチャルスライド画像のような大きな観察画像をパッチ画像に分割して機械学習を行うことにより、パッチ画像の入力に応じて、分類クラスの情報を出力するよう構成された学習済みモデルＭＤを構築した。また、学習済みモデルＭＤを用いた推論の際には、パッチ画像同士が重複するようにスライディングウィンドウＳＷをスライドさせながら複数のパッチ画像を抽出し、重複部分について得られる分類クラスの情報を集計して領域分割画像を生成した。本実施の形態では、パッチ画像として５１２×５１２画素のサイズの画像を用いているが、重複部分として形成される６４×６４画素のブロック単位で分類クラスを決定することができるので、このブロックを単位として領域分割画像を生成することにより、観察画像内の組織や病変の構造をより緻密に描画することができる。本実施の形態により、腎生検画像の診断の標準化が可能となり、患者により良い医療の提供が可能となることが期待される。

【0109】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0110】

例えば、実施の形態に係る情報処理装置１は、腎生検画像に基づき診断支援に関する情報を出力する構成としたが、診断の対象は腎生検画像に限定されない。例えば、細胞を診断対象とした細胞診画像、癌を診断対象とした癌生検画像など、検体を撮像して得られる任意の観察画像について本実施の形態に開示した手法を適用することが可能である。

【0111】

また、本実施の形態では、学習フェーズの終了後に運用フェーズに移行する構成とたが、運用開始後の適宜のタイミングで学習済みモデルＭＤの再学習を行ってもよい。すなわち、制御部１１は、運用開始後に学習済みモデルＭＤに入力したパッチ画像と、学習済みモデルＭＤの演算結果により推定した分類の情報とのデータセットを訓練データとして蓄積しておき、定期的なタイミング若しくはシステムの管理者等が指示するタイミングにて、学習済みモデルＭＤの再学習を行ってもよい。また、学習済みモデルＭＤによる分類結果に誤りがある場合、操作部１５を通じて分類クラスの修正を受け付けてもよい。制御部１１は、学習済みモデルＭＤに入力したパッチ画像と、修正後の分類クラスの情報とを蓄積しておき、これらのデータセットを再学習の際の訓練データとして用いてもよい。なお、再学習の手順は、図８のフローチャートに示される手順と同様であるため、その説明を省略する。

【符号の説明】

【0112】

１ 情報処理装置
２ 顕微鏡装置
１１ 制御部
１２ 記憶部
１３ 入力部
１４ 通信部
１５ 操作部
１６ 表示部
ＰＧ１ 診断支援プログラム
ＰＧ２ モデル生成プログラム
ＭＤ 学習済みモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】