特開 2024-83838 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024083838

(43)【公開日】2024-06-24

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   A61B 3/14 20060101AFI20240617BHJP

   G06T 7/00 20170101ALI20240617BHJP

【ＦＩ】

A61B3/14

G06T7/00 350B

G06T7/00 612

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022197888

(22)【出願日】2022-12-12

(71)【出願人】

【識別番号】520228991

【氏名又は名称】ＤｅｅｐＥｙｅＶｉｓｉｏｎ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】▲高▼橋 秀徳

(72)【発明者】

【氏名】近藤 佑亮

【テーマコード（参考）】

4C316

5L096

【Ｆターム（参考）】

4C316AA09

4C316AA10

4C316AB06

4C316AB16

4C316FB21

4C316FB27

5L096AA02

5L096AA06

5L096BA03

5L096BA06

5L096BA13

5L096CA02

5L096DA01

5L096DA02

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】画像中の検査対象部位の組織全体の特徴を評価した測定値を得ることが可能な情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】情報処理装置２０は、被検者の検査対象部位の撮影により取得された第１画像を取得する画像取得部２２４と、第１画像の検査対象部位の第１属性が正常である確信度及び／又は正常な第１属性から所定の逸脱度である確信度を取得する第１分類部２２６と、第１分類部が取得した確信度に基づいて推論結果を出力する出力部２２１０とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

被検者の検査対象部位の撮影により取得された第１画像を取得する画像取得部と、
前記第１画像の前記検査対象部位の第１属性が正常である確信度及び／又は正常な第１属性から所定の逸脱度である確信度を取得する第１分類部と、
前記第１分類部が取得した確信度に基づいて推論結果を出力する出力部と
を備える情報処理装置。

【請求項2】

前記第１画像の前記検査対象部位の第２属性が正常である確信度及び／又は正常な第２属性から所定の逸脱度である確信度を取得する第２分類部
をさらに備え、
前記出力部は、前記第２分類部が取得した確信度に基づいて前記推論結果を出力する、
請求項１に記載の情報処理装置。

【請求項3】

前記第１画像は、前記被検者の眼底画像であり、
前記第１属性及び前記第２属性は、動脈に関する属性である、
請求項２に記載の情報処理装置。

【請求項4】

前記第１画像の前記検査対象部位の第３属性が正常である確信度及び／又は正常な第３属性から所定の逸脱度である確信度を取得する第３分類部
をさらに備え、
前記出力部は、前記第３分類部が取得した確信度に基づいて前記推論結果を出力する、
請求項２に記載の情報処理装置。

【請求項5】

前記第１画像は、前記被検者の眼底画像であり、
前記第１属性及び前記第２属性は、動脈に関する属性であり、
前記第３属性は、眼底に関する属性である、
請求項４に記載の情報処理装置。

【請求項6】

前記第１分類部、前記第２分類部、および前記第３分類部は単一の分類部である、請求項４に記載の情報処理装置。

【請求項7】

前記第２分類部は、前記第１画像を第２推論モデルに入力することで前記検査対象部位の第２属性が正常である確信度及び／又は正常な第２属性から所定の逸脱度である確信度を取得するものであり、
前記第２推論モデルは、第１画像に含まれる検査対象部位の第２属性が正常であるか正常な第２属性から所定の逸脱度であるかを推定するモデルである、
請求項２記載の情報処理装置。

【請求項8】

前記第１分類部は、前記第１画像を第１推論モデルに入力することで前記検査対象部位の第１属性が正常である確信度及び／又は正常な第１属性から所定の逸脱度である確信度を取得するものであり、
前記第１推論モデルは、第１画像に含まれる検査対象部位の第１属性が正常であるか正常な第１属性から所定の逸脱度であるかを推定するモデルである、
請求項１記載の情報処理装置。

【請求項9】

前記第１分類部の分類に寄与した領域を可視化した第２画像を作成する画像作成部
をさらに備え、
前記出力部は、前記画像作成部が作成した前記第２画像に基づいて前記推論結果を出力する、
請求項１に記載の情報処理装置。

【請求項10】

前記画像作成部は、前記第１分類部の分類の確信度に基づいて、前記第１分類部の分類への寄与度を表す値を調整して前記第２画像を作成する、請求項９に記載の情報処理装置。

【請求項11】

前記第１分類部は、前記検査対象部位の第１属性が正常である確信度と正常な第１属性から所定の逸脱度である複数の確信度とを取得する、
請求項１に記載の情報処理装置。

【請求項12】

被検者の検査対象部位の撮影により取得された第１画像を取得することと、
前記第１画像の前記検査対象部位の第１属性が正常である確信度及び／又は正常な第１属性から所定の逸脱度である確信度を取得することと、
前記確信度に基づいて推論結果を出力することと
を含む方法。

【請求項13】

１又は複数のコンピュータに、
被検者の検査対象部位の撮影により取得された第１画像を取得する処理と、
前記第１画像の前記検査対象部位の第１属性が正常である確信度及び／又は正常な第１属性から所定の逸脱度である確信度を取得する処理と、
前記確信度に基づいて推論結果を出力する処理と
を実行させるプログラム。

【請求項14】

健常又は正常な第１属性からの逸脱度を示す情報が正解データとしてラベル付けされた画像を機械学習モデルに入力して前記機械学習モデルを学習させる学習部と、
前記学習部で学習された学習済モデルを出力するモデル出力部と
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

眼底は血管や神経細胞層を直接観察できる部位である。眼底カメラなどを用いて取得される眼底画像は、眼球の病気や糖尿病、高血圧、動脈硬化を発見したり、その進行度を評価したりする情報を有している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開示２０１４－１９３２２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、被検眼の眼底画像を処理することで、被検眼の眼底における動静脈径比を算出する眼底画像処理装置であって、眼底画像に含まれる乳頭を特定する乳頭特定手段と、眼底画像に含まれる血管を特定する血管特定手段と、血管特定手段によって特定された血管のうち、乳頭特定手段によって特定された乳頭の高さよりも上方の領域に位置する血管同士の径の比である上方径比を算出する上方径比算出手段と、血管特定手段によって特定された血管のうち、乳頭の高さよりも下方の領域に位置する血管同士の径の比である下方径比を算出する下方径比算出手段とを備える眼底画像処理装置が開示されている。

【0005】

特許文献１に記載の眼底画像処理装置によれば、一定の精度で動静脈径比を算出することができる。一方で、特許文献１に記載の眼底画像処理装置では、動静脈径比の算出過程で個々の血管に着目して個別に測定結果を算出するため、眼底画像の広い領域から動静脈を検出する場合には膨大な処理が行われることとなり、大量のコンピュータリソースが必要とされていた。

【0006】

そこで、本発明は、画像中の検査対象部位の組織全体の特徴を評価した測定値を得ることが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様に係る情報処理装置は、被検者の検査対象部位の撮影により取得された第１画像を取得する画像取得部と、第１画像の検査対象部位の第１属性が正常である確信度及び／又は正常な第１属性から所定の逸脱度である確信度を取得する第１分類部と、第１分類部が取得した確信度に基づいて推論結果を出力する出力部とを備える。

【0008】

この態様によれば、情報処理装置は、第１画像の検査対象部位の第１属性が正常である確信度及び／又は正常な第１属性から所定の逸脱度である確信度を取得する第１分類部を用いて、第１画像の検査対象部位の第１属性全体の特徴を評価した測定値を得ることができる。第１画像の検査対象部位の個々の属性を測定・評価する場合と比較して、情報処理装置は、少ないコンピュータリソースで測定値を得ることができる。

【0009】

上記情報処理装置において、第１画像の検査対象部位の第２属性が正常である確信度及び／又は正常な第２属性から所定の逸脱度である確信度を取得する第２分類部をさらに備え、出力部は、第２分類部が取得した確信度に基づいて推論結果を出力してもよい。この態様によれば、情報処理装置は、第１画像の検査対象部位について、第１属性に加えて第２属性についても、その属性全体の特徴を評価した測定値を得ることができる。

【0010】

上記情報処理装置において、第１画像は、被検者の眼底画像であり、第１属性及び第２属性は、動脈に関する属性であってもよい。この態様によれば、情報処理装置は、眼底画像の動脈に関する第１属性及び第２属性全体の特徴を評価した測定値を得ることができる。

【0011】

上記情報処理装置において、第１画像の検査対象部位の第３属性が正常である確信度及び／又は正常な第３属性から所定の逸脱度である確信度を取得する第３分類部をさらに備え、出力部は、第３分類部が取得した確信度に基づいて推論結果を出力してもよい。この態様によれば、情報処理装置は、第１画像の検査対象部位について、第１属性及び第２属性に加えて第３属性についても、その属性全体の特徴を評価した測定値を得ることができる。

【0012】

上記情報処理装置において、第１画像は、被検者の眼底画像であり、第１属性及び第２属性は、動脈に関する属性であり、第３属性は、眼底に関する属性であってもよい。この態様によれば、情報処理装置は、眼底画像の動脈に関する第１属性及び第２の属性全体の特徴に加えて、眼底に関する第３属性全体の特徴を評価した測定値を得ることができる。

【0013】

上記情報処理装置において、第１分類部、第２分類部、および第３分類部は単一の分類部であってもよい。この態様によれば、情報処理装置は、分類部に要する記憶容量を削減しながら、３つの属性全体の特徴を評価した測定値を得ることができる。

【0014】

上記情報処理装置において、第２分類部は、第１画像を第２推論モデルに入力することで検査対象部位の第２属性が正常である確信度及び／又は正常な第２属性から所定の逸脱度である確信度を取得するものであり、第２推論モデルは、第１画像に含まれる検査対象部位の第２属性が正常であるか正常な第２属性から所定の逸脱度であるかを推定するモデルであってもよい。この態様によれば、情報処理装置は、健常な検査対象部位の画像及び非健常な検査対象部位の画像から、正常な第２属性及び／又は正常な第２属性から逸脱した特徴について学習した推論モデルを用いて、検査対象部位の第２属性全体の特徴を評価した測定値を得ることができる。

【0015】

上記情報処理装置において、第１分類部は、第１画像を第１推論モデルに入力することで検査対象部位の第１属性が正常である確信度及び／又は正常な第１属性から所定の逸脱度である確信度を取得するものであり、第１推論モデルは、第１画像に含まれる検査対象部位の第１属性が正常であるか正常な第１属性から所定の逸脱度であるかを推定するモデルであってもよい。この態様によれば、この態様によれば、情報処理装置は、健常な検査対象部位の画像及び非健常な検査対象部位の画像から、正常な第２属性及び／又は正常な第２属性から逸脱した特徴について学習した推論モデルを用いて、検査対象部位の第２属性全体の特徴を評価した測定値を得ることができる。

【0016】

上記情報処理装置において、第１分類部の分類に寄与した領域を可視化した第２画像を作成する画像作成部をさらに備え、出力部は、画像作成部が作成した第２画像に基づいて推論結果を出力してもよい。この態様によれば、情報処理装置は、第１画像の検査対象部位において、正常な第１属性からの逸脱が予想される領域を把握することができる。

【0017】

上記情報処理装置において、画像作成部は、第１分類部の分類の確信度に基づいて、第１分類部の分類への寄与度を表す値を調整して第２画像を作成してもよい。この態様によれば、情報処理装置は、正常な第１属性からの逸脱が予想される領域を精度良く指摘することができる。

【0018】

上記情報処理装置において、第１分類部は、検査対象部位の第１属性が正常である確信度と正常な第１属性から所定の逸脱度である複数の確信度とを取得してもよい。この態様によれば、情報処理装置は、正常な第１属性からの逸脱度が異なる複数の逸脱度に関する確信度を得ることができる。

【0019】

本開示の他の態様に係る方法は、被検者の検査対象部位の撮影により取得された第１画像を取得することと、第１画像の検査対象部位の第１属性が正常である確信度及び／又は正常な第１属性から所定の逸脱度である確信度を取得することと、確信度に基づいて推論結果を出力することとを含む。

【0020】

本開示の他の態様に係るプログラムは、１又は複数のコンピュータに、被検者の検査対象部位の撮影により取得された第１画像を取得する処理と、第１画像の検査対象部位の第１属性が正常である確信度及び／又は正常な第１属性から所定の逸脱度である確信度を取得する処理と、確信度に基づいて推論結果を出力する処理とを実行させる。

【0021】

本開示の他の態様に係る情報処理装置は、健常又は正常な第１属性からの逸脱度を示す情報が正解データとしてラベル付けされた画像を機械学習モデルに入力して機械学習モデルを学習させる学習部と、学習部で学習された学習済モデルを出力するモデル出力部とを備える。この態様によれば、情報処理装置は、正常な第１属性及び／又は正常な第１属性からの逸脱度の推論に用いることが可能な学習済モデルを得ることができる。

【発明の効果】

【0022】

本発明によれば、画像中の検査対象部位の組織全体の特徴を評価した測定値を得ることが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係る情報処理システムのネットワーク構成を示す図である。

【図2】本発明の一実施形態に係る学習装置の処理を説明する概略図である。

【図3】本発明の一実施形態に係る推論装置の処理を説明する概略図である。

【図4】本発明の一実施形態に係る学習装置のブロック図である。

【図5】本発明の一実施形態に係る推論装置のブロック図である。

【図6】本発明の一実施形態に係る学習装置の学習処理を示すフローチャートである。

【図7】本発明の一実施形態に係る推論装置の推論処理を示すフローチャートである。

【図8】本発明の一実施形態に係るヒートマップの濃さを調整するために使用する関数を示す図である。

【図9】本発明の一実施形態に係るヒートマップを提示する画面例を示す図である。

【発明を実施するための形態】

【0024】

添付図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。

【0025】

（システム構成）
図１、図２及び図３を用いて、本発明の概要について説明する。図１は、本発明の一実施形態に係る情報処理システムのネットワーク構成を示す図である。図２は、本発明の一実施形態に係る学習装置の処理を説明する概略図である。図３は、本発明の一実施形態に係る推論装置の処理を説明する概略図である。

【0026】

情報処理システムは、学習装置１０、推論装置２０及び記憶装置３０を備える。学習装置１０は、通信ネットワークＮを介して、推論装置２０及び記憶装置３０に接続される。通信ネットワークＮは、有線又は無線回線により構成された有線通信網及び無線通信網のいずれであってもよく、インターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）であってよい。

【0027】

学習装置１０は、記憶装置３０に記憶された学習データに基づいて、機械学習モデルの学習を行い、学習済モデルを記憶装置３０に記憶する。本実施形態に係る学習装置１０は機械学習モデルを備えるが、機械学習モデルは、学習装置１０と別体の装置に備えられてもよい。

【0028】

ここで、機械学習モデルとは、所定のモデル構造と、学習処理によって変動する処理パラメータとを有し、学習データから得られる経験に基づいてその処理パラメータが最適化されることで、識別精度が向上するモデルである。すなわち機械学習モデルは、学習処理によって最適な処理パラメータを学習するモデルである。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク等を用いることができるが、その種類は特に限定されない。当該学習を行う機械学習モデルには、学習前のものも、学習データによりすでに何らかの学習を行っているものも含まれる。

【0029】

なお、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いて学習を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加学習を行うこともできる。

【0030】

推論装置２０は、学習済モデルを用いて、入力データの特徴に応じた出力データを出力する。本実施形態に係る推論装置２０は、記憶装置３０から取得した学習済モデルを用いて、推論を行う。ここで、学習済モデルを取得するとは、学習済モデルの機能を推論装置２０において再現するために必要な情報を取得することをいう。例えば、機械学習モデルとしてニューラルネットワークを用いる場合、学習済モデルを取得するとは、少なくとも、ニューラルネットワークのレイヤ数、各レイヤに関するノード数、ノード間を繋ぐリンクの重みパラメータ、各ノードに関するバイアスパラメータ及び各ノードに関する活性化関数の関数形に関する情報を取得することをいう。

【0031】

記憶装置３０は、機械学習モデルの学習に用いる学習データを記憶する。本実施形態に係る記憶装置３０は、「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を第１の学習データとして記憶している。例えば、高血圧が進むと全身の血管に負担がかかり、眼底部で毛細血管が損傷を受けて、血管の狭細が引き起こされる。本実施形態では、正常な動脈径からの逸脱度を示す情報として、健常眼との類似度が高い径逸脱度１～健常眼との類似度が低い径逸脱度４の計４つのラベルを用いるが、他の任意の数のラベルを用いて正常な動脈径からの逸脱度を示してもよい。

【0032】

また、記憶装置３０は、「健常」又は正常な動脈の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を第２の学習データとして記憶している。例えば、正常な動脈の色は赤色であるが、動脈硬化が進むと、血管壁が厚くなり動脈の中央が白っぽく見えるようになる。本実施形態では、正常な動脈の色からの逸脱度を示す情報として、健常眼との類似度が高い動脈色逸脱度１～健常眼との類似度が低い動脈色逸脱度４の計４つのラベルを用いるが、他の任意の数のラベルを用いて正常な動脈の色からの逸脱度を示してもよい。

【0033】

また、記憶装置３０は、「健常」又は正常な眼底の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を第３の学習データとして記憶している。例えば、糖尿病網膜症が進むと、網膜の血管から血液成分の漏れや出血を起こし、正常な眼底の色と比較して、血管以外の領域が赤色に変化していく。本実施形態では、正常な眼底の色からの逸脱度を示す情報として、健常眼との類似度が高い眼底色逸脱度１～健常眼との類似度が低い眼底色逸脱度３の計３つのラベルを用いるが、他の任意の数のラベルを用いて正常な眼底の色からの逸脱度を示してもよい。

【0034】

ここで、逸脱度には、例えば数字により表される評価に限らず、ＡＢＣや甲乙丙など、文字や記号により表されるランク付けやその他の評価も含まれる。なお、本実施形態では、医用画像の一例である眼底画像を用いる例について説明するが、他の任意の医用画像を用いてもよい。

【0035】

なお、本実施形態では、機械学習モデルの学習に用いる学習データとして、健常眼の眼底画像と健常眼からの逸脱がみられる非健常眼の眼底画像とを用いる例について説明するが、健常眼の眼底画像のみを学習データとして用いたり、非健常眼の眼底画像のみを学習データとして用いたりしてもよい。

【0036】

また、記憶装置３０は、学習装置１０によって出力された学習済モデルを記憶する。図１では、記憶装置３０を単一の記憶装置として示しているが、記憶装置３０は、１又は複数のファイルサーバによって構成されてよい。

【0037】

ここで、本実施形態に係る学習装置１０は、図２の上段に示されるように、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度１～４の非健常眼の画像のいずれかに分類する第１の機械学習モデルを備える。また、学習装置１０は、図２の下段に示されるように、眼底画像を入力データとして受け取り、健常眼の画像、動脈色逸脱度１～４の非健常眼の画像のいずれかに分類する第２の機械学習モデルを備える。さらに、学習装置１０は、図２では省略するが、眼底画像を入力データとして受け取り、健常眼の画像、眼底色逸脱度１～３の非健常眼の画像のいずれかに分類する第３の機械学習モデルを備える。学習装置１０は、機械学習モデルを用いて眼底画像の分類を行い、予測した結果と学習データにラベル付けされた正解データとの誤差を最小化するように、機械学習モデルを学習させる。

【0038】

なお、本実施形態では、健常眼の確信度についても出力する機械学習モデルを用いているが、別の実施形態では、健常眼の確認度については出力せず、所定の逸脱度の確信度のみを出力する機械学習モデルを用いてもよい。また、本実施形態では、動脈径用の機械学習モデル、動脈色用の機械学習モデル及び眼底色用の機械学習モデルを用いてそれぞれの分類を行っているが、別の実施形態では、単一の機械学習モデルを用いて動脈径、動脈色、及び眼底色の分類を行ってもよい。

【0039】

本実施形態に係る推論装置２０は、図３に示されるように、径学習済モデルを用いて順方向計算を行い、眼底画像が正常な動脈径の健常眼、径逸脱度１の非健常眼、径逸脱度２の非健常眼、径逸脱度３の非健常眼、径逸脱度４の非健常眼のいずれに属するかを推論する。次に、推論装置２０は、径逸脱度１～４の確信度が所定の閾値以上の場合、径逸脱度１～４のうち最も高い確信度を有する分類に対応する出力層から可視化したい畳み込み層へ誤差逆伝播を行い、最も高い確信度を有する径逸脱度分類の出力に対する各特徴マップの寄与度を算出し、順方向計算で得られた特徴マップに寄与度を重み付けして足し合わせることで、ヒートマップを作成する。なお、本実施形態では、最も高い確信度を有する径逸脱度分類についてヒートマップを作成する例について説明するが、別の実施形態では、所定の閾値以上のすべての径逸脱度分類についてヒートマップを作成するようにしてもよい。

【0040】

なお、図３では、径学習済モデルについて図示しているが、推論装置２０は、同様に動脈色学習済モデルを用いて順方向計算を行い、眼底画像が正常な動脈の色の健常眼、動脈色逸脱度１の非健常眼、動脈色逸脱度２の非健常眼、動脈色逸脱度３の非健常眼、動脈色逸脱度４の非健常眼のいずれに属するかを推論する。同様に、推論装置２０は、動脈色逸脱度１～４の確信度が所定の閾値以上の場合、動脈色逸脱度１～４のうち最も高い確信度を有する分類に対応する出力層から可視化したい畳み込み層へ逆誤差伝播を行い、最も高い確信度を有する動脈色逸脱度分類の出力に対する各特徴マップの寄与度を算出し、順方向計算で得られた特徴マップに寄与度を重み付けして足し合わせることで、ヒートマップを作成する。

【0041】

同様に、推論装置２０は、同様に眼底色学習済モデルを用いて順方向計算を行い、眼底画像が正常な眼底の色の健常眼、眼底色逸脱度１の非健常眼、眼底色逸脱度２の非健常眼、眼底色逸脱度３の非健常眼のいずれに属するかを推論する。同様に、推論装置２０は、眼底色逸脱度１～３の確信度が所定の閾値以上の場合、眼底色逸脱度１～３のうち最も高い確信度を有する分類に対応する出力層から可視化したい畳み込み層へ逆誤差伝播を行い、最も高い確信度を有する眼底色逸脱度分類の出力に対する各特徴マップの寄与度を算出し、順方向計算で得られた特徴マップに寄与度を重み付けして足し合わせることで、ヒートマップを作成する。

【0042】

複数の健常眼の画像及び正常な動脈径から逸脱している非健常眼の画像から動脈径の特徴について学習した学習済モデルを用いて眼底画像の動脈径に関する推論を行うことで、個々の動脈径が正常であるか否かではなく、画像に含まれる複数の動脈径について総合的に正常な動脈径から逸脱しているか否かを推論することができる。

【0043】

同様に、複数の健常眼の画像及び正常な動脈の色から逸脱している非健常眼の画像から動脈の色の特徴について学習した学習済モデルを用いて眼底画像の動脈の色に関する推論を行うことで、個々の動脈の色が正常であるか否かではなく、画像に含まれる複数の動脈の色について総合的に正常な動脈の色から逸脱しているか否かを推論することができる。

【0044】

同様に、複数の健常眼の画像及び正常な眼底の色から逸脱している非健常眼の画像から眼底の色の特徴について学習した学習済モデルを用いて眼底画像の眼底の色に関する推論を行うことで、個別の眼底領域の色が正常であるか否かではなく、画像に含まれる眼底の色について総合的に正常な眼底の色から逸脱しているか否かを推論することができる。

【0045】

（機能構成：学習装置）
図４は、本発明の一実施形態に係る学習装置のブロック図である。なお、図４では、単一の学習装置１０を想定し、必要な機能構成だけを示しているが、学習装置１０を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。

【0046】

学習装置１０は、入力部１１０と、制御部１２０と、記憶部１３０と、通信部１４０とを備えている。

【0047】

入力部１１０は、学習装置１０の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。

【0048】

制御部１２０は、プロセッサに相当するＣＰＵやＭＰＵ等の演算処理部１２１及びＲＡＭ等のメモリ１２２を備えている。演算処理部１２１（プロセッサ）は、各種入力に基づき、記憶部１３０に記録されたプログラムをメモリ１２２に展開して実行することで、演算処理部１２１における後述する機能及び処理を実現する。このプログラムは、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ１２２は、演算処理部１２１（プロセッサ）によるプログラム実行に必要なワークメモリとして機能する。

【0049】

記憶部１３０は、ハードディスク等の記憶装置によって構成され、制御部１２０における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。本実施形態では、記憶部１３０は、径学習データ記憶部１３１、動脈色学習データ記憶部１３２及び眼底色学習データ記憶部１３３を有していることが望ましい。なお、本実施形態では、動脈径用の学習データ、動脈色用の学習データ及び眼底色用の学習データを用いて機械学習モデルを学習させる例について説明するが、別の実施形態では、単一の学習データを用いて機械学習モデルを学習させてもよい。

【0050】

径学習データ記憶部１３１には、後述の機械学習モデルＭ１の学習に用いる学習データが保存される。本実施形態では、径学習データ記憶部１３１には、「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像が保存される。

【0051】

動脈色学習データ記憶部１３２には、後述の機械学習モデルＭ２の学習に用いる学習データが保存される。本実施形態では、動脈色学習データ記憶部１３２には、「健常」又は正常な動脈の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像が保存される。

【0052】

眼底色学習データ記憶部１３３には、後述の機械学習モデルＭ３の学習に用いる学習データが保存される。本実施形態では、眼底色学習データ記憶部１３３には、「健常」又は正常な眼底の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像が保存される。

【0053】

通信部１４０は、学習装置１０をネットワークに接続するように構成される。例えば、通信部１４０は、ＬＡＮカード、アナログモデム、ＩＳＤＮモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。

【0054】

さらに、図４に示すように、演算処理部１２１は、機能部として、学習データ取得部１２３、学習部１２４、径分類部１２５、動脈色分類部１２６、眼底色分類部１２７及びモデル出力部１２８を備えている。前述の通り、本実施形態では、動脈径用の機械学習モデル、動脈色用の機械学習モデル及び眼底色用の機械学習モデルを用いて各分類部が分類を行う例について説明するが、別の実施形態では、単一の機械学習モデルを用いて単一の分類部が動脈径、動脈色、及び眼底色の分類を行ってもよい。

【0055】

学習データ取得部１２３は、後述の機械学習モデルＭ１、機械学習モデルＭ２及び機械学習モデルＭ３の学習に用いる学習データをそれぞれ取得して、径学習データ記憶部１３１、動脈色学習データ記憶部１３２及び眼底色学習データ１３３に記憶する。本実施形態では、学習データ取得部１２３は、記憶装置３０から「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を取得して、径学習データ記憶部１３１に記憶する。また、学習データ取得部１２３は、記憶装置３０から「健常」又は正常な動脈の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を取得して、動脈色学習データ記憶部１３２に記憶する。さらに、学習データ取得部１２３は、記憶装置３０から「健常」又は正常な眼底の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を取得して、眼底色学習データ記憶部１３３に記憶する。

【0056】

学習部１２４は、学習データ取得部１２３が取得した学習データを用いて、機械学習モデルＭ１、機械学習モデルＭ２及び機械学習モデルＭ３を学習させる。本実施形態では、学習部１２４は、「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を後述の径分類部１２５に入力して、機械学習モデルＭ１を学習させる。また、学習部１２４は、「健常」又は正常な動脈の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を後述の動脈色分類部１２６に入力して、機械学習モデルＭ２を学習させる。さらに、学習部１２４は、「健常」又は正常な眼底の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を後述の眼底色分類部１２７に入力して、機械学習モデルＭ３を学習させる。

【0057】

径分類部１２５は、眼底画像の入力を受け付けて、健常眼の画像、径逸脱度１の非健常眼の画像、径逸脱度２の非健常眼の画像、径逸脱度３の非健常眼の画像、径逸脱度４の非健常眼の画像のいずれかに分類する。本実施形態では、径分類部１２５は、眼底画像の入力を受け付けて、機械学習モデルＭ１を用いて、健常眼、径逸脱度１、径逸脱度２、径逸脱度３、径逸脱度４の確信度を出力する。

【0058】

機械学習モデルＭ１は、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度１の非健常眼の画像、径逸脱度２の非健常眼の画像、径逸脱度３の非健常眼の画像、径逸脱度４の非健常眼の画像のいずれかに分類する機械学習モデルである。本実施形態では、機械学習モデルＭ１の一例として、眼底画像を入力データとして受け取り、画像の分類を出力する畳み込みニューラルネットワーク（ＣＮＮ）を用いた実施例について説明する。しかしながら、ＣＮＮは機械学習モデルＭ１の一例にすぎず、学習装置１０は、機械学習モデルＭ１として他の構成を用いてもよい。

【0059】

動脈色分類部１２６は、眼底画像の入力を受け付けて、健常眼の画像、動脈色逸脱度１の非健常眼の画像、動脈色逸脱度２の非健常眼の画像、動脈色逸脱度３の非健常眼の画像、動脈色逸脱度４の非健常眼の画像のいずれかに分類する。本実施形態では、動脈色分類部１２６は、眼底画像の入力を受け付けて、機械学習モデルＭ２を用いて、健常眼、動脈色逸脱度１、動脈色逸脱度２、動脈色逸脱度３、動脈色逸脱度４の確信度を出力する。

【0060】

機械学習モデルＭ２は、眼底画像を入力データとして受け取り、健常眼の画像、動脈色逸脱度１の非健常眼の画像、動脈色逸脱度２の非健常眼の画像、動脈色逸脱度３の非健常眼の画像、動脈色逸脱度４の非健常眼の画像のいずれかに分類する機械学習モデルである。本実施形態では、機械学習モデルＭ２の一例として、眼底画像を入力データとして受け取り、画像の分類を出力する畳み込みニューラルネットワーク（ＣＮＮ）を用いた実施例について説明する。しかしながら、ＣＮＮは機械学習モデルＭ２の一例にすぎず、学習装置１０は、機械学習モデルＭ２として他の構成を用いてもよい。

【0061】

眼底色分類部１２７は、眼底画像の入力を受け付けて、健常眼の画像、眼底色逸脱度１の非健常眼の画像、眼底色逸脱度２の非健常眼の画像、眼底色逸脱度３の非健常眼の画像の画像のいずれかに分類する。本実施形態では、眼底色分類部１２７は、眼底画像の入力を受け付けて、機械学習モデルＭ３を用いて、健常眼、眼底色逸脱度１、眼底色逸脱度２、眼底色逸脱度３の確信度を出力する。

【0062】

機械学習モデルＭ３は、眼底画像を入力データとして受け取り、健常眼の画像、眼底色逸脱度１の非健常眼の画像、眼底色逸脱度２の非健常眼の画像、眼底色逸脱度３の非健常眼の画像の非健常眼の画像のいずれかに分類する機械学習モデルである。本実施形態では、機械学習モデルＭ３の一例として、眼底画像を入力データとして受け取り、画像の分類を出力する畳み込みニューラルネットワーク（ＣＮＮ）を用いた実施例について説明する。しかしながら、ＣＮＮは機械学習モデルＭ３の一例にすぎず、学習装置１０は、機械学習モデルＭ３として他の構成を用いてもよい。

【0063】

学習部１２４は、機械学習モデルＭ１、機械学習モデルＭ２及びＭ３が予測した結果と学習データにラベル付けされた正解データとの誤差を最小化するように、機械学習モデルＭ１、機械学習モデルＭ２及びＭ３をそれぞれ学習させる。

【0064】

機械学習モデルＭ１の学習が完了すると、モデル出力部１２８は、機械学習モデルＭ１の学習により得られた径学習済モデルを記憶装置３０に出力する。また、機械学習モデルＭ２の学習が完了すると、モデル出力部１２８は、機械学習モデルＭ２の学習により得られた動脈色学習済モデルを記憶装置３０に出力する。さらに、機械学習モデルＭ３の学習が完了すると、モデル出力部１２８は、機械学習モデルＭ３の学習により得られた眼底色学習済モデルを記憶装置３０に出力する。なお、学習部１２４は、例えば、所定数の学習データを用いて機械学習モデルを学習させた後、学習を完了してもよいし、機械学習モデルを用いて予測した分類の精度が所定の条件を満たした場合に学習を完了してもよい。

【0065】

（機能構成：推論装置）
図５は、本発明の一実施形態に係る推論装置のブロック図である。なお、図５では、単一の推論装置２０を想定し、必要な機能構成だけを示しているが、推論装置２０を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできるし、１以上の情報処理装置で構成されるクラウドコンピューティングが推論装置２０における機能構成の一部を実現してもよい。推論装置２０として、例えば、コンピュータや眼底カメラを用いることができる。

【0066】

推論装置２０は、入力部２１０と、制御部２２０と、記憶部２３０と、通信部２４０と、表示部２５０とを備えている。

【0067】

入力部２１０は、推論装置２０の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。

【0068】

制御部２２０は、プロセッサに相当するＣＰＵやＭＰＵ等の演算処理部２２１及びＲＡＭ等のメモリ２２２を備えている。演算処理部２２１（プロセッサ）は、各種入力に基づき、記憶部２３０に記録されたプログラムをメモリ２２２に展開して実行することで、演算処理部２２１における後述する機能及び処理を実現する。このプログラムは、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ２２２は、演算処理部２２１（プロセッサ）によるプログラム実行に必要なワークメモリとして機能する。

【0069】

記憶部２３０は、ハードディスク等の記憶装置によって構成され、制御部２２０における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。本実施形態では、記憶部２３０は、画像記憶部２３１、径学習済モデル２３２、動脈色学習済モデル２３３及び眼底色学習済モデル２３４を有していることが望ましい。前述の通り、本実施形態では、動脈径用の学習済モデル、動脈色用の学習済モデル及び眼底色用の学習済モデルを用いて各分類部が分類を行う例について説明するが、別の実施形態では、単一の学習済モデルを用いて単一の分類部が動脈径、動脈色、及び眼底色の分類を行ってもよい。

【0070】

画像記憶部２３１には、推論対象の画像が保存される。本実施形態では、画像記憶部２３１には、径逸脱度、動脈色逸脱度及び眼底色逸脱度の推論を行う眼底画像が保存されている。

【0071】

径学習済モデル２３２には、推論に用いる学習済モデルが保存される。本実施形態では、径学習済モデル２３２には、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度１の非健常眼の画像、径逸脱度２の非健常眼の画像、径逸脱度３の非健常眼の画像、径逸脱度４の非健常眼の画像のいずれかに分類する学習済モデルが保存される。本実施形態では、径学習済モデル２３２の一例として、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度１の非健常眼の画像、径逸脱度２の非健常眼の画像、径逸脱度３の非健常眼の画像、径逸脱度４の非健常眼の画像のいずれかに分類する畳み込みニューラルネットワーク（ＣＮＮ）を用いた実施例について説明する。しかしながら、ＣＮＮは径学習済モデル２３２の一例にすぎず、推論装置２０は、径学習済モデル２３２として他の構成を用いてもよい。

【0072】

動脈色学習済モデル２３３には、推論に用いる学習済モデルが保存される。本実施形態では、動脈色学習済モデル２３３には、眼底画像を入力データとして受け取り、健常眼の画像、動脈色逸脱度１の非健常眼の画像、動脈色逸脱度２の非健常眼の画像、動脈色逸脱度３の非健常眼の画像、動脈色逸脱度４の非健常眼の画像のいずれかに分類する学習済モデルが保存される。本実施形態では、動脈色学習済モデル２３３の一例として、眼底画像を入力データとして受け取り、健常眼の画像、動脈色逸脱度１の非健常眼の画像、動脈色逸脱度２の非健常眼の画像、動脈色逸脱度３の非健常眼の画像、動脈色逸脱度４の非健常眼の画像のいずれかに分類する畳み込みニューラルネットワーク（ＣＮＮ）を用いた実施例について説明する。しかしながら、ＣＮＮは動脈色学習済モデル２３３の一例にすぎず、推論装置２０は、動脈色学習済モデル２３３として他の構成を用いてもよい。

【0073】

眼底色学習済モデル２３４には、推論に用いる学習済モデルが保存される。本実施形態では、眼底色学習済モデル２３４には、眼底画像を入力データとして受け取り、健常眼の画像、眼底色逸脱度１の非健常眼の画像、眼底色逸脱度２の非健常眼の画像、眼底色逸脱度３の非健常眼の画像の画像のいずれかに分類する学習済モデルが保存される。本実施形態では、眼底色学習済モデル２３４の一例として、眼底画像を入力データとして受け取り、健常眼の画像、眼底色逸脱度１の非健常眼の画像、眼底色逸脱度２の非健常眼の画像、眼底色逸脱度３の非健常眼の画像のいずれかに分類する畳み込みニューラルネットワーク（ＣＮＮ）を用いた実施例について説明する。しかしながら、ＣＮＮは眼底色学習済モデル２３４の一例にすぎず、推論装置２０は、眼底色学習済モデル２３４として他の構成を用いてもよい。

【0074】

通信部２４０は、推論装置２０をネットワークに接続するように構成される。例えば、通信部２４０は、ＬＡＮカード、アナログモデム、ＩＳＤＮモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。

【0075】

表示部２５０は、情報を表示するための装置であり、有機ＥＬディスプレイ、液晶ディスプレイ等によって実現することができる。

【0076】

さらに、図５に示すように、演算処理部２２１は、機能部として、モデル取得部２２３、画像取得部２２４、推論部２２５、径分類部２２６、動脈色分類部２２７、眼底色分類部２２８、ヒートマップ作成部２２９及び出力部２２１０を備えている。

【0077】

モデル取得部２２３は、推論に用いる学習済モデルを取得して、記憶部２３０に記憶する。本実施形態では、モデル取得部２２３は、記憶装置３０から径学習済モデルを取得して、径学習済モデル２３２に記憶する。また、モデル取得部２２３は、記憶装置３０から動脈色学習済モデルを取得して、動脈色学習済モデル２３３に記憶する。さらに、モデル取得部２２３は、記憶装置３０から眼底色学習済モデルを取得して、眼底色学習済モデル２３４に記憶する。

【0078】

画像取得部２２４は、推論対象の画像を取得する。本実施形態では、画像取得部２２４は、推論を行う眼底画像を画像記憶部２３１から取得する。

【0079】

推論部２２５は、画像取得部２２４が取得した画像から予測される、健常眼からの逸脱度を推論する。本実施形態では、推論部２２５は、径分類部２２６と動脈色分類部２２７と眼底色分類部２２８とヒートマップ作成部２２９とにより構成される。推論部２２５はまず、径分類部２２６に眼底画像を入力して、径分類部２２６から健常眼、径逸脱度１、径逸脱度２、径逸脱度３、径逸脱度４の確信度を取得する。

【0080】

径分類部２２６は、眼底画像の入力を受け付けて、健常眼の画像、径逸脱度１の非健常眼の画像、径逸脱度２の非健常眼の画像、径逸脱度３の非健常眼の画像、径逸脱度４の非健常眼の画像のいずれかに分類する。本実施形態では、図３に示されるように、径分類部２２６は、眼底画像の入力を受け付けて、径学習済モデル２３２を用いて順方向計算を行い、健常眼、径逸脱度１、径逸脱度２、径逸脱度３、径逸脱度４の確信度を出力する。

【0081】

また、推論部２２５は、動脈色分類部２２７に眼底画像を入力して、動脈色分類部２２７から健常眼、動脈色逸脱度１、動脈色逸脱度２、動脈色逸脱度３、動脈色逸脱度４の確信度を取得する。本実施形態では、動脈色分類部２２７は、眼底画像の入力を受け付けて、動脈色学習済モデル２３３を用いて順方向計算を行い、健常眼、動脈色逸脱度１、動脈色逸脱度２、動脈色逸脱度３、動脈色逸脱度４の確信度を出力する。

【0082】

さらに、推論部２２５は、眼底色分類部２２８に眼底画像を入力して、眼底色分類部２２８から健常眼、眼底色逸脱度１、眼底色逸脱度２、眼底色逸脱度３の確信度を取得する。本実施形態では、眼底色分類部２２８は、眼底画像の入力を受け付けて、眼底色学習済モデル２３４を用いて順方向計算を行い、健常眼、眼底色逸脱度１、眼底色逸脱度２、眼底色逸脱度３の確信度を出力する。

【0083】

なお、本実施形態では、眼底色分類部２２８が眼底色学習済モデル２３４を用いて健常眼、眼底色逸脱度１、眼底色逸脱度２、眼底色逸脱度３の確信度を出力する例について説明するが、別の実施形態では、眼底色分類部２２８は、学習済モデルを利用することなく、眼底画像中の血管以外の赤色の領域を識別し、識別した赤色の領域の面積や赤色の面積の位置等に基づいて、健常眼、眼底色逸脱度１、眼底色逸脱度２、眼底色逸脱度３の確信度を出力してもよい。

【0084】

ヒートマップ作成部２２９は、径分類部２２６の分類に寄与した領域を可視化したヒートマップを作成する。本実施形態では、図３に示されるように、健常眼、径逸脱度１、径逸脱度２、径逸脱度３、径逸脱度４が出力されると、ヒートマップ作成部２２９は、径逸脱度１～４のうち最も高い確信度を有する分類に対応する出力層から可視化したい畳み込み層へ誤差逆伝播を行い、最も高い確信度を有する径逸脱度分類の出力に対する各特徴マップの寄与度を算出するために、対象の径逸脱度分類の出力に対する特徴マップの勾配を計算し、勾配のGlobal Max Pooling（ＧＭＰ）を取る。次に、ヒートマップ作成部２２９は、順方向計算で得られた特徴マップにＧＭＰを重み付けし、全ての特徴マップを加算した係数マップを取得する。

【0085】

一実施形態では、ヒートマップ作成部２２９は、対象の径逸脱度分類の確信度に基づいて係数マップの各要素の値を調整する。例えば、図８に示されるように、ヒートマップ作成部２２９は、対象の径逸脱度分類の確信度が０．０～０．３の場合には係数マップの各要素の値をゼロとし、対象の径逸脱度分類の確信度が０．３～０．６の場合には対象の径逸脱度分類の確信度に比例して各要素の値を調整し、対象の径逸脱度分類の確信度が０．６～１．０の場合には各要素の値を１００％、すなわちそのままの値とするように調整してもよい。対象の径逸脱度分類の確信度が低い場合には係数マップの各要素の値を小さくし、確信度が高い場合には係数マップの各要素の値を維持することで、健常眼からの逸脱が予想される領域を、精度良く指摘することができる。

【0086】

最後に、ヒートマップ作成部２２９は、係数マップをカラースケールによって画像化し、得られた画像を入力画像のサイズにリサイズすることによって、ヒートマップを作成する。

【0087】

本実施形態では、Ｇｒａｄ－ＣＡＭ（Gradient‐weighted Class Activation Mapping）によりヒートマップを作成する例について説明するが、他の可視化手法を用いてヒートマップを取得してもよい。また、本実施形態では、寄与度の高低をカラースケールで表現するヒートマップを作成しているが、他の形式で表現する可視化マップを作成してもよい。

【0088】

また、ヒートマップ作成部２２９は、径分類部２２６の分類に寄与した領域を可視化したヒートマップと同様に、動脈色分類部２２７の分類に寄与した領域を可視化したヒートマップを作成する。動脈色分類部２２７の分類に寄与した領域を可視化したヒートマップを作成する処理については、径分類部２２６の分類に寄与した領域を可視化したヒートマップを作成する処理と同様であるため説明を省略する。

【0089】

さらに、ヒートマップ作成部２２９は、径分類部２２６の分類に寄与した領域を可視化したヒートマップと同様に、眼底色分類部２２８の分類に寄与した領域を可視化したヒートマップを作成する。眼底色分類部２２８の分類に寄与した領域を可視化したヒートマップを作成する処理についても、径分類部２２６の分類に寄与した領域を可視化したヒートマップを作成する処理と同様であるため説明を省略する。

【0090】

出力部２２１０は、推論部２２５が取得した情報に基づく推論結果を出力する。本実施形態では、出力部２２１０は、径分類部２２６が取得した健常眼、径逸脱度１、径逸脱度２、径逸脱度３、径逸脱度４の確信度に関する情報と、動脈色分類部２２７が取得した健常眼、動脈色逸脱度１、動脈色逸脱度２、動脈色逸脱度３、動脈色逸脱度４の確信度に関する情報と、眼底色分類部２２８が取得した健常眼、眼底色逸脱度１、眼底色逸脱度２、眼底色逸脱度３の確信度に関する情報とを出力する。また、出力部２２１０は、アルファブレンディングにより、画像取得部２２４が取得した眼底画像に、径分類部２２６の分類に寄与した領域を可視化したヒートマップ、動脈色分類部２２７の分類に寄与した領域を可視化したヒートマップヒートマップ又は眼底色分類部２２８の分類に寄与した領域を可視化したヒートマップヒートマップを重畳して出力することができる。

【0091】

（学習処理）
図６を参照して、本発明の実施形態に係る学習装置の学習処理を詳細に説明する。本実施形態では、図６で説明される学習処理を行う前に、学習装置１０の管理者の管理の下、記憶装置３０に学習データが格納されているものとする。なお、図６に示す処理は、例えば、管理者が入力部１１０を介して学習済モデルを生成する処理を実行するための指示を入力することで実行される。なお、ここでは、径学習済モデルを生成する処理について説明する。動脈色学習済モデル及び眼底色学習済モデルを生成する処理については、径学習済モデルを生成する処理と同様であるため説明を省略する。

【0092】

ステップＳ６０１において、学習装置１０の学習データ取得部１２３は、機械学習モデルＭの学習に用いる学習データを取得して、径学習データ記憶部１３１に記憶する。本実施形態では、学習データ取得部１２３は、記憶装置３０から「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を取得して、径学習データ記憶部１３１に記憶する。

【0093】

次に、ステップＳ６０２において、学習装置１０の学習部１２４は、学習データ取得部１２３が取得した学習データを用いて、機械学習モデルＭ１を学習させる。本実施形態では、学習部１２４は、「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を学習装置１０の径分類部１２５に入力して、機械学習モデルＭ１を学習させる。

【0094】

機械学習モデルＭ１は、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度１の非健常眼の画像、径逸脱度２の非健常眼の画像、径逸脱度３の非健常眼の画像、径逸脱度４の非健常眼の画像のいずれかに分類する機械学習モデルである。本実施形態では、機械学習モデルＭ１の一例として、眼底画像を入力データとして受け取り、画像の分類を出力する畳み込みニューラルネットワーク（ＣＮＮ）を用いた実施例について説明する。しかしながら、ＣＮＮは機械学習モデルＭ１の一例にすぎず、学習装置１０は、機械学習モデルＭ１として他の構成を用いてもよい。

【0095】

学習部１２４は、機械学習モデルＭ１が予測した結果と学習データにラベル付けされた正解データとの誤差を最小化するように、機械学習モデルＭ１を学習させる。

【0096】

機械学習モデルＭ１の学習が完了すると、ステップＳ６０３において、学習装置１０のモデル出力部１２８は、機械学習モデルＭ１の学習により得られた径学習済モデルを記憶装置３０に出力する。なお、学習部１２４は、例えば、所定数の学習データを用いて機械学習モデルＭ１を学習させた後、学習を完了してもよいし、機械学習モデルＭ１を用いて予測した分類の精度が所定の条件を満たした場合に学習を完了してもよい。

【0097】

（推論処理）
図７を参照して、本発明の実施形態に係る推論装置の推論処理を詳細に説明する。本実施形態では、図７で説明される推論処理を行う前に、推論装置２０の管理者の管理の下、径学習済モデル２３２、動脈色学習済モデル２３３及び眼底色学習済モデル２３４に記憶装置３０から取得した学習済モデルが格納されているものとする。また、推論装置２０の画像記憶部２３１には、被検者の検査対象部位である眼底を撮影することにより取得された、推論対象の眼底画像が格納されているものとする。なお、図７に示す処理は、例えば、管理者が入力部２１０を介して推論処理を実行するための指示を入力することで実行される。

【0098】

ステップＳ７０１において、推論装置２０の画像取得部２２４は、推論対象の画像を取得する。本実施形態では、画像取得部２２４は、径逸脱度、動脈色逸脱度及び眼底色逸脱度の推論を行う眼底画像を画像記憶部２３１から取得する。

【0099】

ステップＳ７０２において、推論装置２０の推論部２２５は、動脈径の逸脱度に関する確信度を取得する。本実施形態では、推論部２２５は、推論装置２０の径分類部２２６に眼底画像を入力して、径分類部２２６から健常眼、径逸脱度１、径逸脱度２、径逸脱度３、径逸脱度４の確信度を取得する。具体的には、径分類部２２６は、眼底画像の入力を受け付けて、径学習済モデル２３２を用いて順方向計算を行い、健常眼、径逸脱度１、径逸脱度２、径逸脱度３、径逸脱度４の確信度を出力する。

【0100】

本実施形態では、径学習済モデル２３２の一例として、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度１の非健常眼の画像、径逸脱度２の非健常眼の画像、径逸脱度３の非健常眼の画像、径逸脱度４の非健常眼の画像のいずれかに分類する畳み込みニューラルネットワーク（ＣＮＮ）を用いた実施例について説明する。しかしながら、ＣＮＮは径学習済モデル２３２の一例にすぎず、推論装置２０は、径学習済モデル２３２として他の構成を用いてもよい。

【0101】

動脈径の逸脱度に関する確信度が出力され、径逸脱度１～４の確信度が所定の閾値以上の場合、ステップＳ７０３において、推論装置２０のヒートマップ作成部２２９は、径逸脱度１～４のうち最も高い確信度を有する分類に対応する出力層から可視化したい畳み込み層へ誤差逆伝播を行い、最も高い確信度を有する径逸脱度分類の出力に対する各特徴マップの寄与度を算出するために、対象の径逸脱度分類の出力に対する特徴マップの勾配を計算し、勾配のGlobal Max Pooling（ＧＭＰ）を取る。径逸脱度１～４の確信度が所定の閾値未満の場合、ステップＳ７０３～ステップＳ７０６をスキップしてＳ７１７に進む。

【0102】

ステップＳ７０４において、ヒートマップ作成部２２９は、順方向計算で得られた特徴マップにＧＭＰを重み付けし、全ての特徴マップを加算した係数マップを取得する。そして、ステップＳ７０５において、ヒートマップ作成部２２９は、非健常眼の確信度に基づいて係数マップの各要素の値を調整する。

【0103】

本実施形態では、図８に示されるように、ヒートマップ作成部２２９は、対象の径逸脱度分類の確信度が０．０～０．３の場合には係数マップの各要素の値をゼロとし、対象の径逸脱度分類の確信度が０．３～０．６の場合には対象の径逸脱度分類の確信度に比例して各要素の値を調整し、対象の径逸脱度分類の確信度が０．６～１．０の場合には各要素の値を１００％、すなわちそのままの値とするように調整してもよい。対象の径逸脱度分類の確信度が低い場合には係数マップの各要素の値を小さくし、確信度が高い場合には係数マップの各要素の値を維持することで、健常眼からの逸脱が予想される領域を、精度良く指摘することができる。

【0104】

さらに、ステップＳ７０６において、ヒートマップ作成部２２９は、調整した係数マップをカラースケールによって画像化し、得られた画像を入力画像のサイズにリサイズすることによって、ヒートマップを作成する。

【0105】

また、ステップＳ７０１で推論対象の画像を取得した後、ステップＳ７０２の処理と並行して、推論部２２５は、動脈の色の逸脱度に関する確信度を取得する（ステップＳ７０７）。なお、ステップＳ７０７～ステップＳ７１１の処理はステップＳ７０２～ステップＳ７０６と同様の処理であるため、説明を省略する。また、本実施形態では、ステップＳ７０２の処理とステップＳ７０７の処理とを並行して実行しているが、別の実施形態では、ステップＳ７０２～ステップＳ７０６の処理の後にステップＳ７０７～ステップＳ７１１の処理を実行してもよいし、ステップＳ７０７～ステップＳ７１１の処理の後にステップＳ７０２～ステップＳ７０６の処理を実行してもよい。

【0106】

また、ステップＳ７０１で推論対象の画像を取得した後、ステップＳ７０２の処理と並行して、推論部２２５は、眼底の色の逸脱度に関する確信度を取得する（ステップＳ７１２）。なお、ステップＳ７１２～ステップＳ７１６の処理はステップＳ７０２～ステップＳ７０６と同様の処理であるため、説明を省略する。また、本実施形態では、ステップＳ７０２の処理とステップＳ７１２の処理とを並行して実行しているが、別の実施形態では、ステップＳ７０７～ステップＳ７１１の処理の後にステップＳ７１２～ステップＳ７１６の処理を実行してもよいし、ステップＳ７１２～ステップＳ７１６の処理の後にステップＳ７０２～ステップＳ７０６やステップＳ７０７～ステップＳ７１１の処理を実行してもよい。

【0107】

ステップＳ７１７において、推論装置２０の出力部２２１０は、推論部２２５が取得した情報に基づく推論結果を出力する。本実施形態では、出力部２２１０は、径分類部２２６が取得した健常眼、径逸脱度１、径逸脱度２、径逸脱度３、及び径逸脱度４の確信度に関する情報と、動脈色分類部２２７が取得した健常眼、動脈色逸脱度１、動脈色逸脱度２、動脈色逸脱度３、及び動脈色逸脱度４の確信度に関する情報とを出力する。一実施形態では、出力部２２１０は、径分類部２２６及び動脈色分類部２２７が取得したすべての分類の確信度を含む情報を出力することができる。また、出力部２２１０は、図９に示されるように、アルファブレンディングにより、画像取得部２２４が取得した眼底画像に、径分類部２２６の分類に寄与した領域を可視化したヒートマップ又は動脈色分類部２２７の分類に寄与した領域を可視化したヒートマップヒートマップを重畳して出力する。

【0108】

なお、図９では、出力部２２１０は各分類部が取得した確信度に基づいて、最も高い確信度を有する分類の情報を出力しているが、別の実施形態では、出力部２２１０は各分類部が取得したすべての分類の確信度を出力してもよい。

【0109】

以上、本実施形態によれば、学習装置１０は、正常な動脈径及び／又は正常な動脈の色及び／又は正常な眼底の色からの逸脱度の推論に用いることが可能な学習済モデルを得ることができる。

【0110】

また、本実施形態によれば、推論装置２０は、健常眼の画像及び非健常眼の画像から、正常な動脈径及び／又は正常な動脈の色及び／又は正常な眼底の色から逸脱した特徴について学習した学習済モデルを用いて、眼底画像の動脈全体及び／又は眼底全体の特徴を評価した測定値を得ることができる。個々の動脈径や動脈の色、眼底の色を測定・評価する場合と比較して、推論装置２０は、少ないコンピュータリソースで測定値を得ることができる。

【0111】

さらに、推論装置２０は、正常な動脈からの逸脱度を示す径分類部２２６及び／又は動脈色分類部２２７及び／又は眼底色分類部２２８の分類のうち最も高い確信度を有する分類の出力に大きく寄与した領域を可視化することで、健常眼からの逸脱が予想される領域を、精度良く指摘することができる。

【0112】

なお、本実施形態では、径逸脱度、動脈色逸脱度及び眼底色逸脱度の推論を行う推論装置２０について説明したが、径逸脱度のみ、又は動脈色逸脱度のみ、又は眼底色逸脱のみの推論を行うようにしてもよい。

【0113】

また、本実施形態では、眼底画像の検査対象部位の属性として、動脈径、動脈の色、血管以外の眼底の色の特徴を評価した測定値を得る例について説明したが、視神経乳頭のへこみ等、他の任意の属性の特徴を評価した測定値を得ることができる。また、本実施形態では、出血に関連する眼底の色の特徴として特に血管以外の赤色の領域を評価した測定値を得る例について説明したが、眼底の色の特徴として他の色の領域を評価した測定値を得てもよいし、眼底全体ではなく、例えば視神経乳頭の色の特徴を評価した測定値を得てもよい。

【符号の説明】

【0114】

１０…学習装置、１１０…入力部、１２０…制御部、１２１…演算処理部、１２２…メモリ、１２３…学習データ取得部、１２４…学習部、１２５…径分類部、１２６…動脈色分類部、１２７…眼底色分類部、１２８…モデル出力部、１３０…記憶部、１３１…径学習データ記憶部、１３２…動脈色学習データ記憶部、１３３…眼底色学習データ記憶部、１４０…通信部、２０…推論装置、２１０…入力部、２２０…制御部、２２１…演算処理部、２２２…メモリ、２２３…モデル取得部、２２４…画像取得部、２２５…推論部、２２６…径分類部（第１分類部）、２２７…動脈色分類部（第２分類部）、２２８…眼底色分類部（第３分類部）、２２９…ヒートマップ作成部（画像作成部）、２２１０…出力部、２３０…記憶部、２３１…画像記憶部、２３２…径学習済モデル（第１推論モデル）、２３３…動脈色学習済モデル（第２推論モデル）、２３４…眼底色学習済モデル、２４０…通信部、２５０…表示部、３０…記憶装置、Ｍ１…機械学習モデル、Ｍ２…機械学習モデル、Ｍ３…機械学習モデル、Ｎ…通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】