特許 7672694 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-25

(45)【発行日】2025-05-08

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20250428BHJP

   G06T 7/00 20170101ALI20250428BHJP

   A61B 3/14 20060101ALI20250428BHJP

【ＦＩ】

G06N20/00

G06T7/00 350C

G06T7/00 614

A61B3/14

【請求項の数】 14

(21)【出願番号】P 2021140629

(22)【出願日】2021-08-31

(65)【公開番号】P2023034400

(43)【公開日】2023-03-13

【審査請求日】2024-08-29

(73)【特許権者】

【識別番号】520228991

【氏名又は名称】ＤｅｅｐＥｙｅＶｉｓｉｏｎ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】久留 陽一郎

(72)【発明者】

【氏名】近藤 佑亮

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１９－２０９１３６（ＪＰ，Ａ）

【文献】国際公開第２０１９／２４６２５０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０３３０５１８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ３／１４

(57)【特許請求の範囲】

【請求項1】

血液循環異常領域のアノテーション情報が付与された医用画像を機械学習モデルに入力して前記機械学習モデルを学習させる学習部であって、前記血液循環異常領域は無灌流領域及び新生血管が生じた領域を含み、前記学習部は、異常のない領域、無灌流領域及び新生血管が生じた領域の順序関係に少なくとも基づいて前記機械学習モデルを学習させる、学習部と、
前記学習部で学習された学習済モデルを出力するモデル出力部と
を備える情報処理装置。

【請求項2】

血液循環異常領域を含む医用画像と血液循環異常領域を含まない医用画像とが所定の割合になるように、前記アノテーション情報が付与された医用画像を取得する学習データ取得部をさらに備える、請求項１に記載の情報処理装置。

【請求項3】

前記学習部は、推論の容易な領域の交差エントロピーロスの重みを動的に減衰させる損失関数を用いて前記機械学習モデルを学習させる、請求項１又は２に記載の情報処理装置。

【請求項4】

血液循環異常領域のアノテーション情報が付与された医用画像を取得することであって、前記血液循環異常領域は無灌流領域及び新生血管が生じた領域を含む、ことと、
前記医用画像を機械学習モデルに入力して、異常のない領域、無灌流領域及び新生血管が生じた領域の順序関係に少なくとも基づいて前記機械学習モデルを学習させることと、
前記学習の結果得られた学習済モデルを出力することと
を含む学習済モデルの生成方法。

【請求項5】

医用画像を含む第１画像を取得する第１取得部と、
前記第１画像を第２の学習済モデルに入力することで前記第１画像中の血液循環異常領域を推論する推論部であって、前記血液循環異常領域は無灌流領域及び新生血管が生じた領域を含み、前記第２の学習済モデルは、異常のない領域、無灌流領域及び新生血管が生じた領域の順序関係に少なくとも基づいて、医用画像から当該医用画像中の血液循環異常領域を推定するように学習された学習済モデルである、推論部と、
前記推論部で推論された結果を出力する出力部と
を備える情報処理装置。

【請求項6】

前記第２の学習済モデルは、血液循環異常領域を含む医用画像と血液循環異常領域を含まない医用画像とが所定の割合になるように取得された、血液循環異常領域のアノテーション情報が付与された医用画像を用いて学習された学習済モデルである、請求項５に記載の情報処理装置。

【請求項7】

前記第１画像を第１の学習済モデルに入力することで前記第１画像中の血管領域を示す第２画像を取得する第２取得部であって、前記第１の学習済モデルは、医用画像から血管領域を推定するように学習された学習済モデルである、第２取得部をさらに備え、
前記推論部は、前記第１画像と前記第２画像とを前記第２の学習済モデルに入力することで、前記第１画像中の前記血液循環異常領域を推論する、
請求項５又は６に記載の情報処理装置。

【請求項8】

前記第２の学習済モデルはニューラルネットワークであり、大きなストライドの畳み込み層を有する、請求項５又は６に記載の情報処理装置。

【請求項9】

前記第１画像を、血液循環異常領域を含み得る画像とそれ以外の画像とに分類する分類部をさらに備え、
前記血液循環異常領域を含み得る画像のみを前記推論部で処理する、
請求項５又は６に記載の情報処理装置。

【請求項10】

医用画像を含む第１画像を取得することと、
前記第１画像を第２の学習済モデルに入力することで前記第１画像中の血液循環異常領域を推論することであって、前記血液循環異常領域は無灌流領域及び新生血管が生じた領域を含み、前記第２の学習済モデルは、異常のない領域、無灌流領域及び新生血管が生じた領域の順序関係に少なくとも基づいて、医用画像から当該医用画像中の血液循環異常領域を推定するように学習された学習済モデルである、ことと、
推論された結果を出力することと
を含む方法。

【請求項11】

１又は複数のコンピュータに、
医用画像を含む第１画像を取得する処理と、
前記第１画像を第２の学習済モデルに入力することで前記第１画像中の血液循環異常領域を推論する処理であって、前記血液循環異常領域は無灌流領域及び新生血管が生じた領域を含み、前記第２の学習済モデルは、異常のない領域、無灌流領域及び新生血管が生じた領域の順序関係に少なくとも基づいて、医用画像から当該医用画像中の血液循環異常領域を推定するように学習された学習済モデルである、処理と、
推論された結果を出力する処理と
を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項12】

前記学習部は、前記医用画像中の血管領域を前記医用画像から推定した血管画像を前記医用画像と共に前記機械学習モデルに入力して前記機械学習モデルを学習させる、
請求項１又は２に記載の情報処理装置。

【請求項13】

前記学習部は、異常のない領域、無灌流領域及び新生血管が生じた領域の順序を持つ領域間の分類の誤差を考慮する損失関数を用いて前記機械学習モデルを学習させる、
請求項１に記載の情報処理装置。

【請求項14】

前記学習部は、前記アノテーション情報として、正解データと関係がある他の領域にも確率を割り当てた確率分布を付与した学習データを用いて、前記機械学習モデルを学習させる、
請求項１に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

血管障害が生じて虚血状態に陥る糖尿病網膜症などの網膜疾患では、網膜循環動態を把握することが肝要である。網膜循環動態は、蛍光眼底造影検査を行うことによって把握することができる。ここで、蛍光眼底造影検査は、有用な情報を得ることができる検査である一方で、造影剤に対する副作用が出る可能性があるなど、患者や医療者に一定の負担が生じる検査でもある。そこで、蛍光眼底造影検査を実施することなく、眼底画像から循環異常所見を特定する手法が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／１４２９１０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、眼底の画像である眼底画像と、眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、眼底画像における血液循環異常領域との関係を学習した学習済モデルを用いて、眼底画像における血液循環異常領域を特定する診断支援装置が開示されている。

【0005】

このような学習済モデルを生成するためには、血液循環異常領域を示すタグを付けるアノテーションを行い、その情報（以下、アノテーション情報と記す）が付与された眼底画像が大量に必要である。血液循環異常領域の一例である無灌流領域（ＮＰＡ：Non-Perfusion Area）（以下「ＮＰＡ領域」とも言う。）は、眼底において、網膜毛細血管床の閉塞などにより、血液が流れていない又はほとんど流れていない領域である。ＮＰＡ領域のアノテーション情報が付与された眼底画像は以下のようにして作成される。先ず、同一の診察で同一の患者に対して撮影された眼底画像と蛍光眼底造影画像とのセットを準備する。次いで、両画像を確認しながら眼科専門医等が蛍光眼底造影画像上でＮＰＡ領域のアノテーションを行う。最後にアノテーション情報を眼底画像に付与する。血液循環異常領域の他の一例である、新生血管が生じた領域についても、眼底画像にアノテーション情報を付与するためには同様の工程が必要である。このような学習データの収集には、多くの時間と労力がかかる。

【0006】

また、通常のセマンティックセグメンテーションとは異なり、ＮＰＡ領域のアノテーションは、蛍光眼底造影画像において境界が明快でない領域を指摘する必要がある。このことがさらに、学習データの収集を難しくしている。

【0007】

そこで、本発明の第１の態様は、患者の検査対象部位の撮影により取得された医用画像中の血液循環異常領域を推論する学習済モデルをより少ない学習データで生成することが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的の１つとする。また、本発明の第２の態様は、医用画像中の血液循環異常領域を、従来技術と比較して高精度に推論することが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的の１つとする。

【課題を解決するための手段】

【0008】

本発明の一態様に係る情報処理装置は、血液循環異常領域のアノテーション情報が付与された医用画像と、医用画像中の血管領域を医用画像から推定した血管画像とを機械学習モデルに入力して機械学習モデルを学習させる学習部と、学習部で学習された学習済モデルを出力するモデル出力部とを備える。

【0009】

この態様によれば、医用画像から導出された血管画像を機械学習モデルの学習に用いることで、医用画像のみで学習を行う場合と比較して効率的に機械学習モデルを学習させることができ、その結果、より少ない学習データで学習を収束させることができる。

【0010】

上記情報処理装置において、血液循環異常領域を含む医用画像と血液循環異常領域を含まない医用画像とが所定の割合になるように、アノテーション情報が付与された医用画像を取得する学習データ取得部をさらに備えてもよい。この態様によれば、学習データ中、血液循環異常領域を含まない医用画像が、血液循環異常領域を含む医用画像と比較して大幅に多くなるという学習に不利な事態を回避することができる。

【0011】

上記情報処理装置において、学習部は、推論の容易な領域の交差エントロピーロスの重みを動的に減衰させる損失関数を用いて機械学習モデルを学習させてもよい。この態様によれば、機械学習モデルの学習が、推論の容易な、血液循環異常領域を含まない領域の学習に支配されることを防ぎ、推論が難しい、血液循環異常領域を含む領域を効果的に学習することができる。

【0012】

上記情報処理装置において、血液循環異常領域は、無灌流領域及び新生血管が生じた領域を含み、学習部は、異常のない領域、無灌流領域及び新生血管が生じた領域の順序尺度に少なくとも基づいて機械学習モデルを学習させてもよい。この態様によれば、異常のない領域、ＮＰＡ領域及び新生血管が生じた領域の順序関係を効率的に機械学習モデルに学習させることができ、その結果、より少ない学習データで学習を収束させることが期待できる。

【0013】

上記情報処理装置において、学習部は、異常のない領域、無灌流領域及び新生血管が生じた領域の順序を持つ領域間の分類の誤差を考慮する損失関数を用いて機械学習モデルを学習させてもよい。

【0014】

上記情報処理装置において、学習部は、アノテーション情報として、正解データと関係がある他の領域にも確率を割り当てた確率分布を付与した学習データを用いて、機械学習モデルを学習させてもよい。

【0015】

本発明の他の態様に係る、学習済モデルの生成方法は、血液循環異常領域のアノテーション情報が付与された医用画像を取得することと、医用画像中の血管領域を医用画像から推定した血管画像を取得することと、医用画像と血管画像とを機械学習モデルに入力して機械学習モデルを学習させることと、学習の結果得られた学習済モデルを出力することとを含む。

【0016】

本発明の他の態様に係る情報処理装置は、医用画像を含む第１画像を取得する第１取得部と、第１画像から、第１画像中の血管領域を示す第２画像を取得する第２取得部と、第１画像と第２画像とに基づいて、第１画像中の血液循環異常領域を推論する推論部と、推論部で推論された結果を出力する出力部とを備える。

【0017】

この態様によれば、推論対象である医用画像を含む第１画像から導出された、第１画像中の血管領域を示す第２画像を血液循環異常領域の推論に用いることで、医用画像のみで推論を行う場合と比較して高精度な推論を行うことができる。

【0018】

上記情報処理装置において、第２取得部は、第１画像を第１の学習済モデルに入力することで第２画像を取得するものであり、第１の学習済モデルは、医用画像から血管領域を推定するように学習された学習済モデルであってもよい。この態様によれば、所望の精度を有する第２画像を容易に取得することができる。

【0019】

上記情報処理装置において、推論部は、第１画像と第２画像とを第２の学習済モデルに入力することで、第１画像中の血液循環異常領域を推論するものであり、第２の学習済モデルは、医用画像と、当該医用画像を第１の学習済モデルに入力することで取得される、当該医用画像中の血管領域を示す血管画像とから、当該医用画像中の血液循環異常領域を推定するように学習された学習済モデルであってもよい。この態様によれば、第１画像中の血液循環異常領域について、所望の精度を有する推論結果を得ることができる。

【0020】

上記情報処理装置において、第２の学習済モデルはニューラルネットワークであり、大きなストライドの畳み込み層を有してもよい。この態様によれば、第２の学習済モデルは、血管領域の情報を大域的な範囲の情報として利用して、医用画像中の血液循環異常領域を推定することができる。

【0021】

上記情報処理装置において、第１画像を、血液循環異常領域を含み得る画像とそれ以外の画像とに分類する分類部をさらに備え、血液循環異常領域を含み得る画像のみを推論部で処理してもよい。この態様によれば、効率的に高精度な推論を行うことができる。

【0022】

上記情報処理装置において、血液循環異常領域は、無灌流領域及び新生血管が生じた領域のうちの少なくとも１つを含んでもよい。この態様によれば、医用画像中の無灌流領域及び新生血管が生じた領域のうちの一方、あるいは両方について推論を行うことができる。

【0023】

本発明の他の態様に係る方法は、医用画像を含む第１画像を取得することと、第１画像から、第１画像中の血管領域を示す第２画像を取得することと、第１画像と第２画像とに基づいて、第１画像中の血液循環異常領域を推論することと、推論された結果を出力することとを含む。

【0024】

本発明の他の態様に係るプログラムは、１又は複数のコンピュータに、医用画像を含む第１画像を取得する処理と、第１画像から、第１画像中の血管領域を示す第２画像を取得する処理と、第１画像と第２画像とに基づいて、第１画像中の血液循環異常領域を推論する処理と、推論された結果を出力する処理とを実行させる。

【発明の効果】

【0025】

本発明の第１の態様によれば、医用画像中の血液循環異常領域を推論する学習済モデルをより少ない学習データで生成することが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。また、本発明の第２の態様によれば、医用画像中の血液循環異常領域を、従来技術と比較して高精度に推論することが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態に係る情報処理システムのネットワーク構成を示す図である。

【図2】本発明の一実施形態に係る学習装置の処理及び推論装置の処理を説明する概略図である。

【図3】本発明の一実施形態に係る学習装置のブロック図である。

【図4】本発明の一実施形態に係る推論装置のブロック図である。

【図5】本発明の一実施形態に係る学習装置の学習処理を示すフローチャートである。

【図6】本発明の一実施形態に係る推論装置の推論処理を示すフローチャートである。

【発明を実施するための形態】

【0027】

添付図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。

【0028】

（システム構成）
図１及び図２を用いて、本発明の概要について説明する。図１は、本発明の一実施形態に係る情報処理システムのネットワーク構成を示す図である。図２は、本発明の一実施形態に係る学習装置の処理及び推論装置の処理を説明する概略図である。

【0029】

情報処理システム１は、学習装置１０、推論装置２０及び記憶装置３０を備える。学習装置１０は、通信ネットワークＮを介して、推論装置２０及び記憶装置３０に接続される。通信ネットワークＮは、有線又は無線回線により構成された有線通信網及び無線通信網のいずれであってもよく、インターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）であってよい。

【0030】

学習装置１０は、記憶装置３０に記憶された学習データに基づいて、機械学習モデルの学習を行い、学習済モデルを記憶装置３０に記憶する。本実施形態に係る学習装置１０は機械学習モデルを備えるが、機械学習モデルは、学習装置１０と別体の装置に備えられてもよい。

【0031】

ここで、機械学習モデルとは、所定のモデル構造と、学習処理によって変動する処理パラメータとを有し、学習データから得られる経験に基づいてその処理パラメータが最適化されることで、識別精度が向上するモデルである。すなわち機械学習モデルは、学習処理によって最適な処理パラメータを学習するモデルである。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク等を用いることができるが、その種類は特に限定されない。当該学習を行う機械学習モデルには、学習データによりすでに何らかの学習を行っているものもあれば、学習前のものも含む。

【0032】

なお、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いて学習を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加学習を行うこともできる。

【0033】

推論装置２０は、学習済モデルを用いて、入力データの特徴に応じた出力データを出力する。本実施形態に係る推論装置２０は、記憶装置３０から取得した学習済モデルを用いて、推論を行う。ここで、学習済モデルを取得するとは、学習済モデルの機能を推論装置２０において再現するために必要な情報を取得することをいう。例えば、機械学習モデルとしてニューラルネットワークを用いる場合、学習済モデルを取得するとは、少なくとも、ニューラルネットワークのレイヤ数、各レイヤに関するノード数、ノード間を繋ぐリンクの重みパラメータ、各ノードに関するバイアスパラメータ及び各ノードに関する活性化関数の関数形に関する情報を取得することをいう。

【0034】

記憶装置３０は、機械学習モデルの学習に用いる学習データを記憶する。本実施形態に係る記憶装置３０は、ＮＰＡ領域のアノテーション情報が付与された眼底画像を学習データとして記憶している。また、記憶装置３０は、学習装置１０によって出力された学習済モデルを記憶する。図１では、記憶装置３０を単一の記憶装置として示しているが、記憶装置３０は、１又は複数のファイルサーバによって構成されてよい。また、本実施形態では、血液循環異常領域の一例として、ＮＰＡ領域のアノテーション情報が付与された眼底画像を学習データとしているが、別の実施形態では、新生血管が生じた領域など、他の血液循環異常領域のアノテーション情報が付与された眼底画像を学習データとして用いることもできるし、ＮＰＡ領域及び新生血管が生じた領域の両方についてアノテーション情報が付与された眼底画像を学習データとして用いることもできる。

【0035】

ここで、本実施形態に係る学習装置１０は、図２に示されるように、機械学習モデルの学習時に、補助モデル（第１の学習済モデル）を用いる。本実施形態の補助モデルは、機械学習モデルの学習データである眼底画像を入力データとして受け取り、眼底画像中の血管領域を推定した血管画像を出力する学習済モデルである。学習装置１０は、機械学習モデルの学習時に、アノテーション情報が付与された複数の眼底画像に加えて、補助モデルから出力される複数の血管画像を入力データとして用いる。本実施形態では、医用画像の一例である眼底画像を用いた例について説明するが、別の実施形態では、患者の他の検査対象部位の撮影により取得された、脳の画像や心筋の画像を用いることができる。

【0036】

眼底画像から導出された血管画像を機械学習モデルの学習に用いることで、アノテーション情報が付与された眼底画像のみで学習を行う場合と比較して効率的に機械学習モデルを学習させることができ、その結果、より少ない学習データで学習を収束させることができる。補助モデルの学習データは、境界が明快な血管領域についてアノテーション情報が付与された画像となる。そのため、補助モデルの学習データは比較的容易に収集することができる。

【0037】

同様に、本実施形態に係る推論装置２０は、学習済モデル（第２の学習済モデル）を用いた推論時に、補助モデル（第１の学習済モデル）を用いる。推論装置２０は、推論対象である眼底画像（第１画像）に加えて、当該眼底画像を入力データとして補助モデルから出力される血管画像（第２画像）を、ＮＰＡ領域を推論する学習済モデルの入力データとして用いる。眼底画像から導出された血管画像をＮＰＡ領域の推論に用いることで、眼底画像のみで推論を行う場合と比較して高精度な推論を行うことができる。本実施形態では、血液循環異常領域の一例として、ＮＰＡ領域を推論しているが、別の実施形態では、新生血管が生じた領域など、他の血液循環異常領域を推論してもよいし、ＮＰＡ領域及び新生血管が生じた領域の両方を推論してもよい。

【0038】

なお、眼底画像中の血管領域を推定する学習済モデルから直接ＮＰＡ領域を推論することは困難である。これは、血管位置の推論が局所的な情報を主に用いるのに対して、ＮＰＡ領域の推論は、より広い領域の情報を必要とすることに起因する。

【0039】

（機能構成：学習装置）
図３は、本発明の一実施形態に係る学習装置のブロック図である。なお、図３では、単一の学習装置１０を想定し、必要な機能構成だけを示しているが、学習装置１０を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。

【0040】

学習装置１０は、入力部１１０と、制御部１２０と、記憶部１３０と、通信部１４０とを備えている。

【0041】

入力部１１０は、学習装置１０の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。

【0042】

制御部１２０は、プロセッサに相当するＣＰＵやＭＰＵ等の演算処理部１２１及びＲＡＭ等のメモリ１２２を備えている。演算処理部１２１（プロセッサ）は、各種入力に基づき、記憶部１３０に記録されたプログラムをメモリ１２２に展開して実行することで、演算処理部１２１における後述する機能及び処理を実現する。このプログラムは、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ１２２は、演算処理部１２１（プロセッサ）によるプログラム実行に必要なワークメモリとして機能する。

【0043】

記憶部１３０は、ハードディスク等の記憶装置によって構成され、制御部１２０における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。本実施形態では、記憶部１３０は、学習データ記憶部１３１及び補助モデル１３２を有していることが望ましい。

【0044】

学習データ記憶部１３１には、後述の機械学習モデル１２５の学習に用いる学習データが保存される。本実施形態では、学習データ記憶部１３１には、ＮＰＡ領域のアノテーション情報が付与された眼底画像が保存される。

【0045】

補助モデル１３２には、機械学習モデル１２５の学習の補助に用いる学習済モデルが保存される。本実施形態では、補助モデル１３２には、眼底画像を入力データとして受け取り、眼底画像中の血管領域を推定した血管画像を出力する学習済モデルが保存されている。例えば、一実施形態では、血管領域のアノテーション情報が付与された眼底画像を用いて学習させた学習済モデルを補助モデル１３２として用いてもよい。

【0046】

通信部１４０は、学習装置１０をネットワークに接続するように構成される。例えば、通信部１４０は、ＬＡＮカード、アナログモデム、ＩＳＤＮモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。

【0047】

さらに、図３に示すように、演算処理部１２１は、機能部として、学習データ取得部１２３、学習部１２４、機械学習モデル１２５及びモデル出力部１２６を備えている。

【0048】

学習データ取得部１２３は、後述の機械学習モデル１２５の学習に用いる学習データを取得して、学習データ記憶部１３１に記憶する。本実施形態では、学習データ取得部１２３は、記憶装置３０からＮＰＡ領域のアノテーション情報が付与された眼底画像を取得して、学習データ記憶部１３１に記憶する。一実施形態では、学習データ取得部１２３は、ＮＰＡ領域を含む眼底画像とＮＰＡ領域を含まない眼底画像とを含む学習データを記憶装置３０から取得する。学習データ取得部１２３は、ＮＰＡ領域を含む眼底画像とＮＰＡ領域を含まない眼底画像とが、例えば１対１など、所定の割合になるように学習データを取得してもよい。このようにすることで、学習データ中、ＮＰＡ領域を含まない眼底画像が、ＮＰＡ領域を含む眼底画像と比較して大幅に多くなるという学習に不利な事態を回避することができる。

【0049】

学習データ取得部１２３はまた、眼底画像から、当該眼底画像中の血管領域を示す血管画像を取得して、学習データ記憶部１３１に記憶する。本実施形態では、学習データ取得部１２３は、眼底画像を補助モデル１３２に入力して血管画像を取得して、学習データ記憶部１３１に記憶する。

【0050】

学習部１２４は、学習データ取得部１２３が取得した学習データを用いて、機械学習モデル１２５を学習させる。本実施形態では、学習部１２４は、眼底画像と当該眼底画像から導出された血管画像とを機械学習モデル１２５に入力して、機械学習モデル１２５を学習させる。

【0051】

機械学習モデル１２５は、ＮＰＡ領域のアノテーション情報が付与された眼底画像と、当該眼底画像から導出された血管画像とを入力データとして受け取り、眼底画像中のＮＰＡ領域を示す情報を出力する。本実施形態では、機械学習モデル１２５の一例としてニューラルネットワークを用いた実施例について説明する。しかしながら、ニューラルネットワークは機械学習モデル１２５の一例にすぎず、学習装置１０は、機械学習モデル１２５として他の構成を用いてもよい。

【0052】

一実施形態では、機械学習モデル１２５は、当該機械学習モデル１２５の初期設定と比較して大きなストライドの畳み込み層を有する。このようにすることで、機械学習モデル１２５は、血管領域の情報を大域的な範囲の情報として学習することができる。

【0053】

一実施形態では、学習部１２４は、推論の容易な領域の交差エントロピーロスの重みを動的に減衰させる損失関数を用いて機械学習モデル１２５を学習させてもよい。このようにすることで、機械学習モデル１２５の学習が、推論の容易な、ＮＰＡ領域を含まない領域の学習に支配されることを防ぎ、推論が難しい、ＮＰＡ領域を含む領域を効果的に学習することができる。

【0054】

また、ＮＰＡ領域及び新生血管が生じた領域の両方についてアノテーション情報が付与された眼底画像を学習データとして用いる場合、学習部１２４は、異常のない領域、無灌流領域及び新生血管が生じた領域の順序尺度に少なくとも基づいて機械学習モデルを学習させてもよい。一実施形態では、新生血管が生じた領域はＮＰＡ領域が進行して生じた領域であるという特性を利用して、学習部１２４は、異常のない領域、ＮＰＡ領域及び新生血管が生じた領域の順序を持つ領域間の分類の誤差を考慮する損失関数を用いて機械学習モデル１２５を学習させてもよい。例えば、学習部１２４は、新生血管が生じた領域のアノテーション情報が付与された眼底画像に対して、異常のない領域と推論する場合と比較してＮＰＡ領域と推論する場合の誤差が小さくなるような損失関数を用いて、機械学習モデル１２５を学習させてもよい。このようにすることで、異常のない領域、ＮＰＡ領域及び新生血管が生じた領域の順序関係を効率的に機械学習モデルに学習させることができ、その結果、より少ない学習データで学習を収束させることが期待できる。

【0055】

また、ＮＰＡ領域及び新生血管が生じた領域の両方についてアノテーション情報が付与された眼底画像を学習データとして用いる場合、一実施形態では、新生血管が生じた領域はＮＰＡ領域が進行して生じた領域であるという特性を利用して、学習部１２４は、異常のない領域、ＮＰＡ領域及び新生血管が生じた領域の順序を持つ領域間の関係を考慮するアノテーション情報を付与した学習データを用いて、機械学習モデル１２５を学習させてもよい。例えば、学習部１２４は、新生血管が生じた領域へのアノテーション情報として、新生血管が生じた領域のみ正解データとして、異常のない領域、ＮＰＡ領域及び新生血管が生じた領域の各確率を０、０、１とする確率分布を付与するのに代えて、正解データと関係がある他の領域にも確率を割り当てた、異常のない領域、ＮＰＡ領域及び新生血管が生じた領域の各確率を０、０．１、０．９とする確率分布を付与した学習データを用いて、機械学習モデル１２５を学習させてもよい。このようにすることで、異常のない領域、ＮＰＡ領域及び新生血管が生じた領域の順序関係を効率的に機械学習モデルに学習させることができ、その結果、より少ない学習データで学習を収束させることが期待できる。

【0056】

機械学習モデル１２５の学習が完了すると、モデル出力部１２６は、学習済モデルを記憶装置３０に出力する。なお、学習部１２４は、例えば、所定数の学習データを用いて機械学習モデル１２５を学習させた後、学習を完了してもよいし、機械学習モデル１２５の精度が所定の条件を満たした場合に学習を完了してもよい。

【0057】

（機能構成：推論装置）
図４は、本発明の一実施形態に係る推論装置のブロック図である。なお、図４では、単一の推論装置２０を想定し、必要な機能構成だけを示しているが、推論装置２０を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。

【0058】

推論装置２０は、入力部２１０と、制御部２２０と、記憶部２３０と、通信部２４０とを備えている。

【0059】

入力部２１０は、推論装置２０の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。

【0060】

制御部２２０は、プロセッサに相当するＣＰＵやＭＰＵ等の演算処理部２２１及びＲＡＭ等のメモリ２２２を備えている。演算処理部２２１（プロセッサ）は、各種入力に基づき、記憶部２３０に記録されたプログラムをメモリ２２２に展開して実行することで、演算処理部２２１における後述する機能及び処理を実現する。このプログラムは、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ２２２は、演算処理部２２１（プロセッサ）によるプログラム実行に必要なワークメモリとして機能する。

【0061】

記憶部２３０は、ハードディスク等の記憶装置によって構成され、制御部２２０における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。本実施形態では、記憶部２３０は、画像記憶部２３１、補助モデル２３２及び学習済モデル２３３を有していることが望ましい。一実施形態では、記憶部２３０は、分類モデル２３４をさらに有してもよい。

【0062】

画像記憶部２３１には、推論対象の画像が保存される。本実施形態では、画像記憶部２３１には、ＮＰＡ領域の推論を行う眼底画像が保存されている。

【0063】

補助モデル２３２には、推論の補助に用いる学習済モデルが保存される。本実施形態では、補助モデル２３２には、眼底画像を入力データとして受け取り、眼底画像中の血管領域を推定した血管画像を出力する学習済モデルが保存されている。例えば、一実施形態では、血管領域のアノテーション情報が付与された眼底画像を用いて学習させた学習済モデルを補助モデル２３２として用いてもよい。

【0064】

学習済モデル２３３には、推論に用いる学習済モデルが保存される。本実施形態では、学習済モデル２３３には、眼底画像と当該眼底画像から導出された血管画像を入力データとして受け取り、眼底画像中のＮＰＡ領域の推論を行う学習済モデルが保存される。すなわち、学習済モデル２３３は、ＮＰＡ領域のアノテーション情報が付与された眼底画像と当該眼底画像から導出された血管画像とを含む学習データを用いて学習させた学習済モデルである。

【0065】

分類モデル２３４には、入力画像の分類に用いる学習済モデルが保存される。本実施形態では、分類モデル２３４には、眼底画像を入力データとして受け取り、ＮＰＡ領域を含み得る画像とそれ以外の画像とに分類する学習済モデルが保存されている。すなわち、分類モデル２３４は、ＮＰＡ領域の有無がアノテーション情報された眼底画像を用いて学習させた学習済モデルである。網膜疾患には、ＮＰＡ領域が現れ得る疾患と、ＮＰＡ領域とは無関係の疾患とがある。このような網膜疾患の特性を利用して、容易に分類モデル２３４の学習データを収集することができる。

【0066】

通信部２４０は、推論装置２０をネットワークに接続するように構成される。例えば、通信部２４０は、ＬＡＮカード、アナログモデム、ＩＳＤＮモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。

【0067】

さらに、図４に示すように、演算処理部２２１は、機能部として、モデル取得部２２３、第１取得部２２４、第２取得部２２５、推論部２２６、分類部２２７及び出力部２２８を備えている。

【0068】

モデル取得部２２３は、推論に用いる学習済モデルを取得して、学習済モデル２３３に記憶する。本実施形態では、モデル取得部２２３は、記憶装置３０から学習済モデルを取得して、学習済モデル２３３に記憶する。

【0069】

第１取得部２２４は、推論対象の画像を取得する。本実施形態では、第１取得部２２４は、ＮＰＡ領域の推論を行う眼底画像を画像記憶部２３１から取得する。

【0070】

第２取得部２２５は、第１取得部２２４が取得した画像中の血管領域を示す血管画像を取得する。本実施形態では、第２取得部２２５は、眼底画像を補助モデル２３２に入力することで、眼底画像中の血管領域を示す血管画像を取得する。前述したように、本実施形態の補助モデル２３２は、眼底の画像から血管領域を推定するように学習された学習済モデルである。

【0071】

推論部２２６は、第１取得部２２４が取得した画像と第２取得部２２５が取得した画像とに基づいて、眼底画像中のＮＰＡ領域を推論する。本実施形態では、推論部２２６は、第１取得部２２４が取得した眼底画像と当該眼底画像から導出された血管画像とを学習済モデル２３３に入力して、眼底画像中のＮＰＡ領域を示す情報を取得する。

【0072】

一実施形態では、推論装置２０は、推論の前処理として分類部２２７を用いてもよい。分類部２２７は、眼底画像を、ＮＰＡ領域を含み得る画像とそれ以外の画像とに分類する。分類部２２７は、分類モデル２３４を用いて眼底画像を分類してもよい。このような前処理を行うことで、ＮＰＡ領域を含み得る画像のみに対してＮＰＡ領域の推論を行うことができ、効率的に高精度な推論を行うことができる。

【0073】

出力部２２８は、推論部２２６が取得した情報に基づく推論結果を出力する。本実施形態では、出力部２２８は、推論部２２６が取得した眼底画像中のＮＰＡ領域を示す情報に基づく推論結果を出力する。一実施形態では、出力部２２８は、眼底画像中のＮＰＡ領域を示す情報に加えて、推論に用いた血管画像を出力してもよい。

【0074】

（学習処理）
図５を参照して、本発明の実施形態に係る学習装置の学習処理を詳細に説明する。本実施形態では、図５で説明される学習処理を行う前に、学習装置１０の管理者の管理の下、記憶装置３０に学習データが格納されているものとする。なお、図５に示す処理は、例えば、管理者が入力部１１０を介して学習済モデルを生成する処理を実行するための指示を入力することで実行される。

【0075】

ステップＳ５０１において、学習装置１０の学習データ取得部１２３は、機械学習モデル１２５の学習に用いる学習データを取得して、学習データ記憶部１３１に記憶する。本実施形態では、学習データ取得部１２３は、記憶装置３０からＮＰＡ領域のアノテーション情報が付与された複数の眼底画像を取得して、学習データ記憶部１３１に記憶する。ここでは、学習データ取得部１２３は、ＮＰＡ領域を含む眼底画像とＮＰＡ領域を含まない眼底画像とを１対１の割合で記憶装置３０から取得するものとする。このようにすることで、学習データ中、ＮＰＡ領域を含まない眼底画像が、ＮＰＡ領域を含む眼底画像と比較して大幅に多くなるという学習に不利な事態を回避することができる。

【0076】

次に、ステップＳ５０２において、学習データ取得部１２３は、眼底画像から、当該眼底画像中の血管領域を示す血管画像を取得して、学習データ記憶部１３１に記憶する。本実施形態では、学習データ取得部１２３は、眼底画像を補助モデル１３２に入力して血管画像を取得して、学習データ記憶部１３１に記憶する。

【0077】

次にステップＳ５０３において、学習装置１０の学習部１２４は、学習データ取得部１２３が取得した学習データを用いて、機械学習モデル１２５を学習させる。本実施形態では、学習部１２４は、アノテーション情報が付与された眼底画像と当該眼底画像から導出された血管画像とを機械学習モデル１２５に入力して、機械学習モデル１２５を学習させる。

【0078】

本実施形態では、機械学習モデル１２５の一例としてニューラルネットワークを用いる。また、本実施形態では、機械学習モデル１２５は、当該機械学習モデル１２５の初期設定と比較して大きなストライドの畳み込み層を有する。このようにすることで、機械学習モデル１２５は、血管領域の情報を大域的な範囲の情報として学習することができる。

【0079】

さらに、本実施形態では、学習部１２４は、推論の容易な領域の交差エントロピーロスの重みを動的に減衰させる損失関数を用いて機械学習モデル１２５を学習させる。このようにすることで、機械学習モデル１２５の学習が、推論の容易な、ＮＰＡ領域を含まない領域の学習に支配されることを防ぎ、推論が難しい、ＮＰＡ領域を含む領域を効果的に学習することができる。

【0080】

機械学習モデル１２５の学習が完了すると、ステップＳ５０４において、学習装置１０のモデル出力部１２６は、学習済モデルを記憶装置３０に出力する。なお、学習部１２４は、例えば、所定数の学習データを用いて機械学習モデル１２５を学習させた後、学習を完了してもよいし、機械学習モデル１２５の精度が所定の条件を満たした場合に学習を完了してもよい。

【0081】

（推論処理）
図６を参照して、本発明の実施形態に係る推論装置の推論処理を詳細に説明する。本実施形態では、図６で説明される推論処理を行う前に、推論装置２０の管理者の管理の下、学習済モデル２３３に記憶装置３０から取得した学習済モデルが格納されているものとする。また、推論装置２０の画像記憶部２３１には、推論対象の眼底画像が格納されているものとする。なお、図６に示す処理は、例えば、管理者が入力部２１０を介して推論処理を実行するための指示を入力することで実行される。

【0082】

ステップＳ６０１において、推論装置２０の第１取得部２２４は、推論対象の画像を取得する。本実施形態では、第１取得部２２４は、ＮＰＡ領域の推論を行う眼底画像を画像記憶部２３１から取得する。

【0083】

ステップＳ６０２において、推論装置２０の分類部２２７は、第１取得部２２４が取得した眼底画像を、ＮＰＡ領域を含み得る画像とそれ以外の画像とに分類する。ここでは、分類部２２７は、分類モデル２３４を用いて眼底画像を分類する。このような前処理を行うことで、ＮＰＡ領域を含み得る画像のみに対してＮＰＡ領域の推論を行うことができ、効率的に高精度な推論を行うことができる。

【0084】

ステップＳ６０３において、ＮＰＡ領域を含み得る画像について、推論装置２０の第２取得部２２５は、第１取得部２２４が取得した画像中の血管領域を示す血管画像を取得する。本実施形態では、第２取得部２２５は、第１取得部２２４が取得した眼底画像を補助モデル２３２に入力することで、眼底画像中の血管領域を示す血管画像を取得する。前述したように、本実施形態の補助モデル２３２は、眼底の画像から血管領域を推定するように学習された学習済モデルである。

【0085】

ステップＳ６０４において、推論装置２０の推論部２２６は、第１取得部２２４が取得した画像と第２取得部２２５が取得した画像とに基づいて、眼底画像中のＮＰＡ領域を推論する。本実施形態では、推論部２２６は、第１取得部２２４が取得した眼底画像と当該眼底画像から導出された血管画像とを学習済モデル２３３に入力して、眼底画像中のＮＰＡ領域を示す情報を取得する。

【0086】

ステップＳ６０５において、推論装置２０の出力部２２８は、推論部２２６が取得した情報に基づく推論結果を出力する。本実施形態では、出力部２２８は、推論部２２６が取得した眼底画像中のＮＰＡ領域を示す情報に基づいて、図２に示すような推論結果を出力する。一実施形態では、出力部２２８は、眼底画像中のＮＰＡ領域を示す情報に加えて、推論に用いた血管画像を出力してもよい。

【0087】

以上、本実施形態によれば、学習装置１０は、眼底画像から導出された血管画像を機械学習モデルの学習に用いることで、眼底画像のみで学習を行う場合と比較して効率的に機械学習モデルを学習させることができ、その結果、より少ない学習データで学習を収束させることができる。

【0088】

また、本実施形態によれば、推論装置２０は、推論対象である眼底画像から導出された血管画像をＮＰＡ領域の推論に用いることで、眼底画像のみで推論を行う場合と比較して高精度な推論を行うことができる。

【符号の説明】

【0089】

１０…学習装置、１１０…入力部、１２０…制御部、１２１…演算処理部、１２２…メモリ、１２３…学習データ取得部、１２４…学習部、１２５…機械学習モデル、１２６…モデル出力部、１３０…記憶部、１３１…学習データ記憶部、１３２…補助モデル（第１の学習済モデル）、１４０…通信部、２０…推論装置、２１０…入力部、２２０…制御部、２２１…演算処理部、２２２…メモリ、２２３…モデル取得部、２２４…第１取得部、２２５…第２取得部、２２６…推論部、２２７…分類部、２２８…出力部、２３０…記憶部、２３１…画像記憶部、２３２…補助モデル（第１の学習済モデル）、２３３…学習済モデル（第２の学習済モデル）、２３４…分類モデル、２４０…通信部、３０…記憶装置、Ｎ…通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】