(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023051045
(43)【公開日】2023-04-11
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230404BHJP
G06N 3/08 20230101ALI20230404BHJP
【ＦＩ】
G06T7/00 614
G06N3/08
G06T7/00 350C
G06T7/00 300F
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021161483
(22)【出願日】2021-09-30
(71)【出願人】
【識別番号】520228991
【氏名又は名称】ＤｅｅｐＥｙｅＶｉｓｉｏｎ株式会社
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】近藤 佑亮
(72)【発明者】
【氏名】高橋 秀徳
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA06
5L096BA13
5L096CA01
5L096DA02
5L096EA03
5L096EA39
5L096EA43
5L096FA34
5L096GA30
5L096GA51
5L096HA11
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】医用画像から１又は複数の疾患を推論することが可能な情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】学習装置が、通信ネットワークを介して、推論装置及び記憶装置に接続される情報処理システムにおいて、推論装置は、医用画像を取得する画像取得部２２５と、医用画像から、画像特徴量を抽出する画像特徴抽出部２２７と、画像特徴量と分類基底２３３とに基づいて、医用画像から予測される１又は複数の疾患を推論する推論部２２６と、推論部で推論された結果を出力する出力部２２８と、を備える。前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である。
【選択図】図５
【解決手段】学習装置が、通信ネットワークを介して、推論装置及び記憶装置に接続される情報処理システムにおいて、推論装置は、医用画像を取得する画像取得部２２５と、医用画像から、画像特徴量を抽出する画像特徴抽出部２２７と、画像特徴量と分類基底２３３とに基づいて、医用画像から予測される１又は複数の疾患を推論する推論部２２６と、推論部で推論された結果を出力する出力部２２８と、を備える。前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である。
【選択図】図５
【特許請求の範囲】
【請求項1】
医用画像を取得する画像取得部と、
前記医用画像から、画像特徴量を抽出する画像特徴抽出部と、
前記画像特徴量と分類基底とに基づいて、前記医用画像から予測される１又は複数の疾患を推論する推論部であって、前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、推論部と、
前記推論部で推論された結果を出力する出力部と
を備える情報処理装置。
前記医用画像から、画像特徴量を抽出する画像特徴抽出部と、
前記画像特徴量と分類基底とに基づいて、前記医用画像から予測される１又は複数の疾患を推論する推論部であって、前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、推論部と、
前記推論部で推論された結果を出力する出力部と
を備える情報処理装置。
【請求項2】
前記画像特徴抽出部は、前記医用画像を第１の学習済モデルに入力することで前記画像特徴量を取得するものであり、
前記第１の学習済モデルは、医用画像から画像特徴量を推定するように学習された学習済モデルである、
請求項１記載の情報処理装置。
前記第１の学習済モデルは、医用画像から画像特徴量を推定するように学習された学習済モデルである、
請求項１記載の情報処理装置。
【請求項3】
前記分類基底は、１又は複数の疾患がラベル付けされた複数の医用画像のラベル情報を埋め込んだデータを入力データとして受け取り、疾患間の相関関係について学習した特徴を出力する第２の機械学習モデルを学習させることで得られたものである、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項4】
前記入力データとして受け取るデータは、１又は複数の疾患がラベル付けされた複数の医用画像のラベル情報をマルチ・ホット・ベクトルの形式のデータとして埋め込んだグラフデータであり、
前記第２の機械学習モデルはグラフ畳み込みニューラルネットであり、畳み込み層の最終層でGlobal Max Pooling（ＧＭＰ）を適用する、
請求項３に記載の情報処理装置。
前記第２の機械学習モデルはグラフ畳み込みニューラルネットであり、畳み込み層の最終層でGlobal Max Pooling（ＧＭＰ）を適用する、
請求項３に記載の情報処理装置。
【請求項5】
前記グラフデータは、疾患又は病変に対応するノードを有し、
前記推論部は、前記医用画像から、１又は複数の疾患に加えて、１又は複数の病変を推論する、
請求項４に記載の情報処理装置。
前記推論部は、前記医用画像から、１又は複数の疾患に加えて、１又は複数の病変を推論する、
請求項４に記載の情報処理装置。
【請求項6】
前記推論部は、推論により得られた疾患毎の確信度が所定の閾値より大きい疾患を、１又は複数の候補疾患として取得する、請求項１～５のいずれか１項に記載の情報処理装置。
【請求項7】
前記閾値は、疾患毎、複数の疾患を含むグループに対して、又は疾患毎とグループに対してとの組み合わせで設定される、請求項６に記載の情報処理装置。
【請求項8】
前記閾値は、推論により得られた疾患毎の確信度に対して、所定の評価基準を最大化するように設定される、請求項７に記載の情報処理装置。
【請求項9】
前記閾値は、前記第１の学習済モデルを生成する際に用いた学習データのｋ分割交差検証により評価した、前記推論部の予測精度を最大化するように設定される、請求項７に記載の情報処理装置。
【請求項10】
医用画像を取得することと、
前記医用画像から、画像特徴量を抽出することと、
前記画像特徴量と分類基底とに基づいて、前記医用画像から予測される１又は複数の疾患を推論することであって、前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、ことと、
推論された結果を出力することと
を含む方法。
前記医用画像から、画像特徴量を抽出することと、
前記画像特徴量と分類基底とに基づいて、前記医用画像から予測される１又は複数の疾患を推論することであって、前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、ことと、
推論された結果を出力することと
を含む方法。
【請求項11】
１又は複数のコンピュータに、
医用画像を取得する処理と、
前記医用画像から、画像特徴量を抽出する処理と、
前記画像特徴量と分類基底とに基づいて、前記医用画像から予測される１又は複数の疾患を推論する処理であって、前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、処理と、
推論された結果を出力する処理と
を実行させるプログラム。
医用画像を取得する処理と、
前記医用画像から、画像特徴量を抽出する処理と、
前記画像特徴量と分類基底とに基づいて、前記医用画像から予測される１又は複数の疾患を推論する処理であって、前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、処理と、
推論された結果を出力する処理と
を実行させるプログラム。
【請求項12】
画像から、当該画像における特徴を示す画像特徴量を出力する第１の機械学習モデルと、
１又は複数の疾患がラベル付けされた複数の医用画像のラベル情報に基づいて生成された入力データから、疾患間の相関関係について学習した分類基底を出力する第２の機械学習モデルと、
１又は複数の疾患がラベル付けされた複数の医用画像を用いて前記第１の機械学習モデル及び前記第２の機械学習モデルを学習させる学習部であって、前記第１の機械学習モデルから取得した前記画像特徴量及び前記第２の機械学習モデルから取得した前記分類基底に基づいて疾患毎の確信度を求め、前記確信度と医用画像にラベル付けされた疾患との誤差を最小化するように、前記第１の機械学習モデル及び前記第２の機械学習モデルを学習させ、前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、学習部と、
前記第１の機械学習モデルの学習により得られた学習済モデルを出力するモデル出力部と、
前記第２の機械学習モデルの学習により得られた分類基底を出力する基底出力部と
を備える情報処理装置。
１又は複数の疾患がラベル付けされた複数の医用画像のラベル情報に基づいて生成された入力データから、疾患間の相関関係について学習した分類基底を出力する第２の機械学習モデルと、
１又は複数の疾患がラベル付けされた複数の医用画像を用いて前記第１の機械学習モデル及び前記第２の機械学習モデルを学習させる学習部であって、前記第１の機械学習モデルから取得した前記画像特徴量及び前記第２の機械学習モデルから取得した前記分類基底に基づいて疾患毎の確信度を求め、前記確信度と医用画像にラベル付けされた疾患との誤差を最小化するように、前記第１の機械学習モデル及び前記第２の機械学習モデルを学習させ、前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、学習部と、
前記第１の機械学習モデルの学習により得られた学習済モデルを出力するモデル出力部と、
前記第２の機械学習モデルの学習により得られた分類基底を出力する基底出力部と
を備える情報処理装置。
【請求項13】
１又は複数の疾患がラベル付けされた複数の医用画像と疾患のない複数の医用画像とを取得することと、
前記医用画像を用いて第１の機械学習モデル及び第２の機械学習モデルを学習させることであって、前記第１の機械学習モデルは、画像から、当該画像における特徴を示す画像特徴量を出力する機械学習モデルであり、前記第２の機械学習モデルは、１又は複数の疾患がラベル付けされた複数の医用画像のラベル情報に基づいて生成された入力データから、疾患間の相関関係について学習した分類基底を出力する機械学習モデルであり、前記第１の機械学習モデルから取得した前記画像特徴量及び前記第２の機械学習モデルから取得した前記分類基底に基づいて疾患毎の確信度を求め、前記確信度と医用画像にラベル付けされた疾患との誤差を最小化するように、前記第１の機械学習モデル及び前記第２の機械学習モデルを学習させ、前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、ことと、
前記第１の機械学習モデルの学習により得られた学習済モデルを出力することと、
前記第２の機械学習モデルの学習により得られた分類基底を出力することと
を含む方法。
前記医用画像を用いて第１の機械学習モデル及び第２の機械学習モデルを学習させることであって、前記第１の機械学習モデルは、画像から、当該画像における特徴を示す画像特徴量を出力する機械学習モデルであり、前記第２の機械学習モデルは、１又は複数の疾患がラベル付けされた複数の医用画像のラベル情報に基づいて生成された入力データから、疾患間の相関関係について学習した分類基底を出力する機械学習モデルであり、前記第１の機械学習モデルから取得した前記画像特徴量及び前記第２の機械学習モデルから取得した前記分類基底に基づいて疾患毎の確信度を求め、前記確信度と医用画像にラベル付けされた疾患との誤差を最小化するように、前記第１の機械学習モデル及び前記第２の機械学習モデルを学習させ、前記分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、ことと、
前記第１の機械学習モデルの学習により得られた学習済モデルを出力することと、
前記第２の機械学習モデルの学習により得られた分類基底を出力することと
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
医療分野では、例えば、標準的な無散瞳眼底カメラの撮影により取得された写真（以下、「眼底画像」と言う。）に深層学習などの機械学習を用いて、糖尿病網膜症などの疾患を検出するコンピュータ支援検出（ＣＡＤｅ：Computer Assisted Detection）など、機械学習の活用が広がっている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１９／１４２９１０号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、眼底の画像である眼底画像と、眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、眼底画像における血液循環異常領域との関係を学習した学習済モデルを用いて、眼底画像における血液循環異常領域を特定する診断支援装置が開示されている。
【0005】
ところで網膜疾患には、１００を超える種類が存在し、その中には病変が狭い範囲に限られている限局性の疾患と、病変が広い範囲に広がっているびまん性の疾患とが混在している。さらには、複数の疾患が要因となって１つの病変が現れている場合もあり、現状、全ての網膜疾患を網羅するＣＡＤｅを１枚の眼底画像に適用して、眼底画像から予想される１又は複数の網膜疾患を高精度に診断することは困難である。
【0006】
各網膜疾患専用のＣＡＤｅを開発することで、それぞれの網膜疾患を高精度に診断できるようになる可能性はあるが、１００を超える網膜疾患全てについて専用のＣＡＤｅを開発する時間と労力は計り知れない。
【0007】
また、実際の医師による診断では、眼底画像の情報のみならず、疾患間の相関関係に関する情報を活用して最終的な判断を行っていると考えられるが、現状のＣＡＤｅではこのような疾患間の関係を考慮できていない。
【0008】
そこで、本発明は、患者の検査対象部位の撮影により取得された医用画像から１又は複数の疾患を推論することが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様に係る情報処理装置は、医用画像を取得する画像取得部と、医用画像から、画像特徴量を抽出する画像特徴抽出部と、画像特徴量と分類基底とに基づいて、医用画像から予測される１又は複数の疾患を推論する推論部であって、分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、推論部と、推論部で推論された結果を出力する出力部とを備える。
【0010】
この態様によれば、疾患間の相関関係について学習した分類基底を疾患の推論に用いることで、多種多様な疾患の中から１又は複数の疾患を推論することができる。また、この態様によれば、分類基底を用いることで、従来活用がなされていなかった疾患間の相関関係に関する情報を活用することができ、その結果、医用画像のみで推論を行う場合と比較して高精度な推論を行うことができる。
【0011】
上記情報処理装置において、画像特徴抽出部は、医用画像を第１の学習済モデルに入力することで画像特徴量を取得するものであり、第１の学習済モデルは、医用画像から画像特徴量を推定するように学習された学習済モデルであってもよい。この態様によれば、所望の精度を有する画像特徴量を容易に取得することができる。
【0012】
上記情報処理装置において、分類基底は、１又は複数の疾患がラベル付けされた複数の医用画像のラベル情報を埋め込んだデータを入力データとして受け取り、疾患間の相関関係について学習した特徴を出力する第２の機械学習モデルを学習させることで得られたものであってもよい。この態様によれば、所望の精度を有する分類基底を容易に取得することができる。
【0013】
上記情報処理装置において、入力データとして受け取るデータは、１又は複数の疾患がラベル付けされた複数の医用画像のラベル情報をマルチ・ホット・ベクトルの形式のデータとして埋め込んだグラフデータであり、第２の機械学習モデルはグラフ畳み込みニューラルネットであり、畳み込み層の最終層でGlobal Max Pooling（ＧＭＰ）を適用してもよい。この態様によれば、重要な画像特徴量を残す効果的なダウンサンプリングを行うことができる。
【0014】
上記情報処理装置において、グラフデータは、疾患又は病変に対応するノードを有し、推論部は、医用画像から、１又は複数の疾患に加えて、１又は複数の病変を推論してもよい。この態様によれば、疾患のみならず、疾患に関連する病変についても医用画像から推論し、推論結果として提示することができる。その結果、推論された結果を利用するユーザは、例えば複数の疾患に共通する病変等の情報を加味した治療戦略を立てることができる。
【0015】
上記情報処理装置において、推論部は、推論により得られた疾患毎の確信度が所定の閾値より大きい疾患を、１又は複数の候補疾患として取得してもよい。疾患毎の確信度を所定の閾値で二値化することで、確信度に対して一貫した判断を行うことができる。
【0016】
上記情報処理装置において、閾値は、疾患毎、複数の疾患を含むグループに対して、又は疾患毎とグループに対してとの組み合わせで設定されてもよい。同一の閾値を全ての疾患に用いる場合と比較して、疾患毎に閾値を設定することで、比較的発見がしやすい疾患であるか否か、早期発見の重要性が高い疾患であるか等、その疾患の特性に応じて、閾値を細やかに設定することができる。また、例えば罹患数の少ない疾患をグループとしてまとめることで、個別の候補疾患名を提示できない代わりに、精度良く、何らかの疾患が存在し得ることを提示することができる。
【0017】
上記情報処理装置において、閾値は、推論により得られた疾患毎の確信度に対して、所定の評価基準を最大化するように設定されてもよい。この態様によれば、学習データを収集した環境と実際に推論を行う環境との差分を最小化することができる。
【0018】
上記情報処理装置において、閾値は、第１の学習済モデルを生成する際に用いた学習データのｋ分割交差検証により評価した、推論部の予測精度を最大化するように設定されてもよい。この態様によれば、推論時のデータを取得できない場合であっても、予測精度を正確に評価し、予測精度を最大化するような閾値を設定することができる。
【0019】
本発明の他の態様に係る方法は、医用画像を取得することと、医用画像から、画像特徴量を抽出することと、画像特徴量と分類基底とに基づいて、医用画像から予測される１又は複数の疾患を推論することであって、分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、ことと、推論された結果を出力することとを含む。
【0020】
本発明の他の態様に係るプログラムは、１又は複数のコンピュータに、医用画像を取得する処理と、医用画像から、画像特徴量を抽出する処理と、画像特徴量と分類基底とに基づいて、医用画像から予測される１又は複数の疾患を推論する処理であって、分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、処理と、推論された結果を出力する処理とを実行させる。
【0021】
本発明の他の態様に係る情報処理装置は、画像から、当該画像における特徴を示す画像特徴量を出力する第１の機械学習モデルと、１又は複数の疾患がラベル付けされた複数の医用画像のラベル情報に基づいて生成された入力データから、疾患間の相関関係について学習した分類基底を出力する第２の機械学習モデルと、１又は複数の疾患がラベル付けされた複数の医用画像を用いて第１の機械学習モデル及び第２の機械学習モデルを学習させる学習部であって、第１の機械学習モデルから取得した画像特徴量及び第２の機械学習モデルから取得した分類基底に基づいて疾患毎の確信度を求め、確信度と医用画像にラベル付けされた疾患との誤差を最小化するように、第１の機械学習モデル及び第２の機械学習モデルを学習させ、分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、学習部と、第１の機械学習モデルの学習により得られた学習済モデルを出力するモデル出力部と、第２の機械学習モデルの学習により得られた分類基底を出力する基底出力部とを備える。
【0022】
この態様によれば、医用画像から予測される疾患の推論に用いることが可能な画像特徴抽出部と、疾患間の相関関係について学習した分類基底とを得ることができる。
【0023】
本発明の他の態様に係る方法は、１又は複数の疾患がラベル付けされた複数の医用画像と疾患のない複数の医用画像とを取得することと、医用画像を用いて第１の機械学習モデル及び第２の機械学習モデルを学習させることであって、第１の機械学習モデルは、画像から、当該画像における特徴を示す画像特徴量を出力する機械学習モデルであり、第２の機械学習モデルは、１又は複数の疾患がラベル付けされた複数の医用画像のラベル情報に基づいて生成された入力データから、疾患間の相関関係について学習した分類基底を出力する機械学習モデルであり、第１の機械学習モデルから取得した画像特徴量及び第２の機械学習モデルから取得した分類基底に基づいて疾患毎の確信度を求め、確信度と医用画像にラベル付けされた疾患との誤差を最小化するように、第１の機械学習モデル及び第２の機械学習モデルを学習させ、分類基底は、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である、ことと、第１の機械学習モデルの学習により得られた学習済モデルを出力することと、第２の機械学習モデルの学習により得られた分類基底を出力することとを含む。
【発明の効果】
【0024】
本発明によれば、医用画像から１又は複数の疾患を推論することが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0025】
【図1】本発明の一実施形態に係る情報処理システムのネットワーク構成を示す図である。
【図2】本発明の一実施形態に係る学習装置の処理を説明する概略図である。
【図3】本発明の一実施形態に係る推論装置の処理を説明する概略図である。
【図4】本発明の一実施形態に係る学習装置のブロック図である。
【図5】本発明の一実施形態に係る推論装置のブロック図である。
【図6】本発明の一実施形態に係る学習装置の学習処理を示すフローチャートである。
【図7】本発明の一実施形態に係る推論装置の推論処理を示すフローチャートである。
【図8】本発明の一実施形態に係る推論装置が用いる閾値を説明する概略図である。
【図9】本発明の一実施形態に係る推論装置の二値化処理を説明する概略図である。
【発明を実施するための形態】
【0026】
添付図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。
【0027】
（システム構成）
図１、図２及び図３を用いて、本発明の概要について説明する。図１は、本発明の一実施形態に係る情報処理システムのネットワーク構成を示す図である。図２は、本発明の一実施形態に係る学習装置の処理を説明する概略図である。図３は、本発明の一実施形態に係る推論装置の処理を説明する概略図である。
図１、図２及び図３を用いて、本発明の概要について説明する。図１は、本発明の一実施形態に係る情報処理システムのネットワーク構成を示す図である。図２は、本発明の一実施形態に係る学習装置の処理を説明する概略図である。図３は、本発明の一実施形態に係る推論装置の処理を説明する概略図である。
【0028】
情報処理システムは、学習装置１０、推論装置２０及び記憶装置３０を備える。学習装置１０は、通信ネットワークＮを介して、推論装置２０及び記憶装置３０に接続される。通信ネットワークＮは、有線又は無線回線により構成された有線通信網及び無線通信網のいずれであってもよく、インターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）であってよい。
【0029】
学習装置１０は、記憶装置３０に記憶された学習データに基づいて、機械学習モデルの学習を行い、学習済モデルを記憶装置３０に記憶する。本実施形態に係る学習装置１０は機械学習モデルを備えるが、機械学習モデルは、学習装置１０と別体の装置に備えられてもよい。
【0030】
ここで、機械学習モデルとは、所定のモデル構造と、学習処理によって変動する処理パラメータとを有し、学習データから得られる経験に基づいてその処理パラメータが最適化されることで、識別精度が向上するモデルである。すなわち機械学習モデルは、学習処理によって最適な処理パラメータを学習するモデルである。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク等を用いることができるが、その種類は特に限定されない。当該学習を行う機械学習モデルには、学習前のものも、学習データによりすでに何らかの学習を行っているものも含まれる。
【0031】
なお、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いて学習を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加学習を行うこともできる。
【0032】
推論装置２０は、学習済モデルを用いて、入力データの特徴に応じた出力データを出力する。本実施形態に係る推論装置２０は、記憶装置３０から取得した学習済モデルを用いて、推論を行う。ここで、学習済モデルを取得するとは、学習済モデルの機能を推論装置２０において再現するために必要な情報を取得することをいう。例えば、機械学習モデルとしてニューラルネットワークを用いる場合、学習済モデルを取得するとは、少なくとも、ニューラルネットワークのレイヤ数、各レイヤに関するノード数、ノード間を繋ぐリンクの重みパラメータ、各ノードに関するバイアスパラメータ及び各ノードに関する活性化関数の関数形に関する情報を取得することをいう。
【0033】
記憶装置３０は、機械学習モデルの学習に用いる学習データを記憶する。本実施形態に係る記憶装置３０は、１又は複数の網膜疾患がラベル付けされた眼底画像と網膜疾患のない眼底画像とを学習データとして記憶している。また、記憶装置３０は、学習装置１０によって出力された学習済モデルを記憶する。図１では、記憶装置３０を単一の記憶装置として示しているが、記憶装置３０は、１又は複数のファイルサーバによって構成されてよい。また、本実施形態では、学習データの一例として、１又は複数の網膜疾患がラベル付けされた眼底画像を用いているが、別の実施形態では、患者の他の検査対象部位における１又は複数の疾患がラベル付けされた医用画像を学習データとして用いることもできる。
【0034】
ここで、本実施形態に係る学習装置１０は、図２に示されるように、眼底画像から、当該眼底画像における特徴を示す画像特徴量を出力する機械学習モデルと（第１の機械学習モデル）、１又は複数の網膜疾患がラベル付けされた複数の眼底画像のラベル情報に基づいて生成された入力データから、網膜疾患間の相関関係について学習した分類基底を出力する機械学習モデル（第２の機械学習モデル）とを備える。分類基底とは、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である。
【0035】
学習装置１０は、第１の機械学習モデルから出力される画像特徴量と第２の機械学習モデルから出力される分類基底とを用いて、眼底画像から網膜疾患を予測し、予測した結果と学習データにラベル付けされた網膜疾患との誤差を最小化するように、第１の機械学習モデル及び第２の機械学習モデルを学習させる。本実施形態では、医用画像の一例である眼底画像を用いた例について説明するが、別の実施形態では、患者の他の検査対象部位の撮影により取得された、胸部の画像、脳の画像、肝臓の画像等を用いることができる。
【0036】
眼底画像からの情報だけでなく、疾患間の相関関係を機械学習モデルに学習させることで、疾患間の相関関係を加味した高精度な推論を可能とする学習済モデルを生成することができる。
【0037】
図３に示されるように、本実施形態に係る推論装置２０は、第１の機械学習モデルの学習により得られた学習済モデルと、第２の機械学習モデルの学習により得られた分類基底とを用いて、眼底画像から予測される網膜疾患を推論する。疾患間の相関関係について学習した分類基底を疾患の推論に用いることで、眼底画像のみで推論を行う場合と比較して高精度な推論を行うことができる。さらに、本実施形態に係る推論装置２０によれば、疾患に対応するそれぞれの学習済モデルを生成することなく、１枚の眼底画像から、複数の疾患候補を提示することができる。本実施形態では、医用画像の一例である眼底画像から疾患候補を推論しているが、別の実施形態では、患者の他の検査対象部位の撮影により取得された、胸部の画像、脳の画像、肝臓の画像等の医用画像から、疾患を推論することができる。
【0038】
（機能構成：学習装置）
図４は、本発明の一実施形態に係る学習装置のブロック図である。なお、図４では、単一の学習装置１０を想定し、必要な機能構成だけを示しているが、学習装置１０を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。
図４は、本発明の一実施形態に係る学習装置のブロック図である。なお、図４では、単一の学習装置１０を想定し、必要な機能構成だけを示しているが、学習装置１０を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。
【0039】
学習装置１０は、入力部１１０と、制御部１２０と、記憶部１３０と、通信部１４０とを備えている。
【0040】
入力部１１０は、学習装置１０の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。
【0041】
制御部１２０は、プロセッサに相当するＣＰＵやＭＰＵ等の演算処理部１２１及びＲＡＭ等のメモリ１２２を備えている。演算処理部１２１（プロセッサ）は、各種入力に基づき、記憶部１３０に記録されたプログラムをメモリ１２２に展開して実行することで、演算処理部１２１における後述する機能及び処理を実現する。このプログラムは、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ１２２は、演算処理部１２１（プロセッサ）によるプログラム実行に必要なワークメモリとして機能する。
【0042】
記憶部１３０は、ハードディスク等の記憶装置によって構成され、制御部１２０における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。本実施形態では、記憶部１３０は、学習データ記憶部１３１を有していることが望ましい。
【0043】
学習データ記憶部１３１には、後述の第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２の学習に用いる学習データが保存される。本実施形態では、学習データ記憶部１３１には、１又は複数の網膜疾患がラベル付けされた眼底画像と網膜疾患のない眼底画像とが保存される。
【0044】
通信部１４０は、学習装置１０をネットワークに接続するように構成される。例えば、通信部１４０は、ＬＡＮカード、アナログモデム、ＩＳＤＮモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。
【0045】
さらに、図４に示すように、演算処理部１２１は、機能部として、学習データ取得部１２３、学習部１２４、画像特徴抽出部１２５、相関特徴抽出部１２６、モデル出力部１２７及び基底出力部１２８を備えている。
【0046】
学習データ取得部１２３は、後述の第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２の学習に用いる学習データを取得して、学習データ記憶部１３１に記憶する。本実施形態では、学習データ取得部１２３は、記憶装置３０から１又は複数の網膜疾患がラベル付けされた眼底画像と網膜疾患のない眼底画像とを取得して、学習データ記憶部１３１に記憶する。
【0047】
学習部１２４は、学習データ取得部１２３が取得した学習データを用いて、第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２を学習させる。本実施形態では、図２に示されるように、学習部１２４はまず、１又は複数の網膜疾患がラベル付けされた眼底画像と網膜疾患のない眼底画像とを後述の画像特徴抽出部１２５及び相関特徴抽出部１２６にそれぞれ入力して、眼底画像から抽出した画像特徴量及びラベル情報から抽出した網膜疾患間の相関関係に関する分類基底を取得する。
【0048】
次に、学習部１２４は、画像特徴抽出部１２５から取得した画像特徴量及び相関特徴抽出部１２６から取得した分類基底のアダマール積を求めて活性化関数を適用し、得られたＣ個の網膜疾患毎の確信度と学習データにラベル付けされた網膜疾患との誤差を最小化するように、第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２を学習させる。ここで、Ｃは予測対象としている網膜疾患の数を示し、後述のように分類基底を構成するベクトルの数と等しい。
【0049】
画像特徴抽出部１２５は、画像の入力を受け付けて、画像から当該画像における特徴を示す画像特徴量を抽出する。本実施形態では、画像特徴抽出部１２５は、眼底画像の入力を受け付けて、第１の機械学習モデルＭ１を用いて、眼底画像から画像特徴量を抽出する。
【0050】
第１の機械学習モデルＭ１は、画像から、当該画像における特徴を示す画像特徴量を出力する機械学習モデルである。本実施形態では、第１の機械学習モデルＭ１の一例として、眼底画像を入力データとして受け取り、当該眼底画像における特徴を示す画像特徴量を出力する畳み込みニューラルネットワーク（ＣＮＮ）を用いた実施例について説明する。しかしながら、ＣＮＮは第１の機械学習モデルＭ１の一例にすぎず、学習装置１０は、第１の機械学習モデルＭ１として他の構成を用いてもよい。
【0051】
一実施形態では、第１の機械学習モデルＭ１は、畳み込み層の最終層でGlobal Max Pooling（ＧＭＰ）を適用し、Ｄ次元の画像特徴量を出力する。このように、特徴マップの各チャネルの最大値を選択するＧＭＰを適用することで、重要な画像特徴量を残す効果的なダウンサンプリングを行うことができる。
【0052】
相関特徴抽出部１２６は、１又は複数の疾患がラベル付けされた複数の画像から、疾患間の相関関係に関する分類基底を抽出する。分類基底とは、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組である。例えば、図２に示されるように、本実施形態では、分類基底は、Ｃ個の疾患について、他の疾患との相関関係をＤ次元のベクトルによって表現した基底ベクトルの組として表される。
【0053】
本実施形態では、相関特徴抽出部１２６は、１又は複数の網膜疾患がラベル付けされた眼底画像の入力を受け付けて、眼底画像のラベル情報をマルチ・ホット・ベクトル（Multi-hot vector）の形式のデータとして埋め込んだグラフデータを生成し、第２の機械学習モデルＭ２を用いて、分類基底を抽出する。図２に示されるように、グラフデータの各ノードは、網膜疾患に対応している。図２ではグラフデータを簡略化して記載しているが、Ｃ個の網膜疾患に対応するＣ個のノードを有するグラフデータが生成されるものとする。
【0054】
第２の機械学習モデルＭ２は、学習対象となる項目間の相関関係について学習した特徴を出力する機械学習モデルである。本実施形態では、第２の機械学習モデルＭ２の一例として、相関特徴抽出部１２６が生成したグラフデータを入力データとして受け取り、網膜疾患間の相関関係について学習した分類基底を出力するグラフ畳み込みニューラルネットワーク（ＧＣＮ）を用いた実施例について説明する。しかしながら、ＧＣＮは第２の機械学習モデルＭ２の一例にすぎず、学習装置１０は、第２の機械学習モデルＭ２として他の構成を用いてもよい。本実施形態では、第２の機械学習モデルＭ２は、ノードの特徴量をｄ次元で表現し、グラフの隣接関係に従って、隣接ノードの情報を各ノードの特徴量に畳み込み、Ｄ次元の分類基底を出力する。
【0055】
第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２の学習が完了すると、モデル出力部１２７は、第１の機械学習モデルＭ１の学習により得られた学習済モデルを記憶装置３０に出力する。なお、学習部１２４は、例えば、所定数の学習データを用いて第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２を学習させた後、学習を完了してもよいし、第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２を用いて予測した網膜疾患の精度が所定の条件を満たした場合に学習を完了してもよい。
【0056】
同様に、第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２の学習が完了すると、基底出力部１２８は、第２の機械学習モデルＭ２の学習により得られた分類基底を記憶装置３０に出力する。
【0057】
（機能構成：推論装置）
図５は、本発明の一実施形態に係る推論装置のブロック図である。なお、図５では、単一の推論装置２０を想定し、必要な機能構成だけを示しているが、推論装置２０を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。
図５は、本発明の一実施形態に係る推論装置のブロック図である。なお、図５では、単一の推論装置２０を想定し、必要な機能構成だけを示しているが、推論装置２０を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。
【0058】
推論装置２０は、入力部２１０と、制御部２２０と、記憶部２３０と、通信部２４０とを備えている。
【0059】
入力部２１０は、推論装置２０の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。
【0060】
制御部２２０は、プロセッサに相当するＣＰＵやＭＰＵ等の演算処理部２２１及びＲＡＭ等のメモリ２２２を備えている。演算処理部２２１（プロセッサ）は、各種入力に基づき、記憶部２３０に記録されたプログラムをメモリ２２２に展開して実行することで、演算処理部２２１における後述する機能及び処理を実現する。このプログラムは、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ２２２は、演算処理部２２１（プロセッサ）によるプログラム実行に必要なワークメモリとして機能する。
【0061】
記憶部２３０は、ハードディスク等の記憶装置によって構成され、制御部２２０における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。本実施形態では、記憶部２３０は、画像記憶部２３１、学習済モデル２３２及び分類基底２３３を有していることが望ましい。
【0062】
画像記憶部２３１には、推論対象の画像が保存される。本実施形態では、画像記憶部２３１には、網膜疾患の推論を行う眼底画像が保存されている。
【0063】
学習済モデル２３２には、推論に用いる学習済モデルが保存される。本実施形態では、学習済モデル２３２には、眼底画像を入力データとして受け取り、当該眼底画像における特徴を示す画像特徴量を出力する学習済モデルが保存される。本実施形態では、学習済モデル２３２の一例として、眼底画像を入力データとして受け取り、当該眼底画像における特徴を示す画像特徴量を出力する畳み込みニューラルネットワーク（ＣＮＮ）を用いた実施例について説明する。しかしながら、ＣＮＮは学習済モデル２３２の一例にすぎず、推論装置２０は、学習済モデル２３２として他の構成を用いてもよい。
【0064】
分類基底２３３には、推論に用いる基底ベクトルが保存される。本実施形態では、分類基底２３３には、各疾患について、他の疾患との相関関係を所定次元のベクトルによって表現した基底ベクトルの組が保存される。
【0065】
通信部２４０は、推論装置２０をネットワークに接続するように構成される。例えば、通信部２４０は、ＬＡＮカード、アナログモデム、ＩＳＤＮモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。
【0066】
さらに、図５に示すように、演算処理部２２１は、機能部として、モデル取得部２２３、基底取得部２２４、画像取得部２２５、推論部２２６、画像特徴抽出部２２７及び出力部２２８を備えている。
【0067】
モデル取得部２２３は、推論に用いる学習済モデルを取得して、学習済モデル２３２に記憶する。本実施形態では、モデル取得部２２３は、記憶装置３０から学習済モデルを取得して、学習済モデル２３２に記憶する。
【0068】
基底取得部２２４は、推論に用いる基底ベクトルを取得して、分類基底２３３に記憶する。本実施形態では、基底取得部２２４は、記憶装置３０から分類基底を取得して、分類基底２３３に記憶する。
【0069】
画像取得部２２５は、推論対象の画像を取得する。本実施形態では、画像取得部２２５は、網膜疾患の推論を行う眼底画像を画像記憶部２３１から取得する。
【0070】
推論部２２６は、画像取得部２２５が取得した画像から予測される網膜疾患を推論する。本実施形態では、図３に示されるように、推論部２２６は、まず、画像取得部２２５が取得した眼底画像を後述の画像特徴抽出部２２７に入力して画像特徴量を取得し、取得した画像特徴量及び分類基底２３３のアダマール積を求める。次に、推論部２２６は、アダマール積に活性化関数を適用して得られたＣ個の網膜疾患毎の確信度を所定の閾値で二値化し、所定の閾値より大きい確信度を有する網膜疾患を候補疾患として取得する。一実施形態では、推論部２２６は、候補疾患の情報に加えて、あるいは候補疾患の情報に代えて、アダマール積に活性化関数を適用して得られたＣ個の網膜疾患毎の確信度を出力部２２８に引き渡してもよい。
【0071】
ここで、候補疾患を決定するために用いる閾値は、事前設定した値を用いてもよいし、管理者が入力部２１０を介して入力した値を用いてもよい。例えば、推論装置２０を利用する施設の特性に応じて３つの事前設定した閾値を設け、管理者からの入力に応じていずれかの閾値が設定されるようにしてもよい。検診を行う施設では低い閾値を用いることで疾患の可能性を広く指摘し、診断・治療を行う一般施設では中央の閾値を用いることで治療の対象となり得る疾患を指摘し、高度医療を提供する専門施設では高い閾値を用いることで高度医療の対象となり得る疾患を指摘することができる。さらに、事前設定した閾値を管理者からの入力に応じて調整できるようにしてもよい。閾値の調整を可能とすることで、患者の層や施設の方針に合わせて、より最適化された推論結果を出力することができる。
【0072】
一実施形態では、推論部２２６は、閾値として、網膜疾患毎、あるいは複数の網膜疾患を含むグループに対して閾値を設定してもよい。同一の閾値を全ての疾患に用いる場合と比較して、疾患毎に閾値を設定することで、比較的発見がしやすい疾患であるか否か、早期発見の重要性が高い疾患であるか等、その疾患の特性に応じて、閾値を細やかに設定することができる。一方で、例えば、１００を超える種類が存在する網膜疾患の全てに対して、妥当な閾値を個別に設定することは難しく、複数の疾患が要因となって１つの病変が現れている場合なども考慮すると、妥当な閾値を網膜疾患毎に設定することは事実上不可能である。このような場合に、網膜疾患毎の個別の閾値と、複数の網膜疾患を含むグループに対する閾値とを組み合わせることで、候補疾患を精度良く取得することができる。すなわち、罹患数の少ない疾患をグループとしてまとめることで、個別の候補疾患名を提示できない代わりに、精度良く、何らかの疾患が存在し得ることを提示することができる。
【0073】
画像特徴抽出部２２７は、画像の入力を受け付けて、画像から当該画像における特徴を示す画像特徴量を抽出する。本実施形態では、画像特徴抽出部２２７は、眼底画像の入力を受け付けて、学習済モデル２３２を用いて、眼底画像から画像特徴量を抽出する。
【0074】
出力部２２８は、推論部２２６が取得した情報に基づく推論結果を出力する。本実施形態では、出力部２２８は、推論部２２６が取得した候補疾患の情報に基づく推論結果を出力する。一実施形態では、出力部２２８は、候補疾患の情報に加えて、あるいは候補疾患の情報に代えて疾患の確信度を出力してもよい。
【0075】
（第１実施形態）
（学習処理）
図６を参照して、本発明の実施形態に係る学習装置の学習処理を詳細に説明する。本実施形態では、図６で説明される学習処理を行う前に、学習装置１０の管理者の管理の下、記憶装置３０に学習データが格納されているものとする。なお、図６に示す処理は、例えば、管理者が入力部１１０を介して学習済モデルを生成する処理を実行するための指示を入力することで実行される。
（学習処理）
図６を参照して、本発明の実施形態に係る学習装置の学習処理を詳細に説明する。本実施形態では、図６で説明される学習処理を行う前に、学習装置１０の管理者の管理の下、記憶装置３０に学習データが格納されているものとする。なお、図６に示す処理は、例えば、管理者が入力部１１０を介して学習済モデルを生成する処理を実行するための指示を入力することで実行される。
【0076】
ステップＳ６０１において、学習装置１０の学習データ取得部１２３は、第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２の学習に用いる学習データを取得して、学習データ記憶部１３１に記憶する。本実施形態では、学習データ取得部１２３は、記憶装置３０から１又は複数の網膜疾患がラベル付けされた眼底画像と網膜疾患のない眼底画像とを取得して、学習データ記憶部１３１に記憶する。
【0077】
次に、ステップＳ６０２において、学習装置１０の学習部１２４は、学習データ取得部１２３が取得した学習データを用いて、第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２を学習させる。
【0078】
第１の機械学習モデルＭ１は、画像から、当該画像における特徴を示す画像特徴量を出力する機械学習モデルである。本実施形態では、第１の機械学習モデルＭ１の一例として、眼底画像を入力データとして受け取り、当該眼底画像における特徴を示す画像特徴量を出力する畳み込みニューラルネットワーク（ＣＮＮ）を用いる。しかしながら、ＣＮＮは第１の機械学習モデルＭ１の一例にすぎず、学習装置１０は、第１の機械学習モデルＭ１として他の構成を用いてもよい。
【0079】
さらに本実施形態では、図２に示されるように、第１の機械学習モデルＭ１は、畳み込み層の最終層でGlobal Max Pooling（ＧＭＰ）を適用し、Ｄ次元の画像特徴量を出力する。このように、特徴マップの各チャネルの最大値を選択するＧＭＰを適用することで、重要な画像特徴量を残す効果的なダウンサンプリングを行うことができる。
【0080】
第２の機械学習モデルＭ２は、学習対象となる項目間の相関関係について学習した特徴を出力する機械学習モデルである。本実施形態では、第２の機械学習モデルＭ２の一例として、グラフデータを入力データとして受け取り、網膜疾患間の相関関係について学習した分類基底を出力するグラフ畳み込みニューラルネットワーク（ＧＣＮ）を用いる。しかしながら、ＧＣＮは第２の機械学習モデルＭ２の一例にすぎず、学習装置１０は、第２の機械学習モデルＭ２として他の構成を用いてもよい。本実施形態では、第２の機械学習モデルＭ２は、ノードの特徴量をｄ次元で表現し、グラフの隣接関係に従って、隣接ノードの情報を各ノードの特徴量に畳み込み、Ｄ次元の分類基底を出力する。
【0081】
具体的には、本実施形態では、学習部１２４は、１又は複数の網膜疾患がラベル付けされた眼底画像と網膜疾患のない眼底画像とを画像特徴抽出部１２５及び相関特徴抽出部１２６にそれぞれ入力する。学習装置１０の画像特徴抽出部１２５は、眼底画像の入力を受け付けて、第１の機械学習モデルＭ１を用いて、眼底画像から画像特徴量を抽出する。学習装置１０の相関特徴抽出部１２６は、１又は複数の網膜疾患がラベル付けされた眼底画像の入力を受け付けて、眼底画像のラベル情報をマルチ・ホット・ベクトルの形式のデータとして埋め込んだグラフデータを生成し、第２の機械学習モデルＭ２を用いて、分類基底を抽出する。本実施形態では、図２に示されるように、相関特徴抽出部１２６は、Ｃ個の網膜疾患に対応するＣ個のノードを有するグラフデータが生成し、第２の機械学習モデルＭ２を用いて、Ｃ個の疾患について、他の疾患との相関関係をＤ次元のベクトルによって表現した基底ベクトルの組である分類基底を抽出する。
【0082】
画像特徴抽出部１２５及び相関特徴抽出部１２６による処理が終わると、学習部１２４は、画像特徴抽出部１２５から取得した画像特徴量及び相関特徴抽出部１２６から取得した分類基底のアダマール積を求めて活性化関数を適用し、得られたＣ個の網膜疾患毎の確信度と学習データにラベル付けされた網膜疾患との誤差を最小化するように、第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２を学習させる。
【0083】
第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２の学習が完了すると、ステップＳ６０３において、学習装置１０のモデル出力部１２７は、第１の機械学習モデルＭ１を学習させて得られた学習済モデルを記憶装置３０に出力する。なお、学習部１２４は、例えば、所定数の学習データを用いて第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２を学習させた後、学習を完了してもよいし、第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２を用いて予測した網膜疾患の精度が所定の条件を満たした場合に学習を完了してもよい。
【0084】
同様に、第１の機械学習モデルＭ１及び第２の機械学習モデルＭ２の学習が完了すると、ステップＳ６０４において、学習装置１０の基底出力部１２８は、第２の機械学習モデルＭ２を学習させて得られた分類基底を記憶装置３０に出力する。
【0085】
（推論処理）
図７を参照して、本発明の実施形態に係る推論装置の推論処理を詳細に説明する。本実施形態では、図７で説明される推論処理を行う前に、推論装置２０の管理者の管理の下、学習済モデル２３２及び分類基底２３３に記憶装置３０から取得した学習済モデル及び分類基底が格納されているものとする。また、推論装置２０の画像記憶部２３１には、推論対象の眼底画像が格納されているものとする。なお、図７に示す処理は、例えば、管理者が入力部２１０を介して推論処理を実行するための指示を入力することで実行される。
図７を参照して、本発明の実施形態に係る推論装置の推論処理を詳細に説明する。本実施形態では、図７で説明される推論処理を行う前に、推論装置２０の管理者の管理の下、学習済モデル２３２及び分類基底２３３に記憶装置３０から取得した学習済モデル及び分類基底が格納されているものとする。また、推論装置２０の画像記憶部２３１には、推論対象の眼底画像が格納されているものとする。なお、図７に示す処理は、例えば、管理者が入力部２１０を介して推論処理を実行するための指示を入力することで実行される。
【0086】
ステップＳ７０１において、推論装置２０の画像取得部２２５は、推論対象の画像を取得する。本実施形態では、画像取得部２２５は、網膜疾患の推論を行う眼底画像を画像記憶部２３１から取得する。
【0087】
ステップＳ７０２において、推論装置２０の推論部２２６は、画像取得部２２５が取得した眼底画像を画像特徴抽出部２２７に入力して画像特徴量を取得する。具体的には、画像特徴抽出部２２７は、眼底画像の入力を受け付けて、学習済モデル２３２を用いて、眼底画像から画像特徴量を抽出する。
【0088】
本実施形態では、学習済モデル２３２の一例として、眼底画像を入力データとして受け取り、当該眼底画像における特徴を示す画像特徴量を出力する畳み込みニューラルネットワーク（ＣＮＮ）を用いる。図３に示されるように、ここでは、畳み込み層の最終層でGlobal Max Pooling（ＧＭＰ）を適用し、Ｄ次元の画像特徴量を出力する学習済モデル２３２を用いる。このように、特徴マップの各チャネルの最大値を選択するＧＭＰを適用することで、重要な画像特徴量を残す効果的なダウンサンプリングを行うことができる。
【0089】
次に、ステップＳ７０３において、推論部２２６は、取得した画像特徴量及び分類基底２３３のアダマール積を求める。
【0090】
最後に、ステップＳ７０４において、推論部２２６は、アダマール積に活性化関数を適用して得られたＣ個の網膜疾患毎の確信度を所定の閾値で二値化し、所定の閾値より大きい確信度を有する網膜疾患を候補疾患として取得する。一実施形態では、推論部２２６は、候補疾患の情報に加えて、あるいは候補疾患の情報に代えて、アダマール積に活性化関数を適用して得られたＣ個の網膜疾患毎の確信度を出力部２２８に引き渡してもよい。
【0091】
ステップＳ７０５において、推論装置２０の出力部２２８は、推論部２２６が取得した情報に基づく推論結果を出力する。本実施形態では、出力部２２８は、推論部２２６が取得した候補疾患の情報に基づく推論結果を出力する。一実施形態では、出力部２２８は、候補疾患の情報に加えて、あるいは候補疾患の情報に代えて疾患の確信度を出力してもよい。
【0092】
本実施形態では、相関特徴抽出部１２６が、網膜疾患に対応するノードを有するグラフデータを生成する例について説明した。一実施形態では、相関特徴抽出部１２６は、網膜疾患に加えて、例えば血液が流れていない又はほとんど流れていない領域である無灌流領域を含む血液循環異常領域や組織変性領域など、疾患と関連する病変に対応するノードを有するグラフデータを生成してもよい。このようにすることで、網膜疾患のみならず、網膜疾患に関連する病変についても眼底画像から推論してその確信度を求め、推論結果として提示することができる。その結果、医師は、例えば複数の疾患に共通する病変等の情報を加味した治療戦略を立てることができる。
【0093】
以上、本実施形態によれば、学習装置１０は、眼底画像から予測される網膜疾患の推論に用いることが可能な画像特徴抽出部と、網膜疾患間の相関関係について学習した分類基底とを得ることができる。
【0094】
また、本実施形態によれば、推論装置２０は、網膜疾患間の相関関係について学習した分類基底を網膜疾患の推論に用いることで、多種多様な網膜疾患の中から１又は複数の網膜疾患を推論することができる。また、本実施形態によれば、分類基底を用いることで、従来活用がなされていなかった疾患間の相関関係に関する情報を活用することができ、その結果、眼底画像のみで推論を行う場合と比較して高精度な推論を行うことができる。
【0095】
（第２実施形態）
上記の学習処理、推論処理では、推論処理のＳ７０４において、同一の閾値を全ての疾患に用いる例について説明してきた。本実施形態では、推論処理のＳ７０４において、網膜疾患毎の個別の閾値と、複数の網膜疾患を含むグループに対する閾値とを組み合わせて用いる例について説明する。ここでは、推論部２２６が、緑内障、加齢黄斑変性症、糖尿病網膜症についてはそれぞれ、５０％、２０％、２０％と個別に設定した閾値を利用し、その他の網膜疾患については、その他の網膜疾患を含むグループに対して１０％と設定した閾値を利用する。
上記の学習処理、推論処理では、推論処理のＳ７０４において、同一の閾値を全ての疾患に用いる例について説明してきた。本実施形態では、推論処理のＳ７０４において、網膜疾患毎の個別の閾値と、複数の網膜疾患を含むグループに対する閾値とを組み合わせて用いる例について説明する。ここでは、推論部２２６が、緑内障、加齢黄斑変性症、糖尿病網膜症についてはそれぞれ、５０％、２０％、２０％と個別に設定した閾値を利用し、その他の網膜疾患については、その他の網膜疾患を含むグループに対して１０％と設定した閾値を利用する。
【0096】
（学習処理）
第１実施形態では、図２に示されるように、相関特徴抽出部１２６は、グラフデータの各ノードがＣ個の網膜疾患に対応しているグラフデータを生成して第２の機械学習モデルＭ２に入力していた。第２実施形態では、相関特徴抽出部１２６は、緑内障、加齢黄斑変性症、糖尿病網膜症、その他の網膜疾患に対応しているグラフデータを生成して第２の機械学習モデルＭ２に入力する。すなわち、第１実施形態ではＣ個の網膜疾患に対応するＣ個のノードを有するグラフデータが生成されるのに対し、第２実施形態では、４個のノードを有するグラフデータが生成される。
第１実施形態では、図２に示されるように、相関特徴抽出部１２６は、グラフデータの各ノードがＣ個の網膜疾患に対応しているグラフデータを生成して第２の機械学習モデルＭ２に入力していた。第２実施形態では、相関特徴抽出部１２６は、緑内障、加齢黄斑変性症、糖尿病網膜症、その他の網膜疾患に対応しているグラフデータを生成して第２の機械学習モデルＭ２に入力する。すなわち、第１実施形態ではＣ個の網膜疾患に対応するＣ個のノードを有するグラフデータが生成されるのに対し、第２実施形態では、４個のノードを有するグラフデータが生成される。
【0097】
第２の機械学習モデルＭ２は、前述したように、学習対象となる項目間の相関関係について学習した特徴を出力する機械学習モデルである。第２実施形態でも第１実施形態と同様に、第２の機械学習モデルＭ２は、ノードの特徴量をｄ次元で表現し、グラフの隣接関係に従って、隣接ノードの情報を各ノードの特徴量に畳み込み、Ｄ次元の分類基底を出力する。
【0098】
図６を用いて説明した学習処理については、第１実施形態と同様であるので説明を省略する。なお、ステップＳ６０１において、学習データ取得部１２３が取得する学習データが、第１実施形態ではＣ個の網膜疾患のうちの１又は複数の網膜疾患がラベル付けされた眼底画像と網膜疾患のない眼底画像とであるのに対し、第２実施形態では、緑内障、加齢黄斑変性症、糖尿病網膜症、その他の網膜疾患の４個の網膜疾患のうちの１又は複数の網膜疾患がラベル付けされた眼底画像と網膜疾患のない眼底画像となる。
【0099】
【0100】
ステップＳ７０１において、画像取得部２２５は、網膜疾患の推論を行う眼底画像を画像記憶部２３１から取得する。ステップＳ７０２において、推論装置２０の推論部２２６は、画像取得部２２５が取得した眼底画像を画像特徴抽出部２２７に入力して画像特徴量を取得する。具体的には、画像特徴抽出部２２７は、眼底画像の入力を受け付けて、学習済モデル２３２を用いて、眼底画像から画像特徴量を抽出する。
【0101】
第２実施形態でも、学習済モデル２３２の一例として、眼底画像を入力データとして受け取り、当該眼底画像における特徴を示す画像特徴量を出力する畳み込みニューラルネットワーク（ＣＮＮ）を用いる。図３に示されるように、ここでは、畳み込み層の最終層でGlobal Max Pooling（ＧＭＰ）を適用し、Ｄ次元の画像特徴量を出力する学習済モデル２３２を用いる。次に、ステップＳ７０３において、推論部２２６は、取得した画像特徴量及び分類基底２３３のアダマール積を求める。
【0102】
ステップＳ７０４において、推論部２２６は、アダマール積に活性化関数を適用して得られた４個の網膜疾患毎の確信度を所定の閾値で二値化し、所定の閾値より大きい確信度を有する網膜疾患を候補疾患として取得する。本実施形態では、推論部２２６は、緑内障、加齢黄斑変性症、糖尿病網膜症についてはそれぞれ、５０％、２０％、２０％と個別に設定した閾値を利用し、その他の網膜疾患については、その他の網膜疾患を含むグループに対して１０％と設定した閾値を利用する。
【0103】
図８の中央に示されるように、ある眼底画像から予測される、緑内障、加齢黄斑変性症、糖尿病網膜症、その他の網膜疾患の確信度が、それぞれ７０％、２５％、１５％、１５％であるとする。このような場合、推論部２２６は、閾値より大きい確信度を有する緑内障、加齢黄斑変性症、その他の網膜疾患を候補疾患として取得する。
【0104】
ステップＳ７０５において、出力部２２８は、推論部２２６が取得した候補疾患の情報に基づく推論結果を出力する。
【0105】
なお、仮に、図８の右側に示されるように、推論部２２６が、緑内障、加齢黄斑変性症、糖尿病網膜症についてはそれぞれ、８０％、３０％、２０％と個別に設定した閾値を利用し、その他の網膜疾患については、その他の網膜疾患を含むグループに対して２０％と設定した閾値を利用する場合、ある眼底画像から予測される、緑内障、加齢黄斑変性症、糖尿病網膜症、その他の網膜疾患の確信度が、それぞれ７０％、２５％、１５％、１５％であるとすると、推論部２２６は、閾値より大きい確信度を有する網膜疾患は存在しないので、候補疾患がないという情報を出力部２２８に引き渡す。
【0106】
このように、ある眼底画像から予測される網膜疾患の確信度が同じであっても、閾値の調整を可能とすることで、候補疾患として提示される場合と、候補疾患として提示されない場合とがあり得る。閾値の設定を最適化することで、患者の層や施設の方針に合わせて、より最適化された推論結果を出力することができる。
【0107】
以上、本実施形態によれば、推論装置２０は、同一の閾値を全ての疾患に用いる場合と比較して、疾患毎に閾値を設定することで、比較的発見がしやすい疾患であるか否か、早期発見の重要性が高い疾患であるか等、その疾患の特性に応じて、閾値を細やかに設定することができる。一方で、複数の網膜疾患を含むグループに対する閾値についても網膜疾患毎の個別の閾値と組み合わせて用いることで、候補疾患を精度良く取得することができる。すなわち、罹患数の少ない疾患をグループとしてまとめることで、個別の候補疾患名を提示できない代わりに、精度良く、何らかの疾患が存在し得ることを提示することができる。
【0108】
（閾値の最適化）
これまで述べてきたように、一実施形態では、推論装置２０はＣ個の網膜疾患毎の確信度を所定の閾値で二値化し、所定の閾値より大きい確信度を有する網膜疾患を候補疾患として取得する。図３中に実線で囲んで示されるこの処理について、図９を用いて詳細に説明する。
これまで述べてきたように、一実施形態では、推論装置２０はＣ個の網膜疾患毎の確信度を所定の閾値で二値化し、所定の閾値より大きい確信度を有する網膜疾患を候補疾患として取得する。図３中に実線で囲んで示されるこの処理について、図９を用いて詳細に説明する。
【0109】
図９は、第１実施形態の一例として、全ての疾患に同一の閾値として０．５を用いる例が示されている。この場合、推論装置２０は、閾値よりも大きい確信度を有する疾患Ａ及び疾患Ｂについて候補疾患として予測し、閾値よりも小さい確信度を有する疾患Ｚについては候補疾患としない。上述の第２実施形態では、疾患毎の閾値、あるいは複数の疾患を含むグループに対する閾値を用いることの有用性について述べてきた。
【0110】
得られた確信度を二値化する閾値を最適化するために、ここで、学習時と推論時とで入力されるデータの違いに着目する。例えば、学習時は有病率が高い施設で収集した学習データを用い、推論時は有病率が低い検診を行う施設で推論装置２０を利用する場合、学習時と推論時とで入力されるデータの分布が異なる。また、学習時はわずかな異常でも疾患として判断する施設で収集した学習データを用い、推論時は明らかな異常がある場合に疾患として判断する施設で推論装置２０を利用する場合、同一の確信度であっても候補疾患と判断するか否かが異なる。さらには、学習データの眼底画像と推論対象の眼底画像とでは用いられる撮影装置や撮影環境が異なることから、仮に同一の患者の同時期の眼底画像であっても、撮影装置や撮影環境の影響で異なる眼底画像が得られる。
【0111】
そこで、上述の、学習データを収集した環境と実際に推論を行う環境との差分や学習データ内の不均衡さを最小化するように、閾値を最適化する。
【0112】
推論時のデータを取得できる場合、推論対象の画像を入力して得られた確信度に対して、所定の評価基準を最大化するように疾患毎の閾値を設定してもよい。例えば、正しく二値化されたケースと誤って二値化されたケースとの分離度が最大になる閾値を、最適な閾値として設定してもよい。なお、最適な閾値の設定に用いる評価基準やアルゴリズムは、任意のものを選択することができる。このようにすることで、学習データを収集した環境と実際に推論を行う環境との差分を最小化することができる。
【0113】
推論時のデータを取得できない場合、学習データのｋ分割交差検証により推論装置２０の精度を評価し、予測精度を最大化するように疾患毎の閾値を設定してもよい。なお、学習データの分割には、学習データと分割後の評価データとのデータ分布の偏りが少なくなる手法を用いることが望ましい。このようにすることで、推論時のデータを取得できない場合であっても、予測精度を正確に評価し、予測精度を最大化するような閾値を設定することができる。
【符号の説明】
【0114】
１０…学習装置、１１０…入力部、１２０…制御部、１２１…演算処理部、１２２…メモリ、１２３…学習データ取得部、１２４…学習部、１２５…画像特徴抽出部、１２６…相関特徴抽出部、１２７…モデル出力部、１２８…基底出力部、１３０…記憶部、１３１…学習データ記憶部、１４０…通信部、２０…推論装置、２１０…入力部、２２０…制御部、２２１…演算処理部、２２２…メモリ、２２３…モデル取得部、２２４…基底取得部、２２５…画像取得部、２２６…推論部、２２７…画像特徴抽出部、２２８…出力部、２３０…記憶部、２３１…画像記憶部、２３２…学習済モデル、２３３…分類基底、２４０…通信部、３０…記憶装置、Ｍ１…第１の機械学習モデル、Ｍ２…第２の機械学習モデル、Ｎ…通信ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】