特許7143862診断支援装置、学習装置、診断支援方法、学習方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-20
(45)【発行日】2022-09-29
(54)【発明の名称】診断支援装置、学習装置、診断支援方法、学習方法及びプログラム
(51)【国際特許分類】
A61B 3/14 20060101AFI20220921BHJP
A61B 3/12 20060101ALI20220921BHJP
【ＦＩ】
A61B3/14
A61B3/12 300
【請求項の数】
10
(21)【出願番号】P 2019566525
(86)(22)【出願日】2019-01-18
(86)【国際出願番号】 JP2019001470
(87)【国際公開番号】W WO2019142910
(87)【国際公開日】2019-07-25
【審査請求日】2021-07-09
(31)【優先権主張番号】P 2018007585
(32)【優先日】2018-01-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】栗原 俊英
(72)【発明者】
【氏名】堅田 侑作
(72)【発明者】
【氏名】坪田 一男
(72)【発明者】
【氏名】正好 奏斗
【審査官】増渕 俊仁
(56)【参考文献】
【文献】米国特許出願公開第２０１６／００７１２６６（ＵＳ，Ａ１）
【文献】Varun Gulshan, et al.，Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs，JAMA，2016年11月29日，Vol. 316, No. 22，pp. 2402-2410，https://jamanetwork.com/journals/jama/fullarticle/2588763
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－３／１８
(57)【特許請求の範囲】
【請求項1】
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定する特定部と、患者の眼底画像と、前記学習モデルとを用いて前記特定部が特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する出力部と
を有する診断支援装置。
【請求項2】
前記血液循環異常領域は、前記蛍光眼底造影画像と、前記蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される、請求項１に記載の診断支援装置。【請求項3】
前記特定部は、前記眼底画像における網膜無灌流領域と新生血管に該当する領域とのいずれか一方又は両方を特定する、請求項１又は請求項２に記載の診断支援装置。【請求項4】
前記出力部は、前記眼底画像に前記特定部が特定した血液循環異常領域を重ねた画像を出力する、請求項１から請求項３のいずれか一項に記載の診断支援装置。【請求項5】
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する学習部を有する学習装置。
【請求項6】
前記血液循環異常領域は、前記蛍光眼底造影画像と、前記蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される、請求項５に記載の学習装置。【請求項7】
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定し、患者の眼底画像と、前記学習モデルとを用いて特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する、診断支援装置が実行する診断支援方法。
【請求項8】
眼底の画像である眼底画像を示す情報と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域を示す情報とを取得し、取得した前記眼底画像と、前記眼底の前記蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する、学習装置が実行する学習方法。
【請求項9】
診断支援装置のコンピュータに、眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定させ、
患者の眼底画像と、前記学習モデルとを用いて特定させた患者の前記眼底画像における血液循環異常領域を示す情報を出力させる、プログラム。
【請求項10】
学習装置のコンピュータに、眼底の画像である眼底画像を示す情報と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域を示す情報とを取得させ、
取得させた前記眼底画像と、前記眼底の前記蛍光眼底造影画像に基づいて特定させた血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、診断支援装置、学習装置、診断支援方法、学習方法及びプログラムに関する。
本願は、２０１８年１月１９日に、日本に出願された特願２０１８－７５８５号に基づき優先権を主張し、その内容をここに援用する。
本願は、２０１８年１月１９日に、日本に出願された特願２０１８－７５８５号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【0002】
糖尿病網膜症は本邦の失明原因の第２位を占める重要な疾患であるが、自覚症状が出現するのは、病期がかなり進行してからとなるため、検診などでの早期発見・早期治療が重要である。この課題に対し、糖尿病網膜症の初期変化である毛細血管瘤を強調させる眼底画像解析システム（特許文献１参照）や、眼底画像から糖尿病網膜症のスクリーニングを行う画像解析システム（特許文献２参照）が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１０－１７８８０２号公報
【文献】ＵＳ２０１４／０３１４２８８Ａ１
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１及び特許文献２で提案されている技術は、上記のように、疾患の発見やスクリーニングを目的としたものである。一方で、糖尿病網膜症の疾患スクリーニングから一歩進んで、糖尿病網膜症患者の診療・治療の段階となった場合、糖尿病網膜症は高血糖に伴う血管障害が生じて虚血状態に陥って病期が進んでいくことが明らかになっており、網膜循環動態を把握することが最も肝要である。網膜循環動態を把握するためには、蛍光眼底造影検査と呼ばれる網膜の造影検査が必須となる。しかし、網膜の造影検査は、その危険性、侵襲性、大病院に限られる地理的な制約などから、患者・医療者双方にとって負担の大きい検査であり、視力良好例や身体機能低下患者の撮影、繰り返しの撮影などがためらわれることがある。このため、発症や病勢の把握が遅れて、治療が遅滞する症例が多いという課題がある。同様のことが、糖尿病網膜症を代表とする眼虚血性疾患全般にあてはまる。なお、非侵襲的に網膜循環異常を検出する機器としてＯＣＴアンギオグラフィーがあるが、これは造影検査と違って血流動態までは把握できず、また画角が狭いため、黄斑部疾患など局所的な疾患には有効であるが、網膜の全体像を把握することができない。このため、糖尿病網膜症をはじめとした眼虚血性疾患の網膜循環動態の把握には不向きである。
【0005】
本発明は、このような状況に鑑みてなされたものであり、蛍光眼底造影検査を実施することなく、眼底画像から、循環異常所見を早期かつ容易に特定すること目的とする。
【課題を解決するための手段】
【0006】
（１）本発明の一態様は、
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定する特定部と、
患者の眼底画像と、前記学習モデルとを用いて前記特定部が特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する出力部と
を有する診断支援装置である。
（２）本発明の一態様は、上記（１）に記載の診断支援装置において、
前記血液循環異常領域は、前記蛍光眼底造影画像と、前記蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される診断支援装置である。
（３）本発明の一態様は、上記（１）又は上記（２）に記載の診断支援装置において、
前記特定部は、前記眼底画像における網膜無灌流領域と新生血管に該当する領域とのいずれか一方又は両方を特定する診断支援装置である。
（４）本発明の一態様は、上記（１）から上記（３）のいずれか一項に記載の診断支援装置において、
前記出力部は、前記眼底画像に前記特定部が特定した血液循環異常領域を重ねた画像を出力する、診断支援装置である。
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定する特定部と、
患者の眼底画像と、前記学習モデルとを用いて前記特定部が特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する出力部と
を有する診断支援装置である。
（２）本発明の一態様は、上記（１）に記載の診断支援装置において、
前記血液循環異常領域は、前記蛍光眼底造影画像と、前記蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される診断支援装置である。
（３）本発明の一態様は、上記（１）又は上記（２）に記載の診断支援装置において、
前記特定部は、前記眼底画像における網膜無灌流領域と新生血管に該当する領域とのいずれか一方又は両方を特定する診断支援装置である。
（４）本発明の一態様は、上記（１）から上記（３）のいずれか一項に記載の診断支援装置において、
前記出力部は、前記眼底画像に前記特定部が特定した血液循環異常領域を重ねた画像を出力する、診断支援装置である。
【0007】
（５）本発明の一態様は、
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する学習部
を有する学習装置である。
（６）本発明の一態様は、上記（５）に記載の学習装置において、
前記血液循環異常領域は、前記蛍光眼底造影画像と、前記蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される、学習装置である。
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する学習部
を有する学習装置である。
（６）本発明の一態様は、上記（５）に記載の学習装置において、
前記血液循環異常領域は、前記蛍光眼底造影画像と、前記蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される、学習装置である。
【0008】
（７）本発明の一態様は、
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定し、
患者の眼底画像と、前記学習モデルとを用いて特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する、診断支援装置が実行する診断支援方法である。
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定し、
患者の眼底画像と、前記学習モデルとを用いて特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する、診断支援装置が実行する診断支援方法である。
【0009】
（８）本発明の一態様は、
眼底の画像である眼底画像を示す情報と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域を示す情報とを取得し、
取得した前記眼底画像と、前記眼底の前記蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する、学習装置が実行する学習方法である。
眼底の画像である眼底画像を示す情報と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域を示す情報とを取得し、
取得した前記眼底画像と、前記眼底の前記蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する、学習装置が実行する学習方法である。
【0010】
（９）本発明の一態様は、
診断支援装置のコンピュータに、
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定させ、
患者の眼底画像と、前記学習モデルとを用いて特定させた患者の前記眼底画像における血液循環異常領域を示す情報を出力させる、プログラムである。
診断支援装置のコンピュータに、
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定させ、
患者の眼底画像と、前記学習モデルとを用いて特定させた患者の前記眼底画像における血液循環異常領域を示す情報を出力させる、プログラムである。
【0011】
（１０）本発明の一態様は、
学習装置のコンピュータに、
眼底の画像である眼底画像を示す情報と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域を示す情報とを取得させ、
取得させた前記眼底画像と、前記眼底の前記蛍光眼底造影画像に基づいて特定させた血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成させる、プログラムである。
学習装置のコンピュータに、
眼底の画像である眼底画像を示す情報と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域を示す情報とを取得させ、
取得させた前記眼底画像と、前記眼底の前記蛍光眼底造影画像に基づいて特定させた血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成させる、プログラムである。
【0012】
なお、本発明において、「眼底画像」とは、眼科系の疾患に関する診断を行うために、眼底カメラによって患者の眼底を撮像した画像をいい、「蛍光眼底造影画像」とは、患者の腕の静脈から蛍光色素を注射しながら、蛍光色素に対応した励起光とフィルターを用いて、眼底写真を連続撮影し、眼底の循環状態の造影像を撮影した画像をいう。
【発明の効果】
【0013】
本発明によれば、蛍光眼底造影検査を実施することなく、眼底画像から、循環異常所見を簡便に予測することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の情報処理装置の一実施形態であるサーバを含む、情報処理システムの構成図である。
【図3】図２のサーバの機能的構成のうち、ＮＰＡ・ＮＶ存在確率マップ生成処理、付随所見存在確率マップ生成処理、推定ＮＰＡ・ＮＶ特定処理、及び推定ＮＰＡ・ＮＶ表示処理の各種処理を実現するための機能的構成の一例を示す機能ブロック図である。
【図4】図３のサーバが実行するＮＰＡ・ＮＶ存在確率マップ生成処理、付随所見存在確率マップ生成処理、推定ＮＰＡ・ＮＶ特定処理、及び推定ＮＰＡ・ＮＶ表示処理等の各種処理の流れを説明するフローチャートである。
【図10】本発明の一実施形態の変形例の情報処理システムの構成図である。
【図11】本発明の一実施形態の変形例の学習装置の一例を示すブロック図である。
【図12】眼底画像の一例を示す図である。
【図13】蛍光眼底造影画像の一例を示す図である。
【図14】血液循環異常領域の一例を示す図である。
【図15】ニューラルネットワークの構造の一例を示す図である。
【図16】本発明の一実施形態の変形例の診断支援装置の一例を示すブロック図である。
【図17】本発明の一実施形態の変形例の学習装置の動作の一例を示すフローチャートである。
【図18】本発明の一実施形態の変形例の診断支援装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を用いて説明する。
図１は、本発明の情報処理装置の一実施形態であるサーバ１を含む、情報処理システムの構成図である。
図１は、本発明の情報処理装置の一実施形態であるサーバ１を含む、情報処理システムの構成図である。
【0016】
図１に示す情報処理システムは、サーバ１と、眼科医端末２と、検査機器３とを含むように構成されている。
サーバ１と、眼科医端末２と、検査機器３とは、インターネット（Ｉｎｔｅｒｎｅｔ）等のネットワークＮを介して相互に接続されている。
サーバ１と、眼科医端末２と、検査機器３とは、インターネット（Ｉｎｔｅｒｎｅｔ）等のネットワークＮを介して相互に接続されている。
【0017】
サーバ１は、図１に示す情報処理システムを管理するサーバであり、例えば、ＮＰＡ・ＮＶ存在確率マップ生成処理、付随所見存在確率マップ生成処理、推定ＮＰＡ・ＮＶ特定処理等の各種処理を実行する。なお、サーバ１が実行する具体的な処理の内容については、図３を参照して後述する。
「ＮＰＡ・ＮＶ存在確率マップ生成処理」とは、サーバ１が実行する処理のうち、ＮＰＡ・ＮＶ教師情報を生成してからＮＰＡ・ＮＶ存在確率マップを生成するまでの一連の処理をいう。
「ＮＰＡ・ＮＶ教師情報」とは、患者の眼底画像情報における網膜無灌流領域（ＮＰＡ／ｎｏｎ－ｐｅｒｆｕｓｉｏｎ ａｒｅａ）（以下「網膜無灌流領域」または「ＮＰＡ」と呼ぶ）の存在確率（以下「ＮＰＡ存在確率」と呼ぶ）と、新生血管（ＮＶ／ｎｅｏｖａｓｃｕｌａｒｉｚａｔｉｏｎ）の存在確率（以下「ＮＶ存在確率」と呼ぶ）とを演算する際の教師情報をいう。具体的には、「ＮＰＡ・ＮＶ教師情報」は、蛍光眼底造影画像情報と、この情報に付されたＮＰＡ・ＮＶアノテーション情報とに基づいて生成される。
「網膜無灌流領域」とは、眼虚血性疾患において網膜血管閉塞の結果生じる網膜の循環不良領域をいう。
「ＮＰＡ・ＮＶ存在確率マップ生成処理」とは、サーバ１が実行する処理のうち、ＮＰＡ・ＮＶ教師情報を生成してからＮＰＡ・ＮＶ存在確率マップを生成するまでの一連の処理をいう。
「ＮＰＡ・ＮＶ教師情報」とは、患者の眼底画像情報における網膜無灌流領域（ＮＰＡ／ｎｏｎ－ｐｅｒｆｕｓｉｏｎ ａｒｅａ）（以下「網膜無灌流領域」または「ＮＰＡ」と呼ぶ）の存在確率（以下「ＮＰＡ存在確率」と呼ぶ）と、新生血管（ＮＶ／ｎｅｏｖａｓｃｕｌａｒｉｚａｔｉｏｎ）の存在確率（以下「ＮＶ存在確率」と呼ぶ）とを演算する際の教師情報をいう。具体的には、「ＮＰＡ・ＮＶ教師情報」は、蛍光眼底造影画像情報と、この情報に付されたＮＰＡ・ＮＶアノテーション情報とに基づいて生成される。
「網膜無灌流領域」とは、眼虚血性疾患において網膜血管閉塞の結果生じる網膜の循環不良領域をいう。
【0018】
「ＮＰＡ・ＮＶ存在確率マップ」とは、眼底画像情報にＮＰＡ存在確率と、ＮＶ存在確率とを識別表示させた画像情報である。
「眼底画像情報」とは、眼底画像に基づく画像情報をいう。
「蛍光眼底造影画像情報」とは、蛍光眼底造影画像に基づく情報をいう。
「ＮＰＡ・ＮＶアノテーション情報」とは、蛍光眼底造影画像情報に付された、網膜無灌流領域（ＮＰＡ）と新生血管（ＮＶ）とのうち少なくとも一方に関する眼科医Ｄの診断注記をいう。
「新生血管」とは、網膜無灌流領域における網膜の循環不良や虚血がさらに進行したものである。新生血管から、出血や、増殖膜形成を介した網膜剥離が生じると、最終的には失明に至るため、網膜無灌流領域や新生血管などの網膜の循環不良領域を特定することは、診療上非常に重要である。
なお、ＮＰＡ・ＮＶ存在確率マップ生成処理の具体的な処理の流れについては、図４のフローチャートを参照して後述する。
「眼底画像情報」とは、眼底画像に基づく画像情報をいう。
「蛍光眼底造影画像情報」とは、蛍光眼底造影画像に基づく情報をいう。
「ＮＰＡ・ＮＶアノテーション情報」とは、蛍光眼底造影画像情報に付された、網膜無灌流領域（ＮＰＡ）と新生血管（ＮＶ）とのうち少なくとも一方に関する眼科医Ｄの診断注記をいう。
「新生血管」とは、網膜無灌流領域における網膜の循環不良や虚血がさらに進行したものである。新生血管から、出血や、増殖膜形成を介した網膜剥離が生じると、最終的には失明に至るため、網膜無灌流領域や新生血管などの網膜の循環不良領域を特定することは、診療上非常に重要である。
なお、ＮＰＡ・ＮＶ存在確率マップ生成処理の具体的な処理の流れについては、図４のフローチャートを参照して後述する。
【0019】
「付随所見存在確率マップ生成処理」とは、サーバ１が実行する処理のうち、付随所見教師情報を生成してから付随所見存在確率マップを生成するまでの一連の処理をいう。
「付随所見教師情報」とは、患者の眼底画像情報における付随所見の存在確率を演算する際の教師情報をいう。具体的には、「付随所見教師情報」は、蛍光眼底造影画像情報及び眼底画像情報と、これらの画像情報に付された付随所見アノテーション情報とに基づいて生成された教師情報をいう。
「付随所見アノテーション情報」とは、蛍光眼底造影画像情報及び眼底画像情報に対して眼科医Ｄが「正常ではない」という判断を付随的に行った診断注記のうち、網膜無灌流領域（ＮＰＡ）または新生血管（ＮＶ）に関する診断注記以外のものをいう。例えば、毛細血管瘤、眼底出血、硬性白斑、軟性白斑、静脈異常、網膜内細小血管異常、硝子体出血、増殖膜、網膜剥離といった情報は、いずれも「付随所見アノテーション情報」の一例である。
「付随所見存在確率マップ」とは、眼底画像情報に付随所見の存在確率を識別表示させた画像情報（図示せず）である。
なお、付随所見存在確率マップ生成処理の具体的な処理の流れについては、図４のフローチャートを参照して後述する。
「付随所見教師情報」とは、患者の眼底画像情報における付随所見の存在確率を演算する際の教師情報をいう。具体的には、「付随所見教師情報」は、蛍光眼底造影画像情報及び眼底画像情報と、これらの画像情報に付された付随所見アノテーション情報とに基づいて生成された教師情報をいう。
「付随所見アノテーション情報」とは、蛍光眼底造影画像情報及び眼底画像情報に対して眼科医Ｄが「正常ではない」という判断を付随的に行った診断注記のうち、網膜無灌流領域（ＮＰＡ）または新生血管（ＮＶ）に関する診断注記以外のものをいう。例えば、毛細血管瘤、眼底出血、硬性白斑、軟性白斑、静脈異常、網膜内細小血管異常、硝子体出血、増殖膜、網膜剥離といった情報は、いずれも「付随所見アノテーション情報」の一例である。
「付随所見存在確率マップ」とは、眼底画像情報に付随所見の存在確率を識別表示させた画像情報（図示せず）である。
なお、付随所見存在確率マップ生成処理の具体的な処理の流れについては、図４のフローチャートを参照して後述する。
【0020】
「推定ＮＰＡ・ＮＶ特定処理」とは、サーバ１が実行する処理のうち、ＮＰＡ存在確率に基づいて、眼底画像情報のうち網膜無灌流領域（ＮＰＡ）に該当することが推定される領域を推定ＮＰＡとして特定し、ＮＶ存在確率に基づいて、眼底画像情報のうち新生血管（ＮＶ）に該当することが推定される領域を推定ＮＶとして特定するまでの一連の処理をいう。
なお、推定ＮＰＡ・ＮＶ特定処理の具体的な処理の流れについては、図４のフローチャートを参照して後述する。
なお、推定ＮＰＡ・ＮＶ特定処理の具体的な処理の流れについては、図４のフローチャートを参照して後述する。
【0021】
眼科医端末２は、眼科医Ｄが操作する情報処理装置であって、例えばパーソナルコンピュータ等で構成される。眼科医端末２では、サーバ１に対するＮＰＡ・ＮＶアノテーション情報及び付随所見アノテーション情報の送信、サーバ１により特定された推定ＮＰＡ・ＮＶに関する情報の取得等が行われる。眼科医端末２が取得した各種情報は、眼科医端末２から出力されて、眼科医Ｄによる診察に用いられる。
【0022】
検査機器３は、患者の眼検査において用いられる各種機器で構成される。検査機器３は、眼底検査における撮像により得られた眼底画像情報と、蛍光眼底造影検査における撮像により得られた蛍光眼底造影画像情報との夫々をサーバ１に送信する。
【0023】
【0024】
サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。
【0025】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0026】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。
【0027】
出力部１６は各種液晶ディスプレイ等で構成され、各種情報を出力する。
入力部１７は、各種ハードウェア鉛等で構成され、各種情報を入力する。
記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１９は、インターネットを含むネットワークＮを介して他の装置との間で行う通信を制御する。
入力部１７は、各種ハードウェア鉛等で構成され、各種情報を入力する。
記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１９は、インターネットを含むネットワークＮを介して他の装置との間で行う通信を制御する。
【0028】
ドライブ２０は、必要に応じて設けられる。ドライブ２０には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３０が適宜装着される。ドライブ２０によってリムーバブルメディア３０から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。またリムーバブルメディア３０は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
【0029】
次に、このようなハードウェア構成を持つサーバ１の機能的構成について、図３を参照して説明する。
図３は、図１の情報処理システムにおける図２のサーバ１の機能的構成のうち、ＮＰＡ・ＮＶ存在確率マップ生成処理、付随所見存在確率マップ生成処理、推定ＮＰＡ・ＮＶ特定処理、及び推定ＮＰＡ・ＮＶ表示処理を実現するための機能的構成の一例を示す機能ブロック図である。
図３は、図１の情報処理システムにおける図２のサーバ１の機能的構成のうち、ＮＰＡ・ＮＶ存在確率マップ生成処理、付随所見存在確率マップ生成処理、推定ＮＰＡ・ＮＶ特定処理、及び推定ＮＰＡ・ＮＶ表示処理を実現するための機能的構成の一例を示す機能ブロック図である。
【0030】
図３に示すように、サーバ１のＣＰＵ１１（図２）においては、ＮＰＡ・ＮＶ存在確率マップ生成処理が実行される場合には、画像取得部１０１と、アノテーション取得部１０２と、教師情報生成部１０３と、演算部１０４とが機能する。
付随所見存在確率マップ生成処理が実行される場合には、画像取得部１０１と、アノテーション取得部１０２と、教師情報生成部１０３と、演算部１０４とが機能する。
推定ＮＰＡ・ＮＶ特定処理が実行される場合には、推定ＮＰＡ・ＮＶ特定部１０６が機能する。
推定ＮＰＡ・ＮＶ表示処理が実行される場合には、推定ＮＰＡ・ＮＶ表示制御部１０７が機能する。
記憶部１８（図２）の一領域には、画像ＤＢ４０１と、アノテーションＤＢ４０２と、教師ＤＢ４０３とが設けられている。なお、記憶部１８は、サーバ１ではなく、眼科医端末２に配置されてもよい。
付随所見存在確率マップ生成処理が実行される場合には、画像取得部１０１と、アノテーション取得部１０２と、教師情報生成部１０３と、演算部１０４とが機能する。
推定ＮＰＡ・ＮＶ特定処理が実行される場合には、推定ＮＰＡ・ＮＶ特定部１０６が機能する。
推定ＮＰＡ・ＮＶ表示処理が実行される場合には、推定ＮＰＡ・ＮＶ表示制御部１０７が機能する。
記憶部１８（図２）の一領域には、画像ＤＢ４０１と、アノテーションＤＢ４０２と、教師ＤＢ４０３とが設けられている。なお、記憶部１８は、サーバ１ではなく、眼科医端末２に配置されてもよい。
【0031】
画像取得部１０１は、患者の蛍光眼底造影画像情報と、患者の眼底画像情報とを取得する。画像取得部１０１により取得された蛍光眼底造影画像情報及び眼底画像情報は、画像ＤＢ４０１に夫々記憶されて管理される。具体的には、患者の蛍光眼底造影検査において、検査機器３により患者の蛍光眼底造影画像が撮像されると、蛍光眼底造影画像に基づく蛍光眼底造影画像情報がサーバ１に送信される。また、患者の眼底検査において、検査機器３により患者の眼底画像が撮像されると、眼底画像に基づく眼底画像情報がサーバ１に送信される。サーバ１の画像取得部１０１は、検査機器３からサーバ１に送信されて来た蛍光眼底造影画像情報及び眼底画像情報を取得し、これらの画像情報を画像ＤＢ４０１に記憶させる。
これにより、サーバ１は、患者の蛍光眼底造影画像情報及び眼底画像情報を漏れなく的確に管理することができる。
これにより、サーバ１は、患者の蛍光眼底造影画像情報及び眼底画像情報を漏れなく的確に管理することができる。
【0032】
アノテーション取得部１０２は、患者の蛍光眼底造影画像情報に付された、網膜無灌流領域（ＮＰＡ）と、新生血管（ＮＶ）とのうち少なくとも一方に関する眼科医Ｄの診断注記を、ＮＰＡ・ＮＶアノテーション情報として取得する。具体的には、蛍光眼底造影検査において、蛍光眼底造影画像情報に、網膜無灌流領域（ＮＰＡ）、新生血管（ＮＶ）に関する眼科医Ｄの診断注記が付されると、眼科医端末２は、眼科医Ｄの操作に基づいて、当該診断注記をＮＰＡ・ＮＶアノテーション情報としてサーバ１に送信する。サーバ１のアノテーション取得部１０２は、眼科医端末２から送信されて来たＮＰＡ・ＮＶアノテーション情報を取得し、この情報をアノテーションＤＢ４０２に記憶させる。なお、蛍光眼底造影画像情報と、この画像情報に付されたＮＰＡ・ＮＶアノテーション情報とは、互いに紐付けられて管理される。
これにより、サーバ１は、蛍光眼底造影画像情報に付された網膜無灌流領域（ＮＰＡ）と、新生血管（ＮＶ）とのうち少なくとも一方に関する眼科医Ｄの診断注記を、ＮＰＡ・ＮＶアノテーション情報として漏れなく管理することができる。
これにより、サーバ１は、蛍光眼底造影画像情報に付された網膜無灌流領域（ＮＰＡ）と、新生血管（ＮＶ）とのうち少なくとも一方に関する眼科医Ｄの診断注記を、ＮＰＡ・ＮＶアノテーション情報として漏れなく管理することができる。
【0033】
また、アノテーション取得部１０２は、蛍光眼底造影画像及び眼底画像に付された、付随所見に関する眼科医Ｄの診断注記を、付随所見アノテーション情報として取得する。具体的には、蛍光眼底造影画像情報と、眼底画像情報とについて、付随所見に関する眼科医Ｄの診断注記が付される場合、眼科医端末２は、眼科医Ｄの操作に基づいて、当該診断注記を付随所見アノテーション情報としてサーバ１に送信する。サーバ１のアノテーション取得部１０２は、眼科医端末２から送信されて来た付随所見アノテーション情報を取得し、この情報をアノテーションＤＢ４０２に記憶させる。なお、蛍光眼底造影画像情報及び眼底画像情報と、これらの画像情報に付された付随所見アノテーション情報とは、互いに紐付けられて管理される。
これにより、サーバ１は、蛍光眼底造影画像情報及び眼底画像情報に付された付随所見に関する眼科医Ｄの診断注記を、付随所見アノテーション情報として漏れなく管理することができる。
これにより、サーバ１は、蛍光眼底造影画像情報及び眼底画像情報に付された付随所見に関する眼科医Ｄの診断注記を、付随所見アノテーション情報として漏れなく管理することができる。
【0034】
教師情報生成部１０３は、蛍光眼底造影画像情報と、この情報に対応するＮＰＡ・ＮＶアノテーション情報とに基づいて、ＮＰＡ存在確率とＮＶ存在確率とを演算するための教師情報となるＮＰＡ・ＮＶ教師情報を生成する。
即ち、画像ＤＢ４０１には、複数の患者から得られた蛍光眼底造影画像情報が蓄積されており、アノテーションＤＢ４０２には、ＮＰＡ・ＮＶアノテーション情報が蓄積されている。教師情報生成部１０３は、これらデータベースに蓄積された情報に基づいて、眼底画像情報におけるＮＰＡ・ＮＶの存在確率を演算する際の教師情報となるＮＰＡ・ＮＶ教師情報を生成する。
これにより、サーバ１は、患者の眼底画像情報におけるＮＰＡ存在確率とＮＶ存在確率とを演算するための教師情報を生成して蓄積することができる。
また、教師情報生成部１０３は、蛍光眼底造影画像情報及び眼底画像情報と、これら画像情報に対応する付随所見アノテーション情報とに基づいて、付随所見教師情報を生成する。
即ち、画像ＤＢ４０１には、複数の患者から得られた眼底画像情報と蛍光眼底造影画像情報とが蓄積されており、アノテーションＤＢ４０２には、付随所見アノテーション情報が蓄積されている。教師情報生成部１０３は、これらデータベースに蓄積された情報に基づいて、眼底画像情報における付随所見の存在確率を演算する際の教師情報となる付随所見教師情報を生成する。
これにより、サーバ１は、患者の眼底画像情報における付随所見の存在確率を演算するための教師情報を蓄積することができる。
即ち、画像ＤＢ４０１には、複数の患者から得られた蛍光眼底造影画像情報が蓄積されており、アノテーションＤＢ４０２には、ＮＰＡ・ＮＶアノテーション情報が蓄積されている。教師情報生成部１０３は、これらデータベースに蓄積された情報に基づいて、眼底画像情報におけるＮＰＡ・ＮＶの存在確率を演算する際の教師情報となるＮＰＡ・ＮＶ教師情報を生成する。
これにより、サーバ１は、患者の眼底画像情報におけるＮＰＡ存在確率とＮＶ存在確率とを演算するための教師情報を生成して蓄積することができる。
また、教師情報生成部１０３は、蛍光眼底造影画像情報及び眼底画像情報と、これら画像情報に対応する付随所見アノテーション情報とに基づいて、付随所見教師情報を生成する。
即ち、画像ＤＢ４０１には、複数の患者から得られた眼底画像情報と蛍光眼底造影画像情報とが蓄積されており、アノテーションＤＢ４０２には、付随所見アノテーション情報が蓄積されている。教師情報生成部１０３は、これらデータベースに蓄積された情報に基づいて、眼底画像情報における付随所見の存在確率を演算する際の教師情報となる付随所見教師情報を生成する。
これにより、サーバ１は、患者の眼底画像情報における付随所見の存在確率を演算するための教師情報を蓄積することができる。
【0035】
演算部１０４は、少なくともＮＰＡ・ＮＶ教師情報に基づいて、ＮＰＡ存在確率とＮＶ存在確率とを演算する。また、演算部１０４は、後述する付随所見存在確率マップが生成されている場合には、付随所見存在確率マップと、ＮＰＡ・ＮＶ教師情報とに基づいて、ＮＰＡ存在確率とＮＶ存在確率とを演算する。なお、ＮＰＡ存在確率とＮＶ存在確率とを演算する具体的な手法は特に限定されない。例えば、ＮＰＡ・ＮＶ教師情報から、ＮＰＡ・ＮＶを有する眼底画像に共通する特徴を抽出し、患者の眼底画像情報が、当該特徴を有するのかどうかについて、当該特徴との合致度合を正規化させることでＮＰＡ存在確率とＮＶ存在確率とを演算してもよい。ディープラーニング（深層学習）の技術を用いてＮＰＡ存在確率とＮＶ存在確率とを演算してもよい。
これにより、眼底画像情報のうち網膜無灌流領域（ＮＰＡ）に該当することが推定される領域と、新生血管（ＮＶ）に該当することが推定される領域とを特定するための基準を設定することが可能となる。
これにより、眼底画像情報のうち網膜無灌流領域（ＮＰＡ）に該当することが推定される領域と、新生血管（ＮＶ）に該当することが推定される領域とを特定するための基準を設定することが可能となる。
【0036】
また、演算部１０４は、付随所見教師情報に基づいて、眼底画像情報における付随所見の存在確率を演算する。付随所見の存在確率を演算する具体的な手法は特に限定されない。例えば、付随所見教師情報から、付随所見を有する眼底画像に共通する特徴を抽出し、患者の眼底画像情報が、この特徴を有するのかどうかについて、特徴に対する合致度合を正規化させることによって付随所見の存在確率を演算してもよい。ディープラーニング（深層学習）の技術を用いて付随所見の存在確率を演算してもよい。
これにより、眼底画像情報のうち網膜無灌流領域（ＮＰＡ）該当することが推定される領域と、新生血管（ＮＶ）に該当することが推定される領域とを特定するための基準を設定することが可能となる。
これにより、眼底画像情報のうち網膜無灌流領域（ＮＰＡ）該当することが推定される領域と、新生血管（ＮＶ）に該当することが推定される領域とを特定するための基準を設定することが可能となる。
【0037】
マップ生成部１０５は、眼底画像情報にＮＰＡ存在確率とＮＶ存在確率とを識別表示させた画像情報としてのＮＰＡ・ＮＶ存在確率マップを生成する。具体的には、図８に例示するＮＰＡ・ＮＶ存在確率マップＥのような画像情報を生成する。
これにより、眼底画像情報における網膜無灌流領域（ＮＰＡ）、及び新生血管（ＮＶ）の存在を推定するための根拠となる情報を生成することができる。
なお、眼底画像情報にＮＰＡ存在確率とＮＶ存在確率とを識別表示させる手法は特に限定されない。例えば、色の違いによってＮＰＡ存在確率とＮＶ存在確率とを識別表示してもよいし、色の濃淡によってＮＰＡ存在確率とＮＶ存在確率とを識別表示してもよい。
また、マップ生成部１０５は、眼底画像情報に付随所見存在確率を識別表示させた画像情報としての付随所見存在確率マップ（図示せず）を生成する。
これにより、眼底画像情報における網膜無灌流領域（ＮＰＡ）、及び新生血管（ＮＶ）の存在を推定するための根拠となる情報を生成することができる。
なお、眼底画像情報に付随所見存在確率を識別表示させる手法は特に限定されない。例えば、色の違いによって付随所見存在確率を識別表示させてもよいし、色の濃淡によって付随所見存在確率を識別表示してもよい。
これにより、眼底画像情報における網膜無灌流領域（ＮＰＡ）、及び新生血管（ＮＶ）の存在を推定するための根拠となる情報を生成することができる。
なお、眼底画像情報にＮＰＡ存在確率とＮＶ存在確率とを識別表示させる手法は特に限定されない。例えば、色の違いによってＮＰＡ存在確率とＮＶ存在確率とを識別表示してもよいし、色の濃淡によってＮＰＡ存在確率とＮＶ存在確率とを識別表示してもよい。
また、マップ生成部１０５は、眼底画像情報に付随所見存在確率を識別表示させた画像情報としての付随所見存在確率マップ（図示せず）を生成する。
これにより、眼底画像情報における網膜無灌流領域（ＮＰＡ）、及び新生血管（ＮＶ）の存在を推定するための根拠となる情報を生成することができる。
なお、眼底画像情報に付随所見存在確率を識別表示させる手法は特に限定されない。例えば、色の違いによって付随所見存在確率を識別表示させてもよいし、色の濃淡によって付随所見存在確率を識別表示してもよい。
【0038】
推定ＮＰＡ・ＮＶ特定部１０６は、ＮＰＡ存在確率とＮＶ存在確率とに基づいて、眼底画像情報のうち網膜無灌流領域（ＮＰＡ）に該当することが推定される領域を推定ＮＰＡとして特定し、新生血管（ＮＶ）に該当すると推定される領域を推定ＮＶとして特定する。具体的には、患者の眼底画像情報のうち、ＮＰＡ存在確率とＮＶ存在確率とが所定の閾値を超えている領域を、網膜無灌流領域（ＮＰＡ）に該当すると推定される領域（推定ＮＰＡ）、または新生血管（ＮＶ）に該当すると推定される領域（推定ＮＶ）としてそれぞれ特定する。なお、閾値は、眼科医Ｄの判断で任意に変更することができる。
これにより、眼底画像に基づく画像情報のうち、網膜無灌流領域（ＮＰＡ）の存在が推定される領域（推定ＮＰＡ）と、新生血管（ＮＶ）の存在が推定される領域（推定ＮＶ）を早期かつ容易に特定することができる。
これにより、眼底画像に基づく画像情報のうち、網膜無灌流領域（ＮＰＡ）の存在が推定される領域（推定ＮＰＡ）と、新生血管（ＮＶ）の存在が推定される領域（推定ＮＶ）を早期かつ容易に特定することができる。
【0039】
推定ＮＰＡ・ＮＶ表示制御部１０７は、眼底画像情報に、推定ＮＰＡ領域と、推定ＮＶ領域とを表示させる制御を実行する。
これにより、眼底画像に基づく画像情報に、網膜無灌流の存在が推定される領域（推定ＮＰＡ）と、新生血管（ＮＶ）の存在が推定される領域（推定ＮＶ）を重畳して表示させることができる。
これにより、眼底画像に基づく画像情報に、網膜無灌流の存在が推定される領域（推定ＮＰＡ）と、新生血管（ＮＶ）の存在が推定される領域（推定ＮＶ）を重畳して表示させることができる。
【0040】
【0041】
図４に示すように、サーバ１では、次のような一連の処理が実行される。
ステップＳ１において、画像取得部１０１は、検査機器３から蛍光眼底造影画像情報が送信されて来たか否かを判定する。
蛍光眼底造影画像情報が送信されて来た場合には、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。一方、蛍光眼底造影画像情報が送信されて来ていない場合には、ステップＳ１においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、蛍光眼底造影画像情報が送信されて来るまでの間、ステップＳ１の判定処理が繰り返される。その後、蛍光眼底造影画像情報が送信されて来ると、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。
ステップＳ２において、画像取得部１０１は、送信されて来た蛍光眼底造影画像情報を取得する。
ステップＳ１において、画像取得部１０１は、検査機器３から蛍光眼底造影画像情報が送信されて来たか否かを判定する。
蛍光眼底造影画像情報が送信されて来た場合には、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。一方、蛍光眼底造影画像情報が送信されて来ていない場合には、ステップＳ１においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、蛍光眼底造影画像情報が送信されて来るまでの間、ステップＳ１の判定処理が繰り返される。その後、蛍光眼底造影画像情報が送信されて来ると、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。
ステップＳ２において、画像取得部１０１は、送信されて来た蛍光眼底造影画像情報を取得する。
【0042】
ステップＳ３において、アノテーション取得部１０２は、眼科医端末２からＮＰＡ・ＮＶアノテーション情報が送信されて来たか否かを判定する。
ＮＰＡ・ＮＶアノテーション情報が送信されて来た場合には、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。一方、ＮＰＡ・ＮＶアノテーション情報が送信されて来ていない場合には、ステップＳ３においてＮＯであると判定されて、処理はステップＳ３に戻される。即ち、ＮＰＡ・ＮＶアノテーション情報が送信されて来るまでの間、ステップＳ３の判定処理が繰り返される。その後、ＮＰＡ・ＮＶアノテーション情報が送信されて来ると、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。
ステップＳ４において、アノテーション取得部１０２は、送信されて来たＮＰＡ・ＮＶアノテーション情報を取得する。
ＮＰＡ・ＮＶアノテーション情報が送信されて来た場合には、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。一方、ＮＰＡ・ＮＶアノテーション情報が送信されて来ていない場合には、ステップＳ３においてＮＯであると判定されて、処理はステップＳ３に戻される。即ち、ＮＰＡ・ＮＶアノテーション情報が送信されて来るまでの間、ステップＳ３の判定処理が繰り返される。その後、ＮＰＡ・ＮＶアノテーション情報が送信されて来ると、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。
ステップＳ４において、アノテーション取得部１０２は、送信されて来たＮＰＡ・ＮＶアノテーション情報を取得する。
【0043】
ステップＳ５において、教師情報生成部１０３は、蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応するＮＰＡ・ＮＶアノテーション情報とに基づいて、ＮＰＡ・ＮＶ教師情報を生成する。
ステップＳ６において、画像取得部１０１は、検査機器３から眼底画像情報が送信されて来たか否かを判定する。
眼底画像情報が送信されて来た場合には、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ７に進む。一方、眼底画像情報が送信されて来ていない場合には、ステップＳ６においてＮＯであると判定されて、処理はステップＳ６に戻される。即ち、眼底画像情報が送信されて来るまでの間、ステップＳ６の判定処理が繰り返される。その後、眼底画像情報が送信されて来ると、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ７に進む。
ステップＳ７において、画像取得部１０１は、送信されて来た眼底画像情報を取得する。
ステップＳ６において、画像取得部１０１は、検査機器３から眼底画像情報が送信されて来たか否かを判定する。
眼底画像情報が送信されて来た場合には、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ７に進む。一方、眼底画像情報が送信されて来ていない場合には、ステップＳ６においてＮＯであると判定されて、処理はステップＳ６に戻される。即ち、眼底画像情報が送信されて来るまでの間、ステップＳ６の判定処理が繰り返される。その後、眼底画像情報が送信されて来ると、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ７に進む。
ステップＳ７において、画像取得部１０１は、送信されて来た眼底画像情報を取得する。
【0044】
ステップＳ８において、アノテーション取得部１０２は、眼科医端末２から付随所見アノテーション情報が送信されて来たか否かを判定する。
付随所見アノテーション情報が送信されて来た場合には、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。一方、付随所見アノテーション情報が送信されて来ていない場合には、ステップＳ８においてＮＯであると判定されて、処理はステップＳ９乃至Ｓ１１をスキップしてステップＳ１２に進む。
ステップＳ９において、アノテーション取得部１０２は、付随所見アノテーション情報を取得する。
ステップＳ１０において、教師情報生成部１０３は、蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応するＮＰＡ・ＮＶアノテーション情報とに基づいて、付随所見教師情報を生成する。
ステップＳ１１において、演算部１０４は、付随所見教師情報に基づいて、眼底画像情報における付随所見の存在確率を演算する。
ステップＳ１２において、マップ生成部１０５は、眼底画像情報に付随所見存在確率を識別表示させた画像情報としての付随所見存在確率マップを生成する。
付随所見アノテーション情報が送信されて来た場合には、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。一方、付随所見アノテーション情報が送信されて来ていない場合には、ステップＳ８においてＮＯであると判定されて、処理はステップＳ９乃至Ｓ１１をスキップしてステップＳ１２に進む。
ステップＳ９において、アノテーション取得部１０２は、付随所見アノテーション情報を取得する。
ステップＳ１０において、教師情報生成部１０３は、蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応するＮＰＡ・ＮＶアノテーション情報とに基づいて、付随所見教師情報を生成する。
ステップＳ１１において、演算部１０４は、付随所見教師情報に基づいて、眼底画像情報における付随所見の存在確率を演算する。
ステップＳ１２において、マップ生成部１０５は、眼底画像情報に付随所見存在確率を識別表示させた画像情報としての付随所見存在確率マップを生成する。
【0045】
ステップＳ１３において、演算部１０４は、少なくともＮＰＡ・ＮＶ教師情報に基づいて、ＮＰＡ存在確率と、ＮＶ存在確率とを演算する。また、付随所見存在確率マップが生成されている場合には、演算部１０４は、ＮＰＡ・ＮＶ教師情報と、付随所見存在確率マップとに基づいて、ＮＰＡ存在確率と、ＮＶ存在確率とを演算する。
ステップＳ１４において、マップ生成部１０５は、眼底画像情報にＮＰＡ存在確率と、ＮＶ存在確率とを識別表示させた画像情報としてのＮＰＡ・ＮＶ存在確率マップを生成する。
ステップＳ１５において、推定ＮＰＡ・ＮＶ特定部１０６は、ＮＰＡ存在確率と、ＮＶ存在確率とに基づいて、眼底画像情報のうち網膜無灌流領域（ＮＰＡ）に該当することが推定される領域を推定ＮＰＡとして特定し、新生血管（ＮＶ）に該当することが推定される領域を推定ＮＶとして特定する。
ステップＳ１６において、推定ＮＰＡ・ＮＶ表示制御部１０７は、眼底画像情報に、推定ＮＰＡと、ＮＶ領域とを表示させる制御を実行する。
ステップＳ１４において、マップ生成部１０５は、眼底画像情報にＮＰＡ存在確率と、ＮＶ存在確率とを識別表示させた画像情報としてのＮＰＡ・ＮＶ存在確率マップを生成する。
ステップＳ１５において、推定ＮＰＡ・ＮＶ特定部１０６は、ＮＰＡ存在確率と、ＮＶ存在確率とに基づいて、眼底画像情報のうち網膜無灌流領域（ＮＰＡ）に該当することが推定される領域を推定ＮＰＡとして特定し、新生血管（ＮＶ）に該当することが推定される領域を推定ＮＶとして特定する。
ステップＳ１６において、推定ＮＰＡ・ＮＶ表示制御部１０７は、眼底画像情報に、推定ＮＰＡと、ＮＶ領域とを表示させる制御を実行する。
【0046】
ステップＳ１７において、サーバ１は、処理の終了指示があったか否かを判定する。
処理の終了指示がない場合には、ステップＳ１７においてＮＯであると判定されて、処理はステップＳ１に戻される。一方、処理の終了指示があった場合には、ステップＳ１７においてＹＥＳであると判定されて、処理は終了する。
以上のような一連の処理をサーバ１が実行することにより、推定ＮＰＡ領域と、推定ＮＶ領域とが眼底画像情報に表示される。
処理の終了指示がない場合には、ステップＳ１７においてＮＯであると判定されて、処理はステップＳ１に戻される。一方、処理の終了指示があった場合には、ステップＳ１７においてＹＥＳであると判定されて、処理は終了する。
以上のような一連の処理をサーバ１が実行することにより、推定ＮＰＡ領域と、推定ＮＶ領域とが眼底画像情報に表示される。
【0047】
【0048】
図５に示すように、蛍光眼底造影検査において、患者の蛍光眼底造影画像が撮像されると、この蛍光眼底造影画像に基づく蛍光眼底造影画像情報が、サーバ１によって取得される。この蛍光眼底造影画像情報には、網膜無灌流領域（ＮＰＡ）と、新生血管（ＮＶ）とのうち少なくとも一方に関する眼科医Ｄの診断注記が付される。この診断注記は、ＮＰＡ・ＮＶアノテーション情報として、蛍光眼底造影画像情報とともにＮＰＡ・ＮＶ教師情報を構成することとなる。
眼底検査において、患者の眼底画像が撮像されると、この眼底画像に基づく眼底画像情報は、サーバ１により取得される。眼底画像情報及びＮＰＡ・ＮＶ教師情報は、演算部１０４のＮＰＡ・ＮＶアノテーションプログラムによる演算処理に用いられる。ＮＰＡ・ＮＶアノテーションプログラムによる演算処理の結果、ＮＰＡ・ＮＶ存在確率マップが生成される。このＮＰＡ・ＮＶ存在確率マップに基づいて、眼底画像情報における推定ＮＰＡと推定ＮＶとが特定される。
眼底検査において、患者の眼底画像が撮像されると、この眼底画像に基づく眼底画像情報は、サーバ１により取得される。眼底画像情報及びＮＰＡ・ＮＶ教師情報は、演算部１０４のＮＰＡ・ＮＶアノテーションプログラムによる演算処理に用いられる。ＮＰＡ・ＮＶアノテーションプログラムによる演算処理の結果、ＮＰＡ・ＮＶ存在確率マップが生成される。このＮＰＡ・ＮＶ存在確率マップに基づいて、眼底画像情報における推定ＮＰＡと推定ＮＶとが特定される。
【0049】
蛍光眼底造影画像情報及び眼底画像情報に、付随所見に関する眼科医Ｄの診断注記が付される場合がある。この場合の診断注記は、付随所見アノテーション情報として、蛍光眼底造影画像情報及び眼底画像情報とともに付随所見教師情報を構成することとなる。
眼底画像情報及びＮＰＡ・ＮＶ教師情報は、演算部１０４の付随所見判定プログラムによる演算処理に用いられる。付随所見判定プログラムによる演算処理の結果、付随所見存在確率マップが生成される。このように、付随所見存在確率マップが生成された場合には、付随所見存在確率マップと、ＮＰＡ・ＮＶ教師情報とに基づいて、眼底画像情報における推定ＮＰＡと、推定ＮＶとが特定される。
眼底画像情報及びＮＰＡ・ＮＶ教師情報は、演算部１０４の付随所見判定プログラムによる演算処理に用いられる。付随所見判定プログラムによる演算処理の結果、付随所見存在確率マップが生成される。このように、付随所見存在確率マップが生成された場合には、付随所見存在確率マップと、ＮＰＡ・ＮＶ教師情報とに基づいて、眼底画像情報における推定ＮＰＡと、推定ＮＶとが特定される。
【0050】
【0051】
患者の眼底検査では、検査機器３による患者の眼底の撮像が行われ、図６に示すような眼底画像情報が得られる。眼科医Ｄは、図６に示すような眼底画像情報を参照しながら診察を行う。しかしながら、眼底画像情報は、図６に示すように、出血や白斑など灌流異常の結果生じた所見が表出されるのみで、循環動態や循環異常部位を読み取ることは困難である。このため、蛍光眼底造影検査が行われることにより、図７に示すような蛍光眼底造影画像情報が得られる。蛍光眼底造影画像情報は、図７に示すように、網膜循環動態を明確に判別することができる。ただし、蛍光眼底造影検査はその検査の危険性、侵襲性、大病院に限られる地理的な制約などから患者・医療者双方に負担の大きい検査であり、視力良好例や身体機能低下患者の撮影、繰り返しの撮影などがためらわれることから、発症や病勢の把握が遅れ治療が遅滞する症例が多いという課題がある。
そこで、サーバ１は、蓄積された複数の患者から得られた蛍光眼底造影画像情報と、これら情報の夫々に付されたＮＰＡ・ＮＶアノテーション情報に基づいて生成されたＮＰＡ・ＮＶ教師情報を用いて、ＮＰＡ・ＮＶ存在確率マップ生成処理を行う。これにより、負担の大きい蛍光眼底造影検査を実施することなく、近隣の診療所や検診などで簡便に撮影可能な眼底画像から、循環異常所見を簡便に特定することが可能となる。
そこで、サーバ１は、蓄積された複数の患者から得られた蛍光眼底造影画像情報と、これら情報の夫々に付されたＮＰＡ・ＮＶアノテーション情報に基づいて生成されたＮＰＡ・ＮＶ教師情報を用いて、ＮＰＡ・ＮＶ存在確率マップ生成処理を行う。これにより、負担の大きい蛍光眼底造影検査を実施することなく、近隣の診療所や検診などで簡便に撮影可能な眼底画像から、循環異常所見を簡便に特定することが可能となる。
【0052】
図８は、サーバ１が実行するＮＰＡ・ＮＶ存在確率マップ生成処理で出力されるＮＰＡ・ＮＶ存在確率マップの一例を示す図である。
【0053】
図８に示すＮＰＡ・ＮＶ存在確率マップＥは、眼底画像情報にＮＰＡ存在確率とＮＶ存在確率とを識別表示させた画像情報である。ＮＰＡ・ＮＶ存在確率マップＥは、ＮＰＡ存在確率とＮＶ存在確率とを、色の違いや、色の濃淡とよって識別表示させることができる。例えば、暖色系の色で示された領域はＮＰＡ存在確率及びＮＶ存在確率が高く、寒色系の色で示された領域はＮＰＡ存在確率及びＮＶ存在確率が低いといった識別表示が可能である。また、ＮＰＡ存在確率及びＮＶ存在確率が低い寒色系の色で示された領域であっても、濃い色の領域は薄い色の領域に比べてＮＰＡ存在確率及びＮＶ存在確率がさらに低いといった識別表示も可能である。
これにより、眼底画像情報における網膜無灌流領域（ＮＰＡ）、及び新生血管（ＮＶ）の存在を推定するための根拠となる情報を生成することができる。
これにより、眼底画像情報における網膜無灌流領域（ＮＰＡ）、及び新生血管（ＮＶ）の存在を推定するための根拠となる情報を生成することができる。
【0054】
図９は、サーバ１が実行する推定ＮＰＡ・ＮＶ特定処理において特定される推定ＮＰＡ、及び推定ＮＶの一例を示す図である。
【0055】
サーバ１は、ＮＰＡ・ＮＶ存在確率マップの内容に基づいて、眼底画像情報のうち、網膜無灌流領域（ＮＰＡ）に該当すると推定される領域を推定ＮＰＡとして特定し、新生血管（ＮＶ）に該当すると推定される領域を、推定ＮＶとして特定する。例えば、図９に示すように、破線で示された領域Ａを推定ＮＰＡとし、領域Ｂを推定ＮＶとすることができる。推定ＮＰＡと、推定ＮＶとは、眼底画像情報に重畳的に表示させることができる。
これにより、特殊な眼底カメラや診断装置を必要とする蛍光眼底造影検査を実施することなく、患者の眼底を撮像した眼底画像から、網膜無灌流の存在が推定される領域や、新生血管の存在が推定される領域を早期かつ容易に特定することができる。
これにより、特殊な眼底カメラや診断装置を必要とする蛍光眼底造影検査を実施することなく、患者の眼底を撮像した眼底画像から、網膜無灌流の存在が推定される領域や、新生血管の存在が推定される領域を早期かつ容易に特定することができる。
【0056】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0057】
例えば、上述した実施形態では、画像取得部１０１は、検査機器３から各種画像情報が送信されて来ると、これらの情報を取得する構成としているが、検査機器３による撮像が行われると、画像取得部１０１が、自発的に各種画像情報を取りに行く構成にしてもよい。同様に、アノテーション取得部１０２は、眼科医端末２から各種アノテーション情報が送信されて来ると、これらの情報を取得する構成としているが、眼科医端末２に各種アノテーション情報の入力が行われると、アノテーション取得部１０２が、自発的に各種アノテーション情報を取に行く構成にしてもよい。
【0058】
また、図２に示す各ハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0059】
また、図３に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行出来る機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図３の例に限定されない。
【0060】
また、機能ブロックの存在場所も、図３に示す場所に限定されず、任意でよい。例えばサーバ１の機能ブロックの少なくとも一部を、眼科医端末２や検査機器３に設けてもよい。
そして、１つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体との組み合わせで構成しても良い。
そして、１つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体との組み合わせで構成しても良い。
【0061】
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0062】
このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。
【0063】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
例えば、図４のステップＳ６において、画像取得部１０１は、検査機器３から眼底画像情報が送信されて来たか否かを判定し、ステップＳ７において眼底画像情報を取得する。しかし、眼底画像情報は、付随所見存在確率マップ生成処理が実行される場合には、付随所見教師情報が生成される時点で適切に管理されていれば足りる。また、付随所見存在確率マップ生成処理が実行されない場合には、ＮＰＡ存在確率と、ＮＶ存在確率とが演算される時点で適切に管理されていれば足りる。このため、眼底画像情報は、付随所見教師情報が生成される場合には、ステップＳ１０において付随所見教師情報が生成されるよりも前のいずれかの時点から画像ＤＢ４０１に記憶され管理されていればよい。また、付随所見教師情報が生成されない場合には、ステップＳ１３においてＮＰＡ存在確率と、ＮＶ存在確率とが演算されるよりも前のいずれかの時点から画像ＤＢ４０１に記憶され管理されていればよい。
例えば、図４のステップＳ６において、画像取得部１０１は、検査機器３から眼底画像情報が送信されて来たか否かを判定し、ステップＳ７において眼底画像情報を取得する。しかし、眼底画像情報は、付随所見存在確率マップ生成処理が実行される場合には、付随所見教師情報が生成される時点で適切に管理されていれば足りる。また、付随所見存在確率マップ生成処理が実行されない場合には、ＮＰＡ存在確率と、ＮＶ存在確率とが演算される時点で適切に管理されていれば足りる。このため、眼底画像情報は、付随所見教師情報が生成される場合には、ステップＳ１０において付随所見教師情報が生成されるよりも前のいずれかの時点から画像ＤＢ４０１に記憶され管理されていればよい。また、付随所見教師情報が生成されない場合には、ステップＳ１３においてＮＰＡ存在確率と、ＮＶ存在確率とが演算されるよりも前のいずれかの時点から画像ＤＢ４０１に記憶され管理されていればよい。
【0064】
以上まとめると、本発明が適用されるプログラムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用されるプログラムは、
情報処理装置を制御するコンピュータに、
蛍光眼底造影画像情報（例えば図７の蛍光眼底造影画像情報Ｃ）を取得する蛍光眼底造影画像取得ステップ（例えば図４のステップＳ２）と、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域（ＮＰＡ）と新生血管（ＮＶ）とのうち少なくとも一方に関する眼科医の診断注記を、ＮＰＡ・ＮＶアノテーション情報として取得するＮＰＡ・ＮＶアノテーション取得ステップ（例えば図４のステップＳ４）と、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記ＮＰＡ・ＮＶアノテーション情報とに基づいて、前記網膜無灌流領域（ＮＰＡ）の存在確率、及び新生血管（ＮＶ）の存在確率を演算するための教師情報となるＮＰＡ・ＮＶ教師情報を生成するＮＰＡ・ＮＶ教師情報生成ステップ（例えば図４のステップＳ５）と、
眼底画像情報（例えば図６の眼底画像情報Ｆ）を取得する眼底画像取得ステップ（例えば図４のステップＳ７）と、
前記ＮＰＡ・ＮＶ教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域（ＮＰＡ）の存在確率と、新生血管（ＮＶ）の存在確率とを演算するＮＰＡ・ＮＶ存在確率演算ステップ（例えば図４のステップＳ１３）と、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域（ＮＰＡ）に該当すると推定される領域を推定ＮＰＡとして特定し、前記新生血管（ＮＶ）に該当すると推定される領域を推定ＮＶとして特定する推定ＮＰＡ・ＮＶ特定ステップ（例えば図４のステップＳ１５）と、
を含む。
これにより、特殊な眼底カメラや診断装置を必要とする蛍光眼底造影検査を実施することなく、患者の眼底を撮像した眼底画像から、網膜無灌流の存在が推定される領域を早期かつ容易に特定することができる。
即ち、本発明が適用されるプログラムは、
情報処理装置を制御するコンピュータに、
蛍光眼底造影画像情報（例えば図７の蛍光眼底造影画像情報Ｃ）を取得する蛍光眼底造影画像取得ステップ（例えば図４のステップＳ２）と、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域（ＮＰＡ）と新生血管（ＮＶ）とのうち少なくとも一方に関する眼科医の診断注記を、ＮＰＡ・ＮＶアノテーション情報として取得するＮＰＡ・ＮＶアノテーション取得ステップ（例えば図４のステップＳ４）と、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記ＮＰＡ・ＮＶアノテーション情報とに基づいて、前記網膜無灌流領域（ＮＰＡ）の存在確率、及び新生血管（ＮＶ）の存在確率を演算するための教師情報となるＮＰＡ・ＮＶ教師情報を生成するＮＰＡ・ＮＶ教師情報生成ステップ（例えば図４のステップＳ５）と、
眼底画像情報（例えば図６の眼底画像情報Ｆ）を取得する眼底画像取得ステップ（例えば図４のステップＳ７）と、
前記ＮＰＡ・ＮＶ教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域（ＮＰＡ）の存在確率と、新生血管（ＮＶ）の存在確率とを演算するＮＰＡ・ＮＶ存在確率演算ステップ（例えば図４のステップＳ１３）と、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域（ＮＰＡ）に該当すると推定される領域を推定ＮＰＡとして特定し、前記新生血管（ＮＶ）に該当すると推定される領域を推定ＮＶとして特定する推定ＮＰＡ・ＮＶ特定ステップ（例えば図４のステップＳ１５）と、
を含む。
これにより、特殊な眼底カメラや診断装置を必要とする蛍光眼底造影検査を実施することなく、患者の眼底を撮像した眼底画像から、網膜無灌流の存在が推定される領域を早期かつ容易に特定することができる。
【0065】
また、前記眼底画像情報に前記ＮＰＡ存在確率と、前記ＮＶ存在確率とを識別表示させた、ＮＰＡ・ＮＶ存在確率マップ（例えば図８のＮＰＡ・ＮＶ存在確率マップＥ）を生成するＮＰＡ・ＮＶ存在確率マップ生成ステップ（例えば図４のステップＳ１４）をさらに含む制御処理を実行させることができる。
これにより、眼底画像情報における網膜無灌流領域（ＮＰＡ）、及び新生血管（ＮＶ）の存在を推定するための根拠となる情報を生成することができる。
これにより、眼底画像情報における網膜無灌流領域（ＮＰＡ）、及び新生血管（ＮＶ）の存在を推定するための根拠となる情報を生成することができる。
【0066】
また、前記蛍光眼底造影画像情報及び前記眼底画像情報に付された、付随所見に関する前記眼科医の診断注記を、付随所見アノテーション情報として取得する付随アノテーション取得ステップ（例えば図４のステップＳ９）と、
前記蛍光眼底造影画像情報及び前記眼底画像情報と、当該蛍光眼底造影画像情報及び当該眼底画像情報に対応する前記付随所見アノテーション情報とに基づいて、前記眼底画像情報における前記付随所見の存在確率を演算するための教師情報となる付随所見教師情報を生成する付随所見教師情報生成ステップ（例えば図４のステップＳ１０）と、
前記付随所見教師情報に基づいて、前記眼底画像情報における前記付随所見の存在確率を演算する付随所見存在確率演算ステップ（例えば図４のステップＳ１１）と、
をさらに含み、
前記ＮＰＡ・ＮＶ存在確率演算ステップではさらに、
前記付随所見の存在確率と、前記ＮＰＡ・ＮＶ教師情報とに基づいて、前記眼底画像情報における前記網膜無灌流領域（ＮＰＡ）の存在確率と、新生血管（ＮＶ）の存在確率とを演算する制御処理を実行させることができる。
前記蛍光眼底造影画像情報及び前記眼底画像情報と、当該蛍光眼底造影画像情報及び当該眼底画像情報に対応する前記付随所見アノテーション情報とに基づいて、前記眼底画像情報における前記付随所見の存在確率を演算するための教師情報となる付随所見教師情報を生成する付随所見教師情報生成ステップ（例えば図４のステップＳ１０）と、
前記付随所見教師情報に基づいて、前記眼底画像情報における前記付随所見の存在確率を演算する付随所見存在確率演算ステップ（例えば図４のステップＳ１１）と、
をさらに含み、
前記ＮＰＡ・ＮＶ存在確率演算ステップではさらに、
前記付随所見の存在確率と、前記ＮＰＡ・ＮＶ教師情報とに基づいて、前記眼底画像情報における前記網膜無灌流領域（ＮＰＡ）の存在確率と、新生血管（ＮＶ）の存在確率とを演算する制御処理を実行させることができる。
【0067】
また、前記眼底画像情報に、前記付随所見の存在確率を識別表示させた付随所見存在確率マップを生成する付随所見存在確率マップ生成ステップ（例えば図４のステップＳ１２）をさらに含むことができる。
【0068】
以下、本発明の一実施形態の変形例について図面を用いて説明する。
（変形例）
図１０は、本発明の一実施形態の変形例の情報処理システムの構成図である。本発明の一実施形態の変形例の情報処理システムは、眼科医端末２と、検査機器３と、学習装置２００と、診断支援装置３００とを含む。これらの装置は、ネットワークＮを介して互いに接続される。
（変形例）
図１０は、本発明の一実施形態の変形例の情報処理システムの構成図である。本発明の一実施形態の変形例の情報処理システムは、眼科医端末２と、検査機器３と、学習装置２００と、診断支援装置３００とを含む。これらの装置は、ネットワークＮを介して互いに接続される。
【0069】
学習装置２００は、眼底の画像である眼底画像と、その眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する。ここで、血液循環異常領域とは、糖尿病網膜症などの眼虚血性疾患において生じる網膜上の血液障害によって生じる血液の循環が異常である領域である。
学習装置２００は、患者の眼底画像を示す情報と、その患者の蛍光眼底造影画像を示す情報とを取得し、取得した眼底画像を示す情報と、蛍光眼底造影画像を示す情報とを関連付けて、記憶する。具体的には、患者の眼底検査において、検査機器３は、患者の眼底画像を撮像し、患者ＩＤと、撮像した眼底画像を示す情報とを含み、学習装置２００を宛先とする眼底画像通知情報を作成し、作成した眼底画像通知情報を、学習装置２００へ送信する。また、患者の蛍光眼底造影検査において、検査機器３は、患者の蛍光眼底造影画像を撮像し、患者ＩＤと、撮像した蛍光眼底造影画像を示す情報とを含み、学習装置２００を宛先とする蛍光眼底造影画像通知情報を作成し、作成した蛍光眼底造影画像通知情報を、学習装置２００へ送信する。
学習装置２００は、患者の眼底画像を示す情報と、その患者の蛍光眼底造影画像を示す情報とを取得し、取得した眼底画像を示す情報と、蛍光眼底造影画像を示す情報とを関連付けて、記憶する。具体的には、患者の眼底検査において、検査機器３は、患者の眼底画像を撮像し、患者ＩＤと、撮像した眼底画像を示す情報とを含み、学習装置２００を宛先とする眼底画像通知情報を作成し、作成した眼底画像通知情報を、学習装置２００へ送信する。また、患者の蛍光眼底造影検査において、検査機器３は、患者の蛍光眼底造影画像を撮像し、患者ＩＤと、撮像した蛍光眼底造影画像を示す情報とを含み、学習装置２００を宛先とする蛍光眼底造影画像通知情報を作成し、作成した蛍光眼底造影画像通知情報を、学習装置２００へ送信する。
【0070】
学習装置２００は、検査機器３から学習装置２００へ送信された眼底画像通知情報に含まれる患者ＩＤと、眼底画像を示す情報と、蛍光眼底造影画像通知情報に含まれる患者ＩＤと、蛍光眼底造影画像を示す情報とを取得し、取得した患者ＩＤと、眼底画像を示す情報と、蛍光眼底造影画像を示す情報とを関連付けて記憶する。
【0071】
学習装置２００は、患者の蛍光眼底造影画像に付された、網膜無灌流領域（ＮＰＡ）と、新生血管（ＮＶ）とのいずれか一方又は両方に関する眼科医Ｄの診断注記を、ＮＰＡ・ＮＶアノテーション情報として取得する。具体的には、蛍光眼底造影検査において、蛍光眼底造影画像に、網膜無灌流領域（ＮＰＡ）、新生血管（ＮＶ）に関する眼科医Ｄの診断注記が付されると、眼科医端末２は、眼科医Ｄの操作に基づいて、患者ＩＤと、当該診断注記とを含み、学習装置２００を宛先とするＮＰＡ・ＮＶアノテーション通知情報を作成し、作成したＮＰＡ・ＮＶアノテーション通知情報を、学習装置２００へ送信する。
学習装置２００は、眼科医端末２が送信したＮＰＡ・ＮＶアノテーション通知情報を受信し、受信したＮＰＡ・ＮＶアノテーション通知情報に含まれるＮＰＡ・ＮＶアノテーション情報を記憶する。なお、蛍光眼底造影画像を示す情報と、この蛍光眼底造影画像に付されたＮＰＡ・ＮＶアノテーション情報とは、互いに関連付けられて記憶される。
学習装置２００は、眼科医端末２が送信したＮＰＡ・ＮＶアノテーション通知情報を受信し、受信したＮＰＡ・ＮＶアノテーション通知情報に含まれるＮＰＡ・ＮＶアノテーション情報を記憶する。なお、蛍光眼底造影画像を示す情報と、この蛍光眼底造影画像に付されたＮＰＡ・ＮＶアノテーション情報とは、互いに関連付けられて記憶される。
【0072】
学習装置２００は、眼底画像と蛍光眼底造影画像とに付された、付随所見に関する眼科医Ｄの診断注記を、付随所見アノテーション情報として取得する。具体的には、蛍光眼底造影画像を示す情報と、眼底画像を示す情報とについて、付随所見に関する眼科医Ｄの診断注記が付される場合、眼科医端末２は、眼科医Ｄの操作に基づいて、患者ＩＤと、当該診断注記とを含み、学習装置２００を宛先とする付随所見アノテーション通知情報を作成し、作成した付随所見アノテーション通知情報を、学習装置２００に送信する。学習装置２００は、眼科医端末２が送信した付随所見アノテーション通知情報を受信し、受信した付随所見アノテーション通知情報に含まれる患者ＩＤと、付随所見アノテーション情報を取得し、取得した患者ＩＤと、付随所見アノテーション情報とを、記憶する。なお、眼底画像を示す情報と蛍光眼底造影画像を示す情報と、付随所見アノテーション情報とは、互いに関連付けられて記憶される。
【0073】
学習装置２００は、眼底画像を示す情報と、この眼底画像を示す情報に関連付けられている蛍光眼底造影画像を示す情報と、ＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とを取得し、取得した蛍光眼底造影画像を示す情報と、ＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とに基づいて、血液循環異常領域を特定する。学習装置２００は、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたＮＰＡ・ＮＶ学習情報を生成し、生成したＮＰＡ・ＮＶ学習情報を記憶する。
学習装置２００は、ＮＰＡ・ＮＶ学習情報に含まれる眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する。なお、学習モデルを生成する具体的な手法は特に限定されない。例えば、ＮＰＡ・ＮＶ学習情報から、血液循環異常領域を有する眼底画像に共通する特徴を抽出し、抽出した共通する特徴と、眼底画像における血液循環異常領域との関係を導出してもよい。ニューラルネットワーク、ディープラーニング（深層学習）の技術を用いて、眼底画像と、その眼底画像における血液循環異常領域との関係とを導出してもよい。学習装置２００は、生成した学習モデルを記憶するとともに、生成した学習モデルを含み、診断支援装置３００をあて先とする学習モデル通知情報を作成し、作成した学習モデル通知情報を、診断支援装置３００へ送信する。
学習装置２００は、ＮＰＡ・ＮＶ学習情報に含まれる眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する。なお、学習モデルを生成する具体的な手法は特に限定されない。例えば、ＮＰＡ・ＮＶ学習情報から、血液循環異常領域を有する眼底画像に共通する特徴を抽出し、抽出した共通する特徴と、眼底画像における血液循環異常領域との関係を導出してもよい。ニューラルネットワーク、ディープラーニング（深層学習）の技術を用いて、眼底画像と、その眼底画像における血液循環異常領域との関係とを導出してもよい。学習装置２００は、生成した学習モデルを記憶するとともに、生成した学習モデルを含み、診断支援装置３００をあて先とする学習モデル通知情報を作成し、作成した学習モデル通知情報を、診断支援装置３００へ送信する。
【0074】
診断支援装置３００は、学習装置２００が送信した学習モデルを受信し、受信した学習モデルを記憶する。
【0075】
眼科医端末２は、患者ＩＤと、患者の眼底画像を示す情報とを含み、診断支援装置３００を宛先とする患者情報を作成し、作成した患者情報を、診断支援装置３００へ送信する。
【0076】
診断支援装置３００は、眼科医端末２が送信した患者情報を受信し、受信した患者情報に含まれる患者ＩＤと、患者の眼底画像を示す情報とを取得する。診断支援装置３００は、記憶した学習モデルを用いて、取得した眼底画像を示す情報に基づいて、眼底画像における血液循環異常領域を特定する。診断支援装置３００は、患者の眼底画像と、学習モデルとを用いて特定したその眼底画像における血液循環異常領域を示す情報と、患者ＩＤとを含み、眼科医端末２を宛先とする診断結果を作成し、作成した診断結果を、眼科医端末２へ送信する。
以下、情報処理システムに含まれる学習装置２００と、診断支援装置３００とについて、説明する。
以下、情報処理システムに含まれる学習装置２００と、診断支援装置３００とについて、説明する。
【0077】
（学習装置２００）
図１１は、本発明の実施形態の変形例の学習装置の一例を示すブロック図である。
学習装置２００は、通信部２０５と、記憶部２１０と、操作部２２０と、情報処理部２３０と、表示部２４０と、各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバスなどのバスライン２５０とを備える。
図１１は、本発明の実施形態の変形例の学習装置の一例を示すブロック図である。
学習装置２００は、通信部２０５と、記憶部２１０と、操作部２２０と、情報処理部２３０と、表示部２４０と、各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバスなどのバスライン２５０とを備える。
【0078】
通信部２０５は、通信モジュールによって実現される。通信部２０５は、ネットワークＮを介して、眼科医端末２、検査機器３、診断支援装置３００などの外部の通信装置と通信する。具体的には、通信部２０５は、検査機器３が送信した眼底画像通知情報を受信し、受信した眼底画像通知情報を、情報処理部２３０へ出力する。通信部２０５は、検査機器３が送信した蛍光眼底造影画像通知情報を受信し、受信した蛍光眼底造影画像通知情報を、情報処理部２３０へ出力する。通信部２０５は、眼科医端末２が送信したＮＰＡ・ＮＶアノテーション通知情報を受信し、受信したＮＰＡ・ＮＶアノテーション通知情報を、情報処理部２３０へ出力する。通信部２０５は、眼科医端末２が送信した付随所見アノテーション通知情報を受信し、受信した付随所見アノテーション通知情報を、情報処理部２３０へ出力する。通信部２０５は、情報処理部２３０が出力した学習モデル通知情報を取得し、取得した学習モデル通知情報を、診断支援装置３００へ送信する。
【0079】
記憶部２１０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部２１０には、情報処理部２３０により実行されるプログラム２１１と、アプリ２１２と、画像ＤＢ２１３と、アノテーションＤＢ２１４と、学習情報２１５と、学習モデル２１６とが記憶される。
【0080】
プログラム２１１は、例えば、オペレーティングシステムであり、ユーザやアプリケーションプログラムとハードウェアの中間に位置し、ユーザやアプリケーションプログラムに対して標準的なインターフェースを提供すると同時に、ハードウェアなどの各リソースに対して効率的な管理を行う。
【0081】
アプリ２１２は、学習装置２００に、検査機器３が送信した眼底画像通知情報を受信させ、受信させた眼底画像通知情報に含まれる患者ＩＤと、眼底画像を示す情報とを関連付けて、記憶させる。アプリ２１２は、学習装置２００に、検査機器３が送信した蛍光眼底造影画像通知情報を受信させ、受信させた蛍光眼底造影画像通知情報に含まれる患者ＩＤと、蛍光眼底造影画像を示す情報とを関連付けて記憶させる。アプリ２１２は、学習装置２００に、眼科医端末２が送信したＮＰＡ・ＮＶアノテーション通知情報を受信させ、受信させたＮＰＡ・ＮＶアノテーション通知情報に含まれる患者ＩＤと、ＮＰＡ・ＮＶアノテーション情報とを関連付けて記憶させる。
【0082】
アプリ２１２は、学習装置２００に、眼科医端末２が送信した付随所見アノテーション通知情報を受信させ、受信させた付随所見アノテーション通知情報に含まれる患者ＩＤと、付随所見アノテーション情報とを関連付けて記憶させる。アプリ２１２は、学習装置２００に、患者ＩＤに関連付けらえている眼底画像を示す情報と、蛍光眼底造影画像を示す情報と、ＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とを取得させる。アプリ２１２は、学習装置２００に、取得させた蛍光眼底造影画像を示す情報と、ＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とに基づいて、血液循環異常領域を特定させる。
アプリ２１２は、学習装置２００に、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたＮＰＡ・ＮＶ学習情報を生成させ、生成させたＮＰＡ・ＮＶ学習情報を記憶させる。アプリ２１２は、学習装置２００に、ＮＰＡ・ＮＶ学習情報に含まれる眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成させる。アプリ２１２は、学習装置２００に、生成した学習モデルを記憶させるとともに、診断支援装置３００へ送信させる。
アプリ２１２は、学習装置２００に、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたＮＰＡ・ＮＶ学習情報を生成させ、生成させたＮＰＡ・ＮＶ学習情報を記憶させる。アプリ２１２は、学習装置２００に、ＮＰＡ・ＮＶ学習情報に含まれる眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成させる。アプリ２１２は、学習装置２００に、生成した学習モデルを記憶させるとともに、診断支援装置３００へ送信させる。
【0083】
画像ＤＢ２１３は、患者ＩＤと、眼底画像を示す情報と、蛍光眼底造影画像を示す情報とを関連付けて記憶する。
【0084】
アノテーションＤＢ２１４は、患者ＩＤと、ＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とを関連付けて記憶する。
【0085】
学習情報２１５は、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたＮＰＡ・ＮＶ学習情報を記憶する。
【0086】
学習モデル２１６は、ＮＰＡ・ＮＶ学習情報に含まれる眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを記憶する
【0087】
操作部２２０は、例えば、タッチパネルなどによって構成され、表示部２４０に表示される画面に対するタッチ操作を検出し、タッチ操作の検出結果を、情報処理部２３０へ出力する。
【0088】
表示部２４０は、例えば、タッチパネルによって構成され、学習装置２００が受信した眼底画像を示す情報と、蛍光眼底造影画像を示す情報とを受け付ける画面を表示する。また、表示部２４０は、学習装置２００が受信したＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とを処理する操作を受け付ける画面を表示する。
【0089】
情報処理部２３０の全部または一部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部２１０に格納されたプログラム２１１と、アプリ２１２とを実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、情報処理部２３０の全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。情報処理部２３０は、例えば、画像取得部２３１と、アノテーション取得部２３２と、学習情報生成部２３３と、学習部２３４とを備える。
【0090】
画像取得部２３１は、通信部２０５が出力した眼底画像通知情報を取得し、取得した眼底画像通知情報に含まれる患者ＩＤと、眼底画像を示す情報とを取得する。画像取得部２３１は、取得した患者ＩＤと、眼底画像を示す情報とを関連付けて、画像ＤＢ２１３に記憶する。
画像取得部２３１は、通信部２０５が出力した蛍光眼底造影画像通知情報を取得し、取得した蛍光眼底造影画像通知情報に含まれる患者ＩＤと、蛍光眼底造影画像を示す情報とを取得する。画像取得部２３１は、取得した患者ＩＤと、蛍光眼底造影画像を示す情報とを関連付けて、画像ＤＢ２１３に記憶する。
画像取得部２３１は、通信部２０５が出力した蛍光眼底造影画像通知情報を取得し、取得した蛍光眼底造影画像通知情報に含まれる患者ＩＤと、蛍光眼底造影画像を示す情報とを取得する。画像取得部２３１は、取得した患者ＩＤと、蛍光眼底造影画像を示す情報とを関連付けて、画像ＤＢ２１３に記憶する。
【0091】
アノテーション取得部２３２は、通信部２０５が出力したＮＰＡ・ＮＶアノテーション通知情報を取得し、取得したＮＰＡ・ＮＶアノテーション通知情報に含まれる患者ＩＤと、ＮＰＡ・ＮＶアノテーション情報とを取得する。アノテーション取得部２３２は、取得した患者ＩＤと、ＮＰＡ・ＮＶアノテーション情報とを関連付けて、アノテーションＤＢ２１４に記憶する。
アノテーション取得部２３２は、通信部２０５が出力した付随所見アノテーション通知情報を取得し、取得した付随所見アノテーション通知情報に含まれる患者ＩＤと、付随所見アノテーション情報とを取得する。アノテーション取得部２３２は、取得した患者ＩＤと、付随所見アノテーション情報とを関連付けて、アノテーションＤＢ２１４に記憶する。
アノテーション取得部２３２は、通信部２０５が出力した付随所見アノテーション通知情報を取得し、取得した付随所見アノテーション通知情報に含まれる患者ＩＤと、付随所見アノテーション情報とを取得する。アノテーション取得部２３２は、取得した患者ＩＤと、付随所見アノテーション情報とを関連付けて、アノテーションＤＢ２１４に記憶する。
【0092】
学習情報生成部２３３は、記憶部２１０の画像ＤＢ２１３に記憶された患者ＩＤと、患者ＩＤに関連付けられている眼底画像を示す情報と、蛍光眼底造影画像を示す情報とを取得する。学習情報生成部２３３は、記憶部２１０のアノテーションＤＢ２１４に記憶された患者ＩＤと、患者ＩＤに関連付けられているＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とを取得する。学習情報生成部２３３は、取得した蛍光眼底造影画像を示す情報と、ＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とに基づいて、血液循環異常領域を特定する。
【0093】
以下、学習装置２００の各構成について具体的に説明する。
図１２は眼底画像の一例を示す図であり、図１３は蛍光眼底造影画像の一例を示す図である。
学習情報生成部２３３は、眼底画像の緑成分を抽出し、緑成分を抽出した眼底画像である緑成分抽出眼底画像からノイズ成分を除去する。学習情報生成部２３３は、ノイズ成分を除去した緑成分抽出眼底画像を、矩形に分割する。学習情報生成部２３３は、矩形に分割した画像に基づいて、ノイズ成分を除去した緑成分抽出眼底画像を、所定のサイズにリサイズする。所定のサイズにリサイズする際に、バイキュービック補間などの補間方法によって補間する。
学習情報生成部２３３は、蛍光眼底造影画像の緑成分を抽出し、緑成分を抽出した蛍光眼底造影画像である緑成分抽出蛍光眼底造影画像からノイズ成分を除去する。学習情報生成部２３３は、ノイズ成分を除去した緑成分抽出蛍光眼底造影画像を、矩形に分割する。学習情報生成部２３３は、矩形に分割した画像に基づいて、ノイズ成分を除去した緑成分抽出蛍光眼底造影画像を、所定のサイズにリサイズする。所定のサイズにリサイズする際に、バイキュービック補間などの補間方法によって補間する。
図１２は眼底画像の一例を示す図であり、図１３は蛍光眼底造影画像の一例を示す図である。
学習情報生成部２３３は、眼底画像の緑成分を抽出し、緑成分を抽出した眼底画像である緑成分抽出眼底画像からノイズ成分を除去する。学習情報生成部２３３は、ノイズ成分を除去した緑成分抽出眼底画像を、矩形に分割する。学習情報生成部２３３は、矩形に分割した画像に基づいて、ノイズ成分を除去した緑成分抽出眼底画像を、所定のサイズにリサイズする。所定のサイズにリサイズする際に、バイキュービック補間などの補間方法によって補間する。
学習情報生成部２３３は、蛍光眼底造影画像の緑成分を抽出し、緑成分を抽出した蛍光眼底造影画像である緑成分抽出蛍光眼底造影画像からノイズ成分を除去する。学習情報生成部２３３は、ノイズ成分を除去した緑成分抽出蛍光眼底造影画像を、矩形に分割する。学習情報生成部２３３は、矩形に分割した画像に基づいて、ノイズ成分を除去した緑成分抽出蛍光眼底造影画像を、所定のサイズにリサイズする。所定のサイズにリサイズする際に、バイキュービック補間などの補間方法によって補間する。
【0094】
学習情報生成部２３３は、ノイズ成分を除去した緑成分抽出眼底画像と、ノイズ成分を除去した緑成分抽出蛍光眼底造影画像とを、眼球の位置が一致するように回転成分を補正するとともに、所定のサイズにリサイズする。学習情報生成部２３３は、眼球の位置が一致するように回転成分を補正するとともに、所定のサイズにリサイズしたノイズ成分を除去した緑成分抽出眼底画像と、ノイズ成分を除去した緑成分抽出蛍光眼底造影画像とに基づいて、血液循環異常領域を特定する。
【0095】
図１４は、血液循環異常領域の一例を示す図である。
学習情報生成部２３３は、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたＮＰＡ・ＮＶ学習情報を生成し、生成したＮＰＡ・ＮＶ学習情報を、記憶部２１０の学習情報２１５に記憶する。図１１に戻り説明を続ける。
学習情報生成部２３３は、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたＮＰＡ・ＮＶ学習情報を生成し、生成したＮＰＡ・ＮＶ学習情報を、記憶部２１０の学習情報２１５に記憶する。図１１に戻り説明を続ける。
【0096】
学習部２３４は、記憶部２１０の学習情報２１５に記憶したＮＰＡ・ＮＶ学習情報を取得する。学習部２３４は、取得したＮＰＡ・ＮＶ学習情報に含まれる眼底画像を示す情報と、血液循環異常領域を示す情報とを取得する。学習部２３４は、取得した眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する。
【0097】
具体的には、本実施形態の変形例では、画像全体を一度に学習させ、予測させることはＧＰＵ(graphics processing unit)のメモリの制約上困難であることを想定して、画像からパッチを抽出して、抽出したパッチをニューラルネットワークに学習させる方法を用いた場合について説明する。ここでは、一例として、パッチサイズを６４ｐｘ×６４ｐｘとし、ｓｔｒｉｄｅ（パッチ抽出の枠を動かす間隔）を２ｐｘとした。
【0098】
生成したパッチを陽性の領域を含むものと、一切含まないものの２群に分ける。学習に使われる両群の割合が等しくなるようにパッチを選択する。
ニューラルネットワークが学習用データそのもの、あるいは、それに非常によく似た画像にのみに対して良い性能を示し、未知の画像に対しては著しく低い性能を示してしまう現象は、過学習（ｏｖｅｒ－ｆｉｔｔｉｎｇ）と呼ばれ、これを解決するにはより多くのサンプルを集めることや、学習データに回転などの幾何学的操作を加えることによって改善される。
本実施形態の変形例では、パッチを生成した後に、回転角をσ＝３ｄｅｇ．の正規分布に基づいて決定し、５０％の確率で水平反転、２０％の確率で垂直反転を行った。
ニューラルネットワークが学習用データそのもの、あるいは、それに非常によく似た画像にのみに対して良い性能を示し、未知の画像に対しては著しく低い性能を示してしまう現象は、過学習（ｏｖｅｒ－ｆｉｔｔｉｎｇ）と呼ばれ、これを解決するにはより多くのサンプルを集めることや、学習データに回転などの幾何学的操作を加えることによって改善される。
本実施形態の変形例では、パッチを生成した後に、回転角をσ＝３ｄｅｇ．の正規分布に基づいて決定し、５０％の確率で水平反転、２０％の確率で垂直反転を行った。
【0099】
図１５は、ニューラルネットワークの構造の一例を示す図である。
ニューラルネットワークの構造の一例はＵ－Ｎｅｔに基づいている。図１５において、ｂはｃｏｎｖｏｌｕｔｉｏｎ（ｋｅｒｎｅｌ＿ｓｉｚｅ＝（３，３））、ｇはｍａｘ ｐｏｏｌｉｎｇ（ｐｏｏｌ＿ｓｉｚｅ＝（２，２））、ｏはｕｐ ｓａｍｐｌｉｎｇ（ｓｉｚｅ＝（２，２））を表している。各ｃｏｎｖｏｌｕｔｉｏｎ層の後には活性化関数ＲｅＬＵを用い、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎを行った。ただし、最後のｃｏｎｖｏｌｕｔｉｏｎ層には、活性化関数としてｓｉｇｍｏｉｄを用いて、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎは行わなかった。
ニューラルネットワークの構造の一例はＵ－Ｎｅｔに基づいている。図１５において、ｂはｃｏｎｖｏｌｕｔｉｏｎ（ｋｅｒｎｅｌ＿ｓｉｚｅ＝（３，３））、ｇはｍａｘ ｐｏｏｌｉｎｇ（ｐｏｏｌ＿ｓｉｚｅ＝（２，２））、ｏはｕｐ ｓａｍｐｌｉｎｇ（ｓｉｚｅ＝（２，２））を表している。各ｃｏｎｖｏｌｕｔｉｏｎ層の後には活性化関数ＲｅＬＵを用い、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎを行った。ただし、最後のｃｏｎｖｏｌｕｔｉｏｎ層には、活性化関数としてｓｉｇｍｏｉｄを用いて、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎは行わなかった。
【0100】
また、ａ１、ａ２、ａ３、ａ４で示される矢印はｃｏｎｃａｔｅｎａｔｉｏｎによるｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎを表している。これは、画像の位置情報を復元するのに貢献していると考えられている。
【0101】
学習部２３４は、生成した学習モデルを、記憶部２１０の学習モデル２１６に記憶する。
学習部２３４は、生成した学習モデルを含み、診断支援装置３００をあて先とする学習モデル通知情報を作成し、作成した学習モデル通知情報を、通信部２０５へ出力する。
学習部２３４は、生成した学習モデルを含み、診断支援装置３００をあて先とする学習モデル通知情報を作成し、作成した学習モデル通知情報を、通信部２０５へ出力する。
【0102】
（診断支援装置３００）
図１６は、本発明の実施形態の変形例の診断支援装置の一例を示すブロック図である。
診断支援装置３００は、通信部３０５と、記憶部３１０と、操作部３２０と、情報処理部３３０と、表示部３４０と、各構成要素を図１６に示されているように電気的に接続するためのアドレスバスやデータバスなどのバスライン３５０とを備える。
図１６は、本発明の実施形態の変形例の診断支援装置の一例を示すブロック図である。
診断支援装置３００は、通信部３０５と、記憶部３１０と、操作部３２０と、情報処理部３３０と、表示部３４０と、各構成要素を図１６に示されているように電気的に接続するためのアドレスバスやデータバスなどのバスライン３５０とを備える。
【0103】
通信部３０５は、通信モジュールによって実現される。通信部３０５は、ネットワークＮを介して、眼科医端末２、学習装置２００などの外部の通信装置と通信する。具体的には、通信部３０５は、学習装置２００が送信した学習モデル通知情報を受信し、受信した学習モデル通知情報を、情報処理部３３０へ出力する。通信部３０５は、眼科医端末２が送信した患者情報を受信し、受信した患者情報を、情報処理部３３０へ出力する。通信部３０５は、情報処理部２３０が出力した診断情報を取得し、取得した診断情報を、眼科医端末２へ送信する。
【0104】
記憶部３１０は、例えば、ＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部３１０には、情報処理部３３０により実行されるプログラム３１１と、アプリ３１２と、学習モデル２１６とが記憶される。
【0105】
プログラム３１１は、例えば、オペレーティングシステムであり、ユーザやアプリケーションプログラムとハードウェアの中間に位置し、ユーザやアプリケーションプログラムに対して標準的なインターフェースを提供すると同時に、ハードウェアなどの各リソースに対して効率的な管理を行う。
【0106】
アプリ３１２は、診断支援装置３００に、学習装置２００が送信した学習モデル通知情報を受信させ、受信させた学習モデル通知情報に含まれる学習モデルを記憶させる。アプリ３１２は、診断支援装置３００に、眼科医端末２が送信した患者情報を受信させ、受信させた患者情報に含まれる患者ＩＤと、眼底画像とを取得させる。アプリ３１２は、診断支援装置３００に、記憶させた学習モデルを用いて、取得させた眼底画像における血液循環異常領域を特定させる。
アプリ３１２は、診断支援装置３００に、患者の眼底画像と、学習モデルとを用いて特定させたその眼底画像における血液循環異常領域を示す情報と、患者ＩＤとを含み、眼科医端末２をあて先とする診断情報を作成させ、作成させた診断情報を、眼科医端末２へ送信させる。
アプリ３１２は、診断支援装置３００に、患者の眼底画像と、学習モデルとを用いて特定させたその眼底画像における血液循環異常領域を示す情報と、患者ＩＤとを含み、眼科医端末２をあて先とする診断情報を作成させ、作成させた診断情報を、眼科医端末２へ送信させる。
【0107】
操作部３２０は、例えば、タッチパネルなどによって構成され、表示部３４０に表示される画面に対するタッチ操作を検出し、タッチ操作の検出結果を、情報処理部３３０へ出力する。
【0108】
表示部３４０は、例えば、タッチパネルによって構成され、診断支援装置３００が受信した患者情報に含まれる眼底画像を示す情報を受け付ける画面を表示する。また、表示部２４０は、診断支援装置３００が診断した結果を表示する。
【0109】
情報処理部３３０の全部または一部は、例えば、ＣＰＵなどのプロセッサが記憶部３１０に格納されたプログラム３１１と、アプリ３１２とを実行することにより実現されるソフトウェア機能部である。なお、情報処理部３３０の全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。情報処理部３３０は、例えば、受付部３３１と、特定部３３２と、作成部３３３とを備える。
【0110】
受付部３３１は、通信部３０５が出力した学習モデル通知情報を取得し、取得した学習モデル通知情報に含まれる学習モデルを取得する。受付部３３１は、取得した学習モデルを受け付け、受け付けた学習モデルを、記憶部３１０の学習モデル２１６に記憶する。
受付部３３１は、通信部３０５が出力した患者情報を取得し、取得した患者情報に含まれる患者ＩＤと、眼底画像を示す情報とを取得する。受付部３３１は、取得した患者ＩＤと、眼底画像を示す情報とを受け付け、受け付けた患者ＩＤと、眼底画像を示す情報とを、特定部３３２に出力する。
受付部３３１は、通信部３０５が出力した患者情報を取得し、取得した患者情報に含まれる患者ＩＤと、眼底画像を示す情報とを取得する。受付部３３１は、取得した患者ＩＤと、眼底画像を示す情報とを受け付け、受け付けた患者ＩＤと、眼底画像を示す情報とを、特定部３３２に出力する。
【0111】
特定部３３２は、受付部３３１が出力した患者ＩＤと、眼底画像を示す情報とを取得する。特定部３３２は、記憶部３１０の学習モデル２１６に記憶されている学習モデルを取得し、取得した学習モデルを用いて、取得した眼底画像における血液循環異常領域を特定する。特定部３３２は、特定した眼底画像における血液循環異常領域を示す情報と、患者ＩＤとを、作成部３３３へ出力する。
具体的には、本実施形態の変形例では、学習装置２００と同様に、画像からパッチを抽出して、抽出したパッチと、学習モデルとを用いて、眼底画像における血液循環異常領域を特定する場合について説明する。ここでは、一例として、パッチサイズを６４ｐｘ×６４ｐｘとし、ｓｔｒｉｄｅ（パッチ抽出の枠を動かす間隔）を２ｐｘとした。生成したパッチの全てを選択する。
特定部３３２は、学習モデルに基づいて、６４×６４×１の画像を取得する。特定部３３２は、取得した画素値を、元画像の対応するピクセルにｖｏｔｅし、平均化する。ここで、特定部３３２は、取得した画像を、カラー表示へ変換してもよい。
具体的には、本実施形態の変形例では、学習装置２００と同様に、画像からパッチを抽出して、抽出したパッチと、学習モデルとを用いて、眼底画像における血液循環異常領域を特定する場合について説明する。ここでは、一例として、パッチサイズを６４ｐｘ×６４ｐｘとし、ｓｔｒｉｄｅ（パッチ抽出の枠を動かす間隔）を２ｐｘとした。生成したパッチの全てを選択する。
特定部３３２は、学習モデルに基づいて、６４×６４×１の画像を取得する。特定部３３２は、取得した画素値を、元画像の対応するピクセルにｖｏｔｅし、平均化する。ここで、特定部３３２は、取得した画像を、カラー表示へ変換してもよい。
【0112】
作成部３３３は、特定部３３２が出力した患者ＩＤと、眼底画像における血液循環異常領域を示す情報とを取得する。作成部３３３は、取得した患者ＩＤと、眼底画像における血液循環異常領域を示す情報とを含み、眼科医端末２を宛先とする診断情報を作成する。作成部３３３は、作成した診断情報を通信部３０５へ出力する。
【0113】
（情報処理システムの動作）
図１７と図１８とを参照して、本実施形態の変形例の情報処理システムの動作の一例について説明する。
図１７は、本実施形態の変形例の情報処理システムに含まれる学習装置の動作の一例を示すフローチャートである。図１７は、眼科医端末２が、学習装置２００へ、ＮＰＡ・ＮＶアノテーション通知情報と、付随所見アノテーション通知情報とを送信し、検査機器３が、学習装置２００へ眼底画像通知情報と、蛍光眼底造影画像通知情報とを送信した後の動作について示す。
図１７と図１８とを参照して、本実施形態の変形例の情報処理システムの動作の一例について説明する。
図１７は、本実施形態の変形例の情報処理システムに含まれる学習装置の動作の一例を示すフローチャートである。図１７は、眼科医端末２が、学習装置２００へ、ＮＰＡ・ＮＶアノテーション通知情報と、付随所見アノテーション通知情報とを送信し、検査機器３が、学習装置２００へ眼底画像通知情報と、蛍光眼底造影画像通知情報とを送信した後の動作について示す。
【0114】
（ステップＳ２０１）
学習装置２００の通信部２０５は、検査機器３が送信した眼底画像通知情報を受信し、受信した眼底画像通知情報を、情報処理部２３０へ出力する。情報処理部２３０の画像取得部２３１は、通信部２０５が出力した眼底画像通知情報を取得し、取得した眼底画像通知情報に含まれる患者ＩＤと、眼底画像を示す情報とを関連付けて、記憶部２１０の画像ＤＢ２１３に記憶する。
学習装置２００の通信部２０５は、検査機器３が送信した眼底画像通知情報を受信し、受信した眼底画像通知情報を、情報処理部２３０へ出力する。情報処理部２３０の画像取得部２３１は、通信部２０５が出力した眼底画像通知情報を取得し、取得した眼底画像通知情報に含まれる患者ＩＤと、眼底画像を示す情報とを関連付けて、記憶部２１０の画像ＤＢ２１３に記憶する。
【0115】
（ステップＳ２０２）
学習装置２００の通信部２０５は、検査機器３が送信した蛍光眼底造影画像通知情報を受信し、受信した蛍光眼底造影画像通知情報を、情報処理部２３０へ出力する。情報処理部２３０の画像取得部２３１は、通信部２０５が出力した蛍光眼底造影画像通知情報を取得し、取得した蛍光眼底造影画像通知情報に含まれる患者ＩＤと、蛍光眼底造影画像を示す情報とを関連付けて、記憶部２１０の画像ＤＢ２１３に記憶する。
学習装置２００の通信部２０５は、検査機器３が送信した蛍光眼底造影画像通知情報を受信し、受信した蛍光眼底造影画像通知情報を、情報処理部２３０へ出力する。情報処理部２３０の画像取得部２３１は、通信部２０５が出力した蛍光眼底造影画像通知情報を取得し、取得した蛍光眼底造影画像通知情報に含まれる患者ＩＤと、蛍光眼底造影画像を示す情報とを関連付けて、記憶部２１０の画像ＤＢ２１３に記憶する。
【0116】
（ステップＳ２０３）
学習装置２００の通信部２０５は、眼科医端末２が送信したＮＰＡ・ＮＶアノテーション通知情報を受信し、受信したＮＰＡ・ＮＶアノテーション通知情報を、情報処理部２３０へ出力する。情報処理部２３０のアノテーション取得部２３２は、通信部２０５が出力したＮＰＡ・ＮＶアノテーション通知情報を取得し、取得したＮＰＡ・ＮＶアノテーション通知情報に含まれる患者ＩＤと、ＮＰＡ・ＮＶアノテーション情報とを関連付けて、記憶部２１０のアノテーションＤＢ２１４に記憶する。
学習装置２００の通信部２０５は、眼科医端末２が送信したＮＰＡ・ＮＶアノテーション通知情報を受信し、受信したＮＰＡ・ＮＶアノテーション通知情報を、情報処理部２３０へ出力する。情報処理部２３０のアノテーション取得部２３２は、通信部２０５が出力したＮＰＡ・ＮＶアノテーション通知情報を取得し、取得したＮＰＡ・ＮＶアノテーション通知情報に含まれる患者ＩＤと、ＮＰＡ・ＮＶアノテーション情報とを関連付けて、記憶部２１０のアノテーションＤＢ２１４に記憶する。
【0117】
学習装置２００の通信部２０５は、眼科医端末２が送信した付随所見アノテーション通知情報を受信し、受信した付随所見アノテーション通知情報を、情報処理部２３０へ出力する。情報処理部２３０のアノテーション取得部２３２は、通信部２０５が出力した付随所見アノテーション通知情報を取得し、取得した付随所見アノテーション通知情報に含まれる患者ＩＤと、付随所見アノテーション情報とを関連付けて、記憶部２１０のアノテーションＤＢ２１４に記憶する。
【0118】
（ステップＳ２０４）
学習装置２００の学習情報生成部２３３は、記憶部２１０の画像ＤＢ２１３に記憶された患者ＩＤと、患者ＩＤに関連付けられている眼底画像を示す情報と、蛍光眼底造影画像を示す情報とを取得する。学習情報生成部２３３は、記憶部２１０のアノテーションＤＢ２１４に記憶された患者ＩＤと、患者ＩＤに関連付けられているＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とを取得する。学習情報生成部２３３は、取得した蛍光眼底造影画像を示す情報と、ＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とに基づいて、血液循環異常領域を特定する。学習情報生成部２３３は、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたＮＰＡ・ＮＶ学習情報を生成し、生成したＮＰＡ・ＮＶ学習情報を、記憶部２１０の学習情報２１５に記憶する。
学習装置２００の学習情報生成部２３３は、記憶部２１０の画像ＤＢ２１３に記憶された患者ＩＤと、患者ＩＤに関連付けられている眼底画像を示す情報と、蛍光眼底造影画像を示す情報とを取得する。学習情報生成部２３３は、記憶部２１０のアノテーションＤＢ２１４に記憶された患者ＩＤと、患者ＩＤに関連付けられているＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とを取得する。学習情報生成部２３３は、取得した蛍光眼底造影画像を示す情報と、ＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とに基づいて、血液循環異常領域を特定する。学習情報生成部２３３は、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたＮＰＡ・ＮＶ学習情報を生成し、生成したＮＰＡ・ＮＶ学習情報を、記憶部２１０の学習情報２１５に記憶する。
【0119】
（ステップＳ２０５）
学習装置２００の学習部２３４は、記憶部２１０の学習情報２１５に記憶したＮＰＡ・ＮＶ学習情報を取得する。学習部２３４は、取得したＮＰＡ・ＮＶ学習情報に含まれる眼底画像を示す情報と、血液循環異常領域を示す情報とを取得する。学習部２３４は、取得した眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する。学習部２３４は、生成した学習モデルを、記憶部２１０の学習モデル２１６に記憶する。
学習装置２００の学習部２３４は、記憶部２１０の学習情報２１５に記憶したＮＰＡ・ＮＶ学習情報を取得する。学習部２３４は、取得したＮＰＡ・ＮＶ学習情報に含まれる眼底画像を示す情報と、血液循環異常領域を示す情報とを取得する。学習部２３４は、取得した眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する。学習部２３４は、生成した学習モデルを、記憶部２１０の学習モデル２１６に記憶する。
【0120】
図１７に示されるフローチャートにおいて、ステップＳ２０１と、Ｓ２０２と、Ｓ２０３との順序を変更してもよい。
図１７に示されるフローチャートによれば、学習装置２００は、蛍光眼底造影画像を示す情報と、ＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とに基づいて、血液循環異常領域を特定できる。学習装置２００は、眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成できる。
図１７に示されるフローチャートによれば、学習装置２００は、蛍光眼底造影画像を示す情報と、ＮＰＡ・ＮＶアノテーション情報と、付随所見アノテーション情報とに基づいて、血液循環異常領域を特定できる。学習装置２００は、眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成できる。
【0121】
図１８は、本実施形態の変形例の情報処理システムに含まれる診断支援装置の動作の一例を示すフローチャートである。図１８は、学習装置２００が、診断支援装置３００へ、学習モデル通知情報を送信し、眼科医端末２が、診断支援装置３００へ、患者情報を送信した後の動作について示す。
【0122】
（ステップＳ３０１）
診断支援装置３００の通信部３０５は、学習装置２００が送信した学習モデル通知情報を受信し、受信した学習モデル通知情報を、情報処理部３３０へ出力する。受付部３３１は、通信部３０５が出力した学習モデル通知情報を取得し、取得した学習モデル通知情報に含まれる学習モデルを取得する。受付部３３１は、取得した学習モデルを受け付け、受け付けた学習モデルを、記憶部３１０の学習モデル２１６に記憶する。
診断支援装置３００の通信部３０５は、学習装置２００が送信した学習モデル通知情報を受信し、受信した学習モデル通知情報を、情報処理部３３０へ出力する。受付部３３１は、通信部３０５が出力した学習モデル通知情報を取得し、取得した学習モデル通知情報に含まれる学習モデルを取得する。受付部３３１は、取得した学習モデルを受け付け、受け付けた学習モデルを、記憶部３１０の学習モデル２１６に記憶する。
【0123】
（ステップＳ３０２）
通信部３０５は、眼科医端末２が送信した患者情報を受信し、受信した患者情報を、情報処理部３３０へ出力する。受付部３３１は、通信部３０５が出力した患者情報を取得し、取得した患者情報に含まれる患者ＩＤと、眼底画像を示す情報とを取得する。受付部３３１は、取得した患者ＩＤと、眼底画像を示す情報とを受け付け、受け付けた患者ＩＤと、眼底画像を示す情報とを、特定部３３２に出力する。
通信部３０５は、眼科医端末２が送信した患者情報を受信し、受信した患者情報を、情報処理部３３０へ出力する。受付部３３１は、通信部３０５が出力した患者情報を取得し、取得した患者情報に含まれる患者ＩＤと、眼底画像を示す情報とを取得する。受付部３３１は、取得した患者ＩＤと、眼底画像を示す情報とを受け付け、受け付けた患者ＩＤと、眼底画像を示す情報とを、特定部３３２に出力する。
【0124】
（ステップＳ３０３）
特定部３３２は、受付部３３１が出力した患者ＩＤと、眼底画像を示す情報とを取得する。特定部３３２は、記憶部３１０の学習モデル２１６に記憶されている学習モデルを取得する。
特定部３３２は、受付部３３１が出力した患者ＩＤと、眼底画像を示す情報とを取得する。特定部３３２は、記憶部３１０の学習モデル２１６に記憶されている学習モデルを取得する。
【0125】
（ステップＳ３０４）
特定部３３２は、記憶部３１０の学習モデル２１６に記憶されている学習モデルを取得し、取得した学習モデルを用いて、特定対象である眼底画像における血液循環異常領域を特定する。特定部３３２は、特定した眼底画像における血液循環異常領域を示す情報と、患者ＩＤとを、作成部３３３へ出力する。
特定部３３２は、記憶部３１０の学習モデル２１６に記憶されている学習モデルを取得し、取得した学習モデルを用いて、特定対象である眼底画像における血液循環異常領域を特定する。特定部３３２は、特定した眼底画像における血液循環異常領域を示す情報と、患者ＩＤとを、作成部３３３へ出力する。
【0126】
（ステップＳ３０５）
作成部３３３は、特定部３３２が出力した患者ＩＤと、眼底画像における血液循環異常領域を示す情報とを取得する。作成部３３３は、患者ＩＤと、取得した眼底画像における血液循環異常領域を示す情報とを含み、眼科医端末２を宛先とする診断情報を作成する。作成部３３３は、作成した診断情報を通信部３０５へ出力する。
作成部３３３は、特定部３３２が出力した患者ＩＤと、眼底画像における血液循環異常領域を示す情報とを取得する。作成部３３３は、患者ＩＤと、取得した眼底画像における血液循環異常領域を示す情報とを含み、眼科医端末２を宛先とする診断情報を作成する。作成部３３３は、作成した診断情報を通信部３０５へ出力する。
【0127】
通信部３０５は、作成部３３３が出力した診断情報を取得し、取得した診断情報を、眼科医端末２へ送信する。
図１８に示されるフローチャートによれば、診断支援装置３００は、眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として生成された眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを用いて、特定対象である眼底画像における血液循環異常領域を特定できる。
図１８に示されるフローチャートによれば、診断支援装置３００は、眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として生成された眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを用いて、特定対象である眼底画像における血液循環異常領域を特定できる。
【0128】
前述した変形例では、診断支援装置３００が、学習装置２００が送信した学習モデル通知情報を受信し、受信した学習モデル通知情報に含まれる学習モデルを、記憶部３１０に記憶する。診断支援装置３００は、眼科医端末２が送信した患者情報に含まれる眼底画像と、記憶した学習モデルとを用いて、眼底画像における血液循環異常領域を特定し、特定した血液循環異常領域を示す情報を含む診断結果を、眼科医端末２へ送信する場合について説明したが、この例に限られない。例えば、診断支援装置３００が、学習装置２００へ、患者情報を送信するようにしてもよい。学習装置２００は、診断支援装置３００が送信した患者情報を受信し、受信した患者情報に含まれる眼底画像と、学習モデルとを用いて、眼底画像における血液循環異常領域を特定する。学習装置２００は、特定した血液循環異常領域を示す情報を含む診断結果を作成し、作成した診断結果を、診断支援装置３００に送信する。診断支援装置３００は、学習装置２００が送信した診断結果を受信し、受信した診断結果を、眼科医端末２へ送信するようにしてもよい。
【0129】
本実施形態の変形例によれば、診断支援装置３００は、眼底の画像である眼底画像と、眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定する特定部と、患者の眼底画像と、学習モデルとを用いて特定部が特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する出力部とを有する。このように構成することによって、診断支援装置３００は、蛍光眼底造影画像から医師が特定した循環異常域情報とそれに対応した眼底画像とを教師情報とした機械学習によって得られた学習モデルを用いて、通常の眼底画像から循環異常域を高精度に推定できる。
血液循環異常領域は、蛍光眼底造影画像と、蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される。このように構成することによって、蛍光眼底造影画像と、蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて、教師情報とする血液循環異常領域を生成できる。
血液循環異常領域は、蛍光眼底造影画像と、蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される。このように構成することによって、蛍光眼底造影画像と、蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて、教師情報とする血液循環異常領域を生成できる。
【0130】
特定部は、眼底画像における網膜無灌流領域と新生血管に該当する領域とのいずれか一方又は両方を特定する。このように構成することによって、通常の眼底画像から、網膜無灌流領域と新生血管に該当する領域とのいずれか一方又は両方を高精度で特定できる。
【0131】
出力部は、眼底画像に特定部が特定した血液循環異常領域を重ねた画像を出力する。このように構成することによって、通常の眼底画像から、その眼底画像に循環異常域を重畳した画像を取得できる。
【0132】
本実施形態の変形例によれば、学習装置２００は、眼底の画像である眼底画像と、眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する学習部を有する。このように構成することによって、学習装置２００は、眼底画像と、眼底画像における血液循環異常領域との関係を表す学習モデルを機械学習によって生成できる。
【0133】
血液循環異常領域は、蛍光眼底造影画像と、蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される。このように構成することによって、蛍光眼底造影画像と、蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて、教師情報とする血液循環異常領域を生成できる。
【0134】
以上、本発明の実施形態及びその変形例を説明したが、これらの実施形態及びその変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態及びその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合わせを行うことができる。これら実施形態及びその変形例は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
なお、前述のサーバ１、眼科医端末２、検査機器３、学習装置２００、診断支援装置３００は内部にコンピュータを有している。そして、前述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
なお、前述のサーバ１、眼科医端末２、検査機器３、学習装置２００、診断支援装置３００は内部にコンピュータを有している。そして、前述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0135】
なお、以上の説明に関して更に以下の付記を開示する。
（付記１）情報処理装置を制御するコンピュータに、
蛍光眼底造影画像情報を取得する蛍光眼底造影画像取得ステップと、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域と新生血管とのうち少なくとも一方に関する眼科医の診断注記を、ＮＰＡ・ＮＶアノテーション情報として取得するＮＰＡ・ＮＶアノテーション取得ステップと、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記ＮＰＡ・ＮＶアノテーション情報とに基づいて、前記網膜無灌流領域の存在確率、及び新生血管の存在確率を演算するための教師情報となるＮＰＡ・ＮＶ教師情報を生成するＮＰＡ・ＮＶ教師情報生成ステップと、
眼底画像情報を取得する眼底画像取得ステップと、
前記ＮＰＡ・ＮＶ教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とを演算するＮＰＡ・ＮＶ存在確率演算ステップと、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域に該当すると推定される領域を推定ＮＰＡとして特定し、前記新生血管に該当すると推定される領域を推定ＮＶとして特定する推定ＮＰＡ・ＮＶ特定ステップと、
を含む制御処理を実行させるプログラム。
（付記２）前記眼底画像情報に前記ＮＰＡ存在確率と、ＮＶ存在確率とを識別表示させた、ＮＰＡ・ＮＶ存在確率マップを生成するＮＰＡ・ＮＶ存在確率マップ生成ステップをさらに含む、
付記１に記載のプログラム。
（付記３）前記蛍光眼底造影画像情報及び前記眼底画像情報に付された、付随所見に関する前記眼科医の診断注記を、付随所見アノテーション情報として取得する付随アノテーション取得ステップと、
前記蛍光眼底造影画像情報及び前記眼底画像情報と、当該蛍光眼底造影画像情報及び当該眼底画像情報に対応する前記付随所見アノテーション情報とに基づいて、前記眼底画像情報における前記付随所見の存在確率を演算するための教師情報となる付随所見教師情報を生成する付随所見教師情報生成ステップと、
前記付随所見教師情報に基づいて、前記眼底画像情報における前記付随所見の存在確率を演算する付随所見存在確率演算ステップと、
をさらに含み、
前記ＮＰＡ・ＮＶ存在確率演算ステップではさらに、
前記付随所見の存在確率と、前記ＮＰＡ教師情報とに基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、新生血管の存在確率とを演算する制御処理を実行させる、
付記１又は２に記載のプログラム。
（付記４）前記眼底画像情報に前記付随所見の存在確率を識別表示させた、付随所見存在確率マップを生成する付随所見存在確率マップ生成ステップをさらに含む、
付記３に記載のプログラム。
（付記１）情報処理装置を制御するコンピュータに、
蛍光眼底造影画像情報を取得する蛍光眼底造影画像取得ステップと、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域と新生血管とのうち少なくとも一方に関する眼科医の診断注記を、ＮＰＡ・ＮＶアノテーション情報として取得するＮＰＡ・ＮＶアノテーション取得ステップと、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記ＮＰＡ・ＮＶアノテーション情報とに基づいて、前記網膜無灌流領域の存在確率、及び新生血管の存在確率を演算するための教師情報となるＮＰＡ・ＮＶ教師情報を生成するＮＰＡ・ＮＶ教師情報生成ステップと、
眼底画像情報を取得する眼底画像取得ステップと、
前記ＮＰＡ・ＮＶ教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とを演算するＮＰＡ・ＮＶ存在確率演算ステップと、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域に該当すると推定される領域を推定ＮＰＡとして特定し、前記新生血管に該当すると推定される領域を推定ＮＶとして特定する推定ＮＰＡ・ＮＶ特定ステップと、
を含む制御処理を実行させるプログラム。
（付記２）前記眼底画像情報に前記ＮＰＡ存在確率と、ＮＶ存在確率とを識別表示させた、ＮＰＡ・ＮＶ存在確率マップを生成するＮＰＡ・ＮＶ存在確率マップ生成ステップをさらに含む、
付記１に記載のプログラム。
（付記３）前記蛍光眼底造影画像情報及び前記眼底画像情報に付された、付随所見に関する前記眼科医の診断注記を、付随所見アノテーション情報として取得する付随アノテーション取得ステップと、
前記蛍光眼底造影画像情報及び前記眼底画像情報と、当該蛍光眼底造影画像情報及び当該眼底画像情報に対応する前記付随所見アノテーション情報とに基づいて、前記眼底画像情報における前記付随所見の存在確率を演算するための教師情報となる付随所見教師情報を生成する付随所見教師情報生成ステップと、
前記付随所見教師情報に基づいて、前記眼底画像情報における前記付随所見の存在確率を演算する付随所見存在確率演算ステップと、
をさらに含み、
前記ＮＰＡ・ＮＶ存在確率演算ステップではさらに、
前記付随所見の存在確率と、前記ＮＰＡ教師情報とに基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、新生血管の存在確率とを演算する制御処理を実行させる、
付記１又は２に記載のプログラム。
（付記４）前記眼底画像情報に前記付随所見の存在確率を識別表示させた、付随所見存在確率マップを生成する付随所見存在確率マップ生成ステップをさらに含む、
付記３に記載のプログラム。
【0136】
（付記５）情報処理装置が実行する情報処理方法であって、
蛍光眼底造影画像情報を取得する蛍光眼底造影画像取得ステップと、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域と新生血管とのうち少なくとも一方に関する眼科医の診断注記を、ＮＰＡ・ＮＶアノテーション情報として取得するＮＰＡ・ＮＶアノテーション取得ステップと、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記ＮＰＡ・ＮＶアノテーション情報とに基づいて、前記網膜無灌流領域の存在確率、及び新生血管の存在確率を演算するための教師情報となるＮＰＡ・ＮＶ教師情報を生成するＮＰＡ・ＮＶ教師情報生成ステップと、
眼底画像情報を取得する眼底画像取得ステップと、
前記ＮＰＡ・ＮＶ教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とを演算するＮＰＡ・ＮＶ存在確率演算ステップと、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域に該当すると推定される領域を推定ＮＰＡとして特定し、前記新生血管に該当すると推定される領域を推定ＮＶとして特定する推定ＮＰＡ・ＮＶ特定ステップと、
を含む情報処理方法。
（付記６）蛍光眼底造影画像情報を取得する蛍光眼底造影画像取得手段と、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域と新生血管とのうち少なくとも一方に関する眼科医の診断注記を、ＮＰＡ・ＮＶアノテーション情報として取得するＮＰＡ・ＮＶアノテーション取得手段と、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記ＮＰＡ・ＮＶアノテーション情報とに基づいて、前記網膜無灌流領域の存在確率、及び新生血管の存在確率を演算するための教師情報となるＮＰＡ・ＮＶ教師情報を生成するＮＰＡ・ＮＶ教師情報生成手段と、
眼底画像情報を取得する眼底画像取得手段と、
前記ＮＰＡ・ＮＶ教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とを演算するＮＰＡ・ＮＶ存在確率演算手段と、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域に該当すると推定される領域を推定ＮＰＡとして特定し、前記新生血管に該当すると推定される領域を推定ＮＶとして特定する推定ＮＰＡ・ＮＶ特定手段と、
を備える情報処理装置。
蛍光眼底造影画像情報を取得する蛍光眼底造影画像取得ステップと、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域と新生血管とのうち少なくとも一方に関する眼科医の診断注記を、ＮＰＡ・ＮＶアノテーション情報として取得するＮＰＡ・ＮＶアノテーション取得ステップと、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記ＮＰＡ・ＮＶアノテーション情報とに基づいて、前記網膜無灌流領域の存在確率、及び新生血管の存在確率を演算するための教師情報となるＮＰＡ・ＮＶ教師情報を生成するＮＰＡ・ＮＶ教師情報生成ステップと、
眼底画像情報を取得する眼底画像取得ステップと、
前記ＮＰＡ・ＮＶ教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とを演算するＮＰＡ・ＮＶ存在確率演算ステップと、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域に該当すると推定される領域を推定ＮＰＡとして特定し、前記新生血管に該当すると推定される領域を推定ＮＶとして特定する推定ＮＰＡ・ＮＶ特定ステップと、
を含む情報処理方法。
（付記６）蛍光眼底造影画像情報を取得する蛍光眼底造影画像取得手段と、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域と新生血管とのうち少なくとも一方に関する眼科医の診断注記を、ＮＰＡ・ＮＶアノテーション情報として取得するＮＰＡ・ＮＶアノテーション取得手段と、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記ＮＰＡ・ＮＶアノテーション情報とに基づいて、前記網膜無灌流領域の存在確率、及び新生血管の存在確率を演算するための教師情報となるＮＰＡ・ＮＶ教師情報を生成するＮＰＡ・ＮＶ教師情報生成手段と、
眼底画像情報を取得する眼底画像取得手段と、
前記ＮＰＡ・ＮＶ教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とを演算するＮＰＡ・ＮＶ存在確率演算手段と、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域に該当すると推定される領域を推定ＮＰＡとして特定し、前記新生血管に該当すると推定される領域を推定ＮＶとして特定する推定ＮＰＡ・ＮＶ特定手段と、
を備える情報処理装置。
【符号の説明】
【0137】
１：サーバ
２：眼科医端末
３：検査機器
１１：ＣＰＵ
１２：ＲＯＭ
１３：ＲＡＭ
１４：バス
１５：入出力インターフェース
１６：表示部
１７：入力部
１８：記憶部
１９：通信部
２０：ドライブ
３０：リムーバブルメディア
１０１：画像取得部
１０２：アノテーション取得部
１０３：教師情報生成部
１０４：演算部
１０５：マップ生成部
１０６：推定ＮＰＡ・ＮＶ特定部
１０７：推定ＮＰＡ・ＮＶ表示制御部
２００：学習装置
２０５：通信部
２１０：記憶部
２１１：プログラム
２１２：アプリ
２１３：画像ＤＢ
２１４：アノテーションＤＢ
２１５：学習情報
２１６：学習モデル
２２０：操作部
２３０：情報処理部
２３１：画像取得部
２３２：アノテーション取得部
２３３：学習情報生成部
２３４：学習部
２４０：表示部
２５０：バスライン
３００：診断支援装置
３０５：通信部
３１０：記憶部
３１１：プログラム
３１２：アプリ
３２０：操作部
３３０：情報処理部
３３１：受付部
３３２：特定部
３３３：作成部
２４０：表示部
３５０：バスライン
４０１：画像ＤＢ
４０２：アノテーションＤＢ
４０３：教師ＤＢ
Ａ：推定ＮＰＡ
Ｂ：推定ＮＶ
Ｃ：蛍光眼底造影画像情報
Ｄ：眼科医
Ｅ：ＮＰＡ・ＮＶ存在確率マップ
Ｆ：眼底画像情報
２：眼科医端末
３：検査機器
１１：ＣＰＵ
１２：ＲＯＭ
１３：ＲＡＭ
１４：バス
１５：入出力インターフェース
１６：表示部
１７：入力部
１８：記憶部
１９：通信部
２０：ドライブ
３０：リムーバブルメディア
１０１：画像取得部
１０２：アノテーション取得部
１０３：教師情報生成部
１０４：演算部
１０５：マップ生成部
１０６：推定ＮＰＡ・ＮＶ特定部
１０７：推定ＮＰＡ・ＮＶ表示制御部
２００：学習装置
２０５：通信部
２１０：記憶部
２１１：プログラム
２１２：アプリ
２１３：画像ＤＢ
２１４：アノテーションＤＢ
２１５：学習情報
２１６：学習モデル
２２０：操作部
２３０：情報処理部
２３１：画像取得部
２３２：アノテーション取得部
２３３：学習情報生成部
２３４：学習部
２４０：表示部
２５０：バスライン
３００：診断支援装置
３０５：通信部
３１０：記憶部
３１１：プログラム
３１２：アプリ
３２０：操作部
３３０：情報処理部
３３１：受付部
３３２：特定部
３３３：作成部
２４０：表示部
３５０：バスライン
４０１：画像ＤＢ
４０２：アノテーションＤＢ
４０３：教師ＤＢ
Ａ：推定ＮＰＡ
Ｂ：推定ＮＶ
Ｃ：蛍光眼底造影画像情報
Ｄ：眼科医
Ｅ：ＮＰＡ・ＮＶ存在確率マップ
Ｆ：眼底画像情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】