特許 7468163 眼科画像処理プログラムおよび眼科画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】眼科画像処理プログラムおよび眼科画像処理装置

(51)【国際特許分類】

   A61B 3/14 20060101AFI20240409BHJP

   G16H 30/20 20180101ALI20240409BHJP

【ＦＩ】

A61B3/14

G16H30/20

【請求項の数】 2

(21)【出願番号】P 2020097238

(22)【出願日】2020-06-03

(65)【公開番号】P2021186466

(43)【公開日】2021-12-13

【審査請求日】2023-05-01

(73)【特許権者】

【識別番号】000135184

【氏名又は名称】株式会社ニデック

(74)【代理人】

【識別番号】100166785

【弁理士】

【氏名又は名称】大川 智也

(72)【発明者】

【氏名】水野 雄介

(72)【発明者】

【氏名】水越 邦仁

(72)【発明者】

【氏名】坂下 祐輔

【審査官】▲高▼木 尚哉

(56)【参考文献】

【文献】特開２０１３－１７２９４１（ＪＰ，Ａ）

【文献】特表２００２－５１６６８８（ＪＰ，Ａ）

【文献】特開２０１９－２０８８５２（ＪＰ，Ａ）

【文献】国際公開第２０１９／２０３３１２（ＷＯ，Ａ１）

【文献】特開２０１５－０８０６７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

Ｇ１６Ｈ ３０／２０

(57)【特許請求の範囲】

【請求項1】

被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
疾患を含む対象患者の被検眼の眼科画像である疾患画像を取得する疾患画像取得ステップと、
前記対象患者に関する患者情報、および、前記対象患者の眼科画像の少なくともいずれかに基づいて、前記疾患画像に近似し、且つ疾患の程度が前記疾患画像における疾患よりも良好な画像である比較画像を取得する比較画像取得ステップと、
前記疾患画像と前記比較画像を同時に、または切り換えて表示部に表示させる比較表示ステップと、
を前記眼科画像処理装置に実行させ、
前記比較画像取得ステップにおいて、
同一の前記対象患者の左眼および右眼のうち、前記疾患画像が撮影された前記被検眼とは反対側の眼が撮影された眼科画像である反対眼画像を取得し、
前記反対眼画像が撮影された前記被検眼が正常眼である場合には、取得した前記反対眼画像を左右反転させることで前記比較画像を取得し、
前記反対眼画像が撮影された前記被検眼が正常眼でない場合には、複数の正常な被検眼の眼科画像のデータが記憶されたデータベースから、前記患者情報が示す年齢との差が閾値以下の年齢の被検者の眼科画像を前記比較画像として取得する処理、または、機械学習アルゴリズムによって訓練された数学モデルに前記疾患画像を入力することで、入力された前記疾患画像に対して疾患部の状態が良好な状態に改変された画像である予測画像を前記比較画像として取得する処理を実行することを特徴とする眼科画像処理プログラム。

【請求項2】

被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
前記眼科画像処理装置の制御部は、
疾患を含む対象患者の被検眼の眼科画像である疾患画像を取得する疾患画像取得ステップと、
前記対象患者に関する患者情報、および、前記対象患者の眼科画像の少なくともいずれかに基づいて、前記疾患画像に近似し、且つ疾患の程度が前記疾患画像における疾患よりも良好な画像である比較画像を取得する比較画像取得ステップと、
前記疾患画像と前記比較画像を同時に、または切り換えて表示部に表示させる比較表示ステップと、
を実行し、
前記比較画像取得ステップにおいて、
同一の前記対象患者の左眼および右眼のうち、前記疾患画像が撮影された前記被検眼とは反対側の眼が撮影された眼科画像である反対眼画像を取得し、
前記反対眼画像が撮影された前記被検眼が正常眼である場合には、取得した前記反対眼画像を左右反転させることで前記比較画像を取得し、
前記反対眼画像が撮影された前記被検眼が正常眼でない場合には、複数の正常な被検眼の眼科画像のデータが記憶されたデータベースから、前記患者情報が示す年齢との差が閾値以下の年齢の被検者の眼科画像を前記比較画像として取得する処理、または、機械学習アルゴリズムによって訓練された数学モデルに前記疾患画像を入力することで、入力された前記疾患画像に対して疾患部の状態が良好な状態に改変された画像である予測画像を前記比較画像として取得する処理を実行することを特徴とする眼科画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被検眼の組織の画像である眼科画像を処理するための眼科画像処理プログラム、および眼科画像処理装置に関する。

【背景技術】

【0002】

近年、眼科画像を処理して医療従事者（例えば、医師および補助者等）による患者の診療を補助するための種々の技術が提案されている。例えば、特許文献１に記載の画像処理装置は、被検眼の画像に基づいて、被検眼の診断結果を得る。画像処理装置は、被検眼が緑内障であると診断された場合に、被検眼と正常眼の比較画面を表示させる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１２１８８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

被検眼に疾患がある場合、疾患を含む被検眼の眼科画像と、疾患の程度が良好な（例えば、疾患が無い正常眼の）眼科画像（以下、「比較画像」という。）を比較しつつ、患者に対する説明を行うことができれば、有用な場合がある。しかし、患者の眼科画像とは全く近似していない比較画像が用いられても、患者による説明の理解の補助とはなり難い。また、大量の眼科画像の中から、患者の眼科画像に近似する比較画像を医療従事者が探し出すのは、大きな負担となる。

【0005】

本開示の典型的な目的は、患者の診療に有用な眼科画像を適切に提示することが可能な眼科画像処理プログラムおよび眼科画像処理装置を提供することである。

【課題を解決するための手段】

【0006】

本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、疾患を含む対象患者の被検眼の眼科画像である疾患画像を取得する疾患画像取得ステップと、前記対象患者に関する患者情報、および、前記対象患者の眼科画像の少なくともいずれかに基づいて、前記疾患画像に近似し、且つ疾患の程度が前記疾患画像における疾患よりも良好な画像である比較画像を取得する比較画像取得ステップと、前記疾患画像と前記比較画像を同時に、または切り換えて表示部に表示させる比較表示ステップと、を前記眼科画像処理装置に実行させ、前記比較画像取得ステップにおいて、同一の前記対象患者の左眼および右眼のうち、前記疾患画像が撮影された前記被検眼とは反対側の眼が撮影された眼科画像である反対眼画像を取得し、前記反対眼画像が撮影された前記被検眼が正常眼である場合には、取得した前記反対眼画像を左右反転させることで前記比較画像を取得し、前記反対眼画像が撮影された前記被検眼が正常眼でない場合には、複数の正常な被検眼の眼科画像のデータが記憶されたデータベースから、前記患者情報が示す年齢との差が閾値以下の年齢の被検者の眼科画像を前記比較画像として取得する処理、または、機械学習アルゴリズムによって訓練された数学モデルに前記疾患画像を入力することで、入力された前記疾患画像に対して疾患部の状態が良好な状態に改変された画像である予測画像を前記比較画像として取得する処理を実行する。

【0007】

本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、疾患を含む対象患者の被検眼の眼科画像である疾患画像を取得する疾患画像取得ステップと、前記対象患者に関する患者情報、および、前記対象患者の眼科画像の少なくともいずれかに基づいて、前記疾患画像に近似し、且つ疾患の程度が前記疾患画像における疾患よりも良好な画像である比較画像を取得する比較画像取得ステップと、前記疾患画像と前記比較画像を同時に、または切り換えて表示部に表示させる比較表示ステップと、を実行し、前記比較画像取得ステップにおいて、同一の前記対象患者の左眼および右眼のうち、前記疾患画像が撮影された前記被検眼とは反対側の眼が撮影された眼科画像である反対眼画像を取得し、前記反対眼画像が撮影された前記被検眼が正常眼である場合には、取得した前記反対眼画像を左右反転させることで前記比較画像を取得し、前記反対眼画像が撮影された前記被検眼が正常眼でない場合には、複数の正常な被検眼の眼科画像のデータが記憶されたデータベースから、前記患者情報が示す年齢との差が閾値以下の年齢の被検者の眼科画像を前記比較画像として取得する処理、または、機械学習アルゴリズムによって訓練された数学モデルに前記疾患画像を入力することで、入力された前記疾患画像に対して疾患部の状態が良好な状態に改変された画像である予測画像を前記比較画像として取得する処理を実行する。

【0008】

本開示に係る眼科画像処理プログラムおよび眼科画像処理装置によると、患者の診療に有用な眼科画像が適切に提示される。

【図面の簡単な説明】

【0009】

【図1】数学モデル構築装置１、眼科画像処理装置２１、および撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。

【図2】予測画像６０を取得するための本実施形態のモデル構造の一例を説明するための説明図である。

【図3】眼科画像処理装置２１が実行する眼科画像処理の一例を示すフローチャートである。

【図4】疾患画像３０Ａと比較画像３０Ｂが比較表示されている表示装置２８の表示画面の一例を示す図である。

【発明を実施するための形態】

【0010】

＜概要＞
本開示で例示する眼科画像処理装置の制御部は、疾患画像取得ステップ、比較画像取得ステップ、および比較表示ステップを実行する。疾患画像取得ステップでは、制御部は、疾患を含む対象患者の被検眼の眼科画像である疾患画像を取得する。比較画像取得ステップでは、制御部は、対象患者に関する患者情報、および、対象患者の眼科画像の少なくともいずれかに基づいて、疾患画像に近似し且つ疾患の程度が疾患画像における疾患よりも良好な画像である比較画像を取得する。比較表示ステップでは、制御部は、疾患画像と比較画像を同時に、または切り換えて表示部に表示させる。

【0011】

本開示で例示する眼科画像処理装置によると、患者情報、および対象患者の眼科画像の少なくともいずれかに基づいて、疾患画像に近似する適切な比較画像が自動的に取得され、表示部に表示される。従って、医療従事者による患者の診療が、比較画像によって適切に補助される。

【0012】

各種ステップを実行するデバイス（つまり、眼科画像処理装置として機能するデバイス）は、適宜選択できる。例えば、パーソナルコンピュータ（以下、「ＰＣ」という）、の制御部が、全てのステップを実行してもよい。この場合、ＰＣの制御部は、眼科画像撮影装置から眼科画像のデータ（以下、単に「眼科画像」という場合もある。）を取得し、取得した眼科画像に基づいて種々の処理を行ってもよい。また、タブレット端末、スマートフォン、サーバ、および眼科画像撮影装置等の少なくともいずれかの制御部が、全てのステップを実行してもよい。また、複数のデバイスの制御部が協働して、各ステップを実行してもよい。

【0013】

制御部は、比較画像取得ステップにおいて、対象患者の左眼および右眼のうち、疾患画像が撮影された被検眼とは反対側の眼が撮影された反対眼画像を取得してもよい。制御部は、取得した反対眼画像を左右反転させることで、比較画像を取得してもよい。同一の患者の左眼および右眼の各々の眼科画像は、近似し易い。従って、対象患者の両眼のうち、疾患がある眼とは反対側の眼の画像が左右反転されることで、患者等は、疾患がある一方の眼の画像と、疾患の程度が良好な他方の眼の画像を、方向が合致した状態で適切に比較することができる。

【0014】

なお、対象患者の左眼および右眼の両方に疾患がある場合には、反対眼画像は比較画像として望ましくない。従って、制御部は、対象患者の左眼および右眼の両方に疾患がある場合には、反対眼画像の左右を反転させて比較画像として取得する処理を禁止してもよい。この場合、不要な処理が適切に省略される。

【0015】

制御部は、比較画像取得ステップにおいて、複数の正常な被検眼の眼科画像のデータが記憶されたデータベースから、患者情報が示す年齢との差が閾値以下の年齢の被検者の眼科画像、または、患者情報が示す年齢との差が閾値以下の年齢であり、且つ患者情報が示す性別と同じ性別の被検者の眼科画像を、比較画像として取得してもよい。年齢が近い被検者の眼科画像、および、性別が同じ被検者の眼科画像は近似し易い。従って、取得された比較画像が表示されることで、診療が適切に補助される。

【0016】

なお、制御部は、年齢および性別に基づいて取得された眼科画像と、対象患者の疾患画像の間で、撮影対象とされた眼の左右が異なる場合には、年齢および性別に基づいて取得された眼科画像を左右反転させた画像を、比較画像として取得してもよい。この場合、患者等は、疾患画像と比較画像を、方向が合致した状態で適切に比較することができる。

【0017】

また、制御部は、年齢および性別の少なくともいずれかに基づいて、複数の眼科画像を、比較画像の候補としてデータベースから抽出してもよい。制御部は、抽出した複数の眼科画像の候補の中から、適切な比較画像を取得してもよい。具体的には、制御部は、抽出した複数の眼科画像の中で、疾患の程度が良好な眼科画像を、比較画像として取得してもよい。疾患の程度は、予め眼科画像毎に付与されていてもよいし、機械学習アルゴリズム等によって付与されてもよい。また、制御部は、抽出した複数の眼科画像の中で、画質が良好な眼科画像を、比較画像として取得してもよい。

【0018】

なお、制御部は、比較画像を取得した被検眼（比較画像の撮影対象の被検眼）について、比較画像以外のデータ（例えば、比較画像とは異なる撮影方法で撮影された被検眼の画像、および、被検眼に対して実行された視野検査の結果を示すデータ等）がデータベースに含まれている場合には、含まれているデータの少なくともいずれかを、比較画像と共に、または切り換えて表示部に表示させてもよい。この場合、対象患者の疾患の状態が、複数の情報によってより適切に把握される。

【0019】

制御部は、比較画像取得ステップにおいて、機械学習アルゴリズムによって訓練された数学モデルに疾患画像を入力することで、入力された疾患画像に対して、疾患部の状態が良好な状態に改変された画像である予測画像を、比較画像として取得してもよい。この場合、疾患画像と比較される比較画像が、疾患画像に基づいて作成される。つまり、医師が説明を行う対象患者とは別の被検者の画像でなく、説明を行う対象患者本人の疾患画像が適切に改変された予測画像が、比較画像として対象患者に提示される。よって、疾患画像と比較画像がより適切に比較される。

【0020】

制御部は、数学モデルを利用することで、実際に撮影された対象患者の疾患画像に基づいて予測画像を取得することができる。つまり、制御部は、実際に撮影された疾患画像における画素値、組織の構造、明るさ、コントラスト等の少なくともいずれかに基づいて、予測画像を取得する。従って、対象患者自身の眼科画像に基づくことなく予測画像が取得される場合（例えば、通常の画像描写ソフトによって予測画像が生成される場合等）に比べて、疾患画像と比較画像がより比較され易い。

【0021】

対象患者の左眼および右眼のうち、疾患画像が取得された被検眼とは反対側の眼の疾患の程度が良好である場合には、制御部は、疾患画像と共に、同一の対象患者の反対側の眼の眼科画像に関するデータ（例えば、画像のデータ、または、画像の色に関するデータ等）を数学モデルに入力してもよい。同一の患者の左眼および右眼の眼科画像であっても、疾患がある眼の画像と、疾患が無い眼の画像の間で組織の色等が異なる場合がある。従って、疾患の程度が良好な眼の画像のデータが共に用いられることで、より良好な比較画像が取得される。

【0022】

数学モデルは、複数の訓練用データセットによって訓練されていてもよい。訓練用データセットは、入力用訓練データおよび出力用訓練データ（例えば正解データ）を含んでいてもよい。入力用訓練データは、疾患を含む被検眼の眼科画像を含んでいてもよい。出力用訓練データは、入力用訓練データと同一の撮影対象について、入力用訓練データの撮影時よりも疾患部の状態が良好である際（例えば、疾患が悪化する前、または、悪化した疾患が治癒した後等）に撮影された眼科画像を含んでいてもよい。この場合、実際に撮影された眼科画像に基づいて、予測画像を出力するための数学モデルが適切に訓練される。

【0023】

制御部は、比較画像取得ステップにおいて、予測画像における疾患部の状態の程度示す程度情報を、疾患画像と共に数学モデルに入力することで、予測画像を取得してもよい。この場合、程度情報が示す程度に疾患部の状態が変化した予測画像が、実際に撮影された疾患画像に基づいて取得される。従って、疾患の状態がより適切に予測された予測画像が取得される。なお、程度情報は、ユーザ（例えば医療従事者等）によって指定されてもよい。また、１つまたは複数の程度情報が、予め定められていてもよい。

【0024】

制御部は、比較画像取得ステップにおいて、互いに異なる複数の程度情報の各々を、疾患画像と共に数学モデルに入力することで、疾患部の状態の程度が異なる複数の予測画像を取得してもよい。制御部は、比較表示ステップにおいて、複数の予測画像を、疾患部の状態の程度に沿って並べて、または切り換えて表示部に表示させてもよい。この場合、対象患者は、疾患の程度が互いに異なる複数の予測画像を確認することができるので、自らの疾患の推移を適切に把握し易い。

【0025】

制御部は、指示受付ステップおよび表示変更ステップをさらに実行してもよい。指示受付ステップでは、制御部は、表示部に表示させている画像の倍率を変更する指示、および、画像領域全体のうち表示部に表示させる領域を移動させる指示の少なくともいずれかの入力を受け付ける。表示変更ステップでは、制御部は、入力された指示に応じた、画像の倍率変更および領域移動処理の少なくともいずれかを、疾患画像と比較画像の両方に対して実行する。この場合、疾患画像と比較画像の倍率または表示領域が、連動して変更される。よって、ユーザは、疾患画像と比較画像をより適切に比較することができる。

【0026】

なお、制御部は、表示部における疾患画像のみの表示と、疾患画像および比較画像の両方の表示とを、ユーザによって入力される指示に応じて切り換えてもよい。この場合、ユーザは、状況に応じて適切な画像を表示部に表示させることができる。

【0027】

＜実施形態＞
（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された情報に基づいて、訓練内容に応じた情報を出力する（数学モデルの詳細については、図２を参照して後述する）。眼科画像処理装置２１は、疾患画像３０Ａ（図２および図４参照）と比較するための比較画像３０Ｂ（図４参照）を取得し、表示装置２８に表示させる。疾患画像３０Ａとは、疾患を含む対象患者の被検眼の眼科画像３０である。比較画像３０Ｂとは、疾患画像３０Ａに近似し、且つ、疾患の程度が疾患画像３０Ａにおける疾患よりも良好な眼科画像３０である。ユーザは、疾患画像３０Ａを適切な比較画像３０Ｂと比較することができる。その結果、診療が適切に補助される。なお、本実施形態の眼科画像処理装置２１は、複数の方法で適切な比較画像３０Ｂを取得することができる。本実施形態では、対象患者の正常眼（疾患の程度が良好な方の眼）の眼科画像を利用して比較画像３０Ｂを取得する方法、データベース２９から比較画像３０Ｂを取得する方法、および、数学モデルを利用して比較画像３０Ｂを取得する方法が適宜実行される。撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像３０（図２参照）を撮影する。

【0028】

なお、本実施形態では、眼科画像３０として、被検眼の眼底組織を撮影した画像が用いられる場合を例示する。しかし、眼科画像３０が、眼底以外の被検眼の組織の画像である場合でも、本開示で例示する技術の少なくとも一部を適用できる。また、被検眼以外の生体組織の医療画像（例えば内臓の画像等）が用いられてもよい。

【0029】

一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、撮影装置１１Ａから取得した眼科画像３０を利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。

【0030】

また、本実施形態の眼科画像処理装置２１にはＰＣが用いられる。しかし、眼科画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、撮影装置１１Ｂまたはサーバ等が、眼科画像処理装置２１として機能してもよい。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。

【0031】

また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。

【0032】

数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、数学モデルを構築するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。

【0033】

数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

【0034】

数学モデル構築装置１は、撮影装置１１Ａから眼科画像３０の情報（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、撮影装置１１Ａから眼科画像３０の情報を取得してもよい。

【0035】

眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診療、診察、診断、または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する眼科画像処理（図３参照）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、撮影装置１１Ｂ、数学モデル構築装置１、およびデータベース２９等）と接続する。

【0036】

データベース２９には、複数の被検眼のデータが記憶されている。特に、本実施形態のデータベース２９には、複数の正常な被検眼の眼科画像３０のデータが記憶されている。また、本実施形態のデータベース２９には、眼科画像３０とは異なる撮影方法で撮影された被検眼の画像、および、被検眼に対して実行された視野検査の結果を示すデータの少なくともいずれかが、被検眼に対応付けて記憶されている場合もある。なお、データベース２９は、例えば、クラウドサービスを提供するメーカーのサーバ（所謂クラウドサーバ）であってもよいし、クラウドサーバ以外のサーバ（例えば、医療機関に設置されたサーバ、または、眼科画像処理プログラムを提供するメーカーのサーバ等）であってもよい。また、サーバ以外のデバイス（例えば、眼科画像処理装置２１の記憶装置２４等）が、データベースとして機能してもよい。

【0037】

眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。

【0038】

眼科画像処理装置２１は、撮影装置１１Ｂから眼科画像３０を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、撮影装置１１Ｂから眼科画像３０を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。

【0039】

撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に眼科画像３０を提供する撮影装置１１Ａと、眼科画像処理装置２１に眼科画像３０を提供する撮影装置１１Ｂが使用される場合について説明する。しかし、使用される撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および眼科画像処理装置２１は、複数の撮影装置１１から眼科画像３０を取得してもよい。また、数学モデル構築装置１および眼科画像処理装置２１は、共通する１つの撮影装置から眼科画像３０を取得してもよい。なお、本実施形態で例示する２つの撮影装置１１Ａ，１１Ｂは、同一の構成を備える。従って、以下では、２つの撮影装置１１Ａ，１１Ｂについて纏めて説明を行う。

【0040】

撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。

【0041】

一例として、本実施形態の眼科画像撮影部１６は、被検眼の眼底の正面画像を撮影する眼底カメラの構成（照明光源、照明光学系、受光光学系、撮影素子等）を備える。しかし、眼科画像撮影部１６は、眼底カメラの構成と共に、または眼底カメラの構成に代えて、眼底カメラの撮影方式とは異なる方式で眼底画像を撮影するための構成（例えば、被検眼の断層画像等を撮影するＯＣＴ装置の構成、または、走査型レーザ検眼鏡（ＳＬＯ）の構成等）を備えていてもよい。

【0042】

（数学モデルのモデル構造）
図２を参照して、眼科画像処理装置２１が予測画像６０を取得するための、本実施形態の数学モデルのモデル構造について説明する。本実施形態の眼科画像処理装置２１は、機械学習アルゴリズムによって訓練された数学モデルに、眼科画像３０の一種である疾患画像３０Ａを入力することで、数学モデルが出力する予測画像６０を比較画像３０Ｂ（図４参照）として取得することができる。予測画像６０とは、疾患画像３０Ａに対して、疾患部３１の状態が良好な状態に改変された画像である。本実施形態では、予測画像６０を取得するための数学モデルとして、疾患部除去モデル７１、疾患部識別モデル７２、予測モデル７３、および予測画像生成モデル７４が用いられる。

【0043】

疾患部除去モデル７１は、疾患画像３０Ａを入力することで、疾患画像３０Ａから疾患部３１の情報が除去された疾患部除去画像４０を出力する。疾患部除去画像４０には、疾患部３１の情報を含まず、且つ組織の構造の情報を含む各種画像を採用できる。本実施形態では、組織の構造の１つである血管の画像（眼底血管画像）が、疾患部除去画像４０として使用される。つまり、本実施形態の疾患部除去モデル７１は、血管抽出モデルとも表現できる。

【0044】

疾患部識別モデル７２は、疾患画像３０Ａを入力することで、疾患画像３０Ａに疾患部３１が存在する場合の疾患部３１の検出結果（疾患部情報）を出力する。本実施形態では、疾患部識別モデル７２によって出力される疾患部情報には、疾患部３１の位置の情報、疾患部３１の範囲の情報、および疾患部３１の種類（疾患の種類）の情報が含まれる。

【0045】

一例として、本実施形態の疾患部識別モデル７２は、疾患画像３０Ａに含まれる疾患部３１の種類の検出結果を得る際のアテンションマップ８０を出力する。疾患部３１の位置および範囲の情報は、アテンションマップ８０から取得される。アテンションマップ８０は、疾患部識別モデル７２が疾患部３１の種類の検出結果を得る際に影響した各位置に対する影響度（注目度）の、画像領域内における分布を示す。影響度が高い領域は、影響度が低い領域に比べて、疾患部３１の種類の検出結果に強く影響する。アテンションマップ８０の一例は、例えば以下の論文等に記載されている。「Ｒａｍｐｒａｓａａｔｈ Ｒ． Ｓｅｌｖａｒａｊｕ， ｅｔ ａｌ． “Ｇｒａｄ－ＣＡＭ： Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０１７－Ｏｃｔ， ｐｐ． ６１８－６２６」

【0046】

ただし、疾患部３１の位置および範囲の情報を取得する方法を変更することも可能である。例えば、疾患画像３０Ａに対して公知の画像処理が実行されて、疾患部３１の領域がセグメンテーションされることで、疾患部３１の位置および範囲の情報が取得されてもよい。

【0047】

予測モデル７３は、将来の疾患部の状態（本実施形態では、疾患部の位置および範囲）を予測する。一例として、本実施形態の予測モデル７３は、疾患部識別モデル７２によって出力された疾患部３１の位置および範囲の情報（本実施形態ではアテンションマップ８０）と、将来の疾患部３１の状態の程度を示す程度情報を入力することで、予測される将来の疾患部３１の位置および範囲を二次元的に示す予測疾患部状態画像８１を出力する。程度情報は、例えば、入力された疾患画像３０Ａにおける疾患の程度を「１００」とし、疾患が全く無い場合（疾患の発生前、または疾患の完治後）の疾患の程度を「０」として、「０」から「９９」の間の数字によって入力されてもよい。この場合、程度情報として「０」が入力されると、予測疾患部状態画像８１における疾患の範囲は無くなる。また、疾患が治癒する程度を複数段階（例えば、「小」「中」「大」「完治」等）で示す情報が、程度情報として使用されてもよい。予測モデル７３に入力される程度情報は、ユーザ（例えば医療従事者等）によって指定されてもよい。また、１つまたは複数の程度情報が、予め定められていてもよい。

【0048】

また、本実施形態の予測モデル７３には、互いに異なる複数程度情報を入力することも可能である。この場合、予測モデル７３は、疾患部３１の状態の程度が互いに異なる複数の予測疾患部状態画像８１を出力することができる。その結果、疾患の程度が異なる複数の予測画像６０が、最終的に出力される。

【0049】

予測画像生成モデル７４は、疾患部除去画像４０、疾患の種類（疾患部３１の種類）、および、予測される疾患部の状態を示す情報（本実施形態では予測疾患部状態画像８１）を入力することで、予測画像６０を出力する。

【0050】

本実施形態では、実際に撮影された眼科画像３０（詳細には疾患画像３０Ａ）における画素値、組織の構造、明るさ、コントラスト等の少なくともいずれか（本実施形態では、疾患画像３０Ａから取得される疾患部除去画像４０が示す組織の構造、および、疾患部３１以外の部位の組織の色の情報等）に基づいて、予測画像６０が取得される。よって、被検者自身の眼科画像３０に基づくことなく予測画像が取得される場合に比べて、予測される疾患の状態を被検者に実感させやすい。

【0051】

また、同一の患者の左眼および右眼の眼科画像３０であっても、疾患がある眼の画像と、疾患が無い眼の画像の間で組織の色等が異なる場合がある。従って、対象患者の左眼および右眼のうち、疾患画像３０Ａが取得された被検眼とは反対側の眼の疾患の程度が良好である場合には、反対側の眼の眼科画像３０に関するデータ（例えば、眼科画像３０のデータそのもの、または、眼科画像３０の色に関するデータ等）も、数学モデル（例えば、数学モデル中の予測画像生成モデル７４等）に入力されてもよい。この場合、より良好な予測画像６０が取得される。

【0052】

数学モデル構築装置１が実行する数学モデル構築処理の一例について説明する。数学モデル構築装置１のＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行することで、数学モデルを構築する。構築された数学モデルを実現するためのプログラムは、眼科画像処理装置２１の記憶装置２４に記憶される。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

【0053】

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。

【0054】

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。

【0055】

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。

【0056】

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。

【0057】

本実施形態では、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）等によって、各々の数学モデルが構築されている。

【0058】

数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、複数の訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。数学モデルは、ある入力用訓練データが入力された時に、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。

【0059】

疾患部除去モデル７１の構築方法の一例について説明する。本実施形態では、数学モデル構築装置１のＣＰＵ３は、疾患部除去モデル７１を構築する場合、撮影装置１１Ａによって撮影された被検者の眼科画像３０を入力用訓練データとし、且つ、同一の被検者の疾患部除去画像（本実施形態では眼底血管画像）４０を出力用訓練データとして、数学モデルを訓練する。疾患部除去画像４０は、例えば、入力用訓練データとして用いられる二次元正面画像を撮影する手法とは異なる手法で撮影装置１１Ａによって撮影されてもよいし、撮影装置１１Ａとは異なるデバイスによって撮影されてもよい。また、公知の画像処理によって、入力用訓練データとして用いられる二次元正面画像から疾患部除去画像４０が抽出されてもよい。また、ユーザから入力される指示に応じて、二次元正面画像から疾患部除去画像４０が抽出されてもよい。

【0060】

疾患部識別モデル７２の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、疾患部識別モデル７２を構築する場合、撮影装置１１Ａによって撮影された被検者の眼科画像３０を入力用訓練データとし、且つ、入力用訓練データ（眼科画像３０）における疾患部３１の情報（本実施形態では、疾患部３１の位置および範囲の情報と、疾患部３１の種類の情報）を出力用訓練データとして、数学モデルを訓練する。疾患部３１の情報は、例えば、入力用訓練データ（眼科画像３０）を確認したユーザから入力される指示に応じて生成されてもよい。また、入力用訓練データに対して公知の画像処理が実行されることで、疾患部３１の情報の少なくとも一部（例えば、位置および範囲の情報）が生成されてもよい。

【0061】

予測モデル７３の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、予測モデル７３を構築する場合、入力用訓練データには、前述した疾患部３１の情報（本実施形態では、疾患部３１の位置および範囲の情報）と、撮影装置１１Ａによって撮影された被検者の眼科画像３０とが含まれる。また、予測モデル７３を構築する場合の出力用訓練データには、疾患部除去モデル７１および疾患部識別モデル７２を訓練する際に入力用訓練データとして使用された眼科画像３０よりも前または後に、同一の撮影対象について撮影装置１１Ａによって撮影された眼科画像３０（例えば、入力用訓練データよりも疾患の程度が良好な眼科画像３０）における、疾患部の状態（位置および範囲）の情報が含まれる。疾患部の位置および範囲の情報は、ユーザから入力される指示に応じて生成されてもよいし、公知の画像処理によって生成されてもよい。本実施形態では、疾患部の状態の情報として、疾患部の位置および範囲を示す二次元の画像が用いられる。また、予測モデル７３を構築する際の入力用訓練データには、程度情報が含まれる。程度情報は、ユーザによって入力されてもよい。

【0062】

予測画像生成モデル７４の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、予測画像生成モデル７４を構築する場合、疾患部除去モデル７１および疾患部識別モデル７２を訓練する際に入力用訓練データとして使用された眼科画像３０よりも前または後に、同一の撮影対象について撮影装置１１Ａによって撮影された眼科画像３０を、出力用訓練データとする。また、ＣＰＵ３は、出力用訓練データ（眼科画像３０）から疾患部の情報が除去された疾患部除去画像４０と、出力用訓練データに関する疾患部３１の情報（本実施形態では、疾患部３１の位置および範囲の情報、および疾患部３１の種類の情報）を、入力用訓練データとする。ＣＰＵ３が疾患部除去画像４０および疾患部の情報を取得する方法には、前述した方法と同様の方法を採用できる。

【0063】

以上説明したように、複数の数学モデル（疾患部除去モデル７１、疾患部識別モデル７２、予測モデル７３、および予測画像生成モデル７４）を含む本実施形態の数学モデルの全体は、少なくとも、疾患を含む被検眼の眼科画像３０を入力用訓練データとして訓練される。さらに、数学モデル全体は、入力用訓練データと同一の撮影対象について、入力用訓練データの撮影時よりも疾患部の状態が良好である際（例えば、疾患が悪化する前、または、悪化した疾患が治癒した後等）に撮影された眼科画像３０を、出力用訓練データとして訓練される。

【0064】

（眼科画像処理）
図３および図４を参照して、本実施形態の眼科画像処理装置２１が実行する眼科画像処理について説明する。眼科画像処理は、記憶装置２４に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。ＣＰＵ２３は、比較画像３０Ｂを取得させる指示がユーザによって入力されると、図３に例示する眼科画像処理を開始する。

【0065】

前述したように、本実施形態の眼科画像処理装置２１は、対象患者の正常眼の眼科画像を利用して比較画像３０Ｂを取得する方法（以下、「反対眼の画像利用」という）、データベース２９から比較画像３０Ｂを取得する方法（以下、「データベース利用」という）、および、数学モデルを利用して比較画像３０Ｂを取得する方法（以下、「数学モデル利用」という）をいずれも実行することができる。本実施形態では、ユーザは、操作部２７を操作することで、比較画像３０Ｂを取得するための複数の方法の各々について、眼科画像処理装置２１に実行させる優先順位を設定することができる。

【0066】

図３に示すように、ＣＰＵ２３は、眼科画像処理を開始すると、対象患者の疾患画像３０Ａを取得する（Ｓ１）。次いで、ＣＰＵ２３は、比較画像３０Ｂを取得する方法として、反対眼の画像を利用する方法が優先的に設定されているか否かを判断する（Ｓ２）。設定されていなければ（Ｓ２：ＮＯ）、処理はそのままＳ６へ移行する。

【0067】

反対眼の画像を利用する方法が優先的に設定されている場合（Ｓ２：ＹＥＳ）、ＣＰＵ２３は、対象患者の左右眼のうち、疾患画像３０Ａが撮影された被検眼とは反対側の眼が撮影された眼科画像（以下、「反対眼画像」という）を取得する。ＣＰＵ２３は、反対側の眼が正常眼であるか否かを判断する（Ｓ３）。Ｓ３の判断は、反対眼画像に基づいてＣＰＵ２３によって行われてもよい。この場合、Ｓ３の判断に、機械学習アルゴリズムによって訓練された数学モデルが利用されてもよい。また、Ｓ３の判断は、医療従事者によって眼科画像処理装置２１に入力される指示に応じて行われてもよい。なお、疾患が全く無い眼を正常眼と定義してもよいし、疾患画像３０Ａに写る疾患よりも疾患の程度が良好な眼を正常眼と定義してもよい。反対側の眼が正常眼でない場合には（Ｓ３：ＮＯ）、反対眼画像は比較画像３０Ｂとして望ましくないので、処理はそのままＳ６へ移行する。

【0068】

反対側の眼が正常眼である場合（Ｓ３：ＹＥＳ）、ＣＰＵ２３は、反対眼画像を左右反転させた画像を、比較画像３０Ｂとして取得し、疾患画像３０Ａと共に、または疾患画像３０Ａと切り換えて表示装置２８に表示させる（Ｓ４）。その後、処理はＳ１５へ移行する。同一の患者の左眼および右眼の各々の眼科画像は、近似し易い。従って、正常眼の画像である反対眼画像が左右反転されることで、患者等は、疾患がある一方の眼の画像と、疾患の程度が良好な他方の眼の画像を、方向が合致した状態で適切に比較することができる。

【0069】

反対眼の画像が利用されない場合、ＣＰＵ２３は、比較画像３０Ｂを取得する方法として、データベース２９を利用する方法が優先的に設定されているか否かを判断する（Ｓ６）。設定されていなければ（Ｓ６：ＮＯ）、処理はそのままＳ１１へ移行する。データベース２９を利用する方法が優先的に設定されている場合（Ｓ６：ＹＥＳ）、ＣＰＵ２３は、対象患者の患者情報を取得する（Ｓ７）。本実施形態では、Ｓ７で取得される患者情報には、対象患者の年齢および性別を示す情報が含まれている。また、データベース２９には、複数の正常な被検眼の眼科画像のデータが記憶されている。ＣＰＵ２３は、データベース２９から、患者情報が示す年齢との差が閾値以下の年齢であり、且つ、患者情報が示す性別と同じ性別の被検者の眼科画像を、比較画像３０Ｂとして取得する。ＣＰＵ２３は、取得した比較画像３０Ｂを、疾患画像３０Ａと共に、または疾患画像３０Ａと切り換えて表示装置２８に表示させる（Ｓ８）。年齢が近く、且つ性別が同じ被検者の眼科画像は近似し易くなる。従って、Ｓ８で取得される比較画像３０Ｂは、疾患画像３０Ａとの比較に適した画像となり易い。ここで、Ｓ８では、患者情報が示す年齢のみが参照されることで、比較画像３０Ｂが取得されてもよい。

【0070】

なお、Ｓ８では、取得する候補となる眼科画像がデータベース２９に複数存在する場合には、候補となる複数の眼科画像の少なくともいずれかが適宜選択されて取得されればよい。例えば、候補となる複数の眼科画像のうち、生年月日が対象患者と最も近い被検者の眼科画像が、比較画像３０Ｂとして取得されてもよい。候補となる複数の眼科画像のうち、疾患の程度が最も良好な眼科画像が、比較画像３０Ｂとして取得されてもよい。候補となる複数の眼科画像のうち、画質が最も良好な眼科画像が、比較画像３０Ｂとして取得されてもよい。また、Ｓ８では、左眼および右眼のうち、疾患画像３０Ａが撮影された眼と同じ側の眼の眼科画像が優先して、比較画像３０Ｂとして取得されてもよい。また、左眼および右眼のうち、疾患画像３０Ａが撮影された眼と、Ｓ８で取得された眼科画像が撮影された眼が異なる場合には、ＣＰＵ２３は、Ｓ８で取得された眼科画像を左右反転させた画像を、比較画像３０Ｂとしてもよい。これらの場合、疾患画像３０Ａと比較画像３０Ｂがより適切に比較される。

【0071】

次いで、ＣＰＵ２３は、比較画像３０Ｂが撮影された被検眼について、参考画像および視野マップの少なくともいずれかのデータがデータベース２９に記憶されている場合には、該当するデータをデータベース２９から取得する。参考画像とは、比較画像３０Ｂの撮影方式とは異なる撮影方式で撮影された被検眼の画像（例えば、本実施形態では眼底の断層画像）である。視野マップとは、被検眼に対して行われた視野検査の結果を示すデータである。ＣＰＵ２３は、参考画像および視野マップの少なくともいずれかのデータを取得した場合には、取得したデータを表示装置２８に表示させる（Ｓ９）。従って、対象患者の疾患の状態が、複数の情報によってより適切に把握される。その後、処理はＳ１５へ移行する。

【0072】

データベースが利用されない場合（Ｓ６：ＮＯ）、ＣＰＵ２３は、数学モデルを利用して比較画像３０Ｂを取得する処理を実行する（Ｓ１１～Ｓ１３）。まず、ＣＰＵ２３は、疾患が治癒していく場合に予測される予測画像６０（図２参照）を、治癒の状況に応じて複数表示させる段階表示が、ユーザによって指定されているか否かを判断する（Ｓ１１）。段階表示が指定されていない場合（Ｓ１１：ＮＯ）、ＣＰＵ２３は、疾患画像３０Ａを数学モデルに入力することで、予測画像６０を取得する。ＣＰＵ２３は、取得した予測画像６０を比較画像３０Ｂとして、疾患画像３０Ａと共に、または疾患画像３０Ａと切り換えて表示装置２８に表示させる（Ｓ１２）。前述のように、比較画像３０Ｂは、対象患者本人の疾患画像３０Ａの情報に基づいて構築される。従って、疾患画像Ａと比較画像３０Ｂがより適切に比較される。

【0073】

また、Ｓ１２では、疾患部３１（図２参照）の状態の程度を示す程度情報が、疾患画像３０Ａと共に数学モデルに入力される。従って、前述したように、Ｓ１２で取得される予測画像６０は、疾患の状態がより適切に予測された画像となる。なお、程度情報は、ユーザによって指定されてもよいし、予め定められていてもよい。

【0074】

段階表示が指定されている場合には（Ｓ１１：ＹＥＳ）、ＣＰＵ２３は、互いに異なる程度情報の各々を、疾患画像３０Ａと共に数学モデルに入力することで、疾患部３１の状態の程度が異なる複数の予測画像６０を取得する。ＣＰＵ２３は、取得した複数の予測画像６０を比較画像３０Ｂとして、疾患部３１の状態の程度に沿って並べて、または切り換えて表示装置２８に表示させる（Ｓ１３）。図４に、段階表示が行われている場合の表示装置２８の表示画面の一例を示す。図４に示す例では、実際に撮影された対象患者の疾患画像３０Ａと、疾患の程度が疾患画像３０Ａよりも良好な比較画像３０Ｂが、並べて表示されている。さらに、比較画像３０Ｂとして、疾患の程度が一定量回復した状態の比較画像３０Ｂ１と、疾患が完治した状態の比較画像３０Ｂ２が、疾患の程度に沿って並べて表示されている。従って、対象患者は、自らの疾患の状態の推移を適切に予測し易い。

【0075】

なお、Ｓ１２およびＳ１３の処理では、前述したように、対象患者の左眼および右眼のうち、疾患画像３０Ａが取得された被検眼とは反対側の眼の疾患の程度が良好である場合には、反対側の眼の眼科画像３０に関するデータ（例えば、眼科画像３０のデータそのもの、または、眼科画像３０の色に関するデータ等）も、数学モデルに入力されてもよい。この場合、より良好な予測画像６０が取得される。

【0076】

次いで、ＣＰＵ２３は、表示装置２８に表示されている画像の倍率を変更する指示、および、画像領域全体のうち表示装置２８に表示させる領域を移動させる指示の少なくともいずれかが入力されたか否かを判断する（Ｓ１５）。入力されていなければ（Ｓ１５：ＮＯ）、処理はＳ１７へ移行する。倍率変更指示および移動指示の少なくともいずれかが入力された場合には（Ｓ１５：ＹＥＳ）、ＣＰＵ２３は、入力された指示に応じた、画像の倍率変更および領域移動の少なくともいずれかの処理を、表示装置２８に表示させている疾患画像３０Ａと比較画像３０Ｂの両方に対して実行する（Ｓ１６）。その結果、疾患画像３０Ａと比較画像３０Ｂの倍率または表示領域が、連動して変更される。従って、ユーザは、両画像を適切に比較しつつ、両画像の倍率または表示領域を変更することができる。処理を終了させる指示が入力されると（Ｓ１７：ＹＥＳ）、眼科画像処理は終了する。

【0077】

なお、本実施形態では、対象患者の診察を医師が開始させる際（つまり、表示装置２８への疾患画像３０Ａの表示を開始させる際）には、比較画像３０Ｂを表示させる処理は行われずに、疾患画像３０Ａと、比較画像表示・非表示切り換えボタンが、表示装置２８に表示される。この状態で、比較画像表示・非表示切り換えボタンがユーザによって操作されて、表示・非表示切り換え指示が入力されると、ＣＰＵ２３は、表示装置２８における比較画像３０Ｂの表示と非表示を切り替える。従って、ユーザは、適切な状況で比較画像３０Ｂを表示装置２８に表示させることができる。なお、ＣＰＵ２３は、比較画像３０Ｂを表示させる指示が入力されることを契機として（つまり、比較画像表示・非表示切り換えボタンが操作されることを契機として）、図３に例示する眼科画像処理を開始させてもよい。また、ＣＰＵ２３は、表示装置２８への疾患画像３０Ａの表示を開始させる際に、比較画像３０Ｂも共に表示させてもよい。疾患画像３０Ａと比較画像３０Ｂの両方を診察開始時から表示させるか否かが、ユーザによって設定されてもよい。

【0078】

上記実施形態で開示された技術は一例に過ぎない。よって、上記実施形態で例示された技術を変更することも可能である。例えば、上記実施形態の数学モデルでは、図２に示すように、疾患部識別モデル７１によって出力される疾患部除去画像４０が予測画像生成モデル７４に入力されることで、予測画像６０が出力される。しかし、疾患部除去画像４０の代わりに、撮影された疾患画像３０Ａ自体に基づいて、予測画像６０が生成されてもよい。例えば、疾患画像３０Ａが予測画像生成モデル７４に入力されることで、予測画像６０が出力されてもよい。この場合、疾患部除去モデル７１は省略してもよい。その他、数学モデルには種々の変更を適宜加えることが可能である。

【0079】

上記実施形態で例示した複数の技術の一部のみを採用することも可能である。例えば、眼科画像処理装置２１は、比較画像３０Ｂを取得する方法として、反対眼の画像を利用する方法、データベース２９を利用する方法、および数学モデルを利用する方法の１つまたは２つのみを実行してもよい。

【0080】

なお、図３のＳ１で疾患画像３０Ａを取得する処理は、「疾患画像取得ステップ」の一例である。図３のＳ４，Ｓ８，Ｓ１２，Ｓ１３で比較画像３０Ｂを取得する処理は、「比較画像取得ステップ」の一例である。図３のＳ４，Ｓ８，Ｓ１２，Ｓ１３で疾患画像３０Ａと比較画像３０Ｂを表示装置２８に表示させる処理は、「比較表示ステップ」の一例である。図３のＳ１５で倍率変更指示および移動指示の入力を受け付ける処理は、「指示受付ステップ」の一例である。図３のＳ１６で倍率変更および領域移動を実行する処理は、「表示変更ステップ」の一例である。

【符号の説明】

【0081】

２１ 眼科画像処理装置
２３ ＣＰＵ
２４ 記憶装置
２８ 表示装置
２９ データベース
３０Ａ 疾患画像
３０Ｂ 比較画像
３１ 疾患部
６０ 予測画像

【図1】

【図2】

【図3】

【図4】