特開 2023-77425 眼科画像処理装置、ＯＣＴ装置、眼科画像処理プログラム、および、数学モデル構築方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023077425

(43)【公開日】2023-06-05

(54)【発明の名称】眼科画像処理装置、ＯＣＴ装置、眼科画像処理プログラム、および、数学モデル構築方法

(51)【国際特許分類】

   A61B 3/14 20060101AFI20230529BHJP

【ＦＩ】

A61B3/14

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2022196733

(22)【出願日】2022-12-09

(62)【分割の表示】P 2018124973の分割

【原出願日】2018-06-29

(71)【出願人】

【識別番号】000135184

【氏名又は名称】株式会社ニデック

(74)【代理人】

【識別番号】100166785

【弁理士】

【氏名又は名称】大川 智也

(72)【発明者】

【氏名】柴 涼介

(72)【発明者】

【氏名】坂下 祐輔

(72)【発明者】

【氏名】熊谷 佳紀

(72)【発明者】

【氏名】竹野 直樹

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA10

4C316AB02

4C316AB11

4C316AB12

4C316AB16

4C316FB05

4C316FB21

4C316FZ01

(57)【要約】

【課題】低解像度の画像から高解像度の画像を適切に取得するための眼科画像処理装置、ＯＣＴ装置、眼科画像処理プログラム、および、数学モデル構築方法を提供する。
【解決手段】眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された基画像を取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに基画像を入力することで、画像解像度が基画像の画像解像度よりも高い目的画像を取得する。数学モデルは、同一の組織の部位を撮影対象とし、且つ、同一の眼科画像撮影装置によって撮影された複数の眼科画像のセットに含まれる、低解像度訓練画像と高解像度訓練画像によって訓練されている。
【選択図】図３

【特許請求の範囲】

【請求項1】

被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
前記眼科画像処理装置の制御部は、
眼科画像撮影装置によって撮影された眼科画像である基画像を取得し、
機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、画像解像度が前記基画像の画像解像度よりも高い目的画像を取得し、
前記数学モデルは、同一の組織の部位を撮影対象とし、且つ、同一の眼科画像撮影装置によって撮影された複数の眼科画像のセットのうち、少なくとも１つの眼科画像である低解像度訓練画像を入力用訓練データとし、前記低解像度訓練画像よりも画像解像度が高い眼科画像である高解像度訓練画像を出力用訓練データとして訓練されていることを特徴とする眼科画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被検眼の眼科画像を処理する眼科画像処理装置、ＯＣＴ装置、眼科画像処理装置において実行される眼科画像処理プログラム、および、眼科画像処理装置によって用いられる数学モデルを構築する数学モデル構築方法に関する。

【背景技術】

【0002】

近年、機械学習アルゴリズムによって訓練された数学モデルを用いて、種々の医療情報を取得する技術が提案されている。例えば、特許文献１に記載の眼科装置では、機械学習アルゴリズムによって訓練された数学モデルに眼形状パラメータが入力されることで、被検眼のＩＯＬ関連情報（例えば、予想述語前房深度）が取得される。取得されたＩＯＬ関連情報に基づいて、ＩＯＬ度数が算出される。

【0003】

また、機械学習アルゴリズムによって訓練された数学モデルを用いて、低解像度の画像から高解像度の画像を取得することも考えられる。この場合、低解像度の画像が数学モデルに入力されることで、高解像度の画像が出力される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－５１２２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示における技術の１つの側面について説明する。機械学習アルゴリズムによって訓練された数学モデルを用いて、低解像度の画像から高解像度の画像を取得する場合には、同一の部位を撮影した低解像度の画像と高解像度の画像を用いて、数学モデルが予め訓練されている必要がある。つまり、数学モデルを構築する作業者は、同一の部位を撮影した低解像度の画像と高解像度の画像のセットを多数用意し、数学モデルを訓練させなければならない。画像のセットを多数用意するには、多大な労力を要する。

【0006】

他の側面について説明する。数学モデルを適切に訓練させるためには、訓練に用いる低解像度の画像と高解像度の画像の対応関係が適切である必要がある。対応関係が不適切な画像のセットを用いて数学モデルが訓練されると、良好な高解像度の画像を数学モデルを用いて取得することは困難である。

【0007】

本開示は、上記複数の側面の少なくともいずれかを解決することを目的とする。つまり、本開示の典型的な目的は、低解像度の画像から高解像度の画像を適切に取得するための眼科画像処理装置、ＯＣＴ装置、眼科画像処理プログラム、および、数学モデル構築方法を提供することである。

【課題を解決するための手段】

【0008】

本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像である基画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、画像解像度が前記基画像の画像解像度よりも高い目的画像を取得し、前記数学モデルは、同一の組織の部位を撮影対象とし、且つ、同一の眼科画像撮影装置によって撮影された複数の眼科画像のセットのうち、少なくとも１つの眼科画像である低解像度訓練画像を入力用訓練データとし、前記低解像度訓練画像よりも画像解像度が高い眼科画像である高解像度訓練画像を出力用訓練データとして訓練されている。

【0009】

本開示における典型的な実施形態が提供するＯＣＴ装置は、参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、前記組織の眼科画像を撮影するＯＣＴ装置であって、前記ＯＣＴ装置の制御部は、撮影した眼科画像を基画像として取得し、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、画像解像度が前記基画像の画像解像度よりも高い目的画像を取得し、前記数学モデルは、同一の組織の部位を撮影対象とし、且つ、同一の眼科画像撮影装置によって撮影された複数の眼科画像のセットのうち、少なくとも１つの眼科画像である低解像度訓練画像を入力用訓練データとし、前記低解像度訓練画像よりも画像解像度が高い眼科画像である高解像度訓練画像を出力用訓練データとして訓練されている。

【0010】

本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影装置によって撮影された眼科画像である基画像を取得する基画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、画像解像度が前記基画像の画像解像度よりも高い目的画像を取得する目的画像取得ステップと、を前記眼科画像処理装置に実行させ、前記数学モデルは、同一の組織の部位を撮影対象とし、且つ、同一の眼科画像撮影装置によって撮影された複数の眼科画像のセットのうち、少なくとも１つの眼科画像である低解像度訓練画像を入力用訓練データとし、前記低解像度訓練画像よりも画像解像度が高い眼科画像である高解像度訓練画像を出力用訓練データとして訓練されている。

【0011】

本開示における典型的な実施形態が提供する数学モデル構築方法は、機械学習アルゴリズムによって訓練されることで構築され、基画像が入力されることで目的画像を出力する数学モデルを構築する数学モデル構築装置によって実行される数学モデル構築方法であって、被検眼の組織の同一の部位を撮影対象とし、且つ、同一の眼科画像撮影装置によって撮影された複数の眼科画像のセットを取得する画像セット取得ステップと、前記セットのうち、少なくとも１つの眼科画像である低解像度訓練画像を入力用訓練データとし、前記低解像度訓練画像よりも画像解像度が高い眼科画像である高解像度訓練画像を出力用訓練データとして前記数学モデルを訓練させることで、前記数学モデルを構築する訓練ステップと、を含む。

【0012】

本開示に係る眼科画像処理装置、ＯＣＴ装置、眼科画像処理プログラム、および数学モデル構築方法によると、低解像度の画像から高解像度の画像が適切に取得される。

【図面の簡単な説明】

【0013】

【図1】数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。

【図2】数学モデル構築装置１が実行する数学モデル構築処理のフローチャートである。

【図3】高解像度訓練画像３１および低解像度訓練画像３２を含む訓練データセット３０を説明するための説明図である。

【図4】本実施形態における数学モデルの訓練の内容を説明するための説明図である。

【図5】眼科画像処理装置２１が実行する眼科画像処理のフローチャートである。

【図6】目的画像４２と注目領域画像４４の合成画像４０の一例を示す図である。

【発明を実施するための形態】

【0014】

＜概要＞
本開示で例示する眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像である基画像を取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに基画像を入力することで、画像解像度が基画像の画像解像度よりも高い目的画像を取得する。数学モデルは、入力用訓練データと出力用訓練データのセットである訓練データセットによって訓練されている。訓練データセットは、同一の組織の部位を撮影対象とし、且つ、同一の眼科画像撮影装置によって撮影された複数の眼科画像を含む。入力用訓練データには、訓練データセットのうちの少なくとも１つの眼科画像である低解像度訓練画像が用いられている。また、出力用訓練データには、訓練データセットのうち、低解像度訓練画像よりも画像解像度が高い眼科画像である高解像度訓練画像が用いられている。

【0015】

つまり、数学モデルを構築する数学モデル構築装置は、画像セット取得ステップと訓練ステップを実行する。画像セット取得ステップでは、被検眼の組織の同一の部位を撮影対象とし、且つ、同一の眼科画像撮影装置によって撮影された、複数の眼科画像のセットが取得される。訓練ステップでは、取得されたセットのうち、少なくとも１つの眼科画像である低解像度訓練画像を入力用訓練データとし、且つ、セットのうち、低解像度訓練画像よりも画像解像度が高い眼科画像である高解像度訓練画像を出力用訓練データとして、数学モデルが訓練される。

【0016】

この場合、訓練データセットに含まれる低解像度訓練画像と高解像度訓練画像が、共に同一の眼科画像撮影装置によって撮影される。従って、低解像度訓練画像と高解像度訓練画像が異なる眼科撮影装置によって撮影される場合に比べて、訓練データセットが効率よく取得される。また、低解像度訓練画像と高解像度訓練画像が異なる眼科撮影装置によって撮影される場合に比べて、訓練データセットに含まれる低解像度訓練画像と高解像度訓練画像の対応関係が適切になりやすい。（例えば、画像の色味、画像に含まれるノイズの量、アーチファクト、光学分解能、撮影画角、撮影時の組織の状態等が、低解像度訓練画像と高解像度訓練画像の間で近似しやすい。）よって、訓練された数学モデルが用いられることで、より良好な目的画像が取得される。

【0017】

なお、本開示における「画像解像度」は、撮影対象を描写する細かさ（つまり、画像の精細さ）を意味する。換言すると、本開示における「画像解像度」は、撮影対象である組織上の単位面積に対応する、画像の画素数である。

【0018】

また、訓練データセットに含まれる低解像度訓練画像および高解像度訓練画像は、同一の眼科画像撮影装置によって撮影された眼科画像そのもの（つまり、原画像）に限定されない。例えば、低解像度訓練画像および高解像度訓練画像の少なくとも一方は、眼科画像撮影装置によって撮影された原画像に基づいて生成された画像でもよい。つまり、低解像度訓練画像および高解像度訓練画像の少なくとも一方に加工等が施されている場合、低解像度訓練画像および高解像度訓練画像の基となった原画像が、同一の眼科画像撮影装置によって撮影されていればよい。

【0019】

基画像、低解像度訓練画像、および高解像度訓練画像は、ＯＣＴ装置によって撮影された被検眼の眼底のＯＣＴアンジオ画像であってもよい。ＯＣＴアンジオ画像には、被検眼の眼底血管が表れる。よって、ＯＣＴアンジオ画像が用いられることで、眼底血管が表れた高解像度の目的画像が、基画像に基づいて適切に取得される。

【0020】

なお、ＯＣＴアンジオ画像は、眼底を正面（つまり、被検眼の視線方向）から見た二次元の正面画像であってもよい。ＯＣＴアンジオ画像は、例えば、同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が処理されることで取得されるモーションコントラスト画像であってもよい。

【0021】

ただし、訓練データセットとして用いられる眼科画像、および、数学モデルに入力される基画像として、眼底のＯＣＴアンジオ画像以外の画像を用いることも可能である。例えば、ＯＣＴ装置によって撮影された断層画像（二次元断層画像または三次元断層画像）、眼底カメラによって撮影された画像、レーザ走査型検眼装置（ＳＬＯ）によって撮影された画像等の少なくともいずれかが、訓練データセットおよび基画像として用いられてもよい。また、訓練データセットおよび基画像は、被検眼の眼底以外の組織（例えば被検眼の前眼部等）を撮影した画像であってもよい。

【0022】

複数の訓練データセットの少なくともいずれかに用いられる高解像度訓練画像は、完全には重複しない複数の撮影領域の各々において撮影された複数の眼科画像を位置合わせすることで生成されたパノラマ画像であってもよい。つまり、眼科画像撮影装置は、完全には重複しない複数の撮影領域の各々について眼科画像（以下、「単位画像」という）を撮影してもよい。撮影された複数の単位画像が位置合わせされることで、パノラマ画像が生成されてもよい。数学モデル構築装置が実行する画像データ取得ステップは、生成されたパノラマ画像を高解像度訓練画像として取得するパノラマ画像取得ステップを含んでいてもよい。

【0023】

この場合、画像解像度が高い単位画像が撮影されることで、組織の広い範囲が撮影された高解像度の画像が、訓練データセットの高解像度訓練画像として用いられる。従って、訓練データセットの高解像度訓練画像がより適切に取得される。

【0024】

複数の訓練データセットの少なくともいずれかに用いられる低解像度訓練画像は、高解像度訓練画像であるパノラマ画像の画像解像度を低下させることで生成された画像であってもよい。つまり、数学モデル構築装置が実行する画像データ取得ステップは、パノラマ画像の画像解像度を低下させることで低解像度訓練画像を生成する低解像度訓練画像生成ステップを含んでいてもよい。

【0025】

この場合、少なくともいずれかの訓練データセットにおいて、低解像度訓練画像と高解像度訓練画像の撮影範囲、撮影位置、および撮影時の組織の状態が一致する。従って、訓練された数学モデルが用いられることで、より良好な目的画像が取得される。

【0026】

なお、数学モデルを訓練する場合、複数の訓練データセットが訓練に用いられる。ここで、訓練データセットの高解像度訓練画像としてパノラマ画像が用いられる場合、複数の高解像度訓練画像の全てがパノラマ画像である必要は無く、複数の高解像度訓練画像の少なくとも一部がパノラマ画像であればよい。なお、複数の高解像度訓練画像に占めるパノラマ画像の割合が多い場合（望ましくは５０％以上、より望ましくは７０％以上の場合）には、高解像度訓練画像がより容易に取得される。同様に、パノラマ画像の画像解像度を低下させた画像（以下、「低解像度パノラマ画像」という）が訓練に用いられる場合、複数の低解像度訓練画像の全てが低解像度パノラマ画像である必要は無い。なお、複数の低解像度訓練画像に占める低解像度パノラマ画像の割合が多い場合（望ましくは５０％以上、より望ましくは７０％以上の場合）には、目的画像の品質がさらに向上する。

【0027】

ただし、訓練データセットの低解像度訓練画像と高解像度訓練画像を生成するための具体的な方法を変更することも可能である。例えば、パノラマ画像でない眼科画像が、訓練データセットの高解像度訓練画像として用いられてもよい。また、パノラマ画像でない眼科画像の画像解像度を低下させることで、訓練データセットの低解像度訓練画像が生成されてもよい。また、同一の組織を異なる画像解像度で複数回撮影することで生成された複数の眼科画像が、訓練データセットの低解像度訓練画像および高解像度訓練画像として用いられてもよい。また、高解像度訓練画像としてパノラマ画像が用いられる場合に、パノラマ画像と同等の撮影範囲を低解像度で撮影した画像が、訓練データセットの低解像度訓練画像として用いられてもよい。

【0028】

複数の訓練データセットの少なくともいずれかに用いられる低解像度訓練画像には、画像領域の少なくとも一部に対し、画質を劣化させる劣化処理が行われていてもよい。つまり、数学モデル構築装置は、低解像度訓練画像の画像領域の少なくとも一部に対し、画質を劣化させる劣化ステップを実行してもよい。

【0029】

この場合、基画像の少なくとも一部の画質が良好でない場合でも、良好でない画質の影響が軽減された目的画像を出力するように、数学モデルが訓練される。よって、より適切な目的画像が取得される。

【0030】

劣化処理の具体的な内容は、適宜選択できる。例えば、数学モデル構築装置の制御部は、ノイズを付与するノイズ付与処理、および、ぼかしを付与するぼかし付与処理の少なくともいずれかを行ってもよい。

【0031】

眼科画像処理装置の制御部は、同時表示処理および切替表示処理の少なくとも一方を実行してもよい。同時表示処理では、制御部は、基画像と目的画像を表示装置に同時に表示させる。切替表示処理では、制御部は、ユーザによって入力された指示に応じて、基画像と目的画像を切り替えて表示装置に表示させる。この場合、ユーザは、画像解像度が高い目的画像と、目的画像の基となった基画像（原画像）の両方を容易に確認することができる。よって、ユーザは、診断等をより適切に行うことができる。なお、基画像と目的画像は、同一の表示装置に表示されてもよいし、別々の表示装置に表示されてもよい。

【0032】

制御部は、眼科画像撮影装置によって連続して撮影される基画像を順次取得してもよい。制御部は、取得した基画像を数学モデルに順次入力することで、目的画像を連続して取得してもよい。制御部は、取得した複数の目的画像に基づいて、組織の動画データを生成してもよい。この場合、ユーザは、高い画像解像度で表示される組織の動画を確認することができる。よって、ユーザは、診断等をより適切に行うことができる。

【0033】

特に、高い解像度のパノラマ画像を生成する場合には、複数の単位画像からパノラマ画像が生成されるので、パノラマ画像を用いて組織の動画を表示させる場合には、フレームレートが著しく低下し易い。特に、撮影位置が時間の経過に伴って変化する場合等には、パノラマ画像を用いて良好な動画を生成することは困難である。これに対し、本開示の眼科画像処理装置は、フレームレートが低下することを抑制しつつ、高い解像度で広い範囲を撮影した動画を生成することが可能である。

【0034】

なお、制御部は、眼科画像撮影装置によって撮影されている組織の高解像度の動画を、撮影と並行してリアルタイムに表示装置に表示させてもよい。また、制御部は、基画像の動画と目的画像の動画を表示装置に同時に表示させてもよい。また、制御部は、ユーザによって入力された指示に応じて、基画像の動画と目的画像の動画を切り替えて表示装置に表示させてもよい。この場合、ユーザは、目的画像の動画と基画像の動画の両方を容易に確認することができる。

【0035】

眼科画像処理装置の制御部は、注目領域画像取得ステップ、および合成ステップを実行してもよい。注目領域画像取得ステップでは、眼科画像撮影装置によって撮影された注目領域画像が取得される。注目領域画像は、基画像の撮影領域の注目領域が、基画像の画像解像度よりも高い画像解像度で撮影された画像である。合成ステップでは、目的画像における注目領域に、注目領域画像の原画像が合成される。この場合、合成された画像では、画像解像度が高い原画像によって注目領域が形成されると共に、注目領域以外の領域は目的画像によって形成される。よって、ユーザは、注目領域を原画像によって確認することができ、且つ、画像全体も高い解像度で確認することができる。

【0036】

＜実施形態＞
（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された基画像に基づいて、基画像よりも画像解像度が高い目的画像を出力する。眼科画像処理装置２１は、数学モデルを用いて、基画像から目的画像を取得する。眼科画像撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像を撮影する。

【0037】

一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、眼科画像撮影装置１１Ａから取得した眼科画像を利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。

【0038】

また、本実施形態の眼科画像処理装置２１にはＰＣが用いられる。しかし、眼科画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ｂまたはサーバ等が、眼科画像処理装置２１として機能してもよい。眼科画像撮影装置（本実施形態ではＯＣＴ装置）１１Ｂが眼科画像処理装置２１として機能する場合、眼科画像撮影装置１１Ｂは、眼科画像を撮影しつつ、撮影した眼科画像よりも高画質の眼科画像を適切に取得することができる。タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。

【0039】

また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。

【0040】

数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する数学モデル構築処理（図２参照）を実行するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、眼科画像撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。

【0041】

数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

【0042】

数学モデル構築装置１は、眼科画像撮影装置１１Ａから眼科画像のデータ（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ａから眼科画像のデータを取得してもよい。

【0043】

眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する眼科画像処理（図５参照）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、眼科画像撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。

【0044】

眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。

【0045】

眼科画像処理装置２１は、眼科画像撮影装置１１Ｂから眼科画像を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ｂから眼科画像を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。

【0046】

眼科画像撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に眼科画像を提供する眼科画像撮影装置１１Ａと、眼科画像処理装置２１に眼科画像を提供する眼科画像撮影装置１１Ｂが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および眼科画像処理装置２１は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置１および眼科画像処理装置２１は、共通する１つの眼科画像撮影装置から眼科画像を取得してもよい。なお、本実施形態で例示する２つの眼科画像撮影装置１１Ａ，１１Ｂは、同一の構成を備える。従って、以下では、２つの眼科画像撮影装置１１Ａ，１１Ｂについて纏めて説明を行う。

【0047】

また、本実施形態では、眼科画像撮影装置１１（１１Ａ，１１Ｂ）として、眼底のＯＣＴアンジオ画像を撮影することが可能なＯＣＴ装置が用いられる。ＯＣＴアンジオ画像には、被検眼の眼底血管が表れる。よって、眼科画像処理装置２１は、眼底血管が表れた高解像度の目的画像を取得することができる。なお、本実施形態のＯＣＴアンジオ画像は、眼底を正面（つまり、被検眼の視線方向）から見た場合の二次元正面画像である。

【0048】

眼科画像撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。

【0049】

眼科画像撮影部１６は、被検眼の眼科画像を撮影するために必要な各種構成を備える。本実施形態の眼科画像撮影部１６には、ＯＣＴ光源、ＯＣＴ光源から出射されたＯＣＴ光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、被検眼の組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。

【0050】

眼科画像撮影装置１１は、ＯＣＴアンジオ画像の一種であるモーションコントラスト画像を撮影（生成）する。詳細には、ＣＰＵ１３は、組織における同一の位置にＯＣＴ光を複数回走査させることで、測定時間が異なる少なくとも２フレームのＯＣＴ信号（干渉信号）を取得する。ＣＰＵ１３は、取得したＯＣＴ信号に対して演算処理を行うことで、モーションコントラスト画像のデータを取得する。ＯＣＴ信号を処理してモーションコントラストデータを取得する方法には、例えば、複素ＯＣＴ信号の位相差を算出する方法、複素ＯＣＴ信号のベクトル差分を算出する方法、脱相関、比、差分、分散等の振幅または強度の変化を算出する方法、および、複数の演算結果を掛け合わせる方法等の少なくともいずれかが採用されればよい。

【0051】

さらに、眼科画像撮影装置１１は、組織（本実施形態では眼底）のパノラマ画像を撮影（生成）することができる。パノラマ画像は、完全には互いに重複しない複数の撮影領域の各々において撮影された複数の画像（以下、単位画像という）を位置合わせすることで生成される。それぞれの単位画像の撮影領域は、パノラマ画像全体の撮影領域よりも狭い。従って、眼科画像撮影装置１１は、それぞれの単位画像を高い画像解像度で撮影することが可能である。よって、パノラマ画像は、組織の広い範囲が撮影された高解像度の画像となる。なお、ＯＣＴアンジオ画像のパノラマ画像を取得する方法の一例は、例えば、特開２０１７－４７１１３号公報に記載されている。

【0052】

ただし、ＯＣＴ装置以外の眼科画像撮影装置を用いることも可能である。例えば、眼底カメラ、レーザ走査型検眼装置（ＳＬＯ）、または角膜内皮細胞撮影装置（ＣＥＭ）等が、眼科撮影装置として用いられてもよい。また、ＯＣＴ装置は、二次元断層画像または三次元断層画像を、数学モデル構築装置１または眼科画像処理装置２１に提供してもよい。

【0053】

（数学モデル構築処理）
図２～図４を参照して、数学モデル構築装置１が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置４に記憶された数学モデル構築プログラムに従って、ＣＰＵ３によって実行される。

【0054】

数学モデル構築処理では、訓練データセットによって数学モデルが訓練されることで、基画像から目的画像を出力するための数学モデルが構築される。詳細は後述するが、訓練データセットには、入力用訓練データと出力用訓練データが含まれる。本実施形態では、入力用訓練データとして低解像度訓練画像のデータが使用される。また、出力用訓練データとして、低解像度訓練画像よりも画像解像度が高い高解像度訓練画像のデータが使用される。低解像度訓練画像と高解像度訓練画像は、同一の組織の部位を撮影対象としている。また、低解像度訓練画像と高解像度訓練画像は、同一の眼科画像撮影装置１１によって撮影された画像に基づく画像である。

【0055】

図２に示すように、ＣＰＵ３は、高解像度のパノラマ画像（本実施形態では、ＯＣＴアンジオ画像のパノラマ画像）を、高解像度訓練画像３０として取得する（Ｓ１）。本実施形態では、ＣＰＵ３は、眼科画像撮影装置１１Ａによって生成されたパノラマ画像を、通信等を介して取得する。ただし、ＣＰＵ３は、パノラマ画像を生成する基となるデータ（例えば、モーションコントラストデータ）を取得し、取得したデータに基づいてパノラマ画像を生成することで、パノラマ画像を取得してもよい。

【0056】

図３に、本実施形態で使用される高解像度訓練画像３１の一例を示す。図３に示すように、本実施形態の高解像度訓練画像３１は、ＯＣＴアンジオ画像のパノラマ画像であり、４つの単位画像３１１，３１２，３１３，３１４が位置合わせされることで生成されている。一例として、本実施形態では、４つの単位画像３１１，３１２，３１３，３１４の各々は、組織上における１辺３ｍｍの正方形の領域を撮影した画像である。４つの単位画像３１１，３１２，３１３，３１４の各々の解像度は、２５６ｐｔ×２５６ｐｔである。４つの単位画像３１１，３１２，３１３，３１４の各々の撮影領域は、格子状に隙間なく接している。よって、パノラマ画像である高解像度訓練画像３１では、組織上における撮影領域は１辺６ｍｍの正方形の領域となり、解像度は５１２ｐｔ×５１２ｐｔとなる。

【0057】

次いで、ＣＰＵ３は、パノラマ画像である高解像度訓練画像３１の画像解像度を低下させることで、低解像度訓練画像３２を生成する（Ｓ２）。一例として、本実施形態のＣＰＵ３は、高解像度訓練画像３１を構成する複数の画素を、規則的に（本実施形態では１個毎に）間引くことで、低解像度訓練画像３２を生成する。その結果、低解像度訓練画像３２では、組織上における撮影領域は、高解像度訓練画像３１の撮影領域と同様に、１辺６ｍｍの正方形の領域となる。一方で、低解像度訓練画像３２の解像度は、２５６ｐｔ×２５６ｐｔに低下する。その結果、低解像度訓練画像３２の画像解像度（組織上の単位面積に対する画像の画素数）は、高解像度訓練画像３１の画像解像度よりも低下する。

【0058】

以上のように、ＣＰＵ３は、高解像度訓練画像３１の画像解像度を低下させて低解像度訓練画像３２を生成することで、高解像度訓練画像３１と低解像度訓練画像３２を含む訓練データセット３０を取得する。この場合、高解像度訓練画像３１と低解像度訓練画像３２の撮影領域、撮影位置、および撮影時の組織の状態が一致する。よって、後述する数学モデルの訓練が、より適切に行われる。

【0059】

また、数学モデルの訓練には、複数の訓練データセットが用いられる。本実施形態では、複数の訓練データセットのうち、パノラマ画像である高解像度訓練画像３１と、高解像度訓練画像３１の画像解像度を低下させることで生成された低解像度訓練画像３２とを含む訓練データセット３０の割合が、５０％以上（望ましくは７０％以上）となっている。その結果、数学モデルによって出力される目的画像の品質がさらに向上する。

【0060】

なお、複数の訓練データセットのうち、前述した高解像度訓練画像３１と低解像度訓練画像３２を含まない訓練データセットを取得する方法は、適宜選択できる。例えば、ＣＰＵ３は、パノラマ画像でない眼科画像を、高解像度訓練画像として取得してもよい。ＣＰＵ３は、パノラマ画像でない高解像度訓練画像の画像解像度を低下させることで、低解像度訓練画像を生成してもよい。また、同一の組織を異なる画像解像度で複数回撮影することで生成された複数の眼科画像が、訓練データセットに用いられてもよい。なお、高解像度訓練画像の撮影領域と、低解像度訓練画像の撮影領域は、完全に一致していなくてもよい。例えば、高解像度訓練画像の撮影領域と、低解像度訓練画像の撮影領域の一部が重複していてもよい。

【0061】

次いで、ＣＰＵ３は、低解像度訓練画像３２に、ランダムにノイズを付与する（Ｓ３）。詳細には、ＣＰＵ３は、複数の低解像度訓練画像３２のうち、ノイズを付与する低解像度訓練画像３２をランダムに選択する。また、ＣＰＵ３は、ノイズ付与処理を行う場合、付与するノイズの量、およびノイズを付与する領域等を、ランダムに決定する。

【0062】

次いで、ＣＰＵ３は、低解像度訓練画像３２に、ランダムにぼかしを付与する（Ｓ４）。詳細には、ＣＰＵ３は、複数の低解像度訓練画像３２のうち、ぼかしを付与する低解像度訓練画像３２をランダムに選択する。また、ＣＰＵ３は、ぼかし付与処理を行う場合、ぼかしを付与する程度、およびぼかしを付与する領域等を、ランダムに決定する。なお、ノイズ付与処理（Ｓ３）およびぼかし付与処理（Ｓ４）は、低解像度訓練画像３２の少なくとも一部の画像を劣化させる劣化処理の一例である。劣化処理の具体的な方法を変更することも可能である。

【0063】

次いで、ＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する（Ｓ５）。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

【0064】

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。

【0065】

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。

【0066】

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。

【0067】

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。

【0068】

数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。数学モデルは、ある入力用訓練データが入力された時に、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。

【0069】

一例として、本実施形態では、機械学習アルゴリズムとして、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）が採用されている。ただし、他の機械学習アルゴリズムが用いられてもよい。例えば、多層型のニューラルネットワーク（一例として、畳み込みニューラルネットワーク（ＣＮＮ）等）が、機械学習アルゴリズムとして用いられてもよい。

【0070】

図４を参照して、本実施形態で採用されている機械学習アルゴリズム（ＧＡＮ）による、数学モデルの訓練方法について説明する。前述したように、ＧＡＮのネットワークは、互いに競合する２つのサブネットワーク（ジェネレータ（生成器）およびディスクリミネータ（識別器））を備える。本実施形態では、まず、入力用訓練データである低解像度訓練画像３２を拡大した画像３２Ｅが生成される。その結果、拡大された低解像度訓練画像３２Ｅと、高解像度訓練画像３１の大きさが一致する。なお、低解像度訓練画像３２を拡大せず訓練用入力データとし、拡大する処理はジェネレータが行ってもよい。次いで、ジェネレータが、低解像度訓練画像３２Ｅに基づいて、高解像度訓練画像３１に極力一致する偽物画像３２Ｆを出力する。ディスクリミネータは、本物画像である高解像度訓練画像３１と、偽物画像３２Ｆの正否の識別を試みる。判定結果は、ジェネレータおよびディスクリミネータの双方に反映される。この訓練が繰り返されることで、ジェネレータは、より高解像度訓練画像３１に近い偽物画像３２Ｆを生成しようとし、ディスクリミネータは、識別の正確性を向上させようとする。訓練された結果構築される数学モデル（ジェネレータモデル）は、画像解像度が低い眼科画像（例えば、後述する基画像）を入力することで、入力された画像よりも画像解像度が高い眼科画像（例えば、後述する目的画像）を生成することができる。

【0071】

なお、前述したように、本実施形態では、訓練データセットに含まれる高解像度画像と低解像度画像は、同一の眼科画像撮影装置１１Ａによって撮影された画像（詳細には、同一の眼科画像撮影装置１１Ａによって撮影された画像に基づく画像）である。従って、高解像度画像と低解像度画像の色味、画像に含まれるノイズの量、アーチファクト、光学分解能、撮影画角、撮影時の組織の状態等が近似しやすい。よって、数学モデルが適切に訓練される。

【0072】

また、本実施形態では、複数の訓練データセットの少なくともいずれかに用いられる低解像度訓練画像には、画像領域の少なくとも一部に対して劣化処理が行われている。従って、構築された数学モデルに入力される眼科画像（例えば、後述する基画像）の少なくとも一部の画質が良好でない場合でも、良好でない画質の影響が軽減された画像が出力される。

【0073】

図２の説明に戻る。数学モデルの構築が完了するまで（Ｓ６：ＮＯ）、Ｓ１～Ｓ５の処理が繰り返される。数学モデルの構築が完了すると（Ｓ６：ＹＥＳ）、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置２１に組み込まれる。

【0074】

（眼科画像処理）
図５を参照して、眼科画像処理装置２１が実行する眼科画像処理について説明する。眼科画像処理は、記憶装置２４に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。

【0075】

まず、ＣＰＵ２３は、眼科画像撮影装置１１Ｂによって撮影された眼科画像である基画像を取得する（Ｓ１１）。なお、本実施形態では、眼科画像撮影装置１１Ｂは、基画像を連続して（つまり、動画で）撮影する。ＣＰＵ２３は、連続して撮影された基画像を、順次取得する。

【0076】

本実施形態における基画像は、前述した高解像度訓練画像３１および低解像度訓練画像３２と同様に、被検眼の眼底のＯＣＴアンジオ画像である。また、本実施形態における基画像は、前述した高解像度訓練画像３１よりも画像解像度が低い画像である。一例として、本実施形態の眼科撮影装置１１Ｂは、高解像度訓練画像３１と同様の広さの撮影領域（例えば、６ｍｍ×６ｍｍの撮影領域）を、高解像度訓練画像３１の解像度よりも低い解像度（例えば、２５６ｐｔ×２５６ｐｔ）で撮影することで、基画像のデータを生成する。従って、基画像を撮影する際の撮影時間は、高解像度訓練画像３１を撮影する際の撮影時間よりも短くなる。よって、基画像を撮影する際には、被検眼の動き（例えば、固視微動およびまばたき等）の影響、被検眼の動きに撮影領域を追従させるトラッキング動作の負担等が、高解像度訓練画像３１を撮影する場合に比べて低下する。なお、目的画像が取得される場合、眼科画像撮影装置１１Ｂは、基画像の撮影領域を、高解像度訓練画像３１と同等の撮影領域に自動的に設定する。その結果、基画像および目的画像がより円滑に取得される。

【0077】

次いで、ＣＰＵ２３は、前述した数学モデルに基画像を入力することで、基画像よりも画像解像度が高い目的画像を取得する（Ｓ１２）。なお、本実施形態では、ＣＰＵ２３は、連続して取得される基画像を数学モデルに順次入力することで、目的画像を連続して取得する。

【0078】

次いで、ＣＰＵ２３は、表示装置２８に目的画像を表示させる指示が入力されているか否かを判断する（Ｓ１４）。本実施形態では、ユーザは、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかの指示を、操作部２７を操作することで眼科画像処理装置２１に入力することができる。目的画像を表示させる指示が入力されていなければ（Ｓ１４：ＮＯ）、処理はそのままＳ１７へ移行する。目的画像を表示させる指示が入力されている場合（Ｓ１４：ＹＥＳ）、ＣＰＵ２３は、目的画像を表示装置２８に表示させる（Ｓ１５）。詳細には、本実施形態のＳ１５では、Ｓ１２で連続して取得される複数の目的画像が表示装置２８に順次表示されることで、組織の動画が表示される。つまり、眼科画像撮影装置１１Ｂによってその時点で撮影されている基画像（原画像）の動画に基づいて、撮影中の組織の高解像度の動画がリアルタイムに表示装置２８に表示される。なお、ＣＰＵ２３は、Ｓ１２で連続して取得される複数の目的画像に基づいて、目的画像の動画のデータを生成し、記憶装置に記憶させてもよい。

【0079】

なお、眼科画像処理装置２１は、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかの指示を、種々の方法で入力することができる。例えば、ＣＰＵ２３は、目的画像の表示指示を入力するアイコン、基画像の表示指示を入力するアイコン、および、両方の画像の表示指示を入力するアイコンを、表示装置２８に表示させてもよい。ユーザは、希望するアイコンを選択することで、表示指示を眼科画像処理装置２１に入力してもよい。

【0080】

次いで、ＣＰＵ２３は、表示装置２８に基画像を表示させる指示が入力されているか否かを判断する（Ｓ１７）。入力されていなければ（Ｓ１７：ＮＯ）、処理はそのままＳ２０へ移行する。基画像を表示させる指示が入力されている場合（Ｓ１７：ＹＥＳ）、ＣＰＵ２３は、基画像を表示装置２８に表示させる（Ｓ１８）。詳細には、本実施形態のＳ１８では、Ｓ１１で連続して取得される複数の基画像が表示装置２８に順次表示されることで、組織の動画が表示される。以上のように、ＣＰＵ２３は、ユーザによって入力された指示に応じて、目的画像と基画像を切り替えて表示装置２８に表示させることができる。よって、ユーザは、目的画像と基画像の両方を容易に確認することができる。

【0081】

次いで、ＣＰＵ２３は、目的画像と基画像を同時に表示装置２８に表示させる指示が入力されているか否かを判断する（Ｓ２０）。入力されていなければ（Ｓ２０：ＮＯ）、処理はそのままＳ２３へ移行する。同時表示指示が入力されていれる場合（Ｓ２０：ＹＥＳ）、ＣＰＵ２３は、目的画像と基画像を同時に表示装置２８に表示させる。詳細には、本実施形態のＳ２０では、目的画像の動画と基画像の動画が共に表示装置２８に表示される。

【0082】

なお、Ｓ１５，Ｓ１８，Ｓ２１では、動画でなく静止画が表示されてもよい。ＣＰＵ２３は、ユーザによって入力される指示に応じて、動画の表示と静止画の表示を切り替えてもよい。また、ＣＰＵ２３は、動画および静止画を表示装置２８に表示させずに、動画および静止画の少なくとも一方のデータを記憶装置２４に保存させてもよい。

【0083】

次いで、ＣＰＵ２３は、表示を終了させる指示が入力されたか否かを判断する（Ｓ２３）。入力されていなければ（Ｓ２３：ＮＯ）、処理はＳ１１へ戻り、Ｓ１１～Ｓ２３の処理が繰り返される。表示を終了させる指示が入力されると（Ｓ２３：ＹＥＳ）、ＣＰＵ２３は、目的画像（本実施形態では、連続して取得される複数の目的画像の少なくともいずれか）に対する各種解析処理を実行する（Ｓ２４）。前述したように、目的画像の画像解像度は、基画像の画像解像度よりも高い。従って、目的画像に対する解析処理を実行することで、基画像に対する解析処理を実行する場合に比べて解析精度が向上する。なお、解析処理の具体的な内容は、適宜選択できる。一例として、本実施形態のＳ２４では、眼底の血管密度（例えば、中心窩無灌流領域周囲の血管密度等）が解析される。

【0084】

また、目的画像を表示させるタイミングには、例えば、眼科画像撮影装置１１Ｂによる撮影中にリアルタイムで表示させるタイミング、撮影された画像が良好であるか否かをユーザに確認させるタイミング、撮影後に解析結果またはレポートと共に表示させるタイミング等、複数のタイミングがある。ＣＰＵ２３は、目的画像を表示させることが可能な複数のタイミングのそれぞれに対し、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかの指示を、別々に入力することができる。つまり、ユーザは、目的画像を表示させることが可能なタイミングに応じて、目的画像、基画像、および、目的画像と基画像の両方のいずれを表示装置２８に表示させるかを、予め設定しておくことができる。その結果、ユーザの利便性がさらに向上する。

【0085】

（合成画像生成処理）
図６を参照して、眼科画像処理装置２１のＣＰＵ２３が実行する合成画像生成処理について説明する。図６に示すように、合成画像４０には、目的画像４２と注目領域画像４４が含まれる。目的画像は、図５のＳ１２で説明したように、数学モデルに基画像を入力することで取得される、高解像度の眼科画像である。注目領域画像４４は、眼科画像撮影装置１１Ｂによって、基画像の撮影領域の一部の注目領域が撮影された画像である。注目領域画像４４は、基画像の画像解像度よりも高い画像解像度で撮影されている。また、注目領域画像４４は、眼科画像撮影装置１１Ｂによって撮影された画像そのもの（つまり原画像）である。基画像の撮影領域に対する注目領域の位置、大きさ、および形状等の設定方法は、適宜選択できる。例えば、眼科画像撮影装置１１Ｂは、ユーザによって入力される指示に応じて、基画像の撮影領域内に注目領域を設定してもよい。また、眼科画像撮影装置１１Ｂは、基画像に対して画像処理等を行うことで、基画像における特徴部位（例えば、黄斑、視神経乳頭、および眼底血管等の少なくともいずれか）を検出し、特徴部位を基準として注目領域を自動で設定してもよい。

【0086】

眼科画像処理装置２１のＣＰＵ２３は、基画像および注目領域画像４４を取得する。ＣＰＵ２３は、基画像を数学モデルに入力することで、基画像よりも画像解像度が高い目的画像４２を取得する。ＣＰＵ２３は、目的画像４２における注目領域に、注目領域画像４４を合成することで、合成画像４０を生成する。合成画像４０によると、ユーザは、注目領域を原画像によって確認することができ、且つ、画像全体も高い解像度で確認することができる。

【0087】

上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態で例示された複数の技術のうちの一部のみを実行することも可能である。例えば、高解像度訓練画像としてパノラマ画像を用いる技術を採用せずに、低解像度訓練画像に対してノイズ付与処理およびぼかし付与処理の少なくとも一方を実行する技術を採用してもよい。

【0088】

なお、図５のＳ１１で基画像を取得する処理は、「基画像取得ステップ」の一例である。図５のＳ１２で目的画像を取得する処理は、「目的画像取得ステップ」の一例である。図５のＳ２１で目的画像と基画像を同時に表示させる処理は、「同時表示処理」および「同時表示ステップ」の一例である。図５のＳ１４～Ｓ１８で基画像と目的画像を切り替えて表示させる処理は、「切替表示処理」および「切替表示ステップ」の一例である。図２のＳ１，Ｓ２で訓練データセットを取得する処理は、「画像セット取得ステップ」の一例である。図２のＳ５で数学モデルを構築する処理は、「訓練ステップ」の一例である。図２のＳ１でパノラマ画像を取得する処理は、「パノラマ画像取得ステップ」の一例である。図２のＳ２で低解像度訓練画像３２を生成する処理は、「低解像度訓練画像生成ステップ」の一例である。図２のＳ３で低解像度訓練画像３２にノイズを付与する処理、および、図２のＳ４で低解像度訓練画像３２にぼかしを付与する処理は、「劣化処理」および「劣化ステップ」の一例である。

【符号の説明】

【0089】

１ 数学モデル構築装置
３ ＣＰＵ
４ 記憶装置
１１ 眼科画像撮影装置
２１ 眼科画像処理装置
２３ ＣＰＵ
２４ 記憶装置
２７ 操作部
２８ 表示装置
３０ 訓練データセット
３１ 高解像度訓練画像
３２ 低解像度訓練画像
４０ 合成画像
４２ 目的画像
４４ 注目領域画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】