特開 2024-97535 眼科画像処理プログラムおよび眼科画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024097535

(43)【公開日】2024-07-19

(54)【発明の名称】眼科画像処理プログラムおよび眼科画像処理装置

(51)【国際特許分類】

   A61B 3/10 20060101AFI20240711BHJP

   G06T 7/00 20170101ALI20240711BHJP

【ＦＩ】

A61B3/10 100

G06T7/00 612

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023001043

(22)【出願日】2023-01-06

(71)【出願人】

【識別番号】000135184

【氏名又は名称】株式会社ニデック

(74)【代理人】

【識別番号】100166785

【弁理士】

【氏名又は名称】大川 智也

(74)【代理人】

【識別番号】100184550

【弁理士】

【氏名又は名称】高田 珠美

(72)【発明者】

【氏名】柴 涼介

【テーマコード（参考）】

4C316

5L096

【Ｆターム（参考）】

4C316AA09

4C316AB02

4C316AB11

4C316FB21

4C316FZ01

5L096AA06

5L096BA06

5L096BA13

5L096CA02

5L096DA02

5L096HA09

5L096KA04

5L096KA15

(57)【要約】

【課題】機械学習アルゴリズムによって学習された数学モデルを利用して、より高い品質の医療情報を得ることが可能な眼科画像処理プログラム、および眼科画像処理装置を提供する。
【解決手段】眼科画像処理装置の制御部は、基画像取得ステップ、および医療情報取得ステップを実行する。基画像取得ステップでは、制御部は、眼科画像撮影装置によって撮影された眼科画像を基画像として取得する。医療情報取得ステップでは、制御部は、眼科画像が入力されることで医療情報を出力するように機械学習アルゴリズムによって学習された数学モデルに、基画像を入力することで、数学モデルによって出力される医療情報を取得する。学習済みの数学モデルは、学習に用いられた学習データの統計情報に依存しない正規化処理を行う。
【選択図】図５

【特許請求の範囲】

【請求項1】

被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
眼科画像撮影装置によって撮影された眼科画像を基画像として取得する基画像取得ステップと、
眼科画像が入力されることで医療情報を出力するように機械学習アルゴリズムによって学習された数学モデルに、前記基画像を入力することで、前記数学モデルによって出力される医療情報を取得する医療情報取得ステップと、
を前記眼科画像処理装置に実行させ、
学習済みの前記数学モデルは、学習に用いられた学習データの統計情報に依存しない正規化処理を行うことを特徴とする眼科画像処理プログラム。

【請求項2】

請求項１に記載の眼科画像処理プログラムであって、
前記基画像は、参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、前記組織の眼科画像を撮影する前記眼科画像撮影装置であるＯＣＴ装置によって撮影されたＯＣＴ画像であり、
前記数学モデルの学習は、ＯＣＴ装置によって撮影されたＯＣＴ画像のデータを学習データとして行われていることを特徴とする眼科画像処理プログラム。

【請求項3】

請求項１に記載の眼科画像処理プログラムであって、
前記数学モデルは、前記基画像が入力されることで、前記基画像の画質を向上させた目的画像を前記医療情報として出力するように機械学習アルゴリズムによって学習されていることを特徴とする眼科画像処理プログラム。

【請求項4】

請求項１に記載の眼科画像処理プログラムであって、
前記医療情報取得ステップでは、前記基画像取得ステップにおいて取得された前記基画像を、前記基画像が所定条件を満たしているか否かに関わらず前記数学モデルに入力することで、医療情報を取得することを特徴とする眼科画像処理プログラム。

【請求項5】

被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
前記眼科画像処理装置の制御部は、
眼科画像撮影装置によって撮影された眼科画像を基画像として取得する基画像取得ステップと、
眼科画像が入力されることで医療情報を出力するように機械学習アルゴリズムによって学習された数学モデルに、前記基画像を入力することで、前記数学モデルによって出力される医療情報を取得する医療情報取得ステップと、
を実行し、
学習済みの前記数学モデルは、学習に用いられた学習データの統計情報に依存しない正規化処理を行うことを特徴とする眼科画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被検眼の眼科画像の処理に使用される眼科画像処理プログラムおよび眼科画像処理装置に関する。

【背景技術】

【0002】

機械学習アルゴリズムによって訓練された数学モデルを用いて眼科画像を処理することで、種々の医療情報を取得する技術が提案されている。例えば、非特許文献１および特許文献１に記載の眼科画像処理装置は、機械学習アルゴリズムによって学習された数学モデルに眼科画像を入力することで、入力された眼科画像よりも高画質の目的画像を医療情報として取得する。また、特許文献２に記載の眼科画像処理装置は、機械学習アルゴリズムによって学習された数学モデルに眼科画像を入力することで、眼科画像中の組織の特定の境界および特定部位の少なくともいずれかの検出結果を医療情報として取得する。なお、数学モデルを利用して、眼科画像中の組織の疾患に関する医療情報を取得する技術等も提案されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】坂下祐輔、熊谷佳紀、柴涼介、竹野直樹、山下隆義、藤吉弘亘、"Ｄｅｅｐ ｌｅａｒｎｉｎｇによるシングルショットＯＣＴ画像のノイズ除去"視覚の化学第４０巻第４号

【特許文献】

【0004】

【特許文献1】特許第６７０３３１９号公報

【特許文献2】特許第７１８０１８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の技術では、数学モデルに入力する眼科画像の特性（例えば画質等）によっては、高品質の医療情報が得られない場合もあった。例えば、数学モデルに入力する眼科画像よりも高品質の目的画像を医療情報として取得する場合に、品質が元々高い眼科画像を数学モデルに入力すると、取得される目的画像の品質が、逆に入力画像よりも低下してしまう事象も散見された。従って、機械学習アルゴリズムによって学習された数学モデルを利用して、より高い品質の医療情報を得ることが可能な技術が望まれる。

【0006】

本開示の典型的な目的は、機械学習アルゴリズムによって学習された数学モデルを利用して、より高い品質の医療情報を得ることが可能な眼科画像処理プログラム、および眼科画像処理装置を提供することである。

【課題を解決するための手段】

【0007】

本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影装置によって撮影された眼科画像を基画像として取得する基画像取得ステップと、眼科画像が入力されることで医療情報を出力するように機械学習アルゴリズムによって学習された数学モデルに、前記基画像を入力することで、前記数学モデルによって出力される医療情報を取得する医療情報取得ステップと、を前記眼科画像処理装置に実行させ、学習済みの前記数学モデルは、学習に用いられた学習データの統計情報に依存しない正規化処理を行う。

【0008】

本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を基画像として取得する基画像取得ステップと、眼科画像が入力されることで医療情報を出力するように機械学習アルゴリズムによって学習された数学モデルに、前記基画像を入力することで、前記数学モデルによって出力される医療情報を取得する医療情報取得ステップと、を実行し、学習済みの前記数学モデルは、学習に用いられた学習データの統計情報に依存しない正規化処理を行う。

【0009】

本開示に係る眼科画像処理プログラムおよび眼科画像処理装置によると、機械学習アルゴリズムによって学習された数学モデルを利用して、より高い品質の医療情報が取得される。

【図面の簡単な説明】

【0010】

【図1】数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。

【図2】高画質の二次元断層画像を目的画像として数学モデルに出力させる場合の、入力用学習データと出力用学習データの一例を示す図である。

【図3】数学モデル構築装置１が実行する数学モデル構築処理のフローチャートである。

【図4】眼科画像処理装置２１が実行する眼科画像処理のフローチャートである。

【図5】推論時に学習データの統計情報に依存する正規化処理を行う数学モデルを利用する場合と、学習データの統計情報に依存しない正規化処理を行う数学モデルを利用する場合の目的画像を比較した図である。

【発明を実施するための形態】

【0011】

＜概要＞
本開示で例示する眼科画像処理装置の制御部は、基画像取得ステップ、および医療情報取得ステップを実行する。基画像取得ステップでは、制御部は、眼科画像撮影装置によって撮影された眼科画像を基画像として取得する。医療情報取得ステップでは、制御部は、眼科画像が入力されることで医療情報を出力するように機械学習アルゴリズムによって学習された数学モデルに、基画像を入力することで、数学モデルによって出力される医療情報を取得する。学習済みの数学モデルは、学習に用いられた学習データの統計情報に依存しない正規化処理を行う。

【0012】

機械学習、特に深層学習では、テンソルと呼ばれる多次元データの集まりが処理される。画像データを扱う場合には、一般に、「データ数、チャネル数、高さ、および横幅」の４次元（４階）のテンソルになる。機械学習では、データ処理の１つとして、データの尺度を統一する正規化処理が行われることが一般的である。正規化処理として、例えば、データの平均を０、標準偏差を１としてデータをスケーリングする方法（一般に、「標準化」と呼ばれる）、データの最小値が０、最大値が１となるようにデータをスケーリングする方法（この方法を「正規化」という場合もある）、多次元データの各成分の関係性を解消する方法（一般に、「無相関化」と呼ばれる）、無相関化したデータに対して標準化を適用する方法（一般に、「白色化」と呼ばれる）等がある。データの正規化処理が行われることで、学習コストの削減、および、処理結果の安定性の向上等の効果が得られる場合が多い。

【0013】

ここで、本願の発明者が誠意検討した結果、正規化処理の方法が適切でなければ、学習された数学モデルに入力される基画像の特性の違いが、数学モデルによって出力される医療情報の品質に与える影響が大きくなることが判明した。

【0014】

例えば、従来利用されている正規化処理の１つに、バッチ正規化がある。前述した非特許文献１においてもバッチ正規化が採用されている。バッチ正規化では、数学モデルの学習時において、各ミニバッチ内で統計情報（例えば、平均と分散等）が算出され、算出された統計情報に基づいて正規化処理が行われる。一方で、推論時にはミニバッチを得ることができないので、学習時に得られたミニバッチ毎の統計情報に基づいて正規化処理が行われる。バッチ正規化のように、学習に用いられた学習データの統計情報に基づいて正規化処理を行う場合、学習データ（本開示では、学習に用いられた眼科画像のデータ）の分布に対して、学習された数学モデルに入力されるデータ（本開示では、基画像のデータ）が近似していれば、高品質の医療情報が得られ易い。しかし、数学モデルに入力されるデータが、学習データの分布から外れていると、得られる医療情報の品質が低下し易いことが新たに判明した。

【0015】

これに対し、本開示における学習済みの数学モデルは、学習に用いられた学習データの統計情報に依存しない正規化処理（例えば、学習データの統計情報でなく、基画像のデータの統計情報に基づく正規化処理等）を行う。その結果、数学モデルに入力されるデータが、学習データの分布と近似しているか否かに関わらず、高品質の医療情報が取得され易くなる。

【0016】

なお、学習データの統計情報に依存する正規化処理を採用したうえで、様々な特性を有する学習データを数学モデルの学習に用いることで、出力される医療情報の品質の向上を図ることも考えられる。しかし、この場合、特性が互いに異なる多種の学習データを用いて数学モデルの学習を行う必要があるので、学習コストを削減することが困難となる。これに対し、本開示の技術を用いると、特性が異なる多種の学習データを数学モデルの学習に用いなくても、高品質の医療情報が取得され易くなる。従って、本開示の技術は、数学モデルの学習の局面でも有利となる。

【0017】

なお、学習データの統計情報に依存しない正規化処理には、例えば、インスタンス正規化、グループ正規化、およびレイヤー正規化等の少なくともいずれかを採用することができる。インスタンス正規化では、１つのデータの１つのチャネルに対して正規化処理が行われる。グループ正規化では、１つのデータの任意のチャネル数に対して正規化処理が行われる。レイヤー正規化では、１つのデータの全チャネルに対して正規化処理が行われる。

【0018】

基画像を撮影する眼科画像撮影装置は、ＯＣＴ装置であってもよい。数学モデルの学習は、ＯＣＴ装置によって撮影されたＯＣＴ画像のデータを学習データとして行われていてもよい。ＯＣＴ装置は、参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、組織の眼科画像を撮影する。

【0019】

ＯＣＴ装置は、例えば組織の断層画像等の有用な眼科画像を撮影することが可能である。一方で、ＯＣＴ画像の特性（例えば、ノイズレベル、画像のサイズ、断層画像の深さ方向の範囲等）は、他の眼科画像に比べて、撮影対象とされる被検眼の状態（例えば、白内障の有無等）、露光時間、フォーカス、加算枚数（つまり、同一位置で撮影された複数の画像の加算（加算平均でもよい）を行うことで得られる加算画像に用いられる画像の枚数）等の種々の影響によって変化し易い。その結果、数学モデルに入力されるＯＣＴ画像のデータが、学習データの分布から外れてしまう頻度が高くなる。従って、数学モデルにおける正規化処理に、学習データの統計情報に依存する正規化処理（例えば、従来用いられていたバッチ正規化等）が採用されていると、ＯＣＴ画像を基画像として得られる医療情報の品質が低下し易かった。これに対し、本開示における学習済みの数学モデルは、学習に用いられた学習データの統計情報に依存しない正規化処理を行う。よって、特性が変化し易いＯＣＴ画像を用いる場合でも、高い品質の医療情報が取得され易くなる。

【0020】

なお、基画像には、ＯＣＴ装置によって撮影される種々の画像（例えば、断層画像（二次元断層画像または三次元断層画像）、ＯＣＴアンジオ画像、Ｅｎｆａｃｅ画像等の少なくともいずれか）を採用できる。ＯＣＴアンジオ画像は、同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が処理されることで取得されるモーションコントラスト画像である。Ｅｎｆａｃｅ画像は、ＯＣＴ装置によって撮影された三次元断層画像の少なくとも一部を、ＯＣＴ装置の測定光の光軸に沿う方向（正面方向）から見た場合の画像である。ここで、学習データとして用いられるＯＣＴ画像を撮影するＯＣＴ装置と、基画像として用いられるＯＣＴ画像を撮影するＯＣＴ装置は、同一機種、または、同一メーカーによって製造された機種であってもよい。この場合、機種またはメーカーが異なることに起因して医療情報の品質が低下することが抑制されるので、より高い品質の医療情報が取得され易くなる。

【0021】

ただし、基画像および学習データとして、ＯＣＴ画像以外の眼科画像（例えば、眼底カメラによって撮影された画像、レーザ走査型検眼装置（ＳＬＯ）によって撮影された画像、および、角膜内皮細胞撮影装置によって撮影された画像等の少なくともいずれか）が用いられる場合でも、学習に用いられた学習データの統計情報に依存しない正規化処理が採用されることで、取得される医療情報の品質は向上し易くなる。

【0022】

数学モデルは、基画像が入力されることで、基画像の画質を向上させた目的画像を医療情報として出力するように機械学習アルゴリズムによって学習されていてもよい。バッチ正規化等を用いる従来の処理では、数学モデルに入力されるデータが、学習データの分布から外れていることの影響が、数学モデルによって出力される目的画像の品質低下に表れやすかった。例えば、品質が元々高い基画像を数学モデルに入力しても、品質が高い眼科画像が学習データに含まれていなかった場合等には、取得される目的画像の品質が、逆に基画像よりも低下してしまう場合も散見された。これに対し、本開示の技術によると、学習データの分布に対する基画像のデータの近似度に関わらず、高品質の目的画像が取得され易くなる。よって、目的画像の品質が基画像の品質よりも低くなる不具合等も生じにくくなる。

【0023】

また、基画像の画質を向上させた目的画像を出力するように数学モデルを学習させる場合、高画質の学習データ（後述する「出力用学習データ」）として、同一部位の複数の画像を加算した加算画像が用いられることも多い。ここで、白内障がある被検眼、および、固視が不安定な被検眼等を撮影対象とすると、加算される各々の画像が低画質であるため、そもそも加算画像を生成することが困難となる。従って、高画質の学習データとして加算画像を用いると、多数の学習データのうちの多くが、加算画像を生成し易い被検眼の画像（例えば、白内障等がない被検眼の画像）となってしまい、学習データの特性が偏り易くなるという傾向がある。従って、バッチ正規化等を用いる従来の処理では、低画質の基画像（例えば、白内障等がある画像等）の品質を十分に向上させることが困難であった。これに対し、本開示の技術によると、学習データの分布に対する基画像のデータの近似度が低い場合（例えば、学習データに含まれにくい低画質の画像を基画像とする場合等）でも、高品質の目的画像が取得され易くなるという利点も得られる。

【0024】

なお、数学モデルによって変換される画質の詳細は適宜選択できる。例えば、制御部は、入力画像のノイズ量、コントラスト、および解像度等の少なくともいずれかが変換された目的画像を、数学モデルを利用して取得してもよい。

【0025】

ただし、本開示の技術は、高画質の目的画像とは異なる医療情報を出力する数学モデルを用いる場合にも適用できる。例えば、眼科画像に写る組織の構造（例えば、特定の境界または特定部位等の少なくともいずれか）の検出結果を医療情報として出力する数学モデルに、本開示の技術を適用することで、構造の検出精度が向上する。また、眼科画像中の組織の疾患に関する医療情報を出力する数学モデルにも、本開示の技術を適用することが可能である。

【0026】

医療情報取得ステップでは、制御部は、基画像取得ステップにおいて取得された基画像を、基画像が所定条件を満たしているか否かに関わらず数学モデルに入力することで、医療情報を取得してもよい。

【0027】

数学モデルによって高品質の医療情報が出力される条件を、数学モデルに入力する基画像が満たしているか否かを判断し、条件を満たした基画像のみを選択的に数学モデルに入力することで、品質が低い医療情報が取得されることを抑制することも考えられる。しかし、そもそも、高品質の医療情報を得るための基画像の条件を正確に設定することは困難である。特に、被検眼の状態および撮影条件等に応じて基画像の特性が大幅に変化する場合には、高品質の医療情報を得るための基画像の条件を設定することは非常に難しい。さらに、条件を満たした基画像のみを選択的に数学モデルに入力する場合には、処理量の増加等のデメリットが生じる場合も多い。これに対し、本開示の技術を適用する場合には、数学モデルに入力される基画像の特性にばらつきがある場合でも（つまり、基画像のデータが学習データの分布と近似しているか否かに関わらず）、高品質の医療情報が取得され易くなる。よって、高品質の医療情報が適切に取得され易くなる。

【0028】

医療情報取得ステップでは、基画像取得ステップにおいて取得された基画像が、同一部位の複数の画像を加算処理した加算画像であるか、加算処理が行われていない画像（非加算画像）であるかに関わらず、取得された基画像を数学モデルに入力することで、医療情報を取得してもよい。この場合でも、本開示の技術を適用することで、高品質の医療情報が取得され易くなる。なお、加算画像を基画像として数学モデルに入力する場合、基画像を生成する際の加算処理に用いられた画像の枚数は制限されていなくてもよい。また、基画像を生成する際の加算処理に用いられた画像の枚数は、学習データとして用いられた加算画像の加算処理に用いられた画像の枚数よりも多くてもよい。基画像の画質は、学習データとして用いられた高画質の画像よりも高くてもよい。これらの場合でも、本開示の技術を適用することで、高品質の医療情報が取得され易くなる。

【0029】

＜実施形態＞
（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを学習（訓練）させることで、数学モデルを構築する。構築された数学モデルを実現するプログラムは、眼科画像処理装置２１の記憶装置２４に記憶される。眼科画像処理装置２１は、数学モデルに基画像（眼科画像）を入力画像として入力することで、基画像に基づいて数学モデルが出力する医療情報を取得する。眼科画像撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像を撮影する。

【0030】

一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、眼科画像撮影装置１１Ａから取得した眼科画像（以下、「学習用眼科画像」という）と、学習用眼科画像から得られる医療情報（本実施形態では、学習用眼科画像の画質を向上させた画像）とを利用して数学モデルを学習（訓練）させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。

【0031】

また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。

【0032】

数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する数学モデル構築処理（図３参照）を実行するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、眼科画像撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。

【0033】

数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

【0034】

数学モデル構築装置１は、眼科画像撮影装置１１Ａから眼科画像のデータ（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ａから眼科画像のデータを取得してもよい。

【0035】

眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する眼科画像処理（図４参照）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、眼科画像撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。

【0036】

眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。

【0037】

眼科画像処理装置２１は、眼科画像撮影装置１１Ｂから眼科画像を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ｂから眼科画像を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。

【0038】

眼科画像撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に眼科画像を提供する眼科画像撮影装置１１Ａと、眼科画像処理装置２１に眼科画像を提供する眼科画像撮影装置１１Ｂが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および眼科画像処理装置２１は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置１および眼科画像処理装置２１は、共通する１つの眼科画像撮影装置から眼科画像を取得してもよい。

【0039】

また、本実施形態では、眼科画像撮影装置１１（１１Ａ，１１Ｂ）として、ＯＣＴ装置を例示する。ただし、ＯＣＴ装置以外の眼科画像撮影装置（例えば、レーザ走査型検眼装置（ＳＬＯ）、眼底カメラ、シャインプルーフカメラ、または角膜内皮細胞撮影装置（ＣＥＭ）等）が用いられてもよい。

【0040】

眼科画像撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。後述する眼科画像処理（図４および図９参照）の少なくとも一部を眼科画像撮影装置１１が実行する場合には、眼科画像処理を実行するための眼科画像処理プログラムの少なくとも一部が記憶装置１４に記憶されることは言うまでもない。

【0041】

眼科画像撮影部１６は、被検眼の眼科画像を撮影するために必要な各種構成を備える。本実施形態の眼科画像撮影部１６には、ＯＣＴ光源、ＯＣＴ光源から出射されたＯＣＴ光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、被検眼の組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。

【0042】

眼科画像撮影装置１１は、被検眼の眼底の二次元断層画像および三次元断層画像を撮影することができる。詳細には、ＣＰＵ１３は、スキャンライン上にＯＣＴ光（測定光）を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。また、ＣＰＵ１３は、ＯＣＴ光を二次元的に走査することによって、組織における三次元断層画像を撮影することも可能である。例えば、ＣＰＵ１３は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、ＣＰＵ１３は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する。

【0043】

さらに、ＣＰＵ１３は、組織上の同一部位（本実施形態では、同一のスキャンライン上）に測定光を複数回走査させることで、同一部位の眼科画像を複数撮影することも可能である。ＣＰＵ１３は、同一部位の複数の眼科画像に対して加算処理を行うことで、スペックルノイズの影響が抑制された加算画像を取得することができる。同一部位の複数の二次元断層画像に対して加算処理を行うことで、二次元断層画像の画質を向上させることができる。加算処理は、例えば、複数の眼科画像のうち、同一の位置の画素の画素値を平均化することで行われてもよい（つまり、加算平均処理が行われてもよい）。加算処理を行う画像の数が多い程、スペックルノイズの影響は抑制され易いが、撮影時間は長くなる。なお、眼科画像撮影装置１１は、同一部位の眼科画像を複数撮影する間に、被検眼の動きにＯＣＴ光の走査位置を追従させるトラッキング処理を実行する。

【0044】

（数学モデル構築処理）
図２および図３を参照して、数学モデル構築装置１が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置４に記憶された数学モデル構築プログラムに従って、ＣＰＵ３によって実行される。

【0045】

数学モデル構築処理では、学習用データセットによって数学モデルが学習（訓練）されることで、入力画像に基づく医療情報（本実施形態では、入力画像の画質を向上させた目的画像のデータ）を出力する数学モデルが構築される。学習用データセットには、入力側のデータ（入力用学習データ）と出力側のデータ（出力用学習データ）が含まれる。数学モデルは、種々の眼科画像に基づいて医療情報を出力することが可能である。数学モデルに入力する眼科画像の種類に応じて、数学モデルの学習に用いられる学習用データセットの種類が定まる。以下、二次元断層画像を入力画像として数学モデルに入力することで、入力画像の画質を向上させた二次元断層画像（高画質画像）を、目的画像として数学モデルに出力させる場合について説明する。

【0046】

図２に、高画質の二次元断層画像を目的画像として数学モデルに出力させる場合の、入力用学習データと出力用学習データの一例を示す。図２に示す例では、ＣＰＵ３は、組織の同一部位を撮影した複数の二次元断層画像４００Ａ～４００Ｘのセット４０を取得する。ＣＰＵ３は、セット４０内の複数の二次元断層画像４００Ａ～４００Ｘの一部（後述する出力用学習データの加算処理（本実施形態では加算平均処理）に使用された枚数よりも少ない枚数）を、入力用学習データとする。また、ＣＰＵ３は、セット４０内の複数の二次元断層画像４００Ａ～４００Ｘの加算平均画像４１を、出力用学習データとして取得する。図２に例示する入力用学習データおよび出力用学習データによって数学モデルが学習された場合、構築された数学モデルに二次元断層画像が入力画像として入力されることで、スペックルノイズの影響が抑制された高画質の二次元断層画像が、目的画像として出力される。

【0047】

なお、数学モデルに画質を変換させる眼科画像は、眼底の二次元断層画像に限定されない。例えば、眼科画像は被検眼の眼底以外の部位の画像であってもよい。また、眼科画像は、ＯＣＴ装置によって撮影された三次元断層画像、ＯＣＴアンジオ画像、またはＥｎｆａｃｅ画像等であってもよい。ＯＣＴアンジオ画像は、眼底を正面（つまり、被検眼の視線方向）から見た二次元の正面画像であってもよい。ＯＣＴアンジオ画像は、例えば、同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が処理されることで取得されるモーションコントラスト画像であってもよい。Ｅｎｆａｃｅ画像は、ＯＣＴ装置によって撮影された三次元断層画像の少なくとも一部を、ＯＣＴ装置の測定光の光軸に沿う方向（正面方向）から見た場合の二次元正面画像である。また、眼科画像は、眼底カメラによって撮影された画像、レーザ走査型検眼装置（ＳＬＯ）によって撮影された画像、または、角膜内皮細胞撮影装置によって撮影された画像等であってもよい。

【0048】

また、出力用学習データとして使用される高画質の眼科画像を生成する方法を変更することも可能である。例えば、加算処理以外の処理によって眼科画像の画質を向上させることで、出力用学習データが生成されてもよい。

【0049】

図３を参照して、数学モデル構築処理について説明する。ＣＰＵ３は、眼科画像撮影装置１１Ａによって撮影された眼科画像の少なくとも一部を、入力用学習データとして取得する（Ｓ１）。本実施形態では、眼科画像のデータは、眼科画像撮影装置１１Ａによって生成された後、数学モデル構築装置１によって取得される。しかし、ＣＰＵ３は、眼科画像を生成する基となる信号（例えばＯＣＴ信号）を眼科画像撮影装置１１Ａから取得し、取得した信号に基づいて眼科画像を生成することで、眼科画像のデータを取得してもよい。

【0050】

次いで、ＣＰＵ３は、Ｓ１で取得した入力用学習データに対応する出力用学習データを取得する（Ｓ３）。入力用学習データと出力用学習データの対応関係の一例については、前述した通りである。

【0051】

次いで、ＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する（Ｓ３）。数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、学習データセットを用いて学習されることで構築される。前述したように、学習データセットは、入力用学習データと出力用学習データのセットである。例えば、学習によって、各入力と出力の相関データ（例えば、重み）が更新される。

【0052】

本実施形態では、機械学習アルゴリズムとして多層ニューラルネットワークが用いられている。ニューラルネットワークの各層では、畳み込み、正規化、活性化等の種々の処理が行われ、各層で行われる処理のパラメータが学習によって更新される。詳細には、本実施形態では、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）が、機械学習アルゴリズムとして採用されている。ただし、他の機械学習アルゴリズム（例えば、Ｔｒａｎｓｆｏｒｍｅｒ等）が採用されてもよい。

【0053】

ここで、正規化処理として、例えば、データの平均を０、標準偏差を１としてデータをスケーリングする方法（一般に、「標準化」と呼ばれる）、データの最小値が０、最大値が１となるようにデータをスケーリングする方法（この方法を「正規化」という場合もある）、多次元データの各成分の関係性を解消する方法（一般に、「無相関化」と呼ばれる）、無相関化したデータに対して標準化を適用する方法（一般に、「白色化」と呼ばれる）等がある。データの正規化処理が行われることで、学習コストの削減、および、処理結果の安定性の向上等の効果が得られる場合が多い。

【0054】

従来利用されている正規化処理の１つに、バッチ正規化がある。例えば、前述した非特許文献１で採用されている正規化処理もバッチ正規化である。バッチ正規化では、数学モデルの学習時において、各ミニバッチ内で統計情報（例えば、平均と分散等）が算出され、算出された統計情報に基づいて正規化処理が行われる。一方で、推論時にはミニバッチを得ることができないので、学習時に得られたミニバッチ毎の統計情報に基づいて正規化処理が行われる。バッチ正規化のように、学習に用いられた学習データ（本開示では、入力用学習データである眼科画像のデータ）の統計情報に基づいて正規化処理を行う場合、学習データの分布に対して、学習された数学モデルに入力されるデータ（本開示では、後述する基画像のデータ）が近似していれば、高品質の医療情報が得られ易い。しかし、数学モデルに入力されるデータが、学習データの分布から外れていると、得られる医療情報の品質が低下し易いことが新たに判明した。

【0055】

そこで、本実施形態のＳ３では、学習に用いられた学習データの統計情報に依存しない正規化処理（例えば、学習データの統計情報でなく、基画像のデータの統計情報に基づく正規化処理等）を推論時（つまり、構築された数学モデルに、基画像に基づく医療情報を出力させる際）に実行するように、数学モデルが構築される。その結果、数学モデルに入力されるデータが、学習データの分布と近似しているか否かに関わらず、高品質の医療情報が取得され易くなる。

【0056】

なお、学習データの統計情報に依存しない正規化処理には、例えば、インスタンス正規化、グループ正規化、およびレイヤー正規化等の少なくともいずれかを採用することができる。インスタンス正規化では、１つのデータの１つのチャネルに対して正規化処理が行われる。グループ正規化では、１つのデータの任意のチャネル数に対して正規化処理が行われる。レイヤー正規化では、１つのデータの全チャネルに対して正規化処理が行われる。

【0057】

数学モデルの構築が完了するまで（Ｓ５：ＮＯ）、Ｓ１～Ｓ３の処理が繰り返される。数学モデルの構築が完了すると（Ｓ５：ＹＥＳ）、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置２１に組み込まれる。

【0058】

（眼科画像処理）
図４および図５を参照して、眼科画像処理装置２１が実行する眼科画像処理の一例について説明する。眼科画像処理装置２１では、眼科画像撮影装置１１Ｂによって撮影された眼科画像である基画像が数学モデルに入力されることで、基画像に基づく医療情報が取得される。本実施形態では、基画像の画質が向上された目的画像のデータが、医療情報として取得される。図４に例示する眼科画像処理は、記憶装置２４に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。

【0059】

図４に示すように、ＣＰＵ２３は、眼科画像撮影装置（本実施形態ではＯＣＴ装置）１１Ｂによって撮影された、被検眼の組織の眼科画像を、基画像として取得する（Ｓ１１）。本実施形態のＳ１１では、被検眼の眼底組織の二次元断層画像が取得される。

【0060】

なお、眼科画像撮影装置１１Ｂによって眼科画像が撮影される毎に、撮影対象とされる被検眼の状態（例えば、白内障の有無等）、露光時間、フォーカス、加算枚数（つまり、同一位置で撮影された複数の画像の加算を行うことで得られる加算画像に用いられる画像の枚数）等の種々の条件が変化する。従って、本実施形態のＳ１１で取得される基画像の特性（例えば、ノイズレベル、画像のサイズ、断層画像の深さ方向の範囲等）は変化し易い。その結果、Ｓ１１で取得される基画像のデータは、数学モデルの学習に用いられた学習データの分布から外れる場合もある。

【0061】

次いで、ＣＰＵ２３は、機械学習アルゴリズムによって学習された数学モデルに、Ｓ１１で取得された元画像を入力画像として入力する（Ｓ１２）。前述したように、数学モデルは、学習用データセットによって数学モデルが学習（訓練）されることで、入力された元画像に基づく医療情報（本実施形態では、元画像の画質を向上させた目的画像のデータ）を出力するように、学習用データセットによって予め学習されている。ＣＰＵ２３は、数学モデルによって出力された医療情報を取得する（Ｓ１３）。

【0062】

本実施形態における学習済みの数学モデルは、学習に用いられた学習データの統計情報に依存しない正規化処理（例えば、学習データの統計情報でなく、基画像のデータの統計情報に基づく正規化処理等）を行う。従って、数学モデルに入力される基画像のデータが、学習データの分布と近似しているか否かに関わらず、高品質の医療情報が取得され易くなる。

【0063】

図５を参照して、推論時に学習データの統計情報に依存する正規化処理を行う数学モデルを利用する場合と、学習データの統計情報に依存しない正規化処理を行う数学モデルを利用する場合の、医療情報の品質の比較結果の一例について説明する。前述したように、バッチ正規化は、推論時において学習データの統計情報に依存する正規化処理の一例である。また、グループ正規化およびインスタンス正規化は、推論時に学習データの統計情報に依存しない正規化処理の例である。図５に示す例では、バッチ正規化、グループ正規化、およびインスタンス正規化を実行する３つの数学モデルの各々に、同一の基画像を入力することで得られた目的画像を示している。詳細には、図５では、加算枚数が異なる３つの基画像の各々を、３つの数学モデルの各々に入力することで得られた９枚の目的画像が示されている。

【0064】

今回使用された３つの数学モデルは、いずれも加算処理が行われていない眼科画像を入力用学習データとして学習されている。従って、加算処理が行われていない基画像が数学モデルに入力される場合には、学習データの分布に対して、学習された数学モデルに入力される基画像のデータが近似する。従って、図５に示すように、バッチ正規化（つまり、推論時において学習データの統計情報に依存する正規化処理）を行う数学モデルは、加算処理が行われていない基画像が入力された場合には、高い品質の目的画像を出力している。なお、グループ正規化またはインスタンス正規化（つまり、推論時に学習データの統計情報に依存しない正規化処理）を行う数学モデルも、加算処理が行われていない基画像が入力されることで、高い品質の目的画像を出力している。

【0065】

一方で、加算処理が行われた基画像が数学モデルに入力される場合には、基画像のデータが学習データの分布から外れることになる。この場合、バッチ正規化を行う数学モデルによって出力される目的画像の品質は、加算処理が行われていない基画像が入力される場合の目的画像の品質に比べて低下してしまっている（画像がぼけてしまっている）。図５に示すように、バッチ正規化を行う数学モデルによって出力された目的画像を比較すると、加算処理が行われていない基画像が用いられる場合に比べて、５枚の眼科画像が加算された基画像が用いられる場合の目的画像の品質が低下している。また、１２０枚の眼科画像が加算された基画像が用いられる場合の目的画像の品質は、５枚の眼科画像が加算された基画像が用いられる場合の目的画像の品質よりもさらに低下している。

【0066】

これに対し、グループ正規化またはインスタンス正規化を行う数学モデルによって出力された目的画像を比較すると、基画像に加算処理が行われているか否かに関わらず、高い品質の目的画像を出力している。これは、グループ正規化またはインスタンス正規化を行う数学モデルは、推論時に学習データの統計情報に依存しない正規化処理を行うため、基画像のデータが学習データの分布に近似しているか否かに関わらず、高い品質の医療情報を出力しやすいためであると考えられる。

【0067】

なお、学習データの統計情報に依存する正規化処理を採用したうえで、様々な特性を有する学習データを数学モデルの学習に用いることで、出力される医療情報の品質の向上を図ることも考えられる。しかし、この場合、特性が互いに異なる多種の学習データを用いて数学モデルの学習を行う必要があるので、学習コストを削減することが困難となる。これに対し、本実施形態で開示した技術を用いると、特性が異なる多種の学習データを数学モデルの学習に用いなくても、高品質の医療情報が取得され易くなる。従って、本開示の技術は、数学モデルの学習の局面でも有利となる。

【0068】

本実施形態では、数学モデルの学習に用いられる眼科画像、および、数学モデルに入力される基画像は、共にＯＣＴ装置によって撮影されるＯＣＴ画像である。ＯＣＴ装置は、例えば組織の断層画像等の有用な眼科画像を撮影することが可能である。一方で、ＯＣＴ画像の特性（例えば、ノイズレベル、画像のサイズ、断層画像の深さ方向の範囲等）は、他の眼科画像に比べて、撮影対象とされる被検眼の状態、露光時間、フォーカス、加算枚数等の種々の影響によって変化し易い。その結果、数学モデルに入力されるＯＣＴ画像のデータが、学習データの分布から外れてしまう頻度が高くなる。従って、数学モデルにおける正規化処理に、学習データの統計情報に依存する正規化処理が採用されていると、ＯＣＴ画像を基画像として得られる医療情報の品質が低下し易い。これに対し、本実施形態における学習済みの数学モデルは、学習データの統計情報に依存しない正規化処理を行う。よって、特性が変化し易いＯＣＴ画像を用いる場合でも、高い品質の医療情報が取得され易くなる。

【0069】

図５に示したように、バッチ正規化を行う数学モデルを利用して、基画像よりも高品質の目的画像を取得しようとすると、基画像のデータが学習データの分布から外れていることの影響が、目的画像の品質低下に表れやすい。例えば、品質が元々高い基画像（加算画像等）を、バッチ正規化を行う数学モデルに入力しても、品質が高い眼科画像が学習データに含まれていなかった場合等には、取得される目的画像の品質が、逆に基画像よりも低下してしまう場合もある。これに対し、本実施形態で開示した技術によると、学習データの分布に対する基画像のデータの近似度に関わらず、高品質の目的画像が取得され易くなる。よって、目的画像の品質が基画像の品質よりも低くなる不具合等も生じにくくなる。

【0070】

なお、数学モデルによって高品質の医療情報が出力される条件を、基画像が満たしているか否かを判断し、条件を満たした基画像のみを選択的に数学モデルに入力することで、品質が低い医療情報が取得されることを抑制することも考えられる。しかし、そもそも、高品質の医療情報を得るための基画像の条件を正確に設定することは困難である。特に、被検眼の状態および撮影条件等に応じて基画像の特性が大幅に変化する場合（例えば、ＯＣＴ画像を基画像とする場合等）には、高品質の医療情報を得るための基画像の条件を設定することは非常に難しい。さらに、条件を満たした基画像のみを選択的に数学モデルに入力する場合には、処理量の増加等のデメリットが生じる場合も多い。これに対し、本実施形態では、数学モデルに入力される基画像の特性にばらつきがある場合でも（つまり、基画像のデータが学習データの分布と近似しているか否かに関わらず）、高品質の医療情報が取得され易くなる。従って、本実施形態では、図４に示すように、Ｓ１１で取得された基画像が所定条件を満たしているか否かに関わらず、取得された基画像を数学モデルに入力することで、高品質の目的画像が取得される。よって、高品質の医療情報が適切に取得され易くなる。具体的には、本実施形態では、Ｓ１１で取得された基画像が、同一部位の複数の画像を加算処理した加算画像であるか、加算処理が行われていない画像であるかに関わらず、取得された取得された基画像を数学モデルに入力することで、高品質の目的画像が取得される。基画像を生成する際の加算処理に用いられた画像の枚数は、学習データとして用いられた加算画像の加算処理に用いられた画像の枚数よりも多くてもよい。基画像の画質は、学習データとして用いられた高画質の画像よりも高くてもよい。

【0071】

上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態では、数学モデルの学習に用いられる眼科画像（学習データ）、および、数学モデルに入力される基画像は、共に、ＯＣＴ装置によって撮影されるＯＣＴ画像である。しかし、基画像および学習データとして、ＯＣＴ画像以外の眼科画像（例えば、眼底カメラによって撮影された画像、レーザ走査型検眼装置（ＳＬＯ）によって撮影された画像、および、角膜内皮細胞撮影装置によって撮影された画像等の少なくともいずれか）が用いられてもよい。この場合でも、学習に用いられた学習データの統計情報に依存しない正規化処理が採用されることで、取得される医療情報の品質は向上し易くなる。

【0072】

また、上記実施形態では、入力される基画像よりも高品質の目的画像を医療情報として出力する数学モデルが用いられている。しかし、本開示の技術は、高画質の目的画像とは異なる医療情報を出力する数学モデルを用いる場合にも適用できる。例えば、眼科画像に写る組織の構造（例えば、特定の境界または特定部位等の少なくともいずれか）の検出結果を医療情報として出力する数学モデルに、本開示の技術を適用することで、構造の検出精度が向上する。また、眼科画像中の組織の疾患に関する医療情報を出力する数学モデルにも、本開示の技術を適用することが可能である。

【0073】

なお、図４のＳ１１で眼科画像を取得する処理は、「基画像取得ステップ」の一例である。図４のＳ１２、Ｓ１３で医療情報を取得する処理は、「医療情報取得ステップ」の一例である。

【符号の説明】

【0074】

１ 数学モデル構築装置
１１（１１Ａ，１１Ｂ） 眼科画像撮影装置
２１ 眼科画像処理装置
２３ ＣＰＵ
２４ 記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】