特許7582972 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 興和株式会社の特許一覧

特許7582972眼科画像処理方法、眼科画像処理装置及び眼科画像処理プログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】眼科画像処理方法、眼科画像処理装置及び眼科画像処理プログラム

(51)【国際特許分類】

A61B 3/10 20060101AFI20241106BHJP

G06T 7/00 20170101ALI20241106BHJP

【ＦＩ】

A61B3/10

G06T7/00 612

【請求項の数】 17

(21)【出願番号】P 2021567518

(86)(22)【出願日】2020-12-23

(86)【国際出願番号】 JP2020048106

(87)【国際公開番号】W WO2021132307

(87)【国際公開日】2021-07-01

【審査請求日】2023-11-21

(31)【優先権主張番号】P 2019232939

(32)【優先日】2019-12-24

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2020031297

(32)【優先日】2020-02-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000163006

【氏名又は名称】興和株式会社

(74)【代理人】

【識別番号】100188662

【弁理士】

【氏名又は名称】浅見浩二

(74)【代理人】

【識別番号】100177895

【弁理士】

【氏名又は名称】山田一範

(72)【発明者】

【氏名】有田玲子

(72)【発明者】

【氏名】薮崎克己

(72)【発明者】

【氏名】鈴木京

【審査官】増渕俊仁

(56)【参考文献】

【文献】特開２０１８－１２１８８６（ＪＰ，Ａ）

【文献】特開２０１８－８９３０１（ＪＰ，Ａ）

【文献】米国特許第１０４６８１４２（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１９／０１２２３５０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ３／００－３／１８

Ｇ０６Ｔ７／００

(57)【特許請求の範囲】

【請求項1】

機械学習を用いて被検眼を撮影した眼科画像から被検眼の状態を評価する眼科画像処理方法であって、
学習用の眼科画像から複数の小区画画像を抽出し、かつ各小区画画像の状態に関する正解データを用いて、機械学習によって小区画画像毎に被検眼の状態を予測することについて予め学習を行って学習済モデルを得る学習ステップと、
試験用の眼科画像を取得する画像取得ステップと、
試験用の眼科画像から複数の小区画画像を抽出する抽出ステップと、
前記学習済モデルを用いて各小区画画像の被検眼の状態を予測する予測ステップとを有し、
前記小区画画像は、評価対象の被検眼の状態に応じた画像サイズとなるように前記眼科画像から抽出するようにした
ことを特徴とする眼科画像処理方法。

【請求項2】

前記小区画画像のサイズ以下の所定のサイズからなる領域であって前記小区画画像の予測結果を反映させるための結果反映領域を設定する結果反映領域設定ステップを更に有し、
前記抽出ステップでは、前記結果反映領域のそれぞれに対応させて、前記結果反映領域を内包しかつ前記結果反映領域以上の所定サイズとなる領域を前記小区画画像として抽出するようにし、
前記予測ステップでは、前記小区画画像毎に得られた予測結果を対応する前記結果反映領域に対して反映させるようにした
ことを特徴とする請求項１に記載の眼科画像処理方法。

【請求項3】

前記眼科画像からエッジを抽出してエッジ画像を生成するエッジ画像生成ステップを更に有し、
前記予測ステップでは、前記結果反映領域の位置に対応する前記エッジ画像における輝度値が所定の閾値以上である場合に、当該結果反映領域に対応する前記小区画画像を予測処理の対象に設定するようにした
ことを特徴とする請求項２に記載の眼科画像処理方法。

【請求項4】

前記予測ステップでは、前記小区画画像毎に平均輝度値を算出し、平均輝度値が所定の閾値以上の前記小区画画像を予測処理の対象に設定するようにした
ことを特徴とする請求項１から請求項３のいずれか１項に記載の眼科画像処理方法。

【請求項5】

前記眼科画像に対して予測結果を示す画像を重畳表示したものを表示手段によって表示させる予測結果表示ステップを更に有する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の眼科画像処理方法。

【請求項6】

前記画像取得ステップでは、時系列に並ぶ複数の眼科画像を取得し、
前記予測ステップでは、複数の眼科画像のそれぞれについて予測処理を実行するようにし、
複数の眼科画像のそれぞれについて得られた予測結果について、被検眼の状態の時間的変化及び／又は空間的変化が所定条件を満たしたか否かを判定する変化判定ステップをさらに有する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の眼科画像処理方法。

【請求項7】

前記被検眼の状態は、涙液層の干渉縞の有無である
ことを特徴とする請求項１から請求項６のいずれか１項に眼科画像処理方法。

【請求項8】

前記被検眼の状態は、ブレークの有無である
ことを特徴とする請求項１から請求項６のいずれか１項に眼科画像処理方法。

【請求項9】

被検眼を撮影した眼科画像から被検眼の状態を評価するための眼科画像処理装置であって、
評価対象の前記眼科画像を取得する画像取得部と、
前記眼科画像から複数の小区画画像を抽出する抽出部と、
学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて機械学習によって小区画画像毎に被検眼の状態を予測することについて予め学習を行った学習済モデルに基づいて、前記小区画画像毎に被検眼の状態を予測する予測部とを有し、
前記小区画画像は、評価対象の被検眼の状態に応じた画像サイズとなるように前記眼科画像から抽出するようにした
ことを特徴とする眼科画像処理装置。

【請求項10】

被検眼を撮影した眼科画像から被検眼の状態を評価する処理をコンピュータに実現させるための眼科画像処理プログラムであって、
前記コンピュータに、
評価対象の前記眼科画像を取得する画像取得機能と、
前記眼科画像から複数の小区画画像を抽出する抽出機能と、
学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて機械学習によって小区画画像毎に被検眼の状態を予測することについて予め学習を行った学習済モデルに基づいて、前記小区画画像毎に被検眼の状態を予測する予測機能とを実現させ、
前記小区画画像は、評価対象の被検眼の状態に応じた画像サイズとなるように前記眼科画像から抽出するようにした
ことを特徴とする眼科画像処理プログラム。

【請求項11】

機械学習を用いて被検眼を撮影した眼科画像から被検眼のドライアイの状態を評価する眼科画像処理方法であって、
学習用の眼科画像から複数の小区画画像を抽出し、かつ各小区画画像の状態に関する正解データを用いて、機械学習によって小区画画像毎に被検眼のドライアイの状態として少なくとも健常な状態、涙液減少型ドライアイの状態、蒸発亢進型ドライアイの状態の何れに該当するかを予測することについて予め学習を行って学習済モデルを得る学習ステップと、
試験用の眼科画像を取得する画像取得ステップと、
試験用の眼科画像から複数の小区画画像を抽出する抽出ステップと、
前記学習済モデルを用いて各小区画画像の被検眼のドライアイの状態を予測する予測ステップとを有し、
前記小区画画像は、評価対象の被検眼のドライアイの状態を適切に評価可能な画像サイズとなるように前記眼科画像から抽出するようにした
ことを特徴とする眼科画像処理方法。

【請求項12】

【請求項13】

前記予測ステップでは、前記小区画画像毎に平均輝度値を算出し、平均輝度値が所定の閾値以上の前記小区画画像を予測処理の対象に設定するようにした
ことを特徴とする請求項１１又は請求項１２に記載の眼科画像処理方法。

【請求項14】

前記眼科画像に対して予測結果を示す画像を重畳したものを表示手段によって表示させる予測結果表示ステップを更に有する
ことを特徴とする請求項１１から請求項１３のいずれか１項に記載の眼科画像処理方法。

【請求項15】

前記画像取得ステップでは、時系列に並ぶ複数の眼科画像を取得し、
前記予測ステップでは、複数の眼科画像のそれぞれについて予測処理を実行するようにし、
複数の眼科画像のそれぞれについて得られた予測結果について、被検眼のドライアイの状態の時間的変化及び／又は空間的変化が所定条件を満たしたか否かを判定する変化判定ステップをさらに有する
ことを特徴とする請求項１１から請求項１４のいずれか１項に記載の眼科画像処理方法。

【請求項16】

被検眼を撮影した眼科画像から被検眼のドライアイの状態を評価するための眼科画像処理装置であって、
評価対象の前記眼科画像を取得する画像取得部と、
前記眼科画像から複数の小区画画像を抽出する抽出部と、
学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて、機械学習によって小区画画像毎に被検眼のドライアイの状態として少なくとも健常な状態、涙液減少型ドライアイの状態、蒸発亢進型ドライアイの状態の何れに該当するかを予測することについて予め学習を行った学習済モデルに基づいて、前記小区画画像毎に被検眼のドライアイの状態を予測する予測部とを有し、
前記小区画画像は、評価対象の被検眼のドライアイの状態を適切に評価可能な画像サイズとなるように前記眼科画像から抽出するようにした
ことを特徴とする眼科画像処理装置。

【請求項17】

被検眼を撮影した眼科画像から被検眼のドライアイの状態を評価する処理をコンピュータに実現させるための眼科画像処理プログラムであって、
前記コンピュータに、
評価対象の前記眼科画像を取得する画像取得機能と、
前記眼科画像から複数の小区画画像を抽出する抽出機能と、
学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて、機械学習によって小区画画像毎に被検眼のドライアイの状態として少なくとも健常な状態、涙液減少型ドライアイの状態、蒸発亢進型ドライアイの状態の何れに該当するかを予測することについて予め学習を行った学習済モデルに基づいて、前記小区画画像毎に被検眼のドライアイの状態を予測する予測機能とを実現させ、
前記小区画画像は、評価対象の被検眼のドライアイの状態を適切に評価可能な画像サイズとなるように前記眼科画像から抽出するようにした
ことを特徴とする眼科画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被検眼の状態を分析するための眼科画像処理方法、眼科画像処理装置及び眼科画像処理プログラムに関するものである。

【背景技術】

【0002】

従来、被検眼を撮影し、その撮影画像を用いてコンピュータによって被検眼の状態を評価する手法が様々提案されてきた。例えば、ドライアイの診断を行うための眼科装置として特許文献１が提案されている。

【0003】

特許文献１には、照明光により被検眼の涙液層で形成される干渉模様をカラー撮像し、撮像されたカラー画像を複数の色成分に分解し、分解された色成分毎の信号に基づいて各色成分に出現する干渉縞を判定し、各色成分で判定された干渉縞の数又は判定された干渉縞の信号レベル変化に基づいてドライアイの進行状態を示す値を演算する眼科装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－２１１１７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の特許文献１に記載の眼科装置によれば、ドライアイの進行状態を精度良く的確に定量化できるが、この特許文献１では被検眼におけるかなり広い領域を解析エリアに設定し、その解析エリアにおける少なくとも１つの解析ライン状の信号レベルに基づいて干渉縞を判定する構成である。すなわち、被検眼全体としての干渉縞の状態の判定は可能であるが、被検眼の細部毎の状態の評価を行うことはできないものであった。

【0006】

一般的に、１枚の眼科画像全体について評価を行う手法は、１枚の画像を解析するだけで結果が得られるため解析時間が短いというメリットがある反面、（１）抽出対象の存在は予測可能だが、画像のどの部位に存在しているかは分からないため、診断支援能力は低いということ、（２）画像のごく一部にしか存在しない対象の構造や特徴を抽出することは極めて困難であること、（３）ノイズの要素（コントラストが強いまつ毛の領域や干渉縞画像の瞳の輪郭）を間違って抽出対象として捉えることが想定されること、（４）予測精度の向上のためにはたくさんの画像を準備しなくてはならないこと、などがデメリットとなってしまう。そのため、これらの問題を解決して、干渉縞の状態のみならず、ブレークの発生の有無など、被検眼の状態を細かく分析できる眼科画像の処理方法が望まれていた。

【0007】

本発明は、上記問題点に鑑みなされたものであり、被検眼の状態を高精度に予測しかつ細部まで詳細に分析可能とするための眼科画像処理方法、眼科画像処理装置及び眼科画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る眼科画像処理方法は、機械学習を用いて被検眼を撮影した眼科画像から被検眼の状態を評価する眼科画像処理方法であって、学習用の眼科画像から複数の小区画画像を抽出し、かつ各小区画画像の状態に関する正解データを用いて、機械学習によって小区画画像毎に被検眼の状態を予測することについて予め学習を行って学習済モデルを得る学習ステップと、試験用の眼科画像を取得する画像取得ステップと、試験用の眼科画像から複数の小区画画像を抽出する抽出ステップと、前記学習済モデルを用いて各小区画画像の被検眼の状態を予測する予測ステップとを有し、前記小区画画像は、評価対象の被検眼の状態に応じた画像サイズとなるように前記眼科画像から抽出するようにしたことを特徴とする。

【0009】

また、本発明に係る眼科画像処理方法において、さらに、前記小区画画像のサイズ以下の所定のサイズからなる領域であって前記小区画画像の予測結果を反映させるための結果反映領域を設定する結果反映領域設定ステップを更に有し、前記抽出ステップでは、前記結果反映領域のそれぞれに対応させて、前記結果反映領域を内包しかつ前記結果反映領域以上の所定サイズとなる領域を前記小区画画像として抽出するようにし、前記予測ステップでは、前記小区画画像毎に得られた予測結果を対応する前記結果反映領域に対して反映させるようにしたことを特徴とする。

【0010】

また、本発明に係る眼科画像処理方法において、さらに、前記眼科画像からエッジを抽出してエッジ画像を生成するエッジ画像生成ステップを更に有し、前記予測ステップでは、前記結果反映領域の位置に対応する前記エッジ画像における輝度値が所定の閾値以上である場合に、当該結果反映領域に対応する前記小区画画像を予測処理の対象に設定するようにしたことを特徴とする。

【0011】

また、本発明に係る眼科画像処理方法において、さらに、前記予測ステップでは、前記小区画画像毎に平均輝度値を算出し、平均輝度値が所定の閾値以上の前記小区画画像を予測処理の対象に設定するようにしたことを特徴とする。

【0012】

また、本発明に係る眼科画像処理方法において、さらに、前記眼科画像に対して予測結果を示す画像を重畳表示したものを表示手段によって表示させる予測結果表示ステップを更に有することを特徴とする。

【0013】

また、本発明に係る眼科画像処理方法において、さらに、前記画像取得ステップでは、時系列に並ぶ複数の眼科画像を取得し、前記予測ステップでは、複数の眼科画像のそれぞれについて予測処理を実行するようにし、複数の眼科画像のそれぞれについて得られた予測結果について、被検眼の状態の時間的変化及び／又は空間的変化が所定条件を満たしたか否かを判定する変化判定ステップをさらに有することを特徴とする。

【0014】

また、本発明に係る眼科画像処理方法において、さらに、前記被検眼の状態は、涙液層の干渉縞の有無であることを特徴とする。

【0015】

また、本発明に係る眼科画像処理方法において、さらに、前記被検眼の状態は、ブレークの有無であることを特徴とする。

【0016】

本発明に係る眼科画像処理装置は、被検眼を撮影した眼科画像から被検眼の状態を評価するための眼科画像処理装置であって、評価対象の前記眼科画像を取得する画像取得部と、前記眼科画像から複数の小区画画像を抽出する抽出部と、学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて機械学習によって小区画画像毎に被検眼の状態を予測することについて予め学習を行った学習済モデルに基づいて、前記小区画画像毎に被検眼の状態を予測する予測部とを有し、前記小区画画像は、評価対象の被検眼の状態に応じた画像サイズとなるように前記眼科画像から抽出するようにしたことを特徴とする。

【0017】

本発明に係る眼科画像処理プログラムは、被検眼を撮影した眼科画像から被検眼の状態を評価する処理をコンピュータに実現させるための眼科画像処理プログラムであって、前記コンピュータに、評価対象の前記眼科画像を取得する画像取得機能と、前記眼科画像から複数の小区画画像を抽出する抽出機能と、学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて機械学習によって小区画画像毎に被検眼の状態を予測することについて予め学習を行った学習済モデルに基づいて、前記小区画画像毎に被検眼の状態を予測する予測機能とを実現させ、前記小区画画像は、評価対象の被検眼の状態に応じた画像サイズとなるように前記眼科画像から抽出するようにしたことを特徴とする。

【0018】

本発明に係る眼科画像処理方法は、機械学習を用いて被検眼を撮影した眼科画像から被検眼のドライアイの状態を評価する眼科画像処理方法であって、学習用の眼科画像から複数の小区画画像を抽出し、かつ各小区画画像の状態に関する正解データを用いて、機械学習によって小区画画像毎に被検眼のドライアイの状態として少なくとも健常な状態、涙液減少型ドライアイの状態、蒸発亢進型ドライアイの状態の何れに該当するかを予測することについて予め学習を行って学習済モデルを得る学習ステップと、試験用の眼科画像を取得する画像取得ステップと、試験用の眼科画像から複数の小区画画像を抽出する抽出ステップと、前記学習済モデルを用いて各小区画画像の被検眼のドライアイの状態を予測する予測ステップとを有し、前記小区画画像は、評価対象の被検眼のドライアイの状態を適切に評価可能な画像サイズとなるように前記眼科画像から抽出するようにしたことを特徴とする。

【0019】

【0020】

【0021】

また、本発明に係る眼科画像処理方法において、さらに、前記眼科画像に対して予測結果を示す画像を重畳したものを表示手段によって表示させる予測結果表示ステップを更に有することを特徴とする。

【0022】

また、本発明に係る眼科画像処理方法において、さらに、前記画像取得ステップでは、時系列に並ぶ複数の眼科画像を取得し、前記予測ステップでは、複数の眼科画像のそれぞれについて予測処理を実行するようにし、複数の眼科画像のそれぞれについて得られた予測結果について、被検眼のドライアイの状態の時間的変化及び／又は空間的変化が所定条件を満たしたか否かを判定する変化判定ステップをさらに有することを特徴とする。

【0023】

本発明に係る眼科画像処理装置は、被検眼を撮影した眼科画像から被検眼のドライアイの状態を評価するための眼科画像処理装置であって、評価対象の前記眼科画像を取得する画像取得部と、前記眼科画像から複数の小区画画像を抽出する抽出部と、学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて、機械学習によって小区画画像毎に被検眼のドライアイの状態として少なくとも健常な状態、涙液減少型ドライアイの状態、蒸発亢進型ドライアイの状態の何れに該当するかを予測することについて予め学習を行った学習済モデルに基づいて、前記小区画画像毎に被検眼のドライアイの状態を予測する予測部とを有し、前記小区画画像は、評価対象の被検眼のドライアイの状態を適切に評価可能な画像サイズとなるように前記眼科画像から抽出するようにしたことを特徴とする。

【0024】

本発明に係る眼科画像処理プログラムは、被検眼を撮影した眼科画像から被検眼のドライアイの状態を評価する処理をコンピュータに実現させるための眼科画像処理プログラムであって、前記コンピュータに、評価対象の前記眼科画像を取得する画像取得機能と、前記眼科画像から複数の小区画画像を抽出する抽出機能と、学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて、機械学習によって小区画画像毎に被検眼のドライアイの状態として少なくとも健常な状態、涙液減少型ドライアイの状態、蒸発亢進型ドライアイの状態の何れに該当するかを予測することについて予め学習を行った学習済モデルに基づいて、前記小区画画像毎に被検眼のドライアイの状態を予測する予測機能とを実現させ、前記小区画画像は、評価対象の被検眼のドライアイの状態を適切に評価可能な画像サイズとなるように前記眼科画像から抽出するようにしたことを特徴とする。

【発明の効果】

【0025】

本願の実施の形態により１又は２以上の不足が解決される。

【図面の簡単な説明】

【0026】

【図1】本発明の実施の形態の少なくとも１つに対応する眼科画像処理システムの構成の一例を示すブロック図である。

【図2】本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置及び周辺装置の構成の一例を示すブロック図である。

【図3】本発明の実施の形態の少なくとも１つに対応する撮影装置の構成の一例を示す説明図である。

【図4】本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置の構成の一例を示すブロック図である。

【図5】本発明の実施の形態の少なくとも１つに対応する学習処理の流れの一例を示すフローチャート図である。

【図6】本発明の実施の形態の少なくとも１つに対応する予測処理の流れの一例を示すフローチャート図である。

【図7】予測処理前の眼科画像と予測処理結果を重畳表示した眼科画像の一例を表した説明図である。

【図8】小区画画像のサイズとブレークアップの検出率の関係を表した表図である。

【図9】小区画画像のサイズと涙液干渉縞の検出率の関係を表した表図である。

【図10】本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置の構成の一例を示すブロック図である。

【図11】本発明の実施の形態の少なくとも１つに対応する予測処理の流れの一例を示すフローチャート図である。

【図12】結果反映領域と小区画画像を設定する一例を説明するための説明図である。

【図13】本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置の構成の一例を示すブロック図である。

【図14】本発明の実施の形態の少なくとも１つに対応する予測処理の流れの一例を示すフローチャート図である。

【図15】本発明の実施の形態の少なくとも１つに対応する眼科画像処理システムの構成の一例を示すブロック図である。

【図16】本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置及び周辺装置の構成の一例を示すブロック図である。

【図17】本発明の実施の形態の少なくとも１つに対応する撮影装置の構成の一例を示す説明図である。

【図18】本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置における評価対象としての被検眼のドライアイの状態を表した説明図である。

【図19】本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置の構成の一例を示すブロック図である。

【図20】本発明の実施の形態の少なくとも１つに対応する学習処理の流れの一例を示すフローチャート図である。

【図21】本発明の実施の形態の少なくとも１つに対応する予測処理の流れの一例を示すフローチャート図である。

【図22】小区画画像のサイズと縞模様の検出可否の関係を説明するための説明図である。

【図23】予測処理前の眼科画像と予測処理結果を重畳表示した眼科画像の一例を表した説明図である。

【図24】本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置の構成の一例を示すブロック図である。

【図25】本発明の実施の形態の少なくとも１つに対応する予測処理の流れの一例を示すフローチャート図である。

【図26】結果反映領域と小区画画像を設定する一例を説明するための説明図である。

【図27】被検眼のドライアイの状態の確からしさをプロットして表すためのグラフに関する説明図である。

【図28】被検眼のドライアイの状態に関する動態解析の一例を示す説明図である。

【発明を実施するための形態】

【0027】

以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する各実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、ある実施形態の例として説明した内容については、他の実施形態においてその説明を省略している場合がある。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。

【0028】

［第１の実施の形態］
以下、図面を参照しながら、本発明の第１の実施の形態に係る眼科画像処理システムの例について説明する。なお、後述するように、本発明の眼科画像処理システムは、通信ネットワークを介して他の装置と接続する必要のない単独の眼科画像処理装置としても実現可能であるものであるので、必ずしも眼科画像処理システムである必要はない。眼科画像処理システムとして機能する場合もあるという前提において以下の説明を行う。

【0029】

図１は、本発明の実施の形態の少なくとも１つに対応する眼科画像処理システムの構成の一例を示すブロック図である。図１に示すように、眼科画像処理システム１００は、サーバ装置１０と、端末装置２０１～２０ｎ（以下、これらを代表して端末装置２０と表現する場合があるものとする）とが、通信ネットワーク３０を介して相互に接続可能に構成されている。例えば、この図１におけるサーバ装置１０を眼科画像処理装置として機能させ、複数の端末装置２０１～２０ｎの何れかから眼科画像処理装置として機能するサーバ装置１０に対して通信ネットワークを介して接続して利用するものであってもよい。その際、端末装置２０に眼科画像処理装置を利用するためのプログラムをインストールする構成であってもよいし、サーバ上のプログラムをブラウザを介して利用する構成であってもよい。

【0030】

また、以下に説明する眼科画像処理装置の構成要素を全て同一の装置が備えている必要はなく、一部構成を他の装置に備えさせる、例えば、通信ネットワークを介して接続可能なサーバ装置１０と複数の端末装置２０１～２０ｎの何れかにそれぞれ一部の構成を備えさせるようにして、眼科画像処理装置が通信を行いながら他の装置に備えられた構成を利用するものであってもよい。また、サーバ装置１０は１台である場合に限らず、複数のサーバ装置を利用する構成であってもよい。また、後述する学習済モデルは、眼科画像処理装置としての装置に格納する場合の他、他の装置としてのサーバ装置１０、複数の端末装置２０１～２０ｎなどに分散させて備えさせるようにし、利用する学習済モデルを備えた装置にその都度通信ネットワークを介して接続して利用する構成であってもよい。すなわち、何らかの記憶手段によって記憶された学習済モデルを利用可能であれば、学習済モデル記憶手段を眼科画像処理装置自身で備えているのか他の装置において備えているのかについては問わない。

【0031】

図２は、本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置及び周辺装置の構成の一例を示すブロック図である。なお、以下の説明においては、端末装置２０が眼科画像処理装置として機能する場合を例として説明を行うために、眼科画像処理装置２０というように、端末装置と同じ符号を付して説明を行うが、これに限定されるものではない。

【0032】

眼科画像処理装置２０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。すなわち眼科画像処理装置２０については、図２に示すように、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）２００１と、ＧＰＵ（Graphics Processing Unit：画像処理装置）２００２と、メモリ２００３とを少なくとも備えている。また、眼科画像処理装置２０は、インターフェース（Ｉ／Ｆ）２００３を介して、撮影装置４０、表示装置５０とそれぞれ接続されている。また、マウス、キーボード等の入力装置と、プリンタ等の出力装置と、通信ネットワークと接続するための通信装置とがバスを介して接続されている構成であってもよい。眼科画像処理装置２０の各部における処理は、これらの各部における処理を実行するためのプログラムをメモリから読み込んで制御回路（Processing circuit、Processing circuitry）として機能するＣＰＵやＧＰＵにおいて実行することで実現する。言い換えると、当該プログラムの実行により、プロセッサ（処理回路）が、各装置の各処理を実行できるように構成される。撮影装置４０は、眼科画像を撮影するために用いられ、表示装置５０は、例えば、眼科画像に対して予測結果を示す画像を重畳表示したものを表示させるために用いられる。

【0033】

図３は、本発明の実施の形態の少なくとも１つに対応する撮影装置の構成の一例を示す説明図である。撮影装置４０については、撮影対象の被検眼を映した画像をデジタルデータとして記録できるものであればよく、従来既知のものを適宜用いればよいが、例えば、図３に概略を示すように、撮影装置４０は、白色ＬＥＤ等で構成される光源４１から発せられ、絞りを通過した光線は、順にレンズ４２、スプリッタ４３、対物レンズ４４を経て、被検者の被検眼の前眼部４５に集光される。前眼部４５からの反射光は、対物レンズ４４およびスプリッタ４３を通過し、結像レンズ４６を経て撮像素子４７上に結像される。撮像素子４７に結像された撮影データは、画像処理エンジンによる所定の処理が施され、画像データ、動画像データに変換される。この撮影装置４０において撮影された眼科画像が眼科画像処理装置２０に送信される。なお、以下において、眼科画像、小区画画像というように単に「画像」と表現する場合が登場するが、「画像」が示す内容を指す場合の他、その画像のデータのことを指す場合も含む表現として用いるものとする。

【0034】

眼科画像処理装置２０の構成については、図４において第１の実施の形態における眼科画像処理装置２０Ａとして説明を行う。図４は、本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置の構成の一例を示すブロック図である。この図４に示すように、眼科画像処理装置２０Ａは、画像取得部２１と、抽出部２２と、予測部２３と、記憶部２４とを備えている。

【0035】

画像取得部２１は、眼科画像を取得する機能を有する。ここで、眼科画像とは、対象となる被検眼を撮影することで得られた画像のことをいう。眼科画像は、評価対象の被検眼の状態を評価し得る撮影範囲及び撮影手法で撮影される。被検眼の状態とは、被検眼の評価に用いることが可能な特定の状態のことをいい、例えば、涙液層の干渉縞の発生、涙液層におけるブレークの有無などが挙げられる。また、眼科画像は、被検眼の表面の撮影画像に限定されるものではなく、眼底カメラ、ＳＬＯ（走査型眼底カメラ）、ＯＣＴ（光干渉断層撮影装置）等によって得られる画像も本例の眼科画像として採用し得る。眼底カメラとＳＬＯの場合の被検眼の状態としては、例えば、血管の走行異常、出血歴に伴う色素沈着、乳頭部の形状の異常、脂質の蓄積、裂孔の存在などが正常であるか異常であるかの状態などが考えられる。また、ＯＣＴの場合の被検眼の状態としては、上記眼底カメラとＳＬＯの場合の例示のもの他、断層像を撮影できるため浮腫の存在、断層の層構造の異常、網膜の光受容体部分の厚み（異常となるとやせ細る）などが考えられる。撮影装置４０によって撮影された眼科画像をこの画像取得部２１において取得する。

【0036】

抽出部２２は、眼科画像から複数の小区画画像を抽出する機能を有する。ここで、小区画画像とは、眼科画像よりもサイズが小さい領域からなる画像であって後述する予測処理を行う単位となるサイズの画像のことをいう。小区画画像のサイズは必ずしも決まったサイズである必要はなく適宜設定可能なものであるが、極端に小さいサイズでは対象となる被検眼の状態を検出することができず、また、極端に大きいサイズでは対象となる被検眼の状態箇所以外の箇所も多く含む画像を該当する画像として検出してしまうというように、両極端なサイズにおいては問題が生じるため、対象となる被検眼の状態を適切に検出可能なサイズに設定することが好ましい。

【0037】

予測部２３は、予め学習を行った学習済モデルに基づいて、小区画画像毎に被検眼の状態を予測する機能を有する。学習済モデルの学習処理は、学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて機械学習によって小区画画像毎に被検眼の状態を予測することで行われる。学習済モデルは、機械学習によって学習を行うものであれば様々なものが適用可能であるが、例えば、深層学習によってニューラルネットワークを学習させることが該当する。さらに、一例としては、畳込みニューラルネットワーク（ＣＮＮ）を採用することも可能である。学習に用いる小区画画像と抽出部２２において抽出する試験用の小区画画像のサイズは同一サイズとする必要がある。この予測部２３では、抽出部２２で抽出した試験用の小区画画像を学習済モデルに入力して、対象の被検眼の状態に該当する特徴を有するか否かを予測させ、予測結果を出力させる。なお、学習処理の詳細については後述する。

【0038】

記憶部２４は、眼科画像処理装置２０Ａにおける各部の処理に必要な情報を記憶し、また、各部の処理で生じた各種の情報を記憶する機能を有する。また、この記憶部２４において、学習済モデル２４１を格納するようにしてもよい。なお、通信ネットワークを介して接続可能なサーバ装置１０に学習済モデルを格納して、サーバ装置１０に予測部２３の機能を持たせる構成であってもよい。

【0039】

次に、本発明の実施の形態の少なくとも１つに対応する学習処理の流れについて説明を行う。図５は、本発明の実施の形態の少なくとも１つに対応する学習処理の流れの一例を示すフローチャート図である。この図５において、学習処理は、眼科画像処理装置２０Ａにおいて、学習用の眼科画像を取得することによって開始される（ステップＳ１０１）。取得する眼科画像は複数であることが好ましい。次に、眼科画像処理装置２０Ａは、取得した眼科画像から複数の小区画画像を抽出する（ステップＳ１０２）。また、眼科画像処理装置２０Ａは、各小区画画像についての正解データを取得する（ステップＳ１０３）。このようにして取得した小区画画像とその正解データとを一組の教師データセットとして記憶させる。このような教師データセットを複数組用いて学習を行う。次に、眼科画像処理装置２０Ａは、小区画画像とその正解データとからなる一組の教師データセットを用いて、入力された小区画画像に基づいて被検眼の状態を予測する処理をニューラルネットワークに実行させて予測結果を得る（ステップＳ１０４）。さらに、眼科画像処理装置２０Ａは、予測処理によって得られた予測結果と正解データとを用いて損失関数に基づいて損失を演算によって求めて、損失が小さくなるようにニューラルネットワークのパラメータ（重み、バイアス等）を更新する（ステップＳ１０５）。そして、眼科画像処理装置２０Ａは、所定条件を充足したか否かを判定する（ステップＳ１０６）。ここでの所定条件としては、例えば、ニューラルネットワークのパラメータを更新する処理の試行回数が所定の回数に到達したこと、損失関数の損失の値が最小を記録した後に増加に転じた状況を観察したことなどが考えられる。所定条件を充足していない場合（Ｓ１０６－Ｎｏ）には、眼科画像処理装置２０Ａは、次の組の教師データセットを選択して（ステップＳ１０７）からステップＳ１０４に戻って、次の教師データセットを用いてＳ１０４及びＳ１０５の処理を実行する。このようにして、眼科画像処理装置２０Ａは、所定条件充足まで教師データセットを変更しながらＳ１０４及びＳ１０５の処理を繰り返し、所定条件を充足した場合（Ｓ１０６－Ｙｅｓ）に、学習処理を終了する。

【0040】

なお、学習のために予め用意した複数組の教師データセットをどのように利用するかについては、適宜設定可能である。例えば、複数組の教師データセットを所定のバッチサイズの複数のグループに分割して、各グループ毎の処理を１つの学習の区切りとするミニバッチ学習を行うものであってもよい。また、ミニバッチ学習における全グループについて学習処理を行うことで全ての教師データセットを１回だけ用いることになるが、エポック数を所定の大きさに設定することで１組の教師データセットを複数回数（エポック数として設定した数）使用して学習を行うように設定してもよい。また、ゼロからニューラルネットワークを学習する場合の他、眼科画像以外の画像認識に用いられた学習済モデルを転用した転移学習を行うようにしてもよい。

【0041】

次に、本発明の実施の形態の少なくとも１つに対応する予測処理の流れについて説明を行う。図６は、本発明の実施の形態の少なくとも１つに対応する予測処理の流れの一例を示すフローチャート図である。この図６において、予測処理は、眼科画像処理装置２０Ａにおいて、試験用の眼科画像を取得することによって開始される（ステップＳ２０１）。次に、眼科画像処理装置２０Ａは、取得した眼科画像から複数の小区画画像を抽出する（ステップＳ２０２）。次に、眼科画像処理装置２０Ａは、被検眼の状態を予測することについて予め学習を行った学習済モデルに対して小区画画像を入力して予測処理を実行させて予測結果を得る（ステップＳ２０３）。そして、眼科画像処理装置２０Ａは、全ての小区画画像について予測処理が終了したか否かを判定する（ステップＳ２０４）。全ての小区画画像について予測処理が終了していない場合（Ｓ２０４－Ｎｏ）には、眼科画像処理装置２０Ａは、次の小区画画像を選択して（ステップＳ２０５）からステップＳ２０３に戻る。このようにして、小区画画像について順次予測処理を実行していき、全ての小区画画像について予測処理が終了した場合（Ｓ２０４－Ｙｅｓ）には、眼科画像処理装置２０Ａは、眼科画像に対して予測結果を示す画像を重畳表示させて（ステップＳ２０６）、予測処理を終了する。

【0042】

図７は、予測処理前の眼科画像と予測処理結果を重畳表示した眼科画像の一例を表した説明図である。図７（ａ）は、予測すべき被検眼の状態として涙液ブレークアップを学習させた場合であり、左側が取得した眼科画像で、右側が予測結果を示す画像を重畳表示させたものである。正方形状の箇所が涙液ブレークアップが発生した箇所として予測されたところとなる。各正方形が小区画画像のサイズである。検出すべき涙液ブレークアップが的確に検出されていることが分かる。また、図７（ｂ）は、予測すべき被検眼の状態として涙液干渉縞を学習させた場合であり、左側が取得した眼科画像で、右側が予測結果を示す画像を重畳表示させたものである。正方形状の箇所が涙液干渉縞が発生した箇所として予測されたところとなる。各正方形が小区画画像のサイズである。検出すべき涙液干渉縞が的確に検出されていることが分かる。

【0043】

小区画画像のサイズは様々なサイズに設定可能であるが、対象となる被検眼の状態を精度良く検出可能なサイズであることが好ましい。そこで、最適な小区画画像のサイズについて検証を行った。この検証では一例として、眼科画像のサイズとしてＶＧＡタイプである横×縦＝６４０×４８０画素のサイズの画像を用いた。先ず、ブレークアップの検出についての最適な小区画画像のサイズについて検証を行った。ブレークアップの検出を学習するために使用した小区画画像のサイズを縦２０画素×横２０画素のサイズから縦６０画素×横６０画素のサイズまで１０画素間隔で用意しＣＮＮ（３層の単純なモデルを使用）で学習と推論を行った。手動でブレークアップの有る部分の格子をマークし、それと、各サイズのテンプレートで推論したブレークアップ部位とを重ね合わせ、両者が一致したセルをＴＰ、手動マークのみ陽性だった部位を偽陰性：ＦＮ、推論によるマークのみ陽性だった部位を偽陽性：ＦＰとし、正解率（Ｒ）は、Ｒ＝ＴＰ／（ＴＰ＋ＦＰ＋ＦＮ）で算出した。

【0044】

図８は、小区画画像のサイズとブレークアップの検出率の関係を表した表図である。この図８からも分かるように、算出された正解率を小区画画像サイズごとに見たグラフは、明らかに有効なサイズ範囲が存在することを示している。グラフ上、最も検出率が高かったのは４０画素×４０画素の場合であり、その場合の実サイズは一辺が０．６０ｍｍのサイズである。正解率がどの程度あればよしとするかは適宜設定すべき問題ではあるが、例えば、正解率６０％以上が好ましい条件であるとした場合には、３０×３０画素～５５×５５画素の範囲、すなわち、実サイズの一辺が約０．４５ｍｍ～０．８５ｍｍのサイズとなる小区画画像となるように設定することが望ましい。

【0045】

次に、涙液干渉縞の検出についての最適な小区画画像のサイズについて検証を行った。この検証では一例として、眼科画像のサイズとしてＶＧＡタイプである横×縦＝６４０×４８０画素のサイズの画像を用いた。縞模様の検出を学習するために使用した小区画画像のサイズを縦１６画素×横１６画素のサイズから縦８０画素×横８０画素のサイズまで１６画素間隔で用意しＣＮＮで学習と推論を行った。縞模様の検出については、健常者の涙液干渉縞は灰色がかった縞模様であるが、健常者と蒸発亢進型ドライアイ患者の干渉縞の色（色相）は非常に類似しており、縞の検出精度の向上は縞そのものを検出できるＣＮＮモデルであることが重要である。そのため、あるサイズのテンプレートが健常者の干渉縞画像の縞模様の検出に適しているかどうかを判断するためには、同じ色相の画像を健常者画像とみなしてしまう割合を差し引く必要がある。そこで、縞模様が明瞭な健常者のそのものの涙液干渉縞映像とぼかし処理により縞模様を不明瞭にした映像を準備し、それぞれのテンプレートサイズにおいて元画像とボケ画像それぞれの見かけの縞模様検出率を算出し、それを基に真の縞模様の検出率を算出することとした。具体的には、縞模様の真の検出率（Ｆ）は、元画像の見かけの縞模様検出率（ｆ１）、ボケ画像の見かけの縞模様検出率（ｆ２）を用い、Ｆ＝（ｆ１－ｆ２）／ｆ１で算出した。

【0046】

図９は、小区画画像のサイズと涙液干渉縞の検出率の関係を表した表図である。テンプレートサイズを大きくすることにより、ｆ１の増加とｆ２の低下が観察され、その結果、図９に示すように、小区画画像のサイズを大きくするほど算出されるＦが大きくなることが観察された。検出率がどの程度あればよしとするかは適宜設定すべき問題ではあるが、例えば、正解率６０％以上が好ましい条件であるとした場合には、２５×２５画素以上の範囲、すなわち、実サイズの一辺が約０．３５ｍｍ以上のサイズとなる小区画画像となるように設定することが望ましい。

【0047】

図８及び図９の例に限らず、被検眼の状態を予測する際の予測精度を基準に小区画画像のサイズを決定する場合には、小区画画像のサイズと予測の正解率との関係を予め算出して、所定の正解率以上となるサイズに設定するといった決定方法が考えられる。また、被検眼の状態が実際の眼球表面或いは眼底部分においてどのようなサイズで観察すれば対象となる状態を精度良く検出できるかという着眼点に基づいて、眼球の表面積に占める実際のサイズに基づいて小区画画像のサイズを設定するといった決定方法が考えられる。

【0048】

以上のように、第１の実施形態の一側面として、評価対象の眼科画像を取得する画像取得部と、眼科画像から複数の小区画画像を抽出する抽出部と、学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて機械学習によって小区画画像毎に被検眼の状態を予測することについて予め学習を行った学習済モデルに基づいて、小区画画像毎に被検眼の状態を予測する予測部とを有し、小区画画像は、評価対象の被検眼の状態に応じた画像サイズとなるように眼科画像から抽出するようにしたので、被検眼の状態を高精度に予測することができ、また、小区画画像ごとの予測結果が得られるので被検眼の状態を詳細に分析することが可能となる。

【0049】

すなわち、本例のように眼科画像から複数の小区画画像を抽出して、小区画画像毎に予測処理を実行する構成とすることで、［１］画像のごく一部にしか存在しない抽出対象であっても高感度に精度よく抽出することができること、［２］画像のどの部位に抽出対象の構造があるか示すことが可能であるため、診断支援の能力が高いこと、［３］１枚の画像を小区画化して多数の小区画画像を得るようにしているため、予測精度の向上のためにたくさんのサンプルを収集することは容易であること、［４］まつ毛や輪郭などを抽出対象ではないと学習させることにより、ノイズに対しての堅牢性が高いモデルを構築することができること、などのメリットが得られる。

【0050】

［第２の実施の形態］
以下、図面を参照しながら、本発明の第２の実施の形態に係る眼科画像処理システムの例について説明する。なお、第１の実施の形態の場合と同様に、本発明の眼科画像処理システムは、通信ネットワークを介して他の装置と接続する必要のない単独の眼科画像処理装置としても実現可能であるものであるので、以下の説明においては、眼科画像処理装置として説明を行う。なお、第１の実施の形態と同じ構成については同じ符号を用いて説明を省略する場合がある。

【0051】

図１０は、本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置の構成の一例を示すブロック図である。この図１０に示すように、眼科画像処理装置２０Ｂは、画像取得部２１と、結果反映領域設定部２５と、抽出部２２Ｂと、予測部２３Ｂと、記憶部２４とを備えている。

【0052】

結果反映領域設定部２５は、小区画画像のサイズ以下の所定のサイズからなる領域であって小区画画像の予測結果を反映させるための結果反映領域を設定する機能を有する。結果反映領域とは、眼科画像に対する被検眼の状態に関する予測結果を最終的に反映させるための領域のことをいう。第１の実施の形態では予測処理に用いる小区画画像の範囲と予測結果を反映させる範囲は同じ領域であったが、この第２の実施の形態では、予測処理に用いる小区画画像のサイズ以下のサイズからなる結果反映領域を設定する。すなわち、予測処理には相対的に大きめのサイズの画像を用いるが、その結果を反映させる領域は相対的に小さいサイズの結果反映領域を用いる。結果反映領域は、どのような規則性に基づいて設定してもよいが、例えば、眼科画像を複数の結果反映領域で隙間なく埋めることが好ましい。この結果反映領域は、小区画画像と１対１で設定される領域である。設定した結果反映領域については記憶部２４にて記憶させておく。

【0053】

抽出部２２Ｂは、結果反映領域のそれぞれに対応させて、結果反映領域を内包しかつ結果反映領域以上の所定サイズとなる領域を小区画画像として抽出する機能を有する。結果反映領域を内包していれば小区画画像と結果反映領域との位置関係はどのようなものであってもよいが、例えば、結果反映領域が小区画画像の中心に位置するように小区画画像を抽出することが考えられる。一例としては、結果反映領域を縦２０画素×横２０画素のサイズに設定して、小区画画像を結果反映領域が中心に位置するように縦４８画素×横４８画素のサイズで抽出するといった例が考えられる。なお、設定した結果反映領域を基準として結果反映領域以上のサイズの小区画画像を抽出するので、隣接する２つの結果反映領域のそれぞれに対応した２つの小区画画像には、重複した画素領域が含まれる場合がある。抽出した小区画画像については記憶部２４にて記憶させておく。

【0054】

予測部２３Ｂは、予め学習を行った学習済モデルに基づいて、小区画画像毎に被検眼の状態を予測する機能を有し、さらに、小区画画像毎に得られた予測結果を対応する結果反映領域に対して反映させる機能を有する。１つの眼科画像に対して複数の結果反映領域が設定されている場合、その結果反映領域と同数の小区画画像が抽出されているので、その複数の小区画画像について順次予測処理を実行し、得られた予測結果を対応する結果反映領域に対して反映させる。得られた結果反映領域に対する反映結果は、記憶部２４にて記憶させておく。或いは、結果反映領域毎の予測結果を示す画像を眼科画像に重畳表示したものを表示装置５０に対して出力する構成であってもよい。なお、予測部２３Ｂにおいて用いる学習済モデルを得るための学習処理については、第１の実施の形態と同様であるので説明を省略する。

【0055】

次に、本発明の実施の形態の少なくとも１つに対応する予測処理の流れについて説明を行う。図１１は、本発明の実施の形態の少なくとも１つに対応する予測処理の流れの一例を示すフローチャート図である。この図１１において、予測処理は、眼科画像処理装置２０Ｂにおいて、試験用の眼科画像を取得することによって開始される（ステップＳ３０１）。次に、眼科画像処理装置２０Ｂは、取得した眼科画像に対して複数の結果反映領域を設定する（ステップＳ３０２）。また、眼科画像処理装置２０Ｂは、各結果反映領域に対応した小区画画像を抽出する（ステップＳ３０３）。次に、眼科画像処理装置２０Ｂは、被検眼の状態を予測することについて予め学習を行った学習済モデルに対して小区画画像を入力して予測処理を実行させて予測結果を得る（ステップＳ３０４）。また、眼科画像処理装置２０Ｂは、小区画画像について得られた予測結果を対応する結果反映領域に対して反映させる（ステップＳ３０５）。そして、眼科画像処理装置２０Ｂは、全ての小区画画像について予測処理が終了したか否かを判定する（ステップＳ３０６）。全ての小区画画像について予測処理が終了していない場合（Ｓ３０６－Ｎｏ）には、眼科画像処理装置２０Ｂは、次の小区画画像を選択して（ステップＳ３０７）からステップＳ３０４に戻る。このようにして、小区画画像について順次予測処理を実行していき、全ての小区画画像について予測処理が終了した場合（Ｓ３０６－Ｙｅｓ）には、眼科画像処理装置２０Ｂは、眼科画像に対して予測結果を示す画像を重畳表示させて（ステップＳ３０８）、予測処理を終了する。

【0056】

図１２は、結果反映領域と小区画画像を設定する一例を説明するための説明図である。一例として、縦２０画素×横２０画素のサイズの結果反映領域Ａ、Ｂ、Ｃが隣接して設定されているものとする。この状況において、結果反映領域Ａ、Ｂ、Ｃのそれぞれに対応する小区画画像Ａ、Ｂ、Ｃを、結果反映領域が中心に位置するように縦４８画素×横４８画素のサイズで抽出するものとする。図１２（ａ）に示すように、小区画画像Ａは、結果反映領域Ａが中心に位置するように抽出されていることが分かる。また、隣接する結果反映領域Ｂに対応する小区画画像Ｂは、図１２（ｂ）に示すように、小区画画像Ａと重複した画素領域を含む形で抽出されていることが分かる。

【0057】

以上のように、第２の実施形態の一側面として、小区画画像のサイズ以下の所定のサイズからなる領域であって小区画画像の予測結果を反映させるための結果反映領域を設定する結果反映領域設定部を更に有し、抽出部では、結果反映領域のそれぞれに対応させて、結果反映領域を内包しかつ結果反映領域以上の所定サイズとなる領域を小区画画像として抽出するようにし、予測部では、小区画画像毎に得られた予測結果を対応する結果反映領域に対して反映させるようにしたので、被検眼の状態を予測する処理については予測の正解率が向上するように大き目の小区画画像サイズを設定しつつ、その予測結果を反映させる結果反映領域は小さ目のサイズに設定することで、予測精度を維持しつつ解像度の高い結果画像を得ることができる。すなわち、眼科画像に対して予測結果を示す画像を重畳表示させる場合に、大きいサイズの小区画画像に基づく予測結果をそのまま小区画画像のサイズで重畳表示してしまうと、解像度の低い結果表示画面となってしまうが、本例のように小区画画像より小さい結果反映領域に対して予測結果を反映させるようにすることで、予測精度を維持したまま解像度の高い結果画像を得ることが可能となる。

【0058】

［第３の実施の形態］
以下、図面を参照しながら、本発明の第３の実施の形態に係る眼科画像処理システムの例について説明する。なお、第１及び第２の実施の形態の場合と同様に、本発明の眼科画像処理システムは、通信ネットワークを介して他の装置と接続する必要のない単独の眼科画像処理装置としても実現可能であるものであるので、以下の説明においては、眼科画像処理装置として説明を行う。なお、第１及び第２の実施の形態と同じ構成については同じ符号を用いて説明を省略する場合がある。

【0059】

図１３は、本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置の構成の一例を示すブロック図である。この図１３に示すように、眼科画像処理装置２０Ｃは、画像取得部２１と、結果反映領域設定部２５と、抽出部２２Ｃと、エッジ画像生成部２６と、予測部２３Ｃと、記憶部２４とを備えている。

【0060】

抽出部２２Ｃは、結果反映領域のそれぞれに対応させて、結果反映領域を内包しかつ結果反映領域以上の所定サイズとなる領域を小区画画像として抽出する機能を有する。

【0061】

エッジ画像生成部２６は、眼科画像からエッジを抽出してエッジ画像を生成する機能を有する。ここで、エッジ画像とは、画像における輝度値の変化が大きい個所をエッジとして抽出した画像のことをいう。エッジ画像は、眼科画像の何れの箇所にエッジが存在するかを示す画像であるので、原則的には眼科画像と同一サイズとなる。エッジ画像は、例えば、エッジとして抽出した箇所は輝度値が高く（エッジが強いほど輝度値が高い）、エッジではない箇所は輝度値が低くなるように生成された画像である。本例では、エッジとして抽出された箇所は、被検眼の状態として抽出すべき対象である可能性が高い場所であるという前提にたって、予測処理の効率化にエッジ画像を用いる。エッジ画像を生成することが可能であればどのような方法であってもよいが、例えば、エッジ画像生成において既知のソーベルフィルタを用いるようにしてもよい。生成したエッジ画像は、記憶部２４にて記憶させておく。

【0062】

予測部２３Ｃは、予め学習を行った学習済モデルに基づいて、小区画画像毎に被検眼の状態を予測する機能を有し、また、結果反映領域の位置に対応するエッジ画像における輝度値が所定の閾値以上である場合に、当該結果反映領域に対応する小区画画像を予測処理の対象に設定する機能を有し、さらに、小区画画像毎に得られた予測結果を対応する結果反映領域に対して反映させる機能を有する。すなわち、結果反映領域設定部２５において設定された全ての結果反映領域について予測処理を実行すると、１枚の眼科画像について予測処理を完了するまでの処理時間が長くかかる。また、眼科画像の解像度が高くなればなるほど処理時間も長く掛かる。この処理時間を短縮するために、結果判定領域内にエッジ画像が含まれない箇所は、被検眼の状態として抽出すべき対象を含まない可能性が高いと判断して、予測処理の対象から除外する。すなわち、結果判定領域内にエッジ画像を含む箇所のみを予測処理の対象に設定する。このような処理をすることで、予測処理に要する処理時間を短縮することが可能となる。

【0063】

次に、本発明の実施の形態の少なくとも１つに対応する予測処理の流れについて説明を行う。図１４は、本発明の実施の形態の少なくとも１つに対応する予測処理の流れの一例を示すフローチャート図である。この図１４において、予測処理は、眼科画像処理装置２０Ｃにおいて、試験用の眼科画像を取得することによって開始される（ステップＳ４０１）。次に、眼科画像処理装置２０Ｃは、取得した眼科画像に対して複数の結果反映領域を設定する（ステップＳ４０２）。また、眼科画像処理装置２０Ｃは、各結果反映領域に対応した小区画画像を抽出する（ステップＳ４０３）。次に、眼科画像処理装置２０Ｃは、眼科画像からエッジ画像を生成する（ステップＳ４０４）。そして、眼科画像処理装置２０Ｃは、結果反映領域の位置に対応するエッジ画像における輝度値が所定の閾値以上のものについて、その結果反映領域に対応した小区画画像を予測処理の対象に設定する（ステップＳ４０５）。次に、眼科画像処理装置２０Ｃは、被検眼の状態を予測することについて予め学習を行った学習済モデルに対して予測処理対象の小区画画像を入力して予測処理を実行させて予測結果を得る（ステップＳ４０６）。また、眼科画像処理装置２０Ｃは、小区画画像について得られた予測結果を対応する結果反映領域に対して反映させる（ステップＳ４０７）。そして、眼科画像処理装置２０Ｃは、全ての予測処理対象の小区画画像について予測処理が終了したか否かを判定する（ステップＳ４０８）。全ての予測処理対象の小区画画像について予測処理が終了していない場合（Ｓ４０８－Ｎｏ）には、眼科画像処理装置２０Ｃは、次の予測処理対象の小区画画像を選択して（ステップＳ４０９）からステップＳ４０６に戻る。このようにして、予測処理対象の小区画画像について順次予測処理を実行していき、全ての予測処理対象の小区画画像について予測処理が終了した場合（Ｓ４０８－Ｙｅｓ）には、眼科画像処理装置２０Ｃは、眼科画像に対して予測結果を示す画像を重畳表示させて（ステップＳ４１０）、予測処理を終了する。

【0064】

以上のように、第３の実施形態の一側面として、眼科画像からエッジを抽出してエッジ画像を生成するエッジ画像生成部を更に有し、予測部では、結果反映領域の位置に対応するエッジ画像における輝度値が所定の閾値以上である場合に、当該結果反映領域に対応する小区画画像を予測処理の対象に設定するようにしたので、被検眼の状態として抽出すべき対象を含む可能性が高い所定の輝度値以上のエッジを含む結果反映領域のみを抽出し、抽出した結果反映領域に対応した小区画画像のみを予測処理の対象とすることができるため、予測処理に要する処理時間を短縮することが可能となる。

【0065】

［第４の実施の形態］
第１乃至第３の実施の形態の構成に加えて、予測部２３において小区画画像毎に平均輝度値を算出し、平均輝度値が所定の閾値以上の小区画画像を予測処理の対象に設定するようにしてもよい。

【0066】

眼科画像における視野外の箇所や、まつげの箇所など、被検眼の状態の予測には不要な箇所は黒色（暗い）であり非常に輝度値が低い個所であるといえる。このような箇所は、被検眼の状態として抽出すべき対象を含まない箇所であることが明らかであるため、このような箇所を予測処理の対象から除外することができれば、予測処理に要する処理時間を短縮することが可能となる。そこで、予測部２３において、小区画画像毎に平均輝度値を算出し、平均輝度値が所定の閾値以上の小区画画像は予測処理の対象に設定し、平均輝度値が所定の閾値未満の小区画画像は予測処理の対象から除外するようにすることで、予測処理に要する処理時間を短縮できる。

【0067】

なお、この第４の実施の形態の平均輝度値が所定の閾値未満の小区画画像を予測処理の対象外に設定することで視野外の箇所や、まつげの箇所などを除去し、さらに、学習済モデルに対する学習の段階で、まつ毛や輪郭などを抽出対象外と予測するように学習させることで、予測部２３での予測処理時にも、平均輝度値が所定の閾値以上であった小区画画像の中に存在するまつ毛や輪郭が主体となった小区画画像を対象外と判定（「対象外」又は「その他」に分類するように予測）することが可能となる。このように、２つの手段によって視野外の箇所やまつげの箇所などの不要な箇所を除去及び対象外とすることで、予測速度の高速化と予測精度の向上がより一層期待できる。

【0068】

［第５の実施の形態］
第１乃至第３の実施の形態の構成に加えて、エッジ画像生成部において眼科画像からエッジ画像を生成して、エッジ画像を用いて小区画画像を予測処理の対象に設定するか否かを決定するようにしてもよい。

【0069】

本発明によると予測処理の対象である眼科画像を小区画化することにより、画像中の着目する構造の位置を特定し、表示することが可能であるが、これにより、多くの小区画画像に対して推論を行わなくてはならないため解析時間が長くかかるという問題点がある。一方、生成された小区画画像の中には推論を必要としないものも多くあり、これらを事前に推論対象から外すことができれば大幅な推論時間の短縮につながることが期待できる。多くの場合、画像中の注目する構造は輪郭がはっきりしていたり複雑な構造が密集していたりするため、そのような個所を何らかの手法で抽出できれば、任意の小区画画像が推論すべき対象なのか、そうではないのかを判断できる。

【0070】

そこで、第３の実施の形態において説明したエッジ画像生成部２６と同様の構成を採用して、眼科画像からエッジ画像を生成する。そして、予測部２３においては、各小区画画像の位置に対応するエッジ画像にエッジの箇所を含むか否かを判定する。具体的には、小区画画像の位置に対応するエッジ画像の輝度の強度によって測処理の対象に設定するか否かを決定する。エッジ画像の輝度の強度は、輝度値の平均値、最大値、中央値、さらには、標準偏差など、様々な条件を設定することができる。このようにして、小区画画像にエッジを含む場合には画像中に注目すべき構造が存在する小区画像であると推定して予測処理を実行し、小区画画像中にエッジを含まない場合にはその小区画画像については予測処理の対象外と設定するようにしたので、時間を要する推論の回数を大幅に減らすことができるため、解析時間を短縮することが可能である。

【0071】

なお、この第５の実施の形態の構成によってエッジを含まない小区画画像を予測処理の対象外に設定することで視野外の箇所や、まつげの箇所などを除去し、さらに、学習済モデルに対する学習の段階で、まつ毛や輪郭などを抽出対象外と予測するように学習させることで、予測部２３での予測処理時にも、エッジを含んでいた小区画画像の中に存在するまつ毛や輪郭が主体となった小区画画像を予測処理の対象外と判定（「対象外」又は「その他」に分類するように予測）することが可能となる。このように、２つの手段によって視野外の箇所やまつげの箇所などの不要な箇所を除去及び対象外とすることで、予測速度の高速化と予測精度の向上がより一層期待できる。

【0072】

［第６の実施の形態］
第１乃至第５の実施の形態においては、１枚の眼科画像に対する予測処理を実行する場合について説明を行ったが、これに限定されるものではない。すなわち、画像取得部２１において、時系列に並ぶ複数の眼科画像を取得し、予測部２３では、複数の眼科画像のそれぞれについて予測処理を実行するようにし、さらに、複数の眼科画像のそれぞれについて得られた予測結果について、被検眼の状態の時間的変化及び／又は空間的変化が所定条件を満たしたか否かを判定する変化判定部をさらに設けるようにしてもよい。

【0073】

被検眼の状態を評価する場合に、１枚の眼科画像について評価することで得られる情報も存在するが、時系列に並ぶ複数の眼科画像についての予測結果についての時間的変化や空間的変化について考察することで得られる情報も存在する。例えば、時間的変化の例としては、瞬きをしてからどのくらいの時間経過で対象となる被検眼の状態が検出されたかを評価することで特定の疾患の可能性を評価することが考えられる。この場合には、各眼科画像毎に対象の被検眼の状態と予測された小区画画像の個数や、眼科画像全体における対象の被検眼の状態の比率を算出して、時間的変化を追った場合に対象の被検眼の状態の個数や比率がどの程度の時間変化で所定の閾値を超えたかを評価することが考えられる。また、被検眼の状態の比率の時間的変化の傾きが所定条件以上であることを検出することが考えられる。また、空間的変化の例としては、対象となる被検眼の状態が検出された箇所がどのように移動していくかを評価することが考えられる。

【0074】

このように、被検眼の状態の時間的変化及び／又は空間的変化が所定条件を満たしたか否かを判定するようにすることで、単一の眼科画像についての予測結果のみでは評価し得ない情報について評価を行うことが可能となる。

【0075】

［第７の実施の形態］
以下、図面を参照しながら、本発明の第７の実施の形態に係る眼科画像処理システムの例について説明する。なお、後述するように、本発明の眼科画像処理システムは、通信ネットワークを介して他の装置と接続する必要のない単独の眼科画像処理装置としても実現可能であるものであるので、必ずしも眼科画像処理システムである必要はない。眼科画像処理システムとして機能する場合もあるという前提において以下の説明を行う。

【0076】

図１５は、本発明の実施の形態の少なくとも１つに対応する眼科画像処理システムの構成の一例を示すブロック図である。図１５に示すように、眼科画像処理システム１００は、サーバ装置１０と、端末装置２０１～２０ｎ（以下、これらを代表して端末装置２０と表現する場合があるものとする）とが、通信ネットワーク３０を介して相互に接続可能に構成されている。例えば、この図１５におけるサーバ装置１０を眼科画像処理装置として機能させ、複数の端末装置２０１～２０ｎの何れかから眼科画像処理装置として機能するサーバ装置１０に対して通信ネットワークを介して接続して利用するものであってもよい。その際、端末装置２０に眼科画像処理装置を利用するためのプログラムをインストールする構成であってもよいし、サーバ上のプログラムをブラウザを介して利用する構成であってもよい。

【0077】

【0078】

図１６は、本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置及び周辺装置の構成の一例を示すブロック図である。なお、以下の説明においては、端末装置２０が眼科画像処理装置として機能する場合を例として説明を行うために、眼科画像処理装置２０というように、端末装置と同じ符号を付して説明を行うが、これに限定されるものではない。

【0079】

眼科画像処理装置２０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。すなわち眼科画像処理装置２０については、図１６に示すように、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）２００１と、メモリ２００３とを少なくとも備えており、さらに、ＧＰＵ（Graphics Processing Unit：画像処理装置）２００２を備えていることが好ましい。また、眼科画像処理装置２０は、インターフェース（Ｉ／Ｆ）２００３を介して、撮影装置４０、表示装置５０とそれぞれ接続されている。また、マウス、キーボード等の入力装置と、プリンタ等の出力装置と、通信ネットワークと接続するための通信装置とがバスを介して接続されている構成であってもよい。眼科画像処理装置２０の各部における処理は、これらの各部における処理を実行するためのプログラムをメモリから読み込んで制御回路（Processing circuit、Processing circuitry）として機能するＣＰＵやＧＰＵにおいて実行することで実現する。言い換えると、当該プログラムの実行により、プロセッサ（処理回路）が、各装置の各処理を実行できるように構成される。撮影装置４０は、眼科画像を撮影するために用いられ、表示装置５０は、例えば、眼科画像に対して予測結果を示す画像を重畳したものを表示させるために用いられる。なお、眼科画像処理装置２０は、コンピュータと同等の処理を実行可能なものであればどのような機器であっても採用することが可能であり、例えば、スマートフォンやタブレット端末などによって実現することも可能である。

【0080】

図１７は、本発明の実施の形態の少なくとも１つに対応する撮影装置の構成の一例を示す説明図である。撮影装置４０については、撮影対象の被検眼を映した画像をデジタルデータとして記録できるものであればよく、従来既知のものを適宜用いればよいが、例えば、図１７に概略を示すように、撮影装置４０は、白色ＬＥＤ等で構成される光源４１から発せられ、絞りを通過した光線は、順にレンズ４２、スプリッタ４３、対物レンズ４４を経て、被検者の被検眼の前眼部４５に集光される。前眼部４５からの反射光は、対物レンズ４４およびスプリッタ４３を通過し、結像レンズ４６を経て撮像素子４７上に結像される。撮像素子４７に結像された撮影データは、画像処理エンジンによる所定の処理が施され、画像データ、動画像データに変換される。この撮影装置４０において撮影された眼科画像が眼科画像処理装置２０に送信される。なお、以下において、眼科画像、小区画画像というように単に「画像」と表現する場合が登場するが、「画像」が示す内容を指す場合の他、その画像のデータのことを指す場合も含む表現として用いるものとする。

【0081】

図１８は、本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置における評価対象としての被検眼のドライアイの状態を表した説明図である。この図１８に示すように、本発明の眼科画像処理装置においては、被検眼のドライアイの状態として、（ａ）健常者の状態（ドライアイではない状態）、（ｂ）蒸発亢進型ドライアイの状態、（ｃ）涙液減少型ドライアイの状態の３つの状態を少なくとも予測できるように構成する。ここで、（ａ）健常者の状態は、涙液の油層と液層がバランスよく維持される健康な状態であり、彩度の低いやや暗めの灰色の干渉縞が観察されるという特徴を有する。（ｂ）蒸発亢進型ドライアイの状態は、涙液の蒸発が亢進してしまう状態であり、暗く平滑な状態が観察されるという特徴を有する。（ｃ）涙液減少型ドライアイの状態は、分泌される涙液量が減少する状態であり、彩度の高い干渉縞が観察されるという特徴を有する。なお、（ａ）健常者の状態は真珠のように見えることからＰ（Ｐｅａｒｌ）タイプ、（ｂ）蒸発亢進型ドライアイの状態は水晶のように見えることからＣ（Ｃｒｙｓｔａｌ）タイプ、（ｃ）涙液減少型ドライアイの状態は木星のように見えることからＪ（Ｊｕｐｉｔｅｒ）タイプと表現することもできる。

【0082】

眼科画像処理装置２０の構成については、図１９において第７の実施の形態における眼科画像処理装置２０Ａとして説明を行う。図１９は、本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置の構成の一例を示すブロック図である。この図１９に示すように、眼科画像処理装置２０Ａは、画像取得部２１と、抽出部２２と、予測部２３と、記憶部２４とを備えている。

【0083】

画像取得部２１は、眼科画像を取得する機能を有する。ここで、眼科画像とは、対象となる被検眼を撮影することで得られた画像のことをいう。眼科画像は、評価対象の被検眼のドライアイの状態を評価し得る撮影範囲及び撮影手法で撮影される。被検眼のドライアイの状態とは、被検眼のドライアイの評価に用いることが可能な特定の状態のことをいい、具体的には、（ａ）健常者の状態（ドライアイではない状態）、（ｂ）蒸発亢進型ドライアイの状態、（ｃ）涙液減少型ドライアイの状態の３つの状態を少なくとも含むものとする。撮影装置４０によって撮影された眼科画像をこの画像取得部２１において取得する。

【0084】

抽出部２２は、眼科画像から複数の小区画画像を抽出する機能を有する。ここで、小区画画像とは、眼科画像よりもサイズが小さい領域からなる画像であって後述する予測処理を行う単位となるサイズの画像のことをいう。小区画画像のサイズは必ずしも決まったサイズである必要はなく適宜設定可能なものであるが、極端に小さいサイズでは対象となる被検眼のドライアイの状態を検出することができず、また、極端に大きいサイズでは対象となる被検眼のドライアイの状態箇所以外の箇所も多く含む画像を該当する画像として検出してしまうというように、両極端なサイズにおいては問題が生じるため、対象となる被検眼のドライアイの状態を適切に検出可能なサイズに設定することが好ましい。

【0085】

予測部２３は、予め学習を行った学習済モデルに基づいて、小区画画像毎に被検眼のドライアイの状態を予測する機能を有する。学習済モデルの学習処理は、学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて機械学習によって小区画画像毎に被検眼のドライアイの状態を予測することで行われる。学習済モデルは、機械学習によって学習を行うものであれば様々なものが適用可能であるが、例えば、深層学習によってニューラルネットワークを学習させることが該当する。さらに、一例としては、畳込みニューラルネットワーク（ＣＮＮ）を採用することも可能である。学習に用いる小区画画像と抽出部２２において抽出する試験用の小区画画像のサイズは同一サイズとする必要がある。この予測部２３では、抽出部２２で抽出した試験用の小区画画像を学習済モデルに入力して、対象の被検眼のドライアイの状態に該当する特徴を有するか否かを予測させ、予測結果を出力させる。なお、学習処理の詳細については後述する。

【0086】

【0087】

次に、本発明の実施の形態の少なくとも１つに対応する学習処理の流れについて説明を行う。図２０は、本発明の実施の形態の少なくとも１つに対応する学習処理の流れの一例を示すフローチャート図である。この図２０において、学習処理は、眼科画像処理装置２０Ａにおいて、学習用の眼科画像を取得することによって開始される（ステップＳ１０１）。取得する眼科画像は複数であることが好ましい。次に、眼科画像処理装置２０Ａは、取得した眼科画像から複数の小区画画像を抽出する（ステップＳ１０２）。また、眼科画像処理装置２０Ａは、各小区画画像についての正解データを取得する（ステップＳ１０３）。このようにして取得した小区画画像とその正解データとを一組の教師データセットとして記憶させる。このような教師データセットを複数組用いて学習を行う。次に、眼科画像処理装置２０Ａは、小区画画像とその正解データとからなる一組の教師データセットを用いて、入力された小区画画像に基づいて被検眼のドライアイの状態を予測する処理をニューラルネットワークに実行させて予測結果を得る（ステップＳ１０４）。さらに、眼科画像処理装置２０Ａは、予測処理によって得られた予測結果と正解データとを用いて損失関数に基づいて損失を演算によって求めて、損失が小さくなるようにニューラルネットワークのパラメータ（重み、バイアス等）を更新する（ステップＳ１０５）。そして、眼科画像処理装置２０Ａは、所定条件を充足したか否かを判定する（ステップＳ１０６）。ここでの所定条件としては、例えば、ニューラルネットワークのパラメータを更新する処理の試行回数が所定の回数に到達したこと、損失関数の損失の値が最小を記録した後に増加に転じた状況を観察したことなどが考えられる。所定条件を充足していない場合（Ｓ１０６－Ｎｏ）には、眼科画像処理装置２０Ａは、次の組の教師データセットを選択して（ステップＳ１０７）からステップＳ１０４に戻って、次の教師データセットを用いてＳ１０４及びＳ１０５の処理を実行する。このようにして、眼科画像処理装置２０Ａは、所定条件充足まで教師データセットを変更しながらＳ１０４及びＳ１０５の処理を繰り返し、所定条件を充足した場合（Ｓ１０６－Ｙｅｓ）に、学習処理を終了する。

【0088】

【0089】

次に、本発明の実施の形態の少なくとも１つに対応する予測処理の流れについて説明を行う。図２１は、本発明の実施の形態の少なくとも１つに対応する予測処理の流れの一例を示すフローチャート図である。この図２１において、予測処理は、眼科画像処理装置２０Ａにおいて、試験用の眼科画像を取得することによって開始される（ステップＳ２０１）。次に、眼科画像処理装置２０Ａは、取得した眼科画像から複数の小区画画像を抽出する（ステップＳ２０２）。次に、眼科画像処理装置２０Ａは、被検眼のドライアイの状態を予測することについて予め学習を行った学習済モデルに対して小区画画像を入力して予測処理を実行させて予測結果を得る（ステップＳ２０３）。そして、眼科画像処理装置２０Ａは、全ての小区画画像について予測処理が終了したか否かを判定する（ステップＳ２０４）。全ての小区画画像について予測処理が終了していない場合（Ｓ２０４－Ｎｏ）には、眼科画像処理装置２０Ａは、次の小区画画像を選択して（ステップＳ２０５）からステップＳ２０３に戻る。このようにして、小区画画像について順次予測処理を実行していき、全ての小区画画像について予測処理が終了した場合（Ｓ２０４－Ｙｅｓ）には、眼科画像処理装置２０Ａは、眼科画像に対して予測結果を示す画像を重畳表示させて（ステップＳ２０６）、予測処理を終了する。

【0090】

図２２は、小区画画像のサイズと縞模様の検出可否の関係を説明するための説明図である。小区画画像のサイズは様々なサイズに設定可能であるが、対象となる被検眼のドライアイの状態を精度良く検出可能なサイズであることが好ましい。そこで、小区画画像のサイズを様々に変化させつつ検出精度を確認することで、最適な小区画画像のサイズについて検証を行った。図２２（ａ）は、小区画画像のサイズを縦８画素×横８画素に設定した場合を表しており、この８画素×８画素のサイズの場合には予測精度が低かった。すなわち、涙液干渉縞の縞模様などを検出できていないことになる。この状態は、図２２（ａ）に示すように、縞模様の大きさに比較して小区画画像のサイズが小さすぎるために縞模様を含むドライアイの状態の特徴を抽出できていないからであると推測される。次に、図２２（ｂ）は、小区画画像のサイズを縦２４画素×横２４画素に設定した場合を表しており、この２４画素×２４画素のサイズの場合、図２２（ａ）の８画素×８画素のサイズの場合に比べれば予測精度は上がってはいるものの十分な予測精度とはいえない状況であった。この状態は、図２２（ｂ）に示すように、縞模様の境界箇所を小区画画像がちょうど検出できないような配置となる可能性のあるサイズであるために、縞模様と予測できない場合があり、そのために予測精度が十分に上がらないものと推測される。そして、図２２（ｃ）は、小区画画像のサイズを縦４８画素×横４８画素に設定した場合を表しており、この４８画素×４８画素のサイズの場合、良好な予測精度が得られた。この状態は、図２２（ｃ）に示すように、縞模様のサイズに対して十分な大きさの小区画画像のサイズに設定されたことで縞模様を含むドライアイの状態について検出し損なうことが生じにくいものと推測される。このことからも、被検眼のドライアイの状態として縞模様を検出する必要がある本発明においては、小区画画像のサイズを小さいサイズに設定し過ぎることは好ましくなく、予測精度との兼ね合いにおいて、所望の予測精度が得られる小区画画像のサイズに設定することが好ましい。

【0091】

図２２の例に限らず、被検眼のドライアイの状態を予測する際の予測精度を基準に小区画画像のサイズを決定する場合には、小区画画像のサイズと予測の正解率との関係を予め算出して、所定の正解率以上となるサイズに設定するといった決定方法が考えられる。また、被検眼のドライアイの状態が実際の眼球表面においてどのようなサイズで観察すれば対象となる状態を精度良く検出できるかという着眼点に基づいて、眼球の表面積に占める実際のサイズに基づいて小区画画像のサイズを設定するといった決定方法が考えられる。

【0092】

図２３は、予測処理前の眼科画像と予測処理結果を重畳表示した眼科画像の一例を表した説明図である。図２３（ａ）は、予測処理の対象である眼科画像として涙液減少型ドライアイの状態を多く含む眼科画像を表しており、図２３（ｂ）は、眼科画像に対して予測結果を示す画像を重畳表示させたものである。この図２３（ａ）及び（ｂ）に示すように、涙液減少型ドライアイの状態と予測された領域を示すＪｕｐｉｔｅｒの箇所が多く、精度よく予測が行えていることが分かる。また、全体としてはＪｕｐｉｔｅｒの箇所が多いが、個別の小区画画像においては、健常者の状態と予測された領域を示すＰｅａｒｌの箇所や、蒸発亢進型ドライアイの状態と予測された領域を示すＣｒｙｓｔａｌの箇所も存在することが分かる。

【0093】

以上のように、第７の実施の形態の一側面として、評価対象の前記眼科画像を取得する画像取得部と、眼科画像から複数の小区画画像を抽出する抽出部と、学習用の眼科画像から複数の小区画画像を抽出しかつ各小区画画像の状態に関する正解データを用いて、機械学習によって小区画画像毎に被検眼のドライアイの状態として少なくとも健常な状態、涙液減少型ドライアイの状態、蒸発亢進型ドライアイの状態の何れに該当するかを予測することについて予め学習を行った学習済モデルに基づいて、小区画画像毎に被検眼のドライアイの状態を予測する予測部とを有し、小区画画像は、評価対象の被検眼のドライアイの状態を適切に評価可能な画像サイズとなるように眼科画像から抽出するようにしたので、被検眼のドライアイの状態を高精度に予測することができ、また、小区画画像ごとの予測結果が得られるので被検眼のドライアイの状態を詳細に分析することが可能となる。

【0094】

【0095】

［第８の実施の形態］
以下、図面を参照しながら、本発明の第８の実施の形態に係る眼科画像処理システムの例について説明する。なお、第７の実施の形態の場合と同様に、本発明の眼科画像処理システムは、通信ネットワークを介して他の装置と接続する必要のない単独の眼科画像処理装置としても実現可能であるものであるので、以下の説明においては、眼科画像処理装置として説明を行う。なお、第７の実施の形態と同じ構成については同じ符号を用いて説明を省略する場合がある。

【0096】

図２４は、本発明の実施の形態の少なくとも１つに対応する眼科画像処理装置の構成の一例を示すブロック図である。この図２４に示すように、眼科画像処理装置２０Ｂは、画像取得部２１と、結果反映領域設定部２５と、抽出部２２Ｂと、予測部２３Ｂと、記憶部２４とを備えている。

【0097】

結果反映領域設定部２５は、小区画画像のサイズ以下の所定のサイズからなる領域であって小区画画像の予測結果を反映させるための結果反映領域を設定する機能を有する。結果反映領域とは、眼科画像に対する被検眼のドライアイの状態に関する予測結果を最終的に反映させるための領域のことをいう。第７の実施の形態では予測処理に用いる小区画画像の範囲と予測結果を反映させる範囲は同じ領域であったが、この第８の実施の形態では、予測処理に用いる小区画画像のサイズ以下のサイズからなる結果反映領域を設定する。すなわち、予測処理には相対的に大きめのサイズの画像を用いるが、その結果を反映させる領域は相対的に小さいサイズの結果反映領域を用いる。結果反映領域は、どのような規則性に基づいて設定してもよいが、例えば、眼科画像を複数の結果反映領域で隙間なく埋めることが好ましい。この結果反映領域は、小区画画像と１対１で設定される領域である。設定した結果反映領域については記憶部２４にて記憶させておく。

【0098】

【0099】

予測部２３Ｂは、予め学習を行った学習済モデルに基づいて、小区画画像毎に被検眼のドライアイの状態を予測する機能を有し、さらに、小区画画像毎に得られた予測結果を対応する結果反映領域に対して反映させる機能を有する。１つの眼科画像に対して複数の結果反映領域が設定されている場合、その結果反映領域と同数の小区画画像が抽出されているので、その複数の小区画画像について順次予測処理を実行し、得られた予測結果を対応する結果反映領域に対して反映させる。得られた結果反映領域に対する反映結果は、記憶部２４にて記憶させておく。或いは、結果反映領域毎の予測結果を示す画像を眼科画像に重畳表示したものを表示装置５０に対して出力する構成であってもよい。なお、予測部２３Ｂにおいて用いる学習済モデルを得るための学習処理については、第７の実施の形態と同様であるので説明を省略する。

【0100】

次に、本発明の実施の形態の少なくとも１つに対応する予測処理の流れについて説明を行う。図２５は、本発明の実施の形態の少なくとも１つに対応する予測処理の流れの一例を示すフローチャート図である。この図２５において、予測処理は、眼科画像処理装置２０Ｂにおいて、試験用の眼科画像を取得することによって開始される（ステップＳ３０１）。次に、眼科画像処理装置２０Ｂは、取得した眼科画像に対して複数の結果反映領域を設定する（ステップＳ３０２）。また、眼科画像処理装置２０Ｂは、各結果反映領域に対応した小区画画像を抽出する（ステップＳ３０３）。次に、眼科画像処理装置２０Ｂは、被検眼のドライアイの状態を予測することについて予め学習を行った学習済モデルに対して小区画画像を入力して予測処理を実行させて予測結果を得る（ステップＳ３０４）。また、眼科画像処理装置２０Ｂは、小区画画像について得られた予測結果を対応する結果反映領域に対して反映させる（ステップＳ３０５）。そして、眼科画像処理装置２０Ｂは、全ての小区画画像について予測処理が終了したか否かを判定する（ステップＳ３０６）。全ての小区画画像について予測処理が終了していない場合（Ｓ３０６－Ｎｏ）には、眼科画像処理装置２０Ｂは、次の小区画画像を選択して（ステップＳ３０７）からステップＳ３０４に戻る。このようにして、小区画画像について順次予測処理を実行していき、全ての小区画画像について予測処理が終了した場合（Ｓ３０６－Ｙｅｓ）には、眼科画像処理装置２０Ｂは、眼科画像に対して予測結果を示す画像を重畳表示させて（ステップＳ３０８）、予測処理を終了する。

【0101】

図２６は、結果反映領域と小区画画像を設定する一例を説明するための説明図である。一例として、縦２０画素×横２０画素のサイズの結果反映領域Ａ、Ｂ、Ｃが隣接して設定されているものとする。この状況において、結果反映領域Ａ、Ｂ、Ｃのそれぞれに対応する小区画画像Ａ、Ｂ、Ｃを、結果反映領域が中心に位置するように縦４８画素×横４８画素のサイズで抽出するものとする。図２６（ａ）に示すように、小区画画像Ａは、結果反映領域Ａが中心に位置するように抽出されていることが分かる。また、隣接する結果反映領域Ｂに対応する小区画画像Ｂは、図２６（ｂ）に示すように、小区画画像Ａと重複した画素領域を含む形で抽出されていることが分かる。

【0102】

以上のように、第８の実施の形態の一側面として、小区画画像のサイズ以下の所定のサイズからなる領域であって小区画画像の予測結果を反映させるための結果反映領域を設定する結果反映領域設定部を更に有し、抽出部では、結果反映領域のそれぞれに対応させて、結果反映領域を内包しかつ結果反映領域以上の所定サイズとなる領域を小区画画像として抽出するようにし、予測部では、小区画画像毎に得られた予測結果を対応する結果反映領域に対して反映させるようにしたので、被検眼のドライアイの状態を予測する処理については予測の正解率が向上するように大き目の小区画画像サイズを設定しつつ、その予測結果を反映させる結果反映領域は小さ目のサイズに設定することで、予測精度を維持しつつ解像度の高い結果画像を得ることができる。すなわち、眼科画像に対して予測結果を示す画像を重畳表示させる場合に、大きいサイズの小区画画像に基づく予測結果をそのまま小区画画像のサイズで重畳表示してしまうと、解像度の低い結果表示画面となってしまうが、本例のように小区画画像より小さい結果反映領域に対して予測結果を反映させるようにすることで、予測精度を維持したまま解像度の高い結果画像を得ることが可能となる。

【0103】

［第９の実施の形態］
第７及び第８の実施の形態の構成に加えて、予測部２３において小区画画像毎に平均輝度値を算出し、平均輝度値が所定の閾値以上の小区画画像を予測処理の対象に設定するようにしてもよい。

【0104】

眼科画像における視野外の箇所や、まつげの箇所など、被検眼のドライアイの状態の予測には不要な箇所は黒色（暗い）であり非常に輝度値が低い個所であるといえる。このような箇所は、被検眼のドライアイの状態として抽出すべき対象を含まない箇所であることが明らかであるため、このような箇所を予測処理の対象から除外することができれば、予測処理に要する処理時間を短縮することが可能となる。そこで、予測部２３において、小区画画像毎に平均輝度値を算出し、平均輝度値が所定の閾値以上の小区画画像は予測処理の対象に設定し、平均輝度値が所定の閾値未満の小区画画像は予測処理の対象から除外するようにすることで、解析に不要な部位を除去することができ、かつ、不要な部位の推論をせずに済むことによる推論精度の向上を図ることができる。また、予測処理に要する処理時間を短縮することができる。

【0105】

なお、この第９の実施の形態の平均輝度値が所定の閾値未満の小区画画像を予測処理の対象外に設定することで視野外の箇所や、まつげの箇所などを除去し、さらに、学習済モデルに対する学習の段階で、まつ毛や輪郭などを抽出対象外と予測するように学習させることで、予測部２３での予測処理時にも、平均輝度値が所定の閾値以上であった小区画画像の中に存在するまつ毛や輪郭が主体となった小区画画像を対象外と判定（「対象外」又は「その他」に分類するように予測）することが可能となる。このように、２つの手段によって視野外の箇所やまつげの箇所などの不要な箇所を除去及び対象外とすることで、予測速度の高速化と予測精度の向上がより一層期待できる。

【0106】

［第１０の実施の形態］
第７乃至第９の実施の形態においては、予測部２３において被検眼のドライアイの状態の予測を行うことについて説明したが、予測部２３の出力内容については言及していなかった。予測部２３の予測処理に用いられる学習済モデルは、Ｐタイプ（健常者の状態）、Ｃタイプ（蒸発亢進型ドライアイの状態）、Ｊタイプ（涙液減少型ドライアイの状態）の３つの状態の確からしさを出力するために、３つの出力ノードを持っている。被検眼のドライアイの状態に関する各タイプの確からしさは、各タイプ共に０から１．０の範囲の数値によって表現され、かつ、全てのタイプの確からしさの合計が１．０となるように出力される。そのため、各小区画画像に対する予測結果は、完全なＣタイプ（Ｃタイプの出力が１．０）や完全なＪタイプ（Ｊタイプの出力が１．０）という出力にはならず、Ｃタイプの可能性が最も高い（Ｃタイプの出力が０．８）といった出力や、Ｊタイプの可能性が最も高い（Ｊタイプの出力が０．７）といった出力になる。よって、場合によっては、２つの要素を含んだ出力、例えば、ＰタイプとＣタイプの中間的な状態や、ＰタイプとＪタイプの中間的な状態といった出力もあり得る。このように、各タイプの確からしさの数値を０～１．０の間で出力させて処理するようにしてもよいし、確からしさの一番大きな値のタイプを１．０とし、他のタイプの確からしさを０としていずれかのタイプに完全に分類してしまうようにしてもよい。

【0107】

各小区画画像の予測結果として得られたそれぞれのタイプの確からしさについて、１枚の眼科画像に含まれる全小区画画像の予測結果の積算値を算出し、各タイプの積算値を小区画画像の総数で除算した値は、その画像全体を見た時にどのタイプに分類されるべきか判断するための指標となり得る。Ｃタイプの積算値が大きければその眼科画像がどれだけ水分不足になっているか（蒸発亢進型ドライアイ）を示すことになるし、Ｊタイプの積算値が大きければその眼科画像がどれだけ油分不足になっているか（涙液減少型ドライアイ）を示すことになるので、ドライアイ治療の指標として利用することができる。

【0108】

図２７は、被検眼のドライアイの状態の確からしさをプロットして表すためのグラフに関する説明図である。この図２７は、上記のようにして算出した眼科画像のタイプ毎の確からしさの積算値について、グラフ上にプロットしたものを表している。例えば、治療前後の数値をグラフ上にプロットすることで、治療の効果を視覚化することができるため、患者に対して説明がし易く非常に有効である。健常型を除く２つのドライアイタイプの軸は、図２７（ａ）のように直交させても良いし、適切な角度に設定する、例えば、図２７（ｂ）のように健常、涙液減少型ドライアイ、蒸発亢進型ドライアイのそれぞれの点を正三角形の頂点に配列していても良い。なお、積算値を用いたプロット点の数値化に関しては、１枚だけの眼科画像から行ってもよいし、連続した複数の眼科画像、或いは、離散した眼科画像のいくつかを利用して行っても良い。

【0109】

［第１１の実施の形態］
第７乃至第１０の実施の形態においては、１枚の眼科画像に対する予測処理を実行する場合について説明を行ったが、これに限定されるものではない。すなわち、画像取得部２１において、時系列に並ぶ複数の眼科画像を取得し、予測部２３では、複数の眼科画像のそれぞれについて予測処理を実行するようにし、さらに、複数の眼科画像のそれぞれについて得られた予測結果について、被検眼のドライアイの状態の時間的変化及び／又は空間的変化が所定条件を満たしたか否かを判定する変化判定部をさらに設けるようにしてもよい。

【0110】

被検眼のドライアイの状態を評価する場合に、１枚の眼科画像について評価することで得られる情報も存在するが、時系列に並ぶ複数の眼科画像についての予測結果についての時間的変化や空間的変化について考察することで得られる情報も存在する。例えば、時間的変化の例としては、瞬きをしてからどのくらいの時間経過で対象となる被検眼のドライアイの状態が検出されたかを評価することや、各眼科画像毎に対象の被検眼のドライアイの状態と予測された小区画画像の個数や、眼科画像全体における対象の被検眼のドライアイの状態の比率を算出して、時間的変化を追った場合に対象の被検眼の状態の個数や比率がどの程度の時間変化で所定の閾値を超えたかを評価することが考えられる。また、被検眼のドライアイの状態の比率の時間的変化の傾きが所定条件以上であることを検出することが考えられる。また、空間的変化の例としては、対象となる被検眼のドライアイの状態が検出された箇所がどのように移動していくかを評価することが考えられる。

【0111】

図２８は、被検眼のドライアイの状態に関する動態解析の一例を示す説明図である。この図２８は、動画撮影などの手法によって時系列に並ぶ複数の眼科画像を取得し、それぞれの眼科画像についてＰタイプ（健常者の状態）、Ｃタイプ（蒸発亢進型ドライアイの状態）、Ｊタイプ（涙液減少型ドライアイの状態）の３つの状態の比率（割合）を算出して、その３つの状態の比率の時間的変化を表したものである。この図２８では、縦軸に健常型（Ｐ）、涙液減少型（Ｊ）、蒸発亢進型（Ｃ）の割合をとり、横軸に時間軸をとっている。このようにグラフ表示することにより、涙液状態の動態を視覚化することができる。図２８に示した４つのグラフのうち、上２つのグラフは、健常者（ドライアイではない人）の動態解析を表したグラフであり、３つ目のグラフは、蒸発亢進型ドライアイ（ＥＤＥ）の患者の動態解析を表したグラフであり、最後のグラフは、涙液減少型ドライアイ（ＡＤＤＥ）の患者の動態解析を表したグラフである。この図２８に示す４つのグラフから分かるように、動態解析することで初めて観察できる特徴が存在する。例えば、開瞼後のＰタイプの割合の増加は涙液の油層の状態が良好な領域が下瞼から上方に広がっていく様子を示しており、グラフ上の傾きＡ（一点鎖線）は油層と水層のバランスの指標となる。また、Ｐタイプの割合がプラトーを迎え、減少していく過程を示す傾きＢ（破線）とその後に迎える定常を示す傾きＢ’は（破線）は涙液の安定性を示す指標として利用できる。同様に、水分は減少しているが油脂の分泌が多い状況の涙液減少型ドライアイの診断においては、Ｐタイプの割合を用いても良いが、Ｊタイプの割合に着目しても良い。これらの数値を利用することで、画像上は区別が容易でないが、水分と油分のバランスについて知ることができ、治療法の選定の支援を行うことができる。なお、動画撮影によって複数の眼科画像を取得する場合、全てのフレームについて解析を行っても良いが、推論に長時間を有するので、動態解析に支障が生じない範囲において適度に間引く、例えば、３フレームおきに解析するなどしてもよい。

【0112】

このように、被検眼のドライアイの状態の時間的変化及び／又は空間的変化が所定条件を満たしたか否かを判定するようにすることで、単一の眼科画像についての予測結果のみでは評価し得ない情報について評価を行うことが可能となる。

【符号の説明】

【0113】

１００眼科画像処理システム
１０サーバ装置
２０、２０１～２０ｎ端末装置
２０、２０Ａ～２０Ｃ眼科画像処理装置
２００１ＣＰＵ
２００２ＧＰＵ
２００３メモリ
２００４Ｉ／Ｆ
２１画像取得部
２２、２２Ｂ、２２Ｃ抽出部
２３、２３Ｂ、２３Ｃ予測部
２４記憶部
２４１学習済モデル
２５結果反映領域設定部
４０撮影装置
４１光源
４２レンズ
４３スプリッタ
４４対物レンズ
４５前眼部
４６結像レンズ
４７撮像素子
５０表示装置

【図1】