特開 2022-138552 眼科画像処理装置、眼科画像処理プログラム、および眼科画像撮影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022138552

(43)【公開日】2022-09-26

(54)【発明の名称】眼科画像処理装置、眼科画像処理プログラム、および眼科画像撮影装置

(51)【国際特許分類】

   A61B 3/14 20060101AFI20220915BHJP

   A61B 3/10 20060101ALI20220915BHJP

【ＦＩ】

A61B3/14

A61B3/10

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021038492

(22)【出願日】2021-03-10

(71)【出願人】

【識別番号】000135184

【氏名又は名称】株式会社ニデック

(74)【代理人】

【識別番号】100166785

【弁理士】

【氏名又は名称】大川 智也

(72)【発明者】

【氏名】柴 涼介

(72)【発明者】

【氏名】熊谷 佳紀

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA04

4C316AA09

4C316AA10

4C316AB02

4C316AB11

4C316AB12

4C316AB16

4C316FB05

4C316FB06

4C316FB21

4C316FB26

4C316FZ01

(57)【要約】

【課題】眼科画像の解析対象としての適正度を適切に判定することが可能な眼科画像処理装置、眼科画像処理プログラム、および眼科画像撮影装置を提供する。
【解決手段】眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得し（Ｓ１）、眼科画像を数学モデルに入力する（Ｓ２）。数学モデルは、機械学習アルゴリズムによって訓練されている。眼科画像が数学モデルに入力されると、数学モデルは、入力された眼科画像に写る被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する。制御部は、入力された眼科画像に対して数学モデルによって実行された解析の確信度を示す確信度情報を取得する（Ｓ３）。制御部は、取得した確信度情報に基づいて、数学モデルに入力された眼科画像の解析対象としての適正度を判定する（Ｓ４）。
【選択図】図６

【特許請求の範囲】

【請求項1】

被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
前記眼科画像処理装置の制御部は、
眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された眼科画像に写る被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する数学モデルに、前記眼科画像を入力する画像入力ステップと、
入力された前記眼科画像に対して前記数学モデルによって実行された前記解析の確信度を示す確信度情報を取得する確信度情報取得ステップと、
取得した前記確信度情報に基づいて、前記眼科画像の解析対象としての適正度を判定する判定ステップと、
を実行することを特徴とする眼科画像処理装置。

【請求項2】

請求項１に記載の眼科画像処理装置であって、
前記画像入力ステップで前記眼科画像が入力される前記数学モデルは、前記眼科画像中の組織を識別するための確率分布を出力し、
前記確信度情報は、前記数学モデルによって出力された前記確率分布に基づいて得られることを特徴とする眼科画像処理装置。

【請求項3】

請求項１または２に記載の眼科画像処理装置であって、
前記画像入力ステップにおいて前記眼科画像が入力される前記数学モデルが実行する第１の解析よりも後に、前記判定ステップにおける判定結果に応じて、前記眼科画像に対する第２の解析を実行する解析ステップをさらに実行することを特徴とする眼科画像処理装置。

【請求項4】

請求項３に記載の眼科画像処理装置であって、
前記第１の解析の対象となる組織と、前記第２の解析の対象となる組織が同一であることを特徴とする眼科画像処理装置。

【請求項5】

請求項１から４のいずれかに記載の眼科画像処理装置であって、
前記制御部は、
前記判定ステップにおいて、前記数学モデルに入力された前記眼科画像についての前記確信度情報が条件を満たさない場合に、前記眼科画像を解析対象から除外することを特徴とする眼科画像処理装置。

【請求項6】

被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された眼科画像に写る被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する数学モデルに、前記眼科画像を入力する画像入力ステップと、
入力された前記眼科画像に対して前記数学モデルによって実行された前記解析の確信度を示す確信度情報を取得する確信度情報取得ステップと、
取得した前記確信度情報に基づいて、前記眼科画像の解析対象としての適正度を判定する判定ステップと、
を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。

【請求項7】

被検眼の組織の画像である眼科画像を撮影する眼科画像撮影部と、
装置の動作を制御する制御部と、
を備え、
前記制御部は、
前記眼科画像撮影部によって眼科画像を撮影する画像撮影ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された眼科画像に写る被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する数学モデルに、前記眼科画像を入力する画像入力ステップと、
入力された前記眼科画像に対して前記数学モデルによって実行された前記解析の確信度を示す確信度情報を取得する確信度情報取得ステップと、
取得した前記確信度情報に基づいて、前記眼科画像の解析対象としての適正度を判定する判定ステップと、
を実行することを特徴とする眼科画像撮影装置。

【請求項8】

請求項７に記載の眼科画像撮影装置であって、
前記制御部は、
前記判定ステップにおける前記適正度の判定結果を報知する報知ステップ、
および、
前記判定ステップにおいて判定された前記適正度が条件を満たさなかった場合に、同一の前記被検眼の再撮影を行う再撮影ステップ、
の少なくともいずれかを実行することを特徴とする眼科画像撮影装置。

【請求項9】

請求項７に記載の眼科画像撮影装置であって、
前記制御部は、
前記画像撮影ステップによる仮の眼科画像の撮影、前記画像入力ステップ、前記確信度情報取得ステップ、および前記判定ステップを繰り返し実行し、
前記判定ステップにおいて判定された前記仮の眼科画像の前記適正度が条件を満たした場合に、正式な眼科画像を前記眼科画像撮影部によって撮影することを特徴とする眼科画像撮影装置。

【請求項10】

請求項７に記載の眼科画像撮影装置であって、
前記制御部は、
前記画像撮影ステップにおいて同一の被検眼の同一の部位を連続して撮影し、撮影された複数の眼科画像を加算平均処理することで、加算平均画像を取得する加算平均ステップをさらに実行し、
前記画像入力ステップ、前記確信度情報取得ステップ、および前記判定ステップでは、前記加算平均ステップにおいて取得された前記加算平均画像の前記適正度を判定し、
前記判定ステップにおいて判定された前記加算平均画像の前記適正度が条件を満たすまで、前記画像撮影ステップによる撮影と前記加算平均ステップによる加算平均処理を繰り返すことを特徴とする眼科画像撮影装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被検眼の眼科画像の処理に使用される眼科画像処理装置、眼科画像処理プログラム、および、被検眼の眼科画像を撮影する眼科画像撮影装置に関する。

【背景技術】

【0002】

近年、被検眼の眼科画像を解析することで医療データを取得する技術が提案されている。例えば、特許文献１に記載の眼底画像処理装置は、機械学習アルゴリズムによって訓練された数学モデルに眼底画像を入力することで、眼底画像の少なくとも一部に存在する動脈と静脈の検出結果を取得する。また、眼科画像に写っている組織の各層の境界に関する解析結果を、眼科画像に基づいて取得する技術も提案されている。

【先行技術文献】

【非特許文献】

【0003】

【特許文献1】特開２０１９－２０８８５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、解析対象として不適切な眼科画像を解析対象から除外する場合等に、眼科画像の解析対象としての適正度（以下、単に「解析適正度」という場合もある）を把握できると有用である。ここで、画質が悪い眼科画像は、解析対象として不適切な場合が多い。従って、眼科画像の画質を示す値（例えば、Ｓ／Ｎ比およびコントラスト等）を、解析適正度とすることも考えられる。しかし、解析対象としての眼科画像の適正度には、画質以外の種々の要因も影響し得る。例えば、仮に画質が全体的に良好な場合でも、特異な疾患の存在、不要な物体（例えば瞼等）の写り込み、または撮影範囲の不良等が原因で、解析対象として不適切となっている眼科画像も存在する。逆に、睫等の写り込みが原因で、一部の画質が悪くなっている場合でも、解析に必要な範囲が適切に写り込んでおり、解析対象として適切な眼科画像も存在する。

【0005】

また、解析に適した眼科画像と、解析に適していない眼科画像の両方を画像ベースで学習させた数学モデルを利用して、眼科画像の解析適正度を判定することも考えられる。しかし、前述したように、眼科画像の解析適正度には種々の要因が影響する。従って、解析適正度を判定する数学モデルを訓練する際には、解析適正度が低い眼科画像として、解析適正度が低下した要因が互いに異なる多種の眼科画像を用意する必要があり、現実的ではない。そもそも、解析適正度の定義付け等も難しいので、解析適正度の学習自体が困難である。以上のように、眼科画像の解析適正度を適切に判定することは、従来の技術では困難であった。

【0006】

本開示の典型的な目的は、眼科画像の解析対象としての適正度を適切に判定することが可能な眼科画像処理装置、眼科画像処理プログラム、および眼科画像撮影装置を提供することである。

【課題を解決するための手段】

【0007】

本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された眼科画像に写る被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する数学モデルに、前記眼科画像を入力する画像入力ステップと、入力された前記眼科画像に対して前記数学モデルによって実行された前記解析の確信度を示す確信度情報を取得する確信度情報取得ステップと、取得した前記確信度情報に基づいて、前記眼科画像の解析対象としての適正度を判定する判定ステップと、を実行する。

【0008】

本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された眼科画像に写る被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する数学モデルに、前記眼科画像を入力する画像入力ステップと、入力された前記眼科画像に対して前記数学モデルによって実行された前記解析の確信度を示す確信度情報を取得する確信度情報取得ステップと、取得した前記確信度情報に基づいて、前記眼科画像の解析対象としての適正度を判定する判定ステップと、を前記眼科画像処理装置に実行させる。

【0009】

本開示における典型的な実施形態が提供する眼科画像撮影装置は、被検眼の組織の画像である眼科画像を撮影する眼科画像撮影部と、装置の動作を制御する制御部と、を備え、前記制御部は、前記眼科画像撮影部によって眼科画像を撮影する画像撮影ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された眼科画像に写る被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する数学モデルに、前記眼科画像を入力する画像入力ステップと、入力された前記眼科画像に対して前記数学モデルによって実行された前記解析の確信度を示す確信度情報を取得する確信度情報取得ステップと、取得した前記確信度情報に基づいて、前記眼科画像の解析対象としての適正度を判定する判定ステップと、を実行する。

【0010】

本開示に係る眼科画像処理装置、眼科画像処理プログラム、および眼科画像撮影装置によると、眼科画像の解析対象としての適正度が適切に判定される。

【図面の簡単な説明】

【0011】

【図1】数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。

【図2】眼科画像３０と、眼科画像３０に含まれる血管を示す血管画像４０Ａ，４０Ｂの一例を示す図である。

【図3】数学モデル構築装置１が実行する数学モデル構築処理のフローチャートである。

【図4】複数の眼科画像に対して数学モデルによる解析を実行した場合の、確信度情報と頻度の関係を示すグラフである。

【図5】図４に示す解析において確信度が下位１５位以内となった眼科画像を列挙した図である。

【図6】眼科画像処理装置２１が実行する解析適正度判定処理のフローチャートである。

【図7】眼科画像撮影装置１１が実行する第１撮影制御処理のフローチャートである。

【図8】眼科画像撮影装置１１が実行する第２撮影制御処理のフローチャートである。

【図9】眼科画像撮影装置１１が実行する第３撮影制御処理のフローチャートである。

【発明を実施するための形態】

【0012】

＜概要＞
本開示で例示する眼科画像処理装置の制御部は、画像取得ステップ、画像入力ステップ、確信度情報取得ステップ、および判定ステップを実行する。画像取得ステップでは、制御部は、眼科画像撮影装置によって撮影された眼科画像を取得する。画像入力ステップでは、制御部は、眼科画像を数学モデルに入力する。数学モデルは、機械学習アルゴリズムによって訓練されている。眼科画像が数学モデルに入力されると、数学モデルは、入力された眼科画像に写る被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する。確信度情報取得ステップでは、制御部は、入力された眼科画像に対して数学モデルによって実行された解析の確信度を示す確信度情報を取得する。判定ステップでは、制御部は、取得した確信度情報に基づいて、数学モデルに入力された眼科画像の解析対象としての適正度（以下、単に「解析適正度」という場合もある）を判定する。

【0013】

複数の眼科画像によって訓練された数学モデルでは、訓練に用いられた眼科画像に近似する眼科画像が入力されると、眼科画像の解析の確信度が高くなる傾向がある。一方で、訓練に用いられた眼科画像に近似しない眼科画像が数学モデルに入力されると、眼科画像の解析の確信度が低くなる傾向がある。ここで、眼科画像の解析を行う数学モデルを構築する場合、解析適正度が高い眼科画像が数学モデルの訓練に用いられやすい。従って、解析適正度が高い眼科画像が解析対象として数学モデルに入力されると、解析の確信度は高くなり易い。つまり、各々の眼科画像の解析適正度と確信度の相関は高くなる。

【0014】

以上の知見に基づき、本開示で例示する眼科画像処理装置の制御部は、眼科画像に対して数学モデルによって実行された解析の確信度情報に基づいて、眼科画像の解析適正度を判定する。その結果、画質および撮影範囲等の種々の要素が影響する解析適正度が、適切に判定される。

【0015】

「確信度」とは、数学モデルによる眼科画像の解析の確実性の高さであってもよいし、確実性の低さ（不確実性と表現することもできる）の逆数であってもよい。また、例えば不確実性がｘ％で表される場合、確信度は、（１００－ｘ）％で表される値であってもよい。つまり、解析の確実性の高さを示す「確信度」の値そのものを用いる場合だけでなく、解析の確実性の低さ（不確実性）を用いる場合でも、眼科画像の解析適正度は適切に判定される。従って、本開示における「確信度情報に基づいて」の用語には、確実性の高さを用いる場合だけでなく、確実性の低さ（不確実性）を用いる場合も含まれる。なお、「確信度」は、数学モデルを用いて行われる予測の確からしさの度合いを示す。確信度と解析結果の正確性は、比例するとは限らない。

【0016】

確信度には、数学モデルによる自動的な解析における出力の確率分布のエントロピー（平均情報量）が含まれていてもよい。エントロピーは、確率分布の広がり（ばらつき）を示す。自動的な解析における確信度が最大値となる場合、確率分布のエントロピーは０となる。また、確信度が低下する程、エントロピーは増大する。従って、確信度として確率分布のエントロピーが用いられることで、解析適正度が適切に判定される。また、エントロピー以外の値が確信度として採用されてもよい。例えば、自動的な解析における確率分布の散布度を示す標準偏差、変動係数、分散等の少なくともいずれかが、確信度として用いられてもよい。確率分布同士の差異を図る尺度であるＫＬダイバージェンス等が、確信度として用いられてもよい。確率分布の最大値が確信度として用いられてもよい。また、自動的な解析によって複数の構造等の順位付けを行う場合には、１位の確率、または、１位の確率とそれ以外の順位の確率（例えば、２位、または２位以下の複数の確率の合計等）の差等が、確信度として使用されてもよい。また、確信度として、学習に用いられたデータまたは条件等が互いに異なる複数の数学モデル間の出力のばらつきが用いられてもよい。この場合、数学モデルの出力が確率分布でなくても適用できる。

【0017】

確信度情報取得ステップにおいて取得される確信度情報の具体的態様は、適宜選択できる。例えば、眼科画像の画像領域内の各部位（例えば各画素等）に対して数学モデルによって実行された解析の、確信度の分布を示す情報（以下、「確信度マップ」という場合もある）に基づいて、解析適正度が判定されてもよい。

【0018】

画像取得ステップ、画像入力ステップ、確信度情報取得ステップ、および判定ステップを実行するデバイスは、適宜選択できる。例えば、パーソナルコンピュータ（以下、「ＰＣ」という）の制御部が、画像取得ステップ、画像入力ステップ、確信度情報取得ステップ、および判定ステップの全てを実行してもよい。つまり、ＰＣの制御部は、眼科画像撮影装置から眼科画像を取得し、取得した眼科画像の解析適正度を判定してもよい。また、眼科画像撮影装置の制御部が、画像取得ステップ、画像入力ステップ、確信度情報取得ステップ、および判定ステップの全てを実行してもよい。また、複数のデバイス（例えば、眼科画像撮影装置およびＰＣ等）の制御部が協働して、画像取得ステップ、画像入力ステップ、確信度情報取得ステップ、および判定ステップを実行してもよい。

【0019】

数学モデルは、眼科画像中の組織を識別するための確率分布を出力してもよい。確信度情報は、数学モデルによって出力された確率分布に基づいて得られてもよい。この場合、組織を識別するための数学モデルが利用されることで、眼科画像の解析適正度が適切に判定される。

【0020】

なお、数学モデルが眼科画像に対して実行する解析の具体的内容も適宜選択できる。例えば、被検眼の眼底画像から、眼底血管組織の解析結果（動脈の解析結果、静脈の解析結果、または、動脈および静脈の両方の解析結果）が数学モデルによって出力されてもよい。被検眼の眼底画像から、眼底血管以外の組織（例えば視神経乳頭等）の解析結果が出力されてもよい。また、被検眼の組織（例えば眼底等）の断層画像から、組織の層および層の境界の少なくともいずれかの解析結果が、数学モデルによって出力されてもよい。被検眼の角膜内皮細胞の解析結果が、数学モデルによって出力されてもよい。

【0021】

ただし、数学モデルによって実行される解析は、組織に対する解析でなくてもよい。例えば、被検眼における何等かの疾患の存在の有無示す自動解析結果が、数学モデルによって出力されてもよい。また、各々の疾患が存在する確率等が、解析結果として出力されてもよい。

【0022】

また、数学モデルによって複数の解析が行われてもよい。例えば、制御部は、数学モデルによる第１の解析（例えば、視神経乳頭の解析）の適正度を判定するために、数学モデルによって実行された第２の解析（例えば、眼底血管の解析）の確信度情報を用いてもよい。この場合、第１の解析を実行する数学モデルと、第２の解析を実行する数学モデルは、同一であってもよいし異なっていてもよい。

【0023】

画像入力ステップにおいて眼科画像が入力される数学モデルが実行する解析を、第１の解析とする。制御部は、第１の解析よりも後に、解析適正度の判定結果に応じて眼科画像に対する第２の解析を実行する解析ステップをさらに実行してもよい。つまり、解析適正度が判定される前に数学モデルによって実行される第１の解析とは別で、第２の解析が解析適正度の判定結果に応じて実行されてもよい。この場合、第１の解析に関する確信度情報に基づいて、第２の解析の解析対象としての適正度が判定された後に、判定結果に応じて第２の解析が実行される。従って、第２の解析が適切に実行され易くなる。

【0024】

なお、判定ステップにおいて判定される解析適正度は、数学モデルによる第２の解析の対象としての適正度であってもよいし、数学モデルを用いずに行われる第２の解析（例えば、医師による読影等）の対象としての適正度であってもよい。つまり、第２の解析が実行される場合、第２の解析には数学モデルが使用されなくてもよい。

【0025】

第１の解析の対象となる組織と、第２の解析の対象となる組織は、同一であってもよい。この場合、第２の解析における解析適正度は、第２の解析の対象組織と同一の組織に対して第１の解析が実行されることで判定される。従って、第１の解析の対象と第２の解析の対象が異なる場合に比べて、より高い精度で解析適正度が判定される。

【0026】

第１の解析の内容と第２の解析の内容は、異なっていてもよい。例えば、第１の解析は、眼底血管組織の解析であり、第２の解析は、被検者の状態（例えば、動脈硬化の程度、血圧、および年齢等の少なくともいずれか）の解析であってもよい。また、第１の解析の内容と第２の解析の内容は、同じであってもよい。

【0027】

制御部は、判定ステップにおいて、数学モデルに入力された眼科画像についての確信度情報が条件を満たさない場合に、眼科画像を解析対象（例えば、前述した第２の解析の対象）から除外してもよい。この場合、解析対象として不適切な眼科画像が解析対象から自動的に除外される。よって、眼科画像の解析がより適切に実行される。

【0028】

なお、眼科画像の確信度情報が条件を満たすか否かを判定するための具体的な方法は、適宜選択できる。例えば、制御部は、眼科画像について取得された確信度マップを参照し、画像領域内における確信度の平均値または累積値が閾値以上であるか否かを判定することで、眼科画像の確信度情報が条件を満たすか否か（つまり、解析適正度が良好か否か）を判定してもよい。この場合、閾値は、眼科画像に対する解析（例えば、前述した第２の解析）が適切に行われるか否かを適切に区分け可能な値に設定されるとよい。

【0029】

また、制御部は、眼科画像の画像領域全体のうち、一部の注目領域内の確信度情報に基づいて、眼科画像の解析適正度を判定してもよい。この場合、画像領域全体のうち、解析に必要な注目領域内の確信度情報のみが参照されることで、解析適正度の判定精度が向上する。例えば、数学モデルが特定の組織を識別する場合、注目領域は、特定の組織として検出された（つまり、特定の組織である確率が、特定の組織でない確率よりも高いと検出された）領域であってもよい。一例として、数学モデルが眼底血管を検出する場合、注目領域は、「（動脈の確率＋静脈の確率）＞背景の確率」となった画素からなる領域であってもよい。特定の組織以外の領域（例えば背景等）は、特定の組織に比べて容易に（つまり、確実性が高い状態で）数学モデルによって解析され易い。従って、特定の組織である可能性が低い領域が除外された状態で、領域内の確信度の平均値が算出されることで、眼科画像の解析適正度と確信度の平均値の相関がさらに高くなる。よって、より高い精度で解析適正度が判定される。

【0030】

また、制御部は、画像領域内の任意の領域に注目領域を設定してもよい。制御部は、画像領域全体における複数の注目領域の各々の確信度情報に基づいて、眼科画像の解析適正度を別々に判定してもよい。この場合、各々の領域についての解析適正度が別々に判定されるので、より適切に解析結果が得られる。例えば、制御部は、解析適正度が高い領域に対する第２の解析を行い、解析適正度が低い領域に対する第２の解析は省略することも可能である。なお、注目領域の位置、大きさ、および形状の少なくともいずれかは、ユーザによって入力される指示に応じて定められてもよい。ただし、眼科画像の画像領域全体の確信度情報が参照されてもよいことは言うまでもない。

【0031】

ただし、解析適正度の判定結果の利用方法を変更することも可能である。例えば、制御部は、画像取得ステップにおいて複数の眼科画像を取得してもよい。制御部は、判定ステップにおいて、複数の眼科画像のうち、確信度情報が条件を満たす１つまたは複数の眼科画像を、解析の対象として選択してもよい。

【0032】

また、制御部は、判定ステップにおいて判定された眼科画像の解析適正度をユーザに報知してもよい。この場合、ユーザは、眼科画像の解析適正度を把握したうえで、各種判断を適切に行うことが可能である。

【0033】

また、制御部は、確信度情報を取得する際に数学モデルによって実行された解析の結果（例えば、前述した第１の解析の結果）を採用するか否かを、確信度情報に基づいて判断してもよい。換言すると、制御部は、数学モデルに入力された眼科画像についての確信度情報が条件を満たすか否かに応じて、数学モデルによって実行された解析の結果を採用するか否かを判断してもよい。この場合、前述した第２の解析を実行する解析ステップは、省略することも可能である。

【0034】

本開示で例示する眼科画像撮影装置の制御部は、画像撮影ステップ、画像入力ステップ、確信度情報取得ステップ、および判定ステップを実行する。この場合、前述した眼科画像処理装置と同様に、眼科画像の解析適正度が撮影装置において適切に判定される。

【0035】

なお、眼科画像撮影装置でも、前述した眼科画像処理装置について説明した種々の特徴（例えば、組織を識別するための確率分布に基づいて、確信度情報が得られる点等）が採用されてもよいことはいうまでもない。

【0036】

制御部は、報知ステップおよび再撮影ステップの少なくともいずれかを実行してもよい。報知ステップでは、判定ステップにおける解析適正度の判定結果が報知される。再撮影ステップでは、判定ステップにおいて判定された解析適正度が条件を満たさなかった場合（もしくは、眼科画像についての確信度情報が条件を満たさなかった場合）に、同一の被検眼の再撮影を行う。この場合、解析に適した眼科画像が眼科画像撮影装置によって撮影される可能性が、適切に向上する。なお、解析適正度が条件を満たすか否か（つまり、確信度情報が条件を満たすか否か）を判定する方法には、前述したように、種々の方法を選択できる。

【0037】

制御部は、画像撮影ステップによる仮の眼科画像の撮影、画像入力ステップ、確信度情報取得ステップ、および判定ステップを繰り返し実行し、判定ステップにおいて判定された仮の眼科画像の解析適正度が条件を満たした場合（もしくは、眼科画像についての確信度情報が条件を満たした場合）に、正式な眼科画像を眼科画像撮影部によって撮影してもよい。この場合、解析に適した眼科画像を撮影する条件が満たされたタイミングで、眼科画像が眼科画像撮影部によって適切に撮影される。

【0038】

なお、仮の眼科画像と正式な眼科画像は、異なる種別の画像であってもよい。例えば、仮の眼科画像は、赤外線カメラによって連続して撮影される観察画像（つまり、被検眼が眩しさを感じにくい方法で撮影される画像）であってもよいし、正式な眼科画像は、可視光で撮影される画像（例えば、眼底カメラによって撮影されるカラー眼底画像等）であってもよい。また、仮の眼科画像と正式な眼科画像が同じ種別の画像であってもよい。

【0039】

制御部は、画像撮影ステップにおいて同一の被検眼の同一の部位を連続して撮影し、撮影された複数の眼科画像を加算平均処理することで、加算平均画像を取得する加算平均ステップをさらに実行してもよい。画像入力ステップ、確信度情報取得ステップ、および判定ステップでは、加算平均ステップにおいて取得された加算平均画像の解析適正度が判定されてもよい。制御部は、判定ステップにおいて判定された加算平均画像の解析適正度が条件を満たすまで（もしくは、加算平均画像についての確信度情報が条件を満たすまで）、画像撮影ステップによる撮影と加算平均ステップによる加算平均処理を繰り返してもよい。この場合、加算平均画像が解析に適した画像となるまで、眼科画像の撮影と加算平均処理が繰り返される。よって、解析に適した加算平均画像が適切に取得（撮影）される。

【0040】

＜実施形態＞
（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された眼科画像に基づいて、被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する。眼科画像処理装置２１は、数学モデルを用いて解析結果を取得すると共に、数学モデルによって実行された解析の確信度情報に基づいて、眼科画像の解析対象としての適正度（解析適正度）を判定する。眼科画像撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像を撮影する。

【0041】

一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、眼科画像撮影装置１１Ａから取得した被検眼の眼科画像（以下、「訓練用眼科画像」という）のデータと、訓練用眼科画像が撮影された被検眼の構造および疾患の少なくともいずれかを示すデータとを利用して、数学モデルを訓練させる。その結果、数学モデルが構築される。ただし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。

【0042】

また、本実施形態の眼科画像処理装置２１にはＰＣが用いられる。しかし、眼科画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ｂまたはサーバ等が、眼科画像処理装置２１として機能してもよい。眼科画像撮影装置１１Ｂが眼科画像処理装置２１として機能する場合、眼科画像撮影装置１１Ｂは、眼科画像を撮影しつつ、撮影した眼科画像の解析適正度を判定することができる。また、眼科画像撮影装置１１Ｂは、解析適正度の判定結果に基づいて、再撮影等の種々の処理を行うことも可能である（これらの詳細は後述する）。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。

【0043】

また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。

【0044】

数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する数学モデル構築処理（図３参照）を実行するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、眼科画像撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。

【0045】

数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

【0046】

数学モデル構築装置１は、眼科画像撮影装置１１Ａから眼科画像のデータ（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ａから眼科画像のデータを取得してもよい。

【0047】

眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する解析適正度判定処理（図６参照）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、眼科画像撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。

【0048】

眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。

【0049】

眼科画像処理装置２１は、眼科画像撮影装置１１Ｂから眼科画像を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ｂから眼科画像を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。

【0050】

眼科画像撮影装置１１（１１Ａ，１１Ｂ）について説明する。一例として、本実施形態では、数学モデル構築装置１に眼科画像を提供する眼科画像撮影装置１１Ａと、眼科画像処理装置２１に眼科画像を提供する眼科画像撮影装置１１Ｂが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および眼科画像処理装置２１は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置１および眼科画像処理装置２１は、共通する１つの眼科画像撮影装置から眼科画像を取得してもよい。

【0051】

眼科画像撮影装置１１（１１Ａ，１１Ｂ）について説明する。眼科画像撮影装置１１には、被検眼の組織の画像を撮影する種々の装置を用いることができる。一例として、本実施形態で使用される眼科画像撮影装置１１は、可視光を用いて眼底の二次元カラー正面画像を撮影することが可能な眼底カメラである。しかし、眼底カメラ以外の装置（例えば、ＯＣＴ装置、レーザ走査型検眼鏡（ＳＬＯ）、角膜内皮細胞撮影装置等の少なくともいずれか）が用いられてもよい。眼科画像は、被検眼の組織を被検眼の正面側から撮影した二次元正面画像でもよいし、組織の三次元画像でもよい。

【0052】

眼科画像撮影装置１１は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。ＣＰＵ１３が実行する眼科画像撮影制御プログラムは、記憶装置１４に記憶されていてもよい。なお、前述したように、眼科画像撮影装置１１が眼科画像の解析適正度を判定することも可能である。この場合、眼科画像撮影装置１１が撮影制御処理（図７～図９参照）を実行するための眼科画像撮影制御プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。眼科画像撮影制御プログラムは、記憶装置１４に記憶されていてもよい。眼科画像撮影部１６は、被検眼の眼科画像を撮影するための光学部材等を備える。

【0053】

（数学モデル構築処理）
図２および図３を参照して、数学モデル構築装置１が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置４に記憶された数学モデル構築プログラムに従って、ＣＰＵ３によって実行される。

【0054】

数学モデル構築処理では、眼科画像に写る被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する数学モデルが構築される。一例として、本実施形態では、入力された眼科画像を解析することで、被検眼の構造の１つである眼底血管の解析結果（本実施形態では、入力された眼底における血管の画像）を出力する数学モデルを例示する。換言すると、本実施形態の数学モデルは、入力された眼科画像に写る被検眼の特定の構造（眼底血管）を検出する。ただし、前述したように、数学モデルは、眼底血管の解析結果とは異なる解析結果（例えば組織の層および境界等）を出力してもよい。

【0055】

本実施形態では、数学モデルに畳み込みニューラルネットワークが用いられている。本実施形態の数学モデルは、眼科画像を構成する画素毎に、クラス（動脈の画素、静脈の画素、またはその他の画素）を確率変数とする確率分布を出力するように訓練される。数学モデルの出力に対し、各画素で最大値をとるクラスを求めることで、動脈と静脈が検出される（本実施形態では、動脈の血管画像と静脈の血管画像が得られる）。なお、各画素の動脈、静脈それぞれに対応する確率を取り出すことで動脈、静脈それぞれの血管画像が作成されてもよい。

【0056】

なお、詳細は後述するが、眼科画像の解析適正度を判定する際に、数学モデルによって実行された解析の確信度情報が用いられる。本実施形態では、数学モデルの出力に対し、各画素でエントロピーを計算することで、各画素の確実性または不確実性の分布を示す確信度マップが得られる。確信度マップの特定の領域における平均値が、数学モデルに入力された眼科画像についての確信度情報とされる。

【0057】

数学モデル構築処理では、訓練用データセットによって数学モデルが訓練されることで、数学モデルが構築される。訓練用データセットには、入力側のデータ（入力用訓練データ）と出力側のデータ（出力用訓練データ）が含まれる。以下では、一例として、眼底カメラによって撮影される二次元カラー正面画像を入力画像として数学モデルに入力することで、数学モデルに血管画像を出力させる場合について説明する。

【0058】

図２に、二次元カラー正面画像を入力画像として数学モデルに血管画像を出力させる場合の、入力用訓練データと出力用訓練データの一例を示す。図２に示す例では、眼科画像撮影装置（本実施形態では眼底カメラ）１１Ａによって撮影された二次元カラー正面画像である眼科画像３０が、入力用訓練データとされる。本実施形態では、入力用訓練データとして使用される眼科画像３０の画像領域に、被検眼の視神経乳頭３１および黄斑３２が共に含まれる。また、入力用訓練データとされる眼科画像３０における動脈および静脈の少なくともいずれかを示す画像である血管画像４０Ａ，４０Ｂが、出力用訓練データとされる。出力用訓練データは、例えば、作業者によって入力された指示に応じて生成されてもよい。この場合、作業者は、入力用訓練データとされる眼科画像３０に写る眼底血管を参照しながら指示を入力してもよい。

【0059】

図２に示す例では、眼科画像３０における動脈の血管画像４０Ａと、眼科画像３０における静脈の血管画像４０Ｂが、別々に用意されている。しかし、動脈と静脈を共に示す１つの血管画像が、出力用訓練データとして用いられてもよい。また、動脈の血管画像のみを数学モデルに出力させる場合には、出力用訓練データとして動脈の血管画像４０Ａのみが使用されてもよい。同様に、静脈の血管画像のみを数学モデルに出力させる場合には、出力用訓練データとして静脈の血管画像４０Ｂのみが使用されてもよい。

【0060】

図３を参照して、数学モデル構築処理について説明する。ＣＰＵ３は、眼科画像撮影装置１１Ａによって撮影された眼科画像３０を、入力用訓練データとして取得する（Ｓ１）。本実施形態では、眼科画像３０のデータは、眼科画像撮影装置１１Ａによって生成された後、数学モデル構築装置１によって取得される。しかし、ＣＰＵ３は、眼科画像３０を生成する基となる信号（例えば、受光素子による受光信号等）を眼科画像撮影装置１１Ａから取得し、取得した信号に基づいて眼科画像３０を生成することで、眼科画像３０のデータを取得してもよい。

【0061】

次いで、ＣＰＵ３は、眼科画像３０が撮影された被検眼の、構造および疾患の少なくともいずれか（本実施形態では、構造の１つである眼底血管）を示すデータを、出力用訓練データとして取得する（Ｓ２）。前述したように、本実施形態における出力用訓練データは、眼科画像３０における動脈および静脈の少なくともいずれかを示す血管画像４０Ａ，４０Ｂである。

【0062】

次いで、ＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する（Ｓ３）。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

【0063】

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。

【0064】

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。

【0065】

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。

【0066】

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。

【0067】

数学モデルは、例えば、入力データ（本実施形態では、訓練用眼科画像と同様の眼科画像のデータ）と、出力データ（本実施形態では、眼底血管に関する解析結果のデータ）の関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。前述したように、訓練データセットは、入力用訓練データと出力用訓練データのセットである。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。

【0068】

本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したい解析結果のデータを生成するための出力層と、入力層と出力層の間の１つ以上の隠れ層を含む。各層には、複数のノード（ユニットとも言われる）が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）が用いられている。

【0069】

なお、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）が、機械学習アルゴリズムとして採用されてもよい。

【0070】

数学モデルの構築が完了するまで（Ｓ４：ＮＯ）、Ｓ１～Ｓ３の処理が繰り返される。数学モデルの構築が完了すると（Ｓ４：ＹＥＳ）、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置２１（他の実施形態では、眼科画像撮影装置１１Ｂ）に組み込まれる。

【0071】

（確信度と解析適正度の相関）
図４および図５を参照して、数学モデルによって実行される眼科画像の解析の確信度と、眼科画像の解析適正度の関係について説明する。確信度は、数学モデルを用いて行われる予測の確からしさの度合いを示す。前述したように、確信度は、解析の確実性の高さであってもよいし、確実性の低さ（不確実性）の逆数等であってもよい。従って、例えば「確実性が高い」の用語は、「不確実性が低い」の用語と同義である。

【0072】

前述したように、本実施形態で使用される数学モデルは、眼科画像に対する解析結果として、眼科画像中の組織を識別するための確率分布を出力する。数学モデルの出力に対し、各画素でエントロピーを計算することで、各画素の確実性または不確実性の分布を示す確信度マップが得られる。つまり、確信度マップは、眼科画像を構成する各画素に対して数学モデルによって実行された解析の、確信度の分布を示す情報と表現できる。下記では、眼科画像の画像領域内の各画素における確信度の平均値と、眼科画像の解析適正度の関係について考察を行う。

【0073】

眼科画像の解析対象としての適正度には、眼科画像の画質だけでなく、画質以外の要因も影響し得る。従って、眼科画像の特定のパラメータのみ（例えば画質のみ）に基づいて、眼科画像の解析適正度を判定しても、高い精度は得られ難い。また、前述したように、眼科画像の解析適正度を判定するための数学モデルを構築することは、非現実的である。従って、眼科画像の解析適正度を、より容易且つ適切に判定できることが望ましい。

【0074】

ここで、本願発明の発明者は、数学モデルによって実行される眼科画像の解析の確信度と、眼科画像の解析適正度の相関に着目した。つまり、数学モデルでは、訓練に用いられた眼科画像（例えば、図２に示す眼科画像３０）に近似する眼科画像が入力されると、眼科画像の解析の確信度が高くなる傾向がある。一方で、訓練に用いられた眼科画像に近似しない眼科画像が数学モデルに入力されると、眼科画像の解析の確信度が低くなる傾向がある。ここで、眼科画像の解析を行う数学モデルを構築する場合、解析適正度が高い眼科画像が数学モデルの訓練に用いられやすい。従って、解析適正度が高い眼科画像が解析対象として数学モデルに入力されると、解析の確信度は高くなり易い。よって、各々の眼科画像の解析適正度と確信度の相関は高くなる。

【0075】

図４は、複数の眼科画像に対して数学モデルによる解析（本実施形態では眼底血管の解析）を実行した場合の、確信度情報と頻度の関係を示すグラフである。詳細には、図４における横軸は、確信度情報の一種である不確実性（Ｕｎｃｅｒｔａｉｎｔｙ）を示す。詳細には、図４における不確実性は、眼科画像を構成する各画素のうち、眼底血管組織である確率の方が高いと解析された複数の画素（本実施形態では、「（動脈である確率＋静脈である確率）＞背景である確率」となった複数の画素）についての不確実性の平均値である。また、図４における縦軸は、不確実性毎の眼科画像の数（頻度）を示す。図５は、図４に示す解析において確信度（確実性の高さ）が下位１５位以内となった眼科画像を列挙した図である。

【0076】

図４に示すように、複数の眼科画像に対する解析を行った結果、不確実性が約０．３～約０．８となる範囲に頻度のピークが表れた。ピークに含まれる眼科画像を確認すると、いずれも解析に適した画像であった。一方で、図５に例示するように、解析の不確実性が高かった眼科画像（つまり、解析の確実性が低かった眼科画像）を確認すると、いずれの眼科画像も、画質の不良および疾患の写り込み等の種々の影響で解析に適していない画像であった。

【0077】

以上のように、数学モデルによって実行される眼科画像の解析の確信度と、眼科画像の解析適正度の相関は高くなる。従って、本実施形態では、眼科画像に対して数学モデルによって実行された解析の確信度情報に基づいて、眼科画像の解析適正度が判定される。その結果、種々の要素が影響する解析適正度が、適切に判定される。例えば、図４を参照すると、解析が適切に行われるか否かを適切に区分け可能な不確実性の閾値として、約１．０（例えば、約０．９～約１．１）を用いることで、眼科画像が解析に適しているか否かを判定することも可能である。

【0078】

（解析適正度判定処理）
図６を参照して、眼科画像処理装置２１が実行する解析適正度判定処理について説明する。図６に例示する解析適正度判定処理は、記憶装置２４に記憶された眼科画像処理プログラムに従って、眼科画像処理装置２１のＣＰＵ２３によって実行される。

【0079】

まず、ＣＰＵ２３は、眼科画像撮影装置（本実施形態では眼底カメラ）１１Ｂによって撮影された被検眼の眼科画像を取得する（Ｓ１）。Ｓ１で取得される眼科画像は、数学モデルを訓練する際に入力用訓練データとして使用された眼科画像３０（図２参照）と同じ種類の画像（つまり、同種の眼科画像撮影装置によって撮影された画像）である。

【0080】

次いで、ＣＰＵ２３は、機械学習アルゴリズムによって訓練された数学モデルに、Ｓ１で取得した眼科画像を入力する（Ｓ２）。前述したように、数学モデルは、入力された眼科画像に写る被検眼の特定の構造および疾患の少なくともいずれかに対する解析を実行する。詳細には、本実施形態の数学モデルは、眼科画像中の組織を識別するための確率分布を出力する。本実施形態では、数学モデルは、被検眼の眼底血管の解析（本実施形態における第１の解析）を実行する。

【0081】

ＣＰＵ２３は、解析に付随する確信度情報を取得する（Ｓ３）。確信度情報は、数学モデルによって出力された確率分布に基づいて得られる。前述したように、本実施形態では、各画素の確実性または不確実性の分布を示す確信度マップの、特定の領域における平均値が、確信度情報として算出される。次いで、ＣＰＵ２３は、Ｓ３で取得した確信度情報が条件を満たすか否かを判断する（Ｓ４）。一例として、本実施形態では、ＣＰＵ２３は、画像領域内の特定の領域における確信度（確実性の高さ）の平均値が閾値以上であるか否かを判断する（または、不確実性の平均値が閾値以下であるか否かを判断する）ことで、確信度情報が条件を満たすか否かを判断する。閾値は、眼科画像に対する解析が適正に行われるか否かを適切に区分け可能な値に設定されている。

【0082】

なお、本実施形態のＳ４では、Ｓ１で取得された眼科画像の画像領域全体のうち、一部の注目領域内の確信度情報（本実施形態では、注目領域内の確信度の平均値）に基づいて、眼科画像の解析適正度が判定される。その結果、解析に必要な注目領域内の確信度情報のみが参照されるので、解析適正度の判定精度が向上する。詳細には、本実施形態では、数学モデルによって特定の組織（眼底血管組織）である確率の方が高いと解析された画素（「（動脈である確率＋静脈である確率）＞背景である確率」となった画素）からなる領域が、注目領域とされる。その結果、解析が容易な領域（本実施形態では、血管が存在しない背景領域）が除外された状態で、領域内の確信度の平均値が算出されるので、解析適正度と確信度の平均値の相関がさらに高くなる。ただし、画像領域内の任意の領域に注目領域が設定されてもよい。また、画像領域内の一部の任意の領域であり、且つ、特定の組織である確率の方が高いと解析された領域が、注目領域とされてもよい。この場合、解析適正度の判定精度はさらに向上する。また、眼科画像の画像領域全体の確信度情報が参照されてもよい。

【0083】

Ｓ１で取得された眼科画像についての確信度情報が条件を満たす場合（Ｓ４：ＹＥＳ）、ＣＰＵ２３は、Ｓ１で取得された眼科画像の解析適正度は良好と判定し、眼科画像に対する第２の解析を実行する（Ｓ７）。つまり、ＣＰＵ２３は、Ｓ２において数学モデルによって実行される第１の解析よりも後に、Ｓ４における解析適正度の判定結果に応じて、眼科画像に対する第２の解析を実行する（Ｓ７）。従って、解析適正度が高い眼科画像に対して、第２の解析が適切に実行される。

【0084】

なお、本実施形態では、Ｓ２において数学モデルによって実行される第１の解析の対象組織と、Ｓ７において実行される第２の解析の対象組織は同一である。この場合、第２の解析における解析適正度は、第２の解析の対象組織と同一の組織に対して第１の解析が実行されることで判定される。従って、第１の解析の対象と第２の解析の対象が異なる場合に比べて、より高い精度で眼科画像の解析適正度が判定される。

【0085】

一例として、本実施形態では、第１の解析の内容（眼底血管組織の解析）と、第２の解析（被検者の動脈硬化の程度、血圧、および年齢の少なくともいずれかの解析）は異なる。ただし、第２の解析を実行する場合、第１の解析の内容と第２の解析の内容は、同じであってもよい。

【0086】

確信度情報が条件を満たさない場合（つまり、眼科画像の解析適正度が良好でないと判定された場合）には（Ｓ４：ＮＯ）、ＣＰＵ２３は、Ｓ１で取得した眼科画像を解析対象から除外する（Ｓ８）。

【0087】

なお、眼科画像の解析適正度を判定するための具体的な方法を変更することも可能である。例えば、ＣＰＵ２３は、眼科画像の解析適正度が良好であるか否かを二段階で判定せずに、多段階で（例えば、解析適正度を示すスコアを生成することで）判定してもよい。また、ＣＰＵ２３は、画像領域全体における複数の注目領域の各々の確信度情報に基づいて、眼科画像の解析適正度を別々に判定してもよい。ＣＰＵ２３は、解析適正度が高い領域に対する第２の解析を行い、解析適正度が低い領域に対する第２の解析は省略してもよい。

【0088】

また、前述したように、眼科画像撮影装置１１が眼科画像の解析適正度を判定することも可能である。この場合、眼科画像撮影装置１１が実行するプログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。以下では、眼科画像撮影装置１１が眼科画像の解析適正度を判定するための第１撮影制御処理～第３撮影制御処理について説明を行う。

【0089】

（第１撮影制御処理）
図７を参照して、第１変形例の眼科画像撮影装置１１が実行する第１撮影制御処理について説明する。まず、ＣＰＵ１３は、眼科画像撮影部１６によって被検眼の眼科画像を撮影し、データを取得する（Ｓ１１）。ＣＰＵ１３は、機械学習アルゴリズムによって訓練された数学モデルに、Ｓ１１で撮影された眼科画像を入力する（Ｓ１２）。また、ＣＰＵ１３は、解析に付随する確信度情報を取得する（Ｓ１３）。

【0090】

ＣＰＵ１３は、Ｓ１３において取得された確信度情報に基づいて、Ｓ１１で撮影された眼科画像の解析適正度を判定する（Ｓ１４）。前述したように、解析適正度は２段階で判定されてもよいし、多段階で判定されてもよい。次いで、ＣＰＵ１３は、Ｓ１４で行った解析適正度の判定結果を報知する（Ｓ１５）。その結果、ユーザは、撮影された眼科画像の解析適正度を適切に把握することができる。

【0091】

また、ＣＰＵ１３は、Ｓ１４で判定された解析適正度が条件を満たすか否か（もしくは、Ｓ１３で取得された確信度情報が条件を満たすか否か）を判断する（Ｓ１６）。解析適正度が条件を満たさない場合（例えば、画像領域内の確信度の平均値が閾値未満である場合）には（Ｓ１６：ＮＯ）、処理はＳ１１へ戻り、被検眼の再撮影が行われる。その結果、解析に適した眼科画像が撮影される可能性が向上する。解析適正度が条件を満たす場合（例えば、確信度の平均値が閾値以上である場合）には（Ｓ１６：ＹＥＳ）、処理はそのまま終了する。

【0092】

（第２撮影制御処理）
図８を参照して、第２変形例の眼科画像撮影装置１１が実行する第２撮影制御処理について説明する。なお、第２撮影制御処理を実行する眼科画像撮影装置１１は、同一の被検眼の組織について、仮の眼科画像である観察用眼科画像と、正式な解析対象とされる解析用眼科画像の両方を撮影することができる。一例として、第２変形例の眼科画像撮影装置１１は、赤外線カメラによって被検眼の眼底の観察用眼科画像を連続して撮影すると共に、可視光によって眼底の解析用眼科画像を撮影することができる。

【0093】

図８に示すように、ＣＰＵ１３は、眼科画像撮影部１６によって被検眼の観察用眼科画像を撮影し、データを取得する（Ｓ２１）。ＣＰＵ１３は、機械学習アルゴリズムによって訓練された数学モデルに、Ｓ２１で撮影された観察用眼科画像を入力する（Ｓ２２）。また、ＣＰＵ１３は、解析に付随する確信度情報を取得する（Ｓ２３）。

【0094】

次いで、ＣＰＵ１３は、Ｓ２１で撮影された観察用眼科画像の解析適正度が条件を満たすか否か（もしくは、Ｓ２３で取得された確信度情報が条件を満たすか否か）を判断する（Ｓ２４）。観察用眼科画像の解析適正度が条件を満たさない場合（例えば、画像領域内の確信度の平均値が閾値未満である場合）には（Ｓ２４：ＮＯ）、解析に適した眼科画像を撮影する条件が整っていない可能性が高い。従って、処理はＳ２１へ戻り、Ｓ２１～Ｓ２４の処理が繰り返される。観察用眼科画像の解析適正度が条件を満たす場合（Ｓ２４：ＹＥＳ）、ＣＰＵ１３は、眼科画像撮影部１６によって被検眼の解析用眼科画像を撮影する（Ｓ２５）。その結果、解析に適した眼科画像を撮影する条件が満たされたタイミングで、解析用眼科画像が適切に撮影される。

【0095】

（第３撮影制御処理）
図９を参照して、第３変形例の眼科画像撮影装置１１が実行する第３撮影制御処理について説明する。なお、第３撮影制御処理を実行する眼科画像撮影装置１１は、同一の被検眼の同一の部位を連続して撮影し、撮影された複数の眼科画像を加算平均処理することで、加算平均画像を取得することができる。一般的に、加算平均処理に用いられる眼科画像の数が増加する程、加算平均画像の解析適正度は高くなり易い。一例として、第３変形例の眼科画像撮影装置１１は、上記実施形態で例示した眼底カメラとは異なり、被検眼の組織の画像（例えば、眼底組織の断層画像等）を撮影することが可能なＯＣＴ装置である。

【0096】

図９に示すように、ＣＰＵ１３は、眼科画像撮影部１６によって被検眼の所定部位の眼科画像を撮影し、データを取得する（Ｓ３１）。次いで、ＣＰＵ１３は、同一の所定部位について撮影された複数の眼科画像を加算平均処理することで、加算平均画像を取得する（Ｓ３２）。ＣＰＵ１３は、機械学習アルゴリズムによって訓練された数学モデルに、Ｓ３２で取得された加算平均画像を入力する（Ｓ３３）。また、ＣＰＵ１３は、解析に付随する確信度情報を取得する（Ｓ３４）。

【0097】

次いで、ＣＰＵ１３は、Ｓ３２で取得された加算平均画像の解析適正度が条件を満たすか否か（もしくは、Ｓ３４で取得された確信度情報が条件を満たすか否か）を判断する（Ｓ３５）。加算平均画像の解析適正度が条件を満たさない場合（例えば、画像領域内の確信度の平均値が閾値未満である場合）には（Ｓ３５：ＮＯ）、解析に適した加算平均画像は未だに得られていない可能性が高い。従って、処理はＳ３１へ戻り、Ｓ３１～Ｓ３５の処理が繰り返される。加算平均画像の解析適正度が条件を満たす場合（Ｓ３５：ＹＥＳ）、最新の加算平均画像が解析用の画像として記憶されて（Ｓ３６）、加算平均処理は終了する。その結果、解析に適した加算平均画像が適切に取得（撮影）される。

【0098】

上記実施形態および変形例で開示された技術は一例に過ぎない。従って、上記実施形態および変形例で例示された技術を変更することも可能である。例えば、上記実施形態および変形例で例示された複数の技術のうちの一部のみを実行することも可能である。また、上記実施形態および変形例の各々で例示した技術を組み合わせて実行することも可能である。

【0099】

なお、図６のＳ１、図７のＳ１１、図８のＳ２１、および図９のＳ３１で眼科画像を取得する処理は、「画像取得ステップ」の一例である。図７のＳ１１、図８のＳ２１、および図９のＳ３１で眼科画像を撮影する処理は、「画像撮影ステップ」の一例である。図６のＳ２、図７のＳ１２、図８のＳ２２、および図９のＳ３３で眼科画像を数学モデルに入力する処理は、「画像入力ステップ」の一例である。図６のＳ３、図７のＳ１３、図８のＳ２３、および図９のＳ３４で確信度情報を取得する処理は、「確信度情報取得ステップ」の一例である。図６のＳ４、図７のＳ１４，Ｓ１６、図８のＳ２４、および図９のＳ３５で解析適正度を判定する処理は、「判定ステップ」の一例である。図７のＳ１３で判定結果を報知する処理は、「報知ステップ」の一例である。図７のＳ１６において、解析適正度が条件を満たさなかった場合に再撮影を実行する処理は、「再撮影ステップ」の一例である。図９のＳ３２で加算平均画像を取得する処理は、「加算平均ステップ」の一例である。

【符号の説明】

【0100】

１１Ａ，１１Ｂ 眼科画像撮影装置
１３Ａ，１３Ｂ ＣＰＵ
１４Ａ，１４Ｂ 記憶装置
１６Ａ，１６Ｂ 眼科画像撮影部
２１ 眼科画像処理装置
２３ ＣＰＵ
２４ 記憶装置
３０ 眼科画像
４０Ａ，４０Ｂ 血管画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】