特開 2023-50531 眼底画像処理装置および眼底画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023050531

(43)【公開日】2023-04-11

(54)【発明の名称】眼底画像処理装置および眼底画像処理プログラム

(51)【国際特許分類】

   A61B 3/10 20060101AFI20230404BHJP

   A61B 3/12 20060101ALI20230404BHJP

   G06T 7/70 20170101ALI20230404BHJP

   G06T 7/00 20170101ALI20230404BHJP

【ＦＩ】

A61B3/10 100

A61B3/12

G06T7/70 A

G06T7/00 350B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021160684

(22)【出願日】2021-09-30

(71)【出願人】

【識別番号】000135184

【氏名又は名称】株式会社ニデック

(74)【代理人】

【識別番号】100166785

【弁理士】

【氏名又は名称】大川 智也

(72)【発明者】

【氏名】柴 涼介

(72)【発明者】

【氏名】加納 徹哉

【テーマコード（参考）】

4C316

5L096

【Ｆターム（参考）】

4C316AA09

4C316AB02

4C316AB03

4C316AB04

4C316AB11

4C316AB19

4C316FB05

4C316FB06

4C316FB21

4C316FB23

4C316FB26

4C316FZ01

5L096BA06

5L096BA13

5L096DA02

5L096FA69

5L096HA08

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

【課題】眼底画像に写る乳頭の端部を、高い精度で適切に検出することが可能な眼底画像処理装置および眼底画像処理プログラムを提供する。
【解決手段】画像取得ステップでは、被検眼の眼底の三次元断層画像が取得される。基準位置設定ステップでは、三次元断層画像が撮影された二次元の測定領域のうち乳頭の領域内に、基準位置ＲＰが設定される。ラジアルパターン設定ステップでは、二次元の測定領域に対し、基準位置ＲＰを中心として放射状に広がるラジアルパターン６０が設定される。画像抽出ステップでは、三次元断層画像から、設定されたラジアルパターン６０の複数のライン６１の各々における二次元断層画像が抽出される。乳頭端部検出ステップでは、抽出された複数の二次元断層画像に基づいて、三次元断層画像に写る乳頭の端部の位置が検出される。
【選択図】図１０

【特許請求の範囲】

【請求項1】

ＯＣＴ装置によって撮影された被検眼の眼底の断層画像を処理する眼底画像処理装置であって、
前記画像処理装置の制御部は、
ＯＣＴ測定光の光軸に交差する方向に広がる二次元の測定領域に、前記測定光が照射されることで撮影された、被検眼の眼底の三次元断層画像を取得する画像取得ステップと、
前記三次元断層画像が撮影された前記二次元の測定領域のうち乳頭の領域内に、基準位置を設定する基準位置設定ステップと、
前記二次元の測定領域に対し、前記基準位置を中心として放射状に広がるラインパターンであるラジアルパターンを設定するラジアルパターン設定ステップと、
前記三次元断層画像から、設定された前記ラジアルパターンの複数のラインの各々における二次元断層画像を抽出する画像抽出ステップと、
抽出された複数の前記二次元断層画像に基づいて、前記三次元断層画像に写る前記乳頭の端部の位置を検出する乳頭端部検出ステップと、
を実行することを特徴とする眼底画像処理装置。

【請求項2】

請求項１に記載の眼底画像処理装置であって、
前記制御部は、
前記三次元断層画像、または、前記抽出ステップにおいて抽出された前記二次元断層画像に対し、ＯＣＴ測定光の光軸に沿う方向における像の位置合わせを実行する位置合わせステップをさらに実行し、
前記乳頭端部検出ステップでは、像の位置合わせが実行された状態の前記二次元断層画像に基づいて、前記乳頭の端部の位置を検出することを特徴とする眼底画像処理装置。

【請求項3】

請求項１または２に記載の眼底画像処理装置であって、
前記制御部は、
前記眼底の画像に基づいて、前記二次元の測定領域における前記乳頭の位置を自動検出する乳頭位置検出ステップをさらに実行し、
前記基準位置設定ステップでは、自動検出された前記乳頭の位置に前記基準位置を設定することを特徴とする眼底画像処理装置。

【請求項4】

請求項１から３のいずれかに記載の眼底画像処理装置であって、
前記制御部は、前記乳頭端部検出ステップにおいて、
機械学習アルゴリズムによって訓練されており、且つ、入力された二次元断層画像に写る乳頭の端部の検出結果を出力する数学モデルに、前記画像抽出ステップにおいて抽出された複数の前記二次元断層画像を入力し、複数の前記二次元断層画像の各々に写る前記乳頭の端部の位置を取得することで、前記乳頭の端部の位置を検出することを特徴とする眼底画像処理装置。

【請求項5】

請求項１から４のいずれかに記載の眼底画像処理装置であって、
前記制御部は、前記乳頭端部検出ステップにおいて、
複数の前記二次元断層画像に基づいて検出された複数の位置の検出結果に対して平滑化処理を行うことで、前記乳頭の環状の端部の位置を検出することを特徴とする眼底画像処理装置。

【請求項6】

請求項１から５のいずれかに記載の眼底画像処理装置であって、
前記制御部は、
前記乳頭端部検出ステップにおいて検出された前記乳頭の端部の位置に基づいて、前記乳頭の中心位置を特定する乳頭中心特定ステップをさらに実行することを特徴とする眼底画像処理装置。

【請求項7】

請求項６に記載の眼底画像処理装置であって、
前記制御部は、
前記乳頭中心特定ステップにおいて特定した前記乳頭の中心位置を、前記基準位置設定ステップにおける前記基準位置の設定位置として、前記基準位置設定ステップ、前記ラジアルパターン設定ステップ、前記画像抽出ステップ、および前記乳頭端部検出ステップを再度実行することを特徴とする眼底画像処理装置。

【請求項8】

請求項６または７に記載の眼底画像処理装置であって、
前記乳頭中心特定ステップにおいて特定した前記乳頭の中心位置を中心とする環状のラインパターンにおける二次元断層画像を、前記三次元断層画像から抽出する環状抽出ステップと、
前記環状抽出ステップにおいて抽出された前記二次元断層画像に関する情報を出力する出力ステップと、
をさらに実行することを特徴とする眼底画像処理装置。

【請求項9】

ＯＣＴ装置によって撮影された被検眼の眼底の断層画像を処理する眼底画像処理装置によって実行される眼底画像処理プログラムであって、
前記眼底画像処理プログラムが前記眼底画像処理装置の制御部によって実行されることで、
ＯＣＴ測定光の光軸に交差する方向に広がる二次元の測定領域に、前記測定光が照射されることで撮影された、被検眼の眼底の三次元断層画像を取得する画像取得ステップと、
前記三次元断層画像が撮影された前記二次元の測定領域のうち乳頭の領域内に、基準位置を設定する基準位置設定ステップと、
前記二次元の測定領域に対し、前記基準位置を中心として放射状に広がるラインパターンであるラジアルパターンを設定するラジアルパターン設定ステップと、
前記三次元断層画像から、設定された前記ラジアルパターンの複数のラインの各々における二次元断層画像を抽出する画像抽出ステップと、
抽出された複数の前記二次元断層画像に基づいて、前記三次元断層画像に写る前記乳頭の端部の位置を検出する乳頭端部検出ステップと、
を前記眼底画像処理装置に実行させることを特徴とする眼底画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被検眼の眼底画像の処理に使用される眼底画像処理装置、および眼底画像処理プログラムに関する。

【背景技術】

【0002】

近年、被検眼の眼底画像を解析することで、眼底における特定の部位を識別する技術が提案されている。例えば、特許文献１に記載の眼科撮影装置は、被検眼眼底の正面画像に対して画像処理（エッジ検出またはハフ変換等）を行うことで、正面画像に写る眼底の視神経乳頭（以下、単に「乳頭」という場合もある）の位置を検出する。

【先行技術文献】

【非特許文献】

【0003】

【特許文献1】特開２０１８－８３１０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

眼底の正面画像によると、乳頭の大体の位置を検出することは可能であるが、乳頭の端部の位置を高い精度で検出することは困難である。ここで、眼底の三次元断層画像を構成する複数の二次元断層画像から、乳頭の端部の位置を検出することも考えられる。この場合、眼底の三次元断層画像を構成する複数の二次元断層画像には、乳頭が写る画像と、乳頭が写らない画像が混在する。従って、乳頭が写らない二次元断層画像から、乳頭の端部が誤って検出されてしまう場合がある。また、眼底の三次元断層画像を構成する複数の二次元断層画像を処理する場合、処理量も増大する。以上のように、眼底画像に写る乳頭の端部を、高い精度で適切に検出することは、従来の技術では困難であった。

【0005】

本開示の典型的な目的は、眼底画像に写る乳頭の端部を、高い精度で適切に検出することが可能な眼底画像処理装置および眼底画像処理プログラムを提供することである。

【課題を解決するための手段】

【0006】

本開示における典型的な実施形態が提供する眼底画像処理装置は、ＯＣＴ装置によって撮影された被検眼の眼底の断層画像を処理する眼底画像処理装置であって、前記画像処理装置の制御部は、ＯＣＴ測定光の光軸に交差する方向に広がる二次元の測定領域に、前記測定光が照射されることで撮影された、被検眼の眼底の三次元断層画像を取得する画像取得ステップと、前記三次元断層画像が撮影された前記二次元の測定領域のうち乳頭の領域内に、基準位置を設定する基準位置設定ステップと、前記二次元の測定領域に対し、前記基準位置を中心として放射状に広がるラインパターンであるラジアルパターンを設定するラジアルパターン設定ステップと、前記三次元断層画像から、設定された前記ラジアルパターンの複数のラインの各々における二次元断層画像を抽出する画像抽出ステップと、抽出された複数の前記二次元断層画像に基づいて、前記三次元断層画像に写る前記乳頭の端部の位置を検出する乳頭端部検出ステップと、を実行する。

【0007】

本開示における典型的な実施形態が提供する眼底画像処理プログラムは、ＯＣＴ装置によって撮影された被検眼の眼底の断層画像を処理する眼底画像処理装置によって実行される眼底画像処理プログラムであって、前記眼底画像処理プログラムが前記眼底画像処理装置の制御部によって実行されることで、ＯＣＴ測定光の光軸に交差する方向に広がる二次元の測定領域に、前記測定光が照射されることで撮影された、被検眼の眼底の三次元断層画像を取得する画像取得ステップと、前記三次元断層画像が撮影された前記二次元の測定領域のうち乳頭の領域内に、基準位置を設定する基準位置設定ステップと、前記二次元の測定領域に対し、前記基準位置を中心として放射状に広がるラインパターンであるラジアルパターンを設定するラジアルパターン設定ステップと、前記三次元断層画像から、設定された前記ラジアルパターンの複数のラインの各々における二次元断層画像を抽出する画像抽出ステップと、抽出された複数の前記二次元断層画像に基づいて、前記三次元断層画像に写る前記乳頭の端部の位置を検出する乳頭端部検出ステップと、を前記眼底画像処理装置に実行させる。

【0008】

本開示に係る眼底画像処理装置および眼底画像処理プログラムによると、眼底画像に写る乳頭の端部が、高い精度で適切に検出される。

【図面の簡単な説明】

【0009】

【図1】数学モデル構築装置１０１、眼底画像処理装置１、およびＯＣＴ装置１０Ａ，１０Ｂの概略構成を示すブロック図である。

【図2】ＯＣＴ装置１０の概略構成を示すブロック図である。

【図3】三次元断層画像の撮影方法の一例を説明するための説明図である。

【図4】二次元断層画像４２の一例を示す図である。

【図5】三次元断層画像４３および二次元正面画像４５の一例を示す図である。

【図6】眼底における層・境界の構造を模式的に示す図である。

【図7】数学モデル構築装置１０１が実行する数学モデル構築処理のフローチャートである。

【図8】眼底画像処理装置１が実行する眼底画像処理のフローチャートである。

【図9】像の位置合わせ処理の一例を説明するための説明図である。

【図10】二次元の測定領域に、基準位置ＲＰとラジアルパターン６０が設定された状態を示す図である。

【図11】ラジアルパターンに従って抽出された二次元断層画像６４と、二次元断層画像６４に対して出力されたＢＭＯの確率マップ６５を比較した図である。

【図12】ユーザによって指示された位置を、乳頭の端部の位置として検出する方法を説明するための説明図である。

【図13】検出された環状のＢＭＯの位置７０が重畳表示された二次元正面画像の一例を示す図である。

【図14】二次元断層画像７５Ｒ，７５Ｌと層厚グラフ７６Ｒ，７６Ｌの表示方法の一例を示す図である。

【図15】眼底画像処理装置１が実行する部位識別処理のフローチャートである。

【図16】数学モデルに入力される二次元断層画像４２と、二次元断層画像４２中の一次元領域Ａ１～ＡＮの関係を模式的に示す図である。

【図17】乖離度に基づいて第２の部位を識別する方法の一例を説明するための説明図である。

【図18】ＢＭＯ８５の位置に基づいてＣｕｐ８７の位置を検出する方法の一例を説明するための説明図である。

【発明を実施するための形態】

【0010】

＜概要＞
（第１態様）
本開示で例示する眼底画像処理装置の制御部は、画像取得ステップ、乖離度取得ステップ、および部位識別ステップを実行する。画像取得ステップでは、制御部は、眼底画像撮影装置によって撮影された眼底画像を取得する。乖離度取得ステップでは、制御部は、機械学習アルゴリズムによって訓練された数学モデルに眼底画像を入力することで、眼底画像に写る眼底の第１の部位を識別するための確率分布を取得し、第１の部位が正確に識別される場合の確率分布に対する、取得された確率分布の乖離度を取得する。部位識別ステップでは、制御部は、眼底のうち第１の部位とは異なる第２の部位を、乖離度に基づいて識別する。

【0011】

眼底では、第２の部位が存在する位置と、第２の部位が存在しない位置の間で、第１の部位の状態が変化する場合がある。例えば、乳頭（第２の部位）が存在する位置と、乳頭が存在しない位置（例えば、乳頭の周囲等）の間では、眼底の層および境界の少なくともいずれか（第１の部位）の状態が異なる。一般的に、乳頭の周囲では複数の層および境界が正常に存在するが、乳頭の位置では特定の層および境界が欠落している。

【0012】

ここで、第１の部位と第２の部位が共に写る眼底画像を、第１の部位を識別するための数学モデルに入力する場合を想定する。この場合、第１の部位が存在する位置では、当然ながら第１の部位が正確に識別され易いので、乖離度が小さくなり易い。一方で、第２の部位が存在する位置において第１の部位が欠落していると、乖離度が大きくなり易い。眼の疾患の有無等に関わらず、この傾向は表れやすい。

【0013】

以上の知見に基づき、本開示の眼底画像処理装置の制御部は、第１の部位を識別するための数学モデルに眼底画像を入力した際の、確率分布の乖離度に基づいて、第２の部位を識別する。その結果、眼の疾患の有無等に関わらず、第２の部位の識別精度が向上する。

【0014】

乖離度について、さらに説明する。数学モデルによって第１の部位が高い精度で識別される場合には、取得される確率分布が偏り易くなる。一方で、数学モデルによる第１の部位の識別精度が低い場合、取得される確率分布が偏り難くなる。従って、第１の部位が正確に識別される場合の確率分布と、実際に取得される確率分布の乖離度は、第１の部位の状態に応じて変化する。よって、本開示の眼底画像処理装置によると、第２の部位が存在する位置と、第２の部位が存在しない位置の間で、第１の部位の状態が変化する場合に、乖離度を用いることで、疾患の有無等に関わらず高い精度で第２の部位が識別される。

【0015】

なお、乖離度は、数学モデルによって出力されてもよい。また、制御部が、数学モデルによって出力された確率分布に基づいて乖離度を算出してもよい。

【0016】

乖離度は、眼底画像に対して数学モデルによって実行された第１の部位の識別の不確信度（ｕｎｃｅｒｔａｉｎｔｙ）と表現することもできる。また、数学モデルによる識別の確実性の高さ（確信度）の逆数等を、乖離度として用いる場合でも、同様の結果が得られる。

【0017】

乖離度には、取得された確率分布のエントロピー（平均情報量）が含まれていてもよい。エントロピーは、不確実性、乱雑さ、無秩序の度合いを表す。本開示では、第１の部位が正確に識別される場合に出力される確率分布のエントロピーは０となる。また、第１の部位の識別が困難になる程、エントロピーは増大する。

【0018】

ただし、エントロピー以外の値が乖離度として採用されてもよい。例えば、取得された確率分布の散布度を示す標準偏差、変動係数、分散等の少なくともいずれかが乖離度として使用されてもよい。確率分布同士の差異を図る尺度であるＫＬダイバージェンス等が乖離度として使用されてもよい。また、取得された確率分布の最大値が乖離度として使用されてもよい。

【0019】

乖離度取得ステップでは、眼底画像に写る眼底における複数の層および境界のうちの少なくともいずれかを第１の部位として、乖離度を取得してもよい。つまり、第１の部位は、眼底における複数の層および層の境界の少なくともいずれか（以下、「層・境界」という場合もある）であってもよい。前述したように、第２の部位が存在する位置と、第２の部位が存在しない位置の間で、眼底の層および境界の少なくともいずれか（第１の部位）の状態が異なる場合がある。従って、層・境界を第１の部位として乖離度を取得することで、乖離度に基づいて適切に第２の部位が識別され易くなる。

【0020】

ただし、眼底における層・境界以外の部位を第１の部位とすることも可能である。例えば、第２の部位が存在する位置と、第２の部位が存在しない位置の間で、眼底血管の状態が異なる場合もある。この場合、眼底血管を第１の部位として乖離度が取得されてもよい。

【0021】

第１の部位を層・境界とする場合、制御部は、部位識別ステップにおいて、眼底における乳頭（視神経乳頭）を、乖離度に基づいて第２の部位として識別してもよい。前述したように、乳頭が存在する位置と、乳頭が存在しない位置の間で、眼底の層および境界の少なくともいずれかの状態が異なる。従って、層・境界を第１の部位とし、乳頭を第２の部位とすることで、乖離度に基づいて適切に乳頭が検出される。

【0022】

層・境界を第１の部位とし、乳頭を第２の部位とする場合、乖離度取得ステップでは、眼底画像に写る眼底の複数の層および境界のうち、神経線維層（ＮＦＬ）よりも深い位置の層および境界の少なくともいずれかを第１の部位として、乖離度が取得されてもよい。乳頭が存在する位置では、ＮＦＬが存在する一方で、ＮＦＬよりも深い位置の層および境界は欠落する。つまり、乳頭が存在する位置では、ＮＦＬよりも深い位置の層および境界の識別に関する乖離度は、乳頭が存在しない位置に比べて大きくなる。従って、ＮＦＬよりも深い位置の層および境界の少なくともいずれかを第１の部位とすることで、乳頭の識別精度がさらに向上する。

【0023】

また、乖離度取得ステップでは、ＮＦＬと、ＮＦＬよりも深い位置の層および境界の少なくともいずれかを、共に第１の部位として、乖離度が取得されてもよい。部位検出ステップでは、ＮＦＬよりも深い位置の層・境界の識別に関する乖離度が第１閾値よりも大きく、且つ、ＮＦＬの識別に関する乖離度が第２閾値よりも小さい部位を、乳頭として検出してもよい。この場合、疾患等の影響でＮＦＬを含む複数の層・境界が欠落している位置と、乳頭が存在する位置が、適切に区別される。よって、乳頭の識別精度がさらに向上する。

【0024】

制御部は、眼底画像取得ステップにおいて、眼底の三次元断層画像を眼底画像として取得してもよい。制御部は、基準位置設定ステップ、ラジアルパターン設定ステップ、画像抽出ステップ、および乳頭端部検出ステップをさらに実行してもよい。基準位置設定ステップでは、制御部は、三次元断層画像が撮影された二次元の測定領域のうち、部位識別ステップにおいて識別された乳頭の領域内に、基準位置を設定する。ラジアルパターン設定ステップでは、制御部は、二次元の測定領域に対し、基準位置を中心として放射状に広がるラインパターンであるラジアルパターンを設定する。画像抽出ステップでは、制御部は、三次元断層画像から、設定されたラジアルパターンの複数のラインの各々における二次元断層画像（ラジアルパターンの複数のラインの各々に交差する二次元断層画像）を抽出する。乳頭端部検出ステップでは、制御部は、抽出された複数の二次元断層画像に基づいて、三次元断層画像に写る乳頭の端部の位置を検出する。

【0025】

基準位置設定ステップにおいて、基準位置が乳頭の領域内に正しく設定されると、画像抽出ステップにおいてラジアルパターンに従って抽出される複数の二次元断層画像の全てに、乳頭が必ず含まれることになる。従って、抽出された複数の二次元断層画像に基づいて乳頭の端部の位置が検出されることで、乳頭が写らない二次元断層画像から乳頭の端部が誤って検出される可能性が低下する。また、三次元断層画像を構成する複数の二次元断層画像の全てを処理する場合に比べて、画像の処理量が過度に増大することも抑制される。よって、乖離度に基づいて実行した乳頭の部位の識別結果を利用して、さらに乳頭の端部も高い精度で検出される。

【0026】

第１の部位を層・境界とする場合、制御部は、部位識別ステップにおいて、眼底における中心窩を、乖離度に基づいて第２の部位として識別してもよい。中心窩が存在する位置と、中心窩が存在しない位置の間で、眼底の層および境界の少なくともいずれかの状態が異なる。従って、層・境界を第１の部位とし、中心窩を第２の部位とすることで、乖離度に基づいて適切に中心窩が検出される。

【0027】

層・境界を第１の部位とし、中心窩を第２の部位とする場合、乖離度取得ステップでは、眼底画像に写る眼底の複数の層および境界のうち、網膜色素上皮（ＲＰＥ）よりも網膜の表面側の層および境界の少なくともいずれかを第１の部位として、乖離度が取得されてもよい。中心窩が存在する位置では、ＲＰＥおよびブルッフ膜等が存在する一方で、ＲＰＥよりも網膜の表面側の層および境界が欠落する。つまり、中心窩が存在する位置では、ＲＰＥよりも表面側の層・境界の識別に関する乖離度は、中心窩が存在しない位置に比べて大きくなる。よって、ＲＰＥよりも網膜の表面側の層および境界の少なくともいずれかを第１の部位とすることで、中心窩の識別精度がさらに向上する。

【0028】

また、乖離度取得ステップでは、ＲＰＥおよびブルッフ膜の少なくとも一方（以下、単に「ＲＰＥ・ブルッフ膜」という）と、ＲＰＥよりも表面側の層および境界の少なくともいずれかを、共に第１の部位として、乖離度が取得されてもよい。部位検出ステップでは、ＲＰＥよりも表面側の層・境界の識別に関する乖離度が第１閾値よりも大きく、且つ、ＲＰＥ・ブルッフ膜の識別に関する乖離度が第２閾値よりも小さい部位を、中心窩として検出してもよい。この場合、疾患等の影響でＲＰＥ・ブルッフ膜を含む複数の層・境界が欠落している位置と、中心窩が存在する位置が、適切に区別される。よって、中心窩の識別精度がさらに向上する。

【0029】

なお、乖離度に基づいて識別する対象とする第２の部位は、乳頭および中心窩に限定されない。第２の部位は、眼底における乳頭および中心窩以外の部位（例えば、黄斑または眼底血管等）であってもよい。例えば、眼底血管（第２の部位）が存在する位置では、測定光が眼底血管によって遮られるため、眼底血管よりも深い位置の層・境界（第１の部位）の撮影状態が悪化する。従って、眼底血管が存在する位置では、眼底血管が存在しない位置に比べて、眼底血管よりも深い位置の層・境界の識別に関する乖離度が大きくなる。よって、制御部は、眼底血管よりも深い位置の層・境界の少なくともいずれかの識別に関する乖離度が、閾値よりも大きい部位を、眼底血管が存在する部位として識別してもよい。また、眼底画像処理装置は、眼底に存在する疾患の部位を、第２の部位として識別してもよい。

【0030】

乖離度取得ステップでは、制御部は、眼底の三次元断層画像を数学モデルに入力することで、眼底を正面から見た場合（つまり、眼底画像の撮影光の光軸に沿って眼底を見た場合）の乖離度の二次元の分布を取得してもよい。部位識別ステップでは、眼底を正面から見た場合の第２の部位の位置を、乖離度の二次元の分布に基づいて識別してもよい。この場合には、二次元の眼底画像から第２の部位の二次元の位置を識別する場合に比べて、より多くのデータに基づいて第２の部位が識別される。よって、第２の部位の識別精度がさらに向上する。

【0031】

なお、三次元断層画像から乖離度の二次元の分布を取得するための具体的な方法も、適宜選択できる。例えば、制御部は、三次元断層画像を構成する複数の二次元断層画像の各々を数学モデルに入力し、各々の二次元断層画像に関して取得された乖離度を二次元に並べることで、乖離度の二次元の分布を取得してもよい。また、制御部は、三次元断層画像の全体を纏めて数学モデルに入力することで、乖離度の二次元の分布を取得してもよい。なお、断層画像（三次元断層画像および二次元断層画像）は、例えば、ＯＣＴ装置またはシャインプルーフカメラ等の種々のデバイスによって撮影されればよい。

【0032】

ただし、制御部は、二次元の眼底画像を数学モデルに入力することで、眼底における第２の部位を識別してもよい。例えば、制御部は、眼底を正面から見た場合の二次元正面画像を、眼底血管を第１の部位として識別するための数学モデルに入力してもよい。制御部は、取得された乖離度の二次元の分布に基づいて、第２の部位（例えば乳頭等）を検出してもよい。二次元正面画像は、眼底カメラによって撮影された画像、レーザ走査型検眼装置（ＳＬＯ）によって撮影された画像等であってもよい。二次元正面画像は、ＯＣＴ装置によって撮影された三次元断層画像のデータに基づいて生成されるＥｎｆａｃｅ画像であってもよい。また、二次元正面画像は、同一位置から異なる時間に取得された複数のＯＣＴデータを処理することで得られるモーションコントラストデータから作成される画像（所謂「モーションコントラスト画像」）であってもよい。

【0033】

制御部は、正面画像取得ステップと補助識別結果取得ステップをさらに実行してもよい。正面画像取得ステップでは、制御部は、三次元断層画像が撮影された眼底を正面から見た場合の二次元正面画像を取得する。補助識別結果取得ステップでは、制御部は、二次元正面画像に基づいて実行された、第２の部位の識別結果である補助識別結果を取得する。乖離度と補助識別結果に基づいて第２の部位が識別されてもよい。この場合、三次元断層画像から得られる乖離度に加えて、二次元正面画像に基づく補助識別結果も考慮されるので、より適切に第２の部位が識別される。

【0034】

補助識別結果を取得するための具体的な方法は、適宜選択できる。例えば、補助識別結果は、二次元正面画像に対して画像処理を行うことで第２の部位を識別した結果であってもよい。この場合、画像処理は、眼底画像処理装置の制御部によって実行されてもよいし、他のデバイスによって実行されてもよい。また、制御部は、二次元正面画像における第２の部位の識別結果を出力する数学モデルに、正面画像取得ステップにおいて取得した二次元正面画像を入力することで、補助識別結果を取得してもよい。

【0035】

補助識別結果と乖離度に基づいて第２の部位を識別するための具体的な方法も、適宜選択できる。例えば、制御部は、画像取得ステップにおいて取得された三次元断層画像の全体から、第２の部位が含まれている可能性が高い一部分を、補助識別結果に基づいて抽出してもよい。制御部は、抽出した三次元断層画像を数学モデルに入力することで乖離度を取得し、取得した乖離度に基づいて第２の部位を識別してもよい。この場合、数学モデルによる処理量が減少するので、より効率良く第２の部位が識別される。また、制御部は、乖離度に基づく識別結果と補助識別結果を、任意の重み付けを行ったうえで足し合わせることで、第２の部位を識別してもよい。また、制御部は、乖離度に基づく識別結果と補助識別結果の差が条件を満たさない場合に、警告またはエラー等をユーザに通知してもよい。

【0036】

数学モデルは、眼底画像に写る眼底の第１の部位の識別結果と共に、第２の部位である可能性を示すスコアの分布を出力してもよい。部位識別ステップでは、乖離度とスコアの分布に基づいて、第２の部位を識別してもよい。この場合、第２の部位のスコアの分布と、眼の疾患の有無等の影響を受けにくい乖離度に基づいて、第２の部位が識別される。よって、第２の部位の識別精度がさらに向上する。

【0037】

なお、乖離度とスコアの分布の両方に基づいて第２の部位を識別するための具体的な方法も、適宜選択できる。例えば、制御部は、乖離度に基づく識別結果と、スコアの分布に基づく識別結果を足し合わせることで、第２の部位を識別してもよい。この場合、制御部は、各々の識別結果を、任意の重み付けを行ったうえで足し合わせてもよい。ただし、制御部は、第２の部位のスコアの分布を用いずに、第２の部位を識別することも可能である。

【0038】

（第２態様）

【0039】

本開示で例示する眼底画像処理装置の制御部は、画像取得ステップ、乳頭中心設定ステップ、ラジアルパターン設定ステップ、画像抽出ステップ、および乳頭端部検出ステップを実行する。画像取得ステップでは、制御部は、ＯＣＴ測定光の光軸に交差する方向に広がる二次元の測定領域に測定光が照射されることで撮影された、被検眼の眼底の三次元断層画像を取得する。基準位置設定ステップでは、制御部は、三次元断層画像が撮影された二次元の測定領域のうち乳頭の領域内に、基準位置を設定する。ラジアルパターン設定ステップでは、制御部は、二次元の測定領域に対し、基準位置を中心として放射状に広がるラインパターンであるラジアルパターンを設定する。画像抽出ステップでは、制御部は、三次元断層画像から、設定されたラジアルパターンの複数のラインの各々における二次元断層画像（ラジアルパターンの複数のラインの各々に交差する二次元断層画像）を抽出する。乳頭端部検出ステップでは、制御部は、抽出された複数の二次元断層画像に基づいて、三次元断層画像に写る乳頭の端部の位置を検出する。

【0040】

基準位置設定ステップにおいて、基準位置が乳頭の領域内に正しく設定されると、画像抽出ステップにおいてラジアルパターンに従って抽出される複数の二次元断層画像の全てに、乳頭が必ず含まれることになる。従って、抽出された複数の二次元断層画像に基づいて乳頭の端部の位置が検出されることで、乳頭が写らない二次元断層画像から乳頭の端部が誤って検出される可能性が低下する。また、三次元断層画像を構成する複数の二次元断層画像の全てを処理する場合に比べて、画像の処理量が過度に増大することも抑制される。よって、乳頭の端部が高い精度で適切に検出される。

【0041】

なお、ＯＣＴ装置によって撮影された断層画像が診断に用いられる場合、乳頭に関する情報だけでなく、網膜厚等の種々の情報も、断層画像に基づいて得られることが望ましい。ここで、ラジアルパターンの中心を乳頭の領域内としたうえで、ラジアルパターンに沿って実際に測定光を眼底に走査させて、複数の二次元断層画像を撮影することも考えられる。この場合でも、撮影された複数の二次元断層画像から、乳頭の端部の位置を検出できると思われる。しかし、ラジアルパターンに従って撮影された複数の二次元断層画像から、網膜厚等の種々の情報を得ることは困難である。これに対し、本開示の眼底画像処理装置の制御部は、画像取得ステップにおいて取得された三次元断層画像に対し、乳頭端部検出ステップに加えて、眼底の解析ステップ（例えば、網膜の特定の層の厚みの解析等）を実行してもよい。つまり、本開示の眼底画像処理装置によると、三次元断層画像を利用することで、乳頭の端部の位置を高い精度で検出できるだけでなく、眼底の解析結果を得ることも可能である。

【0042】

なお、検出の対象とする「乳頭の端部」の詳細は、適宜選択できる。例えば、ブルッフ膜開口（Ｂｒｕｃｈ‘ｓ Ｍｅｍｂｒａｎｅ Ｏｐｅｎｉｎｇ：ＢＭＯ）、視神経乳頭の辺縁、乳頭周囲網脈絡膜委縮（ＰＰＡ）等の少なくともいずれかが、乳頭の端部として検出されてもよい。

【0043】

なお、種々のデバイスが眼底画像処理装置として機能することができる。例えば、ＯＣＴ装置自身が、本開示における眼底画像処理装置として機能してもよい。また、ＯＣＴ装置との間でデータをやり取りすることが可能なデバイス（例えばパーソナルコンピュータ等）が、眼底画像処理装置として機能してもよい。複数のデバイスの制御部が協働して処理を行ってもよい。

【0044】

ＯＣＴ装置は走査部を備えていてもよい。走査部は、照射光学系によって組織に照射される測定光を、光軸に交差する二次元方向に走査させる。三次元断層画像は、測定光のスポットが走査部によって測定領域内で二次元方向に走査されることで得られてもよい。この場合、三次元断層画像がＯＣＴ装置によって適切に得られる。

【0045】

ただし、ＯＣＴ装置の構成を変更することも可能である。例えば、ＯＣＴ装置の照射光学系は、被検体の組織上の二次元の領域に測定光を同時に照射してもよい。この場合、受光素子は、組織上の二次元の領域における干渉信号を検出する二次元受光素子であってもよい。つまり、ＯＣＴ装置は、所謂フルフィールドＯＣＴ（ＦＦ－ＯＣＴ）の原理によってＯＣＴデータを取得してもよい。また、ＯＣＴ装置は、組織において一次元方向に延びる照射ライン上に測定光を同時に照射すると共に、照射ラインに交差する方向に測定光を走査させてもよい。この場合、受光素子は、一次元受光素子（例えばラインセンサ）または二次元受光素子であってもよい。つまり、ＯＣＴ装置は、所謂ラインフィールドＯＣＴ（ＬＦ－ＯＣＴ）の原理によって断層画像を取得してもよい。

【0046】

制御部は、三次元断層画像、または、抽出ステップにおいて抽出された二次元断層画像に対し、ＯＣＴ測定光の光軸に沿う方向における像の位置合わせを実行する位置合わせステップをさらに実行してもよい。制御部は、像の位置合わせが実行された状態の二次元断層画像に基づいて、乳頭の端部の位置を検出してもよい。この場合、像の位置合わせが実行されることで、環状である乳頭の端部の、ＯＣＴ測定光の光軸に沿う方向（組織の深さ方向）の位置ずれが減少する。よって、より高い精度で乳頭の端部が検出される。

【0047】

制御部は、眼底の画像に基づいて、ＯＣＴ測定光の光軸に交差する二次元の領域における乳頭の位置を自動検出する乳頭位置検出ステップをさらに実行してもよい。制御部は、自動検出された乳頭の位置に基準位置を設定してもよい。この場合、乳頭の位置の自動検出の精度が低い場合でも、検出された位置が実際の乳頭の領域内に収まっていれば、その後の乳頭端部検出ステップにおいて乳頭の端部が適切に検出される。よって、検出処理がより円滑に行われる。

【0048】

なお、乳頭位置検出ステップでは、乳頭の中心位置が検出されてもよい。この場合には、乳頭の中心以外の位置が検出されて基準位置に設定される場合に比べて、基準位置が乳頭の領域内に収まる可能性がさらに高くなる。

【0049】

眼底の画像に基づいて乳頭の位置を自動検出するための具体的な方法は、適宜選択できる。一例として、乳頭が存在する位置では、ＮＦＬが存在する一方で、ＮＦＬよりも深い位置の層および境界は欠落する。従って、機械学習アルゴリズムによって訓練された数学モデルによって、三次元断層画像に写る眼底の層および境界の少なくともいずれか（以下、単に「層・境界」という）を検出すると、乳頭の位置では、ＮＦＬよりも深い位置の層・境界に対する検出の不確実性は高くなる。従って、制御部は、ＮＦＬよりも深い位置の層・境界を数学モデルによって検出した際の不確実性に基づいて、乳頭の位置（中心位置）を自動検出してもよい。例えば、制御部は、不確実性が閾値以上となる領域を、乳頭の領域として検出し、検出した領域の中心（例えば重心等）を、乳頭の中心位置として検出してもよい。

【0050】

また、制御部は、三次元断層画像を正面（ＯＣＴ測定光の光軸に沿う方向）から見た場合の二次元正面画像に基づいて、乳頭の位置を自動検出することも可能である。例えば、制御部は、二次元正面画像に対して公知の画像処理を行うことで、乳頭の領域を検出し、検出した領域の中心を乳頭の中心位置として検出してもよい。また、制御部は、二次元正面画像に写る乳頭の位置を検出して出力する数学モデルに、二次元正面画像を入力することで、乳頭の位置（中心位置）を自動検出してもよい。なお、二次元正面画像は、画像取得ステップにおいて取得された三次元断層画像に基づいて生成される正面画像（所謂「Ｅｎｆａｃｅ画像」等）であってもよい。また、二次元正面画像は、三次元断層画像の撮影原理とは異なる原理によって撮影された画像（例えば、眼底カメラ画像、またはＳＬＯ画像等）であってもよい。

【0051】

ただし、基準位置を設定するための方法を変更することも可能である。例えば、制御部は、二次元の測定領域のうち、ユーザによって指定された位置に、基準位置を設定してもよい。つまり、ユーザが自ら基準位置を設定してもよい。この場合、ユーザの経験等に基づいて、乳頭の領域内に基準位置が設定されることで、その後の乳頭端部検出ステップにおいて乳頭の端部が適切に検出される。なお、制御部は、例えば、前述した乳頭の位置の自動検出に失敗した場合に、ユーザによって指定された位置に基準位置を設定してもよい。また、乳頭の位置の自動検出を実行することなく、ユーザに基準位置を設定させてもよい。
また、例えば、過去に検出した乳頭の位置が記憶されている場合等には、記憶されている乳頭の位置に基準位置が設定されてもよい。この場合、乳頭の位置を自動検出する処理を省略することも可能である。

【0052】

乳頭端部検出ステップでは、機械学習アルゴリズムによって訓練された数学モデルが利用されてもよい。数学モデルは、入力された二次元断層画像に写る乳頭の端部の検出結果を出力するように訓練されていてもよい。制御部は、画像抽出ステップにおいて抽出された複数の二次元断層画像を数学モデルに入力し、数学モデルが出力した乳頭の端部の位置を取得することで、乳頭の端部の位置を検出してもよい。この場合、ラジアルパターンに従って抽出された複数の二次元断層画像から、乳頭の端部の位置が自動的且つ適切に検出される。

【0053】

機械学習アルゴリズムを利用することで自動検出された乳頭の端部の位置が、ユーザによる指示に応じて補正されてもよい。例えば、制御部は、数学モデルに入力した二次元断層画像と共に、数学モデルによって出力された乳頭の端部の位置を、表示装置に表示させてもよい。制御部は、表示された乳頭の端部の位置を確認したユーザからの指示に応じて、乳頭の端部の位置を補正してもよい。この場合、乳頭の端部の自動検出の精度が低くても、ユーザによって位置が適切に補正される。よって、より高い精度で乳頭の端部が検出される。

【0054】

ただし、乳頭の端部の位置を検出するための具体的な方法を変更することも可能である。例えば、制御部は、画像抽出ステップにおいて抽出された二次元断層画像を表示装置に表示させた状態で、ユーザからの指示の入力を受け付けてもよい。制御部は、ユーザによって指示された位置を、乳頭の端部の位置として検出してもよい。前述したように、ラジアルパターンに従って適切に抽出された二次元断層画像には、乳頭が必ず含まれる。よって、ユーザは、表示された二次元断層画像を見ることで、乳頭の端部の位置を適切に入力（指示）することができる。その結果、高い精度が乳頭の端部が検出される。また、制御部は、画像抽出ステップにおいて抽出された複数の二次元断層画像に対して公知の画像処理を行うことで、乳頭の端部の位置を自動検出してもよい。

【0055】

制御部は、乳頭端部検出ステップにおいて、複数の二次元断層画像に基づいて検出された複数の位置の検出結果に対して平滑化処理を行うことで、乳頭の環状の端部の位置を検出してもよい。例えば、眼底血管の存在等の影響で、一部の二次元断層画像における乳頭の端部の位置が誤って検出される場合もあり得る。この場合、乳頭の環状の端部のうち、誤検出された位置が、正常に検出された位置から離れてしまう。これに対し、検出された複数の位置の検出結果に対して平滑化処理を行うことで、誤検出された一部の位置の影響が抑制される。よって、乳頭の環状の端部の位置が、より適切に検出される。

【0056】

制御部は、乳頭端部検出ステップにおいて検出された乳頭の端部の位置に基づいて、乳頭の中心位置を特定する乳頭中心特定ステップをさらに実行してもよい。この場合、高い精度で検出された乳頭の端部の位置に基づいて、乳頭の中心位置が特定される。よって、乳頭の中心位置が高い精度で特定される。

【0057】

検出された乳頭の端部の位置に基づいて、乳頭の中心位置を特定するための具体的な方法は、適宜選択できる。例えば、制御部は、検出された環状の乳頭の端部の重心位置を、乳頭の中心位置として特定してもよい。また、制御部は、検出された乳頭の端部に楕円をフィッティングさせると共に、フィッティングさせた楕円の中心位置を、乳頭の中心位置として特定してもよい。

【0058】

制御部は、乳頭中心特定ステップにおいて特定した乳頭の中心位置を、基準位置設定ステップにおける基準位置の設定位置として、基準位置設定ステップ、ラジアルパターン設定ステップ、画像抽出ステップ、および乳頭端部検出ステップを再度実行してもよい。基準位置が乳頭の中心位置に近くなる程、ラジアルパターンに従って抽出される複数の二次元断層画像の各々における乳頭の端部の位置が近似するので、乳頭の環状の端部の検出精度も高くなる。従って、乳頭中心特定ステップにおいて特定した乳頭の中心位置を基準位置として、乳頭の端部の位置を再度検出することで、検出の精度がさらに向上する。

【0059】

制御部は、環状抽出ステップと出力ステップをさらに実行してもよい。環状抽出ステップでは、制御部は、乳頭中心特定ステップにおいて特定した乳頭の中心位置を中心とする環状のラインパターンにおける二次元断層画像（つまり、環状のラインパターンに筒状に交差する断層画像を、二次元に変形した画像）を、三次元断層画像から抽出する。出力ステップでは、制御部は、環状抽出ステップにおいて抽出された二次元断層画像に関する情報を出力する。この場合、高い精度で検出された乳頭の中心位置を基準として、乳頭の近傍の組織の状態が適切に観察される。

【0060】

環状のラインパターンに従って抽出された二次元断層画像に関する情報を出力する場合、具体的な情報の出力方法は適宜選択できる。例えば、制御部は、抽出した二次元断層画像を表示装置に表示させてもよい。制御部は、抽出した二次元断層画像に写る網膜の、特定の層の厚み（例えば、ＮＦＬの厚み、または、ＩＬＭからＮＦＬまでの厚み等）を示すグラフを、表示装置に表示させてもよい。制御部は、患者の二次元断層画像およびグラフの少なくともいずれかを、疾患が存在しない正常眼のデータと比較して表示させてもよい。

【0061】

眼底血管が存在する位置では、乳頭の端部が断層画像に写り難いので、乳頭の端部が誤って検出される可能性が高くなる。制御部は、三次元断層画像が撮影された測定領域における眼底血管の位置の情報を取得してもよい。制御部は、ラジアルパターンのラインと眼底血管の重複量が極力減少するように、ラジアルパターンの全体の角度、ラジアルパターンに含まれる少なくともいずれかのラインの角度、ラインの長さ、ラインの数等の少なくともいずれかを調整してもよい。この場合、眼底血管の影響が減少するので、乳頭の端部の検出精度がさらに向上する。

【0062】

なお、眼底血管の位置の情報を取得する方法は、適宜選択できる。例えば、制御部は、眼底の二次元正面画像（例えば、Ｅｎｆａｃｅ画像、ＳＬＯ画像、または眼底カメラ画像等）に対して公知の画像処理を行うことで眼底血管の位置を検出してもよい。また、制御部は、機械学習アルゴリズムによって訓練された数学モデルに眼底画像（二次元正面画像または三次元断層画像等）を入力することで、数学モデルによって出力される眼底血管の検出結果を取得してもよい。また、制御部は、眼底画像を確認したユーザによる眼底血管の位置の指示を入力することで、眼底血管の位置の情報を取得してもよい。

【0063】

また、制御部は、眼底画像を確認したユーザによって入力される指示に応じて、ラジアルパターンの全体の角度、ラジアルパターンに含まれる少なくともいずれかのラインの角度、ラインの長さ、ラインの数等の少なくともいずれかを調整してもよい。この場合、ユーザは、ラジアルパターンのラインと眼底血管の重複量が極力減少するように、適切にラジアルパターンを設定することができる。

【0064】

制御部は、乳頭の端部の検出結果に基づいて、眼底の種々の構造を検出することも可能である。例えば、乳頭の端部としてＢＭＯを検出した場合、制御部は、検出したＢＭＯに基づいて、視神経乳頭陥凹（Ｃｕｐ）の位置を検出してもよい。一例として、制御部は、検出された一対のＢＭＯを通過する基準直線に平行であり、且つ基準直線から網膜の表面側に所定距離離間した直線を設定してもよい。制御部は、設定した直線と、眼底画像におけるＩＬＭ（内境界膜）が交わる位置を、Ｃｕｐの位置として検出してもよい。また、制御部は、検出したＢＭＯと、眼底画像におけるＩＬＭの間の最短距離を、神経線維層の最小厚さ（Ｍｉｎｉｍｕｍ Ｒｉｍ Ｗｉｄｔｈ）として検出してもよい。

【0065】

＜実施形態＞
（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１０１、眼底画像処理装置１、およびＯＣＴ装置（眼底画像撮影装置）１０Ａ，１０Ｂが用いられる。数学モデル構築装置１０１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された眼底画像に基づいて、眼底画像に写る特定の部位の識別または検出を行う。眼底画像処理装置１は、数学モデルが出力した結果を利用して、各種処理を実行する。ＯＣＴ装置１０Ａ，１０Ｂは、被検眼の眼底画像（本実施形態では、眼底の断層画像）を撮影する眼底画像撮影装置として機能する。

【0066】

一例として、本実施形態の数学モデル構築装置１０１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１０１は、ＯＣＴ装置１０Ａから取得した被検眼の眼底画像（以下、「訓練用眼底画像」という）のデータと、訓練用眼底画像が撮影された被検眼の第１の部位（本実施形態では乳頭の部位）を示すデータとを利用して、数学モデルを訓練させる。その結果、数学モデルが構築される。ただし、数学モデル構築装置１０１として機能できるデバイスは、ＰＣに限定されない。例えば、ＯＣＴ装置１０Ａが数学モデル構築装置１０１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、ＯＣＴ装置１０ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。

【0067】

また、本実施形態の眼底画像処理装置１にはＰＣが用いられる。しかし、眼底画像処理装置１として機能できるデバイスも、ＰＣに限定されない。例えば、ＯＣＴ装置１０Ｂまたはサーバ等が、眼底画像処理装置１として機能してもよい。ＯＣＴ装置１０Ｂが眼底画像処理装置１として機能する場合、ＯＣＴ装置１０Ｂは、眼底画像を撮影しつつ、撮影した眼底画像を処理することができる。また、タブレット端末またはスマートフォン等の携帯端末が、眼底画像処理装置１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、ＯＣＴ装置１０ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。

【0068】

また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。

【0069】

数学モデル構築装置１０１について説明する。数学モデル構築装置１０１は、例えば、眼底画像処理装置１または眼底画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１０１は、各種制御処理を行う制御ユニット１０２と、通信Ｉ／Ｆ１０５を備える。制御ユニット１０２は、制御を司るコントローラであるＣＰＵ１０３と、プログラムおよびデータ等を記憶することが可能な記憶装置１０４を備える。記憶装置１０４には、後述する数学モデル構築処理（図７参照）を実行するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ１０５は、数学モデル構築装置１０１を他のデバイス（例えば、ＯＣＴ装置１０Ａおよび眼底画像処理装置１等）と接続する。

【0070】

数学モデル構築装置１０１は、操作部１０７および表示装置１０８に接続されている。操作部１０７は、ユーザが各種指示を数学モデル構築装置１０１に入力するために、ユーザによって操作される。操作部１０７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部１０７と共に、または操作部１０７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置１０８は、各種画像を表示する。表示装置１０８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

【0071】

数学モデル構築装置１０１は、ＯＣＴ装置１０Ａから眼底画像のデータ（以下、単に「眼底画像」という場合もある）を取得することができる。数学モデル構築装置１０１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、ＯＣＴ装置１０Ａから眼底画像のデータを取得してもよい。

【0072】

眼底画像処理装置１について説明する。眼底画像処理装置１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼底画像処理装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する眼底画像処理（図８参照）および部位識別処理（図１５参照）を実行するための眼底画像処理プログラムが記憶されている。眼底画像処理プログラムには、数学モデル構築装置１０１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ５は、眼底画像処理装置１を他のデバイス（例えば、ＯＣＴ装置１０Ｂおよび数学モデル構築装置１０１等）と接続する。

【0073】

眼底画像処理装置１は、操作部７および表示装置８に接続されている。操作部７および表示装置８には、前述した操作部１０７および表示装置１０８と同様に、種々のデバイスを使用することができる。

【0074】

眼底画像処理装置１は、ＯＣＴ装置１０Ｂから眼底画像（本実施形態では、眼底の三次元断層画像）を取得することができる。眼底画像処理装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、ＯＣＴ装置１０Ｂから眼底画像を取得してもよい。また、眼底画像処理装置１は、数学モデル構築装置１０１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。

【0075】

ＯＣＴ装置１０（１０Ａ，１０Ｂ）について説明する。一例として、本実施形態では、数学モデル構築装置１０１に眼底画像を提供するＯＣＴ装置１０Ａと、眼底画像処理装置１に眼底画像を提供するＯＣＴ装置１０Ｂが使用される場合について説明する。しかし、使用されるＯＣＴ装置の数は２つに限定されない。例えば、数学モデル構築装置１０１および眼底画像処理装置１は、複数のＯＣＴ装置から眼底画像を取得してもよい。また、数学モデル構築装置１０１および眼底画像処理装置１は、共通する１つのＯＣＴ装置から眼底画像を取得してもよい。

【0076】

図２に示すように、ＯＣＴ装置１０は、ＯＣＴ部と制御ユニット３０を備える。ＯＣＴ部は、ＯＣＴ光源１１、カップラー（光分割器）１２、測定光学系１３、参照光学系２０、受光素子２２、および正面観察光学系２３を備える。

【0077】

ＯＣＴ光源１１は、ＯＣＴデータを取得するための光（ＯＣＴ光）を出射する。カップラー１２は、ＯＣＴ光源１１から出射されたＯＣＴ光を、測定光と参照光に分割する。また、本実施形態のカップラー１２は、被検体（本実施形態では被検眼Ｅの眼底）によって反射された測定光と、参照光学系２０によって生成された参照光を合波して干渉させる。つまり、本実施形態のカップラー１２は、ＯＣＴ光を測定光と参照光に分岐する分岐光学素子と、測定光の反射光と参照光を合波する合波光学素子を兼ねる。

【0078】

測定光学系１３は、カップラー１２によって分割された測定光を被検体に導くと共に、被検体によって反射された測定光をカップラー１２に戻す。測定光学系１３は、走査部１４、照射光学系１６、およびフォーカス調整部１７を備える。走査部１４は、駆動部１５によって駆動されることで、測定光の光軸に交差する二次元方向に測定光を走査（偏向）させることができる。照射光学系１６は、走査部１４よりも光路の下流側（つまり被検体側）に設けられており、測定光を被検体の組織に照射する。フォーカス調整部１７は、照射光学系１６が備える光学部材（例えばレンズ）を測定光の光軸に沿う方向に移動させることで、測定光のフォーカスを調整する。

【0079】

参照光学系２０は、参照光を生成してカップラー１２に戻す。本実施形態の参照光学系２０は、カップラー１２によって分割された参照光を反射光学系（例えば、参照ミラー）によって反射させることで、参照光を生成する。しかし、参照光学系２０の構成も変更できる。例えば、参照光学系２０は、カップラー１２から入射した光を反射させずに透過させて、カップラー１２に戻してもよい。参照光学系２０は、測定光と参照光の光路長差を変更する光路長差調整部２１を備える。本実施形態では、参照ミラーが光軸方向に移動されることで、光路長差が変更される。なお、光路長差を変更するための構成は、測定光学系１３の光路中に設けられていてもよい。

【0080】

受光素子２２は、カップラー１２によって生成された測定光と参照光の干渉光を受光することで、干渉信号を検出する。本実施形態では、フーリエドメインＯＣＴの原理が採用されている。フーリエドメインＯＣＴでは、干渉光のスペクトル強度（スペクトル干渉信号）が受光素子２２によって検出され、スペクトル強度データに対するフーリエ変換によって複素ＯＣＴ信号が取得される。フーリエドメインＯＣＴの一例として、Ｓｐｅｃｔｒａｌ－ｄｏｍａｉｎ－ＯＣＴ（ＳＤ－ＯＣＴ）、Ｓｗｅｐｔ－ｓｏｕｒｃｅ－ＯＣＴ（ＳＳ－ＯＣＴ）等を採用できる。また、例えば、Ｔｉｍｅ－ｄｏｍａｉｎ－ＯＣＴ（ＴＤ－ＯＣＴ）等を採用することも可能である。

【0081】

本実施形態では、測定光のスポットが、走査部１４によって二次元の測定領域内で走査されることで、三次元ＯＣＴデータ（三次元断層画像）が取得される。しかし、三次元ＯＣＴデータを取得する原理を変更することも可能である。例えば、ラインフィールドＯＣＴ（以下、「ＬＦ－ＯＣＴ」という）の原理によって三次元ＯＣＴデータが取得されてもよい。ＬＦ－ＯＣＴでは、組織において一次元方向に延びる照射ライン上に測定光が同時に照射され、測定光の反射光と参照光の干渉光が、一次元受光素子（例えばラインセンサ）または二次元受光素子によって受光される。二次元の測定領域内において、照射ラインに交差する方向に測定光が走査されることで、三次元ＯＣＴデータが取得される。また、フルフィールドＯＣＴ（以下、「ＦＦ－ＯＣＴ」という）の原理によって三次元ＯＣＴデータが取得されてもよい。ＦＦ－ＯＣＴでは、組織上の二次元の測定領域に測定光が照射されると共に、測定光の反射光と参照光の干渉光が、二次元受光素子によって受光される。この場合、ＯＣＴ装置１０は、走査部１４を備えていなくてもよい。

【0082】

正面観察光学系２３は、被検体の組織（本実施形態では被検眼Ｅの眼底）の二次元正面画像をリアルタイムで撮影するために設けられている。本実施形態における二次元正面画像とは、ＯＣＴの測定光の光軸に沿う方向（正面方向）から組織を見た場合の二次元の画像である。本実施形態では、走査型レーザ検眼鏡（ＳＬＯ）が正面観察光学系２３として採用されている。ただし、正面観察光学系２３の構成には、ＳＬＯ以外の構成（例えば、二次元の撮影範囲に赤外光を一括照射して正面画像を撮影する赤外カメラ等）が採用されてもよい。

【0083】

制御ユニット３０は、ＯＣＴ装置１０の各種制御を司る。制御ユニット３０は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、および不揮発性メモリ（ＮＶＭ）３４を備える。ＣＰＵ３１は各種制御を行うコントローラである。ＲＡＭ３２は各種情報を一時的に記憶する。ＲＯＭ３３には、ＣＰＵ３１が実行するプログラム、および各種初期値等が記憶されている。ＮＶＭ３４は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。制御ユニット３０には、操作部３７および表示装置３８が接続されている。操作部３７および表示装置３８には、前述した操作部１０７および表示装置１０８と同様に、種々のデバイスを使用することができる。

【0084】

本実施形態における眼底画像の撮影方法について説明する。図３に示すように、本実施形態のＯＣＴ装置１０は、ＯＣＴ測定光の光軸に交差する方向に広がる二次元の測定領域４０内に、スポットを走査させる直線状の走査ライン（スキャンライン）４１を、等間隔で複数設定する。ＯＣＴ装置１０は、それぞれの走査ライン４１上に測定光のスポットを走査させることで、それぞれの走査ライン４１に交差する断面の二次元断層画像４２（図４参照）を撮影することができる。二次元断層画像４２は、同一部位の複数の二次元断層画像に対して加算平均処理を行うことで生成された加算平均画像であってもよい。また、ＯＣＴ装置１０は、複数の走査ライン４１について撮影した複数の二次元断層画像４２を、画像領域に対して垂直に交差する方向に並べることで、三次元断層画像４３（図５参照）を取得（撮影）することができる。

【0085】

また、ＯＣＴ装置１０は、撮影した三次元断層画像４３に基づいて、測定光の光軸に沿う方向（正面方向）から組織を見た場合の二次元正面画像であるＥｎｆａｃｅ画像４５を取得（生成）することもできる。Ｅｎｆａｃｅ画像４５をリアルタイムで取得する場合、正面観察光学系２３を省略することも可能である。Ｅｎｆａｃｅ画像４５のデータは、例えば、ＸＹ方向の各位置で深さ方向（Ｚ方向）に輝度値が積算された積算画像データ、ＸＹ方向の各位置でのスペクトルデータの積算値、ある一定の深さ方向におけるＸＹ方向の各位置での輝度データ、網膜のいずれかの層（例えば、網膜表層）におけるＸＹ方向の各位置での輝度データ等であってもよい。また、患者眼の組織の同一位置から異なる時間に複数のＯＣＴ信号を取得することで得られるモーションコントラスト画像（例えば、ＯＣＴアンギオグラフィー画像）から、Ｅｎｆａｃｅ画像４５が得られてもよい。

【0086】

図１の説明に戻る。数学モデル構築装置１０１に接続されるＯＣＴ装置１０Ａは、少なくとも、被検眼の眼底の二次元断層画像４２（図４参照）を撮影することができる。また、眼底画像処理装置１に接続されるＯＣＴ装置１０Ｂは、前述した二次元断層画像４２に加えて、被検眼の眼底の三次元断層画像４３（図５参照）を撮影することができる。

【0087】

（眼底の層・境界の構造）
図６を参照して、被検眼の眼底における層、および、互いに隣接する層の間の境界の構造について説明する。図６では、眼底における層・境界の構造を模式的に示している。図６の上側が、眼底の網膜の表面側である。つまり、図６の下側へ向かう程、層・境界の深さは大きくなる。また、図６では、隣接する層の間の境界の名称には括弧を付している。

【0088】

眼底の層について説明する。眼底では、表面側（図６の上側）から順に、ＩＬＭ（内境界膜：ｉｎｔｅｒｍａｌ ｌｉｍｉｔｉｎｇ ｍｅｍｂｒａｎｅ）、ＮＦＬ（神経線維層：ｎｅｒｖｅ ｆｉｂｅｒ ｌａｙｅｒ）、ＧＣＬ（神経節細胞層：ｇａｎｇｌｉｏｎ ｃｅｌｌ ｌａｙｅｒ）、ＩＰＬ（内網状層：ｉｎｎｅｒ ｐｌｅｘｉｆｏｒｍ ｌａｙｅｒ）、ＩＮＬ（内顆粒層：ｉｎｎｅｒ ｎｕｃｌｅａｒ ｌａｙｅｒ）、ＯＰＬ（外網状層：ｏｕｔｅｒ ｐｌｅｘｉｆｏｒｍ ｌａｙｅｒ）、ＯＮＬ（外顆粒層：ｏｕｔｅｒ ｎｕｃｌｅａｒ ｌａｙｅｒ）、ＥＬＭ（外境界膜：ｅｘｔｅｒｎａｌ ｌｉｍｉｔｉｎｇ ｍｅｍｂｒａｎｅ）、ＩＳ／ＯＳ（視細胞内節外節接合部：ｊｕｎｃｔｉｏｎ ｂｅｔｗｅｅｎ ｐｈｏｔｏｒｅｃｅｐｔｏｒ ｉｎｎｅｒ ａｎｄ ｏｕｔｅｒ ｓｅｇｍｅｎｔ）、ＲＰＥ（網膜色素上皮：ｒｅｔｉｎａｌ ｐｉｇｍｅｎｔ ｅｐｉｔｈｅｌｉｕｍ）、ＢＭ（ブルッフ膜）、Ｃｈｏｒｏｉｄ（脈絡膜）が存在する。

【0089】

また、断層画像に表れやすい境界として、例えば、ＮＦＬ／ＧＣＬ（ＮＦＬとＧＣＬの間の境界）、ＩＰＬ／ＩＮＬ（ＩＰＬとＩＮＬの間の境界）、ＯＰＬ／ＯＮＬ（ＯＰＬとＯＮＬの間の境界）、ＲＰＥ／ＢＭ（ＲＰＥとＢＭの間の境界）、ＢＭ／Ｃｈｏｒｏｉｌ（ＢＭとＣｈｏｒｏｉｄの間の境界）などが存在する。

【0090】

（数学モデル構築処理）
図７を参照して、数学モデル構築装置１０１が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置１０４に記憶された数学モデル構築プログラムに従って、ＣＰＵ１０３によって実行される。

【0091】

以下では、一例として、入力された二次元断層画像を解析することで、眼底画像に写る複数の層・境界のうちの少なくともいずれか（本実施形態における第１の部位である特定の層・境界）の識別結果を出力する数学モデルを構築する場合を例示する。ただし、数学モデル構築処理では、層・境界の識別結果とは異なる結果を出力する数学モデルを構築することも可能である。例えば、入力された二次元断層画像に写る乳頭の端部の検出結果を出力する数学モデル（詳細は後述する）も、数学モデル構築処理によって構築される。

【0092】

また、本実施形態で例示する数学モデルは、入力された眼底画像に写る第１の部位（本実施形態では特定の層・境界）の識別結果と共に、二次元断層画像における各部位（各Ａスキャン画像）が第２の部位（本実施形態では乳頭）である可能性を示すスコアの分布を出力するように訓練される。

【0093】

数学モデル構築処理では、訓練用データセットによって数学モデルが訓練されることで、数学モデルが構築される。訓練用データセットには、入力側のデータ（入力用訓練データ）と出力側のデータ（出力用訓練データ）が含まれる。

【0094】

図７に示すように、ＣＰＵ１０３は、ＯＣＴ装置１０Ａによって撮影された眼底画像（本実施形態では二次元断層画像）のデータを、入力用訓練データとして取得する（Ｓ１）。次いで、ＣＰＵ１０３は、Ｓ１で取得された眼底画像が撮影された被検眼の、第１の部位を示すデータを、出力用訓練データとして取得する（Ｓ２）。本実施形態における出力用訓練データには、眼底画像に写る特定の層・境界の位置を示すラベルのデータが含まれている。ラベルのデータは、例えば、作業者が眼底画像における層・境界を見ながら操作部１０７を操作することで生成されてもよい。なお、本実施形態では、第２の部位（本実施形態では乳頭）である可能性を示すスコアを数学モデルに出力させるために、眼底画像における第２の部位を示すラベルのデータも、出力用訓練データに含まれる。

【0095】

次いで、ＣＰＵ１０３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する（Ｓ３）。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

【0096】

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。

【0097】

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。

【0098】

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。

【0099】

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。

【0100】

数学モデルは、例えば、入力データ（本実施形態では、入力用訓練データと同様の二次元断層画像のデータ）と、出力データ（本実施形態では、第１の部位の識別結果のデータ）の関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。前述したように、訓練データセットは、入力用訓練データと出力用訓練データのセットである。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。

【0101】

本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したい解析結果のデータを生成するための出力層と、入力層と出力層の間の１つ以上の隠れ層を含む。各層には、複数のノード（ユニットとも言われる）が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）が用いられている。

【0102】

なお、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）が、機械学習アルゴリズムとして採用されてもよい。

【0103】

数学モデルの構築が完了するまで（Ｓ４：ＮＯ）、Ｓ１～Ｓ３の処理が繰り返される。数学モデルの構築が完了すると（Ｓ４：ＹＥＳ）、数学モデル構築処理は終了する。本実施形態では、構築された数学モデルを実現させるプログラムおよびデータは、眼底画像処理装置１に組み込まれる。

【0104】

（眼底画像処理）
図８から図１７を参照して、眼底画像処理装置１が実行する眼底画像処理について説明する。本実施形態の眼底画像処理では、三次元断層画像から、ラジアルパターンに従って複数の二次元断層画像が抽出され、抽出された複数の二次元断層画像に基づいて乳頭の端部が検出される。一例として、本実施形態では、乳頭の端部の位置として、ブルッフ膜開口（ＢＭＯ）の位置を検出する場合を例示する。また、本実施形態の眼底画像処理には、部位識別処理（図８のＳ３、および図１５参照）も含まれる。部位識別処理では、数学モデルが第１の部位（本実施形態では特定の層・境界）を識別した際の確率分布の乖離度に基づいて、第１の部位とは異なる第２の部位（本実施形態では乳頭）が識別される。眼底画像処理装置１のＣＰＵ３は、記憶装置４に記憶された眼底画像処理プログラムに従って、図８に示す眼底画像処理、および、図１５に示す部位識別処理を実行する。

【0105】

図８に示すように、ＣＰＵ３は、被検眼の眼底の三次元断層画像を取得する（Ｓ１）。前述したように、三次元断層画像４３（図５参照）は、二次元の測定領域４０（図３参照）にＯＣＴ測定光が照射されることで撮影される。本実施形態の三次元断層画像４３は、複数の二次元断層画像４２（図４参照）が並べられることで構成されている。

【0106】

ＣＰＵ３は、Ｓ１で取得した三次元断層画像に対し、ＯＣＴの光軸に沿う方向（本実施形態ではＺ方向）における像の位置合わせを実行する（Ｓ２）。図９では、像の位置合わせが行われる前後の、三次元断層画像中の一部の二次元断層画像を比較している。図９の左側は、像の位置合わせが行われる前の二次元断層画像であり、図９の右側は、像の位置合わせが行われた後の二次元断層画像である。図９に示すように、像の位置合わせが行われることで、乳頭を含む像のＺ方向の位置ずれが減少する。その結果、後述するＳ１２，Ｓ１３の処理において、より高い精度で乳頭の端部が検出される。

【0107】

一例として、本実施形態のＳ２では、三次元断層画像を構成する複数の二次元断層画像の間で、Ｚ方向における像の位置合わせが実行される。さらに、三次元断層画像を構成する複数の二次元断層画像の各々について、二次元断層画像を構成する複数の画素列（本実施形態では、Ｚ方向に延びる複数のＡスキャン画像）の間で、像の位置合わせが実行される。

【0108】

なお、Ｓ２の処理の代わりに、後述するＳ１１で抽出される複数の二次元断層画像に対して、Ｚ方向における像の位置合わせが実行されてもよい。この場合でも、乳頭の端部の検出精度が向上する。また、像の位置合わせ処理を省略することも可能である。

【0109】

次いで、ＣＰＵ３は、部位識別処理を実行する（Ｓ３）。部位識別処理とは、検査対象とする被検眼の眼底の画像に基づいて、三次元断層画像が撮影された二次元の測定領域４０（図３参照）における特定の部位を識別する処理である。本実施形態の部位識別処理（Ｓ３）は、乳頭の自動検出処理として実行される。本実施形態の部位識別処理（Ｓ３）は、後述する処理において高い精度で乳頭の端部の位置を検出するための準備段階の処理である。部位識別処理の詳細については、図１５～図１７を参照して後述する。

【0110】

乳頭の自動検出が成功すると（Ｓ５：ＹＥＳ）、検出された乳頭の位置（本実施形態では、Ｓ３で自動検出された乳頭の中心位置）に、基準位置が設定される（Ｓ６）。図１０に示すように、基準位置ＲＰは、後述するラジアルパターン６０を設定する基準となる。

【0111】

一方で、乳頭の自動検出に失敗した場合には（Ｓ５：ＮＯ）、ＣＰＵ３は、ユーザによって指定された位置に基準位置を設定する（Ｓ７）。本実施形態では、ＣＰＵ３は、検査対象とする被検眼の眼底画像（例えば二次元正面画像等）を表示装置８に表示させた状態で、ユーザからの指示の入力を受け付ける。ユーザが、操作部７を介して、位置を指定する指示を入力すると、ＣＰＵ３は、指定された位置に基準位置を設定する。なお、場合によっては、Ｓ３，Ｓ５，Ｓ６の処理を実行せずに、Ｓ７の処理によって基準位置を設定することも可能である。

【0112】

次いで、ＣＰＵ３は、二次元の測定領域４０に対し、基準位置を中心とするラジアルパターンを設定する（Ｓ１０）。図１０に示すように、Ｓ１０の処理では、基準位置ＲＰを中心として放射状に広がるライン６１のパターンが、ラジアルパターン６０として設定される。基準位置ＲＰが乳頭の領域内に正しく設定されている場合、ラジアルパターン６０を構成する複数のライン６１の全ては、乳頭の端部を通過する。一例として、図１０に示すラジアルパターン６０では、基準位置ＲＰを一端部とする同じ長さの１６本のライン６１が、基準位置ＲＰから遠ざかる方向に、同じ間隔で延びている。

【0113】

次いで、ＣＰＵ３は、Ｓ１で取得した三次元断層画像から、Ｓ１０で設定したラジアルパターン６０のライン６１の各々における二次元断層画像６４（図１１参照）を抽出する（Ｓ１１）。つまり、ＣＰＵ３は、三次元断層画像から、ラジアルパターン６０のライン６１の各々に交差する複数の二次元断層画像６４を抽出する。基準位置ＲＰが乳頭の領域内に正しく設定されている場合、Ｓ１１で抽出される二次元断層画像６４の全てに乳頭の端部が含まれることになる。図１１に示す二次元断層画像６４には、乳頭のＢＭＯ６７が写っている。

【0114】

ＣＰＵ３は、Ｓ１１で抽出した複数の二次元断層画像６４の各々における乳頭の端部（本実施形態ではＢＭＯ）の位置を取得する（Ｓ１２）。本実施形態では、ＣＰＵ３は、二次元断層画像６４を数学モデルに入力する。数学モデルは、入力された二次元断層画像に写るＢＭＯの位置の検出結果を出力するように、機械学習アルゴリズムによって訓練されている。詳細には、図１１に示すように、本実施形態の数学モデルは、二次元断層画像６４が入力されると、入力された二次元断層画像６４の領域について、ＢＭＯ６７の位置である確率の分布を示す確率マップ６５を出力する。図１１に示す確率マップ６５では、ＢＭＯ６７が実際に存在する位置６８が、ＢＭＯ６７である確率が高いことを示す白色となっている。ＣＰＵ３は、数学モデルによって出力されたＢＭＯの位置の検出結果（確率マップ６５が最大となる位置）を取得することで、ＢＭＯの位置を検出する。

【0115】

さらに、本実施形態では、機械学習アルゴリズムを利用することで自動検出されたＢＭＯの位置が、ユーザによる指示に応じて補正される。詳細には、ＣＰＵ３は、図１２に示すように、Ｓ１１で抽出した二次元断層画像上に、ＢＭＯである確率が最も高い自動検出結果となった位置を表示させる。ユーザは、自動検出結果に基づいて表示された位置が誤っている場合に、操作部７等を介して、正しいＢＭＯの位置を入力する。ＣＰＵ３は、ユーザによって入力された位置を、ＢＭＯの位置として検出する。なお、ＣＰＵ３は、機械学習アルゴリズムを利用せずに、ユーザによって指示された位置をＢＭＯの位置として検出することも可能である。

【0116】

次いで、ＣＰＵ３は、複数の二次元断層画像６４に基づいて検出された複数の位置の検出結果に対して平滑化処理を行うことで、乳頭の環状の端部（本実施形態では環状のＢＭＯ）の位置を検出する（Ｓ１３）。その結果、一部の二次元断層画像６４に対して端部の位置が誤って検出された場合でも、誤検出の影響が抑制される。一例として、本実施形態では、複数の二次元断層画像６４に基づいて検出された複数の位置の検出結果の、ＸＹＺの各次元について、一次元のガウシアンフィルタによる平滑化処理が行われる。また、ＢＭＯの位置が検出される前に、複数の確率マップ６５に対して三次元のガウシアンフィルタによる平滑化処理が行われてもよい。また、複数の検出結果に対する楕円フィッティング等が、平滑化のために利用されてもよい。

【0117】

ＣＰＵ３は、Ｓ１２，Ｓ１３で検出された乳頭の端部の位置に基づいて、乳頭の中心位置を特定する（Ｓ１４）。一例として、本実施形態では、ＣＰＵ３は、検出された環状のＢＭＯの、ＸＹ平面における重心位置を、ＸＹ平面における乳頭の中心位置として特定する。

【0118】

ＣＰＵ３は、検出した乳頭の端部の位置を表示装置８に表示させる（Ｓ２０）。本実施形態では、図１３に示すように、検査対象とした被検眼の眼底の二次元正面画像上に、検出された環状のＢＭＯの位置７０が重畳表示される。詳細には、ＣＰＵ３は、検出された複数のＢＭＯのＸＹ平面上の位置に対してスプライン補間を実行し、ＢＭＯの輪郭線を表示させる。よって、ユーザは、ＢＭＯの二次元の位置を適切に把握することができる。

【0119】

次いで、ＣＰＵ３は、図１３に示すように、二次元の測定領域に対し、Ｓ１４で特定した乳頭の中心位置ＣＰを中心とする環状（本実施形態では真円の環状）のラインパターン７１を設定する（Ｓ２１）。ラインパターン７１の径は予め定められているが、ユーザによる指示に応じて径が変更されてもよい。

【0120】

ＣＰＵ３は、Ｓ１で取得された三次元断層画像から、Ｓ２１で設定した環状のラインパターン７１における二次元断層画像（つまり、環状のラインパターン７１に対して筒状に交差する断層画像を、二次元に変形した画像）を抽出する（Ｓ２２）。

【0121】

ＣＰＵ３は、Ｓ２２で抽出した二次元断層画像を処理することで、二次元断層画像に写る網膜の特定の層の厚み（例えば、ＮＦＬの厚み、または、ＩＬＭからＮＦＬまでの厚み）を示す層厚グラフを生成する（Ｓ２３）。

【0122】

ＣＰＵ３は、Ｓ２３で生成した層厚グラフを、正常眼のデータと比較させた状態で表示装置８に表示させる（Ｓ２４）。図１４に、二次元断層画像７５Ｒ，７５Ｌと層厚グラフ７６Ｒ，７６Ｌの表示方法の一例を示す。図１４に示す例では、被検者の右眼および左眼の各々について、Ｓ２２で抽出された二次元断層画像７５Ｒ，７５Ｌが表示されている。また、Ｓ２３で生成された層厚グラフ７６Ｒ，７６Ｌが、対応する二次元断層画像７５Ｒ，７５Ｌに並べて表示されている。層厚グラフ７６Ｒ，７６Ｌ内には、二次元断層画像７５Ｒ，７５Ｌに基づいて解析された特定の層の厚みを示すグラフと共に、正常眼のデータの範囲が表示されている。よって、ユーザは適切に被検眼の状態を把握することができる。

【0123】

（部位検出処理）
図１５～図１７を参照して、眼底画像処理装置１が実行する部位検出処理について説明する。部位検出処理は、記憶装置４に記憶された眼底画像処理プログラムに従って、ＣＰＵ３によって実行される。部位検出処理では、数学モデルが第１の部位を識別した際の確率分布の乖離度に基づいて、第１の部位とは異なる第２の部位が識別される。前述したように、本実施形態では、ある程度の乳頭の位置を第２の部位として自動検出する際に、部位識別処理が実行される。

【0124】

一般的に、乳頭の周囲では複数の層および境界が正常に存在するが、乳頭の位置では特定の層および境界が欠落している。詳細には、乳頭が存在する位置では、ＮＦＬが存在する一方で、ＮＦＬよりも深い位置の層および境界は欠落する。以上の知見に基づき、本実施形態の部位検出処理では、数学モデルが特定の層・境界（ＮＦＬよりも深い位置の層・境界）を識別した際の確率分布の乖離度に基づいて、乳頭が識別される。

【0125】

図１５に示すように、ＣＰＵ３は、第２の部位（本実施形態では乳頭）の検出対象とする被検眼の眼底画像を取得する（Ｓ３１）。本実施形態では、眼底画像として、被検眼の眼底の三次元断層画像４３（図５参照）が取得され、三次元断層画像４３に基づいて第２の部位が検出される。従って、二次元の眼底画像から第２の部位が検出される場合に比べて、より多くのデータに基づいて第２の部位が検出される。なお、図８のＳ１で三次元断層画像４３が既に取得されている場合には、Ｓ３１の処理は省略してもよい。

【0126】

次いで、ＣＰＵ３は、Ｓ３１（またはＳ１）で取得された三次元断層画像４３が撮影された眼底を正面（つまり、ＯＣＴ測定光に沿う方向）から見た場合の二次元正面画像を取得する（Ｓ３２）。一例として、本実施形態のＳ３２では、Ｓ３１で取得された三次元断層画像４３のデータに基づいて生成されるＥｎｆａｃｅ画像４５（図５参照）が、二次元正面画像として取得される。ただし、二次元正面画像は、三次元断層画像４３の撮影原理とは異なる原理で撮影された画像（例えば、正面観察光学系２３によって撮影された二次元正面画像等）であってもよい。

【0127】

ＣＰＵ３は、Ｓ３２で取得された二次元正面画像に基づいて、第２の部位（本実施形態では乳頭）の補助識別結果を取得する（Ｓ３３）。二次元正面画像に対する第２の部位の補助識別の方法は、適宜選択できる。本実施形態では、ＣＰＵ３は、二次元正面画像に対して公知の画像処理を行うことで、乳頭を識別する。

【0128】

ＣＰＵ３は、Ｓ３３で取得された補助識別結果に基づいて、Ｓ３１（またはＳ１）で取得された三次元断層画像４３の全体から、第２の部位（本実施形態では乳頭）が含まれている可能性が高い一部分を抽出する（Ｓ３４）。その結果、その後に実行される処理の量が減少するので、より適切に第２の部位が検出される。

【0129】

ＣＰＵ３は、Ｓ３４で抽出された三次元断層画像を構成する複数の二次元断層画像のうち、Ｔ番目（Ｔの初期値は「１」）の二次元断層画像を抽出する（Ｓ３６）。図１６に、抽出された二次元断層画像４２の一例を示す。二次元断層画像４２には、被検眼の眼底における複数の層・境界が表れている。また、二次元断層画像４２中に、複数の一次元領域Ａ１～ＡＮが設定される。本実施形態では、二次元断層画像４２中に設定される一次元領域Ａ１～ＡＮは、特定の層・境界に交差する軸に沿って延びる。詳細には、本実施形態の一次元領域Ａ１～ＡＮは、ＯＣＴ装置１０によって撮影された二次元断層画像４２を構成する複数（Ｎ本）のＡスキャンの各々の領域に一致する。

【0130】

ＣＰＵ３は、数学モデルにＴ番目の二次元断層画像を入力することで、複数の一次元領域Ａ１～ＡＮの各々において、Ｍ番目（Ｍの初期値は「１」）の層・境界が存在する座標の確率分布を、第１の部位（特定の層・境界）を識別するための確率分布として取得する（Ｓ３７）。ＣＰＵ３は、Ｍ番目の層・境界に関する、確率分布の乖離度を取得する（Ｓ３８）。乖離度とは、第１の組織が正確に識別される場合の確率分布に対する、Ｓ３７で取得された確率分布の差である。第１の組織が存在する一次元領域では、乖離度は小さくなり易い。一方で、第１の組織が存在しない一次元領域では、乖離度は大きくなり易い。眼の疾患の有無等に関わらず、この傾向は表れやすい。

【0131】

本実施形態では、乖離度として、確率分布Ｐのエントロピーが算出される。エントロピーは、以下の（数１）で与えられる。エントロピーＨ（Ｐ）は、０≦Ｈ（Ｐ）≦ｌｏｇ（事象の数）の値を取り、確率分布Ｐが偏っている程小さな値になる。つまり、エントロピーＨ（Ｐ）が小さい程、第１の組織の識別精度が高い傾向となる。第１の組織が正確に識別される場合の確率分布のエントロピーは、０となる。
Ｈ（Ｐ）＝－Σｐｌｏｇ（ｐ）・・・（数１）

【0132】

次いで、ＣＰＵ３は、Ｔ番目の二次元断層画像において識別対象とする、全ての層・境界の乖離度が取得されたか否かを判断する（Ｓ４０）。一部の層・境界の乖離度が取得されていなければ（Ｓ４０：ＮＯ）、層・境界の順番Ｍに「１」が加算されて（Ｓ４１）、処理はＳ３７に戻り、次の層・境界の乖離度が取得される（Ｓ３７，Ｓ３８）。全ての層・境界の乖離度が取得されると（Ｓ４０：ＹＥＳ）、ＣＰＵ３は、Ｔ番目の二次元断層画像の乖離度を記憶装置４に記憶させる（Ｓ４２）。

【0133】

次いで、ＣＰＵ３は、三次元断層画像を構成する全ての二次元断層画像の乖離度が取得されたか否かを判断する（Ｓ４４）。一部の二次元断層画像の乖離度が未だ取得されていなければ（Ｓ４．４：ＮＯ）、二次元断層画像の順番Ｔに「１」が加算されて（Ｓ４５）、処理はＳ３６に戻り、次の二次元断層画像の乖離度が取得される（Ｓ３６～Ｓ４２）。

【0134】

全ての二次元断層画像の乖離度が取得されると（Ｓ４４：ＹＥＳ）、ＣＰＵ３は、眼底を正面から見た場合の乖離度の大きさの二次元分布（以下、単に「乖離度分布」という場合もある）を取得する（Ｓ４７）。本実施形態では、ＣＰＵ３は、図１７に示すように、眼底における複数の層・境界のうち、特定の層・境界の乖離度分布を取得する。詳細には、乳頭が存在する位置では、ＮＦＬが存在する一方で、ＮＦＬよりも深い位置の層および境界は欠落する。従って、乳頭が存在する位置では、ＮＦＬよりも深い位置の層および境界の識別に関する乖離度は、乳頭が存在しない位置に比べて大きくなる。よって、本実施形態のＳ４７では、乳頭を高い精度で識別するために、ＮＦＬよりも深い位置の層・境界（具体的には、ＩＰＬ／ＩＮＬ、およびＢＭを含む複数の層・境界）の乖離度分布が取得される。図１７に示す乖離度分布では、乖離度が大きい部位が明るい色で表現されている。

【0135】

ＣＰＵ３は、各部位（各Ａスキャン画像）が第２の部位である可能性を示すスコアの分布（以下、「第２部位のスコア分布」という）を取得する（Ｓ４８）。前述したように、第２部位のスコア分布は、第１の部位の識別結果と共に、数学モデルによって出力される。

【0136】

次いで、ＣＰＵ３は、数学モデルが第１の部位を識別した際の乖離度に基づいて、第２の部位の識別結果を生成する（Ｓ４９）。本実施形態では、ＣＰＵ３は、図１７に示すように、ＮＦＬよりも深い位置の層・境界の乖離度分布と、第２部位のスコア分布を統合させる（足し合わせる）。ＣＰＵ３は、統合させた分布に対して二値化処理を行うことで、第２の部位の識別結果を生成する。なお、乖離度分布とスコア分布を統合させる際に、任意の重み付けを行ってもよい。

【0137】

（変形例）
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。例えば、ＣＰＵ３は、眼底画像処理（図８参照）によって検出された乳頭の端部の検出結果に基づいて、眼底における乳頭以外の構造を検出してもよい。図１８に示す例では、ＣＰＵ３は、眼底画像処理によって検出されたＢＭＯ８５の位置に基づいて、視神経乳頭陥凹（Ｃｕｐ）８７の位置を検出する。詳細には、ＣＰＵ３は、検出された一対のＢＭＯ８５を通過する基準直線Ｌ１に平行であり、且つ基準直線Ｌ１から網膜の表面側に所定距離離間した直線Ｌ２を設定する。ＣＰＵ３は、設定した直線Ｌ２と、眼底画像におけるＩＬＭ（内境界膜）８９が交わる位置を、Ｃｕｐ８７の位置として検出する。さらに、ＣＰＵ３は、眼底画像処理によって検出されたＢＭＯ８５の位置と、眼底画像におけるＩＬＭ８９の間の最短距離を、神経線維層の最小厚さ（Ｍｉｎｉｍｕｍ Ｒｉｍ Ｗｉｄｔｈ）として検出する。眼底画像処理によると、乳頭の端部の位置が高い精度で検出されている。従って、検出された乳頭の端部の位置に基づいて、乳頭以外の構造が検出されることで、乳頭以外の構造も高い精度で検出される。

【0138】

上記実施形態の眼底画像処理（図８参照）のＳ３では、乳頭を自動検出するために、図１５に示す部位識別処理が利用されている。しかし、図８のＳ３における処理を変更することも可能である。例えば、ＣＰＵ３は、検査対象とする被検眼の眼底の二次元正面画像（つまり、ＯＣＴ測定光の光軸に沿う方向から見た場合の二次元の画像）に基づいて、乳頭の位置を自動検出してもよい。この場合、ＣＰＵ３は、二次元正面画像に対して公知の画像処理を行うことで、乳頭の位置を検出してもよい。ＣＰＵ３は、乳頭の位置を検出して出力する数学モデルに、二次元正面画像を入力することで、乳頭の位置を検出してもよい。二次元正面画像には、前述したＥｎｆａｃｅ画像４５、眼底カメラ画像、またはＳＬＯ画像等、種々の画像を利用できる。

【0139】

図８のＳ１０において、基準位置ＲＰを中心としてラジアルパターン６０を設定するための具体的な方法も、適宜変更できる。例えば、ＣＰＵ３は、三次元断層画像が撮影された測定領域４０における眼底血管の位置の情報を取得してもよい。ＣＰＵ３は、ラジアルパターン６０のライン６１と眼底血管の重複量が極力減少するように、ラジアルパターン６０の全体の角度、ラジアルパターン６０に含まれる少なくともいずれかのライン６１の角度、ライン６１の長さ、ライン６１の数等の少なくともいずれかを調整してもよい。この場合、眼底血管の存在によって乳頭の端部の検出精度が低下することが、適切に抑制される。また、ＣＰＵ３は、眼底画像を確認したユーザによって入力される指示に応じて、ラジアルパターン６０の全体の角度、ラジアルパターン６０に含まれる少なくともいずれかのライン６１の角度、ライン６１の長さ、ライン６１の数等の少なくともいずれかを調整してもよい。この場合、乳頭の端部の検出精度がさらに向上する。

【0140】

上記実施形態の眼底画像処理（図８参照）では、基準位置ＲＰが実際の乳頭の中心位置に近くなる程、ラジアルパターン６０に従って抽出される複数の二次元断層画像６４の各々における乳頭の端部の位置が近似するので、乳頭の環状の端部の検出精度も高くなる。Ｓ６，Ｓ７で設定された基準位置ＲＰは、実際の乳頭の中心位置から離れている場合もあり得る。従って、ＣＰＵ３は、Ｓ３～Ｓ１４に示す乳頭の端部の検出処理を１度しか実行していない場合には、Ｓ１４の処理を実行した後に、Ｓ１４で特定した中心位置に基準位置ＲＰを再設定して、Ｓ１０～Ｓ１４の処理を再度実行してもよい。Ｓ１４で特定される乳頭の中心位置は、Ｓ３等の処理によって検出される中心位置よりも正確になり易い。従って、Ｓ１４で特定された乳頭の中心位置を基準位置ＲＰとして、乳頭の端部を再検出することで、検出精度がさらに向上する。なお、Ｓ１０～Ｓ１４の処理を繰り返す回数は、適宜設定できる。例えば、ＣＰＵ３は、Ｓ１４で複数回特定された乳頭の中心位置が、一定の範囲内に収束した場合に、Ｓ２１以降の処理を実行してもよい。

【0141】

上記実施形態では、図１５に示す部位識別処理は、図８に示す眼底画像処理の一部として実行される。しかし、図１５に示す部位識別処理を単独で実行することも可能である。この場合、部位識別処理によって、眼底画像における乳頭以外の部位を検出することも可能である。一般的に、中心窩の周囲では複数の層および境界が正常に存在するが、中心窩の位置では特定の層および境界が欠落している。詳細には、中心窩が存在する位置では、ＲＰＥおよびブルッフ膜等が存在する一方で、ＲＰＥよりも網膜の表面側の層および境界が欠落する。以上の知見に基づき、眼底画像処理装置１は、ＲＰＥよりも網膜の表面側の層・境界（第１の部位）を数学モデルが識別した際の確率分布の乖離度に基づいて、中心窩（第２の部位）を識別してもよい。この場合、図１５のＳ３７～Ｓ４７では、第１の部位の解析に関する乖離度として、ＲＰＥよりも表面側の層・境界の少なくともいずれかの乖離度分布が取得される。Ｓ４９では、第２の部位として中心窩が識別される。その結果、中心窩が高い精度で識別される。

【0142】

また、眼底血管（第２の部位）が存在する位置では、測定光が眼底血管によって遮られるため、眼底血管よりも深い位置の層・境界（第１の部位）の撮影状態が悪化し易い。従って、眼底血管が存在する位置では、眼底血管が存在しない位置に比べて、眼底血管よりも深い位置の層・境界の識別に関する乖離度が大きくなる。以上の知見に基づき、Ｓ４７では、第１の部位の解析に関する乖離度として、眼底血管よりも深い位置の層・境界の少なくともいずれかの乖離度分布が取得されてもよい。Ｓ４９では、乖離度が閾値よりも大きい部位が、眼底血管の部位（第２の部位）として識別されてもよい。

【0143】

上記実施形態で例示された複数の技術のうちの一部のみを実行することも可能である。例えば、上記実施形態のＳ３３，Ｓ３４（図１５参照）では、二次元正面画像に基づいて実行された第２の部位の補助識別結果が利用される。しかし、補助識別結果を利用せずに第２の部位が識別されてもよい。また、上記実施形態のＳ４８，Ｓ４９（図１５参照）では、第２部位のスコア分布が利用される。しかし、第２部位のスコア分布を利用せずに第２の部位が識別されてもよい。

【0144】

なお、図８のＳ１で三次元断層画像を取得する処理は、「画像取得ステップ」の一例である。図８のＳ６，Ｓ７で基準位置を設定する処理は、「基準位置設定ステップ」の一例である。図８のＳ１０でラジアルパターンを設定する処理は、「ラジアルパターン設定ステップ」の一例である。図８のＳ１１で二次元断層画像を抽出する処理は、「画像抽出ステップ」の一例である。図８のＳ１２，Ｓ１３で乳頭の端部の位置を検出する処理は、「乳頭端部検出ステップ」の一例である。図８のＳ２で像の位置合わせを実行する処理は、「位置合わせステップ」の一例である。図８のＳ３で乳頭の位置を自動検出する処理は、「乳頭位置検出ステップ」の一例である。図８のＳ１４で乳頭の中心位置を特定する処理は、「乳頭中心特定ステップ」の一例である。図８のＳ２２で二次元断層画像を抽出する処理は、「環状抽出ステップ」の一例である。図８のＳ２４で二次元断層画像に関する情報を出力する処理は、「出力ステップ」の一例である。

【0145】

図１５のＳ３１で眼底画像を取得する処理は、「画像取得ステップ」の一例である。図１５のＳ３７～Ｓ４７で乖離度を取得する処理は、「乖離度取得ステップ」の一例である。図１５のＳ４９で第２の部位を識別する処理は、「部位識別ステップ」の一例である。図１５のＳ３２で二次元正面画像を取得する処理は、「正面画像取得ステップ」の一例である。図１５のＳ３３で補助識別結果を取得する処理は、「補助識別結果取得ステップ」の一例である。

【符号の説明】

【0146】

１ 眼底画像処理装置
３ ＣＰＵ
４ 記憶装置
１０（１０Ａ，１０Ｂ） ＯＣＴ装置
４０ 測定領域
４１ 走査ライン
４２ 二次元断層画像
４３ 三次元断層画像
６０ ラジアルパターン
６５ 確率マップ
７６Ｒ，７６Ｌ 層厚グラフ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】