IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニデックの特許一覧

特許7180187眼科画像処理装置、OCT装置、および眼科画像処理プログラム
<>
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図1
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図2
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図3
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図4
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図5
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図6
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図7
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図8
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図9
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図10
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図11
  • 特許-眼科画像処理装置、OCT装置、および眼科画像処理プログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-21
(45)【発行日】2022-11-30
(54)【発明の名称】眼科画像処理装置、OCT装置、および眼科画像処理プログラム
(51)【国際特許分類】
   A61B 3/10 20060101AFI20221122BHJP
【FI】
A61B3/10 100
【請求項の数】 6
(21)【出願番号】P 2018147139
(22)【出願日】2018-08-03
(65)【公開番号】P2020018793
(43)【公開日】2020-02-06
【審査請求日】2021-06-25
(73)【特許権者】
【識別番号】000135184
【氏名又は名称】株式会社ニデック
(74)【代理人】
【識別番号】100166785
【弁理士】
【氏名又は名称】大川 智也
(72)【発明者】
【氏名】柴 涼介
(72)【発明者】
【氏名】坂下 祐輔
(72)【発明者】
【氏名】熊谷 佳紀
(72)【発明者】
【氏名】竹野 直樹
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】国際公開第2017/070107(WO,A1)
【文献】Leyuan Fang,Automatic segmentation of nine retinal layer boundaries in OCT images of non-exudative AMD patients using deep learning and graph search,Biomedical Optics Express,vol.8,No.5,米国,Biomedical Optics Express,2017年05月01日,2732-2744
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
(57)【特許請求の範囲】
【請求項1】
被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
前記眼科画像処理装置の制御部は、
眼科画像撮影装置によって撮影された眼科画像を取得し、
機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記眼科画像中の領域内において前記組織の特定の境界および特定部位の少なくともいずれかが存在する、一次元以上の座標を確率変数とする確率分布を取得し、
取得した前記確率分布に基づいて、前記特定の境界および前記特定部位の少なくともいずれかを検出することを特徴とする眼科画像処理装置。
【請求項2】
請求項1に記載の眼科画像処理装置であって、
前記制御部は、
前記数学モデルに前記眼科画像を入力することで、前記眼科画像中の前記組織の特定の境界に交差する方向に延びる一次元の前記領域において、前記特定の境界が存在する一次元座標を確率変数とする確率分布を取得し、
取得した前記確率分布に基づいて前記特定の境界を検出することを特徴とする眼科画像処理装置。
【請求項3】
請求項2に記載の眼科画像処理装置であって、
前記制御部は、
互いに異なる複数の前記一次元の領域の各々について取得された、複数の前記確率分布に基づいて、二次元または三次元の前記境界を検出することを特徴とする眼科画像処理装置。
【請求項4】
請求項1に記載の眼科画像処理装置であって、
前記制御部は、
前記数学モデルに前記眼科画像を入力することで、前記眼科画像中の二次元以上の次元の領域において、前記特定部位が存在する二次元以上の座標を確率変数とする確率分布を取得し、
取得した前記確率分布に基づいて前記特定部位を検出することを特徴とする眼科画像処理装置。
【請求項5】
参照光と、被検眼の組織に照射された測定光の反射光とによるOCT信号を処理することで、前記組織の眼科画像を撮影するOCT装置であって、
前記OCT装置の制御部は、
撮影した前記眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、前記眼科画像中の領域内において前記組織の特定の境界および特定部位の少なくともいずれかが存在する、一次元以上の座標を確率変数とする確率分布を取得し、
取得した前記確率分布に基づいて、前記特定の境界および前記特定部位の少なくともいずれかを検出することを特徴とするOCT装置。
【請求項6】
被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼
科画像処理プログラムであって、
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、
機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記眼科画像中の領域内において前記組織の特定の境界および特定部位の少なくともいずれかが存在する、一次元以上の座標を確率変数とする確率分布を取得する確率分布取得ステップと、
取得した前記確率分布に基づいて、前記特定の境界および前記特定部位の少なくともいずれかを検出する検出ステップと、
を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被検眼の眼科画像を処理する眼科画像処理装置、OCT装置、および、眼科画像処理装置において実行される眼科画像処理プログラムに関する。
【背景技術】
【0002】
従来、眼科画像に写っている複数の組織(例えば、複数の層)の境界、および、眼科画像に写っている組織上の特定部位の少なくともいずれか(以下、単に「境界・特定部位」という場合もある)を検出するための種々の技術が提案されている。例えば、非特許文献1で開示されている技術では、まず、各画素がどの層に属するかが画素毎にマッピングされる。次いで、マッピングの結果に基づいて各層の厚さが出力されることで、各層の境界が検出される。
【先行技術文献】
【非特許文献】
【0003】
【文献】Yufan He, Aaron Carass, et al. “Topology guaranteed segmentation of the human retina from OCT using convolutional neural networks.”arXiv:1803.05120, 14 Mar 2018
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献1の手法では、例えば、疾患の影響で組織の構造が崩れている場合等には、各画素がどの組織に属するかを精度良くマッピングすることが困難となる。その結果、組織の境界・特定部位の検出精度も低下する。
【0005】
本開示の典型的な目的は、眼科画像に写っている組織の境界および特定部位の少なくともいずれかを適切に検出することが可能な眼科画像処理装置、OCT装置、および眼科画像処理プログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記眼科画像中の領域内において前記組織の特定の境界および特定部位の少なくともいずれかが存在する、一次元以上の座標を確率変数とする確率分布を取得し、取得した前記確率分布に基づいて、前記特定の境界および前記特定部位の少なくともいずれかを検出する。
【0007】
本開示における典型的な実施形態が提供するOCT装置は、参照光と、被検眼の組織に照射された測定光の反射光とによるOCT信号を処理することで、前記組織の眼科画像を撮影するOCT装置であって、前記OCT装置の制御部は、撮影した前記眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、前記眼科画像中の領域内において前記組織の特定の境界および特定部位の少なくともいずれかが存在する、一次元以上の座標を確率変数とする確率分布を取得し、取得した前記確率分布に基づいて、前記特定の境界および前記特定部位の少なくともいずれかを検出する。
【0008】
本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記眼科画像中の領域内において前記組織の特定の境界および特定部位の少なくともいずれかが存在する、一次元以上の座標を確率変数とする確率分布を取得する確率分布取得ステップと、取得した前記確率分布に基づいて、前記特定の境界および前記特定部位の少なくともいずれかを検出する検出ステップと、を前記眼科画像処理装置に実行させる。
【0009】
本開示に係る眼科画像処理装置、OCT装置、および眼科画像処理プログラムによると、眼科画像に写っている組織の境界および特定部位の少なくともいずれかが適切に検出される。
【図面の簡単な説明】
【0010】
図1】数学モデル構築装置1、眼科画像処理装置21、および眼科画像撮影装置11A,11Bの概略構成を示すブロック図である。
図2】数学モデル構築装置1が実行する数学モデル構築処理のフローチャートである。
図3】訓練用眼科画像30の一例を示す図である。
図4】訓練用データ31の一例を示す図である。
図5】眼科画像処理装置21が実行する境界検出処理のフローチャートである。
図6】数学モデルに入力される二次元断層画像40と、二次元断層画像40中の一次元領域A1~ANの関係を模式的に示す図である。
図7】一次元領域A1の一次元座標を確率変数として、境界Biが存在する座標の確率分布を示すグラフの一例である。
図8】内境界膜(ILM)である境界Biの確率マップの一例を示す図である。
図9】神経線維層(NFL)と神経節細胞層(GCL)の境界Bgの確率マップの一例を示す図である。
図10】眼科画像処理装置21が実行する特定部位検出処理のフローチャートである。
図11】数学モデルに入力される眼科画像50と、眼科画像50中の二次元座標の座標系Cの関係を模式的に示す図である。
図12】二次元座標を確率変数とした、特定部位が存在する座標の確率分布を示すグラフの一例である。
【発明を実施するための形態】
【0011】
<概要>
本開示で例示する眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに眼科画像を入力することで、眼科画像中領域内において組織の特定の境界および特定部位の少なくともいずれかが存在する座標を確率変数とする確率分布を取得する。制御部は、取得した確率分布に基づいて、特定の境界および特定部位の少なくともいずれかを検出する。
【0012】
本開示で例示する眼科画像処理装置によると、例えば、疾患の影響で組織の構造が崩れている場合、または、眼科画像の少なくとも一部の画質が良好でない場合等であっても、座標を確率変数とする確率分布に基づいて、適切且つ直接的に境界・特定部位が検出される。
【0013】
なお、前述した従来技術では、各画素がどの層に属するかがマッピングされた後に、マッピングの結果に基づいて層の厚さが出力され、最終的に層の境界が検出される。この場合、多段階の処理が必要となるので、処理量を削減させることが困難である。これに対し、本開示で例示する眼科画像処理装置では、座標を確率変数とする確率分布に基づいて境界・特定部位を検出する処理の処理量は僅かである。従って、処理量も容易に削減し得る。
【0014】
なお、前述した「領域」は、一次元の領域、二次元の領域、および三次元の領域のいずれであってもよい。「領域」が一次元の領域である場合、座標は一次元座標となる。同様に、「領域」が二次元の領域である場合、座標は二次元座標となり、「領域」が三次元の領域である場合、座標は三次元座標となる。
【0015】
なお、確率分布を取得する対象となる「特定の境界」は、1つの境界であってもよいし、複数の境界であってもよい。複数の境界の確率分布を取得する場合、制御部は、複数の境界の各々について別々に確率分布を取得してもよい。同様に、確率分布を取得する対象となる「特定部位」の数も、1つであってもよいし複数であってもよい。
【0016】
確率分布に基づいて境界・特定部位を検出する処理には、確率分布を取得する処理と同様に数学モデルが利用されてもよい。また、制御部自身が、数学モデルを利用せずに、取得された確率分布に基づいて境界・特定部位を検出してもよい。
【0017】
数学モデルに入力される眼科画像には、種々の画像を用いることができる。例えば、眼科画像は、OCT装置によって撮影された被検眼の組織の二次元断層画像または三次元断層画像であってもよい。断層画像は、OCT装置以外の装置(例えばシャインプルーフカメラ等)によって撮影されてもよい。また、眼科画像は、眼底カメラによって撮影された二次元正面画像、レーザ走査型検眼装置(SLO)によって撮影された二次元正面画像等であってもよい。眼科画像は、OCT装置によって撮影された三次元断層画像のデータに基づいて生成される二次元正面画像(所謂「Enface画像」)であってもよい。また、眼科画像は、同一位置から異なる時間に取得された複数のOCTデータを処理することで得られるモーションコントラストデータから作成される二次元正面画像(所謂「モーションコントラスト画像」)であってもよい。二次元正面画像とは、撮影光の光軸の方向から組織を撮影した二次元の画像である。また、撮影対象となる組織も適宜選択できる。例えば、被検眼の眼底、前眼部、隅角等のいずれかを撮影した画像が眼科画像として用いられてもよい。
【0018】
数学モデルは、入力側を過去に撮影された被検眼の組織の眼科画像のデータデータとし、且つ、出力側を入力側の眼科画像における組織の特定の境界および特定部位の少なくともいずれかの位置を示すデータとする訓練データセットを用いて訓練されていてもよい。この場合、訓練された数学モデルは、眼科画像を入力することで、座標を確率変数とする特定の境界・特定部位の確率分布を適切に出力することができる。
【0019】
なお、数学モデルを構築する数学モデル構築装置によって実行される数学モデル構築方法は、以下のように表現することができる。機械学習アルゴリズムによって訓練されることで構築され、眼科画像が入力されることで、入力された眼科画像に応じたデータを出力する数学モデルを構築する数学モデル構築装置によって実行される数学モデル構築方法であって、被検眼の組織の眼科画像を訓練用眼科画像として取得する入力用訓練データ取得ステップと、前記入力用訓練データ取得ステップにおいて取得された前記訓練用眼科画像における前記組織の特定の境界および特定部位の少なくともいずれかの位置を示す訓練用データを取得する出力用訓練データ取得ステップと、前記訓練用眼科画像のデータを入力用訓練データとし、且つ、前記訓練用データを出力用訓練データとして前記数学モデルを訓練させることで、入力された眼科画像中の領域内において組織の特定の境界および特定部位の少なくともいずれかが存在する座標を確率変数とする確率分布を出力する数学モデルを構築する訓練ステップと、を含む数学モデル構築方法。
【0020】
制御部は、数学モデルに眼科画像を入力することで、眼科画像中の組織の特定の境界に交差する方向に延びる一次元の領域において、特定の境界が存在する一次元座標を確率変数とする確率分布を取得してもよい。制御部は、取得した確率分布に基づいて特定の境界を検出してもよい。この場合、適切に偏った確率分布が得られ易いので、特定の境界の検出精度が向上しやすい。
【0021】
なお、眼科画像は、OCT装置によって撮影された二次元断層画像または三次元断層画像であってもよい。この場合、OCT装置による測定光の光軸の方向(所謂「Aスキャン方向」)に延びる一次元の領域について、一次元座標を確率変数とする確率分布が取得されてもよい。組織の境界の方向は、Aスキャン方向に対して垂直に近くなり易い。従って、一次元の領域が延びる方向をAスキャン方向とすることで、確率分布が適切に偏り易くなる。また、一次元の領域と特定の境界の交点が2つ以上となる可能性も低下する。よって、特定の境界の検出精度が向上する。また、制御部は、特定の境界に対して垂直に延びる一次元の領域について、一次元座標を確率変数とする確率分布を取得してもよい。この場合、より確率分布が偏り易くなる。
【0022】
制御部は、互いに異なる複数の一次元の領域の各々について取得された、複数の確率分布に基づいて、二次元または三次元の境界を検出してもよい。この場合、二次元または三次元の境界が適切に把握される。
【0023】
なお、複数の一次元の領域の各々に関する確率分布に対して後処理が行われたうえで、二次元または三次元の境界が検出されてもよい。例えば、N番目の一次元領域上の確率分布と、N番目の一次元領域の近傍に位置する一次元領域上の確率分布とに基づいて、N番目の一次元領域上の境界が検出されてもよい。この場合、例えば、公知のグラフカット等の手法を採用できる。また、重みが最小の経路を求める最短経路探索の理論が利用されることで、二次元または三次元の境界が検出されてもよい。
【0024】
制御部は、複数の一次元の領域の各々について取得された複数の確率分布に基づいて生成される、特定の境界らしさを示す二次元または三次元のマップを取得してもよい。つまり、眼科画像処理装置は、特定の境界らしさを示す二次元または三次元のマップを取得するマップ取得ステップを実行してもよい。この場合、二次元または三次元の特定の境界の位置が、マップに基づいて適切に把握される。
【0025】
なお、制御部は、取得したマップを表示装置に表示させてもよい。この場合、ユーザは、表示されたマップを見ることで、二次元または三次元の特定の境界の位置を適切に把握することができる。マップは、数学モデルから出力された複数の確率分布に基づいて、制御部によって生成されてもよい。また、数学モデルがマップを出力してもよい。
【0026】
眼科画像は、OCT装置によって撮影された三次元断層画像であってもよい。制御部は、三次元断層画像と、検出した三次元の境界とに基づいて、三次元断層画像に含まれる特定の層を測定光の光軸に沿う方向から見た場合の二次元正面画像(所謂「Enface画像」)を取得してもよい。つまり、眼科画像処理装置は、三次元断層画像と、検出した三次元の境界とに基づいてEnface画像を取得するEnface画像取得ステップを実行してもよい。この場合、適切に検出された境界に基づいて特定の層が特定されたうえで、特定の層のEnface画像が適切に取得される。Enface画像は、制御部によって生成されてもよい。また、数学モデルがEnface画像を出力してもよい。
【0027】
また、制御部は、三次元断層画像と、検出した三次元の境界とに基づいて、三次元断層画像に含まれる特定の層の厚みの分布を二次元で示す厚みマップを取得してもよい。この場合、適切に検出された境界に基づいて特定の層が特定されたうえで、より正確な厚みマップが取得される。
【0028】
制御部は、数学モデルに眼科画像を入力することで、眼科画像中の二次元以上の領域において特定部位が存在する確率の、二次元以上の座標を確率変数とする確率分布を取得してもよい。制御部は、取得した確率分布に基づいて特定部位を検出してもよい。この場合、二次元領域または三次元領域において、特定部位が適切に検出される。
【0029】
<実施形態>
(装置構成)
以下、本開示における典型的な実施形態の1つについて、図面を参照して説明する。図1に示すように、本実施形態では、数学モデル構築装置1、眼科画像処理装置21、および眼科画像撮影装置11A,11Bが用いられる。数学モデル構築装置1は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された眼科画像に基づいて、眼科画像中の領域内において特定の境界・特定部位が存在する座標を確率変数とする確率分布を出力する。眼科画像処理装置21は、数学モデルを用いて確率分布を取得し、確率分布に基づいて特定の境界・特定部位を検出する。眼科画像撮影装置11A,11Bは、被検眼の組織の画像である眼科画像を撮影する。
【0030】
一例として、本実施形態の数学モデル構築装置1にはパーソナルコンピュータ(以下、「PC」という)が用いられる。詳細は後述するが、数学モデル構築装置1は、眼科画像撮影装置11Aから取得した眼科画像(以下、「訓練用眼科画像」という)と、訓練用眼科画像における組織の特定の境界・特定部位を示す訓練用データとを利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置1として機能できるデバイスは、PCに限定されない。例えば、眼科画像撮影装置11Aが数学モデル構築装置1として機能してもよい。また、複数のデバイスの制御部(例えば、PCのCPUと、眼科画像撮影装置11AのCPU13A)が、協働して数学モデルを構築してもよい。
【0031】
また、本実施形態の眼科画像処理装置21にはPCが用いられる。しかし、眼科画像処理装置21として機能できるデバイスも、PCに限定されない。例えば、眼科画像撮影装置11Bまたはサーバ等が、眼科画像処理装置21として機能してもよい。眼科画像撮影装置(本実施形態ではOCT装置)11Bが眼科画像処理装置21として機能する場合、眼科画像撮影装置11Bは、眼科画像を撮影しつつ、撮影した眼科画像の組織における特定の境界・特定部位を適切に検出することができる。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置21として機能してもよい。複数のデバイスの制御部(例えば、PCのCPUと、眼科画像撮影装置11BのCPU13B)が、協働して各種処理を行ってもよい。
【0032】
また、本実施形態では、各種処理を行うコントローラの一例としてCPUが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、CPU以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてGPUを採用することで、処理の高速化を図ってもよい。
【0033】
数学モデル構築装置1について説明する。数学モデル構築装置1は、例えば、眼科画像処理装置21または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置1は、各種制御処理を行う制御ユニット2と、通信I/F5を備える。制御ユニット2は、制御を司るコントローラであるCPU3と、プログラムおよびデータ等を記憶することが可能な記憶装置4を備える。記憶装置4には、後述する数学モデル構築処理(図2参照)を実行するための数学モデル構築プログラムが記憶されている。また、通信I/F5は、数学モデル構築装置1を他のデバイス(例えば、眼科画像撮影装置11Aおよび眼科画像処理装置21等)と接続する。
【0034】
数学モデル構築装置1は、操作部7および表示装置8に接続されている。操作部7は、ユーザが各種指示を数学モデル構築装置1に入力するために、ユーザによって操作される。操作部7には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部7と共に、または操作部7に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置8は、各種画像を表示する。表示装置8には、画像を表示可能な種々のデバイス(例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか)を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。
【0035】
数学モデル構築装置1は、眼科画像撮影装置11Aから眼科画像のデータ(以下、単に「眼科画像」という場合もある)を取得することができる。数学モデル構築装置1は、例えば、有線通信、無線通信、着脱可能な記憶媒体(例えばUSBメモリ)等の少なくともいずれかによって、眼科画像撮影装置11Aから眼科画像のデータを取得してもよい。
【0036】
眼科画像処理装置21について説明する。眼科画像処理装置21は、例えば、被検者の診断または検査等を行う施設(例えば、病院または健康診断施設等)に配置される。眼科画像処理装置21は、各種制御処理を行う制御ユニット22と、通信I/F25を備える。制御ユニット22は、制御を司るコントローラであるCPU23と、プログラムおよびデータ等を記憶することが可能な記憶装置24を備える。記憶装置24には、後述する眼科画像処理(例えば、図5に例示する境界検出処理、および、図10に示す特定部位検出処理等)を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置1によって構築された数学モデルを実現させるプログラムが含まれる。通信I/F25は、眼科画像処理装置21を他のデバイス(例えば、眼科画像撮影装置11Bおよび数学モデル構築装置1等)と接続する。
【0037】
眼科画像処理装置21は、操作部27および表示装置28に接続されている。操作部27および表示装置28には、前述した操作部7および表示装置8と同様に、種々のデバイスを使用することができる。
【0038】
眼科画像処理装置21は、眼科画像撮影装置11Bから眼科画像を取得することができる。眼科画像処理装置21は、例えば、有線通信、無線通信、着脱可能な記憶媒体(例えばUSBメモリ)等の少なくともいずれかによって、眼科画像撮影装置11Bから眼科画像を取得してもよい。また、眼科画像処理装置21は、数学モデル構築装置1によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。
【0039】
眼科画像撮影装置11A,11Bについて説明する。一例として、本実施形態では、数学モデル構築装置1に眼科画像を提供する眼科画像撮影装置11Aと、眼科画像処理装置21に眼科画像を提供する眼科画像撮影装置11Bが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は2つに限定されない。例えば、数学モデル構築装置1および眼科画像処理装置21は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置1および眼科画像処理装置21は、共通する1つの眼科画像撮影装置から眼科画像を取得してもよい。なお、本実施形態で例示する2つの眼科画像撮影装置11A,11Bは、同一の構成を備える。従って、以下では、2つの眼科画像撮影装置11A,11Bについて纏めて説明を行う。
【0040】
また、本実施形態では、眼科画像撮影装置11(11A,11B)として、OCT装置を例示する。ただし、OCT装置以外の眼科画像撮影装置(例えば、レーザ走査型検眼装置(SLO)、眼底カメラ、シャインプルーフカメラ、または角膜内皮細胞撮影装置(CEM)等)が用いられてもよい。
【0041】
眼科画像撮影装置11(11A,11B)は、各種制御処理を行う制御ユニット12(12A,12B)と、眼科画像撮影部16(16A,16B)を備える。制御ユニット12は、制御を司るコントローラであるCPU13(13A,13B)と、プログラムおよびデータ等を記憶することが可能な記憶装置14(14A,14B)を備える。
【0042】
眼科画像撮影部16は、被検眼の眼科画像を撮影するために必要な各種構成を備える。本実施形態の眼科画像撮影部16には、OCT光源、OCT光源から出射されたOCT光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、被検眼の組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。
【0043】
眼科画像撮影装置11は、被検眼の眼底の二次元断層画像および三次元断層画像を撮影することができる。詳細には、CPU13は、スキャンライン上にOCT光(測定光)を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。二次元断層画像は、同一部位の複数の断層画像に対して加算平均処理を行うことで生成された加算平均画像であってもよい。また、CPU13は、OCT光を二次元的に走査することによって、組織における三次元断層画像を撮影することができる。例えば、CPU13は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、CPU13は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する。
【0044】
(数学モデル構築処理)
図2図4を参照して、数学モデル構築装置1が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置4に記憶された数学モデル構築プログラムに従って、CPU3によって実行される。数学モデル構築処理では、訓練データセットによって数学モデルが訓練されることで、眼科画像中領域内において組織の特定の境界および特定部位の少なくともいずれかが存在する座標を確率変数とする確率分布を出力する数学モデルが構築される。訓練データセットには、入力側のデータ(入力用訓練データ)と出力側のデータ(出力用訓練データ)が含まれる。
【0045】
図2に示すように、CPU3は、眼科画像撮影装置11Aによって撮影された眼科画像である訓練用眼科画像のデータを、入力用訓練データとして取得する(S1)。本実施形態では、訓練用眼科画像のデータは、眼科画像撮影装置11Aによって生成された後、数学モデル構築装置1によって取得される。しかし、CPU3は、訓練用眼科画像を生成する基となる信号(例えばOCT信号)を眼科画像撮影装置11Aから取得し、取得した信号に基づいて訓練用眼科画像を生成することで、訓練用眼科画像のデータを取得してもよい。
【0046】
なお、本実施形態では、後述する境界検出処理(図5参照)が眼科画像処理装置21によって実行される場合には、S1において、被検眼の組織(一例として眼底)の二次元断層画像が訓練用眼科画像として取得される。図3に、眼底の二次元断層画像である訓練用眼科画像30の一例を示す。図3に例示する訓練用眼科画像30には、眼底における複数の層が表れている。
【0047】
また、後述する特定部位検出処理(図10参照)が眼科画像処理装置21によって実行される場合には、S1では、被検眼の組織(一例として眼底)の二次元正面画像(例えば、OCT装置である眼科画像撮影装置11Aによって撮影されたEnface画像等)が訓練用眼科画像として取得される。
【0048】
ただし、訓練用眼科画像として使用される眼科画像を変更することも可能である。例えば、訓練用眼科画像として二次元正面画像が使用される場合には、訓練用眼科画像は、OCT装置以外の装置(例えば、SLO装置または眼底カメラ等)によって撮影された二次元正面画像であってもよい。正面画像以外の二次元の画像(例えば、二次元断層画像)が、訓練用眼科画像として使用されてもよい。また、後述する特定部位検出処理(図10参照)において、三次元上で特定部位が検出される場合には、S1では、三次元断層画像が訓練用眼科画像として取得されてもよい。
【0049】
次いで、CPU3は、訓練用眼科画像における組織の特定の境界および特定部位の少なくともいずれかの位置を示す訓練用データを取得する(S2)。図4に、訓練用眼科画像30として眼底の二次元断層画像が使用される場合の、特定の境界の位置を示す訓練用データ31の一例を示す。図4に例示する訓練用データ31には、訓練用眼科画像30における6つの境界の各々の位置を示すラベル32A~32Fのデータが含まれている。本実施形態では、訓練用データ31におけるラベル32A~32Fのデータは、作業者が訓練用眼科画像30における境界を見ながら操作部7を操作することで生成される。ただし、ラベルのデータの生成方法を変更することも可能である。
【0050】
なお、後述する特定部位検出処理(図10参照)が眼科画像処理装置21によって実行される場合には、訓練用眼科画像である二次元断層画像または三次元断層画像の組織における特定部位の位置を示すデータが、S2で取得される。例えば、後述する特定部位検出処理では中心窩の位置が検出される。この場合、S2では、二次元断層画像または三次元断層画像における中心窩の位置を示すデータが取得される。
【0051】
次いで、CPU3は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する(S3)。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン(SVM)等が一般的に知られている。
【0052】
ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード(順伝播型)ニューラルネットワーク、RBFネットワーク(放射基底関数)、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク(リカレントニューラルネット、フィードバックニューラルネット等)、確率的ニューラルネット(ボルツマンマシン、ベイシアンネットワーク等)等がある。
【0053】
ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均(あるいは多数決)を取る。
【0054】
ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。
【0055】
SVMは、線形入力素子を利用して2クラスのパターン識別器を構成する手法である。SVMは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準(超平面分離定理)で、線形入力素子のパラメータを学習する。
【0056】
数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。前述したように、訓練データセットは、入力用訓練データと出力用訓練データのセットである。例えば、訓練によって、各入力と出力の相関データ(例えば、重み)が更新される。
【0057】
本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の1つ以上の隠れ層を含む。各層には、複数のノード(ユニットとも言われる)が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク(CNN)が用いられている。また、本実施形態で構築される数学モデルは、眼科画像中の領域(一次元領域、二次元領域、および三次元領域のいずれか)内において、組織の特定の境界および特定部位の少なくともいずれかが存在する座標(一次元座標、二次元座標、および三次元座標のいずれか)を確率変数とする確率分布を出力する。本実施形態では、数学モデルに確率分布を出力させるために、ソフトマックス関数が適用されている。
【0058】
本実施形態では、後述する境界検出処理(図5参照)が眼科画像処理装置21によって実行される場合には、S3で構築される数学モデルは、二次元断層画像中の特定の境界に交差する方向(本実施形態では、OCTのAスキャン方向)に延びる線上の一次元領域における、特定の境界が存在する座標の確率分布を出力する。
【0059】
また、後述する特定部位検出処理(図10参照)が眼科画像処理装置21によって実行される場合には、S3で構築される数学モデルは、二次元の眼科画像中の二次元の領域において、特定部位(例えば、本実施形態では中心窩)が存在する二次元座標を確率変数とする確率分布を出力する。
【0060】
ただし、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する2つのニューラルネットワークを利用する敵対的生成ネットワーク(Generative adversarial networks:GAN)が、機械学習アルゴリズムとして採用されてもよい。
【0061】
数学モデルの構築が完了するまで(S4:NO)、S1~S3の処理が繰り返される。数学モデルの構築が完了すると(S4:YES)、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置21に組み込まれる。
【0062】
(眼科画像処理)
図5から図12を参照して、眼科画像処理装置21が実行する眼科画像処理について説明する。眼科画像処理は、記憶装置21に記憶された眼科画像処理プログラムに従って、CPU23によって実行される。
【0063】
(境界検出処理)
図5から図9を参照して、眼科画像処理の一例である境界検出処理について説明する。境界検出処理では、複数の一次元領域の各々において、特定の境界が存在する一次元座標を確率変数とする確率分布に基づいて、特定の境界(本実施形態では、二次元の境界および三次元の境界)が検出される。さらに、検出された三次元の境界に基づいて、組織における特定の層のEnface画像が取得される。
【0064】
まず、CPU23は、被検眼の組織(本実施形態では眼底)の三次元断層画像を取得する(S11)。三次元断層画像は、眼科画像撮影装置11Bによって撮影されて、眼科画像処理装置21によって取得される。前述したように、三次元断層画像は、互いに異なるスキャンライン上に測定光を走査させることで撮影された複数の二次元断層画像を組み合わせることで構成されている。なお、CPU23は、三次元断層画像を生成する基となる信号(例えばOCT信号)を眼科画像撮影装置11Bから取得し、取得した信号に基づいて三次元断層画像を生成してもよい。
【0065】
CPU23は、取得した三次元断層画像を構成する複数の二次元断層画像のうち、T番目(Tの初期値は「1」)の二次元断層画像を抽出する(S12)。図6に、二次元断層画像40の一例を示す。二次元断層画像40には、被検眼の眼底における複数の境界が表れている。図6に示す例では、内境界膜(ILM)である境界Biと、神経線維層(NFL)と神経節細胞層(GCL)の境界Bgを含む複数の境界が表れている。また、二次元断層画像40中に、複数の一次元領域A1~ANが設定される。本実施形態では、二次元断層画像40中に設定される複数の一次元領域A1~ANは、特定の境界(本実施形態では、境界Biと境界Bgを含む複数の境界)に交差する軸に沿って延びる。詳細には、本実施形態の一次元領域A1~ANは、OCT装置によって撮影された二次元断層画像40を構成する複数(N本)のAスキャンの各々の領域に一致する。
【0066】
なお、複数の一次元領域を設定する方法を変更することも可能である。例えば、CPU23は、各々の一次元領域の軸と特定の境界の角度が極力垂直に近づくように、複数の一次元領域を設定してもよい。この場合、各々の一次元領域の位置および角度は、例えば、一般的な被検眼の組織(本実施形態では眼底)の形状に基づいて、角度が垂直に近づくように設定されてもよい。
【0067】
CPU23は、数学モデルにT番目の二次元断層画像を入力することで、複数の一次元領域A1~ANの各々において、M番目(Mの初期値は「1」)の境界が存在する座標の確率分布を取得する(S14)。図7に、一次元領域A1から取得される、境界Biが存在する座標の確率分布を示すグラフの一例を示す。図7に示す例では、一次元領域A1の一次元座標を確率変数として、境界Biが存在する座標の確率分布が示されている。つまり、図7に示す例では、横軸は確率変数、縦軸は前記確率変数の確率であり、前記確率変数は一次元領域A1における境界Biの存在する座標である。S14では、複数の一次元領域A1~ANの各々における確率分布が取得される。
【0068】
図7に示すグラフによると、一次元領域A1上の各点の中で、境界Biが存在する可能性が最も高い点が、点Pであると判断できる。また、仮に、疾患の影響で組織の構造が崩れている場合、または、眼科画像の少なくとも一部の画質が良好でない場合等であっても、数学モデルによって出力される確率分布は、いずれかの位置にピークを形成する可能性が高い。よって、S14で出力される確率分布を用いることで、境界が適切且つ直接的に検出される。
【0069】
CPU23は、T番目の二次元断層画像におけるM番目の境界に関し、M番目の境界が存在する割合を二次元的に示す確率マップを取得する。CPU23は、取得した確率マップを表示装置28に表示させる(S15)。確率マップは、複数の一次元領域A1~ANの各々について取得された複数の確率分布を二次元に並べることで生成される。確率マップは、複数の確率分布に基づいてCPU23が生成してもよい。また、数学モデルによって確率マップが生成されてもよい。
【0070】
図8は、内境界膜(ILM)である境界Biの確率マップ41の一例である。図9は、神経線維層(NFL)と神経節細胞層(GCL)の境界Bgの確率マップ42の一例である。図8および図9に例示する確率マップ41,42では、各座標に対する値を輝度で表現しており、特定の境界らしい位置ほど明るくなっている。従って、ユーザは、表示された確率マップ41,42を見ることで、境界Bi,Bgの位置を二次元的に適切に把握することができる。なお、確率マップの表現方法を適宜変更できることは言うまでもない。
【0071】
次いで、CPU23は、複数の一次元領域A1~ANの各々について取得された、M番目の境界に関する確率分布に基づいて、二次元のM番目の境界を検出する(S16)。本実施形態では、CPU23は、複数の一次元領域A1~ANの各々について取得された複数の確率分布を結合させることで、二次元の境界を検出する。二次元の境界は、S14で取得された複数の確率分布に基づいて検出されてもよいし、S15で取得された確率マップに基づいて検出されてもよい。また、数学モデルが境界の検出結果を出力してもよいし、CPU23が境界の検出処理を行ってもよい。
【0072】
なお、本実施形態では、複数の一次元領域A1~ANに関する確率分布に対して後処理が行われたうえで、確率マップの生成および境界の検出が実行される。一例として、n番目の一次元領域上の確率分布と、n番目の一次元領域の近傍に位置する一次元領域上の確率分布とに基づいて、n番目の一次元領域上の境界が検出されてもよい。この場合、例えば、公知のグラフカット等の手法が採用されてもよい。また、重みが最小の経路を求める最短経路探索の理論が利用されることで、境界が検出されてもよい。
【0073】
また、CPU23は、境界を検出する対象とされた二次元断層画像(つまり、生画像)上に、確率マップ41,42、または、検出された特定の境界を重畳表示させてもよい。この場合、実際に撮影された組織と、確率分布によって検出される境界の位置関係が、適切に把握される。また、CPU23は、確率マップ41,42または検出された境界を、生画像上に重畳表示させた状態で、組織における境界の位置を指定するためのユーザからの指示を入力してもよい。この場合、ユーザは、確率分布によって検出される境界と、実際に撮影された組織の画像を比較しながら、適切に境界の位置を指定することができる。
【0074】
次いで、CPU23は、T番目の二次元断層画像において検出対象とする、全ての境界の検出が完了したか否かを判断する(S18)。一部の境界の検出が完了していなければ(S18:NO)、境界の順番Mに「1」が加算されて(S19)、処理はS14に戻り、次の境界の検出処理が実行される(S14~S16)。全ての境界の検出が完了すると(S18:YES)、CPU23は、三次元断層画像を構成する全ての二次元断層画像の境界の検出が完了したか否かを判断する(S21)。一部の二次元断層画像の境界の検出が完了していなければ(S21:NO)、二次元断層画像の順番Tに「1」が加算されて(S22)、処理はS12に戻り、次の二次元断層画像の境界が検出される(S12~S19)。
【0075】
全ての二次元断層画像の境界の検出が完了すると(S21:YES)、三次元の境界の検出が完了している。CPU23は、M個の境界の少なくともいずれかに関し、S16で検出された複数の二次元の境界を統合させることで、三次元の境界を取得する(S24)。なお、CPU23は、検出した三次元の境界の画像のデータを生成し、表示装置28に表示させることができる。従って、ユーザは、境界の三次元形状を適切に把握することができる。また、T枚の二次元断層画像に対する確率分布の取得結果に基づいて、三次元領域における確率分布を示す確率マップが生成されてもよい。
【0076】
次いで、CPU23は、検出された三次元の境界と、S11で取得された三次元断層画像とに基づいて、三次元断層画像に含まれる特定の層(境界でもよい)のEnface画像を取得する(S25)。Enface画像とは、特定の層を、OCTの測定光の光軸に沿う方向から見た場合の二次元正面画像である。S25で取得されるEnface画像は、適切に検出された境界に基づいて生成されるので、品質が高い。なお、S25では、三次元画像に含まれる複数の層および境界のうち、特定の1つについてのEnface画像が取得されてもよい。また、三次元画像に含まれる複数の層および境界のうちの複数についてのEnface画像が取得されてもよい。
【0077】
また、CPU23は、S11で取得された三次元断層画像と、検出された三次元の境界とに基づいて、三次元断層画像に含まれる特定の層の厚みの分布を二次元で示す厚みマップを取得してもよい。この場合、適切に検出された境界に基づいて特定の層が特定されたうえで、より正確な厚みマップが取得される。
【0078】
なお、図5に示す例では、S11において三次元断層画像が取得された後、特定の境界が二次元および三次元で検出される。さらに、検出された三次元の境界に基づいて、Enface画像が取得される。しかし、二次元の境界のみが検出されてもよい。この場合、S11では二次元の眼科画像が取得されてもよい。また、図5に示す例では、S14において、複数の一次元領域A1~ANの各々に関する複数の確率分布が取得される。その結果、二次元の境界が検出される。しかし、例えば、特定の境界上の1つの点のみを検出さればよい場合等には、S14では、1つの一次元領域における確率分布のみが取得されてもよい。
【0079】
(特定部位検出処理)
図10から図12を参照して、眼科画像処理の一例である特定部位検出処理について説明する。特定部位検出処理では、特定部位が存在する座標の確率分布に基づいて、特定部位が検出される。以下では、二次元の眼科画像から特定部位を検出する場合について例示する。
【0080】
まず、CPU23は、被検眼の組織(本実施形態では眼底)の眼科画像を取得する(S31)。一例として、本実施形態のS31では、OCT装置によって撮影された二次元正面画像(例えば、Enface画像またはモーションコントラスト画像)が取得される。しかし、S31で取得される眼科画像は適宜変更できる。例えば、SLO装置または眼底カメラ等によって撮影された二次元正面画像がS31で取得されてもよい。また、眼底以外の組織が撮影された眼科画像が、S31で取得されてもよい。
【0081】
図11に、本実施形態のS31で取得される眼科画像50の一例を示す。図11で例示する二次元の眼科画像50では、眼底における視神経乳頭51、黄斑52、および眼底血管53が写っている。黄斑52の中心が中心窩Fとなる。また、二次元の眼科画像50中の二次元領域Cに、二次元の座標系(XY座標)が設定される。
【0082】
CPU23は、数学モデルに眼科画像50を入力することで、眼科画像50中の二次元領域において特定部位が存在する、二次元座標を確率変数とする確率分布を取得する(S32)。一例として、本実施形態における特定部位は中心窩Fである。しかし、特定部位が中心窩Fに限定されないことは言うまでもない。例えば、特定部位は、視神経乳頭等であってもよい。また、特定部位は、1つの点であってもよいし、一定の領域または体積を有する部位であってもよい。CPU23は、S32で取得された確率分布に基づいて、二次元の眼科画像50における特定部位を検出する(S33)。
【0083】
図12に、二次元の座標系から取得される、特定部位が存在する座標を確率変数とする確率分布を示すグラフの一例を示す。図12に示す例では、X軸・Y軸が確率変数、X軸とY軸に直交する軸が前記確率変数の確率であり、前記確率変数は、二次元領域Cにおける中心窩Fが存在する座標である。図12に示すグラフによると、二次元領域C内の各点の中で、中心窩Fが存在する可能性が最も高い点の座標が(X´,Y´)であると判断できる。また、仮に、疾患の影響で組織の構造が崩れている場合、または、眼科画像の少なくとも一部の画質が良好でない場合等であっても、数学モデルによって出力される確率分布は、いずれかの位置にピークを形成する可能性が高い。よって、特定部位が適切且つ直接的に検出される。
【0084】
なお、特定部位検出処理では、三次元の眼科画像から特定部位を検出することも可能である。この場合、S31では三次元の眼科画像(例えば、OCT装置によって撮影された三次元断層画像等)が取得される。S32では、三次元の眼科画像中の三次元の領域において、特定部位が存在する三次元座標を確率変数とする確率分布が取得される。S33では、S32で取得された確率分布に基づいて、三次元の眼科画像における特定部位が検出される。
【0085】
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態で例示された複数の技術のうちの一部のみを実行することも可能である。例えば、眼科画像処理装置21は、境界検出処理(図5参照)、および、特定部位検出処理(図10参照)の一方のみを実行してもよい。
【0086】
なお、図2のS1で訓練用眼科画像を取得する処理は、「入力用訓練データ取得ステップ」の一例である。図2のS2で訓練用データを取得する処理は、「出力用訓練データ取得ステップ」の一例である。図2のS3で数学モデルを訓練する処理は、「訓練ステップ」の一例である。図5のS11および図10のS31で眼科画像を取得する処理は、「画像取得ステップ」の一例である。図5のS14および図10のS32で確率分布を取得する処理は、「確率分布取得ステップ」の一例である。図5のS16,S24、および図10のS33で境界または特定部位を検出する処理は、「検出ステップ」の一例である。図5のS15で確率マップを取得する処理は、「マップ取得ステップ」の一例である。図5のS25でEnface画像を取得する処理は、「Enface画像取得ステップ」の一例である。
【符号の説明】
【0087】
1 数学モデル構築装置
3 CPU
11A,11B 眼科画像撮影装置
21 眼科画像処理装置
23 CPU
24 記憶装置
28 表示装置
30 二次元断層画像
41,42 確率マップ
50 眼科画像

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12