IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社トプコンの特許一覧 ▶ 国立大学法人東北大学の特許一覧

特開2022-104239眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022104239
(43)【公開日】2022-07-08
(54)【発明の名称】眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
(51)【国際特許分類】
   G16H 50/20 20180101AFI20220701BHJP
   A61B 3/10 20060101ALI20220701BHJP
   A61B 3/12 20060101ALI20220701BHJP
   A61B 3/14 20060101ALI20220701BHJP
   G16H 30/00 20180101ALI20220701BHJP
【FI】
G16H50/20
A61B3/10 100
A61B3/12
A61B3/14
G16H30/00
【審査請求】未請求
【請求項の数】21
【出願形態】OL
(21)【出願番号】P 2020219319
(22)【出願日】2020-12-28
(71)【出願人】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(71)【出願人】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(74)【代理人】
【識別番号】100124626
【弁理士】
【氏名又は名称】榎並 智和
(72)【発明者】
【氏名】中澤 徹
(72)【発明者】
【氏名】面高 宗子
(72)【発明者】
【氏名】安 光州
【テーマコード(参考)】
4C316
5L099
【Fターム(参考)】
4C316AA09
4C316AA10
4C316AA13
4C316AA18
4C316AA20
4C316AA26
4C316AB04
4C316AB11
4C316FB26
4C316FZ01
5L099AA04
5L099AA26
(57)【要約】
【課題】被検眼の疾患に対して適切な治療を早期に施すための新たな技術を提供する。
【解決手段】眼科情報処理装置は、特徴量抽出器と、分類器とを含む。特徴量抽出器は、被検者の眼の互いに異なる2以上の画像のそれぞれの特徴量を抽出する。分類器は、特徴量抽出器により抽出された2以上の画像のそれぞれの特徴量と被検者又は被検者の眼の状態を表す1以上の背景データとに基づいて被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力する。
【選択図】図1A
【特許請求の範囲】
【請求項1】
被検者の眼の互いに異なる2以上の画像のそれぞれの特徴量を抽出する特徴量抽出器と、
前記特徴量抽出器により抽出された前記2以上の画像のそれぞれの特徴量と前記被検者又は前記被検者の眼の状態を表す1以上の背景データとに基づいて前記被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力する分類器と、
を含む、眼科情報処理装置。
【請求項2】
前記特徴量抽出器は、前記画像ごとに教師あり機械学習を実行することにより得られた2以上の学習済みモデルを用いて前記特徴量を抽出する2以上の抽出器を含み、
前記分類器は、訓練用の複数の被検者の眼の画像の特徴量と前記複数の被検者又は前記複数の被検者の眼の背景データとを訓練データとし、当該画像の分類結果を教師データとする教師あり機械学習を実行することにより得られた分類モデルを用いて前記2以上の確信度情報を出力する
ことを特徴とする請求項1に記載の眼科情報処理装置。
【請求項3】
前記疾患を伴う複数の被検者それぞれの2以上の背景データに対して統計検定を行うことにより前記1以上の背景データを選択する特徴選択器を含む
ことを特徴とする請求項2に記載の眼科情報処理装置。
【請求項4】
前記訓練用の複数の被検者の眼の画像の特徴量と前記1以上の背景データとを訓練データとし、当該画像の分類結果を教師データとする教師あり機械学習を実行することにより前記分類モデルを生成する学習部を含む
ことを特徴とする請求項2又は請求項3に記載の眼科情報処理装置。
【請求項5】
前記特徴量は、前記病態の分類結果を推定するための確信度情報を含む
ことを特徴とする請求項1~請求項4のいずれか一項に記載の眼科情報処理装置。
【請求項6】
前記2以上の画像は、前記被検者の眼に対して光コヒーレンストモグラフィを実行することにより得られたOCT画像と、前記被検者の眼のカラー画像とを含む
ことを特徴とする請求項1~請求項5のいずれか一項に記載の眼科情報処理装置。
【請求項7】
前記OCT画像は、眼底の正面画像、及び前記眼底の断層像の少なくとも1つを含み、
前記カラー画像は、前記眼底のカラー画像を含み、
前記2以上の確信度情報は、ニコレラ分類による緑内障の病態の類型の分類結果を推定するための確信度情報を含む
ことを特徴とする請求項6に記載の眼科情報処理装置。
【請求項8】
前記OCT画像は、視神経乳頭の中心を通過する第1方向のBスキャン画像、視神経乳頭の中心を通過する前記第1方向に交差する第2方向のBスキャン画像、中心窩の中心を通過する前記第2方向のBスキャン画像、プロジェクション画像、en-face画像、及び視神経乳頭の中心と中心窩の中心との中間を通過するBスキャン画像を含む
ことを特徴とする請求項7に記載の眼科情報処理装置。
【請求項9】
前記背景データは、眼軸長、MD値、等価球面度数、年齢、神経乳頭組織血流値、及び過去1年間最小眼圧値の少なくとも1つを含む
ことを特徴とする請求項7又は請求項8に記載の眼科情報処理装置。
【請求項10】
前記2以上の確信度情報は、緑内障が局所虚血型である確信度を表す確信度情報、緑内障が近視型である確信度を表す確信度情報、緑内障が加齢性硬化型である確信度を表す確信度情報、及び緑内障が全体的拡大型である確信度を表す確信度情報を含む
ことを特徴とする請求項7~請求項9のいずれか一項に記載の眼科情報処理装置。
【請求項11】
前記2以上の画像を取得する光学系と、
請求項1~請求項10のいずれか一項に記載の眼科情報処理装置と、
を含む、眼科装置。
【請求項12】
被検者の眼の互いに異なる2以上の画像のそれぞれの特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出された前記2以上の画像のそれぞれの特徴量と前記被検者又は前記被検者の眼の状態を表す1以上の背景データとに基づいて前記被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力する分類ステップと、
を含む、眼科情報処理方法。
【請求項13】
前記特徴量抽出ステップは、前記画像ごとに教師あり機械学習を実行することにより得られた2以上の学習済みモデルを用いて前記特徴量を抽出し、
前記分類ステップは、訓練用の複数の被検者の眼の画像の特徴量と前記複数の被検者又は前記複数の被検者の眼の背景データとを訓練データとし、当該画像の分類結果を教師データとする教師あり機械学習を実行することにより得られた分類モデルを用いて前記2以上の確信度情報を出力する
ことを特徴とする請求項12に記載の眼科情報処理方法。
【請求項14】
前記疾患を伴う複数の被検者それぞれの2以上の背景データに対して統計検定を行うことにより前記1以上の背景データを選択する特徴選択ステップを含む
ことを特徴とする請求項13に記載の眼科情報処理方法。
【請求項15】
前記訓練用の複数の被検者の眼の画像の特徴量と前記1以上の背景データとを訓練データとし、当該画像の分類結果を教師データとする教師あり機械学習を実行することにより前記分類モデルを生成する学習ステップを含む
ことを特徴とする請求項13又は請求項14に記載の眼科情報処理方法。
【請求項16】
前記特徴量は、前記病態の分類結果を推定するための確信度情報を含む
ことを特徴とする請求項12~請求項15のいずれか一項に記載の眼科情報処理方法。
【請求項17】
前記2以上の画像は、前記被検者の眼に対して光コヒーレンストモグラフィを実行することにより得られた眼底のOCT画像と、前記眼底のカラー画像とを含み、
前記2以上の確信度情報は、ニコレラ分類による緑内障の病態の類型の分類結果を推定するための確信度情報を含む
ことを特徴とする請求項12~請求項16のいずれか一項に記載の眼科情報処理方法。
【請求項18】
前記OCT画像は、視神経乳頭の中心を通過する第1方向のBスキャン画像、視神経乳頭の中心を通過する前記第1方向に交差する第2方向のBスキャン画像、中心窩の中心を通過する前記第2方向のBスキャン画像、プロジェクション画像、en-face画像、及び視神経乳頭の中心と中心窩の中心との中間を通過するBスキャン画像を含む
ことを特徴とする請求項17に記載の眼科情報処理方法。
【請求項19】
前記背景データは、眼軸長、MD値、等価球面度数、年齢、神経乳頭組織血流値、及び過去1年間最小眼圧値の少なくとも1つを含む
ことを特徴とする請求項17又は請求項18に記載の眼科情報処理方法。
【請求項20】
前記2以上の確信度情報は、緑内障が局所虚血型である確信度を表す確信度情報、緑内障が近視型である確信度を表す確信度情報、緑内障が加齢性硬化型である確信度を表す確信度情報、及び緑内障が全体的拡大型である確信度を表す確信度情報を含む
ことを特徴とする請求項17~請求項19のいずれか一項に記載の眼科情報処理方法。
【請求項21】
コンピュータに、請求項12~請求項20のいずれか一項に記載の眼科情報処理方法の各ステップを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、深層学習を代表とする機械学習の手法の急速な進歩により、様々な分野で人工知能技術の実用化が進んでいる。特に、医療分野においては、深層学習により診断画像における疾患部位又は組織の態様等の検出精度が向上し、正確、且つ、高精度な医療診断を迅速に行うことができるようになっている。
【0003】
例えば、特許文献1には、過去の時系列の複数の眼底画像における特徴点を教師データとして機械学習し、得られた学習済みモデルを用いて、新たに取得された時系列の複数の眼底画像から緑内障の診断を行う手法が開示されている。例えば、特許文献2には、ニューラルネットワークを用いて、視神経乳頭の形状に応じた緑内障の病態分類を行う手法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2018/211688号
【特許文献2】特開2019-5319号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、緑内障、加齢黄斑変性、又は糖尿病網膜症等の眼底疾患は、スクリーニング等により早期に発見できた場合であっても、適切な治療を施さなければ症状が進行する疾患である。この場合、疾患の病態を適切に把握することで、疾患に対して適切な治療を施すことができる。
【0006】
このように、高精度、且つ、早期に眼底疾患を発見しつつ、発見された眼底疾患の病態を高精度に特定することが求められる。これは、眼底疾患だけではなく被検眼の疾患全般についても同様である。
【0007】
本発明は、このような事情を鑑みてなされたものであり、その目的の1つは、被検眼の疾患に対して適切な治療を早期に施すための新たな技術を提供することにある。
【課題を解決するための手段】
【0008】
実施形態の1つの態様は、被検者の眼の互いに異なる2以上の画像のそれぞれの特徴量を抽出する特徴量抽出器と、前記特徴量抽出器により抽出された前記2以上の画像のそれぞれの特徴量と前記被検者又は前記被検者の眼の状態を表す1以上の背景データとに基づいて前記被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力する分類器と、を含む、眼科情報処理装置である。
【0009】
実施形態の別の態様は、前記2以上の画像を取得する光学系と、上記の眼科情報処理装置と、を含む、眼科装置である。
【0010】
実施形態の別の態様は、被検者の眼の互いに異なる2以上の画像のそれぞれの特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにおいて抽出された前記2以上の画像のそれぞれの特徴量と前記被検者又は前記被検者の眼の状態を表す1以上の背景データとに基づいて前記被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力する分類ステップと、を含む、眼科情報処理方法である。
【0011】
実施形態の別の態様は、コンピュータに、上記の眼科情報処理方法の各ステップを実行させるプログラムである。
【発明の効果】
【0012】
本発明に係るいくつかの実施形態によれば、被検眼の疾患に対して適切な治療を早期に施すための新たな技術を提供することができる。
【図面の簡単な説明】
【0013】
図1A】実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。
図1B】実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。
図2】実施形態に係る眼科装置の光学系の構成の一例を表す概略図である。
図3】実施形態に係る眼科装置の光学系の構成の一例を表す概略図である。
図4】実施形態に係る眼科装置の処理系の構成の一例を表す概略図である。
図5】実施形態に係る眼科装置の処理系の構成の一例を表す概略図である。
図6】実施形態に係る眼科装置の処理系の構成の一例を表す概略図である。
図7A】実施形態に係る眼科装置の動作を説明するための概略図である。
図7B】実施形態に係る眼科装置の動作を説明するための概略図である。
図7C】実施形態に係る眼科装置の動作を説明するための概略図である。
図7D】実施形態に係る眼科装置の動作を説明するための概略図である。
図7E】実施形態に係る眼科装置の動作を説明するための概略図である。
図7F】実施形態に係る眼科装置の動作を説明するための概略図である。
図7G】実施形態に係る眼科装置の動作を説明するための概略図である。
図7H】実施形態に係る眼科装置の動作を説明するための概略図である。
図8】実施形態に係る眼科装置の処理系の構成の一例を表す概略図である。
図9】実施形態に係る眼科装置の処理系の構成の一例を表す概略図である。
図10】実施形態に係る眼科装置の動作フローの一例を表す概略図である。
図11】実施形態に係る眼科装置の動作フローの一例を表す概略図である。
図12】実施形態に係る眼科装置の動作を説明するための概略図である。
図13】実施形態に係る眼科装置の動作を説明するための概略図である。
図14】実施形態に係る眼科装置の動作を説明するための概略図である。
図15】実施形態に係る眼科装置の動作を説明するための概略図である。
図16】実施形態の変形例に係る眼科システムの構成の一例を表す概略図である。
図17】実施形態の変形例に係る眼科システムの構成の一例を表す概略図である。
【発明を実施するための形態】
【0014】
この発明のいくつかの実施形態に係る眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムの例について、図面を参照しながら詳細に説明する。なお、この明細書で引用する文献に記載された事項や任意の公知技術を実施形態に援用することができる。
【0015】
実施形態に係る眼科情報処理装置は、被検者の眼(被検眼)の互いに異なる2以上の画像のそれぞれの特徴量を抽出し、抽出された2以上の特徴量と1以上の背景データとに基づいて被検眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力する。例えば、眼科情報処理装置は、画像毎に教師あり機械学習(supervised machine learning)を実行することにより得られた学習済みモデルを用いて、画像毎に特徴量を抽出する。例えば、眼科情報処理装置は、教師あり機械学習を実行することにより得られた分類モデルを用いて、画像毎に抽出された2以上の特徴量と1以上の背景データとから2以上の確信度情報を出力する。いくつかの実施形態では、眼科情報処理装置は、上記の2以上の確信度情報に基づいて被検眼の疾患の病態の分類結果を推定情報として出力する。
【0016】
ここで、2以上の画像は、互いに撮影方向が異なる被検眼の所定部位(例えば、眼底)の画像である。例えば、2以上の画像は、被検眼に対して光コヒーレンストモグラフィ(Optical Coherence Tomography:OCT)を用いて取得された3次元OCTデータから生成された所望の断面方向の1以上のOCT画像、及び撮影光学系により取得された正面画像(例えば、眼底画像)の少なくとも1つを含む。OCT画像は、断層像、又は正面画像であってよい。
【0017】
また、特徴量は、学習済みモデルの中間層における特徴量、又は学習済みモデルの出力層における被検眼の疾患の病態の分類結果を推定するための確信度情報であってよい。
【0018】
また、背景データは、被検者又は被検眼の状態を表すデータである。被検者の状態を表すデータとして、例えば、年齢、性別、国籍、出生地、疾患の遺伝要因との関連性を示すデータ、及び疾患の環境要因との関連性を示すデータなどがある。被検眼の状態を表すデータとして、例えば、被検眼の形態を示すデータ、及び被検眼の視機能を示すデータなどがある。被検眼の状態を表すデータは、他覚的又は自覚的に被検眼を検査することにより得られる。
【0019】
更に、確信度情報は、所定の疾患の複数の病態のそれぞれについて、被検眼が伴う疾患の病態の推定結果の確信度(例えば、当該病態であると推定される確率)を表す情報である。
【0020】
以下、実施形態に係る眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムが眼底疾患に適用される場合について説明する。しかしながら、実施形態に係る眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムの適用分野は眼底疾患に限定されることなく、被検眼の疾患全般に適用することが可能である。
【0021】
例えば、眼科情報処理装置は、被検眼の眼底の複数の画像と被検者又は被検眼の1以上の背景データとから眼底疾患の病態の分類結果を推定するための2以上の確信度情報を出力する。
【0022】
眼底疾患には、緑内障、加齢黄斑変性、糖尿病網膜症などがある。
【0023】
眼底疾患が緑内障である場合、例えば、特許文献2に開示されているようにニコレラ(Nicolela)らによる分類(ニコレラ分類)に従って病態を分類するために、視神経乳頭の形状に基づく分類結果を推定するための確信度情報(分類情報)が出力される。
【0024】
眼底疾患が加齢黄斑変性である場合、例えば、萎縮型又は滲出型であるかを分類するために、網膜色素上皮層の形態(例えば、脈絡膜新生血管の形態)に基づく分類結果を推定するための確信度情報が出力される。
【0025】
眼底疾患が糖尿病網膜症である場合、例えば、単純糖尿病網膜症、前増殖糖尿病網膜症、又は増殖糖尿病網膜症であるかを分類するために、毛細血管瘤、出血、白斑、新生血管、出血領域の形態や分布に基づく分類結果を推定するための確信度情報が出力される。
【0026】
このように、眼底疾患の病態分類に関する確信度情報を医師等に提供できるようにすることで、眼底疾患に適切な治療法を早期に決定することが可能になる。それにより、眼底疾患の治癒の可能性を高めることが可能になる。
【0027】
例えば、眼底疾患が緑内障であると判断される症例の場合、薬物療法、レーザー治療、手術等のうち、疾患の病態に応じた適切な治療法を選択することができる。
【0028】
例えば、眼底疾患が加齢黄斑変性であると判断される症例の場合、滲出型の加齢黄斑変性に対して、薬物量、光線力学的療法、レーザー凝固、手術等のうち、疾患の病態に応じた適切な治療法を選択することができる。
【0029】
例えば、眼底疾患が糖尿病網膜症であると判断される症例の場合、網膜光凝固術、及び硝子体手術等のうち、疾患の病態に応じた適切な治療法を選択することができる。
【0030】
以下の実施形態では、眼底疾患が緑内障であり、眼科情報処理装置が、被検眼の2以上の画像、及び被検者又は被検眼の1以上の背景データからニコレラ分類に従った病態の分類結果を推定するための2以上の確信度情報を出力する場合について説明する。ここで、被検眼の2以上の画像は、被検眼の3次元のOCTデータから生成された1以上のOCT画像と、カラー眼底画像とを含む。1以上の背景データは、被検者の年齢と、被検眼を自覚的又は他覚的に測定することにより得られた1以上の測定値とを含む。
【0031】
眼科情報処理装置は、眼科装置により光コヒーレンストモグラフィ(Optical Coherence Tomography:OCT)を用いて取得された被検眼の3次元OCTデータに対して所定の解析処理や所定の表示処理を施すことが可能である。いくつかの実施形態に係る眼科装置は、OCTを実行するためのOCT装置の機能だけではなく、眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡、及び手術用顕微鏡の少なくとも1つの機能を備える。更に、いくつかの実施形態に係る眼科装置は、被検眼の光学的な特性を測定する機能を備える。被検眼の光学的な特性を測定する機能を備えた眼科装置には、レフラクトメーター、ケラトメーター、眼圧計、ウェーブフロントアナライザー、スペキュラーマイクロスコープ、視野計などがある。いくつかの実施形態に係る眼科装置は、レーザー治療に用いられるレーザー治療装置の機能を備える。
【0032】
いくつかの実施形態では、眼科装置は、実施形態に係る眼科情報処理装置(眼科画像処理装置、眼科解析装置)を含む。実施形態に係る眼科情報処理方法は、眼科情報処理装置により実行される。実施形態に係るプログラムは、眼科情報処理方法の各ステップをプロセッサ(コンピュータ)に実行させる。実施形態に係る記録媒体は、実施形態に係るプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体(記憶媒体)である。
【0033】
本明細書において「プロセッサ」は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を意味する。プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムを読み出し実行することで、実施形態に係る機能を実現する。
【0034】
図1Aに、実施形態に係る眼科情報処理装置の構成例のブロック図を示す。
【0035】
実施形態に係る眼科情報処理装置1000は、被検眼の2以上の画像IMG-1~IMG-n(nは、2以上の整数)と、被検者又は被検眼の背景データBGとから、2以上の確信度情報OUT-1~OUT-m(mは、2以上の整数)を出力する。
【0036】
画像IMG-1~IMG-nは、被検眼に対してOCTを実行することにより得られた3次元のOCTデータから生成された1以上のOCT画像と、撮影光学系を用いて取得されたカラーの眼底画像とを含む。1以上のOCT画像は、例えば、視神経乳頭の代表位置を通過する水平方向(横方向、x方向、第1方向)のBスキャン画像、視神経乳頭の代表位置を通過する垂直方向(縦方向、y方向、第1方向に交差する第2方向)のBスキャン画像、中心窩の代表位置を通過する垂直方向のBスキャン画像、プロジェクション画像、en-face画像、及び視神経乳頭の代表位置と中心窩の代表位置との中間を通過するBスキャン画像の少なくとも1つを含む。視神経乳頭の代表位置の例として、視神経乳頭の中心、重心などがある。中心窩の代表位置の例として、中心窩の中心、重心などがある。
【0037】
背景データBGは、被検者の年齢、被検者の性別、被検眼の眼軸長、被検眼のMD(Mean Defect)値、被検眼の等価球面度数、被検眼の神経乳頭組織血流値(MT(Mean of Tissue area)値)、過去の所定期間の最小眼圧値、過去の所定期間の最大眼圧値、及び過去の所定期間の平均眼圧値の少なくとも1つを含む。眼軸長は、公知の光干渉断層計又は公知の眼軸長測定装置を用いて取得される。MD値は、視野の欠け具合を示す値であり、視野計を用いて取得される。等価球面度数は、公知の眼屈折力測定装置を用いて取得される。MT値は、公知のレーザースペックルフローグラフィ(Laser Speckle Flowgraphy:LSFG)を用いて取得される。過去の所定期間の最小眼圧値は、例えば、過去1年間の最小眼圧値であってよい。過去の所定期間の最大眼圧値は、例えば、過去1年間の最大眼圧値であってよい。過去の所定期間の平均眼圧値は、例えば、過去1年間の平均眼圧値であってよい。
【0038】
いくつかの実施形態では、眼科情報処理装置1000は、上記の背景データBGを含む複数の背景データのそれぞれの分布に基づいて特徴選択処理を行い、特徴選択処理により選択された背景データを用いて、上記の2以上の確信度情報OUT-1~OUT-mを出力する。
【0039】
眼科情報処理装置1000は、特徴量抽出器1100と、分類器1200とを含む。特徴量抽出器1100は、画像IMG-1~IMG-nのそれぞれに対応した抽出器1110-1~1110-nを含み、画像IMG-1~IMG-nのそれぞれの特徴量を抽出する。特徴量抽出器1100により抽出される特徴量は、画像IMG-1~IMG-nのそれぞれのニコレラ分類に従った分類結果を推定するための確信度情報であってよい。分類器1200は、特徴量抽出器1100により抽出された画像IMG-1~IMG-nのそれぞれの特徴量と背景データBGとに基づいて、確信度情報OUT-1~OUT-mを出力する。
【0040】
図1Bに、図1Aの眼科情報処理装置1000の具体的な構成例のブロック図を示す。図1Bにおいて、図1Aと同様の部分には同一符号を付し、適宜説明を省略する。
【0041】
眼科情報処理装置1000は、被検眼の画像IMG-1~IMG-7と背景データBGとから、ニコレラ分類に従った緑内障の病態の分類結果を推定するための確信度情報OUT-1~OUT-4を出力する。
【0042】
画像IMG-1は、視神経乳頭の中心を通過する水平方向のBスキャン画像である。画像IMG-2は、視神経乳頭の中心を通過する垂直方向のBスキャン画像である。画像IMG-3は、中心窩の中心を通過する垂直方向のBスキャン画像である。画像IMG-4は、プロジェクション画像である。画像IMG-5は、en-face画像である。画像IMG-6は、視神経乳頭の中心と中心窩の中心との中間を通過するBスキャン画像である。画像IMG-7は、カラーの眼底画像である。画像IMG-1~IMG-6は、被検眼の3次元のOCTデータから取得される。画像IMG-7は、眼底カメラを用いて取得される。
【0043】
いくつかの実施形態では、眼科情報処理装置1000に入力される前の前処理として、画像IMG-1~IMG-7のそれぞれの画像サイズが一致するようにスケーリング処理又はクロッピング処理が実行される。いくつかの実施形態では、この前処理として、画像IMG-1~IMG-7のうちBスキャン画像について、画像中の基準位置が一致するように、スケーリング処理、クロッピング処理、及びシフト処理の少なくとも1つが実行される。いくつかの実施形態では、この前処理として、画像IMG-1~IMG-7のうちBスキャン画像について、共通に描出される特徴部位のサイズ及び位置の少なくとも一方が一致するように、スケーリング処理、クロッピング処理、及びシフト処理の少なくとも1つが実行される。いくつかの実施形態では、この前処理として、画像IMG-1~IMG-7のうちen-face画像、プロジェクション画像、及びカラーの眼底画像について、画像中の基準位置が一致するように、スケーリング処理、クロッピング処理、及びシフト処理の少なくとも1つが実行される。いくつかの実施形態では、この前処理として、画像IMG-1~IMG-7のうちen-face画像、プロジェクション画像、及びカラーの眼底画像について、共通に描出される特徴部位のサイズ及び位置の少なくとも一方が一致するように、スケーリング処理、クロッピング処理、及びシフト処理の少なくとも1つが実行される。
【0044】
背景データBGは、例えば、被検者の年齢、被検眼の眼軸長、被検眼のMD値、被検眼の等価球面度数、被検眼のMT値、及び過去の所定期間の最小眼圧値を含む。
【0045】
確信度情報OUT-1~OUT-4は、ニコレラ分類に従った緑内障の病態の4つの類型のそれぞれの確信度を表す情報を含む。
【0046】
ニコレラ分類では、視神経乳頭の形状に応じた4つの類型(局所虚血型、近視型、加齢性硬化型、全体的拡大型)が定められている。局所虚血型(Focal Ischemia:FI)は、リムの一部にノッチが存在し、視神経線維層の局所的な欠損が見られる類型である。局所虚血型は、女性に多く、片頭痛や発作を伴うことが多い。近視型(Myopic:MY)は、視神経乳頭が傾斜しており、耳側に陥凹を伴う三日月型の乳頭周囲網脈絡膜萎縮(PPA)が見られる類型である。近視型は、若年層に多く、近視を伴うことが多い。加齢性硬化型(Senile Sclerotic:SS)は、視神経乳頭が円形であり、陥凹が浅く、乳頭の周辺にハロ(Halo)が見られる類型である。加齢性硬化型は、高齢者に多く、心血管障害を伴うことが多い。全体的拡大型(Generalized Enlargement:GE)は、大きく深い円形の陥凹を呈する類型である。全体的拡大型は、眼圧が高い被検眼に多い。
【0047】
確信度情報OUT-1は、被検眼が発症する緑内障が局所虚血型(FI)である確信度を表す情報である。確信度情報OUT-2は、被検眼が発症する緑内障が近視型(MY)である確信度を表す情報である。確信度情報OUT-3は、被検眼が発症する緑内障が加齢性硬化型(SS)である確信度を表す情報である。確信度情報OUT-4は、被検眼が発症する緑内障が全体的拡大型(GE)である確信度を表す情報である。
【0048】
この場合、特徴量抽出器1100は、画像IMG-1~IMG-7のそれぞれに対応した抽出器1110-1~1110-7を含み、画像IMG-1~IMG-7のそれぞれの特徴量を抽出する。分類器1200は、特徴量抽出器1100により抽出された画像IMG-1~IMG-7のそれぞれの特徴量と背景データBGとに基づいて、確信度情報OUT-1~OUT-4を出力する。
【0049】
抽出器1110-1は、訓練用の画像IMG-1を訓練データとし、ニコレラ分類に従って医師等により判断された緑内障の病態の分類結果(FI型、MY型、SS型、GE型)を教師データとする教師あり機械学習を実行することにより得られた個別推定モデル(学習済みモデル)を用いて、被検眼の画像IMG-1の特徴量を抽出する。抽出器1110-2は、訓練用の画像IMG-2を訓練データとし、ニコレラ分類に従って医師等により判断された緑内障の病態の分類結果を教師データとする教師あり機械学習を実行することにより得られた個別推定モデルを用いて、被検眼の画像IMG-2の特徴量を抽出する。抽出器1110-3は、訓練用の画像IMG-3を訓練データとし、ニコレラ分類に従って医師等により判断された緑内障の病態の分類結果を教師データとする教師あり機械学習を実行することにより得られた個別推定モデルを用いて、被検眼の画像IMG-3の特徴量を抽出する。抽出器1110-4は、訓練用の画像IMG-4を訓練データとし、ニコレラ分類に従って医師等により判断された緑内障の病態の分類結果を教師データとする教師あり機械学習を実行することにより得られた個別推定モデルを用いて、被検眼の画像IMG-4の特徴量を抽出する。抽出器1110-5は、訓練用の画像IMG-5を訓練データとし、ニコレラ分類に従って医師等により判断された緑内障の病態の分類結果を教師データとする教師あり機械学習を実行することにより得られた個別推定モデルを用いて、被検眼の画像IMG-5の特徴量を抽出する。抽出器1110-6は、訓練用の画像IMG-6を訓練データとし、ニコレラ分類に従って医師等により判断された緑内障の病態の分類結果を教師データとする教師あり機械学習を実行することにより得られた個別推定モデルを用いて、被検眼の画像IMG-6の特徴量を抽出する。抽出器1110-7は、訓練用の画像IMG-7を訓練データとし、ニコレラ分類に従って医師等により判断された緑内障の病態の分類結果を教師データとする教師あり機械学習を実行することにより得られた個別推定モデルを用いて、被検眼の画像IMG-7の特徴量を抽出する。
【0050】
分類器1200は、訓練用の画像IMG-1~IMG-7のそれぞれの特徴量と背景データBGとを訓練データとし、ニコレラ分類に従って医師等により判断された緑内障の病態の分類結果を教師データとする教師あり機械学習を実行することにより得られた分類モデル(学習済みモデル)を用いて、確信度情報OUT-1~OUT-4を出力する。
【0051】
以下、光干渉断層計の機能と眼底カメラ機能とを備えた眼科装置が、実施形態に係る眼科情報処理装置1000の機能を有する場合について具体的に説明する。しかしながら、実施形態に係る眼科情報処理装置1000の機能を、単体の光干渉断層計に組み込むことも可能である。
【0052】
以下では、被検眼の眼底に対するOCT計測が可能な眼科装置を例に説明するが、実施形態に係る眼科装置は、被検眼の前眼部に対してOCT計測が可能であってよい。いくつかの実施形態では、測定光の焦点位置を変更するレンズを移動することで、OCT計測の範囲や計測部位を変更する。いくつかの実施形態では、1以上のアタッチメント(対物レンズ、前置レンズ等)を加えることで、眼底に対するOCT計測と、前眼部に対するOCT計測と、眼底及び前眼部を含む全眼球に対するOCT計測とが可能な構成である。いくつかの実施形態では、眼底計測用の眼科装置において、対物レンズと被検眼との間に前置レンズを配置することで平行光束にされた測定光を被検眼に入射させることで前眼部に対するOCT計測を行う。
【0053】
<構成>
〔光学系〕
図2に示すように、眼科装置1は、眼底カメラユニット2、OCTユニット100及び演算制御ユニット200を含む。眼底カメラユニット2には、被検眼Eの正面画像を取得するための光学系や機構が設けられている。OCTユニット100には、OCTを実行するための光学系や機構の一部が設けられている。OCTを実行するための光学系や機構の他の一部は、眼底カメラユニット2に設けられている。演算制御ユニット200は、各種の演算や制御を実行する1以上のプロセッサを含む。これらに加え、被検者の顔を支持するための部材(顎受け、額当て等)や、OCTの対象部位を切り替えるためのレンズユニット(例えば、前眼部OCT用アタッチメント)等の任意の要素やユニットが眼科装置1に設けられてもよい。いくつかの実施形態では、レンズユニットが手動で被検眼Eと後述の対物レンズ22との間に挿脱されるように構成される。いくつかの実施形態では、後述の制御部210からの制御を受け、レンズユニットが被検眼Eと後述の対物レンズ22との間に自動で挿脱されるように構成される。
【0054】
[眼底カメラユニット]
眼底カメラユニット2には、被検眼Eの眼底Efを撮影するための光学系が設けられている。取得される眼底Efの画像(眼底画像、眼底写真等と呼ばれる)は、観察画像、キャプチャ画像等の正面画像である。観察画像は、近赤外光を用いた動画撮影により得られる。キャプチャ画像は、フラッシュ光を用いた静止画像である。更に、眼底カメラユニット2は、被検眼Eの前眼部Eaを撮影して正面画像(前眼部像)を取得することができる。
【0055】
眼底カメラユニット2は、照明光学系10と撮影光学系30とを含む。照明光学系10は被検眼Eに照明光を照射する。撮影光学系30は、被検眼Eからの照明光の戻り光を検出する。OCTユニット100からの測定光は、眼底カメラユニット2内の光路を通じて被検眼Eに導かれ、その戻り光は、同じ光路を通じてOCTユニット100に導かれる。
【0056】
照明光学系10の観察光源11から出力された光(観察照明光)は、曲面状の反射面を有する反射ミラー12により反射され、集光レンズ13を経由し、可視カットフィルタ14を透過して近赤外光となる。更に、観察照明光は、撮影光源15の近傍にて一旦集束し、ミラー16により反射され、リレーレンズ17、18、絞り19及びリレーレンズ20を経由する。そして、観察照明光は、孔開きミラー21の周辺部(孔部の周囲の領域)にて反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて被検眼E(眼底Ef又は前眼部Ea)を照明する。被検眼Eからの観察照明光の戻り光は、対物レンズ22により屈折され、ダイクロイックミラー46を透過し、孔開きミラー21の中心領域に形成された孔部を通過し、ダイクロイックミラー55を透過する。ダイクロイックミラー55を透過した戻り光は、撮影合焦レンズ31を経由し、ミラー32により反射される。更に、この戻り光は、ハーフミラー33Aを透過し、ダイクロイックミラー33により反射され、集光レンズ34によりイメージセンサ35の受光面に結像される。イメージセンサ35は、所定のフレームレートで戻り光を検出する。なお、撮影光学系30のフォーカスは、眼底Ef又は前眼部Eaに合致するように調整される。
【0057】
撮影光源15から出力された光(撮影照明光)は、観察照明光と同様の経路を通って眼底Efに照射される。被検眼Eからの撮影照明光の戻り光は、観察照明光の戻り光と同じ経路を通ってダイクロイックミラー33まで導かれ、ダイクロイックミラー33を透過し、ミラー36により反射され、集光レンズ37によりイメージセンサ38の受光面に結像される。例えば、イメージセンサ38により後述のカラーの眼底画像IMG-7が取得される。
【0058】
LCD(Liquid Crystal Display)39は固視標や視力測定用視標を表示する。LCD39から出力された光束は、その一部がハーフミラー33Aにて反射され、ミラー32に反射され、撮影合焦レンズ31及びダイクロイックミラー55を経由し、孔開きミラー21の孔部を通過する。孔開きミラー21の孔部を通過した光束は、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投射される。
【0059】
LCD39の画面上における固視標の表示位置を変更することにより、被検眼Eの固視位置を変更できる。固視位置の例として、黄斑を中心とする画像を取得するための固視位置や、視神経乳頭を中心とする画像を取得するための固視位置や、黄斑と視神経乳頭との間の眼底中心を中心とする画像を取得するための固視位置や、黄斑から大きく離れた部位(眼底周辺部)の画像を取得するための固視位置などがある。いくつかの実施形態に係る眼科装置1は、このような固視位置の少なくとも1つを指定するためのGUI(Graphical User Interface)等を含む。いくつかの実施形態に係る眼科装置1は、固視位置(固視標の表示位置)をマニュアルで移動するためのGUI等を含む。
【0060】
移動可能な固視標を被検眼Eに呈示するための構成はLCD等の表示装置には限定されない。例えば、光源アレイ(発光ダイオード(LED)アレイ等)における複数の光源を選択的に点灯させることにより、移動可能な固視標を生成することができる。また、移動可能な1以上の光源により、移動可能な固視標を生成することができる。
【0061】
また、眼科装置1には、1以上の外部固視光源が設けられてもよい。1以上の外部固視光源の1つは、被検眼Eの僚眼に固視光を投射することが可能である。僚眼における固視光の投射位置は、変更可能である。僚眼に対する固視光の投射位置を変更することにより、被検眼Eの固視位置を変更することができる。外部固視光源による固視位置は、LCD39を用いた被検眼Eの固視位置と同様であってよい。例えば、複数の外部固視光源を選択的に点灯させることにより、移動可能な固視標を生成することができる。また、移動可能な1以上の外部固視光源により、移動可能な固視標を生成することができる。
【0062】
アライメント光学系50は、被検眼Eに対する光学系のアライメントに用いられるアライメント指標を生成する。LED51から出力されたアライメント光は、絞り52及び53並びにリレーレンズ54を経由し、ダイクロイックミラー55により反射され、孔開きミラー21の孔部を通過する。孔開きミラー21の孔部を通過した光は、ダイクロイックミラー46を透過し、対物レンズ22により被検眼Eに投射される。アライメント光の角膜反射光は、観察照明光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(アライメント指標像)に基づいてマニュアルアライメントやオートアライメントを実行できる。
【0063】
フォーカス光学系60は、被検眼Eに対するフォーカス調整に用いられるスプリット指標を生成する。フォーカス光学系60は、撮影光学系30の光路(撮影光路)に沿った撮影合焦レンズ31の移動に連動して、照明光学系10の光路(照明光路)に沿って移動される。反射棒67は、照明光路に対して挿脱可能である。フォーカス調整を行う際には、反射棒67の反射面が照明光路に傾斜配置される。LED61から出力されたフォーカス光は、リレーレンズ62を通過し、スプリット指標板63により2つの光束に分離され、二孔絞り64を通過し、ミラー65により反射され、集光レンズ66により反射棒67の反射面に一旦結像されて反射される。更に、フォーカス光は、リレーレンズ20を経由し、孔開きミラー21に反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投射される。フォーカス光の眼底反射光は、アライメント光の角膜反射光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(スプリット指標像)に基づいてマニュアルフォーカスやオートフォーカスを実行できる。
【0064】
ダイクロイックミラー46は、撮影用光路とOCT用光路(干渉光学系の光路)とを合成する。ダイクロイックミラー46は、OCTに用いられる波長帯の光を反射し、眼底撮影用の光を透過させる。OCT用光路(測定光の光路)には、OCTユニット100側からダイクロイックミラー46側に向かって順に、コリメータレンズユニット40、光路長変更部41、光スキャナー42、OCT合焦レンズ43、ミラー44、及びリレーレンズ45が設けられている。
【0065】
光路長変更部41は、図1に示す矢印の方向に移動可能とされ、OCT用光路の長さを変更する。この光路長の変更は、眼軸長に応じた光路長補正や、干渉状態の調整などに利用される。光路長変更部41は、コーナーキューブと、これを移動する機構とを含む。
【0066】
光スキャナー42は、被検眼Eの瞳孔と光学的に共役な位置に配置される。光スキャナー42は、OCT用光路を通過する測定光LSを偏向する。光スキャナー42は、測定光LSを1次元的又は2次元的に偏向することが可能である。
【0067】
1次元的に偏向する場合、光スキャナー42は、所定の偏向方向に所定の偏向角度範囲で測定光LSを偏向するガルバノスキャナーを含む。2次元的に偏向する場合、光スキャナー42は、第1ガルバノスキャナーと、第2ガルバノスキャナーとを含む。第1ガルバノスキャナーは、干渉光学系(OCT光学系)の光軸に直交する水平方向に撮影部位(眼底Ef又は前眼部Ea)をスキャンするように測定光LSを偏向する。第2ガルバノスキャナーは、干渉光学系の光軸に直交する垂直方向に撮影部位をスキャンするように、第1ガルバノスキャナーにより偏向された測定光LSを偏向する。光スキャナー42による測定光LSの走査態様としては、例えば、水平スキャン、垂直スキャン、十字スキャン、放射スキャン、円スキャン、同心円スキャン、螺旋スキャンなどがある。
【0068】
OCT合焦レンズ43は、OCT用の光学系のフォーカス調整を行うために、測定光LSの光路に沿って移動される。OCT合焦レンズ43は、被検眼Eの眼底Ef又はその近傍に測定光LSの焦点位置を配置するための第1レンズ位置と、被検眼Eに照射される測定光LSを平行光束にするための第2レンズ位置とを含む移動範囲で移動可能である。撮影合焦レンズ31の移動、フォーカス光学系60の移動、及びOCT合焦レンズ43の移動を連係的に制御することができる。
【0069】
[OCTユニット]
OCTユニット100の構成の一例を図3に示す。OCTユニット100には、被検眼EのOCT画像を取得するための光学系が設けられている。この光学系は、波長掃引型(波長走査型)光源からの光を測定光と参照光とに分割し、被検眼Eからの測定光の戻り光と参照光路を経由した参照光とを干渉させて干渉光を生成し、この干渉光を検出する干渉光学系である。干渉光学系による干渉光の検出結果(検出信号)は、干渉光のスペクトルを示す干渉信号であり、演算制御ユニット200に送られる。
【0070】
光源ユニット101は、一般的なスウェプトソースタイプの眼科装置と同様に、出射光の波長を掃引(走査)可能な波長掃引型(波長走査型)光源を含んで構成される。波長掃引型光源は、共振器を含むレーザー光源を含んで構成される。光源ユニット101は、人眼では視認できない近赤外の波長帯において、出力波長を時間的に変化させる。
【0071】
光源ユニット101から出力された光L0は、光ファイバ102により偏波コントローラ103に導かれてその偏波状態が調整される。偏波コントローラ103は、例えばループ状にされた光ファイバ102に対して外部から応力を与えることで、光ファイバ102内を導かれる光L0の偏波状態を調整する。
【0072】
偏波コントローラ103により偏波状態が調整された光L0は、光ファイバ104によりファイバーカプラ105に導かれて測定光LSと参照光LRとに分割される。
【0073】
参照光LRは、光ファイバ110によりコリメータ111に導かれて平行光束に変換され、光路長補正部材112及び分散補償部材113を経由し、光路長変更部114に導かれる。光路長補正部材112は、参照光LRの光路長と測定光LSの光路長とを合わせるよう作用する。分散補償部材113は、参照光LRと測定光LSとの間の分散特性を合わせるよう作用する。光路長変更部114は、例えば、コーナーキューブと、コーナーキューブを移動する移動機構とを含み、移動機構によるコーナーキューブを参照光LRの入射方向に移動可能である。それにより参照光LRの光路長が変更される。
【0074】
光路長変更部114を経由した参照光LRは、分散補償部材113及び光路長補正部材112を経由し、コリメータ116によって平行光束から集束光束に変換され、光ファイバ117に入射する。光ファイバ117に入射した参照光LRは、偏波コントローラ118に導かれてその偏波状態が調整され、光ファイバ119によりアッテネータ120に導かれて光量が調整され、光ファイバ121によりファイバーカプラ122に導かれる。
【0075】
一方、ファイバーカプラ105により生成された測定光LSは、光ファイバ127により導かれてコリメータレンズユニット40により平行光束に変換され、光路長変更部41、光スキャナー42、OCT合焦レンズ43、ミラー44及びリレーレンズ45を経由する。リレーレンズ45を経由した測定光LSは、ダイクロイックミラー46により反射され、対物レンズ22により屈折されて被検眼Eに入射する。測定光LSは、被検眼Eの様々な深さ位置において散乱・反射される。被検眼Eからの測定光LSの戻り光は、往路と同じ経路を逆向きに進行してファイバーカプラ105に導かれ、光ファイバ128を経由してファイバーカプラ122に到達する。
【0076】
ファイバーカプラ122は、光ファイバ128を介して入射された測定光LSと、光ファイバ121を介して入射された参照光LRとを合成して(干渉させて)干渉光を生成する。ファイバーカプラ122は、所定の分岐比(例えば1:1)で干渉光を分岐することにより、一対の干渉光LCを生成する。一対の干渉光LCは、それぞれ光ファイバ123及び124を通じて検出器125に導かれる。
【0077】
検出器125は、例えば一対の干渉光LCをそれぞれ検出する一対のフォトディテクタを有し、これらによる検出結果の差分を出力するバランスドフォトダイオード(Balanced Photo Diode)である。検出器125は、その検出結果(干渉信号)をDAQ(Data Acquisition System)130に送る。DAQ130には、光源ユニット101からクロックKCが供給される。クロックKCは、光源ユニット101において、波長掃引型光源により所定の波長範囲内で掃引(走査)される各波長の出力タイミングに同期して生成される。光源ユニット101は、例えば、各出力波長の光L0を分岐することにより得られた2つの分岐光の一方を光学的に遅延させた後、これらの合成光を検出した結果に基づいてクロックKCを生成する。DAQ130は、クロックKCに基づき、検出器125の検出結果をサンプリングする。DAQ130は、サンプリングされた検出器125の検出結果を演算制御ユニット200に送る。演算制御ユニット200は、例えば一連の波長走査毎に(Aライン毎に)、検出器125により得られた検出結果に基づくスペクトル分布にフーリエ変換等を施すことにより、各Aラインにおける反射強度プロファイルを形成する。更に、演算制御ユニット200は、各Aラインの反射強度プロファイルを画像化することにより画像データを形成する。
【0078】
なお、図2及び図3に示す構成においては、測定光LSの光路(測定光路、測定アーム)の長さを変更するための光路長変更部41と、参照光LRの光路(参照光路、参照アーム)の長さを変更するための光路長変更部114の双方が設けられている。しかしながら、光路長変更部41及び114の一方だけが設けられていてもよい。また、これら以外の光学部材を用いて、参照光路長と測定光路長との差を変更することも可能である。
【0079】
[演算制御ユニット]
演算制御ユニット200は、DAQ130から入力される検出信号を解析して被検眼EのOCT画像を形成する。そのための演算処理は、従来のスウェプトソースタイプのOCT装置と同様である。
【0080】
また、演算制御ユニット200は、眼底カメラユニット2、表示装置3、及びOCTユニット100の各部を制御する。
【0081】
眼底カメラユニット2の制御として、演算制御ユニット200は、観察光源11、撮影光源15、及びLED51、61の動作制御、LCD39の動作制御、撮影合焦レンズ31の移動制御、OCT合焦レンズ43の移動制御、反射棒67の移動制御、フォーカス光学系60の移動制御、光路長変更部41の移動制御、光スキャナー42の動作制御などを行う。
【0082】
表示装置3の制御として、演算制御ユニット200は、被検眼EのOCT画像又は眼底画像を表示装置3に表示させる。
【0083】
OCTユニット100の制御として、演算制御ユニット200は、光源ユニット101の動作制御、光路長変更部114の移動制御、アッテネータ120の動作制御、偏波コントローラ103、118の動作制御、検出器125の動作制御、DAQ130の動作制御などを行う。
【0084】
演算制御ユニット200は、例えば、従来のコンピュータと同様に、プロセッサ、RAM、ROM、ハードディスクドライブ、通信インターフェイスなどを含んで構成される。ハードディスクドライブ等の記憶装置には、眼科装置1を制御するためのコンピュータプログラムが記憶されている。演算制御ユニット200は、各種の回路基板、例えばOCT画像を形成するための回路基板を備えていてもよい。また、演算制御ユニット200は、キーボードやマウス等の操作デバイス(入力デバイス)や、LCD等の表示デバイスを備えていてもよい。
【0085】
眼底カメラユニット2、表示装置3、OCTユニット100、及び演算制御ユニット200は、一体的に(つまり単一の筺体内に)構成されていてもよいし、2つ以上の筐体に別れて構成されていてもよい。
【0086】
〔処理系〕
図4に、眼科装置1の処理系の構成例を示す。図4において、眼科装置1に含まれる構成要素の一部が省略されている。
【0087】
演算制御ユニット200は、制御部210を含み、眼底カメラユニット2、表示装置3、及びOCTユニット100の各部を制御する。
【0088】
(制御部)
制御部210は、各種の制御を実行する。制御部210は、主制御部211と記憶部212とを含む。
【0089】
(主制御部)
主制御部211は、プロセッサを含み、眼科装置1の各部を制御する。例えば、主制御部211は、眼底カメラユニット2の合焦駆動部31A及び43A、イメージセンサ35及び38、LCD39、光路長変更部41、光スキャナー42、及び光学系の移動(移動機構150)などを制御する。更に、主制御部211は、OCTユニット100の光源ユニット101、光路長変更部114、アッテネータ120、偏波コントローラ103及び118、検出器125、DAQ130などを制御する。
【0090】
例えば、主制御部211は、手動又は自動で設定された固視位置に対応するLCD39の画面上の位置に固視標を表示する。また、主制御部211は、LCD39に表示されている固視標の表示位置を(連続的に又は段階的に)変更することができる。それにより、固視標を移動することができる(つまり、固視位置を変更することができる)。固視標の表示位置や移動態様は、マニュアルで、又は自動的に設定される。マニュアルでの設定は、例えばGUIを用いて行われる。自動的な設定は、例えば、データ処理部300により行われる。
【0091】
合焦駆動部31Aは、撮影光学系30の光軸方向に撮影合焦レンズ31を移動させるとともに、照明光学系10の光軸方向にフォーカス光学系60を移動させる。それにより、撮影光学系30の合焦位置が変更される。いくつかの実施形態では、合焦駆動部31Aは、撮影合焦レンズ31を移動させる機構と、フォーカス光学系60を移動させる機構とを個別に有する。合焦駆動部31Aは、フォーカス調整を行うときなどに制御される。
【0092】
合焦駆動部43Aは、測定光路の光軸方向にOCT合焦レンズ43を移動させる。それにより、測定光LSの合焦位置が変更される。例えば、OCT合焦レンズ43を第1レンズ位置に移動させることにより、測定光LSの合焦位置を眼底Ef又はその近傍に配置することができる。例えば、OCT合焦レンズ43を第2レンズ位置に移動させることにより、測定光LSの合焦位置を遠点位置に配置して測定光LSを平行光束にすることができる。測定光LSの合焦位置は、測定光LSのビームウェストの深さ位置(z位置)に相当する。
【0093】
移動機構150は、例えば、少なくとも眼底カメラユニット2(光学系)を3次元的に移動する。典型的な例において、移動機構150は、少なくとも眼底カメラユニット2をx方向(左右方向)に移動するための機構と、y方向(上下方向)に移動するための機構と、z方向(奥行き方向、前後方向)に移動するための機構とを含む。x方向に移動するための機構は、例えば、x方向に移動可能なxステージと、xステージを移動するx移動機構とを含む。y方向に移動するための機構は、例えば、y方向に移動可能なyステージと、yステージを移動するy移動機構とを含む。z方向に移動するための機構は、例えば、z方向に移動可能なzステージと、zステージを移動するz移動機構とを含む。各移動機構は、パルスモータ等のアクチュエータを含み、主制御部211からの制御を受けて動作する。
【0094】
移動機構150に対する制御は、アライメントやトラッキングにおいて用いられる。トラッキングとは、被検眼Eの眼球運動に合わせて装置光学系を移動させるものである。トラッキングを行う場合には、事前にアライメントとフォーカス調整が実行される。トラッキングは、装置光学系の位置を眼球運動に追従させることにより、アライメントとピントが合った好適な位置関係を維持する機能である。いくつかの実施形態では、参照光の光路長(よって、測定光の光路と参照光の光路との間の光路長差)を変更するために移動機構150の制御を行うように構成される。
【0095】
マニュアルアライメントの場合、光学系に対する被検眼Eの変位がキャンセルされるようにユーザが後述のユーザインターフェイス240に対して操作することにより光学系と被検眼Eとを相対移動させる。例えば、主制御部211は、ユーザインターフェイス240に対する操作内容に対応した制御信号を移動機構150に出力することにより移動機構150を制御して光学系と被検眼Eとを相対移動させる。
【0096】
オートアライメントの場合、光学系に対する被検眼Eの変位がキャンセルされるように主制御部211が移動機構150を制御することにより光学系と被検眼Eとを相対移動させる。いくつかの実施形態では、主制御部211は、光学系の光軸が被検眼Eの軸に略一致し、かつ、被検眼Eに対する光学系の距離が所定の作動距離になるように制御信号を移動機構150に出力することにより移動機構150を制御して光学系と被検眼Eとを相対移動させる。ここで、作動距離とは、対物レンズ22のワーキングディスタンスとも呼ばれる既定値であり、光学系を用いた測定時(撮影時)における被検眼Eと光学系との間の距離に相当する。
【0097】
主制御部211は、眼底カメラユニット2等を制御することにより眼底撮影及び前眼部撮影を制御する。また、主制御部211は、眼底カメラユニット2及びOCTユニット100等を制御することによりOCT計測を制御する。主制御部211は、OCT計測を行う前に複数の予備的な動作を実行可能である。予備的な動作としては、アライメント、フォーカス粗調整、偏波調整、フォーカス微調整などがある。複数の予備的な動作は、所定の順序で実行される。いくつかの実施形態では、複数の予備的な動作は、上記の順序で実行される。
【0098】
なお、予備的な動作の種別や順序はこれに限定されるものではなく、任意である。例えば、被検眼Eが小瞳孔眼であるか否か判定するための予備動作(小瞳孔判定)を予備的な動作に加えることができる。小瞳孔判定は、例えば、フォーカス粗調整と光路長差調整との間に実行される。いくつかの実施形態では、小瞳孔判定は、以下の一連の処理を含む:被検眼Eの正面画像(前眼部像)の取得する処理;瞳孔に相当する画像領域を特定する処理;特定された瞳孔領域のサイズ(径、周長など)を求める処理;求められたサイズに基づき小瞳孔眼か否か判定する処理(閾値処理);小瞳孔眼であると判定された場合に絞り19を制御する処理。いくつかの実施形態では、瞳孔サイズを求めるために瞳孔領域を円近似又は楕円近似する処理を更に含む。
【0099】
フォーカス粗調整は、スプリット指標を用いたフォーカス調整である。なお、あらかじめ取得された眼屈折力と撮影合焦レンズ31の位置とを関連付けた情報と、被検眼Eの屈折力の測定値とに基づいて撮影合焦レンズ31の位置を決定することにより、フォーカス粗調整を行うこともできる。
【0100】
フォーカス微調整は、OCT計測の干渉感度に基づいて行われる。例えば、被検眼EのOCT計測により取得された干渉信号の干渉強度(干渉感度)をモニタすることにより、干渉強度が最大となるようなOCT合焦レンズ43の位置を求め、その位置にOCT合焦レンズ43を移動させることにより、フォーカス微調整を実行することができる。
【0101】
光路長差調整においては、被検眼Eにおける所定の位置が深さ方向の計測範囲の基準位置になるように制御される。この制御は、光路長変更部41、114の少なくとも一方に対して行われる。それにより、測定光路と参照光路との間の光路長差が調整される。光路長差調整により基準位置を設定しておくことで、波長掃引速度の変更を行うだけで深さ方向の所望の計測範囲に対して精度よくOCT計測を行うことができるようになる。
【0102】
偏波調整においては、測定光LSと参照光LRとの干渉効率を最適化するために参照光LRの偏波状態が調整される。
【0103】
(記憶部)
記憶部212は、各種のデータを記憶する。記憶部212に記憶されるデータとしては、例えば、OCT画像の画像データ、眼底画像の画像データ、前眼部像の画像データ、被検眼情報などがある。被検眼情報は、患者IDや氏名などの被検者に関する情報や、左眼/右眼の識別情報などの被検眼に関する情報を含む。
【0104】
また、記憶部212には、眼科装置1を動作させるための各種プログラムやデータが記憶されている。
【0105】
制御部210は、画像形成部230と、データ処理部300とを制御することが可能である。
【0106】
(画像形成部)
画像形成部230は、検出器125からの検出信号をDAQ130でサンプリングすることにより得られたサンプリングデータに基づいて、被検眼EのOCT画像(画像データ)を形成する。画像形成部230により形成されるOCT画像には、Aスキャン画像などがある。画像形成部230は、Bスキャン画像(断層像)、及びCスキャン画像を形成してもよい。この処理には、従来のスウェプトソースタイプのOCTと同様に、ノイズ除去(ノイズ低減)、フィルタ処理、分散補償、FFT(Fast Fourier Transform)などの処理が含まれている。他のタイプのOCT装置の場合、画像形成部230は、そのタイプに応じた公知の処理を実行する。
【0107】
画像形成部230は、例えば、前述の回路基板を含んで構成される。なお、この明細書では、「画像データ」と、それに基づく「画像」とを同一視することがある。
【0108】
(データ処理部)
データ処理部300は、被検眼Eの撮影やOCT計測により取得されたデータを処理する。例えば、データ処理部300は、画像形成部230により形成された画像に対して各種の画像処理や解析処理を施す。具体的には、データ処理部300は、画像の輝度補正等の各種補正処理を実行する。また、データ処理部300は、眼底カメラユニット2により得られた画像(眼底画像、前眼部像等)に対して各種の画像処理や解析処理を施すことが可能である。
【0109】
データ処理部300は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行して、眼底Ef又は前眼部Eaの3次元画像の画像データを形成する。なお、3次元画像の画像データとは、3次元座標系により画素の位置が定義された画像データを意味する。3次元画像の画像データとしては、3次元的に配列されたボクセルからなる画像データがある。この画像データは、ボリュームデータ或いはボクセルデータなどと呼ばれる。ボリュームデータに基づく画像を表示させる場合、データ処理部300は、このボリュームデータに対してレンダリング処理(ボリュームレンダリングやMIP(Maximum Intensity Projection:最大値投影)など)を施して、特定の視線方向から見たときの擬似的な3次元画像の画像データを形成する。表示部240A等の表示デバイスには、この擬似的な3次元画像が表示される。
【0110】
また、3次元画像の画像データとして、複数の断層像のスタックデータを形成することも可能である。スタックデータは、複数のスキャンラインに沿って得られた複数の断層像を、スキャンラインの位置関係に基づいて3次元的に配列させることで得られる画像データである。すなわち、スタックデータは、元々個別の2次元座標系により定義されていた複数の断層像を、1つの3次元座標系により表現する(つまり1つの3次元空間に埋め込む)ことにより得られる画像データである。
【0111】
データ処理部300は、取得された3次元データセット(ボリュームデータ、スタックデータ等)に各種のレンダリングを施すことで、任意断面におけるBモード画像(縦断面像、軸方向断面像)、任意断面におけるCモード画像(横断面像、水平断面像)、プロジェクション画像、シャドウグラムなどを形成することができる。Bモード画像やCモード画像のような任意断面の画像は、指定された断面上の画素(ピクセル、ボクセル)を3次元データセットから選択することにより形成される。プロジェクション画像は、3次元データセットを所定方向(z方向、深さ方向、軸方向)に投影することによって形成される。シャドウグラムは、3次元データセットの一部(たとえば特定層に相当する部分データ)を所定方向に投影することによって形成される。Cモード画像、プロジェクション画像、シャドウグラムのような、被検眼の正面側を視点とする画像を正面画像(en-face画像)と呼ぶ。
【0112】
データ処理部300は、OCTにより時系列に収集されたデータ(例えば、Bスキャン画像データ)に基づいて、網膜血管や脈絡膜血管が強調されたBモード画像や正面画像(血管強調画像、アンギオグラム)を構築することができる。例えば、被検眼Eの略同一部位を反復的にスキャンすることにより、時系列のOCTデータを収集することができる。
【0113】
いくつかの実施形態では、データ処理部300は、略同一部位に対するBスキャンにより得られた時系列のBスキャン画像を比較し、信号強度の変化部分の画素値を変化分に対応した画素値に変換することにより当該変化部分が強調された強調画像を構築する。更に、データ処理部300は、構築された複数の強調画像から所望の部位における所定の厚さ分の情報を抽出してen-face画像として構築することでOCTA像を形成する。
【0114】
データ処理部300により生成された画像(例えば、3次元画像、Bモード画像、Cモード画像、プロジェクション画像、シャドウグラム、OCTA像)もまたOCT画像に含まれる。
【0115】
更に、データ処理部300は、OCT計測により得られた干渉光の検出結果を解析してフォーカス微調整制御における測定光LSのフォーカス状態を判定する。例えば、主制御部211は、合焦駆動部43Aを所定のアルゴリズムに従って制御しつつ、反復的なOCT計測を行う。データ処理部300は、OCT計測により繰り返し取得される干渉光LCの検出結果を解析することで、OCT画像の画質に関する所定の評価値を算出する。データ処理部300は、算出された評価値が閾値以下であるか否か判定する。いくつかの実施形態では、フォーカス微調整は、算出される評価値が閾値以下になるまで継続される。すなわち、評価値が閾値以下であるとき測定光LSのフォーカス状態が適正であると判断され、フォーカス微調整は、測定光LSのフォーカス状態が適正であると判断されるまで継続される。
【0116】
いくつかの実施形態では、主制御部211は、上記のような反復的なOCT計測を行って干渉信号を取得しつつ、逐次に取得される干渉信号の強度(干渉強度、干渉感度)をモニタする。更に、このモニタ処理を行いながら、OCT合焦レンズ43を移動させることにより、干渉強度が最大となるようなOCT合焦レンズ43の位置を探索する。このようなフォーカス微調整によれば、干渉強度が最適化されるような位置にOCT合焦レンズ43を導くことができる。
【0117】
また、データ処理部300は、OCT計測により得られた干渉光の検出結果を解析して、測定光LS及び参照光LRの少なくとも一方の偏波状態を判定する。例えば、主制御部211は、偏波コントローラ103、118の少なくとも一方を所定のアルゴリズムに従って制御しつつ、反復的なOCT計測を行う。いくつかの実施形態では、主制御部211は、アッテネータ120を制御して、参照光LRの減衰量を変更する。データ処理部300は、OCT計測により繰り返し取得される干渉光LCの検出結果を解析することで、OCT画像の画質に関する所定の評価値を算出する。データ処理部300は、算出された評価値が閾値以下であるか否か判定する。この閾値はあらかじめ設定される。偏波調整は、算出される評価値が閾値以下になるまで継続される。すなわち、評価値が閾値以下であるとき測定光LSの偏波状態が適正であると判断され、偏波調整は、測定光LSの偏波状態が適正であると判断されるまで継続される。
【0118】
いくつかの実施形態では、主制御部211は、偏波調整においても干渉強度をモニタすることが可能である。
【0119】
図5図9Hに、実施形態に係るデータ処理部300の説明図を示す。図5は、実施形態に係るデータ処理部300の構成例のブロック図を表す。図6は、図5の特徴選択部362の構成例のブロック図を表す。図7A図7Hは、図6の統計検定部362Aの動作説明図を表す。図8は、図5の特徴量抽出器340、分類器350、及び学習部360の関係の模式図を表す。図9は、図8の第1抽出器341の構成例を示す概略図である。
【0120】
データ処理部300は、Bスキャン画像形成部310と、プロジェクション画像形成部320と、en-face画像形成部330と、特徴量抽出器340と、分類器350と、学習部360と、解析部370とを含む。
【0121】
Bスキャン画像形成部310は、画像形成部230により形成されたAスキャン画像を所定の方向に配列することにより、所望の部位を通過し、所望の断面方向のBスキャン画像を形成する。或いは、Bスキャン画像形成部310は、上記のように得られた3次元画像の画像データ(3次元OCTデータ)から所望の断面上の画素を選択することにより、所望の部位を通過し、所望の断面方向のBスキャン画像を形成する。Bスキャン画像形成部310は、例えば、後述の解析部370により特定された部位を通過し、所望の断面方向のBスキャン画像を形成する。上記のBスキャン画像は、画像形成部230により形成されてもよい。
【0122】
Bスキャン画像形成部310は、上記の処理を実行することにより、被検眼Eの3次元の画像データから、視神経乳頭の中心を通過する水平方向のBスキャン画像IMG-1、視神経乳頭の中心を通過する垂直方向のBスキャン画像IMG-2、中心窩の中心を通過する垂直方向のBスキャン画像IMG-3、視神経乳頭の中心と中心窩の中心との中間を通過する垂直方向のBスキャン画像IMG-6を形成することが可能である。
【0123】
プロジェクション画像形成部320は、被検眼Eの眼底Efのプロジェクション画像を形成する。例えば、プロジェクション画像形成部320は、眼底Efの3次元の画像データをz方向に投影することにより眼底Efのプロジェクション画像IMG-4を形成する。
【0124】
en-face画像形成部330は、被検眼Eの眼底Efのen-face画像IMG-5を形成する。例えば、en-face画像形成部330は、眼底Efの3次元の画像データを解析して網膜の最上層(例えば、内境界膜)を特定し、特定された最上層から深さ方向(z方向)における所定の深さ分(例えば、50マイクロメートル)の画素を積算することにより形成される。すなわち、en-face画像形成部330は、内境界膜に相当する層領域から深層の層領域を投影した積算画像をen-face画像IMG-5として形成する。
【0125】
特徴量抽出器340は、Bスキャン画像形成部310により形成されたBスキャン画像IMG-1~IMG-3、IMG-6、プロジェクション画像形成部320により形成されたプロジェクション画像IMG-4、en-face画像形成部330により形成されたen-face画像IMG-5、及び撮影光学系30を用いて取得されたカラーの眼底画像IMG-7のそれぞれの特徴量を抽出する。実施形態に係る特徴量抽出器340は、後述の分類器350により出力される確信度情報OUT-1~OUT-4と同様に、画像IMG-1~IMG-7のそれぞれについてニコレラ分類に従った緑内障の病態の4つの類型のそれぞれの確信度を表す確信度情報を特徴量として抽出する。
【0126】
特徴量抽出器340は、画像IMG-1~IMG-7のそれぞれに対応して事前に実行された機械学習により得られた個別推定モデルを用いて、被検眼Eの画像IMG-1~IMG-7のそれぞれの特徴量を抽出する。特徴量抽出器340は、画像IMG-1~IMG-7に対応する複数の抽出器(第1抽出器341~第7抽出器347、図8参照)を含む。
【0127】
実施形態に係る個別推定モデル(学習済みモデル)は、CPU及びメモリを備えるコンピュータ(プロセッサ)において用いられる。特徴量抽出器340の機能は、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network:以下、CNN)により実現される。すなわち、CPUがメモリに記憶された個別推定モデルからの指令に従って、畳み込み層に入力された画像の画素値に対し、CNNにおける学習済みの重み付け係数と応答関数等に基づく演算を行い、出力層から確信度情報(広義の特徴量)又は中間層から特徴量を出力するように動作する。このような構成を有する特徴量抽出器340は、入力画像の解像度を段階的に落としつつ局所的な相関パターンを抽出し、抽出された相関パターンに基づいて特徴量を出力することができる。
【0128】
特徴量抽出器340は、図1A及び図1Bに示す特徴量抽出器1100の機能を実現する。
【0129】
分類器350は、特徴量抽出器340により抽出された画像IMG-1~IMG-7のそれぞれの特徴量と背景データBGとに基づいて、上記の確信度情報OUT-1~OUT-4を出力する。分類器350は、事前に実行された機械学習により得られた分類モデルを用いて、特徴量抽出器340により抽出された画像IMG-1~IMG-7のそれぞれの特徴量と背景データBGとに対応した確信度情報OUT-1~OUT-4を出力する。
【0130】
実施形態に係る分類モデルは、CPU及びメモリを備えるコンピュータ(プロセッサ)において用いられる。分類器350の機能は、例えば、サポートベクターマシン(Support Vector Machine:SVM)により実現される。
【0131】
分類器350は、図1A及び図1Bに示す分類器1200の機能を実現する。
【0132】
学習部360は、機械学習を実行することにより特徴量抽出器340における個別推定モデル(学習済みモデル)と分類器350における分類モデル(学習済みモデル)とを生成する。学習部360は、第1学習部361と、特徴選択部362と、第2学習部363とを含む。
【0133】
第1学習部361は、画像IMG-1~IMG-7の種別毎に、訓練用の画像を訓練データとし、各画像について医師等によるニコレラ分類に従った緑内障の病態の分類結果を教師データとして教師あり機械学習を実行することにより、各画像に対応した個別推定モデルを生成する。
【0134】
特徴選択部362は、複数の背景データのそれぞれの分布に基づいて、分類精度の向上に寄与する背景データを選択する。具体的には、特徴選択部362は、緑内障(疾患)を伴う複数の被検者それぞれの2以上の背景データBG0に対して統計検定(statistical test)を行うことにより、病態の分類精度の向上に寄与する背景データBGを選択する。
【0135】
特徴選択部362は、図6に示すように、統計検定部362Aと、背景データ選択部362Bと、交差検証部362Cとを含む。
【0136】
統計検定部362Aは、2以上の背景データBG0のそれぞれに対して統計検定を行う。背景データBG0は、例えば、被検者の年齢、被検者の性別、被検眼の眼軸長、被検眼のMD値、被検眼の等価球面度数、被検眼のMT値、過去1年間の最小眼圧値、過去の1年間の最大眼圧値、及び過去1年間の平均眼圧値を含む。具体的には、統計検定部362Aは、ニコレラ分類に従った緑内障の病態の4つの類型のそれぞれの分布を背景データ毎に求め、類型の分類精度の向上の可能性が高いと判断される背景データBG1を特定する。例えば、統計検定部362Aは、背景データBG0のそれぞれについて、1元配置分散(one-way analysis of variance:one-way ANOVA)解析処理を実行することにより背景データ間の平均値の差を分析し、p値が所定の閾値(例えば0.01)未満の背景データBG1を特定する。
【0137】
図7Aは、ニコレラ分類に従った緑内障の病態の4類型(FI型、GE型、MY型、SS型)における緑内障を伴う複数の被検眼の眼軸長の分布の一例を示す。図7Aでは、第1四分位数(first quartile)、第2四分位数(second quartile)、第3四分位数(third quartile)が示された箱ひげ図(box plot)が類型毎に示されている。
【0138】
第2四分位数に着目すると、各類型における眼軸長の分布の平均値に差がある。図7Aの場合、統計量が27.95であり、p値が0.001未満である。統計検定部362Aは、p値が0.01未満である眼軸長を背景データBG1として特定する。
【0139】
図7Bは、ニコレラ分類に従った緑内障の病態の4類型における緑内障を伴う複数の被検眼のMD値の分布の一例を示す。図7Bでは、図7Aと同様に、第1四分位数、第2四分位数、第3四分位数が示された箱ひげ図が類型毎に示されている。
【0140】
図7Bの場合、統計量が16.23であり、p値が0.001未満である。統計検定部362Aは、p値が0.01未満である被検眼のMD値を背景データBG1として特定する。
【0141】
図7Cは、ニコレラ分類に従った緑内障の病態の4類型における緑内障を伴う複数の被検眼の等価球面度数の分布の一例を示す。図7Cの場合、統計量が19.90であり、p値が0.001未満である。統計検定部362Aは、p値が0.01未満である被検眼の等価球面度数を背景データBG1として特定する。
【0142】
図7Dは、ニコレラ分類に従った緑内障の病態の4類型における緑内障を伴う複数の被検者の年齢の分布の一例を示す。図7Dの場合、統計量が24.36であり、p値が0.001未満である。統計検定部362Aは、p値が0.01未満である被検者の年齢を背景データBG1として特定する。
【0143】
図7Eは、ニコレラ分類に従った緑内障の病態の4類型における緑内障を伴う複数の被検眼のMT値の分布の一例を示す。図7Eの場合、統計量が34.56であり、p値が0.001未満である。統計検定部362Aは、p値が0.01未満である被検眼のMT値を背景データBG1として特定する。
【0144】
図7Fは、ニコレラ分類に従った緑内障の病態の4類型における緑内障を伴う複数の被検眼の過去1年間の最大眼圧値の分布の一例を示す。図7Fの場合、統計量が1.35であり、p値が0.259である。統計検定部362Aは、p値が0.01未満ではない被検眼の過去1年間の最大眼圧値を背景データBG1から除外する。
【0145】
図7Gは、ニコレラ分類に従った緑内障の病態の4類型における緑内障を伴う複数の被検眼の過去1年間の平均眼圧値の分布の一例を示す。図7Gの場合、統計量が1.44であり、p値が0.23081である。統計検定部362Aは、p値が0.01未満ではない被検眼の過去1年間の平均眼圧値を背景データBG1から除外する。
【0146】
図7Hは、ニコレラ分類に従った緑内障の病態の4類型における緑内障を伴う複数の被検眼の過去1年間の最小眼圧値の分布の一例を示す。図HGの場合、統計量が5.89であり、p値が0.000596である。統計検定部362Aは、p値が0.01未満である被検眼の過去1年間の最小眼圧値を背景データBG1として特定する。
【0147】
以上のように、統計検定部362Aは、背景データBG0から被検眼の過去1年間の最大眼圧値及び被検眼の過去1年間の平均眼圧値を除いた背景データBG1を特定する。
【0148】
背景データ選択部362Bは、統計検定部362Aにより特定された2以上の背景データBG1の組み合わせの中から背景データBGを選択する。具体的には、背景データ32Bは、統計検定部362Aにより特定された2以上の背景データBG1の中から1以上の背景データの組み合わせの1つを選択し、選択された1以上の背景データの組み合わせを用いて交差検証部362Cにより実行された交差検証により得られた正答率を取得する。背景データ選択部362Bは、1以上の背景データの選択と交差検証部362Cからの正答率の取得とを順次に繰り返し、最も正答率が高い1以上の背景データの組み合わせを背景データBGとして選択することで特徴選択を行う。
【0149】
交差検証部362Cは、背景データ選択部362Bにより選択された1以上の背景データの組み合わせと、特徴量抽出器340により抽出された画像IMG-1~IMG-7のそれぞれの特徴量FAとを用いた交差検証を行い、正答率を算出する。例えば、交差検証として、k-分割交差検証(k-fold cross validation)を行う(例えば、k=5)。この場合、交差検証部362Cは、k分割して得られたk個の正答率の平均値を、背景データ選択部362Bにより選択された1以上の背景データの組み合わせを用いた交差検証結果の正答率として出力する。
【0150】
いくつかの実施形態では、特徴選択部362は、特徴量抽出器340により抽出された画像IMG-1~IMG-7のそれぞれの特徴量FAに対してL1ノルムでペナルティが課された線形モデル(例えば、SVM)を分類器として上記の特徴選択を行う。
【0151】
例えば、特徴量抽出器340により抽出された特徴量が画像IMG-1~IMG-7のそれぞれの確信度情報OUT-1~OUT-4であり、統計検定部362Aにより特定された背景データBG1が上記の6種類の背景データである場合、特徴選択部362は、34(=7×4+6)次元のデータの組み合わせに対して特徴選択処理を行う。
【0152】
第2学習部363は、訓練用の画像IMG-1~IMG-7の特徴量と特徴選択部362により選択された背景データとを訓練データとし、医師等によるニコレラ分類に従った緑内障の病態の分類結果を教師データとして教師あり機械学習を実行することにより分類モデルを生成する。
【0153】
解析部370は、画像形成部230又はデータ処理部300により形成された画像の画像データに対して所定の解析処理を施す。解析処理には、所定部位の特定処理、所定の層領域の特定処理、所望の断面位置における所望の断面方向の断層像の生成処理、などがある。
【0154】
所定部位の例として、視神経乳頭の中心、中心窩、視神経乳頭と中心窩との間の中間の位置などがある。
【0155】
視神経乳頭の中心(又は重心)の特定処理については、例えば、特開2008-206684号公報に開示された技術を適用することができる。典型的な乳頭中心特定は、3次元OCTデータ又は眼底画像から視神経乳頭画像(例えば、視神経乳頭のエッジに相当する画像領域)を特定する処理と、視神経乳頭画像のエッジを近似する円(又は楕円)を求める処理と、求められた近似円(又は近似楕円)の中心を求める処理とを含む。
【0156】
中心窩の中心(又は重心)の特定処理についても、視神経乳頭の中心の特定処理と同様に実行可能である。
【0157】
解析部370は、所定部位として血管、病変部等を特定することも可能である。病変部の例として、剥離部、浮腫、出血、腫瘍、ドルーゼンなどがある。
【0158】
所定の層領域の例として、内境界膜、神経繊維層、神経節細胞層、内網状層、内顆粒層、外網状層、外顆粒層、外境界膜、視細胞層、網膜色素上皮(Retinal、Pigment Epithelium:RPE)、ブルッフ膜、脈絡膜、強膜、硝子体などがある。
【0159】
所定の層組織の特定処理については、公知のセグメンテーション処理がある。解析部370は、3次元OCTデータを解析することにより、Aスキャン方向の複数の層領域を特定する。セグメンテーション処理は、特定の組織や組織境界を特定するための画像処理である。例えば、解析部370は、OCTデータに含まれる各Aスキャン画像における画素値(輝度値)の勾配を求め、勾配が大きい位置を組織境界として特定する。解析部370は、例えば、特定されたRPEに対して強膜側の所定のピクセル数分の層組織をブルッフ膜として特定する。なお、Aスキャン画像は、眼底の深さ方向にのびる1次元画像データである。なお、眼底の深さ方向は、例えば、z方向、OCT測定光の入射方向、軸方向、干渉光学系の光軸方向などとして定義される。
【0160】
所望の断面位置における所望の断面方向の断層像の生成処理については、例えば、3次元OCTデータにおいて、上記の特定処理により特定された所定部位又は層領域を基準に断面位置を特定し、特定された断面位置における所望の断面方向の画素の選択又は補間により実現される。なお、この断層像の生成処理において、操作部240Bを用いてユーザにより指定された断面位置における所望の断面方向の断層像が生成されてもよい。
【0161】
また、解析部370は、3次元OCTデータ、OCT画像、又は眼底画像に対して所定の解析処理を行うことが可能である。所定の解析処理には、被検眼Eにおける所定の部位(組織、病変部)の特定の他に、指定された部位間の距離(層間距離)、面積、角度、比率、密度の算出;指定された計算式による演算;所定の部位の形状の特定;これらの統計値の算出;計測値、統計値の分布の算出;これら解析処理結果に基づく画像処理などがある。
【0162】
以上のように機能するデータ処理部300は、例えば、前述のプロセッサ、RAM、ROM、ハードディスクドライブ、回路基板等を含んで構成される。ハードディスクドライブ等の記憶装置には、上記機能をプロセッサに実行させるコンピュータプログラムがあらかじめ格納されている。
【0163】
図8に、図5のデータ処理部300の動作を説明するための模式図を示す。図8は、特徴量抽出器340、分類器350、及び学習部360の関係を模式的に表す。図8では、特徴量抽出器340、分類器350、第1学習部361、及び第2学習部363が図示されている。図8において、図5と同様の部分には同一符号を付し、適宜説明を省略する。
【0164】
第1学習部361は、3次元OCTデータから生成された画像IMG-1~IMG-6とカラー眼底画像IMG-7のそれぞれについて、被検眼が緑内障の病態の4つの類型のいずれかであるか否かを推定するための個別推定モデルを生成する。第1学習部361は、複数の画像のそれぞれについて、教師あり機械学習(supervised machine learning)を実行することにより個別推定モデルを生成する。いくつかの実施形態では、第1学習部361は、転移学習(transfer learning)によって複数の個別推定モデルを生成する。
【0165】
例えば、視神経乳頭の中心(又はその付近)を通過する水平方向のBスキャン画像IMG-1について、第1学習部361は、特徴量の抽出対象の被検眼を除く他の複数の被検眼のBスキャン画像IMG-1を訓練データTR1とし、各Bスキャン画像についての医師等によるニコレラ分類に従った緑内障の病態の分類結果を表すラベルを教師データSD1として教師あり機械学習を実行することでBスキャン画像IMG-1用の個別推定モデルを生成する。Bスキャン画像IMG-1用の個別推定モデルの機能は、図8に示す第1抽出器341により実現される。
【0166】
例えば、視神経乳頭の中心(又はその付近)を通過する垂直方向のBスキャン画像IMG-2について、第1学習部361は、特徴量の抽出対象の被検眼を除く他の複数の被検眼のBスキャン画像IMG-2を訓練データTR1とし、各Bスキャン画像についての医師等によるニコレラ分類に従った緑内障の病態の分類結果を表すラベルを教師データSD1として教師あり機械学習を実行することでBスキャン画像IMG-2用の個別推定モデルを生成する。Bスキャン画像IMG-2用の個別推定モデルの機能は、図8に示す第2抽出器342により実現される。
【0167】
例えば、中心窩(又はその付近)を通過する垂直方向のBスキャン画像IMG-3について、第1学習部361は、特徴量の抽出対象の被検眼を除く他の複数の被検眼のBスキャン画像IMG-3を訓練データTR1とし、各Bスキャン画像についての医師等によるニコレラ分類に従った緑内障の病態の分類結果を表すラベルを教師データSD1として教師あり機械学習を実行することでBスキャン画像IMG-3用の個別推定モデルを生成する。Bスキャン画像IMG-3用の個別推定モデルの機能は、図8に示す第3抽出器343により実現される。
【0168】
例えば、プロジェクション画像IMG-4について、第1学習部361は、特徴量の抽出対象の被検眼を除く他の複数の被検眼のプロジェクション画像IMG-4を訓練データTR1とし、各プロジェクション画像についての医師等によるニコレラ分類に従った緑内障の病態の分類結果を表すラベルを教師データSD1として教師あり機械学習を実行することでプロジェクション画像IMG-4用の個別推定モデルを生成する。プロジェクション画像IMG-4用の個別推定モデルの機能は、図8に示す第4抽出器344により実現される。
【0169】
例えば、en-face画像IMG-5について、第1学習部361は、特徴量の抽出対象の被検眼を除く他の複数の被検眼のen-face画像IMG-5を訓練データTR1とし、各en-face画像についての医師等によるニコレラ分類に従った緑内障の病態の分類結果を表すラベルを教師データSD1として教師あり機械学習を実行することでen-face画像IMG-5用の個別推定モデルを生成する。en-face画像IMG-5用の個別推定モデルの機能は、図8に示す第5抽出器345により実現される。
【0170】
例えば、視神経乳頭の中心と中心窩の中心との中間を通過する垂直方向のBスキャン画像IMG-6について、第1学習部361は、特徴量の抽出対象の被検眼を除く他の複数の被検眼のBスキャン画像IMG-6を訓練データTR1とし、各Bスキャン画像についての医師等によるニコレラ分類に従った緑内障の病態の分類結果を表すラベルを教師データSD1として教師あり機械学習を実行することでBスキャン画像IMG-6用の個別推定モデルを生成する。Bスキャン画像IMG-6用の個別推定モデルの機能は、図8に示す第6抽出器346により実現される。
【0171】
例えば、カラー眼底画像IMG-7について、第1学習部361は、特徴量の抽出対象の被検眼を除く他の複数の被検眼の眼底画像IMG-7を訓練データTR1とし、各Bスキャン画像についての医師等によるニコレラ分類に従った緑内障の病態の分類結果を表すラベルを教師データSD1として教師あり機械学習を実行することで眼底画像IMG-7用の個別推定モデルを生成する。眼底画像IMG-7用の個別推定モデルの機能は、図8に示す第7抽出器347により実現される。
【0172】
上記の複数の個別推定モデルのそれぞれは、同様の構成を有してよい。
【0173】
図9に、実施形態に係る第1抽出器341の構成例のブロック図を示す。第2抽出器342~第7抽出器347のそれぞれは、図9と同様の構成を有してよい。
【0174】
第1抽出器341の機能は、例えば、畳み込みニューラルネットワーク(CNN)により実現される。すなわち、第1抽出器341は、コンピュータがメモリに記憶された個別推定モデルからの指令に従って、入力層である特徴量抽出器341Aの畳み込み層3411に入力された画像IMG-1の画素値に対し、畳み込みニューラルネットワークにおける学習済みの重み付け係数と応答関数等に基づく演算を行い、出力層である分類器341Bから分類結果を出力するように動作する。このような構成を有する第1抽出器341は、画像の解像度を段階的に落としつつ局所的な相関パターンを抽出し、抽出された相関パターンに基づいて分類結果を出力することができる。
【0175】
第1抽出器341は、特徴量抽出器341Aと、分類器341Bとを含む。特徴量抽出器341Aは、入力された画像IMG-1に対して、所定の画像領域毎に特徴量の抽出とダウンサンプリング(フィルタリング)とを繰り返して当該判定画像の特徴量を抽出する。分類器341Bは、特徴量抽出器341Aにより抽出された特徴量に基づいて、ニコレラ分類に従った緑内障の病態の4つの類型のそれぞれの確信度を表す確信度情報を出力する。
【0176】
特徴量抽出器341Aは、畳み込み層(Convolution Layer)とプーリング層(Pooling Layer)とを含むユニットが多段接続された複数のユニットを含む。各ユニットでは、畳み込み層の出力にプーリング層の入力が接続される。最初の段の畳み込み層の入力には、画像IMG-1において対応する画素の画素値が入力される。後段の畳み込み層の入力は、前段のプーリング層の出力に接続される。
【0177】
図9では、特徴量抽出器341Aは、2段に接続された2つのユニットを含む。すなわち、特徴量抽出器341Aは、畳み込み層3411とプーリング層3412とを含むユニットの後段に、畳み込み層3413とプーリング層3414とを含むユニットが接続される。プーリング層3412の出力は、畳み込み層3413の入力に接続される。
【0178】
分類器341Bは、全結合層(Fully Connected Layer)3415、3416を含み、全結合層3415の出力は全結合層3416の入力に接続される。
【0179】
特徴量抽出器341A及び分類器341Bにおいて、接続された2つの層のニューロン間では学習済みの重み付け係数が割り当てられる。各ニューロンは、入力される1以上のニューロンからの重み付け係数を加味した演算結果に対し、応答関数を用いて演算を行い、得られた演算結果を次の段のニューロンに出力する。
【0180】
重み付け係数は、過去に取得された2以上の被検眼の画像IMG-1(視神経乳頭の中心(又はその付近)を通過する水平方向のBスキャン画像)を訓練データとし、各画像について医師等により付されたラベルを教師データとして公知の機械学習を行うことにより更新される。既存の重み付け係数は、過去に取得された2以上の画像を訓練データとする機械学習により更新される。いくつかの実施形態では、転移学習によって重み付け係数の更新が行われる。
【0181】
第1抽出器341は、VGG16、VGG19、InceptionV3、ResNet18、ResNet50、Xception、DenseNet201等の公知の層構造を有していてよい。分類器341Bは、Random Forestやサポートベクターマシン(Support Vector Machined:SVM)等の公知の構成を有していてよい。
【0182】
図8において、第2学習部363は、上記のように、訓練用の画像IMG-1~IMG-7の特徴量TR2と特徴選択部362により選択された背景データBGとを訓練データとし、医師等によるニコレラ分類に従った緑内障の病態の分類結果を教師データSD2として教師あり機械学習を実行することにより分類モデルを生成する。
【0183】
以上のように、特徴量抽出器340は、第1学習部361により画像毎に生成された個別推定モデルの機能を実現する第1抽出器341~第7抽出器347を用いて、被検眼Eの7種類の画像IMG-1~IMG-7の画像毎に特徴量を抽出する。特徴量は、画像毎に緑内障の病態をニコレラ分類に従って分類された4つの類型のそれぞれの確信度情報であってよい。分類器350は、第2学習部363により生成された分類モデルを用いて、第1抽出器341~第7抽出器347により抽出された特徴量と、特徴選択部362により選択された1以上の背景データとから、緑内障の病態をニコレラ分類に従って分類された4つの類型のそれぞれの確信度情報(各類型であると推定される確率を表す情報)OUT1~OUT4を出力する。確信度情報OUT-1は、被検眼が発症する緑内障が局所虚血型(FI)である確信度を表す確信度情報である。確信度情報OUT-2は、被検眼が発症する緑内障が近視型(MY)である確信度を表す確信度情報である。確信度情報OUT-3は、被検眼が発症する緑内障が加齢性硬化型(SS)である確信度を表す確信度情報である。確信度情報OUT-4は、被検眼が発症する緑内障が全体的拡大型(GE)である確信度を表す確信度情報である。
【0184】
いくつかの実施形態では、分類器350(又はデータ処理部300)は、確信度情報OUT-1~OUT-4に基づいて、被検眼が発症する緑内障の病態の類型を推定するための推定情報を出力する。例えば、分類器350は、例えば、確信度情報OUT-1~OUT-4のうち確信度が最も高い類型を被検眼が発症する緑内障の病態の類型の推定結果として出力する。
【0185】
(ユーザインターフェイス)
図4に示すように、ユーザインターフェイス240には、表示部240Aと操作部240Bとが含まれる。表示部240Aは、表示装置3や表示デバイスを含んで構成される。操作部240Bは、前述した演算制御ユニット200の操作デバイスを含んで構成される。操作部240Bには、眼科装置1の筐体や外部に設けられた各種のボタンやキーが含まれていてもよい。例えば眼底カメラユニット2が従来の眼底カメラと同様の筺体を有する場合、操作部240Bは、この筺体に設けられたジョイスティックや操作パネル等を含んでいてもよい。また、表示部240Aは、眼底カメラユニット2の筺体に設けられたタッチパネルなどの各種表示デバイスを含んでいてもよい。
【0186】
なお、表示部240Aと操作部240Bは、それぞれ個別のデバイスとして構成される必要はない。例えばタッチパネルのように、表示機能と操作機能とが一体化されたデバイスを用いることも可能である。その場合、操作部240Bは、このタッチパネルとコンピュータプログラムとを含んで構成される。操作部240Bに対する操作内容は、電気信号として制御部210に入力される。また、表示部240Aに表示されたグラフィカルユーザインターフェイス(GUI)と、操作部240Bとを用いて、操作や情報入力を行うようにしてもよい。
【0187】
データ処理部300は、実施形態に係る「眼科情報処理装置」の一例である。第1抽出器341~第7抽出器347は、実施形態に係る「2以上の抽出器」の一例である。特徴選択部362は、実施形態に係る実施形態に係る「特徴選択器」の一例である。第2学習部363は、実施形態に係る実施形態に係る「学習部」の一例である。画像IMG-1~IMG-6は、実施形態に係る「OCT画像」の一例である。カラーの眼底像IMG-7は、実施形態に係る「被検者の眼のカラー画像」の一例である。プロジェクション画像IMG-4、及びen-face画像IMG-5は、実施形態に係る「正面画像」の一例である。Bスキャン画像IMG-1~IMG-3、IMG-6は、実施形態に係る「断層像」の一例である。眼底カメラユニット2、及びOCTユニット100が備える光学系は、実施形態に係る「光学系」の一例である。
【0188】
[動作]
実施形態に係る眼科装置1の動作について説明する。
【0189】
図10及び図11に、実施形態に係る眼科装置1の動作例のフロー図を示す。図10は、特徴量抽出器340の個別推定モデル及び分類器350の分類モデルの生成処理の一例のフロー図を表す。図11は、図10に示す生成処理により生成された個別推定モデル及び分類モデルを用いた緑内障の病態の分類処理の一例のフロー図を表す。記憶部212には、図10及び図11に示す処理を実現するためのコンピュータプログラムが記憶されている。制御部210(主制御部211)は、このコンピュータプログラムに従って動作することにより、図10及び図11に示す処理を実行することが可能である。
【0190】
図10に示す処理は、図11に示す処理の実行に先立って実行される。図10では、眼科装置1において、事前に訓練用の複数の被検眼の画像IMG-1~IMG7が取得されているものとする。
【0191】
(S1:統計検定処理)
まず、主制御部211は、特徴選択部362を制御して、2以上の背景データに対して統計検定処理を実行させる。
【0192】
特徴選択部362の統計検定部362Aは、所定の2以上の背景データBG0の1つに対して、図7A図7Hに示すような統計検定処理を実行し、p値を算出する。例えば、2以上の背景データBG0は、被検者の年齢、被検者の性別、被検眼の眼軸長、被検眼のMD値、被検眼の等価球面度数、被検眼のMT値、過去1年間の最小眼圧値、過去の1年間の最大眼圧値、及び過去1年間の平均眼圧値の8次元のデータを含むものとする。
【0193】
(S2:統計検定処理は終了?)
続いて、主制御部211は、ステップS1における統計検定処理は終了するか否かを判定する。例えば、主制御部211は、すべての2以上の背景データBG0に対してステップS1が実行されたか否かを判定することにより、ステップS1における統計検定処理は終了であるか否かを判定する。
【0194】
ステップS1における統計検定処理が終了であると判定されたとき(ステップS2:Y)、眼科装置1の動作はステップS3に移行する。ステップS1における統計検定処理が終了ではないと判定されたとき(ステップS2:N)、眼科装置1の動作はステップS1に移行する。
【0195】
(S3:特徴選択)
ステップS2において、ステップS1における統計検定処理が終了であると判定されたとき(ステップS2:Y)、主制御部211は、ステップS1において繰り返し統計検定処理を実行することにより得られた2以上の背景データのうち緑内障の病態の分類に有効と判断される背景データを統計検定部362Aに選択させる。
【0196】
例えば、統計検定部362Aは、2以上の背景データBG0の中から、p値が0.01未満である背景データを背景データBG1として特定する。例えば、背景データBG1は、被検者の年齢、被検眼の眼軸長、被検眼のMD値、被検眼の等価球面度数、被検眼のMT値、及び過去1年間の最小眼圧値の6次元のデータを含むものとする。なお、統計検定処理に用いられる背景データの分布に応じて背景データBG1として特定されるデータの種別が異なる可能性がある。
【0197】
(S3:分類モデルを生成)
続いて、主制御部211は、背景データ選択部362Bを制御し、ステップS2において特定された6次元の背景データBG1からs(sは1以上の整数)次元のデータの組み合わせの1つを選択させる。
【0198】
例えば、1次元のデータを選択する場合、背景データ選択部362Bは、6次元の背景データBG1の中から6通りのデータの1つを選択する。例えば、2次元のデータを選択する場合、背景データ選択部362Bは、6次元の背景データBG1の中から15(=6×5/2)通りのデータの1つを選択する。例えば、3次元のデータを選択する場合、背景データ選択部362Bは、6次元の背景データBG1の中から20(=6×5×4/6)通りのデータの1つを選択する。4次元、5次元、又は6次元のデータの場合についても同様である。
【0199】
その後、主制御部211は、第2学習部363を制御し、特徴量抽出器340により抽出された訓練用の画像IMG-1~IMG-7の特徴量と背景データ選択部362Bにより選択されたs次元の背景データとを用いて機械学習を実行することにより分類モデルを生成させる。
【0200】
(S5:交差検証)
続いて、主制御部211は、交差検証部362Cを制御し、特徴量抽出器340により抽出された訓練用の画像IMG-1~IMG-7のそれぞれの特徴量FAと背景データ選択部362Bにより選択されたs次元の背景データとを用いた交差検証を実行させる。
【0201】
交差検証部362Cは、例えば、5-分割交差検証を実行し、5個の正答率の平均値を算出する。
【0202】
(S6:交差検証は終了?)
次に、主制御部211は、ステップS5における交差検証は終了するか否かを判定する。例えば、主制御部211は、2以上の背景データBG1(例えば、6次元の背景データ)の中からs次元のすべての組み合わせについてステップS5が実行されたか否かを判定することにより、ステップS5における交差検証は終了であるか否かを判定する。
【0203】
ステップS5における交差検証が終了であると判定されたとき(ステップS6:Y)、眼科装置1の動作はステップS7に移行する。ステップS5における交差検証が終了ではないと判定されたとき(ステップS6:N)、眼科装置1の動作はステップS4に移行する。
【0204】
(S7:背景データを選択)
ステップS6において、ステップS5における交差検証が終了であると判定されたとき(ステップS6:Y)、主制御部211は、背景データ選択部362Bを制御し、6次元の背景データのすべての組み合わせで正答率が最も高い背景データの組み合わせを背景データBGとして選択する。なお、訓練用の画像や背景データの分布に応じて背景データBGとして特定されるデータの種別が異なる可能性がある。
【0205】
(S8:分類モデルを生成)
主制御部211は、再び第2学習部363を制御し、特徴量抽出器340により抽出された訓練用の画像IMG-1~IMG-7の特徴量とステップS7において選択された背景データBSとを用いて機械学習を実行することにより分類モデルを生成させる。
【0206】
以上で、眼科装置1の動作は終了である(エンド)。
【0207】
図10に示すように分類モデルが生成されると、眼科装置1は、図11に示すフローに従って、緑内障の病態の分類対象の被検眼Eの画像に対して、緑内障の病態の分類結果を推定するための確信度情報OUT-1~OUT-4を出力する。
【0208】
図11では、眼科装置1において、事前に個別推定モデルが生成されているものとする。
【0209】
(S11:OCTデータから画像を形成)
まず、主制御部211は、OCTユニット100等を制御することにより、被検眼Eに対してOCTを実行させ、被検眼Eの3次元OCTデータを取得させる。続いて、主制御部211は、画像形成部230及びデータ処理部300を制御して、3次元OCTデータから画像IMG-1~IMG-6のOCT画像を形成させる。
【0210】
(S12:眼底画像を取得)
次に、主制御部211は、眼底カメラユニット2等を制御することにより、被検眼Eの眼底Efを撮影させ、眼底Efのカラーの眼底画像IMG-7を取得させる。
【0211】
(S13:背景データを取得)
次に、主制御部211は、図10のステップS7において選択された背景データのそれぞれについて、被検眼Eの背景データを取得する。いくつかの実施形態では、主制御部211は、図示しない通信部を制御し、ネットワークを介して電子カルテ情報又は外部の眼科装置から被検眼Eの背景データを取得する。いくつかの実施形態では、主制御部211は、操作部240Bを用いてユーザにより入力された背景データを取得する。
【0212】
(S14:緑内障の病態を分類)
次に、主制御部211は、特徴量抽出器340及び分類器350を制御し、既に生成された個別推定モデルと図10に示すように生成された分類モデルとを用いて、ステップS11及びステップS12において取得された被検眼Eの画像IMG-1~IMG-7と、ステップS13において取得された背景データを入力し、緑内障の病態を推定するための確信度情報OUT-4~OUT-4を出力させる。
【0213】
以上で、眼科装置1の動作は終了である(エンド)。
【0214】
ここで、実施形態に係る眼科装置1による緑内障の病態の分類結果の精度について説明する。
【0215】
図12に、被検眼の入力画像の種別を増加したときの実施形態に係る眼科装置1による緑内障の病態の分類結果の精度の説明図を示す。図12では、分類結果の精度の指標としてκ値(カッパ係数、カッパ統計量)が用いられる。
【0216】
図12は、実施形態に係る眼科装置1を用いて画像IMG-1、IMG-2、IMG-4、IMG-5を用いて緑内障の病態の分類を実行した場合、κ値は「0.654」であり、画像IMG1~IMG5を用いて緑内障の病態の分類を実行した場合、κ値は「0.661」である。同様に、画像IMG-1、IMG-2、IMG-4~IMG-6用いて緑内障の病態の分類を実行した場合、κ値は「0.663」であり、画像IMG-1、IMG-2、IMG-4、IMG-5、IMG-7を用いて緑内障の病態の分類を実行した場合、κ値は「0.728」である。また、画像IMG-1~IMG-7を用いて緑内障の病態の分類を実行した場合、κ値は「0.733」である。
【0217】
すなわち、被検眼の画像の種別を増やして、画像IMG-1~IMG-7を用いて緑内障の病態を分類することにより、緑内障の病態の分類結果の精度を向上させることができる。
【0218】
図13に、実施形態に係る眼科装置1により画像IMG-1~IMG7を用いてニコレラ分類に従って緑内障の病態を分類したときの各類型の適合率、再現率、及び正答率の一例を示す。
【0219】
図13では、画像IMG-1~IMG-7を用いてニコレラ分類に従って緑内障の病態を分類した場合、正答率は「82.4%」であることを示す。
【0220】
図14に、眼科装置1による緑内障の病態の分類に、上記の実施形態のように背景データを追加したときの分類結果の一例を示す。
【0221】
図14に示すように、背景データを追加することなく緑内障の病態の分類を行ったとき、正答率は「78.2%」である。これに対して、上記の実施形態のように、背景データを追加して緑内障の病態の分類を行ったとき、正答率は「80.2%」となる。
【0222】
すなわち、上記の画像の種別の増加に加えて、背景データを追加して緑内障の病態を分類することにより、緑内障の病態の分類結果の精度を向上させることができる。
【0223】
図15に、眼科装置1による緑内障の病態の分類に、上記の実施形態のように特徴選択を行って選択された背景データを追加したときの分類結果の一例を示す。
【0224】
図15に示すように、特徴選択を行うことなく背景データを追加して緑内障の病態の分類を行ったとき、正答率は「80.2%」である(図14と同様)。これに対して、上記の実施形態のように、特徴選択を行って選択された背景データを追加して緑内障の病態の分類を行ったとき、正答率は「81.4%」となる。
【0225】
すなわち、上記の画像の種別の増加に加えて、特徴選択により選択された背景データを追加して緑内障の病態を分類することにより、緑内障の病態の分類結果の精度を向上させることができる。
【0226】
<変形例>
上記の実施形態では、OCT光学系と眼底を撮影する撮影光学系とを備えた眼科装置がデータ処理部300の機能を有する場合について説明したが、実施形態に係る構成はこれに限定されるものではない。例えば、眼科装置の外部に、実施形態に係るデータ処理部300の機能が設けられていてもよい。
【0227】
図16に、実施形態の変形例に係る眼科システムの構成例のブロック図である。
【0228】
本変形例に係る眼科システム2000は、眼科装置2100と、眼科情報処理装置2200とを含む。眼科システム2000は、眼科装置2100と眼科情報処理装置2200とにより、実施形態に係る眼科装置1と同様の機能を実現する。眼科情報処理装置2200は、図5のデータ処理部300の少なくとも一部の機能を有する。例えば、眼科情報処理装置2200は、特徴量抽出器340、分類器350、及び学習部360の機能を有する。眼科情報処理装置2200の機能は、例えば、プロセッサを含むコンピュータにより実現される。
【0229】
例えば、眼科装置2100は、実施形態に係る眼科装置1の構成から眼科情報処理装置2200の構成を省いた構成を有する。
【0230】
図17に、実施形態の別の変形例に係る眼科システムの構成例のブロック図である。
【0231】
本変形例に係る眼科システム2000は、眼科装置2100-1~2100-T(Tは2以上の整数)と、眼科情報処理装置2200とを含み、眼科情報処理装置2200は、ネットワーク2300を介して眼科装置2100-1~2100-Tのいずれかと通信接続可能に構成される。図16と同様に、眼科情報処理装置2200は、図5のデータ処理部300の少なくとも一部の機能を有する。例えば、眼科情報処理装置2200は、特徴量抽出器340、分類器350、及び学習部360の機能を有する。眼科情報処理装置2200の機能は、例えば、プロセッサを含むコンピュータにより実現される。
【0232】
例えば、眼科装置2100-1~眼科装置2100-Tは、眼科装置2100と同様の機能を有する。
【0233】
<作用>
実施形態に係る眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラムについて説明する。
【0234】
いくつかの実施形態に係る眼科情報処理装置(データ処理部300、眼科情報処理装置1000、2200)は、特徴量抽出器(1100、340)と、分類器(1200、350)とを含む。特徴量抽出器は、被検者の眼の互いに異なる2以上の画像(IMG-1~IMG-7)のそれぞれの特徴量を抽出する。分類器は、特徴量抽出器により抽出された2以上の画像のそれぞれの特徴量と被検者又は被検者の眼の状態を表す1以上の背景データ(BG)とに基づいて被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報(OUT-1~OUT-4)を出力する。
【0235】
このような態様によれば、上記の1以上の背景データを用いて、被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力するようにしたので、画像の特徴量だけで確信度情報を出力する場合と比較して、病態の分類結果の精度を向上させることが可能になる。それにより、被検眼の疾患に対して適切な治療を早期に施すことができるようになる。
【0236】
いくつかの実施形態では、特徴量抽出器は、画像毎に教師あり機械学習を実行することにより得られた2以上の学習済みモデルを用いて特徴量を抽出する2以上の抽出器(第1抽出器341~第7抽出器347)を含む。分類器は、訓練用の複数の被検者の眼の画像の特徴量(TR2)と複数の被検者又は複数の被検者の眼の背景データ(BG)とを訓練データとし、当該画像の分類結果を教師データ(SD2)とする教師あり機械学習を実行することにより得られた分類モデルを用いて2以上の確信度情報を出力する。
【0237】
このような態様によれば、機械学習により得られた分類モデルを用いて、複数の画像の種別毎の特徴量と背景データとから確信度情報を出力するようにしたので、高精度な確信度情報を出力することができるようになる。
【0238】
いくつかの実施形態は、疾患を伴う複数の被検者それぞれの2以上の背景データに対して統計検定を行うことにより1以上の背景データを選択する特徴選択器(特徴選択部362)を含む。
【0239】
このような態様によれば、高精度の確信度情報の出力に寄与しそうな背景データを用いて確信度情報を出力するようにしたので、確信度情報の精度をより一層高めることができるようになる。
【0240】
いくつかの実施形態は、訓練用の複数の被検者の眼の画像の特徴量と1以上の背景データとを訓練データとし、当該画像の分類結果を教師データとする教師あり機械学習を実行することにより分類モデルを生成する学習部(第2学習部363)を含む。
【0241】
このような態様によれば、複数の画像の種別毎の特徴量と背景データとから高精度の確信度情報を出力することができるようになる。
【0242】
いくつかの実施形態では、特徴量は、病態の分類結果を推定するための確信度情報を含む。
【0243】
このような態様によれば、画像毎の確信度情報と上記の1以上の背景データとを用いて、被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力するようにしたので、病態の分類結果の精度を向上させることが可能になる。
【0244】
いくつかの実施形態では、2以上の画像は、被検者の眼に対して光コヒーレンストモグラフィを実行することにより得られたOCT画像(画像IMG-1~IMG-6)と、被検者の眼のカラー画像(カラーの眼底画像IMG-7)とを含む。
【0245】
このような態様によれば、OCG画像とカラー画像とから、高精度な病態の分類結果を出力させることができるようになる。
【0246】
いくつかの実施形態では、OCT画像は、眼底の正面画像(プロジェクション画像IMG-4、en-face画像IMG-5)、及び眼底の断層像(Bスキャン画像IMG-1~IMG-3、IMG-6)の少なくとも1つを含む。カラー画像は、眼底のカラー画像(眼底画像IMG-7)を含む。2以上の確信度情報は、ニコレラ分類による緑内障の病態の類型の分類結果を推定するための確信度情報(OUT-1~OUT-4)を含む。
【0247】
このような態様によれば、ニコレラ分類に従った緑内障の病態の分類結果を高精度に推定することが可能な確信度情報を出力することができるようになる。
【0248】
いくつかの実施形態では、OCT画像は、視神経乳頭の中心を通過する第1方向(水平方向)のBスキャン画像(IMG-1)、視神経乳頭の中心を通過する第1方向に交差する第2方向(垂直方向)のBスキャン画像(IMG-2)、中心窩の中心を通過する第2方向のBスキャン画像(IMG-3)、プロジェクション画像(IMG-4)、en-face画像(IMG-5)、及び視神経乳頭の中心と中心窩の中心との中間を通過するBスキャン画像(IMG-6)を含む。
【0249】
このような態様によれば、視神経乳頭及び中心窩の形態を反映させて、ニコレラ分類に従った緑内障の病態の分類結果を高精度に推定することが可能な確信度情報を出力することができるようになる。
【0250】
いくつかの実施形態では、背景データは、眼軸長、MD値、等価球面度数、年齢、神経乳頭組織血流値、及び過去1年間最小眼圧値の少なくとも1つを含む。
【0251】
このような態様によれば、より高精度の確信度情報を出力することができるようになる。
【0252】
いくつかの実施形態では、2以上の確信度情報は、緑内障が局所虚血型である確信度を表す確信度情報、緑内障が近視型である確信度を表す確信度情報、緑内障が加齢性硬化型である確信度を表す確信度情報、及び緑内障が全体的拡大型である確信度を表す確信度情報を含む。
【0253】
このような態様によれば、緑内障の病態の4つの類型のそれぞれの確信度を表す確信度情報を出力することが可能になる。
【0254】
いくつかの実施形態に係る眼科装置(1)は、上記の2以上の画像を取得する光学系(眼底カメラユニット2、及びOCTユニット100が備える光学系)と、上記のいずれかの眼科情報処理装置と、を含む。
【0255】
このような態様によれば、上記の1以上の背景データを用いて、被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力するようにしたので、画像の特徴量だけで確信度情報を出力する場合と比較して、病態の分類結果の精度を向上させることが可能な眼科装置を提供することができるようになる。
【0256】
いくつかの実施形態に係る眼科情報処理方法は、被検者の眼の互いに異なる2以上の画像のそれぞれの特徴量を抽出する特徴量抽出ステップと、特徴量抽出ステップにおいて抽出された2以上の画像のそれぞれの特徴量と被検者又は被検者の眼の状態を表す1以上の背景データとに基づいて被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力する分類ステップと、を含む。
【0257】
このような態様によれば、上記の1以上の背景データを用いて、被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力するようにしたので、画像の特徴量だけで確信度情報を出力する場合と比較して、病態の分類結果の精度を向上させることが可能になる。それにより、被検眼の疾患に対して適切な治療を早期に施すことができるようになる。
【0258】
いくつかの実施形態では、特徴量抽出ステップは、画像毎に教師あり機械学習を実行することにより得られた2以上の学習済みモデルを用いて特徴量を抽出し、分類ステップは、訓練用の複数の被検者の眼の画像の特徴量と複数の被検者又は複数の被検者の眼の背景データとを訓練データとし、当該画像の分類結果を教師データとする教師あり機械学習を実行することにより得られた分類モデルを用いて2以上の確信度情報を出力する。
【0259】
このような態様によれば、機械学習により得られた分類モデルを用いて、複数の画像の種別毎の特徴量と背景データとから確信度情報を出力するようにしたので、高精度な確信度情報を出力することができるようになる。
【0260】
いくつかの実施形態は、疾患を伴う複数の被検者それぞれの2以上の背景データに対して統計検定を行うことにより1以上の背景データを選択する特徴選択ステップを含む。
【0261】
このような態様によれば、高精度の確信度情報の出力に寄与しそうな背景データを用いて確信度情報を出力するようにしたので、確信度情報の精度をより一層高めることができるようになる。
【0262】
いくつかの実施形態は、訓練用の複数の被検者の眼の画像の特徴量と1以上の背景データとを訓練データとし、当該画像の分類結果を教師データとする教師あり機械学習を実行することにより分類モデルを生成する学習ステップを含む。
【0263】
このような態様によれば、複数の画像の種別毎の特徴量と背景データとから高精度の確信度情報を出力することができるようになる。
【0264】
いくつかの実施形態では、特徴量は、病態の分類結果を推定するための確信度情報を含む。
【0265】
このような態様によれば、画像毎の確信度情報と上記の1以上の背景データとを用いて、被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力するようにしたので、病態の分類結果の精度を向上させることが可能になる。
【0266】
いくつかの実施形態では、2以上の画像は、被検者の眼に対して光コヒーレンストモグラフィを実行することにより得られた眼底のOCT画像と、眼底のカラー画像とを含み、2以上の確信度情報は、ニコレラ分類による緑内障の病態の類型の分類結果を推定するための確信度情報を含む。
【0267】
このような態様によれば、OCG画像とカラー画像とから、ニコレラ分類に従って高精度な病態の分類結果を出力させることができるようになる。
【0268】
いくつかの実施形態では、OCT画像は、視神経乳頭の中心を通過する第1方向のBスキャン画像、視神経乳頭の中心を通過する第1方向に交差する第2方向のBスキャン画像、中心窩の中心を通過する第2方向のBスキャン画像、プロジェクション画像、en-face画像、及び視神経乳頭の中心と中心窩の中心との中間を通過するBスキャン画像を含む。
【0269】
このような態様によれば、視神経乳頭及び中心窩の形態を反映させて、ニコレラ分類に従った緑内障の病態の分類結果を高精度に推定することが可能な確信度情報を出力することができるようになる。
【0270】
いくつかの実施形態では、背景データは、眼軸長、MD値、等価球面度数、年齢、神経乳頭組織血流値、及び過去1年間最小眼圧値の少なくとも1つを含む。
【0271】
このような態様によれば、より高精度の確信度情報を出力することができるようになる。
【0272】
いくつかの実施形態では、2以上の確信度情報は、緑内障が局所虚血型である確信度を表す確信度情報、緑内障が近視型である確信度を表す確信度情報、緑内障が加齢性硬化型である確信度を表す確信度情報、及び緑内障が全体的拡大型である確信度を表す確信度情報を含む。
【0273】
このような態様によれば、緑内障の病態の4つの類型のそれぞれの確信度を表す確信度情報を出力することが可能になる。
【0274】
いくつかの実施形態に係るプログラムは、コンピュータに、上記のいずれかに記載の眼科情報処理方法の各ステップを実行させる。
【0275】
このような態様によれば、上記の1以上の背景データを用いて、被検者の眼の疾患の病態の分類結果を推定するための2以上の確信度情報を出力するようにしたので、画像の特徴量だけで確信度情報を出力する場合と比較して、病態の分類結果の精度を向上させることが可能なプログラムを提供することができるようになる。
【0276】
いくつかの実施形態に係る眼科情報理方法を実現するためのプログラムを、コンピュータによって読み取り可能な非一時的な(non-transitory)任意の記録媒体に記憶させることができる。記録媒体は、磁気、光、光磁気、半導体などを利用した電子媒体であってよい。典型的には、記録媒体は、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ、ソリッドステートドライブなどである。
【0277】
また、インターネットやLAN等のネットワークを通じてコンピュータプログラムを送受信することも可能である。
【0278】
以上に説明した態様は、この発明を実施するための例に過ぎない。この発明を実施しようとする者は、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を施すことが可能である。
【符号の説明】
【0279】
1 眼科装置
2 眼底カメラユニット
100 OCTユニット
230 画像形成部
300 データ処理部
310 Bスキャン画像形成部
320 プロジェクション画像形成部
330 en-face画像形成部
340、1100 特徴量抽出器
350、1200 分類器
360 学習部
361 第1学習部
362 特徴選択部
362A 統計検定部
362C 交差検証部
363 第2学習部
370 解析部
1000、2200 眼科情報処理装置
1110-1~1110-n、1110-1~1110-7 抽出器
BG、BG0、BG1 背景データ
IMG-1~IMG-n、IMG-1~IMG-7 画像
OUT-1~OUT-m、OUT-1~OUT-4 確信度情報
図1A
図1B
図2
図3
図4
図5
図6
図7A
図7B
図7C
図7D
図7E
図7F
図7G
図7H
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17