(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-19
(45)【発行日】2024-03-28
(54)【発明の名称】情報処理装置、推論モデル生成方法、情報処理方法、及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240321BHJP
G06N 3/08 20230101ALI20240321BHJP
G06T 7/00 20170101ALI20240321BHJP
A61B 3/10 20060101ALI20240321BHJP
【FI】
G06N20/00 130
G06N3/08
G06T7/00 350B
G06T7/00 614
A61B3/10 100
(21)【出願番号】P 2019229892
(22)【出願日】2019-12-20
【審査請求日】2022-11-29
【新規性喪失の例外の表示】特許法第30条第2項適用 第55回 日本眼光学学会総会 プログラム・抄録集 81頁、発行日 令和1年9月6日
(73)【特許権者】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(73)【特許権者】
【識別番号】503359821
【氏名又は名称】国立研究開発法人理化学研究所
(74)【代理人】
【識別番号】100124626
【氏名又は名称】榎並 智和
(72)【発明者】
【氏名】宇田川 拓麻
(72)【発明者】
【氏名】安 光州
(72)【発明者】
【氏名】秋葉 正博
(72)【発明者】
【氏名】横田 秀夫
【審査官】北川 純次
(56)【参考文献】
【文献】特開2019-087181(JP,A)
【文献】特表2019-530116(JP,A)
【文献】特開平4-288124(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 20/00
G06N 3/08
G06T 7/00
A61B 3/10
(57)【特許請求の範囲】
【請求項1】
エンコーダと前記エンコーダの出力データが入力されるデコーダとを含む自己符号化器に対し、前記デコーダの出力データが前記エンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する第1学習部と、
前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習部と、
前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成部と、
を含
み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記分類器は、前記正面画像に描出された前記血管の走行パターンを予め決められた複数のパターン種別に分類する、情報処理装置。
【請求項2】
訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを含み、前記エンコーダの入力データに対応した出力データを前記入力データの特徴量として出力する特徴量抽出器と、
前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、前記特徴量抽出器により出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する分類器と、
を含
み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記ラベル付きデータは、予め決められた複数のパターン種別のうち前記血管の走行パターンが分類されるパターン種別を示すラベルが付された前記正面画像を表す画像データである、情報処理装置。
【請求項3】
前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む
ことを特徴とする請求項1
又は請求項2に記載の情報処理装置。
【請求項4】
前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む
ことを特徴とする請求項1~請求項
3のいずれか一項に記載の情報処理装置。
【請求項5】
前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む
ことを特徴とする請求項
4に記載の情報処理装置。
【請求項6】
コンピュータが、エンコーダと前記エンコーダの出力データが入力されるデコーダとを含む自己符号化器に対し、前記デコーダの出力データが前記エンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する第1学習ステップと、
前記コンピュータが、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習ステップと、
前記コンピュータが、前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成ステップと、
を含
み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記分類器は、前記正面画像に描出された前記血管の走行パターンを予め決められた複数のパターン種別に分類する、推論モデル生成方法。
【請求項7】
前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む
ことを特徴とする請求項
6に記載の推論モデル生成方法。
【請求項8】
前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む
ことを特徴とする請求項
6又は請求項7に記載の推論モデル生成方法。
【請求項9】
前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む
ことを特徴とする請求項
8に記載の推論モデル生成方法。
【請求項10】
コンピュータが、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを用いて、前記エンコーダの入力データに対応した出力データを前記入力データの特徴量として出力する特徴量抽出ステップと、
前記コンピュータが、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習された分類器を用いて、前記特徴量抽出ステップにおいて出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する推論ステップと、
を含
み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記ラベル付きデータは、予め決められた複数のパターン種別のうち前記血管の走行パターンが分類されるパターン種別を示すラベルが付された前記正面画像を表す画像データである、情報処理方法。
【請求項11】
前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む
ことを特徴とする請求項
10に記載の情報処理方法。
【請求項12】
前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む
ことを特徴とする請求項
10又は請求項11に記載の情報処理方法。
【請求項13】
前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む
ことを特徴とする請求項
12に記載の情報処理方法。
【請求項14】
コンピュータに、請求項
6~請求項
9のいずれか一項に記載の推論モデル生成方法の各ステップを実行させることを特徴とするプログラム。
【請求項15】
コンピュータに、請求項
10~請求項
13のいずれか一項に記載の情報処理方法の各ステップを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、深層学習を代表とする機械学習の手法の急速な進歩により、様々な分野で人工知能技術の実用化が進んでいる。例えば、深層学習により物体や歩行者等の検知精度を向上させることによって、自動運転の安全性を向上させることができる。また、例えば、深層学習により診断画像における疾患部位又は組織の態様等の検出精度の向上によって、正確且つ高精度な医療診断を迅速に行うことができる。
【0003】
このような深層学習には、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)が広く使われている(特許文献1、特許文献2、特許文献3)。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2019-172010号公報
【文献】特開2018-121886号公報
【文献】特開2019-152977号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、深層学習に広く使われている畳み込みニューラルネットワークでは、高精度な出力(例えば、分類結果又は確信度)を得るために大量の教師データが必要になる。従って、教師データの作成に多大なコストと労力がかかる。
【0006】
本発明は、このような事情を鑑みてなされたものであり、その目的は、少量の教師データを用いた機械学習により高精度な出力を得るための新たな技術を提供することにある。
【課題を解決するための手段】
【0007】
いくつかの実施形態の第1態様は、エンコーダと前記エンコーダの出力データが入力されるデコーダとを含む自己符号化器に対し、前記デコーダの出力データが前記エンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する第1学習部と、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習部と、前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成部と、を含む、情報処理装置である。
【0008】
いくつかの実施形態の第2態様では、第1態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記分類器は、前記正面画像に描出された前記血管の走行パターンが対称であるか否かを推論する。
【0009】
いくつかの実施形態の第3態様は、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを含み、前記エンコーダの入力データに対応した出力データを前記入力データの特徴量として出力する特徴量抽出器と、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、前記特徴量抽出器により出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する分類器と、を含む、情報処理装置である。
【0010】
いくつかの実施形態の第4態様では、第3態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記ラベル付きデータは、前記血管の走行パターンが対称であるか否かを示すラベルが付された前記正面画像を表す画像データである。
【0011】
いくつかの実施形態の第5態様では、第2態様又は第4態様において、前記正面画像は、前記脈絡膜におけるHaller層の正面画像である。
【0012】
いくつかの実施形態の第6態様では、第1態様~第5態様のいずれかにおいて、前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む。
【0013】
いくつかの実施形態の第7態様では、第1態様~第6態様のいずれかにおいて、前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。
【0014】
いくつかの実施形態の第8態様では、第7態様において、前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む。
【0015】
いくつかの実施形態の第9態様は、エンコーダと前記エンコーダの出力データが入力されるデコーダとを含む自己符号化器に対し、前記デコーダの出力データが前記エンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する第1学習ステップと、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習ステップと、前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成ステップと、を含む、推論モデル生成方法である。
【0016】
いくつかの実施形態の第10態様では、第9態様において、前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む。
【0017】
いくつかの実施形態の第11態様では、第9態様又は第10態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記分類器は、前記正面画像に描出された前記血管の走行パターンが対称であるか否かを推論する。
【0018】
いくつかの実施形態の第12態様では、第11態様において、前記正面画像は、前記脈絡膜におけるHaller層の正面画像である。
【0019】
いくつかの実施形態の第13態様では、第9態様~第12態様のいずれかにおいて、前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。
【0020】
いくつかの実施形態の第14態様では、第13態様において、前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む。
【0021】
いくつかの実施形態の第15態様は、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを用いて、前記エンコーダの入力データに対応した出力データを前記入力データの特徴量として出力する特徴量抽出ステップと、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習された分類器を用いて、前記特徴量抽出ステップにおいて出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する推論ステップと、を含む、情報処理方法である。
【0022】
いくつかの実施形態の第16態様では、第15態様において、前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む。
【0023】
いくつかの実施形態の第17態様では、第15態様又は第16態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記ラベル付きデータは、前記血管の走行パターンが対称であるか否かを示すラベルが付された前記正面画像を表す画像データである。
【0024】
いくつかの実施形態の第18態様では、第17態様において、前記正面画像は、前記脈絡膜におけるHaller層の正面画像である。
【0025】
いくつかの実施形態の第19態様では、第15態様~第18態様のいずれかにおいて、前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。
【0026】
いくつかの実施形態の第20態様では、第19態様において、前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む。
【0027】
いくつかの実施形態の第21態様は、コンピュータに、第9態様~第14態様のいずれかに記載の推論モデル生成方法の各ステップを実行させるプログラムである。
【0028】
いくつかの実施形態の第22態様は、コンピュータに、第15態様~第20態様のいずれかに記載の情報処理方法の各ステップを実行させるプログラムである。
【0029】
なお、上記した複数の態様に係る構成を任意に組み合わせることが可能である。
【発明の効果】
【0030】
本発明に係るいくつかの実施形態によれば、少量の教師データを用いた機械学習により高精度な出力を得るための新たな技術を提供することができる。
【図面の簡単な説明】
【0031】
【
図1】実施形態に係る眼科システムの構成の一例を表す概略図である。
【
図2】実施形態に係る眼科装置の構成の一例を表す概略図である。
【
図3】実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。
【
図4】実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。
【
図5】実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。
【
図6】実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。
【
図7】実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。
【
図8】実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。
【
図9】実施形態に係る眼科情報処理装置の動作フローの一例を表す概略図である。
【
図10】実施形態に係る眼科情報処理装置の動作を説明するための概略図である。
【
図11A】実施形態に係る眼科情報処理装置の動作を説明するための概略図である。
【
図11B】実施形態に係る眼科情報処理装置の動作を説明するための概略図である。
【
図12】実施形態の変形例に係る眼科装置の構成の一例を表す概略図である。
【発明を実施するための形態】
【0032】
この発明のいくつかの実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムの例について、図面を参照しながら詳細に説明する。なお、この明細書で引用する文献に記載された事項や任意の公知技術を実施形態に援用することができる。
【0033】
以下、実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムが眼科分野に適用される場合について説明する。しかしながら、実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムの適用分野は眼科分野に限定されるものではない。
【0034】
実施形態に係る情報処理装置が眼科分野に適用される場合、実施形態に係る情報処理装置の機能は眼科情報処理装置によって実現される。同様に、実施形態に係る情報処理方法が眼科分野に適用される場合、実施形態に係る情報処理方法の機能は眼科情報処理方法によって実現される。
【0035】
実施形態に係る眼科情報処理装置は、眼科装置により光学的に取得された被検眼の眼底のデータに対して所定の解析処理や所定の表示処理を施すことが可能である。いくつかの実施形態に係る眼科装置は、被検眼の眼底の正面画像を取得する機能を備える。被検眼の眼底の正面画像を取得する機能を備えた眼科装置には、光コヒーレンストモグラフィ(Optical Coherence Tomography:OCT)装置、眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡、手術用顕微鏡などがある。いくつかの実施形態に係る眼科装置は、被検眼の光学的な特性を測定する機能を備える。被検眼の光学的な特性を測定する機能を備えた眼科装置には、レフラクトメーター、ケラトメーター、眼圧計、ウェーブフロントアナライザー、スペキュラーマイクロスコープ、視野計などがある。いくつかの実施形態に係る眼科装置は、レーザー治療に用いられるレーザー治療装置の機能を備える。
【0036】
以下の実施形態では、眼科装置が被検眼に対してOCTを実行することによりOCTデータを取得する場合について説明する。眼科装置又は眼科情報処理装置は、取得されたOCTデータを用いて眼底の正面画像を形成することが可能である。
【0037】
また、以下の実施形態では、眼科情報処理装置が、被検眼の眼底の脈絡膜における血管の走行パターンが対称性を有するか否かを推論する場合について説明する。脈絡膜における血管の走行パターンの対称性は、中心窩と視神経乳頭とを結ぶ線を対称軸として判断される。脈絡膜における血管の走行パターンが非対称であると判断される症例では、所定の疾患を発症しやすいと考えられている(例えば、T.Hiroe, et al., “Dilatation of Asymmetric Vortex Vein in Cetnral Serous Chorioretinopathy”, American Academy of Ophthalmology, 2017年, ISSN 2468-6530/17、又は、M.C.SAVASTANO, et al., “CLASSIFICATION OF HALLER VESSEL ARRANGEMENTS IN ACUTE AND CHRONIC CENTRAL SEROUS CHORIORETINOPATHY IMAGED WITH EN FACE OPTICAL COHERENCE TOMOGRAPHY”, 2017年, Ophthalmic Communications Society)。
【0038】
例えば、脈絡膜における血管の走行パターンが非対称であると判断される症例の場合、加齢黄斑変性の病態にPachychoroidが関連している可能性が指摘されている。従って、上記の走行パターンの対称性を推論することにより、Pachychoroidに対する治療方針の決定を補助することができる。
【0039】
例えば、“Intravitreal aflibercept and ranibizumab for pachychoroid neovasculopathy”(B.J.Yung, et al., 2019年, 9:2055, SCIENTIFIC REPORTS)には、Pachychoroidに有効と考えられている治療薬が存在すると指摘されている。従って、上記の走行パターンの対称性の推論結果から加齢黄斑変性の治療薬を選択することができる。
【0040】
例えば、“Efficacy of Photodynamic Therapy for Polypoidal Chroidal Vasculopathy Associated with and without Pachychoroid Phenotypes”(M.Hata, et al., 2018年, Ophthalmology Retina)には、ポリープ状脈絡膜血管症(Polypoidal Choroidal Vasculopathy:PCV)に光線力学的療法(photodynamic therapy:PDT)が有効であると指摘されている。従って、上記の走行パターンの対称性の推論結果から加齢黄斑変性の治療法を選択することができる。
【0041】
実施形態に係る眼科情報処理装置は、機械学習によって得られた推論モデルを用いて、被検眼の眼底の正面画像(特に、OCTを用いて取得されたOCT画像)に描出された脈絡膜における血管の走行パターンが対称性を有するか否かを推論することが可能である。実施形態に係る推論モデル生成方法は、上記の走行パターンが対称性を有するか否かを推論するための推論モデルを生成する方法である。
【0042】
実施形態に係る眼科システムは、眼科情報処理装置を含む。実施形態に係る眼科情報処理方法又は推論モデル生成方法は、眼科情報処理装置により実行される。実施形態に係るプログラムは、眼科情報処理方法又は推論モデル生成方法の各ステップをコンピュータに実行させる。
【0043】
[眼科システム]
図1に、実施形態に係る眼科システムの構成例のブロック図を示す。実施形態に係る眼科システム1は、眼科装置10と、眼科情報処理装置(眼科画像処理装置、眼科解析装置)100と、操作装置180と、表示装置190とを含む。
【0044】
眼科装置10は、被検眼のデータを光学的に収集する。眼科装置10は、被検眼の眼底をスキャンすることにより被検眼の眼底のデータを光学的に収集する。この実施形態では、眼科装置10は、OCTを用いて被検眼の眼底のOCTデータを取得する。眼科装置10は、取得された被検眼のデータから被検眼の眼底の画像を取得することが可能である。眼底の画像には、眼底の断層像及び正面画像が含まれる。眼底の断層像には、Bスキャン画像などがある。眼底の正面画像には、Cスキャン画像、en-face画像、シャドウグラム、又はプロジェクション画像などがある。眼科装置10は、取得された被検眼のデータ又は取得された画像のデータを眼科情報処理装置100に送信する。
【0045】
いくつかの実施形態では、眼科装置10と眼科情報処理装置100とは、データ通信ネットワークを介して接続される。いくつかの実施形態に係る眼科情報処理装置100は、データ通信ネットワークを介して選択的に接続された複数の眼科装置10の1つから上記のデータを受信する。
【0046】
眼科情報処理装置100は、機械学習によって得られた推論モデル(学習モデル)を用いて、被検眼の眼底の正面画像に描出された脈絡膜血管の走行パターン(分布)に対称性があるか否かを推論する。いくつかの実施形態では、眼科情報処理装置100は、眼底の正面画像に描出された中心窩(具体的には、中心窩に相当する領域の中心位置)と視神経乳頭(具体的には、視神経乳頭に相当する領域の中心位置)とを結ぶ線を対称軸として、脈絡膜血管の走行パターンに対称性があるか否かを推論する。
【0047】
いくつかの実施形態では、眼科情報処理装置100は、外部で構築された推論モデルを用いて脈絡膜血管の走行パターンに対称性があるか否かを推論する。いくつかの実施形態では、眼科情報処理装置100は、上記の推論モデルを構築し、構築された推論モデルを用いて脈絡膜血管の走行パターンに対称性があるか否かを推論する。いくつかの実施形態では、眼科情報処理装置100は、上記の推論モデルを構築し、構築された推論モデルを外部の装置に出力する。
【0048】
以下、眼科情報処理装置100は、眼底のen-face画像に対して上記の推論を行うものとする。脈絡膜は、Choriocapillaris(脈絡毛細管板)層、Sattler(中血管)層、及びHaller(大血管)層を含む。脈絡膜のHaller層(大血管層)における血管を解析対象とすることで、脈絡膜血管の走行パターンの対称性を判断しやすくなる(例えば、H.Shiihara, et al., “Automated segmentation for en face choroidal images obtained by optical coherent tomography by machine learning”, 2018年3月29日, Japanese Journal of Ophthalmology)。実施形態に係る眼科情報処理装置100は、脈絡膜のHaller層のen-face画像に対して、上記の推論を行うことができる。
【0049】
眼科情報処理装置100は、推論結果として、脈絡膜血管の走行パターンに対称性があるか否かの分類結果(対称である、非対称である)を出力することができる。いくつかの実施形態では、眼科情報処理装置100は、推論結果として、脈絡膜血管の走行性パターンが対称(又は非対称)であると判断する指標(度合い)を表す確信度を表す情報(数値、画像など)を出力する。
【0050】
操作装置180及び表示装置190は、ユーザインターフェイス部として情報の表示、情報の入力、操作指示の入力など、眼科情報処理装置100とそのユーザとの間で情報をやりとりするための機能を提供する。操作装置180は、レバー、ボタン、キー、ポインティングデバイス等の操作デバイスを含む。いくつかの実施形態に係る操作装置180は、音で情報を入力するためのマイクロフォンを含む。表示装置190は、フラットパネルディスプレイ等の表示デバイスを含む。いくつかの実施形態では、操作装置180及び表示装置190の機能は、タッチパネルディスプレイのような入力機能を有するデバイスと表示機能を有するデバイスとが一体化されたデバイスにより実現される。いくつかの実施形態では、操作装置180及び表示装置190は、情報の入出力を行うためのグラフィカルユーザインターフェイス(GUI)を含む。
【0051】
[眼科装置]
図2に、実施形態に係る眼科装置10の構成例のブロック図を示す。
【0052】
眼科装置10には、被検眼のOCTデータを取得するための光学系が設けられている。眼科装置10は、スウェプトソースOCTを実行する機能を備えているが、実施形態はこれに限定されない。例えば、OCTの種別はスウェプトソースOCTには限定されず、スペクトラルドメインOCT等であってもよい。スウェプトソースOCTは、波長掃引型(波長走査型)光源からの光を測定光と参照光とに分割し、被測定物体を経由した測定光の戻り光を参照光と干渉させて干渉光を生成し、この干渉光をバランスドフォトダイオード等で検出し、波長の掃引及び測定光のスキャンに応じて収集された検出データにフーリエ変換等を施して画像を形成する手法である。スペクトラルドメインOCTは、低コヒーレンス光源からの光を測定光と参照光とに分割し、被測定物体を経由した測定光の戻り光を参照光と干渉させて干渉光を生成し、この干渉光のスペクトル分布を分光器で検出し、検出されたスペクトル分布にフーリエ変換等を施して画像を形成する手法である。
【0053】
眼科装置10は、制御部11と、データ収集部12と、画像形成部13と、通信部14とを含む。
【0054】
制御部11は、眼科装置10の各部を制御する。特に、制御部11は、データ収集部12、画像形成部13、及び通信部14を制御する。
【0055】
データ収集部12は、OCTを用いて被検眼をスキャンすることにより被検眼のデータ(例えば、3次元のOCTデータ)を収集する。データ収集部12は、干渉光学系12Aと、スキャン光学系12Bとを含む。
【0056】
干渉光学系12Aは、光源(波長掃引型光源)からの光を測定光と参照光とに分割し、被検眼を経由した測定光の戻り光を参照光路を経由した参照光と干渉させて干渉光を生成し、生成された干渉光を検出する。干渉光学系12Aは、ファイバーカプラと、バランスドフォトダイオード等の受光器とを少なくとも含む。ファイバーカプラは、光源からの光を測定光と参照光とに分割し、被検眼を経由した測定光の戻り光と参照光路を経由した参照光と干渉させて干渉光を生成する。受光器は、ファイバーカプラにより生成された干渉光を検出する。干渉光学系12Aは、光源を含んでよい。
【0057】
スキャン光学系12Bは、制御部11からの制御を受け、干渉光学系12Aにより生成された測定光を偏向することにより被検眼の眼底における測定光の入射位置を変更する。スキャン光学系12Bは、例えば、被検眼の瞳孔と光学的に略共役な位置に配置された光スキャナを含む。光スキャナは、例えば、測定光を水平方向に偏向する第1ガルバノミラーと、測定光を垂直方向に偏向する第2ガルバノミラーと、これらを独立に駆動する機構とを含んで構成される。例えば、第2ガルバノミラーは、第1ガルバノミラーにより偏向された測定光を更に偏向するように構成される。それにより、測定光を眼底平面上の任意の方向にスキャンすることができる。
【0058】
干渉光学系12Aによる干渉光の検出結果(検出信号)は、干渉光のスペクトルを示す干渉信号である。
【0059】
画像形成部13は、制御部11からの制御を受け、データ収集部12により収集された被検眼のデータに基づいて被検眼の眼底の断層像の画像データを形成する。この処理には、ノイズ除去(ノイズ低減)、フィルタ処理、FFT(Fast Fourier Transform)などの処理が含まれている。このようにして取得される画像データは、複数のAライン(被検眼内における各測定光の経路)における反射強度プロファイルを画像化することにより形成された一群の画像データを含むデータセットである。画質を向上させるために、同じパターンでのスキャンを複数回繰り返して収集された複数のデータセットを重ね合わせる(加算平均する)ことができる。
【0060】
画像形成部13は、3次元のOCTデータに各種のレンダリングを施すことで、Bスキャン画像、Cスキャン画像、en-face画像、プロジェクション画像、シャドウグラムなどを形成することができる。Bスキャン画像やCスキャン画像のような任意断面の画像は、指定された断面上の画素(ピクセル、ボクセル)を3次元のOCTデータ(画像データ)から選択することにより形成される。en-face画像は、3次元のOCTデータ(画像データ)の一部を平坦化(フラットニング)することにより形成される。いくつかの実施形態では、en-face画像は、Aスキャン方向(Z方向、深さ方向)の所定の位置のOCT画像として形成される。プロジェクション画像は、3次元のOCTデータを所定方向(Z方向、深さ方向、Aスキャン方向)に投影することによって形成される。シャドウグラムは、3次元のOCTデータの一部(例えば特定層に相当する部分データ)を所定方向に投影することによって形成される。
【0061】
いくつかの実施形態に係る眼科装置10には、画像形成部13により形成された画像に対して各種のデータ処理(画像処理)や解析処理を施すデータ処理部が設けられる。例えば、データ処理部は、画像の輝度補正や分散補正等の補正処理を実行する。データ処理部は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼のボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、データ処理部は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。
【0062】
制御部11及び画像形成部13のそれぞれは、プロセッサを含む。プロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を含む。画像形成部13の機能は、画像形成プロセッサにより実現される。いくつかの実施形態では、制御部11及び画像形成部13の双方の機能が1つのプロセッサにより実現される。いくつかの実施形態では、眼科装置10にデータ処理部が設けられている場合、データ処理部の機能もまたプロセッサにより実現される。
【0063】
プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムを読み出し実行することで、実施形態に係る機能を実現する。記憶回路や記憶装置の少なくとも一部がプロセッサに含まれていてよい。また、記憶回路や記憶装置の少なくとも一部がプロセッサの外部に設けられていてよい。
【0064】
記憶装置等は、各種のデータを記憶する。記憶装置等に記憶されるデータとしては、データ収集部12により取得されたデータ(測定データ、撮影データ等)や、被検者及び被検眼に関する情報などがある。記憶装置等には、眼科装置10の各部を動作させるための各種のコンピュータプログラムやデータが記憶されていてよい。
【0065】
通信部14は、制御部11からの制御を受け、眼科情報処理装置100との間で情報の送信又は受信を行うための通信インターフェース処理を実行する。
【0066】
いくつかの実施形態に係る眼科装置10は、画像形成部13により形成された被検眼の画像データを眼科情報処理装置100に送信する。
【0067】
いくつかの実施形態に係る眼科装置10には、被検眼の眼底の画像を取得するための眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡が設けられる。いくつかの実施形態では、眼底カメラにより取得される眼底画像は、フルオレセイン蛍光眼底造影画像又は眼底自発蛍光検査画像である。
【0068】
[眼科情報処理装置]
図3~
図5に、実施形態に係る眼科情報処理装置100の構成例のブロック図を示す。
図3は、眼科情報処理装置100の機能ブロック図を表す。
図4は、
図3の解析部200の機能ブロック図を表す。
図5は、
図3の推論モデル構築部210の機能ブロック図を表す。
【0069】
眼科情報処理装置100は、制御部110と、画像形成部120と、データ処理部130と、通信部140とを含む。
【0070】
画像形成部120は、制御部110からの制御を受け、眼科装置10により取得された3次元のOCTデータからOCT画像を形成する。画像形成部120は、画像形成部13と同様に上記の画像を形成することが可能である。
【0071】
データ処理部130は、画像形成部120により形成された画像に対して各種のデータ処理(画像処理)や解析処理を施す。例えば、データ処理部130は、画像の輝度補正や分散補正等の補正処理を実行する。データ処理部130は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼のボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、データ処理部130は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。
【0072】
また、データ処理部130(又は画像形成部120)は、3次元のOCTデータに基づいて形成されたOCT画像からBスキャン画像、Cスキャン画像、en-face画像、プロジェクション画像、シャドウグラムなどを形成することが可能である。
【0073】
データ処理部130は、形成された被検眼の画像に対して所定のデータ処理を施す。データ処理部130は、解析部200と、推論モデル構築部210と、推論部220とを含む。
【0074】
解析部200は、画像形成部120により形成された被検眼の眼底の画像データ(又は眼科装置10により取得された被検眼の眼底の画像データ)に対して所定の解析処理を施す。いくつかの実施形態に係る解析処理には、眼底の所定の層領域(層組織)の特定処理、眼底の所定の層領域(層組織)の画像の生成処理などが含まれる。
【0075】
解析部200は、
図4に示すように、セグメンテーション処理部201と、正面画像生成部202とを含む。
【0076】
セグメンテーション処理部201は、眼科装置10により取得された被検眼のデータに基づいてAスキャン方向の複数の層領域を特定する。いくつかの実施形態に係るセグメンテーション処理部201は、3次元のOCTデータを解析することにより、被検眼の複数の組織に相当する複数の部分データセットを特定する。セグメンテーション処理は、特定の組織や組織境界を特定するための画像処理である。例えば、セグメンテーション処理部201は、OCTデータに含まれる各Aスキャン画像における画素値(輝度値)の勾配を求め、勾配が大きい位置を組織境界として特定する。なお、Aスキャン画像は、眼底の深さ方向にのびる1次元画像データである。なお、眼底の深さ方向は、例えば、Z方向、OCT測定光の入射方向、軸方向、干渉光学系の光軸方向などとして定義される。
【0077】
典型的な例において、セグメンテーション処理部201は、眼底(網膜、脈絡膜等)及び硝子体を表す3次元のOCTデータを解析することにより、眼底の複数の層組織に相当する複数の部分データセットを特定する。各部分データセットは、層組織の境界によって画成される。部分データセットとして特定される層組織の例として、網膜を構成する層組織がある。網膜を構成する層組織には、内境界膜、神経繊維層、神経節細胞層、内網状層、内顆粒層、外網状層、外顆粒層、外境界膜、視細胞層、RPEがある。更に、セグメンテーション処理部201は、ブルッフ膜、脈絡膜、強膜、硝子体等に相当する部分データセットを特定することができる。セグメンテーション処理部201は、脈絡膜におけるChoriocapillaris層、Sattler層、及びHaller層に相当する部分データセットを特定すること可能である。特に、セグメンテーション処理部201は、例えば、上記の“Automated segmentation for en face choroidal images obtained by optical coherent tomography by machine learning”に記載された手法を用いて脈絡膜におけるHaller層に相当する部分データセットを特定することが可能である。いくつかの実施形態に係るセグメンテーション処理部201は、病変部に相当する部分データセットを特定する。病変部の例として、剥離部、浮腫、出血、腫瘍、ドルーゼンなどがある。
【0078】
いくつかの実施形態に係るセグメンテーション処理部201は、RPEに対して強膜側の所定のピクセル数分の層組織をブルッフ膜として特定し、当該層組織に相当する部分データセットをブルッフ膜の部分データセットとして取得する。
【0079】
正面画像生成部202は、正面画像として上記のen-face画像を生成する。具体的には、正面画像生成部202は、セグメンテーション処理部201により特定された脈絡膜のHaller層に相当する層領域の任意の深さ位置におけるen-face画像を生成する。例えば、正面画像生成部202は、Haller層の浅層側の境界位置を基準に深層方向に複数の深さ位置における複数のen-face画像を生成する。Haller層の浅層側の境界位置を0%の深さ位置とし、深層側の境界位置を100%の深さ位置と表記すると、正面画像生成部202は、例えば、10%の深さ位置から50%の深さ位置の範囲で複数のen-face画像を生成することが可能である。
【0080】
推論モデル構築部210は、
図5に示すように、第1学習部211と、第2学習部212と、推論モデル生成部213とを含む。
【0081】
図6~
図8に、
図5の推論モデル構築部210の動作説明図を示す。
図6は、
図5の第1学習部211の動作説明図を模式的に表す。
図7は、
図5の第2学習部212の動作説明図を模式的に表す。
図8は、
図5の推論モデル生成部213の動作説明図を模式的に表す。
【0082】
第1学習部211は、自己符号化器(autoencoder)に対して訓練データを用いた教師なし機械学習(unsupervised machine learning)を実行する。この実施形態では、自己符号化器は、変分自己符号化器(Variational autoencoder:VAE)である場合について説明するが、実施形態に係る自己符号化器は、変分自己符号化器以外の自己符号化器であってよい。
【0083】
図6に示すように、実施形態に係る自己符号化器211Bは、エンコーダENと、デコーダDEとを含む。デコーダDEの入力(入力層のユニット)には、エンコーダENの出力データが入力されるように構成されている。エンコーダENの入力の次元数は、エンコーダENの出力の次元数より大きい。エンコーダENは、入力データIn1を所定の確率分布に従った潜在空間に圧縮することで入力データIn1の次元圧縮を行い、入力データIn1を特徴量としての潜在変数Vaに変換する。デコーダDEの入力の次元数は、デコーダDEの出力の次元数より小さい。デコーダDEは、エンコーダENの変換と逆の変換を行い、潜在変数Vaに対応した出力データOut1を出力する。
【0084】
このようなエンコーダEN及びデコーダDEのそれぞれは、ニューラルネットワークにより構成される。例えば、自己符号化器211Bが、入力層と中間層と出力層とを含む。この場合、エンコーダENは、入力層における第1~第L(Lは2以上の整数)の入力層ユニットと中間層における第1~第M(MはLより小さい整数)の中間層ユニットとの間のニューラルネットワークにより構成される。同様に、デコーダDEは、中間層における第1~第Mの中間層ユニットと出力層における第1~第N(NはMより大きい整数)の出力層ユニットとの間のニューラルネットワークにより構成される。
【0085】
第1~第Lの入力層ユニットのそれぞれは、第1~第Mの中間層ユニットのいずれかと結合され、入力層ユニットと中間層ユニットとの間には結合係数が割り当てられている。各中間層ユニットには、結合された1以上の入力層ユニットの情報と各結合間の結合係数とから得られた情報を所定の活性化関数で演算した情報が入力される。例えば、第1~第Lの入力層ユニットの情報が入力データに対応し、第1~第Mの中間層ユニットの情報が潜在変数Vaに対応する。
【0086】
同様に、第1~第Mの中間層ユニットのそれぞれは、第1~第Nの出力層ユニットのいずれかと結合され、中間層ユニットと出力層ユニットとの間には結合係数が割り当てられている。各出力層ユニットには、結合された1以上の中間層ユニットの情報と各結合間の結合係数とから得られた情報を所定の活性化関数で演算した情報が入力される。例えば、第1~第Nの出力層ユニットの情報が、出力データに対応する。
【0087】
第1学習部211は、第1学習処理部211Aを含む。第1学習処理部211Aは、デコーダDEの出力データがエンコーダENの入力データに一致するように訓練データを用いた教師なし機械学習を実行する。これにより、デコーダDEの出力データがエンコーダENの入力データに一致するように、入力層ユニットと中間層ユニットとの間の結合係数と、中間層ユニットと出力層ユニットとの間の結合係数とが更新される。
【0088】
この実施形態では、第1学習部211は、正面画像生成部202により生成された複数のen-face画像を訓練データとして教師なし機械学習を実行する。複数のen-face画像は、Haller層の浅層側の境界位置を基準に10%の深さ位置から50%の深さ位置の範囲の画像である。
【0089】
第2学習部212は、分類器に対して教師データを用いた教師あり機械学習(supervised machine learning)を実行する。この実施形態では、分類器は、サポートベクタマシン(Support Vector Machine:SVM)である場合について説明するが、実施形態に係る分類器は、ランダムフォレストなどのサポートベクタマシン以外の分類器であってよい。
【0090】
図7に示すように、分類器CLには、第1学習部211により学習されたエンコーダENの出力データ(特徴量)が入力される。すなわち、分類器CLは、エンコーダENの入力データIn2の特徴量に対応した推論結果(分類結果、確信度)を出力データOut2として出力するように構成されている。分類器CLは、例えば、入力データに対する(仮想的な)識別境界線を変更することにより推論結果を変更することが可能である。識別境界線は、教師あり機械学習によって更新される。
【0091】
第2学習部212は、第2学習処理部212Aを含む。第2学習処理部212Aは、教師データを用いて分類器CLに対して教師あり機械学習を実行する。ここで、教師データは、エンコーダENに入力されたラベル付きデータに対応してエンコーダENから出力された出力データと、上記ラベル付きデータに付されたラベルとを含む。このような教師データを用いた公知の機械学習を実行することにより、識別境界線を変更することができる。
【0092】
この実施形態では、第2学習部212は、正面画像生成部202により生成された複数のen-face画像の一部を教師データとして教師あり機械学習を実行する。教師データは、Haller層の浅層側の境界位置を基準に25%の深さ位置の画像に対して、事前に医師等が脈絡膜血管の走行パターンに対称性があるか否かの判断結果をラベルとして付したデータである。すなわち、第2学習部212が用いる教師データは、第1学習部211が用いる複数の訓練データの一部に対してラベルを付したデータを含む。
【0093】
推論モデル生成部213は、入力データに対応するラベル(例えば、分類結果、確信度。広義には、情報)を推論するための推論モデルを生成する。
図8に示すように、推論モデル生成部213は、第1学習部211により実行された教師なし機械学習により得られたエンコーダENと第2学習部212により実行された教師あり機械学習により得られた分類器CLとを用いて、上記の推論モデルを生成する。ここで、推論モデルは、入力データを受け付けるエンコーダENと、エンコーダENの出力にその入力が結合された分類器CLとを含み、分類器CLの出力データが入力データに対する推論結果として出力される。
【0094】
推論部220は、推論モデル生成部213により生成された推論モデルを用いて、推論モデルの入力データInに対応する出力データOutを推論結果として出力する。
【0095】
図3において、通信部140は、制御部110からの制御を受け、眼科情報処理装置100の通信部14との間で情報の送信又は受信を行うための通信インターフェース処理を実行する。
【0096】
制御部110は、眼科情報処理装置100の各部を制御する。特に、制御部110は、画像形成部120と、データ処理部130と、通信部140とを制御する。制御部110は、主制御部111と、記憶部112とを含む。
【0097】
制御部110は、操作装置180に対するユーザの操作内容に対応した操作指示信号に基づいて、眼科システム1の各部を制御する。
【0098】
制御部110、画像形成部120、及びデータ処理部130のそれぞれは、プロセッサを含む。画像形成部120の機能は、画像形成プロセッサにより実現される。データ処理部130の機能は、データ処理プロセッサにより実現される。いくつかの実施形態では、制御部110、画像形成部120、及びデータ処理部130のうち少なくとも2つの機能が1つのプロセッサにより実現される。
【0099】
記憶部112は、各種のデータを記憶する。記憶部112に記憶されるデータとしては、眼科装置10により取得されたデータ(測定データ、撮影データ等)、画像形成部120により形成された画像データ、データ処理部130によるデータ処理結果、被検者及び被検眼に関する情報などがある。記憶部112には、眼科情報処理装置100の各部を動作させるための各種のコンピュータプログラムやデータが記憶されていてよい。
【0100】
眼科情報処理装置100は、実施形態に係る「情報処理装置」の一例である。エンコーダENは、実施形態に係る「特徴量抽出器」の一例である。
【0101】
[動作例]
いくつかの実施形態に係る眼科情報処理装置100の動作例について説明する。
【0102】
図9及び
図10に、実施形態に係る眼科情報処理装置100の動作説明図を示す。
図9は、眼科情報処理装置100の動作例のフロー図を表す。記憶部112には、
図9に示す処理を実現するためのコンピュータプログラムが記憶されている。制御部110(主制御部111)は、このコンピュータプログラムに従って動作することにより、
図9に示す処理を実行することが可能である。
図10は、
図9の動作例のフロー図に対応した動作説明図である。
図10において、
図6~
図8と同様の部分には同一符号を付し、適宜説明を省略する。
【0103】
図9では、事前に眼科装置10を用いて複数の被検眼に対してOCTを実行し、得られたOCTデータから脈絡膜のHaller層の浅層側の境界位置を基準に10%の深さ位置から50%の深さ位置までの範囲の複数のen-face画像(例えば、14760枚)が形成されているものとする。1つの被検眼のOCTデータから、深さ位置が異なる複数のen-face画像を事前に形成することが可能である。また、得られた複数のen-face画像のうち25%の深さ位置の複数のen-face画像について、事前に脈絡膜血管の走行パターンの対称性の判断結果に対応したラベルが付されているものとする(例えば、対称であると判断された216枚、非対称であると判断された236枚)。
【0104】
(S1:VAEに対して教師なし機械学習を実行)
まず、制御部110は、第1学習部211を制御することにより、自己符号化器211Bに対して、デコーダDEの出力データがエンコーダENの入力データに一致するように訓練データを用いた教師なし機械学習を実行する。
【0105】
ステップS1では脈絡膜のHaller層の浅層側の境界位置を基準に10%の深さ位置から50%の深さ位置までの範囲の複数のen-face画像(例えば、14760枚)を訓練データとして、各en-face画像を用いて教師なし機械学習が実行される。
【0106】
これにより、ステップS1では、
図10に示すように、大量の訓練データを用いた教師なし機械学習により学習されたエンコーダENが得られる。
【0107】
(S2:SVMに対して教師あり機械学習を実行)
続いて、制御部110は、第2学習部212を制御することにより、分類器(SVM)CLに対して、エンコーダENに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いて教師あり機械学習を実行する。
【0108】
ステップS2では、脈絡膜のHaller層の浅層側の境界位置を基準に25%の深さ位置の複数のen-face画像(例えば、452(=216+236)枚)を教師データとして、各en-face画像を用いて教師あり機械学習が実行される。具体的には、ステップS1において教師なし機械学習により学習されたエンコーダENに各en-face画像を入力し、得られたエンコーダENの出力データ(特徴量)を分類器CLに入力し、分類器CLの出力データが教師データのラベルと一致するように、分類器CLを学習させる。
【0109】
これにより、ステップS2では、
図10に示すように、少量の教師データを用いた教師あり機械学習により学習された分類器CLが得られる。
【0110】
(S3:推論モデルを生成)
その後、制御部110は、推論モデル生成部213を制御することにより、推論部220において用いられる推論モデルを生成させる。具体的には、推論モデル生成部213は、ステップS1において得られたエンコーダENと、ステップS2において得られた分類器CLとを用いた推論モデルを生成する。
【0111】
これにより、ステップS3では、
図10に示すように、少量の教師データを用いた機械学習により高精度な出力を得ることが可能な推論モデルが得られる。
【0112】
ステップS3において生成された推論モデルを用いて、ステップS1において得られたエンコーダENの入力データに対応した出力データを入力データの特徴量として出力し、ステップS2において得られた分類器CLにより上記の特徴量に基づいて入力データに対応するラベルを推論することが可能である。
【0113】
すなわち、推論モデルを構成するエンコーダENは、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを含み、エンコーダENの入力データに対応した出力データを入力データの特徴量として出力する。また、推論モデルを構成する分類器CLは、エンコーダENに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、エンコーダENにより出力された特徴量に基づいて入力データに対応するラベルを推論する。
【0114】
以上で、眼科情報処理装置100の動作は終了である(エンド)。
【0115】
以上のように、実施形態によれば、少量の教師データを用いた機械学習により高精度な出力を得ることが可能になる。
【0116】
ここで、学習データ(ここでは、教師データ)が少量の場合、畳み込みニューラルネットワークと実施形態に係る推論モデルとについて受信者動作特性曲線下面積(Area Under Receiver Operating Characteritic curve:AUROC)を評価する。
【0117】
図11A及び
図11Bに、畳み込みニューラルネットワーク及び実施形態に係る推論モデルのAUROCの評価結果の一例を示す。
図11Aは、畳み込みニューラルネットワークのAUROCの評価結果の一例を表す。
図11Bは、実施形態に係る推論モデルのAUROCの評価結果の一例を表す。
【0118】
図11A及び
図11Bでは、実施形態において教師あり機械学習で用いた452例の教師データの一部である45例を訓練データとし、残りの407例を検証データとし(すなわち、学習データが少ない)、10分割の交差検証の評価結果がAUROCとして表されている。
【0119】
図11Aに示す畳み込みニューラルネットワークの評価結果では、AUROC=0.747±0.064である。
図11Bに示す実施形態に係る推論モデルの評価結果では、AUROC=0.841±0.021である。有意水準のp値が「0.05」であるウィルコクンソンの符号付順位和検定(Wilcoxon signed-rank sum test)では、
図11Aと
図11Bの評価結果はp値が0.00503であり有意差があると考えられる。学習データが少ない場合、データ依存性が高くなり、畳み込みニューラルネットワークではAUROCの分散が大きくなる。すなわち、実施形態によれば、学習データが少ない場合、データ依存性が低く、畳み込みニューラルネットワークより高い精度で入力データに対応するラベルを推論することができることを意味する。
【0120】
<変形例>
いくつかの実施形態に係る構成は、上記の構成に限定されるものではない。
【0121】
いくつかの実施形態に係る眼科装置は、眼科装置10の機能に加えて、眼科情報処理装置100の機能、操作装置180の機能、及び表示装置190の機能の少なくとも1つを備える。
【0122】
以下、いくつかの実施形態の変形例に係る眼科装置について、上記の実施形態に係る眼科装置との相違点を中心に説明する。
【0123】
図12に、実施形態の変形例に係る眼科装置10aの構成例のブロック図を示す。
図12において、
図2と同様の部分には同一符号を付し、適宜説明を省略する。
【0124】
本変形例に係る眼科装置10aの構成が上記の実施形態に係る眼科装置10の構成と異なる点は、眼科装置10aが、眼科情報処理装置100の機能と、操作装置180の機能と、表示装置190の機能とを備えている点である。眼科装置10aは、制御部11aと、データ収集部12と、画像形成部13と、眼科情報処理部15aと、操作部16aと、表示部17aとを含む。
【0125】
制御部11aは、眼科装置10aの各部を制御する。特に、制御部11aは、データ収集部12と、画像形成部13と、眼科情報処理部15aと、操作部16aと、表示部17aとを制御する。
【0126】
眼科情報処理部15aは、眼科情報処理装置100と同様の構成を有し、眼科情報処理装置100と同様の機能を備えている。操作部16aは、操作装置180と同様の構成を有し、操作装置180と同様の機能を備えている。表示部17aは、表示装置190と同様の構成を有し、表示装置190と同様の機能を備えている。
【0127】
本変形例によれば、コンパクトな構成で、少量の教師データを用いた機械学習により高精度な出力を得ることが可能な眼科装置を提供することができる。
【0128】
<その他の変形例>
上記の実施形態又はその変形例では、脈絡膜におけるHaller層の訓練データ及び教師データを用いて学習された推論モデルを用いて、脈絡血管の走行パターンが対称であるか否かを推論する場合について説明した。しかしながら、実施形態に係る構成はこれに限定されるものではない。例えば、脈絡膜におけるHaller層の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、脈絡血管の走行パターンを予め決められた複数のパターン種別に分類することが可能である。また、例えば、
脈絡膜におけるHaller層の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、pachychoroidスペクトラム疾患群(pachychoroid spectrum disease)に含まれる複数の疾患の種別に分類することが可能である。
【0129】
また、上記の実施形態又はその変形例において、眼底カメラ等を用いて取得された眼底写真(例えば、カラー眼底写真)の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、正常眼であるか緑内障眼でるかを分類することが可能である。また、例えば、眼底カメラ等を用いて取得された眼底写真(例えば、カラー眼底写真)の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、所定の部位(例えば視神経乳頭)が出血しているか否かを分類することが可能である。また、眼底カメラ等を用いて取得された眼底写真(例えば、カラー眼底写真)の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、網膜芽細胞腫や脈絡膜悪性黒色腫などの眼腫瘍の有無を分類することが可能である。
【0130】
<効果>
以下、いくつかの実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムについて説明する。
【0131】
いくつかの実施形態に係る情報処理装置(眼科情報処理装置100、眼科情報処理部15a)は、第1学習部(211)と、第2学習部(212)と、推論モデル生成部(213)とを含む。第1学習部は、エンコーダ(EN)とエンコーダの出力データが入力されるデコーダ(DE)とを含む自己符号化器(211B)に対し、デコーダの出力データがエンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する。第2学習部は、エンコーダに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いて分類器(CL)に対して教師あり機械学習を実行する。推論モデル生成部は、教師なし機械学習により得られたエンコーダと教師あり機械学習により得られた分類器とを用いて、エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する。
【0132】
このような構成によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することができる推論モデルを生成することが可能になる。
【0133】
いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、分類器は、正面画像に描出された血管の走行パターンが対称であるか否かを推論する。
【0134】
このような構成によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能な推論モデルを生成することができるようになる。
【0135】
いくつかの実施形態に係る情報処理装置(眼科情報処理装置100、眼科情報処理部15a)は、特徴量抽出器(エンコーダEN)と、分類器(CL)とを含む。特徴量抽出器は、訓練データを用いた教師なし機械学習により学習された自己符号化器(212b)を構成するエンコーダを含み、エンコーダの入力データに対応した出力データを入力データの特徴量として出力する。分類器は、エンコーダに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、特徴量抽出器により出力された特徴量に基づいて入力データに対応するラベルを推論する。
【0136】
このような構成によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することが可能になる。
【0137】
いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、ラベル付きデータは、血管の走行パターンが対称であるか否かを示すラベルが付された正面画像を表す画像データである。
【0138】
このような構成によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能になる。
【0139】
いくつかの実施形態では、正面画像は、脈絡膜におけるHaller層の正面画像である。
【0140】
このような構成によれば、脈絡膜血管の状態を把握しやすいと考えられているHaller層の正面画像を用いることで、脈絡膜における血管の走行パターンが対称であるか否かをより高精度に推論することが可能になる。
【0141】
いくつかの実施形態では、ラベル付きデータは、訓練データの一部にラベルを付したデータを含む。
【0142】
このような構成によれば、少量のラベル付きデータを用意するだけで、入力データに対応するラベルをより高精度に推論することが可能になる。
【0143】
いくつかの実施形態では、訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。
【0144】
このような構成によれば、1つの被検眼について取得された計測データ(例えば、OCTデータ)から複数の訓練データを作成することができるようになる。それにより、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。
【0145】
いくつかの実施形態では、教師データは、所定の深さ範囲内の所定の深さ位置における眼底の正面画像の画像データを含む。
【0146】
このような構成によれば、所定の深さ範囲内の複数の正面画像から所定の深さ位置における正面画像を教師あり機械学習に用いることができる。それにより、訓練データ及び教師データを効率的に収集することができ、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。
【0147】
いくつかの実施形態に係る推論モデル生成方法は、第1学習ステップと、第2学習ステップと、推論モデル生成ステップとを含む。第1学習ステップでは、エンコーダ(EN)とエンコーダの出力データが入力されるデコーダ(DE)とを含む自己符号化器(212b)に対し、デコーダの出力データがエンコーダの入力データに一致するように訓練データを用いた教師なし機械学習が実行される。第2学習ステップでは、エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器(CL)に対して教師あり機械学習が実行される。推論モデル生成ステップでは、教師なし機械学習により得られたエンコーダと教師あり機械学習により得られた分類器とを用いて、エンコーダの入力データに対応するラベルを推論するための推論モデルが生成される。
【0148】
このような方法によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することができる推論モデルを生成することが可能になる。
【0149】
いくつかの実施形態では、ラベル付きデータは、訓練データの一部にラベルを付したデータを含む。
【0150】
このような方法によれば、少量のラベル付きデータを用意するだけで、入力データに対応するラベルをより高精度に推論することが可能になる。
【0151】
いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、分類器は、正面画像に描出された血管の走行パターンが対称であるか否かを推論する。
【0152】
このような方法によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能になる。
【0153】
いくつかの実施形態では、正面画像は、脈絡膜におけるHaller層の正面画像である。
【0154】
このような方法によれば、脈絡膜血管の状態を把握しやすいと考えられているHaller層の正面画像を用いることで、脈絡膜における血管の走行パターンが対称であるか否かをより高精度に推論することが可能になる。
【0155】
いくつかの実施形態では、訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。
【0156】
このような方法によれば、1つの被検眼について取得された計測データ(例えば、OCTデータ)から複数の訓練データを作成することができるようになる。それにより、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。
【0157】
いくつかの実施形態では、教師データは、所定の深さ範囲内の所定の深さ位置における眼底の正面画像の画像データを含む。
【0158】
このような方法によれば、所定の深さ範囲内の複数の正面画像から所定の深さ位置における正面画像を教師あり機械学習に用いることができる。それにより、訓練データ及び教師データを効率的に収集することができ、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。
【0159】
いくつかの実施形態に係る情報処理方法は、特徴量抽出ステップと、推論ステップとを含む。特徴量抽出ステップでは、訓練データを用いた教師なし機械学習により学習された自己符号化器(212b)を構成するエンコーダ(EN)を用いて、エンコーダの入力データに対応した出力データが入力データの特徴量として出力される。推論ステップでは、エンコーダに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習された分類器(CL)を用いて、特徴量抽出ステップにおいて出力された特徴量に基づいて入力データに対応するラベルが推論される。
【0160】
このような方法によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することが可能になる。
【0161】
いくつかの実施形態では、ラベル付きデータは、訓練データの一部にラベルを付したデータを含む。
【0162】
このような方法によれば、少量のラベル付きデータを用意するだけで、入力データに対応するラベルをより高精度に推論することが可能になる。
【0163】
いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、ラベル付きデータは、血管の走行パターンが対称であるか否かを示すラベルが付された正面画像を表す画像データである。
【0164】
このような方法によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能になる。
【0165】
いくつかの実施形態では、正面画像は、脈絡膜におけるHaller層の正面画像である。
【0166】
このような方法によれば、脈絡膜血管の状態を把握しやすいと考えられているHaller層の正面画像を用いることで、脈絡膜における血管の走行パターンが対称であるか否かをより高精度に推論することが可能になる。
【0167】
いくつかの実施形態では、訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。
【0168】
このような方法によれば、1つの被検眼について取得された計測データ(例えば、OCTデータ)から複数の訓練データを作成することができるようになる。それにより、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。
【0169】
いくつかの実施形態では、教師データは、所定の深さ範囲内の所定の深さ位置における眼底の正面画像の画像データを含む。
【0170】
このような方法によれば、所定の深さ範囲内の複数の正面画像から所定の深さ位置における正面画像を教師あり機械学習に用いることができる。それにより、訓練データ及び教師データを効率的に収集することができ、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。
【0171】
いくつかの実施形態に係るプログラムは、コンピュータに、上記のいずれかに記載の推論モデル生成方法の各ステップを実行させる。
【0172】
このようなプログラムによれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することができる推論モデルを生成することが可能なプログラムを提供することができるようになる。
【0173】
いくつかの実施形態に係るプログラムは、コンピュータに、上記のいずれかに記載の情報処理方法の各ステップを実行させる。
【0174】
このようなプログラムによれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することが可能なプログラムを提供することができるようになる。
【0175】
いくつかの実施形態に係る推論モデル生成方法又は情報処理方法を実現するためのプログラムを、コンピュータによって読み取り可能な非一時的な(non-transitory)任意の記録媒体に記憶させることができる。記録媒体は、磁気、光、光磁気、半導体などを利用した電子媒体であってよい。典型的には、記録媒体は、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ、ソリッドステートドライブなどである。
【0176】
また、インターネットやLAN等のネットワークを通じてコンピュータプログラムを送受信することも可能である。
【0177】
以上に説明した態様は、この発明を実施するための例に過ぎない。この発明を実施しようとする者は、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を施すことが可能である。
【符号の説明】
【0178】
1 眼科システム
10、10a 眼科装置
11、11a、110 制御部
12 データ収集部
12A 干渉光学系
12B スキャン光学系
13、120 画像形成部
14、140 通信部
15a 眼科情報処理部
16a 操作部
17a 表示部
100 眼科情報処理装置
111 主制御部
112 記憶部
130 データ処理部
180 操作装置
190 表示装置
200 解析部
201 セグメンテーション処理部
202 正面画像生成部
210 推論モデル構築部
211 第1学習部
211A 第1学習処理部
211B 自己符号化器
212 第2学習部
212A 第2学習処理部
213 推論モデル生成部
220 推論部
EN エンコーダ
DE デコーダ