ホーム > 特許ランキング > 浜松ホトニクス株式会社
▶ 浜松ホトニクス株式会社の特許一覧 ▶ 社会福祉法人聖隷福祉事業団の特許一覧
特許7406403眼底画像処理方法、眼底画像処理装置、眼底画像処理プログラム、及びそのプログラムを記録する記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-19
(45)【発行日】2023-12-27
(54)【発明の名称】眼底画像処理方法、眼底画像処理装置、眼底画像処理プログラム、及びそのプログラムを記録する記録媒体
(51)【国際特許分類】
A61B 3/14 20060101AFI20231220BHJP
G01N 21/64 20060101ALI20231220BHJP
G06T 1/00 20060101ALI20231220BHJP
G06T 7/00 20170101ALI20231220BHJP
【ＦＩ】
A61B3/14
G01N21/64 Z
G06T1/00 290Z
G06T7/00 612
G06T7/00 350C
【請求項の数】
14
(21)【出願番号】P 2020034202
(22)【出願日】2020-02-28
(65)【公開番号】P2021133175
(43)【公開日】2021-09-13
【審査請求日】2022-08-17
(73)【特許権者】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(73)【特許権者】
【識別番号】505044048
【氏名又は名称】社会福祉法人聖隷福祉事業団
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100124800
【弁理士】
【氏名又は名称】諏澤 勇司
(72)【発明者】
【氏名】大手 希望
(72)【発明者】
【氏名】橋本 二三生
(72)【発明者】
【氏名】山田 秀直
(72)【発明者】
【氏名】尾花 明
【審査官】安田 明央
(56)【参考文献】
【文献】特表２０１０－５２５８６６（ＪＰ，Ａ）
【文献】特表２０１５－５２３５２６（ＪＰ，Ａ）
【文献】特開２０１８－０００６１９（ＪＰ，Ａ）
【文献】特開２００８－１１０２０２（ＪＰ，Ａ）
【文献】You Qi-Sheng，Reproducibility of Macular Pigment Optical Density Measurement by Two-wave Length Auto-fluorescence in a Clinical Setting，Retina，2016年，Vol.36, No.7，pp.1381-1387
【文献】Sasamoto Yuzuru，Effect of Cataract in Evaluation of Macular Pigment Optical Density by Autofluorescence Spectrometry，Investigative Ophthalmology & Visual Science，2011年，Vol.52, No.2，pp.927-932
【文献】Obana Akira，Grade of Cataract and Its Influence on Measurement of Macular Pigment Optical Density Using Autofluorescence Imaging，Investigative Ophthalmology & Visual Science，2018年，Vol.59, No.7，pp.3011-3019
【文献】Obana Akira，Correction for the Influence of Cataract onMacular Pigment Measurement by Autofluorescence Technique Using Deep Learning，Trans Vis Sci Tech.，2021年02月12日，Vol.10,No.2，pp.1-11
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－３／１８
Ｇ０１Ｎ ２１／６４
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
被験者の眼底に第１の波長の励起光を照射することで発生した眼底の蛍光像の第１の画像を取得するステップと、被験者の眼底に前記第１の波長と異なる第２の波長の励起光を照射することで発生した眼底の蛍光像の第２の画像を取得するステップと、
予め設定された複数の異なる乱数シードを用いて、前記第１の画像及び前記第２の画像を少なくとも含む入力画像から前記被験者の黄斑色素量を算出するための補正係数を予測するための複数の学習済みの深層学習モデルを、訓練により生成するステップと、
前記第１の画像及び前記第２の画像を少なくとも含む入力画像を、前記複数の学習済みの深層学習モデルに入力することにより、複数の補正係数を予測するステップと、
前記複数の補正係数を対象に統計値を算出し、前記統計値を前記被験者の前記補正係数として導出するステップと、
前記第１の画像あるいは前記第２の画像の少なくとも一方と、前記被験者の前記補正係数とを基に、前記被験者の黄斑色素量を算出するステップと、
を備える眼底画像処理方法。
【請求項2】
前記第１の波長及び前記第２の波長の一方は、青色領域内の波長であり、前記第１の波長及び前記第２の波長の他方は、緑色領域内の波長である、請求項１記載の眼底画像処理方法。
【請求項3】
前記入力画像は、前記第１の画像と前記第２の画像とを基にした差分画像あるいは加算画像をさらに含む、請求項１又は２に記載の眼底画像処理方法。
【請求項4】
前記統計値は、前記複数の補正係数の平均値あるいは中央値である、請求項１～３のいずれか１項に記載の眼底画像処理方法。
【請求項5】
前記生成するステップでは、前記複数の異なる乱数シードのそれぞれを基に発生させた擬似乱数を基に深層学習モデルにおける２層の全結合層のノードの間の結合重みの初期値を設定することにより、前記複数の学習済みの深層学習モデルを訓練により生成する、請求項１～４のいずれか１項に記載の眼底画像処理方法。
【請求項6】
前記生成するステップでは、前記擬似乱数を基に、深層学習モデルに入力する入力画像の順番を変更する、請求項５に記載の眼底画像処理方法。
【請求項7】
被験者の眼底に第１の波長の励起光を照射することで発生した眼底の蛍光像の第１の画像を取得する第１取得部と、被験者の眼底に前記第１の波長と異なる第２の波長の励起光を照射することで発生した眼底の蛍光像の第２の画像を取得する第２取得部と、
予め設定された複数の異なる乱数シードを用いて、前記第１の画像及び前記第２の画像を少なくとも含む入力画像から前記被験者の黄斑色素量を算出するための補正係数を予測するための複数の学習済みの深層学習モデルを、訓練により生成する生成部と、
前記第１の画像及び前記第２の画像を少なくとも含む入力画像を、前記複数の学習済みの深層学習モデルに入力することにより、複数の補正係数を予測する予測部と、
前記複数の補正係数を対象に統計値を算出し、前記統計値を前記被験者の前記補正係数として導出する導出部と、
前記第１の画像あるいは前記第２の画像の少なくとも一方と、前記被験者の前記補正係数とを基に、前記被験者の黄斑色素量を算出する算出部と、
を備える眼底画像処理装置。
【請求項8】
前記第１の波長及び前記第２の波長の一方は、青色領域内の波長であり、前記第１の波長及び前記第２の波長の他方は、緑色領域内の波長である、請求項７記載の眼底画像処理装置。
【請求項9】
前記入力画像は、前記第１の画像と前記第２の画像とを基にした差分画像あるいは加算画像をさらに含む、請求項７又は８に記載の眼底画像処理装置。
【請求項10】
前記統計値は、前記複数の補正係数の平均値あるいは中央値である、請求項７～９のいずれか１項に記載の眼底画像処理装置。
【請求項11】
前記生成部は、前記複数の異なる乱数シードのそれぞれを基に発生させた擬似乱数を基に深層学習モデルにおける２層の全結合層のノードの間の結合重みの初期値を設定することにより、前記複数の学習済みの深層学習モデルを訓練により生成する、請求項７～１０のいずれか１項に記載の眼底画像処理装置。
【請求項12】
前記生成部は、前記擬似乱数を基に、深層学習モデルに入力する入力画像の順番を変更する、請求項１１に記載の眼底画像処理装置。
【請求項13】
プロセッサを、被験者の眼底に第１の波長の励起光を照射することで発生した眼底の蛍光像の第１の画像を取得する第１取得部、
被験者の眼底に前記第１の波長と異なる第２の波長の励起光を照射することで発生した眼底の蛍光像の第２の画像を取得する第２取得部、
予め設定された複数の異なる乱数シードを用いて、前記第１の画像及び前記第２の画像を少なくとも含む入力画像から前記被験者の黄斑色素量を算出するための補正係数を予測するための複数の学習済みの深層学習モデルを、訓練により生成する生成部、
前記第１の画像及び前記第２の画像を少なくとも含む入力画像を、前記複数の学習済みの深層学習モデルに入力することにより、複数の補正係数を予測する予測部、
前記複数の補正係数を対象に統計値を算出し、前記統計値を前記被験者の前記補正係数として導出する導出部、及び
前記第１の画像あるいは前記第２の画像の少なくとも一方と、前記被験者の前記補正係数とを基に、前記被験者の黄斑色素量を算出する算出部、
として機能させる眼底画像処理プログラム。
【請求項14】
請求項１３に記載の眼底画像処理プログラムを記録するコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
実施形態の一側面は、眼底画像処理方法、眼底画像処理装置、眼底画像処理プログラム、及びそのプログラムを記録する記録媒体に関する。
【背景技術】
【0002】
従来から、被験者の眼底の自発蛍光画像を用いて黄斑色素光学密度（MPOD：Macular Pigment Optical Density）を測定する装置が用いられている。黄斑色素密度を示すMPODの測定は、加齢黄斑変性（AMD:Age-related Macular Degeneration）の予防のために重要である。このMPODの測定を白内障患者に行った場合には、自発蛍光画像の画質低下に起因してMPOD値が過小評価される。そこで、真の値を得るためには測定したMPOD値を補正する必要があることが知られている（下記非特許文献１参照。）。
【先行技術文献】
【非特許文献】
【0003】
【文献】A. Obana et al., “Grade ofCataract and Its Influence on Measurement of Macular Pigment Optical DensityUsing Autofluorescence Imaging”, Investigative Ophthalmology & Visual Science,June 2018, Vol.59, 3011-3019
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したような従来の補正の手法においては、主観評価によって導き出した補正係数をMPODの実測値に反映させる方法と、重回帰による手法によって補正している。しかし、これらの方法は補正処理が煩雑であり、補正したMPODの信頼度も十分ではない場合があった。
【0005】
そこで、実施形態の一側面は、かかる課題に鑑みてなされたものであり、簡易な処理によって信頼度の高いMPODを導出することが可能な眼底画像処理方法、眼底画像処理装置、眼底画像処理プログラム、及びそのプログラムを記録する記録媒体を提供することを課題とする。
【課題を解決するための手段】
【0006】
実施形態の一側面に係る眼底画像処理方法は、被験者の眼底に第１の波長の励起光を照射することで発生した眼底の蛍光像の第１の画像を取得するステップと、被験者の眼底に第１の波長と異なる第２の波長の励起光を照射することで発生した眼底の蛍光像の第２の画像を取得するステップと、複数の異なる初期値を用いて、第１の画像及び第２の画像を少なくとも含む入力画像から被験者の黄斑色素量を算出するための補正係数を予測するための複数の学習済みの深層学習モデルを、訓練により生成するステップと、第１の画像及び第２の画像を少なくとも含む入力画像を、複数の学習済みの深層学習モデルに入力することにより、複数の補正係数を予測するステップと、複数の補正係数を対象に統計値を算出し、統計値を被験者の補正係数として導出するステップと、第１の画像あるいは第２の画像の少なくとも一方と、被験者の補正係数とを基に、被験者の黄斑色素量を算出するステップと、を備える。
【0007】
あるいは、実施形態の他の側面に係る眼底画像処理装置は、被験者の眼底に第１の波長の励起光を照射することで発生した眼底の蛍光像の第１の画像を取得する第１取得部と、被験者の眼底に第１の波長と異なる第２の波長の励起光を照射することで発生した眼底の蛍光像の第２の画像を取得する第２取得部と、複数の異なる初期値を用いて、第１の画像及び第２の画像を少なくとも含む入力画像から被験者の黄斑色素量を算出するための補正係数を予測するための複数の学習済みの深層学習モデルを、訓練により生成する生成部と、第１の画像及び第２の画像を少なくとも含む入力画像を、複数の学習済みの深層学習モデルに入力することにより、複数の補正係数を予測する予測部と、複数の補正係数を対象に統計値を算出し、統計値を被験者の補正係数として導出する導出部と、第１の画像あるいは第２の画像の少なくとも一方と、被験者の補正係数とを基に、被験者の黄斑色素量を算出する算出部と、を備える。
【0008】
あるいは、実施形態の他の側面に係る眼底画像処理プログラムは、プロセッサを、被験者の眼底に第１の波長の励起光を照射することで発生した眼底の蛍光像の第１の画像を取得する第１取得部、被験者の眼底に第１の波長と異なる第２の波長の励起光を照射することで発生した眼底の蛍光像の第２の画像を取得する第２取得部、複数の異なる初期値を用いて、第１の画像及び第２の画像を少なくとも含む入力画像から被験者の黄斑色素量を算出するための補正係数を予測するための複数の学習済みの深層学習モデルを、訓練により生成する生成部、第１の画像及び第２の画像を少なくとも含む入力画像を、複数の学習済みの深層学習モデルに入力することにより、複数の補正係数を予測する予測部、複数の補正係数を対象に統計値を算出し、統計値を被験者の補正係数として導出する導出部、及び 第１の画像あるいは第２の画像の少なくとも一方と、被験者の補正係数とを基に、被験者の黄斑色素量を算出する算出部、として機能させる。
【0009】
あるいは、実施形態の他の側面は、眼底画像処理プログラムを記録するコンピュータ読み取り可能な記録媒体である。
【0010】
上記一側面あるいは他の側面のいずれかによれば、第１の波長の励起光によって得た眼底の蛍光像である第１の画像と、第２の波長の励起光によって得た眼底の蛍光像である第２の画像とが取得され、複数の異なる初期値を用いて、第１の画像及び第２の画像を含む入力画像から補正係数を予測するための複数の学習済みの深層学習モデルが生成される。そして、第１の画像及び第２の画像を含む入力画像が複数の学習済みの深層学習モデルに入力されることにより複数の補正係数が予測され、複数の補正係数の統計値が被験者の補正係数として導出され、第１の画像あるいは第２の画像とその補正係数とを基に被験者の黄斑色素量が算出される。これにより、第１の画像と第２の画像とを訓練データとして複数の深層学習モデルが構築され、被験者を対象にした第１の画像及び第２の画像を複数の深層学習モデルに入力させて複数の補正係数が予測され、複数の予測係数を統計的に評価することで黄斑色素量が算出される。その結果、簡易な処理によって複数の被験者の画像における画質の傾向を反映した信頼度の高い黄斑色素量を算出することができる。
【0011】
上記一側面あるいは他の側面のいずれかにおいては、第１の波長及び第２の波長の一方は、青色領域内の波長であり、第１の波長及び第２の波長の他方は、緑色領域内の波長である、ことが好適である。黄斑は青色光を吸収する性質を有するため、このような波長の励起光による２つの画像を入力画像とすることで、高精度に黄斑色素量を算出することができる。
【0012】
また、入力画像は、第１の画像と第２の画像とを基にした差分画像あるいは加算画像をさらに含む、ことも好適である。この場合、２つの画像を基にした差分画像あるいは加算画像を入力画像に含めることで、より高精度に黄斑色素量を算出することができる。
【0013】
さらに、統計値は、複数の補正係数の平均値あるいは中央値である、ことが好適である。この場合、複数の学習済みの深層学習モデルを用いて予測した複数の補正係数を均等に反映して黄斑色素量を算出することができるので、より信頼度の高い黄斑色素量の算出が可能となる。
【0014】
またさらに、上記一側面あるいは他の側面のいずれかは、複数の異なる初期値を基に発生させた擬似乱数を用いて深層学習モデルを訓練する、ことも好適である。かかる構成によれば、限られた数の入力画像を用いて訓練する場合であっても補正係数を予測するための複数の深層学習モデルを網羅的に生成できる。
【0015】
さらにまた、上記一側面あるいは他の側面のいずれかは、擬似乱数を深層学習モデルのパラメータの初期化に用いる、ことも好適であり、擬似乱数を基に、深層学習モデルに入力する入力画像の順番を変更する、ことも好適である。こうすれば、限られた数の入力画像を用いて訓練する場合であっても補正係数を予測するための複数の深層学習モデルを網羅的に生成できる。
【発明の効果】
【0016】
実施形態によれば、簡易な処理によって信頼度の高い黄斑色素密度を導出することができる。
【図面の簡単な説明】
【0017】
【図1】実施形態にかかる眼底画像処理装置１の機能構成を示すブロック図である。
【図5】眼底画像処理装置１によって実行される訓練フェーズの手順を示すフローチャートである。
【図6】眼底画像処理装置１によって実行される予測フェーズの手順を示すフローチャートである。
【図7】実施形態にかかる眼底画像処理プログラムの構成を示す図である。
【図8】本実施形態によって予測されたMPOD数値列の精度の実験結果を示すグラフである。
【図9】本実施形態によって予測されたMPOD数値列の精度の実験結果を示すグラフである。
【図10】変形例で用いる学習済みモデルＬＭのネットワーク構造を示す図である。
【発明を実施するための形態】
【0018】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【0019】
図１は、本実施形態に係る眼底画像処理装置１の機能構成を示すブロック図である。図１に示されるように、眼底画像処理装置１は、外部の眼底解析装置５０によって得られた被験者の眼底画像を処理して被験者の黄斑色素量を示す黄斑色素光学密度（MPOD）を推定する演算装置である。眼底画像処理装置１は、眼底解析装置５０から有線あるいは無線の通信ネットワークを介して眼底画像を取得することができる。
【0020】
眼底解析装置５０は、被験者を対象に眼底画像を取得する公知の光学装置であり、図示しない光源及び撮像素子等を内蔵し、被験者の眼底に励起光を照射し、それに応じて発生した眼底の自発蛍光像を眼底画像として取得する機能を有する。本実施形態では、眼底解析装置５０は、被験者を対象に青色波長４８６ｎｍの励起光を照射して得られた第１眼底画像と、被験者を対象に緑色波長５１８ｎｍの励起光を照射して得られた第２眼底画像とを、取得する。ただし、第１眼底画像を得るのに用いられる励起光の波長は、青色の波長領域である４５０～４９５ｎｍの範囲内であればよく、第２眼底画像を得るのに用いられる励起光の波長は、緑色の波長領域である４９５～５７０ｎｍの範囲内であればよい。
【0021】
一般に、網膜の中心に位置する黄斑は青色光を吸収する性質を有するため、眼底解析装置５０で得られた被験者の眼底画像には黄斑色素の量に応じた輝度分布の変化が現れる。従来は、青色光励起に応じて得られた自発蛍光画像を基に、網膜の中心（中心窩）付近における輝度値とその周辺の円形領域の輝度値の平均値との比を計算することによりMPODを計算していた。
【0022】
眼底画像処理装置１は、上記の眼底解析装置５０によって被験者を対象にして得られた第１眼底画像及び第２眼底画像を基に、MPODを推定する。すなわち、眼底画像処理装置１は、機能的構成要素として、画像入力部（第１取得部、第２取得部）３、係数算出部５、モデル生成部７、係数予測部９、係数導出部１１、色素量算出部１３、及びモデル格納部１５を備えて構成されている。
【0023】
図２は、本実施形態の眼底画像処理装置１を実現するコンピュータ２０のハードウェア構成を示している。図２に示すように、コンピュータ２０は、物理的には、プロセッサであるＣＰＵ（Central Processing Unit）１０１、記録媒体であるＲＡＭ（Random Access Memory）１０２又はＲＯＭ（Read Only Memory）１０３、通信モジュール１０４、及び入出力モジュール１０６等を含んだコンピュータ等であり、各々は電気的に接続されている。なお、コンピュータ２０は、入出力モジュール１０６として、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、コンピュータ２０は、複数のコンピュータによって構成されていてもよい。なお、コンピュータ２０は、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）をさらに含んでいてもよく、ＣＰＵ１０１とＧＰＵとで並列処理が可能に構成されていてもよい。
【0024】
図１に示す眼底画像処理装置１の各機能部は、ＣＰＵ１０１及びＲＡＭ１０２等のハードウェア上にプログラム（本実施形態の眼底画像処理プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで、通信モジュール１０４、及び入出力モジュール１０６等を動作させるとともに、ＲＡＭ１０２におけるデータの読み出し及び書き込みを行うことで実現される。コンピュータ２０のＣＰＵ１０１は、このコンピュータプログラムを実行することによってコンピュータ２０を図１の各機能部として機能させ、後述する眼底画像処理方法に対応する処理を順次実行する。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、ＲＯＭ１０３、ＲＡＭ１０２等の内蔵メモリ、又は、ハードディスクドライブなどの記憶媒体に格納される。
【0025】
ここで、眼底画像処理装置１の各機能部の機能の詳細について説明する。
【0026】
画像入力部３は、被験者のMPODを推定する予測フェーズにおいて、白内障手術を受ける前の被験者を対象とした第１眼底画像及び第２眼底画像（以下、予測対象の眼底画像セット）を取得する。また、画像入力部３は、複数の学習済みの深層学習モデルを生成する訓練フェーズにおいて、訓練に用いられる訓練データとしての白内障手術の前の被験者を対象とした第１眼底画像及び第２眼底画像（以下、術前の眼底画像セットともいう。）と、白内障手術の後の当該被験者を対象とした第１眼底画像及び第２眼底画像（以下、術後の眼底画像セットともいう。）との組み合わせを、様々な被験者を対象にあるいは様々な撮影条件下において複数組み合わせ（例えば、１４８組）取得する。また、画像入力部３は、予測対象の眼底画像セット、及び術前の眼底画像セットを取得すると、それぞれの眼底画像セットに含まれる第１眼底画像及び第２眼底画像とを基に、それらの画像間で対応する画素を差分し、差分した輝度値の最小値が０となるように全画素の輝度値をシフトした差分画像を生成し、生成した差分画像をそれぞれの眼底画像セットに付加する。
【0027】
係数算出部５は、訓練フェーズにおいて、術前の眼底画像セット及び術後の眼底画像セットとの複数の組み合わせを基に、MPODを補正するための補正係数であるCF（Correction Factor）値を、それぞれの組み合わせを対象に計算する。
【0028】
具体的には、係数算出部５は、術前の眼底画像セットのうちの少なくとも一方の眼底画像（好ましくは、第１眼底画像）を参照して、MPODを計算する。MPODの計算は、網膜の中心付近の予め指定された画素位置の輝度値Iminとその周辺の予め指定された複数の円形領域の輝度値の平均値Imax(ave)との比を基に下記式により計算する。
MPOD=-1.4・log{Imin/Imax(ave)}
係数算出部５は、このMPODを、網膜中心（中心窩）からの離心角（eccentricity）０．２３度、０．５１度、０．９８度、１．９９度のそれぞれの位置において計算し、ローカルMPOD0.23、ローカルMPOD0.51、ローカルMPOD0.98、ローカルMPOD1.99とする。加えて、係数算出部５は、網膜中心（中心窩）からの離心角８．９８度以内の領域のMPODの合計を計算し、MPODボリュームとする。係数算出部５は、計算したMPODの値の組｛ローカルMPOD0.23、ローカルMPOD0.51、ローカルMPOD0.98、ローカルMPOD1.99、MPODボリューム｝をMPOD数値列として設定する。
MPOD=-1.4・log{Imin/Imax(ave)}
係数算出部５は、このMPODを、網膜中心（中心窩）からの離心角（eccentricity）０．２３度、０．５１度、０．９８度、１．９９度のそれぞれの位置において計算し、ローカルMPOD0.23、ローカルMPOD0.51、ローカルMPOD0.98、ローカルMPOD1.99とする。加えて、係数算出部５は、網膜中心（中心窩）からの離心角８．９８度以内の領域のMPODの合計を計算し、MPODボリュームとする。係数算出部５は、計算したMPODの値の組｛ローカルMPOD0.23、ローカルMPOD0.51、ローカルMPOD0.98、ローカルMPOD1.99、MPODボリューム｝をMPOD数値列として設定する。
【0029】
同様にして、係数算出部５は、術後の眼底画像セットのうちの少なくとも一方の眼底画像（好ましくは、第１眼底画像）を参照して、MPOD数値列を計算する。
【0030】
さらに、係数算出部５は、術前の眼底画像セットから計算したMPOD数値列（術前のMPOD数値列）と、術後の眼底画像セットから計算したMPOD数値列（術後のMPOD数値列）とを基に、術前のMPOD数値列のそれぞれから術後のMPOD数値列のそれぞれに補正するためのCF値を計算する。例えば、術後のMPOD数値列のそれぞれを術前のMPOD数値列で除算することにより、CF値の組｛CF0.23、CF0.51、CF0.98、CF1.99、CFTOTAL｝（以下、CF数値列という。）を計算する。
【0031】
係数算出部５は、上記のようにして計算した複数組のCF数値列を、モデル生成部７において訓練データとして用いられる複数の対応する術前の眼底画像セットに付加して、モデル生成部７に引き渡す。このCF数値列は、モデル生成部７における訓練（教師あり学習）において教師データ（ラベル）としても用いられることとなる。
【0032】
モデル生成部７は、訓練フェーズにおいて、被験者を対象とした予測対象の眼底画像セットのうちの少なくとも１つの画像を入力画像として被験者の黄斑色素量を算出するための補正係数を示すCF数値列を予測するための複数の学習済みの深層学習モデルを、複数の術前の眼底画像セットを用いた訓練により生成する。詳細には、モデル生成部７は、予測対象の眼底画像セットに含まれる第１眼底画像、第２眼底画像、及び差分画像を入力画像とした、CF数値列を予測する畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）の構造を有する学習済みモデルを３つ生成し、生成した３つ学習済みモデルを動作させるためのパラメータ等を含むデータＭＤ１，ＭＤ２，ＭＤ３をモデル格納部１５に格納する。
【0033】
図３には、モデル生成部７の生成する学習済みモデルＬＭのネットワーク構造を示している。学習済みモデルＬＭは、予測対象の眼底画像セットが３ｃｈで入力される入力層Ｌ０と、入力層Ｌ０の後段において畳み込み層及びプーリング層が複数組で交互に接続された前段構造Ｌ１と、前段構造Ｌ１の後段に順次接続された２層の全結合層を有する後段構造Ｌ２と、後段構造Ｌ２からの各ノードのデータを最終的なCF数値列に変換して一次ベクトルとして出力する出力層Ｌ３とから構成されている。このような学習済みモデルＬＭは、ImageNet等の大規模な画像データベースによって訓練済みのCNNの構造をベースに、出力層Ｌ３のノード数を所望の数（本実施形態では５）に変更したものを使用することができる。学習済みモデルＬＭのパラメータのうち、最後段の全結合層以外においては、既に訓練済みのパラメータ（重みフィルタのパラメータ等）が初期値として用いられる（転移学習を適用することが前提とされる）。
【0034】
モデル生成部７は、３つの学習済みモデルを、複数の術前の眼底画像セットを訓練データ、それらに対応するCF数値列を教師データとして用いて、異なる３つの初期値を基に訓練することにより、生成する。すなわち、モデル生成部７は、訓練に先立って、予め設定された３つの初期値である３つの乱数シードのそれぞれをコンピュータ２０内に備える擬似乱数生成器に入力することにより擬似乱数系列を発生させ、その擬似乱数系列を基にCNNの学習済みモデルＬＭにおける最後段の全結合層のパラメータを初期化する。例えば、図４に示すように、学習済みモデルＬＭの後段構造Ｌ２における２層の全結合層のノードｉとノードｊとの間（ｉ，ｊは任意の整数）の結合重みｗｉ，ｊの初期値を、擬似乱数系列に依存させて設定する。このような学習済みモデルＬＭのランダムな初期化により、訓練により生成した３つの学習済みモデルの最適化結果が初期値に依存することから、３つの学習済みモデルによる予測結果がやや異なる結果となる。
【0035】
また、モデル生成部７は、上記のような擬似乱数系列を基にした学習済みモデルＬＭのパラメータの初期化に代えて、あるいはそのパラメータの初期化に加えて、全ての訓練データを学習済みモデルＬＭに提示（入力）する各ループ（各エポック）において、擬似乱数系列を基に訓練データの提示の順番をランダムに変更してもよい。このようにすることで、訓練時に学習済みモデルのパラメータが局所解に陥ることを防ぐことができる。また、CNNである学習済みモデルの訓練時には、提示される入力画像の中心付近のランダムな位置をクロップして入力画像のバリエーションを増やすデータ拡張(data argumentation)を実行することも可能であるが、モデル生成部７による上記機能により３つの学習済みモデル間でデータ拡張の効果も変化させることができる。
【0036】
係数予測部９は、予測フェーズにおいて、訓練フェーズによって生成された３つの学習済みモデルをそれぞれ用いて、被験者を対象とした術前の眼底画像セットを入力とすることにより、被験者のCF数値列を３組予測する。このとき、係数予測部９は、３つの学習済みモデルを用いた予測処理を実行するために必要なデータＭＤ１，ＭＤ２，ＭＤ３を、モデル格納部１５から読み出す。
【0037】
係数導出部１１は、予測フェーズにおいて、係数予測部９によって被験者を対象に予測された３組のCF数値列を対象に統計値を算出し、統計値を最終的な被験者のCF数値列として導出する。例えば、係数導出部１１は、３組のCF数値列｛CF0.23、CF0.51、CF0.98、CF1.99、CFTOTAL｝のそれぞれの数値の平均値｛CFA0.23、CFA0.51、CFA0.98、CFA1.99、CFATOTAL｝を算出し、それらの平均値の数値列を最終的なCF数値列とする。このように予測値の平均値を最終的な予測値とする（アンサンブル処理を行う）ことで、深層学習の最適化結果の初期値依存性を緩和することができ、補正値の予測精度の改善が実現される。
【0038】
色素量算出部１３は、予測フェーズにおいて、係数導出部１１によって導出された最終的なCF数値列を用いて、被験者のMPOD数値列を算出し、入出力モジュール１０６（図２）に出力する。また、色素量算出部１３は、算出したMPOD数値列を通信モジュール１０４（図２）を介して外部装置に送信してもよい。すなわち、色素量算出部１３は、被験者を対象にした予測対象の眼底画像セットのうちの少なくとも一方の眼底画像（好ましくは、第１眼底画像）を参照して、係数算出部５と同様な計算方法を用いて、MPOD数値列を計算する。そして、色素量算出部１３は、計算したMPOD数値列をCF数値列を用いて補正することにより被験者のMPOD数値列を算出する。このとき、色素量算出部１３は、MPOD数値列｛ローカルMPOD0.23、ローカルMPOD0.51、ローカルMPOD0.98、ローカルMPOD1.99、MPODボリューム｝に含まれるそれぞれの数値に、CF数値列｛CFA0.23、CFA0.51、CFA0.98、CFA1.99、CFATOTAL｝に含まれる対応する補正値を乗算することにより、被験者のMPOD数値列を算出する。
【0039】
次に、本実施形態に係る眼底画像処理装置１を用いた被験者のMPODの予測処理の手順、すなわち、本実施形態に係る眼底画像処理方法の流れについて説明する。図５は、眼底画像処理装置１によって実行される訓練フェーズの手順を示すフローチャート、図６は、眼底画像処理装置１によって実行される予測フェーズの手順を示すフローチャートである。
【0040】
まず、眼底画像処理装置１のオペレータの指示入力等に応じて訓練フェーズが開始されると、画像入力部３によって術前の眼底画像セットと術後の眼底画像セットの組が複数組取得される（ステップＳ１０１）。それに応じて、係数算出部５により、術前の眼底画像セット及び術後の眼底画像セットのそれぞれを対象に、MPOD数値列が計算され、それらの数値列を基にCF数値列が計算される（ステップＳ１０２）。CF数値列の計算は術前の眼底画像セットと術後の眼底画像セットの全ての組を対象に繰り返され、計算されたCF数値列は、教師データとして、対応する術前の眼底画像セットに付加される。
【0041】
次に、モデル生成部７により、予め設定された乱数シードを用いて擬似乱数が発生される（ステップＳ１０３）。そして、モデル生成部７により、擬似乱数を基にCNNの初期値を設定し、かつ、訓練データの提示の順番を擬似乱数を基に変更することにより、学習済みの深層学習モデルが訓練により生成される（ステップＳ１０４）。さらに、モデル生成部７により、生成された学習済みの深層学習モデルのデータがモデル格納部１５に格納される（ステップＳ１０５）。
【0042】
上記のステップＳ１０３～ステップＳ１０５の処理が３つの乱数シードを設定しながら３回繰り返される結果（ステップＳ１０６）、３つの学習済みの深層学習モデルが生成及び格納される。
【0043】
次に、眼底画像処理装置１のオペレータの指示入力等に応じて被験者に対する予測フェーズが開始されると、画像入力部３によってその被験者を対象とした予測対象の眼底画像セットが取得される（ステップＳ２０１）。そして、係数予測部９により、予測対象の眼底画像セットが入力画像として３つの学習済みの深層学習モデルに入力されることにより、３組のCF数値列が予測される（ステップＳ２０２）。
【0044】
さらに、係数導出部１１により、予測された３組のCF数値列の統計値が算出されることにより、被験者の最終のCF数値列が導出される（ステップＳ２０３）。その後、色素量算出部１３により、予測対象の眼底画像セットに含まれる第１の眼底画像と第２眼底画像を基にMPOD数値列が計算される（ステップＳ２０４）。最後に、色素量算出部１３により、MPOD数値列がCF数値列を用いて補正され、補正されたMPOD数値列が出力される（ステップＳ２０５）。
【0045】
次に、図７を参照して、コンピュータ２０を上記眼底画像処理装置１として機能させるための眼底画像処理プログラムの構成を説明する。
【0046】
眼底画像処理プログラムＰ１は、メインモジュールＰ１０、画像入力モジュールＰ１５、係数算出モジュールＰ１６、モデル生成モジュールＰ１７、係数予測モジュールＰ１８、係数導出モジュールＰ１９、及び色素量算出モジュールＰ２０を備えている。
【0047】
メインモジュールＰ１０は、眼底画像の処理を統括的に制御する部分である。画像入力モジュールＰ１５、係数算出モジュールＰ１６、モデル生成モジュールＰ１７、係数予測モジュールＰ１８、係数導出モジュールＰ１９、及び色素量算出モジュールＰ２０を実行することにより実現される機能は、それぞれ、眼底画像処理装置１の画像入力部３、係数算出部５、モデル生成部７、係数予測部９、係数導出部１１、及び色素量算出部１３の機能と同様である。
【0048】
眼底画像処理プログラムＰ１は、例えば、ＣＤ－ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記録媒体または半導体メモリによって提供される。また、眼底画像処理プログラムＰ１は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されてもよい。
【0049】
以上説明した眼底画像処理装置１によれば、青色を含む波長領域の励起光によって得た第１眼底画像と、緑色を含む波長領域の励起光によって得た第２眼底画像とが複数組取得され、３つの異なる初期値を用いて、第１眼底画像及び第２眼底画像を含む入力画像からCF数値列を予測するための３つの学習済みの深層学習モデルが生成される。そして、第１眼底画像及び第２眼底画像を含む白内障手術前の被験者を対象に得られた入力画像が、３つの学習済みの深層学習モデルに入力されることにより３つのCF数値列が予測され、３つのCF数値列の統計値である平均値が被験者の最終的なCF数値列として導出され、第１眼底画像と第２眼底画像から計算されたMPOD数値列とそのCF数値列とを基に被験者のMPOD数値列が算出される。これにより、第１眼底画像と第２眼底画像とを訓練データとして３つの深層学習モデルが構築され、被験者を対象にした第１眼底画像及び第２眼底画像を３つの深層学習モデルに入力させて３つのCF数値列が予測され、３つのCF数値列を統計的に評価することで黄斑色素量が算出される。その結果、簡易な処理によって複数の被験者の画像における画質の変化傾向を反映した信頼度の高い黄斑色素量を算出することができる。
【0050】
特に、本実施形態では、乱数シードを変えながら訓練フェーズを実行している。この場合、CNNのパラメータの初期化、訓練データの提示の順番、データ拡張の効果などが、乱数シードに応じて変化することになる。最適なCNNのパラメータの初期値、最適な訓練データの提示の順番、あるいは、最適なデータ拡張の方法は未知であるため、様々な訓練シードを用いて訓練した学習済みのCNNの予測値の平均を取ることにより、最適な訓練が行われた場合のCNNの予測結果に近い予測値を得ることができる。
【0051】
また、本実施形態では、第１眼底画像の取得に青色波長領域内の波長の励起光を用いており、第２眼底画像の取得に緑色波長領域内の波長の励起光を用いている。黄斑は青色光を吸収する性質を有するため、このような波長の励起光によって生じた２つの画像を入力画像とすることで、高精度に黄斑色素量を算出することができる。
【0052】
また、本実施形態では、CNNに入力する入力画像に差分画像を含めている。この場合、より高精度に黄斑色素量を算出することができる。
【0053】
さらに、本実施形態では、３つの学習済みの深層学習モデルによって予測された３つの予測値の平均値を統計値として求めている。この場合、３つの学習済みの深層学習モデルを用いて予測した予測値を均等に反映して黄斑色素量を算出することができるので、より信頼度の高い黄斑色素量の算出が可能となる。
【0054】
また、本実施形態では、３つの乱数シードから発生させた擬似乱数を用いて深層学習モデルを訓練している。このような構成によれば、限られた数の入力画像を用いて訓練する場合であってもCF数値列を予測するための３つの深層学習モデルを網羅的に生成できる。
【0055】
また、本実施形態では、擬似乱数を、深層学習モデルのパラメータの初期化に用いたり、深層学習モデルに入力する入力画像の順番を変更するために用いている。こうすれば、限られた数の入力画像を用いて訓練する場合であってもCF数値列を予測するための複数の深層学習モデルを網羅的に生成できる。その結果、統計値を基に黄斑色素量を予測する際の精度を高めることができる。
【0056】
ここで、本実施形態によって予測されたMPOD数値列の精度の実験結果を示す。
【0057】
図８には、本実施形態によって予測されたMPOD数値列に含まれる各数値｛ローカルMPOD0.23、ローカルMPOD0.51、ローカルMPOD0.98、ローカルMPOD1.99、MPODボリューム｝毎の平均誤差を、CF数値列を用いた補正を行わなかった場合、従来の重回帰による手法（「A. Obana et al., “Grade of Cataract and Its Influence on Measurementof Macular Pigment Optical Density Using Autofluorescence Imaging”, InvestigativeOphthalmology & Visual Science, June 2018, Vol.59, 3011-3019」に記載）によって補正を行った場合と比較して示している。このように、重回帰による手法に比較して、本実施形態では、全体的に誤差が改善されていることが分かる。特に、MPODボリュームの誤差が14.81％から7.81％に大幅に改善されている。
【0058】
図９には、第２眼底画像のみを１ｃｈの入力画像として用い、アンサンブル処理を行わなかった場合（例１）、差分画像のみを１ｃｈの入力画像として用い、アンサンブル処理を行わなかった場合（例２）、第１眼底画像のみを１ｃｈの入力画像として用い、アンサンブル処理を行わなかった場合（例３）、３ｃｈの入力画像を用いてアンサンブル処理を行わなかった場合（例４）、第２眼底画像のみを１ｃｈの入力画像として用い、アンサンブル処理を行った場合（例５）、差分画像のみを１ｃｈの入力画像として用い、アンサンブル処理を行った場合（例６）、第１眼底画像のみを１ｃｈの入力画像として用い、アンサンブル処理を行った場合（例７）、３ｃｈの入力画像を用いてアンサンブル処理を行った場合（例８）について、MPOD数値列に含まれる各数値の平均誤差を示している。この実験結果から、アンサンブル処理がありの場合も無しの場合も、３ｃｈ入力において誤差が減少している。また、３ｃｈ入力でアンサンブル処理がありの場合に最も誤差が小さいことが分かった。このような結果から、３ｃｈ入力及びアンサンブル処理のどちらも、予測値の誤差低減に重要であることが示された。
【0059】
以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。
【0060】
上記実施形態の眼底画像処理装置１の画像入力部３は、予測対象の眼底画像セット、及び術前の眼底画像セットを対象に、差分画像を取得し、差分画像を訓練フェーズ及び予測フェーズに用いていた。変形例としては、それらの眼底画像セットを対象に、第１眼底画像と第２眼底画像との間で各画素の輝度値を加算した加算画像を取得し、加算画像を訓練フェーズ及び予測フェーズにおいて用いてもよい。
【0061】
また、上記実施形態の眼底画像処理装置１の係数導出部１１は、３つのCF数値列の統計値として平均値を算出していたが、中央値を算出してもよい。この場合にも、精度の高い黄斑色素量の予測が可能となる。
【0062】
【0063】
図１０に示す学習済みモデルＬＭは、前段構造Ｌ１の後段に接続される後段構造Ｌ４として、畳み込み層と大域的平均プーリング層（global average pooling）とがこの順で接続された構成を有する。このような構造の学習済みモデルＬＭのパラメータのうち、後段構造Ｌ４の畳み込み層以外においては、既に訓練済みのパラメータ（重みフィルタのパラメータ等）が初期値として用いられる。
【0064】
図１０に示すような学習済みモデルＬＭの構成を採用する変形例においては、モデル生成部７は、擬似乱数系列を基に、後段構造Ｌ４の畳み込み層のパラメータの初期値をランダムに変更する。具体的には、図１１に示すように、モデル生成部７は、擬似乱数系列に従って、後段構造Ｌ４の畳み込み層において適用するフィルタの重み係数ｗｐの初期値を設定する。このような変形例によっても、CF数値列を予測するための複数の深層学習モデルを網羅的に生成できる。
【符号の説明】
【0065】
１…眼底画像処理装置、Ｐ１…眼底画像処理プログラム、３…画像入力部（第１取得部、第２取得部）、７…モデル生成部、９…係数予測部、１１…係数導出部、１３…色素量算出部、２０…コンピュータ、１０１…ＣＰＵ（プロセッサ）、ＬＭ…学習済みモデル。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】