(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】眼底画像処理プログラムおよび眼底撮影装置
(51)【国際特許分類】
A61B 3/10 20060101AFI20240409BHJP
H04N 23/10 20230101ALI20240409BHJP
A61B 3/14 20060101ALI20240409BHJP
H04N 23/56 20230101ALI20240409BHJP
H04N 23/60 20230101ALI20240409BHJP
【FI】
A61B3/10 300
H04N23/10
A61B3/14
H04N23/56
H04N23/60
(21)【出願番号】P 2020097236
(22)【出願日】2020-06-03
【審査請求日】2023-05-01
(73)【特許権者】
【識別番号】000135184
【氏名又は名称】株式会社ニデック
(74)【代理人】
【識別番号】100166785
【氏名又は名称】大川 智也
(72)【発明者】
【氏名】柴 涼介
(72)【発明者】
【氏名】熊谷 佳紀
(72)【発明者】
【氏名】山崎 貴之
(72)【発明者】
【氏名】太田 博士
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】特開2011-250976(JP,A)
【文献】特開2019-063243(JP,A)
【文献】特開2016-025530(JP,A)
【文献】特開2016-059399(JP,A)
【文献】米国特許出願公開第2016/0073876(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
H04N 23/10
H04N 23/56
H04N 23/60
(57)【特許請求の範囲】
【請求項1】
被検眼の眼底を撮影した眼底画像のデータを処理する眼底画像処理装置によって実行される眼底画像処理プログラムであって、
前記眼底画像処理プログラムが前記眼底画像処理装置の制御部によって実行されることで、
波長が互いに異なる複数の可視光である照明光を、被検眼の瞳孔を通過する同一の光路で同一の眼底に照射し、前記眼底からの前記複数の照明光の反射光の各々を受光素子によって受光することで撮影された、色が異なる複数の眼底正面画像を取得する眼底画像取得ステップと、
色が異なる複数の前記眼底正面画像
の各部の位置を、各々の画像情報に基づいて
合致させる位置合わせ
を行うことで、倍率色収差を補正する補正ステップと、
が前記眼底画像処理装置によって実行されることを特徴とする眼底画像処理プログラム。
【請求項2】
請求項1に記載の眼底画像処理プログラムであって、
前記補正ステップでは、
前記複数の眼底正面画像の各々の画像領域の全域に、前記複数の眼底正面画像間で互いに一致する対応点が複数設定され、少なくともいずれかの前記眼底正面画像の各部の位置が、前記複数の眼底正面画像間の対応点同士が合致する位置に補正されることで、前記複数の眼底正面画像の位置合わせが行われることを特徴とする眼底画像処理プログラム。
【請求項3】
請求項1または2に記載の眼底画像処理プログラムであって、
前記眼底画像取得ステップにおいて取得される前記複数の眼底正面画像と撮影対象が同一であり、且つ、前記複数の眼底正面画像の撮影タイミングとは異なるタイミングで撮影された画像を、基準画像として取得する基準画像取得ステップ
がさらに実行され、
前記補正ステップでは、前記眼底正面画像の画像情報および前記基準画像の画像情報に基づいて、前記複数の眼底正面画像の各々が前記基準画像に対して位置合わせされることを特徴とする眼底画像処理プログラム。
【請求項4】
請求項3に記載の眼底画像処理プログラムであって、
前記基準画像は、前記複数の眼底正面画像の撮影方式とは異なる撮影方式で撮影された画像であることを特徴とする眼底画像処理プログラム。
【請求項5】
被検眼の眼底を撮影する眼底撮影装置であって、
前記眼底撮影装置の制御部は、
波長が互いに異なる複数の可視光である照明光を、被検眼の瞳孔を通過する同一の光路で同一の眼底に照射し、前記眼底からの前記複数の照明光の反射光の各々を受光素子によって受光することで撮影された、色が異なる複数の眼底正面画像を取得する眼底画像取得ステップと、
色が異なる複数の前記眼底正面画像
の各部の位置を、各々の画像情報に基づいて
合致させる位置合わせ
を行うことで、倍率色収差を補正する補正ステップと、
を実行することを特徴とする眼底撮影装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、複数の波長の光を用いて撮影された被検眼の眼底画像を処理するための眼底画像処理プログラム、および眼底撮影装置に関する。
【背景技術】
【0002】
波長が互いに異なる2色以上の可視照明光を被検眼の眼底に照射することで、被検眼の眼底正面画像を波長成分毎に別個に撮影可能な眼底撮影装置が知られている。例えば、特許文献1に記載の走査型レーザ検眼鏡は、波長が互いに異なる複数のレーザ光を同一の光路で眼底に照射する照明系と、複数の受光素子を持つ受光系とを備える。受光系には、受光素子毎に異なる波長の光を受光させるための分光手段が設けられている。
【0003】
また、照明系にレンズ等の屈折要素が含まれている場合、眼底における撮影範囲が、倍率色収差によって波長毎にずれてしまうことが考えられる。特許文献2に記載の眼科撮影装置は、波長が異なる撮影光によって撮影された複数の画像が同じ倍率となるように、補正式またはルックアップテーブルによって画像に対する倍率補正を行うことで、倍率色収差を補正する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2016-59399号公報
【文献】特開2019-63243号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
補正式またはルックアップテーブル等を用いて倍率色収差を補正する場合には、撮影装置の光学系に起因する倍率色収差の影響が抑制されるのみであった。従って、従来の方法では、撮影装置の光学系に起因する収差に加えて、被検眼の構造(例えば、角膜および水晶体等)に応じて変化する倍率色収差、および、対物レンズと被検眼の間の距離(ワーキングディスタンス)に応じて変化する倍率色収差の影響を抑制することは困難であった。
【0006】
本発明の典型的な目的は、眼底正面画像の倍率色収差の影響をより適切に抑制することが可能な眼底画像処理プログラムおよび眼底撮影装置を提供することである。
【課題を解決するための手段】
【0007】
本開示における典型的な実施形態が提供する眼底画像処理プログラムは、被検眼の眼底を撮影した眼底画像のデータを処理する眼底画像処理装置によって実行される眼底画像処理プログラムであって、前記眼底画像処理プログラムが前記眼底画像処理装置の制御部によって実行されることで、波長が互いに異なる複数の可視光である照明光を、被検眼の瞳孔を通過する同一の光路で同一の眼底に照射し、前記眼底からの前記複数の照明光の反射光の各々を受光素子によって受光することで撮影された、色が異なる複数の眼底正面画像を取得する眼底画像取得ステップと、色が異なる複数の前記眼底正面画像の各部の位置を、各々の画像情報に基づいて合致させる位置合わせを行うことで、倍率色収差を補正する補正ステップと、が前記眼底画像処理装置によって実行される。
【0008】
本開示における典型的な実施形態が提供する眼底撮影装置は、被検眼の眼底を撮影する眼底撮影装置であって、前記眼底撮影装置の制御部は、波長が互いに異なる複数の可視光である照明光を、被検眼の瞳孔を通過する同一の光路で同一の眼底に照射し、前記眼底からの前記複数の照明光の反射光の各々を受光素子によって受光することで撮影された、色が異なる複数の眼底正面画像を取得する眼底画像取得ステップと、色が異なる複数の前記眼底正面画像の各部の位置を、各々の画像情報に基づいて合致させる位置合わせを行うことで、倍率色収差を補正する補正ステップと、を実行する。
【0009】
本開示に係る眼底画像処理プログラムおよび眼底画像処理装置によると、眼底正面画像の倍率色収差の影響がより適切に抑制される。
【図面の簡単な説明】
【0010】
【
図3】眼底撮影装置1が実行する眼底画像処理のフローチャートである。
【
図4】撮影波長が異なる複数の眼底正面画像5B,5G,5Rと基準画像6の関係を説明するための説明図である。
【
図5】複数の対応点51が設定された眼底画像5Bを示す図である。
【発明を実施するための形態】
【0011】
<概要>
本開示で例示する眼底画像処理装置(眼底撮影装置の場合もある)は、眼底画像取得ステップ、および補正ステップを実行する。眼底画像取得ステップでは、制御部は複数の眼底正面画像を取得する。複数の眼底正面画像は、波長が互いに異なる複数の可視光である照明光を、被検眼の瞳孔を通過する同一の光路で同一の眼底の領域に照射し、眼底からの複数の照明光の反射光の各々を受光素子によって受光することで撮影される。補正ステップでは、制御部は、色が互いに異なる複数の眼底正面画像を、各々の画像情報に基づいて位置合わせする。換言すると、制御部は、補正ステップにおいて、画像領域内の各部の位置が、複数の眼底正面画像の間で一致するように、画像情報に基づいて眼底正面画像を変形する。これにより、制御部は、眼底撮影装置の光学系と、撮影対象とされた被検眼の構造とに起因する倍率色収差を補正する。
【0012】
本開示に係る技術によると、同一の眼底について実際に撮影された複数の眼底正面画像が、各々の画像情報に基づいて位置合わせされることで、倍率色収差が補正される。従って、眼底撮影装置の光学系に起因する倍率色収差の影響だけでなく、被検眼の構造に応じて変化する倍率色収差等の影響も抑制される。よって、眼底正面画像の倍率色収差の影響が、より適切に抑制される。
【0013】
また、眼底正面画像では、高次の収差によって画像中の各部位毎に倍率が異なるので、画像全体を単純な補正値で補正しても、倍率色収差を適切に補正することは困難である。これに対し、本開示に係る技術によると、各々の眼底正面画像の画像情報に基づいて、複数の眼底正面画像の位置合わせが行われることで、高次の収差の影響も適切に抑制される。また、撮影画角が大きくなる程、眼底正面画像の周辺部では、眼底撮影装置の光学系のずれの影響、および、網膜の湾曲の影響も大きくなるので、従来の方法では倍率色収差の補正が困難となる。しかし、本開示に係る技術によると、撮影画角を大きくした場合でも、倍率色収差が適切に補正される。
【0014】
複数の眼底正面画像は、同一の眼底の領域に対して複数の照明光を同時に照射することで撮影されてもよい。この場合、収差の影響を抑制した複数の眼科正面画像を合成することで、複数の色によって眼底組織を示す高品質のカラー眼底正面画像が得られる。
【0015】
なお、本開示では、走査型レーザ検眼鏡(SLO)によって撮影された眼底正面画像を処理する場合を例示して説明を行う。しかし、本開示で例示する技術は、複数の波長の可視光によって眼底を撮影することが可能な、SLO以外の眼底撮影装置(例えば眼底カメラ等)によって撮影された眼底正面画像を処理する場合にも適用できる。
【0016】
また、本開示では、眼底正面画像を撮影する眼底撮影装置が、眼底正面画像の倍率色収差の補正処理を行う眼底画像処理装置として機能する。従って、眼底撮影装置は、眼底正面画像を撮影しつつ、撮影した眼底正面画像の倍率色収差の影響を抑制することが可能である。しかし、眼底画像処理装置として機能するデバイス(つまり、眼底画像処理プログラムを実行するデバイス)は、眼底撮影装置に限定されない。例えば、眼底撮影装置が撮影した眼底正面画像のデータを取得することが可能なパーソナルコンピュータ(以下「PC」という)、サーバ、または携帯端末等が、眼底画像処理装置として機能してもよい。また、複数のデバイスの制御部(例えば、眼底画像撮影装置の制御部と、PCの制御部等)が、協働して眼底正面画像を処理してもよい。
【0017】
補正ステップでは、制御部は、複数の眼底正面画像の各々の画像領域の全域に、複数の眼底正面画像間で互いに一致する対応点を複数設定してもよい。制御部は、少なくともいずれかの眼底正面画像の各部の位置を、複数の眼底正面画像間の対応点同士が合致する位置に補正することで、複数の眼底正面画像の位置合わせを行ってもよい。この場合、眼底正面画像に写る同一の組織の対応点に基づいて、複数の眼底正面画像間の各部の位置が適切に合致される。また、複数の眼底正面画像の各々の画像領域の全域に、複数の対応点が設定されるので、倍率色収差の影響が画像領域全体に亘って適切に抑制される。
【0018】
複数の対応点は、画像領域の全域に略均等に配置されていてもよい。例えば、単位面積中の対応点の数が所定範囲内の数となるように、複数の対応点が配置されてもよい。対応点の配置が均等になる程、眼底正面画像の画像領域の全体で、より適切に倍率色収差の影響が抑制される。
【0019】
複数の眼底正面画像の各々に複数の対応点を設定する方法は、適宜選択できる。例えば、制御部は、複数の眼底正面画像の1つ(「ターゲット画像」という)の画像領域内から、対応点を求めるための組織上の点(特徴点)を複数検出する。特徴点の検出には、例えば、opencvのgood Features To Track関数等を利用して、位置合わせに適した点を検出してもよいし、等間隔に設置してもよい。次いで、制御部は、複数の眼底正面画像のうち、ターゲット画像以外の画像(「ソース画像」という)の画像領域内から、ターゲット画像の特徴点と対応する対応点を検出する。ソース画像の対応点の検出には、例えば、テンプレートマッチングやブロックマッチング法等を利用できる。次いで、制御部は、複数の眼底正面画像の間の、対応点同士のずれ量を算出し、算出したずれ量に基づいて各画素を移動させる。なお、画像に含まれる複数の画素のうち、対応点以外の画素には、補間処理が行われてもよい。補間により各画素のずれ量をそれぞれ求めることで、全画素を適切に移動できる。また、以上の方法を実施する場合、ターゲット画像は、倍率色収差を補正する対象の眼底正面画像のいずれかであってもよいし、倍率色収差を補正する対象の眼底正面画像とは異なる画像(例えば、後述する基準画像)であってもよい。
【0020】
また、制御部は、複数の眼底正面画像の各々について複数の特徴点を検出し、検出した各々の画像の特徴点から対応点を検出して、対応点同士が合致する位置に画像の各部を位置合わせしてもよい。この場合、制御部は、特徴点間の特徴量の距離(例えば、L2距離またはハミング距離等)を算出し、算出した距離が最も近い特徴点を対応点としてもよい。この場合も、複数の眼底正面画像の少なくともいずれかに、倍率色収差を補正する対象の眼底正面画像とは異なる画像が含まれていてもよい。
【0021】
眼底画像処理装置は、基準画像取得ステップをさらに実行してもよい。基準画像取得ステップでは、眼底画像処理装置の制御部は、眼底画像取得ステップにおいて取得される複数の眼底正面画像と撮影対象が同一であり、且つ、複数の眼底正面画像の撮影タイミングとは異なるタイミングで撮影された画像を、基準画像として取得する。補正ステップでは、制御部は、眼底正面画像の画像情報と基準画像の画像情報に基づいて、複数の眼底正面画像の各々を基準画像に対して位置合わせしてもよい。この場合には、複数の眼底正面画像と同一のタイミングで撮影された画像を基準画像として使用する場合とは異なり、基準画像を撮影する際の各種条件(例えば、基準画像を撮影する際の照明光の波長、および撮影方法等の少なくともいずれか)が制約され難い。従って、より適切な基準画像を基準として、複数の眼底正面画像の倍率色収差が補正される。
【0022】
基準画像は、位置合わせの対象となる複数の眼底正面画像の撮影方式とは異なる撮影方式で撮影された画像であってもよい。この場合、種々の撮影方式の中から、基準画像を得るために適した撮影方式を採用できるので、より適切に倍率色収差が補正される。
【0023】
詳細には、基準画像は、不可視光(例えば赤外光等)である照明光を眼底に照射することで撮影された画像であってもよい。この場合、被検者がまぶしさを感じることなく基準画像が撮影されるので、瞬き等によって基準画像の品質が低下する可能性が低い。よって、より適切な基準画像を基準として、複数の眼底正面画像の倍率色収差が補正される。
【0024】
また、不可視光によって撮影された画像以外の画像を、基準画像として使用することも可能である。例えば、眼底カメラによって撮影されたカラー眼底正面画像が基準画像として使用されてもよい。この場合、対応点を利用した眼底正面画像の位置合わせがより適切に行われる。
【0025】
また、複数の眼底正面画像と同一のタイミングで撮影された画像を基準画像として、複数の眼底正面画像の位置合わせが実行されてもよい。例えば、取得された複数の眼底正面画像のうち、1つの眼底正面画像を基準画像(ターゲット画像)とし、他の眼底正面画像(ソース画像)が基準画像に対して位置合わせされてもよい。この場合、倍率色収差を補正する対象となる複数の眼底正面画像とは別で、基準画像が取得される必要が無い。
【0026】
<実施形態>
以下、本開示に係る典型的な実施形態の1つについて説明する。本実施形態では、眼底画像を撮影する眼底撮影装置1自身が、撮影した眼底画像を処理する。つまり、本実施形態の眼底撮影装置1は、眼底画像を処理する眼底画像処理装置として機能する。従って、眼底撮影装置1は、眼底画像を撮影しつつ、撮影した眼底画像を適切に処理することができる。しかし、眼底画像処理装置として機能できるデバイスは、眼底撮影装置1に限定されない。例えば、眼底撮影装置1によって撮影された眼底画像のデータを取得することが可能なパーソナルコンピュータ、サーバ、携帯端末、またはスマートフォン等が、以下説明する眼底画像処理を実行する眼底画像処理装置として機能してもよい。また、複数のデバイスの制御部が、協働して眼底画像処理を実行してもよい。
【0027】
図1および
図2を参照して、眼底撮影装置1の概略構成について説明する。
図1に示すように、眼底撮影装置1は、光学ユニット1Aと制御ユニット1Bを備える。光学ユニット1Aには、撮影光学系2(
図2参照)が格納されている。制御ユニット1Bは、プロセッサ(CPU)70および記憶装置(メモリ)75を備える。プロセッサ70は、眼底撮影装置1の制御を司る制御部である。記憶装置75には、眼底画像処理プログラムが記憶されている。制御ユニット1Bには、操作部85およびモニタ90が接続されている。操作部85は、マウスおよびタッチパネル等のポインティングデバイスであってもよいし、その他のユーザインターフェースであってもよい。モニタ90は、撮影された眼底画像等の各種画像を表示させることができる。制御ユニット1Bとして、パーソナルコンピュータ(PC)等が使用されてもよい。また、光学ユニット1Aと制御ユニット1Bは、同一の筐体に収容されてもよいし、別々の筐体に収容されてもよい。
【0028】
図2を参照して、撮影光学系2について説明する。
図2に例示する撮影光学系2は、走査型の光学系である。詳細には、本実施形態の撮影光学系2は、二次元スキャンタイプの光学系である。二次元スキャンタイプの光学系では、照明光が眼底上でスポット状に形成されると共に、眼底上で二次元的に走査される。ただし、走査型の光学系として、ラインスキャンタイプ(あるいは、スリットスキャンタイプ)の光学系が採用されてもよい。この場合、照明光が眼底上でライン状またはスリット状に形成されると共に、照明光の光束の断面長手方向と交差する方向に走査される。また、撮影光学系は走査型の光学系でなくてもよい。例えば、撮影光学系は、眼底上の二次元領域に同時に照明光を照射することで、二次元の眼底正面画像を撮影してもよい。撮影光学系2は、照射光学系10および受光光学系20を備える。
【0029】
照射光学系10について説明する。照射光学系10は、光源11、ビームスプリッタ13、レンズ14、走査部16、および対物レンズ17を備える。
【0030】
本実施形態の照射光学系10は、眼底上でポイント状に集光させた照明光を、走査部16によって走査させる。走査部16は、互いに異なる2方向に照明光を走査する。説明の便宜上、以下では、ラスタースキャンによって照明光が走査される場合を例示する。この場合、走査部16は、主走査用の第1の光スキャナ16Aと、副走査用の第2の光スキャナ16Bを含む。ただし、走査部16の構成を変更することも可能である。例えば、走査部は、2自由度のデバイス(例えばMEMS等)であってもよい。光スキャナは、ガルバノミラー、ポリゴンミラー、レゾナントスキャナ、MEMS、および音響光学素子(AOM)等の少なくともいずれかが適宜選択されてもよい。
【0031】
照射光学系10は、光源11が出射した照明光を、被検眼Eの眼底Erへ照射する。照射光学系10は、複数の波長域の光(波長が互いに異なる複数の照明光)を同時に照射可能であってもよいし、複数の波長域の光を選択的に切り替えて照射可能であってもよい。本実施形態の照射光学系10は、可視光と不可視光(本実施形態では赤外光)を切り替えて眼底Erに照射することが可能である。また、複数の波長域の可視光を同時に眼底Erに照射することが可能である。
【0032】
ビームスプリッタ13は、照射光学系10の光路と受光光学系20の光路を結合および分離する。ビームスプリッタ13は、穴あきミラーであってもよいし、他の部材であってもよい。レンズ14はフォーカシングレンズであり、駆動部(図示せず)によって変位される。レンズ14が光軸に沿って変位されることで、フォーカス(視度)が調整される。
【0033】
対物レンズ17は、走査部16によって走査される照明光(本実施形態ではレーザ光)を、被検眼Eの眼底Erに向けて出射する。対物レンズ17は、射出瞳の位置に旋回点Pを形成する。旋回点Pでは、走査部16を経た照明光が旋回される。その結果、照明光が眼底Er上で走査される。波長が互いに異なる複数の照明光が同時に出射される場合、複数の照明光は、被検眼Eの瞳孔を通過する同一の光路で眼底Erに照射される。照明光の眼底反射光は、平行光として瞳孔から出射される。
【0034】
受光光学系20について説明する。本実施形態の受光光学系20は、対物レンズ17からビームスプリッタ13までの光路上に配置された各部材を、照射光学系10と共用する。眼底Erからの光(例えば、照明光の眼底反射光、または蛍光等)は、照射光学系10の光路を遡って、ビームスプリッタ13まで導光される。ビームスプリッタ13は、眼底Erからの光を受光光学系20の独立光路へ導く。
【0035】
受光光学系20の独立光路には、レンズ21、ピンホール板23、および光分離部30が設けられている。ピンホール板23は、眼底共役面に配置されており、眼底Erの集光点あるいは焦点面以外の位置からの光を取り除くと共に、集光点あるいは焦点面からの光を光分離部30へ導光する。光分離部30は、眼底Erからの光を分離させる。本実施形態では、光分離部30によって、眼底Erからの光が波長選択的に分離される。つまり、光分離部30は、受光光学系20の光路を光の波長に応じて分岐させる。
図2に示すように、本実施形態の光分離部30は、光分離特性(波長分離特性)が互いに異なる2つのダイクロイックミラー31,32を含む複数のダイクロイックミラーを含んでいてもよい。受光光学系20の光路は、複数のダイクロイックミラーによって、3つ以上の光路に分岐される。分岐された複数の光路の各々には、受光素子25,27,29の1つがそれぞれ配置される。
【0036】
本実施形態の光分離部30は、眼底Erからの光を波長毎に分離させ、3つの受光素子25,27,29の各々に、互いに異なる波長域の光を受光させる。詳細には、3つの受光素子25,27,29の各々は、青、緑、および赤の3色の光のいずれかを受光する。従って、眼底撮影装置1は、眼底Erについて、青、緑、および赤の各々の波長の照明光によって撮影された複数(本実施形態では3つ)の眼底正面画像を同時に撮影することができる。同時に撮影された複数の眼底正面画像によって、カラー眼底正面画像を生成することも可能である。なお、眼底正面画像とは、照明光の光軸方向から眼底を見た場合の二次元の画像である。
【0037】
また、前述したように、本実施形態の照射光学系10は、可視光と赤外光を切り替えて眼底Erに照射することが可能である。眼底撮影装置1は、赤外光を眼底Erに照射し、眼底Erからの赤外光の反射光を受光素子によって受光することで、眼底Erの赤外画像(二次元正面画像)を撮影することができる。赤外画像が撮影される間、被検者はまぶしさを感じることが無いので、瞬き等によって赤外画像の品質が低下する可能性は低い。
【0038】
なお、撮影光学系2の構成を変更することも可能である。例えば、受光光学系が備える受光素子は1つであってもよい。この場合、受光光学系は、1つの受光素子に複数の波長の光を切り換えて受光させることで、撮影波長が異なる複数の眼底画像を撮影してもよい。
【0039】
図3~
図5を参照して、眼底撮影装置1が実行する眼底画像処理について説明する。前述したように、眼底撮影装置1は、眼底画像処理装置の一例である。従って、
図3に例示する眼底画像処理を実行するデバイスは、眼底撮影装置1に限定されない。以下説明する眼底画像処理が、眼底撮影装置1とは異なるデバイスによって実行される場合、画像の「撮影・取得」の処理は、眼底撮影装置1によって撮影された画像のデータを取得する処理に読み替えられる。本実施形態の眼底画像処理では、波長が互いに異なる複数の可視照明光によって撮影された、複数の眼底正面画像(以下、「撮影波長(色)が異なる複数の眼底正面画像」という場合もある)の倍率色収差が補正される。
【0040】
図3に示すように、眼底画像処理が開始されると、眼底撮影装置1のプロセッサ70は、同一の被検眼の眼底を撮影対象として、撮影波長が異なる複数の眼底正面画像を撮影し、画像のデータを取得する(S1)。前述したように、眼底撮影装置1は、波長が互いに異なる複数の可視照明光(本実施形態では、青、緑、および赤)を、被検眼の眼底に同時に照射することで、撮影波長が異なる複数の眼底正面画像を撮影することができる。
図4に例示するように、本実施形態の眼底撮影装置1は、青の波長の照明光によって撮影される眼底正面画像5B(以下、「青の眼底正面画像5B」という)と、緑の波長の照明光によって撮影される眼底正面画像5G(以下、「緑の眼底正面画像5G」という)と、赤の波長の照明光によって撮影される眼底正面画像5R(以下、「赤の眼底正面画像5R」という)を、同時に撮影することが可能である。従って、複数の眼底正面画像5(5B,5G,5R)の間には、倍率色収差等の収差以外に、画像間の位置ずれを生じさせる要因(例えば、撮影中の眼の動き等)が生じにくい。ただし、複数の眼底正面画像5の各々は、異なるタイミングで撮影されてもよい。
【0041】
次いで、プロセッサ70は、複数の眼底正面画像5と撮影対象が同一であり、後述する補正処理(S3)の基準となる基準画像6(
図4参照)を撮影し、画像のデータを取得する(S2)。本実施形態では、基準画像6の撮影タイミングは、複数の眼底正面画像5の撮影タイミングとは異なる。この場合には、複数の眼底正面画像5と同一のタイミングで撮影された画像を基準画像として使用する場合とは異なり、基準画像6を撮影する際の各種条件(例えば、基準画像6を撮影する際の照明光の波長、および撮影方法等の少なくともいずれか)が制約され難い。よって、より適切な基準画像6を基準として、後述する補正処理(S3)が実行される。
【0042】
また、本実施形態の眼底撮影装置1は、複数の眼底正面画像5の撮影方式とは異なる撮影方式で、基準画像6を撮影する。詳細には、本実施形態の眼底撮影装置1は、不可視光である照明光(本実施形態では赤外光)を眼底に照射することで、基準画像6を撮影する。従って、被検者がまぶしさを感じることなく基準画像6が撮影されるので、瞬き等によって基準画像6の品質が低下する可能性が低い。
【0043】
なお、基準画像6の撮影タイミングは、複数の眼底画像5の撮影タイミングよりも前であってもよいし、後であってもよい。つまり、
図3のS1,S2の実行順は適宜変更できる。また、複数の眼底正面画像5と同一のタイミングで撮影された画像を、基準画像6として使用することも可能である。この場合、複数の眼底正面画像5と基準画像6の間の位置ずれが生じにくい。
【0044】
次いで、プロセッサ70は、複数の眼底正面画像5を、各々の画像情報に基づいて位置合わせする(変形する)ことで、複数の眼底正面画像5の間の倍率色収差を補正する(S3)。つまり、同一の眼底について実際に撮影された複数の眼底正面画像5の各部の位置が、画像情報に基づいて合致されることで、倍率色収差が補正される。従って、眼底撮影装置1の光学系に起因する倍率色収差の影響だけでなく、被検眼の構造(例えば、水晶体および角膜等)に応じて変化する倍率色収差等の影響も抑制される。
【0045】
以下、補正処理(S3)の詳細について説明する。
図5に示すように、プロセッサ70は、複数の眼底正面画像5(
図5では、青の眼底画像5Bを例示している)の各々の画像領域の全域に、複数の眼底正面画像5間で互いに一致される対応点51を複数設定する。プロセッサ70は、少なくともいずれかの眼底正面画像5の各部の位置を、複数の眼底正面画像5間の対応点51同士が合致する位置に補正することで、複数の眼底正面画像5間の位置合わせを行う。
【0046】
図4に示すように、本実施形態の補正処理(S3)では、各々の眼底正面画像5の画像情報および基準画像6の画像情報に基づいて、複数の眼底正面画像5(5B,5G,5R)の各々が、基準画像6に対して位置合わせされる。つまり、本実施形態では、基準画像6を基準として、複数の眼底正面画像5の倍率色収差が補正される。よって、基準画像6として適切な画像が用いられることで、倍率色収差の補正精度が向上する。
【0047】
詳細には、本実施形態では、プロセッサ70は、基準画像6の画像領域内から、対応点を求めるための組織上の点(特徴点)を複数検出する。一例として、特徴点の検出には、公知のopencvのgood Features To Track関数等が利用される。その結果、基準画像6の画像領域の全域に、略均等となるように複数の特徴点が検出される。詳細には、本実施形態では、単位面積中の特徴点の数が所定範囲内の数となるように、複数の特徴点が配置される。その結果、画像領域全体で、より適切に倍率色収差の影響が抑制される。
【0048】
次いで、プロセッサ70は、複数の眼底正面画像5の各々の画像領域内から、基準画像6の特徴点と対応する対応点51(
図5参照)を検出する。つまり、基準画像6の特徴点は、眼底正面画像5との間で一致される対応点として用いられる。眼底正面画像5の対応点51の検出には、例えばテンプレートマッチングまたはブロックマッチング法等を利用できる。次いで、プロセッサ70は、基準画像6の特徴点(対応点)と、眼底正面画像5の対応点51の間のずれ量を算出し、算出したずれ量に基づいて、眼底正面画像5の各画素を移動させる。なお、眼底正面画像5に含まれる複数の画素のうち、対応点51以外の画素には、補間・サンプリング処理が行われる。
【0049】
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。例えば、上記実施形態では、複数の眼底正面画像5の各々が、基準画像6に対して位置合わせされる。しかし、プロセッサ70は、複数の眼底正面画像5のうちの1つ(例えば、緑の眼底正面画像5G)を基準画像とし、他の眼底正面画像(例えば、青の眼底正面画像5Bおよび赤の眼底正面画像5R)を、基準画像に対して位置合わせしてもよい。この場合、複数の眼底画像5とは別で基準画像が取得される必要が無い。
【0050】
なお、
図3のS1で複数の眼底正面画像5を取得する処理は、「眼底画像取得ステップ」の一例である。
図3のS3で倍率色収差を補正する処理は、「補正ステップ」の一例である。
図3のS2で基準画像を取得する処理は、「基準画像取得ステップ」の一例である。
【0051】
1 眼底撮影装置
2 撮影光学系
5B,5G,5R 眼底正面画像
6 基準画像
11 光源
25,27,29 受光素子
70 プロセッサ
75 記憶装置