【文献】
PODDAR, R., et al,In vivo imaging of human vasculature in the chorioretinal complex using phase-variance contrast method with phase-stabilized 1-μm swept-source optical coherence tomography,Journal of Biomedical Optics,2014年12月17日,Vol.19, No.12,126010-1 - 12610-12
【文献】
FINGLER, J. et al.,Volumetric microvascular imaging of human retina using optical coherence tomography with a novel motion contrast technique,OPTICS EXPRESS,2009年11月23日,Vol.17, No.24,p.22190-22200
【文献】
KIM, D.Y., et al.,In vivo volumetric imaging of human retinal circulation with phase-variance optical coherence tomography,BIOMEDICAL OPTICS EXPRESS,2011年 6月 1日,Vol.2, No.6,p.1504-1513
【文献】
SCHWARTZ, D.M., et al.,Phase-Variance Optical Coherence Tomography,OPHTHALMOLOGY,2014年 1月,Vol.121, No.1,p.180-187,Available online: 2013.10.22
(58)【調査した分野】(Int.Cl.,DB名)
被検眼の眼底を走査された測定光と、参照光とのOCT信号を取得するOCTデバイスによって取得されたモーションコントラスト正面画像と、被検眼の眼底を撮影する眼底撮影デバイスによって造影剤を用いて撮影された被検眼の蛍光正面画像と、を取得し、前記モーションコントラスト正面画像と前記蛍光正面画像との間の位置合わせを行い、前記モーションコントラスト正面画像と前記蛍光正面画像とを重畳させる演算制御手段を備え、
前記演算制御手段は、前記モーションコントラスト正面画像と前記蛍光正面画像とを重畳する場合に、一方の正面画像から他方の正面画像が透けて見えるようにして双方の正面画像を視認できるように表示手段に表示するとともに、前記モーションコントラスト正面画像における血管部分の表示色と前記蛍光正面画像における血管部分の表示色とを異なる表示色で前記表示手段に表示することを特徴とする眼底画像処理装置。
【発明を実施するための形態】
【0010】
以下、本実施形態を図面に基づいて簡単に説明する。本実施形態の眼底画像処理装置(例えば、
図1の眼底画像処理装置1)は、例えば、撮影デバイス(例えば、撮影デバイス10)によって撮影された眼底画像データを処理する。
【0011】
眼底画像処理装置は、例えば、演算制御部(例えば、制御部70)を主に備える。演算制御部は、例えば、種類の異なる眼底画像(例えば、モーションコントラスト正面画像、蛍光正面画像など)を取得し、位置合わせを行ってもよい。例えば、演算制御部は、撮影デバイスによって撮影された眼底画像を取得してもよい。もちろん、演算制御部は、撮影デバイスから取得した信号(例えば、OCT信号、受光信号など)に基づいて画像を生成し、生成した画像を取得してもよい。
【0012】
例えば、撮影デバイスは、OCTデバイス(例えば、OCTデバイス11)、眼底撮影デバイス(眼底撮影デバイス12)であってもよい。
【0013】
例えば、OCTデバイスは、被検眼の眼底を走査された測定光と、参照光とのOCT信号を取得してもよいし、取得されたOCT信号に基づいてモーションコントラスト正面画像を取得してもよい。モーションコントラストは、例えば、物体の動き(例えば、血流、組織変化など)を捉えた情報であってもよい。なお、モーションコントラスト正面画像は、例えば、モーションコントラストEn face画像であってもよい。ここで、En faceは、例えば、眼底面に対して水平な面、または眼底2次元水平断層面などのことであってもよい。
【0014】
例えば、眼底撮影デバイスは、被検眼の眼底を正面方向から撮影してもよい。例えば、眼底撮影デバイスは、蛍光剤を用いて蛍光撮影を行ってもよい。例えば、眼底撮影デバイスは、被検眼の眼底を正面方向から蛍光撮影することによって、蛍光正面画像を取得してもよい。ここで、正面方向とは、例えば、被検眼の前眼部から眼底に向う方向であってもよい。
【0015】
例えば、演算制御部は、モーションコントラスト正面画像と蛍光正面画像との間の位置合わせを行ってもよい。これによって、モーションコントラスト正面画像に写った被検眼の血管構造と、蛍光正面画像に写った被検眼の血管構造を対応させることができる。
【0016】
なお、演算制御部は、蛍光正面画像において画像化された血管の分布する深さ領域と共通の深さ領域におけるモーションコントラスト正面画像を取得してもよい。なお、深さ領域とは、例えば、被検眼の眼底面と直交する方向(例えば、深さ方向、z方向など)における領域であってもよい。
【0017】
例えば、演算制御部は、蛍光正面画像において画像化された血管が、被検眼のどの深さ領域に分布するかについての情報を取得し、該当する深さ領域に関して生成されたモーションコントラスト正面画像を取得してもよい。これによって、モーションコントラスト正面画像と蛍光正面画像とで共通の血管が画像化されるため、両画像の位置合わせを行い易い。もちろん、演算制御部は、OCTデバイスによって取得されたOCT信号に基づいて、該当する深さ領域に関するモーションコントラスト正面画像を生成してもよい。
【0018】
なお、演算制御部は、被検眼の病変領域(例えば、漏出部Q)の少なくとも一部を除外した位置合わせ領域において、モーションコントラスト画像と蛍光正面画像との間の位置合わせを行ってもよい。例えば、演算制御部は、蛍光正面画像に基づいて被検眼の病変領域を検出し、病変領域を位置合わせ領域から除外してもよい。モーションコントラスト画像と蛍光正面画像とでは、病変領域の血管構造の写り方が異なるため、位置合わせができない場合がある。したがって、病変領域を位置合わせ領域から除外することによって、演算制御部は、両画像の位置合わせを良好に行うことができる。
【0019】
なお、演算制御部は、第1モーションコントラスト正面画像と第2モーションコントラスト正面画像を取得してもよい。この場合、演算制御部は、第1モーションコントラスト正面と第2モーションコントラスト画像を蛍光正面画像に対してそれぞれ位置合わせしてもよい。これによって、眼底上の複数の領域において、蛍光正面画像とモーションコントラスト画像との対応付けができる。なお、第1モーションコントラスト正面画像は、被検眼の眼底における測定光の第1の走査領域(例えば、領域A1)において取得されたモーションコントラスト画像であってもよい。第2モーションコントラスト正面画像は、第1の走査領域とは異なる第2の走査領域(例えば、領域A2)において取得されたモーションコントラスト画像であってもよい。ここで、走査領域とは、例えば、眼底面に対して水平な面を含む2次元あるいは3次元的な領域であってもよい。例えば、走査領域は、OCTデバイスからの測定光が少なくともxy方向に2次元的に走査される領域であってもよい。
【0020】
なお、演算制御部は、第1モーションコントラスト正面画像と第2モーションコントラスト正面画像を位置合わせすることによってモーションコントラスト合成画像を取得してもよい。この場合、演算制御部は、モーションコントラスト合成画像と、蛍光正面画像との間の位置合わせを行ってもよい。
なお、演算制御部、例えば、モーションコントラスト正面画像と蛍光正面画像との位置合わせ結果に基づいて、両画像を表示部(例えば、表示部75)に重畳表示させてもよい。例えば、演算制御部は、モーションコントラスト正面画像を蛍光正面画像に重畳表示させてもよい。これによって、検者は、モーションコントラスト正面画像と蛍光正面画像に写った血管構造を比較しやすい。もちろん、演算制御部は、蛍光正面画像をモーションコントラスト正面画像に重畳させてもよい。
【0021】
なお、演算制制御部は、例えば、モーションコントラスト正面画像と蛍光正面画像を異なる表示色で表示部に表示させてもよい。例えば、両画像の血管部分の表示色を、赤色、緑色、青色、黄色、白色、黒色等の異なる表示色で両画像を表示してもよい。これによって、検者は、重畳されたモーションコントラスト正面画像と蛍光正面画像のうち、どちらの画像に写った血管構造であるか容易に把握できる。なお、演算制御部は、両画像の血管部分および背景のいずれか一方を異なる表示色で表示させてもよい。
【0022】
なお、演算制御部は、モーションコントラスト正面画像と蛍光正面画像との差分を演算してもよい。例えば、演算制御部は、モーションコントラスト正面画像の輝度と蛍光正面画像の輝度との差分を求めることによって、差分画像を生成してもよい。例えば、モーションコントラスト正面画像と蛍光正面画像とで写り方の異なる病変領域等の異常な血管構造が差分として残るため、検者は、病変領域の異常な血管構造を容易に確認できる。なお、差分を求める場合、演算制御部は、両画像の輝度を調整してもよい。例えば、演算制御部は、両画像の血管部分と背景とが同様の輝度になるように調整してもよい。例えば、演算制御部は、両画像の輝度を2値化することによって輝度を調整してもよい。
【0023】
なお、演算制御部は、モーションコントラスト正面画像と蛍光正面画像との位置合わせにおいて、両画像の倍率と解像度との関係を一致させてもよい。例えば、演算制御部は、両画像の倍率と解像度との関係を一致させることによって、画素ごとの位置を合わせ易くしてもよい。例えば、演算制御部は、モーションコントラスト正面画像と蛍光正面画像の少なくとも一方の画像を編集することによって、両画像の倍率と解像度との関係を一致させてもよい。また、演算制御部は、両画像の倍率と解像度が一致するように、撮影デバイスを制御してもよい。もちろん、両画像の倍率と解像度との関係は、必ずしも一致していなくともよく、多少ずれていてもよい。
【0024】
なお、演算制御部は、例えば、モーションコントラスト正面画像と蛍光正面画像との間の画像の歪みを補正してもよい。例えば、演算制御部は、モーションコントラスト正面画像と蛍光正面画像との間の画像の歪み情報を検出し、歪み情報に基づいて両画像のうち少なくとも一方の画像の歪みを補正してもよい。これによって、演算制御部は、両画像の位置合わせを行い易くしてもよい。なお、演算制御部は、モーションコントラスト画像の歪み情報をモーションコントラスト全体に適用させてもよい。
【0025】
なお、演算制御部は、プロセッサ(例えば、CPU71)、記憶部(例えば、ROM72、記憶部74など)を備えてもよい。プロセッサは、記憶部に記憶された眼底画像処理プログラムを眼底画像処理装置に実行させてもよい。例えば、眼底画像処理プログラムは、演算制御ステップを含んでもよい。演算制御ステップは、例えば、モーションコントラスト正面画像と蛍光正面画像との間の位置合わせを行うステップであってもよい。
【0026】
<実施例>
以下、本実施例の眼底画像処理装置1について図面を用いて説明する。
図1に示す眼底画像処理装置1は、例えば、撮影デバイス10によって取得された眼底画像データを処理する。
【0027】
例えば、眼底画像処理装置1は、制御部70を備える。例えば、制御部70は、一般的なCPU(Central Processing Unit)71、ROM72、RAM73、等で実現される。ROM72には、眼底画像を処理するためのOCT信号処理プログラム、眼底を撮影するデバイス(例えば、OCTデバイス11、眼底撮影デバイス12などの撮影デバイス10)の動作を制御するための各種プログラム、初期値等が記憶されている。RAM73は、各種情報を一時的に記憶する。なお、制御部70は、複数の制御部(つまり、複数のプロセッサ)によって構成されてもよい。
【0028】
制御部70には、
図1に示すように、例えば、記憶部(例えば、不揮発性メモリ)74、操作部76、および表示部75等が電気的に接続されている。記憶部74は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。例えば、ハードディスクドライブ、フラッシュROM、着脱可能なUSBメモリ等を記憶部74として使用することができる。
【0029】
操作部76には、検者による各種操作指示が入力される。操作部76は、入力された操作指示に応じた信号をCPU71に出力する。操作部76には、例えば、マウス、ジョイスティック、キーボード、タッチパネル等の少なくともいずれかのユーザーインターフェイスを用いればよい。
【0030】
表示部75は、装置本体に搭載されたディスプレイであってもよいし、本体に接続されたディスプレイであってもよい。パーソナルコンピュータ(以下、「PC」という。)のディスプレイを用いてもよい。複数のディスプレイが併用されてもよい。また、表示部75は、タッチパネルであってもよい。表示部75がタッチパネルである場合、表示部75が操作部76として機能する。表示部75は、例えば、撮影デバイス10によって取得された眼底画像データ等を表示する。
【0031】
なお、本実施例の眼底画像処理装置1は、眼底を撮影するデバイス(例えば、OCTデバイス11、眼底撮影デバイス12などの撮影デバイス10)が接続されている。接続方法は、無線であってもよいし、有線であってもよい。例えば、眼底画像処理装置1は、撮影デバイス10と同一の筐体等に収納された一体的な構成であってもよいし、別々の構成であってもよい。眼底画像処理装置1の制御部70は、接続された撮影デバイス10から眼底画像データを取得してもよい。もちろん、制御部70は、撮影デバイス10と接続されていなくともよい。この場合、制御部70は、記憶媒体を介して撮影デバイス10によって撮影された眼底画像データを取得してもよい。
【0032】
<撮影デバイス>
以下、撮影デバイス10について説明する。撮影デバイス10は、例えば、被検眼Eを撮影する。例えば、撮影デバイス10は、OCTデバイス11、眼底撮影デバイス12、固視標投影部300等を備える。なお、本実施例においては、撮影デバイス10は制御部70に接続されており、CPU71によって制御される。もちろん、撮影デバイス10はCPU71とは別のCPU(不図示)を備え、眼底画像データを撮影するための各種制御を行ってもよい。
<OCTデバイス>
以下、
図2(a)に基づいてOCTデバイス11の概略を説明する。例えば、OCTデバイス11は、被検眼Eに測定光を照射し、その反射光と測定光とによって取得されたOCT信号を取得する。OCTデバイス11は、例えば、OCT光学系100、導光光学系106を主に備える。
【0033】
<OCT光学系>
OCT光学系100は、被検眼Eに測定光を照射する。OCT光学系100は、被検眼Eから反射された測定光と,参照光との干渉状態を検出器120によって検出する。OCT光学系100は、例えば、走査部(例えば、光スキャナ)108を備える。走査部108は、例えば、被検眼上の撮像位置を変更するため、被検眼上における測定光の走査位置を変更する。CPU71は、設定された走査位置情報に基づいて走査部108の動作を制御し、検出器120からの受光信号に基づいてOCT信号を取得する。
【0034】
OCT光学系100は、いわゆる光断層干渉計(OCT:Optical coherence tomography)の光学系である。OCT光学系100は、測定光源102から出射された光をカップラー(光分割器)104によって測定光(試料光)と参照光に分割する。分割された測定光は測定光学系107へ、参照光は参照光学系110へそれぞれ導光される。測定光学系107に導光された測定光は、導光光学系106によって眼Eの眼底Efに導かれる。その後、被検眼Eによって反射された測定光と,参照光との合成による干渉光を検出器120に受光させる。
【0035】
検出器120は、測定光と参照光との干渉状態を検出する。フーリエドメインOCTの場合では、干渉光のスペクトル強度が検出器120によって検出され、スペクトル強度データに対するフーリエ変換によって所定範囲における深さプロファイル(Aスキャン信号)が取得される。例えば、Spectral-domain OCT(SD−OCT)、Swept-source OCT(SS−OCT)が挙げられる。また、Time-domain OCT(TD−OCT)であってもよい。
【0036】
SD−OCTの場合、光源102として低コヒーレント光源(広帯域光源)が用いられ、検出器120には、干渉光を各周波数成分(各波長成分)に分光する分光光学系(スペクトルメータ)が設けられる。スペクトルメータは、例えば、回折格子とラインセンサからなる。
【0037】
SS−OCTの場合、光源102として出射波長を時間的に高速で変化させる波長走査型光源(波長可変光源)が用いられ、検出器120として、例えば、単一の受光素子が設けられる。光源102は、例えば、光源、ファイバーリング共振器、及び波長選択フィルタによって構成される。そして、波長選択フィルタとして、例えば、回折格子とポリゴンミラーの組み合わせ、ファブリー・ペローエタロンを用いたものが挙げられる。
【0038】
光源102から出射された光は、カップラー104によって測定光束と参照光束に分割される。そして、測定光束は、光ファイバーを通過した後、空気中へ出射される。その光束は、走査部108、及び導光光学系106の他の光学部材を介して眼底Efに集光される。そして、眼底Efで反射された光は、同様の光路を経て光ファイバーに戻される。
【0039】
走査部108は、眼底上でXY方向(横断方向)に測定光を走査させる。走査部108は、瞳孔と略共役な位置に配置される。例えば、走査部108は、2つのガルバノミラー51,52を有し、その反射角度が駆動機構50によって任意に調整される。これによって、光源102から出射された光束はその反射(進行)方向が変化され、眼底上で任意の方向に走査される。つまり、眼底Ef上における「Bスキャン」が行われる。なお、走査部108としては、光を偏向させる構成であればよい。例えば、反射ミラー(ガルバノミラー、ポリゴンミラー、レゾナントスキャナ)の他、光の進行(偏向)方向を変化させる音響光学素子(AOM)等が用いられる。
【0040】
参照光学系110は、眼底Efでの測定光の反射によって取得される反射光と合成される参照光を生成する。参照光学系110は、マイケルソンタイプであってもよいし、マッハツェンダタイプであっても良い。参照光学系110は、例えば、反射光学系(例えば、参照ミラー)によって形成され、カップラー104からの光を反射光学系により反射することにより再度カップラー104に戻し、検出器120に導く。他の例としては、参照光学系110は、透過光学系(例えば、光ファイバー)によって形成され、カップラー104からの光を戻さず透過させることにより検出器120へと導く。
【0041】
参照光学系110は、参照光路中の光学部材を移動させることによって、測定光と参照光との光路長差を変更する構成を有する。例えば、参照ミラーが光軸方向に移動される。光路長差を変更するための構成は、導光光学系106の光路中に配置されてもよい。
【0042】
<眼底撮影デバイス>
以下、眼底撮影デバイス12について説明する。眼底撮影デバイス12は、被検眼Eの眼底Efを正面方向(例えば、測定光の光軸方向)から撮影する。眼底撮影デバイス12は、例えば、正面撮影光学系200と、前述の導光光学系106とを主に備える。なお、本実施例の導光光学系106は、OCTデバイス11と眼底撮影デバイス12とで兼用されるが、もちろん各デバイスのそれぞれにおいて対物レンズ等の導光光学系が設けられてもよい。
【0043】
眼底撮影デバイス12は、例えば、眼底Efの正面画像を得るために設けられている。眼底撮影デバイス12は、例えば、光源から発せられた測定光(例えば、赤外光)を眼底上で二次元的に走査させる第2の走査部と、眼底と略共役位置に配置された共焦点開口を介して眼底反射光を受光する第2の受光素子と、を備え、いわゆる走査型レーザ検眼鏡(SLO)の装置構成であってもよい(例えば、特開2015−66242号公報参照)。なお、眼底撮影デバイス12の構成としては、いわゆる眼底カメラタイプの構成であってもよい(特開2011−10944参照)。
【0044】
図2(b)に示すように、正面撮影光学系200として走査型レーザ検眼鏡の光学系を用いた場合である。この場合、正面撮影光学系200は、例えば、レーザ光源201、走査部204、穴開きミラー205、回転板ユニット206、受光素子209を主に備える。もちろん正面撮影光学系200は、この他の光学素子を適宜備えてもよい。
【0045】
例えば、レーザ光源201は、少なくとも第1波長(波長790nm付近)のレーザ光と第2波長(波長490nm付近)のレーザ光とを出射してもよい。もちろんレーザ光源201は、単色光のみを出射してもよい。
【0046】
例えば、レーザ光源201からのレーザ光は、中央に開口部を有する穴開きミラー205の開口部を通り、走査部204に向かう。走査部204によって反射された光束は、
図2(a)の導光光学系106を通過した後、被検眼Eの眼底Efで集光する。レーザ光源201から眼底Efに対してレーザ光が照射されることに伴って、眼底Efから光が発せられる。例えば、レーザ光は、眼底Efで散乱・反射される。その結果、眼底Efで散乱・反射された光(以下、眼底反射光という)が瞳孔を介して出射される。また、レーザ光は、眼底Efに存在する蛍光物質を励起させる場合がある。このため、眼底Efに存在する蛍光物質から発せられた蛍光が、瞳孔を介して出射する場合がある。
【0047】
走査部204は、レーザ光を眼底上で走査するためにレーザ光源201から導かれたレーザ光の進行方向を変える(レーザ光を偏向する)ユニットである。本実施例において、走査部204は、反射ミラー203を有している。反射ミラー203としては、例えば、ガルバノミラー、ポリゴンミラーであってもよい。なお、走査部204として、レゾナントスキャナ、光の進行(偏向)方向を変化させる音響光学素子(AOM)等が用いられてもよい。
【0048】
回転板ユニット206は、受光素子209に受光させる光の波長を選択する。回転板ユニット206は、回転板207、駆動部208等を備える。例えば、回転板207は、眼底Efで発生した蛍光を観察するためのバリアフィルタを複数種類有している。例えば、回転板207が駆動部208によって回転されることで、受光素子209に向かう光路に各種フィルタがセットされる。
【0049】
回転板207には、例えば、赤外蛍光撮影用のバリアフィルタと、可視蛍光撮影用のバリアフィルタ等が設けられる。例えば、赤外蛍光撮影用のバリアフィルタは、赤外蛍光撮影の一つであるICGA撮影用のバリアフィルタとして用いられる。なお、ICGA(indocyanine−green−angiography)撮影は蛍光眼底造影剤としてインドシアニングリーンを用いた蛍光撮影である。例えば、本実施例の眼底撮影デバイス12においてICGA撮影を行う場合、第1のレーザ光(波長790nm付近)をレーザ光源201から照射して撮影を行い、赤外蛍光撮影用のバリアフィルタを介して波長800nm〜860nm付近の蛍光を撮影する。なお、ICGA撮影は、主として脈絡膜血管の観察に用いられる。
【0050】
可視蛍光撮影用のバリアフィルタは、例えば、FA撮影等に用いられる。なお、FA(fluorescein−angiography)撮影は蛍光眼底造影剤としてフルオレセインを用いた蛍光撮影である。例えば、本実施例の眼底撮影デバイス12においてFA撮影を行う場合、第2のレーザ光(波長490nm付近)を照射し、可視蛍光撮影用のバリアフィルタを介して波長510nm〜550nm付近の蛍光を撮影する。なお、FA撮影は、主として網膜血管の観察に用いられる。
【0051】
受光素子209は、レーザ光源201からのレーザ光に伴う眼底Efからの光(即ち、通常撮影時には眼底反射光、蛍光撮影時においては眼底Efで発生した蛍光など)を受光する。例えば、蛍光撮影時において、CPU71は、受光素子209からの受光信号に基づいて被検眼Eの蛍光正面画像を取得する。
【0052】
被検眼Eの眼底Efにレーザ光が照射される場合、レーザ光に基づいて眼底Efで反射または出射された光は、導光光学系106、走査部204を通過し、穴開きミラー205で反射された後、回転板207のフィルタを介して受光素子209へ導かれる。なお、被検眼Eの瞳位置と穴開きミラー12の開口部とは、光学的に共役な関係であってもよい。
【0053】
<固視標投影部>
固視標投影部300は、眼Eの視線方向を誘導するための光学系を有する。投影部300は、眼Eに呈示する固視標を有し、複数の方向に眼Eを誘導できる。
【0054】
例えば、固視標投影部300は、可視光を発する可視光源を有し、視標の呈示位置を二次元的に変更させる。これによって、視線方向が変更され、結果的に撮像部位が変更される。例えば、撮影光軸と同方向から固視標が呈示されると、眼底の中心部が撮像部位として設定される。また、撮影光軸に対して固視標が上方に呈示されると、眼底の上部が撮像部位として設定される。すなわち、撮影光軸に対する視標の位置に応じて撮影部位が変更される。
【0055】
固視標投影部300としては、例えば、マトリクス状に配列されたLEDの点灯位置により固視位置を調整する構成、光スキャナを用いて光源からの光を走査させ、光源の点灯制御により固視位置を調整する構成等、種々の構成が考えられる。また、固視標投影部300は、内部固視灯タイプであってもよいし、外部固視灯タイプであってもよい。
【0056】
<制御動作>
以上のような眼底画像処理装置1において、撮影デバイス10によって取得された眼底画像データを処理するときの制御動作を
図3のフローチャートに基づいて説明する。本実施例の眼底画像処理装置1は、例えば、OCTデバイス11によって得られた画像と、眼底撮影デバイス12によって得られた画像を位置合わせする。
【0057】
<OCTデータの取得>
(ステップS1)
まず、眼底画像処理装置1は、OCTデータを取得する。例えば、CPU71は、OCTデバイス11によって検出されたOCT信号を取得し、そのデータを記憶部74等に記憶させる。本実施例では、CPU71がOCTデバイス11を制御してOCT信号を検出する。
【0058】
以下、OCTデバイス11によってOCT信号を検出する方法を説明する。例えば、CPU71は、固視標投影部300を制御して被検者に固視標を投影する。そして、CPU71は、図示無き前眼部観察用カメラで撮影される前眼部観察像に基づいて、被検眼Eの瞳孔中心に測定光軸がくるように図示無き駆動部を制御して自動でアライメントを行う。
【0059】
アライメントが完了すると、CPU71はOCTデバイス11を制御し、被検眼Eの測定を行う。CPU71は、走査部108によって被検眼上に測定光を走査させ、眼底EfのOCT信号を取得する。
【0060】
まず、CPU71はOCTデバイス11を制御し、眼底Efにおいて測定光を走査し、OCT信号を取得する。例えば、
図4(a)に示すように、CPU71は、走査部108の駆動を制御し、眼底Ef上に測定光を走査させる領域A1において測定光を走査させる。なお、
図4(a)において、z軸の方向は、測定光の光軸の方向とする。x軸の方向は、z軸に垂直であって被検者の左右方向とする。y軸の方向は、z軸に垂直であって被検者の上下方向とする。
【0061】
例えば、CPU71は、領域A1において走査ラインSL1,SL2,・・・,SLnに沿ってx方向に測定光を走査させる。なお、測定光の光軸方向に交差する方向(例えば、x方向)に測定光を走査させることを「Bスキャン」と呼ぶ。そして、1回のBスキャンによって得られたOCT信号を1フレームのOCT信号として説明する。CPU71は、測定光を走査する間、検出器120によって検出されたOCT信号を取得する。CPU71は、領域A1において取得されたOCT信号のOCTデータを記憶部74に記憶させる。なお、領域A1は、上記のように、xy方向の走査領域であってx方向の走査ラインがy方向に複数並んだ走査領域であってもよい。
【0062】
なお、本実施例では、OCT信号に基づいてモーションコントラストを取得する。モーションコントラストは、例えば、被検眼の血流、組織の変化などを捉えた情報であってもよい。モーションコントラストを取得する場合、CPU71は、被検眼の同一位置に関して時間的に異なる少なくとも2つのOCT信号を取得する。例えば、CPU71は、各走査ラインにおいて時間間隔を空けて複数回のBスキャンを行い、時間の異なる複数のOCT信号を取得する。例えば、CPU71は、ある時間において1回目のBスキャンを行った後、所定時間経過してから1回目と同じ走査ラインで2回目のBスキャンを行う。CPU71は、このときに検出器120によって検出されたOCT信号を取得することによって、時間の異なる複数のOCT信号を取得してもよい。
【0063】
例えば、
図4(b)は、走査ラインSL1,SL2,・・・,SLnにおいて時間の異なる複数回のBスキャンを行った場合に取得されたOCTデータを示している。例えば、
図4(b)は、走査ラインSL1を時間T11,T12,・・・,T1Nで走査し、走査ラインSL2を時間T21,T22,・・・,T2Nで走査し、走査ラインSLnを時間Tn1,Tn2,・・・,TnNで走査した場合を示している。このように、CPU71はOCTデバイス11を制御し、各走査ラインにおいて時間の異なる複数回のBスキャンを行うことによって、時間の異なる複数のOCT信号を取得してもよい。例えば、CPU71は、同一位置における時間の異なる複数のOCT信号を取得し、そのデータを記憶部74に記憶させる。
【0064】
<モーションコントラストデータの取得>
(ステップS2)
CPU71は上記のようにOCTデータを取得すると、OCTデータを処理してモーションコントラストを取得する。モーションコントラストを取得するためのOCTデータの演算方法としては、例えば、複素OCT信号の強度差を算出する方法、複素OCT信号の位相差を算出する方法、複素OCT信号のベクトル差分を算出する方法、複素OCT信号の位相差及びベクトル差分を掛け合わせる方法、信号の相関を用いる方法(コリレーションマッピング)などが挙げられる。本実施例では、モーションコントラストとして位相差を算出する方法を例に説明する。
【0065】
例えば、位相差を算出する場合、CPU71は複数のOCT信号をフーリエ変換する。例えば、Nフレーム中n枚目の(x,z)の位置の信号をAn(x,z)で表すと、CPU71は、フーリエ変換によって複素OCT信号An(x,z)を得る。複素OCT信号An(x,z)は、実数成分と虚数成分とを含む。
【0066】
CPU71は、同じ位置の少なくとも2つの異なる時間に取得された複素OCT信号A(x,z)に対して位相差を算出する。例えば、CPU71は下記の式(1)を用いて、位相差を算出する。例えば、CPU71は、各走査ラインにおいて位相差を算出し(
図4(c)参照)、そのデータを記憶部74に記憶させてもよい。なお、数式中のAnは時間TNに取得された信号を示し、*は複素共役を示している。
【0068】
上記のように、CPU71は、OCTデータに基づいて被検眼のモーションコントラストを取得する。なお、前述のように、モーションコントラストとしては、位相差に限らず、強度差、ベクトル差分等が取得されてもよい。
【0069】
<モーションコントラスト正面画像の生成>
(ステップS3)
次いで、CPU71は、領域A1において取得されたモーションコントラストデータに基づいて、モーションコントラスト正面画像(以下、MC正面画像と略す)を生成する。ここで、正面画像とは、いわゆるEn face画像であってもよい。En faceとは、例えば、眼底面に対して水平な面、または眼底2次元水平断層面などのことである。
【0070】
なお、モーションコントラストデータからMC正面画像を生成する方法としては、例えば、深さ方向の少なくとも一部の領域に関してモーションコントラストデータを取り出す方法などが挙げられる。この場合、少なくとも一部の深さ領域におけるモーションコントラストデータのプロファイルを用いてMC正面画像が生成されてもよい。
【0071】
なお、MC正面画像を生成する際に、眼底Efの領域を深さ方向に分離する、いわゆるセグメンテーション処理の方法としては、例えば、OCT信号に基づく断層画像から被検眼Eの網膜層の境界を検出する方法が挙げられる。例えば、CPU71は、OCT信号の強度に応じて輝度値が決定された強度画像のエッジ検出によって被検眼Eの網膜層の境界を検出してもよい。例えば、CPU71は、被検眼Eの強度画像に基づいて神経線維層(nerve fiber layer: NFL)、神経節細胞層(ganglion cell layer: GCL)、網膜色素上皮(retinal pigment epithelium: RPE)、脈絡膜(choroid)等に被検眼Eの網膜層を分離してもよい。
【0072】
なお、CPU71は、網膜の血管が網膜層の境界に多く存在することから、網膜層の境界の検出結果に基づいて血管が多く分布する領域を分離してもよい。例えば、網膜層の境界から所定の範囲内の領域を血管の分布する深さ領域として分離してもよい。もちろん、CPU71は、モーションコントラスト画像から検出された血管の分布に基づいて血管の分布する深さ領域を分離してもよい。例えば、CPU71は、表層、中間層、深層等に網膜の領域を分離してもよい。
【0073】
なお、
図5に示すように、本実施例において、CPU71は、脈絡膜Ccよりも上の深さ領域Dp1においてMC正面画像Pa1を生成する。詳細は後述するが、これによって、MC正面画像と蛍光正面画像との位置合わせが行い易くなる場合がある。
【0074】
<蛍光正面画像の取得>
(ステップS4)
続いて、眼底画像処理装置1は、蛍光正面画像データを取得する。例えば、CPU71は、眼底撮影デバイス12によって撮影された蛍光正面画像データを取得し、記憶部74に記憶させる。本実施例では、CPU71が眼底撮影デバイス11を制御して蛍光撮影を行う。
【0075】
例えば、CPU71は、駆動部208によって回転板207を回転させ、受光素子209に向かう光路にバリアフィルタを配置させる。アライメント完了後、検者は蛍光撮影用の造影剤を被検眼Eに静注させ、操作部76への操作等によって蛍光撮影を開始させる。被検者Eに蛍光剤を静注後、被検眼Eに蛍光剤が循環してくると、眼底に照射しているレーザ光により励起された蛍光像が出現することとなる。ここで、レーザ光源201から出射したレーザ光によって眼底Efにて発生した蛍光が受光素子209に受光される。
【0076】
CPU71は、受光素子209から送信される受光信号を蛍光正面画像データとして取得する。なお、CPU71は、受光素子209からの受光信号を動画データとして記憶部74等に記憶さてもよい。
【0077】
なお、上記の蛍光撮影は予め設定したフレームレート及び解像度に基づいて行われてもよい。例えば、フレームレート及び解像度は固定でもよいし、操作部76の図示なき設定スイッチを用いて設定してもよいし、CPU71が自動で設定してもよい。CPU71は、設定されているフレームレート及び解像度が得られるような速度にて走査部204を駆動させる。
【0078】
<位置合わせ>
(ステップS5)
CPU71は、撮影デバイス10から取得したMC正面画像Pa1と蛍光正面画像FAとの間の位置合わせを行う(
図6参照)。画像の位置合わせ方法は、例えば、位相限定相関法、各種相関関数を用いる方法、フーリエ変換を利用する方法、特徴点のマッチングに基づく方法、アフィン変換、歪み補正を含む位置合わせ方法(例えば、非剛性レジストレーションなど)など種々の画像処理手法が用いられる。
【0079】
例えば、CPU71は、MC正面画像Pa1と蛍光正面画像FAを1画素ずつ位置ずれさせ、両者が最も一致する(相関が最も高くなる)ように画像の位置合わせを行ってもよい。そして、CPU71は、両画像間の位置ずれ方向及び位置ずれ量等の位置合わせ情報を検出してもよい。また、MC正面画像Pa1及び蛍光正面画像FAから共通する特徴点を抽出し、抽出された特徴点の位置合わせ情報を検出してもよい。
【0080】
なお、MC正面画像Pa1と蛍光正面画像FAとは画像の種類が異なるため、画像の位置合わせが困難な場合がある。例えば、蛍光正面画像FAによって撮影される血管の種類と、MC正面画像Pa1によって撮影される血管の種類が異なると、両画像に写る血管の構造が異なってしまうため、位置合わせが正常に行えない場合がある。
【0081】
このような場合、CPU71は、モーションコントラストに基づいてMC正面画像Pa1を生成する際に、蛍光正面画像FAによって撮影される血管に応じて、MC正面画像Pa1を生成する深さ領域を変更してもよい。例えば、FA撮影によって取得された蛍光正面画像FAには、脈絡膜Ccよりも上層に存在する血管が主に撮影される。従って、CPU71は、セグメンテーション処理によって脈絡膜を検出し、脈絡膜よりも眼底表面側の深さ領域Dp1において取得されたモーションコントラストデータに基づいてMC正面画像Pa1を生成してもよい(
図5参照)。
【0082】
このように、蛍光正面画像FAに写り込む血管の種類に応じてMC正面画像Pa1を生成する深さ領域を設定することによって、両画像に写り込む血管構造が似たものになり、位置合わせが容易となる。また、両画像を重畳させた場合、結果構造が似ているため、検者にとって画像の比較が容易となる。
【0083】
なお、ICGA撮影によって取得された蛍光正面画像FAでは、脈絡膜の血管が主に撮影される。このため、CPU71は、例えば、脈絡膜CcにおけるMC正面画像を取得し、蛍光正面画像FAと位置合わせしてもよい。
【0084】
<表示>
(ステップS6)
CPU71は、画像の位置合わせを行うと、位置合わせ情報に基づいて重畳した重畳画像を表示部75に表示させる。このように、MC正面画像Pa1と蛍光正面画像FAと重畳表示させることによって、両画像の対応関係を容易に確認することができる。したがって、検者は、MC正面画像Pa1と蛍光正面画像FAとを用いた診断を容易に行える。
【0085】
なお、
図6の上段に示すように、眼底Efの病変部等において蛍光剤が血液とともに血管の外に漏出している場合、蛍光正面画像FAは漏出された蛍光剤が白くぼけたような画像になるため、漏出部Qにおける血管構造の確認がしづらい。一方、MC正面画像Pa1は、血流の流れが検出されたものであるため、漏出部Qにおいても漏出した血液の影響を受けることなく、血流情報に基づく血管構造が検出できる。その反面、MC正面画像Pa1では、漏出した血液の検出が困難な場合が多く、病変部を特定しづらい。したがって、蛍光剤が漏出した漏出部Qに対応するMC正面画像Pa1を蛍光正面画像FAに重畳させることによって、検者は漏出部Qの血管構造を容易に確認できる。
【0086】
なお、CPU71は、蛍光正面画像FAにおいて特定された領域においてMC正面画像Pa1を表示させてもよい。例えば、蛍光正面画像FAにおいて特定された病変部におけるMC正面画像Pa1を表示部75に表示させてもよい。これによって、検者は、病変部等の血管構造を容易に確認することができる。なお、この場合、MC正面画像Pa1と蛍光正面画像FAとの位置合わせ情報が用いられる。
【0087】
また、上記のような漏出(Leakage)だけでなく、染色(Staining:例えば、組織異常による色素が漏出したもの)、貯留(Pooling:例えば、血液網膜関門から漏出した色素が組織間への貯留したもの)、毛細血血管瘤(Microaneurysm:例えば、細い動脈に圧力がかかることによってできた動脈瘤)等の病変部についても、蛍光正面画像FAでは血管構造が確認しづらいため、CPU71は、MC正面画像Pa1を重畳表示させて血管構造を容易に確認できるようにしてもよい。
【0088】
なお、蛍光正面画像FAとMC正面画像Pa1を重畳させる場合、CPU71は重畳させた画像の透明度を調整してもよい。例えば、CPU71は、蛍光正面画像FAの上にMC正面画像Pa1を重畳させる場合、MC正面画像Pa1の透明度を調整し、蛍光正面画像FAがMC正面画像Pa1の下から透けて見えるようにしてもよい。例えば、CPU71は、操作部76への操作に応じてMC正面画像Pa1の透明度を調整してもよい。このように、重畳させる画像の透明度を調整することによって、蛍光正面画像FAとMC正面画像Pa1の両方を視認できるようにしてもよい。これによって、検者は、MC正面画像と蛍光正面画像FAとを容易に対比することができる。
【0089】
なお、蛍光正面画像FAとMC正面画像Pa1を重畳させる場合、CPU71は蛍光正面画像FAとMC正面画像Pa1の色を変更してもよい。例えば、蛍光正面画像FAとMC正面画像Pa1とを異なる色で表示するようにしてもよい。例えば、蛍光正面画像FAを赤色、MC正面画像を緑色で表示してもよい。もちろん、赤色、緑色以外の色(例えば、青色、黄色、白色、黒色など)の色を用いて表示してもよい。これによって、検者は、蛍光正面画像FAとMC正面画像Pa1とが重畳された場合に、どちらの画像による血管構造かを把握しやすい。
【0090】
なお、CPU71は、
図7(a)に示すように、MC正面画像Pa1と蛍光正面画像FAの位置合わせ情報に基づいて、MC正面画像Pa1に漏出部Qの位置を示すマークQmを重畳させてもよい。これによって、検者は、MC正面画像Pa1における漏出部Qの位置を把握することができる。
【0091】
さらに、CPU71は、MC正面画像Pa1と蛍光正面画像FAの差分を演算してもよい。例えば、CPU71は、
図7(b)に示すように、輝度等の差分に基づく差分画像Pdを生成してもよい。例えば、差分画像Pdは、正常な血管構造が消え、漏出部Qの血管構造のみが表れた画像となる。これによって、検者は、病変部の位置および血管構造などを容易に把握できる。なお、CPU71は、MC正面画像Pa1と蛍光正面画像FAの差分を演算する際に、両画像の輝度を調整し、正常な血管構造が上手く相殺されるようにしてもよい。例えば、CPU71は、両画像の輝度を2値化することで調整し、2値化した両画像の差分を演算してもよい。
【0092】
なお、前述のように、MC正面画像Pa1と蛍光正面画像FAでは病変部(例えば、漏出部Q)の写り方が異なる。この場合、病変部においては画像間の相関が取れず、位置合わせに支障をきたす場合がある。したがって、CPU71は、病変部を除外した領域においてMC正面画像と蛍光正面画像FAとの間の位置合わせを行ってもよい。例えば、CPU71は、蛍光正面画像FAを輝度値の解析等によって病変部を特定し、特定された病変部を除外した位置合わせ領域においてMC正面画像Pa1との間の位置合わせを行ってもよい。これによって、病変部の写り方の違いによる影響を受けずにMC正面画像Pa1と蛍光正面画像FAとの間の位置合わせを行える。
【0093】
なお、病変部の特定方法としては、例えば、通常の撮影によって得られた眼底正面画像と、蛍光正面画像FAとを比較する方法、異なる時間に撮影された複数の蛍光正面画像FAを比較する方法などが挙げられる。例えば、蛍光剤の静注直後に撮影された蛍光正面画像FAと、蛍光剤の静注からしばらく経過した後に撮影された蛍光正面画像FAと、を比較してもよい。この場合、蛍光剤が血管の外に漏出する前と後の画像の変化に基づいて病変部を検出してもよい。もちろん、操作部76への操作に基づいて、病変部を特定してもよい。
【0094】
なお、画像の位置合わせにおいて、MC正面画像Pa1と蛍光正面画像FAとの倍率と解像度との関係を同等にしてもよい。例えば、CPU71は、OCTデバイス11と眼底撮影デバイス12を制御することによって、MC正面画像Pa1と蛍光正面画像FAの撮影倍率と解像度との関係が同等になるように両画像の撮影を行ってもよい。例えば、CPU71は、撮影倍率と解像度との関係が同等になるように、撮影デバイス10の走査部(例えば、走査部108,204)等の駆動を制御してもよい。両画像の撮影倍率と解像度の関係が同等になることによって、画像処理による位置合わせが容易になる。もちろん、解像度を同一にしなくともよく、近ければよい。
【0095】
なお、CPU71がOCTデバイス11と眼底撮影デバイス12を制御しない場合、つまり、CPU71が、外部の撮影デバイス10によって眼底画像データを取得する場合、CPU71は、MC正面画像Pa1と蛍光正面画像FAの少なくともいずれかの眼底画像を編集してもよい。例えば、CPU71は、MC正面画像Pa1と蛍光正面画像FAとの撮影倍率と解像度との関係が同等になるように、MC正面画像と蛍光正面画像FAの少なくともいずれかの眼底画像の解像度を変更してもよい。例えば、CPU71は、MC正面画像Pa1と蛍光正面画像FAの撮影倍率と解像度をOCTデバイス11と眼底撮影デバイス12から取得してもよい。例えば、CPU71は、MC正面画像Pa1と蛍光正面画像FAのうち、解像度の大きい画像の解像度を小さくし、解像度の小さい画像に合わせることによって、両画像の解像度を同等にしてもよい。
【0096】
なお、蛍光正面画像FAとMC正面画像とを重畳させる場合、複数のMC正面画像を蛍光正面画像FAに重畳させてもよい。例えば、
図8に示すように、CPU71は、領域A1と領域A2におけるモーションコントラストをそれぞれ取得し、領域A1と領域A2においてそれぞれMC正面画像Pa1,Pa2を生成してもよい。そして、CPU71は、MC正面画像Pa1とMC正面画像Pa2を一つの蛍光正面画像FAに重畳させてもよい。なお、領域A1と領域A2は、少なくとも一部が異なる眼底上の領域であってもよく、全部が異なる領域であってもよい。
【0097】
なお、一つの蛍光正面画像FAに対して複数のMC正面画像を位置合わせする場合、複数のMC正面画像Pa1,Pa2のそれぞれを蛍光正面画像FAに対して位置合わせしてもよいし、複数のMC正面画像Pa1,Pa2を予め位置合わせして得られた合成画像Prを蛍光正面画像FAに対して位置合わせしてもよい。
【0098】
なお、MC正面画像と蛍光正面画像とを取得する順番は、どちらが先でもよく、同時に取得されてもよい。例えば、眼底撮影デバイス12によって蛍光正面画像を撮影してから、OCTデバイス11によってOCT信号を取得してもよい。この場合、CPU71は、蛍光正面画像において特定された領域(例えば、病変部)に関してOCTデバイス11の測定光を走査し、モーションコントラストを取得してもよい。これによって、病変部等のMC正面画像を的確に取得できる。
【0099】
<歪み補正>
なお、CPU71は、例えば、正面画像の歪みを補正してもよい。例えば、モーションコントラストは測定時間が長いため、MC正面画像が歪む場合がある。このように、蛍光正面画像FAに対してMC正面画像が歪んでいる場合、両画像の特徴領域(例えば、血管部など)が合わず、位置合わせが困難である。このような場合、CPU71は、MC正面画像と蛍光正面画像FAに対して歪み補正を含む位置合わせ処理(例えば、非剛性レジストレーション等)を行ってもよい。これによって、MC正面画像等の少なくとも一部に歪みが生じている場合でも、MC正面画像と蛍光正面画像との間の位置合わせを好適に行える。なお、CPU71は、MC正面画像を歪み補正したときの補正量を3次元のモーションコントラストデータに展開し、モーションコントラストデータ全体の歪みを補正してもよい。
【0100】
なお、MC正面画像と蛍光正面画像FAの位置合わせにおいて、各画像の撮影条件が用いられてもよい。例えば、画像の位置合わせに撮影位置情報が用いられてもよい。例えば、CPU71は、撮影位置情報を用いて、各正面画像の撮影位置をある程度特定した状態で位置合わせを行ってもよい。この場合、CPU71は、各正面画像を取得した際の測定光の走査位置、および被検眼Eに呈示する固視標の固視位置等を撮影位置情報として用いてもよい。このように、CPU71は、各正面画像の撮影位置情報を用いることによって、画像の位置合わせの処理速度を速くしてもよい。
【0101】
なお、MC正面画像と蛍光正面画像の位置合わせにおいて、CPU71は、他の種類の画像データを用いてもよい。例えば、CPU71は、OCTデバイス11と眼底撮影デバイス12とは別の撮影光学系によって撮影された画像を取得してもよい。例えば、他の種類の画像としては、赤外正面画像等が挙げられる。例えば、CPU71は、MC正面画像が撮影されたときの第1赤外正面画像と、蛍光正面画像が撮影されたときの第2赤外正面画像との位置ずれ量を検出し、検出された位置ずれ量に基づいて、MC正面画像と蛍光正面画像の位置合わせを行ってもよい。また、例えば、CPU71は、同一の赤外正面画像に対して、MC正面画像と蛍光正面画像をそれぞれ位置合わせし、取得された位置合わせ情報に基づいて、MC正面画像と蛍光正面画像を位置合わせしてもよい。
【0102】
なお、MC正面画像との位置合わせに用いる蛍光正面画像は、例えば、造影剤を注射した直後に撮影された蛍光正面画像であってもよいし、しばらく時間が経過した後に造影剤が血管に行き渡った状態で撮影された蛍光正面画像であってもよい。