(58)【調査した分野】(Int.Cl.,DB名)
前記断層画像取得手段が、前記複数の断層輝度画像として、過去断層輝度画像及び現在断層輝度画像を取得し、前記複数の偏光断層画像として、前記過去断層輝度画像に対応する過去偏光断層画像及び前記現在断層輝度画像に対応する現在偏光断層画像を取得し、
前記位置合わせ手段が、前記取得された過去断層輝度画像及び現在断層輝度画像の位置ずれ情報を用いて、前記取得された過去偏光断層画像及び現在偏光断層画像の位置合わせを行い、
前記生成手段が、前記位置合わせが行われた過去偏光断層画像及び現在偏光断層画像の差分を示す情報を生成することを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
前記断層画像取得手段が、前記複数の断層輝度画像として、複数の過去断層輝度画像及び複数の現在断層輝度画像を取得し、前記複数の偏光断層画像として、前記複数の過去断層輝度画像に対応する複数の過去偏光断層画像及び前記複数の現在断層輝度画像に対応する複数の現在偏光断層画像を取得し、
前記位置合わせ手段が、前記取得された複数の過去断層輝度画像の位置ずれ情報を用いて前記取得された複数の過去偏光断層画像の位置合わせを行い、前記取得された複数の現在断層輝度画像の位置ずれ情報を用いて前記取得された複数の現在偏光断層画像の位置合わせを行い、
前記生成手段が、前記位置合わせが行われた複数の過去偏光断層画像を重ね合わせて得た新たな過去偏光断層画像と、前記位置合わせが行われた複数の現在偏光断層画像を重ね合わせて得た新たな現在偏光断層画像との差分を示す情報を生成することを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
前記生成手段が、前記被検体を撮影する毎に前記被検体の膜厚情報とリターデーション情報とのうち少なくとも一方の情報を記録し、経過観察において、現在の撮影における該情報と過去の撮影における該情報との差分を示す情報を生成することを特徴とする請求項2乃至6のいずれか1項に記載の画像処理装置。
前記生成手段は、前記新たな偏光断層画像として、前記位置合わせが行われた複数の偏光断層画像の重ね合わせ画像を生成することを特徴とする請求項8に記載の画像処理装置。
前記位置合わせ手段は、前記取得された複数の断層輝度画像の相関が閾値を超えるように前記取得された複数の偏光断層画像の少なくとも1つを変形することにより、前記取得された複数の偏光断層画像の位置合わせを行うことを特徴とする請求項12に記載の画像処理装置。
前記断層画像取得手段は、測定光を照射した前記被検体からの戻り光と前記測定光に対応する参照光とを合波した光を分割して得た互いに異なる偏光の光に基づいて、前記複数の断層輝度画像及び前記複数の偏光断層画像を取得することを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
光を照射した前記被検体からの戻り光を分割して得た互いに異なる偏光の光に基づく該被検体の偏光状態を示す異なる時間の複数の平面画像を取得する平面画像取得手段と、
前記複数の平面画像の位置ずれ情報を用いて、前記被検体の移動量を検知する検知手段と、
前記検知された移動量に関する情報を用いて、前記複数の断層輝度画像及び前記複数の偏光断層画像の取得位置を補正するように、前記撮影装置を制御する制御手段と、
を更に有することを特徴とする請求項15に記載の画像処理装置。
【発明を実施するための形態】
【0011】
本発明に係る撮影装置は、眼、皮膚、内臓等の被検体に適用することができる。また、本発明に係る撮影装置としては、例えば、眼科装置や内視鏡等である。以下、本発明の一例として、本実施形態に係る眼科装置について、図面を用いて詳細に説明する。
【0012】
(第1の実施形態)
[装置の全体構成]
図1は、本実施形態における撮影装置の一例である「眼科装置」の全体構成の概略図である。なお、後述する信号処理部190の少なくとも一部を「画像処理装置」とみなすことができ、また、この場合、「眼科装置」全体を「眼科システム」、あるいは「撮影装置」全体を「撮影システム」とみなすこともできる。
【0013】
本装置は、偏光OCT(Polarization Sensitive OCT;以下、PS−OCT)100、偏光を利用した走査型検眼鏡(Polarization Sensitive Scanning Laser Ophthalmoscope:以下、PS−SLO)140、前眼部撮影部160、内部固視灯170、制御部200から構成される。
【0014】
内部固視灯170を点灯して被検眼に注視させた状態で、前眼部撮影部160により観察される被検眼の前眼部の画像を用いて、装置のアライメントが行われる。アライメント完了後に、PS−OCT100とPS−SLO140による眼底の撮影が行われる。
【0015】
<PS−OCT100の構成>
PS−OCT100の構成について説明する。
【0016】
光源101は、低コヒーレント光源であるSLD光源(Super Luminescent Diode)であり、例えば、中心波長850nm、バンド幅50nmの光を出射する。光源101としてSLDを用いたが、ASE光源(Amplified Spontaneous Emission)等、低コヒーレント光が出射できる光源であれば何れでも良い。
【0017】
光源101から出射された光は、SM(Single Mode)ファイバ134、偏光コントローラ103、コネクタ135、PM(Polarization Maintaining)ファイバ102を介して、偏光保持機能を有したファイバカップラ104に導かれ、測定光(以下、「断層画像用の測定光」や「OCT測定光」ともいう)と、測定光に対応する参照光とに分岐される。
【0018】
偏光コントローラ103は、光源101から出射された光の偏光の状態を調整するものであり、直線偏光に調整される。ファイバカップラ104の分岐比は、90(参照光):10(測定光)である。
【0019】
測定光は、PMファイバ105を介してコリメータ106から平行光として出射される。出射された測定光は、眼底Erにおいて測定光を水平方向にスキャンするガルバノミラーから構成されるXスキャナ107、レンズ108、109、眼底Erにおいて測定光を垂直方向にスキャンするガルバノミラーから構成されるYスキャナ110を介し、ダイクロイックミラー111に到達する。Xスキャナ107、Yスキャナ110は、駆動制御部180により制御され、眼底Erの所望の範囲で測定光を走査することができる。なお、測定光が走査される眼底上の範囲は、断層画像の取得範囲、断層画像の取得位置、測定光の照射位置としてみなすことができる。また、Xスキャナ107、Yスキャナ110は、PS−OCT用の走査手段の一例であり、共通のXYスキャナとして構成しても良い。ダイクロイックミラー111は、800nm〜900nmの光を反射し、それ以外の光を透過する特性を有する。
【0020】
ダイクロイックミラー111により反射された測定光は、レンズ112を介し、光軸を回転軸としてP偏光からS偏光に対して45°傾けて設置されたλ/4偏光板113を通過することにより、位相が90°ずれ、円偏光の光に偏光制御される。尚、本実施形態で差すP偏光とは、偏光ビームスプリッタの偏光分割面を反射面としたときの、入射面に対して水平に振動する光であり、S偏光とは前記入射面に対して垂直に振動する光のことである。なお、λ/4偏光板113は、測定光の偏光状態を調整する測定光用の偏光調整部材の一例である。ここで、後述するPS−SLO光学系を適用する場合、λ/4偏光板113をPS−OCT光学系の一部とPS−SLO光学系の一部との共通光路に設けることができる。これにより、PS−SLO光学系で取得した画像と、PS−OCT光学系で取得した画像とに生じる偏光状態のばらつきを抑制することができる。このとき、PS−SLO用の走査手段と、PS−OCT用の走査手段とは、互いに共役な位置に設けられ、被検眼の瞳と共役な位置に設けることができる。なお、λ/4偏光板113の傾きは、λ/4偏光板113の状態の一例であり、例えば、偏光ビームスプリッタを内蔵したファイバカップラ123の偏光分割面の光軸を回転軸とした所定の位置からの角度である。
【0021】
また、λ/4偏光板113を光路に対して挿脱可能に構成することができる。例えば、光軸あるいは光軸に平行な軸を回転軸としてλ/4偏光板113を回転する機械的な構成が考えられる。これにより、SLO光学系とPS−SLO光学系とを簡単に切り換え可能な小型な装置を実現することができる。また、OCT光学系とPS−OCT光学系とを簡単に切り換え可能な小型な装置を実現することができる。
【0022】
ここで、被検眼に入射される光は、λ/4偏光板を45°傾けて設置することで円偏光の光に偏光制御されるが、被検眼の特性により眼底Erにおいて円偏光とならない場合がある。そのため、駆動制御部180の制御により、λ/4偏光板113の傾きを微調整できるように構成されている。
【0023】
円偏光に偏光制御された測定光は、ステージ116上に乗ったフォーカスレンズ114により、被検体である眼の前眼部Eaを介し、眼底Erの網膜層にフォーカスされる。眼底Erを照射した測定光は各網膜層で反射・散乱し、上述の光学経路をファイバカップラ104に戻る。
【0024】
一方、ファイバカプラ104で分岐された参照光は、PMファイバ117を介してコリメータ118から平行光として出射される。出射された参照光は測定光と同様に、光軸を回転軸としてP偏光からS偏光に対して22.5°傾けて設置されたλ/4偏光板119で偏光制御される。なお、λ/4偏光板119は、参照光の偏光状態を調整する参照光用の偏光調整部材の一例である。参照光は分散補償ガラス120を介し、コヒーレンスゲートステージ121上のミラー122で反射され、ファイバカップラ104に戻る。参照光は、λ/4偏光板119を二度通過する事で直線偏光の光がファイバカップラ104に戻ることになる。
【0025】
コヒーレンスゲートステージ121は、被検者の眼軸長の相違等に対応する為、駆動制御部180で制御される。なお、コヒーレンスゲートとは、測定光の光路における参照光の光路長に対応する位置のことである。本実施形態では、参照光の光路長を変更しているが、測定光の光路と参照光の光路との光路長差を変更できれば良い。
【0026】
ファイバカップラ104に戻った戻り光と参照光とは合波されて干渉光(以下、「合波光」ともいう)となり、偏光ビームスプリッタを内蔵したファイバカップラ123に入射され、異なる偏光方向の光であるP偏光の光とS偏光の光とに分岐比50:50で分割される。
【0027】
P偏光の光は、PMファイバ124、コリメータ130を介し、グレーティング131により分光されレンズ132、ラインカメラ133で受光される。同様に、S偏光の光は、PMファイバ125、コリメータ126を介し、グレーティング127により分光されレンズ128、ラインカメラ129で受光される。なお、グレーティング127、131、ラインカメラ129、133は、各偏光の方向に合わせて配置されている。
【0028】
ラインカメラ129、133でそれぞれ受光した光は、光の強度に応じた電気信号として出力され、信号処理部190で受ける。
【0029】
λ/4偏光板113、119の傾きに関して、偏光ビームスプリッタ123の偏光分割面の傾きを基準に自動的に調整することができる。このとき、λ/4偏光板113、119の傾きを検知する傾き検知部(不図示)を有することが好ましい。この傾き検知部により、現在の傾きが所定の傾きに対して一致しているかを検知することができる。もちろん、受光した光の強度に基づいて、λ/4偏光板113、119の傾き具合を検知し、所定の強度になるように傾きを調整しても良い。なお、後述するように、GUI上に傾きを示すオブジェクトを表示して、ユーザがマウスを用いて調整しても良い。また、偏光基準として鉛直方向を基準にして偏光ビームスプリッタ、λ/4偏光板113、119を調整しても同様の効果が得られる。
【0030】
<PS−SLO140の構成>
PS−SLO140の構成について説明する。
【0031】
光源141は、半導体レーザであり、本実施形態では、例えば、中心波長780nmの光を出射する。光源141から出射された測定光(以下、「眼底画像用の測定光」や「SLO測定光」ともいう)は、PMファイバ142を介し、偏光コントローラ145で直線偏光になるよう偏光制御され、コリメータ143から平行光として出射される。出射された測定光は穴あきミラー144の穴あき部を通過し、レンズ155を介し、眼底Erにおいて測定光を水平方向にスキャンするガルバノミラーから構成されるXスキャナ146、レンズ147、148、眼底Erにおいて測定光を垂直方向にスキャンするガルバノミラーから構成されるYスキャナ149を介し、ダイクロイックミラー154に到達する。Xスキャナ146、Yスキャナ149は駆動制御部180により制御され、眼底上で所望の範囲を測定光で走査できる。なお、Xスキャナ146、Yスキャナ149は、PS−SLO用の走査手段の一例であり、共通のXYスキャナとして構成しても良い。ダイクロイックミラー154は、760nm〜800nmを反射し、それ以外の光を透過する特性を有する。
【0032】
ダイクロイックミラー154にて反射された直線偏光の測定光は、PS−OCT100と同様の光路を経由し、眼底Erに到達する。
【0033】
眼底Erを照射した測定光は、眼底Erで反射・散乱され、上述の光学経路をたどり穴あきミラー144に達する。穴あきミラー144で反射された光が、レンズ150を介し、偏光ビームスプリッタ151にて異なる偏光方向の光(本実施形態では、P偏光の光とS偏光の光)に分割され、アバランシェフォトダイオード(APD)152、153で受光され、電気信号に変換されて、信号処理部190で受ける。
【0034】
ここで、穴あきミラー144の位置は、被検眼の瞳孔位置と共役となっており、眼底Erに照射された測定光が反射・散乱された光のうち、瞳孔周辺部を通った光が、穴あきミラー144によって反射される。
【0035】
本実施形態では、PS−OCT、PS−SLOともにPMファイバを用いたが、シングルモードファイバー(SMF)でも偏光コントローラを用い偏光を制御する事で同様の構成と効果が得られる。
【0036】
<前眼部撮影部160>
前眼部撮影部160について説明する。
【0037】
前眼部撮影部160は、波長1000nmの照明光を発するLED115−a、115−bから成る照明光源115により前眼部Eaを照射する。前眼部Eaで反射され光は、レンズ114、偏光板113、レンズ112、ダイクロイックミラー111、154を介し、ダイクロイックミラー161に達する。ダイクロイックミラー161は、980nm〜1100nmの光を反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー161で反射された光は、レンズ162、163、164を介し、前眼部カメラ165で受光される。前眼部カメラ165で受光された光は、電気信号に変換され、信号処理部190で受ける。
【0038】
<内部固視灯170>
内部固視灯170について説明する。
【0039】
内部固視灯170は、内部固視灯用表示部171、レンズ172で構成される。内部固視灯用表示部171として複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部180の制御により撮影したい部位に合わせて変更される。内部固視灯用表示部171からの光は、レンズ172を介し、被検眼に導かれる。内部固視灯用表示部171から出射される光は520nmで、制御部180により所望のパターンが表示される。
【0040】
<制御部200>
本装置全体を制御するための制御部200について説明する。
【0041】
制御部200は、駆動制御部180、信号処理部190、表示制御部191、表示部192から構成される。
【0042】
駆動制御部180は、上述の通り各部を制御する。
【0043】
信号処理部190は、画像生成部193と画像解析部194と画像重ね合わせ部195と比較部196から構成される。信号処理部190は、ラインカメラ129及び133、APD152及び153、前眼部カメラ165からそれぞれ出力される信号に基づき、画像の生成、生成された画像の解析、解析結果の可視化情報の生成を行う。なお、画像の生成、解析などの詳細については後述する。
【0044】
表示制御部191は、信号処理部190で生成された眼底画像や眼底断層画像等を表示部192の表示画面に表示させる。ここで、表示部192は、例えば、液晶等のディスプレイである。なお、信号処理部190で生成された画像データは、表示制御部191に有線で送信されても良いし、無線で送信されても良い。この場合、表示制御部191を画像処理装置とみなすことができ、画像処理装置と撮影装置(眼科装置)とが通信可能に接続されていれば良い。なお、撮影システムとして、眼底画像取得部がSLO光学系を含み、断層画像取得部がOCT光学系を含むように構成しても良い。なお、本明細書において、被検眼以外の被検体の場合、「眼底画像(眼底輝度画像)」を「平面画像(平面輝度画像)」と換言することができ、また、「眼底画像取得部」を「平面画像取得部」と換言することができる。
【0045】
表示部192は、表示制御部191の制御の下、後述するように種々の情報を示す表示形態を表示する。なお、表示制御部191からの画像データは、表示部192に有線で送信されても良いし、無線で送信されても良い。また、表示部192等は、制御部200に含まれているが、本発明はこれに限らず、制御部200とは別に設けられても良い。また、表示制御部191と表示部192とを一体的に構成した、ユーザが持ち運び可能な装置の一例であるタブレットでも良い。この場合、表示部にタッチパネル機能を搭載させ、タッチパネル上で画像の表示位置の移動、拡大縮小、表示される画像の変更等の操作可能に構成することが好ましい。
【0046】
[画像処理]
次に、信号処理部190を構成する画像生成部193における画像生成について説明する。
【0047】
画像生成部193は、ラインカメラ129、133から出力されたそれぞれの干渉信号に対して、一般的なSD−OCT(Spectral Domain OCT)に用いられる再構成処理を行うことで、各偏光成分に基づいた2つの断層画像である第一の偏光に対応する断層輝度画像と、第二の偏光に対応する断層輝度画像とを生成する。
【0048】
まず、画像生成部193は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のAスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。
【0049】
次に、画像生成部193は、干渉信号を波長から波数に変換し、フーリエ変換を行うことによって、偏光状態を示す断層信号を生成する。
【0050】
以上の処理を2つの偏光成分の干渉信号に対して行うことにより、2つの断層輝度画像が生成される。
【0051】
また、画像生成部193は、APD152、153から出力された信号を、Xスキャナ146、Yスキャナ149の駆動に同期して整列させることにより、各偏光成分に基づいた2つの眼底画像である第一の偏光に対応する眼底画像と、第二の偏光に対応する眼底画像とを生成する。
【0052】
<断層輝度画像あるいは眼底輝度画像の生成>
画像生成部193は、前述した2つの断層信号から断層輝度画像を生成する。
【0053】
断層輝度画像は、従来のOCTにおける断層画像と基本的に同じもので、その画素値rは各ラインセンサ129、133から得られた断層信号A
HおよびA
Vから(式1)によって計算される。
【0055】
また、同様に、2つの眼底画像から眼底輝度画像を生成する。
【0056】
図2(a)に視神経乳頭部の輝度画像の例を示す。
【0057】
なお、表示制御部191は、λ/4偏光板113を光路から外している場合に、従来のOCTの手法により取得した断層輝度画像を表示部192に表示させても良いし、従来のSLOの手法により取得した眼底輝度画像を表示部192に表示させても良い。
【0058】
<リターデーション画像の生成>
画像生成部193は、互いに直行する偏光成分の断層画像からリターデーション画像を生成する。
【0059】
リターデーション画像の各画素の値δは、断層画像を構成する各画素の位置において、垂直偏光成分と水平偏光成分とが被検眼で受ける影響の比を示す値であり、各断層信号A
HおよびA
Vから(式2)によって計算される。
【0061】
図2(b)は、このように生成された視神経乳頭部のリターデーション画像の例を示したものであり、各Bスキャン画像に対して(式2)を計算することによって得ることができる。ここで、上述した通り、リターデーション画像は、2つの偏光が被検眼で受ける影響の違いを示す断層画像のことである。
図2(b)は、上記比を示す値を断層画像としてカラーで表示しており、濃淡の濃い場所は上記比を示す値が小さく、濃淡の淡い場所は上記比を示す値が大きいことを表している。そのため、リターデーション画像を生成することにより、複屈折性のある層を把握することが可能となる。なお、詳細は、「E.Gotzinger et al.,Opt.Express 13,10217,2005」に記載されている通りである。
【0062】
また、同様に、画像生成部193は、APD152及び153からの出力に基づいて眼底の平面方向のリターデーション画像を生成することもできる。
【0063】
<リターデーションマップの生成>
画像生成部193は、複数のBスキャン像に対して得たリターデーション(Retardation)画像からリターデーションマップを生成する。
【0064】
まず、画像生成部193は、各Bスキャン画像において、網膜色素上皮(以下、「RPE」ともいう)を検出する。RPEは偏光を解消する性質を持っているため、各Aスキャンを深度方向に沿って内境界膜(以下、「ILM」ともいう)からRPEを含まない範囲でリターデーションの分布を調べ、その最大値を当該Aスキャンにおけるリターデーションの代表値とする。
【0065】
画像生成部193は、以上の処理を全てのリターデーション画像に対して行うことにより、リターデーションマップを生成する。
【0066】
図2(c)に視神経乳頭部のリターデーションマップの例を示す。濃淡の濃い場所は上記比を示す値が小さく、濃淡の淡い場所は上記比を示す値が大きいことを表している。視神経乳頭部において、複屈折性を持つ層としては網膜神経線維相(以下、「RNFLともいう」)があり、リターデーションマップは、2つの偏光がRNFLの複屈折性とRNFLの厚みとで受ける影響の違いを示す画像である。そのため、網膜神経線維の密度が一様である場合、RNFLが厚い箇所では上記比を示す値が大きくなり、RNFLが薄い箇所では上記比を示す値が小さくなる。
【0067】
<複屈折マップの生成>
画像生成部193は、先に生成されたリターデーション画像の各Aスキャン画像において、ILMからRNFLの範囲でリターデーションδの値を線形近似し、その傾きを当該Aスキャン画像の網膜上の位置における複屈折として決定する。すなわち、リターデーションはRNFLにおける距離と複屈折と積であるため、各Aスキャン画像において深さとリターデーションの値をプロットすると線形の関係が得られる。したがって、このプロットに対して最小二乗法等により線形近似を行い、その傾きを求めればそれが当該Aスキャン画像におけるRNFLの複屈折の値となる。この処理を取得した全てのリターデーション画像に対して行うことで、複屈折を表すマップを生成する。
【0068】
図2(d)に視神経乳頭部の複屈折マップの例を示す。複屈折マップは、複屈折の値を直接マップ化するため、RNFLの厚さが変化しない場合であっても、その繊維構造が変化した場合に、複屈折の変化として描出することができる。
【0069】
<DOPU画像の生成>
画像生成部193は、取得した断層信号A
H、A
Vとそれらの間の位相差ΔΦから、各画素毎にストークスベクトルSを(式3)により計算する。
【0071】
ただし、ΔΦは2つの断層画像を計算する際に得られる各信号の位相Φ
HとΦ
VからΔΦ=Φ
V−Φ
Hとして計算する。
【0072】
次に画像生成部193は、各Bスキャン画像を概ね計測光の主走査方向に70μm、深度方向に18μm程度の大きさのウィンドウを設定し、各ウィンドウ内において画素毎に計算されたストークスベクトルの各要素を平均し、(式4)により当該ウィンドウ内の偏光の均一性DOPU(Degree Of Polarization Uniformity)を(式4)により計算する。
【0074】
ただし、Q
m、U
m、V
mは各ウィンドウ内のストークスベクトルの要素Q,U,Vを平均した値である。この処理をBスキャン画像内の全てのウィンドウに対して行うことで、
図2(e)に示す視神経乳頭部のDOPU画像が生成される。ここで、上述した通り、DOPU画像は、2つの偏光の均一度を示す断層画像のことである。
【0075】
DOPUは偏光の均一性を表す数値であり、偏光が保たれている箇所においては1に近い数値となり、偏光が解消された保たれない箇所においては1よりも小さい数値となるものである。網膜内の構造においては、RPEが偏光状態を解消する性質があるため、DOPU画像においてRPEに対応する部分は、他の領域に対してその値が小さくなる。図において、濃淡が淡い場所210はRPEを示しており、濃淡が濃い場所220は偏光が保たれている網膜層領域を示している。DOPU画像は、RPE等の偏光を解消する層を画像化しているので、病気などによりRPEが変形している場合においても、輝度の変化よりも確実にRPEを画像化出来る。
【0076】
また、同様に、画像生成部193は、APD152及び153からの出力に基づいて眼底の平面方向のDOPU画像を生成することもできる。
【0077】
なお、本明細書において、上述した第一及び第二の偏光に対応する断層輝度画像、リターデーション画像、DOPU画像等を、偏光状態を示す断層画像や偏光断層画像とも言うことにする。また、本明細書において、上述したリターデーションマップや複屈折マップ等を、偏光状態を示す眼底画像や偏光眼底画像とも言うことにする。
【0078】
抽出手段の一例である画像解析部194は、DOPU画像やリターデーション画像等の偏光状態を示す断層画像から、偏光が解消された領域(箇所)、例えば、RNFL等の層を抽出(検出)することができる。また、特定手段の一例である画像解析部194は、偏光が解消された領域のうち所定の形状を病変部として特定する。なお、偏光が解消された領域とは、例えば、2つの偏光が被検眼で受ける影響の違いが比較的大きな領域のことである。
【0079】
[処理動作]
次に本画像処理装置による処理動作について説明する。
【0080】
図3は、本画像処理装置の処理動作を示すフローチャートである。
【0081】
<調整>
まず、ステップS101において、被検眼を本装置に配置した状態で、本装置と被検眼のアライメントを行う。アライメントの説明に関して、本実施形態に特有な処理について説明し、ワーキングディスタンス等のXYZ方向のアライメント、フォーカス、コヒーレンスゲートの調整等は一般的であるのでその説明は省略する。
【0082】
(PS−OCT撮影位置の調整)
図4は、調整時に表示部192に表示されるウィンドウ400を示している。第一の表示領域の一例である表示領域410には、PS−SLO140で撮影され、画像生成部193で生成された眼底画像411が表示され、眼底画像411上に、PS−OCT100の撮影位置を示すガイド412が重畳表示されている。
【0083】
操作者がマウス等の指示装置(不図示)を用いて、ウィンドウ400に表示されるカーソルから、クリック操作やドラッグ操作等を行い指示する方法や、或いはウィンドウ400に数値入力枠を設け直接指定する方法を用いることにより、駆動制御部180の制御の下、撮影範囲の設定が行われる。これにより、駆動制御部180がスキャナの駆動角度を制御する撮影範囲を設定する。なお、本実施形態のマウスには、例えば、ユーザの手によってマウス本体が2次元的に移動させたときの移動信号を検出するセンサと、ユーザの手によって押圧されたことを検知するための左右2つのマウスボタンと、左右2つのマウスボタンの間に前後左右に回転可能なホイール機構と、が設けられている。また、指示装置は、表示部にタッチパネル機能を搭載させ、タッチパネル上で取得位置を指定しても良い。
【0084】
(λ/4偏光板の調整)
λ/4偏光板113の調整について説明する。
【0085】
図4において、指示部413、414は、λ/4偏光板113の角度を調整するための表示であり、操作者が指示装置を用いて指示することにより、駆動制御部180の制御の下、λ/4偏光板113の角度が調整される。指示部413は反時計回りの調整を、指示部414は時計回りの調整を指示するための表示である。指示部413、414の横に表示されている数値は、現在のλ/4偏光板113の角度を表している。なお、表示制御部191は、λ/4偏光板119の角度を調整する指示部を、指示部413と並べて表示部192に表示させても良いし、指示部413の代わりに表示させても良い。
【0086】
操作者は、第三の表示領域の一例である表示領域430と、第四の表示領域の一例である表示領域440にそれぞれ表示された各偏光の断層輝度画像の輝度が同じになるように、マウスを用いてカーソルで指示する。なお、各偏光の断層輝度画像431、441と共にピーク輝度値を表示し、あるいは、それぞれの干渉信号の波形そのものを表示し、それを見ながら調整を行う構成でも良い。ここで、各偏光の断層輝度画像431、441は、第一の偏光に対応する断層輝度画像、第二の偏光に対応する断層輝度画像の一例である。なお、各偏光の断層輝度画像431、441には、それぞれの画像の種類を示す表示形態、例えば、P偏光を示す「P」の文字や、S偏光を示す「S」の文字を画像に重ねて表示させることが好ましい。これにより、ユーザが画像を誤って認識することを防ぐことができる。もちろん、画像に重ねて表示させずに、画像の上側や横側に表示させても良く、画像と対応させるように表示させれば良い。
【0087】
また、第二の表示領域の一例である表示領域420には、この段階では何も表示させなくても良いし、オート調整等の場合には現在の調整状態を示す表示形態、例えば、「λ/4偏光板の調整中」等のメッセージを表示させても良い。また、ウィンドウ400には、被検眼の左右眼等の患者情報を示す表示形態や、撮影モード等の撮影情報を示す表示形態を表示させても良い。なお、眼底輝度画像と偏光状態を示す断層輝度画像とを交互に取得するように、光路に対するλ/4偏光板113の挿脱を繰り返すことが望ましい。これにより、できるだけ小型な眼科装置において、表示制御部191は、例えば、眼底輝度画像を表示領域410に表示させ、偏光状態を示す断層輝度画像を表示領域420に表示させることができる。ここで、調整の順番は、前眼部画像や角膜輝点を用いたアライメント調整、偏光状態を示す眼底画像を用いたフォーカス調整、偏光状態を示す断層輝度画像を用いたコヒーレンスゲート調整、λ/4偏光板113の調整の順番が好ましい。なお、偏光状態を示す断層輝度画像の取得位置の決定は、偏光状態を示す断層輝度画像を用いたコヒーレンスゲート調整前が好ましいが、偏光状態を示す眼底画像の中心領域を取得するように初期設定で決めるようにしても良い。これにより、偏光状態を示す眼底画像よりも精細で狭い範囲を対象にする偏光状態を示す断層輝度画像を精度良く取得可能に簡単に調整することができる。このとき、コヒーレンスゲート調整の完了に応じてλ/4偏光板113を自動的に調整しても良いし、偏光状態を示す画像を取得するための信号の入力に応じてλ/4偏光板113を自動的に調整しても良い。もちろん、眼科装置の起動時に初期設定画面等でλ/4偏光板113を予め調整しておき、撮影毎に調整しないように構成しても良い。
【0088】
また、λ/4偏光板113を光路に対して挿脱可能に構成している場合、調整の順番は、前眼部画像や角膜輝点を用いたアライメント調整、SLO眼底画像を用いたフォーカス調整、OCT断層輝度画像を用いたコヒーレンスゲート調整、λ/4偏光板113を光路に挿入、λ/4偏光板113の調整の順番が好ましい。これにより、偏光状態を示す画像の取得前の調整を、ユーザが直感的に慣れている通常のSLO眼底画像やOCT断層輝度画像を用いて行うことができる。ただし、フォーカス調整の後に、λ/4偏光板113を挿入してからPS−OCTの偏光状態を示す断層輝度画像を用いたコヒーレンスゲート調整を行っても良い。このとき、コヒーレンスゲート調整の完了あるいはフォーカス調整の完了に応じてλ/4偏光板113を自動的に光路に挿入しても良いし、偏光状態を示す画像を取得するための信号の入力に応じてλ/4偏光板113を自動的に光路に挿入しても良い。
【0089】
なお、フォーカス調整は、SLO眼底画像を用いた粗フォーカス調整の後、OCT断層輝度画像を用いた微フォーカス調整を行っても良い。
【0090】
また、これらの調整は、上記順番で全て自動的に調整しても良いし、表示部に表示された各調整に対応したスライダにカーソルを合わせてドラッグ操作等を行うようにしても良い。また、λ/4偏光板113を挿脱する場合、λ/4偏光板113を光路に挿入あるいは光路から離脱を指示するためのアイコンを表示部に表示させてもよい。
【0091】
<眼底撮影>〜<眼底画像生成>
ステップS102〜S103において、光源141から測定光を出射して、網膜Erからの戻り光を、APD152、153で受光して、画像生成部193にて前述の通り眼底画像を生成する。また、比較部196は取得した眼底データを記録する。
【0092】
<OCTスキャン位置設定>
ステップS104では、ステップS102〜S103にて撮影された眼底画像と、過去撮影され、取得された眼底画像を比較し、PS−OCT100のスキャン位置を設定する。
【0093】
まず、比較部196は、過去に取得され、記録された眼底画像内の特徴点の位置情報を抽出する。特徴点の抽出は、1点のみの場合スキャン方向を一致させることが出来ないため、抽出点数は2点以上あることが望ましい。ここで、特徴点とは、視神経乳頭や黄斑、毛細血管などの組織である。次に、抽出した特徴点の位置情報に対して、過去取得し、記録されたOCTスキャン位置の相対位置情報を各々算出する。そして、現在取得され、記録された眼底画像の特徴点を上記と同様の方法にて抽出した上で、過去の眼底画像から抽出した特徴点と一致する点を更に抽出する。最後に、現在の眼底画像から抽出した特徴点の位置情報と前記算出した相対位置情報に基づき、OCTスキャン位置を設定する。
【0094】
尚、OCTのスキャン位置は、上述したような自動抽出に限定されない。
図5に示すように、ウィンドウから手動で選択しても良い。
【0095】
第一の表示領域の一例である表示領域510には、PS−SLO140で撮影され、画像生成部193で生成された現在の眼底画像511が表示される。眼底画像511としては、眼底輝度画像が表示されるが、偏光信号に基づく眼底画像であっても良い。眼底画像511上にはPS−OCT100の撮影位置を示すガイド512が重畳表示されている。
【0096】
第二の表示領域の一例である表示領域520には、PS−SLO140で撮影され、画像生成部193で生成された過去の眼底画像521が表示される。眼底画像521としては、眼底輝度画像が表示されるが、偏光信号に基づく眼底画像であっても良い。眼底画像521上には過去に画像撮影を行ったPS−OCT100の撮影位置を示すガイド522が重畳表示される。
【0097】
OCTのスキャン位置は、表示領域520に表示される過去眼底画像521と、該眼底画像521上に表示されるガイド522との位置関係に対応するように、表示領域510に表示される眼底画像511に重畳表示されたガイド512をマウスのクリック操作やドラッグ操作などで設定する。
【0098】
<断層撮影>〜<断層輝度画像生成>
ステップS105〜S106においては、光源101からそれぞれ測定光を出射して、網膜Erからの戻り光を、ラインカメラ129、133で受光して、画像生成部193で、前述の通り断層輝度画像を生成する。
【0099】
設定された断層輝度画像位置に対してステップS105〜S106をN回繰り返すことで、N枚の断層輝度画像の取得を行う。尚、その取得手順については操作者が任意に決めてもよい。すなわち、ステップS105をN回繰り返してN枚の断層輝度画像データの取得を行った後に、ステップS106をまとめて実施してもよいし、1枚の断層輝度画像取得時にステップS105〜S106を実施し、それをN回繰り返して実施してもよい。
【0100】
また、ステップS105〜S106にて断層輝度画像の撮影・生成を行う中の任意のタイミングで、ステップS102〜S103を並行して実行し、SLO画像の微小移動量を信号処理部190で検知し、駆動制御部180にフィードバックを行うことで追尾機能を持たせても良い。例えば、連続取得されるSLO画像データを信号処理部190に渡し、各SLO画像の相対位置について並進方向や回転方向の微小移動量を算出する。次に、算出した微小移動量を補正するためのスキャナ駆動波形を駆動制御部180にて生成し、Xスキャナ107、Yスキャナ110を駆動することで追尾機能を持たす方法がある。
【0101】
<OCT断層像重ね合わせ>
N枚の画像撮影と画像処理の後、ステップS107において、位置合わせ手段の一例である画像重ね合わせ部195は、まず、複数の断層輝度画像の位置合わせを行う。以下、
図6の説明図を用いて位置合わせの方法を説明する。ここで、複数の断層輝度画像の位置合わせは、まず、例えば、基準となる第一の輝度画像601に対して第二の輝度画像602のパターンマッチングを行うことにより、眼球運動を検出する。パターンマッチングとは、基準となる画像に対して類似度が最も高くなる領域を探索する技術である。基準となる第一の輝度画像から特徴のある部分を抽出し、第二の輝度画像に対してパターンマッチングを行って一致或いは類似度が最も高い箇所を探索し、その座標から画像取得間における眼球運動を検出してもよい。例えば輝度画像601中の黄斑部603を用いてパターンマッチングをすることも可能である。
【0102】
パターンマッチングは画像重ね合わせ部195において実施され、基準となる第一の輝度画像に対してその他の複数枚の輝度画像それぞれの類似度を算出する。類似度の算出には例えば相関関数を用いることが出来る。
【0103】
本実施形態では、例えば被検体の同一箇所におけるN枚の断層輝度画像の重ねあわせを行う場合は、N−1枚の輝度画像の一枚一枚が第一の輝度画像に対して最も高い類似度となるようにパターンマッチングを行えば良い。また、パターンマッチングを行う際に類似度をパラメータとして表示すれば、断層輝度画像の重ね合わせ時に、重ね合わせを行うかどうかの指標として用いることも可能である。すなわち、類似度を表示させることにより、ユーザは、類似度が低い断層輝度画像は重ね合わせに用いない、といった判断が可能である。
【0104】
画像重ね合わせ部195はパターンマッチングを行った後、最も高い類似度とするために輝度画像を移動させた変位量を記憶する。例えば
図7において、時間tmにおける輝度画像に対して時間t(m+1)における輝度画像の類似度が最も高くなる時の輝度画像の変位量が(x(m+1)、y(m+1))である場合、この変位量(x(m+1)、y(m+1))を記憶しておく。ここで、記憶する変位量は平行移動に限定されない。例えば、必要に応じて回転や伸縮の変位量を記憶することが可能である。また、画像重ね合わせ部195に記憶されている変位量は、同じタイミングで取得されて画像生成部193において生成される各画像すべてに対して適応することが可能である。
【0105】
画像重ね合わせ部195は、画像生成部193より生成された断層輝度画像に対し、前述の通り各画像の変形を行い、変形した画像同士の同位置にある画素を平均することで、重ね合わせ画像を生成する。このとき、検出された眼球運動に基づいて、複数の断層輝度画像の位置ずれを補正することが好ましい。また、瞬きにより一定の輝度値が得られない断層輝度画像は重ね合わせ画像の中から除くことが好ましい。重ね合わせ処理が終了すると、表示制御部191は、出力情報を生成し、表示部192に出力して表示を行う。また、比較部196は生成された重ね合わせ画像のデータを記録する。
【0106】
<比較>
ステップS108では、過去取得され、重ね合わせにより生成された過去断層輝度画像831と現在取得され、重ね合わせにより生成された現在断層輝度画像841の両画像において、対応する画素同士のリターデーションを減算処理することで比較を行う。そのため、まずは比較を行うために過去断層輝度画像831と現在断層輝度画像841の位置合わせを行う。位置合わせは、過去断層輝度画像831と比較して最も相関関数が高くなるように、アフィン変換などの処理を行うことで現在断層輝度画像841を変形させる。このとき、比較対象となる過去断層輝度画像831に関しても、変形される現在断層輝度画像841と同一の領域を表示するように、共通領域を抽出し変形される。尚、変形された過去断層輝度画像831と現在断層輝度画像841の両画像は、各画素の輝度値や偏光パラメータに関して補間を行い再構成される。補間の方法は、例えば最近傍補間や双一次補間、双三次補間などにより行われる。なお、本発明において、過去の断層画像と現在の断層画像とは、異なる時刻に被検体を撮影して得た複数の断層画像であれば良い。
【0107】
次に、差分情報生成手段の一例である比較部196は、過去断層輝度画像831と現在断層輝度画像841とにおいて、互いに対応するピクセル同士のリターデーションを減算することで比較を行う。すなわち、差分情報生成手段は、過去断層輝度画像831に対応する過去偏光断層画像と、現在断層輝度画像841に対応する現在偏光断層画像との差分を示す情報を生成する。ここで、差分を示す情報は、例えば、差分画像、差分を示すグラフ、差分値である。なお、差分を示す情報を生成する前に、過去断層輝度画像及び現在断層輝度画像に基づいて、過去偏光断層画像及び現在偏光断層画像の位置合わせが行われている。これにより、偏光断層画像において、所定の領域の一例である偏光が解消された領域以外の領域で位置合わせを行うことができる。このため、偏光が解消された領域が病気等により経時変化していた場合においても、位置合わせを精度良く行うことができる。このとき、検出された眼球運動に基づいて、複数の断層輝度画像に対応する複数の偏光断層画像の位置ずれを補正することが好ましい。
図8に示すように、減算結果は表示領域820に差分画像821として表示される。得られた減算処理の結果を読み取ることで、神経線維層の密度に関する経時変化を追うことが可能となる。例えば、減算値が正の値の領域は、すなわち複屈折性が弱まっている領域であり、一方で負の値の領域は、複屈折性が強まっている領域であることを示唆している。ここで、本実施形態では、過去断層輝度画像831に対応する過去偏光断層画像の一例であるリターデーションから現在断層輝度画像841に対応する現在偏光断層画像の一例であるリターデーションを減算する例を示した。しかし、本実施形態では、現在断層輝度画像841に対応するリターデーションから過去断層輝度画像831に対応するリターデーションを減算しても良い。その場合、減算値が負の値の領域は複屈折性が弱まっている領域であり、正の値の領域は、複屈折性が強まっている領域であることを示唆している。
【0108】
また、ステップS108では、現在のRNFLの膜厚情報とRNFLのリターデーション情報をそれぞれ測定し、記録する。このRNFLの膜厚情報とリターデーション情報は、操作者が任意に選択できる。RFNLの膜厚情報は、セグメンテーションで抽出されるRNFLを示す2本の境界線の座標値から、同一のX座標を有する2点のZ成分の差分を計算することで、X座標毎の値を求めることが出来る。このように取得された膜厚データの内、任意のX座標の膜厚データ、或いは任意のX座標区間の膜厚データの平均値をRFNLの膜厚情報とする。
【0109】
また、RNFLのリターデーション情報は、膜厚情報を取得したX座標に対応するAスキャンライン上のRNFL内のリターデーション、或いはリターデーションの平均値として取得する。
【0110】
<出力>
次に、生成した各画像及び解析した結果の出力処理ステップS109について説明する。本実施形態おける出力処理は、ステップS102〜S108で取得・生成された画像と比較結果を表示する。
【0111】
信号処理部190内の画像生成部193、画像解析部194、画像重ね合わせ部195において、各画像の生成、解析、重ね合わせが終了すると、その結果に基づき、表示制御部191は、出力情報を生成し、表示部192に出力して表示を行う。
【0112】
図8は、本実施形態における表示部192における表示例である。図において、800は表示部192に表示されるウィンドウであり、表示領域810、820、830、840を有する。
【0113】
第一の表示領域の一例である表示領域810には、PS−SLO140で撮影され、画像生成部193で生成された眼底画像511が表示される。眼底画像511としては、眼底輝度画像が表示されるが、偏光信号に基づく眼底画像であっても良い。眼底画像511上には画像撮影を行ったPS−OCT100の撮影位置を示すガイド522が重畳表示される。
【0114】
第二の表示領域である表示領域820には、過去と現在に取得された略同一箇所のリターデーションの差分が、断層画像821として表示される。このとき、差分画像に加え、セグメンテーションを重畳表示させ、各層を明示化しても良い。
【0115】
尚、リターデーションの差分画像820の代わりに、選択された領域の比較情報を示すグラフを表示しても良い。
図9においては、ステップS108にて取得されたRNFLの膜厚とリターデーションに関し、過去取得された値との比較を示すグラフ921と、リターデーションを膜厚で割って得られる膜厚当たりのリターデーション値に関する過去取得値との比較を示すグラフ922が表示されている例を示している。グラフの横軸は日付であり、取得されたデータは横軸に時系列に並べられる。また、長期に渡る経過観察の結果、取得データが多数に及ぶ場合には、任意の過去取得データを比較部196の中から選択しグラフ上に表示させることが出来る。
【0116】
第三の表示領域の一例である表示領域830には、過去断層画像831が表示される。断層画像831は、断層画像841と同一の領域を表示するように変形される。リターデーション画像に加え、セグメンテーションを重畳表示させ、各層を明示化しても良い。
【0117】
第四の表示領域の一例である表示領域840には、現在取得された断層画像841が表示される。断層画像841は断層画像831と比較して相関(相関関数の値)が閾値よりも大きくなるように、画像の拡大、回転、抽出などを行い変形させる(位置合わせの一例)。リターデーション画像に加え、セグメンテーションを重畳表示させ、各層を明示化しても良い。
【0118】
なお、表示制御部191は、上述したリターデーション断層画像の代わりに、リターデーションマップを表示部192の各表示領域のいずれかに表示させても良い。また、表示制御部191は、リターデーションマップを眼底輝度画像511に重ねて表示させても良い。
【0119】
(第2の実施形態)
第2の実施形態について、
図10と
図11を用いて説明する。本実施形態では、OCT断層画像で3D画像(3次元画像)を生成し、過去に診断で利用したOCT断層画像に対して、現在取得した3D画像データの中から類似度の高い断層画像を抽出し、比較する方法について説明する。
【0120】
図10に示すように、3D画像を構成する各Bスキャン画像は、重ね合わせにより構成される。例えば、断層輝度画像1001は、同じスキャン位置において取得されるN枚の断層輝度画像群1011を重ね合わせることで生成される。同様にして、断層輝度画像1002〜1006も、対応するN枚の断層輝度画像群1012〜1016をそれぞれ重ね合わせることで生成する。このようにして、各Bスキャン画像が重ね合わせ画像から構成される3D画像を作成する。
【0121】
[処理動作]
次に、
図11のフローチャートを用いて本実施形態の特徴的な処理動作について説明する。尚、第1の実施形態と同様の処理動作はここでは説明を割愛する。
【0122】
ステップS202の撮影ステップでは、駆動制御部180がXスキャナ107、Yスキャナ110の駆動角度を各々制御し、3D画像データ取得中に各Bスキャン画像をN枚ずつ撮影する。例えば、Yスキャナ110を固定してXスキャナ107をN回スキャンすることで同一領域におけるN枚の断層輝度画像を取得し、その後、Yスキャナ110はスキャン位置を1ステップ送るように駆動制御部180によって制御される。Yスキャナ110が設定された範囲をスキャンすることでN枚ずつのBスキャン画像を有する3D画像データを取得すことが可能となる。
【0123】
次に、ステップS204では、重ね合わせ部195がBスキャン画像の1枚1枚に対して、対応する同一箇所N−1枚のBスキャン画像を重ね合わせることにより、重ね合わせ画像から構成される3D画像を生成し、比較部196が生成した3D画像データを記録する。
【0124】
ステップS205では、ステップS204で構成された3D画像データを元に、過去断層輝度画像と現在断層輝度画像の比較位置を指定する。すなわち、ステップS205では、過去断層輝度画像に対して、重ね合わせ処理された現在断層輝度画像を比較し、最も類似度の高い現在断層輝度画像を、3D画像の中から抽出する。尚、類似度の計算は例えば相関関数より求める。類似度を比較する画像データはすでに重ね合わせ処理がされているので、より高精度な比較位置の抽出が可能となる。
【0125】
以上、本実施形態のように、被検体の同一対象組織を輝度画像より抽出し、経時変化をリターデーションの差異から評価することで、医師が病理診断を行う上で有用な情報を提供出来る。例えば患眼が緑内障である場合、診療のための経過観察として定期的に画像を取得すると輝度画像では変化が殆ど見られないのに対して、複屈折率が変化する場合がある。この性質を利用し、経時的に変化しづらい輝度画像で位置合わせを行うことで、経過観察時の位置合わせがずれるリスクを回避しつつ、同一対象組織のリターデーションの差異を評価することで、輝度画像では変化が現れにくい同一対象組織の病変進行の程度を可視化することが出来る。
【0126】
更に、RNFL膜厚とリターデーションを定期的に取得し、経過観察を行うことで診断に有効な情報を提供することができる。例えば、被検体の網膜神経線維の密度が低下した場合では複屈折率が低下するため、RNFLの膜厚が等しくとも、リターデーションが低下していくデータが得られ、緑内障の早期発見に貢献することが出来る。
【0127】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。