(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を図面に基づいて説明する。
図1は、本実施形態に係る眼科観察システムの一例について説明する図である。眼科観察システムは、異なる日時で得られた複数の断層画像を演算処理することにより被検眼の経過観察を行う。眼科観察システム1は、例えば、画像処理装置10、第1の眼科撮影装置A(撮影装置A)、第2の眼科撮影装置B(撮影装置B)、第3の眼科撮影装置C(撮影装置C)で構成されている。なお、各装置は、各部はネットワーク(バス、LAN等)を介して接続されており、相互に画像データ等を送受信することが可能である。なお、観察システム1は、撮影装置A、撮影装置B、撮像装置Cを同時に備える必要は必ずしもなく、長期的な経過観察において、断層像撮影装置が、ある撮影装置から別の撮影装置に変更される構成も含まれる。
【0012】
撮影装置A、撮影装置B、撮影装置Cは、それぞれ断層像撮像光学系(例えば、光断層干渉計(Optical Coherence Tomography:OCT)を有するOCTデバイスである。各OCTデバイスは、光源から出射された光束を測定光と参照光に分割し、測定光束を被検眼眼底に導き、参照光を参照光学系に導いた後、前記眼底から反射された測定光と参照光との干渉状態を検出器により検出する。そして、検出器から出力される受光信号に基づいて画像処理により断層像を取得する。
【0013】
なお、本実施形態において、各撮影装置A、B、Cは、互いに異なる正面撮像光学系を有する。
【0014】
例えば、撮影装置Aは、光源から発せられた測定光(例えば、赤外光)を眼底上で二次元的に走査させる光スキャナと、眼底と略共役位置に配置された共焦点開口を介して眼底反射光を受光する受光素子を備え、いわゆるレーザ走査型検眼装置(Scanning Laser Opthalmoscope:SLO)の装置構成を持つ。そして、眼底正面像を取得する際、SLOの受光素子から出力される受光信号に基づいて眼底正面像(SLO画像)を取得する。なお、OCTの走査位置とSLO画像取得の際の走査位置は、予め、共通の領域を走査するように設定されている。これにより、SLO画像に対応する位置における、断層像がOCTによって取得されており、眼底正面像と断層像がマッチングされている。
【0015】
撮影装置Bは、眼底正面像を取得する際、OCT正面像撮像光学系を用いて、OCTの干渉信号に基づいて眼底正面像を取得する。例えば、本装置は、測定光を二次元的に走査させ、XY各点について受光素子からの干渉信号のスペクトル強度を積算することによりOCT正面像を得る。なお、眼底正面像は、断層像に基づいて取得されているため、眼底正面像の各位置とOCTによって取得された断層像は対応づけされている。
【0016】
撮影装置Cは、被検眼の眼底を撮影する眼底カメラ光学系の装置構成を持つ。そして、カメラ正面像(例えば、カラー眼底像、赤外眼底像)は、眼底を眼底カメラによって撮影することによって、取得される。なお、OCTの走査位置と眼底カメラの所定の画素位置が共通の領域となるように、予め、設定されている。これにより、眼底カメラによる眼底画像の各画素位置に対応した断層像がOCTによって取得され、眼底画像と断層像がマッチングされている。
【0017】
画像処理装置10は、例えば、各撮影装置によって撮影された画像データをネットワークを介して取得し、各画像データに付加された付帯情報(装置情報、画像種類情報(例えば、断層画像データ、正面画像データ)等)と共に記憶し、管理する。そして、画像処理装置10は、各装置において、異なる画像取得方法にて、取得された画像データを統一的な画像データとして取り扱う。そして画像とともに、画像の解析を行い、画像の解析結果を表示する(詳細は後述する)。
【0018】
なお、各撮影装置は、それぞれが取得した画像データ(断層動画像、二次元動画像、三次元動画像)とその付帯情報をネットワークによって自動的又は手動で転送する。
【0019】
図2は、画像処理装置10の構成について説明するブロック図である。
【0020】
図2に示すように、画像処理装置10は、データ管理部70、操作部90、データ表示部(モニタ等)75、データ記憶部(メモリ)72から構成されている。
【0021】
データ管理部70は、各装置から取得される画像データのデータ管理において、データ管理部70、モニタ75、メモリ72の動作を統括的に制御する。データ管理部70は、各撮影装置によって取得された各正面像に付加された付帯情報を用いて、第1画像データにおける第1正面画像(正面像)と第2画像データにおける第2正面画像(正面像)とを同じ被検者の正面画像(正面像)として扱う。各装置によって取得された画像データは、その付帯情報に基づいて分類され、統一的な画像データとして、メモリ72に記憶される(詳細は後述する)。
【0022】
また、データ管理部70は、画像解析機能を備えており、メモリ72に記憶された第1画像データと第2画像データとに基づいて演算処理を行う。ここで、付帯情報に基づいて判定の行われた画像データ(画像データ)が解析される。データ管理部70は、例えば、眼底上の各位置における異常部位を算出し、眼底上の各位置における異常部位を二次元的に示すマップ(以下、解析マップと記載)等を作成する。
【0023】
操作部90は、検者によって操作が行われた場合に、検者からの各種指示を取り込むための各種スイッチ、マウス等によって構成されている。
【0024】
モニタ75は、解析の行われた画像データを表示可能なものである。そして、データ管理部70によって、各画像データに付加された付帯情報から分類した画像を表示する。
【0025】
メモリ72には、画像データを分類するための付帯情報や、各部の動作を制御するための、各種制御プログラム等が記憶されている。メモリ72には、眼科撮影装置によって、取得された正面画像(正面像)と関連付けられた断層画像(断層像)とを含む画像データが、各画像に付加された付帯情報と共に記憶される。例えば、第1の眼科撮影装置(例えば、撮影装置A)によって、第1の撮像方式を用いて撮影された被検眼の第1正面像と、光干渉技術を用いて撮影された被検眼の断層像であり、第1正面画像と関連付けられた第1の断層像とを含む第1画像データが取得され、各画像に付加された付帯情報と共にメモリ72に記憶される。また、第2の眼科撮影装置(例えば、撮影装置B)によって、第1の撮像方式とは異なる第2の撮像方式を用いて撮影された被検眼の第2正面像と、光干渉技術を用いて撮影された被検眼の断層像であって第2正面像と関連付けられた第2の断層像とを含む第2画像データが取得され、各画像に付加された付帯情報と共にメモリ72に記憶される。なお、第1撮像方式又は第2撮像方式には、上記で説明した各眼科撮影装置における、SLO、OCT正面像撮像光学系、眼底カメラ光学系等のいずれかを用いた方式が挙げられる。
【0026】
ここで、付帯情報における装置情報と画像種類情報の管理について説明する。
図3は、付帯情報が有する、装置情報と装置により取得される画像種類情報の画像データ管理機能の概念を説明する図である。
図3に示すように、縦軸に装置種別が記載されており、横軸には、各装置において取得される画像の種類が示されている。
【0027】
例えば、撮影装置Aにおいて、断層像として取得された画像データは、断層像という画像データとして扱われる。また、撮影装置B又は撮影装置Cにおいても、断層像として取得された画像データは、同様に扱われる。
【0028】
一方、撮影装置Aにおいて、SLOによって取得されたSLO正面像の画像データは、眼底正面像という共通の画像データとして取り扱われる。また、撮影装置Bにおいて、OCTによって取得されたOCT正面像の画像データは、眼底正面像という共通の画像データとして取り扱われる。撮影装置Cにおいても、眼底カメラによって取得されたカメラ正面像の画像データは、眼底正面像という共通の画像データとして取り扱われる。すなわち、上記のように眼底正面像の取得手段が異なっていても、統一的な画像データとして取り扱われる。
【0029】
メモリ75には、各画像に付加された付帯情報に基づいて画像を分類するための分類情報(例えば、データテーブル)がメモリ75に記憶されている(
図3参照)。例えば、画像の分類処理において、撮影装置Aにおいては、撮影装置Aによって取得されたOCT断層像を断層像として分類し、SLO画像を眼底正面像として分類するという情報がメモリ75に記憶されている。すなわち、撮影装置Aにおいて、OCT画像を断層像として取り扱い、SLO画像を眼底正面像として取り扱うという情報がメモリ75に記憶されている。
【0030】
そして、分類情報は、データ管理部70によって各撮影装置によって取得された画像データが分類される際に、参照される。すなわち、データ管理部70は、画像データを分類する際に、メモリ75に記憶された分類情報を参照し、各撮影装置によって取得された画像データの付帯情報を用いて画像データの分類を行う。
【0031】
なお、分類情報の更新は、例えば、検者データによって、データ管理部70に新規の装置における分類情報が入力されることにより、行われる。検者によって、新規装置における分類情報が入力されると、データ管理部70は、入力された分類情報をメモリ75に送信し、記憶させる。
【0032】
図4は、データ管理部70の制御動作を示すフローチャートである。以下、フローチャートを用いて、より具体的にデータ管理部70の画像データを分類する制御動作について説明する。
【0033】
本実施形態においては、過去に、撮影装置Aによって、眼底撮影が行われ、その眼底正面像が取得されていた場合に、その後、他の装置にて眼底の経過観察をしていく場合を例として、説明していく。
【0034】
初めに、経過観察を行うために、比較の基準となるの撮影装置Aによって取得された画像データの取り扱いについて説明する。
【0035】
撮影装置Aにおいて、SLO正面像が取得されると画像データが画像処理装置10に自動的に送信される。なお、画像データが画像処理装置10に送信される際には、その画像データを分類するための付帯情報が添付されている。例えば、SLO画像には、眼底正面像として画像データを分類するための付帯情報(例えば、画像種類情報)が付与される。
【0036】
撮影装置Aによって取得されたSLO画像の画像データが画像処理装置10に送信された場合、データ管理部70は、メモリ72に記憶されている画像データの付帯情報を用いて、SLO画像を分類する。
【0037】
そして、上記記載のようにメモリ72に記憶された分類情報を参照して、共通の画像データに分類される。そして、SLO画像の画像データを眼底正面像の画像データとして、メモリ72に記憶させておく。
【0038】
次いで、撮影装置Aによって取得された画像に対して経過観察を行うために取得された画像の取り扱いについて説明する。
【0039】
撮影装置Bにおいて、OCT正面像が取得されると画像データが画像処理装置10に自動的に送信される。なお、画像データが画像処理装置10に送信される際には、その画像データを分類するための付帯情報が添付されている。例えば、OCT画像には、眼底正面像として画像データを分類するための付帯情報(例えば、画像種類情報)が付与される。
【0040】
撮影装置Bによって取得されたOCT正面像の画像データが画像処理装置10に送信された場合、データ管理部70は、メモリ72に記憶されている画像データの付帯情報を用いて、OCT正面像を分類する。データ管理部70は、メモリ72に記憶された分類情報を参照して、OCT正面像を眼底正面像の画像データとしてメモリ72に記憶させる。
【0041】
なお、撮影装置Cによって取得されるカメラ正面像も上記記載のように、眼底正面像の画像データとしてメモリ72に記憶される。
【0042】
以上のように、異なる装置間で取得された眼底正面像は、データ管理部70により、統一的な画像データとして取り扱われるようになる。
【0043】
次いで、データ管理部70は、メモリ72に記憶されている眼底正面像の画像データの解析を行う。例えば、データ管理部70は、撮影装置A及び撮影装置Bの解析を行う。データ管理部70は、メモリ72より撮影装置A及び撮影装置Bの眼底正面像の画像データを呼び出し、解析を行う。
【0044】
ここで、データ管理部70は、第1眼底正面像と第2眼底正面像との間の位置ずれ情報を検出し、検出された位置ずれ情報と、第1の眼底断層像と第2の眼底断層像に基づいて検査日時の異なる断層像を比較解析する。
【0045】
データ管理部70は、例えば、各装置によって取得された断層像を解析し、眼底上における層厚を二次元的に示すマップ(以下、層厚マップと記載)を作成する。このとき、各装置の断層像と眼底正面像は、マッチングされているため、眼底正面像と層厚マップとの関連付けが可能である。そして、各装置の眼底正面像の画像データを比較することによって、層厚マップ間の比較を行う。
【0046】
なお、マップ(グラフ)化される眼底の層厚の情報としては、深さ方向(Z方向)における眼底の層の厚さに関する情報であればよく、例えば、各層の厚みの他、複数の層の厚さを足し合わせたときの層の厚さであってもよい。例えば、神経線維層の厚み、網膜表面から脈絡膜までの厚み、等が考えられる。
【0047】
以下、解析について具体的に説明していく。
【0048】
図5はOCTによって得られた断層像の例を示す図である。データ管理部70は、取得された眼底正面像における眼底の層情報を画像処理により検出する。そして、検出結果は、メモリ72に画像データと共に記憶される。
【0049】
層を検出する場合、例えば、断層像の輝度レベルが検出され、所定の網膜層(例えば、網膜表面と網膜色素上皮層)に相当する層境界が画像処理により抽出される。そして、層境界の間隔が計測されることにより、層厚が計測される。
【0050】
そして、データ管理部70は、各断層像に関して網膜各層(例えば、網膜表層、網膜色素上皮層)の厚みを算出する。
図6は断層像の解析結果を示す図であり、眼底上の各位置における層厚を二次元的に示すマップ(層厚マップ)の一例である。本実施例において、データ管理部70は、取得された解析結果に基づいて、各断層像の解析結果をグラフィックにて示す層厚マップを作成する。層厚マップは、例えば、眼底の層厚に関する二次元分布データを示す。
【0051】
層厚マップの層厚は、例えば、特定の色にて表示される(例えば、層厚が450μmの領域を赤色(
図6斜線実線部)、層厚が300μmの領域を緑色、層厚が200μmの領域を青色(
図6斜線点線部))。データ管理部70は、データ管理部70が層厚マップを作成した後、メモリ72に層厚マップを記憶させる。
【0052】
以上のようにして、層厚マップが作成されると、データ管理部70は、層厚マップ間の比較結果を示す差分マップを作成する。もちろん、データ管理部70は、差分マップを作成することなく、各装置における層厚マップのデータをモニタ75に送信し、表示してもよい。
【0053】
図7は、差分マップの一例を示す図である。以下、
図7を用いて、差分マップについて説明する。例えば、
図7(a)に示すように、撮影装置Aによって取得された層厚マップA1と撮影装置Bによって取得された層厚マップB1の層厚の差分を検出する。差分を検出する際、撮影装置Aと撮影装置Bにおいて、共通の眼底領域の差分を検出できるように、各撮影装置によって取得された眼底正面像を用いて、両データが最も一致するように位置合わせを行う。
【0054】
例えば、両データを一致させるために、両画像間の位置ずれを検出する。各撮影装置によって取得された眼底正面像からそれぞれ、特徴点(乳頭、黄斑、血管等)を抽出する。そして、特徴点間の位置ずれ方向及び位置ずれ量を検出する。位置ずれ方向及び位置ずれ量が検出されると、データ管理部70は、検出結果に基づいて、各撮影装置によって取得された眼底正面像間との相対位置を調整する。これにより、層厚マップと眼底正面像は相関関係があるため、各撮影装置によって取得された層厚マップの位置合わせを行うことができる(
図7(b)参照)。もちろん、層厚マップの位置合わせの方法としては、眼底正面像間の相対位置を調整するものに限定されなく、位置ずれの検出結果によって層厚マップの位置合わせを行ってもよい。
【0055】
層厚マップの位置合わせが完了すると、データ管理部70は、層厚マップ間の差分を算出する。そして、撮影装置Aと撮影装置Bにて取得した各眼底正面像において共通の領域Tの差分マップMを作成する(
図7(c)参照)。
【0056】
図7(c)に示すように、差分マップMには、撮影装置Aと撮影装置Bによって取得された眼底正面像間で、層厚に差が検出された領域が色付けで表示される(例えば、層厚マップA1に対して、層厚マップB1が厚くなるにつれて、その領域に赤色(
図7(c)斜線実線部)を表示、層厚に変化がなかった領域に緑色を表示、薄くなるにつれて、その領域に青色(
図7(c)斜線点線部)を表示)。すなわち、色付けされた領域は、眼底の層厚の変化が検出された領域であり、撮影装置Aと撮影装置Bとの間での眼底の層厚の変化を観察することができる。
【0057】
以上のように、撮影装置Aと撮影装置Bで、眼底正面像の取得手段が異なった場合においても、眼底正面像の差分マップを取得することができ、撮影装置間での観察を行うことができる。これによって、前回の観察から複数年経過しており、装置の仕様や測定原理が大きく変更されている場合があっても、眼底の変化を検出することが可能となり、経過観察を行うことができる。
【0058】
なお、上記のようにして正面画像として利用されたデータは、異なる撮影装置間における走査位置の調整に用いるようにしてもよい。例えば、撮影装置Bは、撮影装置Aで取得されたSLO画像と、第1の断層画像に対応する走査位置情報をメモリ(データベース)から取得する。そして、撮影装置Bによって取得されるOCT正面像とSLO画像との位置ずれを画像処理により検出する。そして、メモリから取得された走査位置情報を,検出された位置ずれによって補正するように光スキャナを制御することにより、同一部位に対する位置合わせを行う。
【0059】
なお、2つの画像間の位置ずれを検出する手法としては、共通する特徴点を抽出し、抽出された特徴点の位置ずれ方向及び位置ずれ量を検出する手法に限定されない。例えば、種々の画像処理手法(各種相関関数を用いる方法、フーリエ変換を利用する方法、深さ方向における輝度分布のピーク位置のずれを検出する方法)を用いることが可能である。
【0060】
なお、本実施形態においては、層厚マップを検出する構成としたがこれに限定されない。例えば、各位置の層厚を計測し、計測結果が正常眼データベースにおける所定範囲(例えば、正常眼の計測値に対応する正常範囲)内であるかを判定する。すなわち、各層の層厚判定、形状判定、所定部位(例えば、乳頭、黄斑)のサイズ判定等を行い、眼底の眼底の正常/異常等の判定を行う。そして、眼底の眼底の正常/異常部位に関する二次元分布データを検出する構成としてもよい。
【0061】
なお、上記構成において、取得される正面像の倍率が撮影装置によって異なる場合がありうる。この場合、データ管理部70は、第1眼底正面画像及び第2眼底正面画像の少なくともいずれかを拡大縮小して、第1眼底正面画像と第2眼底正面画像の間の倍率を一致させるのが好ましい。ある一定の倍率に各正面画像の倍率を調整するようにしてもよいし、一方の正面画像の倍率に合わせて他方の正面画像の倍率を調整するようにしてもよい。
【0062】
なお、本実施形態においては、眼科観察システム1について、断層像の取得手段においては、各装置とも共通の手段にて取得おり、眼底正面像の取得手段においては、それぞれ異なった手段にて取得を行っている撮影装置を用いて説明したが、これに限定されない。画像の種類が共通のものを取得する装置であれば適用可能である。例えば、本実施形態で用いたスペクトルメータを用いたスペクトルドメインOCT間だけでの適用でなく、波長可変光源を備えるSwept-source OCT(SS−OCT)やTime-domain OCT(TD−OCT)であってもよい。
【0063】
この場合、取得される断層画像の倍率が撮影装置によって異なる場合がありうる。第1の眼底撮影装置によって光干渉技術を用いて撮影された被検眼眼底の第1の断層画像とを含む第1画像データと、第1の眼底撮影装置とは撮像倍率が異なる第2の眼科撮影装置によって光干渉技術を用いて撮影された被検眼眼底の第2の断層画像とを含む第2画像データと、が取得され、各画像に付加された付帯情報と共にメモリ72に記憶される。
【0064】
データ管理部70は、第1眼底断層画像及び第2眼底断層画像の少なくともいずれかを拡大縮小して、第1眼底断層画像と第2眼底断層画像の間の深さ方向と横方向の倍率を一致させるのが好ましい。この場合、ある一定の倍率に各断層画像の倍率を調整するようにしてもよいし、一方の断層画像の倍率に合わせて他方の断層画像の倍率を調整するようにしてもよい。
【0065】
この場合、例えば、各断層画像を形成する単位ピクセル当たりの実寸法データ(深さ方向及び横方向)を用いて、第1眼底断層画像と第2眼底断層画像の実寸が同じ大きさになるように倍率が調整される。また、3次元断層データの場合、深さ方向に関して倍率が調整されると共に、深さ方向に垂直なXY二次元方向に関して倍率が調整される。
【0066】
なお、本実施形態においては、眼底正面像及び眼底断層像を撮像する眼底撮影装置を例として挙げたがこれに限定されない。例えば、前眼部正面像及び前眼部断層像を撮像する前眼部撮影装置においても、本発明は適用可能である。この場合、SLOは、被検眼前眼部上でレーザ光を走査し、前眼部からの反射光を共焦点開口を介して受光して前眼部正面像を得る。また、OCT正面像撮像光学系では、被検眼前眼部上でOCT測定光を走査し、前眼部からの反射光と参照光とが合成された光を受光して前眼部正面像を得る。また、眼底カメラ光学系では、被検眼前眼部に対して照明光を一体的に照射し、前眼部からの反射光を二次元撮像素子で受光して前眼部正面像を得る。