(58)【調査した分野】(Int.Cl.,DB名)
被検眼眼底の断層像を撮影する断層像撮影装置において対象物の略同一位置を同一方向に所定のサンプリング間隔で走査して得られた画像を処理する画像処理装置であって、
前記同一方向に第1のサンプリング間隔で走査して得られた画像を第1画像とし、該第1画像の各サンプリング画像間に存在する非サンプリング領域の画像を補間処理により求め、補間された第1画像を生成する画像補間手段と、
前記同一方向に前記第1のサンプリング間隔よりも短い第2のサンプリング間隔で走査して得られた画像を第2画像とし、該第2画像のサンプリング画像毎に、該サンプリング画像に対応する画像を前記補間された第1画像の中から探索し、該探索された画像に前記サンプリング画像を加算する画像加算手段と、を備える画像処理装置。
被検眼眼底の断層像を撮影する断層像撮影装置において対象物の略同一位置を同一方向に所定のサンプリング間隔で走査して得られた画像を処理する画像処理方法であって、
前記同一方向に第1のサンプリング間隔で走査して得られた画像を第1画像とし、該第1画像の各サンプリング画像間に存在する非サンプリング領域の画像を補間処理により求め、補間された第1画像を生成する画像補間ステップと、
前記同一方向に前記第1のサンプリング間隔よりも短い第2のサンプリング間隔で走査して得られた画像を第2画像とし、該第2画像のサンプリング画像毎に、該サンプリング画像に対応する画像を前記補間された第1画像の中から探索し、該探索された画像に前記サンプリング画像を加算する画像加算ステップと、を備える画像処理方法。
【発明の概要】
【発明が解決しようとする課題】
【0005】
加算処理を行うに際しては画像を加算していく対象となる基準画像が必要となり、撮影済断層画像群から一枚を基準画像として選択するか、又は選択した複数枚の画像を加算平均した画像を基準画像とする。一般的には、撮影開始直後は固視が安定しているという認識に基づいて、最初に形成された一枚を基準画像として選択することが多い。
【0006】
しかしながら、固視微動の影響は完全に排除することはできず、仮に最初に形成された一枚であってもx軸に沿って走査していく過程で撮影対象が動いてしまい、位置ずれを起こした画像が基準画像としてされてしまうという問題がある。
【0007】
本発明は、このような点に鑑みてなされたものであり、固視微動の影響を極力排除した加算処理のために適切な基準画像を得ることができるとともに、当該基準画像を用いて加算処理を行うことによって読影に適した極めて高品質の読影用画像を得ることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、第一に、本発明は、被検眼眼底の断層像を撮影する断層像撮影装置において対象物の略同一位置を同一方向に所定のサンプリング間隔で走査して得られた画像を処理する画像処理装置であって、前記同一方向に第1のサンプリング間隔で走査して得られた画像を第1画像とし、該第1画像の各サンプリング画像間に存在する非サンプリング領域の画像を補間処理により求め、補間された第1画像を生成する画像補間手段と、前記同一方向に前記第1のサンプリング間隔よりも短い第2のサンプリング間隔で走査して得られた画像を第2画像とし、該第2画像のサンプリング画像毎に、該サンプリング画像に対応する画像を前記補間された第1画像の中から探索し、該探索された画像に前記サンプリング画像を加算する画像加算手段と、を備える画像処理装置を提供する(発明1)。
【0009】
上記発明(発明1)によれば、サンプリング間隔を長くしてサンプリング画像数を減らすことによって対象物を走査する時間が短縮されるため、固視微動の影響を極力排除した加算処理のために適切な基準画像を得ることができる。また、その基準画像に対して、サンプリング間隔を短くしてサンプリング画像数を増やした加算対象画像を用いて加算処理を行うことにより、読影に適した極めて高品質の読影用画像を得ることができる。基準画像の生成に際しては、サンプリング間隔を長くした結果、非サンプリング領域が生じてしまうが、当該非サンプリング領域の画像を補間処理によって求めることにより、サンプリング間隔を長くしたことによる基準画像の粗さを解消することができる。
【0010】
上記発明(発明1)においては、前記非サンプリング領域の画像が、その前後のサンプリング画像に基づいて形成されることが好ましい(発明2)。
【0011】
上記発明(発明1,2)においては、前記第2のサンプリング間隔が、前記第2画像のサンプリング画像がAスキャン画像となるように設定されることが好ましく(発明3)、また、上記発明(発明3)においては、前記第1のサンプリング間隔が、前記第2のサンプリング間隔の2倍であることが好ましい(発明4)。
【0012】
第二に、本発明は、被検眼眼底の断層像を撮影する断層像撮影装置において対象物の略同一位置を同一方向に所定のサンプリング間隔で走査して得られた画像を処理する画像処理方法であって、前記同一方向に第1のサンプリング間隔で走査して得られた画像を第1画像とし、該第1画像の各サンプリング画像間に存在する非サンプリング領域の画像を補間処理により求め、補間された第1画像を生成する画像補間ステップと、前記同一方向に前記第1のサンプリング間隔よりも狭い第2のサンプリング間隔で走査して得られた画像を第2画像とし、該第2画像のサンプリング画像毎に、該サンプリング画像に対応する画像を前記補間された第1画像の中から探索し、該探索された画像に前記サンプリング画像を加算する画像加算ステップと、を備える画像処理方法を提供する(発明5)。
【0013】
上記発明(発明5)によれば、サンプリング間隔を長くしてサンプリング画像数を減らすことによって対象物を走査する時間が短縮されるため、固視微動の影響を極力排除した加算処理のために適切な基準画像を得ることができる。また、その基準画像に対して、サンプリング間隔を短くしてサンプリング画像数を増やした加算対象画像を用いて加算処理を行うことにより、読影に適した極めて高品質の読影用画像を得ることができる。基準画像の生成に際しては、サンプリング間隔を長くした結果、非サンプリング領域が生じてしまうが、当該非サンプリング領域の画像を補間処理によって求めることにより、サンプリング間隔を長くしたことによる基準画像の粗さを解消することができる。
【0014】
上記発明(発明5)においては、前記非サンプリング領域の画像が、その前後のサンプリング画像に基づいて形成されることが好ましい(発明6)。
【0015】
上記発明(発明5,6)においては、前記第2のサンプリング間隔が、前記第2画像のサンプリング画像がAスキャン画像となるように設定されることが好ましく(発明7)、また、上記発明(発明7)においては、前記第1のサンプリング間隔が、前記第2のサンプリング間隔の2倍であることが好ましい(発明8)。
【0016】
第三に、本発明は、上記発明(発明5〜8)に係る画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラムを提供する(発明9)。
【発明の効果】
【0017】
本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、固視微動の影響を極力排除した加算処理のために適切な基準画像を得ることができるとともに、当該基準画像を用いて加算処理を行うことによって読影に適した極めて高品質の読影用画像を得ることができる。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【0020】
図1は、本発明の一実施形態に係る画像処理システム、すなわち被検眼眼底の断層画像を取得して画像処理するシステムの全体を示す構成図である。符号1で示すものは、被検眼Eの眼底(網膜)Efを観察及び撮像する眼底撮影ユニット1であり、照明光学系4、撮影光学系5、2次元CCDやCMOSで構成された撮像装置100を備えている。
【0021】
照明光学系4は、ハロゲンランプ等の観察光源とキセノンランプ等の撮影光源を備え、これらの光源からの光は照明光学系4を介して眼底Efに導かれて眼底Efを照明する。撮影光学系5は、対物レンズ、撮影レンズ、合焦レンズなどの光学系を備え、眼底Efにより反射された撮影光を撮影光路に沿って撮像装置100に導き、眼底Efの画像を撮影する。
【0022】
走査ユニット6は、後述する眼底Efにより反射された信号光を、断層像撮影ユニット2に導く。走査ユニット6は、断層像撮影ユニット2の低コヒーレンス光源20からの光を
図1のx方向(水平方向)及びy方向(垂直方向)に走査するための公知のガルバノミラー11やフォーカス光学系12などを備えた機構である。
【0023】
走査ユニット6は、コネクタ7及び接続線8を介して眼底Efの断層像を撮像する断層像撮影ユニット2と光学的に接続されている。
【0024】
断層像撮影ユニット2は、例えばフーリエドメイン方式(スペクトラルドメイン法)で動作する公知のもので、
図2にその詳細な構成が図示されており、波長が700nm〜1100nmで数μm〜数十μm程度の時間的コヒーレンス長の光を発光する低コヒーレンス光源20を有する。
【0025】
低コヒーレンス光源20で発生した低コヒーレンス光LOは、光ファイバ22aにより光カプラ22に導かれ、参照光LRと信号光LSに分割される。参照光LRは、光ファイバ22b、コリメータレンズ23、ガラスブロック24、濃度フィルタ25を経て光路長を合わせるための光軸方向に移動可能な参照ミラー26に到達する。ガラスブロック24、濃度フィルタ25は、参照光LRと信号光LSの光路長(光学距離)を合わせるための遅延手段として、また参照光LRと信号光LSの分散特性を合わせるための手段として機能する。
【0026】
信号光LSは、接続線8に挿通された光ファイバ22cにより
図1の走査ユニット6を経由して眼底Efに到達し、眼底を水平方向(x方向)並びに垂直方向(y方向)に走査する。眼底Efに到達した信号光LSは、眼底Efで反射し、上記の経路を逆にたどって光カプラ22に戻ってくる。
【0027】
参照ミラー26で反射した参照光LRと眼底Efで反射した信号光LSは、光カプラ22により重畳され干渉光LCとなる。干渉光LCは、光ファイバ22dによりOCT信号検出装置21に導かれる。干渉光LCは、OCT信号検出装置21内でコリメータレンズ21aによって平行な光束とされたのち、回折格子21bに入射し分光され、結像レンズ21cによりCCD21dに結像される。OCT信号検出装置21は、分光された干渉光により眼底の深度方向(z方向)の情報を示すOCT信号を発生する。
【0028】
本実施形態に係る画像処理システムには、例えば、断層像撮影ユニット2と接続されたパーソナルコンピュータ等によって構成される画像処理装置3が設けられる。画像処理装置3には、CPU、RAM、ROMなどで構成された制御部30が設けられ、制御部30は画像処理プログラムを実行することにより、全体の画像処理を制御する。
【0029】
表示部31は、例えば、LCDなどのディスプレイ装置によって構成され、画像処理装置3で生成あるいは処理された断層画像や正面画像などの画像を表示したり、被検者に関する情報などの付随情報などを表示したりする。
【0030】
入力部32は、例えば、マウス、キーボード、入力ペンなどの入力手段で、表示部31に表示された画像に対して入力操作を行う。また、操作者は入力部32により画像処理装置3などに指示を与えることができる。
【0031】
画像処理装置3には断層画像形成部41が設けられる。断層画像形成部41は、フーリエドメイン法(スペクトラルドメイン法)などの公知の解析方法を実行する専用の電子回路、または、前述のCPUが実行する画像処理プログラムにより実現され、OCT信号検出装置21が検出したOCT信号に基づいて、眼底Efの断層画像を形成する。断層画像形成部41で形成された断層画像は、例えば半導体メモリ、ハードディスク装置等により構成された記憶部42に格納される。記憶部42は、さらに上述した画像処理プログラムなども格納する。
【0032】
また、画像処理装置3には画像処理部50が設けられ、画像処理部50は画像補間手段51及び画像加算手段52を有している。画像補間手段51は、断層画像形成部41で形成された断層画像から、非サンプリング領域が存在するように第1のサンプリング間隔で走査して得られた第1画像を選択し、当該第1画像の非サンプリング領域の画像を補間処理によって求め、補間された第1画像を生成する。また、画像加算手段52は、断層画像形成部41で形成された断層画像から、第1のサンプリング間隔よりも短い第2のサンプリング間隔で走査して得られた第2画像を選択し、当該第2画像を補間された第1画像に対して加算する。
【0033】
次に、本実施形態での画像処理を
図3に示すフローチャートを参照しながら説明する。この画像処理は、制御部30が記憶部42に格納された画像処理プログラムを読み出して実行することにより行われる。
【0034】
まず、ステップS1において行われる断層像の撮像に先立ち、被検眼Eと眼底撮影ユニット1のアライメントを行い、眼底Efにピントが合わされる。この状態で、低コヒーレンス光源20をオンにして、断層像撮影ユニット2からの信号光を走査ユニット6でx,y方向に掃引し、眼底Efを走査する。この状態が
図4に図示されており、網膜の黄斑部が存在する領域Rが、x軸と平行な方向に、それぞれn本の走査線y
1、y
2、・・・、y
nで走査される。
【0035】
眼底Efで反射された信号光LSは、断層像撮影ユニット2において参照ミラー26で反射された参照光LRと重畳される。それにより干渉光LCが発生し、OCT信号検出装置21からOCT信号が発生する。断層画像形成部41は、このOCT信号に基づいて眼底Efの断層画像を形成し(ステップS2)、形成された断層画像は記憶部42に格納される。
【0036】
図5には、網膜の黄斑部のほぼ中心を通過する走査線y
jで得られたxz断層画像(Bスキャン画像)の異なる時間t
i(i=1〜N)での断層画像T
i(i=1〜N)が図示されている。これらの断層画像T
i(i=1〜N)は、断層画像形成部41で時間t
i(i=1〜N)毎に形成され、記憶部42に順次格納される。
【0037】
本実施形態では、異なる時間での略同一箇所の断層画像T
i(i=1〜N)が100枚形成され(すなわち、N=100)、記憶部42に格納される。ここで、断層画像T
i(i=1〜100)は、全て略同じ位置、つまり略同じ走査線y
iで全て同一方向、すなわちx軸に沿って
図4における左から右の方向に走査して得られた画像であるが、100枚のうち最初に形成された断層画像T
1のみサンプリング間隔が他の断層画像とは異なっている。
【0038】
具体的には、
図6(a1)に示すように、断層画像T
1のみサンプリング間隔が他の断層画像のサンプリング間隔の2倍になっており、
図6(a2)に示すように断層画像T
1以外の断層画像T
i(i=2〜100)は11ラインのサンプリング画像からなるところ、断層画像T
1は、サンプリング画像間にサンプリング画像と等間隔に非サンプリング領域が存在するように、6ラインのサンプリング画像からなっている。それぞれのサンプリング画像はz方向に定められた画素数の長さを有する領域であり、
図6(a1)及び(a2)に示すように、この領域それぞれはz方向に延びるライン(幅が1画素分の幅)で、Aスキャン画像と呼ばれるラインである。つまり、本実施形態においては、断層画像T
1以外の断層画像T
i(i=2〜100)の形成時には、サンプリング画像がAスキャン画像となるようにサンプリング間隔が設定されている一方、断層画像T
1の形成時には、サンプリング間隔が他の断層画像のサンプリング間隔の2倍に、すなわちAスキャン画像の間にAスキャン画像と同幅の非サンプリング領域が生じるようにサンプリング間隔が設定されている。
【0039】
一般に、断層画像の加算処理においては、撮影開始直後は固視微動が少ないという認識に基づいて、最初に形成された一枚を加算処理の基準画像として選択するが、断層画像の対象物である網膜層L(眼底組織)の走査に時間が掛かれば、たとえ最初に形成された一枚であっても対象物が動いてしまい、位置ずれを起こした画像が基準画像としてされてしまう。しかし、上述のように、最初に形成される断層画像T
1のみサンプリング間隔を2倍にしてサンプリング画像数を減らすことにより、非サンプリング領域が生じてしまうものの、網膜層Lを素早く走査することができるため、結果として固視微動の影響を極力排除した断層画像T
1を得ることができる。
【0040】
続いてステップS3において、断層画像T
i(i=1〜100)の中からその最初に形成された断層画像T
1を第1画像B1として選択し、それを記憶部42に記憶する。
【0041】
続いてステップS4において、
図6(b)に示すように、記憶部42に記憶された第1画像B1の非サンプリング領域に対して補間処理を行い、補間された第1画像B1´を生成する(ステップS5)。補間処理は、補間処理を行う非サンプリング領域の前後のサンプリング画像に基づいて当該非サンプリング領域の画像を形成することによって行う。具体的には、非サンプリング領域の両隣の画素の画素値から補間して画素値を求める公知の内挿法によって形成する。このようにして補間された第1画像B1´が生成されたら、それを記憶部42に記憶する。この補間された第1画像B1´が後続の加算処理における基準画像となる。
【0042】
加算処理の基準画像が定まったところで、ステップS6において、断層画像T
i(i=1〜100)の中から第1画像B1(断層画像T
1)以外の断層画像T
iを、基準画像に対して加算していく加算対象画像となる第2画像B2として選択し、それを記憶部42に記憶する。続いてステップS7において、基準画像である補間された第1画像B1´に対して第2画像B2を加算する。具体的には、第1画像B1として選択した断層画像T
1以外の全ての断層画像、又は断層画像T
1以外の断層画像T
iから任意に選択した一部の断層画像を、一枚ずつ記憶部42から呼び出して第2画像B2とし、第2画像B2のサンプリング画像(Aスキャン画像)毎に、当該サンプリング画像に対応する画像を補間された第1画像B1´の中から探索し、探索された画像に当該サンプリング画像を加算していく処理を繰り返す。
【0043】
ステップS7における、補完された第1画像B1´のどの領域に第2画像B2の各サンプリング画像が対応するのかの探索は、例えば、次に示した相関係数rを算出することによって行うことができる。なお、第2画像B2の探索対象のサンプリング画像をA
S、補間された第1画像B1´の各領域画像をA
Cとする。
【0045】
ここで、上記式(数1)におけるA(k)は画素値の集合(画素数n)、A(上に横線)は画素値の平均である。上記式(数1)を用いて、探索対象のサンプリング画像A
Sと補間された第1画像B1´の各領域画像A
Cについて相関係数rを算出し、相関係数rが最大になるようにマッチングすることにより、当該サンプリング画像A
Sが補間された第1画像B1´のどの領域に対応するのか探索することができる。
【0046】
なお、探索対象となるサンプリング画像A
Sの全体ではなく、所定の領域のみを用いてマッチングを行うことによって、探索時間の短縮を図ることができる。例えば、関心領域として合計輝度値が大きくなるか、輝度値のコントラスト(最大値、最小値)が大きいか、又はエッジ強度の合計値が大きくなる網膜層の領域若しくは病変のある領域を設定し、当該関心領域のみについてマッチングしてもよい。
【0047】
また、補間された第1画像B1´の全ての領域画像A
Cを探索領域とせず、所定の領域のみを探索領域としてマッチングを行うことによって、探索時間の短縮を図ることができる。例えば、探索対象となるサンプリング画像A
Sの第2画像B2における位置を基準位置とし、その基準位置及び左右両隣の計三つの領域に対応する補間された第1画像B1´の領域のみを探索領域とし、当該三つの探索領域のみについてマッチングしてもよい。
【0048】
ステップS7における、探索対象のサンプリング画像A
Sを探索された補間された第1画像B1´の対応領域に加算する処理は、第2画像B2の各サンプリング画像について繰り返し行われる。また、以上説明したステップS6及びS7を加算対象としたい所望の枚数の断層画像T
iについて繰り返し、補間された第1画像B1´への加算処理が終了した後にその平均を求めることにより、高解像度の読影用画像を生成することができる。
【0049】
このように、本実施形態に係る画像処理システムによれば、固視微動の影響を極力排除した加算処理のために適切な基準画像を得ることができるとともに、当該基準画像を用いて加算処理を行うことによって読影に適した極めて高品質の読影用画像を得ることができる。
【0050】
以上、本発明に係る画像処理システムについて図面に基づいて説明してきたが、本発明は上記実施形態に限定されることはなく、種々の変更実施が可能である。また、本発明は、眼底断層画像以外の画像を処理する画像処理システムにも適用可能である。
【0051】
例えば、本実施形態においては、異なる時間での略同一箇所の断層画像T
i(i=1〜N)が100枚形成される過程で、100枚のうち最初に形成された断層画像T
1のみサンプリング間隔が他の断層画像とは異なっているが、これに限られるものではなく、最初に形成された断層画像T
1以外の断層画像T
iのサンプリング間隔も他の断層画像と異なるサンプリング間隔となっていてもよい。例えば、断層画像T
iのうち最初に形成された10枚をサンプリング間隔の広い断層画像とし、残りの90枚をサンプリング画像の細かい断層画像としてもよい。
【0052】
また、サンプリング間隔を3段階、4段階と変化させてもよく、粗いが速い走査から、細かいが遅い走査へと、徐々にサンプリング間隔及び走査速度を変更していってもよい。例えば、最初は対象物に対して5ラインのAスキャン画像が生じるようなサンプリング間隔で走査し、次は対象物に対して9ラインのAスキャン画像が生じるようなサンプリング間隔で走査し、次は対象物に対して17ラインのAスキャン画像が生じるようなサンプリング間隔で走査し、と徐々にサンプリング間隔を短く、サンプリング数を多くしていってもよい。