(58)【調査した分野】(Int.Cl.,DB名)
前記特定の波長帯域は、ヘモグロビンの吸収波長帯域である550nm〜590nmよりも最大値が小さい波長帯域であることを特徴とする請求項1から請求項3のいずれか一項に記載の診断システム。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のように、生体内の分光情報を入手することにより、その分光特性から、生体組織における病変部の存在を判定することが可能である。しかしながら、生体組織中のどの領域に病変部に起因する分光変化が存在するかを判断し、位置や範囲を特定する方法は提案されていない。
【0006】
本発明は上記の問題を解決するためになされたものである。すなわち、本発明は、生体組織の病変部の領域を判断する際に有用な指標値を生成する診断システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するため、本発明の診断システムは、体腔内の所定の対象波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、分光画像データを取得して該分光画像データから病変部である可能性が高い領域を示す指標値を演算する画像処理手段と、指標値が表示されるモニタとを有し、該画像処理手段は、分光画像の各座標について、該対象波長領域の全ての分光画像の輝度値の累計値と特定の波長帯域の分光画像の輝度値の比率を、指標値として演算する。
【0008】
上記のように、生体組織の病変部の分光特性は、特定の波長帯域の輝度値が健常部のものと比べて変化することが知られている。しかしながら、生体試料の反射角度を一定にすることは困難であり、分光画像データから得られるスペクトルは、照明光の試料への照射角度により、その全体的な光量レベルが変化することになる。そのため、本発明においては、まず、分光画像の画素の輝度値の累計値を求め、その値をもとに画素の輝度値を基準化する。特定画素の注目する波長帯域の分光強度と、該特定画素の輝度値の累積輝度値との比率を求め、照明光と試料の照射角度による輝度値のバラツキを補正する。この方法により得られた指標値は、特定波長の分光特性が波長領域全体に対して占める割合を示す。たとえば、この比率の大きい領域は、注目する波長領域の輝度成分が、大きい、すなわち、分光特性変化が他の領域より特徴的であることが示される。また、病変部に特徴的な分光変化が既知である場合は、病変部として注目すべき領域であることが示される。2次元領域の分光情報が利用可能な場合は、上記の処理を画素ごとに施し、範囲診断としての疾患情報を得ることが可能となる。
【0009】
画像処理手段は、指標値をグラフ化した指標グラフをモニタに表示させる構成とすることが好ましい。
【0010】
このような構成とすると、どの領域が病変部である可能性が高いといえるかを、指標グラフを参照することによって容易に判断できる。
【0011】
また、画像処理手段は、分光画像データのうち、青色、緑色、赤色の波長帯域のものを合成してカラー画像データを生成し、モニタには、カラー画像データと指標グラフとが並べられて表示される構成とすることも可能である。
【0012】
このような構成とすると、分光画像撮影手段によって撮影された生体組織のカラー画像と指標グラフとの比較により、どの領域が病変部である可能性が高いといえるかをより容易に判断可能となる。
【0013】
ここで注目する、特定の波長帯域は、ヘモグロビンの吸収波長帯域である550nm〜590nmよりも最大値が小さい波長帯域である構成とすることが好ましい。特定の波長帯域は、例えば、480〜520nmである。
【発明の効果】
【0014】
以上のように、本発明によれば、生体組織中の病変の存在領域を判断する際に有用な指標値を得ることが可能となる。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
図1は、本実施形態の診断システム1のブロック図である。本実施形態の診断システム1は、胃や腸等の消化器の疾患を診断する際に医師によって参照される指標画像を生成するものである。診断システム1は、電子内視鏡100と、電子内視鏡用プロセッサ200と、画像表示装置300と、を有する。また、電子内視鏡用プロセッサ200には、光源部400と、画像処理部500が内蔵されている。
【0017】
電子内視鏡100は、体腔内に挿入される挿入管110を有し、挿入管110の先端部(挿入管先端部)111に、対物光学系121が設けられている。挿入管先端部111の周囲の生体組織Tの対物光学系121による像は、挿入管先端部111に内蔵されている撮像素子141の受光面に結像するようになっている。
【0018】
撮像素子141は、受光面に結像した像に対応する映像信号を、周期的に(例えば1/30秒おきに)出力している。撮像素子141から出力された映像信号は、ケーブル142を介して電子内視鏡用プロセッサ200の画像処理部500に送られる。
【0019】
画像処理部500は、A/D変換回路510、一時記憶メモリ520、コントローラ530、ビデオメモリ540及び信号処理回路550を有する。A/D変換回路510は、電子内視鏡100の撮像素子141からケーブル142を介して入力される映像信号をA/D変換してデジタル画像データを出力する。A/D変換回路510から出力されるデジタル画像データは、一時記憶メモリ520に送られ記憶される。コントローラ530は、一時記憶メモリ520に記憶された任意の単数又は複数の画像データを処理して一枚の表示用画像データを生成し、これをビデオメモリ540に送る。例えば、コントローラ530は、単一の画像データから生成された表示用画像データ、複数の画像データの画像が並べて表示される表示用画像データ、或いは複数の画像データを画像演算して得られた画像や、画像演算の結果得られるグラフが表示されている表示用画像データ等を生成して、これをビデオメモリ540に記憶させる。信号処理回路550は、ビデオメモリ540に記憶されている表示用画像データを所定の形式(例えばNTSC形式)のビデオ信号に変換し、出力する。信号処理回路550から出力されたビデオ信号は、画像表示装置300に入力される。この結果、電子内視鏡100によって撮像された内視鏡画像等が、画像表示装置300に表示される。
【0020】
また、電子内視鏡100にはライトガイド131が設けられている。ライトガイド131の先端部131aは挿入管先端部111の近傍に配置されており、一方ライトガイド131の基端部131bは電子内視鏡用プロセッサ200に接続されている。電子内視鏡用プロセッサ200は、キセノンランプ等の光量の大きい白色光を生成する光源430等を有する光源部400(後述)を内蔵しており、この光源部400によって生成された光は、ライトガイド131の基端部131bに入射するようになっている。ライトガイド131の基端部131bに入射した光は、ライトガイド131を通ってその先端部131aに導かれ、先端部131aから放射される。電子内視鏡100の挿入管先端部111の、ライトガイド131の先端部131aの近傍には、レンズ132が設けられており、ライトガイド131の先端部131aから放射される光は、レンズ132を透過して、挿入管先端部111の近傍の生体組織Tを照明する。
【0021】
このように、電子内視鏡用プロセッサ200は、電子内視鏡100の撮像素子141から出力される映像信号を処理するビデオプロセッサとしての機能と、電子内視鏡100の挿入先端部111近傍の生体組織Tを照明するための照明光を電子内視鏡100のライトガイド131に供給する光源装置としての機能を兼ね備えるものである。
【0022】
本実施形態においては、電子内視鏡用プロセッサ200の光源部400は、光源430と、コリメータレンズ440と、分光フィルタ410と、フィルタ制御部420と、集光レンズ450とを有している。光源430から出射される白色光は、コリメータレンズ440によって平行光となり、分光フィルタ410を通過した後、集光レンズ450によってライトガイド131の基端部131bに入射する。分光フィルタ410は、光源430から入射される白色光を所定の波長の光に分光する(すなわち、波長選択する)円盤型のフィルタであり、回転角度に応じて400、405、410、・・・、800nmの狭帯域(帯域幅約5nm)の光を波長選択して出力する。分光フィルタ410の回転角度は、コントローラ530に接続されたフィルタ制御部420によって制御されており、コントローラ530がフィルタ制御部420を介して分光フィルタ410の回転角度を制御することにより、所定の波長の光がライトガイド131の基端部131bに入射し、挿入管先端部111の近傍の生体組織Tを照明する。そして、生体組織Tによって反射された光が、上述のように撮像素子141の受光面に結像し、映像信号がケーブル142を介して画像処理部500に送られる。
【0023】
画像処理部500は、ケーブル142を介して得られた生体組織Tの像から、波長5nm刻みの複数の分光画像を得る装置である。具体的には、分光フィルタ410が、中心波長400、405、410、・・・、800nmの狭帯域(帯域幅約5nm)の光をそれぞれ波長選択して出力している場合に、各波長の分光画像を得る。
【0024】
画像処理部500は、分光フィルタ410によって生成される複数の分光画像を処理して、後述するようにカラー画像又は病変部の位置を示す指標グラフ等の画像を生成する機能を有する。そして、画像処理部500は、処理された分光画像を画像表示装置300に表示させる。
【0025】
なお、分光フィルタ410には、分光フィルタ(ファブリ=ペロー型のフィルタ等)や、透過型回折格子を使用して分光画像を得る、既知の分光画像撮影方法を採用したものが利用可能である。
【0026】
前述のように、本実施形態の画像処理部500は、波長の異なる複数枚の分光画像を用いて、病変部である可能性が高い領域の位置を示す指標グラフを生成する機能を有する。この指標グラフ生成機能について、以下に説明する。
【0027】
まず、本実施形態の画像処理部500によって生成される指標グラフの元となる指標値について説明する。
図2は、胃粘膜の画像中の複数の画素のスペクトルを示すグラフである。なお、
図2(a)は、胃粘膜の健常部に対応する画素のスペクトルを示したものであり、
図2(b)は、胃粘膜の病変部に対応する画素のスペクトルを示したものである。
図2に示されるように、胃粘膜画像のスペクトルは、健常部であるか病変部であるかに拘わらず、波長600〜700nmに大きなピーク(第1のピーク)を有し、且つ、波長500nmを中心に小さなピーク(第2のピーク)を有するものとなっている。
【0028】
図2に示されるように、健常部分及び病変部の各画素のスペクトルは、大凡似たような特性であることが確認されているが、2次元に分布する複数の地点で計測を実施した場合には、照明光と被写体の角度や、電子内視鏡100の挿入管先端部111(
図1)からの距離の違いにより、計測に有効な光量は地点ごとに異なる。この光量差の影響を補正するため、
図2に示される各スペクトルを輝度値に関わらず、波長ごとの相対強度の情報に置き換え、比較検討するために基準化処理を行っている。なお、この基準化処理は、下記の手順により行われる。なお、以下に説明する基準化処理は、標本となる複数の画素のうち、最大輝度が最も大きくなるような画素を基準として、他の画素を基準化する際の係数を求めるものである。
【0029】
まず、胃の粘膜の画像中の各画素のスペクトルをO
n(λ
i)とする。ここで、nは標本番号であり、ここでは、2次元的各地点の分光強度を示す。なお、上記各画素は、健常部の画素と病変部の画素とが混在したものである。また、λ
iは、スペクトルにおける中心波長であり、λ
1=400nm、λ
2=405nm、・・・、λ
81=800nmのいずれかの値をとる。まず、O
n(λ)の最大値が最も大きくなる標本Nを探す。次いで、n≠NのO
n(λ)に対して、下記の数1を満たす定数Knを求める。
【0031】
ここでKは、各地点の光量差を計算して最適化される係数群を示す。なお、ここでの計算は、物質の化学的濃度を反映するために、対数表示としたが、通常の反射強度での計算も適応可能である。
【0032】
以上の手順で、
図2に示されるスペクトルを基準化して得られるスペクトルを
図3に示す。
図3の実線は、胃粘膜の健常部に対応する画素のスペクトルを基準化して示したものであり、点線は、胃粘膜の病変部に対応する画素のスペクトルを基準化して示したものである。
図3に示されるように、基準化後は、第1のピークについては画素ごとの差が殆ど無くなる一方、第2のピークについては、健常部の画素の方が、病変部の画素よりも、レベルが明らかに高いことが分かる。また、第1のピークと第2のピークとの間の谷間(波長550nm近傍)のレベルもまた、健常部の画素の方が病変部の画素よりも高いことが分かる。すなわち、波長480〜590nmの帯域において、健常部の画素の方が病変部の画素よりも大きくなっていることが分かる。すなわち、480〜590nmを中心とする帯域の分光学的レベル差を、2次元的に抽出しうることが分かる。
【0033】
ここで、波長550〜590nmの帯域は、ヘモグロビンの吸収波長帯域であることが知られている。換言すれば、波長550〜590nmの帯域においてレベルが低い場合は、単に血管の密度が大きい部位である可能性が高く、血液由来の情報を追跡している可能性が高い。そこで、本実施形態においては、上記のヘモグロビンの吸収波長帯域よりも波長の最大値が小さい帯域、例えば波長500nm近傍(480〜520nm等)の帯域を、病変部を示す新たなマーカとして利用している。すなわち、波長480〜520nmの帯域とヘモグロビンの吸収波長帯域のそれぞれ独立する2つの情報を用い、より詳細で確度の高い診断支援情報を提供しているといえる。
【0034】
すなわち、本実施形態の診断システム1は、480〜520nmを中心とする波長帯域のレベルを、病変部を示すマーカとして利用し、病変部である可能性が高い領域の位置を示す指標グラフを生成している。そして、これによって、あらゆる疾患部分の特徴変化が含まれる分光特性情報において、その情報に基づいた診断支援情報の提供ができることとなる。
【0035】
しかしながら、上記の基準化処理は、演算処理が重く、内視鏡観察を行いながら基準化処理を行って、実時間の動画として指標値を表示することは難しかった。そのため、本実施形態においては、基準化処理を簡略化して、極めて短い時間で指標値を得る構成としている。
【0036】
図2に示されるように、内視鏡画像の各画素の輝度値の平均値に関する寄与は、第1のピーク周辺の成分が支配的であり、第2のピーク周辺の成分の寄与率は低い。そのため、分光画像から得られる内視鏡画像の各画素の輝度値の累計値に対する第2のピーク周辺の輝度値の比を各画素に対して演算することによって得られるデータは、上記の(各画素の輝度値をKn乗する)基準化処理を行ったスペクトルの波長500nm近傍の輝度値と同様、病変部である可能性が高い領域の位置を示す指標として機能する。本実施形態においては、各画素の輝度値の累計値を第2のピーク周辺の輝度値で割ったデータを病変部である可能性が高い領域の位置を示す指標として使用する。すなわち、分光画像に基づいて、座標(x,y)の画素の輝度値O
I(x,y,λ)から、数2に基づく演算を行って、座標(x,y)の指標値O
O(x,y)を求める。
【0038】
なお、上記数2において、λ
iは、数1と同様、スペクトルにおける中心波長であり、λ
1=400nm、λ
2=405nm、・・・、λ
81=800nmのいずれかの値をとる。ma及びmbは、ma≦mbとなる自然数であり、波長帯域λ
ma〜λ
mbが第2のピーク周辺の波長帯域に含まれるよう、適宜選択される。また、MはO
O(x,y)が適切な範囲(例えば0から1の間)に収まるよう(すなわち、O
O(x,y)の最大値が適切な大きさとなるよう)適宜定められる係数である。上記のように、数2で得られるO
O(x,y)は内視鏡画像の各画素の輝度の累計値を第2のピーク周辺の輝度値で割った値であるため、数2によって得られたO
O(x,y)が大きい座標(x,y)は、病変部である可能性が高い領域であると推定される。
【0039】
本実施形態の診断システム1による、指標グラフ生成のための手順について説明する。
図4は、本実施形態の画像処理部500によって実行される、指標グラフの生成及び画像表示装置300への表示を行うためのルーチンのフローチャートである。本ルーチンは、画像処理部500の電源投入時に実行される。
【0040】
本ルーチンが開始すると、ステップS1が実行される。ステップS1では、画像処理部500は、指標グラフを作成する際に輝度値の累計値(数2右辺の分子)と比較する波長帯域の下限λ
maと上限λ
mbの入力を促すメッセージを画像表示装置300に表示させると共に、λ
ma及びλ
mbの入力を受け付ける。画像処理部500の不図示の入力手段(キーボード等)によって、λ
ma及びλ
mbが入力されると、ステップS2に進む。
【0041】
ステップS2では、画像処理部500は、フィルタ制御部400に分光画像を取得させるための制御信号を送る。フィルタ制御部400は、この制御信号を受信すると、分光フィルタ410の回転角度を制御し、400、405、410、・・・、800nmの狭帯域(帯域幅約5nm)の光を順次波長選択し、画像処理部500は、各波長で得られる分光画像を撮影して一時記憶メモリ520に記録する。次いでステップS3に進む。
【0042】
ステップS3では、ステップS2にて取得した分光画像のうち、中心波長が435nm、545nm、及び700nmとなる3枚の画像を取り出し、中心波長が435nmの画像を青色プレーンに、中心波長が545nmの画像を緑色プレーンに、中心波長が700nmの画像を赤色プレーンに記憶させた一枚のカラー画像データを生成する。このカラー画像データは、上記のように青色の波長である435nmの分光画像、緑色の波長である545nmの分光画像及び赤色の波長である700nmの分光画像から得られるものであり、通常観察の内視鏡画像と同等のカラー画像となる。そして、画像処理部500は、生成されたカラー画像データをビデオメモリ540に送り画像表示装置300のスクリーンの左側に表示させる。次いで、ステップS4に進む。
【0043】
ステップS4では、ステップS2又はS3が実行されている間に、画像処理部500の入力手段が操作されて、指標グラフの生成を指示するトリガ入力が発生したかどうかの確認が行われる。トリガ入力が発生していないのであれば(S4:NO)、ステップS2に進み、再度分光画像の取得が行われる。すなわち、トリガ入力が無い限り、分光画像から得られるカラー画像は、逐次更新されて画像表示装置300に表示され続ける。一方、ステップS2からS3が実行されている間にトリガ入力が発生していた場合は(S4:YES)、ステップS5に進む。
【0044】
ステップS5では、ステップS1で入力されたλ
ma及びλ
mb及びステップS2で取得した分光画像から、数2を用いて指標値を作成する。次いで、ステップS6に進む。
【0045】
ステップS6では、ステップS5で作成された指標値をグラフ化した指標グラフを、画像表示装置300のスクリーンの右側に表示させる。この結果、画像表示装置300のスクリーンには内視鏡画像のカラー画像と指標グラフとが並べて配置されることになり、診断システム1の使用者は、カラー画像と指標グラフとを比較することにより、カラー画像中のどの領域が病変部であるのかを判断することができる。次いで、ステップS7に進む。
【0046】
ステップS7では、画像処理部500は、再度指標グラフを作成するかどうかを問い合わせるメッセージを画像表示装置300に表示させると共に、入力手段からの入力を受け付ける。診断システム1の使用者が入力手段を操作して、指標グラフを再度作成することを選択した場合は(S7:YES)、ステップS1に戻る。一方、一定時間(例えば数秒)の間、指標グラフの再度の作成が指示されなかった場合は(S7:NO)、ステップS8に進む。
【0047】
ステップS8では、画像処理部500は、指標グラフの表示を終了させるかどうかを問い合わせるメッセージを画像表示装置300に表示させると共に、入力手段からの入力を受け付ける。診断システム1の使用者が入力手段を操作して、指標グラフの表示を終了することを選択した場合は(S8:YES)、本ルーチンを終了する。一方、一定時間(例えば数秒)の間、指標グラフの表示が指示されなかった場合は(S8:NO)、ステップS7に進む。
【0048】
以上のように、
図4のフローチャートで示されるルーチンを画像処理部500が実行することにより、病変部の位置を推定する際に参照される指標グラフが、画像表示装置300に表示される。
【0049】
上記のように、本実施形態においては、病変部のマーカとして機能する波長域(λ
ma、λ
mb)を、診断システム1の使用者が手動で入力するようになっている。しかしながら、本発明は上記の構成に限定されるものではなく、病変部のマーカとして機能する波長域を固定値(例えば480nm〜520nm、或いは500nm)とする構成としてもよい。
【0050】
また、本実施形態においては、異なる波長の分光画像から各画素の輝度値の累計値と第2のピーク周辺の輝度値とを求め、病変部である可能性が高い領域の位置を示す指標として使用する構成としたが、本発明はこの構成に限定されるものではない。数2の分子(すなわち、各画素の輝度値の累計値)部分は、特定の波長の分光画像のデータを必要とするものではなく、一定のモノクロ画像用の輝度情報があれば演算が可能である。従って、各画素の輝度値の累計値を得る処理に代えて、例えば、分光フィルタ140を退避した上で、白色光による各画素の輝度値を求める構成としても良い。また、撮像素子141がその前面にカラーフィルタを有する場合には、通常のR(レッド)−G(グリーン)−G(グリーン)−B(ブルー)ベイヤー配列のフィルタに代えて、R(レッド)−GY(グレイ)−G(グリーン)−B(ブルー)のベイヤー配列されたカラーフィルタを配置し、分光フィルタ140を退避した上で、GY(グレイ)のフィルタで得られる輝度情報を用いてもよい。このような構成とすることにより、異なる波長の分光画像から各画素の輝度値の累計値を求める必要が無くなるため、数2の演算処理を容易且つ高速に行うことが可能となる。
【実施例】
【0051】
本実施形態の診断システム1を用いた胃粘膜の診断の一例を以下に示す。
図5は、内視鏡画像の分光画像を本実施形態の診断システム1にて処理することによって得られた指標値O
O(x,y)をマッピングした指標グラフである。指標値O
O(x,y)を得るに当って、λ
ma及びλ
mbは、500nmに設定されている。
【0052】
図5に示されるように、本実施例においては、指標グラフは等高線図として示されており、指標値O
O(x,y)の高い(すなわち、病変部である可能性が高い)領域は、濃度が薄く(すなわち、白色に近い)且つ等高線図上高く位置している。このため、指標グラフから病変部の位置を推定可能である。
【0053】
なお、本実施例では、指標グラフを等高線図として示したが、本発明は上記の構成に限定されるものではない。例えば、単に濃淡のみで病変部の位置を示す(すなわち、座標(x,y)の輝度がO
O(x,y)に比例するような図を指標グラフとする)、或いは、指標グラフを表示せず、画像表示装置300に表示されるカラー画像において、O
O(x,y)の値が所定の閾値を超える領域に、枠等のマークを重畳する構成も又、本発明に含まれる。