(58)【調査した分野】(Int.Cl.,DB名)
前記定数kの値が、前記モル濃度比の既知の値が異なる複数の生体組織のそれぞれについて前記指標Xの実測値を取得し、前記モル濃度比の既知の値と前記指標Xの実測値との関係を示す検量線が前記モル濃度比の値と前記指標Xの理論値との関係を示す基準線に最も近づくように決定された、
請求項11に記載の分析装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載されているような波長分解能の高い分光画像を得るには、波長を変えながら多数の画像を撮像する必要がある。さらに、画像の解析に必要な計算量も多く、長い計算時間を要する。すなわち、有効な診断支援情報を得るためには、比較的に煩雑な撮影操作と計算を繰り返すことが必要となり、長い時間を要するという問題がある。
【0007】
本発明は上記の事情に鑑みてなされたものであり、酸素飽和度分布等の生体物質の分布を表わす画像情報を短時間で取得可能な分析装置及び分析方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の実施形態に係る分析装置は、光源装置と、光源装置が発生する光により照明された生体組織を撮像して画像データを生成する撮像素子と、画像データに基づいて、生体組織に含まれる第1及び第2生体物質のモル濃度比を示す指標Xを計算する指標計算部と、を備え、光源装置が、第1及び第2生体物質が吸収を有する第1照明波長域の光と、第1照明波長域内にある第2照明波長域の光と、を切り替えて発生し、指標計算部が、第1照明波長域の光の照明下で生体組織を撮像して得た第1画像データG
1と、第2照明波長域の光の照明下で生体組織を撮像して得た第2画像データG
2と、に基づいて指標Xを計算する。
【0009】
上記の分析装置において、第1照明波長域が第1及び第2生体物質の両方の吸収ピーク波長を含み、第2照明波長域が第1及び第2生体物質のいずれか一方の吸収ピーク波長を含む構成としてもよい。
【0010】
また、上記の分析装置において、第1照明波長域が、第2照明波長域の短波長側に隣接し、第1及び第2生体物質の他方の生体物質の吸収ピーク波長を含む波長域と、第2照明波長域の長波長側に隣接し、この他方の生体物質の吸収ピーク波長を含む波長域と、を含む構成としてもよい。
【0011】
また、上記の分析装置において、光源装置が、広帯域光を発生する光源と、広帯域光から第1照明波長域の光を選択的に取り出す第1光学フィルタと、広帯域光から第2照明波長域の光を選択的に取り出す第2光学フィルタと、を備えた構成としてもよい。
【0012】
また、上記の分析装置において、指標計算部が、第1画像データG
1に基づいて第1照明波長域における生体組織の吸収A
1を計算し、第2画像データG
2に基づいて第2照明波長域における生体組織の吸収A
2を計算し、吸収A
1及び吸収A
2に基づいて指標Xを計算する構成としてもよい。
【0013】
また、上記の分析装置において、指標計算部が、数式1及び数式2のいずれかにより吸収A
1を計算し、
【数1】
【数2】
数式3及び数式4のいずれかにより吸収A
2を計算する構成としてもよい。
【数3】
【数4】
【0014】
また、上記の分析装置において、指標計算部が、数式5及び数式6のいずれかにより指標Xを計算する構成としてもよい。
【数5】
【数6】
(但し、kは定数。)
【0015】
また、上記の分析装置において、指標計算部が、数式7により指標Xを計算する構成としてもよい。
【数7】
(但し、k、w1、w2は定数。)
【0016】
また、上記の分析装置において、指標計算部が、数式8により指標Xを計算する構成としてもよい。
【数8】
(但し、k、w1、w2は定数。)
【0017】
また、上記の分析装置において、指標計算部が、数式9により指標Xを計算する構成としてもよい。
【数9】
(但し、k、w1、w2は定数。)
【0018】
また、上記の分析装置において、定数kの値が、モル濃度比が既知の生体組織を撮像して得た第1画像データG
1及び第2画像データG
2に基づいて計算された指標Xの値がその理論値に最も近づくように決定された構成としてもよい。
【0019】
また、上記の分析装置において、定数kの値が、モル濃度比の既知の値が異なる複数の生体組織のそれぞれについて指標Xの実測値を取得し、モル濃度比の既知の値と指標Xの実測値との関係を示す検量線がモル濃度比の値と指標Xの理論値との関係を示す基準線に最も近づくように決定された、構成としてもよい。
【0020】
上記の分析装置において、定数kの値が1である構成としてもよい。
【0021】
また、上記の分析装置において、光源装置が、第1照明波長域と比べて生体組織の吸収が十分に低い第3照明波長域の光を広帯域光から選択的に取り出す第3光学フィルタを備え、撮像素子が、第3照明波長域の光の照明下で生体組織を撮像して第3画像データR
3を生成し、指標計算部が、第1画像データG
1を第3画像データR
3で除算して第1規格化反射率SR
1を計算し、数式10及び数式11のいずれかにより吸収A
1を計算し、
【数10】
【数11】
第2画像データG
2を第3画像データR
3で除算して第2規格化反射率SR
2を計算し、数式12及び数式13のいずれかにより吸収A
2を計算する構成としてもよい。
【数12】
【数13】
【0022】
また、上記の分析装置において、撮像素子が、第1照明波長域の光の照明下で無彩色の色基準板を撮像して第1ベースライン画像データBL
1を生成し、第2照明波長域の光の照明下で色基準板を撮像して第2ベースライン画像データBL
2を生成し、第3照明波長域の光の照明下で色基準板を撮像して第3ベースライン画像データBL
3を生成し、指標計算部が、数式14により第1規格化反射率SR
1を計算し、数式15により第2規格化反射率SR
2を計算する構成としてもよい。
【数14】
【数15】
【0023】
また、上記の分析装置において、第3照明波長域は赤色の波長域であり、第3画像データR
3は、RGBカラーフィルタを備えた撮像素子のRフィルタが装着された受光素子によって撮像された画像データである構成としてもよい。
【0024】
また、上記の分析装置において、撮像素子が、RGBカラーフィルタを備えたカラー撮像素子であり、第1照明波長域の光の照明下で無彩色の色基準板を撮像して第1ベースライン画像データBL
1を生成し、第2照明波長域の光の照明下で色基準板を撮像して第2ベースライン画像データBL
2を生成し、白色光の照明下で色基準板を撮像してRGB3原色の第3ベースライン画像データBL
3R、BL
3G、BL
3B、を生成し、白色光の照明下で生体組織を撮像してRGB3原色の通常観察画像データR
N、G
N、B
Nを生成し、指標計算部が、数式16により第1規格化反射率SR
1を計算し、数式17により第2規格化反射率SR
2を計算する構成としてもよい。
【数16】
【数17】
【0025】
また、上記の分析装置において、第1画像データG
1を取得する際の露出が第2画像データG
2を取得する際の露出と同程度となるように、第1照明波長域の光を減光する減光手段を備えた構成としてもよい。
【0026】
また、上記の分析装置において、第1生体物質が酸素化ヘモグロビンであり、第2生体物質が還元ヘモグロビンであり、モル濃度比が酸素飽和度である構成としてもよい。
【0027】
また、上記の分析装置において、吸収はヘモグロビンのQ帯の吸収であり、第1画像データG
1及び第2画像データG
2は、RGBカラーフィルタを備えた撮像素子のGフィルタが装着された受光素子によって撮像された画像データである構成としてもよい。
【0028】
また、上記の分析装置において、指標計算部が、指標Xに基づき、生体組織中の第1及び第2生体物質のモル濃度比の分布を表す分布画像を生成する構成としてもよい。
【0029】
また、上記の分析装置において、広帯域光が白色光であり、撮像素子が、白色光の照明下で生体組織を撮像して通常観察画像データを生成し、指標計算部が、第1画像データG
1に基づいて総ヘモグロビン量を示す指標Yを計算し、指標Yが第1基準値よりも大きく、且つ、指標Xが第2基準値よりも小さい画素を病変部として抽出し、通常観察画像データの病変部に対応する画素について強調表示処理を行い、病変部強調画像を生成する構成としてもよい。
【0030】
また、上記の分析装置において、撮像素子が先端部に設けられた内視鏡を備えた構成としてもよい。
【0031】
本発明の実施形態に係る分析方法は、分析装置が実行する分析方法であって、生体組織に含まれる第1及び第2生体物質が吸収を有する第1照明波長域の光の照明下で生体組織を撮像して第1画像データG
1を取得するステップと、第1照明波長域内にある第2照明波長域の光の照明下で生体組織を撮像して第2画像データG
2を取得するステップと、第1画像データG
1及び第2画像データG
2に基づいて、生体組織に含まれる第1及び第2生体物質のモル濃度比を示す指標Xを計算するステップとを含む。
【発明の効果】
【0032】
本発明によれば、酸素飽和度分布等の生体物質の分布を表わす画像情報を短時間で取得することが可能になる。
【発明を実施するための形態】
【0034】
以下、本発明の実施の形態について、図面を参照しながら説明する。
以下に説明する本発明の実施形態に係る内視鏡装置は、波長域の異なる光で撮像した複数の画像に基づいて被写体の生体情報(例えば、酸素飽和度)を定量的に分析して、分析結果を画像化して表示する装置である。以下に説明する酸素飽和度の定量分析では、血液の分光特性(すなわち、ヘモグロビンの分光特性)が酸素飽和度に応じて連続的に変化する性質が利用される。
【0035】
(ヘモグロビンの分光特性及び酸素飽和度の計算原理)
本発明の実施形態に係る内視鏡装置の詳しい構成を説明する前に、ヘモグロビンの分光特性と、本実施形態における酸素飽和度の計算原理について説明する。
【0036】
図1に、550nm付近のヘモグロビンの吸収スペクトルを示す。ヘモグロビンは、550nm付近にポルフィリンに由来するQ帯と呼ばれる強い吸収帯を有している。ヘモグロビンの吸収スペクトルは、酸素飽和度(全ヘモグロビンのうち酸素化ヘモグロビンが占める割合)に応じて変化する。
図1における実線の波形は、酸素飽和度が100%の場合の(すなわち、酸素化ヘモグロビンHbOの)吸収スペクトルであり、長破線の波形は、酸素飽和度が0%の場合の(すなわち、還元ヘモグロビンHbの)吸収スペクトルである。また、短破線は、その中間の酸素飽和度(10、20、30、・・・90%)におけるヘモグロビン(酸素化ヘモグロビンと還元ヘモグロビンの混合物)の吸収スペクトルである。
【0037】
図1に示されるように、Q帯において、酸素化ヘモグロビンと還元ヘモグロビンは互いに異なるピーク波長を有している。具体的には、酸素化ヘモグロビンは、波長542nm付近の吸収ピークP1と、波長576nm付近の吸収ピークP3を有している。一方、還元ヘモグロビンは、556nm付近に吸収ピークP2を有している。
図1は、各成分(酸素化ヘモグロビン、還元ヘモグロビン)の濃度の和が一定となる2成分系の吸収スペクトルであるため、各成分の濃度(すなわち、酸素飽和度)によらず吸収が一定となる等吸収点E1、E2、E3、E4が現れる。以下の説明では、等吸収点E1とE2とで挟まれた波長領域を波長域R1、等吸収点E2とE3とで挟まれた波長領域を波長域R2、等吸収点E3とE4とで挟まれた波長領域を波長域R3と呼ぶ。また、等吸収点E1とE4とで挟まれた波長領域(すなわち波長域R1、R2及びR3を合わせたもの)を波長域R0と呼ぶ。
【0038】
図1に示されるように、隣接する等吸収点間では、酸素飽和度に対して吸収が単調に増加又は減少する。また、隣接する等吸収点間では、ヘモグロビンの吸収は、酸素飽和度に対してほぼ線形的に変化する。
【0039】
具体的には、波長域R1、R3におけるヘモグロビンの吸収A
R1、A
R3は酸素化ヘモグロビンの濃度(酸素飽和度)に対して線形的に単調増加し、波長域R2におけるヘモグロビンの吸収A
R2は還元ヘモグロビンの濃度(1−酸素飽和度)に対して線形的に単調増加する。従って、次の数式18により定義される指標Xは、酸素化ヘモグロビンの濃度(酸素飽和度)に対して線形的に単調増加する。
【数18】
【0040】
従って、予め実験的に酸素飽和度と指標Xとの定量的な関係を取得すれば、指標Xの値から酸素飽和度を計算することができる。
【0041】
(内視鏡装置の構成)
図2は、本発明の実施形態に係る内視鏡装置1のブロック図である。本実施形態の内視鏡装置1は、電子内視鏡100、プロセッサ200及びモニタ300を備えている。電子内視鏡100及びモニタ300は、プロセッサ200に着脱可能に接続されている。また、プロセッサ200には、光源部400及び画像処理部500が内蔵されている。
【0042】
電子内視鏡100は、体腔内に挿入される挿入管110を有している。電子内視鏡100の内部には、全長に亘って延びるライトガイド131が設けられている。ライトガイド131の一端部(先端部131a)は、挿入管110の先端部(挿入管先端部111)の近傍に配置されており、ライトガイド131の他端部(基端部131b)は、プロセッサ200に接続されている。プロセッサ200は、キセノンランプ等の光量の大きい白色光WLを生成する光源ランプ430等を備えた光源部400を内蔵しており、この光源部400によって生成された照明光ILは、ライトガイド131の基端131bに入射するようになっている。ライトガイド131の基端131bに入射した光は、ライトガイド131を通ってその先端部131aに導かれ、先端部131aから放射される。電子内視鏡100の挿入管先端部111には、ライトガイド131の先端部131aと対向して配置された配光レンズ132が設けられており、ライトガイド131の先端部131aから放射される照明光ILは、配光レンズ132を透過して、挿入管先端部111の近傍の生体組織Tを照明する。
【0043】
また、挿入管先端部111には対物光学系121及び撮像素子141が設けられている。生体組織Tの表面で反射又は散乱された光の一部(戻り光)は、対物光学系121に入射し、集光されて、撮像素子141の受光面に結像する。本実施形態の撮像素子141は、その受光面にカラーフィルタ141aを備えたカラー画像撮像用のCCD(Charge Coupled Device)イメージセンサであるが、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の他の種類の撮像素子を使用してもよい。カラーフィルタ141aは、赤色の光を透過させるRフィルタと、緑色の光を透過させるGフィルタと、青色の光を透過させるBフィルタとが配列され、撮像素子141の各受光素子上に直接形成された、いわゆるオンチップフィルタである。R、G、Bの各フィルタは、
図3に示すような分光特性を有している。すなわち、本実施形態のRフィルタは、波長約570nmより長波長の光を透過させるフィルタであり、Gフィルタは、波長約470nm〜620nmの光を透過させるフィルタであり、Bフィルタは、波長約530nmより短波長の光を透過させるフィルタである。
【0044】
撮像素子141は、後述する信号処理回路550と同期して駆動するように制御され、受光面に結像した像に対応する撮像信号を、周期的に(例えば、1/30秒間隔で)出力する。撮像素子141から出力された撮像信号は、ケーブル142を介してプロセッサ200の画像処理部500に送られる。
【0045】
画像処理部500は、A/D変換回路510、一時記憶メモリ520、コントローラ530、ビデオメモリ540及び信号処理回路550を備えている。A/D変換回路510は、電子内視鏡100の撮像素子141からケーブル142を介して入力される撮像信号をA/D変換してデジタル画像データを出力する。A/D変換回路510から出力されるデジタル画像データは、一時記憶メモリ520に送られ記憶される。なお、デジタル画像データには、Rフィルタが装着された受光素子によって撮像されたRデジタル画像データ、Gフィルタが装着された受光素子によって撮像されたGデジタル画像データ及びBフィルタが装着された受光素子によって撮像されたBデジタル画像データが含まれている。
【0046】
コントローラ530は、一時記憶メモリ520に記憶された単数又は複数のデジタル画像データを処理して一枚の表示用画像データを生成し、これをビデオメモリ540に送る。例えば、コントローラ530は、単一のデジタル画像データから生成された表示用画像データ、複数のデジタル画像データの画像が並べられた表示用画像データ、或いは複数のデジタル画像データに基づいて画素(x,y)毎に生体組織Tの反射スペクトルを生成し、これによって健常部と病変部とを識別した表示用画像データや、特定の画素(x,y)に対応する生体組織Tの反射スペクトルのグラフを表示する表示用画像データ等を生成して、これをビデオメモリ540に記憶させる。信号処理回路550は、ビデオメモリ540に記憶されている表示用画像データに基づいて所定の形式(例えば、NTSC規格やDVI規格に準拠した形式)のビデオ信号を生成して出力する。信号処理回路550から出力されたビデオ信号は、モニタ300に入力される。この結果、電子内視鏡100によって撮像された内視鏡画像等が、モニタ300に表示される。
【0047】
このように、プロセッサ200は、電子内視鏡100の撮像素子141から出力される撮像信号を処理するビデオプロセッサとしての機能と、被写体である生体組織Tを照明するための照明光ILを電子内視鏡100のライトガイド131に供給する光源装置としての機能とを兼ね備えたものである。
【0048】
光源部400は、上述の光源430の他に、コリメータレンズ440、回転フィルタ410、フィルタ制御部420及び集光レンズ450を備えている。光源430から出射される白色光WLは、コリメータレンズ440によって平行光となり、回転フィルタ410を通過した後、集光レンズ450によってライトガイド131の基端131bに入射する。なお、回転フィルタ410は、リニアガイドウェイ等の移動手段(不図示)によって、白色光WLの光路上の適用位置と光路外の退避位置との間で移動可能になっている。
【0049】
回転フィルタ410は、複数の光学フィルタを備えた円盤型の光学ユニットであり、その回転角度に応じて透過波長域が切り替わるように構成されている。回転フィルタ410の回転角度は、コントローラ530に接続されたフィルタ制御部420によって制御される。コントローラ530がフィルタ制御部420を介して回転フィルタ410の回転角度を制御することにより、回転フィルタ410を透過してライトガイド131に供給される照明光のスペクトルが切り替えられる。
【0050】
図4は、回転フィルタ410の外観図(正面図)である。回転フィルタ410は、略円盤状のフレーム411と、4つの扇形の光学フィルタ415、416、417及び418を備えている。フレーム411の中心軸の周りには4つの扇状の窓414a、414b、414c及び414dが等間隔で形成されており、各窓414a、414b、414c及び414dには、それぞれ光学フィルタ415、416、417及び418が嵌め込まれている。なお、本実施形態の光学フィルタは、いずれも誘電体多層膜フィルタであるが、他の方式の光学フィルタ(例えば、吸収型の光学フィルタや誘電体多層膜を反射膜として用いたエタロンフィルタ等)を用いてもよい。
【0051】
また、フレーム411の中心軸上にはボス穴412が形成されている。ボス穴412には、フィルタ制御部420が備えるサーボモータ(不図示)の出力軸が差し込まれて固定され、回転フィルタ410はサーボモータの出力軸と共に回転する。
【0052】
図4には、白色光WLが光学フィルタ415に入射する状態が示されているが、回転フィルタ410が矢印で示される方向に回転すると、白色光WLが入射する光学フィルタは、415、416、417、418の順に切り替わり、これにより回転フィルタ410を透過する照明光ILのスペクトルが切り替えられる。
【0053】
光学フィルタ415及び416は、550nm帯の光を選択的に透過させる光バンドパスフィルタである。
図1に示されるように、光学フィルタ415は、等吸収点E1からE4までの波長域(すなわち、波長域R0(「第1照明波長域」ともいう。))の光を低損失で透過させ、それ以外の波長領域の光を遮断するように構成されている。また、光学フィルタ416は、等吸収点E2からE3までの波長域(すなわち、波長域R2(「第2照明波長域」ともいう。))の光を低損失で透過させ、それ以外の波長領域の光を遮断するように構成されている。
【0054】
図1に示されるように、波長域R1には酸素化ヘモグロビンに由来する吸収ピークP1のピーク波長が含まれ、波長域R2には還元ヘモグロビンに由来する吸収ピークP2のピーク波長が含まれ、波長域R3には酸素化ヘモグロビンに由来する吸収ピークP3のピーク波長が含まれている。また、波長域R0には、吸収ピークP1、P2、P3の各ピーク波長が含まれている。
【0055】
光学フィルタ415及び416の透過波長域(
図1)は、カラーフィルタ141aのGフィルタの透過波長域(
図3)に含まれている。従って、光学フィルタ415又は416を通過した光によって形成される像は、Gフィルタが装着された受光素子によって撮像され、Gデジタル画像データとして得られる。
【0056】
光学フィルタ417は、生体組織T内のヘモグロビンの吸収が低い波長域である650nm帯(630〜650nm)の光のみを選択的に透過させるように設計されている。光学フィルタ417の透過波長域は、カラーフィルタ141aのRフィルタの透過波長域(
図3)に含まれている。従って、光学フィルタ417を通過した光の像は、Rフィルタが装着された受光素子によって撮像され、Rデジタル画像データとして得られる。650nm帯の照明光を使用して取得される画像データは、後述する規格化処理に使用される。
【0057】
また、光学フィルタ418は、紫外線カットフィルタであり、光学フィルタ418を透過した照明光IL(すなわち白色光)は、通常観察像の撮像に使用される。なお、光学フィルタ418を使用せず、フレーム411の窓414dを開放した構成としてもよい。
【0058】
また、窓414aには、光学フィルタ415に重ねて、減光フィルタ(NDフィルタ)419が取り付けられている。減光フィルタ419は、可視光全域に亘って波長依存性が無く、照明光ILのスペクトルを変化させずに光量のみを低減する。減光フィルタ419の使用によって、光学フィルタ415及び減光フィルタ419を透過した照明光ILの光量が、光学フィルタ416を透過した照明光ILの光量と略同程度に調整される。これにより、光学フィルタ415、416のいずれを透過した照明光ILを用いた場合でも、同じ露出時間で適正露出での撮像が可能になる。
【0059】
本実施形態では、減光フィルタ419として、目の細かな金属メッシュが使用されている。金属メッシュ以外にも、ハーフミラー等の他方式の減光フィルタを使用してもよい。また、減光フィルタを使用せずに、光学フィルタ415、416自体の透過率を調整してもよい。また、窓414c、414dにも減光フィルタを取り付けてもよい。また、窓414a〜414dの中心角(すなわち開口面積)を変えることで透過光量を調整してもよい。また、減光フィルタを使用せずに、使用する光学フィルタ毎に露出時間を調整してもよい。
【0060】
フレーム411の周縁部には、貫通孔413が形成されている。貫通孔413は、フレーム411の回転方向において、窓414aと窓414dとの境界部と同じ位置に形成されている。フレーム411の周囲には、貫通孔413を検出するためのフォトインタラプタ422が、フレーム411の周縁部の一部を囲むように配置されている。フォトインタラプタ422は、フィルタ制御部420に接続されている。
【0061】
本実施形態の内視鏡装置1は、通常観察モード、分光分析(酸素飽和度分布画像表示)モード、ベースライン測定モード及び検量モードの4つの動作モードを有している。通常観察モードは、光学フィルタ418を通過した白色光を用いてカラー画像を撮影する動作モードである。分光分析モードは、光学フィルタ415、416及び417を通過した照明光を用いて撮像したデジタル画像データに基づいて分光分析を行い、生体組織中の生体分子の分布画像(例えば酸素飽和度分布画像)を表示するモードである。ベースライン測定モードは、実際の内視鏡観察を行う前に(又は行った後で)、無彩色の拡散板(磨りガラス等)や標準反射板等の色基準板を被写体として、光学フィルタ415、416及び417を通過した照明光を用いて撮像を行い、後述する規格化処理に使用するデータを取得するモードである。検量モードは、酸素飽和度等の特性が既知のサンプルについて分光分析を行い、分析結果と理論値との差異が解消するようにパラメータ(後述する補正係数k)を調整する処理である。
【0062】
通常観察モードにおいては、コントローラ530は、移動手段を制御して、回転フィルタ410を適用位置から退避位置へ移動させる。なお、通常観察モード以外の動作モードでは、回転フィルタ410は適用位置に配置される。また、回転フィルタ410が移動手段を有しない場合は、コントローラ530は、フィルタ制御部420を制御して、白色光WLが光学フィルタ418に入射する位置で回転フィルタ410を静止させる。そして、撮像素子141によって撮像されたデジタル画像データを、必要に応じて画像処理を施した後に、ビデオ信号に変換して、モニタ300に表示させる。
【0063】
分光分析モードにおいては、コントローラ530は、フィルタ制御部420を制御して、回転フィルタ410を一定の回転数で回転駆動させながら、光学フィルタ415、416、417及び418を透過した照明光による生体組織Tの撮像を順次行う。そして、各光学フィルタ415、416及び417を用いて取得したデジタル画像データに基づいて生体組織中の生体分子の分布を示す画像を生成し、これと光学フィルタ418を用いて取得した通常観察画像とを並べた表示画面を生成して、更にビデオ信号に変換して、モニタ300に表示させる。
【0064】
分光分析モードでは、フィルタ制御部420は、フォトインタラプタ422が貫通孔413を検出するタイミングに基づいて、回転フィルタ410の回転の位相を検出し、これをコントローラ530から供給されるタイミング信号の位相と比較して、回転フィルタ410の回転の位相を調整する。コントローラ530からのタイミング信号は、撮像素子141の駆動信号と同期している。従って、回転フィルタ410は、撮像素子141の駆動と同期して、略一定の回転数で回転駆動される。具体的には、回転フィルタ410の回転は、撮像素子141による1画像分(R,G,Bの3フレーム)の撮像が行われる毎に、白色光WLが入射する光学フィルタ415〜418(窓414a〜d)が切り替わるように制御される。
【0065】
ベースライン測定モードにおいては、コントローラ530は、フィルタ制御部420を制御して回転フィルタ410を回転させながら、光学フィルタ415、416及び417を透過した照明光ILによる色基準板の撮像を順次行う。光学フィルタ415、416を透過した照明光ILを用いて撮影されたGデジタル画像データは、それぞれベースライン画像データBL
415(x,y)、BL
416(x,y)として、コントローラ530の内部メモリ531に記憶される。また、光学フィルタ417を透過した照明光ILを用いて撮影されたRデジタル画像データは、ベースライン画像データBL
417(x,y)としてコントローラ530の内部メモリ531に記憶される。
【0066】
次に、分光分析モードにおいて、画像処理部500によって実行される画像生成処理について説明する。なお、画像処理部500は、後述のように、本発明の実施形態に係る指標Xを計算することから、「指標計算部」ともいう。
図5は、画像生成処理(指標計算処理)を説明するフローチャートである。
【0067】
ユーザ操作によって、分光分析モードが選択されている場合は、上述のように、フィルタ制御部420は回転フィルタ410を一定の回転数で回転駆動する。そして、光源部400からは、光学フィルタ415、416、417、418を透過した照明光ILが順次供給され、各照明光ILを用いた撮像が順次行われる(S1)。具体的には、光学フィルタ415を透過した照明光ILを用いて撮像したGデジタル画像データG
415(x,y)、光学フィルタ416を透過した照明光ILを用いて撮像したGデジタル画像データG
416(x,y)、光学フィルタ417を透過した照明光ILを用いて撮像したRデジタル画像データR
417(x,y)並びに光学フィルタ(紫外線カットフィルタ)418を透過した照明光IL(白色光)を用いて撮像したRデジタル画像データR
418(x,y)、Gデジタル画像データG
418(x,y)及びBデジタル画像データB
418(x,y)がコントローラ530の内部メモリ532に記憶される。
【0068】
次に、画像処理部500は、処理S1にて取得したRデジタル画像データR
418(x,y)、Gデジタル画像データG
418(x,y)及びBデジタル画像データB
418(x,y)を用いて、以下の分析処理(処理S3−S7)の対象とする画素を選別する画素選別処理S2を行う。血液を含んでいない箇所や、組織の色がヘモグロビン以外の物質により支配的な影響を受けている箇所については、画素の色情報から酸素飽和度や血流量を計算しても意味のある値は得られず、単なるノイズとなる。このようなノイズを算出して医師に提供すると、医師による診断の妨げとなるだけでなく、画像処理部500に無用な負荷を与えて処理速度を低下させるという弊害が生じる。そこで、本実施形態の画像生成処理は、分析処理に適した画素(すなわち、ヘモグロビンの分光学的特徴が記録された画素)を選別して、選別された画素に対してのみ分析処理を行うように構成されている。
【0069】
画素選別処理S2では、以下の数式19、数式20及び数式21の条件を全て充足する画素のみが分析処理の対象画素として選別される。
【数19】
【数20】
【数21】
ここで、a
1、a
2、a
3は正の定数である。
【0070】
上記の3つの条件式は、血液の透過スペクトルにおける、G成分<B成分<R成分の値の大小関係に基づいて設定されている。なお、上記の3つの条件式のうちの1つ又は2つのみを使用して(例えば、血液に特有の赤色に注目して数式20及び数式21を使用して)画素選別処理S2を行っても良い。
【0071】
次に、画像処理部500は、規格化処理を行う。本実施形態の規格化処理には、内視鏡装置1自体の特性(例えば光学フィルタの透過率や撮像素子の受光感度)を補正するための第1規格化処理S3と、被写体である生体組織Tの表面状態や、生体組織Tへの照明光ILの入射角の違いによる反射率の変動を補正するための第2規格化処理S4とが含まれる。
【0072】
規格化処理においては、画像処理部500は、光学フィルタ415を透過した照明光ILを用いて取得したGデジタル画像データG
415(x,y)、光学フィルタ417を透過した照明光ILを用いて取得したRデジタル画像データR
417(x,y)及びベースライン画像データBL
415(x,y)、BL
417(x,y)から、次の数式22により、規格化反射率SR
415(x,y)が計算される。なお、各デジタル画像データG
415(x,y)、R
417(x,y)をそれぞれ対応するベースライン画像データBL
415(x,y)、BL
417(x,y)で除算することにより、内視鏡装置1の特性に依存する要素(装置関数)が取り除かれる(第1規格化処理S3)。また、Gデジタル画像データG
415(x,y)をRデジタル画像データR
417(x,y)で除算することにより、生体組織Tの表面状態や生体組織Tへの照明光ILの入射角の違いによる反射率の変動が補正される(第2規格化処理S4)。
【数22】
【0073】
同様に、次の数式23により、規格化反射率SR
416(x,y)が計算される。
【数23】
【0074】
光学フィルタ415、416を透過した照明光ILに対する生体組織Tの吸収A
415(x,y)、A
416(x,y)は、それぞれ次の数式24、25により計算される(S5)。
【数24】
【数25】
【0075】
なお、吸収A
415(x,y)及びA
416(x,y)は、それぞれ次の数式26、27により近似的に計算することもできる。
【数26】
【数27】
【0076】
また、上述した規格化処理(S3、S4)を省略して、簡易的に分光分析を行うこともできる。その場合には、吸収A
415(x,y)及びA
416(x,y)は、次の数式28、29により計算される。
【数28】
【数29】
【0077】
また、この場合、吸収A
415(x,y)及びA
416(x,y)は、それぞれ次の数式30、31により近似的に計算することもできる。
【数30】
【数31】
【0078】
また、
図1に示すヘモグロビンの吸収波長域R1、R2、R3と光学フィルタ415、416の透過波長域との関係から明らかなように、波長域R1、R2、R3に対する生体組織Tの吸収A
R1(x,y)、A
R2(x,y)、A
R3(x,y)と、光学フィルタ415、416を透過した照明光ILに対する生体組織Tの吸収A
415(x,y)、A
416(x,y)との間には、次の数式32、33に示す関係がある。
【数32】
【数33】
【0079】
従って、指標X(数式18)は、次の数式34によって表わされる。
【数34】
【0080】
ここで、kは、定数(補正係数)である。光学フィルタ415と416とは、透過波長域の幅が大きく異なるため、両者を透過する光量の違いも大きい。そのため、上述したように、光学フィルタが切り替わっても同じ露出時間で適正露出が得られるように、透過光量の大きい光学フィルタ415に減光フィルタ419を重ねて、光量を調整している。その結果、光学フィルタ415を使用して取得した吸収A
415(x,y)と、光学フィルタ416を使用して取得した吸収A
416(x,y)との定量的な関係が崩れている。また、光学フィルタ415、416の透過波長域内の透過率は100%ではなく、個体によって異なる透過損失を有している。また、光学フィルタ415、416の透過波長域にも誤差がある。そのため、減光フィルタ419を使用しなくても、吸収A
415(x,y)と吸収A
416(x,y)との定量関係には一定の誤差が含まれる。補正係数kは、吸収A
415(x,y)と吸収A
416(x,y)との定量関係の誤差を補正するものである。補正係数kを取得する方法については後述する。なお、この補正を行わない場合は、補正係数kを1とする。
【0081】
更に、数式24、25を用いて数式34を整理すると、次の数式35が得られる。
【数35】
【0082】
従って、数式35を用いて、Gデジタル画像データG
415(x,y)、G
416(x,y)、Rデジタル画像データR
417(x,y)及びベースライン画像データBL
415(x,y)、BL
416(x,y)、BL
417(x,y)から指標Xの値を計算することができる(S6)。
【0083】
また、指標Xは、次の数式36によっても近似的に求めることができる。
【数36】
【0084】
コントローラ530が備える不揮発性メモリ532には、予め実験的に取得されたヘモグロビンの酸素飽和度と指標Xの値との定量的関係を示す数値表が記憶されている。コントローラ530は、この数値表を参照して、数式35又は数式36から算出した指標Xの値に対応する酸素飽和度SatO
2(x,y)を取得する。そして、コントローラ530は、取得した酸素飽和度SatO
2(x,y)に所定の定数を乗じた値を各画素(x,y)の画素値とする画像データ(酸素飽和度分布画像データ)を生成する(S7)。
【0085】
また、コントローラ530は、光学フィルタ(紫外線カットフィルタ)418を透過した照明光IL(白色光)を用いて取得したRデジタル画像データR
418(x,y)、Gデジタル画像データG
418(x,y)及びBデジタル画像データB
418(x,y)から、通常観察画像データを生成する。
【0086】
図7にコントローラ530が生成する画像データの表示例を示す。
図7(a)は、上述の処理S7により生成した酸素飽和度分布画像データ(2次元表示)の表示例である。また、
図7(b)は、酸素飽和度を垂直軸とする3次元グラフの形式で生成した酸素飽和度分布画像データ(3次元表示)の表示例である。なお、
図7は、中指の近位指節間関節付近を輪ゴムで圧迫した状態の右手を観察したものである。右中指の圧迫部よりも遠位側において、圧迫によって血流が阻害されたことにより、酸素飽和度が低くなっていることが示されている。
【0087】
更に、コントローラ530は、生成した酸素飽和度分布画像データ及び通常観察画像データから、1画面上に通常観察画像と酸素飽和度分布画像を並べて表示する画面データを生成して、ビデオメモリ540に記憶させる。なお、コントローラ530は、ユーザ操作に応じて、酸素飽和度分布画像のみを表示する表示画面や、通常観察画像のみを表示する表示画面、酸素飽和度分布画像及び/又は通常観察画像に患者のID情報や観察条件等の付帯情報をスーパーインポーズ表示した表示画面等、種々の表示画面を生成することができる。
【0088】
次に、検量モードにおいて、補正係数kを決定する方法について説明する。本実施形態では、指標Xの理論計算値と実測値とを比較して、実測値が理論計算値に最も近い値となるように補正係数kの値を決定する。
【0089】
図6に、本発明の実施形態における補正係数kの決定に使用される検量線の例を示す。
図6(a)は、一般的な検量線の一例であり、横軸に指標Xの理論値をとり、縦軸に上記の分析処理によって取得した指標Xの実測値をとったものである。黒丸は実測値のプロットであり、破線Maは最小二乗法により実測値をフィッティングした直線である。また、実線は、理論値通りの実測値が得られた場合のプロットである基準線Refを示す。
【0090】
指標Xの実測値は、酸素飽和度が既知の生体組織(例えば、血液)のサンプルを使用した分析処理により取得される。また、数式34により定義される指標Xの理論値は、実際に使用する光学フィルタ415及び416の透過スペクトルと、血液の反射スペクトル(又は吸収スペクトル)とを用いて計算される。具体的には、指標Xの理論値は、光学フィルタ415(光学フィルタ416)の透過スペクトルと血液の反射スペクトルとを乗じて積分したものを吸収A
415(吸収A
416)とすることで、数式34から計算される。
【0091】
基準線Refと実測値Maとのずれは検量線の勾配の傾斜として表現される。十分な感度が得られない現象、いわゆる勾配が緩やかである現象は、減光フィルタ419の使用によって、数式34における吸収A
415(x,y)と吸収A
415(x,y)との間の定量的な関係が最適ではないことに起因している。補正係数kとして適切な値を選択することにより、減光フィルタ419による誤差が補正され、指標Xの実測値が理論値に対し、誤差が最少かつ最も高い相関を持つ状態とすることができる。
【0092】
図6(b)は、検量線の変形例である。
図6(b)の検量線は、横軸にサンプルの酸素飽和度をとり、縦軸に指標Xをとったものである。黒丸は実測値のプロットであり、破線Mbは最小二乗法により実測値をフィッティングした直線である。また、実線Rbは理論計算値を示す。なお、サンプルの酸素飽和度は、理想的な分光測定法により正確に測定された値である。この検量線は、
図6(a)の検量線から横軸のスケールを変更したもので、実質的に同等のものであるが、正確な酸素飽和度との関係が分かり易いという利点がある。
【0093】
なお、上記の検量線を使用して補正係数kを決定する方法は、酸素飽和度の異なる複数のサンプルの分析結果を使用するものであるが、一つのサンプルの分析結果のみを使用して補正係数kを決定することもできる。
【0094】
また、へモグロビンの吸収波長域R1、R2、R3(すなわち、光学フィルタ415の透過波長域)に着目すると、酸素飽和度の変化に応じて各波長域R1、R2、R3の吸収A
R1(x,y)、A
R2(x,y)、A
R3(x,y)は変化するが、これらの和Y(数式37に示す)は略一定となる。また、この吸収の和Yは、生体組織中の総ヘモグロビン量(酸素化ヘモグロビンHbO
2と還元ヘモグロビンHbの濃度の和)に比例するため、総ヘモグロビン量を示す指標として用いることは妥当である。
【数37】
【0095】
悪性腫瘍の組織では、血管新生により正常な組織よりも総ヘモグロビン量が多く、尚且つ、酸素の代謝が顕著であるため酸素飽和度は正常な組織よりも低いことが知られている。そこで、コントローラ530は、数式37により計算した総ヘモグロビン量を示す指標Yが所定の基準値(第1基準値)よりも大きく、且つ、数式34等により計算した酸素飽和度を示す指標Xが所定の基準値(第2基準値)よりも小さい画素を抽出して、例えば通常観察画像データの対応する画素に対して強調表示処理を行った病変部強調画像データを生成し、通常観察画像及び/又は酸素飽和度分布画像と共に(或いは単独で)病変部強調画像をモニタ300に表示することもできる。
【0096】
強調表示処理としては、例えば、該当する画素の画素値を増加させる処理や、色相を変化させる処理(例えば、R成分を増加させて赤味を強くする処理や、色相を所定角度だけ回転させる処理)、該当する画素を明滅させる(あるいは、周期的に色相を変化させる)処理がある。
【0097】
また、コントローラ530が、病変部強調画像データの代わりに、例えば、指標X(x,y)の平均値からの偏差と、指標Y(x,y)の平均値からの偏差に基づいて、悪性腫瘍の疑いの度合を示す指標Z(x,y)を計算して、指標Zを画素値とする画像データ(悪性疑い度画像データ)を生成する構成としてもよい。
【0098】
(第1変形例)
次に、上述した本発明の実施形態の第1変形例について説明する。
上述した実施形態では、数式18に示されるように、各波長域R1、R2、R3の吸収A
R1、A
R2、A
R3に重み付けをせずに(但し、各波長域の増減が揃うように符号を調整した上で)加算して、指標Xが計算された。これに対して、本変形例は、指標Xを計算する際に、各波長域の吸収A
R1、A
R2、A
R3に重み付けをすることで、酸素飽和度の変化に対する指標Xの感度を向上させるものである。
【0099】
図1に示されるように、波長域R2では、波長域R1、R3と比べて、酸素飽和度の変化に対する吸光度の変動幅が大きい。そのため、波長域R2における吸収A
R2に対する重みを大きく設定することによって、酸素飽和度の変化に対する指標Xの感度を向上させることができる。
【0100】
具体的には、吸収A
R2に対して2倍の重みを付けて、次の数式38により指標Xが計算される。
【数38】
【0101】
また、指標Xは、次の数式39によって近似的に求めることもできる。
【数39】
【0102】
なお、上述した第1変形例では、吸収A
R1、A
R3に対する吸収A
R2の重みの割合を2倍にしているが、この割合は、好適な感度やノイズ量が得られるように、他の値(例えば、1.5倍や2.4倍等)に適宜変更することができる。また、数式38を一般化して、吸収A
R1、A
R3の重みをw1とし、吸収A
R2の重みをw2とすると、数式40により指標Xを記述することができる。
【0104】
また、指標Xは、次の数式41によって近似的に求めることもできる。
【数41】
【0105】
(第2変形例)
次に、本発明の実施形態の第2変形例について説明する。
上述した実施形態では、数式18に示されるように、酸素飽和度の増大と共に吸収が増大する波長域R1、R3における吸収A
R1、A
R3の和と、酸素飽和度の増大と共に吸収が減少する波長域R2における吸収A
R2との差分により指標Xが計算された。これに対して、本変形例では、吸収A
R1、A
R3の和と吸収A
R2との比率によって指標Xが計算される。
【0106】
具体的には、次の数式42により指標Xが計算される。
【数42】
【0107】
また、指標Xは、次の数式43によって近似的に求めることもできる。
【数43】
【0108】
また、酸素飽和度に対して正の相関を有する波長域R1、R3の吸収の和A
R1+A
R3に対して重みw1を、負の相関を有する波長域R2の吸収A
R2に対して重みw2を与えて、次の数式44又は数式45により指標Xを計算してもよい。
【数44】
【数45】
【0109】
また、波長域R1、R3における吸収A
R1、A
R3は、酸素化ヘモグロビンの濃度(すなわち酸素飽和度D
Sat)に比例し、波長域R2における吸収A
R2は還元ヘモグロビンの濃度(すなわち1−D
Sat)に比例するため、数式42の第1行から次の数式46が得られる。
【数46】
【0110】
従って、数式46によって計算された指標Xは、酸素飽和度の増加に伴って指数関数的に増大するため、感度の良い指標となる。
【0111】
(第3変形例)
次に、本発明の実施形態の第3変形例について説明する。
上述した実施形態では、第2規格化処理S4において、光学フィルタ417を透過した650nm帯の照明光ILを用いて撮像したRデジタル画像データR
417(x,y)で除算する処理が行われるが、本発明はこの構成に限定されるものではない。例えば、第2規格化処理において、光学フィルタ418(あるいは、波長依存性を有しない減光フィルタや単なる透明な窓でもよい)を透過した照明光ILを用いて撮影されたR、G、Bの各デジタル画像データの和で除算する構成を採用することもできる。
【0112】
この場合、規格化反射率SR
415(x,y)、SR
416(x,y)は、それぞれ数式47、48により計算される。
【数47】
【数48】
【0113】
ここで、ベースライン画像データBL
R418(x,y)、BL
G418(x,y)及びBL
B418(x,y)は、光学フィルタ418を透過した照明光ILによる照明下で色基準板を撮像して得たRデジタル画像データR
418(x,y)、Gデジタル画像データG
418(x,y)及びBデジタル画像データB
418(x,y)である。
【0114】
以上が本発明の実施形態および該実施形態の具体的実施例の説明であるが、本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲内において様々な変形が可能である。
【0115】
上記の実施形態では、指標Xの値に基づいて数値表から酸素飽和度の値を取得し、更に所定の定数を乗じて酸素飽和度分布画像の画素値を計算しているが、本発明はこの構成に限定されるものではない。指標Xは酸素飽和度に対して単調に増加する数値であるため、指標Xの値をそのまま(又は所定の定数を乗じて)酸素飽和度分布画像の画素値として用いることもできる。
【0116】
また、本実施形態の撮像素子141は、その前面にR、G、Bの原色系カラーフィルタを備えたカラー画像撮像用の撮像素子であるとして説明したが、この構成に限定されるものではなく、例えば、Y、Cy、Mg、Gの補色系カラーフィルタを備えたカラー画像撮像用の撮像素子を用いてもよい。
【0117】
また、本実施形態の撮像素子141は、オンチップのカラーフィルタ141aを備えたカラー画像撮像用の撮像素子であるとして説明したが、この構成に限定されるものではなく、例えば、白黒画像撮像用の撮像素子を用い、いわゆる面順次方式のカラーフィルタを備えた構成としてもよい。また、カラーフィルタ141aは、オンチップの構成に限定されるものではなく、光源430から撮像素子141までの光路中への配置が可能である。
【0118】
また、上記の実施形態では、回転フィルタ410が使用されるが、本発明はこの構成に限定されるものではなく、透過波長域が切換え可能な他の方式の波長可変フィルタを使用することもできる。
【0119】
また、上記の実施形態では、回転フィルタ410が光源側に設けられ、照射光ILに対してフィルタリングを行う構成が採用されているが、本発明はこの構成に限定されるものではなく、回転フィルタ410を撮像素子側(例えば、対物光学系121と撮像素子131との間)に設けて、被写体からの戻り光をフィルタリングする構成とすることもできる。
【0120】
また、上記の実施形態では、分光分析モードにおいて、回転フィルタ410を一定の回転数で回転させながら、所定の時間間隔で撮像を行う構成が採用されているが、本発明はこの構成に限定されるものではなく、例えば、回転フィルタ410の回転位置を所定の時間間隔で段階的に変化させ、回転フィルタ410が静止した状態で撮像を行う構成としてもよい。
【0121】
また、上記の実施形態では、照明用の広帯域光を発生する光源としてキセノンランプ等の白色光源が使用されるが、使用する各光学フィルタの通過帯域全域に亘って十分な光量を有する非白色の広帯域光を発生する光源を使用することもできる。
【0122】
また、例えば、R、G、Bの各波長域の光をそれぞれ発生する原色光源を設け、各原色光源が発生する光を合波したものを白色光WLとして使用してもよい。この場合、G原色光源以外はレーザ等の狭帯域光源を使用することもできる。また、G原色光源には、少なくとも第1照明波長域(
図1に示される波長域R0)の全域に亘って十分な光量を有する広帯域光を発生する光源が使用される。
【0123】
また、上記の実施形態では、光学フィルタ415の通過波長域R0(第1照明波長域)が吸収ピークP1、P2及びP3の3つのピーク波長を含んでいるが、第1照明波長域が隣接する2つの吸収ピーク(具体的には吸収ピークP1及びP2又は吸収ピークP2及びP3)のみを含む構成としてもよい。
【0124】
また、上記の実施形態では、透過型の光学フィルタが使用されるが、通過帯域を反射する反射型の光学フィルタを使用してもよい。
【0125】
また、上記の実施形態は、本発明をデジタルカメラの一形態である電子内視鏡装置に適用した例であるが、他の種類のデジタルカメラ(例えば、デジタル一眼レフカメラやデジタルビデオカメラ)を使用したシステムに本発明を適用することもできる。例えば、本発明をデジタルスチルカメラに適用すると、体表組織の観察や開頭手術時の脳組織の観察(例えば、脳血流量の迅速検査)を行うことができる。