【解決手段】プロセッサ200は、光源装置201より照射された光を特定波長域に対応する狭帯域光にフィルタリングする狭帯域光フィルタ203と、狭帯域光フィルタ203のそれぞれの光学特性のばらつきを補正する狭帯域光フィルタ用補正値を予め格納している記憶部とを有し、通常光を用いる通常表示モードと狭帯域光フィルタ203を用いる特殊モードで動作する。プロセッサ200は、特殊モードにおいて、撮像装置から出力される画素信号を狭帯域光フィルタ用補正値を用いて補正する。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
【0013】
内視鏡システムにおける観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、気管支、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、食道、十二指腸、子宮、膀胱等である。上述のような対象部位を観察する場合、特定の生体構造を強調した画像の活用がより効果的である。
【0014】
本実施形態の電子内視鏡システムは、特定の生体構造(例えば血管構造)の分光画像を生成するために、光源より照射された白色の照射光を所定の狭帯域フィルタを介して狭帯域化し、狭帯域化された照射光によって観察部位を照射する。この種の狭帯域フィルタとして、好ましくは、血管強調に適した波長域の光だけを透過させる特性を持つものが用いられる。
【0015】
図1は、本実施形態の電子内視鏡システムの全体図であり、
図2は、本実施形態の電子内視鏡システムの概略構成図である。電子内視鏡システム1は、電子スコープ100と、プロセッサ200と、モニタ300とを備えている。
【0016】
電子スコープ100は、被検体の内部に挿入される細長い管状の挿入部11を備えている。電子スコープ100は、後述する光源装置201からの照射光を導くためのLCB(Light Carrying Bundle)101と、LCB101の出射端に設けられた配光レンズ102と、対物レンズ103と、対物レンズ103を介して被照射部分(観察部位)からの戻り光を受光する撮像素子104と、撮像素子104を駆動するドライバ信号処理回路105と、第1メモリ106とを備えている。
【0017】
光源装置201からの照射光は、LCB101内に入射し、LCB101内で全反射を繰り返すことによって伝播する。LCB101内を伝播した照射光は、挿入部11の先端部12内に配置されたLCB101の出射端から出射され、配光レンズ102を介して観察部位を照射する。被照射部分からの戻り光は、対物レンズ103を介して撮像素子104の受光面上の各画素で光学像を結ぶ。
【0018】
撮像素子104は、挿入部11の先端部12内に配置されており、例えば、CCD(Charge Coupled Device)イメージセンサである。撮像素子104は、受光面上の各画素で結像した光学像(生体組織からの戻り光)を光量に応じた電荷として蓄積して、R、G、Bの画像信号を生成して出力する。なお、撮像素子104は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えられてもよい。撮像素子104は、ドライバ信号処理回路105によって駆動され、1フィールドもしくは1フレーム分の画素信号が撮像素子104から所定の時間間隔(例えば1/60秒あるいは1/30秒間隔)で読み出される。
【0019】
プロセッサ200は、電子スコープ100からの信号を処理する信号処理装置と、自然光の届かない体腔内を電子スコープ100を介して照射する光源装置とを一体に備えた装置である。別の実施形態では、信号処理装置と光源装置とを別体で構成してもよい。プロセッサ200は、光源装置201と、システムコントローラ202と、光学フィルタ203と、光学フィルタドライバ204と、前段信号処理回路205と、色変換回路206と、後段信号処理回路207と、第2メモリ208とを備えている。
【0020】
なお、プロセッサ200は、図示省略の操作パネルを備えてもよい。操作パネルの構成には種々の形態がある。操作パネルの具体的構成としては、例えば、プロセッサ200のフロント面に実装された機能毎のハードウェアキーやタッチパネル式GUI(Graphical User Interface)、ハードウェアキーとGUIとの組合せ等が考えられる。施術者は、操作パネルによって後述するモード切替操作が可能となる。
【0021】
システムコントローラ202は、図示省略のメモリに格納された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。システムコントローラ202は、制御信号を用いて、プロセッサ200に接続されている電子スコープ100に適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。また、システムコントローラ202は、上述の操作パネルに接続されてもよい。システムコントローラ202は、操作パネルより入力される施術者からの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。
【0022】
光源装置201は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプである。光源装置201からの照射光は、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光(又は少なくとも可視光領域を含む光)である。光源装置201からの照射光は、光学フィルタ203に入射する。
【0023】
以下では、光源装置201からの光が特定の波長域にフィルタリングされない場合には、単に「通常光」と呼び、特定の波長域にフィルタリングされる場合には「狭帯域光」と呼ぶ。光学フィルタ203は、複数のフィルタを有する。例えば、光学フィルタ203は、通常光用フィルタと、光源装置201からの光を特定波長域に対応する狭帯域光にフィルタリングする狭帯域用フィルタとを有する。本実施形態では、光学フィルタ203は、通常光用フィルタ、第1狭帯域光フィルタ、及び、第2狭帯域光フィルタを有する。通常光用フィルタは、照射光を減光する減光フィルタである。通常光用フィルタは、単なる開口部(光学フィルタの無いもの)や絞り機能を兼ねたスリット(光学フィルタの無いもの)に置き換えられてもよい。
【0024】
第1狭帯域光フィルタ及び第2狭帯域光フィルタは、光源装置201からの照射光を特定の分光特性を持つ光にフィルタリングする光バンドパスフィルタである。第1狭帯域光フィルタ及び第2狭帯域光フィルタは、それぞれ異なる分光特性を有する。
図3(a)は、第1狭帯域光フィルタの分光特性を示し、
図3(b)は、第2狭帯域光フィルタの分光特性を示す。
図3(a)及び
図3(b)の各図中、縦軸は透過率を示し、横軸は波長(単位:nm)を示す。また、
図4は、ヘモグロビンの吸収特性を示す。
図4中、縦軸は吸収率を示し、横軸は波長(単位:nm)を示す。
図3及び
図4に示されるように、第1狭帯域光フィルタ及び第2狭帯域光フィルタは、ヘモグロビンに対する吸収特性の高い波長域(420nm付近や550nm付近の波長域)に透過ピークを持つ。420nm付近の波長域の光は表層付近の血管構造を観察するのに適しており、550nm付近の波長域の光は深層の血管構造を観察するのに適している。また、血液(ヘモグロビン)は600nm以上の長波長域にはほとんど吸収が無いため、第2狭帯域光フィルタに関しては、赤色の光が青色や緑色の光よりも生体組織内を深く進むことができ、また、血液を多く含む血管の光像も鮮明に形成することができる。本実施形態では、分光特性を有するフィルタを用いているが、これに限定されず、NBI(Narrow Band Imaging)法を用いることも可能である。この場合、狭帯域の青色光(390〜445nm)および狭帯域の緑色光(530〜550nm)の光を用いて深層の血管構造を観察することになる(NBI法では、2つの波長が独立している。つまり、観察に用いる狭帯域の光(青色光と緑色光)の各波長域がつながっていない透過率0%の波長域がある)。
【0025】
第1狭帯域光フィルタは、表層及び深層血管の強調に特化した画像を生成するのに用いられる。
図3(b)に示すように、第2狭帯域光フィルタは、第1狭帯域光フィルタと比較して、長波長成分(赤色)成分を観察部位に照射することができる。したがって、第2狭帯域光フィルタは、表層及び深層血管の強調を行いながらも自然な色味と明るさを有する画像を生成するのに用いられる。
【0026】
プロセッサ200は、複数の動作モードで動作する。本実施形態では、プロセッサ200は、3つの動作モードで動作する。第1動作モードは、通常観察画像をモニタ300の画面に表示するモードである(以下では「通常表示モード」と呼ぶ)。第2動作モードは、第1狭帯域光フィルタを用いるモードであり、表層及び深層血管の強調に特化した画像をモニタ300の画面に表示するモードである(以下では「第1特殊モード」と呼ぶ)。第3動作モードは、第2狭帯域光フィルタを用いるモードであり、第1特殊モードよりも自然な色味と明るさを優先させた画像をモニタ300の画面に表示するモードである(以下では「第2特殊モード」と呼ぶ)。
【0027】
なお、動作モードは、上述の3つのモードに限定されない。例えば、プロセッサ200は、通常表示モードと第1あるいは第2特殊モードの2つのモードで動作してもよい。また、プロセッサ200は、第1特殊モードと第2特殊モードの2つのモードで動作してもよい(すなわち、通常表示モードがなくてもよい)。また、光学フィルタを追加すれば、プロセッサ200は、4つ以上のモードで動作させることも可能である。
【0028】
通常光用フィルタ、第1狭帯域光フィルタ、及び、第2狭帯域光フィルタの切換機構について説明する。本実施形態では、円板状の回転ターレットの円周に沿って各種フィルタが配置され、回転ターレットを光学フィルタドライバ204によって回転させることにより光源装置201の照射光路に対してフィルタが配置される。この構成の場合、各種フィルタは、回転ターレットにおいて約120°の角度範囲に広がる扇形状を有している。システムコントローラ202は、施術者によるモード切替操作に応じて光学フィルタドライバ204に制御信号を出し、これにより、回転ターレットが回転し、各種フィルタが光路に配置される。
【0029】
別の例として、光源装置201の照射光路に対してフィルタを挿入し又は退避させるフィルタ切換機構が設けられてもよい。この構成の場合、各種フィルタに対してアームやギヤ等の伝達機構を介してモータ(図示省略)が連結されている。モータは、施術者によるモード切替操作に応じてフィルタを光路に挿入し又は光路から退避させるように駆動される。
【0030】
前段信号処理回路205は、撮像素子104からの画素信号に対して、各種の信号処理を実行する。ここでの信号処理は、例えば、欠陥画素の画素値をその周囲の画素の画素値を用いて補正する欠陥補正処理などである。
【0031】
色変換回路206は、マトリクス演算等に基づいて色補正処理を実行する。色変換回路206は、マトリクス処理部211、ゲイン処理部212、ホワイトバランス処理部213、及び、色補正処理部214を含む。
【0032】
マトリクス処理部211は、カラーマトリクスを使用したマトリクス演算を行う機能ブロックである。ゲイン処理部212は、画像データの信号レベルを観察に適したレベルに調整するゲイン調整処理を行う機能ブロックである。ホワイトバランス処理部213は、照明光のスペクトル特性を補正するホワイトバランス処理を行う機能ブロックである。色補正処理部214は、短波長/中波長/長波長の光をRGBの各信号に割り当てる処理を行う機能ブロックである。
【0033】
マトリクス処理部211及びゲイン処理部212を介して得られる画像信号は、例えば、以下の式により演算できる。本実施形態では、カラーマトリックスを用いて撮像素子104からの色信号がRGB信号(R’/G’/B’)に変換される。
【0035】
本実施形態では、数1のマトリクス及びゲイン値は第1メモリ106に格納されている。具体的には、第1メモリ106には、通常表示モード用のマトリクス及びゲイン値、第1特殊モード用のマトリクス及びゲイン値、及び、第2特殊モード用のマトリクス及びゲイン値が予め格納されている。システムコントローラ202は、第1メモリ106から各モードに対応するマトリクス及びゲイン値を取得し、取得したマトリクス及びゲイン値を色変換回路206に渡すことができる。色変換回路206は、受け取ったマトリクス及びゲイン値からRGB信号を演算することができる。
【0036】
本実施形態では、ホワイトバランス処理部213によるホワイトバランス調整は、ゲイン値を補正することで行われる。第1メモリ106内の通常表示モード用のゲイン値は、ホワイトバランス実行時に更新される。従って、通常表示モードでは、上述の数1の式によりホワイトバランス調整後のRGB信号を得ることができる。一方、第1特殊モード及び第2特殊モードでは、以下で説明する色補正処理部214での演算の際に、理想のゲイン値を補正することでホワイトバランス調整が行われる。
【0037】
なお、ここでは、ゲイン値を補正してホワイトバランス調整を行う例を説明したが、ゲイン値を補正する以外の他の方法でホワイトバランス調整が実施されてもよい。
【0038】
本実施形態では、色補正処理部214は、入力信号(R
in/G
in/B
in)で割り当てられている信号に対して光学フィルタのばらつきを補正する処理を行う。詳細には、第1特殊モード又は第2特殊モードの場合には、数1のRGB信号(R’/G’/B’)が、色補正処理部214に入力信号(R
in/G
in/B
in)として入力され、以下で説明する演算が実行される。一方、通常表示モードの場合には、色補正処理部214による処理はスキップされ、数1のRGB信号(R’/G’/B’)が、後段信号処理回路207に入力される。
【0039】
第1特殊モードの場合、短波長の光がG、B信号に割り当てられ、中波長の光がR信号に割り当てられる。色補正処理部214は、以下の式により最終的なRGBの画像信号(R
out/G
out/B
out)を演算する。ここで、Gg、Bgは、その時取得したホワイトバランス補正値であり、Gt、Btは、光学系にばらつきがない理想のゲイン値(白色光)であり、Gf
1、Bf
1は、第1狭帯域光フィルタ用補正値である。以下の数2の式により、ホワイトバランス調整と狭帯域フィルタの分光ばらつきの補正が行われたRGB信号を得ることができる。
【0041】
第2特殊モードの場合、短波長の光がB信号に割り当てられ、中波長の光がG信号に割り当てられ、長波長の光がR信号に割り当てられる。色補正処理部214は、以下の式により最終的なRGBの画像信号(R
out/G
out/B
out)を演算する。ここで、Rg、Gg、Bgは、その時取得したホワイトバランス補正値であり、Rt、Gt、Btは、光学系にばらつきがない理想のゲイン値(白色光)であり、Rf
2、Gf
2、Bf
2は、第2狭帯域光フィルタ用補正値である。以下の数3の式により、ホワイトバランス調整と狭帯域フィルタの分光ばらつきの補正が行われたRGB信号を得ることができる。
【0043】
本実施形態において、第1狭帯域光フィルタ用補正値及び第2狭帯域光フィルタ用補正値は、狭帯域フィルタの光学特性のばらつきを考慮した補正値であり、予め第2メモリ208に格納されている。第1狭帯域光フィルタ用補正値及び第2狭帯域光フィルタ用補正値は、それぞれ、搭載されている第1及び第2狭帯域光フィルタの光学特性に応じて異なり、すなわち、プロセッサ200毎に異なる値である。色補正処理部214は、各モードの切換えに応じて、対応する狭帯域光フィルタ用補正値を取得し、上述の計算によりRGB信号を出力する。
【0044】
光学系にばらつきがない理想のゲイン値(Rt、Gt,Bt)もまた、予め第2メモリ208に格納されている。Rt、Gt,Btは、理想のゲイン値であるため、全てのプロセッサ200で同じ値でもよい。
【0045】
後段信号処理回路207は、色補正処理部214からのRGB信号からモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマットのビデオ信号に変換する。変換されたビデオ信号は、モニタ300に出力される。これにより、観察部位の画像がモニタ300の表示画面に表示される。
【0046】
最終的には、第1特殊モードでは、上述の数2の色補正により、表層及び深層血管の強調に特化した画像がモニタ300に表示される。また、第2特殊モードでは、上述の数3の色補正により、表層及び深層血管を強調しながらも白色に近い色味とある程度の明るさがある画像がモニタ300に表示される。
【0047】
図5(a)は、従来のキャリブレーションのフローチャートであり、
図5(b)は、本発明の一実施形態に係るキャリブレーションのフローチャートである。
【0048】
図5(a)に示すように、従来(例えば、特許文献2)では、通常光(白色光)によるホワイトバランスを実行し(S501)、さらに、狭帯域光によるホワイトバランスを実行した(S502)後に、電子内視鏡システムよる観察(S503)が可能となる。従って、キャリブレーションに時間がかかるという課題がある。
【0049】
これに対して、本実施形態では、
図5(b)に示すように、まず、通常光でホワイトバランスを実行する(S501)。このとき、プロセッサ200は、第1メモリ106内の通常表示モード用のゲイン値を更新し、算出したホワイトバランス補正値(Rg、Gg、Bg)を色変換回路206のホワイトバランス処理部213に格納する。その後、狭帯域光によるホワイトバランスを実施することなく、電子内視鏡システム1よる観察(S503)が可能となる。以上の通り、本実施形態では、狭帯域光でのキャリブレーション(狭帯域光フィルタを用いたキャリブレーション)を行う必要がなく、キャリブレーションにかかる時間が従来の半分以下となる。また、第2メモリ208に予め格納されている狭帯域光フィルタ用の補正値を用いることで、狭帯域フィルタの分光ばらつきを考慮した高精度なキャリブレーションが可能となる。
【0050】
観察(S503)において通常表示モードを設定した場合、プロセッサ200は、第1メモリ106内の更新されたゲイン値を用いることで、ホワイトバランス調整後のRGB信号を得ることができる。また、観察(S503)において第1特殊モード又は第2特殊モードを設定した場合、プロセッサ200は、キャリブレーション時に取得したホワイトバランス補正値と、第2メモリ208に予め格納されている狭帯域光フィルタ用の補正値を用いることで、ホワイトバランス調整と狭帯域フィルタの分光ばらつきの補正が行われたRGB信号を得ることができる。
【0051】
なお、本開示は上述した実施形態に限定されるものではなく、他の様々な変形例が含まれる。例えば、上述した実施形態は本開示を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることがあり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。