(58)【調査した分野】(Int.Cl.,DB名)
前記構造抽出画像生成部は、前記第1周波数成分抽出処理を前記短波長画像信号に施すことにより、信号値が正である第1構造の画素と信号値が負である第2構造の画素を抽出した第1及び第2構造抽出画像信号を生成し、
前記表示制御用画像生成部は、前記第1及び第2構造抽出画像信号に基づいて、前記第1構造又は第2構造の表示制御に用いる表示制御用画像を生成し、
前記画像合成部は、前記ベース画像と前記表示制御用画像を合成して、前記第1構造又は第2構造の表示を制御した表示制御画像を生成することを特徴とする請求項1記載の画像処理装置。
前記表示制御用画像生成部は、前記第1及び第2構造抽出画像信号の入力に対して、前記第1又は第2構造の画素が表示制御量に応じた値を持つ表示制御用画像を出力する変換部であることを特徴とする請求項7記載の画像処理装置。
前記変換部は、前記第1構造の表示を強調するときに、前記第1構造の画素が強調度に応じた正の値を持つ表示制御用画像を出力する第1変換部を有することを特徴とする請求項8記載の画像処理装置。
前記変換部は、前記第1構造の表示を抑制するときに、前記第1構造の画素が抑制度に応じた負の値を持つ表示制御用画像を出力する第2変換部を有することを特徴とする請求項8または9記載の画像処理装置。
前記変換部は、前記第2構造の表示を強調するときに、前記第2構造の画素が強調度に応じた負の値を持つ表示制御用画像を出力する第3変換部を有することを特徴とする請求項8ないし10いずれか1項記載の画像処理装置。
前記変換部は、前記第2構造の表示を抑制するときに、前記第2構造の画素が抑制度に応じた正の値を持つ表示制御用画像を出力する第4変換部を有することを特徴とする請求項8ないし11いずれか1項記載の画像処理装置。
前記変換部は、前記第1及び第2構造の両方を強調しつつ、前記第1構造と前記第2構造の視認性を異ならせるときに、前記第1構造の画素が正の値が持ち、前記第2構造の画素が負の値を持つとともに、記第1構造の画素の値と前記第2構造の画素の値の絶対値とが異なる表示制御用画像を出力する特定変換部を有することを特徴とする請求項8記載の画像処理装置。
前記ゲイン処理部は、前記第1及び第2構造の両方を強調しつつ、前記第1構造と前記第2構造の視認性を異ならせるときには、前記判別部で正の値を有すると判別された画素と負の値を有すると判別された画素に対して、それぞれ強調度が異なる強調用のゲイン処理を施すことを特徴とする請求項14記載の画像処理装置。
【発明を実施するための形態】
【0017】
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール20とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、検体内に挿入される挿入部21と、挿入部の基端部分に設けられた操作部22と、挿入部21の先端側に設けられる湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作に伴って、先端部24が所望の方向に向けられる。
【0018】
また、操作部22には、アングルノブ22aの他、モード切替SW22bと、ズーム操作部22cが設けられている。モード切替SW22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、白色光を用いる観察モードであり、主に、スクリーニング等で使用される。特殊観察モードは青味を帯びた特殊光を用いる観察モードであり、主に、拡大観察等で使用される。ズーム操作部22cは、内視鏡12内のズーミングレンズ47(
図2参照)を駆動させて、検体を拡大させるズーム操作に用いられる。
【0019】
プロセッサ装置16は、モニタ18及びコンソール20と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール20は、機能設定等の入力操作を受け付けるUI(ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
【0020】
図2に示すように、光源部14は、中心波長445nmの青色レーザ光を発する青色レーザ光源(445LD)34と、中心波長405nmの青紫色レーザ光を発する青紫色レーザ光源(405LD)36とを発光源として備えている。これら各光源34、36の半導体発光素子からの発光は、光源制御部40により個別に制御されており、青色レーザ光源34の出射光と、青紫色レーザ光源36の出射光の光量比は変更自在になっている。光源制御部40は、通常観察モードの場合には、青色レーザ光源34のみ駆動させる。これに対して、特殊観察モードの場合には、光源制御部40は、青色レーザ光源34と青紫色レーザ光36の両方を駆動させるとともに、青紫色レーザ光の発光比率を青色レーザ光の発光比率よりも大きくなるように制御している。なお、青色レーザ光源34及び青紫色レーザ光源36のいずれか又は両方が、本発明の狭帯域光源部を構成する。
【0021】
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、通常観察モードの場合にも、青紫色レーザ光36を駆動してもよい。ただし、この場合には、青紫色レーザ光36の発光強度を低く抑えることが好ましい。また、青色レーザ光源34及び青紫色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
【0022】
これら各光源34、36から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(光源装置14と内視鏡12を接続するためのコード)内に内蔵されている。中心波長445nmの青色レーザ光又は中心波長405nmの青紫色レーザは、ライトガイド41を介して、内視鏡12の先端部24まで伝搬される。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径が φ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
【0023】
内視鏡の先端部24は照明光学系24aと撮像光学系24bを有している。照明光学系24aには、ライトガイド41からの中心波長445nmの青色レーザ光又は中心波長405nmの青紫色レーザが入射する蛍光体44と、照明レンズ45が設けられている。蛍光体44に、青色レーザ光が照射されることで、蛍光体44から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体44を透過する。青紫色レーザ光は、蛍光体44を励起させることなく透過する。蛍光体44を出射した光は、照明レンズ45を介して、検体内に照射される。
【0024】
ここで、通常観察モードにおいては、青色レーザ光のみが蛍光体44に入射するため、
図3Aに示すように、青色レーザ光、及び青色レーザ光により蛍光体44から励起発光する蛍光を合波した白色光が、検体内に照射される。一方、特殊観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体44に入射するため、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体44から励起発光する蛍光を合波した特殊光が、検体内に照射される。この特殊観察モードでは、青紫色レーザ光の発光比率を青色レーザ光の発光比率よりも大きくしているため、特殊光は、青色成分を多く含み且つ波長範囲がほぼ可視光全域に及ぶ光となっている。
【0025】
なお、蛍光体44は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl
10O
17)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
【0026】
図2に示すように、内視鏡12の撮像光学系24bは、対物レンズ46、ズーミングレンズ47、イメージセンサ48を有している。検体からの反射光は、対物レンズ46及びズーミングレンズ47を介して、イメージセンサ48に入射する。これにより、イメージセンサ48に検体の反射像が結像される。ズーミングレンズ47は、ズーム操作部22cを操作することで、テレ端とワイド端との間を移動する。ズーミングレンズ47がワイド端側に移動すると検体の反射像が縮小する一方で、テレ端側に移動することで、検体の反射像が拡大する。
【0027】
イメージセンサ48はカラーの撮像素子であり、検体の反射像を撮像して画像信号を出力する。なお、イメージセンサ48は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であることが好ましい。本発明で用いられるイメージセンサは、R(赤)、G(緑)及びB(青)の3色の画像信号を得るために、撮像面にRGBフィルタを備えた、いわゆるRGBカラーイメージセンサであっても良いし、撮像面にC(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の色フィルタを備えた、いわゆる補色イメージセンサであっても良い。補色イメージセンサの場合には、CMYGの4色の画像信号から色変換によってRGBの3色の画像信号を得ることができる。この場合には、CMYGの4色の画像信号からRGBの3色の画像信号に色変換する色変換手段を、内視鏡12、光源装置14又はプロセッサ装置16のいずれかに備えている必要がある。
【0028】
イメージセンサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/Dコンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
【0029】
プロセッサ装置16は、受信部54と、画像処理切替部60と、通常光画像処理部62と、特殊光画像処理部64と、画像表示信号生成部66とを備えている。受信部54は内視鏡12からのデジタル画像信号を受信する。この受信部54は、DSP(Digital Signal Processor)56とノイズ除去部58を備えている。DSP56は、デジタル画像信号に対してガンマ補正、色補正処理を行う。ノイズ除去部58は、DSP56でガンマ補正等が施されたデジタル画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、デジタル画像信号からノイズを除去する。ノイズが除去されたデジタル画像信号は、画像処理切替部60に送信される。
【0030】
画像処理切替部60は、モード切替SW22bにより通常観察モードにセットされている場合には、デジタル画像信号を通常光画像処理部62に送信し、特殊観察モードに設定されている場合には、デジタル画像信号を特殊光画像処理部64に送信する。なお、本発明においては、区別のため、通常光画像処理部62及び特殊光画像処理部64による画像処理前のデジタル画像信号を画像信号といい、画像処理後のデジタル画像信号を画像データと呼ぶことにする。
【0031】
通常光画像処理部62は、色変換部68と、色彩強調部70と、構造強調部72とを有する。色変換部68は、入力されたRGB3チャンネルのデジタル画像信号を、それぞれR画像データ、G画像データ、B画像データに割り付ける。これらRGBの画像データに対しては、更に、3×3のマトリックス処理、階調変換処理、3次元LUT処理などの色変換処理を行い、色変換処理済RGB画像データに変換する。
【0032】
色彩強調部70は、色変換済RGB画像データに対して、各種色彩強調処理を施す。構造強調部72は、色彩強調処理済RGB画像データに対して、シャープネスや輪郭強調等の構造強調処理を行う。構造強調部72で構造強調処理が施されたRGB画像データは、通常光画像として通常光画像処理部62から画像表示信号生成部66に入力される。
【0033】
特殊光画像処理部64は、色彩強調部76と、構造強調・抑制部78とを有する。色彩強調部76は、入力されたRGB3チャンネルのデジタル画像信号に対して各種色彩強調処理を施すことにより、色彩強調済のRGBの画像信号を生成する。構造強調・抑制部78は、色彩強調処理済のRGB画像信号に対し、腺管構造又は血管を強調・抑制する構造強調・抑制処理を施すことにより、表示制御画像生成する。構造強調・抑制部78で構造強調・抑制処理が施された表示制御画像は、特殊光画像として特殊光画像処理部64から画像表示信号生成部66に入力される。
【0034】
図4に示すように、構造強調・抑制部78は、ベース画像生成部80と、周波数フィルタリング処理部81と、表示制御用画像生成部82と、画像合成部83とを備えている。ベース画像生成部80は、色彩強調処理済のRGB画像信号のうち、G画像信号をR画像データに割り付け、B画像信号をG画像データ及びB画像データに割り付ける。これらRGB画像データがベース画像となる。このベース画像は、B画像データにはB画像信号が割り付けられているものの、G画像データにはG画像信号ではなくB画像信号が割り付けられており、R画像データにはR画像信号ではなくG画像信号が割り付けられているため、ベース画像は疑似カラー画像となる。なお、ベース画像生成部では、色変換部68のように、RGB画像信号をそれぞれRGB画像データに割り付けて、疑似カラーでない白色ベースのベース画像を生成してもよい。
【0035】
周波数フィルタリング処理部81は、色彩強調済のB画像信号に対して、粘膜表層にある腺管構造と微細血管に対応する周波数帯域成分を抽出する周波数フィルタリング処理を施す。ここで、周波数フィルタリング処理で抽出する腺管構造S(Structure)は、白く縁取られて見える辺縁部とする(腺管には辺縁部の他、腺管開口部も含まれている)。これにより、腺管構造と微細血管が抽出された構造抽出画像信号が得られる。B画像信号に対して周波数フィルタリング処理を施すのは、B画像信号は、腺管構造や微細血管に対して構造強調効果を施すことができる青紫色レーザ光及び青色レーザ光など青色成分に対応する信号であるためである。
【0036】
なお、
図5(A)に示すように、腺管構造S(Structure)は、青紫色レーザ光及び青色レーザ光など青色成分の光によって乱反射するため、B画像信号84上では粘膜よりも明るく光っている。また、青紫色レーザ光及び青色レーザ光は、キセノン光などの広帯域光を波長分離して得られる青色狭帯域光と異なり、直進性の高い光であるため、腺管構造のpit部分の底面まで深達する。この効果によって、腺管構造Sは更に明るく光るようになる。これに対して、微細血管V(Vascular)は、特殊光のうち青紫色レーザ光及び青色レーザ光などヘモグロビンの吸光係数が高い青色成分の光を良く吸収するため、B画像信号84上では粘膜よりも暗くなっている。したがって、周波数フィルタリング処理後の構造抽出画像信号85では、(B)に示すように、腺管構造Sの画素は信号値が「正」となるアップエッジとなっており、微細血管Vの画素は信号値が「負」となるダウンエッジとなっている。また、構造抽出画像信号85における粘膜M(Mucous membrane)は、輝度値の変化がほとんど無いため、信号値はほぼ「0」となっている。なお、
図5において、B画像信号84はライン84a上の各画素の輝度値を表しており、構造抽出画像信号85はライン84a上の各画素の信号値を表している(
図11〜
図13も同様)。また、ここで、信号値は「0」、正の値、負の値を含む値であり、輝度値は「0」、正の値を含む値である。
【0037】
表示制御用画像生成部82は、構造抽出画像信号から、腺管構造又は微細血管の強調・抑制・表示維持に用いられるための表示制御用画像を生成する。表示制御用画像生成部82は、構造抽出画像信号を入力して表示制御用画像を出力する変換部86と、強調・抑制条件を設定するとともに、設定した強調・抑制条件に従って変換部を制御する構造強調・抑制設定部87とを備えている(
図4参照)。
【0038】
図6に示すように、変換部86は、第1変換部90と、第2変換部91と、第3変換部92と、第4変換部93と、第5変換部94と、第6変換部95とからなり、構造抽出画像信号の入力に対して、腺管構造又は微細血管の強調度、抑制度など表示制御量に応じた値を持つ表示制御用画像を出力する。第1変換部90は、腺管構造を強調するときに用いられ、構造抽出画像信号の入力に対して、
図7に示す入出力関係90aに従った値を出力する。入出力関係90aは正の傾きで定義されているため、正の値の入力に対して、正の値を出力する。この出力した正の値を、ベース画像上の腺管構造に加算することで、粘膜よりも明るい腺管構造が更に明るくなり、粘膜と腺管構造とのコントラストが向上する。これにより、腺管強調効果が得られる。なお、第1変換部90では、4つの第1〜第4強調度E1〜E4に対応する入出力関係が定義されており、それらの傾きは、強調度が高くなる程、大きくなっている。
【0039】
第2変換部91は、腺管構造を抑制するときに用いられ、構造抽出画像信号の入力に対して、
図7に示す入出力関係91aに従った値を出力する。入出力関係91aは負の傾きで定義されているため、正の値の入力に対して、負の値を出力する。この出力した負の値を、ベース画像上の腺管構造に加算することで、腺管構造の明るさが粘膜に近づいて、粘膜と腺管構造とのコントラストが低下する。これにより、腺管抑制効果が得られる。なお、第2変換部91では、4つの第1〜第4抑制度R1〜R4に対応する入出力関係が定義されており、それらの傾きは、抑制度が高くなる程、大きくなっている。
【0040】
第3変換部92は、微細血管を強調するときに用いられ、構造抽出画像信号の入力に対して、
図7に示す入出力関係92aに従った値を出力する。入出力関係92aは正の傾きで定義されているため、負の値の入力に対して、負の値を出力する。この出力した負の値を、ベース画像上の微細血管に加算することで、粘膜よりも暗い微細血管が更に暗くなって、粘膜と微細血管とのコントラストが向上する。これにより、微細血管強調効果が得られる。なお、第3変換部92では、4つの第1〜第4強調度E1〜E4に対応する入出力関係が定義されており、それらの傾きは、強調度が高くなる程、大きくなっている。
【0041】
第4変換部93は、微細血管を抑制するときに用いられ、
図7に示す入出力関係93aに従った値を出力する。入出力関係93aは負の傾きで定義されているため、負の値の入力に対して、正の値を出力する。この出力した正の値を、ベース画像上の微細血管に加算することで、微細血管の明るさが粘膜に近づいて、粘膜と微細血管とのコントラストが低下する。これにより、微細血管抑制効果が得られる。なお、第4変換部93では、4つの第1〜第4抑制度R1〜R4に対応する入出力関係が定義されており、それらの傾きは、抑制度が高くなる程、大きくなっている。
【0042】
第5変換部94は、腺管構造の明るさを維持するときに用いられ、構造抽出画像信号のうち正の値の入力に対して、
図7に示す入出力関係94aに従って、「0」の値を出力する。この「0」の値をベース画像上の腺管構造に加算することで、腺管構造の明るさは維持される。第6変換部95は、微細血管の明るさを維持するときに用いられ、構造抽出画像信号のうち負の値の入力に対して、
図7に示す入出力関係95aに従って、「0」の値を出力する。この「0」の値をベース画像上の微細血管に加算することで、微細血管の明るさは維持される。
【0043】
構造強調・抑制設定部87は、コンソール20によって入力される強調・抑制条件に基づいて、変換部86を制御する。強調・抑制条件の設定は、
図8A、
図9A、
図10Aに示すような設定メニュー画面をモニタ18に表示して行われる。この設定メニュー画面は、腺管構造の強調・抑制条件を設定するためのS用スライドバー97と、微細血管の強調・抑制条件を設定するためのV用スライドバー98とが表示される。
【0044】
S用スライドバー97上でスライダ97aを中央の「0」にセットしたときには、腺管構造の明るさを維持する条件に設定される。この場合には、構造抽出画像信号は第5変換部94に入力される。また、S用スライドバー97上でスライダ97aを右側の強調側にスライドさせたときには、腺管構造を強調する条件に設定される。この場合には、構造抽出画像信号は第1変換部90に入力される。また、スライダ97aを左側の抑制側にスライドさせたときには、腺管構造を抑制する条件に設定される。この場合には、構造抽出画像信号は第2変換部91に入力される。
【0045】
また、S用スライドバー97上の目盛り「1」〜「4」及び「−1」〜「−4」は、変換部上で定義された第1〜第4強調度E1〜E4及び第1〜第4抑制度R1〜R4に対応している。したがって、スライダ97aを所定の目盛りをセットすると、変換部86では、そのセットされた目盛りに対応する強調度・抑制度に設定される。なお、V用スライドバー98についても、S用スライドバー97と同様の方法で、スライダ98aを用いて微細血管の強調・抑制の条件設定を行う。
【0046】
例えば、
図8Aに示すように、S用スライドバー97上でスライダ97aを「+2」をセットし、V用スライドバー98上でスライダ98aを「−1」にセットした場合には、
図8Bに示すように、第1変換部90では、第2強調度E2の傾きにセットされるとともに、第4変換部93では、第1抑制度R1の傾きにセットされる。そして、構造抽出画像信号を第1変換部90及び第4変換部93に入力することにより、
図8Cに示すような、腺管構造Sの画素と微細血管Vの画素の信号値が共に正となる表示制御用画像100が出力される。この表示制御用画像100は、腺管構造に着目して診断を行う場合に用いられる。
【0047】
また、
図9Aに示すように、S用スライドバー97上でスライダ97aを「0」をセットし、V用スライドバー98上でスライダ98aを「+2」にセットした場合には、
図9Bに示すように、第3変換部92では、第2強調度E2の傾きにセットされる。そして、構造抽出画像信号を第5変換部94及び第3変換部92に入力することにより、
図9Cに示すような、腺管構造Sの画素の信号値が「0」で、微細血管Vの画素の信号値が負となる表示制御用画像101が出力される。この表示制御用画像101は、微細血管に着目して診断を行う場合に用いられる。
【0048】
また、
図10Aに示すように、S用スライドバー97上でスライダ97aを「+2」をセットし、V用スライドバー98上でスライダ98aを「+1」にセットした場合には、
図10Bに示すように、第1変換部90では、第2強調度E2の傾きにセットされるとともに、第3変換部92では、第1強調度E1の傾きにセットされる。そして、第1変換部90及び第3変換部92の両方の変換機能を有する特定変換部に、構造抽出画像信号を入力することにより、
図10Cに示すような、腺管構造の画素の信号値が正であり、微細血管の画素の信号値が負である表示制御用画像102が出力される。
【0049】
この表示制御用画像102では、腺管構造の強調度が微細血管の強調度よりも高いため、腺管構造の画素の値の絶対値が微細血管の画素の値の絶対値よりも大きくなっている。したがって、表示制御用画像102は、腺管構造と微細血管の両方を強調しつつ、腺管構造の視認性を微細血管よりも高めたい場合に用いられる。
【0050】
画像合成部83は、表示制御用画像をベース画像に合成することにより、腺管構造又は微細血管を強調・抑制した表示制御画像を作成する。この画像合成部83では、ベース画像のうちB画像データの各画素(Bch)に対して、強調・抑制画像の各画素の値を加算するが、G画像データ又はR画像データの各画素に対しても強調・抑制画像の各画素の値を加算してもよい。
【0051】
例えば、
図8Cのような、腺管構造Sの画素と微細血管Vの画素の信号値が共に正となる表示制御用画像100をベース画像105のBch(B画像データの各画素)に合成した場合には、
図11に示すように、腺管構造Sと周囲の粘膜Mとのコントラストが向上する一方で、微細血管Vと周囲の粘膜Mとのコントラストが低下した表示制御画像110が得られる(点線は合成前の輝度値を示している)。
【0052】
また、
図9Cのような、微細血管Vの画素の信号値が負となる表示制御用画像101をベース画像105に合成した場合には、
図12に示すように、微細血管Vと周囲の粘膜Mとのコントラストが向上した表示制御画像111が得られる(
図11と同様、点線は合成前の輝度値を示している)。また、
図10Cのような、腺管構造Sの画素の信号値が正であり、微細血管Vの画素の信号値が負である表示制御用画像102をベース画像105に合成した場合には、
図13に示すように、腺管構造S及び微細血管Vと周囲の粘膜Mとのコントラストが向上した表示制御画像112が得られる(
図11と同様、点線は合成前の輝度値を示している)。
【0053】
画像表示信号生成部66は、通常光画像処理部62又は特殊光画像処理部64から入力された通常光画像又は特殊光画像を、モニタ18で表示可能画像として表示するための表示画像信号に変換する。この変換後の表示画像信号に基づいて、モニタ18は、通常光画像又は特殊光画像を表示する。
【0054】
次に、本実施形態における一連の流れを
図14のフローチャートに沿って説明する。まず、通常観察モードにおいて、遠景状態からスクリーニングを行う。このスクリーニング時に、ブラウニッシュエリアや発赤など病変の可能性がある部位(病変可能性部位)を検出したときには、ズーム操作部22cを操作して、その病変可能性部位を拡大表示する拡大観察を行う。これに合わせて、モード切替SW22bを操作して、特殊観察モードに切り替える。これにより、特殊光画像がモニタ18に表示される。
【0055】
術者は、モニタ18に表示された特殊光画像を観察して、腺管構造及び微細血管の状態を読み取って、病変部が否かを判断する。特殊光画像から腺管構造及び微細血管の状態を正確に読み取ることができる場合には、その特殊光画像に基づいて、病変可能性部位が病変もしくは非病変か否かの判断を行う。一方、腺管構造及び微細血管の状態を正確に読み取ることができない場合には、コンソール20を操作して、
図8A等に示す設定メニュー画面を立ち上げる。この設定メニュー画面上で、S用スライドバー97及びV用スライドバー98上にあるスライダ97a,98aを操作して、特殊光画像上での腺管構造及び微細血管の強調・抑制を行う。
【0056】
例えば、腺管構造に着目して診断を行う際に、微細血管の表示が妨げになっている場合には、
図8Aに示すように、S用スライドバー97上のスライダ97aを強調方向にスライドさせる一方、V用スライドバー98上のスライダ98aを抑制方向にスライドさせる。これにより、腺管構造の表示を強調する一方で、微細血管の表示が抑制された特殊光画像がモニタ18に表示される。この腺管構造及び微細血管の強調・抑制は、腺管構造及び微細血管の状態を正確に読み取ることができるまで継続して行われる。
【0057】
なお、第1実施形態では、周波数フィルタリング画像の構造抽出画像信号において、アップエッジとダウンエッジを判別せずに、構造抽出画像信号全体を表示制御用画像生成部82に入力して、表示制御用画像を生成したが、アップエッジとダウンエッジを判別し、それぞれにゲイン処理を施すことによって表示制御用画像を生成してもよい。例えば、
図15に示すように、周波数フィルタリング部81と表示制御用画像生成部82との間に設けた判別部120で、構造抽出画像信号のうち正の値を持つ画素をアップエッジの画素と判別し、負の値を持つ画素をダウンエッジの画素と判別する。そして、表示制御用画像生成部82内のゲイン処理部122で、アップエッジ及びダウンエッジの画素に対して、強調度・抑制度に応じたゲイン処理を施して、表示制御用画像を生成する。
【0058】
この場合、腺管構造を強調するときには、アップエッジの画素に対して、強調用のゲイン処理を施して、アップエッジの画素の値が正となる表示制御用画像を生成する。この場合におけるアップエッジの画素の値(正)は、強調度が大きくなる程、大きくなる。また、腺管構造を抑制するときには、アップエッジの画素に対して、抑制用のゲイン処理を施して、アップエッジの画素の値が負となる表示制御用画像を作成する。この場合におけるアップエッジの画素の値(負)は、抑制度が大きくなる程、小さくなる。
【0059】
また、微細血管を強調するときには、ダウンエッジの画素に対して、強調度に応じた強調用のゲイン処理を施して、ダウンエッジの画素の値が負となる表示制御用画像を生成する。この場合におけるダウンエッジの画素の値(負)は、強調度が大きくなる程、小さくなる。また、微細血管を抑制するときには、ダウンエッジの画素に対して、抑制度に応じた抑制用のゲイン処理を施して、ダウンエッジの画素の値が正となる表示制御用画像を作成する。この場合におけるダウンエッジの画素の値(正)は、抑制度が大きくなる程、大きくなる。
【0060】
また、腺管構造と微細血管の両方を強調しつつ、微細血管の視認性を腺管構造の視認性よりも低くする場合には、アップエッジ及びダウンエッジの画素に対して強調用のゲイン処理を行うときに、ダウンエッジに対する強調度を、アップエッジに対する強調度よりも低くする。この場合には、表示制御用画像上では、アップエッジの画素の値(正)の絶対値は、ダウンエッジの画素の値(負)の絶対値よりも大きくなる。
【0061】
[第2実施形態]
第1実施形態では、周波数フィルタリング処理により、B画像信号から腺管構造及び微細血管の両方を抽出したが、第2実施形態では、腺管抽出用のフィルタリング処理と血管抽出用のフィルタリング処理とを分けて、B画像信号から腺管構造と微細血管を別々に抽出する。腺管構造の周波数帯域と微細血管の周波数帯域は若干微細血管のほうが高周波寄りであることを考慮すると、第2実施形態のように、腺管抽出用のフィルタリング処理と血管抽出用のフィルタリング処理とに分けて、抽出することが好ましい。
【0062】
第2実施形態の構造強調・抑制部130は、第1実施形態の周波数フィルタリング部81に代えて、腺管抽出用フィルタリング部131と血管抽出用フィルタリング部132が設けられている。なお、それ以外については、第3実施形態の内視鏡システムは、第1実施形態とほぼ同様の構成を有している。
【0063】
腺管抽出用フィルタリング部131では、B画像信号に対して、腺管構造が多く含まれる帯域を抽出する周波数フィルタリングを行う。これにより、腺管構造を抽出した腺管抽出画像信号が生成される。この腺管抽出画像信号は、変換部86の第1変換部90、第2変換部91、第5変換部94のいずれかに入力される。一方、血管抽出用フィルタリング部132では、B画像信号に対して、微細血管が多く含まれる高周波の帯域を抽出する周波数フィルタリングを行う。これにより、微細血管を抽出した血管抽出画像信号が生成される。この血管抽出画像信号は、変換部86の第3変換部92、第4変換部93、第6変換部95のいずれかに入力される。
【0064】
[第3実施形態]
第1実施形態では、表示制御用画像をベース画像に合成することによって、腺管構造、微細血管の強調・抑制を行ったが、第3実施形態では、腺管構造、微細血管の強調については、表示制御用画像をベース画像に合成して行う一方で、腺管構造、微細構造の抑制については、ベース画像をぼかす処理で行う。
【0065】
第3実施形態の構造強調・抑制部140では、ベース画像生成部80と画像合成部83との間に、ベース画像をぼかす抑制処理部142が設けられている。また、第1実施形態の表示制御用画像生成部82の代わりに、表示制御用画像を作成する表示制御用画像生成部144が設けられている。また、構造強調・抑制設定部87は、設定した強調・抑制条件に基づいて、抑制処理部142及び表示制御用画像生成部144を制御する。なお、それ以外については、第3実施形態の内視鏡システムは、第1実施形態とほぼ同様の構成を有している。
【0066】
抑制処理部142は、構造強調・抑制設定部87で設定された抑制度に基づいて、ベース画像をぼかす処理を行う。ぼかしの程度は、抑制度が高くなる程、大きくする。なお、ぼかし処理としては、例えばローパスフィルタリングなどを用いることが好ましい。表示制御用画像生成部144は、構造抽出画像信号を入力して表示制御用画像を出力する変換部145を備えている。変換部145は、変換部86と異なり、第1変換部90、第3変換部92と、第5変換部94と、第6変換部95が設けられており、抑制に関する変換部(第2変換部91、第4変換部93)は設けられていない。
【0067】
上記第1〜第3実施形態では、各観察モードに必要な複数の画像信号をカラーのセンサで同時に取得する同時方式で本発明の実施を行ったが、これに代えて、各観察モードに必要な複数の画像信号をモノクロのセンサで順次取得する面順次式であっても同様に本発明の実施が可能である。
【0068】
図18に示すように、面順次式の内視鏡システム200の光源装置14には、青色レーザ光源34、青紫色レーザ光源36、光源制御部40の代わりに、広帯域光源202、回転フィルタ204、フィルタ切替部205が設けられている。また、内視鏡12の照明光学系24aには、蛍光体44が設けられていない。また、撮像光学系24bには、カラーのイメージセンサ48の代わりに、カラーフィルタが設けられていないモノクロのイメージセンサ206が設けられている。それ以外については、第1実施形態の内視鏡システム10と同様である。
【0069】
広帯域光源22はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、内側に設けられた通常観察モード用フィルタ208と、外側に設けられた特殊観察モード用フィルタ209とを備えている(
図19参照)。フィルタ切替部205は、回転フィルタ204を径方向に移動させるものであり、モード切替SW22bにより通常観察モードにセットされたときに、回転フィルタ204の通常観察モード用フィルタ208を白色光の光路に挿入し、特殊観察モードにセットされたときに、回転フィルタ204の特殊観察モード用フィルタ209を白色光の光路に挿入する。
【0070】
図19に示すように、通常観察モード用フィルタ208には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ208a、白色光のうち緑色光を透過させるGフィルタ208b、白色光のうち赤色光を透過させるRフィルタ20cが設けられている。したがって、通常観察モード時には、回転フィルタ204が回転することで、青色光、緑色光、赤色光が交互に検体内に照射される。
【0071】
特殊観察モード用フィルタ209には、周方向に沿って、白色光のうち中心波長415nmの青色狭帯域光を透過させるBnフィルタ209aと、白色光のうち中心波長540nmの緑色狭帯域光を透過させるGnフィルタ209bが設けられている。したがって、特殊観察モード時には、回転フィルタ204が回転することで、青色狭帯域光、緑色狭帯域光が交互に検体内に照射される。そのため、面順次式の内視鏡システム200では、広帯域光源202及び回転フィルタ204のBnフィルタ209が、本発明の狭帯域光源部を構成する。
【0072】
面順次方式の内視鏡システム200では、通常観察モード時には、青色光、緑色光、赤色光が検体内に照射される毎にモノクロのイメージセンサ206で検体内を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGBの画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
【0073】
一方、特殊観察モード時には、青色狭帯域光、緑色狭帯域光が検体内に照射される毎にモノクロのイメージセンサ206で検体内を撮像する。これにより、Bn画像信号と、Gn画像信号が得られる。これらBn画像信号と、Gn画像信号に基づいて、特殊光画像の生成が行われる。上記第1実施形態と異なり、ベース画像の生成については、Bn画像信号がB画像データ及びG画像データに割り付けられ、Gn画像信号がR画像データに割り付けられる。また、表示制御用画像の生成には、B画像信号の代わりに、Bn信号が用いられる。それ以外については、第1実施形態と同様の方法で特殊光画像の生成が行われる。
【0074】
なお、
図2に示す第1実施形態では、蛍光体44を内視鏡12の先端部24に設けたが、これに代えて、蛍光体44を光源装置14内に設けてもよい。この場合には、ライドガイド41と青色レーザ光源34との間に、蛍光体44を設けることが好ましい。
【0075】
なお、上記同時式の内視鏡システム10では、表示制御画像の作成に、青色レーザ光及び青紫色レーザ光の狭帯域波長情報が含まれる狭帯域信号であるB画像信号を用い、上記面順次式の内視鏡システム200では、表示制御画像の作成に、青色狭帯域光の狭帯域波長情報が含まれる狭帯域信号であるBn画像信号を用いたが、白色画像などの広帯域画像に基づく分光演算により、腺管構造及び微細血管に関する情報を多く持つ青色狭帯域画像信号を生成し、この青色狭帯域画像を表示制御画像の作成に用いてもよい。
【0076】
この場合には、同時式の内視鏡システム10の特殊観察モード時において、特殊光の代わりに、広帯域光である白色光を照明する。そして、
図20に示すように、受信部54と色彩強調部76との間に設けた分光演算部300において、白色光の発光・撮像により得られるRGB画像信号に基づく分光演算処理を行う。これにより、腺管構造及び微細血管に関する情報を多く持つ青色狭帯域画像信号(例えば、415nmの波長情報を持つ青色狭帯域画像信号)が生成される。分光演算の方法は、特開2003-093336号公報に記載の方法を用いる。この分光演算部300で生成された青色狭帯域画像信号と、GR画像信号に基づいて、上記実施形態と同様の手順で、表示制御画像を生成する。なお、白色光としては、蛍光体44により得られる白色光の他、キセノンランプなどの広帯域光源から発せられる広帯域光を用いてもよい。
【0077】
なお、上記実施形態では、本発明の実施を内視鏡の診断中に行っているが、これに限らず、内視鏡診断後に、内視鏡システムの記録部に記録しておいた内視鏡画像に基づいて、本発明の実施を行ってもよく、また、カプセル内視鏡で取得したカプセル内視鏡画像に基づいて、本発明の実施を行ってもよい。