(58)【調査した分野】(Int.Cl.,DB名)
さらに、前記画像処理部で前記撮像画像情報に前記画像処理が施されて得られた観察用画像情報に基づいて観察用画像を表示する表示部を有する請求項1〜3のいずれかに記載の内視鏡システム。
【発明を実施するための形態】
【0018】
以下、本発明に係る内視鏡システム及びそのキャリブレーション方法を、添付の図面に示す好適実施形態を参照して詳細に説明する。
図1は、本発明の一実施形態の内視鏡システムの全体構成の一実施例を模式的に示すブロック図である。
同図に示すように、本発明の内視鏡システム10は、本発明の内視鏡システムのキャリブレーション方法を実施するものであって、内視鏡12と、光源部14と、プロセッサ16と、入出力部18とを有する。ここで、光源部14及びプロセッサ16は、内視鏡12の制御装置を構成し、内視鏡12は、光源部14と光学的に接続され、プロセッサ16と電気的に接続される。また、プロセッサ16は、入出力部18と電気的に接続される。そして、入出力部18は、画像情報等を出力表示する表示部(モニタ)22、画像情報等を出力する記録部(記録装置)24(
図3参照)、及び通常観察モード(通常光モードともいう)や特殊光観察モード(特殊光モードともいう)などのモード設定や機能設定等の入力操作を受け付けるUI(ユーザインタフェース)として機能する入力部26を有する。
【0019】
内視鏡12は、その先端から照明光を出射する照明光学系と、被観察領域を撮像する撮像光学系とを有する、電子内視鏡である。なお、図示しないが、内視鏡12は、被検体内に挿入される内視鏡挿入部と、内視鏡挿入部の先端の湾曲操作や観察のための操作を行う操作部と、内視鏡12を制御装置の光源部14及びプロセッサ16に着脱自在に接続するコネクタ部を備える。さらに、図示はしないが、操作部及び内視鏡挿入部の内部には、組織採取用処置具等を挿入する鉗子チャンネルや、送気・送水用のチャンネル等、各種のチャンネルが設けられる。
【0020】
内視鏡12の先端部分には、
図1に示すように、被観察領域へ光を照射する照射口28Aに、詳細は後述するが、照明光学系を構成し、白色光源を構成する蛍光体30を有し、照射口28Aに隣接する受光部28Bに被観察領域の画像情報を取得するCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等の撮像素子(センサ)32が配置されている。なお、本発明で用いられるイメージセンサは、R(赤)、G(緑)及びB(青)の3色の画像信号を得るためのカラーイメージセンサ、撮像面にRGBフィルタを備えた、いわゆるRGBイメージセンサであっても良いし、撮像面にC(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色イメージセンサであっても良い。補色イメージセンサの場合には、CMYGの4色の画像信号から色変換によってRGBの3色の画像信号を得ることができる。したがって、この場合には、CMYGの4色の画像信号からRGBの3色の画像信号に色変換する色変換手段を、内視鏡12の撮像部分、光源部14又はプロセッサ16のいずれかに備えている必要がある。
内視鏡12の照射口28Aには、照明光学系を構成するカバーガラスやレンズ(図示せず)が配置され、受光部28Bの撮像素子32の受光面には撮像光学系を構成する対物レンズユニット(図示せず)が配置される。
内視鏡挿入部は、操作部の操作により湾曲自在にされ、内視鏡12が使用される被検体の部位等に応じて、任意の方向及び任意の角度に湾曲でき、照射口28A及び受光部28Bを、すなわち撮像素子32の観察方向を、所望の観察部位に向けることができる。
【0021】
光源部14は、通常光モード及び特殊光モードの両方に用いられる白色照明光用光源として用いられる中心波長445nmの青色レーザ光源(445LD)34と、特殊光モードにおいて特殊光光源として用いられる中心波長405nmの青紫色レーザ光源(405LD)36とを発光源として備えている。これら各光源34、36の半導体発光素子からの発光は、光源制御部40(
図3参照)により個別に制御されており、青色レーザ光源34の出射光と、青紫色レーザ光源36の出射光の光量比は変更自在になっている。
青色レーザ光源34及び青紫色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
【0022】
これら各光源34、36から出射されるレーザ光は、集光レンズ(図示せず)により、それぞれ光ファイバ38に入力され、合波器(図示せず)を介してコネクタ部に伝送される。なお、本発明は、これに限定されず、合波器を用いずに各光源34、36からの各レーザ光を直接コネクタ部に送出する構成であってもよい。
中心波長445nmの青色レーザ光及び中心波長405nmの青紫色レーザ光が合波され、コネクタ部まで伝送されたレーザ光は、照明光学系を構成する光ファイバ38によって、それぞれ内視鏡12の先端部まで伝搬される。そして、青色レーザ光は、内視鏡12の先端の、光ファイバ38の光出射端に配置された波長変換部材である蛍光体30を励起して蛍光を発光させる。また、一部の青色レーザ光は、そのまま蛍光体30を透過する。青紫色レーザ光は、蛍光体30を励起させることなく透過して、狭帯域波長の照明光(いわゆる狭帯域光)となる。
光ファイバ38は、マルチモードファイバであり、一例として、コア径105μm、クラッド径125 μm、外皮となる保護層を含めた径が φ0.3〜0.5mmの細径なファイバケーブルを使用できる。
【0023】
蛍光体30は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl
10O
17)等の蛍光体)を含んで構成される。これにより、青色レーザ光を励起光とする緑色〜黄色の励起光と、蛍光体30により吸収されずに透過した青色レーザ光とが合わされて、白色(疑似白色)の照明光となる。本構成例のように、半導体発光素子を励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
上記の蛍光体30は、レーザ光の可干渉性により生じるスペックルに起因して、撮像の障害となるノイズの重畳や、動画像表示を行う際のちらつきの発生を防止できる。また、蛍光体30は、蛍光体を構成する蛍光物質と、充填剤となる固定・固化用樹脂との屈折率差を考慮して、蛍光物質そのものと充填剤に対する粒径を、赤外域の光に対して吸収が小さく、かつ散乱が大きい材料で構成することが好ましい。これにより、赤色や赤外域の光に対して光強度を落とすことなく散乱効果が高められ、光学的損失が小さくなる。
【0024】
図2は、青紫色レーザ光源36からの青紫色レーザ光と、青色レーザ光源34からの青色レーザ光及び青色レーザ光が蛍光体30により波長変換された発光スペクトルとを示すグラフである。青紫色レーザ光は、中心波長405nmの輝線(プロファイルA)で表され、本発明の狭帯域光であり、特殊光となる。また、青色レーザ光は、中心波長445nmの輝線で表され、青色レーザ光による蛍光体30からの励起発光光は、概ね450nm〜700nmの波長帯域で発光強度が増大する分光強度分布となる。この励起発光光と青色レーザ光によるプロファイルBによって、上述した疑似白色光が形成され、通常光とされる。なお、
図2には示されていないが、蛍光体30は、青紫色レーザ光源36からの405nmの青紫色レーザ光によっても励起され、445nmの青色レーザ光による蛍光体30からの励起発光光より低い強度の励起発光光を発光する。また、本発明では、青紫色レーザ光源36の発光強度は、青色レーザ光源34の発光強度の数倍、例えば4〜7倍程度である。
【0025】
ここで、本発明でいう白色光とは、厳密に可視光の全ての波長成分を含むものに限定されず、例えば、上述した疑似白色光を始めとして、R、G、B等、特定の波長帯の光を含むものであればよく、例えば、緑色から赤色にかけての波長成分を含む光や、青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
この内視鏡システム10では、プロファイルAとプロファイルBとの発光強度を光源制御部40により相対的に増減制御して、任意の輝度バランスの照明光を生成することができる。なお、本発明の内視鏡システム10において、通常光モードでは、プロファイルBの光のみが用いられ、特殊光モードでは、プロファイルA及びBが重畳された光が用いられる。
なお、図示例においては、青色レーザ光源34からの445nmの青色レーザ光と青紫色レーザ光源36からの405nmの青紫色レーザ光とを合波した合波光を蛍光体30に当てて励起させて励起発光光を発光させているが、本発明はこれに限定されず、青色レーザ光源34からの445nmの青色レーザ光のみを蛍光体30に当てて励起させて励起発光光を発光させ、青紫色レーザ光源36からの405nmの青紫色レーザ光を直接内視鏡12の先端部の照射口28Aから被検体の被観察領域に向けて照射しても良い。
【0026】
上述したように、青色レーザ光源(以下、445LDという)34からの青色レーザ光と蛍光体30からの励起発光光による白色光(プロファイルB)、及び青紫色レーザ光源(以下、405LDという)36からの青紫色レーザ光による狭帯域光からなる照明光(プロファイルA)は、内視鏡12の先端部の照射口28Aから被検体の被観察領域に向けて照射される。そして、照明光が照射された被観察領域からの戻り光が、受光部28Bを介して撮像素子30の受光面上に結像され、撮像素子30によって被観察領域が撮像される。
撮像後に撮像素子30から出力される撮像画像の画像信号は、スコープケーブル42を通じてプロセッサ16の画像処理システム44に入力される。
【0027】
次に、こうして撮像素子30によって撮像された撮像画像の画像信号は、プロセッサ16の画像処理システム44を含む信号処理系によって画像処理され、モニタ22や記録装置24に出力され、ユーザの観察に供される。
図3は、本発明の内視鏡システムのプロセッサの一実施例の詳細構成を含む各部の信号処理系を示すブロック図である。
同図に示すように、内視鏡システム10の信号処理系は、内視鏡12の信号処理系と、光源14の信号処理系と、プロセッサ16の信号処理系(画像処理システム44)と、モード切替部(スイッチ)46と、モード切替制御部48と、キャリブレーション部20とを有する。
【0028】
内視鏡12の信号処理系は、撮像後に撮像素子30からの撮像画像の画像信号の信号処理系として、アナログ信号である撮像画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行うためのCDS・AGC回路50と、CDS・AGC回路50でサンプリングと利得制御が行われたアナログ画像信号をデジタル画像信号に変換するA/D変換器(A/Dコンバータ)52とを有する。A/D変換器52でA/D変換されたデジタル画像信号は、コネクタ部を介してプロセッサ16の画像処理システム44に入力される。
また、光源部14の信号処理系は、青色レーザ光源(445LD)34及び青紫色レーザ光源(405LD)36のオンオフ制御及び光量制御を行う光量制御部40を有する。
ここで、光量制御部40は、内視鏡システム10の稼働開始に伴う光源オン信号に応じて青色レーザ光源34を点灯したり、モード切替部46からの通常光モードと特殊光モードとの切替信号に応じて青紫色レーザ光源36のオンオフ制御を行ったり、後述する光量制御部54から算出された画像のB光及びG光の光量等やプロファイルA及びBの発光強度等に応じて、青色レーザ光源34及び青紫色レーザ光源36の発光強度、すなわち光源34及び36に流す電流値を制御する。なお、光量制御部40は、青紫色レーザ光源36のオン(点灯)信号をモード切替制御部48に入力する。
【0029】
さらに、プロセッサ16の信号処理系は、画像処理システム44(
図1参照)であっ
て、光量算出部54と、DSP(デジタルシグナルプロセサ)56と、ノイズ除去回路58と、画像処理切替部(スイッチ)60と、通常光画像処理部62と、特殊光画像処理部64と、画像表示信号生成部66とを有する。
光量算出部54は、内視鏡12のA/D変換器52からコネクタを介して入力されたデジタル画像信号を用いて、撮像素子30で受光した戻り光の光量、例えば、B光の光量及びG光の光量、すなわち画像のB光及びG光の光量等を算出する。光量算出部54は、さらに、光源光量、すなわち445LD34からの青色レーザ光の光量(発光強度)や、この青色レーザ光による蛍光体30からの疑似白色光の光量(
図2に示すプロファイルBの発光強度)や、405LD36からの青紫色レーザ光の光量(
図2に示すプロファイルAの発光強度)等を算出しても良い。また、光量算出部54は、さらに、画像のB光とG光との光量比(B/G比)を算出しても良い。
【0030】
なお、光量算出部54は、通常光モードから特殊光モードへの切り替えの際に、特殊光である青紫色レーザ光が十分に発光していない、すなわち405LDが安定していない立ち上がり時間の間は、算出した画像のB光及びG光の光量、又はB光とG光との光量比(B/G比)をキャリブレーション部20及びモード切替制御部48に伝送し、特殊光モードにおいて、405LD36が安定し、青紫色レーザ光が安定した十分な光量で発光している間は、算出した画像のB光及びG光の光量又はB光とG光との光量比(B/G比)、もしくは445LD34及び405LD36の発光強度、又は
図2に示す白色光(プロファイルB)及び青紫色レーザ光(プロファイルA)の発光強度、又はその比等をキャリブレーション部20及び光源制御部40に伝送する。
DSP56は、光量算出部54で光源光量が検出された後、A/D変換器52から出力されたデジタル画像信号にガンマ補正、色補正処理を行う。
ノイズ除去回路58は、DSP56でガンマ補正、色補正処理が施されたデジタル画像信号から、例えば、移動平均法やメディアンフィルタ法等の画像処理におけるノイズ除去方法を行ってノイズを除去する。
こうして、内視鏡12からプロセッサ16に入力されたデジタル画像信号は、DSP56及びノイズ除去回路58でガンマ補正、色補正処理及びノイズ除去等の前処理がなされる。
【0031】
画像処理切替部60は、詳細は後述するモード切替制御部48からの切替タイミング信号に基づいて、前処理されたデジタル画像信号を後段の通常光画像処理部62に送るか、特殊光画像処理部64に送るかを切り替えるスイッチである。
なお、本発明においては、区別のため、通常光画像処理部62及び特殊光画像処理部64による画像処理前のデジタル画像信号を画像信号といい、画像処理前後のデジタル画像信号を画像データと呼ぶことにする。
通常光画像処理部62は、通常光モードにおいて、445LD及び蛍光体30による白色光(プロファイルB)による前処理済デジタル画像信号に適した通常光用画像処理を施す部分であって、色変換部68と、色彩強調部70と、構造強調部72とを有する。
【0032】
色変換部68は、前処理済のRGB3チャンネルのデジタル画像信号に、3×3のマトリックス処理、階調変換処理、3次元LUT処理などの色変換処理を行い、色変換処理済RGB画像データに変換する。
色彩強調部70は、画面内の血管と粘膜との色味の差を付けて、血管を見易くなるように強調するためのものであって、色変換処理済RGB画像データに対して、画面を見ながらする処理、例えば、画面全体の平均の色味を見て、その色味を平均値より血管と粘膜との色味の差をつける方向に強調する処理を行う。
構造強調部72は、色彩強調処理済RGB画像データに対して、シャープネスや輪郭強調等の構造強調処理を行う。
構造強調部72で構造強調処理が施されたRGB画像データは、通常光用画像処理済RGB画像データとして通常光画像処理部62から画像表示信号生成部66に入力される。
【0033】
特殊光画像処理部64は、特殊光モードにおいて、405LD36からの青紫色レーザ光(プロファイルA)及び445LD及び蛍光体30からの白色光(プロファイルB)による前処理済デジタル画像信号に適した特殊光用画像処理を施す部分であって、色変換部74と、色彩強調部76と、構造強調部78とを有する。
色変換部74は、入力された前処理済のRGB3チャンネルのデジタル画像信号のG画像信号に所定係数をかけてR画像データに割り付け、同B画像信号にそれぞれ所定係数をかけてG画像データ及びB画像データに割り付け、RGB画像データを生成した後、生成されたRGB画像データに、色変換部68と同様に、3×3のマトリックス処理、階調変換処理、3次元LUT処理などの色変換処理を行う。
【0034】
色彩強調部76は、色彩強調部70と同様に、画面内の血管と粘膜との色味の差を付けて、血管を見易くなるように強調するためのものであって、色変換処理済RGB画像データに対して、画面を見ながらする処理、例えば、画面全体の平均の色味を見て、その色味を平均値より血管と粘膜との色味の差をつける方向に強調する処理を行う。
構造強調部78は、構造強調部72と同様に、色彩強調処理済RGB画像データに対して、シャープネスや輪郭強調等の構造強調処理を行う。
構造強調部72で構造強調処理が施されたRGB画像データは、特殊光用画像処理済RGB画像データとして特殊光画像処理部64から画像表示信号生成部66に入力される。
【0035】
画像表示信号生成部66は、通常光モードでは通常光画像処理部62から入力された画像処理済RGB画像データを、特殊光モードでは特殊光画像処理部64から入力された画像処理済RGB画像データを、モニタ22でソフトコピー画像として表示するための、又は記録装置24でハードコピー画像として出力するための表示画像信号に変換する。
モニタ22は、通常光モードでは、白色光を照射して撮像素子32で得られ、プロセッサ16で前処理及び通常光画像処理がなされた表示画像信号に基づく通常観察用画像をソフトコピー画像として表示し、特殊光モードでは、白色光に加え、特殊光を照射して撮像素子32で得られ、プロセッサ16で前処理及び特殊光画像処理がなされた表示画像信号に基づく特殊光観察画像をソフトコピー画像として表示する。
記録装置24も、通常光モードでは、白色光を照射して得られた通常観察画像をハードコピー画像として出力し、特殊光モードでは、白色光及び特殊光を照射して得られた特殊光観察画像をハードコピー画像として出力する。
なお、必要に応じて、画像表示信号生成部66で生成された表示画像信号は、画像情報として、図示ないが、メモリやストレージ装置からなる記憶部に記憶されても良い。
【0036】
一方、モード切替部46は、通常光モードと特殊光モードとを切り替えるためのモード切替スイッチやモード切替ボタンを有し、ユーザがこれらを押下することにより、モード切替指示がなされ、モード切替部46からのモード切替信号が出され、そのモード切替信号は、光源部14の光源制御部40に入力されるが、その後、光源制御部40によって、405LD36が点灯される。ここで、モード切替部46は、プロセッサ16に配置されるのが良く、内視鏡12に、特にその操作部に配置されるのも好ましいが、光源部14や入出力部18に配置されても良い。なお、モード切替部46からのモード切替信号を直接モード切替制御部48に入力するようにしても良い。
モード切替制御部48は、モード切替部46から入力される、通常光モードから特殊光モードに切り替えるためのモード切替信号に応じて光源部14の光源制御部40によって点灯された405LD36の点灯信号を光源制御部40から受けて、プロセッサ16の画像処理システム44における画像処理を、通常光用画像処理から特殊光用画像処理に切り替えるタイミング、すなわち、前処理済デジタル画像信号のパスを通常光画像処理部62から特殊光画像処理部64に切り替えるタイミングを制御するものである。
なお、モード切替制御部48は、モード切替部46から入力されるモード切替信号を直接受けて、プロセッサ16の画像処理を通常光用画像処理から特殊光用画像処理に切り替えるタイミングを制御しても良い。
【0037】
図4(A)に、モード切替制御部の第1実施例を示す。
同図に示すモード切替制御部48Aは、モード切替部46のモード切替信号を受けて光源部14の光源制御部40によって点灯された青紫レーザ光源(405LD)36の点灯信号を光源制御部40から受けて起動され、時間計測を行うタイマ80と、405LD36が点灯されてから所定出力に達するまで、もしくは安定するまでの立ち上がり時間を設定時間(閾値)として記憶するメモリ82と、タイマ80から入力される計測時間と、メモリ82から読み出された設定時間とを比較して、計測時間が設定時間を超えた時に、通常光用画像処理から特殊光用画像処理に切り替えるための切替タイミング信号を画像処理切替部60に出力するタイミング信号出力部84Aと、を有する。
なお、タイマ80に、モード切替部46のモード切替信号を直接入力して起動しても良く、この場合には、メモリ82への設定時間も、点灯時からではなく、モード切替信号を入力からの時間とすれば良い。
ここで、モード切替制御部48Aは、プロセッサ16内に配置されていても良いが、本発明はこれに限定されず、光源部14内に配置されていても良いし、独立して配置されていても良い。
【0038】
ここで、予め、
図10に示すレーザ光源の時間的応答特性、発光強度の時間的変化を計測しておき、例えば
図10に示すような405LD36の発光強度が、初めて、所定発光強度、すなわち安定した発光強度となるまでの立ち上がり時間、すなわち性能が保証できない範囲を、閾値となる設定時間として設定しておけば良い。なお、通常光モードから特殊光モードへのモード切替に時間的な余裕があり、
図10に示すように、発光強度にオーバーシュートがある場合には、オーバーシュート後に安定な発光強度になるまでの時間を閾値となる設定時間として設定しても良い。
閾値となる設定時間のメモリ82への書き込み(設定)は、入出力部18の入力部26からUIを介して行えば良い。
なお、入力部26は、キーボード、マウス、タッチパネル等の公知の操作入力装置を用いることができる。
【0039】
図4(B)に、モード切替制御部の第2実施例を示す。
同図に示すモード切替制御部48Bは、モード切替部46から入力される通常光モードから特殊光モードへのモード切替信号を受けた光源部14の光源制御部40によって点灯された青紫レーザ光源(405LD)36の点灯信号を光源制御部40から受けた後に、光量算出部54から入力される画像のB光及びG光の光量から、時々刻々と変化するB光とG光との光量比(B/G比)を測定するB/G比測定部86と、405LD36が点灯から所定出力に達した時のB/G比を設定B/G比(閾値B/G比)として記憶するメモリ88と、B/G比測定部86から入力される測定B/Gと、メモリ88から読み出された閾値B/G比とを比較して、測定B/Gが閾値B/G比を超えた時に、通常光用画像処理から特殊光用画像処理に切り替えるための切替タイミング信号を画像処理切替部60に出力するタイミング信号出力部84Bと、を有する。
なお、B/G比測定部86によるB/G比の測定開始を、モード切替部46のモード切替信号を直接入力した時点としても良い。
ここで、モード切替制御部48Bは、プロセッサ16内に配置されているのが好ましいが、本発明はこれに限定されず、光源部14内に配置されていても良いし、独立して配置されていても良い。
【0040】
なお、本実施例2においても、上記実施例1の場合と同様に、予め、レーザ光源が
図10に示す時間的応答特性、すなわち発光強度の時間的変化を示し、例えば
図10に示すような405LD36の発光強度が、初めて、所定発光強度、すなわち安定した発光強度となるまでの性能が保証できない範囲の立ち上がり時間に達した時の画像のB光とG光との光量比であるB/G比を、閾値B/G比や設定B/G比として設定しておけば良い。なお、通常光モードから特殊光モードへのモード切替に時間的な余裕があり、
図10に示すように、発光強度にオーバーシュートがある場合には、閾値B/G比を所定の範囲に設定しておき、オーバーシュートによって測定閾値が所定の範囲を超える場合には、タイミング信号出力部84Bは、切替タイミング信号の出力を停止するように構成しても良い。
閾値となる閾値B/G比や設定B/G比のメモリ88への書き込み(設定)は、入出力部18の入力部26からUIを介して行えば良い。
【0041】
上記実施例1及び2において、画像処理切替部60は、モード切替制御部48A及び48Bからの切替タイミング信号を受けて、ノイズ除去部58から入力される前処理済デジタル画像信号のパスを通常光画像処理部62から特殊光画像処理部64に切り替え、前処理済デジタル画像信号の画像処理を、通常光用画像処理から特殊光用画像処理に切り替える。
【0042】
さらに、キャリブレーション部20は、本発明の最も特徴のある部分であって、通常光モードから特殊光モードに切り替える際に、通常光モードにおいて、撮影対象を445LD34による白色光を用いて撮像部で撮像して得られた撮影画像情報を用いて推定された撮影対象の分光反射率データと、特殊光モードに切り替えて、撮影対象を白色光及び405LD36からの青紫色レーザ光を用いて撮像部で撮像して得られた撮影画像情報から得られる青色(B)信号値及び緑色(G)信号値に基づいて405LD36の発光強度を補正するものである。
すなわち、キャリブレーション部20は、観察対象を通常観察をする通常光モードから特殊光観察する特殊光モードに切り替える際に、通常光モードにおいて、観察対象について分光推定を行い、その結果に基づいて理想的なB/G比を算出し、レーザ光源、例えば405LD36が立ち上がって安定した十分な発光強度のレーザ光を出射している特殊光モードにおいて、B/G比を測定し、測定されたB/G比が、理想的なB/G比となるように405LD36の発光強度を補正するための補正量を算出し、光源制御部40に405LD36の発光強度を補正させるためのものであり、このような補正により、レーザ光源、特に常時点灯されている445LD34の経時劣化や、445LD34や405LD36の時間変動による特殊光処理の際に生じる撮像画像のB/G比のずれを補正して、撮像画像の色味変動を補正し、特に、撮影対象の分光反射率の違いを考慮して補正するものである。
【0043】
図5に、キャリブレーション部の一実施例の詳細構成及びそのフローの一例を示す。
図5に示すように、キャリブレーション部20は、通常光モードから特殊光モードに切り替える際に、正確には、ユーザによってモード切替部46でモード切替指示がなされても、405LD36が点灯されるまでの間の、445LD34だけが点灯している通常光モードにおいて、光量算出部54から入力される画像のR光、B光及びG光の光量、すなわちR画像信号、B画像信号及びG画像信号の値に基づいて、分光推定を行い、被写体の分光反射率を推定する分光推定部110と、分光推定の結果として得られた被写体の分光反射率から、目標となる理想的なB画像信号とG画像信号との比(理想B/G比)を算出するB/G比算出回路112と、405LD36の立ち上がり時間経過後の、405LD36が立ち上がって安定した十分な発光強度の青紫色レーザ光を出射している特殊光モードにおいて、光量算出部54から入力される画像のB光及びG光の光量、すなわちB画像信号及びG画像信号の値に基づいて、画像のB/G比を測定するB/G比測定回路114と、B/G比算出回路112で算出された目標となる理想的なB/G比と、B/G比測定部114で測定された測定B/G比に一致するように405LD36の発光強度を補正するための補正量を算出する補正量算出回路116と、B/G比算出回路112で用いる内視鏡12のスコープ出射端における445LD34の分光放射率、内視鏡12のスコープ出射端における405LD36の分光放射率及び撮像センサ32の分光感度を予め記憶しておくメモリ118と、を有する。
【0044】
キャリブレーション部20は、補正量算出回路116で算出された補正量に基づいて、光源制御部40内の405LD強度補正回路120に405LD36の発光強度を補正させることにより、キャリブレーションを行うものである。このキャリブレーションは、設置時とか、長期間経過した時とかに、最初に1回行えば良く、内視鏡検査前に毎回に行う必要はない。
分光推定部110は、光量算出部54を通して供給される、通常光を生体等の観察対象部位に照射して得られた戻り光の撮像信号(RGB画像信号)から、撮像素子32の分光感度やレーザ光源(405LD36や445LD34等)の分光放射率等を用いて分光スペクトル画像を生成し、生成された分光スペクトル画像から分光推定により、血管とか粘膜とかの生体の観察対象部位の分光反射率データを推定する。なお、分光推定部110で行う生体の観察対象部位の分光反射率データを推定するための分光推定方法は、特に制限的ではなく、従来公知の分光推定方法を用いることができる。例えば、特開2003−93336号公報に開示された方法、すなわち、照明用光源の分光特性および被検体内の反射特性に基づいて求められた所定の係数を用いてカラー画像信号から分光画像信号を生成する方法を用いることができる。
なお、分光推定部110は、生体の観察対象部位の分光反射率データを推定した後に、光源制御部40に405LD36を点灯させるように点灯信号を送る。
【0045】
次に、B/G比算出回路112は、分光推定部110で推定された生体の観察対象部位の分光反射率データから、好ましくは、メモリ118から読み出された内視鏡12のスコープ出射端における445LD34の分光放射率、内視鏡12のスコープ出射端における405LD36の分光放射率、及び撮像センサ32の分光感度を用いて、観察対象部位の特殊光観察画像(狭帯域観察画像)を得る時に最も適した、すなわち理想的な405LD36と445LD34との発光強度の比率、したがって、撮像画像の理想的なB/G比を算出する部分である。
ここで、理想的なB/G比は、下記式に従って求めることができる。
B=ΣE×R×b
G=ΣE×R×g
ここで、Eは、内視狭12のスコープ出射端の分光放射率であり、Rは、被写体の分光反射率であり、bは、Bchの分光感度、gは、Gchの分光感度である。
【0046】
次に、B/G比測定部114は、405LD36の立ち上がり時間経過後の、405LD36が立ち上がって安定した十分な発光強度の青紫色レーザ光を出射している特殊光モードにおいて、すなわち光量算出部54を通して供給される、実際に特殊光観察を行う条件で特殊光を生体等の観察対象部位に照射して得られた戻り光の撮像信号(GB画像信号)から、B/G比を測定する部分である。
補正量算出回路116は、B/G比算出回路112で算出された目標となる理想的なB/G比と、B/G比測定部114で測定された測定B/G比に一致するように、405LD36と445LD34との発光比率(両発光強度の比率)を計算して、405LD36の発光強度を補正するための補正量を算出するものである。
光源制御部40内には、405LD強度補正回路120が設けられており、強度補正回路120は、補正量算出回路116で算出された405LD36の発光強度の補正量に従って405LD36の発光強度を補正する。
このようにして、405LD36の発光強度を補正するための補正量を算出するので、観察部位や個人差が大きい生体の分光反射率に違いがあっても、分光推定によって、生体の分光反射率を推定しているので、観察対象となる生体の撮像画像の理想的なB/G比を得ることができるので、特殊光観察におけるB/G比を目標となる理想的なB/G比にすることができる。
本発明の内視鏡システムは、基本的に以上のように構成される。
【0047】
以下に、本発明の内視鏡システムの作用及び本発明の内視鏡システムのキャリブレーション方法を説明する。
図6(A)〜(C)を用いて、
図5に示すキャリブレーション部20を用いた内視鏡システムの作用及び本発明の内視鏡システムのキャリブレーション方法について説明する。
この実施例においては、モード切替部46、モード切替制御部48A及びキャリブレーション部20は、プロセッサ16内に配置されており、まず、
図6(A)に示すように、445LD34が点灯され、白色光による通常光用画像処理A10が行われているものとする。
ここで、ユーザによって、特殊光切り替えS10を指示するために、プロセッサ16のモード切替部46のスイッチ又はボタンが押されると、モード切替部46からモード切替信号(特殊光ON)が出力される(ステップS12)。
【0048】
次いで、モード切替部46からのモード切替信号は、キャリブレーション部20に入力され、キャリブレーション部20の分光推定部110で、光量算出部54を通して供給されるRGB画像信号から分光推定により生体の観察対象部位の分光反射率データが推定される(ステップS14)。
次に、B/G比算出回路112で、分光推定部110で推定された生体の観察対象部位の分光反射率データから目標となる理想的なB/G比が算出される(ステップS16)。
一方、分光反射率データの推定が終了した分光推定部110から、点灯信号が光源部14の光源制御部40に入力され、光源制御部40によって405LD36が点灯される(ステップS18)。
【0049】
次に、光源制御部40からプロセッサ16のモード切替制御部48Aのタイマ80に点灯信号が入力され、タイマ80が点灯時間の測定を開始する(ステップS20)。
この時、
図6(B)に示すように、モニタ22の表示画面100の内視鏡画像表示領域102には白色光による通常観察画像がまだ表示されているが、内視鏡画像表示領域102外には特殊光モードであるが特殊光観察画像ではないことがユーザに分かるようなマーク104が表示される。なお、マーク104として、色を変えた文字、例えば、特殊光モードを示す特殊光の文字を赤くして表示しても良いし、表示しないようにしても良い。
あるいは、静止画を保存できないようにしても良い。
【0050】
そうして、モード切替制御部48Aにおいて、タイマ80によって計測された点灯時間が、メモリ82から読みだされた閾値となる設定時間を超えた時、すなわち、405LD36が点灯から所定の立ち上がり時間を経て十分な大きさの、安定した発光強度を持つレーザ光となった時に、モード切替制御部48Aのタイミング信号出力部84Aが切替タイミング信号を画像処理切替部60に出力し、画像処理切替部60が、通常光用画像処理A10から特殊光用画像処理A12に切り替える(ステップS22)。
その結果、
図6(C)に示すように、モニタ22の表示画面100の内視鏡画像表示領域102には特殊光及び白色光による特殊光観察画像が表示され、内視鏡画像表示領域102外には特殊光モードであり、特殊光観察画像が表示されていることがユーザに分かるような、文字の色やマーク106が表示される。
【0051】
こうして、特殊光モードにおいて特殊光用画像処理A12に切り替えられた後、すなわち、445LD34及び405LD36が点灯されて共に安定した状態にある時、キャリブレーション部20のB/G比測定部114で、光量算出部54を通して供給されるGB画像信号から、画像のB/G比を測定する(ステップS24)。
次に、補正量算出回路116は、B/G比算出回路112で算出された目標となる理想的なB/G比と、B/G比測定部114で測定された測定B/G比に一致するように、405LD36と445LD34との発光比率(両発光強度の比率)を計算して、405LD36の発光強度を補正するための補正量を算出する(ステップS26)。
そして、補正量がキャリブレーション部20から光源制御部40へ送られ、光源制御部40によって、405LD36の発光強度が補正される(ステップS28)。
こうして、特殊光観察におけるB/G比を目標となる理想的なB/G比にすることができる。
【0052】
上述した例では、キャリブレーション部20は、通常光モードから特殊光モードに切り替える際に、通常光モードにおいて、分光推定を行い、理想B/G比を算出しておき、特殊光モードにおいて、画像のB/G比を測定し、画像のB/G比が、理想B/G比となるように405LD36の発光強度を補正するための補正量を算出し、405LD36の発光強度を補正するものであるが、本発明はこれに限定されず、予め、画像のB/G比に対する補正量の補正テーブルを作成しておき、補正テーブルを用いて、測定された画像のB/G比に対する補正量を得、405LD36の発光強度を補正しても良い。
図7に、キャリブレーション部の別の実施例の詳細構成及びそのフローの一例を示す。
図7に示すキャリブレーション部20aは、
図5に示すキャリブレーション部20と、B/G比算出回路112及び補正量算出回路116の代わりに、補正テーブル生成回路122を有している点で異なる以外は、同様の構成を有するものであり、同一の構成要素には、同一の参照符号を付し、その詳細な説明は省略する。
【0053】
図7に示すキャリブレーション部20aは、被写体の分光推定を行う分光推定部110と、分光推定部110の分光推定の結果として得られた被写体の分光反射率から、撮影対象の画像のB/G比に対する405LD36の発光強度を補正する補正量の補正テーブルを生成する補正テーブル生成回路122と、画像のB/G比を測定するB/G比測定回路114と、内視鏡12のスコープ出射端における445LD34及び405LD36の分光放射率並びに撮像センサ32の分光感度を記憶するメモリ118と、を有する。
ここで、補正テーブル生成回路122は、メモリ118から読み出された内視鏡12のスコープ出射端における445LD34の分光放射率、内視鏡12のスコープ出射端における405LD36の分光放射率、及び撮像センサ32の分光感度と、分光推定部110で推定された生体の観察対象部位の分光反射率データから、上記式を用いて、特殊光モードにおける画像のB/G比とこれに対する405LD36の発光強度の補正量との補正テーブルを作成するものである。
【0054】
例えば、補正テーブルとしては、以下のような補正テーブルを例示することができる。
【表1】
【0055】
キャリブレーション部20は、B/G比測定回路114で測定された画像のB/G比を用い、補正テーブル生成回路122で生成された補正テーブルを参照させて、光源制御部40内の405LD強度補正回路120に405LD36の発光強度を補正させることにより、キャリブレーションを行うものである。
すなわち、光源制御部40内の405LD強度補正回路120は、B/G比測定回路114で測定された画像のB/G比から、補正テーブル生成回路122で生成された補正テーブルを参照して得られた405LD36の発光強度の補正量に従って405LD36の発光強度を補正する。
このようにして、405LD36の発光強度を補正するための補正量が補正テーブルを参照するだけで得られるので、観察部位や個人差が大きい生体の分光反射率に違いがあっても、分光推定によって、生体の分光反射率を推定しているので、観察対象となる生体の撮像画像の理想的なB/G比を得ることができるので、特殊光観察におけるB/G比を目標となる理想的なB/G比にすることができる。
【0056】
なお、上述して例では、405LD36の点灯からモード切替制御部48Aのタイマ80による時間計測をスタートして計測時間が所定の閾値(設定立ち上がり時間)を超えた時に画像処理切替部60によって通常光用画像処理A10から特殊光用画像処理A12に切り替えているが、本発明は、これに限定されず、
図4(B)に示すモード切替制御部48Bを用いて、B/G比測定部86による画像のB/G比が、所定の閾値(設定立ち上がり時間)を超えた時に画像処理切替部60によって通常光用画像処理A10から特殊光用画像処理A12に切り替えるようにしても良い。
その結果、例えば、405LD36が点灯から立ち上がり時間迄の間は、モニタ22の表示画面には、通常光用画像処理がなされた通常観察画像が複数コマ(フレーム)表示され、405LD36が点灯から立ち上がり時間を経過した後の複数コマは、特殊光用画像処理がなされた特殊光観察画像が表示されることになる。
したがって、モニタ22の表示画面に表示されるカラー画像が、赤の色味が強く、赤みがかったものとなることはなく、ユーザに、出血を想起させ、誤った観察を招くなどの不利益を生じさせることはないし、B光の比率が低く、表層血管が見えづらく、特殊光モードの性能が発揮できず、内視鏡システムとしての性能が保障できなくなることはない。
すなわち、本発明の内視鏡システムにおいては、通常観察をする通常光モードから、特殊光観察する特殊光モードに切り替える際に、表層組織の微細血管や微細構造の観察をするたに、適切な画像を表示し、ユーザに提供することができる。
【0057】
ところで、本発明の内視鏡システムにおいては、生体組織に照明光が入射されると、入射光は生体組織内を拡散的に伝播するが、生体組織の吸収・散乱特性は波長依存性を有しており、短波長ほど散乱特性が強くなる傾向がある。つまり、照明光の波長によって光の深達度が変化する。そのため、照明光が400nm付近の波長域 λaでは粘膜表層の毛細血管からの血管情報が得られ、波長500nm付近の波長域 λbでは、更に深層の血管を含む血管情報が得られるようになる。そのため、生体組織の血管観察には、中心波長360〜800nm、好ましくは365〜515nmの光源が用いられ、特に表層血管の観察には、中心波長360〜470nm、好ましくは360〜450nmの光源が用いられる。
本発明の内視鏡システムにおいては、照明光を白色光とした場合の観察画像では、比較的粘膜深層の血管像が得られるとともに画像全体の輝度を高めやすい。一方、可視短波長成分を多く含む狭帯域光を照明光とした場合の観察画像では、粘膜表層の微細な毛細血管が鮮明に見えるようになる。
【0058】
すなわち、白色光による観察画像と狭帯域光による観察画像とが合成された画像にすることにより、画像全体で十分な輝度を確保でき、しかも、生体組織の粘膜表層の微細血管が強調された患部の診断がしやすい観察画像となる。そこで、上記構成の内視鏡システム10においては、内視鏡12の先端部から出射する白色光及び狭帯域光の各出射光量を、それぞれ独立して連続変化可能とし、1フレームの撮像画像に双方の照明光による光成分が含まれるようにしている。すなわち、白色光による観察画像と狭帯域光による観察画像とが合成された画像を観察画像としている。
これにより、本発明の内視鏡システムにおいては、白色照明光で観察部位を明るくしつつ、狭帯域光により表層血管を強調して微細血管構造の観察を容易に行うことができる観察画像を取得することができる。
【0059】
このため、本発明の内視鏡システムにおいては、上記のように狭帯域光に白色光を加えて照明光とする場合に、撮像画像全体の平均輝度、及び狭帯域光と白色光との混合バランスを適正に保つため、白色照明用光源である青色レーザ光源34と特殊光光源である青紫色レーザ光源36の出射光の光量比を制御するのが好ましい。
なお、青色レーザ光源34と青紫色レーザ光源36は、それぞれ同時点灯させて撮像する以外にも、撮像素子の1フレーム内の受光期間内で交互に点灯させることであってもよい。その場合、省電力化や発熱の抑制に寄与できる。
【0060】
上述した例では、青色レーザ光源34によって励起し、青紫色レーザ光源36では励起しない蛍光体30を用いたが、青紫色レーザ光源36でも励起する異なる蛍光体を用いても良い。この場合、青紫色レーザ光36の光量を増加させたとき、観察画像全体が青みがかることを、青紫色レーザ光36による蛍光体の励起光によって緩和でき、白色照明の色バランスの変化を抑制することができる。なお、青紫色レーザ光36による蛍光体の励起発光量は、青色レーザ光34による励起発光量に比較して、数分の1(少なくとも、1/3、望ましくは1/5、更に望ましくは1/10以下)に設定するのが良い。この程度に青紫色レーザ光36による蛍光体の励起発光を抑えることで、白色照明の色温度を適正に維持しつつ、特殊光観察が行える。
上述した例では、特殊光観察として、狭帯域光観察を説明したが、本発明はこれに限定されず、狭帯域光を用いて発生させた自家蛍光を観察する場合にも適用可能なことはもちろんである。
【0061】
上述した例は、白色光源として445nmの青色レーザ光源及び蛍光体を用い、特殊光源としても波長の異なる波長405nmの青紫色レーザ光源を用いたが、白色光源としてハロゲンランプ、キセノンランプ、或いは白色LED(発光ダイオード)等のブロードな波長帯の広帯域光を出射する光源を用いてもよいし、特殊光源として、狭帯域光を出射する青色LEDを用いても良い。
図7は、白色光源として白色LEDを用い、特殊光源として青色LEDを用いた内視鏡システムの全体構成の一実施例を模式的に示すブロック図である。
図7に示す内視鏡システム90Aは、
図1に示す内視鏡システム10と、光源部の構成及び内視鏡先端部に蛍光体が配置されていない点が異なる以外は、同一の構成を有するものであるので、同一の構成要素には同一の参照符号を付し、その詳細な説明は省略する。
【0062】
図7に示す内視鏡システム90Aは、内視鏡12Aと、光源部14Aと、プロセッサ16と、入出力部18とを有する。ここでも、光源部14A及びプロセッサ16は、内視鏡12Aの制御装置を構成し、内視鏡12Aは、光源部14Aと光学的に接続され、プロセッサ16と電気的に接続される。
内視鏡12Aは、
図1に示す内視鏡12と内視鏡先端部に蛍光体が配置されていない点で異なるが、内視鏡12Aの先端部分には、光ファイバ38の先端に配置される被観察領域へ光を照射する照射口28Aと、照射口28Aに隣接して、被観察領域の画像情報を取得する撮像素子32が配置された受光部28Bが配置される。
【0063】
光源部14Aは、通常光モード及び特殊光モードの両方に用いられる白色照明光用光源として用いられる白色LED92と、特殊光モードにおいて特殊光光源として用いられる青色LED94とを発光源として備えている。これら各光源92、94からの発光は、光源制御部40(
図3参照)により個別に制御されており、白色LED92の出射光と、青色LED94の出射光の光量比は変更自在になっている。
これら各光源92、94から出射されるLED光は、集光レンズ(図示せず)により、それぞれ光ファイバ38に入力され、合波器(図示せず)を介してコネクタ部に伝送される。なお、本発明は、これに限定されず、合波器を用いずに各光源92、94からの各LED光を直接コネクタ部に送出する構成であってもよい。
白色LED92の白色光及び青色LED94の青色光が合波され、コネクタ部まで伝送された光は、照明光学系を構成する光ファイバ38によって、それぞれ内視鏡12Aの先端部まで伝搬される。そして、青色光は、狭帯域波長の照明光(いわゆる狭帯域光)となる。
【0064】
図8は、白色光源としてキセノン(Xe)光源を用い、特殊光源として青紫色レーザ光源(405LD)又は青色LEDを用いた内視鏡システムの全体構成の一実施例を模式的に示すブロック図である。
図8に示す内視鏡システム90Aは、
図7に示す内視鏡システム90Aと、光源部の構成が異なる以外は、同一の構成を有するものであるので、同一の構成要素には同一の参照符号を付し、その詳細な説明は省略する。
図8に示す内視鏡システム90Bは、内視鏡12Aと、光源部14Bと、プロセッサ16と、入出力部18とを有する。ここでも、光源部14B及びプロセッサ16は、内視鏡12Aの制御装置を構成し、内視鏡12Aは、光源部14Bと光学的に接続され、プロセッサ16と電気的に接続される。
【0065】
光源部14Bは、通常光モード及び特殊光モードの両方に用いられる白色照明光用光源として用いられるキセノン(Xe)光源96と、特殊光モードにおいて特殊光光源として用いられる青紫色レーザ光源(405LD)36又は青色LED94とを発光源として備えている。これら各光源96及び36又は94からの発光は、光源制御部40(
図3参照)により個別に制御されており、キセノン光源96の出射光と、青紫色レーザ光源36又は青色LED94の出射光の光量比は変更自在になっている。
これら各光源96及び36又は94から出射されるレーザ光は、集光レンズ(図示せず)により、それぞれ光ファイバ38に入力され、合波器(図示せず)を介してコネクタ部に伝送される。なお、本発明は、これに限定されず、合波器を用いずに各光源96及び36又は94からの各光を直接コネクタ部に送出する構成であってもよい。
キセノン光源96の白色光及び青紫色レーザ光源36の405nmの青紫色光又は青色LED94の青色光が合波され、コネクタ部まで伝送された光は、照明光学系を構成する光ファイバ38によって、それぞれ内視鏡12Aの先端部まで伝搬される。そして、青紫色光又は青色光は、狭帯域波長の照明光(いわゆる狭帯域光)となる。
【0066】
図9は、内視鏡先端部において、白色光源として白色LEDを配置し、特殊光源として青色LEDを配置した内視鏡システムの全体構成の一実施例を模式的に示すブロック図である。
図9に示す内視鏡システム90Cは、
図7に示す内視鏡システム90Aと、内視鏡及び光源部の構成が異なる以外は、同一の構成を有するものであるので、同一の構成要素には同一の参照符号を付し、その詳細な説明は省略する。
図9に示す内視鏡システム90Cは、内視鏡12Bと、LED駆動ユニット98と、プロセッサ16と、入出力部18とを有する。ここでも、LED駆動ユニット98及びプロセッサ16は、内視鏡12Bの制御装置を構成し、内視鏡12Bは、LED駆動ユニット98及びプロセッサ16と電気的に接続される。
【0067】
内視鏡12Bは、
図7に示す内視鏡12Aと、内視鏡先端部に白色LED92及び青色LED94が直接配置され、LED駆動ユニット98の制御部99と白色LED92及び青色LED94との間にそれぞれケーブル43が接続されている点で異なり、内視鏡12Bの先端部分には、白色LED92及び青色LED94の先端にそれぞれ配置される、被観察領域へ光を照射する2つの照射口28Aと、その1つの照射口28Aに隣接して、被観察領域の画像情報を取得する撮像素子32が配置された受光部28Bが配置される。
内視鏡12Bは、通常光モード及び特殊光モードの両方に用いられる白色照明光用光源として用いられる白色LED92と、特殊光モードにおいて特殊光光源として用いられる青色LED94とを発光源として備えている。これら各光源92、94からの発光は、LED駆動ユニット98の制御部99内の光源制御部40(
図3参照)により個別に制御されており、白色LED92の出射光と、青色LED94の出射光の光量比は変更自在になっている。
LED駆動ユニット98は、内部に制御部99のみを有し、制御部99内には、光源制御部40を有する。白色LED92及び青色LED94は、LED駆動ユニット98の制御部99内の光源制御部40によってそれぞれ個別に制御される。
【0068】
図8〜10に示す内視鏡システム90A〜90Cによれば、分光特性でバランスのとれた高強度の白色光を簡単な構成で導入でき、内視鏡先端部の発熱を抑えた構成にできる。また、白色光と狭帯域光とを完全に切り分けて照射でき、光量制御を容易にできる。
【0069】
以上、本発明に係る内視鏡システムについて種々の実施形態及び実施例を挙げて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良又は変更をしてもよいのはもちろんである。
【0070】
以上の通り、本明細書には次の事項が開示されている。
(1)第1光源部及び該第1光源部と異なる第2光源部を含む複数の光源部と、
該複数の光源部からの出射光に対応して撮像して撮像画像情報を出力する撮像部と、
前記撮像部から出力される撮像画像情報に所定の画像処理を施す画像処理部と、
前記第1光源部を用いて前記撮像部で撮像し、得られた第1撮影画像情報に第1画像処理を施す第1モードと、少なくとも前記第2光源部を用いて前記撮像部で撮像し、得られた第2撮影画像情報に、前記第1画像処理と異なる第2画像処理を施す第2モードと、を切り替えるモード切替制御部と、
前記モード切替制御部によるモード切り替えにおいてキャリブレーションを行うキャリブレーション部と、
前記第1光源部及び前記第2光源部の発光強度を制御する光源制御部と、を有し、
前記キャリブレーション部は、
前記第1モードから前記第2モードに切り替える際に、前記1モードにおいて、撮影対象を前記第1光源部からの第1出射光を用いて前記撮像部で撮像して得られた前記第1撮影画像情報を用いて推定された前記撮影対象の分光反射率データと、前記第2モードに切り替えて、前記撮影対象を少なくとも前記第2光源部からの第2出射光を用いて前記撮像部で撮像して得られた前記第2撮影画像情報から得られる青色(B)信号値及び緑色(G)信号値に基づいて前記第2光源部の発光強度を補正することを特徴とする内視鏡システム。
【0071】
(2)(1)の内視鏡システムであって、
前記キャリブレーション部は、
前記第1モードから前記第2モードに切り替える際に、前記1モードにおいて、撮影対象を前記第1光源部からの第1出射光を用いて前記撮像部で撮像して得られた前記第1撮影画像情報を用いて分光推定を行い、前記第1光源部からの前記第1出射光を照射したときの前記撮影対象の前記分光反射率データを得る分光推定部と、
前記分光推定部で得られた前記分光反射率データから、前記撮影対象を撮影する際の、目標となるB画像情報とG画像情報との比である目標B/G比を算出する目標B/G比算出回路と、
前記第2モードに切り替えて、前記撮影対象を少なくとも前記第2光源部からの第2出射光を用いて前記撮像部で撮像して得られた前記第2撮影画像情報から撮影画像のB/G比を算出するB/G比測定部と、
算出された前記B/G比と前記目標B/G比とから、前記B/G比測定部で算出される前記B/G比が前記目標B/G比となるように、前記第2光源部の発光強度を補正する補正量を算出する補正量算出回路と、を有し、
前記光源制御部は、前記補正量算出部で算出された補正量に基づいて前記第2光源部の発光強度を補正する強度補正回路を備える内視鏡システム。
(3)(2)の内視鏡システムであって、
前記キャリブレーション部は、さらに、前記第1の光源部からの前記第1出射光の、内視鏡の出射端の分光放射率、前記第2の光源部からの前記第2出射光の、内視鏡の出射端の分光放射率、及び前記撮像部の撮像センサの分光感度を記憶するメモリを有し、
前記目標B/G比算出回路は、前記メモリから読み出された前記第1出射光及び第2出射光の、前記内視鏡の出射端の分光放射率、並びに撮像センサの分光感度と、前記分光推定部で得られた前記分光反射率データとから、前記目標B/G比を算出する請求項2に記載の内視鏡システム。
【0072】
(4)(1)の内視鏡システムであって、
前記キャリブレーション部は、
前記第1モードから前記第2モードに切り替える際に、前記1モードにおいて、撮影対象を前記第1光源部からの第1出射光を用いて前記撮像部で撮像して得られた前記第1撮影画像情報を用いて分光推定を行い、前記第1光源部からの前記第1出射光を照射したときの前記撮影対象の前記分光反射率データを得る分光推定部と、
前記分光推定部で得られた前記分光反射率データから、前記撮影対象の撮影画像のB画像情報とG画像情報との比であるB/G比と前記第2光源部の発光強度を補正する補正量の補正テーブルを生成する補正テーブル生成回路と、
前記第2モードに切り替えて、前記撮影対象を少なくとも前記第2光源部からの第2出射光を用いて前記撮像部で撮像して得られた前記第2撮影画像情報から前記撮影画像の前記B/G比を算出するB/G比測定部と、
前記光源制御部は、前記B/G比測定部で算出された前記撮影画像の前記B/G比と、前記補正テーブル生成回路で生成された前記補正テーブルとから定まる補正量に基づいて前記第2光源部の発光強度を補正する強度補正回路を備える請求項1に記載の内視鏡システム。
(5)(4)の内視鏡システムであって、
前記キャリブレーション部は、さらに、前記第1の光源部からの前記第1出射光の、内視鏡の出射端の分光放射率、前記第2の光源部からの前記第2出射光の、内視鏡の出射端の分光放射率、及び前記撮像部の撮像センサの分光感度を記憶するメモリを有し、
前記補正テーブル生成回路は、前記メモリから読み出された前記第1出射光及び第2出射光の、前記内視鏡の出射端の分光放射率、並びに撮像センサの分光感度と、前記分光推定部で得られた前記分光反射率データとから、前記撮影対象の撮影画像のB画像情報とG画像情報との比であるB/G比と前記第2光源部の発光強度を補正する補正量の補正テーブルを生成する内視鏡システム。
【0073】
(6)(1)〜(5)のいずれかの内視鏡システムであって、
さらに、前記第1モードと前記第2モードとを切り替え指示するモード切替部を有し、
前記分光推定部は、前記モード切替部によって切り替え指示された直後で、前記モード切替部によって前記第2モードに切り替えられて前記第2光源部が点灯される前の前記第1モードにおいて、前記撮影対象の分光反射率データを推定する請求項1又は2に記載の内視鏡システム。
【0074】
(7)(1)〜(6)のいずれかの内視鏡システムであって、
前記モード切替制御部は、前記第1モードから前記第2モードに切り替える際に、前記第2光源部の時間的応答特性に応じて、前記画像処理部における前記第1画像処理から前記第2画像処理への画像処理の切替タイミングを制御する内視鏡システム。
(8)(1)〜(7)のいずれかの内視鏡装置システムであって、
さらに、前記第1モードと前記第2モードとの切替に応じて前記画像処理部における前記第1画像処理と前記第2画像処理とを切り替える画像処理切替部を備え、
また、前記モード切替制御部は、前記第2光源部の時間的応答特性を取得し、取得された前記第2光源部の前記時間的応答特性に応じて、前記画像処理切替部による前記第1画像処理から前記第2画像処理への画像処理の切替タイミングを制御する内視鏡システム。
(9)(1)〜(8)のいずれかの内視鏡システムであって、
前記光源制御部は、さらに、前記モード切替部によって切り替えられた前記第1モード又は前記第2モードに応じて前記第1光源部及び前記第2光源部を制御するものであり、
前記第1モードから前記第2モードに切り替えられたとき、前記光源制御部は、前記第1光源部から出射光を出射している状態で、前記第2光源部の駆動を開始するように制御する請求項1〜5のいずれかに記載の内視鏡システム。
【0075】
(10)(1)〜(9)のいずれかの内視鏡システムであって、
前記モード切替制御部は、
前記第1モードから前記第2モードに切り替えられ、前記第2光源部の駆動を開始してからの時間を計測するタイマと、
前記第2光源部の駆動を開始してから前記第2光源部から出射される出射光の光量が所定値に安定するまでの時間を、少なくとも、予め記憶しておくメモリと、
前記タイマによって計測された時間が、前記メモリに記憶された前記第2光源部が安定するまでの時間に達した時に、前記画像処理切替部に前記画像処理部における前記画像処理の切替タイミング信号を出力する信号出力部と、を備える内視鏡システム。
【0076】
(11)(1)〜(9)のいずれかの内視鏡システムであって、
前記撮像部は、前記撮影画像情報として赤(R)、緑(G)及び青(B)の3原色の画像信号を取得するためのものであり、
前記モード切替制御部は、
前記第1モードから前記第2モードに切り替えられ、少なくとも前記第2の光源部の駆動を開始した後の、前記複数の光源部からの出射光に対応して前記撮像部から出力される前記撮影画像情報のB信号とG信号とのB/G比を測定するB/G比測定部と、
前記第2光源部の駆動を開始してから前記第2光源部が安定した時の前記撮影画像情報のB信号とG信号とのB/G比を閾値として記憶するメモリと、
前記B/G比測定部によって測定された前記B/G比が、前記メモリに記憶された前記閾値を超えた時に、前記画像処理切替部に前記画像処理部における前記画像処理の切替タイミング信号を出力する信号出力部と、を備える内視鏡システム。
【0077】
(12)(1)〜(11)のいずれかの内視鏡システムであって、
前記第2光源部の時間的応答特性は、前記第1モードから前記第2モードに切り替えられ、前記第2光源部の駆動を開始してから前記第2光源部が安定し、前記第2光源部から出射される出射光の光量が所定値に安定するまでの時間特性である内視鏡システム。
(13)(1)〜(12)のいずれかの内視鏡システムであって、
前記第1光源部は、可視領域を含む広い波長帯域を持つ広帯域光を出射する広帯域光源を含み、
前記第2光源部は、前記広帯域光より狭い波長帯域の狭帯域光を出射する狭帯域光源を含む内視鏡システム。
(14)(13)の内視鏡システムであって、
前記広帯域光源は、白色照明光を出射する白色光源を含む内視鏡システム。
【0078】
(15)(14)の内視鏡システムであって、
前記白色光源は、青色領域の波長の狭帯域光を出射する第1青色レーザと、該第1青色レーザの照射により広帯域の光を発する蛍光体と、を含み、
前記狭帯域光源は、前記第1青色レーザの波長域よりも短波長の青紫領域から青色領域の波長域にある前記狭帯域光を出射する第2青色レーザである内視鏡システム。
(16)(14)の内視鏡システムであって、
前記白色光源は、前記白色照明光を出射する白色発光ダイオード(LED)を含み、
前記狭帯域光源は、青紫領域から青色領域の波長域にある前記狭帯域光を出射する青色発光ダイオード(LED)を含む内視鏡システム。
(17)(16)の内視鏡システムであって、
前記白色発光ダイオード(LED)及び前記青色発光ダイオード(LED)は、内視鏡の先端に配置される内視鏡システム。
【0079】
(18)(14)の内視鏡システムであって、
前記白色光源は、前記白色照明光を出射するキセノン光源を含み、
前記狭帯域光源は、青紫領域から青色領域の波長域にある前記狭帯域光を出射する青色レーザ又は青色発光ダイオード(LED)を含む内視鏡システム。
(11)〜(18)のいずれかの内視鏡システムであって、
前記モード切替制御部によって前記第1モードから前記第2モードに切り替えられたとき、前記第2光源部の駆動の開始は、前記狭帯域光源の点灯開始である内視鏡システム。
(1)〜(18)のいずれかの内視鏡システムであって、
前記モード切替制御部は、前記第2光源部が安定するまでの時間は、前記画像処理部における前記第1画像処理から前記第2画像処理への前記画像処理の切替を行わない内視鏡システム。
【0080】
(19)(1)〜(18)のいずれかの内視鏡システムであって、
前記撮像部は、該複数の光源部からの出射光に対応する撮像対象物からの反射光を受光し、前記撮影画像情報として、赤(R)、緑(G)及び青(B)の3原色の画像信号を出力するカラー撮像センサ、又は、シアン(C)、マゼンタ(M)、イエロー(Y)及び緑(G)の4色の画像信号を出力する補色撮像センサを含み、該補色撮像センサを含む場合には、さらに、これらの4色の画像信号を色変換して、赤(R)、緑(G)及び青(B)の3原色の画像信号を出力する変換手段を含む内視鏡システム。
(20)(1)〜(19)のいずれかの内視鏡システムであって、
さらに、前記画像処理部で前記撮像画像情報に前記画像処理が施されて得られた観察用画像情報に基づいて観察用画像を表示する表示部を有する内視鏡システム。
前記モード切替制御部は、前記第1モードから前記第2モードに切り替えられても、前記第2光源部が安定するまでの時間は、前記表示部に前記第2モードであることを表示しない、又は前記表示部に前記第2モードが安定していないことを示す表示を行う、もしくは、静止画の保存を禁止する内視鏡システム。
【0081】
(21)第1光源部及び該第1光源部と異なる第2光源部を含む複数の光源部と、
該複数の光源部からの出射光に対応して撮像して撮像画像情報を出力する撮像部と、
前記撮像部から出力される撮像画像情報に所定の画像処理を施す画像処理部と、を有する内視鏡システムにおいて、
前記第1光源部を用いて前記撮像部で撮像し、得られた第1撮影画像情報に第1画像処理を施す第1モードと、前記第2光源部を少なくとも用いて前記撮像部で撮像し、得られた第2撮影画像情報に、前記第1画像処理と異なる第2画像処理を施す第2モードと、を切り替えるに際し、
前記第1モードから前記第2モードに切り替える際に、前記1モードにおいて、撮影対象を前記第1光源部からの第1出射光を用いて前記撮像部で撮像して得られた前記第1撮影画像情報を用いて推定された前記撮影対象の分光反射率データと、前記第2モードに切り替えて、前記撮影対象を少なくとも前記第2光源部からの第2出射光を用いて前記撮像部で撮像して得られた前記第2撮影画像情報から得られる青色(B)信号値及び緑色(G)信号値に基づいて前記第2光源部の発光強度を補正することを特徴とする内視鏡システムのキャリブレーション方法。
【0082】
(22)(21)の内視鏡システムであって、
前記第1モードから前記第2モードに切り替える際に、前記1モードにおいて、撮影対象を前記第1光源部からの第1出射光を用いて前記撮像部で撮像して得られた前記第1撮影画像情報を用いて分光推定を行い、前記第1光源部からの前記第1出射光を照射したときの前記撮影対象の前記分光反射率データを得、
得られた前記分光反射率データから、前記撮影対象を撮影する際の、目標となるB画像情報とG画像情報との比である目標B/G比を算出し、
前記第2モードに切り替えて、前記撮影対象を少なくとも前記第2光源部からの第2出射光を用いて前記撮像部で撮像して得られた前記第2撮影画像情報から撮影画像の前記B/G比を算出し、
算出された前記B/G比と前記目標B/G比とから、前記B/G比測定部で算出される前記B/G比が前記目標B/G比となるように、前記第2光源部の発光強度を補正する補正量を算出し、
算出された前記補正量に基づいて前記第2光源部の発光強度を補正する内視鏡システムのキャリブレーション方法。
【0083】
(23)(21)の内視鏡システムであって、
前記第1モードから前記第2モードに切り替える際に、前記1モードにおいて、撮影対象を前記第1光源部からの第1出射光を用いて前記撮像部で撮像して得られた前記第1撮影画像情報を用いて分光推定を行い、前記第1光源部からの前記第1出射光を照射したときの前記撮影対象の前記分光反射率データを得、
前記分光推定部で得られた前記分光反射率データから、前記撮影対象の撮影画像のB画像情報とG画像情報との比であるB/G比と前記第2光源部の発光強度を補正する補正量の補正テーブルを生成し、
前記第2モードに切り替えて、前記撮影対象を少なくとも前記第2光源部からの第2出射光を用いて前記撮像部で撮像して得られた前記第2撮影画像情報から前記撮影画像の前記B/G比を算出し、
前記光源制御部は、前記B/G比測定部で算出された前記撮影画像の前記B/G比と、前記補正テーブル生成回路で生成された前記補正テーブルとから定まる補正量に基づいて前記第2光源部の発光強度を補正する内視鏡システムのキャリブレーション方法。