(58)【調査した分野】(Int.Cl.,DB名)
前記光源制御部は、前記撮像部の移動速度が速度用閾値を超える場合には、前記白色光の発光フレームの数を前記特定光の発光フレームの数よりも多くする制御を行い、前記撮像部の移動速度が前記速度用閾値以下になる場合には、前記特定光の発光フレームの数を前記白色光の発光フレームの数よりも多くする制御を行う請求項1記載の医療画像処理システム。
前記光源制御部は、前記白色光又は前記特定光の発光量が発光量用閾値を超える場合には、前記白色光の発光フレームの数を前記特定光の発光フレームの数よりも多くする制御を行い、前記白色光又は前記特定光の発光量が前記発光量用閾値以下になる場合には、前記特定光の発光フレームの数を前記白色光の発光フレームの数よりも多くする制御を行う請求項1、2または4いずれか1項記載の医療画像処理システム。
複数の特定光の発光フレームから複数の前記特定光画像を取得し、各特定光画像に対して前記注目領域検出処理を行った場合には、前記各特定光画像に対する前記注目領域検出処理の検出結果に基づいて、前記白色光画像上に反映させるための特定光検出結果を決定する特定光検出結果決定部を有する請求項6記載の医療画像処理システム。
前記特定光検出結果決定部は、前記複数の特定光画像から、前記観察対象の同一領域に対して、注目領域検出有りの結果と、注目領域検出無しの結果が得られた場合には、前記注目領域検出有りの結果の数と前記注目領域検出無しの結果の数に基づく多数決により、前記特定光検出結果として、前記注目領域検出有りの結果又は前記注目領域検出無しの結果のいずれかを決定する請求項7記載の医療画像処理システム。
複数の特定光の発光フレームから複数の前記特定光画像を取得し、各特定光画像に対して前記注目領域検出処理を行い、前記注目領域検出処理で検出された各注目領域に対して前記鑑別処理を行う場合には、前記各注目領域に対する鑑別処理の結果に基づいて、前記表示部に表示させるための特定光鑑別結果を決定する鑑別結果決定部を有する請求項9記載の医療画像処理システム。
【発明を実施するための形態】
【0019】
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19と、を備える。内視鏡12は、観察対象である観察対象に照明光を照射し、照明光で照射された観察対象を撮像する。光源装置14は、観察対象に照射するための照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、プロセッサ装置16から出力された画像を表示する表示部である。ユーザーインターフェース19は、プロセッサ装置16等への設定入力等を行う入力デバイスであり、キーボードKBやマウスMSなどから構成される。
【0020】
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲することにより、先端部12dが所望の方向に向く。先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
【0021】
また、操作部12bには、アングルノブ12eの他、ズーム操作部13が設けられている。ズーム操作部13を操作することによって、観察対象を拡大または縮小して撮像することができる。また、挿入部12aから先端部12dにわたって、処置具などを挿通するための鉗子チャンネル(図示しない)が設けられている。処置具は、鉗子入口12fから鉗子チャンネル内に挿入される。
【0022】
図2に示すように、光源装置14は、光源部20と、光源制御部22と、を備える。光源部20は、観察対象を照明するための照明光を発光する。光源部20は、1又は複数の光源を備えており、白色光、又は、白色光と異なるスペクトルを有する特定光を含む複数の照明光を発光する。具体的には、光源部20は、青色帯域、緑色帯域、及び赤色帯域を有する白色光、又は、ピーク波長に450nmが含まれる特定帯域を有する特定光を発光する。光源部20には、白色光の発光量、又は特定光の発光量を測定する発光量測定部21が設けられている。これら白色光の発光量又は特定光の発光量に関する情報は、光源制御部22に送られる。なお、本発明の「観察状況取得部」は、「発光量測定部21」に対応する。
【0023】
光源制御部22は、光源部20の駆動を制御する。光源制御部22は、光源部20を構成する光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部20は、発光量や発光タイミングが異なる複数種類の照明光を発光することができる。光源装置14においては、光源部20の発光を制御するための発光モードとして、白色光を発光する通常モードと、白色光と特定光とを、特定の発光パターンに従って、自動で切り替えて発光を行う特殊モードとを備えている。
【0024】
特殊モードに設定されている場合には、光源制御部22は、内視鏡12の移動速度、ズーム情報、又は、白色光又は特定光の発光量に応じて、特定の発光パターンを設定する。例えば、内視鏡12の移動速度が速度用閾値を超える場合には、特定の発光パターンとして、1発光サイクルにおいて、白色光の発光フレームの数を特定光の発光フレームの数よりも多くする第1の発光パターンを設定し、この第1の発光パターンに基づいて、光源制御部22は発光制御を行う。ここで、1発光サイクルは、特定数の発光フレームからなり、白色光を発光する発光フレームと特定光を発光する発光フレームとが含まれる。
【0025】
このように、内視鏡12の移動速度が速度用閾値を超える場合には、病変がない、あるいは病変確認が容易な領域を観察している状況下で、病変部を検出する必要性が低いと考えられるため、特定光の発光フレームの数を小さくする第1の発光パターンを設定するようにしている。なお、1発光サイクル当たりの発光フレーム数(白色光の発光フレームの数と特定光の発光フレームの数の合計)は、固定でもよく、特定のフレーム数変更条件に応じて、変化するようにしてもよい。例えば、1発光フレーム当たりの発光フレーム数が9フレームの場合には、特定のフレーム数変更条件を満たしたときに、1発光フレーム当たりの発光フレーム数を5に変化させる。
【0026】
例えば、
図3に示すように、第1の発光パターンとして、1発光サイクルにおいて、白色光の発光フレームの数を「9」、特定光の発光フレームの数を「1」とした場合には、白色光が連続して「9」フレーム分だけ発光した後に、特定光が「1」フレーム分だけ発光される。なお、第1の発光パターンを設定する場合としては、「ズーム不使用」である場合や、白色光又は特定光の発光量が発光量用閾値を超える場合がある。このような場合においても、内視鏡12の移動速度が速度用閾値を超えている場合と同様、病変がない、あるいは病変確認が容易な領域を観察している状況下で、病変部を検出する必要性が低いと考えられるため、第1の発光パターンを設定するようにしている。
【0027】
また、内視鏡12の移動速度が速度用閾値以下となる場合には、特定の発光パターンとして、1発光サイクルにおいて、特定光の発光フレームの数を白色光の発光フレームの数よりも多くする又は同じにする第2の発光パターンを設定し、この第2の特定発光パターンに基づいて、光源制御部22は発光制御を行う。このように、内視鏡12の移動速度が速度用閾値以下になる場合には、病変が有る可能性があり、あるいは病変を検出して精査している状況下で、病変部を検出する必要性が高いと考えられるため、特定光の発光フレームの数を大きくする第2の発光パターンを設定するようにしている。
【0028】
例えば、
図4に示すように、第2の発光パターンとして、1発光サイクルにおいて、白色光の発光フレームの数を「1」、特定光の発光フレームの数を「3」とした場合には、白色光が「1」フレーム分だけ発光した後に、特定光が連続して「3」フレーム分だけ発光される。なお、第2の発光パターンを設定する場合としては、「ズーム使用中」である場合や、白色光又は特定光の発光量が発光量用閾値以下となる場合がある。このような場合においても、内視鏡12の移動速度が速度用閾値以下になる場合と同様、病変が有る可能性があり、あるいは病変を検出して精査している状況下で、病変部を検出する必要性が高いと考えられるため、第2の発光パターンを設定するようにしている。
【0029】
なお、白色光又は特定光の発光量が発光量用閾値以下となったものの、「ズーム不使用」である場合には、白色光の発光フレームの数と特定光の発光フレームの数とを同じにする第2の発光パターンに設定することが好ましい。例えば、
図5に示すように、第2の発光パターンとして、1発光サイクルにおいて、白色光の発光フレームの数を「1」、特定光の発光フレームの数を「1」とした場合には、白色光と特定光が1フレーム毎に交互に発光される。なお、第2の発光パターンにおいては、「ズーム使用中」でズーム倍率が高くなるほど、1発光サイクルにおける特定光の発光フレームの数を大きくすることが好ましい。
【0030】
また、白色光又は特定光の発光量が発光量用閾値以下となり、且つ、「ズーム使用中」となった場合には、後述する鑑別部78による鑑別処理を行う可能性があることから、特定光の発光フレームの数を白色光の発光フレームの数よりも大きくする又は同じにすることに加えて、ピーク波長に450nmが含まれる特定光から、ピーク波長に410nmが含まれる鑑別用照明光に切り替えることが好ましい。
図6では、1発光サイクルにおいて、白色光の発光フレームの数を「1」、鑑別用照明光の発光フレームの数を「3」としている。ここで、特定光は、スクリーニング時のように、病変部の検出(病変部の拾い上げ)に適している一方、鑑別用照明光は、血管構造や腺管構造などの表面構造を鮮明に照明することができるため、病変部の鑑別に適している。したがって、ズームの使用により、病変部などを拡大して観察を行う場合には、特定光から鑑別用照明光に切り替えて照明することが好ましい。なお、特定光から鑑別用照明光に切り替えることなく、特定光に加えて、鑑別用照明光を発光するようにしてもよい。
【0031】
図2に示すように、光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(図示しない)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。
【0032】
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に向けて出射する。撮像光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮像する。
【0033】
ズームレンズ47は、ズーム操作部13の操作をすることで移動し、イメージセンサ48を用いて撮像する観察対象を拡大または縮小する。ズームレンズ47により観察対象を拡大するズームに関するズーム情報は、ズーム情報出力部49から、光源装置14の光源制御部22に送られる。ズーム情報としては、例えば、ズームレンズ47がワイド端に位置して、観察対象を拡大していない場合には、「ズーム不使用」とされる。一方、ズームレンズ47がワイド端からテレ端側に移動して、観察対象を拡大している場合には、「ズーム使用中」とされる。また、ズーム情報には、「ズーム使用中」において、ズームレンズ47のズーム倍率に関する情報も含まれる。
【0034】
イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光を透過する。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ48を用いて観察対象を撮像すると、最大で、B画素から得るB画像(青色画像)、G画素から得るG画像(緑色画像)、及び、R画素から得るR画像(赤色画像)の3種類の画像を同時に得ることができる。
【0035】
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮像することにより、上記各色の画像を得ることができる。
【0036】
プロセッサ装置16は、中央制御部52と、画像取得部54と、画像処理部61と、表示制御部66とを有する。中央制御部52は、照明光の照射タイミングと撮像のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。また、ユーザーインターフェース19等を用いて、各種設定の入力等をした場合には、中央制御部52は、入力された各種設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。
【0037】
画像取得部54は、イメージセンサ48から、観察対象を撮像した画像を取得する。この画像取得部54で取得する画像は、内視鏡12のような医療用装置により得られた画像であることから、医療画像と称する。画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した医療画像に必要に応じて各種処理を施す。DSP56は、取得した医療画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
【0038】
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。
【0039】
なお、イメージセンサ48がカラーセンサである場合には、デモザイク処理が行われる。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、B画像はB画素において観察対象を撮像して得る画像なので、G画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
【0040】
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
【0041】
画像処理部61は、画像取得部54が取得した医療画像に対して各種の画像処理を施す。画像処理部61においては、通常モードと特殊モードで施される画像処理の種類は異なっている。通常モードでは、白色光の照明時に得られた医療画像に対して、白色光に対応する画像処理(白色光画像処理)を医療画像に施すことによって、白色光画像を生成する。また、特殊モードでは、白色光の照明時に得られた医療画像に対して、白色光に対応する画像処理(白色光画像処理)を施すことによって、白色光画像を生成する。一方、特定光の照明時に得られた医療画像である特定光画像から注目領域を検出し、検出した注目領域に対して病変に関する鑑別処理を行う。注目領域の検出と鑑別処理の詳細については後述する。そして、注目領域の検出結果と鑑別処理の結果は白色光画像に反映することによって、注目領域表示用画像が生成される。表示制御部66は、画像処理部61から送られる白色光画像又は注目領域表示用画像を用い、モニタ18での表示に適した形式に変換してモニタ18に出力する。これにより、モニタ18には、白色光画像又は注目領域表示用画像が表示される。
【0042】
図7に示すように、画像処理部61は、白色光画像処理部70と、移動速度算出部72と、注目領域検出部74と、特定光検出結果決定部76と、鑑別部78と、鑑別結果決定部80とを備えている。白色光画像処理部70は、通常モード又は特殊モードにおいて白色光の照明時に得られる医療画像に対して、白色光に対応する画像処理である白色光画像処理を施す。これにより、白色光画像が得られる。なお、白色光画像処理には、観察対象の色に近づけるための色調整処理の他、観察対象上の構造物を強調する構造強調処理が含まれる。
【0043】
移動速度算出部72は、白色光画像又は特定光画像のいずれかを用いて、内視鏡12の移動速度を算出する。算出された内視鏡12の移動速度は、光源装置14の光源制御部22に送られる。内視鏡12の移動速度とは、ユーザーが内視鏡12の挿入部12aを管腔内に押し込む又は引き込むその他の内視鏡12の操作によって、イメージセンサ48(本発明の「撮像部」に対応する)が内蔵された内視鏡12の先端部が移動する速度のことをいう。移動速度の算出方法としては、例えば、画像取得タイミングが異なる複数の白色光画像又は特定光画像から移動ベクトルを算出し、移動ベクトルに基づいて、内視鏡12の移動速度を算出する。内視鏡12の移動速度は、移動ベクトルが大きくなる程、速くなる。なお、本発明の「観察状況取得部」は、「移動速度算出部72」に対応する。
【0044】
注目領域検出部74は、特定光画像から検査または診断の対象として注目すべき注目領域を検出する注目領域検出処理を行う。注目領域検出処理においては、特定光画像から特徴量を算出し、算出した特徴量が、特定の範囲に入っている領域を注目領域として検出する。検出した注目領域については、
図8に示すように、矩形上の領域ROIとして、白色光画像上に表示される。なお、注目領域検出部74により検出する注目領域は、観察対象の表面など2次元の領域に限られない。例えば、観察対象の表面に加えて、観察対象の深さ方向(浸潤)の3次元の領域を、注目領域として検出するようにしてもよい。
【0045】
ここで、特徴量としては、後述する血管に関する血管指標値や、腺管構造に関する腺管指標値であってもよい。また、特徴量としては、例えば、特定光画像に対してConvolutional Neural Networkを行うことの他、特定光画像の色情報、画素値の勾配等で得られる特徴量を用いてもよい。なお、画素値の勾配等は、例えば、被写体の形状(粘膜の大局的な起伏または局所的な陥凹もしくは隆起等)、色(炎症、出血、発赤、または萎縮に起因した白化等の色)、組織の特徴(血管の太さ、深さ、密度、もしくはこれらの組み合わせ等)、または、構造の特徴(ピットパターン等)等によって、変化が表れる。
【0046】
また、注目領域検出部74で検出される注目領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部(いわゆる炎症の他、出血または萎縮等の変化がある部分を含む)、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査(いわゆる生検)を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域(ヒダ(襞)の裏、管腔奥のため観察光が届きにくい領域)など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。内視鏡システム10においては、注目領域検出部74は、病変部、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として検出する。
【0047】
ここで、1発光サイクルにおいて、特定光の発光フレームが「1」で、1の特定光画像が得られた場合には、1の特定光画像から検出される注目領域を白色光画像にそのまま重畳表示する。一方、1発光サイクルにおいて、特定光の発光フレームが複数で、複数の特定光画像が得られた場合には、各特定光画像に対して注目領域検出処理を行い、これら各特定光画像に対する注目領域検出処理の結果に基づいて、白色光画像に反映させるための特定光検出結果を決定することが好ましい。このように複数の注目領域の検出結果から1の特定光検出結果を決定するようにすることで、白色光又は特定光の発光量が低いような場合であっても、ノイズに対するロバスト性を確保することができる。なお、特定光検出結果を決定するための検出結果処理は、特定光検出結果決定部76において行われる。この特定光検出結果決定部76にて決定された特定光検出結果が白色光画像に反映される。
【0048】
特定光検出結果決定部76は、1発光サイクルにおける複数の特定光画像から、同一の領域に対して、注目領域検出有りの結果と、注目領域検出無しの結果の両方が得られた場合には、注目領域検出有りの結果の数と注目領域の検出無しの結果の数に基づく多数決により、注目領域検出有りの結果又は注目領域検出無しの結果のいずれかを、特定光検出結果として決定する。
【0049】
例えば、
図9に示すように、1発光サイクルにおいて5つの特定光画像が得られた場合において、同一の領域に対して、注目領域検出有りの結果を有する特定光画像が「3」、注目領域検出無しの結果を有する特定光画像が「2」である場合には、多数決により、注目領域検出有りの結果を特定光検出結果として決定する。なお、注目領域検出有りの結果の数と注目領域検出無しの結果の数とが同じである場合には、注目領域検出有りの結果を特定光検出結果とすることが好ましい。
【0050】
鑑別部78は、注目領域検出部74で検出された注目領域から各種指標値を算出し、算出した各種指標値に基づいて、注目領域に含まれる観察対象を鑑別する鑑別処理を行う。各種指標値としては、血管密度や血管走行パターンなどの血管に関する血管指標値や、腺管構造に関する腺管指標値などが含まれる。鑑別処理の結果としては、例えば、病変部の進行度(ステージ)などが挙げられる。鑑別処理の結果は、
図10に示すように、注目領域ROIに対応づけられてモニタ18に表示される(
図10では「ステージ2」)。
【0051】
ここで、1発光サイクルにおいて、特定光の発光フレームが「1」で、1の特定光画像から検出された1の注目領域に対して、鑑別処理が行われた場合には、その鑑別処理の結果に表示する。一方、1発光サイクルにおいて、特定光の発光フレームが複数で、複数の特定光画像からそれぞれ注目領域を検出した場合には、各注目画像に対して鑑別処理を行い、これら各注目領域に対する鑑別処理の結果に基づいて、モニタ18に表示させるための特定光鑑別結果を決定することが好ましい。このような複数の鑑別処理の結果から1の特定光鑑別結果を決定するようにすることで、白色光又は特定光の発光量が低いような場合であっても、ノイズに対するロバスト性を確保することができる。なお、特定光鑑別結果を決定するための鑑別結果処理は、鑑別結果決定部80において行われる。この鑑別結果決定部80にて決定された特定光鑑別結果が、注目領域ROIが重畳表示された白色光画像とともに、モニタ18に表示される。
【0052】
鑑別結果決定部80は、1発光サイクルにおける複数の特定光画像からそれぞれ注目領域が検出され、各注目領域に対して鑑別処理が行われた場合には、各注目領域に対する鑑別処理の結果に基づく多数決により、特定光鑑別結果として決定してもよい。例えば、
図11に示すように、1発光サイクルにおいて5つの特定光画像が得られ、各特定光画像からそれぞれ1つの注目領域が検出された場合、鑑別処理の結果が「ステージ2」である注目領域が「3」、鑑別処理の結果が「ステージ1」である注目領域が「2」である場合、「ステージ2」を特定光鑑別結果として決定する。なお、「ステージ」は、病変部など観察対象の状態に応じて予め定められており、一般的に、「ステージ」の数字が大きくなるほど、病変の進行度が高いとされる。
【0053】
また、鑑別結果決定部80は、1発光サイクルにおける複数の特定光画像からそれぞれ注目領域が検出され、各注目領域に対して鑑別処理が行われた場合には、各注目領域に対する鑑別処理の結果の平均化した結果を、特定光鑑別結果として決定してもよい。例えば、
図12に示すように、1発光サイクルにおいて5つの特定光画像が得られ、各特定光画像からそれぞれ1つの注目領域が検出された場合、鑑別処理の結果が「ステージ3」である注目領域が「2」、鑑別処理の結果が「ステージ2」である注目領域が「2」、鑑別処理の結果が「ステージ1」である注目領域が「1」である場合、それらを平均化した結果「2.2(=(3×2+2×2+1)/5)」を、特別鑑定結果として決定する。なお、平均化した結果については、四捨五入することが好ましい(例えば、
図12の場合であれば、特別鑑定結果は四捨五入により「2」となる)。
【0054】
次に、特殊モードの流れについて、
図13に示すフローチャートに沿って説明を行う。特殊モードに切り替えられると、移動速度算出部72において、内視鏡12の移動速度を算出する。また、ズーム情報出力部49は、観察対象を拡大するズームに関するズーム情報を出力する。また、発光量測定部21は白色光の発光量、又は特定光の発光量を測定する。
【0055】
そして、内視鏡12の移動速度、ズーム情報、又は、白色光又は特定光の発光量の少なくとも1つに応じて、1発光サイクルにおいて白色光の発光フレームの数を特定光の発光フレームの数よりも多くする第1の発光パターン、又は、1発光サイクルにおいて特定光の発光フレームの数を白色光の発光フレームの数よりも多くする第2の発光パターンのいずれかを決定する。内視鏡12の移動速度が速度用閾値を超える場合、「ズーム不使用」である場合、又は、白色光又は特定光の発光量が発光量用閾値を超える場合には、第1の発光パターンに設定する。そして、光源制御部22は、第1の発光パターンに従って、光源制御を行う。
【0056】
これに対して、内視鏡12の移動速度が速度用閾値以下となる場合、「ズーム使用中」である場合、又は、白色光又は特定光の発光量が発光量用閾値以下である場合には、第2の発光パターンに設定する。そして、光源制御部22は、第2の発光パターンに従って、光源制御を行う。
【0057】
白色光によって照明された観察対象を撮像することによって、白色光画像を取得する。また、特定光によって照明された観察対象を撮像することによって、特定光画像を取得する。注目領域検出部74は、特定光画像から注目領域ROIを検出する。検出された注目領域は、白色光画像上に重畳表示される。1発光サイクルにおいて1フレームの特定光が発光され、1フレーム分の特定光画像が得られた場合には、1フレームの特定光画像から検出した注目領域を白色光画像上に重畳表示する。一方、1発光サイクルにおいて複数フレームの特定光が発光され、複数フレーム分の特定光画像が得られた場合には、各特定光画像に対して注目領域検出処理を行う。そして、特定光検出結果決定部76は、各特定光画像に対する注目領域検出処理の結果に基づいて、白色光画像に反映されるための特定光検出結果を決定する。この特定光検出結果が白色光画像に反映される。
【0058】
なお、上記実施形態では、内視鏡12の移動速度が速度用閾値を超えた場合か否かによって、白色光の発光フレームの数又は特定光の発光フレームの数を制御するようにしているが、AI(Artificial Intelligence)などの方法を用い、内視鏡12の移動速度と白色光の発光フレームの数又は特定光の発光フレームの数との関係を学習装置に学習させておき、内視鏡12の移動速度を学習装置に入力することによって、白色光の発光フレームの数又は特定光の発光フレームの数を決定するようにしてもよい。ズーム情報、又は、白色光又は特定光の発光量についても、内視鏡12の移動速度と同様、白色光の発光フレームの数又は特定光の発光フレームの数との関係を学習装置に学習させておき、ズーム情報、又は、白色光又は特定光の発光量を学習装置に入力することによって、白色光の発光フレームの数又は特定光の発光フレームの数を決定するようにしてもよい。また、上記実施形態で示したように、内視鏡12の移動速度、ズーム情報、又は、白色光又は特定光の発光量を総合的に勘案して、白色光の発光フレームの数又は特定光の発光フレームの数を決定するようにしてもよい。
【0059】
なお、上記実施形態では、
図14に示すように、光源部20として、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの4色のLEDと、波長カットフィルタ23とを用いて、照明光の発光を行うことが好ましい。
【0060】
V−LED20aは、波長帯域380nm〜420nmの紫色光Vを発する。B−LED20bは、波長帯域420nm〜500nmの青色光Bを発する。B−LED23bから出射した青色光Bのうち少なくともピーク波長の450nmよりも長波長側は、波長カットフィルタ23によりカットされる。これにより、波長カットフィルタ23を透過した後の青色光Bxは、420〜460nmの波長範囲になる。このように、460nmよりも長波長側の波長域の光をカットしているのは、この460nmよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ23は、460nmよりも長波長側の波長域の光をカットする代わりに、460nmよりも長波長側の波長域の光を減光させてもよい。G−LED20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する。R−LED20dは、波長帯域が600nm〜650nmに及び赤色光Rを発する。
【0061】
通常モードの場合、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。これにより、
図15に示すように、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む白色光が発せられる。白色光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。
【0062】
特殊モードの場合には、白色光又は特定光が特定の発光パターンに従って発光するように、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dの発光制御が行われる。白色光を発光する場合には、上記したように、
図15に示すスペクトルを有する白色光が発せられる。一方、特定光を発光する場合には、
図16に示すように、青色光Bxの発光量が、紫色光V、緑色光G、及び赤色光Rのいずれの発光量よりも大きくなる特定光が発せられる。
【0063】
また、上記実施形態では、レーザ光源と蛍光体を用いて、照明光の発光を行うようにしてもよい。この場合には、
図17に示すように、光源部20には、ピーク波長445±10nmの青色レーザ光を発する青色レーザ光源(「445LD」と表記。LDは「Laser Diode」を表す)104と、ピーク波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(「405LD」と表記)106とが設けられている。
【0064】
照明光学系30aには、照明レンズ32の他に、ライトガイド24からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体110を励起させることなく透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ32を介して、観察対象の体内を照明する。
【0065】
ここで、通常モードでは、青色レーザ光源104が点灯して、主として青色レーザ光が蛍光体110に入射するため、
図18に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した白色光が発せられる。一方、特殊モードでは、白色光又は特定光が特定の発光パターンに従って発光するように、青色レーザ光源104及び青紫色レーザ光源106の発光制御が行われる。白色光を発光する場合には、上記したように、
図18に示すスペクトルを有する白色光が発せられる。一方、特定光を発光する場合には、青色レーザ光源104及び青紫色レーザ光源106が点灯して、青紫色レーザ光と青色レーザ光の両方を蛍光体110に入射させる。これにより、
図19に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した特定光が発せられる。
【0066】
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
【0067】
なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl
10O
17)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
【0068】
また、上記実施形態では、キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行うようにしてもよい。この場合には、
図20に示すように、光源部20には、広帯域光源202と、回転フィルタ204と、フィルタ切替部206とが設けられている。また、広帯域光源202と回転フィルタ204との間には絞り203が設けられており、この絞り203は絞り制御部205によって開口部の面積が調整される。絞り制御部205は、プロセッサ装置16からの調光信号に基づいて絞り203の制御を行う。
【0069】
広帯域光源202はキセノンランプや白色LED等であり、波長域が青色から赤色に及ぶ広帯域光を発する。回転フィルタ204は、回転軸に一番近い内側に設けた通常モード用フィルタ210と、この通常モード用フィルタ210の外側に設けた特殊モード用フィルタ212とを備えている(
図21参照)。
【0070】
フィルタ切替部206は、回転フィルタ204を径方向に移動する。具体的には、フィルタ切替部206は、モード切替部13cにより通常モードにセットした場合に、通常モード用フィルタ210を白色光の光路に挿入する。フィルタ切替部206は、特殊モードにセットした場合に、特殊モード用フィルタ212を白色光の光路に挿入する。
【0071】
図21に示すように、通常モード用フィルタ210には、周方向に沿って、Bフィルタ210aと、Gフィルタ210bと、Rフィルタ210cとが設けられている。Bフィルタ210aは、広帯域光のうち400〜500nmの波長範囲を持つ広帯域の青色光Bを透過する。Gフィルタ210bは、広帯域光のうち緑色光Gを透過する。Rフィルタ210cは、広帯域光のうち赤色光Rを透過する。したがって、通常モード時には、回転フィルタ204が回転することで、
【0072】
特殊モード用フィルタ212には、周方向に沿って、Bフィルタ212aと、Gフィルタ212bと、Rフィルタ212cと、Bnフィルタ212aと、Gnフィルタ212bとが設けられている。Bフィルタ212aは、Bフィルタ210aと同様に、青色光Bを透過する。Gフィルタ212bは、Gフィルタ210aと同様に、緑色光Gを透過する。Rフィルタ212cは、Rフィルタ210cと同様に、赤色光Rを透過する。Bnフィルタ212dは、広帯域光のうち400〜450nmの青色狭帯域光Bnを透過する。Gnフィルタ212eは、広帯域光のうち緑色光Gを透過する。
【0073】
したがって、特殊モード時には、回転フィルタ204が回転することで、白色光として、青色光B、緑色光G、赤色光Rが、観察対象に向けて、順次照射される。赤色光Rが照射された後は、特定光として、青色狭帯域光Bn、緑色光Gが、観察対象に向けて、順次照射される。
【0074】
キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行う場合には、通常モード時には、青色光B、緑色光G、赤色光Rで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像する。この観察対象の撮像により得られるB画像、G画像、R画像によって、白色光画像を生成する。
【0075】
また、特殊モード時には、白色光の照明時、即ち、青色光B、緑色光G、赤色光Rで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像し、この撮像により得られるB画像、G画像、R画像によって、白色光画像を生成する。また、特定光の照明時、即ち、青色狭帯域光Bn、緑色光Gで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像し、この撮像により得られるBn画像、G画像によって、特定光画像を生成する。
【0076】
なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
【0077】
例えば、
図22に示すように、診断支援装置600は、医療画像処理システム602などのモダリティやPACS(Picture Archiving and Communication Systems)604を組み合わせて使用される。また、
図23に示すように、医療業務支援装置610は、第1医療画像処理システム621、第2医療画像処理システム622、…、第N医療画像処理システム623等の各種検査装置と任意のネットワーク626を介して接続する。医療業務支援装置610は、第1〜第N医療画像処理システム621、622・・・、623からの医療画像を受信し、受信した医療画像に基づいて、医療業務の支援を行う。
【0078】
上記実施形態において、画像処理部61に含まれる白色光画像処理部70、移動速度算出部72、注目領域検出部74、特定光検出結果決定部76、鑑別部78、鑑別結果決定部80といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路、GPU(Graphical Processing Unit)などが含まれる。
【0079】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、CPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0080】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。