(58)【調査した分野】(Int.Cl.,DB名)
前記領域設定部は、前記ベースライン情報を閾値と比較した比較結果に基づいて、前記指標値を算出する前記算出領域を設定する請求項1または2に記載の内視鏡システム。
前記領域設定部は、前記ベースライン情報を複数算出する場合に、複数の前記ベースライン情報のうちの1つの前記ベースライン情報、または、複数の前記ベースライン情報を用いて算出する統計量を用いて前記閾値を設定する請求項3に記載の内視鏡システム。
前記領域設定部は、前記ベースライン情報を用いて、残渣もしくは残液がある領域、暗部領域、ハレーション領域、または、処置具がある領域のうちいずれか1以上を除外することにより、前記指標値を算出する前記算出領域を設定する請求項1〜4のいずれか1項に記載の内視鏡システム。
前記指標値算出部は、前記ベースライン情報算出部が前記ベースライン情報の算出に使用する複数の前記内視鏡画像とは撮像に使用した照明光の種類が異なる1または複数の前記内視鏡画像を用いて前記指標値を算出する請求項1〜5のいずれか1項に記載の内視鏡システム。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のように、指標値を算出する場合、指標値の算出に不適な領域を指標値を算出する対象から除外しようとすることは従来から試みられているが、指標値が正しく求められない可能性がある部分を内視鏡画像から正確に除くのは未だ容易ではない。例えば、前述のように残液等が付着している領域においては指標値が不正確な値になるので、残液等が付着している部分を指標値を算出する対象から除外することは算出した指標値の信頼性を向上するために有効である。しかし、残液等が付着している領域を除外しさえすれば、その余の領域において正確な指標値を算出可能であるというわけではない。具体的には、指標値の算出精度は、通常、残液等の有無だけでなく、観察対象の光散乱特性または光吸収特性にも依存する。このため、想定していない光散乱特性もしくは光吸収特性を観察対象が実際に有する領域、または、照明光の当たり具合等に起因して、想定していない光散乱特性もしくは光吸収特性を有するように見える領域等においては、残液等がなくても正確な指標値を算出できない場合がある。
【0006】
本発明は、指標値を正確に算出できないおそれのある領域及び指標値を正確に算出可能な領域を、従来よりも簡易にかつ正確に特定し得る内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の内視鏡システムは、光源と、光源から出射された光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムであって、観察対象を撮像した内視鏡画像を取得する画像取得部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部と、ベースライン情報を用いて、観察対象の状態を表す指標値を算出する算出領域を設定する領域設定部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、領域設定部が設定した算出領域において指標値を算出する指標値算出部と、を備え
、ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の内視鏡画像を用いてベースライン情報を算出する。
【0008】
ベースライン情報算出部は、内視鏡画像の1または複数の画素からなる部分ごとにベースライン情報を算出し、かつ、領域設定部は、当該部分ごとに指標値を算出するか否かを決定することにより、1または複数の当該部分からなる領域を、指標値を算出する算出領域を設定することが好ましい。
【0009】
領域設定部は、ベースライン情報を閾値と比較した比較結果に基づいて、指標値を算出する算出領域を設定することが好ましい。
【0010】
領域設定部は、ベースライン情報を複数算出する場合に、複数のベースライン情報のうちの1つのベースライン情報、または、複数のベースライン情報を用いて算出する統計量を用いて閾値を設定することが好ましい。
【0011】
領域設定部は、ベースライン情報を用いて、残渣もしくは残液がある領域、暗部領域、ハレーション領域、または、処置具がある領域のうちいずれか1以上を除外することにより、指標値を算出する算出領域を設定することが好ましい。
【0013】
指標値算出部は、ベースライン情報算出部がベースライン情報の算出に使用する複数の内視鏡画像とは撮像に使用した照明光の種類が異なる1または複数の内視鏡画像を用いて指標値を算出することが好ましい。
【0014】
内視鏡画像または内視鏡画像を用いて生成した画像、及び、指標値を表示する表示部を備えることが好ましい。
【0015】
内視鏡画像または内視鏡画像を用いて生成した画像に、指標値を算出する算出領域を表示する表示部を備えることが好ましい。
【0016】
特定の生体情報は、観察対象が含むヘモグロビンの状態に起因して変化する情報であることが好ましい。
【0017】
特定の生体情報は、酸素飽和度、または、ヘモグロビン濃度であることが好ましい。
【0018】
特定の生体情報は、観察対象が含む血管に関する情報であることが好ましい。
【0019】
特定の生体情報は、血管密度、血管深さ、または、血管太さであることが好ましい。
【0020】
本発明のプロセッサ装置は、光源と、光源から出射された光が照射された観察対象を撮像する内視鏡を有する内視鏡システムのシステム制御及び画像処理を行うプロセッサ装置であって、観察対象を撮像した内視鏡画像を取得する画像取得部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部と、ベースライン情報を用いて、観察対象の状態を表す指標値を算出する算出領域を設定する領域設定部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、領域設定部が設定した算出領域において指標値を算出する指標値算出部と、を備え
、ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の前記内視鏡画像を用いて前記ベースライン情報を算出する。
【0021】
本発明の内視鏡システムの作動方法は、光源と、光源から出射された光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムを用い
て内視鏡システムの作動方法であって、画像取得部が、観察対象を撮像した内視鏡画像を取得するステップと、ベースライン情報算出部が、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するステップと、領域設定部が、ベースライン情報を用いて、観察対象の状態を表す指標値を算出する算出領域を設定するステップと、指標値算出部が、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、領域設定部が設定した算出領域において指標値を算出するステップと、を備え
、ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の内視鏡画像を用いてベースライン情報を算出する。
【発明の効果】
【0022】
本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法によれば、指標値を正確に算出できないおそれのある領域及び指標値を正確に算出可能な領域を、簡易にかつ従来よりも正確に特定することができる。
【発明を実施するための形態】
【0024】
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19と、を備える。内視鏡12は、観察対象を撮像する。光源装置14は、照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18はプロセッサ装置16によって生成する表示用の内視鏡画像を表示する表示部である。コンソール19は、プロセッサ装置16等への設定入力等を行う入力デバイスである。
【0025】
内視鏡12は、被検体内に挿入可能な挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲することにより、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。また、操作部12bには、アングルノブ12eの他、ズーム操作部13が設けられている。ズーム操作部13を操作することによって、観察対象を拡大または縮小して撮像することができる。
【0026】
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備える。
【0027】
光源部20は、例えば、中心波長または波長帯域が異なる(以下、単に「波長が異なる」という)光を発光する複数のLED(Light Emitting Diode)を光源として備えており、各LEDの発光または点灯、及び、光量の調節等により、波長が異なる複数種類の照明光を発光することができる。例えば、光源部20は、波長帯域が比較的広い広帯域な紫色光、青色光、緑色光、及び赤色光を、それぞれ照明光として発光できる。特に、光源部20は、広帯域な紫色光、青色光、緑色光、及び赤色光の他に、狭帯域(波長帯域が10nmから20nm程度の範囲であることをいう)な紫色光、青色光、緑色光、及び赤色光を照明光として発光できる。より具体的には、光源部20は、照明光として、中心波長が約400nmの狭帯域紫色光、中心波長が約450nmの第1狭帯域青色光、中心波長が約470nmの第2狭帯域青色光、中心波長が約540nmの狭帯域緑色光、及び、中心波長が約640nmの狭帯域赤色光を発光できる。この他、光源部20は、広帯域または狭帯域な紫色光、青色光、緑色光、及び赤色光を組み合わせることにより、白色光を照明光として発光することができる。
【0028】
なお、光源部20には、LEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせ、または、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。もちろん、光源部20をLEDによって構成する場合も、蛍光体または帯域制限フィルタを組み合わせて使用することができる。
【0029】
光源制御部22は、光源部20を構成する各光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部20は、波長が異なる複数種類の照明光を発光することができる。また、光源制御部22は、イメージセンサ48の撮像のタイミング(いわゆるフレーム)に合わせて光源部20を制御する。
【0030】
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。なお、nmはナノメートルを表し、μmはマイクロメートルを表し、mmはミリメートルを表す。
【0031】
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に向けて出射する。撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。ズームレンズ47は、ズーム操作部13の操作をすることによって移動し、イメージセンサ48を用いて撮影する観察対象を拡大または縮小する。
【0032】
イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ48を用いて観察対象を撮影すると、最大で、B画素から得るB画像(青色画像)、G画素から得るG画像(緑色画像)、及び、R画素から得るR画像(赤色画像)の3種類の画像を同時に得ることができる。
【0033】
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサ、または、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮像することにより、上記各色の画像を得ることができる。
【0034】
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、表示制御部66と、を有する。
【0035】
制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。また、コンソール19等を用いて、領域判別をする領域の種類及び数等を設定した場合には、制御部52は、その設定を光源制御部22に入力する。
【0036】
画像取得部54は、イメージセンサ48から、観察対象を撮像した画像を取得する。本実施形態においては、イメージセンサ48はカラーフィルタを有するので、画像取得部54は、照明光ごとに、かつ、カラーフィルタごとに画像を取得する。画像取得部54がイメージセンサ48から取得する画像(撮像した画像)、及び、画像取得部54がイメージセンサ48から取得した画像を用いて生成する表示用の画像は、いずれも「内視鏡画像」である。以下、明示して区別する場合を除き、単に画像という場合にはイメージセンサ48から得る観察対象を撮像した内視鏡画像を意味し、かつ、単に内視鏡画像という場合には表示用の内視鏡画像101(
図6参照)を意味する。
【0037】
画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に必要に応じて各種処理を施す。
【0038】
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
【0039】
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、B画像はB画素において観察対象を撮影して得る画像なので、G画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
【0040】
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
【0041】
画像処理部61は、画像取得部54が取得した画像を用いて、モニタ18に表示する内視鏡画像を生成する。また、画像処理部61は、生成した内視鏡画像を用いて指標値を算出する。その際、画像処理部61は、指標値を正確に算出できないおそれのある領域及び指標値を正確に算出可能な領域を特定し、指標値を正確に算出可能な領域において指標値を算出する。
【0042】
より具体的には、
図3に示すように、画像処理部61は、画像生成部81と、ベースライン情報算出部82と、領域設定部83と、指標値算出部84と、強調処理部85と、を備える。
【0043】
画像生成部81は、画像取得部54が取得した1または複数の画像を用いて、表示用の内視鏡画像101を生成する。画像生成部81は、表示用の内視鏡画像101を生成する際に、必要に応じて、画像取得部54が取得した画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施す。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。
【0044】
ベースライン情報算出部82は、観察対象を撮像した内視鏡画像(画像取得部54が取得した画像)、または、画像生成部81が生成した表示用の内視鏡画像101を用いて、ベースライン情報を算出する。ベースライン情報とは、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である。ここで言う「依存しない」とは、少なくともベースライン情報の変化が、特定の生体情報の高低に対してよりも、光散乱特性もしくは光吸収特性の強弱に対しての方が大きいことを言う。
【0045】
「特定の生体情報」とは、例えば、観察対象が含むヘモグロビンの状態に起因して変化する情報である。具体的には、酸素飽和度もしくはヘモグロビン濃度、またはこれらの組み合わせ等が特定の生体情報である。また、「特定の生体情報」とは、例えば、観察対象が含む血管に関する情報である。具体的には、血管密度、血管深さ、もしくは血管太さ、またはこれらの2以上の組み合わせ等が特定の生体情報である。
【0046】
本実施形態においては、ベースライン情報算出部82は、撮像に使用した照明光の種類が異なる複数の画像(イメージセンサ48から取得する内視鏡画像)を用いてベースライン情報を算出する。また、本実施形態においては、ベースライン情報算出部82は、少なくとも酸素飽和度に依存しないベースライン情報を算出する。具体的には、第1狭帯域青色光を用いて観察対象を撮像して得る画像をB1画像とし、第2狭帯域青色光を用いて観察対象を撮像して得る画像をB2画像とし、狭帯域緑色光を用いて観察対象を撮像して得る画像をG2画像とし、かつ、狭帯域赤色光を用いて観察対象を撮像して得る画像をR2画像として用いる。そして、ベースライン情報算出部82は、G2画像に対するB1画像の比(以下、B1/G2という)と、G2画像に対するB2画像の比(以下、B2/G2という)と、G2画像に対するR2画像の比(以下、R2/G2という)を算出する。次いで、式1にしたがって、演算値“Z”を算出する。式1における位相φは観察対象が含むヘモグロビンの酸素飽和度に対して演算値“Z”が不変となるように定める。位相φは予め実験等により求めることができる。
[式1] Z=(B1/G2)×cosφ−(B2/G2)×sinφ
【0047】
図4に実線によって示すように、演算値“Z”は、ビリルビン等の黄色色素を含む残液等がなければ、観察対象の酸素飽和度に依らず、比R2/G2の値に応じた一定の値になる。一方、破線によって示すように、演算値“Z”は、黄色色素を含む残液等があると、観察対象の酸素飽和度に依らないが、残液等が含む黄色色素の量(濃度)に応じて変動する。
【0048】
また、残液等がない場合に、演算値“Z”が、比R2/G2の値に応じた一定の値になるのは、観察対象が、指標値の算出及び位相φの調整において想定している光散乱特性もしくは光吸収特性を実際に有する場合である。したがって、観察対象が、指標値の算出等において想定しない散乱特性もしくは光吸収特性を実際に有する領域、または、照明光の当たり具合等に起因して、想定していない光散乱特性もしくは光吸収特性を有するように見える領域においては、残液等がない場合においても演算値“Z”の値が比R2/G2の値に応じた一定の値から変動する。照明光の当たり具合等に起因して、想定していない光散乱特性もしくは光吸収特性を有するように見える領域とは、例えば、暗部領域102(他の領域と比較して相対的に暗い暗部である領域。
図6参照)、ハレーション領域(画素値が飽和し、もしくは画素値が飽和した状態に近く、観察対象が観察し難い、ハレーションした領域。図示しない。)、または、鉗子等の処置具がある領域(図示しない)等である。このように残液等以外に起因して演算値“Z”の値が比R2/G2の値に応じた一定の値から変動する場合においても、位相φを適切に調整してあれば、演算値“Z”は酸素飽和度には依存しない。
【0049】
したがって、演算値“Z”は、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも酸素飽和度に依存しない「ベースライン情報」である。なお、ベースライン情報算出部82は、ベースライン情報である演算値“Z”を、内視鏡画像の1または複数の画素からなる部分ごとに算出する。本実施形態においては、ベースライン情報算出部82は、画素ごとにベースライン情報である演算値“Z”を算出する。
【0050】
なお、本実施形態においては、ベースライン情報が酸素飽和度に依存しないように位相φの値を定めているが、代わりに、ベースライン情報が、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度に依存しないように位相φを定めることができる。この場合、ベースライン情報算出部82は、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度に対して依存しないベースライン情報を算出することができる。同様に、酸素飽和度、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度のうち、2以上の「特定の生体情報」に対してベースライン情報が依存しないように位相φを調整しておいた場合には、ベースライン情報算出部82は、その2以上の「特定の生体情報」に対して依存しないベースライン情報を算出することができる。
【0051】
領域設定部83は、ベースライン情報を用いて、内視鏡画像のなかで、観察対象の状態を表す指標値を算出する算出領域105(指標値算出領域という場合がある。
図7または
図8参照。)を設定する。具体的には、領域設定部83は、観察対象の光散乱特性及び光吸収特性が指標値の算出等において想定内であって、かつ、残液等がない場合に、実際に算出した比R2/G2の値において演算値“Z”がとる値Z
0を基準として、実際に算出した比R2/G2の値において実際に算出した演算値“Z”の変化量ΔZ(=Z−Z
0)を算出する(
図4参照)。この変化量ΔZは、残液等の有無及び量、または、観察対象の光散乱特性及び光吸収特性が指標値の算出等において想定内であるか否かを表す値になる。
【0052】
その後、領域設定部83は、例えば、変化量ΔZを閾値と比較し、その結果、内視鏡画像において変化量ΔZが閾値以上の領域と変化量ΔZが閾値未満の領域を特定する。変化量ΔZが閾値以上の領域は、残液等があるか、または、観察対象の光散乱特性もしくは光吸収特性が指標値の算出において想定の範囲外であるから、指標値が正確に算出できない領域である。変化量ΔZが閾値未満の領域は、残液等がなく、かつ、観察対象の光散乱特性及び光吸収特性が指標値の算出において想定の範囲内であるから、指標値を正確に算出できる領域である。したがって、領域設定部83は、内視鏡画像において、変化量ΔZが閾値以上の領域を除外し、かつ、変化量ΔZが閾値未満の領域において指標値を算出する算出領域105に設定する。すなわち、領域設定部83は、ベースライン情報である演算値“Z”を用いて、残液等がある領域104(
図6参照)、暗部領域102、ハレーション領域、または、処置具がある領域等の指標値を正確に算出できない可能性がある領域を除外することにより、指標値を算出する算出領域105を設定する。
【0053】
なお、ベースライン情報算出部82は、ベースライン情報である演算値“Z”を内視鏡画像の1または複数の画素からなる部分ごとに算出するので、領域設定部83は、ベースライン情報算出部82がベースライン情報である演算値“Z”を算出した1または複数の画素からなる部分ごとに、上記変化量ΔZの算出及び変化量Δと閾値の比較を行って、当該部分ごとに指標値を算出するか否かを決定する。その結果、領域設定部83は、ベースライン情報算出部82がベースライン情報である演算値“Z”を算出した1または複数の画素で構成する部分からなる領域を、指標値を算出する算出領域105を設定する。本実施形態においては、ベースライン情報算出部82は、画素ごとにベースライン情報である演算値“Z”を算出するので、領域設定部83も画素ごとに変化量ΔZの算出及び変化量ΔZと閾値の比較をし、その結果、画素ごとに、指標値を算出するか否かを設定する。
【0054】
指標値算出部84は、内視鏡画像を用いて、領域設定部83が指標値を算出する算出領域105に設定した領域において、指標値を算出する。指標値算出部84は、例えば、ピットパターン等の観察対象が有する構造の特徴(大きさ、形状、分布、または密度等)に基づいた指標値、または、血管等の組織の特徴に基づいた指標値を算出することができる。
【0055】
本実施形態においては、指標値算出部84は、血管に関する指標値(血管指標値)を算出する。具体的には、指標値算出部84は、血管情報または血管パラメータを指標値(血管指標値)として算出する。血管情報とは、例えば、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、ヘモグロビン濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量等である。血管パラメータは、2以上の血管情報を用いた演算により得られる演算結果である。
【0056】
なお、指標値算出部84は、ベースライン情報算出部82がベースライン情報である演算値“Z”を算出した1または複数の画素からなる部分ごとに、または、領域設定部83が設定した指標値を算出する算出領域105ごとに、指標値を算出する。本実施形態においては、指標値算出部84は、領域設定部83が設定した指標値を算出する算出領域105ごとに、指標値(血管指標値)を算出する。
【0057】
強調処理部85は、画像取得部54が取得した画像または画像生成部81が生成した内視鏡画像に、指標値を算出した領域を強調する強調処理を施す。具体的には、強調処理部85は、指標値を算出した領域の輪郭を表示し、または、指標値を算出した領域内にある観察対象の構造もしくは組織等の一部もしくは全部に対して周波数強調処理、エッジ強調処理、明るさ調整処理、もしくは、色変更処理等をする。これにより、強調処理部85は、画像取得部54が取得した画像または画像生成部81が生成した内視鏡画像において、指標値を算出した領域を強調する。本実施形態においては、強調処理部85は、画像生成部81が生成した内視鏡画像において、指標値を算出した領域の輪郭を表示することにより、指標値を算出した領域を強調する。
【0058】
表示制御部66は、画像処理部61から強調処理部85が強調処理をした内視鏡画像または画像生成部81が生成した内視鏡画像を取得し、取得した内視鏡画像を表示に適した形式に変換してモニタ18に出力する。これにより、モニタ18は、内視鏡画像を表示する。本実施形態においては、表示制御部66は、強調処理部85が強調処理をした内視鏡画像をモニタ18に出力する。その結果、表示部であるモニタ18は、内視鏡画像に指標値を算出する算出領域105を強調表示する。
【0059】
また、表示制御部66は、設定等に応じて、指標値またはその他の付加的情報をモニタ18に出力する。これにより、モニタ18は、内視鏡画像とともに、指標値または付加的な情報を表示する。本実施形態においては、表示制御部66は、少なくとも指標値算出部84が算出した指標値をモニタ18に出力する。その結果、表示部であるモニタ18は、内視鏡画像、及び、指標値算出部84が算出した指標値を表示する。
【0060】
次に、内視鏡システム10の動作の流れを、
図5に示すフローチャートに沿って説明する。観察を開始すると、内視鏡システム10は照明光を適宜切り替えながら観察対象を撮像し、その結果、画像取得部54はイメージセンサ48から画像を取得する(S11)。
【0061】
より具体的には、照明光を、第1狭帯域青色光からなる第1照明光と、第2狭帯域青色光、狭帯域緑色光、及び狭帯域赤色光からなる第2照明光と、白色光である第3照明光と、に順次切り替えながら観察対象を撮像する。第1照明光を用いた撮像によってB1画像を取得でき、第2照明光を用いた撮像によってB2画像、G2画像、及びR2画像を取得できる。また、白色光である第3照明光を用いた撮像によって、BGR各色の画像を取得できる。以下、白色光である第3照明光を用いた撮像によって、B画素から取得する画像をB3画像、G画素から取得する画像をG3画像、及び、R画素から取得する画像をR3画像という。
【0062】
上記のように、撮像の各フレームにおいてBGR各色の画像を取得すると、画像生成部81が、B3画像、G3画像、及び、R3画像を用いて、表示用の内視鏡画像101を生成する(S12)。
図6に示すように、表示用の内視鏡画像101には、例えば、暗部領域102、及び、残液等がある領域104がある。
【0063】
一方、撮像の各フレームにおいてBGR各色の画像を取得すると、ベースライン情報算出部82が、B1画像、B2画像、及びG2画像を用いて、ベースライン情報である演算値“Z”を算出する(S13)。そして、領域設定部83は、ベースライン情報である演算値“Z”の基準値からの変化量ΔZに基づいて、指標値を算出する算出領域105を設定する。例えば、内視鏡画像101であれば、
図7に示すように、領域設定部83は、暗部領域102及び残液等がある領域104を除いた領域を、指標値を算出する算出領域105に設定する。
【0064】
領域設定部83が指標値を算出する算出領域105を設定すると、指標値算出部84は、この算出領域105において、指標値を算出する(S15)。例えば、指標値算出部84は、B1画像とB2画像を用いて血管を抽出し、少なくとも1つ抽出した血管の血管情報を、指標値(血管指標値)として算出する。
【0065】
内視鏡画像101を生成し、かつ、指標値を算出すると、強調処理部85は、内視鏡画像101に強調処理を施す(S16)。そして、表示制御部66は、強調処理後の内視鏡画像110と指標値をモニタ18に出力する。これにより、
図8に示すように、モニタ18は、強調処理後の内視鏡画像110を表示して、指標値を算出した算出領域105の輪郭106を強調表示しつつ、かつ、指標値表示部111に、算出領域105において算出した指標値を表示する。
【0066】
上記のように、内視鏡システム10は、ベースライン情報(演算値“Z”)を用いて指標値を算出する算出領域105を設定する。このため、指標値を正確に算出できないおそれのある領域及び指標値を正確に算出可能な領域を、従来よりも簡易にかつ正確に特定して、指標値を算出することができる。
【0067】
例えば、画素の明るさに基づいて暗部領域102を判別し、その結果、指標値を算出する算出領域105から暗部領域102を除外する場合、明るさが正常な残液等がある領域104を、指標値を算出する算出領域105から除外できない。逆に、画素の色に基づいて残液等がある領域104を判別し、その結果、指標値を算出する算出領域105から残液等がある領域104を除外する場合、色が黄色がかっていない暗部領域102は、指標値を算出する算出領域105から除外できない。もちろん、暗部領域102と残液等がある領域104をそれぞれ判別し、これらをそれぞれ除外すればよいが、現実には、この他にも、ハレーションがある領域や、鉗子等の処置具がある領域において指標値を算出する算出領域105から除かなければならないことを考慮すれば、可能であるにしても非常に重い処理になる。
【0068】
これに対し、内視鏡システム10は、暗部領域102、及び、残液等がある領域104、並びに、この他、ハレーション領域及び鉗子等の処置具がある領域等、指標値を正確に算出できないおそれのある領域を、ベースライン情報という1つの基準にしたがって画一的に特定し、指標値を算出する算出領域105を設定できる。したがって、内視鏡システム10は、従来の内視鏡システムよりも簡易に指標値を算出する算出領域105を設定できる。
【0069】
また、暗部領域102を判別して指標値を算出する算出領域105から除外する場合、または、残液等がある領域104を判別して指標値を算出する算出領域105から除外する場合等においては、通常、観察対象の光散乱特性または光吸収特性は考慮されない。これに対して、内視鏡システム10は、暗部領域102、残液等がある領域104、ハレーション領域及び鉗子等の処置具がある領域等とともに、指標値が正確に算出できない可能性がある想定外の光散乱特性または光吸収特性を有する領域も自動的に指標値を算出する算出領域105から除外することができる。したがって、内視鏡システム10は、指標値を算出する算出領域105を、従来の内視鏡システムよりも正確に設定することができる。
【0070】
なお、上記実施形態においては、領域設定部83は、ベースライン情報である演算値
“Z”の基準値からの変化量ΔZに基づいて、指標値を算出する算出領域105を設定しているが、領域設定部83は、ベースライン情報である演算値“Z”を閾値と比較した比較結果に基づいて、指標値を算出する算出領域105を設定することができる。この場合、閾値は、少なくとも比R2/G2の値ごとに、かつ、比R2/G2の値に対して上限の閾値及び下限の閾値を定める。こうすれば、変化量ΔZに基づいて指標値を算出する算出領域105を設定する上記実施形態と実質的に等しい結果が得られる。
【0071】
また、上記のように、領域設定部83が、ベースライン情報である演算値“Z”を閾値と比較した比較結果に基づいて指標値を算出する算出領域105を設定する場合、使用する閾値は、撮像した画像または内視鏡画像101等の性質(例えば観察対象の写り具合等)に応じて変化しても良い。例えば、ベースライン情報を複数算出する場合に、複数のベースライン情報のうちの選択した1つのベースライン情報、または、複数のベースライン情報を用いて算出する統計量を用いて閾値を設定することができる。より具体的には、上記実施形態と同様に、ベースライン情報算出部82は画素ごとにベースライン情報である演算値“Z”を算出する場合、領域設定部83は、これら画素ごとの演算値“Z”の中から選択した1つの値(例えば中央値または最頻値に最も近い演算値“Z”等)を基準として、流動的に閾値を設定することができる。また、領域設定部83は、ベースライン情報算出部82が画素ごとに算出した演算値“Z”を用いて、平均値、中央値、分散、または最頻値等(以下、統計量という)を算出し、算出した統計量を用いて流動的に閾値を設定することができる。このように、閾値を設定すると、指標値を算出する算出領域105を、より正確に設定できるようになる場合がある。
【0072】
上記実施形態においては、具体例として、暗部領域102と残液等がある領域104を除外して指標値を算出する算出領域105を設定しているが、領域設定部83は、ベースライン情報を用いて、残液等がある領域104、暗部領域102、ハレーション領域、または、処置具がある領域のうち、少なくともいずれか1以上を除外することにより、指標値を算出する算出領域105を設定することが好ましい。こうすれば、残液等がある領域104、暗部領域102、ハレーション領域、または、処置具がある領域のうち、明確に除外する設定としたいずれか1つ以外の領域以外の領域もほぼ自動的に指標値を算出する算出領域105から除外できる。
【0073】
なお、算出する指標値の種類等によっては、ベースライン情報を算出するための内視鏡画像と、指標値を算出するための内視鏡画像が異なる場合がある。このため、上記実施形態においては、指標値算出部84は、ベースライン情報算出部82がベースライン情報である演算値“Z”の算出に使用する複数の内視鏡画像(B1画像、B2画像、及びG2画像)のうち、一部の内視鏡画像(B1画像及びB2画像)を用いて指標値を算出しているが、指標値算出部84は、ベースライン情報算出部82がベースライン情報の算出に使用する複数の内視鏡画像とは撮像に使用した照明光の種類が異なる1または複数の内視鏡画像を用いて指標値を算出することができる。
【0074】
上記実施形態においては、各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(Processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0075】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)によって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0076】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
【0077】
上記実施形態においては、イメージセンサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システム10において本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。
図9に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡700と、プロセッサ装置(図示しない)とを少なくとも有する。
【0078】
カプセル内視鏡700は、光源部702と制御部703と、イメージセンサ704と、画像処理部706と、送受信アンテナ708と、を備えている。光源部702は、光源部20に対応する。制御部703は、光源制御部22及び制御部52と同様に機能する。また、制御部703は、送受信アンテナ708を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記実施形態のプロセッサ装置16とほぼ同様であるが、画像取得部54及び画像処理部61に対応する画像処理部706はカプセル内視鏡700に設けられ、内視鏡画像は、送受信アンテナ708を介してプロセッサ装置に送信される。イメージセンサ704はイメージセンサ48と同様に構成される。