(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-16
(45)【発行日】2022-12-26
(54)【発明の名称】内視鏡システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20221219BHJP
【FI】
A61B1/045 617
(21)【出願番号】P 2020559173
(86)(22)【出願日】2019-12-02
(86)【国際出願番号】 JP2019047007
(87)【国際公開番号】W WO2020121868
(87)【国際公開日】2020-06-18
【審査請求日】2021-05-20
(31)【優先権主張番号】P 2018232822
(32)【優先日】2018-12-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】弁理士法人小林国際特許事務所
(72)【発明者】
【氏名】齋藤 孝明
【審査官】佐藤 秀樹
(56)【参考文献】
【文献】国際公開第2017/085793(WO,A1)
【文献】特開2013-022341(JP,A)
【文献】特開2014-023591(JP,A)
【文献】特開2012-130506(JP,A)
【文献】特開2012-249804(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
(57)【特許請求の範囲】
【請求項1】
観察対象を撮像して得られる分光画像を複数取得する画像取得部と、
前記複数の分光画像に基づいて、前記観察対象の酸素飽和度を算出する酸素飽和度算出部と、
前記酸素飽和度を画像化した酸素飽和度画像を作成する画像作成部と、
表示部に表示された前記酸素飽和度画像上に、前記酸素飽和度の数値を
1つ表示する数値表示位置を、前記分光画像もしくは前記酸素飽和度、または前記分光画像及び前記酸素飽和度の両方に基づいて決定する数値表示位置決定部と、
前記数値表示位置に基づいて、前記酸素飽和度の数値を表示する制御を行う表示制御部とを備え
、
前記数値表示位置決定部は、前記酸素飽和度画像を分割した複数の領域毎に、前記領域を前記数値表示位置とするか否かを決定し、前記領域を前記数値表示位置としないと決定した場合には、前記領域を含み、かつ、前記領域より広い特定領域を、前記数値表示位置として決定し、
前記特定領域は、前記数値表示位置としないと決定した前記領域に隣接する複数の前記領域を含み、前記特定領域同士は重複しない内視鏡システム。
【請求項2】
前記領域は、前記酸素飽和度画像を格子状に分割することにより形成される
請求項1に記載の内視鏡システム。
【請求項3】
前記数値表示位置決定部は、異なる分光画像間の画素値の比を示す信号比の代表値を前記領域毎に算出し、前記信号比の代表値が信号比用条件を満たす場合に、前記領域を前記数値表示位置として決定する請求項
1または2に記載の内視鏡システム。
【請求項4】
前記数値表示位置決定部は、前記領域における前記酸素飽和度の代表値を算出し、前記酸素飽和度の代表値が酸素飽和度用条件を満たす場合に、前記領域を前記数値表示位置として決定する請求項
1または2に記載の内視鏡システム。
【請求項5】
前記数値表示位置決定部は、
異なる分光画像間の画素値の比を示す信号比の代表値を前記領域毎に算出し、かつ、前記領域における前記酸素飽和度の代表値を算出し、
前記信号比の代表値が信号比用条件を満たし、かつ、前記酸素飽和度の代表値が酸素飽和度用条件を満たす場合に、前記領域を前記数値表示位置として決定する請求項
1または2に記載の内視鏡システム。
【請求項6】
前記信号比用条件は、前記信号比の代表値が信号比用閾値以上、または、前記信号比用閾値以下である請求項
3または5に記載の内視鏡システム。
【請求項7】
前記酸素飽和度用条件は、前記酸素飽和度の代表値が前記領域周辺の酸素飽和度よりも特定値以上大きい、または、特定値以上低いことである請求項
4または5に記載の内視鏡システム。
【請求項8】
分光特性が異なる第1及び第2照明光を前記観察対象に照射する光源部を備え、
前記画像取得部は、前記照明光のうち第1照明光に対応する第1画像信号を取得し、かつ、前記照明光のうち前記第1照明光とは波長帯域が異なる第2照明光に対応する第2画像信号を取得する請求項
1~7のいずれか1項に記載の内視鏡システム。
【請求項9】
前記第2照明光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる異吸光
波長光を含んでいる
請求項8に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察対象の酸素飽和度を的確に表示する内視鏡システムに関する。
【背景技術】
【0002】
医療分野において、生体内の観察対象を撮影する内視鏡システムが広く利用されている。内視鏡システムには、生体内の観察対象に白色の通常光を照射して、生体組織の表面の全体的な性状を観察する通常モードと、観察対象に特殊光を照射して観察を行う特殊モードを備えるものがある。特殊モードでは、特殊光として、例えば波長が制限された挟帯域の光を患部に照射することにより、観察対象の酸素飽和度を算出し、酸素飽和度を画像化した画像をモニタに表示することにより、観察対象の酸素飽和度を把握することが可能である。
【0003】
観察対象の酸素飽和度の分布を把握することができる内視鏡システムとして、血中ヘモグロビンの酸素飽和度を正確に画像化した信頼性の高い酸素飽和度画像を作成して表示する内視鏡システムが開示されている(特許文献1)。また、酸素飽和度画像を表示する際に、複数フレームの画像信号間の位置ずれ量に応じて酸素飽和度の表示方法を変更することにより、位置ずれが生じた場合に低くなる酸素飽和度の信頼性を視覚的に把握することができる内視鏡システムが開示されている(特許文献2)。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第2013/035694号
【文献】特開2013-99614号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1及び特許文献2に開示された、酸素飽和度イメージング機能を有する内視鏡システムは、酸素飽和度の高低を疑似カラーで表示する等により、酸素飽和度の分布を把握することができる。しかしながら、例えば、さらに観察対象における病変部と正常部との酸素飽和度の微妙な違いを評価したい場合等に、酸素飽和度の高低を疑似カラーで表示した画像を視認することによって、酸素飽和度の微妙な違いを把握するのは困難である。また、モニタ等に表示された酸素飽和度画像において、グラフィカルユーザインタフェース(Graphical User Interface、GUI)等により関心領域を指示して、その場所の酸素飽和度の数値を表示する方法では、術者の操作が煩雑となるおそれがある。
【0006】
そこで、本発明は、観察対象の酸素飽和度を的確に表示する内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の内視鏡システムは、画像取得部と、酸素飽和度算出部と、画像作成部と、数値表示位置決定部と、表示制御部とを備える。画像取得部は、観察対象を撮像して得られる分光画像を複数取得する。酸素飽和度算出部は、複数の分光画像に基づいて、観察対象の酸素飽和度を算出する。画像作成部は、酸素飽和度を画像化した酸素飽和度画像を作成する。数値表示位置決定部は、表示部に表示された酸素飽和度画像上に、酸素飽和度の数値を1つ表示する数値表示位置を、分光画像もしくは酸素飽和度、または分光画像及び酸素飽和度の両方に基づいて決定する。表示制御部は、数値表示位置に基づいて、酸素飽和度の数
値を表示する制御を行う。数値表示位置決定部は、酸素飽和度画像を分割した複数の領域毎に、領域を数値表示位置とするか否かを決定し、領域を数値表示位置としないと決定した場合には、領域を含み、かつ、領域より広い特定領域を、数値表示位置として決定し、特定領域は、数値表示位置としないと決定した領域に隣接する複数の領域を含み、特定領域同士は重複しない。
【0009】
領域は、酸素飽和度画像を格子状に分割することにより形成されることが好ましい。
【0010】
数値表示位置決定部は、異なる分光画像間の画素値の比を示す信号比の代表値を領域毎に算出し、信号比の代表値が信号比用条件を満たす場合に、領域を数値表示位置として決定することが好ましい。
【0011】
数値表示位置決定部は、領域における酸素飽和度の代表値を算出し、酸素飽和度の代表値が酸素飽和度用条件を満たす場合に、領域を数値表示位置として決定することが好ましい。
【0012】
数値表示位置決定部は、異なる分光画像間の画素値の比を示す信号比の代表値を領域毎に算出し、かつ、領域における酸素飽和度の代表値を算出し、信号比の代表値が信号比用条件を満たし、かつ、酸素飽和度の代表値が酸素飽和度用条件を満たす場合に、領域を数値表示位置として決定することが好ましい。
【0013】
信号比用条件は、信号比の代表値が信号比用閾値よりも大きい、または、小さいことが好ましい。
【0014】
酸素飽和度用条件は、酸素飽和度の代表値が領域周辺の酸素飽和度よりも特定値以上大きい、または、特定値以上低いことが好ましい。
【0016】
分光特性が異なる第1及び第2照明光を観察対象に照射する光源部を備え、画像取得部は、照明光のうち第1照明光に対応する第1画像信号を取得し、かつ、照明光のうち第1照明光とは波長帯域が異なる第2照明光に対応する第2画像信号を取得することが好ましい。
【0017】
第2照明光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる異吸光波長光を含んでいることが好ましい。
【発明の効果】
【0018】
本発明の内視鏡システムは、観察対象の酸素飽和度を的確に表示することができる。
【図面の簡単な説明】
【0019】
【
図2】内視鏡システムの機能を示すブロック図である。
【
図3】第1パターン及び第2パターンを示す説明図である。
【
図4】カラーフィルタの分光特性を示すグラフである。
【
図6】演算値と酸素飽和度との相関関係を表す特徴空間である。
【
図7】酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。
【
図8】酸素飽和度画像の分割を説明する説明図である。
【
図12】特異領域に表示する酸素飽和度の数値を説明する表である。
【
図13】特定領域に表示する酸素飽和度の数値を説明する表である。
【
図14】信号比用条件による数値表示位置を説明する説明図である。
【
図15】信号比用条件により数値を表示した酸素飽和度画像の説明図である。
【
図16】画像処理部の一連の流れを説明するフロー図である。
【
図17】酸素飽和度用条件を説明する説明図である。
【
図19】酸素飽和度用条件を説明するグラフである。
【
図20】酸素飽和度用条件による数値表示位置を説明する説明図である。
【
図21】酸素飽和度用条件により数値を表示した酸素飽和度画像の説明図である。
【
図22】信号比用条件及び酸素飽和度用条件による数値表示位置を説明する説明図である。
【
図23】信号比用条件及び酸素飽和度用条件により数値を表示した酸素飽和度画像の説明図である。
【発明を実施するための形態】
【0020】
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、表示部であるモニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続するとともに、プロセッサ装置16に電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。この湾曲部12cが湾曲した結果、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
【0021】
また、操作部12bには、アングルノブ12eの他、モード切替部13a、指示部13b、ズーム操作部13cが設けられている。モード切替部13aは、観察モードの切り替え操作に用いる。内視鏡システム10は、通常観察モードと特殊観察モードを有する。通常モードは、照明光に白色光を用いて観察対象を撮影して得る自然な色合いの画像(以下、通常画像という)をモニタ18に表示する観察モードである。
【0022】
特殊モードは、観察対象の酸素飽和度を算出して表示する酸素飽和度観察モードである。酸素飽和度観察モードでは、観察対象を撮像して得る複数の分光画像を用いて観察対象の酸素飽和度を算出し、算出した酸素飽和度の値を、疑似カラーを用いて示す画像(以下、酸素飽和度画像という)を生成してモニタ18に表示する。その際、術者による指示により、酸素飽和度を定量的に示す酸素飽和度の数値を酸素飽和度画像上に表示する。
【0023】
指示部13bは、酸素飽和度観察モードにおいて、酸素飽和度画像上に酸素飽和度の数値を表示する指示に用いる。ズーム操作部13cは、観察対象を拡大または縮小して表示する操作に用いる。
【0024】
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザーインターフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
【0025】
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備えている。
【0026】
光源部20は、BS光源20a、BL光源20b、G光源20c、及び、R光源20dの4個の光源を備える。本実施形態においては、BS光源20a、BL光源20b、G光源20c、及び、R光源20dはいずれもLED(Light Emitting Diode)である。光源部20には、これらのLEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。
【0027】
BS光源20aは、中心波長が約450±10nm、波長帯域が約420nm~500nmの第1青色光BSを発光する青色光源である。BL光源20bは、中心波長及び波長帯域が約470nm±10nmであり、青色のいわゆる狭帯域光(以下、第2青色光BLという)を発光する青色光源である。G光源20cは、中心波長が約540±20nm、波長帯域が約480nm~600nmに及ぶ緑色光Gを発光する緑色光源である。R光源20dは、中心波長が約640±20nm、波長帯域が約600nm~650nmに及ぶ赤色光Rを発光する赤色光源である。
【0028】
光源制御部22は、光源部20を構成する各光源20a~20dの点灯や消灯のタイミング、及び点灯時の発光量等をそれぞれ独立に制御する。この光源制御部22の制御により、光源部20は、通常観察モードにおいて使用する通常観察用照明光と、酸素飽和度観察モードにおいて使用する酸素飽和度観察用照明光とを発光する。
【0029】
通常観察モードの場合、光源制御部22は、BS光源20a、G光源20c、及びR光源20dを同時に点灯する。このため、通常観察用照明光は、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光である。本実施形態においては、通常観察モードの場合、光源部20は上記白色光を常時発光するが、観察対象の撮影タイミング(以下、撮影フレームという)に合わせて、白色光を発光しても良い。
【0030】
酸素飽和度観察モードの場合、光源制御部22は、第1パターンと第2パターンで各光源20a~20dの点灯または消灯を交互に繰り返す。第1パターンは、BS光源20aと、G光源20cと、R光源20dを同時に点灯するパターンである(第1照明光)。第1パターンの際には、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光が照明光になる。一方、第2パターンは、BL光源20bと、G光源20cと、R光源20dを同時に点灯するパターンである(第2照明光)。このため、第2パターンの際には、第2青色光BLと、緑色光Gと、赤色光Rとを含む酸素飽和度用照明光になる。酸素飽和度観察モードでは、
図3に示すように、白色光と酸素飽和度用照明光とが撮影フレームに合わせて、例えば、1撮影フレーム毎に交互に繰り返し発光する。以上のとおり、第1照明光と第2照明光とでは、分光特性が異なる。
【0031】
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用できる。
【0032】
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に照射される。撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。なお、ズームレンズ47は、ズーム操作部13cの操作をすることで移動し、イメージセンサ48を用いて撮影する観察対象を拡大または縮小する。
【0033】
イメージセンサ48は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。
図4に示すように、青色カラーフィルタは、主として青色帯域の光、具体的には波長帯域が380~560nmの波長帯域の光を透過する。青色カラーフィルタの透過率は、波長460~470nm付近においてピークになる。緑色カラーフィルタは、主として緑色帯域の光、具体的には、460~470nmの波長帯域の光を透過する。赤色カラーフィルタは、主として赤色帯域の光、具体的には、580~760nmの波長帯域の光を透過する。
【0034】
イメージセンサ48を用いて観察対象を撮影すると、1回の撮影において最大で、B画素において撮影して得るB画像(青色画像)、G画素において撮像して得るG画像(緑色画像)、及び、R画素において撮影して得るR画像(赤色画像)の3種類の画像を得ることができる。通常観察モードの場合、使用する通常観察用照明光は白色光なので、Bc画像、Gc画像、及びRc画像が得られる。Bc画像は、主に通常観察用照明光が含む第1青色光BSの反射光等を用いて観察対象を撮影した画像であり、Gc画像は、主に通常観察用照明光が含む緑色光Gの反射光等を用いて観察対象を撮影した画像である。同様に、Rc画像は、主に通常観察用照明光が含む赤色光Rの反射光等を用いて観察対象を撮影した画像である。
【0035】
一方、本実施形態の酸素飽和度観察モードでは、照明光は、撮影フレームに合わせて交互に白色光と酸素飽和度用照明光とで切り替わる。このため、白色光を用いてB1画像、G1画像、及びR1画像を取得し(第1画像信号)、酸素飽和度用照明光を用いて、B2画像、G2画像、及びR2画像を得る(第2画像信号)。B2画像は、主に酸素飽和度用照明光が含む第2青色光BLの反射光等を用いて観察対象を撮影した画像であり、G2画像は、主に酸素飽和度用照明光が含む緑色光Gの反射光等を用いて観察対象を撮影した画像である。同様に、R2画像は、主に酸素飽和度用照明光が含む赤色光Rの反射光等を用いて観察対象を撮影した画像である。したがって、酸素飽和度観察モードにおいて白色光を照明光に使用する撮影フレームにおいて得る各分光画像は、B1画像、G1画像、及びR2画像であり、酸素飽和度用照明光を照明光に使用する撮影フレームにおいて得る各分光画像は、B2画像、G2画像、及びR2画像である。
【0036】
イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。
【0037】
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、表示制御部66とを有する。
【0038】
制御部52は、モード切替部13aからモード切り替え信号の入力を受けて、光源制御部22及びイメージセンサ48に制御信号を入力することにより、観察モードを切り替える。この他、制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等もする。
【0039】
画像取得部54は、イメージセンサ48から観察対象の画像を取得する。通常観察モードの場合、画像取得部54は、撮影フレーム毎にBc画像、Gc画像、及びRc画像を取得する。酸素飽和度観察モードの場合、画像取得部54は、照明光に白色光を使用する撮影フレームにおいては、B1画像、G1画像、及びR1画像を取得し、照明光に酸素飽和度用照明光を使用する撮影フレームにおいては、B2画像、G2画像、及びR2画像を取得する。
【0040】
また、画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に各種処理を施す。
【0041】
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
【0042】
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ48において他の色の画素を配置しているために、画素値がない画素である。例えば、B画像はB画素において観察対象を撮影して得る画像なので、イメージセンサ48のG画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
【0043】
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
【0044】
画像処理部61は、通常処理部62と、特殊処理部63とを有する。通常処理部62は、通常観察モード時に作動し、上記各種処理を施した1撮影フレーム分のBc画像、Gc画像、及びRc画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常画像を生成する。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。表示制御部66は、通常処理部62から通常画像を順次取得し、取得した通常画像を表示に適した形式に変換してモニタ18に順次出力表示する。これにより、通常観察モードの場合、医師等は、通常画像の動画を用いて観察対象を観察できる。
【0045】
特殊処理部63は、
図5に示すように、酸素飽和度算出部70、データ記憶部71、画像作成部72及び数値表示位置決定部73を備える。
【0046】
酸素飽和度算出部70は、画像取得部54から酸素飽和度観察モードにおいて得る撮影画像を取得し、これらの撮影画像を用いて演算値を得て酸素飽和度を算出する。より具体的には、酸素飽和度算出部70は、酸素飽和度観察モード時に画像取得部54から分光画像として、B1画像、G1画像及びR1画像、並びに、B2画像、G2画像及びR2画像を取得する。そして、B1画像とG1画像との和に対するB2画像の比B2/(B1+G1)と、G1画像に対するR1画像の比R1/G1と、をそれぞれ画素ごとに算出する。これらの比(信号比)B2/(B1+G1)、及び、比R1/G1が、酸素飽和度の算出に用いる演算値である。
【0047】
データ記憶部71は、酸素飽和度算出部70が算出する上記演算値と酸素飽和度との相関関係を、LUT等の形式で記憶している。
図6に示すように、この相関関係を、縦軸Log(B2/B1+G2)及び横軸Log(R2/G2)を用いて形成する第1特徴空間において表すと、酸素飽和度が同じ値の点を結ぶ等値線が、ほぼ横方向に沿って形成される。また、等値線は、酸素飽和度が大きくなるほど縦軸方向の下方に位置する。例えば、酸素飽和度が100%の等値線75は、酸素飽和度が0%の等値線76よりも下方に位置する。
【0048】
上記相関関係は、
図7に示す酸化ヘモグロビン(グラフ77)及び還元ヘモグロビン(グラフ78)の吸光特性と密接に関連している。具体的には、第2青色光BLの波長(約470±10nm)は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きいので、ヘモグロビンの酸素飽和度に起因して吸光量が変化する。すなわち、第2青色光BLの波長は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる異吸光波長光である。このため、第2青色光BLは、酸素飽和度の情報を取り扱いやすい。したがって、照度ムラ等の補正のためにB1画像及びG1画像を用いてB2画像を規格化した比B2/(B1+G1)を用いれば、酸素飽和度を算出できる。しかし、比B2/(B1+G1)は酸素飽和度だけでなく、血液量にも依存する。そこで、比B2/(B1+G1)に加えて、主として血液量に依存して変化する比R1/G1を用いることで、血液量に影響されることなく、酸素飽和度を算出できるようにしている。なお、G1画像に含まれる緑色光Gの波長(約540±20nm)は、ヘモグロビンの吸光係数が比較的高いので、血液量に起因して吸光係数が変化しやすい波長である。なお、上記第1特徴空間における等値線の位置及び形状は、光散乱の物理的なシミュレーションをした結果として予め得られる。
【0049】
酸素飽和度算出部70は、データ記憶部71が記憶するデータを参照し、酸素飽和度を算出する。本実施形態では、具体的には、酸素飽和度算出部70は、データ記憶部71が記憶する相関関係を参照し、比B2/(B1+G1)及び比R1/G1に対応する酸素飽和度を画素ごとに算出する。例えば、特定画素の比B2
*/(B1
*+G1
*)及び比R1
*/G1
*に対応する酸素飽和度は、データ記憶部71が記憶する相関関係を参照すると「40%」である(
図6参照)。したがって、酸素飽和度算出部70は、この特定画素の酸素飽和度を「40%」と算出する。
【0050】
なお、比B2/(B1+G1)及び比R1/G1が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、比B2/(B1+G1)及び比R1/G1の各値の組み合わせが、酸素飽和度100%の上限の等値線75(
図6参照)よりも下方に分布したり、反対に、酸素飽和度0%の下限の等値線76(
図6参照)よりも上方に分布したりすることはほとんどない。万が一、比B2/(B1+G1)及び比R1/G1の各値の組み合わせが、上限の等値線75より下方に分布する場合には、酸素飽和度算出部70はその画素の酸素飽和度を100%と算出する。同様に、比B2/(B1+G1)及び比R1/G1の各値の組み合わせが、下限の等値線76より上方に分布する場合には、酸素飽和度算出部70は、その画素の酸素飽和度を0%と算出する。また、比B2/(B1+G1)及びR1/G1に対応する点が上限の等値線75と下限の等値線76との間に分布しない場合には、その画素における酸素飽和度の信頼度が低いことを表示しても良いし、酸素飽和度を算出しないようにしても良い。
【0051】
画像作成部72は、酸素飽和度算出部70において算出した酸素飽和度を用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。具体的には、画像作成部72は、B1画像、G1画像、及びR1画像を取得し、これらの画像に対して酸素飽和度に応じたゲインを画素ごとに施す。例えば、画像作成部72は、酸素飽和度が60%以上の画素にはB1画像、G1画像、及びR1画像のいずれにも同じゲイン「1」を乗じる。これに対して、酸素飽和度が60%未満の画素には、B1画像に対して「1」未満のゲインを乗じ、G1画像及びR1画像に対しては「1」以上のゲインを乗じる。その後、画像作成部72は、上記のようにゲインを施したB1画像、G1画像、及びR1画像を用いてカラーの酸素飽和度画像を生成する。画像作成部72が生成した酸素飽和度画像は、表示制御部66が取得し、モニタ18に順次表示する。
【0052】
画像作成部72が生成した酸素飽和度画像においては、高酸素の領域(本実施形態においては、酸素飽和度が60%以上100%以下の領域)は、通常画像と同様、自然な色になる。一方、酸素飽和度が予め設定した値を下回る低酸素の領域(本実施形態においては酸素飽和度が0%以上60%未満)は、通常画像とは異なる色(いわゆる疑似カラー)になる。なお、本実施形態においては、酸素飽和度観察モードの場合に、画像作成部72は、低酸素領域だけを疑似カラー化するゲインを乗じているが、高酸素の領域においても酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素の領域と高酸素の領域を、酸素飽和度60%を境界にして分けているが、この境界も任意である。
【0053】
数値表示位置決定部73は、モニタ18に表示された酸素飽和度画像上に、酸素飽和度の数値を表示する数値表示位置を、画像取得部54から得る撮影による複数の分光画像もしくは酸素飽和度算出部70から得る酸素飽和度、または分光画像及び酸素飽和度の両方に基づいて決定する。より具体的には、数値表示位置決定部73は、分光画像または酸素飽和度、もしくは両方を用いることにより、まず、酸素飽和度の数値が診断等に有用であると考えられる酸素飽和度画像の領域(以下、想定関心領域という)を数値表示位置に指定する。
【0054】
想定関心領域は、酸素飽和度画像の特異的な領域とすることができ、例えば、周囲と血管構造等または酸素飽和度の数値が異なる領域である。数値表示位置決定部73は、段階的に、酸素飽和度の数値の表示位置を決定する。まず、想定関心領域において、数値表示位置を決定する。次に、想定関心領域において数値表示位置と決定された領域以外の領域において、数値表示位置を決定する。
【0055】
数値表示位置決定部73は、酸素飽和度観察モードにおいて、内視鏡12の指示部13b(
図1参照)を一度押下することにより作動し、以下のような処理を自動で行う。数値表示位置決定部73の処理により、モニタ18に、酸素飽和度の数値が数値表示位置に基づいて表示された酸素飽和度画像(
図15)が表示される。
【0056】
数値表示位置決定部73は、酸素飽和度画像における数値表示位置を決定する方法の一つとして、酸素飽和度画像を複数の領域(以下、小領域という)に分割する。数値表示位置決定部73は、酸素飽和度画像を分割した複数の小領域毎に、この小領域を数値表示位置とするか否かを決定する。本実施形態では、小領域は、酸素飽和度画像を格子状に分割することにより形成する。したがって、本実施形態では、小領域は、格子状であるが、小領域の形状は任意に決定できる。なお、小領域が、スコープ外の部分にある等、数値表示位置を決定するための各種算出の対象として問題が生じるおそれがある場合は、画像処理等により判定し、数値表示位置を決定するための各種算出の対象とせず、数値表示位置にしなくてもよい。
【0057】
図8に示すように、格子状の小領域について、より具体的には、酸素飽和度画像85を、縦16、横16に格子状に分割した場合の一領域を小領域86とする。酸素飽和度画像85は、疑似カラーにより表示された低酸素領域87及び血管88を含む。本実施形態の酸素飽和度画像85は、横640ピクセル、縦480ピクセルの画像であるため、酸素飽和度画像85を分割することにより、横40ピクセル、縦30ピクセルの256個の格子状の同形状の小領域86を形成する。酸素飽和度画像85において、横方向の格子の位置を示す番号を左から1から順に付し、また、縦方向の格子の位置を示す番号を、下から1から順に付し、任意の小領域の位置を(i,j)とする。したがって、
図8に示すように、酸素飽和度画像85は、小領域(1,1)から小領域(16,16)までの256個の小領域に分割する。
図8においては、図が煩雑になるために、小領域(1,1)、小領域(2,1)、小領域(1,2)の箇所のみ、小領域の位置を示す番号を記す。
【0058】
数値表示位置決定部73は、まず、想定関心領域において、数値表示位置を決定する。本実施形態では、想定関心領域を、表層血管密度が高い領域とする。表層血管密度が高い領域は、画像取得部54が取得した分光画像のB1画像及びG1画像を用いた信号比B1/G1の値が小さくなる傾向がある。したがって、数値表示位置決定部73は、異なる分光画像間の画素値の比を示す信号比の代表値を小領域毎に算出し、信号比の代表値が信号比用条件を満たす場合に、この小領域を数値表示位置として決定する。数値表示位置決定部73は、小領域毎に、数値表示位置とするか否かを決定する。数値表示位置と決定された小領域には、酸素飽和度の数値を1つ表示する。
【0059】
表層血管密度が高い領域において数値表示位置を決定するために、数値表示位置決定部73は、すべての小領域(i,j)毎に信号比B1/G1の代表値を算出し、信号比B1/G1の代表値が信号比用条件を満たす場合、表層血管密度が特に高い小領域として、この小領域を数値表示位置と決定する。なお、小領域(i,j)における、信号比B1/G1の代表値を、代表値BG(i,j)とする。
【0060】
代表値BG(i,j)は、次のようにして決定する。すなわち、酸素飽和度画像85上の小領域(i,j)が有するすべての画素において信号比B1/G1を算出し、小領域(i,j)におけるこれらの信号比B1/G1の値の平均値を算出する。この平均値を代表値BG(i,j)とする。
【0061】
信号比用条件は、信号比の代表値が信号比用閾値以下であることとする。したがって、信号比の代表値BG(i,j)と、予め設定した信号比用閾値BG1とを比較し、代表値BG(i,j)が、閾値BG1以下の場合に、信号比用条件を満たす。なお、信号比用条件は、場合により、代表値BG(i,j)が閾値BG1よりも大きい、もしくは、小さい、または、閾値BG1以上、もしくは、閾値BG1以下とすることができる。数値表示位置決定部73は、すべての小領域(i,j)において、信号比用条件が合致するか否かを調べる。
【0062】
本実施形態では、代表値BG(i,j)が閾値BG1以下であるとの信号比用条件、すなわち、代表値BG(i,j)≦閾値BG1の信号比用条件を満たす小領域(i,j)を、数値表示位置とする。このようにして、数値表示位置とした小領域(i,j)を特異領域とする。小領域(1,1)、小領域(1,2)、……と小領域(i,j)について代表値BG(i,j)を算出する。信号比用条件により、算出した代表値BG(i,j)の値を閾値BG1と比較することにより、代表値BG(i,j)が、閾値BG1以下である小領域を、特異領域とする。
【0063】
より具体的には、
図9の表90は、小領域(i,j)と、小領域(i,j)における代表値BG(i,j)と、小領域(i,j)における信号比用条件(代表値BG(i,j)≦閾値BG1)の該当(表90の「BG(i,j)≦閾値BG1」の欄で「○」)または非該当(表90の「BG(i,j)≦閾値BG1」の欄で「×」または「-」)を示している。なお、煩雑さを避けるため、表90には、一部の小領域(i,j)のみ記載しているが、実際は、すべての小領域(i,j)について、信号比用条件の判定を行う。
【0064】
表90(
図9)に示すように、小領域(1,1)、小領域(2,1)及び小領域(16,16)は、スコープ外であると判定されたため、代表値BG(i,j)は算出されず、表90の「BG(i,j)≦BG1」の欄に「-」と記載されている。小領域(5,1)、小領域(6,1)は、代表値BG(i,j)が算出されたが、信号比用条件BG(i,j)≦BG1に合致しなかったため特異領域とはならず、表90の「BG(i,j)≦BG1」の欄に「×」と記載されている。小領域(7,5)及び小領域(8,5)は、代表値BG(i,j)が算出され、信号比用条件BG(i,j)≦BG1に合致したため特異領域とされ、表90の「BG(i,j)≦BG1」の欄に「○」と記載されている。したがって、酸素飽和度画像85上において、小領域(7,5)、小領域(8,5)、小領域(7,6)、小領域(8,6)、小領域(9,6)、小領域(8,7)及び小領域(9,7)の位置を、特異領域89として決定する。特異領域89である小領域では、それぞれの小領域における酸素飽和度の数値を表示する。
【0065】
小領域において表示する酸素飽和度の数値について説明する。表示する酸素飽和度の数値は、本実施形態では、特異領域に含まれる小領域(i,j)が含む画素すべてにおいて算出された酸素飽和度の平均値SP(i、j)とする。特異領域は1つの小領域(i、j)に設定されるため、1個の小領域(i,j)が含む画素すべてにおいて算出された酸素飽和度の平均値SPが、特異領域において表示する酸素飽和度の数値である。
【0066】
図12の表195に、小領域(i,j)(表195の「小領域位置」の欄)と、酸素飽和度の平均値SP(i,j)(表195の「SP(i,j)」の欄)とを示す。例えば、小領域(7,5)及び小領域(8,5)における酸素飽和度の平均値SP(7,5)である95及び平均値SP(8,5)である95の数値が、それぞれ、領域(7,5)及び小領域(8,5)の位置に表示される。
【0067】
次に、数値表示位置決定部73は、特異領域以外の小領域(以下、標準領域という)において、数値表示位置を決定する。本実施形態では、信号比用条件である、代表値BG(i,j)≦閾値BG1の条件を満たさない小領域(i,j)、すなわち、代表値BG(i,j)>閾値BG1を満たす小領域(i,j)を、標準領域とする。
【0068】
数値表示位置決定部73は、標準領域を含み、かつ、1つの標準領域より広い領域を特定領域として、数値表示位置に決定する。特定領域には、酸素飽和度の数値を1つ表示する。本実施形態では、特定領域は、標準領域の特定倍の広さを有する領域とする。特定領域を標準領域である小領域(i,j)の何倍とするかは、表示する酸素飽和度の数値の個数により、任意に決定できる。特定領域は数値表示位置となるため、酸素飽和度の数値をより少なく表示したい場合は、特定領域が含む小領域(i,j)の数をより少なく設定する。
【0069】
本実施形態では、特定領域は、標準領域に対して縦5倍、横5倍である、小領域が25個分の略正方形の領域を特定領域とする。したがって、より具体的には、
図10に示すように、特定領域192は、標準領域191である小領域(14,14)を中心とした、小領域(12,12)、小領域(16,12)、小領域(16,16)、小領域(12,16)の四点を頂点とする四角形の範囲に設定される。この特定領域192を、第1特定領域とする。
【0070】
なお、標準領域191は、1つの特定領域192に属するものとし、2つ以上の特定領域に属さないように設定する。特定領域は数値表示位置となるから、酸素飽和度の数値を適当な間隔で表示するためである。したがって、
図11に示すように、特定領域は重ならず、特定領域192に隣接するように、中心に標準領域193を含む特定領域194を設定する。したがって、特定領域194は、標準領域193である小領域(9,14)を中心とした、小領域(7,12)、小領域(11,12)、小領域(11,16)、小領域(7,16)の四点を頂点とする四角形の範囲に設定される。この特定領域を、第2特定領域とする。
【0071】
特定領域の設定において、周辺の標準領域を合わせて小領域(i,j)25個分の略正方形とならない場合は、特定領域としない、または、25個分の略正方形となるように小領域があるものと仮定して特定領域とする、等とすることができる。
【0072】
次に、小領域において表示する酸素飽和度の数値について説明する。本実施形態では、特定領域において表示される酸素飽和度の数値は、特定領域に含まれる小領域(i,j)が含む画素すべてにおいて算出された酸素飽和度の平均値SPである。したがって、特定領域は25個の小領域(i、j)に設定されるため、25個の小領域(i,j)が含む画素すべてにおいて算出された酸素飽和度の平均値SPを、特定領域において表示する酸素飽和度の数値とする。
【0073】
図13の表196に、特定領域の位置(表196の「特定領域位置」の欄)と、酸素飽和度の平均値SP(表195の「SP(第n)」の欄)とを示す。例えば、第1特定領域における酸素飽和度の平均値SP(第1)である99の数値が、第1特定領域の位置に表示される。第2特定領域の平均値SP(第2)については、画像処理時に、遠景であると判定される、または、酸素飽和度数値が100%以上または0%以下となった、等の理由により、酸素飽和度が表示されない(表196のSP(第n)の欄で「-」)。
【0074】
表示制御部66は、数値表示位置決定部73が決定した酸素飽和度の数値の数値表示位置に基づいて、酸素飽和度の数値を酸素飽和度画像上に表示する。特異領域における酸素飽和度の数値の表示方法は、任意に決定できる。例えば、特異領域である小領域(i,j)の中心に酸素飽和度の数値を、酸素飽和度画像と区別が可能な形態で、例えば、酸素飽和度画像と区別が可能な文字色で表示する。同様に、特定領域における酸素飽和度の数値の表示方法は、任意に決定することができ、特異領域の場合と同様とすることができる。例えば、特定領域の中心に、酸素飽和度の数値を、酸素飽和度画像と区別が可能な形態で、酸素飽和度画像と区別が可能な文字色で表示する。なお、特異領域と特定領域とにおける酸素飽和度の数値の表示形態については、視認しやすいものであればよく、同じとしてもよいし、異なるようにしてもよい。
【0075】
表示制御部66は、数値表示位置決定部73が決定した酸素飽和度の数値の数値表示位置である特異領域及び特定領域、ならびに、表示する酸素飽和度の数値に基づいて、酸素飽和度画像上酸素飽和度の数値を表示する。本実施形態において、表示制御部66が酸素飽和度画像上に表示する酸素飽和度の数値の例を、
図14に示して説明する。酸素飽和度画像85において、特異領域89は、実線で囲まれた各小領域の箇所であり、小領域毎に、それぞれの小領域の酸素飽和度の数値が表示される。また、特定領域の中心部分である標準領域191は、実線で囲まれた小領域の箇所であり、ここに特定領域の酸素飽和度の数値が表示される。なお、図の煩雑さをさけるため、特定領域の中心の標準領域191のうちの一つのみに符号191を付している。
【0076】
図15に示すように、モニタ18においては、小領域を示すグリッド198(
図14参照)が表示されない態様で、酸素飽和度画像上に酸素飽和度の数値を表示した画像が表示される。なお、表示される酸素飽和度の数値の数を調整する、または、表示された酸素飽和度がどこの箇所の平均であるかを把握するために、指示により、グリッド198(
図14参照)をモニタ18に表示させることもできる。
【0077】
なお、モニタ18に表示される酸素飽和度画像及び酸素飽和度の数値は、酸素飽和度画像が作成される毎に順次更新される。したがって、酸素飽和度画像の更新により動画がモニタ18に表示されるが、酸素飽和度の数値が目まぐるしく変更することを防止するために、酸素飽和度の数値は、一定期間更新しないで表示し、更新の際に最新の酸素飽和度の数値を表示するようにすることができる。
【0078】
次に、本実施形態における酸素飽和度観察モードにおいて、酸素飽和度画像上に酸素飽和度の数値を表示する一連の流れを、
図16に沿って説明する。まず、光源部20が第1発光パターンにより白色光を発生し、発生した白色光を観察対象に照射する(S11)。イメージセンサ48は、白色光が照射された観察対象を撮像し、画像取得部54は、B1画像信号、G1画像信号、R1画像信号の分光画像を取得する(S12)。
【0079】
次に、光源部20が第2発光パターンにより第2青色光BL、緑色光G、赤色光Gの混色光である酸素飽和度用照明光を発生し、発生した第2青色光BL、緑色光G、赤色光の混色光を観察対象に照射する(S13)。イメージセンサ48は第2青色光BL、緑色光G、赤色光の混色光が照射された観察対象を撮像する。そして、画像取得部54は、B2画像信号、G2画像信号、R2画像信号の分光画像を取得する(S14)。
【0080】
続いて、酸素飽和度算出部70が、B2画像信号、G1画像信号及びR1画像信号を用いて、データ記憶部71のLUTを参照して、酸素飽和度を算出する(S15)。そして、画像作成部72が、酸素飽和度を画像化した酸素飽和度画像を生成する(S16)。生成した酸素飽和度画像は、表示制御部66がモニタ18に順次表示する(S17)。
【0081】
酸素飽和度観察モードにおいて、術者は、モニタ18に表示された酸素飽和度画像を観察する。そして、術者が酸素飽和度をより詳細に確認したい場合は、酸素飽和度画像上に酸素飽和度の数値を表示させる(S18でY)ために、内視鏡12の指示部13bを一度押下する(S19)。指示部13bの指示により、酸素飽和度画像上に酸素飽和度数値を表示するための、数値表示位置決定部による一連の処理が、自動で行われる。まず、数値表示位置決定部が、酸素飽和度の数値を表示する位置を段階的に決定する。最初に、想定関心領域に酸素飽和度の数値を表示するために、酸素飽和度画像を格子状に分割した小領域毎に、表層血管密度が予め設定した信号比用条件に合致する小領域(特異領域)が設定される(S20)。そして、特異領域の酸素飽和度の代表値を算出する(S21)。次に、特異領域以外の小領域を特定領域として設定する(S22)。そして、特定領域の酸素飽和度の代表値を算出する(S23)。酸素飽和度の数値が酸素飽和度画像上に的確に表示された画像(
図15)は、モニタ18に表示される(S24)。なお、術者が酸素飽和度の数値表示を望まない場合は(S18でN)、白色光の発光(S11)に戻り、酸素飽和度画像が更新される。
【0082】
[第2実施形態]
本実施形態では、想定関心領域を、酸素飽和度が局所的に異なる領域とする以外は、第1実施形態と同様である。酸素飽和度が局所的に異なる領域は、例えば、癌による低酸素領域が挙げられる。したがって、数値表示位置決定部73は、小領域における酸素飽和度の代表値を算出し、この代表値が酸素飽和度用条件を満たす場合に、この領域を、局所領域として、数値表示位置に決定する。数値表示位置決定部73は、小領域毎に、局所領域とするか否かを決定する。局所領域と決定された小領域には、酸素飽和度の数値を1つ表示する。
【0083】
局所領域において数値表示位置を決定するために、数値表示位置決定部73は、すべての小領域(i,j)毎に酸素飽和度の代表値SO(i,j)を算出し、酸素飽和度の代表値SO(i,j)が酸素飽和度用条件を満たす場合、局所領域と決定する。
【0084】
代表値SO(i,j)は、次のようにして決定する。すなわち、
図17に示すように、酸素飽和度画像85上の小領域(i,j)86が有するすべての画素において酸素飽和度の数値を算出し、これらの酸素飽和度の数値の平均値を算出して、小領域(i,j)における、酸素飽和度の代表値SO(i,j)とする。
【0085】
酸素飽和度用条件は、酸素飽和度の代表値が小領域周辺の酸素飽和度よりも特定値以上大きい、または、特定値以上低いこととする。したがって、代表値SO(i,j)と周囲の小領域の酸素飽和度の数値とを比較し、代表値SO(i,j)が、小領域(i,j)の周辺の領域の酸素飽和度よりも特定値以上大きい、もしくは、特定値以上低い、もしくは両方である場合に、酸素飽和度用条件を満たすため、局所領域とする。なお、ここでいう両方の特定値は、それぞれ同じであっても異なっていても良い。
【0086】
本実施形態では、小領域(i,j)の周辺の領域として、小領域(i,j)を含み、かつ、1つの小領域(i,j)より広い領域を、周辺領域として設定する。本実施形態では、1つの小領域(i,j)の特定倍を有する領域を、周辺領域として設定する。周辺領域を小領域(i,j)の何倍とするかは、場合により任意に決定できる。
図18に示すように、本実施形態では、小領域(i,j)86に対して縦5倍、横5倍である、小領域が25個分の略正方形の領域を周辺領域199とする。したがって、周辺領域199は、小領域(i,j)86を中心とした、小領域(i-2,j-2)、小領域(i+2,j-2)、小領域(i+2,j+2)、小領域(i-2,j+2)の四点を頂点とする四角形の範囲に設定する。なお、任意の小領域(i,j)86の周辺の領域が、25個分の周辺領域199に足りない場合は、隣接した領域を複製して使用する。
【0087】
特定値について、本実施形態では、小領域(i,j)の周辺領域における、酸素飽和度の代表値SO(i,j)の平均と標準偏差とから算出される値を、特定値とする。したがって、小領域(i,j)毎の酸素飽和度の代表値25個を対象として、平均及び標準偏差を算出し、代表値SO(i,j)が、上記平均と標準偏差の和以上または平均と標準偏差の差以下である場合、数値表示位置決定部73は、小領域(i,j)を数値表示位置と決定する。すべての小領域(i,j)において、酸素飽和度用条件が合致するか否かを調べる。
【0088】
図18に示すように、より具体的には、小領域(i,j)の周辺領域199に含まれる25箇所の小領域において、小領域毎に酸素飽和度の代表値SO(i,j)を算出する。算出した25個の酸素飽和度の代表値SO(i,j)を対象として、平均μと標準偏差σとを算出する。
図19に示すように、25個の酸素飽和度SO(i,j)の分布曲線100において、小領域(i,j)の酸素飽和度の代表値SO(i,j)が、平均μから標準偏差σ分以上離れている場合に、酸素飽和度用条件を満たす。なお、分布曲線100のX軸は、代表値SO(i,j)の値、Y軸は、代表値SO(i,j)の個数である。したがって、小領域(i,j)の酸素飽和度の代表値SO(i,j)が、平均μ+標準偏差σの特定値以上である場合、酸素飽和度用条件該当値101に該当するため、局所領域として、この小領域(i,j)を数値表示位置に決定する(
図19の右の斜線部分)。同様に、小領域(i,j)の酸素飽和度の代表値SO(i,j)が、平均μ-標準偏差σの特定値以下である場合も、酸素飽和度用条件該当値102に該当するため、局所領域として、この小領域(i,j)を数値表示位置に決定する(
図19の左の斜線部分)。
【0089】
局所領域において表示される酸素飽和度の数値は、本実施形態では、第1実施形態と同様に、局所領域である小領域(i,j)が含む画素すべてにおいて算出された酸素飽和度の平均値とする。
【0090】
数値表示位置決定部73は、次に、局所領域以外の領域である標準領域において、数値表示位置を決定する。すなわち、数値表示位置決定部73は、局所領域であるとして、数値表示位置に決定された小領域(i,j)以外の小領域(i,j)において、数値表示位置を決定する。本実施形態において、局所領域以外の小領域(i,j)は、
図19において、酸素飽和度の代表値SO(i、j)が、平均μから標準偏差σ分離れていない場合であり、酸素飽和度用条件非該当値103に存在する場合(μ-σ<代表値SO(i,j)<μ+σ)、酸素飽和度用条件に該当しない標準領域となる。
【0091】
したがって、本実施形態によれば、酸素飽和度用条件により、酸素飽和度の代表値が、領域周辺の酸素飽和度よりも特定値以上大きい、または、特定値以上低い領域を数値表示位置に決定するため、酸素飽和度が局所的に異なる領域を数値表示位置に決定し、酸素飽和度の数値を表示することができる。標準領域における数値表示位置の決定方法は、第1実施形態と同様である。
【0092】
表示制御部66は、第1実施形態と同様に、数値表示位置決定部73が決定した酸素飽和度の数値の数値表示位置に基づいて、酸素飽和度の数値を、酸素飽和度画像上に表示する。本実施形態において、表示制御部66が、数値表示位置決定部73が決定した酸素飽和度の数値の数値表示位置である局所領域及び特定領域、ならびに、表示のための酸素飽和度の数値に基づいて、酸素飽和度画像上に表示する。酸素飽和度の数値の例を、
図20に示す。本実施形態では、局所領域が、特異領域89であり、局所領域以外の領域が、標準領域である。酸素飽和度画像85において、特異領域89において、小領域毎に、それぞれの小領域の酸素飽和度の代表値が表示される。また、特定領域の中心の標準領域191は、小領域1個分が、実線で囲まれた場所であり、ここでは、特定領域の酸素飽和度の数値が表示される。なお、図の煩雑さをさけるため、特異領域89のうちの一つのみに、また、特定領域の中心の標準領域191のうちの一つのみに、符号を付している。また、モニタにおいては、
図21のように、小領域を示すグリッド198(
図14参照)が表示されない態様で、酸素飽和度画像上に酸素飽和度の数値を表示した画像が表示される。
【0093】
[第3実施形態]
本実施形態では、想定関心領域を、表層血管密度が高い領域であり、かつ、酸素飽和度が局所的に異なる領域とする以外は、第1実施形態または第2実施形態と同様である。したがって、第1実施形態または第2実施形態と同様に、数値表示位置決定部73は、段階的に酸素飽和度の数値の表示位置を決定する。まず、表層血管密度が高い領域であり、かつ、酸素飽和度が局所的に異なる領域において、数値表示位置を決定し(論理積特異領域)、数値表示位置と決定された以外の領域、すなわち、論理和特異領域以外の領域(標準領域)において、数値表示位置を決定する。したがって、論理積特異領域は、表層血管密度が高い領域と、酸素飽和度が局所的に異なる領域との、論理積であり、標準領域は、表層血管密度が高い領域と、酸素飽和度が局所的に異なる領域との、排他的論理和である領域である。
【0094】
数値表示位置決定部73は、第1実施形態と同様にして、すべての小領域(i,j)において、B1画像及びG1画像との異なる分光画像間の画素値の比を示す信号比の代表値を算出し、信号比が信号比用条件を満たすか否かを調べ、信号比用条件が合致する小領域(i,j)を決定する。また、第2実施形態と同様にして、すべての小領域(i,j)において、酸素飽和度の代表値が酸素飽和度用条件を満たすか否かを調べ、酸素飽和度用条件が合致する小領域(i,j)を決定する。論理積特異領域は、表層血管密度が高い領域と、酸素飽和度が局所的に異なる領域との、論理積であるので、小領域(i,j)が信号比用条件と、酸素飽和度条件との、両方に合致する場合に論理積特異領域であると決定し、この論理積特異領域を数値表示位置と決定する。
【0095】
数値表示位置決定部73は、次に、論理積特異領域以外の領域である標準領域において、数値表示位置を決定する。本実施形態では、標準領域は、表層血管密度が高い領域と、酸素飽和度が局所的に異なる領域との、排他的論理和であるので、標準領域は、1)表層血管密度が高い領域であるが、酸素飽和度が局所的に異なる領域ではない領域、2)表層血管密度が高い領域ではないが、酸素飽和度が局所的に異なる領域、または、3)表層血管密度が高い領域ではなく、かつ、酸素飽和度が局所的に異なる領域ではない領域、のうちのいずれかである。標準領域における数値表示位置の決定方法は、第1実施形態または第2実施形態と同様である。
【0096】
表示制御部66は、第1実施形態または第2実施形態と同様に、数値表示位置決定部73が決定した論理積特異領域に基づいて、酸素飽和度の数値を、酸素飽和度画像上に表示する。本実施形態において、表示制御部66が、数値表示位置決定部73が決定した論理積特異領域、及び、表示のための酸素飽和度の数値に基づいて、酸素飽和度画像上に酸素飽和度の数値を表示した例を、
図22に示す。論理積特異領域及び標準領域における酸素飽和度の数値の表示方法は、第1実施形態または第2実施形態における酸素飽和度の数値の表示方法と同様とすることができる。酸素飽和度画像85において、論理積特異領域104において、小領域毎に、それぞれの小領域の酸素飽和度の代表値が表示される。また、特定領域の中心は、標準領域191の位置の、線で囲まれた小領域の箇所であり、ここでは、特定領域の酸素飽和度の数値が表示される。なお、図の煩雑さをさけるため、論理積特異領域104のうちの一つのみに、及び、特定領域の中心の標準領域191のうちの一つのみに、符号を付している。また、モニタにおいては、
図23のように、小領域を示すグリッド198(
図14参照)が表示されない態様で、酸素飽和度画像上に酸素飽和度の数値を表示した画像が表示される。
【0097】
以上のように、内視鏡システム10を構成することにより、酸素飽和度の数値を酸素飽和度画像上に表示する際に、数値表示位置として、酸素飽和度が周囲と異なる場所を重点的に表示させるのみならず、酸素飽和度画像全体の酸素飽和度も適度に表示させることができる。これにより、酸素飽和度イメージング機能を有する内視鏡装置において、病変部と正常部の酸素飽和度の微妙な違いを評価したい場合、酸素飽和度の高低を疑似カラーで表示する場合よりも、酸素飽和度の分布の観察と具体的な数値の把握を同時に行うことができる。また、酸素飽和度が数値で表示されるため、酸素飽和度自体を詳細に把握できるとともに、周辺との差も、詳細に把握することができる。さらに、酸素飽和度の具体的な数値により症状の程度等を推測することが可能である。
【0098】
また、上記のような酸素飽和度の数値の表示は、術者がスコープのボタン押下など簡単な操作により自動で行われるため操作が煩雑となることが避けられる。すなわち、内視鏡操作者によるボタン押下など簡単な操作で、酸素飽和度画像上で、周囲と酸素飽和度値または血管構造が異なる想定関心領域に数値が重畳表示される。また、想定関心領域以外の特徴が乏しい領域においても適当な間隔で数値が表示され、酸素飽和度の分布の観察と具体的な数値の把握を同時に行うことができる。
【0099】
また、周辺と酸素飽和度が異なる特異的な領域として、表層血管密度が高い領域、または、酸素飽和度が局所的に異なる領域を選択した場合、癌等の病変を詳細に把握することが可能となる。また、酸素飽和度の数値が表示されている箇所が、注目すべき領域であることが容易に判定でき、病変の見逃しを防ぐことができる。
【0100】
上記の内視鏡システム10の作動方法は、画像取得部が、観察対象を撮像して得られる分光画像を複数取得する画像取得ステップと、酸素飽和度算出部が、複数の分光画像に基づいて、観察対象の酸素飽和度を算出する酸素飽和度算出ステップと、画像作成部が、酸素飽和度を画像化した酸素飽和度画像を作成する画像作成ステップと、数値表示位置決定部が、表示部に表示された酸素飽和度画像上に、酸素飽和度の数値を表示する数値表示位置を、分光画像もしくは酸素飽和度、または分光画像及び酸素飽和度の両方に基づいて決定する数値表示位置決定ステップと、表示制御部が、酸素飽和度の数値を、数値表示位置に基づいて酸素飽和度画像上に表示する表示制御ステップとを備える。
【0101】
上記実施形態において、制御部52、画像取得部54、画像処理部61、又は表示制御部66等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0102】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、GPUとCPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0103】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
【0104】
本発明は、下記の別形態によっても実施可能である。
内視鏡システムのプロセッサ装置において、
観察対象を撮像して得られる分光画像を複数取得し、
複数の分光画像に基づいて、観察対象の酸素飽和度を算出し、
酸素飽和度を画像化した酸素飽和度画像を作成し、
表示部に表示された酸素飽和度画像上に、酸素飽和度の数値を表示する数値表示位置を、分光画像もしくは酸素飽和度、または分光画像及び酸素飽和度の両方に基づいて決定し、
数値表示位置に基づいて、酸素飽和度の数値を表示する制御を行うプロセッサ装置。
【符号の説明】
【0105】
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替部
13b 指示部
13c ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a BS光源
20b BL光源
20c G光源
20d R光源
22 光源制御部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61 画像処理部
62 通常処理部
63 特殊処理部
66 表示制御部
70 酸素飽和度算出部
71 データ記憶部
72 画像作成部
73 数値表示位置決定部
75 100%の等値線
76 0%の等値線
77 酸化ヘモグロビンの吸光特性
78 還元ヘモグロビンの吸光特性
85 酸素飽和度画像
86 小領域
87 低酸素領域
88 血管
89 特異領域
90 表
191、193 標準領域
192、194 特定領域
195 表
196 表
198 グリッド
199 周辺領域
100 酸素飽和度代表値分布曲線
101、102 酸素飽和度用条件該当値
103 酸素飽和度用条件非該当値
104 論理積特異領域
S11~S24 ステップ