知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-15
(45)【発行日】2024-03-26
(54)【発明の名称】内視鏡用プロセッサ及び内視鏡システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20240318BHJP
【ＦＩ】
A61B1/045 616
A61B1/045 618
【請求項の数】
12
(21)【出願番号】P 2020161900
(22)【出願日】2020-09-28
(65)【公開番号】P2022054722
(43)【公開日】2022-04-07
【審査請求日】2022-09-06
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】ＨＯＹＡ株式会社
(74)【代理人】
【識別番号】110000165
【氏名又は名称】弁理士法人グローバル・アイピー東京
(72)【発明者】
【氏名】牧野 貴雄
【審査官】北島 拓馬
(56)【参考文献】
【文献】国際公開第２０２０／１８８８２５（ＷＯ，Ａ１）
【文献】国際公開第２０１９／１５９４３５（ＷＯ，Ａ１）
【文献】国際公開第２０２０／１８９２１３（ＷＯ，Ａ１）
【文献】国際公開第２０１９／１５９７７０（ＷＯ，Ａ１）
【文献】国際公開第２０２０／０６６６７０（ＷＯ，Ａ１）
【文献】国際公開第２０２０／０６６８０７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００ － １／３２
Ｇ０２Ｂ ２３／２４ －２３／２６
(57)【特許請求の範囲】
【請求項1】
体腔内の生体組織を撮像するように構成された電子内視鏡で得られた前記生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含み、前記画像処理ユニットは、
前記病変部に現れる外観の第１特徴を、前記病変部が示す第１色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記第１特徴に対応した画素評価値であって、前記第１色成分、あるいは前記病変部の形状に関する、前記第１特徴の程度を示す第１画素評価値を、前記画像から画素毎に算出するように構成された特徴量
算出部と、
前記画像における各画素の前記第１画素評価値を纏めることにより前記生体組織の前記第１特徴の第１代表評価値を算出するように構成された代表値算出部と、
前記第１代表評価値の変化に対する前記重症度の変化を示す前記第１代表評価値の影響度を、少なくとも、前記第１色成分と異なる前記画像の第２色成分の情報に基づいて調整し、あるいは、少なくとも、前記第１特徴と異なる別の第２特徴の程度を示す第２画素評価値を纏めて得られた第２代表評価値に基づいて調整することにより、少なくとも前記第１代表評価値に基づいて前記病変の重症度を算出するように構成された統合部と、を備え、
前記重症度は、少なくとも前記第１代表評価値を説明変数とする多項式に従って算出され、
前記影響度は、前記多項式の前記第１代表評価値に係る係数である、ことを特徴とする内視鏡用プロセッサ。
【請求項2】
前記多項式は、前記病変の進行の程度に関する評価結果として評価値が定まっている参照画像を用いて、前記第１画素評価値と、前記第２色成分の情報を示す値あるいは前記第２画素評価値とを説明変数とし、前記参照画像における前記評価値を前記重症度の値とし、前記重症度の値を目的変数として重回帰分析を事前に行うことで得られた前記重症度に関する回帰式である、請求項１に記載の内視鏡用プロセッサ。
【請求項3】
前記統合部は、前記第１代表評価値をＸとし、前記第２代表評価値をＹとしたとき、係数α１，β１，γ１と定数ｄ１とを用いて、前記重症度＝α１・Ｘ＋β１・Ｙ＋γ１・Ｘ・Ｙ＋ｄ１に従って計算する、請求項１または請求項２に記載の内視鏡用プロセッサ。
【請求項4】
前記統合部は、前記第１代表評価値をＸとし、前記第２色成分の情報を示す値をＺとしたとき、係数α２，β２と定数ｄ２とを用いて、前記重症度＝α２・Ｘ＋β２・Ｘ・Ｚ＋ｄ２に従って計算する、請求項１または請求項２に記載の内視鏡用プロセッサ。
【請求項5】
体腔内の生体組織を撮像するように構成された電子内視鏡で得られた前記生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含み、
前記画像処理ユニットは、
前記病変部に現れる外観の第１特徴を、前記病変部が示す第１色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記第１特徴に対応した画素評価値であって、前記第１色成分、あるいは前記病変部の形状に関する、前記第１特徴の程度を示す第１画素評価値を、前記画像から画素毎に算出するように構成された特徴量
算出部と、
前記画像における各画素の前記第１画素評価値を纏めることにより前記生体組織の前記第１特徴の第１代表評価値を算出するように構成された代表値算出部と、
前記第１代表評価値の変化に対する前記重症度の変化を示す前記第１代表評価値の影響度を、少なくとも、前記第１色成分と異なる前記画像の第２色成分の情報に基づいて調整し、あるいは、少なくとも、前記第１特徴と異なる別の第２特徴の程度を示す第２画素評価値を纏めて得られた第２代表評価値に基づいて調整することにより、少なくとも前記第１代表評価値に基づいて前記病変の重症度を算出するように構成された統合部と、を備え、
前記統合部は、前記第１代表評価値をＸとし、前記第２代表評価値をＹとしたとき、係数α １ ，β １ ，γ １ と定数ｄ １ とを用いて、前記重症度＝α １ ・Ｘ＋β １ ・Ｙ＋γ１・Ｘ・Ｙ＋ｄ １ に従って計算する、ことを特徴とする内視鏡用プロセッサ。
【請求項6】
体腔内の生体組織を撮像するように構成された電子内視鏡で得られた前記生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含み、
前記画像処理ユニットは、
前記病変部に現れる外観の第１特徴を、前記病変部が示す第１色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記第１特徴に対応した画素評価値であって、前記第１色成分、あるいは前記病変部の形状に関する、前記第１特徴の程度を示す第１画素評価値を、前記画像から画素毎に算出するように構成された特徴量
算出部と、
前記画像における各画素の前記第１画素評価値を纏めることにより前記生体組織の前記第１特徴の第１代表評価値を算出するように構成された代表値算出部と、
前記第１代表評価値の変化に対する前記重症度の変化を示す前記第１代表評価値の影響度を、少なくとも、前記第１色成分と異なる前記画像の第２色成分の情報に基づいて調整し、あるいは、少なくとも、前記第１特徴と異なる別の第２特徴の程度を示す第２画素評価値を纏めて得られた第２代表評価値に基づいて調整することにより、少なくとも前記第１代表評価値に基づいて前記病変の重症度を算出するように構成された統合部と、を備え、
前記統合部は、前記第１代表評価値をＸとし、前記第２色成分の情報を示す値をＺとしたとき、係数α ２ ，β ２ と定数ｄ ２ とを用いて、前記重症度＝α ２ ・Ｘ＋β ２ ・Ｘ・Ｚ＋ｄ ２ に従って計算する、ことを特徴とする内視鏡用プロセッサ。
【請求項7】
前記第１代表評価値の影響度は、前記第２代表評価値あるいは前記第２色成分の情報の他に、前記第１特徴及び前記第２特徴と異なる別の第３特徴の程度を示す第３画素評価値を纏めて得られた第３代表評価値を少なくとも用いて調整する、請求項１～６のいずれか１項に記載の内視鏡用プロセッサ。
【請求項8】
前記第１特徴及び前記第２特徴のそれぞれは、前記生体組織の炎症部が呈する色成分の程度、前記生体組織の筋状に延びる血管を示す血管領域が呈する色成分の程度、及び、前記生体組織の潰瘍部が呈する色成分の程度のいずれか１つである、請求項１～７のいずれか１項に記載の内視鏡用プロセッサ。
【請求項9】
前記第１代表評価値は、前記生体組織の前記病変部の前記画像における前記第１画素評価値のヒストグラムで頻度が１以上のビンの合計ビン数である、請求項１～８のいずれか１項に記載の内視鏡用プロセッサ。
【請求項10】
前記第１代表評価値は、前記生体組織の炎症部分が呈する色成分の程度を示す値である、請求項９に記載の内視鏡用プロセッサ。
【請求項11】
前記第２色成分の情報は、外部から前記体腔内に導入されて前記生体組織上にある残渣が呈する色成分に関する特徴量である、請求項１～１０のいずれか１項に記載の内視鏡用プロセッサ。
【請求項12】
体腔内の生体組織を撮像するように構成された電子内視鏡と、前記電子内視鏡に接続される、請求項１～１１のいずれか１項に記載の内視鏡用プロセッサと、を備える内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、体腔内の生体組織の画像を画像処理する内視鏡用プロセッサ及び内視鏡システムに関する。
【背景技術】
【0002】
生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎の病変の潰瘍部では、白苔や膿様粘液を含み白色になり、また、炎症部では、浮腫部や易出血性部を含んで赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。
【0003】
しかし、術者が内視鏡の画像内に含まれる色の相違によって健常部と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、病変部における病変の進行の程度を客観的に数値化した評価結果を提供することが好ましい。
【0004】
これに対して、生体組織の病変部における病変の進行の程度を精度よく評価することができる内視鏡システムが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第２０１９／１５９７７０号
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記内視鏡システムは、体腔内の生体組織を撮像して得られる生体組織の画像から、生体組織の病変の進行の程度を数値化した病変の重症度を求める画像処理ユニットを含む。この画像処理ユニットは、特徴量算出部と、代表値算出部と、統合部と、を備える。
特徴量算出部は、複数の外観の特徴のそれぞれを、病変部が示す色成分あるいは形状により生体組織の健常部の特徴と区別できる、前記複数の外観の特徴に対応した複数の画素評価値であって、病変部が示す色成分、あるいは色成分及び形状に関する、複数の特徴それぞれの程度を示す複数の画素評価値を画素毎に算出する。
代表算出部は、算出した画素評価値のそれぞれを、複数の特徴毎に統合することにより撮像した生体組織の前記複数の特徴それぞれに対応した代表評価値を算出する。
統合部は、算出した代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を病変の重症度として算出する。
これにより、生体組織の病変部における病変の進行の程度を精度よく評価することができる。
特徴量算出部は、複数の外観の特徴のそれぞれを、病変部が示す色成分あるいは形状により生体組織の健常部の特徴と区別できる、前記複数の外観の特徴に対応した複数の画素評価値であって、病変部が示す色成分、あるいは色成分及び形状に関する、複数の特徴それぞれの程度を示す複数の画素評価値を画素毎に算出する。
代表算出部は、算出した画素評価値のそれぞれを、複数の特徴毎に統合することにより撮像した生体組織の前記複数の特徴それぞれに対応した代表評価値を算出する。
統合部は、算出した代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を病変の重症度として算出する。
これにより、生体組織の病変部における病変の進行の程度を精度よく評価することができる。
【0007】
上記内視鏡システムの統合部で行われる、少なくとも２つの代表評価値を用いた演算は、少なくとも２つの代表評価値に重み係数を乗算した積を加減算する処理であり、また、演算では、特定の代表評価値が所定の閾値を超えるか否かによって演算の種類を変える。しかし、特定の代表評価値が所定の閾値を超えるか否かによって演算の種類を変える場合、対象とする病変の種類が変わると、上記閾値は変化するので、上記閾値を病変の種類によって種々揃えておくことは、システムが煩雑になることから好ましくない。また、代表評価値が上記閾値付近で変動するような場合、演算結果である重症度も不安定に大きく変動し易い。このため、従来用いていた上記閾値のようなパラメータを用いずに病変部における病変の進行の程度を精度よく評価することが好ましい。
また、生体組織の病変部における病変の進行の程度を従来に比べて安定して精度よく評価するためには、各画素の画素評価値を１つに纏めた代表評価値は、安定して適切に表すことができることが好ましい。
また、生体組織の病変部における病変の進行の程度を従来に比べて安定して精度よく評価するためには、各画素の画素評価値を１つに纏めた代表評価値は、安定して適切に表すことができることが好ましい。
【0008】
そこで、本発明は、従来に比べて、生体組織の病変部における病変の進行の程度を精度よく評価することができる内視鏡用プロセッサ及び内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一実施形態は、内視鏡用プロセッサである。当該内視鏡用プロセッサは、体腔内の生体組織を撮像するように構成された電子内視鏡で得られた前記生体組織の病変部の画像から、前記画像の情報を少なくとも用いて、前記生体組織の病変の進行の程度を１つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含む。
前記画像処理ユニットは、
前記病変部に現れる外観の第１特徴を、前記病変部が示す第１色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記第１特徴に対応した画素評価値であって、前記第１色成分、あるいは前記病変部の形状に関する、前記第１特徴の程度を示す第１画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
前記画像における各画素の前記第１画素評価値を纏めることにより前記生体組織の前記第１特徴の第１代表評価値を算出するように構成された代表値算出部と、
前記第１代表評価値の変化に対する前記重症度の変化を示す前記第１代表評価値の影響度を、前記第１色成分と異なる前記画像の第２色成分の情報に基づいて調整し、あるいは、前記第１特徴と異なる別の第２特徴の程度を示す第２画素評価値を纏めて得られた第２代表評価値に基づいて調整することにより、少なくとも前記第１代表評価値に基づいて前記病変の重症度を算出するように構成された統合部と、を備える。
前記画像処理ユニットは、
前記病変部に現れる外観の第１特徴を、前記病変部が示す第１色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記第１特徴に対応した画素評価値であって、前記第１色成分、あるいは前記病変部の形状に関する、前記第１特徴の程度を示す第１画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
前記画像における各画素の前記第１画素評価値を纏めることにより前記生体組織の前記第１特徴の第１代表評価値を算出するように構成された代表値算出部と、
前記第１代表評価値の変化に対する前記重症度の変化を示す前記第１代表評価値の影響度を、前記第１色成分と異なる前記画像の第２色成分の情報に基づいて調整し、あるいは、前記第１特徴と異なる別の第２特徴の程度を示す第２画素評価値を纏めて得られた第２代表評価値に基づいて調整することにより、少なくとも前記第１代表評価値に基づいて前記病変の重症度を算出するように構成された統合部と、を備える。
【0010】
前記重症度は、少なくとも前記第１代表評価値を説明変数とする多項式に従って算出され、
前記影響度は、前記多項式の前記第１代表評価値に係る係数である、ことが好ましい。
前記影響度は、前記多項式の前記第１代表評価値に係る係数である、ことが好ましい。
【0011】
前記多項式は、前記病変の進行の程度に関する評価結果として評価値が定まっている参照画像を用いて、前記第１画素評価値と、前記第２色成分の情報を示す値あるいは前記第２画素評価値とを説明変数とし、前記参照画像における前記評価値を前記重症度の値とし、前記重症度の値を目的変数として重回帰分析を事前に行うことで得られた前記重症度に関する回帰式である、ことが好ましい。
【0012】
前記統合部は、前記第１代表評価値をＸとし、前記第２代表評価値をＹとしたとき、係数α１，β１，γ１と定数ｄ１とを用いて、前記重症度＝α１・Ｘ＋β１・Ｙ＋γ１・Ｘ・Ｙ＋ｄ１に従って計算する、ことが好ましい。
【0013】
前記統合部は、前記第１代表評価値をＸとし、前記第２色成分の情報を示す値をＺとしたとき、係数α２，β２と定数ｄ２とを用いて、前記重症度＝α２・Ｘ＋β２・Ｘ・Ｚ＋ｄ２に従って計算する、ことが好ましい。
【0014】
前記第１代表評価値の影響度は、前記第２代表評価値あるいは前記第２色成分の情報の他に、前記第１特徴及び前記第２特徴と異なる別の第３特徴の程度を示す第３画素評価値を纏めて得られた第３代表評価値を少なくとも用いて調整する、ことが好ましい。
【0015】
前記第１特徴及び前記第２特徴のそれぞれは、前記生体組織の炎症部が呈する色成分の程度、前記生体組織の筋状に延びる血管を示す血管領域が呈する色成分の程度、及び、前記生体組織の潰瘍部が呈する色成分の程度のいずれか１つである、ことが好ましい。
【0016】
前記第１代表評価値は、前記生体組織の前記病変部の前記画像における前記第１画素評価値のヒストグラムで頻度が１以上のビンの合計ビン数である、ことが好ましい。
【0017】
前記第１代表評価値は、前記生体組織の炎症部分が呈する色成分の程度を示す値である、ことが好ましい。
【0018】
前記第２色成分の情報は、外部から前記体腔内に導入されて前記生体組織上にある残渣が呈する色成分に関する特徴量である、ことが好ましい。
【0019】
本発明の他の一態様は、体腔内の生体組織を撮像するように構成された電子内視鏡と、前記電子内視鏡に接続される、前記内視鏡用プロセッサと、を備える内視鏡システムである。
【発明の効果】
【0020】
上述の内視鏡システムによれば、生体組織の病変部における病変の進行の程度を、従来に比べて精度よく評価することができる。
【図面の簡単な説明】
【0021】
【図1】一実施形態の内視鏡システムで行う処理の一例を説明する図である。
【図2】一実施形態の内視鏡システムの構成を示すブロック図である。
【図3】一実施形態の内視鏡用プロセッサ内の重症度の計算を行う画像処理ユニットの構成を説明する図である。
【図4】一実施形態の内視鏡用プロセッサで用いる色空間内における基準軸の例を説明する図である。
【図5】一実施形態の内視鏡用プロセッサで用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。
【図6】（ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
【図7】一実施形態の内視鏡用プロセッサで行う血管領域の抽出方法の一例を説明する図である。
【図8】一実施形態の内視鏡用プロセッサで用いるテンプレートを空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。
【図9】一実施形態の内視鏡用プロセッサで用いる代表評価値の一例を説明する図である。
【図10】一実施形態の内視鏡用プロセッサで用いる生体組織赤色度の代表値の影響度の一例を示す図である。
【図11】一実施形態の内視鏡用プロセッサで行われる重症度の計算方法のフローの一例を示す図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施形態の内視鏡用プロセッサ及び内視鏡システムについて図面を参照しながら説明する前に、まず、一実施形態の内視鏡システムの概念を説明する。
【0023】
（内視鏡システムにおける重症度の計算）
生体組織における病変部は、病変の進行の程度によって、炎症から潰瘍まで種々存在する。例えば、従来の内視鏡システムは、病変部に現れる複数の外観の特徴のそれぞれを、病変部が示す色成分、あるいは病変部の形状により生体組織の健常部の特徴と区別できる、複数の外観の特徴に対応した複数の画素評価値を、生体組織の画像から画素毎に算出する。さらに、従来の内視鏡システムは、算出した各画素の画素評価値を複数の外観の特徴毎に統合することにより複数の代表評価値を算出し、算出した複数の代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を病変の重症度の値とする。上記演算は、事前に重症度と複数の代表評価値との間の関係を表した式に従って行われる。しかし、この式では、ある１つの代表評価値の重症度に対する影響度、すなわち、代表評価値の変化に対する重症度の変化は一定であるため、実際の病変の進行の程度の評価結果との乖離がある場合があった。また、代表評価値の重症度に対する影響度を変化させるために、従来、代表評価値の１つの閾値に対する高低に応じて、重症度を計算する計算式を変更させる場合もあった。
生体組織における病変部は、病変の進行の程度によって、炎症から潰瘍まで種々存在する。例えば、従来の内視鏡システムは、病変部に現れる複数の外観の特徴のそれぞれを、病変部が示す色成分、あるいは病変部の形状により生体組織の健常部の特徴と区別できる、複数の外観の特徴に対応した複数の画素評価値を、生体組織の画像から画素毎に算出する。さらに、従来の内視鏡システムは、算出した各画素の画素評価値を複数の外観の特徴毎に統合することにより複数の代表評価値を算出し、算出した複数の代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を病変の重症度の値とする。上記演算は、事前に重症度と複数の代表評価値との間の関係を表した式に従って行われる。しかし、この式では、ある１つの代表評価値の重症度に対する影響度、すなわち、代表評価値の変化に対する重症度の変化は一定であるため、実際の病変の進行の程度の評価結果との乖離がある場合があった。また、代表評価値の重症度に対する影響度を変化させるために、従来、代表評価値の１つの閾値に対する高低に応じて、重症度を計算する計算式を変更させる場合もあった。
【0024】
これに対して、本発明の一実施形態の内視鏡システムでは、複数の代表評価値から病変の重症度を算出する際、複数の代表評価値の１つである第１代表評価値の影響度を調整することにより、少なくとも第１代表評価値に基づいて病変の重症度を算出する。影響度の調整は、第１代表評価値の算出の際に注目する画像の第１色成分と異なる画像の第２色成分の情報に基づいて行われ、あるいは、少なくとも、第１特徴と異なる別の第２特徴の程度を示す第２代表評価値に基づいて行われる。なお、影響度の調整は、第２代表評価値に基づいて行われることに限定されず、第１特徴及び第２特徴と異なる別の第３，第４特徴等の特徴の程度を示す第３代表評価値、第４代表評価値等に基づいて行われてもよい。
【0025】
外観の特徴は、病変部が示す特定の色成分の程度を含む。例えば、炎症部が呈する赤色の程度である。この場合、この特徴の程度を数値化した画素毎の画素評価値は、例えば、赤色の程度を数値化した生体組織赤色度である。また、別の外観の特徴は、撮像した生体組織のうち、特定の形状をした部分に含まれる色成分の程度である。この場合の特徴の程度を数値化した画素毎の画素評価値は、例えば、病変部及びその周囲において、筋状に延在する血管領域に含まれる赤色の程度を数値化し血管赤色度である。また、別の外観の特徴は、潰瘍部が呈する特定の色成分、たとえば白色の程度である。
外観の特徴は、形状に関するものも含み、例えば、病変部の表面凹凸の形状の程度や表面塑造等の所定の形状の程度であってもよい。
外観の特徴は、形状に関するものも含み、例えば、病変部の表面凹凸の形状の程度や表面塑造等の所定の形状の程度であってもよい。
【0026】
図１は、一実施形態の内視鏡システムで行う処理の一例を説明する図である。図１に示す例では、複数の代表評価値として、生体組織の炎症の程度を示す生体組織赤色度の代表値、血管領域における赤色の程度を示す血管赤色度の代表値、及び潰瘍の程度を示す生体組織白色度の代表値が少なくとも含まれる。これらの代表評価値の算出方法については後述する。
一方、事前処理として、予め病変の進行の程度（重症度）の評価結果が定まっている参照画像が複数用意され、これらの参照画像それぞれにおいて上記複数の代表評価値が事前に算出される。これらの３つの代表評価値を含む複数の代表評価値を組み合わせて予測される重症度が、各参照画像において定まっている病変の進行の程度（重症度）の評価結果に最も相関して対応するように、複数の代表評価値を用いて予測式を算出する。この予測式が、内視鏡システムにおける重症度の計算の前に抽出され設定される。なお、病変の進行の程度（重症度）の評価結果は、例えば、医師による主観評価結果（例えば、MAYO endoscopic subscore）、組織学的な評価結果、あるいは病理学的な診断スコア(Geboes score，ＲＨＩ（反応性充血指数）)である。例えば、ＲＨＩ（反応性充血指数）では、０～３３の３４段階の値で評価される。
一方、事前処理として、予め病変の進行の程度（重症度）の評価結果が定まっている参照画像が複数用意され、これらの参照画像それぞれにおいて上記複数の代表評価値が事前に算出される。これらの３つの代表評価値を含む複数の代表評価値を組み合わせて予測される重症度が、各参照画像において定まっている病変の進行の程度（重症度）の評価結果に最も相関して対応するように、複数の代表評価値を用いて予測式を算出する。この予測式が、内視鏡システムにおける重症度の計算の前に抽出され設定される。なお、病変の進行の程度（重症度）の評価結果は、例えば、医師による主観評価結果（例えば、MAYO endoscopic subscore）、組織学的な評価結果、あるいは病理学的な診断スコア(Geboes score，ＲＨＩ（反応性充血指数）)である。例えば、ＲＨＩ（反応性充血指数）では、０～３３の３４段階の値で評価される。
【0027】
次に、生体組織を、電子内視鏡で撮像することにより画像から得られた、生体組織赤色度の代表値、血管赤色度の代表値、及び生体組織白色度の代表値を含む複数の代表評価値を算出し、算出した複数の代表評価値から予測式を用いて重症度を算出する。
このとき、予測式では、複数の代表評価値の１つである第１代表評価値の重症度に対する影響度が調整される。影響度の調整は、第１代表評価値の算出の際に注目する画像の第１色成分と異なる画像の第２色成分の情報に基づいて行われ、あるいは、少なくとも、第１特徴と異なる別の第２特徴の程度を示す第２代表評価値に基づいて行われる。
このとき、予測式では、複数の代表評価値の１つである第１代表評価値の重症度に対する影響度が調整される。影響度の調整は、第１代表評価値の算出の際に注目する画像の第１色成分と異なる画像の第２色成分の情報に基づいて行われ、あるいは、少なくとも、第１特徴と異なる別の第２特徴の程度を示す第２代表評価値に基づいて行われる。
【0028】
例えば、炎症の程度を示す生体組織赤色度の代表値の重症度に対する影響度を、血管赤色度の代表値に基づいて調整する。あるいは、生体組織赤色度の代表値の影響度を、青色の色成分の情報に基づいて調整する。予測式が第１代表評価値及び第２代表評価値を少なくとも用いる多項式で表される場合、多項式は、例えば、第１代表評価値及び第２代表評価値のそれぞれに係る係数を掛けて加減算した項に加え、第１代表評価値と第２代表評価値の積にこの積に係る係数を掛けた項を含む。したがって、この場合、第１代表評価値が重症度に与える影響度は、第１代表評価値に掛けた係数の他に、第１代表評価値と第２代表評価値の積に係る係数と第２代表評価値との積も少なくとも加わる。したがって、第１代表評価値が重症度に与える影響度は、少なくとも第２代表評価値に基づいて調整される。
第２色成分の情報は、例えば、外部から体腔内に導入されて生体組織上にある残渣が呈する色成分に関する特徴量である。
第２色成分の情報は、例えば、外部から体腔内に導入されて生体組織上にある残渣が呈する色成分に関する特徴量である。
【0029】
このように第１代表評価値の重症度に対する影響度が、第２色成分の情報に基づいて、あるいは、第２特徴の程度を示す第２代表評価値に基づいて調整されるので、辞意際の病変の進行の程度（重症度）からの乖離を小さくすることができる。これにより、生体組織の病変部における病変の進行の程度を、従来に比べて精度よく評価することができる。
【0030】
図２は、本発明の一実施形態の電子内視鏡システム１の構成を示すブロック図である。図２に示されるように、電子内視鏡システム１は、電子内視鏡１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。
【0031】
電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。
【0032】
電子内視鏡用プロセッサ２００は、電子内視鏡１００に照明光を供給する光源部２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子内視鏡１００の光ファイバの束であるＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子内視鏡１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する病変に関する評価値の精度を向上させることができる。
あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子内視鏡１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する病変に関する評価値の精度を向上させることができる。
【0033】
なお、図２に示す例では、光源部２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として電子内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子内視鏡１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。
光源部２３０が射出する照明光は、白色光に限らず、所定の狭い波長帯域を波長帯域とする狭帯域光等の特殊光であってもよい。
光源部２３０が射出する照明光は、白色光に限らず、所定の狭い波長帯域を波長帯域とする狭帯域光等の特殊光であってもよい。
【0034】
入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子内視鏡１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。
【0035】
固体撮像素子１０８は、例えば、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変の評価を行う数値化処理における、画像の明るさによる病変部の病変の重症度の変動を抑えることができるという有利な効果は、ＣＭＯＳイメージセンサを用いる場合においてより顕著である。このように、電子内視鏡１００は、固体撮像素子１０８を用いて、体腔内の生体組織を撮像する。
【0036】
電子内視鏡１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子内視鏡１００の固有情報を読み出す。メモリ１１４に記録される電子内視鏡１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。
【0037】
システムコントローラ２０２は、電子内視鏡１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子内視鏡１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。
【0038】
タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【0039】
画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。さらに、画像処理ユニット２２０は、電子内視鏡１００で得られた生体組織の病変部の画像から、生体組織の病変の進行の程度を画像の色成分や形状の情報を用いて数値化した病変の重症度を求める。また、画像処理ユニット２２０は、重症度を求めるための数値化処理を行う際に得られる生体組織赤色度や血管赤色度等に基づいて色を置換したカラーマップ画像を生成する。画像処理ユニット２２０は、重症度の情報及びカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された画像を通じて注目する生体組織の病変の重症度を受けることができる。画像処理ユニット２２０は、必要に応じてプリンタ４００にカラーマップ画像及び重症度の情報を出力する。
【0040】
電子内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、電子内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、画像解析結果、術者所見等）をサーバ６００にアップロードすることにより、内視鏡検査結果をサーバ６００に保存させることができる。
【0041】
図３は、生体組織の病変の重症度を計算するために、病変の特徴の程度を数値化する数値化処理を行う画像処理ユニット２２０の構成を説明する図である。
画像処理ユニット２２０は、電子内視鏡１００で得られた生体組織の画像から、生体組織の病変の進行の程度を数値化することにより求める病変の重症度を求める部分である。画像処理ユニット２２０は、前処理部２２０ａ、特徴量算出部２２０ｂ、代表値算出部２２０ｃ、及び統合部２２０ｄを備える。
特徴量算出部２２０ｂは、一実施形態として、複数の代表評価値は、第１代表評価値と第２代表評価値であり、第１代表評価値を算出するための第１画素評価値として、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を計算し、第２代表評価値を算出するための第２画素評価値として、生体組織上の筋状に延在する血管領域の赤色を数値化した血管赤色度を計算する。以下、生体組織赤色度及び血管赤色度を計算する形態を説明する。
画像処理ユニット２２０は、電子内視鏡１００で得られた生体組織の画像から、生体組織の病変の進行の程度を数値化することにより求める病変の重症度を求める部分である。画像処理ユニット２２０は、前処理部２２０ａ、特徴量算出部２２０ｂ、代表値算出部２２０ｃ、及び統合部２２０ｄを備える。
特徴量算出部２２０ｂは、一実施形態として、複数の代表評価値は、第１代表評価値と第２代表評価値であり、第１代表評価値を算出するための第１画素評価値として、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を計算し、第２代表評価値を算出するための第２画素評価値として、生体組織上の筋状に延在する血管領域の赤色を数値化した血管赤色度を計算する。以下、生体組織赤色度及び血管赤色度を計算する形態を説明する。
【0042】
前処理部２２０ａは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部２２０ａは、一例として図示されるように、ＲＧＢ変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部２２０ａは、ドライバ信号処理回路１１２より入力した画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を所定のマトリックス係数を用いて画像色成分（Ｒ、Ｇ、Ｂ）に変換する。
前処理部２２０ａは、さらに、画像色成分に変換された画像データをＲＧ平面に正射影する色空間変換を行う。具体的には、ＲＧＢ３原色で定義されるＲＧＢ色空間の各画素の画像色成分がＲＧの画像色成分に変換される。概念的には、ＲＧＢ色空間の各画素の画像色成分が、Ｒ、Ｇ成分の画素値に応じてＲＧ平面内（例えば、Ｒ成分の画素値＝０～２５５、Ｇ成分の画素値＝０～２５５の値を取るＲＧ平面内の区画）にプロットされる。以下、説明の便宜上、ＲＧＢ色空間の各画素の画像色成分の点及びＲＧ色空間内にプロットされた画像色成分の点を「画素対応点」と記す。ＲＧＢ色空間のＲＧＢそれぞれの画像色成分は、順番に、例えば、波長６２０～７５０ｎｍ、波長４９５～５７０ｎｍ、及び波長４５０～４９５ｎｍの色成分である。なお、色成分は、色空間（色平面も含む。）を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部２２０ａは、生体組織赤色度及び血管赤色度を評価するために必要なＲＧ平面内の基準軸が設定される。
前処理部２２０ａは、ドライバ信号処理回路１１２より入力した画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を所定のマトリックス係数を用いて画像色成分（Ｒ、Ｇ、Ｂ）に変換する。
前処理部２２０ａは、さらに、画像色成分に変換された画像データをＲＧ平面に正射影する色空間変換を行う。具体的には、ＲＧＢ３原色で定義されるＲＧＢ色空間の各画素の画像色成分がＲＧの画像色成分に変換される。概念的には、ＲＧＢ色空間の各画素の画像色成分が、Ｒ、Ｇ成分の画素値に応じてＲＧ平面内（例えば、Ｒ成分の画素値＝０～２５５、Ｇ成分の画素値＝０～２５５の値を取るＲＧ平面内の区画）にプロットされる。以下、説明の便宜上、ＲＧＢ色空間の各画素の画像色成分の点及びＲＧ色空間内にプロットされた画像色成分の点を「画素対応点」と記す。ＲＧＢ色空間のＲＧＢそれぞれの画像色成分は、順番に、例えば、波長６２０～７５０ｎｍ、波長４９５～５７０ｎｍ、及び波長４５０～４９５ｎｍの色成分である。なお、色成分は、色空間（色平面も含む。）を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部２２０ａは、生体組織赤色度及び血管赤色度を評価するために必要なＲＧ平面内の基準軸が設定される。
【0043】
被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的である。病変部の病変の進行の程度が低く、病変部が炎症部である場合、炎症が強いほど赤色（Ｒ成分）が他の色（Ｇ成分及びＢ成分）に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件（例えば照明光の当たり具合）に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒（無彩色であり、例えば、Ｒ、Ｇ、Ｂの画像色成分の値がゼロ又はゼロに近い値）となり、照明光が強く当たって正反射する部分は白（無彩色であり、例えば、Ｒ、Ｇ、Ｂの画像色成分の値が８ビット階調の場合、２５５又は２５５に近い値）となる。すなわち、炎症が起こっている同じ炎症部を撮像した場合であっても、照明光が強く当たるほどその炎症部の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。
【0044】
一般に、炎症が起こっていない体腔内の健常部は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色（黄色）が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。
【0045】
そこで、図４に示されるように、ＲＧ色空間内において、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸ＡＸ１」と記し、後者の基準軸を「粘膜変化軸ＡＸ２」と記す。図４は、一実施形態で用いる色空間内における基準軸の例を説明する図である。
【0046】
図４に示されるプロットは、体腔内の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例（最も重症なレベルの炎症画像例）や、炎症の程度の最も低い炎症画像例（実質的に健常部であるとみなされる画像例）など、各段階の炎症画像例が含まれる。なお、図４に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図４に示されるプロットの数よりも遥かに多い。
【0047】
上述したように、炎症が強い部分ほど画像の色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｇ軸よりもＲ軸に近い方の境界線上の軸、図４に示す例では、（５０，０）及び（２５５，７６）を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸ＡＸ１である。ヘモグロビン変化軸ＡＸ１には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部に対応するプロットが重畳される。したがって、ヘモグロビン変化軸ＡＸ１は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。
【0048】
一方、健常部に近いほど画像の色成分のうちＧ成分（又はＢ成分）がＲ成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｒ軸よりもＧ軸に近い方の境界線上の軸、図４に示す例では、（０，０）及び（２５５，１９２）を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸ＡＸ２である。粘膜変化軸ＡＸ２には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸ＡＸ２は、炎症の程度が低くなるほど（健常部に近いほど）プロットされる画素対応点が収束する軸である。
【0049】
補足すると、病変部の病変の進行の程度の最も高い部分は、出血を伴う。一方、病変の進行の程度の最も低い部分は、実質正常な健常部であるから、十分な粘膜で覆われている。そのため、図４に示されるＲＧ色空間内のプロットは、血液（ヘモグロビン色素）の色と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、Ｒ軸に近い（Ｒ成分が強い）方の境界線が、炎症の程度の最も高い炎症部を示す軸（ヘモグロビン変化軸ＡＸ１）に相当し、Ｇ軸に近い（Ｇ成分が強い）方の境界線が、炎症の程度の最も低い炎症部を示す軸（粘膜変化軸ＡＸ２）に相当する。
【0050】
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図４に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
図４に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
【0051】
前処理部２２０ａは、炎症評価値の算出の前に、ＲＧ色空間で表された画像の色成分に対して色補正を行う。図示されないメモリには、補正マトリックス係数が保存されている。同一の炎症部にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように（言い換えると、電子内視鏡の個体間誤差を抑えるために）、前処理部２２０ａは、各画素のＲＧ色空間内の画素対応点である画素データ（Ｒ，Ｇ）を、補正マトリックス係数を用いて下記式に示すように補正する。
【0052】
Ｇnew ：補正後の画素データ（Ｇ成分）
Ｍ00～Ｍ11：補正マトリックス係数
Ｒ ：補正前の画素データ（Ｒ成分）
Ｇ ：補正前の画素データ（Ｇ成分）
【0053】
特徴量算出部２２０ｂは、画素の中から一つの注目画素を選択し、選択した注目画素について、生体組織赤色度を、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。図５は、一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、特徴量算出部２２０ｂは、図５に示すように、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点を基準点Ｏ’とし、基準点Ｏ’と注目画素の画素対応点Ｐとを結ぶ線分Ｌの向きが、基準軸ＡＸ１に対してずれるずれ角度θを算出する。なお、基準点Ｏ’は座標（－１５０，－７５）に位置する。基準点Ｏ’を座標（－１５０，－７５）にする例に挙げたが、これに限定されるものではない。上記基準点Ｏ’は、適宜変更可能であり、例えば、ＲＧ色空間のＲ軸とＧ軸の交点であってもよい。
【0054】
基準点Ｏ’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点Ｏ’は、暗部（輝度が所定値未満）での評価結果と非暗部（輝度が所定値以上）での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。
【0055】
また、例えば、基準点Ｏ’を座標（－１０，－１０）から（１０，１０）の間に設定すると、座標（－１５０，－７５）等を基準点Ｏ’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点Ｏ’を座標（－５０，－５０）から（－２００，－２００）の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
他方、基準点Ｏ’を座標（－５０，－５０）から（－２００，－２００）の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
【0056】
体腔内の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、ＲＧ色空間内において、概ね、重症度の最も高い炎症部ではヘモグロビン変化軸ＡＸ１上に沿って変化し、炎症の程度が最も低い炎症部では粘膜変化軸ＡＸ２上に沿って変化する。また、炎症の程度が中間程度である炎症部の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点Ｏ’を起点とした方位角方向にシフトする。言い換えると、炎症部に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸ＡＸ２に対するずれ角度θが一定のまま移動して基準点Ｏ’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
【0057】
ずれ角度θが小さいほどＲ成分がＧ成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどＧ成分がＲ成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、特徴量算出部２２０ｂは、ずれ角度θがゼロであるときに値２５５となり、ずれ角度θがθＭＡＸであるときに値ゼロとなるように、角度θを正規化する。なお、θＭＡＸは、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２とがなす角度と等しい。すなわち、評価値算出部２２０ｂは、各注目画素について、各注目画素の色成分の情報に基づいて赤色の程度を数値化する数値化処理を行うことにより、０～２５５の範囲に収まる生体組織赤色度（第１画素評価値）を求める。
なお、注目画素は、画像の全画素について１つずつ選択される。
なお、図５に示す例では、色空間としてＲＧ色空間を用いるが、ＲＧ色空間に代えてＲＢ色空間を用いることもできる。
なお、注目画素は、画像の全画素について１つずつ選択される。
なお、図５に示す例では、色空間としてＲＧ色空間を用いるが、ＲＧ色空間に代えてＲＢ色空間を用いることもできる。
【0058】
特徴量算出部２２０ｂは、ずれ角度θに基づいて生体組織赤色度を第１画素評価値として算出するが、場合によっては、生体組織の潰瘍の特徴の程度を示す後述する生体組織白色度（第３画素評価値）を算出する。例えば、生体組織の画像の各画素の各色成分の画素値に対して、線形なゲイン（利得）を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば、潰瘍性大腸炎の白苔や膿様粘液を含む潰瘍部は白色を示し、浮腫や易出血性を含む赤色を示す炎症部や黄色あるいは緑色を示す正常部と色成分によって区別することができる。生体組織白色度は、図５に示すような２つの色成分（Ｒ成分、Ｇ成分、Ｂ成分のうち２つ）あるいは３つの色成分（Ｒ成分、Ｇ成分、Ｂ成分）の座標軸とする色空間上に表した、ヘモグロビン変化軸ＡＸ１とは異なる基準軸に対するずれ角度を用いて計算することができる。なお、トーン強調処理は、前処理部２２０ａが行う。
【0059】
特徴量算出部２２０ｂは、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像を表示可能とするため、画素評価値と所定の表示色とを対応付けたテーブルが図示されないメモリ等の記憶領域に記憶されている。このテーブルでは、例えば、値５刻みで異なる表示色が対応付けられている。例示的には、画素評価値が０～５の範囲では青色が対応付けられており、該画素評価値が５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が２５０～２５５の範囲では赤色が対応付けられている。表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。特徴量算出部２２０ｂは、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルを参照して、注目画素の生体組織赤色度に応じて決定する。
こうして、特徴量算出部２２０ｂは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
こうして、特徴量算出部２２０ｂは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
【0060】
特徴量算出部２２０ｂは、さらに、生体組織を撮像して得られる画像中の生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて判定し、必要に応じて、求めた確からしさにより、血管領域を抽出する。
図６（ａ）に示すように、生体組織を撮像した画像には、病変部Ｘの近傍には、粘膜を通して透けて見える筋状の血管領域Ｙの像も含まれる。このような画像に対して上述の生体組織赤色度に応じて色分けした、図６（ｂ）に示すカラーマップ画像においても、血管領域Ｙは炎症部と同じ色で表示される場合がある。図６（ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
特徴量算出部２２０ｂは、血管領域Ｙの確からしさを求め、確からしさに基づいて血管領域Ｙを抽出する。
図６（ａ）に示すように、生体組織を撮像した画像には、病変部Ｘの近傍には、粘膜を通して透けて見える筋状の血管領域Ｙの像も含まれる。このような画像に対して上述の生体組織赤色度に応じて色分けした、図６（ｂ）に示すカラーマップ画像においても、血管領域Ｙは炎症部と同じ色で表示される場合がある。図６（ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
特徴量算出部２２０ｂは、血管領域Ｙの確からしさを求め、確からしさに基づいて血管領域Ｙを抽出する。
【0061】
図７は、一実施形態における血管領域Ｙを抽出する方法の一例を説明する図である。
特徴量算出部２２０ｂは、生体組織の画像の一部の検査対象エリアＡＲの形状と複数のテンプレートＴＰ１～ＴＰ４の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートＴＰ１～ＴＰ４それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアＡＲにおける血管領域Ｙの確からしさとする。テンプレートＴＰ１～ＴＰ４は、画素で構成され、テンプレートＴＰ１～ＴＰ４は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートＴＰ１～ＴＰ４は、それぞれの直線形状に合わせて各画素は画素値を有する。図７に示すように、画像の端から矢印に沿って順番に検査対象エリアＡＲをオーバーラップさせながら移動させることにより、検査対象エリアＡＲ内の画像の画素評価値とテンプレートＴＰ１～ＴＰ４それぞれの対応する画素の値との相関度を求める。一実施形態によれば、テンプレートＴＰ１～ＴＰ４は、血管を特徴付ける形状として、直線を４つの異なる延在方向に延ばした４つの直線形状を備える。検査対象エリアＡＲが血管領域を含む場合、検査対象エリアＡＲ内の画素値は、血管が筋状に延びるといった特徴形状の情報を含んでいるので、ずれ角度θに応じて設定された画素評価値を画素値とする画像を用いて、血管領域Ｙを抽出することができる。テンプレートＴＰ１～ＴＰ４は、図６に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素の値と、検査対象領域ＡＲの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の画像評価値を乗算して合計した値であってもよい。
特徴量算出部２２０ｂは、生体組織の画像の一部の検査対象エリアＡＲの形状と複数のテンプレートＴＰ１～ＴＰ４の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートＴＰ１～ＴＰ４それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアＡＲにおける血管領域Ｙの確からしさとする。テンプレートＴＰ１～ＴＰ４は、画素で構成され、テンプレートＴＰ１～ＴＰ４は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートＴＰ１～ＴＰ４は、それぞれの直線形状に合わせて各画素は画素値を有する。図７に示すように、画像の端から矢印に沿って順番に検査対象エリアＡＲをオーバーラップさせながら移動させることにより、検査対象エリアＡＲ内の画像の画素評価値とテンプレートＴＰ１～ＴＰ４それぞれの対応する画素の値との相関度を求める。一実施形態によれば、テンプレートＴＰ１～ＴＰ４は、血管を特徴付ける形状として、直線を４つの異なる延在方向に延ばした４つの直線形状を備える。検査対象エリアＡＲが血管領域を含む場合、検査対象エリアＡＲ内の画素値は、血管が筋状に延びるといった特徴形状の情報を含んでいるので、ずれ角度θに応じて設定された画素評価値を画素値とする画像を用いて、血管領域Ｙを抽出することができる。テンプレートＴＰ１～ＴＰ４は、図６に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素の値と、検査対象領域ＡＲの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の画像評価値を乗算して合計した値であってもよい。
【0062】
テンプレートＴＰ１～ＴＰ４のそれぞれについて算出したマッチング度のうち値が最も高い最高マッチング度が、血管領域の確からしさを示す値として、検査対象エリアＡＲの中心画素に与えられる。
【0063】
図８は、テンプレートＴＰ１を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。テンプレートＴＰ１は、図８に示すように、図中の上下方向に直線が延びる形状を有する。図７では、一例として、テンプレートＴＰ１は、５×５画素の空間フィルタを構成している。この場合、直線に延びる部分の画素には、フィルタ係数として１／５が与えられ、それ以外の画素には、フィルタ係数として－１／２０が与えられている。フィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアＡＲのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアＡＲに上下方向に筋状に延びる血管の像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートＴＰ１に近似する像を含んでいるといえる。したがって、テンプレートＴＰ１～ＴＰ４のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域Ｙの確からしさとして、検査対象領域ＡＲの中心画素に与える。すなわち、血管領域Ｙの確からしさの値は、検査対象エリアＡＲの中心画素に与えられる。
【0064】
このようなマッチング度は、生体組織赤色度である画素評価値を、テンプレートＴＰ１～ＴＰ４のそれぞれを用いて空間フィルタリングした結果であるので、空間フィルタリングにより処理された画素評価値を各画素が有する画像の各画素の値は、テンプレートＴＰ１～ＴＰ４のいずれかにマッチングするときのマッチング度の情報を含んでおり、上記空間フィルタリングによって得られた画像は、血管領域Ｙを反映した画素値となっている。したがって、特徴量算出部２２０ｂは、各画素における血管の確からしさの値が予め定めた値より大きいか否かを判定し、画素における血管の確からしさの値が予め定めた値より大きい場合、その画素は血管領域Ｙにあると判定することにより、血管領域Ｙを抽出する。
特徴量算出部２２０ｂは、抽出した血管領域Ｙに対応する画素における生体組織赤色度を血管赤色度として定める。この場合、血管領域Ｙに対応しない領域の血管赤色度はゼロとする。また、特徴量算出部２２０ｂは、血管の確からしさを０～１の範囲に正規化した値を求め、この値が高い程値が高くなり、低い程値が低くなるように生体組織赤色度を補正した結果を血管赤色度として求めてもよい。このように、全画素に対して血管赤色度が計算される。例えば、生体組織赤色度の値に、血管の確からしさの値を乗算した結果を血管赤色度として求めてもよい。
このように、一実施形態の特徴量算出部２２０ｂは、生体組織赤色度を第１画素評価値として算出し、血管赤色度を第２画素評価値として算出する。したがって、この実施形態における第１画素評価値は、画像の炎症部が示す色成分の程度を示す評価値であり、第２画素評価値は、画像中の血管の形状をなした部分に含まれる色成分の程度を示す評価値である。
特徴量算出部２２０ｂは、抽出した血管領域Ｙに対応する画素における生体組織赤色度を血管赤色度として定める。この場合、血管領域Ｙに対応しない領域の血管赤色度はゼロとする。また、特徴量算出部２２０ｂは、血管の確からしさを０～１の範囲に正規化した値を求め、この値が高い程値が高くなり、低い程値が低くなるように生体組織赤色度を補正した結果を血管赤色度として求めてもよい。このように、全画素に対して血管赤色度が計算される。例えば、生体組織赤色度の値に、血管の確からしさの値を乗算した結果を血管赤色度として求めてもよい。
このように、一実施形態の特徴量算出部２２０ｂは、生体組織赤色度を第１画素評価値として算出し、血管赤色度を第２画素評価値として算出する。したがって、この実施形態における第１画素評価値は、画像の炎症部が示す色成分の程度を示す評価値であり、第２画素評価値は、画像中の血管の形状をなした部分に含まれる色成分の程度を示す評価値である。
【0065】
代表値算出部２２０ｃは、特徴量算出部２２０ｂが算出した各画素の生体組織赤色度（第１画素評価値）を纏めることにより撮像した生体組織の生体組織赤色度の代表値（第１代表評価値）を算出し、さらに、特徴量算出部２２０ｂが算出した各画素の血管赤色度（第２画素評価値）を纏めることにより撮像した血管赤色度の代表値（第２代表評価値）を算出する。
画像における代表評価値である生体組織赤色度の代表値及び血管赤色度の代表値を算出する処理は、各画素の生体組織赤色度及び血管赤色度の平均値を算出する平均化処理であってもよいし、別の公知の処理、例えば、メディアン値を求める処理であってもよい。平均化処理は、単純平均値を求める処理、及び加重平均値を求める処理を含む。また、公知の処理として、画素評価値である生体組織赤色度及び血管赤色度のそれぞれを、順位のついた少なくとも２つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Ｐを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば１／（１＋ｅ－Ｐ）である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。
画像における代表評価値である生体組織赤色度の代表値及び血管赤色度の代表値を算出する処理は、各画素の生体組織赤色度及び血管赤色度の平均値を算出する平均化処理であってもよいし、別の公知の処理、例えば、メディアン値を求める処理であってもよい。平均化処理は、単純平均値を求める処理、及び加重平均値を求める処理を含む。また、公知の処理として、画素評価値である生体組織赤色度及び血管赤色度のそれぞれを、順位のついた少なくとも２つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Ｐを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば１／（１＋ｅ－Ｐ）である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。
【0066】
一実施形態では、画像における代表評価値は、各画素における画素評価値のヒストグラムにおいて頻度が１以上のビン（データ区間）の合計ビン数であることも好ましい。図９は、一実施形態の内視鏡システムで用いる代表評価値の一例を説明する図である。図９に示す例では、頻度が１以上の画素評価値の範囲のビン数は、具体的にビン数１については１６であり、ビン数２については２である。したがって、図９に示す例では、代表評価値は、合計ビン数１８（＝１６＋２）となる。このような合計ビン数を代表評価値として用いる場合、ヒストグラムにおけるデータ区間は、予め設定されて固定されている。
【0067】
従来、画素評価値の平均値や最大値を代表評価値として用いた場合、画素評価値の高い画素が変化しなくても、画素評価値の低い画素（例えば、生体組織赤色度において赤色の程度が低い画素）が多くなると、画素評価値の低い画素の量に引きずられ平均値を下げる。また、画素評価値の高い画素があまり変化しなくても、最大の画素評価値にノイズ成分が混入して高くなると、最大値は大きくなる。このように、注目しない画素評価値の画素の量に引きずられて、あるいは、ノイズ成分に引きずられて代表評価値が変動することは、精度の高い重症度を算出するためには好ましくない。この点、合計ビン数は、注目しない画素評価値を持つ画素の量に引きずられることはなく、また、ノイズ成分による影響を受けることもないので、頑健で安定した代表評価値として用いることができる。このため、精度の高い重症度を安定して算出することができる。
このような合計ビン数を代表評価値として用いる場合、代表評価値は、生体組織の炎症部分が呈する色成分の程度を示す値、例えば生体組織赤色度の代表値に適用することが好ましい。生体組織の炎症部は赤色の程度が高い一方、炎症部以外の健常部は、赤色の程度が低いので、安定した代表評価値を得る点で合計ビン数を代表評価値として用いることは好ましい。
このような合計ビン数を代表評価値として用いる場合、代表評価値は、生体組織の炎症部分が呈する色成分の程度を示す値、例えば生体組織赤色度の代表値に適用することが好ましい。生体組織の炎症部は赤色の程度が高い一方、炎症部以外の健常部は、赤色の程度が低いので、安定した代表評価値を得る点で合計ビン数を代表評価値として用いることは好ましい。
【0068】
統合部２２０ｄは、生体組織赤色度の代表値（第１代表評価値）及び血管赤色度の代表値（第２代表評価値）を統合することにより、病変の重症度を算出する。すなわち、生体組織赤色度の代表値（第１代表評価値）及び血管赤色度の代表値（第２代表評価値）に基づいて病変の重症度を算出する。その際、統合部２２０ｄは、生体組織赤色度の代表値（第１代表評価値）の変化に対する重症度の変化を示す生体組織赤色度の代表値（第１代表評価値）の影響度を、血管赤色度の代表値に基づいて調整する。このように、重症度に対する代表評価値の影響度が調整されるので、生体組織の病変部における病変の進行の程度を、従来に比べて精度よく評価することができる。
【0069】
図１０は、生体組織赤色度の代表値の影響度の一例を示す図である。図１０に示すプロット（丸印）は、参照画像における生体組織赤色度の代表値に対する、参照画像における病変の進行の程度を示す評価値（重症度の値）を示している。その際、血管赤色度の代表値は、高（点線の白色の丸印）、中（灰色の丸印）、低（黒色の丸印）の３つの値が例示されている。黒色の点線、灰色の実線、及び黒色の実線で表された３つの直線は、血管赤色度の代表値が、高、中、及び低であるときに、評価値に最も高く相関するように算出された回帰直線を示す。図からわかるように、生体組織赤色度の重症度の値に対する影響度（回帰直線の勾配）は、血管赤色度の代表値によってよって変化することがわかる。図１０に示す例では、血管赤色度の代表値が小さくなるほど生体組織赤色度の代表値の重症度に与える影響度は大きくなる。したがって、病変の重症度を算出する際、生体組織赤色度の代表値（第１代表評価値）の影響度は、血管赤色度の代表値（第２代表評価値）に基づいて調整される。
【0070】
上記影響度の調整は、少なくとも、第１代表評価値とは異なる第２代表評価値に基づいて調整されるが、第２代表評価値に基づく調整には限定されない。例えば、第１代表評価値を算出する際に用いた生体組織の炎症部の赤色の成分と異なる画像の別の色成分（第２色成分）の情報に基づいて調整してもよい。別の色成分（第２色成分）は、例えば、外部から体腔内に導入されて生体組織上にある食物等の滓（残渣）が呈する色成分に関する特徴量であってもよい。食物等の滓（残渣）は、血液等の色味に比べて青色成分が比較的強い褐色を呈するので、例えば、画像のＲ，Ｇ，Ｂ信号のうちのＧ信号に対するＢ信号の比率を上記食物等の滓（残渣）が呈する色成分に関する特徴量として用いることができる。
【0071】
一実施形態によれば、重症度は少なくとも第１代表評価値を説明変数とする多項式に従って算出される場合、上記影響度は、多項式の第１代表評価値に係る係数である、ことが好ましい。多項式を用いて重症度が算出される際、第１代表評価値に係る係数が調整されるので、第１代表評価値の影響度を容易に変化させることができる。
【0072】
一実施形態によれば、上記多項式は、事前処理により得られた予測式（例えば、回帰式）であってもよい。具体的には、病変の進行の程度の評価結果である評価値が定まっている参照画像を用いて、第１画素評価値（例えば、生体組織赤色度の代表値）と、第２色成分の情報を示す値（例えば、残渣が呈する色成分に関する特徴量）あるいは第２画素評価値（例えば、血管赤色度の代表値）と、を説明変数とし、参照画像における評価値を重症度の値とし、この重症度を目的変数として、算出される重症度が上記評価値に最も強い相関で対応するように重症度に関する重回帰分析を事前に行うことで回帰式を得る（予測式の最適化を行う）ことができる。これにより重症度を最適に算出することができる回帰式を得ることができる。
図１に示す例では、具体的には、病変の進行の程度の評価結果が定まっている複数の参照画像を用いて、生体組織赤色度の代表値（第１代表評価値）と、血管赤色度の代表値（第２代表評価値）と、生体組織白色度の代表値（第３代表評価値）を、少なくとも説明変数とし、参照画像における重症度を目的変数として重回帰分析を事前に行うことで回帰式が得られる。この回帰式を最適化された予測式として、電子内視鏡で撮像された評価の対象とする画像を用いた重症度の計算に用いる。
図１に示す例では、具体的には、病変の進行の程度の評価結果が定まっている複数の参照画像を用いて、生体組織赤色度の代表値（第１代表評価値）と、血管赤色度の代表値（第２代表評価値）と、生体組織白色度の代表値（第３代表評価値）を、少なくとも説明変数とし、参照画像における重症度を目的変数として重回帰分析を事前に行うことで回帰式が得られる。この回帰式を最適化された予測式として、電子内視鏡で撮像された評価の対象とする画像を用いた重症度の計算に用いる。
【0073】
一実施形態によれば、統合部２２０ｄは、第１代表評価値をＸとし、第２代表評価値をＹとしたとき、係数α１，β１，γ１と定数ｄ１とを用いて、重症度＝α１・Ｘ＋β１・Ｙ＋γ１・Ｘ・Ｙ＋ｄ１に従って計算する、ことが好ましい。第１代表評価値及び第２代表評価値は、生体組織赤色度の代表値、血管赤色度の代表値、及び生体組織白色度の代表値のいずれかに限定されず、他の病変部の特徴に基づいて算出された代表評価値であってもよい。
また、他の一実施形態によれば、重症度に影響を与えないが、第１代表評価値の影響度に影響を与える第２色成分がある場合、統合部２２０ｄは、第１代表評価値をＸとし、第２色成分の情報を示す値（代表値）をＺとしたとき、係数α２，β２と定数ｄ２とを用いて、重症度＝α２・Ｘ＋β２・Ｘ・Ｚ＋ｄ２に従って計算する、ことも好ましい。第１代表評価値は、生体組織赤色度の代表値、血管赤色度の代表値、及び生体組織白色度の代表値のいずれかに限定されず、他の病変部の特徴に基づいて算出された代表評価値であってもよい。第２色成分の情報は、外部から体腔内に導入されて生体組織上にある残渣が呈する色成分に関する特徴量であることが好ましいが、生体組織上にある食物等の滓（残渣）が呈する色成分に関する特徴量に限定されない。
重症度＝α１・Ｘ＋β１・Ｙ＋γ１・Ｘ・Ｙ＋ｄ１に従って計算する場合、重症度＝（α１＋γ１・Ｙ）・Ｘ＋β１・Ｙ＋ｄ１と表されるので、第１代表評価値の影響度は、α１＋γ１・Ｙ、すなわち、第２代表評価値に基づいて調整される。同様に、重症度＝α２・Ｘ＋β２・Ｘ・Ｚ＋ｄ２に従って計算する場合、重症度＝（α２＋β２・Ｚ）・Ｘ＋ｄ２と表されるので、第１代表評価値の影響度は、α２＋β２・Ｚ、すなわち、第２の色成分の情報に基づいて調整される。
このような予測式を用いて影響度を容易に変化させることができる。
また、他の一実施形態によれば、重症度に影響を与えないが、第１代表評価値の影響度に影響を与える第２色成分がある場合、統合部２２０ｄは、第１代表評価値をＸとし、第２色成分の情報を示す値（代表値）をＺとしたとき、係数α２，β２と定数ｄ２とを用いて、重症度＝α２・Ｘ＋β２・Ｘ・Ｚ＋ｄ２に従って計算する、ことも好ましい。第１代表評価値は、生体組織赤色度の代表値、血管赤色度の代表値、及び生体組織白色度の代表値のいずれかに限定されず、他の病変部の特徴に基づいて算出された代表評価値であってもよい。第２色成分の情報は、外部から体腔内に導入されて生体組織上にある残渣が呈する色成分に関する特徴量であることが好ましいが、生体組織上にある食物等の滓（残渣）が呈する色成分に関する特徴量に限定されない。
重症度＝α１・Ｘ＋β１・Ｙ＋γ１・Ｘ・Ｙ＋ｄ１に従って計算する場合、重症度＝（α１＋γ１・Ｙ）・Ｘ＋β１・Ｙ＋ｄ１と表されるので、第１代表評価値の影響度は、α１＋γ１・Ｙ、すなわち、第２代表評価値に基づいて調整される。同様に、重症度＝α２・Ｘ＋β２・Ｘ・Ｚ＋ｄ２に従って計算する場合、重症度＝（α２＋β２・Ｚ）・Ｘ＋ｄ２と表されるので、第１代表評価値の影響度は、α２＋β２・Ｚ、すなわち、第２の色成分の情報に基づいて調整される。
このような予測式を用いて影響度を容易に変化させることができる。
【0074】
一実施形態によれば、統合部２２０ｄは、第１代表評価値の影響度を、第２代表評価値あるいは上述した第２色成分の情報を示す値（代表値）の他に、第１特徴及び第２特徴と異なる別の第３特徴の程度を示す第３画素評価値を纏めて得られた第３代表評価値を少なくとも用いて調整することも好ましい。第１代表評価値をＸとし、第２代表評価値をＹとし、第３代表評価値をＺとしたとき、係数α３，β３，γ３，σ３，θ３，ω３，φ３と定数ｄ３とを用いて、例えば、重症度＝α３・Ｘ＋β３・Ｙ＋γ３・Ｚ＋σ３・Ｘ・Ｙ＋θ３・Ｘ・Ｚ＋ω３・Ｙ・Ｚ＋φ３・Ｘ・Ｙ・Ｚ＋ｄ３に従って計算する。この場合、第１代表評価値Ｘの影響度は、（α３＋σ３・Ｙ＋θ３・Ｚ＋φ３・Ｙ・Ｚ）となる。
また、統合部２２０ｄは、第１代表評価値の影響度を、第２代表評価値の他に、上述した第２色成分の情報を示す値（代表値）に基づいて調整することもできる。第１代表評価値（例えば、生体組織赤色度の代表値）をＸとし、第２代表評価値（血管赤色度の代表値）をＹとし、第２色成分（例えば、残渣が呈する色成分）の情報を示す値をＺとしたとき、係数α４，β４，σ４，θ４，φ４と定数ｄ４とを用いて、例えば、重症度＝α４・Ｘ＋β４・Ｙ＋σ４・Ｘ・Ｙ＋θ４・Ｘ・Ｚ＋φ４・Ｘ・Ｙ・Ｚ＋ｄ４に従って計算する。この場合、第２代表評価値Ｙと値Ｚの影響により第１代表評価値Ｘの影響度は変化しつつ、第２代表評価値Ｙは単独で重症度に寄与し、値Ｚは単独で重症度に寄与しない。なお、第１代表評価値Ｘの影響度は、（α４＋σ４・Ｙ＋θ４・Ｚ＋φ４・Ｙ・Ｚ）となる。すなわち、このような予測式を用いて影響度を容易に変化させることができる。
また、統合部２２０ｄは、第１代表評価値の影響度を、第２代表評価値の他に、上述した第２色成分の情報を示す値（代表値）に基づいて調整することもできる。第１代表評価値（例えば、生体組織赤色度の代表値）をＸとし、第２代表評価値（血管赤色度の代表値）をＹとし、第２色成分（例えば、残渣が呈する色成分）の情報を示す値をＺとしたとき、係数α４，β４，σ４，θ４，φ４と定数ｄ４とを用いて、例えば、重症度＝α４・Ｘ＋β４・Ｙ＋σ４・Ｘ・Ｙ＋θ４・Ｘ・Ｚ＋φ４・Ｘ・Ｙ・Ｚ＋ｄ４に従って計算する。この場合、第２代表評価値Ｙと値Ｚの影響により第１代表評価値Ｘの影響度は変化しつつ、第２代表評価値Ｙは単独で重症度に寄与し、値Ｚは単独で重症度に寄与しない。なお、第１代表評価値Ｘの影響度は、（α４＋σ４・Ｙ＋θ４・Ｚ＋φ４・Ｙ・Ｚ）となる。すなわち、このような予測式を用いて影響度を容易に変化させることができる。
【0075】
一実施形態によれば、重症度の計算に用いる病変部に現れる外観の特徴は、生体組織の炎症部が呈する色成分（赤色）の程度、生体組織の筋状に延びる血管を示す血管領域が呈する色成分（赤色）の程度、及び、生体組織の潰瘍部が呈する色成分（白色）の程度のいずれか１つであることが、重症度を精度よく計算する上で好ましい。
【0076】
統合部２２０ｄは、計算した重症度を、特徴量算出部２２０ｂで作成したカラーマップ画像とともに、画面表示のための信号を生成してモニタ３００に送る。
【0077】
図１１は、一実施形態の内視鏡システムで行われる重症度の計算方法のフローの一例を示す図である。
【0078】
まず、現フレームの画像を、画像処理ユニット２２０は取得する（ステップＳ１０）。
次に、前処理部２２０ａは、上述したＲＧＢ変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、特徴量算出部２２０ｂは、前処理を行った画像に対して、病変部が示す色成分あるいは形状に関する複数の特徴それぞれの程度を示す複数の画素評価値（第１画素評価値、第２画素評価値、第３画素評価値）、例えば生体組織赤色度及び血管赤色度度、生体組織白色度等を、画素毎に計算する（ステップＳ１２）。
特徴量算出部２２０ｂは、画素評価値を現フレームの画像の全画素について計算したか否かを判定する（ステップＳ１４）。全画素について画素評価値の計算を完了した場合、代表値算出部２２０ｃは、画素評価値を統合した代表値、すなわち第１～第３代表評価値等の代表値を計算する（ステップＳ１６）。代表値は、画素評価値の種類毎に算出される。
この後、統合部２２０ｄは、複数の代表値（代表評価値）を組み合わせて１つの重症度を計算する（ステップＳ１８）。すなわち、複数の代表値（代表評価値）を演算して統合した１つの数値を病変の重症度として算出する。重症度の計算では、例えば、上述したように事前処理で得られた複数の代表値（代表評価値）を説明変数とする回帰式が用いられる。この回帰式、重症度に関して主観評価結果に最もよく対応する式である。
次に、前処理部２２０ａは、上述したＲＧＢ変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、特徴量算出部２２０ｂは、前処理を行った画像に対して、病変部が示す色成分あるいは形状に関する複数の特徴それぞれの程度を示す複数の画素評価値（第１画素評価値、第２画素評価値、第３画素評価値）、例えば生体組織赤色度及び血管赤色度度、生体組織白色度等を、画素毎に計算する（ステップＳ１２）。
特徴量算出部２２０ｂは、画素評価値を現フレームの画像の全画素について計算したか否かを判定する（ステップＳ１４）。全画素について画素評価値の計算を完了した場合、代表値算出部２２０ｃは、画素評価値を統合した代表値、すなわち第１～第３代表評価値等の代表値を計算する（ステップＳ１６）。代表値は、画素評価値の種類毎に算出される。
この後、統合部２２０ｄは、複数の代表値（代表評価値）を組み合わせて１つの重症度を計算する（ステップＳ１８）。すなわち、複数の代表値（代表評価値）を演算して統合した１つの数値を病変の重症度として算出する。重症度の計算では、例えば、上述したように事前処理で得られた複数の代表値（代表評価値）を説明変数とする回帰式が用いられる。この回帰式、重症度に関して主観評価結果に最もよく対応する式である。
【0079】
この後、統合部２２０ｄは、ステップＳ１２で計算した画素評価値から生成されるカラーマップ画像とステップＳ１８で計算した重症度を画面表示のための信号を生成してモニタ３００に送る。これにより、モニタ３００は、カラーマップ画像と重症度の情報を表示する（ステップＳ２０）。
こうして画像処理ユニット２２０は、電子内視鏡１００から順次撮像画像が送られてくる間、上記処理を繰り返す（ステップＳ２２）。
こうして画像処理ユニット２２０は、電子内視鏡１００から順次撮像画像が送られてくる間、上記処理を繰り返す（ステップＳ２２）。
【0080】
このように算出した重症度をモニタ３００に画面表示するので、ユーザは、モニタ３００を見て病変の進行の程度を知ることができる。
【0081】
以上、本発明の内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【0082】
１ 電子内視鏡システム
１００ 電子内視鏡
２００ 電子内視鏡用プロセッサ
２２０ 画像処理ユニット
２２０ａ 前処理部
２２０ｂ 特徴量算出部
２２０ｃ 代表値算出部
２２０ｄ 統合部
２２２ メモリ
２２４ 画像メモリ
２３０ 光源部
３００ モニタ
４００ プリンタ
６００ サーバ
１００ 電子内視鏡
２００ 電子内視鏡用プロセッサ
２２０ 画像処理ユニット
２２０ａ 前処理部
２２０ｂ 特徴量算出部
２２０ｃ 代表値算出部
２２０ｄ 統合部
２２２ メモリ
２２４ 画像メモリ
２３０ 光源部
３００ モニタ
４００ プリンタ
６００ サーバ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】