特許第6907398号(P6907398)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ HOYA株式会社の特許一覧
<>
  • 特許6907398-内視鏡システム 図000003
  • 特許6907398-内視鏡システム 図000004
  • 特許6907398-内視鏡システム 図000005
  • 特許6907398-内視鏡システム 図000006
  • 特許6907398-内視鏡システム 図000007
  • 特許6907398-内視鏡システム 図000008
  • 特許6907398-内視鏡システム 図000009
  • 特許6907398-内視鏡システム 図000010
  • 特許6907398-内視鏡システム 図000011
  • 特許6907398-内視鏡システム 図000012
  • 特許6907398-内視鏡システム 図000013
  • 特許6907398-内視鏡システム 図000014
  • 特許6907398-内視鏡システム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6907398
(24)【登録日】2021年7月2日
(45)【発行日】2021年7月21日
(54)【発明の名称】内視鏡システム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20210708BHJP
【FI】
   A61B1/045 618
【請求項の数】14
【全頁数】24
(21)【出願番号】特願2020-500422(P2020-500422)
(86)(22)【出願日】2019年2月6日
(86)【国際出願番号】JP2019004147
(87)【国際公開番号】WO2019159770
(87)【国際公開日】20190822
【審査請求日】2020年7月1日
(31)【優先権主張番号】PCT/JP2018/039235
(32)【優先日】2018年10月22日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2018-23111(P2018-23111)
(32)【優先日】2018年2月13日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】110000165
【氏名又は名称】グローバル・アイピー東京特許業務法人
(72)【発明者】
【氏名】牧野 貴雄
【審査官】 ▲高▼原 悠佑
(56)【参考文献】
【文献】 特開2016−158682(JP,A)
【文献】 特開2005−192880(JP,A)
【文献】 特開2006−218138(JP,A)
【文献】 国際公開第2017/057680(WO,A1)
【文献】 国際公開第2017/026539(WO,A1)
【文献】 国際公開第2016/208748(WO,A1)
【文献】 国際公開第2014/156938(WO,A1)
【文献】 特開2009−247463(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00−1/32
(57)【特許請求の範囲】
【請求項1】
体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の病変部の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を少なくとも用いて1つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備え、
前記画像処理ユニットは、
前記病変部に現れる外観の第1特徴及び第2特徴を少なくとも含む複数の外観の特徴のそれぞれを、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記複数の外観の特徴に対応した複数の画素評価値であって、前記病変部が示す色成分、あるいは前記色成分及び前記病変部の形状に関する、前記第1特徴及び前記第2特徴のそれぞれの程度を示す第1画素評価値及び第2画素評価値を含む前記複数の画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
前記画像における各画素の前記複数の画素評価値それぞれを前記複数の外観の特徴毎に統合することにより撮像した生体組織の前記第1特徴の第1代表評価値及び前記第2特徴の第2代表評価値を含む複数の代表評価値を算出するように構成された代表値算出部と、
前記複数の代表評価値のうち少なくとも2つの代表評価値を演算して統合した1つの数値を前記病変の重症度として算出するように構成された統合部と、
を備え
前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
前記特徴量算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内での前記画像の各画素の色成分に対応する画素対応点に基づいて前記第1画素評価値を算出するとともに、前記病変部の形状に基づいて前記第2画素評価値を算出するように構成されることを特徴とする内視鏡システム。
【請求項2】
前記統合部は、前記1つの数値を算出するために、前記複数の代表評価値のうちの少なくとも1つの代表評価値の高低によって異なる演算を行うように構成される、請求項1に記載の内視鏡システム。
【請求項3】
前記異なる演算では、前記演算に用いる少なくとも2つの代表評価値の組が異なる、請求項2に記載の内視鏡システム。
【請求項4】
体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の病変部の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を用いて1つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備え、
前記画像処理ユニットは、
前記病変部に現れる外観の第1特徴及び第2特徴のそれぞれを、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部と区別できる2つの画素評価値であって、前記病変部が示す色成分、あるいは前記色成分及び前記病変部の形状に関する、前記第1特徴及び前記第2特徴それぞれの程度を示す第1画素評価値及び第2画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
前記画像における各画素の前記第1画素評価値を統合することにより撮像した生体組織の前記第1特徴の第1代表評価値を算出し、前記画像における各画素の前記第2画素評価値を統合することにより撮像した生体組織の前記第2特徴の第2代表評価値を算出するように構成された代表値算出部と、
前記第1代表評価値及び前記第2代表評価値を演算して統合した1つの数値を前記病変の重症度として算出するように構成された統合部と、
を備え
前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
前記特徴量算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内での前記画像の各画素の色成分に対応する画素対応点に基づいて前記第1画素評価値を算出するとともに、前記病変部の形状に基づいて前記第2画素評価値を算出するように構成されることを特徴とする内視鏡システム。
【請求項5】
前記第2特徴の程度は、前記画像中の所定の形状をなした部分に含まれる色成分の程度である、請求項1〜4のいずれか1項に記載の内視鏡システム。
【請求項6】
前記第2特徴の程度は、前記画像中の所定の形状をなした部分における前記所定の形状の特徴の程度である、請求項1〜4のいずれか1項に記載の内視鏡システム。
【請求項7】
前記第1特徴の程度は、前記画像の前記病変部が示す色成分の程度である、請求項1〜6のいずれか1項に記載の内視鏡システム。
【請求項8】
前記第1画素評価値は、生体組織の炎症の程度を示す色成分に関する特徴の程度を示す値であり、
前記第2画素評価値は、前記画像中の、筋状に延びる血管を示す血管領域に含まれる色成分の程度を示す値である、請求項1〜7のいずれか1項に記載の内視鏡システム。
【請求項9】
記特徴量算出部は、前記色空間内に設定される基準点と前記画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第1画素評価値を算出するように構成される、請求項1〜8のいずれか1項に記載の内視鏡システム。
【請求項10】
前記統合部は、前記第1代表評価値あるいは前記第2代表評価値が閾値を越える場合と越えない場合との間で、前記重症度を算出する演算を変えるように構成される、請求項1〜9のいずれか1項に記載の内視鏡システム。
【請求項11】
前記統合部は、前記第2代表評価値が閾値以上の場合、前記第1代表評価値から前記第2代表評価値を減算し、前記第2代表評価値が閾値未満の場合、前記第1代表評価値に前記第2代表評価値を加算することにより、前記重症度を算出するように構成される、請求項1〜8のいずれか1項に記載の内視鏡システム。
【請求項12】
前記第1特徴の程度は、前記画像の前記病変部が示す色成分の程度であり、
前記第2特徴の程度は、前記画像中の所定の形状をなした部分に含まれる色成分の程度である、請求項1〜4のいずれか1項に記載の内視鏡システム。
【請求項13】
前記特徴量算出部は、前記第1特徴及び前記第2特徴と異なる、前記病変部が示す色成分に関する第3特徴の程度を示す第3画素評価値を画素毎に算出するように構成され、
前記代表値算出部は、前記画像における各画素の前記第3画素評価値を統合することにより撮像した生体組織の前記第3特徴の第3代表評価値を算出するように構成され、
前記統合部は、前記第2代表評価値が閾値以上の場合、前記第1代表評価値から前記第2代表評価値を減算し、前記第2代表評価値が閾値未満の場合、前記第1代表評価値に前記第3代表評価値を加算することにより、前記重症度を算出するように構成される、請求項1〜4、及び12のいずれか1項に記載の内視鏡システム。
【請求項14】
前記第1画素評価値は、生体組織の炎症の程度を示す色成分に関する特徴の程度を示す値であり、
前記第2画素評価値は、前記画像中の、筋状に延びる血管を示す血管領域に含まれる色成分の程度を示す値であり、
前記第3画素評価値は、生体組織の潰瘍の程度を示す色成分に関する特徴の程度を示す値である、請求項13に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、体腔内の生体組織の画像を画像処理する内視鏡システムに関する。
【背景技術】
【0002】
生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎(UC:Ulcerative Colitis)の病変の潰瘍部位では、白苔や膿様粘液を含み白色になり、また、炎症部位では、浮腫や易出血性を含む赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。
【0003】
しかし、術者が内視鏡の画像内に含まれる色の相違によって正常部位と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、病変部における病変の程度を客観的に数値化した評価結果を提供することが好ましい。
これに対して、画像の明るさによる炎症部位の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2017/057680号
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の内視鏡システムでは、被写体に向けて照明光を照射する光源装置と、被写体からの反射光を撮像素子により受光して撮像し、少なくとも3つ以上の色成分を含むカラー画像を取得する画像取得部と、少なくとも3つ以上の色成分のうちの少なくとも2つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価結果を求める評価部と、を備える。基準軸は、所定の基準点を通るように設定される。基準軸は、色平面内において炎症度が所定値以下の対象疾患と相関を有する軸及び炎症度が所定値以上である対象疾患と相関を有する軸の少なくとも一方である。
このような構成によれば、画像の明るさによる炎症評価値の変動を抑えて、安定した炎症評価値の計算を行い、かつ、炎症評価値の計算の処理負荷を抑えることができる。
【0006】
しかし、上記内視鏡システムが評価できる病変部は、生体組織の粘膜層が薄くなって荒れて赤味を示す炎症部位であり、この炎症部位の炎症の程度を色成分で評価するので、医師による炎症〜潰瘍を含んだ主観評価結果あるいは組織学的な評価結果と十分に対応しない場合がある。すなわち、上記内視鏡システムは、粘膜層およびその下層まで部分的に欠落する潰瘍を含めて、病変部における病変の程度を示す重症度を評価することはできない。
【0007】
そこで、本発明は、生体組織の病変部における病変の程度を精度よく評価することができる内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一実施形態は、内視鏡システムである。当該内視鏡システムは、
体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の病変部の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を少なくとも用いて1つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備える。
前記画像処理ユニットは、
前記病変部に現れる外観の第1特徴及び第2特徴を少なくとも含む複数の外観の特徴のそれぞれを、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記複数の外観の特徴に対応した複数の画素評価値であって、前記病変部が示す色成分、あるいは前記色成分及び前記病変部の形状に関する、前記第1特徴及び前記第2特徴のそれぞれの程度を示す第1画素評価値及び第2画素評価値を含む前記複数の画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
前記画像における各画素の前記複数の画素評価値それぞれを前記複数の外観の特徴毎に統合することにより撮像した生体組織の前記第1特徴の第1代表評価値及び前記第2特徴の第2代表評価値を含む複数の代表評価値を算出するように構成された代表値算出部と、
前記複数の代表評価値のうち少なくとも2つの代表評価値を演算して統合した1つの数値を前記病変の重症度として算出するように構成された統合部と、
を備える。
【0009】
前記統合部は、前記1つの数値を算出するために、前記複数の代表評価値のうちの少なくとも1つの代表評価値の高低によって異なる演算を行うように構成される、ことが好ましい。
【0010】
前記異なる演算では、前記演算に用いる少なくとも2つの代表評価値の組が異なる、ことが好ましい。
【0011】
本発明の一実施形態は、内視鏡システムである。当該内視鏡システムは、
体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の病変部の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を用いて1つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備える。
前記画像処理ユニットは、
前記病変部に現れる外観の第1特徴及び第2特徴のそれぞれを、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部と区別できる2つの画素評価値であって、前記病変部が示す色成分、あるいは前記色成分及び前記病変部の形状に関する、前記第1特徴及び前記第2特徴それぞれの程度を示す第1画素評価値及び第2画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
前記画像における各画素の前記第1画素評価値を統合することにより撮像した生体組織の前記第1特徴の第1代表評価値を算出し、前記画像における各画素の前記第2画素評価値を統合することにより撮像した生体組織の前記第2特徴の第2代表評価値を算出するように構成された代表値算出部と、
前記第1代表評価値及び前記第2代表評価値を演算して統合した1つの数値を前記病変の重症度として算出するように構成された統合部と、
を備える。
【0012】
前記第2特徴の程度は、前記画像中の所定の形状をなした部分に含まれる色成分の程度である、ことが好ましい。
【0013】
前記第2特徴の程度は、前記画像中の所定の形状をなした部分における前記所定の形状の特徴の程度である、ことが好ましい。
【0014】
前記第1特徴の程度は、前記画像の前記病変部が示す色成分の程度である、ことが好ましい。
【0015】
前記第1画素評価値は、生体組織の炎症の程度を示す色成分に関する特徴の程度を示す値であり、
前記第2画素評価値は、前記画像中の、筋状に延びる血管を示す血管領域に含まれる色成分の程度を示す値である、ことが好ましい。
【0016】
前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
前記特徴量算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第1画素評価値を算出するように構成される、ことが好ましい。
【0017】
前記統合部は、前記第1代表評価値あるいは前記第2代表評価値が閾値を越える場合と越えない場合との間で、前記重症度を算出する演算を変えるように構成される、ことが好ましい。
【0018】
前記統合部は、前記第2代表評価値が閾値以上の場合、前記第1代表評価値から前記第2代表評価値を減算し、前記第2代表評価値が閾値未満の場合、前記第1代表評価値に前記第2代表評価値を加算することにより、前記重症度を算出するように構成される、ことが好ましい。
【0019】
前記第1特徴の程度は、前記画像の前記病変部が示す色成分の程度であり、
前記第2特徴の程度は、前記画像中の所定の形状をなした部分に含まれる色成分の程度である、ことが好ましい。
【0020】
前記特徴量算出部は、前記第1特徴及び前記第2特徴と異なる、前記病変部が示す色成分に関する第3特徴の程度を示す第3画素評価値を画素毎に算出するように構成され、
前記代表値算出部は、前記画像における各画素の前記第3画素評価値を統合することにより撮像した生体組織の前記第3特徴の第3代表評価値を算出するように構成され、
前記統合部は、前記第2代表評価値が閾値以上の場合、前記第1代表評価値から前記第2代表評価値を減算し、前記第2代表評価値が閾値未満の場合、前記第1代表評価値に前記第3代表評価値を加算することにより、前記重症度を算出するように構成される、ことが好ましい。
【0021】
前記第1画素評価値は、生体組織の炎症の程度を示す色成分に関する特徴の程度を示す値であり、
前記第2画素評価値は、前記画像中の、筋状に延びる血管を示す血管領域に含まれる色成分の程度を示す値であり、
前記第3画素評価値は、生体組織の潰瘍の程度を示す色成分に関する特徴の程度を示す値である、ことが好ましい。
【発明の効果】
【0022】
上述の内視鏡システムによれば、生体組織の病変部における病変の程度を精度よく評価することができる。
【図面の簡単な説明】
【0023】
図1】一実施形態の内視鏡システムの構成を示すブロック図である。
図2】病変部の重症度の数値化処理を行う一実施形態の画像処理ユニットの構成を説明する図である。
図3】一実施形態で用いる色空間内における基準軸の例を説明する図である。
図4】一実施形態で用いる炎症の程度を計算するためのずれ角度を計算する方法を説明する図である。
図5】(a),(b)は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
図6】一実施形態における血管領域を抽出する方法の一例を説明する図である。
図7図6に示すテンプレートTP1を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。
図8】病変部の画像についての医師の主観評価結果の分布範囲を、生体組織赤色度の代表値と血管赤色度の代表値の直交座標系上で概略的に示す図である。
図9】一実施形態の電子内視鏡用プロセッサによる病変部の重症度の算出の処理のフローの一例を示す図である。
図10】一実施形態で用いる、統合のための代表値の組み合わせのフローの一例を示す図である。
図11図10に示すフローとは別の一実施形態で用いる、統合のための代表値の組み合わせのフローの一例を示す図である。
図12】3つの画素評価値を用いて重症度を計算する、一実施形態のフローの一例を示す図である。
図13図12に示す画素評価値の代表値の組み合わせと異なる、一実施形態の組み合わせのフローの一例を示す図である。
【発明を実施するための形態】
【0024】
以下、本発明の実施形態の内視鏡システムについて図面を参照しながら説明する前に、まず、内視鏡システムの概念を説明する。
【0025】
生体組織における病変部は、炎症部位から潰瘍部位まで、病変部の病変の程度は種々存在する。従来の内視鏡システムは、炎症部位のみを評価対象とし、炎症部位の炎症の程度を、炎症部位の色成分の情報(例えば、赤色)に基づいて評価する。このような評価結果は、医師による炎症〜潰瘍を含んだ評価あるいは組織学的な評価結果と十分に対応しない場合があった。このため、一実施形態の内視鏡システムは、病変部に現れる複数の外観の特徴のそれぞれを、病変部が示す色成分、あるいは病変部の形状により生体組織の健常部の特徴と区別できる、複数の外観の特徴に対応した複数の画素評価値を、生体組織の画像から画素毎に算出する。さらに、内視鏡システムは、算出した各画素の画素評価値を複数の外観の特徴毎に統合することにより複数の代表評価値を算出し、さらに、複数の代表評価値のうち少なくとも2つの代表評価値を演算して統合した1つの数値を病変の重症度として算出する。
このように、複数の外観の特徴に関する各画素の画素評価値を用いて、病変部の病変の重症度を算出するので、従来のように、生体組織が示す赤色の程度のみを用いて評価する場合に比べて病変部の病変の重症度を精度よく評価することができる。
【0026】
一実施形態として、外観の特徴が第1特徴と第2特徴である場合、第1特徴の程度は、病変部が示す特定の色成分の程度であり、例えば、生体組織に含まれる赤色の程度であり、第1特徴の程度を数値化した画素毎の第1画素評価値は、例えば、赤色の程度を数値化した生体組織赤色度である。第2特徴は、撮像した生体組織のうち、特定の形状をした部分に含まれる色成分の程度であり、第2特徴の程度を数値化した画素毎の第2画素評価値は、例えば、病変部及びその周囲において、筋状に延在する血管領域に含まれる赤色の程度を数値化し血管赤色度である。炎症部位において、血管赤色度が所定の閾値以上のとき、生体組織赤色度が高くなる程、血管赤色度が低くなり、血管赤色度が所定の閾値より低いとき、生体組織赤色度が高くなる程、血管赤色度が高くなる傾向がある。一実施形態によれば、血管赤色度が所定の閾値以上のときは、生体組織赤色度の代表値(第1代表評価値)から血管赤色度の代表値(第2代表評価値)を減算して重症度を算出し、血管赤色度が所定の閾値より低いときは、生体組織赤色度の代表値に血管赤色度の代表値を加算して重症度を算出する。すなわち、重症度は、第1代表評価値及び第2代表評価値同士を統合することにより得られる。こうして算出した重症度は、医師による主観評価結果(例えば、MAYO endoscopic subscore)、あるいは組織学的な評価結果と良好に対応する。
また、外観の特徴が第1特徴、第2特徴及び第3特徴は、一例として、第1特徴の程度は、病変部が示す特定の色成分、たとえば赤色の程度であり、第2特徴の程度は、撮像した生体組織のうち、特定の形状をした部分に含まれる色成分の程度であり、第3特徴の程度は、病変部が示す特定の色成分、たとえば白色の程度である。
外観の特徴の程度は、形状に関する程度を含み、例えば、病変部の表面凹凸の形状の程度や表面塑造等の所定の形状の程度であってもよい。
複数の代表評価値を統合した1つの数値は、求めた複数の代表評価値同士を演算した演算結果でもよく、すべての代表評価値のうちの一部の代表評価値同士を演算した演算結果でもよい。この場合、演算に用いなかった代表評価値は、この代表評価値の高低によって、異なる演算をするための指標として用いてもよい。
【0027】
図1は、本発明の一実施形態の電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、電子内視鏡用プロセッサ200、モニタ300及びプリンタ400を備えている。
【0028】
電子内視鏡用プロセッサ200は、システムコントローラ202やタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)による指示に応じて電子内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
【0029】
電子内視鏡用プロセッサ200は、電子スコープ100に照明光を供給する光源部230を備えている。光源部230は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ100の光ファイバの束であるLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する病変に関する評価値の精度を向上させることができる。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子スコープ100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
【0030】
入射端よりLCB102内に入射した照明光は、LCB102内を伝播して電子スコープ100の先端部内に配置されたLCB102の射出端より射出され、配光レンズ104を介して被写体に照射される。被写体からの反射光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
【0031】
固体撮像素子108は、例えば、IR(Infra Red)カットフィルタ108a、ベイヤ配列カラーフィルタ108bの各種フィルタが受光面に配置された単板式カラーCCD(Charge-Coupled Device)イメージセンサであり、受光面上で結像した光学像に応じたR(Red),G(Green),B(Blue)の各原色信号を生成する。単板式カラーCCDイメージセンサの代わりに、単板式カラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることもできる。CMOSイメージセンサは、一般に、CCDイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変の評価を行う数値化処理における、画像の明るさによる病変部の病変の重症度の変動を抑えることができるという有利な効果は、CMOSイメージセンサを用いる場合においてより顕著である。このように、電子スコープ100は、固体撮像素子108を用いて、体腔内の生体組織を撮像する。
【0032】
電子スコープ100の接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112は、固体撮像素子108より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号(輝度信号Y、色差信号Cb,Cr)を生成し、生成された画像信号を電子内視鏡用プロセッサ200の画像処理ユニット220に出力する。また、ドライバ信号処理回路112は、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
【0033】
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、電子内視鏡用プロセッサ200に接続中の電子スコープ100に適した処理がなされるように電子内視鏡用プロセッサ200内の各回路の動作やタイミングを制御する。
【0034】
タイミングコントローラ206は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112、画像処理ユニット220、及び光源部230にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ206から供給されるクロックパルスに従って、固体撮像素子108を電子内視鏡用プロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【0035】
画像処理ユニット220は、システムコントローラ202による制御の下、ドライバ信号処理回路112より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。さらに、画像処理ユニット220は、電子スコープ100で得られた生体組織の病変部の画像から、生体組織の病変の程度を画像の色成分や形状の情報を用いて数値化した病変の重症度を求める。また、画像処理ユニット220は、重症度を求めるための数値化処理を行う際に得られる生体組織赤色度に基づいて色を置換したカラーマップ画像を生成する。画像処理ユニット220は、重症度の情報及びカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。これにより、術者は、モニタ300の表示画面に表示された画像を通じて注目する生体組織の病変の重症度を受けることができる。画像処理ユニット220は、必要に応じてプリンタ400にカラーマップ画像及び重症度の情報を出力する。
【0036】
電子内視鏡用プロセッサ200は、NIC(Network Interface Card)210及びネットワーク500を介してサーバ600に接続されている。電子内視鏡用プロセッサ200は、内視鏡検査に関する情報(例えば、患者の電子カルテ情報や術者の情報)をサーバ600からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ300の表示画面や操作パネル208に表示される。また、電子内視鏡用プロセッサ200は、内視鏡検査結果(内視鏡画像データ、検査条件、画像解析結果、術者所見等)をサーバ600にアップロードすることにより、内視鏡検査結果をサーバ600に保存させることができる。
【0037】
図2は、生体組織の病変の重症度を計算するために、病変の特徴の程度を数値化する数値化処理を行う画像処理ユニット220の構成を説明する図である。画像処理ユニット220は、電子スコープ100で得られた生体組織の画像から、生体組織の病変の程度を数値化することにより求める病変の重症度を求める部分である。画像処理ユニット220は、前処理部220a、特徴量算出部220b、代表値算出部220c、及び統合部220dを備える。
特徴量算出部220bは、一実施形態として、第1画素評価値として、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を計算し、第2画素評価値として、生体組織上の筋状に延在する血管領域の赤色を数値化した血管赤色度を計算する。以下、生体組織赤色度及び血管赤色度を計算する形態を説明する。
【0038】
前処理部220aは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部220aは、一例として図示されるように、RGB変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部220aは、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb,Cr)を所定のマトリックス係数を用いて画像色成分(R,G,B)に変換する。
前処理部220aは、さらに、画像色成分に変換された画像データをRG平面に正射影する色空間変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R,G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0〜255、G成分の画素値=0〜255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620〜750nm、波長495〜570nm、及び波長450〜495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部220aは、生体組織赤色度及び血管赤色度を評価するために必要なRG平面内の基準軸が設定される。
【0039】
被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちR成分が他の成分(G成分及びB成分)に対して支配的である。病変部の病変の程度が低く、病変部が炎症部位である場合、炎症が強いほど赤色(R成分)が他の色(G成分及びB成分)に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件(例えば照明光の当たり具合)に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒(無彩色であり、例えば、R,G,Bの画像色成分の値がゼロ又はゼロに近い値)となり、照明光が強く当たって正反射する部分は白(無彩色であり、例えば、R,G,Bの画像色成分の値が8ビット階調の場合、255又は255に近い値)となる。すなわち、炎症が起こっている同じ炎症部位を撮像した場合であっても、照明光が強く当たるほどその炎症部位の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。
【0040】
一般に、炎症が起こっていない体腔内の健常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部位は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色(黄色)が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。
【0041】
そこで、図3に示されるように、RG色空間内において、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸AX1」と記し、後者の基準軸を「粘膜変化軸AX2」と記す。図3は、一実施形態で用いる色空間内における基準軸の例を説明する図である。
【0042】
図3に示されるプロットは、体腔内の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例(最も重症なレベルの炎症画像例)や、炎症の程度の最も低い炎症画像例(実質的に健常部位であるとみなされる画像例)など、各段階の炎症画像例が含まれる。なお、図3に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図3に示されるプロットの数よりも遥かに多い。
【0043】
上述したように、炎症が強い部分ほど画像の色成分のうちR成分が他の成分(G成分及びB成分)に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、G軸よりもR軸に近い方の境界線上の軸、図3に示す例では、(50,0)及び(255,76)を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸AX1である。ヘモグロビン変化軸AX1には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部位に対応するプロットが重畳される。したがって、ヘモグロビン変化軸AX1は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。
【0044】
一方、健常部位に近いほど画像の色成分のうちG成分(又はB成分)がR成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、R軸よりもG軸に近い方の境界線上の軸、図3に示す例では、(0,0)及び(255,192)を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部位であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸AX2である。粘膜変化軸AX2には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸AX2は、炎症の程度が低くなるほど(健常部位に近いほど)プロットされる画素対応点が収束する軸である。
【0045】
補足すると、病変部の病変の程度の最も高い部分は、出血を伴う。一方、病変の程度の最も低い部分は、実質正常な健常部位であるから、十分な粘膜で覆われている。そのため、図3に示されるRG色空間内のプロットは、血液(ヘモグロビン色素)の色と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、R軸に近い(R成分が強い)方の境界線が、炎症の程度の最も高い炎症部位を示す軸(ヘモグロビン変化軸AX1)に相当し、G軸に近い(G成分が強い)方の境界線が、炎症の程度の最も低い炎症部位を示す軸(粘膜変化軸AX2)に相当する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図3に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
【0046】
前処理部220aは、炎症評価値の算出の前に、RG色空間で表された画像の色成分に対して色補正を行う。図示されないメモリには、補正マトリックス係数が保存されている。同一の炎症部位にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように(言い換えると、電子スコープの個体間誤差を抑えるために)、前処理部220aは、各画素のRG色空間内の画素対応点である画素データ(R,G)を、補正マトリックス係数を用いて下記式に示すように補正する。
【0047】

new :補正後の画素データ(R成分)
new :補正後の画素データ(G成分)
00〜M11:補正マトリックス係数
R :補正前の画素データ(R成分)
G :補正前の画素データ(G成分)
【0048】
特徴量算出部220bは、画素の中から一つの注目画素を選択し、選択した注目画素について、生体組織赤色度を、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。図4は、一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、特徴量算出部220bは、図4に示すように、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点を基準点O’とし、基準点O’と注目画素の画素対応点Pとを結ぶ線分Lの向きが、基準軸AX1に対してずれるずれ角度θを算出する。なお、基準点O’は座標(−150,−75)に位置する。基準点O’を座標(−150,−75)にする例に挙げたが、これに限定されるものではない。上記基準点O’は、適宜変更可能であり、例えば、RG色空間のR軸とG軸の交点であってもよい。
【0049】
基準点O’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点O’は、暗部(輝度が所定値未満)での評価結果と非暗部(輝度が所定値以上)での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。
【0050】
また、例えば、基準点O’を座標(−10,−10)から(10,10)の間に設定すると、座標(−150,−75)等を基準点O’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点O’を座標(−50,−50)から(−200,−200)の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
【0051】
体腔内の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、RG色空間内において、概ね、重症度の最も高い炎症部位ではヘモグロビン変化軸AX1上に沿って変化し、炎症の程度が最も低い炎症部位では粘膜変化軸AX2上に沿って変化する。また、炎症の程度が中間程度である炎症部位の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸AX2に対するずれ角度θが一定のまま移動して基準点O’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
【0052】
ずれ角度θが小さいほどR成分がG成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどG成分がR成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、特徴量算出部220bは、ずれ角度θがゼロであるときに値255となり、ずれ角度θがθMAXであるときに値ゼロとなるように、角度θを正規化する。なお、θMAXは、ヘモグロビン変化軸AX1と粘膜変化軸AX2とがなす角度と等しい。すなわち、評価値算出部220bは、各注目画素について、各注目画素の色成分の情報に基づいて赤色の程度を数値化する数値化処理を行うことにより、0〜255の範囲に収まる生体組織赤色度(第1画素評価値)を求める。
なお、注目画素は、画像の全画素について1つずつ選択される。
なお、図4に示す例では、色空間としてRG色空間を用いるが、RG色空間に代えてRB色空間を用いることもできる。
【0053】
特徴量算出部220bは、ずれ角度θに基づいて生体組織赤色度を第1画素評価値として算出するが、場合によっては、生体組織の潰瘍の特徴の程度を示す後述する生体組織白色度(第3画素評価値)を算出する。例えば、生体組織の画像の各画素の各色成分の画素値に対して、線形なゲイン(利得)を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば、潰瘍性大腸炎の白苔や膿様粘液を含む潰瘍部位は白色を示し、浮腫や易出血性を含む赤色を示す炎症部位や黄色あるいは緑色を示す正常部位と色成分によって区別することができる。生体組織白色度は、図4に示すような2つの色成分(R成分、G成分、B成分のうち2つ)あるいは3つの色成分(R成分、G成分、B成分)の座標軸とする色空間上に表した、ヘモグロビン変化軸AX1とは異なる基準軸に対するずれ角度を用いて計算することができる。なお、トーン強調処理は、前処理部220aが行う。
【0054】
特徴量算出部220bは、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像を表示可能とするため、画素評価値と所定の表示色とを対応付けたテーブルが図示されないメモリ等の記憶領域に記憶されている。このテーブルでは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、画素評価値が0〜5の範囲では青色が対応付けられており、該画素評価値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が250〜255の範囲では赤色が対応付けられている。表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。特徴量算出部220bは、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルを参照して、注目画素の生体組織赤色度に応じて決定する。
こうして、特徴量算出部220bは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
【0055】
特徴量算出部220bは、さらに、生体組織を撮像して得られる画像中の生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて判定し、必要に応じて、求めた確からしさにより、血管領域を抽出する。
図5(a)に示すように、生体組織を撮像した画像には、病変部Xの近傍には、粘膜を通して透けて見える筋状の血管領域Yの像も含まれる。このような画像に対して上述の生体組織赤色度に応じて色分けした、図5(b)に示すカラーマップ画像においても、血管領域Yは炎症部位と同じ色で表示される場合がある。図5(a),(b)は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
特徴量算出部220bは、血管領域Yの確からしさを求め、確からしさに基づいて血管領域Yを抽出する。
【0056】
図6は、一実施形態における血管領域Yを抽出する方法の一例を説明する図である。
特徴量算出部220bは、生体組織の画像の一部の検査対象エリアARの形状と複数のテンプレートTP1〜TP4の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートTP1〜TP4それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアARにおける血管領域Yの確からしさとする。テンプレートTP1〜TP4は、画素で構成され、テンプレートTP1〜TP4は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートTP1〜TP4は、それぞれの直線形状に合わせて各画素は画素値を有する。図6に示すように、画像の端から矢印に沿って順番に検査対象エリアARをオーバーラップさせながら移動させることにより、検査対象エリアAR内の画像の画素評価値とテンプレートTP1〜TP4それぞれの対応する画素の値との相関度を求める。一実施形態によれば、テンプレートTP1〜TP4は、血管を特徴付ける形状として、直線を4つの異なる延在方向に延ばした4つの直線形状を備える。検査対象エリアARが血管領域を含む場合、検査対象エリアAR内の画素値は、血管が筋状に延びるといった特徴形状の情報を含んでいるので、ずれ角度θに応じて設定された画素評価値を画素値とする画像を用いて、血管領域Yを抽出することができる。テンプレートTP1〜TP4は、図6に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートTP1〜TP4の画素の値と、検査対象領域ARの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートTP1〜TP4の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアARの対応する画素の画像評価値を乗算して合計した値であってもよい。
【0057】
テンプレートTP1〜TP4のそれぞれについて算出したマッチング度のうち値が最も高い最高マッチング度が、血管領域の確からしさを示す値として、検査対象エリアARの中心画素に与えられる。
【0058】
図7は、テンプレートTP1を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。テンプレートTP1は、図6に示すように、図中の上下方向に直線が延びる形状を有する。図7では、一例として、テンプレートTP1は、5×5画素の空間フィルタを構成している。この場合、直線に延びる部分の画素には、フィルタ係数として1/5が与えられ、それ以外の画素には、フィルタ係数として−1/20が与えられている。フィルタ係数のそれぞれと検査対象エリアARの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアARのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアARに上下方向に筋状に延びる血管の像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートTP1に近似する像を含んでいるといえる。したがって、テンプレートTP1〜TP4のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域Yの確からしさとして、検査対象領域ARの中心画素に与える。すなわち、血管領域Yの確からしさの値は、検査対象エリアARの中心画素に与えられる。
【0059】
このようなマッチング度は、生体組織赤色度である画素評価値を、テンプレートTP1〜TP4のそれぞれを用いて空間フィルタリングした結果であるので、空間フィルタリングにより処理された画素評価値を各画素が有する画像の各画素の値は、テンプレートTP1〜TP4のいずれかにマッチングするときのマッチング度の情報を含んでおり、上記空間フィルタリングによって得られた画像は、血管領域Yを反映した画素値となっている。したがって、特徴量算出部220bは、各画素における血管の確からしさの値が予め定めた値より大きいか否かを判定し、画素における血管の確からしさの値が予め定めた値より大きい場合、その画素は血管領域Yにあると判定することにより、血管領域Yを抽出する。
特徴量算出部220bは、抽出した血管領域Yに対応する画素における生体組織赤色度を血管赤色度として定める。この場合、血管領域Yに対応しない領域の血管赤色度はゼロとする。また、特徴量算出部220bは、血管の確からしさを0〜1の範囲に正規化した値を求め、この値が高い程値が高くなり、低い程値が低くなるように生体組織赤色度を補正した結果を血管赤色度として求めてもよい。このように、全画素に対して血管赤色度が計算される。例えば、生体組織赤色度の値に、血管の確からしさの値を乗算した結果を血管赤色度として求めてもよい。
このように、一実施形態の特徴量算出部220bは、生体組織赤色度を第1画素評価値として算出し、血管赤色度を第2画素評価値として算出する。したがって、この実施形態における第1画素評価値は、画像の炎症部位が示す色成分の程度を示す評価値であり、第2画素評価値は、画像中の血管の形状をなした部分に含まれる色成分の程度を示す評価値である。
【0060】
代表値算出部220cは、特徴量算出部220bが算出した各画素の生体組織赤色度(第1画素評価値)を統合することにより撮像した生体組織の生体組織赤色度の代表値(第1代表評価値)を算出し、さらに、特徴量算出部220bが算出した各画素の血管赤色度(第2画素評価値)を統合することにより撮像した血管赤色度の代表値(第2代表評価値)を算出する。
各画素における生体組織赤色度及び血管赤色度の統合の処理は、各画素の生体組織赤色度及び血管赤色度の平均値を算出する平均化処理であってもよいし、別の公知の処理、例えば、メディアン値を求める処理であってもよい。平均化処理は、単純平均値を求める処理、及び加重平均値を求める処理を含む。また、公知の処理として、生体組織赤色度及び血管赤色度のそれぞれを、順位のついた少なくとも2つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Pを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば1/(1+e−P)である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。
【0061】
統合部220dは、生体組織赤色度の代表値(第1代表評価値)及び血管赤色度の代表値(第2代表評価値)同士を統合することにより、病変の重症度を算出する。生体組織赤色度の代表値(第1代表評価値)及び血管赤色度の代表値(第2代表評価値)の統合は、生体組織赤色度の代表値と血管赤色度の代表値を加算、減算等の演算により行われる。例えば、血管赤色度の代表値が所定の閾値以上のとき、重症度は、生体組織赤色度の代表値から血管赤色度の代表値を減算した結果を重症度とし、血管赤色度の代表値が所定の閾値より低いとき、重症度は、生体組織赤色度の代表値と血管赤色度の代表値を加算した結果を重症度とする。
統合部220dは、計算した重症度を、特徴量算出部220bで作成したカラーマップ画像とともに、画面表示のための信号を生成してモニタ300に送る。
【0062】
図8は、100枚の潰瘍性大腸炎の病変部の画像についての医師の主観評価結果であるMAYO endoscopic subscoreの分布範囲を概略的に示す図である。図8では、MAYO endoscopic subscoreの分布範囲が、生体組織赤色度の代表値と血管赤色度の代表値の直交座標系上で示されている。図中のMAYO0,1,2のそれぞれは、MAYO endoscopic subscoreが0,1,2であることを示す。MAYO0から2に進むほど、病変の重症度は高くなることを意味する。
図8からわかるように、MAYO0からMAYO1に進む場合、概略、血管赤色度が低下しつつ生体組織赤色度が上昇することを示している。また、MAYO1からMAYO2に進む場合、概略血管赤色度及び生体組織赤色度の双方が上昇することを示している。したがって、この事実より、血管赤色度の代表値が所定の閾値TH以上か、未満かによって重症度の算出の方法が異ならせることが、MAYO endoscopic subscoreに対応させる点で好ましいことがわかる。
【0063】
このような画像処理ユニット220を備える電子内視鏡用プロセッサ200は、図9に示すフローに沿って病変の重症度を計算して重症度をモニタ300に表示する。図9は、一実施形態の電子内視鏡用プロセッサ200による病変の重症度の算出の処理のフローの一例を示す図である。
【0064】
まず、現フレームの画像を、画像処理ユニット220は取得する(ステップS10)。
次に、前処理部220aは、上述したRGB変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、特徴量算出部220bは、前処理を行った画像に対して、病変部が示す色成分あるいは形状に関する複数の特徴それぞれの程度を示す複数の画素評価値(第1画素評価値、第2画素評価値、第3画素評価値)、例えば生体組織赤色度及び血管赤色度度、生体組織白色度等を、画素毎に計算する(ステップS12)。
特徴量算出部220bは、画素評価値を現フレームの画像の全画素について計算したか否かを判定する(ステップS14)。全画素について画素評価値の計算を完了した場合、代表値算出部220cは、画素評価値を統合した代表値(第1代表評価値、第2代表評価値、あるいはさらに、第3代表評価値)を計算する(ステップS16)。代表値は、画素評価値の種類毎に算出される。
この後、統合部220dは、複数の代表値を組み合わせて1つの重症度を計算する(ステップS18)。すなわち、複数の代表値を演算して統合した1つの数値を病変の重症度として算出する。なお、複数の代表値の組み合わせについては、医師による主観評価結果が得られている生体組織の画像における複数の代表値の中で、主観評価結果に最もよく対応する代表値の組み合わせ方(統合の仕方)を予め回帰分析等により確立しておく。
【0065】
図10は、一実施形態で用いる代表値の組み合わせのフローの一例を示す図である。図10に示す例では、第1画素評価値及び第2画素評価値として、生体組織赤色度及び血管赤色度を用いる。統合部220dは、代表値算出部220cで計算した生体組織赤色度の代表値と血管赤色度の代表値を取得する(ステップS30)。統合部220dは、生体組織赤色度の代表値から血管赤色度の代表値を減算して、減算結果を重症度とする(ステップS32)。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
このような重症度は、炎症部位(図8におけるMYYO0〜MAYO1)において、医師による主観評価結果と精度よく対応する。図8に示すように、炎症部位の炎症の程度が大きいほど、生体組織赤色度の代表値は大きくなり、血管赤色度の代表値は小さくなる分布を示す。したがって、生体組織赤色度の代表値がたまたま同じであっても、血管赤色度の代表値の相違によって、重症度の高低を判定することができる。同様に、血管赤色度の代表値がたまたま同じであっても、生体組織赤色度の代表値の相違によって、重症度の高低を判定することができる。
【0066】
図11は、図10に示すフローとは別の一実施形態で用いる代表値の組み合わせのフローの一例を示す図である。図11に示す例では、第1画素評価値及び第2画素評価値として、生体組織赤色度及び血管赤色度としている。統合部220dは、代表値算出部220cで計算した生体組織赤色度の代表値と血管赤色度の代表値を取得する(ステップS40)。統合部220dは、血管赤色度の代表値が予め定めた閾値TH1以上であるか否かを判定する(ステップS42)。血管赤色度の代表値が予め定めた閾値TH1以上である場合、統合部220dは、生体組織赤色度の代表値から血管赤色度の代表値を減算し、この減算結果を重症度とする(ステップS44)。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
一方、血管赤色度の代表値が予め定めた閾値TH1未満である場合、統合部220dは、生体組織赤色度の代表値と血管赤色度の代表値とを加算し、この加算結果を重症度とする(ステップS46)。なお、加算については、生体組織赤色度の代表値に定数αを乗算したものと血管赤色度の代表値に定数βを乗算したものを加算してもよい。
【0067】
このように、血管赤色度の代表値が閾値TH1以上であるか、未満であるかによって重症度の演算を変えるのは、図8に示すように、血管赤色度の代表値が高い場合、重症度が高くなる(MAYO0→MAYO1)程、図8に示す矢印Aのように動き、血管赤色度の代表値が低い場合、重症度が高くなる(MAYO1→MAYO2)程、図8に示す矢印Bのように動くからである。このため、閾値TH1を境にして、重症度の演算を変えている。したがって、炎症部位(MAYO0→MAYO1)及び潰瘍部位(MAYO1→MAYO2)を含んだ病変部の病変の重症度の高低を精度よく判定することができる。なお、血管赤色度の代表値を閾値TH1と比較する代わりに、生体組織赤色度の代表値を閾値TH2(図8参照)と比較して、その比較結果に応じてステップS44及びステップS46のように、重症度の演算を異ならせてもよい。
【0068】
図9に戻って、統合部220dは、ステップS12で計算した画素評価値から生成されるカラーマップ画像とステップS18で計算した重症度を画面表示のための信号を生成してモニタ300に送る。これにより、モニタ300は、カラーマップ画像と重症度の情報を表示する(ステップS20)。
こうして画像処理ユニット220は、電子スコープ100から順次撮像画像が送られてくる間、上記処理を繰り返す(ステップS22)。
【0069】
このように、画像処理ユニット220は、生体組織が示す色成分に関して、病変における複数の特徴それぞれの程度を示す画素評価値(第1画素評価値、第2画素評価値)を、画像から画素毎に算出し、複数の画素評価値それぞれを統合することにより複数の特徴に対応した特徴量の代表評価値(第1代表評価値、第2代表評価値)を算出し、この複数の代表評価値同士を演算することにより統合した1つの数値を、生体組織にある病変部の病変の重症度として算出する。このため、複数の画素評価値を用いて、病変の重症度を算出するので、従来のように、生体組織の赤色の情報のみを用いて評価する場合に比べて病変部における病変の重症度を精度よく評価することができる。
【0070】
図10,11に示す画素評価値の代表値の組み合わせの例は、いずれも、2つの画素評価値として生体組織赤色度と血管赤色度を用いて、重症度を算出するが、3つ以上の画素評価値を用いて重症度を算出することもできる。図12は、3つの画素評価値を用いて重症度を計算する一実施形態のフローの一例を示す図である。
【0071】
図12に示す例では、3つの画素評価値として、生体組織赤色度と、血管赤色度と、生体組織白色度と、を用いる。生体組織白色度は、生体組織における潰瘍の特徴の程度を示す。例えば、生体組織の画像の各画素の各色成分の画素値に対して、非線形なゲイン(利得)を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば潰瘍性大腸炎における潰瘍部位は、白苔や膿様粘液を含むため白色を示す。一方、炎症部位は、浮腫や易出血性を含む赤色を呈し、正常部位は、黄色あるいは緑色を示す。したがって、生体組織白色度は、図4に示すような2つの色成分(R成分、G成分、B成分のうち2つ)あるいは3つの色成分(R成分、G成分、B成分)の座標軸とする色空間上に表した、図4に示すヘモグロビン変化軸AX1のような基準軸とは異なる基準軸に対するずれ角度を用いて計算する。このような生体組織白色度が、特徴量算出部220bで、生体組織赤色度及び血管赤色度と共に計算され、生体組織白色度の代表値が、代表値算出部220cで、生体組織赤色部及び血管赤色部と共に計算される。こうして、統合部220dは、代表値算出部220cで計算した生体組織赤色部の代表値と、血管赤色度の代表値と、生体組織白色度の代表値と、を取得する(ステップS50)。
【0072】
統合部220dは、血管赤色度の代表値が予め定めた閾値TH1以上であるか否かを判定する(ステップS52)。血管赤色度の代表値が予め定めた閾値TH1以上である場合、統合部220dは、生体組織赤色度の代表値から血管赤色度の代表値を減算し、この減算結果を重症度とする(ステップS54)。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
一方、血管赤色度の代表値が予め定めた閾値TH1未満である場合、統合部220dは、生体組織赤色度の代表値と生体組織白色度の代表値とを加算し、この加算結果を重症度とする(ステップS56)。なお、加算については、生体組織赤色度の代表値に定数αを乗算したものと生体組織白色度の代表値に定数βを乗算したものを加算してもよい。
生体組織白色度の代表値は、潰瘍部位が含む白苔や膿様粘液が示す色成分と同じ、白色の程度を示すことから、病変の程度が強くなるほど、生体組織白色度の代表値は大きくなる。また、病変の程度が進むと血管は見え難くなる(血管の赤色は目立たなくなる)ため、病変の程度が強いとき、血管赤色度の代表値は小さい。このため、炎症部位のみの場合と炎症部位と潰瘍部位を含む場合の境として血管赤色度の閾値TH1を用いる。このように、生体組織における炎症の程度と潰瘍の程度を同時に評価することができるため、医師による主観評価結果と精度よく対応する。
【0073】
図12に示す例では、ステップS52において、血管赤色度の代表値が予め定めた閾値TH1以上であるか否かを判定し、判定結果に応じて、ステップS54あるいはステップS56の計算を行なって重症度を算出するので、血管赤色度の代表値が閾値TH1の近傍で、重症度が不連続に変化する場合がある。この場合は、血管赤色度の代表値が予め定めた閾値TH1以上であるか否かの判定を行うステップS52を行うことなく、重症度を、生体組織赤色度の代表値から血管赤色度の代表値を減算し、さらに、生体組織白色度の代表値を加算した結果として求めてもよい。すなわち、統合部220dは、取得した3つの代表評価値同士を演算して統合した1つの数値を病変の重症度として算出するように構成してもよい。この場合、生体組織赤色度の代表値から血管赤色度の代表値を減算するとき、血管赤色度の代表値に定数を乗算したものを生体組織赤色度の代表値から減算してもよく、生体組織白色度の代表値を加算するとき、生体組織白色度の代表値に定数を乗算したものを加算してもよい。
【0074】
上述の実施形態では、生体組織赤色度、血管赤色度、及び生体組織白色度のように、病変部が示す色成分に関する特徴の程度を示す画素評価値を計算したが、病変部が示す形状に関する特徴の程度を示す画素評価値を計算してこの画素評価値の代表価を用いて病変の重症度を計算することもできる。図13は、図12に示す画素評価値の代表値の組み合わせと異なる、一実施形態の組み合わせのフローの一例を示す図である。
【0075】
潰瘍性大腸炎とは異なるクローン病では、病変部は潰瘍部位を含み、かつ生体組織の表面が凹凸形状となる特徴を有するため、クローン病は、潰瘍性大腸炎と生体組織表面の特徴が異なる。このため、クローン病の病変部の病変の程度を評価するために、病変部が示す形状に関する特徴の程度を示す画素評価値を計算する。形状に関する特徴の程度は、例えば、生体組織の表面の凹凸の程度である。
形状に関する特徴の程度が、生体組織の表面の凹凸の程度である場合、この凹凸の程度は、画像の輝度成分(Y信号)の画像に公知のエッジ検出フィルタを用いて求めることができるエッジ強度により評価することができる。したがって、特徴量算出部220bは、エッジ検出用フィルタを用いて得られるエッジ強度に基づいて、画素毎に生体組織表面凹凸度を計算する。生体組織表面凹凸度の値は、生体組織の表面の凹凸が激しくなる程、大きくなる。
上述したように、特徴量算出部220bは、生体組織の潰瘍の特徴の程度を示す生体組織白色度を計算する。
代表値算出部220cは、生体組織白色度及び生体組織表面凹凸度の代表値を求める。生体組織表面凹凸度の代表値は、生体組織赤色度や血管赤色度等の代表値と同様に、特に制限はされず、平均値やメディアン値であってもよく、公知の処理から計算される値であってもよい。
【0076】
統合部220dは、図13に示すように、生体組織白色部の代表値及び生体組織表面凹凸度の代表値を取得する(ステップS60)。
統合部220dは、取得した生体組織白色部の代表値と生体組織表面凹凸度の代表値とを加算し、加算した結果を重症度とする(ステップS62)。加算については、生体組織白色度の代表値に定数βを乗算したものと生体組織表面凹凸度の代表値に定数γを乗算したものを加算してもよい。
このように、生体組織白色度の代表値と生体組織表面凹凸度の代表値とを加算し、加算した結果を重症度とするので、病変が潰瘍を伴う場合が多いクローン病において、病変のが進行するほど、表面凹凸の大きくなることから、潰瘍の色成分がたまたま同じ場合でも、生体組織表面凹凸度の相違によって、重症度の高低を判定することができる。また、表面凹凸の程度がたまたま同じ場合でも、生体組織の潰瘍の色成分の程度を示す生体組織白色度の相違によって重症度の高低を判定することができる。
【0077】
このように、画像処理ユニット220は、病変部が示す色成分に関する特徴の程度、あるいは色成分及び形状に関する特徴の程度、を示す画素評価値を、画像から画素毎に算出し、画素評価値の種類毎に統合することにより複数の特徴に対応した特徴量の代表評価値を算出し、この複数の代表評価値同士を演算して統合した1つの数値を、病変の重症度として算出する。このため、従来のように、生体組織の赤色の情報のみを用いて評価する場合に比べて病変部における病変の程度を精度よく評価することができる。
なお、上記形状に関する特徴の程度は、表面の凹凸形状の他に、テクスチャ形状を示す表面塑造の形状であってもよい。表面塑造の程度は、画像の輝度成分(Y信号)の画像に公知のフィルタを用いて同時生起行列を作成して、各画素を評価することができる。
【0078】
なお、病変部が示す色成分の特徴の1つ(第2特徴)の程度は、画像中の所定の形状をなした部分、例えば筋状の血管の部分に含まれる色成分の程度、例えば赤色の程度である。このため、生体組織の赤色の程度の他に、血管領域の赤色の程度を評価することにより、従来に比べて精度よく炎症性腸疾患における炎症部位の病変の程度を評価することができる。
【0079】
病変部が示す特徴の1つ(第2特徴)の程度は、画像中の所定の形状、例えば生体組織の表面凹凸の程度あるいは表面塑造の程度である。このため潰瘍の程度と生体組織の表面の凹凸度等の所定の形状の程度に基づいて、精度よく、クローン病等の病変の程度を評価することができる。
【0080】
画素評価値の1つは、生体組織の炎症の程度を示す色成分、例えば赤色に関する特徴の程度を示す値、例えば、生体組織赤色度であり、画素評価値の1つは、画像中の、筋状に延びる血管を示す血管領域の色成分、例えば血管領域に含まれる赤色の程度を示す値、例えば血管赤色度である。このため、炎症性腸疾患における炎症部位の病変の程度を従来に比べて精度よく評価することができる。
【0081】
電子スコープ100から送られる撮像した画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、特徴量算出部220bは、赤色成分と、青色成分あるいは緑色成分とによって定義される色空間内において、図4に示すように、色空間内に設定される基準点O’と画像の各画素の色成分に対応する画素対応点Pとを結ぶ線分Lの向きが、ヘモグロビン変化軸AX1のような基準軸に対してずれるずれ角度θに基づいて画素評価値を算出するので、炎症性腸疾患において、画像の明暗によらず、客観的に炎症を評価することができる。
【0082】
また、図8に示すように、生体組織赤色度の代表値(第1代表評価値)あるいは血管赤色度の代表値(第2代表評価値)が閾値を越える場合と越えない場合との間で、図11に示すように、重症度を算出する演算を異ならせることにより、従来に比べてより精度よく病変部における病変の程度を評価することができる。したがって、統合部220dは、統合した1つの数値を算出するために、複数の代表評価値のうちの少なくとも1つの代表評価値の高低によって異なる演算を行うように構成されることが好ましい。
【0083】
特徴量算出部220bは、一実施形態によれば、病変部が示す色成分に関する生体組織の赤色の程度(第1特徴量)及び血管の赤色の程度(第2特徴量)と異なる、生体組織の表面の凹凸の程度(第3特徴量)の程度を示す生体組織表面凹凸度(第3画素評価値)を画素毎に算出し、統合部220dは、血管赤色度の代表値(第2代表評価値)が閾値以上の場合、生体組織赤色度の代表値(第1代表評価値)から血管赤色度の代表値(第2代表評価値)を減算し、血管赤色度の代表値(第2代表評価値)が閾値未満の場合、生体組織赤色度の代表値(第1代表評価値)に生体組織白色度の代表値(第3代表評価値)を加算することにより、重症度を算出する。このため、クローン病における病変の程度を精度よく評価することができる。したがって、統合部220dは、統合した1つの数値を算出するために、複数の代表評価値のうちの少なくとも1つの代表評価値の高低によって異なる演算を行うように構成されることが好ましく、その際、異なる演算では、演算に用いる少なくとも2つの代表評価値の組が、生体組織赤色度の代表値(第1代表評価値)及び血管赤色度の代表値(第2代表評価値)の組と、生体組織赤色度の代表値(第1代表評価値)及び生体組織白色度の代表値(第3代表評価値)の組のように異なることが好ましい。
【0084】
画素評価値の1つは、上述したように、生体組織の潰瘍の程度を示す色成分に関する特徴の程度を示す値、例えば生体組織白色度である、ことが好ましい。
【0085】
以上、本発明の内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【0086】
1 電子内視鏡システム
100 電子スコープ
200 電子内視鏡用プロセッサ
220 画像処理ユニット
220a 前処理部
220b 特徴量算出部
220c 代表値算出部
220d 統合部
222 メモリ
224 画像メモリ
230 光源部
300 モニタ
400 プリンタ
600 サーバ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13