特許 6097629 病変評価情報生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6097629

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】病変評価情報生成装置

(51)【国際特許分類】

   A61B 1/00 20060101AFI20170306BHJP

   A61B 1/04 20060101ALI20170306BHJP

   G02B 23/24 20060101ALI20170306BHJP

   H04N 7/18 20060101ALI20170306BHJP

【ＦＩ】

   A61B1/00 300D

   A61B1/04 370

   G02B23/24 B

   H04N7/18 M

【請求項の数】12

【全頁数】16

(21)【出願番号】特願2013-94730(P2013-94730)

(22)【出願日】2013年4月26日

(65)【公開番号】特開2014-213094(P2014-213094A)

(43)【公開日】2014年11月17日

【審査請求日】2016年3月15日

(73)【特許権者】

【識別番号】000113263

【氏名又は名称】ＨＯＹＡ株式会社

(73)【特許権者】

【識別番号】504132272

【氏名又は名称】国立大学法人京都大学

(74)【代理人】

【識別番号】100078880

【弁理士】

【氏名又は名称】松岡 修平

(74)【代理人】

【識別番号】100169856

【弁理士】

【氏名又は名称】尾山 栄啓

(72)【発明者】

【氏名】池本 洋祐

(72)【発明者】

【氏名】仲瀬 裕志

(72)【発明者】

【氏名】松浦 稔

(72)【発明者】

【氏名】吉野 琢哉

(72)【発明者】

【氏名】樋口 浩和

【審査官】 荒井 隆一

(56)【参考文献】

【文献】 特開２０１３−５１９８８（ＪＰ，Ａ）

【文献】 特開２０１０−１８７７５６（ＪＰ，Ａ）

【文献】 特開２００６−２７１８４０（ＪＰ，Ａ）

【文献】 特開２００９−１０６４２４（ＪＰ，Ａ）

【文献】 野里 博和，"画像認識技術を用いた大腸内視鏡画像の客観的評価手法"，情報処理学会研究報告，日本，一般社団法人情報処理学会，２０１２年 ２月１５日，ｐ．１−６

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００− １／３２

Ｇ０２Ｂ ２３／２４−２３／２６

Ｇ０６Ｔ ７／００− ７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

カラー内視鏡画像データを取得する画像データ取得手段と、
前記カラー内視鏡画像データによる内視鏡画像を構成する各画素の色相値及び彩度値を算出する色彩算出手段と、
前記各画素の色相値及び彩度値について、該画素と、評価対象の病変に対応する所定の基準値との相関値を算出する相関値算出手段と、
算出された各画素における相関値を積算し、積算することによって得た総和を病変部の重症度を評価する評価値とする評価値算出手段と、
を備える、
病変評価情報生成装置。

【請求項2】

前記相関値算出手段は、
色相値と彩度値を座標軸とする所定の二次元座標系内における前記画素と前記基準値との距離に基づいて前記相関値を算出する、
請求項１に記載の病変評価情報生成装置。

【請求項3】

前記相関値算出手段は、
前記二次元座標系内における前記画素と前記基準値との距離のうち、互いの色相値の距離を色相距離と定義し、互いの彩度値の距離を彩度距離と定義した場合、
前記色相距離に基づいて色相に関する色相相関値を算出し、
前記彩度距離に基づいて彩度に関する彩度相関値を算出し、
算出された色相相関値と彩度相関値とを乗算することにより前記相関値を算出する、
請求項２に記載の病変評価情報生成装置。

【請求項4】

前記色相相関値は、
正規化された値であり、
前記色相距離が所定距離より長いとき、値が０であり、
前記色相距離が前記所定距離以内のとき、該色相距離が短いほど１に近い、
請求項３に記載の病変評価情報生成装置。

【請求項5】

前記彩度相関値は、
正規化された値であり、
前記画素の彩度値が前記基準値の彩度値よりも低くかつ前記彩度距離が所定距離より長いとき、値が０であり、
前記画素の彩度値が前記基準値の彩度値よりも低くかつ前記彩度距離が所定距離以内のとき、該彩度距離が短いほど１に近く、
前記画素の彩度値が前記基準値の彩度値以上のとき、前記彩度距離に拘わらず１である、
請求項３又は請求項４に記載の病変評価情報生成装置。

【請求項6】

前記色彩算出手段は、
前記カラー内視鏡画像データの色空間をＨＳＩ色空間又はＨＳＶ色空間に変換することにより、色相値、彩度値及び輝度値を算出する、
請求項１から請求項５の何れか一項に記載の病変評価情報生成装置。

【請求項7】

前記彩度値を前記輝度値に基づいて補正する彩度値補正手段
を備え、
前記相関値算出手段は、
補正後の彩度値を用いて前記相関値の算出を行う、
請求項６に記載の病変評価情報生成装置。

【請求項8】

前記彩度値補正手段は、
前記画素の輝度値、彩度値を夫々、INT、SATと定義し、前記基準値として規定される組織の輝度値、彩度値を夫々、REFER_{_INT}、REFER_{_SAT}と定義し、該組織の輝度値と彩度値との相関係数に対応する角度をθと定義し、補正後の画素の輝度値、彩度値を夫々、INT_{_correction}、SAT_{_correction}と定義した場合に、次式

により、前記画素の彩度値を補正する、
請求項７に記載の病変評価情報生成装置。

【請求項9】

前記組織は、
血液である、
請求項８に記載の病変評価情報生成装置。

【請求項10】

前記各画素について前記色相値及び前記彩度値に基づいて病変部を写す画素か否かを判定する病変画素判定手段
を備え、
前記相関値算出手段は、
病変部を写す画素と判定されたものについてだけ前記相関値を算出する、
請求項１から請求項９の何れか一項に記載の病変評価情報生成装置。

【請求項11】

前記評価値を所定の表示画面に表示させる表示手段
を備える、
請求項１から請求項１０の何れか一項に記載の病変評価情報生成装置。

【請求項12】

前記相関値が算出された各画素の色情報を該相関値に応じた色情報に置換する色情報置換手段
を備え、
前記表示手段は、
前記色情報が置換された画素により構成される内視鏡画像を前記表示画面に表示させる、
請求項１１に記載の病変評価情報生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、患者の病変部の重症度を評価するための装置に関連し、詳しくは、カラー内視鏡画像の色情報に基づいて病変部の重症度を評価する評価情報を生成する病変評価情報生成装置に関する。

【背景技術】

【0002】

病変部は、一般に正常な粘膜組織とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織に対して僅かに色の異なる病変部の識別も可能になってきている。しかし、術者が内視鏡画像内に含まれる僅かな色の相違によって正常組織と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。そこで、例えば特許文献１に、病変部等の識別を容易にするため、白色光を使用して撮像した内視鏡画像データに対して色の違いを強調する色変換処理を行う機能を備えた電子内視鏡装置が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１０６４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の電子内視鏡装置によって生成される画像は、通常の内視鏡画像に比べれば正常組織と病変部とを識別し易いものといえる。しかし、病変部の色は症状の程度に応じて変化する。症状の程度に応じた変化は微妙であるため、経験の浅い術者では、特許文献１に記載の技術をはじめとする公知の技術を用いて正常組織と病変部とを識別することができたとしても、病変部の重症度を正確に評価することは難しい。更には、熟練した術者であっても、重症度の評価が術者個々人の経験や知識に依存する読像技能に委ねられるため、客観的かつ再現性のある（術者のスキルに依存しない）評価を行うことができなかった。

【0005】

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、病変部の重症度について客観性かつ再現性が担保された評価を行うことを可能とする病変評価情報生成装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の実施形態の病変評価情報生成装置は、カラー内視鏡画像データを取得する画像データ取得手段と、カラー内視鏡画像データによる内視鏡画像を構成する各画素の色相値及び彩度値を算出する色彩算出手段と、各画素の色相値及び彩度値について画素と評価対象の病変に対応する所定の基準値との相関値を算出する相関値算出手段と、算出された各画素における相関値を積算し、積算することによって得た総和を病変部の重症度を評価する評価値とする評価値算出手段とを備える。

【0007】

本実施形態のように、評価対象の病変に対応する基準値との相関値を画素毎に算出し、算出された相関値の総和を求めることにより、病変部の重症度について客観性かつ再現性が担保された評価を行うのに好適な評価値が得られる。これにより、術者は、病変の症状の程度を客観的に把握することができる。

【0008】

相関値算出手段は、色相値と彩度値を座標軸とする所定の二次元座標系内における画素と基準値との距離に基づいて相関値を算出する構成としてもよい。

【0009】

相関値算出手段は、更に、二次元座標系内における画素と基準値との距離のうち、互いの色相値の距離を色相距離と定義し、互いの彩度値の距離を彩度距離と定義した場合、色相距離に基づいて色相に関する色相相関値を算出し、彩度距離に基づいて彩度に関する彩度相関値を算出し、算出された色相相関値と彩度相関値とを乗算することにより相関値を算出する構成としてもよい。

【0010】

色相相関値は、例えば正規化された値である。色相相関値は、例えば、色相距離が所定距離より長いとき、値が０であり、色相距離が所定距離以内のとき、色相距離が短いほど１に近い。

【0011】

彩度相関値は、例えば正規化された値である。彩度相関値は、例えば、画素の彩度値が基準値の彩度値よりも低くかつ彩度距離が所定距離より長いとき、値が０であり、画素の彩度値が基準値の彩度値よりも低くかつ彩度距離が所定距離以内のとき、彩度距離が短いほど１に近く、画素の彩度値が基準値の彩度値以上のとき、彩度距離に拘わらず１である。

【0012】

色彩算出手段は、カラー内視鏡画像データの色空間をＨＳＩ色空間又はＨＳＶ色空間に変換することにより、色相値、彩度値及び輝度値を算出する構成としてもよい。

【0013】

病変評価情報生成装置は、彩度値を輝度値に基づいて補正する彩度値補正手段を備えた構成としてもよい。この場合、相関値算出手段は、補正後の彩度値を用いて相関値の算出を行う。

【0014】

彩度値補正手段は、画素の輝度値、彩度値を夫々、INT、SATと定義し、基準値として規定される組織の輝度値、彩度値を夫々、REFER_{_INT}、REFER_{_SAT}と定義し、組織の輝度値と彩度値との相関係数に対応する角度をθと定義し、補正後の画素の輝度値、彩度値を夫々、INT_{_correction}、SAT_{_correction}と定義した場合に、次式

により、画素の彩度値を補正する構成としてもよい。上記組織は、例えば血液である。

【0015】

病変評価情報生成装置は、各画素について色相値及び彩度値に基づいて病変部を写す画素か否かを判定する病変画素判定手段を備えた構成としてもよい。この場合、相関値算出手段は、病変部を写す画素と判定されたものについてだけ相関値を算出する。

【0016】

病変評価情報生成装置は、評価値を所定の表示画面に表示させる表示手段を備えた構成としてもよい。

【0017】

病変評価情報生成装置は、相関値が算出された各画素の色情報を相関値に応じた色情報に置換する色情報置換手段を備えた構成としてもよい。この場合、表示手段は、色情報が置換された画素により構成される内視鏡画像を表示画面に表示させる。

【発明の効果】

【0018】

本実施形態の病変評価情報生成装置によれば、病変部の重症度について客観性かつ再現性が担保された評価を行うのに好適な評価情報が得られる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態の電子内視鏡装置の構成を示すブロック図である。

【図2】本発明の実施形態の電子内視鏡装置に備えられる電子内視鏡用プロセッサにて実行される病変評価情報生成処理のフローチャートを示す図である。

【図3】図２の処理ステップＳ１１（病変画素の判定）のサブルーチンを示す図である。

【図4】複数の炎症性腸疾患患者の内視鏡画像データから抽出した生体組織像の画素データをプロットした散布図である。

【図5】図２の処理ステップＳ１３（炎症部の画素単位でのスコア算出）のサブルーチンを示す図である。

【図6】血液サンプルデータの分布図である。

【図7】内視鏡画像内の病変領域や正常領域の画素データ及び血液サンプルデータの分布図である。

【図8】色相・彩度距離と相関値との関係を示す図である。

【図9】表示色テーブルを概念的に示す図である。

【図10】モニタの表示画面に表示される評価画像例である。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態について図面を用いて詳細に説明する。

【0021】

図１は、本実施形態の電子内視鏡装置１の構成を示すブロック図である。図１に示されるように、電子内視鏡装置１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。

【0022】

電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡装置１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡装置１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡装置１内の各回路に出力する。

【0023】

電子内視鏡用プロセッサ２００は、電子スコープ１００に照明光を供給する光源装置２３０を備えている。光源装置２３０は、ランプ２３２、ランプ電源２３４、集光レンズ２３６及び調光装置２４０を備えている。ランプ２３２は、ランプ電源２３４から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプであり、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプが適用される。ランプ２３２より放射された照明光は、集光レンズ２３６により集光された後、調光装置２４０を介して電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射される。

【0024】

調光装置２４０は、システムコントローラ２０２の制御に基づいてＬＣＢ１０２の入射端に入射される照明光の光量を調整する装置であり、絞り２４２、モータ２４３及びドライバ２４４を備えている。ドライバ２４４は、モータ２４３を駆動するための駆動電流を生成してモータ２４３に供給する。絞り２４２は、モータ２４３による駆動によって照明光が通過する開口を変化させることにより、開口を通過する照明光の光量を調整する。

【0025】

入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

【0026】

固体撮像素子１０８は、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。

【0027】

電子スコープ１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される原色信号に対して色補間、マトリクス演算、Ｙ／Ｃ分離等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。

【0028】

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子スコープ１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。

【0029】

タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２及び画像処理ユニット２２０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

【0030】

画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された内視鏡画像を通じて例えば消化管内の診断等を行うことができる。

【0031】

電子内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、電子内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、画像解析結果、術者所見等）をサーバ６００にアップロードすることにより、サーバ６００に保存することができる。

【0032】

［病変評価情報生成処理］
図２は、電子内視鏡用プロセッサ２００にて実行される病変評価情報生成処理のフローチャートを示す。以下に説明する病変評価情報生成処理は、電子スコープ１００により撮像された撮影画角内の病変部であって、炎症性腸疾患（IBD）の病変である炎症（浮腫や易出血性を含む赤変病変）の重症度を客観的に評価するための処理である。病変評価情報生成処理は、概略的には、カラー内視鏡画像データに含まれる各画素について、例えば受光面の左上隅に位置する画素から所定の画素アドレス順に、病変部を写す画素（以下、「病変画素」と記す。）であるか否かを判定し、病変画素と判定された画素に写る病変部の重症度を示すスコアを算出する。全ての病変画素についてスコアが算出されると、算出された全てのスコアに基づいて病変部の重症度を評価するための評価値が算出される。評価値は、所定のアルゴリズム（図２に示される病変評価情報生成処理）の実行により算出される再現性が担保された数値データである。そのため、術者は評価値を把握することにより、病変部の重症度を客観的に評価することができる。

【0033】

［図２のＳ１１（病変画素の判定）］
本処理ステップＳ１１（病変画素の判定）では、処理対象の画素（ｘ，ｙ）が病変画素であるか否かが判定される。本処理ステップＳ１１（病変画素の判定）を実行して病変画素を検出することにより、以降の処理ステップの処理実行対象を病変画素に限定することができる。これにより、本フローチャート全体の処理量が削減される。図３に、本処理ステップＳ１１（病変画素の判定）のサブルーチンを示す。

【0034】

（図３のＳ１１ａ）
本処理ステップＳ１１ａでは、処理対象の画素（ｘ，ｙ）について、ドライバ信号処理回路１１２より入力した画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）が所定のマトリクス係数を用いて原色信号（Ｒ、Ｇ、Ｂ）に変換される。

【0035】

（図３のＳ１１ｂ）
本処理ステップＳ１１ｂでは、ＲＧＢ３原色で定義されるＲＧＢ空間の画素値（Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ））が、色相（Hue）・彩度（Saturation）・輝度（Intensity）の３要素で定義されるＨＳＩ（Hue-Saturation-Intensity）色空間の画素値（色相Ｈ（ｘ，ｙ）、彩度Ｓ（ｘ，ｙ）、輝度Ｉ（ｘ，ｙ））に変換される。変換処理後の画素値（Ｈ（ｘ，ｙ）、Ｓ（ｘ，ｙ）、Ｉ（ｘ，ｙ））は、画像処理ユニット２２０内のメモリ２２０ａに保存される。なお、本処理ステップＳ１１ｂでは、ＲＧＢ空間の画素値（Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ））を、ＨＳＩ色空間の画素値（Ｈ（ｘ，ｙ）、Ｓ（ｘ，ｙ）、Ｉ（ｘ，ｙ））に代えて、色相・彩度・明度（Value）の３要素で定義されるＨＳＶ（Hue-Saturation-Value）色空間の画素値（色相Ｈ（ｘ，ｙ）、彩度Ｓ（ｘ，ｙ）、明度Ｖ（ｘ，ｙ））に変換してもよい。

【0036】

（図３のＳ１１ｃ）
本処理ステップＳ１１ｃでは、処理対象の画素（ｘ，ｙ）が病変画素であるか否かが色相値Ｈ（ｘ，ｙ）及び彩度値Ｓ（ｘ，ｙ）に基づいて判定される。図４は、本判定処理において用いられる参照データを示す図である。図４は、複数の炎症性腸疾患患者の内視鏡画像データより抽出した生体組織像の画素データ（色相値Ｈ（ｘ，ｙ）と彩度値Ｓ（ｘ，ｙ）からなるデータ対）をプロットした散布図となっている。図４に示される散布図は、右側下方の一点鎖線で囲まれた領域Ａとそれ以外の領域Ｂに区分される。領域Ａは、炎症性腸疾患の内視鏡診断に熟練した医師によって炎症と判断された部位の画素の大半がプロットされた領域であり、領域Ｂは、正常と判断された部位の画素の大半がプロットされた領域である。このように、領域Ａ及びＢは経験値に基づいて規定される領域であり、本発明者の研究の成果物である。

【0037】

本処理ステップＳ１１ｃでは、処理対象の画素（ｘ，ｙ）について、色相値Ｈ（ｘ，ｙ）と彩度値Ｓ（ｘ，ｙ）とのデータ対が領域Ａにプロットされるか否かが判定される。具体的には、画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））は、次式（１）及び（２）を満たす場合（図３のＳ１１ｃ：ＹＥＳ）、領域Ａにプロットされると判定される。画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））は、次式（１）と次式（２）の少なくとも一方を満たさない場合には（図３のＳ１１ｃ：ＮＯ）、領域Ｂにプロットされると判定される。なお、δ_Ｈ１、δ_Ｓ１及びδ_Ｓ２は、術者によって設定可能な補正値である。各補正値を適宜設定することにより、判定の厳しさ（感度）等を調整することができる。

【0038】

式（１）

【0039】

式（２）

【0040】

（図３のＳ１１ｄ）
領域Ａにプロットされる画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））の画素は、炎症部を写す画素（すなわち病変画素）と判定される。ここで、メモリ２２０ａには、フラグテーブルが格納されている。フラグテーブルは、カラー内視鏡画像データに含まれる各画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）から構成されたテーブルである。画像処理ユニット２２０は、病変画素と判定された画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値を「１」に書き換える。

【0041】

（図３のＳ１１ｅ）
領域Ｂにプロットされる画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））の画素は、正常組織を写す画素と判定される。画像処理ユニット２２０は、正常組織を写す画素と判定された画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値を「０」に書き換える。

【0042】

［図２のＳ１２（フラグの判定）］
本処理ステップＳ１２（フラグの判定）では、図３の処理ステップＳ１１ｄ又はＳ１１ｅにて書き換えられたフラグｆ（ｘ，ｙ）の値が判定される。フラグｆ（ｘ，ｙ）の値が「１」である場合（図２のＳ１２：ＹＥＳ）、本フローチャートの処理は、処理対象の画素（ｘ，ｙ）について炎症部の評価値（スコア）を算出するため、図２の処理ステップＳ１３（炎症部の画素単位でのスコア算出）に進む。フラグｆ（ｘ，ｙ）の値が「０」である場合（図２のＳ１２：ＮＯ）、本フローチャートの処理は、処理対象の画素（ｘ，ｙ）について炎症部の評価値（スコア）を算出する必要がないため、図２の処理ステップＳ１３（炎症部の画素単位でのスコア算出）等をスキップして処理ステップＳ１６（全画素終了判定）に進む。

【0043】

［図２のＳ１３（炎症部の画素単位でのスコア算出）］
本処理ステップＳ１３（炎症部の画素単位でのスコア算出）では、処理対象の病変画素（ｘ，ｙ）について炎症部の評価値（スコア）が算出される。図５に、本処理ステップＳ１３（炎症部の画素単位でのスコア算出）のサブルーチンを示す。

【0044】

（図５のＳ１３ａ）
本処理ステップＳ１３ａでは、処理対象の病変画素（ｘ，ｙ）について、メモリ２２０ａから画素値（Ｈ（ｘ，ｙ）、Ｓ（ｘ，ｙ）、Ｉ（ｘ，ｙ））が読み出される。

【0045】

（図５のＳ１３ｂ）
被写体を照明する照明光の照度は、撮影画角内において一様ではなく少なからずバラツキがある。また、炎症は血管の拡張及び血漿成分の血管外への漏出等を伴い、症状が進行するほど表面の正常粘膜が脱落するため、血液の色に近付くことが知られている。また、血液の彩度と輝度とが負の相関を持つことが知られている。本発明者は、これらの事実から、照明光の照度のバラツキにより炎症部の輝度に潜在的な誤差が含まれており、輝度の誤差が血液と色の近い炎症部の彩度に影響している（すなわち、炎症部の彩度が照明光の照度のバラツキに起因した誤差を持つ。）との知見を得た。そこで、本処理ステップＳ１３ｂでは、処理対象の病変画素（ｘ，ｙ）の彩度値Ｓ（ｘ，ｙ）が輝度値Ｉ（ｘ，ｙ）に基づいて補正される。具体的には、本処理ステップＳ１３ｂでは、処理対象の病変画素（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ）、彩度値Ｓ（ｘ，ｙ）を夫々、INT、SATと定義し、基準値として規定される血液サンプルデータの輝度値、彩度値を夫々、REFER_{_INT}、REFER_{_SAT}と定義し、該血液サンプルデータの輝度値と彩度値との相関係数に対応する角度をθと定義し、補正後の画素（ｘ，ｙ）の輝度値、彩度値を夫々、INT_{_correction}、SAT_{_correction}と定義した場合に、次式（３）により、彩度値Ｓ（ｘ，ｙ）が補正される。なお、血液サンプルの彩度と輝度の相関係数を求めたところ、−０．８６（θ＝１４９．３２）であることが認められた。

【0046】

式（３）

【0047】

このように、彩度値Ｓ（ｘ，ｙ）を輝度値Ｉ（ｘ，ｙ）を用いて補正することにより、照明光の照度のバラツキによる彩度値Ｓ（ｘ，ｙ）の誤差が補正される。

【0048】

図６（ａ）、図６（ｂ）の各図は、複数の症例より採取した血液サンプルデータの分布図である。図６（ａ）、図６（ｂ）の各図中、縦軸は彩度値Ｓを示し、横軸は輝度値Ｉを示す。図６（ａ）は、式（３）によって彩度値Ｓが補正される前の分布図を示し、図６（ｂ）は、式（３）によって彩度値Ｓが補正された後の分布図を示す。図６（ａ）に示されるように、血液サンプルデータは、血液サンプルデータ間で彩度値Ｓにバラツキがある。これを式（３）にて変換することにより、図６（ｂ）に示されるように、血液サンプルデータ間での彩度値Ｓのバラツキが軽減される。すなわち、血液サンプルデータは、輝度値Ｉに拘わらず彩度値Ｓがほぼ一定となる。

【0049】

図７（ａ）、図７（ｂ）の各図は、内視鏡画像内の領域Ｒ_１〜Ｒ_３の画素データ及び血液サンプルデータＳの分布図である。なお、図７（ａ）には、内視鏡画像と領域Ｒ_１〜Ｒ_３との対応関係を視覚的に示すため、内視鏡画像も示されている。領域Ｒ_１及びＲ_２は、病変画素群によりなる病変領域であり、領域Ｒ_３は、正常組織を写す画素群よりなる正常領域である。図７（ａ）、図７（ｂ）の各図中、縦軸は色相値Ｈ（ｘ，ｙ）を示し、横軸は彩度値Ｓ（ｘ，ｙ）を示す。図７（ａ）は、式（３）によって彩度値Ｓ（ｘ，ｙ）が補正される前の分布図を示しており、血液サンプルデータ間で彩度値Ｓ（ｘ，ｙ）にバラツキがあることが判る。図７（ｂ）は、式（３）によって彩度値Ｓ（ｘ，ｙ）が補正された後の分布図を示しており、血液サンプルデータ間での彩度値Ｓ（ｘ，ｙ）のバラツキが軽減されていることが判る。

【0050】

上述したように、炎症は、症状が進行するほど表面の正常粘膜が脱落するため、鮮やかな赤（彩度の高い赤）となって血液の色に近付き、症状が軽いほど表面の正常粘膜が厚いため、くすんだ赤（彩度の低い赤）となる。そのため、炎症部は重症なほど血液との色の相関が高い。図７の例では、病変領域Ｒ_１の方が病変領域Ｒ_２よりも症状が重い。彩度値Ｓ（ｘ，ｙ）の補正前は、図７（ａ）に示されるように、照度ムラに起因する彩度値Ｓ（ｘ，ｙ）のバラツキにより病変領域Ｒ_１と病変領域Ｒ_２との彩度の差が小さくなっているものの、病変領域Ｒ_１の彩度の方が血液の彩度に近いことが判る。一方、彩度値Ｓ（ｘ，ｙ）の補正後は、図７（ｂ）に示されるように、照度ムラに起因する彩度値Ｓ（ｘ，ｙ）のバラツキを軽減することにより病変領域Ｒ_１と病変領域Ｒ_２との彩度の差が大きくなっており、病変領域Ｒ_１の彩度の方が血液の彩度に近いことが一層明瞭となっている。このように、補正後の彩度値Ｓ（ｘ，ｙ）は炎症部の症状を一層精確に反映したものとなる。そのため、彩度値Ｓ（ｘ，ｙ）の補正を行うことにより、炎症部の重症度の評価精度が向上する。

【0051】

（図５のＳ１３ｃ）
図２の処理ステップＳ１３（炎症部の画素単位でのスコア算出）では、原則、図７のグラフ（色相値Ｈ（ｘ，ｙ）−彩度値Ｓ（ｘ，ｙ））上で距離が近い点同士ほど相関が高いという考えに基づいて相関値（スコア）を算出する。ここで、図８（ａ）に、相関値の算出処理の説明を補助する図を示す。図８（ａ）中、補正後の病変画素の色相値Ｈ（ｘ，ｙ）と血液重心Ｃの色相値Ｈ（ｘ_Ｃ，ｙ_Ｃ）との距離を色相距離Ｄ_{_HUE}と定義し、補正後の病変画素の彩度値Ｓ（ｘ，ｙ）と血液重心Ｃの彩度値Ｓ（ｘ_Ｃ，ｙ_Ｃ）との距離を彩度距離Ｄ_{_SAT}と定義する。血液重心Ｃは、血液サンプルデータ群の重心である。

【0052】

また、図８（ｂ）に、色相距離Ｄ_{_HUE}と相関値（以下、「色相相関値ＨＣＶ」と記す。）との関係を規定する色相相関テーブルを示す。色相相関値ＨＣＶは、例えば正規化された値（＝０．０〜１．０）である。色相相関テーブルは、メモリ２２０ａに格納されている。図８（ｂ）において、色相距離Ｄ_{_HUE}が０のとき、病変画素の色相値Ｈ（ｘ，ｙ）と血液重心Ｃの色相値Ｈ（ｘ_Ｃ，ｙ_Ｃ）とが一致し、色相距離Ｄ_{_HUE}が０より小さいとき（マイナスの値のとき）、病変画素の色相値Ｈ（ｘ，ｙ）の方が血液重心Ｃの色相値Ｈ（ｘ_Ｃ，ｙ_Ｃ）よりも低く、色相距離Ｄ_{_HUE}が０より大きいとき（プラスの値のとき）、病変画素の色相値Ｈ（ｘ，ｙ）の方が血液重心Ｃの色相値Ｈ（ｘ_Ｃ，ｙ_Ｃ）よりも高い。±３０°以内の色相距離Ｄ_{_HUE}の範囲（以下、「色相近似範囲Ｒ_１１」と記す。）は、血管の赤又は血管の赤に近い色である。そのため、図８（ｂ）に示されるように、色相近似範囲Ｒ_１１では色相距離Ｄ_{_HUE}が短いほど血管の赤に近いため、色相相関値ＨＣＶが高い（１に近い）。一方、色相近似範囲Ｒ_１１以外の範囲（以下、「色相近似外範囲Ｒ_１２」と記す。）は血管の赤に近い色ですらない。そのため、図８（ｂ）に示されるように、色相近似外範囲Ｒ_１２では色相相関値ＨＣＶが一律に０である。

【0053】

本処理ステップＳ１３ｃでは、処理対象の病変画素（ｘ，ｙ）について色相距離Ｄ_{_HUE}が色相近似範囲Ｒ_１１に収まるか否かが判定される。

【0054】

（図５のＳ１３ｄ）
色相距離Ｄ_{_HUE}が色相近似範囲Ｒ_１１に収まる場合（図５のＳ１３ｃ：ＹＥＳ）、色相相関テーブルに従い、色相距離Ｄ_{_HUE}に応じた色相相関値ＨＣＶが処理対象の病変画素（ｘ，ｙ）に対して与えられる。

【0055】

（図５のＳ１３ｅ）
色相距離Ｄ_{_HUE}が色相近似外範囲Ｒ_１２に収まる場合（図５のＳ１３ｃ：ＮＯ）、色相相関テーブルに従い、色相相関値ＨＣＶ＝０が処理対象の病変画素（ｘ，ｙ）に対して与えられる。

【0056】

（図５のＳ１３ｆ）
また、図８（ｃ）に、彩度距離Ｄ_{_SAT}と相関値（以下、「彩度相関値ＳＣＶ」と記す。）との関係を規定する彩度相関テーブルを示す。彩度相関値ＳＣＶは、例えば正規化された値（＝０．０〜１．０）である。彩度相関テーブルは、メモリ２２０ａに格納されている。図８（ｃ）において、彩度距離Ｄ_{_SAT}が０のとき、病変画素の彩度値Ｓ（ｘ，ｙ）と血液重心Ｃの彩度値Ｓ（ｘ_Ｃ，ｙ_Ｃ）とが一致し、彩度距離Ｄ_{_SAT}が０より小さいとき（マイナスの値のとき）、病変画素の彩度値Ｓ（ｘ，ｙ）の方が血液重心Ｃの彩度値Ｓ（ｘ_Ｃ，ｙ_Ｃ）よりも低く、彩度距離Ｄ_{_SAT}が０より大きいとき（プラスの値のとき）、病変画素の彩度値Ｓ（ｘ，ｙ）の方が血液重心Ｃの彩度値Ｓ（ｘ_Ｃ，ｙ_Ｃ）よりも高い。彩度距離Ｄ_{_SAT}が０以上の範囲（以下、「彩度一致範囲Ｒ_２１」と記す。）は、炎症部が重症化して正常粘膜が脱落することにより、血液に極めて近い鮮やかさを持った状態にある。そのため、図８（ｃ）に示されるように、彩度一致範囲Ｒ_２１では彩度相関値ＳＣＶが一律に１である。また、彩度距離Ｄ_{_SAT}が０より小さくかつ所定値ＰＶ以上の範囲（以下、「彩度近似範囲Ｒ_２２」と記す。）は、彩度一致範囲Ｒ_２１ほどでないにしろ、炎症部が重症化して正常粘膜が脱落することにより、血液に近い鮮やかさを持った状態にある。そのため、図８（ｃ）に示されるように、彩度近似範囲Ｒ_２２では彩度距離Ｄ_{_SAT}が短いほど血管の鮮やかさに近いため、彩度相関値ＳＣＶが高い（１に近い）。また、彩度距離Ｄ_{_SAT}が所定値ＰＶよりも小さい（マイナス側の）値の範囲（以下、「彩度近似外範囲Ｒ_２３」と記す。）は、正常粘膜が厚いため、くすんだ色となる。そのため、図８（ｃ）に示されるように、彩度近似外範囲Ｒ_２３では彩度相関値ＳＣＶが一律に０である。

【0057】

本処理ステップＳ１３ｆでは、処理対象の病変画素（ｘ，ｙ）について彩度距離Ｄ_{_SAT}が彩度一致範囲Ｒ_２１、彩度近似範囲Ｒ_２２、彩度近似外範囲Ｒ_２３の何れに収まるかが判定される。

【0058】

（図５のＳ１３ｇ）
彩度距離Ｄ_{_SAT}が彩度一致範囲Ｒ_２１に収まる場合（図５のＳ１３ｆ：Ｒ_２１）、彩度相関テーブルに従い、彩度相関値ＳＣＶ＝１が処理対象の病変画素（ｘ，ｙ）に対して与えられる。

【0059】

（図５のＳ１３ｈ）
彩度距離Ｄ_{_SAT}が彩度近似範囲Ｒ_２２に収まる場合（図５のＳ１３ｆ：Ｒ_２２）、彩度相関テーブルに従い、彩度距離Ｄ_{_SAT}に応じた彩度相関値ＳＣＶが処理対象の病変画素（ｘ，ｙ）に対して与えられる。

【0060】

（図５のＳ１３ｉ）
彩度距離Ｄ_{_SAT}が彩度近似外範囲Ｒ_２３に収まる場合（図５のＳ１３ｆ：Ｒ_２３）、彩度相関テーブルに従い、彩度相関値ＳＣＶ＝０が処理対象の病変画素（ｘ，ｙ）に対して与えられる。

【0061】

（図５のＳ１３ｊ）
本処理ステップＳ１３ｊでは、処理対象の病変画素（ｘ，ｙ）に対して与えられた色相相関値ＨＣＶと彩度相関値ＳＣＶとを乗算することにより、処理対象の病変画素（ｘ，ｙ）と血液との相関値ＣＶ（＝０．０〜１．０）を得る。色相値と彩度値の２次元情報によって病変画素と血液との相関値を算出することにより、処理対象の病変画素（ｘ，ｙ）について、炎症部の重症度を反映した精度の高い評価情報が得られる。

【0062】

［図２のＳ１４（相関値ＣＶの積算）］
本処理ステップＳ１４（相関値ＣＶの積算）では、図２の処理ステップＳ１３（炎症部の画素単位でのスコア算出）にて求められた処理対象の病変画素（ｘ，ｙ）の相関値ＣＶを、これまで求めた各病変画素の相関値ＣＶの総和に積算する。各病変画素の相関値ＣＶを積算することにより、内視鏡画像内に写る病変部の重症度を数値化した客観的かつ再現性のある（術者のスキルに依存しない）評価値が得られる。

【0063】

［図２のＳ１５（色置換処理）］
メモリ２２０ａには、相関値ＣＶと所定の表示色とを関連付けた表示色テーブルが格納されている。図９に、表示色テーブルの概念図を示す。図９に示されるように、表示色テーブルは、相関値ＣＶ（＝０．０〜１．０）を１１段階に分けており、各段階に対して所定の表示色を関連付けている。本処理ステップＳ１５（色置換処理）では、表示色テーブルに従い、処理対象の画素（ｘ，ｙ）の色情報が相関値ＣＶと関連付けられた表示色の色情報に置換される。処理対象の画素（ｘ，ｙ）は、例えば、相関値ＣＶが０に近いほど寒色系の色に置換され、相関値ＣＶが１に近いほど暖色系の色に置換される。

【0064】

［図２のＳ１６（全画素終了判定）］
本処理ステップＳ１６（全画素終了判定）では、全ての画素について図２の処理ステップＳ１１（病変画素の判定）が実行されたか否かが判定される。処理ステップＳ１１（病変画素の判定）が実行されていない画素が残っている場合（図２のＳ１６：ＮＯ）、本フローチャートの処理が処理ステップＳ１１（病変画素の判定）に戻る。

【0065】

［図２のＳ１７（評価画像の表示）］
全ての画素について図２の処理ステップＳ１１（病変画素の判定）が実行された場合（図２のＳ１６：ＹＥＳ）、所定の評価画像がモニタ３００の表示画面に表示される。図１０に、評価画像を例示する。図１０に例示されるように、評価画像には、図２の処理ステップＳ１５（色置換処理）にて各画素の色情報が置換された内視鏡画像が含まれる。図１０に示されるように、内視鏡画像は、各画素が炎症の重症度に応じた１１の段階の色で区分された階調画像となっている。そのため、術者は、撮影画角内のどの位置にどの程度の症状の炎症が発生しているかを容易に視認することができる。

【0066】

また、評価画像には、全ての病変画素の相関値ＣＶを積算することによって得た総和が炎症部の評価値（＝０〜画素数と同一の値）として表示される。図１０の例では、「スコア：１９１７」が表示される。このように、本実施形態では、炎症部の症状（炎症部の評価）が客観性かつ再現性が担保された数値として表示される。そのため、術者は、炎症部の重症度を客観的に把握することができる。

【0067】

従来、炎症性腸疾患の炎症の症状は、ＭＡＹＯスコア等の所見評価により４段階に区分されていた。一方、近年、粘膜治癒の達成と寛解維持期間との間に相関が見られることが判ってきた。そのため、ＭＡＹＯ０相当やＭＡＹＯ１相当の軽症例に対して症状を細かく評価することが炎症性腸疾患の治療に有効であると考えられる。本実施形態では、炎症部の症状が細かい数値として表示されるため、術者は、炎症部の症状を細かく評価することができる。すなわち、本実施形態では、ＭＡＹＯ０相当やＭＡＹＯ１相当の軽症例に対して症状を細かく評価することができるため、炎症性腸疾患の治療に有益である。

【0068】

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。例えば、相関値ＣＶは病変画素だけでなく、全ての画素に対して算出されてもよい。

【0069】

また、本実施形態では、固体撮像素子１０８としてＣＣＤイメージセンサが用いられているが、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の別の構成の固体撮像素子が用いられてもよい。

【0070】

また、本実施形態では、Ｒ、Ｇ、Ｂのベイヤ配列カラーフィルタ１０８ｂを有する固体撮像素子１０８が用いられているが、補色系のＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）、Ｇ（グリーン）のフィルタを有する固体撮像素子が用いられてもよい。

【0071】

また、本実施形態は炎症性腸疾患の内視鏡検査に本発明を適用した例であるが、当然ながら他の疾患の内視鏡検査にも本発明を適用することができる。

【符号の説明】

【0072】

１ 電子内視鏡装置
１００ 電子スコープ
２００ 電子内視鏡用プロセッサ
２２０ 画像処理ユニット
３００ モニタ
４００ プリンタ
６００ サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図8】

【図7】

【図9】

【図10】