特許 5784751 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5784751

(24)【登録日】2015年7月31日

(45)【発行日】2015年9月24日

(54)【発明の名称】画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

(51)【国際特許分類】

   A61B 1/00 20060101AFI20150907BHJP

   A61B 1/04 20060101ALI20150907BHJP

   H04N 5/225 20060101ALI20150907BHJP

   G06T 1/00 20060101ALI20150907BHJP

【ＦＩ】

   A61B1/00 320B

   A61B1/04 370

   A61B1/00 300D

   H04N5/225 F

   G06T1/00 290Z

【請求項の数】32

【全頁数】50

(21)【出願番号】特願2013-548327(P2013-548327)

(86)(22)【出願日】2012年12月10日

(86)【国際出願番号】JP2012081989

(87)【国際公開番号】WO2013085061

(87)【国際公開日】20130613

【審査請求日】2014年5月14日

(31)【優先権主張番号】特願2011-269055(P2011-269055)

(32)【優先日】2011年12月8日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】河野 隆志

(72)【発明者】

【氏名】神田 大和

(72)【発明者】

【氏名】北村 誠

(72)【発明者】

【氏名】弘田 昌士

【審査官】 樋熊 政一

(56)【参考文献】

【文献】 特開２０１０−１１５４１３（ＪＰ，Ａ）

【文献】 特開２０１１−２３４９３１（ＪＰ，Ａ）

【文献】 特開２００７−１７５４３４（ＪＰ，Ａ）

【文献】 特開２００６−１２２５０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００− １／３２

Ｇ０２Ｂ ２３／２４−２３／２６

(57)【特許請求の範囲】

【請求項1】

被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定部と、
前記残渣候補分布として判定された色特徴量の分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記候補分布判定部は、
前記粘膜分布と前記残渣候補分布とを判別する際に用いられる候補判定軸として、少なくとも赤みの強さが変化する色特徴量に対応する軸を設定する候補判定軸設定部と、
前記各画素又は前記各小領域が有する前記色特徴量の頻度分布を前記候補判定軸に対して作成する第１のヒストグラム作成部と、
前記粘膜分布に対応する色特徴量の範囲を定める判定閾値を前記候補判定軸上に設定する第１の判定閾値設定部と、
前記頻度分布と前記判定閾値とをもとに、前記粘膜分布と前記残渣候補分布とを判別する候補判定部と、
を有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記残渣分布判定部は、
前記残渣候補分布が前記残渣分布に相当するか否かを判定する際に用いられる判定軸として、少なくとも黄みの強さが変化する色特徴量に対応する軸を設定する判定軸設定部と、
前記残渣候補分布における色特徴量の頻度分布を前記判定軸に対して作成する第２のヒストグラム作成部と、
前記頻度分布と前記粘膜分布の代表値とをもとに、判定閾値を設定する第２の判定閾値設定部と、
前記判定閾値よりも黄みの強い側に存在する残渣候補分布を残渣分布として判定する判定部と、
を有することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記管腔内画像の輝度成分のエッジをもとに前記管腔内画像を分割した小領域単位で色特徴量を算出する色特徴量算出部をさらに備えることを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記候補判定軸は、Ｇ／Ｒ値に対応することを特徴とする請求項２に記載の画像処理装置。

【請求項6】

前記第１のヒストグラム作成部は、前記管腔内画像から泡領域、暗部領域、及び赤色病変領域との内の少なくとも１つを検出し、前記粘膜分布と前記残渣候補分布との判別に不要な領域と判定して除外する不要領域除外部を含むことを特徴とする請求項２に記載の画像処理装置。

【請求項7】

前記第１の判定閾値設定部は、予め複数の管腔内画像から取得した粘膜領域内の色特徴量を前記候補判定軸に対して累積した粘膜の頻度分布を作成し、前記粘膜の頻度分布において、頻度が最大となる色特徴量から赤みの弱い側を見たときに、頻度が最初に最小又は極小となるときの色特徴量を前記判定閾値として保持することを特徴とする請求項２に記載の画像処理装置。

【請求項8】

前記第１の判定閾値設定部は、前記頻度分布の双峰性の形状を評価し、該評価の結果をもとに前記頻度分布における境界位置を算出し、該境界位置を前記判定閾値に設定することを特徴とする請求項２に記載の画像処理装置。

【請求項9】

前記第１の判定閾値設定部は、前記管腔内画像を所定サイズの複数の矩形領域に分割し、前記複数の矩形領域毎に、前記色特徴量の頻度分布を作成し、前記複数の矩形領域間の色特徴量の頻度の最大値又は最頻値を抽出して合成する合成ヒストグラム作成部を含むことを特徴とする請求項２に記載の画像処理装置。

【請求項10】

前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記候補判定部は、Ｇ／Ｒ値を成分の１つとする色特徴量空間において、前記色特徴量の分布をクラスタリングすると共に、クラスタリングによって得られた各クラスタにおける前記Ｇ／Ｒ値の代表値を前記判定閾値と比較して、クラスタ毎に判定を行うことを特徴とする請求項２に記載の画像処理装置。

【請求項11】

前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記判定軸は、Ｂ／Ｇ値に対応することを特徴とする請求項３に記載の画像処理装置。

【請求項12】

前記第２の判定閾値設定部は、前記色特徴量の頻度分布を１つ又は２つの正規分布で近似し、前記１つの正規分布の代表値又は前記２つの正規分布の境界位置と、前記粘膜分布の代表値とをもとに、判定閾値を設定することを特徴とする請求項３に記載の画像処理装置。

【請求項13】

前記管腔内画像は、各画素位置においてＲ、Ｇ、Ｂの各色成分を有し、
前記判定部は、Ｂ／Ｇ値を成分の１つとする色特徴量空間において、前記色特徴量の分布をクラスタリングすると共に、クラスタリングによって得られた各クラスタにおける前記Ｂ／Ｇ値の代表値を、前記粘膜分布における前記Ｂ／Ｇ値の代表値と比較して、クラスタ毎に判定を行うことを特徴とする請求項３に記載の画像処理装置。

【請求項14】

被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置の作動方法において、
演算部が、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
前記演算部が、前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、
前記演算部が、残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップと、
を含むことを特徴とする画像処理装置の作動方法。

【請求項15】

被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させるプログラムにおいて、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、
残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップと、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。

【請求項16】

被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定部と、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定部により残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定部と、
を備えることを特徴とする画像処理装置。

【請求項17】

前記残渣分布判定部は、
前記第２の判定軸において、前記残渣候補を表すと判定された色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する分布モデル当てはめ部と、
前記１つ以上の分布モデルを所定の閾値と比較することにより、前記１つ以上の分布モデルの各々が残渣分布であるか否かを判定する分布モデル判定部と、
前記分布モデル判定部による判定結果をもとに、残渣を表す色特徴量を判定するための閾値を設定する閾値設定部と、
前記閾値設定部により設定された閾値をもとに、前記残渣候補として判定された前記色特徴量のうちから、残渣を表す色特徴量を判定する判定部と、
を備えることを特徴とする請求項１６に記載の画像処理装置。

【請求項18】

前記管腔内画像から前記残渣の判定に不要な領域を除外する不要領域除外部をさらに備えることを特徴とする請求項１６に記載の画像処理装置。

【請求項19】

前記残渣候補分布判定部は、
前記第１の判定軸において、前記色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する分布モデル当てはめ部と、
前記１つ以上の分布モデルを所定の閾値と比較することにより、前記１つ以上の分布モデルの各々が残渣候補分布であるか否かを判定する分布モデル判定部と、
前記分布モデル判定部による判定結果をもとに、残渣候補を表す色特徴量を判定するための候補閾値を設定する候補閾値設定部と、
前記候補閾値をもとに、前記管腔内画像内の前記色特徴量のうち、残渣候補を表す色特徴量を判定する候補判定部と、
を備えることを特徴とする請求項１６に記載の画像処理装置。

【請求項20】

前記分布モデル当てはめ部は、
前記色特徴量の分布に対し、該色特徴量の分布に当てはめ可能な分布モデルよりも少ない数の分布モデルを概要分布モデルとして当てはめる概要分布モデル当てはめ部と、
前記第１の判定軸における前記概要分布モデルの分布範囲を取得する概要分布モデル範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。

【請求項21】

前記分布モデル当てはめ部は、
前記１つ以上の分布モデルに、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する低比率分布モデル判定部と、
前記１つ以上の分布モデルに前記低比率分布モデルが含まれる場合に、前記１つ以上の分布モデルから前記低比率分布モデルを除外した残りの分布モデルが前記第１の判定軸に分布する分布範囲を取得する高比率分布モデル範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。

【請求項22】

前記分布モデル判定部は、
前記第１の判定軸における前記１つ以上の分布モデルの代表値を算出する代表値算出部と、
前記代表値に対応して前記第１の判定軸に予め設定された閾値をもとに、赤みの弱い側に分布する分布モデルを残渣候補分布として判定する閾値処理部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。

【請求項23】

前記候補閾値設定部は、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに異なる結果となる判定がなされたとき、前記第１の判定軸における前記複数の分布モデルの間の値を候補閾値として設定する分布モデル間候補閾値設定部と、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに同一の結果となる判定がなされたとき、又は、前記分布モデル当てはめ部により前記色特徴量の分布に対して１つの分布モデルが当てはめられた場合、前記第１の判定軸における前記１つ以上の分布モデルの外側の値を候補閾値として設定する分布モデル間外候補閾値設定部と、
を備えることを特徴とする請求項１９に記載の画像処理装置。

【請求項24】

前記候補判定部は、前記色特徴量の分布をクラスタリングすることにより取得したクラスタの各々に対し、各クラスタの代表値を用いて判定を行うことを特徴とする請求項１９に記載の画像処理装置。

【請求項25】

前記分布モデル当てはめ部は、
前記色特徴量の分布に対し、該色特徴量の分布に当てはめ可能な分布モデルよりも少ない数の分布モデルを概要分布モデルとして当てはめる概要分布モデル当てはめ部と、
前記第２の判定軸における前記概要分布モデルの分布範囲を取得する概要分布モデル範囲取得部と、
前記分布範囲において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１７に記載の画像処理装置。

【請求項26】

前記分布モデル当てはめ部は、
前記１つ以上の分布モデルに、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する低比率分布モデル判定部と、
前記１つ以上の分布モデルに前記低比率分布モデルが含まれる場合に、前記１つ以上の分布モデルから前記低比率分布モデルを除外した残りの分布モデルが前記第２の判定軸に分布する分布範囲を取得する高比率分布モデル範囲取得部と、
前記分布範囲において、前記残渣候補と判定された前記色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる分布モデル修正部と、
を備えることを特徴とする請求項１７に記載の画像処理装置。

【請求項27】

前記分布モデル判定部は、
前記第２の判定軸における前記１つ以上の分布モデルの代表値を算出する代表値算出部と、
前記代表値に対応して前記第２の判定軸に予め設定された閾値をもとに、黄みの強い側に分布する分布モデルを残渣分布として判定する閾値処理部と、
を備えることを特徴とする請求項１７に記載の画像処理装置。

【請求項28】

前記閾値処理部は、前記１つ以上の分布モデルのうち、前記残渣候補分布判定部により前記残渣候補として判定されなかった色特徴量の分布を粘膜分布とし、前記第２の判定軸における該粘膜分布の代表値を算出する粘膜基準閾値設定部を備えることを特徴とする請求項２７に記載の画像処理装置。

【請求項29】

前記閾値処理部は、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに異なる結果となる判定がなされたとき、前記第２の判定軸における前記複数の分布モデルの間の値を閾値として設定する分布モデル間閾値設定部と、
前記分布モデル当てはめ部により前記色特徴量の分布に対して複数の分布モデルが当てはめられた場合において、前記分布モデル判定部により前記複数の分布モデルに対して互いに同一の結果となる判定がなされたとき、又は、前記分布モデル当てはめ部により前記色特徴量の分布に対して１つの分布モデルが当てはめられた場合、前記第２の判定軸における前記１つ以上の分布モデルの外側の値を閾値として設定する分布モデル間外閾値設定部と、
を備えることを特徴とする請求項２７に記載の画像処理装置。

【請求項30】

前記判定部は、前記色特徴量の分布をクラスタリングすることにより取得した各クラスタに対し、当該クラスタの代表値を用いて判定を行うことを特徴とする請求項１７に記載の画像処理装置。

【請求項31】

被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置の作動方法において、
演算部が、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
前記演算部が、赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、
前記演算部が、黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、
を含むことを特徴とする画像処理装置の作動方法。

【請求項32】

被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させる画像処理プログラムにおいて、
前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、
赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、
黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被検体の体内を撮像した画像から、診断に不要な領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、患者等の被検体内に導入され、生体内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置で撮像を行うことにより取得した画像データを体外に無線送信する飲み込み型の内視鏡（カプセル内視鏡）も開発されている。

【0003】

しかしながら、これらの医用観察装置によって生体の管腔内を撮像した画像（管腔内画像）に対する観察及び診断には、多くの経験が必要とされる。そのため、医師による診断を補助する医療診断支援機能が望まれている。このような機能を実現する画像認識技術の１つとして、管腔内画像から注目対象領域を自動的に検出し、注目対象領域を抽出して提示したり、反対に、注目対象領域を診断対象から除外して提示する技術が提案されている。

【0004】

管腔内画像内の領域が注目対象領域であるか否かを判定する方法としては、例えば、各種領域（例えば粘膜領域と病変領域）の座標情報が予め与えられた複数枚の画像（教師データ）をもとに、各画素の画素値（Ｒ値、Ｇ値、Ｂ値）に基づく色特徴量（例えば、Ｇ／Ｒ値、Ｂ／Ｇ値）を成分とする色特徴量空間を用いる方法が知られている。この方法においては、上記色特徴量空間に、例えば注目対象領域に属する画素の色特徴量の分布とそれ以外の領域に属する画素の色特徴量の分布との間に判定閾値を設定し、判定対象である管腔内画像の各画素の色特徴量を上記判定閾値で閾値処理することにより、各画素が注目対象領域に属するか否かを判定する。

【0005】

しかしながら、色特徴量空間において各種領域が分布する範囲は管腔内画像間で大きく揺らぐことがあるため、上記方法においては領域の検出精度が低くなるという問題がある。そこで、特許文献１においては、色特徴量空間において、管腔内画像の画素（又は管腔内画像を分割した小領域）の色特徴量の分布をクラスタリングし、各クラスタから算出した重心等の代表値を上記判定閾値と比較してクラスタごとに各領域に属するか否かを判定することにより、画像間における分布の揺らぎに起因する検出精度の低下を抑制している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１０−１１３６１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、自動検出が望まれる注目対象領域としては、例えば、便等の残渣が写った残渣領域が挙げられる。管腔内画像における残渣領域の判別は、色特徴量空間において、例えば黄みの強さを表す座標軸上に予め定められた判定閾値を設定することにより行うことができる。しかしながら、判定に用いる座標軸によっては、色特徴量の分布が上記判定閾値を超えて大きく変動する場合がある。このような場合、残渣領域の誤判別が生じてしまうという問題がある。

【0008】

本発明は、上記に鑑みて為されたものであって、管腔内画像から残渣領域を精度良く判別することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定部と、残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定部とを備えることを特徴とする。

【0010】

本発明に係る画像処理方法は、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理方法において、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップとを含むことを特徴とする。

【0011】

本発明に係る画像処理プログラムは、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させるプログラムにおいて、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、前記色特徴量のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定ステップと、残渣候補分布のうち、前記粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定ステップとを含むことを特徴とする。

【0012】

また、本発明に係る画像処理装置は、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理装置において、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出部と、赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定部と、黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定部により残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定部と、を備えることを特徴とする。

【0013】

また、本発明に係る画像処理方法は、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理方法において、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、を含むことを特徴とする。

【0014】

また、本発明に係る画像処理プログラムは、被検体の管腔内を撮像した管腔内画像から、残渣が写った残渣領域を判別する画像処理をコンピュータに実行させる画像処理プログラムにおいて、前記管腔内画像内の各画素の色特徴量、又は、前記管腔内画像を複数の小領域に分割した各小領域の色特徴量を算出する色特徴量算出ステップと、赤みの度合いを判定する色特徴量の第１の判定軸において、前記色特徴量の分布に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定ステップと、黄みの度合いを判定する色特徴量の第２の判定軸において、前記残渣候補分布判定ステップにおいて残渣候補を表すと判定された色特徴量に対して１つ以上の分布モデルを当てはめ、該１つ以上の分布モデルの黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定ステップと、を含むことを特徴とする。

【発明の効果】

【0015】

本発明によれば、処理対象の管腔内画像から検出された粘膜分布を基準として、該粘膜分布よりも黄みの強い側に分布する残渣候補分布を残渣分布として判定するので、管腔内画像における色特徴量の分布が揺らいだ場合であっても、適応的に設定される基準に基づいて、残渣領域を精度良く判別することが可能となる。

【図面の簡単な説明】

【0016】

【図1】図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。

【図2】図２は、図１に示す画像処理装置の動作を示すフローチャートである。

【図3】図３は、図１に示す画像処理装置の処理対象である管腔内画像の一例を示す模式図である。

【図4】図４は、色特徴量空間にプロットされた色特徴量の分布を示す図である。

【図5】図５は、図１に示す残渣候補分布判定部の動作を示すフローチャートである。

【図6】図６は、色特徴量空間にプロットされた色特徴量の分布と、候補判定軸に対して作成された色特徴量の頻度分布を示す図である。

【図7】図７は、図１に示す分布判定部の動作を示すフローチャートである。

【図8】図８は、色特徴量空間にプロットされた色特徴量と、判定軸に対して作成された色特徴量の頻度分布とを示す図である。

【図9】図９は、図１に示す第２判定閾値設定部の動作を示すフローチャートである。

【図10】図１０は、残渣分布の判定閾値の設定方法を説明する図である。

【図11】図１１は、残渣分布の判定閾値の設定方法を説明する図である。

【図12】図１２は、残渣分布の判定閾値の設定方法を説明する図である。

【図13】図１３は、残渣分布の判定閾値の設定方法を説明する図である。

【図14】図１４は、変形例１−３における判定軸を示す図である。

【図15】図１５は、変形例１−５における残渣候補分布及び残渣分布の判定方法を説明する図である。

【図16】図１６は、変形例１−７における第１判定閾値設定部の構成を示すブロック図である。

【図17】図１７は、図１６に示す合成ヒストグラム作成部の動作を説明する図である。

【図18】図１８は、合成ヒストグラムを示す図である。

【図19】図１９は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。

【図20】図２０は、図１９に示す分布モデル間外候補閾値設定部の詳細な構成を示すブロック図である。

【図21】図２１は、図１９に示す分布モデル間外閾値設定部の詳細な構成を示すブロック図である。

【図22】図２２は、図１９に示す画像処理装置の動作を示すフローチャートである。

【図23】図２３は、図１９に示す不要領域除外部の動作を示すフローチャートである。

【図24】図２４は、図１９に示す残渣候補分布判定部の動作を示すフローチャートである。

【図25】図２５は、ＥＭアルゴリズムの概要を説明するための模式図である。

【図26】図２６は、ＥＭアルゴリズムの概要を説明するための模式図である。

【図27】図２７は、ＥＭアルゴリズムの概要を説明するための模式図である。

【図28A】図２８Ａは、ＥＭアルゴリズムの概要を説明するための模式図である。

【図28B】図２８Ｂは、ＥＭアルゴリズムの概要を説明するための模式図である。

【図29】図２９は、候補判定軸における１つ以上の分布モデルの代表値を説明するための図である。

【図30】図３０は、分布モデルの代表値の算出方法を説明するための図である。

【図31】図３１は、分布モデルの代表値の算出方法を説明するための図である。

【図32】図３２は、分布モデルの代表値の算出方法を説明するための図である。

【図33】図３３は、分布モデルの代表値の算出方法を説明するための図である。

【図34】図３４は、分布モデルの代表値の算出方法を説明するための図である。

【図35】図３５は、色特徴量のクラスタに対する残渣候補分布の判定方法を説明するための模式図である。

【図36】図３６は、色特徴量のクラスタに対する残渣候補分布の判定方法を説明するための模式図である。

【図37】図３７は、残渣候補を表す色特徴量を判定する候補閾値の設定方法を説明するための模式図である。

【図38】図３８は、残渣候補を表す色特徴量を判定する候補閾値の設定方法を説明するための模式図である。

【図39】図３９は、図１９に示す残渣分布判定部の動作を示すフローチャートである。

【図40】図４０は、色特徴量のクラスタに対する残渣分布の判定方法を説明するための模式図である。

【図41】図４１は、色特徴量のクラスタに対する残渣分布の判定方法を説明するための模式図である。

【図42】図４２は、残渣を表す色特徴量を判定する閾値の設定方法を説明するための模式図である。

【図43】図４３は、残渣を表す色特徴量を判定する閾値の設定方法を説明するための模式図である。

【図44】図４４は、変形例２−１における分布モデル間外候補閾値設定部の構成を示すブロック図である。

【図45】図４５は、変形例２−１における分布モデル間外閾値設定部の構成を示すブロック図である。

【図46】図４６は、図４４に示す分布モデル間外候補閾値設定部の動作を説明するための模式図である。

【図47】図４７は、図４４に示す分布モデル間外候補閾値設定部の動作を説明するための模式図である。

【図48】図４８は、図４４に示す分布モデル間外候補閾値設定部の動作を説明するための模式図である。

【図49】図４９は、図４４に示す分布モデル間外候補閾値設定部の動作を説明するための模式図である。

【図50】図５０は、変形例２−２における閾値処理部の構成を示すブロック図である。

【図51】図５１は、変形例２−２における色特徴量のクラスタに対する残渣分布の判定方法を説明するための模式図である。

【図52】図５２は、変形例２−２における色特徴量のクラスタに対する残渣分布の判定方法を説明するための模式図である。

【図53】図５３は、本発明の実施の形態３に係る画像処理装置が備える分布モデル当てはめ部の構成を示すブロック図である。

【図54】図５４は、管腔内画像内の色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部の動作を示すフローチャートである。

【図55】図５５は、図５３に示す分布モデル当てはめ部の動作を説明するための模式図である。

【図56】図５６は、図５３に示す分布モデル当てはめ部の動作を説明するための模式図である。

【図57】図５７は、図５３に示す分布モデル当てはめ部の動作を説明するための模式図である。

【図58】図５８は、図５３に示す分布モデル当てはめ部の動作を説明するための模式図である。

【図59】図５９は、残渣候補と判定された色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部の動作を示すフローチャートである。

【図60】図６０は、本発明の実施の形態４に係る画像処理装置が備える分布モデル当てはめ部の構成を示すブロック図である。

【図61】図６１は、管腔内画像内の色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部の動作を示すフローチャートである。

【図62】図６２は、図６０に示す分布モデル当てはめ部の動作を説明するための模式図である。

【図63】図６３は、図６０に示す分布モデル当てはめ部の動作を説明するための模式図である。

【図64】図６４は、図６０に示す分布モデル当てはめ部の動作を説明するための模式図である。

【図65】図６５は、残渣候補と判定された色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部の動作を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

【0018】

以下の実施の形態においては、一例として、カプセル内視鏡等の医用観察装置によって被検体の管腔内を撮像することにより取得された管腔内画像（以下、単に画像ともいう）から残渣領域を判別する画像処理について説明する。なお、以下の実施の形態において画像処理の対象となる管腔内画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分（波長成分）に対する画素レベル（画素値）を持つカラー画像である。

【0019】

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１において、画像信号等のデータを伝送するラインは実線で示し、制御信号を伝送するラインは破線で示している。

【0020】

図１に示すように、実施の形態１に係る画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、カプセル内視鏡等の医用観察装置によって撮像された画像に対応する画像データを取得する画像取得部としての外部インタフェース（Ｉ／Ｆ）部２０と、外部からの操作により入力信号を発生させる操作入力部３０と、各種情報の表示を行う表示部４０と、種々のプログラムや外部インタフェース部２０を介して取得された画像データを記録する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

【0021】

制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、外部インタフェース部２０から入力される画像データや操作入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

【0022】

外部インタフェース部２０は、外部機器や記録媒体から画像処理装置に画像データを取り込む画像取得部である。外部インタフェース部２０には、医用観察装置を含むシステムの態様に応じて、種々の外部機器が接続される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録媒体に記録された管腔内画像の画像データを読み出すリーダ装置が外部インタフェース部２０に接続される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、サーバとの間でデータ通信を行う通信装置等が外部インタフェース部２０に接続され、データ通信により画像データを画像処理装置１に取り込む。或いは、内視鏡等の医用観察装置を、ケーブルを介して外部インタフェース部２０に接続し、画像信号を医用観察装置から画像処理装置１に直接取り込んでも良い。

【0023】

操作入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。

【0024】

記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、外部インタフェース部２０を介して取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記録する。具体的には、記録部５０は、管腔内画像から残渣領域を判別する画像処理を当該画像処理装置１に実行させるための画像処理プログラム５１と、当該画像処理プログラムの実行中に用いられる判定閾値等を記録する。

【0025】

演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対応する画像データに画像処理を施し、管腔内画像から残渣領域を判別するための種々の演算処理を行う。

【0026】

次に、演算部１００の詳細な構成について説明する。
演算部１００は、管腔内画像内の各画素の色特徴量を算出して分布を作成する色特徴量算出部１１０と、色特徴量の分布のうち、相対的に赤みの強い側に分布する色特徴量を粘膜分布と判定し、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する残渣候補分布判定部１２０と、残渣候補分布のうち、粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布として判定する残渣分布判定部１３０とを備える。

【0027】

この内、残渣候補分布判定部１２０は、粘膜分布と残渣候補分布とを判別して各分布が残渣候補分布か否かを判定する判定軸を候補判定軸として設定する候補判定軸設定部１２１と、各画素が有する色特徴量の頻度分布を表すヒストグラムを上記候補判定軸に対して作成する第１ヒストグラム作成部１２２と、粘膜領域に対応する色特徴量の範囲を抽出するための判定閾値（以下、候補判定閾値ともいう）を候補判定軸上に設定する第１判定閾値設定部１２３と、この判定閾値をもとに、粘膜分布と残渣候補分布とを判定する候補判定部１２４とを有する。

【0028】

この内、候補判定軸設定部１２１は、少なくとも赤みの強さが変化する色特徴量に対応する軸を候補判定軸に設定する。
また、第１ヒストグラム作成部１２２は、管腔内画像から泡領域、暗部領域、及び赤色病変領域との内の少なくとも１つを検出し、残渣領域の判別に不要な領域と判定して除外する不要領域除外部１２２ａを含む。より詳細には、不要領域除外部１２２ａは、暗部領域判定部１２２ａ−１と、泡領域判定部１２２ａ−２と、赤色病変領域判定部１２２ａ−３とを含む。

【0029】

第１判定閾値設定部１２３は、第１ヒストグラム作成部１２２が作成したヒストグラムに基づいて、上記候補判定閾値を設定する。より詳細には、第１判定閾値設定部１２３は、ヒストグラムの双峰性の形状を評価して、この評価結果をもとにヒストグラムを１つ又は２つの正規分布で近似し、近似した正規分布と粘膜分布及び残渣分布との関係に基づいて候補判定閾値を設定する。或いは、第１判定閾値設定部１２３は、ヒストグラムが双峰性を有しないと評価される場合には、ヒストグラムを正規分布で近似することなく、ヒストグラムそのものに基づいて候補判定閾値を設定しても良い。

【0030】

一方、残渣分布判定部１３０は、残渣候補分布が残渣分布に相当するか否かを判定する際に用いられる判定軸を設定する判定軸設定部１３１と、残渣候補分布に含まれる色特徴量の頻度分布を表すヒストグラムを上記判定軸に対して作成する第２ヒストグラム作成部１３２と、残渣候補分布が残渣分布に相当するか否かを判定する際の判定閾値を判定軸上に設定する第２判定閾値設定部１３３と、判定閾値よりも黄みの強い側に存在する残渣候補分布を残渣分布として判定する判定部１３４とを有する。

【0031】

この内、判定軸設定部１３１は、黄みの強さが変化する色特徴量に対応する軸を判定軸に設定する。
また、第２判定閾値設定部１３３は、第２ヒストグラム作成部１３２が作成したヒストグラムに基づいて、上記判定閾値を設定する。より詳細には、第２判定閾値設定部１３３は、ヒストグラムの双峰性の形状を評価して、この評価結果をもとにヒストグラムを１つ又は２つの正規分布で近似し、近似した正規分布と粘膜分布との関係に基づいて判定閾値を設定する。或いは、第２判定閾値設定部１３３は、ヒストグラムが双峰性を有しないと評価される場合には、ヒストグラムを正規分布で近似することなく、ヒストグラムそのものに基づいて判定閾値を設定しても良い。

【0032】

次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。また、図３は、画像処理装置１の処理対象である管腔内画像の一例を示す模式図である。図３に例示する画像Ｍ１には、管腔内の粘膜領域ｍ１と、この粘膜領域ｍ１の手前側に写った残渣領域ｍ２と、粘膜の一部が白色化した白色病変領域ｍ３とが表示されている。

【0033】

まず、ステップＳ１１において、画像処理装置１は、外部インタフェース部２０を介して被検体の管腔内画像を取得し、記録部５０に記録する。演算部１００は、処理対象の画像（例えば、図３に示す画像Ｍ１）を記録部５０から順次読み込む。

【0034】

続くステップＳ１２において、色特徴量算出部１１０は、管腔内画像内の各画素の画素値（Ｒ成分、Ｇ成分、Ｂ成分）から色特徴量を算出する。実施の形態１においては、第１の色特徴量として、Ｇ成分とＲ成分の比であるＧ／Ｒ値を算出し、第２の色特徴量として、Ｂ成分とＧ成分の比であるＢ／Ｇ値とを算出する。

【0035】

ステップＳ１３において、残渣候補分布判定部１２０は、例えば図４に示すような管腔内画像の色特徴量の分布のうち、粘膜分布よりも赤みの弱い分布を残渣候補分布として判定する。
図５は、候補分布判定部の詳細な動作を示すフローチャートである。

【0036】

ステップＳ１３１において、候補判定軸設定部１２１は、色特徴量を粘膜分布と残渣候補分布とに判別する際に用いられる候補判定軸として、Ｇ／Ｒ値に対応する軸（Ｇ／Ｒ軸）を設定する。ここで、Ｒ、Ｇ、Ｂの各成分がいずれも０〜２５５の間の画素レベルで輝度飽和せずに安定して得られる管腔内画像において、粘膜分布の変動は、Ｇ／Ｒ値において十分に小さい。このため、候補判定軸をＧ／Ｒ値に対応して設定することにより、後段の閾値処理において、粘膜領域と、該粘膜領域に対して赤みが弱い色特徴量の分布である残渣候補分布とを分離し易くすることができる。

【0037】

ステップＳ１３２において、第１ヒストグラム作成部１２２は、候補判定軸に対して、管腔内画像の各画素の色特徴量の頻度分布を表すヒストグラムを作成する。
そのために、まず、不要領域除外部１２２ａは、粘膜分布と残渣候補分布との判別に不要な領域を除外する。不要領域としては、例えば、被写体の観察が困難な暗部領域や、管腔内において消化液等が泡となった泡領域や、残渣ではないことが確定的な赤色病変領域等が挙げられる。

【0038】

より詳細には、暗部領域判定部１２２ａ−１は、輝度値Ｙ（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第２９９頁）又は所定の画素値（例えば、Ｒ値）が所定の閾値よりも低い画素の領域を暗部領域として判定する。ここで、Ｒ値を用いるのは、Ｒの色成分は、管腔内画像においては最も吸光が少なく、被写体の表面でほとんど反射されるので、粘膜の構造情報を最もよく反映するからである。

【0039】

また、泡領域判定部１２２ａ−２は、輝度値Ｙの周波数成分が所定の閾値よりも高く、且つ、彩度（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第６４頁）が所定の閾値よりも低い画素の領域を泡領域として判定する。周波数成分は、管腔内画像にＤＣＴ変換（離散コサイン変換）を施した後に得られる係数や、元の管腔内画像とその平均画像との差分値を算出することにより求めることができる。また、彩度に基づく判定は、例えば、色比情報(Ｇ／Ｒ値及びＢ／Ｇ値)を閾値処理することにより行うことができる。

【0040】

また、赤色病変領域判定部１２２ａ−３は、色特徴量空間における色特徴量の頻度分布を、該頻度分布の山ごとに分水嶺等の処理を施すことによりクラスタリングし、頻度が多い主要な分布（例えば最大クラスタ）から外れた分布（クラスタ）を抽出し、この外れたクラスタのうち、絶対位置や相対位置が上記主要な分布よりも赤みの強い側に位置するクラスタ内の色特徴量に対応する画素の領域を赤色病変領域として判定する。

【0041】

不要領域除外部１２２ａは、これらの不要領域が検出された場合、各不要領域に含まれる画素にフラグ（例えば、０：その他、１：暗部領域、２：泡領域、３：赤色病変領域）を付加したフラグ画像を作成する。

【0042】

第１ヒストグラム作成部１２２は、このフラグ画像をもとに、管腔内画像から暗部領域、泡領域、及び赤色病変領域といった不要領域を除外し、その結果残った領域の画素の色特徴量の頻度分布を表すヒストグラムを候補判定軸に対して作成する。第１ヒストグラム作成部１２２は、さらに、作成したヒストグラムに対し、頻度が所定値以下となる分布をノイズとして除外する。或いは、ヒストグラムの和（積分値）が１となるように当該ヒストグラムを正規化した後、所定の割合以下となる分布をノイズとして除外しても良い。図６に示す分布Ｄ１０は、管腔内画像から不要領域を除いた後の管腔内画像における色特徴量の頻度分布を示している。なお、上述したノイズの除外処理は必須ではなく、省略しても良い。

【0043】

ステップＳ１３３において、第１判定閾値設定部１２３は、粘膜分布と残渣候補分布とを判別するための判定閾値（候補判定閾値）を設定する。より詳細には、第１判定閾値設定部１２３は、後述するステップＳ１３４において候補判定部１２４が判定に用いる各クラスタの代表値が最小値である場合、教師データによる粘膜分布及び残渣分布の各クラスタの最小値の分布を各々作成し、両分布の境界付近を候補判定閾値として予め算出して持っておく。また、候補判定部１２４が判定に用いる各クラスタの代表値が重心位置の場合、粘膜分布及び残渣分布の各々の重心の分布から、両分布の境界付近を候補判定閾値として持っておく。

【0044】

ステップＳ１３４において、候補判定部１２４は、判定閾値をもとに粘膜分布と残渣候補分布とを判別する。より詳細には、候補判定部１２４は、色特徴量空間における色特徴量の分布をクラスタリングすると共に、各クラスタの代表値（例えば、重心位置）を算出し、この代表値を候補判定閾値Ｔｈ０と比較することにより、クラスタごとに粘膜分布であるか残渣候補分布であるかの判定を行う。具体的には、図６に示すように、重心位置ｇ１０が候補判定閾値Ｔｈ０よりも赤みの強い側（Ｇ／Ｒ値の小さい側）にあるクラスタＣ１０は粘膜分布と判定され、重心位置ｇ２１、ｇ２２が候補判定閾値Ｔｈ０よりも赤みの弱い側（Ｇ／Ｒ値の大きい側）にあるクラスタＣ２１、Ｃ２２は残渣候補分布と判定される。なお、クラスタリングの手法としては、分水嶺処理、階層法、k-means法（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第２３１〜２３２頁）、期待値最大化アルゴリズム（ＥＭアルゴリズム）、自己組織化マップ等の公知の手法を用いることができる。また、クラスタの代表値としては、重心位置の他にも、平均値、最頻値、最小値等を用いても良い。また、図６には粘膜分布に相当するクラスタとして、クラスタＣ１０のみが示されているが、粘膜分布に相当するクラスタが複数生成される場合もあり得る。

【0045】

或いは、候補判定部１２４は、各色特徴量ｃ_nを候補判定閾値Ｔｈ０と比較することにより、色特徴量ｃ_nごとに粘膜分布と残渣候補分布とのうちのいずれに含まれるかの判定を行っても良い。
この後、画像処理装置１の動作はメインルーチンに戻る。

【0046】

ステップＳ１３に続くステップＳ１４において、残渣分布判定部１３０は、残渣候補分布判定部１２０から粘膜分布及び残渣候補分布にそれぞれ属する色特徴量ｃ_nの情報を受取り、残渣分布を判別する。具体的には、粘膜分布を基準として黄みの強い側に分布する残渣候補分布を残渣分布と判定する。
図７は、残渣分布判定部１３０の詳細な動作を示すフローチャートである。

【0047】

ステップＳ１４１において、判定軸設定部１３１は、残渣候補分布が残渣分布に相当するか否かを判定する際に用いられる判定軸として、Ｂ／Ｇ値に対応する軸（Ｂ／Ｇ軸）を設定する。Ｂ／Ｇ値は、黄みが強いほど値が小さくなる。

【0048】

ステップＳ１４２において、第２ヒストグラム作成部１３２は、判定軸に対して、残渣候補分布に属する色特徴量ｃ_nの頻度分布を表すヒストグラムを作成し、さらに、作成したヒストグラムに対し、頻度が所定値以下となる分布をノイズとして除外する。或いは、ヒストグラムの和（積分値）が１となるように当該ヒストグラムを正規化した後、所定の割合以下となる分布をノイズとして除外しても良い。例えば、図８に示す分布Ｄ２０は、残渣候補分布と判定されたクラスタＣ２１、Ｃ２２に含まれる色特徴量ｃ_nの分布を表す。なお、上述したノイズの除外処理は必須ではなく、省略しても良い。

【0049】

ステップＳ１４３において、第２判定閾値設定部１３３は、残渣候補分布が残渣分布に相当するか否かを判定するための判定閾値を設定する。
図９は、第２判定閾値設定部１３３の詳細な動作を示すフローチャートである。以下、図８及び図１０〜図１３に具体例を示しつつ説明する。なお、以下の説明においては、各分布の代表値として重心位置を用いるが、代表値としては、この他にも、平均値、最頻値等を用いても良い。

【0050】

まず、ステップｓ１において、第２判定閾値設定部１３３は、粘膜分布（クラスタＣ１０）の重心位置ｇ１０を判定軸（Ｂ／Ｇ軸）上に射影した重心位置ｋ_G10を取得する。

【0051】

続くステップｓ２において、第２判定閾値設定部１３３は、ステップＳ１４２において作成したヒストグラム（分布Ｄ２０）の幅Ｗが所定値以上であるか否かを判定する。

【0052】

幅Ｗが所定値以上である場合（ステップｓ２：Ｙｅｓ）、第２判定閾値設定部１３３は、分布Ｄ２０を２つの正規分布に近似する（ステップｓ３）。２つの正規分布への近似法としては、例えば、期待値最大化アルゴリズム（ＥＭアルゴリズム）を用いることができる。それにより、図１０に示すように、分布Ｄ２０の境界位置ｋ_BORDERと、２つの正規分布Ｄ２１及びＤ２２とが得られる。

【0053】

続くステップｓ４において、第２判定閾値設定部１３３は、２つの正規分布Ｄ２１、Ｄ２２それぞれの重心位置ｋ_G21、ｋ_G22を取得する。

【0054】

ステップｓ５において、第２判定閾値設定部１３３は、粘膜分布の重心位置ｋ_G10が２つの正規分布Ｄ２１、Ｄ２２の重心位置ｋ_G21、ｋ_G22の間にあるか否かを判定する。

【0055】

図１０に示すように、粘膜分布の重心位置ｋ_G10が２つの正規分布Ｄ２１、Ｄ２２の重心位置ｋ_G21、ｋ_G22の間にある場合（ステップｓ５：Ｙｅｓ）、第２判定閾値設定部１３３は、境界位置ｋ_BORDERを判定閾値に設定する（ステップｓ６）。

【0056】

一方、粘膜分布の重心位置ｋ_G10が２つの正規分布Ｄ２１、Ｄ２２の重心位置ｋ_G21、ｋ_G22の間にない場合（ステップｓ５：Ｎｏ）、続いて、第２判定閾値設定部１３３は、粘膜分布の重心位置ｋ_G10が２つの正規分布Ｄ２１、Ｄ２２の重心位置ｋ_G21、ｋ_G22よりも黄みの強い側（Ｂ／Ｇ値が小さい側）にあるか否かを判定する（ステップｓ７）。

【0057】

図１１に示すように、粘膜分布の重心位置ｋ_G10が重心位置ｋ_G21、ｋ_G22よりも黄みの強い側（Ｂ／Ｇ値が小さい側）にある場合（ステップｓ７：Ｙｅｓ）、第２判定閾値設定部１３３は、２つの正規分布Ｄ２１、Ｄ２２の分布範囲の最小値ｋ_Minを取得し、該最小値ｋ_Minを判定閾値に設定する（ステップｓ８）。

【0058】

一方、図１２に示すように、正規分布Ｄ２１、Ｄ２２の重心位置ｋ_G21、ｋ_G22の方が粘膜分布の重心位置ｋ_G10よりも黄みの強い側（Ｂ／Ｇ値が小さい側）にある場合（ステップｓ７：Ｎｏ）、第２判定閾値設定部１３３は、２つの正規分布Ｄ２１、Ｄ２２の分布範囲の最大値ｋ_Maxを取得し、該最大値ｋ_Maxを判定閾値に設定する（ステップｓ９）。

【0059】

また、ステップｓ２において、図１３に示すようにヒストグラム（分布Ｄ２０）の幅Ｗが所定値よりも小さいと判定された場合（ステップｓ２：Ｎｏ）、第２判定閾値設定部１３３は、ヒストグラムを１つの正規分布Ｄ３０に近似する（ステップｓ１０）。なお、特徴量空間内に示す分布Ｃ３０は、正規分布Ｄ３０に対応する色特徴量ｃ_nの分布である。

【0060】

ステップｓ１１において、第２判定閾値設定部１３３は、正規分布Ｄ３０の分布範囲の最大値ｋ_MAX、最小値ｋ_MIN、及び重心位置ｋ₃₀を取得する。なお、この際、第２判定閾値設定部１３３は、正規分布Ｄ３０ではなく、元のヒストグラム（図１３に示す分布Ｄ２０）から直接、分布範囲の最大値ｋ_MAX、最小値ｋ_MIN、及び重心位置ｋ₃₀を取得しても良い。この場合、ステップｓ１０は省略しても良い。

【0061】

ステップｓ１２において、第２判定閾値設定部１３３は、粘膜分布の重心位置ｋ_G10が正規分布Ｄ３０の重心位置ｋ_G30よりも黄みの強い側にあるか否かを判定する。

【0062】

粘膜分布の重心位置ｋ_G10が正規分布Ｄ３０の重心位置ｋ_G30よりも黄みの強い側（Ｂ／Ｇ値が小さい側）にある場合（ステップｓ１２：Ｙｅｓ）、第２判定閾値設定部１３３は、正規分布Ｄ３０の分布範囲の最小値ｋ_Minを判定閾値に設定する（ステップｓ１３）。

【0063】

一方、図１３に示すように、粘膜分布の重心位置ｋ_G10が正規分布Ｄ３０の重心位置ｋ_G30よりも黄みの弱い側（Ｂ／Ｇ値が大きい側）にある場合（ステップｓ１２：Ｎｏ、図１３に示す場合）、第２判定閾値設定部１３３は、正規分布Ｄ３０の分布範囲の最大値ｋ_Maxを判定閾値に設定する（ステップｓ１４）。
その後、残渣分布判定部１３０の動作は図７に示すサブルーチンに戻る。

【0064】

ステップＳ１４３に続くステップＳ１４４において、判定部１３４は、判定閾値をもとに、残渣候補分布が残渣分布に相当するか否かを判定する。より詳細には、判定部１３４は、残渣候補である各分布の代表値（例えば、重心位置）を判定閾値と比較し、代表値が判定閾値よりも黄みの強い側にある分布は残渣分布であると判定し、代表値が判定閾値よりも黄みの弱い側にある分布は残渣分布ではないと判定する。例えば、図１０の場合、判定閾値として設定された境界位置ｋ_BORDERよりも重心位置ｋ_G21における黄みが強い（Ｂ／Ｇ値が小さい）クラスタＣ２１は残渣分布であると判定され、境界位置ｋ_BORDERよりも重心位置ｋ_G22における黄みが弱い（Ｂ／Ｇ値が大きい）クラスタＣ２２は残渣分布ではないと判定される。このようにして残渣分布と判定された色特徴量を有する画素が、残渣領域の画素であると判定される。

【0065】

なお、判定部１３４は、残渣候補分布に含まれる各色特徴量ｃ_nを判定閾値と比較することにより、色特徴量ｃ_nごとに残渣分布に含まれるか否かの判定を行っても良い。
この後、画像処理装置１の動作はメインルーチンに戻る。

【0066】

ステップＳ１４に続くステップＳ１５において、演算部１００は、ステップＳ１４における判定結果を出力する。これに応じて、制御部１０は、この判定結果を記録部５０に記録させると共に、表示部４０に表示させる。

【0067】

以上説明したように、実施の形態１においては、赤みの強さが変化する色特徴量を表す候補判定軸において、粘膜分布と残渣候補分布とを判別し、次に、黄みの強さが変化する色特徴量を表す判定軸において、残渣候補分布と粘膜分布との相対的な関係に応じて残渣分布を判別する。即ち、実施の形態１によれば、学習によって予め設定された閾値ではなく、処理対象の管腔内画像内の色特徴量の相対的な関係に基づいて適応的に設定された閾値を用いて、残渣分布を判別するので、残渣領域を従来よりも高精度で検出することが可能となる。

【0068】

特に、残渣領域は、管腔内画像間における色特徴量の分布の変動が大きいので、処理対象の管腔内画像ごとに判定閾値を適応的に設定することにより、各管腔内画像における残渣領域の検出精度を向上させることができる。

【0069】

（変形例１−１）
次に、変形例１−１について説明する。
上述した実施の形態において、色特徴量算出部１１０は、管腔内画像内の各画素の色特徴量を算出して、色特徴量の分布を作成した。しかしながら、色特徴量算出部１１０は、管腔内画像を複数の小領域に分割し、小領域単位で色特徴量を算出しても良い。管腔内画像を分割する小領域は、予め設定されたサイズの矩形領域であっても良い。或いは、管腔内画像の画素値（Ｒ値若しくはＧ値）又は画素値から算出される輝度値Ｙに対して分水嶺処理（参考：Luc Vincent and Pierre Soille，“Watersheds in Digital Spaces： An Efficient Algorithm Based on Immersion Simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol．13，No．6， pp．583−598，June 1991）等を施すことにより、管腔内画像を複数の小領域に分割しても良い。小領域単位の色特徴量としては、例えば各小領域に含まれる画素の色特徴量の平均値が用いられる。

【0070】

この場合、残渣候補分布判定部１２０及び残渣分布判定部１３０は、小領域単位で算出された色特徴量の分布に基づいて、上述した処理を行う。
変形例１−１によれば、色特徴量を小領域単位で算出することによりノイズの影響を抑制することができるので、不要領域の判定精度を向上させることが可能となる。

【0071】

（変形例１−２）
次に、変形例１−２について説明する。
候補判定軸設定部１２１は、粘膜領域と残渣候補領域とを判別する際に用いられる候補判定軸を、複数の管腔内画像間における粘膜分布の変動が小さい色特徴量に対応して設定しても良い。それにより、粘膜領域の検出誤差を低減できるからである。この場合、候補判定軸設定部１２１は、予め複数の管腔内画像から取得した粘膜領域内の色特徴量をプロットした色特徴量空間において、例えば、１次関数による最小二乗法、回帰法、固有値法等を実行することにより、分散が最小となる方向を検出して、該方向に対応する色特徴量を候補判定軸として設定する。

【0072】

（変形例１−３）
次に、変形例１−３について説明する。
判定軸設定部１３１は、残渣候補分布が残渣分布に相当するか否かを判定する際に用いられる判定軸を、管腔内画像間において残渣候補領域の変動幅が大きい色特徴量に対応して設定しても良い。これは、残渣候補分布には、白色病変領域に対応する分布やハレーション領域に対応する分布のように、残渣分布以外の複数の分布が含まれるため、これらの分布を明確に分離できるようにするためである。この場合、判定軸設定部１３１は、予め複数の管腔内画像から取得した残渣領域内の色特徴量をプロットした色特徴量空間において、分散が最大となる方向を検出して、該方向に対応する色特徴量に関する座標軸を判定軸として設定する。

【0073】

図１４は、残渣候補分布において分散の大きい色特徴量に対応して設定された判定軸を、処理対象の管腔内画像内の画素の色特徴量がプロットされた色特徴量空間に重ねて表示した例を示している。図１４に示すように、設定された判定軸が色特徴量空間の軸と平行にならない場合（即ち、判定軸に対応する色特徴量が、Ｇ／Ｒ値、Ｂ／Ｒ値のいずれとも異なる場合）には、処理対象の管腔内画像の色特徴量を、Ｇ／Ｒ値及びＢ／Ｇ値を成分とする色特徴量空間に一旦プロットした上で、設定した判定軸に対して色特徴量の頻度分布を累積すると良い。

【0074】

或いは、別の変形例として、簡易的には、色特徴量空間において候補判定軸と直交する軸に対応する色特徴量を表す判定軸を設定しても良い。

【0075】

（変形例１−４）
次に、変形例１−４について説明する。
第１判定閾値設定部１２３は、粘膜領域と残渣候補領域とを判別する際に用いられる候補判定閾値を、予め複数の管腔内画像から取得した色特徴量の分布に基づいて設定しても良い。そのために、まず、第１判定閾値設定部１２３は、各管腔内画像に対し、粘膜領域内の画素の色特徴量（例えば、Ｇ／Ｒ値）の頻度分布を作成し、分水嶺処理により頻度分布を山毎に分割する。そして、山毎に分割した各分布の重心位置を算出する。続いて、第１判定閾値設定部１２３は、複数の管腔内画像から取得した重心位置の頻度分布を作成する。この重心位置の頻度分布において、頻度が最大となる色特徴量から赤みの弱い側（例えばＧ／Ｒ値が大きい側）を見たときに、頻度が最初に最小又は極小となるときの候補判定軸の値を候補判定閾値とする。

【0076】

（変形例１−５）
次に、変形例１−５について説明する。
候補判定部１２４は、処理対象の管腔内画像の色特徴量をクラスタリングしたクラスタごとに、残渣候補分布に相当するか否かを判定しても良い。なお、クラスタリングの手法としては、上述したように、分水嶺処理、階層法、k-means法、ＥＭアルゴリズム、自己組織化マップ等の公知の手法を用いることができる。

【0077】

この場合、候補判定部１２４は、例えば図１５に示すように、色特徴量空間における色特徴量の分布をクラスタリングして得られた各クラスタＣ４１〜Ｃ４３の重心位置ｇ４１（ｘ₄₁、ｙ₄₁）、ｇ４２（ｘ₄₂、ｙ₄₂）、ｇ４３（ｘ₄₃、ｙ₄₃）を取得する。なお、値ｘ₄₁、ｘ₄₂、ｘ₄₃は、重心位置ｇ４１、ｇ４２、ｇ４３の候補判定軸（Ｇ／Ｒ軸）における重心成分であり、値ｙ₄₁、ｙ₄₂、ｙ₄₃は、重心位置ｇ４１、ｇ４２、ｇ４３の判定軸（Ｂ／Ｇ軸）における重心成分である。

【0078】

候補判定部１２４は、重心成分ｘ₄₁、ｘ₄₂、ｘ₄₃と候補判定閾値Ｔｈ０とを比較し、候補判定閾値Ｔｈ０よりも重心位置が赤みの強い側（Ｇ／Ｒ値が小さい側）にあるクラスタＣ４１を粘膜分布と判定し、候補判定閾値Ｔｈ０よりも赤みの弱い側（Ｇ／Ｒ値が大きい側）に重心位置があるクラスタＣ４２、Ｃ４３を残渣候補分布と判定する。

【0079】

また、判定部１３４は、残渣候補分布に対し、クラスタごとに残渣分布に相当するか否かを判定しても良い。この場合、判定部１３４は、例えば図１５に示すように、残渣候補分布として判定されたクラスタＣ４２、Ｃ４３の重心成分ｙ₄₂、ｙ₄₃を、粘膜分布として判定されたクラスタＣ４１の重心成分ｙ₄₁と比較し、重心位置が粘膜分布のクラスタＣ４１の重心位置よりも黄みの強い側（Ｂ／Ｇ値が小さい側）にあるクラスタＣ４２を残渣分布と判定し、重心位置が粘膜分布のクラスタＣ４１の重心位置よりも黄みの弱い側（Ｂ／Ｇ値が大きい側）にあるクラスタＣ４３を残渣分布ではないと判定する。

【0080】

或いは、判定部１３４は、実施の形態において説明した方法により残渣候補分布が残渣分布に相当するか否かを判定する際に用いられる判定閾値が取得されている場合には、クラスタＣ４２、Ｃ４３の重心成分ｙ₄₂、ｙ₄₃をこの判定閾値と比較することにより判定を行っても良い。

【0081】

（変形例１−６）
次に、変形例１−６について説明する。
第１判定閾値設定部１２３は、第２判定閾値設定部１３３と同様に、ヒストグラムの双峰性の形状を評価し、この評価結果をもとにヒストグラムの境界位置を算出して、この境界位置を判定閾値に設定しても良い。

【0082】

即ち、第１判定閾値設定部１２３は、候補判定軸に対して作成された特徴量のヒストグラムが所定値以上の幅を有する場合、ＥＭアルゴリズム等の手法により、このヒストグラムに２つの正規分布に近似する。続いて、第１判定閾値設定部１２３は、候補判定軸において、各正規分布の代表値（例えば重心位置）をもとに、例えば教師データから取得された粘膜ヒストグラムの重心位置と比較して、各正規分布が粘膜分布と残渣候補分布とのいずれに対応するかを判定する。ここで、２つの正規分布が共に粘膜分布に対応すると判定された場合、第１判定閾値設定部１２３は、２つの正規分布の範囲の最大値を判定閾値に設定する。また、２つの正規分布が共に残渣候補分布に対応すると判定された場合、第１判定閾値設定部１２３は、２つの正規分布の範囲の最小値を判定閾値に設定する。さらに、２つの正規分布の内の一方が粘膜分布で、他方が残渣候補分布に対応すると判定された場合、第１判定閾値設定部１２３は、２つの正規分布の境界位置を判定閾値に設定する。

【0083】

また、ヒストグラムの幅が所定値以下の場合、第１判定閾値設定部１２３は、ヒストグラムを１つの正規分布に近似する。続いて、第１判定閾値設定部１２３は、候補判定軸における正規分布の代表値(例えば重心位置)をもとに、例えば教師データから取得された粘膜ヒストグラムの重心位置と比較して、その正規分布が粘膜分布と残渣候補分布との内のいずれに対応するかを判定する。そして、正規分布が粘膜分布に対応すると判定された場合、第１判定閾値設定部１２３は、正規分布の範囲の最大値を判定閾値に設定する。一方、正規分布が残渣候補分布に対応すると判定された場合、第１判定閾値設定部１２３は、正規分布の範囲の最小値を判定閾値に設定する。

【0084】

（変形例１−７）
次に、変形例１−７について説明する。
変形例１−７においては、図１に示す第１判定閾値設定部１２３の代わりに、図１６に示すように、合成ヒストグラム作成部１２５ａを含む第１判定閾値設定部１２５を適用しても良い。

【0085】

ここで、例えば図１７の画像Ｍ２として例示するように、管腔内画像の大部分に判定対象の一方の領域（例えば粘膜領域ｍ４）が写っており、判定対象の他方の領域（例えば残渣領域ｍ５）が僅かしか写っていない場合、管腔内画像全体の画素の色特徴量を用いて１つのヒストグラムを作成すると、僅かな領域に対応する頻度がノイズに埋もれてしまい、両領域に対応する粘度分布及び残渣分布を適切に判別できなくなるおそれがある。

【0086】

このような場合、合成ヒストグラム作成部１２５ａは、まず、管腔内画像を所定のサイズの複数の矩形領域に分割し、矩形領域毎に、画素の色特徴量の頻度分布を表すヒストグラムを候補判定軸に対して作成する。例えば、図１７の場合、１つの画像Ｍ２が１６個の矩形領域Ａ₀₁〜Ａ₁₆に分割され、各矩形領域Ａ₀₁〜Ａ₁₆に対して、図１８に示す１６個のヒストグラムａ₀₁〜ａ₁₆が作成される。続いて、合成ヒストグラム作成部１２５ａは、これらのヒストグラムを合成した合成ヒストグラムを作成する。図１８に示すように、合成ヒストグラムＤ４０は、各色特徴量において、ヒストグラムａ₀₁〜ａ₁₆間の頻度の最大値を抽出して合成したものである。或いは、最大値の代わりに最頻値を抽出して合成ヒストグラムを作成しても良い。

【0087】

この変形例１−７によれば、粘膜領域又は残渣領域のいずれかが極端に小さい場合においても、候補判定軸に対して作成される合成ヒストグラムには、各矩形領域内における粘膜領域と残渣領域との割合に応じた分布の特徴が現れる。従って、適切な判定閾値を設定して粘膜領域と残渣候補領域とを判別することが可能となる。

【0088】

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１９は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１９に示すように、実施の形態２に係る画像処理装置２は、図１に示す演算部１００の代わりに、演算部２００を備える。なお、演算部２００以外の各部の構成及び動作については、実施の形態１と同様である。

【0089】

演算部２００は、管腔内画像内の各画素又は小領域ごとの色特徴量を算出して分布を作成する色特徴量算出部２１０と、管腔内画像から残渣領域の判別に不要な領域を除外する不要領域除外部２２０と、管腔内画像内の色特徴量の赤みの度合いに基づき、残渣候補を表す色特徴量を判定する残渣候補分布判定部２３０と、残渣候補として判定された色特徴量の黄みの度合いに基づき、残渣を表す色特徴量を判定する残渣分布判定部２４０とを備える。このうち、色特徴量算出部２１０の動作は、図１に示す色特徴量算出部１１０と同様である。

【0090】

不要領域除外部２２０は、暗部領域判定部２２１と、泡領域判定部２２２と、赤色病変領域判定部２２３とを備え、これらの各部により泡領域、暗部領域、及び赤色病変領域としてそれぞれ判定された領域を不要領域として除外する。なお、暗部領域判定部２２１、泡領域判定部２２２、及び赤色病変領域判定部２２３の動作は、図１に示す暗部領域判定部１２２ａ−１、泡領域判定部１２２ａ−２、及び赤色病変領域判定部１２２ａ−３とそれぞれ同様である。

【0091】

残渣候補分布判定部２３０は、分布モデル当てはめ部２３１と、分布モデル判定部２３２と、候補閾値設定部２３３と、候補判定部２３４とを備え、相対的に赤みが弱い側に分布する色特徴量を残渣候補分布として判定する。このうち、分布モデル当てはめ部２３１は、赤みの度合いを判定するための候補判定軸（第１の判定軸）において、管腔内画像内の色特徴量の分布に対して１つ以上の分布モデルを当てはめる。分布モデル判定部２３２は、１つ以上の分布モデルを予め設定されている所定の閾値（固定値）と比較することにより、該１つ以上の分布モデルの赤みの度合いに基づいて、各分布モデルが残渣候補であるか否か判定する。候補閾値設定部２３３は、分布モデル判定部２３２による判定結果をもとに、残渣候補を表す色特徴量を判定するための候補閾値を設定する。候補判定部２３４は、設定された候補閾値をもとに、残渣候補を表す色特徴量を判定する。

【0092】

分布モデル判定部２３２は、候補判定軸における上記１つ以上の分布モデルの代表値を算出する代表値算出部２３２ａと、該代表値に対応して候補判定軸に予め設定された閾値をもとに、赤みの弱い分布モデルを残渣候補分布として判定する閾値処理部２３２ｂとを備える。

【0093】

また、候補閾値設定部２３３は、分布モデル判定部２３２による判定の結果、複数の分布モデルに対して互いに異なる結果となる判定がなされた場合に、候補判定軸における複数の分布モデルの間の値を候補閾値として設定する分布モデル間候補閾値設定部２３３ａと、複数の分布モデルに対して互いに同一の結果となる判定がなされた場合、又は色特徴量に対して１つしか分布モデルの当てはめが行われなかった場合に、候補判定軸における１つ又は複数の分布モデルの外側の値を候補閾値として設定する分布モデル間外候補閾値設定部２３３ｂとを備える。

【0094】

残渣分布判定部２４０は、分布モデル当てはめ部２４１と、分布モデル判定部２４２と、閾値設定部２４３と、判定部２４４とを備え、残渣候補と判定された色特徴量のうち、相対的に黄みが強い側に分布する色特徴量を残渣分布として判定する。このうち、分布モデル当てはめ部２４１は、黄みの度合いを判定するための色特徴量の判定軸（第２の判定軸）において、残渣候補と判定された色特徴量の分布に対して１つ以上の分布モデルを当てはめる。分布モデル判定部２４２は、１つ以上の分布モデルを予め設定されている所定の閾値（固定値）と比較することにより、該１つ以上の分布モデルの黄みの度合いに基づいて、各分布モデルが残渣であるか否かを判定する。閾値設定部２４３は、分布モデル判定部２４２による判定結果をもとに、残渣を表す色特徴量を判定するための閾値を設定する。判定部２４４は、閾値設定部２４３により設定された閾値をもとに、残渣を表す色特徴量を判定する。

【0095】

分布モデル判定部２４２は、判定軸における上記１つ以上の分布モデル代表値を算出する代表値算出部２４２ａと、該代表値に対応して判定軸に予め設定された閾値をもとに、黄みの強い分布モデルを残渣分布として判定する閾値処理部２４２ｂとを備える。

【0096】

図２０は、図１９に示す分布モデル間外候補閾値設定部２３３ｂの詳細な構成を示すブロック図である。図２０に示すように、分布モデル間外候補閾値設定部２３３ｂは、候補判定軸における分布モデルの代表値を候補閾値として設定する代表値候補閾値設定部２３３ｂ−１を備える。

【0097】

図２１は、図１９に示す分布モデル間外閾値設定部２４３ｂの詳細な構成を示すブロック図である。図２１に示すように、分布モデル間外閾値設定部２４３ｂは、判定軸における分布モデルの代表値を閾値として設定する代表値閾値設定部２４３ｂ−１を備える。

【0098】

次に、画像処理装置２の動作について説明する。図２２は、画像処理装置２の動作を示すフローチャートである。なお、図２２に示すステップＳ２１及びＳ２６は、図２に示すステップＳ１１及びＳ１５にそれぞれ対応している。

【0099】

ステップＳ２１に続くステップＳ２２において、色特徴量算出部２１０は、管腔内画像内の各画素の画素値（Ｒ成分、Ｇ成分、Ｂ成分）から色特徴量を算出する。実施の形態２においては、赤みを示す色特徴量として、Ｇ成分とＲ成分のと比であるＧ／Ｒ値を算出し、黄みを示す色特徴量として、Ｂ成分とＧ成分のと比であるＢ／Ｇ値を算出する。なお、実施の形態２においても、変形例１−１と同様に、各画素の色特徴量を取得する代わりに、管腔内画像を複数の小領域に分割した小領域単位で色特徴量を算出しても良い。

【0100】

続くステップＳ２３において、不要領域除外部２２０は、管腔内画像から残渣領域の判定に不要な領域を除外する。図２３は、不要領域除外部２２０の動作を示すフローチャートである。

【0101】

まず、ステップＳ２３１において、暗部領域判定部２２１は、輝度値が所定の閾値よりも低い領域（画素又は小領域）を暗部領域として判定する。例えば、管腔内画像の赤色成分の強さが所定の閾値以下の領域が暗部領域として判定される。暗部領域判定部２２１は、暗部領域を検出すると、当該領域に暗部領域を示すフラグ(１：暗部領域)を付加する。ここで、赤色成分に基づいて判定を行うのは、管腔内において赤色成分はもっとも吸収されにくく、被検体（粘膜）表面においてほとんど反射されるため、粘膜の構造情報をよく表すためである。

【0102】

続くステップＳ２３２において、泡領域判定部２２２は、輝度値の周波数成分が高く、且つ彩度が低い領域（画素又は小領域）を泡領域として判定する。泡領域判定部２２２は、泡領域を検出すると、当該領域に泡領域を示すフラグ（２：泡領域）を付加する。ここで、周波数成分は、管腔内画像にＤＣＴ変換（離散コサイン変換）を施した後に得られる係数や、原画像と平均画像との差分値等を算出することにより求めることができる。また、彩度は、Ｇ／Ｂ値及びＢ／Ｇ値が共に所定の範囲に分布しているか否かの判定、若しくは、輝度値及び赤色成分に対する閾値処理により判断することができる。

【0103】

続くステップＳ２３３において、赤色病変領域判定部２２３は、Ｇ／Ｒ値及びＢ／Ｇ値を成分とする色特徴量空間において、色特徴量の分布をクラスタリングし、主要なクラスタ（頻度が多いクラスタ、例えば最大クラスタ）に対して相対的に赤色の方向に外れたクラスタを赤色病変領域として判定する。クラスタリングは、色特徴量空間における色特徴量の頻度分布を、該頻度分布の山ごとに分水嶺等の処理を施すことによりことにより行う。赤色病変領域判定部２２３は、主要なクラスタから外れたクラスタの絶対位置及び主要なクラスタに対する相対位置が赤色方向にある場合、そのクラスタに対応する管腔内画像の領域に赤色病変領域を示すフラグ（３：赤色病変領域）を付加する。

【0104】

なお、ステップＳ２３１〜Ｓ２３３においてフラグ１〜３のいずれも附されていない領域には、その他のフラグ（０：その他）が付加される。ステップＳ２３４において、不要領域除外部２２０は、管腔内画像内の画素又は小領域のうち、フラグ１〜３が付加された画素又は小領域を不要領域として除外する。その後、演算部２００の動作はメインルーチンに戻る。

【0105】

ステップＳ２３に続くステップＳ２４において、残渣候補分布判定部２３０は、色特徴量のうち、赤みの弱い色特徴量を残渣候補として判定する。図２４は、残渣候補分布判定部２３０の動作を示すフローチャートである。

【0106】

まず、ステップＳ２４１において、分布モデル当てはめ部２３１は、赤みの度合いを判定する候補判定軸において、色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する。実施の形態２においては、候補判定軸として、０に近づくほど赤みが強くなるＧ／Ｒ値を設定する。また、実施の形態２においては、色特徴量の分布に対して１つ又は２つの正規分布を当てはめることとする。

【0107】

ここで、正規分布ｆ_k(i)は、次式（１）によって与えられる。

【数1】

式（１）において、色特徴量の分布に対して当てはめられるｋ番目の正規分布を表し、実施の形態２において、ｋ＝１又は２である。また、符号ｉは色特徴量Ｇ／Ｒ値を示す。

【0108】

この正規分布ｆ_k(i)は、色特徴量をもとに、パラメータである平均μ_k、分散σ_k²、混合比率ω_kを更新して最適解を求めるＥＭアルゴリズムの手法により求めることができる（参考：J. A. Bilmes, “A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models,” Technical Report TR-97-021, International Computer Science Institute and Computer Science Division, University of California at Berkeley, April 1998）。

【0109】

以下、図２５〜図２８Ｂを参照しながらＥＭアルゴリズムの概要を説明する。
ＥＭアルゴリズムとは、あるデータ軸（例えば、候補判定軸)に対する有限個数のデータ（例えば、色特徴量Ｇ／Ｒ値）に対し、以下に説明するＥステップ（expectation）及びＭステップ（maximization）を繰り返し、繰り返し回数又は対数尤度が最大値付近となったときに処理を終了するアルゴリズムである。

【0110】

＜Ｅステップ＞
（ｉ）ステップ１
例えば図２５に示すように、あるデータ軸におけるＮ（Ｎは自然数）個のデータＸ＝｛ｘ_i｝（ｉ＝１、２、…、Ｎ）の密度関数Ｆに対し、データＸが分布Ａ、Ｂのいずれに属するかを示す確率モデルを、２つの正規分布で定義する（図２６参照）。ここで、２つの正規分布の各種パラメータを、以下のように定義する。
平均：μ_A、μ_B
分散：σ_A²、σ_B²
分布Ａと分布Ｂの混合比率(事前確率)：ω_A、ω_B

【0111】

データＸが分布Ａ、Ｂに属する確率モデル（確率密度）ω_AＰ（Ｘ｜Ａ）、ω_BＰ（Ｘ｜Ｂ）は、それぞれ、次式（２）、（３）によって与えられる。

【数2】

【0112】

なお、図２６は、式（２）、（３）における各パラメータの初期値を以下のように設定した場合を示している。
平均μ_A：密度関数Ｆの最小値
平均μ_B：密度関数Ｆの最大値
分散σ_A²：１．０
分散σ_B²：１．０
混合比率ω_A：０．５
混合比率ω_B：０．５（＝１−ω_A）

【0113】

（ii）ステップ２
式（２）、（３）に示す確率密度から、Ｇ／Ｒ軸におけるあるデータの位置が、分布Ａ、Ｂのいずれに属しているかを示す事後確率Ｐ（Ａ｜Ｘ）、Ｐ（Ｂ｜Ｘ）を、式（４）及び（５）を用いて算出する(図２７参照)。

【数3】

ここで、データＸは、分布Ａ、Ｂのいずれかに属するため、次式のとおり、確率の和は１となる。
Ｐ（Ａ｜Ｘ）＋Ｐ（Ｂ｜Ｘ）＝１

【0114】

（iii）ステップ３
次式（６）に示す尤度Ｑ（Ｘ｜ω，μ，σ₂）を用い、密度関数Ｆに対して確率モデルが当てはめられているか否かを評価する。ここで、評価には、対数尤度が用いられる。対数尤度は尤もらしい状態において最大値を取る。

【数4】

【0115】

＜Ｍステップ＞
（iv）ステップ４
確率モデルのパラメータを更新する。平均μ_A、μ_Bの更新は、式（７）、（８）により、分散σ_A²、σ_B²の更新は式（９）、（１０）により、混合比率ω_A、ω_Bの更新は（１１）、（１２）によりそれぞれ行われる。

【数5】

【数6】

【数7】

ここで、式（７）〜（１２）に示す符号（０）は、各パラメータが初期値であることを示し、符号（１）は各パラメータが１回目の更新後の値であることを示す。この符号（ｊ）（ｊ＝０、１、２、…）は、更新回数に応じてインクリメントされる。

【0116】

例えば、図２８Ａに示すように、分布Ａの初期パラメータである平均μ_A⁽⁰⁾、分散σ_A⁽⁰⁾²、混合比率ω_A⁽⁰⁾を１回更新すると、図２８Ｂに示すように、更新パラメータである平均μ_A⁽¹⁾、分散σ_A⁽¹⁾²、混合比率ω_A⁽¹⁾が得られる。分布Ｂに関しても同様である。
このようなＥステップ及びＭステップを繰り返すことにより、分布Ａ、Ｂの最適なパラメータを求めることができる。

【0117】

ステップＳ２４１に続くステップＳ２４２において（図２４参照）、分布モデル判定部２３２の代表値算出部２３２ａは、分布モデル当てはめ部２３１が作成した１つ以上の分布モデルの候補判定軸における代表値を算出する。具体的には、図２９に示すように、代表値として、分布モデルの分布範囲の最大値ｇ_max及び最小値ｇ_minを算出する。

【0118】

より詳細には、代表値算出部２３２ａは、まず、図３０に示すように、各正規分布ｆ_kのパラメータである平均μ_k及び分散σ_k²を取得する。そして、平均μ_kから±２σ_kだけ離れた色特徴量の値を、当該正規分布ｆ_kの分布範囲の最大値ｇ_max(fk)（＝μ_k＋２σ_k）及び最小値ｇ_min(fk)（＝μ_k−２σ_k）とする。

【0119】

続いて、代表値算出部２３２ａは、１つ以上の正規分布ｆ_kの最大値ｇ_max(fk)の間における最大値ｍａｘ（ｇ_max(fk)）を取得する。例えば図３１に示す正規分布ｆ₁、ｆ₂が得られた場合、正規分布ｆ₂の最大値ｇ_max(f2)が最大値ｍａｘ（ｇ_max(fk)）として取得される。

【0120】

続いて、代表値算出部２３２ａは、色特徴量の分布範囲の最大値ｇ_max(F)を取得し、正規分布ｆ_kの最大値ｍａｘ（ｇ_max(fk)）と比較して小さい方の値を、分布モデルの分布範囲の最大値ｇ_maxとして設定する。例えば図３１の場合、正規分布ｆ₂の最大値ｇ_max(f2)が実際の密度関数Ｆの最大値ｇ_max(F)を超えて大きくなっているので、密度関数Ｆの最大値ｇ_max(F)が分布モデルの分布範囲の最大値ｇ_maxとして設定される（ｇ_max＝ｇ_max(F)）。一方、図３２の場合、正規分布ｆ₂の最大値ｇ_max(f2)の方が密度関数Ｆの最大値ｇ_max(F)よりも小さいため、正規分布ｆ₂の最大値ｇ_max(f2)が分布モデルの分布範囲の最大値ｇ_maxとして設定される（ｇ_max＝ｇ_max(f2)）。

【0121】

また、代表値算出部２３２ａは、１つ以上の正規分布ｆ_kの最小値ｇ_min(fk)の間における最小値ｍｉｎ（ｇ_min(fk)）を取得する。例えば図３３の場合、正規分布ｆ₁、ｆ₂の間においては、正規分布ｆ₁の最小値ｇ_min(f1)が最小値ｍｉｎ（ｇ_min(fk)）として取得される。

【0122】

続いて、代表値算出部２３２ａは、色特徴量の分布範囲の最小値ｇ_min(F)を取得し、正規分布ｆ_kの最小値ｍｉｎ（ｇ_min(fk)）と比較して大きい方の値を、分布モデルの分布範囲の最小値ｇ_minとして設定する。例えば図３３の場合、正規分布ｆ₁の最小値ｇ_min(f1)が実際の密度関数Ｆの最小値ｇ_min(F)を超えて小さくなっているので、密度関数Ｆの最小値ｇ_min(F)が分布モデルの分布範囲の最小値ｇ_minとして設定される（ｇ_min＝ｇ_min(F)）。一方、図３４の場合、正規分布ｆ₁の最小値ｇ_min(f1)の方が密度関数Ｆの最小値ｇ_min(F)よりも大きいため、正規分布ｆ₁の最小値ｇ_min(f1)が分布モデルの分布範囲の最小値ｇ_minとして設定される（ｇ_min＝ｇ_min(f1)）。

【0123】

なお、ステップＳ２４１において色特徴量の分布に当てはめられた正規分布が１つである場合、当該正規分布の最大値μ＋２σ及び最小値μ−２σが、それぞれ、色特徴量の分布範囲の最大値ｇ_max(F)及び最小値ｇ_min(F)と比較され、当該比較の結果に基づいて分布モデルの分布範囲の最大値ｇ_max、最小値ｇ_minが設定される。

【0124】

続くステップＳ２４３において、閾値処理部２３２ｂは、候補判定軸において予め設定された閾値をもとに、赤みの弱い分布モデルを残渣候補分布として判定する。ここで、候補判定軸においては、粘膜の有無を判定するための粘膜閾値Ｔｈ（Ｍ）と、残渣候補の有無を判定するための残渣候補閾値Ｔｈ（Ｒ）（Ｔｈ（Ｒ）＞Ｔｈ（Ｍ））とが予め設定されている。

【0125】

ここで、図３５及び図３６は、ステップＳ２４１において作成された１つ以上の分布モデルに基づいて色特徴量をクラスタリングすることにより作成されたクラスタを示している。なお、クラスタリングは、例えば、色特徴量空間において管腔内画像の色特徴量の頻度分布を作成し、該頻度分布に対して分水嶺等の処理を施すことにより行うことができる。

【0126】

このうち、図３５は、色特徴量の分布に２つの分布モデルを当てはめた場合に対応する２つのクラスタＣ（１）、Ｃ（２）を示し、色特徴量（Ｇ／Ｒ）が小さい方のクラスタをクラスタＣ（１）とし、色特徴量が大きい方のクラスタをクラスタＣ（２）としている。一方、図３６は、色特徴量の分布に２つの分布モデルを当てはめた際に、一方の分布の内部に他方の分布が内包された場合に対応するクラスタＣ（３）を示している。以下においては、分布モデルの一例として、これらのクラスタＣ（１）〜Ｃ（３）が残渣候補分布（残渣候補クラスタ）であるか否かを判定する方法を説明する。

【0127】

図３５（ａ）に示すように、分布モデルの分布範囲の最大値（即ち、クラスタ内の色特徴量の最大値、以下、クラスタの最大値という）ｇ_maxが残渣候補閾値Ｔｈ（Ｒ）よりも小さく（ｇ_max＜Ｔｈ（Ｒ））、且つ、分布モデルの分布範囲の最小値（即ち、クラスタ内の色特徴量の最小値、以下、クラスタの最小値という）ｇ_minが粘膜閾値Ｔｈ（Ｍ）以下である場合（ｇ_min≦Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（１）、Ｃ（２）を共に粘膜分布と判定する。

【0128】

図３５（ｂ）に示すように、クラスタの最大値ｇ_maxが残渣候補閾値Ｔｈ（Ｒ）以上であり（ｇ_max≧Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇ_minが粘膜閾値Ｔｈ（Ｍ）以下である場合（ｇ_min≦Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（１）を粘膜分布、クラスタＣ（２）を残渣候補分布と判定する。

【0129】

図３５（ｃ）に示すように、クラスタの最大値ｇ_maxが残渣候補閾値Ｔｈ（Ｒ）よりも小さく（ｇ_max＜Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇ_minが粘膜閾値Ｔｈ（Ｍ）よりも大きい場合（ｇ_min＞Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（１）、Ｃ（２）を共に残渣候補分布と判定する。

【0130】

図３５（ｄ）に示すように、クラスタの最大値ｇ_maxが残渣候補閾値Ｔｈ（Ｒ）以上であり（ｇ_max≧Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇ_minが粘膜閾値Ｔｈ（Ｍ）よりも大きい場合（ｇ_min＞Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（１）、Ｃ（２）を共に残渣候補分布と判定する。

【0131】

また、図３６（ａ）に示すように、クラスタの最大値ｇ_maxが残渣候補閾値Ｔｈ（Ｒ）よりも小さく（ｇ_max＜Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇ_minが粘膜閾値Ｔｈ（Ｍ）以下である場合（ｇ_min≦Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（３）を粘膜分布と判定する。

【0132】

図３６（ｂ）に示すように、クラスタの最大値ｇ_maxが残渣候補閾値Ｔｈ（Ｒ）以上であり（ｇ_max≧Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇ_minが粘膜閾値Ｔｈ（Ｍ）以下である場合（ｇ_min≦Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（３）を粘膜分布と判定する。

【0133】

図３６（ｃ）に示すように、クラスタの最大値ｇ_maxが残渣候補閾値Ｔｈ（Ｒ）よりも小さく（ｇ_max＜Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇ_minが粘膜閾値Ｔｈ（Ｍ）よりも大きい場合（ｇ_min＞Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（３）を残渣候補分布と判定する。

【0134】

図３６（ｄ）に示すように、クラスタの最大値ｇ_maxが残渣候補閾値Ｔｈ（Ｒ）以上であり（ｇ_max≧Ｔｈ（Ｒ））、且つ、クラスタの最小値ｇ_minが粘膜閾値Ｔｈ（Ｍ）よりも大きい場合（ｇ_min＞Ｔｈ（Ｍ））、閾値処理部２３２ｂは、クラスタＣ（３）を残渣候補分布と判定する。

【0135】

続くステップＳ２４４において、候補閾値設定部２３３は、ステップＳ２４３における判定結果をもとに、残渣候補を表す色特徴量を判定する候補閾値を設定する。より詳細には、複数のクラスタに対して互いに異なる判定結果が得られた場合、分布モデル間候補閾値設定部２３３ａは、候補判定軸（Ｇ／Ｒ軸）における複数のクラスタの間の値を候補閾値として設定する。一方、複数のクラスタに対して互いに同一の判定結果が得られた場合、分布モデル間外候補閾値設定部２３３ｂは、候補判定軸におけるクラスタの外側の値を候補閾値として設定する。

【0136】

具体的には、図３５（ａ）に示すように、２つのクラスタＣ（１）、Ｃ（２）が共に粘膜分布と判定された場合、分布モデル間候補閾値設定部２３３ａは、図３７（ａ）に示すように、候補判定軸の赤みが弱い側（Ｇ／Ｒ値が大きい側）におけるクラスタＣ（１）、Ｃ（２）の外側の値である最大値ｇ_maxを、候補閾値Ｔｈ（Ｎ）として設定する。

【0137】

また、図３５（ｂ）に示すように、クラスタＣ（１）が粘膜分布、クラスタＣ（２）が残渣候補分布と判定された場合、分布モデル間外候補閾値設定部２３３ｂは、図３７（ｂ）に示すように、候補判定軸におけるクラスタＣ（１）、Ｃ（２）の境界位置の色特徴量（即ち、正規分布ｆ₁、ｆ₂（図２９参照）の境界位置の値）を、候補閾値Ｔｈ（Ｎ）として設定する。

【0138】

さらに、図３５（ｃ）及び（ｄ）に示すように、２つのクラスタＣ（１）、Ｃ（２）が共に残渣候補分布と判定された場合、分布モデル間外候補閾値設定部２３３ｂは、図３７（ｃ）及び（ｄ）に示すように、候補判定軸の赤みが強い側（Ｇ／Ｒ値が小さい側）におけるクラスタＣ（１）、Ｃ（２）の外側の値である最小値ｇ_minを、候補閾値Ｔｈ（Ｎ）として設定する。

【0139】

一方、候補閾値設定部２３３は、ステップＳ２４３において１つのクラスタに対する判定がなされた場合、以下のようにして候補閾値を設定する。
即ち、図３６（ａ）及び（ｂ）に示すように、クラスタＣ（３）が粘膜分布と判定された場合、分布モデル間外候補閾値設定部２３３ｂは、図３８（ａ）及び（ｂ）に示すように、候補判定軸の赤みが弱い側（Ｇ／Ｒ値が大きい側）の値である最大値ｇ_maxを、候補閾値Ｔｈ（Ｎ）として設定する。

【0140】

また、図３６（ｃ）及び（ｄ）に示すように、クラスタＣ（３）が残渣候補領域と判定された場合、分布モデル間外候補閾値設定部２３３ｂは、図３８（ｃ）及び（ｄ）に示すように、候補判定軸の赤みが強い側（Ｇ／Ｒ値が小さい側）の値である最小値ｇ_minを、候補閾値Ｔｈ（Ｎ）として設定する。

【0141】

続くステップＳ２４５において、候補判定部２３４は、候補閾値Ｔｈ（Ｎ）をもとに、管腔内画像内の各色特徴量のうち、残渣候補を表す色特徴量を判定する。具体的には、候補判定部２３４は、候補判定軸において、候補閾値Ｔｈ（Ｎ）よりも赤みの強い（即ち、Ｇ／Ｒ値が小さい）側に存在する色特徴量は粘膜を表すものと判定し、赤みの弱い（即ち、Ｇ／Ｒ値が大きい）側に存在する色特徴量は残渣候補を表すものと判定する。

【0142】

なお、この際、候補判定部２３４は、管腔内画像内の色特徴量をクラスタリングすることにより作成したクラスタごとに、上記判定を行っても良い。この場合、各クラスタの重心位置を算出し、重心位置が候補閾値Ｔｈ（Ｎ）に対して赤みの強い側に存在するクラスタを粘膜分布と判定し、赤みの弱い側に存在するクラスタを残渣候補分布と判定する。その後、演算部２００の動作はメインルーチンに戻る。

【0143】

ステップＳ２４に続くステップＳ２５（図２２参照）において、残渣分布判定部２４０は、残渣候補として判定された色特徴量のうち、黄みの強い色特徴量を残渣として判定する。図３９は、残渣分布判定部２４０の動作を示すフローチャートである。

【0144】

まず、ステップＳ２５１において、分布モデル当てはめ部２４１は、黄みの度合いを判定する判定軸において、残渣候補と判定された色特徴量の分布に対して所定の分布モデルを当てはめることにより、１つ以上の分布モデルを作成する。実施の形態２においては、判定軸として、０に近づくほど黄みが強くなるＢ／Ｇ軸を設定する。また、実施の形態２においては、残渣候補と判定された色特徴量の分布に対し、１つ又は２つの正規分布を当てはめる。なお、色特徴量の分布に対して正規分布を当てはめる処理の詳細は、ステップＳ２４１（図２４参照）と同様である。

【0145】

続くステップＳ２５２において、分布モデル判定部２４２の代表値算出部２４２ａは、分布モデル当てはめ部２４１が作成した１つ以上の分布モデルの判定軸における代表値を算出する。より詳細には、ステップＳ２４２（図２４参照）と同様にして、残渣候補と判定された色特徴量の分布に当てはめられた分布モデルの分布範囲の最大値ｇ_max’及び最小値ｇ_min’を算出する。

【0146】

続くステップＳ２５３において、閾値処理部２４２ｂは、判定軸において予め設定された閾値をもとに、黄みの強い分布モデルを残渣分布として判定する。ここで、判定軸には、残渣の有無を判定するための残渣閾値Ｔｈ（Ｒ’）と、ハレーション領域、褪色調病変等の白色領域の有無を判定するための白色領域閾値Ｔｈ（Ｗ）（Ｔｈ（Ｗ）＞Ｔｈ（Ｒ’））とが予め設定されている。

【0147】

ここで、図４０及び図４１は、ステップＳ２５１において作成された１つ以上の分布モデルに基づいて、残渣候補である色特徴量をクラスタリングすることにより作成されたクラスタを示している。このうち、図４０は、色特徴量の分布に２つの分布モデルを当てはめた場合に対応する２つのクラスタＣ（４）、Ｃ（５）を示し、色特徴量（Ｂ／Ｇ）が小さい方のクラスタをクラスタＣ（４）とし、色特徴量が大きい方のクラスタをクラスタＣ（５）としている。一方、図４１は、色特徴量の分布に２つの分布モデルを当てはめた際に、一方の分布の内部に他方の分布が内包された場合に対応するクラスタＣ（６）を示している。以下においては、分布モデルの一例として、これらのクラスタＣ（４）〜Ｃ（６）が残渣分布（残渣クラスタ）であるか否かを判定する方法を説明する。

【0148】

図４０（ａ）に示すように、分布モデルの分布範囲の最大値（即ち、クラスタ内の色特徴量の最大値、以下、クラスタの最大値という）ｇ_max’が白色領域閾値Ｔｈ（Ｗ）よりも小さく（ｇ_max’＜Ｔｈ（Ｗ））、且つ、分布モデルの分布範囲の最小値（即ち、クラスタ内の色特徴量の最小値、以下、クラスタの最小値という）ｇ_min’が残渣閾値Ｔｈ（Ｒ’）以下である場合（ｇ_min’≦Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（４）、Ｃ（５）を共に残渣分布と判定する。

【0149】

図４０（ｂ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ）以上であり（ｇ_max’≧Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ’）以下である場合（ｇ_min’≦Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（４）を残渣分布、クラスタＣ（５）を白色領域分布と判定する。

【0150】

図４０（ｃ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ）よりも小さく（ｇ_max’＜Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ’）よりも大きい場合（ｇ_min’＞Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（４）、Ｃ（５）を共に白色領域分布と判定する。

【0151】

図４０（ｄ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ）以上であり（ｇ_max’≧Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇ_minが残渣閾値Ｔｈ（Ｒ’）よりも大きい場合（ｇ_min’＞Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（４）、Ｃ（５）を共に白色領域分布と判定する。

【0152】

また、図４１（ａ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ）よりも小さく（ｇ_max’＜Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ’）以下である場合（ｇ_min’≦Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（６）を残渣分布と判定する。

【0153】

図４１（ｂ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ）以上であり（ｇ_max’≧Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ’）以下である場合（ｇ_min’≦Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（６）を残渣分布と判定する。

【0154】

図４１（ｃ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ）よりも小さく（ｇ_max’＜Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ’）よりも大きい場合（ｇ_min’＞Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（６）を白色領域分布と判定する。

【0155】

図４１（ｄ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ）以上であり（ｇ_max’≧Ｔｈ（Ｗ））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ’）よりも大きい場合（ｇ_min’＞Ｔｈ（Ｒ’））、閾値処理部２４２ｂは、クラスタＣ（６）を白色領域分布と判定する。

【0156】

続くステップＳ２５４において、閾値設定部２４３は、ステップＳ２５３における判定結果をもとに、残渣を表す色特徴量を判定する閾値を設定する。より詳細には、複数のクラスタに対して互いに異なる判定結果が得られた場合、分布モデル間閾値設定部２４３ａは、判定軸（Ｂ／Ｇ軸）における複数のクラスタの間の値を閾値として設定する。一方、複数のクラスタに対して互いに同一の判定結果が得られた場合、分布モデル間外閾値設定部２４３ｂは、判定軸におけるクラスタの外側の値を閾値として設定する。

【0157】

具体的には、図４０（ａ）に示すように、２つのクラスタＣ（４）、Ｃ（５）が共に残渣分布と判定された場合、分布モデル間外閾値設定部２４３ｂは、図４２（ａ）に示すように、判定軸の黄みが弱い側（Ｂ／Ｇ値が大きい側）におけるクラスタＣ（４）、Ｃ（５）の外側の値である最大値ｇ_max’を、閾値Ｔｈとして設定する。

【0158】

また、図４０（ｂ）に示すように、クラスタＣ（４）が残渣分布、クラスタＣ（５）が白色領域分布と判定された場合、分布モデル間閾値設定部２４３ａは、図４２（ｂ）に示すように、判定軸におけるクラスタＣ（４）、Ｃ（５）の境界位置の色特徴量（即ち、正規分布ｆ₁、ｆ₂（図２９参照）の境界位置の値）を、閾値Ｔｈとして設定する。

【0159】

さらに、図４０（ｃ）及び（ｄ）に示すように、２つのクラスタＣ（４）、Ｃ（５）が共に白色領域分布と判定された場合、分布モデル間外閾値設定部２４３ｂは、図４２（ｃ）及び（ｄ）に示すように、判定軸の黄みが強い側（Ｂ／Ｇ値が小さい側）におけるクラスタＣ（４）、Ｃ（５）の外側の値である最小値ｇ_min’を閾値Ｔｈとして設定する。

【0160】

一方、閾値設定部２４３は、ステップＳ２５３において１つのクラスタに対する判定がなされた場合、以下のようにして候補閾値を設定する。
即ち、図４１（ａ）及び（ｂ）に示すように、クラスタＣ（６）が残渣分布と判定された場合、分布モデル間外閾値設定部２４３ｂは、図４３（ａ）及び（ｂ）に示すように、判定軸の黄みが弱い側（Ｂ／Ｇ値が大きい側）の値である最大値ｇ_max’を閾値Ｔｈとして設定する。

【0161】

また、図４１（ｃ）及び（ｄ）に示すように、クラスタＣ（６）が白色領域分布と判定された場合、分布モデル間外閾値設定部２４３ｂは、図４３（ｃ）及び（ｄ）に示すように、判定軸の黄みが強い側（Ｂ／Ｇ値が小さい側）の値である最小値ｇ_min’を閾値Ｔｈとして設定する。

【0162】

続くステップＳ２５５において、判定部２４４は、閾値Ｔｈをもとに、残渣を表す色特徴量を判定する。具体的には、判定部２４４は、判定軸において、残渣候補と判定された色特徴量のうち、閾値Ｔｈよりも黄みの強い（即ち、Ｂ／Ｇ値が小さい）側に存在する色特徴量は残渣を表すものと判定し、黄みの弱い（即ち、Ｂ／Ｇ値が大きい）側に存在する色特徴量は白色領域を表すものと判定する。

【0163】

なお、この際、判定部２４４は、残渣候補と判定された色特徴量をクラスタリングすることにより作成したクラスタごとに、上記判定を行っても良い。この場合、各クラスタの重心位置を算出し、重心位置が閾値Ｔｈに対して黄みの強い側に存在するクラスタを残渣分布と判定し、黄みの弱い側に存在するクラスタを白色領域分布と判定する。その後、演算部２００の動作はメインルーチンに戻る。

【0164】

ステップＳ２５に続くステップＳ２６（図２２参照）において、演算部２００は、ステップＳ２４における判定結果を出力する。これに応じて、制御部１０は、この判定結果を記録部５０に記録させると共に、表示部４０に表示させる。

【0165】

以上説明したように、実施の形態２によれば、管腔内画像における色特徴量の分布が揺らいだ場合であっても、適応的に設定される基準である候補閾値Ｔｈ（Ｎ）及び閾値Ｔｈに基づいて、残渣領域を精度良く判定することが可能となる。

【0166】

ここで、色特徴量の頻度分布に基づいて管腔内画像内の残渣領域を判別する処理部を実際の画像処理装置に実装する場合、頻度が所定値以下である色特徴量を予めノイズとして除去しておくことがある。この際、ノイズを除去するための閾値が適切でない場合に、時系列の前後で撮像され、実際には被写体に大きな変化がないはずの管腔内画像の間で判別結果が大きく異なってしまうことがあった。

【0167】

しかしながら、実施の形態２においては、色特徴量の分布に所定の分布モデル（例えば正規分布）を当てはめることにより、色特徴量の分布を主要な分布とそれ以外の分布とに分け、当該分布モデルに対する残渣候補分布の判定結果に応じ、当該分布モデルの代表値（最大値、最小値、境界位置の値）を用いて残渣候補を判定するための閾値を適応的に設定する。また、残渣領域を判定するための閾値についても同様である。従って、実施の形態２によれば、従来よりも高精度な残渣領域の判別が可能となる。

【0168】

（変形例２−１）
次に、実施の形態２の変形例２−１について説明する。
変形例２−１に係る画像処理装置は、図１９に示す画像処理装置２に対し、分布モデル間外候補閾値設定部２３３ｂ、分布モデル間外閾値設定部２４３ｂの代わりに、図４４に示す分布モデル間外候補閾値設定部２３３ｃと、図４５に示す分布モデル間外閾値設定部２４３ｃとを備える。なお、変形例２−１に係る画像処理装置のうち、分布モデル間外候補閾値設定部２３３ｃ及び分布モデル間外閾値設定部２４３ｃ以外の各部の構成及び動作は、実施の形態２と同様である。

【0169】

図４４に示すように、分布モデル間外候補閾値設定部２３３ｃは、固定候補閾値設定部２３３ｃ−１及び代表値候補閾値設定部２３３ｃ−２を備える。固定候補閾値設定部２３３ｃ−１は、候補判定軸において予め定められた固定値を候補閾値として設定する。一方、代表値候補閾値設定部２３３ｃ−２は、１つ以上の分布モデルの代表値を候補閾値として設定する。これらの各部は、１つ以上の分布モデルの分布範囲に応じていずれかが動作する。

【0170】

図４５に示すように、分布モデル間外閾値設定部２４３ｃは、固定閾値設定部２４３ｃ−１及び代表値閾値設定部２４３ｃ−２を備える。固定閾値設定部２４３ｃ−１は、判定軸において予め定められた固定値を閾値として設定する。一方、代表値閾値設定部２４３ｃ−２は、１つ以上の分布モデルの代表値を閾値として設定する。これらの各部は、１つ以上の分布モデルの分布範囲に応じていずれかが動作する。

【0171】

以下、分布モデル間外候補閾値設定部２３３ｃ及び分布モデル間外閾値設定部２４３ｃの具体的な動作を、図３５、図３６、図４０、図４１、図４６〜図４９を参照しながら説明する。

【0172】

固定候補閾値設定部２３３ｃ−１は、図３５（ａ）及び図３６（ａ）に示すように、クラスタＣ（２）、Ｃ（３）の最大値ｇ_maxが残渣候補閾値Ｔｈ（Ｒ）よりも小さい場合、図４６（ａ）、図４７（ａ）に示すように、閾値Ｔｈ（Ｒ）を候補閾値Ｔｈ（Ｎ）として設定する。

【0173】

また、固定候補閾値設定部２３３ｃ−１は、図３５（ｃ）及び（ｄ）、図３６（ｃ）及び（ｄ）に示すように、クラスタＣ（１）、Ｃ（３）の最小値ｇ_minが粘膜閾値Ｔｈ（Ｍ）よりも大きい場合、図４６（ｃ）及び（ｄ）、図４７（ｃ）及び（ｄ）に示すように、閾値Ｔｈ（Ｍ）を候補閾値Ｔｈ（Ｎ）として設定する。

【0174】

一方、代表値候補閾値設定部２３３ｃ−２は、図３６（ｂ）に示すように、クラスタＣ（３）の最小値ｇ_minが閾値Ｔｈ（Ｍ）以下であり、且つ、最大値ｇ_maxが閾値Ｔｈ（Ｒ）以上である場合、クラスタＣ（３）の最大値ｇ_maxを候補閾値Ｔｈ（Ｎ）として設定する。

【0175】

なお、図３５（ｂ）に示すように、２つのクラスタＣ（１）、Ｃ（２）の最小値ｇ_minが閾値Ｔｈ（Ｍ）以下であり、且つ、最大値ｇ_maxが閾値Ｔｈ（Ｒ）以上である場合には、実施の形態２と同様に、分布モデル間候補閾値設定部２３３ａが、２つのクラスタＣ（１）、Ｃ（２）の境界位置の値を候補閾値Ｔｈ（Ｎ）に設定する（図４６（ｂ）参照）。

【0176】

固定閾値設定部２４３ｃ−１は、図４０（ａ）、図４１（ａ）に示すように、１つ以上の分布モデルに対応するクラスタＣ（５）、Ｃ（６）の最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ）よりも小さい場合、図４８（ａ）、図４９（ａ）に示すように、閾値Ｔｈ（Ｗ）を閾値Ｔｈとして設定する。

【0177】

また、固定閾値設定部２４３ｃ−１は、図４０（ｃ）及び（ｄ）、図４１（ｃ）及び（ｄ）に示すように、クラスタＣ（４）、Ｃ（６）の最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ’）よりも大きい場合、図４８（ｃ）及び（ｄ）、図４９（ｃ）及び（ｄ）に示すように、閾値Ｔｈ（Ｒ’）を閾値Ｔｈとして設定する。

【0178】

一方、代表値閾値設定部２４３ｃ−２は、図４１（ｂ）に示すように、クラスタＣ（６）の最小値ｇ_min’が閾値Ｔｈ（Ｒ’）以下であり、且つ、最大値ｇ_max’が閾値Ｔｈ（Ｗ）以上である場合、クラスタＣ（６）の最大値ｇ_max’を閾値Ｔｈとして設定する。

【0179】

なお、図４０（ｂ）に示すように、２つのクラスタＣ（４），Ｃ（５）の最小値ｇ_min’が閾値Ｔｈ（Ｒ’）以下であり、且つ、最大値ｇ_max’が閾値Ｔｈ（Ｗ）以上である場合には、実施の形態２と同様に、分布モデル間閾値設定部２４３ａが、２つのクラスタＣ（４）、Ｃ（５）の境界位置の値を閾値Ｔｈに設定する（図４８（ｂ）参照）。

【0180】

（変形例２−２）
次に、実施の形態２の変形例２−２について説明する。
変形例２−２に係る画像処理装置は、図１９に示す画像処理装置２に対し、閾値処理部２４２ｂの代わりに、図５０に示す閾値処理部２４２ｃを備える。なお、変形例２−２に係る画像処理装置のうち、閾値処理部２４２ｃ以外の各部の構成及び動作は、実施の形態２と同様である。

【0181】

図５０に示すように、閾値処理部２４２ｃは、残渣候補分布判定部２３０により残渣候補として判定されなかった色特徴量の分布を粘膜分布とみなし、判定軸における粘膜分布の代表値を算出する粘膜基準閾値設定部２４２ｃ−１を備える。

【0182】

より詳細には、粘膜基準閾値設定部２４２ｃ−１は、残渣候補分布判定部２３０により残渣候補分布と判定された分布以外の色特徴量の分布を粘膜分布に設定する。そして、判定軸（Ｂ／Ｇ軸）における当該粘膜分布の重心ｇ_Mを算出し、これを粘膜分布の代表値とする。

【0183】

続いて、粘膜基準閾値設定部２４２ｃ−１は、図５１及び図５２に示すように、判定軸において、残渣の有無を判定する残渣閾値Ｔｈ（Ｒ_M）と、白色領域を判定する白色領域閾値Ｔｈ（Ｗ_M）とを、粘膜分布の重心ｇ_Mを基準として設定する。このうち、残渣閾値Ｔｈ（Ｒ_M）は、重心ｇ_Mに対し、教師データから取得した所定値αを減算することにより算出される。一方、閾値Ｔｈ（Ｗ_M）は、重心ｇ_Mに対し、教師データから取得した所定値βを加算することにより算出される。

【0184】

閾値処理部２４２ｃは、このようにして設定された残渣閾値Ｔｈ（Ｒ_M）、白色領域閾値Ｔｈ（Ｗ_M）に基づいて、各色特徴量の分布が残渣であるか白色領域であるかを判定する。具体的には、図５１（ａ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ_M）よりも小さく（ｇ_max’＜Ｔｈ（Ｗ_M））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ_M）以下である場合（ｇ_min’≦Ｔｈ（Ｒ_M））、閾値処理部２４２ｃは、クラスタＣ（４）、Ｃ（５）を共に残渣分布と判定する。

【0185】

図５１（ｂ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ_M）以上であり（ｇ_max’≧Ｔｈ（Ｗ_M））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ_M）以下である場合（ｇ_min’≦Ｔｈ（Ｒ_M））、閾値処理部２４２ｃは、クラスタＣ（４）を残渣分布、クラスタＣ（５）を白色領域と判定する。

【0186】

図５１（ｃ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ_M）よりも小さく（ｇ_max’＜Ｔｈ（Ｗ_M））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ_M）よりも大きい場合（ｇ_min’＞Ｔｈ（Ｒ_M））、閾値処理部２４２ｃは、クラスタＣ（４）、Ｃ（５）を共に白色領域と判定する。

【0187】

図５１（ｄ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ_M）以上であり（ｇ_max’≧Ｔｈ（Ｗ_M））、且つ、クラスタの最小値ｇ_minが残渣閾値Ｔｈ（Ｒ_M）よりも大きい場合（ｇ_min’＞Ｔｈ（Ｒ_M））、閾値処理部２４２ｃは、クラスタＣ（４）、Ｃ（５）を共に白色領域と判定する。

【0188】

また、図５２（ａ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ_M）よりも小さく（ｇ_max’＜Ｔｈ（Ｗ_M））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ_M）以下である場合（ｇ_min’≦Ｔｈ（Ｒ_M））、閾値処理部２４２ｃは、クラスタＣ（６）を残渣分布と判定する。

【0189】

図５２（ｂ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ_M）以上であり（ｇ_max’≧Ｔｈ（Ｗ_M））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ_M）以下である場合（ｇ_min’≦Ｔｈ（Ｒ_M））、閾値処理部２４２ｃは、クラスタＣ（６）を残渣分布と判定する。

【0190】

図５２（ｃ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ_M）よりも小さく（ｇ_max’＜Ｔｈ（Ｗ_M））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ_M）よりも大きい場合（ｇ_min’＞Ｔｈ（Ｒ_M））、閾値処理部２４２ｃは、クラスタＣ（６）を白色領域と判定する。

【0191】

図５２（ｄ）に示すように、クラスタの最大値ｇ_max’が白色領域閾値Ｔｈ（Ｗ_M）以上であり（ｇ_max’≧Ｔｈ（Ｗ_M））、且つ、クラスタの最小値ｇ_min’が残渣閾値Ｔｈ（Ｒ_M）よりも大きい場合（ｇ_min’＞Ｔｈ（Ｒ_M））、閾値処理部２４２ｃは、クラスタＣ（６）を白色領域と判定する。

【0192】

なお、本変形例２−２は、単独で実行しても良いし、実施の形態２における閾値処理部２４２ｂが実行する処理と組み合わせても良い。後者の場合、図４０（ｃ）及び図４１（ｂ）に示すように、色特徴量の最大値ｇ_max’が閾値Ｔｈ（Ｗ）よりも小さく、且つ、クラスタの最小値ｇ_min’が閾値Ｔｈ（Ｒ’）よりも大きい場合に、変形例２−２において設定した閾値Ｔｈ（Ｗ_M）、Ｔｈ（Ｒ_M）を用いて再度判定を行うと良い。

【0193】

（実施の形態３）
次に、本発明の実施の形態３について説明する。
実施の形態３に係る画像処理装置は、図１９に示す画像処理装置２に対し、分布モデル当てはめ部２３１、２４１の代わりに、図５３に示す分布モデル当てはめ部３３１、３４１をそれぞれ備える。なお、実施の形態３に係る画像処理装置のうち、分布モデル当てはめ部３３１、３４１以外の各部の構成及び動作は、実施の形態２と同様である。

【0194】

図５３に示すように、分布モデル当てはめ部３３１、３４１は、概要分布モデル当てはめ部３３１ａ、３４１ａと、概要分布モデル範囲取得部３３１ｂ、３４１ｂと、分布モデル修正部３３１ｃ、３４１ｃとをそれぞれ備える。

【0195】

このうち、概要分布モデル当てはめ部３３１ａは、赤みの度合いを判定する色特徴量の候補判定軸（例えばＧ／Ｒ軸）において、管腔内画像内の色特徴量の分布に対して当てはめ可能な分布モデルよりも少ない数の分布モデル（以下、概要分布モデルという）を当てはめる。概要分布モデル範囲取得部３３１ｂは、候補判定軸における概要分布モデルの分布範囲を取得する。分布モデル修正部３３１ｃは、概要分布モデルの分布範囲において、色特徴量の分布に対して１つ以上の分布モデルを当てはめる。

【0196】

また、概要分布モデル当てはめ部３４１ａは、黄みの度合いを判定する色特徴量の判定軸（例えばＢ／Ｇ軸）において、残渣候補と判定された色特徴量の分布に対して当てはめ可能な分布モデルよりも少ない数の分布モデル（以下、概要分布分布モデルという）を当てはめる。概要分布モデル範囲取得部３４１ｂは、判定軸における概要分布モデルの分布範囲を取得する。分布モデル修正部３４１ｃは、概要分布モデルの分布範囲において、残渣候補と判定された色特徴量の分布に対して１つ以上の分布モデルを当てはめる。

【0197】

次に、実施の形態３に係る画像処理装置の動作について説明する。実施の形態３に係る画像処理装置の動作は、全体として図２２、図２４、図３９に示すものと同様であり、図２４に示すステップＳ２４１及び図３９に示すステップＳ２５１における詳細な動作が異なる。

【0198】

図５４は、図２４に示すステップＳ２４１において、管腔内画像内の色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部３３１の動作を示すフローチャートである。また、図５５〜図５８は、分布モデル当てはめ部３３１の動作を説明するための模式図である。

【0199】

まず、ステップｓ３１１において、概要分布モデル当てはめ部３３１ａは、候補判定軸（Ｇ／Ｒ軸）において、色特徴量の分布に対し、当てはめ可能な分布モデルの数より少ない分布モデルを概要分布モデルとして当てはめる。例えば、図５５（ａ）に示すように、色特徴量の分布に対応する密度関数Ｆに対して２つの正規分布ｆ₃及びｆ₄が当てはめ可能である場合、図５６に示すように、密度関数Ｆに対し、概要分布モデルとして１つの正規分布ｆ₅を当てはめる。なお、正規分布ｆ₅の当てはめは、例えば、実施の形態２において説明したＥＭアルゴリズムにより行うことができる。

【0200】

続くステップｓ３１２において、概要分布モデル範囲取得部３３１ｂは、候補判定軸における概要分布モデルの分布範囲を取得する。具体的には、図５７に示すように、正規分布ｆ₅のパラメータである平均μ及び分散σ²を取得し、色特徴量の９５．７％が含まれるμ±２σの範囲を概要分布モデルの分布範囲Δ₁とする。

【0201】

続くステップｓ３１３において、分布モデル修正部３３１ｃは、概要分布モデルの分布範囲において、色特徴量の分布に対して１つ以上の分布モデルを当てはめる。具体的には、図５８に示すように、分布範囲Δ₁内の色特徴量の分布に対し、例えばＥＭアルゴリズムにより２つの正規分布ｆ₃’、ｆ₄’を当てはめる。その後、動作はメインルーチンに戻る。

【0202】

図５９は、図３９に示すステップＳ２５１において、残渣候補と判定された色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部３４１の動作を示すフローチャートである。なお、以下においては、図５６〜図５８に示す候補判定軸（Ｇ／Ｒ軸）を判定軸（Ｂ／Ｇ軸）に読み替えた上で、これらの図を援用して説明を行う。

【0203】

まず、ステップｓ３２１において、概要分布モデル当てはめ部３４１ａは、判定軸（Ｂ／Ｇ軸）において、残渣候補と判定された色特徴量の分布に対し、当てはめ可能な分布モデルの数より少ない分布モデルを概要分布モデルとして当てはめる。例えば、図５６に示すように、残渣候補と判定された色特徴量の分布に対応する密度関数Ｆに対し、２つの正規分布の当てはめが可能である場合、１つの正規分布ｆ₅を当てはめる。

【0204】

続くステップｓ３２２において、概要分布モデル範囲取得部３４１ｂは、判定軸における概要分布モデルの分布範囲を取得する。例えば、図５７に示すように、正規分布ｆ₅のパラメータである平均μ及び分散σ²を取得し、μ±２σの範囲を概要分布モデルの分布範囲Δ₁とする。

【0205】

続くステップｓ３２３において、分布モデル修正部３４１ｃは、概要分布モデルの分布範囲Δ₁において、残渣候補と判定された色特徴量の分布に対して１つ以上の分布モデルを当てはめる。例えば、図５８に示すように、分布範囲Δ₁内の色特徴量の分布に対して２つの正規分布ｆ₃’、ｆ₄’を当てはめる。その後、動作はメインルーチンに戻る。

【0206】

以上説明した実施の形態３によれば、色特徴量の分布に複数のピークが存在する場合であっても、適切に分布モデルを当てはめることができる。従って、残渣領域を精度良く識別することが可能となる。

【0207】

ここで、ＥＭアルゴリズムにおいては、初期値に依存して局所解に陥ってしまう場合がある。そのため、例えば図５５（ａ）に示すように、３つのピークＰ１〜Ｐ３が存在する密度関数Ｆに対し、図５５（ｂ）に示すように、２つの正規分布ｆ₃、ｆ₄を当てはめようとすると、正規分布ｆ₃、ｆ₄の境界Ｔｈ１が、実際の色特徴量の分布に含まれる複数の分布の境界Ｔｈ２からずれてしまうおそれがある。この場合、後段における候補閾値（又は閾値）を適切に設定することができなくなってしまう。

【0208】

そこで、実施の形態３においては、密度関数Ｆに対して１つの正規分布ｆ₅を当てはめた後、当該正規分布ｆ₅の分布範囲Δ₁に限定して２つの正規分布ｆ₃’、ｆ₄’を当てはめるという段階的な処理を行っている。それにより、実際の色特徴量の分布に、より適合した境界Ｔｈ２’を得ることができ、適切な候補閾値（又は閾値）を設定することが可能となる。

【0209】

（実施の形態４）
次に、本発明の実施の形態４について説明する。
実施の形態４に係る画像処理装置は、図１９に示す画像処理装置２に対し、分布モデル当てはめ部２３１、２４１の代わりに、図６０に示す分布モデル当てはめ部４３１、４４１をそれぞれ備える。なお、実施の形態４に係る画像処理装置のうち、分布モデル当てはめ部４３１、４４１以外の各部の構成及び動作は、実施の形態２と同様である。

【0210】

図６０に示すように、分布モデル当てはめ部４３１、４４１は、低比率分布モデル判定部４３１ａ、４４１ａと、高比率分布モデル取得部４３１ｂ、４４１ｂと、分布モデル修正部４３１ｃ、４４１ｃとをそれぞれ備える。

【0211】

このうち、低比率分布モデル判定部４３１ａは、赤みの度合いを判定する色特徴量の候補判定軸（例えばＧ／Ｒ軸）において、管腔内画像内の色特徴量の分布に対して当てはめられた１つ以上の分布モデルに、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する。高比率分布モデル取得部４３１ｂは、上記１つ以上の分布モデルに低比率分布モデルが含まれる場合に、低比率分布モデルを除外した残りの分布モデルが候補判定軸に分布する分布範囲を取得する。分布モデル修正部４３１ｃは、高比率分布モデル取得部４３１ｂによって取得された分布範囲において、色特徴量の分布に対し、再度、１つ以上の分布モデルの当てはめを行う。

【0212】

また、低比率分布モデル判定部４４１ａは、黄みの度合いを判定する色特徴量の判定軸（例えばＢ／Ｇ軸）において、残渣候補と判定された色特徴量の分布に対して当てはめられた１つ以上の分布モデルに対し、該１つ以上の分布モデル間の混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する。高比率分布モデル取得部４４１ｂは、上記１つ以上の分布モデルに低比率分布モデルが含まれる場合に、低比率分布モデルを除外した残りの分布モデルが判定軸に分布する分布範囲を取得する。分布モデル修正部４４１ｃは、高比率分布モデル取得部４３１ｂによって取得された分布範囲において、残渣候補と判定された色特徴量の分布に対し、再度、１つ以上の分布モデルの当てはめを行う。

【0213】

次に、実施の形態４に係る画像処理装置の動作について説明する。実施の形態４に係る画像処理装置の動作は、全体として図２２、図２４、図３９に示すものと同様であり、図２４に示すステップＳ２４１及び図３９に示すステップＳ２５１における詳細な動作が異なる。

【0214】

図６１は、図２４に示すステップＳ２４１において、管腔内画像内の色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部４３１の動作を示すフローチャートである。また、図６２〜図６４は、分布モデル当てはめ部４３１の動作を説明するための模式図である。

【0215】

まず、ステップｓ４１１において、低比率分布モデル判定部４３１ａは、候補判定軸（Ｇ／Ｒ軸）において、色特徴量の分布に対して１つ以上の分布モデルを当てはめ、当てはめられた分布モデルの中に、混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する。例えば、色特徴量の分布に対応する密度関数Ｆに対し（図６２（ａ）参照）、２つの正規分布ｆ₆、ｆ₇を当てはめたときの正規分布ｆ₆、ｆ₇の混合比率をそれぞれω₆、ω₇とする（図６２（ｂ）参照）。なお、正規分布ｆ₆、ｆ₇の当てはめは、例えば、実施の形態２において説明したＥＭアルゴリズムにより行うことができる。

【0216】

低比率分布モデル判定部４３１ａは、混合比率ω₆、ω₇に基づき、正規分布ｆ₆、ｆ₇が低比率分布モデルであるか否かを判定する。例えば、図６２（ｂ）において、混合比率ω₇が所定値以下である場合、正規分布ｆ₇が低比率分布モデルであると判定される。

【0217】

低比率分布モデルが含まれる場合（ステップｓ４１２：Ｙｅｓ）、高比率分布モデル取得部４４１ｂは、色特徴量の分布に当てはめた分布モデルから低比率分布モデルを除外し、それ以外の分布モデル（高比率分布モデル）が候補判定軸に分布する分布範囲を取得する（ステップｓ４１３）。例えば、正規分布ｆ₇が低比率分布モデルである場合、高比率分布モデル取得部４３１ｂは、図６３に示すように、残りの正規分布ｆ₆のパラメータである平均μ及び分散σ²を取得し、色特徴量の９５．４５％が含まれるμ±２σの範囲を分布範囲Δ₂とする。

【0218】

続くステップｓ４１４において、分布モデル修正部４３１ｃは、高比率分布モデルの分布範囲において、色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる。具体的には、図６４に示すように、分布範囲Δ₂内の色特徴量の分布に対し、例えばＥＭアルゴリズムにより２つの正規分布ｆ₈、ｆ₉を当てはめる。その後、動作はメインルーチンに戻る。

【0219】

なお、ステップｓ４１２において、低比率分布モデルが含まれない場合（ステップｓ４１２：Ｎｏ）、動作はそのままメインルーチンに戻る。

【0220】

図６５は、図３９に示すステップＳ２５１において、残渣候補と判定された色特徴量の分布に対して分布モデルの当てはめを行う分布モデル当てはめ部４４１の動作を示すフローチャートである。なお、以下においては、図６２〜図６４に示す候補判定軸（Ｇ／Ｒ軸）を判定軸（Ｂ／Ｇ軸）に読み替えた上で、これらの図を援用して説明を行う。

【0221】

まず、ステップｓ４２１において、低比率分布モデル判定部４４１ａは、判定軸（Ｂ／Ｇ軸）において、残渣候補と判定された色特徴量の分布に対して１つ以上の分布モデルを当てはめ、当てはめられた分布モデルの中に、混合比率が所定値以下である低比率分布モデルが含まれるか否かを判定する（図６２参照）。

【0222】

低比率分布モデルが含まれる場合（ステップｓ４２２：Ｙｅｓ）、高比率分布モデル取得部４４１ｂは、色特徴量の分布に当てはめた分布モデルから低比率分布モデルを除外し、それ以外の分布モデル（高比率分布モデル）が判定軸に分布する分布範囲を取得する（ステップｓ４２３）。例えば、正規分布ｆ₇が低比率分布モデルである場合、図６３に示すように、高比率分布モデル取得部４４１ｂは、高比率分布モデルである残りの正規分布ｆ₆のμ±２σの範囲を分布範囲Δ₂とする。

【0223】

続くステップｓ４２４において、分布モデル修正部４４１ｃは、高比率分布モデルの分布範囲において、残渣候補と判定された色特徴量の分布に対し、再度、１つ以上の分布モデルを当てはめる（図６４参照）。その後、動作はメインルーチンに戻る。
なお、ステップｓ４２２において、低比率分布モデルが含まれない場合（ステップｓ４２２：Ｎｏ）、動作はそのままメインルーチンに戻る。

【0224】

以上説明した実施の形態４によれば、色特徴量の分布に低いピークが存在する場合であっても、適切に分布モデルを当てはめることができる。従って、残渣領域を精度良く識別することが可能となる。

【0225】

ここで、例えば図６２（ａ）に示すように、３つのピークＰ４〜Ｐ６が存在する密度関数に対して２つの正規分布を当てはめようとすると、図６２（ｂ）に示すように、ピークＰ６に引きずられて低比率の正規分布ｆ₇が作成され、正規分布ｆ₆、ｆ₇の境界Ｔｈ３が設定される。このような境界Ｔｈ３に基づいて、後段の候補閾値（又は閾値）設定処理を行うと、残渣領域の判定処理において、ピークＰ５に表される色特徴量の分布が全く反映されない結果が得られてしまう。

【0226】

そこで、実施の形態４においては、低比率分布モデルを除外した残りの分布モデルの分布範囲Δ₂に限定して、再度、２つの正規分布ｆ₆’、ｆ₇’の当てはめを行っている。それにより、実際の色特徴量の分布により適合した境界Ｔｈ４を得ることができ、適切な候補閾値（又は閾値）を設定することが可能となる。

【0227】

以上説明した実施の形態１〜４及びそれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態及び変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。

【0228】

なお、本発明は、実施の形態１〜４及びそれらの変形例に限定されるものではなく、実施の形態や各変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

【符号の説明】

【0229】

１、２ 画像処理装置
１０ 制御部
２０ 外部インタフェース（Ｉ／Ｆ）部
３０ 操作入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００ 演算部
１１０、２１０ 色特徴量算出部
１２０ 候補分布判定部
１２１ 候補判定軸設定部
１２２ 第１ヒストグラム作成部
１２２ａ、２２０ 不要領域除外部
１２２ａ−１、２２１ 暗部領域判定部
１２２ａ−２、２２２ 泡領域判定部
１２２ａ−３、２２３ 赤色病変領域判定部
１２３、１２５ 第１判定閾値設定部
１２４ 候補判定部
１２５ａ 合成ヒストグラム作成部
１３０ 分布判定部
１３１ 判定軸設定部
１３２ 第２ヒストグラム作成部
１３３ 第２判定閾値設定部
１３４ 判定部
２３０ 残渣候補分布判定部
２３１、２４１、３３１，３４１、４３１、４４１ 分布モデル当てはめ部
２３２、２４２ 分布モデル判定部
２３２ａ、２４２ａ 代表値算出部
２３２ｂ、２４２ｂ、２４２ｃ 閾値処理部
２３３ 候補閾値設定部
２３３ａ 分布モデル間候補閾値設定部
２３３ｂ 分布モデル間外候補閾値設定部
２３３ｃ 分布モデル間外候補閾値設定部
２３３ｃ−１ 固定候補閾値設定部
２３３ｃ−２ 代表値候補閾値設定部
２３４ 候補判定部
２４０ 残渣分布判定部
２４２ｃ−１ 粘膜基準閾値作成部
２４３ 閾値設定部
２４３ａ 分布モデル間閾値設定部
２４３ｂ 分布モデル間外閾値設定部
２４３ｃ 分布モデル間外閾値設定部
２４３ｃ−１ 固定閾値設定部
２４３ｃ−２ 代表値閾値設定部
２４４ 判定部
３３１ａ、３４１ａ 概要分布モデル当てはめ部
３３１ｂ、３４１ｂ 概要分布モデル範囲取得部
３３１ｃ、３４１ｃ、４３１ｃ、４４１ｃ 分布モデル修正部
４３１ａ、４４１ａ 低比率分布モデル判定部
４３１ｂ、４４１ｂ 高比率分布モデル取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28A】

【図28B】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】

【図54】

【図55】

【図56】

【図57】

【図58】

【図59】

【図60】

【図61】

【図62】

【図63】

【図64】

【図65】