特許 6422198 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6422198

(24)【登録日】2018年10月26日

(45)【発行日】2018年11月14日

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20181105BHJP

   A61B 1/00 20060101ALI20181105BHJP

   G06T 1/00 20060101ALI20181105BHJP

【ＦＩ】

   A61B1/045 615

   A61B1/045 618

   A61B1/00 551

   G06T1/00 290Z

【請求項の数】15

【全頁数】29

(21)【出願番号】特願2012-261671(P2012-261671)

(22)【出願日】2012年11月29日

(65)【公開番号】特開2014-104293(P2014-104293A)

(43)【公開日】2014年6月9日

【審査請求日】2015年11月12日

【前置審査】

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】神田 大和

(72)【発明者】

【氏名】北村 誠

(72)【発明者】

【氏名】河野 隆志

(72)【発明者】

【氏名】弘田 昌士

(72)【発明者】

【氏名】上山 都士也

【審査官】 原 俊文

(56)【参考文献】

【文献】 特開２０１２−０４５０５７（ＪＰ，Ａ）

【文献】 特開平０３−１０５４８３（ＪＰ，Ａ）

【文献】 特開２００８−２７８９６４（ＪＰ，Ａ）

【文献】 特開２０１２−０４５０５５（ＪＰ，Ａ）

【文献】 特開２０１１−２３２７１５（ＪＰ，Ａ）

【文献】 特開２００５−１９２８８０（ＪＰ，Ａ）

【文献】 特開２０１０−１１３６１６（ＪＰ，Ａ）

【文献】 特開２０１１−１２５４６２（ＪＰ，Ａ）

【文献】 CANNY, John，"A Computational Approach to Edge Detection"，IEEE Transactions on Pattern Analysis and Machine Intelligence，１９８６年１１月，Vol. PAMI-8, No. 6，p. 679-698

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

生体の管腔内を撮像した画像を処理する画像処理装置であって、
前記画像から検査対象の輪郭エッジ領域を抽出する輪郭エッジ領域抽出部と、
前記画像内に、前記輪郭エッジ領域を内包しないように検査領域を設定する検査領域設定部と、
前記検査領域のテクスチャ情報を基に、前記検査対象の表面の微細構造が異常であるか否かを識別する異常構造識別部と、
を備え、
前記検査領域設定部は、
前記画像内に検査候補領域を設定する候補領域設定部と、
前記輪郭エッジ領域に関する情報を基に、前記検査候補領域から前記検査領域を確定する領域確定部と、
を備え、
前記領域確定部は、前記検査候補領域内に存在する前記輪郭エッジ領域を除外する輪郭エッジ領域除外部を備え、
前記輪郭エッジ領域抽出部は、
前記画像内の各画素におけるエッジ強度を算出するエッジ強度算出部と、
前記エッジ強度が所定の閾値以上となる画素を輪郭エッジ候補領域として抽出する輪郭エッジ候補領域抽出部と、
前記輪郭エッジ候補領域の特徴量である前記エッジ強度の代表値が所定の閾値以下である前記輪郭エッジ候補領域、面積または長さが所定の閾値以下である前記輪郭エッジ候補領域、或いは、幅が所定の閾値以上である前記輪郭エッジ候補領域をノイズとして除外し、残った前記輪郭エッジ候補を前記輪郭エッジ領域として特定する輪郭エッジ領域特定部と、
を備え、
前記輪郭エッジ領域除外部により前記輪郭エッジ領域が除外された後に残る前記検査候補領域を、前記検査領域として確定することを特徴とする画像処理装置。

【請求項2】

前記候補領域設定部は、前記検査候補領域を設定する位置に映る前記検査対象までの代表的な撮像距離を算出する代表撮像距離算出部を備え、前記代表的な撮像距離に応じたサイズの前記検査候補領域を設定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記候補領域設定部は、前記検査候補領域を設定する位置に映る前記検査対象の代表的な撮像距離勾配を算出する代表撮像距離勾配算出部を備え、前記代表的な撮像距離勾配に応じたサイズの前記検査候補領域を設定することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記検査領域設定部は、前記画像内の各画素と前記輪郭エッジ領域又は前記画像の端部との距離を画素値に変換した距離変換画像を算出する距離変換画像算出部を備え、前記距離変換画像を基に前記検査領域を設定することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記検査領域設定部は、前記距離変換画像において画素値が最大値となる画素を前記検査領域の中心とし、該中心から前記検査領域の境界までの距離が前記最大値に対応する距離よりも小さくなるように前記検査領域を設定することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記検査領域が未設定の領域に対して、前記検査領域設定部が実行する処理を繰返すよう制御する繰返し制御部をさらに備えることを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記繰返し制御部は、前記処理の繰返しに応じて、前記検査領域設定部が設定する前記領域を変更することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記異常構造識別部は、
前記検査領域における特定の空間周波数成分を算出する特定周波数成分算出部と、
前記特定の空間周波数成分を基に統計的な分類を行う統計分類部と、
を備えることを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記画像は、複数の色に対応する複数の波長成分からなり、
前記異常構造識別部は、前記生体内における吸収又は散乱の度合いに応じて特定される特定波長成分を前記複数の波長成分から選択する特定波長成分選択部をさらに備えることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記画像は、複数の色に対応する複数の波長成分からなり、
前記異常構造識別部は、前記生体内における吸収又は散乱の度合いが互いに異なる波長成分間の比率を算出する特定波長間比率算出部をさらに備えることを特徴とする請求項８に記載の画像処理装置。

【請求項11】

前記異常構造識別部は、前記検査領域に映る前記検査対象までの代表的な撮像距離を取得する代表撮像距離取得部をさらに備え、
前記特定周波数成分算出部は、前記代表的な撮像距離に応じて特定される特定空間周波数成分を算出することを特徴とする請求項８に記載の画像処理装置。

【請求項12】

前記画像内に含まれる非検査対象領域を前記検査領域の設定対象から除外する非検査対象領域除外部をさらに備えることを特徴とする請求項１に記載の画像処理装置。

【請求項13】

前記非検査対象領域は、暗部、明部、残渣、及び泡のいずれかが映る領域であることを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

生体の管腔内を撮像した画像を処理する画像処理装置が実行する画像処理方法であって、
前記画像から検査対象の輪郭エッジ領域を抽出する輪郭エッジ領域抽出ステップと、
前記画像内に、前記輪郭エッジ領域を内包しないように検査領域を設定する検査領域設定ステップと、
前記検査領域のテクスチャ情報を基に、前記検査対象の表面の微細構造が異常であるか否かを識別する異常構造識別ステップと、
を含み、
前記検査領域設定ステップは、
前記画像内に検査候補領域を設定する候補領域設定ステップと、
前記輪郭エッジ領域に関する情報を基に、前記検査候補領域から前記検査領域を確定する領域確定ステップと、
を含み、
前記領域確定ステップは、前記検査候補領域内に存在する前記輪郭エッジ領域を除外する輪郭エッジ領域除外ステップを含み、
前記輪郭エッジ領域抽出ステップは、
前記画像内の各画素におけるエッジ強度を算出するエッジ強度算出ステップと、
前記エッジ強度が所定の閾値以上となる画素を輪郭エッジ候補領域として抽出する輪郭エッジ候補領域抽出ステップと、
前記輪郭エッジ候補領域の特徴量である前記エッジ強度の代表値が所定の閾値以下である前記輪郭エッジ候補領域、面積または長さが所定の閾値以下である前記輪郭エッジ候補領域、或いは、幅が所定の閾値以上である前記輪郭エッジ候補領域をノイズとして除外し、残った前記輪郭エッジ候補を前記輪郭エッジ領域として特定する輪郭エッジ領域特定ステップと、
を含み、
前記輪郭エッジ領域除外ステップにより前記輪郭エッジ領域が除外された後に残る検査候補領域を、前記検査領域として確定することを特徴とする画像処理方法。

【請求項15】

生体の管腔内を撮像した画像を処理する画像処理装置に実行させる画像処理プログラムであって、
前記画像から検査対象の輪郭エッジ領域を抽出する輪郭エッジ領域抽出ステップと、
前記画像内に、前記輪郭エッジ領域を内包しないように検査領域を設定する検査領域設定ステップと、
前記検査領域のテクスチャ情報を基に、前記検査対象の表面の微細構造が異常であるか否かを識別する異常構造識別ステップと、
を含み、
前記検査領域設定ステップは、
前記画像内に検査候補領域を設定する候補領域設定ステップと、
前記輪郭エッジ領域に関する情報を基に、前記検査候補領域から前記検査領域を確定する領域確定ステップと、
を含み、
前記領域確定ステップは、前記検査候補領域内に存在する前記輪郭エッジ領域を除外する輪郭エッジ領域除外ステップを含み、
前記輪郭エッジ領域抽出ステップは、
前記画像内の各画素におけるエッジ強度を算出するエッジ強度算出ステップと、
前記エッジ強度が所定の閾値以上となる画素を輪郭エッジ候補領域として抽出する輪郭エッジ候補領域抽出ステップと、
前記輪郭エッジ候補領域の特徴量である前記エッジ強度の代表値が所定の閾値以下である前記輪郭エッジ候補領域、面積または長さが所定の閾値以下である前記輪郭エッジ候補領域、或いは、幅が所定の閾値以上である前記輪郭エッジ候補領域をノイズとして除外し、残った前記輪郭エッジ候補を前記輪郭エッジ領域として特定する輪郭エッジ領域特定ステップと、
を含み、
前記輪郭エッジ領域除外ステップにより前記輪郭エッジ領域が除外された後に残る検査候補領域を、前記検査領域として確定することを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体の管腔内を撮像した画像に映る検査対象表面の微細構造の異常を識別する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

内視鏡やカプセル型内視鏡等の医用観察装置により生体の管腔内を撮像した画像（以下、管腔内画像、又は、単に画像ともいう）に対する画像処理として、例えば特許文献１には、画像内から粘膜表面の微細構造や血管走行形態に基づく異常部を検出する技術が開示されている。より詳細には、管腔内画像において粘膜の微細構造や血管像に関する情報を比較的多く含むＧ（緑）成分からなる画像を抽出した後、粘膜表面の画素値パターンを数値化した特徴量（例えば、特許文献２及び３参照）を算出し、この特徴量と、正常及び異常所見の管腔内画像に基づき事前に作成した線形判別関数とを用いて、当該管腔内画像に映った被写体（粘膜）が正常か異常かを判別している。なお、特許文献２には、特定の空間周波数成分の画像を二値化して抽出した領域の形状特徴量（面積、溝幅、周囲長、円形度、分岐点、端点、分岐率等）が開示されている。また、特許文献３には、Ｇａｂｏｒフィルタ等を利用した空間周波数解析に基づく特徴量が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−１９２８８０号公報

【特許文献2】特許第２９１８１６２号公報

【特許文献3】特開２００２−１６５７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、内視鏡により撮像される管腔内画像には、検査対象である管腔内壁の粘膜を斜めから撮像した画像が多いため、粘膜襞の重なりから生じる粘膜の輪郭エッジが存在する。このため、従来技術のように画像全体に対して空間周波数に基づく特徴量を算出すると、これら輪郭エッジの影響により、適切な特徴量を算出することができず、正常と異常とを精度良く判別できないという問題があった。

【0005】

本発明は、上記に鑑み為されたものであって、管腔内画像内に粘膜等の検査対象に輪郭エッジが存在する場合においても、検査対象表面の微細構造の異常を精度良く識別することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内を撮像した画像を処理する画像処理装置であって、前記画像から検査対象の輪郭エッジ領域を抽出する輪郭エッジ領域抽出部と、前記画像内に、前記輪郭エッジ領域を内包しないように検査領域を設定する検査領域設定部と、前記検査領域のテクスチャ情報を基に、前記検査対象の表面の微細構造が異常であるか否かを識別する異常構造識別部と、を備えることを特徴とする。

【0007】

本発明に係る画像処理方法は、生体の管腔内を撮像した画像を処理する画像処理装置が実行する画像処理方法であって、前記画像から検査対象の輪郭エッジ領域を抽出する輪郭エッジ領域抽出ステップと、前記画像内に、前記輪郭エッジ領域を内包しないように検査領域を設定する検査領域設定ステップと、前記検査領域のテクスチャ情報を基に、前記検査対象の表面の微細構造が異常であるか否かを識別する異常構造識別ステップと、を含むことを特徴とする。

【0008】

本発明に係る画像処理プログラムは、生体の管腔内を撮像した画像を処理する画像処理装置に実行させる画像処理プログラムであって、前記画像から検査対象の輪郭エッジ領域を抽出する輪郭エッジ領域抽出ステップと、前記画像内に、前記輪郭エッジ領域を内包しないように検査領域を設定する検査領域設定ステップと、前記検査領域のテクスチャ情報を基に、前記検査対象の表面の微細構造が異常であるか否かを識別する異常構造識別ステップと、を含むことを特徴とする。

【発明の効果】

【0009】

本発明によれば、検査対象の輪郭エッジ領域を含まないように検査領域を設定し、設定された検査領域に対して微細構造の異常を識別するので、画像内に検査対象の輪郭エッジが存在する場合においても、検査対象表面の微細構造の異常を精度良く識別することが可能となる。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。

【図2】図２は、図１に示す画像処理装置の動作を示すフローチャートである。

【図3】図３は、内視鏡によって管腔内を撮像する様子を示す模式図である。

【図4】図４は、内視鏡によって撮像された管腔内画像を示す模式図である。

【図5】図５は、図１に示す輪郭エッジ領域抽出部が実行する処理の詳細を示すフローチャートである。

【図6】図６は、図１に示す検査領域設定部が実行する詳細な処理を示すフローチャートである。

【図7】図７は、図１に示す検査領域設定部が実行する処理を説明するための模式図である。

【図8】図８は、図１に示す異常構造識別部が実行する処理の詳細を示すフローチャートである。

【図9】図９は、本発明の実施の形態１の変形例１−２に係る画像処理装置が備える演算部の構成を示すブロック図である。

【図10】図１０は、図９に示す輪郭エッジ領域抽出部が実行する処理を示すフローチャートである。

【図11】図１１は、図９に示す検査領域設定部が実行する処理を示すフローチャートである。

【図12】図１２は、図９に示す検査領域設定部が実行する処理を説明するための模式図である。

【図13】図１３は、図９に示す検査領域設定部が実行する処理を説明するための模式図である。

【図14】図１４は、図９に示す異常構造識別部が実行する処理を示すフローチャートである。

【図15】図１５は、本発明の実施の形態１の変形例１−３に係る画像処理装置が備える演算部の構成を示すブロック図である。

【図16】図１６は、図１５に示す検査領域設定部が実行する処理を示すフローチャートである。

【図17】図１７は、図１５に示す異常構造識別部が実行する処理を示すフローチャートである。

【図18】図１８は、本発明の実施の形態１の変形例１−４に係る画像処理装置が備える検査領域設定部の構成を示すブロック図である。

【図19】図１９は、図１８に示す検査領域設定部が実行する処理を示すフローチャートである。

【図20】図２０は、図１８に示す検査領域設定部が実行する処理を説明するための模式図である。

【図21】図２１は、本発明の実施の形態１の変形例１−５に係る画像処理装置が備える検査領域設定部の構成を示すブロック図である。

【図22】図２２は、図２１に示す検査領域設定部が実行する処理を示すフローチャートである。

【図23】図２３は、図２１に示す検査領域設定部が実行する処理を説明するための模式図である。

【図24】図２４は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。

【図25】図２５は、図２４に示す画像処理装置の動作を示すフローチャートである。

【図26】図２６は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。

【図27】図２７は、図２６に示す画像処理装置の動作を示すフローチャートである。

【図28】図２８は、図２６に示す検査領域設定部が実行する処理の詳細を示すフローチャートである。

【図29】図２９は、図４に示す画像から作成された距離変換画像を示す模式図である。

【図30】図３０は、図２６に示す異常構造識別部が実行する処理の詳細を示すフローチャートである。

【図31】図３１は、管腔内画像における撮像距離に応じた周波数成分の強度特性を示す模式図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

【0012】

また、以下に説明する各実施の形態においては、一例として、内視鏡により撮像された生体の管腔内画像（以下、単に画像ともいう）を処理対象とし、該管腔内画像から、検査対象である粘膜の表面における微細構造の異常を識別する画像処理を説明する。管腔内画像は、通常、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分（色成分）に対して、所定の（例えば２５６階調の）画素レベル（画素値）を有するカラー画像である。

【0013】

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を示すブロック図である。図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、内視鏡によって撮像された画像に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

【0014】

制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

【0015】

画像取得部２０は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部２０を、内視鏡からケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。

【0016】

入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。

【0017】

記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、画像内に映った粘膜表面の微細構造の異常を識別するための画像処理プログラム５１や、このプログラムの実行中に使用される種々の情報等を格納する。

【0018】

演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対する画像処理を施し、検査対象である粘膜の表面の微細構造の異常を識別するための種々の演算処理を実行する。

【0019】

次に、演算部１００の詳細な構成について説明する。演算部１００は、画像から粘膜の輪郭エッジ領域を抽出する輪郭エッジ領域抽出部１１０と、抽出された輪郭エッジ領域を内包しないように検査領域を画像内に設定する検査領域設定部１２０と、検査領域内の粘膜表面の微細構造が異常であるか否かを識別する異常構造識別部１３０とを備える。

【0020】

このうち、輪郭エッジ領域抽出部１１０は、画像内の各画素におけるエッジ強度を算出するエッジ強度算出部１１１と、エッジ強度が所定の閾値以上となる画素を輪郭エッジ候補領域として抽出する輪郭エッジ候補領域抽出部１１２と、輪郭エッジ候補領域の特徴量を基に輪郭エッジ領域を特定する輪郭エッジ領域特定部１１３とを備え、画像内のエッジ強度が強い画素からノイズを除外した上で、残った画素の領域を輪郭エッジ領域として抽出する。

【0021】

検査領域設定部１２０は、画像内に検査候補領域を設定する候補領域設定部１２１と、上記輪郭エッジ領域に関する情報を基に、検査候補領域から検査領域を確定する領域確定部１２２とを備え、輪郭エッジ領域を内包しないように検査領域を設定する。より詳細には、領域確定部１２２は、設定された検査候補領域のうち、輪郭エッジ領域を内包する検査候補領域を除外する輪郭エッジ内包領域除外部１２２ａを備え、輪郭エッジ内包領域除外部１２２ａにより除外されずに残った検査候補領域を、検査領域として確定する。

【0022】

異常構造識別部１３０は、検査領域のテクスチャ情報を基に、粘膜表面の微細構造の異常を識別する。ここで、画像処理におけるテクスチャとは、繰返しの輝度パターンのことである（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１９２頁（領域のテクスチャ））。実施の形態１においては、テクスチャの特徴を数値化したテクスチャ特徴量として、特定の空間周波数成分（以下、特定空間周波数成分ともいう）を用いる。特定空間周波数成分については、後述する。

【0023】

異常構造識別部１３０は、検査領域における特定の空間周波数成分を算出する特定周波数成分算出部１３１と、該特定の空間周波数成分を基に統計的な分類を行う統計分類部１３２とを備え、該統計的な分類の結果を用いて、検査領域内に映る粘膜表面の微細構造が異常であるか否かを識別する。

【0024】

次に、画像処理装置１の動作を説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１１において、演算部１００は、記録部５０に記録された画像データを読み込むことにより、処理対象の管腔内画像を取得する。ここで、図３は、内視鏡によって管腔内を撮像する様子を示す模式図である。また、図４は、内視鏡によって撮像された管腔内画像を示す模式図である。図３に示すように、内視鏡６は、概ね、視野Ｖの中心軸を管腔７の長手方向に合わせて撮像を行う。このため、検査対象である粘膜の表面（粘膜表面８）が映った画像Ｍには、粘膜の襞の重なりが輪郭エッジ領域ｍ１として表れることがある。

【0025】

続くステップＳ１２において、輪郭エッジ領域抽出部１１０は、取得した画像内から粘膜の輪郭エッジ領域を抽出する。図５は、輪郭エッジ領域抽出部１１０が実行する処理の詳細を示すフローチャートである。

【0026】

まず、ステップＳ１２１において、エッジ強度算出部１１１は、画像内の各画素のエッジ強度を算出する。これは、Ｒ、Ｇ、Ｂのいずれかの波長成分に対し、公知の微分フィルタ（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１１４頁（微分フィルタ））や、モルフォロジカルフィルタ（参考：コロナ社、小畑秀文著、「モルフォロジー」、第１００頁（エッジ検出フィルタ））等を用いることで実現することができる。

【0027】

続くステップＳ１２２において、輪郭エッジ候補領域抽出部１１２は、エッジ強度が所定の閾値以上となる画素を、輪郭エッジ候補領域（以下、単に候補領域ともいう）として抽出する。この際、輪郭エッジ候補領域抽出部１１２は、公知のラベリング処理（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１８１頁（ラベリング））等により、所定の閾値以上となる画素を、近傍の画素同士で連結することにより、領域として認識する。

【0028】

続くステップＳ１２３において、輪郭エッジ領域特定部１１３は、抽出された輪郭エッジ候補領域の特徴量を算出する。特徴量としては、輪郭エッジ候補領域内の画素におけるエッジ強度の平均値又は最大値といった代表値や、輪郭エッジ候補領域の面積（即ち、候補領域を構成する画素数）、周囲長（即ち、候補領域の輪郭を追跡して一周する移動量）、幅といった形状特徴量（本願発明者による特開２０１２−１１１３７号公報参照）が挙げられる。

【0029】

さらに、ステップＳ１２４において、輪郭エッジ領域特定部１１３は、特徴量を基に輪郭エッジ領域を特定する。より詳細には、特徴量であるエッジ強度の代表値が所定の閾値以下である候補領域、面積や長さが所定の閾値以下である候補領域、或いは、幅が所定の閾値以上である候補領域等をノイズとして除外し、残った候補領域を輪郭エッジ領域とする。

【0030】

なお、上述したステップＳ１２においては、特開２０１２−１１１３７号公報に開示されているように、画素値の変化が検査対象の３次元的な形状に対応する粘膜段差や粘膜溝等の粘膜起伏の抽出処理を適用しても良い。
その後、処理はメインルーチンに戻る。

【0031】

ステップＳ１２に続くステップＳ１３において、検査領域設定部１２０は、輪郭エッジ領域を内包しないように検査領域を設定する。図６は、検査領域設定部１２０が実行する詳細な処理を示すフローチャートである。また、以下においては、一例として、図４に示す画像Ｍに対する処理を説明する。

【0032】

まず、ステップＳ１３１において、候補領域設定部１２１は、例えば図７に示すように、画像Ｍ内に所定サイズの複数の矩形の検査候補領域ＣＡを格子状に設定する。

【0033】

続くステップＳ１３２において、輪郭エッジ内包領域除外部１２２ａは、検査候補領域ＣＡのうち、輪郭エッジ領域ｍ１を内包する検査候補領域を除外する。例えば、図７の場合、斜線で示す検査候補領域ＣＡ_inが、輪郭エッジ領域ｍ１を内包するものとして除外される。

【0034】

さらに、ステップＳ１３３において、領域確定部１２２は、ステップＳ１３２において除外されずに残った検査候補領域ＣＡを、検査領域ＥＡとして確定する。
その後、処理はメインルーチンに戻る。

【0035】

ステップＳ１３に続くステップＳ１４において、異常構造識別部１３０は、画像Ｍに映った粘膜表面の微細構造が異常であるか否かを識別する。図８は、異常構造識別部１３０が実行する処理の詳細を示すフローチャートである。

【0036】

まず、ステップＳ１４１において、特定周波数成分算出部１３１は、画像Ｍを構成する波長成分（Ｒ成分、Ｇ成分、Ｂ成分）毎に、検査領域ＥＡにおける特定の空間周波数成分の強度を算出する。ここで、特定の空間周波数成分（以下、特定空間周波数成分ともいう）とは、画像Ｍに映った粘膜表面の微細構造における異常の有無の識別が可能な空間周波数成分のことであり、教師データ等に基づいて事前に設定されている。

【0037】

特定空間周波数成分の算出は、検査領域ＥＡの各波長成分に対し、公知のバンドパスフィルタ（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１３６頁（バンドパスフィルタ）、第１４１頁（ＬＯＧフィルタ））を適用することにより実現される。なお、実施の形態１においては、検査領域ＥＡの端部に位置する画素（端部画素）に対して、バンドパスフィルタ処理（特定空間周波数成分の算出）を行わないものとする。その理由は、検査領域ＥＡの端部画素の特定空間周波数成分を算出する際には、検査領域ＥＡの外部の画素を用いる必要が生じるが、例えば検査領域ＥＡ_endのように、検査領域ＥＡが画像Ｍの端部に位置している場合、検査領域ＥＡの外部は即ち画像Ｍの外部となり、画素が存在しないことがあるからである。また、検査領域ＥＡの外部に画素が存在する場合であっても、検査領域ＥＡの外部では、検査領域ＥＡの内部画素の画素値と大きく値が異なっている可能性があるからである。

【0038】

続くステップＳ１４２において、統計分類部１３２は、検査領域ＥＡに対し、特定空間周波数成分の画素間での平均強度を波長成分ごとに算出し、これらの平均強度を成分とする特徴ベクトルｘを作成する。なお、実施の形態１においては、Ｒ、Ｇ、Ｂの３つの波長成分について演算を行うため、特徴ベクトルｘは３つの成分からなる３行１列の行列となる。

【0039】

ここで、粘膜表面の微細構造が異常である場合、粘膜表面の形状を表わす低周波成分と撮像ノイズを表す高周波成分とを除いた中間帯域の特定の空間周波数成分において、微細構造が正常である場合との間で強度に差が生じる。

【0040】

そこで、ステップＳ１４３において、異常構造識別部１３０は、事前に作成した異常領域の識別関数と、特定空間周波数成分から作成した特徴ベクトルｘとを基に、各検査領域ＥＡが異常であるか否かの分類を行う。実際の処理としては、次式（１）に示す確率モデルに基づく分類指標Ｐ（ｘ）を算出し、この値が閾値以上である場合に、検査領域ＥＡは異常であると分類する。

【数1】

式（１）において、記号μは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの平均ベクトル（３行１列）である。記号Ｚは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの分散共分散行列（３行３列）である。記号｜Ｚ｜は、分散共分散行列の行列式である。記号Ｚ^-1は、分散共分散行列の逆行列である。記号ｋは、特徴ベクトルｘの次元数であり、実施の形態１においては、ｋ＝３である。

【0041】

なお、実施の形態１においては、確率モデルを用いた異常領域の分類方法を示したが、検査領域ＥＡが正常であるか異常であるかを分類できれば、上記説明以外の方法を用いても良い。例えば、代表的な特徴ベクトルとの特徴空間距離に基づく方法や、特徴空間内において分類境界を設定する方法等により分類を行っても良い。
その後、処理はメインルーチンに戻る。

【0042】

ステップＳ１４に続くステップＳ１５において、演算部１００は、ステップＳ１４における異常識別結果を出力し、表示部４０に表示させると共に、記録部５０に記録させる。その後、画像処理装置１における処理を終了する。

【0043】

以上説明したように、実施の形態１によれば、検査対象である粘膜の輪郭エッジ領域を含まないように検査領域を設定し、設定された検査領域に対して微細構造が異常であるか否かを識別するので、画像内に粘膜の輪郭エッジが存在する場合においても、粘膜表面の微細構造の異常を精度良く識別することが可能となる。

【0044】

（変形例１−１）
次に、本発明の実施の形態１の変形例１−１について説明する。
上記実施の形態１においては、粘膜表面のテクスチャ情報として空間周波数成分を利用する例を示したが、空間周波数成分の代わりに、同時生起行列を用いた統計的特徴量、Local Binary Pattern、高次局所自己相関、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＨＯＧ（Histograms of Oriented Gradients）等の公知のテクスチャ情報を用いても良い。

【0045】

（変形例１−２）
次に、本発明の実施の形態１の変形例１−２について説明する。
図９は、変形例１−２に係る画像処理装置が備える演算部の構成を示すブロック図である。図９に示す演算部１００Ａは、輪郭エッジ領域抽出部１１０Ａと、検査領域設定部１２０Ａと、異常構造識別部１３０Ａとを備える。なお、演算部１００Ａ以外の画像処理装置の構成及び動作については、実施の形態１と同様である（図１参照）。

【0046】

輪郭エッジ領域抽出部１１０Ａは、図１に示す輪郭エッジ領域抽出部１１０に対し、低吸収波長選択部１１４をさらに備える。低吸収波長選択部１１４は、画像を構成する複数の波長成分のうち、生体内における吸収又は散乱の度合いが最も低い波長成分（低吸収波長成分）を選択する。輪郭エッジ領域抽出部１１０Ａは、選択された低吸収波長成分の値を基に、画像内から輪郭エッジ領域を抽出する。

【0047】

検査領域設定部１２０Ａは、図１に示す検査領域設定部１２０が備える候補領域設定部１２１の代わりに、候補領域設定部１２３を備える。候補領域設定部１２３は、検査候補領域を設定する位置に映る検査対象までの代表的な撮像距離を算出する代表撮像距離算出部１２３ａを備え、算出された代表的な撮像距離に応じたサイズの検査候補領域を画像内に設定する。

【0048】

異常構造識別部１３０Ａは、生体内における吸収又は散乱の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部１３３と、選択された特定波長成分に対して特定空間周波数成分を算出する特定周波数成分算出部１３４と、特定空間周波数成分を基に統計的な分類を行う統計分類部１３５とを備え、特定波長成分に対する特定空間周波数成分に基づく上記分類の結果を基に、検査領域内の微細構造の異常を識別する。

【0049】

次に、演算部１００Ａの動作について説明する。演算部１００Ａの動作は、全体として図２に示すものと同様であり、輪郭エッジ領域抽出部１１０Ａ（ステップＳ１２）、検査領域設定部１２０Ａ（ステップＳ１３）、及び異常構造識別部１３０Ａ（ステップＳ１４）の各部が実行する処理の詳細が実施の形態１とは異なる。

【0050】

図１０は、ステップＳ１２において輪郭エッジ領域抽出部１１０Ａが実行する処理を示すフローチャートである。
まず、ステップａ１２１において、低吸収波長選択部１１４は、低吸収波長成分としてＲ成分を選択する。これは、粘膜表面の血管等によるエッジを輪郭エッジと誤判別しないように、血管等による吸収又は散乱の影響を抑制し、粘膜表面までの撮像距離を最も良く反映する画素値を得るためである。Ｒ成分、Ｇ成分、及びＢ成分からなる画像においては、Ｒ成分が血液の吸収帯域から最も離れており、且つ、最も長波長の成分であるため、生体内における吸収又は散乱の影響を受け難い。従って、本実施の形態１においては、Ｒ成分を選択する。

【0051】

続くステップａ１２２において、エッジ強度算出部１１１は、ステップａ１２１において選択された波長成分の値を基に、画像内の各画素のエッジ強度を算出する。
その後のステップＳ１２２〜Ｓ１２４における処理は、実施の形態１と同様である（図５参照）。

【0052】

図１１は、ステップＳ１３において検査領域設定部１２０Ａが実行する処理を示すフローチャートである。また、図１２及び図１３は、検査領域設定部１２０Ａが実行する処理を説明するための模式図である。

【0053】

まず、ステップａ１３１において、候補領域設定部１２３は、図１２に示すように、画像Ｍ内の複数箇所に、検査候補領域の中心とする位置（ｘ_i,ｙ_i）をランダムに決定する。

【0054】

続くステップａ１３２において、代表撮像距離算出部１２３ａは、各位置（ｘ_i,ｙ_i）に映る粘膜までの撮像距離を、検査候補領域の代表的な撮像距離として算出する。より詳細には、代表撮像距離算出部１２３ａは、各位置（ｘ_i,ｙ_i）の画素の低吸収波長成分（Ｒ成分）の値を基に、粘膜表面８（図３参照）が均等拡散面であると仮定した場合の撮像距離ｒを、次式（２）を用いて推定する。

【0055】

【数2】

式（２）において、記号Ｉは、内視鏡６が内蔵する光源の放射強度であり、事前に測定された測定値が適用される。記号Ｋは、粘膜表面８の拡散反射係数であり、平均的な値が事前に測定されて適用される。記号θは、粘膜表面８の法線ベクトルと該粘膜表面８から光源（内視鏡６）までのベクトルとのなす角度である。なお、角度θは、実際には内視鏡６の先端に設けられる光源と粘膜表面８との位置関係により個別に決まる値であるが、平均的な値が事前に設定されて適用される。記号Ｌは、撮像距離ｒの粘膜表面８上の推定対象領域が映った画素のＲ成分値である。なお、代表的な撮像距離としては、検査候補領域の中心となる位置（ｘ_i,ｙ_i）における撮像距離の他、位置（ｘ_i,ｙ_i）の近傍の所定範囲内の複数箇所における撮像距離の平均等を用いても良い。

【0056】

ここで、画像においては一般に、遠景部の被写体（粘膜）ほど小さく映るため、撮像距離が長いほど検査領域を小さく設定すると、検査領域内に輪郭エッジ領域を内包しない可能性が高くなる。そこで、ステップａ１３３において、候補領域設定部１２３は、図１３に示すように、各位置（ｘ_i,ｙ_i）を中心とし、撮像距離に応じたサイズを有する検査候補領域ＣＡ_iを設定する。なお、図１３においては、矩形の検査候補領域ＣＡ_iを示しているが、検査領域の形状は特に限定されず、矩形の他にも、円形や楕円形等、様々な形状を用いることができる。
その後のステップＳ１３２及びＳ１３３における処理は、実施の形態１と同様である（図６参照）。

【0057】

図１４は、ステップＳ１４において異常構造識別部１３０Ａが実行する処理を示すフローチャートである。
ここで、実施の形態１においては、全ての波長成分（Ｒ成分、Ｇ成分、Ｂ成分）を用いて、粘膜表面の微細構造の異常を識別したが、粘膜表面の微細構造の異常は、毛細血管の形成状態に起因する場合が多い。このため、異常領域と正常領域との間では、血液の吸収帯域に近い波長成分ほど、顕著な変化が見られる。

【0058】

そこで、ステップａ１４１において、特定波長成分選択部１３３は、生体内における吸収又は散乱の度合いが高い特定波長成分を選択する。具体的には、Ｇ成分又はＢ成分が選択される。

【0059】

続くステップａ１４２において、特定周波数成分算出部１３４は、各検査領域に対し、選択された波長成分における特定空間周波数成分の強度を、各画素について算出する。

【0060】

続くステップａ１４３において、統計分類部１３５は、選択された波長成分における特定空間周波数成分の平均強度を算出し、この平均強度の値を特徴量とする。

【0061】

さらに、ステップａ１４４において、異常構造識別部１３０Ａは、事前に作成した異常領域の識別関数と、ステップａ１４３において算出した特徴量とを基に、各検査領域が異常であるか否かの分類を行う。なお、識別関数を用いた処理は、実施の形態１と同様である。ただし、式（１）に示す分類指標Ｐ（ｘ）の算出式においては、特徴ベクトルｘの代わりに、ステップａ１４３において算出された特徴量が適用される。また、式（１）における平均ベクトルμの代わりに、事前に取得された複数の異常領域のサンプルにおける特徴量の平均値が適用される。さらに、式（１）における分散共分散行列Ｚの代わりに、事前に取得された複数の異常領域のサンプルにおける分散が適用され、逆行列Ｚ^-1の代わりに、該サンプルにおける分散の逆数が適用される。また、式（１）において、ｋ＝１となる。
その後、処理はメインルーチンに戻る。

【0062】

以上説明したように、変形例１−２によれば、検査領域を設定する位置における撮像距離に応じて検査候補領域のサイズを変更するので、効率良く検査領域を設定することができる。従って、より広範囲の粘膜表面に対し、異常構造識別処理を実行することができ、結果的に、粘膜表面の微細構造の異常を精度良く識別することが可能となる。

【0063】

また、変形例１−２によれば、低吸収波長成分の値を基に輪郭エッジ領域を抽出するので、血管等によって生じるエッジ（吸光エッジとも呼ばれる）を、粘膜の輪郭エッジと誤判別することを抑制できる。従って、微細構造の異常の識別に有効な吸光エッジを検査領域内に含めることができ、結果的に、粘膜表面の微細構造の異常を精度良く識別することが可能となる。

【0064】

さらに、変形例１−２によれば、高吸収波長成分の値を基に異常の識別処理を実行するので、粘膜表面の吸光変化を伴う微細構造の異常を精度良く識別することが可能となる。

【0065】

（変形例１−３）
次に、本発明の実施の形態１の変形例１−３について説明する。
図１５は、変形例１−３に係る画像処理装置が備える演算部の構成を示すブロック図である。図１５に示す演算部１００Ｂは、輪郭エッジ領域抽出部１１０と、検査領域設定部１２０Ｂと、異常構造識別部１３０Ｂとを備える。なお、演算部１００Ｂ以外の画像処理装置の構成及び動作については、実施の形態１と同様である（図１参照）。また、輪郭エッジ領域抽出部１１０の構成及び動作も、実施の形態１と同様である。

【0066】

検査領域設定部１２０Ｂは、図１に示す検査領域設定部１２０が備える候補領域設定部１２１の代わりに、候補領域設定部１２４を備える。候補領域設定部１２４は、検査候補領域を設定する位置に映る検査対象の代表的な撮像距離勾配を算出する代表撮像距離勾配算出部１２４ａを備え、算出した代表的な撮像距離勾配に応じたサイズの検査候補領域を画像内に設定する。

【0067】

異常構造識別部１３０Ｂは、生体内における吸収又は散乱の度合いが互いに異なる特定の波長成分間の比率を算出する特定波長間比率算出部１３６と、算出された特定波長成分間の比率に対して特定空間周波数成分を算出する特定周波数成分算出部１３７と、特定空間周波数成分を基に統計的な分類を行う統計分類部１３８とを備え、波長成分間の比率に対する特定空間周波数成分に基づく上記分類の結果を基に、検査領域内の微細構造の異常を識別する。

【0068】

次に、演算部１００Ｂの動作について説明する。演算部１００Ｂの動作は、全体として図２に示すものと同様であり、検査領域設定部１２０Ｂ（ステップＳ１３）、及び異常構造識別部１３０Ｂ（ステップＳ１４）の各部が実行する処理の詳細が実施の形態１とは異なる。

【0069】

図１６は、ステップＳ１３において検査領域設定部１２０Ｂが実行する処理を示すフローチャートである。
まず、ステップｂ１３１において、候補領域設定部１２４は、画像内の複数箇所に、検査候補領域の中心とする位置（ｘ_i,ｙ_i）をランダムに決定する。

【0070】

続くステップｂ１３２において、代表撮像距離勾配算出部１２４ａは、各位置（ｘ_i,ｙ_i）に映る粘膜における撮像距離勾配を、検査候補領域の代表的な撮像距離勾配として算出する。より詳細には、代表撮像距離勾配算出部１２４ａは、各位置（ｘ_i,ｙ_i）及びその近傍の画素における粘膜までの撮像距離を、式（２）を用いて算出する。そして、これらの撮像距離の値に対し、公知の１次微分フィルタ（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１１４頁（微分フィルタ））を適用し、算出した値の絶対値を求める。なお、代表的な撮像距離勾配としては、検査候補領域の中心となる位置（ｘ_i,ｙ_i）における撮像距離勾配の他、位置（ｘ_i,ｙ_i）の近傍の所定範囲内の複数箇所における撮像距離勾配の平均等を用いても良い。

【0071】

ここで、管腔内画像においては、撮像距離勾配が大きいほど、粘膜に対する傾斜が大きい方向から撮像していることになるため、画像内の単位面積当たりの領域に映る実際の粘膜の面積は大きくなる。このため、検査領域を設定する位置に映る粘膜の撮像距離勾配が大きいほど、検査領域を小さくする方が、検査領域内に輪郭エッジ領域を内包しない可能性が高くなる。

【0072】

そこで、ステップｂ１３３において、候補領域設定部１２４は、撮像距離勾配に応じたサイズの検査候補領域を、各位置（ｘ_i,ｙ_i）を中心として設定する。具体的には、撮像距離勾配が大きくなるほど検査領域が大きくなるように、検査領域のサイズを決定する。
その後のステップＳ１３２及びＳ１３３における処理は、実施の形態１と同様である（図６参照）。

【0073】

図１７は、ステップＳ１４において異常構造識別部１３０Ｂが実行する処理を示すフローチャートである。
ここで、上記変形例１−２においては、生体内における吸収又は散乱の度合いが高い特定波長における特定空間周波数成分を用いて微細構造の異常を識別した。しかしながら、そのような特定波長の画素値変化は撮像距離の影響を受け易いため、遠景部では変化が小さく、近景部では変化が大きくなる。このため、高吸収波長成分について算出した特定空間周波数成分の平均強度には、撮像距離に応じた変化が含まれてしまい、遠景部と近景部とで同一の識別関数を用いて異常構造識別処理を実行すると、識別精度が低下してしまうおそれがある。そこで、本変形例１−３においては、撮像距離に伴う画素値変化の影響を抑制するため、生体内における吸収又は散乱の度合いが互いに異なる特定波長成分間の比率を算出し、該比率における特定空間周波数成分を基に、検査領域における異常構造識別処理を実行する。

【0074】

詳細には、ステップｂ１４１において、特定波長間比率算出部１３６は、検査領域内の各画素の画素値に基づいて、生体内における吸収又は散乱の度合いが互いに異なる特定波長成分間の比率として、例えば、Ｒ成分値に対するＧ成分値の比率（Ｇ／Ｒ）を算出する。以下、この比率のことを、波長間比率という。

【0075】

続くステップｂ１４２において、特定周波数成分算出部１３７は、各検査領域に対し、算出された波長間比率の特定空間周波数成分の強度を各画素について算出する。なお、特定空間周波数成分は、教師データ等に基づいて事前に設定されている。

【0076】

続くステップｂ１４３において、統計分類部１３８は、各検査領域に対し、波長間比率の特定空間周波数成分の画素間での平均強度を算出し、この平均強度の値を特徴量とする。

【0077】

さらに、ステップｂ１４４において、異常構造識別部１３０Ｂは、事前に作成した異常領域の識別関数と、ステップｂ１４３において算出した特徴量とを基に、各検査領域が異常であるか否かの分類を行う。なお、識別関数を用いた処理は、変形例１−２と同様である。
その後、処理はメインルーチンに戻る。

【0078】

以上説明したように、変形例１−３によれば、検査領域を設定する位置における撮像距離勾配に応じて検査領域のサイズを変更するので、効率良く検査領域を設定することができる。従って、より広範囲の粘膜表面に対して異常構造識別処理を実行することができ、結果的に、粘膜表面の微細構造の異常を精度良く識別することが可能となる。

【0079】

また、変形例１−３によれば、粘膜表面における微細構造の異常を識別する際に波長間比率を用いるので、撮像距離に伴う画素値変化が特定空間周波数成分の強度変化に及ぼす影響を抑制し、微細構造の異常を精度良く識別することが可能となる。

【0080】

（変形例１−４）
次に、本発明の実施の形態１の変形例１−４について説明する。
図１８は、変形例１−４に係る画像処理装置が備える演算部の一部の構成を示すブロック図である。変形例１−４に係る画像処理装置は、図１に示す検査領域設定部１２０の代わりに、図１８に示す検査領域設定部１２０Ｃを備える。

【0081】

検査領域設定部１２０Ｃは、候補領域設定部１２１及び領域確定部１２５を備える。このうち、候補領域設定部１２１の動作は、実施の形態１と同様である。また、領域確定部１２５は、候補領域設定部１２１により設定された検査候補領域内に存在する輪郭エッジ領域を除外する輪郭エッジ領域除外部１２５ａを備え、輪郭エッジ領域が除外された後に残る検査候補領域を、検査領域として確定する。

【0082】

次に、検査領域設定部１２０Ｃが実行する処理について説明する。図１９は、検査領域設定部１２０Ｃが実行する処理を示すフローチャートである。以下においては、一例として、図４に示す画像Ｍに対する処理を説明する。

【0083】

まず、ステップｃ１３１において、候補領域設定部１２１は、処理対象の画像Ｍ内に、所定サイズの複数の矩形の検査候補領域ＣＡを格子状に設定する（図７参照）。

【0084】

続くステップｃ１３２において、輪郭エッジ領域除外部１２５ａは、検査候補領域ＣＡ内の輪郭エッジ領域ｍ１を除外する。それにより、図２０に示すように、斜線で示す輪郭エッジ領域ｍ１が除外される。

【0085】

さらに、ステップｃ１３３において、領域確定部１２５は、除外されずに残った領域を検査領域として確定する。例えば、図２０の場合、もともと輪郭エッジ領域ｍ１を包含しない検査候補領域ＣＡが検査領域ＥＡとして確定されるのに加えて、輪郭エッジ領域ｍ１を包含する検査候補領域ＣＡ_kから輪郭エッジ領域ｍ１を除外した残りの領域も、１つの検査領域として設定される。
その後、処理はメインルーチンに戻る。

【0086】

以上説明したように、変形例１−４においては、格子状に設定された検査候補領域のうち、輪郭エッジ領域を内包する候補領域を全て除外するのではなく、輪郭エッジ領域のみを除外し、残りの領域を検査領域として設定する。従って、より広範囲の粘膜表面に対して異常構造識別処理を実行することができ、結果的に、粘膜表面の微細構造の異常を精度良く識別することが可能となる。

【0087】

なお、本変形例１−４を変形例１−２又は１−３と組み合わせ、撮像距離又は撮像距離勾配に応じたサイズとなるように設定された検査候補領域から輪郭エッジ領域を除外し、除外されずに残った領域を検査領域に設定しても良い。

【0088】

（変形例１−５）
次に、本発明の実施の形態１の変形例１−５について説明する。
図２１は、変形例１−５に係る画像処理装置が備える演算部の一部の構成を示すブロック図である。変形例１−５に係る画像処理装置は、図１に示す検査領域設定部１２０の代わりに、図２１に示す検査領域設定部１２０Ｄを備える。

【0089】

検査領域設定部１２０Ｄは、候補領域設定部１２１及び領域確定部１２６を備える。このうち、候補領域設定部１２１の動作は、実施の形態１と同様である。また、領域確定部１２６は、検査候補領域内に存在する輪郭エッジ領域を除外する輪郭エッジ領域除外部１２６ａと、除外されずに残った検査候補領域の面積を算出する面積算出部１２６ｂとを備え、算出された検査候補領域の面積を基に、検査領域を確定する。

【0090】

次に、検査領域設定部１２０Ｄが実行する処理について説明する。図２２は、検査領域設定部１２０Ｄが実行する処理を示すフローチャートである。以下においては、一例として、図４に示す画像Ｍに対する処理を説明する。

【0091】

まず、ステップｄ１３１において、候補領域設定部１２１は、処理対象の画像Ｍ内に、所定サイズの複数の矩形の検査候補領域ＣＡを格子状に設定する（図７参照）。

【0092】

続くステップｄ１３２において、輪郭エッジ領域除外部１２６ａは、検査候補領域ＣＡ内の輪郭エッジ領域を除外する。それにより、図２３に示すように、斜線で示す輪郭エッジ領域ｍ１が除外される。

【0093】

ここで、輪郭エッジ領域ｍ１を除外することにより互いに切り離された検査候補領域（例えば、検査候補領域ＣＡ_kが分断されて生じた領域ＣＡ_k1、ＣＡ_k2）には、実空間において不連続な粘膜表面が映っている可能性が高い。このため、これらを合わせて、１つの検査領域として以後の処理を行うと、異常構造の識別精度が低下するおそれがある。また、切り離された結果、非常に小さくなってしまった領域（例えば、領域ＣＡ_k2）は画素数が少なく、十分な識別精度が得られないため、事前に除外する方が好ましい。

【0094】

そこで、ステップｄ１３３において、面積算出部１２６ｂは、輪郭エッジ領域ｍ１を除外した後に残る各検査候補領域ＣＡの面積を算出する。この際、分断された領域（例えば、領域ＣＡ_k1、ＣＡ_k2）については、領域ごとに面積を算出する。

【0095】

さらに、ステップｄ１３４において、領域確定部１２６は、面積算出部１２６ｂにより算出された面積を基に検査領域を確定する。具体的には、切り離された結果、面積が所定の閾値以下となる検査候補領域（例えば、領域ＣＡ_k2）を除外し、残った各検査候補領域を、検査領域として確定する。
その後、処理はメインルーチンに戻る。

【0096】

以上説明したように、変形例１−５によれば、輪郭エッジ領域を除外することにより互いに切り離された各検査候補領域の面積を基に検査領域を確定するので、実空間において不連続な粘膜表面が映っていると考えられる領域を分けつつ、異常構造の識別に有効な大きさの検査領域を設定することができる。従って、粘膜表面の微細構造の異常を精度良く識別することが可能となる。

【0097】

なお、本変形例１−５を変形例１−２又は１−３と組み合わせ、撮像距離又は撮像距離勾配に応じたサイズとなるように設定された検査候補領域から輪郭エッジ領域を除外し、除外されずに残った検査候補領域の面積に基づいて検査領域を設定しても良い。

【0098】

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図２４は、実施の形態２に係る画像処理装置の構成を示すブロック図である。図２４に示すように、実施の形態２に係る画像処理装置２は、図１に示す演算部１００の代わりに、演算部２００を備える。なお、演算部２００以外の画像処理装置２の各部の構成及び動作は、実施の形態１と同様である。

【0099】

演算部２００は、異常構造識別処理の対象としない領域（非検査対象領域）を検査領域の設定対象から除外する非検査対象領域除外部２１０と、輪郭エッジ領域抽出部１１０と、検査領域設定部１２０と、検査領域が未設定の領域に対して検査領域の設定を繰返し実行させる制御を行う繰返し制御部２２０と、異常構造識別部１３０とを備える。このうち、輪郭エッジ領域抽出部１１０、検査領域設定部１２０、及び異常構造識別部１３０の構成及び動作は、実施の形態１と同様である。

【0100】

次に、画像処理装置２の動作について説明する。図２５は、画像処理装置２の動作を示すフローチャートである。
まず、ステップＳ２１において、演算部２００は、記録部５０に記録された画像データを読み込むことにより、処理対象の管腔内画像を取得する。

【0101】

続くステップＳ２２において、非検査対象領域除外部２１０は、画像から取得可能な色情報、周波数情報、形状情報等を基に、暗部、明部、残渣、泡といった非検査対象領域を特定し、検査領域の設定対象から除外する。

【0102】

ここで、管腔内画像には、検査対象となる粘膜領域以外にも、管腔の深部が映った領域（暗部）、被写体の表面から鏡面反射されたハレーション領域（明部）、残渣や泡が映った領域等が存在する。これらの領域が検査領域内に混在すると、微細構造の異常の識別精度が低下してしまう。そこで、非検査対象領域除外部２１０は、画像から明部、暗部、残渣や泡等が映った領域を抽出し、非検査対象領域として予め除外する。なお、これらの非検査対象領域は、公知の種々の方法により抽出することができる。例えば、暗部は、画像内の各画素の色情報（Ｒ成分、Ｇ成分、Ｂ成分の各値等）に基づく色特徴量を基に黒色領域を抽出し、この黒色領域の周囲の画素値変化の方向に基づいて、当該黒色領域が暗部であるか否かを判別することにより抽出することができる（参考：特開２０１１−２３４９３１号公報）。また、明部は、例えば、画像内の各画素の色特徴量を基に白色領域を抽出し、この白色領域の境界付近の画素値の変化に基づいて、当該白色領域がハレーション領域であるか否かを判別することにより抽出することができる（同上）。残渣は、例えば、画像内の各画素の色特徴量を基に非粘膜領域とみられる残渣候補領域を検出し、この残渣候補領域と画像内の構造エッジとの位置関係に基づいて残渣候補領域が粘膜領域であるか否かを判別することにより抽出することができる。泡は、例えば、画像内からエッジを抽出し、泡画像の特徴を基に予め設定された泡モデルと抽出されたエッジとの相関値を算出することにより抽出することができる（参考：特開２００７−３１３１１９号公報）。

【0103】

続くステップＳ２３において、輪郭エッジ領域抽出部１１０は、粘膜の輪郭エッジ領域を抽出する。なお、この抽出処理は、実施の形態１（図５参照）と同様である。

【0104】

続くステップＳ２４において、検査領域設定部１２０は、非検査対象領域が除外された残りの画像領域に対し、輪郭エッジ領域を内包しないように検査領域を設定する。なお、この検査領域の設定処理は、実施の形態１（図６参照）と同様である。その結果、例えば図７に示すように、斜線で示す検査候補領域ＣＡ_inを除く領域が検査領域ＥＡに設定される。

【0105】

ステップＳ２５において、繰返し制御部２２０は、検査領域が未だ設定されていない領域である未検査領域の面積が所定の閾値（閾値Ａとする）よりも小さいか、又は、これまでに設定された検査領域の設定回数が所定の閾値（閾値Ｎとする）よりも大きいか否かを判定する。例えば設定回数が１回目の場合、検査領域ＥＡから除外された検査候補領域ＣＡ_in全体（斜線部分）の面積が閾値Ａと比較される。

【0106】

ここで、画像内に検査領域が十分に設定されない場合、微細構造の異常の識別精度が低下するおそれがある。そこで、未検査領域の面積が閾値Ａ以上であり、且つ、検査領域の設定回数が閾値Ｎ以下である場合（ステップＳ２５：Ｎｏ）、繰返し制御部２２０は、検査領域の設定がさらに必要であると判断し、設定する検査領域のサイズを前回の設定時よりも小さくする（ステップＳ２６）。そして、ステップＳ２４に移行し、検査領域設定部１２０に検査領域の設定を再度実行させる。

【0107】

例えば図７の場合、前回、検査領域ＥＡとして設定されなかった検査候補領域ＣＡ_inに対し、サイズを小さくした検査領域の設定処理がなされる。このように検査領域のサイズを小さくすることにより、検査候補領域が輪郭エッジ領域ｍ１を内包しない可能性が高くなるので、検査領域として設定され得る画像Ｍ内の領域が増加する可能性が高くなる。

【0108】

一方、未検査領域の面積が閾値Ａよりも小さいか、又は、検査領域の設定回数が閾値Ｎよりも大きい場合（ステップＳ２５：Ｙｅｓ）、繰返し制御部２２０は、さらなる検査領域の設定は不要であると判断し、ステップＳ２７に移行する。

【0109】

ステップＳ２７において、異常構造識別部１３０は、設定された検査領域に対し、粘膜表面の微細構造が異常であるか否かを識別する。なお、この識別処理は、実施の形態１（図８参照）と同様である。

【0110】

その後、ステップＳ２８において、演算部２００は、ステップＳ２７における異常識別結果を出力し、表示部４０に表示させると共に、記録部５０に記録させる。その後、画像処理装置２における処理を終了する。

【0111】

以上説明したように、実施の形態２によれば、非検査対象領域を事前に除外して検査領域を設定するので、微細構造の異常を精度良く識別することが可能になる。また、検査領域の設定を繰返し行うので、広範囲の粘膜表面に対して微細構造の異常を識別することができる。この際、処理の繰返しを行うごとに検査領域のサイズを小さくするので、設定可能な検査領域の数が増加し、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になる。その結果、微細構造の異常の識別精度を向上させることが可能になる。

【0112】

なお、上記実施の形態２において説明した非検査対象領域除外部２１０や繰返し制御部２２０を、変形例１−２又は１−３に係る画像処理装置に設けても良い。

【0113】

（実施の形態３）
次に、本発明の実施の形態３について説明する。
図２６は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。図２６に示すように、実施の形態３に係る画像処理装置３は、図１に示す演算部１００の代わりに演算部３００を備える。演算部３００以外の画像処理装置３の各部の構成及び動作は、実施の形態１と同様である。

【0114】

演算部３００は、輪郭エッジ領域抽出部１１０と、後述する距離変換画像に基づいて検査領域を設定する検査領域設定部３１０と、検査領域が未設定の領域に対して検査領域の設定を繰返し実行させる制御を行う繰返し制御部３２０と、粘膜表面までの撮像距離に応じて特定される特定周波数成分の強度に基づき、検査領域内の微細構造の異常を識別する異常構造識別部３３０とを備える。このうち、輪郭エッジ領域抽出部１１０の構成及び動作は、実施の形態１と同様である。

【0115】

検査領域設定部３１０は、画像内の各画素と輪郭エッジ領域又は画像の端部との間の距離を画素値に変換した距離変換画像を算出する距離変換画像算出部３１１を備え、算出した距離変換画像を基に、画像内に検査領域を設定する。

【0116】

異常構造識別部３３０は、検査領域に映る粘膜までの代表的な撮像距離を取得する代表撮像距離取得部３３１と、該代表的な撮像距離に応じて特定される特定空間周波数成分を算出する特定周波数成分算出部３３２と、この特定空間周波数成分を基に統計的な分類を行う統計分類部３３３とを備え、代表的な撮像距離に応じた特定空間周波数成分に基づく上記分類の結果を基に、検査領域内の微細構造の異常を識別する。

【0117】

次に、画像処理装置３の動作について説明する。図２７は、画像処理装置３の動作を示すフローチャートである。
まず、ステップＳ３１において、演算部３００は、記録部５０に記録された画像データを読み込むことにより、処理対象の管腔内画像を取得する。
続くステップＳ３２において、輪郭エッジ領域抽出部１１０は、粘膜の輪郭エッジ領域を抽出する。なお、この抽出処理は、実施の形態１（図５参照）と同様である。

【0118】

ステップＳ３３において、検査領域設定部３１０は、輪郭エッジ領域を内包しないように検査領域を設定する。ここで、実施の形態１のように、検査候補領域を設定し、その中から、輪郭エッジ領域を内包しないという条件にあった候補領域を検査領域として確定する場合、条件に合う候補領域が少ないと、十分な識別精度が得られなくなるおそれがある。そこで、本実施の形態３においては、輪郭エッジ領域の抽出結果を基に、より効率的に検査領域を設定するために、距離変換画像を用いる。

【0119】

図２８は、検査領域設定部３１０が実行する処理の詳細を示すフローチャートである。
ステップＳ３３１において、距離変換画像算出部３１１は、輪郭エッジ領域、画像端、又は検査領域が既設定の領域から各画素までの距離を当該画素の画素値に変換した距離変換画像を算出する。図２９は、輪郭エッジｍ１が映った画像Ｍ（図４参照）から作成された距離変換画像を示す模式図である。図２９においては、距離変換画像Ｍ’内の領域を、画像Ｍの端部又は輪郭エッジ領域ｍ１からの距離に応じて異なるパターンで示している。

【0120】

続くステップＳ３３２において、検査領域設定部３１０は、距離変換画像における画素値が最大値となる画素を検査領域の中心とし、該中心から検査領域の境界までの距離が、上記最大値より小さくなるように検査領域を設定する。例えば、図２９の場合、画素値が最大となる点、即ち、画像Ｍの端部又は輪郭エッジ領域ｍ１からの距離が最大となる点（ｘ_max1，ｙ_max1）〜（ｘ_max9，ｙ_max9）がそれぞれ抽出され、これらの点を中心とする検査領域ＥＡ１〜ＥＡ９がそれぞれ設定される。
その後、処理はメインルーチンに戻る。

【0121】

ステップＳ３３に続くステップＳ３４において、繰返し制御部３２０は、検査領域が未だ設定されていない領域である未検査領域の面積が所定の閾値（閾値Ａとする）よりも小さいか、又は、これまでに設定された検査領域の設定回数が所定の閾値（閾値Ｎとする）よりも大きいか否かを判定する。

【0122】

未検査領域の面積が閾値Ａ以上であり、且つ、検査領域の設定回数が閾値Ｎ以下である場合（ステップＳ３４：Ｎｏ）、繰返し制御部３２０は、検査領域の設定がさらに必要であると判断し、ステップＳ３３に移行し、検査領域設定部３１０に検査領域の設定を再度実行させる。例えば、検査領域ＥＡ１〜ＥＡ９が設定された後は、輪郭エッジ領域ｍ１、画像Ｍの端部、又は検査領域ＥＡ１〜ＥＡ９からの距離変換画像が算出され、この距離変換画像を基に新たな検査領域が設定される。

【0123】

一方、未検査領域の面積が閾値Ａよりも小さいか、又は、検査領域の設定回数が閾値Ｎよりも大きい場合（ステップＳ３４：Ｙｅｓ）、繰返し制御部３２０は、さらなる検査領域の設定は不要であると判断し、ステップＳ３５に移行する。

【0124】

ステップＳ３５において、異常構造識別部３３０は、検査領域に映る粘膜表面の微細構造が異常であるか否かを識別する。図３０は、異常構造識別部３３０が実行する処理の詳細を示すフローチャートである。

【0125】

ステップＳ３５１において、代表撮像距離取得部３３１は、各検査領域に映る粘膜までの代表的な撮像距離を取得する。代表的な撮像距離としては、例えば、検査領域に含まれる粘膜までの撮像距離の平均値や、検査領域の重心座標における撮像距離等が用いられる。なお、各画素位置における撮像距離は、式（２）によって与えられる。

【0126】

ここで、内視鏡によって撮像される管腔内画像においては、撮像距離に応じて粘膜表面の微細構造の解像度が異なるので、微細構造の異常を識別可能な特定空間周波数成分も撮像距離に応じて異なってくる。具体的には、撮像距離が長くなるほど、解像度が低下する。このため、例えば、図３１に示すように、撮像距離が短い場合（近景）に、微細構造の異常を識別可能な特定空間周波数がｆ₁であるとすると、同じ微細構造の異常を識別可能な空間周波数は、撮像距離が長くなると高周波側にシフトする（遠景：空間周波数ｆ₂）。

【0127】

そこで、ステップＳ３５２において、特定周波数成分算出部３３２は、代表的な撮像距離に応じて、微細構造の異常の識別に用いる空間周波数成分を特定する。具体的には、撮像距離が長いほど、特定空間周波数成分を高くして、より微細な構造を検出できるようにする。一方、撮像距離が短いほど特定空間周波数成分を低くして、解像度向上に伴うノイズの影響を抑制する。それにより、粘膜表面の微細構造の異常の識別精度の向上を図る。なお、撮像距離に応じた特定空間周波数成分は、教師データ等に基づいて事前に設定されている。

【0128】

続くステップＳ３５３において、特定周波数成分算出部３３２は、画像を構成する各波長成分に対し、撮像距離に応じた特定空間周波数成分の強度を、各画素について算出する。なお、特定空間周波数成分の強度の算出処理については、実施の形態１と同様である（図８のステップＳ１４１参照）。
続くステップＳ１４２及びＳ１４３については、実施の形態１と同様である。その後、処理はメインルーチンに戻る。

【0129】

ステップＳ３５に続くステップＳ３６において、演算部３００は、ステップＳ３５における異常識別結果を出力し、表示部４０に表示させると共に、記録部５０に記録させる。その後、画像処理装置３における処理を終了する。

【0130】

以上説明したように、実施の形態３によれば、検査候補領域の設定及び検査領域の確定といった処理を繰り返すことなく、効率良く、画像内の広範囲にわたって検査領域を設定することができる。その結果、粘膜表面の微細構造の異常を精度良く識別することが可能となる。

【0131】

また、実施の形態３によれば、検査領域に映る粘膜までの代表的な撮像距離を基に、微細構造の異常の識別に用いる空間周波数成分を特定するので、微細構造の異常の識別精度をさらに向上させることが可能となる。

【0132】

以上説明した実施の形態１〜３及びこれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。

【0133】

なお、本発明は、実施の形態１〜３及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

【符号の説明】

【0134】

１、２、３ 画像処理装置
６ 内視鏡
７ 管腔
８ 粘膜表面
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、１００Ａ、１００Ｂ、２００、３００ 演算部
１１０、１１０Ａ 輪郭エッジ領域抽出部
１１１ エッジ強度算出部
１１２ 輪郭エッジ候補領域抽出部
１１３ 輪郭エッジ領域特定部
１１４ 低吸収波長選択部
１２０、１２０Ａ、１２０Ｂ、１２０Ｃ、１２０Ｄ、３１０ 検査領域設定部
１２１、１２４ 候補領域設定部
１２２、１２５ 領域確定部
１２２ａ 輪郭エッジ内包領域除外部
１２３ 候補領域設定部
１２３ａ 代表撮像距離算出部
１２４ａ 代表撮像距離勾配算出部
１２５ａ 輪郭エッジ領域除外部
１２６ａ 輪郭エッジ領域除外部
１２６ｂ 面積算出部
１３０、１３０Ａ、１３０Ｂ、３３０ 異常構造識別部
１３１ 特定周波数成分算出部
１３２、１３５、１３８、３３３ 統計分類部
１３３ 特定波長成分選択部
１３４ 特定周波数成分算出部
１３６ 特定波長間比率算出部
１３７ 特定周波数成分算出部
２１０ 非検査対象領域除外部
２２０、３２０ 繰返し制御部
３１１ 距離変換画像算出部
３３１ 代表撮像距離取得部
３３２ 特定周波数成分算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】