特許 6371544 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6371544

(24)【登録日】2018年7月20日

(45)【発行日】2018年8月8日

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20180730BHJP

   A61B 1/00 20060101ALI20180730BHJP

   H04N 7/18 20060101ALI20180730BHJP

【ＦＩ】

   A61B1/045 619

   A61B1/00 C

   A61B1/045 616

   A61B1/045 618

   H04N7/18 M

【請求項の数】10

【全頁数】24

(21)【出願番号】特願2014-52613(P2014-52613)

(22)【出願日】2014年3月14日

(65)【公開番号】特開2015-173827(P2015-173827A)

(43)【公開日】2015年10月5日

【審査請求日】2016年9月12日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】北村 誠

(72)【発明者】

【氏名】神田 大和

【審査官】 磯野 光司

(56)【参考文献】

【文献】 特開２０１１−０２４７２７（ＪＰ，Ａ）

【文献】 特開２００６−３２０６５０（ＪＰ，Ａ）

【文献】 特開２０１３−１８３９１２（ＪＰ，Ａ）

【文献】 特開２００９−２９７３６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

(57)【特許請求の範囲】

【請求項1】

生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出手段と、
前記検出手段が検出した前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出手段と、
を備え、
前記検出手段は、前記一連の画像群に含まれる各画像の特徴量に対する閾値処理により、前記注目画像を検出し、
前記代表画像抽出手段は、前記注目画像群に属する注目画像のうち、前記注目画像の端部と注目領域との距離を算出し、該距離に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理装置。

【請求項2】

生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出手段と、
前記検出手段が検出した前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出手段と、
前記注目画像群抽出手段が抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定手段と、
を備え、
前記抽出枚数決定手段は、前記注目画像群に属する注目画像に写った臓器が検査対象であるか否かを判定し、該判定の結果に基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出手段は、前記抽出枚数決定手段が決定した前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理装置。

【請求項3】

生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出手段と、
前記検出手段が検出した前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出手段と、
前記注目画像群抽出手段が抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定手段と、
を備え、
前記抽出枚数決定手段は、前記注目画像群に含まれる前記注目領域の面積と、前記注目画像群に含まれる前記注目領域の数とのいずれかを算出し、前記面積と前記数とのいずれかに基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出手段は、前記抽出枚数決定手段が決定した前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理装置。

【請求項4】

前記代表画像の表示方法に応じて、前記代表画像の抽出枚数を適応的に決定する表示対応抽出枚数決定手段をさらに備え、
前記代表画像抽出手段は、前記表示対応抽出枚数決定手段が決定した前記抽出枚数に基づいて前記代表画像を抽出することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。

【請求項5】

生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、
前記一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
を含み、
前記検出ステップは、前記一連の画像群に含まれる各画像の特徴量に対する閾値処理により、前記注目画像を検出し、
前記代表画像抽出ステップは、前記注目画像群に属する注目画像のうち、前記注目画像の端部と注目領域との距離を算出し、該距離に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理方法。

【請求項6】

生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、
前記一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
前記注目画像群抽出ステップにおいて抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定手ステップと、
を含み、
前記抽出枚数決定手ステップは、前記注目画像群に属する注目画像に写った臓器が検査対象であるか否かを判定し、該判定の結果に基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出ステップは、前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理方法。

【請求項7】

生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、
前記一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
前記注目画像群抽出ステップにおいて抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定ステップと、
を含み、
前記抽出枚数決定ステップは、前記注目画像群に含まれる前記注目領域の面積と、前記注目画像群に含まれる前記注目領域の数とのいずれかを算出し、前記面積と前記数とのいずれかに基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出ステップは、前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理方法。

【請求項8】

生体の管腔内を順次撮像することにより取得した一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
をコンピュータに実行させ、
前記検出ステップは、前記一連の画像群に含まれる各画像の特徴量に対する閾値処理により、前記注目画像を検出し、
前記代表画像抽出ステップは、前記注目画像群に属する注目画像のうち、前記注目画像の端部と注目領域との距離を算出し、該距離に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理プログラム。

【請求項9】

生体の管腔内を順次撮像することにより取得した一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
前記注目画像群抽出ステップにおいて抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定手ステップと、
をコンピュータに実行させ、
前記抽出枚数決定手ステップは、前記注目画像群に属する注目画像に写った臓器が検査対象であるか否かを判定し、該判定の結果に基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出ステップは、前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理プログラム。

【請求項10】

生体の管腔内を順次撮像することにより取得した一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
前記注目画像群抽出ステップにおいて抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定ステップと、
をコンピュータに実行させ、
前記抽出枚数決定ステップは、前記注目画像群に含まれる前記注目領域の面積と、前記注目画像群に含まれる前記注目領域の数とのいずれかを算出し、前記面積と前記数とのいずれかに基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出ステップは、前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体の管腔内を撮像することにより取得された画像群から代表画像を抽出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

内視鏡やカプセル型内視鏡等の医用観察装置を用いて生体の管腔内を時系列順に撮像することにより取得された一連の画像群（以下、管腔画像群ともいう）から、異常領域等の注目領域が写った画像を代表画像として抽出する技術が知られている。ユーザは、画像群から抽出された代表画像を観察することで、大量の画像を詳細に観察する負担を軽減することができ、正確且つ効率の良い診断を行うことが可能となる。

【0003】

例えば特許文献１には、時系列順に取得された管腔画像群から注目領域を検出し、検出した各注目領域の特徴量に基づいて、時系列で隣接し、且つ特徴量が類似する注目領域を同一のグループとして分類し、各グループに分類された注目領域のうちから、特徴量の平均値に基づいて、当該グループの代表領域を選出し、選出した代表領域を含む画像を代表画像として出力する画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−２４７２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特徴量の平均値に基づいて抽出された代表画像は、必ずしも診断に有益な画像というわけではない。言い換えると、ユーザが正確且つ効率の良い診断を行うためには、診断における重要度が高い、或いは視認性の良い画像、即ち、診断に有益な画像が優先的に抽出されることが好ましい。

【0006】

本発明は、上記に鑑みて為されたものであって、生体の管腔内を時系列順に撮像することにより取得された一連の画像群から、診断に有益な画像を優先的に抽出することができる画像処理装置、画像処理方法、及び画像処理プログラムの提供を目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出手段と、前記検出手段が検出した前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出手段と、を備えることを特徴とする。

【0008】

本発明に係る画像処理方法は、生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、前記一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、を含むことを特徴とする。

【0009】

本発明に係る画像処理プログラムは、生体の管腔内を順次撮像することにより取得した一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、をコンピュータに実行させることを特徴とする。

【発明の効果】

【0010】

本発明によれば、生体の管腔内を時系列順に撮像することにより取得された一連の画像群から同一の注目領域を含む注目画像群を抽出し、該注目画像群の各々から、各注目領域の検出対象との関連性と、各注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出するので、診断に有益な画像を代表画像として優先的に抽出することが可能となる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。

【図2】図２は、図１に示す画像処理装置の動作を示すフローチャートである。

【図3】図３は、時系列順に取得された一連の管腔内画像を示す模式図である。

【図4】図４は、本発明の実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。

【図5】図５は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。

【図6】図６は、図４に示す抽出枚数決定部が実行する代表画像の抽出枚数の決定処理を示すフローチャートである。

【図7】図７は、本発明の変形例２−４において抽出枚数決定部が実行する代表画像の抽出枚数の決定処理を示すフローチャートである。

【図8】図８は、本発明の実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。

【図9】図９は、図８に示す代表画像抽出部が実行する代表画像の抽出処理を示すフローチャートである。

【図10】図１０は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。

【図11】図１１は、本発明の実施の形態４に係る画像処理装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

【0013】

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を示すブロック図である。実施の形態１に係る画像処理装置１は、被検体である生体の管腔内をカプセル型内視鏡等の医用観察装置により順次撮像することにより取得された一連の画像群から、診断における検出対象として推定される領域である注目領域を含む画像（注目画像）群を検出し、検出した注目画像群から代表画像を抽出する装置である。生体の管腔内が写った画像（管腔内画像ともいう）は、通常、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。以下の説明においては、注目領域として出血、発赤、アフタ、潰瘍等の異常領域を検出し、これらの異常領域を含む画像（異常画像）群から代表画像を抽出する場合を説明するが、注目領域は上記例示した異常領域に限定されない。

【0014】

図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、カプセル型内視鏡等の医用観察装置により撮像された管腔内画像に対応する画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

【0015】

制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

【0016】

画像取得部２０は、被検体内を撮像するカプセル型内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、カプセル型内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。

【0017】

入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。

【0018】

表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。

【0019】

記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、管腔内画像から出血、発赤、アフタ、潰瘍等の異常領域を検出し、これらの異常領域を含む画像（異常画像）から同一の異常領域を含む異常画像群を抽出し、各異常画像群から代表画像を抽出する画像処理を当該画像処理装置１に実行させる画像処理プログラム５１や、異常領域を検出する際に用いられる判別基準や、代表画像を抽出する際に用いられる判別基準等を格納する。

【0020】

演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことにより、管腔内画像から同一の異常領域を含む異常画像群を抽出し、各異常画像群から代表画像を抽出する画像処理を行う。

【0021】

次に、演算部１００の構成について説明する。図１に示すように、演算部１００は、一連の画像群から異常領域を含む異常画像を検出する検出部１１０と、該検出部１１０が検出した異常画像から、同一の異常領域を含む異常画像群を抽出する異常画像群抽出部１２０と、抽出された異常画像群から、各異常領域の重要度と、各異常領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出部１３０とを備える。ここで、異常領域の重要度とは、管腔内画像に対する診断における検出対象と各異常領域との関連性、言い換えると、検出対象らしさのことをいい、この関連性が強いほど（検出対象らしいほど）重要度が高くなる。例えば、出血源を検出対象とする場合、検出された異常領域が出血源らしいほど、当該異常領域の重要度は高いと判断される。

【0022】

検出部１１０は、管腔内画像の各種特徴量に基づいて異常領域を検出する。実施の形態１においては、管腔内画像の色特徴量（色情報）に基づいて異常領域を検出する例を説明する。ここで、出血や発赤、血管異常等の異常領域は赤色調の特定色を示し、潰瘍やアフタ等の異常領域は白色調の特定色を示す。そこで、検出部１１０は、画素値の各色成分（Ｒ成分、Ｇ成分、Ｂ成分）や、これらの各色成分を基に公知の変換により２次的に算出した値（例えば、ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など）といった色特徴量を用いて、管腔内画像内の特定色を示す領域を検出し、この領域を異常領域とする。より詳細には、事前に収集した各種の異常領域の色特徴量を基に、異常領域の判別基準（色範囲）を予め作成し、記録部５０に記録しておく。そして、管腔内画像から異常領域を検出する際に、この判別基準を記録部５０から読み出すと共に、管腔内画像を構成する各画素について色特徴量を算出し、各画素の色特徴量を判別基準と比較することにより、当該管腔内画像から異常領域を検出する。

【0023】

なお、異常領域の検出方法は、上述した検出方法に限定されず、異常領域を検出可能な公知の種々の方法を適用することができる。例えば、代表的な色特徴量との特徴空間距離に基づく方法等を用いても良い。また、上記説明においては、管腔内画像を構成する画素単位の色特徴量を用いて異常領域を検出したが、画像内のエッジ情報等を基に管腔内画像を小領域に分割し、小領域単位の色特徴量を用いて異常領域を検出しても良い。さらに、色特徴量以外の形状特徴量や、テクスチャ特徴量を用いて、異常領域を検出しても良い。

【0024】

異常画像群抽出部１２０は、検出部１１０が検出した異常領域のうち、同一の異常領域を含む画像を１つの異常画像群として抽出する注目画像群抽出部である。より詳細には、異常画像群抽出部１２０は、異常領域を含む異常画像のうち、時系列で連続する異常画像を、同一の異常領域を含む異常画像群として抽出する。

【0025】

なお、同一の異常領域を含む異常画像群の抽出方法としては、上述した抽出方法の他にも、公知の種々の方法を適用することができる。例えば、異常画像間における正規化相互相関や、動きベクトル変化量や、画素値(輝度値又はＧ成分の値)の変化量等に基づいて、画像間の変化量を求め、変化量が所定値以下である異常画像群を、同一の異常領域を含む異常画像群として抽出しても良い。或いは、異常領域の形状特徴量（面積、円形度等）や色特徴量(色比、色相等)の異常画像間における差分値を算出し、差分値が所定値以下である異常画像群を、同一の異常領域を含む異常画像群として抽出しても良い。

【0026】

代表画像抽出部１３０は、同一の異常領域を含む異常画像群の各々から、重要度の高い異常領域を含む異常画像や、異常領域の視認性の良い異常画像を代表画像として抽出する。

【0027】

次に、図１に示す画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０において、画像処理装置１は、時系列順に撮像された一連の管腔内画像の画像データを、画像取得部２０を介して取得し、記録部５０に記録する。

【0028】

続くステップＳ１１において、検出部１１０は、記録部５０に記録された管腔内画像の画像データを順次読み出し、各管腔内画像から異常領域を検出する処理を行う。具体的には、検出部１１０は、記録部５０に予め記録されている異常領域の判別基準を読み出し、各管腔内画像を構成する各画素の色特徴量をこの判別基準と比較することにより、異常領域を判別する。

【0029】

図３は、時系列順に取得された一連の管腔内画像を示す模式図である。ここで、管腔内画像Ｉ_iの添え字ｉ（ｉ＝１、２、…）は、各管腔内画像の並び順（撮像順序）を示す。ステップＳ１１の処理により、これらの管腔内画像Ｉ_iから異常領域Ａ_iを含む異常画像（ｉ＝ｔ１〜ｔ１＋４、ｔ２〜ｔ２＋２、ｔ３〜ｔ３＋５の管腔内画像Ｉ_i）が検出されたものとする。以下、異常画像として抽出された管腔内画像Ｉ_iを、異常画像Ｉ_iとも記す。

【0030】

続くステップＳ１２において、異常画像群抽出部１２０は、ステップＳ１１において検出された異常画像から、同一の異常領域を含む異常画像群を抽出する。具体的には、時系列で連続する異常画像が、同一の異常領域を含む異常画像群として抽出される。これより、例えば図３の場合、異常画像Ｉ_t1〜Ｉ_t1+4からなる異常画像群Ｇ_t1と、異常画像Ｉ_t2〜Ｉ_t2+2を含む異常画像群Ｇ_t2と、異常画像Ｉ_t3〜Ｉ_t3+t5を含む異常画像群Ｇ_t3とが、それぞれ、同一の異常領域として抽出される。

【0031】

続くステップＳ１３において、代表画像抽出部１３０は、ステップＳ１２において抽出された各異常画像群から、異常領域の重要度の高い異常画像や異常領域の視認性の良い異常画像を少なくとも１枚、代表画像として抽出する。抽出される代表画像の数は、定数であっても良いし（例えば、各異常画像群から１枚）、異常画像群に属する異常画像の枚数に応じて決定しても良い（例えば、異常画像の枚数のα倍、０＜α＜１）。なお、後者の場合、代表画像の枚数が１枚に満たないときには、少なくとも１枚の代表画像を抽出するものとする。或いは、抽出される代表画像の数を特定せず、所定の基準を満たす異常画像（例えば、色特徴量が所定の閾値以上の異常画像）を全て代表画像として抽出しても良い。

【0032】

代表画像の抽出方法は特に限定されない。例えば、各異常画像群の時系列順での先頭画像を代表画像として抽出しても良い。或いは、各異常画像群における同一の異常領域の色特徴量に基づいて抽出しても良い。具体的には、異常領域が赤色調の特定色を示す場合、異常領域の赤色が強い異常画像を優先的に代表画像として抽出し、異常領域が白色調の特定色を示す場合、異常領域の白色が強い異常画像を優先的に代表画像として抽出する。また、異常領域の面積が大きい異常画像や、異常領域の位置が中央に近い異常画像を優先的に代表画像として抽出しても良い。

【0033】

続くステップＳ１４において、演算部１００は、ステップＳ１３において各異常画像群から抽出された代表画像を表す情報を出力する。これに応じて、記録部５０は、代表画像として抽出された管腔内画像の画像データに代表画像である旨を示す情報（フラグ）を付加する。

【0034】

以上説明したように、本発明の実施の形態１によれば、管腔内画像から抽出された異常画像を、同一の異常領域を含む異常画像群に分け、各異常画像群から代表画像を異常領域の重要度や視認性に基づいて抽出するので、診断に有益な管腔内画像を代表画像として優先的に抽出することができる。また、この際、各異常画像群から少なくとも１枚の代表画像を抽出するので、抽出された全ての異常を網羅して、ユーザが観察すべき異常画像の抽出漏れを防ぎつつ、代表画像の枚数を抑えることができる。従って、このように抽出された代表画像を詳細に観察することにより、ユーザは、正確且つ効率の良い診断を行うことが可能となる。

【0035】

（変形例１−１）
次に、本発明の実施の形態１の変形例１−１について説明する。
ステップＳ１３において、代表画像抽出部１３０は、異常領域の赤みの強さを算出し、この赤みの強さに基づいて代表画像を抽出しても良い。例えば、異常画像群における同一の異常領域が出血、発赤、血管異常である場合、異常領域の赤みが強い異常画像ほど、重要度が高いといえる。赤みの強さは、色比Ｇ／Ｒによって表され、色比Ｇ／Ｒが小さいほど赤みが強いことを示す。

【0036】

詳細には、代表画像抽出部１３０は、まず、処理対象の異常画像群に属する各異常画像に対し、異常領域を構成する画素における色比Ｇ／Ｒの平均値を算出する。そして、色比Ｇ／Ｒの平均値が小さい順に、所定数だけ、異常画像を代表画像として抽出する。ここでは、色比Ｇ／Ｒによる方法を示したが、同様にＨＳＩの色相Ｈ等を用いても良い。

【0037】

（変形例１−２）
次に、本発明の実施の形態１の変形例１−２について説明する。
ステップＳ１３において、代表画像抽出部１３０は、異常領域の白色の強さを算出し、この白色の強さに基づいて代表画像を抽出しても良い。例えば、異常画像群における同一の異常領域がアフタ又は潰瘍である場合、異常領域の白色が強い異常画像ほど、重要度が高いといえる。白色の強さは、色比Ｇ／Ｒ及びＢ／Ｇによって表され、色比Ｇ／Ｒ及びＢ／Ｇが共に大きいほど白みが強いことを示す。

【0038】

詳細には、代表画像抽出部１３０は、まず、処理対象の異常画像群に属する各異常画像に対し、異常領域を構成する画素における色比Ｇ／Ｒ及びＢ／Ｇの各平均値を算出する。そして、色比Ｇ／Ｒの平均値と色比Ｂ／Ｇの平均値との合計値が大きい順に、所定数だけ、異常画像を代表画像として抽出する。ここでは、色比Ｇ／Ｒ及びＢ／Ｇによる方法を示したが、同様にＨＳＩの色相Ｈ、彩度Ｓ等を用いても良い。

【0039】

（変形例１−３）
次に、本発明の実施の形態１の変形例１−３について説明する。
ステップＳ１３において、代表画像抽出部１３０は、異常画像内から、ノイズ、泡、残差のように、検出対象である異常領域との関連性がない、或いは、関連性が非常に低い領域（以下、不要領域という）を検出し、この不要領域に基づいて代表画像を抽出しても良い。これらの不要領域が少ない異常画像ほど、視認性が良いといえる。

【0040】

詳細には、代表画像抽出部１３０は、まず、処理対象の異常画像群に属する各異常画像に対し、ノイズ、泡、及び残渣等の不要領域を検出する。不要領域の検出方法としては、公知の種々の方法を適用することができる。例えば、事前に、管腔内画像に写ったノイズ、泡、残渣、及び粘膜の領域の色特徴量（画素値のＲ成分、Ｇ成分、Ｂ成分の値、これらの各色成分の値を基に公知の変換により２次的に算出した値（ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など））や、形状特徴量（Histograms of Oriented Gradients（ＨＯＧ）、面積、周囲長、フェレ径等の形状情報）や、テクスチャ特徴量（Local Binary Pattern（ＬＢＰ）、同時正規行列等）の特徴量分布を算出し、該特徴量分布に基づいてサポートベクターマシン（ＳＶＭ）等の学習器により判別基準を作成する。この判別基準に対し、各異常画像に対して算出された特徴量を比較することにより、ノイズ、泡、及び残渣等の不要領域を検出することができる。

【0041】

続いて、代表画像抽出部１３０は、検出した不要領域の総面積（総画素数）を異常画像ごとに算出する。そして、この総面積が小さい順に、所定数だけ、異常画像を代表画像として抽出する。

【0042】

（変形例１−４）
次に、本発明の実施の形態１の変形例１−４について説明する。
ステップＳ１３において、代表画像抽出部１３０は、異常領域の明度を算出し、この明度に基づいて代表画像を抽出しても良い。明度が高い異常画像ほど、視認性が良いといえる。

【0043】

詳細には、代表画像抽出部１３０は、まず、処理対象の異常画像群に属する各異常画像に対し、異常領域を構成する画素におけるＧ成分の平均値（輝度平均値）を算出する。そして、この輝度平均値が大きい順に、所定数だけ、異常画像を代表画像として抽出する。

【0044】

（変形例１−５）
次に、本発明の実施の形態１の変形例１−５について説明する。
ステップＳ１３において、代表画像抽出部１３０は、異常領域のコントラストを算出し、このコントラストに基づいて代表画像を抽出しても良い。コントラストが高い異常画像ほど、視認性が良いといえる。

【0045】

詳細には、代表画像抽出部１３０は、まず、処理対象の異常画像群に属する各異常画像に対し、異常領域を構成する画素におけるＧ成分の平均値（輝度平均値）と、異常領域以外の領域を構成する画素におけるＧ成分の平均値（輝度平均値）との差分の絶対値を算出する。そして、この差分の絶対値が大きい順に、所定数だけ、異常画像を代表画像として抽出する。

【0046】

（変形例１−６）
次に、本発明の実施の形態１の変形例１−６について説明する。
ステップＳ１３において、代表画像抽出部１３０は、異常領域のサイズを算出し、このサイズに基づいて代表画像を抽出しても良い。異常領域のサイズが大きい異常画像ほど、視認性が良いといえる。

【0047】

詳細には、代表画像抽出部１３０は、まず、処理対象の異常画像群に属する各異常画像に対し、異常領域の総面積（総画素数）を算出する。そして、この異常領域の総面積が大きい順に、所定数だけ、異常画像を代表画像として抽出する。

【0048】

（変形例１−７）
次に、本発明の実施の形態１の変形例１−７について説明する。
ステップＳ１３において、代表画像抽出部１３０は、異常画像内における異常領域の数をカウントし、この数に基づいて代表画像を抽出しても良い。異常領域の数が多い異常画像ほど、視認性が良いといえる。

【0049】

詳細には、代表画像抽出部１３０は、まず、処理対象の異常画像群に属する各異常画像に対し、異常領域の数をカウントする。そして、異常領域の数が多い順に、所定数だけ、異常画像を代表画像として抽出する。

【0050】

（変形例１−８）
次に、本発明の実施の形態１の変形例１−８について説明する。
ステップＳ１３において、代表画像抽出部１３０は、異常画像内における異常領域の位置に基づいて代表画像を抽出しても良い。異常領域が画像の中央寄りに存在するほど、異常画像の視認性が良いといえる。

【0051】

詳細には、代表画像抽出部１３０は、まず、処理対象の異常画像群に属する各異常画像に対し、画像の４辺の各々と異常領域の重心位置との距離を算出し、各辺からの距離が最も短い値を、画像端から異常領域までの距離とする。この距離が長いほど、異常領域は画像の中央寄りに存在するといえる。そして、代表画像抽出部１３０は、画像端からの距離が長い順に、所定数だけ、異常画像を代表画像として抽出する。

【0052】

なお、画像端から異常領域までの距離としては、画像の４辺の各々と、異常領域の境界のうち各辺から最も近い位置との距離を算出し、各辺からの距離が最も短い値を採用しても良い。或いは、異常画像の中心位置と異常領域の重心位置との距離を算出し、この距離が短い順に、異常画像を代表画像として抽出しても良い。

【0053】

上記変形例１−１〜１−８において説明した代表画像の抽出方法は、単独で適用しても良いし、異なる抽出方法を重み付けにより組み合わせて適用しても良い。

【0054】

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図４は、本発明の実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。図４に示すように、実施の形態２に係る画像処理装置は、図１に示す演算部１００の代わりに、図４に示す演算部２００を備える。演算部２００以外の各部の構成及び動作については、実施の形態１と同様である。

【0055】

演算部２００は、検出部１１０、異常画像群抽出部１２０、及び代表画像抽出部１３０に加え、抽出枚数決定部２１０をさらに備える。抽出枚数決定部２１０は、異常画像群抽出部１２０が抽出した各異常画像群における異常領域の重要度と視認性との少なくともいずれかに基づいて、代表画像の抽出枚数を適応的に決定する。なお、検出部１１０、異常画像群抽出部１２０、及び代表画像抽出部１３０の動作は、実施の形態１と同様である。

【0056】

次に、本発明の実施の形態２に係る画像処理装置の動作について説明する。図５は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。なお、図５に示すステップＳ１０〜Ｓ１２は実施の形態１と同様である（図２参照）。

【0057】

ステップＳ１２に続くステップＳ２０において、抽出枚数決定部２１０は、ステップＳ１２において抽出された異常画像群の各々に対し、代表画像の抽出枚数を決定する。この際、抽出枚数決定部２１０は、重要度が高い異常領域を含む異常画像群については、見落としを防止するため、より多くの代表画像が抽出されるように、異常領域の重要度に基づいて代表画像の抽出枚数を決定する。

【0058】

図６は、抽出枚数決定部２１０が実行する代表画像の抽出枚数の決定処理を示すフローチャートである。以下、図６を参照しながら、異常領域の重要度として、各管腔内画像に写った臓器の種類に基づいて抽出枚数を決定する例を説明する。

【0059】

まず、ステップＳ２０１において、抽出枚数決定部２１０は、一連の管腔内画像から抽出された各異常画像に写った臓器の種類を判別する。臓器の種類の判別方法としては、公知の種々の方法を適用することができる。以下、一例として、特開２００６−２８８６１２号公報に開示されている判別方法を説明する。

【0060】

まず、事前に、管腔内の各臓器（食道、胃、小腸、及び大腸）が写った画像におけるＲ、Ｇ、Ｂの各色成分（色要素）の数値範囲を決定しておく。そして、異常画像における各画素のＲ成分、Ｇ成分、及びＢ成分の値それぞれの平均値を算出し、事前に決定した各臓器の色成分の数値範囲と比較する。その結果、異常画像について算出した色成分ごとの平均値が事前に決定した食道の色成分の数値範囲内であれば、当該異常画像に写った臓器は食道であると判別する。同様に、異常画像について算出した色成分ごとの平均値が事前に決定した胃の色成分の数値範囲内であれば当該異常画像に写った臓器は胃であり、小腸の色成分の数値範囲内であれば当該異常画像に写った臓器は小腸であり、大腸の色成分の数値範囲内であれば当該異常画像に写った臓器は大腸であると判別する。

【0061】

続いて、抽出枚数決定部２１０は、各異常画像群についてループＡの処理を実行する。
ステップＳ２０２において、抽出枚数決定部２１０は、予め設定された検査対象臓器に基づき、処理対象の異常画像群が検査対象であるか否かを判定する。具体的には、異常画像群に属する異常画像のうち、検査対象臓器が写った異常画像が半数以上である場合、当該異常画像群は検査対象であると判定し、検査対象臓器が写った異常画像が半数に満たない場合、当該異常画像群は検査対象でないと判定する。

【0062】

異常画像群が検査対象である場合（ステップＳ２０２：Ｙｅｓ）、抽出枚数決定部２１０は、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０．５倍に決定する（ステップＳ２０３）。一方、異常画像群が検査対象でない場合（ステップＳ２０２：Ｎｏ）、抽出枚数決定部２１０は、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０．１倍に決定する（ステップＳ２０４）。ここで、ステップＳ２０３又はステップＳ２０４において抽出枚数を算出した結果、抽出枚数が１枚以下となる場合には、抽出枚数を１枚に決定する。

【0063】

一連の管腔内画像から抽出された全ての異常画像群に対してループＡを実行した後、処理はメインルーチンに戻る。

【0064】

ステップＳ２０に続くステップＳ１３及びＳ１４における処理は、実施の形態１と同様である。この際、ステップＳ１３において、代表画像抽出部１３０は、各異常画像群から、ステップＳ２０において決定された抽出枚数だけ代表画像を抽出する。例えば、検査対象臓器が小腸である場合、小腸が写った異常画像を半数以上含む異常画像群からは、異常画像の枚数の０．５倍の代表画像が抽出される。一方、食道、胃、又は大腸が写った異常画像を半数以上含む異常画像群からは、異常画像の枚数の０．１倍の代表画像が抽出される。

【0065】

以上説明したように、本発明の実施の形態２によれば、異常領域の重要度に応じて各異常画像群から抽出される代表画像の抽出枚数を決定するので、重要度が高い異常領域を含む異常画像群からより多くの代表画像を抽出することができる。従って、ユーザは、重要度が高い異常領域の見落としを防ぎ、正確且つ効率の良い診断を行うことが可能となる。

【0066】

（変形例２−１）
次に、本発明の実施の形態２の変形例２−１について説明する。
上記実施の形態２においては、各異常画像群から少なくとも１枚の代表画像を抽出することとしたが、検査対象外の臓器が写った画像は重要度が低いとみなして、検査対象でない異常画像群からは代表画像を抽出しなくても良い。

【0067】

具体的には、図６に示すステップＳ２０２において、異常画像群が検査対象である場合（ステップＳ２０２：Ｙｅｓ）、代表画像の抽出枚数を、上記実施の形態２と同様に、当該異常画像群に属する異常画像の枚数の０．５倍に決定する（ステップＳ２０３）。なお、この際、抽出枚数が１枚以下となる場合には、抽出枚数を１枚に決定する。一方、異常画像群が検査対象でない場合（ステップＳ２０２：Ｎｏ）、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０倍に決定する。

【0068】

この場合、ステップＳ２０に続くステップＳ１３（図５参照）においては、例えば検査対象臓器が小腸である場合、小腸が写った異常画像を半数以上含む異常画像群からは、異常画像の枚数の０．５倍の代表画像が抽出される。一方、食道、胃、又は大腸が写った異常画像を半数以上含む異常画像群からは、代表画像は抽出されない。

【0069】

以上説明したように、変形例２−１によれば、検査対象の異常画像群のみから代表画像を抽出するので、ユーザは、より効率良く診断を行うことができる。

【0070】

なお、臓器の種類に応じた代表画像の抽出枚数を決定する係数（０．５倍、０．１倍等）はこれに限定されず、検査対象の臓器や検査の目的等に応じて適宜設定することができる。

【0071】

（変形例２−２）
次に本発明の実施の形態２の変形例２−２について説明する。
上記実施の形態２においては、異常画像に写った臓器の種類を画像処理により自動で判別したが、ユーザが臓器の種類を判別することとしても良い。

【0072】

具体的には、演算部２００における画像処理により、一連の管腔内画像の各々の平均色を算出し、これらの平均色を管腔内画像の並び順（時系列順）に配列したカラーバーを作成して表示部４０に表示させる。このカラーバー上における平均色の変わり目（境界）が、一連の管腔内画像における臓器の境界に対応する。そこで、入力部３０に対するユーザ操作に応じて、カラーバー上の特定のポイントを選択する信号が入力部３０から制御部１０に入力されると、制御部１０は、当該ポイントに対応する管腔内画像の画像番号を演算部２００に入力する。演算部２００は、入力された画像番号に対応する管腔内画像を臓器の境界として、各管腔内画像に写った臓器の種類を特定する。

【0073】

（変形例２−３）
次に、本発明の実施の形態２の変形例２−３について説明する。
演算部２００は、ステップＳ１０において画像データを取得した後、一連の管腔内画像全体に対して臓器の種類の判別処理を行っても良い。なお、臓器の種類の判別は、実施の形態２と同様に自動で行っても良いし、変形例２−２と同様に、ユーザが手動で行っても良い。

【0074】

この場合、演算部２００は、検査対象の臓器（例えば小腸）が写った管腔内画像に対して、図５に示すステップＳ１１、Ｓ１２、Ｓ２０の処理を行う。このうち、ステップＳ２０においては、既に臓器の判別処理がなされているので、代表画像の抽出枚数は、単に、各異常画像群に属する異常画像の枚数に応じて決定される（例えば、当該異常画像群に属する異常画像の枚数の０．５倍等）。その後のステップＳ１３、Ｓ１４は上記実施の形態２と同様である。

【0075】

一方、演算部２００は、検査対象外の臓器（例えば、食道、胃、又は大腸）が写った管腔内画像に対しては、異常領域の検出を行うことにより異常画像を抽出した後、例えば異常領域の赤みが強い順、或いは、異常領域の白色が強い順に、異常画像を所定枚数（例えば１０枚などの少数）だけ抽出し、代表画像として出力する。なお、赤みの強さは、色比Ｇ／Ｒによって表すことができ、色比Ｇ／Ｒが小さいほど赤みが強いことを示す。また、白色の強さは、色比Ｇ／Ｒ及びＢ／Ｇによって表すことができ、色比Ｇ／Ｒ及びＢ／Ｇが共に大きいほど白みが強いことを示す。或いは、演算部２００は、検査対象外の臓器が写った管腔内画像については異常領域の検出を行うことなく、管腔内画像の色特徴量（上述した色比等）に基づいて、所定枚数（例えば１０枚などの少数）の管腔内画像を代表画像として抽出しても良い。さらには、検査対象外の臓器が写った管腔内画像からは代表画像の抽出を行わなくても良い。

【0076】

（変形例２−４）
次に、本発明の実施の形態２の変形例２−４について説明する。
図５に示すステップＳ２０において、抽出枚数決定部２１０は、臓器の種類以外の異常画像の重要度に基づいて代表画像の抽出枚数を適応的に決定しても良い。以下、異常画像の重要度の一例として、異常領域の種類に基づいて代表画像の抽出枚数を決定する方法を説明する。

【0077】

図７は、変形例２−４において抽出枚数決定部２１０が実行する代表画像の抽出枚数の決定処理を示すフローチャートである。
まず、ステップＳ２１１において、抽出枚数決定部２１０は、一連の管腔内画像から抽出された各異常画像に写った異常領域の種類を判別する。異常領域の種類の判別方法としては、公知の種々の方法を適用することができる。例えば、事前に、管腔内画像に写った各種異常（出血、発赤、血管異常、アフタ、潰瘍等）の領域から、色特徴量（例えば、画素値のＲ成分、Ｇ成分、Ｂ成分の値、これらの各色成分の値を基に公知の変換により２次的に算出した値（ＹＣｂＣｒ変換により算出した色差、ＨＳＩ変換により算出した色相、彩度、Ｇ／Ｒ、Ｂ／Ｇ等の色比など））や、形状特徴量（Histograms of Oriented Gradients（ＨＯＧ）、面積、周囲長、フェレ径等の形状情報）や、テクスチャ特徴量（Local Binary Pattern（ＬＢＰ）、同時正規行列等）の特徴量分布を算出し、該特徴量分布に基づいてサポートベクターマシン（ＳＶＭ）等の学習器により判別基準を作成する。この判別基準に対し、各異常画像内の異常領域に対して算出された特徴量を比較することにより、異常領域を出血、発赤、血管異常、アフタ、潰瘍の各種異常に分類する。以下においては、出血は比較的重要度が高い異常、アフタ及び潰瘍は重要度が中程度の異常、発赤及び血管異常は重要度が比較的低い異常として説明する。

【0078】

続いて、抽出枚数決定部２１０は、各異常画像群についてループＢの処理を実行する。
ステップＳ２１２において、抽出枚数決定部２１０は、処理対象の異常画像群の異常領域の種類を判別する。より詳細には、異常画像群における異常領域の分類結果から、最も多い（又は過半数の）異常領域の種類を、当該異常画像群の異常領域の種類として判別する。

【0079】

続くステップＳ２１３において、抽出枚数決定部２１０は、当該異常画像群の異常領域の種類が出血であるか否かを判定する。異常領域の種類が出血である場合（ステップＳ２１３：Ｙｅｓ）、抽出枚数決定部２１０は、代表画像の枚数を、当該異常画像群に属する異常画像の枚数の０．５倍に決定する（ステップＳ２１４）。

【0080】

一方、異常領域の種類が出血でない場合（ステップＳ２１３：Ｎｏ）、抽出枚数決定部２１０は続いて、異常領域の種類がアフタ又は潰瘍であるか否かを判定する（ステップＳ２１５）。異常領域の種類がアフタ又は潰瘍である場合（ステップＳ２１５：Ｙｅｓ）、抽出枚数決定部２１０は、代表画像の枚数を、当該異常画像群に属する異常画像の枚数の０．２倍に決定する（ステップＳ２１６）。

【0081】

さらに、異常領域の種類がアフタ又は潰瘍でない場合（ステップＳ２１５：Ｎｏ）、抽出枚数決定部２１０は、当該異常画像群の異常領域の種類は発赤又は血管異常と判断し、代表画像の枚数を、当該異常画像群に属する異常画像の枚数の０．１倍に決定する（ステップＳ２１７）。

【0082】

なお、ステップＳ２１４、Ｓ２１６、又はＳ２１７において抽出枚数を算出した結果、抽出枚数が１枚以下となる異常画像群については、抽出枚数を１枚に設定する。

【0083】

一連の管腔内画像から抽出された全ての異常画像群についてループＢを実行した後、抽出枚数決定部２１０の処理はメインルーチンに戻る。

【0084】

以上説明したように、変形例２−４によれば、各異常画像群から抽出される代表画像の抽出枚数を、異常領域の種類に応じて決定するので、出血等の重要な異常を含む異常画像群からより多くの代表画像を抽出することができる。従って、ユーザは、重要度の高い異常領域の見落としを防ぎ、正確且つ効率の良い診断を行うことが可能となる。

【0085】

なお、上記変形例２−４においては、管腔内画像から検出される異常領域の種類を、出血、アフタ、潰瘍、発赤、及び血管異常に分類したが、異常の分類はこれらに限定されない。また、異常画像の種類に応じて設定される、代表画像の抽出枚数を決定する係数（０．５倍、０．２倍、０．１倍等）についても、これに限定されず、検査の目的等に応じて適宜設定することができる。

【0086】

（変形例２−５）
次に、本発明の実施の形態２の変形例２−５について説明する。
図５に示すステップＳ２０において、抽出枚数決定部２１０は、臓器の種類や異常領域の種類だけでなく、これらの組み合わせに応じて代表画像の抽出枚数を決定しても良い。例えば、上記変形例２−４のように、異常領域の種類に応じて各異常画像群に対して代表画像の抽出枚数を決定し、さらに、これらの抽出枚数に対し、異常画像群の臓器に応じた係数を掛けることにより、最終的な代表画像の抽出枚数とする。異常画像群の臓器に応じた係数は、例えば、検査対象の臓器である場合は１、検査対象の臓器でない場合は０．５等と設定すれば良い。

【0087】

（変形例２−６）
次に、本発明の実施の形態２の変形例２−６について説明する。
図５に示すステップＳ２０において、抽出枚数決定部２１０は、異常画像の視認性に基づいて代表画像の抽出枚数を適応的に決定しても良い。具体的には、視認し難い異常領域を含む異常画像群については、異常領域の見落としを防止するために、より多くの代表画像が抽出されるように代表画像の抽出枚数を決定する。以下、異常画像の視認性の一例として、異常領域の明度に基づいて代表画像の抽出枚数を決定する方法を説明する。

【0088】

抽出枚数決定部２１０は、まず、処理対象の異常画像群に含まれる異常領域のＧ成分の平均値（輝度平均値）を算出する。そして、この輝度平均値が所定の閾値未満である異常画像群からより多くの代表が抽出されるように、抽出枚数を決定する。具体的には、輝度平均値が所定の閾値未満である異常画像群の場合、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０．５倍に決定する。一方、輝度平均値が所定の閾値以上である異常画像群の場合、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０．１倍に決定する。なお、抽出枚数を算出した結果、抽出枚数が１枚以下となる異常画像群については、抽出枚数を１枚に決定する。また、代表画像の抽出枚数を決定する係数（０．５倍、０．１倍）は適宜変更しても良い。

【0089】

（変形例２−７）
次に、本発明の実施の形態２の変形例２−７について説明する。
図５に示すステップＳ２０において、抽出枚数決定部２１０は、異常画像の視認性の別の例として、異常領域のコントラストに基づいて代表画像の抽出枚数を決定しても良い。

【0090】

詳細には、抽出枚数決定部２１０は、まず、処理対象の異常画像群に含まれる異常領域を構成する画素におけるＧ成分の平均値（輝度平均値）と、異常領域以外の領域を構成する画素におけるＧ成分の平均値（輝度平均値）との差分の絶対値を算出する。そして、この差分の絶対値が所定の閾値未満である異常画像群からより多くの代表画像が抽出されるように、抽出枚数を決定する。具体的には、差分の絶対値が所定の閾値未満である異常画像群の場合、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０．５倍に決定する。一方、差分の絶対値が所定の閾値以上である異常画像群の場合、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０．１倍に決定する。なお、抽出枚数を算出した結果、抽出枚数が１枚以下となる異常画像群については、抽出枚数を１枚に決定する。また、代表画像の抽出枚数を決定する係数（０．５倍、０．１倍）は適宜変更しても良い。

【0091】

（変形例２−８）
次に、本発明の実施の形態２の変形例２−８について説明する。
図５に示すステップＳ２０において、抽出枚数決定部２１０は、異常画像の視認性の別の例として、異常画像内における異常領域の総面積に基づいて代表画像の抽出枚数を決定しても良い。

【0092】

詳細には、抽出枚数決定部２１０は、まず、処理対象の異常画像群に含まれる異常領域の総面積を算出する。そして、異常領域の総面積が所定の閾値未満である異常画像群からより多くの代表画像が抽出されるように、抽出枚数を決定する。具体的には、異常領域の総面積が所定の閾値未満である異常画像群の場合、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０．５倍に決定する。一方、異常領域の総面積が所定の閾値以上である異常画像群の場合、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０．１倍に決定する。なお、抽出枚数を算出した結果、抽出枚数が１枚以下となる異常画像群については、抽出枚数を１枚に決定する。また、代表画像の抽出枚数を決定する係数（０．５倍、０．１倍）は適宜変更しても良い。

【0093】

（変形例２−９）
次に、本発明の実施の形態２の変形例２−９について説明する。
図５に示すステップＳ２０において、抽出枚数決定部２１０は、異常画像の視認性の別の例として、異常画像内における異常領域の総数に基づいて代表画像の抽出枚数を決定しても良い。

【0094】

詳細には、抽出枚数決定部２１０は、まず、処理対象の異常画像群に含まれる異常領域の総数を算出する。そして、異常領域の総数が所定の閾値未満である異常画像群からより多くの代表画像が抽出されるように、抽出枚数を決定する。具体的には、異常領域の総数が所定の閾値未満である異常画像群の場合、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０．５倍に決定する。一方、異常領域の総数が所定の閾値以上である異常画像群の場合、代表画像の抽出枚数を、当該異常画像群に属する異常画像の枚数の０．１倍に決定する。なお、抽出枚数を算出した結果、抽出枚数が１枚以下となる異常画像群については、抽出枚数を１枚に決定する。また、代表画像の抽出枚数を決定する係数（０．５倍、０．１倍）は適宜変更しても良い。

【0095】

（実施の形態３）
次に、本発明の実施の形態３について説明する。
図８は、本発明の実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。図８に示すように、実施の形態３に係る画像処理装置は、図１に示す演算部１００の代わりに演算部３００を備える。演算部３００以外の各部の構成及び動作については、実施の形態１と同様である。

【0096】

演算部３００は、検出部１１０、異常画像群抽出部１２０、抽出枚数決定部２１０、及び代表画像抽出部１３１を備える。このうち、検出部１１０及び異常画像群抽出部１２０の動作は、実施の形態１と同様である。また、抽出枚数決定部２１０の動作は、実施の形態２と同様である。或いは、変形例２−１〜２−９と同様に動作させても良い。

【0097】

代表画像抽出部１３１は、同一の異常領域を含む異常画像群の各々から、重要度の高い異常領域として、出血源が写った異常画像を優先的に代表画像として抽出する。より詳細には、代表画像抽出部１３１は、出血の異常領域が写った異常画像群から出血源を検出する出血源検出部１３１ａを備える。この出血源検出部１３１ａは、異常画像に写った被写体（臓器）の管腔内における位置、即ち、異常画像の管腔内における撮像位置を推定する位置推定部１３１ｂを備える。

【0098】

次に、実施の形態３に係る画像処理装置の動作について説明する。実施の形態３に係る画像処理装置の動作は、全体として実施の形態２（図５参照）と同様であり、各異常画像群から代表画像を抽出する処理（ステップＳ１３）において、異常領域が出血である場合に、特に重要な出血源が写った異常画像を代表画像として抽出する。なお、以下の説明においては、ステップＳ２０において各異常画像群に対して決定された代表画像の抽出枚数をｎ枚とする。

【0099】

図９は、代表画像抽出部１３１が実行する代表画像の抽出処理を示すフローチャートである。代表画像抽出部１３１は、ステップＳ１２において抽出された各異常画像群についてループＣの処理を実行する。

【0100】

まず、ステップＳ３０１において、代表画像抽出部１３１は、処理対象の異常画像群における同一の異常領域が出血であるか否か判定する。具体的には、ステップＳ１１（実施の形態１参照）において、赤色調の特定色を示すものとして検出された異常領域を出血として判定する。或いは、変形例２−４と同様に、色特徴量、形状特徴量、及びテクスチャ特徴量に基づいて、異常領域が出血であるか否かを判定しても良い。

【0101】

同一の異常領域が出血である場合（ステップＳ３０１：Ｙｅｓ）、位置推定部１３１ｂは、各異常画像の時系列的な位置情報、即ち、一連の管腔内画像（図３参照）における並び順（撮像順）や撮像時刻に基づいて、当該異常画像群に属する各異常画像の管腔内における撮像位置を推定する（ステップＳ３０２）。例えば、一連の管腔内画像の撮像に用いられたカプセル型内視鏡の平均進行速度がｖ（例えば、１ｍｍ／秒）、撮像フレームレートがＦ（例えば、２枚／秒）である場合、管腔内画像（異常画像）Ｉ_iの撮像位置は、一連の管腔内画像の撮像開始位置（例えば、口腔内）から距離ｉ・ｖ／Ｆ（ｍｍ）だけ進行した位置であると推定することができる。

【0102】

続くステップＳ３０３において、出血源検出部１３１ａは、出血源画像（出血源が写った異常画像）を検出する。詳細には、当該異常画像群のうちで赤みの強い異常領域を含む異常画像から、管腔内における撮像位置が最も上流である異常画像（言い換えると、時系列で最も古い異常画像）を、出血源画像として検出する。ここで、赤みの強い異常領域は、例えば、色比Ｇ／Ｒの値が所定の閾値以下である領域として判別することができる。なお、このときに用いられる色比Ｇ／Ｒの閾値は、ステップＳ１１において異常領域を検出する際に用いた判別基準（色比Ｇ／Ｒ）よりも厳しく（値を小さく）設定すると良い。

【0103】

一般に、管腔内において出血が発生した場合、血液は上流（口腔側）から下流（肛門側）に向けて流れる。そのため、赤みの強い異常領域を含む異常画像のうち撮像位置が最も上流である異常画像に出血源が写っているものと推定することができる。

【0104】

続くステップＳ３０４において、代表画像抽出部１３１は、ステップＳ３０３において検出された出血源画像を１枚、代表画像として抽出する。

【0105】

続くステップＳ３０５において、代表画像抽出部１３１は、当該異常画像群のうち、赤みの強い異常領域を含む異常画像（出血源画像を除く）から、代表画像の抽出枚数ｎマイナス１枚だけ、代表画像をランダムに抽出する。

【0106】

続くステップＳ３０６において、代表画像抽出部１３１は、代表画像をｎ枚抽出できたか否かを判定する。当該異常画像群のうち、赤みの強い異常領域を含む異常画像の枚数がｎ枚以上である場合、これらの異常画像からトータルでｎ枚の代表画像を抽出することができる。この場合（ステップＳ３０６：Ｙｅｓ）、処理はステップＳ３０９に移行する。

【0107】

一方、当該異常画像群のうち、赤みの強い異常領域を含む異常画像の枚数がｎ枚に満たない場合、代表画像をｎ枚抽出できていないことになる。この場合（ステップＳ３０６：Ｎｏ）、代表画像抽出部１３１は、赤みの強い異常領域を含まない残りの異常画像から、トータルの枚数がｎ枚になるまで代表画像を抽出する（ステップＳ３０７）。その後、処理はステップＳ３０９に移行する。

【0108】

また、ステップＳ３０１において、処理対象の異常画像群における同一の異常領域が出血でない場合（ステップＳ３０１：Ｎｏ）、代表画像抽出部１３１は、実施の形態１又は実施の形態１の変形例１−１〜１−８と同様にして、異常画像群からｎ枚の代表画像を抽出する（ステップＳ３０８）。その後、処理はステップＳ３０９に移行する。

【0109】

ステップＳ３０９において、代表画像抽出部１３１は、抽出したｎ枚の代表画像の画像データに、代表画像である旨を示す情報（フラグ）を付加する。

【0110】

ステップＳ１２（図５参照）において抽出された全ての異常画像群に対してループＣの処理を実行した後、処理はメインルーチンに戻る。

【0111】

以上説明したように、本発明の実施の形態３によれば、異常領域の赤みの強さと各異常画像の管腔内における撮像位置とから、重要度の高い出血源を代表画像として抽出することができる。

【0112】

（実施の形態４）
次に、本発明の実施の形態４について説明する。
図１０は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。図１０に示すように、実施の形態４に係る画像処理装置は、図１に示す演算部１００の代わりに、図１０に示す演算部４００を備える。演算部４００以外の各部の構成及び動作については、実施の形態１と同様である。

【0113】

演算部４００は、検出部１１０、異常画像群抽出部１２０、表示対応抽出枚数決定部４１０、及び代表画像抽出部１３０を備える。このうち、検出部１１０、異常画像群抽出部１２０、及び代表画像抽出部１３０の動作は、実施の形態１と同様である。

【0114】

表示対応抽出枚数決定部４１０は、代表画像の表示方法（動画表示又は静止画表示）に応じて、各異常画像群から抽出される代表画像の枚数を適応的に決定する。

【0115】

次に、実施の形態４に係る画像処理装置の動作について説明する。図１１は、実施の形態４に係る画像処理装置の動作を示すフローチャートである。なお、図１１に示すステップＳ１０〜Ｓ１２は、実施の形態１と同様である（図２参照）。

【0116】

ステップＳ１２に続くステップＳ４０において、入力部３０に対するユーザ操作に応じて、代表画像の表示方法を指示する信号が入力部３０から制御部１０に入力されると、制御部１０は、該信号に従って代表画像の表示方法を設定する。

【0117】

続くステップＳ４１において、表示対応抽出枚数決定部４１０は、ステップＳ４１において設定された表示方法に応じて、各異常画像群から抽出される代表画像の枚数を適応的に決定する。ここで、代表画像の動画表示を行う場合、静止画表示を行う場合と比べて異常領域の見落としが発生しやすくなる。このため、異常領域の見落とし防止の観点から、動画表示の場合により多くの代表画像が抽出されるように、抽出枚数を決定する。

【0118】

具体的には、表示対応抽出枚数決定部４１０は、動画表示を行う場合、代表画像の抽出枚数を、各異常画像群に属する異常画像の枚数の０．５倍に決定する。一方、静止画表示を行う場合、代表画像の抽出枚数を、各異常画像群に属する異常画像の枚数の０．１倍に決定する。なお、抽出枚数を算出した結果、抽出枚数が１枚以下となる異常画像群については、抽出枚数を１枚に決定する。また、代表画像の抽出枚数を決定する係数（０．５倍、０．１倍）は適宜変更しても良い。

【0119】

続くステップＳ４２において、代表画像抽出部１３０は、ステップＳ１２において抽出された各異常画像群から、異常領域の重要度の高い異常画像や異常領域の視認性の良い異常画像を、ステップＳ４１において決定された抽出枚数だけ、代表画像として抽出する。代表画像の抽出方法は、実施の形態１、変形例１−１〜１−８、又は実施の形態３と同様である。

【0120】

続くステップＳ４３において、演算部４００は、ステップＳ４２において各異常画像群から抽出された代表画像を表す情報を出力する。これに応じて、記録部５０は、代表画像として抽出された管腔内画像の画像データに、代表画像である旨を示す情報（フラグ）を付加する。

【0121】

続くステップＳ４４において、表示部４０は、制御部１０の指示の下で、ステップＳ４３において抽出された代表画像を表示する。詳細には、制御部１０が、ステップＳ４３においてフラグが付加された画像データを記録部５０から読み出して表示部４０に出力し、これらの画像データに基づく代表画像を、ステップＳ４０において設定した表示方法で表示部４０に表示させる。

【0122】

以上説明したように、本発明の実施の形態４によれば、代表画像の表示方法に応じて各異常画像群から抽出される代表画像の抽出枚数を適応的に決定するので、動画表示の場合には抽出枚数を増やすことにより異常領域の見落としを防ぐことができ、静止画表示の場合には抽出枚数を減らすことにより効率の良い画像観察を行うことが可能となる。

【0123】

（変形例４−１）
次に、本発明の実施の形態４の変形例４−１について説明する。
上記説明においては、画像表示を行うごとに、代表画像の抽出枚数の決定処理及び代表画像の抽出処理を行うこととしたが、これらの処理を事前に行っておいても良い。即ち、一連の管腔内画像に対し、動画表示用として代表画像を抽出した画像データセットと、静止画表示用として代表画像を抽出した画像データセットとを、各々のフォーマットで予め作成して記録部５０に記録しておく。画像表示を行う際に、入力部３０に対するユーザ操作に応じて、代表画像の表示方法を指定する信号が入力部３０から制御部１０に入力されると、制御部１０は、指定された表示方法に応じた画像データセットを記録部５０から読み出し、表示部４０に表示させる。

【0124】

（変形例４−２）
次に、本発明の実施の形態４の変形例４−２について説明する。
上記実施の形態４における代表画像の抽出枚数決定処理を、他の抽出枚数決定処理と組み合わせても良い。具体的には、実施の形態２や変形例２−１〜２−９において説明したように、異常領域の重要性や視認性に基づき、各異常画像群に対して代表画像の抽出枚数を決定し、さらに、これらの抽出枚数に対し、代表画像の表示方法に応じた係数を掛けることにより、最終的な代表画像の抽出枚数とする。代表画像の表示方法に応じた係数は、例えば、動画表示の場合は１、静止画表示の場合は０．５等と設定すれば良い。

【0125】

以上説明した実施の形態１〜４及びこれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜４及びこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。

【0126】

なお、本発明は、実施の形態１〜４及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

【符号の説明】

【0127】

１ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００、３００、４００ 演算部
１１０ 検出部
１２０ 異常画像群抽出部
１３０、１３１ 代表画像抽出部
２１０ 抽出枚数決定部
４１０ 表示対応抽出枚数決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】