(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
【0012】
図1および
図2は、本発明の実施の形態の概要を説明するための図である。具体的には、
図1および
図2は、生体内に導入されて生体を観察する内視鏡によって撮影された生体の画像(管内画像)を模式的に示す図である。
【0013】
内視鏡は、生体の管内壁の粘膜面に対して斜めから撮影することが多い。この場合、内視鏡が撮影する管内画像には、
図1に示すように、撮影距離が近い管手前の粘膜面から撮影距離が遠い管深部の粘膜面までが写り、病変を生じている可能性がある異常領域が写ることもある。
【0014】
これに対して、内視鏡は、
図2に示すように、生体管内壁の粘膜面に対して正面から撮影する場合もある。粘膜面に対して正面から撮影する場合には、管深部が写らず、異常領域の写り方も斜めから撮影した場合とは異なる。
【0015】
他にも、内視鏡が撮影する画像において、生体管内壁粘膜面までの撮影距離は画像によって異なる上、画像の中に焦点ボケや動きブレが生じる場合もある。
【0016】
本実施の形態に係る画像処理装置は、上述した撮影状況の違いを解析して異常領域を含む特定領域の適応的な検出を行うことを特徴とする。ここで、特定領域とは、管内画像における被写体の性状または状態が所定の条件を満たす領域である。例えば、管内画像が生体の管内画像(生体内管腔画像)である場合には、生体の組織性状または生体内の状態が所定の条件を満たすような領域である。より具体的には、例えばアフタ、潰瘍、びらん、ポリープ、腫瘍、発赤、絨毛異常等の生体の組織性状が変化している領域、および出血等の生体内における状態変化が発生している領域等の異常領域を挙げることができる。特定領域は、画像の一部の領域でもよいし、画像全体の領域でもよい。なお、内視鏡が撮影する画像は、各画素位置においてR(赤)、G(緑)、B(青)の各波長成分に対する画素値を持つカラー画像が想定されるが、これに限定されるわけではない。
【0017】
(実施の形態1)
図3は、本発明の実施の形態1に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置1は、演算部2と、記憶部3とを有する。
【0018】
演算部2は、管内画像において、被写体と撮影側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部4と、管内撮影状況に応じた特定領域の検出を行う特定領域検出部5とを有する。
【0019】
管内撮影状況解析部4は、管内画像中の管深部領域を検出する管深部領域検出部41を有する。管深部領域検出部41は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部411と、低吸収波長成分の管内画像中のエッジ周辺領域の画素を除外するエッジ周辺領域除外部412と、エッジ周辺領域の画素を除外した後の低吸収波長成分の画像において画素値が所定の閾値以下の領域を検出する低画素値領域検出部413とを有する。
【0020】
一般に、低画素値領域検出部413によって検出された画素がまとまって存在する領域が管深部領域と考えられる。管深部領域検出部41は、低画素値領域検出部413が検出した画素に対して、公知のラベリング処理(参考:CG−ARTS協会:ディジタル画像処理:181P、ラベリング)を行い、連結する画素を1つの領域としてまとめた後、面積が所定の閾値以上の領域のうち最大のものを管深部領域として検出する。管深部領域検出部41は、所定の閾値以上の領域がなければ、管深部領域なし、とする。
【0021】
低吸収波長成分選択部411は、例えばR、G、B成分からなる画像の場合、血液の吸収帯域から離れており、かつ長波長である成分であって、生体内での吸収・散乱の影響を受け難い成分であるR成分を選択する。低吸収波長成分選択部411がこのような選択を行うことにより、粘膜表面に写る血管等による画素値低下を抑え、最も粘膜表面との撮影距離に相関する画素値情報を得ることができる。
【0022】
エッジ周辺領域除外部412は、例えば公知のエッジ抽出処理(参考:CG−ARTS協会:ディジタル画像処理:114P、エッジ抽出:209P、輪郭線検出)を適用してエッジ領域を特定した後、そのエッジ領域に対して公知の膨張処理(参考:CG−ARTS協会:ディジタル画像処理:179P、収縮・膨張処理)を行うことによって周辺領域を特定して除外する。エッジ周辺領域除外部412がエッジ周辺領域を除外することにより、粘膜襞による輪郭エッジ周辺に生じる陰影部分のように、管深部の粘膜(照明光が届き難く低吸収波長成分の画素値が低下する粘膜)として誤検出されてしまうおそれのある領域を除外することができる。
【0023】
低画素値領域検出部413は、エッジ周辺領域を除外した後の低吸収波長成分の画像において、画素値が所定の閾値以下である画素を検出する。
【0024】
特定領域検出部5は、特徴量算出部51と、識別部52とを有する。特徴量算出部51が算出する特徴量としては、既に公知の色、輪郭(エッジ)、画素値面形状(画素値勾配)、テクスチャ等、様々なものを挙げることができる。一つの特徴量算出領域から算出した複数の特徴量は、特徴ベクトルとしてまとめられる。特徴ベクトルは、設定された特徴量算出領域の数だけ生じる。
【0025】
特徴量算出部51は、管深部領域の存否に応じて、所定の特定領域を検出するための特徴量算出に用いる領域の範囲を設定する範囲設定部511を有する。管深部領域が管内画像中に存在する場合は、管内壁を斜めから撮影している状況であるため、全体管構造を用いた大域的な情報に基づく特定領域の検出が可能である。
【0026】
図4は、管内画像の一例として、内視鏡により撮影される生体の管内画像を模式的に示す図である。通常、内視鏡は管内壁の粘膜面を斜めから撮影する。このため、内視鏡が撮影する管内画像には、
図4に示すように、撮影距離が近い管手前の粘膜面から撮影距離が遠い管深部の粘膜面までが写り、異常領域が写ることもある。粘膜襞による輪郭エッジは、基本的に管深部方向と逆側に凸となる形状を有し、異常領域の輪郭エッジには管深部方向に対して凸となる形状が生じる。このように、
図4に示す管内画像では、管深部方向と内壁輪郭の凸方向の関係に基づく異常領域の検出等を行うことが可能である。
【0027】
管内画像中に管深部領域が存在する場合、範囲設定部511は、管深部領域が含まれるよう、特徴量算出に用いる領域の範囲を相対的に大きく設定する。なお、仮に管内画像中に管深部領域が十分に含まれなかったとしても、領域の範囲が大きければ、画像処理装置1は内壁の勾配などから管深部方向を推定することによって特徴量算出を行うことができる。
【0028】
一方、管内画像中に管深部領域が存在しない場合は、管内壁を正面から撮影している状況であるため、全体管構造を用いた大域的な情報に基づく特定領域の検出を精度よく行うことはできない。この状況で、範囲設定部511が特徴量算出に用いる領域の範囲を大きく設定すると、演算量の無駄や、精度低下に繋がる領域(鏡面反射、残渣、泡、正常襞、等)の混入が生じ易くなる。この場合、範囲設定部511は、特徴量算出に用いる領域の範囲を、管内画像中に管深部領域が存在する場合よりも小さく設定する。
【0029】
識別部52は、特徴量算出部51が算出した特徴ベクトルをもとに管内画像中の領域の識別を行い、所定の特定領域を検出する。特徴ベクトルを基に識別を行う方法は様々なものが公知となっている。例えば、一般的な統計識別の方法として、下記式(1)に示す確率モデルに基づいて、特徴ベクトルxが特定の条件を満たすか否かの識別指標P(x)を算出し、この値が閾値以上である特徴量算出領域を特定領域として識別する方法を挙げることができる。
【数1】
式(1)の右辺において、kは特徴ベクトルの次元数、xは識別対象の検査領域の特徴ベクトル(k×1行列)、μは特定領域のサンプル(複数)における特徴ベクトルの平均ベクトル(k×1行列)、Zは特定領域のサンプル(複数)における特徴ベクトルの分散共分散行列(k×k行列)、|Z|はZの行列式、Z
-1はZの逆行列である。
【0030】
なお、ここでは確率モデルを用いた識別方法を例示したが、識別部52は、他にも例えば代表的な特徴ベクトルとの特徴空間距離に基づく方法や、特徴空間内での識別境界を設定する方法等を用いて識別を行ってもよい。
【0031】
演算部2は、CPU(Central Processing Unit)等の汎用プロセッサやASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。演算部2が汎用プロセッサである場合、記憶部3が記憶する各種プログラムを読み込むことによって画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括して制御する。また、演算部2が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部3が記憶する各種データ等を用いることで、プロセッサと記憶部3が共同または結合して種々の処理を実行してもよい。後述する実施の形態および変形例において説明する演算部も、演算部2と同様に実現されることはいうまでもない。
【0032】
記憶部3は、ROM(Read Only Memory)もしくはRAM(Random Access Memory)等の各種ICメモリ、内蔵もしくはデータ通信端子で接続されたハードディスク、またはCD−ROM等の情報記録装置およびその読取装置等によって実現される。記憶部3は、画像処理装置1が取得した管内画像の画像データの他、画像処理装置1を動作させると共に、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部3は、本実施の形態1に係る画像処理プログラムや、該画像処理において用いられる閾値等の各種パラメータを記憶する。後述する実施の形態において説明する記憶部も、記憶部3と同様に実現されることはいうまでもない。
【0033】
記憶部3が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部3または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)などによって実現されるものであり、有線、無線を問わない。
【0034】
以上の構成を有する画像処理装置1は、1つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、例えば汎用のパーソナルコンピュータやサーバ等によって構成することができる。この点については、後述する実施の形態および変形例において説明する画像処理装置に対しても同様のことがいえる。
【0035】
なお、以上説明した画像処理装置1の機能を、被検体内に導入されて該被検体内を観察する内視鏡システムの一部をなし、該内視鏡システム全体を制御するプロセッサに具備させることも可能である。この点については、後述する実施の形態および変形例において説明する画像処理装置に対しても同様のことがいえる。
【0036】
図5は、画像処理装置1が実行する処理の概要を示すフローチャートである。まず、演算部2は処理対象である管内画像を取得する(ステップS1)。
【0037】
続いて、管深部領域検出部41は、管内画像中の管深部領域を検出する(ステップS2)。
図6は、管深部領域検出部41が行う処理の概要を示すフローチャートである。以下、
図6を参照して管深部領域検出部41の処理を説明する。まず、低吸収波長成分選択部411が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する(ステップS11)。例えば、R、G、B成分からなる画像の場合、低吸収波長成分選択部411は、上述したようにR成分を選択する。
【0038】
その後、エッジ周辺領域除外部412は、低吸収波長成分の管内画像中のエッジ周辺領域の画素を除外する(ステップS12)。これにより、エッジ周辺領域が管深部領域として誤検出されるのを防止することができる。
【0039】
続いて、低画素値領域検出部413が、エッジ周辺領域を除外した後の低吸収波長成分の画像において、画素値が低い領域すなわち所定の閾値以下の画素値を有する画素の領域を検出する(ステップS13)。上述した通り、管深部は撮影距離が遠いため、低吸収波長成分の画像の画素値が低くなる。
【0040】
最後に、管深部領域検出部41が、低画素値領域検出部413によって検出された領域を基に、公知のラベリング処理等を行うことによって管深部領域を検出する(ステップS14)。これにより、管深部領域検出部41による管深部領域検出処理(ステップS2)が終了する。
【0041】
なお、本実施の形態1では、撮影距離と相関する画素値に基づいて管深部領域を検出する方法を示したが、これは一例にすぎず、例えば特開2003−93328号公報に示す方法等に基づいて管深部領域を検出してもよい。
【0042】
また、管深部領域検出処理を行う前に、光学系や照明系に起因する画素値ムラの補正や、鏡面反射、残渣および泡等の非粘膜領域の除外等の処理を行ってもよい。これにより、後続する各処理の精度の低下を抑制することができる。
【0043】
ステップS2に続くステップS3において、範囲設定部511は、管深部領域の存否に応じて、特定領域を検出するための特徴量算出に用いる領域の範囲を設定する(ステップS3)。
【0044】
続いて、特徴量算出部51は、設定された範囲の特徴量算出領域を管内画像中の任意の位置に設定し、その領域内から特徴量を算出する(ステップS4)。
【0045】
この後、識別部52は、管内画像中の領域を識別して特定領域を検出する(ステップS5)。識別部52は、例えば上述した式(1)に示す確率モデルに基づいて識別指標P(x)を算出し、この値が閾値以上である領域を特定領域として識別する。
【0046】
最後に、演算部2は、特定領域の検出結果を出力する(ステップS6)。これにより、画像処理装置1は、一連の処理を終了する。
【0047】
以上説明した本発明の実施の形態1によれば、管深部領域の存否に応じて、特徴量算出に用いる領域の範囲を設定するため、大域的な特徴量算出と、局所的な特徴量算出を適切に切り替えて特定領域を精度よく検出することができる。
【0048】
(変形例1−1)
図7は、実施の形態1の変形例1−1に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置1Aにおいて、
図1に示す画像処理装置1と同様の機能を有する構成部位に対しては、
図1と同様の符号を付してある。
【0049】
画像処理装置1Aは、演算部2Aと、記憶部3とを有する。演算部2Aは、管内撮影状況解析部4Aと、特定領域検出部5とを有する。
【0050】
管内撮影状況解析部4Aは、管内画像中の管内壁の勾配(内壁勾配)を算出する内壁勾配算出部42を有する。内壁勾配算出部42は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部411と、低吸収波長成分の画素値勾配を算出する画素値勾配算出部421とを有する。
【0051】
画素値勾配算出部421は、所定サイズのX方向の1次微分フィルタ出力ΔXと、同サイズのY方向の1次微分フィルタ出力ΔYを基に画素値勾配の大きさおよび方向を算出する(参考:CG−ARTS協会:ディジタル画像処理:115P、微分フィルタ)。画素値勾配算出部421は、管内壁の勾配を各画素位置で算出してもよいし、所定のサンプリング間隔で算出してもよい。
【0052】
図8は、画像処理装置1Aが行う処理の概要を示すフローチャートである。
図8において、
図5に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS1に続く処理を説明する。
【0053】
ステップS2Aにおいて、内壁勾配算出部42は、管内画像中の管内壁の勾配を算出する(ステップS2A)。
図9は、内壁勾配算出部42が行う処理の概要を示すフローチャートである。以下、
図9を参照して内壁勾配算出部42の処理を説明する。まず、低吸収波長成分選択部411が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する(ステップS21)。
【0054】
続いて、画素値勾配算出部421は、選択された低吸収波長成分の画素値勾配を算出する(ステップS22)。これにより、内壁勾配算出部42による管内画像中の管内壁の勾配算出処理(ステップS2A)が終了する。
【0055】
ステップS2Aの後、範囲設定部511は、内壁勾配の大小に応じて、特徴量算出に用いる領域の範囲を設定する(ステップS3A)。複数箇所で算出した内壁勾配の大きさの平均値が所定の閾値以上である場合は、管内壁を斜めから撮影している状況に対応している。この場合、範囲設定部511は、特徴量算出に用いる領域の範囲を相対的に大きく設定する。一方、内壁勾配の大きさの平均値が所定の閾値未満となる場合は、管内壁を正面から撮影している状況に対応している。この場合、範囲設定部511は、特徴量算出に用いる領域の範囲を、内壁勾配の大きさの平均値が閾値以上である場合よりも小さく設定する。
【0056】
ステップS3Aに続くステップS4〜S6の処理は、実施の形態1で説明した処理と同じである。
【0057】
以上説明した実施の形態1の変形例1−1によれば、内壁勾配の大小に応じて、特徴量算出に用いる領域の範囲を設定するため、大域的な特徴量算出と、局所的な特徴量算出を適切に切り替えて特定領域を精度よく検出することができる。
【0058】
なお、本変形例1−1において、管内撮影状況解析部4Aが、実施の形態1で説明した管深部領域検出部41をさらに有する構成としてもよい。この場合、範囲設定部511は、管深部領域の存否および内壁勾配の大小に応じて特徴量算出に用いる領域の範囲を設定する。
【0059】
(変形例1−2)
図10は、実施の形態1の変形例1−2に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置1Bにおいて、
図1に示す画像処理装置1と同様の機能を有する構成部位に対しては、
図1と同様の符号を付してある。
【0060】
画像処理装置1Bは、演算部2Bと、記憶部3とを有する。演算部2Bは、管内撮影状況解析部4と、特定領域検出部5Bとを有する。
【0061】
特定領域検出部5Bは、特徴量算出部53と、識別部52とを有する。特徴量算出部53は、特定領域検出のための特徴量算出に用いる領域の形状および/または方向を設定する形状方向設定部531を有する。管深部領域が画像中にある場合は、管内壁を斜めから撮影している状況に対応しており、
図1に示すように、異常領域は深部領域の方向(奥行き方向)に対して短く、管深部領域の方向と直交する方向に長い像となって写りやすい。この場合、形状方向設定部531は、特徴量算出に用いる領域の形状を、管深部領域の方向と直交する方向に長めの形状に設定する。
【0062】
一方、管深部領域が画像中にない場合は、管内壁を正面から撮影している状況に対応しており、
図2に示すように、管内壁を斜めから撮影する場合のような像の長さの変化が生じない。この場合、形状方向設定部531は、特徴量算出に用いる領域の形状を、方向に依存しない形状または略正方形状に設定する。
【0063】
なお、斜めから撮影している状況では、撮影機の上下方向に応じて回転方向にも像が変化する。そこで、形状方向設定部531は、特徴量算出に用いる領域の方向を設定する際、管深部領域の方向に揃うよう回転補正してもよい。このように設定した場合、回転方向に形状が変化する特定領域に対して、後段の識別部52の処理を共通化することができる。
【0064】
図11は、画像処理装置1Bが行う処理の概要を示すフローチャートである。
図11において、
図5に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS2に続く処理を説明する。
【0065】
ステップS3Bにおいて、形状方向設定部531は、管深部領域の方向に応じて、特徴量算出に用いる領域の形状および/または方向を設定する(ステップS3B)。
【0066】
この後、特徴量算出部53は、設定された形状および/または方向を有する特徴量算出領域を管内画像中の任意の位置に設定し、その領域内から特徴量を算出する(ステップS4)。ステップS4に続くステップS5〜S6の処理は、実施の形態1で説明した処理と同じである。
【0067】
以上説明した変形例1−2によれば、管深部領域の方向に応じて、特徴量算出に用いる領域の形状および/または方向を設定するため、管内壁に対する撮影方向(斜め、正面)の違いにより生じる画像の変化に適応し、かつ演算量の無駄や、精度低下に繋がる領域(鏡面反射、残渣、泡、正常襞、等)の混入を抑えた特徴量算出領域を設定することができ、特定領域を精度よく検出することができる。
【0068】
なお、本変形例1−2において、画像処理装置1Bが管内撮影状況解析部4を有する代わりに、変形例1−1で説明した管内撮影状況解析部4Aを有する構成とすることも可能である。この場合、形状方向設定部531は、内壁勾配の方向に応じて、特徴量算出に用いる領域の形状および/または方向を設定する。
【0069】
また、本変形例1−2において、管内撮影状況解析部4が、変形例1−1で説明した内壁勾配算出部42をさらに有する構成としてもよい。この場合、形状方向設定部531は、管深部領域の方向ならびに内壁勾配の方向に応じて特徴量算出に用いる領域の形状および/または方向を設定する。
【0070】
(変形例1−3)
図12は、実施の形態1の変形例1−3に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置1Cにおいて、
図1に示す画像処理装置1と同様の機能を有する構成部位に対しては、
図1と同様の符号を付してある。
【0071】
画像処理装置1Cは、演算部2Cと、記憶部3とを有する。演算部2Cは、管内撮影状況解析部4と、特定領域検出部5Cとを有する。
【0072】
特定領域検出部5Cは、特徴量算出部54と、識別部52とを有する。特徴量算出部54は、特定領域検出のための使用特徴量の種類、または種類ごとの特徴量の重みを設定する種類設定部541を有する。
【0073】
種類設定部541は、管内画像中の管深部領域の存否に応じて、特定領域の検出に使用する特徴量の種類または種類ごとの特徴量の重みを設定する。管内画像中に管深部領域が存在する場合は、管内壁を斜めから撮影している状況に対応しているため、異常領域表面の輪郭線が明瞭になる(
図1参照)。この場合、種類設定部541は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち輪郭特徴量の使用を設定する、または複数の特徴量の中で輪郭特徴量に他の種類の特徴量よりも高い重みを設定する。種類設定部541は、算出した複数種類の特徴量に対して、公知の特徴軸の正規化(平均が0、分散が1となるような線形変換)を行った後、輪郭特徴量の分散のみ1より大きくなるような係数を乗じる。
【0074】
一方、管内画像中に管深部領域がない場合は、管内壁を正面から撮影している状況に対応し、異常領域表面の輪郭線は、斜めから撮影している状況に比べ不明瞭になりやすい(
図2参照)。但し、画素値面形状(画素値勾配)や、テクスチャは捕らえ易くなる。この場合、種類設定部541は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち画素値面形状特徴量もしくはテクスチャ特徴量の使用を設定する、または複数の特徴量の中で画素値面形状特徴量もしくはテクスチャ特徴量に他の種類の特徴量よりも高い重みを設定する。
【0075】
図13は、画像処理装置1Cが行う処理の概要を示すフローチャートである。
図13において、
図5に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS2に続く処理を説明する。
【0076】
ステップS3Cにおいて、種類設定部541は、管内画像中の管深部領域の存否に応じて、使用する特徴量の種類または種類ごとの特徴量の重みを設定する(ステップS3C)。
【0077】
この後、特徴量算出部54は、特徴量算出領域を管内画像中の任意の位置に設定し、その領域内から特徴量を算出する(ステップS4)。ステップS4に続くステップS5〜S6の処理は、実施の形態1で説明した処理と同じである。
【0078】
以上説明した変形例1−3によれば、管深部領域の存否に応じて、使用する特徴量または重視する特徴量を設定するため、管内壁に対する撮影方向(斜め、正面)の違いにより生じる特徴量の変化に適応して、より明瞭となる特徴量を重視した特徴量算出を行うことができ、特定領域を精度よく検出することができる。
【0079】
なお、本変形例1−3において、画像処理装置1Cが管内撮影状況解析部4を有する代わりに、変形例1−1で説明した管内撮影状況解析部4Aを有する構成とすることも可能である。この場合、種類設定部541は、内壁勾配の大きさに応じて、使用する特徴量の種類または種類ごとの特徴量の重みを設定する。
【0080】
内壁勾配の大きさの平均値が所定の閾値以上となる場合は、管内壁を斜めから撮影している状況に対応する。この場合、種類設定部541は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち輪郭特徴量の使用を設定する、または複数の特徴量の中で、輪郭特徴量に高い重みを設定する。
【0081】
一方、内壁勾配の大きさの平均値が所定の閾値未満となる場合は、管内壁を正面から撮影している状況に対応する。この場合、種類設定部541は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち画素値面形状特徴量もしくはテクスチャ特徴量の使用を設定する、または複数の特徴量の中で、画素値面形状特徴量もしくはテクスチャ特徴量に高い重みを設定する。
【0082】
本変形例1−3において、管内撮影状況解析部4が、変形例1−1で説明した内壁勾配算出部42をさらに有する構成としてもよい。この場合、種類設定部541は、管深部領域の存否および内壁勾配の大小に応じて使用する特徴量または重視する特徴量を設定するため、さらに精度よく特定領域を検出する。
【0083】
(実施の形態2)
図14は、本発明の実施の形態2に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6において、
図3に示す画像処理装置1と同様の機能を有する構成部位に対しては、
図3と同様の符号を付してある。
【0084】
画像処理装置6は、演算部7と、記憶部3とを有する。演算部7は、管内撮影状況解析部8と、特定領域検出部5とを有する。
【0085】
管内撮影状況解析部8は、管内壁までの撮影距離を推定する撮影距離推定部81を有する。撮影距離推定を行う方法は、様々な方法が公知である。本実施の形態2では、一例として、撮影対象を均等拡散面と仮定した撮影距離推定の方法を説明する。
【0086】
撮影距離推定部81は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部811を有する。これは、粘膜表面に写る血管等による画素値低下を抑え、最も粘膜表面との撮影距離に相関する画素値情報を得るためである。例えば、R、G、B成分からなる画像の場合には、実施の形態1で説明したように、R成分を選択する。
【0087】
撮影距離推定部81は、選択された低吸収波長成分の画素値をもとに均等拡散面を仮定した撮影距離を推定する。具体的には、撮影距離推定部81は、下記式(2)にしたがって管内画像中の複数箇所で撮影距離rを推定する。
【数2】
ここで、式(2)の右辺のIは事前に測定した光源の放射強度、Kは粘膜表面の拡散反射係数、θは粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角度、Lは撮影距離推定対象の粘膜表面が写る画素のR成分値である。このうち、拡散反射係数Kは、平均的な値を事前に測定することによって得る。また、角度θは、内視鏡先端と粘膜表面の位置関係により決まる値として、平均的な値を事前に設定する。
【0088】
なお、撮影距離推定部81は、式(2)で定義される撮影距離rを推定する代わりに、撮影距離rと相関を有する画素値を用いて後段の適応的な処理を行うようにしてもよい。
【0089】
撮影距離推定部81が複数箇所で算出した撮影距離の平均値が所定の閾値未満である場合は、撮影距離が比較的近い状況に対応する。撮影距離が近い場合、撮影距離が遠い場合よりも被写体が大きく写る。この場合、範囲設定部511は、特徴量算出に用いる領域の範囲を相対的に大きく設定する。
【0090】
一方、撮影距離の平均値が所定の閾値以上である場合は、撮影距離が比較的遠い状況に対応する。この状況下では、被写体が比較的小さく写るため、特徴量算出に用いる領域の範囲を大きく設定すると、演算量の無駄や、精度低下に繋がる領域(鏡面反射、残渣、泡、正常襞、等)の混入が生じ易くなる。この場合、範囲設定部511は、特徴量算出に用いる領域の範囲を、撮影距離の平均値が閾値未満である場合よりも小さく設定する。
【0091】
図15は、画像処理装置6が実行する処理の概要を示すフローチャートである。まず、演算部7が処理対象である管内画像を取得する(ステップS31)。
【0092】
続いて、撮影距離推定部81は、管内壁までの撮影距離を推定する(ステップS32)。
図16は、撮影距離推定部81が行う処理の概要を示すフローチャートである。以下、
図16を参照して撮影距離推定部81の処理を説明する。まず、低吸収波長成分選択部811が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する(ステップS41)。
【0093】
この後、撮影距離推定部81は、選択された低吸収波長成分の画素値を基に均等拡散面を仮定した撮影距離を推定する(ステップS42)。具体的には、撮影距離推定部81は、上述した式(2)にしたがって撮影距離を推定する。これにより、撮影距離推定部81による撮影距離推定処理(ステップS32)が終了する。
【0094】
なお、撮影距離推定部81が撮影距離推定処理を行う前に、演算部7は、光学系や照明系に起因する画素値ムラの補正や、鏡面反射、残渣および泡等の非粘膜領域の除外等の処理を行ってもよい。これにより、後続する各処理の精度の低下を抑制することができる。
【0095】
また、内視鏡に測距センサ等の検出手段を設けておき、その検出結果に基づいて撮影距離推定部81が撮影距離を推定するようにしてもよい。
【0096】
ステップS32の後、範囲設定部511は、推定された撮影距離の遠近に応じて、特徴量算出に用いる領域の範囲を設定する(ステップS33)。
【0097】
ステップS34に続けて行うステップS35〜S36の処理は、実施の形態1で説明したステップS5〜S6の処理とそれぞれ同じである。
【0098】
以上説明した本発明の実施の形態2によれば、撮影距離の遠近に応じて、特徴量算出に用いる領域の範囲を設定するため、撮影状況の違いにより生じる管内画像の変化に適応した特徴量算出領域を設定することができ、特定領域を精度よく検出することができる。
【0099】
(変形例2−1)
図17は、実施の形態2の変形例2−1に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6Aにおいて、
図14に示す画像処理装置6と同様の機能を有する構成部位に対しては、
図14と同様の符号を付してある。
【0100】
画像処理装置6Aは、演算部7Aと、記憶部3とを有する。演算部7Aは、管内撮影状況解析部8Aと、特定領域検出部5とを有する。
【0101】
管内撮影状況解析部8Aは、管内画像における焦点ボケを解析する焦点ボケ解析部82を有する。焦点ボケ解析部82は、鏡面反射除外部821と、空間周波数解析部822とを有する。
【0102】
鏡面反射除外部821は、例えば特開2012−11137号公報に開示されている方法に基づいて、管内画像における鏡面反射を判別して除外する。
【0103】
空間周波数解析部822は、管内画像の所定の成分(例えばG成分等)に対して、公知の2次元フーリエ変換(参考:CG−ARTS協会:ディジタル画像処理:128P、2次元フーリエ変換)を行ってフーリエスペクトルを求めた後、低周波成分を示す中心からの距離が所定範囲となる環状領域内のスペクトルの和を、該距離を変化させながら算出することによって動径分布を求める。この動径分布において、距離が小さい部分は管内画像の低周波成分を示し、距離が大きい部分は管内画像の高周波成分を示す。一般に、高周波成分が少ない画像は、焦点ボケが大きい。
【0104】
図18は、画像処理装置6Aが行う処理の概要を示すフローチャートである。
図18において、
図15に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS31に続く処理を説明する。
【0105】
ステップS32Aにおいて、焦点ボケ解析部82は、管内画像の焦点ボケ状態を解析する(ステップS32A)。
図19は、焦点ボケ解析部82が行う処理の概要を示すフローチャートである。以下、
図19を参照して焦点ボケ解析部82の処理を説明する。まず、鏡面反射除外部821が、管内画像における鏡面反射を判別して除外する(ステップS51)。
【0106】
続いて、空間周波数解析部822が、管内画像の所定の成分に対して2次元フーリエ変換を行った後、2次元フーリエ変換によって得られた2次元フーリエスペクトルの動径分布を算出する(ステップS52)。
【0107】
最後に、焦点ボケ解析部82は、2次元フーリエスペクトルの動径分布を基に焦点ボケ状態を解析する(ステップS53)。具体的には、焦点ボケ解析部82は、管内画像中の高周波成分(動径分布で距離が大きい部分)が少ないほど、焦点ボケの度合いが大きいと判定する。
【0108】
ステップS32Aの後、範囲設定部511は、焦点ボケの度合いに応じて特徴量算出に用いる領域の範囲を設定する(ステップS33A)。焦点ボケの度合いが大きい場合、被写体像は焦点ボケの度合いが小さい場合よりも広範囲の像となる。範囲設定部511は、焦点ボケの度合いが大きいほど、特徴量算出に用いる領域の範囲を大きく設定する。
【0109】
ステップS33Aに続くステップS34〜S36の処理は、実施の形態2で説明した処理と同じである。
【0110】
以上説明した変形例2−1によれば、焦点ボケの度合いに応じて特徴量算出に用いる領域の範囲を設定するため、撮影状況の違いにより生じる管内画像の変化に適応した特徴量算出領域を設定することができ、特定領域を精度よく検出することができる。
【0111】
なお、本変形例2−1において、管内撮影状況解析部8Aが、実施の形態2で説明した撮影距離推定部81をさらに有する構成としてもよい。この場合、範囲設定部511は、撮影距離の遠近および焦点ボケの度合いに応じて特徴量算出に用いる領域の範囲を設定する。
【0112】
(変形例2−2)
図20は、実施の形態2の変形例2−2に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6Bにおいて、
図17に示す画像処理装置6Aと同様の機能を有する構成部位に対しては、
図17と同様の符号を付してある。
【0113】
画像処理装置6Bは、演算部7Bと、記憶部3とを有する。演算部7Bは、管内撮影状況解析部8Bと、特定領域検出部5とを有する。
【0114】
管内撮影状況解析部8Bは、管内画像における動きブレを解析する動きブレ解析部83を有する。動きブレ解析部83は、鏡面反射除外部821と、空間周波数解析部831とを有する。
【0115】
空間周波数解析部831は、2次元フーリエスペクトルの角度分布および動径分布を算出する。具体的には、空間周波数解析部831は、管内画像の所定の成分(例えばG成分等)に対して、2次元フーリエ変換を行って2次元フーリエスペクトルを求めた後、低周波成分を示す中心を通る水平線に対する角度が所定範囲である扇状領域内のスペクトルの和を、該角度を変化させながら算出することで角度分布を求める。また、空間周波数解析部831は、変形例2−1で説明したのと同様の方法を角度が所定範囲である扇状領域内に用いることによって角度が所定範囲である扇状領域内の動径分布を求める。
【0116】
図21は、画像処理装置6Bが行う処理の概要を示すフローチャートである。
図21において、
図15に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS31に続く処理を説明する。
【0117】
ステップS32Bにおいて、動きブレ解析部83は、管内画像の動きブレ状態を解析する(ステップS32B)。
図22は、動きブレ解析部83が行う処理の概要を示すフローチャートである。以下、
図22を参照して動きブレ解析部83の処理を説明する。まず、鏡面反射除外部821が、管内画像における鏡面反射を除外する(ステップS61)。
【0118】
続いて、空間周波数解析部831が、2次元フーリエスペクトルの角度分布および動径分布を算出する(ステップS62)。
【0119】
動きブレ解析部83は、角度分布および動径分布を基に動きブレ状態を解析する(ステップS63)。具体的には、動きブレ解析部83は、角度分布を基に動きブレの方向を解析し、その解析結果にしたがって角度を絞った領域の動径分布を基に、動きブレ状態を解析する。例えば、動きブレが略一定の方向に生じた場合、その方向に対応する角度方向はスペクトルの分布が相対的に高く生じる。この場合、動きブレ解析部83は、スペクトルの分布が相対的に高い領域付近の動径分布を基に、動きブレの状態を解析する。
【0120】
内視鏡では、面順次方式と呼ばれる撮影方式がある。この場合、R、G、Bの照明光を時系列に沿って順次照射しながら、1つのイメージセンサーで撮影を行う。そのため、動きブレを生じる波長成分がどれか一つに限られる場合もあれば、波長成分間で生じる場合もある。したがって、面順次方式の場合、動きブレ解析部83は、R、G、Bの各波長成分で動きブレの解析を行うとともに、波長成分間で動きブレの解析を行う。波長成分間の動きブレの解析は、波長成分の画像の和をとって合成画像を生成し、この合成画像に対して上述した空間周波数解析等を行えばよい。
【0121】
ステップS32Bの後、範囲設定部511は、動きブレの方向および度合いに応じて特徴量算出に用いる領域の範囲を設定する(ステップS33B)。動きブレの度合いが大きい場合、被写体像は動きブレの度合いが小さい場合よりも広範囲の像となる。範囲設定部511は、動きブレの度合いが大きいほど、特徴量算出に用いる領域の範囲を大きく設定する。
【0122】
ステップS33Bに続くステップS34〜S36の処理は、実施の形態2で説明した処理と同じである。
【0123】
以上説明した変形例2−2によれば、動きブレの状態(方向および度合い)に応じて、特徴量算出に用いる領域の範囲を設定するため、撮影状況の違いにより生じる管内画像の変化に適応した特徴量算出領域を設定することができ、特定領域を精度よく検出することができる。
【0124】
なお、本変形例2−2では、必ずしも鏡面反射を除外する処理を行わなくてもよい。
【0125】
また、本変形例2−2において、管内撮影状況解析部8Bが、実施の形態2で説明した撮影距離推定部81および/または変形例2−1で説明した焦点ボケ解析部82をさらに有する構成としてもよい。この場合、範囲設定部511は、撮影距離の遠近および/または焦点ボケの度合いならびに動きブレの度合いに応じて、特徴量算出に用いる領域の範囲を設定する。
【0126】
(変形例2−3)
図23は、実施の形態2の変形例2−3に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6Cにおいて、
図12に示す画像処理装置1Cおよび
図14に示す画像処理装置6と同様の機能を有する構成部位に対しては、
図12および
図14と同様の符号を付してある。
【0127】
画像処理装置6Cは、演算部7Cと、記憶部3とを有する。演算部7Cは、管内撮影状況解析部8と、特定領域検出部5Cとを有する。
【0128】
特定領域検出部5Cは、特徴量算出部54と、識別部52とを有する。特徴量算出部54は、種類設定部541を有する。
【0129】
種類設定部541は、撮影距離の遠近に応じて、特定領域を検出するために使用する特徴量の種類、または種類ごとの特徴量の重みを設定する。複数箇所で算出された撮影距離の平均値が所定の閾値未満である場合、すなわち撮影距離が近い場合は、特定領域表面のテクスチャや輪郭線は明瞭に写る。この場合、種類設定部541は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうちテクスチャ特徴量または輪郭特徴量の使用を設定する、または複数の特徴量の中でテクスチャ特徴量または輪郭特徴量に高い重みを設定する。種類設定部541は、算出した複数種類の特徴量に対して、公知の特徴軸の正規化(平均が0、分散が1となるような線形変換)を行った後、テクスチャ特徴量または輪郭特徴量の分散のみが1より大きくなるような係数を乗じる。
【0130】
一方、撮影距離の平均値が所定の閾値以上である場合、すなわち撮影距離が遠い場合は、解像度の低下によってテクスチャは不明瞭となり、暗部ノイズ等の影響によって輪郭線も不明瞭になりやすい。但しこの場合、色や画素値面形状は比較的、安定した状態を維持することができる。この場合、種類設定部541は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち色特徴量または画素値面形状特徴量の使用を設定する、または上述した複数の特徴量の中で、色特徴量または画素値面形状特徴量に他の種類の特徴量よりも高い重みを設定する。
【0131】
なお、撮影距離が近い場合、色成分の中で飽和する成分が生じやすい。特に生体では、R成分が飽和しやすい。このように、撮影距離が近い場合には色バランスが崩れる可能性もあるため、種類設定部541は、色特徴量の不使用を設定する、または色特徴量に他の種類の特徴量より低い重みを設定するようにしてもよい。
【0132】
図24は、画像処理装置6Cが行う処理の概要を示すフローチャートである。
図24において、
図15に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS32に続く処理を説明する。
【0133】
ステップS33Cにおいて、種類設定部541は、撮影距離の遠近に応じて、特定領域検出のために使用する特徴量の種類、または種類ごとの特徴量の重みを設定する(ステップS33C)。
【0134】
ステップS33Cに続くステップS34〜S36の処理は、実施の形態2で説明した処理と同じである。
【0135】
以上説明した変形例2−3によれば、撮影距離の遠近に応じて、使用する特徴量の種類、または種類ごとの特徴量の重みを設定するため、撮影状況の違いにより生じる特徴量の変化に適応して、より明瞭となる特徴量を重視した特徴量算出を行うことができ、特定領域を精度よく検出することができる。
【0136】
なお、本変形例2−3において、管内撮影状況解析部8の代わりに、焦点ボケ解析部82を有する管内撮影状況解析部8Aまたは動きブレ解析部83を有する管内撮影状況解析部8Bを具備させてもよい。
【0137】
管内撮影状況解析部8Aを具備させた場合、種類設定部541は、焦点ボケの度合いに応じて、使用する特徴量の種類、または種類ごとの特徴量の重みを設定する。焦点ボケが小さい場合は、特定領域表面のテクスチャや輪郭線は明瞭に写る。そこで、種類設定部541は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうちテクスチャ特徴量もしくは輪郭特徴量の使用を設定する、または上述した複数の特徴量の中でテクスチャ特徴量もしくは輪郭特徴量に他の種類の特徴量よりも高い重みを設定する。
【0138】
一方、焦点ボケの度合いが大きい場合は、テクスチャや輪郭線は不明瞭になる。但しこの場合、色や画素値面形状は比較的安定した状態を維持できる。この場合、種類設定部541は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち色特徴量もしくは画素値面形状特徴量の使用を設定する、または上述した複数の特徴量の中で、色特徴量もしくは画素値面形状特徴量に高い重みを設定する。
【0139】
管内撮影状況解析部8Bを具備させた場合、種類設定部541は、動きブレの度合いに応じて、使用する特徴量の種類、または種類ごとの特徴量の重みを設定する。動きブレが小さい場合は、特定領域表面のテクスチャや輪郭線は明瞭に写る。この場合、種類設定部541は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうちテクスチャ特徴量もしくは輪郭特徴量の使用を設定する、または上述した複数の特徴量の中でテクスチャ特徴量もしくは輪郭特徴量に他の種類の特徴量よりも高い重みを設定する。
【0140】
一方、動きブレが大きい場合は、テクスチャや輪郭線は不明瞭になる。但しこの場合、色や画素値面形状は比較的、安定した状態を維持できる。この場合、種類設定部541は、色、輪郭、画素値面形状、テクスチャ等の特徴量のうち色特徴量もしくは画素値面形状特徴量の使用を設定する、または上述した複数の特徴量の中で色特徴量もしくは画素値面形状特徴量に他の種類の特徴量よりも高い重みを設定する。
【0141】
なお、面順次方式の内視鏡で動きブレが生じた場合には、色ズレが発生し、色特徴量も不安定となる。よって、この場合、種類設定部541は、色特徴量の不使用を設定する、または色特徴量に他の種類の特徴量より低い重みを設定してもよい。また、特徴量算出部54は、輪郭、画素値面形状、テクスチャ等の特徴量算出が色ズレの影響を受けないよう、特定の色成分に絞って特徴量を算出するように設定してもよい。
【0142】
本変形例2−3において、管内撮影状況解析部8が、撮影距離推定部81、焦点ボケ解析部82、および動きブレ解析部83のうち任意の2つまたは全部を有する構成としてもよい。
【0143】
(変形例2−4)
図25は、実施の形態2の変形例2−4に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6Dにおいて、
図10に示す画像処理装置1Bおよび
図14に示す画像処理装置6と同様の機能を有する構成部位に対しては、
図10および
図14と同様の符号を付してある。
【0144】
画像処理装置6Dは、演算部7Dと、記憶部3とを有する。演算部7Dは、管内撮影状況解析部8Bと、特定領域検出部5Bとを有する。
【0145】
図26は、画像処理装置6Dが行う処理の概要を示すフローチャートである。
図26において、
図21に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS32Bに続く処理を説明する。
【0146】
ステップS33Dにおいて、形状方向設定部531は、管内画像の動きブレの方向、度合いに応じて、特徴量算出に用いる領域の形状を設定する(ステップS33D)。管内画像に動きブレが生じている場合、撮影対象は動きブレの方向に、動きブレの度合いだけ伸長した形で写る。この場合、形状方向設定部531は、動きブレの方向に、動きブレの度合いだけ伸長した形状の特徴量算出領域を設定する。これにより、被写体の情報を十分に得ることができる。
【0147】
ステップS33Dに続くステップS34〜S36の処理は、実施の形態2で説明した処理と同じである。
【0148】
以上説明した変形例2−4によれば、動きブレの度合いに応じて、特徴量算出に用いる領域の形状を設定するため、動きブレによって生じる管内画像の変化に適応した特徴量算出領域を設定することができ、特定領域を精度よく検出することができる。
【0149】
(実施の形態3)
図27は、本発明の実施の形態3に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置9において、
図3に示す画像処理装置1と同様の機能を有する構成部位に対しては、
図3と同様の符号を付してある。
【0150】
画像処理装置9は、演算部10と、記憶部11とを有する。演算部10は、管内撮影状況解析部12と、特定領域検出部13とを有する。記憶部11は、パラメータ記憶部111を有する。
【0151】
管内撮影状況解析部12は、実施の形態1および2でそれぞれ説明した複数の管内撮影状況解析部のいずれか1つでもよいし、それらを適宜組み合わせたもので構成してもよい。
【0152】
特定領域検出部13は、特徴量算出部131と、識別部132とを有する。識別部132は、パラメータ設定部1321を有する。
【0153】
パラメータ設定部1321は、管内撮影状況解析部12によって解析された管内撮影状況と同等の管内撮影状況における教師データを基に作成したパラメータを記憶部11のパラメータ記憶部111から抽出し、識別部132のパラメータとして設定する。識別部132のパラメータとは、特徴空間における識別境界、管内撮影状況に応じた分布モデル、識別関数、代表パターン(テンプレート)等である。ここでいう同等とは、管内撮影状況解析部12での解析結果(深部の有無や方向、内壁勾配の大小や方向、撮影距離の遠近、焦点ボケの有無、動きブレの有無、等)が所定の誤差を許容しながらも、ほぼ同じになることを意味する。実際には、予め得た複数の画像に対して管内撮影状況解析と同様の解析(この解析は、機械的な処理でも良いし、人手による作業でも良い)を行い、各解析結果の画像を特定した後、各々の解析結果の画像による教師データを基に、各々の解析結果に対応したパラメータを作成し、実際の処理対象画像の管内撮影状況の解析結果に合ったパラメータを識別部132で使用する。
【0154】
例えば、管内壁を斜めから撮影した画像中で特定領域を検出するためには、管内壁を斜めから撮影した画像中に写る特定領域の教師データを基に作成したパラメータが適している。これに対し、管内壁を正面から撮影した画像中で特定領域を検出するためには、管内壁を正面から撮影した画像中に写る特定領域の教師データを基に作成したパラメータが適している。管深部領域や内壁勾配方向の違い、撮影距離の遠近、焦点ボケの度合い、動きブレの度合い等の管内撮影状況に関しても、同等の管内撮影状況における教師データを基に作成したパラメータが適している。また、複数の管内撮影状況が複合的に生じた場合には、その複合的な管内撮影状況に合った教師データを基に作成したパラメータが最も適している。
【0155】
記憶部11が有するパラメータ記憶部111は、複数の管内撮影状況にそれぞれ対応する複数の教師データを基に作成したパラメータを管内撮影状況と対応づけて記憶する。なお、パラメータを外部装置に記憶させておき、パラメータ設定部1321が外部装置からパラメータを取得して識別部132のパラメータを設定するようにしてもよい。
【0156】
図28は、画像処理装置9が実行する処理の概要を示すフローチャートである。まず、演算部10が、処理対象である管内画像を取得する(ステップS71)。
【0157】
続いて、管内撮影状況解析部12は、管内画像の撮影状況を解析する(ステップS72)。
【0158】
この後、特徴量算出部131は、特徴量算出領域を画像中の任意の位置に設定し、その領域内から特徴量を算出する(ステップS73)。特徴量としては、既に公知の色、輪郭(エッジ)、画素値面形状(画素値勾配)、テクスチャ等、様々なものが考えられる。算出された複数の特徴量は、特徴ベクトルとしてまとめられる。特徴ベクトルは、設定された特徴量算出領域の数だけ生じる。
【0159】
続いて、パラメータ設定部1321は、解析した管内撮影状況と同等の管内撮影状況における教師データを基に作成したパラメータをパラメータ記憶部111から抽出し、識別部132のパラメータとして設定する(ステップS74)。
【0160】
その後、識別部132は、設定されたパラメータを用いて管内画像中の領域を識別し、特定領域を検出する(ステップS75)。
【0161】
最後に、演算部10は、特定領域検出結果を出力する(ステップS76)。これにより、画像処理装置9は、一連の処理を終了する。なお、特徴量算出部131は、実施の形態1および2で説明したように、管内撮影状況解析部12の解析結果に応じた特徴量算出をさらに行ってもよい。
【0162】
以上説明した本発明の実施の形態3によれば、管内撮影状況に応じて識別部のパラメータを設定するため、特定領域を精度よく検出することができる。また、管内撮影状況に応じた特徴量算出や、管内撮影状況に応じた識別部132のパラメータ設定により、特定領域を精度よく検出することができる。
【0163】
(実施の形態4)
図29は、本発明の実施の形態4に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置14において、
図3に示す画像処理装置1と同様の機能を有する構成部位に対しては、
図3と同様の符号を付してある。
【0164】
画像処理装置14は、演算部15と、記憶部3とを有する。演算部15は、領域分割部16と、管内撮影状況解析部17と、特定領域検出部18とを有する。
【0165】
領域分割部16は、管内画像を領域分割する。領域分割の方法としては、所定サイズの矩形分割や、エッジに基づく領域分割(特開2012−238041号公報を参照)等の方法を挙げることができる。なお、矩形分割を行う場合には、矩形の一部を重ねて分割してもよい。
【0166】
管内撮影状況解析部17は、実施の形態1および2でそれぞれ説明した複数の管内撮影状況解析部のいずれか1つでもよいし、それらを適宜組み合わせたものでもよい。
【0167】
特定領域検出部18は、実施の形態1〜3でそれぞれ説明した複数の特定領域検出部のいずれか1つでもよいし、それらを適宜組み合わせたものでもよい。
【0168】
図30は、画像処理装置14が実行する処理の概要を示すフローチャートである。まず、演算部15が、処理対象である管内画像を取得する(ステップS81)。
【0169】
続いて、領域分割部16は、管内画像を領域分割する(ステップS82)。
【0170】
この後、管内撮影状況解析部17は、各分割領域における管内撮影状況を解析する(ステップS83)。
【0171】
続いて、特定領域検出部18は、分割領域毎に管内撮影状況に応じた特定領域の検出を行う(ステップS84)。
【0172】
最後に、演算部15は、特定領域検出結果を出力する(ステップS85)。これにより、画像処理装置14は、一連の処理を終了する。
【0173】
以上説明した本発明の実施の形態4によれば、分割領域毎に管内撮影状況に応じた特定領域検出を行うため、特定領域を精度よく検出することができる。
【0174】
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1〜4によってのみ限定されるべきものではない。例えば、生体用の内視鏡画像以外にも、CTコロノグラフィにおいて生成されるバーチャル内視鏡の管内画像や、工業用内視鏡によって撮影された管内画像に対して適用することも可能である。
【0175】
このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。