特許 6879520 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6879520

(24)【登録日】2021年5月7日

(45)【発行日】2021年6月2日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20210524BHJP

   G06T 7/00 20170101ALI20210524BHJP

   G06T 7/44 20170101ALI20210524BHJP

   G06T 7/60 20170101ALI20210524BHJP

【ＦＩ】

   A61B1/045 615

   G06T7/00 612

   G06T7/44

   G06T7/60 300Z

   A61B1/045ZDM

【請求項の数】13

【全頁数】14

(21)【出願番号】特願2019-155486(P2019-155486)

(22)【出願日】2019年8月28日

(62)【分割の表示】特願2015-200803(P2015-200803)の分割

【原出願日】2015年10月9日

(65)【公開番号】特開2019-213929(P2019-213929A)

(43)【公開日】2019年12月19日

【審査請求日】2019年9月26日

(73)【特許権者】

【識別番号】502457249

【氏名又は名称】サイバネットシステム株式会社

(73)【特許権者】

【識別番号】592019213

【氏名又は名称】学校法人昭和大学

(73)【特許権者】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】脇坂 隆史

(72)【発明者】

【氏名】華原 革夫

(72)【発明者】

【氏名】森 悠一

(72)【発明者】

【氏名】工藤 進英

(72)【発明者】

【氏名】三澤 将史

(72)【発明者】

【氏名】二村 幸孝

(72)【発明者】

【氏名】森 健策

【審査官】 福田 千尋

(56)【参考文献】

【文献】 特開２０１５−１７３９２１（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１４０６６７（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／１１８６７４（ＷＯ，Ａ２）

【文献】 特開２０１２−０６９０８９（ＪＰ，Ａ）

【文献】 特開２０１４−１２４３３３（ＪＰ，Ａ）

【文献】 竹村 淳 Atsushi Takemura，医用超音波画像における生体組織抽出のための識別関数の自動選択法 A Methodology for Selection of Optimal Discriminating Function to Extract Tissue Region from Medical Ultrasonic Image，電気学会論文誌Ｃ Ｖｏｌ．１１８−Ｃ Ｎｏ．１１ The Transactions of The Institute of Electrical Engineers of Japan，日本，社団法人電気学会，１９９８年１１月 １日，第118-C巻

【文献】 二村幸孝 ほか，内視鏡手術支援のための腹部血管抽出に関する予備的検討，日本コンピュータ外科学会誌，日本，２０１０年１２月３１日，2010年12巻3号，p.254-255

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｔ １／００

Ｇ１６Ｈ ３０／００

(57)【特許請求の範囲】

【請求項1】

３８０倍以上の倍率で病変表面が撮像されている撮像画像の全体の濃淡について、画像全体のコントラストを均一にする局所コントラスト正規化を行い、画像フィルタ及びしきい値処理による二値化の少なくともいずれかを用いて複数の解析画像を作成し、作成した解析画像ごとにテクスチャ解析を行うことで複数のテクスチャ特徴量を求める解析機能と、
前記複数のテクスチャ特徴量の組合せに基づいて、非腫瘍、腺腫及び癌の識別を行う識別機能と、
を備える画像処理装置。

【請求項2】

前記画像フィルタは、任意の階数の局所濃淡構造解析、一様重みフィルタ、ソーベルフィルタ、プレウィットフィルタ、ラプラシアンフィルタ、ガウシアンフィルタ及びメディアンフィルタの少なくともいずれかを含む、
請求項１に記載の画像処理装置。

【請求項3】

前記テクスチャ特徴量は、Ｈａｒａｌｉｃテクスチャ特徴量を含み、
前記複数のテクスチャ特徴量の組合せは、Ｈａｒａｌｉｃの１から１３までの少なくともいずれかの特徴量の組合せを含む、
請求項１又は２に記載の画像処理装置。

【請求項4】

前記テクスチャ特徴量は、事前にパラメータ調整されたニューラルネットワークの出力を含む、
請求項１から３のいずれかに記載の画像処理装置。

【請求項5】

請求項１から４のいずれかに記載の画像処理装置と、
前記画像処理装置における識別結果及び前記撮像画像を表示する表示装置と、
を備える診断支援システム。

【請求項6】

前記表示装置は、前記画像処理装置における識別結果及び前記撮像画像を同一画面に表示する、
請求項５に記載の診断支援システム。

【請求項7】

前記画像処理装置は、前記撮像画像を取得すると、前記識別を撮像画像ごとに自動で行い、識別結果及び前記撮像画像を前記表示装置に表示する、
請求項５又は６に記載の診断支援システム。

【請求項8】

前記画像処理装置は、前記識別結果の確率を更に求め、
前記表示装置は、前記識別結果の確率を更に表示する、
請求項５から７のいずれかに記載の診断支援システム。

【請求項9】

前記表示装置は、前記識別結果、前記識別結果の確率及び前記撮像画像を同一画面に表示する、
請求項８に記載の診断支援システム。

【請求項10】

前記画像処理装置は、前記撮像画像に含まれる血管領域を更に求め、
前記表示装置は、前記血管領域の画像を更に表示し、
前記画像処理装置は、
血管領域を用いて血管特徴量を求め、
前記複数のテクスチャ特徴量の組合せ及び血管特徴量を用いて、非腫瘍、腺腫及び癌の識別を行う
請求項５から９のいずれかに記載の診断支援システム。

【請求項11】

前記表示装置は、前記識別結果、前記撮像画像及び前記血管領域の画像を同一画面に表示する、
請求項１０に記載の診断支援システム。

【請求項12】

画像処理装置が、
３８０倍以上の倍率で病変表面が撮像されている撮像画像の全体の濃淡について、画像全体のコントラストを均一にする局所コントラスト正規化を行い、画像フィルタ及びしきい値処理による二値化の少なくともいずれかを用いて複数の解析画像を作成し、作成した解析画像ごとにテクスチャ解析を行うことで複数のテクスチャ特徴量を求める解析手順と、
前記複数のテクスチャ特徴量の組合せに基づいて、非腫瘍、腺腫及び癌の識別を行う識別手順と、
を行う画像処理方法。

【請求項13】

コンピュータを、請求項１から４のいずれかに記載の画像処理装置に備わる各機能部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

画像処理を行うことによって、病理診断を行う発明が提案されている（例えば、特許文献１〜４参照。）。しかし、食道、胃、小腸、大腸などの消化管の病理診断は、専門的な知識と経験を要するため、消化管の一部組織を切除し、体外にて顕微鏡による診断を行っている。

【0003】

一方で、近年、超拡大機能（３８０倍〜４５０倍）の高倍率機能により、リアルタイムに体内（消化管内）で病理組織を予測できる内視鏡ｅｎｄｏｃｙｔｏｓｃｏｐｙが開発されており、病理診断の代替になることが期待されているが、画像解読に専門的トレーニングが必要である。（非特許文献１）。そのため、先行研究によりｅｎｄｏｃｙｔｏｓｃｏｐｙ画像に対するコンピュータ診断支援システムが開発され（非特許文献２）、非腫瘍・腺腫・癌の鑑別に有用性があることがわかった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−１５３７４２号公報

【特許文献2】ＷＯ２０１２／０１１５７９号公報

【特許文献3】ＷＯ２０１２／１５７２０１号公報

【特許文献4】ＷＯ０１／０２２７４１号公報

【非特許文献】

【0005】

【非特許文献1】Ｋｕｄｏ Ｓ， Ｗａｋａｍｕｒａ Ｋ， Ｉｋｅｈａｒａ Ｎ， Ｍｏｒｉ Ｙ， Ｉｎｏｕｅ Ｈ， Ｈａｍａｔａｎｉ Ｓ． Ｄｉａｇｎｏｓｉｓ ｏｆ ｃｏｌｏｒｅｃｔａｌ ｌｅｓｉｏｎｓ ｗｉｔｈ ａ ｎｏｖｅｌ ｅｎｄｏｃｙｔｏｓｃｏｐｉｃ ｃｌａｓｓｉｆｉｃａｔｉｏｎ−ａ ｐｉｌｏｔ ｓｔｕｄｙ−． Ｅｎｄｏｓｃｏｐｙ ２０１１；４３：８６９−８７５

【非特許文献2】Ｍｏｒｉ Ｙ，Ｋｕｄｏ ＳＥ，Ｗａｋａｍｕｒａ Ｋ，“Ｎｏｖｅｌ ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｉａｇｎｏｓｔｉｃ ｓｙｓｔｅｍ ｆｏｒ ｃｏｌｏｒｅｃｔａｌ ｌｅｓｉｏｎｓ ｂｙ ｕｓｉｎｇ ｅｎｄｏｃｙｔｏｓｃｏｐｙ （ｗｉｔｈ ｖｉｄｅｏｓ）．”，Ｇａｓｔｒｏｉｎｔｅｓｔｉｎａｌ Ｅｎｄｏｓｃ． ２０１４ Ｅｐｕｂ

【非特許文献3】Ｓａｔｏ， Ｙ． ｅｔ． ａｌ．；“Ｔｉｓｓｕｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ３Ｄ ｌｏｃａｌ ｉｎｔｅｎｓｉｔｙ ｓｔｒｕｃｔｕｒｅｓ ｆｏｒ ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ”，Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ，Ｖｏｌ．６，Ｎｏ．２，２０００

【非特許文献4】Ｔ． Ｓｃｈｕｌｔｚ， “Ｔｏｐｏｌｏｇｉｃａｌ Ｆｅａｔｕｒｅｓ ｉｎ ２Ｄ Ｓｙｍｍｅｔｒｉｃ Ｈｉｇｈｅｒ−Ｏｒｄｅｒ Ｔｅｎｓｏｒ Ｆｉｅｌｄｓ”，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｆｏｒｕｍ，Ｖｏｌ．３０，Ｎｏ．３，２０１１

【非特許文献5】ＲＭ Ｈａｒａｌｉｃｋ，“Ｔｅｘｔｕｒａｌ Ｆｅａｔｕｒｅｓ ｆｏｒ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＳＹＳＴＥＭＳ， ＭＡＮ ＡＮＤ ＣＹＢＥＲＮＥＴＩＣＳ． Ｖｏｌ．ＳＭＣ−３，Ｎｏ．６，１９７３

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、病変の診断をコンピュータ診断支援システムを用いて客観的に行うことで、専門的な知識と経験を有する者でなくとも、病変の診断を可能にすることを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る画像処理装置は、
病変表面が撮像されている撮像画像の全体の濃淡について、画像フィルタ及びしきい値処理による二値化の少なくともいずれかを用いて複数の解析画像を作成し、作成した解析画像ごとにテクスチャ解析を行うことで複数のテクスチャ特徴量を求める解析機能と、
前記複数のテクスチャ特徴量の組合せに基づいて、病理診断に対応した分類を行う分類機能と、
を備える。

【0008】

本発明に係る画像処理方法は、
画像処理装置が、
病変表面が撮像されている撮像画像の全体の濃淡について、画像フィルタ及びしきい値処理による二値化の少なくともいずれかを用いて複数の解析画像を作成し、作成した解析画像ごとにテクスチャ解析を行うことで複数のテクスチャ特徴量を求める解析手順と、
前記複数のテクスチャ特徴量の組合せに基づいて、病理診断に対応した分類を行う分類手順と、
を行う。

【0009】

本発明に係る画像処理方法では、前記解析手順において、前記撮像画像に含まれる濃淡変化を画素ごとに解析した解析画像を作成し、前記解析画像のテクスチャ特徴量を求めることで、テクスチャ解析を行ってもよい。

【0010】

本発明に係る画像処理方法では、前記解析手順において、前記撮像画像の各画素についてテンソル解析を行うことで、前記解析画像を作成してもよい。

【0011】

本発明に係る画像処理方法では、
前記解析手順において、さらに血管領域を抽出し、抽出した血管領域を用いて血管特徴量を求め、
前記分類手順において、前記テクスチャ解析の結果及び前記血管特徴量を用いて、病理診断に対応した分類を行ってもよい。

【0012】

本発明に係るプログラムは、コンピュータに、本発明に係る画像処理方法の有する各手順を実行させるためのプログラムである。本発明に係るプログラムは、記録媒体に格納されていてもよい。

【発明の効果】

【0013】

本発明によれば、病変の診断をコンピュータ診断支援システムを用いて客観的に行うことで、専門的な知識と経験を有する者でなくとも、病変の診断が可能となる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る画像処理システムの一例を示す。

【図2】実施形態に係る画像処理方法の一例を示す。

【図3】実施形態に係るテクスチャ解析手順の一例を示す。

【図4】グレースケール化後の撮像画像の一例を示す。

【図5】ノイズ除去後の撮像画像の一例を示す。

【図6】コントラスト正規化後の撮像画像の一例を示す。

【図7】撮像画像の２階テンソルで求められる最小固有値を用いた画像の一例を示す。

【図8】撮像画像の２階テンソルの最大値で求められる最大固有値を用いた画像の一例を示す。

【図9】撮像画像の０階テンソルで求められる画像の一例を示す。

【図10】撮像画像の１階テンソルで求められる画像の一例を示す。

【図11】撮像画像の３階テンソルで求められる最小固有値を用いた画像の一例を示す。

【図12】撮像画像の３階テンソルで求められる最大固有値を用いた画像の一例を示す。

【図13】撮像画像の４階テンソルで求められる最小固有値を用いた画像の一例を示す。

【図14】撮像画像の４階テンソルで求められる最大固有値を用いた画像の一例を示す。

【図15】実施形態に係る血管領域抽出手順の一例を示す。

【図16】線状度画像の一例を示す。

【図17】２段階しきい値処理後の血管候補領域画像一例を示す。

【図18】小成分除去後の血管領域画像の一例を示す。

【図19】実施形態に係る血管特徴導出手順の一例を示す。

【図20】最大面積領域抽出画像の一例を示す。

【図21】細線化画像の一例を示す。

【図22】距離画像の一例を示す。

【図23】表示装置への表示例を示す。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0016】

図１に、実施形態に係る画像処理システムの一例を示す。実施形態に係る画像処理システムは、撮像装置９１、画像処理装置９２、及び、表示装置９３を備える。

【0017】

撮像装置９１は、例えばＥｎｄｏｃｙｔｏｓｃｏｐｙなどの超拡大内視鏡、共焦点内視鏡又は光学顕微鏡であり、血管を検出可能な画像を撮像可能な任意の構成を含む。撮像装置９１は、粘膜上皮の血管が撮像可能であることが好ましく、例えば、ｅｎｄｏｃｙｔｏｓｃｏｐｙ系又は共焦点系の内視鏡であることが好ましい。共焦点系は、対物レンズの焦点位置と共役な位置（像位置）に開口を配置したものである。本実施形態では、内視鏡に光学顕微鏡を搭載したｅｎｄｏｃｙｔｏｓｃｏｐｙを用いることが好ましく、これにより共焦点系に比べて鮮明なカラー画像を取得することができる。

【0018】

血管を強調し観察する方法は任意であり、例えば、Ｎａｒｒｏｗ ｂａｎｄ ｉｍａｇｉｎｇ（ＮＢＩ）（登録商標）、Ｉｎｆｒａ Ｒｅｄ Ｉｍａｇｉｎｇ（ＩＲＩ）、Ｄｕａｌ Ｒｅｄ Ｉｍａｇｉｎｇ、ＦＩＣＥ（Ｆｌｅｘｉｂｌｅ ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ Ｃｏｌｏｒ Ｅｎｈａｎｃｅｍｅｎｔ）、ＢＬＩ（Ｂｌｕｅ Ｌａｓｅｒ Ｉｍａｇｉｎｇ）（登録商標）、ＬＣＩ（Ｌｉｎｋｅｄ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ）、ｉ−ｓｃａｎ（登録商標）、ｉ−ｓｃａｎ ｏｐｔｉｃａｌ ｅｎｈａｎｃｅｍｅｎｔ（ＯＥ）（登録商標）が挙げられる。

【0019】

図２に、本実施形態に係る画像処理方法の一例を示す。本実施形態に係る画像処理方法は、画像処理装置９２が、画像取得手順Ｓ１０１と、テクスチャ解析手順Ｓ１０２と、血管特徴量算出手順Ｓ１０３と、分類手順Ｓ１０４と、を順に実行する。画像処理装置９２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、記憶部１２と、を備えるコンピュータである。本実施形態に係る画像処理装置９２は、記憶部１２に記憶されたコンピュータプログラムを実行することで、各手順を行う。コンピュータプログラムは、コンピュータから読み出し可能な任意の記録媒体に記憶され得る。

【0020】

画像取得手順Ｓ１０１では、ＣＰＵ１１が、撮像装置９１の撮像画像を取得する。
テクスチャ解析手順Ｓ１０２では、ＣＰＵ１１が、撮像画像の全体の濃淡についてテクスチャ解析を行う。
血管特徴量算出手順Ｓ１０３では、ＣＰＵ１１が、血管領域を抽出し、抽出した血管領域を用いて血管特徴量を求める。
分類手順Ｓ１０４では、ＣＰＵ１１が、テクスチャ解析の結果及び血管特徴量を用いて、病理診断に対応した分類を行う。

【0021】

図３を参照しながら、テクスチャ解析手順Ｓ１０２について説明する。
テクスチャ解析手順Ｓ１０２では、解析部１１１が、撮像画像について、縮小（Ｓ２０１）、グレースケール化（Ｓ２０２）、ノイズ除去（Ｓ２０３）、局所コントラスト正規化（Ｓ２０４）、濃淡構造解析（Ｓ２０５）、テクスチャ特徴量算出（Ｓ２０６）を行う。

【0022】

ステップＳ２０１では、撮像画像を所定の画像サイズに縮小する。
撮像画像がカラー画像である場合、ステップＳ２０２を実行する。ステップＳ２０２では、カラー画像をグレースケール画像に変換する。図４に、グレースケール化後の画像の一例を示す。
ステップＳ２０３では、撮像画像に含まれるノイズを除去する。ノイズの除去方法は任意であり、例えば、メディアンフィルタを用いることができる。図５に、ノイズ除去後の画像の一例を示す。
ステップＳ２０４では、光源ムラを除去するため、画像全体のコントラストを均一にする局所コントラスト正規化を行う。図６に、局所コントラスト正規化後の画像の一例を示す。

【0023】

ステップＳ２０５では、撮像画像の濃淡構造解析を行い、撮像画像に含まれる濃淡変化を画素ごとに解析した解析画像を作成する。濃淡構造解析は任意であるが、２次元の局所濃淡構造解析を行うことが好ましい（例えば、非特許文献３及び４参照。）。この場合、各画素について、２階テンソルの固有値を求める。２階テンソルは、濃度値の２階微分に相当し、局所的な濃度値構造を表す。２階テンソルの場合は２つの固有値が求められる。この場合、最小の固有値を用いた解析画像と最大の固有値を用いた解析画像を作成する。これにより、解析画像を作成することができる。図７及び図８に、２階テンソルの固有値を用いた解析画像を示す。

【0024】

濃淡構造解析は、２階テンソル以外の階数も用いることが好ましい。例えば、０階テンソル、１階テンソル、３階テンソル及び４階テンソルを用いることが好ましい。０階テンソルは濃度値を表し、１階テンソルは勾配強度すなわちエッジの強さを表す。図９に０階テンソルの解析画像を示し、図１０に１階テンソルの解析画像を示す。なお、１階テンソルは、勾配強度であるため、固有値はない。

【0025】

３階テンソル及び４階テンソルの場合も、２階テンソルと同様に、最小の固有値を用いた解析画像と最大の固有値を用いた解析画像を作成することが好ましい。図１１及び図１２に３階テンソルの固有値を用いた解析画像を示し、図１３及び図１４に４階テンソルの固有値を用いた解析画像を示す。

【0026】

なお、解析画像の作成方法は局所濃淡構造解析に限定しない。例えば、一様重みフィルタ、ソーベルフィルタ、プレウィットフィルタ、ラプラシアンフィルタ、ガウシアンフィルタ、メディアンフィルタなどの画像フィルタ、あるいは、しきい値処理による二値化などの任意の画像処理方法を用いることができる。

【0027】

ステップＳ２０６では、解析画像のテクスチャ特徴量を求める。テクスチャ特徴量は、例えば、Ｈａｒａｌｉｃｋテクスチャ特徴量（例えば、非特許文献５参照。）である。Ｈａｒａｌｉｃｋテクスチャ特徴量は、１から１４までの特徴量があるが、１から１４の任意の特徴量を用いることができる。特に１から１３までのＨａｒａｌｉｃｋテクスチャ特徴量を組み合わせることで、分類手順Ｓ１０４における精度を高めることができた。

【0028】

なお、テクスチャ特徴量は、Ｈａｒａｌｉｃｋテクスチャ特徴量に依存しない。例えば、ランレングス行列に基づく解析手法、フラクタル次元、などの任意のテクスチャ特徴量、あるいは事前にパラメータ調整されたニューラルネットワークの出力をテクスチャ特徴量として用いることができる。

【0029】

ここで、血管は、画像内でランダムな方向に走行している。そこで、血管の走行方向の違いによるテクスチャ特徴量の変化を避けるため、基準となる方向を複数用意した後、各方向に対してテクスチャ特徴量を算出し、それらを平均化して利用することが好ましい。基準となる方向は、例えば、９０度ずつ異なる４つの方向、４５度ずつ異なる８つの方向である。

【0030】

図１５を参照しながら、血管特徴量算出手順Ｓ１０３に用いる血管領域画像の作成方法について説明する。本実施形態は、血管領域画像の作成するために、解析部１１１が、撮像画像について、縮小（Ｓ３０１）、グレースケール化（Ｓ３０２）、ノイズ除去（Ｓ３０３）、線状度画像作成（Ｓ３０４）、２段階閾値処理（Ｓ３０５）、小成分除去（Ｓ３０６）を行う。ステップＳ３０１の縮小、ステップＳ３０２のグレースケール化及びステップＳ３０３のノイズ除去は、テクスチャ解析手順Ｓ１０２と同様である。

【0031】

ステップＳ３０４では、線状度画像を作成する。線状度画像は、撮像画像に含まれる線構造を強調した画像であり、例えば、一般的にヘッセ行列解析と呼ばれる２次元の局所濃淡構造解析を用いて作成することができる。２次元の局所濃淡構造解析を用いる場合、各画素について２階テンソルの２つの固有値を求め、最小の固有値を用いた画像と最大の固有値を用いた画像を作成する。２階テンソルはヘッセ行列とも呼ばれる。これにより、図１６に示すような線状度画像を得ることができる。

【0032】

ここで、線状度画像を作成するに際しては、平滑化に用いるガウシアンフィルタの標準偏差σとして、複数の値を用いることが好ましい。複数のσを用いることで、太さや曲率の異なる血管であっても線構造として認識できるようになる。特に癌化した細胞核の周囲に存在する血管は太くなる傾向にあるため、複数のσを用いることで、癌化した細胞核の周囲に存在する血管についても線構造として認識できるようになる。

【0033】

ステップＳ３０５では、ステップＳ３０４で作成した複数の線状度画像に含まれている血管の画像を合成する。具体的には、全ての画素位置について、複数の線状度画像のなかから線状度の最も高い値を選択することで、マルチスケール線状度画像を作成する。そして、マルチスケール線状度画像のなかから線状度が所定の閾値Ａ以上の領域を血管候補領域として抽出する。その後、マルチスケール線状度画像のなかから線状度が所定の閾値Ｂ（＜Ａ）以上の領域で、なおかつ、血管候補領域と重複する部分を持つ領域を抽出し、これらを血管候補領域へ加える。これにより、図１７に示すような血管候補領域画像を得ることができる。

【0034】

ステップＳ３０５で血管候補領域画像には、血管でない領域が含まれている。そこで、ステップＳ３０６を実行する。ステップＳ３０６では、血管ではない領域を除去する。血管であるか否かは、例えば、予め定めた小さな領域であれば血管でないと判定する。このように、血管候補領域画像から血管でない領域を除去することで、図１８に示すような、血管領域を抽出した血管領域画像を得ることができる。

【0035】

図１９を参照しながら、血管特徴量算出手順Ｓ１０３における血管特徴量の導出方法について説明する。本実施形態は、血管特徴量を導出するために、解析部１１１が、血管領域画像について、最大面積領域抽出（Ｓ３１１）、細線化（Ｓ３１２）、距離変換（Ｓ３１３）、最大血管の最大径の算出（Ｓ３１４）、最大血管の最小最大径比の算出（Ｓ３１５）、血管面積の全体に占める割合の算出（Ｓ３１６）を行う。本実施形態では、図１８に示す血管領域画像を用いて説明する。

【0036】

ステップＳ３１１では、血管領域をラベリングし、最大面積をもつ領域を抽出する。これにより、図２０に示すような、最大面積領域抽出画像が得られる。
ステップＳ３１２では、画像領域を細線化し芯線画素を抽出する。これにより、図２１のような、細線化画像が得られる。
ステップＳ３１３では、血管領域画像を距離変換し、距離画像を作成する。距離変換は、例えば、血管領域に含まれる各画素について、最も近い背景画素への距離、すなわち血管領域以外の画素への距離を求め、この距離を値として持つ画像へと変換する。これにより、図２２のような、距離画像が得られる。

【0037】

ステップＳ３１４では、最大面積領域抽出画像、細線化画像及び距離画像を重ねて、最大面積領域の芯線画素上の最大距離を求める。これにより、最大血管の最大径を算出することができる。
ステップＳ３１５では、最大面積領域抽出画像及び細線化画像を重ね合わせた最大面積領域の芯線画素上に配置されている距離画像の最大距離値と最小距離値を用いて、最大血管の最小最大径比を求める。
ステップＳ３１６では、血管領域画像に含まれる血管領域の面積を求め、全体画像中に占める血管領域の割合を求める。

【0038】

このように、血管特徴量算出手順Ｓ１０３では、血管領域画像を用いて、血管特徴量を求める。なお、血管特徴量は、最大血管の最大径、最大血管の最小最大径比及び全体画像中に占める血管領域の割合に限定されない。

【0039】

分類手順Ｓ１０４では、ＣＰＵ１１が、テクスチャ解析の結果及び血管特徴量を用いて、病理診断に対応した分類を行う。本実施形態では、テクスチャ解析手順Ｓ１０２で求めたテクスチャ特徴量及び血管特徴量算出手順Ｓ１０３で求めた血管特徴量を用いて、病理診断に対応した分類を行う。病理診断に対応した分類は、例えば、非腫瘍、腺腫、癌、ＳＳＡ／Ｐである。分類は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いる。ここで、分類を行うに際し、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのそれぞれについて、学習用サンプルとなるデータを画像処理装置９２に与える。

【0040】

分類手順Ｓ１０４では、画像処理装置９２が、分類手順Ｓ１０４の分類結果を出力する。例えば、画像処理装置９２が、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのうちのいずれかを診断結果として出力する。出力は、例えば、表示装置９３に表示する。また、分類結果を撮像画像とともに記憶部１２に格納する。

【0041】

図２３に、表示装置９３への表示例を示す。表示装置９３は、撮像装置９１の撮像画像と血管領域画像を同一画面上に表示することが好ましい。さらに、非腫瘍などの病理診断に対応した分類を確率とともに表示することが好ましい。図２３には、一例として、非腫瘍である可能が２％であり、腺腫である可能性が３０％であり、癌である可能性が６８％である例を示した。表示装置９３は、確率が最も高い分類を、他の分類に比較して大きく表示することが好ましい。

【0042】

以上のテクスチャ解析手順Ｓ１０２、血管特徴量算出手順Ｓ１０３及び分類手順Ｓ１０４を、撮像画像ごとに行う。これによって、専門的な知識と経験を有する者でなくとも、病理診断を行いたい各部位が、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのいずれであるか判断することができる。特に、消化管などの体内での粘膜の内視鏡画像を内視鏡を用いて撮像することで、リアルタイム自動診断が可能となり、内視鏡検査のクオリティを向上することができる。

【0043】

なお、本実施形態に係る発明は、内視鏡画像だけでなく、生体から採取した組織を顕微鏡で撮像した顕微鏡画像など生体の微細構造を撮影した画像全般に適用することができる。

【0044】

また、本実施形態では、ＳＶＭを用いて分類を行う例を示したが、分類方法はＳＶＭに限定されるものではなく、例えば、ニューラルネットワーク、単純ベイズ分類器、決定木、クラスター解析、線形回帰分析及びロジスティック回帰分析、ランダムフォレストなどの分類手法が利用可能である。

【符号の説明】

【0045】

１１：ＣＰＵ
１１１：解析部
１１２：分類部
１２：記憶部
９１：撮像装置
９２：画像処理装置
９３：表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】