特許 6807869 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6807869

(24)【登録日】2020年12月10日

(45)【発行日】2021年1月6日

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20201221BHJP

   G06T 7/00 20170101ALI20201221BHJP

   G06T 7/90 20170101ALI20201221BHJP

【ＦＩ】

   A61B1/045 614

   A61B1/045 610

   A61B1/045 616

   A61B1/045 618

   G06T7/00 350B

   G06T7/90 C

【請求項の数】15

【全頁数】14

(21)【出願番号】特願2017-557592(P2017-557592)

(86)(22)【出願日】2015年12月24日

(86)【国際出願番号】JP2015086086

(87)【国際公開番号】WO2017109904

(87)【国際公開日】20170629

【審査請求日】2018年11月29日

【審判番号】不服2020-6011(P2020-6011/J1)

【審判請求日】2020年5月1日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】北村 誠

(72)【発明者】

【氏名】木村 光隆

【合議体】

【審判長】 福島 浩司

【審判官】 信田 昌男

【審判官】 森 竜介

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／０２８８１８６（ＵＳ，Ａ１）

【文献】 特開２０１５−１７３８２７（ＪＰ，Ａ）

【文献】 特許第３３４７８１７（ＪＰ，Ｂ２）

【文献】 特開２０１３−２４０７０１（ＪＰ，Ａ）

【文献】 特開２０１４−２３５６６（ＪＰ，Ａ）

【文献】 特開２００７−２３６９５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

A61B1/00-1/32

G06T1/00-11/80

G01N21/00-21/958

G01B11/00-11/30

G02B23/24-23/26

(57)【特許請求の範囲】

【請求項1】

生体の管腔内画像を取得する画像取得部と、
前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成部と、
前記管腔内画像に含まれる生体情報に基づいて、前記画像生成部が前記複数の画像を生成する際の前記範囲情報を決定する範囲決定部と、
前記複数の画像に基づいて、対象認識を行うための認識基準を学習する学習部と
を備え、
前記範囲決定部は、
前記管腔内画像の臓器種類を判別する臓器判別部と、
前記管腔内画像における体液の情報に基づいて、前記範囲情報を決定する管腔内体液情報算出部と
を有し、
前記画像生成部は、前記臓器判別部によって判別された臓器種類に応じた前記体液の有無によって定まる色相および／または明るさに応じた前記範囲情報に基づいて、前記新たな複数の画像を生成することを特徴とする画像処理装置。

【請求項2】

前記認識基準に基づいて、対象認識を行う認識部をさらに備えたことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記管腔内体液情報算出部は、血液の色範囲に関する情報を算出する血液色情報算出部を有することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記血液色情報算出部は、血液の色範囲に関する情報に基づいて、赤色の色範囲を決定することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記管腔内体液情報算出部は、胆汁の色範囲に関する情報を算出する胆汁色情報算出部を有することを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記胆汁色情報算出部は、胆汁の色範囲に関する情報に基づいて、黄色の色範囲を決定することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記管腔内体液情報算出部は、体液の有無による色範囲に関する情報を算出する体液有無色情報算出部を有することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記体液有無色情報算出部は、体液の有無による色範囲に関する情報に基づいて、赤色の色範囲および明るさを決定することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記管腔内体液情報算出部は、薬剤の色範囲に関する情報を算出する薬剤色情報算出部を有することを特徴とする請求項１に記載の画像処理装置。

【請求項10】

前記管腔内体液情報算出部は、前記臓器判別部によって判別された臓器種類に基づいて、体液の種類を決定することを特徴とする請求項１に記載の画像処理装置。

【請求項11】

前記管腔内画像を所定の領域毎に分割する領域分割部をさらに備え、
前記画像生成部は、前記領域分割部が分割した領域毎に色相および／または明るさを変化させた前記複数の画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項12】

前記領域分割部は、体液の情報に基づいて領域を分割する体液領域分割部を有することを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記学習部が学習した前記認識基準に基づき対象認識を行う識別部をさらに備えたことを特徴とする請求項１に記載の画像処理装置。

【請求項14】

画像処理装置が実行する画像処理方法であって、
生体の管腔内画像を取得する画像取得ステップと、
前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、
前記管腔内画像に含まれる生体情報に基づいて、前記画像生成ステップにおいて前記複数の画像を生成する際の前記範囲情報を決定する範囲決定ステップと、
前記複数の画像に基づいて、対象認識を行うための認識基準を学習する学習ステップと、
を含み、
前記範囲決定ステップは、
前記管腔内画像の臓器種類を判別する臓器判別ステップと、
前記管腔内画像における体液の情報に基づいて、前記範囲情報を決定する管腔内体液情報算出ステップと、
を含み、
前記画像生成ステップは、前記臓器判別ステップによって判別された判別された臓器種類に応じた前記体液の有無によって定まる色相および／または明るさに応じた前記範囲情報に基づいて、前記新たな複数の画像を生成することを特徴とする画像処理方法。

【請求項15】

画像処理装置に、
生体の管腔内画像を取得する画像取得ステップと、
前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、
前記管腔内画像に含まれる生体情報に基づいて、前記画像生成ステップにおいて前記複数の画像を生成する際の前記範囲情報を決定する範囲決定ステップと、
前記複数の画像に基づいて、対象認識を行うための認識基準を学習する学習ステップと、
を実行させ、
前記範囲決定ステップは、
前記管腔内画像の臓器種類を判別する臓器判別ステップと、
前記管腔内画像における体液の情報に基づいて、前記範囲情報を決定する管腔内体液情報算出ステップと、
を含み、
前記画像生成ステップは、前記臓器判別ステップによって判別された判別された臓器種類に応じた前記体液の有無によって定まる色相および／または明るさに応じた前記範囲情報に基づいて、前記新たな複数の画像を生成することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体の管腔内を撮像することによって取得された画像に対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、内視鏡等の医療用観察装置を用いて生体の管腔内（消化管内）を撮像する管腔内画像に対し、識別基準を用いて異常領域等の特定領域を検出する技術が知られている。この際に用いられる識別基準は、通常、学習サンプルとして管腔内画像から抽出された様々なバリエーションの粘膜領域または異常領域の画像をもとに作成される。

【0003】

画像の識別に関する技術として、例えば特許文献１には、学習サンプルとして取得した画像に対し、任意の注目領域の位置、方向、外観を変更したり、注目領域を拡大縮小または回転させたりといった幾何学的な処理を行うことにより新たな画像を生成し、新たな画像および元の画像から特徴量を算出して識別基準を作成する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第８９０３１６７号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した特許文献１に開示された技術を管腔内画像に適用しようとした場合、管腔内画像において発生し得ない明るさ、または色相を持った学習サンプルが生成されてしまうという問題点があった。

【0006】

本発明は、上記に鑑みてなされたものであって、管腔内画像において発生し得る色味を持った学習サンプルを生成することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内画像を取得する画像取得部と、前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成部と、を備えたことを特徴とする。

【0008】

また、本発明に係る画像処理装置は、生体の管腔内画像を取得する画像取得部と、前記管腔内画像の色相および／または明るさを前記管腔内画像に含まれる生体情報に応じて予め設定された範囲情報から所定値毎に変化させることで新たに生成された複数の画像に基づいて学習される識別基準に基づき対象認識を行う識別部と、を備えたことを特徴とする。

【0009】

また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、生体の管腔内画像を取得する画像取得ステップと、前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、を含むことを特徴とする。

【0010】

また、本発明に係るプログラムは、画像処理装置に、生体の管腔内画像を取得する画像取得ステップと、前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、を実行させることを特徴とする。

【発明の効果】

【0011】

本発明によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるという効果を奏する。

【図面の簡単な説明】

【0012】

【図1】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。

【図2】図２は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。

【図3】図３は、本発明の実施の形態２に係る演算部の構成を示すブロック図である。

【図4】図４は、本発明の実施の形態２に係る画像処理装置が実行する処理の概要を示すフローチャートである。

【図5】図５は、図４の範囲決定処理の概要を示すフローチャートである。

【図6】図６は、本発明の実施の形態３に係る演算部の構成を示すブロック図である。

【図7】図７は、本発明の実施の形態３に係る画像処理装置が実行する処理の概要を示すフローチャートである。

【図8】図８は、本発明の実施の形態４に係る演算部の構成を示すブロック図である。

【図9】図９は、本発明の実施の形態４に係る画像処理装置が実行する処理の概要を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態に係る画像処理装置、画像処理方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。

【0014】

（実施の形態１）
〔画像処理装置の構成〕
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、内視鏡（軟性内視鏡や硬性内視鏡等の内視鏡スコープ）またはカプセル型内視鏡（以下、これらをまとめて単に「内視鏡」という）によって、生体の管腔を撮像することにより取得された管腔内画像の生体情報に基づいて、管腔内画像の色又は明るさを変化させた新たな画像（仮想画像や学習サンプル）を生成する画像処理を実行する装置である。ここで、管腔内画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。

【0015】

図１に示す画像処理装置１は、内視鏡によって撮像された管腔内画像に対応する画像データを内視鏡または外部から出力する画像取得部２と、外部からの操作によって入力された入力信号を受け付ける入力部３と、管腔内画像や各種表示を行う表示部４と、画像取得部２によって取得された画像データや各種のプログラムを記録する記録部５と、画像処理装置１全体の動作を制御する制御部６と、画像データに対して所定の画像処理を行う演算部７と、を備える。

【0016】

画像取得部２は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、画像取得部２は、内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された画像データを読み出すリーダ装置として構成される。また、画像取得部２は、内視鏡によって撮像された画像データをサーバによって記録する場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって画像データを取得する。さらにまた、画像取得部２は、内視鏡からケーブルを介して画像データが入力されるインターフェース装置等で構成してもよい。

【0017】

入力部３は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部６へ出力する。

【0018】

表示部４は、液晶や有機ＥＬ（Electro Luminescence）の表示パネル等の表示装置によって実現され、制御部６の制御のもと、管腔内画像を含む各種画面を表示する。

【0019】

記録部５は、フラッシュメモリ、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）といった各種ＩＣメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部５は、画像取得部２によって取得された画像データの他、画像処理装置１を動作させるとともに、種々の機能を画像処理装置１に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部５は、管腔内画像の色または明るさを変化させた新たな画像（学習サンプル）を生成するための画像処理プログラム５１、後述する演算部７が管腔内画像の生体情報に基づいて、管腔内画像の色相および／または明るさを変化させた新たな画像を生成するために、管腔内画像の生体情報に基づく色相および／または明るさの範囲を設定した範囲情報、および、このプログラムの実行中に使用される種々の情報等を記録する。

【0020】

制御部６は、ＣＰＵ（Central Processing Unit）等を用いて実現され、記録部５に記録された各種プログラムを読み込むことにより、画像取得部２から入力される画像データや入力部３から入力される入力信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

【0021】

演算部７は、ＣＰＵ等によって実現され、記録部５が記録する画像処理プログラム５１を読み込むことによって管腔内画像の生体情報に基づいて、管腔内画像の色または明るさを変化させた新たな画像を生成する画像処理を実行する。

【0022】

〔演算部の構成〕
次に、演算部７の詳細な構成について説明する。演算部７は、画像生成部１０を有する。画像生成部１０は、管腔内画像の生体情報に基づいて、管腔内画像の色または明るさを変化させた新たな画像を生成する。

【0023】

〔画像処理装置の処理〕
次に、画像処理装置１が実行する画像処理方法について説明する。図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。

【0024】

図２に示すように、まず、画像生成部１０は、画像取得部２を介して外部から内視鏡等によって撮像された画像データに対応する管腔内画像を取得する（ステップＳ１０１）。

【0025】

続いて、画像生成部１０は、管腔内画像の生体情報に基づく色相および／または明るさの範囲を設定した範囲情報を取得する（ステップＳ１０２）。

【0026】

その後、画像生成部１０は、ステップＳ１０１において取得した管腔内画像とステップＳ１０２において取得した範囲情報とに基づいて、管腔内画像の色または明るさを所定の間隔によって変化させて新たな複数の画像を生成し、この生成した複数の画像を記録部５に記録または表示部４に表示させる（ステップＳ１０３）。なお、画像生成部１０は、新たに生成した複数の画像を、学習機能や識別機能を有する外部装置へ出力するようにしてもよい。ステップＳ１０３の後、画像処理装置１は、本処理を終了する。

【0027】

以上説明した本発明の実施の形態１によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができる。

【0028】

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る画像処理装置は、上述した実施の形態１に係る画像処理装置１における演算部７の構成と異なる。以下においては、本実施の形態２に係る演算部の構成について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

【0029】

〔演算部の構成〕
図３は、本実施の形態２に係る演算部の構成を示すブロック図である。図３に示す演算部７ａは、画像生成部１０と、範囲決定部２０と、を備える。

【0030】

範囲決定部２０は、生体情報に基づいて、色または明るさの範囲を決定する範囲情報を生成する。範囲決定部２０は、生体内管腔における体液の情報を算出する管腔内体液情報算出部３０を有する。

【0031】

管腔内体液情報算出部３０は、血液色情報算出部３０１と、胆汁色情報算出部３０２と、体液有無色情報算出部３０３と、薬剤色情報算出部３０４と、を有する。

【0032】

血液色情報算出部３０１は、血液の色範囲に関する情報を決定する。具体的には、血液色情報算出部３０１は、赤色の色範囲を決定する。

【0033】

胆汁色情報算出部３０２は、胆汁の色範囲に関する情報を決定する。具体的には、胆汁色情報算出部３０２は、黄色の色範囲を決定する。

【0034】

体液有無色情報算出部３０３は、体液の有無による色範囲に関する情報を決定する。具体的には、体液の有無による色範囲に関する情報に基づいて、赤色の色範囲および明るさを決定する。

【0035】

薬剤色情報算出部３０４は、薬剤の色範囲に関する情報を決定する。具体的には、薬剤色情報算出部３０４は、下剤の種別情報に基づいて、白色の色範囲および明るさを決定する。

【0036】

〔画像処理装置の処理〕
次に、本実施の形態２に係る画像処理装置１が実行する画像処理方法について説明する。図４は、画像処理装置１が実行する処理の概要を示すフローチャートである。

【0037】

図４に示すように、まず、画像生成部１０は、画像取得部２を介して外部から内視鏡等によって撮像された画像データに対応する管腔内画像を取得し、取得した管腔内画像を記録部５に記録する（ステップＳ２０１）。

【0038】

続いて、画像生成部１０は、管腔内画像を色変換する（ステップＳ２０２）。具体的には、画像生成部１０は、管腔内画像をＲＧＢ画像からＨＳＶ画像に色変換する。なお、色変換の方法としては、ＨＳＶに限定されるものではなく、例えば色相および明るさを表現可能なＬａｂ、ＨＬＳ、ＹＵＶ等の他の色変換を用いてもよい。

【0039】

その後、範囲決定部２０は、画像生成部１０が管腔内画像に基づいて、色相および明るさを変化させた新たな画像を生成するための範囲情報を決定する範囲決定処理を実行する（ステップＳ２０３）。

【0040】

〔範囲決定処理〕
図５は、図４のステップＳ２０３における範囲決定処理の詳細を示すフローチャートである。

【0041】

図５に示すように、血液色情報算出部３０１は、血液の色範囲に関する情報を算出する（ステップＳ３０１）。具体的には、血液の構成成分であるヘモグロビンの吸収波長は、Ｇ値またはＢ値を形成する中波長から短波長の帯域にあるため、体内管腔にある体液に血液が混じった場合、Ｒ値に対して、Ｇ値およびＢ値が低い赤色系の色となる。そこで、本実施の形態２では、生体内管腔における体液に血液が混在している画像を事前に収集しておき、血液が混在している場合のＨ（色相）範囲を推定する。即ち、血液色情報算出部３０１は、予め推定された血液が混在している場合のＨ範囲に基づいて、血液の色範囲を決定する。

【0042】

続いて、胆汁色情報算出部３０２は、胆汁の色範囲に関する情報を算出する（ステップＳ３０２）。具体的には、胆汁の構成成分であるビリルビンの吸収波長は、Ｂ値を形成する短波長の帯域にあるため、生体内管腔にある体液に胆汁が混じると、Ｂ値に対して、Ｒ値およびＧ値が高い黄色系の色になる。そこで、本実施の形態２では、生体内管腔における体液に胆汁が混在している画像を事前に収集しておき、胆汁が混在している場合のＨ（色相）範囲を推定する。即ち、胆汁色情報算出部３０２は、予め推定された胆汁が混在している場合のＨ範囲に基づいて、胆汁の色範囲を決定する。

【0043】

その後、体液有無色情報算出部３０３は、体液の有無による色範囲に関する情報を算出する（ステップＳ３０３）。カプセル型内視鏡では、多くの場合、生体内管腔に体液がある状態で画像が撮像されるが、軟性型内視鏡では、生体内管腔に体液がない状態で画像が撮像される。体液がない状態で撮像した画像は、生体内管腔を介して撮像した画像と比べて、赤黒い画像（赤くて、暗い画像）になる傾向がある。そこで、本実施の形態２では、体液がない状態で撮像した画像および体液を通して撮像した画像をそれぞれ事前に収集しておき、体液がない状態の場合のＨ（色相）範囲および体液がある状態の場合のＨ（色相）範囲およびＶ範囲（明るさ）それぞれを推定する。即ち、体液有無色情報算出部３０３は、予め推定された体液がない状態のＨ範囲およびＶ範囲に基づいて、体液がない状態の色範囲を決定し、かつ、予め推定された体液がある状態のＨ範囲およびＶ範囲に基づいて、体液がある状態の色範囲を決定する。

【0044】

続いて、薬剤色情報算出部３０４は、薬剤の色範囲に関する情報を算出する（ステップＳ３０４）。そこで、本実施の形態２では、検査対象者が服用する薬剤（例えば、下剤、蠕動促進剤およびブースタ等）が混在した画像を事前に収集しておき、薬剤が混在した場合のＨ（色相）範囲を推定する。即ち、薬剤色情報算出部３０４は、予め推定された薬剤が混入された状態のＨ（色相）範囲に基づいて、薬剤の色範囲を決定する。ステップＳ３０４の後、画像処理装置１は、図４のメインルーチンへ戻る。

【0045】

続いて、画像生成部１０は、ステップＳ２０１において取得した管腔内画像とステップＳ２０３において範囲決定部２０が決定した色範囲情報とに基づいて、色相および明るさを変化させた新たな画像を生成する（ステップＳ２０４）。例えば、画像生成部１０は、画像内全体、所定領域毎、所定画素毎に、色相および／または明るさを所定値毎に変化させた複数の画像を生成する。これにより、管腔内画像において発生し得る色味を加味しつつ、色または明るさを変化させた新たな画像を生成することができる。ステップＳ２０４の後、画像処理装置１は、本処理を終了する。

【0046】

以上説明した本発明の実施の形態２によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるので、適切な学習サンプルを生成することができる。

【0047】

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る画像処理装置は、上述した実施の形態２に係る演算部７ａの構成と異なる。以下においては、本実施の形態３に係る演算部の構成について説明する。なお、上述した実施の形態２に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

【0048】

〔演算部の構成〕
図６は、本実施の形態３に係る演算部の構成を示すブロック図である。図６に示す演算部７ｂは、画像生成部１０と、範囲決定部２０ｂと、学習部５０と、を備える。

【0049】

範囲決定部２０ｂは、上述した実施の形態２に係る管腔内体液情報算出部３０に加えて、管腔内画像の臓器種別を判別する臓器判別部４０と、を有する。

【0050】

学習部５０は、画像生成部１０によって生成された新たな画像に基づいて、対象認識を行うための認識基準を学習する。

【0051】

〔画像処理装置の処理〕
次に、本実施の形態３に係る画像処理装置１が実行する画像処理方法について説明する。図７は、画像処理装置１が実行する処理の概要を示すフローチャートである。図７のステップＳ４０１〜ステップＳ４０３は、上述した図４のステップＳ３０１〜ステップＳ３０３それぞれに対応する。

【0052】

ステップＳ４０４において、臓器判別部４０は、管腔内画像の臓器種別を判別する。臓器種別の判別方法としては、例えば特開２００６−２８８６１２号に記載されている管腔内画像のＲ値、Ｇ値およびＢ値それぞれの平均値に基づいて、臓器種別を判別する方法を用いる。具体的には、臓器判別部４０は、まず、事前に胃、小腸および大腸それぞれの画像内におけるＲ値、Ｇ値およびＢ値の平均値の数値を決定する。その後、臓器判別部４０は、管腔内画像におけるＲ値、Ｇ値およびＢ値それぞれの平均値が胃の数値範囲内であれば、判別対象の管腔内画像を胃と判別し、小腸の数値範囲内であれば、判別対象の管腔内画像を小腸と判別し、大腸の数値範囲内であれば、判別対象の管腔内画像を大腸と判別する。

【0053】

続いて、画像生成部１０は、範囲決定部２０ｂによって決定された色範囲に基づいて、色相および／または明るさを変化させた新たな画像を生成する（ステップＳ４０５）。具体的には、画像生成部１０は、画像内全体、所定領域毎、所定画素毎に、色相および／または明るさを所定値毎に変化させた複数の画像を生成する。この場合、画像生成部１０は、上述したステップＳ４０４において、臓器判別部４０によって管腔内画像の臓器種別が胃であると判別したとき、管腔内画像に胆汁が存在しないので、胆汁を含む体液の色範囲については、新たな画像を生成する際に用いる色範囲の生成対象から除外する。

【0054】

その後、学習部５０は、画像生成部１０によって生成された新たな画像および画像取得部２を介して取得したオリジナルの管腔内画像に基づいて、特徴量算出を行い、公知のＳＶＭ（アドコム・メディア株式会社：コンピュータビジョン最先端ガイド３：Ｐ９５〜Ｐ１０２参照）等により、認識基準を作成する（ステップＳ４０６）。ステップＳ４０６の後、画像処理装置１は、本処理を終了する。

【0055】

以上説明した本発明の実施の形態３によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるので、適切な学習結果を得ることができる。

【0056】

（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態４に係る画像処理装置は、上述した実施の形態３に係る演算部７ｂの構成と異なる。以下においては、本実施の形態４に係る演算部の構成について説明する。なお、上述した実施の形態３に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

【0057】

〔演算部の構成〕
図８は、本実施の形態４に係る演算部の構成を示すブロック図である。図８に示す演算部７ｃは、上述した実施の形態３に係る演算部７ｂの構成に加えて、学習部５０が学習した認識基準に基づいて、対象認識を行う認識部６０と、領域分割を行う領域分割部７０と、をさらに備える。このうち、領域分割部７０は、体液の情報に基づいて、領域を分割する体液領域分割部８０を有する。

【0058】

〔画像処理装置の処理〕
次に、本実施の形態４に係る画像処理装置１が実行する処理について説明する。図９は、本実施の形態４に係る画像処理装置１が実行するフローチャートである。図９において、ステップＳ５０１〜ステップＳ５０４は、上述した図７のステップＳ４０１〜ステップＳ４０４それぞれに対応する。

【0059】

ステップＳ５０５において、領域分割部７０は、体液の有無による領域分割を行う。具体的には、まず、領域分割部７０は、事前に体液ありの管腔内画像のＲ値、Ｇ値およびＢ値それぞれを決定し、かつ、体液なしの管腔内画像のＲ値、Ｇ値およびＢ値それぞれを決定する。その後、領域分割部７０は、管腔内画像における各画素のＲ値、Ｇ値およびＢ値が体液ありの数値範囲内であれば、体液ありと判別し、体液なしの数値範囲内であれば体液なしと判別する。そして、領域分割部７０は、体液あり、体液なしの情報に基づいて、公知のラベリング処理を行うことによって、領域を分割する。

【0060】

続いて、画像生成部１０は、ステップＳ５０３における範囲情報、ステップＳ５０４における臓器種別および上述したステップＳ５０５における領域分割結果に基づいて、色相および／または明るさを変化させた新たな画像を生成する（ステップＳ５０６）。具体的には、画像生成部１０は、上述したステップＳ５０５における領域分割結果を利用して、体液ありの領域のみ色相を所定値毎に変化させた新たな複数の画像を生成する。この場合、画像生成部１０は、ステップＳ５０４において、管腔内画像が胃であると判別されているとき、胆汁が存在しないので、胆汁を含む体液の色範囲について新たな画像の生成から除外する。

【0061】

その後、学習部５０は、画像生成部１０によって生成された新たな画像および画像取得部２を介して取得したオリジナルの管腔内画像に基づいて、特徴量算出を行い、公知のＳＶＭ等により、認識基準を作成する（ステップＳ５０７）。

【0062】

続いて、認識部６０は、学習部５０が作成した認識基準によって対象認識を行う（ステップＳ５０８）。ステップＳ５０８の後、画像処理装置１は、本処理を終了する。

【0063】

以上説明した本発明の実施の形態４によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるので、適切な学習結果を得ることができる。

【0064】

（その他の実施の形態）
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３およびこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。

【0065】

なお、本発明は、実施の形態１〜４に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

【符号の説明】

【0066】

１ 画像処理装置
２ 画像取得部
３ 入力部
４ 表示部
５ 記録部
６ 制御部
７,７ａ,７ｂ,７ｃ 演算部
１０ 画像生成部
２０,２０ａ,２０ｂ 範囲決定部
３０ 管腔内体液情報算出部
４０ 臓器判別部
５０ 学習部
５１ 画像処理プログラム
６０ 認識部
７０ 領域分割部
８０ 体液領域分割部
３０１ 血液色情報算出部
３０２ 胆汁色情報算出部
３０３ 体液有無色情報算出部
３０４ 薬剤色情報算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】