特許 6584090 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6584090

(24)【登録日】2019年9月13日

(45)【発行日】2019年10月2日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   A61B 1/045 20060101AFI20190919BHJP

   G06T 1/00 20060101ALI20190919BHJP

【ＦＩ】

   A61B1/045 618

   A61B1/045 622

   G06T1/00 510

【請求項の数】15

【全頁数】27

(21)【出願番号】特願2015-32714(P2015-32714)

(22)【出願日】2015年2月23日

(65)【公開番号】特開2016-154588(P2016-154588A)

(43)【公開日】2016年9月1日

【審査請求日】2018年2月8日

(73)【特許権者】

【識別番号】000113263

【氏名又は名称】ＨＯＹＡ株式会社

(74)【代理人】

【識別番号】100078880

【弁理士】

【氏名又は名称】松岡 修平

(74)【代理人】

【識別番号】100183760

【弁理士】

【氏名又は名称】山鹿 宗貴

(72)【発明者】

【氏名】池本 洋祐

(72)【発明者】

【氏名】水口 直志

(72)【発明者】

【氏名】小師 敦

(72)【発明者】

【氏名】橘 俊雄

(72)【発明者】

【氏名】太田 紀子

【審査官】 安田 明央

(56)【参考文献】

【文献】 特開２０１４−０１８３３２（ＪＰ，Ａ）

【文献】 特開２００６−０２５８０２（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０８４１３４（ＷＯ，Ａ１）

【文献】 特開２００３−２６００２７（ＪＰ，Ａ）

【文献】 特開２０１１−１７７４１９（ＪＰ，Ａ）

【文献】 特開２００３−０３３３２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ｇ０２Ｂ ２３／２４−２３／２６

(57)【特許請求の範囲】

【請求項1】

生体組織のカラー画像を表すカラー画像データを取得するカラー画像取得手段と、
前記カラー画像データに基づいて、前記カラー画像の各画素について病変部の画素か否かの判定をする病変判定手段と、
前記判定の結果に基づいて、前記カラー画像上に印を付すマーキング手段と、
を備え、
前記病変判定手段は、
前記カラー画像の画素毎に前記生体組織の病変の重症度を示すスコアを要素に含むスコアテーブルを生成するスコアテーブル生成手段を有し、
前記印は、
前記病変部の位置及び前記重症度を示す印であって、背景の前記カラー画像が透ける印であり、
前記マーキング手段は、
前記カラー画像内に処理の対象領域であるマスクを設定し、
前記マスク内の前記スコアの代表値を計算し、
前記代表値に基づいて前記マスクに前記印を付す、
画像処理装置。

【請求項2】

前記マーキング手段が、
所定の初期サイズのマスクを設定し、
前記初期サイズのマスクについて前記代表値を計算し、
前記代表値に応じて前記マスクの大きさを変更し、
大きさを変更した前記マスクに内接するように前記印を付す、
請求項１に記載の画像処理装置。

【請求項3】

前記初期サイズが、前記マスクの最小サイズである、
請求項２に記載の画像処理装置。

【請求項4】

前記マーキング手段が、
前記代表値に応じた数の前記印を前記マスク内に付す、
請求項１に記載の画像処理装置。

【請求項5】

前記マーキング手段が、
前記カラー画像内で前記マスクを走査させながら前記カラー画像上に前記印を付す、
請求項１から請求項４のいずれか一項に記載の画像処理装置。

【請求項6】

前記マーキング手段が、
設定済みの他の前記マスクと重ならないように前記マスクを設定する、
請求項５に記載の画像処理装置。

【請求項7】

前記代表値が、相加平均、加重平均、中央値、最頻値及び二乗平均平方根のいずれかである、
請求項１から請求項６のいずれか一項に記載の画像処理装置。

【請求項8】

前記スコアテーブル生成手段が、
前記カラー画像データの色空間を、輝度又は明度を表す１つの座標と、色の質を表わす２つの座標と、を有する色空間に変換する色空間変換手段と、
前記カラー画像データの各画素の色の質に基づいて、各画素のスコアを計算するスコア計算手段と、
を備える、
請求項１から請求項７のいずれか一項に記載の画像処理装置。

【請求項9】

前記スコアテーブル生成手段が、
病変部に特徴的な画素値の範囲の境界領域において色の質のコントラストを高める色彩強調処理を行う色彩強調手段を更に備え、
前記スコア計算手段が、
前記色彩強調処理後の画素値に基づいて各画素のスコアを計算する、
請求項８に記載の画像処理装置。

【請求項10】

前記スコア計算手段が、
色相−彩度空間又は色度空間における基準点との距離に基づいて各画素のスコアを計算する、
請求項８又は請求項９に記載の画像処理装置。

【請求項11】

前記病変部が炎症部であり、
前記基準点が血液の色である、
請求項１０に記載の画像処理装置。

【請求項12】

前記印が記号である、
請求項１から請求項１１のいずれか一項に記載の画像処理装置。

【請求項13】

前記印が透過率を有する色である、
請求項１から請求項１２のいずれか一項に記載の画像処理装置。

【請求項14】

前記印が前記重症度の等高線である、
請求項１に記載の画像処理装置。

【請求項15】

前記カラー画像が電子内視鏡画像である、
請求項１から請求項１４のいずれか一項に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体組織の画像を処理する画像処理装置に関する。

【背景技術】

【0002】

一般に、生体組織の病変部は正常な部位とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織とわずかに色の異なる病変部の識別も可能になってきている。しかしながら、術者が内視鏡画像上のわずかな色の相違により正常組織から病変部を正確に識別できるようになるには、熟練者の指導下で長期間のトレーニングを受ける必要があった。また、熟練した術者であっても、わずかな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求された。

【0003】

そこで、病変部の識別を容易にするために、白色光を使用して撮像した内視鏡画像データに対して、色情報に基づいて被写体が病変部か否かを判定し、病変部と判定された画素の色を変更する処理を行う機能を備えた電子内視鏡装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−１８３３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の電子内視鏡装置が生成するマーキング画像は、病変部と疑われる箇所が明確に色分けされるが、診断に必要な病変部の像の情報が損なわれてしまうため、診断の際に通常観察画像と丁寧に見比べる必要があり、診断しにくいという不便があった。

【0006】

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、病変部の像の情報を十分に維持しつつ、病変部と疑われる箇所を明示可能な画像処理装置を提供することである。

【課題を解決するための手段】

【0007】

本発明の一実施形態によれば、生体組織のカラー画像を表すカラー画像データを取得するカラー画像取得手段と、カラー画像データに基づいて、カラー画像の各画素について病変部の画素か否かの判定をする病変判定手段と、判定の結果に基づいて、カラー画像上に病変部の位置を示す印を付すマーキング手段と、を備え、印は、背景のカラー画像が透ける印である、画像処理装置が提供される。

【0008】

また、上記の画像処理装置において、病変判定手段が、カラー画像の画素毎に生体組織の病変の重症度を示すスコアを要素に含むスコアテーブルを生成するスコアテーブル生成手段を有し、マーキング手段が、スコアテーブルに基づいて、カラー画像上に病変部の位置及び重症度を示す前記印を付す構成としてもよい。

【0009】

この構成によれば、カラー画像上に付される印から、病変の重症度に関する情報も得られるため、客観的なデータに基づく高度な診断が可能になる。

【0010】

また、上記の画像処理装置において、マーキング手段が、カラー画像内に処理の対象領域であるマスクを設定し、マスク内のスコアの代表値を計算し、代表値に基づいてマスクに印を付す構成としてもよい。

【0011】

また、上記の画像処理装置において、マーキング手段が、所定の初期サイズのマスクを設定し、初期サイズのマスクについて代表値を計算し、代表値に応じてマスクの大きさを変更し、大きさを変更したマスクに内接するように印を付す構成としてもよい。

【0012】

この構成によれば、病変の重症度が印の大きさによって示されるため、印が付された画像から重症度を直観的に把握することができる。

【0013】

また、上記の画像処理装置において、初期サイズが、マスクの最小サイズである構成としてもよい。

【0014】

また、上記の画像処理装置において、マーキング手段が、代表値に応じた数の印をマスク内に付す構成としてもよい。

【0015】

この構成によれば、病変の重症度が印の密度によって示されるため、印が付された画像から重症度を直観的に把握することができる。

【0016】

また、上記の画像処理装置において、マーキング手段が、カラー画像内でマスクを走査させながらカラー画像上に印を付す構成としてもよい。

【0017】

また、上記の画像処理装置において、マーキング手段が、設定済みの他のマスクと重ならないようにマスクを設定する構成としてもよい。

【0018】

この構成によれば、既に付された印の情報が失われることがなく、印の情報の精度が維持される。

【0019】

また、上記の画像処理装置において、代表値が、相加平均、加重平均、中央値、最頻値及び二乗平均平方根のいずれかである構成としてもよい。

【0020】

また、上記の画像処理装置において、スコアテーブルを生成する手段が、カラー画像データの色空間を、輝度又は明度を表す１つの座標と、色の質を表わす２つの座標と、を有する色空間に変換する色空間変換手段と、カラー画像データの各画素の色の質に基づいて、各画素のスコアを計算するスコア計算手段と、を備える構成としてもよい。

【0021】

また、上記の画像処理装置において、スコアテーブルを生成する手段が、病変部に特徴的な画素値の範囲の境界領域において色の質のコントラストを高める色彩強調処理を行う色彩強調手段を更に備え、スコア計算手段が、色彩強調処理後の画素値に基づいて各画素のスコアを計算する構成としてもよい。

【0022】

また、上記の画像処理装置において、スコア計算手段が、色相−彩度空間又は色度空間における基準点との距離に基づいて各画素のスコアを計算する構成としてもよい。

【0023】

また、上記の画像処理装置において、病変部が炎症部であり、基準点が血液の色である構成としてもよい。

【0024】

また、上記の画像処理装置において、印が記号である構成としてもよい。

【0025】

また、上記の画像処理装置において、印が透過率を有する色である構成としてもよい。

【0026】

また、上記の画像処理装置において、印が重症度の等高線である構成としてもよい。

【0027】

また、上記の画像処理装置において、カラー画像が電子内視鏡画像である構成としてもよい。

【発明の効果】

【0028】

本発明の一実施形態によれば、生体組織のカラー画像が透ける印が付され、印を付す前のカラー画像を参照しなくても生体組織の形状やテクスチャを把握することができるため、画像診断をより容易且つ正確に行うことが可能になる。

【図面の簡単な説明】

【0029】

【図1】本発明の実施形態に係る電子内視鏡装置の概略構成を示すブロック図である。

【図2】本発明の実施形態に係る電子内視鏡装置の画像処理に関する回路の概略構成を示したブロック図である。

【図3】画像メモリの記憶領域の概略構成を示す図である。

【図4】画像処理回路が行う処理の手順を示すフローチャートである。

【図5】ＴＥ処理に使用されるゲイン曲線の一例である。

【図6】有効画素判定処理の手順を示すフローチャートである。

【図7】病変判定処理の手順を示すフローチャートである。

【図8】生体組織像の画素値をＨＳ座標空間にプロットした散布図である。

【図9】スコア計算処理の手順を示すフローチャートである。

【図10】色相距離、彩度距離と相関値との関係を示すグラフである。

【図11】マーキング処理（マスクの走査）を説明する図である。

【図12】マスクの構成を示す図である。

【図13】マーキング処理の手順を示すフローチャートである。

【図14】マーキング処理の具体例を説明する図である。

【図15】マーキング処理の具体例を説明する図である。

【図16】マーキング処理の具体例を説明する図である。

【図17】マーキング処理の具体例を説明する図である。

【図18】マーキング処理の具体例を説明する図である。

【図19】マーキング処理の具体例を説明する図である。

【図20】マーキング処理の具体例を説明する図である。

【図21】表示画面の一例である。

【図22】本発明の第１実施形態の第１変形例のマーキング画像である。

【図23】本発明の第１実施形態の第２変形例のマーキング画像である。

【図24】本発明の第２実施形態のマーキング処理の手順を示すフローチャートである。

【図25】画像混合処理の効果を説明する図である。

【図26】本発明の第３実施形態における等高線の作成方法を説明する図である。

【発明を実施するための形態】

【0030】

以下、本発明の画像処理装置の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。

【0031】

＜第１実施形態＞
［電子内視鏡装置１全体の構成］
図１は、本発明の第１実施形態の電子内視鏡装置１の構成を示すブロック図である。図１に示されるように、電子内視鏡装置１は、電子スコープ１００、プロセッサ２００及びモニタ９００を備えている。

【0032】

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡装置１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡装置１の各動作及び各動作のためのパラメーターを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整する同期信号を電子内視鏡装置１内の各回路に出力する。

【0033】

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ広帯域光（又は少なくとも可視光領域を含む白色光）である。

【0034】

ランプ２０８より射出された照射光Ｌは、集光レンズ２１０によりＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。

【0035】

ＬＣＢ１０２内に入射された照射光Ｌは、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体に照射される。照射光Ｌにより照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

【0036】

固体撮像素子１０８は、補色市松色差線順次方式の単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上で結像した被写体の光学像を撮像して、アナログ撮像信号を出力する。具体的には、固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの色信号を生成し、生成された垂直方向に隣接する２つの画素の色信号を加算し混合して得た走査線を順次出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。

【0037】

電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、上記の走査線からなるアナログ撮像信号がフィールド周期で固体撮像素子１０８より入力される。なお、以降の説明において「フィールド」は「フレーム」に置き替えてもよい。本実施形態において、フィールド周期、フレーム周期はそれぞれ、１／６０秒、１／３０秒である。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力されるアナログ撮像信号に対して所定の処理を施してプロセッサ２００の画像処理回路２２０に出力する。

【0038】

ドライバ信号処理回路１１０はまた、メモリ１２０にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１２０に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフィールドレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１２０より読み出された固有情報をシステムコントローラ２０２に出力する。

【0039】

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

【0040】

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、同期信号を生成する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給される同期信号に従って、プロセッサ２００が生成するビデオ信号のフィールドレートに同期したタイミングで固体撮像素子１０８を駆動制御する。

【0041】

画像処理回路２２０は、システムコントローラ２０２による制御の下、電子スコープ１００から出力される撮像信号に基づいて画像データを生成する。また、画像処理回路２２０は、生成された画像データを使用してモニタ表示用の画面データを生成し、この画面データを所定のビデオ・フォーマットのビデオ信号に変換して出力する。ビデオ信号はモニタ９００に入力され、被写体のカラー画像がモニタ９００の表示画面に表示される。

【0042】

図２は、電子内視鏡装置１の画像処理に関する回路の概略構成を示したブロック図である。

【0043】

ドライバ信号処理回路１１０は、駆動回路１１２とＡＦＥ（Analog Front End）１１４を備えている。駆動回路１１２は、同期信号に基づいて固体撮像素子１０８の駆動信号を生成する。ＡＦＥ１１４は、固体撮像素子１０８から出力されるアナログ撮像信号に対して、ノイズ除去、信号増幅・ゲイン補正及びＡ／Ｄ変換を行い、デジタル撮像信号を出力する。なお、本実施形態においてＡＦＥ１１４が行う処理の全部又は一部を固体撮像素子１０８又は画像処理回路２２０が行う構成としてもよい。

【0044】

画像処理回路２２０は、基本処理部２２０ａ、出力回路２２０ｂ、ＴＥ（Tone Enhancement：トーン強調）処理部２２１、有効画素判定部２２２、色空間変換部２２３、病変判定部２２４、スコア計算部２２５、マーキング処理部２２６、画像メモリ２２７、表示画面生成部２２８及びメモリ２２９を備えている。画像処理回路２２０の各部が行う処理については後述する。

【0045】

図３（ａ）は、画像メモリ２２７が備える記憶領域の概略構成を示す図である。本実施形態の画像メモリ２２７には、３つの記憶領域Ｐ_ｎ、Ｐ_ｅ、Ｐ_ｍが設けられている。記憶領域Ｐ_ｎは、基本処理部２２０ａが生成する通常観察画像データＮ（通常観察画像ＮＰを表す画像データ）を記憶する領域である。記憶領域Ｐ_ｅは、ＴＥ処理部２２１が生成するトーン強調画像データＥ（トーン強調画像ＥＰを表す画像データ）を記憶する領域である。記憶領域Ｐ_ｍは、マーキング処理部２２６が生成するマーキング画像データＭ（マーキング画像ＭＰを表す画像データ）を記憶する領域である。

【0046】

また、図２に示されるように、メモリ２２９には、フラグテーブルＦＴ、スコアテーブルＳＴ、マスクテーブルＭＴ、色相相関値テーブルＨＣＴ及び彩度相関値テーブルＳＣＴが格納される。フラグテーブルＦＴ及びスコアテーブルＳＴは、それぞれ通常観察画像データＮの各画素（ｘ，ｙ）に関する解析結果を示すフラグＦ（ｘ，ｙ）、スコアＳｃ（ｘ，ｙ）から構成された数値テーブルである。具体的には、フラグＦ（ｘ，ｙ）は対応する画素（ｘ，ｙ）に写された組織の病変の有無を示すパラメーターであり、スコアＳｃ（ｘ，ｙ）はその病変の重症度を示すパラメーターである。色相相関値テーブルＨＣＴ、彩度相関値テーブルＳＣＴ及びマスクテーブルＭＴについては後述する。

【0047】

［基本処理Ｓ１］
次に、画像処理回路２２０が行う処理について説明する。
図４は、画像処理回路２２０が行う処理の手順を示すフローチャートである。ＡＦＥ１１４から出力されたデジタル信号は、先ず基本処理部２２０ａによって一般的な信号処理（基本処理Ｓ１）が行われて、通常観察画像データＮが生成される。

【0048】

基本処理Ｓ１には、ＡＦＥ１１４から出力されたデジタル撮像信号を輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒに変換する処理、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒから原色信号Ｒ、Ｇ、Ｂを分離する原色分離処理、オフセット成分を除去するクランプ処理、欠陥画素の画素値を周囲の画素の画素値を用いて補正する欠陥補正処理、単色の画素値からなる撮像データ（ＲＡＷデータ）をフルカラーの画素値からなる画像データに変換するデモザイク処理（補間処理）、カラーマトリクスを用いて撮像素子の分光特性を補正するリニアマトリクス処理、照明光のスペクトル特性を補正するホワイトバランス処理、空間周波数特性の劣化を補償する輪郭補正等が含まれる。

【0049】

なお、本実施形態において基本処理部２２０ａが行う処理の全部又は一部をドライバ信号処理回路１１０又は固体撮像素子１０８が行う構成としてもよい。

【0050】

基本処理部２２０ａによって生成された通常観察画像データＮは、ＴＥ処理部２２１に入力されると共に、画像メモリ２２７の記憶領域Ｐ_ｎに記憶される。

【0051】

［動作モード判定処理Ｓ２］
次に、画像解析モードに設定されているか否かが判断される（Ｓ２）。本発明の実施形態に係る画像解析モードは、画像データの各画素について色情報を解析し、色情報の解析結果から所定の判定基準に基づいて病変部が写された画素（以下「病変画素」という。）であるか否かを判定し、病変画素を識別表示する動作モードである。判定する病変の種類は、検査内容に応じて選択することができる。以下に説明する例は、炎症性腸疾患（IBD）の病変である炎症（浮腫や易出血性を含む赤変病変）の観察像に特有の色域の画素を抽出して、識別表示するものである。

【0052】

なお、本実施形態の電子内視鏡装置１は、画像解析モードと通常観察モードの２つの動作モードで動作するように構成されている。動作モードは、電子スコープ１００の操作部１３０やプロセッサ２００の操作パネル２１４に対するユーザ操作によって切り換えられる。通常観察モードに設定されている場合は（Ｓ２：Ｎｏ）、処理はＳ９へ進む。

【0053】

［ＴＥ（トーン強調）処理Ｓ３］
画像解析モードが選択されている場合は（Ｓ２：Ｙｅｓ）、次にＴＥ処理部２２１によるＴＥ処理Ｓ３が行われる。ＴＥ処理Ｓ３は、病変の判定精度を上げるために、通常観察画像データＮの各原色信号Ｒ，Ｇ，Ｂに対して非線形なゲイン（利得）を与えるゲイン調整を行い、判定対象の病変に特有の色域（特にその境界部）付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。具体的には、ＴＥ処理Ｓ３では、各原色信号Ｒ，Ｇ，Ｂに対して、図５に示すような非線形のゲインを与えて原色信号Ｒ´，Ｇ´，Ｂ´（トーン強調画像データＥ）を取得する処理が行われる。例えば、図５のゲイン曲線は、潰瘍に特徴的な色域の境界領域Ｒ_Ａから、炎症に特徴的な色域の境界領域Ｒ_Ｂにかけて、傾きが急峻になっている。このようなゲイン曲線に従ってゲインを与えることにより、境界領域Ｒ_Ａから境界領域Ｒ_Ｂにかけて原色信号Ｒ´（原色信号Ｒに対してＴＥ処理Ｓ３を施した信号）の実質的なダイナミックレンジを広げることができ、より精密な閾値判定が可能になる。

【0054】

なお、ＴＥ処理Ｓ３により、炎症部は赤く、潰瘍部は白く、正常部は緑色に色味が変化する。そのため、ＴＥ処理Ｓ３によって生成されたトーン強調画像データＥをモニタ９００に表示した場合、ＴＥ処理Ｓ３前の通常観察画像データＮを表示した場合よりも病変部（炎症部や潰瘍部）を容易に視認することができる。なお、上記のＴＥ処理Ｓ３は、本発明に適用可能な色彩強調処理の一例であり、ＴＥ処理Ｓ３に替えて、色の質、具体的には色相又は彩度（あるいは色度）のコントラストを高める他の種類の色彩強調処理を使用してもよい。

【0055】

［有効画素判定処理Ｓ４］
ＴＥ処理Ｓ３が完了すると、次にトーン強調画像データＥに対して有効画素判定部２２２による有効画素判定処理Ｓ４が行われる。なお、ＴＥ処理Ｓ３を省略して、通常観察画像データＮに対して有効画素判定処理Ｓ４を行うこともできる。

【0056】

図６は、有効画素判定処理Ｓ４の手順を示すフローチャートである。有効画素判定処理Ｓ４は、画素値が画像解析に適したものであるか否かを判定する処理であり、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。有効画素判定処理Ｓ４では、まず各画素（ｘ，ｙ）について、トーン強調画像データＥの原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）から、下記の数式１により補正輝度ｉｎｔ（ｘ，ｙ）が計算される（Ｓ４１）。

【0057】

【数1】

【0058】

なお、計算した補正輝度ｉｎｔ（ｘ，ｙ）の値は、次の適正露出判定処理Ｓ４２に使用される。また、数式１から分かるように、補正輝度ｉｎｔ（ｘ，ｙ）は、原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の単純平均ではなく、ヒト（術者）の比視感度特性に基づいた加重平均として求められる。

【0059】

次に、各画素（ｘ，ｙ）について、処理Ｓ４１において計算したトーン強調画像データＥの補正輝度ｉｎｔ（ｘ，ｙ）及び原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）に基づいて、画像解析に適した露出レベルであるか否かを判定する適正露出判定処理Ｓ４２が行われる。適正露出判定処理Ｓ４２では、次の２つの条件（数式２、数式３）の少なくとも一方（或いは、両方）を満たす場合に、適正露出（Ｓ４２：Ｙｅｓ）と判定する。なお、数式２により補正輝度ｉｎｔ（ｘ，ｙ）（全体の光量）の上限値が規定され、数式３により各原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の下限値が規定されている。

【0060】

【数2】

【0061】

【数3】

【0062】

画素（ｘ，ｙ）について、数式２又は数式３（或いは、数式２及び数式３）を満たし、適正露出と判定されると（Ｓ４２：Ｙｅｓ）、有効画素判定部２２２は、メモリ２２９に格納されているフラグテーブルＦＴの画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値を「１」に書き換える（Ｓ４３）。

【0063】

なお、フラグＦ（ｘ，ｙ）は、０〜２のいずれかのフラグ値をとる。各フラグ値の定義は以下の通りである。
０：画素データ無効
１：正常又は未判定（画素データ有効）
２：病変（炎症）

【0064】

また、適正露出判定処理Ｓ４２において、数式２、数式３のいずれの条件も（或いは、いずれかの条件を）満たさず、露出不適正と判定されると（Ｓ４２：Ｎｏ）、有効画素判定部２２２は、フラグテーブルＦＴのフラグＦ（ｘ，ｙ）の値を「０」に書き換える（Ｓ４４）。

【0065】

次に、処理Ｓ４５では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ４１〜Ｓ４５が繰り返される。

【0066】

［色空間変換処理Ｓ５］
有効画素判定処理Ｓ４が完了すると、次にトーン強調画像データＥに対して色空間変換部２２３により色空間変換処理Ｓ５が行われる。色空間変換処理Ｓ５は、ＲＧＢ３原色で定義されるＲＧＢ空間の画素値を、色相（Hue）・彩度（Saturation）・輝度（Intensity）の３要素で定義されるＨＳＩ（Hue-Saturation-Intensity）空間の画素値に変換する処理である。具体的には、色空間変換処理Ｓ５において、トーン強調画像データＥの各画素（ｘ，ｙ）の原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）が、色相Ｈ（ｘ，ｙ），彩度Ｓ（ｘ，ｙ），輝度Ｉ（ｘ，ｙ）に変換される。

【0067】

また、露出が不足又は過剰な画素（ｘ，ｙ）のデータは精度が低く、解析結果の信頼度を下げてしまう。そのため、色空間変換処理Ｓ５は、フラグＦ（ｘ，ｙ）の値が「１」に設定された（すなわち、上述の有効画素判定処理Ｓ４において適正露出と判定された）画素（ｘ，ｙ）についてのみ行われる。

【0068】

色空間変換部２２３によって生成された各画素（ｘ，ｙ）の色相Ｈ（ｘ，ｙ）、彩度Ｓ（ｘ，ｙ）及び輝度Ｉ（ｘ，ｙ）からなる判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｉ（ｘ，ｙ）｝は、病変判定部２２４に入力される。

【0069】

［病変判定処理Ｓ６］
色空間変換処理Ｓ５が完了すると、次に病変判定部２２４により判定用画像データＪを用いた病変判定処理Ｓ６が行われる。病変判定処理Ｓ６は、内視鏡画像の各画素（ｘ，ｙ）について、判定用画像データＪがＨＳ空間（色相−彩度空間）上の後述する領域α、β（図８）のいずれにプロットされるかによって、その画素に写された生体組織の状態（炎症部であるか否か）を判定する処理である。なお、ＨＳ空間は、色度空間と同様に、色の質（明るさ・輝度を除いた色の要素）を表す空間である。例えば、CIE 1976 L*a*b*色空間等の他の色空間上で画像解析を行う場合には、病変判定部２２４は色度空間（例えばa*b*空間）上で行われる。

【0070】

図７は、病変判定処理Ｓ６の手順を示すフローチャートである。病変判定処理Ｓ６は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。病変判定処理Ｓ６では、まず、フラグテーブルＦＴを参照して、各画素（ｘ，ｙ）のデータが有効であるか否かを判断する（Ｓ６１）。フラグＦ（ｘ，ｙ）の値が「１」（画素データ有効）であれば、次に炎症判定処理Ｓ６２を行う。また、フラグＦ（ｘ，ｙ）の値が「０」（画素データ無効）であれば、炎症判定処理Ｓ６２を行わずに、処理Ｓ６４へ進む。

【0071】

ここで、病変判定処理Ｓ６において行われる炎症判定処理Ｓ６２について説明する。図８は、複数の炎症性腸疾患患者の内視鏡画像データから取得した判定用画像データＪをＨＳ空間上にプロットした散布図である。

【0072】

図８の散布図は、右側下方の破線で囲まれた領域βと、それ以外の領域αとに区分される。本発明者の研究により、炎症性腸疾患の内視鏡診断に熟練した医師によって炎症部と判断された部位の画素の大半が領域βにプロットされ、非炎症部と判断された部位の画素の大半が領域αにプロットされることが判明した。このことは、生体組織を撮像した内視鏡観察画像の色相（色合い）と彩度（鮮やかさ）の２つの情報により、生体組織の状態（炎症の有無）を十分な確度で判別できることを意味している。

【0073】

炎症判定処理Ｓ６２においては、各画素（ｘ，ｙ）の判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が、図８の領域βにプロットされるか否かが判定される。具体的には、判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が、以下の数式４及び数式５の両方を満たす場合に、領域βにプロットされる（すなわち炎症部の画素と判定される）。また、判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝は、数式４及び数式５の少なくとも一方を満たさない場合に、領域αにプロットされる（すなわち炎症部の画素ではないと判定される）。なお、δ_Ｓ１、δ_Ｈ１及びδ_Ｈ２は、術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ（感度）等を適宜調整することができる。

【0074】

【数4】

【0075】

【数5】

【0076】

画素（ｘ，ｙ）の判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が領域βにプロットされる場合は（Ｓ６２：Ｙｅｓ）、画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値が「２」（炎症）に書き換えられ（Ｓ６３）、処理Ｓ６４に進む。また、判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が領域βにプロットされない場合は（Ｓ６２：Ｎｏ）、フラグＦ（ｘ，ｙ）は書き換えられずに、処理Ｓ６４に進む。

【0077】

処理Ｓ６４では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ６１〜Ｓ６４が繰り返される。

【0078】

［スコア計算処理：Ｓ７］
病変判定処理Ｓ６が完了すると、次にスコア計算処理Ｓ７が行われる。スコア計算処理Ｓ７は、判定用画像データＪの画素値に基づいて、病変部の重症度の評価値であるスコアＳｃ（ｘ，ｙ）を計算する処理である。スコア計算処理Ｓ７は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。なお、以下に説明するスコア計算のアルゴリズムは一例であり、本発明は様々なアルゴリズムにより算出したスコアの画面表示に適用することができる。

【0079】

［スコア計算の原理］
ここで、本実施形態のスコア計算の原理について簡単に説明する。炎症部は、血管の拡張及び血漿成分の血管外への漏出等を伴い、症状が進行するほど、表面の正常粘膜が脱落するため、血液の色に近付くことが知られている。そのため、炎症部の色と血液の色との相関の程度（後述する相関値ＣＶ）が、炎症部の重症度を示す良い指標となる。本実施形態では、各画素（ｘ，ｙ）の判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝と血液の色（色相、彩度）との相関値ＣＶ（ｘ，ｙ）を計算して、これを炎症部の重症度を示すスコアＳｃ（ｘ，ｙ）として使用する。

【0080】

［病変部の判定：Ｓ７１］
図９は、スコア計算処理Ｓ７の手順を示すフローチャートである。スコア計算処理Ｓ７では、まずフラグテーブルＦＴが読み出され、画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値が「２」（炎症）であるか否かが判断される（Ｓ７１）。

【0081】

フラグＦ（ｘ，ｙ）の値が「２」（炎症）である場合、すなわち画素（ｘ，ｙ）が病変画素である場合は（Ｓ７１：Ｙｅｓ）、処理はＳ７２へ進む。また、画素（ｘ，ｙ）が病変画素でない場合は（Ｓ７１：Ｎｏ）、処理はＳ７９へ進む。

【0082】

［彩度の補正：Ｓ７２］
血液や血液を含有する生体組織の画像の彩度は、輝度に依存することが知られている。具体的には、輝度と彩度は負の相関を有し、明るいほど彩度が低下する。Ｓ７２では、本発明者が開発した以下の補正式（数式６）を使用して、判定用画像データＪ（ｘ，ｙ）の輝度Ｉ（ｘ，ｙ）による彩度Ｓ（ｘ，ｙ）の変動が補正される。この補正により、スコア計算の精度を高めることができる。

【0083】

【数6】

但し、
I_corr.(x,y)：判定用画像データJの補正後の輝度
S_corr.(x,y)：判定用画像データJの補正後の彩度
I_ref：基準値となる血液サンプルデータの輝度
S_ref：基準値となる血液サンプルデータの彩度
θ：血液サンプルデータの輝度値と彩度値との相関係数（cosθ）を与える角度
なお、血液サンプルの彩度と輝度の相関係数（実測値）は−０．８６であり、θ＝１４９．３２（ｄｅｇ）を使用した。

【0084】

［色相距離Ｄ_ＨＵＥの計算：Ｓ７３］
次に、数式７により、色相距離Ｄ_ＨＵＥ（ｘ，ｙ）が計算される（Ｓ７３）。色相距離Ｄ_ＨＵＥは、血液サンプルデータの色相Ｈ_refを基準とする、判定用画像データＪ（ｘ，ｙ）の色相の相対値である。

【0085】

【数7】

【0086】

［色相相関値ＨＣＶの決定：Ｓ７４］
次に、色相距離Ｄ_ＨＵＥ（ｘ，ｙ）から色相相関値ＨＣＶ（ｘ，ｙ）が決定される（Ｓ７４）。色相相関値ＨＣＶ（ｘ，ｙ）は、炎症部の重症度と強い相関を有するパラメーターである。図１０（ａ）は、色相距離Ｄ_ＨＵＥと色相相関値ＨＣＶとの関係を図示したグラフである。色相距離Ｄ_ＨＵＥは、±３０°以内の範囲（以下「色相近似範囲Ｒ_１１」という。）において、炎症部の重症度と強い相関を有し、それ以外の範囲（以下「色相近似外範囲Ｒ_１２」という。）においては殆ど相関を有しない。そのため、本実施形態の色相相関値ＨＣＶ（ｘ，ｙ）は、色相近似外範囲Ｒ_１２においては最小値の０．０に設定され、色相近似範囲Ｒ_１１においては色相距離Ｄ_ＨＵＥ（ｘ，ｙ）が０°に近づくほど線形的に増加するように設定されている。また、色相相関値ＨＣＶ（ｘ，ｙ）は、最小値が０．０、最大値が１．０となるように規格化されている。

【0087】

図１０（ａ）に示す色相距離Ｄ_ＨＵＥと色相相関値ＨＣＶとの関係は、色相相関値テーブルＨＣＴとしてメモリ２２９に格納されている。色相相関値テーブルＨＣＴを参照することにより、色相距離Ｄ_ＨＵＥ（ｘ，ｙ）に対応する色相相関値ＨＣＶ（ｘ，ｙ）が取得される。

【0088】

［彩度距離Ｄ_ＳＡＴの計算：Ｓ７５］
次に、数式８により、彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）が計算される（Ｓ７５）。彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）は、血液サンプルデータの彩度Ｓ_refを基準とする、判定用画像データＪ（ｘ，ｙ）の彩度の相対値である。

【0089】

【数8】

【0090】

［彩度相関値ＳＣＶの決定：Ｓ７６］
次に、彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）から彩度相関値ＳＣＶ（ｘ，ｙ）が決定される（Ｓ７６）。彩度相関値ＳＣＶ（ｘ，ｙ）も、炎症部の重症度と強い相関を有するパラメーターである。図１０（ｂ）は、彩度距離Ｄ_ＳＡＴと彩度相関値ＳＣＶとの関係を図示したグラフである。彩度距離Ｄ_ＳＡＴは、所定値以上の負の範囲（以下、「彩度近似範囲Ｒ_２２」という。）において、炎症部の重症度と強い相関を有し、負の所定値以下の範囲（以下「彩度近似外範囲Ｒ_２３」という。）においては殆ど相関を有しない。また、彩度距離Ｄ_ＳＡＴがゼロ以上の範囲、すなわち、病変画素の彩度が血液サンプルデータの彩度Ｓ_ref以上となる範囲（以下「彩度一致範囲Ｒ_２１」という。）においては、重症度が極めて高いと考えられる。そのため、本実施形態の彩度相関値ＳＣＶ（ｘ，ｙ）は、彩度一致範囲Ｒ_２１において最大値の１．０に設定され、彩度近似外範囲Ｒ_２３において最小値の０．０に設定され、彩度近似範囲Ｒ_２２において線形的に増加するように設定されている。また、彩度相関値ＳＣＶ（ｘ，ｙ）も、最小値が０．０、最大値が１．０となるように規格化された値である。

【0091】

図１０（ｂ）に示す彩度距離Ｄ_ＳＡＴと彩度相関値ＳＣＶとの関係は、彩度相関値テーブルＳＣＴとしてメモリ２２９に格納されている。彩度相関値テーブルＳＣＴを参照することにより、彩度距離Ｄ_ＳＡＴ（ｘ，ｙ）に対応する彩度相関値ＳＣＶ（ｘ，ｙ）が取得される。

【0092】

［相関値ＣＶの計算：Ｓ７７］
次に、色相相関値ＨＣＶ（ｘ，ｙ）と彩度相関値ＳＣＶ（ｘ，ｙ）との乗算により、病変画素（ｘ，ｙ）の色と血液の色との相関値ＣＶ（ｘ，ｙ）を得る。なお、相関値ＣＶ（ｘ，ｙ）も、最小値が０．０、最大値が１．０となるように規格化された値となる。また、相関値ＣＶ（ｘ，ｙ）は、０．１ポイント刻みで１１段階に区分される。

【0093】

［スコアＳｃ更新：Ｓ７８］
また、相関値ＣＶ（ｘ，ｙ）は炎症の重症度の良い指標となるため、スコアテーブルＳＴのスコアＳｃ（ｘ，ｙ）の値が相関値ＣＶ（ｘ，ｙ）によって書き換えられる（Ｓ７８）。

【0094】

［スコアＳｃ更新：Ｓ７９］
また、画素（ｘ，ｙ）が病変画素でない場合は（Ｓ７１：Ｎｏ）、上述した相関値ＣＶ（ｘ，ｙ）の計算を行わずに、スコアテーブルＳＴのスコアＳｃ（ｘ，ｙ）の値が「０」に書き換えられる（Ｓ７９）。これにより、少ない計算量で全ての画素（ｘ，ｙ）に対してスコアＳｃ（ｘ，ｙ）を与えることができる。

【0095】

処理Ｓ８０では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ７１〜Ｓ８０が繰り返される。

【0096】

［マーキング処理：Ｓ８］
スコア計算処理Ｓ７が完了すると、次にマーキング処理部２２６によりマーキング処理Ｓ８が行われる。マーキング処理Ｓ８は、病変部を容易に識別できるように、通常観察画像ＮＰに対して病変画素が分布する画像領域に印を付す処理である。具体的には、本実施形態のマーキング処理８では、病変画素が分布する画像領域に、その画像領域における重症度に応じた大きさの記号（例えば、図１６における「×」印３３０）が付される。

【0097】

図１１は、マーキング処理Ｓ８の進め方（マスク３１０の走査）を説明する図である。本実施形態のマーキング処理Ｓ８は、通常観察画像ＮＰ（及びスコアテーブルＳＴ）内に、所定サイズの画像領域であるマスク３１０を設定し、マスク３１０を順次移動させながら、マスク３１０内の画素３１１（図１２）のスコアＳｃに応じてマスク３１０内の画像に印３３０を付すものである。

【0098】

［マスクの構成］
本実施形態では、マスク３１０の大きさ（及び、マスクの大きさによって決まる印３３０の大きさ）が、マスク３１０内の画素３１１のスコアＳｃに応じて変動する。図１２は、予め設定された初期サイズのマスク３１０を示したものである。本実施形態では、マスク３１０の初期サイズは、５×５（水平方向の画素数×垂直方向の画素数）に設定されている。マスク３１０の初期サイズは、例えば、マスク３１０内の画像に付される印３３０の視認性（例えば、印３３０の形状の複雑さやモニタ９１０の表示画面の画素数等に依存する）に応じて設定される。具体的には、マスク３１０の初期サイズは、印３３０の良好な視認性が確保される範囲内で、できるだけ多くの印３３０を表示できるように、最小の大きさに設定される。

【0099】

マスクサイズは、メモリ２２９に格納されたマスクテーブルＭＴを参照して、スコアＳｃに基づいて決定される。表１は、本実施形態で使用されるマスクテーブルＭＴの一例である。本実施形態では、マスクサイズは、初期値（５×５）を下限とし、スコアＳｃに比例して大きくなるように設定される。

【0100】

【表1】

【0101】

図１２に示されるように、マスク３１０を構成する複数の画素３１１のうち、左上端のもの（すなわち、ｘ座標及びｙ座標が共に最小の画素）を基準点３１２と呼ぶ。この基準点３１２の位置（ｘ_ｍ，ｙ_ｍ）がマスク３１０の位置として定義される。なお、マスク３１０内のいずれの画素を基準点３１２に設定してもよい。

【0102】

［基準点の走査：Ｓ８１］
図１３は、マーキング処理Ｓ８の手順を示すフローチャートである。マーキング処理Ｓ８では、まず画像メモリ２２７の記憶領域Ｐ_ｎに記憶された通常観察画像データＮ（原画像）が複製され、マーキング画像データＭの初期値として記憶領域Ｐ_ｍに記憶される。また、メモリ２２９からスコアテーブルＳＴが読み出され、スコアテーブルＳＴ上で基準点３１２の走査が行われる（Ｓ８１）。本実施形態では、基準点３１２は、スコアテーブルＳＴの上端のライン（ｙ＝０）から下端のライン（ｙ＝ｙ_ｍａｘ）へ、ライン毎に順次走査される（図１１）。また、基準点３１２は、各ラインにおいて、左端（ｘ＝０）から右端（ｘ＝ｘ_ｍａｘ）へ走査される。

【0103】

マーキング処理部２２６は、スコアテーブルＳＴ上で基準点３１２を走査させながら、以下の条件ａ及び条件ｂの両方を満たす位置（ｘ，ｙ）を探索する。
・条件ａ：病変画素［スコアＳｃ（ｘ，ｙ）が０．１以上］であること
・条件ｂ：マスク３１０が、既に付された印３３０（より正確には、印３３０を付したときのマスク３１０）と重ならないこと

【0104】

［マスク設定：Ｓ８２］
上記の条件ａ及び条件ｂの両方を満たす位置（ｘ，ｙ）に到達すると、その位置で初期サイズ（５×５）のマスクが設定される（Ｓ８２）。

【0105】

［マスク内平均スコア計算：Ｓ８３］
次に、マスク内の画素のスコアＳｃ（ｘ，ｙ）の相加平均である平均スコアＳｃ_Ａｖｇ．を計算する（Ｓ８３）。なお、平均スコアＳｃ_Ａｖｇ．も、最小値が０．０、最大値が１．０となるように規格化された値となる。また、平均スコアＳｃ_Ａｖｇ．は、マスク内のスコアＳｃ（ｘ，ｙ）を代表する他の数値（例えば、加重平均、中央値、最頻値、二乗平均平方根等）により代替することもできる。

【0106】

［マスクサイズ更新Ｓ８４］
次に、メモリ２２９に格納されたマスクテーブルＭＴを参照して、平均スコアＳｃ_Ａｖｇ．に対応するマスクサイズを読み取る。そして、読み取ったマスクサイズにマスク３１０のサイズを更新（マスク３１０を再設定）する（Ｓ８４）。

【0107】

［マーキングＳ８５］
次に、マーキング画像データＭに対して、再設定後のマスク３１０の縁に内接するように、印３３０が付される（Ｓ８５）。

【0108】

処理Ｓ８６では、スコアテーブルＳＴの最後まで走査が完了したかどうかが判定される。全てのスコアＳｃ（ｘ，ｙ）が走査されるまで、上記の処理Ｓ８１〜Ｓ８６が繰り返される。

【0109】

［マーキング処理の具体例：図１４〜２０］
次に、図１４〜２０を参照して、マーキング処理Ｓ８の具体例を説明する。図１４〜２０の通常観察画像データＮ（スコアテーブルＳＴ）には、複数の病変画素３２１からなる病変部の画像３２０が含まれている。

【0110】

図１４に示されるように、スコアテーブルＳＴ上でマスク３１０の基準点３１２を左上からライン毎に順次走査させると（Ｓ８１）、最初に病変画素３２１ａが検出される。

【0111】

病変画素３２１ａにおいて、上記の条件ａ及び条件ｂの両方が満たされるため、病変画素３２１ａを基準点として初期サイズ（５×５）のマスク３１０ａ（図１５の破線枠）が設定される（Ｓ８２）。

【0112】

次に、マスク３１０ａ内のスコアＳｃ（ｘ，ｙ）の平均値（平均スコアＳｃ_Ａｖｇ．）が計算される（Ｓ８３）。

【0113】

平均スコアＳｃ_Ａｖｇ．の計算結果が例えば０．３であれば、マスクテーブルＭＴ（表１）から、この平均スコアＳｃ_Ａｖｇ．の値に対応するマスクサイズ７×７が取得され、マスク３１０ａの大きさが７×７（図１５の実線枠）に変更される（Ｓ８４）。

【0114】

そして、マーキング画像ＭＰに対して、マスク３１０ａの縁に内接するように、「×」印３３０ａが付される（Ｓ８５）。なお、本実施形態では印３３０として「×」が使用されるが、印３３０には任意の印（文字、数字、記号、絵文字、模様などを含む。但し、マスク３１０の全体を塞ぐものを除く。）を使用することができる。

【0115】

次に、再び、基準点３１２が走査される（図１６）。以前に設定したマスク３１０ａ内は、上記の条件ｂを満たさないため、走査がスキップされる。病変画素３２１ａのラインには、上記の条件ａ及び条件ｂの両方を満たす病変画素３２１が存在しないため、走査は一つ下のラインに移り、病変画素３２１ｂが検出される。しかし、病変画素３２１ｂを起点にマスク３１０を設定すると、以前に設定したマスク３１０ａと干渉してしまう。そのため、病変画素３２１ｂではマスク３１０を設定せずに、走査を続行する。そして、以前に設定したマスク３１０ａをスキップした直後に病変画素３２１ｃが検出される。

【0116】

病変画素３２１ｃにおいては、上記の条件ａ及び条件ｂの両方が満たされるため、病変画素３２１ｃを起点に初期サイズ（５×５）のマスク３１０ｃ（図１７）が設定される。マスク３１０ｃ内の平均スコアＳｃ_Ａｖｇ．が、例えば０．１であれば、対応するマスクサイズは初期サイズ（５×５）と変わらないため、マスクサイズは更新されず、マスク３１０ｃの縁に内接するように「×」印３３０ｃが付される。

【0117】

以降、同様に処理Ｓ８１〜Ｓ８６が繰り返され、病変画素３２１ｄを起点に設定されたマスク３１０ｄに「×」印３３０ｄが付され（図１８）、更に病変画素３２１ｅを起点に設定されたマスク３１０ｅに「×」印３３０ｅが付された後（図１９）、通常観察画像データＮ（スコアテーブルＳＴ）の走査が完了する。その結果、通常観察画像データＮ上に、病変部の画像３２０の位置や、その重症度の分布を示す印３３０ａ、３３０ｃ、３３０ｄ、３３０ｅが付されたマーキング画像ＭＰが得られる（図２０）。生成されたマーキング画像データＭは、画像メモリ２２７の記憶領域Ｐ_ｍに記憶される。

【0118】

［表示画面生成処理〜出力処理：Ｓ９〜Ｓ１０］
マーキング処理Ｓ８が完了すると、次に表示画面生成処理Ｓ９が行われる。表示画面生成処理Ｓ９は、画像メモリ２２７に記憶された各種画像データを使用して、モニタ９００に表示するための表示画面データを生成する処理であり、画像処理回路２２０の表示画面生成部２２８によって行われる。表示画面生成部２２８は、システムコントローラ２０２の制御に応じて、複数種類の表示画面データを生成することができる。生成された表示画面データは、出力回路２２０ｂにより、ガンマ補正等の処理が行われた後、所定のビデオ・フォーマットのビデオ信号に変換され、モニタ９００に出力される（出力処理Ｓ１０）。

【0119】

図２１は、表示画面生成処理Ｓ９によって生成される表示画面の一例であり、画像解析モードでの内視鏡観察中に表示される解析モード観察画面３４０である。解析モード観察画面３４０は、撮影日時が表示される日時表示領域３４１と、検査に関連する基本的な情報（例えば、カルテ番号、患者名、術者名）を表示する基本情報表示領域３４２と、通常観察画像ＮＰ（又はトーン強調画像ＥＰ）を表示する通常画像表示領域３４４と、マーキング画像ＭＰ（マーキング処理Ｓ８後の観察画像）を表示する解析画像表示領域３４５を備えている。

【0120】

表示画面生成処理Ｓ９において、表示画面生成部２２８は、画像メモリ２２７の記憶領域群Ｐ_ｎから通常観察画像データＮ（又は、記憶領域群Ｐ_ｅからトーン強調画像データＥ）を読み出し、通常画像表示領域３４４に通常観察画像ＮＰ（又は、トーン強調画像ＥＰ）を表示する。また、画像メモリ２２７の記憶領域群Ｐ_ｍからマーキング画像データＭを読み出し、解析画像表示領域３４５にマーキング画像ＭＰを表示する。また、日時表示領域３４１及び基本情報表示領域３４２には、システムコントローラ２０２から提供された情報が表示される。

【0121】

術者は、解析モード観察画面３４０を見ながら内視鏡観察を行う。具体的には、解析画像表示領域３４５に表示されるマーキング画像ＭＰを参照しつつ、通常画像表示領域３４４に表示される通常観察画像ＮＰ（又はトーン強調画像ＥＰ）を見ながら内視鏡観察を行う。マーキング画像ＭＰにおいてマーキングされた部位について特に慎重に観察を行うことで、病変部を見落とすことなく、正確な診察を行うことができる。

【0122】

また、本実施形態では、マーキング画像ＭＰに、背景の通常観察画像ＮＰが透ける印３３０が付されるため、マーキング画像ＭＰのみを見ながら内視鏡観察及び診断を行うことができる。そのため、例えば、通常画像表示領域３４４を含まず、大きな解析画像表示領域３４５を含む解析モード観察画面３４０を生成する構成としてもよい。

【0123】

表示画面生成処理Ｓ９及び出力処理Ｓ１０が完了すると、次に、内視鏡観察を継続するか否かが判断される（Ｓ１１）。プロセッサ２００の操作パネル２１４に対して、内視鏡観察終了又は電子内視鏡装置１の運転停止を指示するユーザ操作が行われる（Ｓ１１：Ｎｏ）まで、上記の処理Ｓ１〜Ｓ１１が繰り返される。

【0124】

以上が本発明の第１実施形態の説明である。上述した本発明の第１実施形態の構成によれば、マーキング画像ＭＰにおいて、病変部の位置及び重症度を示す印３３０が病変部の画像３２０上に付されるため、内視鏡観察の経験が浅い術者であっても、病変部を見落とすことや、重症度を見誤ることなく、内視鏡画像による正確な診断を容易に行うことができる。また、マーキング画像ＭＰには、背景（病変部の画像３２０）を完全に覆わずに、背景の一部を隙間から透過させる（すなわち、透過性を有する）印３３０が付される。これにより、マーキング画像ＭＰからも病変部の形状やテクスチャを把握することができるため、より効率的且つより正確な診断を行うことが可能になる。

【0125】

なお、上述の第１実施形態では、通常観察画像ＮＰに印３３０を付すことによってマーキング画像ＭＰが生成されるが、トーン強調画像ＥＰその他の通常観察画像ＮＰを加工した画像に印３３０を付すことによってマーキング画像ＭＰを生成する構成としてもよい。

【0126】

＜第１実施形態の第１変形例＞
次に、上記に説明した本発明の第１実施形態の幾つかの変形例を説明する。
図２２は、本発明の第１実施形態の第１変形例のマーキング画像ＭＰである。上述した第１実施形態では、マスクサイズ更新処理Ｓ８４において、マスク３１０内の平均スコアＳｃ_Ａｖｇ．に応じてマスクサイズを変更し、印３３０の大きさによって重症度を表現する構成が採用された。一方、第１変形例では、マスクサイズではなく、マスク３１０内に付す印３３０の数が、マスク３１０内の平均スコアＳｃ_Ａｖｇ．に応じて設定される。本変形例では、印３３０の密度によって重症度が表現される。

【0127】

なお、本変形例では、上述した第１実施形態におけるマスクテーブルＭＴ（表１）に替えて、マスク３１０内の平均スコアＳｃ_Ａｖｇ．とマスク内に付すべき印の数との対応関係が記憶されたマーク数テーブルが使用される。マーク数テーブルの例を表２に示す。

【表2】

【0128】

＜第１実施形態の第２変形例＞
図２３は、本発明の第１実施形態の第２変形例のマーキング画像ＭＰである。上述した第１実施形態では、マスク３１０内に文字や記号を付すことによって通常観察画像ＮＰに対してマーキングを施す構成が採用された。一方、本変形例では、マスク３１０内の平均スコアＳｃ_Ａｖｇ．に応じて、通常観察画像ＮＰに対してマスク３１０内の色を変更する（言い換えれば、色の印を付す）処理を施すことによって、病変部の位置やその重症度を表示するものである。

【0129】

また、本変形例では、通常観察画像ＮＰに対してマスク内を単一の色（透過率０％）で塗潰すのではなく、所定の透過性（例えば透過率８０％）を与えた色が通常観察画像ＮＰに付される。そのため、第１実施形態と同様に、マーキング画像ＭＰにも病変部の像の情報が残されるため、病変部を所定の色で塗潰す従来の方法と比べて、正確な診断を容易に行うことが可能になる。

【0130】

また、本変形例では、病変部に付される記号の形状を認識する必要が無いため、マスクの大きさを１×１まで小さく設定する（又は、マスクを設定せずに、１画素ごとに処理を行う）構成とすることもできる。

【0131】

なお、本変形例では、上述した第１実施形態におけるマスクテーブルＭＴ（表１）に替えて、各画素（ｘ，ｙ）のスコアＳｃ（ｘ，ｙ）と各画素（ｘ，ｙ）に付すべき色Ｃｏｌ（ｘ，ｙ）との対応関係が記憶された表示色テーブルが使用される。表示色テーブル（２４ビットカラー）の例を表３に示す。なお、スコアＳｃ（ｘ，ｙ）の値がゼロ（正常組織）の画素（ｘ，ｙ）に対しては、無色透明を示す空の値（null値）が与えられるため、正常組織の画素は着色されない。また、各画素（ｘ，ｙ）に付すべき色の指定は、ＲＧＢによる指定に限らず、他の色表現（例えば、色相及び／又は彩度）によって指定することもできる。

【表3】

【0132】

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。
図２４は、第２実施形態のマーキング処理Ｓ８ａの手順を示すフローチャートである。本実施形態のマーキング処理Ｓ８ａは、上述した第１実施形態のマーキング処理Ｓ８に替えて行われる。また、本実施形態のマーキング処理Ｓ８ａは、通常観察画像データＮを構成する全ての画素（ｘ，ｙ）について順次行われる。

【0133】

本実施形態の電子内視鏡装置１は、上述した第１実施形態の第２変形例と同じく、メモリ２２９上に表示色テーブル（表３）が格納されている。また、本実施形態の画像メモリ２２７には、記憶領域Ｐ_ｎ、Ｐ_ｅ、Ｐ_ｍの他に、マーキング処理Ｓ８ａにおいて作成されるカラーマップ画像データＣＭ（カラーマップ画像ＣＭＰを表す画像データ）が記憶される記憶領域Ｐ_ｃが設けられている（図３（ｂ）参照）。

【0134】

［カラーマップ画像データ生成：Ｓ８１ａ］
マーキング処理Ｓ８ａでは、先ず、メモリ２２９に格納された表示色テーブルが参照され、スコアＳｃ（ｘ，ｙ）に基づいて、各画素に適用される色Ｃｏｌ（ｘ，ｙ）が決定される。なお、病変画素以外の画素の色Ｃｏｌ（ｘ，ｙ）は無色透明（null値）に設定される。そして、各画素（ｘ，ｙ）の色Ｃｏｌ（ｘ，ｙ）から構成されるカラーマップ画像データＣＭが生成され、メモリ２２９の記憶領域Ｐ_ｃに記憶される（Ｓ８１ａ）。

【0135】

［画像混合処理：Ｓ８２ａ］
次に、カラーマップ画像ＣＭＰに透過性を与えて通常観察画像ＮＰ上に重ね合わせる画像混合処理Ｓ８２ａが行われる。画像混合処理Ｓ８２ａは、具体的には、通常観察画像データＮとカラーマップ画像データＣＭとを加重平均する処理である。加重平均を行うことにより、カラーマップ画像ＣＭＰに透過性を与えて通常観察画像ＮＰと重ね合わせることができる。なお、加重平均における通常観察画像データＮの重みは、予め設定されたカラーマップ画像ＣＭＰの透過率により決定される。画像混合処理Ｓ８２ａによって生成されたマーキング画像データＭは、画像メモリ２２７の記憶領域Ｐ_ｍに記憶され、マーキング処理Ｓ８ａが完了する。なお、加重平均は、病変画素（スコアＳｃ（ｘ，ｙ）＞０）に対してのみ行われ、健常部（スコアＳｃ（ｘ，ｙ）＝０）の画素（ｘ，ｙ）については、通常観察画像データＮの画素値Ｎ（ｘ，ｙ）がそのままマーキング画像データＭの画素値Ｍ（ｘ，ｙ）となる。

【0136】

ここで、図２５を参照して、画像混合処理Ｓ８２ａの効果を説明する。
図２５（ａ）は、病変部の画像３２０を含む通常観察画像ＮＰである。
図２５（ｂ）は、通常観察画像ＮＰ上にカラーマップ画像ＣＭＰをそのまま重ね合わせた画像（透過率０％）である。
図２５（ｃ）は、本実施形態の画像混合処理Ｓ８２ａによって生成されたマーキング画像ＭＰである。
図２５（ｂ）と（ｃ）との比較から明らかなように、画像混合処理Ｓ８２ａによって生成されたマーキング画像ＭＰは、カラーマップにより、病変部と推定される部位や推定される重症度を視覚的に容易に把握することができる。また、カラーマップが透過性を有するため、病変部の形状やテクスチャも、マーキング画像ＭＰからある程度把握することができ、診断をより容易に行うことが可能になる。

【0137】

＜第３実施形態＞
次に、本発明の第３実施形態について説明する。本実施形態は、通常観察画像ＮＰにコアＳｃ（ｘ，ｙ）の等高線ＣＬを重ねて表示することにより、病変部の位置や重症度の分布を視認性良く表示するものである。

【0138】

図２６は、第３実施形態における等高線ＣＬの作成過程を説明する図である。本実施形態では、まず、図２６（ａ）に示される病変部の画像３２０を含む通常観察画像ＮＰから生成されたコアテーブルＳＴに基づいて、表示色テーブル（表３）を参照して、図２６（ｂ）に示されるカラーマップ画像ＣＭＰが生成される。このカラーマップ画像ＣＭＰに対して、例えばカラーマップ画像データＣＭに対するベクトル微分演算等の処理を行うことにより、等高線ＣＬが生成される。このようにして生成された等高線ＣＬを通常観察画像ＮＰ上に重ね合わせることにより、図２６（ｃ）に示される本実施形態のマーキング画像ＭＰが生成される。

【0139】

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。

【0140】

上記の実施形態では、ＨＳＩ空間において病変の判定等の画像解析が行われるが、ＨＳＩ空間の代わりに色相（hue）、彩度（saturation）及び明度（value（又はbrightness））を基底とするＨＳＶ（ＨＳＢ）空間において画像解析を行う構成としてもよい。また、さらに、CIE 1976 L*a*b*色空間や、ＹＣｂＣｒ色空間等、輝度又は明度を表す１つの座標と、色の質（例えば、色相及び彩度、あるいは色度）を表わす２つの座標とを有する他の種類の色空間上で画像解析を行うこともできる。

【0141】

また、上記の実施形態では、ＴＥ処理Ｓ３がＲＧＢ空間上で行われているが、色空間変換処理Ｓ５の後にＨＳＩ空間上でＴＥ処理Ｓ３を行う構成としてもよい。

【0142】

また、ＴＥ処理Ｓ３（色彩強調処理）の代わりに、コントラスト強調処理（例えば、ヒストグラムの分布幅を広げることによりコントラストを強調するヒストグラム均等化法）や、アンシャープマスクフィルタを使用した画像鮮鋭化処理など、他の種類の画像強調処理を用いてもよい。

【0143】

また、上記の実施形態は炎症性腸疾患の内視鏡検査に本発明を適用した例であるが、当然ながら他の疾患の内視鏡検査にも本発明を適用することができる。

【0144】

また、上記の実施形態は、観察画像に基づいて１種類の病変（炎症）の重症度のみを評価して、その重症度に応じた印を観察画像の該当箇所に付する例であるが、複数種類の病変（例えば、炎症性腸疾患に特徴的な病変である炎症と潰瘍）のそれぞれについて重症度を判定し、重症度に応じた印を観察画像の該当箇所に付する構成としてもよい。また、この場合には、病変の種類毎に表示態様（例えば、記号の種類や色）を変えてもよい。

【0145】

また、上記の実施形態は、病変部にのみ印を付すものであるが、これとは逆に、健常部のみに印を付す構成としてもよい。また、病変部と健常部のそれぞれに異なる印を付す構成としてもよい。

【0146】

また、上記の実施形態は、記号、等高線及び表示色のいずれか一つを用いて病変部の重症度を表示するものであるが、これら３種類の表示態様の２つ以上を組み合わせて病変部の重症度を表示してもよい。また、記号の種類、大きさ、色の二つ以上の組み合わせによって重症度を表示する構成としてもよい。また、等高線の種類（実線、破線、鎖線、波線等）、太さ、色のいずれか又はこれらの二つ以上の組み合わせによって重症度を表示する構成としてもよい。

【0147】

また、上記の実施形態は、本発明をデジタルカメラの一形態である電子内視鏡装置に適用した例であるが、他の種類のデジタルカメラ（例えば、デジタルスチルカメラやデジタルビデオカメラ）を使用したシステムに本発明を適用することもできる。例えば、本発明をデジタルスチルカメラに適用すると、体表組織の病変部の診断支援や開頭手術時の脳組織の診断支援を行うことができる。

【符号の説明】

【0148】

１ 電子内視鏡装置
１００ 電子スコープ
１３２ 移動量センサ
２００ 電子内視鏡用プロセッサ
２０２ システムコントローラ
２２０ 画像処理回路
２２０ａ 基本処理部
２２０ｂ 出力回路
２２１ ＴＥ処理部
２２２ 有効画素判定部
２２３ 色空間変換部
２２４ 病変判定部
２２５ スコア計算部
２２６ マーキング処理部
２２７ 画像メモリ
２２８ メモリ
２２９ 表示画面生成部
９００ モニタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】