(58)【調査した分野】(Int.Cl.,DB名)
前記画素が病変部の画素であると判定される画素値の領域の境界近傍のダイナミックレンジが広がるように、非線形な利得を画素値に与えるトーン強調処理を行うトーン強調手段を更に備え、
前記病変部画素判定手段が、前記トーン強調処理後の画素値に基づいて前記判定をする、
請求項1から請求項4のいずれか一項に記載の画像処理装置。
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の電子内視鏡装置が生成する画像は、通常の内視鏡画像に比べれば病変部等を識別し易いものの、正常な粘膜組織と病変部等との境界における色の変化は連続的であり、また疾患の種類によっては正常な粘膜組織との色の違いが僅かであるため、やはり経験の浅い術者には病変部等の識別が難しい場合もあった。また、特許文献1の電子内視鏡装置を使用した場合でも、病変部かどうかの判断は、色覚という曖昧な感覚に基づいた術者の主観に委ねられており、客観的かつ再現性のある(術者のスキルに依存しない)検査結果を得ることができなかった。
【課題を解決するための手段】
【0005】
本発明の実施形態によれば、カラー内視鏡画像データを取得する取得手段と、カラー内視鏡画像データの色空間を、色相、彩度及び輝度を基底とするHSI色空間、又は、色相、彩度及び明度を基底とするHSV色空間に変換する色空間変換手段と、カラー内視鏡画像を構成する各画素について、色相と彩度に基づいて病変部の画素であるか否かを判定する病変画素判定手段と、病変画素判定手段が病変部の画素と判定した画素の色を変更するオーバーレイ処理を行うオーバーレイ処理手段と、カラー内視鏡画像にオーバーレイ処理を施したオーバーレイ画像を表示するオーバーレイ画像表示手段と、を備えた画像処理装置が提供される。
【0006】
この構成によれば、病変部と正常部の相違が明瞭に現れるHSV色空間において病変部の判定が行われるため、病変部と正常部との正確な判別が可能になる。また、病変部の画素の色を変更したオーバーレイ画像を表示することにより、術者が病変部をより明確に識別することが可能になり、より正確かつ再現性の高い診断が可能になる。
【0007】
病変画素判定手段が、複数種類の病変のそれぞれについて、病変部の画素であるか否かを判定し、オーバーレイ画像表示手段が、病変の種類に応じて病変部の画素の色を変更する構成としてもよい。
【0008】
この構成によれば、例えば炎症性腸疾患のように、複数種類の病変の発現を伴う疾患の診断をより的確に行うことが可能になる。
【0009】
上記の画像処理装置において、オーバーレイ処理手段が、病変部と判定された画素の画素値に、病変の種類に応じた所定値を加算する構成としてもよい。
【0010】
この構成によれば、種類の異なる病変部が色別表示され、より詳細な疾患の状態に関する情報を、直感的かつ正確に把握することが可能になる。
【0011】
上記の画像処理装置において、オーバーレイ画像表示手段が、カラー内視鏡画像と、オーバーレイ画像とを同時に表示する構成としてもよい。
【0012】
この構成によれば、カラー内視鏡画像に写された病変部の識別が容易になる。
【0013】
上記の画像処理装置において、カラー内視鏡画像を構成する各画素について、画素値が所定の範囲内にあるか否かに基づいて、画素値が有効か否かを判定する有効性判定手段を更に備え、病変画素判定手段が、有効性判定手段が有効と判定した画素について、病変部の画素であるか否かを判定する構成としてもよい。
【0014】
この構成によれば、有効でない画素(例えば、画素値が極度に高い場合や、極端に低い場合など、画素値の精度が低い画素)を判定の対象から外すことにより、より正確な病変部の識別が可能になる。
【0015】
上記の画像処理装置において、画素が病変部と判定される画素値の領域の境界近傍のダイナミックレンジが広がるように、非線形な利得を画素値に与えるトーン強調処理を行うトーン強調手段を更に備え、病変画素判定手段が、トーン強調処理後の画素値に基づいて判定を行う構成としてもよい。
【0016】
この構成によれば、病変部の判定の境界(閾値)近傍におけるダイナミックレンジが広げられるため、より精密な判定が病変部の判定が可能になる。
【0017】
上記の画像処理装置において、カラー内視鏡画像データに対して、RGB色空間においてトーン強調処理を施した後、HSI色空間又はHSV色空間に変換する構成としてもよい。
【0018】
上記の画像処理装置において、トーン強調手段が、各原色の輝度値R、G、Bに対して個別の利得曲線を適用してトーン強調処理を行う構成としてもよい。
【0019】
この構成によれば、自由度の高いトーン強調処理により、より正確な病変部の判定が可能になる。
【0020】
上記の画像処理装置において、病変が、炎症性腸疾患における炎症及び潰瘍を含む構成としてもよい。
【0021】
また、本発明の実施形態の構成によれば、上記の画像処理装置と、カラー内視鏡画像データを生成して、画像処理装置に出力する内視鏡と、を備えた内視鏡装置が提供される。
【発明の効果】
【0022】
以上のように、本発明の実施形態の構成によれば、病変部と正常部との正確な判別を容易に行うことが可能になる。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【0025】
図1は、本発明の実施形態に係る電子内視鏡装置1の概略構成を示すブロック図である。
図1に示すように、本実施形態の電子内視鏡装置1は、電子スコープ100、電子内視鏡用プロセッサ200、モニタ300及びプリンタ400を備えている。
【0026】
電子内視鏡用プロセッサ200は、システムコントローラ202やタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡装置1の全体を統合的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)からの指示に応じて、電子内視鏡装置1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡装置1内の各種回路に出力する。
【0027】
また、電子内視鏡用プロセッサ200は、電子スコープ100のLCB(Light
Carrying Bundle)102に白色光束である照明光を供給する光源装置230を備えている。光源装置230は、ランプ232、ランプ電源234、集光レンズ236及び調光装置240を備えている。ランプ232は、ランプ電源234から駆動電力の供給を受けて照明光を放射する高輝度ランプであり、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプが使用される。ランプ232が放射した照明光は、集光レンズ236により集光された後、調光装置240を介してLCB102に導入される。
【0028】
調光装置240は、システムコントローラ202の制御に基づいてLCB102に導入する照明光の光量を調整する装置であり、絞り242、モータ243及びドライバ244を備えている。ドライバ244は、モータ243を駆動するための駆動電流を生成して、モータ243に供給する。絞り242は、モータ243によって駆動され、照明光が通過する開口を変化させて、開口を通過する照明光の光量を調整する。
【0029】
入射端からLCB102に導入された照明光は、LCB102内を伝播し、電子スコープ100の先端に配置されたLCB102の出射端から出射して、配光レンズ104を介して被写体に照射される。被写体からの反射光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
【0030】
固体撮像素子108は、IR(Infra Red)カットフィルタ108a、ベイヤ配列カラーフィルタ108bの各種フィルタが受光面に配置された単板式カラーCCD(Charge-Coupled Device)イメージセンサであり、受光面上で結像した光学像に応じた3原色R,G,B各色の撮像信号を生成する。生成された撮像信号は、電子スコープ100の接続部内に設けられたドライバ信号処理回路112において、増幅、された後、輝度信号Y及び色差信号Cb,Crからなる画像信号に変換され、更にデジタル信号に変換された後、電子内視鏡用プロセッサ200の画像処理ユニット220に送られる。また、ドライバ信号処理回路112は、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば固体撮像素子108の画素数や感度、動作可能なフレームレート等が含まれる。ドライバ信号処理回路112は、メモリ114から読み出した固有情報をシステムコントローラ202に出力する。
【0031】
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成した制御信号を用いて、電子内視鏡用プロセッサ200に接続された電子スコープ100に適した処理がなされるように、電子内視鏡用プロセッサ200内の各種回路の動作やタイミングを制御する。
【0032】
タイミングコントローラ206は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112及び画像処理ユニット220にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ206から供給されるクロックパルスに従って、固体撮像素子108を電子内視鏡用プロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【0033】
電子内視鏡用プロセッサ200の画像処理ユニット220は、システムコントローラ202による制御の下、電子スコープ100のドライバ信号処理回路112から送られてくる画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。術者は、モニタ300に表示された内視鏡画像を確認しながら例えば消化管内の観察や治療を行う。
【0034】
電子内視鏡用プロセッサ200は、ネットワークインタフェース210及びネットワーク500を介してサーバ600に接続されている。電子内視鏡用プロセッサ200は、内視鏡検査に関する情報(例えば、患者の電子カルテ情報や術者の情報)をサーバ600から取得してモニタ300や操作パネル208に表示し、内視鏡検査結果(内視鏡画像データ、検査条件、後述の画像解析結果、術者所見等)をサーバ600に送信して、蓄積する。
【0035】
また、電子内視鏡装置1は、複数の内視鏡画像の静止画を撮像箇所(すなわち、撮像時の電子スコープ100の先端部の位置(挿入長))の情報と関連付けて記録する機能を備えている。電子スコープ100の挿入部130の外周には、複数の光センサ132が長さ方向に等間隔(例えば5cm間隔)で設けられている。光センサ132は、フォトダイオード等の受光素子であり、外光(内視鏡検査が行われる部屋の室内照明)を検出する。挿入部130の消化管内に挿入され部分に設けられた光センサ132は外光を検出せず、消化管内に挿入されていない部分に設けられた光センサ132は外光を検出する。そのため、光を検出していない光センサの分布長を消化管内に挿入された挿入部130の長さと判定することで、電子スコープ100先端部の位置(挿入長)の情報を取得することができる。光センサ132は、ドライバ信号処理回路112に接続されており、検出した光量を示すセンサ信号をドライバ信号処理回路112に送信する。ドライバ信号処理回路112は、光センサ132からのセンサ信号に基づいて、電子スコープ100の先端部の位置(挿入長)Posを計算する。
【0036】
また、電子スコープ100の操作部120に対して静止画取得を指示するユーザ操作が行われると、操作部120からドライバ信号処理回路112に操作信号が送信される。システムコントローラ202は、操作部120から静止画取得の操作信号を取得すると、現在の電子スコープ100先端部の位置情報(挿入長)Posと共に静止画取得の指令を画像処理ユニット220に送信する。これにより、画像処理ユニット220において、撮像時の電子スコープ100の位置情報Posと関連付けられて内視鏡観察画像の静止画が記録される。画像処理ユニット220が静止画を記録する処理の詳細は後述する。
【0037】
図2は、画像処理ユニット220の概略構成を示すブロック図である。画像処理ユニット220は、第1画像処理回路222、画像メモリ224、メモリ226及び第2画像処理回路228を備えている。第1画像処理回路222は、ドライバ信号処理回路112からの画像信号に対して種々の画像処理を施して、画像メモリ224に出力する。
【0038】
図2に示すように、第1画像処理回路222は、RGB変換部222a、TE処理部222b、有効画素判定部222c、色空間変換部222d、病変判定部(閾値処理部)222e及びオーバーレイ処理部222fを備えている。また、第2画像処理回路228は、表示画面生成部228aを備えている。第1画像処理回路222及び第2画像処理回路228の各部が行う具体的な処理については後述する。
【0039】
図3は、画像メモリ224が備える記憶領域の概略構成を示す図である。本実施形態の画像メモリ224には、7つの記憶領域群Pk(k=0〜6)が設けられている。各憶領域群Pkは、通常観察画像データNの3原色信号R,G,Bをそれぞれ記憶する通常画像メモリ領域knR,knG,knB(k=0〜6)と、後述するTE処理S3により生成されるトーン強調画像データEの原色信号R’,G’,B’をそれぞれ記憶するトーン強調画像メモリ領域keR,keG,keB(k=0〜6)と、後述するオーバーレイ処理S7により生成されるオーバーレイ画像データSの3原色信号R”,G”,B”をそれぞれ記憶するオーバーレイ画像メモリ領域ksR,ksG,ksB(k=0〜6)を備えている。すなわち、画像メモリ224は、通常観察画像データNとトーン強調画像データEとオーバーレイ画像データSのデータセットを最大7セット記憶することができる。画像メモリ224は、第1画像処理回路222から出力された画像データ(通常観察画像データN、トーン強調画像データE又はオーバーレイ画像データS)を、システムコントローラ202の制御に従い、記憶領域群P0〜P6のいずれかに記憶させるように構成されている。なお、記憶領域P0には、第1画像処理回路222から順次出力される画像データが上書きされ、常にリアルタイムの動画を構成する画像データが保持される。一方、記憶領域群P1〜P6には、システムコントローラ202から指令があった時にのみ、第1画像処理回路222から出力された画像データが書き込まれる。すなわち、画像メモリ224には最大6枚の静止画を記録することができる。
【0040】
図4は、メモリ226が備える記憶領域の概略構成を示す図である。メモリ226は、RGBマトリクス記憶領域226a、フラグ記憶領域226b及び設定情報記憶領域226cを備えている。RGBマトリクス記憶領域226aには後述するRGB変換処理S1において使用されるRGB変換マトリクス係数Mが格納され、フラグ記憶領域226bには第1画像処理回路222での処理に使用されるフラグテーブルFが格納される。なお、フラグテーブルFは、画像データを構成する各画素(x,y)に関する解析結果を示すフラグf(x,y)から構成された数値テーブルである。設定記憶領域226cには、画像処理ユニット220での処理に使用される各種設定値が記録されている。
【0041】
なお、記憶領域群Pkは、電子スコープの先端部の位置情報(挿入長)Posの値と関連付けられている。具体的には、記憶領域群P1は検査範囲の最奥部(例えば横行結腸の右結腸曲付近)に相当する挿入長Posの範囲に対応し、k値が大きくなるほど対応する挿入長Posが短くなり、記憶領域群P6が直腸付近に相当する挿入長Posの範囲に対応する。すなわち、検査範囲の最奥部から電子スコープ100の挿入部130を引き抜きながら静止画を取得していくと、取得した順にk=1〜6の記憶領域に静止画が記録される。位置情報Posと記憶領域群Pk(k=1〜6)との対応関係を規定する設定情報は、設定情報記憶領域226cに記録されている。画像データが記録される記憶領域群Pkは、画像データの位置情報Pos(撮像時の電子スコープ100先端部の位置)に応じて決定される。
【0042】
第2画像処理回路228は、画像メモリ224に記憶された画像信号を使用してモニタ表示用のビデオ信号を生成し、モニタ300に出力する。
【0043】
次に、画像処理ユニット220が行う処理の詳細を説明する。
図5は、画像処理ユニット220が行う処理の手順を示すフローチャートである。画像処理ユニット220の処理が開始すると、先ず、第1画像処理回路222のRGB変換部222aによりRGB変換処理S1が行われる。RGB変換処理S1では、RGB変換部222aが、ドライバ信号処理回路112から送られてくる輝度信号Y及び色差信号Cb,Crをそれぞれ増幅した後、3原色信号R,G,Bに変換する。RGB変換処理S1は、メモリ226のRGBマトリクス記憶領域226aに格納されたRGB変換マトリクス係数Mを使用して行われる。RGB変換マトリクス係数Mは、撮像に用いる照明光のスペクトル特性に応じて予め設定されており、Y,Cb,Cr信号からR,G,B信号への信号形式の変換と同時に、照明光のスペクトル特性の補正が行われる。また、RGB変換処理S1が完了すると、生成された通常観察画像データNの3原色信号R,G,Bは画像メモリ224に出力され、それぞれ通常画像メモリ領域0nR,0nG,0nBに記憶される。
【0044】
次に、画像解析モードに設定されているか否かが判断される(S2)。本発明の実施形態に係る画像解析モードは、画像データの各画素について色情報(特に色相及び彩度)を解析し、色情報の解析結果から所定の判定基準に基づいて病変部の画素であるか否かを判定し、病変部の画素を識別表示する動作モードである。判定する病変の種類は、検査内容に応じて選択することができる。以下に説明する例は、炎症性腸疾患(IBD)の病変である潰瘍(白苔や膿様粘液を含む白色病変)及び炎症(浮腫や易出血性を含む赤変病変)の観察像にそれぞれ特有の色域にある画素を抽出して、識別表示するものである。
【0045】
なお、本実施形態の電子内視鏡装置1は、画像解析モードと通常観察モードの2つの動作モードで動作するように構成されている。動作モードは、電子スコープ100の操作部120や電子内視鏡用プロセッサ200の操作パネル208に対するユーザ操作によって切り換えられる。通常観察モードに設定されている場合は(S2:No)、処理はS8に進む。
【0046】
画像解析モードが選択されている場合は(S2:Yes)、次にトーン強調(TE)処理部222bによるTE処理S3が行われる。TE処理S3は、病変の判定精度を上げるために、各原色信号R,G,Bに対して非線形なゲイン(利得)を与えるゲイン調整を行い、判定する病変に特有の色域(特に境界部)付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。具体的には、TE処理S3では、各原色信号R,G,Bに対して、
図6に示すような単調増加の非線形のゲインを与えて原色信号R’,G’,B’(トーン強調画像データE)を取得する処理が行われる。例えば、潰瘍に特有な色域の境界のR空間への写像を境界領域R
Aとし、炎症に特有な色域の境界のR空間への写像を境界領域R
Bとすると、境界領域R
A及びR
Bの付近においてゲイン曲線の傾きが最も急峻になっている。このようなゲイン曲線に従ってゲインを与えることにより、境界領域R
A及びR
Bの付近における原色信号R’(原色信号Rに対してTE処理S3を施した信号)の実質的なダイナミックレンジを広げることができ、より精密な閾値判定が可能になる。
【0047】
ここで、各原色信号R,G,Bに対してそれぞれ異なるゲイン調整を行ってもよい。さらにまた、各原色信号G,Bは同じ非線形のゲインを与え、原色信号Rにはこれらとは異なる非線形のゲインを与える処理であってもよい。また、TE処理S3により生成された3原色信号R’,G’,B’(トーン強調画像データE)は、画像メモリ224に出力され、それぞれトーン強調画像メモリ領域0eR,0eG,0eBに記憶される。
【0048】
なお、TE処理S3により、炎症部が赤く、潰瘍部が白く、正常部が緑色に色味が変化する。そのため、TE処理S3により生成されたトーン強調画像データEをモニタ300に表示した場合、TE処理S3前の通常観察画像データNよりも病変部(炎症部や潰瘍部)を容易に視認することができる。
【0049】
TE処理S3が完了すると、次にトーン強調画像データEに対して有効画素判定部222cによる有効画素判定処理S4が行われる。
図7は、有効画素判定処理S4の手順を示すフローチャートである。
図7に示す有効画素判定処理S4は、画像データを構成する全ての画素(x,y)について順次行われる。有効画素判定処理S4では、まず各画素(x,y)について、原色信号R’(x,y),G’(x,y),B’(x,y)から、下記の数式1により補正輝度int(x,y)が計算される(S41)。
【0051】
なお、計算した補正輝度int(x,y)の値は、後述する適正露出判定S42に使用される。また、数式1から分かるように、補正輝度int(x,y)は、原色信号R’(x,y),G’(x,y),B’(x,y)の単純平均ではなく、ヒト(術者)の比視感度特性に基づいた加重平均として求められる。
【0052】
次に、各画素について、処理S41において計算したトーン強調画像データEの補正輝度int(x,y)及び原色信号R’(x,y),G’(x,y),B’(x,y)に基づいて、露出の適否(画像解析に必要な露出レベルか否か)を判定する(S42)。適正露出判定S42では、次の2つの条件(数式2、数式3)の少なくとも一方(或いは両方)を満たす場合に、適正露出(S42:Yes)と判定する。なお、数式2により補正輝度int(x,y)(全体の光量)の上限値が規定されており、数式3により各原色信号R’(x,y),G’(x,y),B’(x,y)の下限値が規定されている。
【0055】
画素(x,y)について、数式2又は数式3を満たし、適正露出と判定されると(S42:Yes)、有効画素判定部222cは、メモリ226のフラグ記憶領域226bに格納されているフラグテーブルFの画素(x,y)に対応するフラグf(x,y)の値を「1」に書き換える(S43)。なお、フラグf(x,y)は、0〜3のいずれかのフラグ値をとる。各フラグ値の定義は以下の通りである。
0:画素データ無効
1:病変無し(正常)又は病変未判定(画素データ有効)
2:病変A(炎症)
3:病変B(潰瘍)
【0056】
また、適正露出判定S42において、数式2、数式3のいずれの条件も満たさず、露出不適正と判定されると(S42:No)、有効画素判定部222cは、フラグテーブルFのフラグf(x,y)の値を「0」に書き換える(S44)。
【0057】
次に、処理S45では、全ての画素(x,y)について処理が完了したかどうかが判定される。全ての画素(x,y)の処理が完了するまで、上記の処理S41〜S45が繰り返される。
【0058】
有効画素判定処理S4が完了すると、次に色空間変換部222dにより色空間変換処理S5が行われる。色空間変換処理S5は、RGB3原色で定義されるRGB空間のトーン強調された画素データを、色相(Hew)・彩度(Saturation)・輝度(Intensity)の3要素で定義されるHSI(Heu-Saturation-Intensity)空間の画素データに変換する処理である。具体的には、色空間変換処理S5において、トーン強調画像データEの各画素(x,y)の原色信号R’(x,y),G’(x,y),B’(x,y)が、色相H(x,y),彩度S(x,y),輝度I(x,y)に変換される。なお、本実施形態では、以降の処理において輝度I(x,y)が使用されないため、輝度I(x,y)の計算は行わず、色相H(x,y)及び彩度S(x,y)のみを計算して処理効率を高めている。
【0059】
また、露出が不足又は過剰な画素のデータは精度が低く、解析結果の信頼度を下げてしまう。そのため、色空間変換処理S5は、フラグf(x,y)の値が「1」に設定された(すなわち、上述の有効画素判定処理S4において適正露出と判定された)画素(x,y)についてのみ行われる。
【0060】
色空間変換処理S5が完了すると、次に病変判定部222eにより病変判定処理S6が行われる。本発明の実施形態に係る病変判定処理S6は、内視鏡画像の各画素(x,y)について、後述する
図9の領域I〜IIIのいずれにプロットされるかによって、その画素に対応する部位に推測される状態(正常、炎症、潰瘍)を判定する処理である。
【0061】
図8は、病変判定処理S6の手順を示すフローチャートである。
図8に示す病変判定処理S6は、画像データを構成する全ての画素(x,y)について順次行われる。病変判定処理S6では、まず、フラグテーブルFを参照して、各画素(x,y)のデータが有効か否かを判断する(S61)。フラグf(x,y)の値が「1」(画素データ有効)であれば、次に炎症判定処理S62を行う。また、フラグf(x,y)の値が「0」(画素データ無効)であれば、炎症判定処理S62を行わずに、処理S66へ進む。
【0062】
ここで、炎症判定処理S62及び後述する潰瘍判定処理S64について説明する。
図9は、複数の炎症性腸疾患患者の内視鏡画像データから抽出した生体組織像の画素データ(色相H(x,y)と彩度S(x,y)からなるデータ対)をプロットした散布図である。
図9の散布図は、左側の破線で囲まれた領域III、右側下方の一点鎖線で囲まれた領域II、及びそれ以外の領域Iに区分される。本発明者の研究により、炎症性腸疾患の内視鏡診断に熟練した医師によって潰瘍と判断された部位の画素の大半が
図9の領域IIIにプロットされ、炎症と判断された部位の画素の大半が
図9の領域IIにプロットされ、正常と判断された部位の画素の大半が領域Iにプロットされることが判明した。このことは、生体組織を撮像した内視鏡観察像の色相(色合い)と彩度(鮮やかさ)の2つの情報により、生体組織の状態(潰瘍や炎症)を高い精度で判別できることを意味している。
【0063】
炎症判定処理S62においては、各画素値(H(x,y),S(x,y))が、
図9の領域IIにプロットされるか否かが判定される。具体的には、画素値(H(x,y),S(x,y))が、以下の数式4及び数式5を満たす場合に、領域IIにプロットされる(すなわち炎症部の画素である)と判定される。なお、δ
H1、δ
S1及びδ
S2は、術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ(感度)等を適宜調整することができる。
【0066】
画素値(H(x,y),S(x,y))が領域IIにプロットされる場合は(S62:Yes)、画素(x,y)に対応するフラグf(x,y)の値が「2」(炎症)に書き換えられ(S63)、処理S66に進む。また、画素値(H(x,y),S(x,y))が領域IIにプロットされない場合は(S62:No)、続いて潰瘍判定処理S64が行われる。
【0067】
潰瘍判定処理S64では、各画素値(H(x,y),S(x,y))が、
図9の領域IIIにプロットされるか否かが判定される。具体的には、H(x,y)、S(x,y)が、以下の数式6を満たすか、若しくは数式7及び数式8を満たす場合に、画素値(H(x,y),S(x,y))が領域IIIにプロットされる(すなわち潰瘍部の画素である)と判定される。なお、δ
S3、δ
S4、δ
H2及びδ
H3は術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ(感度)等を適宜調整することができる。
【0071】
画素値(H(x,y),S(x,y))が領域IIIにプロットされる場合は(S64:Yes)、画素(x,y)に対応するフラグf(x,y)の値が「3」(潰瘍)に書き換えられ(S65)、処理S66に進む。また、画素値(H(x,y),S(x,y))が領域IIIにプロットされない場合は(S64:No)、正常組織と判定され、フラグf(x,y)の値「1」(正常)は書き換えられず、そのまま処理S66に進む。
【0072】
処理S66では、全ての画素(x,y)について処理が完了したかどうかが判定される。全ての画素(x,y)の処理が完了するまで、上記の処理S61〜S66が繰り返される。
【0073】
病変判定処理S6が完了すると、次にオーバーレイ処理部222fにより本発明の実施形態に係るオーバーレイ処理S7が行われる。オーバーレイ処理S7は、病変判定処理S6により炎症や潰瘍といった病変部と判定された画素について、正常(病変を有しない)と判定された画素と容易に識別できるように、その病変(フラグ値)と関連付けられた色調に色を変更する処理である。本実施形態では、炎症と判定された画素に対して赤みを強め(具体的には、R成分を増加させ)、潰瘍と判定された画素に対して黄みを強める(具体的には、G、B成分を増加させる)処理が行われる。
【0074】
図10は、オーバーレイ処理S7の手順を示すフローチャートである。
図10に示すオーバーレイ処理S7は、通常観察画像データNを構成する全ての画素(x,y)について順次行われる。オーバーレイ処理S7では、まずフラグテーブルFを参照して、各画素(x,y)に対応するフラグf(x,y)の値を判断する(S71、S72、S74)。フラグf(x,y)の値が「0」(画素データ無効)の場合は(S71:Yes)、直接処理S77へ進む。フラグf(x,y)の値が「1」(正常)の場合は(S71:No、S72:Yes)、通常観察画像データNの原色信号R(x,y),G(x,y),B(x,y)をそのまま変更せずにオーバーレイ画像データSの原色信号R”(x,y),G”(x,y),B”(x,y)の値として(S73)、処理S77へ進む。フラグf(x,y)の値が「2」(炎症)の場合は(S71:No、S72:No、S74:Yes)、通常観察画像データNの原色信号R(x,y)の値に100を加えたものをオーバーレイ画像データSの原色信号R”(x,y)の値とし、通常観察画像データNの原色信号G(x,y)及びB(x,y)の値をそのまま変更せずにオーバーレイ画像データSの原色信号G”(x,y)及びB”(x,y)の値として(S75)、処理S77へ進む。また、フラグf(x,y)の値が「3」(潰瘍)の場合は(S71:No、S72:No、S74:No)、通常観察画像データNの原色信号G(x,y)及びB(x,y)の値にそれぞれ100を加えたものをオーバーレイ画像データSの原色信号G”(x,y)及びB”(x,y)の値とし、通常観察画像データNの原色信号R(x,y)の値をそのまま変更せずにオーバーレイ画像データSの原色信号R”(x,y)の値として(S76)、処理S77へ進む。ここで、本実施形態のオーバーレイ処理S7には通常観察画像データNの3原色信号R,G,Bを用いているが、別の実施形態では、トーン強調画像データEの原色信号R’(x,y),G’(x,y)およびB’(x,y)を用いてもよい。
【0075】
処理S77では、全ての画素(x,y)について処理が完了したかどうかが判定される。全ての画素(x,y)の処理が完了するまで、上記の処理S71〜S77が繰り返される。
【0076】
オーバーレイ処理S7が完了すると、オーバーレイ処理S7により生成されたオーバーレイ画像データSが、画像メモリ224に出力され、それぞれオーバーレイ画像メモリ領域0sR,0sG,0sB(k=0〜6)に記憶される。
【0077】
次に、静止画保存の指令が出されているか否かの判定S8(
図5)が行われる。画像処理ユニット220は、ドライバ信号処理回路112から静止画保存の指令と共に電子スコープ100先端部の位置情報Posを受け取ると(S8:Yes)、画像メモリ224の記憶領域群P0に記憶された通常観察画像データN、トーン強調画像データE及びオーバーレイ画像データSの複製を、位置情報Posに対応する記憶領域群P1〜6のいずれかに記憶させ(S9)、次いで画面表示処理S10が行われる。ドライバ信号処理回路112から静止画保存の指令が無ければ(S8:No)、処理S9を行わずに画面表示処理S10に進む。
【0078】
次の画面表示処理S10は、モニタ300に表示するための表示画面データを生成し、ビデオ信号に変換して出力する処理であり、第2画像処理回路228の表示画面生成部228aによって行われる。表示画面生成部228bは、システムコントローラ202の制御に応じて、複数種類の表示画面データを生成することができる。
【0079】
図11は、画面表示処理S10によって生成される表示画面の一例であり、画像解析モードでの内視鏡観察中に表示される解析モード観察画面320である。解析モード観察画面320は、撮像日時が表示される日時表示領域321と、検査に関連する基本的な情報(例えば、カルテ番号、患者名、術者名)を表示する基本情報表示領域322と、通常観察画像データN(又はトーン強調画像データE)を表示する通常画像表示領域324と、オーバーレイ画像データS(オーバーレイ処理S7後の観察画像)を表示する解析画像表示領域325を備えている。
【0080】
画面表示処理S10において、表示画面生成部228aは、画像メモリ224の記憶領域群P0からリアルタイムの通常観察画像データN(又はトーン強調画像データE)及びオーバーレイ画像データSを読み取り、それぞれ通常画像表示領域324及び解析画像表示領域325に表示する。また、日時表示領域321及び基本情報表示領域322には、システムコントローラ202から提供された情報が表示される。
【0081】
術者は、解析モード観察画面320を見ながら内視鏡観察を行う。具体的には、解析画像表示領域325に表示されるオーバーレイ画像データSを参照しつつ、通常画像表示領域324に表示される通常観察画像データN(又はトーン強調画像データE)を見ながら内視鏡観察を行う。オーバーレイ画像データSにおいて色付けされた部位について特に慎重に観察を行うことで、病変部を見落とすことなく、正確な診察を行うことができる。
【0082】
次に、内視鏡観察を継続するか否かが判断される(S11)。電子内視鏡用プロセッサ200の操作パネル208に対して、内視鏡観察終了又は電子内視鏡装置1の運転停止を指示するユーザ操作が行われる(S11:No)まで、上記の処理S1〜S11が繰り返される。
【0083】
以上が、本実施形態の説明であるが、本発明は、本実施形態の構成に限定されるものではなく、特許請求の範囲の記載によって表現された技術的思想の範囲内で様々な変形が可能である。
【0084】
上記の実施形態では、HSI空間において病変の判定が行われるが、HSI空間の代わりに色相(hue)、彩度(saturation)及び明度(value(又はbrightness))を基底とするHSV(HSB)空間において病変の判定を行う構成としてもよい。
【0085】
また、上記の実施形態では、TE処理S3がRGB空間上で行われているが、色空間変換処理S5の後にHSI空間上でTE処理S3を行う構成としてもよい。
【0086】
また、上記の実施形態では、光センサ132を使用して電子スコープ100先端部の位置(撮像位置)の情報を取得する構成が採用されているが、本発明はこの構成に限定されず、他の手段によって撮像位置の情報を取得する構成としてもよい。例えば、光センサ132に替えて、光源と受光素子を備えた光学式近接センサを電子スコープ100の挿入部130に設けた構成としてもよい。この場合、光学式近接センサが消化管内に挿入されたときに、消化管の内壁で反射したセンサ光が受光素子で検出され、近接を検出する。そのため、上記の実施形態とは逆に、受光素子が光を検出している光学式近接センサの分布長を消化管内に挿入された挿入部130の長さと判断することで、電子スコープ100先端部の位置の情報を取得することができる。
【0087】
また、光センサ132に替えて、光学式マウスと同じ原理により移動量(移動の距離及び方向)を検出する移動量センサを電子スコープ100の挿入部130に設けた構成としてもよい。この場合には、移動量センサは挿入部130の先端付近に一つだけ設ければよい。
【0088】
なお、光学式近接センサや移動量センサの光源には、近赤外線から可視光域の範囲の任意の波長の光源(例えばLDやLED)を使用することができるが、ヘモグロビンによる吸収が少なく、生体組織表面での反射率の高い赤色領域の光源を使用することで、高い検出精度を得ることができる。
【0089】
また、内視鏡検査中に被検者の体外から磁気共鳴画像、X線画像又は超音波画像を取得して、これらの画像から内視鏡先端部の位置を決定することもできる。また、内視鏡画像の画像解析により、内視鏡先端部の消化管内での移動量を計算することで、内視鏡先端部の位置を決定することもできる。
【0090】
また、上記の実施形態は炎症性腸疾患の内視鏡検査に本発明を適用した例であるが、当然ながら他の疾患の内視鏡検査にも本発明を適用することができる。
【0091】
また、上記の実施形態は、術者の手動操作によって静止画が記録される構成であるが、電子スコープ100の挿入部130が検査範囲の最奥部から引き抜かれる際に、挿入部130の先端が予め設定された静止画取得位置(観察ポイント)に達した時に、ドライバ信号処理回路112が自動的に静止画保存の指令を出して、自動的に静止画を保存する構成としてもよい。
【0092】
また、上記の実施形態では、固体撮像素子108としてCCDイメージセンサが用いられているが、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の別の構成の固体撮像素子を用いた構成としてもよい。
【0093】
また、上記の実施形態では、R,G,Bのベイヤ配列カラーフィルタ108bを有する固体撮像素子108が使用されているが、補色系のCy(シアン)、Mg(マゼンタ)、Ye(イエロー)、G(グリーン)のフィルタを有する固体撮像素子を用いた構成としてもよい。