知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5985084
(24)【登録日】2016年8月12日
(45)【発行日】2016年9月6日
(54)【発明の名称】内視鏡プロセッサ
(51)【国際特許分類】
A61B 1/04 20060101AFI20160823BHJP
【ＦＩ】
A61B1/04 370
【請求項の数】7
【全頁数】25
(21)【出願番号】特願2015-558278(P2015-558278)
(86)(22)【出願日】2015年6月17日
(86)【国際出願番号】JP2015067403
(87)【国際公開番号】WO2015194580
(87)【国際公開日】20151223
【審査請求日】2015年11月30日
(31)【優先権主張番号】特願2014-126365(P2014-126365)
(32)【優先日】2014年6月19日
(33)【優先権主張国】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】尾島 舞
(72)【発明者】
【氏名】本田 恭子
(72)【発明者】
【氏名】小泉 雄吾
【審査官】
門田 宏
(56)【参考文献】
【文献】
特開平１０−２５８０３０（ＪＰ，Ａ）
【文献】
特開２０１０−１７２６７３（ＪＰ，Ａ）
【文献】
特開２００９−２０１９９４（ＪＰ，Ａ）
【文献】
特開２０１２−０１０７３３（ＪＰ，Ａ）
【文献】
特開２００２−０８５３４３（ＪＰ，Ａ）
【文献】
国際公開第２０１３／１５０７４５（ＷＯ，Ａ１）
【文献】
国際公開第２０１２／１５３５６８（ＷＯ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ａ６１Ｂ １／００ − １／３１７
(57)【特許請求の範囲】
【請求項1】
被写体の撮影により得られた映像信号が入力される映像信号入力部と、
ユーザのレリーズ操作によるレリーズ信号が入力されるレリーズ信号入力部と、
前記映像信号入力部に接続されるとともに、入力された前記映像信号における各フレーム画像について特徴量が所定の閾値を超える関心領域を検出する関心領域検出部と、
前記関心領域検出部により検出された関心領域をズーム処理した拡大画像を生成するズーム処理部と、
前記ズーム処理部で生成された拡大画像と前記関心領域を検出したフレーム画像とを関連付けて保持する記憶部と、
前記レリーズ信号入力部に対して前記レリーズ信号が入力されたタイミングに対応する前記フレーム画像及び前記拡大画像を前記記憶部からあわせて外部に出力する出力部と、
を有することを特徴とする内視鏡プロセッサ。
ユーザのレリーズ操作によるレリーズ信号が入力されるレリーズ信号入力部と、
前記映像信号入力部に接続されるとともに、入力された前記映像信号における各フレーム画像について特徴量が所定の閾値を超える関心領域を検出する関心領域検出部と、
前記関心領域検出部により検出された関心領域をズーム処理した拡大画像を生成するズーム処理部と、
前記ズーム処理部で生成された拡大画像と前記関心領域を検出したフレーム画像とを関連付けて保持する記憶部と、
前記レリーズ信号入力部に対して前記レリーズ信号が入力されたタイミングに対応する前記フレーム画像及び前記拡大画像を前記記憶部からあわせて外部に出力する出力部と、
を有することを特徴とする内視鏡プロセッサ。
【請求項2】
前記関心領域検出部は、前記フレーム画像を複数のグリッドに分割し、前記複数のグリッドのうち前記特徴量が前記所定の閾値を上回るグリッドの集合を前記関心領域として検出する、ことを特徴とする請求項１記載の内視鏡プロセッサ。
【請求項3】
前記関心領域検出部は、赤色（Ｒ）レベルの値、または特殊光観察時の色彩パターンを用いて前記特徴量を算出することを特徴とする請求項１記載の内視鏡プロセッサ。
【請求項4】
前記関心領域検出部は、前記フレーム画像が白色光観察画像であるときは、前記複数のグリッドの各々における赤色（Ｒ）のレベルの代表値が前記フレーム画像における前記赤色（Ｒ）の代表値に対して高く、且つ、エッジ構造物を含む場合に、該当するグリッドを前記関心領域として検出することを特徴とする請求項３記載の内視鏡プロセッサ。
【請求項5】
前記関心領域検出部は、前記フレーム画像が狭帯域光観察画像であるときは、前記複数のグリッドの各々における青色（Ｂ）及び緑色（Ｇ）の反射レベルの代表値が前記フレーム画像における前記青色（Ｂ）及び緑色（Ｇ）の代表値に対して低い場合、または、前記複数のグリッドの各々における前記青色（Ｂ）及び緑色（Ｇ）の吸収レベルの代表値が前記フレーム画像における前記青色（Ｂ）及び緑色（Ｇ）の吸収レベルの代表値に対して高い場合に、該当するグリッドを前記関心領域として検出することを特徴とする請求項３記載の内視鏡プロセッサ。
【請求項6】
前記関心領域検出部は、前記フレーム画像が光線力学的診断画像であるときは、前記複数のグリッドの各々における赤色（Ｒ）のレベルの代表値が前記フレーム画像における前記赤色（Ｒ）のレベルの代表値に対して高い場合に、該当するグリッドを前記関心領域として検出することを特徴とする請求項３記載の内視鏡プロセッサ。
【請求項7】
前記出力部は、前記フレーム画像のうち、前記関心領域を中心にマーキングされた画像を出力することを特徴とする請求項１乃至６のいずれか１項に記載の内視鏡プロセッサ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スコープで撮影して得られた被写体の内視鏡画像に画像処理を施し、得られる内視鏡映像や静止画のモニタへの表示や記録をすることのできる内視鏡システムに関する。【背景技術】
【0002】
従来より、内視鏡検査においては、スコープで被写体である患者等の体腔内を撮影し、得られた映像信号に対してプロセッサにて必要な画像処理を施し、これをモニタ等に表示する。そして、モニタ等への表示を行いつつ、検査において病変部と思われる部位が発見されると、その箇所の静止画の記録や印刷等を行っている。内視鏡検査を行った医師等は、検査後に記録した静止画等を改めて確認する。このとき、従来技術では検査時の所見等を静止画と併せて記録することはできなかったため、改めて後日確認を行う際に画像のうちのどの部分に着目していたか等を把握することはできなかった。【0003】
内視鏡画像のうちのカーソルで指定した特定の領域を関心領域として、その領域の座標情報を観察画像とともに記録しておく技術について開示されている（例えば、特許文献１）。【0004】
また、内視鏡先端部の被検体の体内の位置を、その位置における内視鏡画像の静止画像と関連付けて記録しておく技術についても開示されている（例えば、特許文献２）。【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平１０−２５８０３０号公報
【特許文献2】特開２００６−２２３８５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
近年は、内視鏡検査における手技が複雑化の傾向にある。このため、検査中に、スコープの操作を行う医師が所望の位置における画像のうちの着目した領域を自らの操作によって記録しておくのは困難になってきている。また、検査後に改めて静止画の確認をする際には、検査時に着目した領域がどこであるのかを即座に見つけるのは容易ではない。【0007】
本発明は、内視鏡検査において医師が病変部の疑いありと判断した領域がわかるようにモニタへの表示や記録装置への記録をすることにより、検査後の業務の効率化や診断の見落としを防ぐことを可能とする技術を提供することを目的とする。【課題を解決するための手段】
【0008】
本発明の一態様に係る内視鏡プロセッサによれば、被写体の撮影により得られた映像信号が入力される映像信号入力部と、ユーザのレリーズ操作によるレリーズ信号が入力されるレリーズ信号入力部と、前記映像信号入力部に接続されるとともに、入力された前記映像信号における各フレーム画像について特徴量が所定の閾値を超える関心領域を検出する関心領域検出部と、前記関心領域検出部により検出された関心領域をズーム処理した拡大画像を生成するズーム処理部と、前記ズーム処理部で生成された拡大画像と前記関心領域を検出したフレーム画像とを関連付けて保持する記憶部と、前記レリーズ信号入力部に対して前記レリーズ信号が入力されたタイミングに対応する前記フレーム画像及び前記拡大画像を前記記憶部からあわせて外部に出力する出力部と、を有することを特徴とする。【発明の効果】
【0009】
本発明によれば、内視鏡検査後の業務の効率化や診断の見落としを防ぐことが可能となる。【図面の簡単な説明】
【0010】
【図1】第１の実施形態に係る内視鏡システムの構成図である。
【図2】映像処理回路の詳細ブロック図である。
【図3】第１の実施形態に係る内視鏡システムにおけるビデオプロセッサによる映像信号の処理動作を示したフローチャートである。
【図4】Ｒエンハンス領域算出部によるＲエンハンス領域算出処理を示したフローチャートである。
【図5】Ｒエンハンス領域の算出方法について説明する図である。
【図6】エッジ領域算出部によるエッジ検出領域算出処理を示したフローチャートである。
【図7】エッジ検出領域の算出方法について説明する図である。
【図8】関心領域位置情報算出部による関心領域の位置情報を算出する処理を示したフローチャートである。
【図9】白色光（通常光）モードにおいて検出される関心領域について説明する図である。
【図10】バッファメモリに保存した画像のデータを記録先に送信する処理を示したフローチャートである。
【図11】検出された関心領域の出力方法を例示する図である。
【図12】ＮＢＩ吸収領域算出部による特殊光吸収／反射領域算出処理を示したフローチャートである。
【図13A】第２の実施形態に係る内視鏡システムによる内視鏡検査のレポートの作成方法を説明する図（その１）である。
【図13B】第２の実施形態に係る内視鏡システムによる内視鏡検査のレポートの作成方法を説明する図（その２）である。
【図14】第３の実施形態に係る内視鏡システムによるバイタル情報の異常への対処方法推奨案のユーザへの提示方法を説明する図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、図面を参照して詳しく説明する。＜第１の実施形態＞
図１は、本実施形態に係る内視鏡システムの構成図である。図１に示す内視鏡システム１００は、ビデオプロセッサ１、スコープ２、モニタ３、画像記録装置４及びサーバ５を有する。内視鏡システム１００は、スコープ２で撮影して得られる映像信号をビデオプロセッサ１で画像処理し、得られた内視鏡画像の映像信号モニタ３への表示や、画像記録装置４等への記録を行う。
【0012】
スコープ２は、ＣＣＤ（Charge Coupled Device）２１及びレリーズスイッチ２２を含む。スコープ２は、ユーザによるレリーズスイッチ２２の操作等のレリーズトリガをビデオプロセッサ１に通知する。スコープ２は、ＣＣＤ２１にて被写体を撮影し、得られる映像信号をビデオプロセッサ１に送信する。【0013】
ビデオプロセッサ１は、ＦＰＧＡ（Field-Programmable Gate Array）等の制御デバイス内にＣＰＵ１２が内蔵されており、このほか、映像処理回路１１及び不揮発性メモリ１３を有する。ビデオプロセッサ１は、外部インターフェースとしては、キーボード等の入力手段７、モニタ３への出力手段、画像記録装置４への通信手段及び映像信号の出力手段、外部記憶装置であるサーバ５への通信手段等を有する。ビデオプロセッサ１は、上記レリーズトリガの通知にしたがって映像を静止画として記録し、設定された保存場所に保存する。【0014】
映像処理回路１１は、スコープ２から入力される映像信号に対して必要な画像処理を施す。映像処理回路１１は、前段処理部６１、カラーエンハンス処理部６２、エッジ検出部６３、ＮＢＩ（Narrow Band Imaging、狭帯域光観察）処理部６４、その他処理部６５、後段処理部６６、位置情報生成部６７、ズーム処理部６８及びバッファメモリ６９を有する。【0015】
詳しくは図２等を参照して説明するが、本実施形態においては、映像処理回路１１の構成のうち、位置情報生成部６７及びズーム処理部６８により、スコープ２から受信した映像信号を処理して得られる内視鏡画像について、医師等の内視鏡システム１００のユーザが病変部と思われる箇所を特定し、その拡大画像を得る。映像処理回路１１を構成する各部についても、図２等を参照して詳しく説明する。【0016】
不揮発性メモリ１３は、映像処理回路１１にて画像処理して得られた内視鏡画像のうち、サーバ５に記録すべき静止画等を一時的に記憶する画像記憶領域３１と、ログ情報記憶領域３２とを有する。ログ情報記憶領域３２に記憶されるログ情報については、第２の実施形態の説明において述べることとする。【0017】
ＣＰＵ１２は、ビデオプロセッサ１と接続されているスコープ２等からのレリーズ要求等を受け付けるとともに、受け付けたレリーズ要求に基づき、映像処理回路１１や画像記録装置４にレリーズ信号を伝送する。また、ＣＰＵ１２は、ビデオプロセッサ１を構成する各部の制御を行う。【0018】
モニタ３は、ビデオプロセッサ１において必要な処理の施された内視鏡画像の映像信号を受信し、これに基づき内視鏡映像等を表示する。画像記録装置４は、ＣＰＵ４２、不揮発性メモリであるキャプチャメモリ４１及び印刷処理部４４を有する。外部インターフェースとしては、ビデオプロセッサ１との通信手段及びビデオプロセッサ１からの映像信号の入力手段、自装置のフロントパネルに設けられたボタン等の入力手段８を有する。印刷処理部４４は、入力手段８を介してユーザからの要求があった場合は、キャプチャメモリ４１の画像記憶領域４３に格納されている画像データを印刷するために必要な処理を実行する。
【0019】
サーバ５は、ＣＰＵ５２、不揮発性メモリ５１及び出力処理部５４を有する。外部インターフェースとしては、サーバ５に接続されるクライアントＰＣ９等との通信手段を有する。出力処理部５４は、クライアントＰＣ９等を介してユーザからの要求があった場合は、不揮発性メモリ５１の画像記憶領域５３に格納されている画像データを所望の装置等宛に出力するための処理を実行する。【0020】
図２は、映像処理回路１１の詳細ブロック図である。映像処理回路１１の前段処理部６１は、スコープ２から入力された映像信号に対して必要な画像処理を施す前の前段処理を実施する。カラーエンハンス処理部６２は、画像の色強調処理を実施する。エッジ検出部６３は、画像に現れる突起や凹凸等の輪郭によるエッジ構造物を強調するための処理を行う。ＮＢＩ処理部６４は、観察光モードがＮＢＩ(Narrow Band Imaging、狭帯域光)である場合には、狭帯域光を照射して得られる画像の処理を行う。その他映像処理部６５は、カラーエンハンス処理やエッジ検出、ＮＢＩ画像用の処理以外の必要な画像処理を施す。その他映像処理部６５が実施する処理については、公知の技術を用いているため、ここでは、詳細な説明については省略する。
【0021】
本実施形態に係る内視鏡システム１００では、その他映像処理部６５から出力された映像信号は、レリーズ信号の有無にかかわらず、後段処理部６６に入力される。ビデオプロセッサ１は、後段処理部６６で必要な後段処理を施して得られる映像信号をモニタ３に送信する。これととともに、スコープ２のレリーズスイッチ２２等のレリーズ要求に基づくレリーズ信号をＣＰＵ１２から受信したか否かによらず、その他映像処理部６５から出力された映像信号は、ズーム処理部６８を介してバッファメモリ６９にも送信される。【0022】
その一方で、位置情報生成部６７は、画像処理の過程で生成されるデータを用いて関心領域の位置を表す情報を生成し、生成した情報をズーム処理部６８に出力する。ズーム処理部６８は、画像が関心領域を含む場合には、関心領域のズーム画像を生成し、バッファメモリ６９に出力する。ズーム処理部６８は、生成した関心領域のズーム画像のデータと、その他映像処理部６５から入力された全体画像のデータとを同期させてバッファメモリ６９に送信する。こうして、本実施形態においては、ビデオプロセッサ１は、内視鏡画像（全体画像）に加えて、関心領域を検出した場合は、関心領域のズーム画像についても、レリーズスイッチ２２等からのレリーズ要求に基づくレリーズ信号にしたがって、外部に出力することができる。【0023】
関心領域の位置を表す情報を生成する位置情報生成部６７は、Ｒエンハンス領域算出部７１、エッジ領域算出部７２、ＮＢＩ吸収領域算出部７３、関心領域位置情報算出部７４及びデータ出力部７５を有する。位置情報生成部６７は、上述のカラーエンハンス処理部６２、エッジ検出部６３及びＮＢＩ処理部６４それぞれにおける処理の結果を画像の種類に応じて利用して、フレーム画像の中から関心領域の有無及び関心領域が存在する場合はその位置を表す情報を定義し、出力する。【0024】
具体的には、位置情報生成部６７のＲエンハンス領域算出部７１は、カラーエンハンス処理部６２における色強調処理において求めた画像中の赤色（Ｒ）の値が高い領域を求める。エッジ領域算出部７２は、エッジ検出部６３がエッジ検出処理で求めた画像中のエッジの現れる領域を求める。ＮＢＩ吸収領域算出部７３は、ＮＢＩ処理部６４でＮＢＩ画像処理を施した後の画像を用いて、ＮＢＩ画像のうちの緑色（Ｇ）や青色（Ｂ）の吸収率の高い領域を求める。【0025】
関心領域位置情報算出部７４は、処理対象の画像の種類に応じて、Ｒエンハンス領域算出部７１、エッジ領域算出部７２及びＮＢＩ吸収領域算出部７３の中から必要な情報を取得し、これを用いて、関心領域のフレーム画像中の位置情報を算出する。データ出力部７５は、関心領域位置情報算出部７４で求めた関心領域の位置情報を、ズーム処理部６８に出力する。【0026】
上記のとおり、ズーム処理部６８は、その他映像処理部６５から出力される画像処理の施された映像信号と、位置情報生成部６７のデータ出力部７５から出力される関心領域の位置情報とから、関心領域のズーム画像を生成する。生成された拡大領域のズーム画像のデータは、対応する全体画像のデータとともにバッファメモリ６９に一時的に保持されたのち、レリーズ信号や画像出力信号にしたがって、それぞれ画像記録装置４や不揮発性メモリ１３に向けて出力される。【0027】
このように、本実施形態に係る内視鏡システム１００においては、ビデオプロセッサ１が、連続したフレーム画像のそれぞれについて関心領域の探索を行う。そして、関心領域の存在するフレーム画像のうち、レリーズ信号や画像出力信号に対応するフレームの画像については、関心領域のズーム画像とともに画像記録装置４やビデオプロセッサ１内の不揮発性メモリ１３等に出力する。【0028】
以下に、映像処理回路１１内の位置情報生成部６７の動作を中心に、画像の中から関心領域の探索を行ってそのズーム画像を生成し、画像記録装置４等に記録を行う方法について、図面を参照して具体的に説明する。【0029】
図３は、本実施形態に係る内視鏡システム１００におけるビデオプロセッサ１による、映像信号の処理動作を示したフローチャートである。ビデオプロセッサ１の映像処理回路１１は、スコープ２から１フレーム分の観察画像が入力されるごとに、図３に示す一連の処理を実行する。【0030】
まず、ステップＳ１で、映像処理回路１１は、前段処理部６１において、映像信号のデジタル処理の前処理を実行させる。そして、ステップＳ２で、映像処理回路１１は、観察光モードの判定を行う。ステップＳ２の判定は、ＣＰＵ１２から通知される観察光モード信号に基づき行う。実施例では、図３にも示すとおり、白色光（通常光）モード、ＮＢＩモード及びＰＰＤ（photodynamic diagnosis、光線力学的診断）モードの３とおりの観察光モードのうち、いずれが設定されているかを判定する。白色光モード、ＮＢＩモード及びＰＰＤモードの場合、それぞれステップＳ３、ステップＳ４及びステップＳ５へと処理を移行させる。【0031】
以下の説明においては、観察光モードごとに、どのようにして画像から関心領域を検出し、検出した関心領域の画像を出力するかについて説明していくこととする。（白色光（通常光）観察画像の処理）
【0032】
白色光モードで撮影を行って得られる内視鏡画像においては、一般的に、病変部は他の箇所に比べて赤みが強く、また病変部には凹凸がある、という特徴を有している。この特徴を利用して、赤みの強い領域、画像に凹凸等のある領域を判定して、内視鏡画像の中から関心領域の検出を行う。【0033】
図３のステップＳ３では、映像処理回路１１は、Ｒエンハンス領域算出部７１及びエッジ領域算出部７２に対し、演算を行わせる。Ｒエンハンス領域算出部７１及びエッジ領域算出部７２は、上記のとおり、それぞれカラーエンハンス処理部６２及びエッジ検出部６３において処理を実施した結果得られる画像データを利用して演算を行う。Ｒエンハンス領域算出部７１によるＲエンハンス領域算出処理及びエッジ領域算出部７２によるエッジ検出領域算出処理を、図４乃至図７を参照して後に詳しく説明する。【0034】
ステップＳ３においてＲエンハンス領域及びエッジ検出領域を算出すると、ステップＳ６に進む。ステップＳ６では、映像処理回路１１は、関心領域位置情報算出部７４に、関心領域の位置情報を算出させる。関心領域の位置情報の算出は、ステップＳ３において求めたＲエンハンス領域及びエッジ検出領域に基づき算出する。関心領域の位置情報の算出方法については、図８及び図９等を参照して後に詳しく説明する。【0035】
ステップＳ７で、映像処理回路１１は、ステップＳ６において算出した関心領域の位置情報を参照し、画像に関心領域が含まれるか否かを判定する。画像が関心領域を含む場合は、ステップＳ８へ、関心領域を含まない場合は、ステップＳ１０へとそれぞれ処理を移行させる。【0036】
ステップＳ８で、映像処理回路１１は、ズーム処理部６８に対し、関心領域のズーム画像を生成させる。関心領域のズーム画像は、映像処理回路１１のその他映像処理部６５から出力された全体画像のデータと、データ処理部７５から出力された関心領域の位置情報とに基づき、関心領域のズーム画像を生成する。そして、ステップＳ９で、映像処理回路１１は、バッファメモリ６９に全体画像のデータとステップＳ８にて生成した関心領域のズーム画像のデータとを送信し、処理を終了する。【0037】
なお、画像が関心領域を含まない場合は、ステップＳ１０で、映像処理回路１１は、バッファメモリ６９に全体画像のデータのみを送信し、処理を終了する。また、実施例では、ステップＳ８において関心領域のズーム画像を生成しているが、必ずしもズーム画像を生成する必要はない。
【0038】
このように、映像処理回路１１では、各フレームの画像について関心領域の探索を行う。画像から関心領域を検出すると、全体画像のデータだけでなく、関心領域の（ズーム）画像のデータについても、全体画像と同期して出力することにより、全体画像と関連付けてバッファメモリ６９に保持させる。全体画像のデータを映像処理回路１１外部に出力する際に、バッファメモリ６９に全体画像のデータと関連付けられた関心領域の（ズーム）画像のデータがある場合には、全体画像のデータと併せてこれを出力する。【0040】
図４は、Ｒエンハンス領域算出部７１によるＲエンハンス領域算出処理を示したフローチャートである。Ｒエンハンス領域算出部７１は、図３においてステップＳ２からステップＳ３へと処理が移行したことを契機として、図４に示す一連の処理を開始する。【0041】
まず、ステップＳ１１で、Ｒエンハンス領域算出部７１は、カラーエンハンス処理部６２からカラーエンハンス処理後の画像データを取得する。そして、ステップＳ１２で、Ｒエンハンス領域算出部７１は、画像全体についての赤色（Ｒ）成分の平均値Ｒａｖｅを算出すると、ステップＳ１３に進む。【0042】
Ｒエンハンス領域算出処理では、まず、ステップＳ１３〜ステップＳ１６の処理により、セルごとの赤みが所定レベル以上であるかを判断していく。以下の実施例では、複数の画素からなる１区画を「セル」とし、所定数のセルを含む所定サイズの領域を「グリッド」ということとする。【0043】
ステップＳ１３では、Ｒエンハンス領域算出部７１は、セルごとの赤色（Ｒ）成分の値の平均値ＲＥＨとステップＳ１２で算出した平均値Ｒａｖｅとの比ＲＥＨ／Ｒａｖｅが所定の設定値以上であるか否かを判定する。比ＲＥＨ／Ｒａｖｅが所定の設定値以上である場合は、ステップＳ１５へと処理を移行させ、比ＲＥＨ／Ｒａｖｅが所定の設定値未満である場合は、ステップＳ１４へと処理を移行させる。これについて、図５を参照して説明する。【0044】
図５は、Ｒエンハンス領域の算出方法について説明する図である。上記のとおり、実施例では、セルＣごとにＲ成分の値ＲＥＨと画像全体のＲ成分の平均値Ｒａｖｅとを比較する。セルＣのＲ成分の値ＲＥＨの画像全体のＲ成分の平均値Ｒａｖｅに対する比「ＲＥＨ／Ｒａｖｅ」が所定の設定値以上であれば、そのセルＣは、赤みが強いセルであると判定する。また、比「ＲＥＨ／Ｒａｖｅ」が所定の設定値未満であれば、そのセルＣは、赤みの弱いセルであると判定する。所定の設定値は、任意の値を設定可能であり、以降の処理で使用する設定値についても同様である。図５においては、赤みの強いセルを黒点で表し、グリッドＧ内の他の箇所（黒点の存在しない白色の箇所）は、赤みの弱いセルを表している。
【0045】
こうして、ステップＳ１４（ＲＥＨ／Ｒａｖｅ＜設定値のとき）では、Ｒエンハンス領域算出部７１は、ステップＳ１３で比較に用いたセルＣのＲエンハンスレベルとして、値「０」を設定し、ステップＳ１５（ＲＥＨ／Ｒａｖｅ≧設定値のとき）では、値「１」を設定する。セルのＲエンハンスレベルは、そのセルＣが赤みの強いセルであるか否かを示す。【0046】
ステップＳ１６で、Ｒエンハンス領域算出部７１は、画像の全てのセルに対してステップＳ１３の判定を行ったか、すなわち、全てのセルＣに対してＲエンハンスレベルを設定したか否かを判定する。未判定のセルＣが存在する場合は、ステップＳ１３に戻り、未判定のセルＣについて上記の処理を実行する。全てのセルＣに対しＲエンハンスレベルを設定する処理が完了すると、ステップＳ１７に進む。【0047】
ステップＳ１７〜ステップＳ２０の処理では、グリッドごとに、赤みが所定のレベル以上であるか否かを判断していく。【0048】
ステップＳ１７では、Ｒエンハンス領域算出部７１は、先のステップにおいて設定したＲエンハンスレベルを用いて、グリッドごとのＲエンハンスレベル値「１」のセルＣの密度ＮＲＥＨ＝１が所定の設定値以上であるか否かを判定する。例えば図５中のグリッドＧ２１とＧ３２とを比較して考える。グリッドＧ２１のうち、Ｒエンハンスレベル値が「１」のセルＣは１個のみであり、このグリッドＧ２１については、密度ＮＲＥＨ＝１は相対的に低いといえる。一方で、グリッドＧ３２については、Ｒエンハンスレベル値が「１」のセルＣが多数存在し、このグリッドＧ３２の密度ＮＲＥＨ＝１は相対的に高いといえる。実施例では、グリッドＧ２１における密度ＮＲＥＨ＝１は所定の設定値未満で、赤みの弱い領域であり、グリッドＧ３２の密度ＮＲＥＨ＝１は所定の設定値以上で、赤みの強い領域であるとする。【0049】
こうして、ステップＳ１８（ＮＲＥＨ＝１＜設定値のとき）では、Ｒエンハンス領域算出部７１は、ステップＳ１７で判定に用いたグリッドＧについて、Ｒエンハンス領域情報に値「０」を設定し、ステップＳ１９（ＮＲＥＨ＝１≧設定値のとき）では、値「１」を設定する。グリッドＧのＲエンハンス領域情報とは、関心領域の算出処理においてそのグリッドＧが赤みの強いグリッドであるか否かを示す。上記の例では、グリッドＧ２１のＲエンハンス領域情報には、値「０」を設定し、グリッドＧ３２については、値「１」を設定する。【0050】
ステップＳ２０で、Ｒエンハンス領域算出部７１は、画像の全てのグリッドに対してステップＳ１７の判定を行ったか、すなわち、全てのグリッドＧに対してＲエンハンス領域情報を設定したか否かを判定する。未判定のグリッドＧが存在する場合は、ステップＳ１７に戻り、未判定のグリッドＧについて上記の処理を実行する。全てのグリッドＧに対しＲエンハンス領域情報の設定を終えると、処理を終了する。図５では、Ｒエンハンス領域情報に値「１」の設定されたグリッドＧ、すなわち、Ｒエンハンス領域として検出された領域「ＡＲＥＡｒｅｎ」を太線で囲って強調している。【0051】
なお、図４においては、まず、セルごとに赤みの強さを判断し、次に、グリッドごとに赤みの強いセルを多く含む（密度ＮＲＥＨ＝１≧設定値）グリッドを判定しているが、Ｒエンハンス領域の検出方法は、これには限定されない。例えば、セルごとの赤みの強さの判定は行わず、各グリッドについての赤色（Ｒ）成分の平均値Ｒｇａｖｅと、画像全体についての平均値Ｒａｖｅとを比較して、比Ｒｇａｖｅ／Ｒａｖｅが所定値以上である場合にはそのグリッドをＲエンハンス領域と判定する構成とすることもできる。図４の方法でＲエンハンス領域の判定を行う場合には、高精度なＲエンハンス領域の検出が可能となり、グリッドごとに比Ｒｇａｖｅ／Ｒａｖｅを判定する場合には、計算時間を短縮することができる。【0052】
図６は、エッジ領域算出部７２によるエッジ検出領域算出処理を示したフローチャートである。エッジ領域算出部７２は、図３においてステップＳ２からステップＳ３へと処理が移行したことを契機として、図６に示す一連の処理を開始する。【0053】
まず、ステップＳ３１で、エッジ領域算出部７２は、エッジ検出部６３からエッジ検出処理後の画像データを取得する。そして、ステップＳ３２で、エッジ領域算出部７２は、画像データのエッジレベルの平均値Ｅａｖｅを算出する。【0054】
以降の処理においては、上記のＲエンハンス領域の算出処理（図４）と同様に、実施例では、ステップＳ３３〜ステップＳ３５の処理で、セルＣごとにエッジの強さを判定する。そして、ステップＳ３６〜ステップＳ４０の処理で、セルＣごとのエッジの強さの判定結果を用いて、グリッドＧごとにエッジ検出領域であるか否かを判定していく。【0055】
ステップＳ３３では、エッジ領域算出部７２は、セルごとのエッジの強さＥｄｇｅとステップＳ３２で算出した画像全体のエッジの強さの平均値Ｅａｖｅとの比「Ｅｄｇｅ／Ｅａｖｅ」が所定の設定値以上であるか否かを判定する。比「Ｅｄｇｅ／Ｅａｖｅ」が所定の設定値以上である場合は、ステップＳ３５へ、所定の設定値未満である場合は、ステップＳ３４へと処理を移行させる。【0056】
図７は、エッジ検出領域の算出方法について説明する図である。上記のとおり、まず、セルＣのエッジの強さＥｄｇｅと画像全体のエッジの強さＥａｖｅとを比較する。セルＣのエッジの強さが画像全体のエッジの強さＥａｖｅに対する比Ｅｄｇｅ／Ｅａｖｅが所定の設定値以上であれば、そのセルＣは、エッジが検出されたセルであると判定する。また、比Ｅｄｇｅ／Ｅａｖｅが所定の設定値未満であれば、そのセルＣからはエッジが検出されなかったと判定する。図７においては、エッジの検出されたセルを黒点で表し、グリッドＧ内の他の箇所（黒点の存在しない白色の箇所）はエッジの検出されなかったセルを表している。
【0057】
こうして、ステップＳ３４（Ｅｄｇｅ／Ｅａｖｅ＜設定値のとき）では、エッジ領域算出部７２は、ステップＳ３３で比較に用いたセルＣのエッジレベルとして、値「０」を設定し、ステップＳ３５（Ｅｄｇｅ／Ｅａｖｅ≧設定値のとき）では、値「１」を設定する。セルのエッジレベルとは、そのセルＣからエッジが検出されたか否かを示す。【0058】
ステップＳ３６で、エッジ領域算出部７２は、画像の全てのセルに対してステップＳ３３の判定を行ったか、すなわち、全てのセルＣに対してエッジレベルを設定したか否かを判定する。未判定のセルＣが存在する場合は、ステップＳ３３に戻り、未判定のセルＣについて上記の処理を実行する。全てのセルＣに対しエッジレベルを設定する処理が完了すると、ステップＳ３７に進む。【0059】
ステップＳ３７では、エッジ領域算出部７２は、先のステップにおいて設定したエッジレベルを用いて、グリッドごとのエッジレベル値「１」のセルＣの密度ＮＥｄｇｅ＝１が所定の設定値以上であるか否かを判定する。例えば図７のグリッドＧ２１では、エッジレベル値が「１」のセルの数、すなわちエッジレベルの高いセルの密度ＮＥｄｇｅ＝１が、所定の設定値未満であると判定する。これに対し、グリッドＧ２２では、エッジレベルの高いセルの密度ＮＥｄｇｅ＝１が、所定の設定値以上であると判定する。【0060】
こうして、ステップＳ３８（ＮＥｄｇｅ＝１＜設定値のとき）では、エッジ領域算出部７２は、ステップＳ３７で判定に用いたグリッドＧについて、エッジ検出領域情報に値「０」を設定し、ステップＳ３９（ＮＥｄｇｅ＝１≧設定値のとき）では、値「１」を設定する。グリッドＧのエッジ検出領域情報とは、関心領域の算出処理においてそのグリッドＧがエッジ構造物を有するか否かを示すものである。あるグリッドＧについて、エッジ領域算出部７２によりエッジ領域として検出されるか否かと、そのグリッドＧからエッジ検出部６３によりエッジ構造物が検出されるか否かは必ずしも一致しない。【0061】
ステップＳ４０で、エッジ領域算出部７２は、画像の全てのグリッドに対してステップＳ３７の判定を行ったか、すなわち、全てのグリッドＧに対してエッジ検出領域情報を設定したか否かを判定する。未判定のグリッドＧが存在する場合は、ステップＳ３７に戻り、未判定のグリッドＧについて上記の処理を実行する。全てのグリッドＧに対しエッジ検出領域情報の設定を終えると、処理を終了する。図７では、エッジ検出領域に値「１」の設定されたグリッド、すなわち、エッジ検出領域として検出された領域「ＡＲＥＡｅｄｇ」を太線で囲って強調している。【0062】
上記のとおり、エッジ検出領域の算出処理についても、Ｒエンハンス領域の算出処理と同様に、実施例では、まずセルごとに判断を行い、次に、グリッドごとに判断を行っているが、これに限定されるものではない。例えば、セルごとのエッジの強さの判定は行わず、グリッドごとに、各グリッドにおけるエッジの強さの平均値Ｅｇａｖｅと、画像全体についてのエッジの強さＥａｖｅとを比較して、比Ｅｇａｖｅ／Ｅａｖｅが所定値以上である場合にはそのグリッドをエッジ検出領域と判定する構成とすることもできる。図６の方法でエッジ検出領域の判定を行う場合には、高精度なエッジ検出領域の検出が可能となり、グリッドごとに比Ｅｇａｖｅ／Ｅａｖｅを判定する場合には、計算時間を短縮することができる。【0064】
図４及び図６の処理によりそれぞれ設定したＲエンハンス領域情報及びエッジ検出領域情報を用いて、白色光（通常光）モードにおける関心領域を検出する方法について、図８及び図９を参照して説明する。【0065】
図８は、関心領域位置情報算出部７４による関心領域の位置情報を算出する処理を示したフローチャートである。関心領域情報算出部７４は、図３においてステップＳ３（乃至ステップＳ５のいずれか）からステップＳ６へと処理が移行したことを契機として、図８に示す一連の処理を開始する。【0066】
まず、ステップＳ５１で、関心領域位置情報算出部７４は、観察光モードの判定を行う。ステップＳ５１では、図３のステップＳ２の判定と同様の方法により判定を行う。観察光モードが白色光（通常光）モード、ＮＢＩモードまたはＰＰＤモードのいずれであるかに応じて、それぞれステップＳ５２、ステップＳ５７及びステップＳ５９へと処理を移行させる。ここでは、白色光（通常光）モードの場合、すなわち、ステップＳ５２以降の処理について説明することとし、ＮＢＩモードの場合やＰＰＤモードの場合については、それぞれの観察光モードでの関心領域位置情報の算出方法の説明において述べることとする。【0067】
ステップＳ５２では、関心領域位置情報算出部７４は、Ｒエンハンス領域算出部７１及びエッジ領域算出部７２から、それぞれにおける算出結果であるＲエンハンス領域情報及びエッジ検出領域情報を取得する。【0068】
ステップＳ５３で、関心領域位置情報算出部７４は、グリッドＧごとに、そのグリッドＧがＲエンハンス領域ＡＲＥＡｒｅｎ且つエッジ検出領域ＡＲＥＡｅｄｇであるか否かを判定する。具体的には、Ｒエンハンス領域情報及びエッジ検出領域情報の双方に値「１」が設定されているか否かを判定する。２つの領域情報に値「１」が設定されている場合は、ステップＳ５５へ進み、それ以外の場合は、ステップＳ５４へ進む。【0069】
ステップＳ５４では、関心領域位置情報算出部７４は、ステップＳ５３で判定に用いたグリッドＧについて、関心領域情報に値「０」を設定し、ステップＳ５５では、値「１」を設定する。あるグリッドＧの関心領域情報とは、そのグリッドＧが関心領域であるか否かを示す。【0070】
ステップＳ５４またはステップＳ５５において関心領域情報の値を設定すると、ステップＳ５６に進む。そして、関心領域位置情報算出部７４は、画像の全てのグリッドに対してステップＳ５３の判定を行ったか、すなわち、全てのグリッドＧに対して関心領域情報を設定したか否かを判定する。未判定のグリッドＧが存在する場合は、ステップＳ５３に戻り、未判定のグリッドＧについて上記の処理を実行する。全てのグリッドＧに対し関心領域情報を設定する処理が完了すると、ステップＳ６１へと処理を移行させる。【0071】
ステップＳ６１では、関心領域位置情報算出部７４は、関心領域情報の値に「１」が設定されているグリッドＧを関心領域位置と定義し、処理を終了する。【0072】
図９は、白色光（通常光）モードにおいて検出される関心領域について説明する図である。図９に示すように、図５のＲエンハンス領域ＡＲＥＡｒｅｎ且つ図７のエッジ検出領域ＡＲＥＡｅｄｇである領域（グリッドＧ）が、関心領域ＡＲＥＡｎｔｃと判定される。図９においては、関心領域ＡＲＥＡｎｔｃと判定した８つのグリッドＧを色分けして示している。【0073】
こうして、図８のステップＳ５１乃至ステップＳ５６及びステップＳ６１の処理によって関心領域位置を定義すると、上記の図３の説明のとおり、図３のステップＳ７において、関心領域の有無を判定し、判定結果に応じて必要な画像のデータをバッファメモリ６９に送信する。図１０を参照して、バッファメモリ６９に一時記憶された画像のデータを所定の記録先に送信する方法について説明する。【0074】
図１０は、バッファメモリ６９に保存した画像のデータを記録先に送信する処理を示したフローチャートである。上記のとおり、映像処理回路１１は、入力される各フレーム画像について図３の処理を実行している。ビデオプロセッサ１のＣＰＵ１２は、スコープ２のレリーズスイッチ２２等からレリーズ要求を受け付けると、これに基づき映像処理回路１１にレリーズ信号を送信する。そして、レリーズ要求のあったタイミングに対応するフレーム画像について、図１０に示す一連の処理を開始する。【0075】
まず、ステップＳ７１で、ＣＰＵ１２は、図３のステップＳ９において映像処理回路１１がバッファメモリ６９に向けて送信した全体画像及び関心領域のズーム画像のデータを、バッファメモリ６９に一時保存する。そして、ステップＳ７２で、ＣＰＵ１２は、バッファメモリ６９に一時保存したデータの記録先を判定する。データの記録先は、予めビデオプロセッサ１に設定されており、実施例では、ビデオプロセッサ１の内部メモリか、あるいは、図１の画像記録装置４のいずれかが設定されているものとする。ここで、ビデプロセッサ１の内部メモリを記録先とする場合には、最終的に内部メモリにデータを記録させる場合だけでなく、内部メモリを経由して最終的にはサーバ５にデータを記録させる場合も含む。バッファメモリ６９に一時保存したデータの記録先が「内部メモリ」である場合は、ステップＳ７３へ、記録先が「画像記録装置」である場合は、ステップＳ７８へとそれぞれ処理を移行させる。【0076】
ステップＳ７３では、ＣＰＵ１２は、バッファメモリ６９の全体画像及び関心領域のズーム画像のデータを、内部メモリである不揮発性メモリ１３へと送信させ、不揮発性メモリ１３の画像記憶領域３１に保存する。そして、ステップＳ７４で、ＣＰＵ１２は、バッファメモリ６９から送信された画像データの記録先を更に判定する。実施例では、画像データの記録先としては、内部メモリである不揮発性メモリ１３自体であるか、あるいは、外部記憶装置であるサーバ５であるかが予めビデオプロセッサ１に設定されているものとする。画像データの記録先が「内部メモリ」である場合は、ＣＰＵ１２は、特に処理を行わず、処理を終了する。画像データの記録先が「外部記憶装置」である場合は、ＣＰＵ１２は、処理をステップＳ７５へと移行させる。【0077】
ステップＳ７５で、ＣＰＵ１２は、記録画像の出力要求の有無を判定する。図１の入力手段７等から記録画像を出力する旨の要求が入力されると、ＣＰＵ１２は、これに基づき、不揮発性メモリ１３に対して画像出力信号を送信する。ステップＳ７５においては、ＣＰＵ１２は、入力手段７等からの記録画像の出力要求の有無に基づき、判定を行う。記録画像出力要求があった場合には、ステップＳ７７へ、なかった場合には、ステップＳ７６へと処理を移行させる。【0078】
ステップＳ７７では、ＣＰＵ１２は、不揮発性メモリ１３の画像記憶領域３１に保存した全体画像及び関心領域のズーム画像のデータを、外部記憶装置であるサーバ５に送信し、処理を終了する。サーバ５においては、ＣＰＵ５２が、不揮発性メモリ５１の画像記憶領域５３に受信したデータを保存し、クライアントＰＣ９等から画像を出力する旨の要求を受信すると、画像記憶領域５３から画像のデータを読み出して、出力処理部５４へと出力する。出力処理部５４は、関心領域を有する画像のデータをクライアントＰＣ９等に送信するときは、関心領域のズーム画像を対応する全体画像に対応づける等のデータの出力に関する各種処理を実行する。【0079】
一方、ステップＳ７６では、ＣＰＵ１２は、特に処理を行わず、図１０の処理を終了する。これは、入力手段７から記録画像出力要求を受信しなかったタイミングのフレーム画像については、その画像（及び関心領域のズーム画像）についてはサーバ５に記録は行わないことを意味する。この場合、不揮発性メモリ１３の画像記憶領域３１に保存されたデータは、その後上書きされる等により削除される。【0080】
ステップＳ７２において、記録先が画像記録装置４である場合には、ステップＳ７８に進み、ＣＰＵ１２は、バッファメモリ６９の全体画像及び関心領域のズーム画像のデータを、画像記録装置４へと送信する。そして、ステップＳ７９では、画像記録装置４のＣＰＵ４２において、ビデオプロセッサ１からステップＳ７８で送信されたデータをキャプチャメモリ４１の画像記憶領域４３に保存し、処理を終了する。その後、画像記録装置４のフロントパネルボタン等の入力手段８を介して画像の印刷要求を受信すると、画像記録装置４のＣＰＵ４２は、印刷処理部４４に印刷指示を出す。印刷処理部４４は、全体画像及び関心領域のズーム画像を対応付けて、例えば並べて配置して印刷をするために必要な各種処理を実行することにより、キャプチャメモリ４１の画像記憶領域４３に保存した画像を印刷させる。【0081】
なお、図１０においては、上記の方法により関心領域が抽出された場合におけるバッファメモリ６９から各記録先へのデータの送信方法について説明しているが、関心領域が検出されなかった場合についても、同様である。【0082】
上述の方法により得られた全体画像及びこれに関連付けられた関心領域のズーム画像のデータについては、ビデオプロセッサ１の外部の画像記録装置４やサーバ５または内部メモリである不揮発性メモリ１３に出力して記録するだけでなく、モニタ３に表示することも可能である。これについて、図１１を参照して説明する。【0083】
図１１は、検出された関心領域の出力方法を例示する図である。図１１においては、スコープ２で撮影して得られた映像信号にビデオプロセッサ１にて必要な画像処理を施してモニタ３に出力したモニタ映像と、全体画像ＩＯ及びビデオプロセッサ１の位置情報生成部６７にて検出した関心領域ＡＲＥＡｎｔｃのズーム画像ＩＥＸとを示す。
【0084】
上記のとおり、検出した関心領域ＡＲＥＡｎｔｃを含む所定の範囲をズーム画像生成の対象範囲ＡＲＥＡＥＸとし、その範囲ＡＲＥＡＥＸを拡大してズーム画像ＩＥＸを生成している。【0085】
上述のとおり、本実施形態に係る内視鏡システム１００では、ユーザからの指示にしたがって、不揮発性メモリ１３からデータを読み出してモニタ３に図１１の右側に示す出力結果を表示させる構成とすることもできる。また、ユーザからの指示にしたがって、例えば画像記録装置４等からデータを読み出して、図１１の右側に示す出力結果を印刷する構成とすることもできる。【0086】
また、全体画像及びこれに関連付けられた関心領域の（ズーム）画像の出力（表示及び記録）方法については、任意の方法をとることができる。例えば、ＰｉｎＰ（ピクチャー・イン・ピクチャー）やＰｏｕｔＰ（ピクチャー・アウト・ピクチャー）で２つの画像を重ねた画像をビデオプロセッサ１にて生成し、これをモニタ３に表示したり、画像記録装置４やサーバ５に記録する構成としてもよい。【0087】
更には、検出された関心領域を医師等が確認し易くするためには、上記の全体画像の他に関心領域の（ズーム）画像を生成する以外の方法をとってもよい。例えば、関心領域が検出された場合には、全体画像のうちの関心領域を中心にマーキングをした画像を生成し、生成したマーキング画像をモニタ３や画像記録装置４等に出力する構成としてもよい。このような方法によっても、上記の全体画像と関心領域の画像とを関連付けてこれを併せて出力する場合と同様に、医師等にとっては、検査後の関心領域の確認がし易くなる。（ＮＢＩ画像の処理）
【0088】
次に、観察光モードがＮＢＩモードである場合について説明する。ＮＢＩモードで撮影を行って得られる内視鏡画像においては、腫瘍等の周辺に形成される血管等に緑色（Ｇ）や青色（Ｂ）が多く吸収されることにより、病変部が強調表示される。この特徴を利用して、撮影により得られた内視鏡画像の中から関心領域を検出する。
【0089】
図３のステップＳ１及びステップＳ２の処理、すなわち、スコープ２から受信した映像信号に対して前段処理を実行し、観察光モードの判定を行う処理までについては、白色光（通常光）モードについての説明において述べたとおりである。【0090】
以下に、図３のステップＳ４及びステップＳ６の処理の詳細、すなわち、観察光モードがＮＢＩモードである場合にどのようにして関心領域位置情報を算出していくかを中心に説明する。【0091】
図１２は、ＮＢＩ吸収領域算出部７３による特殊光吸収／反射領域算出処理を示したフローチャートである。ＮＢＩ吸収領域算出部７３は、図３においてステップＳ２からステップＳ４へと処理が移行したことを契機として、図１２に示す一連の処理を開始する。【0092】
まず、ステップＳ８１で、ＮＢＩ吸収領域算出部７３は、ＮＢＩ処理部６４からＮＢＩ画像処理後の画像データを取得する。このとき、後のステップＳ８２やステップＳ８６で用いる緑色（Ｇ）及び青色（Ｂ）のホワイトバランス値ＧＮＢＩＷＢ、ＢＮＢＩＷＢを画像データと併せて取得してもよい。あるいは、ＮＢＩ吸収領域算出部７３において、取得したホワイトバランス測定時の画像データより算出してもよい。【0093】
まず、ステップＳ８２〜ステップＳ８５の処理により、セルごとの緑色（Ｇ）の吸収レベルが所定レベルを超えるか否かを判断していく。【0094】
ステップＳ８２では、ＮＢＩ吸収領域算出部７３は、セルごとに、画像データの緑色（Ｇ）成分の反射レベル値ＧＮＢＩと、緑色（Ｇ）についてのホワイトバランス値であるＧＮＢＩＷＢとの比ＧＮＢＩ／ＧＮＢＩＷＢが所定の設定値以下であるか否かを判定する。これは、実施例では、ホワイトバランス処理においては、白色の被写体に赤色（Ｒ）緑色（Ｇ）青色（Ｂ）の光を照射し、反射光の色みのバランスに応じて色を調整していることに基づく。また、ＮＢＩ観察光のホワイトバランスデータを用いても良い。すなわち、画像のあるセルの緑色（Ｇ）の反射レベルが、白色の被写体に対する緑色（Ｇ）の光の反射レベルに対して所定の設定値以下であれば、そのセルについては吸収レベルが高い（反射レベルが低い）と判定できることに基づく。比「ＧＮＢＩ／ＧＮＢＩＷＢ」が所定の設定値以下である場合は、ステップＳ８４へ、比「ＧＮＢＩ／ＧＮＢＩＷＢ」が所定の設定値を超える場合は、ステップＳ８３へと処理を移行させる。【0095】
ステップＳ８３（ＧＮＢＩ／ＧＮＢＩＷＢ＞設定値のとき）及びステップＳ８４（ＧＮＢＩ／ＧＮＢＩＷＢ≦設定値のとき）では、ＮＢＩ吸収領域算出部７３は、ステップＳ８２で比較に用いたセルのＧ吸収レベルとして、それぞれ値「０」及び「１」を設定する。【0096】
そして、ステップＳ８５で、ＮＢＩ吸収領域算出部７３は、画像の全てのセルに対してステップＳ８２の判定を行ったか、すなわち、全てのセルに対してＧ吸収レベルを設定したか否かを判定する。未判定のセルが存在する場合は、ステップＳ８２に戻り、未判定のセルについて上記の処理を実行し、全てのセルに対しＧ吸収レベルを設定する処理が完了すると、ステップＳ８６に進む。【0097】
ステップＳ８６〜ステップＳ８９の処理では、ＮＢＩ吸収領域算出部７３は、青色（Ｂ）の吸収レベルについて、ステップＳ８２〜ステップＳ８５において緑色（Ｇ）の吸収レベルに関して実行した処理と同様の処理を実行する。具体的には、セルごとに青色（Ｂ）の反射レベル値ＢＮＢＩと、青色（Ｂ）についてのホワイトバランス値ＢＮＢＩＷＢとの比「ＢＮＢＩ／ＢＮＢＩＷＢ」が所定の設定値以下である場合は、Ｂ吸収レベル値に「１」を、所定の設定値を超える場合は、値「０」を設定していく。【0098】
なお、ステップＳ８２〜ステップＳ８５のセルごとに緑色（Ｇ）の吸収レベルを設定する処理と、ステップＳ８６〜ステップＳ８９のセルごとに青色（Ｂ）の吸収レベルを設定する処理とは、並行処理としてもよい。【0099】
緑色（Ｇ）及び青色（Ｂ）について全てのセルについて吸収レベルの設定を終えると、処理をステップＳ９０へと移行させる。ステップＳ９０で、ＮＢＩ吸収領域算出部７３は、グリッドごとに、Ｇ吸収レベル値「１」のセルの密度ＮＧＮＢＩ＝１が所定値以上であり、且つＢ吸収レベル値「１」のセルの密度ＮＢＮＢＩ＝１が所定値以上であるかを判定する。緑色（Ｇ）及び青色（Ｂ）ともに吸収レベル値が「１」のセルの密度がそれぞれの色について設定した所定値以上である場合は、ステップＳ９２に進み、それ以外の場合は、ステップＳ９１に進む。
【0100】
ステップＳ９１及びステップＳ９２で、ＮＢＩ吸収領域算出部７３は、それぞれステップＳ９０で判定を行ったグリッドについてのＮＢＩ吸収領域情報に値「０」及び「１」を設定する。あるグリッドのＮＢＩ吸収領域情報とは、そのグリッドの緑色（Ｇ）及び青色（Ｂ）の吸収レベルが高い領域であるか否かを示す。【0101】
ステップＳ９３で、ＮＢＩ吸収領域算出部７３は、画像の全てのグリッド対してステップＳ９０の判定を行ったか、すなわち、全てのグリッドに対してＮＢＩ吸収領域情報を設定したか否かを判定する。未判定のグリッドが存在する場合は、ステップＳ９０に戻り、未判定のグリッドについて上記の処理を実行し、全てのグリッドに対してＮＢＩ吸収領域情報の設定を終えると、処理を終了する。【0102】
なお、白色光モードでのＲエンハンス領域算出処理やエッジ検出領域算出処理と同様に、上記の特殊光吸収／反射領域（実施例ではＮＢＩ吸収領域）の算出処理においても、実施例では、まずセルごとに判断を行い、次に、グリッドごとに判断を行っている。しかし、特殊光吸収／反射領域の算出方法は、これに限定されるものではない。例えば、グリッドごとに、各グリッドにおける緑色（Ｇ）や青色（Ｂ）の吸収レベルＧｇＮＢＩ、ＢｇＮＢＩを求め、これとそれぞれＧやＢのホワイトバランス値ＧＮＢＩＷＢ、ＢＮＢＩＷＢとの比較を行う構成とすることもできる。この場合、比ＧｇＮＢＩ／ＧＮＢＩＷＢ及びＢｇＮＢＩ／ＢＮＢＩＷＢの双方がそれぞれの所定値以下であれば、そのグリッドをＮＢＩ吸収領域と判定する図１２の方法でＮＢＩ吸収領域を判定する場合には、高精度なＮＢＩ吸収領域の検出が可能となり、グリッドごとに比ＧｇＮＢＩ／ＧＮＢＩＷＢ及びＢｇＮＢＩ／ＢＮＢＩＷＢを判定する場合には、計算時間を短縮することができる。【0103】
こうして、画像内の各グリッドに対してＮＢＩ吸収領域情報が設定されると、図３のステップＳ４からステップＳ６に進む。ステップＳ６では、関心領域位置情報算出部７４が、ＮＢＩ吸収領域情報を利用して、関心領域位置情報を算出する処理を実行する。観察光モードがＮＢＩモードである場合の関心領域位置情報の算出処理では、図８のフローのうち、ステップＳ５１からステップＳ５７へと処理を移行させる。【0104】
図８のステップＳ５７で、関心領域位置情報算出部７４は、ＮＢＩ吸収領域算出部７３からＮＢＩ吸収領域情報を取得する。そして、ステップＳ５８で、関心領域位置情報算出部７４は、ＮＢＩ吸収領域情報に値「１」が設定されているグリッドについては、関心領域情報に値「１」を設定し、ステップＳ６１に進む。ステップＳ６１では、上記の白色光（通常光）モードの場合と同様に、関心領域位置情報算出部７４が、関心領域情報の値に「１」の設定されているグリッドを関心領域位置と定義し、処理を終了する。【0106】
次に、観察光モードが、ＰＤＤモードである場合について説明する。光線力学的診断（ＰＤＤ）においては、がんに集積する薬剤を投与して、それに反応する青色の光を照射することにより、がん組織を赤く発光させる。このため、ＰＤＤモードで撮影を行って得られる内視鏡画像においては、病変部の赤みが強調されることとなる。この特徴を利用して、撮影により得られた内視鏡画像の中から関心領域を検出する。
【0107】
図３のステップＳ１及びステップＳ２の処理、すなわち、スコープ２から受信した映像信号に対して前段処理を実行し、観察光モードの判定を行う処理までについては、白色光（通常光）モードについての説明において述べたとおりである。【0108】
以下に、図３のステップＳ５及びステップＳ６の処理の詳細、すなわち、観察光モードがＰＤＤモードである場合にどのようにして関心領域位置情報を算出していくかを中心に説明する。【0109】
上述のとおり、ＰＤＤモードで撮影して得られる内視鏡画像においては、病変部は赤みが強調されている。このことから、図３のステップＳ５において、Ｒエンハンス領域算出部７１が、図４のＲエンハンス領域算出処理を実行することにより、Ｒエンハンス領域情報の設定を行う。そして、図３のステップＳ６においては、関心領域位置情報算出部７４が、Ｒエンハンス領域情報を利用して、関心領域位置情報を算出する処理を実行する。観察光モードがＰＤＤモードである場合の関心領域位置情報の算出処理では、図８のフローのうち、ステップＳ５１からステップＳ５９へと処理を移行させる。【0110】
ステップＳ５９で、関心領域位置情報算出部７４は、Ｒエンハンス領域算出部７１からＲエンハンス領域情報を取得する。そして、ステップＳ６０で、関心領域位置情報算出部７４は、Ｒエンハンス領域情報に値「１」が設定されているグリッドについては、関心領域情報に値「１」を設定し、ステップＳ６１に進む。ステップＳ６１において、関心領域位置情報算出部７４が関心領域情報に値「１」の設定されているグリッドを関心領域位置情報と定義する点については、上記ＮＢＩモードの場合と同様である。関心領域位置情報の定義を行うと、図８の処理を終了する。【0111】
図８の処理を終了した後の処理については、白色光（通常光）モードやＮＢＩモードの場合と同様である。【0112】
以上説明したように、本実施形態に係る内視鏡システム１００によれば、ビデオプロセッサ１において、スコープ２で撮影して得られる映像信号に画像処理を施す際に得られるデータを利用して、各観察光モードにおける画像の特徴より、医師等のユーザが内視鏡画像の中から病変部等の現れている領域として関心を持つ領域、関心領域を検出する。具体的には、色みやエッジの有無、あるいは光の吸収／反射のレベルに基づき、関心領域を検出する。内視鏡画像のビデオプロセッサ１は、検出された関心領域の（ズーム）画像を生成し、全体画像（内視鏡画像）と関連付けて保持しておく。そして、ユーザがスコープ２のレリーズスイッチ２２等によりレリーズ操作を行った場合には、ビデオプロセッサ１は、そのタイミングのフレームの全体画像（内視鏡画像）と検出した関心領域の画像とを外部の画像記録装置４等に出力する。これにより、医師等のユーザにとっては、内視鏡検査中に関心領域を特定しておく等の作業や、検査後に病変部の疑いのある画像を探す等の作業が不要となり、検査後に病変部の疑いのある領域の現れている画像を確認し易くなる。したがって、検査後の業務の効率化や、診断の見落としの防止に資することとなる。＜第２の実施形態＞
【0113】
上記の第１の実施形態によれば、ビデオプロセッサ１において内視鏡画像から関心領域を検出することにより、検査後の業務の効率化や診断の見落としを防ぐ効果を得る。これに対し、本実施形態に係る内視鏡システムによれば、内視鏡システム１００において、検査の内容や実施日時等ログ情報に基づき検査のレポートを作成することにより、検査後の業務の効率化を図っている。【0114】
以下に、本実施形態に係る内視鏡システムにおいて、ログ情報を生成し、これに基づきレポートを作成する方法について、具体的に説明する。なお、内視鏡システムの構成については、図１や図２に示すとおりであり、上記の実施形態と同様であるため、ここでは説明を省略する。
【0115】
図１３Ａ及び図１３Ｂは、本実施形態に係る内視鏡システム１００による内視鏡検査のレポートの作成方法を説明する図である。図１３Ａ及び図１３ＢのレポーティングＰＣ１２０は、図１においては、クライアントＰＣ９がこれに相当する。【0116】
図１３Ａに示す一の態様によれば、内視鏡システム１００において内視鏡検査が開始すると、ビデオプロセッサ１においては、検査に関する各種のイベントの発生するごとに、ビデオプロセッサ１のＣＰＵ１２がログ情報を生成してサーバ５に送信する。そして、順次レポーティングＰＣ１２０（図１においてはクライアントＰＣ９がこれに対応）に向けて送信していく。【0117】
具体的には、まず、検査が開始すると、ビデオプロセッサ１は、検査が開始した旨及び日時等の時刻情報、患者や医師を識別する情報等をサーバ５に送信する。レポーティングＰＣ１２０は、検査開始の通知及び通知とともに送信された情報を、サーバ５から取得する。検査が開始した旨の通知を受信すると、レポーティングＰＣ１２０は、レポートの作成を開始し、受信した情報に基づき、患者や医師を識別する情報、検査日、検査開始時刻等の情報を、レポートに入力する。レポートは、予め所定のフォーマットが用意されており、レポーティングＰＣ１２０は、フォーマットのうちの各情報が入力されるべき所定の位置に対応する情報を設定していくことで、レポートを作成する。【0118】
その後、レポーティングＰＣ１２０は、検査終了の通知を受信するまで、検査においてイベントが発生するごとにビデオプロセッサ１からサーバ５を介して通知されるログ情報に基づき、受信した情報を順次レポートの所定の位置に設定していく。ログ情報としてレポーティングＰＣ１２０に向けて送信される情報としては、上記の検査開始時に通知される情報の他には、例えば、内視鏡検査の終了、ＮＢＩ等の特殊光観察モードでの観察の開始や終了、拡大観察の開始や終了や、これらイベントの発生した時刻を表す時刻情報等が挙げられる。【0119】
レポーティングＰＣ１２０は、サーバ５を介して検査終了の通知と終了時刻を表す時刻情報とをビデオプロセッサ１から受信すると、これらの情報をレポートの所定の位置に設定する。実施例では、レポートに記載される事項には、図１３Ａに示すように、検査時間やＮＢＩ観察に要した時間、拡大観察に要した時間も含む。検査開始時刻と終了時刻、ＮＢＩ観察の開始時刻と終了時刻、及び拡大観察の開始時刻と終了時刻よりこれらの所要時間を算出し、各位置に情報を設定すると、レポーティングＰＣ１２０は、レポート作成処理を終了する。【0120】
図１３Ｂに示す他の態様によれば、内視鏡検査中においては、ビデオプロセッサ１の不揮発性メモリ１３のログ情報記憶領域３２に、ログ情報として各イベントが発生した旨及びその時刻情報を記憶させておく。内視鏡検査が終了すると、ビデオプロセッサ１は、不揮発性メモリ１３のログ情報記憶領域３２に記憶させておいたログ情報を、サーバ５を介してレポーティングＰＣ１２０に送信する。本態様におけるログ情報の内容は、図１３Ａを参照して説明した態様におけるそれと同様である。レポーティングＰＣ１２０は、内視鏡検査の終了後にビデオプロセッサ１側から受信したログ情報に基づき、所定のフォーマットのレポートの各位置に情報を設定していくことにより、レポートを作成する。【0121】
図１３Ｂに示すような、検査後にログ情報を送信する態様においては、例えば、予めどのような情報（イベント）をログ情報として送信するのか、あるいはしないのかを選択可能な構成とすることもできる。例えば、ＮＢＩ観察を開始した旨及び開始時刻についてはログ情報に含めるが、ＮＢＩ観察を終了した旨及びその終了時刻についてはログ情報に含めない、等の設定が可能である。【0122】
なお、図１３Ｂに示す態様においては、ビデオプロセッサ１がログ情報をレポーティングＰＣ１２０に向けて送信する前に、例えば次の検査のため、ビデオプロセッサ１を含む内視鏡システム１００の電源がオフに切り替えられてしまうことも起こり得る。そこで、図１３Ｂに示す態様の更に他の態様によれば、ビデオプロセッサ１がログ情報を送信するタイミングを、ビデオプロセッサ１の電源がオン状態となり、起動した後のタイミングとすることもできる。内視鏡システム１００の使用態様により、ログ情報が未送信となってしまう事態を効果的に防ぐ。【0123】
以上説明したように、本実施形態に係る内視鏡システム１００によれば、ビデオプロセッサ１にて内視鏡検査の開始や終了、特殊光観察の開始や終了、また、拡大観察の開始や終了等の、検査において発生したイベントを表すログ情報を生成する。レポーティングＰＣ１２０は、ビデオプロセッサ１から受信したログ情報に含まれる情報を所定のフォーマットの所定の位置に設定していくことで、内視鏡検査のレポートを作成する。これにより、医師等が検査後にレポートを作成する手間を省き、検査後の業務の効率化を図ることが可能となる。＜第３の実施形態＞
【0124】
上記第１及び第２の実施形態においては、それぞれ画像の関心領域の検出やレポートの作成を内視鏡システムにおいて行うことにより、医師や看護師等の内視鏡検査後の業務の効率化を図っている。これに対し、本実施形態に係る内視鏡システムにおいては、内視鏡検査中に発生した患者のバイタル情報の異常に対応する際の対処方法の推奨案を内視鏡システムが提示することで、業務の効率化を図っている。【0125】
以下に、本実施形態に係る内視鏡システムにおいて、バイタル情報の異常が発生した際にユーザに対処方法の推奨案を提示する方法について、具体的に説明する。本実施形態の内視鏡システムの構成については、図１や図２に示すとおりであり、上記の実施形態と同様であるため、ここでは説明を省略する。【0126】
図１４は、本実施形態に係る内視鏡システム１００によるバイタル情報の異常への対処方法推奨案のユーザへの提示方法を説明する図である。図１に示すシステム構成と比較すると、図１４に示す内視鏡システム１００の構成のうち、バイタル機器６とバイタル情報監視装置１０とが追加されている点で異なる。バイタル機器６は、内視鏡検査等において患者（被検体）に装着される等により、患者のバイタル情報を測定等によって取得するための機器である。バイタル機器６は、図１４の構成では、入力手段９がこれに相当し、取得した情報をバイタル監視装置１０に送信する。バイタル情報の例としては、血圧や脈拍等が挙げられる。バイタル情報監視装置１０は、バイタル機器６から得たバイタル情報を監視して、正常値であるか否かを監視し、異常を検知すると、サーバ５にその旨を通知する。【0127】
図１４においては、内視鏡検査を受けている患者のバイタル情報を監視し、その異常を検出した場合に対処方法を内視鏡システム１００において判断し、推奨案をユーザに提示するまでの手順（１）乃至（５）を、各手順を実行する装置・機器の箇所に記載している。【0128】
まず、手順（１）では、ＰＣやタブレット端末等から、内視鏡検査を受ける患者についての病歴情報、ショック分類情報、バイタル情報異常時の対処方法の推奨案の情報と、対処方法の推奨案の表示先の情報とを、サーバ５に登録しておく。ＰＣやタブレット端末は、図１においてはクライアントＰＣ９である。【0129】
バイタル情報異常時の対処方法の推奨案としては、例えば投与する薬についての情報や、機器の例えば設定値をどのように変更するかの情報等を含む。また、対処方法の推奨案の表示先については、内視鏡システム１００に複数のモニタ３を備える場合等には、「モニタＡ」等のように、推奨案を表示させるモニタがユーザによって指定される。対処方法の推奨案の表示先については、ＰＣやタブレット端末等を指定可能な構成とすることもできる。【0130】
また、手順（１）においては、この他にも患者を識別する情報についてもサーバ５に登録を行う。患者を識別する情報については、患者登録システム等の他のシステムから取得する構成としてもよい。【0131】
更には、図１４に示すように、手順（１）において、検査室を識別する情報と検査に使用するバイタル機器とを関連付けて、サーバ５の検査情報に登録しておく。手順（２）においては、バイタル機器６が、バイタル情報の取得を開始する。バイタル機器６が取得したバイタル情報は、バイタル情報監視装置１０に送信される。
【0132】
手順（３）においては、バイタル情報監視装置１０が、バイタル情報を監視し、数値等の異常を検知すると、サーバ５にその旨の通知を行う。手順（４）においては、サーバ５は、サーバ５内のデータベースの検査情報を検索し、手順（３）において通知されたバイタル機器と手順（１）において登録されている病歴情報とから、対応するショック分類を導き出す。そして、検査情報の中から、導出されたショック分類に対応する対処方法の推奨案を取得する。図１４においては、患者ＩＤ「８０」により識別される患者の内視鏡検査中に、図１４の検査情報において患者ＩＤと対応付けられているバイタル機器Ａにおいて異常が検出された場合を例示する。この場合、バイタル機器Ａに関するバイタル情報に異常が検知された旨の手順（４）の通知に対し、サーバ５は、検査情報のバイタル情報が示す「バイタル機器Ａ」と、手順（１）で登録したショック分類とに対応付けられた対処方法の推奨案を取得する。図１４では、「投与薬対応Ａ」を取得する。
【0133】
サーバ５は、投与薬対応の詳細が登録されている投与薬対応テーブルを参照し、取得した「投与薬対応Ａ」の詳細（投与薬、投与経路、効能効果、薬効薬理及び保管情報）を取得する。【0134】
最後に、手順（５）において、サーバ５は、手順（４）において取得した対処方法の推奨案を所定のモニタ（図１４の「モニタＡ」）３に送信する。モニタ３は、サーバ５から受信した情報を表示する。【0135】
なお、上記の手順（１）では、検査室を識別する情報と検査に使用するバイタル機器とを関連付けて、サーバ５の検査情報に登録している。バイタル機器６の異常に対応する方法の一つとして、バイタル機器６の設定値を変更する方法も有りうる。このような場合に、予め検査室を識別する情報とバイタル機器とを関連付けておくことで、検査室、すなわち、内視鏡検査を行う環境に応じた対処方法を設定することが可能となる。【0136】
内視鏡検査においては、検査中に手術を併せて行うこともある。このような場合には、バイタル機器６を使用して患者のバイタル情報に異常がないかを監視し、異常が発生した場合にはこれに対処する必要がある。これに対し、以上説明した本実施形態に係る方法によれば、医師や看護師等のユーザは、モニタ３に表示された対処方法の推奨案を確認して、バイタル情報の異常に対処することが可能となる。各患者や検査室等の環境に応じて対処方法として最も推奨される案がモニタ３に表示されることで、内視鏡検査中に発生したバイタル情報の異常への対処方法の判断時間や対処内容の理解や実行等に要する時間が短縮され、業務の効率化を図ることが可能となる。【0137】
本発明は、上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。