特許 6013665 診断支援装置及び診断支援情報表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6013665

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月25日

(54)【発明の名称】診断支援装置及び診断支援情報表示方法

(51)【国際特許分類】

   A61B 1/00 20060101AFI20161011BHJP

   A61B 1/04 20060101ALI20161011BHJP

   G02B 23/24 20060101ALI20161011BHJP

   H04N 7/18 20060101ALI20161011BHJP

【ＦＩ】

   A61B1/00 300D

   A61B1/04 370

   G02B23/24 B

   H04N7/18 M

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2016-538152(P2016-538152)

(86)(22)【出願日】2015年10月14日

(86)【国際出願番号】JP2015078992

【審査請求日】2016年6月9日

(31)【優先権主張番号】特願2014-239157(P2014-239157)

(32)【優先日】2014年11月26日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【弁理士】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】内山 博樹

(72)【発明者】

【氏名】渡邉 俊明

(72)【発明者】

【氏名】竹内 佑一

【審査官】 増渕 俊仁

(56)【参考文献】

【文献】 特開２００８−１５４８４６（ＪＰ，Ａ）

【文献】 特開２０１１−１９４１６４（ＪＰ，Ａ）

【文献】 特表平６−５０３９７９（ＪＰ，Ａ）

【文献】 特開２００５−４０１８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

(57)【特許請求の範囲】

【請求項1】

被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記蛍光の発生状態の基準として扱う基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行うように構成された領域抽出部と、
前記基準領域に含まれる各画素の輝度値の平均値または最大値を代表値として取得し、前記注目領域の輝度値を前記代表値で除して得られる比の値を演算値として前記注目領域の画素毎に算出するための演算処理を行うように構成された演算処理部と、
前記演算処理部により算出された前記演算値を格納するように構成された記憶部と、
前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行うように構成された画像処理部と、
を有することを特徴とする診断支援装置。

【請求項2】

前記画像処理部は、前記演算処理部により算出された前記演算値の大きさに応じた色情報を前記表示装置に表示させるための処理をさらに行う
ことを特徴とする請求項１に記載の診断支援装置。

【請求項3】

被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記励起光に対して既知の蛍光特性を有する基準蛍光体が存在する基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行うように構成された領域抽出部と、
前記基準領域に含まれる各画素の輝度値と、前記注目領域に含まれる各画素の輝度値と、に基づき、前記基準領域に対する前記注目領域の前記蛍光の強度比を示す演算値を算出するための演算処理を行うように構成された演算処理部と、
前記演算処理部により算出された前記演算値を格納するように構成された記憶部と、
前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行うように構成された画像処理部と、
を有することを特徴とする診断支援装置。

【請求項4】

前記領域抽出部は、前記励起光に応じた前記蛍光を発生しない非蛍光性部材を用いて形成された枠部材が前記基準蛍光体の外縁部に設けられている場合において、前記蛍光画像に基づき、前記枠部材に囲まれた内部領域を前記基準蛍光体が存在する領域として特定するとともに、当該特定した領域を前記基準領域として抽出する処理を行う
ことを特徴とする請求項３に記載の診断支援装置。

【請求項5】

領域抽出部が、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記蛍光の発生状態の基準として扱う基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行う領域抽出ステップと、
演算処理部が、前記基準領域に含まれる各画素の輝度値の平均値または最大値を代表値として取得し、前記注目領域の輝度値を前記代表値で除して得られる比の値を演算値として前記注目領域の画素毎に算出するための演算処理を行うとともに前記演算値を記憶部に格納させる演算処理ステップと、
画像処理部が、前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行う画像処理ステップと、
を有することを特徴とする診断支援情報表示方法。

【請求項6】

前記画像処理ステップは、前記演算処理ステップにより算出された前記演算値の大きさに応じた色情報を前記表示装置に表示させるための処理をさらに行う
ことを特徴とする請求項５に記載の診断支援情報表示方法。

【請求項7】

領域抽出部が、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記励起光に対して既知の蛍光特性を有する基準蛍光体が存在する基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行う領域抽出ステップと、
演算処理部が、前記基準領域に含まれる各画素の輝度値と、前記注目領域に含まれる各画素の輝度値と、に基づき、前記基準領域に対する前記注目領域の前記蛍光の強度比を示す演算値を算出するための演算処理を行うとともに前記演算値を記憶部に格納させる演算処理ステップと、
画像処理部が、前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行う画像処理ステップと、
を有することを特徴とする診断支援情報表示方法。

【請求項8】

前記領域抽出ステップは、前記励起光に応じた前記蛍光を発生しない非蛍光性部材を用いて形成された枠部材が前記基準蛍光体の外縁部に設けられている場合において、前記蛍光画像に基づき、前記枠部材に囲まれた内部領域を前記基準蛍光体が存在する領域として特定するとともに、当該特定した領域を前記基準領域として抽出する処理を行う
ことを特徴とする請求項７に記載の診断支援情報表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、診断支援装置及び診断支援情報表示方法に関し、特に、蛍光観察に用いられる診断支援装置及び診断支援情報表示方法に関するものである。

【背景技術】

【0002】

医療分野の内視鏡観察においては、例えば、生体内に投与された蛍光薬剤を励起するための励起光を所望の被写体に照射した際の蛍光の発生状態に基づき、当該所望の被写体に病変部位が含まれているか否か等を診断するような観察手法である、蛍光観察が従来行われている。そして、例えば、日本国特開２００８−１５４８４６号公報には、蛍光観察に利用可能な蛍光内視鏡が開示されている。

【0003】

ここで、内視鏡観察においては、一般的に、被写体と内視鏡との間の距離を一定に保ちながら当該被写体の観察を行うことが困難であるとされている。そのため、内視鏡を用いた蛍光観察において、被写体から発せられる蛍光を撮像して得られる画像には、当該被写体と当該内視鏡との間の距離の変化に応じた蛍光強度の変化が潜在的に含まれ得る。従って、内視鏡を用いた蛍光観察においては、被写体からの蛍光の発生状態の経時変化を、当該被写体と当該内視鏡との間の距離の変化に応じた蛍光強度の変化による影響を排除しつつ、適切に評価することが困難である、という問題点が生じている。

【0004】

一方、日本国特開２００８−１５４８４６号には、前述の問題点を解消可能な手法等について特に言及されていない。そのため、日本国特開２００８−１５４８４６号に開示された構成によれば、被写体からの蛍光の発生状態の経時変化を適切に評価することが困難であることに起因し、内視鏡を用いた蛍光観察により当該被写体の診断を行う術者に過度な負担を強いてしまう場合がある、という前述の問題点に応じた課題が生じている。

【0005】

本発明は、前述した事情に鑑みてなされたものであり、内視鏡を用いた蛍光観察により診断を行う術者の負担を軽減することが可能な診断支援装置及び診断支援情報表示方法を提供することを目的としている。

【発明の開示】

【課題を解決するための手段】

【0006】

本発明の一態様の診断支援装置は、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記蛍光の発生状態の基準として扱う基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行うように構成された領域抽出部と、前記基準領域に含まれる各画素の輝度値の平均値または最大値を代表値として取得し、前記注目領域の輝度値を前記代表値で除して得られる比の値を演算値として前記注目領域の画素毎に算出するための演算処理を行うように構成された演算処理部と、前記演算処理部により算出された前記演算値を格納するように構成された記憶部と、前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行うように構成された画像処理部と、を有する。
本発明の一態様の診断支援装置は、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記励起光に対して既知の蛍光特性を有する基準蛍光体が存在する基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行うように構成された領域抽出部と、前記基準領域に含まれる各画素の輝度値と、前記注目領域に含まれる各画素の輝度値と、に基づき、前記基準領域に対する前記注目領域の前記蛍光の強度比を示す演算値を算出するための演算処理を行うように構成された演算処理部と、前記演算処理部により算出された前記演算値を格納するように構成された記憶部と、前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行うように構成された画像処理部と、を有する。

【0007】

本発明の一態様の診断支援情報表示方法は、領域抽出部が、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記蛍光の発生状態の基準として扱う基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行う領域抽出ステップと、演算処理部が、前記基準領域に含まれる各画素の輝度値の平均値または最大値を代表値として取得し、前記注目領域の輝度値を前記代表値で除して得られる比の値を演算値として前記注目領域の画素毎に算出するための演算処理を行うとともに前記演算値を記憶部に格納させる演算処理ステップと、画像処理部が、前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行う画像処理ステップと、を有する。
本発明の一態様の診断支援情報表示方法は、領域抽出部が、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、前記励起光に対して既知の蛍光特性を有する基準蛍光体が存在する基準領域と、前記蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行う領域抽出ステップと、演算処理部が、前記基準領域に含まれる各画素の輝度値と、前記注目領域に含まれる各画素の輝度値と、に基づき、前記基準領域に対する前記注目領域の前記蛍光の強度比を示す演算値を算出するための演算処理を行うとともに前記演算値を記憶部に格納させる演算処理ステップと、画像処理部が、前記記憶部に格納された前記演算値の経時変化を示す情報を表示装置に表示させるための処理を行う画像処理ステップと、を有する。

【図面の簡単な説明】

【0008】

【図1】実施例に係る診断支援装置を含む内視鏡システムの要部の構成を示す図。

【図2】図１の内視鏡システムの内部構成の一例を説明するための図。

【図3】実施例に係る診断支援装置の処理に用いられる蛍光画像の一例を示す図。

【図4】図３の蛍光画像から基準領域Ａｒ、注目領域Ａｉ１及び注目領域Ａｉ２が抽出された場合の例を示す図。

【図5】実施例に係る診断支援装置により生成される診断支援画像の一例を示す図。

【図6】実施例に係る診断支援装置により生成される診断支援情報の一例を示す図。

【図7】実施例に係る診断支援装置と併用される蛍光部材の構成の一例を示す図。

【図8】図７の蛍光部材を配置した状態で撮像された蛍光画像の一例を示す図。

【発明を実施するための最良の形態】

【0009】

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

【0010】

図１から図８は、本発明の実施例に係るものである。

【0011】

内視鏡システム１は、図１に示すように、被検体内に挿入されるとともに、当該被検体内における生体組織等の被写体を撮像して撮像信号として出力するように構成された内視鏡２と、当該被写体を照明するための照明光を内視鏡２に供給するように構成された光源装置３と、内視鏡２から出力される撮像信号に対して信号処理を施すことにより観察画像等を生成して出力するように構成されたビデオプロセッサ４と、ビデオプロセッサ４から出力される観察画像等を画面上に表示するように構成されたモニタ５と、を有している。図１は、実施例に係る診断支援装置を含む内視鏡システムの要部の構成を示す図である。

【0012】

内視鏡２は、細長の挿入部６を備えた光学視管２Ａと、光学視管２Ａの接眼部７に対して着脱可能なカメラユニット２Ｂと、を有して構成されている。

【0013】

光学視管２Ａは、被検体内に挿入される細長の挿入部６と、挿入部６の基端部に設けられた把持部８と、把持部８の基端部に設けられた接眼部７と、を有して構成されている。

【0014】

挿入部６の内部には、図２に示すように、ケーブル１３ａを介して供給される照明光を伝送するためのライトガイド１１が挿通されている。図２は、図１の内視鏡システムの内部構成の一例を説明するための図である。

【0015】

ライトガイド１１の出射端部は、図２に示すように、挿入部６の先端部における照明レンズ１５の近傍に配置されている。また、ライトガイド１１の入射端部は、把持部８に設けられたライトガイド口金１２に配置されている。

【0016】

ケーブル１３ａの内部には、図２に示すように、光源装置３から供給される照明光を伝送するためのライトガイド１３が挿通されている。また、ケーブル１３ａの一方の端部には、ライトガイド口金１２に対して着脱可能な接続部材（不図示）が設けられている。また、ケーブル１３ａの他方の端部には、光源装置３に対して着脱可能なライトガイドコネクタ１４が設けられている。

【0017】

挿入部６の先端面には、ライトガイド１１により伝送された照明光を外部へ出射するための照明レンズ１５が配置された照明窓（不図示）と、外部から入射される光に応じた光学像を得るための対物レンズ１７が配置された対物窓（不図示）と、が相互に隣接して設けられている。

【0018】

挿入部６の内部には、図２に示すように、対物レンズ１７により得られた光学像を接眼部７へ伝送するためのリレーレンズ１８が設けられている。

【0019】

接眼部７の内部には、図２に示すように、リレーレンズ１８により伝送された光学像を肉眼で観察可能とするための接眼レンズ１９が設けられている。

【0020】

カメラユニット２Ｂは、蛍光観察モード時に接眼レンズ１９を経て入射される戻り光としての蛍光を撮像して蛍光画像を生成する蛍光撮像系と、白色光観察モード時に接眼レンズ１９を経て入射される戻り光としての白色光の反射光を撮像して白色光画像を生成する白色光撮像系と、を具備している。そして、蛍光撮像系及び白色光撮像系は、白色光を反射しかつ蛍光を透過させるような分光特性を有するダイクロイックプリズム２１により、互いに直交する２つの光軸に分けられている。また、カメラユニット２Ｂは、ビデオプロセッサ４に対して着脱可能な信号コネクタ２９を端部に設けた信号ケーブル２８を有して構成されている。

【0021】

カメラユニット２Ｂの蛍光撮像系は、光源装置３から発せられる励起光の波長帯域ＥＷをカットするような分光特性を備えた励起光カットフィルタ２２と、ダイクロイックプリズム２１および励起光カットフィルタ２２を透過した蛍光を結像する結像光学系２３と、結像光学系２３により結像された蛍光を撮像する撮像素子２４と、を備えている。

【0022】

撮像素子２４は、例えば、高感度なモノクロＣＣＤにより構成されている。また、撮像素子２４は、ビデオプロセッサ４から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２４は、結像光学系２３により結像された蛍光を撮像し、当該撮像した蛍光に応じた蛍光画像を生成して出力するように構成されている。

【0023】

カメラユニット２Ｂの白色光撮像系は、ダイクロイックプリズム２１により反射された白色光を結像する結像光学系２５と、結像光学系２５により結像された白色光を撮像する撮像素子２６と、を備えている。

【0024】

撮像素子２６は、例えば、原色系または補色系のカラーフィルタを撮像面に設けたカラーＣＣＤにより構成されている。また、撮像素子２６は、ビデオプロセッサ４から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２６は、結像光学系２５により結像された白色光を撮像し、当該撮像した白色光に応じた白色光画像を生成して出力するように構成されている。

【0025】

一方、カメラユニット２Ｂは、撮像素子２４から出力される蛍光画像及び撮像素子２６から出力される白色光画像に対して所定の信号処理（相関二重サンプリング処理、ゲイン調整処理、及び、Ａ／Ｄ変換処理等）を施すとともに、当該所定の信号処理を施した蛍光画像及び白色光画像を、信号ケーブル２８が接続されたビデオプロセッサ４へ出力するように構成された信号処理回路２７を具備している。

【0026】

光源装置３は、白色光発生部３１と、励起光発生部３２と、ダイクロイックミラー３３及び３４と、集光レンズ３５と、光源制御部３６と、を有して構成されている。

【0027】

白色光発生部３１は、例えば、広帯域な白色光を発するランプまたはＬＥＤ等を具備して構成されている。また、白色光発生部３１は、光源制御部３６の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、白色光発生部３１は、光源制御部３６の制御に応じた光量を具備する白色光を発生するように構成されている。

【0028】

励起光発生部３２は、例えば、被検体内に投与される蛍光薬剤の励起波長を含む所定の波長帯域の光（励起光）を発するＬＥＤ等を具備して構成されている。また、励起光発生部３２は、光源制御部３６の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、励起光発生部３２は、光源制御部３６の制御に応じた光量を具備する励起光を発生するように構成されている。

【0029】

ダイクロイックミラー３３は、例えば、白色光発生部３１から発せられる白色光を集光レンズ３５側へ透過させるとともに、励起光発生部３２から発せられる励起光を集光レンズ３５側へ反射するような光学特性を具備して形成されている。

【0030】

ダイクロイックミラー３４は、例えば、励起光発生部３２から発せられる励起光をダイクロイックミラー３３側へ反射するような光学特性を具備して形成されている。

【0031】

集光レンズ３５は、ダイクロイックミラー３３を経て入射される光を集光してライトガイド１３へ出射するように構成されている。

【0032】

光源制御部３６は、ビデオプロセッサ４から出力される照明制御信号に応じて白色光発生部３１及び励起光発生部３２に対する制御を行うように構成されている。

【0033】

ビデオプロセッサ４は、撮像素子駆動部４１と、画像入力部４２と、領域識別処理部４３と、演算処理部４４と、記憶部４５と、画像処理部４６と、入力Ｉ／Ｆ（インターフェース）５２と、制御部５３と、を有して構成されている。

【0034】

撮像素子駆動部４１は、例えば、ドライバ回路等を具備して構成されている。また、撮像素子駆動部４１は、制御部５３の制御に応じた撮像素子駆動信号を生成して出力するように構成されている。

【0035】

画像入力部４２は、例えば、バッファメモリ等を具備し、カメラユニット２Ｂの信号処理回路２７から順次出力される画像を１フレーム分蓄積するとともに、当該蓄積した画像を１フレーム分ずつ制御部５３へ出力するように構成されている。また、画像入力部４２は、制御部５３の制御に応じ、白色光観察モード時に蓄積した白色光画像を１フレーム分ずつ画像処理部４６へ出力するように構成されている。また、画像入力部４２は、制御部５３の制御に応じ、蛍光観察モード時に蓄積した蛍光画像を１フレーム分ずつ領域識別処理部４３及び画像処理部４６へ出力するように構成されている。

【0036】

領域識別処理部４３は、制御部５３の制御に応じ、例えば、画像入力部４２から１フレーム分ずつ順次出力される蛍光画像に対してラベリング処理を施すことにより、当該蛍光画像に含まれる基準領域Ａｒ（後述）及び注目領域Ａｉ（後述）をそれぞれ識別可能な状態にするとともに、当該ラベリング処理を施した蛍光画像を演算処理部４４へ出力するように構成されている。

【0037】

演算処理部４４は、例えば、演算処理回路を具備して構成されている。また、演算処理部４４は、制御部５３の制御に応じ、領域識別処理部４３から１フレーム分ずつ順次出力される蛍光画像の基準領域Ａｒに含まれる各画素の輝度値と、当該蛍光画像の注目領域Ａｉに含まれる各画素の輝度値と、に基づき、基準領域Ａｒに対する注目領域Ａｉの蛍光の強度比を示す演算値を算出するための演算処理を行うように構成されている。また、演算処理部４４は、制御部５３の制御に応じ、前述の演算処理の処理結果として得られた演算値を記憶部４５及び／または画像処理部４６へ出力するように構成されている。

【0038】

記憶部４５は、例えば、メモリ等を具備し、演算処理部４４から出力される演算値にタイムスタンプを付与して格納するように構成されている。

【0039】

画像処理部４６は、例えば、所定の画像処理を行うための画像処理回路等を具備して構成されている。また、画像処理部４６は、制御部５３の制御に応じ、白色光観察モード時に画像入力部４２から１フレーム分ずつ順次出力される白色光画像に対して所定の画像処理を施すことにより白色光観察画像を生成し、当該生成した白色光観察画像をモニタ５へ出力するように構成されている。また、画像処理部４６は、制御部５３の制御に応じ、蛍光観察モード時に画像入力部４２から１フレーム分ずつ順次出力される蛍光画像に対して所定の画像処理を施すことにより蛍光観察画像を生成し、当該生成した蛍光観察画像をモニタ５へ出力するように構成されている。

【0040】

一方、画像処理部４６は、制御部５３の制御に応じ、蛍光観察モード時において、領域識別処理部４３から出力される蛍光画像と、演算処理部４４から出力される演算値と、記憶部４５から読み込んだ演算値と、に基づいて診断支援情報（後述）をモニタ５に表示させるための処理を行うように構成されている。

【0041】

入力Ｉ／Ｆ５２は、ユーザの操作に応じた指示を行うことが可能な１以上の入力装置を具備して構成されている。具体的には、入力Ｉ／Ｆ５２は、例えば、ユーザの操作に応じ、内視鏡システム１の観察モードを白色光観察モードまたは蛍光観察モードのいずれかに設定する（切り替える）ための指示を行うことが可能な観察モード切替スイッチ（不図示）を具備して構成されている。また、入力Ｉ／Ｆ５２は、例えば、ユーザの操作に応じ、蛍光観察モード時における診断支援情報の表示をオンまたはオフのいずれかに設定する（切り替える）ことが可能な診断支援情報表示スイッチ（不図示）を具備して構成されている。また、入力Ｉ／Ｆ５２は、例えば、ユーザの操作に応じ、蛍光観察モード時にモニタ５に表示される蛍光観察画像内において基準領域Ａｒ及び注目領域Ａｉをそれぞれ設定するための指示を行うことが可能なポインティングデバイス（不図示）を具備して構成されている。

【0042】

制御部５３は、例えば、ＣＰＵ等を具備し、入力Ｉ／Ｆ５２の観察モード切替スイッチにおいてなされた指示に基づき、内視鏡システム１の観察モードに応じた照明光を出射させるための照明制御信号を生成して光源制御部３６へ出力するように構成されている。また、制御部５３は、入力Ｉ／Ｆ５２の観察モード切替スイッチにおいてなされた指示に基づき、内視鏡システム１の観察モードに応じた動作を行わせるための制御を撮像素子駆動部４１、画像入力部４２及び画像処理部４６の各部に対して行うように構成されている。

【0043】

一方、制御部５３は、内視鏡システム１の観察モードが蛍光観察モードに設定され、かつ、診断支援情報の表示がオンに設定されている際に、入力Ｉ／Ｆ５２のポインティングデバイスにおいてなされた指示に基づき、画像入力部４２から出力される蛍光画像の中から基準領域Ａｒ及び注目領域Ａｉをそれぞれ抽出するとともに、当該抽出した基準領域Ａｒに対する注目領域Ａｉの蛍光の発生状態を可視化した情報である診断支援情報をモニタ５に表示させるための制御を領域識別処理部４３、演算処理部４４及び画像処理部４６に対して行うように構成されている。

【0044】

次に、本実施例の内視鏡システム１の動作等について説明する。

【0045】

まず、術者等のユーザは、内視鏡システム１の各部を接続して電源を投入した後、入力Ｉ／Ｆ５２を操作することにより、内視鏡システム１の観察モードを白色光観察モードに設定するための指示を行う。

【0046】

制御部５３は、白色光観察モードに設定されたことを検出すると、光源装置３から白色光を出射させるための照明制御信号を生成して光源制御部３６へ出力する。また、制御部５３は、白色光観察モードに設定されたことを検出すると、カメラユニット２Ｂの撮像素子２６を駆動させるとともに、カメラユニット２Ｂの撮像素子２４を駆動停止させるような制御を撮像素子駆動部４１に対して行う。

【0047】

光源制御部３６は、制御部５３から出力される照明制御信号に応じ、白色光発生部３１を点灯状態にするための制御を行うとともに、励起光発生部３２を消灯状態にするための制御を行う。

【0048】

撮像素子駆動部４１は、制御部５３の制御に応じ、撮像動作を停止させるための撮像素子駆動信号を生成して撮像素子２４へ出力するとともに、所定の露光期間ＥＡ及び所定の読出期間ＲＡで撮像動作を行わせるための撮像素子駆動信号を生成して撮像素子２６へ出力する。

【0049】

そして、以上に述べたような動作が光源制御部３６及び撮像素子駆動部４１において行われることにより、白色光が照明光として被写体に照射され、当該白色光の反射光が撮像素子２６により撮像されるとともに、当該白色光の反射光を撮像して得られた白色光画像が信号処理回路２７を経て画像入力部４２へ出力される。

【0050】

制御部５３は、白色光観察モードに設定されたことを検出すると、カメラユニット２Ｂから順次出力される白色光画像を１フレーム分ずつ画像処理部４６へ出力させるための制御を画像入力部４２に対して行う。また、制御部５３は、白色光観察モードに設定されたことを検出すると、画像入力部４２から１フレーム分ずつ順次出力される白色光画像に対して所定の画像処理を施させるための制御を画像処理部４６に対して行う。

【0051】

そして、以上に述べたような制御が制御部５３において行われることにより、白色光観察画像がモニタ５に表示される。

【0052】

一方、ユーザは、モニタ５に表示される白色光観察画像を確認しながら、挿入部６を被検体の内部に挿入してゆくことにより、挿入部６の先端部を所望の被写体の近傍に配置する。そして、ユーザは、挿入部６の先端部を所望の被写体の近傍に配置した後、入力Ｉ／Ｆ５２を操作することにより、内視鏡システム１の観察モードを蛍光観察モードに設定するための指示を行う。

【0053】

ここで、内視鏡システム１の観察モードが蛍光観察モードに設定された際に行われる具体的な動作等について説明する。なお、以降においては、診断支援情報の表示の設定がオフからオンへ切り替えられる場合を例に挙げて説明する。また、以降においては、内視鏡システム１の観察モードが蛍光観察モードに設定される前に、励起光発生部３２から発せられる励起光に応じた蛍光を発する蛍光薬剤が被検体内に予め投与されているものとして説明を行う。

【0054】

制御部５３は、蛍光観察モードに設定されたことを検出すると、光源装置３から励起光を出射させるための照明制御信号を生成して光源制御部３６へ出力する。また、制御部５３は、蛍光観察モードに設定されたことを検出すると、カメラユニット２Ｂの撮像素子２４を駆動させるとともに、カメラユニット２Ｂの撮像素子２６を駆動停止させるような制御を撮像素子駆動部４１に対して行う。

【0055】

光源制御部３６は、制御部５３から出力される照明制御信号に応じ、白色光発生部３１を消灯状態にするための制御を行うとともに、励起光発生部３２を点灯状態にするための制御を行う。

【0056】

撮像素子駆動部４１は、制御部５３の制御に応じ、撮像動作を停止させるための撮像素子駆動信号を生成して撮像素子２６へ出力するとともに、所定の露光期間ＥＢ及び所定の読出期間ＲＢで撮像動作を行わせるための撮像素子駆動信号を生成して撮像素子２４へ出力する。

【0057】

そして、以上に述べたような動作が光源制御部３６及び撮像素子駆動部４１において行われることにより、励起光が照明光として所望の被写体に照射され、当該励起光により励起された蛍光薬剤から発せられた蛍光が撮像素子２４により撮像され、当該蛍光を撮像して得られた蛍光画像が信号処理回路２７を経て画像入力部４２へ出力される。

【0058】

制御部５３は、蛍光観察モードに設定され、かつ、診断支援情報の表示がオフに設定されたことを検出すると、カメラユニット２Ｂから順次出力される蛍光画像を１フレーム分ずつ画像処理部４６へ出力させるための制御を画像入力部４２に対して行う。また、制御部５３は、蛍光観察モードに設定され、かつ、診断支援情報の表示がオフに設定されたことを検出すると、画像入力部４２から１フレーム分ずつ順次出力される蛍光画像に対して所定の画像処理を施させるための制御を画像処理部４６に対して行う。

【0059】

そして、以上に述べたような制御が制御部５３において行われることにより、蛍光観察画像がモニタ５に表示される。

【0060】

一方、ユーザは、モニタ５に表示される蛍光観察画像を確認しながら、入力Ｉ／Ｆ５２を操作することにより、診断支援情報の表示の設定をオフからオンへ切り替えるための指示を行う。

【0061】

制御部５３は、診断支援情報の表示がオンに設定されたことを検出すると、蛍光観察画像内における基準領域Ａｒ及び注目領域Ａｉの設定を促す文字列等を蛍光観察画像に併せて表示させるための制御を画像処理部４６に対して行う。

【0062】

ユーザは、蛍光観察画像に併せてモニタ５に表示される文字列を確認しながら、入力Ｉ／Ｆ５２を操作することにより、当該蛍光観察画像に含まれる蛍光発生領域の中から、蛍光の発生状態の基準として扱う１つの基準領域Ａｒと、蛍光の発生状態の比較対象として扱う１つ以上の注目領域Ａｉと、をそれぞれ設定するための指示を行う。なお、本実施例の基準領域Ａｒ及び注目領域Ａｉは、１画素以上の画素数を具備する画素領域としてそれぞれ設定されるものとする。

【0063】

領域抽出部としての機能を具備する制御部５３は、入力Ｉ／Ｆ５２においてなされた指示に基づき、画像入力部４２から出力される蛍光画像の中から、基準領域Ａｒ及び注目領域Ａｉをそれぞれ抽出するための処理を行う。

【0064】

ここで、以降においては、例えば、図３の斜線で示すような蛍光発生領域を具備する蛍光画像の中から、図４の一点鎖線で示すような１つの基準領域Ａｒと、図４の破線で示すような２つの注目領域Ａｉ１及びＡｉ２と、がそれぞれ抽出された場合の具体的な処理等について説明する。図３は、実施例に係る診断支援装置の処理に用いられる蛍光画像の一例を示す図である。図４は、図３の蛍光画像から基準領域Ａｒ、注目領域Ａｉ１及び注目領域Ａｉ２が抽出された場合の例を示す図である。

【0065】

制御部５３は、画像入力部４２から出力される蛍光画像の中から基準領域Ａｒ、注目領域Ａｉ１及び注目領域Ａｉ２を抽出した後、基準領域Ａｒに対する注目領域Ａｉ１の現在の蛍光の強度比を示す情報と、基準領域Ａｒに対する注目領域Ａｉ２の現在の蛍光の強度比を示す情報と、を診断支援情報としてモニタ５に表示させるための制御を領域識別処理部４３、演算処理部４４及び画像処理部４６に対して行う。

【0066】

領域識別処理部４３は、制御部５３の制御に応じ、画像入力部４２から１フレーム分ずつ順次出力される蛍光画像に対してラベリング処理を施すことにより、当該蛍光画像に含まれる基準領域Ａｒ、注目領域Ａｉ１及びＡｉ２をそれぞれ識別可能な状態にするとともに、当該ラベリング処理を施した蛍光画像を演算処理部４４へ出力する。

【0067】

演算処理部４４は、制御部５３の制御に応じ、領域識別処理部４３から１フレーム分ずつ順次出力される蛍光画像に含まれる基準領域Ａｒの各画素の輝度値の平均値または最大値を代表値ＲＶとして取得し、当該蛍光画像に含まれる注目領域Ａｉ１の輝度値を当該代表値ＲＶで除して得られる比の値である演算値ＡＶ１を注目領域Ａｉ１の画素毎に算出し、当該蛍光画像に含まれる注目領域Ａｉ２の輝度値を当該代表値ＲＶで除して得られる比の値である演算値ＡＶ２を注目領域Ａｉ２の画素毎に算出するための演算処理を行う。そして、演算処理部４４は、制御部５３の制御に応じ、前述の演算処理の処理結果として得られた各画素の演算値ＡＶ１及びＡＶ２を記憶部４５及び画像処理部４６へそれぞれ出力する。

【0068】

画像処理部４６は、制御部５３の制御に応じ、演算処理部４４から出力される演算値ＡＶ１及びＡＶ２の大きさに基づいて予め決められた複数の色情報の中から、領域識別処理部４３から１フレーム分ずつ順次出力される蛍光画像に含まれる注目領域Ａｉ１及びＡｉ２の各画素に対応する色情報を取得するための処理を行うとともに、当該取得した色情報を用いて当該蛍光画像の注目領域Ａｉ１及びＡｉ２を着色した診断支援画像をモニタ５へ出力するための処理を行う。

【0069】

そして、前述のような画像処理部４６の処理によれば、例えば、図４の注目領域Ａｉ１の各画素において算出された演算値ＡＶ１が相互に同一の値であり、図４の注目領域Ａｉ２の各画素において算出された演算値ＡＶ２が相互に同一の値であり、かつ、演算値ＡＶ１及び当該演算値ＡＶ２が相互に異なる値である場合に、図５に示すような診断支援画像をモニタ５に表示させることができる。図５は、実施例に係る診断支援装置により生成される診断支援画像の一例を示す図である。

【0070】

図５の診断支援画像によれば、例えば、基準領域Ａｒに対する注目領域Ａｉ１の現在の蛍光の強度比を示す情報が色Ｃ１でモニタ５に表示されるとともに、基準領域Ａｒに対する注目領域Ａｉ２の現在の蛍光の強度比を示す情報が色Ｃ２でモニタ５に表示される。すなわち、図５の診断支援画像には、診断支援情報として、基準領域Ａｒに対する注目領域Ａｉ１の現在の蛍光の強度比を可視化した色情報である色Ｃ１と、基準領域Ａｒに対する注目領域Ａｉ２の現在の蛍光の強度比を可視化した色情報である色Ｃ２と、が含まれている。

【0071】

なお、本実施例によれば、以上に述べたような処理が行われるものに限らず、例えば、以降に述べるような、蛍光の強度比の経時変化を示す情報を診断支援情報として表示するための処理が行われるものであってもよい。なお、以降においては、簡単のため、既述の動作等を適用可能な部分に関する具体的な説明を適宜省略するものとする。

【0072】

制御部５３は、画像入力部４２から出力される蛍光画像の中から基準領域Ａｒ、注目領域Ａｉ１及び注目領域Ａｉ２を抽出した後、基準領域Ａｒに対する注目領域Ａｉ１の蛍光の強度比の経時変化と、基準領域Ａｒに対する注目領域Ａｉ２の蛍光の強度比の経時変化と、を診断支援情報としてモニタ５に表示させるための制御を領域識別処理部４３、演算処理部４４及び画像処理部４６に対して行う。

【0073】

領域識別処理部４３は、制御部５３の制御に応じ、画像入力部４２から１フレーム分ずつ順次出力される蛍光画像に対してラベリング処理を施すことにより、当該蛍光画像に含まれる基準領域Ａｒ、注目領域Ａｉ１及びＡｉ２をそれぞれ識別可能な状態にするとともに、当該ラベリング処理を施した蛍光画像を演算処理部４４へ出力する。

【0074】

演算処理部４４は、制御部５３の制御に応じ、領域識別処理部４３から１フレーム分ずつ順次出力される蛍光画像に含まれる基準領域Ａｒの各画素の輝度値の平均値または最大値を代表値ＲＶとして取得し、当該蛍光画像に含まれる注目領域Ａｉ１の各画素の輝度値の平均値または最大値を代表値ＲＶ１として取得し、当該蛍光画像に含まれる注目領域Ａｉ２の各画素の輝度値の平均値または最大値を代表値ＲＶ２として取得し、さらに、当該代表値ＲＶ１を当該代表値ＲＶで除して得られる比の値（＝ＲＶ１／ＲＶ）である演算値ＡＶ３と、当該代表値ＲＶ２を当該代表値ＲＶで除して得られる比の値（＝ＲＶ２／ＲＶ）である演算値ＡＶ４と、を算出するための演算処理を行う。そして、演算処理部４４は、制御部５３の制御に応じ、前述の演算処理の処理結果として得られた演算値ＡＶ３及びＡＶ４を記憶部４５へ同時に出力する。

【0075】

記憶部４５は、演算処理部４４から同時に入力される演算値ＡＶ３及びＡＶ４に対し、同じ時刻を示すタイムスタンプを付与して格納するための処理を行う。

【0076】

すなわち、以上に述べたような処理によれば、例えば、演算処理部４４の処理結果として得られた演算値ＡＶ３及びＡＶ４が、基準領域Ａｒ、注目領域Ａｉ１及び注目領域Ａｉ２が設定された直後の時刻に相当する時刻Ｔｆを起点として１フレーム分ずつ記憶部４５に格納される。

【0077】

画像処理部４６は、制御部５３の制御に応じ、記憶部４５に時系列に格納された演算値ＡＶ３を読み込むとともに、当該読み込んだ演算値ＡＶ３を時系列に並べてプロットしたグラフを診断支援情報としてモニタ５へ出力するための処理を行う。また、画像処理部４６は、制御部５３の制御に応じ、記憶部４５に時系列に格納された演算値ＡＶ４を読み込むとともに、当該読み込んだ演算値ＡＶ４を時系列に並べてプロットしたグラフを診断支援情報としてモニタ５へ出力するための処理を行う。

【0078】

そして、前述のような画像処理部４６の処理によれば、例えば、図６に示すような診断支援情報をモニタ５に表示させることができる。図６は、実施例に係る診断支援装置により生成される診断支援情報の一例を示す図である。

【0079】

図６の診断支援情報によれば、時刻Ｔｆを起点とした演算値ＡＶ３の経時変化が複数の黒塗りの点としてモニタ５に表示されるとともに、時刻Ｔｆを起点とした演算値ＡＶ４の経時変化が複数の白抜きの点としてモニタ５に表示される。

【0080】

なお、本実施例によれば、演算値ＡＶ３及びＡＶ４の経時変化が診断支援情報として表示されるものに限らず、例えば、演算値ＡＶ３及びＡＶ４の経時変化率が診断支援情報として表示されるようにしてもよい。

【0081】

また、本実施例によれば、以上に述べたような処理が行われるものに限らず、例えば、以降に述べるような、注目領域内の所望の画素位置における蛍光の強度比の値を診断支援情報として表示するための処理が行われるものであってもよい。

【0082】

制御部５３は、画像入力部４２から出力される蛍光画像の中から基準領域Ａｒ、注目領域Ａｉ１及び注目領域Ａｉ２を抽出した後、当該抽出した注目領域Ａｉ１または注目領域Ａｉ２のいずれかにおける１つの画素位置の選択を促す文字列等を蛍光観察画像に併せて表示させるための制御を画像処理部４６に対して行う。

【0083】

ユーザは、蛍光観察画像に併せてモニタ５に表示される文字列を確認しながら、入力Ｉ／Ｆ５２を操作することにより、基準領域Ａｒ、注目領域Ａｉ１及び注目領域Ａｉ２の中から１つの注目画素ＰＴを選択するための指示を行う。

【0084】

制御部５３は、入力Ｉ／Ｆ５２においてなされた指示に基づき、画像入力部４２から出力される蛍光画像の中から注目画素ＰＴを特定するとともに、基準領域Ａｒに対する注目画素ＰＴの現在の蛍光の強度比の値をモニタ５に表示させるための制御を領域識別処理部４３、演算処理部４４及び画像処理部４６に対して行う。

【0085】

領域識別処理部４３は、制御部５３の制御に応じ、画像入力部４２から１フレーム分ずつ順次出力される蛍光画像に対してラベリング処理を施すことにより、当該蛍光画像に含まれる基準領域Ａｒ、注目領域Ａｉ１及びＡｉ２をそれぞれ識別可能な状態にするとともに、当該ラベリング処理を施した蛍光画像を演算処理部４４へ出力する。

【0086】

演算処理部４４は、制御部５３の制御に応じ、領域識別処理部４３から１フレーム分ずつ順次出力される蛍光画像に含まれる基準領域Ａｒの各画素の輝度値の平均値または最大値を代表値ＲＶとして取得し、さらに、注目画素ＰＴの輝度値ＰＴＢを当該代表値ＲＶで除して得られる比の値（＝ＰＴＢ／ＲＶ）である演算値ＡＶ５を算出するための演算処理を行う。

【0087】

画像処理部４６は、制御部５３の制御に応じ、演算処理部４４から出力される演算値ＡＶ５を診断支援情報としてモニタ５へ出力するための処理を行う。

【0088】

すなわち、以上に述べたような画像処理部４６の処理によれば、注目領域Ａｉ１及びＡｉ２の中から選択された注目画素ＰＴにおける現在の演算値ＡＶ５が診断支援情報としてモニタ５に表示される。

【0089】

また、本実施例によれば、以上に述べたような処理が行われるものに限らず、例えば、演算値ＡＶ３及び／または演算値ＡＶ４が経時的に変化して所定値ＴＨ１に達した旨を報知するための所定の文字列等をモニタ５に表示させるための処理が行われるものであってもよい。

【0090】

また、本実施例によれば、以上に述べたような処理が行われるものに限らず、例えば、注目領域Ａｉ１及びＡｉ２に含まれる各画素のうち、演算値ＡＶ１が経時的に変化して所定値ＴＨ２に達した画素群と、演算値ＡＶ２が経時的に変化して所定値ＴＨ２に達した画素群と、をそれぞれモニタ５に点滅表示させるための処理が行われるものであってもよい。

【0091】

また、本実施例によれば、以上に述べたような処理が行われるものに限らず、例えば、演算値ＡＶ３及び／または演算値ＡＶ４が経時的に変化して時刻Ｔｇに所定値ＴＨ３に達した場合において、時刻ＴｆからＴｇまでに要した時間をモニタ５に表示させるための処理が行われるものであってもよい。

【0092】

一方、本実施例によれば、例えば、蛍光観察モード時に、ユーザが、入力Ｉ／Ｆ５２を操作することにより、光源装置３から出射される励起光に対して既知の蛍光特性を有する基準蛍光体を配置した領域を基準領域Ａｒとして設定するための指示を行うものであってもよい。なお、このような方法で基準領域Ａｒを設定する場合においては、例えば、日本国特開２００５−３００５４０号公報に開示された蛍光観察用の較正補助手段等を基準蛍光体として用いればよい。

【0093】

また、本実施例によれば、例えば、蛍光観察モード時に、光源装置３から出射される励起光に対して既知の蛍光特性を有する基準蛍光体を撮像して得られた蛍光画像に基づき、当該基準蛍光体が配置された領域を基準領域Ａｒとして抽出するような処理が行われるようにしてもよい。ここで、このような処理が行われる場合の内視鏡システム１の動作等について、以下に説明する。

【0094】

ユーザは、モニタ５に表示される蛍光観察画像を確認しながら、図７に例示するような蛍光部材１０１を所望の被写体の表面に配置する。また、ユーザは、所望の被写体の表面に蛍光部材１０１を配置した後、入力Ｉ／Ｆ５２を操作することにより、診断支援情報の表示の設定をオフからオンへ切り替えるための指示を行う。図７は、実施例に係る診断支援装置と併用される蛍光部材の構成の一例を示す図である。

【0095】

蛍光部材１０１は、例えば、図７に示すように、平面視矩形形状をなす平板部材として形成されている。なお、蛍光部材１０１は、生体内に存在し得ない形状である直線を含む限りにおいては、例えば、星形形状等の他の平面視形状を具備して形成されていてもよい。

【0096】

一方、蛍光部材１０１は、図７に示すように、光源装置３から出射される励起光に対して既知の蛍光特性を有する基準蛍光体１０２と、基準蛍光体１０２の外縁部を囲むように設けられた枠部材１０３と、を有して構成されている。

【0097】

基準蛍光体１０２は、例えば、量子ドット等の蛍光体の表面をガラスで覆うことにより形成されている。

【0098】

枠部材１０３は、例えば、黒色のＰＥＥＫ（ポリエーテルエーテルケトン）樹脂等のような、光源装置３から出射される励起光に応じた蛍光を発生しない非蛍光性部材を用いて形成されている。

【0099】

すなわち、蛍光観察モード時に、所望の被写体の表面に蛍光部材１０１が配置された状態においては、例えば、図８に示すような、基準蛍光体１０２と、基準蛍光体１０２以外の蛍光発生領域と、の境界部分が枠部材１０３により強調された蛍光画像が撮像素子２４により撮像されるとともに画像入力部４２から出力される。図８は、図７の蛍光部材を配置した状態で撮像された蛍光画像の一例を示す図である。

【0100】

制御部５３は、診断支援情報の表示がオンに設定されたことを検出すると、画像入力部４２から出力される蛍光画像に基づき、枠部材１０３に囲まれた内部領域を基準蛍光体１０２が存在する領域として特定するとともに、当該特定した領域を基準領域Ａｒとして抽出する処理を行う。

【0101】

具体的には、制御部５３は、例えば、画像入力部４２から出力される蛍光画像に対してエッジ抽出処理を施すことによりエッジ画像を生成し、当該生成したエッジ画像に対してハフ変換を施すことにより直線形状を抽出し、当該抽出した直線形状に囲まれた内部領域を基準蛍光体１０２が存在する領域として特定し、当該特定した領域を基準領域Ａｒとして抽出するような処理を行う。

【0102】

以上に述べたように、本実施例によれば、１つの基準領域Ａｒに対する１つ以上の注目領域Ａｉの蛍光の発生状態を可視化した診断支援情報をモニタ５に表示させることができる。その結果、本実施例によれば、内視鏡を用いた蛍光観察により診断を行う術者の負担を軽減することができる。

【0103】

なお、本実施例によれば、例えば、１つの診断支援情報のみをモニタ５に表示させるようにしてもよく、複数の診断支援情報を同時にモニタ５に表示させるようにしてもよい。また、本実施例によれば、例えば、蛍光観察画像内に診断支援情報を重畳してモニタ５に表示させるようにしてもよく、モニタ５における蛍光観察画像の表示領域とは別の表示領域に診断支援情報または診断支援画像を表示させるようにしてもよい。

【0104】

本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

【0105】

本出願は、２０１４年１１月２６日に日本国に出願された特願２０１４−２３９１５７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

【要約】

診断支援装置は、被検体内の所望の被写体に励起光を照射した際に発生する蛍光を撮像して得た蛍光画像の中から、蛍光の発生状態の基準として扱う基準領域と、蛍光の発生状態の比較対象として扱う注目領域と、をそれぞれ抽出するための処理を行う領域抽出部と、基準領域に含まれる各画素の輝度値と、注目領域に含まれる各画素の輝度値と、に基づき、基準領域に対する注目領域の蛍光の強度比を示す演算値を算出するための演算処理を行う演算処理部と、演算処理部により算出された演算値を格納する記憶部と、記憶部に格納された演算値の経時変化を示す情報を表示装置に表示させるための処理を行う画像処理部と、を有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】