特許第6042817号(P6042817)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

<>
  • 特許6042817-蛍光観察装置 図000003
  • 特許6042817-蛍光観察装置 図000004
  • 特許6042817-蛍光観察装置 図000005
  • 特許6042817-蛍光観察装置 図000006
  • 特許6042817-蛍光観察装置 図000007
  • 特許6042817-蛍光観察装置 図000008
  • 特許6042817-蛍光観察装置 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6042817
(24)【登録日】2016年11月18日
(45)【発行日】2016年12月14日
(54)【発明の名称】蛍光観察装置
(51)【国際特許分類】
   A61B 1/00 20060101AFI20161206BHJP
   A61B 1/04 20060101ALI20161206BHJP
   A61B 1/06 20060101ALI20161206BHJP
   G02B 23/24 20060101ALI20161206BHJP
【FI】
   A61B1/00 300D
   A61B1/04 372
   A61B1/06 A
   G02B23/24 B
【請求項の数】11
【全頁数】16
(21)【出願番号】特願2013-537472(P2013-537472)
(86)(22)【出願日】2012年9月25日
(86)【国際出願番号】JP2012074560
(87)【国際公開番号】WO2013051431
(87)【国際公開日】20130411
【審査請求日】2015年7月30日
(31)【優先権主張番号】特願2011-222153(P2011-222153)
(32)【優先日】2011年10月6日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100112737
【弁理士】
【氏名又は名称】藤田 考晴
(72)【発明者】
【氏名】渡邉 俊明
【審査官】 樋熊 政一
(56)【参考文献】
【文献】 特開2006−095166(JP,A)
【文献】 特開2008−086605(JP,A)
【文献】 国際公開第2011/080996(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00−1/32
A61B 5/06−5/22
(57)【特許請求の範囲】
【請求項1】
被検体に励起光及び参照光を照射する光源と、
該光源からの前記励起光の照射により前記被検体において発生した蛍光を撮影し蛍光画像を生成する蛍光画像生成部と、
前記光源からの前記参照光の照射により前記被検体から戻る戻り光を撮影し参照画像を生成する参照画像生成部と、
前記参照画像のうち、前記蛍光画像における第1閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成する補正画像生成部と、
前記参照画像又は前記補正画像を表示する画像表示部と、
前記参照画像に基づいて前記被検体の出血領域を検出し、該出血領域が所定の範囲を超えるか否かを判定する出血状態判定部と、
該出状態判定部によって前記出血領域が所定の範囲を超えていないと判定された場合に前記参照画像を前記画像表示部に表示し、出血領域が所定の範囲を超えたと判定された場合に、前記補正画像を前記画像表示部に表示するように切り替える表示画像切替部と、
を備える蛍光観察装置。
【請求項2】
前記補正画像生成部が、前記参照画像のうち、前記出血状態判定部により検出された前記出血領域であって、かつ、前記蛍光画像における第1閾値以上の輝度値の画素と対応する画素を強調するように補正した前記補正画像を生成する請求項1に記載の蛍光観察装置。
【請求項3】
前記補正画像生成部が、前記参照画像のうち、前記蛍光画像における第1閾値以上の輝度の画素と対応する画素の所定の色信号に対して、前記蛍光画像における第1閾値以上の輝度の画素の当該輝度に基づく信号値を加算することにより前記補正画像を生成する請求項1又は請求項2に記載の蛍光観察装置。
【請求項4】
前記補正画像生成部が、前記参照画像のうち、前記蛍光画像における第1閾値以上の輝度値の画素と対応する画素に対して色変換処理を行うことにより前記補正画像を生成する請求項1乃至請求項3の何れか1項に記載の蛍光観察装置。
【請求項5】
前記補正画像生成部が、前記蛍光画像を前記参照画像のR信号で除算した除算画像を生成し、前記参照画像のうち、前記除算画像における第2閾値以上の輝度の画素と対応する画素を強調するように補正した前記補正画像を生成する請求項1に記載の蛍光観察装置。
【請求項6】
前記補正画像生成部が、前記参照画像のうち、前記出血状態判定部により検出された前記出血領域であって、かつ、前記除算画像における第2閾値以上の輝度値の画素と対応する画素を強調するように補正した前記補正画像を生成する請求項5に記載の蛍光観察装置。
【請求項7】
前記補正画像生成部が、前記参照画像のうち、前記除算画像における第2閾値以上の輝度の画素と対応する画素の所定の色信号に対して、前記除算画像における第2閾値以上の輝度の画素の当該輝度に基づく信号値を加算することにより前記補正画像を生成する請求項5又は請求項6に記載の蛍光観察装置。
【請求項8】
前記補正画像生成部が、前記参照画像のうち、前記除算画像における第2閾値以上の輝度値の画素と対応する画素に対して色変換処理を行うことにより前記補正画像を生成する請求項5乃至請求項7の何れか1項に記載の蛍光観察装置。
【請求項9】
前記光源は、前記出血状態判定部によって前記出血領域が所定の範囲を超えていないと判定された場合に前記励起光を照射せずに、前記出血領域が所定の範囲を超えたと判定された場合に前記励起光を照射する請求項1乃至請求項8の何れか1項に記載の蛍光観察装置。
【請求項10】
前記出血状態判定部が、前記参照画像の中心部近傍を含む所定領域における前記出血領域を検出し、前記出血領域が所定の範囲を超えるか否かを判定する請求項1乃至請求項9の何れか1項に記載の蛍光観察装置。
【請求項11】
前記出血状態判定部が、前記参照画像の各画素のR信号に対する信号強度と、該各画素のG信号又はB信号の少なくとも一方とを比較することにより前記出血領域を検出する請求項1乃至請求項10の何れか1項に記載の蛍光観察装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、蛍光観察装置に関するものである。
【背景技術】
【0002】
近年、内視鏡装置によって得られた病変部の画像をモニタで観察しながら、所定の処置具を用いて病変部を処置する所謂内視鏡下外科手術が広く行われている。特許文献1には、このような内視鏡下外科手術に用いられる内視鏡装置或いは内視鏡観察システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−17387号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の内視鏡装置を用いた内視鏡下外科手術において、出血が生じて病変部及び病変部周辺が血液で覆われてしまった場合には、モニタに表示される画像においても病変部及び病変部周辺が血液で覆われた赤色領域の多い画像となる。このため、いったん出血が生じてしまうと、処置対象である病変部や血管、神経等の注意すべき生体組織の位置の把握が難しくなる可能性がある。
【0005】
本発明は、このような事情に鑑みてなされたものであって、手術中に出血が生じた場合であっても、取得される画像において病変部や血管等の所望の組織の領域を把握することができる蛍光観察装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の一態様は、被検体に励起光及び参照光を照射する光源と、該光源からの前記励起光の照射により前記被検体において発生した蛍光を撮影し蛍光画像を生成する蛍光画像生成部と、前記光源からの前記参照光の照射により前記被検体から戻る戻り光を撮影し参照画像を生成する参照画像生成部と、前記参照画像のうち、前記蛍光画像における第1閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成する補正画像生成部と、前記参照画像又は前記補正画像を表示する画像表示部と、前記参照画像に基づいて前記被検体の出血領域を検出し、該出血領域が所定の範囲を超えるか否かを判定する出血状態判定部と、該出状態判定部によって出血領域が所定の範囲を超えていないと判定された場合に前記参照画像を前記画像表示部に表示し、出血領域が所定の範囲を超えたと判定された場合に、前記補正画像を前記画像表示部に表示するように切り替える表示画像切替部と、を備える蛍光観察装置を提供する。
【0007】
本態様によれば、光源から発せられた励起光が被検体に照射されると、蛍光画像生成部により被検体において発生した蛍光に基づく蛍光画像が生成され、光源から発せられた参照光が被検体に照射されると、参照画像生成部によりその戻り光に基づく参照画像が生成される。そして、補正画像生成部により、参照画像に対して、蛍光画像における第1閾値以上の輝度の画素、すなわち、被検体の病変部などから発せられた強い蛍光に起因して高輝度となる画素と対応する参照画像の画素を強調した補正画像が生成される。また、出血状態判定部により、参照画像に基づいて被検体の出血領域が所定の範囲を超えるか否かが判定される。その結果、出血領域が所定の範囲を超えていないと判定された場合に前記参照画像が前記画像表示部に表示され、出血領域が所定の範囲を超えたと判定された場合には補正画像が表示される。
【0008】
すなわち、医師等の観察者は、出血領域が所定の範囲を超えていない場合には、画像表示部に表示されている参照画像を観察しながら処置を行い、処置の過程において、出血が発生することにより出血領域が所定の範囲を超えた場合には、参照画像に代えて画像表示部に表示される補正画像を観察することになる。これにより、蛍光画像における第1閾値以上の輝度の画素、つまり、蛍光物質が特異的に集積する病変部等を強調した補正画像が画像表示部に表示されるので、処置中に出血が生じて病変部や血管等の組織が血液により覆われてしまった場合であっても、当該病変部等の領域を把握することができる。
【0009】
上記した態様においては、前記補正画像生成部が、前記参照画像のうち、前記出血状態判定部により検出された出血領域であって、かつ、前記蛍光画像における第1閾値以上の輝度値の画素と対応する画素を強調するように補正した補正画像を生成することが好ましい。
【0010】
このように、手術中に出血が生じた場合であっても、必ずしも病変部や血管等が全て血液で覆われるとは限らないことから、参照画像のうち、出血状態判定部により検出された出血領域に含まれ、かつ、蛍光画像における第1閾値以上の輝度値の画素と対応する画素を強調した補正画像を生成することで、処理ないしは演算に要する時間や演算量を削減しつつ、病変部や血管等の所望の組織の領域を把握することができる。
【0011】
上記した態様において、前記補正画像生成部が、前記参照画像のうち、前記蛍光画像における第1閾値以上の輝度の画素と対応する画素の所定の色信号に対して、前記蛍光画像における第1閾値以上の輝度の画素の当該輝度に基づく信号値を加算することにより補正画像を生成することが好ましい。
【0012】
このようにすることで、被検体から強く蛍光が発せられた病変部等に対応する画素の信号強度を高くすることができる。その結果、当該画素を強調することができ、補正画像において正確に当該病変部や血管等の所望の組織の領域を把握することができる。
【0013】
上記した態様において、前記補正画像生成部は、前記参照画像のうち、前記蛍光画像における第1閾値以上の輝度値の画素と対応する画素に対して色変換処理を行うことにより補正画像を生成することが好ましい。
【0014】
このようにすることで、被検体から強く蛍光が発せられた病変部等を強調することができ、補正画像において正確に当該病変部等の領域を把握することができる。
【0015】
上記した態様において、前記補正画像生成部が、前記蛍光画像を前記参照画像のR信号で除算した除算画像を生成し、前記参照画像のうち、前記除算画像における第2閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成することが好ましい。
【0016】
このように蛍光画像を参照画像のR信号で除算することにより、出血領域が赤色であることを考慮し、且つ、観察距離や観察角度に依存する蛍光強度変化を軽減した除算画像が生成される。そして、参照画像に対して、除算画像おける第2閾値以上の輝度の画素と対応する画素を強調した補正画像を生成するので、より正確に当該病変部や血管等の所望の組織の領域を把握することができる。
【0017】
上記した態様において、前記補正画像生成部が、前記参照画像のうち、前記出血状態判定部により検出された出血領域であって、かつ、前記除算画像における第2閾値以上の輝度値の画素と対応する画素を強調するように補正した補正画像を生成することが好ましい。
【0018】
このように、手術中に出血が生じた場合であっても、必ずしも病変部や血管等が全て血液で覆われるとは限らないことから、参照画像のうち、出血状態判定部により検出された出血領域に含まれ、かつ、除算画像における第2閾値以上の輝度値の画素と対応する画素を強調した補正画像を生成することで、処理ないしは演算に要する時間や演算量を削減しつつ、病変部や血管等の所望の組織の領域を把握することができる。
【0019】
上記した態様において、前記補正画像生成部が、前記参照画像のうち、前記除算画像における第2閾値以上の輝度の画素と対応する画素の所定の色信号に対して、前記除算画像における第2閾値以上の輝度の画素の当該輝度に基づく信号値を加算することにより補正画像を生成することが好ましい。
【0020】
このようにすることで、被検体から強く蛍光が発せられた病変部等を強調することができるので、補正画像において正確に当該病変部や血管等の所望の組織の領域を把握することができる。
【0021】
上記した態様において、前記補正画像生成部は、前記参照画像のうち、前記除算画像における第2閾値以上の輝度値の画素と対応する画素に対して色変換処理を行うことにより補正画像を生成することが好ましい。
【0022】
このようにすることで、被検体から強く蛍光が発せられた病変部等を強調することができるので、補正画像において正確に当該病変部や血管等の所望の組織の領域を把握することができる。
【0023】
上記した態様において、前記出血状態判定部によって出血領域が所定の範囲を超えていないと判定された場合に前記励起光を照射せずに、出血領域が所定の範囲を超えたと判定された場合に前記励起光を照射することが好ましい。
【0024】
このように、出血領域が所定の範囲を超えたと判定された場合に励起光を照射することで、蛍光色素の褪色を防止することができる。すなわち、蛍光画像を得るには、被検体に予め蛍光薬剤を投与しておく必要があるところ、長時間に及ぶ手術中に励起光を照射し続けると蛍光薬剤による蛍光が褪色する。そこで、必要に応じて励起光を照射することで、蛍光色素の褪色を防止し、高品質な蛍光画像を取得することにより、延いては、補正画像において正確に病変部や血管等の所望の組織の領域を把握することができる。
【0025】
上記した態様において、前記出血状態判定部が、前記参照画像の中心部近傍を含む所定領域における出血領域を検出し、該出血領域が所定の範囲を超えるか否かを判定することが好ましい。
【0026】
このようにすることで、処理ないしは演算に要する時間や演算量を削減しつつ、病変部や血管等の所望の組織の領域を把握することができる。すなわち、一般に、術者は、手術中において、病変部など処置対象部位を表示部の中心となるように参照画像を取得する。また、出血が生じた場合であっても、例えば、出血領域が処置に無関係であって、参照画像の端部である場合もある。そこで、参照画像の中心部近傍を含む所定領域における出血領域を検出すると共に出血領域が所定の範囲を超えるか否かを判定することにより、処理ないしは演算に要する時間や演算量を削減することができる。
【0027】
上記した態様において、前記出血状態判定部が、前記参照画像の各画素のR信号に対する信号強度と、該各画素のG信号又はB信号の少なくとも一方とを比較することにより出血領域を検出してもよい。
このようにすることで、血液の色である赤色を効果的に検出するので、正確に出血領域を検出することができる。
【発明の効果】
【0028】
本発明によれば、手術中に出血が生じた場合であっても、取得される画像において病変部や血管等の所望の組織の領域を把握することができるという効果を奏する。
【図面の簡単な説明】
【0029】
図1】本発明の第1の実施形態に係る内視鏡装置の概略構成図である。
図2】本発明の第1の実施形態に係る内視鏡装置において生成される白色光画像及び補正画像の説明図である。
図3】本発明の第1の実施形態に係る内視鏡装置において出血状態を判定する場合のフローチャートである。
図4】本発明の第1の実施形態の変形例に係る内視鏡装置の作用を示すフローチャートである。
図5】本発明の第3の実施形態の変形例に係る内視鏡装置の概略構成図である。
図6】本発明の第4の実施形態の変形例に係る内視鏡装置において出血状態を判定する場合のフローチャートである。
図7】本発明の第5の実施形態に係る内視鏡装置の概略構成図である。
【発明を実施するための形態】
【0030】
(第1の実施形態)
以下、本発明の第1の実施形態について、図面を参照して説明する。
本実施形態に係る蛍光観察装置としての内視鏡装置100は、図1に示すように、体腔内に挿入される細長いスコープ2と、スコープ2の先端2aから射出させる照明光を発する光源10を備える照明ユニット20と、スコープ2内に配置され被検体である処置対象部位Xの画像情報を取得する撮影ユニット30と、撮影ユニット30により取得された画像情報を処理する画像処理部40と、画像処理部40により処理された画像及び画像情報等を表示するモニタ(画像表示部)50とを備えている。
【0031】
光源10は、照明光を発するキセノンランプ(Xeランプ)11と、キセノンランプ11から発せられた照明光から励起光を含む白色光を切り出す励起光フィルタ13と、励起光フィルタ13により切り出された励起光を含む白色光を集光するカップリングレンズ15とを備えている。励起光フィルタ13は、例えば、波長帯域が400〜740nmの励起光を含む白色光を切り出すようになっている。
【0032】
また、照明ユニット20には、スコープ2の長手方向の略全長にわたって配置されたライトガイドファイバ21と、スコープ2の先端2aに配置された拡散レンズ23とが備えられている。
ライトガイドファイバ21は、カップリングレンズ15によって集光された励起光を含む白色光をスコープ2の先端2aまで導光するものである。拡散レンズ23は、ライトガイドファイバ21により導光された励起光を含む白色光を拡散させて処置対象部位Xに照射するようになっている。
【0033】
撮影ユニット30は、照明ユニット20により励起光を含む白色光が照射された処置対象部位Xから戻る戻り光を集光する対物レンズ31と、対物レンズ31により集光された戻り光を波長ごとに分岐するビームスプリッタ33とを備えている。
対物レンズ31は、スコープ2の先端2aに拡散レンズ23と並列して配置されている。ビームスプリッタ33は、戻り光のうち、励起波長以上の光(励起光及び蛍光)を反射し、励起波長より波長が短い白色光(戻り光)を透過するようになっている。
【0034】
また、この撮影ユニット30には、ビームスプリッタ33により反射された励起光及び蛍光のうち、励起光を遮断して蛍光(例えば、近赤外蛍光)のみを透過させる励起光カットフィルタ35と、励起光カットフィルタ35を透過した蛍光を集光する集光レンズ37A及びビームスプリッタ33を透過した白色光を集光する集光レンズ37Bと、集光レンズ37Aにより集光された蛍光を撮影する蛍光撮影部38及び集光レンズ37Bにより集光された白色光を撮影する白色光撮影部39とを備えている。
【0035】
励起光カットフィルタ35は、例えば、波長帯域が765〜850nmの蛍光のみを透過させる。蛍光撮影部38は、例えば、蛍光用の高感度モノクロCCDであり、この蛍光撮影部38は、蛍光を撮影することにより蛍光画像情報を取得するようになっている。白色光撮影部39は、例えば、白色光用のカラーCCDであり、モザイクフィルタ(図示略)を備えている。この白色光撮影部39は、白色光を撮影することにより白色光画像情報を取得するようになっている。
【0036】
画像処理部40は、蛍光画像を生成する蛍光画像生成部41と、白色光画像(参照画像)を生成する白色光画像生成部(参照画像生成部)42と、白色光画像生成部42により生成された白色光画像を補正して補正画像を生成する補正画像生成部43と、白色光画像に基づいて処置対象部位Xの出血状態を判定する出血状態判定部44と、出血状態判定部44の判定結果に基づいてモニタ50に表示する画像を切り替える表示画像切替部45と、を備えている。
【0037】
蛍光画像生成部41は、蛍光撮影部38により取得された蛍光画像情報から2次元的な蛍光画像を生成し、生成した蛍光画像を補正画像生成部43に出力する。
白色光画像生成部42は、白色光撮影部39により取得された白色光画像情報から2次元的な白色光画像を生成し、生成した白色光画像を補正画像生成部43、出血状態判定部44及び表示画像切替部45に出力する。なお、図2(A)に処置対象部位Xの白色光画像の例を示し、図2(B)に、処置対象部位Xに出血した場合の白色光画像の例を示した。
【0038】
補正画像生成部43は、白色光画像のうち、蛍光画像における第1閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成する。すなわち、処置対象部位Xにおける病変部などから発せられた強い蛍光に起因して高輝度となる画素と対応する白色光画像の画素を強調した補正画像を生成する。なお、図2(C)に補正画像の例を示した。
【0039】
具体的には、補正画像生成部43による補正画像の生成は以下のように行われる。補正画像生成部43は、蛍光画像から画素毎に予め定めた第1閾値と比較して第1閾値以上の輝度の画素を抽出し、白色光画像のうち、蛍光画像における第1閾値以上の輝度の画素と対応する画素からなる領域を補正対象領域と定める。
そして、例えば、以下の数式のように、白色光画像の補正対象領域の各画素のGチャンネルに対して、蛍光画像における対応する各画素の信号値(例えば、輝度値の定数倍)を加算する。
【0040】
Og(i)=Wg(i)+αF(i)
Or(i)=Wr(i)
Ob(i)=Wb(i)
ここで、αは、予め定められた定数であって、Or(i),Og(i),Ob(i)は補正画像のi番目の画素におけるR,G,Bチャンネルの信号強度であり、Wr(i),Wg(i),Wb(i)は白色光画像のi番目の画素におけるR,G,Bチャンネルの信号強度であり、F(i)は蛍光画像のi番目の画素における信号強度である。
このように、補正対象領域の各画素の特定の色信号(例えば、Gチャンネル)に対して、蛍光画像における対応する各画素の輝度に基づく信号値を加算することにより当該画素を強調した、すなわち、補正対象領域を強調した補正画像を生成する。
【0041】
出血状態判定部44は、白色光画像生成部42から入力された白色光画像に基づいて処置対象部位Xの出血領域を検出し、出血領域が所定の範囲を超えるか否かを判定し、判定結果を表示画像切替部45に出力する。具体的には、出血状態判定部44は、白色光画像に含まれる全画素から、各画素のRチャンネルの信号値が所定の閾値Aを超える画素を抽出し、さらに、抽出された各画素のRチャンネルの信号値に対するGチャンネルの信号値が閾値Bよりも低い画素を出血画素とし、この出血画素からなる領域を出血領域として検出する。
【0042】
そして、検出された出血領域が所定の範囲を超えた場合、すなわち出血画素の総数が所定の閾値Cよりも大きい場合は、出血領域が大きいため出血状態と判定する。また、出血領域が所定の範囲を超えていないと判定された場合、すなわち、出血画素の総数が閾値Cよりも小さい場合には、出血領域が小さいため出血状態でないと判定する。
【0043】
表示画像切替部45は、出血状態判定部44の判定結果に基づいて、出血領域が所定の範囲を超えていないと判定された場合、すなわち出血状態でないと判定された場合に白色光画像をモニタ50に表示し、出血領域が所定の範囲を超えたと判定された場合、すなわち出血状態であると判定された場合に、補正画像をモニタ50に表示するように切り替える。
【0044】
このように構成された本実施形態に係る内視鏡装置100を用いて体腔内における処置対象部位Xに対して所望の処置(手術)を行う際に、処置対象部位Xが出血したか否かの流れ、すなわち、出血状態判定部44による出血状態の判定の流れについて図3のフローチャートに従って説明する。
【0045】
出血状態判定部44は、ステップS111で、白色光画像生成部42にて生成された白色光画像の入力を受け付け、次のステップS112で白色光画像中の出血画素数のカウントを開始する。すなわち、ステップS112で、出血状態判定部44は、白色光画像中の全画素に対して画素毎に出血画素であるか否かを判定し、出血画素の総数の計算を開始する。この計算の開始時において、出血画素の総数Cnt=0であり、白色光画像中の予め定めた1番目の画素(i=1)から順に白色光画像中の全画素に対して出血画素であるか否かの判定を行う。出血状態判定部44は、ステップS112からステップS117において、出血画素の総数を計算することにより処置対象領域中の出血領域を検出する。
【0046】
次のステップS113で、まず1番目の画素から順にRチャンネルの信号値(以下、R信号という)と所定の閾値Aとを比較し、R信号が所定の閾値Aを下回った判定された場合は、当該画素が出血していないとしてステップS114に進み、次の画素に対する出血画素であるか否かの判定に進む。これは、血液が赤色であることから、R信号の値が小さい場合には赤色が検出されていないとして当該画素が出血していないと判断できるためである。一方、R信号が所定の閾値Aを超えたと判定された場合には、当該画素が出血している可能性があるとして次のステップS115に進む。
【0047】
次のステップS115では、当該画素のR信号に対するGチャンネルの信号値(以下、G信号という)の値、すなわち、G信号/R信号と所定の閾値Bとを比較し、G信号/R信号が閾値Bを超えた場合には、当該画素が出血していないとしてステップS114に進み、次の画素に対する出血画素であるか否かの判定に進む。一方、G信号/R信号が閾値Bを下回った場合には、当該画素が出血しているとして次のステップS116に進む。これは、当該画素が出血している場合には、R信号が高く、G信号ないしはB信号が吸収されてしまい、G信号ないしはB信号の値が小さくなるのでG信号/R信号の値も小さくなる。従って、G信号/R信号が閾値Bより小さい場合は、当該画素が出血していると判断できるためである。
【0048】
次のステップS116では、ステップS115において出血画素と判定された画素を出血画素の総数に計上する。ステップS117では、白色光画像の全画素数と出血画素の判定を行った画素数とを比較することにより、出血画素であるか否かの判定が白色光画像の全画素に対して行われたかを判断する。判断の結果、全画素に対して出血画素の判定が行われていないと判定された場合には、ステップS114に進み、次の画素に対する出血画素であるか否かの判定に進む。
【0049】
判断の結果、全画素に対して出血画素の判定が行われたと判定された場合には、ステップS118に進む。ステップS118では、ステップS112からステップS117において、出血画素の総数を計算することにより検出された処置対象領域中の出血領域を所定の閾値Cと比較することにより、処置対象領域の出血状態を判定する。すなわち、出血状態判定部44は、ステップS118において、それまでに計上された出血画素の総数(Cnt)を所定の閾値Cと比較し、出血画素の総数が閾値Cを上回る場合には出血領域が大きいため、ステップS119に進み出血状態と判定する。出血画素の総数が閾値Cを下回る場合には出血領域が小さいため、ステップS120に進み出血状態でないと判定する。ステップS121では、出血状態又は出血状態でない、の何れかの判定結果を表示画像切替部45に出力する。
【0050】
続いて、上述のように構成された本実施形態に係る内視鏡装置100を用いて体腔内における処置対象部位Xに対して所望の処置(手術)を行う場合の流れについて、図4のフローチャートに従って説明する。
まず、内視鏡装置100を用いて生体の体腔内の処置対象部位Xを手術する際に、癌細胞等の病変部に特異的に集積する蛍光薬剤を処置対象部位Xに付着または吸収させ、その後、処置対象部位Xの画像情報を取得する(ステップS211)。すなわち、蛍光薬剤を処置対象部位Xに付着または吸収させた状態で、処置対象部位Xに励起光を照射することにより、蛍光薬剤を励起し処置対象部位Xから蛍光を生じさせる。
【0051】
より具体的には、本実施形態においては、蛍光薬剤を処置対象部位Xに付着または吸収させた状態で、体腔内にスコープ2を挿入して先端2aを処置対象部位Xに対向させる。この状態で、光源10を作動させることによりキセノンランプ11から発せられて励起光フィルタ13によって切り出される励起光を含む白色光が、カップリングレンズ15により集光され、ライトガイドファイバ21によりスコープ2の先端2aへと導光される。そして、この白色光が拡散レンズ23により拡散され、処置対象部位Xに照射される。
【0052】
処置対象部位Xにおいては、内部に含まれている蛍光物質が励起光によって励起されることにより蛍光が発せられるとともに、表面において白色光及び励起光の一部が反射させられる。これら蛍光、白色光及び励起光は、対物レンズ31により集光され、ビームスプリッタ33により励起波長以上の光、すなわち、励起光及び蛍光が反射され、励起波長より波長が短い白色光は透過させられる。
【0053】
ビームスプリッタ33により反射された励起光及び蛍光は、励起光カットフィルタ35により励起光が除去され、蛍光のみが集光レンズ37Aにより集光されて蛍光撮影部38により撮影される。これにより、蛍光撮影部38において処置対象部位Xの蛍光画像情報が取得される。また、ビームスプリッタ33を透過した白色光は、集光レンズ37Bによって集光され、白色光撮影部39により撮影される。これにより、白色光撮影部39において、処置対象部位Xの白色光画像情報が取得される。なお、蛍光画像情報と白色光画像情報は、どちらを先に取得してもよいし同時に取得してもよい。
【0054】
次のステップS212では、蛍光撮影部38により取得された蛍光画像情報及び白色光撮影部39により取得された白色光画像情報が、それぞれ画像処理部40の蛍光画像生成部41及び白色光画像生成部42に入力される。蛍光画像生成部41では、蛍光画像情報に基づいて2次元的な蛍光画像を生成し、生成された蛍光画像は、補正画像生成部43に出力される。また、白色光画像生成部42では、白色光画像情報に基づいて2次元的な白色光画像を生成し、生成された白色光画像は補正画像生成部43、出血状態判定部44及び表示画像切替部45に出力される。
【0055】
次のステップS213では、補正画像生成部43において、補正画像を生成する。すなわち、補正画像生成部43は、蛍光画像から画素毎に予め定めた第1閾値と比較して第1閾値以上の輝度の画素を抽出し、白色光画像のうち、蛍光画像における第1閾値以上の輝度の画素と対応する画素のGチャンネルに対して、蛍光画像における対応する各画素の輝度値の定数倍を加算することにより補正画像を生成し、生成された補正画像を表示画像切替部45に出力する。
【0056】
次のステップS214では、上述のように出血状態判定部44により処置対象部位Xの出血状態を判定し、判定結果を表示画像切替部45に出力する。ステップS215では、表示画像切替部45によって出血状態判定部44からの判定結果に応じて表示画像を切り替える。すなわち、ステップS215では、表示画像切替部45に入力された出血状態の判定結果が如何なるものであったかを判断し、出血状態でないとの判定結果が入力された場合にはステップS217に進み、出血状態であるとの判定結果が入力された場合にはステップS216に進む。
ステップS217では、出血状態でないことからモニタ50に白色光画像を表示し、次の画像情報の取得のため、ステップS211に戻る。また、ステップS216では、出血状態であるためモニタ50に補正画像を表示する。
【0057】
以上説明したように、本実施形態に係る内視鏡装置100によれば、出血領域を検出すると共に出血領域が所定の範囲を超えた場合に処置対象部位が出血状態にあることを判定し、白色光画像中の第1閾値以上の輝度の画素を強調することにより、出血によって覆われてしまった病変部や血管等の組織を強調した補正画像をモニタに表示するので、手術中に出血が生じて病変部や血管等の組織が血液により覆われてしまった場合であっても、当該病変部や血管等の所望の組織の領域を把握することができる。
【0058】
励起光及び蛍光は、血液に吸収されにくい波長の光(例えば近赤外光700nm−1000nm)を選択することが望ましい。
これにより、組織が血で覆われている場合においても、励起光の多くが蛍光薬剤を含む組織に到達し、組織で発生した蛍光も多く内視鏡に到達することができる。
【0059】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
上記した第1の実施形態に係る内視鏡装置100では、補正画像生成部43は、白色光画像の補正対象領域の各画素のG信号に、蛍光画像における対応する各画素の信号値の定数倍を加算して補正画像を生成することとしたが、このような構成に限られるものではなく、例えば、補正画像生成部43が、白色光画像のうち、蛍光画像における第1閾値以上の輝度値の画素と対応する画素に対して色変換処理を行うことにより補正画像を生成してもよい。
【0060】
具体的には、補正画像生成部43は、蛍光画像から画素毎に予め定めた第1閾値と比較して第1閾値以上の輝度の画素を抽出し、白色光画像のうち、蛍光画像における第1閾値以上の輝度の画素と対応する画素からなる領域を補正対象領域と定める。
そして、白色光画像の補正対象領域に対して、例えば以下のような色変換マトリクスを乗じることにより、血液で赤くなった補正対象領域を緑色に変換する。
【0061】
【数1】
【0062】
ここで、Or(i),Og(i),Ob(i)は補正画像のi番目の画素におけるR,G,Bチャンネルの信号強度であり、Wr(i),Wg(i),Wb(i)は白色光画像のi番目の画素におけるR,G,Bチャンネルの信号強度である。
【0063】
このように、補正対象領域に色変換マトリクスを乗じることで、補正対象領域の赤色を他の色に変換することができ、補正対象領域、すなわち出血によって覆われてしまった病変部や血管等の組織を、出血の色とは異なる色に変えて表示することで容易に把握することができる。なお、補正対象領域に色変換マトリクスを乗じた場合、補正対象領域に含まれる画素の明暗に関する情報は維持され色のみを変更することができる。上記した数式1においては、補正対象領域の赤色を緑色に変換する例を示したが、これに限られず、例えば青色等に変換してもよい。
【0064】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
上記した第1の実施形態に係る内視鏡装置100では、補正画像生成部43は、白色光画像のうち、蛍光画像における第1閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成したが、本実施形態においては、白色光画像のうち、蛍光画像を白色光画像のR信号により除算した除算画像における第2閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成する。
【0065】
このため、図5に示すように、本変形例にかかる内視鏡装置200は、補正画像生成部43が蛍光画像を白色光画像により除算した除算画像を生成する除算画像生成部46を備えている。
除算画像生成部46では、蛍光画像生成部41から入力された蛍光画像を白色光画像生成部42から入力された白色光画像のR信号で除算することにより除算画像を生成する。そして、補正画像生成部43では、除算画像から画素毎に予め定めた第2閾値と比較して第2閾値以上の輝度の画素を抽出し、白色光画像のうち、除算画像における第2閾値以上の輝度の画素と対応する画素からなる領域を補正対象領域と定める。
【0066】
そして、補正画像生成部43は、上述した第1の実施形態又は第2の実施形態のように、除算画像に基づいて抽出された補正対象領域の各画素のGチャンネルに対して、蛍光画像における対応する各画素の信号値(例えば、輝度値の定数倍)を加算したり、補正対象領域に色変換マトリクスを乗じることにより補正画像を生成する。
【0067】
このように、蛍光画像を参照画像のR信号で除算することにより、出血領域が赤色であることを考慮し、且つ、観察距離や観察角度に依存する蛍光強度変化を軽減した除算画像が生成される。そして、白色光画像に対して、除算画像おける第2閾値以上の輝度の画素と対応する画素を強調した補正画像を生成するので、より正確に当該病変部や血管等の所望の組織の領域を把握することができる。
【0068】
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。
上述した第1の実施形態乃至第3の実施形態においては、出血状態の判定を処置対象部位X全体、すなわち、白色光画像全体に亘って行っていた。しかし、通常は処置対象部位Xのうち、特に病変部等の処置すべき箇所をモニタの中心に表示して処置を進めることが一般的である。そこで、本実施形態においては、出血状態判定部44が、白色光画像の中心部近傍を含む所定領域対して出血状態を判定する例について図6のフローチャートを参照して説明する。所定領域としては、例えば、表示画像の上下左右から1/4を除いた中心領域を例示する。
【0069】
図6は、出血状態判定部44が、白色光画像の中心部近傍を含む所定領域対して出血状態を判定する場合の流れを示している。出血状態判定部44は、ステップS311において、白色光画像生成部42にて生成された白色光画像の入力を受け付け、次のステップS312で中心部近傍を含む予め定められた出血判定領域を検出すると共に、出血判定領域中のエッジ検出を行う。病変部等の処置すべき個所には、処置具としての鉗子等が存在するが、鉗子の白色光画像における色乃至輝度は生体組織のそれと大きく異なる。従って、ステップS312で、エッジ検出を行うことにより出血判定領域を生体組織の領域と生体組織以外の領域とに領域分けを行う。そして、次のステップS313で、生体組織領域中の全画素のR信号の平均信号強度Rmvを算出し、さらに次のステップS314で生体組織中の全画素のG信号の平均信号強度Gmvを算出する。
【0070】
次のステップS315では、平均信号強度Gmvに対する平均信号強度Rmv(Gmv/Rmv)と所定の閾値Bmvとを比較し、Gmv/Rmvが閾値Bmvを超えた場合には、当該画素が出血していないとしてステップS317に進み、Gmv/Rmvが閾値Bmvを下回った場合には、当該画素が出血しているとして次のステップS316に進む。
【0071】
これは、出血判定領域が出血している場合にはRmvが高くなるのでGmv/Rmvの値も高くなり、出血判定領域が出血していない場合にはRmvが小さくなるのでGmv/Rmvの値も小さくなる。従って、Gmv/Rmvが閾値Bmvより大きい場合には、出血判定領域が出血状態であると判定でき、Gmv/RmvがBmvより小さい場合は、出血判定領域が出血状態でないと判断できるためである。ステップS318では、出血状態又は出血状態でない、の何れかの判定結果を表示画像切替部45に出力する。
【0072】
画像演算における計算コストを少なくすることができ、画像表示の遅延を小さくすることができる。
【0073】
(第5の実施形態)
続いて、本発明の第5の実施形態について説明する。
蛍光画像を得るには、処置に先立って、癌細胞等の病変部に特異的に集積する蛍光薬剤を処置対象部位Xに付着または吸収させておく必要がある。しかし、処置や手術が長時間に及ぶような場合に、励起光を照射し続けると蛍光薬剤による蛍光が褪色する。このため、本実施形態では、図7に示すように、光源10を制御する光源制御部52を設けた内視鏡装置300を示した。
【0074】
光源制御部52は、出血状態判定部44から出血状態の判定結果を受信し、受信した判定結果が出血状態であった場合に、光源10に対して励起光を照射するための指令信号を出力する。このように、必要に応じて励起光を照射することで、蛍光色素の褪色を防止することができるので、褪色に起因して蛍光画像の品質が低下する虞がなく、補正画像において正確に病変部や血管等の所望の組織の領域を把握することができる。
【0075】
なお、上述した実施形態においては、出血状態であると判定された場合には、白色光画像の蛍光画像の所定の輝度以上の画素と対応する画素の全てを強調した補正画像を生成する例を示したが、これに限られるものではない。例えば、出血状態判定部44から出血状態に係る情報を画像補正部に出力することにより、画像補正部43において、出血状態判定部44により出血していると判定された領域に含まれ、且つ、病変部すなわち白色光画像の蛍光画像の所定の輝度以上の画素と対応する画素のみを強調した補正画像を生成することもできる。このようにすることで、補正画像作成の処理ないしは演算に要する時間や演算量を削減しつつ、病変部や血管等の所望の組織の領域を把握することができる。
また、本実施形態においては、内視鏡装置を例示して説明したが、これに限定されるものではなく、他の任意の蛍光観察装置に適用することにしてもよい。
【符号の説明】
【0076】
10 光源
41 蛍光画像生成部
42 白色光画像生成部(参照画像生成部)
43 補正画像生成部
44 出血状態判定部
45 表示画像切替部
46 除算画像生成部
50 モニタ(画像表示部)
52 光源制御部
100 内視鏡装置(蛍光観察装置)
200 内視鏡装置(蛍光観察装置)
300 内視鏡装置(蛍光観察装置)
図1
図2
図3
図4
図5
図6
図7