特許第5993237号(P5993237)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

<>
  • 特許5993237-蛍光観察装置 図000002
  • 特許5993237-蛍光観察装置 図000003
  • 特許5993237-蛍光観察装置 図000004
  • 特許5993237-蛍光観察装置 図000005
  • 特許5993237-蛍光観察装置 図000006
  • 特許5993237-蛍光観察装置 図000007
  • 特許5993237-蛍光観察装置 図000008
  • 特許5993237-蛍光観察装置 図000009
  • 特許5993237-蛍光観察装置 図000010
  • 特許5993237-蛍光観察装置 図000011
  • 特許5993237-蛍光観察装置 図000012
  • 特許5993237-蛍光観察装置 図000013
  • 特許5993237-蛍光観察装置 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5993237
(24)【登録日】2016年8月26日
(45)【発行日】2016年9月14日
(54)【発明の名称】蛍光観察装置
(51)【国際特許分類】
   A61B 1/00 20060101AFI20160901BHJP
   A61B 1/04 20060101ALI20160901BHJP
   G01N 21/64 20060101ALI20160901BHJP
【FI】
   A61B1/00 300D
   A61B1/04 372
   G01N21/64 Z
【請求項の数】10
【全頁数】16
(21)【出願番号】特願2012-164924(P2012-164924)
(22)【出願日】2012年7月25日
(65)【公開番号】特開2014-23628(P2014-23628A)
(43)【公開日】2014年2月6日
【審査請求日】2015年6月11日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100112737
【弁理士】
【氏名又は名称】藤田 考晴
(72)【発明者】
【氏名】久保 圭
(72)【発明者】
【氏名】石原 康成
(72)【発明者】
【氏名】志田 裕美
(72)【発明者】
【氏名】竹腰 聡
【審査官】 ▲高▼ 芳徳
(56)【参考文献】
【文献】 特開2012−090889(JP,A)
【文献】 特開2011−104016(JP,A)
【文献】 特開2010−005056(JP,A)
【文献】 特開2011−254937(JP,A)
【文献】 特開2012−050617(JP,A)
【文献】 特開2011−161046(JP,A)
【文献】 特開2005−091349(JP,A)
【文献】 特開2003−126014(JP,A)
【文献】 特開2010−233843(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 − 1/32
G01N 21/64
(57)【特許請求の範囲】
【請求項1】
観察対象に励起光を照射する光源と、
該光源からの前記励起光の照射により前記観察対象において発生した蛍光を撮影し蛍光画像を生成する蛍光画像生成部と、
該蛍光画像生成部により生成された前記蛍光画像内において、所定の閾値以上の輝度値を有する高輝度領域の位置を抽出する抽出部と、
該抽出部により抽出された高輝度領域の位置を記憶する記憶部と、
前記高輝度領域の特性の変化の要因となり得る物理量の、前記抽出部により前記高輝度領域の位置が抽出された時刻からの変化量を検出する検出部と、
該検出部により検出された前記変化量に基づいて、前記抽出部により抽出された前記高輝度領域の特性の信頼度を算出する信頼度算出部と、
前記記憶部に記憶されている前記高輝度領域の位置に前記信頼度算出部により算出された前記信頼度に応じた表示態様を付与した表示画像を生成する表示画像生成部とを備える蛍光観察装置。
【請求項2】
前記検出部が、前記抽出部により前記高輝度領域の位置が抽出された時刻からの経過時間を前記物理量の変化量として検出する請求項1に記載の蛍光観察装置。
【請求項3】
前記光源が、前記励起光と共に参照光を前記観察対象に照射し、
前記光源からの前記参照光の照射により前記観察対象から戻る戻り光を撮影し参照画像を生成する参照画像生成部を備え、
前記検出部が、前記参照画像生成部により生成された前記参照画像における、前記抽出部により前記高輝度領域の位置が抽出された時刻からの前記観察対象の移動量を前記物理量の変化量として検出する請求項1または請求項2に記載の蛍光観察装置。
【請求項4】
前記信頼度算出部が、前記物理量の変化量の増加に伴って減少する関数に従って前記信頼度を算出する請求項2または請求項3に記載の蛍光観察装置。
【請求項5】
前記信頼度算出部が、前記経過時間の増加に伴って減少する、前記蛍光の強度の退色特性に基づく関数に従って、前記信頼度を算出する請求項2に記載の蛍光観察装置。
【請求項6】
前記検出部が、前記経過時間に加えて、前記励起光の強度を検出し、
前記信頼度算出部が、前記経過時間と前記励起光の強度との積の増加に伴って減少する、前記蛍光の退色特性に基づく関数に従って、前記信頼度を算出する請求項5に記載の蛍光観察装置。
【請求項7】
前記関数が、前記観察対象毎に設定されている請求項4から請求項6のいずれかに記載の蛍光観察装置。
【請求項8】
前記信頼度算出部は、前記物理量の変化量が所定の閾値以上となったときに、前記信頼度を0%と算出する請求項1から請求項7のいずれかに記載の蛍光観察装置。
【請求項9】
前記記憶部は、前記抽出部により前記高輝度領域の位置が抽出される度に、記憶している前記高輝度領域の位を新たに抽出された高輝度領域の位置に更新する請求項1から請求項8のいずれかに記載の蛍光観察装置。
【請求項10】
前記表示画像生成部が、前記物理量の変化量に応じた色相、明度または彩度を前記高輝度領域の位置に付与する請求項1から請求項8のいずれかに記載の蛍光観察装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、蛍光観察装置に関するものである。
【背景技術】
【0002】
従来、生体に励起光を照射して生体に含まれる病変部から蛍光を発生させ、該蛍光を撮影し、取得された蛍光画像において病変部を高輝度領域として観察する蛍光観察装置が知られている(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第3771985号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の場合、励起光が照射され続けることにより蛍光が退色したときに、蛍光画像内の高輝度領域の輝度が低下する。このときに、ユーザは、高輝度領域の輝度値が、退色が原因で低下したのか、または、対象部位における組織の性質が原因で低下したのかを正しく認識できない可能性がある。
【0005】
また、例えば、尿管に蛍光物質を含む液体を流動させて尿管の位置を高輝度領域として識別する場合に、流体が断続的に尿管を移動することにより、高輝度領域が断続的に撮影される。最後に撮影された高輝度領域を、次に高輝度領域が撮影されるまでの間、表示し続けた場合、現在表示されている高輝度領域域の位置が、実際の尿管の位置からずれている可能性がある。
【0006】
このように、特許文献1の蛍光観察装置を用いたのでは、時間の経過に伴って変化し得る輝度値や位置などの高輝度領域の特性が、本来の高輝度領域の特性とは異なったものとして画像に表示されることがある。そして、現在画像に表示されている高輝度領域の特性の信頼度が低下したときに、ユーザはその信頼度の低下を認識することができないため、高輝度領域の本来の特性を適切に解釈できないという問題がある。
【0007】
本発明は、上述した事情に鑑みてなされたものであって、現在画像に表示されている高輝度領域の特性の信頼度を認識して高輝度領域の位置や輝度値などの本来の特性を適切に解釈することができる蛍光観察装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、観察対象に励起光を照射する光源と、該光源からの前記励起光の照射により前記観察対象において発生した蛍光を撮影し蛍光画像を生成する蛍光画像生成部と、該蛍光画像生成部により生成された前記蛍光画像内において、所定の閾値以上の輝度値を有する高輝度領域の位置を抽出する抽出部と、該抽出部により抽出された高輝度領域の位置を記憶する記憶部と、前記高輝度領域の特性の変化の要因となり得る物理量の、前記抽出部により前記高輝度領域の位置が抽出された時刻からの変化量を検出する検出部と、該検出部により検出された前記変化量に基づいて、前記抽出部により抽出された前記高輝度領域の特性の信頼度を算出する信頼度算出部と、前記記憶部に記憶されている前記高輝度領域の位置に前記信頼度算出部により算出された前記信頼度に応じた表示態様を付与した表示画像を生成する表示画像生成部とを備える蛍光観察装置を提供する。
【0009】
本発明によれば、蛍光画像生成部により蛍光画像が生成されると、抽出部により蛍光画像内における高輝度領域の位置が抽出され、抽出された高輝度領域の位置が記憶部に記憶された後、該記憶部に記憶されている位置に高輝度領域が表示された表示画像が表示画像生成部により生成される。
【0010】
この場合に、表示画像内の高輝度領域の特性は、当該高輝度領域が抽出されてからの時間の経過に伴って変化している可能性がある。このような特性の変化の要因となり得る物理量の変化量が検出部により検出され、表示画像内の高輝度領域には検出された変化量に基づいて変化する表示態様が表示画像生成部により与えられる。これにより、ユーザは、現在表示画像に表示されている高輝度領域の特性の信頼度を表示態様から認識して該高輝度領域の位置や輝度値などの本来の特性を適切に解釈することができる。
【0011】
上記発明においては、前記検出部が、前記抽出部により前記高輝度領域の位置が抽出された時刻からの経過時間を前記物理量の変化量として検出してもよい。
このようにすることで、時間の経過に伴って変化する高輝度領域の位置や輝度値などの特性の信頼度を算出することができる。
【0012】
また、上記発明においては、前記光源が、前記励起光と共に参照光を前記観察対象に照射し、前記光源からの前記参照光の照射により前記観察対象から戻る戻り光を撮影し参照画像を生成する参照画像生成部を備え、前記検出部が、前記参照画像生成部により生成された前記参照画像における、前記抽出部により前記高輝度領域の位置が抽出された時刻からの前記観察対象の移動量を前記物理量の変化量として検出してもよい。
このようにすることで、観察対象の移動に伴って変化する高輝度領域の位置の信頼度を算出することができる。
【0013】
また、上記発明においては、前記信頼度算出部が、前記物理量の変化量の増加に伴って減少する関数に従って前記信頼度を算出してもよい。
このようにすることで、高輝度領域の特性の信頼度を簡単な計算で算出することができる。
【0014】
また、上記発明においては、前記検出部が、前記経過時間に加えて、前記励起光の強度を検出し、前記信頼度算出部が、前記経過時間と前記励起光の強度との積の増加に伴って減少する、前記蛍光の退色特性に基づく関数に従って、前記信頼度を算出してもよい。
このようにすることで、物理量の変化量として励起光の照射量が検出され、照射量の増加に伴って退色により減衰する蛍光の強度と対応した表示態様で高輝度領域が表示される。これにより、ユーザは、高輝度領域の表示態様から、現在の高輝度領域における蛍光のより正確な強度を認識することができる。
【0015】
また、上記発明においては、前記関数が、前記観察対象毎に設定されていてもよい。
このようにすることで、要求される高輝度領域の特性の信頼度の精度は観察部位毎に異なるので、その精度の応じた関数を用いることにより、より適切な信頼度をユーザに認識させることができる。
【0016】
また、上記発明においては、前記信頼度算出部は、前記物理量の変化量が所定の閾値以上となったときに、前記信頼度を0%と算出してもよい。
このようにすることで、高輝度領域の特性の信頼度が十分に低下したことをユーザに迅速に認識させることができる。
【0017】
また、上記発明においては、前記記憶部は、前記抽出部により前記高輝度領域の位置が抽出される度に、記憶している前記高輝度領域の位置を新たに抽出された高輝度領域の位置に更新してもよい。
このようにすることで、新たな高輝度領域の位置が抽出されると、記憶部に記憶されている高輝度領域の位置が更新され、検出部により物理量の変化量が検出し直されることにより、信頼度が100%に回復する。これにより、より正確な信頼度を算出することができる。
【0018】
また、上記発明においては、前記表示画像生成部が、前記物理量の変化量に応じた色相、明度または彩度を前記高輝度領域の位置に付与してもよい。
このようにすることで、合成画像において、ユーザは、高輝度領域の色相、明度または彩度から、高輝度領域の位置や輝度などの特性の信頼度を認識することができる。
【発明の効果】
【0019】
本発明によれば、現在画像に表示されている高輝度領域の特性の信頼度を認識して高輝度領域の位置や輝度値などの本来の特性を適切に解釈することができるという効果を奏する。
【図面の簡単な説明】
【0020】
図1】本発明の第1の実施形態に係る蛍光観察装置の全体構成図である。
図2】高輝度領域が抽出された時刻からの経過時間から信頼度を導出する関数を示すグラフである。
図3図1の蛍光観察装置の動作を説明するフローチャートである。
図4】(a)〜(d)図1の蛍光観察装置により時系列で生成される合成画像を示す図である。
図5図1の蛍光観察装置の動作の変形例を説明するフローチャートである。
図6】高輝度領域が抽出された時刻からの経過時間から信頼度を導出する関数の変形例を示すグラフである。
図7図1の蛍光観察装置により生成される合成画像の変形例を示す図である。
図8】本発明の第2の実施形態に係る蛍光観察装置の全体構成図である。
図9】経過時間に基づく信頼度および移動量に基づく信頼度を軸とする色相空間を示す図である。
図10図8の蛍光観察装置により生成される合成画像の変形例を示す図である。
図11】高輝度領域が抽出された時刻からの経過時間から信頼度を導出する関数のもう1つの変形例を示すグラフである。
図12図1の蛍光観察装置のもう1つの変形例を示す全体構成図である。
図13】高輝度領域が抽出された時刻からの経過時間と励起光の強度との積から信頼度を導出する関数を示すグラフである。
【発明を実施するための形態】
【0021】
以下に、本発明の第1の実施形態に係る蛍光観察装置1について、図1図7を参照して説明する。
本実施形態に係る蛍光観察装置1は、内視鏡装置であって、図1に示されるように、体内に挿入される細長い挿入部2と、光源3と、該光源3からの励起光および白色光(参照光)を挿入部2の先端2aから観察対象Xに向けて照射する照明ユニット4と、挿入部2の先端2aに設けられ、観察対象Xである生体組織の画像情報S1,S2を取得する撮像ユニット5と、挿入部2の基端側に配置され、撮像ユニット5により取得された画像情報S1,S2を処理する画像処理ユニット6と、該画像処理ユニット6により処理された合成画像Gを表示する表示部7とを備えている。
【0022】
光源3は、キセノンランプ31と、該キセノンランプ31から発せられた光から、励起光および白色光(照明光:波長帯域400〜740nm)を切り出すフィルタ32と、フィルタ32により切り出された励起光および白色光を集光するカップリングレンズ33とを備えている。
【0023】
照明ユニット4は、挿入部2の長手方向のほぼ全長にわたって配置されたライトガイドファイバ41と、挿入部2の先端2aに設けられた照明光学系42とを備えている。ライトガイドファイバ41は、カップリングレンズ33により集光された励起光および白色光を導光する。照明光学系42は、ライトガイドファイバ41により導光されてきた励起光および白色光を拡散させて、挿入部2の先端2aに対向する観察対象Xに照射する。
【0024】
撮像ユニット5は、観察対象Xの所定の観察範囲から戻る光を集光する対物レンズ51と、該対物レンズ51により集光された光のうち、励起波長以上の光(励起光および蛍光)を反射し、励起波長より短い波長の白色光(戻り光)を透過するダイクロイックミラー52と、該ダイクロイックミラー52により反射された蛍光およびダイクロイックミラー52を透過した白色光をそれぞれ集光する2つの集光レンズ53,54と、集光レンズ53,54により集光された白色光および蛍光を撮影するCCDまたはCMOSのような2個の撮像素子55,56とを備えている。
【0025】
撮像素子55,56は、白色光画像情報S1および蛍光画像情報S2を取得するようになっている。
図中、符号57は、ダイクロイックミラー52により反射された光のうち励起光を遮断する(例えば、波長帯域760〜850nmの光だけを透過する)励起光カットフィルタである。
【0026】
画像処理ユニット6は、撮像素子55により取得された白色光画像情報S1から白色光画像(参照画像)G1を生成する白色光画像生成部(参照画像生成部)61と、撮像素子56により取得された蛍光画像情報S2から蛍光画像G2を生成する蛍光画像生成部62と、該蛍光画像生成部62により生成された蛍光画像G2において、予め設定されている閾値以上の輝度値を有する画素の位置を抽出する抽出部63と、該抽出部63により抽出された画素の位置を記憶する記憶部64と、抽出部63により抽出された画素が有する特性の信頼度を算出する信頼度算出部(検出部)65と、記憶部64に記憶されている位置の画素に信頼度算出部65により算出された信頼度に応じた色相を有するマーキング画像(表示画像)G3を生成するマーキング画像生成部(表示画像生成部)66と、白色光画像G1とマーキング画像G3とを重畳して合成画像Gを生成する画像合成部67とを備えている。
【0027】
抽出部63は、蛍光画像生成部62から入力された蛍光画像G2の各画素の輝度値と所定の閾値とを比較し、所定の閾値以上の輝度値を有する画素を高輝度領域Pとして抽出し、抽出した画素の位置を記憶部64に出力する。また、抽出部63は、画素の位置を記憶部64に出力するのと同時に、トリガ信号を信頼度算出部65に出力する。
【0028】
記憶部64は、抽出部63から入力された画素の位置を記憶する。記憶部64は、抽出部63から画素の位置が新たに入力される度に、それまで記憶していた画素の位置を新たな画素の位置に更新する。これにより、記憶部64には、最新の高輝度領域Pの位置が記憶される。記憶部64は、更新したタイミングで画素の位置をマーキング画像生成部66に出力する。
【0029】
信頼度算出部65は、タイマを有し、抽出部63からトリガ信号が入力されるとその入力をトリガとしてタイマによる時間の測定を開始する。そして、信頼度算出部65は、タイマにより測定された経過時間(変化量)に基づいて、高輝度領域Pの特性の信頼度を計算する。これにより、時刻(物理量)の変化が要因で変化し得る高輝度領域Pの特性、例えば、位置や輝度値の信頼度が算出される。信頼度算出部65は、算出された信頼度をマーキング画像生成部66に出力する。
【0030】
高輝度領域Pの特性の信頼度は、図2に示されるように、経過時間の増加に伴って線形に減少する関数に従って算出される。この関数の傾きは、ユーザにより任意に設定されてもよく、予め測定した経過時間と高輝度領域Pの位置の変化量との関係に基づいて設定されてもよい。信頼度算出部65は、抽出部63からトリガ信号が新たに入力される度に、タイマにより測定された経過時間をゼロにリセットし、ゼロから時間の測定を再開する。
【0031】
マーキング画像生成部66は、信頼度と色相とが対応づけられた色相スケールを保持している。マーキング画像生成部66は、信頼度算出部65から入力された信頼度と対応する色相を色相スケールから選択し、記憶部64から入力された位置の画素に、選択した色相を付与することによりマーキング画像G3を生成する。
【0032】
次に、このように構成された蛍光観察装置1の作用について説明する。
本実施形態に係る蛍光観察装置1を用いて観察対象Xである体内の生体組織を観察するには、体内に挿入部2を挿入し、挿入部2の先端2aを観察対象Xに対向させる。そして、光源3を作動させて励起光および白色光を発生させ、カップリングレンズ33によりライトガイドファイバ41に入射させる。ライトガイドファイバ41内を導光されて挿入部2の先端2aに達した励起光および白色光は、照明光学系42により拡散されて観察対象Xに照射される。
【0033】
観察対象Xにおいては、内部に含まれている蛍光物質が励起光により励起されることにより蛍光が発せられると共に、観察対象Xの表面において白色光が反射される。蛍光および反射された白色光は、観察対象Xから挿入部2の先端2aに戻り、その一部の観察範囲内から発せられた蛍光および白色光が対物レンズ51により集光される。
【0034】
図3に、本実施形態に係る蛍光観察装置1による合成画像Gの生成処理を説明するフローチャートを示す。
対物レンズ51により集光された蛍光および白色光はダイクロイックミラー52により波長毎に分岐され、例えば400〜700nmの波長帯域の白色光は、集光レンズ54により集光され、撮像素子55により白色光画像情報S1として取得される(ステップS1)。
【0035】
また、対物レンズ51により集光された蛍光および白色光の内、ダイクロイックミラー52を反射した光、例えば700〜850nmの波長帯域の励起光および蛍光を含む光からは、励起光カットフィルタ57により励起光(例えば740nm以下の光)が除去された後に、蛍光のみが集光レンズ53により集光されて撮像素子56により蛍光画像情報S2として取得される(ステップS1)。
【0036】
各撮像素子55,56により取得された画像情報S1,S2は、画像処理ユニット6に送られる。画像処理ユニット6においては、白色光画像情報S1が白色光画像生成部61に入力されて白色光画像G1が生成される(ステップS2)。一方、蛍光画像情報S2が蛍光画像生成部62に入力されて蛍光画像G2が生成される(ステップS2)。
【0037】
生成された蛍光画像G2は、抽出部63に送られて、所定の閾値以上の輝度値を有する高輝度領域Pの位置が抽出される(ステップS3)。高輝度領域Pが存在しない場合には(ステップS3のNO)、合成画像Gとして白色光画像G1がそのまま表示部7に表示され(ステップS9)、ステップS1に戻る。
【0038】
高輝度領域Pが存在する場合には(ステップS3のYES)、抽出された高輝度領域Pの位置が、抽出部63から記憶部64に出力され、該記憶部64に記憶される(ステップS4)。これと共に、トリガ信号が抽出部63から信頼度算出部65に出力され、該信頼度算出部65においてタイマが経過時間の測定を開始し(ステップS5,S6)、測定された経過時間から高輝度領域Pの特性の信頼度が計算され(ステップS7)、算出された信頼度がマーキング画像生成部66に出力される。そして、マーキング画像生成部66において、高輝度領域Pの位置に、信頼度算出部65から入力された信頼度に対応する色相を有するマーキング画像G3が生成される(ステップS8)。
【0039】
なお、図3において、Nは、高輝度領域Pが抽出された蛍光画像G2の順番を示す数字である。すなわち、画像情報S1,S2の取得を開始してから最初に高輝度領域Pが抽出されるまでの間はN=0となり、ステップS4〜ステップS8の処理は行われない。その後、高輝度領域Pが抽出されるとステップS4〜S8の処理が開始され、高輝度領域Pが蛍光画像G2から抽出される度にNがインクリメントされる。
【0040】
生成されたマーキング画像G3は、画像合成部67において、白色光画像生成部61から送られてきた白色光画像G1と重畳され(ステップS9)、生成された合成画像Gが画像合成部67から表示部7に出力される。蛍光画像G2から高輝度領域Pが抽出されない期間があった場合(ステップS3のNO)、合成画像Gに表示される高輝度領域Pの色相は、図4(a)〜(c)に示されるように、信頼度算出部65により算出される信頼度が経時的に低下するのにしたがって、経時的に変化する。図4(a)〜(d)において、ハッチングの向きの違いは、色相の違いを示している。また、図4(a)〜(d)は、観察対象Xに存在する尿管(破線参照。)に蛍光物質を含む液体を流動させて撮影した合成画像Gを示している。
【0041】
そして、抽出部63により新たに高輝度領域Pが抽出されたとき(ステップS3のYES)、記憶部64に記憶される高輝度領域Pの位置が更新されることにより(ステップS4)、図4(d)に示されるように、合成画像Gに表示される高輝度領域Pの位置が最新のものに更新される。このときに、信頼度算出部65において、タイマにより測定された経過時間がゼロにリセットされて信頼度が100%と算出されることにより、高輝度領域Pの色相も初期の色相とされ、その後高輝度領域Pが抽出されない場合は、高輝度領域Pの色相が経時的に変化する。
【0042】
この場合に、例えば、観察対象Xに含まれる尿管に蛍光物質を含む液体を流動させると、液体が間欠的に尿管を流れることにより、高輝度領域Pは断続的に抽出される。このように、最後に高輝度領域Pが抽出されてから次に高輝度領域Pが抽出されるまでに時間間隔が空いた場合、最後に抽出された高輝度領域Pが合成画像Gに表示され続けることになる。この合成画像Gが表示されている間、挿入部2の先端2aと観察対象Xとの相対位置がずれることにより、現在合成画像Gに表示されている高輝度領域Pの位置と実際の高輝度領域Pの位置との間にずれが生じる可能性がある。
【0043】
本実施形態に係る蛍光観察装置1によれば、高輝度領域Pの位置が抽出された時刻からの経過時間に伴って低下する、高輝度領域Pの位置の信頼度が高輝度領域Pの色相として示される。ユーザは、現在合成画像Gに表示されている高輝度領域Pの位置が、実際の高輝度領域Pの位置に対してどの程度ずれている可能性があるかを色相から認識し、現在合成画像Gに表示されている高輝度領域Pの位置を適切に解釈することができるという利点がある。
【0044】
なお、本実施形態においては、マーキング画像生成部66が、色相スケールに代えて、信頼度と彩度とが対応づけられた彩度スケールまたは信頼度と明度とが対応づけられた明度スケールを保持し、信頼度に対応する彩度または明度を選択してもよい。この場合、合成画像G内の高輝度領域Pの彩度または明度が信頼度に応じて変化することとなる。
【0045】
また、本実施形態においては、信頼度算出部65は、抽出部63からトリガ信号が新たに入力される度に、タイマにより測定した経過時間をゼロにリセットし、ゼロから時間の測定を再開することに代えて、図5に示されるように、ユーザによる指示により(ステップS10)ゼロからの時間の測定を再開することにしてもよい。これにより、尿管のように間欠的に蛍光が発生するような場合だけでなく、癌領域の蛍光のように一定の時間にわたって蛍光が観察され続ける場合においても、抽出された高輝度領域の経過時間を継続して測定することができる。
【0046】
また、本実施形態においては、信頼度を導出する関数として、経過時間の増加に伴って線形に減少する関数を用いることとしたが、関数は適宜ユーザが事前に設定可能である。また、関数は、観察対象Xの部位毎に設定されていてもよい。図6には、観察対象Xの部位として、外科的観察が行われる癌および尿管が示されている。
【0047】
例えば、尿管からの蛍光は間欠的に観察されるため、同じ経過時間に対して癌の観察よりも信頼度の減少する度合いを大きくしてもよい。これにより、例えば、ユーザは尿管の周辺を処置する際に、信頼度がより低下した表示態様のときは、一旦処置を止め、次に尿管から蛍光が観察されて信頼度が100%にリセットされた段階で処置を再開することができる。そのため、表示態様から常に高い信頼度の状態で、処置を実施することが可能となる。この場合、蛍光観察装置1は、観察対象Xの部位がユーザにより指定される入力部(図示略)を備え、入力部に指定された観察対象Xの関数を信頼度の算出に用いる。
【0048】
また、本実施形態においては、記憶部64が、抽出部63から入力された高輝度領域Pの位置を順番に所定の数(例えば、10)だけ連続して記憶し、記憶している全ての高輝度領域Pの位置をマーキング画像生成部66に出力し、マーキング画像生成部66が、記憶部64から入力された全ての高輝度領域Pの位置に信頼度に応じた色相を有するマーキング画像G3を生成してもよい。
【0049】
このようにすることで、観察対象X内において蛍光物質が移動することにより蛍光画像G2内において高輝度領域Pが移動した場合に、図7に示されるように、その移動経路が高輝度領域Pとして表示されたマーキング画像G3が生成される。したがって、マーキング画像G3において蛍光物質が移動した尿管などの臓器の形状を容易に特定することができる。
【0050】
次に、本発明の第2の実施形態に係る蛍光観察装置100について図8図10を参照して説明する。
本実施形態に係る蛍光観察装置100は、図8に示されるように、画像処理ユニット6が、白色光画像G1から観察対象Xの特徴領域を抽出する特徴領域抽出部68を備えている点、および、信頼度算出部65が、タイマにより測定された経過時間に代えて、または、該経過時間に加えて、観察対象Xと挿入部2の先端2aとの相対位置(物理量)の移動量(変化量)を加味して信頼度を算出する点において、第1の実施形態に係る蛍光観察装置1と相違している。したがって、本実施形態においては、特徴領域抽出部68および信頼度算出部65の処理について主に説明し、第1の実施形態と共通する構成の説明は省略する。
【0051】
特徴領域抽出部68は、白色光画像生成部61から入力された白色光画像G1内の特定の組織などが撮影されている領域を特徴領域として記憶する。そして、特徴領域抽出部68は、新たに白色光画像生成部61から入力された白色光画像G1と、記憶している特徴領域とを比較することにより、当該白色光画像G1内における特徴領域の位置を検出し、検出された特徴領域の位置を信頼度算出部65に出力する。
【0052】
信頼度算出部65は、特徴領域抽出部68から入力された特徴領域の位置を時系列で記憶する。そして、信頼度算出部65は、抽出部63からトリガ信号が入力された時刻を起点とし、特徴領域の位置の移動量を逐次計算し、算出された移動量から信頼度を計算する。このときの信頼度は、例えば、移動量の増加に伴って線形に減少する関数に従って算出される。信頼度算出部65は、算出された信頼度をマーキング画像生成部66に出力する。
【0053】
マーキング画像生成部66は、移動量から算出された信頼度と色相とが対応付けられた色相スケールから、信頼度に対応する色相を選択する。これにより、高輝度領域Pの位置に、観察対象Xの移動量に基づく信頼度に対応する色相を有する合成画像Gが生成される。なお、マーキング画像生成部66は、第1の実施形態と同様に、色相に代えて彩度または明度を信頼度に応じて設定してもよい。
本実施形態によれば、高輝度領域Pが抽出された時刻からの時間の経過に伴う高輝度領域Pの位置の信頼度をより高い精度で算出することができる。信頼度算出部65は、特徴領域の移動量が所定の閾値より大きくなった場合に、信頼度を0%として算出してもよい。
【0054】
本実施形態の蛍光観察装置100において、高輝度領域Pが抽出された時刻からの経過時間と移動量の両方を用いて信頼度を算出する場合には、信頼度算出部65は、経過時間と移動量のそれぞれから信頼度を算出し、2つの信頼度に基づいて高輝度領域Pの色相、明度および彩度のうち2つを決定すればよい。例えば、経過時間に基づく信頼度から高輝度領域Pの色相を決定し、移動量に基づく信頼度から高輝度領域Pの明度を決定し、高輝度領域Pの位置に決定した色相および明度を有する合成画像Gを生成すればよい。
【0055】
または、信頼度算出部65は、図9に示されるように、経過時間に基づく信頼度および移動量に基づく信頼度を軸とする2次元の色相空間から、タイマにより測定された経過時間および算出された移動量と対応する位置の色相を選択してもよい。
このようにすることで、図10に示されるように、合成画像Gにおいて高輝度領域Pの位置および輝度値の信頼度が2つの情報を用いて示されることとなり、高輝度領域Pの位置および輝度値のより正確な信頼度をユーザに認識させることができる。図10において、ハッチングのピッチの違いは、明度の違いを示している。
【0056】
また、本実施形態においては、特徴領域抽出部68が、白色光画像G1に代えて、狭帯域(NBI)画像から特徴領域の位置を抽出してもよい。この場合、蛍光観察装置100は、観察対象Xに波長幅の十分に狭い青色および緑色の光を照射し、これら光の観察対象Xからの反射光を検出するもう1つの撮像素子と、NBI画像生成部とを備える。
【0057】
また、本実施形態においては、合成画像G内の高輝度領域Pの位置を特徴領域の移動に追従させてもよい。
すなわち、マーキング画像生成部66は、信頼度算出部65から移動量に基づく信頼度と共に特徴領域の移動量を受け取り、記憶部64から入力された高輝度領域Pの位置を特徴領域の移動量と同じだけ移動し、移動先の位置に色相を付与することによりマーキング画像G3を生成する。このようにすることで、挿入部2の移動に起因する、合成画像Gにおける高輝度領域Pの位置の、実際の高輝度領域Pの位置に対するずれを低減し、より正確な高輝度領域Pの位置をユーザに認識させることができる。
【0058】
また、本実施形態に係る蛍光観察装置100において、高輝度領域Pが抽出された時刻からの経過時間を用いて信頼度を算出する場合には、信頼度算出部65は、抽出部63からトリガ信号が入力されたタイミングで特徴領域抽出部68により抽出された特徴領域と経過時間とを対応付け記憶し、その後は、記憶している特徴領域が白色光画像G1から抽出されたときにのみ経過時間を測定するようにしてもよい。
【0059】
このようにすることで、異なる対象部位において抽出された高輝度領域Pに対して、対象部位毎に独立で経過時間を算出することができる。さらに、特徴領域が白色光画像G1の視野から外れたときには経過時間の測定が一時中断され、再度白色光画像G1の視野内に特徴領域が現れたときに経過時間の測定が再開されるので、各々の対象部位について正確な経過時間を測定することができる。
【0060】
このとき、図5に示されるフローチャートにおいて、ユーザから更新の指示の有無が判断される(ステップS10)代わりに、特徴領域抽出部68により抽出された特徴領域が、既に記憶されている特徴領域と一致するか否かが判断される。そして、一致した場合には、記憶されている特徴領域のうち該当する特徴領域と対応付けられている経過時間の測定を再開した後にステップS7に進む。一方、一致しない場合には、ステップS4に進み、抽出された特徴領域を高輝度領域Pの位置とともに新たに記憶すればよい。
【0061】
また、上述した第1および第2の実施形態においては、信頼度算出部65が、図11に示されるように、蛍光物質の退色特性に基づく関数に従って信頼度を算出してもよい。すなわち、蛍光物質への励起光の照射を開始した時刻からの経過時間と蛍光強度との関係を測定することにより、蛍光物質の退色特性のグラフを得て、このグラフの経過時間をタイマにより測定された経過時間とし、励起光の照射を開始した時刻における蛍光強度を100%として規格化した蛍光強度を信頼度とすればよい。
【0062】
この場合、信頼度算出部65は、蛍光画像G2から高輝度領域Pが最初に抽出された時刻を起点とし、高輝度領域Pが抽出されている間はタイマにより測定された経過時間を、リセットすることなく積算し続ける。マーキング画像生成部66は、信頼度算出部65により算出された信頼度に応じた輝度値を高輝度領域Pの位置に有するマーキング画像G3を生成する。退色特性に基づく関数は、複数の蛍光物質F1,F2,F3について設定され、使用される蛍光物質が図示しない入力部を用いてユーザにより指定されることにより、信頼度の算出に用いる関数を選定するように構成されていてもよい。
【0063】
このようにすることで、合成画像Gに表示されている高輝度領域Pの輝度値を、現在の実際の高輝度領域Pの蛍光強度をより正確に反映したものとすることができる。
なお、蛍光観察装置1,100は、蛍光が退色した後に蛍光物質を観察対象Xに再投与したときに信頼度の計算過程を初期化できるように、信頼度算出部65のタイマの経過時間をユーザがリセットできるように構成されていてもよい。
【0064】
また、蛍光物質の退色特性に基づく関数に従って信頼度を算出する場合には、図12に示されるように、励起光の強度を検出する励起光強度検出部69を備え、信頼度算出部65が、タイマにより測定された経過時間と、励起光強度検出部69により検出された励起光の強度との積に基づいて信頼度を算出してもよい。図12には、第1の実施形態の蛍光観察装置1の構成に励起光強度検出部69を適用した例を示している。励起光強度検出部69は、例えば、フィルタ32とカップリングレンズ33との間に設けられ励起光の一部を分岐するハーフミラーと、該ハーフミラーにより分岐された一部の励起光の光量を検出する光量計とを備える。
【0065】
図13は、経過時間と励起光の強度との積から信頼度を導出する関数を示している。蛍光の強度は、蛍光物質に照射された励起光の光量の積算量に応じて減衰するので、経過時間と励起光の強度との積から信頼度を算出し、算出された信頼度に基づく輝度値を高輝度領域Pの位置に付与することにより、実際の高輝度領域Pの、さらに正確な蛍光強度をユーザに認識させることができる。
【0066】
なお、励起光強度検出部69は、励起光の強度に代えて、白色光の強度を検出してもよい。同一のキセノンランプ31から発せられている白色光と励起光の強度は相関関係を有しているので、励起光の強度を用いた場合と同様の効果が得られる。この場合、白色光の強度として、観察対象Xにより反射された白色光の強度を検出することが好ましい。すなわち、白色光の強度として、白色光画像G1の輝度値を検出すればよい。
【0067】
また、第1および第2の実施形態においては、抽出部63による高輝度領域Pの抽出が、ユーザによる指示により開始されるように構成されていてもよい。例えば、ユーザがマーキング画像G3の生成開始とマーキング領域の指示を入力可能なタッチパネルなどの図示しないユーザインタフェイスを備えていてもよい。
このようにすることで、ユーザにより選択された任意のタイミングでステップS3からステップS8までの処理が行われることとなり、ユーザが必要とするときのみマーキング画像G3を生成することで、計算量を低減することができる。
【0068】
また、第1および第2の実施形態においては、信頼度が所定の閾値、例えば、50%を下回ったときに、合成画像Gにおいて高輝度領域Pを点滅表示することにより、信頼度の低下をユーザに確実に認識させるように構成されていてもよい。
また、本実施形態においては、合成画像Gにおける高輝度領域Pの表示と非表示とをユーザにより切り替え可能なスイッチを備えていてもよい。
【符号の説明】
【0069】
1,100 蛍光観察装置
2 挿入部
2a 先端
3 光源
31 キセノンランプ
32 フィルタ
33 カップリングレンズ
4 照明ユニット
41 ライトガイドファイバ
42 照明光学系
5 撮像ユニット
51 対物レンズ
52 ダイクロイックミラー
53,54 集光レンズ
55,56 撮像素子
57 励起光カットフィルタ
6 画像処理ユニット
61 白色光画像生成部(参照画像生成部)
62 蛍光画像生成部
63 抽出部
64 記憶部
65 信頼度算出部(検出部)
66 マーキング画像生成部(表示画像生成部)
67 画像合成部
68 特徴領域抽出部
69 励起光強度検出部
7 表示部
X 観察対象
G1 白色光画像(参照画像)
G2 蛍光画像
G3 マーキング画像(表示画像)
G 合成画像
P 高輝度領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13