特許第6005918号(P6005918)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

<>
  • 特許6005918-蛍光観察装置 図000004
  • 特許6005918-蛍光観察装置 図000005
  • 特許6005918-蛍光観察装置 図000006
  • 特許6005918-蛍光観察装置 図000007
  • 特許6005918-蛍光観察装置 図000008
  • 特許6005918-蛍光観察装置 図000009
  • 特許6005918-蛍光観察装置 図000010
  • 特許6005918-蛍光観察装置 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6005918
(24)【登録日】2016年9月16日
(45)【発行日】2016年10月12日
(54)【発明の名称】蛍光観察装置
(51)【国際特許分類】
   A61B 1/00 20060101AFI20160929BHJP
   A61B 1/04 20060101ALI20160929BHJP
   G02B 23/24 20060101ALI20160929BHJP
【FI】
   A61B1/00 300D
   A61B1/04 372
   G02B23/24 B
【請求項の数】17
【全頁数】23
(21)【出願番号】特願2011-196217(P2011-196217)
(22)【出願日】2011年9月8日
(65)【公開番号】特開2013-56040(P2013-56040A)
(43)【公開日】2013年3月28日
【審査請求日】2014年7月30日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100112737
【弁理士】
【氏名又は名称】藤田 考晴
(72)【発明者】
【氏名】石原 康成
【審査官】 樋熊 政一
(56)【参考文献】
【文献】 国際公開第2011/099363(WO,A1)
【文献】 特開平07−129751(JP,A)
【文献】 特開2002−345739(JP,A)
【文献】 特開2009−226065(JP,A)
【文献】 特開平05−028261(JP,A)
【文献】 特開2006−043196(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 − 1/32
G02B 23/24 −23/26
A61B 6/00 − 6/14
A61B 5/055
(57)【特許請求の範囲】
【請求項1】
被写体に励起光および参照光を照射する照明部と、
該照明部からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、
前記照明部からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照画像を取得する参照画像取得部と、
該参照画像取得部により取得された前記参照画像を用いて、前記蛍光画像取得部により取得された前記蛍光画像を補正し補正蛍光画像を生成する補正蛍光画像生成部と、
該補正蛍光画像生成部により生成された前記補正蛍光画像全体の階調値の平均値、該階調値の標準偏差、前記補正蛍光画像全体の階調値の平均値の重み付けに係る第1係数、および、前記階調値の標準偏差の重み付けに係る第2係数に基づいて階調値閾値を設定する閾値設定部と、
該閾値設定部により設定された前記階調値閾値を超える階調値を有する前記補正蛍光画像上の領域を注目領域と判定して抽出する抽出部と、
該抽出部により抽出された前記注目領域と前記参照画像とを対応づけて表示する表示部と、
該表示部に表示された前記注目領域に対する前記抽出部による前記判定の正否について観察者に入力させる正否入力部とを備え、
前記閾値設定部が、前記正否入力部により入力された入力結果を反映させるように前記第1係数および前記第2係数の少なくとも一方を設定し、前記正否入力部により前記判定が正しいと入力されたときは、前記第1係数および前記第2係数を両方維持するか、または前記第1係数および前記第2係数の少なくとも一方を小さくし、前記正否入力部により前記判定が誤りであると入力されたときは、前記第1係数および前記第2係数の一方を固定値として他方を大きくするか、前記第1係数および前記第2係数の両方を大きくする蛍光観察装置。
【請求項2】
前記補正蛍光画像生成部が、前記蛍光画像を前記参照画像で除算する請求項1に記載の蛍光観察装置。
【請求項3】
前記閾値設定部が、前記正否入力部により前記判定が正しいと入力されたときは、前記第1係数または前記第2係数の一方を固定値とし、他方を維持するかまたは小さくする請求項1または請求項2に記載の蛍光観察装置。
【請求項4】
前記閾値設定部は、前記注目領域の階調値が、前記階調値閾値よりも所定の割合だけ高い上位階調値閾値を上回っているときは前記他方を維持し、該上位階調値閾値を下回っているときは前記他方を小さくする請求項3に記載の蛍光観察装置。
【請求項5】
被写体に励起光および参照光を照射する照明部と、
該照明部からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、
前記照明部からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照画像を取得する参照画像取得部と、
該参照画像取得部により取得された前記参照画像を用いて、前記蛍光画像取得部により取得された前記蛍光画像を補正し補正蛍光画像を生成する補正蛍光画像生成部と、
該補正蛍光画像生成部により生成された前記補正蛍光画像全体の階調値の平均値、該階調値の標準偏差、前記補正蛍光画像全体の階調値の平均値の重み付けに係る第1係数、および、前記階調値の標準偏差の重み付けに係る第2係数に基づいて階調値閾値を設定する閾値設定部と、
該閾値設定部により設定された前記階調値閾値を超える階調値を有する前記補正蛍光画像上の領域を注目領域と判定して抽出する抽出部と、
該抽出部により抽出された前記注目領域と前記参照画像とを対応づけて表示する表示部と、
該表示部に表示された前記注目領域に対する前記抽出部による前記判定の正否について観察者に入力させる正否入力部とを備え、
前記閾値設定部が、前記正否入力部により入力された入力結果を反映させるように前記第1係数および前記第2係数の少なくとも一方を設定し、前記正否入力部により前記判定が正しいと入力されたときは、前記第1係数または前記第2係数の一方を固定値とするとともに、前記注目領域の階調値が前記階調値閾値よりも所定の割合だけ高い上位階調値閾値を上回っているときは前記他方を維持し前記上位階調値閾値を下回っているときは前記他方を小さくする蛍光観察装置。
【請求項6】
前記閾値設定部が、下式によって前記階調値閾値を算出する請求項1から請求項5のいずれかに記載の蛍光観察装置。
S0=a×m+b×σ
ここで、
S0:階調値閾値
a:第1係数
b:第2係数
m:補正蛍光画像全体の階調値の平均値
σ:補正蛍光画像全体の階調値の標準偏差
である。
【請求項7】
前記抽出部が前記注目領域の階調値の平均値を算出するとともに、前記閾値設定部が前記注目領域の階調値の平均値に基づいて第3係数を算出し、
前記抽出部により前記注目領域が抽出され、前記正否入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、
前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値よりも所定の割合だけ低い下位係数と、現在の前記第1係数との低い方を新たな第1係数とする請求項1から請求項6のいずれかに記載の蛍光観察装置。
【請求項8】
前記抽出部が前記注目領域の階調値の平均値を算出するとともに、前記閾値設定部が前記注目領域の階調値の平均値に基づいて第3係数を算出し、
前記抽出部により前記注目領域が抽出され、前記正否入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、
前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値よりも所定の割合だけ低い下位係数と、現在の前記第2係数との低い方を新たな第2係数とする請求項1から請求項6のいずれかに記載の蛍光観察装置。
【請求項9】
前記抽出部が前記注目領域の階調値の平均値を算出するとともに、前記閾値設定部が前記注目領域の階調値の平均値に基づいて第3係数を算出し、
前記抽出部により前記注目領域が抽出され、前記正否入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、
前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の標準偏差を算出するとともに、算出した前記第3係数の標準偏差を前記記憶部に記憶されている過去の前記第3係数の平均値から減算した下位係数と、現在の第1係数の低い方を新たな第1係数とする請求項1から請求項6のいずれかに記載の蛍光観察装置。
【請求項10】
前記抽出部が前記注目領域の階調値の平均値を算出するとともに、前記閾値設定部が前記注目領域の階調値の平均値に基づいて第3係数を算出し、
前記抽出部により前記注目領域が抽出され、前記正否入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、
前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の標準偏差を算出するとともに、算出した前記第3係数の標準偏差を前記記憶部に記憶されている過去の前記第3係数の平均値から減算した下位係数と、現在の前記第2係数との低い方を新たな第2係数とする請求項1から請求項6のいずれかに記載の蛍光観察装置。
【請求項11】
前記閾値設定部が、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときは、その入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値を新たな第1係数とする請求項7または請求項9に記載の蛍光観察装置。
【請求項12】
前記閾値設定部が、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときは、その入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値を新たな第2係数とする請求項8または請求項10に記載の蛍光観察装置。
【請求項13】
前記閾値設定部が、下式によって前記第3係数を算出する請求項7、請求項9および請求項11のいずれかに記載の蛍光観察装置。
a0=(m0−b×σ)/m
ここで、
a0:第3係数
m0:注目領域の階調値の平均値
b:第2係数
σ:補正蛍光画像全体の階調値の標準偏差
m:補正蛍光画像全体の階調値の平均値
である。
【請求項14】
前記閾値設定部が、下式によって前記第3係数を算出する請求項8、請求項10および請求項12のいずれかに記載の蛍光観察装置。
b0=(m0−a×m)/σ
ここで、
b0:第3係数
m0:注目領域の階調値の平均値
a:第1係数
m:補正蛍光画像全体の階調値の平均値
σ:補正蛍光画像全体の階調値の標準偏差
である。
【請求項15】
前記表示部が、前記注目領域と前記参照画像とを重畳させて表示する請求項1から請求項14のいずれかに記載の蛍光観察装置。
【請求項16】
前記抽出部が、前記階調値閾値を越える階調値を有する領域のうち、該領域の画素数が画素数閾値を超える範囲を前記注目領域として抽出する請求項1から請求項15のいずれかに記載の蛍光観察装置。
【請求項17】
前記注目領域の階調値と前記正否入力部により入力された過去の判定結果に関する情報とを対応づけて保存する保存部を備え、
前記表示部が、前記注目領域ごとに、その注目領域の階調値に対応する前記正否入力部により入力された過去の判定結果に関する情報を前記保存部から読み出して表示する請求項1から請求項16のいずれかに記載の蛍光観察装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、蛍光観察装置に関するものである。
【背景技術】
【0002】
従来、観察対象の反射光画像と蛍光画像とを取得し、反射光画像により蛍光画像を除算することで、観察距離や観察角度による蛍光画像の明るさの変動を補正する蛍光観察装置が知られている(例えば、特許文献1、特許文献2および特許文献3参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開昭62−247332号公報
【特許文献2】特公平3−58729号公報
【特許文献3】特開2006−175052号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、蛍光と反射光とでは、撮像される明るさにおける観察距離に対する依存性や観察角度に対する依存性が異なるため、従来のように、蛍光画像を反射光画像で除算をしただけでは、観察距離と観察角度の影響を補正しきれず、一定の誤差が生じてしまうという問題がある。そして、癌と正常部とを区別する閾値を設定したとしても、観察条件が変化するとその閾値が適切ではなくなり、癌の部分が表示されなかったり正常部が明るく表示されてしまったりすることも起こりうるという不都合がある。
【0005】
本発明は、このような事情に鑑みてなされたものであって、観察距離と観察角度の影響に対する補正誤差を低減し、被写体の定量的な情報を取得することができる蛍光観察装置を提供することを目的としている。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、被写体に励起光および参照光を照射する照明部と、該照明部からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、前記照明部からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照画像を取得する参照画像取得部と、該参照画像取得部により取得された前記参照画像を用いて、前記蛍光画像取得部により取得された前記蛍光画像を補正し補正蛍光画像を生成する補正蛍光画像生成部と、該補正蛍光画像生成部により生成された前記補正蛍光画像全体の階調値の平均値、該階調値の標準偏差、前記補正蛍光画像全体の階調値の平均値の重み付けに係る第1係数、および、前記階調値の標準偏差の重み付けに係る第2係数に基づいて階調値閾値を設定する閾値設定部と、該閾値設定部により設定された前記階調値閾値を超える階調値を有する前記補正蛍光画像上の領域を注目領域と判定して抽出する抽出部と、該抽出部により抽出された前記注目領域と前記参照画像とを対応づけて表示する表示部と、該表示部に表示された前記注目領域に対する前記抽出部による前記判定の正否について観察者に入力させる正否入力部とを備え、前記閾値設定部が、前記正否入力部により入力された入力結果を反映させるように前記第1係数および前記第2係数の少なくとも一方を設定し、前記正否入力部により前記判定が正しいと入力されたときは、前記第1係数および前記第2係数を両方維持するか、または前記第1係数および前記第2係数の少なくとも一方を小さくし、前記正否入力部により前記判定が誤りであると入力されたときは、前記第1係数および前記第2係数の一方を固定値として他方を大きくするか、前記第1係数および前記第2係数の両方を大きくする蛍光観察装置を提供する。
【0007】
本発明によれば、照明部から発せられた励起光が被写体に照射されると、蛍光画像取得部により被写体において発生した蛍光の蛍光画像が取得される。また、照明部から励起光とともに発せられた参照光が被写体に照射されると、参照画像取得部によりその戻り光の参照画像が取得される。そして、補正蛍光画像生成部において、同一の被写体に対する蛍光画像が参照画像で補正されることにより、観察距離や観察角度に依存する蛍光強度変化を軽減した補正蛍光画像が生成される。
【0008】
生成された補正蛍光画像の内、抽出部により注目領域と判定されて抽出された階調値閾値を超える階調値を有する領域が、表示部により参照画像と対応づけられて表示されることにより、観察者は蛍光の強い領域と対応づけて被写体の形状を観察することができる。
【0009】
この状態で、表示された画像を見た観察者が、抽出部による注目領域の判定が正しいか否かの入力を正否入力部により入力すると、閾値設定部により、その入力結果が反映されるように設定された第1係数および第2係数の少なくとも一方が設定される。そして、補正蛍光画像全体の階調値の平均値とその階調値の標準偏差、設定した第1係数および第2係数の少なくとも一方に基づいて新たな階調値閾値が設定される。これにより、観察者の判定結果を利用して、注目領域を抽出するための階調値閾値を補正蛍光画像ごとに設定し、観察距離と観察角度の影響に対する補正誤差を低減した被写体の定量的な情報を取得することができる。
【0010】
上記発明においては、前記補正蛍光画像生成部が、前記蛍光画像を前記参照画像で除算することとしてもよい。
このように構成することで、簡易な演算処理により定量性の高い補正蛍光画像を生成することができる。
【0011】
また、上記発明においては、前記閾値設定部が、前記正否入力部により前記判定が正しいと入力されたときは、前記第1係数または前記第2係数の一方を固定値とし、他方を維持するかまたは小さくすることとしてもよい。
【0012】
抽出部による注目領域の判定が正しいと観察者により入力された場合において、注目領域の階調値と階調値閾値との差が十分に大きいときは、その階調値閾値が適当である。したがって、この場合は第1係数および第2係数の一方を固定するとともに他方も維持する、すなわち、階調値閾値を維持することで、次の注目領域の抽出時にも必要な注目領域が見落とされることなく抽出される可能性が高い。
【0013】
一方、注目領域の階調値と階調値閾値との差が僅かなときは、その階調値閾値よりも低い階調値を有する領域についても、以降の抽出においては注目領域として抽出されるべきであるとする可能性がある。したがって、この場合は第1係数および第2係数の一方を固定し他方を小さくして階調値閾値を下げることで、次の注目領域の抽出時には、現在の階調値閾値よりも低い階調値を有する領域も注目領域として抽出し、必要な注目領域が見落されてしまうのを防止することができる。
【0014】
また、上記発明においては、前記閾値設定部は、前記注目領域の階調値が、前記階調値閾値よりも所定の割合だけ高い上位階調値閾値を上回っているときは前記他方を維持し、該上位階調値閾値を下回っているときは前記他方を小さくすることとしてもよい。
【0015】
このように構成することで、上位階調値閾値により、階調値閾値の所定の割合の範囲で他方の係数を維持するか小さくするかを場合分けすることができる。したがって、階調値閾値の所定の割合を適当に選ぶことで、観察することが必要な注目領域の見落としを防止しつつ、効率的に注目領域を抽出することができる。
【0016】
また、上記発明においては、前記閾値設定部が、前記正否入力部により前記判定が誤りであると入力されたときは、前記第1係数および前記第2係数の一方を固定値とし、他方を大きくする
【0017】
抽出部による注目領域の判定が間違っていると観察者により入力されたときは、その注目領域を抽出した階調値閾値以下の階調値を有する領域については、以降の抽出においても注目領域として抽出されるべきであるとする可能性が低い。この場合は、第1係数および第2係数の一方を固定し他方を大きくして階調値閾値を上げることで、観察する必要のない領域が注目領域として誤って抽出されてしまうのを抑制し、正しい注目領域を効率よく抽出することができる。
本発明は、被写体に励起光および参照光を照射する照明部と、該照明部からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、前記照明部からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照画像を取得する参照画像取得部と、該参照画像取得部により取得された前記参照画像を用いて、前記蛍光画像取得部により取得された前記蛍光画像を補正し補正蛍光画像を生成する補正蛍光画像生成部と、該補正蛍光画像生成部により生成された前記補正蛍光画像全体の階調値の平均値、該階調値の標準偏差、前記補正蛍光画像全体の階調値の平均値の重み付けに係る第1係数、および、前記階調値の標準偏差の重み付けに係る第2係数に基づいて階調値閾値を設定する閾値設定部と、該閾値設定部により設定された前記階調値閾値を超える階調値を有する前記補正蛍光画像上の領域を注目領域と判定して抽出する抽出部と、該抽出部により抽出された前記注目領域と前記参照画像とを対応づけて表示する表示部と、該表示部に表示された前記注目領域に対する前記抽出部による前記判定の正否について観察者に入力させる正否入力部とを備え、前記閾値設定部が、前記正否入力部により入力された入力結果を反映させるように前記第1係数および前記第2係数の少なくとも一方を設定し、前記正否入力部により前記判定が正しいと入力されたときは、前記第1係数または前記第2係数の一方を固定値とするとともに、前記注目領域の階調値が前記階調値閾値よりも所定の割合だけ高い上位階調値閾値を上回っているときは前記他方を維持し前記上位階調値閾値を下回っているときは前記他方を小さくする蛍光観察装置を提供する。
【0018】
また、上記発明においては、前記閾値設定部が、下式によって前記階調値閾値を算出することとしてもよい。
S0=a×m+b×σ
ここで、
S0:階調値閾値
a:第1係数
b:第2係数
m:補正蛍光画像全体の階調値の平均値
σ:補正蛍光画像全体の階調値の標準偏差
である。
【0019】
また、上記発明においては、前記抽出部が前記注目領域の階調値の平均値を算出するとともに、前記閾値設定部が前記注目領域の階調値の平均値に基づいて第3係数を算出し、前記抽出部により前記注目領域が抽出され、前記正否入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値よりも所定の割合だけ低い下位係数と、現在の前記第1係数との低い方を新たな第1係数とすることとしてもよい。
【0020】
このように構成することで、最新の判定結果のみならず、過去における判定結果をも反映した第1係数により新たな階調値閾値を設定することができる。この場合において、注目領域の階調値の平均値に基づいて算出された過去の第3係数の平均値よりも所定の割合だけ低い下位係数と現在の第1係数との低い方を新たな第1係数とすることにより、病変の疑いがある領域をより精度よく抽出することができる。
【0021】
また、上記発明においては、前記抽出部が前記注目領域の階調値の平均値を算出するとともに、前記閾値設定部が前記注目領域の階調値の平均値に基づいて第3係数を算出し、前記抽出部により前記注目領域が抽出され、前記正否入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値よりも所定の割合だけ低い下位係数と、現在の前記第2係数との低い方を新たな第2係数とすることとしてもよい。
このように構成することで、過去における判定結果をも反映した第2係数により新たな階調値閾値を設定し、病変の疑いがある領域をより精度よく抽出することができる。
【0022】
また、上記発明においては、前記抽出部が前記注目領域の階調値の平均値を算出するとともに、前記閾値設定部が前記注目領域の階調値の平均値に基づいて第3係数を算出し、前記抽出部により前記注目領域が抽出され、前記正否入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の標準偏差を算出するとともに、算出した前記第3係数の標準偏差を前記記憶部に記憶されている過去の前記第3係数の平均値から減算した下位係数と、現在の第1係数の低い方を新たな第1係数とすることとしてもよい。
【0023】
このように構成することで、被験者間のバラツキ、同一被験者における経過時間的なバラツキ、観察者による判定入力のバラツキを加味して第1係数を更新し、より適切に階調値閾値を設定することができる。
【0024】
また、上記発明においては、前記抽出部が前記注目領域の階調値の平均値を算出するとともに、前記閾値設定部が前記注目領域の階調値の平均値に基づいて第3係数を算出し、前記抽出部により前記注目領域が抽出され、前記正否入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の標準偏差を算出するとともに、算出した前記第3係数の標準偏差を前記記憶部に記憶されている過去の前記第3係数の平均値から減算した下位係数と、現在の前記第2係数との低い方を新たな第2係数とすることとしてもよい。
このように構成することで、被験者間のバラツキ、同一被験者における経過時間的なバラツキ、観察者による判定入力のバラツキを加味して第2係数を更新することができる。
【0025】
また、上記発明においては、前記閾値設定部が、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときは、その入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値を新たな第1係数とすることとしてもよい。
【0026】
このように構成することで、抽出部による判定が誤りであったときは、過去に誤りであると判定された際の第3係数の平均値により決まる第1係数により新たな階調値閾値が設定される。したがって、観察する必要のない領域が注目領域として抽出されてしまう無駄を防止し、効率的に注目領域を抽出することができる。
【0027】
また、上記発明においては、前記閾値設定部が、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときは、その入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値を新たな第2係数とすることとしてもよい。
このように構成することで、抽出部による判定が誤りであったときに、過去に誤りであると判定された際の第3係数の平均値により決まる第2係数により新たな階調値閾値を設定し、効率的に注目領域を抽出することができる。
【0028】
また、上記発明においては、前記閾値設定部が、下式によって前記第3係数を算出することとしてもよい。
a0=(m0−b×σ)/m
ここで、
a0:第3係数
m0:注目領域の階調値の平均値
b:第2係数
σ:補正蛍光画像全体の階調値の標準偏差
m:補正蛍光画像全体の階調値の平均値
である。
【0029】
また、上記発明においては、前記閾値設定部が、下式によって前記第3係数を算出することとしてもよい。
b0=(m0−a×m)/σ
ここで、
b0:第3係数
m0:注目領域の階調値の平均値
a:第1係数
m:補正蛍光画像全体の階調値の平均値
σ:補正蛍光画像全体の階調値の標準偏差
である。
【0030】
また、上記発明においては、前記表示部が、前記注目領域と前記参照画像とを重畳させて表示することとしてもよい。
このように構成することで、注目領域と参照画像との対応関係を観察者が一目で把握し、注目領域のみならず、その周辺も観察することができる。したがって、観察者がより詳細な情報を得ることができ、抽出部による判定結果の正否をより正確に判定することができる。
【0031】
上記発明においては、前記抽出部が、前記閾値を越える階調値を有する領域のうち、該領域の画素数が画素数閾値を超える範囲を前記注目領域として抽出することとしてもよい。
このようにすることで、階調値は高いが面積は小さい領域(ノイズ等)が注目領域として抽出されてしまうことを防止することができる。これにより、ノイズによる誤抽出を抑制し、注目領域を効率よく抽出することができる。
【0032】
また、上記発明においては、前記注目領域の階調値と前記正否入力部により入力された過去の判定結果に関する情報とを対応づけて保存する保存部を備え、前記表示部が、前記注目領域ごとに、その注目領域の階調値に対応する前記正否入力部により入力された過去の判定結果に関する情報を前記保存部から読み出して表示することとしてもよい。
【0033】
このようにすることで、注目領域が抽出されたときは、過去の判定結果に関する情報が表示部に表示されるので、観察者が抽出部による判定結果の正否を判定するときに、表示された過去の判定結果を参考にすることができる。その結果、観察者により正確な判定を行うことができる。
【発明の効果】
【0034】
本発明によれば、観察距離と観察角度の影響に対する補正誤差を低減し、被写体の定量的な情報を取得することができるという効果を奏する。
【図面の簡単な説明】
【0035】
図1】本発明の第1実施形態に係る蛍光観察装置の概略構成図である。
図2】閾値の設定について示すフローチャートである。
図3】標準偏差の係数の設定について示すフローチャートである。
図4図1の蛍光観察装置のモニタに表示される重畳画像と抽出部による抽出の正否を促す選択の一例を示す図である。
図5】本発明の第1実施形態の変形例に係る蛍光観察装置における標準偏差の係数の設定について示すフローチャートである。
図6】本発明の第2実施形態に係る蛍光観察装置の概略構成図である。
図7図6の蛍光観察装置の保存部に記憶されるデータを説明する図である。
図8】本発明の第2実施形態に係る蛍光観察装置により設定される係数の変化を示す図である。
【発明を実施するための形態】
【0036】
〔第1実施形態〕
以下、本発明の第1実施形態に係る蛍光観察装置について、図面を参照して説明する。
本実施形態に係る蛍光観察装置100は、図1に示すように、体内に挿入される細長い挿入部2と、励起光および照明光を発する光源(照明部)10と、光源10からの励起光および照明光を挿入部2の先端2aから被写体Fに向けて照射する照明ユニット(照明部)20と、挿入部2の先端部に配置され、被写体Fである生体組織の画像情報を取得する撮像ユニット30と、撮像ユニット30により取得された画像情報を処理する画像処理部40と、画像処理部40により処理された画像等を表示するモニタ(表示部)50と、観察者が入力を行う入力部(正否入力部)53とを備えている。
【0037】
光源10は、照明光を発するキセノンランプ11と、キセノンランプ11から発せられた光から励起光および白色光(参照光)を切り出す励起光フィルタ13と、励起光フィルタ13により切り出された励起光および白色光を集光するカップリングレンズ15とを備えている。励起光フィルタ13は、例えば、波長帯域が400〜740nmの励起光および白色光を切り出すようになっている。
【0038】
照明ユニット20は、挿入部2の長手方向のほぼ全長にわたって配置されたライトガイドファイバ21と、挿入部2の先端2aに配置された照明光学系23とを備えている。
ライトガイドファイバ21は、カップリングレンズ15によって集光された励起光および白色光を挿入部2の先端2aに導光するようになっている。
照明光学系23は、ライトガイドファイバ21により導光されてきた励起光および白色光を拡散させて被写体Fに照射するようになっている。
【0039】
撮像ユニット30は、照明ユニット20により励起光および白色光が照射された被写体Fから戻る戻り光を集光する対物レンズ31と、対物レンズ31により集光された戻り光を波長ごとに分岐するダイクロイックミラー33とを備えている。
対物レンズ31は、挿入部2の先端2aに照明光学系23と並列して配置されている。
ダイクロイックミラー33は、戻り光のうち、励起波長以上の光(励起光および蛍光)を反射し、励起波長より短い波長の白色光(戻り光)を透過するようになっている。
【0040】
また、この撮像ユニット30には、ダイクロイックミラー33により反射された励起光および蛍光のうち、励起光を遮断し蛍光(例えば、近赤外蛍光)のみを透過させる励起光カットフィルタ35と、励起光カットフィルタ35を透過した蛍光を集光する集光レンズ37Aと、集光レンズ37Aにより集光された蛍光を撮影する蛍光撮影部38と、ダイクロイックミラー33を透過した白色光を集光する集光レンズ37Bと、集光レンズ37Bにより集光された白色光を撮影する白色光撮影部39とが備えられている。
【0041】
励起光カットフィルタ35は、例えば、波長帯域760〜850nmの蛍光のみを透過するようになっている。
蛍光撮影部38は、例えば、蛍光用の高感度モノクロCCDである。この蛍光撮影部38は、蛍光を撮影することにより蛍光画像情報を取得するようになっている。
白色光撮影部39は、例えば、白色光用のカラーCCDであり、モザイクフィルタ(図示略)を備えている。この白色光撮影部39は、白色光を撮影することにより白色光画像情報を取得するようになっている。
【0042】
画像処理部40は、蛍光撮影部38により取得された蛍光画像情報から蛍光画像G1を生成する蛍光画像生成部(蛍光画像取得部)41と、白色光撮影部39により取得された白色光画像情報から白色光画像G2を生成する白色光画像生成部(参照画像取得部)42と、蛍光画像G1を白色光画像G2により補正し補正蛍光画像G3を生成する画像補正部(補正蛍光画像生成部)43と、補正蛍光画像G3における階調値の閾値(階調値閾値)S0を設定する閾値設定部45と、補正蛍光画像G3から閾値設定部45により設定された閾値S0以上の階調値を有する領域を注目領域として抽出する抽出部47と、抽出部47により抽出された注目領域と白色光画像G2を重畳させた重畳画像G4を生成する画像合成部49とを備えている。
【0043】
画像補正部43は、同一の被写体Fの蛍光画像G1を白色光画像G2で除算することにより蛍光画像G1を補正するようになっている。これにより、蛍光画像G1における観察距離や観察角度等に依存する蛍光強度変化を軽減した補正蛍光画像G3が生成される。また、画像補正部43は、生成した補正蛍光画像G3を抽出部47および閾値設定部45に送るとともに、白色光画像G2および補正蛍光画像G3を抽出部47を介して画像合成部49に送るようになっている。
【0044】
抽出部47は、抽出した領域の面積(画素数)Pを測定し、面積Pが一定の大きさ以上ある場合、すなわち、予め設定してある画素数閾値P0よりも面積Pが大きい場合にその領域を注目領域と判定するようになっている。閾値S0以上の階調値を有し、かつ、その画素数が画素数閾値P0を越える注目領域の抽出は、最初に階調値によって抽出された領域の中から画素数の多い領域を抽出してもよいし、最初に画素数によって抽出された領域の中から階調値の高い領域を抽出してもよい。
【0045】
抽出部47は、抽出した注目領域の情報を、閾値設定部45および画像合成部49に送るようになっている。また、抽出部47は、抽出した注目領域内の各画素の階調値の平均値(以下、「注目領域の平均階調値」という。)m0を算出し、閾値設定部45に入力するようになっている。
【0046】
画像合成部49は、画像補正部43により生成された補正蛍光画像G3の内、抽出部47により抽出された注目領域以外のバックグラウンドを除去したものを白色光画像G2と重畳することにより、重畳画像G4を生成するようになっている。画像合成部49は、生成した重畳画像G4をモニタ50に送るようになっている。
【0047】
モニタ50は、画像合成部49により生成された重畳画像G4を表示するようになっている。また、モニタ50には、表示した重畳画像G4の内の抽出部47により抽出された注目領域が、病変の疑いのある領域として正しいか否かの判定の入力を医師等の観察者に促す選択が表示されるようになっている。入力を促す選択の表示としては、例えば、「注目領域は病変の疑いがあるか(Y/N)?」等が挙げられる。
【0048】
観察者は、モニタ7に表示された重畳画像G4を目視確認して、補正蛍光画像G3に表示された観察部位の形状や色等の形態的特徴、あるいは、注目領域の大きさや明るさ等から、注目領域が病変の疑いのある領域であるか否かを判定し、入力部53により判定結果を入力するようになっている。
【0049】
入力部53は、例えば、キーボードやマウス等の任意の入力装置である。
入力部53により入力された観察者による判定結果は、閾値設定部45に入力されるようになっている。
【0050】
閾値設定部45は、以下の式(1),(2)により、補正蛍光画像G3における各画素の階調値の平均値(補正蛍光画像G3全体の階調値の平均。以下、「補正蛍光画像G3全体の平均階調値」という。)mと、補正蛍光画像G3における各画素の階調値の標準偏差(補正蛍光画像G3全体の階調値の標準偏差。以下、「補正蛍光画像G3全体の標準偏差」という。)σとを算出するようになっている。
【0051】
【数1】
【0052】
【数2】
【0053】
また、閾値設定部45は、以下の式(3)に示されるように、補正蛍光画像G3全体の平均階調値mと標準偏差σとの和に基づいて、閾値S0を設定するようになっている。
S0=a×m+b×σ・・・(3)
式(3)において、
a:係数(第1係数)
b:係数(第2係数)
である。
【0054】
また、閾値設定部45は、入力部53により入力された入力結果を反映させるように係数(第1係数)aおよび係数(第2係数)bを設定し、新たな閾値S0として設定するようになっている。
具体的には、観察者により、「注目領域は病変の疑いがある(Y)。」、すなわち、「抽出部47により注目領域を抽出するための閾値は正しい。」と判定された場合(以下、「Y判定」とする。)は、閾値設定部45は、抽出部47から入力された注目領域の平均階調値m0が、閾値S0よりも所定の割合だけ高い上位閾値(上位階調値閾値)を下回っているか否かを判定するようになっている。
【0055】
そして、閾値設定部45は、注目領域の平均階調値m0が上位閾値を下回っているときは係数a,bの値を小さくし、注目領域の平均階調値m0が上位閾値を上回っているときは係数a,bの値を維持するようになっている。
以下、本実施形態においては、係数a=1に固定し、係数bを随時更新していくこととする。
【0056】
例えば、上位閾値を1.1×S0とする。
m0<1.1×S0のときは、係数bを0.9×bに更新するようになっている。
また、m0≧1.1×S0のときは、係数bの値を維持するようになっている。
【0057】
一方、観察者により、「注目領域は病変の疑いがない(N)。」、すなわち、「抽出部23による注目領域を抽出するための閾値S0は誤りである。」と判定された場合(以下、「N判定」とする。)は、閾値設定部45は、係数bの値を大きくするようになっている。
例えば、係数bを1.1×bに更新するようになっている。
【0058】
閾値設定部45により設定された閾値S0は抽出部47に入力され、抽出部47に新たな閾値S0として設定されるようになっている。これにより、新たな補正蛍光画像G3が生成されると、新たな閾値S0により注目領域が抽出されるようになっている。また、同様の手順を繰り返し、閾値設定部45により、補正蛍光画像G3ごとに閾値S0が設定されるようになっている。
【0059】
このように構成された本実施形態に係る蛍光観察装置100の作用について説明する。
本実施形態に係る蛍光観察装置100を用いて、被写体Fである患者の体内の生体組織を観察するには、患者の体内に挿入部2を挿入し、その先端2aを被写体Fに対向させる。そして、光源10を作動させて励起光および照明光を発生させ、カップリングレンズ15によりライトガイドファイバ21に入射させる。ライトガイドファイバ21により導光されて挿入部2の先端2aに達した励起光および照明光は、照明光学系23により拡散されて被写体Fに照射される。
【0060】
被写体Fにおいては、内部に含まれている蛍光物質が励起光により励起されることにより蛍光が発せられるとともに、被写体Fの表面において励起光の一部および白色光が反射させられる。これら蛍光、白色光および励起光は、被写体Fから挿入部2の先端2aに戻り、その一部が対物レンズ31により集光される。
【0061】
対物レンズ31により集光された蛍光、白色光および励起光、ダイクロイックミラー33により波長ごとに分岐される。すなわち、ダイクロイックミラー33において、励起波長以上の光である励起光および蛍光が反射され、励起波長より短い波長の白色光が透過する。
【0062】
ダイクロイックミラー33により反射された励起光および蛍光の内、励起光カットフィルタ35により励起光は除去され、蛍光のみが集光レンズ37Aにより集光されて蛍光撮影部38により撮影される。これにより、蛍光撮影部38において被写体Fの蛍光画像情報が取得される。
【0063】
また、ダイクロイックミラー33を透過した白色光は、集光レンズ37Bによって集光され、白色光撮影部39により撮影される。これにより、白色光撮影部39において被写体Fの白色光画像情報が取得される。
なお、蛍光画像情報と白色光画像情報は、どちらを先に取得してもよいし同時に取得してもよい。
【0064】
蛍光撮影部38により取得された蛍光画像情報および白色光撮影部39により取得された白色光画像情報は、それぞれ画像処理部40に送られる。画像処理部40においては、蛍光画像情報が蛍光画像生成部41に入力されて蛍光画像G1が生成され、白色光画像情報が白色光画像生成部42に入力されて白色光画像G2が生成される。
【0065】
光画像生成部41により生成された蛍光画像G1および白色光画像生成部42により生成された白色光画像G2は画像補正部43に送られ、蛍光画像G1が白色光画像G2で除算されることにより補正蛍光画像G3が生成される。生成された補正蛍光画像G3は、画像補正部43から抽出部47および閾値設定部45に送られる。また、白色光画像G2および補正蛍光画像G3が画像補正部43から抽出部47を介して画像合成部49に送られる。
【0066】
以下、閾値設定部45による閾値の設定について、図2に示すフローチャートを参照して説明する。
閾値設定部45は、画像補正部43から送られてきた補正蛍光画像G3を取得すると(ステップSA1)、補正蛍光画像G3全体の平均階調値mと標準偏差σを算出する(ステップSA2)。
【0067】
そして、閾値設定部45により、算出された補正蛍光画像G3全体の平均階調値mと標準偏差σとが用いられ、式(3)により閾値S0が算出されて設定される(ステップSA3)。設定された閾値S0は、抽出部47に入力される。
【0068】
本実施形態においては、上述した式(3)の係数aがa=1に予め設定されている。また、1枚目の補正蛍光画像G3における式(3)の係数bはb=1とし、2枚目以降の補正蛍光画像G3における式(3)の係数bが図3のフローチャートに示されるようにして随時更新される。
【0069】
まず、抽出部47により、補正蛍光画像G3における最初の閾値S0以上の階調値を持つ領域が抽出される(ステップSB1)。
また、抽出部47により、抽出した領域の面積(画素数)Pが測定され(ステップSB2)、面積Pが閾値P0よりも大きいか否かが判定される(ステップSB3)。
【0070】
面積Pが閾値P0よりも小さいときは(ステップSB3「NO」)、ステップSB1に戻る。これにより、階調値は高いが面積は小さい領域(ノイズ等)が注目領域として抽出されてしまうことを防止することができる。したがって、ノイズによる誤抽出を抑制し、注目領域を効率よく抽出することができる。
【0071】
一方、面積Pが閾値P0よりも大きいときは(ステップSB3「YES」)、抽出部47により、抽出した領域が注目領域として判定され、閾値設定部45および画像合成部49に注目領域の情報が送られる。また、抽出部47により、注目領域の平均階調値m0が算出され、閾値設定部45に送られる(ステップSB4)。
【0072】
次いで、画像合成部49により、補正蛍光画像G3の内、注目領域以外のバックグラウンドを除去したものが白色光画像G2と重畳され(ステップSB5)、重畳画像G4が生成される。そして、重畳画像G4がモニタ50に送られ、図4に示すように、重畳画像G4と観察者による入力を促す選択がモニタ50に同時に表示される。
【0073】
注目領域と白色光画像G2とを重畳させてモニタ50により表示することで、注目領域と白色光画像G2との対応関係を観察者が一目で把握し、注目領域のみならず、その周辺も観察することができる。したがって、観察者がより詳細な情報を得ることができ、抽出部47による判定結果の正否をより正確に判定することができる。
【0074】
観察者は、モニタ50に表示された重畳画像G4を観察しながら、表示された注目領域が病変の疑いがあるか否かを判定し、判定結果を入力部53に入力する(ステップSB6)。つまり、抽出部47により抽出された注目領域の判定が正しかったのか否かが、観察者による入力によって確認される。そして、入力部53により入力された判定結果は閾値設定部45に入力される。
【0075】
観察者による判定結果が入力部53により入力されると、閾値設定部45は、その入力結果を反映させるように係数bを更新する。
具体的には、入力部53に入力された判定がY判定である場合は(ステップSB7「YES」)、閾値設定部45により、注目領域の平均階調値m0と、現在の閾値S0よりも所定の割合だけ高い上位閾値(1.1×S0)とが用いられて、m0<1.1×S0を満たすか否かが判定される(ステップSB8)。
【0076】
m0<1.1×S0を満たすときは、閾値設定部45において、係数bが0.9×bに更新され(ステップSB9)、新たな係数bとして設定される(ステップSB11)。
注目領域の平均階調値m0と閾値S0との差が僅かなときは、その閾値S0よりも低い階調値を有する領域についても、以降の抽出においては注目領域として抽出されるべきであるとする可能性がある。したがって、m0<1.1×S0を満たすときは係数bを小さくして閾値S0を下げることで、次の注目領域の抽出時には、現在の閾値S0よりも低い階調値を有する領域も注目領域として抽出し、必要な注目領域が見落されてしまうのを防止することができる。
【0077】
つまり、更新前の高い閾値S0で抽出された注目領域に病変の疑いが有るため、閾値S0を下げることで、抽出部47による次回の抽出において、さらに低い階調値の病変の疑いのある領域を抽出することができ、見落しを防止して診断の精度を向上することができる。
【0078】
また、m0≧1.1×S0のときは、閾値設定部45において、係数bの値がそのまま維持される(ステップSB11)。
注目領域の平均階調値m0と閾値S0との差が十分に大きいときは、その閾値S0が適当であり、次の注目領域の抽出時にも必要な注目領域が見落とされることなく抽出される可能性が高い。
【0079】
このように、上位閾値(本実施形態においては、1.1×S0。)を設定することで、閾値S0の所定の割合(本実施形態においては、0.1。)の範囲で係数bを維持するか小さくするかを場合分けすることができる。したがって、上位閾値を設定する閾値S0の所定の割合を適当に選ぶことで、観察することが必要な注目領域の見落としを防止しつつ、効率的に注目領域を抽出することができる。
【0080】
一方、入力部53に入力された判定がN判定である場合は(ステップSB7「NO」)、係数bが1.1×bに更新され(ステップSB10)、新たな係数bとして設定される(ステップSB11)。
【0081】
注目領域を抽出した閾値S0以下の階調値を有する領域については、以降の抽出においても注目領域として抽出されるべきであるとする可能性が低い。つまり、更新前の低い閾値S0で抽出された領域は病変の疑いが無いため、閾値S0を上げることで、抽出部23による次回の抽出において、病変の疑いのない領域が注目領域として誤って抽出されてしまう無駄を省いて、効率的に診断することができる。
【0082】
以上説明したように、本実施形態に係る蛍光観察装置100によれば、観察者の判定結果を利用して、注目領域を抽出するための閾値S0を決める標準偏差σの係数bを補正蛍光画像G3ごとに更新し、補正蛍光画像G3ごとに閾値S0が設定される。これにより、観察距離と観察角度の影響に対する補正誤差を低減した被写体の定量的な情報を取得することができる。
【0083】
ここで、注目領域の平均階調値m0が、以下の式(4)により算出されるとする。
m0=a×m+b0×σ・・・(4)
式(4)において、
b0:係数(第3係数)
である。
また、式(4)により、係数b0は以下の式(5)によって算出される。
b0=(m0−a×m)/σ・・・(5)
【0084】
そこで、本実施形態においては、入力部53により入力された判定結果がY判定である場合に、m0<1.1×S0が満たされると係数bを0.9×bに更新することとしたが、これに代えて、m0<1.1×S0が満たされると、以下の式(6)を用いて係数bを更新することとしてもよい。すなわち、図5に示されるフローチャートのステップSC8のように、0.9×b0とbとを比較し、小さい方の値を新たな係数として設定することとしてもよい。
MIN(0.9×b0、b)・・・(6)
【0085】
また、本実施形態においては、係数a=1を例示して説明したが、観察状況に応じて係数aの値を変更すればよい。また、本実施形態においては、係数aの値を固定し係数bの値を更新することとしたが、同様の方法により、係数aの値を更新し係数bの値を固定にすることとしてもよいし、係数aの値と係数bの値の両方を更新することとしてもよい。さらに、本実施形態においては、補正蛍光画像G3全体の平均階調値mと標準偏差σとの和に基づいて閾値S0を設定することとしたが、補正蛍光画像G3全体の平均階調値mと標準偏差σのいずれか一方を用いて閾値S0を設定することとしてもよい。
【0086】
〔第2実施形態〕
次に、本発明の第2実施形態に係る蛍光観察装置について説明する。
本実施形態に係る蛍光観察装置200は、図6に示すように、画像処理部40が記憶部55を備え、過去の係数a,bの平均値とそのときの判定入力結果とに応じて閾値S0を設定する点で第1実施形態と異なる。
以下、第1実施形態に係る蛍光観察装置100と構成を共通する箇所には、同一符号を付して説明を省略する。
【0087】
以下、本実施形態においては、係数a=1に固定し、係数bを随時更新していくこととする。
記憶部55は、抽出部47により注目領域が抽出され、入力部53によりその注目領域に対する観察者の判定が入力されたときに、注目領域の平均階調値m0、閾値S0、補正蛍光画像G3の平均階調値mと標準偏差σ、係数a,b、および、係数b0をセットにして、その判定結果と対応づけて記憶するようになっている。例えば、記憶部55には、これらの値が図7に示すようなデータとして記憶されていることとする。
【0088】
閾値設定部45は、新たな注目領域に対する観察者による判定が入力されたときは、その入力された判定結果に対応して記憶部55に記憶されている過去の係数b0を全て読み出し、以下のように係数bを更新するようになっている。
【0089】
例えば、観察者により、Y判定が入力された場合は、閾値設定部45は、記憶部55から読み出した過去の全てのY判定時における係数b0の平均値AVE_Y(b0)を算出し、平均値AVE_Y(b0)に対して、式(7)を用いて係数bを更新するようになっている。
【0090】
具体的には、閾値設定部45は、算出した係数b0の平均値AVE_Y(b0)よりも所定の割合だけ低い下位係数である0.9×AVE_Y(b0)の値と、現在の係数bの値とを比較し、小さい方の値を新たな係数bとして設定するようになっている。
【0091】
MIN(0.9×AVE_Y(b0)、b)・・・(7)
式(7)において
AVE_Y(b0):過去のY判定時の係数b0の平均値
である。
【0092】
一方、観察者により、N判定が入力された場合は、閾値設定部45は、記憶部55から読み出した過去の全てのN判定時における係数b0の平均値AVE_N(b0)を算出し、平均値AVE_N(b0)の値を新たな係数bとして設定するようになっている。
これにより、閾値S0は図8に示されるように変化する。
【0093】
本実施形態に係る蛍光観察装置200によれば、最新の判定結果のみならず、過去における判定結果をも反映した係数bにより新たな閾値S0を設定することができる。この場合において、記憶部55に記憶されている過去の係数b0の平均値AVE_Y(b0)よりも所定の割合だけ低い下位係数0.9×AVE_Y(b0)の値と現在の係数bの値の低い方を新たな係数bとすることにより、病変の疑いがある領域をより精度よく抽出することができる。
【0094】
また、抽出部47による判定が誤りであったときは、過去に誤りであると判定された際の係数b0の平均値AVE_N(b0)により新たな閾値S0を設定することで、観察する必要のない領域が注目領域として抽出されてしまう無駄を防止し、効率的に注目領域を抽出することができる。
【0095】
本実施形態は以下のように変形することができる。
例えば、第1変形例としては、閾値設定部45が、入力された判定結果に対応して記憶部55に記憶されている過去のすべてのY判定時における係数b0の標準偏差SD(b0)を算出することとしてもよい。そして、算出した過去の係数b0の標準偏差SD(b0)を、過去のすべてのY判定時における係数b0の平均値AVE_Y(b0)から減算し、その減算後の下位係数であるAVE_Y(b0)−SD(b0)の値と現在の係数bの値の低い方を新たな係数bとすることしてもよい。
【0096】
このようにすることで、被験者間のバラツキ、同一被験者における経過時間的なバラツキ、観察者による判定入力のバラツキを加味して係数bを更新し、より適切に閾値S0を設定することができる。
【0097】
また、例えば、感度(病変を見落とさないこと)を重視する場合は、Y判定時の新しい閾値S0をMIN(AVE_Y(b0)−3×SD(b0)、b)として設定することとしてもよい。また、特異度(病変以外の部分を抽出しないこと)を重視する場合は、Y判定時の新しい閾値S0をMIN(AVE_Y(b0)−1×SD(b0)、b)として設定してもよい。
このように、SD(b0)の係数(本変形例においては係数3、係数1。)は任意に変更することにより、検査の目的に応じた適切な閾値S0を設定することができるという利点がある。
【0098】
また、第2変形例としては、画像処理部40が、抽出部47により算出された注目領域の平均階調値m0と、入力部53により入力された過去の判定結果に関する情報とを受け取り、これらを対応づけて保存する保存部(図示略)を備えることとしてもよい。また、モニタ50が、注目領域ごとに、その平均階調値m0に対応する過去の判定結果に関する情報を保存部から読み出して表示することとしてもよい。
【0099】
このようにすることで、観察者が抽出部による判定結果の正否を判定するときに、モニタ50により表示された過去の判定結果を参考にすることができる。その結果、観察者により正確な判定を行うことができる。
【0100】
上記実施形態においては、係数a=1を例示して説明したが、観察状況に応じて係数aの値を変更すればよい。この場合は、第3係数として、係数b0に代えて、式(8)に基づいて係数a0を算出し係数aの値を変更すればよい。
a0=(m0−b×σ)/m・・・(8)
式(8)において、
a0:係数(第3係数)
である。
【0101】
また、上記実施形態においては、係数aの値を固定し係数bの値を更新することとしたが、同様の方法により、係数aの値を更新し係数bの値を固定にすることとしてもよいし、係数aの値と係数bの値の両方を更新することとしてもよい。また、過去のすべてのY判定時における係数a0の標準偏差SD(a0)を算出し、下位係数であるAVE_Y(a0)−SD(a0)の値と現在の係数aの値の低い方を新たな係数aとしてもよい。さらに、補正蛍光画像G3全体の平均階調値mと標準偏差σのいずれか一方を用いて閾値S0を設定することとしてもよい。
【0102】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
【0103】
また、上記各実施形態においては、画像合成部49によって補正蛍光画像G3の注目領域と白色光画像G2とを重畳してモニタ50に表示させることとしたが、補正蛍光画像G3と白色光画像G2とを並列にモニタ50に表示させてもよい。このとき、注目領域を輪郭表示するなどして補正蛍光画像G3上に表示することとしてもよい。このようにすることで、閾値S0によって切り取られた注目領域のみを表示することに比べ、より詳細な情報を観察者に提供することができ、より正確に判定させることができる。
【0104】
また、上記各実施形態においては、抽出部47が、異なる2以上の閾値以上となる領域をそれぞれ抽出し、表示方法を異ならせてモニタ50に表示してもよい。例えば、抽出部47は、注目領域の平均階調値m0が閾値S0を超える領域と、例えば、閾値S0の80%の値を超える領域とを抽出してもよい。
【0105】
また、上記各実施形態においては、抽出部47において注目領域の平均階調値m0を算出することとしたが、他の値を求めることにしてもよい。例えば、注目領域内で最も階調値が低い最低階調値を用いてもよいし、注目領域内で最も高い最高階調値を求めることにしてもよい。
【0106】
また、抽出部47により抽出された注目領域が同一画面上に複数存在する場合には、画像合成部49において、どの注目領域に対して正否判定を入力させるのかが観察者にわかるように、判定させようとする注目領域の表示のみを他の注目領域とは異ならせた重畳画像G4を生成することとしてもよい。他の注目領域と区別するためには、例えば、判定させようとする注目領域の表示のみを点滅させ、他の注目領域を点灯させるような重畳画像G4を生成することとしてもよい。
【0107】
また、この場合に、複数の注目領域について、その判定の順序を決定して、決定された順序に従って、判定させようとする注目領域の表示のみを点滅させていくこととしてもよい。また、一旦判定が入力された注目領域については、重複した判定入力を防止するために、判定済みであることがわかるような表示、例えば、色を変えることなどにより表示することとしてもよい。
【符号の説明】
【0108】
10 光源(照明部)
20 照明ユニット(照明部)
41 蛍光画像生成部(蛍光画像取得部)
42 白色光画像生成部(参照画像取得部)
43 画像補正部(補正蛍光画像生成部)
45 閾値設定部
47 抽出部
50 モニタ(表示部)
53 入力部(正否入力部)
55 記憶部
100,200 蛍光観察装置
a 係数(第1係数)
b 係数(第1係数)
b0 係数(第3係数)
m0 注目領域の階調値の平均値
S0 閾値(階調値閾値)
図1
図2
図3
図4
図5
図6
図7
図8