(58)【調査した分野】(Int.Cl.,DB名)
前記感度調節部が、前記輝度情報から前記撮像素子への入射光量を算出する入射光量算出部と、前記撮像素子への入射光量とビニング加算画素数との対応関係を記憶する記憶部とを備え、前記入射光量算出部により算出された入射光量を用いて、前記記憶部に記憶されている対応関係からビニング加算画素数を求める請求項1に記載の蛍光観察装置。
前記感度調節部が、前記輝度情報から前記撮像素子への入射光量を算出する入射光量算出部と、前記撮像素子への入射光量と露光時間との対応関係を記憶する記憶部とを備え、
前記入射光量算出部により算出された入射光量を用いて、前記記憶部に記憶されている対応関係から露光時間を求める請求項4に記載の蛍光観察装置。
前記感度調節部が、前記輝度情報から前記撮像素子への単位時間当たりの入射光量である撮像面照度を算出する照度算出部と、前記撮像素子における撮像面照度とビニング加算画素数および露光時間との対応関係を記憶する記憶部とを備え、前記照度算出部により算出された撮像面照度を用いて、前記記憶部に記憶されている対応関係から、ビニング加算画素数および露光時間を求める請求項1に記載の蛍光観察装置。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、撮像素子や画像生成回路においてはノイズが発生するため、検出された蛍光の光量だけで、最適なビニング加算画素数や露光時間に調整することは必ずしも容易ではない。すなわち、蛍光の光量が低い場合であってもノイズが少ない場合には、ビニング加算画素数を増やすといたずらに解像度を下げるだけであり、その反対に、蛍光の光量が高い場合であってもノイズが多く含まれる場合には、ビニング加算画素数を減らすと鮮明な画像を得ることができない。
【0005】
本発明は上述した事情に鑑みてなされたものであって、画質を低下させることなく、より適正な感度で観察することができる蛍光観察装置を提供することを目的としている。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の
第1の態様にかかる蛍光観察装置は、被写体に照射する励起光を射出する励起光源と、該励起光源から射出された励起光が照射されることにより前記被写体において発生した蛍光を撮影して蛍光画像を取得する撮像素子を備える蛍光画像取得部と、該蛍光画像取得部の前記撮像素子により取得された蛍光画像の輝度情報に基づいて、蛍光画像におけるSN比が所定の閾値以上となるように前記撮像素子におけるビニング加算画素数および/または露光時間を調節する感度調節部とを備え
、前記感度調節部が、前記撮像素子により取得された蛍光画像の輝度情報に基づいて、前記撮像素子におけるビニング加算画素数を、SN比が所定の閾値以上となる最小のビニング加算画素数に調節する蛍光観察装置
である。
本発明の第2の態様にかかる蛍光観察装置は、被写体に照射する励起光を射出する励起光源と、該励起光源から射出された励起光が照射されることにより前記被写体において発生した蛍光を撮影して蛍光画像を取得する撮像素子を備える蛍光画像取得部と、該蛍光画像取得部の前記撮像素子により取得された蛍光画像の輝度情報に基づいて、蛍光画像におけるSN比が所定の閾値以上となるように前記撮像素子におけるビニング加算画素数および/または露光時間を調節する感度調節部と、前記閾値を設定する閾値設定部とを備え、前記感度調節部が、前記輝度情報から前記撮像素子への入射光量を算出する入射光量算出部と、前記撮像素子への入射光量とビニング加算画素数との対応関係を記憶する記憶部とを備え、前記入射光量算出部により算出された入射光量を用いて、前記記憶部に記憶されている対応関係からビニング加算画素数を求め、前記記憶部が、前記撮像素子への入射光量とSN比との対応関係をビニング加算画素数毎に記憶している蛍光観察装置である。
本発明の第3の態様にかかる蛍光観察装置は、被写体に照射する励起光を射出する励起光源と、該励起光源から射出された励起光が照射されることにより前記被写体において発生した蛍光を撮影して蛍光画像を取得する撮像素子を備える蛍光画像取得部と、該蛍光画像取得部の前記撮像素子により取得された蛍光画像の輝度情報に基づいて、蛍光画像におけるSN比が所定の閾値以上となるように前記撮像素子におけるビニング加算画素数および/または露光時間を調節する感度調節部と、識別情報が記憶され、観察条件を変更するために着脱される着脱部品と、該着脱部品に記憶された識別情報を読み取る識別情報読取部とを備え、前記感度調節部が、前記輝度情報から前記撮像素子への入射光量を算出する入射光量算出部と、前記撮像素子への入射光量とビニング加算画素数との対応関係を前記識別情報毎に記憶する記憶部とを備え、前記識別情報読取部により読み取られた識別情報に基づいて対応関係を選択し、前記記憶部に記憶されている選択された対応関係から前記入射光量算出部により算出された入射光量を用いてビニング加算画素数を求める蛍光観察装置である。
本発明の第4の態様にかかる蛍光観察装置は、被写体に照射する励起光を射出する励起光源と、該励起光源から射出された励起光が照射されることにより前記被写体において発生した蛍光を撮影して蛍光画像を取得する撮像素子を備える蛍光画像取得部と、該蛍光画像取得部の前記撮像素子により取得された蛍光画像の輝度情報に基づいて、蛍光画像におけるSN比が所定の閾値以上となるように前記撮像素子におけるビニング加算画素数および/または露光時間を調節する感度調節部とを備え、該感度調節部が、前記撮像素子により取得された蛍光画像の輝度情報に基づいて、前記撮像素子における露光時間を、SN比が所定の閾値以上となる最小の露光時間に調節する蛍光観察装置である。
本発明の第5の態様にかかる蛍光観察装置は、被写体に照射する励起光を射出する励起光源と、該励起光源から射出された励起光が照射されることにより前記被写体において発生した蛍光を撮影して蛍光画像を取得する撮像素子を備える蛍光画像取得部と、該蛍光画像取得部の前記撮像素子により取得された蛍光画像の輝度情報に基づいて、蛍光画像におけるSN比が所定の閾値以上となるように前記撮像素子におけるビニング加算画素数および/または露光時間を調節する感度調節部と、前記閾値を設定する閾値設定部とを備え、前記感度調節部が、前記輝度情報から前記撮像素子への入射光量を算出する入射光量算出部と、前記撮像素子への入射光量と露光時間との対応関係を記憶するとともに前記撮像素子への入射光量とSN比との対応関係を露光時間毎に記憶する記憶部とを備え、前記入射光量算出部により算出された入射光量を用いて、前記記憶部に記憶されている対応関係から露光時間を求める蛍光観察装置である。
本発明の第6の態様にかかる蛍光観察装置は、被写体に照射する励起光を射出する励起光源と、該励起光源から射出された励起光が照射されることにより前記被写体において発生した蛍光を撮影して蛍光画像を取得する撮像素子を備える蛍光画像取得部と、該蛍光画像取得部の前記撮像素子により取得された蛍光画像の輝度情報に基づいて、蛍光画像におけるSN比が所定の閾値以上となるように前記撮像素子におけるビニング加算画素数および/または露光時間を調節する感度調節部とを備え、該感度調節部が、前記輝度情報から前記撮像素子への単位時間当たりの入射光量である撮像面照度を算出する照度算出部と、前記撮像素子における撮像面照度とビニング加算画素数および露光時間との対応関係を記憶する記憶部とを備え、前記照度算出部により算出された撮像面照度を用いて、前記記憶部に記憶されている対応関係から、ビニング加算画素数および露光時間を求める蛍光観察装置である。
【0007】
上記態様によれば、励起光源から射出された励起光が被写体に照射されることにより、被写体において蛍光物質が励起され、発生した蛍光が蛍光画像取得部の撮像素子により撮影されて蛍光画像が取得される。取得された蛍光画像には撮像素子におけるノイズや画像生成回路におけるノイズが含まれるが、撮像素子への入射光量に応じて定まっており、入射光量は撮像素子により取得された蛍光画像の輝度情報によって推定できる。
【0008】
したがって、蛍光画像の輝度情報を用いて、感度調節部が撮像素子におけるビニング加算画素数および/または露光時間を調節することにより、SN比が所定の閾値以上となる蛍光画像を取得することができる。これにより、蛍光画像の画質を低下させることなく、より適正な感度で観察することができる。
【0009】
上記態様においては、前記感度調節部が、前記撮像素子により取得された蛍光画像の輝度情報に基づいて、前記撮像素子におけるビニング加算画素数を、SN比が所定の閾値以上となる最小のビニング加算画素数に調節してもよい。
このようにすることで、ノイズを抑え得るビニング加算画素数の内、解像度を最大限に維持し得る最小のビニング加算画素数を選択することにより、適正な感度で鮮明な蛍光観察を行うことができる。
【0010】
上記態様においては、前記感度調節部が、前記輝度情報から前記撮像素子への入射光量を算出する入射光量算出部と、前記撮像素子への入射光量とビニング加算画素数との対応関係を記憶する記憶部とを備え、前記入射光量算出部により算出された入射光量を用いて、前記記憶部に記憶されている対応関係からビニング加算画素数を求めてもよい。
このようにすることで、入射光量算出部により輝度情報から撮像素子への入射光量が算出されるので、感度調節部により、算出された入射光量を用いて記憶部に記憶されている対応関係からビニング加算画素数を求めることができる。これにより、SN比が所定の閾値以上となる蛍光画像を取得することができ、蛍光画像の画質を低下させることなく、より適正な感度で観察することができる。
【0011】
上記態様においては、前記閾値を設定する閾値設定部を備え、前記記憶部が、前記撮像素子への入射光量とSN比との対応関係をビニング加算画素数毎に記憶していてもよい。
このようにすることで、閾値設定部により閾値が設定された場合に、記憶部に記憶されている対応関係から、設定された閾値以上のSN比を入射光量に対して達成し得るビニング加算画素数を簡易に選択することができる。これにより、使用する蛍光薬剤の性能やアプリケーションに応じた適切な閾値を設定して、適正な蛍光観察を行うことができる。
【0012】
上記態様においては、前記感度調節部が、前記撮像素子により取得された蛍光画像の輝度情報に基づいて、前記撮像素子における露光時間を、SN比が所定の閾値以上となる最小の露光時間に調節してもよい。
このようにすることで、ノイズを抑え得る露光時間の内、解像度を最大限に維持し得る最小の露光時間を選択することにより、適正な感度で鮮明な蛍光観察を行うことができる。
【0013】
上記態様においては、前記感度調節部が、前記輝度情報から前記撮像素子への入射光量を算出する入射光量算出部と、前記撮像素子への入射光量と露光時間との対応関係を記憶する記憶部とを備え、前記入射光量算出部により算出された入射光量を用いて、前記記憶部に記憶されている対応関係から露光時間を求めてもよい。
このようにすることで、入射光量算出部により輝度情報から撮像素子への入射光量が算出されるので、感度調節部により、算出された入射光量を用いて記憶部に記憶されている対応関係から露光時間を求めることができる。これにより、SN比が所定の閾値以上となる蛍光画像を取得することができ、蛍光画像の画質を低下させることなく、より適正な感度で観察することができる。
【0014】
上記態様においては、前記閾値を設定する閾値設定部を備え、前記記憶部が、前記撮像素子への入射光量とSN比との対応関係を露光時間毎に記憶していてもよい。
このようにすることで、閾値設定部により閾値が設定された場合に、記憶部に記憶されている対応関係から、設定された閾値以上のSN比を入射光量に対して達成し得る露光時間を簡易に選択することができる。これにより、使用する蛍光薬剤の性能やアプリケーションに応じた適切な閾値を設定して、適正な蛍光観察を行うことができる。
【0015】
上記態様においては、前記感度調節部が、前記輝度情報から前記撮像素子への単位時間当たりの入射光量である撮像面照度を算出する照度算出部と、前記撮像素子における撮像面照度とビニング加算画素数および露光時間との対応関係を記憶する記憶部とを備え、前記照度算出部により算出された撮像面照度を用いて、前記記憶部に記憶されている対応関係から、ビニング加算画素数および露光時間を求めてもよい。
【0016】
このようにすることで、照度算出部により算出された撮像面照度に基づいて、記憶部に記憶されている対応関係からビニング加算画素数および露光時間が求められる。これにより、ビニング加算画素数の調節だけでは調節しきれなかった、より広い範囲での感度調節を行うことができる。
【0017】
上記態様においては、被写体に照射する照明光を射出する照明光源と、該照明光源からの照明光の前記被写体からの反射光を撮影して参照画像を取得する参照画像取得部とを備え、前記記憶部が、参照画像のブレ量毎に前記撮像素子における撮像面照度とビニング加算画素数および露光時間との対応関係を記憶し、前記感度調節部が、該参照画像取得部により取得された参照画像の輝度情報から算出されるブレ量によって選択された対応関係を用いて、ビニング加算画素数および露光時間を求めてもよい。
【0018】
このようにすることで、照明光源から射出された照明光が被写体に照射されると、被写体における反射光が参照画像取得部により撮影されて参照画像が取得される。感度調節部においては、取得された参照画像からブレ量が算出され、記憶部に記憶されているいずれかの対応関係がブレ量によって選択される。ブレ量が大きいときには露光時間を短くすることを優先してビニング加算画素数を調節し、像ブレが小さいときには露光時間を長くすることを優先してビニング加算画素数を調節することにより、ビニング加算画素数を減らして解像度の高い蛍光観察を行うことができる。
【0019】
上記態様においては、被写体に照射する照明光を射出する照明光源と、該照明光源からの照明光の前記被写体からの反射光を撮影して参照画像を取得する参照画像取得部とを備え、前記記憶部が、参照画像の輝度毎に前記撮像素子における撮像面照度とビニング加算画素数および露光時間との対応関係を記憶し、前記感度調節部が、該参照画像取得部により取得された参照画像の輝度情報によって選択された対応関係を用いて、ビニング加算画素数および露光時間を求めてもよい。
【0020】
このようにすることで、参照画像の輝度が高いときは、観察距離が短いときであり、観察対象は画像上において相対的に大きくなる。したがって、解像度が若干低下しても観察対象を鮮明に視認できるのでビニング加算画素数を多めに設定し、露光時間を短く抑えることで、像ブレを低減することができる。逆に、参照画像の輝度が低いときには、観察距離が長いときであり、観察対象は画像上において相対的に小さくなる。したがって、ビニング加算画素数を少なめに設定して解像度を高くすることができる。
【0021】
上記態様においては、前記蛍光画像取得部により取得された蛍光画像の輝度情報から蛍光画像のコントラストを算出するコントラスト算出部を備え、前記閾値設定部が、前記コントラスト算出部により算出されたコントラストに基づいて閾値を設定してもよい。
このようにすることで、取得された蛍光画像からコントラスト算出部により算出されたコントラストを用いて、自動的に適正な閾値を設定し、観察条件が変動しても、自動的に、蛍光画像の画質を低下させることなく、より適正な感度で観察することができる。
【0022】
上記態様においては、被写体に照射する照明光を射出する照明光源と、該照明光源からの照明光の前記被写体からの反射光を撮影して参照画像を取得する参照画像取得部とを備え、前記閾値設定部が、該参照画像取得部により取得された参照画像の輝度情報に基づいて閾値を設定してもよい。
このようにすることで、取得された蛍光画像の輝度情報を用いて、自動的に適正な閾値を設定し、観察条件が変動しても、自動的に、蛍光画像の画質を低下させることなく、より適正な感度で観察することができる。
【0023】
上記態様においては、前記蛍光画像を表示する表示部を備え、前記入射光量算出部により算出された入射光量に基づいて前記蛍光画像取得部により取得された蛍光画像の明るさを補正して前記表示部に出力する表示画像補正部を備えていてもよい。
このようにすることで、撮像素子のビニング加算画素数および/または露光時間の調節により取得される蛍光画像の明るさが変動しても、表示画像補正部により表示部に出力する蛍光画像の明るさを補正することによって、感度の調節に伴う明るさの変動を防止して、定量的な観察を行うことが可能となる。
【0024】
上記態様においては、識別情報が記憶され、観察条件を変更するために着脱される着脱部品と、該着脱部品に記憶された識別情報を読み取る識別情報読取部とを備え、前記感度調節部が、前記撮像素子への入射光量とビニング加算画素数との対応関係を前記識別情報毎に前記記憶部に記憶するとともに、前記識別情報読取部により読み取られた識別情報に基づいて対応関係を選択してもよい。
【0025】
このようにすることで、観察条件を変更するために、内視鏡スコープのような着脱部品が着脱されても、該着脱部品に記憶されている識別情報に応じて入射光量とビニング加算画素数との対応関係が選択されるので、簡易に適正な感度で鮮明な蛍光観察を行うことができる。
【発明の効果】
【0026】
本発明によれば、画質を低下させることなく、より適正な感度で観察することができるという効果を奏する。
【発明を実施するための形態】
【0028】
本発明の第1の実施形態に係る蛍光観察装置1について、図面を参照して以下に説明する。
本実施形態に係る蛍光観察装置1は、内視鏡装置であって、
図1に示されるように、体内に挿入される細長い挿入部2と、光源(照明部)3と、該光源3からの照明光および励起光を挿入部2の先端から観察対象Aに向けて照射する照明ユニット(照明部)4と、挿入部2の先端に設けられ、観察対象Aである生体組織の画像情報を取得する撮像ユニット5と、挿入部2の基端側に配置され、撮像ユニット5により取得された画像情報を処理する画像処理部6と、該画像処理部6により処理された画像Gを表示するモニタ(表示部)7とを備えている。
【0029】
光源3は、キセノンランプ8と、該キセノンランプ8から発せられた照明光から、励起光および照明光(波長帯域400〜740nm)を切り出すフィルタ9と、フィルタ9により切り出された励起光および照明光を集光するカップリングレンズ10とを備えている。
照明ユニット4は、挿入部2の長手方向のほぼ全長にわたって配置され、カップリングレンズ10によって集光された励起光および照明光を導光するライトガイドファイバ11と、挿入部2の先端に設けられ、ライトガイドファイバ11によって導光されてきた励起光および照明光を拡散させて、挿入部2の先端面2aに対向する観察対象Aに照射する照明光学系12とを備えている。
【0030】
撮像ユニット5は、観察対象Aの所定の観察範囲から戻る取り光を集光する対物レンズ13と、該対物レンズ13によって集光された戻り光の内、励起波長以上の光(励起光および蛍光)を反射し、励起波長より短い波長の照明光を透過するダイクロイックミラー(分岐部)14と、ダイクロイックミラー14を透過した照明光の反射光およびダイクロイックミラー14により反射された蛍光をそれぞれ集光する2つの集光レンズ(撮像光学系)15,16と、集光レンズ15,16によって集光された蛍光および照明光の反射光を撮像するCMOSのような2個の撮像素子17,18とを備えている。図中、符号19は、ダイクロイックミラー14によって反射された光から励起光を遮断する励起光カットフィルタである。
【0031】
画像処理部6は、撮像素子17により取得された参照画像情報S
1から参照画像G
1を生成する参照画像生成部20と、撮像素子18により取得された蛍光画像情報S
2から蛍光画像G
2を生成する蛍光画像生成部21と、該蛍光画像生成部21により生成された蛍光画像G
2に基づいて、撮像素子17の感度を調節する感度調節部22と、該感度調節部22により感度が調節された状態で取得された蛍光画像G
3と参照画像生成部20において生成された参照画像G
1とを合成して画像Gを生成する画像合成部23とを備えている。
【0032】
感度調節部22は、蛍光画像G
2の輝度情報に基づいて、撮像素子18への入射光量p
inを算出する入射光量算出部24と、入射光量S
3とビニング加算画素数Bとの対応関係を示すテーブルを記憶する感度設定部25(記憶部)とを備えており、入射光量算出部24により算出された入射光量p
inに対応するビニング加算画素数Bを、感度設定部25がテーブルから検索して撮像素子18に設定するようになっている。
画像合成部23は、例えば、参照画像G
1と補正された蛍光画像G
3とを並列に配置してモニタ7に同時に表示させるよう画像Gを合成し、モニタ7に出力するようになっている。
【0033】
ここで、入射光量算出部24による入射光量p
inの算出方法について説明する。
撮像素子18の撮像面に光が入射すると、撮像素子18においては、入射した光が量子収率(光子電荷変換効率)に応じて電荷に変換され、その電荷がアンプにおいて、その電荷圧電変換係数に応じて電圧に変換される。この電圧値は、A/D変換器のAD変換係数に応じてディジタル信号に変換される。
【0034】
したがって、蛍光画像G
2の画素の代表値である階調値(輝度情報)Vは、式(1)により求められる。代表値としては、全画素の輝度の平均値や中央値、関心領域の輝度の平均値あるいはヒストグラムの上位数%の輝度の平均値が用いられる。
V=p
inSBηC
I−VC
A−D (1)
【0035】
ここで、p
inは入射光量(フォトン/μm
2)、Sは撮像画素面積(μm
2/画素)、Bはビニング加算画素数(画素)、ηは量子収率(電荷/フォトン)、C
I−Vは電荷電圧変換係数(mV/電荷)、C
A−DはAD変換係数である。
式(1)から、入射光量p
inは、式(2)により算出できる。
p
in=V/(SBηC
I−VC
A−D) (2)
【0036】
次に、入射光量p
inとSN比S/Nの関係について説明する。SN比S/Nは撮像素子18の持つノイズ特性にも依存する。
撮像素子18としてCMOSを用いた場合には、SN比S/Nは式(3)により求められる。
S/N=Sηp
in/√((Sηp
in+N
dt+N
r2)/B) (3)
【0037】
ここで、N
dは1画素当たり単位時間当たりの暗電流(電荷/sec/画素)、N
rは読み出しノイズ(電荷rms)、tは露光時間(sec)、Bはビニング加算画素数である。
【0038】
式(3)から、ビニング加算画素数Bをパラメータとした入射光量p
inとSN比S/Nとの関係を表すと、
図2のようになる。
図2においては、ビニング加算画素数Bとしては、ビニング無し(1×1)から10×10までを例示している。本実施例では、例として、S≒3.0μm
2/画素、η≒0.4、Nd≒50電荷/sec/画素、Nr≒5.4電荷rmsを用いている。この値は、使用する撮像素子等により、適宜変更すればよい。
【0039】
図3に示されるように、感度調節部22の感度設定部25に記憶されているテーブルは、
図2のグラフにおいて、SN比S/Nが10以上となるために必要な最小のビニング加算画素数Bと入射光量p
inとの対応関係を示している。このテーブルにおいては、露光時間tは、例えば、0.024sec(24msec)に固定されている。
【0040】
このように構成された本実施形態に係る蛍光観察装置1の作用について以下に説明する。
本実施形態に係る蛍光観察装置1を用いて蛍光観察を行うには、光源3から射出させた照明光および励起光をライトガイドファイバ11を介して挿入部2の先端まで導光し、照明光学系12によって拡散させて観察対象Aに照射する。観察対象A中に蛍光物質が存在する場合には、励起光によって蛍光物質が励起され蛍光が発生する。観察対象Aの表面においては照明光が反射される。
【0041】
観察対象A内部において発生した蛍光および観察対象A表面において反射された照明光の反射光は、対物レンズ13により集光された後、ダイクロイックミラー14によって2つに分岐されて2つの撮像素子17,18により撮影される。単一の対物レンズ13により集光された2種類の光をダイクロイックミラー14によって分岐するので、観察対象Aにおける同一範囲を2種類の観察方法で観察することができる。
【0042】
撮像素子17によって撮影されることにより取得された参照画像情報S
1は、画像処理部6の参照画像生成部20に送られて参照画像G
1が生成される。一方、撮像素子18によって撮影されることにより取得された蛍光画像情報S
2は、画像処理部6の蛍光画像生成部21に送られて蛍光画像G
2が生成される。
【0043】
図4に示されるように、生成された蛍光画像G
2は感度調節部22に送られて(ステップS1)、その代表値が求められる(ステップS2)。そして、求められた代表値が入射光量算出部24に入力されて式(2)に代入されることで、入射光量p
inが算出される(ステップS3)。算出された入射光量p
inは感度設定部25に入力されることにより、入射光量p
inに対応するビニング加算画素数Bが感度設定部25から出力され(ステップS4)、撮像素子18に設定される(ステップS5)。
【0044】
これにより、新たなビニング加算画素数Bが設定された撮像素子18により、新たな蛍光画像情報S
2が取得され、蛍光画像生成部21により生成された蛍光画像G
3が、画像合成部23において参照画像G
1と合成された合成画像Gとしてモニタ7に表示される。
【0045】
この場合において、本実施形態に係る蛍光観察装置1によれば、蛍光画像G
2の輝度情報から求めた入射光量p
inに応じて、感度設定部25に記憶されているテーブルからビニング加算画素数Bが求められるので、SN比S/Nが閾値以上となる最小のビニング加算画素数Bを撮像素子18に設定することができ、画質の低下を防止しつつ解像度を向上することができるという利点がある。
【0046】
すなわち、入射光量p
in、つまり、単位面積当たりに入射するフォトン数を基準としているため、ビニング加算画素数Bが変化してもSN比S/Nを算出するための信号値は変化しない。従来のように画像の明るさを基準にして感度調節を行う場合には、画像の明るさが同じでも信号値は変化して適切な閾値を設定することができないことがあるが、本実施形態によれば、ビニング加算画素数Bの影響を受けることなく適切な閾値を設定することができる。
【0047】
本実施形態においては、ビニング加算画素数Bを最大(10×10)に設定してもなお、入射光量算出部24により算出された入射光量p
inが5フォトン/μm
2より少ない場合には、SN比S/Nが10より低くなるので、そのような場合には、モニタ7上に警告表示を行うこととしてもよい。この場合には観察距離を近づける等の工夫を行うことにより、SN比S/Nが10以上となる観察を行うことが可能となる。
【0048】
最大のビニング加算画素数Bは10×10に限定されるものではなく、それより大きくても小さくてもよい。
SN比S/Nの閾値は、使用する蛍光薬剤の性能等に応じて、10以外の数値に設定してもよい。例えば、病変特異性が高く、正常組織との蛍光発生量の差が大きい蛍光薬剤を使用する場合には、閾値を低めに設定することにしてもよい。これにより、より高解像かつ高感度の蛍光観察を行うことができる。
【0049】
次に、本発明の第2の実施形態に係る蛍光観察装置30について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第1の実施形態に係る蛍光観察装置1と構成を共通とする箇所には同一符号を付して説明を省略する。
【0050】
本実施形態に係る蛍光観察装置30は、感度調節部22が、ビニング加算画素数Bのみならず露光時間tをも調節する点において、第1の実施形態に係る蛍光観察装置1と相違している。
すなわち、本実施形態に係る蛍光観察装置30の感度調節部22は、
図5に示されるように、蛍光画像G
2の輝度情報に基づいて、撮像素子18の撮像面における撮像面照度E
inを算出する照度算出部31と、撮像面照度E
inとビニング加算画素数Bおよび露光時間tとの対応関係を示すテーブルを記憶する感度設定部(記憶部)25とを備えている。
【0051】
撮像面照度E
inは、撮像面における単位時間当たりの入射光量であり、式(4)により算出することができる。
E
in=V/(tSBηC
I−VC
A−D) (4)
【0052】
これにより、照度算出部31により算出された撮像面照度E
inに対応するビニング加算画素数Bおよび露光時間tを、感度設定部25がテーブルから検索して撮像素子18に設定するようになっている。
ここで、
p
in=E
int (5)
であるから、式(3)および式(5)から、SN比S/Nと撮像面照度E
inとの関係は式(6)の通りとなる。
S/N=SηE
int/√((SηE
int+N
dt+N
r2)/B) (6)
【0053】
すなわち、SN比S/Nは、ビニング加算画素数Bと、露光時間tとをパラメータとして、撮像面照度E
inの関数として、
図6に示すように表すことができる。
そして、撮像面照度E
inからビニング加算画素数Bおよび露光時間tを導くテーブルとしては、
図7に示した第1の実施形態のテーブルにおける露光時間24msecを標準としてビニング加算画素数Bを調節し、ビニング加算画素数Bが最大または最小となった時点で、露光時間tを増減させるようになっている。ここで用いているS、η、Nd、N
rは、第1の実施形態と同様の値を用いている。
【0054】
このように構成された本実施形態に係る蛍光観察装置30によれば、
図8に示されるように、蛍光画像G
2の輝度情報から撮像面照度E
inが求められ(ステップS3’)、該撮像面照度E
inに応じて、感度設定部25に記憶されているテーブルからビニング加算画素数Bおよび露光時間tが求められる(ステップS4’)。撮像面照度E
inが100〜250フォトン/sec/μm
2以下の場合には、ビニング加算画素数Bが10×10に固定された状態で、露光時間tとして100〜24msecが選択されるようになっている。
【0055】
撮像面照度E
inが208〜4330フォトン/sec/μm
2までは、露光時間tが24msecに固定された状態で、ビニング加算画素数Bとして10×10〜1×1までが選択されるようになっている。さらに、撮像面照度E
inが6500フォトン/sec/μm
2以上の場合には、ビニング加算画素数Bが1×1に固定された状態で、露光時間tとして24〜8msecが選択されるようになっている。
【0056】
このようにすることで、入射光量P
inが5フォトン/μm
2より小さい微弱な蛍光を観察する場合においても、露光時間tを増大させてSN比S/Nを10以上に確保することが可能となる。撮像面照度E
inの大きな領域(4330フォトン/sec/μm
2以上)においては、ビニング加算画素数Bを最小の1×1としても十分に高いSN比S/Nが得られるが、撮像面照度E
inが大きくなるに従って露光時間tを短く設定することにより像ブレを抑える効果を高めることができるという利点がある。
【0057】
次に、本発明の第3の実施形態に係る蛍光観察装置40について、図面を参照して説明する。
本実施形態の説明において、上述した第1の実施形態に係る蛍光観察装置1と構成を共通とする箇所には同一符号を付して説明を省略する。
【0058】
本実施形態に係る蛍光観察装置40は、
図9に示されるように、感度設定部25においてビニング加算画素数Bを求める際の閾値S
3を外部から入力させる閾値入力部(閾値設定部)41を備えている点で、第1の実施形態に係る蛍光観察装置1と相違している。
閾値入力部41は、例えば、切替スイッチやボタン等であり、SN比S/Nの閾値S
3として6、10、15のいずれかを選択することができるようになっている。
【0059】
感度設定部25には、
図10に示されるテーブルが記憶されている。感度設定部25は、閾値入力部41から入力された閾値S
3および入射光量算出部24により算出された入射光量p
inに基づいて、テーブルからビニング加算画素数Bを選択し、撮像素子18に設定するようになっている。
【0060】
このように構成された本実施形態に係る蛍光観察装置40によれば、薬剤の性能やアプリケーションに応じて適切なSN比S/Nの閾値S
3を設定することができる。例えば、コントラストの高い蛍光薬剤を用いる場合には、撮像素子18に求められるSN比S/Nは低くてもよいので、小さい閾値S
3を設定することにより、入射光量p
inが低くても小さいビニング加算画素数Bを設定して、解像度の低下や像ブレの影響を最小限に抑えることができる。
【0061】
これとは逆に、硬性鏡で腹腔内を観察したり、軟性鏡で胃の中を観察したりするような観察距離が大きいことが想定されるアプリケーションでは、観察部位が相対的に小さくなって視認性が低下することが考えられるので、SN比S/Nの閾値を大きくすることで、視認性を確保するような感度を得ることができるという利点がある。
【0062】
本実施形態においては、閾値入力部41から入力された閾値S
3に応じてテーブルに記憶されているビニング加算画素数Bを選択することとした。これに代えて、感度設定部25が、ビニング加算画素数B毎の入射光量p
inとSN比S/Nとの関係を表す
図11に示されるグラフを記憶していて、閾値S
3が入力されたときには、その都度、入力された閾値S
3を用いて、記憶されているグラフから、その閾値S
3以上のSN比S/Nを達成可能な最も小さいビニング加算画素数Bを選択したテーブルを作成することとしてもよい。
図11では、SN比S/Nの閾値S
3の例として、6、10、15を示す線が描かれている。
このようにすることで、SN比S/Nの閾値S
3を、予め記憶されている値に捕らわれることなく自由に設定でき、よりきめの細かい感度調節を行うことができるという利点がある。
【0063】
入力された閾値S
3を用いて、記憶されているテーブルあるいはグラフから、その閾値S
3以上のSN比S/Nを達成可能な最も小さいビニング加算画素数Bを選択することとしたが、これに加えて、第2の実施形態のように、ビニング加算画素数Bおよび露光時間tを調整することにしてもよい。SN比S/Nの閾値S
3は用途に応じて観察開始前に術者が入力することにしてもよいし、観察中に状況に応じて入力することにしてもよい。
【0064】
本実施形態においては、閾値入力部41から入力された閾値S
3を用いることとしたが、これに代えて、
図12に示されるように、蛍光画像生成部により生成された蛍光画像から画像のコントラストを算出するコントラスト算出部42を設け、該コントラスト算出部42により算出されたコントラストT/Cに基づいて、SN比S/Nの閾値S
3を設定することとしてもよい。
この場合、感度設定部25にはコントラストT/Cと閾値S
3とを対応させるテーブルが記憶されていればよい。
【0065】
コントラスト算出部42としては、例えば、蛍光画像G
2のヒストグラムを生成し、その階調値全体の平均値Cとヒストグラムの上位5%の平均値Tとの比T/Cをコントラストとして算出すればよい。
【0066】
テーブルとしては、
図13に示されるように、使用する蛍光薬剤のコントラストT/Cが高い場合には、SN比S/Nの閾値S
3を低く設定し、コントラストT/Cが低い場合にはSN比S/Nの閾値を高くするようなテーブルが好ましい。実際に得られた蛍光画像G
2に基づいてSN比S/Nの閾値S
3を設定するので、手動で入力する場合よりも適切な閾値を設定することができる。
【0067】
コントラストT/Cとして、ヒストグラムの上位5%の平均値Tを用いたが、これに限定されるものではなく、例えば、観察する病変が大きいアプリケーション、例えば、大腸ポリープ等の観察に際しては、蛍光画像G
2内の高輝度領域の占める割合が多いと考えられるので、例えば、ヒストグラムの上位10%の平均値Tを用いることにしてもよい。
【0068】
蛍光画像G
2のコントラストT/CからSN比S/Nの閾値S
3を設定することに代えて、参照画像G
1の輝度値からSN比S/Nの閾値S
3を設定することとしてもよい。
この場合には、
図14に示されるように、参照画像生成部20により生成された参照画像G
1の輝度値の平均値等の代表値Dを露光時間tで除算することにより参照画像G
1の輝度D/tを算出する輝度算出部43を設け、感度設定部25に、参照画像G
1の輝度D/tと閾値S
3とを対応させるテーブルが記憶されていればよい。
【0069】
テーブルとしては、
図15に示されるように、観察距離が遠くなるようなアプリケーション、すなわち、参照画像G
1の輝度D/tが低い場合には、観察対象Aの視認性を向上するために、SN比S/Nの閾値S
3を高めに設定することが好ましく、観察距離が近くなるアプリケーション、すなわち、参照画像G
1の輝度D/tが高い場合には、SN比S/Nの閾値S
3を低めに設定するようなテーブルとすればよい。
【0070】
これとは逆に、観察距離が近づく場合には観察部位が大きく表示されるので、解像度が低下したり像ブレが発生したりしてもある程度許容される。この場合にはSN比S/Nの閾値S
3を高めに設定して、ビニング加算画素数Bを多めにすることにしてもよい。
【0071】
観察距離が遠い場合には観察部位が小さく表示されるので、解像度の低下や像ブレの影響を大きく受けやすい。そこで、この場合には、SN比S/Nの閾値S
3を低めに設定して、露光時間tが長すぎたりビニング加算画素数Bが多くなりすぎたりしないような設定としてもよい。
図15における、輝度D/tの値は、輝度値を12bit階調、露光時間を単位secで表わしたときの値を例としている。つまり、D/tが100000というのは、露光時間24msecのときは、階調値は2400となる。
【0072】
図16に示されるように、参照画像生成部20により生成された参照画像G
1から像ブレMを算出する像ブレ算出部44を設け、感度設定部25が、算出された像ブレMの大きさに応じて露光時間tおよびビニング加算画素数Bと撮像面照度E
inとを対応づけるテーブルを選択することにしてもよい。像ブレMは、例えば、公知技術を用いてブレ量を算出し、そのブレ量を用いて数値化することにより算出できる。
【0073】
感度設定部25は、像ブレ算出部44から送られてきた像ブレMを所定の閾値M1,M2と比較して、M<M1、M1<M<M2、M2<Mの3つの場合に分けて、テーブルを選択することとしている。M<M1の場合のテーブルの例は
図17、M1<M<M2の場合のテーブルの例は
図7、M2<Mの場合のテーブルの例は
図18の通りである。
【0074】
図17のテーブルは、像ブレMが最も小さい場合であり、ビニング加算画素数Bを小さく保ったまま露光時間tを長くすることを優先して、解像度の高い観察を行うようにしている。
図7のテーブルは、像ブレMが中程度の場合であり、露光時間tを標準値24msecとしてビニング加算画素数Bを変化させている。
図18のテーブルは、像ブレMが最も大きい場合であり、露光時間tを短くすることを優先して、像ブレMを抑えて視認性を向上するようにしている。これにより、より観察状況に適した感度調整を行うことができる。
【0075】
像ブレ算出部44に代えて、
図19に示すように、参照画像生成部20により生成された参照画像G
1の輝度Iを算出する輝度算出部43を設け、感度設定部25が、算出された参照画像G
1の輝度Iの大きさに応じて露光時間tおよびビニング加算画素数Bと撮像面照度E
inとを対応づけるテーブルを選択することにしてもよい。
【0076】
感度設定部25は、輝度算出部43から送られてきた参照画像G
1の輝度Iを所定の閾値I1,I2と比較して、I<I1、I1<I<I2、I2<Iの3つの場合に分けて、テーブルを選択することとしている。I<I1の場合のテーブルの例は
図20、I1<I<I2の場合のテーブルの例は
図7、I2<Iの場合のテーブルの例は
図21の通りである。
【0077】
図20のテーブルは、参照画像G
1の輝度Iが最も小さい場合であり、ビニング加算画素数Bを小さく保ったまま露光時間tを長くすることを優先して、解像度の高い観察を行うようにしている。
図7のテーブルは、輝度Iが中程度の場合であり、露光時間tを標準値24msecとしてビニング加算画素数Bを変化させている。
図21のテーブルは、輝度Iが最も大きい場合であり、露光時間tを短くすることを優先して、像ブレを抑えて視認性を向上するようにしている。
【0078】
これにより、より観察状況に適した感度調整を行うことができる。輝度Iが小さいということは、観察距離が大きいことを意味し、画像内の病変の大きさが小さくなるため、高解像の撮像が求められる。したがって、特に、腹腔内視鏡や胃の中の観察のような観察距離が比較的大きくなる用途や、腹膜播種転移巣のような小さい病変を観察するときなど、高い解像度が求められる用途に有効な方法である。
【0079】
上記各実施形態においては、SN比S/Nを基準としてビニング加算画素数Bや露光時間tを調節しているので、モニタ7に表示される蛍光画像G
3の明るさが変動することがある。
そこで、
図22に示すように、蛍光画像生成部21により生成された蛍光画像G
3の階調値に以下の式(7)の変換係数C
raw−displayを乗算して補正する表示補正部45を設けることにしてもよい。
【0080】
C
raw−display=B
maxt
max/Bt (7)
ここで、B
maxはビニング加算画素数Bの上限値、t
maxは露光時間tの上限値である。
【0081】
このようにすることで、感度の調整によって実際の蛍光の明るさとは異なる明るさでモニタ7に表示されてしまうことを回避して、感度を維持しながら定量的な情報を術者に提供することができるという利点がある。
【0082】
本実施形態においては、
図23のように、観察条件を変更するために着脱される挿入部2に識別情報を記憶したICチップ46を取り付けておくとともに、光源3に、取り付けられた挿入部2のICチップ46内の識別情報を読み取るICリーダ47を設けることにしてもよい。そして、感度設定部25内には、挿入部2の識別情報毎に入射光量p
in(あるいは撮像面照度)と適切なビニング加算画素数Bや露光時間tとの対応関係を示す情報を記憶しておくことにしてもよい。
【0083】
このようにすることで、挿入部2を交換すると、挿入部2に設けられたICチップ46内の識別情報が、ICリーダ47で読み取られて感度設定部25に送られる。感度設定部25においては、その挿入部2の識別情報に対応するビニング加算画素数Bおよび/または露光時間tが自動的に選択されるので、観察条件に適した感度で観察を行うことができる。
【0084】
本実施形態においては、撮像素子17,18としてCMOSを用いることとしたが、これに代えて、CCDを用いてもよい。
CCDを用いる場合には、式(3)に代えて、式(8)を用いればよい。
S/N=Sηp
in/√((Sηp
in+N
dt+N
r2/B)/B) (8)