(58)【調査した分野】(Int.Cl.,DB名)
請求項1又は2記載の方法であって、前記記録された画像のチャネル画像空間、例えば、カラーセンサのカラー画像空間において得られたデータは、成分画像空間の値に変換され、
前記成分画像空間では、好ましくは、複数の成分が、複数の蛍光色素、複数の吸収体、これらから導き出される値、又は、ノイズの、複数の空間的な分布に対応する、
方法。
【背景技術】
【0002】
組織を画像化(結像)するとき、照明光が吸収又は散乱される。上記組織が蛍光分子(fluorescence molecules)を含んでいる場合、吸収エネルギーは、上記分子を励起状態(excited state)にすることによって、一時的に蓄積され、また、より長い波長の光子(photon)として部分的に放出される。蛍光として放出された光の強度は、通常、反射された上記励起光(excitation light)よりも大きさが数オーダー小さい。このため、上記蛍光として放出された光から、上記反射光を分離するか又は上記反射光をブロックすることが、必要である。
【0003】
最も実際的な方法は、上記光線の励起パス及び放出(発光)パス(the excitation and the emission paths)においてバンドパスフィルタを用いて、上記記録される放出パスにおいて反射励起(reflected excitation)が漏れ出すことを防ぐために、光のスペクトル域(spectral range)を制限することである。この方法の直接的な結果として、同じ検出パスにおいて上記反射励起画像と同時には上記蛍光画像を取得することはできない。
【0004】
上記蛍光画像及び上記反射画像の両方を取得するために、フィルタの使用不使用に関わらず、2つの取得モード間で切り替えることが必要である。静的な物質(static object)、つまり、上記蛍光画像及び上記反射(反射率)画像を取得している間に、ほとんど変化しない物質に関しては、フィルタを切り替えて連続的に上記2つの画像を取得することに問題は無い。しかしながら、視野内の上記物質が変化する場合、記録された画像群は一致せず、集中的な画像処理の後でさえ
【0005】
さらに、生じうる他の問題は、異なる励起特性及び放出特性を持つ複数の蛍光剤(multiple fluorescent agents)を同時に画像化することである。この場合、上記異なる複数の蛍光色素(different fluorochromes)を画像化するために、励起及び放出のための画像フィルタの異なるセットを用いる必要があり、結果として、複雑性及び得られる画像の数が増大してしまう。さらに、変化する物質群を画像化する場合、より高速なビデオフレームレートで、物質の上記放出された蛍光及び上記反射された励起の両方を記録することが必要である。そして、複数のフィルタの切替も高速に行われる必要がある。
【0006】
マルチスペクトルの画像化を実現するために用いられるいくつかのアプローチが存在する。これらは、a)使用されるセンサの数、b)フィルタの切替の使用、c)異なる複数の照明光の切替、又は、d)複数のマルチバンドパスフィルタの使用、複数のビームスプリッタの使用等によって、おおよそ特徴づけることができる。[Y. Garini, I. T. Young, and G. McNamara, "Spectral imaging: Principles and applications," Cytometry Part A 69A, 735-747 (2006) ]
【0007】
これらの従来技術は、以下で詳細に記述される。
【0008】
[複数のフィルタの切替]
いくつかのマルチスペクトル画像化システムは、単一の画像センサを有し、反射率画像モード(reflectance imaging mode)と蛍光画像モード(fluorescence imaging mode)との間での高速切替メカニズムを実行する。これは、バンドパス励起フィルタ(bandpass excitation filter)及びバンドパス発光フィルタ(bandpass emission filter)の複数のセットを用いることによって実現されうる。上記バンドパス励起フィルタ及びバンドパス発光フィルタは、反射率画像及び蛍光画像を高周波数で交互に記録するために、高速で交換される、フィルタ輪(filter wheels)又はフィルタキューブ(filter cubes)に取り付けられている。このアプローチは、容易で光の最も高いスループットを可能とするが、フィルタ輪のような機械的に動くパーツを必要とする。さらに、フィルタの構成に基づいて、一度に1つの蛍光色素分子(fluorophore)だけの強度を記録することができる。近い複数のビデオレート周波数で複数のフィルタを切り替えることは、技術的に複雑であり、カメラのフレーム取り込みシーケンスとの正確な機械的同期を必要とする。
【0009】
機械的部品を避けるために、スペクトル的に調節可能な複数のフィルタ、例えば調節可能な液晶フィルタを用いてもよい。上記調節可能な複数のフィルタの透過スループットは制限されるが、異なる複数の蛍光色素分子に適した複数のスペクトル設定の間での切替は、かなり高速(<1ms)にすることができる。さらに、上記調節可能な複数のフィルタは、光透過角度(light transmission angles)及び光偏光(light polarization)に対して感度が高く、むしろコストが高くなる。
【0010】
[ビームスプリッタ]
マルチスペクトル画像化に対する代わりのアプローチは、複数のセンサを用いることである。各センサの前には、対応する発光フィルタを配設する。上記光は、単一の対物レンズを通過することにより又は各センサに上記光を供給するために光学的なビームスプリッタ配置を用いることにより、各センサに到達する。又は、各センサは、分離した対物レンズを有していてもよい。いずれの場合も、各センサは、励起波長(excitation wavelengths)をブロックすることができ且つ1つの蛍光色素分子から上記放出を記録することができる、フィルタとペアになっている[Lucia M.A. Crane et al., et al. J Vis Exp. 2010; (44): 2225]。追加的なセンサは、異なるイメージングパス(imaging path)の上記反射像(reflection image)を記録することができる。このコンセプトはシンプルであるが、複数のセンサ、複数のビームスプリッタ、及び複数の対物レンズを用いるので、デザインのサイズ及び複雑性並びにコストが増大する。
【0011】
[照明の高速切替]
マルチスペクトル画像化のための他の解決方法は、異なる複数の励起光の間の切替を用いる。そこでは、上記物質は、複数のフィルタによって1つ又は複数のカメラに入ることをブロックされる特定の励起スペクトルを有する複数の励起ビームで交互に照らされる。米国特許出願公開第20130286176号明細書において、単一カラーセンサ、蛍光を励起するためのレーザ励起、及び、オンオフで切り替わるブロードバンド照明光源(broadband illumination source)が用いられる。上記レーザ励起光源がオンのときだけ、上記センサは、上記放出された蛍光を捕らえることができ、上記ブロードバンド照明がオンのとき、上記センサは、上記反射像(reflected image)を捕らえることができる。このシステムは、反射率画像(reflectance image)及び蛍光画像を生成するが、観測者は、異なる複数の光源のオンオフ切替に起因した邪魔なちらつきを視覚的に体験する可能性がある。
【0012】
[複数のマルチバンドパス画像のブロック]
また、他のアプローチは、モノクロのセンサと組み合わせて、複数のマルチバンドパス領域を持つ複数のフィルタを用いる。このアプローチでは、モノクロセンサの前のフィルタは、上記複数の励起波長が上記モノクロセンサに入ることをブロックする。異なる複数の蛍光色素分子は、励起スキャンによって個別に画像化される。代わりに、フィルタ処理した多成分蛍光の光(multi-component fluorescent light)は、波長に依存した複数のパスへ分配されてもよい。上記複数のパスは、モノクロセンサの異なる空間領域に結像される。このアプローチでは、モノクロセンサで一度に複数のチャネルを記録することができる。
【0013】
代わりのアプローチでは、マルチチャネルの(且つこのためカラーの)センサによって上記多成分蛍光の光を記録するために、カラーセンサを用いることができる。上記マルチチャネルセンサの出力は、個別の複数の蛍光成分を得るために、処理されてもよい。
【0014】
追加的なセンサが、上記反射された励起光を、上記センサに上記光を結像する個別の光学的パスへ分配することによって、上記反射率画像を記録するために、用いられてもよい。このことは、上記反射率と共に複数の蛍光結像バンド(multiple fluorescence imaging bands)を提供するが、観測者は、間違った色の提示に視覚的に気づく可能性がある。上記特定の励起波長にもよるが、間違った提示は、デジタル的にでさえ訂正することができない可能性がある。
【0015】
上記反射率及び上記蛍光を複数の追加的なカラーセンサ上に分配して、スペクトルチャネルの数を増加させることも可能である。各チャネルは、上記センサの前に狭いバンドパスフィルタを有しており、各個別の狭いフィルタバンドにおける強度が算出される[米国特許出願公開第20120085932号明細書]。
【0016】
用いられるフィルタのセットは、上記特殊利用で用いられる励起フィルタ及び発光フィルタの正確な組み合わせに従った、「Pinkel」、「Sedat」、又は「Full-multiband」として知られている。
【発明を実施するための形態】
【0033】
以下において、本発明の異なる複数の実施例が、提示されている。そこでは、類似又は同一の要素には、類似又は同一の参照番号が用いられている。以下の複数の実施例において、本発明の本質的又はオプションの特徴の組み合わせは、組み合わせて記述されうる。しかしながら、そのような組み合わせで記述されたオプションの各特徴は、本複数の請求項において記述されているように、個別に単独で本発明を改良するために、用いられてもよい。
【0034】
その複数の実施例は、進歩的な複数の実施例の態様をすべて示す、
図1から35の組み合わせで示される。
【0035】
<実施例1>
図1は、本発明の大まかなコンセプトを示す図である。上記進歩的なシステムは、図示されたシステム100を有する。システム100は、物質400を照らすために、スペクトル及び時間の多重化特性を有する光を生成して案内する。物質400から生じる光は、イメージングシステム200によって、収集され、検出され、又は、画像化される。イメージングシステム200は、レンズ群、フィルタ群、及び、光センサ/ディテクタ配列(例えばカメラ)等のような要素群を有している。上記照明システム100及び上記検出システム200の両方は、制御処理ユニット(300)に接続されている。制御処理ユニット300は、照明システム100の働きを制御し、その働きを同期させ、検出システム200から上記複数の画像を取り込む。そして、制御処理ユニット300は、さらに評価、表示、及び記憶するために、その画像を処理する。最後に、表示/視覚化システム500は、上記分解された複数の画像を、個別に、又は、同時に/重ねて、表示する。
【0036】
照明システム100は、
図2に示すように、2つ(又は2つ以上)の順番に入れ代わるフェーズで動作する。
図2Aは、異なるフェーズ群の時間経過を示す。
図2Bは、上記第1光のスペクトルを示す。
図2Cは、上記第2光のスペクトルを示す。
図2Dは、検出対象の光の透過(transmission)を示している。フェーズ1では、照明システム100は、
図2Bに示すような高強度及び低強度の領域群を有するスペクトル形状を示している光で、上記物質400を照らす。種々のスペクトル形状が可能であるが、上記光が上記高強度の領域群よりも長波長の位置にかなり低強度である複数のスペクトル領域を有していることが重要である。これらの複数の領域では、上記第1光での励起時に物質400によって放出された蛍光の光を、反射光をそれほど検出することなく、イメージングシステム200によって検出することができる。フェーズ2では、
図2Cに示すように、物質400は、ブロードバンドライトで照らされる。
【0037】
イメージングシステム200は、1つのイメージングチャネル/パスを有している。上記イメージングチャネルは、上記異なるフェーズで、蛍光画像及び反射率画像を検出及び記録するためにセットアップされた、イメージセンサ配列(image sensor array)を有している。上記イメージセンサに到達する上記光は、スペクトル的に弱められるため、概して、フェーズ1の照明光は、
図2Dにおいて上記減衰器の透過スペクトルによって示されているように、上記イメージセンサに到達する前に、弱められる。
【0038】
物質400に対する上記照明を順番に入れ代えることにより、同じ複数のスペクトル領域で同じセンサによって、互いに補う反射率画像及び蛍光画像を交互に記録することができる。照明のフェーズ1では、物質400から反射された光の上記複数のスペクトルバンドは、弱められ、本質的には、蛍光発光だけが、透過されて、蛍光画像を形成する上記センサ配列によって検出される。これに対して、フェーズ2では、物質400から反射された光は、部分的に透過され、反射率画像を形成するセンサによって記録される。
【0039】
上記光が上記センサに到達する前に弱められる上記複数のスペクトル領域における減衰量は、おおよそ見積もることができる。このため、好ましくは上記センサが蛍光を検出するために用いられる場合、検出された蛍光信号は、好ましくは、上記励起光の漏れよりも大きくするべきである。
【0040】
<実施例2>
図3には、より好ましい実施形態の1つが示されている。ここでは、2つのブロードバンド白色光源(111,121)が用いられ、これらは、交互にオンオフを切り替えることができる。1つは、マルチバンドパスフィルタ122によってフィルタリングされる。2つの光源111,121から発せられた2つのビームは、マルチバンドパスポリクロイックミラー(multiple bandpass polychroic mirror)101によって、混ぜ合わされる。これらの要素間には、画像化されるべきエリアへより多くの光を導くために、複数のコリメータレンズがオプションとして配設されてもよい。物質400から放出された光は、検出システム200において対物レンズ201(又は、対物レンズとして機能するレンズ群のシステム)で、収集される。直視下手術で用いられる対物レンズ201(又は、対物レンズとして機能するレンズ群のシステム)は、好ましくは、200mmのフォーカス距離を有している。上記フィルタ122を補完するマルチバンドパスフィルタ213は、上記ビームを減衰させる。そして、減衰された光は、マルチチャネル又はマルチカラーのセンサ配列211によって画像化される。上記の処理/制御ユニット300は、複数の画像501,…,507…を生成するために、フレーム取り込み部(frame grabber)301、制御ユニット302、及び処理ユニット303を有している。オプションの複数のレンズ212,214は、上記センサへ上記画像を中継するために、上記種々の要素間において用いることができる。上記のマルチバンドパスフィルタ213は、好ましくは、光学的無限遠補正画像空間(optically infinity corrected imaging space)に配置される。
【0041】
上記複数のマルチバンドパスフィルタ及び上記ポリクロイックフィルタは、「Sedat」、「Pinkel」又は「full multiband」のセットとして蛍光顕微鏡検査において用いられる、通常、励起フィルタ/発光(emission)フィルタ/ミラーフィルタの複数のセットとして、製造される。
図4には、4つの蛍光色素を画像化するために構成された4バンドフィルタセットの透過スペクトルの一例が示されている。上記「励起フィルタ」は、位置122で用いられ、上記「ポリクロイックフィルタ」は、位置101で用いられ、上記「発光フィルタ」は、位置213で用いられる。種々の蛍光の応用のために、フィルタ群の種々の組み合わせ及び種々のフィルタセットを用いることができる。通常、クロストーク(図を参照)を防止するために、複数のフィルタ透過バンドの間には小さなギャップが存在する。そのバンドの幅は、現実的条件の環境で実行するための上記フィルタセットの要求と結びついた入射角の下で働く上記フィルタの特性に依存する。
【0042】
上記2つの照明モードのためにそのようなフィルタセットを用いることは、フェーズ1において、上記セットの上記励起フィルタは、光源111からの白色光をフィルタリングするために用いられ、上記ポリクロイックフィルタは、光源111,121からのビームを混ぜ合わせるために要素101として用いられ、上記発光フィルタは、光源111からの励起光をブロックするために、122でフィルタ213として用いられることを意味している。実際の問題として、組織における蛍光色素のノーマルな濃度(1M=1mol/literとして、通常、100×10
−9Mと1×10
−3Mの間)を仮定すると、6次の大きさの光学濃度(O.D.:optical density)の干渉マルチバンドフィルタ群(interference multiple bandpass filters)の拒絶バンド群(rejection bands)における通常の減衰割合は、十分であるが、多くのケースにおいて、2O.D.又は3O.D.の減衰で十分となりうる。
【0043】
フェーズ1において、物質400は、光源111からのスペクトル的に成形された光で照らされる。この光は、少なくとも部分的に反射され、透過され、物質400によって吸収されて蛍光を励起する。フェーズ1において物質400によって反射された励起光は、センサ211の前の発光フィルタ213によって減衰される。これにより、センサ211は、蛍光発光だけを記録することができる。フェーズ2において、物質400は、光源121からのブロードバンドライトで照らされる。このブロードバンドライトは、反射光及び蛍光を放出する物質400によって、部分的に反射される。フィルタ213は、上記反射光及び蛍光発光のいくつかのバンドのみを透過する。蛍光の光強度は、通常、反射光よりも数オーダー低いので、実際上、反射率画像だけが記録されると見なすことができる。まとめると、フィルタ213が十分な透過性を示す上記複数のスペクトル領域において、センサ211が、フェーズ1では物質400の蛍光を記録し、フェーズ2では物質400の反射率画像を記録する。通常、蛍光画像は、反射率画像よりもかなり強度が低い。異なるダイナミックレンジに応じるために、蛍光画像にはより長い露光時間が用いられる。
図5には、そのような複数のフェーズ及び複数の画像のシーケンスが示されている。ここで、
図5Aは、照明フェーズ1及び照明フェーズ2の時間的なシーケンスを示しており、フェーズ1はフェーズ2よりも長い。
図5Bは、検出フェーズ1及び検出フェーズ2の時間的なシーケンスを示しており、発光画像を検出するためのフェーズ1は、反射率画像を検出するためのフェーズ2よりも長い。
【0044】
物質400に対する照明及び上記センサの露光に関する制御は、処理制御ユニット300における信号によって行われる。2つのブロードバンド光源111,121は、白熱灯、(水銀、キセノン、又は混合物のような)ガスランプ、発光ダイオード(LEDs)、又は、多のブロードバンド光源であってもよい。LED光源は、100ミリ秒より速い立ち上がり時間及び立ち下がり時間を持っており、高周波数レートでオンオフを切り替えることができる。そのようなシステムは、ビデオレート、つまり、おおよそ25fps(frames per second)でフェーズを切り替えて、物質400を照明することができる。このレート及びより高い照明レートで、照明フィールドの視覚感知は均一となり、ここでは、ちらつき効果がほとんど観測されない。
【0045】
センサ211は、好ましくは、マルチチャネルで画像を記録することができるマルチチャネル(マルチカラー)センサである。各スペクトルエリアは、異なるスペクトル感度を有しており、物質400における種々の反射物質及び蛍光物質の光学的に多重された上記反射光を記録することができる。マルチチャネルカラーセンサ配列の例としては、RGB(red-green-blue)パターンセンサ又はCMYG(cyan-magenta-yellow-green)パターンセンサである。
図6には、異なるタイプのカラーセンサのカラー感度が示されている。
図6Aには、RGBセンサのレッド、グリーン、及びブルーのセンサ要素の感度が示されている。
図6Bには、CMYGセンサのシアン、マゼンタ、イエロー、及びグリーンのセンサ要素の感度が示されている。このように、これらのセンサによって記録されるデータは、個別の色空間(color space)、つまり、個別の色、例えばRGB又はCMYGによる空間におけるデータである。
【0046】
図7は、フルオレセインイソチオシアネート(
図7A)、ATTO647(
図7B)、及びインドシアニングリーン−ICG(
図7C)のような、典型的な蛍光発光スペクトルの典型的な蛍光色素分子の、励起スペクトル及び蛍光発光スペクトルを示している。
【0047】
そして、記録された上記複数の画像は、実演(demonstrating)、記憶、ノイズフィルタリング、バックグランドダークノイズ減算(background dark noise subtraction)、複数のカラーフレームに対する色補正、及び、スペクトル分離(spectral unmixing)のような、一連の画像処理操作のために、センサ211から処理ユニット300へ転送される。特に、最もシンプルな形の上記スペクトル分離は、上記カメラで生成された上記複数のカラーチャネル画像と上記成分空間との間の線形変換(linear transformation)でありうる。複数の成分は、上記光が情報を引き出せるいかなるものであってもよく、例えば、材料、濃度若しくは性質、又はそれらの成分から導き出せる量のようなものである。それら複数の成分は、物質400の要素401,402…に対応する特別な空間分布を有している。上記複数の成分401,402等の空間分布の複数の画像501,…、507を算出した後に、それらの画像は、疑似カラーのようなカラーマップを使って、記憶され、表示され、又は、他の画像と重ねられてもよい。
【0048】
これに限定されるものではないが、スペクトル分離後の画像のいくつかの例を以下に示す。
a)吸収分布(Absorber distribution):上記反射光のスペクトルは、物質400の組織における上記吸収スペクトル及び上記透過スペクトルによって形成され、これは、上記カラーセンサ信号に記録される。組織吸収のシステム及び組織モデリング、及び/又は、既知の濃度の吸収体についてのシステムキャリブレーションによって、含酸素ヘモグロビン、非酸素ヘモグロビン、メラニン等のような固有の組織の吸収体の濃度、又は、例えばメチレンブルーのような外部から投与された吸収造影剤の濃度を導き出すことができる。
b)酸素飽和度(Oxygen saturation):含酸素ヘモグロビンの分布及び非酸素ヘモグロビンの分布のマップから、酸素飽和度マップ、及び、関連する生理的パラメータ又は病理学パラメータを算出することができる。
c)蛍光色素分布(Fluorochrome distribution):蛍光は、内生の蛍光色素によって、又は、外部から投与された蛍光造影剤によって、生じる。上記蛍光信号は、上記カラーセンサによって記録され、システム及び組織モデリング、及び/又は、システムキャリブレーションによって、上記蛍光分布を導き出すことができる。さらに、複数の蛍光マップ間の割合を算出することができ、これは、癌についてのより詳しい情報を与える。以下では、上記複数の蛍光成分を算出するための画像処理の基本を記述する。反射率吸収分布(reflectance absorption distribution)のような値及び微分値(derivative values)が同様にモデル化され算出される。
【0049】
本発明においては、上記カメラは、異なる複数のカラーチャネルの信号強度を計測する。この信号は、全ての成分の総和の光強度によって生成される。これら全ての成分は、上記複数の透過フィルタによって、追加的には、センサ211の空間感度(spectral sensitivity)と結びつくセンサ211のRGBカラーフィルタによって、スペクトル的にフィルタリングされる。上記検出器の応答が線形であると仮定すると、上記生成される信号は、次の式で表される。
【数1】
ここで、S
cは、結びつく全てのカラーセンサ画像のうちの特定のスペクトルカラーcの上記信号である。例えば、{カラー}={R,G,B}である。また、I
λ(λ,f)は、スペクトル蛍光チャネル強度密度(spectral fluorescence channel intensity density)である。これは、上記波長及び蛍光チャネルに依存する。各蛍光チャネルは、特定のスペクトル光特性(spectral light characteristic)によって特徴づけられる。最もシンプルなケースでは、上記イメージングシステムの蛍光チャネルの上記スペクトル光特性は、蛍光色素分子に対応する。この場合、I
λ(λ,f)は、上記蛍光色素分子の上記スペクトルの放出スペクトルに対応する。この場合、I
λ(λ,f)の正確な値は、上記蛍光色素分子の濃度、上記蛍光量子収率(fluorophores quantum yield)、及び、上記スペクトル照明光強度(spectral illumination light intensity)を考慮することにより、決定することができる。T(λ,c)は、上記特定の空間カラーセンサ又はピクセルの上記トータルの透過特性であり、またこれは、上記発光フィルタに含まれる上記光学的システムの放出特性を示している。上記蛍光発光スペクトルプロファイル及び強度が組織の固有吸収によって殆ど影響を受けないため上記蛍光活性(fluorescence activity)が組織表面近傍に位置しており、且つ、消光のような他の非線形効果が無視できると仮定すると、上記スペクトル蛍光強度I
λ(λ,f)は、I
λ(λ,f)=c(f)×Φ
λ(λ,f)のように表すことができる。すなわち、上記式は、次のように表すことができる。
【数2】
ここで、c(f)は、蛍光色素分子fの濃度である。この場合、蛍光チャネルfは、反射率イメージングのために用いられ、c(f)は、上記強度ファクタである。濃度のためのシンボルcは、上記カラーチャネルインデックスと同じである。Φ
λ(λ,f)は、上記モルのスペクトル蛍光強度密度であり、蛍光色素分子fの放出の上記スペクトルプロファイルを表している。上記強度は、蛍光色素分子の濃度c(f)によって計られる。この場合、fは、反射率チャネルであり、Φ
λ(λ,f)は、スペクトル分布を持つチャネルの上記正規化されたスペクトル反射率強度である。一例として、Φ
λ(λ,f)は、目の赤受容体(red receptor)のスペクトル応答でありうる。このことは、この赤チャネルについての自然な色彩印象(color impression)につながる。上記式を再整理すると、次のような式になる。
【数3】
この式は、次の式のように、蛍光色素分子濃度とセンサの計測チャネル強度との間の線形関係につながる。
【数4】
この線形関係によって、全ての蛍光及び反射率のチャネル強度c(f)を算出することができる。ここでは、赤、緑、及び青のチャネル群を持つセンサと色素蛍光標識(FITC)、ATTO647、及びインドシアニングリーン(ICG)についての行列Mの算出例を示している。
図7には、上記蛍光色素分子の励起スペクトル及び発光スペクトル(emission spectra)が示されている。それらの複数の信号式は、次の通りである。
【数5】
【数6】
【数7】
【数8】
FITC及び赤検出チャネルの組み合わせについて係数Mを例示的に書き表すと、次の式のようになる。
【数9】
上記複数の蛍光強度は、次の式のように、上記係数行列Mを反転することにより得られる。
【数10】
【0050】
好ましい実施形態において、上記検出カラーチャネルの数が分解対象の上記蛍光チャネルの数と等しい場合、上記方程式系(equation system)は、複数の方程式の線形系として解決されうる。変数S
cは、上記イメージングシステムによって計測される。c(f)の複数の値は、上記システムの他のパラメータ(Φ
λ(λ,f)及びT(λ,c))が既知である場合、算出可能である。これら複数のファクタ及び上記行列M(f,c)は、キャリブレーションプロセスにおいて前もって、決定することができる。c(f)を算出するために、上記行列M(f,c)は反転される必要がある。計測されたチャネルの数が蛍光チャネルの数よりも多い場合、上記システムは、過剰決定(over-determined)となる。この好ましい状況に対処する1つのオプションは、M(f,c)の疑似逆行列(pseudo-inverse)を計算することであり、疑似逆行列は正方行列(square matrix)ではない。上記算出結果を改善するために、例えば、上記センサ群における計測から生じるノイズを最小化するために、種々のアルゴリズムが用いられてもよい。
【0051】
上記行列Mは、システムモデリング及び/又はシステムキャリブレーションによって算出されてもよい。システムモデリングでは、上記光パスのスペクトル成分は、上記光源から上記カラーセンサ配列ピクセル群まで、モデル化されてもよい。パラメータ群は、照明源スペクトル分布、上記励起フィルタ群のスペクトル透過、又は、上記照明光のスペクトルプロファイルに限定されるものではなく、上記蛍光励起スペクトル及び蛍光放出スペクトル及び上記蛍光量子収率、組織における上記複数の成分のおおよその深さ、組織の光学的特性、イメージングシステム(レンズ群、ビームスプリッタ群、フィルタ群、ミラー群等)の透過特性、及び/又は、上記センサ配列のスペクトル感度を含む。上記モデリングは、上記濃度情報を上記記録された信号と結びつける上記行列Mを算出する(順問題(forward problem))。上記成分分布は、上記逆問題(inverse problem)の上記解から導き出すことができる。代わりに、システムキャリブレーションは、組成、濃度、及び位置が既知の複数の成分の信号群を記録して未知の行列Mを解くことで、又は、主成分分解(PCA:Principle Component Analysis)、独立成分分解(ICA:Independent Component Analysis)又は類似の統計アルゴリズムのような、分離アルゴリズムを持つブラインド分解(blind decomposition)によって、行われてもよい。最後に、モデリング又は概して先の情報の使用は、計測されたチャネルの数よりも多くの未知のパラメータを決定するために、用いられうる。
【0052】
代わりに、上記の線形モデリングに対して、上記システムは、非線形記述(non-linear description)を用いて、より詳細にモデル化されうる。この方法では、上記検出器又は高蛍光色素密度の消光効果のような、非線形のポテンシャルを考慮することができる。最後に、劣決定系であっても、モデリング及び/又は先の情報を用いて、利用可能なチャネルの数よりも多くの成分群から上記情報をリカバーする行列を算出することができる。
【0053】
[スペクトルバンド群の数]
最後に、前述のように、分離された成分群の数は、センサで利用可能なチャネル群(例えば、複数の色)の数、又は、結びついた画像群(combined images,)の場合には上記結びついた画像群のカラーチャネルの数に関連する。しかしながら、上記照明及び/又は上記透過におけるスペクトルバンド群の数は、上記チャネル群(複数の色)の数及び分離された成分群の数に依存しない。概して、対象の領域において利用可能なバンドが多くなるほど、特定成分のスペクトル特性が記録されない可能性は低くなる。このため、多くの「狭」スペクトルバンド群は、上記反射率画像のより正確な色表現、及び、種々の成分群のより正確な分離を提供する。けれども、種々の成分群のスペクトル分離は、上記チャネル群の数よりも少ないスペクトルバンド群の数で、実行可能である。
【0054】
マルチバンドパスフィルタ群のスペクトルバンド群の数が、分離対象の蛍光色素分子の数についての関連する数学的条件ではない、ことを強調することが、重要である。代わりに、カメラチャネルの数は、数学的に重要な条件である。
【0055】
<実施例3>
以下では、本発明に好適な基本的な光源及びその代替手段について記述する。
【0056】
上記の内容及び
図8に示されるように、最も基本的な光源100は、2つの独立した光源111,121を有しており、これらは、好ましくは、ハロゲンランプ又はキセノンランプのような従来の光源に比べてより高速なスイッチングが可能な、ブロードバンドLED111,121である。オプションとして、光束は、コリメータレンズ119,129によって平行にされる。光源121から発せられた光は、バンドパスフィルタ122によってフィルタリングされ、それから、ポリクロイックミラー101を用いて、光源121が発した光と混ぜ合わされる。
【0057】
図9Aは、上記ブロードバンドLEDのスペクトルを示している。このスペクトルは、光源111,121と同じであってもよいし異なっていてもよい。上記スペクトルは、白色光LEDについて典型的なものである。
図9Bは、マルチバンド励起フィルタ122の透過スペクトルを示す。
図9Cは、LED光源121から発せられ且つフィルタ122によってフィルタリングされた光の強度スペクトル(intensity spectrum)を示す。好ましい実施形態においては、最大スペクトルパワー強度での上記2つのブロードバンドハイパワーLED光源の発光スペクトル(emission spectrum)は、30mW/nmより大きい。上記放射された光は、
図9Bに示すように、マルチバンドパスフィルタによってフィルタリングされる。このフィルタは、複数の透過バンド(420−460nm、510.5−531.5nm,590−624nm,677.5−722.5nm)を有しており、各透過バンドでは、最大透過率がおおよそ90%である。上記複数の減衰領域(blocking regions)における上記フィルタの減衰特性は、典型的には、少なくとも、光学濃度2(O.D.2)である。通常、フィルタのバンド拒絶/減衰特性(band rejection/attenuation characteristics)は、O.D.6程度である。
【0058】
図9Cには、上記個別のマルチバンドフィルタでフィルタリングされた後の上記光源の効果的な放射光が示されている。上記第1光(光源121)のスペクトルは、この照明フェーズの間に上記フィルタによって成形され、上記第2光(光源111)のスペクトルは、
図9Aに示したような又はこれに類似したブロードバンドのような、固有のブロードバンド発光プロファイルである。このため、全ての導き出された光のスペクトルは、個別のフェーズの期間で累算されたスペクトルである。
【0059】
この基本的な光線の1つの潜在的な不利な点は、強度及びスペクトル成分(spectral content)に関して観測者の視覚感知にとって上記照明フィールドが最適でない可能性があることである。上記2つの光は、異なる全体強度及びスペクトル成分を有しており、それらが交互に入れ代わる場合、強度又は色に視覚的なちらつきが生じる可能性がある。さらに、上記スペクトル成分はバランスがとれていなくて、上記顕色(color appearance)が自然でない可能性がある。
【0060】
代わりの照明源は、上記基本的な光源のバリエーションであり、
図10Aに示すように、上記第2光もフィルタ112によってフィルタリングされる点が異なっている。上記第2光をフィルタリングする基本的に有利な点は、上記全体の色知覚(color perception)の最適化を容易にすること及び上記ちらつきを最小化することである。また、上記フィルタ112は、マルチバンドパスフィルタであってもよい。そのスペクトル透過特性は、上記フィルタ122のスペクトル透過特性を補うものであってもよいし、上記センサ配列211の前の上記蛍光発光フィルタ213のスペクトル透過特性と同じか又は類似していてもよい。
図10Bは、上記光源121によって発光されてフィルタ122によってフィルタリングされた後の、第1フェーズにおける上記第1励起光のスペクトルを示す。
図10Cは、上記光源111によって発光されてフィルタ112によってフィルタリングされた後の、第2フェーズにおける上記第2励起光のスペクトルを示す。相補のフィルタ112,122は、全体として、上記原型のブロードバンド光源によるブロードバンド照明と殆ど等しい、スペクトル的に連続した照明を提供するので、これにより、自然な色知覚を実現することができる。さらに、上記強度及び色のちらつき効果を低減することができる。それでもなお、上記第2光(フェーズ2)の照明のスペクトル形状は、最適な色知覚及び最小の強度ちらつきを達成するために、自由に変更されてもよい。
【0061】
さらに、上記光源100の出力は、ファイバカップリングレンズシステムによる光ガイド(light guide)へ連結されてもよい。この光ガイドは、単一の光ファイバ、ファイババンドル、又は、液体ライトガイドであってもよい。
【0062】
図11に示すように、照明システムの代わりの実装においては、上記マルチバンドフィルタ群でフィルタリングされる1つ又は複数の上記ブロードバンド光源が、個別に制御されるナローバンド光源133,143,153のセットに置き換えられている。ナローバンド光源133,143,153は、オプションとして、それぞれ、ナローバンドフィルタ125によってフィルタリングされる。そのような光源133−153は、レーザ装置、レーザダイオード、LED等であってもよい。
図11において、
図10Aの上記発光モジュール111は、複数のレーザ光源133,143,153に置き換えられている。上記モジュール123から発せられた光は、フィルタ125によってフィルタリングされる。ポリクロイックミラー101,104,105,106は、レーザ装置133,143,153の放射光をレーザ装置123の放射光と混ぜ合わせる。全ての上記光は、一緒にファイバ103へ入力される。
【0063】
ビームスプリッタ101は、偏光ビームスプリッタ(polarization beam splitter)であってもよい。この場合、上記異なる光源123,133,143,153は、組み合わされて、上記レンズ群を最少化してもよい。複数のレーザ装置133,143,153は、1つのブロードバンド光源、例えば、
図10の光源111に取って代わってもよい。上記複数のレーザ装置133,143,153は、ナロースペクトル発光プロファイルを有していてもよく、及び/又は、調節可能であってもよい。いくつかのレーザ装置は、望んでいない増幅された自然放射を抑圧するためのクリーンアップフィルタを必要としてもよい。また、上記複数のレーザ装置は、波長及び強度において調節可能であってもよく、連続波レーザ装置(continuous wave lasers)又はパルスレーザ装置(pulsed lasers)であってもよい。上記異なる複数のレーザ光源は、ロングパスポリクロイックミラー104(カットオフ波長415nm)、ロングパスポリクロイックミラー105(カットオフ波長650nm)、ロングパスポリクロイックミラー106(785nm付近の高反射性を有するプレインミラー)と結びつけられてもよい。これら又は1つのフェーズで照射する類似の複数のナローバンド光源は、全時間で重なるか又は一部の時間で重なる状態で、いっせいに照射してもよいし、逐次的に照射してもよい。それでもなお、照明フェーズと関連する上記露光期間(exposure period)内の如何なる時間の組み合わせも、1つの照明フェーズにおいて累積する光スペクトル分布として見なされる。
【0064】
好ましいスペクトルのシナリオが
図12に示されている。ここでは、ブロードバンドLED光源が全スペクトル領域をカバーし、複数のナローバンドレーザ光源と組み合わされている。複数のナローバンドレーザ光源は、(切替の理由から)好ましくは、レーザダイオードであってもよい。この場合、405nmのレーザダイオードモジュール、633nmのレーザダイオードモジュール、785nmのレーザダイオードモジュールのような、一般的なモジュールが用いられる。405nmのレーザダイオードモジュールは、広く脳手術のために用いられるプロトポルフィリンIX(PPIX)を励起することができる。633nmのレーザダイオードモジュールは、蛍光プローブにおいて用いられるAlexa647のような、高安定性で且つ明るい蛍光色素分子を励起させることができる。785nmのレーザダイオードモジュールは、臨床的に関連する、インドシアニングリーン(ICG)を励起することができる。
【0065】
<実施例4>
この実施例では、いくつかのLED光源で照明光を生成するために、代わりの照明システムが用いられる。
図13に示すように、2つのブロードバンドLED光源を用いる代わりに、このオプションでは、ナロースペクトル発光を有する、複数のLED121,131,141,151…が用いられる。これは、より複雑な照明デバイスを必要とするが、一方で、出力パワーが劇的に増大し、異なるLEDの強度について個別にバランスをとることができる。殆どのモノクロLEDは、サイドスペクトルにテールを持つナロー発光を有している。このため、オプションとして、励起フィルタ122,132,142,152が、上記励起スペクトルを除去するために、用いられてもよい。レーザ光源と同様に、多くのナローバンド光源を有するLED光源からの光は、1つの照明光として見なされてもよい。上記複数のLEDは、全時間で又は一部の時間で重なった状態で、いっせいに照光してもよいし、又は、時間的に重なることなく逐次的に照光してもよい。それでもなお、照明フェーズと関連する上記露光期間(exposure period)内の如何なる時間の組み合わせも、1つの照明フェーズにおいて累積する光スペクトル分布として見なされる。
【0066】
図13に示されるような照明サブシステムは、
図14に示されるようなマルチフェーズ照明システムにおいて組み合わされうる。そこでは、2つの光源100c,100dが備えられ、それぞれが、サンプル400を照らすために、ファイバ103c,103dへそれぞれ光を放出する。
【0067】
図15から
図18は、それぞれ、LED光源の発光スペクトル、上記発せられたビーム内に配置されるフィルタの透過スペクトル、及び、上記発せられた光の上記フィルタを通った後の強度スペクトルを示している。4つの光源は、1つのスペクトル的なブロードバンド光源に取って代わってもよい。
【0068】
この好ましい構成は、上記マルチバンドファイバ群の各バンドについて1つの励起LEDを有している。これは、4つのバンドパスフィルタについて、8つのLEDを必要とすることになるかもしれない。このような構成のスペクトルが
図19に示されている。
図19は、左側に、上記第1光源を構成する4つのLEDのスペクトル、対応するフィルタの透過スペクトル、及び、上記第1光の結果的な放出スペクトルを示している。右側には、上記第2光の対応するスペクトルが示されている。上記スペクトルにおいて、各LEDは、1つの光及び1つのフェーズと関連している。また、独立した4つのLEDのセットは、各LEDの前に設けられた、4つの単一バンドパスフィルタ(single bandpass filters)を用いて、フィルタリングされる。また、上記個別のLEDは、1つのフェーズと厳格に結びつけられていない。
図20は、380nm、490nm、565nm、及び635nmで発光極大(emission maxima)となる、商業的に利用可能な4つのLEDの実際の放出スペクトルを示している。
図21は、4つのバンドパスフィルタによってフィルタリングされた、上記4つのLEDの結果的に得られる照明スペクトルプロファイルを示している。
【0069】
<実施例5>
図22に示される他の実施例において、異なる複数の光源の時間的な切替は、可変の透明度を有する光学要素168,165を用いることにより、行われる。この最もシンプルなケースにおいて、これらの可変な透明度を有する光学要素168,165は、機械的なシャッタである。また、これらは、光変調器(light modulators)又は音響光学デバイス(acousto-optical devices.)であってもよい。光源161から発せられた上記ブロードバンドライトは、ポリクロイックミラー162によって分配され、相補の励起フィルタ164,167によってフィルタリングされ、要素162と同様のポリクロイックミラー169によって再び統合される。ミラー163,166は、上記システムにおいてフィルタ165でフィルタリングされた一部のビームを平行にして導くために用いられる。更なる改良のために、上記励起光は、上記システムにおいてロスを最小限にし且つフィルタのパフォーマンスを最適化するために、平行にされるべきである。
【0070】
<実施例6>
図23に示される代わりの実施形態において、上記照明システムは、上記光学的システムを通して照光するように構成されている。光学的な光ガイドは、上記マルチスペクトル照明システム100からの光を、コネクタポート204で上記イメージングデバイス200へ届ける。上記照明パスは、物質400に対する照光を最適化するために、光学レンズシステム203を含んでいてもよい。それから、上記光は、偏光フィルタ206によってフィルタリングされ、続いて、ビームスプリッタデバイス205を持つ上記イメージングパスへ結びつけられる。そのようなデバイスは、偏光ビームスプリッタキューブ205であってもよい。それから、上記光は、光が通過する時に偏光角度を回転させる、ローテイタブル半波長板(rotatable half wave plate)207を通過する。このことは、上記半波長板の位置に応じた反射光の反射を低減すること又は除去することを可能とする。最も簡単なアセンブリにおいては、半波長板207は、対物レンズ201の前に配設される。
【0071】
<実施例7>
以下では、種々の代わりの検出システムについて記述する。
【0072】
概要として、センサ211は、マルチチャネルカラーセンサである。このことは、上記センサが、複数の区別可能なスペクトル分布における上記光照射野(light field)を記録する、ことを意味する。このことは、次の種々のオプション:つまり、a)ベイヤRGGBマイクロフィルタパタン、又は、RG(IR)B、CMYGのようなこのパタンを修正したものに従った複数のピクセルの前に複数のマイクロフィルタを持つ複数のセンサ、b)各ピクセルが区別可能なスペクトル分布で光を記録する他のフィルタモザイクパタン、及び/又は、c)他のビームスプリッティング、カラーフィルタリング、及びモノクロセンサへのイメージングを用いて、達成することができる。
図24には、これらのパタンのいくつかが示されている。
【0073】
概して、RGGBパタンは、より多くの正確な色の再現を達成できる一方、CMYGは、より感度が高い。フル解像度のカラー画像は、カメラハードウェア又は後のイメージプロセッシングにおいてデモザイクすることにより得られる。上記マイクロフィルタパタンは、概して、ABCDEFGHI等のような、マルチカラー又はマルチスペクトルの透過プロファイルに拡張される。これの一例は、米国特許第6638668号明細書に開示されている、リトグラフのようにパタン化された2色性フィルタ配列(lithographically patterned dichroic filter array)である。
【0074】
代わりに、上記マルチチャネルカラーセンサは、
図25に示すようなFoveon X3センサ(米国特許第6632701号明細書を参照)又は類似の技術に基づいていてもよい。上記マイクロフィルタパタンと対比して、上記Foveonセンサは、x方向及びy方向において空間的に配設され且つ複数のレイヤ(レイヤ1,レイヤ2…)が仮想的に積み重なった、フォトセンサ群を有している。各レイヤは、光を受けたレイヤについてのシリコン吸収(silicon absorption)及び異なる透過深度(transmission depths)のために、異なるスペクトルエリアを感知できる。これにより、各レイヤで生成された画像は、異なる色に対応する。このため、より高い空間分解能を実現することができる。
【0075】
図26Aに示される代わりの実施形態では、検出対象の光ビームは、ビームスプリッタ及び/又はミラー252,253,254,255を用いることより、3つの並列部分ビームに分けられ、フィルタ群又は2色性ミラー群(dichroic mirrors)でフィルタリングされる。さらに、
図3に示したマルチチャネルセンサ211は、モノクロセンサ251に置き換えられている。各フィルタ又は各2色性ミラーは、
図26B,26Cに示すように、3つの異なる色のうちの1つの光を透過する特定の透過スペクトルプロファイルを有している。このように、上記モノクロセンサにおいて、異なる複数の画像が、互いに横方向に距離を置いて形成される。各画像は、異なるスペクトルバンドを画像化している。
【0076】
さらに、マルチカラーチャネルは、米国特許第3659918号明細書に開示されているプリズム3−CCD配列のような、複数の光スプリッティング及びフィルタ群によって実施される。この光スプリッティング実装又はこれに類似の実装において、各パスは、例えばRGBのような特定の色のスペクトルを持つ光を運ぶために、フィルタリングされる。このアプローチは、複数の(3つ又はそれ以上の)イメージングパスを提供する類似のマルチビームスプリッタに拡張されうる。
【0077】
<実施例8>
ほとんどの蛍光の応用において、周囲の光は、避けられるか又はブロックされる必要がある。これは、その周囲の光の強度は、蛍光染料から発せられる蛍光ライトの強度よりも数オーダー大きいためである。周囲の光は、太陽光であり窓を介して物質に届くかもしれないし、ルームライトによって発せられた光かも知れない。技術システムの現在の状態では、蛍光チャネルにおいて周囲光からの強い信号を避けるために、周囲環境は暗い。代替手段として、発光フィルタをパスするような周囲光の特定の波長領域を、フィルタ群によってブロックしてもよい。残念ながら、そのようなフィルタ群は、通常とても高価であり、そのようなフィルタ群で大きな窓又はルームライトを覆うことはできないか、又は、それらはいかなるスペクトル構造にも使用不可能である。
【0078】
ここに提示される技術は、蛍光を検出する状況下で部屋の周囲照明を許容する、代わりのアイデアを表している。この改良は、観血手術の間の外科用蛍光イメージングにおいて、特に重要である。2つの異なるオプションが提示される。いずれのオプションも、周囲照明として、パルス光源を利用する。第1の方法/実施形態では、フレームの記録の期間において上記イメージングパスにおける全ての上記光がブロックされる(請求項では、「記録することを保留(停止)する」として参照される)。第2の方法/実施形態は、フレームとフレームの間における上記センサ配列のデッドタイムを、周囲光のために用いる。
【0079】
<実施例8A>
室内照明の照光は、人間の目の最大周波数知覚と比べて高周波数で(例えば、200Hzで)、パルス化されている。上記パルス群の継続期間(デューティサイクル)は、典型的には、
図27に示すような蛍光イメージングのためにより長い露光時間を許容する全期間の小さな断片(例えば、その期間の5−20%、典型的には、0.1−5ms)である。イメージング蛍光信号のための光パスは、上記周囲照明の光のパルスの期間では、ブロックされる。
図27は、上記イメージングシステムの複数のフェーズと、周囲照明を許容するシャッタデバイスのそれぞれのタイミングとを示している。
【0080】
図28に示される実施形態において、部屋照明/周囲照明光源902が設けられ、その光は、上記励起光パスに結びつけられている。さらに、追加的なシャッタ900が、上記イメージングパスに設けられている。この実施形態では、上記シャッタは、単純な理由のために、上記光学システム200の上記対物レンズの前に配設されている。それでもなお、上記シャッタは上記パスの他の位置に配設されてもよい。代わりに、シャッタ装置900が上記センサ配列の直前の上記イメージングパスに含められてもよい。シャッタ900及び部屋照明902の両方とも制御/処理ユニット300によって制御されている。
【0081】
シャッタ900が閉じると、シャッタ900は上記イメージング/検出パスに進入した全ての光をブロックする。それゆえ、光は、センサシステム200の上記センサ配列に到達しない。光源902からの周囲照明の動作周波数は、上記蛍光イメージングシステムの動作周波数に適合される必要はない。好ましくは、上記イメージングシステムは、人間の目にとってゆっくりとした蛍光及び反射率の画像のストリームを生成するために、30−60Hzで動作する。周囲照明902は、好ましくは、人間の目が部屋環境において如何なるちらつきにも気づかない程より高い周波数で動作する。
【0082】
好ましくは、周囲照明システム902の動作周波数は、画像の周波数を何倍かしたものになっている。この場合、連続的に撮られる各像は、上記閉じたイメージングパスによって等しく影響される。しかし、上記周囲照明のタイミングを検出すること、及び、必要であれば、細切れにシャッタされるイメージングパスの影響について上記イメージングデータをデジタル的に修正することも可能である。
【0083】
シャッタ900は、上記ビームパスに沿って伝播する光を許容又はブロックすることができる、如何なる電気機械デバイスであってもよい。好ましい実施形態において、上記周囲光及び上記光学的なイメージングパス903は、
図29に示すようなビームチョッパ輪(beam chopper wheel)901によって遮られる。ビームチョッパ輪901は、上記シャッタ効果の半分の周波数で回転する。
【0084】
チョッパ輪901は、イメージングパスを或る周波数で遮断するために良い選択であり、通常、光学的シャッタと比べて高周波数で動作する。代わりとして、チョッパ輪は、上記パスを不透明にすることによって上記画像の記録を保留(停止)するために、電気光学変調器(electro optical modulator)、SLM、又は、音響光学変調器(acousto-optical modulators)のような、異なるデバイスに置き換えられてもよい。他の代替手段においては、偏光フィルタ群を用い且つ種々の光の偏光感受透過(polarization sensitive transmission)を持つ電子デバイスを用いて、上記パスを閉じてもよい。これは、また、上記イメージングパスを効果的にブロックすることを可能にする。
【0085】
上記光源は、短いパルスで動作できる如何なるタイプの周囲光源であってもよい。光源902は、好ましくは、電気的にパルス状のLEDから構成される。そのようなLEDは、手術室の周囲照明に適しており、とても正確で且つ人間の目の上記周波数に比べてかなり高周波数で、パルス化されうる。
【0086】
<実施例8B>
図30に示される代わりの実施形態は、上記イメージングのフェーズ1とフェーズ2との間に常に位置し且つ周囲照明のために設定された、異なる光源からの照明光の追加的なフェーズ(第3のフェーズ)を用いる。このフェーズは、フェーズ1及びフェーズ2の周波数の2倍の周波数で出現する。上記光源は、光源902と同様に独立していてもよいし、上記照明システムの光源100に含まれていてもよい。この光源から発せられた光は、イメージングのために用いられる必要はなく、主に、上記物質及び/又は周辺環境における人間の目の視覚感知を改善するために用いられてもよい。
【0087】
上記基本的な実施形態において、イメージングエリアの照明は、イメージ成分の検出及びイメージ処理のため、及び、特に、異なる蛍光色素分子の分離のためだけに、最適化される。典型的には、そのような照明は、外科医の視覚的印象にとって、最適ではなく、映像コントラストが低く自然でない視覚的印象となる可能性がある。しかしながら、上記第3の照明フェーズのスペクトル分布及び強度は、自由であり、全ての照明フェーズに関して累積されて理解されるので、ユーザ(手術室における外科医及び医療関係者)にとっての全体の視覚感知及び明るさを最適化することができる。
【0088】
上記第3のフェーズの照明パルスは、
図30に示された上記2つのフェーズの間の上記イメージングセンサのデッドタイムにフィットするのに、十分に短い。通常、デッドタイムは、センサ200から制御ユニット300へデータを転送するときに生じる。このため、周囲光の高精度で短いパルスが必要とされる。上記イメージングシステムが30Hzの周波数で動く場合、パルス化された周囲照明は、この倍の周波数、つまり、60Hzで動いてもよい。上記周囲照明が1%のデューティサイクルを使う場合、パルスのパルス幅は、170μsのオーダーであるべきである。上記周囲照明が5%デューティサイクルを使う場合、上記追加的な照明フェーズは、より明るいフィールドを提供し、パルス化された周囲照明の持続期間は800μsである。
【0089】
<実施例9>
以上の記述においては、2つの異なるフェーズで物質に対して照光する、スペクトル多重及び時間多重が組み合わされたシステムが記述されている。それでもなお、本発明は、より複雑なイメージングシナリオにおける更に多くのフェーズに対しても拡張することができる。例えば、これらによれば、上記反射率画像及び/又は蛍光画像についての、追加的なスペクトルの情報を取得することができる。以下では、マルチフェーズシステムの追加的な例が詳細に記述される。
【0090】
<実施例9A>
図31には、4つの光源を用いた4つのフェーズで動く方法が記述される。この例は、4つの異なる光源110,120,130,140と、複数のバンドで光を透過するイメージングシステム200とを有する。
図32には、イメージング(検出)システム200における、光透過のスペクトルと共に上記光源の発光スペクトルの個別の例が示されている。4つの光の上記スペクトルプロファイルは、それぞれ、複数のスペクトルバンドからなっている。光1,2の複数のスペクトルバンドは、上記イメージングシステムの複数のスペクトル減衰バンドと一致する一方、光3,4の複数のスペクトルバンドは、上記イメージングシステムの複数の透過バンドと一致する。
図33(照明の時間方向)に示すように、上記サンプルは、4つの光源110,120,130,140によって、4つのフェーズで連続して照らされる。各フェーズにおいて、1つの光が物質400を照らす。この特定の例では、光1及び光2は、後に、蛍光を励起する。上記イメージングシステムのフィルタは、反射された励起光を減衰する一方で、蛍光発光を透過する。そして、上記第1光及び上記第2光の照光による複数の蛍光発光画像が形成される。次いで、物質400は、光3,4によって照らされる。光3,4は、物質400によって反射され、上記イメージングシステムによって透過され、上記反射率画像を形成する。トータルで、4つの画像が記録され、各画像は、各照明フェーズに由来している。(光1,2で照らしたときの)上記2つの蛍光画像は、上記複数の蛍光成分をスペクトル的に分離して処理されている、合成蛍光画像を形成するために、上記処理ユニット300によって組み合わせられる。そして、(光3,4で照らしたときの)上記2つの反射率画像は、上記複数の反射成分をスペクトル的に分離して処理されている、合成反射率画像を形成するために、上記処理ユニット300によって組み合わせられる。
【0091】
各センサが3つの検出チャネルを有していると仮定すると(例えば、スタンダードのRGBカメラ)、4つのフェーズが終わった後には、上記システムは、6チャネルの組み合わせ対象の反射率画像、及び、6チャネルの組み合わせ対象の蛍光画像を記録している。
【0092】
ここに、上記マルチフェーズスペクトル多重方法の、種々の代替手段が存在する。各光のスペクトルプロファイルは、隣のものからスペクトル的に分離される必要はなく、同一ではないがスペクトル的に一部が重なっていてもよい。必要とされる唯一の条件は、蛍光を励起する上記複数の光が、イメージングシステム200の透過バンド内にスペクトル成分を有していない、ことである。さらに、それらは連続的に行われる必要はなく、どんな順序であってもよい。他の代替手段は、励起のための複数の光の異なる組み合わせを有していてもよい。例えば、1つの光を蛍光のために用い、3つの光を反射率のためにRGBセンサと共に用いる場合、上記蛍光画像を組み合わせること、及び、それらを分解して3つの蛍光成分と9つの反射成分とにすること、が可能である。又は、2つの光を蛍光のために用い、1つの光を反射率のために用いる場合、上記複数の画像を組み合わせること、及び、それを分離して6つの蛍光成分と3つの反射成分とにすること、が可能である。
【0093】
<実施例10>
上記マルチスペクトルイメージング方法及びシステムは、種々のイメージング機器に組み入れることで実施されうる。
図34Aに示される第1の実施形態では、マルチスペクトルイメージングシステムは、カメラアダプタによってディテクタ200に取り付けることで、対物レンズとしてのズームレンズ291と共に用いられる。照明システム100は、ライトガイドで上記物質へ光を運ぶ。
図34Bに示される他の実施形態は、検出システム200は、外科用顕微鏡292のビデオポートに接続され、照明システム100は、上記顕微鏡の対物レンズを介して上記物質を照らすために、照明ポートに繋がるライトガイドに接続されている。
【0094】
図34Cに示される他の実施形態では、検出システム200は、オプションとしてアダプタを用いて硬性内視鏡の接眼レンズポートに接続され、照明システム100は、上記照明ポートのライトガイドに接続されている。
図34Dに示される他の実施形態では、検出システム200は、小型化されて、フレキシブル内視鏡の先端に組み入れられる一方、照明システム100は、その内視鏡の照明ポートに取り付けられている。
【0095】
図34Eに示される他の実施形態では、検出システム200は、フレキシブルファイババンドルを用いて画像を先端から末端まで伝えるフレキシブルファイバスコープのカメラポートに接続され、照明システム100は、上記照明ポートに接続されている。
【0096】
<実施例11>
以下では、本発明の進歩的な方法のいくつかの可能な応用が記述されている。
a)アプリケーションシナリオ:血液酸素化のイメージング:
以下の例では、組織における含酸素ヘモグロビンの非酸素ヘモグロビン(HbO及びHb)に対する相対的な濃度を算定することにより、酸素飽和度が、画像化される。
図35に示すように、HbOとHbとは区別可能な吸収スペクトルを有しているので、上記反射光は、上記システムで記録されうるスペクトルプロファイル情報を伝える。複数の反射成分を光学的に分離することにより、a)視覚化システムにおいて表示されるRGB画像、b)HbO成分及びHb成分の生体内分布の追加的なマップを生成することができる。上記酸素飽和度のマップは、トータルのヘモグロビン飽和度に対するHbOの割合によって算出する。
【0097】
b)アプリケーションシナリオ:がん病巣、解剖学的特徴、又は機能的条件の検出:
他の想定されるアプリケーションは、体内の臨床診断イメージングのための注射可能な蛍光造影剤の生体内分布を視覚化するために、上記システムを用いることである。このような蛍光造影剤は、フルオレシン又はインドシアニングリーンのように非標的であり、血管新生、血液かん流等を強調してもよいし、又は、組織において関係のある機能的活性又は病的な活性と関係している分子部位へ結合することによって、癌のような蛍光発光する病気、炎症のような医学的状態、又は、神経節若しくはリンパ節のような解剖学的特徴を強調できるという意味で標的であってもよい。1つの例は、癌細胞におけるプロトポルフィリンの生成を誘発する化合物である、5−ALAを用いた、脳手術中の星細胞系腫瘍(glioblastoma tumors)のイメージングである。これらのアプリケーションは、外科用顕微鏡、内視鏡、腹腔鏡、胃カメラ、気管支鏡、検眼鏡、眼底カメラ等の医学的イメージングシステムに対しての上記進歩的な方法の統合を引き起こす可能性がある。
【0098】
c)アプリケーションシナリオ:マルチリポーターイメージング(multi reporter imaging):
特に興味深いのは、デュアルレポーターアプローチ(dual reporter diagnostic approaches)を用いた病床治療アプリケーションにおける上記進歩的なリアルタイムマルチスペクトルイメージング技術である。2つ以上の蛍光プローブを用いることにより、組織の病状又は機能状態にアクセスするための異なる生体指標についての多様な情報が得られる。異なる複数のエージェントの複数の生体内分布の組み合わせは、病気の特徴の検出感度及び特異度を増す。これは、分離後の複数の画像成分が、画像化ターゲット、つまり病変(lesion)の画像化を高めることができるからである。
【0099】
d)アプリケーションシナリオ:機械検査(Machine inspection):
リアルタイムマルチスペクトル蛍光イメージングの追加的な想定されるアプリケーションシナリオは、機械検査についてである。内部で封入されているために視覚的に検査することが難しい、ギヤのようなエンジン部品又は機械部品は、小さなクラックのような損傷を有している可能性がある。このような構造欠陥は、エンジン内を蛍光溶液で流して、蛍光液を留めるクラックの位置を内部で検査するための内視鏡を用いた後に、画像化されうる。リアルタイムマルチスペクトルイメージングは、カラー反射率画像及びカラー蛍光画像を同時に提供することができる。
【0100】
e)アプリケーションシナリオ:感pH色素(pH sensitive dyes):
化学的環境は、蛍光色素の上記発光又は励起に影響を与える可能性がある。上記色素の吸収特性及び発光特性を変えるパラメータの1つは、pH値である。
【0101】
発光感受性色素(emission sensitive dyes)の場合:
pH値の変化に対してスペクトル的に感受性があるシグナルを検出するように最適化された上記個別のフィルタ群の上記複数の透過バンドを有していることが好ましい。また、他の検出チャネルは主にpH値の変化に対する感受性があるのに対して、最大限にpH値に依存する複数の検出チャネルを有していることが好ましい。
【0102】
これは、例えば、それぞれ測定対象の複数の蛍光バンドの中心が、pH値の変化に対して色素発光スペクトルが極大となるスペクトルポイントに一致するように、又は、色素発光スペクトルがほとんどpH値に依存しないスペクトルポイントに一致するように、複数の透過フィルタバンドを調整することによって、実現することができる。
【0103】
励起感受性色素(excitation sensitive dyes)の場合:
pH値の変化に対してスペクトル的に感受性があるシグナルを検出するように最適化された上記個別のフィルタ群及び光源群の複数の励起バンドを有することが好ましい。また、他の検出チャネルは主にpH値の変化に対する感受性があるのに対して、検出チャネルのいくつかが最大限にpH値に依存するような、複数の励起バンドを有することが好ましい。
【0104】
上記複数の励起フィルタバンドは、上記個別のバンド群の中心が、pH値の変化に対して色素励起スペクトルが極大となるスペクトルポイントに一致するように、又は、色素励起スペクトルがほとんどpH値に依存しないスペクトルポイントに一致するように、調整されるべきである。
【0105】
上記記録された画像群は、マルチスペクトルで記録され、スペクトル的に分離され、pH値の空間分布を可視化するように処理される。
【0106】
f)アプリケーションシナリオ:PPIX発光スペクトルにおける違いによる、腫瘍浸潤ゾーン(tumor infiltration zone)と固形腫瘍塊(solid tumor mass)との識別
腫瘍診断法に関して、腫瘍組織におけるプロトポルフィリンIX(PPIX)の蓄積を導き出す、5−ALAが、患者に投与される。PPIXは、蛍光色素であり、また、光線力学的療法のエージェントでもある。
【0107】
PPIXの蛍光発光スペクトルは、場所及び腫瘍内の微少環境に基づいて変化する。さらに詳細には、上記浸潤ゾーンは、上記固形腫瘍塊と比べて、異なる蛍光発光スペクトルを呈する。このスペクトル的な相違は、上記腫瘍塊と上記浸潤ゾーンとを識別するために、用いることができる。
【0108】
620nm及び635nmで極大となる2つの異なるピークのPPIXスペクトルが、上記進歩的なシステムで、記録され、分離されうる。
【0109】
さらに、他の蛍光色素分子と自己蛍光も記録されうる。
【0110】
g)アプリケーションシナリオ:自己蛍光:
興味深いアプリケーションは、内在組織の自己発光、つまり、蛍光造影剤(例えば、蛍光色素分子)を投与することなしに通常発光される蛍光のスペクトル的な検出である。上記内在組織の自己発光は、NADPH、フラビン(flavins)、コラーゲン(collagen)、エラスチン(elastin)等のような、組織内に存在する又は組織で作り出された、種々の分子に起因する。この存在、生成、蓄積、又は他の濃度特性は、解剖学の特性、機能特性、及び病理学の特性のような、種々の組織特性とリンクしている。本発明に従った、組織自己発光のマルチスペクトルイメージング及び上記関連する複数の成分のスペクトル分離は、病状の判断及び診断を助ける、組織の特徴又は特性を明らかにすることができる。自己発光のマルチスペクトルイメージング及び分離は、前進的に投与された蛍光分子と共に行われる。
【0111】
h)アプリケーションシナリオ:網膜イメージング(Retina imaging):
網膜は、目を通して画像化されうる。現在、このイメージングモダリティは、網膜自体の診断目的のために、臨床診療において、用いられている。
【0112】
目は、網膜血管をダイレクトに見る、体の血管に対して、クリアな窓を提供する。本発明に従った、網膜のマルチスペクトルイメージング及びスペクトル分離を用いると、網膜内に存在しているか又は血管内を循環する、蛍光分子を特定することができる。これらの蛍光分子は、自由に循環するか、又は、細胞(可能性としては転移性の癌細胞)、微生物、ウイルス、若しくは、分子へ向かうために、全身的に投与されていてもよい。マルチスペクトルイメージング及び分離は、これらの物質を特定することができ、このことは、「病人」の機能状態若しくは病状にアクセスする助けとなる、一般的には血液循環についての情報、又は、ターゲットの循環についての情報を提供することができる。それゆえ、網膜自体についての情報を得るために、及び、血液内を循環している成分についての情報を得るために、網膜イメージングを用いることができる。
【0113】
i)アプリケーションシナリオ:ロボット外科手術:
上記マルチスペクトルイメージング及びシステムの興味深いアプリケーションは、それを外科手術ロボットシステムと組み合わせることである。最初に、それは、手術を行う外科医に対して、反射カラードメインにおけるか、又は、(自己)発光ドメインにおける、組織の生体構造、機能、又は病気についての、ビジュアルマルチスペクトル情報を提供することができる。2番目のレベルでは、ロボット手術の安全性を向上させる入力を提供することができ、例えば、医師がうっかり組織(例えば、神経)にダメージを与えてしまうこと(つまり、カットしてしまうこと)を防ぐことができる。三番目のレベルでは、それは、人間の制御を減らした又は最少化した、自動ロボット外科手術手順に対して、直接的にインプット又はフィードバックを提供することができる。