特開 2023-84119 複数の蛍光体の混合蛍光応答を解析する方法、蛍光解析器、蛍光顕微鏡およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023084119

(43)【公開日】2023-06-16

(54)【発明の名称】複数の蛍光体の混合蛍光応答を解析する方法、蛍光解析器、蛍光顕微鏡およびコンピュータプログラム

(51)【国際特許分類】

   G02B 21/06 20060101AFI20230609BHJP

【ＦＩ】

G02B21/06

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022194013

(22)【出願日】2022-12-05

(31)【優先権主張番号】21212550

(32)【優先日】2021-12-06

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ベンヤミン ダイスラー

(72)【発明者】

【氏名】クリスティアン シューマン

(72)【発明者】

【氏名】カイ リッチェル

(72)【発明者】

【氏名】メイト ベルジャン

(72)【発明者】

【氏名】ヴェアナー フーケ

(72)【発明者】

【氏名】ゲオルゲ コジョク

【テーマコード（参考）】

2H052

【Ｆターム（参考）】

2H052AA08

2H052AA09

2H052AC05

2H052AC14

2H052AC15

2H052AC33

2H052AC34

2H052AD03

2H052AF14

2H052AF21

(57)【要約】      （修正有）

【課題】スペクトルアンミキシングのプロセスを改善する。
【解決手段】顕微鏡サンプルにおける複数の蛍光体の混合蛍光応答を解析する方法はスペクトルアンミキシングと参照発光スペクトルを特定して検証する手順とを含む。この手順には（ａ）複数の蛍光体と等しいかまたはより大きいサンプルの画像シーケンスについて、複数の画像取得設定を供給し、照明設定を含めるステップ、（ｂ）複数の画像取得設定を使用してサンプルの画像シーケンスを取得し、対応する照明設定と共にサンプルのそれぞれの画像シーケンスを記憶するステップ、（ｃ）１つまたは複数の参照発光スペクトル特定アルゴリズムを使用して、サンプルの画像シーケンスから、再構成対象の蛍光体についての参照発光スペクトル候補を特定するステップ、（ｄ）上記のスペクトルアンミキシングにおいて、参照発光スペクトルとして参照発光スペクトル候補を条件付きで使用するステップとが含まれている。
【選択図】図４

【特許請求の範囲】

【請求項1】

顕微鏡のサンプル（２００）における複数の蛍光体（２３０）の混合蛍光応答を解析する方法（１０）であって、前記混合蛍光応答は、複数の前記蛍光体（２３０）のそれぞれの個別蛍光応答の寄与を有し、前記方法（１０）には、再構成対象の前記蛍光体についての参照発光スペクトルに基づき、スペクトルアンミキシングを使用して、前記混合蛍光応答から、前記個別蛍光応答を再構成することが含まれ、前記方法（１０）には、前記参照発光スペクトルを特定して検証する手順が含まれ、前記手順には、次のステップ、すなわち、
ａ）複数の前記蛍光体（２３０）と等しいかまたはより大きい前記サンプル（２００）の画像シーケンスについて複数の画像取得設定を供給し、前記画像シーケンスのそれぞれについての照明設定を含めるステップ（２）と、
ｂ）複数の前記画像取得設定を使用して前記サンプル（２００）の前記画像シーケンスを取得し、対応する前記照明設定と共に前記サンプル（２００）のそれぞれの前記画像シーケンスを記憶するステップ（３）と、
ｃ）１つまたは複数の参照発光スペクトル特定アルゴリズムを使用して、前記サンプル（２００）の前記画像シーケンスから、再構成対象の前記蛍光体についての参照発光スペクトル候補を特定するステップ（４）と、
ｄ）前記スペクトルアンミキシングにおいて、前記参照発光スペクトルとして前記参照発光スペクトル候補を条件付きで使用するステップ（６）と、
を含む手順が含まれている、
方法（１０）。

【請求項2】

前記方法（１０）は、
ｉ）ステップｃ）とステップｄ）との間で、前記参照発光スペクトル候補についての妥当性チェックを実行するステップ（５）であって、前記参照発光スペクトル候補が再構成対象の前記蛍光体について妥当であるか否かを前記妥当性チェックの結果が示すステップ（５）と、
ｉｉ）前記妥当性チェックの結果がイエスである場合に、ステップｄ）にしたがい、前記スペクトルアンミキシングにおいて、前記参照発光スペクトルとして前記参照発光スペクトル候補を使用するか、または前記妥当性チェックがノーである場合に、前記参照発光スペクトル候補を棄却するステップ（６）と、
をさらに含む、
請求項１記載の方法（１０）。

【請求項3】

前記照明設定は、線形独立であり、かつ／または、それぞれの前記画像シーケンスについての前記照明設定には、複数の光源のうちの単一の光源を選択することが含まれており、前記単一の源には、発光ダイオード、与えられた中心波長のレーザ、または波長選択装置が含まれている、
請求項１または２記載の方法（１０）。

【請求項4】

先行インスタンスおよび後続インスタンスを含む少なくとも２つの時間的なインスタンスにおいて前記参照発光スペクトルを特定して検証する前記手順を実行する、
請求項１から３までのいずれか１項記載の方法（１０）。

【請求項5】

前記後続インスタンスにおいて前記妥当性チェックを実行するステップ（５）には、前記先行インスタンスにおいて取得した前記参照発光スペクトルに基づいて、評価を実行することが含まれており、かつ／または、前記妥当性チェックを実行するステップ（５）の前記結果が、前記先行インスタンスにおいてイエスである場合、前記後続インスタンスにおける前記妥当性チェックに使用するために、前記参照発光スペクトル候補を記憶し、かつ／または、前記妥当性チェックが前記先行インスタンスにおいてイエスであった場合、前記後続インスタンスにおいて使用される前記照明設定は、前記先行インスタンスにおいて使用された前記照明設定に基づく、
請求項２に従属する請求項４記載の方法（１０）。

【請求項6】

前記画像取得設定には、サンプル特性に基づいて選択される検出器設定またはカメラ設定が含まれており、前記サンプル特性には、前記サンプルの運動性または感度の少なくとも１つが含まれており、前記検出器設定または前記カメラ設定には、ビニング係数、走査速度、走査解像度、利得値および露光時間の少なくとも１つが含まれている、
請求項１から５までのいずれか１項記載の方法（１０）。

【請求項7】

蛍光顕微鏡（１００）を使用して前記混合蛍光応答を特定し、前記蛍光顕微鏡（１００）は、広視野モード、共焦点モードおよびライトシートモードから選択される少なくとも１つの顕微鏡モードで動作するように構成された蛍光顕微鏡（１００）であり、前記顕微鏡モードの少なくとも１つについて前記参照発光スペクトルを特定して検証する前記手順を実行する、
請求項１から６までのいずれか１項記載の方法（１０）。

【請求項8】

前記参照発光スペクトルを特定して検証する前記手順を較正要求（１）に対する応答として実行し、前記較正要求（１）は、ユーザによって行われる較正要求、画像解析ステップの結果に基づいて行われる較正要求、あらかじめ定められた時点に基づいて行われる較正要求、および視野の変化が特定される場合に行われる較正要求の少なくとも１つである、
請求項１から７までのいずれか１項記載の方法（１０）。

【請求項9】

参照励起スペクトルを提供して、前記参照発光スペクトル候補を特定するステップ（４）に使用する、
請求項１から８までのいずれか１項記載の方法（１０）。

【請求項10】

前記参照発光スペクトル候補についての前記妥当性チェックには、与えられた参照発光スペクトルからのユークリッド距離、与えられた参照発光スペクトルとのスペクトル角、および前記参照発光スペクトル候補についての非負性の少なくとも１つを特定することが含まれている、
請求項１もしくは２または請求項２に従属する請求項３から９記載のいずれか１項記載の方法（１０）。

【請求項11】

前記妥当性チェックには、妥当性値と妥当性閾値とを比較することが含まれており、前記妥当性閾値は、前記蛍光体毎に異なっている、
請求項１もしくは２または請求項２に従属する請求項３から１０記載のいずれか１項記載の方法（１０）。

【請求項12】

サンプル特性（２００）を導出するために、前記参照発光スペクトル候補の、期待値からの偏差を表す値を使用し、かつ／または、前記混合蛍光応答から、前記蛍光体の個数および前記蛍光体のスペクトルを導出する、
請求項１から１１までのいずれか１項記載の方法（１０）。

【請求項13】

顕微鏡のサンプル（２００）における複数の蛍光体（２３０）の混合蛍光応答を解析するように構成された蛍光解析器（５００）であって、前記混合蛍光応答は、複数の前記蛍光体（２３０）の個別蛍光応答の寄与を有し、前記解析は、再構成対象の前記蛍光体についての参照発光スペクトルに基づき、スペクトルアンミキシングを使用して、前記混合蛍光応答から、前記個別蛍光応答を再構成することを有し、かつ前記参照発光スペクトルを特定して検証する手順を実行するように構成されており、前記手順には、次のステップ、すなわち、
ａ）複数の前記蛍光体（２３０）と等しいかまたはより大きい前記サンプル（２００）の画像シーケンスについて複数の画像取得設定を供給し、前記画像シーケンスのそれぞれについての照明設定を含めるステップ（２）と、
ｂ）複数の前記画像取得設定を使用して前記サンプル（２００）の前記画像シーケンスを取得し、対応する前記照明設定と共に前記サンプル（２００）のそれぞれの前記画像シーケンスを記憶するステップ（３）と、
ｃ）１つまたは複数の参照発光スペクトル特定アルゴリズムを使用して、前記サンプル（２００）の前記画像シーケンスから、再構成対象の前記蛍光体についての参照発光スペクトル候補を特定するステップ（４）と、
ｄ）前記スペクトルアンミキシングにおいて、前記参照発光スペクトルとして前記参照発光スペクトル候補を条件付きで使用するステップ（６）と、が
含まれている、
蛍光解析器（５００）。

【請求項14】

前記蛍光解析器（５００）は、前記参照発光スペクトルを特定して検証する前記手順を実行するように構成されており、前記手順は、さらに次のステップ、すなわち、
ｉ）ステップｃ）とステップｄ）との間で、前記参照発光スペクトル候補についての妥当性チェックを実行するステップ（５）であって、前記参照発光スペクトル候補が再構成対象の前記蛍光体について妥当であるか否かを前記妥当性チェックの結果が示すステップ（５）と、
ｉｉ）前記妥当性チェックの結果がイエスである場合に、ステップ（ｄ）にしたがい、前記スペクトルアンミキシングにおいて、前記参照発光スペクトルとして前記参照発光スペクトル候補を使用するか、または、前記妥当性チェックがノーである場合に、前記参照発光スペクトル候補を棄却するステップ（６）と、
を含む、
請求項１３記載の蛍光解析器（５００）。

【請求項15】

蛍光顕微鏡（１００）であって、
前記蛍光顕微鏡（１００）は、顕微鏡のサンプル（２００）における複数の蛍光体（２３０）の混合蛍光応答を解析するように構成されており、請求項１３または１４記載の蛍光解析器（５００）を有する、
蛍光顕微鏡（１００）。

【請求項16】

コンピュータプログラムであって、請求項１から１２のいずれか１項記載の方法を実施するように構成された命令を有するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顕微鏡サンプルにおける複数の蛍光体の混合蛍光応答を解析する方法、蛍光解析器、蛍光顕微鏡およびコンピュータプログラムに関する。

【背景技術】

【0002】

国際公開第２０２１／１８５５５７号には、異なるスペクトル発光特性を有するさまざまな蛍光体を含む物体をイメージングするための蛍光顕微鏡が開示されている。蛍光顕微鏡は、検出を目的として蛍光を集束するために、視野内の異なる蛍光体から放出される蛍光を収集するように構成された光学系を有する。視野内で収集される蛍光を、スペクトル的に異なる少なくとも２つの蛍光成分に分割するように構成されたスペクトル分割装置が設けられている。少なくとも２つの画像センサを有するマルチチャネル検出システムは、スペクトル的に異なる少なくとも２つの蛍光成分に基づき、少なくとも２つの空間光強度分布を検出するように構成されており、それぞれの空間光強度分布により、視野にわたって物体の画像が表される。蛍光顕微鏡はさらに、それぞれの空間光強度分布のスペクトルアンミキシング解析に基づいて、異なる蛍光体種の空間分布を特定するように構成されたプロセッサを有する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、特に、有効性およびユーザの利用し易さの観点から、上述のようなシステムにおいても、また複数の蛍光体の蛍光応答が解析される任意の他の蛍光顕微鏡および同様の装置においても、スペクトルアンミキシングのプロセスを改善するという目的を有する。

【課題を解決するための手段】

【0004】

本発明では、顕微鏡サンプルにおける複数の蛍光体の混合蛍光応答を解析する方法であって、混合蛍光応答が複数の蛍光体のそれぞれの個別蛍光応答の寄与を有し、再構成対象の蛍光体についての参照発光スペクトルまたは端成分スペクトルに基づき、スペクトルアンミキシングを使用して、混合蛍光応答から上記の個別蛍光応答を再構成することを含む方法が提供される。

【0005】

上記の方法には、参照発光スペクトルを特定して検証する手順が含まれており、この手順には、（ａ）複数の蛍光体と等しいかまたはより大きいサンプルの画像シーケンスについて複数の画像取得設定を供給し、それぞれの画像シーケンスについての照明設定を含めることと、（ｂ）複数の画像取得設定を使用してサンプルの画像シーケンスを取得し、対応する照明設定と共にサンプルのそれぞれの画像シーケンスを記憶することと、（ｃ）１つまたは複数の参照発光スペクトル特定アルゴリズムを使用して、サンプルの画像シーケンスから、再構成対象の蛍光体についての参照発光スペクトル候補を特定することと、（ｄ）上記のスペクトルアンミキシングにおいて、参照発光スペクトルとして上記の参照発光スペクトル候補を条件付きで使用することと、が含まれている。

【0006】

本発明の実施形態にしたがって提案される方法により、蛍光画像のスペクトルアンミキシングに使用される参照発光スペクトルを確実に特定することが可能になる。これは、必要な画像を自動的に得し、スペクトル特定を実行し、選択的に妥当性についてスペクトル特定をチェックし、選択的にスペクトル特定の結果に関するフィードバックをユーザに与えることにより、最小限のユーザ介入で達成される。この方法は、イメージング対象のサンプルに直接に後で実行可能であるため、付加的な参照サンプルは不要である。

【0007】

本発明の１つの実施形態では、この方法にはさらに次のステップ、すなわち（ｉ）上で示したステップ（ｃ）とステップ（ｄ）との間で、参照発光スペクトル候補についての妥当性チェックを実行するステップであって、参照発光スペクトル候補が再構成対象の蛍光体について妥当であるか否かを妥当性チェックの結果が示すステップと、妥当性チェックの結果がイエスである場合に、上で示したステップ（ｄ）にしたがい、上記のスペクトルアンミキシングにおいて、参照発光スペクトルとして上記の参照発光スペクトル候補を使用するか、または妥当性チェックがノーである場合に、上記の参照発光スペクトル候補を棄却する別のステップ（ｉｉ）と、が含まれている。本発明の１つの実施形態において、上記の妥当性チェックによって保証されるのは、妥当な参照発光スペクトルだけがさらに使用されることであり、すなわち、参照発光スペクトル候補が妥当でないことが判明した場合、これを外すことができ、その代わりに、例えば、デフォルトまたは前の端成分スペクトルを使用することができる。

【0008】

本発明の１つの実施形態では、照明設定は、線形独立であってよい。照明設定が、列毎に１つの照明設定と、行毎にそれぞれの強度と、を有する行列として表される場合、線形独立性があることが予想される。これは、個別にアクティブ化される光源が使用される場合の対角行列についてのケースであるが、複数の光源がアクティブ化される場合のケースでもあり得る。したがって、本発明の実施形態は、これらの異なるケースに一般にかつフレキシブルに適用可能である。

【0009】

本発明の１つの実施形態によると、それぞれの画像シーケンスについての照明設定には、複数の光源のうちの単一の光源を選択することが含まれていてもよく、この単一の光源には、発光ダイオード、与えられた中心波長のレーザ、または波長選択装置が含まれていてよく、この波長選択装置は特に、例えば、古典的なフィルタ、音響光学フィルタまたは選択装置および分光計から選択される広帯域光源から（連続的な）照明スペクトルを選択するように構成されていてもよい。したがって、本発明の実施形態は、多数の異なる種類の蛍光顕微鏡技術において使用可能である。

【0010】

本発明の１つの実施形態によると、一般的に参照発光スペクトルを特定して検証する手順は、先行インスタンスおよび後続インスタンスを含む少なくとも２つの時間的なインスタンスにおいて実行可能である。これにより、手順の後続インスタンスにおいて、前に得られた結果を（再）使用することができる。

【0011】

本発明の１つの実施形態によると、後続インスタンスにおいて妥当性チェックを実行することには、先行インスタンスにおいて取得した参照発光スペクトルに基づいて評価を実行することが含まれていてもよい。本発明の１つの実施形態によると、妥当性チェックを実行した上記の結果が、先行インスタンスにおいてイエスである場合、上記の後続インスタンスにおける上記の妥当性チェックに使用するために、上記の参照発光スペクトル候補を記憶することができる。特に、このような実施形態では、インスタンス毎の段階的な改善が可能になる。

【0012】

本発明の１つの実施形態によると、先行インスタンスにおける妥当性チェックがイエスであった場合に、先行インスタンスにおいて使用された照明設定に基づき、後続インスタンスにおいて設定が使用されるとき、結果のこのような段階的な改善または結果の有利な（再）使用が特に可能になる。

【0013】

本発明の実施形態によると、画像取得設定には、サンプル特性に基づいて選択される検出器設定またはカメラ設定が含まれていてもよく、サンプル特性には、サンプルの運動性または感度の少なくとも１つが含まれ、検出器設定またはカメラ設定には、ビニング係数、走査速度、走査解像度、利得値および露光時間の少なくとも１つが含まれる。すなわち、このような実施形態では、多かれ少なかれ可動のサンプルまたは影響を受け易いサンプルに設定を特に適合させることができ、これにより、結果が改善されると同時に特に影響を受け易いサンプルが保護される。

【0014】

本発明の実施形態では、蛍光顕微鏡を使用して混合蛍光応答を特定することができ、蛍光顕微鏡は、広視野モード、共焦点モードおよびライトシートモードから選択される少なくとも１つの顕微鏡モードにおいて動作するように構成された蛍光顕微鏡であり、これらの顕微鏡モードの少なくとも１つについて参照発光スペクトルを特定して検証する手順を実行する。したがって、本発明の実施形態により、単一の機器の複数のモードをフレキシブルに動作させることができる。

【0015】

本発明の１つの実施形態によると、較正要求に対する応答として、参照発光スペクトルを特定して検証する手順を実行することができ、較正要求は、ユーザによって行われる較正要求、画像解析ステップの結果に基づいて行われる較正要求、あらかじめ定められた時点に基づいて行われる較正要求、および視野の変化が特定される場合に行われる較正要求の少なくとも１つであってよい。すなわち、本発明の実施形態により、定期的な（再）較正、または要求ベースでの（再）較正が可能になり、したがって改善された解析結果を得ることができる。

【0016】

特に、本発明の１つの実施形態では、画像解析により、あらかじめ定められた強度範囲における隣接ピクセルの個数および／または非混合画像間で計算された相関係数に対応する値が、あらかじめ定めた閾値を上回ることが示される場合に、上記の較正要求を行うことができる。したがって、（再）較正がいつ必要であるかを特定するために、確実かつ自動的な特定を使用することができる。

【0017】

本発明の実施形態では、ユーザへのユーザフィードバックを行うことができ、かつ／またはデフォルトの参照発光スペクトルを使用する可能性をユーザに提供することができる。これにより、典型的に知識を有するユーザのノウハウを関与させることが可能となる。

【0018】

本発明の実施形態では、上記の１つまたは複数の参照発光スペクトル特定アルゴリズムには、Ｎ－ＦＩＮＤＲアルゴリズム、ＰＰＩ（pixel purity index）、非負値行列因子分解またはテンソル分解、ＶＣＡ（vertex component analysis）または主成分分析、学習済みニューラルネットワーク、および最適化アルゴリズムの少なくとも１つが含まれていてもよい。このようなアルゴリズムは、単独でまたは組み合わせて使用可能であり、確実な結果を得るために特に有利である。

【0019】

本発明の１つの実施形態によると、参照励起スペクトルを提供して、参照発光スペクトル候補の特定に使用することができる。

【0020】

本発明の１つの実施形態では、参照発光スペクトル候補についての妥当性チェックには、与えられた参照発光スペクトルからのユークリッド距離、与えられた参照発光スペクトルとのスペクトル角、および参照発光スペクトル候補についての非負性の少なくとも１つを特定することが含まれていてもよい。相応のパラメータは、期待値または参照値との類似性を特定し、したがってスペクトルの妥当性を評価するために特に適している。

【0021】

本発明の別の１つの実施形態では、上記の妥当性チェックには、妥当性値と妥当性閾値とを比較することが含まれていてよく、上記の妥当性閾値は上記の蛍光体毎に異なっている。これにより、それぞれの蛍光体およびその特定の特性を個別にかつ適切に考慮することができる。

【0022】

本発明の１つの実施形態では、上記のアンミキシングには、線形アンミキシング、フェーザアンミキシング、最尤推定器の特定、またはこれらの組み合わせの少なくとも１つが含まれていてもよい。このような方法は、特に適切なアンミキシング方法であり、使用される方法は、好ましくは特定の解析状況に適合するように選択可能である。

【0023】

本発明の１つの実施形態によると、サンプル特性を導出するために、参照発光スペクトル候補の、期待値からの偏差を表す値を使用することができる。したがって、本発明の実施形態は、スペクトルアンミキシングについての有利な（再）較正を可能にするだけでなく、同じ方法を使用することにより、酸性度等のサンプル特性も特定可能である。

【0024】

本発明の実施形態によると、混合蛍光応答から、蛍光体の個数およびそれらのスペクトルを導出することができる。これにより、蛍光体の個数およびそれらのスペクトルが未知である未知のサンプルを分析することができる。

【0025】

本発明では、顕微鏡サンプルにおける複数の蛍光体の混合蛍光応答を解析するために構成された蛍光解析器も提供され、ここで上記の混合蛍光応答は、複数の蛍光体の個別蛍光応答の寄与を有する。上記の解析は、再構成対象の蛍光体についての参照発光スペクトルに基づき、スペクトルアンミキシングを使用して、混合蛍光応答から上記の個別蛍光応答を再構成することを有する。蛍光解析器は、較正要求に対する応答として、参照発光スペクトルを特定して検証する手順を実行するために構成されており、この手順には、（ａ）複数の蛍光体と等しいかまたはより大きいサンプルの画像シーケンスについて複数の画像取得設定を供給し、それぞれの画像シーケンスについての照明設定を含めることと、（ｂ）複数の画像取得設定を使用してサンプルの画像シーケンスを取得し、対応する照明設定と共にサンプルのそれぞれの画像シーケンスを記憶することと、（ｃ）１つまたは複数の参照発光スペクトル特定アルゴリズムを使用して、サンプルの画像シーケンスから、再構成対象の蛍光体についての参照発光スペクトル候補を特定することと、（ｄ）上記のスペクトルアンミキシングにおいて、参照発光スペクトルとして上記の参照発光スペクトル候補を条件付きで使用することと、が含まれている。

【0026】

本発明の１つの実施形態によるこのような蛍光解析器および別の特徴および利点については、本発明の実施形態による方法およびその変形形態に関連する説明を参照されたい。

【0027】

本発明の１つの実施形態によると、蛍光解析器は、参照発光スペクトルを特定して検証する手順を実行するように構成されていてよく、この手順にはさらに次のステップ、すなわち、（ｉ）上で示したステップ（ｃ）とステップ（ｄ）との間で、参照発光スペクトル候補についての妥当性チェックを実行するステップであって、参照発光スペクトル候補が、再構成対象の蛍光体について妥当であるか否かを妥当性チェックの結果が示すステップと、さらに（ｉｉ）妥当性チェックの結果がイエスである場合に、上で示したステップ（ｄ）にしたがい、上記のスペクトルアンミキシングにおいて、参照発光スペクトルとして上記の参照発光スペクトル候補を使用するか、または妥当性チェックがノーである場合に、上記の参照発光スペクトル候補を棄却するステップと、が含まれている。ここでも、本発明の実施形態およびその変形形態による特定の別の特徴については上述の説明を参照されたい。

【0028】

本発明の１つの実施形態による蛍光解析器は、少なくとも１つのステップ（ａ）～（ｅ）のトリガ、これらについてのパラメータの入力、およびこれらの結果の評価の少なくとも１つのための制御ウィジェットを提供するように構成されたグラフィカルユーザインタフェースを表示するように適合させられた１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを有する。対応する実施形態によって、ユーザの利用し易さが特に向上する。

【0029】

本発明の１つの実施形態によると、蛍光解析器は、上述の実施形態において説明した方法を実施するように構成可能であり、したがって上述の説明を特に参照されたい。

【0030】

本発明では、顕微鏡サンプルにおける複数の蛍光体の混合蛍光応答を特定するように構成された蛍光顕微鏡も提供される。上述の蛍光解析器を有し、１つの実施形態では複数の検出器および複数の光源を有する蛍光顕微鏡については、再び上述の説明を参照されたい。

【0031】

本発明では、コンピュータプログラムがプロセッサ上で実行される場合に、前にさまざまな態様で説明した方法を実施するためのプログラムコードを有するコンピュータプログラムも提供され、このコンピュータプログラムも同様に、対応する利点を享受する。

【図面の簡単な説明】

【0032】

【図1】顕微鏡システムを示す図である。

【図2】顕微鏡システムの複数の態様を示す図である。

【図3】蛍光検出の複数の態様を示す図である。

【図4】本発明の１つの実施形態による方法を示す図である。

【図5】蛍光検出の別の複数の態様を示す図である。

【発明を実施するための形態】

【0033】

従来の蛍光顕微鏡法では、特異性を増大させるために、与えられた蛍光体の蛍光発光スペクトルの一部を選択的に取り込むためにフィルタが使用されている。しかしながら、この状況において複数の蛍光体の蛍光応答を取り込もうとする場合には、これには古典的にはフィルタの切り換えが必要であり、この切り換えは、一般的に遅く、したがって、例えば、移動するサンプルが観察される場合には不利である。

【0034】

ごく最近では、異なる波長範囲に対して異なる検出チャネルを備えた顕微鏡も公知になっている。例えば、欧州特許第３７２１２７９号明細書には、複数の検出器を使用して、異なるカラーチャネルにおいて蛍光体の蛍光応答を検出するように適合された検出ユニットを有する顕微鏡システムが開示されている。図１および図２を参照して以下でも説明するこのようなシステムでは、異なるカラーチャネルを別々に検出するためにフィルタの切り換えはもはや不要である。

【0035】

異なる検出器を使用して、異なるカラーチャネルの検出を提供する蛍光顕微鏡はまた、広視野動作モード、共焦点動作モードおよびライトシート動作モードを含むがこれらに限定されない、異なる顕微鏡動作モード間でユーザが選択できるようにシステムとして提供されることも可能である。図１には、このような顕微鏡１００を含む顕微鏡システム１０００がより一般的な仕方で示されており、図２には、広視野動作と共焦点動作との切り換えの詳細、およびこのような顕微鏡１００におけるそれぞれの照明ユニットおよび検出ユニットが示されている。しかしながら、本発明の実施形態は、異なる検出チャネルを有する顕微鏡か、または異なる顕微鏡動作モードで動作可能な顕微鏡のいずれかと関連して使用されることに限定されないことに注意されたい。

【0036】

フィルタ使用されているかまたは異なる検出チャネルが使用されているかには関係なく、いわゆる“cross-excitation”および“cross-emission”が観測される可能性がある。“cross-excitation”は、特定の励起波長を有する蛍光体が、異なる波長の励起光によって照射されると、ある程度までは蛍光も放射し得るという現象である。“cross-emission”は、典型的には特定の波長における鋭いピークではなく、隣接チャネルにおいてある程度検出され得るスペクトルである、蛍光応答の作用である。すなわち、フィルタまたは異なる検出チャネルだけを使用すると、蛍光体間の明確な分離が不可能になってしまい得る。これは特に、それぞれの励起波長と発光波長との差が比較的小さい異なる蛍光体が使用される場合である。

【0037】

重なり合う蛍光発光の問題に取り組むために、既に上述したアンミキシングアプローチが開発されている。これにより、一般的に、複数の蛍光体の同時イメージングが可能となる。概要は、例えば、T. Zimmermannによる“Spectral Imaging and Linear Unmixing in Light Microscopy”と題する論文、Adv. Biochem. Eng. Biotechnol. (2005) 95: 245-265に示されている。これらのアンミキシングアプローチでは、検出器によって検出される等の単一の蛍光体の「純粋な」蛍光発光のスペクトル分布（いわゆる「端成分スペクトル」または「参照発光スペクトル」）が、複数の検出器画像または異なる蛍光発光の寄与から空間蛍光体存在量を復元するために使用される。これらの参照発光スペクトルは、比較参照データを使用して測定可能であるか、または蛍光発光スペクトルの文献値およびデバイス感度から計算可能である。

【0038】

しかしながら、このようなアンミキシング法では、アンミキシング結果の品質は、端成分スペクトルが、サンプルにおける蛍光体の実際のスペクトルにどの程度良好に一致するかに依存する。蛍光体の発光スペクトルは、特に、化学環境、標的タンパク質、照明スペクトルまたは照明履歴（すなわち特に「退色」または光変換効果）に応じて変化し得ることが知られている。このばらつきは、最適以下のアンミキシング結果、例えば、蛍光体チャネル間の残留クロストークにつながり得る。

【0039】

本発明の実施形態による解決手段に特に目を向ける前に、このような実施形態において使用可能な顕微鏡システムを説明する。上述のように、図１には、このような顕微鏡システム１０００が示されている。顕微鏡システム１０００は、本明細書で説明される方法を実施するように構成されていてもよい。顕微鏡システム１０００は、顕微鏡１００とコンピュータシステム４００とを含んでいる。顕微鏡１００は、撮像するように構成されており、有線または無線の通信経路またはインタフェースユニット３００によってコンピュータシステム４００に接続されている。顕微鏡１００は、異なる顕微鏡動作モード、例えば、図２を参照してさらに示されるように広視野動作モードおよび共焦点動作モードで動作するように構成可能である。図１には正立顕微鏡１００が示されているが、本発明の実施形態は、詳細が図２に示されている倒立顕微鏡に、または顕微鏡の任意の他の幾何学的配置に使用可能である。例えば、ライトシート顕微鏡の部品を水平に配置してよい。

【0040】

コンピュータシステム４００は、本明細書に記載された方法の少なくとも一部を実施するように構成されていてもよい。コンピュータシステム４００および顕微鏡１００は、また全体が選択的であるインタフェースユニット３００も別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム４００は、ラップトップコンピュータとして図示されてはいるが、顕微鏡１００の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム４００は、顕微鏡１００のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡１００の従属部品の一部であってもよい。実質的に同じことが、インタフェースユニット３００にも当てはまる。

【0041】

コンピュータシステム４００は、１つまたは複数のプロセッサ４４０および１つまたは複数のストレージデバイス４５０を備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等のさまざまな場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム４００は、任意の回路または回路の組み合わせを含んでいてもよい。

【0042】

本発明の実施形態では、コンピュータシステム４００は、図１のコンピュータシステム４００のハウジングに組み込まれている１つまたは複数のプロセッサ４４０を含んでいてもよいが、これに限定されるものではない。プロセッサ４４０は、任意の種類のものであってよく、任意の個数および任意の位置で、また顕微鏡システム１の任意の部品に設けることができる。本明細書で使用されるように、プロセッサという用語は、例えば、顕微鏡１００または顕微鏡システム１０００の（例えばカメラの）任意の部品のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイス、または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路のことを指していてもよいが、これらに限定されない。コンピュータシステム４００に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。

【0043】

コンピュータシステム４００が含み得る１つまたは複数のストレージデバイス４５０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。

【0044】

コンピュータシステム４００はディスプレイ装置４１０、１つまたは複数のスピーカー、キーボード４２０および／または１つまたは複数のユーザ対話装置を含んでいてもよく、このユーザ対話装置は、マウス、または図示されているように、ボタン４３２および４３４を備えたトラックパッド４３０、トラックボール、タッチスクリーン、音声認識装置、またはシステムのユーザがコンピュータシステム４００に情報を入力すること、およびコンピュータシステム４００から情報を受け取ることを可能にする任意の他の装置であってよいかまたはこれらを含んでいてもよい。図示したように、コンピュータシステム４００は、ディスプレイ装置４１０上にグラフィカルユーザインタフェース４１２を表示するように構成されていてもよい。コンピュータシステム４００はさらに、キーボードおよび／またはトラックパッド４３０および／または任意の別の入力装置を介して、顕微鏡システム１０００を操作するためのグラフィカルユーザインタフェース４１２との対話可能性を提供するように構成されていてもよい。

【0045】

顕微鏡１００は、とりわけ、顕微鏡ハウジング１１０と、焦点調整ノブ１２０と、透過光照明部１３０と、サンプル２００を配置可能なステージ１４０と、少なくとも１つの対物レンズまたはレンズ１５０と、ダイクロイックユニット１６０と、接眼レンズまたは接眼レンズセット１７２を備えたチューブ１７０と、３つの異なる光源１８２～１８６または照明チャネルと、を有するが、これには限定されない、図示されている入射照明ユニット１８０と、カメラまたは検出ユニット１９０と、を有するように図示されている。カメラまたは検出ユニット１９０は、図２に関連してさらに示したように、３つの異なる検出器、カメラまたは検出チャネル１９２～１９６を有するように示されているが、これらには限定されない。

【0046】

照明ユニット１８０の光は、点線で示すように、ダイクロイック１６０により、破線で示すビーム路に結合される。顕微鏡１００の実施形態の別の部品は、上述のように図２に示されており、本発明の実施形態は、図１および図２に示した特定の構成によって限定されない。顕微鏡は、光源１８２～１８６または照明ユニット１８０と、検出ユニット１９０における検出モダリティと、の適切な切り換えを介して、広視野動作モードおよび共焦点動作モード等の異なる顕微鏡動作モードで動作可能であってよい。

【0047】

コンピュータシステム４００およびインタフェースユニット３００を顕微鏡制御装置５００と称することもできるが、本明細書で使用されるこの用語は、これがコンピュータ４００およびインタフェースユニット３００を有することによって限定されることはない。本明細書で使用される「顕微鏡制御装置」という用語は、特に、機能的に理解されるべきであり、１つまたは複数のプロセッサ４４０と、コンピュータシステム４００に設けられている１つまたは複数のストレージデバイス４５０と、を有するか、またはそうでなければ、例えば、上述のように、また複数の実施形態において以下にさらに示されるようにグラフィカルユーザインタフェース４１２を表示するように構成された１つのユニットまたはユニットのグループを指す。

【0048】

本発明の実施形態によるスペクトルアンミキシングの説明に移る前に以下で説明する図２には、例えば、図１に示した顕微鏡システム１０００において蛍光顕微鏡１００として使用可能な、本発明の１つの実施形態による蛍光顕微鏡１００の一部が示されている。図２に示した蛍光顕微鏡１００は、２つの検出ユニット、すなわち、第１の検出ユニット１９０ａおよび第２の検出ユニット１９０ｂを有する。切り換え可能もしくは（両向き矢印によって示した）位置変更可能なミラー１９２または任意の他の切換手段により、第１の検出ユニット１９０ａまたは第２の検出ユニット１９０ｂのいずれかに観察光を選択的に結合することができる。図２に示した位置では、観察光は、ミラー１９２を介して右側の第２の検出ユニット１９０ｂに結合される。ミラー１９２が、１９２’で示されているように、示された位置から外されると、光路はさらに、（図示されている実施形態では）底部に進み、したがって、点線の縁取り光線で示されているように、観察光は、第１の検出ユニット１９０ａに結合される。照明ビーム路および検出ビーム路における光学レンズは、特に示されていない。考えられ得る任意の仕方で設けることができるブロックフィルタまたは励起／エミッションフィルタは、１０５で示されている。

【0049】

図２に示した実施例では、第１の検出ユニット１９０ａは、広視野検出ユニットであり、この広視野検出ユニットでは像平面が１９４ａで示されている。特に示されていないレンズを使用することにより、観察光がコリメートされ、第１の検出ユニット１９０ａにおける検出装置１９６ａに照射される。検出装置１９６ａは、異なる検出チャネルに観察光を分割するように構成されていてもよい。第１の検出ユニット１９０ａにおいて使用可能な検出装置１９６ａについては、欧州特許第３７２１２７９号明細書、特に、同明細書の図３に示されている検出ユニット１０と、対応する説明と、を参照されたい。またこの開示は、参照によって本明細書に組み込まれる。第１の検出ユニット１９０ａにおける広視野検出用の照明ユニットは、簡略化されて１８０ａで示されている。その光は、顕微鏡照明の分野において公知の任意の仕方で、例えばダイクロイックミラー１８１ａ等を使用して蛍光顕微鏡１００の照明ビーム路に結合可能である。

【0050】

図２に示した実施例では、第２の検出ユニット１９０ｂは、共焦点検出ユニットであり、この共焦点検出ユニットでは像平面が１９４ｂで示されている。点光源１８０ｂは、共焦点検出ユニット１９０ｂを使用して共焦点検出のために設けられてもよい。点光源１８０ｂは特に、レーザ光が集束され得る（単一の）ピンホール開口部、または光が点状に出る導光体または光ファイバの端部であってよい。点光源１８０ｂは、中間像平面１９４ｂと、またサンプル２００における対物面２１０と、共役になっており、これにより、ダイクロイックミラー１８１ｂ、または音響光学ビームスプリッタ等の任意の他のスペクトルビーム分割装置と、特に示されていない照明光学系と、を介し、テレセントリック平面またはこれと共役な平面に配置可能なＸ／Ｙスキャナ１８５ｂを使用して、走査式に対物面２１０の点に照明光を合焦させることができる。これにより、一般的に知られているようにサンプル平面２１においてサンプル２００を走査することができる。ピンホールは、１８７ｂで示されている。ここでも、さらなる詳細については、欧州特許第３７２１２７９号明細書、特に、同明細書の図３に示されている検出ユニット２０と、対応する説明と、を参照されたい。またこの開示は、参照によって本明細書に組み込まれる。同じことは、観察光を異なる検出チャネルに分割するように構成可能な検出装置１９６ｂにも当てはまる。第２の検出ユニット１９０ｂにおいて使用可能な検出装置１９６ｂについても、欧州特許第３７２１２７９号明細書を参照されたい。またこの開示は参照によって本明細書に組み込まれる。

【0051】

スペクトルアンミキシング技術は、図１および図２に示した蛍光顕微鏡１００を使用する蛍光顕微鏡法に関連して使用可能である。スペクトルアンミキシングは、例えば、図１の検出チャネル１９２～１９６として示したような異なる検出チャネル間の“cross-excitation”または「にじみ」の結果として、蛍光体の重なり合う発光スペクトルの問題に取り組む技術である。これらの現象は、適切に取り扱わない場合には偽陽性の結果につながってしまう可能性がある。対応する問題は、異なるチャネル１９２～１９６において検出が行われるとしても、サンプルが３つ以上の蛍光体でラベリングされる場合に特に顕著になる。

【0052】

スペクトルアンミキシングには特に、線形アンミキシング、非負値行列因子分解、逆畳み込みおよび主成分分析が含まれていてもよい。アンミキシング技術は、発光スペクトルの事前の知識に基づいてよいか、または検出チャネルの個数以下に蛍光体の個数を制限することに関連して使用可能である。スペクトルアンミキシングは、その核心において、また本明細書で使用される理解において、スペクトルシグネチャと、それぞれのピクセルにおけるそれぞれのシグネチャの存在量と、に混合マルチチャネル画像を分解する技術である。

【0053】

図３には、検出チャネル１９２～１９６等の異なる検出チャネルにおける検出が、カラービームスプリッタを使用して実行される、本発明の実施形態の基礎にある問題が示されている。図１とは異なり、図３に示されている検出チャネルの個数は４であるが、任意の他の個数の検出チャネルが使用される場合には実質的に同じ問題が観察される。本発明の実施形態は、任意の個数の検出チャネルに使用可能である。図３には、横座標上のナノメートル単位の波長に対し、縦座標上に量子効率をプロットした量子効率図が示されている。Ｗ１，Ｗ２，Ｗ３およびＷ４は、対応するカラービームスプリッタ装置の異なるスペクトルチャネルによって検出可能な波長成分を示しており、すなわち、異なるチャネル間の色の「分割」は、波長成分Ｗ１，Ｗ２，Ｗ３およびＷ４の隣接する波長成分について示されるグラフが交わる波長において近似的に実行される。Ｗ１は青色チャネルを示し、Ｗ２は緑色チャネルを示し、Ｗ３は橙色チャネルを示し、Ｗ４は赤色チャネルを示す。

【0054】

図３では、さまざまな蛍光色素のスペクトルが、当業者には公知のそれぞれの略語によって示されている。図示のように、ＤＡＰＩの蛍光応答は、チャネルＷ１において最大値を有するのに対し、チャネルＷ２では依然としてかなりの割合が検出可能であり、ここではＧＦＰについての最大値が検出可能である。すなわち、これらの蛍光体によってサンプルが着色されている場合、異なる検出チャネルを使用することによってこれらの蛍光体を完全に分離することはできず、チャネルＷ２では発光スペクトルが重なり合うことになる。換言すると、ＤＡＰＩは、チャネルＷ２にかなり「にじん」でしまい、アンミキシングが必要である。蛍光体ｄｓＲｅｄは、例えば、チャネルＷ２およびチャネルＷ３においてほぼ等しい部分で検出され、したがって、これらのチャネルではその蛍光応答の一部が検出されることになる。

【0055】

一般的に、スペクトルアンミキシングを可能にするためには、参照発光スペクトルは、関心対象のサンプルの蛍光体の１つだけを含む参照サンプルにおいて直接に測定可能である。しかしこのアプローチは、付加的なサンプルをユーザが準備してその後に測定しなればならないため、極めて時間がかかる。さらに、このアプローチは、（参照サンプルの準備および関心領域の定義のために）ユーザ介入を必要とし、慎重なサンプル準備を行ったとしても生じ得る、サンプル間のばらつきを考慮しないため、エラーを生じてしまう傾向がある。参照発光スペクトルを特定するためにアルゴリズムを使用することは、目下のところ、ユーザが利用し易いものではない。というのも、通例、（場合によっては異なる照明設定および／または顕微鏡設定で）複数の画像を取得し、追跡し、アルゴリズムの入力として使用する必要があるからである。さらに、復元されるスペクトルは直ちに有効ではなく、アンミキシングワークフローに手動で入力しなければならない。こういった理由から、このようなアルゴリズムは、従来のプロセスでは事後的にかつ熟練者によってのみ適用されることが多い。

【0056】

しかしながら、以下に説明する本発明の複数の実施形態による方法により、蛍光顕微鏡画像のスペクトルアンミキシングに使用される参照発光スペクトルの、より確実かつユーザが利用し易い特定が可能となる。これは、必要な画像を自動的に取得し、スペクトル特定を実行し、選択的に妥当性についてスペクトル特定を検査し、選択的にスペクトル特定の結果に関するフィードバックをユーザに与えることにより、最小限のユーザ介入で達成される。この方法は、後でイメージングされるサンプルに直接に実施可能であるため、付加的な参照サンプルは不要である。

【0057】

図４に、本発明の１つの実施形態による方法が示されており、ここではこの方法は、単純化された流れ図の形態で示されておりかつ１０と称されている。方法１０は、顕微鏡サンプル２００における複数の蛍光体の混合蛍光応答を解析するために提供されており、ここでは、繰り返し述べたように、混合蛍光応答は、複数の蛍光体のそれぞれの個別蛍光応答の寄与を有する。このような状況に至り得る理由は、既に広範囲にわたって前に説明されている。

【0058】

方法１０には、再構成対象の蛍光体についての参照発光スペクトルに基づき、スペクトルアンミキシングを使用して、混合蛍光応答から上記の個別蛍光応答を再構成することが含まれている。上述のように、スペクトルアンミキシングに使用される参照発光スペクトルの特定は、本発明の実施形態にしたがい、有利な仕方で実行される。

【0059】

このために本発明の１つの実施形態にしたがい、参照発光スペクトルを特定して検証する手順が提供されるが、この手順のステップを次に説明する。本発明の１つの実施形態によると、このような手順は、ユーザによる要求であってよい、対応する要求に応じて、例えば、表示される画像が、その予想と合わない場合にボタンを押下されることによって開始されてよい。本発明の１つの実施形態では、画像解析の結果に応じて、例えば、同じ強度を有する多数の隣接ピクセルを非混合画像が有する場合に、または非混合画像間の相関係数の計算により、特定の閾値を上回る値が与えられる場合に、対応する手順を要求することもできる。対応する要求、または処理のステップは、図４では１で示されている。

【0060】

換言すれば、本発明の１つの実施形態によると、参照発光スペクトルを特定して検証する上記の手順は、較正要求１に対する応答として実行されてよく、較正要求１は、ユーザによって行われる較正要求、画像解析ステップの結果に基づいて行われる較正要求、あらかじめ定められた時点に基づいて行われる較正要求、および視野の変化が特定される場合に行われる較正要求の少なくとも１つであり、また本発明の１つの実施形態によると、画像解析により、あらかじめ定められた強度範囲における隣接ピクセルの個数および／または非混合画像間で計算される相関係数に対応する値が、あらかじめ定められた閾値を上回ることが示される場合に行われ得る。

【0061】

次のステップ２では、本発明の１つの実施形態によると、必要とされる画像シーケンスについての特定を行う。一般に、これは、画像毎の特定の照明設定（例えば、アクティブ化された発光ダイオード、または与えられた中心波長を有するアクティブ化されたレーザ）を有するシーケンスである。シーケンスにおけるエントリの個数は一般に、サンプルにおける蛍光体の個数以上である。換言すれば、本発明の１つの実施形態によると、ステップ２には、特に複数の蛍光体と等しいかまたはより大きくてよいサンプル２００の画像シーケンスについて複数の画像取得設定を供給し、画像シーケンスのそれぞれについて照明設定を含めることが含まれていてもよい。

【0062】

本発明の１つの実施形態によると、次にステップ３では、画像シーケンスを取得し、対応する照明設定と共に記憶することができる。換言すれば、本発明の１つの実施形態によると、ステップ３には、複数の画像取得設定を使用してサンプル２００の画像シーケンスを取得することと、サンプル２００のそれぞれの画像シーケンスを、対応する照明設定と共に記憶することと、が含まれていてもよい。

【0063】

本発明の１つの実施形態によると好ましくは、前に特定した最適値に照明源の照明強度を設定することができ、またはより一般的には、参照発光スペクトルを特定して検証する上記の手順は、先行インスタンスおよび後続インスタンスを含む少なくとも２つの時間的なインスタンスにおいて実行可能であり、後続インスタンスで使用される照明設定は、特に、次に述べる妥当性チェックが先行インスタンスにおいてイエスであった場合、先行インスタンスにおいて使用された照明設定に基づいていてもよい。

【0064】

本発明の実施形態によると、必要であれば、応答およびサンプル保護の観点から最適化された照明設定を提供する等のために自動照明強度制御ステップを含むことができる。

【0065】

本発明の１つの実施形態によると、ステップ４では、取得した画像から端成分スペクトルを特定するためのアルゴリズムを実行することができる。典型的なアルゴリズムは、Ｎ－ＦＩＮＤＲ、ＰＰＩ、非負値行列因子分解もしくはテンソル分解、またはＶＣＡである。さらに、このアルゴリズムは、学習済みニューラルネットワークまたは任意の最適化アルゴリズムによって実行可能である。ここでもより一般的には本発明の１つの実施形態において、ステップ４には、１つまたは複数の参照発光スペクトル特定アルゴリズムを使用して、サンプル２００の画像シーケンスから、再構成対象の蛍光体についての参照発光スペクトル候補を特定することが含まれていてもよい。

【0066】

本発明の１つの実施形態による方法の一部を成し得るステップ５では、特定した端成分スペクトルの妥当性についてのチェックを実行することができる。妥当性チェックの結果は、参照発光スペクトル候補が、再構成対象の蛍光体について妥当であるか否かを示すことができる。ステップ６およびステップ７によって示されているように、上記の参照発光スペクトル候補は、Ｙによって示したように、妥当性チェックの結果がイエスである場合には、スペクトルアンミキシングにおける参照発光スペクトルとして使用可能であるか、またはＮによって示したように、妥当性チェックがノーである場合には、上記の参照発光スペクトル候補が棄却される。

【0067】

本発明の１つの実施形態によると、理にかなうチェックは、特定した端成分スペクトルＳ_ｄｅｔ(λ_ｋ)と、初期端成分スペクトルＳ_ｉｎｉｔ(λ_ｋ)と、がどの程度相違するかであってよい。ここでは、λ_ｋにより、ｋ番目のスペクトル検出器のスペクトル位置が与えられる。この相違は、例えば、ユークリッド距離

【数1】

によって、またはスペクトル角

【数2】

によって定量化可能であり、ただし＜・｜・＞は、スカラー積を、また｜・｜はベクトルノルムを表す。ここでは距離についての閾値が使用可能である。

【0068】

本発明の実施形態にしたがって使用される別のチェックは、例えば、非負性についてのチェック（全てのλ_ｋについてＳ_ｄｅｔ(λ_ｋ)≧０）、または（このような全ての参照発光スペクトル候補について一意であることを含めて）特定した参照発光スペクトル候補のスペクトル分離についてのチェックであってよい。

【0069】

特定した端成分スペクトルが妥当であることが判明した場合、本発明の１つの実施形態によると、これらは、保存可能であり、ライブイメージング用を含めたアンミキシングステップ用の将来の画像取得に使用可能である。このアンミキシングステップは、例えば、線形アンミキシング、フェーザアンミキシング、最尤推定器、またはハイブリッドアプローチであってよい。保存された端成分スペクトルを、取り込まれる画像のメタデータに保存することもできる。換言すると、本発明の１つの実施形態では、既に上述した後続インスタンスにおける妥当性チェックの実行には、先行インスタンスにおいて取得した参照発光スペクトルに基づく評価の実行が含まれていてもよく、かつ／または上記の妥当性チェックを実行した結果が先行インスタンスにおいてイエスである場合、本発明の１つの実施形態では、上記の後続インスタンスにおける上記の妥当性チェックにおいて使用するために、上記の参照発光スペクトル候補を記憶することができる。

【0070】

特定した端成分スペクトルが妥当でない場合、本発明の１つの実施形態では、ユーザにフィードバックを与えることができる。例えば、サンプルのイメージングされた部分に、与えられた蛍光体が存在するかどうか、指定されていない付加的な蛍光体をサンプルが含むかどうか、または誤った蛍光体が指定されたかをどうかを検査するように、ユーザを促すことができる。特定した参照発光スペクトルを使用すべきか否かをユーザに問い合わせることもできる。最も単純なケースでは、特定した端成分スペクトルの妥当性が与えられない場合、初期参照発光スペクトルが使用される。

【0071】

いずれにせよ、また妥当性チェックが実行されるか否かにかかわらず、本発明の実施形態ではステップ６に、上記のスペクトルアンミキシングにおける参照発光スペクトルとして、上記の参照発光スペクトル候補を条件付きで使用することが含まれていてもよい。

【0072】

部分的に前に既に説明した本発明の実施形態の態様には、フォトブリーチング、光変換、自家蛍光の変化、環境条件の変化等に起因する端成分スペクトルにおける変化を考慮するために、（特に、異なる時点における一連の画像の取得中に）時間的な固定点において、スペクトル較正が自動的に要求され得ることが含まれていてもよい。空間的変動に起因する端成分スペクトルにおける変化を考慮するために、イメージングされる視野が変更される場合、スペクトル較正が自動的に要求されてよい。妥当性についてのチェックは、蛍光体に応じて、異なる閾値を使用することができる。特に、与えられた蛍光体が、自家蛍光種である場合、非自家蛍光種についての閾値よりも閾値を大きく選択することができる。

【0073】

多くの蛍光体は、ｐＨ値によって測定されるようなそれらの周囲の酸性度における変化に特に鋭敏である。与えられた蛍光体のスペクトル特性における変化が、ｐＨ値の関数として既知である（または測定可能である）場合には、ｐＨ値における変化を測定するために、例えば、時間の関数として、この蛍光体の端成分スペクトルの変化の知識を使用することができる。これそのものは、顕微鏡の別の態様、例えば、環境制御（インキュベータ）を制御するために、または本発明の実施形態にしたがって提供される、ユーザへのフィードバックを与えるために使用可能である。ｐＨ変化を生じさせ得る生理学的理由も存在するため、それらの変化を識別することは、ユーザの研究および本発明の実施形態の対象となり得る。

【0074】

本発明の１つの実施形態によると、（例えば、ユーザ入力を介する）初期スペクトルの知識を必要としないように本方法を拡張することができる。この場合、スペクトルの個数は、複数の画像におけるデータから、例えば、雑音白色化Harsanyi-Farrand-Chang法等のアルゴリズムと、知識に基づく推測、例えばガウス関数によって与えられる初期端成分スペクトルと、によって計算されてよい。次に、端成分スペクトルの特定は、上で示された説明にしたがう。

【0075】

本発明の実施形態は特に、図１および図２に関連する実施形態において既に説明したように、既知のスペクトル特性を有する複数の照明源および複数の検出器を備えた蛍光顕微鏡に使用可能である。図５に関連して複数の態様が示されており、ここでは上述のように、蛍光顕微鏡は１００で示されており、サンプルは２００で示されている。サンプル２００における番号ｍ＝０，…，Ｍ－１の蛍光体は、一般に２３０で参照され、ここでｃはそれらのそれぞれの存在量を示す。番号ｋ＝０，…，Ｋ－１の照明源は、上述のように、一般に１８０で参照され、ここでＰは、それらのそれぞれの照明電力を示す。番号ｎ＝０，…，Ｎ－１の検出チャネルは、一般に１９０で参照され、ここでＩは検出強度を示す。検出経路は１６２で参照され、照明経路は１６４で参照される。さらなる詳細については、上の図１および図２に関連して既に与えた説明を参照されたい。

【0076】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0077】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【0078】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0079】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0080】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0081】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように動作する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0082】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0083】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0084】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0085】

したがって、本発明の別の１つの実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0086】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0087】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0088】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成された装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0089】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【符号の説明】

【0090】

１０ 方法
１ 較正要求
２ 複数の画像取得設定の供給
３ 画像シーケンスの取得
４ 参照発光スペクトル候補の特定
５ 妥当性チェック
６ 参照発光スペクトル候補の条件付き使用
７ 参照発光スペクトルの棄却
５００ 顕微鏡制御装置
１００ 顕微鏡
１０５ ブロックフィルタ
１１０ 顕微鏡ハウジング
１２０ 焦点調整ノブ
１３０ 透過光照明部
１４０ 顕微鏡ステージ
１５０ 顕微鏡対物レンズ
１６０ ダイクロイック素子
１７０ 顕微鏡チューブ
１７２ 接眼レンズセット
１８０ 入射照明ユニット
１８２～１８６ 光源
１８０ａ，１８０ｂ 広視野照明ユニットおよび共焦点照明ユニット
１８１ａ，１８１ｂ ダイクロイックミラー
１８５ｂ Ｘ／Ｙスキャナ
１８７ｂ ピンホール
１９０ 検出ユニット
１９２～１９６ 検出器、検出チャネル
１９０ａ，１９０ｂ 広視野検出ユニットおよび共焦点検出ユニット
１９２ 位置変更可能なミラー
１９２’ 位置変更されたミラー位置
１９４ａ，１９４ｂ 広視野像平面および共焦点像平面
１９６ａ，１９６ｂ 広視野検出装置および共焦点検出装置
２００ サンプル
２１０ 対物面
３００ インタフェースユニット
４００ コンピュータシステム
４１０ ディスプレイ
４２０ キーボード
４３０ トラックパッド
４３２ 第１のボタン
４３４ 第２のボタン
４４０ プロセッサ
４５０ ストレージデバイス
１０００ 顕微鏡システム
Ｗ１～Ｗ４ 検出チャネルスペクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】