特開 2022-136051 マルチスペクトル顕微鏡システムおよびマルチスペクトル顕微鏡システムを用いて第１の画像と第２の画像とを位置合わせする方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022136051

(43)【公開日】2022-09-15

(54)【発明の名称】マルチスペクトル顕微鏡システムおよびマルチスペクトル顕微鏡システムを用いて第１の画像と第２の画像とを位置合わせする方法

(51)【国際特許分類】

   G02B 21/18 20060101AFI20220908BHJP

   G01N 21/64 20060101ALI20220908BHJP

   G02B 21/00 20060101ALI20220908BHJP

【ＦＩ】

G02B21/18

G01N21/64 E

G02B21/00

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022033686

(22)【出願日】2022-03-04

(31)【優先権主張番号】21161036

(32)【優先日】2021-03-05

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】クリスティアン シューマン

(72)【発明者】

【氏名】カイ リッチェル

(72)【発明者】

【氏名】メイト ベルジャン

【テーマコード（参考）】

2G043

2H052

【Ｆターム（参考）】

2G043EA01

2G043FA01

2G043FA02

2G043NA12

2H052AA09

2H052AB17

2H052AB24

2H052AB27

2H052AC04

2H052AC14

2H052AC30

2H052AF14

(57)【要約】      （修正有）

【課題】マルチスペクトル顕微鏡システムにおいて第１の画像と第２の画像の位置合わせをする方法を提供する。
【解決手段】マルチスペクトル顕微鏡システム（１００）であって、第１のスペクトルチャネル（１１４）における試料（１０２）の第１の画像を捕捉するように構成された第１の検出器素子（１１８）と、第２のスペクトルチャネル（１１６）における試料（１０２）の第２の画像を捕捉するように構成された第２の検出器素子（１２０）と、プロセッサ（１２８）と、を備え、当該プロセッサ（１２８）は、第１のスペクトルチャネル（１１４）と第２のスペクトルチャネル（１１６）との間のスペクトルクロストークに基づいて第１の画像と第２の画像との間の空間相関を決定し、当該空間相関に基づいて第１の画像と第２の画像とを位置合わせするように構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

マルチスペクトル顕微鏡システム（１００）であって、前記マルチスペクトル顕微鏡システム（１００）は、
第１のスペクトルチャネル（１１４）における試料（１０２）の第１の画像を捕捉するように構成された第１の検出器素子（１１８）と、
第２のスペクトルチャネル（１１６）における前記試料（１０２）の第２の画像を捕捉するように構成された少なくとも１つの第２の検出器素子（１２０）と、
プロセッサ（１２８）と、
を備え、前記プロセッサ（１２８）は、前記第１のスペクトルチャネル（１１４）と前記第２のスペクトルチャネル（１１６）との間のスペクトルクロストークに基づいて前記第１の画像と前記第２の画像との間の空間相関を決定し、前記空間相関に基づいて前記第１の画像と前記第２の画像とを位置合わせするように構成されている、
マルチスペクトル顕微鏡システム（１００）。

【請求項2】

前記空間相関は、前記第１の画像と前記第２の画像との間の相互情報または相互相関、特に位相相関である、
請求項１記載の顕微鏡システム（１００）。

【請求項3】

前記プロセッサ（１２８）は、前記第１の画像と前記第２の画像とを位置合わせするために、前記空間相関に基づいて少なくとも１つの変換パラメータを決定するように構成されている、
請求項１または２記載の顕微鏡システム（１００）。

【請求項4】

前記プロセッサ（１２８）は、粗位置合わせされた第１の画像および第２の画像を生成するために、所定の変換に基づいて、前記第１の画像と前記第２の画像との粗画像位置合わせを行い、粗位置合わせされた前記第１の画像および前記第２の画像に基づいて前記空間相関を決定するように構成されている、
請求項１から３までのいずれか１項記載の顕微鏡システム（１００）。

【請求項5】

前記プロセッサ（１２８）は、予め定められた時間スケジュールに従って、前記空間相関の決定および前記第１の画像と前記第２の画像との位置合わせを行うように構成されている、
請求項１から４までのいずれか１項記載の顕微鏡システム（１００）。

【請求項6】

前記顕微鏡システム（１００）は、少なくとも１つのセンサ素子（１２４）を備え、
前記プロセッサ（１２８）は、前記センサ素子（１２４）からのセンサ入力に従って、前記空間相関の決定および前記第１の画像と前記第２の画像との位置合わせを行うように構成されている、
請求項１から５までのいずれか１項記載の顕微鏡システム（１００）。

【請求項7】

前記センサ素子（１２４）は、温度センサである、
請求項６記載の顕微鏡システム（１００）。

【請求項8】

前記マルチスペクトル顕微鏡システム（１００）は、蛍光顕微鏡システムである、
請求項１から７までのいずれか１項記載の顕微鏡システム（１００）。

【請求項9】

前記プロセッサ（１２８）は、位置合わせされた前記第１の画像および前記第２の画像についてスペクトル分解を行うように構成されている、
請求項１から８までのいずれか１項記載の顕微鏡システム（１００）。

【請求項10】

前記プロセッサ（１２８）は、第１の歪補正画像を生成するために前記第１の画像内の第１の光学歪を補正し、第２の歪補正画像を生成するために前記第２の画像内の第２の光学歪を補正し、前記第１の歪補正画像および前記第２の歪補正画像に基づいて前記空間相関を決定するように構成されている、
請求項１から９までのいずれか１項記載の顕微鏡システム（１００）。

【請求項11】

前記プロセッサ（１２８）は、前記顕微鏡システム（１００）の少なくとも１つの所定の光学パラメータに基づいて、前記第１の光学歪および前記第２の光学歪を補正するように構成されている、
請求項１０記載の顕微鏡システム（１００）。

【請求項12】

前記プロセッサ（１２８）は、前記空間相関に基づいて、前記第１の画像および前記第２の画像の画質を決定するように構成されている、
請求項１から１１までのいずれか１項記載の顕微鏡システム（１００）。

【請求項13】

前記顕微鏡システム（１００）は、ビームスプリッタ装置（１１２）を備え、前記ビームスプリッタ装置（１１２）は、前記第１のスペクトルチャネル（１１４）を規定するために、第１の波長スペクトルを有する第１の光を前記第１の検出器素子（１１８）へと配向し、前記第２のスペクトルチャネル（１１６）を規定するために、第２の波長スペクトルを有する第２の光を前記第２の検出器素子（１２０）へと配向するように構成されている、
請求項１から１２までのいずれか１項記載の顕微鏡システム（１００）。

【請求項14】

前記顕微鏡システム（１００）は、前記第１の検出器素子および前記第２の検出器素子を機械的に接続する機械的接続素子（１２２）を備える、
請求項１から１３までのいずれか１項記載の顕微鏡システム（１００）。

【請求項15】

マルチスペクトル顕微鏡（１００）によって第１の画像と第２の画像とを位置合わせする方法であって、前記方法は、
第１のスペクトルチャネル（１１４）における試料（１０２）の第１の画像を捕捉するステップと、
第２のスペクトルチャネル（１１６）における試料（１０２）の第２の画像を捕捉するステップと、
前記第１のスペクトルチャネル（１１４）と前記第２のスペクトルチャネル（１１６）との間のスペクトルクロストークに基づいて、前記第１の画像と前記第２の画像との間の空間相関を決定するステップと、
前記空間相関に基づいて前記第１の画像と前記第２の画像とを位置合わせするステップと、
を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチスペクトル顕微鏡システムに関する。本発明はさらに、マルチスペクトル顕微鏡システムを用いて第１の画像と第２の画像とを位置合わせする方法に関する。

【背景技術】

【0002】

マルチスペクトル顕微鏡システムは、異なるスペクトルチャネルで捕捉された試料の複数の画像を重ね合わせることにより、試料のマルチスペクトル画像を生成する。異なる測定から得られた画像の重ね合わせには、画像の位置合わせが必要となる。当該プロセスは、共通の座標系への画像の変換として理解することができる。

【0003】

特に、マルチスペクトル顕微鏡システムの検出部の配置が異なる複数の検出器を含む場合、個々の測定間で、例えば異なる検出器を結合する機械的な構成要素の熱膨張に起因して、検出器間の機械的なミスアライメントが生じることがあり、これはドリフトとも称されている。こうしたドリフトによって、異なる検出器が捕捉した画像をオンラインで、すなわち実際の測定中に位置合わせするための変換を決定する必要が生じる。

【0004】

マルチスペクトル顕微鏡システムを用いて画像を位置合わせするための多数の方法が知られており、これらの方法は、画像の位置合わせのための変換を決定するために、基準試料の使用または所定のパラメータの使用のいずれかに依拠している。しかし、これらの公知の方法は、測定前または製造中のいずれかに実施される明示的な較正ステップに依拠しているため、いずれも、試料の実際の測定中に発生するドリフトを考慮することができない。

【0005】

代替的に、ドリフトは、検出器装置のアサーマル設計によって、例えばインバーもしくは低い熱膨張度を有する他の材料を使用することによって、最小化することができる。しかし、これらの材料は高価であって、機械加工および処理が困難であり、製造コストを大幅に増大させる。さらに、アサーマル設計は完全にテストされなければならず、開発およびテスト時間も長くなっている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

したがって、本発明の課題は、試料の実際の測定中に発生するドリフトを考慮することのできるマルチスペクトル顕微鏡システムおよび第１の画像と第２の画像とを位置合わせするための方法を提供することである。

【課題を解決するための手段】

【0007】

上記の目的は、各独立請求項の主題によって達成される。有利な実施形態は、各従属請求項および以下の説明に定義されている。

【0008】

提案のマルチスペクトル顕微鏡システムは、第１のスペクトルチャネルにおける試料の第１の画像を捕捉するように構成された第１の検出器素子と、第２のスペクトルチャネルにおける試料の第２の画像を捕捉するように構成された少なくとも第２の検出器素子と、第１のスペクトルチャネルと第２のスペクトルチャネルとの間のスペクトルクロストークに基づいて第１の画像と第２の画像との間の空間相関を決定し、当該空間相関に基づいて第１の画像と第２の画像とを位置合わせするように構成されたプロセッサと、を含む。

【0009】

特に、第１の検出器素子および第２の検出器素子はそれぞれ、２次元画像を捕捉するように構成された検出器アレイ、例えばＣＣＤ素子またはＣＭＯＳ素子を含む。

【0010】

第１の画像と第２の画像とは、異なるスペクトルチャネルで捕捉される。換言すれば、第１の画像と第２の画像とは、試料から放出された電磁スペクトルの異なる帯域を示している。スペクトルクロストークは、放射スペクトルの部分的な重なり、いわゆる放射クロストークによって引き起こされることもあるし、またはスペクトルチャネルが少なくとも部分的に重なることによって引き起こされることもある。スペクトルクロストークに起因して、２つの画像として存在する画像データが生じる。２つの画像間の空間相関を決定することにより、第１の画像と第２の画像とのうちの同じ画像データを表す部分が識別される。次いで、当該情報を使用して、画像平面における第１の画像と第２の画像との間の位置関係が決定され、したがって２つの画像を共通の座標系に変換する変換が決定され、すなわち、第１の画像と第２の画像とが位置合わせされる。

【0011】

広視野検出ユニット、すなわちセンサアレイを備えた検出ユニットを有する典型的なマルチスペクトル顕微鏡システムでは、像側開口数は一般に小さく、例えば０．０５である。よって、可視波長については、回折制限された横方向サンプリングは約２．５μｍであるのに対し、焦点深度は約２００μｍである。このことは、こうしたシステムが、光軸方向のシフトに対してよりも像面におけるシフトに対して約１００倍以上感度が高いことを意味しており、したがって、画像を位置合わせするには、像面における第１の画像と第２の画像との相対位置を特定すれば充分である。

【0012】

提案のマルチスペクトル顕微鏡システムは、画像の位置合わせのための変換を決定するために、第１の画像自体および第２の画像自体を使用する。これにより、明示的な較正ステップの必要がなくなる。さらに、第１の画像および第２の画像の後続の捕捉中に発生するドリフトも考慮される。

【0013】

提案のマルチスペクトル顕微鏡システムは、付加的な検出器素子を有していてよく、各付加的な検出器素子は、付加的なスペクトルチャネルにおいて試料の付加的な画像を捕捉するように構成されている。プロセッサは、全てのスペクトルチャネル間のスペクトルクロストークに基づいて全画像間の空間相関を決定し、当該空間相関に基づいて全画像を位置合わせするように構成されている。特に、プロセッサは、画像の全ての可能な対についてのこれらそれぞれのスペクトルチャネル間のスペクトルクロストークに基づいて、２つずつの画像間の対ごとの空間相関を決定することにより、全ての画像間の空間相関を決定するように構成されている。

【0014】

好ましくは、空間相関は、第１の画像と第２の画像との間の相互情報または相互相関、特に位相相関である。

【0015】

２つの画像を相互に位置合わせする変換は、それぞれの相関尺度を最適化する変換である。

【0016】

２つの画像間の位相相関は、２つの画像間の平行移動量（シフト量）を決定するために特に使用可能なタイプの相互相関である。２つの画像Ｉ_０，Ｉ_１の位相相関のフーリエ変換は、

【数1】

として計算され、ここで、波線符号はフーリエ変換を示す。位相相関Ｐは、構造の最大相関が位置するシフト値に対して最大値を有し、例えば、画像が完全に位置合わせされていればピクセル位置（０，０）に、画像がｘ方向に１ピクセルだけオフセットされていればピクセル位置（１，０）に位置する。フーリエ変換はＦＦＴ法で容易に計算可能であり、ピクセルごとのレベルでフーリエ領域の乗算および除算が計算される。

【0017】

典型的には、熱膨張に起因するドリフトは、少数のピクセルのみの第１の検出器素子と第２の検出器素子との間のミスアライメントを生じさせる。したがって、位相相関Ｐの最大値はピクセル位置（０，０）に近いとの仮定は正しいものとされる。よって、位相相関のピクセル位置（０，０）の周囲の、限定されたサイズの小さなパッチだけを評価すればよい。このためには、位相相関の質量中心を計算することで、最大値位置の良好な推定値が見出される。このことは、関数、例えば２次元ガウシアンをデータにフィッティングすることにより、さらに洗練させることができる。この場合、フィッティングされた関数の最大値は、位相相関の最大値に対応する。これにより、サブピクセルの位置合わせが可能となる。

【0018】

好ましい実施形態では、プロセッサは、第１の画像と第２の画像とを位置合わせするために、空間相関に基づいて、少なくとも１つの変換パラメータ、特に平行移動パラメータ、回転パラメータおよび／またはスケーリングパラメータを決定するように構成されている。これらのパラメータから、第１の画像と第２の画像とを位置合わせするための線形変換が計算される。線形変換は高速に実行可能であり、これにより第１の画像と第２の画像とを位置合わせする高速の手段が提供される。

【0019】

さらに、パラメータは、後続して捕捉される第１の画像と第２の画像との位置合わせのためにメモリ素子に記憶させることができる。これにより、特に、例えば顕微鏡システムが所望の動作温度に到達したためにさらなるドリフトは発生しえないことが判定されると、空間相関の後続の決定の必要をなくすことができる。

【0020】

別の好ましい実施形態では、プロセッサは、粗位置合わせされた第１の画像および第２の画像を生成するために、所定の変換に基づいて第１の画像と第２の画像との粗画像位置合わせを実行し、粗位置合わせされた第１の画像および第２の画像に基づいて空間相関を決定するように構成されている。この実施形態では、所定の変換は、明示的な較正によって、例えば製造中に決定されている。粗位置合わせは、顕微鏡システムの製造および／または輸送に起因する第１の検出器素子および第２の検出器素子のミスアライメントを相殺するために使用される。空間相関に基づく位置合わせを行う前に粗位置合わせを行うと、全体的な計算負荷が軽減され、全体的な画像位置合わせをより迅速にかつより効率的にすることができる。

【0021】

別の好ましい実施形態では、プロセッサは、予め定められた時間スケジュールに従って、空間相関の決定および第１の画像と第２の画像との位置合わせを実行するように構成されている。熱膨張に起因するドリフトは、その後第１の画像を捕捉してから第２の画像を捕捉するまでの期間よりもはるかに大きくなりうる時間スケールで発生する。したがって、画像位置合わせに必要なステップは、第１の画像および第２の画像の捕捉のたびに行うのではなく、定期的に行えば充分である。こうして、不要なステップをスキップすることにより、画像位置合わせプロセス全体をより迅速にかつより効率的にすることができる。

【0022】

別の好ましい実施形態では、マルチスペクトル顕微鏡システムは、少なくとも１つのセンサ素子を備える。プロセッサは、センサ素子からのセンサ入力に従って、空間相関の決定および第１の画像と第２の画像との位置合わせを実行するように構成されている。好適には、センサ素子は温度センサである。さらに、顕微鏡システムが移動されたかどうかを決定するように構成された運動センサなど、他のタイプのセンサも使用することができる。この実施形態では、プロセッサは、顕微鏡の状態の変化、例えば著しい温度変化、ドリフトが発生したことを示すかもしれない動きなどに対応するセンサ入力をセンサ素子から受け取ると、画像位置合わせに必要なステップを実行する。このように、画像位置合わせに必要なステップは、ドリフトが発生したとの仮定が妥当性を有する場合にのみ実行される。これにより、不要なステップがスキップされ、画像位置合わせ処理の効率が向上する。

【0023】

別の好ましい実施形態では、マルチスペクトル顕微鏡システムは、蛍光顕微鏡システムである。この実施形態では、顕微鏡システムは、マルチスペクトル蛍光顕微鏡検査、すなわちそれぞれ異なる発光スペクトルを有する蛍光体を使用した蛍光顕微鏡検査に使用することができる。

【0024】

別の好ましい実施形態では、プロセッサは、位置合わせされた第１の画像および第２の画像に対してスペクトル分解を実行するように構成されている。マルチスペクトル蛍光顕微鏡検査において、異なる蛍光体間の発光クロストーク、すなわち異なる発光スペクトル間の重なりは、異なる蛍光体の正確な位置特定を識別する際の困難につながる。スペクトル分解はこの問題を解決するための計算アプローチである。

【0025】

別の好ましい実施形態では、プロセッサは、第１の歪補正画像を生成するために第１の画像内の第１の光学歪を補正し、第２の歪補正画像を生成するために第２の画像内の第２の光学歪を補正し、第１の歪補正画像および第２の歪補正画像に基づいて空間相関を決定するように構成されている。これは、マルチスペクトル顕微鏡システムの光学システムによって引き起こされる既知のまたは所定の収差を相殺するために行われる。収差は、第１の画像および第２の画像に非線形の歪を導入し、これによって画像の位置合わせに必要な変換の決定を困難にする。このように、第１の光学歪および第２の光学歪を補正することにより、画像位置合わせプロセスをより高速とすることができる。

【0026】

別の好ましい実施形態では、プロセッサは、顕微鏡システムの少なくとも１つの所定の光学パラメータに基づいて、第１の光学歪および第２の光学歪を補正するように構成されている。光学パラメータは、製造中に、例えば測定によってかつ／または光学的計算によって決定可能である。

【0027】

別の好ましい実施形態では、プロセッサは、空間相関に基づいて、第１の画像および第２の画像の画質を決定するように構成されている。例えば、位相相関の最大値を見出すために使用される２次元ガウシアンの幅を、画像データが信頼できるか否かを判定するために使用することができる。

【0028】

別の好ましい実施形態では、マルチスペクトル顕微鏡システムは、第１のスペクトルチャネルを規定するために、第１の波長スペクトルを有する第１の光を第１の検出器素子上へ配向し、第２のスペクトルチャネルを規定するために、第２の波長スペクトルを有する第２の光を第２の検出器素子上へ配向するように構成されたビームスプリッタ装置を含む。ビームスプリッタ装置はさらに、励起光を、試料内部の蛍光体を励起させるために試料へ配向するように構成可能である。ビームスプリッタ装置は、任意の数の光学素子、特にプリズム、ビームスプリッタ素子、光学リレーシステムおよびミラーを含むことができる。

【0029】

別の好ましい実施形態では、マルチスペクトル顕微鏡システムは、第１の検出器素子と第２の検出器素子とを機械的に接続する機械的接続素子を備えている。特に、機械的接続素子は、ベースプレート素子を含む。第１の検出器素子および第２の検出器素子を単一の機械的接続素子上に実装することで、全体的なドリフトが低減される。特に、このことは、ドリフトの主な寄与量が機械的接続素子の熱膨張に起因することを保証する。つまり、ドリフトの主な寄与量は平行移動量であり、これは、第１の画像と第２の画像とを位置合わせするための単純な線形変換によって相殺される。

【0030】

本発明はさらに、マルチスペクトル顕微鏡を用いて第１の画像と第２の画像とを位置合わせする方法に関する。この方法は、第１のスペクトルチャネルにおける試料の第１の画像を取得するステップと、第２のスペクトルチャネルにおける試料の第２の画像を取得するステップと、第１のスペクトルチャネルと第２のスペクトルチャネルとの間のスペクトルクロストークに基づいて第１の画像と第２の画像との間の空間相関を決定するステップと、当該空間相関に基づいて第１の画像と第２の画像とを位置合わせするステップと、を含む。

【0031】

以下に、特定の実施形態を、図面を参照しながら説明する。

【図面の簡単な説明】

【0032】

【図1】マルチスペクトル顕微鏡システムの概略図である。

【図2】マルチスペクトル顕微鏡システムを用いて画像を位置合わせするための方法のフローチャートである。

【発明を実施するための形態】

【0033】

図１は、マルチスペクトル顕微鏡システム１００の概略図である。顕微鏡システム１００は、試料１０２のマルチスペクトル画像を捕捉するように構成されている。

【0034】

顕微鏡システム１００は、励起光源１０４を含んでいる。励起光源１０４は、試料１０２内の蛍光体を励起するための励起光１０６を放出する。したがって、顕微鏡システム１００は、蛍光顕微鏡システムである。この特定の実施形態では、励起光源１０４はコヒーレント光源である。

【0035】

顕微鏡システム１００は、試料１０２に面した対物レンズ１０８も有する。対物レンズ１０８は、試料１０２によって放出される検出光、特に、試料１０２内の蛍光体によって放出される蛍光を捕捉するように構成されている。この特定の実施形態では、顕微鏡システムと組み合わされた対物レンズ１０８は、約０．０５の像側開口数を有し、すなわち、顕微鏡システム１００は、ワイドフィールド顕微鏡またはライトシート顕微鏡である。

【0036】

対物レンズ１０８は、捕捉された検出光を、検出光路１１０に沿ってビームスプリッタ装置１１２へ向かって配向する。ビームスプリッタ装置１１２は、検出光路１１０を第１のスペクトルチャネル１１４と第２のスペクトルチャネル１１６とに分割するように構成されている。第１のスペクトルチャネル１１４および第２のスペクトルチャネル１１６を形成するために、ビームスプリッタ装置１１２は、検出光をスペクトル的に、第１の波長スペクトルを有する第１の光と第２の波長スペクトルを有する第２の光とに分離する。さらに、ビームスプリッタ装置１１２は、対物レンズ１０８を介して励起光１０６を試料１０２へ配向するように構成可能である。ビームスプリッタ装置１１２は、複数の光学素子、例えばプリズム、ビームスプリッタ、特にダイクロイック素子およびミラーを含むことができる。

【0037】

第１の検出器アレイ１１８、例えばＣＭＯＳ素子が、第１のスペクトルチャネル１１４内に配置されている。第１の検出器アレイ１１８は、第１の波長スペクトルにおいて試料１０２の第１の２Ｄ画像を捕捉するように構成されている。第２の検出器アレイ１２０は、第２のスペクトルチャネル１１６内に配置されている。第２の検出器アレイ１２０は、第２の波長スペクトルにおいて試料１０２の第２の２Ｄ画像を捕捉するように構成されている。第１の検出器アレイ１１８および第２の検出器アレイ１２０は、機械的接続素子を構成する単一のベースプレート１２２に取り付けることができる。

【0038】

この特定の実施形態では、ベースプレート１２２は、約２０ｃｍ～３０ｃｍの幅を有するのに対し、検出器アレイ１１８，１２０の単一のピクセルは、約３．５μｍの幅を有する。したがって、通常の顕微鏡動作の温度範囲内でのベースプレート１２２の熱膨張は、単一のピクセルを測定されうる程度にシフトさせ、これによりドリフトが生じる。したがって、顕微鏡システム１００は、ベースプレート１２２に配置された温度センサ１２４を備える。温度センサ１２４は、ベースプレート１２２の温度および／またはベースプレート１２２および検出器アレイ１１８，１２０の設置空間１２６の温度を測定するように構成されている。

【0039】

顕微鏡システム１００はさらに、顕微鏡システム１００の全体的な動作を制御するように構成されたプロセッサ１２８を含んでいる。プロセッサ１２８はメモリ素子１３０を含んでおり、第１の検出器アレイ１１８および第２の検出器アレイ１２０、温度センサ１２４、ならびに励起光源１０４に接続されている。

【0040】

プロセッサ１２８はさらに、第１の検出器アレイ１１８および第２の検出器アレイ１２０により捕捉された第１の画像および第２の画像を受信し、これらの画像の位置合わせを行うように構成されている。第１の粗位置合わせは、メモリ素子１３０に記憶されている粗変換に基づいて行うことができる。粗変換は、例えば製造中に決定される。第１の画像と第２の画像との間の空間相関に基づいて、第２のより微細な位置合わせを行うことができる。

【0041】

空間相関は、プロセッサ１２８によって第１の画像および第２の画像に基づいて決定される。特に、第１の画像および第２の画像を共通の座標系に変換するための、すなわち第１の画像と第２の画像とを位置合わせするための微変換は、空間相関に基づいてプロセッサ１２８により決定される。空間相関およびこれに基づく微変換は、第１の画像および第２の画像のそれぞれの捕捉のたびに決定される。代替的に、空間相関およびこれに基づく微変換は、ユーザ入力によって予め定められたまたは設定されたスケジュールに従って、または温度センサ１２４からのセンサ入力に従って、決定されてもよい。微変換が捕捉のたびに決定されない場合、後続の画像位置合わせでの使用のために、微変換はメモリ素子１３０に記憶される。第１の画像と第２の画像との画像位置合わせは、以下で、図２に関連してより詳細に説明される。

【0042】

プロセッサ１２８または別のプロセッサはまた、第１の画像および第２の画像のスペクトル分解を実行して、画像の個々のピクセルのスペクトルを、試料１０２内の蛍光体の発光スペクトルに対応する成分スペクトルに分解するように構成されている。

【0043】

さらに、プロセッサ１２８または別のプロセッサは、歪補正画像を生成するために、第１の画像および第２の画像における光学歪を補正するように構成されている。光学歪は、実際の光学系、例えば対物レンズ１０８およびビームスプリッタ装置１１２から成る顕微鏡システム１００の光学系の不完全な性質および製造公差によるものである。プロセッサ１２８は、メモリ素子１３０に記憶されている光学パラメータに基づいて、これらの光学歪を補正する。これらの光学パラメータは、光学シミュレーションによって、かつ／または顕微鏡システム１００の製造中の測定によって決定される。

【0044】

図２は、図１に関連して説明したマルチスペクトル顕微鏡システム１００によって画像を位置合わせするための方法のフローチャートである。

【0045】

ステップＳ１では、第１の画像および第２の画像が、第１の検出器アレイ１１８および第２の検出器アレイ１２０によって捕捉される。対応する画像データが、プロセッサ１２８に送信される。ステップＳ２では、プロセッサ１２８が、メモリ素子１３０に記憶されている光学パラメータに基づいて、第１の画像および第２の画像における光学歪を補正する。特に、プロセッサ１２８は、第１の歪補正画像を生成するために第１の画像内の第１の光学歪を補正し、第２の歪補正画像を生成するために第２の画像内の第２の光学歪を補正する。その後、ステップＳ３において、プロセッサ１２８は、第１の歪補正画像および第２の歪補正画像を共通の座標系において粗位置合わせするために、メモリ素子１３０に記憶されている粗変換に基づいて、第１の粗画像位置合わせを実行する。ステップＳ４では、第１の歪補正画像と第２の歪補正画像との間の空間相関が、プロセッサ１２８により決定される。

【0046】

特に、空間相関は、第１の歪補正画像と第２の歪補正画像との間の位相相関であってよい。位相相関は、第１の歪補正画像と第２の歪補正画像とを関連付ける平行移動量を決定するために使用される。平行移動は、各補正画像を共通の座標系へと変換する微変換を表している。換言すれば、位相関係から決定された微調整を使用して、第１の歪補正画像および第２の歪補正画像を共通の座標系において微調整することができる。なお、空間相関はまた、任意の相互相関、相互情報、あるいは第１の画像および第２の画像および／または第１の歪補正画像および第２の歪補正画像に含まれる情報の相互依存性を測定することで得られる他の観測量であってもよい。これらの観測量から、第１の画像および第２の画像および／または第１の歪補正画像および第２の歪補正画像を共通の座標系へ変換するための複数の微変換を決定することができる。いずれの場合も、次いで、得られた微変換がメモリ素子１３０に記憶される。ステップＳ３およびＳ４は、任意の順序で実行されてよく、または並行して実施されてもよい。

【0047】

ステップＳ５では、メモリ素子１３０に記憶されている微変換を使用して、第１の歪補正画像と第２の歪補正画像との微位置合わせが行われる。これにより、試料１０２についての位置合わせされたマルチスペクトル画像が得られる。次いで、試料１０２の後続のマルチスペクトル画像を生成するために、ステップＳ１～Ｓ５が繰り返される。

【0048】

方法の後続の反復において、ステップＳ４は省略されてもよい。ステップＳ４が行われるかどうかはスケジュールによって決定することができ、すなわち、ステップＳ４が最後に行われてから所定の期間が経過した場合にのみ当該ステップＳ４が行われる。これにより、顕微鏡システム１００の状態が大幅に変化してさらなる調整が必要となるインターバルが経過した場合にのみ、空間相関および微変換が計算されることが保証される。代替的にもしくは付加的に、ステップＳ４が行われるかどうかは、温度センサ１２４からのセンサ入力によって決定されてもよい。このために、微変換が決定されるたびに、センサ入力、すなわちベースプレート１２２および／または設置空間１２６の温度が、メモリ素子１３０に記憶される。メモリ素子１３０に記憶されている温度から測定された温度が大きく変化したと判定された場合にはつねに、ステップＳ４を行うフラグがセットされる。したがって、空間相関および微変換は、必要な場合にのみ計算される。

【0049】

上述したマルチスペクトル顕微鏡１００の実施形態は２つの検出器アレイ１１８，１２０しか含んでいないが、マルチスペクトル顕微鏡システム１００が任意の数の付加的な検出器アレイを含んでいてよいことに留意されたい。各付加的な検出器素子は、付加的なスペクトルチャネルにおける試料の付加的な画像を捕捉するように構成されている。同様に、この方法は、例えば、画像の対ごとにステップＳ２～Ｓ５を実行することにより、３つ以上の画像を位置合わせするためにも容易に適応化可能である。

【0050】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0051】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【符号の説明】

【0052】

１００ 顕微鏡システム
１０２ 試料
１０４ 光源
１０６ 光
１０８ 対物レンズ
１１０ 光路
１１２ ビームスプリッタ装置
１１４，１１６ スペクトルチャネル
１１８，１２０ 検出器素子
１２２ 機械的接続素子
１２４ センサ
１２６ 設置空間
１２８ プロセッサ
１３０ メモリ素子

【図1】

【図2】

【外国語明細書】