(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-05
(54)【発明の名称】自動サンプル分析における表面の検知
(51)【国際特許分類】
G02B 21/06 20060101AFI20241128BHJP
G01N 33/48 20060101ALI20241128BHJP
G01N 21/64 20060101ALN20241128BHJP
G01N 33/483 20060101ALN20241128BHJP
【FI】
G02B21/06
G01N33/48 M
G01N21/64 E
G01N33/483 C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024534372
(86)(22)【出願日】2022-12-12
(85)【翻訳文提出日】2024-08-06
(86)【国際出願番号】 US2022052531
(87)【国際公開番号】W WO2023107734
(87)【国際公開日】2023-06-15
(32)【優先日】2021-12-10
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520428650
【氏名又は名称】アコヤ・バイオサイエンシズ・インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ピーター・ジェイ・ミラー
(72)【発明者】
【氏名】カーラ・コルサープ
【テーマコード(参考)】
2G043
2G045
2H052
【Fターム(参考)】
2G043AA04
2G043BA16
2G043CA07
2G043EA01
2G043FA01
2G043FA02
2G043GA02
2G043GA07
2G043GB01
2G043HA09
2G043LA03
2G045AA24
2G045CB01
2G045FA16
2G045GC10
2H052AA09
2H052AC14
2H052AC34
2H052AD09
2H052AF14
2H052AF25
(57)【要約】
方法は、光変調器を使用して変調光パターンを生成するステップと、対物レンズを介して変調光パターンを基板の表面に伝達するステップであって、対物レンズが物体面を画定する、伝達するステップと、基板の表面から反射された変調光パターンの複数の画像を取得するステップであって、各変調光パターンが、対物レンズと基板表面との間の異なる相対距離で取得される、取得するステップと、物体面において対物レンズによって形成される変調光パターンの画像の位置に対応する対物レンズに対する基板表面の基準位置を決定するために、複数の画像を分析するステップと、基準位置に基づいて、対物レンズに対する基板の位置を調整するステップとを含む。
【特許請求の範囲】
【請求項1】
光変調器を使用して変調光パターンを生成するステップと、
物体面を画定する対物レンズを介して前記変調光パターンを基板の表面に伝達するステップと、
前記基板の表面から反射された前記変調光パターンの複数の画像を取得するステップであって、各画像が、前記対物レンズと前記基板の表面との間の異なる相対距離で取得される、ステップと、
前記物体面において前記対物レンズによって形成される前記変調光パターンの画像の位置に対応する前記対物レンズに対する前記基板の表面の基準位置を決定するために、前記複数の画像を分析するステップと、
前記基準位置に基づいて、前記対物レンズに対する前記基板の位置を調整するステップと、を含む方法。
【請求項2】
前記基板が、生物学的サンプルの上に重ねられたカバースリップを含む、請求項1に記載の方法。
【請求項3】
前記基板が、生物学的サンプルを支持するスライドを含む、請求項1に記載の方法。
【請求項4】
前記生物学的サンプルが組織切片を含む、請求項2に記載の方法。
【請求項5】
前記変調光パターンを生成するステップが、照明光を生成するステップと、前記光変調器を介して前記照明光を伝達するステップとを含む、請求項1に記載の方法。
【請求項6】
前記光変調器が受動変調器である、請求項1に記載の方法。
【請求項7】
前記光変調器が能動変調器である、請求項1に記載の方法。
【請求項8】
前記受動変調器がレチクルを含む、請求項6に記載の方法。
【請求項9】
前記複数の画像の各々が、前記物体面と共役な画像面に配置された検出器によって取得される、請求項1に記載の方法。
【請求項10】
前記対物レンズが無限共役対物レンズである、請求項1に記載の方法。
【請求項11】
前記複数の画像を分析するステップが、前記複数の画像のうち、前記変調光パターンが最適な焦点にある画像を識別するステップを含む、請求項1に記載の方法。
【請求項12】
前記基準位置を決定するステップが、前記識別された画像が取得された前記対物レンズに対する前記基板の表面の位置を前記基準位置として識別するステップを含む、請求項11に記載の方法。
【請求項13】
前記複数の画像を分析するステップが、前記複数の画像のうち、前記変調光パターンが最適な焦点にある2つ以上の画像を識別するステップを含み、前記基準位置を決定するステップが、前記識別された画像が取得された前記対物レンズに対する前記基板の表面の位置同士の間を補間するステップを含む、請求項1に記載の方法。
【請求項14】
前記基板の位置を調整するステップが、前記基板の下または上に配置された生物学的サンプルが前記物体面に位置するように前記基板の位置を調整するステップを含む、請求項1に記載の方法。
【請求項15】
前記生物学的サンプルが前記物体面に位置する状態で前記生物学的サンプルの1つまたは複数の画像を取得するステップをさらに含む請求項14に記載の方法。
【請求項16】
照明光源と、
対物レンズと、
光変調器と、
検出器と、
ステージと、
前記照明光源、前記検出器、および前記ステージに接続されたコントローラと、を備えるシステムであって、
前記対物レンズが、前記システムの物体面を画定し、
前記コントローラが、
前記照明光源を起動して照明光を生成し、前記照明光を前記光変調器に向けて変調光パターンを生成し、
前記ステージを起動して、基板の表面を前記対物レンズに対して複数の異なる距離で前記ステージ上に配置し、
前記検出器を起動して、前記検出器において前記複数の異なる距離の各々に対応する前記変調光パターンの複数の画像を取得し、
前記物体面において前記対物レンズによって形成される前記変調光パターンの画像の位置に対応する前記対物レンズに対する前記基板の表面の基準位置を決定するために、前記複数の画像を分析し、
前記ステージを起動して、前記基準位置に基づいて、前記対物レンズに対する前記基板の位置を調整するように構成されている、システム。
【請求項17】
前記基板が、生物学的サンプルの上に重ねられたカバースリップを含む、請求項16に記載のシステム。
【請求項18】
前記基板が、生物学的サンプルを支持するスライドを含む、請求項16に記載のシステム。
【請求項19】
前記生物学的サンプルが組織切片を含む、請求項17に記載のシステム。
【請求項20】
前記光変調器が受動変調器である、請求項16に記載のシステム。
【請求項21】
前記光変調器が能動変調器である、請求項16に記載のシステム。
【請求項22】
前記受動変調器がレチクルを含む、請求項20に記載のシステム。
【請求項23】
前記検出器が前記システムの画像面に配置されている、請求項16に記載のシステム。
【請求項24】
前記画像面が前記物体面と共役である、請求項23に記載のシステム。
【請求項25】
前記対物レンズが無限共役対物レンズである、請求項16に記載のシステム。
【請求項26】
前記コントローラが、前記複数の画像のうち、前記変調光パターンが最適な焦点にある画像を識別することによって、前記複数の画像を分析するように構成されている、請求項16に記載のシステム。
【請求項27】
前記コントローラが、前記基準位置を、前記識別された画像が取得された前記対物レンズに対する前記基板の表面の位置として決定するように構成されている、請求項26に記載のシステム。
【請求項28】
前記コントローラが、前記複数の画像のうち、前記変調光パターンが最適な焦点にある2つ以上の画像を識別することによって前記複数の画像を分析し、前記識別された画像が取得された前記対物レンズに対する前記基板の表面の位置同士の間を補間することによって前記基準位置を決定するように構成されている、請求項16に記載のシステム。
【請求項29】
前記コントローラが、前記ステージを起動して、前記基板の下または上に配置された生物学的サンプルが前記物体面に位置するように前記基板の前記位置を調整するように構成されている、請求項16に記載のシステム。
【請求項30】
前記コントローラが、前記検出器を起動して、前記生物学的サンプルが前記物体面に位置する状態で前記生物学的サンプルの1つまたは複数の画像を取得するように構成されている、請求項29に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2021年12月10日に出願された米国仮特許出願第63/288515号の優先権を主張し、その内容全体が参照により本明細書に組み込まれる。
【0002】
本開示は、光学顕微鏡、自動サンプル処理およびイメージングシステム、ならびにマウントされたサンプルの検知に関する。
【背景技術】
【0003】
自動スライドスキャニングシステムは、マウントされたサンプルの分析に使用される。特に、そのようなシステムは、サンプルの画像をデジタル化し、アーカイブし、共有するために使用される。デジタル画像を取得し、記憶することによって、技術者(または自動分析システム)によって画像が取り出され、分析されて、サンプルの等級付けまたは分類を行ったり、特定のサンプルに特有の病状を特定したりすることができる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Bray et al., J. Biomol. Screen 17(2): p. 266-274 (2012)
【発明の概要】
【課題を解決するための手段】
【0005】
本開示は、光学顕微鏡において表面を検知するための方法およびシステム、そのような顕微鏡を特徴とする自動スライドスキャニングシステム、および他の光学検査システムを特徴とする。たとえば、スライドスキャニングシステムでは、サンプル(たとえば、組織サンプル)は通常、顕微鏡スライドの表面に固定され、マウントされたサンプルの上にカバースリップが適用される。自動スライドスキャニングシステムは、スライドの表面上のサンプルの位置を特定しようとする。サンプルのイメージングに使用される光学顕微鏡システムの物体面に対するカバースリップ表面の位置を決定することは、検索プロセスの複雑さ(すなわち次元数)を減らすのに役立つので、このプロセスにおける重要な最初のステップである。
【0006】
本明細書で開示される方法およびシステムは、通常、サンプルの画像が取得される前に実行される。したがって、方法およびシステムは、まずカバースリップの位置を決定し、次いでサンプルの画像を取得するために、光学経路およびイメージングコンポーネントを効果的に「再利用」する。「距離測定」専用の第2のイメージングシステムを含む他のシステムと比較して、本明細書で開示するシステムは、それほど複雑ではなく、典型的には、コンポーネントがより少ない。さらに、サンプルのイメージング前にカバースリップの位置および/または向きが決定されるので、イメージングシステムの物体面に対するカバースリップの位置を決定するためにイメージング中に反復することなく、高品質の画像を取得することができる。
【0007】
カバースリップとイメージングシステムの物体面との相対位置を決定するために、光の2次元パターンをカバースリップの表面に投影し、カバースリップ表面から反射された光パターンの画像を分析して、イメージングシステムの物体面に対するカバースリップの位置を決定する。パターン生成光学素子とイメージングシステムの物体面との間の異なる距離に対応するパターンの画像を取得し、画像を分析することによって、カバースリップと物体面との相対位置を決定することができる。
【0008】
このようにしてカバースリップの位置を測定すると、いくつかの重要な利点を得ることができる。カバースリップの表面を正確に位置特定することによって、対象組織を位置特定するためのその後のスキャン操作をより迅速かつ正確に行うことができ、イメージング/処理時間の短縮につながる。これは、蛍光モードで撮像されるサンプルの場合、組織を見つけるのに時間がかかり、カバースリップおよびスライド表面のほこりおよび他の破片に起因するイメージングアーティファクトが混在する傾向があるため、特に重要であり得る。これらの方法は、カバースリップ表面上の複数の場所で実行することができ、カバースリップ表面(すなわち、表面の高さ)がそのサンプルの全体にわたって変化しているかどうかを判定することができ、次いで、適切な補正を適用することで、その後のスライドスキャン中にカバースリップ表面の形状が考慮され、対象の組織の位置特定を確実に実行することができる。これらの方法は迅速に実行でき、カバースリップ表面の検知はサンプルの性質に依存しない(名目上、影響を受けない)。したがって、表面の位置を特定するプロセスは、サンプルを形成する組織または他の材料に依存せず、完全に自動化された方法で実行することができる。
【0009】
一態様では、本開示は、光変調器を使用して変調光パターンを生成するステップと、対物レンズを介して変調光パターンを基板の表面に伝達するステップであって、対物レンズが物体面を画定する、伝達するステップと、基板の表面から反射された変調光パターンの複数の画像を取得するステップであって、各変調光パターンが、対物レンズと基板表面との間の異なる相対距離で取得される、取得するステップと、物体面において対物レンズによって形成される変調光パターンの画像の位置に対応する対物レンズに対する基板表面の基準位置を決定するために、複数の画像を分析するステップと、基準位置に基づいて、対物レンズに対する基板の位置を調整するステップとを含む方法を特徴とする。
【0010】
方法の実施形態は、以下の特徴のうちの任意の1つまたは複数を含むことができる。
【0011】
基板は、生物学的サンプルの上に重ねられたカバースリップを含むことができる。基板は、生物学的サンプルを支持するスライドを含むことができる。生物学的サンプルは組織切片を含むことができる。
【0012】
変調光パターンを生成するステップは、照明光を生成するステップと、光変調器を介して照明光を伝達するステップとを含むことができる。光変調器は、受動変調器とすることができる。光変調器は、能動変調器とすることができる。受動変調器は、レチクルを含むことができる。
【0013】
複数の画像の各々は、物体面と共役な画像面に配置された検出器によって取得することができる。対物レンズは、無限共役対物レンズとすることができる。
【0014】
複数の画像を分析するステップは、複数の画像のうち、変調光パターンが最適な焦点にある画像を識別するステップを含むことができる。基準位置を決定するステップは、対物レンズに対する基板表面の、識別された画像が取得された位置を基準位置として識別するステップを含むことができる。
【0015】
複数の画像を分析するステップは、複数の画像のうち、変調光パターンが最適な焦点にある2つ以上の画像を識別するステップを含むことができ、基準位置を決定するステップは、対物レンズに対する基板表面の、識別された画像が取得された位置同士の間を補間するステップを含むことができる。
【0016】
基板の位置を調整するステップは、基板の下または上に配置された生物学的サンプルが物体面に位置するように基板の位置を調整するステップを含むことができる。
【0017】
方法は、生物学的サンプルが物体面に位置する状態で生物学的サンプルの1つまたは複数の画像を取得するステップを含むことができる。
【0018】
方法の実施形態は、明示的に別段の記載がある場合を除き、異なる実施形態に関連して個々に記載される特徴の組合せを含む、本明細書に記載される他の特徴のうちの任意のものを含むこともできる。
【0019】
別の態様では、本開示は、照明光源と、対物レンズと、光変調器と、検出器と、ステージと、照明光源、検出器、およびステージに接続されたコントローラとを含むシステムを特徴とし、対物レンズは、システムの物体面を画定し、コントローラは、照明光源を起動して照明光を生成し、照明光を光変調器に向けて変調光パターンを生成し、ステージを起動して、基板の表面を対物レンズに対して複数の異なる距離でステージ上に配置し、検出器を起動して、検出器において複数の異なる距離の各々に対応する変調光パターンの画像を取得し、物体面において対物レンズによって形成される変調光パターンの画像の位置に対応する対物レンズに対する基板表面の基準位置を決定するために、複数の画像を分析し、ステージを起動して、基準位置に基づいて、対物レンズに対する基板の位置を調整するように構成される。
【0020】
システムの実施形態は、以下の特徴のうちの任意の1つまたは複数を含むことができる。
【0021】
基板は、生物学的サンプルの上に重ねられたカバースリップを含むことができる。基板は、生物学的サンプルを支持するスライドを含むことができる。生物学的サンプルは組織切片を含むことができる。
【0022】
光変調器は、受動変調器とすることができる。光変調器は、能動変調器とすることができる。受動変調器は、レチクルとすることができる。
【0023】
検出器は、システムの画像面に配置することができる。画像面は、物体面と共役であり得る。対物レンズは、無限共役対物レンズとすることができる。
【0024】
コントローラは、画像のうち、変調光パターンが最適な焦点にある画像を識別することによって、画像を分析するように構成され得る。コントローラは、基準位置を、対物レンズに対する基板表面の、識別された画像が取得された位置として決定するように構成され得る。
【0025】
コントローラは、画像のうち、変調光パターンが最適な焦点にある2つ以上の画像を識別することによって画像を分析し、対物レンズに対する基板表面の、識別された画像が取得された位置同士の間を補間することによって基準位置を決定するように構成され得る。
【0026】
コントローラは、ステージを起動して、基板の下または上に配置された生物学的サンプルが物体面に位置するように基板の位置を調整するように構成され得る。コントローラは、検出器を起動して、生物学的サンプルが物体面に位置する状態で生物学的サンプルの1つまたは複数の画像を取得するように構成され得る。
【0027】
システムの実施形態は、明示的に別段の記載がある場合を除き、異なる実施形態に関連して個々に記載される特徴の組合せを含む、本明細書に記載される他の特徴のうちの任意のものを含むこともできる。
【0028】
本明細書で使用される「カバースリップ」とは、顕微鏡スライドまたは他の支持体に取り付けられるか、または固定されたサンプル(たとえば、組織および/または他の生物学的材料)の上に使用される部材である。カバースリップは、限定はされないが、ガラス、プラスチック、ポリマー、石英、他の透明および半透明の材料を含む多種多様な材料から形成することができる。一般に、カバースリップは、1つまたは複数の光の波長において半透明または不透明であり得、入射光を少なくとも部分的に反射する。
【0029】
別段に定義されない限り、本明細書で使用されるすべての技術的および科学的用語は、本開示が属する従来技術の当業者によって一般的に理解されるのと同じ意味を有する。本明細書に記載されたものと類似または同等の方法および材料を、本開示の主題の実施または試験において使用され得るが、適切な方法および材料を以下に記載する。本明細書で言及されるすべての刊行物、特許出願、特許および他の文献は、参照によりその全体が組み込まれる。矛盾する場合、定義を含めて、本明細書が優先する。加えて、材料、方法、および例は、例示にすぎず、限定を意図するものではない。
【0030】
一般に、本明細書および特許請求の範囲に記載されている方法ステップは、明示的に禁止されている場合または論理的に矛盾する場合を除き、任意の順序で実行することができる。特定の順序でのステップの記述は、そのようなステップを記述された順序で実行する必要があることを意味しないことに留意されたい。さらに、識別子によるステップのラベル付けは、ステップに順序を強制するものではなく、またはステップを特定の順序で実行する必要があることを意味するものではない。逆に、本明細書に開示されたステップは、特に断りのない限り、一般に任意の順序で実行することができる。
【0031】
1つまたは複数の実施形態の詳細は、添付の図面および以下の説明に記載される。他の特徴および利点は、説明、図面、ならびに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0032】
【
図2】いくつかの追加要素が置き換えられた、
図1の光学顕微鏡システムの概略図である。
【
図3】
図1の光学顕微鏡システムの較正を行うための例示的なステップのセットを示すフローチャートである。
【発明を実施するための形態】
【0033】
様々な図面における同様の参照符号は、同様の要素を示す。
【0034】
導入
自動光学顕微鏡およびスライドスキャニングシステムは通常、スライド上の対象組織の位置特定を行い、詳細な組織画像を取得して分析して、様々な定性的および定量的情報を抽出し、組織の分類を可能にすることによって、スライドにマウントされたサンプルの分析を行う。対象組織の位置特定を行うことは、一般に、組織を見つけることと、顕微鏡イメージングシステムの物体面に対する組織の位置を決定することの両方を伴う。
【0035】
明視野イメージングモード(たとえば、吸収モードまたは透過モード)で撮像されるスライドにマウントされたサンプルの場合、組織がシステムの物体面に位置していなくても、適度な焦点深度で比較的容易に対象組織の位置特定を行うことができる。ひとたび組織がスライドの平面に配置されると、システムの物体面からの組織の変位は、スライドの公称表面に直交する異なる「高さ」(すなわち、物体面位置)での焦点の合った測定値間の補間などの方法を使用して、簡単な方法で決定することができる。
【0036】
しかしながら、蛍光発光のような暗視野イメージングモードで準備され、撮像されるサンプルでは、対象組織の位置特定を行うことがより困難になる可能性がある。これらのイメージングモードでは、光イメージング信号が比較的弱いため、組織の範囲の位置特定を行うことが難しくなる可能性がある。したがって、サンプルのイメージング中に積分時間が短すぎる場合、組織の位置特定を正確に行うのに十分な光強度が収集されない。逆に、積分時間が長すぎる場合、収集された光強度によって検出器が飽和する可能性がある。
【0037】
したがって、暗視野イメージングモードでの対象組織の位置特定は、3つの空間座標(たとえば、x、y、z次元)だけでなく、スペクトル座標(すなわち、照明または検出の波長)および時間座標の探索を伴う、複雑な5次元問題である。スペクトル座標に沿って、対象組織は、照明または検出の選択された波長で測定可能な信号を提供する染料または染色で均一に染色されない場合がある。時間座標に沿って、上述したように、サンプルの露光不足は弱いまたは測定不能な信号をもたらし、露光過剰は検出器を飽和させる可能性がある。
【0038】
さらに、サンプルおよび/または他の表面(たとえば、スライドやカバースリップの表面)上のほこり、過剰な蛍光色素、および他の破片に起因するイメージングアーティファクトによる混在効果は、通常、暗視野画像化モードではより大きくなり、特にほこりは、いくつかの波長で強く蛍光を発し、下層の組織を不明瞭にし、位置特定を困難にする。ほこりは必ずしもサンプルと同一平面上にあるとは限らず、カバースリップ表面および/またはスライド表面上に存在する可能性があるので、ほこりをサンプルと誤認するような戦略は誤った結果をもたらす可能性がある。
【0039】
サンプルの高さおよびスライドのプロファイルによっても、ある程度のばらつきが生じる。一般にサンプルの高さは不規則であり、したがって、サンプルの上面(すなわち、対物レンズに最も近い表面)は、サンプルごとに物体面に対して一貫して配置されるわけではない。
【0040】
さらに、個々のスライドの厚さは様々であり得る。たとえば、個々の顕微鏡スライドの公称厚さは約1mmであるが、実際には0.9mmから1.1mmの間の厚さである可能性があり、したがって、厚さのばらつきは、スライド上のサンプルの厚さと同じかそれ以上になる可能性がある。
【0041】
加えて、個々のスライドは、イメージングシステムの支持構造(たとえば、顕微鏡ステージ)に対して常に完全に位置合わせされているとは限らない。支持構造に対するスライドの位置のスライド間変動は、システムの物体面に対するスライドの位置の変動ももたらす。
【0042】
通常、サンプル(たとえば、組織または他の生物学的サンプル)は、スライドの表面にマウントまたは固定され、次いで、マウントされたサンプルの上にカバースリップが適用される。このようにしてサンプルの上に使用されるカバースリップは、比較的均一な厚さである。したがって、システムの物体面に対するサンプルの位置は、物体面に対するカバースリップの位置、より具体的には、カバースリップの上面(すなわち、サンプルに接触する表面とは反対側の表面)の位置を測定することによって決定することができる。
【0043】
したがって、例示の目的で、以下の議論は、システムの物体面に対するカバースリップの上面(単に「カバースリップの表面」と呼ばれる)の位置を決定するための方法およびシステムに焦点を当てる。しかしながら、本明細書に開示された方法およびシステムは、物体面に対する他の表面の位置を決定するためにも適用され得ることを理解されたい。たとえば、サンプルがマイクロ流体基板(すなわち、チップ)のチャネルを流れるか、またはチャネルに配置される場合、本明細書に開示される方法およびシステムは、マイクロ流体基板の表面の位置を決定するために使用することができる。したがって、以下の議論は説明のために提供されており、カバースリップの表面の位置を決定することのみに限定されるものではないことを理解されたい。
【0044】
いくつかの代替的な表面位置特定方法では、表面位置特定光と撮像光とのために別々の光学経路を伴う複雑な光学系が使用される。各経路に別々の光学コンポーネントが使用されている。いくつかの方法では、傾斜した検出器(すなわち、表面位置特定光の伝播方向に対して傾斜した)を伴う、通常とは異なる検出ジオメトリが採用される。加えて、いくつかの方法では、表面が同時に撮像されながら表面のリアルタイムのモニタリングを伴い、理想的なイメージング条件からの逸脱を迅速かつ高解像度で検出する必要がある。したがって、これらのシステムは、コストがかかり、複雑で、コンポーネントの数が相対的に多くなる傾向がある。
【0045】
対照的に、本明細書に開示された方法およびシステムは、顕微鏡システムの光学撮像経路を効果的に再利用して、システムの物体面に対するサンプルの位置を特定し、次いでサンプルが適切に配置されると、そのサンプルを撮像する。すなわち、サンプルの位置特定およびサンプルのイメージングは、同時ではなく、時間的に順次行われる。システムのほぼすべての光学コンポーネントが両方の機能に使用されるので、光学構成の複雑さは従来のシステムに比べて大幅に軽減される。
【0046】
光学顕微鏡システム
一般に、本明細書に開示された方法は、スライドにマウントされたサンプルがシステムに導入された後、アーカイブおよび分析のためにサンプルの高倍率画像が取得される前に実施される。たとえばデジタル病理学などの高倍率のサンプルイメージングは、まずイメージングシステムの物体面に対する撮像されるサンプルの位置特定を行うことによって、大いに助けられる。以下でより詳しく説明するように、まず、比較的低い光学出力でカバースリップ表面に2次元光パターンを向けることによって、マウントされたサンプルの上にあるカバースリップの表面の位置特定が行われる。カバースリップの表面からの反射パターンの画像から、システムオフセットが計算され、サンプルがシステムの物体面またはその近くに位置するように(すなわち、サンプルがシステムの物体面の20μm以内、たとえば物体面の10μm以内、または5μm以内の場所に位置するように)、サンプルに適用される。
【0047】
次いで、サンプルは物体面に平行な平面で並進移動され、スライド表面上で対象組織を見つけやすくするために撮像される。この段階でのサンプルのイメージングは、低光出力(カバースリップの位置を決定する場合)または高光出力で行うことができる。サンプル画像は、対象組織を識別するために分析され、3つの座標方向すべてに沿った組織座標が記憶される。
【0048】
詳細で高解像度のサンプル画像を取得する前に、システムはオプションで微調整焦点調整手順を行うことができる。この手順では、システムはサンプル上のいくつかの異なる場所で最適な焦点位置を決定し、それによって、その後の高解像度イメージングのための焦点マップを構築することができる。
【0049】
次いで、システムは、まだ交換していない場合、低倍率対物レンズを高倍率対物レンズに交換した後、同じ光学コンポーネントを再利用して、デジタル病理学で使用するために識別された対象組織の高解像度画像を取得する。前述の各ステップは、検出器の位置または向きを調整することなく、サンプルとの間の同じ光学経路に沿って繰り返され、システムの光学コンポーネントに対する調整も比較的少ない。このようにしてシステムコンポーネントおよび経路を再利用することによって、サンプルはイメージングのためにシステムの物体面内に確実に配置され、同時に従来の表面検出システムに比べてシステムの複雑さを大幅に軽減することができる。
【0050】
したがって、サンプルを物体面に対して位置特定し、配置するステップ、物体面に平行な平面内の異なる位置で対象組織を見つけるステップ、対象組織を見つけ適切に配置すると、その高倍率画像を取得するステップは、すべて時間的に順次実行される。これらの操作の順次性により、イメージングシステムの様々なコンポーネントを、ステップ間でシステムをほとんど再構成することなく、異なる時点で異なる目的で使用することができる。さらに、操作は時間的に順次実行されるが、物体面内でサンプルを位置特定して配置するステップ、および対象組織を見つけるステップは、比較的迅速に実行することができるので、操作が順次的であるにもかかわらず、良好なイメージング条件下で、高解像度のサンプル画像を比較的迅速に取得することができる。
【0051】
図1は、光学顕微鏡システム100の一例の概略図を示す。システム100はスタンドアローンの顕微鏡システムとすることもでき、または自動スライドスキャニングシステムのような大型システムに組み込むこともできる。システム100は、照明光源102、対物レンズ104、励起フィルタアセンブリ152、ビームスプリッタアセンブリ154、発光フィルタアセンブリ156、ステージ114、撮像レンズ118、検出器120、およびコントローラ122を含む。励起フィルタアセンブリ152、ビームスプリッタアセンブリ154、発光フィルタアセンブリ156、ステージ114、および検出器120は、コントローラ122に電気的に接続され、コントローラ122と通信する。コントローラ122は、表示インターフェース124、入力インターフェース126、および1つまたは複数の電子プロセッサ128を含む。
【0052】
ステージ114はサンプル10を支持し、サンプル10は通常、基板上にマウントされた検体を含み、検体が基板とカバースリップとの間に挟まれるようにカバースリップが検体の上に配置されている。
【0053】
システム100がサンプル10の画像を取得するように構成される動作中、照明光源102は、
図1に示す矩形座標系のz方向に沿って伝搬し、対物レンズ104を通過して、励起フィルタアセンブリ152に入射する照明光130を生成する。励起フィルタアセンブリは、1つまたは複数の励起フィルタ106を含み、コントローラ122は、適切な制御信号を励起フィルタアセンブリ152に送信することによって、照明光130の経路内に所望の励起フィルタ106またはフィルタ106の組合せを選択的に配置し、フィルタリングされた光132を生成することができる。励起フィルタまたは励起フィルタの組合せの使用はオプションであり、いくつかの実施形態では、照明光130はいかなる励起フィルタも通過しないことに留意されたい。そのため、「フィルタリングされた光132」は、1つまたは複数の励起フィルタ106を通過した照明光130、あるいは、対物レンズ104とビームスプリッタアセンブリ154との間の領域を通過した(オプションで光学ウィンドウなど他の光学素子を通過した可能性がある)照明光130のいずれかを指すと理解することができる。
【0054】
フィルタリングされた光132は、ビームスプリッタアセンブリ154に入射する。ビームスプリッタアセンブリ154は、ダイクロイックビームスプリッタ110を含み、コントローラ122は、ビームスプリッタアセンブリ154に適切な制御信号を送信することによって、フィルタリングされた光132の経路内にダイクロイックビームスプリッタ110を選択的に配置することができる。サンプル10の画像を取得するためのシステム100の動作中、ダイクロイックビームスプリッタ110は通常、フィルタリングされた光132の経路に配置される。
【0055】
サンプル10の蛍光画像を取得するために、ダイクロイックビームスプリッタ110を通過した後、フィルタリングされた光132がサンプル10に入射する。一般に、フィルタリングされた光132は、サンプル中に存在する1つまたは複数の蛍光部分を励起する。蛍光部分は蛍光発光光134を生成し、その一部はダイクロイックビームスプリッタ110に向かって-z方向に伝播する。ダイクロイックビームスプリッタ110のスペクトル特性は、一般に、ダイクロイックビームスプリッタ110が特定の波長の光(たとえば、フィルタリングされた光132)を通過させ、他の波長帯域内の光(たとえば、蛍光発光光134)を反射するように選択される。その結果、蛍光発光光134はダイクロイックビームスプリッタ110によって反射され、発光フィルタアセンブリ156に入射する。
【0056】
オプションである発光フィルタアセンブリ156は、通常、1つまたは複数の発光フィルタ116を含む。コントローラ122は、一般に、蛍光発光光134の経路に配置される発光フィルタ116(または発光フィルタ116の組合せ)を選択することができる。1つまたは複数の発光フィルタ116は、通常、特定のスペクトル帯域または複数の帯域内の蛍光発光光134が検出器120に到達することを可能にし、蛍光発光光134および他の光(たとえば、迷光、フィルタリングされた光132)が検出器120に到達することを防止するために使用される。
【0057】
検出光136は、発光フィルタアセンブリ156から出射し、撮像レンズ118を通過し、画像面にサンプル10の画像を形成する。一般に、検出器120は、画像面またはその近傍に配置された検知要素(または複数の検知要素)を含み、検出光136を検出することによってサンプル10の画像をキャプチャする。画像は、フィルタリングされた光132が入射するサンプル10の領域に応じて、サンプル10の全体に対応することも、サンプル10の一部にのみ対応することもできる。一般に、サンプル10はシステム100の物体面またはその近傍に位置し、検出器120はシステム100の画像面またはその近傍に位置する。対物レンズ104、ダイクロイックビームスプリッタ110、および撮像レンズ118の複合効果は、システムの物体面からの光(たとえば、蛍光発光光134)をシステムの画像面に結像させることである。
【0058】
サンプル10内の検体の画像を取得するために、サンプルは、一般に、カバースリップ150の上面(すなわち、検体に面しておらず、対物レンズ104に面しているカバースリップの表面)がシステムの物体面zobjにあるように配置される。この構成では、システムの物体面は対物レンズ104からz方向に沿って距離fobjに配置され、fobjは対物レンズ104の公称焦点距離である。
【0059】
照明光源102は、白熱光源、蛍光光源、ダイオードベースの光源、レーザーベースの光源を含む、多種多様な異なる光源として実装することができる。照明光源102は、照明光130のスペクトル分布を調整するためのフィルタなどの波長変調要素を含むことができる。
【0060】
対物レンズ104は、単一レンズまたは複合レンズとすることができ、1つまたは複数の球面および/または非球面を含むことができる。
図1では透過レンズとして示されているが、対物レンズ104は反射レンズとして実装することもできる。いくつかの実施形態では、対物レンズ104は、無限補正レンズ、すなわち無限共役レンズであり得る。対物レンズ104は、単一レンズ要素を含むものであれ、複数レンズ要素を含むものであれ、システム100の投影対物レンズを効果的に形成する。
【0061】
撮像レンズ118は、単一レンズまたは複合レンズとすることができ、1つまたは複数の球面および/または非球面を含むことができる。撮像レンズ118は、
図1に示すように、透過レンズであってもよく、あるいは反射レンズであってもよい。特定の実施形態では、撮像レンズ118は、複数の透過要素および/または反射要素を含むチューブレンズとして実装することができる。
【0062】
上述した要素に加えて、システム100は、一般に、限定はされないが、レンズ、ミラー、ビームスプリッタ、フィルタ、偏光光学系、ウィンドウ、プリズム、および回折格子を含む、多種多様な他の光学素子も含むことができる。
【0063】
検出器120は、サンプル10(および/またはステージ114上に配置された物体)の画像をキャプチャする2次元イメージングセンサーを含む。検出器120に、多種多様なイメージングセンサーの任意の1つまたは複数を含めることができる。たとえば、検出器120は、CCDベースのセンサー、CMOSベースのセンサー、ダイオードベースのセンサー、および他のイメージングセンサーを含むことができる。
【0064】
コントローラ122は、検出器120によって取得された画像、ユーザインターフェース情報、動作パラメータ、および他の情報を表示することができる表示インターフェース124を含む。入力インターフェース126(表示インターフェース124の一部として実装することができる)は、システム100のユーザがコマンドを入力し、動作パラメータを設定し、システム構成を調整または選択し、システム100の動作の他の態様を制御することを可能にする。
【0065】
電子プロセッサ128(単一のプロセッサとして実装すること、または共通もしくは異なる機能を実行する複数のプロセッサとして実装することができる)は、様々な異なるシステム制御および計算機能を実行する。一般に、電子プロセッサ128を介して、コントローラ122は、本明細書に開示された構成、動作、イメージング、および分析ステップのいずれかを実行することができる。コントローラ122(および電子プロセッサ128)は、照明光源102、ステージ114、検出器120、励起フィルタアセンブリ152、ビームスプリッタアセンブリ154、および発光フィルタアセンブリ156に接続されている。
【0066】
コントローラ122は、光の強度、波長、偏光状態、空間強度プロファイルを含む、照明光130の様々な特性を調整するために、様々な制御信号を照明光源102に送信することができる。コントローラ122は、ステージ114をx方向、y方向、z方向の任意の1つまたは複数に並進移動させるための制御信号をステージ114に送信することができる。したがって、たとえば、z方向に沿った対物レンズ104とステージ114との間の相対距離を変更するために、コントローラ122は、ステージ114に制御信号を送信することができ、これによって、必要に応じて+z方向または-z方向にサンプル10を並進移動させる。
【0067】
本明細書での説明では、コントローラ122がステージ114に制御信号を送信してステージ114をz軸に平行な方向に並進移動させ、システムの物体面zobjに対するステージ144およびサンプル10の位置を調整することに留意されたい。いくつかの実施形態では、ステージ114を並進移動させることに加えて、またはその代わりに、対物レンズ104をz軸に平行な方向に並進移動させて、z軸に沿ってシステムの物体面の位置を調整することができる。実際には、対物レンズ104の位置を調整することによって、パターン化変調器108と対物レンズ104との間の距離も変化する可能性があり、この変化はd1の値に反映される(以下でさらに詳細に説明する)。以下の説明では、ステージ114のz座標位置の調整についてのみ説明するが、対物レンズ104のz座標位置の調整、および/またはステージ114と対物レンズ104の両方の位置の調整は、機能性または適用性を損なうことなく、本明細書に記載の方法で実施できることを理解されたい。
【0068】
検出器120によってキャプチャされた画像情報は、コントローラ122に送信される。サンプル10のカバースリップの表面がシステム100の物体面に位置するかどうかを決定し、カバースリップの表面がシステムの物体面に位置しない場合、対物レンズ104に対するサンプル10の位置の適切な調整を決定するために、画像情報は、電子プロセッサ128によって以下でさらに詳細に説明されるように分析され得る。
【0069】
一般に、システムの物体面に対するサンプル10の位置、および物体面からのサンプル10の変位を考慮した補正は、1つまたは複数のサンプル画像を取得するための一連の操作の任意の時点で決定することができる。いくつかの実施形態では、たとえば、サンプル画像を取得する前に、物体面に対するサンプル10の位置を決定/補正することができる。特定の実施形態では、サンプル10の位置は、1つまたは複数の画像を取得した後、追加の画像を取得する前に決定/補正することができる。いくつかの実施形態では、サンプル10の位置は、1つまたは複数の低解像度画像を取得した後、サンプルの1つまたは複数の高解像度画像を取得する前に決定/補正することができる。特定の実施形態では、サンプル10の位置は、検体の最初の部分をイメージングした後、検体の1つまたは複数の追加部分をイメージングする前に、たとえば、x方向およびy方向の一方または両方にサンプル10を並進移動させた後に、決定/補正することができる。
【0070】
システムの物体面zobjに対するサンプル10の位置、特にサンプル10のカバースリップの上面の位置を決定するために、システム100の光学素子の構成は通常変更される。特に、パターン化変調器108は、ビームスプリッタアセンブリ154より上流の照明光130またはフィルタリングされた光132の経路に導入され、ダイクロイックビームスプリッタ110は、部分透過性で部分反射性のビームスプリッタ112に置き換えられる。一般に、パターン化変調器108は、照明光源102とビームスプリッタとの間の任意の位置に配置することができる。いくつかの実施形態では、励起フィルタ106(またはフィルタ106)がシステム100から除去され、パターン化変調器が励起フィルタ106の元の位置に挿入される。特定の実施形態では、励起フィルタ106はシステム100内に残り、パターン化変調器はフィルタの上流または下流のいずれか、およびシステムの物体面の上流に挿入される。パターン化変調器の挿入および/または励起フィルタ106の除去は、手動または自動で行うことができる。
【0071】
上述したように、部分透過ビームスプリッタ112は、一般に、システム100において、除去されたダイクロイックビームスプリッタ110の位置に挿入される。上記のように、ダイクロイックビームスプリッタ110の除去および/または部分透過ビームスプリッタ112の挿入は、一般に手動または自動で行うことができる。
【0072】
パターン化変調器108は通常、照明光130またはフィルタリングされた光132の強度を変調する特徴のパターンを含む。パターン化変調器は様々な方法で形成することができ、一般に能動変調器または受動変調器として実装することができ、あるいは、変調器に入射する光の強度を変調する能動と受動の両方のコンポーネントを含むことができる。いくつかの実施形態では、たとえば、パターン化変調器108は、光学ウィンドウのような基板上にパターン状に配置された複数の金属または他の非透過性の特徴からなる。この特徴は、照明光130またはフィルタリングされた光132の一部が基板を通過することを許容し、照明光またはフィルタリングされた光の一部を遮断することにより、照明光またはフィルタリングされた光の断面空間強度プロファイルに変調を与える。
【0073】
特定の実施形態では、パターン化変調器108は、照明光またはフィルタリングされた光の断面空間強度プロファイルに変調を与える1つまたは複数の回折素子を含む。いくつかの実施形態では、パターン化変調器108は、遮光基板に形成された1つまたは複数の開口を含み、これらの開口は、光がシステムの物体面に到達する前に、照明光またはフィルタリングされた光の断面空間強度プロファイルに集合的に変調を与える。特定の実施形態では、パターン化変調器108は、照明光またはフィルタリングされた光の断面空間強度プロファイルに様々な異なる変調のいずれかを与えるように構成することができる調整可能な変調器(たとえば、液晶ベースの空間光変調器など)である。
【0074】
一例として、いくつかの実施形態では、パターン化変調器はクロムレチクルなどのレチクルとして実装される。クロムレチクルR1DS2N(ニュージャージー州ニュートンのThorlabs社から入手可能)は、パターン化変調器108として使用するのに適したクロムレチクルの一例である。
【0075】
図2は、パターン化変調器108と部分透過ビームスプリッタ112を導入した後の光学顕微鏡システム100の概略図である。
図2に示す例では、コントローラ122は、照明光130の経路から励起フィルタ106を除去し、照明光の経路にパターン化変調器108を導入するために、励起フィルタアセンブリ152に制御信号を送信している。加えて、コントローラ122は、フィルタリングされた光132の経路からダイクロイックビームスプリッタ110を除去し、フィルリングされた光の経路に部分透過ビームスプリッタ112を導入するために、ビームスプリッタアセンブリ154に制御信号を送信している。
【0076】
いくつかの実施形態では、発光フィルタアセンブリ156は、検出器120のセンサー上にパターン化変調器の画像を形成するために使用されない迷光を遮断する特殊フィルタを含むことができる。迷光を遮断するために、部分透過ビームスプリッタ112から反射された光の経路に特殊フィルタを導入することができる。部分透過ビームスプリッタ112および/またはパターン化変調器108と同様に、特殊フィルタは、手動で、またはコントローラ122から発光フィルタアセンブリ156に送信される制御信号を介して自動化された方法で、システム100に導入することができる。
【0077】
システム100は、パターン化変調器および部分透過ビームスプリッタ(およびオプションで迷光フィルタ)が自動化された方法で導入されるシステムの一例である。励起フィルタアセンブリ152(たとえば、電動式または駆動式フィルタホイールとして実装することができる)は、パターン化変調器108を含む。コントローラ122は、照明光130の経路にある任意の励起フィルタ106を除去し、代わりに、以前に励起フィルタによって占められていた位置にパターン化変調器108を挿入するために、励起フィルタアセンブリ152に適切な制御信号を送信することができる。したがって、照明光130は、励起フィルタアセンブリ152によってスペクトルフィルタリングされなくなる。代わりに、照明光130の断面空間強度プロファイルはパターン化変調器108によって変調され、フィルタリングされた光132は、断面空間強度変調の形で空間パターンを運ぶ。
【0078】
一般に、パターン化変調器108の画像は、システムの物体面から距離ΔDの平面に形成される。したがって、システム100の光学経路は折り畳まれている(すなわち、パターン化変調器108の画像は反射モードでキャプチャされる)ので、サンプル10のカバースリップの上面がシステムの物体面から距離ΔD/2に位置するとき、パターン化変調器108の画像は、カバースリップの上面からの反射後、システムの物体面内に形成される。カバースリップの上面が上述のように配置された状態で、フィルタリングされた光132によって運ばれる空間パターンはカバースリップ150の上面で撮像され、フィルタリングされた光132の一部は、空間パターンがカバースリップの上面から発生したかのようにカバースリップ150の上面から反射する。名目上、空間パターンの画像は、システムの画像面において焦点の合った状態で撮像され、したがって、空間パターンは、システムの画像面において検出器120によってキャプチャされた画像において焦点の合った状態で現れる。しかしながら、サンプル10のカバースリップの上面が上述の位置からずれると、カバースリップの上面の位置で、カバースリップの上面から反射される空間パターンは、完全に焦点が合っているわけではない。その結果、画像面において検出器120によって取得される空間パターンの画像も、完全に焦点が合っているわけではない。
【0079】
図2に示すように、パターン化変調器108および部分透過ビームスプリッタ112が照明光130およびフィルタリングされた光132の経路に配置されている状態で、パターン化変調器108の画像は、対物レンズ104から距離d
1に投影され、ここで、d
1は、以下のレンズ式に従って、対物レンズ104の公称焦点距離f
objおよびz方向に沿ったパターン化変調器108と対物レンズ104との間の距離d
2に関連する。
1/f
obj=1/d
1+1/d
2 [1]
【0080】
(対物レンズ104に関連して上述したように)対物レンズ104が無限共役の場合、物体(すなわち、対物レンズ104によって形成されるパターン化変調器108の画像)がシステムの物体面で焦点が合っている場合、システムの画像面で取得される画像は焦点が合っている。
図2に示すシステムの場合、パターン化変調器108の投影画像は、システムの物体面から距離ΔDに位置する。
d
1=f
obj+ΔD=1/[1/f
obj-1/d
2]-1/f
obj [2]
【0081】
その結果、パターン化変調器108の投影画像が対物レンズ104からd1でない距離に位置する場合、システムの画像面に配置された検出器120で取得されたパターン化変調器108の画像は焦点が合わない。しかしながら、ステージ114がz方向に並進移動され、対物レンズ104によって形成されるパターン化変調器108の画像が対物レンズ104から光学経路に沿って距離d1に位置するように、パターン化変調器108の投影画像が反射するカバースリップの上面が配置される場合、システムの画像面に配置された検出器120で取得されるパターン化変調器108の画像は焦点が合う。上記の式(2)を参照し、システムの光学経路が部分透過ビームスプリッタ112とステージ114との間で折り畳まれていることに注目すると、対物レンズ104によって形成されたパターン化変調器108の画像は、カバースリップの上面がシステムの物体面から距離ΔD/2に配置されている場合、カバースリップの上面からの反射後にシステムの物体面上で焦点が合う。
【0082】
その結果、システムの画像面で取得された画像において、パターン化変調器108の画像がどの程度焦点が合っているか、または焦点が合っていないかを評価することによって、システムの物体面に対するカバースリップの上面の位置を推定することができる。さらに、対物レンズ104によって形成されるパターン化変調器108の画像がシステムの物体面に形成されるようにカバースリップの上面が配置されることを確実にするために、z方向に沿ったサンプル10のカバースリップの上面の任意の特定の位置に対して補正変位を決定することができる。
【0083】
サンプル10のカバースリップ150の上面を、システムの物体面に対して特定のz座標位置に配置するために、
図1に関連して上述したように、各々パターン化変調器108および部分透過ビームスプリッタ112をシステムの光学経路内に配置した状態で、複数の異なる画像を取得することができる。異なる画像の各々は、対物レンズ104とカバースリップの上面との間の異なる相対変位に対応する。各画像を取得する前に、コントローラ122は、ステージ114に適切な制御信号を送信することにより、z方向に沿ってサンプル10を並進移動させ、異なる相対変位を選択する。
【0084】
相対変位のセットは、通常、対物レンズ104とカバースリップの上面から反射された光のシステムの物体面との間の光学経路長がd1よりも大きくd1よりも小さいサンプル位置を含むように選択される。相対変位ごとに画像が取得される。結果として得られた画像のセットが分析され、パターン化変調器108によって与えられた変調パターンが最適な焦点にある画像が、焦点が合った画像として指定される。上記で説明したように、カバースリップの上面からの反射後、対物レンズ104とシステムの物体面との間のシステム100の光学経路に沿った距離がd1となるように、カバースリップの上面が配置されているとき、この焦点画像が取得される。
【0085】
パターン化変調器108によって変調された光の1つまたは複数の画像(またはカバースリップもしくはスライド上の特徴の1つもしくは複数の画像)が取得された後、様々な異なる方法を使用して、どの画像が「最適な焦点」状態に対応するかを決定するために画像を分析することができる。たとえば、いくつかの実施形態では、各画像の最大画素強度および最小画素強度を決定し、次いで、最大画素強度と最小画素強度との差を計算してコントラストメトリックを得ることによって画像が分析される。画像のセットのうち、最も高いコントラストメトリック(すなわち、最大画素強度と最小画素強度との間の最も大きい差)を持つ画像が「最適な焦点」状態を表すと判定され得る。最大画素強度および/または最小画素強度は、単一の画素強度から決定されてもよいし、画素群にわたって平均化されてもよい(たとえば、n個の最大画素強度または最小画素強度にわたって平均化され、ここで、nは2以上、3以上、5以上、10以上、20以上、30以上、50以上、またはそれ以上である)。
【0086】
特定の実施形態では、画像は、各画像に現れる1つまたは複数の特徴を選択し、1つまたは複数の特徴を横切る1つまたは複数の画素行または列に沿った強度の空間変化率を計算することによって分析される。一般に、「最適な焦点」状態により近い画像では、画像の明るい領域と暗い領域との間の遷移はより急激であり、すなわち、そのような遷移にわたる強度の変化率はより大きくなる。したがって、各画像の1つまたは複数の共通画素行または列に沿った強度の変化率は、画像のどれが「最適な焦点」状態に対応するかを決定するためのメトリックとして機能することができる。
【0087】
前述の方法に加えて、またはその代替として、他の方法を使用することもできる。Fスコアのような方法およびメトリックの例は、非特許文献1に記載されており、その全内容は参照により本明細書に組み込まれる。
【0088】
いくつかの実施形態では、変調器108のパターンのいずれの単一の画像もシステムの画像面において完全に焦点が合ってないとき、ステージ114の最適な焦点のz座標は、完璧な焦点の状態に最も近い2つの画像を生成するために使用されたz座標位置のうちの2つの中間である座標位置である可能性が高いことに留意されたい。このような状況では、最適な焦点を表すz座標は、完璧な焦点の状態に最も近い2つの画像を生成するために使用されたz座標位置同士の間を補間することによって決定することができる。
【0089】
上記の式(2)によって示されるように、コントローラ122は、次いで、ステージ114をz方向に沿ってΔD/2の距離だけ並進移動させることによって、カバースリップの上面がシステムの物体面(すなわち、対物レンズ104からの距離fobj)に位置するようにサンプル10を再配置することができる。
【0090】
サンプル10が、カバースリップの上面がシステムの物体面に位置するように再配置された後、サンプルの1つまたは複数のマルチスペクトル画像(たとえば、蛍光画像)を取得することができる。このような画像を取得するために、コントローラ122は、パターン化変調器108を照明光130の経路から除去する(および、オプションで、任意の所望の励起フィルタ106を経路に挿入する)ために、励起フィルタアセンブリ152に適切な制御信号を送信する。コントローラ122はまた、部分透過ビームスプリッタ112をフィルタリングされた光132の経路から除去し、ダイクロイックビームスプリッタ110をフィルタリングされた光132の経路に挿入するために、ビームスプリッタアセンブリ154に適切な制御信号を送信する。
【0091】
上述したように、フィルタリングされた光132はサンプル10に向けられ、サンプル10で生成された蛍光発光光134は-z方向に伝播し、ダイクロイックビームスプリッタ110によって反射され、発光フィルタアセンブリ156の発光フィルタ116(または発光フィルタ116の組合せ)に入射する。検出光136は、発光フィルタアセンブリ156から出射し、撮像レンズ118を通過し、検出器120のセンシング要素が配置されているシステム100の画像面にサンプル10の画像を形成する。検出器120は、検出光136を検出することによって画像情報をキャプチャし、画像情報はコントローラ122に送信される。励起フィルタ106および/または発光フィルタ116の様々な組合せを使用することによって、サンプル10の複数の画像を取得することができる。
【0092】
顕微鏡システムの較正
前述の例では、距離ΔDは、たとえば、以前に測定された較正情報および/またはシステム設計情報(たとえば、式(2)から計算される)から、すでに既知であると想定されている。その結果、コントローラ122は、既知であるΔDの値を使用して、カバースリップの上面がシステムの物体面に位置するように、サンプル10を再現可能に再配置することができる。
【0093】
あるいは、量ΔDは、サンプルイメージングワークフローの一部として実行される較正手順から決定することができる。このような較正を行うには、様々な方法を使用することができる。
図3は、較正手順を行うための一連の例示的なステップを示すフローチャートである。
【0094】
較正手順の最初のステップ302において、上述のようにパターン化変調器108および部分透過ビームスプリッタ112がシステム100に導入され、サンプル10がステージ114上に配置される。
【0095】
次に、ステップ304において、ステージ114が起動されて、特定の距離d1に対応するz軸上の特定の位置まで、z方向に沿ってサンプル10を並進移動させる。ステップ306において、カバースリップの表面から反射されたパターン化変調器108の画像が取得される。
【0096】
次いで、ステップ308において、適切な距離範囲d1で画像が取得されなかった場合、制御はステップ304に戻り、ステージ114が起動されて、サンプル10をz軸上の新しい位置に並進移動させる。あるいは、適切な距離範囲d1で画像が取得された場合、ステップ310で画像のセットが分析されて、パターン化変調器の画像が最適な焦点となるステージ114のz軸座標が決定される。このステージ位置はP1と指定され、システムの物体面から距離ΔD/2だけずれているカバースリップの上面に対応する。
【0097】
次に、ステップ312において、ステージ114が起動されて、第2の距離範囲d1の一部であるz軸上の特定の位置まで、z方向に沿ってサンプル10を並進移動させる。第2の距離範囲は、一般に、カバースリップ150とスライドとの間の検体が、第2の距離範囲内のz軸位置のうちの1つにおいて、システムの物体面に配置されるように選択される。
【0098】
次いで、ステップ314において、スライド上の構造の画像が取得される。構造は、たとえば、基準マーク、破片粒子、検体構造、またはカバースリップに面するスライド表面にある、またはそれに接触している他の特徴であり得る。
【0099】
次に、ステップ316において、適切な第2の距離範囲d1で画像が取得されなかった場合、制御はステップ312に戻り、ステージ114が起動されて、サンプル10をz軸上の新しい位置に並進移動させる。あるいは、適切な距離範囲d1で画像が取得された場合、ステップ318で画像のセットが分析されて、スライド上の構造の画像が最適な焦点となるステージ114のz軸座標が決定される。このステージ位置はP2と指定され、システムの物体面に配置されているスライドの表面に対応する。
【0100】
次いで、ステップ320において、ステージ位置(P
2-P
1)とスライドの表面に対する構造の位置の差によって、量ΔDが決定される。実際には、最初に焦点が合っている変調器パターンとカバースリップの上面との間の量ΔDを較正し、次いでカバースリップの上面と予想されるサンプル位置との間のオフセットを個別に決定することが可能である。このようにして較正を行うことには、ΔDがサンプルの厚さに依存しないという利点がある。このように、ΔDがカバースリップの上面と予想されるサンプル位置との間のオフセットとは無関係に較正されるとき、ΔDの同じ較正された値は、異なる厚さのサンプルをイメージングするときに使用することができる。このようなサンプルがシステムに導入されると、オフセットのみが較正される。
図3に示す手順は、ステップ322で終了する。
【0101】
フォーカスマッピング
いくつかの実施形態では、システム較正(すなわち、ΔDの測定またはΔDについての先験的知識)は、サンプル10のフォーカスマッピングを実行するために使用することができる。本明細書で使用するフォーカスマッピングとは、x座標位置およびy座標位置の関数として、サンプルのカバースリップとスライドとの間に挟まれた検体が最適な焦点にあるサンプル10のz座標位置のセットを決定するプロセスを指す。検体は通常厚さが不均一であり、様々なイメージングエラーおよびアーティファクトを引き起こす可能性があるので、一般に、横方向(x,y)の平面にある検体のすべての部分が、検体(およびステージ114)の共通のz座標位置で焦点が合うとは限らない。代わりに、異なる(x,y)位置では、異なる(x,y)位置にある検体の部分の最適な焦点を表すz座標位置は、通常異なる。フォーカスマッピングは、(x,y)位置の関数として、検体の最適な焦点を表すz座標位置のセットを決定する手順である。
【0102】
フォーカスマッピングを行うには、上述したように、パターン化変調器108の反射画像の最適な焦点の位置およびΔDの値から初期z座標値Zcが決定される。z座標値Zcは、カバースリップの表面がシステム100の物体面内に位置するz座標値を表す。
【0103】
次いで、パターン化変調器108と部分透過ビームスプリッタ112がシステム100から除去され、ダイクロイックビームスプリッタ110がシステム100に再導入される。
【0104】
次に、ステージ114が検体の各(x,y)位置において最適な焦点の位置を決定するために配置されるz座標値の範囲が決定される。いくつかの実施形態では、検体は常にカバースリップの表面よりもより正のz座標位置に配置されるので、Zcは、z座標値の範囲の片側の制限を表す。
【0105】
次いで、フォーカスマップが測定される。検体内の離散的な(x,y)位置のセットの各々において、ステージ114は、離散的なステップでz座標値の範囲を並進移動する。ステージ114の各連続的な離散的なステップの並進移動の後、検体の画像が取得される。
【0106】
次いで、z座標値の範囲にわたるステージ114の並進移動を介して取得された画像のセットは、セットのうちのどの画像が最適な焦点にあるかを決定するために分析される。Zs(x,y)と指定された、位置(x,y)での最適な焦点の画像に関連付けられたステージ114の対応するz座標値は、次いで、サンプル10のフォーカスマップのエントリとして記憶され得る。あるいは、最適な焦点の位置を表すステージ114のz座標値Zs(x,y)は、その各々がほぼ最適な焦点である画像に対応する、ステージ114の2つのz座標値の間を補間することによって計算することができる。
【0107】
前述のプロセスを検体内の複数の(x,y)位置で繰り返して、サンプル10のフォーカスマップを構成する検体の最適焦点値Zs(x,y)のセットを得ることができる。
【0108】
スライド位置の決定
いくつかの実施形態では、カバースリップについて説明した手順と同様の手順を使用して、サンプル10のスライドの底面がシステム100の物体面にあるステージ114のz座標位置を決定することができる。本明細書で使用する場合、スライドの「底面」とは、ステージ114に最も近く、かつ/またはステージ114に接触するスライド面であり、サンプル10の検体に接触するスライド面とは反対側にある。
【0109】
サンプル10のスライドの底面がシステム100の物体面内にあるステージ114のz座標位置を決定するための手順は、
図3に関連して上述したステップと同様のステップを含むことができる。第1のステップでは、パターン化変調器108および部分透過ビームスプリッタ112が、上述のようにシステム100に導入される。
【0110】
次いで、ステージ114のz座標値の範囲が決定される。一般に、この範囲には、ステージ114が1つまたは複数のz座標値のいずれかに配置された場合に、スライドの底面がシステムの物体面に対して+z方向に変位するような1つまたは複数のz座標値と、ステージ114がそれらの1つまたは複数のz座標値のいずれかに配置された場合に、スライドの底面がシステムの物体面に対して-z方向に変位するような1つまたは複数のz座標値とが含まれる。
【0111】
次に、ステージ114は、範囲内の各z座標値に順次並進移動され、各z座標値において、パターン化変調器108の画像が取得される。
【0112】
次いで、このようにして取得された画像のセットは、セット内のどの画像がパターン化変調器108の最適焦点画像を提供するかを決定するために分析される。この画像に関連付けられたz座標値はZuで指定され、スライドの底面がシステムの物体面から距離ΔD/2nに位置するz座標値であり、ここで、nはスライドを形成する材料の屈折率である。
【0113】
いくつかの実施形態では、前述の手順は、ステージ114上に導入されたサンプル10が予想される位置にあるかどうかを判定するために使用することができる。たとえば、サンプルがステージ114上に配置された後、ステージ114は、上述のz座標値の範囲にわたって並進移動することができる。パターン化モジュール108の投影画像を分析して、システムの物体面においてスライドの底面が位置する実際のz座標値Zuを決定することができる。測定されたZu値は、たとえばZuの較正値または標準化値と比較されて、サンプルのスライドがシステム100内の予想される位置に配置されているか、または予想される位置からずれているかを判定することができる。前述の方法は、たとえば、検体の画像を取得する前に、スライドがシステム100に適切に装着されていることを確認するために使用され得る。
【0114】
検体およびサンプルのタイプ
本明細書に記載のシステムおよび方法は、マルチスペクトルイメージングのために、スライドとカバースリップとの間に挟まれた多種多様な異なる検体の画像を取得するために使用することができる。このような検体には、限定はされないが、コアバイオプシー、細胞培養、組織切片(たとえば、ホルマリン固定パラフィン包埋切片)、細針吸引液、個々の細胞および複数の細胞群、ならびに血液および他の体液の塗抹が含まれる。
【0115】
ハードウェアおよびソフトウェアの実装
本明細書に開示される任意のステップは、コントローラ122(たとえば、コントローラ122の電子プロセッサ128)および/または標準的なプログラミング技法に基づくプログラムを実行する1つまたは複数の追加の電子プロセッサ(コンピュータまたはプリプログラム集積回路など)によって実行することができる。このようなプログラムは、プログラマブルコンピューティング装置または特別に設計された集積回路上で実行されるように設計されている。コントローラ122は、データ記憶システム(メモリおよび/または記憶要素を含む)、入力インターフェース126などの少なくとも1つの入力デバイス、およびコントローラ122がリンクされる表示インターフェース124などの少なくとも1つの出力デバイスを含むことができる。
【0116】
図4は、本明細書で説明するシステムに存在することができ、本明細書で説明する方法ステップのいずれかを実行することができるコントローラ122の一例の概略図である。コントローラ122は、1つまたは複数のプロセッサ128、メモリ404、記憶デバイス406、相互接続用インターフェース408を含むことができる。プロセッサ128は、メモリ404または記憶デバイス406に記憶された命令を含む、コントローラ内で実行するための命令を処理することができる。たとえば、命令は、本明細書に開示されたステップのいずれかを実行するようにプロセッサ128に指示することができる。
【0117】
メモリ404は、プロセッサ128のための実行可能な命令、励起波長および検出波長などのシステムのパラメータに関する情報、測定された画像情報、および/または較正情報を記憶することができる。記憶デバイス406は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリまたは他の類似の固体メモリデバイス、あるいは、ストレージエリアネットワークまたは他の構成内のデバイスを含むデバイスのアレイなどのコンピュータ可読媒体とすることができる。記憶デバイス406は、上述したようにプロセッサ128によって実行され得る命令、およびメモリ404によって記憶され得る他の情報のいずれかを記憶することができる。
【0118】
いくつかの実施形態では、コントローラ122は、表示インターフェース124などの外部入力/出力デバイスに(たとえば、GUIまたはテキストインターフェースを使用して)グラフィック情報を表示するためのグラフィック処理ユニットを含むことができる。グラフィック情報は、本明細書で開示される測定および計算されたスペクトルや画像などの情報のいずれかを表示するための表示デバイス(たとえば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニター)によって表示することができる。ユーザは、入力デバイス(たとえば、キーボード、ポインティングデバイス、タッチスクリーン、音声認識デバイスなど)を使用して、コントローラ122に入力を提供することができる。いくつかの実施形態では、1つまたは複数のそのようなデバイスを、コントローラ122の一部とすることができる。
【0119】
システム100のユーザは、入力デバイスを介して、コントローラ122に様々なタイプの命令および情報を提供することができる。命令および情報には、たとえば、本明細書で説明するワークフローのいずれかに関連付けられた波長、フィルタ、および物理的パラメータ(たとえば、焦点距離、システム100のコンポーネントの位置)のいずれかに関する情報、ならびにシステムの較正情報を含めることができる。コントローラ122は、これらの様々なタイプの情報のいずれかを使用して、本明細書で説明する方法および機能を実行することができる。また、これらのタイプの情報のいずれかは(たとえば、記憶デバイス406に)記憶され、コントローラ122によって必要とされるときに呼び出され得ることに留意されたい。
【0120】
本明細書で開示する方法は、コントローラ122によって実行可能および/または解釈可能な1つまたは複数のコンピュータプログラムの命令をコントローラ122が実行することによって実施することができる。これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる)は、プログラマブルプロセッサのための機械命令を含み、高レベル手続き型言語および/またはオブジェクト指向プログラミング言語で、および/またはアセンブリ言語/機械言語で実装することができる。たとえば、コンピュータプログラムは、メモリ404、記憶デバイス406、および/または有形のコンピュータ可読媒体上に記憶され、上述のようにプロセッサ128によって実行され得る命令を含み得る。本明細書で使用する「コンピュータ可読媒体」という用語は、機械命令を受信する機械可読媒体を含む、機械命令および/またはデータをプログラマブルプロセッサに提供するために使用される、(たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD)、ASIC、および電子回路など)任意のコンピュータプログラム製品、装置、および/またはデバイスを指す。
【0121】
上述の命令(オプションでコントローラ122の一部とすることができる)を実行することによって、コントローラは、本明細書のワークフローのいずれかに関連して説明した様々なステップのいずれか1つまたは複数を実施するように構成することができる。たとえば、コントローラ122は、システム100の任意のコンポーネントの位置を調整し、本明細書で説明するように画像を取得し、取得した画像を分析し、分析(たとえば、分析から得られた較正情報)に基づいてシステム100を調整することができる。
【0122】
実施例
本明細書で説明するシステムと同様のシステムが以下のように構築された。Olympus BX-43顕微鏡は、8位置フィルタホイールにBX3蛍光照明光学系を装備した。対物レンズ104は、Olympus 10x UPLXAPOであった。パターン化変調器の画像を形成するために使用される光学素子は、フィルタホイールの位置8に配置されたエピフィルタキューブに収納され、励起フィルタ位置にはクロムレチクル(レチクルR1DS2N、ニュージャージー州ニュートンのThorlabs社から入手)、ダイクロイックビームスプリッタ位置には部分透過型中性密度50/50ビームスプリッタ、および発光フィルタ位置には赤色フィルタ(Semrock FF01-637-7-25)を含んだ。
【0123】
システムは無限共役で動作し、対物レンズの焦点距離は18mmであった。対物レンズからレチクルまでの距離d2は約139mmであった。投影画像は、公称システム物体面からΔD=2680μm離れた位置に形成された。照明光源からの光はカバースリップの上部から反射し、自由空間に画像を形成した。
【0124】
カバースリップが、イメージングセンサーで画像を形成する平面を約ΔD/2通過すると、反射後の投影画像は正確にその平面に形成された。カバースリップを対物レンズから少し離したり近づけたりすると、反射形状のため、反射画像はその2倍の距離だけ離れたり近づいたりした。構築されたシステムでは、カバースリップが従来のイメージング面から約1340μm離れたときに、パターン化された対象の画像がイメージングセンサーに形成された。
【0125】
投影された画像は、従来のイメージング面の2680μm離れたところに白い対象を置くことによって観察することができた。この種の測定を行うことは、ΔDを測定する1つの方法である。しかしながら、この構成では、画像は、イメージングセンサーと共役面ではない位置に形成されるので、イメージングセンサーは最適な焦点を評価することができない。
【0126】
別のアプローチでは、顕微鏡スライドを使用して、従来のシステム画像面で空間に投影された画像を形成した。
【0127】
パターン化されたクローム特徴を有するガラス片がステージ上に置かれ、エピフィルタホイールがパターン化された対象および部分反射ビームスプリッタに噛み合うように設定された。画像のセットは、パターン化された面を通常の物体面から1340μm離れたところに置く位置にわたる範囲の位置でステージを使用して撮影された。この範囲は、ステージの位置、ガラスの厚さ、および他の要因の不確実性を考慮して、その点を中心に±500μmにおよんだ。これらの画像が分析され、各画像の正規化分散を測定することによって、最適焦点位置Zrが決定された。画像は10μm間隔で撮影され、焦点が最適であった画像に対応する3つの位置が、より細かい解像度で最適な焦点の位置を補間するためにフィッティングされた。
【0128】
エピフィルタは、ビームからすべての要素を除去するように設定され、ステージがパターン面を通常のシステム物体面に置く位置にわたる範囲の位置に設定された状態で透過光明視野画像が取得された。この範囲は、前述の理由と同様の理由により、±500μm以上におよんだ。これらの画像を検査し、前述の方法と同じ方法で最適な焦点位置Ztを見つけた。これらの測定に基づいて、システムは以下に従って較正された。
ΔD/2=Zt-Zr [3]
本明細書のシステムでは、ΔD/2=1340μmである。
【0129】
動作中、エピフィルタホイールがパターン化された光学系に係合するように設定され、システムはパターン化された対象の投影画像に最適な焦点に対応するステージ位置を見つけた。ステージがその点よりも1340μmだけ対物レンズのより近くに設定されると、カバースリップの表面に焦点が合った。
【0130】
他の実施形態
本開示では具体的な実装形態について説明しているが、これらは本開示の範囲を限定するものではなく、特定の実施形態における特徴を説明するものとして解釈されるものとする。別個の実施形態の文脈で説明されている特徴は、一般に、単一の実施形態において組み合わせて実装することもできる。逆に、単一の実施形態の文脈で記載されている様々な特徴は、複数の実施形態で別々にまたは任意の適切な部分組合せで実装することもできる。さらに、特徴は、いくつかの組合せに存在するものとして上述され、当初はそのように特許請求される場合もあるが、特許請求された組合せからの1つまたは複数の特徴は、一般に組合せから除外することができ、特許請求された組合せは、部分組合せ、または部分組合せの変形を対象とする場合がある。
【0131】
本明細書に明示的に開示された実施形態に加えて、本開示の趣旨および範囲から逸脱することなく、記載された実施形態に様々な修正を加えることができることを理解されよう。したがって、他の実施形態は、以下の特許請求の範囲の範囲内である。
【符号の説明】
【0132】
10 サンプル
100 光学顕微鏡システム
102 照明光源
104 対物レンズ
106 励起フィルタ
108 パターン化変調器
110 ダイクロイックビームスプリッタ
112 部分透過ビームスプリッタ
114 ステージ
118 撮像レンズ
120 検出器
122 コントローラ
124 表示インターフェース
126 入力インターフェース
128 電子プロセッサ
130 照明光
132 フィルタリングされた光
134 蛍光発光光
152 励起フィルタアセンブリ
154 ビームスプリッタアセンブリ
156 発光フィルタアセンブリ
404 メモリ
406 記憶デバイス
408 相互接続用インターフェース
【国際調査報告】