(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-23
(45)【発行日】2025-01-07
(54)【発明の名称】2段階明視野再構築を介したサンプル結像
(51)【国際特許分類】
H04N 23/957 20230101AFI20241224BHJP
G02B 21/00 20060101ALI20241224BHJP
G02B 21/36 20060101ALI20241224BHJP
G06T 1/00 20060101ALI20241224BHJP
H04N 23/55 20230101ALI20241224BHJP
【FI】
H04N23/957
G02B21/00
G02B21/36
G06T1/00 500B
H04N23/55 100
(21)【出願番号】P 2022508824
(86)(22)【出願日】2020-08-11
(86)【国際出願番号】 IB2020057552
(87)【国際公開番号】W WO2021028836
(87)【国際公開日】2021-02-18
【審査請求日】2023-07-10
(32)【優先日】2019-08-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】519091306
【氏名又は名称】モレキュラー デバイシーズ (オーストリア) ゲーエムベーハー
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ライトナー, ライムント
(72)【発明者】
【氏名】シュタインブレナー, ヤン
【審査官】辻本 寛司
(56)【参考文献】
【文献】特開2006-005968(JP,A)
【文献】特開2015-186037(JP,A)
【文献】特表2018-533066(JP,A)
【文献】特開2016-225852(JP,A)
【文献】特開2016-082475(JP,A)
【文献】国際公開第2019/012662(WO,A1)
【文献】米国特許出願公開第2016/0191897(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/55
G02B 21/00
G02B 21/36
G06T 1/00
H04N 23/957
(57)【特許請求の範囲】
【請求項1】
サンプル(74)を結像する方法(50)であって、前記方法(50)は、
(a)
ライトフィールド平面(76)において前記サンプル(74)の
ライトフィールド画像(72)を捕捉することと、
(b)前記
ライトフィールド画像(72)を物体空間(78)内の複数のz-平面の
それぞれに計算上順投影
することにより、複数のz-平面画像(88a-f)の組を
生成することと、
(c)前記
ライトフィールド画像(72)に対して、各z-平面画像からの物体空間(78)内の同じxy-領域の前記
ライトフィールド平面(76)への逆投影を比較
することにより、前記
複数のz-平面画像(88a-f)の
それぞれからの前記逆投影されたxy-領域と前記
ライトフィールド画像(72)との間のそれぞれの対応の程度を決定することであって、
前記比較することは、物体空間(78)内の複数の異なるxy-領域の
それぞれに対して繰り返される、ことと、
(d)
前記比較
することに基づいて、各異なるxy-領域に
対して、前記サンプル(74)の物体空間画像内の前記異なるxy-領域のためのデータを提供するための前記
複数のz-平面画像(88a-f)のうちの少なくとも1つを選択することと、
(e)前記サンプル(74)の
前記物体空間画像を
生成することと
を含む、方法(50)。
【請求項2】
前記
複数の異なるxy-領域の
それぞれは、前記組の前記
複数のz-平面画像(88a-f)の
それぞれにおける単一ピクセルに対応する、請求項1に記載の方法(50)。
【請求項3】
前記
複数の異なるxy-領域のうちの少なくとも1つは、ピクセルの群
または物体に対応する、請求項1に記載の方法(50)。
【請求項4】
前記
生成された物体空間画像は、2次元画像である、請求項1に記載の方法(50)。
【請求項5】
前記2次元画像は、実質的に全て焦点が合っている、請求項4に記載の方法(50)。
【請求項6】
前記物体空間画像は、3次元画像である、請求項1に記載の方法(50)。
【請求項7】
前記3次元画像は、実質的に全て焦点が合っている、請求項6に記載の方法(50)。
【請求項8】
前記選択することは、前記
複数の異なるxy-領域のうちの少なくとも1つに
対して、前記対応の程度が前記組の各他のz-平面画像に
対するより
も高い前記
複数のz-平面画像(88a-f)のうちの1つのみを選択することを含む、請求項1に記載の方法(50)。
【請求項9】
前記選択することは、前記
複数の異なるxy-領域のうちの少なくとも1つに
対して、前記逆投影の対応する対応の程度が前記組の各他のz-平面画像に
対するより
も高い前記
複数のz-平面画像(88a-f)のうちの少なくとも2つを選択することを含む、請求項1に記載の方法(50)。
【請求項10】
所与のxy-領域の逆投影に関する前記それぞれの対応の程度を閾値と比較することをさらに含み、前記選択することは、前記それぞれの対応の程度を比較することが所定の条件を満たす各z-平面画像を選択することを含む、請求項9に記載の方法(50)。
【請求項11】
前記選択することは、物体空間(78)内のピクセルの群または単一ピクセルに
対して物体空間(78)内の最良のz-平面を選択することを含み、前記
生成することは、前記サンプル(74)の実質的に全て焦点が合っている3次元画像を
生成することを含む、請求項1に記載の方法(50)。
【請求項12】
前記選択することは、物体空間(78)内のピクセルの群または単一ピクセルに
対して物体空間(78)内の最良のz-平面を選択することを含み、前記
生成することは、前記サンプル(74)の実質的に全て焦点が合っている2次元画像を
生成することを含む、請求項1に記載の方法(50)。
【請求項13】
前記選択することは、物体空間(78)内の複数の単一ピクセルまたはピクセルの群の
それぞれに対して物体空間(78)内の2つ以上のz-平面を選択することを含み、前記方法
(50)は、単一ピクセルまたはピクセルの
それぞれに対して選択された前記2つ以上のz-平面からの情報を組み合わせることをさらに含む、請求項1に記載の方法(50)。
【請求項14】
前記情報を組み合わせることは、選択された前記2つ以上のz-平面からの前記単一ピクセルまたはピクセルの群に関する値を平均または補間することを含む、請求項13に記載の方法(50)。
【請求項15】
前記情報を組み合わせることは、選択された前記2つ以上のz-平面からの前記単一ピクセルまたはピクセルの群に関する前記それぞれの対応の程度に基づく、請求項13に記載の方法(50)。
【請求項16】
前記方法(50)は、前記組の前記
複数のz-平面画像(88a-f)の
それぞれを前記
ライトフィールド平面(76)に計算上逆投影
することにより、複数の逆投影の組を取得することをさらに含み、
前記複数の逆投影の組は、前記逆投影を含む、請求項1に記載の方法(50)。
【請求項17】
前記捕捉することは、結像システム(110)の画像センサ(146)によって
実行され、順投影および各逆投影は、前記結像システム(110)に関する既知のマッピング幾何学形状を使用する、請求項1に記載の方法(50)。
【請求項18】
前記既知のマッピング幾何学形状は、前記結像システム(110)の総拡大率に関する値と、前記結像システム(110)のマイクロレンズアレイ(142)によって生成された拡大率に関する少なくとも1つの値とを利用する、請求項17に記載の方法(50)。
【請求項19】
サンプル(74)を結像するためのシステム(110)であって、前記システム(110)は、
(a)サンプル(74)を物体空間(78)内の光学軸(128)上に保持するためのステージと、
(b)前記光学軸(128)上のマイクロレンズアレイ(142)と、
(c)前記マイクロレンズアレイ(142)を通して伝搬された光で形成された前記サンプル(74)の
ライトフィールド画像(72)を捕捉するように構成された画像センサ(146)と、
(d)プロセッサ(156)と
を備え、
前記プロセッサ(156)は、
(i)前記
ライトフィールド画像(72)を物体空間(78)内の複数のz-平面の
それぞれに計算上順投影
することにより、複数のz-平面画像(88a-f)の組を
生成することと、
(ii)前記
ライトフィールド画像(72)に対して、各z-平面画像からの物体空間(78)内の同じxy-領域の前記
ライトフィールド平面(76)への逆投影を比較
することにより、前記
複数のz-平面画像(88a-f)の
それぞれからの前記逆投影されたxy-領域と前記
ライトフィールド画像(72)との間のそれぞれの対応の程度を決定することであって、
前記比較することは、物体空間(78)内の複数の異なるxy-領域の
それぞれに対して繰り返される、ことと、
(iii)各異なるxy-領域に
対して、前記サンプル(74)の物体空間画像内の前記
複数の異なるxy-領域に関するデータを提供するための前記
複数のz-平面画像(88a-f)のうちの少なくとも1つを選択することと、
(iv)前記サンプル(74)の
前記物体空間画像を
生成することと
を行うように構成されている、システム(110)。
【請求項20】
命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記命令は、プロセッサによって実行されると、請求項1に記載の方法を
実行することを前記プロセッサに行わせる、コンピュータ読み取り可能な
記憶媒体。
【発明の詳細な説明】
【背景技術】
【0001】
(関連出願)
本願は、その内容が参照することによってその全体として本明細書に組み込まれる2019年8月12日に出願された米国仮出願第62/885,735号の優先権を主張する。
【0002】
(導入)
古典的結像は、感光要素の焦点面アレイとして構成された画像センサを使用して、場面の位置依存放射輝度を入手する。画像センサは、正面レンズ(対物レンズ)によって光学的に投影された入射放射輝度を定量化し、入射放射輝度に関する任意の方向情報を欠いている場面の平坦化された空間画像を捕捉する。対照的に、明視野結像は、この方向情報を保存し、2次元画像を4次元明視野に拡張し、4次元明視野は、位置および方向に対する場面の放射輝度を説明する。
【0003】
(i)別々のカメラのアレイまたは(ii)画像センサの正面のマイクロレンズアレイのいずれかを使用した明視野入手のための2つの異なる計測アプローチが、報告されている。明視野顕微鏡検査に関して、マイクロレンズアレイの組み込みは、多くの場合、そのより低いコストおよび従来の顕微鏡に対して容易に改造される能力に起因して、好ましい選択肢である。
【0004】
正面レンズと画像センサとの間のマイクロレンズアレイの存在は、明視野画像を画像センサ上に形成する。明視野画像は、各々がマイクロレンズアレイの異なるマイクロレンズに対応する別々のサブ画像のアレイから成る。これらのサブ画像は、場面の所与の点に関する光の方向分布を説明する。この追加の方向情報は、概して、明視野入手後に再構築された「物体空間」画像を取得するためのいくつかの有利な処理動作:(i)視点の目線変化、(ii)デジタル再焦点合わせ、(iii)場面内の選択された物体への人工的焦点合わせ、および、(iv)マッチングなし3D再構築を可能にする
異なる特性を伴う2つの明視野構成は、結像システムの対物レンズおよび画像センサに対するマイクロレンズアレイの位置に応じて定義されることができる。「LF1.0」と標識される第1の構成では、マイクロレンズアレイは、対物レンズと画像センサとの間の中間像面にあり、画像センサは、マイクロレンズアレイの後方焦点面にある。「LF2.0」と標識される第2の構成では、これらの制限は、除去され、マイクロレンズアレイは、対物レンズと画像センサとの間の恣意的場所を有することができる。故に、LF2.0では、マイクロレンズアレイの場所は、結像システムの所望の性能基準(例えば、側方および軸方向分解能および焦点深度)を最適化するように選択されることができる。
【0005】
明視野結像の最も重要な用途のうちの1つは、2D明視野データを物体空間にマッピングすることに基づく、物体空間の2Dおよび3D再構築である。しかしながら、物体空間を明視野画像から再構築するための既存のアプローチは、種々の理由から不十分である。例えば、アプローチは、反復マッピングおよび再マッピング、雑音を除去するためのフィルタリング、および/または、光学構成についての仮定を要求し得、各々は、再構築誤差を導入し、および/または、再構築を完全に失敗させ得る。さらに、マッピングされた明視野データのユーザ点検が、候補再構築を選択するために必要であり得、それは、完全自動化を妨害する。明視野結像システムを用いたサンプル結像のための新しい方法が、必要とされる。
【発明の概要】
【課題を解決するための手段】
【0006】
(要約)
本開示は、2段階明視野再構築を介したサンプル結像のための方法およびシステムを提供する。例示的方法では、サンプルの明視野画像が、明視野平面において捕捉され得る。明視野画像は、物体空間内の複数のz-平面の各々に計算上順投影され、順投影されたz-平面画像の組を発生し得る。各z-平面画像からの物体空間内の同じxy-領域の明視野平面への計算上の逆投影は、明視野画像と比較され、z-平面画像の各々から逆投影されたxy-領域と明視野画像との間のそれぞれの対応の程度を決定し得る。この比較は、物体空間内の複数の異なるxy-領域の各々に関して繰り返され得る。各異なるxy-領域に関して、順投影されたz-平面画像のうちの少なくとも1つは、サンプルの2Dまたは3D物体空間画像内の異なるxy-領域のためのデータを提供するように選択され得る。データを組み込む、物体空間画像が、発生させられ得る。
本発明は、例えば、以下を提供する。
(項目1)
サンプル(74)を結像する方法(50)であって、前記方法(50)は、
(a)明視野平面(76)において前記サンプル(74)の明視野画像(72)を捕捉することと、
(b)前記明視野画像(72)を物体空間(78)内の複数のz-平面の各々に計算上順投影し、z-平面画像(88a-f)の組を発生させることと、
(c)前記明視野画像(72)に対して、各z-平面画像からの物体空間(78)内の同じxy-領域の前記明視野平面(76)への逆投影を比較し、前記z-平面画像(88a-f)の各々からの前記逆投影されたxy-領域と前記明視野画像(72)との間のそれぞれの対応の程度を決定することであって、比較することは、物体空間(78)内の複数の異なるxy-領域の各々に関して繰り返される、ことと、
(d)比較に基づいて、各異なるxy-領域に関して、前記サンプル(74)の物体空間画像内の前記異なるxy-領域のためのデータを提供するための前記z-平面画像(88a-f)のうちの少なくとも1つを選択することと、
(e)前記サンプル(74)の物体空間画像を発生させることと
を含む、方法(50)。
(項目2)
前記異なるxy-領域の各々は、前記組の前記z-平面画像(88a-f)の各々における単一ピクセルに対応する、項目1に記載の方法(50)。
(項目3)
前記異なるxy-領域のうちの少なくとも1つは、ピクセルの群、または物体に対応する、項目1に記載の方法(50)。
(項目4)
発生させられた前記物体空間画像は、2次元画像である、項目1に記載の方法(50)。
(項目5)
前記2次元画像は、実質的に全て焦点が合っている、項目4に記載の方法(50)。
(項目6)
前記物体空間画像は、3次元画像である、項目1に記載の方法(50)。
(項目7)
前記3次元画像は、実質的に全て焦点が合っている、項目6に記載の方法(50)。
(項目8)
前記選択することは、前記異なるxy-領域のうちの少なくとも1つに関して、前記対応の程度が前記組の各他のz-平面画像に関するより高い前記z-平面画像(88a-f)のうちの1つのみを選択することを含む、項目1に記載の方法(50)。
(項目9)
前記選択することは、前記異なるxy-領域のうちの少なくとも1つに関して、前記逆投影の対応する対応の程度が前記組の各他のz-平面画像に関するより高い前記z-平面画像(88a-f)のうちの少なくとも2つを選択することを含む、項目1に記載の方法(50)。
(項目10)
所与のxy-領域の逆投影に関する前記それぞれの対応の程度を閾値と比較することをさらに含み、前記選択することは、前記それぞれの対応の程度を比較することが所定の条件を満たす各z-平面画像を選択することを含む、項目9に記載の方法(50)。
(項目11)
前記選択することは、物体空間(78)内のピクセルの群または単一ピクセルに関する物体空間(78)内の最良のz-平面を選択することを含み、前記発生させることは、前記サンプル(74)の実質的に全て焦点が合っている3次元画像を発生させることを含む、項目1に記載の方法(50)。
(項目12)
前記選択することは、物体空間(78)内のピクセルの群または単一ピクセルに関する物体空間(78)内の最良のz-平面を選択することを含み、前記発生させることは、前記サンプル(74)の実質的に全て焦点が合っている2次元画像を発生させることを含む、項目1に記載の方法(50)。
(項目13)
前記選択することは、物体空間(78)内の複数の単一ピクセルまたはピクセルの群の各々に関する物体空間(78)内の2つ以上のz-平面を選択することを含み、前記方法は、単一ピクセルまたはピクセルの各々に関する選択された前記2つ以上のz-平面からの情報を組み合わせることをさらに含む、項目1に記載の方法(50)。
(項目14)
前記情報を組み合わせることは、選択された前記2つ以上のz-平面からの前記単一ピクセルまたはピクセルの群に関する値を平均または補間することを含む、項目13に記載の方法(50)。
(項目15)
前記情報を組み合わせることは、選択された前記2つ以上のz-平面からの前記単一ピクセルまたはピクセルの群に関する前記それぞれの対応の程度に基づく、項目13に記載の方法(50)。
(項目16)
前記組の前記z-平面画像(88a-f)の各々を前記明視野平面(76)に計算上逆投影し、逆投影された画像の組を取得することをさらに含み、比較することは、逆投影された画像の組を使用する、項目1に記載の方法(50)。
(項目17)
前記捕捉することは、結像システム(110)の画像センサ(146)によって実施され、順投影および各逆投影は、前記結像システム(110)に関する既知のマッピング幾何学形状を使用する、項目1に記載の方法(50)。
(項目18)
前記既知のマッピング幾何学形状は、前記結像システム(110)の総拡大率に関する値と、前記結像システム(110)のマイクロレンズアレイ(142)によって生成された拡大率に関する少なくとも1つの値とを利用する、項目17に記載の方法(50)。
(項目19)
サンプル(74)を結像するためのシステム(110)であって、前記システム(110)は、
(a)サンプル(74)を物体空間(78)内の光学軸(128)上に保持するためのステージと、
(b)前記光学軸(128)上のマイクロレンズアレイ(142)と、
(c)前記マイクロレンズアレイ(142)を通して伝搬された光で形成された前記サンプル(74)の明視野画像(72)を捕捉するように構成された画像センサ(146)と、
(d)プロセッサ(156)と
を備え、
前記プロセッサ(156)は、
(i)前記明視野画像(72)を物体空間(78)内の複数のz-平面の各々に計算上順投影し、z-平面画像(88a-f)の組を発生させることと、
(ii)前記明視野画像(72)に対して、各z-平面画像からの物体空間(78)内の同じxy-領域の前記明視野平面(76)への逆投影を比較し、前記z-平面画像(88a-f)の各々からの前記逆投影されたxy-領域と前記明視野画像(72)との間のそれぞれの対応の程度を決定することであって、比較することは、物体空間(78)内の複数の異なるxy-領域の各々に関して繰り返される、ことと、
(iii)各異なるxy-領域に関して、前記サンプル(74)の物体空間画像内の前
記異なるxy-領域に関するデータを提供するための前記z-平面画像(88a-f)のうちの少なくとも1つを選択することと、
(iv)前記サンプル(74)の物体空間画像を発生させることと
を行うように構成されている、システム(110)。
(項目20)
プロセッサに項目1に記載の方法を実施させる命令を有するコンピュータ読み取り可能な媒体。
【図面の簡単な説明】
【0007】
【
図1】
図1は、明視野空間と物体空間との間の順投影および逆投影を含む2段階明視野再構築に基づく、サンプル結像の方法内で実施され得る例示的ステップのフローチャートである。
【
図2】
図2は、
図1のフローチャートからのステップのうちのいくつかの概略図である。
【
図3】
図3は、順投影されたz-平面画像を生成するための物体空間内の複数のz-平面への3つの物体(ビーズ)の例示的明視野画像の順投影の簡略化された例証である。
【
図4】
図4および5は、z-位置の関数として、
図3の明視野画像と
図3の順投影されたz-平面画像の各々からの2つのそれぞれのビーズを描写するピクセルの群の逆投影との間の対応の程度をプロットすることによって取得され得る例示的グラフである。
【
図5】
図4および5は、z-位置の関数として、
図3の明視野画像と
図3の順投影されたz-平面画像の各々からの2つのそれぞれのビーズを描写するピクセルの群の逆投影との間の対応の程度をプロットすることによって取得され得る例示的グラフである。
【
図6】
図6は、ウェル内に細胞含有サンプルのアレイを保持するマイクロプレートを支持する明視野顕微鏡を含む例示的明視野結像システムの概略図である。
【
図7】
図7は、
図6の明視野顕微鏡の選択された構成要素を用いて生成された光線図であり、物体空間の平面内に位置する点物体から2次元明視野空間内のセンサ平面(すなわち、明視野平面)までの例示的光線の伝搬を図示する。
【
図8】
図8は、概して、
図7の線8-8に沿って得られる
図7の明視野顕微鏡のための例示的マイクロレンズアレイの正面図である。
【
図9】
図9は、
図7の光線図に類似するが、物体平面が明視野顕微鏡の対物レンズにより近いz-位置を有する光線図である。
【
図10】
図10は、
図7の光線図に類似するが、物体平面が明視野顕微鏡の対物レンズからより遠いz-位置を有する別の光線図である。
【
図11】
図11は、明視野顕微鏡の概略図であり、代表的光線とともに、マイクロレンズアレイを使用した実際の反転された画像の結像を図示し、物体空間内の点を明視野空間内の複数の点に関連させるマッピング関数のための基礎も図示する。
【
図12】
図12は、明視野顕微鏡の別の概略図であり、代表的光線とともに、マイクロレンズアレイを使用した仮想上の反転された画像の結像を図示し、物体空間内の点を明視野空間内の複数の点に関連させるマッピング関数のための基礎も図示する。
【発明を実施するための形態】
【0008】
(詳細な説明)
本開示は、2段階明視野再構築を介したサンプル結像のための方法およびシステムを提供する。例示的方法では、サンプルの明視野画像が、明視野平面において捕捉され得る。明視野画像は、物体空間内の複数のz-平面の各々に計算上順投影され、順投影されたz-平面画像の組を発生させ得る。各z-平面画像から物体空間内の同じxy-領域の明視野平面への計算上の逆投影は、z-平面画像の各々からの逆投影されたxy-領域と明視野画像との間のそれぞれの対応の程度を決定するために、明視野画像と比較され得る。この比較は、物体空間内の複数の異なるxy-領域の各々に関して繰り返され得る。各異なるxy-領域に関して、順投影されたz-平面画像のうちの少なくとも1つが、サンプルの2Dまたは3D物体空間画像における異なるxy-領域のためのデータを提供するために選択され得る。データを組み込む物体空間画像が、発生させられ得る。
【0009】
本開示の方法は、タイプLF1.0およびLF2.0の明視野結像構成に適用されることができる。例えば、方法は、非テレセントリック幾何学形状を有する明視野結像システムに適用され、拡大率は、対物レンズまでの各横方向物体平面の距離(すなわち、物体平面のz-位置)に依存する。方法は、非反復の順投影および逆投影を利用し得る。閾値なし順投影が、物体場所の初期z-推定値を取得するために、光学経路の幾何学的表現(例えば、較正画像のスタックから決定される)を使用して、3D物体空間に対して明視野画像上で実施され得る。各物体ボクセル(またはピクセル)のz-推定値は、明視野空間への計算上の逆投影を使用し、明視野画像の覆われたサブ画像におけるパターンに基づいて各z-仮説に関するサポートをランク付けすることによって、精緻化され得る。
【0010】
物体空間の再構築は、古典的画像スタックを用いて取得される空間位置と一致する。しかしながら、明視野設定および説明される再構築を使用した入手の重要な利点は、サンプル物体(例えば、ビーズまたは細胞)の空間位置(x,y,z)を含む3Dボリュームが、単一明視野画像から取得され得ることである。したがって、方法は、調節可能z-ステージを使用してz-軸を走査することによって古典的画像スタックを入手するより、はるかに高速である。
【0011】
明視野画像からの3次元物体空間(x,y,z)の定量的再構築を実施することが可能であるために、物体空間と2次元明視野空間との間の関係が、明視野画像の各マイクロレンズサブ画像
【0012】
【0013】
に関して把握される必要がある。マッピング関数は、
【0014】
【0015】
として定義される。原理上、マッピング関数は、実験設定の幾何学的パラメータに関する値(関連光学要素の基本平面から画像センサまでの相対的距離等)に基づいて決定されることができる。実践では、これらの基本平面の正確な場所は、未知であり、明視野結像システム(例えば、明視野顕微鏡)の内側の相対的距離は、要求される正確度まで容易に決定されることができない。この精密な幾何学的情報の不足は、LF2.0構成に関してより問題となる(LF2.0構成において、明視野結像システムの内側のマイクロレンズアレイの位置付けのための明確に定義された光学基準(対物レンズの中間像面およびマイクロレンズアレイの焦点面等)は、存在しない)。加えて、実レンズシステムの光学的影響(例えば、マイクロレンズアレイのレンズまたは明視野結像システムの他の光学要素によって引き起こされる収差または誤差)は、外部から測定された仮定される光学幾何学形状と比較して、実際の光学幾何学形状におけるずれにつながり得る。外部測定から関連幾何学形状を決定することにおけるこれらの固有の困難の他、幾何学形状へのユーザ誘発変更(例えば、再焦点合わせまたは非意図的不整列に起因して)も、頻繁に生じ得る。実際の幾何学形状に対する仮定される幾何学形状における全てのずれは、投影および再構築における誤差につながり、正しくない深度情報、コントラストの低下、または再構築の完了失敗をもたらすであろう。
【0016】
本明細書に開示される方法は、光学レイアウトの幾何学形状の詳細な知識を伴わずに、3次元物体空間を2次元明視野空間に関連させるマッピング関数を利用し得る。マッピング関数は、下記の実施例1に説明されるように、システムパラメータに関する値(物体空間内の着目z-位置の範囲全体にわたる総拡大率およびマイクロレンズアレイに起因する拡大率等)を採用し得る。
【0017】
本明細書に開示される方法は、レンズベースの明視野システムが実行可能である全ての波長レジームのために使用されることができる。例えば、波長レジームは、紫外線、可視、および/または赤外線である光学放射を含むことができる。
【0018】
本明細書に開示される方法およびシステムは、スクリーニング用途において、3次元細胞集団(例えば、回転楕円体、オルガノイド)の構造を迅速に決定することを可能にし得る。現在、これらのスクリーニング用途のスループットは、各着目箇所におけるz-系の画像(概して、10枚を上回る画像)を入手するために必要とされる時間によって限定される。スループットは、共焦点顕微鏡がその箇所における3次元ボリュームを結像するために採用される場合、さらに限定される。対照的に、本開示の方法およびシステムは、単一明視野画像から細胞集団についての3次元情報を発生させることができる。
【0019】
本開示のさらなる側面は、以下の節に説明される:(I)定義、(II)方法概要、(III)明視野結像システム、(IV)例示的幾何学的マッピング関数、および、(V)選択された側面。
【0020】
(I.定義)
本開示内で使用される技術的用語は、当業者によって一般に認識される意味を有する。しかしながら、以下の用語は、以下のようにさらに定義され得る。
【0021】
(コンピュータ):可変プログラムによって提供され得る命令に従って、典型的に、バイナリ形態において、データを記憶および処理するための電子デバイス。コンピューティングデバイスとも呼ばれる例示的コンピュータは、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン等を含む。
【0022】
(検査領域):明視野結像システムの光学軸によって交差されるボリュームであり、サンプルの物体が、画像センサを用いて結像するために検査領域の中に位置し得る。
【0023】
(画像):物体および/または視野の光学的またはデジタル表現。表現は、光学的である場合、とりわけ、空間内の平面(例えば、中間像面またはセンサ平面)において、または、(例えば、画像センサの)表面上で、光によって形成され得る。表現は、デジタルである場合、画像センサによって捕捉された未加工明視野画像、その処理された形態、または、2次元(ピクセル)または3次元(ボクセル)「物体空間」画像であり得る。
【0024】
(画像センサ):2つの次元における光の空間変動(例えば、強度の変動)を検出することが可能な光学センサであり、光は、センサの感光検出エリア上に入射する。画像センサは、電荷結合素子(CCD)センサ、アクティブピクセルセンサ(例えば、相補的金属-酸化物-半導体(CMOS)センサ)、ハイブリッドCCD-CMOSセンサ等の2次元アレイセンサであり得る。画像センサは、ピクセルの矩形アレイとして、ラスタ画像(すなわち、ビットマップ)を生成し得、カラー画像、グレースケール(モノクロ)画像、または両方を入手するように構成され得る。
【0025】
(レンズアレイ):レンズの2次元アレイ。明視野顕微鏡検査のためのアレイ内で好適であり得る例示的レンズは、マイクロレンズ、すなわち、各々が約1ミリメートル未満の直径を有するレンズである。マイクロレンズアレイのために好適であり得る例示的マイクロレンズ径は、とりわけ、各マイクロレンズに関して、約750、500、400、300、200、または100マイクロメートル未満を含む。明視野接写撮影のための例示的レンズ径は、少なくとも1ミリメートルの直径を有するレンズ、またはある場合、上で説明されるようなマイクロレンズであるレンズを含む。
【0026】
レンズアレイは、任意の好適な特性を有し得る。アレイのピッチ(レンズ間間隔)は、レンズ径に類似していることも、類似していないこともある(レンズ径より約50%、25%、20%、または10%以下大きい等)。レンズは、とりわけ、矩形グリッドまたは六角形グリッドを形成し得る。アレイは、任意の好適な数(概して少なくとも4つ)のレンズを含み得る。いくつかの実施形態では、アレイは、とりわけ、少なくとも25、50、または100個のレンズを含み得る。例えば、アレイは、アレイによって定義された一対の直交軸の各々に沿って、少なくとも2、3、4、5、6、7、または10個のレンズを含み得る。アレイのレンズは、サイズおよび/または形状が互いに実質的に同一であり得るか、または、サイズおよび/または形状が異なり得る。さらに、アレイは、統合されたユニットであり得、および/または、アレイのレンズは、互いに一体的に形成され得る。
【0027】
(光):紫外線放射、可視放射(すなわち、可視光)、および/または赤外線放射を含む光学放射。
【0028】
(明視野画像):マイクロレンズアレイによって画像センサ上に光で形成された光学画像であり、該光学画像は、アレイのマイクロレンズに対応するサブ画像の2次元アレイ、またはそれらのサブ画像の捕捉された(デジタル)形態から成る。サブ画像は、概して、そうであるとしても、互いに大きく重複しない。サブ画像は、実質的に焦点が合っていることも、焦点が合っていないこともある。
【0029】
(光源):随意に、電気によって給電され、随意に、光のビームとして、光を発生させるデバイス。光源は、少なくとも1つの発光要素を含み、発光要素によって放出される光を成形、サイズ決定、フィルタリング、偏光、散乱、方向付け、および/または、別様にそれと作用するための任意の関連付けられる光学要素を含み得る。これらの光学要素は、少なくとも1つの導波管(例えば、光ファイバまたは液体光ガイド)、レンズ、ミラー、フィルタ、拡散器、マスク、開口、ビームスプリッタ、格子、プリズム、偏光器等の任意の組み合わせを含み得る。例示的発光要素は、半導体デバイス、レーザ(例えば、エキシマレーザ、ガスレーザ、染料レーザ、固体レーザ、半導体結晶またはダイオードレーザ、自由電子レーザ等)、アーク灯等を含む。例示的半導体発光要素は、とりわけ、レーザダイオード、発光ダイオード(LED)、およびスーパールミネセントダイオードを含む。
【0030】
(物体空間画像):物理的空間(すなわち、物体空間)の領域を表し、少なくとも1つの明視野画像から再構築される2Dまたは3D画像。
【0031】
(対物レンズ):物体および/または視野からの光を集め、集められた光を集中させる単一光学要素または光学要素の組み合わせ。本明細書で使用されるような対物レンズは、検査領域と明視野結像システムのレンズアレイとの間で光学軸に沿って位置する各光学要素を含み得る。
【0032】
(光学系):結像システムの光学要素の組であり、それらは、光源と検査領域との間の光学経路に沿って(照明光学系)、および/または、検査領域と画像センサとの間で光学軸に沿って(収集光学系)、配置され得る。光学要素は、光を収集、方向付け、集中、フィルタリング、偏光、散乱、コリメート、および/または、部分的に遮断する等、光と相互作用する任意のデバイスまたは構造であり得る。光学要素は、とりわけ、反射、屈折、散乱、回折、吸収、および/またはフィルタリング等の任意の好適な機構によって機能し得る。例示的光学要素は、レンズ、ミラー、拡散器、格子、プリズム、フィルタ、開口、マスク、ビームスプリッタ、導波管、偏光器等を含む。
【0033】
(サンプル):任意の好適な特性を有する試料。サンプルは、有機物および/または無機物、天然物および/または人工物であり得、任意の好適な集合、材料、物質、単離物、抽出物、粒子等を含み得る。例示的実施形態では、サンプルは、生物学的細胞(単離された細胞または細胞の1つ以上の集団等)を含む。生物学的細胞は、真核生物(例えば、哺乳類細胞)または原核生物(例えば、細菌細胞)であり得る。例示的生物学的細胞は、確立された細胞(細胞株)、一次細胞、組織サンプルの細胞、トランスフェクト細胞、臨床サンプルからの細胞(例えば、血液サンプル、流体吸引物、組織断片等)、細胞のクローン等を含む。細胞は、随意に、任意の好適な液体媒体と接触する(例えば、その中に浸漬される)サンプルホルダによって含まれ得る。液体媒体は、水性媒体であり得、それは、とりわけ、水、塩、緩衝剤、グルコース、洗剤、染料、タンパク質、アミノ酸、またはそれらの任意の組み合わせを含み得る。液体媒体は、細胞のための成長媒体であり得る。
【0034】
(サンプルホルダ):随意に、サンプルがデバイスの水平透明壁(例えば、ウェルの底壁)を通して結像されることを可能にする少なくとも1つのサンプルまたは空間的に分離されたサンプルの任意のアレイを保持するためのデバイス。明視野顕微鏡検査のための例示的サンプルホルダは、(マルチウェル)マイクロプレート、培養皿、培養フラスコ、スライド、フローチップ等を含む。
【0035】
(z-位置):物体が配置され得る明視野結像システムの光学軸に沿った場所のうちの1つ。z-位置は、光学軸と平行に測定される、物体と明視野結像システムの対物レンズとの間の距離として定義されることができ、物体または対物レンズを光学軸と平行に移動させることによって、変更されることができる。
【0036】
(II.方法概要)
本節は、2段階明視野再構築を使用したサンプル結像の例示的方法50の概要を提供する(
図1-5参照)。2段階明視野再構築は、明視野平面から物体空間のz-平面への明視野画像の計算上の順投影と、各z-平面から明視野平面への計算上の逆投影とを含む。
【0037】
方法50は、物体空間と明視野空間との間のマッピング幾何学形状が既知である任意の明視野結像システムとともに実施され得る。より具体的に、マッピング幾何学形状は、方法50の実施に先立って、物体空間と明視野空間との間での反対方向における2段階マッピングを可能にするために十分に特性評価され得る。結像システムによって定義された明視野平面内で捕捉される2次元明視野画像のピクセルは、物体空間内のピクセル/ボクセルにマッピング(すなわち、マッピング関数を用いて実施されるデータ処理を介して順投影)されることができる。次に、2次元または3次元物体空間画像のピクセル/ボクセルは、明視野平面にマッピング(すなわち、マッピング関数を用いて実施されるデータ処理を介して逆投影)されることができる。
【0038】
マッピング幾何学形状は、任意の好適な手順によって特性評価され得る。いくつかの例では、マッピング幾何学形状は、較正標的を使用して定義され得る。明視野結像システムの総拡大率およびマイクロレンズ拡大率に基づいてマッピング幾何学形状を決定するための例示的較正標的およびその使用は、第IV節に説明される。他の例では、マッピング幾何学形状は、システムの光学系の明示的構成(システム内の光学要素のタイプ、その光学パラメータ、および互いからのその相対的距離等)の知識から決定され得る。さらに他の例では、マッピング幾何学形状は、結像システムのための光学モデルの自由パラメータを決定するための1つ以上の反復最適化プロセスを介して抽出され得る。
【0039】
方法50自体は、非反復的に、閾値化を伴わずに、実施され得る。明視野空間から物体空間へのマッピングは、第1の段階において実施され、次いで、第2の段階において、明視野空間に戻り得る。第1および第2の段階の反復は、必要とされない。さらに、マッピングは、雑音をフィルタリング除去するためのどんな閾値も適用せずに実施され得る。
【0040】
図1は、方法50で実施され得る例示的ステップを示す。52、54、56、58、60、および62に示されるステップは、任意の好適な順序および組み合わせで実施され得、本明細書のいずれかの場所で説明され得るように修正され得る。方法50の例証的側面は、
図2-5に図式的に示される。
【0041】
サンプル74の明視野画像72は、方法50内の52に示されるように、明視野平面76において捕捉され得る(
図1および2(パネルA)参照)。サンプル74は、3次元物体空間78内に位置し、1つ以上の別々の物体80.1、80.2、および80.3を含み得、それらは、とりわけ、細胞またはビーズ等の微視的物体であり得る。各物体80.1-80.3は、物体空間78内のx、y、およびz軸に対する位置を有する。z-軸は、典型的に、結像のための光学軸と平行であり、光学軸と同じであり得る。
図2の物体空間78内では、z-軸82は、水平として示され、x-軸は、垂直であり、y-軸は、図面の平面に直交する。各々がz-軸に直交して向けられた間隔を置かれた平面は、本明細書では、z-平面として説明される。
【0042】
明視野画像72は、
図2のパネルA内の84における矢印によって示されるサンプル74からの光をマイクロレンズアレイを通して伝搬することによって形成され得る。明視野平面76上に入射する光は、画像センサによって検出され、それは、明視野画像の捕捉をもたらす。
【0043】
明視野画像72は、方法50内の54に示されるように、明視野平面76から物体空間78の中に計算上順投影され、z-平面画像とも呼ばれる順投影された画像88a-fを発生させ得る(
図1および2(パネルB)参照)。
【0044】
順投影は、任意の好適な方法で実施され得る。例えば、明視野空間内の各点(すなわち、明視野画像の各点)は、マッピング幾何学形状関数を使用して、物体空間に順投影され得る(例えば、第IV節参照)。別の例として、明視野画像全体が、明視野空間を物体空間と接続する事前算出されたルックアップテーブルを使用して、一度に順投影され得る。さらに別の例として、明視野画像全体が、明視野空間を物体空間と接続する導出されたシステム行列(2次元またはより高い次元行列として表される)を使用して、一度に順投影され得る。
【0045】
2つ、3つ、4つ、またはそれを上回るz-平面画像が、発生させられ得、各々は、物体空間78内の異なるz-平面への順投影を表す。各z-平面画像88a-fは、xy-領域から成り、各々は、とりわけ、ピクセル、ピクセルの群、または物体に対応する。z-平面画像88a-fは、z-軸82に沿って、互いから均一に間隔を置かれることも、そうではないこともある。
【0046】
z-平面画像88a-fまたは各z-平面画像のその少なくとも対応するxy-領域(例えば、xy-領域90.1、90.2、および90.3)は、方法50内の56に示されるように、明視野平面76に計算上逆投影され、逆投影94a-f、96a-f、および98a-fの組を生成し得る(
図1および2(パネルC)参照)。逆投影94a-f、96a-f、または98a-fの各組の要素は、物体空間78内の同じxy-領域であるが、異なるz-平面を表す。
図2(パネルC)に描写されるxy-領域90.1、90.2、および90.3は、それぞれ、物体80.1、80.2、および80.3に関するz-候補(すなわち、z-位置推定)に対応する(
図2(パネルA)参照)。他の実施例では、これらのxy-領域は、とりわけ、z-平面画像88a-fの単一ピクセルまたはピクセルの群に対応し得る。
【0047】
逆投影94a-f、96a-f、および98a-fの各組の要素は、方法50内の58に示されるように、明視野画像72と比較され得る(
図1および2(パネルD)参照)。この比較は、所与の逆投影組の各要素(94a-f、96a-f、または98a-f)と明視野画像72との間の対応の程度を測定する。逆投影組の所与の要素に関するより高い対応の程度は、所与の要素に関する祖先z-平面画像のxy-領域を構築されるべき物体空間画像のその同じ領域のためのより良好な候補にする。
【0048】
方法50内の60および62に示されるように、少なくとも1つのz-平面画像が、出力された物体空間画像(例えば、表示される物体空間画像)内のxy-領域の各々を発生させるために選択され得、物体空間画像の対応する領域が、選択されたz-平面画像を使用して発生させられ得る(
図1参照)。例えば、物体空間画像のxy-領域のうちの1つ以上の各々は、単一z-平面画像からの対応するxy-領域を直接使用して発生させられ得る。代替として、または加えて、物体空間画像のxy-領域のうちの1つ以上の各々は、異なるz-平面画像のための同じxy-領域に関して測定された対応の程度に基づいて、平均、補間、最大強度演算等によって、2つ以上のz-平面画像からの同じxy-領域を使用して発生させられ得る。
【0049】
発生させられた物体空間画像は、2次元(2D)または3次元(3D)画像であり得る。2D画像である場合、2D画像は、ピクセルから成る実質的に全て焦点が合っている2D画像であり得る。3D画像である場合、3D画像は、ボクセルから成り得る。
【0050】
図3は、物体空間78内の4つのz-平面への3つの物体80.1-80.3(例えば、蛍光性ビーズ)の例示的明視野画像72の順投影の簡略化された例証を示す(
図2も参照)。この例では、z-平面は、それぞれのz-位置:-40、-30、-20、および-10マイクロメートル(μm)に位置する。明視野画像72の順投影によって生成されたz-平面画像88a-88dの各々は、xy-領域90.1、90.2、および90.3を含む。それぞれのz-平面画像88a-88d内のこれらのxy-領域の内容は、明視野画像72における物体80.1-80.3の明視野表現102、104、および106の物体空間78における候補対応物である。
【0051】
各画像88a-88dにおける各xy-領域90.1-90.3に関する焦点整合の程度が、黒丸または斜線によって示される。所与のz-平面における所与のxy-領域に関する黒丸の存在は、所与のxy-領域がそのz-平面において実質的に焦点が合っていることを意味する。斜線の存在は、所与のxy-領域が異なるz-平面における同じxy-領域に関する黒丸ほどそのz-平面において焦点が合っていないことを示す。所与のz-平面における所与のxy-領域に関する斜線のより狭い間隔は、異なるz-平面における同じxy-領域に関する斜線のより広い間隔より良好な焦点整合を意味する。故に、(物体80.1に関する)xy-領域90.1は、-20μmにおいて、順投影された画像88c内で最良の焦点整合を有する一方、(物体80.2および80.3に関する)xy-領域90.2および90.3は、-40μmにおいて、順投影された画像88a内で最良の焦点整合を有する。
【0052】
各z-平面における各xy-領域90.1-90.3に関する焦点整合の程度が、明視野画像72の明視野平面へのxy-領域の逆投影、および各逆投影の明視野画像との比較によって、推定されることができる。
図4および5は、
図3の各xy-領域90.1に関する例示的比較(
図4)、および
図3の各xy-領域90.2(
図5)に関する例示的比較を図示するグラフを示す。グラフは、z-位置に従って、各逆投影されたxy-領域90.1または90.2に関して、明視野画像72との対応の程度をプロットする。
図3に可視の焦点整合の程度と一致して、順投影された画像88cからのxy-領域90.1の逆投影(-20μm)は、試験される他のz-位置に対して、明視野画像72と最大の対応の程度を示す(
図4参照)。順投影された画像88aからのxy-領域90.2の逆投影(-40μm)も、試験される他のz-位置に対して、明視野画像72と最大の対応の程度を示す(
図5参照)。故に、2Dまたは3D物体空間画像は、測定された対応の程度に基づいて、xy-領域90.1に関する画像88cからのデータと、xy-領域90.2に関する画像88aからのデータとのより大きいまたは排他的寄与を使用して、発生させられることができる。
【0053】
図1のステップの任意の組み合わせまたは本明細書に開示される他の方法は、コンピュータ方法、コンピュータシステム、またはコンピュータプログラム製品として具現化され得る。故に、方法の側面は、全体的にハードウェア実施例、全体的にソフトウェア実施例(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)、またはソフトウェアおよびハードウェア側面を組み合わせる実施例の形態をとり得、その全ては、概して、本明細書では、「回路」、「モジュール」、または「システム」と称され得る。さらに、方法の側面は、その上に具現化されるコンピュータ読み取り可能なプログラムコード/命令を有するコンピュータ読み取り可能な媒体(または複数の媒体)内に具現化されるコンピュータプログラム製品の形態をとり得る。
【0054】
コンピュータ読み取り可能な媒体の任意の組み合わせが、利用され得る。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体および/またはコンピュータ読み取り可能な記憶媒体であることができる。コンピュータ読み取り可能な記憶媒体は、電子、磁気、光学、電磁、赤外線、および/または半導体システム、装置、またはデバイス、またはこれらの任意の好適な組み合わせを含み得る。コンピュータ読み取り可能な記憶媒体のより具体的は、以下を含み得る:ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、これらの任意の好適な組み合わせ等。本開示の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによる、またはそれと関連する使用のためのプログラムを含み得る、または記憶し得る任意の好適な非一過性有形媒体を含み得る。
【0055】
コンピュータ読み取り可能な信号媒体は、例えば、ベースバンド内に、または搬送波の一部として、コンピュータ読み取り可能なプログラムコードがその中に具現化される伝搬データ信号を含み得る。そのような伝搬信号は、限定ではないが、電磁、光学、および/またはそれらの任意の好適な組み合わせを含む種々の形態のいずれかをとり得る。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体ではなく、命令実行システム、装置、またはデバイスによる、またはそれと関連する使用のためのプログラムを通信、伝搬、または輸送することが可能である任意のコンピュータ読み取り可能な媒体を含み得る。
【0056】
コンピュータ読み取り可能な媒体上に具現化されるプログラムコードは、限定ではないが、とりわけ、無線、ワイヤライン、光ファイバケーブル、および/またはこれらの任意の好適な組み合わせを含む、任意の適切な媒体を使用して伝送され得る。
【0057】
本明細書に開示される方法の側面のための動作を行うためのコンピュータプログラムコードは、Java(登録商標)、Smalltalk、C++等のオブジェクト指向プログラミング言語、およびC等の従来の手続型プログラミング言語を含む1つまたは任意の組み合わせのプログラミング言語で書き込まれ得る。モバイルアプリが、前述に述べられたものおよびObjective-C、Swift、C#、HTML5等を含む任意の好適な言語を使用して開発され得る。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、独立型ソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、かつ部分的に遠隔コンピュータ上で、または完全に遠隔コンピュータまたはサーバ上で実行し得る。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意のタイプのネットワークを通して、ユーザのコンピュータに接続され得、および/または接続は、外部コンピュータに行われ得る(例えば、インターネットサービスプロバイダを使用して、インターネットを通して)。
【0058】
方法の側面は、方法、装置、システム、および/またはコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して本明細書に説明される。フローチャートおよび/またはブロック図内の各ブロックおよび/またはブロックの組み合わせは、コンピュータプログラム命令によって実装され得る。コンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行する、命令が、フローチャートおよび/またはブロック図ブロック内に規定された機能/行為を実装するように、汎用コンピュータ、特殊目的コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供され、機械を生成し得る。いくつかの実施例では、機械読み取り可能な命令は、フィールドプログラマブルゲートアレイ(FPGA)等のプログラマブル論理デバイス上にプログラムされ得る。
【0059】
コンピュータプログラム命令は、コンピュータ読み取り可能な媒体内に記憶される命令が、フローチャートおよび/またはブロック図ブロック内に規定された機能/行為を実装する、命令を含む製造品を生成するように、コンピュータに特定の様式において機能するように指示し得るコンピュータ読み取り可能な媒体内に記憶されることもできる。
【0060】
コンピュータプログラム命令は、コンピュータ上で実行される命令が、フローチャートおよび/またはブロック図ブロック内に規定された機能/行為を実装するためのプロセスを提供するように、コンピュータ上にロードされ、一連の動作ステップがデバイス上で実施され、コンピュータ実装プロセスを生成するようにすることができる。
【0061】
図面内の任意のフローチャートおよび/またはブロック図は、本明細書に開示される方法の側面に従って、システム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および/または動作を図示するように意図される。この点では、各ブロックは、モジュール、セグメント、またはコードの一部を表し得、それは、規定された論理機能を実装するための1つ以上の実行可能命令を備える。いくつかの実装では、ブロック内に記載される機能は、図面に記載される順序外で生じ得る。例えば、連続して示される2つのブロックは、実際は、実質的に並行して実行され得るか、または、ブロックは、関わる機能性に応じて、時として、逆順で実行され得る。各ブロックおよび/またはブロックの組み合わせは、規定された機能または行為を実施する特殊目的ハードウェアベースのシステム(または特殊目的ハードウェアとコンピュータ命令の組み合わせ)によって実装され得る。
【0062】
(III.明視野結像システム)
本節は、第II節の方法を実施するための例示的明視野結像システム110を説明する(
図6-10参照)。
【0063】
明視野結像システム110は、着目物体を支持するためのステージ114を有する明視野顕微鏡112(または明視野接写撮影のための明視野カメラ)を含み得る。ここでは、サンプルホルダ116は、ステージ114によって支持される。サンプルホルダ116は、例えば、各々が生物学的細胞124を含み得るサンプル122を含む複数のウェル120を有するマイクロプレート118であり得る。駆動機構126が、ステージ114およびサンプルホルダ116を互いに対して移動させ、各ウェル120をシステム110の光学軸128上に設置し得る。
【0064】
光学軸128は、対物レンズ132によって、物体空間78の検査領域130において定義され得る。物体空間78内の物体平面134(z-平面)は、サンプルホルダ116がステージ114によって動作可能に支持され、対物レンズ132の正面焦点面の近傍に位置し得るとき、光学軸128(z-軸)に直交する。
【0065】
サンプル122は、光源138によって発生させられた光学放射(例えば、可視光)で照明され得る。サンプル122の照明は、例えば、サンプルの中の少なくとも1つの発光団からフォトルミネセンス(蛍光等)を誘発し得る。フォトルミネセンスは、例えば、対物レンズ132、随意のチューブレンズ140、およびマイクロレンズアレイ142を通して伝搬し得る。マイクロレンズアレイ142は、2次元アレイに配置される任意の好適な数のマイクロレンズ144を有し得る。マイクロレンズアレイ142の個々のマイクロレンズ144は、少なくとも部分的に、各々がマイクロレンズ144の異なるものに対応するフォトルミネセンスを画像センサ146上に集中させ、個々のサブ画像を形成し得る。画像センサ146は、サブ画像の明視野画像を捕捉し、それは、データ処理のために、コンピュータ148に通信される。(例えば、明視野接写撮影のための)他の実施形態では、マイクロレンズアレイ142は、必ずしもマイクロレンズではないレンズから成るレンズアレイによって置換され得る。他の実施形態では、サンプル122は、明視野画像を形成する入射光学放射を透過させ、反射し、または、別様にそれと相互作用し得る。
【0066】
明視野顕微鏡112は、駆動機構126を介して、光学軸128に沿って、サンプル122のz-位置の調節を可能にする。より具体的に、駆動機構は、光学軸128に沿って、サンプル122と対物レンズ132との間の距離を変化させるように動作することができる。故に、駆動機構126は、
図1に示されるように、対物レンズ132のz-位置(例えば、高度)が固定されたまま、ステージの移動(例えば、垂直移動)を駆動するように、ステージ114に結合され得る。代替として、駆動機構126は、ステージ114のz-位置(例えば、高度)が固定されたまま、対物レンズ132の移動(例えば、垂直移動)を駆動するように、対物レンズ132に結合され得る。駆動機構126は、モータ150(または手動で駆動され得る)を含み得、コンピュータ148によって制御され得る。
【0067】
光学軸128は、任意の好適な向きおよび特性を有し得る。光学軸は、典型的に、対物レンズ132において垂直であり、上向きに垂直に(ここに示されるように)または検査領域130および物体平面134を通して対物レンズ132から下向きに垂直に延び得る。換言すると、明視野顕微鏡112は、ここに示されるように、対物レンズ132を下記の検査領域130の下方に伴う反転構成、または対物レンズ132を検査領域130の上方に伴う非反転構成を有し得る。しかしながら、他の実施形態では、光学軸128は、対物レンズ132において水平または斜め(略水平または略垂直のいずれでもない)であり得る。光学軸128は、折り曲げられないことも、光学軸に沿って1つ以上の箇所において折り曲げられることもある(例えば、ミラーを用いて)。
【0068】
光源138は、任意の好適な光源を用いて、検査領域130(およびその中のサンプル122)の任意の好適な照明を提供するように配置され得る(例えば、第I節参照)。照明は、とりわけ、落射照明(ここに示されるように)、徹照、傾斜照明、またはそれらの組み合わせであり得る。任意の好適な光学要素が、光源138と検査領域130との間の照明経路上に動作可能に位置付けられ、検査領域の上流の光源によって発生させられた光学放射を方向付け得、および/または、調整し得る。照明経路内に位置する例示的光学要素は、ビームスプリッタ152、拡散器、スペクトルフィルタ、コリメートレンズまたはミラー、折り曲げミラー、光ガイド等を含み得る。サンプル122からの光学放射は、対物レンズを通した伝搬のための対物レンズ132、ビームスプリッタ152、チューブレンズ140、および画像センサ146による検出のためのマイクロレンズアレイ142によって収集され得る。
【0069】
コンピュータ148は、画像センサ146と通信し、画像センサ146によって捕捉された明視野画像を処理する。コンピュータ148は、命令を処理するためのプロセッサ156と、命令およびデータを記憶するためのメモリ158と、コンピュータ148とユーザとの間の通信のためのユーザインターフェース160とを含み得る。ユーザインターフェースは、キーボード、マウス、またはタッチスクリーン等のユーザ入力デバイスと、モニタ等のディスプレイデバイスとを含み得る。
【0070】
図7は、明視野顕微鏡112の選択された構成要素のみを伴う光線図を示す。略図は、光学放射が物体空間78の物体平面134内の物点162から画像センサ146上の複数の別個の明視野像点164に伝搬し得る様子を描写する。光学放射は、物点162から中間像面170内の中間点168まで延びている上流周辺光線166と、中間点168から画像センサ146によって定義された明視野平面76まで延びている下流周辺光線172とによって表される。この例示的構成では、物体平面134、中間像面170、および明視野平面76は、光学放射が明視野像点164に精密に集中させられるように、互いに共役関係にある。
【0071】
例示的マイクロレンズアレイ142の平面図が、
図8に示される。マイクロレンズ144は、2次元アレイに配置され得る。マイクロレンズは、アレイの平面内の一対の直交軸に沿って分配され、示されるように、矩形グリッドを定義し得るが、マイクロレンズの非矩形配置が、代わりに使用され得る。いくつかの実施形態では、マイクロレンズ144は、対の軸の各直交軸に沿って、互いから均一に間隔を置かれ得、随意に、示されるように、両方の軸に沿って、互いから同じ間隔、すなわち、ピッチdを有し得る。
【0072】
明視野像点164間の距離は、視差に起因して、マイクロレンズ144の間隔(例えば、
図8におけるピッチd)を上回り得る(
図7参照)。中間点168からの光学放射は、各マイクロレンズに関して異なる角度において、マイクロレンズアレイ142の個々のマイクロレンズ144の少なくとも一部上に入射し得る。換言すると、中間点168から一部の各マイクロレンズ144を通して伝搬する各主光線は、異なる向きを有する。中間点168からの光学放射は、中間点168から伝搬する光学放射の円錐サイズが(例えば、対物レンズ132内の)上流に位置する開口(例えば、停止要素174)によって限定され得るので、示されるように、マイクロレンズアレイ142のマイクロレンズの一部上にのみ入射し得る。(しかしながら、明視野顕微鏡112は、拡大率が対物レンズ132からの距離に伴って変動するように、概して、非テレセントリック光学構成を有する。)物点162が、物体平面134内で十分に側方に移動されると、マイクロレンズの異なる一部が、光学放射を物点162から受け得る。故に、物体平面134内で十分に間隔を置かれた物点162の組は、マイクロレンズの異なる一部によって結像され得、画像センサ146によって捕捉された明視野画像内のサブ画像の異なる一部内に共役点/スポットを有し得る。
【0073】
他の場合、明視野像点164間の距離は、マイクロレンズ144の物理的間隔(例えば、
図8におけるピッチd)未満であり得る。例えば、ハイパーセントリックGalileoタイプ設定では、画像センサ上のマイクロレンズの光学的に投影された画像のピッチは、マイクロレンズアレイの物理的ピッチより小さくあり得る。同様に、この設定では、明視野像点164間の距離は、マイクロレンズアレイの(光学的に投影された、物理的)ピッチより小さい。
【0074】
図7に示される明視野顕微鏡112は、無限遠補正対物レンズ132を用いて、上流の光学放射をコリメートし、下流チューブレンズ140を用いて、コリメートされた放射を集中させる。他の実施形態では、チューブレンズ140は、排除され得、光学放射は、例えば、対物レンズ132を用いて、収集および集中の両方が行われ得る。
【0075】
図7は、z-位置z
1に位置する物体平面134を示し、それは、明視野平面76と精密に共役である。しかしながら、物体の場所に関するこの精密な関係は、要求されない。より具体的に、本開示の方法のために好適な明視野画像は、z-位置z
2における対物レンズ132のより近くに位置する物体平面134、およびz-位置z
3における対物レンズ132からより遠くに位置する物体平面134に関して、画像センサ146によって捕捉され得る(それぞれ、
図9および10参照)。いずれの場合も、中間点168からの光学放射は、
図7におけるほど明視野平面76に集中させられず、それによって、
図7の像点164は、
図9および10におけるより大きい画像スポットになる。
【0076】
好適であり得る明視野結像システム110および明視野顕微鏡112(または明視野接写撮影システム)のさらなる例示的側面は、第I、II、IV、およびV節等の本明細書のいずれかの場所に説明される。
【0077】
(IV.例示的幾何学的マッピング関数)
本節は、方法50において使用するための例証的幾何学的マッピング関数のための基礎を説明する(
図1、11、および12参照)。マッピング関数は、光学軸に沿った所与のz-位置における物体平面に関して、物体空間と明視野空間とを互いに関連させる。マッピング関数は、とりわけ、明視野顕微鏡または明視野接写撮影システムと共に使用され得る。
【0078】
図11および12の明視野顕微鏡112は、
図6および7におけるように構築され得るが、幾分異なる形態で描写される。対物レンズ132は、単一レンズとして示され、マイクロレンズアレイ142は、より様式化された形態に示される。これらの簡略化は、下記に説明される関連パラメータを除き、それ以外は、対物レンズおよびマイクロレンズが、「ブラックボックス」構造を有し得ることを強調する。さらに、マッピングを図示するように選択されているマイクロレンズ144のうちの1つは、k番目のマイクロレンズ「144k」として標識されている。物点162は、
図7、9、および10におけるように、物体平面134内に位置するが、光学軸128から側方にオフセットされている(
図7と比較)。周辺光線166および主光線176は、
図11では、物点162から、対物レンズ132を通して、中間点168まで延びている。周辺光線は、中間点168の下流に延びているように示され、物点162からマイクロレンズアレイ142上に入射する光学放射の円錐の境界を示す。上流主光線176は、
図11では、中間点168の下流の図面の複雑性を低減させるために、中間点168において早期に終了するように示される。
【0079】
3次元物体空間を2次元明視野空間に関連させるマッピング関数は、以下のように、マイクロレンズ144kに対して定義されることができる。
【0080】
【0081】
式中、添字xyは、関連付けられるベクトルの側方成分を示す。この式は、結像システムが反転された画像を表示するかどうかに関係なく、および、マイクロレンズアレイが実画像(反転または非反転画像)を結像するか、仮想画像(反転または非反転画像)を結像するかに関係なく、当てはまる。反転の有無は、下記に説明されるように、対応する拡大率値の符号内に含まれる。
【0082】
式1に関するマッピング幾何学形状の概略は、
図11および12に示され、それらは、それぞれ、マイクロレンズアレイによる実反転画像および仮想反転画像の結像を図示する。ベクトル
【0083】
【0084】
は、3次元物体空間78の物体平面134内の物点162を表すベクトルであり、
【0085】
【0086】
は、マイクロレンズ144kの光学軸の位置を表すベクトルであり、MTotalは、(例えば、対物レンズ132とマイクロレンズアレイ142との組み合わせによって生成された)システムの総拡大率であり、MMLは、マイクロレンズアレイ142単独に起因する拡大率であり、
【0087】
【0088】
は、物体空間78内の
【0089】
【0090】
に対応する明視野平面76内の点を表すベクトルである。
【0091】
ベクトル
【0092】
【0093】
、および
【0094】
【0095】
の各々は、光学軸128に尾部を有する。しかしながら、マッピングのために使用される光学軸は、実際の光学軸である必要はなく、代わりに、仮想グローバル光学軸として、明視野画像から定義され得る。下流主光線178は、上記の
図7、9、および10に説明されるように、中間像点168から、マイクロレンズ144の少なくとも2次元の一部を通して、画像センサ146上の明視野像点の対応する数まで延びている。下流主光線178のうちの1つは、マイクロレンズ144kを通過し、
【0096】
【0097】
において、明視野平面76上に入射する。
【0098】
式1は、以下のように導出されることができる。物体平面134内の物点
【0099】
【0100】
は、式2に従って、ベクトル
【0101】
【0102】
によって表される、中間像点168にマッピングされる。
【0103】
【0104】
式中、Mobjectiveは、中間像面170において明視野顕微鏡112の対物レンズ132によって提供される集合的拡大率であり、
【0105】
【0106】
は、ベクトル
【0107】
【0108】
の側方成分である。
図11および12の場合、M
objectiveは、負の数となるであろう。
【0109】
中間像点
【0110】
【0111】
は、式3に従って、マイクロレンズ144kを介して、2次元明視野空間(すなわち、明視野平面76)の
【0112】
【0113】
にマッピングされる。
【0114】
【0115】
図11の場合、M
MLは、再び、顕微鏡によって生成された実画像を反転させるであろうから、負となるであろう一方、
図12の場合、M
MLは、正の数となるであろう。
【0116】
式3は、再配置および再群化され、式4および5を生成する。
【0117】
【0118】
【0119】
式2に従って、式5における
【0120】
【0121】
に代入することは、式6をもたらす。
【0122】
【0123】
明視野顕微鏡112内の拡大率は、式7によって説明されることができる。
【0124】
【0125】
式7に従って、式6の右項に代入することは、式1をもたらす。
【0126】
マッピング幾何学形状は、総拡大率およびマイクロレンズ拡大率が把握(例えば、測定)されると、十分に定義される。一般に、これらの拡大率の各々は、物体平面134と対物レンズ132との間の距離(すなわち、物体平面134のz-位置)に依存する。ローカル収差(例えば、マイクロレンズアレイに起因する)は、各マイクロレンズ画像に伴って変動する、総拡大率によって表され得る。これは、式8および9につながる。
【0127】
【0128】
【0129】
マイクロレンズアレイに起因する拡大率は、式10を使用して、較正標的の同じ物点の近傍のビュー間の視差(仮想深度とも呼ばれる)を評価することによって、較正標的を用いて決定されることができる。
【0130】
【0131】
式中、dMLAは、マイクロレンズアレイのピッチであり、
【0132】
【0133】
は、i番目のマイクロレンズの画像内の共通物点の(z-依存)位置である。MMLの正しい符号を決定するために、マイクロレンズアレイが顕微鏡像面の像面の上流に設置されているか、下流に設置されているかを把握する必要がある。第1の場合、マイクロレンズアレイは、仮想画像を結像し、第2の場合は、実画像を結像する。一般に、それは、顕微鏡像面の場所が、本来の画像センサ位置に位置するか、または顕微鏡対物レンズの下流のz-軸に沿ってマイクロレンズアレイに対して画像センサを移動させることによって、容易に把握され得るかのいずれかであるので、アプローチの可用性を制限しない。MTotalの符号が反転特性およびMObjectiveおよびMMLの関連付けられる符号に応じて変動し得ることにも留意されたい。しかしながら、総拡大率の符号変化は、物体空間内の反転にのみつながり、すなわち、一般に、関連しない。換言すると、マイクロレンズアレイが顕微鏡の本来の像面と上流光学系または本来の像面の下流との間に挿入されるかどうかのみを把握する必要がある。マイクロレンズアレイと本来の像面との間の正確な距離を把握する必要はない。
【0134】
(V.選択された側面)
この例は、一連の索引をつけられた段落として、本開示の選択された側面を説明する。
【0135】
段落1.サンプルを結像する方法であって、方法は、(a)明視野平面においてサンプルの明視野画像を捕捉することと、(b)明視野画像を物体空間内の複数のz-平面の各々に計算上順投影し、z-平面画像の組を発生させることと、(c)明視野画像に対して、各z-平面画像からの物体空間内の同じxy-領域の明視野平面への逆投影を比較し、z-平面画像の各々から逆投影されたxy-領域と明視野画像との間のそれぞれの対応の程度を決定することであって、比較は、物体空間内の複数の異なるxy-領域の各々に関して繰り返される、ことと、(d)比較に基づいて、各異なるxy-領域に関して、サンプルの物体空間画像内の異なるxy-領域のためのデータを提供するための順投影された画像のうちの少なくとも1つを選択することと、(e)サンプルの物体空間画像を発生させることとを含む、方法。
【0136】
段落2.異なるxy-領域の各々は、組のz-平面画像の各々における単一ピクセルに対応する、段落1に記載の方法。
【0137】
段落3.異なるxy-領域のうちの少なくとも1つは、ピクセルの群、または物体に対応する、段落1に記載の方法。
【0138】
段落4.発生させられた物体空間画像は、2次元画像である、段落1-3のいずれかに記載の方法。
【0139】
段落5.2次元画像は、実質的に全て焦点が合っている、段落4に記載の方法。
【0140】
段落6.物体空間画像は、3次元画像である、段落1-3のいずれかに記載の方法。
【0141】
段落7.3次元画像は、実質的に全て焦点が合っている、段落6に記載の方法。
【0142】
段落8.選択することは、異なるxy-領域のうちの少なくとも1つに関して、それに関して対応の程度が組の各他のz-平面画像に関するより高いz-平面画像のうちの1つのみを選択することを含む、段落1-7のいずれかに記載の方法。
【0143】
段落9.選択することは、異なるxy-領域のうちの少なくとも1つに関して、逆投影の対応する対応の程度が組の各他のz-平面画像に関するより高いz-平面画像のうちの少なくとも2つを選択することを含む、段落1-8のいずれかに記載の方法。
【0144】
段落10.所与のxy-領域の逆投影に関するそれぞれの対応の程度を閾値と比較することをさらに含み、選択することは、それぞれの対応の程度を比較することが所定の条件を満たす各z-平面画像を選択することを含む、段落9に記載の方法。
【0145】
段落11.選択することは、物体空間内のピクセルの群または単一ピクセルに関して、物体空間内の最良のz-平面を選択することを含み、発生させることは、サンプルの実質的に全て焦点が合っている3次元画像を発生させることを含む、段落1-10のいずれかに記載の方法。
【0146】
段落12.選択することは、物体空間内のピクセルの群または単一ピクセルに関して、物体空間内の最良のz-平面を選択することを含み、発生させることは、サンプルの実質的に全て焦点が合っている2次元画像を発生させることを含む、段落1-11のいずれかに記載の方法。
【0147】
段落13.選択することは、物体空間内の複数の単一ピクセルまたはピクセルの各々に関する物体空間内の2つ以上のz-平面を選択することを含み、各単一ピクセルまたはピクセルの群に関して、選択された2つ以上のz-平面からの情報を組み合わせることをさらに含む、段落1-12のいずれかに記載の方法。
【0148】
段落14.情報を組み合わせることは、選択された2つ以上のz-平面からの単一ピクセルまたはピクセルの群に関する値を平均または補間することを含む、段落13に記載の方法。
【0149】
段落15.情報を組み合わせることは、選択された2つ以上のz-平面からの単一ピクセルまたはピクセルの群に関するそれぞれの対応の程度に基づく、段落13に記載の方法。
【0150】
段落16.組のz-平面画像の各々を明視野平面に計算上逆投影し、逆投影された画像の組を取得することをさらに含み、比較は、逆投影された画像の組を使用する、段落1-15のいずれかに記載の方法。
【0151】
段落17.捕捉は、結像システムの画像センサによって実施され、順投影および各逆投影は、結像システムに関する既知のマッピング幾何学形状を使用する、段落1-16のいずれかに記載の方法。
【0152】
段落18.マッピング幾何学形状は、結像システムの総拡大率に関する値と、結像システムのマイクロレンズアレイによって生成された拡大率に関する少なくとも1つの値とを利用する、段落17に記載の方法。
【0153】
段落19.サンプルを結像するためのシステムであって、システムは、(a)サンプルを物体空間内の光学軸上に保持するためのステージと、(b)光学軸上のマイクロレンズアレイと、(c)マイクロレンズアレイを通して伝搬された光で形成されたサンプルの明視野画像を捕捉するように構成された画像センサと、(d)プロセッサとを備え、プロセッサは、(i)明視野画像を物体空間内の複数のz-平面の各々に計算上順投影し、z-平面画像の組を発生させることと、(ii)明視野画像に対して、各z-平面画像からの物体空間内の同じxy-領域の明視野平面への逆投影を比較し、z-平面画像の各々から逆投影されたxy-領域と明視野画像との間のそれぞれの対応の程度を決定することであって、比較することは、物体空間内の複数の異なるxy-領域の各々に関して繰り返される、ことと、(iii)各異なるxy-領域に関して、サンプルの物体空間画像内の異なるxy-領域のためのデータを提供するためのz-平面画像のうちの少なくとも1つを選択することと、(iv)サンプルの物体空間画像を発生させることとを行うように構成される、システム。
【0154】
本開示内で使用されるような用語「例示的」は、「例証的」または「実施例としての役割を果たす」ことを意味する。同様に、用語「例示する」は、「実施例を与えることによって例証する」ことを意味する。用語のいずれも、望ましさまたは優位性を含意するものではない。
【0155】
本発明は、上記の実施例および特徴を通して説明されているが、実施例および特徴の様々な修正、組み合わせ、および変形例が、本明細書に開示される本発明の概念からずれすることなく行われ得ることが当業者によって理解されるであろう。さらに、本発明は、本明細書に説明される任意の具体的目的または実施形態に限定されるものと見なされるべきではなく、むしろ、本明細書に説明されるもの以外の様々な目的を遂行するために適用可能であると見なされるべきである。本開示は、可能な実施例のうちのいくつかのみが示される付随の図面を参照して、本技術のいくつかの実施例を説明している。しかしながら、他の側面も、多くの異なる形態で具現化されることができ、組み合わせて明示的に例示されない場合でも、本明細書に記載される実施例に限定されるものとして解釈されるべきではない。むしろ、これらの実施例は、本開示が、徹底的かつ完全であり、可能な実施例の範囲を当業者に完全に伝達するように提供されている。