(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-06
(45)【発行日】2024-12-16
(54)【発明の名称】顕微鏡対物レンズの視野を横断する合焦平面の変動を補正するためのシステムおよび方法
(51)【国際特許分類】
G02B 21/00 20060101AFI20241209BHJP
G02B 21/36 20060101ALI20241209BHJP
G02B 7/28 20210101ALI20241209BHJP
【FI】
G02B21/00
G02B21/36
G02B7/28 J
(21)【出願番号】P 2021571566
(86)(22)【出願日】2020-05-28
(86)【国際出願番号】 US2020034828
(87)【国際公開番号】W WO2020247227
(87)【国際公開日】2020-12-10
【審査請求日】2023-05-22
(32)【優先日】2019-06-03
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511227336
【氏名又は名称】モレキュラー デバイシーズ, エルエルシー
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(72)【発明者】
【氏名】コーエン, アブルム
(72)【発明者】
【氏名】ホン, ディフイ
(72)【発明者】
【氏名】ルーク, スティーブ
(72)【発明者】
【氏名】ライン, スティーブン
【審査官】堀井 康司
(56)【参考文献】
【文献】特開2003-057553(JP,A)
【文献】特開2012-222431(JP,A)
【文献】特開2010-141814(JP,A)
【文献】特開2013-152454(JP,A)
【文献】特開2000-171722(JP,A)
【文献】Shigehiko Matsunaga and Shree K. Nayar,Field Curvature Correction Using Focal Sweep,IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING,VOL. 1, NO. 4,米国,IEEE,2015年12月,p.259-p.269
(58)【調査した分野】(Int.Cl.,DB名)
G02B 19/00-21/00
G02B 21/06-21/36
(57)【特許請求の範囲】
【請求項1】
画像センサと、第1の位置と第2の位置との間でサンプルホルダに対して垂直の方向
(Z)に移動可能であるレンズとを備える撮像システムを使用して、前記サンプルホルダ上のサンプルの出力画像を発生させるためのコンピュータ実装システムであって、前記画像センサは、ピクセルの2次元アレイを発生させ、前記コンピュータ実装システムは、
特性マップ発生器であって、前記特性マップ発生器は、前記サンプルホルダ上に配置される集束標的の複数の焦点標的画像を分析し、各焦点標的画像は、前記レンズが前記第1の位置と前記第2の位置との間の第1の複数の場所
(Z)のうちの対応するものにおいて位置付けられるときに捕捉されており、前記特性マップ発生器は、複数の要素を有しかつ前記レンズと関連付けられる特性マップアレイを発生させ、前記特性マップアレイの要素毎に、前記特性マップ発生器は、そのような要素の座標
(X,Y)と関連付けられる最大焦点スコアを有する焦点標的画像を選択し、そのような要素の値を、前記選択された焦点標的画像と関連付けられる前記第1の複数の場所のうちの場所
(Z)を表す値に設定する、特性マップ発生器と、
前記画像センサから前記サンプルの複数の画像を受信するプロセッサ上で動作する画像入手器であって、前記サンプルの複数の画像はそれぞれ、前記レンズが、前記第1の位置と前記第2の位置との間の前記レンズの第2の複数の場所
(Z)のうちの対応するものにおいて位置付けられるときに捕捉される、画像入手器と、
画像発生器であって、前記画像発生器は、
前記レンズと関連付けられる前記特性マップアレイを選択することであって、前記特性マップアレイは、前記画像センサによって発生される画像の各ピクセルの座標
(X,Y)を、前記第1の位置と前記第2の位置との間の前記レンズの前記第1の複数の場所
(Z)のうちの1つと関連付ける、ことと、
前記出力画像の出力画像ピクセルの座標
(X,Y)と関連付けられる前記特性マップアレイの値を選択することと、
前記特性マップアレイの前記選択された値に従って、前記第2の複数の場所から場所
(Z)を選択することと、
前記選択された場所と関連付けられる前記サンプルの複数の画像から画像を選択することと、
前記出力画像の前記出力画像ピクセルに対応する前記サンプルの前記複数の画像のうちの前記選択された画像のピクセルの値に従って、前記出力画像ピクセルの値を決定することと
を行う、画像発生器と
を備える、コンピュータ実装システム。
【請求項2】
各焦点標的画像の焦点を分析し、前記焦点標的画像の各ピクセルを囲繞する領域の焦点を表す値を関連付ける焦点分析器をさらに含む、請求項1に記載のコンピュータ実装システム。
【請求項3】
前記特性マップ発生器は、表面方程式を前記特性マップアレイに適合させ、特性マップを展開する、請求項2に記載のコンピュータ実装システム。
【請求項4】
前記特性マップ発生器は、平滑化フィルタを前記特性マップアレイに適用し、特性マップを展開する、請求項2に記載のコンピュータ実装システム。
【請求項5】
前記特性マップ発生器は、第1のコンピュータ上で動作し、前記画像発生器は、第2のコンピュータ上で動作し、前記第1のコンピュータおよび前記第2のコンピュータは、相互から遠隔場所にある、請求項1に記載のコンピュータ実装システム。
【請求項6】
前記第1の複数の場所
(Z)は、前記第2の複数の場所
(Z)と異なる、請求項1に記載のコンピュータ実装システム。
【請求項7】
前記画像発生器は、出力画像を含む前記特性マップアレイに従って、複数のピクセルを展開し、前記画像発生器は、複数のそのような出力画像を展開し、前記サンプルの3次元表現を表す画像のZスタックを生産する、請求項1に記載のコンピュータ実装システム。
【請求項8】
前記撮像システムは、前記コンピュータ実装システムから遠隔の場所にある、請求項1に記載のコンピュータ実装システム。
【請求項9】
撮像システムを使用してサンプルの出力画像を発生させる方法であって、前記撮像システムは、サンプルホルダと、画像センサと、第1の位置と第2の位置との間で前記サンプルホルダに対して垂直の方向
(Z)に移動可能であるレンズとを含み、
1つ以上のプロセッサに、
前記サンプルホルダ上に配置される集束標的の複数の焦点標的画像を分析することであって、各焦点標的画像は、前記レンズが前記第1の位置と前記第2の位置との間の第1の複数の場所
(Z)のうちの対応するものにおいて位置付けられるときに捕捉されている、ことと、
複数の要素を有しかつ前記レンズと関連付けられる特性マップアレイを発生させ、前記特性マップアレイの要素毎に、そのような要素の座標
(X,Y)と関連付けられる最大焦点値を有する前記複数の焦点標的画像のうちの焦点標的画像を選択し、そのような要素の値を、前記選択された焦点標的画像と関連付けられる前記第1の複数の場所のうちの場所
(Z)を表す値に設定することと、
前記レンズと関連付けられる前記特性マップアレイを選択することであって、前記特性マップアレイは、撮像センサによって発生される画像の各ピクセルの座標
(X,Y)を、前記第1の位置と前記第2の位置との間の前記レンズの前記第1の複数の場所
(Z)のうちの1つと関連付ける、ことと、
前記画像センサから前記サンプルの複数の画像を受信することであって、前記サンプルの複数の画像はそれぞれ、前記レンズが、前記第1の位置と前記第2の位置との間の前記レンズの第2の複数の場所
(Z)のうちの対応するものにおいて位置付けられるときに捕捉される、ことと、
前記出力画像の出力画像ピクセルの座標
(X,Y)と関連付けられる前記特性マップアレイの値を選択することと、
前記特性マップアレイの前記選択された値に従って、前記第2の複数の場所から場所
(Z)を選択することと、
前記選択された場所と関連付けられる前記サンプルの複数の画像から画像を選択することと、
前記出力画像の前記出力画像ピクセルに対応する前記サンプルの前記複数の画像のうちの前記選択された画像のピクセルの値に従って、前記出力画像ピクセルの値を決定することと
を行わせるステップ
を含む、方法。
【請求項10】
各焦点標的画像の焦点を分析し、前記焦点標的画像の各ピクセルを囲繞する領域の焦点を表す値を関連付けるステップをさらに含む、請求項9に記載の方法。
【請求項11】
表面方程式を前記特性マップアレイに適合させ、特性マップを展開するステップをさらに含む、請求項10に記載の方法。
【請求項12】
平滑化フィルタを前記特性マップアレイに適用するステップをさらに含む、請求項10に記載の方法。
【請求項13】
前記特性マップアレイを展開するステップは、第1のプロセッサ上で行われ、前記出力画像ピクセルを展開するステップは、第2のプロセッサ上で行われ、前記第1のプロセッサおよび前記第2のプロセッサは、相互から遠隔場所にある、請求項9に記載の方法。
【請求項14】
前記第1の複数の場所
(Z)は、前記第2の複数の場所
(Z)と異なる、請求項9に記載の方法。
【請求項15】
前記出力画像ピクセルは、前記出力画像の複数の出力画像ピクセルのうちの1つであり、前記複数の出力画像ピクセルはそれぞれ、前記出力画像の対応する座標
(X,Y)と関連付けられ、前記特性マップアレイに従って前記複数の出力画像ピクセルを展開し、複数のそのような出力画像を展開し、前記サンプルの3次元表現を表す画像のZスタックを生産するステップをさらに含む、請求項9に記載の方法。
【請求項16】
前記撮像システムは、前記1つ以上のプロセッサのうちの少なくとも1つから遠隔の場所にある、請求項9に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願)
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、2019年6月3日に出願された、米国出願第16/429,955号の優先権を主張する。
【0002】
本主題は、顕微鏡検査システムに関し、より具体的には、そこから焦点補正画像を展開するためのシステムおよび方法に関する。
【背景技術】
【0003】
撮像システムが、生物学的サンプルの顕微鏡画像を取得するために使用され得る。そのような画像は、その中の着目物体(細胞、小器官、および同等物)と関連付けられる画像のピクセルを識別し、画像内に表される異なるタイプの着目物体を分類し、そのような着目物体またはその一部および同等物に関するメトリックを取得するために、画像分析システムを使用して処理され得る。そのようなメトリックは、例えば、着目物体の計数値、生物学的サンプル内に表される各タイプの着目物体の計数値、細胞のサイズ(面積、周囲長、体積)、着目物体のサイズの統計値(平均値、最頻値、中央値、標準偏差等)、および同等物を含み得る。
【0004】
撮像システムは、その上に撮像されるべきサンプルが設置され得るXY段と、光源と、対物レンズと、画像センサ(例えば、電荷結合デバイス、相補型金属酸化膜半導体センサ、または別の光高感度センサ)とを含む。対物レンズは、単一レンズである、または相互に結合される複数のレンズを含む複合レンズであってもよい。
【0005】
段および画像センサは、典型的には、相互に面する、平行な平面状表面を有し、対物レンズ(単一レンズまたは複合レンズのいずれか)は、そのような表面の間に配置される。対物レンズおよび画像センサは、対物レンズと段との間の距離を調節するために、そのような表面に対して垂直の方向に沿って、ユニットとして移動されてもよい。対物レンズおよび画像センサをこのように移動させることは、画像センサ上に合焦されるであろう、段と対物レンズとの間に焦点平面を決定する。画像センサは、その上に形成される画像に従って信号を発生させ、そのような信号は、画像センサによって発生される出力画像のピクセルを決定するために使用される。しかしながら、例えば、対物レンズの像面湾曲または他の焦点収差のため、画像センサ上に形成される画像の周辺(または他の)部分が、画像の中心部分が合焦すると、焦点から外れ得る。
【0006】
上記に説明される焦点収差は、付加的レンズを複合対物レンズに含める、および/または対物レンズを備える1つ以上のレンズの異なる材料を選択することによって、改善され得る。しかしながら、そのような付加的レンズまたは材料の使用によっても、そのような焦点収差は、排除されない場合がある。加えて、そのような付加的レンズの使用は、撮像システムに多くのコストを追加する、または、例えば、光のスループット等、撮像システムの他の要因に悪影響を及ぼし得る。
【発明の概要】
【課題を解決するための手段】
【0007】
一側面によると、画像センサと、第1の位置と第2の位置との間のサンプルホルダに対して移動可能である、レンズとを備える、撮像システムを使用して、サンプルホルダ上のサンプルの画像を発生させるためのコンピュータ実装システムであって、画像センサは、ピクセルの2次元アレイを発生させる、コンピュータ実装システムは、画像入手器と、画像発生器とを備える。画像入手器は、プロセッサ上で動作し、画像センサからサンプルの複数の画像を受信し、サンプルの複数の画像はそれぞれ、レンズが、第1の位置と第2の位置との間のレンズの第1の複数の場所の対応するものにおいて位置付けられるときに、捕捉される。画像発生器は、レンズと関連付けられる特性マップを選択し、特性マップは、画像センサによって発生される画像の各ピクセルの座標を、第1の位置と第2の位置との間のレンズの第2の複数の場所のうちの1つと関連付ける。加えて、画像発生器は、特性マップに従って、出力画像ピクセルの座標と関連付けられる、第2の複数の場所から第1の場所を選択し、第1の場所に従って、第1の複数の場所から第2の場所を選択し、第2の場所と関連付けられる、サンプルの複数の画像から画像を選択し、出力ピクセルに対応する、複数の画像のうちの選択されたもののピクセルの値に従って、出力ピクセルの値を決定する。
【0008】
別の側面によると、撮像システムを使用してサンプルの画像を発生させる方法は、画像センサと、第1の位置と第2の位置との間のサンプルに対して移動可能である、レンズとを備え、非一過性コンピューティングデバイスに、レンズと関連付けられる特性マップを選択させるステップを含む。特性マップは、画像センサによって発生される画像の各ピクセルの座標を、第1の位置と第2の位置との間のレンズの第1の複数の場所のうちの1つと関連付ける。非一過性コンピューティングデバイスはまた、画像センサからサンプルの複数の画像を受信し、サンプルの複数の画像はそれぞれ、レンズが、第1の位置と第2の位置との間のレンズの第2の複数の場所のうちの対応するものにおいて位置付けられるときに捕捉され、出力画像ピクセルの座標と関連付けられる、第1の複数の場所から第1の場所を選択し、第1の場所に従って、第2の複数の場所から第2の場所を選択し、第2の場所と関連付けられる、サンプルの複数の画像から画像を選択する。非一過性コンピューティングデバイスはまた、出力ピクセルに対応する、複数の画像のうちの選択されたもののピクセルの値に従って、出力ピクセルの値を決定する。
【0009】
他の側面および利点は、同様の番号が、本明細書の全体を通して同様の構造を指定する、以下の詳細な説明および添付の図面の考察の結果、明白な状態になるであろう。
本明細書は、例えば、以下の項目も提供する。
(項目1)
画像センサと、第1の位置と第2の位置との間でサンプルホルダに対して移動可能であるレンズとを備える撮像システムを使用して、サンプルホルダ上のサンプルの画像を発生させるためのコンピュータ実装システムであって、前記画像センサは、ピクセルの2次元アレイを発生させ、前記コンピュータ実装システムは、
前記画像センサから前記サンプルの複数の画像を受信するプロセッサ上で動作する画像入手器であって、前記サンプルの複数の画像はそれぞれ、前記レンズが、前記第1の位置と前記第2の位置との間の前記レンズの第1の複数の場所の対応するものにおいて位置付けられるときに捕捉される、画像入手器と、
画像発生器であって、前記画像発生器は、
前記レンズと関連付けられる特性マップを選択することであって、前記特性マップは、前記画像センサによって発生される画像の各ピクセルの座標を、前記第1の位置と前記第2の位置との間の前記レンズの第2の複数の場所のうちの1つと関連付ける、ことと、
前記特性マップに従って、出力画像ピクセルの座標と関連付けられる前記第2の複数の場所から第1の場所を選択することと、
前記第1の場所に従って、前記第1の複数の場所から第2の場所を選択することと、
前記第2の場所と関連付けられる前記サンプルの複数の画像から画像を選択することと、
出力ピクセルに対応する前記複数の画像のうちの選択されたもののピクセルの値に従って、前記出力ピクセルの値を決定することと
を行う、画像発生器と
を備える、コンピュータ実装システム。
(項目2)
特性マップ発生器をさらに含み、前記特性マップ発生器は、複数の焦点標的画像を分析し、各焦点標的画像は、前記レンズが前記第1の複数の場所のうちの対応するものにおいて位置付けられるときに捕捉されている、項目1に記載のコンピュータ実装システム。
(項目3)
各焦点標的画像の前記焦点を分析し、前記焦点標的画像の各ピクセルを囲繞する領域の焦点を表す値を関連付ける焦点分析器をさらに含む、項目2に記載のコンピュータ実装システム。
(項目4)
前記特性マップ発生器は、特性マップアレイを発生させ、前記特性マップアレイの要素毎に、前記特性マップ発生器は、そのような要素のそのような座標と関連付けられる最大焦点スコアを有する焦点標的画像を選択する、項目3に記載のコンピュータ実装システム。
(項目5)
前記特性マップ発生器は、表面方程式を前記特性マップアレイに適合させ、前記特性マップを展開する、項目4に記載のコンピュータ実装システム。
(項目6)
前記特性マップ発生器は、平滑化フィルタを前記特性マップアレイに適用し、前記特性マップを展開する、項目4に記載のコンピュータ実装システム。
(項目7)
前記特性マップ発生器は、第1のコンピュータ上で動作し、前記画像発生器は、第2のコンピュータ上で動作し、前記第1のコンピュータおよび前記第2のコンピュータは、相互から遠隔場所にある、項目2に記載のコンピュータ実装システム。
(項目8)
前記第1の複数の場所は、前記第2の複数の場所と異なる、項目1に記載のコンピュータ実装システム。
(項目9)
前記画像発生器は、出力画像を含む前記特性マップに従って、複数のピクセルを展開し、前記画像発生器は、複数のそのような出力画像を展開し、前記サンプルの3次元表現を表す画像のZスタックを生産する、項目1に記載のコンピュータ実装システム。
(項目10)
前記撮像システムは、前記コンピュータ実装システムから遠隔の場所にある、項目1に記載のコンピュータ実装システム。
(項目11)
撮像システムを使用してサンプルの画像を発生させる方法であって、前記撮像システムは、サンプルホルダと、画像センサと、第1の位置と第2の位置との間で前記サンプルホルダに対して移動可能であるレンズとを含み、
1つ以上の非一過性コンピューティングデバイスに、
前記レンズと関連付けられる特性マップを選択するステップであって、前記特性マップは、撮像センサによって発生される画像の各ピクセルの座標を、前記第1の位置と前記第2の位置との間の前記レンズの第1の複数の場所のうちの1つと関連付ける、ステップと、
前記画像センサから前記サンプルの複数の画像を受信するステップであって、前記サンプルの複数の画像はそれぞれ、前記レンズが、前記第1の位置と前記第2の位置との間の前記レンズの第2の複数の場所のうちの対応するものにおいて位置付けられるときに捕捉される、ステップと、
出力画像ピクセルの座標と関連付けられる前記第1の複数の場所から第1の場所を選択するステップと、
前記第1の場所に従って、前記第2の複数の場所から第2の場所を選択するステップと、
前記第2の場所と関連付けられる前記サンプルの複数の画像から画像を選択するステップと、
前記出力ピクセルに対応する前記複数の画像のうちの選択されたもののピクセルの値に従って、前記出力ピクセルの値を決定するステップと
を行わせるステップ
を含む、方法。
(項目12)
複数の焦点標的画像を分析するステップをさらに含み、各焦点標的画像は、前記レンズが、前記第1の複数の場所のうちの対応するものにおいて位置付けられるときに入手されている、項目11に記載の方法。
(項目13)
各焦点標的画像の前記焦点を分析し、前記焦点標的画像の各ピクセルを囲繞する領域の焦点を表す値を関連付けるステップをさらに含む、項目12に記載の方法。
(項目14)
複数の要素を有する特性マップアレイを発生させ、前記特性マップアレイの要素毎に、そのような要素のそのような座標と関連付けられる最大焦点値を有する焦点標的画像を選択するステップをさらに含む、項目13に記載の方法。
(項目15)
表面方程式を前記特性アレイに適合させ、前記特性マップを展開するステップをさらに含む、項目14に記載の方法。
(項目16)
平滑化フィルタを前記特性マップアレイに適用するステップをさらに含む、項目14に記載の方法。
(項目17)
前記特性マップアレイを展開するステップは、第1の非一過性コンピューティングデバイス上で行われ、前記出力ピクセルを展開するステップは、第2の非一過性コンピューティングデバイス上で行われ、前記第1の非一過性コンピューティングデバイスおよび前記第2の非一過性コンピューティングデバイスは、相互から遠隔場所にある、項目12に記載の方法。
(項目18)
前記第1の複数の場所は、前記第2の複数の場所と異なる、項目11に記載の方法。
(項目19)
前記出力ピクセルは、出力画像の複数の出力ピクセルのうちの1つであり、前記複数の出力ピクセルはそれぞれ、前記出力画像の対応する座標と関連付けられ、前記特性マップに従って前記複数の出力ピクセルを展開し、複数のそのような出力画像を展開し、前記サンプルの3次元表現を表す画像のZスタックを生産するステップをさらに含む、項目11に記載の方法。
(項目20)
前記撮像システムは、前記非一過性コンピューティングデバイスのうちの少なくとも1つから遠隔の場所にある、項目11に記載の方法。
【図面の簡単な説明】
【0010】
【
図1】
図1は、焦点補正画像を生産するためのシステムのブロック図である。
【0011】
【
図2】
図2は、焦点補正画像を生産するための、
図1のシステムと併用され得る、撮像システムのブロック図である。
【0012】
【
図3】
図3は、
図1のシステムの特性マップ発生器によって行われるステップのフローチャートである。
【0013】
【
図4】
図4は、
図1のシステムの画像入手器によって行われるステップのフローチャートである。
【0014】
【
図5】
図5は、
図1のシステムの特性マップ発生器によって行われる付加的なステップのフローチャートである。
【0015】
【
図6】
図6は、
図1のシステムの画像発生器によって行われるステップのフローチャートである。
【0016】
【
図6A】
図6Aは、
図1のシステムの画像発生器によって行われるステップの別のフローチャートである。
【発明を実施するための形態】
【0017】
当業者に明白であるはずであるように、画像センサによって生産される画像の各ピクセルが、X座標およびY座標と関連付けられ、そのような座標が、画像センサの特定の領域と関連付けられる。
【0018】
本明細書に説明される実施形態によると、焦点補正画像を発生させるためのシステム(本明細書では焦点補正システムとも称される)が、対物レンズの焦点特性の特性マップを展開する。特に、略平面状の集束標的が、段上に配置され、対物レンズが、集束標的の焦点平面から所定の最小距離において位置付けられ、第1の焦点標的画像が、画像センサによって発生される。その後、対物レンズは、集束標的の焦点平面から第1の所定のステップサイズだけ離れるように移動され、第2の焦点標的画像が、画像センサによって発生される。複数の焦点標的画像が、集束標的の焦点平面と対物レンズとの間の距離が、少なくとも第1の所定の最大距離になるまで、このように発生される。
【0019】
複数の焦点標的画像を含む画像が、分析され、画像センサによって生産されるピクセル毎に、その中でそのようなピクセルを囲繞する領域(または画像小区分)が最良焦点を有する、焦点標的画像を選択する。
【0020】
特性マップを展開するために、焦点補正システム画像は、選択された画像が入手されたとき、画像センサによって発生されるピクセルのX座標およびY座標を、集束標的の焦点平面からの対物レンズの距離によって表される、Z座標と関連付ける。
【0021】
特性マップが、特定の対物レンズのために展開された後、焦点補正システムは、そのような特性マップを使用し、焦点収差が補正(すなわち、低減またはさらに排除)されている段上に配置される、サンプルの画像を発生させ得る。特に、サンプルは、段上に配置され、対物レンズは、サンプルの焦点平面から第2の最小距離において配置され、サンプルの第1の画像は、画像センサによって入手される。その後、対物レンズは、サンプルから第2の所定のステップサイズだけ離れるように移動され、サンプルの第2の画像が、入手される。対物レンズは、このように位置付けられ、対物レンズが、サンプルの焦点平面から少なくとも第2の最大距離に到達するまで、サンプルの付加的な画像が、入手される。いくつかの実施形態では、第2の最小距離は、第1の最小距離を上回る、またはそれに等しく、第2の最大距離は、第1の最大距離を下回る、またはそれに等しい。第1のステップサイズは、第2のステップサイズと同じである、またはそれと異なってもよい。
【0022】
複数の画像は、本システムによって処理され、像面湾曲等のレンズの焦点収差に起因する焦点外領域が低減される、出力画像を生成する。具体的には、出力画像の座標(X,Y)におけるピクセル毎に、焦点補正システムは、特性マップを使用し、座標(X,Y)と関連付けられるピクセルの領域内に最良焦点をもたらす、座標Zの値を決定する。その後、焦点補正システムは、サンプルの複数の画像から、座標Zと関連付けられるサンプルの画像を選択し、出力画像の座標(X,Y)におけるピクセルの強度値を、選択された画像の座標(X,Y)におけるピクセルの強度値になるべき座標において設定する。集束補正システムは、出力画像のピクセルの全ての強度値をこのように選択し、そのような出力画像を生産する。
【0023】
図1および2を参照すると、下記により詳細に説明されるように、焦点補正システム100は、撮像システム102とともに動作し、撮像システム102内に配置されるサンプルの焦点補正画像を発生させる。焦点補正システム100は、オペレータコンピュータ106と通信する、オペレータインターフェース104と、撮像システム102と通信する、撮像システムインターフェース108と、画像入手器110と、特性マップ発生器112と、焦点分析器114と、画像発生器116とを含む。加えて、焦点補正システム100は、画像データストア118と、対物レンズデータベース120と、特性マップデータベース122とを含む。
【0024】
一実施形態では、撮像システム102は、撮像システムインターフェース108と通信する、コントローラ150と、XY段152と、1つ以上の対物レンズ154と、1つ以上の照明源156と、画像センサ158と、集束装置160とを含む。
【0025】
XY段152上に配置されるサンプル162の透過光画像を発生させるために、コントローラ150は、照明源156aを動作させ、XY段152上に配置されるサンプル162を通して光を透過する。光は、次いで、対物レンズ154を通して指向され、随意に、ミラー164によって再指向され、画像センサ158の表面上に画像を形成する。画像センサ158は、コントローラ150によって撮像システム102の出力画像に転換されるそのような画像に従って、信号を発生させる。
【0026】
XY段152上に配置されるサンプル162の蛍光画像を発生させるために、コントローラは、照明源156bを動作させ、1つ以上のミラー164によって、対物レンズを通してサンプル162に再指向される、光を発生させる。サンプル162に到達する光は、サンプル162を励起し、サンプル162に蛍光発光させ得る。サンプル162によって放出される光は、対物レンズを通して通過し、1つ以上のミラー164によって指向され、画像センサ158の表面上に画像を形成し、これは、コントローラ150によって出力画像に転換される、そのような画像に応答して信号を発生させる。
【0027】
XY段152上に配置されるサンプル162の反射光画像が、1つ以上のミラー164を使用して、照明源156bからサンプル162に光を再指向し、サンプル162によって反射され、対物レンズを通して通過され、1つ以上のミラー164によって指向される、任意の光を捕捉することによる、類似の様式において発生され、画像センサ158の表面上に画像を形成し得る。
【0028】
いくつかの実施形態では、集束機構160が、対物レンズ154、画像センサ158、およびコンポーネント(例えば、照明源156bおよびミラー164)に結合され、これらの要素を、XY段により接近して、またはそれからさらに離れるようにのいずれかで、略線形の経路に沿って連動して移動させる。代替として、集束機構160は、XY段152に結合され、XY段152を、対物レンズ154により近接して、またはそれからさらに離れるようにのいずれかで、略線形の経路に沿って移動させてもよい。
【0029】
いくつかの実施形態では、コントローラ150は、集束機構160に、XY段152と対物レンズ154の基準部分との間の距離を特定の量になるように設定するように指示してもよい。いくつかの実施形態では、そのような基準点は、XY段152の最近傍にある、対物レンズ154の上部表面または部分である。加えて、コントローラ150は、集束機構160に、XY段152と対物レンズ154の基準部分との間の距離を、特定の量だけ増大または縮小させるように指示してもよい。本開示では、対物レンズ154とXY段152との間の距離が、対物レンズ154の所定の基準部分とXY段152との間の距離であると仮定される。
【0030】
オペレータは、オペレータコンピュータ106を使用し、焦点補正システム100に、対物レンズ152のための特性マップを生成する、またはすでに生成された特性マップを使用し、XY段152上に装填されるサンプル162の焦点補正画像を発生させるように命令してもよい。
【0031】
対物レンズ152のための特性マップを生成するための命令が、焦点補正システム100のオペレータインターフェース104によって、オペレータコンピュータ106から受信される。そのような命令は、特徴付けられるべき対物レンズ154の識別子と、集束標的が、撮像システム102のXY段152上に装填されているというインジケーションとを含む。いくつかの実施形態では、オペレータインターフェース104は、オペレータコンピュータ106に、撮像システム102との併用のために利用可能である、対物レンズと関連付けられる識別子の所定のリストを表示し、オペレータから、そのようなリストからの識別子の選択を要求するように命令する。代替として、オペレータが、オペレータコンピュータ104内に、対物レンズ154と関連付けられる識別子を表す、1つ以上の文字の列を打ち込んでもよい。当業者に明白である、対物レンズの識別子を提供する他の方法が、使用されてもよい。
【0032】
いくつかの実施形態では、オペレータは、オペレータコンピュータ106に、焦点補正システム100に特性マップを発生させるように命令するように指示する前に、撮像システム102内に対物レンズ154を、かつXY段152上に集束標的を装填する。他の実施形態では、オペレータコンピュータ106は、オペレータインターフェース104によって、ユーザに、集束標的および/または対物レンズ154を撮像システム102内に装填するようにプロンプトするように命令されてもよい。いくつかの実施形態では、オペレータインターフェース104は、対物レンズと関連付けられる識別子を受信し、撮像システムインターフェース108を介して、撮像システム102に、そのような識別子と関連付けられる対物レンズ154を自動的に選択し、装填するように命令してもよい。
【0033】
集束標的および対物レンズ154が、装填され、対物レンズ154の識別子が、受信された後、特性マップ発生器112が、呼び出され、対物レンズ154と関連付けられる特性マップを生成する。
図3は、特性マップ発生器112によってそのような特性マップを生成するために行われるステップのフローチャート300を示す。
【0034】
図3を参照すると、ステップ302において、特性マップ発生器112が、対物レンズ識別子を使用し、対物レンズデータベース120にクエリし、そのような識別子と関連付けられる対物レンズ154の特性を取得する。そのような特性は、それにわたって複数の集束画像が入手されるはずである、XY段152と対物レンズ154との間の所定の最小距離(Z
min)と、所定の最大距離(Z
max)とを含む。ステップ304において、特性マップ発生器112は、XY段152と対物レンズ154との間の距離が、順次画像の間で調節されるはずである、ステップサイズの値ΔZを決定する。いくつかの実施形態では、値ΔZが、対物レンズ154についての他の情報とともに対物レンズデータベース120内に記憶される。他の実施形態では、対物レンズデータベース120は、対物レンズ154の分解能を記憶し、特性マップ発生器112は、そのような分解能から値ΔZを計算する。一実施形態では、そのような分解能と関連付けられるナイキスト周波数が、計算され、値ΔZが、そのようなナイキスト周波数と関連付けられるステップサイズにおいて設定される。いくつかの実施形態では、ΔZの値は、対物レンズ154の被写界深度に従って計算されてもよく、そのような被写界深度は、サンプル162を撮像するために使用されるべきである、対物レンズ154と関連付けられる開口数と光の波長とに従って決定され得る。
【0035】
いくつかの実施形態では、低倍率対物レンズ154と関連付けられる値ΔZは、およそ10ミクロン~30ミクロンであり、高倍率対物レンズ154と関連付けられる値ΔZは、0.1ミクロン~10ミクロンである。他の実施形態では、低倍率レンズ154と関連付けられる値ΔZは、およそ50ミクロン~100ミクロンであり、高倍率対物レンズ154と関連付けられる値ΔZは、0.2ミクロン~1.0ミクロンである。
【0036】
その後、ステップ306において、特性マップ発生器112は、画像入手器110に、
図4に描写されるフローチャートに示されるように、複数の焦点標的画像を取得するように指示する。
【0037】
図4を参照すると、ステップ308において、画像入手器110は、変数Zの値をZ
minに設定する。ステップ310において、画像入手器110は、撮像システムインターフェース108に、撮像システム102のコントローラ150に、必要である場合、対物レンズ154を、対物レンズ154がXY段152上に配置される集束標的の焦点平面から距離Zにあるように移動させるように命令するように指示する。ステップ312において、画像入手器110は、撮像システムインターフェース108を介して、撮像システムのコントローラ150に、照明源156および画像センサ158を動作させ、XY段152上に配置される焦点標的の画像を入手するように命令する。ステップ314において、画像入手器110は、撮像システムインターフェース108を介して、入手された画像を受信する。画像入手器は、ステップ316において、焦点標的の入手された画像を画像データストア118内に記憶し、そのような記憶された画像を変数Zの値と関連付ける。いくつかの実施形態では、画像データストア118は、対物レンズ154と関連付けられる複数の焦点標的画像を追跡するためのデータベースを含む。そのような実施形態では、画像入手器110は、そのようなデータベース内に、変数Zの値と、そのような変数と関連付けられる、入手された画像とを含む、エントリを生成する。他の実施形態では、変数Zの値を含むファイル名を有する、入手された画像が、記憶される。当業者に明白である、画像データストア118内に記憶される画像を変数Zの値と関連付ける、他の方法が、使用されてもよい。
【0038】
その後、ステップ318において、画像入手器110は、変数Zの値を値ΔZだけ増分させる。ステップ320において、画像入手器110は、変数Zの値が、値Z
max以下であるかどうかを決定し、該当する場合、ステップ310に戻り、対物レンズ154とXY段152との間の距離を増大させ、別の画像を入手する。そうでなければ、処理は、ステップ322(
図3)に進む。
【0039】
ステップ322において、ステップ306において入手され、記憶された焦点標的画像毎に、特性マップ発生器112は、焦点分析器114を呼び出す。焦点分析器114は、画像に焦点測定演算子を適用し、ピクセル毎に、そのようなピクセルを囲繞する面積内のピクセルに対する、そのようなピクセルの焦点の品質を表す値を展開する。当業者に明白であろうように、そのような焦点測定演算子は、画像勾配データ、エッジデータ、ウェーブレット係数、離散コサイン変換係数、および同等物を分析し、画像の領域の焦点を査定する。分析される焦点標的画像毎に、焦点分析器114は、値の2次元焦点査定アレイを発生させる。焦点査定アレイは、アレイの各要素が、焦点標的画像のピクセルに対応するように、焦点標的画像のものと同じ寸法を有する。アレイの各要素の値は、そのような要素が対応するピクセルを囲繞する領域の焦点のインジケーションである。
【0040】
いくつかの実施形態では、アレイの要素の焦点値が、例えば、そのような要素と関連付けられる各焦点標的の200ピクセル×200ピクセルである、ピクセルの領域の焦点の品質を分析することによって決定される。いくつかの実施形態では、そのような分析は、要素と関連付けられる領域内に最高周波数成分を有する焦点標的画像を識別し、そのような焦点標的と関連付けられるZ値が、焦点値として使用される。いくつかの実施形態では、そのような周波数分析は、そのような領域内のピクセルの強度値に関して行われてもよく、より高い周波数が、より良好な焦点と関連付けられる。いくつかの実施形態では、3次元査定が、対物レンズ154とXY段152との間の、そのような要素と関連付けられる最良焦点と関連付けられる画像をもたらす、距離を識別するために行われてもよく、そのような距離は、焦点値を表す。いくつかの実施形態では、画像は、サブサンプリングされてもよく、アレイは、いくつかのピクセルと関連付けられる、要素を含んでもよい。そのような要素の値は、要素と関連付けられるピクセルの焦点スコアの中央値または他の統計値を計算することによって決定されてもよい。
【0041】
ステップ324において、特性マップ発生器112が、ステップ322において発生された焦点査定アレイを分析し、特性マップアレイを展開する。
図5は、特性マップ発生器112によって特性マップアレイを展開するために行われるステップのフローチャートを示す。
【0042】
図5を参照すると、ステップ326において、特性マップ発生器112は、特性マップアレイを初期化する。特性マップアレイの寸法は、ステップ322において焦点分析器114によって発生された、焦点査定アレイの寸法と同じである。
【0043】
ステップ328において、特性マップ発生器112は、変数RおよびCの値を1に設定する。これらの変数は、特性マップアレイの各要素にわたって反復するように使用される。ステップ330において、特性マップ発生器112は、焦点査定アレイの全ての行Rおよび列Cにおける要素をチェックし、行Rおよび列Cにおける最高焦点値(すなわち、最良焦点と関連付けられる値)を有する、焦点査定アレイを選択する。特性マップ発生器112は、次いで、ステップ332において、選択された焦点査定アレイと関連付けられる変数Zの値(すなわち、対物レンズ154とXY段152との間の距離)を決定する。ステップ334において、特性マップ発生器112は、行Rおよび列Cにおける特性マップアレイの要素の値を、ステップ330において選択された焦点査定アレイと関連付けられる変数Zの値に設定する。
【0044】
ステップ336において、特性マップ発生器112は、変数Cの値を増分させ、ステップ338において、変数Cの値が、特性マップアレイ内の列の数以下であるかどうかを決定するためにチェックする。該当する場合、特性マップ発生器112は、ステップ330に戻る。
【0045】
そうでなければ、ステップ340において、特性マップ発生器112は、変数Rの値を増分させ、ステップ342において、変数Rの値が、特性マップアレイ内の行の数以下であるかどうかを決定するためにチェックする。該当する場合、特性マップ発生器112は、ステップ330に戻る。そうでなければ、特性マップ発生器112は、ステップ340(
図3)に進む。
【0046】
いくつかの実施形態では、特性マップアレイの要素の全ての値が、上記に説明されるように展開された後、特性マップ発生器112は、特性マップアレイの値に平滑化フィルタを適用してもよい。そのような平滑化フィルタは、例えば、中央値フィルタ、ノイズ低減フィルタ、ガウスフィルタ、形態開放/閉鎖フィルタ、および同等物を含んでもよい。
【0047】
再び
図3を参照すると、いくつかの実施形態では、ステップ324において展開された特性マップアレイが、それから特性マップアレイが展開された焦点標的画像を生成するために使用される、対物レンズ154の識別子と関連付けられるものとして、特性マップデータストア122内に記憶される。
【0048】
いくつかの実施形態では、ステップ346において、特性マップ発生器112は、特性マップアレイ内の値に3次元表面方程式を適合させてもよい。表面方程式は、特性マップアレイの行および列を、そのような行および列における要素の値にマップする、代数関数を表す。そのような関数を決定するために、特性マップ発生器112は、例えば、最小2乗適合技法を使用して、特性マップアレイの要素の値に、当業者に明白である、bスプライン関数、多項式関数、または任意の他のタイプの関数を適合させてもよい。いくつかの実施形態では、対物レンズデータベースから読み出される、対物レンズ154と関連付けられる特性データは、特性マップアレイ内の値に適合させるために適切であろう、所定のタイプの関数に関する情報を含んでもよい。
【0049】
特性マップアレイに方程式を適合させることは、対物レンズ154を使用して捕捉される焦点標的画像内のノイズまたは他の画像アーチファクトの影響、またはそのような画像のピクセルと関連付けられる焦点値を展開するステップにおける誤差を低減させ得る。
【0050】
ステップ344において、特性マップ発生器112は、表面方程式を、対物レンズ154と関連付けられる特性マップとして、特性マップデータストア122内に記憶する。その後、特性マップ発生器112は、終了する。
【0051】
特性マップが、上記に説明されるように生成され、記憶された後、オペレータは、上記に説明されるように、撮像システム102内に撮像されるべきサンプル162を装填し、対物レンズ154と関連付けられる識別子を選択し、オペレータコンピュータ106を使用し、焦点補正システム100に、対物レンズ154を使用してサンプル162の焦点補正画像を発生させるように命令してもよい。
【0052】
それに応答して、画像発生器116は、撮像システム102と、特性マップデータストア122に記憶される特性マップとを使用し、サンプル162の焦点補正画像を発生させる。
図6は、画像発生器116がそのような焦点補正画像を発生させるために行う、ステップのフローチャート400を示す。
【0053】
図6を参照すると、ステップ402において、画像発生器116は、サンプル162の焦点補正画像を発生させるために使用されるべきである、対物レンズ154に関する情報に関して、対物レンズデータベース120にクエリする。画像発生器116によって読み出される情報は、対物レンズ154と、それにわたって画像発生器116がサンプル162の画像を捕捉し、焦点補正画像を発生させるであろう、XY段152上に配置されるサンプル162の焦点平面との間の最小距離(Z’
min)と、最大距離(Z’
max)とを含む。
【0054】
サンプル162の焦点平面が、例えば、レーザベースの集束システム等、例えば、撮像システム102と関連付けられる自動焦点機構を使用して、決定され得ることが、当業者に明白であるはずである。
【0055】
情報はまた、距離が、サンプル162の順次画像間で調節されるであろう、ステップサイズ(ΔZ’)も含む。サンプル162の焦点補正画像を発生させるために使用される、Z’min、Z’max、およびΔZ’の値は、対物レンズ154と関連付けられる特性マップを発生させるために使用される、Zmin、Zmax、およびΔZの値と同じであってもよい。代替として、そのような値は、異なってもよい。例えば、ΔZの値を上回る、ΔZ’の値を有することは、入手されるサンプル162の画像の数を低減させ、したがって、焦点補正画像を発生させるために必要な時間量を低減させる。いくつかの実施形態では、オペレータは、オペレータコンピュータ106を介して、ΔZ’の比較的に大きい値と関連付けられる、高速撮像モード、ΔZ’のより小さい値と関連付けられる、中速撮像モード、およびΔZの値と同じΔZ’の値と関連付けられる、低速撮像モードの選択肢を提供されてもよい。
【0056】
ステップ404において、画像発生器116は、特性マップデータストア122から、サンプル162を撮像するために使用されている、対物レンズ154と関連付けられる特性マップをロードする。表面方程式が、上記に説明されるように特性マップアレイから生成されている場合、画像発生器116は、表面方程式を特性マップとしてロードする。そうでなければ、画像発生器116は、特性マップアレイを特性マップとしてロードする。
【0057】
ステップ406において、画像発生器116は、画像入手器110を呼び出し、対物レンズ154を用いてサンプル162の複数の画像を入手する。画像入手器110は、値Z’
min、Z’
max、およびΔZ’が、それぞれ、ステップ308、318、および320において、Z
min、Z
max、およびΔZの代わりに使用されることを除いては、
図4に示されるものと実質的に同じであるステップを行い、複数の焦点標的画像を入手する。また、画像入手器110は、ステップ310における、対物レンズ154とXY段との間の距離ではなく、対物レンズ154とXY段152上のサンプル162の焦点平面との間の距離を設定する。さらに、ステップ320の後に、処理は、変数Zの値が、Z’
maxの値以下ではない場合、ステップ322の代わりにステップ406に進む。
【0058】
ステップ408において、画像発生器116は、画像入手器110によって入手される画像と同一の寸法を有する、出力画像を生成し、初期化する。ステップ410において、画像発生器116は、変数Xおよび変数Yの両方の値を1に設定する。これらの変数は、それぞれ、出力画像の幅および高さに沿った、ピクセルを通して反復されるように使用される。
【0059】
ステップ412において、画像発生器116は、座標(X,Y)における出力画像のピクセルに対応する、特性マップの値を決定する。いくつかの実施形態では、そのような値は、特性マップアレイの行Xおよび列Yにおける、要素の値である。上記に説明されるように、そのような値、すなわち、Z-値は、撮像システム102によって発生される画像の座標(X,Y)におけるピクセルを含有する領域の焦点が、最良であった、対物レンズ154と、XY段152上に配置される集束標的の焦点平面との間の距離を表す。特性マップが、表面関数である場合、そのようなZ値は、表面関数を座標(X,Y)に適用することによって計算される。特性マップが、特性マップアレイである場合、そのようなZ値は、座標(X,Y)におけるアレイ要素の値である。
【0060】
ステップ402においてロードされるZ’min、Z’max、およびΔZ’のうちの1つ以上のものの値が、それぞれ、特性マップを生成するために使用される、値Zmin、Zmax、およびΔZと同じではない場合、特性マップが展開されたときに、座標(X,Y)におけるピクセルと関連付けられるZ値において捕捉された、いかなる焦点標的画像も、存在しない場合があることが、可能性として考えられる。
【0061】
ステップ414において、画像発生器116は、ステップ406において入手された画像のうちのいずれかが、対物レンズ154とサンプル162の焦点平面との間の距離が、Z値と実質的に同じであったときに入手されたかどうかを決定する。該当する場合、画像発生器は、ステップ416に進み、そうでなければ、画像発生器116は、ステップ418に進む。
【0062】
ステップ416において、画像発生器116は、対物レンズ154とサンプル162の焦点平面との間の距離が、ステップ412において決定されたZ値と実質的に同じであったとき、出力画像の座標(X,Y)におけるピクセルの強度値を、ステップ406において入手された画像の座標(X,Y)におけるピクセルの強度値に設定する。その後、画像発生器は、ステップ420に進む。
【0063】
ステップ406において捕捉され、ステップ412において決定されたZ値と関連付けられた画像が、存在しない場合、ステップ418において、画像発生器116は、それぞれ、距離Z1およびZ2において取得される、第1の画像および第2の画像を選択し、Z1は、Z値を下回り、Z2は、Z値を上回り、値Z1およびZ2は、Z値に最も近い(すなわち、値Z1およびZ2は、Z値を境界した)。
【0064】
その後、ステップ422において、画像発生器116は、例えば、第1の画像の座標(X,Y)におけるピクセルの強度値と、第2の画像の座標(X,Y)におけるピクセルの強度値との間を線形に補間することによって、座標(X,Y)における出力ピクセルの強度値を決定する。他のタイプの補間、例えば、三次補間もまた、使用され得ることが、当業者に明白であるはずである。
【0065】
出力画像の座標(X,Y)におけるピクセルを展開した後、画像発生器116は、ステップ420において、変数Xの値を1だけ増分させ、ステップ424において、Xの値が、出力画像の幅に沿ったピクセルの数以下であるかどうかを決定する。該当する場合、画像発生器116は、ステップ412に進み、出力画像の幅に沿った別のピクセルの強度値を展開する。そうでなければ、画像発生器116は、ステップ426に進む。
【0066】
ステップ426において、画像発生器116は、変数Yの値を1だけ増分させ、ステップ428において、変数Yの値が、出力画像の高さに沿ったピクセルの数以下であるかどうかを決定する。該当する場合、画像発生器116は、ステップ412に進み、出力画像の別のピクセルを展開する。そうでなければ、ステップ430において、画像発生器116は、さらなる分析のために、画像データストア118内に出力画像を記憶する、および/または表示および/またはさらなる分析のために、そのような画像をオペレータコンピュータ106および/または別のシステム(図示せず)に伝送する。そのようなさらなる分析は、焦点補正画像内の物体を生体細胞、細胞小器官、および同等物として分類すること、特定のタイプであるものとして分類されている物体を計数すること、そのような物体の面積および/または周囲長を測定すること、および同等物を含んでもよい。
【0067】
いくつかの実施形態では、ステップ406においてサンプルの複数の画像を入手および記憶し、次いで、ステップ410-428において出力画像のピクセルの強度値を展開する代わりに、画像発生器116は、サンプル162の各画像が、捕捉された後、出力画像のあるピクセルを発生させてもよい。
図6Aは、画像発生器116によってこのように出力画像を発生させるために行われる処理のフローチャート500である。
【0068】
図6Aを参照すると、ステップ502において、画像発生器116は、
図6のステップ402に関連して上記に説明されるように、Z’
min、Z’
maxの値およびステップサイズΔZをロードする。ステップ504において、画像発生器116は、
図4のステップ404に関連して上記に説明されるように、対物レンズと関連付けられる特徴付けマップをロードする。ステップ506において、画像発生器116は、変数Zの値をZ’
minに設定する。ステップ508において、画像発生器116は、新しい出力画像を生成する。
【0069】
ステップ510において、画像発生器116は、画像入手器110に、対物レンズ154を、サンプル162の焦点平面から距離Zにあるように位置付けるように指示し、ステップ512において、画像入手器110に、サンプル162の画像を捕捉するように指示する。
【0070】
ステップ514において、画像発生器116は、対物レンズ154と関連付けられる特性マップを使用し、出力画像内に含まれるべきである、対物レンズ154とサンプル162との間の距離Zにおいて捕捉された、入手された画像のピクセル(すなわち、そのような距離Zにおいて合焦している、入手された画像のそれらのピクセル)を決定する。特に、画像発生器116は、Zに等しい、またZのΔZ内の値を有する、特性マップ内の要素を識別する。
【0071】
ステップ516において、ステップ514において識別された特性マップの要素に対応する出力画像のピクセル毎に、画像発生器116は、出力画像のそのようなピクセルの強度値を、それに対応する、ステップ512において捕捉された画像のピクセルの強度値に設定する。
【0072】
ステップ518において、画像発生器116は、Zの値をΔZの値だけ増分させ、ステップ520において、Zの値が、Z’
maxの値以下であるかどうかを決定する。該当する場合、画像発生器116は、ステップ510に進む。そうでなければ、画像発生器116は、ステップ522に進み、
図6のステップ430に関連して上記に説明されるように、出力画像を記憶する、および/または提供する。
【0073】
図4のステップ418および422に関連して上記に説明されるように、特定のピクセルが合焦する対物レンズの位置は、ステップ512においてサンプルの画像が捕捉された、2つの距離の間にあり得る。そのような状況において、画像発生器116は、ステップ516において、
図4のステップ422に関連して説明されるように、ステップ512において入手された2つ(以上の)画像のピクセルから、出力ピクセルの強度を決定する。
【0074】
いくつかの実施形態では、複数の特性マップが、対物レンズ154のために生成されてもよく、各特性マップが、特定の撮像構成と関連付けられる。例えば、第1の特性マップが、第1の焦点標的を通して透過される光を撮像することによって取得される、第1の複数の焦点標的画像から生成されてもよく、第2の特性マップが、第1の特定の波長の光によって励起されるときに第2の焦点標的によって放出される蛍光を撮像することによって発生される、第2の複数の焦点標的画像から生成されてもよく、第3の特性マップが、第2の特定の波長の光によって励起されるときに第3の焦点標的によって放出される蛍光を撮像することによって発生される、第3の複数の焦点標的画像から生成されてもよい等となる。いくつかの実施形態では、画像発生器116は、特定の撮像構成を使用して展開される特性マップを使用し、同一の特定の撮像構成下で入手された複数の画像から、サンプル162の出力画像を展開する。他の実施形態では、画像発生器116は、第1の撮像構成を使用して入手された特性マップを使用し、第2の撮像構成を使用して入手されたサンプル162の複数の画像から、サンプル162の焦点補正画像を展開してもよい。
【0075】
第1の撮像システム102内で第1の対物レンズ154を使用して入手された、複数の焦点標的画像を使用して第1の対物レンズ154のために展開された特性マップが、画像発生器116によって使用され、第1または第2の撮像システム102内で第2の対物レンズ154を使用して入手された、サンプル162の複数の画像から、焦点補正出力画像を展開してもよく、第1および第2の対物レンズ154は、類似の特性を有する。
【0076】
例えば、平坦視野補正、背景強度補正、および同等物を含む、付加的な画像処理関数が、焦点補正画像が画像発生器116によってそこから発生される前に、サンプル162の複数の画像に適用され得ることが、当業者に明白であるはずである。同様に、1つ以上の付加的な画像処理関数が、画像発生器116によって展開されるサンプル162の焦点補正画像に適用されてもよい。
【0077】
特性マップおよびそのような特性マップを使用してサンプル162の焦点補正画像を展開するために説明される実施形態が、ライトフィールド、蛍光、または共焦点撮像を使用する、撮像システム102との組み合わせにおいて使用されてもよい。
【0078】
画像発生器116は、その特定の焦点平面において撮影されるサンプル162の焦点補正された2次元画像を発生させるために説明されているが、画像発生器116が、種々の焦点平面において撮影されるサンプル162の複数の画像を生成するためにも使用され得ることが、明白であるはずである。そのような複数の画像の各画像が、対物レンズ154の焦点収差に関して補正され得る。本複数の画像は、サンプル162の焦点補正された3次元画像表現を視認することを促進する、および/または画像のZスタックによって表される物体の3次元分析を促進する、画像のZスタックとして使用されることができる。そのような分析は、画像内の3次元物体の数を計数すること、そのような物体のタイプを(例えば、細胞、細胞小器官、および同等物として)特徴付けること、そのような物体の体積および/または表面積を測定すること、および同等物を含んでもよい。
【0079】
ハードウェアおよび/またはソフトウェアの任意の組み合わせが、本明細書に説明される焦点補正システム100を実装するために使用され得ることが、当業者に明白であるはずである。
図1-6に関連して説明される、プロセス、サブプロセス、およびプロセスステップのうちの1つ以上のものが、1つ以上の電子またはデジタル制御デバイス上でハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせによって実施され得ることを理解されたい。ソフトウェアは、例えば、
図1-6に図式的に描写される、機能システム、コントローラ、デバイス、コンポーネント、モジュール、またはサブモジュールのうちの1つ以上のもの等の好適な電子処理コンポーネントまたはシステム内のソフトウェアメモリ(図示せず)内に常駐してもよい。ソフトウェアメモリは、論理機能(すなわち、デジタル回路網またはソースコード等のデジタル形態において、またはアナログ電気、音、またはビデオ信号等のアナログソース等のアナログ形態において実装され得る、「論理」)を実装するための実行可能命令の順序付けられる列挙物を含んでもよい。命令は、例えば、1つ以上のマイクロプロセッサ、汎用目的プロセッサ、プロセッサ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、および/またはグラフィック処理ユニット(GPU)の組み合わせを含む、処理モジュールまたはコントローラ(例えば、
図1のオペレータインターフェース104、撮像システムインターフェース108、画像入手器110、特性マップ発生器112、焦点分析器114、および画像発生器116)内で実行され得る。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない、物理的(ハードウェアおよび/またはソフトウェア)実装を有する機能の論理分割を説明する。本願において説明される例示的システムは、種々の構成内に実装され、単一のハードウェア/ソフトウェアユニット内、または別個のハードウェア/ソフトウェアユニット内でハードウェア/ソフトウェアコンポーネントとして動作し得る。
【0080】
焦点補正システム100の1つ以上のコンポーネントが、例えば、ローカルエリアネットワークまたは広域ネットワーク(例えば、インターネットまたはプライベートネットワーク)を経由して接続される分散型のコンピューティングシステムおよびストレージシステムを使用して、クラウド環境内で動作し得ることが、当業者に明白であるはずである。例えば、オペレータインターフェース104、撮像システムインターフェース108、画像入手器110、特性マップ発生器112、焦点分析器114、および画像発生器116のうちの1つ以上のものが、オペレータコンピュータ106、撮像システム102、および/または相互から遠隔にある、1つ以上のコンピュータ上で動作してもよい。1つのそのような構成では、例えば、撮像システムインターフェース108が、ローカルエリアネットワークまたは広域ネットワークを経由してコントローラ150と通信し、撮像システム102から画像を入手し、このように入手された画像をクラウドベースの画像データストア118内に記憶してもよい。ローカルで、またはクラウド内で動作する特性マップ発生器112は、ローカルで、またはクラウド内に記憶される対物レンズデータベース120から、対物レンズ154情報にアクセスし、特性マップを展開し、特性マップを、ローカルである、またはクラウドベースのストレージシステム内にある特性マップデータストア102内に記憶してもよい。(ローカルサーバ上またはクラウド環境内で動作する)画像発生器116は、特性マップデータストア122内に記憶される特性マップにアクセスし、出力画像を展開してもよい。
【0081】
実行可能命令は、電子システムの処理モジュールによって実行されると、電子システムに命令を行うように指示する、その中に記憶される命令を有する、コンピュータプログラム製品として実装されてもよい。コンピュータプログラム製品は、命令実行システム、装置、またはデバイスからの命令を選択的にフェッチし、命令を実行し得る、電子コンピュータベースのシステム、プロセッサ含有システム、または他のシステム等の命令実行システム、装置、またはデバイスによる、またはそれに関連する使用のための、任意の非一過性コンピュータ可読記憶媒体内で選択的に具現化されてもよい。本書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる、またはそれに関連する使用のための、プログラムを記憶し得る、任意の非一過性手段である。非一過性コンピュータ可読記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、またはデバイスであってもよい。非一過性コンピュータ可読媒体のより具体的な実施例の非包括的なリストは、1つ以上のワイヤを有する電気接続(電子)、ポータブルコンピュータディスケット(磁気)、ランダムアクセス、すなわち、揮発性メモリ(電子)、読取専用メモリ(電子)、例えば、フラッシュメモリ等の消去可能なプログラマブル読取専用メモリ(電子)、例えば、CD-ROM、CD-R、CD-RW等のコンパクトディスクメモリ(光学)、およびデジタル多用途ディスクメモリ、すなわち、DVD(光学)を含む。
【0082】
また、本書において使用されるような信号またはデータの受信および伝送が、2つ以上のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して、相互と通信することが可能であることを意味することも理解されたい。信号は、第1のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールから、第1および第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間の信号経路に沿って、第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールに情報、電力、またはエネルギーを通信し得る、通信、電力、データ、またはエネルギー信号であってもよい。信号経路は、物理、電気、磁気、電磁気、電気化学、光学、有線、または無線接続を含んでもよい。信号経路はまた、第1および第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間に付加的なシステム、デバイス、コンポーネント、モジュール、またはサブモジュールを含んでもよい。
【0083】
本明細書に引用される、公開文書、特許出願、および特許を含む全ての参考文献は、各参考文献が、参照することによって組み込まれ、その全体として本明細書に記載されると個々にかつ具体的に示される場合と同程度に、参照することによって本明細書に組み込まれる。
【0084】
本発明を説明する文脈における(特に、以下の請求項の文脈における)用語「a」および「an」および「the(前記)」および類似の呼称の使用は、本明細書において別様に示される、または文脈によって明確に矛盾されない限り、単数形および複数形の両方を網羅すると解釈されるべきである。本明細書における値の範囲の列挙は、本明細書において別様に示されない限り、その範囲内に入る各別個の値を個々に言及する簡略的方法としての役割を果たすことを意図しているにすぎず、各別個の値は、本明細書に個々に列挙されている場合と同様に、本明細書内に組み込まれる。本明細書に説明される方法の全ては、本明細書において別様に示される、または文脈によって明確に別様に矛盾されない限り、任意の好適な順序において実施されることができる。本明細書に提供される、ありとあらゆる実施例または例示的な言い回し(例えば、「等」)の使用は、別様に請求されない限り、本開示をより明瞭に照明することを意図しているにすぎず、本開示の範囲に限定を課すものではない。本明細書におけるいかなる言い回しも、任意の非請求要素を、本開示の実践に対して不可欠であるように示しているものとして解釈されるべきではない。
【0085】
本開示に対する多数の修正が、前述の説明に照らして、当業者に明白となるであろう。例証される実施形態が、例示的にすぎず、本開示の範囲を限定するものとして捉えられるべきではないことを理解されたい。