IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ナノトロニクス イメージング リミテッド ライアビリティ カンパニーの特許一覧

特許7041981顕微鏡自動焦点のシステム、装置、および方法
<>
  • 特許-顕微鏡自動焦点のシステム、装置、および方法 図1
  • 特許-顕微鏡自動焦点のシステム、装置、および方法 図2
  • 特許-顕微鏡自動焦点のシステム、装置、および方法 図3
  • 特許-顕微鏡自動焦点のシステム、装置、および方法 図4
  • 特許-顕微鏡自動焦点のシステム、装置、および方法 図5
  • 特許-顕微鏡自動焦点のシステム、装置、および方法 図6
  • 特許-顕微鏡自動焦点のシステム、装置、および方法 図7
  • 特許-顕微鏡自動焦点のシステム、装置、および方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-16
(45)【発行日】2022-03-25
(54)【発明の名称】顕微鏡自動焦点のシステム、装置、および方法
(51)【国際特許分類】
   G02B 7/28 20210101AFI20220317BHJP
   G02B 21/00 20060101ALI20220317BHJP
   G02B 7/36 20210101ALI20220317BHJP
   G03B 13/36 20210101ALI20220317BHJP
【FI】
G02B7/28 J
G02B21/00
G02B7/36
G03B13/36
【請求項の数】 32
(21)【出願番号】P 2020547350
(86)(22)【出願日】2019-03-13
(65)【公表番号】
(43)【公表日】2021-07-01
(86)【国際出願番号】 US2019022070
(87)【国際公開番号】W WO2019178241
(87)【国際公開日】2019-09-19
【審査請求日】2020-10-13
(31)【優先権主張番号】15/920,850
(32)【優先日】2018-03-14
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/275,177
(32)【優先日】2019-02-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511289471
【氏名又は名称】ナノトロニクス イメージング インコーポレイテッド
【氏名又は名称原語表記】NANOTRONICS IMAGING,INC.
【住所又は居所原語表記】2251 FRONT STREET,SUITE 110,P.O.BOX 306,CUYAHOGA FALLS,OHIO 44223,U.S.A.
(74)【代理人】
【識別番号】110002321
【氏名又は名称】特許業務法人永井国際特許事務所
(72)【発明者】
【氏名】プットマン,ジョン ビー
(72)【発明者】
【氏名】プットマン,マシュー シー
(72)【発明者】
【氏名】オーランド,ジュリー
(72)【発明者】
【氏名】ファシュバウ,ディラン
【審査官】藏田 敦之
(56)【参考文献】
【文献】特開2005-189876(JP,A)
【文献】特開2012-181341(JP,A)
【文献】米国特許第7583380(US,B2)
【文献】米国特許第6879440(US,B2)
【文献】米国特許第8576483(US,B2)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 7/28 - 7/40
G02B 19/00 -21/00
G02B 21/06 -21/36
G03B 3/00 - 3/12
G03B 13/30 -13/36
G03B 21/53
H04N 5/222- 5/257
(57)【特許請求の範囲】
【請求項1】
顕微鏡自動焦点システムであって、
対物レンズ、
第1の画像形成共役面上に試料を配置する試料台、
第2の画像形成共役面上に配置され、合焦するように構成される第1のカメラ、
前記第2の画像形成共役面に対してオフセット距離を有するように配置され、合焦するように構成される第2のカメラ、
1の波長範囲の光を出射する主照明光源であり、前記主照明光源から出射される前記光は前記第1のカメラで受光される、主照明光源、
前記第1の波長範囲と異なる第2の波長範囲の光を出射し、第3の画像形成共役面上に配置される合焦パターンを通してその光を投影し、前記合焦パターンを通して投影される前記光は前記第2のカメラで受光される、副照明光源、および
前記第1のカメラおよび前記第2のカメラに連結されているハードウェアプロセッサを含み、
前記ハードウェアプロセッサは、
前記第1のカメラを用い、鮮明度値に基づいて前記試料が合焦されるときを決定し、
前記試料が前記第1のカメラで合焦されていると決定された場合に、前記第2のカメラを用いて前記試料の鮮明度設定点を決定し、
前記試料の移動後に、前記第2のカメラを用いて前記試料の第1の鮮明度値を決定し、
前記試料の前記第1の鮮明度値が前記鮮明度設定点よりも高いか低いかを決定し、かつ
前記第2のカメラを用いて決定される前記試料の第2の鮮明度値が前記鮮明度設定点に対応するように、前記対物レンズと前記試料台の間の距離を調節するように構成される、システム。
【請求項2】
前記ハードウェアプロセッサは、
前記第2のカメラを用いて前記試料の鮮明度曲線を決定し、かつ
前記第2のカメラを用いて決定された前記試料の前記第2の鮮明度値が前記鮮明度設定点に対応するように、前記鮮明度曲線に基づいて前記対物レンズと前記試料台の間の前記距離を調節するようにさらに構成される、請求項1に記載のシステム。
【請求項3】
前記副照明光源と前記第1のカメラの間の第1の光路内に配置され、前記副照明光源からの光が前記第1のカメラに到達するのを防止する第1のフィルタ、および
前記照明光源と前記第2のカメラの間の第2の光路内に配置され、前記照明光源からの光が前記第2のカメラに到達するのを防止する第2のフィルタをさらに含む、請求項1に記載のシステム。
【請求項4】
前記第1のカメラは、前記試料が合焦されていると決定された場合に、前記試料の画像を撮影するようにも構成される、請求項1に記載のシステム。
【請求項5】
前記主照明光源と前記対物レンズの間の光路に配置される視野絞りをさらに含む、請求項1に記載のシステム。
【請求項6】
前記ハードウェアプロセッサは、前記試料台および前記対物レンズのうちの少なくとも一方を移動させて大まかな合焦および微細な合焦を達成するようにさらに構成される、請求項1に記載のシステム。
【請求項7】
前記第2のカメラを用いて決定された前記試料の前記第2の鮮明度値が前記鮮明度設定点に対応するように、前記対物レンズと前記試料台の間の前記距離を調節することは、
前記対物レンズと前記試料台の間の前記距離を繰り返し調節すること、
前記第2のカメラを用いて前記第2の鮮明度値を繰り返し決定すること、および
前記第2の鮮明度値を前記鮮明度設定点と繰り返し比較することを含む、請求項1に記載のシステム。
【請求項8】
前記ハードウェアプロセッサは、前記対物レンズに対する前記試料台の位置を保存するようにさらに構成される、請求項1に記載のシステム。
【請求項9】
前記保存された位置は、前記第2の画像形成共役面に対する前記第2のカメラの位置を決定するのに用いられる、請求項8に記載のシステム。
【請求項10】
顕微鏡自動焦点システムであって、
対物レンズ、
第1の画像形成共役面上に試料を配置する試料台、
第2の画像形成共役面上に配置され、前記試料が合焦されていると決定された場合に、前記試料の画像を撮影するように構成される第1のカメラ、
第3の画像形成共役面上に配置され、合焦するように構成される第2のカメラ、
前記第3の画像形成共役面に対してオフセット距離を有するように配置され、合焦するように構成される第3のカメラ、
1の波長範囲の光を出射する主照明光源であり、前記主照明光源から出射される前記光は前記第1のカメラで受光される、主照明光源、
前記第1の波長範囲と異なる第2の波長範囲の光を出射し、第4の画像形成共役面上に配置される合焦パターンを通してその光を投影し、前記合焦パターンを通して投影される前記光は前記第2および第3のカメラで受光される、副照明光源、および
前記第2のカメラおよび前記第3のカメラに連結されているハードウェアプロセッサを含み、
前記ハードウェアプロセッサは、
前記第2のカメラを用い、鮮明度値に基づいて前記試料が合焦されるときを決定し、
前記試料が前記第2のカメラで合焦されていると決定された場合に、前記第3のカメラを用いて前記試料の鮮明度設定点を決定し、
前記試料の移動後に、前記第3のカメラを用いて前記試料の第1の鮮明度値を決定し、
前記試料の前記第1の鮮明度値が前記鮮明度設定点よりも高いか低いかを決定し、かつ
前記第3のカメラを用いて決定される前記試料の第2の鮮明度値が前記鮮明度設定点に対応するように、前記対物レンズと前記試料台の間の距離を調節するように構成される、システム。
【請求項11】
前記ハードウェアプロセッサは、
前記第3のカメラを用いて前記試料の鮮明度曲線を決定し、かつ
前記第3のカメラを用いて決定された前記試料の前記第2の鮮明度値が前記鮮明度設定点に対応するように、前記鮮明度曲線に基づいて前記対物レンズと前記試料台の間の前記距離を調節するようにさらに構成される、請求項10に記載のシステム。
【請求項12】
前記副照明光源と前記第1のカメラの間の光路内に配置され、前記副照明光源からの光が前記第1のカメラに到達するのを防止する第1のフィルタ、および
前記照明光源と前記第2および第3のカメラの間の光路内に配置され、前記照明光源からの光が前記第2および第3のカメラに到達するのを防止する第2のフィルタをさらに含む、請求項10に記載のシステム。
【請求項13】
前記主照明光源と前記対物レンズの間の光路に配置される視野絞りをさらに含む、請求項10に記載のシステム。
【請求項14】
前記ハードウェアプロセッサは、前記試料台および前記対物レンズのうちの少なくとも一方を移動させて大まかな合焦および微細な合焦を達成するようにさらに構成される、請求項10に記載のシステム。
【請求項15】
前記第3のカメラを用いて決定された前記試料の前記第2の鮮明度値が前記鮮明度設定点に対応するように、前記対物レンズと前記試料台の間の前記距離を調節することは、
前記対物レンズと前記試料台の間の前記距離を繰り返し調節すること、
前記第3のカメラを用いて前記第2の鮮明度値を繰り返し決定すること、および
前記第2の鮮明度値を前記鮮明度設定点と繰り返し比較することを含む、請求項10に記載のシステム。
【請求項16】
前記ハードウェアプロセッサは、前記対物レンズに対する前記試料台の位置を保存するように構成される、請求項10に記載のシステム。
【請求項17】
前記保存された位置は、前記第3の画像形成共役面に対する前記第3のカメラの位置を決定するのに用いられる、請求項16に記載のシステム。
【請求項18】
顕微鏡自動焦点方法であって、
試料台上にある試料を第1の画像形成共役面上に配置する工程、
合焦するように構成された第1のカメラを第2の画像形成共役面上に配置する工程、
合焦するように構成された第2のカメラを前記第2の画像形成共役面に対してオフセット距離を有するように配置する工程、
主照明光源から第1の波長範囲の光を出射し、前記主照明光源から出射される前記光を前記第1のカメラで受光する工程、
副照明光源から前記第1の波長範囲と異なる第2の波長範囲の光を出射し、その光を第3の画像形成共役面上に配置される合焦パターンを通して投影し、前記合焦パターンを通して投影される前記光を前記第2のカメラで受光する工程、
ハードウェアプロセッサにより、前記第1のカメラを用いて、鮮明度値に基づいて、前記試料が合焦されるときを決定する工程、
前記試料が前記第1のカメラで合焦されていると決定された場合に、前記ハードウェアプロセッサにより、前記第2のカメラを用いて前記試料の鮮明度設定点を決定する工程、
前記試料の移動後に、前記ハードウェアプロセッサにより、前記第2のカメラを用いて、前記試料の第1の鮮明度値を決定する工程、
前記ハードウェアプロセッサにより、前記試料の前記第1の鮮明度値が前記鮮明度設定点よりも高いか低いかを決定する工程、および
前記第2のカメラを用いて決定される前記試料の第2の鮮明度値が前記鮮明度設定点に対応するように、前記ハードウェアプロセッサにより対物レンズと前記試料台の間の距離を調節する工程を含む、方法。
【請求項19】
前記第2のカメラを用いて前記試料の鮮明度曲線を決定する工程、および
前記第2のカメラを用いて決定された前記試料の前記第2の鮮明度値が前記鮮明度設定点に対応するように、前記鮮明度曲線に基づいて前記対物レンズと前記試料台の間の前記距離を調節する工程をさらに含む、請求項18に記載の方法。
【請求項20】
前記副照明光源からの光が前記第1のカメラに到達するのを防止する工程、および
前記照明光源からの光が前記第2のカメラに到達するのを防止する工程をさらに含む、請求項18に記載の方法。
【請求項21】
前記第1のカメラは、前記試料が合焦されていると決定された場合に、前記試料の画像を撮影するようにも構成される、請求項18に記載の方法。
【請求項22】
前記試料台および前記対物レンズのうちの少なくとも一方を移動させて大まかな合焦および微細な合焦を達成する工程をさらに含む、請求項18に記載の方法。
【請求項23】
前記第2のカメラを用いて決定された前記試料の前記第2の鮮明度値が前記鮮明度設定点に対応するように、前記対物レンズと前記試料台の間の前記距離を調節する工程は、
前記対物レンズと前記試料台の間の前記距離を繰り返し調節する工程
前記第2のカメラを用いて前記第2の鮮明度値を繰り返し決定する工程、および
前記第2の鮮明度値を前記鮮明度設定点と繰り返し比較する工程を含む、請求項18に記載の方法。
【請求項24】
前記対物レンズに対する前記試料台の位置を保存する工程をさらに含む、請求項18に記載の方法。
【請求項25】
前記保存された位置は、前記第2の画像形成共役面に対する前記第2のカメラの位置を決定するのに用いられる、請求項24に記載の方法。
【請求項26】
顕微鏡自動焦点方法であって、
試料台上にある試料を第1の画像形成共役面上に配置する工程、
前記試料が合焦されていると決定された場合に、前記試料の画像を撮影するように構成された第1のカメラを第2の画像形成共役面上に配置する工程、
合焦するように構成された第2のカメラを第3の画像形成共役面上に配置する工程、
合焦するように構成された第3のカメラを前記第3の画像形成共役面に対してオフセット距離を有するように配置する工程、
主照明光源から第1の波長範囲の光を出射し、前記主照明光源から出射される前記光を前記第1のカメラで受光する工程、
副照明光源から前記第1の波長範囲と異なる第2の波長範囲の光を出射し、その光を第4の画像形成共役面上に配置される合焦パターンを通して投影し、前記合焦パターンを通して投影される前記光を前記第2および第3のカメラで受光する工程、
ハードウェアプロセッサにより、前記第2のカメラを用いて、鮮明度値に基づいて、前記試料が合焦されるときを決定する工程、
前記試料が前記第2のカメラで合焦されていると決定された場合に、前記ハードウェアプロセッサにより、前記第3のカメラを用いて前記試料の鮮明度設定点を決定する工程、
前記試料の移動後に、前記ハードウェアプロセッサにより、前記第3のカメラを用いて、前記試料の第1の鮮明度値を決定する工程、
前記ハードウェアプロセッサにより、前記試料の前記第1の鮮明度値が前記鮮明度設定点よりも高いか低いかを決定する工程、および
前記第3のカメラを用いて決定される前記試料の第2の鮮明度値が前記鮮明度設定点に対応するように、前記ハードウェアプロセッサにより前記顕微鏡の対物レンズと前記試料台の間の距離を調節する工程を含む、方法。
【請求項27】
前記第3のカメラを用いて前記試料の鮮明度曲線を決定する工程、および
前記第3のカメラを用いて決定された前記試料の前記第2の鮮明度値が前記鮮明度設定点に対応するように、前記鮮明度曲線に基づいて前記対物レンズと前記試料台の間の前記距離を調節する工程をさらに含む、請求項26に記載の方法。
【請求項28】
前記副照明光源からの光が前記第1のカメラに到達するのを防止する工程、および
前記照明光源からの光が前記第2および第3のカメラに到達するのを防止する工程をさらに含む、請求項26に記載の方法。
【請求項29】
前記試料台および前記対物レンズのうちの少なくとも一方を移動させて大まかな合焦および微細な合焦を達成する工程をさらに含む、請求項26に記載の方法。
【請求項30】
前記第3のカメラを用いて決定された前記試料の前記第2の鮮明度値が前記鮮明度設定点に対応するように、前記対物レンズと前記試料台の間の前記距離を調節する工程は、
前記対物レンズと前記試料台の間の前記距離を繰り返し調節する工程、
前記第3のカメラを用いて前記第2の鮮明度値を繰り返し決定する工程、および
前記第2の鮮明度値を前記鮮明度設定点と繰り返し比較する工程を含む、請求項26に記載の方法。
【請求項31】
前記対物レンズに対する前記試料台の位置を保存する工程をさらに含む、請求項26に記載の方法。
【請求項32】
前記保存された位置は、前記第3の画像形成共役面に対する前記第3のカメラの位置を決定するのに用いられる、請求項31に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、顕微鏡自動焦点のための画像に基づく機構に関する。
【背景技術】
【0002】
顕微鏡を用いて観察されるほとんどの試料は、表面のいたるところで小さな高さの変動を有する。これらの変動は人間の目には見えないことが多いが、顕微鏡で撮影される試料の一部の画像が焦点からはずれる可能性がある。
【0003】
顕微鏡が使用可能な合焦画像を生成することができる範囲は被写界深度として知られている。顕微鏡は、有用な画像を生成するために試料の一部を被写界深度内に保持しなければならない。しかし、試料の第1の部分の観察から当該試料の第2の部分の観察に移行する際に、試料の高さに小さな変動があると当該第2の部分が被写界深度外に出てしまう場合がある。
【0004】
異なる鮮明度測定値、たとえば、数ある中で画像コントラスト、解像度、エントロピー、および/または空間的周波数成分などを用いて顕微鏡で撮影された画像の焦点の品質を測定することができる。一般に、試料が合焦されている場合、撮影された画像は最高の鮮明度の品質(例えば、高コントラスト、広範囲の強度値、および鮮明な縁部)を示す。試料が合焦されていることを決定するのに用いることができる異なる鮮明度測定値を得るには、通常、一連の画像を撮影し、画像が合焦されるまで顕微鏡の対物レンズと試料の間の距離を広げるか狭める必要がある。その結果、各試料の全顕微鏡走査時間が長くなり、そのような測定を用いる方法は処理量の多い走査用途にはとてつもない時間がかかる。
【0005】
したがって、より少数の画像を用いて試料の適切な合焦面を見つけることが望ましい。
【発明の概要】
【0006】
顕微鏡自動焦点のシステム、方法、および媒体が提供される。
【0007】
実施形態によっては、顕微鏡自動焦点システムが提供される。本システムは、対物レンズ、第1の画像形成共役面上に試料を配置する試料台、第2の画像形成共役面上に配置され、合焦するように構成される第1のカメラ、前記第2の画像形成共役面に対してオフセット距離を有するように配置され、合焦するように構成される第2のカメラ、前記第1のカメラで受光される第1の波長範囲の光を出射する主照明光源、前記第1の波長範囲と異なる第2の波長範囲の光を出射し、第3の画像形成共役面上に配置される合焦パターンを通してその光を投影し、投影光は前記第2のカメラで受光される、副照明光源、および前記第1のカメラおよび前記第2のカメラに連結されているハードウェアプロセッサを含み、前記ハードウェアプロセッサは、前記第1のカメラを用い、鮮明度値(sharpness value)に基づいて前記試料が合焦されるときを決定し、前記試料が前記第1のカメラで合焦されていると決定された場合に、前記第2のカメラを用いて前記試料の鮮明度設定点を決定し、前記試料の移動後に、前記第2のカメラを用いて前記試料の第1の鮮明度値を決定し、前記試料の前記第1の鮮明度値が前記鮮明度設定点よりも高いか低いかを決定し、かつ前記第2のカメラを用いて決定される前記試料の第2の鮮明度値が前記鮮明度設定点に対応するように、前記顕微鏡の対物レンズと前記試料台の間の距離を調節するように構成される。
【0008】
実施形態によっては、顕微鏡自動焦点システムが提供される。本システムは、対物レンズ、第1の画像形成共役面上に試料を配置する試料台、第2の画像形成共役面上に配置され、前記試料が合焦されていると決定された場合に、前記試料の画像を撮影するように構成される第1のカメラ、第3の画像形成共役面上に配置され、合焦するように構成される第2のカメラ、前記第3の画像形成共役面に対してオフセット距離を有するように配置され、合焦するように構成される第3のカメラ、前記第1のカメラで受光される第1の波長範囲の光を出射する主照明光源、前記第1の波長範囲と異なる第2の波長範囲の光を出射し、第4の画像形成共役面上に配置される合焦パターンを通してその光を投影し、投影光は前記第2および第3のカメラで受光される、副照明光源、および前記第2のカメラおよび前記第3のカメラに連結されているハードウェアプロセッサを含み、前記ハードウェアプロセッサは、前記第2のカメラを用い、鮮明度値に基づいて前記試料が合焦されるときを決定し、前記試料が前記第2のカメラで合焦されていると決定された場合に、前記第3のカメラを用いて前記試料の鮮明度設定点を決定し、前記試料の移動後に、前記第3のカメラを用いて前記試料の第1の鮮明度値を決定し、前記試料の前記第1の鮮明度値が前記鮮明度設定点よりも高いか低いかを決定し、かつ前記第3のカメラを用いて決定される前記試料の第2の鮮明度値が前記鮮明度設定点に対応するように、前記顕微鏡の対物レンズと前記試料台の間の距離を調節するように構成される。
【0009】
実施形態によっては、顕微鏡自動焦点方法が提供される。本方法は、第1の画像形成共役面上にある試料台上に試料を配置する工程、合焦するように構成された第1のカメラを第2の画像形成共役面上に配置する工程、合焦するように構成された第2のカメラを前記第2の画像形成共役面に対してオフセット距離を有するように配置する工程、主照明光源から第1の波長範囲の光を出射し、その光を前記第1のカメラで受光する工程、副照明光源から前記第1の波長範囲と異なる第2の波長範囲の光を出射し、その光を第3の画像形成共役面上に配置される合焦パターンを通して投影し、投影光を前記第2のカメラで受光する工程、前記第1のカメラを用い、鮮明度値に基づいて、ハードウェアプロセッサにより前記試料が合焦されるときを決定する工程、前記試料が前記第1のカメラで合焦されていると決定された場合に、前記ハードウェアプロセッサにより、前記第2のカメラを用いて前記試料の鮮明度設定点を決定する工程、前記試料の移動後に、前記第2のカメラを用いて、前記ハードウェアプロセッサにより前記試料の第1の鮮明度値を決定する工程、前記ハードウェアプロセッサにより、前記試料の前記第1の鮮明度値が前記鮮明度設定点よりも高いか低いかを決定する工程、および前記第2のカメラを用いて決定される前記試料の第2の鮮明度値が前記鮮明度設定点に対応するように、前記ハードウェアプロセッサにより対物レンズと前記試料台の間の距離を調節する工程を含む。
【0010】
実施形態によっては、顕微鏡自動焦点方法が提供される。本方法は、第1の画像形成共役面上にある試料台上に試料を配置する工程、前記試料が合焦されていると決定された場合に、前記試料の画像を撮影するように構成された第1のカメラを第2の画像形成共役面上に配置する工程、合焦するように構成された第2のカメラを第3の画像形成共役面上に配置する工程、合焦するように構成された第3のカメラを前記第3の画像形成共役面に対してオフセット距離を有するように配置する工程、主照明光源から第1の波長範囲の光を出射し、その光を前記第1のカメラで受光する工程、副照明光源から前記第1の波長範囲と異なる第2の波長範囲の光を出射し、その光を第4の画像形成共役面上に配置される合焦パターンを通して投影し、投影光を前記第2および第3のカメラで受光する工程、前記第2のカメラを用い、鮮明度値に基づいて、ハードウェアプロセッサにより前記試料が合焦されるときを決定する工程、前記試料が前記第2のカメラで合焦されていると決定された場合に、前記ハードウェアプロセッサにより、前記第3のカメラを用いて前記試料の鮮明度設定点を決定する工程、前記試料の移動後に、前記第3のカメラを用いて、前記ハードウェアプロセッサにより前記試料の第1の鮮明度値を決定する工程、前記ハードウェアプロセッサにより、前記試料の前記第1の鮮明度値が前記鮮明度設定点よりも高いか低いかを決定する工程、および前記第3のカメラを用いて決定される前記試料の第2の鮮明度値が前記鮮明度設定点に対応するように、前記ハードウェアプロセッサにより前記顕微鏡の対物レンズと前記試料台の間の距離を調節する工程を含む。
【図面の簡単な説明】
【0011】
図1】開示される発明の対象のいくつかの実施形態に従う自動焦点システムの一例を示す。
【0012】
図2】開示される発明の対象のいくつかの実施形態に従う照明装置の一例を示す。
【0013】
図3】開示される発明の対象のいくつかの実施形態に従う合焦装置の一例を示す。
【0014】
図4】開示される発明の対象のいくつかの実施形態に従う光路の一例を示す。
【0015】
図5】開示される発明の対象のいくつかの実施形態に従う主合焦カメラの鮮明度曲線の一例を示す。
【0016】
図6】開示される発明の対象のいくつかの実施形態に従うオフセット合焦カメラの鮮明度曲線の一例を示す。
【0017】
図7】開示される発明の対象のいくつかの実施形態に従う、画像形成共役面からの異なる距離におけるオフセット合焦カメラの鮮明度曲線の一例を示す。
【0018】
図8】開示される発明の対象のいくつかの実施形態に従う、自動焦点システム、例えば図1に示すシステムを用いて自動焦点を行う処理の流れ図の一例を示す。
【発明を実施するための形態】
【0019】
開示される発明の対象のいくつかの実施形態によれば、試料の顕微鏡自動焦点のための機構(システム、方法、装置などを含むことができる)が提供される。
【0020】
図1に開示される発明の対象のいくつかの実施形態に従う自動焦点システム100の一例を示す。いくつかの実施形態に従う自動焦点システム100の基本的部品は、光を提供する照明装置200、試料の合焦面を見つける合焦装置300、垂直照明器13、撮影カメラ5、対物レンズ25、試料台30、およびハードウェア、ソフトウェア、および/またはファームウェアを含む制御システム108を含む。
【0021】
自動焦点システム100は、任意の適切な種類の顕微鏡の一部として実装されてもよい。例えば実施形態によっては、システム100は透過光または反射光を用いる光学顕微鏡の一部として実装されてもよい。より具体的には、システム100はオハイオ州カヤホガ・フォールズ市のNanotronics Imaging, Incから市販されるnSpec(登録商標)光学顕微鏡の一部として実装されてもよい。以下の記載では反射光垂直照明器13を参照するが、本明細書に記載する機構は反射光垂直照明器を用いない顕微鏡の一部であってもよい。
【0022】
いくつかの実施形態によれば、顕微鏡は1枚以上の対物レンズ25を含んでもよい。これらの対物レンズは異なる拡大倍率を有し、かつ/または明視野・暗視野顕微鏡法、微分干渉コントラスト顕微鏡法、および/または任意の他の適切な形態の顕微鏡法を用いて動作するように構成されてもよい。試料を検査するのに用いられる対物レンズおよび/または顕微鏡技術は、実施形態によってはソフトウェア、ハードウェア、および/またはファームウェアにより制御されてもよい。
【0023】
実施形態によっては、微動焦点アクチュエータ23を用いて対物レンズ25を試料台30に向かいかつ試料台30から離れるようにZ軸方向に駆動してもよい。微動焦点アクチュエータ23は、対物レンズ25の高精度の焦点微調節を行うように設計されてもよい。微動焦点アクチュエータ23は、ステッピングモータ、サーボモータ、リニアアクチュエータ、圧電モータ、および/または任意の他の適切な機構であってもよい。例えば実施形態によっては、圧電モータを用いて対物レンズを0~50マイクロメートル(μm)、0~100μm、あるいは0~200μm、および/または任意の他の適切な範囲の距離だけ駆動してもよい。
【0024】
実施形態によっては、X・Y軸移動台を試料台30に用いてもよい。X・Y軸移動台は、ステッピングモータ、サーボモータ、リニアモータ、および/または任意の他の適切な機構で駆動されてもよい。
【0025】
実施形態によっては、アクチュエータ35を含む焦点装置32を用いて試料台30を対物レンズ25に向かいかつ対物レンズ25から離れるようにZ軸方向に調節してもよい。アクチュエータ35を用いて例えば、0~5mm、0~10mm、0~30mm、および/または任意の他の適切な範囲の距離の大まかな合焦を行ってもよい。アクチュエータ35を用いて試料台30を上下に移動させて異なる厚みの試料を試料台に置くことができるようにしてもよい。実施形態によっては、アクチュエータ35を用いて例えば、0~50μm、0~100μm、0~200μm、および/または任意の他の適切な距離の微動焦点を提供してもよい。実施形態によっては、合焦装置32は位置決め装置33も含んでもよい。この位置決め装置は、自動焦点システム100の再設定および/または動力サイクル時であっても試料台30の絶対位置(例えば、試料が合焦されている場合の試料台の位置)を保存するように構成されてもよい。実施形態によっては、位置決め装置は、対物レンズに対する試料台30の絶対位置を追跡するリニア符号器、回転符号器、または任意の他の適切な機構であってもよい。
【0026】
実施形態によっては、自動焦点システム100は、合焦すなわち位置合わされると、顕微鏡を通る光路に沿って現れる一組の共役面、例えば画像形成共役装置を含んでもよい。画像形成共役装置内の各平面は、当該装置内で他の平面と共役する。と言うのは、これらの平面は同時に合焦されていて、顕微鏡で試料を観察する際に互いに重ね合わされて表示されるからである。自動焦点システム100内のこの一組の画像形成共役面は、主合焦カメラ72の画像面、撮影カメラ5の画像面、合焦パターン55の画像面、視野絞り(絞り目盛り)14の画像面、および試料の画像面を含む。より具体的には、本明細書において画像形成共役面上の主合焦カメラ72および撮影カメラ5の配置に言及する場合はすべて、画像形成共役面上のカメラ5および7の内部のセンサの配置を指す。
【0027】
実施形態によっては、合焦パターン55は不透明材料で形成され、この不透明材料からパターンを切り取ってもよい。材料の切り取り区間から光が通って試料の画像面に進むことができるが、不透明材料の区間は光の通過を阻止する。他の実施形態では、合焦パターン55は不透明なパターンを表面に有する透明材料、例えば透明ガラスまたは透明プラスチックで形成されてもよい。不透明なパターンは、透明ガラスまたは透明プラスチックを通る光により試料の画像面に投影される。
【0028】
実施形態によっては、撮影カメラ5は自動焦点システム100の画像形成共役面上に配置される画像センサ6を含んでもよい。制御システム108が試料は合焦されていると決定すると、撮影カメラ5を用いて試料を撮影することができる。画像センサ6は、例えば試料の画像を撮影かつ保存することができるCCD、CMOS、および/または任意の他の適切な電子装置であってもよい。
【0029】
実施形態によっては、制御システム108は制御部110および制御部インターフェース107を含み、自動焦点システム100の部品(例えば、アクチュエータ35および23、主照明光源65、副照明光源40、合焦カメラ70、72、試料台30、合焦パターン55、撮影カメラ5、および対物レンズ25)の任意の設定、通信、動作(例えば、撮影、照明光源の点灯および消灯、試料台30および対物レンズ25の移動、試料に関連する異なる値の保存)や自動焦点システムの複数の部品により、またはこれらの間で実行された計算(例えば、鮮明度の計算)を制御してもよい。制御システム108は、(実施形態によってはソフトウェアを実行することができる)任意の適切なハードウェア、例えばコンピュータ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路、およびデジタル信号プロセッサ(ハードウェアプロセッサと称することができるもののいずれか)、符号器、符号器を読み取る回路、メモリ装置(1つ以上のEPROM、1つ以上のEEPROM、動的ランダムアクセスメモリー、静的ランダムアクセスメモリー、および/またはフラッシュメモリーを含む)、および/または任意の他の適切なハードウェア要素を含んでもよい。実施形態によっては、自動焦点システム100内の個別の部品は、当該個別の部品を制御し自動焦点システム100内の他の部品と通信する独自のソフトウェア、ファームウェア、および/またはハードウェアを含んでもよい。
【0030】
実施形態によっては、制御システム(例えば、制御部110および制御部インターフェース107)と自動焦点システム100の部品の間の通信120に、アナログ技術(例えば、リレー論理)、デジタル技術(例えばRS232、イーサネット、または無線を用いる)、および/または任意の他の適切な通信技術を用いてもよい。
【0031】
実施形態によっては、任意の適切な入力装置(例えば、キーボード、マウス、またはジョイスティック)を用いて運用者の入力を制御システムに通信してもよい。
【0032】
図2に、開示される発明の対象のいくつかの実施形態に従う自動焦点システムの照明装置の実施形態の一般的構成を示す。照明装置200は2つの照明光源、例えば主照明光源65と副照明光源40を含んでもよい。これらの照明光源は互いに異なる波長の範囲の光線を提供することができる。
【0033】
実施形態によっては例えば、主照明光源65は451~750ナノメートル(nm)の範囲の波長を有する光線を提供する一方、副照明光源40は主照明光源に用いられる波長の範囲よりも高いか低い波長を有する光線を提供する。例えば、主照明光源65の波長範囲は550~750nmの範囲であり、副照明光源の波長範囲は400~450nmの範囲である。波長範囲の値が分かっており、かつ既知のフィルタ技術を用いて他の波長から分離することができる限り、任意の波長範囲の光を主照明光源65に用いてもよい。同様に、光が主照明光源65と同じ波長範囲でない限り、任意の波長範囲の光を副照明光源40に用いてもよい。
【0034】
実施形態によっては図1に示すように、主照明光源65は、その光が垂直照明器13に向かって水平方向に透過されるように配置される。主照明光源65は主光線を集束する合焦レンズ49(例えば、両凸レンズ)を含んでもよい。副照明光源40は、画像形成共役面54上に配置される合焦パターン55の下方の適切な距離に配置されてもよい。合焦パターン55の投影が合焦カメラ70および72の視野よりも小さくなるように、合焦パターン55の直径(例えば5mm)を調整してもよい。合焦パターン55は、任意の適切な幾何学形状、例えば円形、矩形、三角形、または六角形であってもよい。合焦パターン55は一連の個別の開口部も含み、その結果、光が個別の開口部を通して透過されると、線と空間が視野全体に投影される。実施形態によっては、主照明光源65および副照明光源40の位置を交換してもよい。
【0035】
実施形態によっては、自動焦点システム100は、合焦パターン像を合焦カメラ70および72で撮影することができる試料に継続的に投影するために副照明光源40を合焦パターン55を通して継続的に透過するように構成されてもよい。合焦パターン像を継続的に投影することにより、試料、特に透明試料または視覚的に認識可能な特徴を欠く試料の鮮明な焦点を容易にすることができる。鮮明な合焦のために、視野絞りの代わりにまたは視野絞りに加えて合焦パターン55を用いてもよい。例えば、自動焦点システム100は合焦パターン55に加えて、垂直照明器13内に配置することができる視野絞り(絞り目盛り)14も含んでもよい。視野絞り14は、自動焦点システム100の画像形成共役面上にも配置されてもよい。実施形態によっては、視野絞り14は、照明光源65および40で出射し、対物レンズ25に透過される光の直径を制御する。より具体的には、実施形態によっては視野絞りの寸法を小さくすることにより通過する光の直径を小さくする。これにより合焦カメラ70および72が受け取る試料の画像の周囲に暗い輪郭を生成し、(例えば、試料および対物レンズを互いにより近くなるように、またはより遠くなるように移動させることにより)試料の焦点の調節に用いることができる。最も高い鮮明度が測定された時点で、試料が合焦されているとみなされ、視野絞りをより大きな寸法に開いて撮影カメラ5で試料を撮影することができる。しかし、視野絞りを小さくして元の寸法に戻すには時間がかかり(例えば2~5秒)、走査処理および処理能力が遅くなってしまう場合がある。
【0036】
必要なら、適切なフィルタを用いて合焦パターン55が撮影カメラ5に投影されないことを保証する限り、合焦パターン55を自動焦点システム100の任意の適切な画像形成共役面(例えば(図1に示すように)副照明光源40の上方または視野絞り14側)に配置してもよい。例えば、視野絞り14の代わりに、合焦パターン55を視野絞り14の画像形成共役面上に配置する場合、フィルタが必要になる。実施形態によっては、(視野絞り14の代わりに)帯域フィルタを視野絞りの画像形成共役面上に配置し、パターン切り取り形状の合焦パターンを帯域フィルタ内に作製してもよい。より具体的には、合焦パターン55の領域以外では、主照明光源65と同じ波長範囲(例えば450nmを超える)の光を透過し、かつ副照明光源40と同じ波長範囲(例えば450nm以下)の光を遮断する帯域フィルタを選択してもよい。すなわち、副照明光源40と同じ波長範囲の光は合焦パターン55の領域以外では遮断され、これにより副照明光源40からの光が合焦カメラ70および72に透過できるようにする。図4との関連で以下に記載するように、光学フィルタ11は主照明光源65からの光のみを撮影カメラ5に向けて透過する。
【0037】
なお、実施形態によっては任意の適切な照明光源を照明装置200とともに用いてもよい。例えば400nmの紫外線平行化発光ダイオード(LED)を副照明光源40に、5500Kの白色光平行化LEDを主照明光源65に用いてもよい。
【0038】
実施形態によっては、合焦レンズ45(例えば、60mmの焦点距離の両凸レンズ)が副照明光源40と合焦パターン55の間の適切な距離に配置されてもよい。さらに、もう一つの合焦レンズ47が合焦パターン55の他方の側の適切な距離に配置されてもよい。実施形態によっては、レンズ45および47の合焦パターン55からの距離は、光の集束および合焦パターン55の配置が画像形成共役面内で行われることを保証するために顕微鏡の光学特性に基づいてもよい。
【0039】
実施形態によっては、光が垂直照明器13に進む前に、ダイクロイック素子60が主照明光源65および副照明光源40の両方の光路内に配置される。本明細書で用いられるダイクロイック素子は、特定の既知波長の光を透過し、この光の波長をもう一つの特定の既知波長と合成する鏡、ビームスプリッタ、フィルタ、またはビームコンバイナを指すことができる。なお、上記の装置の組み合わせを用いて望ましい照明光源および波長を反射かつ透過することができる。実施形態によっては、副照明光源40から出射した光の波長を反射し、かつ主照明光源65から出射した光の波長を通過させることができるようにするため、特定の遮断波長を有するダイクロイック素子が選択される。例えば、副照明光源40が400~450nmの波長範囲の光を出射し、かつ主照明光源65が550~750nmの波長範囲の光を出射する場合、450nm遮断ダイクロイック素子(すなわち、450nm以下の波長を有する光を反射し、かつ450nmを超える波長を有する光を通過させることができるようにすることで光線を合成するダイクロイック素子)を用いて副照明光源40からの光を反射し、かつ主照明光源65からの光を通過させることができるようにしてもよい。ダイクロイック素子60は45°の入射角用に設計されてもよく、その結果、副照明光源40から出射した光は90°の角度で反射され、かつ主照明光源65からの光路に平行に進む。
【0040】
実施形態によっては、主照明光源65は撮影カメラ5内の撮影センサ6で試料を撮影するのに用いられる光源であってもよく、副照明光源40は合焦カメラ70および72の合焦センサ71および73で試料を撮影するのに用いられる光源であってもよい。
【0041】
なお、実施形態によっては任意の適切なダイクロイック素子、照明器、照明光源、合焦レンズ、センサ、および合焦パターンを照明装置200とともに用いてもよい。実施形態によっては、任意の適切な構成のこれらの部品を照明装置200とともに用いてもよい。実施形態によっては、可変配置できるようにするために、照明装置200の部品は、任意の適切な方法、例えば合焦カメラ72が図3の合焦筐体18に取り付けられる(下記)のと類似の方法で案内棒を用いて照明器13に取り付けられてもよい。
【0042】
図3に、開示される発明の対象のいくつかの実施形態に従う自動焦点システムの合焦装置の実施形態の一般的構成の一例を示す。合焦装置300は2つのカメラ、すなわち主合焦カメラ70とオフセット合焦カメラ72を含んでもよい。これらのカメラは、例えば試料の画像を撮影することができる電荷結合素子(CCD)画像センサ、CMOS画像センサ、および/または任意の他の適切な画像センサを含んでもよい。実施形態によっては、撮影画像は、制御システム108により保存かつ分析される。
【0043】
合焦装置300は垂直照明器13と撮影カメラ鏡筒10の間の区域に取り付けられてもよい。この区域は無限遠空間として知られている。実施形態によっては、合焦装置300は適切な部品を用いて他の位置に取り付けられ、選択された位置をシステムの光学特性に適合させてもよい。
【0044】
主合焦カメラ70は(例えば線80で表すように)自動焦点システム100の画像形成共役面上に配置されるセンサ71を含んでもよい。
【0045】
オフセット合焦カメラ72は画像形成共役面80に対してオフセット距離を有するように配置することができるセンサ73を含んでもよい。オフセットは正の方向81または負の方向79のいずれかであってもよい。オフセット合焦カメラ72は主合焦カメラ70の上方または下方に配置されてもよい。オフセット合焦カメラ72は、オフセット合焦カメラ72オフセット距離を調節するために案内棒76に沿って移動可能であってもよく、または任意の他の適切な構造であってもよい。図7との関連で以下で考察するように、オフセット距離は画像形成共役面80からの異なる距離で計算されたオフセット合焦カメラ72の鮮明度カーブに基づいて調節されてもよい。
【0046】
合焦装置300は2つの合焦レンズ24および22も含んでもよい。合焦レンズ22は主合焦カメラ70と同じ水平方向の光路内に配置されてもよく、かつ合焦レンズ24はオフセット合焦カメラ72と同じ水平方向の光路内に配置されてもよい。実施形態によっては、合焦レンズ22および24は顕微鏡の鏡筒10と同じ焦点距離を達成することで、センサ71および73が画像形成共役面80上に配置された場合に、それぞれが合焦されることを保証する。顕微鏡の鏡筒10はセンサ6に試料の画像を合焦するレンズ(図示せず)を含み、その結果、センサ6が自動焦点システム100の画像形成共役面上に配置されると、試料は合焦される。
【0047】
なお、実施形態によってはレンズ22および24は両凸レンズまたは任意の他の適切な種類のレンズであってもよい。実施形態によっては、レンズの焦点距離は顕微鏡の光学特性に基づいてもよい。
【0048】
図3に示すように、合焦装置300は試料から反射される光の光路内で垂直照明器13の上方に配置される遮断ダイクロイック素子15も含んでもよい。ダイクロイック素子15は、遮断ダイクロイック素子の下方にある試料から反射された光が90°の角度で主合焦カメラ70に向かって反射されるように配置される。副照明光源40から出射する光(「集束光線」)の波長を反射するために、特定の遮断波長を有するダイクロイック素子が選択されてもよい。例えば、集束光線が400~450nmの範囲である場合、集束光線を主合焦カメラ70に向かって反射するために450nmの遮断フィルタを合焦装置300とともに用いてもよい。
【0049】
実施形態によっては、合焦装置300はダイクロイック素子15と主合焦カメラ70の間に配置することができるビームスプリッタ26を含んでもよい。ビームスプリッタ26は、例えば集束光線の50%を主合焦カメラ70に送り、集束光線の50%をオフセット合焦カメラ72に送るように設計される50:50のビームスプリッタであってもよい。鏡28はビームスプリッタ26の直ぐ上方に配置されてもよく、ビームスプリッタ26からの光線をオフセット合焦カメラ72に向けるように設計されてもよい。
【0050】
実施形態によっては、遮断フィルタ17がダイクロイック素子15とビームスプリッタ26の間に配置され、主照明光源65から入射する任意の光(「撮影光線」)にフィルタをかけてもよい。例えば、撮影光線が450nm以上の範囲の波長を有する場合、450nmの遮断フィルタを用いて撮影光線にフィルタをかけ、かつ撮影光線が合焦カメラ70および72に光を透過するのを防止してもよい。他の実施形態では、2つの遮断フィルタが用いられ、各フィルタが、例えばレンズ22および24の前方または後方に配置されてもよい。
【0051】
なお、実施形態によっては任意の適切なダイクロイック素子、合焦カメラ、合焦レンズ、鏡、画像センサ、ビームスプリッタ、および遮断フィルタを合焦装置300とともに用いてもよい。実施形態によっては、任意の適切な構成のこれらの部品を合焦装置300とともに用いてもよい。合焦装置300の部品は、部品を接続する案内棒または任意の他の適切な構造体に取り付けられてもよい。さらに実施形態によっては、主合焦カメラ70は不要であり、本明細書に記載する主合焦カメラ70の合焦動作は、撮影カメラ5により実行されてもよい。
【0052】
図4に、開示される発明の対象のいくつかの実施形態に従う、1対の破線で表される自動焦点システム100の例示的な光路を示す。自動焦点システム100は、副照明光源40から出射する光(より短い破線で表される「集束光線」)が試料Sに投影され、次に合焦カメラ70および72に反射されるように構成されてもよい。自動焦点システム100は、主照明光源65から出射する光(より長い破線で表される「撮影光線」)が試料Sに投影され、次に撮影カメラ5に反射されるようにも構成されてもよい。
【0053】
より具体的には、実施形態によっては、集束光線は照明光源40から合焦パターン55を通ってダイクロイック素子60に進むことができる。ダイクロイック素子60は垂直照明器13に向かって集束光線を反射する。
【0054】
撮影光線は主照明光源65から進みダイクロイック素子60を通過し、集束光線と合成される。
【0055】
次に、合成光線は、垂直照明器13を通ってプリズム20に進むことができる。プリズム20は、照明光源から入射する光を対物レンズ台および対物レンズ25経由で下向きに90°の角度で試料Sに反射させることができる。試料Sは、対物レンズ25経由で合成光線を上向きに反射させることができる。次に合成光線はプリズム20に入射し、ダイクロイック素子15に向かって透過する。ダイクロイック素子15は、例えば、集束光線の波長を合焦カメラ70および72に向かって反射し、かつ撮影光線の波長がカメラ5に向かって通過できるようにすることで透過光線を再び撮影光線と集束光線に分離することができる。
【0056】
実施形態によっては、ダイクロイック素子15で反射された集束光線は遮断フルタ17を通過して遮断波長を超える任意の光を除去してもよい。次に、集束光線はビームスプリッタ26に進むことができる。ビームスプリッタ26は、合焦筐体18内に配置されている合焦レンズ22を通して光を導くことで集束光線の50%を主合焦カメラ70に送ることができる。集束光線は、主合焦カメラ70からカメラ70の内部の光センサ71(図3)に進むことができる。集束光線のさらに50%は、ビームスプリッタ26で鏡28に向かって上向きに導かれてもよい。鏡28は、合焦筐体19内に配置されている合焦レンズ24に向かって集束光線を反射させることができる。集束光線は、合焦レンズ24からオフセット合焦カメラ72内部のセンサ73(図3)に導かれてもよい。
【0057】
実施形態によっては、ダイクロイック素子15を通過した撮影光線は、光学フィルタ11(例えば、撮影光線の波長のみを透過するフィルタ)を通過し、鏡筒10を通り、撮影カメラ5内に配置されているカメラセンサ6に向かってもよい。
【0058】
実施形態によっては、主合焦カメラ70を用いて試料の合焦点を決定してもよい。例えば(図1に示すように)Z軸に沿って対物レンズおよび試料台を互いにより近くなるように、またはより遠くなるように移動させることで、試料の焦点を調節してもよい。より具体的には、主合焦カメラ70を用いて(例えばZ軸方向に試料台30および/または対物レンズ25を移動させることで)Z軸に沿った2箇所以上の位置で試料の画像を得てもよい。得られた画像から、制御システム108で試料のZ軸に沿った位置毎に相対鮮明度値を計算し、焦点の品質を決定してもよい。自動焦点システム100は、任意の適切な鮮明度の方程式を用いて得られた画像の相対鮮明度を計算してもよい。自動焦点システム100で用いて相対鮮明度の得点を計算することができる1つの例示的な方程式は、強度変動を説明するために平均μで正規化される画像変動Vの度合いである。
【数1】
式中、s(i,j)は座標(i,j)でのグレースケール画素値であり、NおよびMはi方向およびj方向の画素数をそれぞれ表す。自動焦点システム100で用いることができる相対鮮明度値を計算する他の例示的な方法は、"Simple and Robust Image-Based Autofocusing for Digital Microscopy," Optics Express Vol. 16, No. 12, 8670 (2008)にSivash Yazdanfarらにより記載されており、その全体が参照により本明細書に組み込まれる。上記で開示される方法は単なる例であり、限定を意図しない。
【0059】
図5に、Z軸方向の試料の相対位置(「Z位置」)を表すX軸と、相対鮮明度の得点を表すY軸を含むグラフを示す。相対Z位置は、試料台30の上面と対物レンズ25の間の距離を表す。Z位置を、試料台30を対物レンズ25に向けるあるいは対物レンズ25から遠ざけるように調節することで、かつ/または対物レンズ25を試料台30に向けてあるいは試料30から遠ざけるように調節することで変更してもよい。図5に示す鮮明度曲線は、曲線に沿うそれぞれの測定地点で、主合焦カメラ70で撮影された画像の相対鮮明度を相対Z位置と比較している。図5に示すように、試料の鮮明度値は(合焦位置と呼ぶことができる)所定の相対位置(例えばZ位置130)で最大測定鮮明度(例えば、図5の鮮明度の得点70)を有する場合があり、合焦位置(例えば、Z位置130)の両側で対称的に低下する場合がある。場合によっては、図5の合焦位置の曲線の傾きはゼロまたはゼロに近くなることがある。当然のことであるが、本明細書で用いる「合焦」という用語は、鮮明度測定値が鮮明度曲線の頂点またはその付近になるように対物レンズと試料台が相対的に配置される場合を指すことを意図する。「合焦」という用語は焦点が完全または最適であることに限定されることを意図しない。
【0060】
Z軸方向の大まかな移動の範囲が(例えば500μmにおける)直線137および(例えば2500μmにおける)直線142により表される。焦点のZ軸方向での微細移動の範囲は(例えば1400μmにおける)直線136および(例えば1600μmにおける)直線141により表される。なお、Z軸方向の移動の範囲は、対物レンズ25と試料台30の間の異なるZ位置を達成する移動の実際的な範囲を指す。Z軸方向の移動の範囲は、鮮明度の計算を用いて試料を合焦するZ軸方向の移動の範囲も指す。矢印135は、試料台30と対物レンズ25が互いに離れるように移動するときにZ位置130の最高地点まで増加する鮮明度の得点(上記のように画像が合焦されているとみなされることを示す)を示し、矢印140は、試料台30と対物レンズ25が互いに離れるように移動し続けるときにZ位置130の最高地点から低下する鮮明度の得点を示す。
【0061】
図6にオフセット合焦カメラ72の例示的な鮮明度曲線を示す。図5と同様に、グラフのX軸は相対Z位置を表し、Y軸は相対鮮明度の得点を表し、線130は主合焦カメラ70が最大鮮明度測定値を取るZ位置を示す。図6に示す鮮明度曲線は、曲線に沿うそれぞれの地点で、オフセット合焦カメラ72で撮影された画像の相対鮮明度を相対Z位置と比較している。実施形態によっては、自動焦点システム100は同じ方程式を用いて主合焦カメラ70およびオフセット合焦カメラ72の鮮明度曲線を計算してもよい。
【0062】
図6の例に示すように、図5との関連で述べたように主合焦カメラ70を用いて決定された合焦位置(例えばZ位置130)で、オフセット合焦カメラ72で撮影された画像の相対鮮明度値は(矢印138で示すように)約28である。この値(例えば28)は、当該特定の試料、試料等級、および/または任意の他の適切な分類に対するオフセット合焦カメラ72の鮮明度設定点として制御システム108で保存されてもよい。実施形態によっては、試料等級は類似の反射品質の材料から製造された試料に基づいて規定されてもよい。いくつかの例示的な試料等級としては、未加工のシリコンウェハ、既知のパターンを有する半導体ウェハ、およびガラススライドおよびカバー片と一致するように調製される同じ既知の物質の生物学的試料が挙げられるが、これらに限定されない。
【0063】
図6に示すように、オフセット合焦カメラ72で撮影された画像の鮮明度曲線は、(Z軸方向の移動の範囲を表す)直線137と直線142の間で(矢印150で表されるように)絶えず増加する。試料の鮮明度設定点あるいは試料の等級が分かると、オフセット合焦カメラ72を用いて試料台30と対物レンズ25を互いにより近くなるように、またはより遠くなるように移動するかどうかを決定することができる。例えば、試料の鮮明度設定点が28であると決定され、かつ試料が合焦されないように試料台30がZ軸に対して垂直にX・Y平面で移動された場合、オフセット合焦カメラ72で撮影された画像の鮮明度を鮮明度設定点および鮮明度曲線とともに用いて試料を再び合焦してもよい。例えば、オフセット合焦カメラ72で撮影された試料の画像の鮮明度設定点が上記のように28であり、かつオフセット合焦カメラ72で撮影された試料台移動後の試料の画像の相対鮮明度が(例えば)52である場合、図6の鮮明度曲線から明らかなように、試料台と対物レンズの間の距離を(例えば2000μmから1500μmに)小さくして試料を再び合焦しなければならない。他方、オフセット合焦カメラ72で撮影された試料の画像の相対鮮明度値が28未満(例えば20)である場合、図6の鮮明度曲線から明らかなように、試料台と対物レンズの間の距離を(例えば1000μmから1500μmに)大きくして試料を再び合焦しなければならない。オフセット合焦カメラ72の相対鮮明度曲線は鮮明度設定点とともに、試料台と対物レンズの間の距離を小さく、または大きくしなければならないかどうかを示すので、試料のより少ない画像を撮影して試料を再び合焦することができる。
【0064】
試料台と対物レンズを互いにより近くなるように、またはより遠くなるように移動させるかどうかに関する同じ情報を図5に示す鮮明度曲線から収集することはできない。例えば図5に示すように、主合焦カメラ70で撮影された試料の最大鮮明度測定値が70であり、かつ試料の実際の鮮明度値が51であると測定された場合、鮮明度曲線は、相対Z位置がZ位置130で合焦点の右側または左側である可能性があることを示す。相対Z位置がZ位置130で合焦点の右側または左側にある可能性があるので、鮮明度曲線を用いて試料台と対物レンズを互いに近くなるように、またはより遠くになるように移動させるかどうかを決定することはできない。
【0065】
図7に(図3に示すように)画像形成共役面80から異なる距離に配置される場合のオフセット合焦カメラ72の異なる例示的な鮮明度曲線(すなわち、鮮明度曲線A、B、およびC)を示す。図6と同様に、図7のグラフのX軸は相対Z位置を表し、Y軸は相対鮮明度の得点を表し、直線130は主合焦カメラ70が最大鮮明度測定値を取るZ位置を示す。鮮明度曲線A、B、およびCは、曲線に沿うそれぞれの地点で、オフセット合焦カメラ72で撮影された画像の相対鮮明度を相対Z位置と比較している。鮮明度曲線Dは、曲線に沿うそれぞれの地点で、主合焦カメラ70で撮影された画像の相対鮮明度を相対Z位置と比較している。実施形態によっては、自動焦点システム100は同じ鮮明度の方程式を用いて鮮明度曲線A、B、C、およびDを計算する。なお、本明細書でのオフセット合焦カメラ72の配置はオフセット合焦カメラ72の内部のセンサ73の配置を指す。
【0066】
これらの3本の鮮明度曲線のうち、曲線Cは、オフセット合焦カメラ72が画像形成共役面80に最も近いときのオフセット合焦カメラ72の鮮明度曲線を表す。曲線Bは、オフセット合焦カメラ72が曲線Cのオフセット距離よりも遠いが曲線Aのオフセット距離よりも近い距離にあるときのオフセット合焦カメラの鮮明度曲線を表す。曲線Aは、オフセット合焦カメラ72が画像形成共役面80から最も遠いときのオフセット合焦カメラの鮮明度曲線を表す。オフセット距離は、オフセット合焦カメラ72のセンサ73と画像形成共役面80の間の距離を指す。
【0067】
直線A’、B’、およびC’は、試料が(図5との関連で述べたように)主合焦カメラ70と合焦されているとみなされる場合のZ位置(例えば直線130)でのそれぞれの曲線A、B、およびCの傾きを表す。曲線の傾きは、オフセット合焦カメラ72が画像形成共役面80のより近くに移動するにつれてより急峻になる。より急峻な傾きは、Z軸での高さのより小さな変化に対する鮮明度のより大きな変化(より大きな解像度の変化とも呼ぶ)を表す。より急峻な傾きが望ましい、と言うのはより微細な焦点の調節および制御が可能だからである。
【0068】
実施形態によっては、試料を合焦するのに必要なZ軸方向の移動の範囲によりオフセット距離を決定してもよい。Z軸方向の移動の範囲は、例えば、試料の厚みおよび/もしくは任意の他の適切な特性、試料等級および/もしくは試料の任意の他の適切な分類、および/または顕微鏡の光学特性(例えば、対物レンズの倍率)に基づいてもよい。広範な試料の種類を含むようにZ軸方向の移動の範囲を選択してオフセット距離を絶えず調節するのを防いでもよい。
【0069】
実施形態によっては、自動焦点システム100の適切なオフセット距離を決定するために、オフセット合焦カメラ72を異なるオフセット距離に配置してもよい。鮮明度曲線をそれぞれのオフセット距離で計算してもよい。Z軸方向の移動の望ましい範囲を表し、かつその範囲で絶えず上昇する(正の傾きで表される)か、降下する(負の傾きで表される)鮮明度曲線を生成するオフセット距離を選択してもよい。
【0070】
より具体的には、Z軸方向の移動の範囲が大きい場合(例えば、図7に示す直線137と直線142の間の距離)、オフセット合焦カメラ72を(曲線Aで表されるように)画像形成共役面80からより遠くに配置してもよい。例えば、Z軸方向の移動の望ましい範囲が(直線137および142で表されるように)500μmと2500μmの間である場合、オフセット合焦カメラを曲線Bまたは曲線Cを生成するオフセット距離に配置するべきではない。と言うのは、曲線Bおよび曲線Cの両方がZ軸方向の移動の望ましい範囲で上昇および降下しており、試料と対物レンズを互いにより近くなるように、またはより遠くなるように移動させるかどうかを決定するのに用いることができないからである。
【0071】
実施形態によっては、オフセット距離は、(例えば、直線A’、B’、およびC’で表されるように)試料の主合焦カメラ70との合焦が最適である位置での鮮明度曲線の急峻度に基づいてもよい。例えば、試料を合焦するのに必要なZ軸方向の移動の範囲が小さい場合(例えば1300μm~1700μm)、オフセット合焦カメラ72を画像形成共役面80のより近くに(例えば、曲線Cを生成するオフセット距離に)配置してもよい。オフセット距離がより大きいと、受け入れ可能な鮮明度曲線(例えば、曲線BおよびA)を生成することができるが、曲線Cを生成するオフセット合焦カメラ72の位置を選択することができる、と言うのは、その位置が画像形成共役面80からより遠いオフセット距離と比較して最も急峻な傾きおよび最も大きな解像度を有するからである。実施形態によっては、画像形成共役面80からより遠い位置を選択して自動焦点システム100のZ軸方向の移動の最大範囲に適合するようにし、その結果、様々な厚みの試料に対してオフセット合焦カメラ72を絶えず配置し直す必要をなくしてもよい。
【0072】
なお、オフセット合焦カメラ72は、画像形成共役面80の右側または左側のオフセット距離に配置されてもよい。右側または左側に配置される場合のZ軸方向の移動の範囲にわたる鮮明度の傾きは一方向を向いており、かつ互いに逆である。例えば、オフセット合焦カメラ72が画像形成共役面80の右側に配置され、かつZ軸の値が増加する範囲にわたって鮮明度の傾きが上昇し、その次にオフセット合焦カメラ72が画像形成共役面80の左側に配置された場合、鮮明度の傾きは逆になる(すなわち、Z軸の値が増加する範囲にわたって減少する)。つまり、鮮明度の傾きの符号(すなわち、傾きが正または負であるか)は、オフセット合焦カメラが画像形成共役面の右側または左側にあるかに依存する。したがって、オフセット合焦カメラの相対位置(すなわち、オフセット合焦カメラが画像形成共役面の右側または左側にあるか)、鮮明度設定、および鮮明度値が分かっている場合、対物レンズおよび試料台の相対的配置を上昇または降下させることでより良い焦点を達成することを推測することができる。
【0073】
実施形態によっては、オフセット合焦カメラ72のオフセット距離を、自動焦点システム100で一旦設定してもよい。他の実施形態では、異なる対物レンズ、異なる試料の厚み、異なる試料等級、または任意の他の適切な基準に適合するようにオフセット距離を変更してもよい。例えば、より高い倍率の対物レンズの場合に、オフセット合焦カメラ72を画像形成共役面のより近くに移動させることで、より小さい被写界深度(焦点)およびより小さな範囲のZ軸方向の移動に適合させてもよい。実施形態によっては、オフセット距離を、制御システム108でオフセット距離設定点として保存してもよい。オフセット距離設定点を、例えば、試料の厚みおよび/もしくは任意の他の適切な特性、試料等級および/もしくは試料の任意の他の適切な分類、および/または顕微鏡の光学特性(例えば、対物レンズの倍率)に関連付けてもよい。オフセット距離設定点を用いてオフセット合焦カメラ72を自動的に配置してもよい。
【0074】
図1図7を参照して、図8に開示される発明の対象のいくつかの実施形態に従う、自動焦点システム100の自動焦点動作の一例を示す。自動焦点処理800では自動焦点システム100を用いる。
【0075】
工程810で試料を試料台30上に置いてもよい。
【0076】
自動焦点システム100が試料の鮮明度設定点(例えば、この値は使用者の入力または制御システム108により保存され、特定の試料、特定の試料等級、および/または試料の任意の他の適切な分類に関連付けられた以前の値により得られる)を知らない場合、工程820で制御システム108は試料台30と対物レンズ25を互いに近くなるようにおよび/またはより遠くなるように移動させ、その後、制御システムは(図5との関連で既に考察したように)適切な鮮明度アルゴリズムを用いて主合焦カメラ70で撮影された画像が合焦されていると決定してもよい(例えば、制御システム108は(例えば、Z位置130、すなわち図5に示す、試料が主合焦カメラ70と合焦されている場合のZ位置における)合焦位置を決定する)。実施形態によっては、主合焦カメラ70の代わりに撮影カメラ5を用いて試料の最大鮮明度測定値を決定してもよい。実施形態によっては、自動焦点処理中に試料台および対物レンズの様々なZ位置で、オフセット合焦カメラ72で撮影された画像に基づいて、オフセット合焦カメラ72の鮮明度曲線を計算してもよい。オフセット合焦カメラ72の鮮明度曲線を、鮮明度曲線設定点として保存し、かつ特定の試料、特定の試料等級、および/または試料の任意の他の適切な分類と関連付けてもよい。
【0077】
工程830で、実施形態によっては試料が合焦されていると決定したら、合焦画像を撮影カメラ5で撮影してもよい。
【0078】
工程840で、主合焦カメラ70(または撮影カメラ5)が試料に合焦していると決定したら、試料の画像をオフセット合焦カメラ72で撮影してもよい。撮影された画像の鮮明度値を(例えば、主合焦カメラ70に用いられた同じ鮮明度の方程式を用いて)計算し、制御システム108により保存してもよい。保存される値を、合焦鮮明度設定点として保存され、かつ特定の試料、特定の試料等級、および/または試料の任意の他の適切な分類と関連付けてもよい。実施形態によっては、主合焦カメラ70または撮影カメラ5が試料に合焦している場合、試料台30、対物レンズ25、試料台30上の試料の上面、および/または試料台30の上面と対物レンズ25との間の距離の絶対位置を制御システム108により位置設定点として保存してもよい。この位置設定点は、特定の試料、特定の試料等級、および/または試料の任意の他の適切な分類と関連付けられてもよい。
【0079】
工程850で、試料台30をZ軸に対して垂直なX・Y平面で移動させてもよい
【0080】
工程860で、実施形態によってはオフセット合焦カメラ72を用いて試料台30の新たなX軸およびY軸方向の位置で試料の画像を撮影してもよく、また、制御システム108は当該画像の鮮明度値を計算してもよい。合焦鮮明度設定点と比較した画像の鮮明度値に基づいて、制御システム108は、試料台30’の新たなX・Y座標で試料が合焦されているか、またはZ軸方向の高さを調節する必要があるかを決定し、その結果、試料を合焦することができる。例えば、図6に示す鮮明度曲線に基づいて計算した鮮明度値が、保存した合焦鮮明度設定点よりも大きい場合、オフセット合焦カメラ72で撮影した画像の鮮明度値が、保存した鮮明度設定点と同じであると判断されるまで、試料台30と対物レンズ25をZ軸方向で互いに近づける。逆に、計算した鮮明度値が、保存した合焦鮮明度設定点よりも小さい場合、オフセット合焦カメラ72で撮影した画像の鮮明度値が、保存した合焦鮮明度設定点と同じであると判断されるまで、試料台と対物レンズをZ軸方向で互いに遠ざける。Z位置を調節する方向を、自動焦点処理中に工程820においてオフセット合焦カメラ72で撮影した画像の鮮明度曲線から、または画像形成共役面72に対するオフセット合焦カメラ72の位置に基づいて決定してもよい。オフセット合焦カメラで画像の鮮明度値を計算し、鮮明度値を保存した合焦鮮明度設定点と比較するこの処理は、試料台30のX・Y座標を変更する度に繰り返してもよい。
【0081】
工程870で、新たな試料を試料台30上に置いてもよい。試料、試料等級、および/または試料の任意の他の適切な分類にすでに関連付けられた鮮明度設定点があると制御システム108が決定した場合、制御システムは、工程840に記載したようにオフセット合焦カメラ72で撮影した画像を用いて新たな試料が合焦されたときを決定する。例えば、新たな試料の画像をオフセット合焦カメラ72で撮影し、かつ鮮明度値を当該新たな試料に関連付けられている鮮明度設定点と比較してもよい。オフセット合焦カメラ72で撮影した画像の鮮明度値が、保存した鮮明度設定点と同じであると判断されるまで、Z軸方向に試料台および対物レンズを互いに近づけるか、遠ざけてもよい。
【0082】
実施形態によっては、オフセット合焦カメラ72を用いて鮮明度設定点に対応する試料の鮮明度値を計算したら、主合焦カメラ70を用いて試料の焦点およびオフセット合焦カメラ72の鮮明度設定点を微調節してもよい。例えば、主合焦カメラ70を用いて試料台および対物レンズの少なくとも2つの相対Z位置の鮮明度値を計算し、推定最大鮮明度を達成したか、あるいは相対Z位置を調節することで推定最大鮮明度(すなわち、傾きが0または0に近い鮮明度曲線の地点)を達成する必要があるかどうかを決定してもよい。推定最大鮮明度を達成したら、オフセット合焦カメラを用いて試料の鮮明度値を計算し、新たな鮮明度設定点として保存してもよい。
【0083】
実施形態によっては、上述の合焦処理を開始する前に、制御システム108は新たな試料、試料等級、および/または試料の任意の他の適切な分類に関連付けられている位置設定点があるかどうかも決定し、自動焦点システム100をその位置設定点に配置してもよい。相対Z位置が分かっていれば、試料を合焦するのに必要なZ軸方向の相対距離を小さくし、オフセット合焦カメラを画像形成共役面のより近くに配置することができる。図7との関連で既に考察したように、オフセット合焦カメラ72が画像形成共役面のより近くに移動するにつれて、鮮明度曲線の傾きはより急峻になり得る。より急峻な傾きは、Z軸方向の高さのより小さな変化に対するより大きな解像度つまり鮮明度のより大きな変化を表す。より急峻な傾きにより、より微細な焦点の調節および制御を行うことができる。
【0084】
処理800の特定部分を実行するときの分割は変えてもよく、分割しないことまたは異なる分割をすることが本明細書に開示される発明の対象の範囲内である。なお、実施形態によっては処理800の各ブロックを任意の適切な時間に実行してもよい。当然のことであるが、実施形態によっては本明細書に記載する処理800の複数の部分のうちの少なくともいくつかを図8に示し、かつ記載した順序に限定されない任意の順序で実行してもよい。また、実施形態によっては、適切または並列である場合には、本明細書に記載する処理800の複数の部分のうちのいくつかは実質的に同時であってもよい、または実質的に同時に実行されてもよい。それに加えて、あるいはそれに代えて、処理800のいくつかの部分を実施形態によっては省いてもよい。
【0085】
処理800は任意の適切なハードウェアおよび/またはソフトウェアで実装されてもよい。例えば、実施形態によっては、処理800は制御システム108に実装されてもよい。
【0086】
顕微鏡自動焦点のシステムおよび方法を、図示したこれらの実施形態を具体的に参照して詳細に説明した。しかし、上述の明細書に記載した本開示の趣旨および範囲内で様々な変形および改変を行うことができることが明らかであり、そのような変形および改変は本開示の均等物および一部とみなされる。本発明の範囲は以下の特許請求の範囲のみにより限定される。
図1
図2
図3
図4
図5
図6
図7
図8