特許第5986041号(P5986041)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 浜松ホトニクス株式会社の特許一覧

特許5986041画像取得装置及び画像取得装置のフォーカス方法
<>
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000002
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000003
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000004
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000005
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000006
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000007
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000008
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000009
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000010
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000011
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000012
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000013
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000014
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000015
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000016
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000017
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000018
  • 特許5986041-画像取得装置及び画像取得装置のフォーカス方法 図000019
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5986041
(24)【登録日】2016年8月12日
(45)【発行日】2016年9月6日
(54)【発明の名称】画像取得装置及び画像取得装置のフォーカス方法
(51)【国際特許分類】
   G02B 21/26 20060101AFI20160823BHJP
   G02B 21/36 20060101ALI20160823BHJP
   G02B 7/28 20060101ALI20160823BHJP
【FI】
   G02B21/26
   G02B21/36
   G02B7/28 J
【請求項の数】8
【全頁数】19
(21)【出願番号】特願2013-124331(P2013-124331)
(22)【出願日】2013年6月13日
(62)【分割の表示】特願2011-277537(P2011-277537)の分割
【原出願日】2011年12月19日
(65)【公開番号】特開2013-210672(P2013-210672A)
(43)【公開日】2013年10月10日
【審査請求日】2014年11月28日
(73)【特許権者】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100124291
【弁理士】
【氏名又は名称】石田 悟
(74)【代理人】
【識別番号】100148013
【弁理士】
【氏名又は名称】中山 浩光
(72)【発明者】
【氏名】大石 英資
【審査官】 殿岡 雅仁
(56)【参考文献】
【文献】 国際公開第2005/114293(WO,A1)
【文献】 国際公開第2005/114287(WO,A1)
【文献】 特開2011−081211(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 21/00 − 21/36
G02B 7/28 − 7/40
(57)【特許請求の範囲】
【請求項1】
試料が載置されるステージと、
前記試料に対峙して配置された対物レンズと、
前記ステージの位置又は前記対物レンズの位置を前記対物レンズの光軸方向に駆動する駆動手段と、
前記試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、
前記第1の光路に分岐された第1の光像による第1の画像データを取得する第1の撮像手段と、
前記第2の光路に分岐された第2の光像による第2の画像データの2次元画像を取得可能な第2の撮像手段と、
前記第2の画像データを解析し、その解析結果に基づいて前記駆動手段による前記ステージの位置又は前記対物レンズの位置の変更を制御する焦点制御手段と、
前記第2の撮像手段の撮像面に、前記第2の光像の一部画像データを取得する第1の撮像領域及び第2の撮像領域を設定する領域制御手段と、
前記第2の光路に配置され、前記撮像面の面内方向に沿って前記第2の光像に光路差を生じさせる光路差生成部材と、を備え、
前記領域制御手段は、前記第1の撮像手段に入射する前記第1の光像と共役な光像が入射する領域と前記第1の撮像領域との間の間隔と、前記第1の撮像手段に入射する前記第1の光像と共役な光像が入射する領域と前記第2の撮像領域との間の間隔とが異なるように前記第1の撮像領域の位置及び前記第2の撮像領域の位置を設定することを特徴とする画像取得装置。
【請求項2】
前記ステージを所定の速度で走査するステージ制御手段を更に備え、
前記領域制御手段は、前記第1の撮像手段に入射する前記第1の光像と共役な光像が入射する領域に対して前記撮像面における前記試料の走査方向の手前側に位置するように前記第1の撮像領域の位置及び前記第2の撮像領域の位置を設定することを特徴とする請求項1記載の画像取得装置。
【請求項3】
前記光路差生成部材は、前記撮像面の面内方向に沿って連続的に厚さが変化する部分を有する部材であり、
前記領域制御手段は、前記光路差生成部材の厚みの異なる部分に重なるように前記第1の撮像領域と前記第2の撮像領域とを設定することを特徴とする請求項1又は2記載の画像取得装置。
【請求項4】
前記焦点制御手段による制御に基づいて、前記試料に対する前記対物レンズの位置を相対的に制御する対物レンズ制御手段を備え、
前記対物レンズ制御手段は、前記焦点制御手段による焦点位置の解析実行中は前記対物レンズの駆動を行わず、前記焦点制御手段による焦点位置の解析非実行中に前記対物レンズを前記試料に対して一方向に移動させることを特徴とする請求項1〜3のいずれか一項記載の画像取得装置。
【請求項5】
試料が載置されるステージと、
前記試料に対峙して配置された対物レンズと、
前記ステージの位置又は前記対物レンズの位置を前記対物レンズの光軸方向に駆動する駆動手段と、
前記試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、
前記第1の光路に分岐された第1の光像による第1の画像データを取得する第1の撮像手段と、
前記第2の光路に分岐された第2の光像による第2の画像データの2次元画像を取得可能な第2の撮像手段と、
前記第2の画像データを解析し、その解析結果に基づいて前記駆動手段による前記ステージの位置又は前記対物レンズの位置の変更を制御する焦点制御手段と、を備えた画像取得装置のフォーカス方法であって、
前記第2の撮像手段の撮像面に、前記第2の光像の一部画像データを取得する第1の撮像領域及び第2の撮像領域を設定し、
前記撮像面の面内方向に沿って前記第2の光像に光路差を生じさせる光路差生成部材を前記第2の光路に配置し、
領域制御手段によって、前記第1の撮像手段に入射する前記第1の光像と共役な光像が入射する領域と前記第1の撮像領域との間の間隔と、前記第1の撮像手段に入射する前記第1の光像と共役な光像が入射する領域と前記第2の撮像領域との間の間隔とが異なるように前記第1の撮像領域の位置及び前記第2の撮像領域の位置を設定することを特徴とする画像取得装置のフォーカス方法。
【請求項6】
前記画像取得装置は、
前記ステージを所定の速度で走査するステージ制御手段を備え、
前記領域制御手段により、前記第1の撮像手段に入射する前記第1の光像と共役な光像が入射する領域に対して前記撮像面における前記試料の走査方向の手前側に位置するように前記第1の撮像領域の位置及び前記第2の撮像領域の位置を設定することを特徴とする請求項5記載の画像取得装置のフォーカス方法。
【請求項7】
前記光路差生成部材として、前記撮像面の面内方向に沿って連続的に厚さが変化する部分を有する部材を用い、
前記領域制御手段によって、前記光路差生成部材の厚みの異なる部分に重なるように前記第1の撮像領域と前記第2の撮像領域とを設定することを特徴とする請求項5又は6記載の画像取得装置のフォーカス方法。
【請求項8】
前記画像取得装置は、
前記焦点制御手段による制御に基づいて、前記試料に対する前記対物レンズの位置を相対的に制御する対物レンズ制御手段を備え、
前記対物レンズ制御手段によって、前記焦点制御手段による焦点位置の解析実行中は前記対物レンズの駆動を行わず、前記焦点制御手段による焦点位置の解析非実行中に前記対物レンズを前記試料に対して一方向に移動させることを特徴とする請求項5〜7のいずれか一項記載の画像取得装置のフォーカス方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、試料等の画像取得に用いられる画像取得装置及びそのフォーカス方法に関する。
【背景技術】
【0002】
画像取得装置として、例えば試料の撮像領域を予め複数の領域に分割し、各分割領域を高倍率で撮像した後、これらを合成するバーチャル顕微鏡装置がある。このようなバーチャル顕微鏡での画像取得では、従来、生体サンプルなどの試料の画像を取得する際の撮像条件として、試料の全領域を対象とする焦点マップが設定され、焦点マップに基づく焦点制御を行いつつ試料の画像取得が行われている。
【0003】
焦点マップの作成には、まず、マクロ光学系を備える画像取得装置を用い、試料全体をマクロ画像として取得する。次に、取得したマクロ画像を用い、試料の撮像範囲を設定すると共に、撮像範囲を複数の分割領域に分割し、各分割領域に対して焦点取得位置を設定する。焦点取得位置の設定の後、ミクロ光学系を備える画像取得装置に試料を移し、設定された焦点取得位置における焦点位置を取得し、これらの焦点位置から焦点マップを作成する。
【0004】
しかしながら、このような焦点マップを作成するにあたっては、処理に時間を要するという問題があった。また、取得する焦点の間隔や数を抑えれば処理に要する時間は短縮されるが、その場合にはフォーカス精度が低下するという問題があった。そのため、焦点位置を取得しつつ試料の高倍率画像を取得するダイナミックフォーカスの開発が進められている。この方式は、画像取得用の撮像装置に入射する光像よりも前に焦点が合った光像(前ピン)と、後に焦点が合った光像(後ピン)との光強度差或いはコントラスト差に基づいて現在の対物レンズの高さに対する焦点位置のずれ方向を検出し、ずれをキャンセルする方向に対物レンズを移動させて画像を取得する方式である。
【0005】
例えば特許文献1に記載の顕微鏡システムでは、第1の撮像手段が撮像する領域よりも手前の領域を撮像する第2の撮像手段と、第2の撮像手段で撮像された画像に基づいて、第1の撮像手段の撮像位置での対物レンズの合焦位置を調整する自動合焦制御手段と、分割領域間の距離と試料の移動速度とに応じて、分割領域が第2の撮像手段の撮像位置から第1の撮像手段の撮像位置まで移動するタイミングと、第2の撮像手段で撮像された分割領域の結像位置を第1の撮像手段の撮像面に位置させるタイミングとを揃えるタイミング制御手段とが設けられている。また、例えば特許文献2,3に記載の顕微鏡装置では、ガラス部材を用いて焦点制御用の導光光学系内での光路長差を形成している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2011−081211号公報
【特許文献2】再公表特許WO2005/114287号公報
【特許文献3】再公表特許WO2005/114293号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述した特許文献1に記載の顕微鏡システムでは、ハーフミラー及びミラーを用いることによって光路差光学系を形成し、第2の撮像手段の2つの撮像領域に対して光路長の異なる光をそれぞれ入射させている。この従来の顕微鏡システムでは、例えばラインセンサによって第1の撮像手段及び第2の撮像手段を構成している。ラインセンサでは露光時間が短いため、鮮明な画像を取得するために光量の確保が重要となるのに対し、この従来の顕微鏡システムでは、光路差光学系で光を分岐させているため、光量の確保が難しくなるという問題がある。
【0008】
また、この従来の顕微鏡システムでは、光路分岐手段の光学面を傾斜させることにより、第2の撮像手段で撮像される領域が第1の撮像手段で撮像される領域に対して試料のスキャン方向の手前側となるように調整され、焦点位置のずれ方向の先行取得を行っている。しかしながら、このような構成では、光学面の調整が難しいという問題がある。さらに、ハーフミラー及びミラーで光路差光学系を構成しているので、光路差光学系を経た光が第2の撮像手段の撮像面に収まり難いという問題もある。
【0009】
本発明は、上記課題の解決のためになされたものであり、簡単な構成で焦点位置のずれ方向を先行取得でき、試料の焦点位置を精度良く検出できる画像取得装置及びそのフォーカス方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題の解決のため、本発明に係る画像取得装置は、試料が載置されるステージと、試料に対峙して配置された対物レンズと、ステージの位置又は対物レンズの位置を対物レンズの光軸方向に駆動する駆動手段と、試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、第1の光路に分岐された第1の光像による第1の画像データを取得する第1の撮像手段と、第2の光路に分岐された第2の光像による第2の画像データの2次元画像を取得可能な第2の撮像手段と、第2の画像データを解析し、その解析結果に基づいて駆動手段によるステージの位置又は対物レンズの位置の変更を制御する焦点制御手段と、第2の撮像手段の撮像面に、第2の光像の一部画像データを取得する第1の撮像領域及び第2の撮像領域を設定する領域制御手段と、第2の光路に配置され、撮像面の面内方向に沿って第2の光像に光路差を生じさせる光路差生成部材と、を備え、領域制御手段は、第1の撮像手段に入射する第1の光像と共役な光像が入射する領域と第1の撮像領域との間の間隔と、第1の撮像手段に入射する第1の光像と共役な光像が入射する領域と第2の撮像領域との間の間隔とが異なるように第1の撮像領域の位置及び第2の撮像領域の位置を設定することを特徴としている。
【0011】
この画像取得装置では、第2の光路に光路差生成部材が配置されていることにより、第2の撮像手段の第1の撮像領域及び第2の撮像領域において、第1の撮像手段に入射する光像よりも前に焦点が合った光像(前ピン)と、後に焦点が合った光像(後ピン)とをそれぞれ撮像することができる。この画像取得装置では、焦点制御用の第2の光路での光の分岐を行わずに光路長差を形成できるので、焦点位置の情報を得るために必要な第2の光路への光量が抑えられ、第1の撮像手段での撮像を行う際の光量を確保できる。また、第1の撮像手段に入射する第1の光像と共役な光像が入射する領域と第1の撮像領域との間の間隔と、第1の撮像手段に入射する第1の光像と共役な光像が入射する領域と第2の撮像領域との間の間隔とが異なるので、第1の撮像領域及び第2の撮像領域における露光時間を十分に確保できる。
【0012】
また、領域制御手段は、第1の撮像手段に入射する第1の光像と共役な光像が入射する領域に対して撮像面における試料の走査方向の手前側に位置するように第1の撮像領域の位置及び第2の撮像領域の位置を設定することが好ましい。これにより、簡単な構成で焦点位置のずれ方向を先行取得できる。
【0013】
また、光路差生成部材は、撮像面の面内方向に沿って連続的に厚さが変化する部分を有する部材であり、領域制御手段は、光路差生成部材の厚みの異なる部分に重なるように第1の撮像領域と第2の撮像領域とを設定することが好ましい。この場合、第1の撮像領域の位置と第2の撮像領域の位置とを調整することで、前ピンと後ピンとの間隔を自在に調整できる。これにより、試料の焦点位置を精度良く検出することが可能となる。
【0014】
また、焦点制御手段による制御に基づいて、試料に対する対物レンズの位置を相対的に制御する対物レンズ制御手段を備え、対物レンズ制御手段は、焦点制御手段による焦点位置の解析実行中は対物レンズの駆動を行わず、焦点制御手段による焦点位置の解析非実行中に対物レンズを試料に対して一方向に移動させることが好ましい。この場合、焦点位置の解析中に対物レンズと試料との位置関係が変化しないので、焦点位置の解析精度を担保できる。
【0015】
また、本発明に係る画像取得装置のフォーカス方法は、試料が載置されるステージと、試料に対峙して配置された対物レンズと、ステージの位置又は対物レンズの位置を対物レンズの光軸方向に駆動する駆動手段と、試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、第1の光路に分岐された第1の光像による第1の画像データを取得する第1の撮像手段と、第2の光路に分岐された第2の光像による第2の画像データの2次元画像を取得可能な第2の撮像手段と、第2の画像データを解析し、その解析結果に基づいて駆動手段によるステージの位置又は対物レンズの位置の変更を制御する焦点制御手段と、を備えた画像取得装置のフォーカス方法であって、第2の撮像手段の撮像面に、第2の光像の一部画像データを取得する第1の撮像領域及び第2の撮像領域を設定し、撮像面の面内方向に沿って第2の光像に光路差を生じさせる光路差生成部材を第2の光路に配置し、領域制御手段によって、第1の撮像手段に入射する第1の光像と共役な光像が入射する領域と第1の撮像領域との間の間隔と、第1の撮像手段に入射する第1の光像と共役な光像が入射する領域と第2の撮像領域との間の間隔とが異なるように第1の撮像領域の位置及び第2の撮像領域の位置を設定することを特徴としている。
【0016】
この画像取得装置のフォーカス方法では、第2の光路に光路差生成部材を配置することにより、第2の撮像手段の第1の撮像領域及び第2の撮像領域において、第1の撮像手段に入射する光像よりも前に焦点が合った光像(前ピン)と、後に焦点が合った光像(後ピン)とをそれぞれ撮像することができる。このフォーカス方法では、焦点制御用の第2の光路での光の分岐を行わずに光路長差を形成できるので、焦点位置の情報を得るために必要な第2の光路への光量が抑えられ、第1の撮像手段での撮像を行う際の光量を確保できる。また、第1の撮像手段に入射する第1の光像と共役な光像が入射する領域と第1の撮像領域との間の間隔と、第1の撮像手段に入射する第1の光像と共役な光像が入射する領域と第2の撮像領域との間の間隔とを異ならせるので、第1の撮像領域及び第2の撮像領域における露光時間を十分に確保できる。
【0017】
また、領域制御手段により、第1の撮像手段に入射する第1の光像と共役な光像が入射する領域に対して撮像面における試料の走査方向の手前側に位置するように第1の撮像領域の位置及び第2の撮像領域の位置を設定することが好ましい。これにより、簡単な構成で焦点位置のずれ方向を先行取得できる。
【0018】
また、光路差生成部材として、撮像面の面内方向に沿って連続的に厚さが変化する部分を有する部材を用い、領域制御手段によって、光路差生成部材の厚みの異なる部分に重なるように第1の撮像領域と第2の撮像領域とを設定することが好ましい。この場合、第1の撮像領域の位置と第2の撮像領域の位置とを調整することで、前ピンと後ピンとの間隔を自在に調整できる。これにより、試料の焦点位置を精度良く検出することが可能となる。
【0019】
また、画像取得装置は、焦点制御手段による制御に基づいて、試料に対する対物レンズの位置を相対的に制御する対物レンズ制御手段を備え、対物レンズ制御手段によって、焦点制御手段による焦点位置の解析実行中は対物レンズの駆動を行わず、焦点制御手段による焦点位置の解析非実行中に対物レンズを試料に対して一方向に移動させることが好ましい。この場合、焦点位置の解析中に対物レンズと試料との位置関係が変化しないので、焦点位置の解析精度を担保できる。
【発明の効果】
【0020】
本発明によれば、簡単な構成で焦点位置のずれ方向を先行取得でき、試料の焦点位置を精度良く検出できる。
【図面の簡単な説明】
【0021】
図1】本発明に係る画像取得装置を構成するマクロ画像取得装置の一実施形態を示す図である。
図2】本発明に係る画像取得装置を構成するミクロ画像取得装置の一実施形態を示す図である。
図3】画像取得装置の機能的な構成要素を示すブロック図である。
図4】試料の表面までの距離が対物レンズの焦点距離に一致している場合のコントラスト値の解析結果を示す図である。
図5】試料の表面までの距離が対物レンズの焦点距離よりも長い場合のコントラスト値の解析結果を示す図である。
図6】試料の表面までの距離が対物レンズの焦点距離よりも短い場合のコントラスト値の解析結果を示す図である。
図7】光路差生成部材及び第2の撮像装置の一例を示す図である。
図8】光路差生成部材及び第2の撮像装置の別の例を示す図である。
図9】光路差生成部材及び第2の撮像装置の更に別の例を示す図である。
図10】光路差生成部材及び第2の撮像装置の更に別の例(順方向)を示す図である。
図11】光路差生成部材及び第2の撮像装置の更に別の例(逆方向)を示す図である。
図12】光路差生成部材及び第2の撮像装置の更に別の例(順方向)を示す図である。
図13】光路差生成部材及び第2の撮像装置の更に別の例(逆方向)を示す図である。
図14】光路差生成部材の変形例を示す図である。
図15】ステージの走査時間に対する対物レンズと試料の表面との距離の関係を示す図である。
図16】ステージ制御部によるステージの走査方向の制御を示す図である。
図17】ステージ制御部によるステージの走査速度の制御を示す図である。
図18】画像取得装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0022】
以下、図面を参照しながら、本発明に係る画像取得装置及び画像取得装置のフォーカス方法の好適な実施形態について詳細に説明する。
【0023】
図1は、本発明に係る画像取得装置を構成するマクロ画像取得装置の一実施形態を示す図である。また、図2は、本発明に係る画像取得装置を構成するミクロ画像取得装置の一実施形態を示す図である。図1及び図2に示すように、画像取得装置Mは、試料Sのマクロ画像を取得するマクロ画像取得装置M1と、試料Sのミクロ画像を取得するミクロ画像取得装置M2とによって構成されている。画像取得装置Mは、マクロ画像取得装置M1で取得したマクロ画像に対して例えばライン状の複数の分割領域40(図9参照)を設定し、各分割領域40をミクロ画像取得装置M2で高倍率に取得して合成することにより、バーチャルマイクロ画像を生成する装置である。
【0024】
マクロ画像取得装置M1は、図1に示すように、試料Sが載置されるステージ1を備えている。ステージ1は、例えばステッピングモータ(パルスモータ)或いはピエゾアクチュエータなどのモータやアクチュエータによって水平方向に駆動するXYステージである。画像取得装置Mで観察する試料Sは、例えば細胞などの生体サンプルであり、スライドガラスに密封された状態でステージ1に載置される。このステージ1をXY面内で駆動させることにより、試料Sに対する撮像位置を移動させることができる。また、ステージ1は、マクロ画像取得装置M1とミクロ画像取得装置M2との間を往復可能となっており、両装置間で試料Sを搬送する機能を有している。なお、ステージ1は、マクロ画像取得装置M1及びミクロ画像取得装置M2の双方にそれぞれ設けておいてもよい。
【0025】
ステージ1の底面側には、試料Sに向けて光を照射する光源2と、光源2からの光を試料Sに集光する集光レンズ3とが配置されている。光源2は、試料Sに向けて斜めに光を照射するように配置されていてもよい。また、ステージ1の上面側には、試料Sからの光像を導光する導光光学系4と、試料Sの光像を撮像する撮像装置5とが配置されている。導光光学系4は、試料Sからの光像を撮像装置5の撮像面に結像させる結像レンズ6を有している。また、撮像装置5は、例えば2次元画像を取得可能なエリアセンサである。撮像装置5は、導光光学系4を経て撮像面に入射した試料Sの光像の全体画像を取得し、後述のバーチャルマイクロ画像格納部39に格納する。
【0026】
ミクロ画像取得装置M2は、図2に示すように、ステージ1の底面側にマクロ画像取得装置M1と同様の光源12及び集光レンズ13を有している。また、ステージ1の上面側には、試料Sからの光像を導光する導光光学系14が配置されている。光源12からの光を試料Sに照射させる光学系には、試料Sに励起光を照射するための励起光照射光学系や試料Sの暗視野画像を取得するための暗視野照明光学系を採用してもよい。
【0027】
導光光学系4は、試料Sと対峙して配置された対物レンズ15と、対物レンズ15の後段に配置されたビームスプリッタ(光分岐手段)16とを有している。対物レンズ15には、ステージ1の載置面に直交するZ方向に対物レンズ15を駆動するステッピングモータ(パルスモータ)或いはピエゾアクチュエータなどのモータやアクチュエータが設けられている。これらの駆動手段によって対物レンズ15のZ方向の位置を変えることにより、試料Sの画像取得における撮像の焦点位置が調整可能になっている。なお、焦点位置の調整は、ステージ1のZ方向の位置を変えてもよく、対物レンズ15及びステージ1の双方のZ方向の位置を変えてもよい。
【0028】
ビームスプリッタ16は、試料Sの光像を画像取得用の第1の光路L1と焦点制御用の第2の光路L2とに分岐する部分である。このビームスプリッタ16は、光源12からの光軸に対しておよそ45度の角度で配置されており、図2において、ビームスプリッタ16を通過する光路が第1の光路L1となっており、ビームスプリッタ16で反射する光路が第2の光路となっている。
【0029】
第1の光路L1には、ビームスプリッタ16を通過した試料Sの光像(第1の光像)を結像させる結像レンズ17と、結像レンズ17の結像位置に撮像面を配置した第1の撮像装置(第1の撮像手段)18とが配置されている。第1の撮像装置18は、試料Sの第1の光像による1次元画像(第1の画像)を取得可能な装置であり、例えばTDI(Time Delay Integration)駆動が可能な2次元CCDセンサやラインセンサが用いられる。また、ステージ1を一定の速度で制御しながら、試料Sの画像を順次取得する方式であれば、第1の撮像装置18は、CMOSセンサやCCDセンサなどの2次元画像を取得可能な装置であってもよい。第1の撮像装置18で撮像された第1の画像は、レーンバッファなどの一時保存メモリに順次保存された後、圧縮されて後述の画像生成部38に出力される。
【0030】
一方、第2の光路L2には、ビームスプリッタ16で反射した試料の光像(第2の光像)を縮小する視野調整レンズ19と、第2の撮像装置(第2の撮像手段)20とが配置されている。また、第2の撮像装置20の前段には、第2の光像に光路差を生じさせる光路差生成部材21が配置されている。視野調整レンズ19は、第2の光像が第1の光像と同程度の大きさで第2の撮像装置20に結像するように構成されていることが好ましい。また、光路差生成部材21は、第2の撮像装置20と対向する面が第2の撮像装置の撮像面(受光面)20aと平行となるように配置されることが好ましい。これにより、第2の撮像装置20と対向する面による光の屈折を低減でき、第2の撮像装置20で受光する光量を確保することができる。
【0031】
第2の撮像装置20は、試料Sの第2の光像による2次元画像(第2の画像)を取得可能な装置であり、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの2次元センサが用いられる。
【0032】
第2の撮像装置20の撮像面20aは、第2の光路L2に直交するXZ面と略一致するように配置されている。この撮像面20aには、第2の光像の一部画像を取得する第1の撮像領域22A及び第2の撮像領域22Bが設定されている(例えば図7参照)。第1の撮像領域22A及び第2の撮像領域22Bは、試料Sの走査に伴う撮像面20a上での第2の光像の移動方向(走査方向:Z方向)に対して垂直となる向きに設定される。第1の撮像領域22Aと第2の撮像領域22Bとは、所定の間隔をもって設定されており、いずれも第2の光像の一部をライン状に取得する。これにより、第1の撮像装置18で取得される試料Sの第1の光像と同じ領域の光像を第2の光像として第1の撮像領域22A及び第2の撮像領域22Bで取得できる。
【0033】
これにより、第2の撮像装置20では、第1の撮像領域22Aの位置と第2の撮像領域22Bの位置に基づいて、第1の撮像装置18に入射する第1の光像よりも前に焦点が合った光像(前ピン)と、後に焦点が合った光像(後ピン)とを取得できる。前ピンと後ピンとの間のフォーカス差は、第1の撮像領域22Aに入射する第2の光像が通過する光路差生成部材21の厚さ及び屈折率と、第2の撮像領域22Bに入射する第2の光像が通過する光路差生成部材21の厚さ及び屈折率との差に依存する。光路差生成部材21の形状、及び撮像面20aにおける第1の撮像領域22Aと第2の撮像領域22Bとの配置の例については後述する。
【0034】
図3は、画像取得装置の機能的な構成要素を示すブロック図である。同図に示すように、画像取得装置Mは、CPU、メモリ、通信インタフェイス、ハードディスクといった格納部、キーボードなどの操作部31、モニタ32等を備えたコンピュータシステムを備え、制御部33の機能的な構成要素として、焦点制御部34と、領域制御部35と、対物レンズ制御部36と、ステージ制御部37と、画像生成部38と、バーチャルマイクロ画像格納部39とを備えている。
【0035】
焦点制御部34は、第2の撮像装置20で取得した第2の画像を解析し、その解析結果に基づいて第1の撮像装置18による撮像の焦点位置を制御する部分である。より具体的には、焦点制御部34は、まず、第2の撮像装置20において、第1の撮像領域22Aで取得した画像のコントラスト値と、第2の撮像領域22Bで取得した画像のコントラスト値との差分を求める。
【0036】
ここで、図4に示すように、試料Sの表面に対して対物レンズ15の焦点位置が合っている場合、第1の撮像領域22Aで取得した前ピンの画像コントラスト値と第2の撮像領域22Bで取得した後ピンの画像コントラスト値とが略一致し、これらの差分値はほぼゼロとなる。
【0037】
一方、図5に示すように、試料Sの表面までの距離が対物レンズ15の焦点距離よりも長い場合、第1の撮像領域22Aで取得した前ピンの画像コントラスト値よりも第2の撮像領域22Bで取得した後ピンの画像コントラスト値の方が大きくなり、これらの差分値はプラスとなる。この場合、焦点制御部34は、対物レンズ制御部36に対し、対物レンズ15を試料Sに近づける向きに駆動する旨の指示情報を出力する。
【0038】
また、図6に示すように、試料Sの表面までの距離が対物レンズ15の焦点距離よりも短い場合、第1の撮像領域22Aで取得した前ピンの画像コントラスト値よりも第2の撮像領域22Bで取得した後ピンの画像コントラスト値の方が小さくなり、これらの差分値はマイナスとなる。この場合、焦点制御部34は、対物レンズ制御部36に対し、対物レンズ15を試料Sに遠ざける向きに駆動する旨の指示情報を出力する。
【0039】
領域制御部35は、第2の撮像装置20の撮像面20aにおける第1の撮像領域22Aの位置及び第2の撮像領域22Bの位置を制御する部分である。領域制御部35は、操作部31からの操作に基づき、予め設定された位置にまず第1の撮像領域22Aを設定し、第1の撮像領域22Aでの撮像が行われた後、第1の撮像領域22Aの設定を解除する。次に、第1の撮像領域22AからZ方向(走査方向)に所定の間隔をもって第2の撮像領域22Bを設定し、第2の撮像領域22Bでの撮像が行われた後、第2の撮像領域22Bの設定を解除する。
【0040】
このとき、第1の撮像領域22Aでの撮像から第2の撮像領域22Bでの撮像までの待ち時間Wは、第1の撮像領域22Aと第2の撮像領域22Bとの間の間隔dと、ステージ1の走査速度vに基づいて設定される。例えば、待ち時間Wを第1の撮像領域22Aでの撮像開始から第2の撮像領域22Bでの撮像開始までの時間W1とすると、第1の撮像領域22Aでの撮像の露光時間el、第1の撮像領域22Aの設定を解除してから第2の撮像領域22Bを設定するまでの時間stを考慮して、W1=d/v−el−stで求めることができる。
【0041】
また、待ち時間Wを第1の撮像領域22Aでの撮像完了から第2の撮像領域22Bでの撮像開始までの待ち時間W2とすると、第1の撮像領域22Aの設定を解除してから第2の撮像領域22Bを設定するまでの時間stを考慮して、W2=d/v−stで求めることができる。また、第1の撮像領域22Aと第2の撮像領域22Bとの間の間隔dは、光路差生成部材21によって生じる光路長差に基づいて設定される。ただし、この間隔dは、実際には試料Sのスライド上の距離に対応しており、最終的には間隔dを第2の撮像領域22Bの画素数に変換する必要がある。第2の撮像装置20の画素サイズをAFpsz、倍率をAFmagとした場合、間隔dに対応する画素数dpixは、dpix=d÷(AFpsz/AFmag)で求められる。
【0042】
また、領域制御部35は、撮像面20aにおける第1の撮像領域22Aの位置及び第2の撮像領域22Bの位置を設定するにあたり、第1の撮像装置18に入射する第1の光像と共役な光像が入射する領域に対して撮像面20aにおける試料Sの走査方向の手前(上手)側に位置するように、第1の撮像領域22Aの位置及び第2の撮像領域22Bの位置を設定する。すなわち、領域制御部35は、第2の撮像装置20の第1の撮像領域22A及び第2の撮像領域22Bの試料S上における撮像位置が、第1の撮像装置18での試料S上における撮像位置の手前側(第1の撮像装置18でこれから撮像される位置)となるように、第1の撮像領域22Aの位置及び第2の撮像領域22Bの位置を設定する(図17(a)参照)。
【0043】
このような、第1の撮像領域22Aの位置と第2の撮像領域22Bの位置との設定により、図7に示すように、第1の撮像装置18に入射する第1の光像と共役な光像が入射する領域22Cと第1の撮像領域22Aとの間の間隔、及び第1の撮像装置18に入射する第1の光像と共役な光像が入射する領域22Cと第2の撮像領域22Bとの間の間隔が異なることとなる。このため、第1の撮像領域22A及び第2の撮像領域22Bでの露光時間を十分確保することができる。
【0044】
第1の撮像領域22A及び第2の撮像領域22Bの設定は、光路差生成部材21の形状に応じて適宜実行される。例えば図7に示す例では、平板形状のガラス部材で形成された光路差生成部材21Aが、撮像面20aにおけるZ方向の下半分領域に重なるように配置されている。撮像面20aにおいて、第1の撮像装置18に入射する第1の光像と共役な光像が入射する領域22Cは、撮像面20aの下半分領域の略中央部分に位置している。ステージ1による試料Sの走査に伴い、撮像面20aの視野では、試料Sは+Z方向に移動する。
【0045】
そして、第1の撮像領域22Aと第2の撮像領域22Bとは、いずれも領域22Cに対して−Z方向側に設定され、第1の撮像領域22Aは、光路差生成部材21Aと重ならない撮像面20aの上半分領域に設定され、第2の撮像領域22Bは、光路差生成部材21Aと重なる撮像面20aの下半分領域に設定されている。なお、光路差生成部材21Aのエッジ部分Eは、撮像面20aにおける第2の光像の影23を形成するおそれがある。したがって、影23を避けた位置に第1の撮像領域22Aと第2の撮像領域22Bとを設定することが好適である。
【0046】
また、例えば図8に示す例では、撮像面20aと略同面積の平板形状のガラス部材と撮像面20aの下半分領域と略同面積の平板形状のガラス部材とを重ね合わせた光路差生成部材21Bが、撮像面20aに重なるように配置されている。そして、第1の撮像領域22Aと第2の撮像領域22Bとは、いずれも領域22Cに対して−Z方向側に設定され、第1の撮像領域22Aは、ガラス部材1枚分の厚さで光路差生成部材21Bと重なる撮像面20aの上半分領域に設定され、第2の撮像領域22Bは、ガラス部材2枚分の厚さで光路差生成部材21Bと重なる撮像面20aの下半分領域に設定されている。
【0047】
この場合も、光路差生成部材21Bのエッジ部分Eは、撮像面20aにおける第2の光像の影23を形成するおそれがある。したがって、影23を避けた位置に第1の撮像領域22Aと第2の撮像領域22Bとを設定することが好適である。
【0048】
また、例えば図9に示す例では、+Z方向に行くに従って厚みが連続的に増加するプリズム状のガラス部材からなる光路差生成部材21Cが撮像面20aに重なるように配置されている。そして、第1の撮像装置18に入射する第1の光像と共役な光像が入射する領域22Cが撮像面20aの略中央部分に位置し、+Z方向に沿って、第1の撮像領域22A、第2の撮像領域22B、領域22Cがこの順番で設定されている。
【0049】
この場合、第1の撮像領域22Aの位置及び第2の撮像領域22Bの位置をZ方向に対して調整することで、第1の撮像領域22Aに入射する第2の光像が通過する光路差生成部材21Cの厚さと、第2の撮像領域22Bに入射する第2の光像が通過する光路差生成部材21Cの厚さとを変えることができる。これにより、前ピンと後ピンとの間のフォーカス差を調整することができる。また、フォーカス差が光路差生成部材21内での屈折率差によっても変化することも考慮する必要がある。
【0050】
また、Z方向について厚さが対称となるように光路差生成部材21を配置すれば、試料Sの走査方向が反転した場合であっても第1の撮像領域22Aの位置と第2の撮像領域22Bの位置とを領域22Cについて対称となる位置に変更することで、試料Sの双方向の走査を実行できる。例えば図10及び図11に示す例では、図7と同様の平板形状の光路差生成部材21Dが撮像面20aのZ方向の中心に一致するように配置されている。また、第1の撮像装置18に入射する第1の光像と共役な光像が入射する領域22Cは、撮像面20aにおけるZ方向の中心に一致するように位置している。
【0051】
そして、図10に示すように、試料Sが+Z方向に走査される場合には、撮像面20aの上半分領域において、第1の撮像領域22Aは、光路差生成部材21Dと重ならない領域に設定され、第2の撮像領域22Bは、光路差生成部材21Dと重なる領域に設定される。また、図11に示すように、試料Sが−Z方向に走査される場合には、撮像面20aの下半分領域において、第1の撮像領域22Aは、光路差生成部材21Dと重ならない領域に設定され、第2の撮像領域22Bは、光路差生成部材21Dと重なる領域に設定される。
【0052】
また、図12及び図13に示す例では、Z方向の中心に向かって連続的に厚みが増加するプリズム状のガラス部材からなる光路差生成部材21Eが撮像面20aのZ方向の中心に一致するように配置されている。また、第1の撮像装置18に入射する第1の光像と共役な光像が入射する領域22Cは、撮像面20aにおけるZ方向の中心に一致するように位置している。
【0053】
そして、図12に示すように、試料Sが+Z方向に走査される場合には、撮像面20aの上半分領域において、第1の撮像領域22Aが上側、第2の撮像領域22Bが下側となるように設定される。また、図13に示すように、試料Sが−Z方向に走査される場合には、撮像面20aの下半分領域において、第1の撮像領域22Aが下側、第2の撮像領域22Bが上側となるように設定される。
【0054】
試料Sの双方向の走査を行う場合の光路差生成部材21は、例えば図14(a)に示すように、Z方向の中央部分が一定の厚みを有し、Z方向の両端部が外側に向かうに従って厚みが減少する光路差生成部材21Fを用いてもよく、例えば図14(b)に示すように、断面直角三角形のプリズム状をなす2つのガラス部材からなる光路差生成部材21Gを、撮像面20aのZ方向の両端部側から中央側に向かって厚みが減少するように配置してもよい。
【0055】
なお、撮像面20aにおいて、第1の撮像装置18に入射する第1の光像と共役な光像が入射する領域22Cの位置を設定する場合、まず、ステージ1に対する対物レンズ15の距離を固定し、キャリブレーションスライドのクロスラインが第1の撮像装置18の視野の中心に位置するようにステージ1の位置を調整する。次に、キャリブレーションスライドのクロスラインが第2の撮像装置20の視野に入るように、第2の撮像装置20のバックフォーカスを調整する。最後に、キャリブレーションスライドのクロスラインが第2の撮像装置20の撮像面20aの所望の位置に来るように、第2の撮像装置20の面内方向の位置を調整する。
【0056】
対物レンズ制御部36は、対物レンズ15の駆動を制御する部分である。対物レンズ制御部36は、焦点制御部34から出力される指示情報を受け取ると、指示情報の内容に従って、対物レンズ15をZ方向に駆動させる。これにより、試料Sに対する対物レンズ15の焦点位置が調整される。
【0057】
なお、対物レンズ制御部36は、焦点制御部34による焦点位置の解析中は対物レンズ15の駆動は行わず、また、次の焦点位置の解析が開始されるまで、対物レンズ15をZ方向に沿って一方向にのみ駆動させる。図15は、ステージの走査時間に対する対物レンズと試料の表面との距離の関係を示す図である。同図に示すように、試料Sの走査中は、焦点位置の解析期間Aと、解析結果に基づく対物レンズ駆動期間Bとが交互に生じることとなる。
【0058】
ステージ制御部37は、ステージ1の駆動を制御する部分である。より具体的には、ステージ制御部37は、操作部31からの操作に基づき、試料Sが載置されたステージ1を所定の速度で走査させる。このステージ1の走査により、第1の撮像装置18及び第2の撮像装置20での試料Sの撮像視野が相対的に順次移動する。ステージ1の走査方向は、図16(a)に示すように、一つの分割領域40の走査が終了する度にステージ1の位置を走査開始位置まで戻してから次の分割領域40を同一方向に走査する一方向走査であってもよく、図16(b)に示すように、一つの分割領域40の走査が終了した後、ステージ1を走査方向と直交する方向に移動させて次の分割領域40を反対方向に走査する双方向走査であってもよい。
【0059】
また、画像取得の間のステージ1の走査速度は一定であるが、実際には走査の開始直後にステージ1の振動等の影響によって走査速度が不安定な期間が存在する。このため、図17に示すように、分割領域40よりも長い走査幅を設定し、ステージ1が加速する加速期間C、ステージ1の走査速度が安定化するまでの安定化期間D、及びステージ1が減速する減速期間Fのそれぞれが、分割領域40よりも外側を走査しているときに生じるようにすることが好ましい。これにより、ステージ1の走査速度が一定となる一定速度期間Eに合わせて画像取得を行うことが可能となる。なお、安定化期間D中に撮像を開始し、画像取得後に安定化期間D中に取得したデータ部分を削除するようにしてもよい。このような手法は、データの空読みが必要な撮像装置を用いる場合に好適である。
【0060】
画像生成部38は、取得した画像を合成してバーチャルマイクロ画像を生成する部分である。画像生成部38は、第1の撮像装置18から出力される第1の画像、すなわち、各分割領域40の画像を順次受け取り、これらを合成して試料Sの全体の画像を合成する。そして、この合成画像に基づいてこれよりも低い解像度の画像を作成し、高解像度の画像と低解像度の画像とを関連付けてバーチャルマイクロ画像格納部39に格納する。バーチャルマイクロ画像格納部39では、マクロ画像取得装置M1で取得した画像も更に関連付けてもよい。バーチャルマイクロ画像は、1枚の画像として格納してもよく、複数に分割された画像として格納してもよい。
【0061】
続いて、上述した画像取得装置Mの動作について説明する。
【0062】
図18は、画像取得装置Mの動作を示すフローチャートである。同図に示すように、画像取得装置Mでは、まず、マクロ画像取得装置M1による試料Sのマクロ画像の取得がなされる(ステップS01)。取得したマクロ画像は、例えば所定の閾値を用いて二値化された後、モニタ32に表示され、所定のプログラムを用いた自動設定又は操作者による手動設定により、マクロ画像の中からミクロ画像を取得する範囲が設定される(ステップS02)。
【0063】
次に、試料Sがミクロ画像取得装置M2側に移送され、焦点取得条件の設定がなされる(ステップS03)。ここでは、上述したように、ステージ1の走査速度v、第1の撮像領域22Aと第2の撮像領域22Bとの間の間隔dとに基づいて、第2の撮像領域22Bでの撮像が開始されるまでの待ち時間Wを設定する。より好ましくは、第1の撮像領域22Aでの撮像の露光時間el、及び第1の撮像領域22Aの設定を解除してから第2の撮像領域22Bを設定するまでの時間st等を考慮する。
【0064】
焦点取得条件を設定した後、ステージ1の走査を開始し、ミクロ画像取得装置M2による試料Sの分割領域40ごとのミクロ画像の取得がなされる(ステップS04)。第1の撮像装置18でのミクロ画像の取得の際、第2の撮像装置20では第1の撮像領域22A及び第2の撮像領域22Bによって前ピンのコントラスト値と後ピンのコントラスト値の差分に基づいて試料Sに対する対物レンズ15のずれ量が解析され、対物レンズ15の位置の調整がリアルタイムで実行される。全ての分割領域40についてミクロ画像の取得が完了した後、取得したミクロ画像が合成され、バーチャルマイクロ画像が生成される(ステップS05)。
【0065】
以上説明したように、画像取得装置Mでは、第2の光路L2に光路差生成部材21が配置されていることにより、第2の撮像装置20の第1の撮像領域22A及び第2の撮像領域22Bにおいて、第1の撮像装置18に入射する光像よりも前に焦点が合った光像(前ピン)と、後に焦点が合った光像(後ピン)とをそれぞれ撮像することができる。この画像取得装置Mでは、焦点制御用の第2の光路L2での光の分岐を行わずに、光路長差を形成できるため、焦点位置の情報を得るために必要な第2の光路L2への光量が抑えられ、第1の撮像装置18で撮像を行う際の光量を十分に確保できる。
【0066】
また、この画像取得装置Mでは、第2の撮像装置20の撮像面20aにおける第1の撮像領域22Aの位置と第2の撮像領域22Bの位置とを、第1の撮像装置18に入射する第1の光像と共役な光像が入射する領域22Cに対して撮像面20aにおける試料Sの走査方向の手前側に位置させている。これにより、第1の撮像装置18での撮像のタイミングよりも前に第2の撮像装置20での撮像結果を取得できるので、簡単な構成で対物レンズ15の焦点位置のずれ方向を先行取得できる。
【0067】
また、この画像取得装置Mでは、ステージの走査速度vと、第1の撮像領域22Aと第2の撮像領域22Bとの間の間隔dとに基づいて、第1の撮像領域22Aでの撮像完了から第2の撮像領域22Bでの撮像開始までの待ち時間Wが設定される。したがって、第2の撮像装置20における露光時間が十分に確保され、対物レンズ15の焦点位置の制御を精度良く実施できる。
【0068】
本実施形態の光路差生成部材として、平板形状のガラス部材からなる光路差生成部材21を用いる場合には、光路差生成部材の構成を簡単化できる。この場合、平板部材のエッジ部分Eは、第2の撮像装置20の撮像面20aにおける第2の光像の影23を形成するので、影23を避けて第1の撮像領域22Aと第2の撮像領域22Bを設定することで、対物レンズ15の焦点位置の制御の精度を担保できる。
【0069】
また、本実施形態の光路差生成部材として、第2の撮像装置20における撮像面20aの面内方向に沿って厚みが変化する部分を有するガラス部材からなる光路差生成部材21を用いる場合、領域制御部35によって第1の撮像領域22Aの位置と第2の撮像領域22Bの位置とを調整することで、前ピンと後ピンとの間隔を自在に調整できる。これにより、例えば第2の撮像装置20で撮像した画像のコントラストのピークが複数存在する場合やピーク形状が平らである場合などに、前ピンと後ピンとのフォーカス差を調整することによって試料Sの焦点位置を精度良く検出することが可能となる。
【0070】
上述した実施形態では、バーチャルマイクロ画像を生成する装置を例示したが、本発明に係る画像取得装置は、ステージ等によって試料を所定の速度で走査しながら画像を取得する装置であれば、種々の装置に適用することができる。
【符号の説明】
【0071】
1…ステージ、12…光源、14…導光光学系、15…対物レンズ、16…ビームスプリッタ(光分岐手段)、18…第1の撮像装置(第1の撮像手段)、20…第2の撮像装置(第2の撮像手段)、20a…撮像面、21(21A〜21G)…光路差生成部材、22A…第1の撮像領域、22B…第2の撮像領域、22C…第1の光像と共役な光像が入射する領域、23…影、34…焦点制御部(焦点制御手段)、35…領域制御部(領域制御手段)、36…対物レンズ制御部(対物レンズ制御手段)、E…エッジ部分、L1…第1の光路、L2…第2の光路、M…画像取得装置、M1…マクロ画像取得装置、M2…ミクロ画像取得装置、S…試料。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18