(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023019084
(43)【公開日】2023-02-09
(54)【発明の名称】顕微鏡システム、撮像方法、及びプログラム
(51)【国際特許分類】
G02B 21/00 20060101AFI20230202BHJP
G01N 21/64 20060101ALN20230202BHJP
【FI】
G02B21/00
G01N21/64 F
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021123560
(22)【出願日】2021-07-28
(71)【出願人】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100169823
【弁理士】
【氏名又は名称】吉澤 雄郎
(74)【代理人】
【識別番号】230128026
【弁護士】
【氏名又は名称】駒木 寛隆
(72)【発明者】
【氏名】横山 耕徳
【テーマコード(参考)】
2G043
2H052
【Fターム(参考)】
2G043AA03
2G043CA04
2G043DA02
2G043DA05
2G043EA01
2G043FA01
2G043FA02
2G043GA03
2G043GA07
2G043GB01
2G043GB21
2G043HA01
2G043HA09
2G043HA15
2G043JA02
2G043JA03
2G043LA03
2G043MA16
2H052AA08
2H052AA09
2H052AB01
2H052AC04
2H052AC15
2H052AD03
2H052AD06
2H052AD19
2H052AE13
2H052AF14
(57)【要約】
【課題】試料面が傾いている場合であっても、機構設計上の制限、及び撮像速度の著しい低下等を伴わずに、視野内の部分的な輝度低下のない明瞭な試料の画像を撮像することを可能にする。
【解決手段】観察対象となる試料の像を取得する顕微鏡システムは、照明光を照射する発光装置と、照明光を試料に対して走査する走査部を有する共焦点スキャナと、共焦点スキャナにより走査された照明光による像を試料に投影する対物レンズを有する、顕微鏡と、照明光が照射された試料からの被測定光を検出する、撮像面が走査部に対して共役の位置に配置された、撮像装置と、顕微鏡及び撮像装置の動作を制御する処理装置と、を備え、処理装置は、試料に対する対物レンズの焦点の相対位置を、照明光の光軸に平行な方向に変位させながら、撮像装置による撮像を行うための制御信号を、顕微鏡及び撮像装置へ送信する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
観察対象となる試料の像を取得する顕微鏡システムであって、
照明光を照射する発光装置と、
前記照明光を前記試料に対して走査する走査部を有する共焦点スキャナと、
前記共焦点スキャナにより走査された前記照明光による像を前記試料に投影する対物レンズと、前記試料が載置される容器の前記対物レンズの焦点位置に対する位置を検出する位置センサと、を有する、顕微鏡と、
前記照明光が照射された前記試料からの被測定光を検出する、撮像面が前記走査部に対して共役の位置に配置された、撮像装置と、
前記顕微鏡及び前記撮像装置の動作を制御する処理装置と、
を備え、
前記処理装置は、前記容器の前記対物レンズの焦点位置に対する位置に基づいて、前記試料に対する前記対物レンズの焦点の相対位置を、前記照明光の光軸に平行な方向に変位させながら、前記撮像装置による撮像を行うための制御信号を、前記顕微鏡及び前記撮像装置へ送信する、
顕微鏡システム。
【請求項2】
前記共焦点スキャナは、前記走査部として、複数のピンホールが配設されたピンホールディスクを回転して、前記発光装置から照射された前記照明光を前記試料に対して走査し、
前記対物レンズは、前記共焦点スキャナにより走査された前記照明光による前記複数のピンホールの像を前記試料に投影し、
前記撮像装置は、前記撮像面が、前記複数のピンホールに対して共役の位置に配置される、
請求項1に記載の顕微鏡システム。
【請求項3】
前記顕微鏡は、前記対物レンズを前記照明光の光軸に平行な方向に変位させることが可能な駆動装置を更に備え、
前記処理装置は、前記駆動装置が前記対物レンズを変位させながら、前記撮像装置による撮像を行うように、前記顕微鏡及び前記撮像装置を制御する、
請求項1又は2に記載の顕微鏡システム。
【請求項4】
前記処理装置は、前記試料に対する前記対物レンズの焦点の相対位置を等速度で変位させながら、前記撮像装置による撮像を行うように、前記顕微鏡及び前記撮像装置を制御する、請求項1から3のいずれか一項に記載の顕微鏡システム。
【請求項5】
前記処理装置は、
前記容器の前記対物レンズの焦点位置に対する前記位置に基づき、前記容器の局所的な傾きを検出し、
検出した前記容器の局所的な傾きに基づいて、前記撮像装置による撮像を行う間における、前記試料に対する前記対物レンズの焦点の相対位置の変位幅を決定し、
前記試料に対する前記対物レンズの焦点の相対位置を、前記決定された変位幅だけ変位させながら、前記撮像装置による撮像を行うように、前記顕微鏡及び前記撮像装置を制御する、
請求項1から4のいずれか一項に記載の顕微鏡システム。
【請求項6】
前記処理装置は、前記容器の局所的な傾きを検出し、当該局所的な傾きに基づいて、前記試料に対する前記対物レンズの焦点の相対位置の変位幅を決定する処理と、前記対物レンズの焦点の相対位置を、前記決定された変位幅だけ変位させながら、前記撮像装置による撮像を行うように、前記顕微鏡及び前記撮像装置を制御する処理と、を交互に実行して、前記容器に載置された複数の前記試料の各々を撮像する、請求項5に記載の顕微鏡システム。
【請求項7】
前記処理装置は、前記試料に対する前記対物レンズの焦点の相対位置を、ユーザにより指定された変位幅だけ変位させながら、前記撮像装置による撮像を行うように、前記顕微鏡及び前記撮像装置を制御する、請求項1から4のいずれか一項に記載の顕微鏡システム。
【請求項8】
観察対象となる試料の像を取得する、発光装置と、共焦点スキャナ、顕微鏡、撮像装置、及び処理装置を備えた顕微鏡システムの撮像方法であって、
前記発光装置が照明光を照射し、
前記共焦点スキャナの走査部が、前記照明光を前記試料に対して走査する工程と、
前記顕微鏡の対物レンズが、前記共焦点スキャナにより走査された前記照明光による像を前記試料に投影する工程と、
前記顕微鏡の位置センサが、前記試料が載置される容器の前記対物レンズの焦点位置に対する位置を検出する工程と、
撮像面が前記走査部に対して共役の位置に配置された前記撮像装置が、前記照明光が照射された前記試料からの被測定光を検出する工程と、
を有し、
前記処理装置は、前記容器の前記対物レンズの焦点位置に対する位置に基づいて、前記試料に対する前記対物レンズの焦点の相対位置を、前記照明光の光軸に平行な方向に変位させながら、前記撮像装置による撮像を行うための制御信号を、前記顕微鏡及び前記撮像装置へ送信する、
顕微鏡システムの撮像方法。
【請求項9】
コンピュータを請求項1から7のいずれか一項に記載の顕微鏡システムが備える処理装置として動作させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、顕微鏡システム、撮像方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、ニポウディスク方式共焦点スキャナの共焦点画像取り出しポートに接続される光学画像分離装置が記載されている。
【0003】
特許文献2には、径の異なる複数の種類のピンホールが配設され、何れかの径のピンホールのみに選択的に光を通過させることが可能なピンホ-ルディスクを回転して光スキャンを行う共焦点スキャナが記載されている。
【0004】
特許文献3には、試料からの蛍光信号を蛍光画像として取得する手段と、試料からの蛍光信号を共焦点画像として取得する手段からなり、蛍光画像と共焦点画像のいずれかを得るための光路切替を行う創薬スクリーニング装置が記載されている。
【0005】
特許文献4には、試料のスライス像を共焦点画像として取得する共焦点スキャナと、顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータを設け、対物レンズの焦点位置を光軸方向に移動しながら撮像を行う顕微鏡システムが記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2002-62480号公報
【特許文献2】特開2011-90145号公報
【特許文献3】特開2008-64671号公報
【特許文献4】特開2005-70689号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
顕微鏡下での細胞撮像時には、観察容器としてウェルプレートが使用されることが一般的である。ウェルプレートのフレーム及び底面は、成形時のひずみを原因としてたわむことがあり(フレームの成形時のひずみは数百μm程度、底面の成形時のひずみは数10μm程度)、その結果、顕微鏡の撮像平面に対して試料面が傾く場合がある。
【0008】
したがって、撮像平面に対して試料面が傾いている状態で、特許文献1の構成により共焦点撮像を行うと、その焦点深度の浅さから、視野の一部で著しく輝度が低下してしまう。特許文献2~特許文献4の構成を用いた撮像により視野の一部での輝度の低下を防ぐことができるが、機構設計上の制限、必要となる画像記憶容量の上昇、及び撮像時間の増大等の課題があった。
【0009】
本開示の目的は、試料面が傾いている場合であっても、機構設計上の制限、及び撮像速度の著しい低下等を伴わずに、視野内の部分的な輝度低下のない明瞭な試料の画像を撮像することが可能な顕微鏡システム、撮像方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0010】
幾つかの実施形態に係る顕微鏡システムは、観察対象となる試料の像を取得する顕微鏡システムであって、照明光を照射する発光装置と、前記照明光を前記試料に対して走査する走査部を有する共焦点スキャナと、前記共焦点スキャナにより走査された前記照明光による像を前記試料に投影する対物レンズと、前記試料が載置される容器の前記対物レンズの焦点位置に対する位置を検出する位置センサと、を有する、顕微鏡と、前記照明光が照射された前記試料からの被測定光を検出する、撮像面が前記走査部に対して共役の位置に配置された、撮像装置と、前記顕微鏡及び前記撮像装置の動作を制御する処理装置と、を備え、前記処理装置は、前記容器の前記対物レンズの焦点位置に対する位置に基づいて、前記試料に対する前記対物レンズの焦点の相対位置を、前記照明光の光軸に平行な方向に変位させながら、前記撮像装置による撮像を行うための制御信号を、前記顕微鏡及び前記撮像装置へ送信する。このように、試料における対物レンズの焦点位置を照明光の光軸に平行な方向に変位させながら共焦点撮像を行うため、試料面が傾いている場合であっても、共焦点撮像により、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能である。顕微鏡システムは、複雑な構成を要しないため、機構設計上の制限を伴わない。顕微鏡システムは、一回の撮像により撮像画像を取得するため、撮像速度が著しく低下することもない。したがって、試料面が傾いている場合であっても、機構設計上の制限、及び撮像速度の著しい低下等を伴わずに、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能である。
【0011】
一実施形態において、前記共焦点スキャナは、前記走査部として、複数のピンホールが配設されたピンホールディスクを回転して、前記発光装置から照射された前記照明光を前記試料に対して走査し、前記対物レンズは、前記共焦点スキャナにより走査された前記照明光による前記複数のピンホールの像を前記試料に投影し、前記撮像装置は、前記撮像面が、前記複数のピンホールに対して共役の位置に配置されてもよい。このように、ピンホールディスクを高速で回転させて照明光を試料に対して走査するため、試料の共焦点画像を撮像装置の撮像面に短時間で形成することができる。したがって、高速に撮像することができる。
【0012】
一実施形態において、前記顕微鏡は、前記対物レンズを前記照明光の光軸に平行な方向に変位させることが可能な駆動装置を更に備え、前記処理装置は、前記駆動装置が前記対物レンズを変位させながら、前記撮像装置による撮像を行うように、前記顕微鏡及び前記撮像装置を制御してもよい。
【0013】
一実施形態において、前記処理装置は、前記試料に対する前記対物レンズの焦点の相対位置を等速度で変位させながら、前記撮像装置による撮像を行うように、前記顕微鏡及び前記撮像装置を制御してもよい。このように、撮像中は、試料に対する対物レンズの焦点の相対位置を等速度で変位させるため、撮像中に対物レンズに対する試料の相対位置が照明光の光軸に直行する方向に移動して、撮像画像が乱れることを防ぐことができる。
【0014】
一実施形態において、前記処理装置は、前記容器の前記対物レンズの焦点位置に対する前記位置に基づき、前記容器の局所的な傾きを検出し、検出した前記容器の局所的な傾きに基づいて、前記撮像装置による撮像を行う間における、前記試料に対する前記対物レンズの焦点の相対位置の変位幅を決定し、前記試料に対する前記対物レンズの焦点の相対位置を、前記決定された変位幅だけ変位させながら、前記撮像装置による撮像を行うように、前記顕微鏡及び前記撮像装置を制御してもよい。このように、容器の局所的な傾きに基づき、撮像を行う間における、試料に対する対物レンズの焦点の相対位置の変位幅を過不足なく決定するため、試料に対する対物レンズの焦点の相対位置を適切に変位させて撮像を行い、明瞭な画像を取得することができる。
【0015】
一実施形態において、前記容器の局所的な傾きを検出し、当該局所的な傾きに基づいて、前記試料に対する前記対物レンズの焦点の相対位置の変位幅を決定する処理と、前記対物レンズの焦点の相対位置を、前記決定された変位幅だけ変位させながら、前記撮像装置による撮像を行うように、前記顕微鏡及び前記撮像装置を制御する処理と、を交互に実行して、前記容器に載置された複数の前記試料の各々を撮像してもよい。このように、変位幅の決定と試料の撮影とを交互に行って複数の試料の各々を撮像することで、スキャンを1回行うだけで、容器の局所的な傾きに応じた過不足ない変位を伴う撮影を高速に行うことが可能である。
【0016】
一実施形態において、前記処理装置は、前記試料に対する前記対物レンズの焦点の相対位置を、ユーザにより指定された変位幅だけ変位させながら、前記撮像装置による撮像を行うように、前記顕微鏡及び前記撮像装置を制御してもよい。このように、試料に対する対物レンズの焦点の相対位置を、ユーザにより指定された変位幅だけ変位させながら撮像を行うため、試料に対する対物レンズの焦点の相対位置を適切に変位させて撮像を行い、明瞭な画像を取得することができる。
【0017】
幾つかの実施形態に係る顕微鏡システムの撮像方法は、観察対象となる試料の像を取得する、発光装置と、共焦点スキャナ、顕微鏡、撮像装置、及び処理装置を備えた顕微鏡システムの撮像方法であって、前記発光装置が照明光を照射し、前記共焦点スキャナの走査部が、前記照明光を前記試料に対して走査する工程と、前記顕微鏡の対物レンズが、前記共焦点スキャナにより走査された前記照明光による像を前記試料に投影する工程と、前記顕微鏡の位置センサが、前記試料が載置される容器の前記対物レンズの焦点位置に対する位置を検出する工程と、撮像面が前記走査部に対して共役の位置に配置された前記撮像装置が、前記照明光が照射された前記試料からの被測定光を検出する工程と、を有し、前記処理装置は、前記容器の前記対物レンズの焦点位置に対する位置に基づいて、前記試料に対する前記対物レンズの焦点の相対位置を、前記照明光の光軸に平行な方向に変位させながら、前記撮像装置による撮像を行うための制御信号を、前記顕微鏡及び前記撮像装置へ送信する。このように、試料における対物レンズの焦点位置を照明光の光軸に平行な方向に変位させながら共焦点撮像を行うため、試料面が傾いている場合であっても、共焦点撮像により、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能である。顕微鏡システムの撮像方法は、複雑な構成を要しないため、機構設計上の制限を伴わない。顕微鏡システムの撮像方法は、一回の撮像により撮像画像を取得するため、撮像速度が著しく低下することもない。したがって、試料面が傾いている場合であっても、機構設計上の制限、及び撮像速度の著しい低下等を伴わずに、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能である。
【0018】
幾つかの実施形態に係るプログラムは、コンピュータを上記顕微鏡システムが備える処理装置として動作させる。このように、試料における対物レンズの焦点位置を照明光の光軸に平行な方向に変位させながら共焦点撮像を行うため、試料面が傾いている場合であっても、共焦点撮像により、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能である。プログラムは、複雑な構成を要しないため、機構設計上の制限を伴わない。プログラムは、一回の撮像により撮像画像を取得するため、撮像速度が著しく低下することもない。したがって、試料面が傾いている場合であっても、機構設計上の制限、及び撮像速度の著しい低下等を伴わずに、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能である。
【発明の効果】
【0019】
本開示の一実施形態によれば、試料面が傾いている場合であっても、機構設計上の制限、及び撮像速度の著しい低下等を伴わずに、視野内の部分的な輝度低下のない明瞭な試料の画像を撮像することが可能となる。
【図面の簡単な説明】
【0020】
【
図1】一実施形態に係る顕微鏡システムの構成を示す図である。
【
図3】被撮像サンプルの側面図を模式的に示す図である。
【
図4】被撮像サンプルの側面図を模式的に示す図である。
【
図5】被撮像サンプルの側面図を模式的に示す図である。
【
図6】被撮像サンプルの奥行に応じた対物レンズの焦点位置の制御を模式的に示す図である。
【
図7】顕微鏡システムが実行する撮像処理の動作を示すフローチャートである。
【
図8】ウェルプレートの底面のたわみを模式的に示す図である。
【
図9A】顕微鏡システムが実行する撮像処理の動作を示すフローチャートである。
【
図9B】顕微鏡システムが実行する撮像処理の動作を示すフローチャートである。
【
図10A】顕微鏡システムが実行する撮像処理の動作を示すフローチャートである。
【
図10B】顕微鏡システムが実行する撮像処理の動作を示すフローチャートである。
【発明を実施するための形態】
【0021】
<比較例>
特許文献1には、ニポウディスク方式共焦点スキャナの共焦点画像取り出しポートに接続される光学画像分離装置が記載されている。特許文献1の構成は、共焦点スキャナの共焦点画像取り出しポートから射出された試料からの戻り光をダイクロイックミラーにより複数の波長領域の光に分離する。これにより、特許文献1の構成は、任意に分離した波長領域毎又は複数の同一波長領域部分毎の共焦点画像を高速に取得することができる。
【0022】
特許文献1の構成により共焦点撮像を行う場合、顕微鏡の撮像平面に対して試料面が合致している状態ならば、視野全体で一様な輝度の画像が得られる。しかしながら、顕微鏡の撮像平面に対して試料面が傾いている状態で共焦点撮像を行うと、その焦点深度の浅さから、視野の一部で撮像画像の輝度が著しく低下してしまう。
【0023】
撮像平面に対して試料面が傾いていても視野の一部での著しい輝度低下を防ぐために、特許文献2に記載の手法を用いて共焦点スキャナのピンホール径を拡大することで、試料面における焦点深度を拡大し、試料像の部分的な輝度低下を防ぐことが考えられる。しかしながら、この手法を用いる場合、ニポウディスクのピンホール列数が少なくなることによるスキャン速度の低下してしまう。また、ピンホール切替機構の追加により機構設計が制限され、機器コストが高くなってしまう。さらに、ピンホール径を拡大させることで、XYZ方向の分解能が低下する。XY方向は励起光束11の光軸に直行する平面における互いに直交する2つの方向であり、Z方向は励起光束11の光軸に平行な方向である。
【0024】
また、特許文献3のように、試料からの蛍光信号を共焦点画像として取得する手段に加えて、試料からの蛍光信号を蛍光画像として取得する手段を切り替え可能に設け、撮像平面に対する試料面の傾きが著しい場合は、蛍光画像を取得することも考えられる。落射蛍光観察は、被写界深度が深いため、試料面が傾いていても、その深い被写界にて試料をとらえることができ、試料像の部分的な輝度低下を防ぐことができる。しかしながら、このような構成を採用すると、光路を切り替えるための機構を設けなければならず、機構設計が制限され、機器コストが高くなってしまう。また、共焦点光路と落射蛍光光路の軸ずれによる視野の不一致、及びその是正のための調整が必要となる。さらに、特許文献3の構成においては、共焦点光路におけるリレーレンズと落射蛍光光路におけるリレーレンズとの倍率の不一致による撮像倍率のずれ及びその是正のための画像処理が必要になる。
【0025】
また、特許文献4のように、試料のスライス像を共焦点画像として取得する共焦点スキャナと、顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータを備え、試料の深さ方向のスライス画像を取得することができるように構成することも考えられる。しかしながら、特許文献4の構成では、ビデオレートカメラから出力されるビデオ信号を基に、対物レンズの駆動波形を生成するので、ビデオ信号を出力できるカメラが別途必要である。また、特許文献4の構成は、ビデオ信号というアナログ信号基に、対物レンズ駆動波形を生成する。そのため、対物レンズの駆動をステッピングモータ等で行う場合は、ビデオ信号のAD(Analog-to-Digital)変換、対物レンズ駆動パターンの演算、及び対物レンズ駆動パターンのパルス波形への変換などが必要となり、タイムラグが発生するという欠点がある。
【0026】
<実施形態>
本開示の実施形態は、試料面が傾いている場合であっても、機構設計上の制限、及び撮像速度の著しい低下等を伴わずに、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能とする。
【0027】
以下、本開示の一実施形態について、図面を参照して説明する。各図面中、同一の構成又は機能を有する部分には、同一の符号を付している。本実施形態の説明において、同一の部分については、重複する説明を適宜省略又は簡略化する場合がある。
【0028】
図1は、本開示の一実施形態に係る顕微鏡システム1の構成を示す模式図である。顕微鏡システム1は、発光装置10、顕微鏡20、共焦点スキャナ30、カメラ40、及び処理装置50を備える。
【0029】
図1において、発光装置10は、照明光としての励起光束11をウェルプレート60に載置された試料(サンプル)6に向けて照射する。試料6には蛍光試薬が付加されており、励起光束11が照射されると、試料6は被測定光としての蛍光信号12を発する。
【0030】
顕微鏡20は、対物レンズ21、駆動装置22、リレーレンズ23、及び位置センサ24を備える。対物レンズ21及びリレーレンズ23は無限遠補正光学系を構成し、発光装置10から射出された励起光束11、及び試料6から発せられた蛍光信号12に対して光学的に作用する。駆動装置22は、処理装置50から送信される制御信号に基づき、対物レンズ21を励起光束11の光軸に対して平行な方向に変位させることが可能である。
【0031】
位置センサ24は、例えば焦点検出方式により、試料6が載置されるウェルプレート(容器)60のZ方向の位置、例えば、ウェルプレート60の予め定められた複数の基準点のZ方向の位置を検出する。このような基準点には、ウェルプレート60の底面の位置が含まれてもよい。位置センサ24は、光源241、分光ミラー242,243、及び光センサ244を有する。位置センサ24が検焦光25を射出すると、検焦光25は、分光ミラー242,243で反射されて、対物レンズ21へ導かれる。分光ミラー242は、例えば、ハーフミラー又は偏光ビームスプリッタとしてもよい。分光ミラー243は、例えば、ダイクロイックミラーとしてもよい。検焦光25は、対物レンズ21によって集光され、ウェルプレート60の底面に照射される。ウェルプレート60の底面にて反射された検焦光25は、対物レンズ21を通って再び位置センサ24に戻る。反射された検焦光25は、位置センサ24内の分光ミラー243を反射し、分光ミラー242を通過して、光センサ244にて検出される。光センサ244が検出した検焦光25は、対物レンズ21の焦点位置からの誤差を反映した焦点誤差信号として処理装置50へ出力される。処理装置50は、焦点誤差信号に基づき、ウェルプレート60の基準点のZ方向の位置を検出する。このように、位置センサ24は、ウェルプレート60の基準点に対物レンズ21の焦点面が位置する対物レンズ21のZ方向の位置を検出し、その対物レンズ21のZ方向の位置に基づき基準点のZ方向の位置を検出してもよい。なお、位置センサ24は、非点収差方式の他、ナイフエッジ方式、共焦点方式、及び三角測量方式等の任意の焦点検出方式を用いて、ウェルプレート60のZ方向の位置を検出してもよい。
【0032】
共焦点スキャナ30は、顕微鏡20及び発光装置10と光学的に接続される。例えば、共焦点スキャナ30は、顕微鏡20と発光装置10とに取り付けられる。共焦点スキャナ30は、ピンホールアレイディスク(以下「ニポウディスク」と称する。)31、部材32、マイクロレンズアレイディスク(以下「MLディスク」と称する。)33、ダイクロイックミラー(以下「DM」と称する。)34、リレーレンズ35、バンドパスフィルタ36、及びリレーレンズ37を備える。
【0033】
DM34は、励起光束11は透過し、所望の蛍光信号12は反射するように設計されている。MLディスク33には、複数の集光光学素子(マイクロレンズ)が、例えば、らせん状に配設されている。ニポウディスク31は、MLディスク33の複数の集光光学素子による励起光束11の集光位置にそれぞれ配設された複数のピンホールを有する。共焦点スキャナ30は、処理装置50から送信される制御信号に基づき、モータ等により、ニポウディスク31及びMLディスク33を、互いに部材32により機械的に連結された状態で、回転中心軸39を中心に高速に回転させることができる。ここで、ニポウディスク31上に形成された個々のピンホールが試料6の表面を掃引するように、個々のマイクロレンズとピンホールは配置されている。したがって、ニポウディスク31は、照明光(励起光束11)を試料6に対して走査する走査部として機能する。ニポウディスク31は、複数のピンホールを、励起光束11の光軸に対し略垂直の平面内で回転させる。なお、撮像動作中、MLディスク33とニポウディスク31は常に回転している。
【0034】
MLディスク33を通過した励起光束11の大部分がニポウディスク31を通過する。そのため、共焦点スキャナ30は、ニポウディスク31を単独で使用する場合と比べて、MLディスク33及びニポウディスク31を組み合わせて使用することにより、試料6への励起光束11の照射強度が増大する。さらに、ニポウディスク31におけるピンホール以外の部分での励起光束11の反射が抑制される。したがって、試料6の像のSN比(Signal-to-Noise Ratio)が増大する。
【0035】
励起光束11は、MLディスク33により個別の光束に集光され、DM34を透過後、ニポウディスク31の個々のピンホールを通過する。励起光束11は、顕微鏡20のリレーレンズ23を通過後、対物レンズ21により、ウェルプレート60のウェル(穴)に載置された試料6に集光される。
【0036】
前述のように、ウェルプレート60の試料6の各々には蛍光試薬が付加されている。試料6の各々の蛍光試薬が発した蛍光信号12は再び対物レンズ21及びリレーレンズ23を通過し、ニポウディスク31の個々のピンホール上に集光される。
【0037】
ニポウディスク31のピンホールを通過した蛍光信号12はDM34で反射される。共焦点スキャナ30は、DM34で反射した蛍光信号12を、撮像装置としてのカメラ40の2次元センサ(撮像素子)41に結像させる無限遠補正光学系のリレーレンズ35及びリレーレンズ37を有する。また、共焦点スキャナ30は、リレーレンズ35及びリレーレンズ37の間に、バンドパスフィルタ36を有する。バンドパスフィルタ36は、蛍光信号12に含まれる蛍光を選択的に透過させるバリアフィルタ(吸収フィルタ)により実現してもよい。
【0038】
ニポウディスク31のピンホールが並んでいる平面と、試料6の表面と、カメラ40の2次元センサ41の受光面とは互いに光学的に共役な関係に配置されている。そのため、カメラ40の2次元センサ41上には試料6の光学的断面像、すなわち共焦点画像が結像される。また、前述のように、対物レンズ21の駆動装置22は、処理装置50からの制御信号に基づき駆動して、対物レンズ21を励起光束11の光軸に平行な方向に変位させることができる。対物レンズ21はリレーレンズ23と無限遠補正光学系を構成するため、ニポウディスク31及び2次元センサ41の受光面との間で光学的に共役な関係を維持しながら、対物レンズ21の変位により、試料6における対物レンズ21の焦点面を変位させることができる。対物レンズ21の焦点面は、顕微鏡20の撮像平面を構成する。カメラ40は処理装置50からの露光信号に基づき、その2次元センサ41の受光面に投影された像を指定の時間露光し、デジタル画像データに変換する。すなわち、カメラ40は、処理装置50からONの露光信号を受信している間、露光を行って、2次元センサ41に画像を形成する。デジタル画像データは処理装置50へ転送され、処理装置50の記憶部52に保存される。
【0039】
処理装置50は、顕微鏡システム1に含まれる各構成部と接続され、各構成部へ制御信号を送信することで顕微鏡システム1全体の動作を制御する。ただし、処理装置50は、カメラ40に対しては、露光信号を送信して、撮像時における露光を制御する。処理装置50は、ユーザが顕微鏡システム1を操作して観察を行うためのユーザインタフェースも提供する。処理装置50は、例えば、コンピュータ装置であり、PC(Personal Computer)、タブレットPC、スマートフォン及びフィーチャーフォン等の携帯電話機、並びに携帯情報端末(PDA:Personal Digital Assistant)等の任意の装置を含む。
【0040】
処理装置50は、制御部51、記憶部52、及び入出力部53を備える。制御部51は、1つ以上のプロセッサを含む。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。制御部51は、処理装置50を構成する各構成部と通信可能に接続され、処理装置50全体の動作を制御する。
【0041】
記憶部52は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、ROM(Read-Only Memory)、及びRAM(Random Access Memory)を含む任意の記憶モジュールを含む。記憶部52は、例えば、主記憶装置、補助記憶装置、及びキャッシュメモリとして機能してもよい。記憶部52は、処理装置50の動作に用いられる又は処理装置50の動作の結果得られた任意の情報を記憶する。例えば、記憶部52は、処理装置50を動作させるためのシステムプログラム、及びアプリケーションプログラム等のプログラム、並びに、カメラ40が撮像した撮像画像の画像データ等を記憶する。
【0042】
処理装置50の機能は、本実施形態に係る顕微鏡システム1を機能させるために用いられうるプログラム(コンピュータプログラム)を、制御部51に含まれるプロセッサで実行することにより実現され得る。すなわち、処理装置50の機能は、ソフトウェアにより実現されうる。プログラムは、処理装置50の動作に含まれるステップの処理をコンピュータに実行させることで、各ステップの処理に対応する機能をコンピュータに実現させる。すなわち、プログラムは、コンピュータを本実施形態に係る処理装置50として機能させるためのプログラムである。
【0043】
プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したDVD(Digital Versatile Disc)又はCD-ROM(Compact Disc ROM)などの可搬型記録媒体を販売、譲渡、又は貸与することによって行うことができる。プログラムをサーバのストレージに格納しておき、ネットワークを介して、サーバから他のコンピュータにプログラムを転送することにより、プログラムは流通されてもよい。プログラムはプログラムプロダクトとして提供されてもよい。
【0044】
コンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。このような処理は、サーバからコンピュータへのプログラムの転送を行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって実行されてもよい。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
【0045】
処理装置50の一部又は全ての機能が、制御部51に含まれる専用回路により実現されてもよい。すなわち、処理装置50の一部又は全ての機能が、ハードウェアにより実現されてもよい。また、処理装置50は単一の情報処理装置により実現されてもよいし、複数の情報処理装置の協働により実現されてもよい。
【0046】
入出力部53は、ユーザの操作を受け付けて操作に基づく情報を入力する入力部、並びに、処理装置50の演算結果及びカメラ40が撮像した撮像画像等を出力する出力部を備える。入力部は、例えば、物理キー、静電容量キー、ポインティングディバイス、出力部のディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイク等である。出力部は、例えば、情報を画像で出力するディスプレイ、又は情報を音声で出力するスピーカ等である。
【0047】
上記のような構成を有する顕微鏡システム1は、対物レンズ21の焦点面を試料6に対して励起光束11の光軸に平行な方向に変位させながら撮像を行うことで、試料6に傾きがある場合であっても視野全体でピントが合った画像を撮像することを可能にする。
【0048】
図2Aは、微鏡下での細胞撮像時に、試料6が載置される容器としてのウェルプレート60の上面図である。
図2Aに示すように、ウェルプレート60には、試料6を載置するための多数のウェル68が設けられている。
【0049】
図2Bは、
図2Aのウェルプレート60を面AAにより切断したウェルプレート60の断面図である。
図2Bに示すように、ウェルプレート60は、フレーム61及び底面62を備える。
【0050】
フレーム61は樹脂製であり、試料面となる底面62は薄板の樹脂製又は薄板のガラス製であるのが一般的である。そのため、フレーム61成形時のひずみ(数100μm程度)を原因としたフレーム61のたわみにより、ウェルプレート60が顕微鏡20の試料台に対して水平に設置されず、その結果、顕微鏡20の焦点面に対して試料面が傾く場合がある。また、底面62成形時のひずみ(数10μm程度)を原因として、底面62がたわむことにより、顕微鏡20の焦点面に対して試料面が傾く場合もある。
【0051】
図3~
図5は、被撮像サンプル63の側面図を模式的に示す図である。
図3では、細胞の培養面64が水平に設けられており、被撮像サンプル63の培養面64と顕微鏡20の対物レンズ21の焦点面65が適合している。したがって、このような状態で撮像を行うと、カメラ40は、視野全体でピントが合った画像を取得する。
【0052】
図4では、対物レンズ21の焦点面65に対して細胞の培養面64が傾いている。そのため、このままの状態で撮像を行うと、視野の一部の輝度が著しく低下した画像が取得される。
図5では、多数の被撮像サンプル63が集まって、厚みを持った塊66を形成している。そのため、顕微鏡20の焦点面65が塊66の中心を通過する状態で共焦点顕微鏡により撮像を行うと、厚みを持った塊66の一部分しか撮像画像に反映することができないことになる。
【0053】
図6は、本実施形態に係る顕微鏡システム1が実行する、被撮像サンプル63の奥行に応じた対物レンズ21の焦点位置の制御を模式的に示す図である。
図6において、被撮像サンプル63の培養面64は焦点面に対して傾いている。そこで、処理装置50は、試料6に対する対物レンズ21の焦点の相対位置を、励起光束11の光軸に平行な方向に変位させながら、カメラ40による撮像を行うように制御する。具体的には、本実施形態では、処理装置50は、試料6を動かさずに、駆動装置22が対物レンズ21を変位させながら、カメラ40による撮像を行うように制御する。対物レンズ21の変位幅71は、励起光束11の光軸に平行な方向における、ウェルプレート60において試料6が分布する範囲の幅としてもよい。
図6の右に示すように、処理装置50は、時間tの経過に伴い、試料6に対する対物レンズ21の焦点の相対位置を等速度で変位させている間に、カメラ40へ露光信号を送信して露光させてもよい。これにより、試料6が分布する奥行方向の範囲をカバーした画像を撮像することができ、明瞭な撮像画像を取得することが可能である。
【0054】
(実施例1)
次に、
図7及び
図8を参照して、顕微鏡システム1の動作の実施例1を説明する。
図7は、顕微鏡システム1が実行する撮像処理の動作を示すフローチャートである。
図8は、ウェルプレート60の底面62のたわみを模式的に示す図である。
図7及び
図8を参照して説明する顕微鏡システム1の動作は実施例1に係る撮像方法の一つに相当する。
図7の各ステップの動作は、処理装置50の制御部51の制御に基づき実行される。本実施形態に係る撮像方法をコンピュータに実行させるためのプログラムは、
図7に示す各ステップを含む。以下の処理の前提として、試料6を載置するウェルプレート60が測定を行うための測定位置に設定されている。
【0055】
ステップS001において、制御部51は、顕微鏡システム1による撮像に関する測定条件の設定をユーザから受け付ける。このような測定条件としては、例えば、以下のものが挙げられる。
・試料6に対する対物レンズ21の焦点の相対位置の変位幅Δza(対物レンズ21の焦点位置の移動範囲)
・露光時間Texp
・撮像を実行するウェルプレート60上のXY位置のリスト
ここで、変位幅Δzaは、例えば10μm~数100μmであり、試料6の厚み並びにウェルプレート60の傾き及びたわみを加味した試料6が存在するZ方向(励起光束11の光軸に平行な方向)の範囲を示す値である。露光時間Texpは50ms~1s程度の値としてもよい。また、制御部51は、ウェルプレート60の寸法情報の入力を受け付けてもよい。
【0056】
XY位置は、ウェルプレート60における位置である。
図8のように、XY位置は、例えば、iを1以上m以下の整数、jを1以上n以下の整数として、(x
i,y
j)と表すことができる。x
i,y
jの各々は、例えば、
図2Aに示すように、ウェル68を特定するA、B、C、・・・、及び、1、2、3、・・・に対応付けてもよい。ウェルプレート60に傾き及びゆがみが生じていない場合、XY位置(x
i,y
j)の各々についてのウェルプレート60の底面62のZ方向の位置は同一であるが、傾き又はゆがみが生じた場合、XY位置(x
i,y
j)の各々についてのウェルプレート60の底面62のZ方向の位置は同一でなくなる。
図8のように、XY位置(x
i,y
j)におけるウェルプレート60の底面62のZ方向の位置をz
i,jと表す。
【0057】
ステップS002において、制御部51は、顕微鏡システム1の各構成要素を制御して、各構成要素の位置合わせを行い、最初の撮像を実行するXY位置の試料6が励起光束11による撮像範囲に位置するようにウェルプレート60をXY方向に移動させる。以下、制御部51は、ステップS001で設定を受け付けたリストに含まれるXY位置の各々について、ステップS003~S009の処理を実行する。以下、処理対象のXY位置を(xi,yj)と表す。
【0058】
ステップS003において、制御部51は、駆動装置22を制御し、対物レンズ21をZ方向に移動させながら、位置センサ24の信号を読み取り、対物レンズ21の焦点が、ウェルプレート60の底面62に一致する対物レンズ21の位置z0(i,j)を検索する。
【0059】
ステップS004において、制御部51は、駆動装置22を制御し、ステップS003で検索した位置z0(i,j)に対物レンズ21を移動させる。
【0060】
ステップS005において、制御部51は、発光装置10から励起光束11を射出しながらMLディスク33及びニポウディスク31を回転するように、共焦点スキャナ30及び発光装置10を制御する。これにより、励起光束11は、MLディスク33により個別の光束に集光され、DM34を透過後、ニポウディスク31の個々のピンホールを通過し、顕微鏡20の対物レンズ21により、ウェルプレート60のウェル68に載置された試料6に集光される。励起光束11により試料6の蛍光試薬が発した蛍光信号12は、再び対物レンズ21を通り、ニポウディスク31の個々のピンホール上に集光される。個々のピンホールを通過した蛍光信号12はDM34で反射され、リレーレンズ35,37を通り、バンドパスフィルタ36を介してカメラ40に結像されるよう共焦点スキャナ30の開口部(共焦点画像取り出しポート)から射出される。一方で、制御部51は、対物レンズ21をz0(i,j)からz0(i,j)+Δzaへ、例えば等速度で移動させながら、カメラ40にて露光時間Texpだけ露光し、画像を取得する。具体的には、制御部51は、駆動装置22へ制御信号を送信することで駆動装置22に対物レンズ21を変位させながら、カメラ40へ露光信号を送信して2次元センサ41に露光させて撮像を行わせる。
【0061】
上記の対物レンズ21の駆動とカメラ40の露光が終了したら、ステップS006において、制御部51は発光装置10からの励起光束11の射出を終了する。
【0062】
ステップS007において、制御部51は、カメラ40にて取得された画像データを、処理装置50の記憶部52に転送する。
【0063】
ステップS008において、制御部51は、ステップS001でユーザによって指定された撮像を実行するすべてのXY位置に対する撮像が終了したか否かを判断する。撮像を実行するすべてのXY位置に対する撮像が終了していない場合、すなわち、ユーザによって指定されたXY位置のうち撮像済みでないものが存在する場合(ステップS008でNO)、制御部51は、ステップS009へ進む。撮像を実行するすべてのXY位置において撮像が終了した場合(ステップS008でYES)、制御部51は、一連の動作を終了する。
【0064】
ステップS009において、制御部51は、次の撮像を実行するXY位置の試料6が励起光束11による撮像範囲に位置するようにウェルプレート60をXY方向に移動させ、ステップS003戻る。
【0065】
以上のように、実施例1において、制御部51は、撮影を実行するXY位置(xi,yj)におけるウェルプレート60の底面62に対応する対物レンズ21の位置z0(i,j)を検出する。そして、制御部51は、その位置z0(i,j)からユーザにより設定されたZ方向の変位幅Δzaだけ対物レンズ21をz方向に移動しながら試料6を撮影する。このように、実施例1においては、試料6における対物レンズ21の焦点位置を励起光束11の光軸に平行な方向に変位させながら共焦点撮像を行う。このため、試料面が傾いている場合であっても、共焦点撮像により、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能である。また、顕微鏡システム1は、複雑な構成を要しないため、機構設計上の制限を伴わない。顕微鏡システム1は、一回の撮像により撮像画像を取得するため、撮像速度が著しく低下することもない。したがって、試料面が傾いている場合であっても、機構設計上の制限、及び撮像速度の著しい低下等を伴わずに、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能である。
【0066】
(実施例2)
次に、
図8、
図9A、及び
図9Bを参照して、顕微鏡システム1の動作の実施例2を説明する。実施例1では、ウェルプレート60における各XY位置について、ウェルプレート60の底面62の位置を検出し、その底面62の位置からユーザが設定した変位幅Δz
aだけ変位させながら撮像を行う例を説明した。本実施例では、各XY位置におけるウェルプレート60の局所的な傾きに応じた試料6が存在する範囲の変位幅Δz
c(i,j)を検出し、それを反映した撮像範囲において撮像を行う例を説明する。
図9A及び
図9Bは、顕微鏡システム1が実行する撮像処理の動作を示すフローチャートである。
図9A及び
図9Bを参照して説明する顕微鏡システム1の動作は実施例2に係る撮像方法の一つに相当する。
図9A及び
図9Bの各ステップの動作は、処理装置50の制御部51の制御に基づき実行される。本実施形態に係る撮像方法をコンピュータに実行させるためのプログラムは、
図9A及び
図9Bに示す各ステップを含む。以下の処理の前提として、試料6を載置するウェルプレート60が測定を行うための測定位置に設定されている。
【0067】
ステップS101において、制御部51は、顕微鏡システム1による撮像に関する測定条件の設定をユーザから受け付ける。このような測定条件としては、例えば、以下のものが挙げられる。
・試料6に対する対物レンズ21の焦点の相対位置の変位幅Δzb(対物レンズ21の焦点位置の移動範囲)
・露光時間Texp
・撮像を実行するウェルプレート60上のXY位置のリスト
ここで、変位幅Δzbは、例えば10μm~数100μmであり、試料6の厚みに基づいてユーザが入力するZ方向の幅を示す値である。露光時間Texpは50ms~1s程度の値としてもよい。また、制御部51は、ウェルプレート60の寸法情報の入力を受け付けてもよい。
【0068】
ステップS102において、制御部51は、撮像を実行するウェルプレート60のXY位置のリストに基づき、プレスキャンを実行するXY位置(x1,y1)~(xm,yn)を設定する。
【0069】
ステップS103において、制御部51は、顕微鏡システム1の各構成要素を制御して、各構成要素の位置合わせを行い、最初のプレスキャンを実行するXY位置の試料6が励起光束11による撮像範囲に位置するようにウェルプレート60をXY方向に移動させる。プレスキャンとは、各XY位置(xi,yj)において、対物レンズ21の焦点がウェルプレート60の底面62に一致するZ方向の位置z0(i,j)を検索する動作である。以下、制御部51は、ステップS102で設定したXY位置の各々について、ステップS104~S106の処理を実行する。以下、処理対象のXY位置を(xi,yj)と表す。
【0070】
ステップS104において、制御部51は、駆動装置22を制御し、対物レンズ21をZ方向に移動させながら、位置センサ24の信号を読み取り、対物レンズ21の焦点が、ウェルプレート60の底面62に一致する対物レンズ21のZ方向の位置z0(i,j)を検索する。ここで、位置z0(i,j)は、XY位置(xi,yj)に対する対物レンズ21のZ方向の位置である。
【0071】
ステップS105において、制御部51は、プレスキャンを実行するすべてのXY位置(xi,yj)においてz0(i,j)の検索が終了したかを判断する。プレスキャンを実行するすべてのXY位置に対するプレスキャンが終了していない場合、すなわち、ユーザによって指定されたXY位置のうちプレスキャンが終了していないものが存在する場合(ステップS105でNO)、制御部51は、ステップS106へ進む。プレスキャンを実行するすべてのXY位置においてプレスキャンが終了した場合(ステップS105でYES)、制御部51は、ステップ107に進む。
【0072】
ステップS106において、制御部51は、次のプレスキャンを実行するXY位置の試料6が励起光束11による撮像範囲に位置するようにウェルプレート60をXY方向に移動させ、ステップS104に戻る。
【0073】
ステップS107において、制御部51は、プレスキャン結果(x1,y1,z0(1,1))~(xm,yn,z0(m,n))を元に、撮像を実行する各XY位置(xi,yj)におけるウェルプレート60の底面62の傾きgrad(zi,j)を算出する。傾きgrad(zi,j)はX方向の傾きを示すgrad(zi,j)xとY方向の傾きを示すgrad(zi,j)yとを有するベクトル量となる。grad(zi,j)x及びgrad(zi,j)yは例えば次の式1により算出されてもよい。
[式1]
grad(zi,j)x=(zi+1,j-zi-1,j)/(xi+1-xi-1)
grad(zi,j)y=(zi,j+1-zi,j-1)/(yj+1-yj-1)
【0074】
ステップS108において、制御部51は、撮像を実行するXY位置におけるウェルプレート60の底面62の傾きgrad(zi,j)とカメラ40の2次元センサ41のサイズを元に撮像を実行する各XY位置における撮像Z範囲Δzc(i,j)を算出する。ここで、Δzc(i,j)はウェルプレート60の傾きによる試料6が存在するZ方向の範囲である。例えば、2次元センサ41が長方形を有し、X方向の撮影範囲に対応する長さがL1、Y方向の撮影範囲に対応する長さがL2であるとする。この場合、X方向の傾きによるZ方向の変位量は、L1×grad(zi,j)xとなる。Y方向の傾きによるZ方向の変位量は、L2×grad(zi,j)yとなる。したがって、制御部51は、例えば、次の式2により撮像Z範囲Δzc(i,j)を算出してもよい。
[式2]
Δzc(i,j)=L1×grad(zi,j)x+L2×grad(zi,j)y
【0075】
ステップS109において、制御部51は、顕微鏡システム1の各構成要素を制御して、各構成要素の位置合わせを行い、最初の撮像を実行するXY位置の試料6が励起光束11による撮像範囲に位置するようにウェルプレート60をXY方向に移動させる。以下、制御部51は、ステップS001で設定を受け付けたリストに含まれるXY位置の各々について、ステップS110~S116の処理を実行する。以下、処理対象のXY位置を(xi,yj)と表す。
【0076】
ステップS110において、制御部51は、駆動装置22を制御し、対物レンズ21をZ方向に移動させながら、位置センサ24の信号を読み取り、対物レンズ21の焦点が、ウェルプレート60の底面62に一致する位置z0(i,j)を検索する。
【0077】
ステップS111において、制御部51は、駆動装置22を制御し、ステップS110で検索した位置z0(i,j)に対物レンズ21を移動させる。
【0078】
ステップS112において、制御部51は、発光装置10から励起光束11を射出しながらMLディスク33及びニポウディスク31を回転するように、共焦点スキャナ30及び発光装置10を制御する。これにより、励起光束11は、MLディスク33により個別の光束に集光され、DM34を透過後、ニポウディスク31の個々のピンホールを通過し、顕微鏡20の対物レンズ21により、ウェルプレート60のウェル68に載置された試料6に集光される。励起光束11により試料6の蛍光試薬が発した蛍光信号12は、再び対物レンズ21を通り、ニポウディスク31の個々のピンホール上に集光される。個々のピンホールを通過した蛍光信号12はDM34で反射され、リレーレンズ35,37を通り、バンドパスフィルタ36を介してカメラ40に結像されるよう共焦点スキャナ30の開口部(共焦点画像取り出しポート)から射出される。一方で、制御部51は、対物レンズ21をz0(i,j)からz0(i,j)+Δzb+Δzc(i,j)へ、例えば等速度で移動させながら、カメラ40にて露光時間Texpだけ露光し、画像を取得する。具体的には、制御部51は、駆動装置22へ制御信号を送信することで駆動装置22に対物レンズ21を変位させながら、カメラ40へ露光信号を送信して2次元センサ41に露光させて撮像を行わせる。
【0079】
上記の対物レンズ21の駆動とカメラ40の露光が終了したら、ステップS113において、制御部51は発光装置10からの励起光束11の射出を終了する。
【0080】
ステップS114において、制御部51は、カメラ40にて取得された画像データを、処理装置50の記憶部52に転送する。
【0081】
ステップS115において、制御部51は、ステップS101でユーザによって指定された撮像を実行するすべてのXY位置に対する撮像が終了したか否かを判断する。撮像を実行するすべてのXY位置に対する撮像が終了していない場合、すなわち、ユーザによって指定されたXY位置のうち撮像済でないものが存在する場合(ステップS115でNO)、制御部51は、ステップS116へ進む。撮像を実行するすべてのXY位置において撮像が終了した場合(ステップS115でYES)、制御部51は、一連の動作を終了する。
【0082】
ステップS116において、制御部51は、次の撮像を実行するXY位置の試料6が励起光束11による撮像範囲に位置するようにウェルプレート60をXY方向に移動させ、ステップS113に戻る。
【0083】
以上のように、実施例2に係る顕微鏡システム1は、実施例1の処理に加え、プレスキャンを行って、各XY位置におけるウェルプレート60の局所的な傾きを検出する。そして、顕微鏡システム1は、ウェルプレート60の局所的な傾きに応じた試料6が存在する範囲の変位幅Δzc(i,j)を検出し、それを反映した撮像範囲において撮像を行う。したがって、本実施例によれば、撮像を実施するXY位置におけるウェルプレート60の傾きとそれによる試料6が存在するZ方向の範囲を予測することができるため、過不足のない撮像Z範囲を設定して撮像を行うことが可能となる。
【0084】
(実施例3)
次に、
図8、
図10A、及び
図10Bを参照して、顕微鏡システム1の動作の実施例3を説明する。実施例2では、プレスキャンを行ってウェルプレート60における各XY位置について、ウェルプレート60の局所的な傾きに応じた変位幅Δz
c(i,j)を検出し、次に、再度、各XY位置のスキャンを行って、各XY位置における試料6の撮像を行う例を説明した。本実施例では、1回のスキャンの中で、各XY位置におけるウェルプレート60の局所的な傾きに応じた変位幅Δz
c(i,j)の検出と、試料6の撮像とを実行する例を説明する。
図10A及び
図10Bは、顕微鏡システム1が実行する撮像処理の動作を示すフローチャートである。
図10A及び
図10Bを参照して説明する顕微鏡システム1の動作は実施例3に係る撮像方法の一つに相当する。
図10A及び
図10Bの各ステップの動作は、処理装置50の制御部51の制御に基づき実行される。本実施形態に係る撮像方法をコンピュータに実行させるためのプログラムは、
図10A及び
図10Bに示す各ステップを含む。以下の処理の前提として、試料6を載置するウェルプレート60が測定を行うための測定位置に設定されている。
【0085】
ステップS201において、制御部51は、顕微鏡システム1による撮像に関する測定条件の設定をユーザから受け付ける。このような測定条件としては、例えば、以下のものが挙げられる。
・試料6に対する対物レンズ21の焦点の相対位置の変位幅Δzb、Δzd(対物レンズ21の焦点位置の移動範囲)
・露光時間Texp
・撮像を実行するウェルプレート60上のXY位置のリスト(x1,y1)~(xm,yn)
ここで、変位幅Δzbは例えば10μm~数100μmであり、試料6の厚みに基づいてユーザが入力するZ方向の幅を示す値である。変位幅Δzdは例えば数μm~数10μmであり、撮像を実施するXY位置におけるウェルプレート60の傾きによる試料6が存在するZ方向の範囲をユーザが予想して入力する値である。露光時間Texpは50ms~1s程度の値としてもよい。また、制御部51は、ウェルプレート60の寸法情報の入力を受け付けてもよい。
【0086】
ステップS202において、制御部51は、撮像を実行する最初のXY位置の試料6が励起光束11による撮像範囲に位置するようにウェルプレート60をXY方向に移動させる。以下、制御部51は、ステップS201で設定を受け付けたXY位置の各々について、ステップS203~S213の処理を実行する。以下、処理対象のXY位置を(xi,yj)と表す。以下、制御部51は、(x1,y1)、(x2,y1)、・・・、(xm,y1)、(x1,y2)、(x2,y2)、・・・、(xm,y2)、・・・、(x1,yn)、(x2,yn)、・・・、(xm,yn)の順に処理を実行する例を説明するが、これ以外の順に処理を実行してもよい。
【0087】
ステップS203において、制御部51は、駆動装置22を制御し、対物レンズ21をZ方向に移動させながら、位置センサ24の信号を読み取り、対物レンズ21の焦点が、ウェルプレート60の底面62に一致する対物レンズ21のZ方向の位置z0(i,j)を検索する。ここで、位置z0(i,j)は、XY位置(xi,yj)に対する対物レンズ21のZ方向の位置である。
【0088】
ステップS204において、制御部51は、現在のXY位置(xi,yj)に対して、近傍のXY位置(xi-1,yj)、(xi,yj-1)における、対物レンズ21の焦点がウェル68の底面62に一致する対物レンズ21の位置z0(i-1,j)及びz0(i,j-1)が既知であるかを判断する。例えば、(x1,y1)、(x2,y1)、・・・、(xm,y1)、(x1,y2)、(x2,y2)、・・・、(xm,y2)、・・・、(x1,yn)、(x2,yn)、・・・、(xm,yn)の順に処理を実行する場合、i>1かつj>1の場合、(xi-1,yj)及び(xi,yj-1)における処理は終了しているため、z0(i-1,j)及びz0(i,j-1)は既知である。既知である場合(ステップS204でYES)、制御部51はステップS206に進む。既知でない場合(ステップS204でNO)、制御部51はステップS205に進む。
【0089】
ステップS205において、制御部51は、撮像時のZスキャン範囲の要素のうち、撮像を実施するXY位置(xi,yj)におけるウェルプレート60の傾きとそれによる試料6が存在するZ方向の範囲であるΔzc(i,j)として、ステップS201でユーザが指定したΔzdと決定する。そして、制御部51は、ステップS208へ進む。
【0090】
ステップS206において、制御部51は、現在のXY位置(xi,yj)のウェルプレート60の底面62の傾きgrad(zi,j)を算出する。制御部51は、例えば、次の式3により、grad(zi,j)x及びgrad(zi,j)yを算出してもよい。
[式3]
grad(zi,j)x=(zi,j-zi-1,j)/(xi-xi-1)
grad(zi,j)y=(zi,j-zi,j-1)/(yj-yj-1)
【0091】
ステップS207において、制御部51は、grad(z
i,j)とカメラ40の2次元センサ41のサイズをもとに、XY位置(x
i,y
j)における撮像Z範囲Δz
c(i,j)を算出する。例えば、2次元センサ41が、X方向の撮影範囲に対応する長さL
1、Y方向の撮影範囲に対応する長さL
2を有する長方形である場合、
図9AのS108と同様に、制御部51は、次の式4により撮像Z範囲Δz
c(i,j)を算出してもよい。
[式4]
L
1×grad(z
i,j)
x+L
2×grad(z
i,j)
y
そして、制御部51は、ステップS208へ進む。
【0092】
ステップS208において、制御部51は、駆動装置22を制御し、ステップS203で検索した位置z0(i,j)に対物レンズ21を移動させる。
【0093】
ステップS209において、制御部51は、発光装置10から励起光束11を射出しながらMLディスク33及びニポウディスク31を回転するように、共焦点スキャナ30及び発光装置10を制御する。これにより、励起光束11は、MLディスク33により個別の光束に集光され、DM34を透過後、ニポウディスク31の個々のピンホールを通過し、顕微鏡20の対物レンズ21により、ウェルプレート60のウェル68に載置された試料6に集光される。励起光束11により試料6の蛍光試薬が発した蛍光信号12は、再び対物レンズ21を通り、ニポウディスク31の個々のピンホール上に集光される。個々のピンホールを通過した蛍光信号12はDM34で反射され、リレーレンズ35,37を通り、バンドパスフィルタ36を介してカメラ40に結像されるよう共焦点スキャナ30の開口部(共焦点画像取り出しポート)から射出される。一方で、制御部51は、対物レンズ21をz0(i,j)からz0(i,j)+Δzb+Δzc(i,j)へ、例えば等速度で移動させながら、カメラ40にて露光時間Texpだけ露光し、画像を取得する。具体的には、制御部51は、駆動装置22へ制御信号を送信することで駆動装置22に対物レンズ21を変位させながら、カメラ40へ露光信号を送信して2次元センサ41に露光させて撮像を行わせる。
【0094】
上記の対物レンズ21の駆動とカメラ40の露光が終了したら、ステップS210において、制御部51は発光装置10からの励起光束11の射出を終了する。
【0095】
ステップS211において、制御部51は、カメラ40にて取得された画像データを、処理装置50の記憶部52に転送する。
【0096】
ステップS212において、制御部51は、ステップS201でユーザによって指定された撮像を実行するすべてのXY位置に対する撮像が終了したか否かを判断する。撮像を実行するすべてのXY位置に対する撮像が終了していない場合、すなわち、ユーザによって指定されたXY位置のうち撮像が終了していないものが存在する場合(ステップS212でNO)、制御部51は、ステップS213へ進む。撮像を実行するすべてのXY位置において撮像が終了した場合(ステップS212でYES)、制御部51は、一連の動作を終了する。
【0097】
ステップS213において、制御部51は、次の撮像を実行するXY位置の試料6が励起光束11によるXY方向の撮像範囲に位置するようにウェルプレート60を移動させ、ステップS203戻る。
【0098】
以上のように、実施例3に係る顕微鏡システム1は、プレスキャンを行わずに、撮像動作を実行しながら、撮像を実施するXY位置におけるウェルプレート60の局所的な傾きを反映した試料6が存在するZ方向の変位幅Δzc(i,j)を算出する。したがって、実施例3によれば、過不足のない撮像Z範囲を設定して、その撮像Z範囲における撮像を高速に行うことが可能である。
【0099】
また、処理装置50は、試料6に対する対物レンズ21の焦点の相対位置を、ユーザが指定する速度にて、等速度で変位させながら、カメラ40による撮像を行うように、顕微鏡20及びカメラ40を制御してもよい。このように、撮像中は、試料6に対する対物レンズ21の焦点の相対位置を等速度で変位させるため、撮像中に対物レンズ21に対する試料6の相対位置が励起光束11の光軸に直行する方向(XY方向)に移動して、撮像画像が乱れることを防ぐことができる。
【0100】
また、処理装置50は、試料6に対する対物レンズ21の焦点の相対位置を変位させる速度は、ユーザが指定する露光時間Texpと相対位置の変位幅Δzaを元に決定してもよい。
【0101】
以上のように、本実施形態において、観察対象となる試料6の像を取得する顕微鏡システム1は、発光装置10、顕微鏡20、共焦点スキャナ30、カメラ40、及び処理装置50を備える。発光装置10は、励起光束11を照射する。共焦点スキャナ30は、励起光束11を試料6に対して走査する走査部を有する。顕微鏡20は、共焦点スキャナ30により走査された励起光束11による像を試料6に投影する対物レンズ21、及び、試料6が載置されるウェルプレート60の対物レンズ21の焦点位置に対する位置を検出する位置センサ24を有する。カメラ40は、撮像面が走査部に対して共役の位置に配置され、励起光束11が照射された試料6からの蛍光信号12を検出する。処理装置50は、顕微鏡20及びカメラ40の動作を制御する。ここで、処理装置50は、ウェルプレート60の対物レンズ21の焦点位置に対する位置に基づいて、試料6に対する対物レンズ21の焦点の相対位置を、励起光束11の光軸に平行な方向に変位させながら、カメラ40による撮像を行うための制御信号を、顕微鏡20及びカメラ40へ送信する。このように、本実施形態に係る顕微鏡システム1は、試料6における対物レンズ21の焦点位置を励起光束11の光軸に平行な方向に変位させながら共焦点撮像を行う。そのため、顕微鏡システム1は、試料面が傾いている場合であっても、共焦点撮像により、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能である。また、顕微鏡システム1は、複雑な構成を要しないため、機構設計上の制限を伴わない。さらに、顕微鏡システム1は、一回の撮像により撮像画像を取得するため、演算及び記憶に関して大きな負荷を必要としたり、撮像速度を著しく低下させたりすることもない。したがって、試料面が傾いている場合であっても、機構設計上の制限、及び撮像速度の著しい低下等を伴わずに、視野内の部分的な輝度低下のない明瞭な画像の撮像をすることが可能である。
【0102】
また、共焦点スキャナ30は、走査部として、複数のピンホールが配設されたピンホールディスクを回転して、発光装置10から照射された励起光束11を試料6に対して走査する。対物レンズ21は、共焦点スキャナ30により走査された励起光束11による複数のピンホールの像を試料6に投影する。カメラ40は、撮像面が、複数のピンホールに対して共役の位置に配置される。このように、顕微鏡システム1は、MLディスク33とニポウディスク31を高速で回転させることにより、試料6の共焦点画像をカメラ40の2次元センサ41の受光面上に短時間で形成することができる。したがって、多数の被検査試料をマトリックス状に並べたウェルプレート60を、顕微鏡20と共焦点スキャナ30に対して、励起光束11の光軸に垂直な方向に相対的に変位させながら試料全数の共焦点画像を高速に取り込むことが可能である。
【0103】
また、顕微鏡20は、対物レンズ21を励起光束11の光軸に平行な方向に変位させることが可能な駆動装置22を備える。処理装置50は、駆動装置22が対物レンズ21を変位させながら、カメラ40による撮像を行うように、顕微鏡20及びカメラ40を制御する。
【0104】
また、処理装置50は、試料6に対する対物レンズ21の焦点の相対位置を等速度で変位させながら、カメラ40による撮像を行うように、顕微鏡20及びカメラ40を制御してもよい。このように、撮像中は、試料6に対する対物レンズ21の焦点の相対位置を等速度で変位させるため、撮像中に対物レンズ21に対する試料6の相対位置が励起光束11の光軸に直行する方向に移動して、撮像画像が乱れることを防ぐことができる。
【0105】
また、処理装置50は、容器の対物レンズ21の焦点位置に対する位置に基づき、カメラ40による撮像を行う間における、試料6に対する対物レンズ21の焦点の相対位置の変位幅を決定する。処理装置50は、試料6に対する対物レンズ21の焦点の相対位置を、決定された変位幅だけ変位させながら、カメラ40による撮像を行うように、顕微鏡20及びカメラ40を制御する。このように、処理装置50は、容器の顕微鏡20の対物レンズ21に対する位置に基づき、撮像を行う間における、試料6に対する対物レンズ21の焦点の相対位置の変位幅を決定する。したがって、試料6に対する対物レンズ21の焦点の相対位置を適切に変位させて撮像を行い、明瞭な画像を取得することができる。
【0106】
ここで、実施例2、3のように、処理装置50は、容器の対物レンズ21の焦点位置に対する位置に基づき、容器の例えば底面62の局所的な傾きを検出してもよい。さらに、処理装置50は、検出した容器の局所的な傾きに基づいて、カメラ40による撮像を行う間における、試料6に対する対物レンズ21の焦点の相対位置の変位幅を決定してもよい。このように容器の局所的な傾きを利用することで、過不足なく変位幅を決定して、試料6に対する対物レンズ21の焦点の相対位置を変位させて撮像を行うことが可能である。
【0107】
また、実施例3のように、処理装置50は、容器の例えば底面62の局所的な傾きを検出してそれに応じた変位幅を決定する処理と、局所的な傾きを検出した位置における試料6を撮影する処理とを交互に行って、容器に載置された複数の試料の各々を撮像してもよい。このように、変位幅の決定と試料6の撮影とを交互に行って複数の試料の各々を撮像することで、撮影を行う各XY位置における変位幅を決定するためのプレスキャンを行うことなく、スキャンを1回行うだけで、容器の局所的な傾きに応じた過不足ない変位を伴う撮影を高速に行うことが可能である。
【0108】
また、処理装置50は、試料6に対する対物レンズ21の焦点の相対位置を、ユーザにより指定された変位幅だけ変位させながら、カメラ40による撮像を行うように、顕微鏡20及びカメラ40を制御してもよい。このように、処理装置50は、試料6に対する対物レンズ21の焦点の相対位置を、ユーザにより指定された変位幅だけ変位させながら撮像を行う。したがって、試料6に対する対物レンズ21の焦点の相対位置を適切に変位させて撮像を行い、明瞭な画像を取得することができる。
【0109】
また、処理装置50は、容器の対物レンズ21の焦点位置に対する位置に基づき、カメラ40による撮像を行う間における、試料6に対する対物レンズ21の焦点の相対位置の変位幅である第1の変位幅を決定してもよい。さらに、処理装置50は、ユーザにより指定された、試料6に対する対物レンズ21の焦点の相対位置の変位幅である第2の変位幅を取得してもよい。その上で、処理装置50は、試料6に対する対物レンズ21の焦点の相対位置を、第1の変位幅及び第2の変位幅のいずれか小さい変位幅だけ変位させながら、カメラ40による撮像を行うように、顕微鏡20及びカメラ40を制御してもよい。このように、処理装置50は、容器の顕微鏡20の対物レンズ21に対する位置に基づき決定された変位幅、及び、ユーザにより指定された変位幅のいずれか小さい変位幅だけ、試料6に対する対物レンズ21の焦点の相対位置を変位させながら撮像を行ってもよい。したがって、試料6に対する対物レンズ21の焦点の相対位置を適切に変位させて撮像を行い、明瞭な画像を取得することができる。
【0110】
なお、処理装置50は、試料6が載置されるウェルプレート60の寸法情報に基づいて、試料6の撮像の開始時及び終了時における、試料6に対する対物レンズ21の焦点の相対位置である開始位置及び終了位置を決定してもよい。さらに、処理装置50は、試料6に対する対物レンズ21の焦点の相対位置を開始位置から終了位置まで変位させながら、カメラ40による撮像を行うように、顕微鏡20及びカメラ40を制御してもよい。このように、処理装置50は、試料6が載置される容器の寸法情報に基づいて、撮像を行う際の、試料6に対する対物レンズ21の焦点の開始位置及び終了位置を決定する。したがって、試料6に対する対物レンズ21の焦点の相対位置を適切に変位させて撮像を行い、明瞭な画像を取得することができる。
【0111】
また、
図7では、ステップS5で、制御部51は、ステップS4で算出された移動範囲の長さと、ステップS1でユーザにより設定された移動範囲の長さとを比較し、いずれか短い方の移動範囲を選択する例を説明したが、このような構成に限られない。例えば、制御部51は、ステップS4で算出された移動範囲と、ステップS1でユーザにより設定された移動範囲との両方に含まれる範囲、あるいは、少なくともいずれかに含まれる範囲を選択してもよい。
【0112】
なお、上記実施形態では、ニポウディスク31に、部材32によりMLディスク33が機械的に接続されている場合の例を説明したが、MLディスク33及び部材32は設けなくてもよい。また、上記実施形態では、顕微鏡システム1には撮像系としては共焦点撮像系が存在し、撮像のためのカメラ40は1つ存在する構成を説明したが、このような構成に限られない。例えば、顕微鏡システム1は、落射照明光学系を有していてもよいし、複数のカメラ40で同時に複数の蛍光波長を撮像できるようにしてもよい。
【0113】
また、上記実施形態では、試料6に対する対物レンズ21の焦点の相対位置を変位させるために、試料6は変位せずに、駆動装置22により対物レンズ21を変位させる例を説明したが、このような構成に限られない。例えば、ウェルプレート60、あるいは、対物レンズ21及びウェルプレート60の両方を励起光束11の光軸に平行な方向に移動させてもよい。
【0114】
また、上記実施形態では、試料6が載置される容器としてウェルプレート60を用いる例を説明したが、これに代えて、例えば、ペトリディッシュ、細胞培養フラスコ、スライドガラス、又はカバーガラスチャンバ―等の他の試料容器が用いられてもよい。また、試料6の撮像が行われている間に、対物レンズ21の焦点面の駆動装置22の駆動状態は等速となるように駆動パターンが設定されることが好ましいが、そうでなくてもよい。また、試料6の撮像が行われている間の、対物レンズ21の焦点面の変位の方向は、試料6と対物レンズ21との距離が小さくなる方向と大きくなる方向とのいずれでもよい。
【0115】
また、
図6を参照した説明では、試料6の撮像が行われている間の、対物レンズ21の焦点面の変位は一方向に一回のみ行う場合の例を説明したが、これに限られない。例えば、焦点面は、往復して変位したり、複数回変位したりしてもよい。また、
図1は、顕微鏡20が、倒立顕微鏡である場合の例を示しているが、顕微鏡20は正立顕微鏡等の他の構成でもよい。
【0116】
また、処理装置50は、対物レンズ21の変位の下端の位置を、ウェルプレート60の設計情報に基づいて決定してもよい。あるいは、処理装置50は、位置センサ24にて、ウェルプレート60の底面62の位置を検出して決定してもよい。
【0117】
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックは統合されてもよいし、又は1つのブロックは分割されてもよい。フローチャートに記載の複数のステップは、記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行されてもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
【符号の説明】
【0118】
1 顕微鏡システム
6 試料
10 発光装置
11 励起光束
12 蛍光信号
20 顕微鏡
21 対物レンズ
22 駆動装置
23 リレーレンズ
24 位置センサ
241 光源
242 分光ミラー
243 分光ミラー
244 光センサ
30 共焦点スキャナ
31 ピンホールアレイディスク(ニポウディスク)
32 部材
33 マイクロレンズアレイディスク
34 ダイクロイックミラー
35 リレーレンズ
36 バンドパスフィルタ
37 リレーレンズ
39 回転中心軸
40 カメラ
41 2次元センサ
50 処理装置
51 制御部
52 記憶部
53 入出力部
60 ウェルプレート
61 フレーム
62 底面
63 被撮像サンプル
64 細胞培養面
65 撮像平面
66 被撮像サンプル
68 ウェル
71 撮像Z幅