特開 2022-32268 光学顕微鏡システムおよび視野拡張画像の生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022032268

(43)【公開日】2022-02-25

(54)【発明の名称】光学顕微鏡システムおよび視野拡張画像の生成方法

(51)【国際特許分類】

   G02B 21/00 20060101AFI20220217BHJP

   G02B 21/36 20060101ALI20220217BHJP

   H04N 5/225 20060101ALI20220217BHJP

   H04N 5/232 20060101ALI20220217BHJP

   G01N 21/17 20060101ALI20220217BHJP

【ＦＩ】

G02B21/00

G02B21/36

H04N5/225 400

H04N5/225 900

H04N5/232 380

H04N5/225 600

G01N21/17 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2020135876

(22)【出願日】2020-08-11

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ロボティクス・メカトロニクス講演会２０２０ ｉｎ Ｋａｎａｚａｗａ、オンライン予稿集、令和２年５月２７日（掲載日） ロボティクス・メカトロニクス講演会２０２０ ｉｎ Ｋａｎａｚａｗａ、オンラインポスター発表、令和２年５月２８日（発表日）

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「人とマクロ世界のインタラクション技術の開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】青山 忠義

(72)【発明者】

【氏名】竹野 更宇

【テーマコード（参考）】

2G059

2H052

5C122

【Ｆターム（参考）】

2G059AA05

2G059BB12

2G059BB14

2G059CC16

2G059EE07

2G059FF03

2G059JJ13

2G059JJ30

2G059MM09

2G059MM10

2H052AA07

2H052AB01

2H052AB06

2H052AB14

2H052AB29

2H052AC04

2H052AC15

2H052AC27

2H052AF14

2H052AF25

5C122DA30

5C122EA40

5C122FB02

5C122FB03

5C122FB11

5C122FC02

5C122FD01

5C122FH04

5C122FH18

5C122FK24

5C122HA82

5C122HB01

5C122HB05

(57)【要約】

【課題】光学顕微鏡の実視野を拡張する。
【解決手段】光学顕微鏡システム１０は、複数の観察位置のいずれか一つからの観察光４２が入射する少なくとも一つのガルバノミラー１６，１８と、少なくとも一つのガルバノミラー１６，１８で反射された観察光４２が入射する対物レンズ２０と、対物レンズ２０を通過した観察光４２が入射する焦点可変レンズ２２と、焦点可変レンズ２２を通過した観察光４２を撮像して撮像画像を生成する撮像装置２４と、少なくとも一つのガルバノミラー１６，１８を二軸で駆動して複数の観察位置を順に切り替えるミラー駆動機構２６，２８と、複数の観察位置の切り替えによる各観察位置から対物レンズ２０までの観察光４２の光路の幾何学的距離の変化に応じて焦点可変レンズ２２の焦点距離を切り替えるレンズ駆動機構３０と、複数の観察位置を撮像した複数の撮像画像に基づいて視野拡張画像を生成する制御装置３２と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

試料を支持するステージと、
前記ステージ上の前記試料を照明する照明装置と、
前記ステージ上でのｘ方向およびｙ方向の二次元座標が異なるように設定される複数の観察位置のいずれか一つからの観察光が入射する少なくとも一つのガルバノミラーと、
前記少なくとも一つのガルバノミラーで反射された前記観察光が入射する対物レンズと、
前記対物レンズを通過した前記観察光が入射する焦点可変レンズと、
前記焦点可変レンズを通過した前記観察光を撮像して撮像画像を生成する撮像装置と、
前記少なくとも一つのガルバノミラーを二軸で駆動して前記複数の観察位置を順に切り替えるミラー駆動機構と、
前記複数の観察位置の切り替えによる各観察位置から前記対物レンズまでの前記観察光の光路の幾何学的距離の変化に応じて前記焦点可変レンズの焦点距離を変化させるレンズ駆動機構と、
前記複数の観察位置を撮像した複数の撮像画像に基づいて視野拡張画像を生成する制御装置と、を備えることを特徴とする光学顕微鏡システム。

【請求項2】

前記ミラー駆動機構は、前記撮像装置の撮像周期と同期して前記複数の観察位置を順に切り替えることを特徴とする請求項１に記載の光学顕微鏡システム。

【請求項3】

前記複数の観察位置は、基準観察位置と、前記基準観察位置の周囲に設定される複数の周囲観察位置とを含み、
前記ミラー駆動機構は、前記複数の周囲観察位置を順に切り替えする前または後に前記基準観察位置に切り替えることを特徴とする請求項１または２に記載の光学顕微鏡システム。

【請求項4】

前記複数の周囲観察位置は、各観察位置から前記対物レンズまでの前記観察光の光路の幾何学的距離が互いに共通となるように設定されることを特徴とする請求項３に記載の光学顕微鏡システム。

【請求項5】

前記複数の周囲観察位置は、前記基準観察位置を中心とする円弧上または楕円弧上に設定されることを特徴とする請求項３または４に記載の光学顕微鏡システム。

【請求項6】

前記撮像装置は、各観察位置を中心とし、前記ｘ方向の幅が前記ｙ方向の幅よりも大きい矩形範囲を撮像対象とするよう構成され、
前記複数の周囲観察位置は、前記ｘ方向が長軸、前記ｙ方向が横軸となる楕円弧上に設定されることを特徴とする請求項５に記載の光学顕微鏡システム。

【請求項7】

前記少なくとも一つのガルバノミラーは、前記ステージのｚ方向の軸まわりに回動する第１ガルバノミラーと、前記ｘ方向の軸まわりに回動する第２ガルバノミラーとを含み、前記第１ガルバノミラーは、前記第２ガルバノミラーで反射された観察光を前記対物レンズに向けて反射するよう配置され、
前記第１ガルバノミラーから前記第２ガルバノミラーまでの第１距離は、前記第２ガルバノミラーから前記ステージ上の前記試料までの第２距離よりも長いことを特徴とする請求項６に記載の光学顕微鏡システム。

【請求項8】

前記制御装置は、前記複数の撮像画像のそれぞれの少なくとも一部の範囲を切り出した複数の画像を組み合わせて前記視野拡張画像を生成し、
前記制御装置は、各観察位置における前記観察光の光路の傾きに応じて、各観察位置に対応する撮像画像の切り出し範囲を変化させることを特徴とする請求項１から７のいずれか一項に記載の光学顕微鏡システム。

【請求項9】

前記制御装置は、前記複数の撮像画像の全てに基づいて全体拡張画像を生成し、前記複数の撮像画像の少なくとも一つに基づいて部分拡張画像を生成し、前記全体拡張画像および前記部分拡張画像を表示装置に同時に表示させることを可能とし、
前記ミラー駆動機構は、前記部分拡張画像に含まれる観察位置に切り替える頻度を前記部分拡張画像に含まれない観察位置に切り替えるよりも高くすることを特徴とする請求項１から８のいずれか一項に記載の光学顕微鏡システム。

【請求項10】

光学顕微鏡を用いた視野拡張画像の生成方法であって、前記光学顕微鏡は、
試料を支持するステージと、
前記ステージ上の前記試料を照明する照明装置と、
前記ステージ上でのｘ方向およびｙ方向の二次元座標が異なるように設定される複数の観察位置のいずれか一つからの観察光が入射する少なくとも一つのガルバノミラーと、
前記少なくとも一つのガルバノミラーで反射された前記観察光が入射する対物レンズと、
前記対物レンズを通過した前記観察光が入射する焦点可変レンズと、
前記焦点可変レンズを通過した前記観察光を撮像して撮像画像を生成する撮像装置と、を備え、
前記生成方法は、
前記少なくとも一つのガルバノミラーを二軸で駆動して前記複数の観察位置を順に切り替えるステップと、
前記複数の観察位置の切り替えによる各観察位置から前記対物レンズまでの前記観察光の光路の幾何学的距離の変化に応じて前記焦点可変レンズの焦点距離を切り替えるステップと、
前記複数の観察位置を順に撮像して複数の撮像画像を生成するステップと、
前記複数の撮像画像に基づいて視野拡張画像を生成するステップと、を備えることを特徴とする視野拡張画像の生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、光学顕微鏡に関する。

【背景技術】

【0002】

光学顕微鏡は、試料を拡大して観察するために広く使用されている。近年では、対物レンズおよび撮像レンズによって拡大された光学像を撮像素子を用いて撮像し、試料の画像データを取得する構成が一般的に用いられている。光学顕微鏡の実視野の大きさは、対物レンズの倍率、撮像レンズの倍率および撮像素子のサイズで決まり、拡大倍率を変えずに実視野を広げるためには撮像レンズや撮像素子のサイズを大きくする必要がある。実視野を拡張する別の手法として、対物レンズと撮像レンズの間にステアリングミラーを設け、試料から撮像素子に向かう光路のうち対物レンズを通過する部分の光軸の傾きを対物レンズの光軸に対して可変にする構成が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２００８－５２９０８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記提案によって実視野を拡張するためには、対物レンズのサイズを大きくする必要がある。また、対物レンズを通過する部分の光路の傾きが変わることによる像面の歪みを補償するための補償光学系が必要となり、コストの大幅な増加につながる。

【0005】

本開示はこうした課題に鑑みてなされたものであり、その例示的な目的の一つは、光学顕微鏡の実視野を拡張する技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示のある態様の光学顕微鏡システムは、試料を支持するステージと、ステージ上の試料を照明する照明装置と、ステージ上でのｘ方向およびｙ方向の二次元座標が異なるように設定される複数の観察位置のいずれか一つからの観察光が入射する少なくとも一つのガルバノミラーと、少なくとも一つのガルバノミラーで反射された観察光が入射する対物レンズと、対物レンズを通過した観察光が入射する焦点可変レンズと、焦点可変レンズを通過した観察光を撮像して撮像画像を生成する撮像装置と、少なくとも一つのガルバノミラーを二軸で駆動して複数の観察位置を順に切り替えるミラー駆動機構と、複数の観察位置の切り替えによる各観察位置から対物レンズまでの観察光の光路の幾何学的距離の変化に応じて焦点可変レンズの焦点距離を切り替えるレンズ駆動機構と、複数の観察位置を撮像した複数の撮像画像に基づいて視野拡張画像を生成する制御装置と、を備える。

【0007】

本開示の別の態様は、光学顕微鏡を用いた視野拡張画像の生成方法である。光学顕微鏡は、試料を支持するステージと、ステージ上の試料を照明する照明装置と、ステージ上でのｘ方向およびｙ方向の二次元座標が異なるように設定される複数の観察位置のいずれか一つからの観察光が入射する少なくとも一つのガルバノミラーと、少なくとも一つのガルバノミラーで反射された観察光が入射する対物レンズと、対物レンズを通過した観察光が入射する焦点可変レンズと、焦点可変レンズを通過した観察光を撮像して撮像画像を生成する撮像装置と、を備える。この生成方法は、少なくとも一つのガルバノミラーを二軸で駆動して複数の観察位置を順に切り替えるステップと、複数の観察位置の切り替えによる各観察位置から対物レンズまでの観察光の光路の幾何学的距離の変化に応じて焦点可変レンズの焦点距離を切り替えるステップと、複数の観察位置を順に撮像して複数の撮像画像を生成するステップと、複数の撮像画像に基づいて視野拡張画像を生成するステップと、を備える。

【0008】

なお、以上の構成要素の任意の組み合わせや、本開示の構成要素や表現を方法、システムなどの間で相互に置換したものもまた、本開示の態様として有効である。

【発明の効果】

【0009】

本開示によれば、光学顕微鏡の実視野を拡張できる。

【図面の簡単な説明】

【0010】

【図1】実施の形態に係る光学顕微鏡システムの構成を模式的に示す図である。

【図2】第１ガルバノミラーおよび第２ガルバノミラーの配置を模式的に示す斜視図である。

【図3】複数の観察位置の配置を模式的に示す図である。

【図4】複数の撮像範囲の切り替え順序を模式的に示す図である。

【図5】全体拡張画像と部分拡張画像を模式的に示す図である。

【図6】表示装置に表示される画面例を模式的に示す図である。

【図7】観察位置に応じた観察光の光路の傾きの影響を模式的に示す図である。

【図8】実施の形態に係る視野拡張画像の生成方法を示すフローチャートである。

【発明を実施するための形態】

【0011】

まず、本開示の概要を説明する。本開示は、光学顕微鏡の実視野を拡張する技術に関する。光学顕微鏡の実視野は、観察対象の試料が見える範囲である。試料の実視野の大きさは、対物レンズの倍率Ｍ１、撮像レンズの倍率Ｍ２および撮像素子のサイズＳによって決まり、Ｓ／（Ｍ１×Ｍ２）となる。したがって、拡大倍率を固定した場合、実視野を大きくするには撮像素子のサイズＳを大きくしなければならない。一般的に流通する撮像素子のサイズは決まっているため、実視野を大きくするには特注サイズの撮像素子を用いる必要がある。また、撮像素子のサイズを大きくするには、撮像レンズのサイズも大きくする必要があり、コストの大幅な増加につながってしまう。

【0012】

本開示では、複数の観察位置を撮像した複数の撮像画像を生成し、複数の撮像画像をリアルタイムに合成することで視野拡張画像を生成する。本開示では、試料と対物レンズの間にガルバノミラーを配置し、ガルバノミラーを駆動することで複数の観察位置を高速に切り替え可能とする。特にガルバノミラーを二軸で駆動することで、ｘ方向およびｙ方向の二次元座標が異なる複数の観察位置を撮像できるようにする。また、撮像装置として高速度カメラを用いることで、視野拡張画像の生成に必要な複数の撮像画像を短時間で取得可能にする。さらに、観察位置の違いによる対物レンズの焦点位置のずれを抑制するために焦点可変レンズを使用する。観察位置に応じて焦点可変レンズの焦点距離を切り替えることで、複数の撮像画像のピントが合った状態とする。本開示のある実施例では、毎秒５００フレームのカメラを使用し、２５枚の撮像画像を組み合わせることで、実視野のｘ方向およびｙ方向の大きさを約５倍に拡張することができ、毎秒１７回のサイクルで視野拡張画像を更新できる。

【0013】

図１は、実施の形態に係る光学顕微鏡システム１０の構成を模式的に示す図である。光学顕微鏡システム１０は、倒立型の顕微鏡構成を有する。光学顕微鏡システム１０は、ステージ１２と、照明装置１４と、第１ガルバノミラー１６と、第２ガルバノミラー１８と、対物レンズ２０と、焦点可変レンズ２２と、撮像装置２４と、第１ミラー駆動機構２６と、第２ミラー駆動機構２８と、レンズ駆動機構３０と、制御装置３２とを備える。

【0014】

図１において、ステージ１２を基準とする座標系を設定している。ステージ１２の支持面１２ａに直交する方向をｚ方向とし、ステージ１２の支持面１２ａに平行な方向をｘ方向およびｙ方向としている。本明細書において、ｘ方向を横方向といい、ｙ方向を縦方向といい、ｚ方向を上下方向ということがある。

【0015】

ステージ１２は、試料４０を水平に支持するための支持面１２ａと、試料４０からの観察光４２を通過させるための開口１２ｂとを有する。観察対象とする試料４０は特に問わないが、ヒトや動物などの細胞を観察対象とすることができる。試料４０は、例えば、ガラスなどの透明材料で構成される試料皿３８に収容され、試料皿３８がステージ１２の上に配置される。

【0016】

ステージ１２の上方には、試料４０を操作するためのホールディングピペット４６およびインジェクションピペット４８が設けられる。例えば、ホールディングピペット４６を用いて細胞を固定し、インジェクションピペット４８を用いて細胞内への遺伝子導入などの細胞操作がなされる。このような細胞操作は、複数の細胞を対象として連続的に実行されることが一般的である。拡張された視野を提供することで、複数の細胞を同時に視認しつつ、操作対象となる細胞を適切な倍率に拡大して視認することが可能となり、細胞操作の利便性を高めることができる。

【0017】

照明装置１４は、ステージ１２の上方に設けられ、ステージ１２上の試料４０を照射する。照明装置１４は、試料４０に向けて白色光などの照明光４４を投射する。照明装置１４は、蛍光観察などのために選択された特定波長の可視光の照明光４４を投射可能であってもよい。照明装置１４は、例えば、ステージ１２上の照度分布が均一となる照明光４４を投射する。照明装置１４は、透過照明を提供するよう構成される。なお、反射照明を提供する照明装置が設けられてもよく、例えば、焦点可変レンズ２２と撮像装置２４の間に配置されるビームスプリッタを介して試料４０に向けて照明光が投射されてもよい。

【0018】

第１ガルバノミラー１６および第２ガルバノミラー１８は、ステージ１２の開口１２ｂの直下に設けられる。第１ガルバノミラー１６は、ｚ方向の軸まわりに回動するよう構成される。第２ガルバノミラー１８は、ｘ方向の軸まわりに回動するよう構成される。第２ガルバノミラー１８は、試料４０からの観察光４２を第１ガルバノミラー１６に向けて反射させるよう配置される。第１ガルバノミラー１６は、第２ガルバノミラー１８で反射された観察光４２を対物レンズ２０に向けて反射させるよう配置される。第１ガルバノミラー１６および第２ガルバノミラー１８の回動範囲は特に限られないが、例えば±１０度である。

【0019】

図２は、第１ガルバノミラー１６および第２ガルバノミラー１８の配置を模式的に示す斜視図である。図２では、分かりやすさのため、上下方向を図１とは逆にしている。第２ガルバノミラー１８は、ステージ１２の原点Ｏから－ｚ方向に第２距離ｄ２だけ離れた位置に配置されている。第１ガルバノミラー１６は、第２ガルバノミラー１８から第１距離ｄ１だけ－ｙ方向に離れた位置に配置されている。

【0020】

第１ガルバノミラー１６は、ステージ１２上の観察位置５０のｘ方向の位置を変化させる。第２ガルバノミラー１８は、ステージ１２上の観察位置５０のｙ方向の位置を変化させる。観察位置５０は、第２ガルバノミラー１８および第１ガルバノミラー１６にて反射されて対物レンズ２０に入射する観察光４２の出射位置に相当する。観察位置５０の二次元座標（ｘ，ｙ）は、原点Ｏを基準とすると、第１ガルバノミラー１６の第１回動角αおよび第２ガルバノミラー１８の第２回動角βを用いて、ｘ＝（ｄ１＋ｄ２）ｔａｎα、ｙ＝ｄ２ｔａｎβと記述することができる。

【0021】

観察位置５０が変化すると、観察位置５０から対物レンズ２０までの観察光４２の光路の幾何学的距離が変化する。具体的には、第１ガルバノミラー１６における観察光４２の第１反射点１６ａから第２ガルバノミラー１８における観察光４２の第２反射点１８ａまでの第１光路Ｌ１の幾何学的距離（つまり、長さ）と、第２反射点１８ａから観察位置５０までの第２光路Ｌ２の幾何学的距離（つまり、長さ）とが変化する。第１光路Ｌ１の長さは、ｄ１／ｃｏｓαであり、第２光路Ｌ２の長さは、ｄ２・√（１＋ｔａｎ^２α＋ｔａｎ^２β）である。

【0022】

本実施の形態では、一軸で駆動する第１ガルバノミラー１６と、一軸で駆動する第２ガルバノミラー１８とを組み合わせて用いることで、観察位置５０を二次元でスキャンするよう構成される。別の実施の形態では、二軸で駆動する１枚のガルバノミラーを用いて、観察位置５０を二次元でスキャンするようにしてもよい。したがって、光学顕微鏡システム１０は、少なくとも一つのガルバノミラーを備え、少なくとも一つのガルバノミラーを二軸で駆動することで、観察位置５０の二次元スキャンが実現されてもよい。少なくとも一つのガルバノミラーは、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーであってもよい。

【0023】

図１に戻り、対物レンズ２０は、第１ガルバノミラー１６からの観察光４２が入射する位置に配置される。対物レンズ２０は、第１ガルバノミラー１６から＋ｘ方向に離れた位置に配置される。対物レンズ２０は、比較的長い作動距離（ＷＤ；Working Distance）を有することが望ましい。対物レンズ２０の拡大倍率や作動距離などの仕様は特に限られないが、例えば、１０倍～５０倍の拡大倍率において２０ｍｍ～４０ｍｍの作動距離を有する超長作動タイプの対物レンズを用いることができる。

【0024】

焦点可変レンズ２２は、対物レンズ２０を通過した観察光４２が入射する位置に配置される。焦点可変レンズ２２は、対物レンズ２０と撮像装置２４の間に配置され、例えば対物レンズ２０に隣接または近接して配置される。焦点可変レンズ２２は、焦点距離が所定の範囲内で可変となるよう構成される。焦点可変レンズ２２は、正の屈折力のみを有する凸レンズであってもよいし、負の屈折力のみを有する凹レンズであってもよいし、正負の屈折力を切り替えできるように構成されてもよい。

【0025】

焦点可変レンズ２２は、例えば、液体レンズで構成され、液体レンズを封止する可撓性の透明膜を変形させることで焦点距離が可変となるよう構成される。透明膜の形状は、透明膜に加える圧力を変化させることで制御される。例えば、電磁アクチュエータや圧電素子を用いることで焦点可変レンズ２２の焦点距離を電気的に制御できる。焦点可変レンズ２２は、例えば、対物レンズ２０と焦点可変レンズ２２の組み合わせによる実効的な作動距離を２ｍｍ程度の範囲で可変にするよう構成される。

【0026】

撮像装置２４は、焦点可変レンズ２２を通過した観察光４２を撮像して撮像画像を生成する。撮像装置２４は、撮像レンズ２４ａと、撮像素子２４ｂとを有する。撮像レンズ２４ａは、観察光４２を撮像素子２４ｂに結像させる。撮像素子２４ｂは、ＣＭＯＳセンサなどの画像センサであり、高フレームレートで撮像画像を生成することが可能である。撮像装置２４のフレームレートは特に限られないが、毎秒１００フレーム以上であることが好ましく、毎秒５００フレーム以上または毎秒１，０００フレーム以上であることがより好ましい。

【0027】

撮像装置２４は、図２に示される観察位置５０を中心とする撮像範囲５２を撮像対象とする。撮像範囲５２の形状は、撮像素子２４ｂの形状に対応し、例えば矩形状である。一般的に流通する撮像素子２４ｂの形状は、縦方向のサイズと横方向のサイズが異なっており、縦方向のサイズよりも横方向のサイズが大きい。縦方向のサイズと横方向のサイズの比率は、例えば３：４や９：１６である。この場合、撮像範囲５２のｘ方向の幅ｗｘは、撮像範囲５２のｙ方向の幅ｗｙよりも大きく、ｘ方向の幅ｗｘとｙ方向の幅ｗｙの比率は、３：４や９：１６である。

【0028】

対物レンズ２０、焦点可変レンズ２２および撮像装置２４は、ｘ方向に延びる観察軸Ａに沿って配置され、例えばｘ方向に延びる鏡筒に対して固定される。なお、焦点可変レンズ２２と撮像装置２４の間に図示しない追加の反射鏡が設けられてもよく、観察軸Ａが途中で折り返される構成であってもよい。

【0029】

第１ミラー駆動機構２６は、第１ガルバノミラー１６を駆動し、第１ガルバノミラー１６の第１回動角αを制御する。第１ミラー駆動機構２６は、ステージ１２上での観察位置５０をｘ方向にスキャンさせるよう構成される。第２ミラー駆動機構２８は、第２ガルバノミラー１８を駆動し、第２ガルバノミラー１８の第２回動角βを制御する。第２ミラー駆動機構２８は、ステージ１２上での観察位置５０をｙ方向にスキャンさせるよう構成される。

【0030】

第１ミラー駆動機構２６および第２ミラー駆動機構２８は、撮像装置２４の撮像周期と同期して第１ガルバノミラー１６または第２ガルバノミラー１８の回動角α，βを変化させる。第１ミラー駆動機構２６および第２ミラー駆動機構２８は、撮像装置２４が撮像するフレーム中において第１ガルバノミラー１６または第２ガルバノミラー１８を静止させる。第１ミラー駆動機構２６および第２ミラー駆動機構２８は、撮像装置２４が撮像しないフレーム間のタイミングにおいて第１ガルバノミラー１６または第２ガルバノミラー１８を回動させて観察位置５０を切り替える。

【0031】

レンズ駆動機構３０は、焦点可変レンズ２２を駆動し、焦点可変レンズ２２の焦点距離を切り替える。レンズ駆動機構３０は、第１ミラー駆動機構２６および第２ミラー駆動機構２８と同期して動作し、ステージ１２上での観察位置５０に応じて焦点可変レンズ２２の焦点距離を変化させる。ステージ１２上での観察位置５０を変化させると、第１ガルバノミラー１６および第２ガルバノミラー１８で反射される観察光４２の光路の幾何学的距離が変化する。レンズ駆動機構３０は、観察位置５０の変化に応じて観察光４２の光路の幾何学的距離が変化することにより、対物レンズ２０の焦点位置と観察位置５０がずれて撮像画像のピントが合わなくなることを防ぐように焦点可変レンズ２２を動作させる。

【0032】

レンズ駆動機構３０は、観察位置５０が変化したとしても、観察位置５０が対物レンズ２０の被写界深度内に含まれるように対物レンズ２０の実効的な作動距離を調整する。レンズ駆動機構３０は、対物レンズ２０から観察位置５０までの観察光４２の光路の幾何学的距離と、対物レンズ２０の実効的な作動距離とが一致するように焦点可変レンズ２２を駆動することが好ましい。つまり、レンズ駆動機構３０は、観察位置５０の変化に応じた観察光４２の光路の幾何学的距離の変化量と、対物レンズ２０の実効的な作動距離の変化量とが一致するように焦点可変レンズ２２を駆動することが好ましい。

【0033】

制御装置３２は、光学顕微鏡システム１０の動作全般を制御する。制御装置３２は、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現される。制御装置３２は、例えば、汎用のパーソナルコンピュータにより構成される。制御装置３２は、液晶ディスプレイなどの表示装置３４と、キーボードやマウスなどの入力装置３６と接続されている。

【0034】

制御装置３２は、第１ミラー駆動機構２６および第２ミラー駆動機構２８の動作を制御し、複数の観察位置５０が所定の順序で切り替わるようにする。制御装置３２は、レンズ駆動機構３０の動作を制御し、観察位置５０の切り替えに応じて対物レンズ２０の実効的な作動距離を制御する。制御装置３２は、レンズ駆動機構３０の動作を制御することで、複数の観察位置５０のそれぞれにおいてピントの合った撮像画像が生成されるようにする。

【0035】

図３は、複数の観察位置５０の配置を模式的に示す図であり、複数の観察位置５０のそれぞれを中心とする複数の撮像範囲５２を図示している。複数の撮像範囲５２は、互いに重なり合うように設定され、複数の撮像範囲５２の間に隙間が生じないように複数の観察位置５０が定められる。図３に示す例では、２５個の観察位置５０が設定されている。撮像範囲５２の形状は、撮像素子２４ｂの形状に対応した矩形状である。

【0036】

複数の観察位置５０は、基準観察位置５０ａと、複数の第１周囲観察位置５０ｂと、複数の第２周囲観察位置５０ｃとを含む。基準観察位置５０ａは、図２の原点Ｏに相当する。複数の第１周囲観察位置５０ｂは、基準観察位置５０ａの周囲に設定される。図示する例では、８箇所の第１周囲観察位置５０ｂが設定されている。複数の第２周囲観察位置５０ｃは、第１周囲観察位置５０ｂの周囲に設定される。図示する例では、１６箇所の第２周囲観察位置５０ｃが設定されている。なお、複数の第２周囲観察位置５０ｃの周囲にさらに追加の周囲観察位置が設定されてもよい。

【0037】

複数の撮像範囲５２は、基準撮像範囲５２ａと、複数の第１周囲撮像範囲５２ｂと、複数の第２周囲撮像範囲５２ｃとを含む。基準撮像範囲５２ａは、基準観察位置５０ａを中心とした矩形状の範囲であり、図３において太線枠で示される。第１周囲撮像範囲５２ｂは、第１周囲観察位置５０ｂを中心とした矩形状の範囲であり、図３において細線枠で示される。第１周囲撮像範囲５２ｂは、基準撮像範囲５２ａと隣接または重複するように設定される。第２周囲撮像範囲５２ｃは、第２周囲観察位置５０ｃを中心とした矩形状の範囲であり、図３において破線枠で示される。第２周囲撮像範囲５２ｃは、第１周囲撮像範囲５２ｂと隣接または重複するように設定される。

【0038】

複数の第１周囲観察位置５０ｂは、観察光４２の光路の幾何学的距離が互いに共通となるように設定される。つまり、複数の第１周囲観察位置５０ｂのそれぞれにおいて、図２に示される第１光路Ｌ１と第２光路Ｌ２の合計の長さが同じとなる。同様に、複数の第２周囲観察位置５０ｃは、観察光４２の光路の幾何学的距離が互いに共通となるように設定される。光路の長さが同じとなる複数の観察位置５０は、例えば、原点Ｏを中心とする円弧上または楕円弧上に存在する。したがって、複数の第１周囲観察位置５０ｂは、基準観察位置５０ａを中心とする円弧上または楕円弧上に設定される。同様に、複数の第２周囲観察位置５０ｃは、基準観察位置５０ａを中心とする円弧上または楕円弧上に設定される。

【0039】

光路の長さが同じとなる円弧または楕円弧の形状は、図２の第１距離ｄ１と第２距離ｄ２の大小関係によって決まる。第１距離ｄ１と第２距離ｄ２が等しい場合（ｄ１＝ｄ２）、光路の長さが同じとなる複数の観察位置５０は、円弧上に存在する。一方、第１距離ｄ１と第２距離ｄ２が等しくない場合（ｄ１≠ｄ２）、光路の長さが同じとなる複数の観察位置５０は、楕円弧上に存在する。第１距離ｄ１が第２距離ｄ２よりも大きい場合（ｄ１＞ｄ２）、ｘ方向が長軸、ｙ方向が短軸となる楕円弧となる。第１距離ｄ１が第２距離ｄ２よりも小さい場合（ｄ１＜ｄ２）、ｘ方向が短軸、ｙ方向が長軸となる楕円弧となる。図２および図３の例では、ｄ１＞ｄ２とし、ｘ方向が長軸、ｙ方向が短軸となる楕円弧上の複数の観察位置５０において光路の長さが共通となる。

【0040】

図３の例では、撮像範囲５２のｘ方向の幅を撮像範囲５２のｙ方向の幅よりも大きくしている。つまり、光路の長さが同じとなる楕円弧の形状と対応させて、楕円の長軸方向（つまりｘ方向）の幅を大きくし、楕円の短軸方向（つまりｙ方向）の幅を小さくしている。撮像範囲５２の形状と、光路の長さが同じとなる楕円弧の形状とを対応させることで、複数の撮像範囲５２を効率的に配置することができる。

【0041】

なお、複数の第１周囲観察位置５０ｂは、光路の長さが同じとなる円弧上または楕円弧上に厳密に配置されていなくてもよく、円弧または楕円弧から多少ずれて配置されてもよい。例えば、複数の第１周囲撮像範囲５２ｂが円弧または楕円弧と重なるように複数の第１周囲観察位置５０ｂが設定されてもよい。複数の第２周囲観察位置５０ｃについても同様であり、例えば、複数の第２周囲撮像範囲５２ｃが円弧または楕円弧と重なるように複数の第２周囲観察位置５０ｃが設定されてもよい。

【0042】

図４は、複数の撮像範囲５２の切り替え順序を模式的に示す図である。複数の撮像範囲５２は、矢印Ｂで示されるように螺旋状に順番に切り替えされる。まず、基準観察位置５０ａに切り替えされて基準撮像範囲５２ａが撮像される。次に、第１周囲観察位置５０ｂに切り替えされ、複数の第１周囲観察位置５０ｂを円弧または楕円弧に沿って順番に切り替えていくことで複数の第１周囲撮像範囲５２ｂが撮像される。複数の第１周囲撮像範囲５２ｂの全てが撮像されると、次に第２周囲観察位置５０ｃに切り替えされ、複数の第２周囲観察位置５０ｃを円弧または楕円弧に沿って順番に切り替えていくことで複数の第２周囲撮像範囲５２ｃが撮像される。これにより、全ての撮像範囲５２が撮像され、撮像の１サイクルが完了する。

【0043】

複数の撮像範囲５２を撮像するサイクルは繰り返し実行される。複数の第２周囲撮像範囲５２ｃの全てが撮像されると、次に基準観察位置５０ａに切り替えされて基準撮像範囲５２ａが撮像され、次の撮像サイクルが実行される。円弧または楕円弧に沿って螺旋状に観察位置５０を切り替えることで、光路の長さが同じとなる複数の撮像範囲５２ｂまたは５２ｃを連続的に撮像できる。その結果、焦点可変レンズ２２の焦点距離を切り替える回数を少なくすることができ、より高速な切り替えを実現できる。なお、図４の切り替え順は一例にすぎず、図４とは逆の順序で複数の撮像範囲５２が切り替えされてもよい。

【0044】

制御装置３２は、撮像装置２４が生成する撮像画像を取得して画像処理を施す。制御装置３２は、複数の観察位置５０のそれぞれの撮像範囲５２を撮像した複数の撮像画像を組み合わせて視野拡張画像を生成し、表示装置３４に表示させる。制御装置３２は、全ての観察位置５０に対応する複数の撮像画像を組み合わせた全体拡張画像を生成してもよい。制御装置３２は、全体拡張画像の一部を切り出した部分拡張画像を生成してもよい。部分拡張画像の切り出し範囲は、例えば、入力装置３６からの入力操作に基づいて任意に指定できてもよい。部分拡張画像は、一つの撮像画像のみに基づいて生成されてもよいし、複数の撮像画像に基づいて生成されてもよい。制御装置３２は、全体拡張画像と部分拡張画像を同時に生成して表示装置３４に表示させてもよい。

【0045】

図５は、全体拡張画像５６と部分拡張画像５８を模式的に示す図である。全体拡張画像５６は、図３の複数の撮像範囲５２のそれぞれを撮像した複数の撮像画像５４の全てを組み合わせることで生成される。複数の撮像画像５４は、各観察位置５０に対応する位置に配置されて互いに重畳される。制御装置３２は、互いに重なり合った複数の撮像画像５４を合成することで全体拡張画像５６を生成する。二以上の撮像画像５４が重なり合う部分について、アルファブレンディングなどの技術を用いて二以上の撮像画像５４を合成してもよいし、いずれか一つの撮像画像５４のみを優先して用いてもよい。いずれか一つの撮像画像５４のみを用いる場合、基準観察位置５０ａからの距離が近い画像を優先してもよいし、撮像タイミングが新しい画像を優先してもよい。部分拡張画像５８は、全体拡張画像５６の一部を任意に切り出すことで生成される。図５では、部分拡張画像５８の切り出し範囲を一点鎖線で示している。

【0046】

図６は、表示装置３４に表示される画面例を模式的に示す図である。図６の例では、全体拡張画像５６と部分拡張画像５８が同時に表示装置３４に表示されている。全体拡張画像５６には、部分拡張画像５８の切り出し範囲を示す枠６０が重畳して表示されている。例えば、枠６０の位置や大きさをマウスなどの入力装置３６を用いて変更することで、部分拡張画像５８として表示される切り出し範囲の位置や大きさが変更される。制御装置３２は、全体拡張画像５６を生成しているため、切り出し範囲の位置や大きさの異なる部分拡張画像５８をリアルタイムで生成できる。つまり、ステージ１２を動かして観察位置を変更したり、レンズを交換して拡大倍率を変更したりすることなく、実視野の位置、範囲および拡大倍率の変更をソフトウェアの処理で実現できる。

【0047】

制御装置３２は、部分拡張画像５８を生成する場合、複数の撮像範囲５２の切り替えパターンを変更してもよい。例えば、部分拡張画像５８に含まれる撮像範囲５２への切り替え頻度を相対的に高くし、部分拡張画像５８に含まれない撮像範囲５２への切り替え頻度を相対的に低くしてもよい。例えば、全ての撮像範囲５２を撮像するための１サイクルにおいて、部分拡張画像５８に含まれる撮像範囲５２への切り替え回数を２回以上とし、部分拡張画像５８に含まれない撮像範囲５２への切り替え回数を１回のみとしてもよい。部分拡張画像５８に含まれない撮像範囲５２への切り替え頻度を高めることで、部分拡張画像５８の更新頻度を高めることができ、部分拡張画像５８を視認しながらの作業の利便性を高めることができる。

【0048】

制御装置３２は、各撮像範囲５２を撮像した撮像画像５４をそのまま利用するのではなく、撮像画像５４に対して所定の画像処理を施した上で全体拡張画像５６や部分拡張画像５８の生成に使用してもよい。制御装置３２は、撮像画像５４がステージ１２の支持面１２ａに対して斜めに撮像されることによる画像の歪みを補正してもよい。制御装置３２は、撮像画像５４がステージ１２の支持面１２ａに対して斜めに撮像されることによって撮像画像５４の中央部と外周部のピント位置がｚ方向にずれる影響を補正してもよい。制御装置３２は、例えば、試料４０とピントが合っている撮像画像５４の中央部のみを切り出して全体拡張画像５６や部分拡張画像５８の生成に使用してもよい。

【0049】

図７は、観察位置５０ａ，５０ｂ，５０ｃに応じた観察光４２ａ，４２ｂ，４２ｃの光路の傾きの影響を模式的に示す図である。図７は、図１の試料４０の近傍を拡大しており、観察光４２ａ～４２ｃの光路のｘ方向の傾きを示している。また、各観察位置５０ａ～５０ｃにおける撮像範囲５２ａ，５２ｂ，５２ｃのｘ方向の幅ｗｘおよびｚ方向の幅ｗｚを示している。撮像範囲５２ａ～５２ｃのｚ方向の幅ｗｚは、ピントが合う深さ方向の範囲であり、対物レンズ２０の被写界深度に対応する。

【0050】

基準観察位置５０ａでは、観察光４２ａはｚ方向に平行であり、ステージ１２の支持面１２ａに対して傾いていない。そのため、基準撮像範囲５２ａを撮像した撮像画像５４は、補正する必要がない。一方、第１周囲観察位置５０ｂや第２周囲観察位置５０ｃでは、観察光４２ａはｚ方向に対してｘ方向に角度α１またはα２で傾いている。そのため、第１周囲撮像範囲５２ｂや第２周囲撮像範囲５２ｃを撮像した撮像画像５４は、傾きに応じた補正処理がなされることが好ましい。

【0051】

第１の補正処理として、撮像画像５４が試料４０に対して斜めに撮像されることによる画像の歪みを補正してもよい。例えば、第１周囲観察位置５０ｂでは、観察光４２ｂの光路に直交する平面からｚ方向に直交する平面への座標変換をし、第１周囲撮像範囲５２ｂを撮像した撮像画像５４をステージ１２の支持面１２ａに射影することで、画像の歪みを補正できる。なお、第１周囲観察位置５０ｂにおける観察光４２ｂの光路は、ｚ方向に対してｙ方向に角度β１（不図示）で傾いている場合がある。その場合、ｘ方向の角度α１およびｙ方向の角度β１の傾きの双方を補正することが好ましい。同様に、第２周囲観察位置５０ｃでは、観察光４２ｃの光路の傾きのｘ方向の角度α２およびｙ方向の角度β２（不図示）に基づいて第１の補正処理がなされてもよい。

【0052】

第２の補正処理として、試料４０とピントが合っている撮像画像５４の中央部のみを切り出してもよい。例えば、第１周囲観察位置５０ｂでは、試料４０の厚みｔと第１周囲撮像範囲５２ｂが重なる第１範囲Ｗｂのみが切り出されてもよい。第１範囲Ｗｂのｘ方向の幅は、試料４０の厚さｔ、対物レンズ２０の被写界深度ｗｚおよび第１周囲観察位置５０ｂにおける観察光４２ｂの光路のｘ方向の傾きの角度α１を用いて幾何的に算出できる。なお、第１周囲観察位置５０ｂにおける観察光４２ｂの光路は、ｚ方向に対してｙ方向に角度β１で傾いている場合がある。その場合、第１範囲Ｗｂのｙ方向の幅は、試料４０の厚さｔ、対物レンズ２０の被写界深度Ｄおよび第１周囲観察位置５０ｂにおける観察光４２ｂの光路のｙ方向の傾きの角度β１を用いて幾何的に算出できる。同様に、第２周囲観察位置５０ｃでは、観察光４２ｃの光路の傾きのｘ方向の角度α２およびｙ方向の角度β２に基づいて、試料４０の厚みｔと第２周囲撮像範囲５２ｃが重なる第２範囲Ｗｃのみが切り出されてもよい。

【0053】

上述の第２の補正処理がなされる場合、撮像画像５４の切り出し範囲Ｗｂ，Ｗｃに応じて第１周囲観察位置５０ｂおよび第２周囲観察位置５０ｃの配置が設定されることが好ましい。具体的には、撮像画像５４の切り出し範囲Ｗｂ，Ｗｃが互いに隣接または重複するように第１周囲観察位置５０ｂおよび第２周囲観察位置５０ｃの配置が設定されることが好ましい。これにより、複数の撮像画像５４の一部を切り出した画像に基づいて視野拡張画像を生成した場合に、撮像できていない空白の領域の発生を防止できる。

【0054】

つづいて、光学顕微鏡システム１０の動作の流れを説明する。図８は、実施の形態に係る視野拡張画像の生成方法を示すフローチャートである。まず、少なくとも一つのガルバノミラーを駆動して観察位置５０を切り替える（Ｓ１０）。観察位置５０の切り替えの前後で観察光４２の光路の長さが変化していれば（Ｓ１２のＹ）、焦点可変レンズ２２の焦点距離を切り替える（Ｓ１４）。Ｓ１２において光路の長さが変化していなければ（Ｓ１２のＮ）、Ｓ１４の処理をスキップする。次に、切り替え後の観察位置５０を撮像装置２４で撮像して撮像画像５４を生成する（Ｓ１６）。撮像画像５４の補正が必要であれば（Ｓ１８のＹ）、観察位置５０に応じて撮像画像５４を補正する（Ｓ２０）。撮像画像５４の補正が不要であれば（Ｓ１８のＮ）、Ｓ２０の処理をスキップする。つづいて、補正前または補正後の撮像画像５４を用いて視野拡張画像を生成し（Ｓ２４）、生成した視野拡張画像を表示装置３４に表示する（Ｓ２４）。

【0055】

図８のＳ１０～Ｓ２４の処理は、繰り返し実行される。例えば、図４に示される所定の順序に基づいて複数の観察位置５０が順番に切り替えされ、複数の観察位置５０を撮像した複数の撮像画像５４が生成され、複数の撮像画像５４に基づいて視野拡張画像が生成される。複数の観察位置５０の全体に対応する視野拡張画像の生成後は、新たに撮像した撮像画像５４に基づいて、視野拡張画像の一部領域の表示が更新される。

【0056】

本実施の形態の一例によれば、撮像装置２４は毎秒５００フレームの撮像周期で２ミリ秒ごとに撮像画像５４を生成する。複数の観察位置５０は、撮像周期と同期して２ミリ秒ごとに切り替えされ、第１ガルバノミラー１６および第２ガルバノミラー１８は、２ミリ秒ごとに駆動される。一方、焦点可変レンズ２２は、２ミリ秒ごとに駆動されなくてもよい。例えば、８箇所の第１周囲観察位置５０ｂの全てを撮像するために必要な１６ミリ秒間は、焦点可変レンズ２２の焦点距離が固定されてもよい。同様に、１６箇所の第２周囲観察位置５０ｃの全てを撮像するために必要な３２ミリ秒間は、焦点可変レンズ２２の焦点距離が固定されてもよい。焦点可変レンズ２２の焦点距離の切り替えは、基準観察位置５０ａから第１周囲観察位置５０ｂへの切り替え時、第１周囲観察位置５０ｂから第２周囲観察位置５０ｃへの切り替え時および第２周囲観察位置５０ｃから基準観察位置５０ａの切り替え時のみに実行されてもよい。

【0057】

焦点可変レンズ２２の応答速度は、撮像装置２４の撮像周期と同程度に高速であることが好ましいが、一般的に入手可能な焦点可変レンズ２２の場合、撮像装置２４の撮像周期（例えば２ミリ秒）を実現できないことがある。焦点可変レンズ２２の応答速度の一例は、４ミリ秒程度である。この場合、観察位置５０の２ミリ秒ごとの切り替えと同期して焦点可変レンズ２２を駆動することはできず、焦点可変レンズ２２の焦点距離の切り替えが完了するまで観察位置５０の切り替えを待つ必要がある。したがって、図８のＳ１４の処理では、焦点可変レンズ２２の焦点距離の切り替えが完了するまでの４ミリ秒間において、観察位置５０が切り替えされずに固定されてもよい。焦点可変レンズ２２の焦点距離の切り替え中に撮像装置２４が撮像した撮像画像５４は、視野拡張画像の生成に使用されなくてもよい。

【0058】

本実施の形態によれば、１回の撮像サイクルにおける観察位置５０の切り替え回数（例えば２５回）に比べて、焦点可変レンズ２２の焦点距離の切り替え回数（例えば３回）を大幅に少なくできる。その結果、焦点可変レンズ２２の焦点距離の切り替えに必要な待ち時間を最小化することができ、より高速な観察位置５０の切り替えが可能となり、視野拡張画像の全体が更新される間隔を短くできる。視野拡張画像を高頻度で更新することで、細胞操作などのリアルタイム表示が必要となる用途に対して、適切な視野拡張画像を提供することができる。

【0059】

以上、本開示を実施の形態にもとづいて説明した。本開示は上記実施の形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本開示の範囲にあることは、当業者に理解されるところである。

【符号の説明】

【0060】

１０…光学顕微鏡システム、１２…ステージ、１４…照明装置、１６…第１ガルバノミラー、１８…第２ガルバノミラー、２０…対物レンズ、２２…焦点可変レンズ、２４…撮像装置、２６…第１ミラー駆動機構、２８…第２ミラー駆動機構、３０…レンズ駆動機構、３２…制御装置、３４…表示装置、３６…入力装置、４０…試料、４２…観察光、４４…照明光、５０…観察位置、５０ａ…基準観察位置、５０ｂ…第１周囲観察位置、５０ｃ…第２周囲観察位置、５２…撮像範囲、５２ａ…基準撮像範囲、５２ｂ…第１周囲撮像範囲、５２ｃ…第２周囲撮像範囲、５４…撮像画像、５６…全体拡張画像、５８…部分拡張画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】