IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人名古屋大学の特許一覧

特許7473191光学顕微鏡システムおよび視野拡張画像の生成方法
<>
  • 特許-光学顕微鏡システムおよび視野拡張画像の生成方法 図1
  • 特許-光学顕微鏡システムおよび視野拡張画像の生成方法 図2
  • 特許-光学顕微鏡システムおよび視野拡張画像の生成方法 図3
  • 特許-光学顕微鏡システムおよび視野拡張画像の生成方法 図4
  • 特許-光学顕微鏡システムおよび視野拡張画像の生成方法 図5
  • 特許-光学顕微鏡システムおよび視野拡張画像の生成方法 図6
  • 特許-光学顕微鏡システムおよび視野拡張画像の生成方法 図7
  • 特許-光学顕微鏡システムおよび視野拡張画像の生成方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-15
(45)【発行日】2024-04-23
(54)【発明の名称】光学顕微鏡システムおよび視野拡張画像の生成方法
(51)【国際特許分類】
   G02B 21/00 20060101AFI20240416BHJP
   G01N 21/17 20060101ALI20240416BHJP
   G02B 21/36 20060101ALI20240416BHJP
   H04N 23/55 20230101ALI20240416BHJP
   H04N 23/56 20230101ALI20240416BHJP
   H04N 23/58 20230101ALI20240416BHJP
   H04N 23/698 20230101ALI20240416BHJP
【FI】
G02B21/00
G01N21/17 A
G02B21/36
H04N23/55
H04N23/56
H04N23/58
H04N23/698
【請求項の数】 10
(21)【出願番号】P 2020135876
(22)【出願日】2020-08-11
(65)【公開番号】P2022032268
(43)【公開日】2022-02-25
【審査請求日】2023-06-16
【新規性喪失の例外の表示】特許法第30条第2項適用 ロボティクス・メカトロニクス講演会2020 in Kanazawa、オンライン予稿集、令和2年5月27日(掲載日) ロボティクス・メカトロニクス講演会2020 in Kanazawa、オンラインポスター発表、令和2年5月28日(発表日)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成30年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「人とマクロ世界のインタラクション技術の開発」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504139662
【氏名又は名称】国立大学法人東海国立大学機構
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】青山 忠義
(72)【発明者】
【氏名】竹野 更宇
【審査官】森内 正明
(56)【参考文献】
【文献】特開2013-88530(JP,A)
【文献】特開2006-343595(JP,A)
【文献】中国特許出願公開第111258045(CN,A)
【文献】特開2000-171719(JP,A)
【文献】特表2007-503623(JP,A)
【文献】特表2004-531729(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/17
G02B 21/00 - 21/36
H04N 5/222 - 5/257
H04N 23/00
H04N 23/40 - 23/76
H04N 23/90 - 23/959
(57)【特許請求の範囲】
【請求項1】
試料を支持するステージと、
前記ステージ上の前記試料を照明する照明装置と、
前記ステージ上でのx方向およびy方向の二次元座標が異なるように設定される複数の観察位置のいずれか一つからの観察光が入射する少なくとも一つのガルバノミラーと、
前記少なくとも一つのガルバノミラーで反射された前記観察光が入射する対物レンズと、
前記対物レンズを通過した前記観察光が入射する焦点可変レンズと、
前記焦点可変レンズを通過した前記観察光を撮像して撮像画像を生成する撮像装置と、
前記少なくとも一つのガルバノミラーを二軸で駆動して前記複数の観察位置を順に切り替えるミラー駆動機構と、
前記複数の観察位置の切り替えによる各観察位置から前記対物レンズまでの前記観察光の光路の幾何学的距離の変化に応じて前記焦点可変レンズの焦点距離を変化させるレンズ駆動機構と、
前記複数の観察位置を撮像した複数の撮像画像に基づいて視野拡張画像を生成する制御装置と、を備えることを特徴とする光学顕微鏡システム。
【請求項2】
前記ミラー駆動機構は、前記撮像装置の撮像周期と同期して前記複数の観察位置を順に切り替えることを特徴とする請求項1に記載の光学顕微鏡システム。
【請求項3】
前記複数の観察位置は、基準観察位置と、前記基準観察位置の周囲に設定される複数の周囲観察位置とを含み、
前記ミラー駆動機構は、前記複数の周囲観察位置を順に切り替えする前または後に前記基準観察位置に切り替えることを特徴とする請求項1または2に記載の光学顕微鏡システム。
【請求項4】
前記複数の周囲観察位置は、各観察位置から前記対物レンズまでの前記観察光の光路の幾何学的距離が互いに共通となるように設定されることを特徴とする請求項3に記載の光学顕微鏡システム。
【請求項5】
前記複数の周囲観察位置は、前記基準観察位置を中心とする円弧上または楕円弧上に設定されることを特徴とする請求項3または4に記載の光学顕微鏡システム。
【請求項6】
前記撮像装置は、各観察位置を中心とし、前記x方向の幅が前記y方向の幅よりも大きい矩形範囲を撮像対象とするよう構成され、
前記複数の周囲観察位置は、前記x方向が長軸、前記y方向が横軸となる楕円弧上に設定されることを特徴とする請求項5に記載の光学顕微鏡システム。
【請求項7】
前記少なくとも一つのガルバノミラーは、前記ステージのz方向の軸まわりに回動する第1ガルバノミラーと、前記x方向の軸まわりに回動する第2ガルバノミラーとを含み、前記第1ガルバノミラーは、前記第2ガルバノミラーで反射された観察光を前記対物レンズに向けて反射するよう配置され、
前記第1ガルバノミラーから前記第2ガルバノミラーまでの第1距離は、前記第2ガルバノミラーから前記ステージ上の前記試料までの第2距離よりも長いことを特徴とする請求項6に記載の光学顕微鏡システム。
【請求項8】
前記制御装置は、前記複数の撮像画像のそれぞれの少なくとも一部の範囲を切り出した複数の画像を組み合わせて前記視野拡張画像を生成し、
前記制御装置は、各観察位置における前記観察光の光路の傾きに応じて、各観察位置に対応する撮像画像の切り出し範囲を変化させることを特徴とする請求項1から7のいずれか一項に記載の光学顕微鏡システム。
【請求項9】
前記制御装置は、前記複数の撮像画像の全てに基づいて全体拡張画像を生成し、前記複数の撮像画像の少なくとも一つに基づいて部分拡張画像を生成し、前記全体拡張画像および前記部分拡張画像を表示装置に同時に表示させることを可能とし、
前記ミラー駆動機構は、前記部分拡張画像に含まれる観察位置に切り替える頻度を前記部分拡張画像に含まれない観察位置に切り替えるよりも高くすることを特徴とする請求項1から8のいずれか一項に記載の光学顕微鏡システム。
【請求項10】
光学顕微鏡を用いた視野拡張画像の生成方法であって、前記光学顕微鏡は、
試料を支持するステージと、
前記ステージ上の前記試料を照明する照明装置と、
前記ステージ上でのx方向およびy方向の二次元座標が異なるように設定される複数の観察位置のいずれか一つからの観察光が入射する少なくとも一つのガルバノミラーと、
前記少なくとも一つのガルバノミラーで反射された前記観察光が入射する対物レンズと、
前記対物レンズを通過した前記観察光が入射する焦点可変レンズと、
前記焦点可変レンズを通過した前記観察光を撮像して撮像画像を生成する撮像装置と、を備え、
前記生成方法は、
前記少なくとも一つのガルバノミラーを二軸で駆動して前記複数の観察位置を順に切り替えるステップと、
前記複数の観察位置の切り替えによる各観察位置から前記対物レンズまでの前記観察光の光路の幾何学的距離の変化に応じて前記焦点可変レンズの焦点距離を切り替えるステップと、
前記複数の観察位置を順に撮像して複数の撮像画像を生成するステップと、
前記複数の撮像画像に基づいて視野拡張画像を生成するステップと、を備えることを特徴とする視野拡張画像の生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、光学顕微鏡に関する。
【背景技術】
【0002】
光学顕微鏡は、試料を拡大して観察するために広く使用されている。近年では、対物レンズおよび撮像レンズによって拡大された光学像を撮像素子を用いて撮像し、試料の画像データを取得する構成が一般的に用いられている。光学顕微鏡の実視野の大きさは、対物レンズの倍率、撮像レンズの倍率および撮像素子のサイズで決まり、拡大倍率を変えずに実視野を広げるためには撮像レンズや撮像素子のサイズを大きくする必要がある。実視野を拡張する別の手法として、対物レンズと撮像レンズの間にステアリングミラーを設け、試料から撮像素子に向かう光路のうち対物レンズを通過する部分の光軸の傾きを対物レンズの光軸に対して可変にする構成が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表2008-529082号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記提案によって実視野を拡張するためには、対物レンズのサイズを大きくする必要がある。また、対物レンズを通過する部分の光路の傾きが変わることによる像面の歪みを補償するための補償光学系が必要となり、コストの大幅な増加につながる。
【0005】
本開示はこうした課題に鑑みてなされたものであり、その例示的な目的の一つは、光学顕微鏡の実視野を拡張する技術を提供することにある。
【課題を解決するための手段】
【0006】
本開示のある態様の光学顕微鏡システムは、試料を支持するステージと、ステージ上の試料を照明する照明装置と、ステージ上でのx方向およびy方向の二次元座標が異なるように設定される複数の観察位置のいずれか一つからの観察光が入射する少なくとも一つのガルバノミラーと、少なくとも一つのガルバノミラーで反射された観察光が入射する対物レンズと、対物レンズを通過した観察光が入射する焦点可変レンズと、焦点可変レンズを通過した観察光を撮像して撮像画像を生成する撮像装置と、少なくとも一つのガルバノミラーを二軸で駆動して複数の観察位置を順に切り替えるミラー駆動機構と、複数の観察位置の切り替えによる各観察位置から対物レンズまでの観察光の光路の幾何学的距離の変化に応じて焦点可変レンズの焦点距離を切り替えるレンズ駆動機構と、複数の観察位置を撮像した複数の撮像画像に基づいて視野拡張画像を生成する制御装置と、を備える。
【0007】
本開示の別の態様は、光学顕微鏡を用いた視野拡張画像の生成方法である。光学顕微鏡は、試料を支持するステージと、ステージ上の試料を照明する照明装置と、ステージ上でのx方向およびy方向の二次元座標が異なるように設定される複数の観察位置のいずれか一つからの観察光が入射する少なくとも一つのガルバノミラーと、少なくとも一つのガルバノミラーで反射された観察光が入射する対物レンズと、対物レンズを通過した観察光が入射する焦点可変レンズと、焦点可変レンズを通過した観察光を撮像して撮像画像を生成する撮像装置と、を備える。この生成方法は、少なくとも一つのガルバノミラーを二軸で駆動して複数の観察位置を順に切り替えるステップと、複数の観察位置の切り替えによる各観察位置から対物レンズまでの観察光の光路の幾何学的距離の変化に応じて焦点可変レンズの焦点距離を切り替えるステップと、複数の観察位置を順に撮像して複数の撮像画像を生成するステップと、複数の撮像画像に基づいて視野拡張画像を生成するステップと、を備える。
【0008】
なお、以上の構成要素の任意の組み合わせや、本開示の構成要素や表現を方法、システムなどの間で相互に置換したものもまた、本開示の態様として有効である。
【発明の効果】
【0009】
本開示によれば、光学顕微鏡の実視野を拡張できる。
【図面の簡単な説明】
【0010】
図1】実施の形態に係る光学顕微鏡システムの構成を模式的に示す図である。
図2】第1ガルバノミラーおよび第2ガルバノミラーの配置を模式的に示す斜視図である。
図3】複数の観察位置の配置を模式的に示す図である。
図4】複数の撮像範囲の切り替え順序を模式的に示す図である。
図5】全体拡張画像と部分拡張画像を模式的に示す図である。
図6】表示装置に表示される画面例を模式的に示す図である。
図7】観察位置に応じた観察光の光路の傾きの影響を模式的に示す図である。
図8】実施の形態に係る視野拡張画像の生成方法を示すフローチャートである。
【発明を実施するための形態】
【0011】
まず、本開示の概要を説明する。本開示は、光学顕微鏡の実視野を拡張する技術に関する。光学顕微鏡の実視野は、観察対象の試料が見える範囲である。試料の実視野の大きさは、対物レンズの倍率M1、撮像レンズの倍率M2および撮像素子のサイズSによって決まり、S/(M1×M2)となる。したがって、拡大倍率を固定した場合、実視野を大きくするには撮像素子のサイズSを大きくしなければならない。一般的に流通する撮像素子のサイズは決まっているため、実視野を大きくするには特注サイズの撮像素子を用いる必要がある。また、撮像素子のサイズを大きくするには、撮像レンズのサイズも大きくする必要があり、コストの大幅な増加につながってしまう。
【0012】
本開示では、複数の観察位置を撮像した複数の撮像画像を生成し、複数の撮像画像をリアルタイムに合成することで視野拡張画像を生成する。本開示では、試料と対物レンズの間にガルバノミラーを配置し、ガルバノミラーを駆動することで複数の観察位置を高速に切り替え可能とする。特にガルバノミラーを二軸で駆動することで、x方向およびy方向の二次元座標が異なる複数の観察位置を撮像できるようにする。また、撮像装置として高速度カメラを用いることで、視野拡張画像の生成に必要な複数の撮像画像を短時間で取得可能にする。さらに、観察位置の違いによる対物レンズの焦点位置のずれを抑制するために焦点可変レンズを使用する。観察位置に応じて焦点可変レンズの焦点距離を切り替えることで、複数の撮像画像のピントが合った状態とする。本開示のある実施例では、毎秒500フレームのカメラを使用し、25枚の撮像画像を組み合わせることで、実視野のx方向およびy方向の大きさを約5倍に拡張することができ、毎秒17回のサイクルで視野拡張画像を更新できる。
【0013】
図1は、実施の形態に係る光学顕微鏡システム10の構成を模式的に示す図である。光学顕微鏡システム10は、倒立型の顕微鏡構成を有する。光学顕微鏡システム10は、ステージ12と、照明装置14と、第1ガルバノミラー16と、第2ガルバノミラー18と、対物レンズ20と、焦点可変レンズ22と、撮像装置24と、第1ミラー駆動機構26と、第2ミラー駆動機構28と、レンズ駆動機構30と、制御装置32とを備える。
【0014】
図1において、ステージ12を基準とする座標系を設定している。ステージ12の支持面12aに直交する方向をz方向とし、ステージ12の支持面12aに平行な方向をx方向およびy方向としている。本明細書において、x方向を横方向といい、y方向を縦方向といい、z方向を上下方向ということがある。
【0015】
ステージ12は、試料40を水平に支持するための支持面12aと、試料40からの観察光42を通過させるための開口12bとを有する。観察対象とする試料40は特に問わないが、ヒトや動物などの細胞を観察対象とすることができる。試料40は、例えば、ガラスなどの透明材料で構成される試料皿38に収容され、試料皿38がステージ12の上に配置される。
【0016】
ステージ12の上方には、試料40を操作するためのホールディングピペット46およびインジェクションピペット48が設けられる。例えば、ホールディングピペット46を用いて細胞を固定し、インジェクションピペット48を用いて細胞内への遺伝子導入などの細胞操作がなされる。このような細胞操作は、複数の細胞を対象として連続的に実行されることが一般的である。拡張された視野を提供することで、複数の細胞を同時に視認しつつ、操作対象となる細胞を適切な倍率に拡大して視認することが可能となり、細胞操作の利便性を高めることができる。
【0017】
照明装置14は、ステージ12の上方に設けられ、ステージ12上の試料40を照射する。照明装置14は、試料40に向けて白色光などの照明光44を投射する。照明装置14は、蛍光観察などのために選択された特定波長の可視光の照明光44を投射可能であってもよい。照明装置14は、例えば、ステージ12上の照度分布が均一となる照明光44を投射する。照明装置14は、透過照明を提供するよう構成される。なお、反射照明を提供する照明装置が設けられてもよく、例えば、焦点可変レンズ22と撮像装置24の間に配置されるビームスプリッタを介して試料40に向けて照明光が投射されてもよい。
【0018】
第1ガルバノミラー16および第2ガルバノミラー18は、ステージ12の開口12bの直下に設けられる。第1ガルバノミラー16は、z方向の軸まわりに回動するよう構成される。第2ガルバノミラー18は、x方向の軸まわりに回動するよう構成される。第2ガルバノミラー18は、試料40からの観察光42を第1ガルバノミラー16に向けて反射させるよう配置される。第1ガルバノミラー16は、第2ガルバノミラー18で反射された観察光42を対物レンズ20に向けて反射させるよう配置される。第1ガルバノミラー16および第2ガルバノミラー18の回動範囲は特に限られないが、例えば±10度である。
【0019】
図2は、第1ガルバノミラー16および第2ガルバノミラー18の配置を模式的に示す斜視図である。図2では、分かりやすさのため、上下方向を図1とは逆にしている。第2ガルバノミラー18は、ステージ12の原点Oから-z方向に第2距離d2だけ離れた位置に配置されている。第1ガルバノミラー16は、第2ガルバノミラー18から第1距離d1だけ-y方向に離れた位置に配置されている。
【0020】
第1ガルバノミラー16は、ステージ12上の観察位置50のx方向の位置を変化させる。第2ガルバノミラー18は、ステージ12上の観察位置50のy方向の位置を変化させる。観察位置50は、第2ガルバノミラー18および第1ガルバノミラー16にて反射されて対物レンズ20に入射する観察光42の出射位置に相当する。観察位置50の二次元座標(x,y)は、原点Oを基準とすると、第1ガルバノミラー16の第1回動角αおよび第2ガルバノミラー18の第2回動角βを用いて、x=(d1+d2)tanα、y=d2tanβと記述することができる。
【0021】
観察位置50が変化すると、観察位置50から対物レンズ20までの観察光42の光路の幾何学的距離が変化する。具体的には、第1ガルバノミラー16における観察光42の第1反射点16aから第2ガルバノミラー18における観察光42の第2反射点18aまでの第1光路L1の幾何学的距離(つまり、長さ)と、第2反射点18aから観察位置50までの第2光路L2の幾何学的距離(つまり、長さ)とが変化する。第1光路L1の長さは、d1/cosαであり、第2光路L2の長さは、d2・√(1+tanα+tanβ)である。
【0022】
本実施の形態では、一軸で駆動する第1ガルバノミラー16と、一軸で駆動する第2ガルバノミラー18とを組み合わせて用いることで、観察位置50を二次元でスキャンするよう構成される。別の実施の形態では、二軸で駆動する1枚のガルバノミラーを用いて、観察位置50を二次元でスキャンするようにしてもよい。したがって、光学顕微鏡システム10は、少なくとも一つのガルバノミラーを備え、少なくとも一つのガルバノミラーを二軸で駆動することで、観察位置50の二次元スキャンが実現されてもよい。少なくとも一つのガルバノミラーは、MEMS(Micro Electro Mechanical Systems)ミラーであってもよい。
【0023】
図1に戻り、対物レンズ20は、第1ガルバノミラー16からの観察光42が入射する位置に配置される。対物レンズ20は、第1ガルバノミラー16から+x方向に離れた位置に配置される。対物レンズ20は、比較的長い作動距離(WD;Working Distance)を有することが望ましい。対物レンズ20の拡大倍率や作動距離などの仕様は特に限られないが、例えば、10倍~50倍の拡大倍率において20mm~40mmの作動距離を有する超長作動タイプの対物レンズを用いることができる。
【0024】
焦点可変レンズ22は、対物レンズ20を通過した観察光42が入射する位置に配置される。焦点可変レンズ22は、対物レンズ20と撮像装置24の間に配置され、例えば対物レンズ20に隣接または近接して配置される。焦点可変レンズ22は、焦点距離が所定の範囲内で可変となるよう構成される。焦点可変レンズ22は、正の屈折力のみを有する凸レンズであってもよいし、負の屈折力のみを有する凹レンズであってもよいし、正負の屈折力を切り替えできるように構成されてもよい。
【0025】
焦点可変レンズ22は、例えば、液体レンズで構成され、液体レンズを封止する可撓性の透明膜を変形させることで焦点距離が可変となるよう構成される。透明膜の形状は、透明膜に加える圧力を変化させることで制御される。例えば、電磁アクチュエータや圧電素子を用いることで焦点可変レンズ22の焦点距離を電気的に制御できる。焦点可変レンズ22は、例えば、対物レンズ20と焦点可変レンズ22の組み合わせによる実効的な作動距離を2mm程度の範囲で可変にするよう構成される。
【0026】
撮像装置24は、焦点可変レンズ22を通過した観察光42を撮像して撮像画像を生成する。撮像装置24は、撮像レンズ24aと、撮像素子24bとを有する。撮像レンズ24aは、観察光42を撮像素子24bに結像させる。撮像素子24bは、CMOSセンサなどの画像センサであり、高フレームレートで撮像画像を生成することが可能である。撮像装置24のフレームレートは特に限られないが、毎秒100フレーム以上であることが好ましく、毎秒500フレーム以上または毎秒1,000フレーム以上であることがより好ましい。
【0027】
撮像装置24は、図2に示される観察位置50を中心とする撮像範囲52を撮像対象とする。撮像範囲52の形状は、撮像素子24bの形状に対応し、例えば矩形状である。一般的に流通する撮像素子24bの形状は、縦方向のサイズと横方向のサイズが異なっており、縦方向のサイズよりも横方向のサイズが大きい。縦方向のサイズと横方向のサイズの比率は、例えば3:4や9:16である。この場合、撮像範囲52のx方向の幅wxは、撮像範囲52のy方向の幅wyよりも大きく、x方向の幅wxとy方向の幅wyの比率は、3:4や9:16である。
【0028】
対物レンズ20、焦点可変レンズ22および撮像装置24は、x方向に延びる観察軸Aに沿って配置され、例えばx方向に延びる鏡筒に対して固定される。なお、焦点可変レンズ22と撮像装置24の間に図示しない追加の反射鏡が設けられてもよく、観察軸Aが途中で折り返される構成であってもよい。
【0029】
第1ミラー駆動機構26は、第1ガルバノミラー16を駆動し、第1ガルバノミラー16の第1回動角αを制御する。第1ミラー駆動機構26は、ステージ12上での観察位置50をx方向にスキャンさせるよう構成される。第2ミラー駆動機構28は、第2ガルバノミラー18を駆動し、第2ガルバノミラー18の第2回動角βを制御する。第2ミラー駆動機構28は、ステージ12上での観察位置50をy方向にスキャンさせるよう構成される。
【0030】
第1ミラー駆動機構26および第2ミラー駆動機構28は、撮像装置24の撮像周期と同期して第1ガルバノミラー16または第2ガルバノミラー18の回動角α,βを変化させる。第1ミラー駆動機構26および第2ミラー駆動機構28は、撮像装置24が撮像するフレーム中において第1ガルバノミラー16または第2ガルバノミラー18を静止させる。第1ミラー駆動機構26および第2ミラー駆動機構28は、撮像装置24が撮像しないフレーム間のタイミングにおいて第1ガルバノミラー16または第2ガルバノミラー18を回動させて観察位置50を切り替える。
【0031】
レンズ駆動機構30は、焦点可変レンズ22を駆動し、焦点可変レンズ22の焦点距離を切り替える。レンズ駆動機構30は、第1ミラー駆動機構26および第2ミラー駆動機構28と同期して動作し、ステージ12上での観察位置50に応じて焦点可変レンズ22の焦点距離を変化させる。ステージ12上での観察位置50を変化させると、第1ガルバノミラー16および第2ガルバノミラー18で反射される観察光42の光路の幾何学的距離が変化する。レンズ駆動機構30は、観察位置50の変化に応じて観察光42の光路の幾何学的距離が変化することにより、対物レンズ20の焦点位置と観察位置50がずれて撮像画像のピントが合わなくなることを防ぐように焦点可変レンズ22を動作させる。
【0032】
レンズ駆動機構30は、観察位置50が変化したとしても、観察位置50が対物レンズ20の被写界深度内に含まれるように対物レンズ20の実効的な作動距離を調整する。レンズ駆動機構30は、対物レンズ20から観察位置50までの観察光42の光路の幾何学的距離と、対物レンズ20の実効的な作動距離とが一致するように焦点可変レンズ22を駆動することが好ましい。つまり、レンズ駆動機構30は、観察位置50の変化に応じた観察光42の光路の幾何学的距離の変化量と、対物レンズ20の実効的な作動距離の変化量とが一致するように焦点可変レンズ22を駆動することが好ましい。
【0033】
制御装置32は、光学顕微鏡システム10の動作全般を制御する。制御装置32は、ハードウェア的には、コンピュータのCPUやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現される。制御装置32は、例えば、汎用のパーソナルコンピュータにより構成される。制御装置32は、液晶ディスプレイなどの表示装置34と、キーボードやマウスなどの入力装置36と接続されている。
【0034】
制御装置32は、第1ミラー駆動機構26および第2ミラー駆動機構28の動作を制御し、複数の観察位置50が所定の順序で切り替わるようにする。制御装置32は、レンズ駆動機構30の動作を制御し、観察位置50の切り替えに応じて対物レンズ20の実効的な作動距離を制御する。制御装置32は、レンズ駆動機構30の動作を制御することで、複数の観察位置50のそれぞれにおいてピントの合った撮像画像が生成されるようにする。
【0035】
図3は、複数の観察位置50の配置を模式的に示す図であり、複数の観察位置50のそれぞれを中心とする複数の撮像範囲52を図示している。複数の撮像範囲52は、互いに重なり合うように設定され、複数の撮像範囲52の間に隙間が生じないように複数の観察位置50が定められる。図3に示す例では、25個の観察位置50が設定されている。撮像範囲52の形状は、撮像素子24bの形状に対応した矩形状である。
【0036】
複数の観察位置50は、基準観察位置50aと、複数の第1周囲観察位置50bと、複数の第2周囲観察位置50cとを含む。基準観察位置50aは、図2の原点Oに相当する。複数の第1周囲観察位置50bは、基準観察位置50aの周囲に設定される。図示する例では、8箇所の第1周囲観察位置50bが設定されている。複数の第2周囲観察位置50cは、第1周囲観察位置50bの周囲に設定される。図示する例では、16箇所の第2周囲観察位置50cが設定されている。なお、複数の第2周囲観察位置50cの周囲にさらに追加の周囲観察位置が設定されてもよい。
【0037】
複数の撮像範囲52は、基準撮像範囲52aと、複数の第1周囲撮像範囲52bと、複数の第2周囲撮像範囲52cとを含む。基準撮像範囲52aは、基準観察位置50aを中心とした矩形状の範囲であり、図3において太線枠で示される。第1周囲撮像範囲52bは、第1周囲観察位置50bを中心とした矩形状の範囲であり、図3において細線枠で示される。第1周囲撮像範囲52bは、基準撮像範囲52aと隣接または重複するように設定される。第2周囲撮像範囲52cは、第2周囲観察位置50cを中心とした矩形状の範囲であり、図3において破線枠で示される。第2周囲撮像範囲52cは、第1周囲撮像範囲52bと隣接または重複するように設定される。
【0038】
複数の第1周囲観察位置50bは、観察光42の光路の幾何学的距離が互いに共通となるように設定される。つまり、複数の第1周囲観察位置50bのそれぞれにおいて、図2に示される第1光路L1と第2光路L2の合計の長さが同じとなる。同様に、複数の第2周囲観察位置50cは、観察光42の光路の幾何学的距離が互いに共通となるように設定される。光路の長さが同じとなる複数の観察位置50は、例えば、原点Oを中心とする円弧上または楕円弧上に存在する。したがって、複数の第1周囲観察位置50bは、基準観察位置50aを中心とする円弧上または楕円弧上に設定される。同様に、複数の第2周囲観察位置50cは、基準観察位置50aを中心とする円弧上または楕円弧上に設定される。
【0039】
光路の長さが同じとなる円弧または楕円弧の形状は、図2の第1距離d1と第2距離d2の大小関係によって決まる。第1距離d1と第2距離d2が等しい場合(d1=d2)、光路の長さが同じとなる複数の観察位置50は、円弧上に存在する。一方、第1距離d1と第2距離d2が等しくない場合(d1≠d2)、光路の長さが同じとなる複数の観察位置50は、楕円弧上に存在する。第1距離d1が第2距離d2よりも大きい場合(d1>d2)、x方向が長軸、y方向が短軸となる楕円弧となる。第1距離d1が第2距離d2よりも小さい場合(d1<d2)、x方向が短軸、y方向が長軸となる楕円弧となる。図2および図3の例では、d1>d2とし、x方向が長軸、y方向が短軸となる楕円弧上の複数の観察位置50において光路の長さが共通となる。
【0040】
図3の例では、撮像範囲52のx方向の幅を撮像範囲52のy方向の幅よりも大きくしている。つまり、光路の長さが同じとなる楕円弧の形状と対応させて、楕円の長軸方向(つまりx方向)の幅を大きくし、楕円の短軸方向(つまりy方向)の幅を小さくしている。撮像範囲52の形状と、光路の長さが同じとなる楕円弧の形状とを対応させることで、複数の撮像範囲52を効率的に配置することができる。
【0041】
なお、複数の第1周囲観察位置50bは、光路の長さが同じとなる円弧上または楕円弧上に厳密に配置されていなくてもよく、円弧または楕円弧から多少ずれて配置されてもよい。例えば、複数の第1周囲撮像範囲52bが円弧または楕円弧と重なるように複数の第1周囲観察位置50bが設定されてもよい。複数の第2周囲観察位置50cについても同様であり、例えば、複数の第2周囲撮像範囲52cが円弧または楕円弧と重なるように複数の第2周囲観察位置50cが設定されてもよい。
【0042】
図4は、複数の撮像範囲52の切り替え順序を模式的に示す図である。複数の撮像範囲52は、矢印Bで示されるように螺旋状に順番に切り替えされる。まず、基準観察位置50aに切り替えされて基準撮像範囲52aが撮像される。次に、第1周囲観察位置50bに切り替えされ、複数の第1周囲観察位置50bを円弧または楕円弧に沿って順番に切り替えていくことで複数の第1周囲撮像範囲52bが撮像される。複数の第1周囲撮像範囲52bの全てが撮像されると、次に第2周囲観察位置50cに切り替えされ、複数の第2周囲観察位置50cを円弧または楕円弧に沿って順番に切り替えていくことで複数の第2周囲撮像範囲52cが撮像される。これにより、全ての撮像範囲52が撮像され、撮像の1サイクルが完了する。
【0043】
複数の撮像範囲52を撮像するサイクルは繰り返し実行される。複数の第2周囲撮像範囲52cの全てが撮像されると、次に基準観察位置50aに切り替えされて基準撮像範囲52aが撮像され、次の撮像サイクルが実行される。円弧または楕円弧に沿って螺旋状に観察位置50を切り替えることで、光路の長さが同じとなる複数の撮像範囲52bまたは52cを連続的に撮像できる。その結果、焦点可変レンズ22の焦点距離を切り替える回数を少なくすることができ、より高速な切り替えを実現できる。なお、図4の切り替え順は一例にすぎず、図4とは逆の順序で複数の撮像範囲52が切り替えされてもよい。
【0044】
制御装置32は、撮像装置24が生成する撮像画像を取得して画像処理を施す。制御装置32は、複数の観察位置50のそれぞれの撮像範囲52を撮像した複数の撮像画像を組み合わせて視野拡張画像を生成し、表示装置34に表示させる。制御装置32は、全ての観察位置50に対応する複数の撮像画像を組み合わせた全体拡張画像を生成してもよい。制御装置32は、全体拡張画像の一部を切り出した部分拡張画像を生成してもよい。部分拡張画像の切り出し範囲は、例えば、入力装置36からの入力操作に基づいて任意に指定できてもよい。部分拡張画像は、一つの撮像画像のみに基づいて生成されてもよいし、複数の撮像画像に基づいて生成されてもよい。制御装置32は、全体拡張画像と部分拡張画像を同時に生成して表示装置34に表示させてもよい。
【0045】
図5は、全体拡張画像56と部分拡張画像58を模式的に示す図である。全体拡張画像56は、図3の複数の撮像範囲52のそれぞれを撮像した複数の撮像画像54の全てを組み合わせることで生成される。複数の撮像画像54は、各観察位置50に対応する位置に配置されて互いに重畳される。制御装置32は、互いに重なり合った複数の撮像画像54を合成することで全体拡張画像56を生成する。二以上の撮像画像54が重なり合う部分について、アルファブレンディングなどの技術を用いて二以上の撮像画像54を合成してもよいし、いずれか一つの撮像画像54のみを優先して用いてもよい。いずれか一つの撮像画像54のみを用いる場合、基準観察位置50aからの距離が近い画像を優先してもよいし、撮像タイミングが新しい画像を優先してもよい。部分拡張画像58は、全体拡張画像56の一部を任意に切り出すことで生成される。図5では、部分拡張画像58の切り出し範囲を一点鎖線で示している。
【0046】
図6は、表示装置34に表示される画面例を模式的に示す図である。図6の例では、全体拡張画像56と部分拡張画像58が同時に表示装置34に表示されている。全体拡張画像56には、部分拡張画像58の切り出し範囲を示す枠60が重畳して表示されている。例えば、枠60の位置や大きさをマウスなどの入力装置36を用いて変更することで、部分拡張画像58として表示される切り出し範囲の位置や大きさが変更される。制御装置32は、全体拡張画像56を生成しているため、切り出し範囲の位置や大きさの異なる部分拡張画像58をリアルタイムで生成できる。つまり、ステージ12を動かして観察位置を変更したり、レンズを交換して拡大倍率を変更したりすることなく、実視野の位置、範囲および拡大倍率の変更をソフトウェアの処理で実現できる。
【0047】
制御装置32は、部分拡張画像58を生成する場合、複数の撮像範囲52の切り替えパターンを変更してもよい。例えば、部分拡張画像58に含まれる撮像範囲52への切り替え頻度を相対的に高くし、部分拡張画像58に含まれない撮像範囲52への切り替え頻度を相対的に低くしてもよい。例えば、全ての撮像範囲52を撮像するための1サイクルにおいて、部分拡張画像58に含まれる撮像範囲52への切り替え回数を2回以上とし、部分拡張画像58に含まれない撮像範囲52への切り替え回数を1回のみとしてもよい。部分拡張画像58に含まれない撮像範囲52への切り替え頻度を高めることで、部分拡張画像58の更新頻度を高めることができ、部分拡張画像58を視認しながらの作業の利便性を高めることができる。
【0048】
制御装置32は、各撮像範囲52を撮像した撮像画像54をそのまま利用するのではなく、撮像画像54に対して所定の画像処理を施した上で全体拡張画像56や部分拡張画像58の生成に使用してもよい。制御装置32は、撮像画像54がステージ12の支持面12aに対して斜めに撮像されることによる画像の歪みを補正してもよい。制御装置32は、撮像画像54がステージ12の支持面12aに対して斜めに撮像されることによって撮像画像54の中央部と外周部のピント位置がz方向にずれる影響を補正してもよい。制御装置32は、例えば、試料40とピントが合っている撮像画像54の中央部のみを切り出して全体拡張画像56や部分拡張画像58の生成に使用してもよい。
【0049】
図7は、観察位置50a,50b,50cに応じた観察光42a,42b,42cの光路の傾きの影響を模式的に示す図である。図7は、図1の試料40の近傍を拡大しており、観察光42a~42cの光路のx方向の傾きを示している。また、各観察位置50a~50cにおける撮像範囲52a,52b,52cのx方向の幅wxおよびz方向の幅wzを示している。撮像範囲52a~52cのz方向の幅wzは、ピントが合う深さ方向の範囲であり、対物レンズ20の被写界深度に対応する。
【0050】
基準観察位置50aでは、観察光42aはz方向に平行であり、ステージ12の支持面12aに対して傾いていない。そのため、基準撮像範囲52aを撮像した撮像画像54は、補正する必要がない。一方、第1周囲観察位置50bや第2周囲観察位置50cでは、観察光42aはz方向に対してx方向に角度α1またはα2で傾いている。そのため、第1周囲撮像範囲52bや第2周囲撮像範囲52cを撮像した撮像画像54は、傾きに応じた補正処理がなされることが好ましい。
【0051】
第1の補正処理として、撮像画像54が試料40に対して斜めに撮像されることによる画像の歪みを補正してもよい。例えば、第1周囲観察位置50bでは、観察光42bの光路に直交する平面からz方向に直交する平面への座標変換をし、第1周囲撮像範囲52bを撮像した撮像画像54をステージ12の支持面12aに射影することで、画像の歪みを補正できる。なお、第1周囲観察位置50bにおける観察光42bの光路は、z方向に対してy方向に角度β1(不図示)で傾いている場合がある。その場合、x方向の角度α1およびy方向の角度β1の傾きの双方を補正することが好ましい。同様に、第2周囲観察位置50cでは、観察光42cの光路の傾きのx方向の角度α2およびy方向の角度β2(不図示)に基づいて第1の補正処理がなされてもよい。
【0052】
第2の補正処理として、試料40とピントが合っている撮像画像54の中央部のみを切り出してもよい。例えば、第1周囲観察位置50bでは、試料40の厚みtと第1周囲撮像範囲52bが重なる第1範囲Wbのみが切り出されてもよい。第1範囲Wbのx方向の幅は、試料40の厚さt、対物レンズ20の被写界深度wzおよび第1周囲観察位置50bにおける観察光42bの光路のx方向の傾きの角度α1を用いて幾何的に算出できる。なお、第1周囲観察位置50bにおける観察光42bの光路は、z方向に対してy方向に角度β1で傾いている場合がある。その場合、第1範囲Wbのy方向の幅は、試料40の厚さt、対物レンズ20の被写界深度Dおよび第1周囲観察位置50bにおける観察光42bの光路のy方向の傾きの角度β1を用いて幾何的に算出できる。同様に、第2周囲観察位置50cでは、観察光42cの光路の傾きのx方向の角度α2およびy方向の角度β2に基づいて、試料40の厚みtと第2周囲撮像範囲52cが重なる第2範囲Wcのみが切り出されてもよい。
【0053】
上述の第2の補正処理がなされる場合、撮像画像54の切り出し範囲Wb,Wcに応じて第1周囲観察位置50bおよび第2周囲観察位置50cの配置が設定されることが好ましい。具体的には、撮像画像54の切り出し範囲Wb,Wcが互いに隣接または重複するように第1周囲観察位置50bおよび第2周囲観察位置50cの配置が設定されることが好ましい。これにより、複数の撮像画像54の一部を切り出した画像に基づいて視野拡張画像を生成した場合に、撮像できていない空白の領域の発生を防止できる。
【0054】
つづいて、光学顕微鏡システム10の動作の流れを説明する。図8は、実施の形態に係る視野拡張画像の生成方法を示すフローチャートである。まず、少なくとも一つのガルバノミラーを駆動して観察位置50を切り替える(S10)。観察位置50の切り替えの前後で観察光42の光路の長さが変化していれば(S12のY)、焦点可変レンズ22の焦点距離を切り替える(S14)。S12において光路の長さが変化していなければ(S12のN)、S14の処理をスキップする。次に、切り替え後の観察位置50を撮像装置24で撮像して撮像画像54を生成する(S16)。撮像画像54の補正が必要であれば(S18のY)、観察位置50に応じて撮像画像54を補正する(S20)。撮像画像54の補正が不要であれば(S18のN)、S20の処理をスキップする。つづいて、補正前または補正後の撮像画像54を用いて視野拡張画像を生成し(S24)、生成した視野拡張画像を表示装置34に表示する(S24)。
【0055】
図8のS10~S24の処理は、繰り返し実行される。例えば、図4に示される所定の順序に基づいて複数の観察位置50が順番に切り替えされ、複数の観察位置50を撮像した複数の撮像画像54が生成され、複数の撮像画像54に基づいて視野拡張画像が生成される。複数の観察位置50の全体に対応する視野拡張画像の生成後は、新たに撮像した撮像画像54に基づいて、視野拡張画像の一部領域の表示が更新される。
【0056】
本実施の形態の一例によれば、撮像装置24は毎秒500フレームの撮像周期で2ミリ秒ごとに撮像画像54を生成する。複数の観察位置50は、撮像周期と同期して2ミリ秒ごとに切り替えされ、第1ガルバノミラー16および第2ガルバノミラー18は、2ミリ秒ごとに駆動される。一方、焦点可変レンズ22は、2ミリ秒ごとに駆動されなくてもよい。例えば、8箇所の第1周囲観察位置50bの全てを撮像するために必要な16ミリ秒間は、焦点可変レンズ22の焦点距離が固定されてもよい。同様に、16箇所の第2周囲観察位置50cの全てを撮像するために必要な32ミリ秒間は、焦点可変レンズ22の焦点距離が固定されてもよい。焦点可変レンズ22の焦点距離の切り替えは、基準観察位置50aから第1周囲観察位置50bへの切り替え時、第1周囲観察位置50bから第2周囲観察位置50cへの切り替え時および第2周囲観察位置50cから基準観察位置50aの切り替え時のみに実行されてもよい。
【0057】
焦点可変レンズ22の応答速度は、撮像装置24の撮像周期と同程度に高速であることが好ましいが、一般的に入手可能な焦点可変レンズ22の場合、撮像装置24の撮像周期(例えば2ミリ秒)を実現できないことがある。焦点可変レンズ22の応答速度の一例は、4ミリ秒程度である。この場合、観察位置50の2ミリ秒ごとの切り替えと同期して焦点可変レンズ22を駆動することはできず、焦点可変レンズ22の焦点距離の切り替えが完了するまで観察位置50の切り替えを待つ必要がある。したがって、図8のS14の処理では、焦点可変レンズ22の焦点距離の切り替えが完了するまでの4ミリ秒間において、観察位置50が切り替えされずに固定されてもよい。焦点可変レンズ22の焦点距離の切り替え中に撮像装置24が撮像した撮像画像54は、視野拡張画像の生成に使用されなくてもよい。
【0058】
本実施の形態によれば、1回の撮像サイクルにおける観察位置50の切り替え回数(例えば25回)に比べて、焦点可変レンズ22の焦点距離の切り替え回数(例えば3回)を大幅に少なくできる。その結果、焦点可変レンズ22の焦点距離の切り替えに必要な待ち時間を最小化することができ、より高速な観察位置50の切り替えが可能となり、視野拡張画像の全体が更新される間隔を短くできる。視野拡張画像を高頻度で更新することで、細胞操作などのリアルタイム表示が必要となる用途に対して、適切な視野拡張画像を提供することができる。
【0059】
以上、本開示を実施の形態にもとづいて説明した。本開示は上記実施の形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本開示の範囲にあることは、当業者に理解されるところである。
【符号の説明】
【0060】
10…光学顕微鏡システム、12…ステージ、14…照明装置、16…第1ガルバノミラー、18…第2ガルバノミラー、20…対物レンズ、22…焦点可変レンズ、24…撮像装置、26…第1ミラー駆動機構、28…第2ミラー駆動機構、30…レンズ駆動機構、32…制御装置、34…表示装置、36…入力装置、40…試料、42…観察光、44…照明光、50…観察位置、50a…基準観察位置、50b…第1周囲観察位置、50c…第2周囲観察位置、52…撮像範囲、52a…基準撮像範囲、52b…第1周囲撮像範囲、52c…第2周囲撮像範囲、54…撮像画像、56…全体拡張画像、58…部分拡張画像。
図1
図2
図3
図4
図5
図6
図7
図8