特許第6832093号(P6832093)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
<>
  • 特許6832093-顕微鏡システム 図000002
  • 特許6832093-顕微鏡システム 図000003
  • 特許6832093-顕微鏡システム 図000004
  • 特許6832093-顕微鏡システム 図000005
  • 特許6832093-顕微鏡システム 図000006
  • 特許6832093-顕微鏡システム 図000007
  • 特許6832093-顕微鏡システム 図000008
  • 特許6832093-顕微鏡システム 図000009
  • 特許6832093-顕微鏡システム 図000010
  • 特許6832093-顕微鏡システム 図000011
  • 特許6832093-顕微鏡システム 図000012
  • 特許6832093-顕微鏡システム 図000013
  • 特許6832093-顕微鏡システム 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6832093
(24)【登録日】2021年2月3日
(45)【発行日】2021年2月24日
(54)【発明の名称】顕微鏡システム
(51)【国際特許分類】
   G02B 21/06 20060101AFI20210215BHJP
   G02B 21/36 20060101ALI20210215BHJP
   G02B 21/24 20060101ALI20210215BHJP
   G02B 26/10 20060101ALI20210215BHJP
【FI】
   G02B21/06
   G02B21/36
   G02B21/24
   G02B26/10 C
【請求項の数】12
【全頁数】22
(21)【出願番号】特願2016-153304(P2016-153304)
(22)【出願日】2016年8月4日
(65)【公開番号】特開2018-22047(P2018-22047A)
(43)【公開日】2018年2月8日
【審査請求日】2019年8月2日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【弁理士】
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100163050
【弁理士】
【氏名又は名称】小栗 眞由美
(74)【代理人】
【識別番号】100201466
【弁理士】
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】服部 敏征
【審査官】 堀井 康司
(56)【参考文献】
【文献】 特開2009−145680(JP,A)
【文献】 米国特許出願公開第2006/0232843(US,A1)
【文献】 特開2011−085850(JP,A)
【文献】 特開2004−361086(JP,A)
【文献】 特開2006−031008(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 19/00−21/00
G02B 21/06−21/36
(57)【特許請求の範囲】
【請求項1】
サンプル上でレーザ光を走査させる走査光学系と、
該走査光学系により前記レーザ光が走査された前記サンプルの画像を取得する観察光学系と、
該観察光学系により取得された前記画像において前記サンプル上の注目する注目領域を関心領域として設定する関心領域設定部と、
前記注目領域の前記観察光学系の観察光軸回りの回転に伴う前記画像上の前記関心領域の前記観察光軸回りの回転量を算出する回転量算出部と、
記注目領域の前記観察光軸回りの向きに対する前記レーザ光の走査方向が一定になるよう前記走査光学系を制御する制御部とを備え
該制御部が、前記回転量算出部により算出される前記関心領域の前記観察光軸回りの回転量に基づき、前記注目領域の前記観察光軸回りの回転に合わせて前記レーザ光の走査方向を前記観察光軸回りに回転させる顕微鏡システム。
【請求項2】
前記レーザ光の焦点位置を前記観察光軸に沿う方向に移動可能な焦点位置移動部と、
前記注目領域の前記観察光軸に沿う方向の移動に伴う前記画像上の前記関心領域の前記観察光軸に沿う方向の移動量を算出する第1移動量算出部とを備え、
前記制御部が、記第1移動量算出部により算出された前記関心領域の前記観察光軸に沿う方向の移動量に基づき、前記焦点位置移動部により前記焦点位置を前記観察光軸に沿う方向に移動させる請求項1に記載の顕微鏡システム。
【請求項3】
前記回転量算出部が、前記注目領域の前記観察光軸に交差する交差軸回りの回転に伴う前記画像上の前記関心領域の前記交差軸回りの回転量を算出し、
前記制御部が、前記回転量算出部により算出された前記関心領域の前記交差軸回りの回転量に基づき、前記走査光学系による前記レーザ光の走査と同期して、前記焦点位置移動部により前記焦点位置を前記観察光軸に沿う方向に移動させる請求項2に記載の顕微鏡システム。
【請求項4】
前記注目領域の前記観察光軸に沿う方向の移動に伴う前記画像上の前記関心領域の前記観察光軸に沿う方向の移動量を算出する第1移動量算出部を備え、
前記制御部が、前記第1移動量算出部により算出された前記関心領域の前記観察光軸に沿う方向の移動量に基づき、前記走査光学系により前記レーザ光の焦点位置を前記観察光軸に沿う方向に移動させる請求項1に記載の顕微鏡システム。
【請求項5】
前記回転量算出部が、前記注目領域の前記観察光軸に交差する交差軸回りの回転に伴う前記画像上の前記関心領域の前記交差軸回りの回転量を算出し、
前記制御部が、前記回転量算出部により算出された前記関心領域の前記交差軸回りの回転量に基づき、前記走査光学系により前記レーザ光を前記観察光軸に交差する方向に前記レーザ光を走査させつつ前記焦点位置を前記観察光軸に沿う方向に移動させる請求項4に記載の顕微鏡システム。
【請求項6】
前記走査光学系による前記レーザ光の走査範囲を前記観察光軸に交差する2次元的な方向に移動可能な走査範囲移動部と、
前記注目領域の前記2次元的な方向の移動に伴う前記画像上の前記関心領域の前記2次元的な方向の移動量を算出する第2移動量算出部とを備え、
前記制御部が、前記第2移動量算出部により算出された前記関心領域の前記2次元的な方向の移動量に基づき、前記走査範囲移動部により前記レーザ光の走査範囲を前記2次元的な方向に移動させる請求項1から請求項5のいずれかに記載の顕微鏡システム。
【請求項7】
サンプル上でレーザ光を走査させる他の走査光学系を備え、
前記関心領域設定部が、前記画像において前記サンプル上の注目する他の注目領域を他の関心領域として設定し、
前記回転量算出部が、前記他の注目領域の前記観察光軸回りの回転に伴う前記画像上の前記他の関心領域の前記観察光軸回りの回転量を算出し、
前記制御部が、前記他の注目領域の前記観察光軸回りの向きに対する前記レーザ光の走査方向が一定になるよう前記他の走査光学系を制御し、前記回転量算出部により算出された前記他の関心領域の前記観察光軸回りの回転量に基づき、前記他の注目領域の前記観察光軸回りの回転に合わせて前記レーザ光の走査方向を前記観察光軸回りに回転させる請求項1から請求項6のいずれかに記載の顕微鏡システム。
【請求項8】
前記レーザ光の焦点位置を前記観察光軸に沿う方向に移動可能な他の焦点位置移動部と、
前記他の注目領域の前記観察光軸に沿う方向の移動に伴う前記画像上の前記他の関心領域の前記観察光軸に沿う方向の移動量を算出する他の第1移動量算出部とを備え、
前記制御部が、前記他の第1移動量算出部により算出された前記他の関心領域の前記観察光軸に沿う方向の移動量に基づき、前記他の焦点位置移動部により前記焦点位置を前記観察光軸に沿う方向に移動させる請求項7に記載の顕微鏡システム。
【請求項9】
前記回転量算出部が、前記他の注目領域の前記観察光軸に交差する交差軸回りの回転に伴う前記画像上の前記他の関心領域の前記交差軸回りの回転量を算出し、
前記制御部が、前記回転量算出部により算出された前記他の関心領域の前記交差軸回りの回転量に基づき、前記他の走査光学系による前記レーザ光の走査と同期して、前記他の焦点位置移動部により前記焦点位置を前記観察光軸に沿う方向に移動させる請求項8に記載の顕微鏡システム。
【請求項10】
前記他の注目領域の前記観察光軸に沿う方向の移動に伴う前記画像上の前記他の関心領域の前記観察光軸に沿う方向の移動量を算出する他の第1移動量算出部を備え、
前記制御部が、前記他の第1移動量算出部により算出された前記他の関心領域の前記観察光軸に沿う方向の移動量に基づき、前記他の走査光学系により前記レーザ光の焦点位置を前記観察光軸に沿う方向に移動させる請求項7に記載の顕微鏡システム。
【請求項11】
前記回転量算出部が、前記他の注目領域の前記観察光軸に交差する交差軸回りの回転に伴う前記画像上の前記他の関心領域の前記交差軸回りの回転量を算出し、
前記制御部が、前記回転量算出部により算出された前記他の関心領域の前記交差軸回りの回転量に基づき、前記他の走査光学系により前記レーザ光を前記観察光軸に交差する方向に走査させつつ前記焦点位置を前記観察光軸に沿う方向に移動させる請求項10に記載の顕微鏡システム。
【請求項12】
前記他の走査光学系による前記レーザ光の走査範囲を前記観察光軸に交差する2次元的な方向に移動可能な他の走査範囲移動部と、
前記他の注目領域の前記2次元的な方向の移動に伴う前記画像上の前記他の関心領域の前記2次元的な方向の移動量を算出する他の第2移動量算出部とを備え、
前記制御部が、前記他の第2移動量算出部により算出された前記他の関心領域の前記2次元的な方向の移動量に基づき、前記他の走査範囲移動部により前記レーザ光の走査範囲を前記2次元的な方向に移動させる請求項7から請求項11のいずれかに記載の顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡システムに関するものである。
【背景技術】
【0002】
従来、動きのあるサンプルに対して画像上で注目するROI(関心領域)を設定して、サンプルを追跡しながら観察する顕微鏡システムが知られている(例えば、特許文献1参照。)。特許文献1に記載のレーザ顕微鏡は、X,Y,Z方向の3次元的なサンプルの移動に合わせてROIをその都度設定し直すことにより、動きのあるサンプルを追跡している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許第7676071号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、例えば、線虫のようなサンプルは、X,Y,Z方向の移動以外に、観察光軸回りに回転運動することがある。そのため、特許文献1に記載のレーザ顕微鏡により、このようなサンプルを経時的に撮像して得られた複数の画像を時系列に並べると、画像毎に観察光軸回りのサンプルの向きが異なり、サンプルの経時変化を観察し難いという問題がある。また、経時的に得られたこのような複数の画像を時系列に並べながら画像処理によって画像上のサンプルの見た目の向きを事後的に統一していく方法もあるが、このような方法ではリアルタイム性に欠け観察に手間がかかるという問題がある。
【0005】
本発明は上述した事情に鑑みてなされたものであって、動きのあるサンプルに対して、画像上の見た目の向きをリアルタイムで一定に維持しながら、サンプルを追跡して観察することができる顕微鏡システムを提供することを目的としている。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、サンプル上でレーザ光を走査させる走査光学系と、該走査光学系により前記レーザ光が走査された前記サンプルの画像を取得する観察光学系と、該観察光学系により取得された前記画像において前記サンプル上の注目する注目領域を関心領域として設定する関心領域設定部と、前記注目領域の前記観察光学系の観察光軸回りの回転に伴う前記画像上の前記関心領域の前記観察光軸回りの回転量を算出する回転量算出部と、前記注目領域の前記観察光軸回りの向きに対する前記レーザ光の走査方向が一定になるよう前記走査光学系を制御する制御部とを備え、該制御部が、前記回転量算出部により算出される前記関心領域の前記観察光軸回りの回転量に基づき、前記注目領域の前記観察光軸回りの回転に合わせて前記レーザ光の走査方向を前記観察光軸回りに回転させる顕微鏡システムである。
【0007】
本態様によれば、走査光学系によりレーザ光が走査されて観察光学系によりサンプルの画像が取得されると、関心領域設定部によりその画像においてサンプル上の注目領域が関心領域として設定される。この場合において、関心領域が設定されたサンプルの注目領域が観察光軸回りに回転すると、画像上でその注目領域の回転に伴って関心領域が回転する。
【0008】
したがって、回転量算出部により算出される関心領域の観察光軸回りの回転量に基づいて、制御部により走査光学系を制御することで、サンプルの注目領域におけるレーザ光の走査方向を一定にすることができる。これにより、動きのあるサンプルに対して、画像処理によって画像上の関心領域の見た目の向きを事後的に統一しなくても、画像上の関心領域の見た目の向きをリアルタイムで一定に維持しながらサンプルを追跡して観察することができる。
【0009】
上記態様においては、前記レーザ光の焦点位置を前記観察光軸に沿う方向に移動可能な焦点位置移動部と、前記注目領域の前記観察光軸に沿う方向の移動に伴う前記画像上の前記関心領域の前記観察光軸に沿う方向の移動量を算出する第1移動量算出部とを備え、前記制御部が、前記第1移動量算出部により算出された前記関心領域の前記観察光軸に沿う方向の移動量に基づき、前記焦点位置移動部により前記焦点位置を前記観察光軸に沿う方向に移動させることとしてもよい。
【0010】
このように構成することで、焦点位置移動部によってサンプルに対して観察光軸に沿う方向にレーザ光の焦点位置を移動させることにより、観察光学系によってサンプルの3次元的な画像を取得することができる。この場合において、関心領域が設定されたサンプルの注目領域が観察光軸回りに回転するとともに観察光軸に沿う方向に移動すると、画像上でその注目領域の回転および移動に伴って関心領域が回転および移動する。
【0011】
したがって、第1移動量算出部により算出される関心領域の観察光軸に沿う方向の移動量に基づいて、制御部が焦点位置移動部によりレーザ光の焦点位置を観察光軸に沿う方向に移動させることで、動きのあるサンプルに対して、3次元的な画像上の関心領域の見た目の向きおよび観察光軸に沿う方向の位置をリアルタイムで一定に維持しながら、サンプルを追跡して観察することができる。
【0012】
上記態様においては、前記回転量算出部が、前記注目領域の前記観察光軸に交差する交差軸回りの回転に伴う前記画像上の前記関心領域の前記交差軸回りの回転量を算出し、前記制御部が、前記回転量算出部により算出された前記関心領域の前記交差軸回りの回転量に基づき、前記走査光学系による前記レーザ光の走査と同期して、前記焦点位置移動部により前記焦点位置を前記観察光軸に沿う方向に移動させることとしてもよい。
【0013】
このように構成することで、サンプルの注目領域が観察光軸に交差する交差軸回りに回転した場合に、注目領域の交差軸回りの傾きに応じてレーザ光の走査面を傾けることができる。これにより、動きのあるサンプルに対して、3次元的な画像上の関心領域の見た目の向きおよび交差軸回りの傾きをリアルタイムで一定に維持しながら、サンプルを追跡して観察することができる。
【0014】
上記態様においては、前記注目領域の前記観察光軸に沿う方向の移動に伴う前記画像上の前記関心領域の前記観察光軸に沿う方向の移動量を算出する第1移動量算出部を備え、前記制御部が、前記第1移動量算出部により算出された前記関心領域の前記観察光軸に沿う方向の移動量に基づき、前記走査光学系により前記レーザ光の焦点位置を前記観察光軸に沿う方向に移動させることとしてもよい。
【0015】
このように構成することで、走査光学系によってサンプルに対して観察光軸に交差する方向に走査しながらレーザ光の焦点位置を観察光軸に沿う方向に移動させていくことにより、観察光学系によってサンプルの3次元的な画像を取得することができる。この場合において、関心領域が設定されたサンプルの注目領域が観察光軸回りに回転するとともに観察光軸に沿う方向に移動すると、画像上でその注目領域の回転および移動に伴って関心領域が回転および移動する。
【0016】
したがって、第1移動量算出部により算出される関心領域の観察光軸に沿う方向の移動量に基づいて、制御部が走査光学系によりレーザ光の焦点位置を観察光軸に沿う方向に移動させることで、動きのあるサンプルに対して、3次元的な画像上の関心領域の見た目の向きおよび観察光軸に沿う方向の位置をリアルタイムで一定に維持しながら、サンプルを追跡して観察することができる。
【0017】
上記態様においては、前記回転量算出部が、前記注目領域の前記観察光軸に交差する交差軸回りの回転に伴う前記画像上の前記関心領域の前記交差軸回りの回転量を算出し、
前記制御部が、前記回転量算出部により算出された前記関心領域の前記交差軸回りの回転量に基づき、前記走査光学系により前記レーザ光を前記観察光軸に交差する方向に走査させつつ前記焦点位置を前記観察光軸に沿う方向に移動させることとしてもよい。
【0018】
このように構成することで、サンプルの注目領域が観察光軸に交差する交差軸回りに回転した場合に、注目領域の交差軸回りの傾きに応じてレーザ光の走査面を傾けて、3次元的な画像上の関心領域の見た目の向きおよび交差軸回りの傾きをリアルタイムで一定に維持しながら、サンプルを追跡して観察することができる。
【0019】
上記態様においては、前記走査光学系による前記レーザ光の走査範囲を前記観察光軸に交差する2次元的な方向に移動可能な走査範囲移動部と、前記注目領域の前記2次元的な方向の移動に伴う前記画像上の前記関心領域の前記2次元的な方向の移動量を算出する第2移動量算出部とを備え、前記制御部が、前記第2移動量算出部により算出された前記関心領域の前記2次元的な方向の移動量に基づき、前記走査範囲移動部により前記レーザ光の走査範囲を前記2次元的な方向に移動させることとしてもよい。
【0020】
このように構成することで、走査範囲移動部により、観察光軸に交差する2次元的な方向の異なる範囲を観察することができる。この場合において、関心領域が設定されたサンプルの注目領域が観察光軸に交差する2次元的な方向に移動すると、画像上でその注目領域の移動に伴って関心領域が移動する。
【0021】
したがって、第2移動量算出部により算出される関心領域の観察光軸に交差する2次元的な方向の移動量に基づいて、制御部が走査範囲移動部によりレーザ光の走査範囲を観察光軸に交差する2次元的な方向に移動させることで、動きのあるサンプルに対して、画像上の関心領域の観察光軸に交差する2次元的な方向の位置もリアルタイムで一定に維持しながら、サンプルを追跡して観察することができる。
【0022】
上記態様においては、サンプル上でレーザ光を走査させる他の走査光学系を備え、前記関心領域設定部が、前記画像において前記サンプル上の注目する他の注目領域を他の関心領域として設定し、前記回転量算出部が、前記他の注目領域の前記観察光軸回りの回転に伴う前記画像上の前記他の関心領域の前記観察光軸回りの回転量を算出し、前記制御部が、前記他の注目領域の前記観察光軸回りの向きに対する前記レーザ光の走査方向が一定になるよう前記他の走査光学系を制御し、前記回転量算出部により算出された前記他の関心領域の前記観察光軸回りの回転量に基づき、前記他の注目領域の前記観察光軸回りの回転に合わせて前記レーザ光の走査方向を前記観察光軸回りに回転させることとしてもよい。
【0023】
このように構成することで、他の走査光学系によってサンプル上でレーザ光を走査させることにより、サンプルに光刺激を与えることができる。これにより、光刺激が与えられたサンプルの反応を観察光学系により取得される画像によって観察することができる。この場合において、他の関心領域が設定されたサンプルの他の注目領域が観察光軸回りに回転すると、画像上で他の注目領域の回転に伴って他の関心領域が回転する。
【0024】
したがって、回転量算出部により算出される他の関心領域の前記観察光軸回りの回転量に基づいて、制御部により他の走査光学系を制御することで、サンプルの他の注目領域におけるレーザ光の走査方向を一定にすることができる。これにより、動きのあるサンプルに対して、画像上の他の関心領域の見た目の向きをリアルタイムで一定に維持しながら、サンプルを追跡して光刺激を与えることができる。
【0025】
上記態様においては、前記レーザ光の焦点位置を前記観察光軸に沿う方向に移動可能な他の焦点位置移動部と、前記他の注目領域の前記観察光軸に沿う方向の移動に伴う前記画像上の前記他の関心領域の前記観察光軸に沿う方向の移動量を算出する他の第1移動量算出部とを備え、前記制御部が、前記他の第1移動量算出部により算出された前記他の関心領域の前記観察光軸に沿う方向の移動量に基づき、前記他の焦点位置移動部により前記焦点位置を前記観察光軸に沿う方向に移動させることとしてもよい。
【0026】
このように構成することで、他の焦点位置移動部によってサンプルに対して観察光軸に沿う方向にレーザ光の焦点位置を移動させることにより、サンプルの3次元的な位置に光刺激を与えることができる。この場合において、他の関心領域が設定されたサンプルの他の注目領域が観察光軸回りに回転するとともに観察光軸に沿う方向に移動すると、画像上で他の注目領域の回転および移動に伴って他の関心領域が回転および移動する。
【0027】
したがって、他の第1移動量算出部により算出される他の関心領域の移動量に基づいて、制御部が他の焦点位置移動部により焦点位置を観察光軸に沿う方向に移動させることで、動きのあるサンプルに対して、3次元的な画像上の他の関心領域の見た目の向きおよび観察光軸に沿う方向の位置をリアルタイムで一定に維持しながら、サンプルを追跡して光刺激を与えることができる。
【0028】
上記態様においては、前記回転量算出部が、前記他の注目領域の前記観察光軸に交差する交差軸回りの回転に伴う前記画像上の前記他の関心領域の前記交差軸回りの回転量を算出し、前記制御部が、前記回転量算出部により算出された前記他の関心領域の前記交差軸回りの回転量に基づき、前記他の走査光学系による前記レーザ光の走査と同期して、前記他の焦点位置移動部により前記焦点位置を前記観察光軸に沿う方向に移動させることとしてもよい。
【0029】
このように構成することで、サンプルの他の注目領域が観察光軸に交差する交差軸回りに回転した場合に、他の注目領域の交差軸回りの傾きに応じてレーザ光の走査面を傾けることができる。これにより、動きのあるサンプルに対して、3次元的な画像上の他の関心領域の見た目の向きおよび交差軸回りの傾きをリアルタイムで一定に維持しながら、サンプルを追跡して光刺激を与えることができる。
【0030】
上記態様においては、前記他の注目領域の前記観察光軸に沿う方向の移動に伴う前記画像上の前記他の関心領域の前記観察光軸に沿う方向の移動量を算出する他の第1移動量算出部を備え、前記制御部が、前記他の第1移動量算出部により算出された前記他の関心領域の前記観察光軸に沿う方向の移動量に基づき、前記他の走査光学系により前記レーザ光の焦点位置を前記観察光軸に沿う方向に移動させることとしてもよい。
【0031】
このように構成することで、他の走査光学系によってサンプルに対して観察光軸に交差する方向に走査しながらレーザ光の焦点位置を観察光軸に沿う方向に移動させていくことにより、サンプルの3次元的な位置に光刺激を与えることができる。この場合において、他の関心領域が設定されたサンプルの他の注目領域が観察光軸回りに回転するとともに観察光軸に沿う方向に移動すると、画像上で他の注目領域の回転および移動に伴って他の関心領域が回転および移動する。
【0032】
したがって、他の第1移動量算出部により算出される他の関心領域の観察光軸に沿う方向の移動量に基づいて、制御部が他の走査光学系によりレーザ光の焦点位置を観察光軸に沿う方向に移動させることで、動きのあるサンプルに対して、3次元的な画像上の他の関心領域の見た目の向きおよび観察光軸に沿う方向の位置をリアルタイムで一定に維持しながら、サンプルを追跡して光刺激を与えることができる。
【0033】
上記態様においては、前記回転量算出部が、前記他の注目領域の前記観察光軸に交差する交差軸回りの回転に伴う前記画像上の前記他の関心領域の前記交差軸回りの回転量を算出し、前記制御部が、前記回転量算出部により算出された前記他の関心領域の前記交差軸回りの回転量に基づき、前記他の走査光学系により前記レーザ光を前記観察光軸に交差する方向に走査させつつ前記焦点位置を前記観察光軸に沿う方向に移動させることとしてもよい。
【0034】
このように構成することで、サンプルの他の注目領域が観察光軸に交差する交差軸回りに回転した場合に、他の注目領域の交差軸回りの傾きに応じてレーザ光の走査面を傾けて、3次元的な画像上の他の関心領域の見た目の向きおよび交差軸回りの傾きをリアルタイムで一定に維持しながら、サンプルを追跡して光刺激を与えることができる。
【0035】
上記態様においては、前記他の走査光学系による前記レーザ光の走査範囲を前記観察光軸に交差する2次元的な方向に移動可能な他の走査範囲移動部と、前記他の注目領域の前記2次元的な方向の移動に伴う前記画像上の前記他の関心領域の前記2次元的な方向の移動量を算出する他の第2移動量算出部とを備え、前記制御部が、前記他の第2移動量算出部により算出された前記他の関心領域の前記2次元的な方向の移動量に基づき、前記他の走査範囲移動部により前記レーザ光の走査範囲を前記2次元的な方向に移動させることとしてもよい。
【0036】
このように構成することで、他の走査範囲移動部により、観察光軸に交差する2次元的な方向の異なる範囲を光刺激することができる。この場合において、他の関心領域が設定されたサンプルの他の注目領域が観察光軸に交差する2次元的な方向に移動すると、画像上で他の注目領域の移動に伴って他の関心領域が移動する。
【0037】
したがって、他の第2移動量算出部により算出される他の関心領域の観察光軸に交差する2次元的な方向の移動量に基づいて、制御部が他の走査範囲移動部によりレーザ光の走査範囲を観察光軸に交差する2次元的な方向に移動させることで、動きのあるサンプルに対して、画像上の他の関心領域の観察光軸に交差する2次元的な方向の位置もリアルタイムで一定に維持しながら、サンプルを追跡して光刺激を与えることができる。
【発明の効果】
【0038】
本発明によれば、動きのあるサンプルに対して、画像上の見た目の向きをリアルタイムで一定に維持しながら、サンプルを追跡して観察することができるという効果を奏する。
【図面の簡単な説明】
【0039】
図1】本発明の第1実施形態に係る顕微鏡システムを示すブロック図である。
図2】本発明の第1実施形態に係る顕微鏡システムを示す概略構成図である。
図3】サンプルに設定された観察ROIの一例を示す平面図である。
図4】サンプルの注目領域がZ軸回りに回転する様子を示す平面図である。
図5】参考例としての従来の顕微鏡システムを用いた場合の画像上のサンプルの観察ROIの動きの一例を示す平面図である。
図6図1,2の顕微鏡システムを用いた場合の画像上のサンプルの観察ROIの動きの一例を示す平面図である。
図7】(a)はサンプルの注目領域の一例を示す投影図であり、(b)は(a)の注目領域がX,Y,Z軸回りに回転する様子の一例を示す投影図である。
図8】本発明の第2実施形態に係る顕微鏡システムを示すブロック図である。
図9】(a)は画像上のサンプルの刺激ROIの一例を示す投影図であり、(b)はサンプルの刺激領域がZ軸回りに回転する様子の一例を示す投影図である。
図10】(a)はサンプルの刺激領域の一例を示す投影図であり、(b)は(a)の刺激領域がX,Y,Z軸回りに回転する様子の一例を示す投影図である。
図11】本発明の第1,第2実施形態の第2変形例に係る顕微鏡システムを示す概略構成図である。
図12図11のAODの配置の一例を示す図である。
図13】本発明の第1,第2実施形態の第3変形例に係る顕微鏡システムを示す概略構成図である。
【発明を実施するための形態】
【0040】
〔第1実施形態〕
本発明の第1実施形態に係る顕微鏡システムについて図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム1は、図1に示すように、サンプルを観察する顕微鏡3と、顕微鏡3を制御する制御装置5と、ユーザからの指示を制御装置5に入力するユーザインターフェース部7とを備えている。また、顕微鏡システム1には、ユーザに指示を入力させるマウスやキーボード等の入力部(図示略)が接続されている。
【0041】
顕微鏡3は、図1および図2に示すように、サンプルSが載置される電動ステージ(走査範囲移動部)9と、レーザ光を発生する光源11と、光源11からのレーザ光をサンプルS上で走査させるガルバノスキャナ(走査光学系)13と、ガルバノスキャナ13によりレーザ光が走査されたサンプルSの画像を取得する観察光学系15とを備えている。
サンプルSとしては、例えば、3次元的に移動したり、観察光学系15の光軸回りに回転したりする線虫のようなものを例示して説明する。
【0042】
電動ステージ9は、例えば、2個のモータ(図示略)を備えており、制御装置5の制御により、観察光学系15の光軸に直交するX方向およびY方向の各移動軸に沿って、X方向およびY方向に水平移動することができるようになっている。これにより、ガルバノスキャナ13によるレーザ光の走査範囲をX,Y方向に移動させることができる。以下、レーザ光の走査範囲のX,Y方向の位置をXY位置という。
【0043】
ガルバノスキャナ13は、2枚のガルバノミラーであり、制御装置5の制御により、互いに直交する揺動軸回りに揺動可能に設けられている。このガルバノスキャナ13は、揺動角度に応じてレーザ光を偏向することにより、サンプルS上でレーザ光をX,Y方向に2次元的に走査させることができるようになっている。また、これら2枚のガルバノミラーは、それぞれの振り角の変化のパターンを同期して変化させることで、レーザ光の走査方向を変更することができるようになっている。
【0044】
観察光学系15は、図2に示すように、ガルバノスキャナ13により走査されたレーザ光をサンプルSに照射する一方、サンプルSにおいて発生する蛍光を集光する互いに倍率が異なる複数の対物レンズ17と、観察光学系15の焦点距離を変更可能なETL(Electrically Tunable Lens、焦点位置移動部)19と、ETL19を透過した蛍光をレーザ光の光路から分岐するダイクロイックミラー21と、ダイクロイックミラー21により分岐された蛍光の通過を制限するピンホール23と、ピンホール23を通過した蛍光を検出する光電子増倍管のような検出器25とを備えている。
【0045】
ETL19は、制御装置5の制御により、レーザ光の焦点位置を観察光学系15の光軸に沿う方向、すなわちZ方向に移動することができるようになっている。以下、レーザ光のZ方向の焦点位置をZ位置という。
【0046】
ダイクロイックミラー21は、ガルバノスキャナ13からのレーザ光を対物レンズ17に向けて反射する一方、対物レンズ17から蛍光をピンホール23に向けて透過させるようになっている。
ピンホール23は、サンプルSにおける対物レンズ17の焦点位置において発生した蛍光のみを通過させることができるようになっている。
【0047】
ユーザインターフェース部7は、例えば、PC(Personal Computer)上のGUI(Graphical User Interface)である。このユーザインターフェース部7は、図1に示すように、顕微鏡3により取得された画像においてサンプルS上の注目する注目領域を観察ROI(関心領域)として設定するROI設定部(関心領域設定部)27を備えている。観察ROIは、サンプルSの全領域に設定することとしてもよいし、サンプルSの一部の領域に設定することとしてもよい。以下、図3に示すように、サンプルSの注目領域を符号Wとし、観察ROIを符号30とする。
【0048】
制御装置5は、PC(図示略)と、各種プログラムを記憶するメモリ(図示略)と、メモリに記憶されている各種プログラムを読み込んで各プログラムを実行し、ガルバノスキャナ13、ETL19、電動ステージ9および検出器25等を制御する制御部(演算処理装置)29とを備えている。
【0049】
PCは、検出器25により検出された蛍光の輝度情報に基づいてサンプルSの画像を生成するようになっている。また、PCは、サンプルSにおける焦点位置が異なる複数の2次元的な画像を合成して3次元的な画像を生成することができるようになっている。
以下、図1において、メモリに記憶されている画像解析プログラムを回転量算出部31および移動量算出部(第1移動量算出部、第2移動量算出部)33として示す。
【0050】
回転量算出部31は、サンプルSの注目領域Wが観察光学系15の光軸回り、すなわちZ軸回りに回転した場合に、画像上でその注目領域Wの回転に伴って回転する観察ROI30のZ軸回りの回転量を2次元的な画像または3次元的な画像の処理により算出するようになっている。
【0051】
移動量算出部33は、サンプルSの注目領域Wが観察光学系15の光軸に沿う方向、すなわちZ方向に移動した場合に、画像上でその注目領域Wの移動に伴ってZ方向に移動する観察ROI30の移動量を2次元的な画像上または3次元的な画像の処理により算出するようになっている。また、移動量算出部33は、サンプルSの注目領域WがZ軸に交差するX,Y方向に移動した場合に、画像上でその注目領域Wの移動に伴ってX,Y方向に移動する観察ROI30の移動量を2次元的な画像上または3次元的な画像の処理により算出するようになっている。
【0052】
制御部29は、回転量算出部31により算出された観察ROI30のZ軸回りの回転量を読み込み、サンプルSの注目領域Wにおけるレーザ光の走査方向が一定になるよう、その回転量に関する情報をガルバノスキャナ13にフィードバックして、2枚のガルバノミラーのそれぞれの駆動波形を変更することで、これらガルバノミラーの振り角の変化のパターンを同期して調整するようになっている。
【0053】
また、制御部29は、サンプルSの注目領域WがZ方向に移動すると、移動量算出部33により算出された観察ROI30のZ方向の移動量を読み込み、そのZ方向の移動量に関する情報をETL19にフィードバックして、レーザ光のZ方向の焦点位置を調整するようになっている。この制御部29は、ガルバノスキャナ13の制御とETL19の制御とを同期して行うことができるようになっている。
【0054】
また、制御部29は、サンプルSの注目領域WがX,Y方向に移動すると、移動量算出部33により算出された観察ROI30のX,Y方向の移動量を読み込み、そのX,Y方向の移動量に関する情報を電動ステージ9にフィードバックして、電動ステージ9のX,Y方向の位置を調整するようになっている。
【0055】
このように構成された顕微鏡システム1の作用について説明する。
本実施形態に係る顕微鏡システム1によりサンプルSの所望の注目領域を観察する場合は、まず、電動ステージ9にサンプルSを載置し、光源11からレーザ光を発生させる。光源11から発せられたレーザ光は、ガルバノスキャナ13によりX,Y方向に2次元的に走査されてダイクロイックミラー21により反射され、ETL19を介して対物レンズ17によりサンプルSに照射される。
【0056】
レーザ光が照射されることによりサンプルSにおいて発生した蛍光は、対物レンズ17により集光されてETL19を介してレーザ光の光路を戻り、ダイクロイックミラー21によりレーザ光の光路から分岐される。そして、レーザ光の光路から分岐された蛍光の内、対物レンズ17の焦点位置において発生した蛍光のみがピンホール23を通過して検出器25により検出される。これにより、制御装置5のPCにおいて、検出器25によって検出された蛍光の輝度情報に基づいて、サンプルSの2次元的な画像(スライス画像)が生成される。
【0057】
次いで、制御部29によりETL19が制御され、ガルバノスキャナ13によるレーザ光の走査位置がZ方向に微動する。そして、観察光学系15により移動後のZ位置でレーザ光が走査されて、サンプルSのスライス画像が取得される。このようにして、同一のXY位置において、Z位置が一定のステップ量で段階的にずらされて、各Z位置のスライス画像が取得される。そして、各Z位置のスライス画像が取得されると、制御装置5のPCによりそれらのスライス画像が合成されて、サンプルSの3次元的な画像が生成される。
【0058】
次に、ユーザは、生成したサンプルSの3次元的な画像において、サンプルS上の観察したい所望の注目領域Wを入力部により指定する。サンプルSの注目領域Wが指定されると、ROI設定部27により、図3に示すように、画像上で注目領域Wが観察ROI30として設定される。
【0059】
ユーザは、より高倍の対物レンズ17に切り替え、観察ROI30が設定されたサンプルSの注目領域Wをタイムラプス観察することで、サンプルSの注目領域Wについて経時的な変化を詳細に観察することができる。
【0060】
ここで、例えば、図4に示すように、サンプルSの注目領域WがZ軸回りに回転すると、従来の顕微鏡システムでは、図5に示すように、サンプルSの画像上で、その注目領域Wの回転に伴って観察ROI30も回転することとなる。例えば、タイムラプス観察中に、サンプルSの注目領域WがZ軸回りに回転し続けた場合は、取得されるスライス画像毎に観察ROI30のZ軸回りの向きが変化することとなる。
【0061】
これに対し、本実施形態に係る顕微鏡システム1においては、回転量算出部31により、観察光学系15によって取得される回転後のサンプルSの画像が処理され、画像上でその注目領域Wの回転に伴って回転する観察ROI30のZ軸回りの回転量(θ)が算出される。
【0062】
そして、算出された観察ROI30の回転量(θ)に基づいて、制御部29により、サンプルSの注目領域Wにおけるレーザ光の走査方向が一定になるよう、その回転量に関する情報がガルバノスキャナ13にフィードバックされて、2枚のガルバノミラーのそれぞれの振り角の変化のパターンが同期して回転量θの分だけ調整される。これにより、図6に示すように、画像上のサンプルSにおける観察ROI30の見た目の向きをリアルタイムで一定に維持することができる。
【0063】
また、この顕微鏡システム1においては、サンプルSの注目領域WがZ方向に移動すると、移動量算出部33により、観察光学系15によって取得される移動後のサンプルSの画像が処理され、画像上でその注目領域Wの移動に伴って移動する観察ROI30のZ方向の移動量が算出される。
【0064】
そして、制御部29により、観察ROI30のZ方向の移動量に関する情報がETL19にフィードバックされて、レーザ光のZ方向の焦点位置が調整される。これにより、画像上のサンプルSにおける観察ROI30のZ方向の位置もリアルタイムで一定に維持することができる。
【0065】
また、サンプルSの注目領域WがX,Y方向に移動すると、移動量算出部33により、観察光学系15によって取得される移動後のサンプルSの画像が処理され、画像上でその注目領域Wの移動に伴って移動する観察ROI30のX,Y方向の移動量が算出される。
【0066】
そして、制御部29により、観察ROI30のX,Y方向の移動量に関する情報が電動ステージ9にフィードバックされて、電動ステージ9のX,Y方向の位置が調整される。これにより、画像上のサンプルSにおける観察ROI30のX,Y方向の位置もリアルタイムで一定に維持することができる。
【0067】
以上説明したように、本実施形態に係る顕微鏡システム1によれば、動きのあるサンプルSに対して、全ての画像を取得した後に画像処理によって画像上の観察ROI30の見た目の向きを事後的に統一しなくても、画像上の観察ROI30の見た目の向きおよびX,Y,Z方向の位置をリアルタイムで一定に維持しながらサンプルSの注目領域Wを追跡して観察することができる。
【0068】
また、サンプルSの注目領域Wにおけるレーザ光の走査方向を一定にするとともに、X,Y方向の走査位置やZ方向の焦点位置を調整することにより、サンプルS全体が同じ動きをする場合だけでなく、サンプルSの注目領域Wが他の領域と異なる動きをする場合においても、画像上のサンプルSにおける観察ROI30の見た目の向きや位置を固定して、その注目領域Wの経時変化を観察することができる。
【0069】
本実施形態においては、例えば、図7(a),(b)に示すように、サンプルSの注目領域WがX軸、Y軸およびZ軸回りに回転した場合に、サンプルSの注目領域Wを3次元的に追跡することとしてもよい。
この場合、まず、観察光学系15により、サンプルSにおける平面状の注目領域Wの法線ベクトルに対して、複数枚のスライス画像を取得する。
【0070】
そして、移動量算出部33により、取得した複数枚のスライス画像を処理して、画像上でその注目領域Wの移動に伴って移動する観察ROI30のX,Y,Z方向の移動量を算出するとともに、回転量算出部31により、取得した複数枚のスライス画像を処理して、画像上でその注目領域Wの回転に伴って回転する観察ROI30のX,Y,Z軸回りの回転量(θ)を算出することとすればよい。
【0071】
そして、算出された観察ROI30のZ軸回りの回転量に基づいて、制御部29により、サンプルSの注目領域Wにおけるレーザ光の走査方向が一定になるよう、そのZ軸回りの回転量に関する情報をガルバノスキャナ13にフィードバックして、2枚のガルバノミラーのそれぞれの振り角の変化のパターンを同期して調整することとすればよい。
【0072】
また、算出された観察ROI30のX,Y軸回りの回転量に基づいて、制御部29により、そのX,Y軸回りの回転量に関する情報をETL19にフィードバックし、ガルバノスキャナ13によるレーザ光の走査と同期して、レーザ光の焦点位置をZ方向に移動させることとすればよい。サンプルSの注目領域WがX,Y軸回りに回転した場合に、ガルバノスキャナ13によるレーザ光のX,Y方向の走査と同期してETL19によりレーザ光の焦点位置をZ方向に移動させることで、注目領域WのX,Y軸回りの傾きに応じてレーザ光の走査面を傾けることができる。
【0073】
サンプルSの注目領域WがX,Y方向に移動した場合は、制御部29により、画像上の観察ROI30のX,Y方向の移動量に関する情報を電動ステージ9にフィードバックして、電動ステージ9のX,Y方向の位置を調整することとすればよい。
【0074】
このようにすることで、サンプルSの注目領域WがX,Y,Z方向のいずれかの方向に移動したりX,Y,Z軸のいずれかの軸回りに回転したりした場合でも、画像上のサンプルSにおける観察ROI30のX,Y,Z方向の位置およびX,Y,Z軸回りの見た目の向きもリアルタイムで一定に維持することができる。
【0075】
画像処理は、例えば、テンプレートマッチング等を行うこととしてもよい。この場合、追跡したい注目領域Wを図示しないメモリにテンプレートとして予め保存しておき、回転量算出部31および移動量算出部33により、撮影ごとにテンプレートが3次元空間のどの位置にあるかを探索して、観察ROI30のX,Y,Z方向の移動量およびX,Y,Z軸回りの回転量を算出することとしてもよい。なお、画像処理は他の処理方法を採用することとしてもよい。
【0076】
また、本実施形態においては、サンプルSの注目領域Wを観察ROI30として設定し、画像上の観察ROI30の見た目の向きおよびX,Y,Z方向の位置をリアルタイムで一定に維持することとした。これに代えて、サンプルS上の刺激を与える刺激領域(注目領域)を刺激ROIとして設定し、観察ROI30の追跡と同様にして、刺激領域のZ軸回りの向きおよびX,Y,Z方向の位置をリアルタイムで一定に維持することとしてもよい。この場合、観察光学系15として、例えば、サンプルSの画像を取得するカメラを採用することとしてもよい。
【0077】
〔第2実施形態〕
次に、本発明の第2実施形態に係る顕微鏡システムについて説明する。
本実施形態に係る顕微鏡システム41は、図8に示すように、観察用のガルバノスキャナ13の他に、刺激用のガルバノスキャナ(他の走査光学系)43を備える点で第1実施形態と異なる。
以下、第1実施形態に係る顕微鏡システム1と構成を共通する箇所には、同一符号を付して説明を省略する。
【0078】
本実施形態に係る顕微鏡システム41は、観察用のレーザ光とは異なる波長の刺激用のレーザ光が刺激用のガルバノスキャナ43により走査されて、観察光学系15の対物レンズ17によりサンプルSに照射されるようになっている。
【0079】
刺激用のガルバノスキャナ43は、例えば、観察用のガルバノスキャナ13と同じく2枚のガルバノミラーであり、刺激用の光源からのレーザ光をサンプルS上でX,Y方向に走査させることができるようになっている。また、これら2枚のガルバノミラーは、それぞれの振り角の変化のパターンを同期して変化させることで、レーザ光の走査方向を変更することができるようになっている。
【0080】
ROI設定部27は、観察光学系15により取得されたサンプルSの画像において、図9(a)に示すように、サンプルS上の刺激する刺激領域(他の注目領域)Zを刺激ROI(他の関心領域)40として設定するようになっている。
【0081】
回転量算出部31は、サンプルSの刺激領域ZがZ軸回りに回転した場合に、画像上でその刺激領域Zの回転に伴って回転する刺激ROI40のZ軸回りの回転量を2次元的な画像上または3次元的な画像の処理より算出するようになっている。回転量算出部31による刺激ROI40の回転量の算出は、観察ROI30の回転量の算出とは別個に独立して行われるようになっている。
【0082】
移動量算出部33(第1移動量算出部、第2移動量算出部、他の第1移動量算出部、他の第2移動量算出部)は、サンプルSの刺激領域ZがZ方向に移動した場合に、画像上でその刺激領域Zの移動に伴ってZ方向に移動する刺激ROI40の移動量を2次元的な画像上または3次元的な画像の処理より算出するようになっている。
【0083】
また、移動量算出部33は、サンプルSの刺激領域ZがX,Y方向に移動した場合に、画像上でその刺激領域Zの移動に伴ってX,Y方向に移動する刺激ROI40の移動量を2次元的な画像上または3次元的な画像の処理より算出するようになっている。移動量算出部33によるこれら刺激ROI40の移動量の算出は、観察ROI30の移動量の算出とは別個に独立して行われるようになっている。
【0084】
制御部29は、回転量算出部31により算出された刺激ROI40のZ軸回りの回転量を読み込み、サンプルSの刺激領域Zにおけるレーザ光の走査方向が一定になるよう、その回転量に関する情報を刺激用のガルバノスキャナ43にフィードバックして、2枚のガルバノミラーのそれぞれの駆動波形を変更することで、これらガルバノミラーの振り角の変化のパターンを同期して調整するようになっている。
【0085】
また、制御部29は、サンプルSの刺激領域ZがZ方向に移動すると、移動量算出部33により算出された刺激ROI40のZ方向の移動量を読み込み、そのZ方向の移動量に関する情報をETL(焦点位置移動部、他の焦点位置移動部)19にフィードバックして、レーザ光のZ方向の焦点位置を調整するようになっている。この制御部29は、刺激用のガルバノスキャナ43の制御とETL19の制御とを同期して行うことができるようになっている。
【0086】
また、制御部29は、サンプルSの刺激領域ZがX,Y方向に移動すると、移動量算出部33により算出された刺激ROI40のX,Y方向の移動量を読み込み、そのX,Y方向の移動量に関する情報を電動ステージ9にフィードバックして、電動ステージ(走査範囲移動部、他の走査範囲移動部)9のX,Y方向の位置を調整するようになっている。
【0087】
このように構成された顕微鏡システム41の作用について説明する。
本実施形態に係る顕微鏡システム41によりサンプルSの光刺激による反応を観察する場合は、まず、第1実施形態と同様の方法でサンプルSの3次元的な画像を取得し、観察ROI30を設定する。
【0088】
次に、ユーザは、生成したサンプルSの3次元的な画像において、サンプルS上の刺激したい所望の刺激領域Zを入力部により指定する。サンプルSの刺激領域Zが指定されると、ROI設定部27により、画像上で刺激領域Zが刺激ROI40として設定される。
【0089】
ユーザは、刺激用のガルバノスキャナ43により刺激領域Zに刺激用のレーザ光を照射し、観察光学系15により注目領域Wに観察用のレーザ光を照射してその注目領域Wの画像を取得することで、光刺激によるサンプルSの注目領域Wの反応を観察することができる。
【0090】
ここで、例えば、図9(b)に示すように、サンプルSの刺激領域ZがZ軸回りに回転すると、回転量算出部31により、観察光学系15によって取得される回転後のサンプルSの画像が処理され、画像上でその刺激領域Zの回転に伴って回転する刺激ROI40のZ軸回りの回転量(θ´)が算出される。
【0091】
そして、算出された刺激ROI40の回転量(θ´)に基づいて、制御部29により、サンプルSの刺激領域Zにおけるレーザ光の走査方向が一定になるよう、その回転量に関する情報が刺激用のガルバノスキャナ43にフィードバックされて、2枚のガルバノミラーのそれぞれの振り角の変化のパターンが同期して回転量(θ´)の分だけ調整される。これにより、画像上のサンプルSにおける刺激ROI40の見た目の向きをリアルタイムで一定に維持することができる。
【0092】
また、サンプルSの刺激領域ZがZ方向に移動すると、移動量算出部33により、観察光学系15によって取得される移動後のサンプルSの画像が処理され、画像上でその刺激領域Zの移動に伴って移動する刺激ROI40のZ方向の移動量が算出される。
【0093】
そして、制御部29により、刺激ROI40のZ方向の移動量に関する情報がETL19にフィードバックされて、レーザ光のZ方向の焦点位置が調整される。これにより、画像上のサンプルSにおける刺激ROI40のZ方向の位置もリアルタイムで一定に維持することができる。
【0094】
また、サンプルSの刺激領域ZがX,Y方向に移動すると、移動量算出部33により、観察光学系15によって取得される移動後のサンプルSの画像が処理され、画像上でその刺激領域Zの移動に伴って移動する刺激ROI40のX,Y方向の移動量が算出される。
【0095】
そして、制御部29により、刺激ROI40のX,Y方向の移動量に関する情報が電動ステージ9にフィードバックされて、電動ステージ9のX,Y方向の位置が調整される。これにより、画像上のサンプルSにおける刺激ROI40のX,Y方向の位置もリアルタイムで一定に維持することができる。
【0096】
以上説明したように、本実施形態に係る顕微鏡システム41によれば、動きのあるサンプルSに対して、画像上の刺激ROI40の見た目の向きおよびX,Y,Z方向の位置をリアルタイムで一定に維持しながら、サンプルSを追跡して光刺激による反応を観察することができる。また、サンプルSの刺激領域Zにおけるレーザ光の走査方向を一定にするとともに、X,Y方向の走査位置やZ方向の焦点位置を調整することにより、サンプルSの刺激領域Zが他の領域と異なる動きをする場合においても、サンプルSの刺激ROI40の向きや位置を固定して、その刺激領域Zに光刺激を与えることができる。
【0097】
本実施形態においても、例えば、図10(a),(b)に示すように、サンプルSの刺激領域ZがX,Y,Z軸回りに回転した場合に、サンプルSの刺激領域Zを3次元的に追跡することとしてもよい。
この場合、注目領域Wの場合と同様に、観察光学系15により、サンプルSにおける平面状の刺激領域Zの法線ベクトルに対して複数枚のスライス画像を取得し、移動量算出部33および回転量算出部31により、取得した複数枚のスライス画像を処理して刺激ROI40のX,Y,Z方向の移動量およびX,Y,Z軸回りの回転量(θ)を算出することとすればよい。
【0098】
そして、算出された刺激ROI40のZ軸回りの回転量に基づいて、制御部29により、サンプルSの刺激領域Zにおけるレーザ光の走査方向が一定になるよう、そのZ軸回りの回転量に関する情報を他のガルバノスキャナ43にフィードバックして、2枚のガルバノミラーのそれぞれの振り角の変化のパターンを同期して調整することとすればよい。
【0099】
また、算出された観察ROI30のX,Y軸回りの回転量に基づいて、制御部29により、そのX,Y軸回りの回転量に関する情報をETL19にフィードバックし、他のガルバノスキャナ43によるレーザ光の走査と同期して、レーザ光の焦点位置をZ方向に移動させることとすればよい。サンプルSの刺激領域ZがX,Y軸回りに回転した場合に、他のガルバノスキャナ43によるレーザ光のX,Y方向の走査と同期してETL19によりレーザ光の焦点位置をZ方向に移動させることで、刺激領域ZのX,Y軸回りの傾きに応じてレーザ光の走査面を傾けることができる。
【0100】
サンプルSの刺激領域ZがX,Y方向に移動した場合は、制御部29により、画像上の刺激ROI40のX,Y方向の移動量に関する情報を電動ステージ9にフィードバックして、電動ステージ9のX,Y方向の位置を調整することとすればよい。
【0101】
このようにすることで、サンプルSの刺激領域ZがX,Y,Z方向のいずれかの方向に移動したりX,Y,Z軸のいずれかの軸回りに回転したりした場合でも、画像上のサンプルSにおける刺激ROI40のX,Y,Z方向の位置およびX,Y,Z軸回りの見た目の向きもリアルタイムで一定に維持しながら、サンプルSを追跡して光刺激による反応を観察することができる。
【0102】
上記各実施形態は以下のように変形することができる。
上記各実施形態においては、走査光学系および他の走査光学系としてそれぞれガルバノスキャナ13,43を例示して説明したが、第1変形例としては、例えば、走査光学系および他の走査光学系としてそれぞれ2つのAOD(Acousto―Optic Deflector、図示略))を採用することとしてもよい。AODは、結晶内に超音波を伝搬させてレーザ光を回折させることで走査することができる。
【0103】
この場合、それぞれ2つのAODを互いに直交するように配置し、制御部29により各AODを制御して、サンプルS上でレーザ光をX,Y方向に2次元的に走査させることとすればよい。また、制御部29により、回転量算出部31により算出された観察ROI30および刺激ROI40の回転量に基づいて、サンプルSの注目領域Wおよび刺激領域Zにおけるレーザ光の走査方向が一定になるよう、各AODにフィードバックしてレーザ光を走査させる向きを調整することとすればよい。
【0104】
また、上記各実施形態においては、焦点位置移動部としてETL19を採用したが、第2変形例としては、例えば、図11に示すように、走査光学系および焦点位置移動部として、4個のAOD45を採用することとしてもよい。
【0105】
この場合、例えば、図12に示すように、制御部29により、1対2個のAOD45に互いに対向する方向のチャープ信号を入力してXZ走査を行うこととすればよい。また、これら1対2個のAOD45どうしを直交配置し、制御部29により、回転量算出部31によって算出された観察ROI30の回転量に基づいて、サンプルSの注目領域Wにおけるレーザ光の走査方向が一定になるよう、各AOD45にフィードバックしてレーザ光を走査させる向きを調整することとすればよい。
【0106】
また、制御部29により、移動量算出部33によって算出された観察ROI30のZ方向の移動量を読み込んで、各AOD45にフィードバックして、レーザ光のZ方向の焦点位置を調整することとすればよい。
本変形例においては、走査光学系および焦点位置移動部と同様に、他の走査光学系および他の焦点位置移動部として4個のAODを採用することとしてもよい。
【0107】
この場合、例えば、サンプルSの注目領域Wおよび刺激領域ZがX,Y軸回りに回転した場合は、回転量算出部31により、注目領域Wおよび刺激領域ZのX,Y軸回りの回転に伴う観察ROI30および刺激ROI40のX,Y軸回りの回転量を算出することとすればよい。そして、算出された観察ROI30および刺激ROI40のX,Y軸回りの回転量に基づいて、制御部29により、そのX,Y軸回りの回転量に関する情報をAODにフィードバックし、AODによりレーザ光をX,Y方向に走査させつつレーザ光の焦点位置をZ方向に移動させることとすればよい。
【0108】
このようにすることで、サンプルSの注目領域Wおよび刺激領域ZのX,Y軸回りの傾きに応じてレーザ光の走査面を傾けて、3次元的な画像上の観察ROI30および刺激ROI40の見た目の向きとX,Y軸回りの傾きをリアルタイムで一定に維持しながら、サンプルSを追跡して観察および刺激することができる。
【0109】
また、上記各実施形態においては、ガルバノスキャナ13の2枚のガルバノミラーのそれぞれの振り角の変化のパターンを同期して調整することとしたが、第3変形例としては、例えば、図13に示すように、ガルバノスキャナ13とダイクロイックミラー21との間の光路上にイメージロータ47を配置し、このイメージロータ47によりレーザ光の走査方向を変更することとしてもよい。この場合、本変形例においては、走査光学系として、ガルバノスキャナ13に代えて、例えば、ローテーションスキャンができないレゾナントスキャナを採用することとしてもよい。
【0110】
本変形例においては、ガルバノスキャナ13と同様に、他のガルバノスキャナ43によるレーザ光の走査方向を変更するイメージロータを採用することとしてもよい。この場合、他のガルバノスキャナ43に代えて、レゾナントスキャナを採用することとしてもよい。
【0111】
また、上記各実施形態においては、焦点位置移動部および他の焦点位置移動部としてETL19を例示して説明したが、これに代えて、対物レンズ17をZ方向に微動可能なレボルバを採用することとしてもよい。この場合、制御部29の制御により、レボルバにより保持している対物レンズ17をZ方向に微動させることで、観察光学系15によるレーザ光の走査位置をZ方向に移動させることとすればよい。
【0112】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。また、第1移動量算出部、第2移動量算出部、他の第1移動量算出部、他の第2移動量算出部として1つの移動量算出部33を例示して説明したが、それぞれ独立した別個の移動量算出部を採用することとしてもよい。
【0113】
また、上記各実施形態においては、サンプルSを3次元的に観察する場合において、3次元的な画像上での観察ROI30や刺激ROI40のZ軸回りの向きやX,Y,Z方向の位置等を一定に維持する例を説明したが、Z方向への移動やX,Y軸回りの回転が生じないサンプルSを2次元的に観察したり刺激したりする場合は、回転量算出のために複数の焦点位置で観察画像を取得する必要はなく、回転量算出部31は観察面に対応する1つの焦点位置で取得した2次元的な画像を用いて観察ROI30や刺激ROI40のZ軸回りの向きを算出することとすればよい。
【符号の説明】
【0114】
1,41 顕微鏡システム
9 電動ステージ(走査範囲移動部、他の走査範囲移動部)
13 ガルバノスキャナ(走査光学系)
15 観察光学系
19 ETL(焦点位置移動部)
27 ROI設定部(関心領域設定部)
29 制御部
30 観察ROI(関心領域)
31 回転量算出部
33 移動量算出部(第1移動量算出部、第2移動量算出部、他の第1移動量算出部、他の第2移動量算出部)
40 刺激ROI(他の関心領域)
43 刺激用のガルバノスキャナ(他の走査光学系)
S サンプル
W 注目領域
Z 刺激領域(他の注目領域)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13