(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024124792
(43)【公開日】2024-09-13
(54)【発明の名称】顕微鏡システム、顕微鏡補助装置及びその制御方法とプログラム
(51)【国際特許分類】
G02B 21/32 20060101AFI20240906BHJP
G02B 21/00 20060101ALI20240906BHJP
G02B 21/36 20060101ALI20240906BHJP
【FI】
G02B21/32
G02B21/00
G02B21/36
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023032700
(22)【出願日】2023-03-03
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100125254
【弁理士】
【氏名又は名称】別役 重尚
(72)【発明者】
【氏名】塚辺 直希
【テーマコード(参考)】
2H052
【Fターム(参考)】
2H052AB01
2H052AB10
2H052AC05
2H052AD03
2H052AD06
2H052AD33
2H052AE13
2H052AF14
2H052AF19
2H052AF23
2H052AF25
(57)【要約】
【課題】観察条件や操作手段が変更されても操作性が維持される補助装置を提供する。
【解決手段】顕微鏡100による観察下にある対象物103を操作する操作器具10L,10Rの動作を補助する補助装置は、操作器具10L,10Rを駆動する可動部1L,1Rと、可動部1L,1Rを制御する制御ユニット2と、可動部1L,1Rを駆動するための入力を行う入力部20L,20Rとを備え、制御ユニット2は、顕微鏡100による観察下での視野範囲16を対象物103に対するフォーカス調整が行われる光軸方向での範囲を含めて取得し、入力部20L,20Rからの入力に応じた可動部1L,1Rの制御量を視野範囲16に基づいて決定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
顕微鏡による観察下にある対象物を操作する操作器具の動作を補助する顕微鏡補助装置であって、
前記操作器具を駆動する駆動手段と、
前記駆動手段を制御する制御手段と、
前記駆動手段を駆動するための入力を行う第1の入力手段と、を備え、
前記制御手段は、前記顕微鏡による観察下での視野範囲を前記対象物に対するフォーカス調整が行われる光軸方向での範囲を含めて取得し、前記第1の入力手段からの入力に応じた前記駆動手段の制御量を前記視野範囲に基づいて決定することを特徴とする顕微鏡補助装置。
【請求項2】
前記制御手段は、前記顕微鏡により前記光軸方向と直交する平面での前記視野範囲における範囲を、前記顕微鏡の観察光学系が形成する光学像の範囲、前記光学像を撮像する撮像手段により撮像可能な範囲、前記撮像手段が撮像した光学像のうち表示装置に表示される範囲のいずれかの範囲又はこれらの範囲の論理積で取得することを特徴とする請求項1に記載の顕微鏡補助装置。
【請求項3】
前記制御手段は、前記視野範囲における前記光軸方向の範囲を、前記観察光学系において前記対象物と対向するよう配置された対物レンズの倍率と、前記対物レンズの前記光軸方向での位置と、に基づいて前記観察光学系の状態を推定することにより取得することを特徴とする請求項2に記載の顕微鏡補助装置。
【請求項4】
前記制御手段は、前記光軸方向での前記視野範囲における範囲を、前記撮像手段により撮像される画像から得られるコントラスト評価値に基づいて推定して取得することを特徴とする請求項2に記載の顕微鏡補助装置。
【請求項5】
前記顕微鏡に前記対象物を観察するための観察光学系が複数あり、使用する観察光学系の切り替えが可能となっている場合に、
前記複数の観察光学系のうち使用されている観察光学系を検出する検出手段と、
前記複数の観察光学系それぞれの特徴量を記憶する記憶手段と、を有し、
前記制御手段は、前記使用されている観察光学系に対応する特徴量に基づいて前記視野範囲を取得することを特徴とする請求項1に記載の顕微鏡補助装置。
【請求項6】
前記制御手段は、前記視野範囲が縮小する際にその縮小量に比例させて前記制御量を小さくすることを特徴とする請求項1に記載の顕微鏡補助装置。
【請求項7】
前記制御手段は、前記視野範囲と、前記視野範囲における前記操作器具の位置と、の関係に基づいて前記制御量を決定することを特徴とする請求項1に記載の顕微鏡補助装置。
【請求項8】
前記制御手段は、前記操作器具が前記視野範囲における前記光軸方向での中心位置に近いほど前記第1の入力手段からの入力に対する前記制御量を小さくすることを特徴とする請求項1に記載の顕微鏡補助装置。
【請求項9】
前記第1の入力手段からの入力に応じて設定される前記駆動手段の制御量を変更する変更手段を備えることを特徴とする請求項1乃至8のいずれか1項に記載の顕微鏡補助装置。
【請求項10】
前記制御手段は、表示装置に前記視野範囲を設定するためのグラフィカルユーザインタフェースを表示し、
前記グラフィカルユーザインタフェースに対する指示を入力する第2の入力手段を有することを特徴とする請求項1乃至9のいずれか1項に記載の顕微鏡補助装置。
【請求項11】
顕微鏡による観察下にある対象物を操作する操作器具の動作を補助する顕微鏡補助装置の制御方法であって、
前記操作器具を駆動する駆動手段を動作させるための入力を受け付けるステップと、
前記顕微鏡による観察下での視野範囲を前記対象物に対するフォーカス調整が行われる光軸方向での範囲を含めて取得するステップと、
前記入力に応じた前記駆動手段の制御量を前記視野範囲に基づいて決定するステップと、を有することを特徴とする顕微鏡補助装置の制御方法。
【請求項12】
顕微鏡と、
前記顕微鏡による観察下にある対象物を操作する操作器具の動作を補助する顕微鏡補助装置と、を有する顕微鏡システムであって、
前記顕微鏡補助装置は、
前記操作器具を駆動する駆動手段と、
前記駆動手段を制御する制御手段と、
前記駆動手段を駆動するための入力を行う入力手段と、を備え、
前記制御手段は、前記顕微鏡による観察下での視野範囲を前記対象物に対するフォーカス調整が行われる光軸方向での範囲を含めて取得し、前記入力手段からの入力に応じた前記駆動手段の制御量を前記視野範囲に基づいて決定することを特徴とする顕微鏡システム。
【請求項13】
コンピュータを請求項1乃至10のいずれか1項に記載の顕微鏡補助装置の各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡システム、顕微鏡補助装置及びその制御方法とプログラムに関する。
【背景技術】
【0002】
ライフサイエンス分野や微細加工分野では、微小な細胞や半導体素子等の対象物を顕微鏡で観察しながら、対象物に対して種々の機械的操作が行われる。このような機械的操作として、例えば、細胞を選り分ける、細胞内に機械的に外部から物質を挿入する、プローブにより微小部分の電位を測定する、半導体素子に混入した異物をピックアップする等の操作が挙げられる。また、不妊治療の一手段である、卵子の中に精子を外部から機械的に注入する作業を行う顕微授精も、その代表的な例である。
【0003】
顕微鏡による観察下で対象物に機械的操作を行う際には、ピペットやプローブ、ピンセット等の操作器具を三次元方向に移動させる必要がある。そのため、操作器具の着脱を可能とし、装着された操作器具を駆動する補助装置が顕微鏡に取り付けられて使用されることが多い。三次元方向とは、対象物に対するフォーカス調整のための光軸方向と、光軸方向と直交する平面内の任意の方向を指す。このような補助装置は、装着された操作器具を三次元方向に移動可能とするアクチュエータを組み合わせることによって構成されており、一般的に「マイクロマニピュレータ」又は単に「マニピュレータ」と称呼されている。
【0004】
ここで、顕微鏡で観察可能な視野はレンズの切り替えやピント合わせの操作によって大きく変化するため、視野が変化する状況で操作器具を三次元的に移動させて所望の操作を行うことは容易ではない。そこで、特許文献1は、拡大率に応じて操作器具の操作ゲインを切り替えることにより補助装置の操作性を向上させる技術を開示している。また、特許文献2は、倍率に応じて粗動機構と微動機構を切り替えることにより補助装置の操作性を向上させる技術を開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004-298996号公報
【特許文献2】特開2008-221423号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献1に開示された技術は、対象物に対してフォーカス調整を行う光軸方向(奥行方向)と直交する平面内での操作器具の操作に関するものであって、奥行方向での操作について検討されていない。また、対象物を観察する条件が変わった際に視野範囲に適した操作量を意識して操作を行う必要がある。そのため、操作性がよいとは言えない。また、上記特許文献2に開示された技術は、粗動機構と微動機構を有さない装置にはそもそも適用することができない。
【0007】
本発明は、このような事情に鑑みてなされたものであり、観察条件や操作手段が変更されても操作性を維持することができる顕微鏡補助装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る顕微鏡補助装置は、顕微鏡による観察下にある対象物を操作する操作器具の動作を補助する顕微鏡補助装置であって、前記操作器具を駆動する駆動手段と、前記駆動手段を制御する制御手段と、前記駆動手段を駆動するための入力を行う第1の入力手段と、を備え、前記制御手段は、前記顕微鏡による観察下での視野範囲を前記対象物に対するフォーカス調整が行われる光軸方向での範囲を含めて取得し、前記第1の入力手段からの入力に応じた前記駆動手段の制御量を前記視野範囲に基づいて決定することを特徴とする。
【発明の効果】
【0009】
本発明によれば、観察条件や操作手段が変更されても操作性を維持することができる顕微鏡補助装置を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】実施形態に係る顕微鏡システムの全体的な構成を示す図である。
【
図2】顕微鏡システムを構成する倒立顕微鏡の側面図である。
【
図4】対象物に対する視野範囲とモニタでの表示範囲を説明する図である。
【
図5】可動部の制御量を決定する処理のフローチャートである。
【
図6】S505で可動部の制御量を決定する方法を説明する模式図である。
【
図7】S506でモニタに表示されるUIの一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【0012】
図1は、実施形態に係る顕微鏡システムの全体的な構成を示す図である。
図2は、顕微鏡システムを構成する倒立顕微鏡100(以下「顕微鏡100」と記す)の概略構成を示す側面図である。顕微鏡システムは、
図2に示す既存の顕微鏡100に顕微鏡補助装置(以下「補助装置」と記す)を取り付けることによって構築されている。
【0013】
なお、
図1及び
図2では、顕微鏡システムの構成要素を明確とするために、一部が誇張され、一部が省略され、また、一部の内部部品が実線で描画されており、よって、各部の大きさは実物を反映してはいない。また、説明の便宜上、顕微鏡システムに対して、
図1に示す通りに座標系を設定する。Z方向は対象物に対するフォーカス調整のための光軸方向であり、ここでは鉛直方向であるとする。Z方向と直交する水平面内において互いに直交する方向をX方向とY方向とし、X方向を左右方向、Y方向を前後方向とする。
【0014】
顕微鏡100は、透明の観察皿102に置かれた対象物103へ向けて照明光学系101から光を照射し、観察皿102に下側に配置された観察光学系104を介して対象物103を観察する構造となっている。観察光学系104は、対象物103と対向するように配置された対物レンズ104aを有し、対物レンズ104aを透過した光を不図示の他のレンズや屈折光学系を経由させて、接眼レンズ104bでの肉眼による観察を可能にしている。顕微鏡100に設けられたノブ105を回転させて対物レンズ104aをZ方向に微小移動させることにより、対象物103に対するピント調整を行うことが可能となっている。なお、ノブ105の回転操作は、不図示の減速伝達機構を介して対物レンズ104aの微小移動量に変換される仕組みとなっている。
【0015】
顕微鏡100は、対物レンズ104aとして、低倍率のものから高倍率のものまでの複数のレンズ(不図示)を備えており、ユーザ(使用者)が所望の倍率のものを選択して観察光学系104にセットすることが可能となっている。対物レンズ104aの切り替え方式には、例えば、レボルバ式等があるが、特に限定されない。複数の対物レンズのうちどの倍率の対物レンズが観察光学系104にセットされているかは、対物レンズ104aの切替機構にセンサを設けることによって検出することができる。
【0016】
観察光学系104には不図示の分光手段が設けられており、対物レンズ104aを透過した光を撮像部106に結像させることが可能となっている。撮像部106は、例えば、顕微鏡専用のCMOSセンサ等の撮像素子402(
図4参照)を有するが、これに限らず、マウントアダプタを介して取り付けられた一般的なデジタルカメラであってもよい。撮像部106に結像した光学像は、撮像部106によって画像データに変換されて、視野画像としてモニタ200に表示されるようになっている。
【0017】
補助装置は、可動部1L,1R、制御ユニット2及び入力部20L,20Rを有する。制御ユニット2には、モニタ200と、モニタ200に表示されるユーザインタフェース(UI)への入力を行うマウス201及びキーボード202が接続されている。
【0018】
可動部1L,1Rにはそれぞれ、顕微鏡100の視野範囲内で対象物103を操作するための操作手段である操作器具10L,10Rを保持している。可動部1L,1Rは、一般的に「マイクロマニピュレータ」と称呼されるものであり、X方向(左右方向)において顕微鏡100に対して略左右対称となる位置(顕微鏡100の左側と右側)に取り付けられる。可動部1L,1Rは、操作器具10L,10Rを三次元方向(X方向、Y方向、Z方向)に移動させる。なお、可動部1L,1Rは、ヨー、ピッチ、ロールの回転方向の駆動軸を備えていてもよく、また、粗動用の高速駆動機構と微動用の高分解能駆動機構を個別に備えていてもよい。
【0019】
前述の通りにユーザは接眼レンズ104bを通じて対象物103を観察しながら操作器具10L,10Rを操作することができるが、以下では、ユーザはモニタ200に表示される視野画像を見ながら操作器具10L,10Rを操作する使用態様について説明する。
【0020】
可動部1L,1Rの駆動を制御する制御ユニット2は、CPU2a、L駆動回路2b、R駆動回路2c、画像処理回路2d、入力読取回路2e及びメモリ2fを有する。CPU2aは、メモリ2fに格納されている所定のプログラムを実行することにより、補助装置の全体的な動作を制御する。メモリ2fは、CPU2aが実行するプログラムを格納する記憶領域と、プログラムを展開するための作業領域と、CPU2aが生成する各種データを一時的に保存する記憶領域を有する。画像処理回路2dは、撮像部106から取得した視野画像をモニタ200に表示可能な信号に変換する処理や、メモリ2fに保存するための画像データに変換する処理等を行う。入力読取回路2eは、入力部20L,20R(詳細は後述する)から入力される各方向の移動量を読み取ってCPU2aへ伝達する。
【0021】
L駆動回路2bは、可動部1Lの駆動を制御することにより、操作器具10Lの三次元方向での移動を制御する。同様に、R駆動回路2cは、可動部1Rの駆動を制御することにより、操作器具10Rの三次元方向での移動を制御する。操作器具10L,10Rを三次元方向に移動させて操作器具10L,10Rの先端を視野範囲16(
図4を参照して後述する)に誘導して合焦させることにより、ユーザは操作器具10L,10Rの先端を利用して対象物103を自在に操作することができる。
【0022】
入力部20L,20Rはそれぞれ、作業者が操作器具10L,10Rを動かす際の移動方向と移動量を入力するための入力手段であり、一般的に「ジョイスティック」と称呼されるものである。本実施形態では、入力部20L,20Rは、下端が支持され、上端部を操作する構造を有するジョイスティックである。入力部20Lの上端部を前後左右(X方向及びY方向)に変位させる(入力部20Lを傾ける)ことにより、X方向とY方向における操作器具10Lの移動量を入力することができる。また、入力部20Lの上端部に設けられたダイヤルを回転させることにより、Z方向における操作器具10Lの移動量を入力することができる。入力部20Rに対して、入力部20Lと同様の操作を行うことにより、操作器具10RのX方向、Y方向及びZ方向の移動量を入力することができる。よって、ユーザは、モニタ200を見ながら入力部20L,20Rを操作して、意図した通りに操作器具10L,10Rを動かすことができる。
【0023】
なお、入力部20L,20Rは、下端が支持されて上端部を操作する構成に限られず、上端が支持されて下端部を操作するように吊り下げられた構成であってもよいし、ボタンやダイヤル、タッチパネル等を組み合わせて構成されていてもよい。
【0024】
マウス201及びキーボード202は、制御ユニット2へ各種の指示を入力するための入力手段であり、モニタ200に表示されたUI(
図7を参照して後述する)に対する操作に用いられる。マウス201及びキーボード202は、モニタ200に表示されるUIを通じて提供する機能に応じて、入力部20L,20Rに代えて、操作器具10L,10Rの各方向の移動量を入力する用途に用いることもできる。また、マウス201及びキーボード202は、制御ユニット2がUIを通じて提供する機能に応じて、入力部20L,20Rからの指令(入力値)に対する操作器具10L,10Rの移動量(可動部1L,1Rの制御量)を変更する用途に用いられる。
【0025】
なお、マウス201やキーボード202に代えて或いはこれらに加えて、モニタ200にタッチパネルが設けられ、タッチパネルに対するタッチ操作によってモニタ200に表示されるUIへの入力を行うことが可能な構成となっていてもよい。
【0026】
図3(a)は、操作器具10Rの先端付近の外観構成を示す図である。
図3(b)は、
図3(a)において二点鎖線で示す領域A(主にピペット固定部材12)の構造を示す断面図である。操作器具10Rは、ピペット11、ピペット固定部材12及び主軸13を有する。
【0027】
ピペット11は、ピペット固定部材12に対して着脱可能であり、操作器具10Rにおける先端部を構成する部材である。ピペット11は、ピペット固定部材12側から所定の長さを有するストレート形状のストレート管部11aと、ストレート管部11aから先端に近付くに従って徐々に外径が小さくなるテーパー管部11bを有する。また、ピペット11は、テーパー管部11bから先端に向けて設けられた所定の長さの微細管部11cを有する。微細管部11cのテーパー管部11b側とピペット先端11eの間には、微細管部11cを所定の角度で屈曲させるピペット屈曲部11dが設けられており、微細管部11cはピペット屈曲部11dにおいて所定の角度で屈曲している。
【0028】
ピペット固定部材12は、管状に形成されたシリコーンゴム等からなる弾性保持部材14を有する。主軸13の内部にはインナーチューブ15が配置されており、弾性保持部材14に対して、一方の端からインナーチューブ15が差し込まれ、他方の端からピペット11(ストレート管部11a)が差し込まれる。弾性保持部材14の内径はピペット11の外径及びインナーチューブ15の外径よりも小さくなっており、インナーチューブ15からピペット11へ向けて流体を漏れなく通過させることが可能となっている。
【0029】
主軸13は、インナーチューブ15を後端(不図示)まで通すことができるように、その後端(不図示)まで中空状に形成されている。主軸13の先端には、弾性保持部材14を保持する空間が設けられており、この空間にインナーチューブ15の先端が突出することでインナーチューブ15の先端は弾性保持部材14に挿入された状態となる。ピペット固定部材12にはピペット11を通すための穴が設けられており、この穴に挿入されたピペット11の端部が弾性保持部材14に挿入された状態となる。
【0030】
主軸13の先端部の外側(外周面)には雄ねじ(不図示)が形成されており、主軸13の雄ねじと螺合するように、ピペット固定部材12の内側(内周面)に雌ねじ(不図示)が形成されている。主軸13の雄ねじとピペット固定部材12の雌ねじの螺合により、弾性保持部材14が固定されると共に、ピペット11とインナーチューブ15が弾性保持部材14を介して連結される。こうして、ピペット11と主軸13をピペット固定部材12により十分な強度で固定することが可能となっている。
【0031】
ピペット11のストレート管部11aは
図3(b)に示されるように中空状となっており、不図示であるが中空状の空間はストレート管部11aからピペット先端11eまで連続している。よって、気体や液体等の流体をストレート管部11aのピペット固定部材12側の開口部からピペット先端11eへ送ることが可能となっている。
【0032】
なお、操作器具10R、10Lは、操作器具10Lのピペットの内径が操作器具10Rのピペット11の内径よりも大きい点を除いて(
図4参照)、略同一の構造となっているため、操作器具10Lについての詳細な説明は省略する。
【0033】
図4(a)は、対象物103に対する作業時の視野範囲を説明する図である。視野範囲とは、ユーザが対象物103を観察することができる三次元空間を指す。観察光学系104は、光学像401を撮像部106の撮像素子402に結像させる。ここで、撮像素子402での撮像可能な範囲は、
図4(a)に矩形枠全体であるとする。
【0034】
図4(b)は、撮像素子402が取得した画像がモニタ200に表示されている状態の一例を示す図である。ここでは、画像処理回路2dによるデジタルズームにより、光学像401のうち撮像素子402の撮像面内に設定された表示範囲403に結像している像が映像化されて画像がモニタ200に表示されている。
【0035】
本実施形態では、画像処理回路2dは、光学像401の全範囲、撮像素子402の撮像面の全範囲、表示範囲403、又は、各範囲の論理積を選択して、モニタ200に表示する機能を有する。例えば、画像処理回路2dは、光学像401の全範囲、撮像素子402の撮像面の全範囲及び表示範囲403の論理積を視野範囲16におけるXY方向の視野範囲404として決定する。このとき、
図4(a)に示されるように光学像401の一部が表示範囲403の範囲外にある状態であれば、視野範囲16におけるXY方向の視野範囲404は、表示範囲403が示す矩形領域と一致する。
【0036】
なお、「光学像401の全範囲」のみを選択可能としているのは、次の理由による。即ち、
図4(a)では光学像401の一部は撮像素子402の撮像面の範囲外となっているため、撮像素子402は光学像401の全範囲を画像として取得することはできない。しかし、観察光学系104の構成によっては。光学像401の全範囲を撮像素子402の撮像面に結像させることができ、この場合には光学像401の全範囲を画像として取得することができる。
【0037】
図4(c)は、視野範囲16におけるZ方向の視野範囲405を説明する図である。ここでは、ライフサイエンス分野での細胞等を操作する態様を用いて説明する。対象物103は作業面102f(観察皿の底)に載置されており、作業面102fは観察皿102の表面である。対象物103が細胞である場合、対象物103に対する作業は対象物103の周囲を媒質で満たした状態で行われる。このとき、対象物103よりも密度の小さい媒質を用いることにより、対象物103を媒質に沈めて作業面102fに接触させることができる。
【0038】
視野範囲16については、XY方向のみならず、前述したようにZ方向(光軸方向)が考慮される。XY方向の視野範囲404は、
図4(a)を参照して上述した通りであり、また、
図4(c)に示される通りである。Z方向の視野範囲405は、操作器具10L,10RがZ方向に移動した際に認識可能な範囲として規定される。
【0039】
高倍率の対物レンズ104aの被写界深度は数ミクロンオーダーからサブミクロンオーダーになる場合もあり、Z方向において焦点が合う範囲である視野範囲405は極めて小さくなる。また、一般的に被写界深度から外れるに従って対象物103の像は集光せずにぼやけた像となってしまい、認識が容易でなくなるため、対象物103をどのように認識するかによってZ方向の視野範囲405は異なってくる。
【0040】
そこで、制御ユニット2はユーザに対して視野範囲16の設定するためのUIを提供する。本実施形態では、視野範囲16におけるZ方向の視野範囲405をコントラスト評価値により設定する。但し、これに限らず、視野範囲405を数値入力で設定可能としてもよいし、錯乱円の大きさで設定されるようにしてもよい。また、実際のピペット11の画像を画像処理して、ピペット11を認識可能な範囲を設定可能な構成としてもよい。
【0041】
前述したように、観察光学系104において対物レンズ104aを複数の中から選択してセット可能な場合、各レンズでの光学系の特徴量を保持しておき、レンズの切り替えを検出した際に、保持している特徴量を使用して視野範囲16を特定してもよい。これにより、対物レンズ104aの切り替えによる複数の観察光学系104のそれぞれで視野範囲を正確に取得することが可能となる。なお、「光学系の特徴量」とは、倍率や開口数、キャリブレーションによって取得可能な光学系毎の内部パラメータや外部パラメータ等である。内部パラメータは光学系毎のレンズ歪みを補正するパラメータであり、外部パラメータは光学系毎の位置関係を補正するパラメータである。
【0042】
複数の観察光学系104に対して視野範囲16を設定するためのUIは、観察光学系104ごとに設定可能なものであってもよいし、コントラスト評価値により複数のレンズに対して一括してZ方向の視野範囲を設定可能なものであってもよい。これにより、複数の対物レンズ104aに対して簡便に視野範囲16を設定することが可能となる。
【0043】
このように、制御ユニット2が視野範囲16を設定するためのUIをユーザに提供することにより、ユーザは目的や作業に合わせて所望の視野範囲16を容易に設定することができ、よって、利便性を高めることが可能となる。
【0044】
図5は、入力部20L,20Rからの指令(入力値)に対して視野範囲16に基づいて可動部1L,1Rの制御量を決定する処理のフローチャートである。本フローチャートにおいてS番号で示す各処理(ステップ)は、CPU2aがメモリ2fに格納された所定のプログラムを実行することにより、制御ユニット2の各部が協働して動作することで実現される。
【0045】
制御ユニット2は、補助装置への電源投入により起動し、可動部1L,1Rの駆動制御を開始する。なお、可動部1L,1Rの駆動制御は、操作器具10L,10Rの動作を制御することと同義となる。
【0046】
S501で制御ユニット2は、入力部20L,20Rからの指令(入力値)を受信し、指令を解釈して指令値を生成し、指令値に基づいて可動部1L,1Rの制御量を決定する。このときの入力部20L,20Rからの指令に対する可動部1L,1Rの制御量は、前回値を使用してもよいし、予め設定されている電源投入時のデフォルト値を使用しても構わない。
【0047】
S502で制御ユニット2は、視野範囲16を取得する。ここで、撮像部106と観察光学系104は事前に公知の手段でキャリブレーションが行われているものとする。例えば、キャリブレーションはユーザ操作により操作器具10L,10Rを三次元方向に移動させて顕微鏡100での観察視野に導く動作で実施される。本実施形態では操作器具10L,10Rそれぞれのピペット11の先端及び対象物103を表示範囲403に入れることでキャリブレーションが可能となる。
【0048】
キャリブレーションは視野画像に対する画像処理によって行われ、撮像素子402が取得する画像上のXY位置と顕微鏡100での観察視野におけるXY位置とは一意に対応しており、相互に変換可能な状態となっている。換言すれば、モニタ200の画面に表示された視野画像でのXY位置は、顕微鏡100での観察視野におけるXY位置と一意に対応している。
【0049】
制御ユニット2は、モニタ200の画面に表示される表示範囲403のXY位置を顕微鏡100の観察視野でのXY位置に変換することで、顕微鏡100の観察視野でのXY方向の視野範囲404を取得する。また、制御ユニット2は、対物レンズ104aの倍率及びノブ105の現在値を不図示のエンコーダ等のセンサにより検出し、センサの検出信号から観察光学系104の状態を推定して、顕微鏡100の観察視野でのZ方向の視野範囲405を取得する。こうして、制御ユニット2は視野範囲16を一意に取得することができる。
【0050】
なお、S502において制御ユニット2がZ方向の視野範囲405を取得する際に、エンコーダ等のセンサからの情報の取得が困難な場合には、次のようにして、Z方向(対象物103に対するフォーカス調整のための光軸方向)の視野範囲405を推定してもよい。即ち、可動部1L,1Rの制御値に基づいて撮像素子402が取得する視野画像内において操作器具10L,10Rが投影されると推定される領域に対して画像処理を行う。そして、得られたコントラスト評価値と可動部1L,1Rの制御量からZ方向の視野範囲405を推定してもよい。これにより、エンコーダ等を備えない既存の顕微鏡に補助装置を後付けして構成された顕微鏡システムでも、エンコーダ等を必要とすることなく少ない部品構成で本実施形態に係る顕微鏡システムを構築することができる。
【0051】
S503で制御ユニット2は、操作器具10L,10Rの先端位置(ピペット先端11e)を認識することができているか否かを判定する。例えば、
図3を参照して説明したように、操作器具10L,10Rは、ピペット11を弾性保持部材14に挿抜可能な構造を含むため、取り付け誤差を持つ。また、ピペット11の軸方向の寸法は、製造誤差が大きい。よって、ピペット先端11eの位置は、取り付け誤差と製造誤差の影響を受ける。そして、一般的に、作業内容に応じてピペット11の交換等の操作器具10L,10Rの全体又は一部の交換が行われる。そのため、ピペット11の交換後には、撮像素子402により取得される画像に対する画像処理等の手法を用いてキャリブレーションが行われる。そこで、S503の判定において「認識することができている」とは、視野画像に対する画像処理等によってピペット先端11eの位置を検出することができていることを必要とするものとする。例えば、デフォーカス状態のために視野画像にピペット11が写っていると認識されるがピペット先端11eの位置を確定することができない(曖昧な)場合は、ピペット先端11eを認識することができない場合に該当する。
【0052】
制御ユニット2は、操作器具10L,10Rの先端位置を認識することができていると判定した場合(S503でYES)、S504の処理を実行する。
【0053】
なお、ユーザは、ピペット11の交換(取り付け)を行った場合、取り付け位置の調整と確認等の初期調整を行うことが一般的である。そのため、制御ユニット2に、ユーザに対して初期調整の実行をサポートする機能を設けてもよい。これらにより、S503の判定において‘YES’と判定される確率を高めることができる。
【0054】
S504で制御ユニット2は、視野範囲16に対する操作器具10L,10Rの位置を演算する。例えば、撮像素子402が取得する視野画像と視野範囲16は一意に対応しているため、視野画像上で認識された操作器具10L,10Rの先端位置を用いて、視野範囲16での操作器具10L,10Rの先端位置と制御量の対応関係を求めることができる。視野範囲16に対する操作器具10L,10Rの先端位置とそのときの制御量が一意に対応している状態となるので、制御量と視野範囲16の情報から視野範囲16に対する操作器具10L,10Rの位置を演算することができる。これに限らず、撮像素子402が取得する視野画像と視野範囲16は一意に対応し、操作器具10L,10Rの先端位置が認識されているため、視野画像に対する画像処理によって、視野範囲16に対する操作器具10L,10Rの位置を演算することもできる。この手法によれば、視野範囲16に対する操作器具10L,10Rの先端位置とそのときの制御量が一意に対応する状態ではない場合でも、視野範囲16に対応する操作器具10L,10Rの先端位置を求めることができる。
【0055】
制御ユニット2は、S504の処理後及びS503の判定において操作器具10L,10Rの先端位置を認識することができていないと判定した場合(S503でNO)、S505の処理を実行する。
【0056】
S505で制御ユニット2は、S502で取得した視野範囲16に基づいて入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を決定する。S506で制御ユニット2は、S505で求めた視野範囲16に基づく入力部20L,20Rからの指令に対する可動部1L,1Rの制御量をモニタ200に表示し、その後、本処理を終了させる。S505及びS506の具体例については後述する。
【0057】
なお、
図5のフローチャートでは、S503の判定が‘NO’となる場合に、S505の処理が実行されるようにした。これに限らず、以下のようにフローを変更してもよい。例えば、操作器具10L,10Rを三次元方向に移動させて顕微鏡100での観察視野に導くキャリブレーションが正常に行われた後に、外力等によって操作器具10L,10Rの先端位置を認識することができなくなることが想定される。また、ユーザがピペット11の交換後にキャリブレーションの実行を失念することも想定される。そこで、S503の判定が‘NO’となった場合に、自動的にキャリブレーションが実行され、再度、S503と同じ判定が行われ、それでも判定結果が‘NO’となる場合にS505へ進むフローとしてもよい。
【0058】
S505の処理の具体例について、
図6を参照して説明する。
図6は、視野範囲16に基づいて入力部20L,20Rからの指令に対して決定される可動部1L,1Rの制御量を説明する図である。
【0059】
図6(a)は、入力部20L,20RからのXY方向での指令に対する可動部1L,1Rの制御量を示す模式図である。顕微鏡100は切り替え可能な低倍率の対物レンズと高倍率の対物レンズを備えており、低倍率の対物レンズのXY平面での視野範囲が低倍率視野範囲601であり、高倍率の対物レンズでのXY平面での視野範囲が高倍率視野範囲602であるとする。
【0060】
入力部20L,20Rは、前述したように、下端が支持され、上端部が自由となっているジョイスティックである。ジョイスティックをXY方向の任意の方向に最大限傾けたときのジョイスティックの上端位置をつなぎ合わせると円形となる。つまり、入力部20L,20Rからの指令には円形に入力限界が存在する。そこで、低倍率の対物レンズセットされている場合に制御ユニット2は、操作器具10L,10Rの制御範囲603が低倍率視野範囲601に外接するように入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を決定する。同様に、高倍率の対物レンズセットされている場合に制御ユニット2は、操作器具10L,10Rの制御範囲604が高倍率視野範囲602に外接するように入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を決定する。
【0061】
このように、低倍率視野範囲601と高倍率視野範囲602それぞれの大きさに応じて入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を決定する。これにより、対物レンズの切り替え等によって視野範囲が変化しても、接眼レンズ104bやモニタ200を通して視認される操作器具10L,10Rの移動量を入力部20L,20Rの入力に対して一定とすることができ、操作性を維持することができる。
【0062】
図6(b),(c)は、Z方向での視野範囲の差に対する入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を示している。
図6(b)は低倍率の対物レンズがセットされている場合を、
図6(c)は高倍率の対物レンズがセットされている場合を、それぞれ示している。
【0063】
前述したように、入力部20L,20Rはジョイスティックであり、入力部20L,20Rそれぞれの上端部を回転させることにより操作器具10L,10RのZ方向における移動量を入力することができる。このような回転型の入力機構の場合には、入力限界が存在しない。
【0064】
そこで、低倍率の対物レンズセットされている場合に、制御ユニット2は、入力部20L,20Rの1回転あたりの操作器具10L,10Rの昇降量605を設定し、入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を決定する。同様に、高倍率の対物レンズセットされている場合に制御ユニット2は、入力部20L,20Rの1回転あたりの操作器具10L,10Rの昇降量606を設定し、入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を決定する。
【0065】
このとき、XY方向の視野範囲が低倍率視野範囲601から高倍率視野範囲602へ縮小する際に、縮小量に比例させてZ方向での移動量、つまり、可動部1L,1Rの制御量、も小さくする。よって、昇降量606は昇降量605よりも小さい。これにより、対物レンズの切り替え等により視野範囲が変更された場合でも、接眼レンズ104bやモニタ200を通して見える、入力部20L,20Rの入力に対する操作器具10L,10Rの見かけ上の移動量が一定となるように制御量を決定することができる。
【0066】
このように、視野範囲に基づいて入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を決定することにより、視野範囲の大きさに合った制御量で可動部1L,1Rを操作することが可能となる。また、視野範囲の大きさが変わっても、入力部20L,20Rからの指令に対する見かけの移動量を同じにすることができるため、操作性を維持することができる。
【0067】
なお、可動部1L,1Rのの制御量を決定するための指令を入力する入力手段には、ジョイスティック以外にも多々あり、ユーザ毎に操作を行いやすい入力手段は異なり、同じ入力手段であってもユーザによる操作には個人差がある。また、入力手段の種類が異なると可動部の制御量も異なることが多い。このような事情から、入力手段からの指令値に対して視野範囲に基づいて可動部1L,1Rの制御量を決定するための方法及びパラメータをユーザにより設定可能とするUIを制御ユニット2からモニタ200へ提供するように構成されていてもよい。この場合、視野範囲が切り替わった後も視野範囲に応じて設定を保つように、入力手段の指令に対する制御量を決定する。
【0068】
上記の通りに視野範囲に基づいて入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を決定する手法に代えて、視野範囲とピペット11の位置関係に基づいて入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を決定してもよい。例えば、ピペット11が視野範囲のZ方向での中心位置に近いほど入力部20L,20Rの上部ダイヤルの1回転あたりの操作器具10L,10Rの移動量が小さくなるように、入力部20L,20Rからの指令値に対して可動部1L,1Rの制御量を決定する。これにより、ユーザはピント位置へ操作器具10L,10Rを移動させる際にピント位置に近付くほど細かな操作が可能となり、操作器具10L,10Rのピント合わせをより高精度に、且つ、迅速に行うことが可能になる。
【0069】
次に、S506の処理の具体例について、
図7を参照して説明する。
図7(a),(b)はそれぞれ、S506でモニタ200に表示されるグラフィカルユーザインタフェース(GUI)の一例を示す図である。
図7(a)のGUI700には、視野範囲701と、入力部20Rにより操作可能な操作器具10Rの制御範囲702が表示されている。なお、
図7(a)中の矢印Cは、マウス201のカーソルを表している。
【0070】
GUI700では、視野範囲701に基づく制御範囲702の決定及び操作器具10Rの移動量(可動部1Rの制御量)の設定を行うことができる。具体的には、GUI700では、マウス201(
図7に不図示)のクリックやドラッグ等の操作により、矢印Gで示されるように、制御範囲702の変更と設定を行うことができるようになっている。また、GUI700は、操作器具10Rを移動させるためのパラメータの設定をキーボード202(
図7に不図示)からの入力により直接行うことができる入力欄703を有する。
【0071】
このように、入力部20L,20Rからの指令に対する可動部1L,1Rの制御量を変更可能なGUI700を用いることにより、ユーザは視覚的に操作器具10L,10Rの移動量を認知し、必要に応じてに変更することができる。こうして、ユーザごとの操作性を高めることができる。
【0072】
図7(b)のGUI710は、マウス201のクリックによって操作器具10Rを操作可能(移動可能)とする機能を提供する。マウス201の操作による操作器具10Rの移動によって、入力部20Rからの入力と可動部1Rの制御範囲702との関係性に不整合が生じる可能性がある。この問題に対して制御ユニット2は、入力部20Rからの入力と制御範囲702との整合が取れるように、矢印Hで示されるように制御範囲702を移動及び/又は拡縮する処理を行って、入力部20Rからの入力に対する可動部1Rの制御量を決定する。これにより、ユーザは、マウス201を操作して操作器具10L,10Rを移動させる入力を行った後も、操作前と同じ感覚で入力部20L,20Rを操作して操作器具10L,10Rを移動させることができる。こうして、複数の入力手段を用いて操作器具を操作した場合でも、操作性を維持することが可能な顕微鏡システムを実現することができる。
【0073】
以上の説明の通り、本発明では、光軸方向(奥行方向)を含めた視野範囲を取得し、取得した視野範囲に基づいて、入力手段からの指令に対する操作器具の制御量を決定する。これにより、対物レンズの切り替え等により観察条件が変わっても、また、操作器具を操作する入力手段が変わっても、操作器具の操作性が低下しない顕微鏡システムを実現することが可能になる。
【0074】
本実施形態の開示は、以下の構成および方法を含む。
(構成1)顕微鏡による観察下にある対象物を操作する操作器具の動作を補助する顕微鏡補助装置であって、前記操作器具を駆動する駆動手段と、前記駆動手段を制御する制御手段と、前記駆動手段を駆動するための入力を行う第1の入力手段と、を備え、前記制御手段は、前記顕微鏡による観察下での視野範囲を前記対象物に対するフォーカス調整が行われる光軸方向での範囲を含めて取得し、前記第1の入力手段からの入力に応じた前記駆動手段の制御量を前記視野範囲に基づいて決定することを特徴とする顕微鏡補助装置。
(構成2)前記制御手段は、前記顕微鏡によりフォーカス調整が行われる光軸方向と直交する平面での前記視野範囲における範囲を、前記顕微鏡の観察光学系が形成する光学像の範囲、前記光学像を撮像する撮像手段により撮像可能な範囲、前記撮像手段が撮像した光学像のうち表示装置に表示される範囲のいずれかの範囲又はこれらの範囲の論理積で取得することを特徴とする構成1に記載の顕微鏡補助装置。
(構成3)前記制御手段は、前記視野範囲における前記光軸方向の範囲を、前記観察光学系において前記対象物と対向するよう配置された対物レンズの倍率と、前記対物レンズの前記光軸方向での位置と、に基づいて前記観察光学系の状態を推定することにより取得することを特徴とする構成2に記載の顕微鏡補助装置。
(構成4)前記制御手段は、前記光軸方向での前記視野範囲における範囲を、前記撮像手段により撮像される画像から得られるコントラスト評価値に基づいて推定して取得することを特徴とする構成2に記載の顕微鏡補助装置。
(構成5)前記顕微鏡に前記対象物を観察するための観察光学系が複数あり、使用する観察光学系の切り替えが可能となっている場合に、前記複数の観察光学系のうち使用されている観察光学系を検出する検出手段と、前記複数の観察光学系それぞれの特徴量を記憶する記憶手段と、を有し、前記制御手段は、前記使用されている観察光学系に対応する特徴量に基づいて前記視野範囲を取得することを特徴とする構成1に記載の顕微鏡補助装置。
(構成6)前記制御手段は、前記視野範囲が縮小する際にその縮小量に比例させて前記制御量を小さくすることを特徴とする構成1乃至5のいずれか1つに記載の顕微鏡補助装置。
(構成7)前記制御手段は、前記視野範囲と、前記視野範囲における前記操作器具の位置と、の関係に基づいて前記制御量を決定することを特徴とする構成1に記載の顕微鏡補助装置。
(構成8)前記制御手段は、前記操作器具が前記視野範囲における前記光軸方向での中心位置に近いほど前記第1の入力手段からの入力に対する前記制御量を小さくすることを特徴とする構成1乃至7のいずれか1つに記載の顕微鏡補助装置。
(構成9)前記第1の入力手段からの入力に応じて設定される前記駆動手段の制御量を変更する変更手段を備えることを特徴とする構成1乃至8のいずれか1つに記載の顕微鏡補助装置。
(構成10)前記制御手段は、表示装置に前記視野範囲を設定するためのグラフィカルユーザインタフェースを表示し、前記グラフィカルユーザインタフェースに対する指示を入力する第2の入力手段を有することを特徴とする構成1乃至10のいずれか1つに記載の顕微鏡補助装置。
(構成11)顕微鏡と、前記顕微鏡による観察下にある対象物を操作する操作器具の動作を補助する顕微鏡補助装置と、を有する顕微鏡システムであって、前記顕微鏡補助装置は、前記操作器具を駆動する駆動手段と、前記駆動手段を制御する制御手段と、前記駆動手段を駆動するための入力を行う入力手段と、を備え、前記制御手段は、前記顕微鏡による観察下での視野範囲を前記対象物に対するフォーカス調整が行われる光軸方向での範囲を含めて取得し、前記入力手段からの入力に応じた前記駆動手段の制御量を前記視野範囲に基づいて決定することを特徴とする顕微鏡システム。
(構成12)コンピュータを構成1乃至10のいずれか1つに記載の顕微鏡補助装置の各手段として機能させることを特徴とするプログラム。
(方法1)顕微鏡による観察下にある対象物を操作する操作器具の動作を補助する顕微鏡補助装置の制御方法であって、前記操作器具を駆動する駆動手段を動作させるための入力を受け付けるステップと、前記顕微鏡による観察下での視野範囲を前記対象物に対するフォーカス調整が行われる光軸方向での範囲を含めて取得するステップと、前記入力に応じた前記駆動手段の制御量を前記視野範囲に基づいて決定するステップと、を有することを特徴とする顕微鏡補助装置の制御方法。
【0075】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0076】
例えば、本実施形態に係る顕微鏡システムは、既存の顕微鏡に対して補助装置を取り付けることで構築することができるが、当初から一体的に構成されていてもよい。また、顕微鏡システムは、制御ユニット2に設定されたプログラムに従って自動で操作器具10L,10Rを移動させる自動動作が可能となっていてもよい。
【0077】
操作器具10L,10Rについては、その先端に着脱可能なピペット11を除いて同じ構造として説明したが、操作器具10L,10Rはそれぞれ異なる構造であってもよい。また、上記説明では、複数の対物レンズのうちどの倍率の対物レンズがセットされているかをセンサで検出する構成を取り上げた。これに限らず、視野画像から既知形状のピペットを探索する画像処理を行い、得られたピペットの大きさや形状からその時点で観察光学系104にセットされている対物レンズを推定してもよい。
【0078】
上記実施形態では、視野範囲16がモニタ200に表示されるようにした。これに限らず、接眼レンズ104bによる観察や操作に慣れたユーザの利便性を高めるため、接眼レンズ104bにより観察できる範囲と同等な範囲である光学像401の範囲をモニタ200に表示するようにしてもよい。これにより、ユーザは、慣れた使い方で操作器具10L,10Rを操作することができる。
【0079】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0080】
1L,1R 可動部
2 制御ユニット
2d 画像処理回路
10L,10R 操作器具
16 視野範囲
20L,20R 入力部
100 顕微鏡
103 対象物
104 観察光学系
106 撮像部
200 モニタ