(58)【調査した分野】(Int.Cl.,DB名)
前記進捗表示部が、時間を管理する表示時間管理部を備え、該表示時間管理部により管理する時間に従い、前記タスク入力部に入力された前記タスクおよび前記実行条件に基づいて前記進捗状況を表示し、前記装置制御部から取得した前記経過時間および前記タスク情報に基づいて前記進捗状況の表示を補正する請求項2に記載の顕微鏡システム。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、長時間にわたるタイムラプス観察中に取得した画像を見返したり、画像取得と同時に画像にハイダイナミックレンジ合成(HDR合成)処理を行ったりすることで、PCには大きな負荷が掛かる。そのため、従来の顕微鏡システムでは、PCの負荷状態によってはソフトウェアからハードウエアに指示を送信するタイミングに遅れが生じ、ユーザが設定したタスクの計画と実際のハードウエアの動作との間に時間的な誤差が生じてしまう。そのため、進捗の表示状況と実際の作動状況との不一致によりユーザに不快感を与えてしまうという不都合がある。
【0006】
一方、従来の顕微鏡システムに代えて、PCに備えられているCPUとは別のCPUにより駆動するハードウエアによりタスクを管理し、PCのソフトウェアタイマを用いて進捗状況を表示する方法が考えられるが、この方法だとハードウエアのタイマとソフトウェアタイマとの誤差が原因で、進捗状況の乖離が起こり得るため好ましくない。特に、長時間タイムラプス観察など長時間にわたって観察する場合は誤差が蓄積すると考えられる。
【0007】
本発明は上述した事情に鑑みてなされたものであって、撮像や刺激などのタスクの進捗状況をユーザに正確に知らせることができる顕微鏡システムを提供することを目的としている。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は
、タスクを実行
することで標本の画像情報を取得可能な
顕微鏡と、該
顕微鏡に対して前記タスクの実行を制御する装置制御部と
、ユーザにより前記タスクおよびその実行条件が入力されるタスク入力
部、該タスク入力部に入力された前記タスクおよび前記実行条件を前記装置制御部に設定するタスク設定
部、前記
顕微鏡により取得された前記画像情報を処理する画像情報処理
部、および、前記装置制御部から
取得した前記
顕微鏡の実行状況に基づいて前記タスクの進捗状況を表示する進捗表示
部を備え
た全体制御部とを備え、前記装置制御部が、
前記全体制御部とは独立して時間を管理する実行時間管理部と、該実行時間管理部により管理された時間に従い、前記タスク設定部により設定された前記タスクを前記実行条件に基づいて前記
顕微鏡に実行させる実行指示部とを備える顕微鏡システムを提供する。
【0009】
本発明によれば、ユーザがタスク入力部にタスクとその実行条件を入力すると、タスク設定部によりそのタスクおよび実行条件が装置制御部に設定される。そして、実行時間管理部により管理された時間に従い、実行指示部が、タスク設定部により設定されたタスクをその実行条件に基づいて
顕微鏡に実行させ、
顕微鏡により標本の画像情報が取得されると、その画像情報が全体制御部の画像情報処理部により処理される。
【0010】
この場合において、ユーザが指定するタスクおよび実行条件が設定された装置制御部において時間を管理して
顕微鏡の実行を制御するとともに、装置制御部から得られる
顕微鏡の実行状況に基づいて全体制御部にタスクの進捗状況を表示することで、
顕微鏡が実行する時間軸と全体制御部に表示される進捗の時間軸とが共通になる。これにより、
顕微鏡による実際のタスクの進捗状況と全体制御部の進捗表示部に表示されるタスクの進捗状況とを一致させて、タスクの進捗状況をユーザに正確に知らせることができる。
【0011】
上記発明においては、前記進捗表示部が、前記実行状況として前記
顕微鏡が実行を開始してからの経過時間および前記タスクの進捗に関するタスク情報を所定の周期で前記装置制御部から取得し、取得した前記経過時間および前記タスク情報に基づいて前記進捗状況の表示を更新することとしてもよい。
このように構成することで、タスクの進捗に合せてユーザがその都度正確な進捗状況を確認することができる。
【0012】
上記発明においては、前記進捗表示部が、時間を管理する表示時間管理部を備え、該表示時間管理部により管理する時間に従い、前記タスク入力部に入力された前記タスクおよび前記実行条件に基づいて前記進捗状況を表示し、前記装置制御部から
取得した前記経過時間および前記タスク情報に基づいて前記進捗状況の表示を補正することとしてもよい。
【0013】
このように構成することで、表示時間管理部により時間が管理されて表示される進捗状況によって、ユーザは正確に近いタスクの進捗状況を把握することができる。これにより、装置制御部から経過時間およびタスク情報を取得する頻度を緩和して通信による負荷を軽減し、システム全体の動作が遅くなるのを抑制することができる。
【0014】
上記発明においては、前記標本を載置して移動可能な電動ステージを備え、前記全体制御部が、ユーザにより前記タスクおよび前記実行条件に関連付けられて前記電動ステージの位置と移動タイミングが入力されるステージ入力部と、前記装置制御部から
取得した前記経過時間および前記タスク情報に従い、前記ステージ入力部に入力された位置にその移動タイミングで前記電動ステージを移動させる位置変更部とを備えることとしてもよい。
【0015】
このように構成することで、電動ステージが移動する時間軸と
顕微鏡が実行する時間軸とが共通になる。これにより、電動ステージの移動タイミングと
顕微鏡による実際のタスクの実行タイミングとのずれを軽減することができる。
【0016】
上記発明においては、前記装置制御部から得られる前記
顕微鏡の実行状況に基づいて、前記全体制御部により前記装置制御部を介さずに制御可能なデバイスを備えることとしてもよい。
このように構成することで、デバイスを作動させる時間軸と
顕微鏡が実行するタスクの時間軸とを共通にし、デバイスの作動タイミングと
顕微鏡による実際のタスクの実行タイミングとのずれを軽減することができる。
【発明の効果】
【0017】
本発明によれば、撮像や刺激などのタスクの進捗状況をユーザに正確に知らせることができるという効果を奏する。
【発明を実施するための形態】
【0019】
〔第1実施形態〕
本発明の第1実施形態に係る顕微鏡システムについて図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム1は、
図1に示すように、標本(図示略)に対してタスクを実行し、標本の画像情報を取得可能な観察装置10と、観察装置10によるタスクの実行を制御するシーケンサ(装置制御部)20と、コンピュータ(全体制御部)30とを備えている。
【0020】
観察装置10は、レーザ光を発生する光源11と、光源11から発せられたレーザ光を標本に照射する顕微鏡13と、レーザ光が照射されることにより標本において発生する蛍光を検出する検出器15とを備えている。
【0021】
顕微鏡13は、例えば、標本からの光の内、蛍光以外の光を除去可能なフィルタ(図示略)や、蛍光の光路上に挿脱可能に設けられ、検出器15に入射しようとする光を遮断可能なシャッタ等(図示略)を備えている。
【0022】
検出器15は、例えば、カメラであり、フィルタやシャッタを通過した蛍光を撮影して画像情報を取得するようになっている。この検出器15は、取得した画像情報をコンピュータ30に送るようになっている。
【0023】
コンピュータ30は、画像取得や光刺激等のタスクの入力やタスクの進捗状況の表示等を行うアプリケーションソフトウェア31と、アプリケーションソフトウェア31からの指示を出力するOS(Operating System)33と、OS33からの指示によりシーケンサ20を制御するCPU(Central Processing Unit、タスク設定部、画像情報処理部)35とを備えている。
【0024】
アプリケーションソフトウェア31は、ユーザによりタスクおよびその実行条件等が入力される入力部(タスク入力部)37と、シーケンサ20から得られる観察装置10の実行状況に基づいてタスクの進捗状況を表示する進捗表示部39とを備えている。
【0025】
入力部37は、
図2に示すように、ユーザが光源11の強度、検出器15の露光時間や感度等の撮像条件(実行条件)を入力する撮像条件設定第1ウィンドウ41Aと、タイムラプスのサイクル数、インターバル時間等の撮像条件(実行条件)を入力する撮像条件設定第2ウィンドウ41Bと、画像を取得するタスクを登録する画像取得タスク登録ボタン43と、画像取得タスクや光刺激タスク等の実行を指示するプロトコル実行ボタン45とを備えている。
【0026】
進捗表示部39は、
図2に示すように、第1表示部47Aおよび第2表示部47Bとを備えている。
第1表示部47Aには、シーケンサ20から得られる観察装置10の実行状況に基づき、プロトコルを開始した時点からの経過時間や現在実行中のタスク等が表示されるようになっている。
【0027】
第2表示部47Bには、シーケンサ20から得られる観察装置10の実行状況に基づき、撮像が完了したシリーズ画像の枚数、現在実行しているタスクの所要時間、現在実行しているタスクが完了するまでの残り時間、次のタスクが開始されるまでにかかる時間等が表示されるようになっている。
【0028】
CPU35は、入力部37からOS33を介して送られてくるタスクおよび実行条件をシーケンサ20に設定するようになっている。また、CPU35は、検出器15からシーケンサ20を介して送られてくる画像情報を処理して2次元的な画像を生成するようになっている。
【0029】
また、コンピュータ30には、ユーザがタスク入力部37等に指示を入力するマウス51やキーボード53と、画像情報等を記憶する記憶媒体55と、CPU35により生成された画像等を表示するモニタ57とが備えられている。
【0030】
シーケンサ20は、独自に時間を管理する実行時間管理部21と、観察装置10にタスクを実行させる実行指示部23とを備えている。
実行指示部23は、光源11によるレーザ光の発生、顕微鏡13のフィルタやシャッタの作動、および、検出器15による蛍光の検出等を制御するようになっている。この実行指示部23は、実行時間管理部21により管理されている時間に従い、CPU35により設定されたタスクをその実行条件に基づいて観察装置10に実行させるようになっている。
【0031】
また、実行指示部23は、実行時間管理部21によって管理している時間に従い、プロトコルを開始してからの経過時間とタスクの進捗に関するタスク情報をアプリケーションソフトウェア31に通知するようになっている。
【0032】
このように構成された顕微鏡システム1の作用について説明する。
本実施形態に係る顕微鏡システム1を用いて、標本をタイムラプス観察するには、まず、コンピュータ30のアプリケーションソフトウェア31において、ユーザが撮像条件(実行条件)を設定し、タスクを登録する。
【0033】
例えば、異なる撮像条件の2つの画像取得タスクを実行する場合は、ユーザにより、1つ目のタスクの撮像条件として、入力部37の撮像条件設定第1ウィンドウ41Aによって光源11の強度と検出器15の露光時間や感度が設定され、撮像条件設定第2ウィンドウ41Bによってタイムラプスのサイクル数とインターバル時間が設定される。そして、ユーザにより、入力部37の画像取得タスク登録ボタン43が押され、1つ目の画像取得タスクが登録される。
【0034】
続いて、ユーザにより、2つ目のタスクの撮像条件として、撮像条件設定第1ウィンドウ41Aおよび撮像条件設定第2ウィンドウ41Bによって撮像条件が変更され、画像取得タスク登録ボタン43が再度押されて、2つ目の画像取得タスクが登録される。
これにより、2つの画像取得タスクが組み合わされたプロトコルが設定される。
【0035】
次に、タスクを実行する。
ユーザにより、アプリケーションソフトウェア31のプロトコル実行ボタン45が押されると、設定したプロトコルの開始がCPU35に指示され、CPU35によりシーケンサ20にタスクおよび撮像条件が設定される。
【0036】
シーケンサ20においては、実行時間管理部21により管理している時間と撮像条件に従い、実行指示部23により観察装置10に対して撮像条件の設定や画像取得の実行が適切なタイミングで指示される。
【0037】
例えば、実行指示部23により、画像取得タスクを開始する直前に、顕微鏡13に対してフィルタやシャッタの作動の制御が指示されるとともに、検出器15に対して露光時間や感度の設定が指示される。そして、画像取得タスクの開始時間になると、実行指示部23により、検出器15に対して撮像の実行が指示される。
【0038】
観察装置10においては、光源11から発せられるレーザ光が顕微鏡13により標本に照射されることにより標本において発生した蛍光が検出器15により撮影され、標本の画像情報がシーケンサ20を介してCPU35に送られる。そして、CPU35により画像情報が処理されて標本の2次元的な画像が生成され、モニタ57に送られて表示される。
【0039】
プロトコルが開始されると、シーケンサ20の実行指示部23により、実行時間管理部21によって管理している時間に従い、プロトコルを開始してからの経過時間が1秒間隔でアプリケーションソフトウェア31に通知される。
【0040】
また、実行指示部23により、実行時間管理部21によって管理している時間に従い、タスクの開始、タスクの終了、タイムラプスの各サイクルの撮像開始および撮像終了等のタイミングに関する情報や、インターバルの時間と経過時間に関する情報がアプリケーションソフトウェア31に通知される。
【0041】
アプリケーションソフトウェア31においては、進捗表示部39により、シーケンサ20から通知されるプロトコルの経過時間が第1表示部47Aに表示され、1秒間隔で通知される度に経過時間の表示が更新される。例えば、「プロトコル開始時点からの経過時間:1時間35分10秒」が表示される。この表示は、例えば、プロトコル全体の所要予想時間から経過時間を減算したプロトコル終了までの残り時間に変更することとしてもよい。
【0042】
また、進捗表示部39により、タスクの開始および終了のタイミングに関する情報に基づいて、現在実行しているタスクがハイライトされて第1表示部47Aに表示される。
【0043】
また、進捗表示部39により、各サイクルの撮像終了のタイミングに関する情報に基づいて、撮像が完了したシリーズ画像の枚数が第2表示部47Bに表示される。例えば、100サイクルを実行する予定で50サイクルまで撮像が完了している場合は、「50/100」と表示される。
【0044】
また、進捗表示部39により、インターバルの時間と経過時間に関する情報に基づいて、次の画像取得までの残り時間が第2表示部47Bに表示される。例えば、インターバル時間が60秒でサイクル数が2以上の条件で設定されている場合に、インターバルの現在の経過時間が30秒のときは、「次の画像取得まで30秒」と表示される。
【0045】
以上説明したように、本実施形態に係る顕微鏡システム1によれば、ユーザが指定するタスクおよび実行条件が設定されたシーケンサ20において時間を管理して観察装置10の実行を制御するとともに、シーケンサ20から得られる観察装置10の実行状況に基づいてコンピュータ30にタスクの進捗状況を表示することで、観察装置10が実行する時間軸とコンピュータ30に表示される進捗の時間軸とが共通になる。
【0046】
これにより、コンピュータ30に掛かる負荷に関わらず、観察装置10による実際のタスクの進捗状況とコンピュータ30の進捗表示部39に表示されるタスクの進捗状況とを一致させることができる。したがって、進捗表示部39により、タスクの進捗状況をユーザに正確に知らせることができる。
【0047】
本実施形態においては、シーケンサ20の実行指示部23がアプリケーションソフトウェア31に対してプロトコルの経過時間を能動的に通知することとしたが、これに代えて、例えば、アプリケーションソフトウェア31がシーケンサ20からプロトコルの経過時間を所定の時間間隔で読み出すこととしてもよい。
【0048】
本実施形態は、以下のように変形することができる。
例えば、変形例としては、進捗表示部39が、独自に時間を管理する表示時間管理部(図示略)を備え、表示時間管理部により管理する時間に従い、入力部37に入力されたタスクおよび実行条件に基づいて進捗状況を表示することとしてもよい。この場合、進捗表示部39が、シーケンサ20から通知される経過時間およびタスク情報に基づいて進捗状況の表示を補正することとすればよい。
【0049】
本変形例においては、進捗表示部39は、表示時間管理部によって管理している時間に従い、プロトコルを開始してからの経過時間をカウントして第1表示部47Aに表示するようになっている。経過時間のカウントは、CPU35を利用して行うようになっている。
【0050】
また、進捗表示部39は、プロトコルを開始してからの経過時間を例えば60秒間隔でシーケンサ20から読み出し、読み出した経過時間に基づいて、第1表示部47Aの経過時間の表示を補正するようになっている。例えば、表示時間管理部により管理している時間に従い第1表示部47Aに表示している経過時間が2分0秒で、シーケンサ20から読み出した時間が1分59秒であったとすると、進捗表示部39により第1表示部47Aの経過時間の表示が1分59秒に補正される。
【0051】
このようにすることで、シーケンサ20から得られるプロトコルの経過時間によらなくても、表示時間管理部により時間が管理されて第1表示部47Aに表示される進捗状況によって、ユーザは正確に近いタスクの進捗状況を把握することができる。これにより、シーケンサ20からプロトコルの経過時間およびタスク情報を取得する頻度を緩和して通信による負荷を軽減し、システム全体の動作が遅くなるのを抑制することができる。
【0052】
〔第2実施形態〕
次に、本発明の第2実施形態に係る顕微鏡システムについて説明する。
本実施形態に係る顕微鏡システム101は、
図3に示すように、観察装置10が、標本を載置して移動可能な電動ステージ117を備える点で第1実施形態と異なる。
以下、第1実施形態に係る顕微鏡システム1と構成を共通する箇所には、同一符号を付して説明を省略する。
【0053】
電動ステージ117は、標本を載置した状態で、レーザ光の光軸に交差するX軸方向およびY軸方向に移動することができるようになっている。電動ステージ117が移動することで、標本の位置がXY平面に沿って移動する。
【0054】
コンピュータ30の入力部(ステージ入力部)37は、撮像条件設定第1ウィンドウ41Aにより、ユーザが、タスクおよび実行条件に関連付けて電動ステージ117の位置と移動タイミングを入力することができるようになっている。
【0055】
CPU35は、シーケンサ20を介さずに電動ステージ117を直接制御するようになっている。また、CPU35は、シーケンサ20の実行指示部23から通知されるプロトコルの経過時間およびタスク情報に従い、入力部37に入力された電動ステージ117の位置にその移動タイミングで電動ステージ117を移動させるようになっている。
【0056】
このように構成された顕微鏡システム101の作用について説明する。
本実施形態に係る顕微鏡システム101により、例えば、多点タイムラプス観察を実行する場合は、ユーザにより、撮像条件として、光源11の強度と検出器15の感度等の設定とともに、入力部37の撮像条件設定第1ウィンドウ41Aによって最初の観察地点の電動ステージ117の位置および移動タイミングが設定される。そして、ユーザにより、入力部37の画像取得タスク登録ボタン43が押され、画像取得タスクが登録される。
【0057】
続いて、ユーザにより、撮像条件設定第1ウィンドウ41Aによって電動ステージ117の位置および移動タイミングが次の観察地点に変更され、入力部37の画像取得ボタンが再び押されて画像取得タスクが登録される。この作業が複数の観察地点について行われ、多点タイムラプスのサイクル数およびインターバル時間が設定される。
【0058】
次に、ユーザにより、アプリケーションソフトウェア31のプロトコル実行ボタン45が押されると、設定したプロトコルの開始がCPU35に指示され、CPU35によりシーケンサ20にタスクおよび撮像条件が設定される。
【0059】
シーケンサ20においては、実行時間管理部21により管理している時間と撮像条件に従い、実行指示部23により観察装置10に対して、第1実施形態と同様に撮像条件の設定や画像取得の実行が適切なタイミングで指示される。
【0060】
また、CPU35により、シーケンサ20から通知されるプロトコルの経過時間およびタスク情報に従い、電動ステージ117に対して適切なタイミングで駆動信号が送られる。例えば、A地点での画像取得後にB地点で画像を取得する設定の場合に、指示A地点とB地点との間の電動ステージ117の移動時間が2秒だとすると、A地点での画像取得が終了した後、B地点での画像取得タスクが開始される2秒前に電動ステージ117の移動が開始させられる。
【0061】
以上説明したように、本実施形態に係る顕微鏡システム101によれば、シーケンサ20から得られるプロトコルの経過時間およびタスク情報に従い、CPU35が入力部37に入力された位置にその移動タイミングで電動ステージ117を移動させることで、電動ステージ117が移動する時間軸と観察装置10が実行する時間軸とが共通になる。これにより、電動ステージ117の移動タイミングと観察装置10による実際のタスクの実行タイミングとのずれを軽減することができる。
【0062】
本実施形態においては、CPU35がシーケンサ20を介さずに電動ステージ117を直接制御する態様を例示したが、温度や湿度などの環境を制御する環境制御手段(例えばインキュベータなど)や、標本を自動で交換するオートローダなど、シーケンサ20を介さずにCPU35が直接制御することができるデバイスを採用してもよい。その際、そのデバイスは、シーケンサ20から通知されるプロトコルの経過時間、タスク情報に基づいて、CPU35により制御される。
【0063】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成、数値はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
【0064】
また、上記各実施形態においては、画像を取得する画像取得タスクを例示して説明したが、画像取得タスクに標本に光刺激を与える光刺激タスクを組み合わせる場合も同様である。光刺激タスクでは、撮像条件と同様に、サイクル数、インターバル時間、光源の強度等を実行条件として設定することとすればよい。また、シーケンサ20の実行指示部23からアプリケーションソフトウェア31に通知される光刺激の開始および終了のタイミングに関する情報等に基づいて、進捗表示部39により光刺激タスクの進捗を表示することとすればよい。