特許第6246551号(P6246551)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社キーエンスの特許一覧
特許6246551制御装置、顕微鏡システム、制御方法およびプログラム
<>
  • 特許6246551-制御装置、顕微鏡システム、制御方法およびプログラム 図000002
  • 特許6246551-制御装置、顕微鏡システム、制御方法およびプログラム 図000003
  • 特許6246551-制御装置、顕微鏡システム、制御方法およびプログラム 図000004
  • 特許6246551-制御装置、顕微鏡システム、制御方法およびプログラム 図000005
  • 特許6246551-制御装置、顕微鏡システム、制御方法およびプログラム 図000006
  • 特許6246551-制御装置、顕微鏡システム、制御方法およびプログラム 図000007
  • 特許6246551-制御装置、顕微鏡システム、制御方法およびプログラム 図000008
  • 特許6246551-制御装置、顕微鏡システム、制御方法およびプログラム 図000009
  • 特許6246551-制御装置、顕微鏡システム、制御方法およびプログラム 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6246551
(24)【登録日】2017年11月24日
(45)【発行日】2017年12月13日
(54)【発明の名称】制御装置、顕微鏡システム、制御方法およびプログラム
(51)【国際特許分類】
   G02B 21/36 20060101AFI20171204BHJP
   G02B 21/00 20060101ALI20171204BHJP
   G03B 15/00 20060101ALI20171204BHJP
【FI】
   G02B21/36
   G02B21/00
   G03B15/00 T
   G03B15/00 H
   G03B15/00 N
【請求項の数】11
【全頁数】17
(21)【出願番号】特願2013-221498(P2013-221498)
(22)【出願日】2013年10月24日
(65)【公開番号】特開2015-82097(P2015-82097A)
(43)【公開日】2015年4月27日
【審査請求日】2016年9月9日
(73)【特許権者】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】100076428
【弁理士】
【氏名又は名称】大塚 康徳
(74)【代理人】
【識別番号】100112508
【弁理士】
【氏名又は名称】高柳 司郎
(74)【代理人】
【識別番号】100115071
【弁理士】
【氏名又は名称】大塚 康弘
(74)【代理人】
【識別番号】100116894
【弁理士】
【氏名又は名称】木村 秀二
(74)【代理人】
【識別番号】100131886
【弁理士】
【氏名又は名称】坂本 隆志
(72)【発明者】
【氏名】康 宇範
【審査官】 瀬戸 息吹
(56)【参考文献】
【文献】 特開2007−102190(JP,A)
【文献】 特開2006−220904(JP,A)
【文献】 特開2009−008846(JP,A)
【文献】 特開2013−050666(JP,A)
【文献】 特開2006−259701(JP,A)
【文献】 特開2008−275762(JP,A)
【文献】 特開2012−078827(JP,A)
【文献】 特開2006−215260(JP,A)
【文献】 米国特許出願公開第2005/0259864(US,A1)
【文献】 米国特許出願公開第2006/0176367(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 19/00 − 21/36
G01N 21/63 − 21/74
G03B 15/00 − 15/16
(57)【特許請求の範囲】
【請求項1】
一定の間隔で試料に励起光を照射して該試料を撮影するタイムラプス実験に使用される顕微鏡を制御する制御装置であって、
顕微鏡により試料を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、前記顕微鏡のXYステージに対する前記画像の撮影位置、撮影時刻、および、前記画像を撮影するときに前記顕微鏡に設定されていた検鏡法のいずれかを含む制御パラメータとを関連付けて記憶する記憶手段と、
タイムラプス実験中に画像を選択するための操作者による制御パラメータの指定を受け付ける受付手段と、
前記記憶手段に記憶されている前記複数の画像から、前記受付手段により受け付けられた制御パラメータと関連付けられている画像を選択する選択手段と、
前記選択手段により選択された画像を表示する表示手段と、
前記操作者によって操作可能な操作手段と、
前記操作手段の操作内容に応じて前記制御パラメータである試料の撮影位置を変更する変更手段と、
前記変更手段による変更後の撮影位置に前記試料が移動するように前記XYステージを移動させ、前記励起光を前記試料に照射して前記タイムラプス実験における次回の撮影を前記顕微鏡に実行させる撮影制御手段と
を有することを特徴とする制御装置。
【請求項2】
前記表示手段は、前記操作手段の操作量に応じて変更された制御パラメータに従った画像をプレビュー画像として表示することを特徴とする請求項1に記載の制御装置。
【請求項3】
前記表示手段は、前記選択手段により選択された画像を前記操作手段の操作量に応じて前記表示手段の表示エリア内で移動して表示し、
前記変更手段は、前記操作量に応じて前記制御パラメータのうち前記撮影位置を変更することを特徴とする請求項2に記載の制御装置。
【請求項4】
前記選択手段により選択された画像の輝度値を前記操作手段により入力された露光時間に応じて変更することで前記プレビュー画像を作成する作成手段を有することを特徴とする請求項2または3に記載の制御装置。
【請求項5】
前記選択手段により選択された画像の輝度値を前記操作手段により入力された前記顕微鏡のビニングの設定またはゲインの設定に応じて変更することで前記プレビュー画像を作成する作成手段を有することを特徴とする請求項2または3に記載の制御装置。
【請求項6】
前記顕微鏡の対物レンズの倍率の変更が指定されると、前記選択手段により選択された画像を変更後の倍率に応じて拡大して前記プレビュー画像を作成する作成手段を有することを特徴とする請求項2または3に記載の制御装置。
【請求項7】
前記顕微鏡は、前記顕微鏡の対物レンズと前記試料との間の距離を変えながら複数の画像を撮影するZスタック撮影を実行する顕微鏡であり、
前記制御パラメータには、前記複数の画像それぞれを撮影したときの前記対物レンズと前記試料との間の距離を示すZ方向の位置が含まれており、
前記変更手段は、前記選択手段により選択された画像に関連付けられているZ方向の位置を、次回に撮影する画像のZ方向の基準位置として設定することを特徴とする請求項1ないし6のいずれか1項に記載の制御装置。
【請求項8】
前記顕微鏡は、蛍光試薬を添加された前記試料に対して励起光を照射し、前記試料から発する蛍光を撮影する蛍光顕微鏡であり、
前記撮影制御手段は、前記制御パラメータを変更する際には前記励起光を出力する光源を停止させることを特徴とする請求項1ないし7のいずれか1項に記載の制御装置。
【請求項9】
顕微鏡と、当該顕微鏡を制御する制御装置とを有する顕微鏡システムであって、
前記顕微鏡は、
試料が載置される載置手段と、
対物レンズと、
前記対物レンズを移動させて前記対物レンズと前記試料との間の距離を変更する移動手段と、
前記試料からの光を結像する結像レンズと、
前記試料からの光が結像される撮影手段と
を有し、
前記制御装置は、
顕微鏡により試料を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、前記顕微鏡のXYステージに対する前記画像の撮影位置、撮影時刻、および、前記画像を撮影するときに前記顕微鏡に設定されていた検鏡法のいずれかを含む制御パラメータとを関連付けて記憶する記憶手段と、
一定の間隔で試料に励起光を照射して該試料を撮影するタイムラプス実験中に画像を選択するための操作者による制御パラメータの指定を受け付ける受付手段と、
前記記憶手段に記憶されている前記複数の画像から、前記受付手段により受け付けられた制御パラメータと関連付けられている画像を選択する選択手段と、
前記選択手段により選択された画像を表示する表示手段と、
前記操作者によって操作可能な操作手段と、
前記操作手段の操作内容に応じて前記制御パラメータである試料の撮影位置を変更する変更手段と、
前記変更手段による変更後の撮影位置に前記試料が移動するように前記XYステージを移動させ、前記励起光を前記試料に照射して前記タイムラプス実験における次回の撮影を前記顕微鏡に実行させる撮影制御手段と
を有することを特徴とする顕微鏡システム。
【請求項10】
一定の間隔で試料に励起光を照射して該試料を撮影するタイムラプス実験に使用される顕微鏡を制御する制御装置を、
顕微鏡により試料を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、前記顕微鏡のXYステージに対する前記画像の撮影位置、撮影時刻、および、前記画像を撮影するときに前記顕微鏡に設定されていた検鏡法のいずれかを含む制御パラメータとを関連付けて記憶する記憶手段と、
タイムラプス実験中に画像を選択するための操作者による制御パラメータの指定を受け付ける受付手段と、
前記記憶手段に記憶されている前記複数の画像から、前記受付手段により受け付けられた制御パラメータと関連付けられている画像を選択する選択手段と、
前記選択手段により選択された画像を表示する表示手段と、
前記操作者によって操作可能な操作手段と、
前記操作手段の操作内容に応じて前記制御パラメータである試料の撮影位置を変更する変更手段と、
前記変更手段による変更後の撮影位置に前記試料が移動するように前記XYステージを移動させ、前記励起光を前記試料に照射して前記タイムラプス実験における次回の撮影を前記顕微鏡に実行させる撮影制御手段として機能させることを特徴とするプログラム。
【請求項11】
一定の間隔で試料に励起光を照射して該試料を撮影するタイムラプス実験に使用される顕微鏡を制御する制御方法であって、
顕微鏡により試料を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、前記顕微鏡のXYステージに対する前記画像の撮影位置、撮影時刻、および、前記画像を撮影するときに前記顕微鏡に設定されていた検鏡法のいずれかを含む制御パラメータとを関連付けて記憶手段に記憶する記憶工程と、
タイムラプス実験中に画像を選択するための操作者による制御パラメータの指定を受け付ける受付工程と、
前記記憶手段に記憶されている前記複数の画像から、前記受付工程により受け付けられた制御パラメータと関連付けられている画像を選択する選択工程と、
前記選択工程において選択された画像を表示手段に表示する表示工程と、
前記操作者によって操作可能な操作手段の操作内容に応じて前記制御パラメータである試料の撮影位置を変更する変更工程と、
前記変更工程による変更後の撮影位置に前記試料が移動するように前記XYステージを移動させ、前記励起光を前記試料に照射して前記タイムラプス実験における次回の撮影を前記顕微鏡に実行させる撮影制御工程と
を有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡を用いたタイムラプス撮影に関する。
【背景技術】
【0002】
細胞が分裂・成長する様子などを捉えるために、ある撮影間隔を置いて撮影することをタイムラプス撮影と言う(特許文献1、2)。撮影時には電動制御の顕微鏡システムと、細胞の温度や湿度、CO2濃度(酸性・アルカリ性を示すPHを一定に保つため)などを制御するチャンバーが用いられることがある。タイムラプス撮影の撮影間隔は数分から数時間であり、予定された複数枚を撮影するのによう必要となるトータルの撮影期間は数時間から数日に及ぶこともある。
【0003】
タイムラプス撮影中において標本である生物は成長したり容器内を移動したりする。よって、撮影に使用される制御パラメータを途中で変更しなければならないことがある。特許文献1によれば、タイムラプス撮影を一時中断して撮影条件を変更することが記載されている。具体的には一時停止モードに遷移すると、リアルタイムで標本の画像を表示しながら、観察位置や照明光量、タイムラプス撮影間隔、撮影枚数を変更することが記載されている。しかし、リアルタイム画像を表示するには標本に対して照明光を当てねばならず、光毒性が問題となる。
【0004】
細胞を撮影する際には光を細胞に照射する必要があるが、特に蛍光観察を行う場合には強力な励起光を細胞に照射する必要がある。タイムラプス撮影では何度も光を細胞に照射することになるため、細胞にダメージが及ぶことがある。このように、光による標本への悪影響を総じて光毒性と呼ぶ。光毒性は細胞に有毒であると言われる紫外線が用いられるケースでは更に悪影響が大きくなるため注意が必要となる。
【0005】
特許文献2によれば、細胞をパターン認識して細胞の重心を求め、重心のズレに応じて観察視野(撮影範囲)を追尾させることが記載されている。これにより、対物レンズの光軸方向(Z軸方向)に交差する方向(X軸方向およびY軸方向)において細胞を追尾してタイムラプス撮影を行うことができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2006−220904号公報
【特許文献2】特開2013−050666号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献2の発明では過去に取得された画像を用いて次の観察位置を自動で決定できるため、光毒性の問題を緩和できるであろう。しかしながら、細胞の重心をパターン認識に頼っているため、正確に重心を求めることができずにタイプラプス撮影が失敗してしまうだろう。なぜなら、細胞は成長に伴い変形したり分裂したりするため、長時間にわたるタイムラプス撮影ではパターン認識に失敗して細胞の位置を正しく追尾できないからである。
【0008】
そこで、本発明は、標本に対する光毒性の影響を低減しつつタイムラプス撮影の成功率を高めることを目的とする。
【課題を解決するための手段】
【0009】
本発明は、たとえば、一定の間隔で試料に励起光を照射して該試料を撮影するタイムラプス実験に使用される顕微鏡を制御する制御装置であって、
顕微鏡により試料を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、前記顕微鏡のXYステージに対する前記画像の撮影位置、撮影時刻、および、前記画像を撮影するときに前記顕微鏡に設定されていた検鏡法のいずれかを含む制御パラメータとを関連付けて記憶する記憶手段と、
タイムラプス実験中に画像を選択するための操作者による制御パラメータの指定を受け付ける受付手段と、
前記記憶手段に記憶されている前記複数の画像から、前記受付手段により受け付けられた制御パラメータと関連付けられている画像を選択する選択手段と、
前記選択手段により選択された画像を表示する表示手段と、
前記操作者によって操作可能な操作手段と、
前記操作手段の操作内容に応じて前記制御パラメータである試料の撮影位置を変更する変更手段と、
前記変更手段による変更後の撮影位置に前記試料が移動するように前記XYステージを移動させ、前記励起光を前記試料に照射して前記タイムラプス実験における次回の撮影を前記顕微鏡に実行させる撮影制御手段と
を有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、標本に対する光毒性の影響を低減しつつタイムラプス撮影の成功率を高めることが可能となる。
【図面の簡単な説明】
【0011】
図1図1(A)および図1(B)は顕微鏡の斜視図である。
図2図2は顕微鏡システムを構成する主要部を示すブロック図である。
図3図3はZスタック画像の一例を示す図である。
図4図4は画像の管理方法の一例を示す図である。
図5図5は制御装置において実現される機能を示すブロック図である。
図6図6は制御パラメータの変更動作に関与する操作画面の一例を示す図である。
図7図7は制御パラメータの変更動作に関与する操作画面の一例を示す図である。
図8図8は制御パラメータの変更動作に関与する操作画面の一例を示す図である。
図9図9は制御パラメータの変更動作を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
【0013】
図1(A)および図1(B)は顕微鏡システムの中核をなす顕微鏡1の斜視図である。図1(A)が示すように顕微鏡1は、筐体自体を暗室として利用するため、ユーザーが暗室を用意する必要がない。ユーザー(操作者)は、上面カバー190を開けると、透過照明光学系5の下方に配置されたXYステージ6にアクセス可能となる。XYステージ6は試料が載置される載置手段の一例である。上面カバー190を閉じることで、暗室が形成される。ユーザーは前面カバー191を開けることでフィルタターレット14に搭載されたフィルタキューブ(カラーフィルタなど)を交換できる。
【0014】
図2は、顕微鏡システム100を構成する主要部を示すブロック図である。顕微鏡1は図2に示す制御装置2によって制御される。制御装置2は、たとえば、制御プログラムをインストールされた情報処理装置(パーソナルコンピュータ:PC)である。つまりPCが顕微鏡1の制御装置2として機能する。このように顕微鏡システム100は、顕微鏡1と制御装置2とを有している。
【0015】
顕微鏡1は、試料3のモノクロ画像、カラー画像および蛍光画像を取得することができる顕微鏡であるが、このうち1つの画像のみを取得する顕微鏡であってもよい。XYステージ6には試料3を保持するための容器ユニット7が固定される。試料3は標本、サンプル、検体またはワークと呼ばれることもある。容器ユニット7は、プレパラート、ディッシュまたはウェル等の容器と容器を支持するホルダーとを有している。透過照明光源4が出力された照明光はコンデンサレンズなどを含む透過照明光学系5を介して試料3に照射される。透過照明光学系5には遮光用のメカシャッターが設けられていてもよい。透過照明光源4からの照明光は、試料3のモノクロ画像やカラー画像を取得する際に使用される。試料3について蛍光観察を実行する際は、蛍光落射照明光源8から励起光が出力される。励起光は、蛍光落射照明光学系9および励起フィルタ10を通過する。蛍光落射照明光学系9には遮光用のメカシャッターが設けられていてもよい。励起フィルタ10は、蛍光落射照明光源8から出力された光のうち励起光となる波長成分のみを透過させる波長選択性フィルタである。励起光はさらにダイクロックミラー11で反射され、対物レンズユニット12の対物レンズを通過して試料3に照射される。ダイクロックミラー11も波長選択性のミラーであり、励起光を反射するが、試料3に添加された蛍光試薬(蛍光染料や蛍光色素とも呼ばれる)が発光する蛍光については透過する。対物レンズユニット12は、モータ13によって回転する電動レボルバと、電動レボルバに搭載された複数の対物レンズとを有している。フィルタターレット14は、4つの開口を有し、そのうち3つの開口には励起フィルタ10、ダイクロイックミラー11、吸収フィルタ16を有するそれぞれ異なるフィルタキューブが取り付けられているが、残りの1つの開口は何も取り付けられていない。フィルタの取り付けられていない開口は、明視野画像を取得する際に使用される。フィルタターレット14は、モータ15によって回転する。吸収フィルタ16は、試料3からの光のうち必要な波長成分のみを透過させる波長選択性フィルタである。結像光学系17は、試料3を撮影装置18の撮影面に結像させる結像レンズを含む。カラーフィルタ24は、たとえば、液晶チューナブルフィルタであり、透過波長を切り替えることにより順にR、G、Bの画像を取得、これらを画像処理部19で合成することでカラー画像を作成する。なお、カラーフィルタとしては上述した液晶チューナブルフィルタに限られず、異なる透過波長のフィルタを機械的に切り替えるカラーフィルタターレットを配置してもよい。画像処理部19は、撮影装置18から出力される画像信号を増幅してA/D変換し、さらにシェーディング補正を行ったりするなど、様々な画像処理を行う。制御部20は、制御装置2からの指示にしたがって顕微鏡1の各部を制御する。たとえば、制御部20は、モータ群21を制御してXYステージ6をX軸方向またはY軸方向へ移動させたり、モータ22を制御してZステージと呼ばれることもある対物レンズユニット12をZ軸方向に移動させたりする。対物レンズユニット12をZ軸方向に移動させることで合焦位置が変化し、オートフォーカスが実行される。XYステージ6およびZステージは手動調整機構を有していてもよい。ここで、Z軸方向は対物レンズの光軸方向であり、X軸方向およびY軸方向はZ軸方向に直交した方向である。通信部23は、制御装置2からの指示を受信したり、制御部20からの情報や画像データを制御装置2へ送信したりするユニットである。制御部20は、たとえば、マイクロプロセッサやCPU、LSI、FPGA、ASICなどで構成される。つまり、ソフトウエアとその実行手段で実現されてもよいし、ハードウエアのみで実現されてもよいし、前者と後者との混在によって実現されてもよい。
【0016】
制御装置2においてCPU30は、記憶装置31に記憶された制御プログラムを実行して顕微鏡1を制御したり、通信インタフェース32を通じて受信した画像データを表示部34に表示させたりする。通信部23および通信インタフェース32は、USBやIEEE1394、LANなどの一般的な通信プロトコルで接続されていてもよいし、専用の通信プロトコルで接続されていてもよい。記憶装置31は、ROM、RAMなどのメモリやハードディスク記憶装置などを含んでいる。記憶装置31には、SSDなどの半導体記憶装置や光ディスク、磁気ディスクがふくまれてもよい。またコンシューマ用のデジタルカメラで使用されているようなメモリカードであってもよい。操作部33は、操作者によって操作可能な操作手段の一例であり、たとえば、キーボードやポインティングデバイスなどの入力装置である。表示部34は、顕微鏡1を制御するための制御パラメータを設定するUIや観察結果(静止画または動画)を表示するUIを提供する。
【0017】
顕微鏡システム100はZスタック画像の撮影(Zスタック撮影)やタイムラプス撮影を実行できる。Zスタックとは試料3とレンズとの間における光軸方向(Z軸方向)の距離を変化させながら試料3を撮影して複数枚の画像(Zスタック画像)を取得する技術である。つまり、Zスタック画像とは、Zステージを少しずつ移動させることで合焦位置をずらしながら各合焦位置において取得された試料3の複数の画像(レイヤー画像/スライス画像)をいう。微生物などの試料3は観察中にX軸方向、Y軸方向だけでなくZ軸方向にも移動する。よって、Z軸方向に少量ずつ合焦位置をずらして複数の画像を取得することで、試料3に合焦した画像を取得しやすくなる。なお、1回のZスタックによって取得される画像の枚数をZスタック数またはZスタック枚数と呼ぶことにする。つまり、Zスタック数Nzは、Zスタック画像を構成している画像の枚数を示している。タイムラプス撮影とは、一定時間ごとに1枚または複数枚の画像を取得する撮影方法をいう。微生物などの試料3は観察中に成長したり変化したりする。そのため、その経過を知る上でタイムラプス撮影は有効である。本実施形態は、基本的に、Zスタックとタイムラプス撮影とを組み合わせて実行する。つまり、顕微鏡1は、一定時間ごとに到来する各撮影タイミングでZスタックを実行する。なお、タイムラプス撮影の開始から終了までの全工程において取得された画像の枚数をトータル撮影枚数Ntと呼ぶことにする。
【0018】
[Zスタック画像]
操作部33を通じてZスタック画像の取得(つまりZスタックの実行)が指示されると、CPU30は、Zスタックの実行を顕微鏡1の制御部20に指示する。この際に、CPU30は、操作部33を通じてユーザーにより設定された制御パラメータ(たとえば、露光時間、Zスタック数Nz、トータル撮影枚数Nt、撮影開始時刻、光源の種類、フィルタ、対物レンズの倍率、Zステージの移動範囲Wなど)も制御部20に送信される。制御部20は、制御パラメータにしたがって露光時間などを撮影装置18に設定するとともに、Zステージ(対物レンズユニット12)を撮影開始位置に移動させるためにモータ13を制御する。制御部20は、撮影開始時刻になると光源を点灯させて撮影を開始する。制御部20は、移動範囲WをZスタック数Nz撮影枚数で除算して一回の移動距離である移動ピッチPを求め、それに応じてモータ13を駆動してZステージを移動させる。つまり、1枚の画像を取得するたびに移動ピッチPだけZステージが移動する。撮影枚数がZスタック数Nzに一致するまでZステージの移動と撮影とが繰り返し実行される。これにより、指定された枚数(Zスタック数Nz)の画像が取得される。制御部20は、各画像を撮影したときの制御パラメータ(撮影時刻、対物レンズ、ZステージのZ位置)を含むメタデータを作成して各画像に添付する。ZステージのZ位置は、実質的に、対物レンズと試料3との間の距離を示しており、Z位置を示す位置データは距離を示す距離データに相当する。制御部20は、画像を取得するたびに通信部23を通じて当該画像を制御装置2に送信してもよいし、または、Zスタック数Nz分の複数の画像の取得が完了するたびにこれらの画像を一括して制御装置2に送信してもよい。なお、制御部20は、メタデータとしてZ位置を示す位置データ(距離データ)を各画像に付与してもよいが、制御パラメータに基づいてCPU30がこのようなメタデータを作成してもよい。顕微鏡1に設定した制御パラメータには移動範囲および移動ピッチの情報が含まれているため、CPU30は移動範囲を移動ピッチで除算することによって各画像のZ位置を求めることができる。CPU30は、通信インタフェース32を通じて受信した複数のレイヤー画像を記憶装置31に記憶する。このように、記憶装置31は、顕微鏡1において対物レンズと試料3との間の距離を変えながら当該試料を撮影して取得された複数の画像と、各画像を取得したときの対物レンズの光軸方向における位置を示す位置データとを関連付けて記憶する記憶手段として機能する。この複数のレイヤー画像がZスタック画像である。CPU30は、操作部33からの指示に応じてZスタック画像から3次元画像を構築して表示部34に表示してもよい。
【0019】
図3はZスタック画像の一例を示す図である。このZスタック画像は、6枚のレイヤー画像から構成されている。各レイヤー画像のメタデータにはZステージのZ位置が書き込まれている。
【0020】
[画像の管理]
図4は、画像の管理方法の一例を示す図である。取得された各画像とその画像を取得したときに使用された制御パラメータとの関係を管理する方法はいくつか存在する。図4に示した例では、CPU30が、地点(XY座標)、撮影時刻、検鏡法を示すチャネルごとにフォルダをツリー状に作成し、画像を保存する。これによりCPU30は、ユーザーにより指定された地点、時刻、検鏡法に対応した画像を選択して表示部に表示することができる。なお、撮影時刻は撮影開始時刻であってもよいし、撮影期間(撮影開始時刻から撮影終了時刻までの時間)であってもよい。
【0021】
これに代えて、CPU30は地点、時刻、検鏡法を区別できるようなファイル名を作成して各画像に付与してもよい。たとえば、CPU30は、XY##_T%%%%_CH$$_Z&&&&.bmpというファイル名を作成する。CPU30は、制御パラメータから地点##、時刻%%%%、チャネル$$、Z座標&&&&を抽出してファイル名を作成し画像を格納するファイルに付与する。このような命名規則を採用することで、CPU30は、ファイル名から画像の取得に使用された制御パラメータを特定でき、ユーザーにより指定された制御パラメータに対応した画像を記憶装置31から読み出して表示部34に表示することができる。
【0022】
また、CPU30は、制御パラメータからメタデータを作成して画像ファイルに付与してもよい。CPU30は、ファイルリストデータベースを作成して制御パラメータと画像との関係を管理してもよい。
【0023】
図5はCPU30が制御プログラムを実行することで制御装置2において実現される機能を示すブロック図である。制御装置2は、タイムラプス実験に使用される顕微鏡1を制御する制御装置である。撮影制御部401は顕微鏡1に対して制御信号を送信して制御し、顕微鏡1から送信される画像信号を受信して画像データを作成して画像保存部407に記憶する。顕微鏡1ですでに画像データが作成されていれば、CPU30はメタデータを作成してこの画像データに付与し、画像保存部407に記憶することになる。撮影制御部401は、タイムラプス撮影を実行するために顕微鏡に一定時間ごとに撮影を実行させる。また、Zスタックを実行する際には、撮影制御部401が顕微鏡1を制御することで、基準位置を含む所定の移動範囲内で対物レンズと試料3との間の距離を変えさせながら顕微鏡1に試料3を撮影させる。この場合、画像保存部407は、顕微鏡1において対物レンズと試料3との間の距離を変えながら試料3を撮影して取得された複数の画像と、各画像を取得したときの対物レンズの光軸方向におけるZ位置を示す位置データ(距離データ)とを関連付けて記憶する。なお、画像とZ位置との関連付けを示すデータについてはデータベース化されてデータ保存部403に記憶されてもよい。このように、対物レンズと試料3との間の距離はZステージのZ軸方向における位置(Z位置)によって表現可能である。撮影制御部401は、制御パラメータを変更する際には励起光を出力する光源4、8の発光を停止させるか、メカシャッターなどの遮光機構を制御して遮光する。本実施形態によれば、パラメータの変更の際に試料3の照明光の照射が必要な従来技術と比較して試料3に対する光毒性を低減したり、試料3の退色を緩和したりすることができる。
【0024】
画像保存部407は、顕微鏡1により試料3を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、顕微鏡1のXYステージ6に対する画像の撮影位置、撮影時刻、および、画像を撮影するときに顕微鏡1に設定されていた検鏡法を含む制御パラメータとを関連付けて記憶する。パラメータ指定部405は、タイムラプス実験中に、変更対象の制御パラメータの指定を受け付ける受付部として機能する。画像選択部406は、画像保存部407に記憶されている複数の画像から、パラメータ指定部405により受け付けられた変更対象の制御パラメータと少なくとも一部で共通する制御パラメータと関連付けられている画像を選択する。パラメータ変更部408は、操作部33の操作内容や操作量に応じて制御パラメータを変更する。撮影制御部401は、変更された制御パラメータに従って顕微鏡を制御してタイムラプス実験における次回の撮影を顕微鏡1に実行させる。プレビュー画像作成部409は、
プレビュー画像作成部409は、操作部33の操作内容や操作量に応じて変更された制御パラメータに従った画像をプレビュー画像として作成し、表示部34に表示する。プレビュー画像作成部409は、選択された画像を操作部33の操作量に応じて表示部34の表示エリア内で移動して表示する。たとえば、画像が操作部33によってドラッグされて移動操作された場合、ドラッグ量とドラッグ方向に応じて画像が移動されて表示される。画像のうち表示エリア外に位置する部分は表示されない。これにより、観察位置(撮影範囲)がどのように変わるかを視覚的にユーザーに示すことができる。パラメータ変更部408は、操作部33の操作量に応じて撮影位置を変更する。操作部33のポインティングデバイスによって画像がドラッグされたときはドラッグ量に応じて撮影位置が変更される。たとえば、試料3の位置が観察位置の中央からずれていれば、試料3の画像が表示エリアの中央に移動させることで、試料3の像が画像の中央に位置するように撮影位置(XY座標)が変更される。
【0025】
プレビュー画像作成部409は、選択された画像の輝度値を操作部33により入力された露光時間に応じて変更することでプレビュー画像を作成してもよい。一般的な顕微鏡では変更された露光時間を実際に適用してリアルタイムで試料3を撮影して試料3の画像を表示する。そのため、試料3を照明しなければならない。一方で、本願発明では、プレビュー画像を作成して表示することで、ユーザーは露光時間の変更によってどのような画像が取得されるかを視覚的に把握できる。また、照明光の照射は不要なため光毒性を削減できる。
【0026】
プレビュー画像作成部409は、選択された画像の輝度値を操作部33により入力された顕微鏡1のビニングの設定またはゲインの設定に応じて変更することでプレビュー画像を作成してもよい。ビニングとは、複数画素を擬似的に結合させて1つの画素とし、1つの画素を構成する受光素子の数を増加させて疑似的に感度を増加させる手法である。ゲインは、受光素子から出力される信号の増幅率である。いずれの場合も画像の明るさを増大させることができる。また、プレビュー画像作成部409は、対物レンズの倍率の変更が指定されると、選択された画像を変更後の倍率に応じて拡大してプレビュー画像を作成してもよい。いずれの場合もユーザーはパラメータの変更によってどのような画像が取得されるかを視覚的に把握できる。また、光毒性を削減できる。
【0027】
図6は制御パラメータの変更動作に関与する操作画面の一例を示す図である。表示部34に表示される操作画面600は顕微鏡1の制御パラメータ(制御パラメータ)を変更するためのユーザーインタフェースである。表示エリア601には選択された画像が表示される。表示エリア601の下方にはパラメータ指定用のコントロールが配置されている。地点指定部602は、画像の取得されたXY座標を指定するためのコントロールである。時刻指定部603は、画像の取得された時刻を指定するためのコントロールである。検鏡法指定部604は、画像の取得に使用された検鏡法(チャネル)を指定するためのコントロールである。ファイル選択部605は、画像ファイルを選択するためのコントロールである。CPU30は、地点指定部602においていずれか地点(例:XY03)が指定されると、指定された地点を名称とするフォルダを参照し、そのフォルダに存在するサブフォルダの名称を時刻指定部603に列挙して表示する。CPU30は、時刻指定部603においていずれか時刻(例:T0036)が指定されると、指定された時刻を名称とするフォルダを参照し、そのフォルダに存在するサブフォルダの名称を検鏡法指定部604に列挙して表示する。CPU30は、検鏡法指定部604においていずれか検鏡法(例:CH03)が指定されると、指定された検鏡法を名称とするフォルダを参照し、そのフォルダに存在するファイルの名称をファイル選択部605に列挙して表示する。この例では、ユーザーによってポインタ606が操作され、Z001.tifという名称の画像ファイルが選択され、その画像ファイルが表示エリア601にレンダリングされている。制御パラメータ設定部607は、撮影枚数、撮影間隔、露光時間、ビニング、ゲイン、倍率、フィルタなどを指定するコントロールである。ユーザーは操作部33を通じてポインタ606を移動させたり、表示エリア601に表示されている画像をドラッグして移動させたりすることができる。本実施例では最初に地点が選択され、次に時刻、検鏡法、ファイル名が選択されて画像選択が実現されているが、これらの順番は異なってもよい。
【0028】
図7は制御パラメータの変更動作に関与する操作画面の一例を示す図である。図7では、ポインタ606によって図7の左下方向に画像がドラッグされたことを示している。パラメータ変更部408は、ポインタ606による画像の移動量をXY座標の変更量に換算し、次回の撮影のXY座標を算出する。
【0029】
図8は制御パラメータの変更動作に関与する操作画面の一例を示す図である。図8では、ポインタ606によって対物レンズの倍率が変更されたため、プレビュー画像作成部が変更後の倍率に応じて疑似的に作成したプレビュー画像が表示エリア601に表示されている。
【0030】
図9は制御パラメータの変更動作を示すフローチャートである。
【0031】
S901で、CPU30は、タイムラプス撮影前やタイムラプス撮影中において操作部33を通じて制御パラメータの変更が指示されたかどうかを判定する。制御パラメータの変更が指示されるとS902に進む。
【0032】
S902で、CPU30は、表示部34に操作画面600を表示させる。
【0033】
S903で、CPU30(パラメータ指定部405)は、画像を選択するために必要となる制御パラメータの指定を受け付ける。上述したように、地点指定部602において地点が指定され、時刻指定部603において時刻が指定され、検鏡法指定部604において検鏡法が指定され、ファイル選択部605においてファイル名が選択される。このようにして、画像を選択するために必要となる制御パラメータが指定される。
【0034】
S904で、CPU30(画像選択部406)は、指定された地点、時刻、検鏡法にしたがってフォルダツリーを辿ってゆき、ファイル選択部605において選択されたファイル名のファイルを選択して読み出し、表示エリア601に画像をレンダリングして表示する。
【0035】
S905で、CPU30(パラメータ指定部405)は、制御パラメータの変更操作を受け付ける。制御パラメータの変更は操作画面600を通じて実行される。地点(XY座標)の変更であれば、画像をポインタ606によってドラッグすることで受け付けられる。撮影枚数や露光時間、ビニング、倍率などの変更操作であれば、制御パラメータ設定部607を通じて受け付けられる。
【0036】
S906で、CPU30(パラメータ変更部408)は、操作部33の操作量に応じて制御パラメータを決定する。XY座標であれば、パラメータ変更部408は、選択画像に対するXY方向へのドラッグ量に応じて、選択画像の撮影位置(XY座標)を平行移動させることで次回撮影のXY座標に決定する。なお、XY座標は、ドラッグだけでなく、キーボードによるカーソル入力や、次回撮影位置の中心をマウスクリックにより指定したり、数値(ピクセル単位/ミクロン単位)の直接入力したりして実現されてもよい。Z座標はZスタックが選択されている場合のみ変更されてもよい。この場合、パラメータ変更部408は、選択された画像が取得されたときのZ位置を次回撮影時のZ方向の撮影基準位置に設定する。たとえば、試料3に対して一番ピントの合っている画像をユーザーが選択することによって、次回撮影のZ方向の撮影基準位置を適切に定めることが可能となろう。あるいは、合焦判定部404が、撮影された画像の合焦状態(コントラスト値などの合焦値)を判定してもよい。パラメータ変更部408は、最も合焦状態の良好な画像のZ位置を次回の撮影基準位置に決定する。
【0037】
パラメータ変更部408は、画像の明るさに関与する制御パラメータを変更してもよい。パラメータ指定部405は、選択画像に関連付けられている露光時間、ゲイン、ビニングなどの制御パラメータを読み込んで操作画面600の制御パラメータ設定部607に表示する。ユーザーは操作部33を通じてこれらのパラメータを変更する。パラメータ変更部408は、操作部33、パラメータ指定部405および制御パラメータ設定部607を通じてパラメータの変更を受け付ける。プレビュー画像作成部409は、ユーザーが変更した明るさに関与する制御パラメータに応じて画像の輝度値を変更してプレビュー画像を作成し、表示エリア601に表示する。取得された画像の露光時間が100msであり、変更後の露光時間が120msであったと仮定する。この場合、プレビュー画像作成部409は、選択画像の各画素値を1.2倍に変更する。また、プレビュー画像作成部409は、ビニング、ゲインなども同様に画像処理によって明るさを変更したプレビュー画像を作成する。
【0038】
また、操作画面600を通じて次回以降の撮影間隔の変更を受け付けてもよい。例えば、プルダウンメニューによって撮影間隔を15分から30分に変更されてもよい。
【0039】
CPU30(パラメータ変更部408)は、図6に示した確定ボタン610がポインタ606によって押されたことを検知すると、その地点における変更量が確定され、制御パラメータ計算部において次回撮影時の制御パラメータが計算される。次回撮影時の制御パラメータは、たとえば、選択画像の制御パラメータとその変更量から以下のように決定される。
●(次回撮影時のXY座標) = (選択画像のXY座標) + (画像の平行移動量)*(画像1pixelあたりの長さ[um/pixel])
●(次回撮影時のZスタック基準位置) = (選択画像のZ位置)
●(次回撮影時のカメラパラメータ)=(操作画面600における指示値)
S907で、CPU30(パラメータ変更部408)は決定された制御パラメータを、撮影制御部401を通じて顕微鏡1に設定する。S908で、CPU30(撮影制御部401)はタイマーを監視して次回の撮影タイミングが到来したかどうかを判定する。次回の撮影タイミングが到来すると、S909に進む。S909で、CPU30(撮影制御部401)は撮影の実行を顕微鏡1に指示する。
【0040】
なお、CPU30は、選択画像の制御パラメータを画像ファイルのメタデータから読み出してもよいし、データ保存部403に保存されているデータベースから読み出してもよい。
【0041】
ところで、XY座標を変更しながら複数の画像を取得する多点撮影に対して本発明が適用されてもよい。CPU30は、多点撮影の対象となっている複数の地点のうち1つの地点の制御パラメータを変更したときに、残りの他の地点についての制御パラメータも変更するかどうかをユーザーに選択させてもよい。他の地点についての制御パラメータを変更することが選択されると、CPU30は、ユーザーに制御パラメータの変更対象となる別の地点を選択させる。それ以降の処理は上述したとおりである。制御パラメータの変更対象となるすべて地点で制御パラメータの変更が完了したら不図示の完了ボタンが押されてもよい。この後、次回の撮影タイミングを待機し、次回以降は変更後の制御パラメータで撮影が行われる。
【0042】
[Zスタック]
本実施形態では、Zスタックを伴うタイムラプス撮影において、過去の撮影タイミングにおいて取得されたZスタック画像から合焦位置が判定され、合焦位置を撮影基準位置(以下、単に基準位置と称す)として次回の撮影が実行されてもよい。基準位置は、ZスタックにおけるZステージの移動範囲Wを決定するための基準となる位置である。たとえば、基準位置が移動範囲Wおいて中央の位置となるように移動範囲Wの上限位置Zhiと下限位置Zloとが決定される。つまり、移動範囲Wは上限位置Zhiから下限位置Zloまでの範囲である。移動範囲Wは一回のZスタックにおけるZステージの移動距離である。この移動距離を2Lと仮定すると、基準位置から+LとなるZ位置がZスタックの開始位置(または終了位置)となり、基準位置から−LとなるZ位置がZスタックの終了位置(または開始位置)となる。もちろんこれは一例にすぎず、試料3の移動方向が予測可能であれば、移動方向をカバーするようにZステージの移動範囲を決定すればよい。たとえば、試料3が基準位置から+方向に移動(成長)することがわかっていれば、基準位置を開始位置に決定してもよい。
【0043】
試料3に対して最もピントが合っている画像は、合焦判定部404が決定してもよいし、ユーザーが目視により決定してもよい。操作画面600においてユーザーは表示エリア601にZスタック画像を構成する複数の画像を順番に表示させる。たとえば、n−1回目の撮影タイミングで取得された5枚の画像(Z0001.tif〜Z0005.tif)が存在したと仮定する。ユーザーは、ファイル選択部605を用いてZ0001.tif〜Z0005.tifまでのそれぞれ異なるZ位置で取得された画像を順番に選択する。Z0001.tif〜Z0005.tifが順番に表示され、ユーザーは目視で合焦状態を判定する。これにより、ユーザーは、目視により試料3に対して最もピントが合っている画像を選択する。ここでは、Z0002.tifが選択されたとする。CPU30は、Z0002.tifのメタデータから撮影時のZ位置を読み出して、基準位置Zrに設定する。設定部402は、基準位置Zrを基にn回目の撮影タイミングで使用されるZステージの上限位置Zhiと下限位置Zloとを決定する。上述したように基準位置Zrを中心として上限位置Zhiと下限位置Zloとが設定されてもよい。また、合焦位置から上に観察対象が伸びているなど非対称な観察対象に対しては、基準位置Zrから上限位置Zhiまでの距離と基準位置Zrから下限位置Zloまでの距離とを非対称に設定してもよい。たとえば、ユーザーが基準位置Zrから上側で5枚の画像を取得し、基準位置Zrの下側で2枚の画像を取得するよう設定すると、設定部402は、基準位置Zrに対して5ピッチを加算したZ位置を上限位置Zhiに決定し、基準位置Zrに対して2ピッチを減算したZ位置を下限位置Zloに決定する。この場合に、基準位置Zrにおいても撮影が実行されてもよい。これにより、非対称なZスタック設定が実現される。設定部402は、決定した移動範囲W(上限位置Zhiと下限位置Zlo)を撮影制御部401を通じて顕微鏡1に設定する。
【0044】
制御部20およびCPU30は、基準位置にZステージを移動した後に合焦動作(オートフォーカス)を実行して合焦位置を探索し、見つかった合焦位置が中央となるように移動範囲をシフトしてもよい。
【0045】
このように、過去または直前に取得されたZスタック画像を用いて合焦位置を追跡することで、別途の合焦動作が不要となるか、または合焦動作に必要となる時間を短縮できる。その結果、試料3に光が照射される時間も短縮されるため、光毒性を低減できる。
を狭くすることで、Zスタック画像を構成する画像の枚数が減少することになる。
【0046】
以上で説明したように本実施形態の顕微鏡システムは、顕微鏡1により試料3を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータとを関連付けて記憶しておく。制御パラメータには、XYステージ6に対する画像の撮影位置、撮影時刻、および、画像を撮影するときに顕微鏡に設定されていた検鏡法が含まれていてもよい。顕微鏡システムは、タイムラプス実験中に画像を選択するための制御パラメータの指定を受け付ける。たとえば、地点、時刻、検鏡法などのうち少なくとも1つがユーザーによって指定される。なお、表示される画像は、制御パラメータの変更に役立つ画像である。顕微鏡システムは、画像保存部407に記憶されている複数の画像から、受け付けられた制御パラメータと関連付けられている画像を選択する。たとえば、図6に示した一例では、地点、時刻、検鏡法に関連付けられている画像(例:Z0001.tif)が選択される。表示部34は、選択された画像を表示する。これによりユーザーは目視により試料3の画像を確認する。なお、この画像は過去に取得された画像であり、リアルタイムで取得されたリアルタイム画像ではない。操作者であるユーザーはポインティングデバイスやキーボード、コンソールなどの操作部33を操作する。顕微鏡システムは、操作部33の操作量や操作内容に応じて制御パラメータの少なくとも一部を変更する。つまり、ユーザーは表示された画像を確認しながら操作部33を操作し、制御パラメータの変更指示を入力する。顕微鏡システムは、変更された制御パラメータに従って顕微鏡1を制御してタイムラプス実験における次回の撮影を顕微鏡1に実行させる。このように本実施形態では、リアルタイムで画像を撮影せずに、過去の画像を表示して制御パラメータを変更できるため、標本に対する光毒性の影響を低減することができる。また、過去の画像で試料3を確認しながら制御パラメータを変更できるため、制御パラメータをより正確に設定でき、タイムラプス撮影の成功率を高めることが可能となる。
【0047】
顕微鏡システムの表示部34は、操作部33の操作量や操作内容に応じて変更された制御パラメータに従った画像をプレビュー画像として表示してもよい。これによりユーザーは制御パラメータの変更がどのように反映されるかを視覚的に確認することが可能となる。プレビュー画像は過去の画像を元に作成されるため、照明光を試料3に当てて新たに画像を取得する必要はない。よって、光毒性の影響を削減できる。
【0048】
顕微鏡システムの表示部34は、選択された画像を操作部33の操作量に応じて表示エリア601内で移動して表示してもよい。たとえば、画像はポインタ606のドラッグ操作によって表示エリア601内で移動することになる。顕微鏡システムは、操作部33の操作量に応じて制御パラメータのうち撮影位置を変更する。たとえば、ユーザーは試料3の像が観察視野(表示エリア601)の中央に来るように画像を移動させることができる。ここで、表示エリア601における画像の移動量と、撮影位置の移動量とは比例しているため、簡単な演算により換算が可能である。
【0049】
顕微鏡システムは、選択された画像の輝度値を操作部により入力された露光時間に応じて変更することでプレビュー画像を作成して表示してもよい。従来は、ユーザーが露光時間を変更すると、リアルタイムで顕微鏡1に反映させて画像を取得して表示することで、露光時間の変更の影響を確認していた。一方で、本願発明では画像処理によってプレビュー画像を作成するため、リアルタイムで画像を取得する必要はない。つまり、光毒性の影響を削減できる。また、ユーザーはプレビュー画像で確認しながら露光時間の変更の影響を確認できる。
【0050】
顕微鏡システムは、選択された画像の輝度値を操作手段により入力された顕微鏡のビニングの設定またはゲインの設定に応じて変更することでプレビュー画像を作成してもよい。このように画像の明るさに関連した制御パラメータについては、リアルタイム画像を取得することなく、プレビュー画像によりユーザーは変更の影響を確認でき、光毒性の影響を削減できる。
【0051】
顕微鏡システムは、対物レンズの倍率の変更が指定されると、選択された画像を変更後の倍率に応じて拡大してプレビュー画像を作成してもよい。このように倍率に関連した制御パラメータについては、リアルタイム画像を取得することなく、プレビュー画像によりユーザーは変更の影響を確認でき、光毒性の影響を削減できる。倍率の拡大だけでなく、縮小についても本実施形態は適用可能である。
【0052】
なお、顕微鏡1は、対物レンズと試料3との間の距離を変えながら複数の画像を撮影するZスタックを実行する顕微鏡であってもよい。この場合、制御パラメータには、複数の画像それぞれを撮影したときの対物レンズと試料3との間の距離を示すZ方向の位置が含まれる。そこで、顕微鏡システムは、選択された画像に関連付けられているZ方向の位置を、次回に撮影する画像のZ方向の基準位置として設定してもよい。これにより、リアルタイム画像を取得することなく、Z位置も変更できるため、光毒性の影響を削減できる。特に、Z軸方向に成長する試料3については時間の経過とともにZ位置を修正することで注目箇所にピントの合った画像を取得できるようになろう。つまり、タイムラプス撮影の成功確率が上昇する。
【0053】
顕微鏡1は、蛍光試薬を添加された試料3に対して励起光を照射し、試料3から発する蛍光を撮影する蛍光顕微鏡であってもよい。撮影制御部401は、制御パラメータを変更する際には励起光を出力する光源を停止させたり、励起光をメカシャッター等により遮光したりしてもよい。これにより、光毒性を確実に削減できよう。
【0054】
本実施形態の顕微鏡システムでは顕微鏡1と制御装置2とが別体となっているが、もちろん一体化されてもよい。また、対物レンズユニット12を移動させることで対物レンズと試料3との間の距離を変更したが、試料3を搭載したステージをZ軸方向に移動させてもよい。顕微鏡は倒立型であってもよいし正立型であってもよい。
図1
図2
図3
図4
図5
図6
図7
図8
図9