(58)【調査した分野】(Int.Cl.,DB名)
前記プレートは、側面が前記窪部の側面となる貫通孔を有し、前記歪み検出用パターンが形成された透明シートが、前記プレート下面側で前記貫通孔を塞ぐように装着されて前記底部をなす請求項1に記載の試料保持プレート。
前記歪み検出用パターンは、可視光線に対して透明であり、かつ可視領域外の所定の波長の光に対する透過率が可視光線に対する透過率よりも低い請求項1ないし3のいずれかに記載の試料保持プレート。
前記画像補正手段は、前記歪み検出用パターンの像から前記歪み検出用パターンの歪みを検出し、該歪みをキャンセルするために必要な補正を、前記処理対象画像に対して施す請求項6または7に記載の撮像装置。
前記画像補正手段は、前記歪み検出用パターンの像から把握される前記歪み検出用パターンの構成要素の位置関係に基づいて、前記処理対象画像内の画像要素の位置関係を調節した画像を、補正後の画像とする請求項8に記載の撮像装置。
前記撮像手段は、前記照明手段から照射された光のうち可視領域内の波長成分を受光して前記処理対象画像を撮像する一方、前記照明手段から照射された光のうち可視領域外の波長成分を受光して前記歪み検出用パターンの像を撮像する請求項6ないし9のいずれかに記載の撮像装置。
前記照明手段は、可視領域内の波長成分を含む第1の光と可視領域外の波長成分のみを含む第2の光とを選択的に前記窪部に向けて照射し、前記撮像手段は、前記照明手段から前記第1の光が照射された状態で前記処理対象画像を撮像する一方、前記照明手段から前記第2の光が照射された状態で前記歪み検出用パターンの像を撮像する請求項10に記載の撮像装置。
前記照明手段は、可視領域内の波長成分と可視領域外の波長成分とを共に含む光を前記窪部に向けて照射する一方、前記撮像手段は、前記窪部を透過する光を可視領域内の波長成分と可視領域外の波長成分とに分光する分光部を有し、分光された光を個別に受光して前記処理対象画像および前記歪み検出用パターンの像を撮像する請求項10に記載の撮像装置。
請求項1ないし5のいずれかに記載の試料保持プレートを略水平に保持し、前記試料保持プレートの下方から前記窪部に光を照射して、前記窪部の上方に透過してくる光を受光して前記窪部の内容物を撮像し処理対象画像を取得する撮像工程と、
前記窪部を撮像して得た前記歪み検出用パターンの像の歪みを検出する検出工程と、
前記検出工程における検出結果に基づき前記処理対象画像の歪みを補正する画像補正工程と
を備える撮像方法。
前記撮像工程は、可視領域内の波長成分を含む第1の光を前記窪部に向けて照射し前記処理対象画像を撮像する処理対象画像撮像工程と、可視領域外の波長成分のみを含む第2の光を前記窪部に向けて照射し前記歪み検出用パターンの像を撮像する歪み検出用パターン撮像工程とを含む請求項13に記載の撮像方法。
前記撮像工程では、可視領域内の波長成分と可視領域外の波長成分とを共に含む光を前記窪部に向けて照射し、前記窪部を透過する光を可視領域内の波長成分と可視領域外の波長成分とに分光し、可視領域内の波長成分を受光して前記処理対象画像を取得する一方、可視領域外の波長成分を受光して前記歪み検出用パターンの像を取得する請求項13に記載の撮像方法。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記した特許文献3に記載の技術のように、ウェルの上方から撮像を行う場合、ウェルに注入された流動体の表面状態(表面の凹凸やメニスカスなど)によっては画像が歪む場合がある。この歪みは、撮像された細胞等の形状やサイズが本来とは異なるものとして認識されてしまうという問題を生じる。この問題は、流動体の粘性が高い場合やウェルの断面サイズが小さい場合に特に顕著である。また、流動体表面の状態は、注入される流動体の量やウェル壁面に対する濡れ性、注入時の状態等によって試料ごとにばらつきがある。そのため、画像に現れる歪みの態様も試料ごとに異なることになる。
【0006】
しかしながら、このように試料ごとに異なる画像の歪みを補正することのできる技術については、これまで確立されるに至っていなかった。
【0007】
この発明は上記課題に鑑みなされたものであり、流動体を窪部に注入してなる試料の画像の歪みを簡易にかつ効果的に低減することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
以下において、「流動体」は、液体、ゲル状のまたは半流動性を有する固体、および、例えば軟寒天のように流動性を有する状態でウェルに注入されその後固化するものの総称である。
【0009】
この発明にかかる試料保持プレートの一の態様は、上記目的を達成するため、平板状のプレート上面に、液体を保持可能な窪部が設けられ、前記窪部の底部では、可視光に対し透明な底面に、所定波長の光に対する透過率が前記底面よりも低い規則的パターンである歪み検出用パターンが設けられた構成を有している。
【0010】
このように構成された発明では、窪部の底面に歪み検出用パターンが設けられており、窪部に流動体が注入された状態で撮像に供されるとき、流動体の表面状態に起因する画像の歪みが生じ得るが、既知の歪み検出用パターンの像から歪みの程度を見積もることが可能であるため、適宜の画像処理によって歪みを補正することができる。すなわち、本発明によれば、歪みの補正が比較的容易な画像を得ることのできる試料保持プレートを提供することが可能である。
【0011】
また、窪部の内容物と歪み検出用パターンとが近接した位置に配置されることになるため、内容物と歪み検出用パターンとをともに鮮明な画像として撮像することが可能になる。また、歪み検出用パターンが試料保持プレートに予め設けられているため、歪み検出用の手段を有していない一般的な撮像装置を用いて撮像を行うことも可能である。
【0012】
また、この発明にかかる撮像装置の一の態様は、上記目的を達成するため、上記した構成の試料保持プレートを略水平に保持する保持手段と、前記窪部の下方から前記窪部に向けて光を照射する照明手段と、前記窪部の上方で、前記窪部を透過してくる光を受光して前記窪部の内容物を撮像し処理対象画像を取得する撮像手段と、前記撮像手段により撮像された前記歪み検出用パターンの像に基づき前記処理対象画像の歪みを補正する画像補正手段とを備えている。
【0013】
また、この発明にかかる撮像方法の一の態様は、上記目的を達成するため、上記した構成の試料保持プレートの下方から前記窪部に光を照射して、前記窪部の上方に透過してくる光を受光して前記窪部の内容物を撮像し処理対象画像を取得する撮像工程と、
前記窪部を撮像して得た前記歪み検出用パターンの像の歪みを検出する検出工程と、
前記検出工程における検出結果に基づき前記処理対象画像の歪みを補正する画像補正工程とを備えている。
【0014】
また、この発明にかかる撮像装置の他の態様は、上記目的を達成するため、液体を保持可能な窪部が上面に設けられた試料保持プレートを略水平に、かつ、前記窪部の底面を、所定波長の光に対する透過率が前記底面よりも低い規則的パターンである歪み検出用パターンが形成された透明な平板状またはシート状のパターン形成体に当接させて保持する保持手段と、前記窪部の下方から前記パターン形成体を介して前記窪部に光を照射する照明手段と、前記窪部の上方で、前記窪部を透過してくる光を受光して前記窪部の内容物を撮像し処理対象画像を取得する撮像手段と、前記撮像手段により撮像された前記歪み検出用パターンの像に基づき前記処理対象画像の歪みを補正する画像補正手段とを備えている。
【0015】
また、この発明にかかる撮像方法の他の態様は、上記目的を達成するため、液体を保持可能な窪部が上面に設けられた試料保持プレートを略水平に、かつ、前記窪部の底面を、所定波長の光に対する透過率が前記底面よりも低い規則的パターンである歪み検出用パターンが形成された透明な平板状またはシート状のパターン形成体に当接させて保持し、前記試料保持プレートの下方から前記パターン形成体を介して前記窪部に光を照射して、前記窪部の上方に透過してくる光を受光して前記窪部の内容物を撮像し処理対象画像を取得する撮像工程と、前記窪部を撮像して得た前記歪み検出用パターンの像の歪みを検出する検出工程と、前記検出工程における検出結果に基づき前記処理対象画像の歪みを補正する画像補正工程とを備えている。
【0016】
このように構成された発明では、歪み検出用パターンを介して下方から照明された窪部の内容物がその上方で撮像される。したがって、窪部に流動体が注入されてなる内容物と歪み検出用パターンとは、いずれも同じ流動体の表面を介して撮像されることとなる。そのため、流動体の表面状態に起因する画像の歪みは、窪部の内容物と歪み検出用パターンとに対して同様に現れる。歪み検出用パターンが既知であればこれを撮像した結果から画像に現れた歪みの態様を容易に把握することができるから、これに基づき窪部の内容物を撮像した処理対象画像を補正することで、比較的簡易に、しかも内容物の表面状態のばらつきによらず安定的に処理対象画像から歪みを除去することができる。
【0017】
例えば、歪み検出用パターンの像から歪み検出用パターンの歪みを検出し、該歪みをキャンセルするために必要な補正を処理対象画像に対して施すことができる。歪み検出用パターンと窪部の内容物とで同様の歪みが生じるから、歪み検出用パターンの像における歪みをキャンセルするための補正を処理対象画像に適用することで、処理対象画像の歪みを効果的に補正することが可能である。
【0018】
より具体的には、例えば、歪み検出用パターンの像から把握される歪み検出用パターンの構成要素の位置関係に基づいて、処理対象画像内の画像要素の位置関係を調節した画像を、補正後の画像とすることができる。流動体表面の凹凸に起因する画像の歪みは、主として画像を構成する要素の位置の変動として現れると考えられる。したがって、位置関係が予めわかっている歪み検出用パターンの各構成要素が撮像された画像内でどのような位置関係にあるかによって歪みによる位置変動の程度を把握することが可能である。処理対象画像内の各画像要素も同様に変位していると考えられるから、その位置関係を調節することで、歪みによる位置変動がキャンセルされた補正後の画像が得られる。
【0019】
これらの発明において、例えば、照射された光のうち可視領域内の波長成分を受光して処理対象画像を撮像する一方、可視領域外の波長成分を受光して歪み検出用パターンの像を撮像するようにしてもよい。このようにすると、歪み検出用パターンは可視光線に対して透明なものであってもよく、こうすることで、処理対象画像として歪み検出用パターンの映り込みのない画像を取得することが可能となる。そのため、画像に基づく観察や分析において歪み検出用パターンが支障となるのを未然に防止することができる。
【0020】
この場合、例えば、可視領域内の波長成分を含む第1の光を窪部に向けて照射し処理対象画像を撮像する一方、可視領域外の波長成分のみを含む第2の光を窪部に向けて照射し歪み検出用パターンの像を撮像するようにしてもよい。窪部の内容物の撮像と、歪み検出用パターンの撮像とを個別に実行することで、それぞれの撮像における撮像条件を個別に設定することができる。
【0021】
あるいは例えば、可視領域内の波長成分と可視領域外の波長成分とを共に含む光を窪部に向けて照射し、窪部を透過する光を可視領域内の波長成分と可視領域外の波長成分とに分光し、可視領域内の波長成分を受光して処理対象画像を取得する一方、可視領域外の波長成分を受光して歪み検出用パターンの像を取得するようにしてもよい。こうすることで、1度の撮像で処理対象画像と歪み検出用パターンの像とを同時に取得することができ、撮像に要する時間を短縮することができる。
【0022】
本発明においては、試料保持プレートに予め歪み検出用パターンが設けられていてもよく、また例えば、歪み検出用パターンが形成された透明ステージによって試料保持プレートを保持し、該透明ステージをパターン形成体として機能させるようにしてもよい。このように試料保持プレートを保持する機能と窪部の下方に歪み検出用パターンを配置する機能とを透明ステージに兼備させることで、装置の小型化および低コスト化を図ることができる。また、歪み検出用パターンの形状やサイズ等が撮像装置に固有のものとなるので、歪み検出用パターンの像に基づく画像の歪みの把握を効率的に行うことが可能である。
【0023】
この発明にかかる試料保持プレートは、例えば側面が窪部の側面となる貫通孔を有し、歪み検出用パターンが形成された透明シートが、プレート下面側で貫通孔を塞ぐように装着されて底部をなすものであってもよい。このような構成によれば、貫通孔の側面と透明シートとで構成される窪部に液体を保持することが可能であり、また透明シートに予め形成された歪み検出用パターンの撮像結果に基づき画像の歪みを補正することができる。透明シートへの歪み検出用パターンの形成は、例えば型押しまたは印刷によって行うことが可能である。
【0024】
これらの発明において、歪み検出用パターンとしては、例えば一定間隔のグリッドパターンを用いることができる。一定間隔で配置されたグリッドから、画像内の各部における歪みを位置ごとに検出することができ、その結果から画像各部の歪みを効果的に補正することができる。
【0025】
また例えば、歪み検出用パターンは、可視光線に対して透明であり、かつ可視領域外の所定の波長の光に対する透過率が可視光線に対する透過率よりも低いものとしてもよい。このようにすると、可視光線での撮像においては歪み検出用パターンが画像に映り込まず、かつ可視領域外の波長成分を有する光照射下での撮像で歪み検出用パターンの像を撮像することができる。このため、処理対象画像に歪み検出用パターンが映り込むのを回避しながら、しかも歪み検出用パターンの像に基づく歪み補正を適切に行うことが可能となる。
【発明の効果】
【0026】
この発明によれば、試料保持プレートの窪部に流動体が注入された状態で撮像に供されるとき、流動体の表面状態に起因する画像の歪みの程度を、既知の歪み検出用パターンの像から見積もることが可能となるため、画像の歪みを簡易にかつ効果的に低減することが可能となる。
【発明を実施するための形態】
【0028】
<装置の全体構成>
図1はこの発明にかかる撮像装置の概略構成を示す図である。この撮像装置1は、
図1(a)に示すように、断面が略円形で、それぞれに例えば培養液、培地、試薬などの液体等が注入された複数の、例えば96個(12×8のマトリクス配列)のウェルWを形成されたサンプル(マイクロプレート)Mが載置されるステージ15と、該ステージ11を保持するホルダ11と、該ホルダ11の下方に設けられた光源12と、ホルダ11の上方に設けられた撮像ユニット13と、これらを司って所定の動作を実行させる制御部10とを備えている。
図1(a)においては上下方向が鉛直方向である。マイクロプレートMにおける各ウェルWの直径および深さは代表的には10mm弱程度である。なお、この撮像装置1が対象とするマイクロプレートのサイズやウェルの数はこれらに限定されるものではなく任意である。
【0029】
ステージ15は、例えば石英や樹脂などの透明材料で形成された平板状のプレートであり、上面が略水平となるようホルダ11によって保持されている。ステージ15の平面サイズは、マイクロプレートMと同程度またはこれより少し大きい。マイクロプレートMはステージ15の上面に載置されることで略水平状態に保持される。なお、ステージ15は必要に応じてホルダ11から取り外すことができ、この状態では、ホルダ11がマイクロプレートMの下面周縁部に当接することでマイクロプレートMを直接保持することが可能である。またステージ15には画像歪み補正用の歪み検出用パターンが設けられているが、この点については後に詳しく説明する。
【0030】
光源12は、制御部10に設けられた光源制御部112によって制御され、光源制御部112からの制御指令に応じてステージ15に保持されたマイクロプレートMの下方から複数のウェルWに対して一括して光Lを照射する。照射された光Lは、透明なステージ15を透過してウェルWにその底面から入射する。
【0031】
撮像ユニット13は、光源12から出射されてマイクロプレートMの上方に透過してくる透過光Ltを受光することでマイクロプレートMの画像を撮像するカメラとして機能するものである。撮像の解像度としては、例えば2400dpi(dots per inch)程度とする。撮像ユニット13は制御部10に設けられたカメラ駆動機構113に連結されており、カメラ駆動機構113は、ホルダ11に保持されたマイクロプレートMの下面に沿って撮像ユニット13を水平面内で走査移動させる。
【0032】
すなわち、この実施形態では、撮像ユニット13がマイクロプレートMの下面に沿って走査移動可能となっている。なお、ここでは撮像ユニット13がマイクロプレートMに対して移動するが、撮像ユニット13とマイクロプレートMとの間の相対移動が実現されれば足り、この意味でマイクロプレートMを撮像ユニット13に対して移動させるようにしてもよい。
【0033】
撮像ユニット13は多数の微細な撮像素子を水平面内の一軸方向に一次元配列したラインセンサ(図示省略)を有しており、
図1(b)に示すように、ラインセンサの長手方向には少なくとも1つのウェルW全体、より望ましくは複数の(同図では3つの)ウェルWを一度に撮像範囲SRに含めることができるよう構成されている。
【0034】
また、
図1(b)に示すように、カメラ駆動機構113によるラインセンサの走査移動方向は、撮像範囲SRの長手方向(ラインセンサの撮像素子の配列方向)に直交する方向である。このように、所定方向に沿って撮像素子が配列されたラインセンサをマイクロプレートMの上面に沿って走査移動方向に走査移動させることで、上面側から見たマイクロプレートMの二次元画像を撮像することが可能である。
【0035】
撮像ユニット13により撮像された画像データは画像処理部114に与えられる。画像処理部114は、撮像ユニット13からの画像データに対して適宜画像処理を施したり、画像データに基づく所定の演算処理を実行する。処理前後のデータは必要に応じて記憶部115に記憶保存される。また、検出処理部116は、画像処理部114から与えられる画像データに基づき所定の検出処理を行って、画像に含まれる特徴的な部位を検出する。この検出処理は、例えば画像の輝度データを解析することによって当該画像の中で光学的特性がその周囲領域とは異なる領域を検出する処理であり、また当該領域について特徴量を算出することにより、当該領域がどのような起源・種類のものであるかの分類が可能である。このように画像からある特徴を有する部位を識別し検出する処理や、そのような処理に好適な特徴量については種々の技術が公知であるので、ここでは詳しい説明を省略する。
【0036】
検出処理部116による検出結果も記憶部115に保存される。また、画像処理部114は必要に応じて検出処理部116による検出結果に基づいた画像処理を行う場合がある。そして、適宜の画像処理が施された画像データは例えば液晶ディスプレイ等の表示手段を有する表示部118に与えられ、表示部118は与えられた画像データに対応する画像を表示してユーザに提示する。さらに、この画像表示装置1は、画像処理の内容や表示の態様等についてユーザからの操作指示入力を受け付けるための入力受付部117を有している。入力受付部117は、例えばキーボード、マウス、タッチパッド等の入力受付手段またはそれらを適宜組み合わせたものであり、ユーザからの指示入力を受け付けて制御部10がこれを装置の動作に反映させることで、ユーザが所望する機能を実現する。
【0037】
この撮像装置1は、各ウェルWに保持された流動体(本明細書では、液体、ゲル状のまたは半流動性を有する固体、および、例えば軟寒天のように流動性を有する状態でウェルに注入されその後固化するものの総称である)およびその中に含まれる細胞等の撮像対象物の光学像を撮像したり、その光学像から所定の光学的特徴を有する、より具体的にはウェルWに保持された液体等とは異なる光学的特性を有する特異な部分をその光学的特性の差異を利用して検出するという用途に適用することができる。例えば、培養液や培地中の細胞や細胞集塊(スフェロイド)を撮像対象物として撮像したり、さらに画像処理によりそのような細胞等を自動的に検出する目的に好適に使用することができる。
【0038】
この撮像装置1では、流動体が注入されたウェルWの下方から光を照射し、ウェルWの上方に透過してきた光を受光して撮像する。
図1(a)に示すように、一般的なマイクロプレートMでは、ウェルWの側壁面にはテーパーが設けられて底部に近いほどウェルW開口の水平断面積が小さくなっている。ウェルWの上方で撮像を行うと、内容物がウェルW側壁面によって遮蔽されることがない。その一方、ウェルWの内容物が流動体の液面を介して撮像されることとなるため、次に述べるように撮像された画像に流動体の表面状態に起因する歪みを生じることがある。
【0039】
図2は流動体の表面状態に起因する歪みを説明する図である。マイクロプレートMが水平に保持された状態であっても、ウェルWに注入される流動体FLの粘性、ウェルW壁面との濡れ性やメニスカス等の要因により、流動体FLの表面Sは必ずしも水平ではなく凹凸を有する場合が多い。また、この種の流動体FLは例えばピペットを用いてウェルWに分注されるが、その際の作業のばらつきによっても、流動体FLの表面に凹凸が生じることがある。
【0040】
図2に一点鎖線矢印で示すように、ウェルWの下方から入射する照明光Lが平行光であっても、このように凹凸を有する流動体FLの表面Sでの屈折により、ウェルWの上方へ透過してくる透過光Ltの方向が乱れる。このため、撮像された画像では、流動体FL中の観察対象物、例えば細胞集塊Spが、その位置、大きさ、形状等において歪みを生じることとなり、観察や分析に支障を来たすことがある。
【0041】
そこで、この実施形態では、以下に説明するようにしてこの歪みを検出し、その結果を用いて歪みの補正を行っている。ここでは、上記した構成の撮像装置1において歪みの検出および補正を可能にする2つの実施形態を採り上げて、その原理および具体的な動作について順に説明する。なお、これらの実施形態は、
図1(a)に示す撮像装置1の各構成のうちいくつかをより具体化したものであって、基本的な構成は上記した通りのものである。以下では、上記構成と同一の構成については同一符号を付している。
【0042】
<第1実施形態>
図3はこの発明にかかる撮像装置の第1実施形態の主要部を示す図である。この実施形態は、
図1(a)に示す撮像ユニット13、光源12、光源制御部112および画像処理部114に相当する構成に特徴を有するものである。この実施形態における撮像ユニット、光源、光源制御部および画像処理部をそれぞれ符号13a、12a、112aおよび114aにより示す。
【0043】
この実施形態における光源12aは、白色光を照射する白色光源121と、赤外光を照射する赤外光源122とを備えており、これらは光源制御部112aにより制御される。より具体的には、光源制御部112aから白色光源121および赤外光源122に対して選択的に点灯信号が与えられ、これに応じて白色光源121および赤外光源122の一方が選択的に点灯する。
【0044】
光源12aから出射された光(白色光または赤外光)Lは、ステージ15を介してマイクロプレートMに入射する。前記したようにステージ15は透明材料で形成され、しかも、規則的な歪み検出用パターンを有するものである。歪み検出用パターンは、ステージ15の上面、下面または内部に印刷、刻印またはエッチング等により形成されたものである。そのパターンとしては、これを撮像した画像からパターンの規則性が容易に読み取れるグリッドパターン、例えば
図3(b)に示すように一定ピッチの格子点のそれぞれにドットを設けたパターンGP1、あるいは例えば
図3(c)に示すように一定ピッチの平行線を2組、互いに直交させたパターンGP2などを用いることができる。
【0045】
ステージ15の上方へ透過してくる透過光Ltは、撮像ユニット13aに入射する。撮像ユニット13aは、ラインセンサを構成するCCD撮像素子132と、透過光LtをCCD撮像素子132に収束させる結像光学系131と、CCD撮像素子132のアナログ出力信号をデジタル信号に変換するADコンバータ(A/D)133とを備えている。CCD撮像素子132により撮像される画像には、ウェルWの内容物に対応する像のほか、上記したグリッドパターンの像が含まれることとなる。
【0046】
撮像されたグリッドパターンの像に現れる歪みは、既知のパターンにおける構成要素(ドットやライン)の位置関係とそれらが実際に撮像された画像における位置関係との比較によりその程度を定量的に見積もることが可能である。流動体FLの表面状態に起因する歪みは、グリッドパターンの像とウェル内容物の像とで同様に現れるはずであるから、グリッドパターンの像の歪みを検出することは、等価的にはウェル内容物の像に現れた歪みを検出することに相当する。
【0047】
図3(b)および
図3(c)に点線で示す円はウェルWの輪郭を表しており、このようにウェルの輪郭内部に多数の格子点が含まれるようにすることで、画像内の各部での歪み量をきめ細かく検出することができる。一方で、各格子点が画像内で明瞭に分離可能でなければならず、グリッドのピッチを小さくしすぎても問題がある。これらの要求を両立させるグリッドのピッチPとしては、例えば0.2mm程度とすることができる。なお
図3(b)および
図3(c)ではグリッドのピッチPを縦方向と横方向とで同じとしているが、これに限定されるものではない。
【0048】
また、ステージ15の厚み方向におけるグリッドパターンの形成位置については、原理的にはステージ15の上面、下面および内部のいずれに設けられてもよい。ただし、撮像対象であるウェル内容物にできるだけ近い位置に設けることで、ウェル内容物とグリッドパターンとの双方にピントが合った状態で撮像することが可能となり、撮像された画像の品質および歪み補正の精度を向上させることができる。この意味においてはステージ15の上面にグリッドパターンが設けられることが望ましく、またステージ15の上面とウェルWの底面とができるだけ近接した状態でマイクロプレート15が保持されることが望ましい。
【0049】
図4はグリッドパターンの像に現れる歪みの例を示す図である。ここでは、画像の左上隅を原点として右方向にX座標軸、下方向にY座標軸を設定する。
図4(a)は、ウェルWに液体を注入しない状態で撮像したグリッドパターンの像の例であり、
図4(b)は液体を注入して撮像したグリッドパターンの像の例である。
図4(a)ではウェルの輪郭に対応する円の内部全体でグリッドパターンのドットがX方向およびY方向に略一定のピッチで直線状に整列しており、歪みはほとんど見られない。
【0050】
一方、
図4(b)の画像では、ウェルの中心部分ではドットが均等に整列しているが、ウェル周縁部ではその列が曲線となり、ピッチも変動している。具体的には、周縁部に近づくほどドットピッチが詰まっている。これは主にメニスカスによって生じる歪みである。すなわち、ウェルの周縁部に近づくほど液面が盛り上がって光の屈折が大きくなり、撮像結果ではドットのピッチが実際よりも詰まった画像となる。
【0051】
図4(b)に示す画像に対して、各ドットが一定ピッチでかつX方向、Y方向とも直線状に並ぶようにドットを移動させて再配列を行うことで、歪みをキャンセルすることができる。ドット間の各画素についても、近傍各ドットの移動量からの補間により、補正に必要なそれぞれの移動量を求めることができる。こうして求まった移動量での各画素の移動を、ウェル内容物を撮像した画像の各画素に対して適用することで、画像の歪みを補正することができる。
図4(c)は、後述の補正処理を適用して
図4(b)の画像を補正したものであり、ドット列の歪みが軽減されて
図4(a)に近い画像となっていることが伺える。
【0052】
なお、このような「画素の位置調整」の原理に基づく補正においては、補正に必要な画素の移動量が必ずしも画素ピッチの整数倍とはならない。これにより、補正前の画像における画素と、補正後の画像における画素とが1対1に対応しないことがある。この問題に対応するためには、例えば、補正後の画像における各画素の画素値を、これに対応する補正前の画素の画素値とその周囲の画素の画素値とに基づいて、例えばそれらの単純平均または荷重平均によって求めるようにすればよい。
【0053】
この実施形態では、
図3(a)に示すように、CCD撮像素子132からの出力信号がADコンバータ133でデジタルデータに変換され、該デジタルデータが画像処理部114aの画像取得部1141とグリッドパターン演算部1142とに与えられる。グリッドパターン演算部1142は、撮像されたグリッドパターンのドットの位置関係から、歪みを補正するために必要な各画素の移動量を算出する。一方、画像取得部1141に与えられたデータから取得されるウェル内容物の画像に対してグリッドパターン演算部1142により求められた各画素の移動量での移動を適用した補正が、画像演算部1143により実行される。こうして画像の歪みがキャンセルされた補正後の画像が得られる。
【0054】
グリッドパターンは本来的には撮像結果に含まれない方が望ましいものである。そこで、この実施形態では、ステージ15に設けるグリッドパターンを可視光線に対して透明かつ赤外光に対して不透明なものとし、赤外光照射下での撮像結果からグリッドパターンの像を取得する一方、白色光照射下での撮像結果からウェル内容物の像を取得するようにしている。具体的には次のようにする。なお、グリッドパターンは可視光に対して完全に透明であることを必要とするものではないが、少なくとも、可視光における透過率に対して、可視領域外の特定の光(例えば赤外光)における透過率の方が低くなるようにすることが望ましい。
【0055】
図5は第1実施形態における撮像動作を示すフローチャートである。最初に、各ウェルWに流動体が注入されたマイクロプレートMを装置にセットし(ステップS101)、光源として赤外光を指定する(ステップS102)。すなわち、光源制御部112aが、光源12aに設けられた2つの光源のうち赤外光源122に対してのみ点灯信号を出力し、赤外光源122を点灯させる。これにより、光源12aからステージ15に向けて赤外光が照射される。この状態で撮像を行うことで、赤外光に対し不透明なグリッドパターンの像が取得される(ステップS103)。こうして得られたグリッドパターンにおける個々のドットの位置関係から、画像の歪みを除去するために必要な各画素の移動量を補正用データとして求める(ステップS104)。
【0056】
次に、光源として白色光を指定する(ステップS105)。すなわち、光源制御部112aが、光源12aに設けられた2つの光源のうち白色光源121に対してのみ点灯信号を出力し、白色光源121を点灯させる。これにより、光源12aからステージ15に向けて白色光が照射される。この状態で撮像を行うことで、可視光線に対して透明なグリッドパターンは写らず、ウェル内容物のみが写った画像を取得することができる(ステップS106)。こうして得られたウェル内容物の画像を処理対象画像として、これに対し先に求めた補正用データを適用して画像を補正することで(ステップS107)、歪みが除去された補正後の画像が得られる。
【0057】
以上のように、この実施形態では、光源12aとウェルWとの間にグリッドパターンを形成した透明ステージ15を介在させた状態でウェルWの撮像を行い、撮像されたグリッドパターンの歪みを検出してこれを補正するための各画素の移動量を求める。そして、この移動量をウェル内容物の画像に適用して補正を行うことで、画像の歪みを効果的に除去することができる。画像各部の歪み量がグリッドパターンの像から容易に把握されるので、比較的簡易な補正により、歪みを低減することが可能である。
【0058】
ここで、グリッドパターンは可視光に対して透明で赤外光でのみ撮像可能なものとし、光源を切り替えてグリッドパターンとウェル内容物とを個別に撮像する。こうすることで、最終的な画像にグリッドパターンが写り込まず、観察や分析への影響が防止されている。
【0059】
グリッドパターンの撮像とウェル内容物の撮像とを個別に行うことで、マイクロプレートMに対する撮像ユニット13aの走査が2回必要となり処理時間が長くなるが、グリッドパターンの撮像はその構成要素の位置関係が把握できればよいので高速化が可能であり、またこれらの撮像を同じ撮像素子を用いて行うことができるため撮像ユニット13aの構成が簡素化されるという利点がある。また、ウェル内容物の撮像に先立って補正用データが求められているため、ウェル内容物の撮像の進行に応じてリアルタイムに補正を行うことが可能である。
【0060】
<第2実施形態>
図6はこの発明にかかる撮像装置の第2実施形態の主要部を示す図である。この実施形態における撮像ユニット、光源、光源制御部および画像処理部をそれぞれ符号13b、12b、112bおよび114bにより示す。
【0061】
この実施形態の光源12bも、白色光源123および赤外光源124を備えている。ただし、これらは光源制御部112bによって一斉に点灯・消灯される。したがって、光源12bからは、赤外光と白色光とが重畳された光Lがステージ15に向けて照射される。
【0062】
ステージ15の上方に透過した光Ltは、この実施形態の撮像ユニット13bに設けられた結像光学系134を経て分光器、例えばダイクロイックミラー135に入射する。ダイクロイックミラー135は入射光を赤外成分と可視成分に分光するものであり、分光された光のうち可視成分はCCD撮像素子136に入射し、赤外成分がもう1つのCCD撮像素子137に入射する。CCD撮像素子136の出力信号はADコンバータ137によりデジタルデータに変換され、画像処理部114bの画像取得部1141に与えられる。一方、CCD撮像素子138の出力信号はADコンバータ139によりデジタルデータに変換され、画像処理部114bのグリッドパターン補正演算部1142に与えられる。画像処理部114bに設けられた画像取得部1141、グリッドパターン補正演算部1142および画像演算部1143の機能は、第1実施形態に設けられたものと同じである。
【0063】
このような構成では、グリッドパターンの像に対応する赤外成分と、ウェル内容物の像に対応する可視成分とが同時に取得され、ダイクロイックミラー135で分光されることで、それぞれの像が個別に撮像される。こうすることによっても、グリッドパターンの像における歪み検出およびそれに基づくウェル内容物の像の補正を行うことができる。
【0064】
図7は第2実施形態における撮像動作を示すフローチャートである。この実施形態では、マイクロプレートMを装置にセットした後(ステップS201)、赤外光および白色光を同時にマイクロプレートMに照射する(ステップS202)。そして、ダイクロイックミラー135による分光後の赤外成分の像としてグリッドパターンを、また可視光成分の像としてウェル内容物をそれぞれ撮像する(ステップS203)。
【0065】
このうち赤外成分の像、つまりグリッドパターンの像から補正用データを求め(ステップS204)、これをウェル内容物の像に適用して補正を行う点は(ステップS205)、第1実施形態と同じである。
【0066】
この実施形態では、赤外光と可視光とを共に含む光をウェルWに向けて照射し、透過光を分光して、赤外成分からグリッドパターンの像を、可視成分からウェル内容物の像を同時に取得する。これにより、1回の走査で両方の像を取得することができるので、操作に要する処理時間を短縮することができる。そして、グリッドパターンの像の歪みを検出し、その結果に基づきウェル内容物の像を補正することで、第1実施形態と同様に画像の歪みを効果的に除去することが可能である。
【0067】
<第3実施形態>
次に、この発明の第3実施形態について説明する。上記した第1および第2実施形態の撮像装置では、照明用の光源12(12a,12b)とマイクロプレートMとの間に設けたステージ15にグリッドパターンを設けていた。こうすることで、グリッドパターンの形状や寸法、撮像ユニット13等との位置関係などが装置固有のものとなり、製品のばらつきが歪み補正に影響を及ぼすことが回避される。またマイクロプレートMには特別な仕様が要求されないので、現在市販されている一般的なものを使用することができる。
【0068】
一方、次に説明する第3実施形態では、マイクロプレートの底面にグリッドパターンを直接設けたものである。その結果、第1および第2実施形態で使用されていたステージは省いて、マイクロプレートをホルダによって直接保持して撮像を行うことができる。なお、この実施形態はマイクロプレート自体に特徴があり、撮像装置の構成および動作としては上記した第1および第2実施形態のいずれかに記載のものを用いる。ただし、上記したようにステージ15を用いず、下記のマイクロプレートがホルダ11によって直接保持される。
【0069】
図8は第3実施形態におけるマイクロプレートの構造を示す図である。より詳しくは、
図8(a)はこの実施形態におけるマイクロプレートの分解斜視図であり、また
図8(b)はこのマイクロプレートの部分断面図である。このマイクロプレート2は、略円筒状(より厳密には、底面に向けて断面積が漸減するテーパー付き)の側面形状を有する貫通孔211が一定のピッチで規則的に二次元マトリクス配置された上部プレート21と、上部プレート21の下面に各貫通孔211を塞ぐように貼付された下面シート22とを有している。
【0070】
図8(b)に示すように、下面シート22は上部プレート21の下面にぴったりと密着されており、上部プレート21の貫通孔211の側面と、下面シート22とによって囲まれた空間に液体を保持することが可能となっている。すなわち、この空間が流動体を保持するウェルWとして機能し、貫通孔211の側面がウェルWの側壁面を、また下面シート22がウェルWの底面をそれぞれなしている。
【0071】
下面シート22は透明な樹脂、例えばPET(ポリエチレンテレフタレート)樹脂により形成されたシート体であり、その上面または下面に、
図8(a)に示すように規則的なグリッドパターンGP3が設けられている。グリッドパターンのパターン形状としては、これを撮像した画像からパターンの規則性が容易に読み取れるグリッドパターン、例えば
図3(b)または
図3(c)に示したものと同じものを用いることができる。またその形成方法としては、例えば印刷または刻設によることができる。第1および第2実施形態のステージ15に設けたグリッドパターン同様、可視光に対しては透明で、可視領域外の光、例えば赤外光により撮像可能なものとすることがより好ましい。
【0072】
このように構成されたマイクロプレート2では、ウェルの底面に予めグリッドパターンが形成されているため、グリッドパターンを設けたステージを用いることなく撮像を行うことができる。このため、撮像装置としてはよりコンパクトに構成されたものを用いることが可能である。また、ウェル内容物に極めて近接した位置にグリッドパターンが配置されるため、ウェル内容物とグリッドパターンとの双方を撮像ユニットの被写界深度内に収めて鮮明な画像を得ることができ、画像の品質および補正精度においてより良好な結果を得ることができる。
【0073】
また、グリッドパターンがマイクロプレートに形成されていることにより、撮像装置としてはグリッドパターンを配置する機能を持たない従来の装置を適用することが可能である。このような装置での撮像においても、本発明にかかる撮像方法を適用することで画像の歪みを効果的に除去することが可能である。
【0074】
<その他>
以上説明したように、上記各実施形態においては、マイクロプレートMおよび2が本発明の「試料保持プレート」に相当しており、ウェルWが本発明の「窪部」に相当している。また、マイクロプレート2の上部プレート21および下面シート22がそれぞれ本発明の「プレート」および「透明シート」に相当している。
【0075】
また、上記各実施形態では、ホルダ11およびステージ15が本発明の「保持手段」として機能し、ステージ15はまた本発明の「透明ステージ」および「パターン形成体」としての機能も有している。また、上記実施形態では、光源12(12a,12b)が本発明の「照明手段」として機能する一方、撮像ユニット13(13a,13b)が本発明の「撮像手段」として機能している。また、画像処理部114(114a,114b)が、本発明の「画像補正手段」として機能している。また、第2実施形態におけるダイクロイックミラー135が本発明の「分光部」として機能している。
【0076】
また、上記実施形態の動作においては、ステップS102〜S103、S105〜S106、S202〜S203が本発明の「撮像工程」に相当している。このうちステップS102〜S103およびS105〜S106はそれぞれ、本発明の「テストパターン撮像工程」および「処理対象画像撮像工程」に相当している。また、ステップS104およびS204が本発明の「検出工程」に相当する一方、ステップS107およびS205が本発明の「補正工程」に相当している。
【0077】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、可視光に対して透明なグリッドパターンを用いて画像の歪み補正を行っているが、グリッドパターンは何らかの光学的方法で撮像可能であれば可視光に対して透明であることは必須の要件ではない。ウェル内容物の観察等に支障がない範囲で画像にグリッドパターンの像が映り込むことは許容でき、またパターンが既知であることから撮像後の画像処理によってグリッドパターンの像を画像から消去することも可能である。
【0078】
また、上記第2実施形態では、本発明の「分光部」としてダイクロイックミラー135を用いているが、例えば適宜の光学フィルターの組み合わせによってグリッドパターンの像とウェル内容物の像とを分離するようにしてもよい。また、光学フィルターを切り替えて2回の撮像を行うことにより、グリッドパターンの像とウェル内容物の像とを個別に撮像するようにしてもよい。
【0079】
また、上記第3実施形態では、グリッドパターンが形成された下面シート22が上部プレート21の貫通孔211の底部を塞ぐように設けられて、下面シート22がウェルの底面として機能するようにしているが、これに限定されず、予め底部が形成されたマイクロプレートに、さらにグリッドパターンを有する透明シートを貼り付けるようにしてもよい。この場合、シートはウェルの内底面、外底面のいずれに貼り付けられてもよい。
【0080】
また、上記実施形態においては、グリッドパターンが形成されたステージ15がホルダ11に対して着脱自在となっているが、ステージ15を取り外し可能とすることは必須の要件ではない。一方、グリッドパターンが形成されたパターン形成体を、撮像装置とは別体の独立した器具として用意し、必要に応じてこれを用いるようにしてもよい。また、グリッドパターンのない透明なステージの上に第3実施形態にかかるグリッドパターンを有するマイクロプレート2を載置して、撮像を行うようにしてもよい。
【0081】
また、例えば、上記実施形態では撮像素子を一次元配列してなるラインセンサをマイクロプレートMに対し相対移動させることで撮像を行っているが、撮像素子を二次元にマトリクス配列したCCDアレイを用いて撮像を行うようにしてもよい。