(58)【調査した分野】(Int.Cl.,DB名)
液体と共に試料を担持する窪部を有する試料容器に対して前記窪部よりも狭い撮像視野を有する撮像部を相対移動させて位置決めする毎に、前記撮像部において前記窪部から出射される光を開口絞りを介して撮像素子で受光して前記試料の部分画像を取得する画像取得工程と、
前記画像取得工程により得られた前記複数の部分画像を合成して前記試料の全体画像を取得する合成工程とを備え、
前記画像取得工程は、前記撮像視野に前記窪部の周縁部が含まれる位置に前記撮像部が位置決めされた周縁撮像状態で前記部分画像を取得する前に、前記開口絞りの位置を前記合成工程に適した最適絞り位置に調整する絞り位置調整工程を有し、
前記絞り位置調整工程では、前記周縁撮像状態で前記試料容器と前記撮像素子との間の光路上で前記開口絞りを互いに異なる複数の位置に移動させて位置決めする毎に前記撮像部により撮像された部分画像の階調値を求め、前記複数の階調値に基づき前記最適絞り位置を決定し、前記開口絞りを前記最適絞り位置に移動させて位置決めすることを特徴とする撮像方法。
【発明を実施するための形態】
【0012】
図1は本発明にかかる撮像装置の一実施形態の概略構成を示す図である。この撮像装置1は、試料容器であるディッシュDの上面に形成された窪部に液体が注入されてなる試料を撮像する装置である。以下、各図における方向を統一的に示すために、
図1に示すようにXYZ直交座標軸を設定する。ここでXY平面が水平面、Z軸が鉛直軸を表す。より詳しくは、(+Z)方向が鉛直上向き方向を表している。
【0013】
ディッシュDは、底面が平坦かつ透明で上向きに開口する、平面視が略円形で浅皿型の容器であり、その直径は例えば数十ミリメートル程度である。ディッシュD内には培地Mとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞あるいは細菌等が培養されて、この撮像装置1の撮像対象となる試料が予め作製されている。培地Mは適宜の試薬が添加されたものでもよく、また液状でディッシュDに注入された後ゲル化するものであってもよい。
【0014】
撮像装置1は、試料を担持するディッシュDの下面周縁部に当接してディッシュDを略水平姿勢に保持するホルダ11と、ホルダ11の上方に配置される照明部12と、ホルダ11の下方に配置される撮像部13と、これら各部の動作を制御するCPU141を有する制御部14とを備えている。
【0015】
照明部12は、ホルダ11により保持されたディッシュDに向けて拡散度の低い照明光、例えば平行光を出射する。また、照明部12の光源としては、例えば白色LED(Light Emitting Diode)用いることができる。照明部12により、ディッシュDに担持された試料が上方から照明される。
【0016】
ホルダ11により保持されたディッシュDの下方に、撮像部13が設けられる。撮像部13では、ディッシュDの直下位置に対物レンズ131が配置されている。対物レンズ131の光軸は鉛直方向(Z方向)に向けられており、対物レンズ131の光軸OAに沿って上から下に向かって順に、開口絞り132、結像レンズ133および撮像デバイス134がさらに設けられている。対物レンズ131、開口絞り132および結像レンズ133は、それぞれの中心が鉛直方向(Z方向)に沿って一列に並ぶように配置されている。なお、この例では撮像部13を構成する各部が鉛直方向に一列に配列されているが、各部間の距離(光路長)が所定の関係を満たす限りにおいて、反射鏡等により光路が折り返されていてもよい。
【0017】
撮像部13は、制御部14に設けられたメカ駆動部146によりXYZ方向に移動可能となっている。具体的には、メカ駆動部146が、CPU141からの制御指令に基づき、撮像部13を構成する対物レンズ131、開口絞り132、結像レンズ133および撮像デバイス134を一体的にX方向およびY方向に移動させることにより、撮像部13がディッシュDに対し水平方向に相対移動する。ディッシュDに対し撮像部13が水平方向における所定位置に位置決めされた状態で、撮像部13によるディッシュD内の試料の撮像が行われる。
【0018】
また、メカ駆動部146は、撮像部13をZ方向に移動させることにより、撮像対象物に対する撮像部のフォーカス合わせを行う。具体的には、撮像対象物たる試料が存在するディッシュDの内底面に対物レンズ131の焦点が合うように、メカ駆動部146が、対物レンズ131、開口絞り132、結像レンズ133および撮像デバイス134を一体的に上下動(Z方向移動)させる。
【0019】
さらに、メカ駆動部146は、対物レンズ131とは独立して、開口絞り132を上下動可能となっている。すなわち、この実施形態では対物レンズ131と開口絞り132とのZ方向距離が可変となっている。その可変範囲Rzは、対物レンズ131の焦点FPのZ方向位置Zfを含み、かつ、それより(−Z)方向、つまり撮像デバイス134に近い側へ広がっている。可変範囲Rzが焦点FPよりも(+Z)方向、つまり対物レンズ131に近い側を含むか否かは任意である。以下では開口絞り132のZ方向位置(絞り位置)を符号Zsにより表す。
【0020】
対物レンズ131に対し開口絞り132が上下動するとき、結像レンズ133および撮像デバイス134も開口絞り132と一体的に上下動する。すなわち、開口絞り132と結像レンズ133との距離、および結像レンズ133と撮像デバイス134との距離はいずれも結像レンズ133の焦点距離に固定されている。したがって、開口絞り132、結像レンズ133および撮像デバイス134によるテレセントリック光学系が、対物レンズ131に対し上下動する。このように開口絞り132を対物レンズ131に対し移動させる理由については後述する。
【0021】
撮像部13により、ディッシュD内の生物試料が撮像される。具体的には、照明部12から出射されディッシュDの上方から培地Mに入射した光が撮像対象物を照明し、ディッシュD底面から下方へ透過した光が対物レンズ131により集光され、開口絞り132、結像レンズ133を介して最終的に撮像デバイス134の受光面に撮像対象物の像が結像し、これが撮像デバイス134の受光素子1341により受光される。受光素子1341は二次元イメージセンサであり、その表面に結像した撮像対象物の二次元画像を電気信号に変換する。受光素子1341としては、例えばCCDセンサまたはCMOSセンサを用いることができる。
【0022】
本実施形態では、ディッシュD内の試料の水平方向(XY方向)の広がり範囲が撮像部13の撮像視野よりも大きいため、メカ駆動部146によりディッシュDに対する観察光学系130の水平方向位置(撮像位置)を多段階に変更しながら、その都度撮像部13が撮像を行うことにより、試料の全体を複数の部分画像に分割して記録する。
【0023】
受光素子1341から出力される画像信号は、制御部14に送られる。すなわち、画像信号は制御部14に設けられたADコンバータ(A/D)143に入力されてデジタル画像データに変換される。CPU141は、受信した画像データに基づき適宜画像処理を実行する。例えば、上記したように複数に分割して撮像された部分画像を合成して、試料全体に対応する合成画像を作成する処理を実行する。
【0024】
制御部14はさらに、画像データを記憶保存するための画像メモリ144と、CPU141が実行すべきプログラムやCPU141により生成されるデータを記憶保存するためのメモリ145とを有しているが、これらは一体のものであってもよい。そして、CPU141は上記プログラムにしたがって装置各部を制御することで周縁撮像状態でディッシュDと撮像デバイス134との間の光路上で開口絞り132を互いに異なる複数の位置に移動させて位置決めする毎に撮像部13により撮像された部分画像の階調値を求め、複数の階調値に基づき最適絞り位置を決定し、開口絞り132を最適絞り位置に移動させて位置決めする。このように、本実施形態では、CPU141は本発明の「階調取得部」、「絞り位置決定部」および「絞り位置調整部」として機能する。なお、その他に、制御部14には、インターフェース(I/F)142が設けられている。インターフェース142は、ユーザーからの操作入力を受け付けたり、ユーザーへの処理結果等の情報提示を行うほか、通信回線を介して接続された外部装置との間でのデータ交換を行う。
【0025】
次に、上記のように構成された撮像装置1の動作について
図2ないし
図5を参照しつつ説明する。
図2は
図1に示す撮像装置による画像作成処理を示すフローチャートである。また、
図3は画像作成処理で実行される撮像処理を示すフローチャートである。この画像作成処理は、CPU141がメモリ145に予め記憶された制御プログラムを実行し、装置各部に所定の動作を行わせることにより実現される。
【0026】
最初に、外部から試料を担持するディッシュDが撮像装置1に搬入され、ホルダ11にセットされる(ステップS1)。次に、インターフェース142を介してユーザーまたは外部のホスト装置から与えられる試料に関する情報を受け付ける(ステップS2)。試料の情報は、例えば、ディッシュDのサイズ、培地Mの種類および注入量、培養される細胞の種類等である。
【0027】
これらの情報および参照テーブルとして予めメモリ145に記憶されている情報とに基づき、CPU141は、撮像位置の割り付けや撮像順序、撮像分解能、照明条件等の組み合わせからなる撮像スケジュールを作成する(ステップS3)。このような撮像スケジュールを作成するのは、次のような考えに基づくものである。すなわち、撮像部13の撮像視野よりも平面サイズの大きい試料を撮像し試料全体に対応する画像を作成するためには、以下の手順(1)〜(3)を実行するのが好適である。つまり、
(1)撮像位置を変更しながら複数回撮像を行い、試料を複数の部分画像に分割して撮像する、
(2)撮像視野にメニスカスが含まれる場合には、撮像時に開口絞り132の位置を調整することで光量低下を抑制する、
(3)撮像後の画像処理により、各部分画像からメニスカスの影響の少ない部分を抽出して合成し、試料全体を表す画像を作成する、
というものである。
【0028】
図4は試料を複数の部分画像に分割する際の分割方法を示す模式図である。同図に示すように、この例ではディッシュDの内部を29枚の部分画像に分割して撮像する。隣接する部分画像の撮像範囲は、画像の欠落、つまりどの部分画像にも含まれない試料の領域が生じるのを防止するために、互いに一部が重複するように配置される。なお、各部分画像の撮像範囲の実際の形状は矩形であるが、
図4では、部分画像の重なりを見やすくするために隅を丸めた矩形として示している。また、部分画像の枚数や配置はディッシュのサイズや形状により適宜変更可能である。
【0029】
実線で示される撮像範囲Rc1(9箇所)は、撮像部13の撮像視野にディッシュDに形成された窪部Daの中央部が含まれる位置に撮像部13が位置決めされた中央撮像状態で撮像部13により撮像された範囲を示している。つまり、撮像範囲Rc1はディッシュDの周縁部よりも十分内側に配置されており、メニスカス(
図1中の符号MS)の影響を考慮する必要がなく、開口絞り132は対物レンズ131の焦点位置に配置される(Zs=Zf)。これらの撮像範囲Rc1をそれぞれ撮像することで、試料の中央部分の画像情報を含む部分画像(以下「中央部分画像」という)が得られる。
【0030】
点線で示される撮像範囲Rc2(16箇所)は、撮像範囲Rc1の周りを囲むように配置され、それぞれディッシュDに形成される窪部の周縁部の一部を含む。これらの撮像範囲Rc2の撮像時には、メニスカスMSの影響の大きさに応じた絞り位置調整がなされる。ただし、ディッシュD内で生じるメニスカスMSの形状および当該メニスカスMSにより偏る照明光の主光線の傾きを予測し、メニスカスMSによる影響を抑えて上記合成処理に適した部分画像を得るために絞り位置(以下「最適絞り位置」という)を予め設定することは難しい。そこで、本実施形態では、画像取得処理(ステップS4)において撮像範囲Rc2について部分画像を撮像するために撮像部13を周縁撮像位置(ディッシュD周縁部の直下位置)に位置決めしたときには、部分画像を撮像する前に絞り位置Zsを多段階に変更して最適絞り位置を求め、開口絞り32の位置調整を柔軟に行っている。なお、破線で示される撮像範囲Rc3(4箇所)は、画像品質向上のために補助的に撮像される部分画像の範囲である。ディッシュD中央部分に設定される撮像範囲Rc1にはメニスカスの影響は現れないが、例えば撮像部13において対物レンズ131、開口絞り132や結像レンズ133によるケラレや収差等により、部分画像の周縁部において画像品質が低下する場合がある。より画像品質の良好な撮像範囲の中央部分の画像情報を利用するために、ディッシュD中央部の撮像範囲Rc1間の境界部分を覆うように撮像範囲Rc3が設定される。撮像範囲Rc3の撮像時にも、開口絞り132は対物レンズ131の焦点位置に配置される。
【0031】
図2に戻って説明を続ける。撮像スケジュールの作成が完了する(ステップS3)と、当該撮像スケジュールに基づき、撮像位置、絞り位置等を順次変更設定しながら撮像部13が複数回撮像を実行し、これにより複数枚の部分画像が取得される(ステップS4:画像取得処理)。以下、
図3ないし
図5を参照しつつ画像取得処理(ステップS4)について詳述する。
【0032】
この画像取得処理においては、ディッシュDに対して撮像部13を位置決めして撮像する回数を示すカウント値mを初期化した(ステップS401)後で、最大カウント値mmaxだけ部分画像の取得(ステップS402〜S414)を繰り返す。なお、本実施形態では、撮像範囲を29個に区画しているため、最大カウント値mmaxは「29」に設定されている。
【0033】
次に、カウント値mに応じた撮像位置P(m)に撮像部13を移動して位置決めする(ステップS402)。ここで、撮像位置P(m)には大きく分けてメニスカスの影響を受けないものと、メニスカスの影響を受けるものとの2種類が存在する。すなわち、メニスカスの影響を受けない撮像範囲Rc1、Rc3を撮像する際には、ディッシュD中央部の直下位置(以下「中央撮像位置」という)に撮像部13を移動して位置決めする。一方、メニスカスの影響を受ける撮像範囲Rc2を撮像する際には、ディッシュD周縁部の直下位置、つまり周縁撮像位置に撮像部13を移動して位置決めする。
【0034】
そこで、本実施形態では、撮像位置P(m)が中央撮像位置であると判定した(ステップS403で「NO」)ときには、開口絞り132を一般的な位置、つまり対物レンズ131の焦点FPに対応する位置(すなわち、Zs=Zf)に位置させる(ステップS403)。一方、撮像位置P(m)が周縁撮像位置であると判定した(ステップS403で「YES」)ときには、開口絞り132をZ方向に多段階に位置決めする毎に撮像範囲Rc2を撮像して上記合成処理に適した部分画像を得ることができる開口絞り132の位置、つまり最適絞り位置を決定し、最適絞り位置に開口絞り132を位置させる(ステップS405〜S411)。より詳しくは、以下の動作が実行される。
【0035】
ステップS405では、位置決め・撮像動作(撮像部13を周縁撮像位置に位置させたまま開口絞り132を結像レンズ133および撮像デバイス134とともにZ方向に移動して位置決めして撮像する動作)の回数を示すカウント値nを初期化する。そして、最大カウント値nmaxだけステップS406〜409を繰り返す。この点について、
図5を参照しつつ説明する。
【0036】
図5は撮像部を周縁撮像位置に位置させた周縁撮像状態で撮像される試料の部分画像および部分画像を構成する画素の階調特性を模式的に示す図である。同図中の(a)では、周縁撮像状態で撮像されたディッシュD周縁部の画像IDと、試料の周縁部の画像ISとが図示されている。また、符号PX(0,0)は試料の部分画像を構成する画素の一つを示しており、当該画素PX(0,0)の階調値が(b)〜(d)中の階調値V(0,0)である。さらに、同図中の(b)〜(d)は画素PX(0,0)からX方向に進んだ画素の階調値をプロットしたものであり、それぞれ「カウント値n=1」、「カウント値n=2」、「カウント値n=nmax」での階調値の変化を模式的に示している。なお、階調値がX方向に進むにしたがって小さくなっているのはメニスカス(
図1中の符号MS)による影響であり、次に説明するように階調特性の変化は開口絞り132の位置の変化に伴うものである。
【0037】
ステップS406でカウント値nに応じた絞り位置Zs(n)に開口絞り132を位置させる。本実施形態では、
図5に示すように、カウント値n=1では開口絞り132を対物レンズ131の焦点FPに対応する位置(すなわち、Zs(1)=Zf)に位置させている。また、
図1に示すように下に凸のメニスカスが形成されていることからカウント値nが進むにしたがって、開口絞り132を対物レンズ131の焦点FPよりも撮像デバイス134に近い側、つまり(−Z)側に位置決めしている。つまり、可変範囲Rz内で
Zs(1)<Zs(2)<…<Zs(nmax−1)<Zs(nmax)
が満足されるように開口絞り132が位置決めされる。こうして、物体側ハイパーセントリック特性を有する光学系を形成している。
【0038】
そして、開口絞り132の位置決め後に撮像部13により試料を撮像して例えば
図5(a)に示すような部分画像を取得し、画像メモリ144に記憶する。また、当該部分画像の階調値V(x、y)を取得する(ステップS407)。それに続いて、それらの階調値V(x、y)の平均値、つまり平均階調値Vav(n)を導出し、そのときの絞り位置Zs(n)と関連付けてメモリ145に記憶する(ステップS405)。その後でカウント値nが最大カウント値nmaxを超えているか否かを判定し(ステップS409)、このステップS409で「NO」と判定している間、カウント値nを「1」だけインクリメントした(ステップS410)後でステップS406に戻って上記処理(ステップS406〜S408)を繰り返す。一方、所定回数nmaxだけ上記処理(ステップS406〜S408)が繰り返されて平均階調値Vav(1)、Vav(2)、…、Vav(nmax)が取得されたことを確認する(ステップS409で「YES」と判定する)と、それらの平均階調値Vav(1)、Vav(2)、…、Vav(nmax)に基づいて最適絞り位置を決定し、その最適絞り位置に開口絞り132を位置決めする(ステップS411)。より具体的には、本実施形態では撮像部13を中央撮像位置に位置決めした中央撮像状態で撮像部13により撮像された部分画像の平均階調値Vctを記憶しておき、
図5(b)〜(d)に示すように平均階調値Vctと平均階調値Vav(n)との差D(n)が最も小さいときの絞り位置Zsを最適絞絞り位置として決定している。
【0039】
上記のようにして開口絞り132の位置決めが完了すると、撮像部13により部分画像を撮像し、画像メモリ144に記憶する(ステップS412)。その後でカウント値mが最大カウント値mmaxを超えているか否かを判定し(ステップS413)、このステップS413で「NO」と判定している間、カウント値mを「1」だけインクリメントした(ステップS414)後でステップS402に戻って上記処理(ステップS402〜S413)を繰り返す。一方、所定回数mmaxだけ上記処理(ステップS402〜S413)が繰り返されて全ての撮像範囲Rc1、Rc2、Rc3について部分画像が撮像されると、画像取得処理を終了し、次のステップS5に進む。
【0040】
こうして得られた複数の部分画像に基づき、CPU141が画像処理を行うことにより、試料の全体像に対応する画像が作成される。具体的には、
図2に示すように各部分画像から有効領域に対応する部分画像が抽出され(ステップS5)、それらを合成した合成画像が作成される(ステップS6:合成工程)。ただし、得られた合成画像では、異なる部分画像から抽出された部分画像の継ぎ目において画像要素の連続性が損なわれていることがある。そこで、スムージング処理によって継ぎ目の不連続性が解消される(ステップS7)。そして、こうして作成された合成画像が画像メモリ144に保存されるともに、出力画像として外部装置に出力される(ステップS8)。
【0041】
以上のように、本実施形態によれば、作成された出力画像では、メニスカスの影響による周縁部での光量低下が最適絞り位置への開口絞り132の位置調整によって補正されており、上記した画像作成処理によって、ディッシュD内の全体において光量ムラの少ない画像が得られる。
【0042】
また、最適絞り位置を導出するために周縁撮像状態でディッシュDと撮像デバイス134との間の光路上で開口絞り132を互いに異なる複数の絞り位置Zs(n)に移動させて位置決めする毎に撮像部13により撮像された部分画像の平均階調値Vav(n)を求め、それらに基づき最適絞り位置を決定している。このため、ディッシュD、培養液の種類や液量に応じてメニスカスMSの影響の現れ方は相互に異なったとしても、それに応じた最適絞り位置に開口絞り132を位置させることができる。その結果、使用するディッシュD、培養液の種類や液量に応じてメニスカスの影響が相違したとしても、明るさのムラを抑えて良好な画像を取得することができる。
【0043】
以上説明したように、この実施形態においては、ディッシュDが本発明の「試料容器」の一例に相当しており、撮像デバイス134が本発明の「撮像素子」として機能している。また、メカ駆動部146が本発明の「位置決め機構」および「絞り移動機構」としての機能を有している。また、画像取得処理(ステップS4)が本発明の「画像取得工程」の一例に相当し、画像取得処理のステップS405〜S411で実行される一連の工程が本発明の「絞り位置調整工程」の一例に相当している。
【0044】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、差D(n)が最も小さいときの絞り位置Zsを最適絞絞り位置として決定しているが、平均階調値Vav(n)が最も高いときの絞り位置Zsを最適絞絞り位置として決定してもよい。
【0045】
また、上記実施形態では、最適絞り位置の決定のために平均階調値Vav(n)を本発明の「階調値」として用いているが、例えば積算階調値を用いてもよい。また、試料の周縁部の画像ISの階調値のみに基づいて平均階調値や積算階調値などを用いてもよい。
【0046】
また、上記実施形態の撮像部13では、二次元イメージセンサである受光素子1341を用いて撮像を行っているが、一方向に延びるリニアイメージセンサをこれと直交する方向に走査移動させて二次元画像の撮像を行う撮像部を用いても、上記と同様の効果を得ることが可能である。
【0047】
また、上記実施形態の撮像装置1は、ホルダ11に保持されたディッシュDに対し撮像部13を移動させる構成であるが、撮像部13を固定してディッシュDを移動させるようにしても技術的には等価である。また、フォーカス合わせの方法についても、上記のように撮像部13全体を上下動させる構成に代えて、例えば複数のレンズからなる光学系のレンズ間距離を調整するものを適用してもよい。