(58)【調査した分野】(Int.Cl.,DB名)
前記画像補正部は、一の画像における第1の特徴点の位置と、他の画像における前記第1の特徴点に対応する第2の特徴点の位置との差から画像間の位置ずれを識別し、その位置ずれを補正した画像を生成することを特徴とする請求項1に記載の撮像装置。
前記画像処理部は、三以上の異なる時点の画像を用い、各画像間の差分により導出した画像における細胞の浮遊領域候補を各差分間で追跡、積算することにより細胞の浮遊状態を判別することを特徴とする請求項1〜請求項3のいずれか1項に記載の撮像装置。
前記加振部が加振動作パラメータを調整可能に構成され、前記加振動作パラメータを用いて得られた前記画像処理部の前回の判別結果に基づき今回の前記加振動作パラメータを調整することを特徴とする請求項1〜請求項7のいずれか1項に記載の撮像装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載された識別装置は培養容器内で対流を発生させるために培養容器を載置したステージを移動させているので、ステージを移動させるための機械要素間にバックラッシュ等が発生する可能性がある。これにより、ステージの移動の前後で同一位置において画像を撮像しても位置がずれる虞があり、付着状態の細胞を浮遊状態であると誤って判別することが懸念される。さらに、この識別装置は接着(付着)している細胞の位置がずれない程度の物理的振動を与えることを前提としており、ステージの移動の前後で撮像した2枚の画像に位置ずれが発生する可能性があることについて考慮されていない。
【0007】
また、特許文献2に記載された細胞剥離判断方法は加振台に載置された培養容器を加振台ごと振動させているが、培養容器自体の製造時に生じる寸法誤差や加振台の培養容器取り付け箇所に生じるクリアランスなどに起因して培養容器が意図せず移動する虞がある。これにより、撮像した2枚の画像に位置ずれが発生する可能性があり、付着状態の細胞を浮遊状態であると誤って判別することが懸念される。そして、この細胞剥離判断方法では2枚の画像の位置ずれについて考慮されていないので、培養液中の細胞の浮遊状態、付着状態を適切に判別できない可能性が高い。
【0008】
一方、培養液中の細胞の浮遊状態、付着状態に関して、細胞に粘性があり、細胞の一部が培養容器に付着し、別の一部が培養液中を浮遊しているような状態も存在する。このような局部的に付着している状態は、特許文献1及び2では細胞が培養容器に完全に付着している状態と区別することができない可能性が高い。したがって、特許文献1及び2では細胞が培養容器に局部的に付着している状態が培養容器に完全に付着している状態として誤って判別される虞がある。
【0009】
本発明は上記の点に鑑みなされたものであり、複数の異なる時点の画像を用いて培養容器内における培養液中の細胞の浮遊状態、付着状態を精度よく判別することが可能な撮像装置を提供することを目的とする。また、培養容器に局部的に付着している細胞を浮遊細胞として明確に判別することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するため、本発明の撮像装置は、細胞と培養液とが入った容器を把持する容器把持部と、前記容器把持部が設けられた揺動部と、前記揺動部に振動を与える加振部と、前記容器内の細胞を画像として撮像する撮像部と、前記撮像部が撮像した少なくとも一の振動中の画像を含む複数の撮像場所の画像を用いて、撮像場所が異なることにより生じる画像間の位置ずれを補正する画像補正部と、前記撮像部が撮像した画像と前記画像補正部が補正した画像とを用いて細胞の浮遊状態または付着状態を判別する画像処理部と、を備える。
【0011】
なお、加振部が振動させているので、異なる時点において撮像部が撮像する撮像場所は振動の周期と同期しない限り一般に異なることとなる。画像補正部はそれら異なる時点の画像における各々の撮像場所が一般に異なることから、その異なることに依存した細胞等の撮像対象物などの位置ずれを補正するものである。
【0012】
この構成によれば、振動中の画像を含む複数の異なる時点の画像を用いて画像間の位置ずれを補正するので、付着状態の細胞を浮遊状態であると誤って判別することが防止される。さらに、細胞が培養容器に局部的に付着している状態と培養容器に完全に付着している状態とが区別される。
【0013】
また、上記構成の撮像装置において、前記画像補正部は、一の画像における第1の特徴点の位置と、他の画像における前記第1の特徴点に対応する第2の特徴点の位置との差から画像間の位置ずれを識別し、その位置ずれを補正した画像を生成しても良い。なお、以下「特徴点」とは、例えばエッジ検出などの結果として安定的に検出可能な画像上の特徴的な点であり、例えば画像上の細胞を意味する。また、画像を複数のブロックに分割した場合の特徴的なブロックを特徴点としても良い。
【0014】
この構成によれば、付着状態にある細胞のその付着位置が明確になるので、浮遊状態にある細胞の移動状況が把握し易くなる。
【0015】
また、上記構成の撮像装置において、前記画像補正部は、二の画像間で対応する二の特徴点の位置に基づき平行移動、回転移動の画像変換を行っても良い。
【0016】
この構成によれば、画像変換のための画像の移動方法を適宜変更することにより、画像間の位置ずれ補正を効率よく行うことができる。
【0017】
また、上記構成の撮像装置において、前記画像処理部は、三以上の異なる時点の画像を用い、各画像間の差分により導出した画像における細胞の浮遊領域候補を各差分間で追跡、積算することにより細胞の浮遊状態を判別しても良い。
【0018】
この構成によれば、連続する各画像間で細胞の浮遊状態が把握できるので、複数の異なる時点の画像間において細胞が常に移動していない場合でも細胞の浮遊状態が識別される。
【0019】
また、上記構成の撮像装置において、前記揺動部は、弾性体によって支持されていても良い。なお、揺動部と弾性体との間に他の部材が介在してもよい。
【0020】
この構成によれば、弾性体の弾性変形を利用できるので、培養容器内の浮遊状態にある細胞の移動量が比較的大きくなるのを期待でき、細胞の浮遊状態、付着状態を判別し易くなる。
【0021】
また、上記構成の撮像装置において、前記加振部は、前記揺動部に接合され、前記弾性体の変位より小さい振幅で振動させても良い。
【0022】
この構成によれば、加振部が揺動部と一緒に振動するので、例えば装置全体が振動する撮像装置を構成することができる。これにより、培養容器と撮像部との間の相対的な変位を抑制でき、異なる時点の画像間の位置ずれを防止する作用がより高められる。
【0023】
また、上記構成の撮像装置において、ホルダにて支持された前記容器把持部を水平方向に移動させるステージ部を備え、前記加振部は、前記揺動部と前記ホルダとの間に存在する支点によって前記揺動部を振動させても良い。なお、「揺動部とホルダとの間」には「揺動部自体」及び「ホルダ自体」も含むものとする。すなわち、支点は揺動部自体またはホルダ自体または揺動部とホルダとの間に存在する。
【0024】
この構成によれば、容器把持部が設けられた揺動部のみを振動させるので、比較的小さな駆動力の加振部を用いて培養容器内の培養液を揺らすことができる。
【0025】
また、上記構成の撮像装置において、前記撮像部は、前記揺動部に設けられることにしても良い。
【0026】
この構成によれば、容器把持部と撮像部とが一緒に揺動部に設けられていることになるので、容器把持部と撮像部とに対して同時に、同じ振動を与えることができる。これにより、培養容器と撮像部との間の相対的な変位を抑制でき、異なる時点の画像間の位置ずれを防止する作用がより高められる。
【0027】
また、上記構成の撮像装置において、前記加振部が加振動作パラメータを調整可能に構成され、前記加振動作パラメータを用いて得られた前記画像処理部の前回の判別結果に基づき今回の前記加振動作パラメータを調整しても良い。
【0028】
培養容器に局部的に付着している細胞の振動具合は加振部の加振動作パラメータの影響を受けると考えられるので、この構成によれば、培養容器に局部的に付着している細胞を浮遊細胞として明確に判別するのに好適な振動状況が得られる。
【発明の効果】
【0029】
本発明の構成によれば、複数の異なる時点の画像を用いて培養容器内における培養液中の細胞の浮遊状態、付着状態を精度よく判別することが可能な撮像装置を提供することができる。また、培養容器に局部的に付着している細胞を浮遊細胞として明確に判別することが可能な撮像装置を提供することができる。
【発明を実施するための形態】
【0031】
以下、本発明の実施形態を
図1〜
図21に基づき説明する。
【0032】
(第1の実施形態)
最初に、本発明の第1の実施形態に係る撮像装置について、
図1〜
図4を用いてその構造を説明する。
図1は撮像装置の垂直断面側面図、
図2は撮像装置の構成を示すブロック図、
図3は撮像装置の斜視図、
図4は撮像装置の斜視図にして、ステージ部が前方に移動した状態を示すものである。なお、
図3では培養容器の描画を省略している。また、以下の説明において、
図3のx軸方向を左右方向、y軸方向を前後方向(+y方向を前方、−y方向を後方)、z軸方向を上下方向とする。
【0033】
撮像装置1は、
図1〜
図3に示すようにその筐体である本体2に撮像部10、照明部20、ステージ部30、及び駆動部40を備えている。撮像装置1はその正面中央部に配置された培養容器S内の細胞の撮像部10及び照明部20を用いた撮像が可能で、駆動部40によって培養容器Sを把持するステージ部30を前後、左右の所望の方向、位置に移動させることができる。なお、本体2は床面に対して四箇所に設けられた脚部6によって支持されている。
【0034】
撮像部10は本体2の下部に設けられ、対物レンズ11、反射ミラー12、ズームレンズ13、及びCCDカメラ14を備えている。対物レンズ11は培養容器Sを把持するステージ部30のすぐ下方に配置され、上方に向かって撮像可能にして設けられている。反射ミラー12は対物レンズ11の下方に配置され、後方に向かって略水平に光を反射するよう傾斜させて設けられている。反射ミラー12は対物レンズ11から得られた像を後方のズームレンズ13に導く。
【0035】
ズームレンズ13は反射ミラー12の後方に配置され、前後方向に延びる形で設けられている。ズームレンズ13は対物レンズ11から得られた像を拡大する。CCDカメラ14はズームレンズ13のさらに後方に配置され、対物レンズ11、反射ミラー12、及びズームレンズ13を経て得られる像がその撮像素子面で結像する。このような構成により、撮像部10は培養容器S内の細胞を画像として撮像する。
【0036】
照明部20は本体2の上部に設けられ、LED21、及び反射ミラー22を備えている。LED21は照明部20の下方に位置するステージ部30の撮像対象である培養容器Sを照らす光を発する。反射ミラー22は対物レンズ11の鉛直上方に配置され、LED21が照射した光が培養容器S及び対物レンズ11に到達するよう反射させる。
【0037】
ステージ部30は本体2の正面中央部であって、下方の撮像部10と上方の照明部20とに挟まれた形で設けられている。ステージ部30は撮像対象である細胞と細胞の培養液とが入った培養容器Sを把持している。ステージ部30の詳細な構成は後述する。
【0038】
駆動部40はステージ部30の後方及び側方に設けられ、x軸駆動機構41、x軸モータ42、y軸駆動機構43、y軸モータ44、z軸モータ45、及びズームモータ46を備えている。なお、
図3に示すように撮像装置1に対して左右方向をx軸と、前後方向をy軸と、上下方向をz軸として説明する。
【0039】
x軸駆動機構41はステージ部30のすぐ後方に配置されるとともにステージ部30を直接支持している。x軸駆動機構41は図示しないベルト、プーリ、スライドガイド部材、シャフト等を備えてx軸モータ42によって駆動され、ステージ部30を左右方向に移動させる。y軸駆動機構43はステージ部30及び本体2の側面の箇所に配置され、x軸駆動機構41を支持している。y軸駆動機構43は図示しないベルト、プーリ、スライドガイド部材等を備えてy軸モータ44によって駆動され、x軸駆動機構41とともにステージ部30を前後方向に移動させる(
図4参照)。
【0040】
z軸モータ45及びズームモータ46はステージ部30後方の本体2内に配置されている。z軸モータ45は撮像部10を上下方向に移動させるためのモータである。ズームモータ46はズームレンズ13の拡大倍率の変更させるためのモータであり、撮像する画像の倍率変更が可能である。
【0041】
また、撮像装置1は装置全体の動作制御のため、
図2に示すようにその内部に制御部3を備えている。制御部3は一般的なマイコンやその他の電子部品によって構成され、このマイコン内部等に記憶、入力されたプログラム、データに基づいて撮像装置1に係る一連の動作を制御する。また、制御部3は撮像部10によって撮像された画像の補正や処理を行う画像補正部4及び画像処理部5を備えている。画像補正部4及び画像処理部5による画像の補正や処理の詳細は後述する。
【0042】
続いて、ステージ部30の詳細な構成について、
図3に加えて、
図5及び
図6を用いて説明する。
図5はステージ部30の斜視図、
図6はステージ部30の上面図である。
【0043】
ステージ部30は
図5及び
図6に示すようにホルダ31、容器把持部32、取り付けネジ33、ゴム34、容器押さえ35、及び加振部50を備えている。
【0044】
ホルダ31は略垂直に延びる支持部31aの箇所をx軸駆動機構41(
図3参照)によって支持され、支持部31a下部が前方に向かって水平に延びる側方から見てL字形状をなしている。容器把持部32はホルダ31の前方に取り付けネジ33によって取り付けられている。なお、取り付けネジ33の締め付け箇所であってホルダ31との間には弾性体であるゴム34は設けられている。すなわち、容器把持部32はゴム34を介してホルダ31に支持されている。容器把持部32は水平をなし、その上面に細胞と細胞の培養液とが入った培養容器S等を載置することができる。培養容器Sは板ばね形状をなす容器押さえ35によって容易に移動しないよう押さえられている。
【0045】
加振部50は容器把持部32の側方に位置し、ホルダ31に取り付けられている。加振部50はベース51、レバー52、支軸53、接触片54、モータ55、偏心カム56、レバー引張バネ57、及び把持部引張バネ58を備えている。
【0046】
ベース51は容器把持部32の側方の近接する箇所において、ホルダ31から前方に向かって延びる形でホルダ31に固定されている。レバー52は前後方向に向かって延び、支軸53でベース51に支持されている。レバー52は支軸53を中心として水平面内で回転可能にして支持されている。
【0047】
接触片54はレバー52の支軸53より前方の箇所に設けられている。接触片54はレバー52に前後方向に向かって延びる形で設けられた長穴52aに対して取り付けられ、この長穴52aに沿って前後方向に取り付け箇所の変更が可能である。また、接触片54はローラ形状をなし、その周面である側面が容器把持部32の側壁32aに接触する。
【0048】
モータ55及び偏心カム56はレバー52の支軸53を隔てて接触片54が設けられた側と反対側の端部、すなわちレバー52のホルダ31側の端部近傍に設けられている。モータ55は回転軸線が垂直をなし、その最下部に偏心カム56が回転可能に取り付けられている。偏心カム56はその回転面が水平をなし、そのカム形状を有する周面である側面がレバー52に接触する。これにより、モータ55を駆動させて偏心カム56を回転させると、レバー52が支軸53を中心としてその前方、すなわち接触片54を左右に変位させるように揺動する。
【0049】
なお、レバー引張バネ57がレバー52の支軸53より偏心カム56側の箇所にベース51との間に設けられている。レバー52を偏心カム56に押し付けるようにレバー引張バネ57の弾性力が作用しているので、レバー52は常に偏心カム56のカム形状に連動して揺動する。
【0050】
モータ55の駆動によりレバー52が偏心カム56のカム形状に連動して揺動すると接触片54も揺動し、接触片54に接触する容器把持部32が接触片54よって左右方向に押されることとなる。その結果、容器把持部32は取り付けネジ33を用いてゴム34を介してホルダ31に支持されているので、ゴム34が弾性変形し、容器把持部32が左右に揺動する。すなわち、ゴム34の弾性変形を利用できるので、培養容器S内の浮遊状態にある細胞の移動量が比較的大きくなるのを期待でき、細胞の浮遊状態、付着状態を判別し易くなる。
【0051】
このようにして、容器把持部32は加振部50によって左右に揺動する揺動部60となり、加振部50は揺動部60に振動を与えるように動作する。すなわち、加振部50は揺動部60とホルダ31との間の取り付けネジ33の箇所に存在する支点によって揺動部60を振動させる。これにより、容器把持部32が設けられた揺動部60のみを振動させるので、比較的小さな駆動力の加振部50を用いて培養容器S内の培養液を揺らすことができる。
【0052】
なお、把持部引張バネ58が容器把持部32とベース51との間で設けられ、容器把持部32を接触片54に押し付けるように弾性力が作用しているので、揺動部60である容器把持部32は常に偏心カム56のカム形状に連動して揺動する。
【0053】
また、接触片54の取り付け位置を長穴52aに沿って前後方向に変更することにより接触片54と容器把持部32との接触位置が変更できるので、容器把持部32の振幅が変更可能である。このようにして、加振部50は加振動作パラメータのひとつである容器把持部32の振幅の調整が可能である。また、加振動作パラメータの他の例として、モータ55の回転周波数などが挙げられる。
【0054】
続いて、撮像装置1による培養容器S内の細胞の浮遊状態、付着状態の判別に係る動作について、
図2を用いて、
図7に示すフローに沿って説明する。
図7は撮像装置1による細胞の浮遊状態、付着状態の判別に係る動作を示すフローチャートである。
【0055】
なお、
図7に示す動作フローは本願発明の撮像装置1を例えば培養装置に組み込んだ場合を想定し、「培養作業」のステップを含んでいる。「培養作業」には人による手作業を含む場合がある。
【0056】
撮像装置1において培養容器S内の細胞の浮遊状態、付着状態の判別に係る動作をスタート(
図7のスタート)させると、制御部3は撮像部10及び照明部20を制御し、まず培養容器S内の細胞の画像を撮像する(ステップ#101)。
【0057】
次に、制御部3は加振部50を制御して揺動部60である容器把持部32に振動を与え、培養容器S内の細胞を揺動させる(ステップ#102)。そして、制御部3は振動中の培養容器S内の細胞の画像を撮像する(ステップ#103)。
【0058】
ここで、制御部3は画像補正部4に画像補正を実行させる(ステップ#104)。すなわち、画像補正部4はステップ#101で撮像した静止中の細胞の画像とステップ#103で撮像した振動中の細胞の画像との異なる時点の画像を用いて、画像間の位置ずれを補正する。これにより、静止中の細胞を撮像した画像が補正されるので、付着状態の細胞を浮遊状態であると誤って判別することが防止される。
【0059】
そして、制御部3は画像処理部5に細胞の浮遊状態、付着状態を判別させる(ステップ#105)。すなわち、画像処理部5はステップ#103で撮像部10が撮像した振動中の細胞の画像とステップ#104で画像補正部4が補正した静止中の細胞の画像とを用いて細胞の浮遊状態、付着状態の判別する。
【0060】
ここで、本発明の撮像装置1を例えば培養装置に組み込んだ場合、上記のような細胞の浮遊状態、付着状態の判別の結果として、予め設定した標準値に対する浮遊細胞数の多寡を評価する。その評価結果に応じて、細胞の浮遊状態、付着状態の判別が完了していないと判断された場合(ステップ#105のNo)、例えば必要な培養作業を加えたり、培養作業におけるパラメータを調整したりする(ステップ#106)。
【0061】
ステップ#106の具体的な培養作業としては、例えば死細胞除去のための洗浄操作や培地交換、付着作業を剥離して回収する継代操作などがある。培養作業におけるパラメータ調整については、例えば洗浄操作の洗浄時間や洗浄回数を増加したり、剥離剤添加後の反応時間や反応後の培養容器タッピング回数を増加したりするなどの調整を行う。
【0062】
そして、ステップ#106の培養作業後、再度ステップ#101に戻ってステップ#101〜#105の処理を経て評価を行い、細胞の浮遊状態、付着状態の判別の良否を判断する。
【0063】
ステップ#105において細胞の浮遊状態、付着状態の判別が完了した場合(ステップ#105のYes)、細胞の浮遊状態、付着状態の判別に係る動作を終了する(
図7のエンド)。
【0064】
続いて、細胞の浮遊状態、付着状態の判別に係る動作に関して、
図7のステップ#104で画像補正部4が実行する画像補正について、
図8〜
図12を用いて説明する。
図8は撮像装置1で撮像した異なる時点の画像の例を示す説明図、
図9は
図8の画像の補正方法の第一例を示す説明図、
図10は
図8の画像の類似度判別方法(ブロックマッチング)を示す説明図、
図11は撮像装置1で撮像した異なる時点の画像の差分を示す説明図、
図12は
図8の画像の補正方法の第二例(オプティカルフロー)を示す説明図である。
【0065】
図8は撮像装置1で撮像した異なる時点の画像の例として、培養容器Sが静止中の時刻t1の画像と、振動中の時刻t2の画像とを示している。2つの画像中の丸印及び四角印は細胞を示している。なお、これらは2つの画像間において位置ずれが生じたことを想定して描画しているので、浮遊状態、付着状態にかかわらずすべての細胞が画像中で移動しているように見える。画像間に位置ずれが生じなかった場合、付着状態にある細胞は画像間で移動しないことになる。
【0066】
一方で、加振部50が振動させているので、異なる時点において撮像部10が撮像する場所は振動の周期と同期しない限り一般に異なることとなる。さらに、たとえ振動と同期させて撮像したとしても、構造上のクリアランスやバックラッシ等により、完全に撮像場所を一致させることは困難である。このため、
図8に示す時刻t1の画像と時刻t2の画像とは浮遊状態、付着状態にかかわらずすべての細胞が画像中で移動しているように見える。画像補正部4はそれら異なる時点の画像における各々の撮像場所が一般に異なることから、その異なることに依存した細胞等の撮像対象物などの位置ずれを補正するものである。
【0067】
よって、「位置ずれ」には、加振部50の振動によって撮像場所が異なることによる撮像対象物の位置ずれ(付着細胞の位置ずれとして観測される)と、浮遊細胞の振動結果による位置ずれと、の2種類がある。
【0068】
そして、画像補正部4は、
図9に示すように時刻t2の画像を基準として時刻t1の画像を変換し、位置ずれを補正した時刻t1’の画像を生成する。これに関して、画像補正部4は時刻t1の画像における特徴点(細胞)の位置と、この特徴点(細胞)に対応する時刻t2の画像における特徴点(細胞)の位置との差から画像間の位置ずれを識別し、その位置ずれを補正した画像を生成する。また、画像補正部4は2つの画像間で対応する各々の特徴点(細胞)の位置に基づき平行移動、回転移動の画像変換を行う。
【0069】
このような画像補正方法の具体的な例として、ブロックマッチングの手法を第一例に掲げ、
図10を用いて説明する。時刻t2の画像を基準として時刻t1の画像を変換して位置ずれを補正した時刻t1’の画像を生成する際、画像補正部4はまず時刻t1及び時刻t2の画像を各々ブロック分割する。各ブロックは、例えば縦100ピクセル×横100ピクセルといった複数の画素を含んでいる。
【0070】
そして、画像補正部4は時刻t1の画像のあるブロックについて着目してヒストグラムを算出する。ヒストグラムは、例えば横軸の階級を画素の明るさとし、縦軸の度数を画素数としている。続いて、画像補正部4は時刻t2の画像の同じ位置及びその周辺のブロックのヒストグラムを算出し、時刻t1の画像のヒストグラムとの類似度を判別する。画像補正部4は2つのヒストグラムを比較してそれらの類似度を判断する。
【0071】
引き続き、画像補正部4は少しずつブロックをずらしながら、時刻t1及びt2の画像中のすべてのブロックの各々のヒストグラムの比較を繰り返す。このとき、画像補正部4はブロックや画像を平行移動、或いは回転移動させながらヒストグラムの比較を繰り返す。また、ブロックの大きさは当初比較的大まかに設定し、段階的に小さくしながらヒストグラムの比較を繰り返すことにより類似度の判別の精度を高めても良い。そして、時刻t2の画像を基準として最も相関が高いと判断される時刻t1の画像の位置を算出し、その位置情報として平行移動及び回転移動の各移動量の情報を得る。
【0072】
これにより、画像補正部4は平行移動量及び回転移動量の情報に基づいて時刻t1の画像を変換して位置ずれを補正し、
図9右側の時刻t1’の画像を生成する。時刻t1’の画像では時刻t1の画像に対して細胞が全体的に移動しているが、細胞間の相対位置は変化していないことがわかる。
【0073】
そして、時刻t1’の画像と時刻t2の画像との差分をとれば、
図11に示すように浮遊状態にある細胞を判別することができる。
【0074】
また、時刻t2の画像を基準として時刻t1の画像を変換し、位置ずれを補正した時刻t1’の画像を生成する画像補正方法の具体的な例として、オプティカルフロー(optical flow)の手法を第二例に掲げ、
図12を用いて説明する。この場合、画像補正部4はまず時刻t1及び時刻t2の各々の画像を用いて特徴点フローを算出する。なお、以下の説明において、フローチャートの「フロー」との混同を避けるため、オプティカルフローによるフローを「flow」と表記することがある。
【0075】
そして、画像補正部4はすべての細胞に対して大勢を占めるflowを算出し、これを付着細胞のflowとみなす。付着細胞は時刻t1及び時刻t2の画像間で移動しないので、付着細胞のflowが振動分(位置ずれ)と判別される。これにより、画像補正部4は時刻t1の画像を振動分だけ移動して補正し、
図12下端の時刻t1’の画像を生成する。ブロックマッチングの場合の
図9同様、時刻t1’の画像では時刻t1の画像に対して細胞が全体的に移動しているが、細胞間の相対位置は変化していない。さらに、時刻t1’の画像と時刻t2の画像との差分をとれば、
図11に示すように浮遊状態にある細胞を判別することができる。
【0076】
なお、flowの算出処理において、大きく外れたflowを例えばM推定で除外して平均flowを算出し、これにより一旦補正画像を生成しても良い。そして、この補正画像と時刻t2の画像とを用いてflowを算出する。さらに引き続き補正画像の生成と、補正画像と時刻t2の画像とを用いたflow算出とを繰り返すことにより補正の精度を高めても良い。
【0077】
また、flowの算出処理においても、一旦ブロック毎に平均化した画像を生成してその画像についてのflow算出を行い、ブロックの大きさを段階的に小さくしながらflow算出を繰り返すことにより処理を高速化しつつ補正の精度を高めても良い。
【0078】
また、時刻t1の画像を基準として時刻t2の画像を補正(変換)し、新たに作成した時刻t2’の画像と時刻t1の画像とを用いて浮遊細胞を判別しても良い。
【0079】
これらの画像補正部4の処理により、付着状態にある細胞のその付着位置が明確になるので、浮遊状態にある細胞の移動状況が把握し易くなる。そして、画像変換のための画像の移動方法を適宜変更することにより、画像間の位置ずれ補正を効率よく行うことができる。
【0080】
一方、
図13に示すように、細胞に粘性があり、細胞の一部が培養容器に付着し、別の一部が培養液中を浮遊しているような状態も存在する。
図13は細胞の浮遊状態、付着状態、及び局部的な付着状態を示す説明図である。このような局部的な付着状態の場合、2つの画像間において細胞が同じ位置に存在することがあり、浮遊状態であると判別できない可能性がある。したがって、振動中に撮像した画像を含めた複数の画像を用いて、判別結果を積算することで対応する「複数画像間積算」という方法を適用する。
【0081】
続いて、この細胞の局部的な付着状態の判別方法である複数画像間積算について、
図14〜
図17を用いて説明する。
図14は複数画像間積算の概略説明図、
図15は複数画像間積算の詳細説明図、
図16は
図15の説明図における異なる時点の画像間の同一動領域の特定に係る動作を示すフローチャート、
図17は
図15の説明図における浮遊領域の追跡と積算に係る動作を示すフローチャートである。
【0082】
複数画像間積算において、画像処理部5は、
図14に示すように振動中に撮像した画像を含めた複数の画像(画像1〜4以下)から、
図7〜
図13を用いて説明した浮遊状態にある細胞の判別方法で得られた結果により浮遊とされた領域(浮遊領域、
図14中の丸印)を抽出する。さらに、画像処理部5は浮遊領域を抽出した各画像を積算する。これにより、撮像と揺動とのタイミングの同期をとる必要がなく、細胞の付着性にかかわらず浮遊状態、付着状態の判別結果を得ることができる。
【0083】
複数画像間積算についてさらに詳しく、
図15を用いて、
図16及び
図17に示すフローに沿って説明する。
【0084】
画像処理部5は、
図15に示すように連続する2つの浮遊領域抽出画像、例えば画像kと画像k+1を用いて、画像間の差分による動領域(浮遊領域、
図15中の丸印)の抽出とオプティカルフローの算出とを行う。そして、これらの結果を用いて、画像処理部5は同一動領域の特定を行う。この同一動領域の特定に係る処理を
図16に示すフローに沿って説明する。
【0085】
なお、浮遊領域抽出画像は次のように生成しても良い。すなわち、時刻t1の画像を基準として時刻t2の画像を補正して浮遊細胞を判別する場合、画像補正部4にて生成する時刻t2’の画像を浮遊領域抽出画像kとする。さらに、時刻t2の画像を基準として時刻t3の画像を補正して浮遊細胞を判別する場合、生成した時刻t3’の画像に対し、時刻t2’の画像を生成する際に用いた補正量をさらに加味して浮遊領域抽出画像k+1とする。以後同様に、前回処理までの補正量を累積することで、時刻t1における付着細胞の位置を基準として時間連続な浮遊領域抽出画像を得ることができる。
【0086】
画像処理部5は同一動領域の特定に係る処理をスタート(
図16のスタート)させると、現画像の特徴点が帰属する動領域をチェックする(ステップ#201)。次に、画像処理部5はチェックした動領域にオプティカルフローによるflowの適用を行う(ステップ#202)。そして、画像処理部5はすべての動領域についてflowの適用が済んだか否かを判別する(ステップ#203)。すべての動領域についてflowの適用が済んでいない場合(ステップ#203のNo)、画像処理部5はステップ#201及び#202の処理を繰り返す。
【0087】
すべての動領域についてflowの適用が済んだ場合(ステップ#203のYes)、画像処理部5は各動領域に適用したflowをチェックし(ステップ#204)、比較的大きく外れて目立つflowを除外してflowの平均を算出する(ステップ#205)。
【0088】
次に、画像処理部5は動領域重心からflowの平均分だけ逆方向に移動し、前画像における推定前動領域重心を算出する(ステップ#206)。そして、画像処理部5は推定前動領域重心が別の動領域に内在するかチェックする(ステップ#207)。推定前動領域重心が別の動領域に内在する場合、画像処理部5はそれら動領域を画像間において同一の動領域であると判断し、同一動領域の特定に係る処理を終了する(
図16のエンド)。
【0089】
再び
図15に戻り、画像処理部5は同一動領域の特定が済むと、それら動領域を推定浮遊領域とし、推定浮遊領域の追跡と積算を行う。なお、「追跡」とは、画像間で同一の動領域であると特定された推定浮遊領域のさらに時間的に後続する画像における移動先を追うことを意味する。この推定浮遊領域の追跡、積算に係る処理を
図17に示すフローに沿って説明する。
【0090】
画像処理部5は推定浮遊領域の追跡、積算に係る処理をスタート(
図17のスタート)させると、現画像の推定浮遊領域を算出する(ステップ#301)。なお、このステップ#301は
図16のフローで説明した処理を意味する。また、「現画像」は
図15における連続する2つの浮遊領域抽出画像、例えば画像kと画像k+1の場合の画像k+1を意味する。画像kは後述する「前画像」を意味する。
【0091】
次に、画像処理部5は現画像の推定浮遊領域をテンプレート化し、ヒストグラムを算出する(ステップ#302)。さらに、画像処理部5はヒストグラムに加えて現画像の推定浮遊領域から得られる領域位置、領域サイズといったテンプレート情報を取得し、浮遊細胞推定データとする(ステップ#303)。浮遊細胞推定データは推定浮遊領域から得られる領域位置、領域サイズ、ヒストグラムなどで構成され、推定浮遊領域の数だけ複数存在する。
【0092】
そして、画像処理部5は前画像の浮遊細胞結果データを取得する(ステップ#304)。なお、浮遊細胞結果データは前画像の一連の処理の結果、浮遊細胞として計数された領域から得られる領域位置、領域サイズ、ヒストグラムなどで構成され、浮遊細胞として計数された領域の数だけ複数存在する。画像処理部5は浮遊細胞推定データに浮遊細胞結果データを重ね合わせる。
【0093】
次に、画像処理部5は浮遊細胞結果データの近傍に浮遊細胞推定データがあるか否かを判別する(ステップ#305)。なお、「近傍」の範囲は、例えばこれまでに観察されたflowの最大サイズから算出したり、加振部50を用いて揺動部60に振動を与えたときに設定した加振動作パラメータの振幅から決定したりする。
【0094】
浮遊細胞結果データの近傍に浮遊細胞推定データがある場合(ステップ#305のYes)、画像処理部5は前画像のその浮遊細胞結果データを破棄する(ステップ#306)。すなわち、画像処理部5は浮遊細胞が前画像の位置から現画像の位置まで移動したとみなして現画像の浮遊細胞推定データを残す。
【0095】
一方、浮遊細胞結果データの近傍に浮遊細胞推定データがない場合(ステップ#305のNo)、画像処理部5は前画像のその浮遊細胞結果データをそのまま浮遊細胞推定データに追加する(ステップ#307)。すなわち、画像処理部5は前画像で検出されていた浮遊細胞が現画像で検出されなかった場合への対応として浮遊細胞結果データを残す。
【0096】
ステップ#307の後、画像処理部5は前画像の浮遊細部の動領域についてヒストグラムを生成し、これを用いて近傍を探索して動領域を追跡する(ステップ#308)。なお、「近傍」の範囲は、例えばこれまでに観察されたflowの最大サイズから算出したり、加振部50を用いて揺動部60に振動を与えたときに設定した加振動作パラメータの振幅から決定したりする。そして、画像処理部5はステップ#308で検出された領域情報を用いて、ステップ#307で追加した浮遊細胞推定データを更新する(ステップ#309)。
【0097】
次に、画像処理部5はステップ#306で残された現画像の浮遊細胞推定データと、ステップ#309で更新された浮遊細胞推定データとを現画像の浮遊細胞結果データとして格納する(ステップ#310)。そして、画像処理部5は推定浮遊領域の追跡を行うべき前画像の浮遊細胞結果データが残っているか否かを判別する(ステップ#311)。前画像の浮遊細胞結果データが残っている場合(ステップ#311のYes)、ステップ#305に戻り、画像処理部5はステップ#305〜ステップ#310までの処理を繰り返す。
【0098】
ステップ#311において前画像の浮遊細胞結果データが残っていない場合(ステップ#311のNo)、画像処理部5は現画像の浮遊細胞結果データを計数して浮遊細胞数とする(ステップ#312)。そして、推定浮遊領域の追跡、積算に係る処理を終了する(
図17のエンド)。なお、現画像の浮遊細胞結果データは次回の推定浮遊領域の追跡、積算に係る処理において「前画像の浮遊細胞結果データ」として利用される。
【0099】
再び
図15に戻り、画像処理部5は上記のように推定浮遊領域の追跡、積算の後、浮遊細胞を計数する。すなわち、
図15の例では浮遊領域抽出画像kと画像k+1とに関して、細胞A、細胞B、細胞Cの3個の細胞が計数される。
【0100】
そして、
図15に示すように、画像処理部5は浮遊領域抽出画像k+1と画像k+2との画像間についても、同様の処理を実行する。ここで、画像kと画像k+1との画像間で移動したとされる特徴点と、画像k+1と画像k+2との画像間で算出したflowの起点となる特徴点とが同じ領域に存在する場合、画像形成部5はそれらが同じ細胞の動きに帰属すると判断する。すなわち、
図15の例では細胞B、細胞Cがこれに該当する。
【0101】
一方、このような動きをしていないと判断された画像kと画像k+1との画像間で検出された特徴点は画像k+1と画像k+2との画像間で移動しなかったとして、その後浮遊細胞の計数に継続して含める。すなわち、
図15の例では細胞Aがこれに該当する。なお、細胞Dは浮遊領域抽出画像k+1と画像k+2との画像間で新たに浮遊状態であると認められた細胞である。
【0102】
最終的に、浮遊領域抽出画像k、画像k+1、画像k+2の3枚の画像間で、画像処理部5は細胞A〜Dの4個が浮遊状態であると判別する。
【0103】
なお、加振部50の加振動作パラメータを用いて得られた画像処理部5の前回の判別結果に基づき、今回加振部50によって振動させるときの加振動作パラメータを調整しても良い。具体的には、
図17のフローによる繰り返し処理中に加振動作パラメータを調整していくことも可能である。画像処理部5の判別結果の例としては浮遊細胞の数や浮遊細胞の振幅などが挙げられ、加振動作パラメータの例としてはモータ55の回転周波数や揺動部60の振幅などが挙げられる。
【0104】
浮遊細胞や培養容器Sに局部的に付着している細胞の振動具合は未知であるが、加振動作パラメータを調整することによりその影響を受けて振動具合が変動すると考えられる。例えば、細胞の付着状態、浮遊状態の判別を行うための画像処理等では、例えば画像の解像度に対する細胞の振幅が好適な程度で、画像のサンプリングレートに対する細胞の振動周波数が小さい方が好ましいので、そのような振動具合が得られるよう前回の判別結果に基づき今回振動させるときの加振動作パラメータを調整する。
【0105】
また、同じサンプルに対してより多くの浮遊細胞数が検出できる加振動作パラメータが見つかれば、その設定が浮遊細胞の判別にとって好適であるということになる。なお、これはサンプルを変えればもちろん、同じサンプルでも観察点が異なればその都度、前回の判別結果に基づき今回の加振動作パラメータの設定を調整することが望ましい。
【0106】
このようにして、培養容器Sに局部的に付着している細胞の振動具合はモータ55の回転周波数や揺動部60の振幅などの影響を受けると考えられるので、加振動作パラメータを調整することにより培養容器Sに局部的に付着している細胞を浮遊細胞として明確に判別するのに好適な振動状況が得られる。
【0107】
そして、上記実施形態のように振動中の画像を含む複数の異なる時点の画像を用いて画像間の位置ずれを補正するので、細胞が培養容器に局部的に付着している状態と培養容器に完全に付着している状態とが区別される。
【0108】
本発明の実施形態の構成によれば、複数の異なる時点の画像を用いて培養容器S内における培養液中の細胞の浮遊状態、付着状態を精度よく判別することが可能な撮像装置1を提供することができる。また、培養容器Sに局部的に付着している細胞を浮遊細胞として明確に判別することが可能な撮像装置1を提供することができる。
【0109】
(第2の実施形態)
次に、本発明の第2の実施形態に係る撮像装置について、
図18〜
図21を用いてその構造を説明する。
図18は撮像装置の正面図、
図19は撮像装置の構成を示すブロック図、
図20は撮像装置の加振部の正面図、
図21は加振部の側面図である。なお、この実施形態の基本的な構成は
図1〜
図17を用いて説明した前記第1の実施形態と同じであるので、第1の実施形態と共通する構成について図面の記載及びその説明を省略するものとする。
【0110】
第2の実施形態に係る撮像装置101は、
図18に示すようにその本体102が、床面に対して四箇所に設けられた弾性体たる脚部ゴム107を備える脚部106で支持されている。さらに、本体102はその側面に加振部150を接合して備えている。
図18及び
図19に示すように、加振部150は脚部ゴム107で支持された本体102を揺動部160として振動させる。
【0111】
加振部150は、
図20〜
図21に示すようにベース151、レバー152、支軸153、接触片154、モータ155、偏心カム156、スライドガイド157、プッシャ158、及びプッシャバネ159を備えている。
【0112】
ベース151は前後方向に延びる垂直部151a及び水平部151bを備えた正面から見てL字形状の板状部材で構成されている。このベース151の垂直部151aにて加振部150は本体102に接合している。また、ベース151は左右方向に延びる垂直壁で構成され、垂直部151aと水平部151bとに連結してそれらの構成を補強する補強部151cを備えている。
【0113】
レバー152は左右方向に向かって延びる形にして、支軸153でベース151の補強部151cに支持されている。支軸153はレバー152の最も外側の端部に設けられている。レバー152は支軸153を中心として垂直面内で回転可能にして支持されている。
【0114】
接触片154はレバー152の支軸153より内側、すなわち本体102側の箇所に設けられている。接触片154はレバー152に左右方向に向かって延びる形で設けられた長穴152aに対して取り付けられ、この長穴152aに沿って左右方向に取り付け箇所の変更が可能である。また、接触片154はローラ形状をなし、その周面である側面が接触片154の下方に位置するプッシャ158の上端部158aに接触する。
【0115】
モータ155及び偏心カム156はレバー152の支軸153が設けられた側と反対側の端部、すなわち本体102側の端部近傍に設けられている。モータ155は回転軸線が前後方向に水平をなして補強部151cに固定され、その最前部に偏心カム156が回転可能に取り付けられている。偏心カム156はその回転面が垂直をなし、そのカム形状を有する周面である側面がレバー152の上面に接触する。これにより、モータ155を駆動させて偏心カム156を回転させると、レバー152が支軸153を中心としてその本体102側、すなわち接触片154を上下に変位させるように揺動する。
【0116】
なお、スライドガイド157がレバー152の本体102側端部の箇所の垂直部151aに設けられている。そして、スライドガイド157の上下方向に延びるガイド溝157a内にレバー152の本体102側端部が収められている。これにより、スライドガイド157はレバー152を上下方向にのみ移動可能に案内し、前後方向への移動を制限している。
【0117】
プッシャ158は接触片154の下方に配置されている。プッシャ158はベース151の水平部151bを貫通して上下方向に延び、その上端部158aが接触片154に、下端部が床面に当接している。また、プッシャ158は水平部151bに左右方向に向かって延びる形で設けられた長穴151dに対して取り付けられ、この長穴151dに沿って左右方向に取り付け箇所の変更が可能である。
【0118】
なお、プッシャバネ159がプッシャ158の上端部158aと水平部151bの上面との間に設けられている。プッシャ158の上端部158aを接触片154に、さらにレバー152を偏心カム156に押し付けるようにプッシャバネ159の弾性力が作用しているので、プッシャ158とレバー152とが常に偏心カム156のカム形状に連動して揺動する。
【0119】
モータ155の駆動によりレバー152が偏心カム156のカム形状に連動して揺動すると接触片154も揺動し、接触片154に接触するプッシャ158の上端部158aとプッシャバネ159を介してベース151の水平部151bが上下方向に押されることとなる。その結果、ベース151が接合された本体102は脚部ゴム107で支持されているので、脚部ゴム107が弾性変形し、本体102が左右にも揺動する。
【0120】
このようにして、加振部150は揺動部160である本体102に接合され、本体102に振動を与えるように動作する。このとき、加振部150は撮像装置101の脚部106に設けた脚部ゴム107の変位より小さい振幅で振動させる。これにより、加振部150が揺動部160と一緒に振動するので、装置全体が振動する撮像装置101を構成することができる。
【0121】
また、撮像部110を揺動部160に設けたことにより、容器把持部132と撮像部110とが一緒に揺動部160に設けられていることになるので、容器把持部132と撮像部110とに対して同時に、同じ振動を与えることができる。したがって、培養容器Sと撮像部110との間の相対的な変位を抑制でき、異なる時点の画像間の位置ずれを防止する作用がより高められる。
【0122】
また、接触片154の取り付け位置を長穴152aに沿って左右方向に変更し、同時にプッシャ158の取り付け位置を長穴151dに沿って左右方向に変更することにより本体102とプッシャ158との相対位置が変更できるので、本体102の振幅が変更可能である。このようにして、加振部150は加振動作パラメータのひとつである本体102の振幅の調整が可能である。
【0123】
以上、本発明の実施形態につき説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。
【0124】
例えば、細胞の局部的な付着状態の判別に関して、
図15において浮遊領域抽出画像を画像k、画像k+1、画像k+2の3枚用いて判別結果を積算することとしたが、画像は3枚に限定されるわけではなく、2枚または4枚以上であっても構わない。
【0125】
また、第1の実施形態で揺動部60を支持する弾性体であるゴム34や、第2の実施形態で揺動部160を支持する弾性体である脚部ゴム107は無くても構わない。また、弾性体はゴムに限定されるわけではなく、バネやスポンジなどであっても構わない。
【0126】
また、本発明の撮像装置1を例えば培養装置に組み込んだ場合、細胞の浮遊状態、付着状態の判別の結果として多寡を評価するものは、上記浮遊細胞数のほか、浮遊細胞率(サンプル中の細胞数に占める浮遊細胞の割合)などを用いても構わない。