(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
[インキュベータの構成例]
図1〜
図3を参照して、本発明の実施形態における細胞評価装置が適用されるインキュベータ11について説明する。
図1と
図2は、インキュベータ11の構造例を示している。
図1はインキュベータ11の正面図であり、
図2はインキュベータ11の平面図である。また、
図3は、インキュベータ11の構成例を示している。
【0015】
これらの図に示すインキュベータ11は、上部ケーシング12と下部ケーシング13とを有している。インキュベータ11の組立状態において、上部ケーシング12は下部ケーシング13の上に載置される。なお、上部ケーシング12と下部ケーシング13との内部空間は、ベースプレート14によって上下に仕切られている。
【0016】
まず、上部ケーシング12の内部には、細胞の培養を行う恒温室15が設けられる。この恒温室15は温度調整装置15aおよび湿度調整装置15bを有しており、恒温室15内は細胞の培養に適した環境(例えば温度37℃、湿度90%の雰囲気)に維持されている(なお、
図1と
図2において温度調整装置15a、湿度調整装置15b、回収装置51、播種装置52および培地交換装置53の図示は省略する)。
【0017】
恒温室15の前面には、大扉16、中扉17、小扉18が配置されている。大扉16は、上部ケーシング12および下部ケーシング13の前面を覆っている。中扉17は、上部ケーシング12の前面を覆っており、大扉16の開放時に恒温室15と外部との環境を隔離する。小扉18は、細胞を培養する培養容器19を搬出入するための扉であって、中扉17に取り付けられている。この小扉18から培養容器19を搬出入することで、恒温室15の環境変化を抑制することが可能となる。なお、大扉16、中扉17、小扉18は、パッキンP1,P2,P3によりそれぞれ気密性が維持されている。
【0018】
また、恒温室15には、ストッカー21、観察ユニット22、容器搬送装置23、搬送台24が配置されている。ここで、搬送台24は、小扉18の手前に配置されており、培養容器19を小扉18から搬出入する。
【0019】
ストッカー21は、上部ケーシング12の前面(
図3の下側)からみて恒温室15の左側に配置される。ストッカー21は複数の棚を有しており、ストッカー21の各々の棚には培養容器19を複数収納することができる。なお、各々の培養容器19には、培養の対象となる細胞が培地とともに収容されている。
【0020】
観察ユニット22は、上部ケーシング12の前面からみて恒温室15の右側に配置される。
ここで、観察ユニット22は、上部ケーシング12のベースプレート14の開口部に嵌め込まれて配置される。観察ユニット22は、試料台31と、試料台31の上方に張り出したスタンドアーム32と、位相差観察用の顕微光学系および撮像装置33aを内蔵した本体部分33とを有している。そして、試料台31およびスタンドアーム32は恒温室15に配置される一方で、本体部分33は下部ケーシング13内に収納される。
【0021】
試料台31は透光性の材質で構成されており、その上に培養容器19を載置することができる。この試料台31は水平方向に移動可能に構成されており、上面に載置した培養容器19の位置を調整できる。また、スタンドアーム32にはLED光源33bが内蔵されている。そして、撮像装置33aは、スタンドアーム32によって試料台31の上側から透過照明された培養容器19の細胞を、顕微光学系を介して撮像することで細胞の顕微鏡画像を取得できる。
【0022】
容器搬送装置23は、上部ケーシング12の前面からみて恒温室15の中央に配置される。この容器搬送装置23は、ストッカー21、観察ユニット22の試料台31および搬送台24との間で培養容器19の受け渡しを行う。
【0023】
また、容器搬送装置23は、多関節アームを有する垂直ロボット34と、回転ステージ35と、ミニステージ36と、アーム部37とを有している。回転ステージ35は、垂直ロボット34の先端部に回転軸35aを介して水平方向に180°回転可能に取り付けられている。そのため、回転ステージ35は、ストッカー21、試料台31および搬送台24に対して、アーム部37をそれぞれ対向させることができる。
【0024】
また、ミニステージ36は、回転ステージ35に対して水平方向に摺動可能に取り付けられている。ミニステージ36には培養容器19を把持するアーム部37が取り付けられている。
【0025】
次に、下部ケーシング13について説明する。下部ケーシング13の内部には、観察ユニット22の本体部分33や、インキュベータ11の制御装置40が収納されている。
【0026】
制御装置40は、温度調整装置15a、湿度調整装置15b、観察ユニット22、容器搬送装置23、回収装置51、播種装置52および培地交換装置53とそれぞれ接続されている。この制御装置40は、所定のプログラムに従ってインキュベータ11の各部を統括的に制御する。
【0027】
一例として、制御装置40は、温度調整装置15aおよび湿度調整装置15bをそれぞれ制御して恒温室15内を所定の環境条件に維持する。また、制御装置40は、観察ユニット22、容器搬送装置23、回収装置51、播種装置52、培地交換装置53などを制御して、培養容器19の観察シーケンスを自動的に実行する。さらに、制御装置40は、観察シーケンスで取得した画像に基づいて、細胞の培養状態の評価を行う培養状態評価処理を実行する。
【0028】
本実施形態のインキュベータ11は、例えばヒト由来の皮膚細胞を神経細胞へ分化培養するのに使用される。
図3においては、神経細胞への分化培養に対応する制御装置40の機能構成例を示している。なお、この制御装置40における各機能部の動作は、例えば制御装置40を形成するCPU(Central Processing Unit)にプログラムを実行させることにより実現される。
【0029】
制御装置40は、神経細胞への分化培養に対応して、記憶部41、画像入力部42、全焦点画像生成部43、ロゼッタ抽出部44、神経突起抽出部45、ロゼッタ対応判定部46、神経突起対応判定部47、総合判定部48および装置制御部49を備える。
【0030】
記憶部41は、制御装置40が必要とする各種のデータを記憶する。
画像入力部42は、撮像装置33aにより撮像される撮像画像を入力する。本実施形態において、撮像装置33aは、位相差観察用の顕微光学系により観察された顕微鏡画像、つまり、光の位相差をコントラストに変換した位相差画像を撮像する。また、撮像装置33aは、予め決定されたxy平面上における撮像位置をZ方向(標本の深さ方向)に添って焦点位置を変え、各焦点位置での撮像画像を行って撮像画像を出力する。このように得られる撮像画像の各々が単焦点画像である。画像入力部42は、これらの位相差画像としての単焦点画像を入力する。
【0031】
全焦点画像生成部43は、画像入力部42が入力した複数の単焦点画像を利用して全焦点画像を生成する。具体的に、全焦点画像生成部43は、例えば細胞の厚さ方向の位置において焦点が合った領域を取り出し、これらの領域を合成するように全焦点画像を生成する。なお、このような全焦点画像は、例えばEDF(Extend Depth of Focus)画像ともいう。
例えば、幹細胞から神経細胞への分化過程においては、ロゼッタといわれる構造物が出現するのに応じて細胞表面の起伏に変化が生じる。このために、単焦点画像では、焦点が合ってコントラストが高い領域と焦点が合わずにコントラストが低い状態の領域とが混在する。画像における構造物の位置は不定であるから、単焦点画像を神経細胞の分化状態の評価に利用したとしても、適切な判定結果を得ることは難しい。そこで、本実施形態では、ロゼッタ100を抽出するにあたり全焦点画像を評価に利用する。これにより、適切な評価結果を得ることができる。
【0032】
ロゼッタ抽出部44(構造物抽出部)は、神経細胞への分化過程において細胞に固有に出現する構造物の1つであるロゼッタを全焦点画像(第2の原画像)から抽出する。
【0033】
神経突起抽出部45は、神経細胞への分化過程における構造物の1つである神経突起を単焦点画像(第1の原画像)から抽出する。なお、神経突起が出現する分化過程においては、神経突起以外に、死んだ細胞(以下、「死細胞」ともいう)と生きた細胞の細胞体(以下、「生細胞」ともいう)とが混在する状態となる。そこで、神経突起抽出部45は、神経突起と死細胞と生細胞とをそれぞれ区別して抽出する。
【0034】
ロゼッタ対応判定部(構造物対応判定部)46は、ロゼッタ抽出部44により抽出されたロゼッタの状態を判定する。また、ロゼッタ対応判定部46は、判定したロゼッタの状態に基づいて細胞の分化誘導に関連する所定事項についての判定を行う。
神経突起対応判定部47は、神経突起抽出部45により抽出されたロゼッタの状態を判定する。また、神経突起対応判定部47は、判定した神経突起の状態に基づいて細胞の分化誘導に関連する所定事項についての判定を行う。
総合判定部48は、ロゼッタ対応判定部46の判定結果と神経突起対応判定部47の判定結果に基づいて細胞の分化誘導に関連する所定事項についての判定を行う。
【0035】
装置制御部49は、撮像装置33a、温度調整装置15a、湿度調整装置15b、容器搬送装置23、回収装置51、播種装置52および培地交換装置53の動作を制御する。
【0036】
[ロゼッタと神経突起]
本実施形態のインキュベータ11は、神経細胞への分化過程において出現するロゼッタと神経突起の状態に基づいて神経細胞の分化状態についての評価を行う。そこで、
図4と
図5を参照してロゼッタと神経突起について説明する。
【0037】
図4は、幹細であるiPS(induced Pluripotent Stem)細胞が神経細胞に分化する過程を時間経過にしたがって示している。iPS細胞を神経細胞へと分化誘導する培養を行うと、iPS細胞は、神経上皮細胞、神経前駆細胞、成熟神経細胞の順で分化していく。
そして、神経上皮細胞から神経前駆細胞に分化しているときにロゼッタが出現する。
【0038】
図5(a)は、ロゼッタ100が出現している状態の細胞を位相差顕微鏡により観察した位相差画像の例を示している。
ロゼッタ100は、例えば、円柱状の細胞が放射状に配列されるような形状を有している。このロゼッタ100は、その形状が特徴的であるうえに、神経細胞への分化過程において固有な構造物として初期に出現する。したがって、ロゼッタ100の出現が確認されたということは、iPS細胞などの幹細胞の神経細胞への分化誘導が成功したことを示している。
ロゼッタ100が上記のような性質を有することを考慮すれば、神経細胞への分化状態の評価を行うにあたり、ロゼッタ100の状態を評価することは有効であるといえる。そこで、本実施形態では、神経細胞への分化状態を評価するにあたり、まず、ロゼッタ100の状態を判定するものである。
【0039】
また、神経前駆細胞から成熟神経細胞へと分化する過程において神経突起が出現し、この神経突起が伸長するという現象が現れる。
なお、
図4においては、幹細胞であるiPS細胞を利用した例を示しているが、ES(Embryonic Stem)細胞などの他の幹細胞やダイレクトリプログラミングによる他種の分化細胞などを利用して神経細胞への分化培養を行った場合にも、
図4と同様の分化過程となる。
【0040】
図5(b)は、神経細胞200の構造を示している。神経細胞200は、細胞体210と、この細胞体210から伸長する神経突起300(軸索220と樹状突起230)を有する構造である。
細胞体210は、核を有し、丸く盛り上がるような形状である。
軸索220は、信号を出力する機能を有する。また、軸索220は、細く、その太さが一様であり、長く、小胞体やリボゾームはほとんど無い。また、軸索220の伸長速度は速い。
樹状突起230は、信号を受ける機能を有する。また、樹状突起230は、比較的太いが、先端にいくほど細くなる。また、その伸長速度は、遅い。
この神経細胞200も、神経細胞の分化過程において固有に出現する構造物の1つである。また、培養過程の神経細胞においては、多数の神経細胞200が重なり合う状態となり、軸索220と樹状突起230とを区別することが難しくなる。そこで、本実施形態においては、軸索220と樹状突起230とを区別することなく神経突起300として、神経細胞200における伸長部分として抽出する。また、併せて、神経細胞200における生きた細胞体210も生細胞として抽出する。
【0041】
[評価手順]
図6は、神経細胞へ分化誘導される細胞の分化状態をインキュベータ11が評価するための手順例を示している。
まず、インキュベータ11には、神経細胞へと分化誘導培養する幹細胞として、ヒト由来のiPS細胞またはES細胞が培養容器19に収容される(ステップS101)。または、ダイレクトリプログラミングにより分化誘導する目的で、他種の分化細胞が培養容器19に収容されてもよい(ステップS102)。
【0042】
ステップS101またはS102により培養容器19に収容された幹細胞は、神経上皮細胞への分化誘導培養が行われる(ステップS103)。そして、神経上皮細胞への分化後、前駆細胞へと分化する過程において、ロゼッタ100が出現する(ステップS104)。なお、このようにロゼッタ100が出現した細胞は、継代による分化培養により増殖させることができる。
【0043】
制御装置40は、撮像装置33aにより撮像された画像(第2の撮像画像)を利用してロゼッタ100を抽出するための画像処理を実行する(ステップS105)。このために、制御装置40は、分化過程の細胞において出現したロゼッタ100を撮像装置33aにより撮像させる。前述のように、撮像装置33aが撮像する画像は、位相差顕微鏡により観察される位相差画像であり、かつ、それぞれが異なる焦点位置による複数の単焦点画像である。そのうえで、制御装置40は、例えば所定の時間間隔による撮像時刻ごとに撮像装置33aが複数の単焦点画像を撮像するように制御する。
【0044】
そして、制御装置40における画像入力部42は、撮像装置33aにより撮像された複数の単焦点画像を入力する。また、全焦点画像生成部43は、同じ撮像時刻において撮像された複数の単焦点画像を利用して1つの全焦点画像を順次生成する。これにより、全焦点画像生成部43は、撮像時刻ごとに対応する複数の全焦点画像を生成する。このように生成された複数の全焦点画像は、時系列にしたがったいわゆるタイムラプス画像である。
そして、ロゼッタ抽出部44は、ステップS105としての画像処理によって全焦点画像からロゼッタ100を抽出する。
【0045】
次に、ロゼッタ対応判定部46は、ステップS105により抽出されたロゼッタ100を利用して、細胞に出現したロゼッタ100の状態についての判定を行う(ステップS106)。ここでの判定項目は多様であり特に限定されるものではないが、例えば、ロゼッタ100の質、量、および、その出現に要した期間などを基準として各種判定項目についての判定が行われる。
【0046】
一例として、ロゼッタ対応判定部46は、出現したロゼッタ100の位置、分化状態、分化効率などについて判定する(ステップS107)。なお、分化状態としては、具体的には、ロゼッタ100の個々または全体の形状、品質などを判定する。また、ここでの分化効率とは、例えば、出現したコロニーの数に対するロゼッタ100の出現数として求めることができる。
【0047】
また、ロゼッタ対応判定部46は、判定したロゼッタ100の状態に基づいて、ロゼッタ100が出現した細胞についての次の工程の決定と(ステップS108)、将来予測(ステップS109)を行う。つまり、ロゼッタ対応判定部46は、判定したロゼッタ100の状態に基づいて、さらに、細胞の分化培養に関する所定事項についての判定を行うことができる。
【0048】
ロゼッタ対応判定部46がステップS108により決定する次の工程としては、以下のものが挙げられる。
つまり、ロゼッタ対応判定部46は、次の工程として、ロゼッタ100の状態の判定結果をロット管理用の情報として利用すべきと決定することができる。
また、ロゼッタ対応判定部46は、次の工程として、ロゼッタ100が出現した細胞を回収し、移植用サンプルとして利用すべきと決定することができる。このように回収すべきと決定された場合、制御装置40の装置制御部49は、回収装置51を制御して細胞の回収を行う。
また、ロゼッタ対応判定部46は、次の工程として、ロゼッタ100が出現した細胞を凍結保存すべきことを決定することができる。凍結保存された細胞は、例えば移植、大量生産目的による貯蔵、または、ロット管理などに利用される。
また、ロゼッタ対応判定部46は、次の工程として、ロゼッタ100が出現した細胞を分取して検査すべきことを決定することができる。なお、このように検査すべきと決定された場合には、各種検査や分析が行われる(ステップS110)。この検査、分析に際しては、細胞を回収して行ってもよいし、回収せずに、撮像画像を利用して行ってもよい。
また、ロゼッタ対応判定部46は、次の工程として、ロゼッタ100が出現した細胞の培養を続行すべきことを決定することができる。
【0049】
また、ロゼッタ対応判定部46は、ステップS109としての将来予測を以下のように行うことができる。つまり、ロゼッタ対応判定部46は、ニューロンへの分化の収率を予測することができる。また、ロゼッタ対応判定部46は、例えばドパミン作動性やグルタミン酸作動性など、どのような種類のニューロンへの分化傾向であるのかについて予測することができる。
【0050】
また、ステップS103の神経上皮細胞への分化誘導培養を継続させた場合には、さらに神経前駆細胞への分化へと進行する(ステップS111)。この神経前駆細胞に分化している段階においては、ニューロスフェロイドが出現する(ステップS112)。このニューロスフェロイドも、継代により増殖可能である。
また、ニューロスフェロイドの出現後においては、神経細胞への分化誘導培養が行われる(ステップS113)。このステップS113による分化誘導培養の過程において、神経突起200が出現する(ステップS114)。そして、このように神経突起200が出現すると、神経突起200における突起(軸索220および樹状突起230)が伸長するという現象が生じる。
【0051】
制御装置40は、上記のように神経突起300が伸長している状態の神経細胞を撮像装置33aにより撮像させ、その撮像画像(第1の撮像画像)を利用して神経突起300を抽出する(ステップS115)。この神経突起抽出のための画像処理においては、画像入力部42が撮像時刻ごとに単焦点画像を入力する。そして、神経突起抽出部45が、生成された単焦点画像としての位相差画像から神経突起300を抽出する。
【0052】
次に、神経突起対応判定部47は、ステップS115により抽出された神経突起300を利用して、細胞に出現した神経突起300の状態についての判定を行う(ステップS116)。この判定に際して基準となる項目は、例えば、突起伸長速度、生細胞数、死細胞数、また、死細胞の増加量、神経突起300や生細胞の増殖速度などである。神経突起対応判定部47は、例えばこれらの項目を基準に所定の判定項目についての判定を行う。なお、この神経突起300に関する判定項目についても多様であり特に限定されるものではない。
【0053】
一例として、神経突起対応判定部47は、神経突起300の分化状態や品質を判定する(ステップS117)。
【0054】
また、神経突起対応判定部47は、神経突起300が出現した神経細胞についての次の工程の決定を行う(ステップS118)。
神経突起対応判定部47がステップS118により決定する次の工程としては、以下のものが挙げられる。
例えば、神経突起対応判定部47は、次の工程として、今回の神経突起300の状態の判定結果をロット管理用の情報として利用すべきと決定することができる。
また、神経突起対応判定部47は、次の工程として、神経突起300が出現した神経細胞を回収し、移植用サンプルとして利用すべきと決定することができる。
また、神経突起対応判定部47は、次の工程として、神経突起300が出現した神経細胞を分取して検査すべきことを決定することができる。
また、神経突起対応判定部47は、次の工程として、神経突起300が出現した神経細胞をスクリーニング、アッセイなどに使用すべきことを決定することができる。
【0055】
また、総合判定部48は、ステップS107およびS109におけるロゼッタ対応判定部46の判定結果と、ステップS117における神経突起対応判定部47の判定結果を利用して総合判定を行う(ステップS119)。
【0056】
総合判定部48は、例えば総合判定の結果として、ロゼッタ100と神経突起300の出現を含むこれまでの分化工程における分化状態や分化効率を出力することができる(ステップS120)。
また、総合判定部48は、総合判定結果として、神経突起300が出現した段階の神経細胞についての次の工程を決定することができる(ステップS118)。
【0057】
また、総合判定部48は、総合判定結果を反映した品質データベースを作成することができる(ステップS121)。品質データベースには、例えばロゼッタ100の分化状態、神経突起300の分化状態、ロゼッタ100から神経突起300が出現する段階にまで分化させるまでの培養条件、期間などを格納する。また、遺伝子、蛋白マーカのプロファイルなどを格納する。また、最終分化後の検査結果なども格納させることができる。この品質データベースは、記憶部41に記憶される。
そして、品質データベースの内容は、例えば次の培養工程にフィードバックさせることができる(ステップS122)。具体的に、総合判定部48は、記憶部41に記憶される品質データベースの内容に基づいて次の培養工程における各種項目を設定する。そして、装置制御部49が、ユーザへの設定項目の通知、または、設定された項目にしたがった温度、湿度調整、播種、培地交換などを自動で実行する。これにより、次の培養工程への総合判定結果のフィードバックが実現される。
【0058】
また、神経突起300が出現した後においては、成熟神経細胞への分化誘導培養が行われる(ステップS123)。そして、この成熟神経細胞は、例えば検査などのために分取される(ステップS124)。また、この成熟神経細胞にまで分化した細胞を医療等に利用することができる(ステップS125)。
【0059】
図7のフローチャートは、インキュベータ11がロゼッタ100の状態を判定するためのより詳細な手順例を示している。この図に示す手順は、
図6との対応では、例えば、ステップS104〜S109から成る手順に相当する。
【0060】
ロゼッタ100の状態判定にあたっては、神経上皮細胞にまで分化が進行した段階の細胞を培養する(ステップS201)。そして、制御装置40は、培養容器19に照射する照明について、例えばロゼッタの出現に適したものに切り替えを行う(ステップS202)。また、制御装置40における装置制御部49は、回収と播種を行う(ステップS203)。
そして、制御装置40における画像入力部42は、播種直後の段階における細胞の撮像画像を入力する(ステップS204)。ロゼッタ抽出部44は、この撮像画像(複数の単焦点画像)を利用して全焦点画像生成部43が生成した全焦点画像(原画像)からコロニーを抽出するための画像処理を行う(ステップS205)。コロニーは、ロゼッタ100の最も初期の状態に対応する。
なお、ステップS205において、ロゼッタ抽出部44は、タイムラプス画像としての複数の全焦点画像の各々を対象として処理する。この点については、同図において以降説明する画像処理のステップにおいても同様である。
【0061】
次に、ロゼッタ対応判定部46は、抽出したコロニーの品質、大きさ、テクスチャなどの状態に基づいて、分化効率を予測する(ステップS206)。具体的に、ロゼッタ対応判定部46は、例えば、抽出されたコロニーの総数のうちでロゼッタに分化成功するものの数を予測する。
そのうえで、ロゼッタ対応判定部46は、上記の分化効率の予測結果のほかに、例えばロゼッタ100の密度、ロゼッタ100に分化するまでの日数なども予測し、これらの予測結果に基づいて、培養を継続すべきか廃棄すべきかの判定を行う(ステップS207)。
廃棄すべきと判定した場合には、装置制御部49は、これまでに培養した神経細胞が廃棄されるように例えば容器搬送装置23などを制御する(ステップS208)。一方、培養を継続すべきと判定した場合、装置制御部49は、そのまま培養が継続されるように上部ケーシング12内の所定の装置を制御する(ステップS209)。
【0062】
ステップS209により培養を継続した場合、画像入力部42は、培地交換直前のタイミングで出現している細胞の撮像画像を入力する(ステップS210)。ロゼッタ抽出部44は、入力された撮像画像を利用して生成された全焦点画像からロゼッタを抽出するための画像処理を実行する(ステップS211)。
【0063】
次に、装置制御部49は、しかるべきタイミングで培地交換を行う(ステップS212)。次に、画像入力部42は、この培地交換直後における細胞の撮像画像を入力し(ステップS213)、ロゼッタ抽出部44は、この入力された撮像画像を利用して生成された全焦点画像からコロニーを抽出する画像処理を実行する(ステップS214)。
【0064】
ステップS213の段階の細胞はさらに培養される(ステップS215)。そして、この後の地交換直前のタイミングの細胞が撮像され、画像入力部42は、その撮像画像を入力する(ステップS216)。ロゼッタ抽出部44は、入力された撮像画像を利用して生成された全焦点画像からロゼッタ100を抽出するための画像処理を実行する(ステップS217)。
【0065】
そして、ロゼッタ対応判定部46は、ステップS214により抽出されたコロニーと、ステップS217により抽出されたロゼッタ100とに基づいてロゼッタの状態を判定する(ステップS218)。具体的に、ロゼッタ対応判定部46は、例えばロゼッタ100が形成されたか否かについて判定する。また、ロゼッタ100が形成された場合には、その品質について判定する。
そのうえで、ロゼッタ対応判定部46は、ステップS218により判定されたロゼッタ100の状態に基づいて、再び、以降の培養を継続すべきか廃棄すべきかの判定を行う(ステップS219)。
ロゼッタ対応判定部46は、廃棄すべきと判定した場合には、これまでに判定対象とされていた細胞を廃棄し(ステップS220)、培養を継続すべきと判定した場合には、培地交換を行ったうえで培養を継続する(ステップS221)。
【0066】
ステップS221により培地交換を行った場合、培地交換直後の細胞(ステップS222)はロゼッタ100が出現過程の状態にある。そして、この細胞がさらに培養されていく過程において(ステップS223)、画像入力部42は、回収直前のタイミングの細胞の撮像画像を入力し(ステップS224)、ロゼッタ抽出部44は、入力された撮像画像を利用して生成されたロゼッタ100を抽出するための画像処理を実行する(ステップS225)。
【0067】
そして、ロゼッタ対応判定部46は、ステップS225により抽出されたロゼッタ100についての状態を判定する(ステップS226)。この段階では、ロゼッタ対応判定部46は、例えばロゼッタ100の状態として、その品質について判定する。
【0068】
次に、ロゼッタ対応判定部46は、ステップS226の判定結果に基づいて、以降の工程を継続すべきか廃棄すべきかの判定を行う(ステップS227)。
ロゼッタ対応判定部46は、廃棄すべきと判定した場合には、これまでに判定対象とされていた細胞を廃棄する(ステップS228)。
また、ステップS228において培養を継続すべきとの判定した場合、その判定内容は、さらに2つに分けられる。
1つの判定内容は、例えばロゼッタ100が十分に成長しているなどの理由で神経前駆細胞への分化のための工程に移行させるというものである。この場合、装置制御部49は、神経前駆細胞への分化としての次の工程のために、回収装置51により細胞を回収させる(ステップS229)。
もう1つの判定内容は、例えばロゼッタ100が十分に成長していないなどの理由で、さらにロゼッタ100を成長させるための工程に移行させるというものである。この場合、装置制御部49は、ステップS203としての回収と播種の工程が行われるように、回収装置51と播種装置52を制御する。
【0069】
図8のフローチャートは、神経突起300の状態を判定するためのより詳細な手順例を示している。この図に示す手順は、
図6との対応では、例えば、ステップS114〜S118から成る手順に相当する。
【0070】
神経突起300の状態判定にあたっては、神経前駆細胞にまで分化が進行した細胞を培養する(ステップS301)。そして、制御装置40における装置制御部49は、回収と播種を、回収装置51と播種装置52のそれぞれに行わせ(ステップS302)、培養を継続する(ステップS303)。
【0071】
そして、ステップS303による培養を行っている過程において、画像入力部42は、神経突起300が出現した神経細胞の撮像画像、つまり、位相差画像としての単焦点画像を入力する(ステップS304)。また、神経突起抽出部45は、入力された単焦点画像(原画像)から神経突起300を抽出するための画像処理を実行する(ステップS305)。
【0072】
ここで、神経突起300が出現している状態の細胞では、前述のように、死んでしまった細胞(死細胞)と、神経突起300以外の生きている細胞(生細胞)とが混在している。これらの死細胞と生細胞も、神経細胞の分化状態を判定する有効な材料となる。そこで、ステップS305の画像処理によっては、神経突起300だけではなく、死細胞と生細胞も抽出する。
【0073】
そして、神経突起対応判定部47は、ステップS305により抽出された神経突起300と死細胞と生細胞とに基づいて、例えば神経突起300の伸長した突起の長さ、神経突起300と生細胞と死細胞の各数、また、神経突起300と生細胞の増殖速度などを認識する。また、この認識結果を利用して、神経細胞の生育状態、分化状態などを判定する(ステップS306)。
【0074】
そのうえで、神経突起対応判定部47は、これらの判定結果に基づき、同じステップS306において、さらに、以降の工程についても決定する。
具体的に、神経突起対応判定部47は、これまでに培養した神経細胞を廃棄すべきと決定することができる。このように決定された場合、装置制御部49は、これまでに培養した神経細胞を廃棄させるように例えば容器搬送装置23などを制御する(ステップS307)。また、培地交換をしたうえで次工程へ移行すべきと決定された場合、装置制御部49は、培地交換装置53により培地交換を行わせたうえで(ステップS308)、次の工程に移行させる(ステップS309)。または、培地交換をせずに次工程へ移行すべきと決定された場合、装置制御部49は、次のしかるべき工程に移行されるように、例えば上部ケーシング12における所定の装置を制御する。
【0075】
[ロゼッタ抽出のための画像処理]
次に、
図9〜
図14を参照してロゼッタ100を抽出するための画像処理の具体例について説明する。
前述のように、ロゼッタ100を抽出するのに利用する原画像は、位相差顕微鏡を介して細胞を撮像した位相差画像であり、かつ、画面の全領域において合焦している全焦点画像である。また、全焦点画像は、例えば所定の時間間隔の撮像時刻ごとに対応して形成される。つまり、本実施形態においては、時系列における複数の全焦点画像によりタイムラプス画像が形成されている。
【0076】
図9は、全焦点画像をタイムラプスにより生成する手順を模式的に示している。例えば撮像時刻t0において、制御装置40の装置制御部49は、それぞれ異なる焦点位置により撮像したN枚の単焦点画像Psf−1〜Psf−Nを撮像装置33aに撮像させる。前述のように、各単焦点画像Psf−1〜Psf−Nは、位相差顕微鏡を介して観察される細胞を撮像した位相差画像である。制御装置40における画像入力部42は、これらの単焦点画像Psf−1〜Psf−Nを入力する。そして、全焦点画像生成部43は、単焦点画像Psf−1〜Psf−Nから、例えばコントラストが高い画像領域を取り出して合成することで、撮像時刻t0に対応する全焦点画像Paf−0を生成する。
【0077】
また、撮像時刻t0から所定時間を経過した撮像時刻t1においても、同様に、撮像装置33aにより、N枚の単焦点画像Psf−1〜Psf−Nを撮像させる。そして、全焦点画像生成部43は、画像入力部42が入力した単焦点画像Psf−1〜Psf−Nを利用して、上記と同様に、撮像時刻t1に対応する全焦点画像Paf−1を生成する。
以降、同様にして、制御装置40は、所定時間ごとに撮像装置33aが撮像した単焦点画像Psf−1〜Psf−Nを利用して、全焦点画像Paf−Nを生成していく。
【0078】
このように本実施形態のインキュベータ11は、所定時間ごとに位相差画像による全焦点画像Pafを生成する。このように一定時間ごとに生成される全焦点画像Pafによりタイムラプス画像が形成される。そして、ロゼッタ抽出部44は、このように生成された全焦点画像Pafのそれぞれからロゼッタ100を抽出する。
【0079】
なお、神経突起抽出部45が神経突起300を抽出する際に処理対象とする原画像は、単焦点画像でよいが、
図9に示すようにタイムラプス画像として形成される全焦点画像Pafであってもよい。神経突起300はロゼッタ100ほどの厚みはないので、単焦点画像でも十分な精度での抽出が可能であるが、全焦点画像Pafを利用すれば、抽出精度がより向上する。
ただし、神経突起300の場合にはその伸長速度はロゼッタ100の成長速度に対して相当に速い。このため、タイムラプス画像の時間間隔は、ロゼッタ100を抽出するにあたっては約6時間程度が設定されるのに対して、神経突起300を抽出するにあたっては、約30分から1時間程度が設定される。
【0080】
なお、全焦点画像生成部43は、撮像時刻ごとに対応した単焦点画像Psf−1〜Psf−Nが入力されたタイミングで全焦点画像Pafを生成してもよい。また、撮像時刻ごとに対応して入力された単焦点画像Psf−1〜Psf−Nを記憶部41に記憶させておいたうえで、その後における所定のタイミングで記憶部41から読み出した単焦点画像Psf−1〜Psf−Nを利用して全焦点画像Pafを生成するようにしてもよい。
【0081】
次に、
図10のフローチャートは、ロゼッタ100を抽出するためにロゼッタ抽出部44が実行する画像処理の手順例を示している。この図に示す処理は、例えば
図6のステップS105や
図7のステップS205、S211、S214、S217およびS225などに相当する。また、この図に示す処理は、
図9における1つの撮像時刻において生成した全焦点画像を対象とするものとなる。
【0082】
まず、制御装置40におけるロゼッタ抽出部44は、ロゼッタ抽出のために生成された全焦点画像を原画像として入力する(ステップS401)。なお、ロゼッタ抽出部44は、例えば全焦点画像生成部43が生成して記憶部41に記憶させた全焦点画像を入力すればよい。
【0083】
次に、ロゼッタ抽出部44は、原画像からロゼッタ100に対応する特徴を有する画像領域を抽出するためのソフトマッチングを実行する(ステップS402)。ソフトマッチングは、教師付き分類の1つである。
図11は、ステップS403としてのソフトマッチングの結果例を示している。
図11には、原画像が示されている。位相差画像である原画像においては、細胞に出現したロゼッタ100は暗いまとまった領域として観察される。この点に着目し、ステップS403のソフトマッチングは、暗い領域を抽出するためのテクスチャを予め定めておき、原画像からこのテクスチャに該当する領域を抽出するものである。
図11において白抜きの矢印で示す黒色となっている領域がステップS403のソフトマッチングにより抽出された領域である。このように抽出された領域はロゼッタ100である可能性が高い領域である。
【0084】
また、ロゼッタ100が位相差画像としての原画像において一様に暗い領域の内、ロゼッタ100に特徴的な円形構造はその周囲部分の濃度差が小さくなる。
そこで、ロゼッタ抽出部44は、ステップS403のソフトマッチングと並行して、位相差画像としての原画像から、濃度差が一定以下の領域を抽出する(ステップS403〜S407)。
【0085】
このために、ロゼッタ抽出部44は、まず、原画像に対してエロージョン(Erosion)の処理を施す(ステップS403)。
図12(a)は、ステップS402により生成された原画像の一例を示している。この原画像に対してステップS403によるエロージョンが施された画像を
図12(b)に示す。このようにエロージョンが施された画像は、原画像において暗い部分が拡大されたような状態となる。
【0086】
次に、ロゼッタ抽出部44は、
図12(b)のエロージョンが施された画像から
図12(a)の原画像を差し引いた差分画像を生成する(ステップS404)。
図12(c)は、このステップS404により生成された差分画像である。次に、ロゼッタ抽出部44は、ステップS404により生成された差分画像についてダイレーション(Dilation)を行う(ステップS405)。
図12(d)は、ステップS405のダイレーションが施された画像を示している。このように生成された
図12(d)の画像では、濃度差の絶対値が拡大されたような状態になる。
【0087】
次に、ロゼッタ抽出部44は、
図12(d)のダイレーション後の画像について所定の閾値による二値化を行う(ステップS406)。
図13(a)の画像は、このステップS406により
図12(d)の画像を二値化した結果を示している。この図において、輝度が最も低い黒色で示されている部分が、濃度差が一定以下であるとして抽出された領域(オブジェクト)である。
【0088】
そのうえで、ロゼッタ抽出部44は、さらにノイズを除去するために、
図13(a)の二値化した画像におけるオブジェクトのうちでそのサイズが一定以下のものを削除する(ステップS407)。具体例として、
図13(a)の二値化された画像においては、破線で括って示す位置に小さいサイズのオブジェクトが存在する。ステップS407によっては、例えばこのようなオブジェクトが削除される。この結果、
図13(b)に示す画像が得られる。この
図13(b)の画像の破線で括って示す領域においては、濃度が一定以下であるとともにサイズが一定以下のオブジェクトが削除されており、存在していない。
【0089】
次に、ロゼッタ抽出部44は、ステップS403のソフトマッチングが施された画像と、ステップS403〜S407による処理が施された画像とでオブジェクトが共通する部分(オブジェクトの積)を抽出する(ステップS408)。
【0090】
図14(a)は、ステップS402のソフトマッチングが施された画像として
図11と同じ画像を示し、
図14(b)は、ステップS403〜S407による処理が施された画像として
図13(b)と同じ画像を示している。
ロゼッタ抽出部44は、ステップS408の処理として、
図11の画像において示されるオブジェクトと
図13(b)において示されるオブジェクトとで一致する部分を抽出する。つまり、ロゼッタ抽出部44は、
図11の画像において黒色により示される部分と、
図13(b)の画像において黒色で示されている部分とでその座標が一致する領域を抽出する。
図14(c)は、このようにステップS409により抽出された領域を白抜きの矢印で示すように黒色により示している。このように抽出された領域がロゼッタ100である。
そして、ロゼッタ抽出部44は、このようにステップS408により抽出したロゼッタ
示される画像(ロゼッタ抽出画像)を出力する(ステップS409)。
【0091】
なお、この
図10のフローチャートに示す処理は、
図9における1つの撮像時刻に対応して生成された1つの全焦点画像としての原画像を対象として行われる。これまでの説明から理解されるように、全焦点画像は撮像時刻ごとの集合によりタイムラプス画像を形成する。
これに伴い、ロゼッタ抽出部44は、
図10により説明した処理を、撮像時刻ごと対応する全焦点画像ごとに行う。そして、ロゼッタ対応判定部46は、例えば、各撮像時刻の焦点画像から抽出されたロゼッタ100の状態を比較することにより、時間経過に応じた状態変化に基づく判定を行うことができる。
【0092】
[神経突起抽出のための画像処理]
次に、神経突起300を抽出するために神経突起抽出部45が実行する画像処理の手順例について説明する。
前述のように、神経突起抽出部45は、神経突起300だけではなく死細胞と生細胞についても抽出する。そこで、
図15を参照して位相差画像である原画像において観察される神経突起300と死細胞と生細胞の特徴について説明する。
なお、神経突起300の抽出に利用する位相差画像は、全焦点画像ではなく単焦点画像である。ロゼッタ100は細胞が集まった立体構造であるために高さがあるが、神経突起300の場合にはさほどの高さは生じない。このため、神経突起300については全焦点画像を利用しなくとも十分に高い精度で抽出が行える。
【0093】
図15(a)は、神経突起300が出現している神経前駆細胞を撮像して得られた単焦点画像の一例を示している。
図15(b)は、
図15(a)の単焦点画像において存在している神経突起300と死細胞240と生細胞250とを区分して示したものである。なお、生細胞250は、神経突起300以外の生きた細胞であり、具体的には細胞体210として生きている状態のものである。また、死細胞240は、死んでしまった状態の細胞体210と神経突起300を含むものである。
【0094】
単焦点画像は位相差顕微鏡を介して撮像された位相差画像である。位相差画像では、例えば起伏の大きい部分は明るく、起伏が小さい部分は暗くなるという特徴がある。
図15(a)と
図15(b)から理解されるように、神経突起300は、位相差画像において、線状の暗い部分として観察される。そこで、神経突起抽出部45は、単焦点画像(第1の原画像)において輝度が周囲よりも低く細い線状の部分を神経突起300として抽出する。
また、死細胞240は、位相差画像において、明るい小さな円形が暗い線により縁取りされたような粒状の部分として観察される。そこで、神経突起抽出部45は、単焦点画像において、輝度が一定以上で、その縁の輝度勾配が一定以上の粒状の部分を死細胞240として抽出する。
また、生細胞250は、位相差画像において、比較的大きく暗い塊であって、かつ、その周囲が明るく縁取られるような状態の部分として観察される。そこで、神経突起抽出部45は、単焦点画像において、輝度が一定以下で、その面積が一定以上で、その縁の輝度が一定以上の部分を生細胞250として抽出する。
【0095】
図16のフローチャートは、神経突起抽出部45が神経突起300と、死細胞240と、生細胞250とを抽出するための処理手順例を示している。
まず、神経突起抽出部45は、神経突起300の抽出のために撮像装置33aにより撮像された単焦点画像を原画像として入力する(ステップS501)。なお、この際に、神経突起抽出部45は、例えば神経突起300の抽出のために撮像装置33aにより撮像させ、記憶部41に記憶させた単焦点画像を入力すればよい。
【0096】
神経突起抽出部45は、入力した原画像としての位相差画像から死細胞240に対応する特徴を有する画像領域を抽出するためのソフトマッチングを実行する(ステップS502)。このステップS502におけるソフトマッチングとして、神経突起抽出部45は、例えば明るい輪郭により周囲が縁取られた部分をオブジェクトとして抽出する処理を行う。
【0097】
図17は、ステップS502としてのソフトマッチングの処理結果例を示している。
図17(a)は、ステップS501により入力した原画像の一例を示している。ステップS502のソフトマッチングにより、神経突起抽出部45は、
図17(a)の原画像から、
図17(b)において黒色により強調されるように囲まれる領域をオブジェクトとして抽出する。このように抽出されたオブジェクトは、死細胞240である可能性が高い。
【0098】
また、神経突起抽出部45は、生細胞250の抽出のために、ステップS501により入力した原画像についてクロージングの画像処理を行い(ステップS503)、さらに、このクロージングした画像を二値化する(ステップS504)。
【0099】
図18(a)〜(c)は、ステップS503とS504によるクロージングと二値化の画像処理の結果を示している。
図18(a)は、ステップS501により入力した原画像の一例である。神経突起抽出部45が、
図18(a)の原画像に対してクロージングを行うことにより、
図18(b)に示す画像が得られる。このクロージングの処理によっては細い黒い溝が埋められる。これにより、生細胞250に対応する黒色の塊部分は保存されるが、例えば神経突起300に対応する細い黒色の部分や、死細胞240のように小さい暗い円の周囲が明るい部分は周囲の濃度で埋められる。
次に、神経突起抽出部45は、
図18(b)の画像をステップS504により二値化することにより、黒色とされた部分の領域をオブジェクトとして抽出する。このように抽出されたオブジェクトは、
図18(c)において黒色により示す領域である。このように抽出されたオブジェクトは、生細胞250である可能性が高い。
【0100】
また、神経突起抽出部45は、神経突起300の抽出のために、ステップS503のクロージングが行われた画像から、ステップS501により入力した原画像を差し引いた差分画像を生成する(ステップS505)。次に、神経突起抽出部45は、この差分画像を二値化する(ステップS506)。
【0101】
図18(a)、(b)、(d)、(e)は、ステップS505とS506によるクロージングと二値化の画像処理の結果を示している。つまり、神経突起抽出部45が、ステップS505により、ステップS503によりクロージングした
図18(b)の画像に対する
図18(a)の原画像の差分を求めることにより、
図18(d)に示す差分画像が得られる。このように生成された差分画像は、例えば原画像における生細胞250に対応する暗い塊部分が除去された画像である。そして、神経突起抽出部45が、ステップS506により、この差分画像を二値化することにより、
図18(e)に示す画像が得られる。この
図18(e)に示す画像における白色の部分は、原画像としての原画像において暗く細い部分を示すオブジェクトであり、神経突起300である可能性が高い。
【0102】
また、神経突起抽出部45は、生細胞250を抽出するにあたり、ステップS501により入力した原画像について二値化を行う(ステップS507)。そのうえで、神経突起抽出部45は、ステップS507により二値化された画像と、ステップS504により二値化された画像とでオブジェクトが共通する画像部分(オブジェクトの積)を抽出する(ステップS508)。
【0103】
図19は、ステップS507とS508の画像処理に対応する画像例を示している。
図19(a)は、ステップS501により入力した原画像の例である。
図19(b)は、ステップS507により、
図19(a)の原画像を二値化した画像と、ステップS504により二値化された画像とを重ね合わせた状態を示している。
【0104】
図19(b)において白抜きで示す部分は、ステップS507により二値化された画像において白の階調に分類された部分である。また、同じ
図19(b)において輝度が最も低い黒色で示す部分は、ステップS504により二値化された画像において黒の階調に分類された部分に対応するオブジェクトである。この黒色で示すオブジェクトは、原画像において暗い塊の領域に該当する。
【0105】
そして、神経突起抽出部45がステップS508の処理を実行することで、
図19(b)のようにステップS504により二値化された画像におけるオブジェクトのうちで、その周囲に明るい縁取りが無いものについては、除外される。このステップS508の処理結果を
図19(c)に示す。具体的に、
図19(b)において破線で括って示す領域において抽出されていた4つのオブジェクトは、原画像においてその周囲が明るくないものであったために、
図19(c)においては、除外されている。このように、ステップS508の処理が行われる結果、原画像における暗い塊のうちその周囲が明るく縁取られたもののみがオブジェクトとして抽出される。このことは、例えばステップS504による二値化画像から、生細胞250に該当するオブジェクトの絞り込みを行ったこと意味している。つまり、ステップS508によっては、高い精度で生細胞250に該当するオブジェクトが抽出される。
【0106】
また、神経突起抽出部45は、ステップS506により二値化された画像から、以下のように神経突起300に対応するオブジェクトを抽出する。
図18(e)にて説明したようにステップS506により二値化された画像において白の階調に分類された部分のオブジェクトは原画像において暗く細い部分であり、したがって神経突起300である可能性が高い。ただし、ステップS506により二値化された画像の段階では、まだ、死細胞240や生細胞250などのノイズ成分がオブジェクトの中に比較的多く混在している可能性が高い。
【0107】
そこで、神経突起抽出部45は、神経突起300に対応するオブジェクトの抽出のために、ステップS506により二値化された画像から、ステップS502のソフトマッチングにより処理された画像を差し引いた差分画像を生成する(ステップS509)。
【0108】
ステップS502のソフトマッチングにより処理された画像では、前述のように、死細胞240に対応する特徴を有する画像領域がオブジェクトとして抽出されている。したがって、ステップS509により生成された差分画像は、ステップS506により二値化された画像のオブジェクトから死細胞240に対応するオブジェクトを除外した内容を有する画像である。
【0109】
また、神経突起抽出部45は、さらに、ステップS509により生成した差分画像から、ステップS508により抽出されたオブジェクトの画像を差し引いた差分画像を生成する(ステップS510)。ステップS508により抽出されたオブジェクトは、前述のように生細胞250に対応する。したがって、ステップS510により生成された差分画像においては、さらに生細胞250に対応するオブジェクトが除外される。つまり、ステップS510により生成された差分画像は、神経突起300の候補であるオブジェクトのうちから、死細胞240と生細胞250である可能性が高いオブジェクトを除外した内容を有する。
【0110】
図20(a)は、ステップS506により二値化された画像の例を示している。また、
図20(b)は、
図20(a)の画像の生成元となった原画像を利用してステップS502によるソフトマッチングを行った画像を示している。また、
図20(c)は、ステップS508により抽出されたオブジェクトを示す画像である。
例えば、ステップS509とステップS510の処理は、
図20(a)に示す画像に対して、
図20(b)に示す画像と
図20(c)に示す画像の両者を差し引く処理に相当する。
【0111】
次に、神経突起抽出部45は、ステップS510により生成した差分画像から、さらに、神経突起300に対応するオブジェクトを絞り込むための処理を以下のように実行する。
前述のように神経突起300は、位相差画像としての原画像において細く暗い部分として観察されるのであるが、その長さが一定以下のものについては、神経突起300ではなく、例えば生細胞250などである可能性が高い。したがって、ステップS510により生成された差分画像において示されるオブジェクトのうちで長さが一定以下のものについては除外すれば、より高い精度で神経突起300を抽出できる。
【0112】
そこで、つまり、神経突起抽出部45は、ステップS510により生成した差分画像において示される神経突起300の候補のオブジェクトについて細線化処理を実行する(ステップS511)。なお、この細線化処理の方式についてはここでは特に限定されない。
【0113】
図21(a)は、ステップS510により生成された差分画像の内容例を示している。この図において、輝度が最も低い黒色により示されている部分が神経突起300の候補として抽出されたオブジェクトである。
神経突起抽出部45が
図21(a)の画像のオブジェクトに対する細線化を施すことにより、
図21(b)に示す画像が得られる。この
図21(b)から分かるように、ステップS511の細線化によって、
図21(a)においてある程度の太さを有していたオブジェクトが線状に変換される。このようにオブジェクトが線状化されたことにより、オブジェクトを長さにより定量化できる。
【0114】
そこで、神経突起抽出部45は、ステップS511により細線化されたオブジェクトのうちから、その長さが一定以上のもののみを選別する(ステップS512)。具体的に、神経突起抽出部45は、例えば細線化されたオブジェクトのうちで、その長さが予め設定した閾値未満のものについては削除し、閾値以上のもののみを残す。
【0115】
次に、神経突起抽出部45は、ステップS512により選別されたオブジェクトを元の太さに復元する(ステップS513)。
図21(c)は、ステップS512により復元されたオブジェクトを示す画像例を示している。ここで、
図21(a)において破線で括って示す領域に存在していたオブジェクトは、その長さが一定未満であったためにステップS512により削除されたため、
図21(c)の復元段階においては存在していない。このようにステップS513により復元された段階の画像においては、死細胞240や生細胞250などに対応するノイズが除去され、神経突起300に対応するオブジェクト高い精度で抽出されている。
そして、神経突起抽出部45は、ステップS513により復元したオブジェクトを示す画像を、神経突起300を抽出した結果として出力する(ステップS514)。
【0116】
前述のように、ステップS502のソフトマッチングによっては、死細胞240に対応する部分として、明るい輪郭により周囲が縁取られた部分をオブジェクトとして抽出した画像が得られる。そのうえで、神経突起抽出部45は、より高い精度で死細胞240を抽出するために、以下の処理を実行する。
【0117】
つまり、神経突起抽出部45は、ステップS501により入力した原画像についてダイレーション(膨張)を行い(ステップS515)、さらに、このステップS515によりダイレーションを行った画像から、ステップS501により入力した原画像を差し引いた差分画像を生成する(ステップS516)。
【0118】
次に、神経突起抽出部45は、ステップS516により生成された差分画像について二値化する(ステップS517)。そして、神経突起抽出部45は、ステップS517により二値化した画像におけるオブジェクトと、ステップS502のソフトマッチングにより抽出したオブジェクトとで共通となる部分をオブジェクトとして抽出する(ステップS518)。
【0119】
図22は、ステップS515とステップS516の処理に対応する画像例を示している。
図22(a)は、ステップS501により入力した原画像の例であり、
図22(b)は、
図22(a)の原画像をステップS516によりダイレーションした画像である。また、
図22(c)は、ステップS516により、
図22(a)の画像から、
図22(a)の画像を差し引いた画像である。この
図22(c)に示す画像においては、濃度勾配の大きい部分が強調された状態となっている。
【0120】
また、
図23は、ステップS517とS518の処理に対応する画像例を示している。
図23(a)は、
図22(c)に示した差分画像をステップS517により二値化して、白の階調に分類された部分をオブジェクトとして抽出した例を示している。
そして、
図23(c)は、ステップS508により、
図23(a)に示されるオブジェクトと
図23(b)に示されるオブジェクトとで共通となる部分として抽出したオブジェクトを示す画像である。
図23(b)と
図23(c)を比較して分かるように、ステップS518の段階では、ソフトマッチングにより抽出されたオブジェクトから、さらに死細胞240としてのオブジェクトが絞り込まれている。
【0121】
これまでの説明から理解されるように、ステップS508により抽出されたオブジェクトは生細胞250に対応する。しかし、ステップS508の段階では、現実には個別のものであるのに係わらず、互いが近接しているために、複数の生細胞250に対応するオブジェクトが1つのオブジェクトとしてつながった状態で抽出されている場合がある。この点については、ステップS518によって抽出された死細胞240のオブジェクトについても同様のことがいえる。
【0122】
例えば、神経突起300の状態判定にあたり、生細胞250と死細胞240の数は有効な判定要素となる。このために、抽出結果における生細胞250と死細胞240のそれぞれに対応するオブジェクト数はできるだけ正確であることが好ましい。
そこで、神経突起抽出部45は、ステップS508により抽出された生細胞250のオブジェクトについて領域分割の画像処理を実行する(ステップS519)。つまり、神経突起抽出部45は、複数の生細胞250が重複して1つとして抽出されたものとして推定されるオブジェクトを複数の生細胞250ごとに対応して分割する。これにより、互いに接触して1つのオブジェクトとして抽出されている生細胞250のオブジェクトが複数に分割される。また、神経突起抽出部45は、ステップS518により抽出された死細胞240オブジェクトについて領域分割の画像処理を実行する(ステップS521)。これにより、互いに接触して1つのオブジェクトとして抽出されている死細胞240のオブジェクトが複数に分割される。
【0123】
ステップS519またはS521における領域分割のためのアルゴリズムとしては特に限定されないが、有効なものの1つとして水分界分離アルゴリズムが知られている。
図24(a)、(b)は、水分界分離による領域分割を模式的に示している。例えば、
図24(a)には、円形の2つのオブジェクトOBJ1とオブジェクトOBJ2との一部が重なるように接触した状態が示されている。この場合において、水分界分離のアルゴリズムにより分割領域を行うことで、オブジェクトOBJ1とオブジェクトOBJ2は、
図24(b)に示すように分離される。
【0124】
そのうえで、生細胞250は、死細胞240と比較すると大きく、その形状も比較的多様である。一方、死細胞240は比較的小さく、また、原画像上では円形に近い状態で存在している。
そこで、神経突起抽出部45は、ステップS519とステップS521で、以下のように、生細胞250と死細胞240のそれぞれに適合させた領域分割を行う。
【0125】
具体的に、
図24(c)、(d)は、ステップS519による生細胞250のオブジェクトに対する領域分割の例を示している。
図24(a)は領域分割前の画像(つまり、ステップS508により抽出されたオブジェクトが示される画像)であり、
図24(b)は、領域分割後の画像である。
【0126】
図24(a)において2つの生細胞250のオブジェクトが接触している可能性がある(分水界である)として推定される部位は、例えば破線Aと破線Bで括って示す部位である。ここで、破線Aにより示される部位において2つのオブジェクトが重なり合っているとした場合、これらのオブジェクトを分割した際の分割線(分水界)は、ある程度長いものとなる。一方、破線Bにより示される部位において2つのオブジェクトが重なり合っているとした場合のオブジェクト間の分水界の長さは、破線Aにより示される部分と比較して相当に短い。
【0127】
生細胞250には、前述のように、その形状が多様であるという特徴がある。この点からすると、破線Aで括って示す部位を含むオブジェクトは、現実においても1つの生細胞250である可能性が高い。これに対して、破線Bで括って示す部位については、現実には2つ存在するオブジェクトが重なっている部分である可能性が高い。そこで、生細胞250に対応するステップS519の領域分割にあたり、神経突起抽出部45は、重複している部分を分割した場合の分水界(分割線)の長さが一定以下となる場合にのみ分割を行うようにする。これにより、
図24(c)に示される画像を対象に領域分割を行った場合には、
図24(d)に示すようになる。つまり、破線Aで示す領域は分割されず、破線Bで示す領域が分割される。
【0128】
一方、死細胞240は、前述のように、比較的小さく、その形状も円形に近い粒状である。そこで、生細胞250に対応するステップS519の領域分割にあたり、神経突起抽出部45は、例えば分水界であると検出された部位について、その長短に係わらずすべて分割する。
図24(e)は、ステップS518にて抽出されたオブジェクトが示される画像の一例である。この画像においては、破線Cで示す部分が分水界として推定されている。そこで、神経突起抽出部45は、
図24(f)に示すように、ステップS521により、破線Cで示す部分を分割するように領域分割を行う。
【0129】
そして、神経突起抽出部45は、ステップS519により分割領域を行った後のオブジェクトの抽出結果を生細胞250の抽出結果として出力する(ステップS520)。また、神経突起抽出部45は、ステップS521により分割領域を行った後のオブジェクトの抽出結果を死細胞240の抽出結果として出力する(ステップS522)。
【0130】
なお、この
図16のフローチャートに示す処理も、
図9における1つの撮像時刻に対応して生成された単焦点画像としての原画像を対象として行われるものである。したがって、神経突起抽出部45は、タイムラプス画像を形成する単焦点画像ごとに対応して
図16の処理を実行する。
【0131】
このように、本実施形態においては、画像からロゼッタ100と神経突起300を抽出し、この抽出結果に基づいてロゼッタ100や神経突起300の状態を判定する。つまり、本実施形態においては、インキュベータ11によりロゼッタ100と神経突起300の抽出と、この抽出結果に基づく各種の判定とが自動で行われる。これにより、本実施形態においては、人的労力の軽減が図られる。
また、本実施形態においては、細胞を撮像した画像の内容に基づいてロゼッタの状態を判定しているので、非侵襲により安定的に神経細胞の分化状態が評価できる。本実施形態では、非侵襲によりロゼッタ100や神経突起300を有効に抽出可能な画像形式として、位相差画像を採用しているものである。
また、本実施形態では、インキュベータ11内で培養されている環境の細胞を撮像するようにしているので、撮像のために培養を中断してインキュベータから取り出す必要が無い。これにより、培養過程の細胞の品質が劣化せず安定する。
【0132】
なお、本実施形態においては、ロゼッタ100とともに神経突起300も抽出し、これらの構造物の状態に基づいて細胞の状態を総合的に判定しているが、例えばロゼッタ100のみにより細胞の状態を判定してもよい。ただし、神経突起300の抽出結果も併用したほうが、より信頼性の高い判定結果が期待できる。
また、ロゼッタ100とともに抽出する構造物については、例えば神経管など、神経突起300以外のであってもよい。また、ロゼッタ100と神経突起300を抽出したうえで、さらに他の構造物も抽出し、これらの抽出結果に基づいて細胞の状態判定を行うようにしてもよい。
【0133】
また、
図3における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより構造物の抽出および状態の判定などを行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0134】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0135】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。