【国等の委託研究の成果に係る記載事項】(出願人による申告)平成26年度、独立行政法人科学技術振興機構、産学イノベーション加速事業(S−イノベ)「網膜細胞移植医療に用いるヒトiPS細胞から移植細胞への分化誘導に係わる工程および品質管理技術の開発」に係る委託業務、産業技術力強化法第19条の適用を受ける特許出願
【課題】培養液内の異なる粒径を有する細胞塊における粒径分布又は粒子数を非侵襲にかつ的確に推定すること、及び、その結果、品質管理又はその生産管理を安価にかつ的確に行うことが可能な培養液の培養状態解析システム等を提供すること。
【解決手段】状態解析システム1は、複数の異なる粒径の細胞塊が存在する推定対象となる懸濁培養液51内の特定領域52を撮像し、予め登録された複数の基底情報に基づいて当該撮影した特定領域52について画像解析することによって、当該推定対象の細胞塊の分布特徴量における各基底情報の基底混合比を推定し、当該推定した混合比に基づいて、懸濁培養容器50全体における細胞塊の粒径分布、及び、懸濁培養容器50全体における細胞塊の総粒子数を算出し、細胞塊の状態を解析する。
細胞塊を含む培養液である検体であって培養に関する目標項目が既知で、かつ、当該目標項目が異なる複数の検体のそれぞれについて、当該目標項目の値と、前記培養液を有する容器内の一部の領域である画像化された特定領域における前記細胞塊の特徴量と、を含む情報を、基底情報として、予め記録手段に登録する登録手段と、
撮像装置から、推定対象の培養液を有する前記容器内の前記特定領域が画像化された対象画像を対象画像データとして取得する取得手段と、
前記取得された対象画像データの対象画像に対して所定の画像解析を実行し、当該対象画像内における前記細胞塊の特徴量を検出する検出手段と、
前記登録されている各基底情報における前記細胞塊の特徴量と前記検出された細胞塊の特徴量とに基づいて、所定の演算を実行し、前記推定対象に含まれる各基底情報の混合比を推定する推定手段と、
前記推定された混合比と、前記予め登録されている各基底情報の目標項目の値と、に基づいて、所定の演算を実行し、前記推定対象における前記目標項目を算出する算出手段と、
を備えることを特徴とする、培養液の培養状態解析システム。
細胞塊を含む培養液である検体であって培養に関する目標項目が既知で、かつ、当該目標項目が異なる複数の検体のそれぞれについて、当該目標項目の値と、前記培養液を有する容器内の一部の領域である画像化された特定領域における前記細胞塊の特徴量と、を含む情報を、基底情報として、予め記録手段に登録し、
撮像装置から、推定対象の培養液を有する前記容器内の前記特定領域が画像化された対象画像を対象画像データとして取得し、
前記取得された対象画像データの対象画像に対して所定の画像解析を実行し、当該対象画像内における前記細胞塊の特徴量を検出し、
前記登録されている各基底情報における前記細胞塊の特徴量と前記検出された細胞塊の特徴量とに基づいて、所定の演算を実行し、前記推定対象に含まれる各基底情報の混合比を推定し、
前記推定された混合比と、前記予め登録されている各基底情報の目標項目の値と、に基づいて、所定の演算を実行し、前記推定対象における前記目標項目を算出する、
ことを特徴とする、培養液の培養状態解析方法。
【発明を実施するための形態】
【0012】
以下、本発明に係る実施形態について、図面を参照しながら説明する。なお、以下の実施形態は、懸濁培養液内に異なる粒径の細胞塊が存在する容器内の一部の領域を撮像し、当該撮像した領域の画像を用いて細胞塊の粒径分布及び粒子数などの細胞塊の状態を解析する状態解析システムに対して、本発明に係る培養液の培養状態解析システム及び状態解析方法並びにそのプログラムを適用した場合の実施形態である。ただし、本発明は、その技術的思想を含む範囲内で以下の実施形態に限定されない。
【0013】
[1]状態解析システムの概要
まず、
図1及び
図2を用いて本実施形態における状態解析システム1の構成及び概要について説明する。なお、
図1は、本実施形態における状態解析システム1の構成を示すシステム構成図であり、
図2は、本実施形態の状態解析システムにおいて撮像された特定領域を示す対象画像の一例である。
【0014】
本実施形態の状態解析システム1は、細胞塊を含む培養液である検体であって培養に関する目標項目が既知で、かつ、当該目標項目が異なる複数の検体(以下、「基底検体」という。)の情報を用いることによって、具体的には、当該目標項目の値と、懸濁培養容器50内の一部の領域(以下、「特定領域」という。)52における細胞塊の特徴量と、を含む情報であって、異なる細胞塊の実粒径分布(すなわち、基底状態を示す細胞塊の分布)毎の情報(以下、「基底情報」という。)を用いることによって、未知の検体である推定対象となる懸濁培養液51の目標項目に基づく細胞塊の培養状態を解析するシステムである。
【0015】
特に、本実施形態においては、目標項目としては、推定対象の懸濁培養液や基底情報に用いる懸濁培養液における懸濁培養容器全体の細胞塊の実粒径分布及びその総粒子数を用いており、本実施形態の状態解析システム1は、推定対象の懸濁培養液51における懸濁培養容器50全体の細胞塊の実粒径分布及びその総粒子数を解析するようになっている。
【0016】
すなわち、本実施形態の状態解析システム1は、複数の異なる粒径の細胞塊が存在する推定対象となる懸濁培養液51内の特定領域52を撮像し、予め登録された複数の基底情報と、当該撮影した特定領域52について所定の画像解析の結果と、に基づいて、当該推定対象の細胞塊の分布特徴量における各基底情報の混合比(以下、「基底混合比」ともいう。)を推定し、当該推定した混合比に基づいて、懸濁培養容器50全体における細胞塊の粒径分布、及び、懸濁培養容器50全体における細胞塊の総粒子数を算出し、細胞塊の状態を解析するようになっている。
【0017】
例えば、iPS細胞やES細胞といった分化万能性を有する多能性幹細胞を三次元浮遊撹拌培養により大量に培養する際には、その未分化性を維持するために、胚様体(embryoid body:EB)と呼ばれる細胞塊の粒径を大きくなりすぎないように保ちながら培養する必要がある。細胞塊が大きくなりすぎた場合、細胞塊内部の細胞が虚血(低栄養、低酸素)状態に陥り、細胞死を助長してしまったり、多能性幹細胞からなる細胞塊を任意の細胞へ分化培養する際においても、細胞塊が大きすぎたり、粒径にばらつきが大きいと、培地中に添加した分化誘導因子が細胞塊の内部へ均一に到達(拡散)せず、分化誘導効率が落ちてしまうという問題点を生じる。そのため、培養中の細胞塊の粒径をモニターすることは重要である。
【0018】
また、iPS細胞などの各種の細胞を培養する際には、培養コストを低減させることも必要になっており、そのためには、懸濁培養液の量を適切に調整することも必要とされている。
【0019】
そこで、本実施形態の状態解析システム1は、推定対象の特定領域(対象画像)における各基底情報(すなわち、予め既知の目標項目に紐付けられた細胞塊の特徴量)の混合比を、非侵襲にかつ的確に推定し、推定対象の目標項目として、懸濁培養容器50全体の細胞塊の粒径分布及びその総粒子数を算出するようになっており、懸濁培養液51内における細胞塊の培養状況をモニタリングすることができるようになっている。
【0020】
具体的には、本実施形態の状態解析システム1は、懸濁培養容器50内の特定領域52に光を照射する照明装置10と、光が照射された特定領域52を撮像して得られた画像データ(以下、「対象画像データ」という。)を生成する撮像装置20と、対象画像データに対して画像解析を実行し、細胞塊の状態を解析する画像処理装置30と、から構成される。
【0021】
また、本実施形態の状態解析システム1においては、懸濁培養液51全体(すなわち、懸濁培養容器50全体)の細胞塊の状態を的確に解析するためには、対象画像上の細胞塊の粒子像の検出を的確に実行する必要がある。そこで、本実施形態の状態解析システム1においては、特定領域52の対象画像については、例えば、
図2に示すような、特定領域52としてシート状(2次元)の領域を撮像した画像を対象画像として用いるようになっている。
【0022】
照明装置10は、撮像装置20によって特定領域52を撮像する際に当該特定領域52を照射する装置であり、例えば、幅1mm〜2mmのシートレーザ光を照射する装置である。また、照明装置10は、画像処理装置30からの制御に基づいて、照射の有無、照明の種類、及び、照明の強度などを切り替えてレーザ光などの光ビームを出射するようになっている。
【0023】
撮像装置20は、画像処理装置30と連動する機能を有し、懸濁培養容器50の特定領域52を撮像する撮像機能を有する装置であって、例えば高速度カメラによって構成されている。特に、撮像装置20は、一定間隔(例えば12ms)毎に懸濁培養容器50の予め特定された特定領域52を同一の撮像条件によって複数回撮像して対象画像のデータを対象画像データとして生成し、当該生成した対象画像データを画像処理装置30に提供する構成を有している。
【0024】
具体的には、撮像装置20は、光学システムと、当該光学システムから入力された光学画像を電気信号に変換するCCDIセンサ(Charge Coupled Device Image Sensor)と、CCDIセンサにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有する。
【0025】
また、撮像装置20は、懸濁培養容器50が配置される位置から一定の距離を有する位置に固定設置され、向き及び画角が固定されており、常に一定の距離及び視野範囲によって懸濁培養容器50内の特定領域52を撮像できるように構成されている。
【0026】
画像処理装置30は、照明装置10及び撮像装置20と連動し、撮像装置20によって生成された対象画像データに対して画像解析を行うことによって、対象画像内における登録された各基底情報の基底混合比を推定し、当該推定した基底混合比に基づいて推定対象の懸濁培養容器50全体における細胞塊の状態を解析する装置である。
【0027】
具体的に、画像処理装置30は、規定量(例えば、懸濁培養容器50全体)の細胞塊の粒径分布及び当該懸濁培養容器50全体の総粒子数を示す目標項目が既知で、かつ、当該目標項目が異なる複数の基底検体のそれぞれについて、当該目標項目の値と、特定領域52における分布特徴量としての細胞塊の粒子像サイズのヒストグラムや当該細胞塊の粒子像数などの細胞塊の特徴量と、を含む基底情報を登録する登録処理を実行する構成を有している。
【0028】
また、画像処理装置30は、
(1)撮像装置20から、懸濁培養液51に推定対象の複数種類の細胞塊(具体的には粒径サイズの異なる細胞塊)が混在する懸濁培養容器50内の特定領域52が画像化された対象画像データを取得し、
(2)取得した対象画像データの対象画像に対して所定の画像解析を実行し、当該対象画像内における細胞塊の特徴量を検出し、
(3)登録されている各基底情報における細胞塊の特徴量と(2)で検出した細胞塊の特徴量とに基づいて所定の演算を実行し、推定対象に含まれる各基底情報の基底混合比を推定し、
(4)推定した基底混合比と、予め登録されている各基底情報の目標項目の値と、に基づいて、所定の演算を実行し、推定対象における前記目標項目を算出する、
構成を有している。
【0029】
なお、本実施形態においては、細胞塊の特徴量としては、特定領域における細胞塊の分布特徴量と、当該分布特徴量とは異なる特徴量である従属特徴量を用いるようになっており、特に、細胞塊の分布特徴量としては、特定領域の画像上における粒子像のピクセル数に基づくサイズのヒストグラムを用いるとともに、従属特徴量としては、特定領域における細胞塊の粒子像数を用いるようになっている。
【0030】
通常、ある特定の細胞塊における粒径の粒子のみを含む培養液の撮影画像に対して、細胞塊の特徴量の一つである粒子像サイズのヒストグラムは、細胞塊の粒径毎に独立であるので、複数の粒径の粒子を含む検体を観察することで得られる細胞塊の粒子像サイズにおけるヒストグラムは、既知の細胞塊の粒径別における基本分布(例えば、既知の細胞塊の粒径別における基底情報の分布特徴量)の足し合わせからなる混合分布とみなすことができる。したがって、観察された粒子像サイズのヒストグラムである混合分布から、基底情報に基づいて所定の演算処理を実行することによって、検体基底の基本分布の混合比(すなわち、基底混合比)を推定することができる。
【0031】
そこで、画像処理装置30は、予め登録された基底情報と、対象画像から検出した推定対象の特定領域52における細胞塊の特徴量(混合分布となる分布特徴量)と、に基づいて、当該細胞塊の特徴量における各検体基底に基づく基底混合比を推定することができるようになっている。
【0032】
また、各基底情報には、懸濁培養容器50全体の細胞塊の粒径分布及び当該懸濁培養容器50全体の総粒子数などの目標項目の値が含まれるので、画像処理装置30は、上記によって推定された基底混合比を、それぞれに対応する目標項目、例えば、懸濁培養容器50全体の細胞塊の粒径分布及び当該懸濁培養容器50全体の総粒子数に乗じて足し合わせて、推定対象の懸濁培養容器50全体における粒径分布及び総粒子数を算出できるようになっている。
【0033】
なお、本実施形態の「分布特徴量」は、基底の数以上の次元数が必要となっているため、以下の説明においては、分布特徴量は、基底の数以上の次元数をもつ特徴量である。
【0034】
このような構成により、本実施形態の状態解析システム1は、予め登録された情報と対象画像から検出した情報とに基づいて、推定対象に含まれる、目標項目が異なる基底情報における細胞塊の特徴量に対する基底混合比を推定しつつ、当該推定した基底混合比に基づいて、懸濁培養液51内の細胞塊の実粒径分布又は総粒子数などの推定対象における細胞培養に関する目標項目を推定することができるようになっている。
【0035】
したがって、本実施形態の状態解析システム1は、例えば、iPS細胞やES細胞などの生産時に重要となる細胞塊の大きさの管理や細胞数に基づく培養液の調整など、品質管理又はその生産管理を安価にかつ的確に行うことができるようになっている。
【0036】
なお、本実施形態においては、本実施形態の分布特徴量としては、上述のように、細胞塊の粒子像サイズのヒストグラムを用いているが、粒子像の丸さ・黒さ・ぼやけ具合・模様の荒れ具合・光沢感・楕円度の数値化された特徴量を順に並べた6次元ベクトルなどを用いてもよい。
【0037】
また、本実施形態においては、従属特徴量については、粒子像数を用いているが、分布特徴量以外の特徴量であればよく、例えば目標項目「培養液の汚れ具合」に関連させて「粒子状ではない像の数」又は「ゴミっぽい像の数」であってもよい。
【0038】
さらに、本実施形態においては、推定対象における目標項目として、細胞塊の実粒径分布のみならず、当該分布特徴量とは異なる特徴量である従属特徴量である粒子像数を検出し、当該検出された粒子像数(従属特徴量)と、推定された混合比と、予め登録されている各基底情報である実粒子像数(従属特徴量)の値と、に基づいて、推定すべき粒子数を算出するが、特定領域の画像から検出された分布特徴量に基づいて基底混合比を推定し、当該分布特徴量と、推定された基底混合比と、予め登録されている情報と、によって、推定対象の容器全体における細胞塊の実粒径分布のみを目標項目として算出してもよい。
【0039】
上記に加えて、本実施形態においては、懸濁培養容器50に攪拌機能を有し、懸濁培養液51が一定の速度(40rpm)で攪拌されている。
【0040】
[2]画像処理装置
次に、
図3を用いて本実施形態の画像処理装置30の構成について説明する。なお、
図3は、本実施形態の画像処理装置30のブロックを示すブロック図である。
【0041】
具体的には、本実施形態の画像処理装置30は、
図3に示すように、各種のプログラムが実行される際に用いられる各種のデータを記録するデータ記録部300と、撮像装置20から送信された対象画像データの対象画像に基づいて状態解析処理を実行するためのデータ処理部320と、液晶パネル等により構成される表示部340と、表示部340を制御する表示制御部350と、操作部370と、各部を制御する管理制御部380と、を有する。なお、上述の各部は、バス31によって相互に接続され、各構成要素間におけるデータの転送が実行される。
【0042】
データ記録部300は、例えば、HDD(Hard Disk Drive)等により構成され、状態解析処理など各処理を実行するアプリケーションプログラムが記録されるアプリケーション記録部301と、撮像装置20によって撮像されて生成された対象画像データが記録される画像データ記録部302と、細胞塊の分布特徴量の情報(以下、「分布特徴量情報」という。)及び粒子像数の情報(以下、「粒子像数情報」という。)を含む基底情報を含む各種の参照データが記録される参照データ記録部303と、各プログラムの実行中にワークエリアとして用いられるROM/RAM304と、を有している。
【0043】
特に、画像データ記録部302には、撮像装置20から取得した複数の対象画像を解析タイミング毎に記録されている。
【0044】
参照データ記録部303には、状態解析処理に先立って取得された当該状態解析処理に用いる各種の基底情報が記録される。具体的には、参照データ記録部303には、
(1)予め規定された量の基底検体としての懸濁培養液51を有する懸濁培養容器50内の特定領域52内が画像化された対象画像において、当該対象画像の画像上における細胞塊の粒子像のサイズのヒストグラムである分布特徴量情報(以下、「分布特徴量情報(基底)」という。)、
(2)予め規定された量の基底検体としての懸濁培養液51における対象画像の画像上における細胞塊の粒子像数である特徴量情報(以下、「粒子像数情報(基底)」という。)、
(3)予め規定された量の基底検体としての懸濁培養液51の全体(すなわち、懸濁培養容器50全体)に含まれる細胞塊の粒径分布の情報(以下、「実粒径分布情報」という。)、
(4)予め規定された量の基底検体としての懸濁培養液51の全体(すなわち、懸濁培養容器50全体)に含まれる細胞塊が存在する数の情報(以下、「実粒子数情報」という。)、
が基底情報としてそれぞれ複数の異なる実粒径分布毎に登録される。
【0045】
データ処理部320は、ROM/RAM304に記録されている状態解析処理を実行するアプリケーションに基づいて、
(1)分布特徴量情報(基底)、粒子像数情報(基底)、実粒径分布情報及び実粒子数情報を含む基底情報を異なる粒径(すなわち基底)のそれぞれについて基底情報として予め複数登録する登録処理、
(2)撮像装置20から取得した対象画像データの対象画像に対して所定の画像解析を実行し、当該対象画像における細胞塊の分布特徴量(以下、「分布特徴量(検出)」という。)及び粒子像数を検出するとともに、検出した細胞塊の分布特徴量(検出)と登録されている基底情報における分布特徴量(基底)とに基づいて、推定対象の懸濁培養液51における各基底情報の基底混合比を推定する混合比推定処理、及び、
(3)推定した基底混合比及び検出した粒子像数と、登録されている基底情報の実粒径分布情報及び実粒子数情報に基づいて、推定対象の懸濁培養液51を有する懸濁培養容器50全体における細胞塊の粒径分布及び総粒子数を算出する状態解析処理、
を実現する。
【0046】
特に、データ処理部320は、アプリケーションを実行することによって、登録処理を実行する登録処理部321と、照明装置10及び撮像装置20と連動するためのシステム制御部322と、対象画像内における細胞塊の粒径分布の検出を状態解析処理の一部として実行する検出処理部323と、解析結果に基づいて混合推定処理及び状態解析処理を実行する推定解析処理部324と、を実現する。
【0047】
例えば、本実施形態の登録処理部321は、本発明の登録手段を構成し、検出処理部323は、本名発明の取得手段及び検出手段を構成する。また、例えば、本実施形態の推定解析処理部324は、本発明の推定手段及び算出手段を構成する。なお、本実施形態におけるデータ処理部320の各部の詳細については、後述する。
【0048】
表示部340は、液晶素子又はEL(Electro Luminescence)素子のパネルによって構成され、表示制御部350において生成された表示データに基づいて所定の画像を表示する。
【0049】
表示制御部350は、管理制御部380及びデータ処理部320の制御の下、表示部340に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部340に出力する。
【0050】
操作部370は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキー等の多数のキーであって、表示部340上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。
【0051】
管理制御部380は、主に中央演算処理装置(CPU)によって構成され、プログラムを実行することによって、画像処理装置30の全体的な管理制御、及び、その他の各種の制御を行う。
【0052】
ROM/RAM304には、画像処理装置30の駆動に必要な各種のプログラムが記録されている。また、ROM/RAM304には、データ処理部320、及び、管理制御部380によって実行される様々なアプリケーションが記録されている。そして、ROM/RAM304は、各プログラムの実行中にワークエリアとして用いられる。
【0053】
[3]データ処理部
次に、
図4〜
図8を用いて本実施形態の画像処理装置30におけるデータ処理部320の詳細について説明する。
【0054】
なお、
図4は、本実施形態の登録処理部321において実行される対象画像から細胞塊の粒子像を検出する際の処理を説明するための図であり、
図5は、本実施形態の登録処理部321において実行される基底情報における分布特徴量情報(ヒストグラム)を説明するための図である。また、
図6は、本実施形態における画像処理装置30において検出された細胞塊の分布特徴量及び対象画像において推定された基底混合比で分解して表現された細胞塊の分布特徴量(ヒストグラム)の一例であり、
図7は、本実施形態の状態解析システムの画像処理装置において用いられる実粒径分布を示すグラフの例示である。さらに、
図8は、本実施形態の状態解析システムの画像処理装置に特定された推定粒径分布のグラフの例示である
【0055】
登録処理部321は、図示しない測定器又は操作部370と連動し、状態解析処理に用いる特定の粒径のみからなる懸濁培養液51、すなわち、基底検体についての粒径分布及び粒子像数の情報を取得し、当該取得した粒径分布及び粒子像数の情報を基底情報の特徴量情報として参照データ記録部303に登録する。
【0056】
特に、登録処理部321は、基底情報として、複数の基底検体毎に
(1)特定領域52における細胞塊の分布特徴量情報、
(2)特定領域52における細胞塊の粒子像数情報
(3)実粒径分布情報、
(4)実粒子数情報、
を、参照データ記録部303にそれぞれを登録する。
【0057】
具体的には、登録処理部321は、分布特徴量情報(基底)及び粒子像数情報(基底)については、基底検体毎に、照明装置10及び撮像装置20と連動し、予め定められた撮像条件によって懸濁培養容器50内の特定領域52を撮像した複数の対象画像を取得するとともに、当該取得した各対象画像に対して所定の画像解析を実行する。
【0058】
そして、登録処理部321は、予め定められた検出条件に基づいて、分布特徴量として対象画像に存在する細胞塊のピクセル数に基づく粒径サイズのヒストグラムと、粒子像数情報として当該対象画像に存在する細胞塊の粒子像数と、を検出する。
【0059】
また、登録処理部321は、基底検体毎に、複数の対象画像のそれぞれについて検出した分布特徴量及び粒子像数を平均化し、平均化した分布特徴量及び粒子像数を分布特徴量情報(基底)及び粒子像数情報(基底)として参照データ記録部303に登録する。
【0060】
例えば、撮像条件には、レンズ、露光時間、撮像間隔、撮像枚数が含まれ、照明装置10における照明の種類及び照明の強度と、撮像装置20における懸濁培養容器50からの距離、向き及び画角とともに、共通の条件を用いて推定対象物を画像化できるようになっている。また、検出条件には、2値化する際の閾値やノイズを除去する強度などの各種のパラメータが含まれる。
【0061】
また、例えば、登録処理部321は、
図4(A)、(B)及び(C)に示すように、3つの基底検体数の場合には、粒径100μm±10μm、粒径200μm±10μm、及び、粒径300μm±10μmの基底検体について細胞塊の分布特徴量及び粒子像数情報を分布特徴量情報(基底)及び粒子像数情報(基底)として取得する。
【0062】
一方、登録処理部321は、コールター測定器又はフローサイトメトリーなどの図示しない測定器と連動し、分布特徴量情報(基底)及び粒子像数情報(基底)を検出した基底検体の懸濁培養液51について、予め規定された量(懸濁培養容器50全体)の当該懸濁培養液51について測定した結果を取得する。
【0063】
すなわち、登録処理部321は、分布特徴量情報(基底)及び粒子像数情報(基底)を検出した懸濁培養液について、細胞塊の実粒径分布及び実粒子数の測定結果を実粒径分布情報及び実粒子数情報として取得し、参照データ記録部303にそれぞれを登録する。
【0064】
なお、登録処理部321は、図示しない測定器から直接的に、実粒径分布及び実粒子数を取得してもよいし、操作部370を介して手動により取得してもよい。
【0065】
システム制御部322は、操作部370を介して入力された操作指示に基づいて照明装置10及び撮像装置20を制御する。具体的には、システム制御部322は、状態解析処理の開始時に、又は、予め分布特徴量情報(基底)及び粒子像数情報(基底)を取得する際に、レンズの選定及びピント、撮影タイミング、撮像枚数、照明の種類、及び、照明強度などの撮像装置20及び照明装置10を制御する。
【0066】
特に、システム制御部322は、異なる粒径の細胞塊が複数存在する懸濁培養液51における細胞塊状態を解析する状態解析処理を実行する場合と、基底検体について予め分布特徴量情報(基底)及び粒子像数情報(基底)を取得する場合と、において、同一の撮像条件となるように撮像装置20及び照明装置10を制御する。
【0067】
例えば、システム制御部322は、推定対象において状態解析処理を実行する際と、予め分布特徴量情報(基底)及び粒子像数情報(基底)を取得する際と、において、同一の撮像条件となるように、照明装置10を制御して懸濁培養容器50内の特定領域52を照射可能なシートレーザ光を照射させ、当該照射された特定領域52を所定の時間間隔毎に所定回数撮像し、撮像した画像を登録処理部321又は検出処理部323に提供する。
【0068】
検出処理部323は、異なる粒径の細胞塊が複数存在する懸濁培養液51(すなわち、推定対象)における細胞塊状態を解析する場合に、取得された推定対象における特定領域52の各対象画像のそれぞれにおいて画像解析を実行することによって、各対象画像上のピクセル数に基づく粒径サイズのヒストグラムと、各対象画像上の粒子像数と、をそれぞれ検出し、それらの各平均を平均分布特徴量又は平均粒子像数として算出する。そして、検出処理部323は、算出した平均分布特徴量及び平均粒子像数を分布特徴量情報(検出)及び粒子像数情報(検出)として、推定解析処理部324に提供する。
【0069】
具体的には、検出処理部323は、対象画像毎に、例えば、
図4(A)に示すように、該当する各対象画像から細胞塊の粒子像を特定するためのテンプレートマッチングや円検出を行うハフ変換などの所定の処理を実行することによって、
図4(B)に示すように、対象画像内に存在する細胞塊の粒子像を検出し、例えば、
図4(C)に示すように、当該検出した細胞塊の粒子像の画素数に基づいて粒子像サイズのヒストグラム及びその数(粒子像数)を取得する。そして、検出処理部323は、各粒子像サイズのヒストグラム及びその数を平均化し、平均分布特徴量及び平均粒子像数を特定する。
【0070】
なお、2値化処理やテンプレートマッチングを適用する際の閾値など、対象画像内に存在する細胞塊の粒子像を検出する際の各種のパラメータは、適宜設定されるが、全ての対象画像において同一の条件が用いられるとともに、上述の登録処理部321において実行される基底情報の分布特徴量及び粒子像数を取得する際と同一の条件が用いられる。
【0071】
また、タイミングによっては、攪拌を行うための羽が対象画像に含まれる可能性があるが、推定解析処理部324は、攪拌を行うための羽が対象画像に含まれた場合には、該当する対象画像を検出対象から取り除くようになっている。ただし、本実施形態においては、攪拌を行うための羽根が対象画像に含まれないように撮影タイミングを制御してもよい。
【0072】
推定解析処理部324は、参照データ記録部303に記録された基底検体毎の分布特徴量情報(基底)と検出処理部323において算出された分布特徴量情報(検出)とに基づいて、所定の演算を実行し、分布特徴量情報(検出)における各基底情報における基底混合比を算出する。特に、推定解析処理部324は、例えば、制約条件付き最小二乗法の演算を実行し、分布特徴量情報(検出)における各基底情報における基底混合比を算出する。
【0073】
なお、分布特徴量情報(基底)を所定のビン数のヒストグラムとして表現した場合には、分布特徴量情報(検出)によって示される混合分布は、各基底情報の分布特徴量(基底)の重み付きの足し合わせと想定することができる。
【0074】
例えば、基底検体の数を「3」個、それぞれの基本分布をA,B,Cとし、それぞれに対応する重みをπA、πB及びπCとして、基本分布及び混合分布をビン数qのヒストグラムとして表した場合、基底の重み付き足し合わせで得られる混合分布Sは、(式1)のように表現することができる。
【数1】
【0075】
また、検出処理部323において算出される分布特徴量(検出)によって示される分布特徴量を「P」とすると、推定解析処理部324は、基底の重み付き足し合わせで得られる混合分布Sと分布特徴量Pの差が最小となるようなπA、πB及びπCを算出する。
【数2】
【0076】
なお、(式1)及び(式2)は、「x」及び「π」は、基底検体の混合比を示し、「A」、「B」及び「C」及び「D」は、それぞれの分布特徴量情報によって示される基底検体の基本分布を示す。また、(式1)及び(式2)において、「πA」、「πB」、「πC」は、基底の数が「3」の場合の具体例である。
【0077】
例えば、推定解析処理部324は、基底検体の基本分布として
図5(A)、(B)及び(C)を用いる場合には、検出処理部323によって特定された平均分布特徴量(
図6(A))に対し、最適な近似による混合分布(
図6(B))を与えるための基底検体毎の基底混合比、すなわち、各基底情報の基底混合比を算出する。
【0078】
なお、
図6(B)は、
図6(A)の入力に対し、基底検体Aについては25%、基底検体Bについては35%及び基底検体Cについては40%の基底混合比が算出されていることを示している。
【0079】
一方、推定解析処理部324は、基底混合比を算出すると、参照データ記録部303に記録された基底検体毎の実粒径分布情報と、推定した基底検体毎の基底混合比と、に基づいて、対象画像が撮影された際の懸濁培養容器50全体における粒径分布を推定粒径分布として推定する。
【0080】
具体的には、推定解析処理部324は、基底検体(基底情報)毎の実粒径分布情報によって示される粒径分布を、該当する推定した基底混合比を用いて1つの粒径分布に合成して推定粒径分布を生成する。例えば、
図7(A)、(B)及び(C)に示すような基底検体毎の実粒径分布情報によって示される粒径分布であって、推定した各基底情報の基底混合比が、基底検体Aについては25%、基底検体Bについては35%及び基底検体Cについては40%の場合には、推定解析処理部324は、
図8に示すような推定粒径分布を生成する。
【0081】
他方、推定解析処理部324は、参照データ記録部303に記録された基底検体(基底情報)毎の実粒子数情報及び粒子像数情報(基底)と、算出された平均粒子像数情報(推定対象の特定領域52における平均の粒子像数)と、推定した基底情報毎の基底混合比と、に基づいて、対象画像を撮影した際の基底情報毎の懸濁培養容器50全体における粒子数を推定する。
【0082】
具体的には、推定解析処理部324は、推定した基底情報毎の基底混合比を用いて粒子像数情報(検出)における粒子像数を配分し、当該配分した値である平均配分粒子像数を、対応する基底情報の実粒子数情報によって示される実粒子数に対する当該基底検体の粒子像数の割合で除算することによって得られる基底毎の実粒子数を、全ての基底にわたって加算することにより、対象画像を撮影した際の懸濁培養容器50全体における粒子数を算出する。
【0083】
例えば、推定した基底情報毎の混合比が、基底検体Aについては25%、基底検体Bについては35%及び基底検体Cについては40%の場合であって、推定対象の特定領域52における粒子像数情報(検出)によって示される粒子像数が「500」、及び、各基底検体の基底情報における実粒子数情報によって示される数に対する粒子像数情報(基底)によって示される数の割合が(A,B,C)=(1/10,1/30,1/20)の場合には、推定解析処理部324は、平均配分粒子像数を(125、175、200)と算出し、各基底検体に対応する懸濁培養容器50全体の粒子像数(NA,NB,NC)を(1250,5250,4000)と算出し、結果として、懸濁培養容器50全体の粒子数を、これらを足し合わせた10500として算出する。
【0084】
[4]状態解析システムの動作
次に、
図9を用いて本実施形態の状態解析システム1の画像処理装置30において実行される品質判定処理の動作について説明する。なお、
図9は、本実施形態の状態解析システム1の画像処理装置30において実行される状態解析処理の動作を示すフローチャートである。
【0085】
本動作は、画像分布特徴量情報、実粒径分布情報、粒子像数情報(基底)及び実粒子数情報を含む異なる基底検体それぞれにおける基底情報が予めデータ記録部300に記録されているものとする。
【0086】
また、本動作においては、懸濁培養容器50には、目標項目が未知の推定対象が存在する懸濁培養液51にて培養されているものとする。
【0087】
まず、システム制御部322は、操作部370を介して入力された操作者の操作に基づいて、懸濁培養容器50において培養されている細胞塊の状態解析処理の開始を検出すると(ステップS101)、撮像装置20を制御し、当該撮像装置20に特定領域52を複数回(例えば180回)で所定の時間間隔(例えば12ms)毎に撮像させて複数の対象画像を取得する(ステップS102)。
【0088】
次いで、検出処理部323は、各対象画像において画像解析を実行し、各対象画像上のピクセル数に基づく粒子像のサイズのヒストグラムをそれぞれ検出し、その平均を示す平均分布特徴量(混合分布)を分布特徴量(検出)として算出するとともに、各対象画像上の粒子像数をそれぞれ検出し、その平均を示す平均粒子像数を粒子像数情報(検出)として算出する(ステップS103)。
【0089】
次いで、推定解析処理部324は、参照データ記録部303から記録されている分布特徴量情報(基底)、実粒径分布情報、実粒子数情報及び粒子像数情報(基底)の各基底情報を読み出す(ステップS104)。
【0090】
次いで、推定解析処理部324は、読み出した分布特徴量情報(基底)と算出した分布特徴量(検出)とに基づいて、所定の演算(制約付き最小二乗法)を実行し、当該分布特徴量(検出)における基底情報毎の基底混合比を算出する(ステップS105)。
【0091】
次いで、推定解析処理部324は、読み出した各基底情報の実粒径分布情報と、算出した基底混合比とに基づいて、対象画像における粒径分布を推定粒径分布として特定する(ステップS106)。
【0092】
具体的には、推定解析処理部324は、読み出した各基底情報の実粒径分布情報のそれぞれを該当する基底混合比を用いて合成し、対象画像における粒径分布を推定粒径分布として特定する。
【0093】
次いで、推定解析処理部324は、読み出した各基底情報の実粒子数情報及び粒子像数情報(基底)と、算出された推定対象の特定領域52内の平均部分粒子像数と、算出した基底混合比と、に基づいて、対象画像における容器全体の粒子数を推定粒子数として推定し(ステップS107)、本動作を終了させる。
【0094】
具体的には、推定解析処理部324は、推定対象の特定領域52内の粒子像数情報(検出)によって示される粒子像数から、算出した各基底情報の基底混合比を用いて、それぞれの基底検体における平均配分粒子像数を算出する。また、推定解析処理部324は、対応する基底検体の実粒子数情報によって示される実粒子数に対する当該基底検体の粒子像数の割合で対応する平均配分粒子像数を除算することにより、対象画像を撮影した際の基底検体毎の懸濁培養容器50全体における粒子数を算出する。そして、推定解析処理部324は、全ての基底検体において算出した粒子数を足し合わせることにより、懸濁培養容器50全体における粒子数を推定粒子数として特定する。
【0095】
[5]シミュレーション結果
次に、
図10〜
図15を用いて本実施形態において上記の基底混合比が有効に算出されることを確認するため実施したシミュレーション結果について説明する。
【0096】
本実施形態における状態解析処理は、基底混合比を的確に推定することができれば、推定すべき粒径分布及び粒子数も必然的に的確に推定することができるので、下記のシミュレーションは、基底混合比の算出についてのみ実施したものである。
【0097】
また、各シミュレーションにおいては、対象画像の画像上における粒径分布を示す3つ又は4つの分布特徴量情報(基底)として分布特徴量として8ビンのヒストグラムを想定し、ビン毎にランダムな値を生成させている。また、観測ノイズとしては、20%〜30%に設定されたものを用いており、観測ノイズ「20%」とは、予め定めた正解データとしての基底混合比から得られる理想のヒストグラム値を中心としてビン毎に最大±20%の範囲で正規分布的に観測値がずれるように設定されたものである。
【0098】
なお、本実施形態では、特定の粒径のみをもつ細胞塊を基底検体として用い、各基底情報における分布特徴量として粒子像サイズのヒストグラムを用いている。この場合、分布特徴量のグラフ形状は、特定のビンとその周辺に滑らかな山型に分布する形状となる。
【0099】
しかしながら、分布特徴量を、互いに関連のない特徴量を単に並べて作成する汎用的な場合には、分布特徴量の形状は、滑らかな山型ではなく、ランダムに生成した形状と似た複雑性を持つことが想定される。
【0100】
そこで、本シミュレーションでは、上記を想定し、より複雑なケースであっても本システムが良好な性質を保つことを確認したものである。
【0101】
なお、
図10〜
図15には、それぞれ8ビンのヒストグラムが例示されており、それぞれ、1ビンに対し、3つの縦方向の棒グラフが1セットになって表示されている。また、1ビンの縦棒グラフは、それぞれ、左から、
(左)真の混合割合から得られる理想のヒストグラムであって、基底の内訳を示しているヒストグラム、
(中)シミュレーションされたノイズ入りのヒストグラム(ノイズが入っているため、正確に内訳を示すことはできず)、及び、
(右)本実施形態によって上記のノイズ入りヒストグラムから推定された混合比のヒストグラムであって、色分けによりその基底の内訳を示す最適な近似のヒストグラム
である。
【0102】
[5.1]ノイズ耐性に関するシミュレーション
まず、
図10を用いて本実施形態のノイズ耐性に関するシミュレーション結果について説明する。なお、
図10は、本実施形態におけるノイズ耐性に関するシミュレーション結果を説明するための図である。
【0103】
本シミュレーションは、基底検体(A,B,C)の設定された真の基底混合比が(41.90%,15.33%,42.77%)の場合であって、各基底検体の分布特徴量情報(基底)が
図10(A)に示す場合の3回のそれぞれのシミュレーション結果である。
【0104】
また、本シミュレーションにおいては、真の基底混合比に基づいて各基底検体の分布特徴量を加算し、かつ、観測ノイズをビンごとに±20%で正規分布的に付与した分布を、検出した対象画像上の粒子像のピクセル数に基づくサイズのヒストグラムの複数回の平均の代わりとして用いている。
【0105】
第1のシミュレーション結果は、
図10(B)に示すように、基底検体(A,B,C)の基底混合比(すなわち、各基底情報における基底混合比)が(38.27%,16.33%,45.39%)となっているとともに、各ビンのそれぞれに対する割合(紙面左側が真の割合で紙面右側が実際の割合。以下同じ)もほぼ同程度になっており、良好な結果が得られている。
【0106】
また、第2及び第3のシミュレーション結果は、
図10(C)又は(D)に示すように、基底検体(A,B,C)の基底混合比が(41.44%,18.12%,40.44%)又は(44.76%,13.99%,41.25%)となっているとともに、各ビンのそれぞれに対する割合もほぼ同程度になっており、良好な結果が得られている。
【0107】
したがって、これらのシミュレーション結果から、ノイズによって観測値が変動する場合であっても、安定的に基底混合比の推定を行うことができることが分かる。
【0108】
[5.2]異なる混合比に基づくシミュレーション
次に、
図11を用いて本実施形態の異なる基底混合比に基づくシミュレーション結果について説明する。なお、
図11は、本実施形態における異なる基底混合比に基づくシミュレーション結果を説明するための図である。
【0109】
本シミュレーションは、基底検体毎(A,B,C)の設定される真の基底混合比を変動させた場合であって、各基底検体の分布特徴量情報が
図11(A)に示す場合の3回のシミュレーション結果である。
【0110】
また、本シミュレーションにおいては、真の基底混合比に基づいて各基底検体の分布特徴量を加算し、かつ、観測ノイズをビン毎に±20%で正規分布的に付与した分布を、検出した対象画像上の粒子像のピクセル数に基づくサイズのヒストグラムの複数回の平均の代わりとして用いている。
【0111】
第4のシミュレーション結果は、
図11(B)に示すように、基底検体(A,B,C)の真の基底混合比、すなわち、各基底情報における基底混合比(42.40%,43.85%,13.74%)が(42.04%,46.40%,11.56%)となっているとともに、各ビンのそれぞれに対する割合もほぼ同程度になっており、良好な結果が得られている。
【0112】
また、第5及び第6のシミュレーション結果は、
図11(C)又は(D)に示すように、基底検体(A,B,C)の真の基底混合比(26.76%,50.42%,22.82%)が(24.86%,49.77%,25.37%)又は真の基底混合比(35.85%,21.07%,43.09%)が(33.91%,19.33%,46.76%)となっているとともに、各ビンのそれぞれに対する割合もほぼ同程度になっており、良好な結果が得られている。
【0113】
したがって、これらのシミュレーション結果から、異なる基底混合比の場合であっても、安定的に基底混合比の推定を行うことができることが分かる。
【0114】
[5.3]混合分布における平均を用いた場合のシミュレーション
次に、
図12〜
図15を用いて本実施形態の混合分布における平均を用いた場合のシミュレーション結果について説明する。なお、
図12〜15は、本実施形態の混合分布における平均を用いた場合のシミュレーション結果を説明するための図である。
【0115】
本シミュレーションは、基底検体(A,B,C)によって設定される真の基底混合比をそれぞれ変動させた場合であって、各基底検体の分布特徴量情報がそれぞれ変化する場合の4つのシミュレーション結果である。
【0116】
また、本シミュレーションにおいては、真の基底混合比に基づいて各基底検体の分布特徴量を加算し、かつ、観測ノイズをビン毎に±30%で正規分布的に付与した分布を、100回生成してその平均を、検出した対象画像上の粒子像のピクセル数に基づくサイズのヒストグラムとして用いている。
【0117】
第7のシミュレーション結果は、
図12(A)に示す各基底検体の分布特徴量情報において、
図12(B)に示すように、基底検体(A,B,C)の真の基底混合比(41.33%,24.21%,34.46%)が(40.64%,24.66%,34.70%)となっているとともに、各ビンのそれぞれに対する割合もほぼ同程度になっており、良好な結果が得られている。
【0118】
また、第8及び第9のシミュレーション結果は、
図13(A)又は14(A)に示す各基底検体の分布特徴量情報において、
図13(B)又は
図14(D)に示すように、基底検体(A,B,C)の真の基底混合比(23.22%,36.61%,39.97%)が(23.02%,36.43%,40.54%)となり、基底検体(A,B,C)の真の基底混合比(18.93%,27.28%,53.79%)が(19.61%,26.91%,53.48%)になっているとともに、各ビンのそれぞれに対する割合もほぼ同程度になっており、良好な結果が得られている。
【0119】
さらに、第10のシミュレーション結果は、
図15(A)に示す各基底検体の分布特徴量情報において、
図15(B)に示すように、基底検体(A,B,C,D)の真の基底混合比(45.28%,14.85%,11.16%,28.71%)が(45.17%,15.89%,10.63%,28.31%)となっているとともに、各ビンのそれぞれに対する割合もほぼ同程度になっており、良好な結果が得られている。
【0120】
したがって、これらのシミュレーション結果から、混合分布における平均を用いることにより、安定的に基底混合比の推定を行うことができることが分かる。
【0121】
すなわち、本シミュレーションでは、1度あたりの観測ノイズとして比較的大きい30%を与えた場合でも、平均を用いることによって基底混合比の推定結果が安定していることが分かる。
【0122】
[6]変形例
[6.1]変形例1
上記実施形態の状態解析システム1は、撮像装置20、照明装置10及び画像処理装置30を有するスタンドアロン型によって実現されているが、撮像装置20及び照明装置10と、画像処理装置30と、が独立的に設置されてネットワークを介して接続されることによって実現されてもよい。
【0123】
[6.2]変形例2
上記実施形態においては、基底混合比を推定する際に、制限条件付き最小二乗法を用いているが、分布特徴量の選び方とその特性に応じてEMアルゴリズムなどの適切なアルゴリズムを用いて基底混合比を算出してもよい。
【0124】
[6.3]変形例3
上記実施形態においては、照明装置10としてシートレーザを用いて撮像装置20に特定領域52を撮像させているが、培養液の色や培養容器の形状に合わせて照明色や配置を変えたり、ハロゲンランプ又はLED照明などを用いて特定領域52を照射して当該特定領域52を撮像装置20に撮像してもよい。
【0125】
この場合には、画像処理装置30は、例えば、対象画像から焦点が合致する細胞塊のみ検出するように構成される。
【0126】
[6.4]変形例4
上記実施形態においては、基底情報における実粒径分布情報及び実粒子数情報を、懸濁培養液51全体(すなわち、容器全体)を測定することによって取得しているが、当該懸濁培養液51の一部を測定し、当該一部の容積と懸濁培養液全体の容積との容積比率に基づいて、懸濁培養液51全体としての基底情報における実粒径分布情報及び実粒子数情報を取得してもよい。
【0127】
[6.5]変形例5
上記実施形態においては、所定の条件の下に登録された基底情報を用いて基底混合比及び実粒径分布及び実粒子数を含む各種の目標項目を算出しているが、実際に登録された情報に代えて当該実際に登録された値から算出される値(補正値)を用いてもよい。
【0128】
例えば、システムにおいて100mlの懸濁培養液量で培養する場合の情報を扱いたいが、基底検体の準備やその他の状況で、50mlの懸濁培養液量に関する基底情報しか取得及び登録できない場合には、実粒径分布や実粒子数を2倍にする調整を行う補正値を用いてもよい。
【0129】
[6.6]変形例6
上記実施形態においては、複数の画像の個々から得られる特徴量を平均したものを平均分布特徴量として利用しているが、平均以外の方法によって分布特徴量を算出してもよい。
【0130】
例えば、50枚の対象画像それぞれの検出結果を単に足し合わせたものを分布特徴量としてもよいし、対象画像それぞれの検出結果を別の手法によって定められる重要度に応じて配分して足し合わせたものを分布特徴量としてもよい。
【0131】
以上、本実施形態の状態解析システム1は、推定対象の特定領域52における分布特徴量(混合分布)と、既に登録されている各基底情報と、に基づいて、分布特徴量(混合分布)の検体基底における基底混合比を推定することができるとともに、各基底情報には、懸濁培養容器50全体の細胞塊の粒径分布及び当該懸濁培養容器50全体の総粒子数などの目標項目の値が含まれるので、上記によって推定された基底混合比を用いて、それぞれに対応する目標項目、例えば、懸濁培養容器50全体の細胞塊の粒径分布及び当該懸濁培養容器50全体の総粒子数に適切な倍率を乗じて足し合わせることで、推定対象の懸濁培養容器50全体における粒径分布及び総粒子数を算出できる。
【0132】
したがって、本実施形態の状態解析システム1は、推定された基底混合比と基底情報に含まれる目標項目に基づいて、推定対象の懸濁培養容器50全体における粒径分布及び総粒子数を算出できる。
【0133】
特に、本実施形態の状態解析システム1は、予め登録された基底情報を用いた最適化を応用したことによって、ノイズ耐性のある基底混合比を算出することができるとともに、画像解析を用いて基底混合比のみならず、懸濁培養容器50全体における細胞塊の粒径分布及び粒子数を推定することができるので、非侵襲で、安価に、かつ、自由なタイミングによって、懸濁培養液の培養状態を解析することができる。