特表-18180206IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧
再表2018-180206細胞画像評価装置および方法並びにプログラム
<>
  • 再表WO2018180206-細胞画像評価装置および方法並びにプログラム 図000003
  • 再表WO2018180206-細胞画像評価装置および方法並びにプログラム 図000004
  • 再表WO2018180206-細胞画像評価装置および方法並びにプログラム 図000005
  • 再表WO2018180206-細胞画像評価装置および方法並びにプログラム 図000006
  • 再表WO2018180206-細胞画像評価装置および方法並びにプログラム 図000007
  • 再表WO2018180206-細胞画像評価装置および方法並びにプログラム 図000008
  • 再表WO2018180206-細胞画像評価装置および方法並びにプログラム 図000009
  • 再表WO2018180206-細胞画像評価装置および方法並びにプログラム 図000010
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2018年10月4日
【発行日】2019年12月26日
(54)【発明の名称】細胞画像評価装置および方法並びにプログラム
(51)【国際特許分類】
   G01N 33/48 20060101AFI20191129BHJP
   G06T 7/00 20170101ALI20191129BHJP
   G01N 33/483 20060101ALI20191129BHJP
【FI】
   G01N33/48 M
   G06T7/00 630
   G01N33/483 C
【審査請求】有
【予備審査請求】未請求
【全頁数】20
【出願番号】特願2019-509060(P2019-509060)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年3月2日
(31)【優先権主張番号】特願2017-67954(P2017-67954)
(32)【優先日】2017年3月30日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】松原 兼太
(72)【発明者】
【氏名】涌井 隆史
【テーマコード(参考)】
2G045
5L096
【Fターム(参考)】
2G045AA24
2G045CB01
2G045FA19
2G045JA01
2G045JA20
5L096AA06
5L096CA17
5L096DA01
5L096EA39
5L096FA04
5L096FA06
5L096FA23
5L096FA32
5L096FA33
5L096FA52
5L096GA51
5L096JA11
5L096KA04
(57)【要約】
容器内の各観察領域の撮影画像が劣化していたとしても、より正確かつ、信頼性の高い評価を行うことができる細胞画像評価装置および方法並びにプログラムを提供する。細胞が収容された容器内を撮影した撮影画像に基づいて、撮影画像に含まれる細胞の状態を評価する画像評価部(22)と、撮影画像が劣化しているか否かを判別する劣化判別部(21)とを備え、画像評価部(22)が、劣化判別部の判別結果に応じて、撮影画像の評価方法を変更する。
【特許請求の範囲】
【請求項1】
細胞が収容された容器内を撮影した撮影画像に基づいて、前記撮影画像に含まれる前記細胞の状態を評価する画像評価部と、
前記撮影画像が劣化しているか否かを判別する劣化判別部とを備え、
前記画像評価部が、前記劣化判別部の判別結果に応じて、前記撮影画像の評価方法を変更する細胞画像評価装置。
【請求項2】
前記画像評価部が、前記撮影画像が劣化していると判別された場合には、相対的に劣化に強い評価方法によって前記撮影画像を評価し、前記撮影画像が劣化していないと判別された場合には、相対的に劣化に弱い評価方法によって前記撮影画像を評価する請求項1記載の細胞画像評価装置。
【請求項3】
前記画像評価部が、前記撮影画像が劣化していないと判別された場合には、前記撮影画像に含まれる細胞の状態を示す特徴量を用いて評価し、前記撮影画像が劣化していると判別された場合には、画像特徴量を用いて評価する請求項1または2記載の細胞画像評価装置。
【請求項4】
前記細胞の状態を示す特徴量が、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のNC比(Nucleocytoplasmic ratio)の少なくとも1つを含む請求項3記載の細胞画像評価装置。
【請求項5】
前記劣化判別部が、前記撮影画像がボケているか否かを判別する請求項1から4いずれか1項記載の細胞画像評価装置。
【請求項6】
前記劣化判別部が、前記撮影画像がボケているか否かを判別するボケ判別器を備え、
前記ボケ判別器が、機械学習によって生成される請求項5記載の細胞画像評価装置。
【請求項7】
前記ボケ判別器が、前記撮影画像の輝度の分散、コントラスト、および最小値と最大値の組のうちの少なくとも1つに基づいて、前記撮影画像がボケているか否かを判別する請求項6記載の細胞画像評価装置。
【請求項8】
前記劣化判別部が、前記撮影画像が、細胞領域を撮影した画像であるのか培地領域を撮影した画像であるのかを判別する領域判別器を備え、
前記撮影画像が前記細胞領域を撮影した画像であると前記領域判別器によって判別され、かつ前記撮影画像がボケていると前記ボケ判別器によって判別された場合に、前記撮影画像が劣化していると判別する請求項6または7記載の細胞画像評価装置。
【請求項9】
前記劣化判別部が、前記撮影画像が、照明光の光量変動によって劣化した画像であるか否かを判別する請求項1から4いずれか1項記載の細胞画像評価装置。
【請求項10】
前記劣化判別部が、前記撮影画像が、照明光の光量変動によって劣化した画像であるか否かを判別する光量変動劣化判別器を備え、
前記光量変動劣化判別器が、機械学習によって生成される請求項9記載の細胞画像評価装置。
【請求項11】
前記光量変動劣化判別器が、前記撮影画像の平均輝度および最小値と最大値の組のうちの少なくとも1つに基づいて、前記撮影画像が光量変動によって劣化した画像であるか否かを判別する請求項10記載の細胞画像評価装置。
【請求項12】
前記画像評価部が、前記容器内の複数の前記撮影画像の評価結果を統合して前記容器に対する評価結果を算出する請求項1から11いずれか1項記載の細胞画像評価装置。
【請求項13】
前記撮影画像が、前記容器が設置されるステージおよび前記容器内の細胞の像を結像する結像光学系の少なくとも一方を移動させることによって、前記容器内の各観察領域を撮影した画像であり、
前記劣化判別部が、前記観察領域毎の撮影画像が劣化しているか否かを判別する請求項1から12いずれか1項記載の細胞画像評価装置。
【請求項14】
細胞が収容された容器内を撮影した撮影画像が劣化しているか否かを判別し、
前記撮影画像に基づいて、前記撮影画像に含まれる前記細胞の状態を評価する際、前記劣化の判別結果に応じて、前記撮影画像の評価方法を変更する細胞画像評価方法。
【請求項15】
コンピュータを、
細胞が収容された容器内を撮影した撮影画像に基づいて、前記撮影画像に含まれる前記細胞の状態を評価する画像評価部と、
前記撮影画像が劣化しているか否かを判別する劣化判別部として機能させる細胞画像評価プログラムであって、
前記画像評価部が、前記劣化判別部の判別結果に応じて、前記撮影画像の評価方法を変更する細胞画像評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、細胞を撮影した撮影画像を用いて、撮影画像に含まれる細胞の状態を評価する細胞画像評価装置および方法並びにプログラムに関する。
【背景技術】
【0002】
ES(Embryonic Stem)細胞およびiPS(Induced Pluripotent Stem)細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備え、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。
【0003】
そして、ES細胞およびiPS細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを評価する方法が提案されている。
【0004】
一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、たとえばウェルプレートなどが設置されたステージを、結像光学系に対して移動させることによってウェル内の各観察領域を走査し、観察領域毎の画像を撮影した後、その観察領域毎の画像を繋ぎ合わせる方法が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表2013−535048号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、上述したようにウェル内の各観察領域を走査して撮影する際、各観察領域においてオートフォーカス制御が行われるが、全ての観察領域において最適な焦点位置となるとは限らず、オートフォーカス制御でミスを生じ、一部の観察領域の撮影画像がボケた画像となる場合がある。また、たとえば顕微鏡装置における光源に印可される電圧変動によって照明光の光量が変動し、撮影画像が暗い画像となってしまう場合がある。
【0007】
このようにボケた画像および暗い画像のように劣化した撮影画像については、個々の細胞の画像を高精度に抽出することができないため、たとえば個々の細胞の状態を示す特徴量を用いて評価を行うようにしたのでは、評価結果の精度が低くなり、信頼性も低い評価結果となる場合がある。すなわち、劣化した撮影画像と劣化していない撮影画像とを同じように評価したのでは正確な評価結果を得ることができない場合がある。
【0008】
なお、特許文献1では、デジタル顕微鏡スライドの画像を複数の領域に分割し、各領域の品質を評価する際、適切な明るさまたはコントラストを有する分割画像のみ評価を行い、スライド全体のスコアを算出することが提案されている。しかしながら、このように適切な明るさまたはコントラストでない分割画像を全く評価しないようにしたのでは、その分割画像の情報を完全に失うことになるので、スライド全体の評価としては精度が低下する場合がある。
【0009】
本発明は、上記の問題に鑑み、容器内の各観察領域の撮影画像が劣化していたとしても、より正確かつ、信頼性の高い評価を行うことができる細胞画像評価装置および方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の一態様による細胞画像評価装置は、細胞が収容された容器内を撮影した撮影画像に基づいて、撮影画像に含まれる細胞の状態を評価する画像評価部と、撮影画像が劣化しているか否かを判別する劣化判別部とを備え、画像評価部が、劣化判別部の判別結果に応じて、撮影画像の評価方法を変更する。
【0011】
また、上記本発明の一態様による細胞画像評価装置において、画像評価部は、撮影画像が劣化していると判別された場合には、相対的に劣化に強い評価方法によって撮影画像を評価し、撮影画像が劣化していないと判別された場合には、相対的に劣化に弱い評価方法によって撮影画像を評価してもよい。
【0012】
また、上記本発明の一態様による細胞画像評価装置において、画像評価部は、撮影画像が劣化していないと判別された場合には、撮影画像に含まれる細胞の状態を示す特徴量を用いて評価し、撮影画像が劣化していると判別された場合には、画像特徴量を用いて評価してもよい。
【0013】
また、上記本発明の一態様による細胞画像評価装置において、細胞の状態を示す特徴量は、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のNC比(Nucleocytoplasmic ratio)の少なくとも1つを含んでもよい。
【0014】
また、上記本発明の一態様による細胞画像評価装置において、劣化判別部は、撮影画像がボケているか否かを判別してもよい。
【0015】
また、上記本発明の一態様による細胞画像評価装置において、劣化判別部は、撮影画像がボケているか否かを判別するボケ判別器を備えることができ、ボケ判別器は、機械学習によって生成されてもよい。
【0016】
また、上記本発明の一態様による細胞画像評価装置において、ボケ判別器は、撮影画像の輝度の分散、コントラスト、および最小値と最大値の組のうちの少なくとも1つに基づいて、撮影画像がボケているか否かを判別してもよい。
【0017】
また、上記本発明の一態様による細胞画像評価装置において、劣化判別部は、撮影画像が、細胞領域を撮影した画像であるのか培地領域を撮影した画像であるのかを判別する領域判別器を備え、撮影画像が細胞領域を撮影した画像であると領域判別器によって判別され、かつ撮影画像がボケているとボケ判別器によって判別された場合に、撮影画像が劣化していると判別してもよい。
【0018】
また、上記本発明の一態様による細胞画像評価装置において、劣化判別部は、撮影画像が、照明光の光量変動によって劣化した画像であるか否かを判別してもよい。
【0019】
また、上記本発明の一態様による細胞画像評価装置において、劣化判別部は、撮影画像が、照明光の光量変動によって劣化した画像であるか否かを判別する光量変動劣化判別器を備えることができ、光量変動劣化判別器は、機械学習によって生成されてもよい。
【0020】
また、上記本発明の一態様による細胞画像評価装置において、光量変動劣化判別器は、撮影画像の平均輝度および最小値と最大値の組のうちの少なくとも1つに基づいて、撮影画像が光量変動によって劣化した画像であるか否かを判別してもよい。
【0021】
また、上記本発明の一態様による細胞画像評価装置において、画像評価部は、容器内の複数の撮影画像の評価結果を統合して容器に対する評価結果を算出してもよい。
【0022】
また、上記本発明の一態様による細胞画像評価装置において、撮影画像は、容器が設置されるステージおよび容器内の細胞の像を結像する結像光学系の少なくとも一方を移動させることによって、容器内の各観察領域を撮影した画像とすることができ、劣化判別部は、観察領域毎の撮影画像が劣化しているか否かを判別してもよい。
【0023】
本発明の一態様による細胞画像評価方法は、細胞が収容された容器内を撮影した撮影画像が劣化しているか否かを判別し、撮影画像に基づいて、撮影画像に含まれる細胞の状態を評価する際、劣化の判別結果に応じて、撮影画像の評価方法を変更する。
【0024】
本発明の一態様による細胞画像評価プログラムは、コンピュータを、細胞が収容された容器内を撮影した撮影画像に基づいて、撮影画像に含まれる細胞の状態を評価する画像評価部と、撮影画像が劣化しているか否かを判別する劣化判別部として機能させる細胞画像評価プログラムであって、画像評価部が、劣化判別部の判別結果に応じて、撮影画像の評価方法を変更する。
【発明の効果】
【0025】
本発明の細胞画像評価装置および方法並びにプログラムによれば、細胞が収容された容器内を撮影した撮影画像が劣化しているか否かを判別し、撮影画像に含まれる細胞の状態を評価する際、劣化している撮影画像と劣化していない撮影画像とで異なる評価方法で評価する。これにより、劣化している画像であったとしても、その画像に適した評価方法で評価することによって、より正確かつ、信頼性の高い評価を行うことができる。
【図面の簡単な説明】
【0026】
図1】本発明の細胞画像評価装置の一実施形態を用いた細胞画像評価システムの概略構成を示すブロック図
図2】ウェルプレートにおける各観察領域の走査軌跡を示す図
図3】ウェル内の各観察領域の撮影画像の一例を示す図
図4】ウェル単位で統合された評価結果の表示例を示す図
図5】本発明の細胞画像評価装置の一実施形態を用いた細胞画像評価システムの作用を説明するためのフローチャート
図6図1に示す細胞画像評価システムの変形例の概略構成を示すブロック図
図7】ウェル内の各観察領域の撮影画像の一例を示す図
図8】本発明の細胞画像評価装置のその他の実施形態を用いた細胞画像評価システムの概略構成を示すブロック図
【発明を実施するための形態】
【0027】
以下、本発明の細胞画像評価装置および方法並びにプログラムの一実施形態を用いた細胞画像評価システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の細胞画像評価システムの概略構成を示すブロック図である。
【0028】
本実施形態の細胞画像評価システムは、図1に示すように、顕微鏡装置10と、細胞画像評価装置20と、表示装置30と、入力装置40とを備えている。
【0029】
顕微鏡装置10は、培養容器内に収容された細胞を撮影し、撮影画像を出力する。本実施形態においては、具体的には、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどの撮像素子を備えた位相差顕微鏡装置を用いる。撮像素子としては、RGB(Red Green Blue)のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。培養容器内に収容された細胞の位相差像が撮像素子に結像され、撮像素子から撮影画像として位相差画像が出力される。なお、顕微鏡装置10としては、位相差顕微鏡装置に限らず、微分干渉顕微鏡装置および明視野顕微鏡装置などのその他の顕微鏡装置を用いるようにしてもよい。
【0030】
撮影対象としては、複数の細胞が凝集した細胞コロニーでもよいし、分散して分布した複数の細胞でもよい。また、撮影対象の細胞としては、たとえばiPS細胞およびES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された臓器の細胞およびがん細胞などがある。
【0031】
また、本実施形態においては、培養容器として、複数のウェルを有するウェルプレートを用いる。なお、ウェルプレートを用いる場合、各ウェルが、本発明の容器に相当する。そして、顕微鏡装置10は、ウェルプレートが設置されるステージを備えている。ステージは、水平面内において直交するX方向およびY方向に移動する。このステージの移動によって、ウェルプレートの各ウェル内における各観察領域が走査され、観察領域毎の撮影画像が撮影される。観察領域毎の撮影画像は細胞画像評価装置20に出力される。
【0032】
図2は、6つのウェル51を有するウェルプレート50を用いた場合における各観察領域の走査軌跡を実線Scで示した図である。図2に示すように、ウェルプレート50内の各観察領域は、ステージのX方向およびY方向の移動によって走査開始点Sから走査終了点Eまでの実線Scに沿って走査される。
【0033】
また、本実施形態においては、ウェル内の各観察領域において、ステージまたは細胞の位相差像を撮像素子に結像する結像光学系を鉛直方向に移動させることによってオートフォーカス制御を行う。
【0034】
なお、本実施形態においては、ステージを移動させることによってウェル内の観察領域毎の撮影画像を撮影するようにしたが、これに限らず、結像光学系をステージに対して移動させることによって観察領域毎の撮影画像を撮影するようにしてもよい。または、ステージと結像光学系の両方を移動させるようにしてもよい。
【0035】
また、本実施形態においては、ウェルプレートを用いるようにしたが、細胞が収容される容器としてはこれに限らず、たとえばシャーレまたはディッシュなどその他の容器を用いるようにしてもよい。
【0036】
細胞画像評価装置20は、図1に示すように、劣化判別部21と、画像評価部22と、表示制御部23とを備えている。細胞画像評価装置20は、中央処理装置、半導体メモリおよびハードディスクなどを備えたコンピュータから構成され、ハードディスクに本発明の細胞画像評価プログラムの一実施形態がインストールされている。そして、この細胞画像評価プログラムが中央処理装置によって実行されることによって、図1に示す劣化判別部21、画像評価部22および表示制御部23が機能する。なお、本実施形態においては、細胞画像評価プログラムによって、各部の機能を実行するようにしたが、これに限らず、たとえば複数のIC(Integrated Circuit)、プロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、およびメモリなどを適宜組み合わせることによって各部の機能を実行するようにしてもよい。なお、細胞画像評価プログラムは、非一時的なコンピュータ読取り可能な記録媒体に格納され、細胞画像評価装置20を構成するコンピュータに読み取られても良い。また、細胞画像評価プログラムは、ネットワークを介して配信されても良い。
【0037】
劣化判別部21は、顕微鏡装置10によって撮影された観察領域毎の撮影画像が劣化しているか否かを判別する。具体的には、本実施形態の劣化判別部21は、ボケ判別器21aを有し、このボケ判別器21aによって撮影画像がボケているか否かを判別することによって、撮影画像が劣化しているか否かを判別する。劣化判別部21の詳細については、後述する。
【0038】
画像評価部22は、観察領域毎の撮影画像を取得し、その撮影画像に含まれる細胞の状態を評価する。細胞の状態を評価するとは、たとえば撮影画像に含まれる細胞が未分化細胞であるのか分化細胞であるのかを評価したり、共培養の際の細胞の種類ごとの細胞数をカウントしたり、撮影画像に含まれる未分化細胞と分化細胞の割合を評価したり、細胞または細胞コロニーの成長度を評価したり、または抗がん剤によるがん細胞の縮小率を評価したりすることをいう。ただし、細胞の状態の評価としては、これらに限らず、その他の評価でもよい。
【0039】
また、画像評価部22は、ボケている撮影画像とボケていない撮影画像とで異なる評価方法で細胞の状態を評価する。具体的には、画像評価部22は、ボケていない撮影画像については、その撮影画像に含まれる細胞の状態を示す特徴量を用いて評価し、ボケている撮影画像については、画像特徴量を用いて評価する。画像評価部22による画像評価の詳細については、後述する。
【0040】
表示制御部23は、画像評価部22による評価結果を表示装置30に表示させる。具体的には、本実施形態においては、上述したように画像評価部22においてウェル単位での評価結果が算出されるので、表示制御部23は、そのウェル単位での評価結果を表示装置30に表示させる。図4は、6ウェルのウェルプレートを用いた場合に、ウェル単位での分化細胞の割合と未分化細胞の割合とを算出し、統合された評価結果として表示した例である。図4の例において、上段左のウェルには、分化細胞が80%存在し、未分化細胞が20%存在する。上段中央のウェルには、分化細胞が70%存在し、未分化細胞が30%存在する。上段右のウェルには、分化細胞が60%存在し、未分化細胞が40%存在する。下段左のウェルには、分化細胞が60%存在し、未分化細胞が40%存在する。下段中央のウェルには、分化細胞が30%存在し、未分化細胞が70%存在する。下段右のウェルには、分化細胞が40%存在し、未分化細胞が60%存在する。
【0041】
また、表示制御部23は、観察領域毎の撮影画像を繋ぎ合わせることによって合成画像を生成し、その合成画像を表示装置30に表示させる。
【0042】
表示装置30は、上述したように画像評価部22による評価結果および表示制御部23によって生成された合成画像を表示する、たとえば液晶ディスプレイなどを備えた。また、表示装置30をタッチパネルによって構成し、入力装置40と兼用するようにしてもよい。
【0043】
入力装置40は、マウスやキーボードなどを備え、ユーザによる種々の設定入力を受け付ける。
【0044】
次に、劣化判別部21の詳細を説明する。本実施形態においては、上述したようにウェル内の各観察領域を走査し、各観察領域においてオートフォーカス制御を行うが、全ての観察領域において最適な焦点位置となるとは限らず、オートフォーカス制御でミスを生じ、一部の観察領域の撮影画像がボケた画像となる場合がある。このようなボケた撮影画像を、その他のボケていない撮影画像と同じように評価したのでは、正確な評価結果が得られない場合がある。図3は、ウェル内の各観察領域の撮影画像の一例を示す図である。図3において矩形領域で分割された各領域が各観察領域に相当する。また、図3に示す例では、点線四角で示す観察領域の撮影画像がボケている画像である。
【0045】
そこで、本実施形態の細胞画像評価システムにおいては、劣化判別部21において、観察領域毎の撮影画像がボケているか否かを判別し、その判別結果に応じて、評価方法を変更する。
【0046】
具体的には、ボケ判別器21aは、ボケた撮影画像とボケていない撮影画像の輝度の分散、コントラスト、および最小値と最大値の組のうちの少なくとも1つを入力とし、ボケているか否かの判別結果を出力として機械学習によって生成される。機械学習の手法としては、公知な手法を用いることができ、サポートベクタマシン(SVM)、ディープニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、およびデノイジングスタックオートエンコーダ(DSA)などを用いることができる。
【0047】
そして、ボケ判別器21aは、観察領域毎の撮影画像の入力を受け付け、その撮影画像がボケているか否かの判別結果を出力する。
【0048】
なお、本実施形態においては、上述したように機械学習されたボケ判別器21aを用いて撮影画像がボケているか否かを判別するようにしたが、判別方法としては、これに限らず、たとえば撮影画像からエッジを検出し、エッジの量に基づいて判別するようにしてもよいし、輝度の最大値と最小値の組から判別するようにしてもよし、撮影画像の空間周波数成分を解析することによって判別するようにしてもよい。
【0049】
次に、画像評価部22による画像評価の詳細を説明する。ボケていない撮影画像については、撮影画像に含まれる細胞の画像または核もしくは核小体などの画像を高精度に認識することができる。そのため、画像評価部22は、上述したように細胞の状態を示す特徴量を用いて評価することによって、生物学的な説明力に優れる評価結果を得ることができる。本実施形態において、細胞の状態を示す特徴量を用いた評価方法は、相対的にボケ(劣化)に弱い評価方法である。
【0050】
細胞の状態を示す特徴量としては、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のNC比の少なくとも1つを用いることができる。
【0051】
個々の細胞の状態の特徴量としては、たとえば細胞の数、細胞の密度、細胞の増加率および細胞の円形度などがあるが、撮影画像に含まれる個々の細胞を認識し、その認識した細胞に基づいて算出される特徴量であればその他の特徴量でもよい。撮影画像に含まれる細胞の認識方法としては、たとえば細胞の画像のエッジを検出したり、パターンマッチング処理を用いて検出したり、機械学習によって生成された判別器を用いて検出したりする方法があるが、その他の公知な手法を用いることができる。なお、細胞の円形度については、未分化細胞は円形度が相対的に高くなるが、分化細胞は、たとえば細長い形状となり、円形度が相対的に低くなる。したがって、個々の細胞の円形度を算出することによって分化細胞であるか、または未分化細胞であるかを評価することができる。また、多能性幹細胞において、細胞が分化すると核内のクロマチン構造が変化し黒っぽくなるため、核を検出した後に核の輝度を評価することによって分化または未分化を評価することができる。ただし、分化細胞か未分化細胞かを評価する方法としては、これに限らず、その他の公知な手法を用いることができる。または、神経細胞を評価する場合には、個々の細胞の状態を示す特徴量として、樹状突起の長さを用いることができる。樹状突起の長さを用いることによって、神経細胞の成長度を評価することができる。
【0052】
また、細胞内に含まれる核または核小体の特徴量としては、たとえば核または核小体の数、核または核小体の密度および核または核小体の増加率などがあるが、撮影画像に含まれる核または核小体を認識し、その認識した核または核小体に基づいて算出される特徴量であればその他の特徴量でもよい。撮影画像に含まれる核または核小体の認識方法としては、細胞の認識方法と同様に、エッジ検出、パターンマッチングによる検出および判別器を用いた検出などを用いることができる。
【0053】
また、白すじとは、細胞と背景間に発生する回折光による光のにじみ(ハロ)のことである。そして、白すじの特徴量としては、たとえば白すじの総面積、白すじの密度および白すじの分布状態などがあるが、撮影画像に含まれる白すじを認識し、その認識した白すじに基づいて算出される特徴量であればその他の特徴量でもよい。白すじの認識方法としては、たとえば撮影画像を2値化し、閾値処理によって白すじを抽出するようにしてもよいし、パターンマッチン処理を用いて検出したり、機械学習によって生成された判別器を用いて検出したりする方法があるが、その他の公知な手法を用いることができる。なお、白すじの特徴量については、たとえば細胞コロニー内に未分化細胞が多い状態では白すじは少ないが、分化が進み分化細胞が多くなると白すじの量が多くなる。したがって、白すじの特徴量に基づいて、細胞コロニーの分化度または未分化度、もしくは細胞コロニーの成長度などを評価することができる。
【0054】
また、細胞のNC比とは、核/細胞質面積比である。NC比については、細胞質と核のそれぞれの検出器を使用することで求めることができる。細胞質は、一般的にグレーかつフラットな見た目を有し、これに対し、核は比較的丸くかつ内部に核小体等の構造を含む。したがって、それぞれの検出器を機械学習により作成し、撮影画像に適用することによって細胞質領域と核領域とが得られる。このようにして得られた細胞質領域と核領域の面積の比を算出することによって、NC比を算出することができる。NC比は、細胞コロニー単位で算出してもよいし、予め指定された領域内でのNC比を算出するようにしてもよい。
【0055】
一方、ボケた撮影画像については、個々の細胞の画像または核小体の画像などの検出精度が低くなる。したがって、ボケていない撮影画像のように個々の細胞の状態を示す特徴量を用いて評価するよりも、撮影画像自体の画像特徴量を用いて評価した方が、評価精度が向上する。本実施形態において、画像特徴量を用いた評価方法は、上述した細胞の状態を示す特徴量を用いた評価方法よりも、相対的にボケ(劣化)に強い評価方法である。
【0056】
ボケた撮影画像を評価する際に用いられる画像特徴量とは、撮像画像自体の特徴量であって、具体的には、撮影画像の平均輝度、撮影画像の輝度の分散、撮影画像の輝度の最大値と最小値の差、撮影画像のコントラスト、撮影画像のエントロピー、撮影画像の空間周波数分布、撮影画像の方向性および撮影画像のゼルニケ特徴などを用いることができる。
【0057】
このような画像特徴量を用いて撮影画像に含まれる細胞の状態を評価する方法としては、たとえば画像特徴量とその画像特徴量に対応する評価結果との関係を予め実験などによって求めておき、撮影画像の画像特徴量と上記関係とに基づいて、評価結果を得るようにすればよい。また、画像特徴量とその画像特徴量に対応する評価結果との関係を、たとえば機械学習を用いて学習させて評価器を生成し、撮影画像の画像特徴量をその評価器に入力することによって評価結果を得るようにしてもよい。
【0058】
また、本実施形態の画像評価部22は、ウェル内の各観察領域の撮影画像の評価結果を統合して、そのウェルに対する評価結果を算出する。すなわちウェル単位での評価結果を算出する。このようにウェル単位(容器単位)での評価結果を算出することによって、継代または細胞の出荷の際などにおいてウェル単位で管理することができる。
【0059】
本実施形態においては、上述したようにボケている撮影画像とボケていない撮影画像とで異なる評価方法で細胞の状態を評価するようにしたので、各観察領域の撮影画像を適切な評価方法で評価することができ、ウェル単位での評価結果としてもより正確で、かつ信頼性のある評価結果を得ることができる。
【0060】
具体的には、たとえばウェル内の各観察領域の撮影画像に含まれる分化細胞の割合と未分化細胞の割合の平均値をそれぞれ算出することによって、ウェル単位での分化細胞の割合と未分化細胞の割合を求めるようにしてもよい。
【0061】
または、ウェル内の各観察領域の撮影画像について細胞または細胞コロニーの成長度を評価する場合には、その各観察領域の成長度の平均値をウェル単位の成長度として求めるようにしてもよい。また、ウェル内の全観察領域のうち、成長度が閾値以上である観察領域の数の割合を算出し、その割合をウェル単位の成長度として求めるようにしてもよい。もしくは、上記割合が閾値以上である場合には、ウェル単位での評価結果を「良い」とし、閾値未満である場合には、ウェル単位での評価結果を「悪い」としてもよい。または、成長度が閾値以上である観察領域の評価結果を「良い」とし、閾値未満である観察領域の評価結果を「悪い」とし、ウェル内に含まれる評価結果が「良い」の観察領域の数が、閾値以上である場合にウェル単位での評価結果を「良い」とし、閾値未満である場合にウェル単位での評価結果を「悪い」としてもよい。
【0062】
次に、本実施形態の細胞画像評価システムの作用について、図5に示すフローチャートを参照しながら説明する。
【0063】
まず、細胞および培養液が収容されたウェルプレートが顕微鏡装置10のステージ上に設置される(S10)。そして、ステージがX方向およびY方向に移動することによって、ウェルプレートの各ウェル内の観察領域が走査され、各観察領域の撮影画像が撮影される(S12)。
【0064】
そして、顕微鏡装置10において撮影された観察領域毎の撮影画像は、細胞画像評価装置20に順次出力され、劣化判別部21および表示制御部23に順次入力される(S12)。劣化判別部21は、入力された観察領域の撮影画像がボケた撮影画像であるかボケていない撮影画像であるかを判別する(S14)。
【0065】
そして、劣化判別部21によって、撮影画像がボケた撮影画像と判別された場合には、画像評価部22は、その撮影画像について、ボケた撮影画像の評価方法を用いて評価する(S16)。具体的には、その撮影画像について画像特徴量を算出し、その画像特徴量を用いて撮影画像に含まれる細胞の状態を評価する。
【0066】
一方、劣化判別部21によって、撮影画像がボケていない撮影画像であると判別された場合には、画像評価部22は、その撮影画像について、ボケていない撮影画像の評価方法を用いて評価する(S18)。具体的には、その撮影画像について、細胞の状態を示す特徴量を算出し、その特徴量を用いて撮影画像に含まれる細胞の状態を評価する。
【0067】
そして、全ての観察領域が走査され、全ての観察領域の撮影画像の評価が終了するまでS12〜S18までの処理が繰り返される(S20,NO)。
【0068】
全ての観察領域の撮影画像の評価が終了した場合には(S20,YES)、画像評価部22は、各観察領域の撮影画像の評価結果をウェル単位で統合し、ウェル単位の評価結果を取得する(S22)。
【0069】
そして、表示制御部23は、各観察画像の撮影画像を用いて合成画像を生成し、合成画像を表示装置30に表示させ、かつウェル単位での統合評価結果を表示装置30に表示させる(S24)。
【0070】
上記実施形態の細胞画像評価システムによれば、観察領域毎の撮影画像がボケているか否かを判別し、撮影画像に含まれる細胞の状態を評価する際、ボケた撮影画像とボケていない撮影画像とで異なる評価方法で評価するようにしたので、その撮影画像に適した評価方法で評価することができ、より正確かつ、信頼性の高い評価を行うことができる。
【0071】
なお、上記実施形態においては、画像評価部22において、ウェル内の各観察領域の撮影画像を統合して、ウェル単位での評価結果を算出するようにしたが、このように統合された評価結果を算出する際、ボケた撮影画像の評価結果とボケていない撮影画像の評価結果とに重み付けを付加するようにしてもよい。重み付けとしては、ボケていない撮影画像の評価結果に付加される重み付けが、メニスカス領域画像の評価結果に付加される重み付けよりも大きくなるように設定することが好ましい。これは、ボケていない撮影画像の方が評価結果の精度が高いと考えられるからである。
【0072】
具体的には、たとえばウェル内の各観察領域の成長度の平均値をウェル単位の成長度として求める場合、ボケた撮影画像の観察領域の成長度に対して0.5よりも小さい重み付けを付加し、ボケていない撮影画像の観察領域の成長度に対して0.5以上の重み付けを付加するようにすればよい。
【0073】
または、成長度が閾値以上である観察領域の評価結果を「良い」とし、閾値未満である観察領域の評価結果を「悪い」とする場合、ボケた撮影画像の観察領域の成長度に対して0.5よりも小さい重み付けを付加して「良い」または「悪い」を評価し、ボケていない撮影画像の観察領域の成長度に対して0.5以上の重み付けを付加して「良い」または「悪い」を評価するようにしてもよい。そして、上述したようにウェル内に含まれる評価結果が「良い」の観察領域の数が、閾値以上である場合にウェル単位での評価結果を「良い」とし、閾値未満である場合にウェル単位での評価結果を「悪い」としてもよい。
【0074】
また、上記実施形態においては、ボケ判別器21aによって撮影画像がボケているか否かを判別するようにしたが、たとえばウェル内の各観察領域を撮影した撮影画像のうち、培養液などの培地の範囲の観察領域を撮影した撮影画像については、ボケた画像と輝度分布が類似しているため、ボケていないにも関わらず、ボケた画像であると誤判別される可能性がある。
【0075】
そこで、図6に示すように、劣化判別部21にさらに領域判別器21bを設けるようにしてもよい。領域判別器21bは、撮影画像が、細胞領域を撮影した画像であるのか培地領域を撮影した画像であるのかを判別する。
【0076】
具体的には、領域判別器21bは、細胞領域を撮影した撮影画像と培地領域を撮影した撮影画像を入力とし、細胞領域を撮影した撮影画像であるか培地領域を撮影した撮影画像であるかの判別結果を出力として機械学習によって生成される。機械学習の手法としては、ボケ判別器21aと同様に、公知な手法を用いることができる。
【0077】
そして、領域判別器21bは、観察領域毎の撮影画像の入力を受け付け、その撮影画像が、細胞領域を撮影した撮影画像であるか培地領域を撮影した撮影画像であるかの判別結果を出力する。
【0078】
なお、本実施形態においては、上述したように機械学習された領域判別器21bを用いて細胞領域を撮影した撮影画像であるか培地領域を撮影した撮影画像であるかを判別するようにしたが、判別方法としては、これに限らず、たとえば撮影画像からエッジを検出し、エッジの量に基づいて判別するようにしてもよいし、輝度の最大値と最小値の組から判別するようにしてもよし、撮影画像の空間周波数成分を解析することによって判別するようにしてもよい。
【0079】
そして、撮影画像が細胞領域を撮影した画像であると領域判別器21bによって判別され、かつ撮影画像がボケているとボケ判別器21aによって判別された場合に、撮影画像が劣化していると判別し、その撮影画像については、画像特徴量を用いて評価するようにしてもよい。一方、撮影画像がボケているとボケ判別器21aによって判別された場合でも、撮影画像が培地領域を撮影した画像であると領域判別器21bによって判別された場合には、画像特徴量ではなく、細胞の状態を示す特徴を用いて評価するようにしてもよい。
【0080】
また、上記実施形態においては、劣化判別部21において、撮影画像がボケているか否かを判別することによって、撮影画像が劣化しているか否かを判別するようにしたが、すなわちオートフォーカス制御のミスによる撮影画像の劣化を判別するようにしたが、撮影画像の劣化要因としてはこれだけではない。
【0081】
たとえば顕微鏡装置10における光源に印可される電圧変動によって照明光の光量が変動し、撮影画像が暗い画像となってしまう場合がある。このような暗い撮影画像を、その他の正常な光量の撮影画像と同じように評価したのでは、正確な評価結果が得られない場合がある。図7は、ウェル内の各観察領域の撮影画像の一例を示す図である。図7において矩形領域で分割された各領域が各観察領域に相当する。また、図7に示す例では、点線四角で示す観察領域の撮影画像が、照明光の光量変動によって劣化した画像である。
【0082】
そこで、図8に示すように、劣化判別部21に光量変動劣化判別器21cを設け、光量変動劣化判別器21cにおいて、観察領域毎の撮影画像が照明光の光量変動によって劣化しているか否か判別し、その判別結果に応じて、評価方法を変更するようにしてもよい。
【0083】
具体的には、光量変動劣化判別器21cは、撮影画像の平均輝度および最小値と最大値の組のうちの少なくとも1つを入力とし、照明光の光量変動によって劣化しているいか否かの判別結果を出力として機械学習によって生成された。機械学習の手法としては、ボケ判別器21aと同様に、公知な手法を用いることができる。
【0084】
そして、光量変動劣化判別器21cは、観察領域毎の撮影画像の入力を受け付け、その撮影画像が、照明光の光量変動によって劣化している否かの判別結果を出力する。
【0085】
なお、本実施形態においては、上述したように機械学習された光量変動劣化判別器21cを用いて撮影画像が光量変動によって劣化しているか否かを判別するようにしたが、判別方法としては、これに限らず、たとえば撮影画像の平均輝度の閾値判定によって判別するようにしてもよいし、撮影画像の輝度分布を解析することによって判別するようにしてもよい。
【0086】
そして、撮影画像が照明光の光量変動によって劣化していると光量変動劣化判別器21cによって判別された場合には、その撮影画像については、画像特徴量を用いて評価するようにすればよい。一方、撮影画像が照明光の光量変動によって劣化していない場合には、画像特徴量ではなく、細胞の状態を示す特徴を用いて評価するようにすればよい。
【0087】
なお、劣化判別部21が、ボケ判別器21aと光量変動劣化判別器21cとの両方を備えるようにしてもよいし、さらに領域判別器21bを備えるようにしてもよい。
【符号の説明】
【0088】
10 顕微鏡装置
20 細胞画像評価装置
21 劣化判別部
21a ボケ判別器
21b 領域判別器
21c 光量変動劣化判別器
22 画像評価部
23 表示制御部
30 表示装置
40 入力装置
50 ウェルプレート
51 ウェル
E 走査終了点
S 走査開始点
Sc 走査軌跡を示す実線
図1
図2
図3
図4
図5
図6
図7
図8
【国際調査報告】