知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025143172
(43)【公開日】2025-10-01
(54)【発明の名称】細胞画像解析方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20250924BHJP
C12M 1/34 20060101ALI20250924BHJP
C12M 1/00 20060101ALI20250924BHJP
【ＦＩ】
G06T7/00 630
G06T7/00 350B
C12M1/34
C12M1/00
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2024149688
(22)【出願日】2024-08-30
(31)【優先権主張番号】P 2024042775
(32)【優先日】2024-03-18
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【弁理士】
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100136799
【弁理士】
【氏名又は名称】本田 亜希
(72)【発明者】
【氏名】鳥羽 修平
(72)【発明者】
【氏名】山本 陽治
【テーマコード（参考）】
4B029
5L096
【Ｆターム（参考）】
4B029AA07
4B029BB01
4B029BB11
4B029CC02
4B029FA04
5L096AA06
5L096DA02
5L096EA35
5L096EA43
5L096FA02
5L096FA06
5L096FA32
5L096FA59
5L096FA60
5L096FA66
5L096GA02
5L096GA10
5L096GA34
5L096GA51
5L096HA05
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】精度の高い細胞解析方法の提供を課題とする。
【解決手段】細胞を連続した異なる複数のタイミングで撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得工程、前記細胞画像から細胞候補領域を抽出する領域抽出工程、前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡工程、および前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析工程を備え、前記解析工程は、学習済みモデルを用いることを特徴とする細胞画像解析方法を提供する。
【選択図】図１
【解決手段】細胞を連続した異なる複数のタイミングで撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得工程、前記細胞画像から細胞候補領域を抽出する領域抽出工程、前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡工程、および前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析工程を備え、前記解析工程は、学習済みモデルを用いることを特徴とする細胞画像解析方法を提供する。
【選択図】図１
【特許請求の範囲】
【請求項1】
細胞を連続した異なる複数のタイミングで明視野観察法又は位相差観察法のいずれかにより撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得工程、
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出工程、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡工程、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析工程を備え、
前記解析工程は、学習済みモデルを用いることを特徴とし、
該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、
前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析方法。
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出工程、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡工程、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析工程を備え、
前記解析工程は、学習済みモデルを用いることを特徴とし、
該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、
前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析方法。
【請求項2】
前記学習済みモデルにおいて、前記細胞の状態に関する情報は、少なくとも蛍光輝度の時間的な変化に関する情報を含む蛍光輝度特徴量データに基づいて取得されること、を特徴とする請求項１に記載の細胞画像解析方法。
【請求項3】
前記学習済みモデルは、前記学習用細胞について、
前記時系列細胞画像群に含まれる前記細胞画像に対応した蛍光画像を前記タイミングと関連付けて収集した時系列蛍光画像群を取得する蛍光画像取得工程、
前記時系列蛍光画像群に基づいて前記時系列細胞候補領域群の蛍光輝度特徴量データを取得する蛍光輝度特徴量算出工程、
前記蛍光輝度特徴量データに基づいて、前記細胞候補領域に対して細胞の状態に関するラベルを付与するラベリング処理工程、および
前記細胞の状態に関するラベルに基づく細胞の状態に関する情報を出力とし、前記時系列細胞候補領域群に関する情報を入力として訓練することにより前記学習済みモデルを生成する学習済みモデル生成工程
を実施することにより取得されることを特徴とし、
さらに、
前記蛍光輝度特徴量データは、少なくとも蛍光輝度の時間的な変化に関する情報を含むこと、を特徴とする請求項２に記載の細胞画像解析方法。
前記時系列細胞画像群に含まれる前記細胞画像に対応した蛍光画像を前記タイミングと関連付けて収集した時系列蛍光画像群を取得する蛍光画像取得工程、
前記時系列蛍光画像群に基づいて前記時系列細胞候補領域群の蛍光輝度特徴量データを取得する蛍光輝度特徴量算出工程、
前記蛍光輝度特徴量データに基づいて、前記細胞候補領域に対して細胞の状態に関するラベルを付与するラベリング処理工程、および
前記細胞の状態に関するラベルに基づく細胞の状態に関する情報を出力とし、前記時系列細胞候補領域群に関する情報を入力として訓練することにより前記学習済みモデルを生成する学習済みモデル生成工程
を実施することにより取得されることを特徴とし、
さらに、
前記蛍光輝度特徴量データは、少なくとも蛍光輝度の時間的な変化に関する情報を含むこと、を特徴とする請求項２に記載の細胞画像解析方法。
【請求項4】
前記細胞の状態に関する情報は、前記細胞候補領域が生細胞領域であるか否か示す真偽値あるいは可能性を示すスカラ値の情報を少なくとも含むこと、を特徴とする請求項１に記載の細胞画像解析方法。
【請求項5】
前記細胞の状態に関する情報は、前記細胞候補領域が分化領域であるか否か示す真偽値あるいは可能性を示すスカラ値の情報を少なくとも含むこと、を特徴とする請求項１に記載の細胞画像解析方法。
【請求項6】
前記時系列細胞候補領域群に関する情報は、前記時系列細胞画像群に含まれる特徴量データであり、
前記特徴量データは、前記細胞画像の前記細胞候補領域における輝度特徴量、前記細胞候補領域の形態特徴量、前記輝度特徴量の時間的な変化に関する情報、および前記形態特徴量の時間的な変化に関する情報からなる群より選ばれる１つ以上を含み、前記特徴量データは、スカラ値あるいはベクトルであること、を特徴とする請求項１乃至５のいずれか１項に記載の細胞画像解析方法。
前記特徴量データは、前記細胞画像の前記細胞候補領域における輝度特徴量、前記細胞候補領域の形態特徴量、前記輝度特徴量の時間的な変化に関する情報、および前記形態特徴量の時間的な変化に関する情報からなる群より選ばれる１つ以上を含み、前記特徴量データは、スカラ値あるいはベクトルであること、を特徴とする請求項１乃至５のいずれか１項に記載の細胞画像解析方法。
【請求項7】
前記時系列細胞候補領域群に関する情報は、前記時系列細胞画像群に含まれる前記細胞候補領域の特徴量データを前記タイミングと関連付けて収集した時系列特徴量データであり、前記特徴量データは、前記細胞画像の該細胞候補領域における輝度特徴量、および前記細胞候補領域の形態特徴量からなる群より選ばれる１つ以上を含むこと、を特徴とする請求項１乃至５のいずれか１項に記載の細胞画像解析方法。
【請求項8】
前記時系列細胞候補領域群に関する情報は、前記時系列細胞画像群に含まれる前記細胞画像の前記細胞候補領域に対応する部分細胞画像を前記タイミングと関連付けて収集した時系列画像データであること、を特徴とする請求項１乃至５のいずれか１項に記載の細胞画像解析方法。
【請求項9】
細胞を連続した異なる複数のタイミングで明視野観察法又は位相差観察法のいずれかにより撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部、
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部を備え、
前記解析部は、学習済みモデルを用いることを特徴とし、
該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、
前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析装置。
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部を備え、
前記解析部は、学習済みモデルを用いることを特徴とし、
該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、
前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析装置。
【請求項10】
請求項１から５のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
【請求項11】
請求項１０に記載のプログラムをコンピュータに読み取り可能な形式で格納した媒体。
【請求項12】
画像取得装置と、情報処理装置からなり、
前記画像取得装置は、連続した異なる複数のタイミングで細胞を明視野観察法又は位相差観察法のいずれかにより撮影した細胞画像を取得し、
前記情報処理装置は、
前記画像取得装置より、前記細胞画像を取得し、細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部、
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部を備え、
前記解析部は、学習用細胞について、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力とする学習済みモデルを用いること、を特徴とする細胞画像解析システム。
前記画像取得装置は、連続した異なる複数のタイミングで細胞を明視野観察法又は位相差観察法のいずれかにより撮影した細胞画像を取得し、
前記情報処理装置は、
前記画像取得装置より、前記細胞画像を取得し、細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部、
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部を備え、
前記解析部は、学習用細胞について、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力とする学習済みモデルを用いること、を特徴とする細胞画像解析システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、細胞画像解析方法、プログラム、細胞画像解析装置、及び細胞画像解析システムに関する。
【背景技術】
【0002】
細胞培養の分野において、細胞画像を解析し、細胞の生死といった細胞の状態を分析することがしばしば行われている。特に機械学習を用いて細胞画像を解析する技術が注目されている。
【0003】
特許文献１には、明視野画像から非侵襲に生細胞および死細胞特定する技術が開示されている。当該技術では、機械学習の教師データを得るために生細胞および死細胞を蛍光画像で特定している。
特許文献２には、時系列細胞画像の形態特徴から細胞の生死を判別する技術が開示されている。当該技術においても、機械学習の教師データとするために、染色した試料を用いることが述べられている。
特許文献２には、時系列細胞画像の形態特徴から細胞の生死を判別する技術が開示されている。当該技術においても、機械学習の教師データとするために、染色した試料を用いることが述べられている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－８５９６６号公報
【特許文献2】特開２０１５－２１０２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、細胞の生死といった状態は、時間とともに変化するため、特許文献１や２のように、特定の時間の蛍光画像のみに基づいて教師データを作成すると、不正確な正解ラベルが付与されたデータを用いて機械学習モデルを訓練することとなる。そういった機械学習モデルによる解析は精度を欠く可能性がある。本開示は、信頼度の高い教師データを作成する細胞解析方法の提供を課題とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本開示は、一態様として、細胞を連続した異なる複数のタイミングで明視野観察法又は位相差観察法のいずれかにより撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得工程、前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出工程、前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡工程、および前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析工程を備え、前記解析工程は、学習済みモデルを用いることを特徴とし、該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析方法を提供する。
【発明の効果】
【0007】
本開示によれば、より信頼度の高い教師データを作成することが可能である。本開示により作成した教師データを用いて、細胞の状態を判別する機械学習モデルの性能を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】第一の実施形態に係る細胞画像解析方法の処理フロー図である。
【図2】ステップＳ１０１において取得した時系列位相差画像群の一例を示す。
【図3】ステップＳ１０２において取得したマスク画像の一例を示す。
【図4】ステップＳ１０３において取得した領域追跡結果の一例を示す。
【図5】ステップＳ１０４およびステップＳ１０５において算出した特徴量データ群の一例を示す。
【図6】第一の実施形態に係る学習済みモデル生成方法の処理フロー図である。
【図7】ステップＳ６０１において取得した時系列位相差画像群および蛍光画像の一例を示す。
【図8】ステップＳ６０４～Ｓ６０６において算出した特徴量データ群の一例を示す。
【図9】各時系列細胞候補領域群の蛍光輝度の時間推移グラフの一例を示す。
【図10】ステップＳ６０６において算出した各時系列細胞候補領域群の蛍光輝度特徴量データ群の一例を示す。
【図11】ラベリング処理後の各時系列細胞候補領域群の蛍光輝度特徴量データ群の一例を示す。
【図12】ラベリング処理後の各細胞候補領域の特徴量データ群の一例を示す。
【図13】ラベル毎の各時系列細胞候補領域群の蛍光輝度の時間推移グラフの一例を示す。
【図14】ステップＳ１０６において、学習済みモデルにより各ラベルに対する真偽値を取得した一例を示す。
【図15】ステップＳ１０６において、学習済みモデルにより各ラベルに対する尤度を取得した一例を示す。
【図16】第一の実施形態の変形例２において取得した時系列位相差画像群および蛍光画像の一例を示す。
【図17】第一の実施形態の変形例３に係る段階的ラベリング処理のデータフロー図である。
【図18】第一の実施形態の変形例５において生死の変化ある細胞とラベル付けされたデータから生細胞および死細胞データを抽出する一例を示す。
【図19】第一の実施形態の変形例４において非細胞とラベル付けされたデータのクレンジング処理を実施した結果の一例を示す。
【図20】第二の実施形態に係る細胞画像解析方法の処理フロー図である。
【図21A】第二の実施形態に係る学習済みモデルへの入力と出力を説明する図の一部であり、特徴量データ群の一例を示す。
【図21B】第二の実施形態に係る学習済みモデルへの入力と出力を説明する図の一部であり、時系列特徴量データを抽出した結果の例を示す。
【図21C】第二の実施形態に係る学習済みモデルへの入力と出力を説明する図の一部であり、真偽値の結果が出力された例を示す。
【図22】第二の実施形態に係る学習済みモデル生成方法の処理フロー図である。
【図23】第三の実施形態に係る細胞画像解析方法の処理フロー図である。
【図24A】第三の実施形態に係る学習済みモデルへの入力データの一例を示す図の一部であり、領域追跡番号および細胞候補領域に基づいて、各細胞画像から切り出された部分細胞画像群の一例を示す。
【図24B】第三の実施形態に係る学習済みモデルへの入力と出力を説明する図の一部であり、真偽値の結果が出力された例を示す。
【図25】第三の実施形態に係る学習済みモデル生成方法の処理フロー図である。
【図26】本開示に係るプログラムを実行可能な情報処理装置のハードウェア構成例を示すブロック図である。
【図27】第一の実施形態の変形例３において取得した時系列位相差画像群および蛍光画像の一例を示す。
【図28】細胞画像解析装置の一例を示す。
【図29】細胞画像解析システムの一例を示す。
【図30】生細胞判定モデルの精度を評価した結果の一例を示す。
【図31】培養時間ごとに正解率（生細胞）を評価した結果を示す。
【図32】培養時間ごとに正解率（非生細胞）を評価した結果を示す。
【図33】培養時間帯（０～１１時間）と培養時間帯（１２時間以上）の、それぞれの精度評価指標を計算した結果を示す。
【図34】培養時間ごとに正解率（生細胞）を評価した結果を示す。
【図35】培養時間ごとに正解率（非生細胞）を評価した結果を示す。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
本開示は、細胞を連続した異なる複数のタイミングで明視野観察法又は位相差観察法のいずれかにより撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得工程、前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出工程、前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡工程、および前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析工程を備え、前記解析工程は、学習済みモデルを用いることを特徴とし、
該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析方法を提供する。
該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析方法を提供する。
【0011】
前記学習済みモデルにおいては、前記細胞の状態に関する情報は、少なくとも蛍光輝度の時間的な変化に関する情報を含む蛍光輝度特徴量データに基づいて取得されてもよい。
この方法において、前記学習済みモデルは、前記学習用細胞について、前記時系列細胞画像群に含まれる前記細胞画像に対応した蛍光画像を前記タイミングと関連付けて収集した時系列蛍光画像群を取得する蛍光画像取得工程、前記時系列蛍光画像群に基づいて前記時系列細胞候補領域群の蛍光輝度特徴量データを取得する蛍光輝度特徴量算出工程、前記蛍光輝度特徴量データに基づいて、前記細胞候補領域に対して細胞の状態に関するラベルを付与するラベリング処理工程、および前記細胞の状態に関するラベルに基づく細胞の状態に関する情報を出力とし、前記時系列細胞候補領域群に関する情報を入力として訓練することにより前記学習モデルを生成する学習済みモデル生成工程を実施することにより取得されることを特徴とし、さらに、前記蛍光輝度特徴量データは、少なくとも蛍光輝度の時間的な変化に関する情報を含むことができる。
この方法において、前記学習済みモデルは、前記学習用細胞について、前記時系列細胞画像群に含まれる前記細胞画像に対応した蛍光画像を前記タイミングと関連付けて収集した時系列蛍光画像群を取得する蛍光画像取得工程、前記時系列蛍光画像群に基づいて前記時系列細胞候補領域群の蛍光輝度特徴量データを取得する蛍光輝度特徴量算出工程、前記蛍光輝度特徴量データに基づいて、前記細胞候補領域に対して細胞の状態に関するラベルを付与するラベリング処理工程、および前記細胞の状態に関するラベルに基づく細胞の状態に関する情報を出力とし、前記時系列細胞候補領域群に関する情報を入力として訓練することにより前記学習モデルを生成する学習済みモデル生成工程を実施することにより取得されることを特徴とし、さらに、前記蛍光輝度特徴量データは、少なくとも蛍光輝度の時間的な変化に関する情報を含むことができる。
【0012】
前記細胞の状態に関する情報は、前記細胞候補領域が生細胞領域であるか否か示す真偽値あるいは可能性を示すスカラ値の情報を少なくとも含むことができる。
また、前記細胞の状態に関する情報は、前記細胞候補領域が分化領域であるか否か示す真偽値あるいは可能性を示すスカラ値の情報を少なくとも含むができる。
また、前記細胞の状態に関する情報は、前記細胞候補領域が分化領域であるか否か示す真偽値あるいは可能性を示すスカラ値の情報を少なくとも含むができる。
【0013】
＜第一の実施形態＞
（概要）
本実施形態では、位相差観察法により撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群、すなわち、時系列位相差画像群から算出した輝度特徴量および形態特徴量あるいはそれらの時間的な変化に関する特徴量から構成される特徴ベクトルを学習済みモデルへ入力し、細胞の状態に関する情報を取得する方法および当該学習済みモデルの生成方法について説明する。
なお、本実施形態を適用する好例として、幹細胞（ｉＰＳ細胞：人工多能性幹細胞、ＥＳ細胞：胚性幹細胞）の播種直後の細胞サンプルの観察を対象とし、細胞の状態に関する情報として「生細胞」、「死細胞」、「非細胞」のいずれであるかを示す情報を取得する例について説明する。細胞の状態に関する情報は、これらに限定せず「生細胞」、「死細胞」のいずれであるかを示す情報でもよいし、「分化後」、「分化前」のいずれであるかを示す情報であってもよい。
（概要）
本実施形態では、位相差観察法により撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群、すなわち、時系列位相差画像群から算出した輝度特徴量および形態特徴量あるいはそれらの時間的な変化に関する特徴量から構成される特徴ベクトルを学習済みモデルへ入力し、細胞の状態に関する情報を取得する方法および当該学習済みモデルの生成方法について説明する。
なお、本実施形態を適用する好例として、幹細胞（ｉＰＳ細胞：人工多能性幹細胞、ＥＳ細胞：胚性幹細胞）の播種直後の細胞サンプルの観察を対象とし、細胞の状態に関する情報として「生細胞」、「死細胞」、「非細胞」のいずれであるかを示す情報を取得する例について説明する。細胞の状態に関する情報は、これらに限定せず「生細胞」、「死細胞」のいずれであるかを示す情報でもよいし、「分化後」、「分化前」のいずれであるかを示す情報であってもよい。
【0014】
（処理手順）
図１に、第一の実施形態に係る細胞画像解析方法のフロー図を示す。
図１に、第一の実施形態に係る細胞画像解析方法のフロー図を示す。
【0015】
（ステップＳ１０１：時系列細胞画像群の取得）
ステップＳ１０１は、細胞培養観察装置で連続した異なる複数のタイミングで撮影された明視野あるいは位相差法により撮影した複数の細胞画像を前記タイミングと関連付けて取得する画像取得工程である。
ステップＳ１０１において、細胞培養観察装置で撮影された細胞画像データを取得する。ここで細胞画像は、一つの培養容器および一定の期間において、所定の間隔で撮影された時系列位相差画像のデータである。例えば、播種直後に撮影した時間を０時間とし、１時間間隔で、５１時間後までの５２枚の画像を取得する。図２は、培養容器２０１において時系列細胞画像群２０２を取得した例を示す図である。細胞画像Ｉ００～Ｉ５１は、それぞれ培養時間０～５１時間の各時間に撮影された画像に対応している。
ステップＳ１０１は、細胞培養観察装置で連続した異なる複数のタイミングで撮影された明視野あるいは位相差法により撮影した複数の細胞画像を前記タイミングと関連付けて取得する画像取得工程である。
ステップＳ１０１において、細胞培養観察装置で撮影された細胞画像データを取得する。ここで細胞画像は、一つの培養容器および一定の期間において、所定の間隔で撮影された時系列位相差画像のデータである。例えば、播種直後に撮影した時間を０時間とし、１時間間隔で、５１時間後までの５２枚の画像を取得する。図２は、培養容器２０１において時系列細胞画像群２０２を取得した例を示す図である。細胞画像Ｉ００～Ｉ５１は、それぞれ培養時間０～５１時間の各時間に撮影された画像に対応している。
【0016】
本ステップにおいて取得する画像は位相差画像に限定せず、非細胞領域に対して細胞の輪郭部のコントラストが強調されている特徴を有する画像であればよい。例えば、微分干渉光学系、偏斜照明系あるいは物体側と像側がテレセントリックな光学系（両側テレセントリック光学系）、デフォーカス画像（合焦点位置から光軸方向に一定の距離ずらして撮影された明視野画像）といった画像に対して、好適に適用可能である。
また、各細胞画像は培養容器に対してそれぞれが共通の視野を含むように撮影されたものであることが好ましい。本実施形態においては、細胞画像Ｉ００～５１は全て同一の視野で撮影されたものであるとする。なお、細胞画像データは、細胞培養観察装置からリアルタイムに取得するものでも、ＨＤＤやクラウドストレージといった外部の記憶領域から取得したものであってもよい。
本ステップにより、細胞培養観察装置で撮影された細胞の形態を示す時系列細胞画像群を取得して、データがステップＳ１０２の実行部（例えば領域抽出部２８０２）へ出力される。なお、情報が出力されるとは、記憶装置への記憶を経て、出力される場合を含む。
また、各細胞画像は培養容器に対してそれぞれが共通の視野を含むように撮影されたものであることが好ましい。本実施形態においては、細胞画像Ｉ００～５１は全て同一の視野で撮影されたものであるとする。なお、細胞画像データは、細胞培養観察装置からリアルタイムに取得するものでも、ＨＤＤやクラウドストレージといった外部の記憶領域から取得したものであってもよい。
本ステップにより、細胞培養観察装置で撮影された細胞の形態を示す時系列細胞画像群を取得して、データがステップＳ１０２の実行部（例えば領域抽出部２８０２）へ出力される。なお、情報が出力されるとは、記憶装置への記憶を経て、出力される場合を含む。
【0017】
（ステップＳ１０２：細胞候補領域の取得）
ステップＳ１０２は、ステップＳ１０１において取得した時系列細胞画像群に含まれる細胞画像のそれぞれにおいて細胞候補領域を取得する細胞候補領域取得工程である。ここで、細胞候補領域とは、ステップＳ１０１で取得した位相差画像において輪郭部が強調されている物体の領域を示している。具体的には、細胞領域以外に細胞の残骸、培養容器の傷や付着物といった物体が含まれる。ステップＳ１０２では、それらの領域を細胞候補領域として取得する。
位相差画像における細胞候補領域は、公知の画像解析技術を用いて取得することができる。例えば、動的輪郭法やＧｒａｐｈＣｕｔといった画像処理や、細胞候補領域を示すマスク画像を教師とし、Ｕ－Ｎｅｔといった深層学習ネットワークを訓練した学習済みモデルを使用できる。
本実施形態では、微分フィルタと二値化処理によって細胞候補領域を取得する例を説明する。
まず、細胞画像に微分フィルタを適用することで微分画像を生成する。微分画像は、各画素において周辺画素との輝度値の変化量を計算し、画像として表現したものである。微分画像は、細胞画像であれば、細胞候補領域の輪郭部分や細胞候補領域内の細胞の輪郭部分において高い輝度値を持つ画像となる。
ステップＳ１０２は、ステップＳ１０１において取得した時系列細胞画像群に含まれる細胞画像のそれぞれにおいて細胞候補領域を取得する細胞候補領域取得工程である。ここで、細胞候補領域とは、ステップＳ１０１で取得した位相差画像において輪郭部が強調されている物体の領域を示している。具体的には、細胞領域以外に細胞の残骸、培養容器の傷や付着物といった物体が含まれる。ステップＳ１０２では、それらの領域を細胞候補領域として取得する。
位相差画像における細胞候補領域は、公知の画像解析技術を用いて取得することができる。例えば、動的輪郭法やＧｒａｐｈＣｕｔといった画像処理や、細胞候補領域を示すマスク画像を教師とし、Ｕ－Ｎｅｔといった深層学習ネットワークを訓練した学習済みモデルを使用できる。
本実施形態では、微分フィルタと二値化処理によって細胞候補領域を取得する例を説明する。
まず、細胞画像に微分フィルタを適用することで微分画像を生成する。微分画像は、各画素において周辺画素との輝度値の変化量を計算し、画像として表現したものである。微分画像は、細胞画像であれば、細胞候補領域の輪郭部分や細胞候補領域内の細胞の輪郭部分において高い輝度値を持つ画像となる。
【0018】
続いて、生成した微分画像に対して二値化処理をすることにより微分画像において高い輝度値を持つ領域を特定する。二値化処理では、任意の閾値を設定し、微分画像の各画素の値に対して、閾値以上であれば値を１、閾値未満であれば０と数値を置き換える。ここで、二値化処理の方法は、任意の閾値を設定する方法に限定しない。例えば、大津の二値化やＬｉの二値化といった閾値を自動的に決める方法を用いてもよい。任意の閾値を設定する場合、露光時間やフォーカス設定等、装置の撮影条件に応じて閾値を設定する。また、適応的二値化のように画像の画素ごとに閾値を決める方法を用いてもよい。二値化処理により、輝度値の変化の大きい領域の画素値を１、それ以外の画素値を０として表現した二値画像（以降、エッジ画像と呼称する）が作成される。
【0019】
続いて、生成したエッジ画像に基づいて細胞候補領域のマスク画像を生成する。ここで、マスク画像は細胞候補領域を画素値１、それ以外の領域を画素値０で表現した二値画像である。マスク画像は、エッジ画像において、画素値１が連結している領域を抽出し、各連結領域の内部の画素値を１で置き換えることで生成する。
【0020】
ここで、対象の細胞の大きさが想定可能である場合は、本ステップにおいて、細胞候補領域の大きさに対する上限や下限の範囲を設定し、範囲外の細胞候補領域を除外するようにしてもよい。例えば、幹細胞の場合、面積１００００μｍ２以上の領域を除くように設定する。
以上の処理を実施することで、ステップＳ１０１で取得したそれぞれの画像における細胞候補領域を取得する。
以上の処理を実施することで、ステップＳ１０１で取得したそれぞれの画像における細胞候補領域を取得する。
【0021】
図３は、図２の細胞画像Ｉ００～Ｉ５１のそれぞれに対して、上述した処理を適用し、マスク画像Ｍ００～Ｍ５１を取得した例を示す図である。マスク画像における黒画素の領域がそれぞれの細胞候補領域を示している。なお、図３に示すようにＣ００１，Ｃ００２といった識別子が付与され、それぞれの細胞候補領域がどの細胞画像における領域であるかが区別できるようにされている。
本ステップにより、ステップＳ１０１で取得した時系列細胞画像群に含まれる細胞画像のそれぞれにおける細胞候補領域を示す情報として、個々の細胞候補領域が識別可能なマスク画像および個々の細胞候補領域に対応した輪郭座標情報を取得し、この情報はステップＳ１０３の実行部（例えば領域追跡部２８０３）へ出力される。
本ステップにより、ステップＳ１０１で取得した時系列細胞画像群に含まれる細胞画像のそれぞれにおける細胞候補領域を示す情報として、個々の細胞候補領域が識別可能なマスク画像および個々の細胞候補領域に対応した輪郭座標情報を取得し、この情報はステップＳ１０３の実行部（例えば領域追跡部２８０３）へ出力される。
【0022】
（ステップＳ１０３：細胞候補領域の追跡）
ステップＳ１０３は、ステップＳ１０２において取得した細胞候補領域に対して、異なるタイミングに関連付けられた、複数の細胞画像間における細胞候補領域同士が同一の領域である（同一の対象に対応する）か否か、を判定し、同一の対象に対応すると判定された細胞候補領域をタイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡工程である。
特定のタイミングで取得された、つまり、特定のタイミングに関連付けられた細胞画像において取得した細胞候補領域に対して、次のタイミングのどの細胞候補領域が同一の細胞候補領域であるかは、領域の重なり度合いを計算し、判定することができる。例えば、２つの領域Ａ１および領域Ａ２の重なり度合いｍは、以下の式１で計算される。
ここで、Ｓ（Ａ１）およびＳ（Ａ２）は領域Ａ１およびＡ２の面積である。また、Ｓ（Ａ１∩Ａ２）は、領域Ａ１と領域Ａ２が重なりあった領域の面積を示している。
ステップＳ１０３は、ステップＳ１０２において取得した細胞候補領域に対して、異なるタイミングに関連付けられた、複数の細胞画像間における細胞候補領域同士が同一の領域である（同一の対象に対応する）か否か、を判定し、同一の対象に対応すると判定された細胞候補領域をタイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡工程である。
特定のタイミングで取得された、つまり、特定のタイミングに関連付けられた細胞画像において取得した細胞候補領域に対して、次のタイミングのどの細胞候補領域が同一の細胞候補領域であるかは、領域の重なり度合いを計算し、判定することができる。例えば、２つの領域Ａ１および領域Ａ２の重なり度合いｍは、以下の式１で計算される。
【数1】
【0023】
以降、図４の細胞候補領域を用いて連続した細胞画像間においてどの細胞候補領域同士が同一の領域であるかを判定する例を説明する。
まず、細胞画像Ｍ００における細胞候補領域Ｃ００１と、細胞画像Ｍ０１の各細胞候補領域との重なり度合いｍを計算し、最も重なり度合いが大きい細胞画像Ｍ０１の細胞候補領域を細胞候補領域Ｃ００１とは、同一の対象に対応するとみなし、このような場合、これらの細胞領域は同一であるという。図４の例においては、細胞候補領域Ｃ００１と細胞候補領域Ｃ０１１が同一の領域と判定される。
続いて、次の細胞候補領域Ｃ００２についても、細胞候補領域Ｃ００１と同様に細胞画像Ｉ０１の各細胞候補領域との重なり度合いｍを計算し、最も重なり度合いが大きい細胞候補領域を細胞候補領域Ｃ００２と同一の細胞領域とする。この際、すでに細胞候補領域Ｃ００１と同一と判定された細胞候補領域Ｃ０１１は対象から除外する。
まず、細胞画像Ｍ００における細胞候補領域Ｃ００１と、細胞画像Ｍ０１の各細胞候補領域との重なり度合いｍを計算し、最も重なり度合いが大きい細胞画像Ｍ０１の細胞候補領域を細胞候補領域Ｃ００１とは、同一の対象に対応するとみなし、このような場合、これらの細胞領域は同一であるという。図４の例においては、細胞候補領域Ｃ００１と細胞候補領域Ｃ０１１が同一の領域と判定される。
続いて、次の細胞候補領域Ｃ００２についても、細胞候補領域Ｃ００１と同様に細胞画像Ｉ０１の各細胞候補領域との重なり度合いｍを計算し、最も重なり度合いが大きい細胞候補領域を細胞候補領域Ｃ００２と同一の細胞領域とする。この際、すでに細胞候補領域Ｃ００１と同一と判定された細胞候補領域Ｃ０１１は対象から除外する。
【0024】
以降、他の細胞候補領域、他の細胞画像に対して同様の処理を繰り返し実施していくことにより、異なるタイミングに関連付けられた細胞画像間においてどの細胞候補領域同士が同一の領域であるか否かが判定される。
なお、細胞培養においては、接着した細胞の剥離や浮遊しているごみに相当する領域も細胞候補領域として含まれる。その場合、あるタイミングにおける細胞候補領域と同一の細胞候補領域が次のタイミングにおいて存在しないことが起こり得る。そのため、重なり度合いに対して閾値を設け、最も重なり度合いが大きい細胞候補領域との重なり度合いが閾値以上であった場合に、同一の細胞候補領域とすることも効果的である。閾値は、例えば０．２５を設定する。
なお、細胞培養においては、接着した細胞の剥離や浮遊しているごみに相当する領域も細胞候補領域として含まれる。その場合、あるタイミングにおける細胞候補領域と同一の細胞候補領域が次のタイミングにおいて存在しないことが起こり得る。そのため、重なり度合いに対して閾値を設け、最も重なり度合いが大きい細胞候補領域との重なり度合いが閾値以上であった場合に、同一の細胞候補領域とすることも効果的である。閾値は、例えば０．２５を設定する。
【0025】
また、本ステップにおいて同一と判定された領域は、どの細胞候補領域が同一の領域であるかが区別できるような識別子が付与されているものとする。図４は、図３の細胞候補領域に対して本ステップの処理を適用した結果付与された識別子の一部を示した例である。細胞候補領域Ｃ００１、Ｃ０１１、Ｃ１２１、Ｃ５１１および細胞候補領域Ｃ００２、Ｃ０１２、Ｃ１２２、Ｃ５１２がそれぞれ同一の領域であると判定され、識別子Ｔ００１およびＴ００２が付与されている。以降、図５に示すような異なるタイミングにおける同一の対象に対応する細胞候補領域として識別子Ｔ００１、Ｔ００２を付し、これを領域追跡番号と呼称する。また、同一の領域追跡番号が付与されている異なるタイミングに関連付けられた細胞候補領域群を時系列細胞候補領域群と呼称する。
【0026】
以上、本ステップにより、ステップＳ１０２で取得した細胞候補領域に対して、どの細胞候補領域が異なるタイミングに同一の細胞候補領域であるかを示す領域追跡番号が、マスク画像および個々の細胞候補領域に対応した輪郭座標情報に付与される。この情報は、ステップＳ１０４の実行部へ出力される。
【0027】
なお、好適な例として式１に基づいた重なり度合いを計算し、同一の領域であるか否かを判定する例を示したが、式１に限定せず、ＤＩＣＥやＩｏＵといった領域同士の重なり度合いに関する公知の評価指標や領域の重心の移動距離等を用いて判定してもよい。また、オプティカルフローを求める手法やカルマンフィルターといった公知の領域追跡手法を適用することも可能である。
【0028】
（ステップＳ１０４：第一の特徴量算出）
ステップＳ１０４は、ステップＳ１０３までで取得した時系列細胞候補領域群に含まれる、細胞候補領域のそれぞれの輝度特徴あるいは形態特徴またはその両方を算出する第一の特徴量算出工程である。
輝度特徴量は、時間変化に依存せず、細胞候補領域に輝度値の統計量を計算したスカラ値であり、統計量は例えば、平均値、最小値、偏差である。形態特徴は、細胞候補領域のサイズや形状を定量したスカラ値であり、例えば、面積、直径を計算する。ステップＳ１０３までに取得した各細胞候補領域に対して、輝度特徴量および形態特徴量を計算する。
計算した特徴量はどの細胞候補領域の特徴量であるかが区別できるように細胞候補領域の識別番号と紐づけられている。
本ステップにより、ステップＳ１０３までに取得した各細胞候補領域に対する輝度特徴量および形態特徴量のデータ群が計算されて取得され、この情報はステップＳ１０５の実行部へ出力される。
なお、算出した特徴量はあくまで一例であり、例えば、輝度特徴量として最大値や中央値、形態特徴量として円形度や面積包絡度を算出してもよい。
ステップＳ１０４は、ステップＳ１０３までで取得した時系列細胞候補領域群に含まれる、細胞候補領域のそれぞれの輝度特徴あるいは形態特徴またはその両方を算出する第一の特徴量算出工程である。
輝度特徴量は、時間変化に依存せず、細胞候補領域に輝度値の統計量を計算したスカラ値であり、統計量は例えば、平均値、最小値、偏差である。形態特徴は、細胞候補領域のサイズや形状を定量したスカラ値であり、例えば、面積、直径を計算する。ステップＳ１０３までに取得した各細胞候補領域に対して、輝度特徴量および形態特徴量を計算する。
計算した特徴量はどの細胞候補領域の特徴量であるかが区別できるように細胞候補領域の識別番号と紐づけられている。
本ステップにより、ステップＳ１０３までに取得した各細胞候補領域に対する輝度特徴量および形態特徴量のデータ群が計算されて取得され、この情報はステップＳ１０５の実行部へ出力される。
なお、算出した特徴量はあくまで一例であり、例えば、輝度特徴量として最大値や中央値、形態特徴量として円形度や面積包絡度を算出してもよい。
【0029】
（ステップＳ１０５：第二の特徴量算出）
ステップＳ１０５は、ステップＳ１０３で取得した各時系列細胞候補領域群に基づいて、ステップＳ１０４で取得した第一の特徴量あるいは位置情報の時間的な変化を示す特徴量（時系列特徴量）を算出する第二の特徴量算出工程である。
ステップＳ１０５は、ステップＳ１０３で取得した各時系列細胞候補領域群に基づいて、ステップＳ１０４で取得した第一の特徴量あるいは位置情報の時間的な変化を示す特徴量（時系列特徴量）を算出する第二の特徴量算出工程である。
【0030】
第二の特徴量は、例えば、任意のタイミングの細胞候補領域に対して、過去一定の間のタイミングの同一の細胞候補領域の第一の特徴量や位置情報のデータ群を抽出し、線形近似に基づく変化量や時間的に連続したデータ間の差の平均値を算出することによって取得される。例えば、過去１２時間のデータに基づいて、線形近似に基づく直径の変化量や、重心座標の平均移動量を計算する。具体的に、図４の例における細胞候補領域Ｃ１２１に対して、直径の変化量および重心の平均移動量を計算する例を説明する。
【0031】
まず、細胞候補領域Ｃ１２１に対して、過去１２時間における同一の細胞候補領域であるＣ０１１までの直径データと重心座標を取得する。続いて、取得した１２時間分の直径データに基づいて、直径変化量を計算する。直径変化量は、１２時間分の直径データを時間と直径の２つの変数からなるデータ群と見立て、最小二乗法により直線近似した際の傾きを求めればよい。さらに、取得した１２時間分の重心座標データに基づいて、平均移動量を計算する。平均移動量は、時間的に連続した重心座標データ間のユークリッド距離を計算し、それらの平均値を計算すればよい。以上のような処理を、他の時系列細胞候補領域群に対しても繰り返し実施することで、各時系列細胞候補領域群の第二の特徴量データ群を取得する。
【0032】
【0033】
本ステップにより、第一の特徴量あるいは位置情報の時間的な変化を示す特徴量である第二の特徴量を含む特徴量データが算出され、この情報はステップＳ１０６の実行部（例えば解析部２８０４）に出力される。
【0034】
なお、好適な例として、過去１２時間のデータに基づいて、第二の特徴量を算出する例を説明したが、これに限定せず、過去４時間や６時間といったデータに基づいて第二の特徴量を算出してもよい。また、直径の変化量や平均移動量を計算する例を説明したが、これらに限定せず、輝度特徴量の変化量を計算してもよいし、線形近似に基づく変化量や差の平均値によるものでなく、データの分散を計算してもよい。
【0035】
（ステップＳ１０６：解析工程）
ステップＳ１０６は、解析工程であり、この工程において、ステップＳ１０５およびステップＳ１０４で算出した特徴量を用いて細胞候補領域の細胞の状態に関する情報を取得する。ここで、細胞候補領域の細胞の状態に関する情報は、例えば、細胞候補領域が生細胞、死細胞、非細胞のいずれの状態であるかを示す真偽値である。
ステップＳ１０６は、解析工程であり、この工程において、ステップＳ１０５およびステップＳ１０４で算出した特徴量を用いて細胞候補領域の細胞の状態に関する情報を取得する。ここで、細胞候補領域の細胞の状態に関する情報は、例えば、細胞候補領域が生細胞、死細胞、非細胞のいずれの状態であるかを示す真偽値である。
【0036】
本ステップでは、ステップＳ１０４による第一の特徴量やステップＳ１０５による第二の特徴量で構成される特徴量ベクトルを入力とし、細胞候補領域の細胞の状態に関する情報を出力するようにあらかじめ訓練された学習済みモデル用いる。
ここで、学習済みモデルは、少なくとも蛍光輝度の時間的な変化に関する情報を含む蛍光輝度に関する情報に基づいたラベリング処理の結果を教師データとして訓練された機械学習モデルである。
以降、具体的な学習済みモデルの生成方法に関して説明する。
ここで、学習済みモデルは、少なくとも蛍光輝度の時間的な変化に関する情報を含む蛍光輝度に関する情報に基づいたラベリング処理の結果を教師データとして訓練された機械学習モデルである。
以降、具体的な学習済みモデルの生成方法に関して説明する。
【0037】
（学習済みモデル生成の処理手順）
図６は、第１の実施形態の解析工程で用いられる学習済みモデルを生成する流れを示すフロー図である。以下のステップは学習用細胞について行われる。
図６は、第１の実施形態の解析工程で用いられる学習済みモデルを生成する流れを示すフロー図である。以下のステップは学習用細胞について行われる。
【0038】
（ステップＳ６０１：時系列細胞画像群を取得）
ステップＳ６０１は、学習済みモデルの訓練に用いる時系列細胞画像群を取得する画像取得工程である。
ステップＳ６０１は、学習済みモデルの訓練に用いる時系列細胞画像群を取得する画像取得工程である。
【0039】
上述のステップＳ１０１においては、連続した異なる複数のタイミングで撮影された位相差画像を細胞画像として時系列細胞画像群を取得したが、本ステップでは、それらに加えて各タイミングに対応する学習用細胞である細胞サンプルの蛍光画像を取得する。タイミングと関連付けて収集した位相差画像、蛍光画像を、それぞれ、時系列位相差画像群、時系列蛍光画像群と呼ぶ場合がある。
【0040】
ここで、細胞候補領域が生細胞、死細胞、非細胞のいずれの状態であるかを示す真偽値を出力する学習済みモデルを生成する場合、生細胞および死細胞のそれぞれに蛍光特性を示すような試薬を添加した細胞サンプルを位相差観察した位相差画像および蛍光観察した蛍光画像を取得する。例えば、生細胞に蛍光特性を示す試薬と、死細胞に蛍光特性を示す試薬は、それらの蛍光特性異なるものを用い、生細胞と死細胞を区別することができる。
あるいは、生細胞と死細胞ともに同色の蛍光色素で染色する場合には、死細胞に対する染色試薬と生細胞に対する染色試薬とを異なるタイミングで添加した細胞サンプルを撮影した画像を取得することができる。
あるいは、生細胞と死細胞ともに同色の蛍光色素で染色する場合には、死細胞に対する染色試薬と生細胞に対する染色試薬とを異なるタイミングで添加した細胞サンプルを撮影した画像を取得することができる。
【0041】
図７は、生細胞と死細胞ともに同色の蛍光色素を用い、まず死細胞を蛍光染色する試薬を添加した細胞を播種した上で、４８時間後までの細胞を撮影し、その後、生細胞を蛍光染色する試薬を添加し、５１時間までの細胞を撮影した各位相差画像および蛍光画像を取得した例として画像群７０２を示す。播種直後に撮影した画像を培養時間０時間の画像とし、１時間間隔で５１時間後までの位相差画像Ｉ７００～Ｉ７５１および蛍光画像ＦＬ７００～ＦＬ７５１を取得している。
本ステップにより、各時間に対応する細胞サンプルの時系列位相差画像群および時系列蛍光画像群を取得して、この情報はステップS６０２の実行部に出力される。
本ステップにより、各時間に対応する細胞サンプルの時系列位相差画像群および時系列蛍光画像群を取得して、この情報はステップS６０２の実行部に出力される。
【0042】
（ステップＳ６０２～Ｓ６０５）
ステップＳ６０２～Ｓ６０５の処理は、上述のステップＳ１０２～Ｓ１０５の処理をステップＳ６０１で取得した時系列位相差画像群に適用することと同様の処理であるため説明を省略する。
ステップＳ６０２～Ｓ６０５の処理は、上述のステップＳ１０２～Ｓ１０５の処理をステップＳ６０１で取得した時系列位相差画像群に適用することと同様の処理であるため説明を省略する。
【0043】
ステップＳ６０２～Ｓ６０５の処理により、ステップＳ６０１で取得した時系列位相差画像群から、図５に示すような特徴量データ群を算出し、この情報はステップＳ６０６の実行部へ出力される。
【0044】
（ステップＳ６０６）
ステップＳ６０６は、ステップＳ６０１で取得した蛍光画像およびステップＳ６０２～Ｓ６０５で取得した各細胞候補領域および領域追跡番号に基づいて、時系列細胞候補領域群における蛍光輝度に関する特徴量を計算する蛍光輝度特徴算出工程である。
ステップＳ６０６は、ステップＳ６０１で取得した蛍光画像およびステップＳ６０２～Ｓ６０５で取得した各細胞候補領域および領域追跡番号に基づいて、時系列細胞候補領域群における蛍光輝度に関する特徴量を計算する蛍光輝度特徴算出工程である。
【0045】
まず、ステップＳ６０１で取得した蛍光画像に対して、各細胞候補領域における蛍光輝度の平均値を算出する。ここで、蛍光画像がＲＧＢカラー画像である場合には、細胞サンプルを染色した蛍光色素に対応した色成分の輝度値に対して計算すればよい。ステップＳ６０１で説明したように緑色蛍光色素で染色されたサンプルである場合にはＧ成分の輝度の平均値を計算する。
【0046】
図８は、各細胞候補領域における蛍光輝度の平均値を算出した例として表８０１を示す。図６のような位相差画像から算出した特徴量データ群に、蛍光輝度の平均値データが追加される。以降、蛍光輝度の平均値を指して単に蛍光輝度と呼称する。
ここで、図７の例のように、死細胞と生細胞を同色の蛍光色素でタイミングを変えて染めた細胞サンプルを用いる場合、蛍光画像ＦＬ７４９～ＦＬ７５０において算出した蛍光輝度には、生細胞の染色による蛍光輝度に、死細胞の染色による蛍光輝度が加算されている。そのため、生細胞染色以降の蛍光画像から算出した蛍光輝度から死細胞の染色による蛍光輝度を減算して、生細胞の蛍光輝度とすることが好ましい。例えば、図７の例においては、４９時間以降における蛍光画像ＦＬ７４９～ＦＬ７５１において算出した各細胞候補領域の蛍光輝度から、４８時間時点における蛍光画像ＦＬ７４８で算出した同一の細胞候補領域の蛍光輝度を減算すればよい。図９に、前述の減算処理を施した状態の各時系列細胞候補領域群における蛍光輝度の時間推移のグラフ９０１を示す。横軸が培養日数、縦軸が蛍光輝度であり、各線が各時系列細胞候補領域群を表している。
ここで、図７の例のように、死細胞と生細胞を同色の蛍光色素でタイミングを変えて染めた細胞サンプルを用いる場合、蛍光画像ＦＬ７４９～ＦＬ７５０において算出した蛍光輝度には、生細胞の染色による蛍光輝度に、死細胞の染色による蛍光輝度が加算されている。そのため、生細胞染色以降の蛍光画像から算出した蛍光輝度から死細胞の染色による蛍光輝度を減算して、生細胞の蛍光輝度とすることが好ましい。例えば、図７の例においては、４９時間以降における蛍光画像ＦＬ７４９～ＦＬ７５１において算出した各細胞候補領域の蛍光輝度から、４８時間時点における蛍光画像ＦＬ７４８で算出した同一の細胞候補領域の蛍光輝度を減算すればよい。図９に、前述の減算処理を施した状態の各時系列細胞候補領域群における蛍光輝度の時間推移のグラフ９０１を示す。横軸が培養日数、縦軸が蛍光輝度であり、各線が各時系列細胞候補領域群を表している。
【0047】
続いて、図８の表８００のように算出した各細胞候補領域の蛍光輝度を用いて、各時系列細胞候補領域群の蛍光輝度特徴量を算出する。ここで、蛍光輝度特徴量は、後述するラベリング処理において、各時系列細胞候補領域群に「生細胞」、「非細胞」、「死細胞」、「生死変化のある細胞」といった細胞候補領域の細胞の状態に関するラベルを付与するための特徴量である。そのため、蛍光輝度特徴量は、それらを区別するために有用な特徴量であることが望ましい。例えば、時系列細胞候補領域群の細胞候補領域における「死細胞染色初期の蛍光輝度」、「死細胞染色の最後の蛍光輝度」、「死細胞染色の蛍光輝度の変化量の最大値」、「生細胞染色の蛍光輝度の最大値」の４種のスカラ値を計算する。「死細胞染色初期の蛍光輝度」、「死細胞染色最後の蛍光輝度」は、生細胞を染色したタイミングに応じて、該当するタイミングの細胞画像の細胞候補領域の蛍光輝度のデータを抽出すればよい。例えば、図７の例においては、それぞれ０時間と４８時間のタイミングにおける蛍光輝度を抽出する。「死細胞染色の蛍光輝度の変化量の最大値」において、蛍光輝度の変化量は、ステップＳ１０５で説明した方法と同様に、任意のタイミングから過去１２時間分の蛍光輝度のデータ群に対して直線近似をし、その傾きを変化量とすればよい。時系列細胞候補領域群の各タイミングにおける蛍光輝度の変化量を計算し、それらの最大値を取得する。「生細胞染色の蛍光輝度の最大値」は、生細胞を染色したタイミング以降の蛍光輝度データから最大値を取得すればよい。
【0048】
図１０は、図８に示すような蛍光輝度を含む各細胞候補領域のデータから、各時系列細胞候補領域群の蛍光輝度特徴量を算出した例として表１０００を示す。同一の追跡番号を有する各時系列細胞候補領域群に対する蛍光輝度特徴量が算出されている。
以上、本ステップにより、時系列細胞候補領域群のそれぞれの細胞候補領域に対する蛍光輝度に関する特徴量が計算され、この情報はステップＳ６０７の実行部へ出力される。
以上、本ステップにより、時系列細胞候補領域群のそれぞれの細胞候補領域に対する蛍光輝度に関する特徴量が計算され、この情報はステップＳ６０７の実行部へ出力される。
【0049】
なお、蛍光輝度特徴量として４種のスカラ値を計算する例を説明したが、蛍光輝度特徴量として計算するスカラ値はそれらに限定しない。例えば、各時系列細胞候補領域群における死細胞染色の蛍光輝度の平均値、偏差、最小値、最大値といった統計量を計算してもよい。
【0050】
（ステップＳ６０７）
ステップＳ６０７は、ステップＳ６０６で算出した蛍光輝度特徴量に基づいて、各時系列細胞候補領域群に細胞の状態に関する情報を付与するラベリング処理工程である。ここで、細胞の状態に関する情報は、後述の学習済みモデルを訓練するための教師となる正解ラベルである。
ステップＳ６０７は、ステップＳ６０６で算出した蛍光輝度特徴量に基づいて、各時系列細胞候補領域群に細胞の状態に関する情報を付与するラベリング処理工程である。ここで、細胞の状態に関する情報は、後述の学習済みモデルを訓練するための教師となる正解ラベルである。
【0051】
まず、ステップＳ６０６で取得した図１０のような蛍光輝度特徴量データ群に対して、教師なしクラスタリング手法によって、データ群を任意のクラスタのデータ群に分割する。ここで、時系列細胞候補領域群は、「生細胞」、「非細胞」、「死細胞」、「生死変化のある細胞」の４種のいずれかであることが想定できる。そのため、任意のクラスタ数は４として、公知の教師なしクラスタリング手法を適用すればよい。例えば、階層クラスタリングを適用する。これに限らず、Ｋ－ｍｅａｎｓといった手法を適用することも可能である。
【0052】
続いて、教師なしクラスタリングで分割した各クラスタが、「生細胞」、「非細胞」、「死細胞」、「生死変化のある細胞」のいずれに該当するクラスタであるかのラベル付け処理を行う。ラベル付け処理は、各クラスタにおける各蛍光輝度特徴量データの平均値に基づいて、ルールベースで実施すればよい。まず、時系列細胞候補領域群が「死細胞」である場合には、「死細胞染色初期の蛍光輝度」および「死細胞染色最後の蛍光輝度」がともに大きい数値であることが想定できる。そのため、クラスタに所属する蛍光輝度特徴量のデータ群のうち「死細胞染色初期の蛍光輝度」および「死細胞染色最後の蛍光輝度」の平均値を計算し、平均値が最も大きいクラスタを「死細胞」とする。続いて、時系列細胞候補領域群が「生死変化のある細胞」である場合には、死細胞染色の蛍光輝度に時間的な変化があることが想定できる。そのため、クラスタに所属する蛍光輝度特徴量のデータ群のうち「死細胞染色の蛍光輝度の変化量の最大値」の平均値を計算し、平均値が最も大きいクラスタを「生死変化のある細胞」とする。さらに、時系列細胞候補領域群が「生細胞」である場合には、「生細胞染色の蛍光輝度」が大きい数値であることが想定できる。そのため、クラスタに所属する蛍光輝度特徴量のデータ群のうち「生細胞染色の蛍光輝度の最大値」の平均値を計算し、平均値が最も大きいクラスタを「生細胞」とする。最後に、残ったクラスタが「非細胞」となる。
【0053】
なお、ルールベースに各クラスタにラベル付けをする方法は、前述した方法に限定しない。例えば、「死細胞」、「生死の変化のある細胞」、「生細胞」、「非細胞」の順のラベル付けではなく、「生死の変化のある細胞」、「死細胞」、「生細胞」、「非細胞」のような順でラベル付けしてもよい。また、「非細胞」は「生細胞の染色輝度」および「生細胞の染色輝度」が共に小さいことが想定できる。そのため、クラスタに所属する蛍光輝度特徴量のデータ群のうち「死細胞染色最後の蛍光輝度」および「生細胞染色の蛍光輝度の最大値」の平均値を計算し、平均値が最も小さいクラスタを「非細胞」とするように、「非細胞」のラベルを付与する処理が含まれていてもよい。
【0054】
以上の処理により、各クラスタが「生細胞」、「非細胞」、「死細胞」、「生死変化のある細胞」のいずれに該当するかが確定され、各クラスタに所属する各時系列細胞候補領域群に対してもそれらに応じたラベルが細胞の状態に関する情報として付与される。また、図１１における領域追跡番号およびラベルを参照することで、図８のような各細胞候補領域の特徴量データ群における各細胞候補領域に対してもラベルを付与することができる。
【0055】
図１１は、図１０の時系列細胞候補領域群の蛍光輝度特徴量データ群に対して、前述のラベリング処理を適用した結果を示した表である。表１１００におけるラベル列が「生細胞」、「非細胞」、「死細胞」、「生死変化のある細胞」のいずれであるかを示しており、ラベルはそれぞれ０，１，２，３のスカラ値に変換されている。また、図１２の表１２００は、図１１の領域番号およびラベルを参照し、図８の各細胞候補領域に対してもラベルを付与した結果を示した表である。図１３は、図９の各時系列細胞候補領域群の蛍光輝度の時間推移を示すグラフを、ラベリング処理の結果に基づいて分割して描画したグラフである。グラフ１３０１、１３０２、１３０３、１３０４がそれぞれ、「生細胞」、「死細胞」、「生死変化のある細胞」、「非細胞」とラベル付けされた各時系列細胞候補領域群の蛍光輝度の時間推移を示している。
以上、本ステップにより、細胞の状態に関する情報が付与された各細胞候補領域の特徴量データ群がステップＳ６０８の実行部へ出力される。
以上、本ステップにより、細胞の状態に関する情報が付与された各細胞候補領域の特徴量データ群がステップＳ６０８の実行部へ出力される。
【0056】
（ステップＳ６０８：学習済みモデルの生成）
ステップＳ６０８は、ステップＳ６０７で取得した細胞の状態に関する情報が付与された各細胞候補領域の特徴量データ群に基づいて学習済みモデルを生成する学習済みモデル生成工程である。
ステップＳ６０８は、ステップＳ６０７で取得した細胞の状態に関する情報が付与された各細胞候補領域の特徴量データ群に基づいて学習済みモデルを生成する学習済みモデル生成工程である。
【0057】
本ステップでは、位相差画像から算出した各特徴量で構成される特徴量ベクトルを入力、ステップＳ６０７で付与されたラベルを教師として、生細胞、死細胞、非細胞のいずれの状態であるかを示す真偽値を出力する機械学習モデルを訓練することで、学習済みモデルを生成する。位相差画像から算出した各特徴量は、図１２の例においては、直径、輝度平均値、輝度最小値、輝度偏差、平均移動量、直径変化量である。また、学習済みモデルは、学習データに基づいて、特徴量ベクトルを入力とし、正解データラベルを示す真偽値が得られるように最適化されたモデルの構造やパラメータである。
ここで、図１２のように取得されたデータにおいて、ラベル２が付与されたデータは同一の細胞の時間変化を観察した際に「生死変化のある細胞」であり、生細胞であるか死細胞であるかが曖昧な状態を含む可能性が高い。そういった曖昧な状態を含むデータは、生細胞、死細胞を分類する機械学習モデルの性能を低下させる。そのため、ラベル２のデータを除いたデータを学習データとし、学習済みモデルを生成する。
ここで、図１２のように取得されたデータにおいて、ラベル２が付与されたデータは同一の細胞の時間変化を観察した際に「生死変化のある細胞」であり、生細胞であるか死細胞であるかが曖昧な状態を含む可能性が高い。そういった曖昧な状態を含むデータは、生細胞、死細胞を分類する機械学習モデルの性能を低下させる。そのため、ラベル２のデータを除いたデータを学習データとし、学習済みモデルを生成する。
【0058】
機械学習モデルは、特徴量ベクトルを入力し、任意のクラス数に分類するような機械学習モデルであればよく、例えば、ＸＧＢｏｏｓｔといった手法を用いる。これに限定せず、ニューラルネットワーク、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ランダムフォレスト、ＬｉｇｈｔＧＢＭ、混合ガウスモデルといったモデルを適用することも可能である。また、これら学習データに基づいてこれらモデルの構造やパラメータを最適化する方法も公知の最適化手法により実施可能である。例えば、ＸＧＢｏｏｓｔの場合には、グリッドサーチやベイズ最適化といった手法により最適化する。
なお、「生細胞」、「死細胞」、「非細胞」といった状態ではなく、「生細胞」の状態と「その他」の状態といった２クラスの分類を実施する場合には、異常検知ベースモデルを用いることもできる。例えば、カーネル密度推定といった確率密度分布へのフィッティングをするモデルを用いることができる。異常検知ベースのモデルは、２クラスの分類において、他方のクラスの学習データが極端に多い場合に好適である。
なお、「生細胞」、「死細胞」、「非細胞」といった状態ではなく、「生細胞」の状態と「その他」の状態といった２クラスの分類を実施する場合には、異常検知ベースモデルを用いることもできる。例えば、カーネル密度推定といった確率密度分布へのフィッティングをするモデルを用いることができる。異常検知ベースのモデルは、２クラスの分類において、他方のクラスの学習データが極端に多い場合に好適である。
【0059】
以上、第１の実施形態の解析工程における学習済みモデルを生成する方法を説明した。
なお、ステップＳ６０１において、図７に示すような任意の培養容器７０１で取得した画像を取得する例を示したが、同様の手順での染色および細胞画像の撮影が実施されたサンプルや別の視野の画像を取得可能な場合、それらも用いて学習済みモデルを生成することも好適である。その場合、異なるサンプルあるいは異なる視野のデータに対して、繰り返しステップＳ６０１～Ｓ６０７の処理を実施し、それぞれで得られた図１２のようなデータを一つの学習データとしてまとめた上で、学習済みモデルを生成すればよい。
なお、ステップＳ６０１において、図７に示すような任意の培養容器７０１で取得した画像を取得する例を示したが、同様の手順での染色および細胞画像の撮影が実施されたサンプルや別の視野の画像を取得可能な場合、それらも用いて学習済みモデルを生成することも好適である。その場合、異なるサンプルあるいは異なる視野のデータに対して、繰り返しステップＳ６０１～Ｓ６０７の処理を実施し、それぞれで得られた図１２のようなデータを一つの学習データとしてまとめた上で、学習済みモデルを生成すればよい。
【0060】
（ステップＳ１０６：解析工程）
ステップＳ１０６では、ステップＳ６０１～Ｓ６０８のように生成された学習済みモデルへ、図５に示したような各細胞候補領域の特徴ベクトルを入力し、細胞候補領域の細胞の状態に関する情報を取得する。具体的には、ステップＳ６０１～Ｓ６０８で示した例による学習済みモデルの場合、「生細胞」、「死細胞」、「非細胞」のいずれの状態であるかを示す真偽値を出力結果として得ることができる。図１４は、図５の各細胞候補領域の特徴量ベクトルを入力として得られた真偽値を示している。「生細胞」、「死細胞」、「非細胞」がそれぞれラベル０、１、３に相当している。例えば、Ｃ１２１の細胞候補領域について、ラベル０に対応した真偽値が１であり、Ｃ１２１は「生細胞」の状態であるという判定結果が得られる。なお、真偽値ではなく、機械学習モデルが真偽値を出力する途中経過で算出される尤度を取得するようにしてもよい。図１５は、真偽値の代わりに尤度を取得した例である。
ステップＳ１０６では、ステップＳ６０１～Ｓ６０８のように生成された学習済みモデルへ、図５に示したような各細胞候補領域の特徴ベクトルを入力し、細胞候補領域の細胞の状態に関する情報を取得する。具体的には、ステップＳ６０１～Ｓ６０８で示した例による学習済みモデルの場合、「生細胞」、「死細胞」、「非細胞」のいずれの状態であるかを示す真偽値を出力結果として得ることができる。図１４は、図５の各細胞候補領域の特徴量ベクトルを入力として得られた真偽値を示している。「生細胞」、「死細胞」、「非細胞」がそれぞれラベル０、１、３に相当している。例えば、Ｃ１２１の細胞候補領域について、ラベル０に対応した真偽値が１であり、Ｃ１２１は「生細胞」の状態であるという判定結果が得られる。なお、真偽値ではなく、機械学習モデルが真偽値を出力する途中経過で算出される尤度を取得するようにしてもよい。図１５は、真偽値の代わりに尤度を取得した例である。
【0061】
以上、ステップＳ１０６により、ステップＳ１０４による第一の特徴量やステップＳ１０５による第二の特徴量で構成される特徴量ベクトルを学習済みモデルに入力とし、細胞候補領域の細胞の状態に関する情報を取得する。
【0062】
（結果の出力）
細胞画像解析方法は、図１４に示す表１４００あるいは図１５に示す表１５００といった各細胞候補領域に対する学習済みモデルの出力結果を含むテーブル情報や各時系列細胞候補領域群における真偽値や尤度の時間推移のグラフをディスプレイに表示するような表示制御工程をさらに有してもよい。学習済みモデルの出力結果は、図１４や図１５に示したようなテーブル情報の他、細胞候補領域を描画したタイムラプス画像やタイムラプス画像に基づいて生成したタイムラプス動画、またはヒートマップ画像の形式で表示することも好ましい。例えば、細胞候補領域の細胞の輪郭を学習済みモデルの判定結果に応じて表示態様を変えて各タイミングの位相差画像に描画したタイムラプス画像を表示する。ここで、表示態様を変えるとは、学習済みモデルの判定結果がわかる程度に、判定結果毎に表示態様が異なっていればよい。表示態様を変える例としては、輪郭の色分けをする、輪郭の線の太さを変える、輪郭の線の種別を変える（線の種別とは例えば実線、破線、一点鎖線等がある）、あるいは、これらの組合せが挙げられる。なお、細胞の輪郭を表示する代わりに、細胞の領域を矢印で示す、細胞の領域を色塗りする、細胞の領域の長径や短径を示すようにしてもよい。さらに、輪郭・色塗りや矢印の輝度を変えることで、判定結果が分かるようにしてもよい。また、ヒートマップ画像は、幅方向を時間、高さ方向を領域追跡番号、各画素の数値を真偽値や尤度としたヒートマップ画像を表示してもよい。例示したような、「生細胞」、「死細胞」、「非細胞」の状態を判定する学習済みモデルの場合、各タイミングにおける生細胞率（生細胞数÷（生細胞数＋死細胞数））等を計算し、生細胞率の時間推移を表示することも好適である。
以上、本実施形態により、より信頼度の高い教師データに基づいた学習済みモデルによる細胞の状態に関する判定結果をユーザへ提示することが可能となる。
細胞画像解析方法は、図１４に示す表１４００あるいは図１５に示す表１５００といった各細胞候補領域に対する学習済みモデルの出力結果を含むテーブル情報や各時系列細胞候補領域群における真偽値や尤度の時間推移のグラフをディスプレイに表示するような表示制御工程をさらに有してもよい。学習済みモデルの出力結果は、図１４や図１５に示したようなテーブル情報の他、細胞候補領域を描画したタイムラプス画像やタイムラプス画像に基づいて生成したタイムラプス動画、またはヒートマップ画像の形式で表示することも好ましい。例えば、細胞候補領域の細胞の輪郭を学習済みモデルの判定結果に応じて表示態様を変えて各タイミングの位相差画像に描画したタイムラプス画像を表示する。ここで、表示態様を変えるとは、学習済みモデルの判定結果がわかる程度に、判定結果毎に表示態様が異なっていればよい。表示態様を変える例としては、輪郭の色分けをする、輪郭の線の太さを変える、輪郭の線の種別を変える（線の種別とは例えば実線、破線、一点鎖線等がある）、あるいは、これらの組合せが挙げられる。なお、細胞の輪郭を表示する代わりに、細胞の領域を矢印で示す、細胞の領域を色塗りする、細胞の領域の長径や短径を示すようにしてもよい。さらに、輪郭・色塗りや矢印の輝度を変えることで、判定結果が分かるようにしてもよい。また、ヒートマップ画像は、幅方向を時間、高さ方向を領域追跡番号、各画素の数値を真偽値や尤度としたヒートマップ画像を表示してもよい。例示したような、「生細胞」、「死細胞」、「非細胞」の状態を判定する学習済みモデルの場合、各タイミングにおける生細胞率（生細胞数÷（生細胞数＋死細胞数））等を計算し、生細胞率の時間推移を表示することも好適である。
以上、本実施形態により、より信頼度の高い教師データに基づいた学習済みモデルによる細胞の状態に関する判定結果をユーザへ提示することが可能となる。
【0063】
（第一の実施形態の変形例１：位置合わせ）
第一の実施形態では、細胞画像Ｉ００～Ｉ５１が同一の視野で撮影された画像である例を説明した。細胞領域が完全に同一の視野を撮影したものではなく、一部共通の視野を撮影した画像である場合、あるいは、装置の振動等による撮影位置のブレが想定される場合、時系列細胞画像群の複数の画像間の位置合わせを実施することが望ましい。位置合わせは、ステップＳ１０１，ステップＳ１０２，ステップＳ１０３等の工程において行ってもよいし、あるいは、別の工程において行うことができる。位置合わせは、連続した各タイミング間の画像同士で実施すればよく、テンプレートマッチングといった公知の位置合わせ技術を用いることができる。テンプレートマッチングに限らず、ＳＨＩＦＴあるいはＳＵＲＦといった特徴点を抽出し、特徴点マッチングに基づいてアフィン変換行列を推定するような位置合わせ手法を用いてもよい。また、位相差画像で位置合わせを実施するのではなく、図３のようなマスク画像を用いて位置合わせを実施してもよい。
第一の実施形態では、細胞画像Ｉ００～Ｉ５１が同一の視野で撮影された画像である例を説明した。細胞領域が完全に同一の視野を撮影したものではなく、一部共通の視野を撮影した画像である場合、あるいは、装置の振動等による撮影位置のブレが想定される場合、時系列細胞画像群の複数の画像間の位置合わせを実施することが望ましい。位置合わせは、ステップＳ１０１，ステップＳ１０２，ステップＳ１０３等の工程において行ってもよいし、あるいは、別の工程において行うことができる。位置合わせは、連続した各タイミング間の画像同士で実施すればよく、テンプレートマッチングといった公知の位置合わせ技術を用いることができる。テンプレートマッチングに限らず、ＳＨＩＦＴあるいはＳＵＲＦといった特徴点を抽出し、特徴点マッチングに基づいてアフィン変換行列を推定するような位置合わせ手法を用いてもよい。また、位相差画像で位置合わせを実施するのではなく、図３のようなマスク画像を用いて位置合わせを実施してもよい。
【0064】
本変形例によれば、時系列細胞画像群の異なるタイミング間の細胞画像同士で視野のずれが発生している場合においても、学習済みモデルの生成および学習済みモデルを用いた細胞の状態に関する情報の取得が可能となる。
【0065】
（第一の実施形態の変形例２：生細胞と死細胞を異なる色素で染色したサンプルの場合）
第一の実施形態では、ステップＳ６０１～Ｓ６０８の学習済みモデル生成方法の例において、生細胞と死細胞とを同色の蛍光色素で異なるタイミングで染めた細胞サンプルの蛍光画像を取得する例を説明した。これに限らず、学習済みモデル生成には、生細胞と死細胞とが異なる色、すなわち、励起波長および蛍光波長の少なくともいずれかが異なる蛍光色素で染めた細胞サンプルの蛍光画像を用いてもよい。
第一の実施形態では、ステップＳ６０１～Ｓ６０８の学習済みモデル生成方法の例において、生細胞と死細胞とを同色の蛍光色素で異なるタイミングで染めた細胞サンプルの蛍光画像を取得する例を説明した。これに限らず、学習済みモデル生成には、生細胞と死細胞とが異なる色、すなわち、励起波長および蛍光波長の少なくともいずれかが異なる蛍光色素で染めた細胞サンプルの蛍光画像を用いてもよい。
【0066】
その場合、図７の例において各タイミングにおいて、生細胞と死細胞それぞれに対応した蛍光画像を取得すればよい。蛍光画像は、生細胞と死細胞のそれぞれに対応した２種のグレースケール画像である。蛍光画像がＲＧＢカラー画像である場合は、細胞サンプルを染色した蛍光色素に対応した色成分を抽出すればよい。例えば、生細胞が赤色の色素、死細胞が緑色の色素で染色された細胞サンプルである場合は、ＲＧＢカラー画像から、ＲおよびＧの成分の画像をそれぞれ抽出する。図１６は、生細胞と死細胞とが異なる色の蛍光色素で染めた細胞サンプルにおける位相差画像、死細胞染色に対応した蛍光画像および生細胞染色に対応した蛍光画像を取得した例（画像１６０２）である。各タイミングの位相差画像Ｉ１６００～Ｉ１６５１に対応し、死細胞染色に対応した蛍光画像ＦＬ１６００ａ～ＦＬ１６５１ａおよび、生細胞染色に対応した蛍光画像ＦＬ１６００ｂ～ＦＬ１６５１ｂを取得している。
【0067】
図１６の１６０１に示すように培養容器１６０１中の生細胞染色と死細胞染色それぞれに対応した蛍光画像を取得した場合、ステップＳ６０６においては、それぞれの蛍光画像の各細胞候補領域における輝度値の平均を計算し、それぞれの蛍光輝度に基づいて、図１１のように各時系列細胞候補領域群における蛍光輝度特徴量を算出する。ここで、第一の実施形態では、図１１に示すように死細胞染色に関してその時間的な変化を表現する特徴量として「死細胞染色初期の蛍光輝度」、「死細胞染色最後の蛍光輝度」、「死細胞染色の蛍光輝度の変化量の最大値」を計算する例を説明した。対して、本変形例のように、生細胞染色に関しても培養時間０時間からの蛍光画像を取得する場合においては、生細胞染色に関してその時間的な変化を表現する特徴量を算出することも好ましい。具体的には、死細胞染色における場合と同様に、「生細胞染色初期の蛍光輝度」、「生細胞染色最後の蛍光輝度」、「生細胞染色の蛍光輝度の変化量の最小値」を算出すればよい。
【0068】
以降、ステップＳ６０７以降の処理では、第一の実施形態と同様に、算出した蛍光輝度特徴量を用いてラベリング処理を実施し、学習済みモデルを生成する。
【0069】
以上、本変形例によれば、生細胞と死細胞とが異なる色の蛍光色素で染色された細胞サンプルの蛍光画像を取得する場合においても、学習済みモデルの生成および学習済みモデルを用いた細胞の状態に関する情報の取得が可能となる。
【0070】
（第一の実施形態の変形例３：細胞と死細胞を異なる色素で染色したサンプルの場合）
第一の実施形態では、ステップＳ６０１～Ｓ６０８の学習済みモデル生成方法の例において、生細胞と死細胞とを同色の蛍光色素で異なるタイミングで染めた細胞サンプルの蛍光画像を取得する例を説明した。これに限らず、ステップＳ６０１において、細胞と死細胞とが異なる色の蛍光色素で染めた細胞サンプルの蛍光画像を用いてもよい。細胞を染める試薬としては、核染色試薬、細胞膜染色試薬等が挙げられる。
第一の実施形態では、ステップＳ６０１～Ｓ６０８の学習済みモデル生成方法の例において、生細胞と死細胞とを同色の蛍光色素で異なるタイミングで染めた細胞サンプルの蛍光画像を取得する例を説明した。これに限らず、ステップＳ６０１において、細胞と死細胞とが異なる色の蛍光色素で染めた細胞サンプルの蛍光画像を用いてもよい。細胞を染める試薬としては、核染色試薬、細胞膜染色試薬等が挙げられる。
【0071】
その場合、図７の例において各タイミングにおいて、細胞と死細胞それぞれに対応した蛍光画像を取得すればよい。蛍光画像は、細胞と死細胞のそれぞれに対応した２種のグレースケール画像である。蛍光画像がＲＧＢカラー画像である場合は、細胞サンプルを染色した蛍光色素に対応した色成分を抽出すればよい。例えば、細胞が赤色の色素、死細胞が緑色の色素で染色された細胞サンプルである場合は、ＲＧＢカラー画像から、ＲおよびＧの成分の画像をそれぞれ抽出する。図２７は、生細胞と死細胞とを異なる色の蛍光色素で染めた細胞サンプルにおける位相差画像、死細胞染色に対応した蛍光画像および生細胞染色に対応した蛍光画像を取得した例である。各タイミングの位相差画像Ｉ２７００～Ｉ２７５１に対応し、死細胞染色に対応した蛍光画像ＦＬ２７００ａ～ＦＬ２７５１ａおよび、細胞染色に対応した蛍光画像ＦＬ２７００ｂ～ＦＬ２７５１ｂを取得している。
【0072】
図２７の２７０２に示すように培養容器２７０１の細胞染色と死細胞染色それぞれに対応した蛍光画像を取得した場合、ステップＳ６０６においては、それぞれの蛍光画像の各細胞候補領域における輝度値の平均を計算し、それぞれの蛍光輝度に基づいて、図１１のように各時系列細胞候補領域群における蛍光輝度特徴量を算出する。さらに、図１１に示すように死細胞染色に関してその時間的な変化を表現する特徴量として「死細胞染色初期の蛍光輝度」、「死細胞染色最後の蛍光輝度」、「死細胞染色の蛍光輝度の変化量の最大値」を計算する。細胞染色に関しては時間変化が大きくないため、特定の時点の蛍光輝度や、蛍光輝度の時系列データの平均値を取ると良い。
【0073】
以降、ステップＳ６０７以降の処理では、第一の実施形態と同様に、算出した蛍光輝度特徴量を用いてラベリング処理を実施し、学習済みモデルを生成する。
【0074】
以上、本変形例によれば、細胞と死細胞とが異なる色の蛍光色素で染色された細胞サンプルの蛍光画像を取得する場合においても、学習済みモデルの生成および学習済みモデルを用いた細胞の状態に関する情報の取得が可能となる。
【0075】
なお、細胞と生細胞とが異なる色の蛍光色素で染色された細胞サンプルの蛍光画像を利用することも好適で、同様の手法で学習済みモデルの生成および学習済みモデルを用いた細胞の状態に関する情報の取得が可能となる。
【0076】
（第一の実施形態の変形例３：段階的に教師なしクラスタリングを実施）
第一の実施形態では、各時系列細胞候補領域群の蛍光輝度特徴量データ群を教師無しクラスタリングにより４種のクラスタに分割し、それぞれのクラスタにルールベースでラベル付けを行うラベリング処理方法を説明した。これに限らず、ステップＳ６０７において、段階的にラベリング処理を実施してもよい。段階的なラベリング処理は、教師無しクラスタリングによる分類に特に有効な蛍光輝度特徴量や分類の難易度が想定容易である場合に有効である。具体的には、「生細胞」、「非細胞」、「死細胞」、「生死変化のある細胞」の４種のラベルを付与する例においては、図９のような蛍光輝度の時間推移の様子等から、「生細胞」と「非細胞」との分類が難しく、「死細胞」や「生死変化のある細胞」とその他との分類は比較的容易であることが想定できる。
第一の実施形態では、各時系列細胞候補領域群の蛍光輝度特徴量データ群を教師無しクラスタリングにより４種のクラスタに分割し、それぞれのクラスタにルールベースでラベル付けを行うラベリング処理方法を説明した。これに限らず、ステップＳ６０７において、段階的にラベリング処理を実施してもよい。段階的なラベリング処理は、教師無しクラスタリングによる分類に特に有効な蛍光輝度特徴量や分類の難易度が想定容易である場合に有効である。具体的には、「生細胞」、「非細胞」、「死細胞」、「生死変化のある細胞」の４種のラベルを付与する例においては、図９のような蛍光輝度の時間推移の様子等から、「生細胞」と「非細胞」との分類が難しく、「死細胞」や「生死変化のある細胞」とその他との分類は比較的容易であることが想定できる。
【0077】
図１７は、蛍光輝度特徴量データ群に対して、段階的にラベリング処理を適用した際のデータフローを示している。第一の実施形態と同様に、時系列細胞候補領域群に「生細胞」、「非細胞」、「死細胞」、「生死変化のある細胞」の４種のラベルを付与する際の例を示している。
【0078】
まず、Ｄ１７００は、ラベリング処理実施前の蛍光輝度特徴量データ群であり、図１０の表のようなデータ群に相当する。
【0079】
ステップＳ１７０１は、Ｄ１７００の蛍光輝度特徴量データ群を、「生細胞・非細胞」、「死細胞」、「生死変化のある細胞」の３種のデータ群に分割する第一のラベリング処理工程である。第一のラベリング処理工程では、クラスタ数を３とした教師なしクラスタリング手法を適用した上で、ルールベースに各クラスタにラベル付けを行う。ここで、第一のラベリング処理工程における教師無しクラスタリングでは、図１０に示す蛍光輝度特徴量のうち「死細胞染色初期の蛍光輝度」、「死細胞染色最後の蛍光輝度」、「死細胞染色の蛍光輝度の変化量の最大値」の３種の特徴量が分類へ大きく寄与することが容易に想定できる。そのため、それら３種の特徴量のみを用いて教師無しクラスタリングを実施することも好適である。ルールベースでのラベル付けは、第一の実施形態で示した「死細胞」、「生死変化のある細胞」のラベルを付与する方法と同様に実施し、残りの１つのクラスタを「生細胞・非細胞」とすればよい。以上の第一のラベリング処理工程により、蛍光輝度特徴量データ群Ｄ１７００が、「生細胞・非細胞」、「死細胞」、「生死変化のある細胞」の３種のデータ群Ｄ１７０１ａ、Ｄ１７０１ｂ、Ｄ１７０１ｃに分割される。
【0080】
ステップＳ１７０２は、「生細胞・非細胞」のラベルが付与されたデータ群Ｄ１７０１ａを、「生細胞」および「非細胞」の２種のデータ群に分割する第二のラベリング処理工程である。第一のラベリング処理工程では、クラスタ数を２とした教師なしクラスタリング手法を適用した上で、ルールベースに各クラスタにラベル付けを行う。ここで、第二のラベリング処理工程における教師無しクラスタリングでは、図１０に示す蛍光輝度特徴量のうち「生細胞染色の蛍光輝度の最大値」の特徴量が分類へ大きく寄与することが容易に想定できる。そのため、その１種の特徴量のみを用いて教師無しクラスタリングを実施することも好適である。ルールベースでのラベル付けは、第一の実施形態で示した「生細胞」のラベルを付与する方法と同様に実施し、残りの１つのクラスタを「非細胞」とすればよい。以上の第二のラベリング処理工程により、蛍光輝度特徴量データ群Ｄ１７０１ａが、「生細胞」および「非細胞」の２種のデータ群Ｄ１７０２ａおよびＤ１７０２ｂに分割される。
【0081】
最終的に、ラベルが確定したデータ群Ｄ１７０１ｂ、Ｄ１７０１ｃ、Ｄ１７０２ａ、Ｄ１７０２ｂがラベル付きの蛍光輝度特徴量データ群Ｄ１７０１として結合され、第一の実施形態における図１１および図１２のように正解ラベルが付与されたデータ群を取得することができる。
ステップＳ６０８以降の処理は、第一の実施形態と同様である。
ステップＳ６０８以降の処理は、第一の実施形態と同様である。
【0082】
以上、本変形例によれば、教師無しクラスタリングによる分類に特に有効な蛍光輝度特徴量や分類の難易度が想定容易である場合に、より正解ラベルの確度を高めた学習データによる学習済みモデルを生成することが可能となる。
【0083】
（第一の実施形態の変形例４：「生死変化のある細胞」のデータクレンジング）
第一の実施形態のステップＳ６０８においては、「生細胞」、「死細胞」、「非細胞」を分類する学習済みモデルを生成する過程において、学習データから「生死変化のある細胞」のラベルが付与されたデータを除外して学習する例を説明した。
第一の実施形態のステップＳ６０８においては、「生細胞」、「死細胞」、「非細胞」を分類する学習済みモデルを生成する過程において、学習データから「生死変化のある細胞」のラベルが付与されたデータを除外して学習する例を説明した。
【0084】
これに限らず、学習済みモデル生成の際は、「生死変化のある細胞」のラベルが付与されたデータのうち、一部の細胞候補領域のラベルを「生細胞」あるいは「死細胞」に付け替えて、学習データとして用いてもよい。具体的には、「生死変化のある細胞」のラベルが付与された時系列細胞候補領域群における蛍光輝度の変化量に基づいて、生細胞の状態である培養時間帯、生細胞から死細胞へ状態が遷移している培養時間帯、死細胞の状態である培養時間帯をそれぞれ判定する。図１８は、「生死変化のある細胞」のラベルが付与された時系列細胞候補領域群の蛍光輝度の時間推移と、蛍光輝度の変化量の時間推移を示した例である。グラフ１８００が蛍光輝度の時間推移、グラフ１８０１が蛍光輝度の変化量の時間推移を示している。「生死変化のある細胞」の蛍光輝度の時間推移は、生細胞から死細胞へと状態が遷移する際に、輝度が小さい状態から大きく輝度が上昇する。そのため、蛍光輝度の変化量の時間推移において、変化量が最大値を取るタイミングを少なくとも生細胞から死細胞へと状態が遷移している基準のタイミングとし、基準のタイミング以前で変化量が閾値以下の時間帯を「生細胞」の状態である時間帯、基準のタイミング以降で変化量が閾値以下の時間帯を「死細胞」の状態である時間帯とすればよい。閾値は、例えば５を設定する。図１８の例においては、時間帯１８０１ａが「生細胞」の状態である時間帯、時間帯１８０１ｃが「死細胞」の状態である時間帯となる。それらに該当する細胞候補領域のデータにおけるラベルをそれぞれ「生細胞」あるいは「死細胞」のラベルへと置き換える。なお、閾値を設定するのではなく、基準位置からの半値幅を用いて、時間帯を決めるようにしてもよい。
【0085】
本変形例によれば、「生細胞」および「死細胞」に関する学習データの数を増強させた学習データによる学習済みモデルを生成することができる。
【0086】
（第一の実施形態の変形例５：「非細胞」のデータクレンジング）
第一の実施形態では、「生細胞」、「非細胞」、「死細胞」、「生死変化のある細胞」といったラベルを付与するラベリング処理について説明した。本変形例では、ラベリング処理の結果からさらに曖昧な状態のデータを除外するデータクレンジング方法を説明する。
第一の実施形態では、「生細胞」、「非細胞」、「死細胞」、「生死変化のある細胞」といったラベルを付与するラベリング処理について説明した。本変形例では、ラベリング処理の結果からさらに曖昧な状態のデータを除外するデータクレンジング方法を説明する。
【0087】
以下、具体的な例として、第一の実施形態における「非細胞」のラベルに相当するデータに対するデータクレンジングの方法を説明する。
前述した通り、「非細胞」とは、細胞領域以外に細胞の残骸、培養容器の傷や付着物といった物体であることを想定しているが、機械学習済みモデルの教師データとしては、それら「細胞の残骸」、「傷・付着物」等も区別された正解ラベルが付与されていることが望ましい。例えば、「細胞の残骸」は「傷・付着物」よりも多様な様態を取ることが想定されるため、「非細胞」として一律に訓練してしまうと機械学習モデルの精度の低下に繋がる可能性がある。そのため、「非細胞」とラベル付けされたデータから「細胞の残骸」と「傷・付着物」を区別するようなラベリング処理をさらに実施してもよい。具体的には、第一の実施形態の変形例３で示したような特定の蛍光輝度特徴量を用いた教師無しクラスタリングとルールベースでのラベル付けを行う。例えば、図１０のような蛍光輝度特徴量のうち、「死細胞染色最後の蛍光輝度」を用いてクラスタ数を２とした教師無しクラスタリングを実施する。その後、各クラスタにおける「死細胞染色最後の蛍光輝度」の平均値を比較し、平均値が小さい方のクラスタに属するデータを「非細胞」、他方のクラスタに属するデータを「細胞の残骸」としてラベルを付与する。図１９は、図１３のグラフ１３０４に示されるような「非細胞」のラベルが付与された時系列細胞候補領域群のデータ群に対して、本変形例によるデータクレンジングを適用した結果である。グラフ１９０１は、「非細胞」とラベルが付与された時系列細胞候補領域群の蛍光輝度の時間推移、グラフ１９０２は、「細胞の残骸」としてラベルが付与された時系列細胞候補領域群の蛍光輝度の時間推移を示している。
ステップＳ６０８の学習済みモデルの生成工程では、「細胞の残骸」としてラベルが付与されたデータは除外した学習データにより、機械学習モデルの訓練を実施する。
前述した通り、「非細胞」とは、細胞領域以外に細胞の残骸、培養容器の傷や付着物といった物体であることを想定しているが、機械学習済みモデルの教師データとしては、それら「細胞の残骸」、「傷・付着物」等も区別された正解ラベルが付与されていることが望ましい。例えば、「細胞の残骸」は「傷・付着物」よりも多様な様態を取ることが想定されるため、「非細胞」として一律に訓練してしまうと機械学習モデルの精度の低下に繋がる可能性がある。そのため、「非細胞」とラベル付けされたデータから「細胞の残骸」と「傷・付着物」を区別するようなラベリング処理をさらに実施してもよい。具体的には、第一の実施形態の変形例３で示したような特定の蛍光輝度特徴量を用いた教師無しクラスタリングとルールベースでのラベル付けを行う。例えば、図１０のような蛍光輝度特徴量のうち、「死細胞染色最後の蛍光輝度」を用いてクラスタ数を２とした教師無しクラスタリングを実施する。その後、各クラスタにおける「死細胞染色最後の蛍光輝度」の平均値を比較し、平均値が小さい方のクラスタに属するデータを「非細胞」、他方のクラスタに属するデータを「細胞の残骸」としてラベルを付与する。図１９は、図１３のグラフ１３０４に示されるような「非細胞」のラベルが付与された時系列細胞候補領域群のデータ群に対して、本変形例によるデータクレンジングを適用した結果である。グラフ１９０１は、「非細胞」とラベルが付与された時系列細胞候補領域群の蛍光輝度の時間推移、グラフ１９０２は、「細胞の残骸」としてラベルが付与された時系列細胞候補領域群の蛍光輝度の時間推移を示している。
ステップＳ６０８の学習済みモデルの生成工程では、「細胞の残骸」としてラベルが付与されたデータは除外した学習データにより、機械学習モデルの訓練を実施する。
【0088】
本変形例は、第一の実施形態および他の変形例におけるラベリング処理の後処理として組み合わせて実施することが可能である。本変形例によるデータのクレンジングを実施するか否かは、図１３のようなラベリング処理後の蛍光輝度の時間推移のグラフ等をディスプレイ上に表示した上で、ユーザの指示によって判断されるような構成であっても良い。
【0089】
（第一の実施形態の変形例６：細胞候補領域が分化領域であるか否か示す情報の解析）
細胞候補領域に関する状態として、ステップＳ１０６により分化領域であるか否かを示す情報を解析するのも好適である。すなわち、本変形例では、ステップＳ１０５およびステップＳ１０４で算出した特徴量を用いて、ステップＳ１０６において細胞候補領域が分化領域であるか否かを示す真偽値等を取得する。
細胞候補領域に関する状態として、ステップＳ１０６により分化領域であるか否かを示す情報を解析するのも好適である。すなわち、本変形例では、ステップＳ１０５およびステップＳ１０４で算出した特徴量を用いて、ステップＳ１０６において細胞候補領域が分化領域であるか否かを示す真偽値等を取得する。
【0090】
ＥＳ細胞（胚性幹細胞）やｉＰＳ細胞（人工多能性幹細胞）、体性幹細胞等の、分化能を有する細胞の培養においては、培養条件が適切でない場合に分化状態が進んだ細胞が発生してしまうケースがあることが知られている。分化領域とは、この分化状態が進んだ領域のことを指す。
分化領域であるか否かを示す情報を解析するための学習モデルの生成においては、未分化マーカーや分化マーカーを蛍光染色して得られる時系列蛍光画像群を取得する。未分化マーカーとしては、ＥＳ細胞やｉＰＳ細胞の場合にはｒＢＣ２ＬＣＮや各種多能性幹細胞マーカー、体性幹細胞の場合には相当する体性幹細胞マーカーの蛍光染色試薬を用いる。
分化マーカーとしては、ＥＳ細胞やｉＰＳ細胞の場合には三胚葉マーカー、体性幹細胞の場合には分化系譜図を参考に分化が進んだ細胞に対応するマーカーを選択すれば良い。
その他のステップについては第一の実施形態に示したものと同等のため省略する。本変形例により、細胞の状態に関する情報として、細胞候補領域が分化領域であるか否か示す真偽値等を解析できる。
分化領域であるか否かを示す情報を解析するための学習モデルの生成においては、未分化マーカーや分化マーカーを蛍光染色して得られる時系列蛍光画像群を取得する。未分化マーカーとしては、ＥＳ細胞やｉＰＳ細胞の場合にはｒＢＣ２ＬＣＮや各種多能性幹細胞マーカー、体性幹細胞の場合には相当する体性幹細胞マーカーの蛍光染色試薬を用いる。
分化マーカーとしては、ＥＳ細胞やｉＰＳ細胞の場合には三胚葉マーカー、体性幹細胞の場合には分化系譜図を参考に分化が進んだ細胞に対応するマーカーを選択すれば良い。
その他のステップについては第一の実施形態に示したものと同等のため省略する。本変形例により、細胞の状態に関する情報として、細胞候補領域が分化領域であるか否か示す真偽値等を解析できる。
【0091】
（第一の実施形態の変形例７：時系列データを入力とした教師なしクラスタリングを実施）
第一の実施形態では、図１１のように計算した各時系列細胞候補領域群の蛍光輝度特徴量データに基づいて教師無しクラスタリングを実施する方法を説明した。これに限らず、時系列データを入力とし任意のクラスタ数に分割するような教師無しクラスタリング手法を用いても良い。例えば、ＴｉｍｅＳｅｒｉｅｓＫＭｅａｎｓといった手法を用いることができる。ＴｉｍｅＳｅｒｉｅｓＫＭｅａｎｓといった時系列データを入力とする手法を用いる場合、図８に示したような各時系列細胞候補領域群における蛍光輝度の時系列データ群が教師無しクラスタリングの対象データとなる。
第一の実施形態では、図１１のように計算した各時系列細胞候補領域群の蛍光輝度特徴量データに基づいて教師無しクラスタリングを実施する方法を説明した。これに限らず、時系列データを入力とし任意のクラスタ数に分割するような教師無しクラスタリング手法を用いても良い。例えば、ＴｉｍｅＳｅｒｉｅｓＫＭｅａｎｓといった手法を用いることができる。ＴｉｍｅＳｅｒｉｅｓＫＭｅａｎｓといった時系列データを入力とする手法を用いる場合、図８に示したような各時系列細胞候補領域群における蛍光輝度の時系列データ群が教師無しクラスタリングの対象データとなる。
【0092】
本変形例は、図１０に示したような特定のタイミングの蛍光輝度や蛍光輝度の変化量の統計値等、教師無しクラスタリングに特に有用な特徴量を想定することが難しい場合に効果的である。
【0093】
（参考例：学習済みモデルの精度評価）
第一の実施形態において、学習済みモデルを訓練する例を説明したが、訓練に用いるデータとは異なる精度評価用のデータ群を用意して、学習済みモデルの精度評価を行ってもよい。ここで、精度評価用のデータ群は、訓練に用いるデータ群の一部を切り分けて抽出したデータ群を用いればよい。例えば、訓練用のデータ数と精度評価用のデータ数の比が８対２となるようにランダムにデータを抽出する。学習済みモデルの訓練および精度評価の対象とするデータ群が異なる複数の培養容器に対して取得されたデータ群である場合には、データ群全体からランダムに抽出するのではなく、培養容器単位で訓練用データ群と精度評価用データ群とに分割してもよい。
本参考例では、学習済みモデルとして、細胞候補領域が生細胞か否かを判定する生細胞判定モデルを生成した場合における学習済みモデルの精度評価の例を説明する。生細胞判定モデルは、第一の実施形態において述べた「生細胞」の状態と「その他」の状態といった２クラスの分類を行う異常検知ベースの機械学習モデルを訓練すればよい。
精度評価は、精度評価用データ群に対して、ステップＳ６０１からＳ６０７に基づく処理により付与された正解ラベルと、ステップＳ１０１からＳ１０６に基づき取得した細胞候補領域の細胞の状態に関する情報とを照らし合わせることで実施できる。より具体的には、異常検知において一般的に用いられる評価指標である感度、特異度、Ｆ１－Ｓｃｏｒｅといった指標を算出すればよい。
第一の実施形態において、学習済みモデルを訓練する例を説明したが、訓練に用いるデータとは異なる精度評価用のデータ群を用意して、学習済みモデルの精度評価を行ってもよい。ここで、精度評価用のデータ群は、訓練に用いるデータ群の一部を切り分けて抽出したデータ群を用いればよい。例えば、訓練用のデータ数と精度評価用のデータ数の比が８対２となるようにランダムにデータを抽出する。学習済みモデルの訓練および精度評価の対象とするデータ群が異なる複数の培養容器に対して取得されたデータ群である場合には、データ群全体からランダムに抽出するのではなく、培養容器単位で訓練用データ群と精度評価用データ群とに分割してもよい。
本参考例では、学習済みモデルとして、細胞候補領域が生細胞か否かを判定する生細胞判定モデルを生成した場合における学習済みモデルの精度評価の例を説明する。生細胞判定モデルは、第一の実施形態において述べた「生細胞」の状態と「その他」の状態といった２クラスの分類を行う異常検知ベースの機械学習モデルを訓練すればよい。
精度評価は、精度評価用データ群に対して、ステップＳ６０１からＳ６０７に基づく処理により付与された正解ラベルと、ステップＳ１０１からＳ１０６に基づき取得した細胞候補領域の細胞の状態に関する情報とを照らし合わせることで実施できる。より具体的には、異常検知において一般的に用いられる評価指標である感度、特異度、Ｆ１－Ｓｃｏｒｅといった指標を算出すればよい。
【0094】
図３０は、生細胞判定モデルの精度を評価した結果の一例を示す表である。第一の実施形態では、学習済みモデルへの入力データとして、図１５に示すような、細胞画像における各細胞候補領域の、直径、輝度平均値、輝度最小値、輝度偏差、平均移動量、直径変動量から構成される特徴量ベクトルを用いる例を説明した。図３０の例においては、入力データを構成する特徴量の種類およびその組み合わせを変えた３種の生細胞判定モデルＮｏ１、Ｎｏ２、Ｎｏ３の精度を比較している。図３０の丸印が、各生細胞判定モデルが、入力の特徴量ベクトルを構成する特徴量として、どの特徴量を有しているかを示している。
正解率（生細胞）および正解率（非生細胞）は、異常検知モデルの評価指標として一般的である特異度（Ｓｐｅｃｉｆｉｃｉｔｙ）および感度（Ｒｅｃａｌｌ）とそれぞれ同義である。また、Ｆ１－Ｓｃｏｒｅは、適合率（Ｐｒｅｃｉｓｉｏｎ）と感度（Ｒｅｃａｌｌ）の調和平均であり、感度および特異度と同じく異常検知モデルの評価指標として一般的に用いられる。
正解率（生細胞）および正解率（非生細胞）は、異常検知モデルの評価指標として一般的である特異度（Ｓｐｅｃｉｆｉｃｉｔｙ）および感度（Ｒｅｃａｌｌ）とそれぞれ同義である。また、Ｆ１－Ｓｃｏｒｅは、適合率（Ｐｒｅｃｉｓｉｏｎ）と感度（Ｒｅｃａｌｌ）の調和平均であり、感度および特異度と同じく異常検知モデルの評価指標として一般的に用いられる。
【0095】
図３１は、培養時間ごとに正解率（生細胞）を評価した結果を示す図である。グラフ３１００のうち３１０１、３１０２、３１０３はそれぞれ図３０の表３０００におけるモデルＮｏ１、２、３に対応している。また、図３２は、培養時間ごとに正解率（非生細胞）を評価した結果を示す図である。グラフ３２００のうち３２０１、３２０２、３２０３はそれぞれ図３０の表３０００におけるモデルＮｏ１、２、３に対応している。
第一の実施形態に係る細胞画像解析方法は、本参考例による精度評価の結果を表示する表示制御工程をさらに有してもよい。その場合、学習済みモデルの訓練および精度評価に用いたデータ群に関する情報と図３０、図３１、図３２に示したような精度評価結果を表す数値またはグラフを表示することが好ましい。データ群に関する情報は、例えば、細胞サンプルの培養日数、播種密度といった培養条件を示す情報、撮像視野、露光時間といった撮像条件を示す情報、データ総数、各正解ラベルのデータ数といったデータ数を示す情報である。
第一の実施形態に係る細胞画像解析方法は、本参考例による精度評価の結果を表示する表示制御工程をさらに有してもよい。その場合、学習済みモデルの訓練および精度評価に用いたデータ群に関する情報と図３０、図３１、図３２に示したような精度評価結果を表す数値またはグラフを表示することが好ましい。データ群に関する情報は、例えば、細胞サンプルの培養日数、播種密度といった培養条件を示す情報、撮像視野、露光時間といった撮像条件を示す情報、データ総数、各正解ラベルのデータ数といったデータ数を示す情報である。
【0096】
（第二の参考例：学習済みモデルの精度評価）
前述の参考例では、異常検知ベースの機械学習モデルに対して、入力データを構成する特徴量の種類およびその組み合わせを変えて学習した３種の生細胞判定モデルの精度評価結果を比較した例を説明した。
本参考例では、他の好適な例として、ＣＡＲＴアルゴリズムに基づく決定木による機械学習モデルに対して、入力データを構成する特徴量の種類およびその組み合わせを変えて学習した４種の生細胞判定モデルの精度評価結果を比較した例を説明する。精度評価の評価指標としては、図３０と同様に、正解率（生細胞）、正解率（非生細胞）、Ｆ１－Ｓｃｏｒｅを計算した。
前述の参考例では、異常検知ベースの機械学習モデルに対して、入力データを構成する特徴量の種類およびその組み合わせを変えて学習した３種の生細胞判定モデルの精度評価結果を比較した例を説明した。
本参考例では、他の好適な例として、ＣＡＲＴアルゴリズムに基づく決定木による機械学習モデルに対して、入力データを構成する特徴量の種類およびその組み合わせを変えて学習した４種の生細胞判定モデルの精度評価結果を比較した例を説明する。精度評価の評価指標としては、図３０と同様に、正解率（生細胞）、正解率（非生細胞）、Ｆ１－Ｓｃｏｒｅを計算した。
【0097】
図３３は、生細胞判定モデルの精度を評価した結果の一例を示す表である。入力データを構成する特徴量の種類およびその組み合わせを変えた４種の生細胞判定モデルＮｏ１．、Ｎｏ．２、Ｎｏ．３、Ｎｏ．４の精度を比較している。図３０と同様に丸印が、各生細胞判定モデルが、入力の特徴量ベクトルを構成する特徴量として、どの特徴量を有しているかを示している。ここで、輝度特徴は、図１５に示すデータのうち、輝度平均値、輝度最小値、輝度偏差を総称したものである。
また、図３３では、精度評価用データ群をその培養時間が０時間～１１時間および１２時間以降である２つのデータ群に分けた上で、それぞれの培養時間帯のデータ群における精度評価指標を計算した結果を示している。このように、培養時間帯で分けた精度評価値を計算し、表示してもよい。
図３４は、培養時間ごとに正解率（生細胞）を評価した結果を示す図である。グラフ３４００のうち３４０１、３４０２、３４０３、３４０４はそれぞれ図３３に示す表３３００におけるＭｏｄｅｌ Ｎｏ１、２、３、４に対応している。また、図３５は、培養時間ごとに正解率（非生細胞）を評価した結果を示す図である。図３５に示すグラフ３５００のうち３５０１、３５０２、３５０３、３５０４はそれぞれ図３３に示す表３３００におけるＭｏｄｅｌ Ｎｏ１、２、３、４に対応している。
以上、本参考例により、ユーザは学習済みモデルの性能を把握することが可能となる。
また、図３３では、精度評価用データ群をその培養時間が０時間～１１時間および１２時間以降である２つのデータ群に分けた上で、それぞれの培養時間帯のデータ群における精度評価指標を計算した結果を示している。このように、培養時間帯で分けた精度評価値を計算し、表示してもよい。
図３４は、培養時間ごとに正解率（生細胞）を評価した結果を示す図である。グラフ３４００のうち３４０１、３４０２、３４０３、３４０４はそれぞれ図３３に示す表３３００におけるＭｏｄｅｌ Ｎｏ１、２、３、４に対応している。また、図３５は、培養時間ごとに正解率（非生細胞）を評価した結果を示す図である。図３５に示すグラフ３５００のうち３５０１、３５０２、３５０３、３５０４はそれぞれ図３３に示す表３３００におけるＭｏｄｅｌ Ｎｏ１、２、３、４に対応している。
以上、本参考例により、ユーザは学習済みモデルの性能を把握することが可能となる。
【0098】
参考例の説明に用いた図３０～３５において、時間帯あるいは所定の時間における異なるモデルの精度評価結果を示している。第一の実施形態に係る解析工程においては、これらのような精度評価結果に基づいて、時間に応じて学習済みモデルを切り替えても良い。例えば、時間帯ごとにＦ１－Ｓｃｏｒｅが最も高い学習済みモデルを選択する。図３３の例においては、培養時間が０時間～１１時間のデータ群に対してはＮｏ２のモデル、１２時間以降のデータ群に対しては、Ｎｏ４のモデルが適用されることとなる。また、ユーザが、図３０～３５いった精度評価結果を参照し、どの時間帯でどのモデルを適用するかをあらかじめ定めておくような構成であってもよい。
【0099】
＜第二の実施形態＞
（概要）
第一の実施形態では、時系列に観察した時系列位相差画像群から算出した輝度特徴量および形態特徴量あるいはそれらの時間的な変化に関する特徴量から構成される特徴ベクトルを学習済みモデルへの入力とし、細胞の状態に関する情報を取得する方法を説明した。
本実施形態では、時系列に観察した時系列位相差画像群から算出した輝度特徴量および形態特徴量の、時間に依存する情報である時系列データを学習済みモデルへの入力とし、細胞の状態に関する情報を取得する方法を説明する。
（概要）
第一の実施形態では、時系列に観察した時系列位相差画像群から算出した輝度特徴量および形態特徴量あるいはそれらの時間的な変化に関する特徴量から構成される特徴ベクトルを学習済みモデルへの入力とし、細胞の状態に関する情報を取得する方法を説明した。
本実施形態では、時系列に観察した時系列位相差画像群から算出した輝度特徴量および形態特徴量の、時間に依存する情報である時系列データを学習済みモデルへの入力とし、細胞の状態に関する情報を取得する方法を説明する。
【0100】
（処理手順）
図２０に、第２の実施形態に係る細胞情報取得方法のフロー図を示す。
ステップＳ２００１～Ｓ２００４は、第一の実施形態のステップＳ１０１～Ｓ１０４と同様であるため、説明を省略する。ステップＳ２００１～Ｓ２００４により、各時系列細胞候補領域群における輝度特徴量および形態特徴量の時系列データが取得され、この情報はステップＳ２００５の実行部（例えば解析部２８０４）へ出力される。
図２０に、第２の実施形態に係る細胞情報取得方法のフロー図を示す。
ステップＳ２００１～Ｓ２００４は、第一の実施形態のステップＳ１０１～Ｓ１０４と同様であるため、説明を省略する。ステップＳ２００１～Ｓ２００４により、各時系列細胞候補領域群における輝度特徴量および形態特徴量の時系列データが取得され、この情報はステップＳ２００５の実行部（例えば解析部２８０４）へ出力される。
【0101】
（ステップＳ２００５：解析工程）
ステップＳ２００５は、ステップＳ２００１～Ｓ２００４で算出した輝度特徴量および形態特徴量の時系列データを用いて、細胞候補領域の細胞の状態に関する情報を取得する工程である。
ステップＳ２００５は、ステップＳ２００１～Ｓ２００４で算出した輝度特徴量および形態特徴量の時系列データを用いて、細胞候補領域の細胞の状態に関する情報を取得する工程である。
【0102】
本ステップでは、Ｓ２００４で算出した輝度特徴量および形態特徴量といった特徴量の時系列データを入力とし、細胞候補領域の細胞の状態に関する情報を出力するようにあらかじめ訓練された学習済みモデル用いる。細胞候補領域の細胞の状態に関する情報は、例えば、第一の実施形態と同様に、細胞候補領域が生細胞、死細胞、非細胞のいずれの状態であるかを示す真偽値である。
【0103】
本実施形態における機械学習モデルは、任意のタイミングから過去一定の時間帯の特徴量の時系列データを抽出した時系列特徴量データが入力データとなる。例えば、過去１２時間分の時間帯の時系列特徴量データを入力とする。具体例として、培養時間１２時間のタイミングにおいて機械学習モデルの入力となる時系列特徴量データを抽出した結果を図２１Ａから図２１Ｃに示す。図２１Ａに示す表２１００は、ステップＳ２００４で取得した特徴量データ群である。図２１Ｂに示す表２１０１は、図２１Ａの表２１００の特徴量データ群から、培養時間１２時間のタイミングにおける時系列特徴量データを抽出した結果である。時系列特徴量データＤＴ００１やＤＴ００２等、同一の追跡番号を有する各時系列細胞候補領域群において該当する時間帯の特徴量データが抽出される。本実施形態では、図２１Ｂに示したＤＴ００１やＤＴ００２といったデータを学習済みモデルに入力し、それぞれに対して図２１Ｃの２１０２に示すような細胞候補領域が生細胞、死細胞、非細胞のいずれの状態であるかを示す真偽値の結果ＲＴ００１（ＤＴ００１に対応）、ＲＴ００２（ＤＴ００２に対応）を取得する。
【0104】
以降、具体的な学習済みモデルの生成方法に関して説明する。
なお、学習済みモデルは、第一の実施形態と同様に、少なくとも蛍光輝度の時間的な変化に関する情報を含む蛍光輝度に関する情報に基づいたラベリング処理の結果を教師データとして訓練された機械学習モデルである。
なお、学習済みモデルは、第一の実施形態と同様に、少なくとも蛍光輝度の時間的な変化に関する情報を含む蛍光輝度に関する情報に基づいたラベリング処理の結果を教師データとして訓練された機械学習モデルである。
【0105】
（学習済みモデル生成の処理手順）
図２２は、第２の実施形態の解析工程に係る学習済みモデルを生成する流れを示すフロー図である。
図２２は、第２の実施形態の解析工程に係る学習済みモデルを生成する流れを示すフロー図である。
【0106】
ステップＳ２２０１～Ｓ２２０４は、第一の実施形態のステップＳ６０１～Ｓ６０４と同様であるため、説明を省略する。ステップＳ２２０１～Ｓ２２０４により、各時系列細胞候補領域群における輝度特徴量および形態特徴量の時系列データが取得され、ステップＳ２２０５の実行部へ出力される。
【0107】
ステップＳ２２０５およびＳ２２０６は、第一の実施形態のステップＳ６０６およびＳ６０７と同様の処理であるため、説明を省略する。ステップＳ２２０５およびＳ２２０６により、各時系列細胞候補領域群における輝度特徴量および形態特徴量の時系列データに対して、細胞候補領域の細胞の状態に関する正解ラベルが付与されたデータがステップＳ２２０７の実行部へ出力される。
【0108】
（ステップＳ２２０７：学習済みモデルの生成）
ステップＳ２２０７は、ステップＳ２２０６で取得した細胞の状態に関する情報が付与された各細胞候補領域の特徴量データ群に基づいて学習済みモデルを生成する学習済みモデル生成工程である。
ステップＳ２２０７は、ステップＳ２２０６で取得した細胞の状態に関する情報が付与された各細胞候補領域の特徴量データ群に基づいて学習済みモデルを生成する学習済みモデル生成工程である。
【0109】
本ステップでは、各時系列細胞候補領域群に含まれる、位相差画像の細胞候補領域における特徴量の時系列データを入力、ステップＳ２２０６で付与されたラベルを教師として、生細胞、死細胞、非細胞のいずれの状態であるかを示す真偽値を出力する機械学習モデルを訓練することで、学習済みモデルを生成する。機械学習モデルは、特徴量の時系列データを入力し、任意のクラス数に分類するような機械学習モデルであればよく、例えば、ＲＮＮといったニューラルネットワークによる分類モデルを用いることができる。これに限定せず、ＬＳＴＭといったニューラルネットワークモデルを用いても良い。また、複数種の特徴量の時系列データを２次元配列データと見立て、ＲｅｓＮｅｔといった画像分類を行うニューラルネットワークを訓練することも可能である。
以上、第２の実施形態の解析工程に係る学習済みモデルを生成する方法を説明した。
以上、第２の実施形態の解析工程に係る学習済みモデルを生成する方法を説明した。
【0110】
ステップＳ２００６では、ステップＳ２２０１～Ｓ２２０７のように生成された学習済みモデルへ、図２２に示したような時系列特徴量データを入力し、細胞候補領域の細胞の状態に関する情報を取得する。
【0111】
以上、本実施形態により、より信頼度の高い教師データに基づいた学習済みモデルによる細胞の状態に関する判定結果をユーザへ提示することが可能となる。
【0112】
＜第三の実施形態＞
（概要）
第一の実施形態では、時系列に観察した時系列位相差画像群から算出した輝度特徴量および形態特徴量あるいはそれらの時間的な変化に関する特徴量から構成される特徴ベクトルを学習済みモデルへの入力とし、細胞の状態に関する情報を取得する方法を説明した。
本実施形態では、位相差画像から細胞候補領域に相当する細胞領域を切り取った部分細胞画像を学習済みモデルへの入力とし、細胞の状態に関する情報を取得する方法を説明する。
（概要）
第一の実施形態では、時系列に観察した時系列位相差画像群から算出した輝度特徴量および形態特徴量あるいはそれらの時間的な変化に関する特徴量から構成される特徴ベクトルを学習済みモデルへの入力とし、細胞の状態に関する情報を取得する方法を説明した。
本実施形態では、位相差画像から細胞候補領域に相当する細胞領域を切り取った部分細胞画像を学習済みモデルへの入力とし、細胞の状態に関する情報を取得する方法を説明する。
【0113】
（処理手順）
図２３に、第３の実施形態に係る細胞情報取得方法のフロー図を示す。
ステップＳ２３０１～Ｓ２３０３は、第一の実施形態のステップＳ１０１～Ｓ１０３と同様であるため、説明を省略する。ステップＳ２３０１～Ｓ２３０３により、細胞候補領域に対して、どの細胞候補領域が時間的に連続した同一の細胞候補領域であるかを示す領域追跡番号が、マスク画像および個々の細胞領域に対応した輪郭座標情報に付与され、この情報はステップＳ２３０４の実行部（例えば解析部２８０４）へ出力される。
図２３に、第３の実施形態に係る細胞情報取得方法のフロー図を示す。
ステップＳ２３０１～Ｓ２３０３は、第一の実施形態のステップＳ１０１～Ｓ１０３と同様であるため、説明を省略する。ステップＳ２３０１～Ｓ２３０３により、細胞候補領域に対して、どの細胞候補領域が時間的に連続した同一の細胞候補領域であるかを示す領域追跡番号が、マスク画像および個々の細胞領域に対応した輪郭座標情報に付与され、この情報はステップＳ２３０４の実行部（例えば解析部２８０４）へ出力される。
【0114】
（ステップＳ２３０４：解析工程）
ステップＳ２３０４は、ステップＳ２３０３で取得した領域追跡番号および細胞候補領域に基づいて、細胞候補領域の細胞の状態に関する情報を取得する解析工程である。
ステップＳ２３０４は、ステップＳ２３０３で取得した領域追跡番号および細胞候補領域に基づいて、細胞候補領域の細胞の状態に関する情報を取得する解析工程である。
【0115】
本ステップでは、Ｓ２３０４で領域追跡番号および細胞候補領域に基づいて、当該細胞候補領域の部分細胞画像を入力とし、細胞候補領域の細胞の状態に関する情報を出力するようにあらかじめ訓練された学習済みモデル用いる。ここで、部分細胞画像は、細胞候補領域の重心位置を中心として、所定のサイズの矩形領域を細胞画像から切り出した画像である。所定のサイズは、対象とする細胞候補領域が含まれるサイズであればよく、例えば、６４ｘ６４画素の矩形領域を切り出す。また、細胞候補領域の細胞の状態に関する情報は、例えば、第一の実施形態と同様に、細胞候補領域が生細胞、死細胞、非細胞のいずれの状態であるかを示す真偽値である。
【0116】
本実施形態における機械学習モデルは、任意のタイミングから過去一定の時間帯の部分細胞画像を抽出した部分細胞画像群が入力データとなる。例えば、過去１２時間分の時間帯の部分細胞画像群を入力とする。具体例として、培養時間１２時間のタイミングにおいて機械学習モデルの入力となる部分細胞画像群を抽出した結果を図２４Ａ及び図２４Ｂに示す。図２４Ａの２４０１は、ステップＳ２３０４で取得した領域追跡番号および細胞候補領域に基づいて、各細胞画像から切り出された部分細胞画像群である。例えば、培養時間１２時間のタイミングにおいて、２４０１ａや２４０１ｂといった部分細胞画像群が機械学習モデルへの入力となる。２４０１ａや２４０１ｂといった部分細胞画像群を学習済みモデルに入力し、それぞれに対して図２４Ｂの２４０２の２４０２ａ（２４０１ａに対応する）や２４０２ｂ（２４０１ｂに対応する）に示すような細胞候補領域が生細胞、死細胞、非細胞のいずれの状態であるかを示す真偽値の結果を取得する。
【0117】
以降、具体的な学習済みモデルの生成方法に関して説明する。
なお、学習済みモデルは、第一の実施形態と同様に、少なくとも蛍光輝度の時間的な変化に関する情報を含む蛍光輝度に関する情報に基づいたラベリング処理の結果を教師データとして訓練された機械学習モデルである。
なお、学習済みモデルは、第一の実施形態と同様に、少なくとも蛍光輝度の時間的な変化に関する情報を含む蛍光輝度に関する情報に基づいたラベリング処理の結果を教師データとして訓練された機械学習モデルである。
【0118】
（学習済みモデル生成の処理手順）
図２５は、第３の実施形態の解析工程に係る学習済みモデルを生成する流れを示すフロー図である。
図２５は、第３の実施形態の解析工程に係る学習済みモデルを生成する流れを示すフロー図である。
【0119】
ステップＳ２５０１～Ｓ２５０３は、第一の実施形態のステップＳ６０１～Ｓ６０３と同様であるため、説明を省略する。ステップＳ２５０１～Ｓ２５０３により、細胞候補領域に対して、どの細胞候補領域が時間的に連続した同一の細胞候補領域であるかを示す領域追跡番号が、マスク画像および個々の細胞領域に対応した輪郭座標情報に付与され、この情報はステップＳ２５０４の実行部へ出力される。
【0120】
ステップＳ２５０４およびＳ２５０５は、第一の実施形態のステップＳ６０６およびＳ６０７と同様の処理であるため、説明を省略する。ステップＳ２４０４およびＳ２４０５により、各細胞候補領域に対して、細胞候補領域の細胞の状態に関する正解ラベルが付与されたデータがステップＳ２５０６の実行部（例えば解析部２８０４）へ出力される。
【0121】
（ステップＳ２５０６：学習済みモデルの生成）
ステップＳ２５０６は、ステップＳ２５０５で取得した細胞の状態に関する情報が付与された各細胞候補領域に基づいて学習済みモデルを生成する学習済みモデル生成工程である。
ステップＳ２５０６は、ステップＳ２５０５で取得した細胞の状態に関する情報が付与された各細胞候補領域に基づいて学習済みモデルを生成する学習済みモデル生成工程である。
【0122】
本ステップでは、任意のタイミングから過去一定の時間帯の部分細胞画像を抽出した部分細胞画像群を入力、ステップＳ２５０６で付与されたラベルを教師として、生細胞、死細胞、非細胞のいずれの状態であるかを示す真偽値を出力する機械学習モデルを訓練することで、学習済みモデルを生成する。機械学習モデルは、ＣｏｎｖＬＳＴＭといった時系列画像を入力するニューラルネットワークを用いることができる。また、時系列画像データである部分細胞画像群を３次元ボリュームデータと見立てて、３Ｄ－ＲｅｓＮｅｔといった３次元ボリュームデータに対する分類を実施するようなニューラルネットワークモデルを訓練することも可能である。
以上、第３の実施形態の解析工程に係る学習済みモデルを生成する方法を説明した。
以上、第３の実施形態の解析工程に係る学習済みモデルを生成する方法を説明した。
【0123】
ステップＳ２３０４では、ステップＳ２５０１～Ｓ２５０６のように生成された学習済みモデルへ、図２４に示したような部分細胞画像群を入力し、細胞候補領域の細胞の状態に関する情報を取得する。
【0124】
以上、本実施形態により、より信頼度の高い教師データに基づいた学習済みモデルによる細胞の状態に関する判定結果をユーザへ提示することが可能となる。
【0125】
＜細胞情報取得プログラム・細胞情報取得システム＞
本開示は、これまで述べてきた本開示に係る細胞画像解析方法をコンピュータに実行させるためのプログラムを提供する。さらに、本開示は、このプログラムをコンピュータに読み取り可能な形式で格納した媒体を提供する。
本開示は、これまで述べてきた本開示に係る細胞画像解析方法をコンピュータに実行させるためのプログラムを提供する。さらに、本開示は、このプログラムをコンピュータに読み取り可能な形式で格納した媒体を提供する。
【0126】
図２６は、本発明に係るプログラムを実行可能な情報処理装置２６００のハードウェア構成例を示すブロック図である。
【0127】
情報処理装置２６００は、コンピュータの機能を有する。例えば、情報処理装置２６００は、デスクトップＰＣ（Personal Computer）、ラップトップＰＣ、タブレットＰＣ、スマートフォン等と一体に構成されていてもよい。
【0128】
情報処理装置２６００は、演算および記憶を行うコンピュータとしての機能を実現するため、ＣＰＵ（Central Processing Unit）２６０１、ＲＡＭ（Random Access Memory）２６０２、ＲＯＭ（Read Only Memory）２６０３およびＨＤＤ（Hard Disk Drive）２６０４を備える。また、情報処理装置２６００は、通信Ｉ／Ｆ（インターフェース）２６０５、表示装置２６０６、および入力装置２６０７を備える。ＣＰＵ２６０１、ＲＡＭ２６０２、ＲＯＭ２６０３、ＨＤＤ２６０４、通信Ｉ／Ｆ２６０５、表示装置２６０６、および入力装置２６０７は、バス２６１０を介して相互に接続される。なお、表示装置２６０６および入力装置２６０７は、これらの装置を駆動するための不図示の駆動装置を介してバス２６１０に接続されてもよい。
【0129】
図２６では、情報処理装置２６００を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により構成されていてもよい。例えば、表示装置２６０６および入力装置２６０７は、ＣＰＵ２６０１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。
【0130】
ＣＰＵ２６０１は、ＲＡＭ２６０２、ＨＤＤ２６０４等に記憶されたプログラムに従って所定の動作を行うとともに、情報処理装置２６００の各部を制御する機能をも有する。
ＲＡＭ２６０２は、揮発性記憶媒体から構成され、ＣＰＵ２６０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ２６０３は、不揮発性記憶媒体から構成され、情報処理装置２６００の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ２６０４は、不揮発性記憶媒体から構成される記憶装置である。
ＲＡＭ２６０２は、揮発性記憶媒体から構成され、ＣＰＵ２６０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ２６０３は、不揮発性記憶媒体から構成され、情報処理装置２６００の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ２６０４は、不揮発性記憶媒体から構成される記憶装置である。
【0131】
通信Ｉ／Ｆ２６０５は、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置２６０６は、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等であって、動画、静止画、文字等の表示に用いられる。入力装置２６０７は、ボタン、タッチパネル、キーボード、ポインティングデバイス等であって、利用者が情報処理装置２６００を操作するために用いられる。表示装置２６０６および入力装置２６０７は、タッチパネルとして一体に形成されていてもよい。
【0132】
なお、図２６に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。さらに、一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態を構成する機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ２６０４は、フラッシュメモリ等の半導体素子を用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。
【0133】
＜細胞画像解析装置＞
また、本開示は、図２８に示すように、細胞を連続した異なる複数のタイミングで明視野観察法又は位相差観察法のいずれかにより撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部２８０１、前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部２８０２、前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部２８０３、および前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部２８０４を備える。前記解析部は、学習済みモデルを用いることを特徴とし、該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析装置を提供する。
画像取得部２８０１、領域抽出部２８０２、領域追跡部２８０３、解析部２８０４は、それぞれ、これまでに説明した、画像取得工程、領域抽出工程、領域追跡工程、解析工程を実行するものである。
また、本開示は、図２８に示すように、細胞を連続した異なる複数のタイミングで明視野観察法又は位相差観察法のいずれかにより撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部２８０１、前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部２８０２、前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部２８０３、および前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部２８０４を備える。前記解析部は、学習済みモデルを用いることを特徴とし、該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析装置を提供する。
画像取得部２８０１、領域抽出部２８０２、領域追跡部２８０３、解析部２８０４は、それぞれ、これまでに説明した、画像取得工程、領域抽出工程、領域追跡工程、解析工程を実行するものである。
【0134】
＜細胞画像解析システム＞
また、本開示は、図２９に示すように、画像取得装置２９０１と、情報処理装置２９０２からなる細胞画像解析システムを提供する。
前記画像取得装置２９０１は、連続した異なる複数のタイミングで細胞を明視野観察法又は位相差観察法のいずれかにより撮影した細胞画像を取得し、前記情報処理装置２９０２は、前記画像取得装置２９０１より、前記細胞画像を取得し、細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部２９０３、前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部２９０４、前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部２９０５、および前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部２９０６を備え、前記解析部は、学習用細胞について、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力とする学習済みモデルを用いること、を特徴とする。
また、本開示は、図２９に示すように、画像取得装置２９０１と、情報処理装置２９０２からなる細胞画像解析システムを提供する。
前記画像取得装置２９０１は、連続した異なる複数のタイミングで細胞を明視野観察法又は位相差観察法のいずれかにより撮影した細胞画像を取得し、前記情報処理装置２９０２は、前記画像取得装置２９０１より、前記細胞画像を取得し、細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部２９０３、前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部２９０４、前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部２９０５、および前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部２９０６を備え、前記解析部は、学習用細胞について、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力とする学習済みモデルを用いること、を特徴とする。
【0135】
画像取得装置２９０１は、連続した異なる複数のタイミングで細胞を明視野観察法又は位相差観察法のいずれかにより撮影することができる。好ましくは、画像取得装置２９０１は、レンズ、検出器、カメラ、励起光、記憶装置等を有することができ、画像取得装置２９０１の好ましい例として、位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡等を挙げられる。情報処理装置については、これまでに説明したとおりである。画像取得部２８０１、領域抽出部２８０２、領域追跡部２８０３、解析部２８０４は、それぞれ、これまでに説明した、画像取得工程、領域抽出工程、領域追跡工程、解析工程を実行するものである。
【0136】
本開示の実施形態は以下の方法および構成を含む。
（方法１）
細胞を連続した異なる複数のタイミングで明視野観察法又は位相差観察法のいずれかにより撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得工程、
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出工程、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡工程、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析工程を備え、
前記解析工程は、学習済みモデルを用いることを特徴とし、
該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、
前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析方法。
（方法２）
前記学習済みモデルにおいて、前記細胞の状態に関する情報は、少なくとも蛍光輝度の時間的な変化に関する情報を含む蛍光輝度特徴量データに基づいて取得されること、を特徴とする方法１に記載の細胞画像解析方法。
（方法３）
前記学習済みモデルは、前記学習用細胞について、
前記時系列細胞画像群に含まれる前記細胞画像に対応した蛍光画像を前記タイミングと関連付けて収集した時系列蛍光画像群を取得する蛍光画像取得工程、
前記時系列蛍光画像群に基づいて前記時系列細胞候補領域群の蛍光輝度特徴量データを取得する蛍光輝度特徴量算出工程、
前記蛍光輝度特徴量データに基づいて、前記細胞候補領域に対して細胞の状態に関するラベルを付与するラベリング処理工程、および
前記細胞の状態に関するラベルに基づく細胞の状態に関する情報を出力とし、前記時系列細胞候補領域群に関する情報を入力として訓練することにより前記学習モデルを生成する学習済みモデル生成工程
を実施することにより取得されることを特徴とし、
さらに、
前記蛍光輝度特徴量データは、少なくとも蛍光輝度の時間的な変化に関する情報を含むこと、を特徴とする方法１または２に記載の細胞画像解析方法。
（方法４）
前記細胞の状態に関する情報は、前記細胞候補領域が生細胞領域であるか否か示す真偽値あるいは可能性を示すスカラ値の情報を少なくとも含むこと、を特徴とする方法１乃至３のいずれか１項に記載の細胞画像解析方法。
（方法５）
前記細胞の状態に関する情報は、前記細胞候補領域が分化領域であるか否か示す真偽値あるいは可能性を示すスカラ値の情報を少なくとも含むこと、を特徴とする方法１乃至３のいずれか１項に記載の細胞画像解析方法。
（方法６）
前記時系列細胞候補領域群に関する情報は、前記時系列細胞画像群に含まれる特徴量データであり、
前記特徴量データは、前記細胞画像の前記細胞候補領域における輝度特徴量、前記細胞候補領域の形態特徴量、前記輝度特徴量の時間的な変化に関する情報、および前記形態特徴量の時間的な変化に関する情報からなる群より選ばれる１つ以上を含み、前記特徴量データは、スカラ値あるいはベクトルであること、を特徴とする方法１乃至５のいずれか１項に記載の細胞画像解析方法。
（方法７）
前記時系列細胞候補領域群に関する情報は、前記時系列細胞画像群に含まれる前記細胞候補領域の特徴量データを前記タイミングと関連付けて収集した時系列特徴量データであり、前記特徴量データは、前記細胞画像の該細胞候補領域における輝度特徴量、および前記細胞候補領域の形態特徴量からなる群より選ばれる１つ以上を含むこと、を特徴とする請求項１乃至５のいずれか１項に記載の細胞画像解析方法。
（方法８）
前記時系列細胞候補領域群に関する情報は、前記時系列細胞画像群に含まれる前記細胞画像の前記細胞候補領域に対応する部分細胞画像を前記タイミングと関連付けて収集した時系列画像データであること、を特徴とする請求項１乃至５のいずれか１項に記載の細胞画像解析方法。
（構成１）
細胞を連続した異なる複数のタイミングで明視野観察法又は位相差観察法のいずれかにより撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部、
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部を備え、
前記解析部は、学習済みモデルを用いることを特徴とし、
該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、
前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析装置。
（構成２）
方法１から８のいずれか１項に記載の方法をコンピュータ時に実行させるためのプログラム。
（構成３）
構成２に記載のプログラムをコンピュータに読み取り可能な形式で格納した媒体。
（構成４）
画像取得装置と、情報処理装置からなり、
前記画像取得装置は、連続した異なる複数のタイミングで細胞を明視野観察法又は位相差観察法のいずれかにより撮影した細胞画像を取得し、
前記情報処理装置は、
前記画像取得装置より、前記細胞画像を取得し、細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部、
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部を備え、
前記解析部は、学習用細胞について、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力とする学習済みモデルを用いること、を特徴とする細胞画像解析システム。
（方法１）
細胞を連続した異なる複数のタイミングで明視野観察法又は位相差観察法のいずれかにより撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得工程、
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出工程、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡工程、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析工程を備え、
前記解析工程は、学習済みモデルを用いることを特徴とし、
該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、
前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析方法。
（方法２）
前記学習済みモデルにおいて、前記細胞の状態に関する情報は、少なくとも蛍光輝度の時間的な変化に関する情報を含む蛍光輝度特徴量データに基づいて取得されること、を特徴とする方法１に記載の細胞画像解析方法。
（方法３）
前記学習済みモデルは、前記学習用細胞について、
前記時系列細胞画像群に含まれる前記細胞画像に対応した蛍光画像を前記タイミングと関連付けて収集した時系列蛍光画像群を取得する蛍光画像取得工程、
前記時系列蛍光画像群に基づいて前記時系列細胞候補領域群の蛍光輝度特徴量データを取得する蛍光輝度特徴量算出工程、
前記蛍光輝度特徴量データに基づいて、前記細胞候補領域に対して細胞の状態に関するラベルを付与するラベリング処理工程、および
前記細胞の状態に関するラベルに基づく細胞の状態に関する情報を出力とし、前記時系列細胞候補領域群に関する情報を入力として訓練することにより前記学習モデルを生成する学習済みモデル生成工程
を実施することにより取得されることを特徴とし、
さらに、
前記蛍光輝度特徴量データは、少なくとも蛍光輝度の時間的な変化に関する情報を含むこと、を特徴とする方法１または２に記載の細胞画像解析方法。
（方法４）
前記細胞の状態に関する情報は、前記細胞候補領域が生細胞領域であるか否か示す真偽値あるいは可能性を示すスカラ値の情報を少なくとも含むこと、を特徴とする方法１乃至３のいずれか１項に記載の細胞画像解析方法。
（方法５）
前記細胞の状態に関する情報は、前記細胞候補領域が分化領域であるか否か示す真偽値あるいは可能性を示すスカラ値の情報を少なくとも含むこと、を特徴とする方法１乃至３のいずれか１項に記載の細胞画像解析方法。
（方法６）
前記時系列細胞候補領域群に関する情報は、前記時系列細胞画像群に含まれる特徴量データであり、
前記特徴量データは、前記細胞画像の前記細胞候補領域における輝度特徴量、前記細胞候補領域の形態特徴量、前記輝度特徴量の時間的な変化に関する情報、および前記形態特徴量の時間的な変化に関する情報からなる群より選ばれる１つ以上を含み、前記特徴量データは、スカラ値あるいはベクトルであること、を特徴とする方法１乃至５のいずれか１項に記載の細胞画像解析方法。
（方法７）
前記時系列細胞候補領域群に関する情報は、前記時系列細胞画像群に含まれる前記細胞候補領域の特徴量データを前記タイミングと関連付けて収集した時系列特徴量データであり、前記特徴量データは、前記細胞画像の該細胞候補領域における輝度特徴量、および前記細胞候補領域の形態特徴量からなる群より選ばれる１つ以上を含むこと、を特徴とする請求項１乃至５のいずれか１項に記載の細胞画像解析方法。
（方法８）
前記時系列細胞候補領域群に関する情報は、前記時系列細胞画像群に含まれる前記細胞画像の前記細胞候補領域に対応する部分細胞画像を前記タイミングと関連付けて収集した時系列画像データであること、を特徴とする請求項１乃至５のいずれか１項に記載の細胞画像解析方法。
（構成１）
細胞を連続した異なる複数のタイミングで明視野観察法又は位相差観察法のいずれかにより撮影した複数の細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部、
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部を備え、
前記解析部は、学習済みモデルを用いることを特徴とし、
該学習済みモデルは、学習用細胞より取得した時系列細胞候補領域群に関する情報および細胞の状態に関する情報に基づいて、
前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力として訓練された機械学習モデルであること、を特徴とする細胞画像解析装置。
（構成２）
方法１から８のいずれか１項に記載の方法をコンピュータ時に実行させるためのプログラム。
（構成３）
構成２に記載のプログラムをコンピュータに読み取り可能な形式で格納した媒体。
（構成４）
画像取得装置と、情報処理装置からなり、
前記画像取得装置は、連続した異なる複数のタイミングで細胞を明視野観察法又は位相差観察法のいずれかにより撮影した細胞画像を取得し、
前記情報処理装置は、
前記画像取得装置より、前記細胞画像を取得し、細胞画像を前記タイミングと関連付けて収集した時系列細胞画像群を取得する画像取得部、
前記時系列細胞画像群に含まれる前記細胞画像から細胞候補領域を抽出する領域抽出部、
前記時系列細胞画像群に含まれる、それぞれ異なるタイミングに関連付けられた、複数の前記細胞画像の前記細胞候補領域について、同一の対象に対応するか否かを判定し、同一の対象に対応すると判定された前記細胞候補領域を前記タイミングと関連付けて収集し、時系列細胞候補領域群として取得する領域追跡部、および
前記時系列細胞候補領域群に関する情報に基づいて、細胞の状態に関する情報について解析する解析部を備え、
前記解析部は、学習用細胞について、前記時系列細胞候補領域群に関する情報を入力とし、前記細胞の状態に関する情報を出力とする学習済みモデルを用いること、を特徴とする細胞画像解析システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21A】
【図21B】
【図21C】
【図22】
【図23】
【図24A】
【図24B】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
