特許 7195233 機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-15

(45)【発行日】2022-12-23

(54)【発明の名称】機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221216BHJP

   G06V 20/69 20220101ALI20221216BHJP

【ＦＩ】

G06T7/00 630

G06V20/69

【請求項の数】 15

(21)【出願番号】P 2019132944

(22)【出願日】2019-07-18

(65)【公開番号】P2021018531

(43)【公開日】2021-02-15

【審査請求日】2021-07-09

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】涌井 隆史

【審査官】笠田 和宏

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１４７２１５（ＵＳ，Ａ１）

【文献】特開２０１１－００２９９５（ＪＰ，Ａ）

【文献】REZA MORADI RAD，外３名，Cell-Net: Embryonic Cell Counting and Centroid Localization via Residual Incremental Atrous Pyramid and Progressive Upsampling Convolution，IEEE Access，Vol. 7，2019年07月08日，pp. 81945-81955

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／６９

(57)【特許請求の範囲】

【請求項1】

培養中の複数の細胞を撮影した細胞画像に基づいて、前記細胞画像内の前記細胞または前記細胞の一部を含む構造物、もしくは前記構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの運用装置であって、
前記細胞画像を取得する第１取得部と、
学習用入力画像およびアノテーション画像の組で構成される学習データを与えられて学習された前記機械学習モデルに、前記第１取得部において取得した前記細胞画像を入力して前記セマンティックセグメンテーションを実施させ、出力画像を出力させる処理部と、
を備え、
前記アノテーション画像は、前記学習用入力画像内の前記構造物、もしくは前記構造物の集合に対応する領域が前記クラスとして指定され、かつ、前記構造物毎に、隣り合う前記構造物間で重複しない前記構造物内の位置に人工マーカが付与された画像であり、
前記人工マーカは、前記構造物の輪郭を縮小した縮小輪郭を辿った輪郭線であり、
前記出力画像は、前記人工マーカ付きの画像である
機械学習モデルの運用装置。

【請求項2】

前記処理部によって出力された前記出力画像に基づいて培養の評価を行う培養評価部と、
前記培養の評価結果を出力する制御を行う出力制御部とを備える請求項１に記載の機械学習モデルの運用装置。

【請求項3】

前記培養評価部は、前記出力画像に映る前記人工マーカの数を計数することで、前記構造物の個数を計数する請求項２に記載の機械学習モデルの運用装置。

【請求項4】

前記出力制御部は、前記評価結果と併せて、前記細胞画像および前記出力画像を出力する請求項２または請求項３に記載の機械学習モデルの運用装置。

【請求項5】

前記機械学習モデルは、前記構造物の特徴点の位置に前記人工マーカを付与する請求項１から請求項４のいずれか１項に記載の機械学習モデルの運用装置。

【請求項6】

前記アノテーション画像は、前記構造物毎に、隣り合う前記構造物間で重複しない前記構造物内の位置のみに前記人工マーカが付与された画像である、請求項１から請求項５のいずれか１項に記載の機械学習モデルの運用装置。

【請求項7】

前記人工マーカは、前記構造物の属性に応じて形態が異なる請求項１から請求項６のいずれか１項に記載の機械学習モデルの運用装置。

【請求項8】

前記構造物の属性は、種類、大きさ、密集度、円形度、内包物の個数、および向きのうちの少なくともいずれか１つであり、
前記形態は、大きさ、形状、および色のうちの少なくともいずれか１つである請求項７に記載の機械学習モデルの運用装置。

【請求項9】

前記アノテーション画像が、複数の前記構造物の集合が前記クラスとして指定された画像であった場合、
前記出力画像内の前記人工マーカに基づいて、個々の前記構造物を判別する判別部を備える請求項１ないし８のいずれか１項に記載の機械学習モデルの運用装置。

【請求項10】

前記クラスは複数種あり、
前記人工マーカは前記クラスよりも種類が少なく、
前記機械学習モデルは、前記クラスの存否確率を示すクラス存否確率マップに基づいて、前記出力画像の各画素が属するクラスを認定する第１アクティベーションレイヤと、
前記人工マーカの存否確率を示すマーカ存否確率マップに基づいて、前記出力画像の各画素が属する人工マーカを認定する第２アクティベーションレイヤとを有する請求項１ないし９のいずれか１項に記載の機械学習モデルの運用装置。

【請求項11】

培養中の複数の細胞を撮影した細胞画像に基づいて、前記細胞画像内の前記細胞または前記細胞の一部を含む構造物、もしくは前記構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの運用装置の作動方法であって、
前記細胞画像を取得する第１取得ステップと、
学習用入力画像およびアノテーション画像の組で構成される学習データを与えられて学習された前記機械学習モデルに、前記第１取得ステップにおいて取得した前記細胞画像を入力して前記セマンティックセグメンテーションを実施させ、出力画像を出力させる処理ステップと、
を備え、
前記アノテーション画像は、前記学習用入力画像内の前記構造物、もしくは前記構造物の集合に対応する領域が前記クラスとして指定され、かつ、前記構造物毎に、隣り合う前記構造物間で重複しない前記構造物内の位置に人工マーカが付与された画像であり、
前記人工マーカは、前記構造物の輪郭を縮小した縮小輪郭を辿った輪郭線であり、
前記出力画像は、前記人工マーカ付きの画像である
機械学習モデルの運用装置の作動方法。

【請求項12】

培養中の複数の細胞を撮影した細胞画像に基づいて、前記細胞画像内の前記細胞または前記細胞の一部を含む構造物、もしくは前記構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの運用装置の作動プログラムであって、
前記細胞画像を取得する第１取得部と、
学習用入力画像およびアノテーション画像の組で構成される学習データを与えられて学習された前記機械学習モデルに、前記第１取得部において取得した前記細胞画像を入力して前記セマンティックセグメンテーションを実施させ、出力画像を出力させる処理部として、
コンピュータを機能させ、
前記アノテーション画像は、前記学習用入力画像内の前記構造物、もしくは前記構造物の集合に対応する領域が前記クラスとして指定され、かつ、前記構造物毎に、隣り合う前記構造物間で重複しない前記構造物内の位置に人工マーカが付与された画像であり、
前記人工マーカは、前記構造物の輪郭を縮小した縮小輪郭を辿った輪郭線であり、
前記出力画像は、前記人工マーカ付きの画像である
機械学習モデルの運用装置の作動プログラム。

【請求項13】

培養中の複数の細胞を撮影した細胞画像内の前記細胞または前記細胞の一部を含む構造物、もしくは前記構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの学習装置であって、
学習用入力画像およびアノテーション画像の組で構成される学習データを取得する第２取得部と、
前記第２取得部において取得した前記学習データを、前記機械学習モデルに与えて学習させる学習部と、
を備え、
前記アノテーション画像は、前記学習用入力画像内の前記構造物、もしくは前記構造物の集合に対応する領域が前記クラスとして指定され、かつ、前記構造物毎に、隣り合う前記構造物間で重複しない前記構造物内の位置に人工マーカが付与された画像であり、
前記人工マーカは、前記構造物の輪郭を縮小した縮小輪郭を辿った輪郭線である、
機械学習モデルの学習装置。

【請求項14】

培養中の複数の細胞を撮影した細胞画像内の前記細胞または前記細胞の一部を含む構造物、もしくは前記構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの学習装置の作動方法であって、
学習用入力画像およびアノテーション画像の組で構成される学習データを取得する第２取得ステップと、
前記第２取得ステップにおいて取得した前記学習データを、前記機械学習モデルに与えて学習させる学習ステップと、
を備え、
前記アノテーション画像は、前記学習用入力画像内の前記構造物、もしくは前記構造物の集合に対応する領域が前記クラスとして指定され、かつ、前記構造物毎に、隣り合う前記構造物間で重複しない前記構造物内の位置に人工マーカが付与された画像であり、
前記人工マーカは、前記構造物の輪郭を縮小した縮小輪郭を辿った輪郭線である、
機械学習モデルの学習装置の作動方法。

【請求項15】

培養中の複数の細胞を撮影した細胞画像内の前記細胞または前記細胞の一部を含む構造物、もしくは前記構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの学習装置の作動プログラムであって、
学習用入力画像およびアノテーション画像の組で構成される学習データを取得する第２取得部と、
前記第２取得部において取得した前記学習データを、前記機械学習モデルに与えて学習させる学習部として、
コンピュータを機能させ、
前記アノテーション画像は、前記学習用入力画像内の前記構造物、もしくは前記構造物の集合に対応する領域が前記クラスとして指定され、かつ、前記構造物毎に、隣り合う前記構造物間で重複しない前記構造物内の位置に人工マーカが付与された画像であり、
前記人工マーカは、前記構造物の輪郭を縮小した縮小輪郭を辿った輪郭線である、
機械学習モデルの学習装置の作動プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラムに関する。

【背景技術】

【0002】

特許文献１に記載されているように、培養中の複数の細胞を位相差顕微鏡等で撮影し、これにより得られた細胞画像を解析して、細胞の個数を計数する等の培養の評価が行われている。特許文献１において、細胞画像の解析には、セマンティックセグメンテーションを実施するための機械学習モデル（以下、単にモデル）が用いられる。モデルは、例えばＵ字型の畳み込みニューラルネットワーク（Ｕ－Ｎｅｔ；Ｕ－Ｓｈａｐｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等である。セマンティックセグメンテーションとは、分化細胞、未分化細胞、死細胞、培地といった、細胞画像内の複数のクラスの判別を画素単位で行うものである。こうしたモデルに細胞画像を入力することで、理想的には、細胞画像内の分化細胞、未分化細胞、死細胞、培地が各々クラスとして判別され、かつ分化細胞、未分化細胞、死細胞、培地の輪郭を忠実に辿った輪郭線がそれぞれに描かれた出力画像が得られる。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１０－５１８４８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

培養中の細胞は、非常に密集して成長している。このため、モデルにおいても、隣り合う１個１個の細胞を区別して分離することができず、複数個の細胞を１個の細胞として見なしてしまう場合がある。１個１個の細胞を区別して分離することができないと、培養の評価を適正に行うことができない。

【0005】

本開示の技術は、適正な培養の評価に寄与することが可能な機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示の機械学習モデルの運用装置は、培養中の複数の細胞を撮影した細胞画像に基づいて、細胞画像内の細胞または細胞の一部を含む構造物、もしくは構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの運用装置であって、細胞画像を取得する第１取得部と、学習用入力画像およびアノテーション画像の組で構成される学習データを与えられて学習された機械学習モデルに、第１取得部において取得した細胞画像を入力してセマンティックセグメンテーションを実施させ、出力画像を出力させる処理部と、を備え、アノテーション画像は、学習用入力画像内の構造物、もしくは構造物の集合に対応する領域がクラスとして指定され、かつ、構造物毎に、隣り合う構造物間で重複しない構造物内の位置に人工マーカが付与された画像であり、出力画像は、人工マーカ付きの画像である。

【0007】

処理部によって出力された出力画像に基づいて培養の評価を行う培養評価部と、培養の評価結果を出力する制御を行う出力制御部とを備えることが好ましい。

【0008】

培養評価部は、出力画像に映る人工マーカの数を計数することで、構造物の個数を計数することが好ましい。

【0009】

出力制御部は、評価結果と併せて、細胞画像および出力画像を出力することが好ましい。

【0010】

機械学習モデルは、構造物の特徴点の位置に人工マーカを付与することが好ましい。

【0011】

機械学習モデルは、構造物の輪郭を縮小した縮小輪郭を辿った輪郭線を、人工マーカとして付与することが好ましい。

【0012】

人工マーカは、構造物の属性に応じて形態が異なることが好ましい。この場合、構造物の属性は、種類、大きさ、密集度、円形度、内包物の個数、および向きのうちの少なくともいずれか１つであり、形態は、大きさ、形状、および色のうちの少なくともいずれか１つであることが好ましい。

【0013】

アノテーション画像が、複数の構造物の集合がクラスとして指定された画像であった場合、出力画像内の人工マーカに基づいて、個々の構造物を判別する判別部を備えることが好ましい。

【0014】

クラスは複数種あり、人工マーカはクラスよりも種類が少なく、機械学習モデルは、クラスの存否確率を示すクラス存否確率マップに基づいて、出力画像の各画素が属するクラスを認定する第１アクティベーションレイヤと、人工マーカの存否確率を示すマーカ存否確率マップに基づいて、出力画像の各画素が属する人工マーカを認定する第２アクティベーションレイヤとを有することが好ましい。

【0015】

本開示の機械学習モデルの運用装置の作動方法は、培養中の複数の細胞を撮影した細胞画像に基づいて、細胞画像内の細胞または細胞の一部を含む構造物、もしくは構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの運用装置の作動方法であって、細胞画像を取得する第１取得ステップと、学習用入力画像およびアノテーション画像の組で構成される学習データを与えられて学習された機械学習モデルに、第１取得ステップにおいて取得した細胞画像を入力してセマンティックセグメンテーションを実施させ、出力画像を出力させる処理ステップと、を備え、アノテーション画像は、学習用入力画像内の構造物、もしくは構造物の集合に対応する領域がクラスとして指定され、かつ、構造物毎に、隣り合う構造物間で重複しない構造物内の位置に人工マーカが付与された画像であり、出力画像は、人工マーカ付きの画像である。

【0016】

本開示の機械学習モデルの運用装置の作動プログラムは、培養中の複数の細胞を撮影した細胞画像に基づいて、細胞画像内の細胞または細胞の一部を含む構造物、もしくは構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの運用装置の作動プログラムであって、細胞画像を取得する第１取得部と、学習用入力画像およびアノテーション画像の組で構成される学習データを与えられて学習された機械学習モデルに、第１取得部において取得した細胞画像を入力してセマンティックセグメンテーションを実施させ、出力画像を出力させる処理部として、コンピュータを機能させ、アノテーション画像は、学習用入力画像内の構造物、もしくは構造物の集合に対応する領域がクラスとして指定され、かつ、構造物毎に、隣り合う構造物間で重複しない構造物内の位置に人工マーカが付与された画像であり、出力画像は、人工マーカ付きの画像である。

【0017】

本開示の機械学習モデルの学習装置は、培養中の複数の細胞を撮影した細胞画像内の細胞または細胞の一部を含む構造物、もしくは構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの学習装置であって、学習用入力画像およびアノテーション画像の組で構成される学習データを取得する第２取得部と、第２取得部において取得した学習データを、機械学習モデルに与えて学習させる学習部と、を備え、アノテーション画像は、学習用入力画像内の構造物、もしくは構造物の集合に対応する領域がクラスとして指定され、かつ、構造物毎に、隣り合う構造物間で重複しない構造物内の位置に人工マーカが付与された画像である。

【0018】

本開示の機械学習モデルの学習装置の作動方法は、培養中の複数の細胞を撮影した細胞画像内の細胞または細胞の一部を含む構造物、もしくは構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの学習装置の作動方法であって、学習用入力画像およびアノテーション画像の組で構成される学習データを取得する第２取得ステップと、第２取得ステップにおいて取得した学習データを、機械学習モデルに与えて学習させる学習ステップと、を備え、アノテーション画像は、学習用入力画像内の構造物、もしくは構造物の集合に対応する領域がクラスとして指定され、かつ、構造物毎に、隣り合う構造物間で重複しない構造物内の位置に人工マーカが付与された画像である。

【0019】

本開示の機械学習モデルの学習装置の作動プログラムは、培養中の複数の細胞を撮影した細胞画像内の細胞または細胞の一部を含む構造物、もしくは構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの学習装置の作動プログラムであって、学習用入力画像およびアノテーション画像の組で構成される学習データを取得する第２取得部と、第２取得部において取得した学習データを、機械学習モデルに与えて学習させる学習部として、コンピュータを機能させ、アノテーション画像は、学習用入力画像内の構造物、もしくは構造物の集合に対応する領域がクラスとして指定され、かつ、構造物毎に、隣り合う構造物間で重複しない構造物内の位置に人工マーカが付与された画像である。

【発明の効果】

【0020】

本開示の技術によれば、適正な培養の評価に寄与することが可能な機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラムを提供することができる。

【図面の簡単な説明】

【0021】

【図1】機械学習システムを示す図である。

【図2】機械学習システムにおける処理の概要を示す図である。

【図3】培養中の複数の細胞を位相差顕微鏡で撮影した画像を示す図であり、図３Ａは学習用入力画像、図３Ｂはアノテーション画像をそれぞれ示す。

【図4】学習装置および運用装置を構成するコンピュータを示すブロック図である。

【図5】学習装置のＣＰＵの処理部を示すブロック図である。

【図6】更新部のモデルの更新による、学習用出力画像の変化の一例を示す図である。

【図7】運用装置のＣＰＵの処理部を示すブロック図である。

【図8】処理部の処理を示す図である。

【図9】分化細胞の中心点に○印が付与される様子を示す図である。

【図10】培養評価部の処理を示す図である。

【図11】評価結果表示画面を示す図である。

【図12】学習装置の処理手順を示すフローチャートである。

【図13】運用装置の処理手順を示すフローチャートである。

【図14】神経細胞を構造物とした場合を示す図である。

【図15】分化細胞に輪郭線が付与される様子を示す図である。

【図16】分化細胞の大きさに応じて、人工マーカの大きさを異ならせる例を示す図である。

【図17】分化細胞の密集度に応じて、人工マーカの色を異ならせる例を示す図である。

【図18】分化細胞の円形度に応じて、人工マーカの形状を異ならせる例を示す図である。

【図19】分化細胞の内包物の個数に応じて、人工マーカの大きさを異ならせる例を示す図である。

【図20】分化細胞の向きを表した両矢印を、人工マーカとして用いた例を示す図である。

【図21】複数の分化細胞の集合および複数の未分化細胞の集合をクラスとして指定したアノテーション画像を示す図である。

【図22】図２１に示すアノテーション画像を学習データとして学習した場合の出力画像を示す図である。

【図23】判別部により、出力画像内の○印および△印に基づいて、個々の分化細胞および個々の未分化細胞を判別する様子を示す図である。

【図24】１つのアクティベーションレイヤだけを有する場合を示す図である。

【図25】クラス用と人工マーカ用の２つのアクティベーションレイヤを有する場合を示す図である。

【発明を実施するための形態】

【0022】

図１において、機械学習システム２は、画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するためのモデルＭ（図２参照）を用いるシステムである。機械学習システム２は、学習装置１０および運用装置１１を備える。学習装置１０および運用装置１１は、例えばデスクトップ型のパーソナルコンピュータである。学習装置１０および運用装置１１は、ネットワーク１２を介して相互に通信可能に接続されている。ネットワーク１２は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、もしくはインターネット、公衆通信網等のＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。

【0023】

図２において、学習装置１０は、学習用入力画像ＩＩＬおよびアノテーション画像ＡＩの組で構成される学習データＬＤを有する。学習用入力画像ＩＩＬは、文字通り、クラスの判別精度を高める学習のためにモデルＭに入力される画像である。モデルＭは例えばＵ－Ｎｅｔであり、学習用入力画像ＩＩＬにセマンティックセグメンテーションを実施して、学習用出力画像ＯＩＬを出力する。

【0024】

アノテーション画像ＡＩは、学習用入力画像ＩＩＬ内のクラスのラベルが指定された画像である。アノテーション画像ＡＩは、学習用出力画像ＯＩＬとのいわば答え合わせを行うための画像であり、学習用出力画像ＯＩＬと比較される。モデルＭのクラスの判別精度が高いほど、アノテーション画像ＡＩと学習用出力画像ＯＩＬとの差異は小さくなる。

【0025】

学習装置１０は、アノテーション画像ＡＩと学習用出力画像ＯＩＬとを比較し、モデルＭのクラスの判別精度を評価する。そして、このクラスの判別精度の評価結果に応じて、モデルＭを更新する。学習装置１０は、学習用入力画像ＩＩＬのモデルＭへの入力と学習用出力画像ＯＩＬのモデルＭからの出力、モデルＭのクラスの判別精度の評価、およびモデルＭの更新を、学習データＬＤを変更しつつ行い、モデルＭのクラスの判別精度が予め設定されたレベルとなるまで繰り返す。学習装置１０は、クラスの判別精度が予め設定されたレベルとされたモデルＭを、学習済みモデルＴＭとして運用装置１１に出力する。

【0026】

運用装置１１は、学習装置１０からの学習済みモデルＴＭを受信する。運用装置１１は、映った物体のクラスおよびその輪郭が未だ判別されていない入力画像ＩＩを学習済みモデルＴＭに与える。学習済みモデルＴＭは、入力画像ＩＩにセマンティックセグメンテーションを実施して、入力画像ＩＩに映る物体のクラスとその輪郭を判別し、その判別結果として出力画像ＯＩを出力する。なお、運用装置１１に学習済みモデルＴＭを組み込んだ後も、学習済みモデルＴＭに学習データＬＤを与えて学習させてもよい。

【0027】

図３Ａに示すように、学習用入力画像ＩＩＬは、本例においては、培養中の複数の細胞を位相差顕微鏡で撮影した細胞画像である。学習用入力画像ＩＩＬには、分化細胞、未分化細胞、死細胞、培地が映っている。この場合のアノテーション画像ＡＩは、図３Ｂに示すように、ラベル１の分化細胞ＤＣ、ラベル２の未分化細胞ＵＤＣ、ラベル３の死細胞ＤＤＣ、ラベル４の培地ＰＬが、各々クラスとして指定されたものとなる。各クラスの指定は、例えば、ユーザが手動により行う。ラベル４の培地ＰＬは、他のラベル１～ラベル３を指定することで自ずと指定される領域である。なお、学習済みモデルＴＭに与えられる入力画像ＩＩも、学習用入力画像ＩＩＬと同じく、培養中の複数の細胞を位相差顕微鏡で撮影した細胞画像である。

【0028】

分化細胞ＤＣに対応する領域には、○印１５Ａが付与されている。未分化細胞ＵＤＣに対応する領域には、△印１５Ｂが付与されている。さらに、死細胞ＤＤＣに対応する領域には、×印１５Ｃが付与されている。これら○印１５Ａ、△印１５Ｂ、および×印１５Ｃは、例えば赤色等、全て同じ色である。そして、これら○印１５Ａ、△印１５Ｂ、および×印１５Ｃは、隣り合う細胞間で重複しない細胞内の位置に付与されている。○印１５Ａ、△印１５Ｂ、および×印１５Ｃの付与は、例えば、クラスの指定と同じくユーザが手動により行う。なお、○印１５Ａ、△印１５Ｂ、および×印１５Ｃは、本開示の技術に係る「人工マーカ」の一例である。また、分化細胞ＤＣ、未分化細胞ＵＤＣ、死細胞ＤＤＣは、本開示の技術に係る「構造物」の一例である。

【0029】

○印１５Ａは、分化細胞ＤＣの特徴点である中心点の位置に付与される。同様に、△印１５Ｂも、未分化細胞ＵＤＣの中心点の位置に付与され、×印１５Ｃも、死細胞ＤＤＣの中心点の位置に付与される。前述のようにユーザが○印１５Ａ、△印１５Ｂ、および×印１５Ｃの付与を行う場合は、ユーザが中心点と思しき位置に○印１５Ａ、△印１５Ｂ、×印１５Ｃを付与する。もちろん、ユーザの手を借りずに、画像解析により抽出した各細胞ＤＣ、ＵＤＣ、ＤＤＣの中心点の位置に、○印１５Ａ、△印１５Ｂ、×印１５Ｃを付与してもよい。

【0030】

図４において、学習装置１０および運用装置１１を構成するコンピュータは、基本的な構成は同じであり、ストレージデバイス３０、メモリ３１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２、通信部３３、ディスプレイ３４、および入力デバイス３５を備えている。これらはバスライン３６を介して相互接続されている。

【0031】

ストレージデバイス３０は、学習装置１０等を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス３０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス３０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。

【0032】

メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージデバイス３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。

【0033】

通信部３３は、ネットワーク１２を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ３４は各種画面を表示する。学習装置１０等を構成するコンピュータは、各種画面を通じて、入力デバイス３５からの操作指示の入力を受け付ける。入力デバイス３５は、キーボード、マウス、タッチパネル等である。なお、以下の説明では、学習装置１０の各部に添え字の「Ａ」を、運用装置１１の各部に添え字の「Ｂ」を、それぞれ付して区別する。

【0034】

図５において、学習装置１０のストレージデバイス３０Ａには、作動プログラム４０が記憶されている。作動プログラム４０は、コンピュータを学習装置１０として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム４０は、本開示の技術に係る「学習装置の作動プログラム」の一例である。

【0035】

ストレージデバイス３０Ａには、学習用入力画像ＩＩＬおよびアノテーション画像ＡＩの組で構成される学習データＬＤ、およびモデルＭも記憶されている。学習用入力画像ＩＩＬは、位相差顕微鏡から送信されて記憶したものである。アノテーション画像ＡＩは、学習装置１０において学習用入力画像ＩＩＬから事前に作成して記憶したものである。あるいは、アノテーション画像ＡＩは、学習装置１０とは別の装置において作成され、別の装置から送信されて記憶したものでもよい。モデルＭもアノテーション画像ＡＩと同様に、学習装置１０において作成して記憶したものでもよいし、別の装置において作成され、別の装置から送信されて記憶したものでもよい。

【0036】

作動プログラム４０が起動されると、学習装置１０を構成するコンピュータのＣＰＵ３２Ａは、メモリ３１等と協働して、リードライト（以下、ＲＷ（Ｒｅａｄ Ｗｒｉｔｅ）と略す）制御部４５、学習部４６、評価部４７、更新部４８、および送信制御部４９として機能する。

【0037】

ＲＷ制御部４５は、ストレージデバイス３０Ａへの各種データの記憶、およびストレージデバイス３０Ａ内の各種データの読み出しを制御する。ＲＷ制御部４５は、作動プログラム４０、学習データＬＤ、モデルＭ等をストレージデバイス３０Ａに記憶する。また、ＲＷ制御部４５は、ストレージデバイス３０Ａから作動プログラム４０、学習データＬＤ、モデルＭ等を読み出す。すなわち、ＲＷ制御部４５は、本開示の技術に係る「学習データを取得する第２取得部」の一例である。

【0038】

ＲＷ制御部４５は、ストレージデバイス３０Ａから読み出した学習データＬＤのうちの学習用入力画像ＩＩＬを学習部４６に出力する。また、ＲＷ制御部４５は、アノテーション画像ＡＩを評価部４７に出力する。さらに、ＲＷ制御部４５は、ストレージデバイス３０Ａから読み出したモデルＭを、学習部４６、更新部４８、および送信制御部４９のいずれかに出力する。

【0039】

学習部４６は、学習用入力画像ＩＩＬを学習データＬＤとしてモデルＭに与えて学習させる。これによりモデルＭから出力された学習用出力画像ＯＩＬを、学習部４６は評価部４７に出力する。

【0040】

学習部４６は、例えばミニバッチデータを用いたミニバッチ学習をモデルＭに行わせる。ミニバッチデータは、学習用入力画像ＩＩＬとアノテーション画像ＡＩとを分割した複数の分割画像（例えば元の画像の１／１００のサイズの枠で分割した１万枚の分割画像）のうちの一部（例えば１００枚）で構成される。学習部４６は、こうしたミニバッチデータを複数組（例えば１００組）作成し、各組を順次モデルＭに与えて学習させる。

【0041】

評価部４７は、アノテーション画像ＡＩと学習用出力画像ＯＩＬとを比較し、モデルＭのクラスの判別精度を評価する。より詳しくは、評価部４７は、損失関数を用いて、モデルＭのクラスの判別精度を評価する。損失関数は、アノテーション画像ＡＩと学習用出力画像ＯＩＬとの差異の程度を表す関数である。損失関数の算出値が０に近いほど、モデルＭのクラスの判別精度が高いことを示す。評価部４７は、評価結果を更新部４８に出力する。

【0042】

更新部４８は、評価部４７からの評価結果に応じて、モデルＭを更新する。具体的には、更新部４８は、学習係数を伴う確率的勾配降下法等により、モデルＭの各種パラメータの値を変化させる。学習係数は、モデルＭの各種パラメータの値の変化幅を示す。すなわち、学習係数が比較的大きい値であるほど、各種パラメータの値の変化幅は大きくなり、モデルＭの更新度合いも大きくなる。更新部４８で更新されたモデルＭは、ＲＷ制御部４５によりストレージデバイス３０Ａに記憶される。

【0043】

これら学習部４６によるモデルＭの学習、評価部４７によるクラスの判別精度の評価、および更新部４８によるモデルＭの更新は、クラスの判別精度が予め設定されたレベルとなるまで、繰り返し続けられる。

【0044】

送信制御部４９は、クラスの判別精度が予め設定されたレベルとされたモデルＭである学習済みモデルＴＭを、運用装置１１に送信する制御を行う。

【0045】

図６は、更新部４８のモデルＭの更新による、学習用出力画像ＯＩＬの変化の一例を示す。上段に示す学習用出力画像ＯＩＬは、アノテーション画像ＡＩと比較して分かるように、中央の４個の分化細胞ＤＣが１個の分化細胞ＤＣとして誤認されている。しかし、○印１５Ａは４個付与される。同じく、下部の２個の分化細胞ＤＣが１個の分化細胞ＤＣと誤認されているが、○印１５Ａは２個付与される。

【0046】

更新部４８のモデルＭの更新を経た中段の学習用出力画像ＯＩＬは、１個の分化細胞ＤＣと誤認されていた中央の４個の分化細胞ＤＣが、３個の分化細胞ＤＣと認識されている。この場合も○印１５Ａは４個付与される。こうしてモデルＭの更新が繰り返されることで、モデルＭのクラスの判別精度が高められていく。最終的には下段に示すように、学習用出力画像ＯＩＬは、中央の４個の分化細胞ＤＣが、正しく４個の分化細胞ＤＣと認識されて、かつ○印１５Ａが４個付与され、また、下部の２個の分化細胞ＤＣが、正しく２個の分化細胞ＤＣと認識されて、○印１５Ａが２個付与されたものとなる。ただし、いくらモデルＭのクラスの判別精度が高められても、複数個の細胞を１個の細胞と誤認することは起こり得る。

【0047】

図７において、運用装置１１のストレージデバイス３０Ｂには、作動プログラム６０が記憶されている。作動プログラム６０は、コンピュータを運用装置１１として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム６０は、本開示の技術に係る「運用装置の作動プログラム」の一例である。

【0048】

ストレージデバイス３０Ｂには入力画像ＩＩおよび学習済みモデルＴＭも記憶されている。入力画像ＩＩは、学習用入力画像ＩＩＬと同じく、位相差顕微鏡から送信されて記憶したものである。入力画像ＩＩは、前述のように、これから学習済みモデルＴＭに与えて、映った物体のクラスおよびその輪郭を学習済みモデルＴＭに判別させる画像である。

【0049】

作動プログラム６０が起動されると、運用装置１１を構成するコンピュータのＣＰＵ３２Ｂは、メモリ３１等と協働して、ＲＷ制御部６５、処理部６６、培養評価部６７、および表示制御部６８として機能する。

【0050】

ＲＷ制御部６５は、学習装置１０のＲＷ制御部４５と同様、ストレージデバイス３０Ｂへの各種データの記憶、およびストレージデバイス３０Ｂ内の各種データの読み出しを制御する。ＲＷ制御部６５は、学習装置１０からの学習済みモデルＴＭをストレージデバイス３０Ｂに記憶する。また、ＲＷ制御部６５は、ストレージデバイス３０Ｂから入力画像ＩＩおよび学習済みモデルＴＭを読み出す。ＲＷ制御部６５は、ストレージデバイス３０Ｂから読み出した入力画像ＩＩおよび学習済みモデルＴＭを、処理部６６に出力する。ここで、入力画像ＩＩは、前述のように細胞画像である。このため、ＲＷ制御部６５は、本開示の技術に係る「細胞画像を取得する第１取得部」の一例である。

【0051】

処理部６６は、学習済みモデルＴＭに入力画像ＩＩを入力してセマンティックセグメンテーションを実施させ、出力画像ＯＩを出力させる。処理部６６は、出力画像ＯＩを培養評価部６７および表示制御部６８に出力する。

【0052】

培養評価部６７は、出力画像ＯＩに基づいて、培養の評価を行う。培養評価部６７は、培養の評価結果ＥＲを表示制御部６８に出力する。

【0053】

表示制御部６８は、ディスプレイ３４Ｂへの各種画面の表示を制御する。各種画面には、培養の評価結果ＥＲを表示する画面である評価結果表示画面７５（図１１参照）等が含まれる。すなわち、表示制御部６８は、本開示の技術に係る「出力制御部」の一例である。

【0054】

学習済みモデルＴＭは、図３Ｂで示したアノテーション画像ＡＩを学習データＬＤとして与えられて学習されたモデルである。このため、学習済みモデルＴＭは、ラベル１の分化細胞ＤＣ、ラベル２の未分化細胞ＵＤＣといった各ラベルのクラスとその輪郭を判別するだけでなく、各細胞に対応する領域に、人工マーカである○印１５Ａ、△印１５Ｂ、および×印１５Ｃを付与するモデルとなる。したがって、出力画像ＯＩは、図８に示すように、分化細胞ＤＣ、未分化細胞ＵＤＣ、死細胞ＤＤＣ、および培地ＰＬのそれぞれの領域が判別され、加えて、分化細胞ＤＣの領域に○印１５Ａが、未分化細胞ＵＤＣの領域に△印１５Ｂが、死細胞ＤＤＣの領域に×印１５Ｃがそれぞれ付与された画像となる。つまり、出力画像ＯＩは、人工マーカ付きの画像である。

【0055】

また、図９に示すように、学習済みモデルＴＭは、分化細胞ＤＣの特徴点である中心点ＣＰの位置に○印１５Ａを付与する。図示は省略したが、学習済みモデルＴＭは、未分化細胞ＵＤＣの中心点ＣＰの位置に△印１５Ｂを、死細胞ＤＤＣの中心点ＣＰの位置に×印１５Ｃを、それぞれ付与する。前述のように、アノテーション画像ＡＩの○印１５Ａ、△印１５Ｂ、×印１５Ｃは、ユーザが中心点と思しき位置に付与する。このため、アノテーション画像ＡＩを学習データＬＤとして学習した学習済みモデルＴＭも、結果として各細胞ＤＣ、ＵＤＣ、ＤＤＣの中心点の位置に、○印１５Ａ、△印１５Ｂ、×印１５Ｃを付与することとなる。

【0056】

図１０に示すように、培養評価部６７は、周知の画像認識技術を用いて、出力画像ＯＩに映る○印１５Ａ、△印１５Ｂ、および×印１５Ｃを認識する。そして、培養評価部６７は、○印１５Ａの数を計数することで、分化細胞ＤＣの個数を計数する。同じく、培養評価部６７は、△印１５Ｂの数を計数することで、未分化細胞ＵＤＣの個数を計数し、×印１５Ｃの数を計数することで、死細胞ＤＤＣの個数を計数する。培養評価部６７は、計数した各細胞ＤＣ、ＵＤＣ、ＤＤＣの個数を培養の評価結果ＥＲとして出力する。図９では、○印１５Ａの数、すなわち分化細胞ＤＣの個数が１６個、△印１５Ｂの数、すなわち未分化細胞ＵＤＣの個数が９個、×印１５Ｃの数、すなわち死細胞ＤＤＣの個数が４個の場合を例示している。

【0057】

図１１に示すように、評価結果表示画面７５には、入力画像ＩＩおよび出力画像ＯＩが並列表示される。出力画像ＯＩの下部には、ラベル１～ラベル４の凡例７６が表示される。さらに、凡例７６の下部には、培養の評価結果ＥＲが表示される。なお、ＯＫボタン７７は、評価結果表示画面７５の表示を消去するためのボタンである。

【0058】

次に、上記構成による作用について、図１２および図１３のフローチャートを参照して説明する。まず、学習装置１０において作動プログラム４０が起動されると、図５で示したように、学習装置１０のＣＰＵ３２Ａは、ＲＷ制御部４５、学習部４６、評価部４７、更新部４８、および送信制御部４９として機能される。

【0059】

図１２において、学習装置１０では、ＲＷ制御部４５により、ストレージデバイス３０Ａから学習データＬＤが読み出される（ステップＳＴ１００）。学習データＬＤを構成するアノテーション画像ＡＩは、図３Ｂで示したように、ラベル１の分化細胞ＤＣ、ラベル２の未分化細胞ＵＤＣ、ラベル３の死細胞ＤＤＣ、ラベル４の培地ＰＬが、各々クラスとして指定され、かつ、各細胞に対応する領域毎に、○印１５Ａ、△印１５Ｂ、×印１５Ｃが付与された画像である。○印１５Ａ、△印１５Ｂ、×印１５Ｃは、各細胞ＤＣ、ＵＤＣ、ＤＤＣの特徴点である中心点ＣＰの位置に付与される。学習データＬＤのうちの学習用入力画像ＩＩＬは、ＲＷ制御部４５から学習部４６に出力される。また、アノテーション画像ＡＩは、ＲＷ制御部４５から評価部４７に出力される。なお、ステップＳＴ１００は、本開示の技術に係る「第２取得ステップ」の一例である。

【0060】

学習部４６により、学習用入力画像ＩＩＬがモデルＭに与えられて学習される（ステップＳＴ１１０）。これにより学習用出力画像ＯＩＬがモデルＭから出力される。学習用出力画像ＯＩＬは、評価部４７に出力される。なお、ステップＳＴ１１０は、本開示の技術に係る「学習ステップ」の一例である。

【0061】

評価部４７により、アノテーション画像ＡＩと学習用出力画像ＯＩＬとが比較され、この比較結果に基づいて、モデルＭのクラスの判別精度が評価される（ステップＳＴ１２０）。評価結果は更新部４８に出力される。

【0062】

モデルＭの判別精度が予め設定されたレベル未満であるという評価結果の内容であった場合（ステップＳＴ１３０でＮＯ）、更新部４８によりモデルＭが更新される（ステップＳＴ１４０）。そして、更新後のモデルＭを用いて、ステップＳＴ１１０、ステップＳＴ１２０が繰り返される。対して、モデルＭの判別精度が予め設定されたレベルであるという評価結果の内容であった場合（ステップＳＴ１３０でＹＥＳ）、ステップＳＴ１１０、ステップＳＴ１２０の繰り返し処理が終了される。判別精度が予め設定されたレベルとされたモデルＭは、学習済みモデルＴＭとして送信制御部４９により運用装置１１に送信される（ステップＳＴ１５０）。

【0063】

運用装置１１において作動プログラム６０が起動されると、図７で示したように、運用装置１１のＣＰＵ３２Ｂは、ＲＷ制御部６５、処理部６６、培養評価部６７、および表示制御部６８として機能される。

【0064】

図１３において、運用装置１１では、ＲＷ制御部６５により、ストレージデバイス３０Ｂから入力画像ＩＩおよび学習済みモデルＴＭが読み出される（ステップＳＴ２００）。入力画像ＩＩおよび学習済みモデルＴＭは、ＲＷ制御部６５から処理部６６に出力される。なお、ステップＳＴ２００は、本開示の技術に係る「第１取得ステップ」の一例である。

【0065】

図８で示したように、処理部６６により、学習済みモデルＴＭに入力画像ＩＩが入力されてセマンティックセグメンテーションが実施され、出力画像ＯＩが出力される（ステップＳＴ２１０）。出力画像ＯＩは、処理部６６から培養評価部６７および表示制御部６８に出力される。なお、ステップＳＴ２１０は、本開示の技術に係る「処理ステップ」の一例である。

【0066】

図１０で示したように、培養評価部６７により、出力画像ＯＩに基づいて、培養の評価が行われる（ステップＳＴ２２０）。培養の評価結果ＥＲは、培養評価部６７から表示制御部６８に出力される。

【0067】

表示制御部６８により、図１１で示した評価結果表示画面７５がディスプレイ３４Ｂに表示される（ステップＳＴ２３０）。評価結果表示画面７５には、入力画像ＩＩおよび出力画像ＯＩが並列表示され、かつ培養の評価結果ＥＲが表示されて、ユーザの閲覧に供される。

【0068】

以上説明したように、本開示の技術では、アノテーション画像ＡＩとして、学習用入力画像ＩＩＬ内の分化細胞ＤＣ、未分化細胞ＵＤＣ、死細胞ＤＤＣ、および培地ＰＬの各々に対応する領域がクラスとして指定され、かつ、細胞毎に、隣り合う細胞間で重複しない細胞内の位置に、分化細胞ＤＣに対して○印１５Ａ、未分化細胞ＵＤＣに対して△印１５Ｂ、死細胞ＤＤＣに対して×印１５Ｃがそれぞれ付与された画像を用いる。このため、学習済みモデルＴＭによって、隣り合う１個１個の細胞を区別して分離することが困難な場合においても、○印１５Ａ、△印１５Ｂ、×印１５Ｃによって１個１個の細胞を区別することができる。したがって、適正な培養の評価に寄与することが可能となる。

【0069】

運用装置１１は、出力画像ＯＩに基づいて培養の評価を行う培養評価部６７と、培養の評価結果ＥＲを含む評価結果表示画面７５を表示する制御を行う表示制御部６８とを備えている。したがって、培養の評価結果ＥＲをユーザに提供することができる。

【0070】

培養評価部６７は、出力画像ＯＩに映る○印１５Ａ、△印１５Ｂ、×印１５Ｃの数を計数することで、分化細胞ＤＣ、未分化細胞ＵＤＣ、死細胞ＤＤＣの個数を計数する。したがって、分化細胞ＤＣ、未分化細胞ＵＤＣ、死細胞ＤＤＣの個数を、容易かつ間違いなく計数することができる。また、培養を評価する場合の指標として端的で分かりやすい各細胞ＤＣ、ＵＤＣ、ＤＤＣの個数を、培養の評価結果ＥＲとしてユーザに提供することができる。

【0071】

○印１５Ａ、△印１５Ｂ、×印１５Ｃは、各細胞ＤＣ、ＵＤＣ、ＤＤＣの特徴点である中心点ＣＰの位置に付与される。したがって、どの印がどの細胞に付与されているかを区別することができ、ある細胞に付与された印を他の細胞に付与されたものとして取り違えるおそれを低減することができる。

【0072】

なお、○印１５Ａ、△印１５Ｂ、×印１５Ｃを付与する特徴点としては、例示の中心点ＣＰに限らない。各細胞ＤＣ、ＵＤＣ、ＤＤＣの重心点でもよい。また、各細胞ＤＣ、ＵＤＣ、ＤＤＣの核の中心点でもよい。繊維芽細胞といった細長な形状の細胞を構造物とした場合は、細胞の端点でもよい。

【0073】

図１４は、神経細胞８０を構造物とした場合の例を示す。神経細胞８０は、周知のように、核をもつ細胞体８１と、細胞体８１から延びる軸索８２および樹状突起８３とを有する。この場合の特徴点は、図示するように、例えば、細胞体８１と軸索８２の接続部分（軸索の根元）とする。なお、細胞体８１あるいは細胞体８１内の核の中心点、重心点、細胞体８１と樹状突起８３との接続部分、軸索８２の先端部分、樹状突起の先端部分等を特徴点としてもよい。

【0074】

また、図１５に示すように、学習済みモデルＴＭにより、細胞（ここでは分化細胞ＤＣ）の輪郭を縮小した縮小輪郭を辿った輪郭線８５を、人工マーカとして付与してもよい。この場合、アノテーション画像ＡＩに付与する輪郭線８５は、アノテーション画像ＡＩの作成を行う装置において、細胞の指定がなされたアノテーション画像ＡＩに対して画像解析を行うことで導出する。このため、○印１５Ａ、△印１５Ｂ、×印１５Ｃのように、ユーザが手動で付与する必要がなく、ユーザの手間を省くことができる。この場合、分化細胞ＤＣは青色、未分化細胞ＵＤＣは黄色、死細胞ＤＤＣは赤色等、各細胞ＤＣ、ＵＤＣ、ＤＤＣに応じて輪郭線８５内を異なる色で塗り分ける。この色の塗り分けによって、各細胞ＤＣ、ＵＤＣ、ＤＤＣを区別する。なお、○印１５Ａ、△印１５Ｂ、×印１５Ｃに加えて輪郭線８５を人工マーカとして付与してもよい。この場合、輪郭線８５内の色の塗り分けは不要である。

【0075】

図３Ｂでは、構造物の種類に応じて形状が異なる人工マーカとして、分化細胞ＤＣに対する○印１５Ａ、未分化細胞ＵＤＣに対する△印１５Ｂ、死細胞ＤＤＣに対する×印１５Ｃを例示した。対して、図１６～図２０は、分化細胞ＤＣの属性に応じた人工マーカの形態のバリエーションを示す。

【0076】

図１６は、分化細胞ＤＣの大きさに応じて、人工マーカの大きさを異ならせる例を示す。具体的には、分化細胞ＤＣの大きさが第１大きさ閾値よりも大きい場合は大きいサイズの○印１５Ａ、分化細胞ＤＣの大きさが第１大きさ閾値以下で第２大きさ閾値よりも大きい場合は中程度のサイズの○印１５Ａ、分化細胞ＤＣの大きさが第２大きさ閾値以下の場合は小さいサイズの○印１５Ａが、それぞれ人工マーカとして用いられる。

【0077】

図１７は、分化細胞ＤＣの密集度に応じて、人工マーカの色を異ならせる例を示す。具体的には、分化細胞ＤＣの密集度が第１密集度閾値よりも高い場合は青色の○印１５Ａ、分化細胞ＤＣの密集度が第１密集度閾値以下で第２密集度閾値よりも大きい場合は黄色の○印１５Ａ、分化細胞ＤＣの密集度が第２密集度閾値以下の場合は赤色の○印１５Ａが、それぞれ人工マーカとして用いられる。

【0078】

図１８は、分化細胞ＤＣの円形度に応じて、人工マーカの形状を異ならせる例を示す。具体的には、分化細胞ＤＣの円形度が第１円形度閾値よりも高い場合は◎（二重丸）印、分化細胞ＤＣの円形度が第１円形度閾値以下で第２円形度閾値よりも大きい場合は○印、分化細胞ＤＣの円形度が第２円形度閾値以下の場合は●（黒丸）印が、それぞれ人工マーカとして用いられる。

【0079】

図１９は、分化細胞ＤＣの内包物の個数に応じて、人工マーカの大きさを異ならせる例を示す。具体的には、分化細胞ＤＣの内包物の個数が第１個数閾値よりも多い場合は大きいサイズの○印１５Ａ、分化細胞ＤＣの内包物の個数が第１個数閾値以下で第２個数閾値よりも多い場合は中程度のサイズの○印１５Ａ、分化細胞ＤＣの内包物の個数が第２個数閾値以下の場合は小さいサイズの○印１５Ａが、それぞれ人工マーカとして用いられる。なお、内包物は、例えば核小体である。

【0080】

また、図２０は、分化細胞ＤＣの向き（長軸方向）を表した両矢印９０を、人工マーカとして用いた例を示す。

【0081】

分化細胞ＤＣの大きさ、密集度、円形度、内包物の個数、および向きは、アノテーション画像ＡＩの作成を行う装置において、分化細胞ＤＣの指定がなされたアノテーション画像ＡＩに対して画像解析を行うことで導出する。分化細胞ＤＣの大きさは、分化細胞ＤＣを構成する画素の個数で表される。このため、第１大きさ閾値および第２大きさ閾値も、画素の個数が設定される。密集度は、アノテーション画像ＡＩの単位領域当たりの分化細胞ＤＣの個数で表される。このため、第１密集度閾値および第２密集度閾値も、アノテーション画像ＡＩの単位領域当たりの分化細胞ＤＣの個数が設定される。円形度は、例えば、分化細胞ＤＣの面積をＳ、分化細胞ＤＣの領域の周囲長をＬとした場合、４πＳ／Ｌ^２を計算して求まる値である。この場合、求めた値が１に近い程、円形度が高い。このため、第１円形度閾値には、第２円形度閾値よりも１に近い値が設定される。内包物の個数は、内包物を画像認識等で検出し、検出した内包物の個数を分化細胞ＤＣ毎に計数することで導出する。第１個数閾値は例えば３個、第２個数閾値は例えば１個である。

【0082】

このように、図１６～図２０の人工マーカは、分化細胞ＤＣの属性に応じて形態が異なっている。分化細胞ＤＣの属性は、大きさ、密集度、円形度、内包物の数、および向きのうちの少なくともいずれか１つである。人工マーカの形態は、大きさ、形状、および色のうちの少なくともいずれか１つである。したがって、人工マーカによれば、構造物の属性が一目で分かる。なお、分化細胞ＤＣの大きさに応じた○印の色を、分化細胞ＤＣの密集度に応じて変更する等、これらを複合して実施してもよい。また、分化細胞ＤＣだけでなく、未分化細胞ＵＤＣ、死細胞ＤＤＣの属性に応じて人工マーカの形態を異ならせてもよい。

【0083】

培養評価部６７による培養の評価結果ＥＲとしては、例示した各細胞ＤＣ、ＵＤＣ、ＤＤＣの個数に限らない。各細胞ＤＣ、ＵＤＣ、ＤＤＣの個数を合算した全細胞の個数に対する分化細胞ＤＣの個数の割合を、培養の評価結果ＥＲとして出力してもよい。

【0084】

培養の評価結果ＥＲの出力形態として、評価結果表示画面７５を例示したが、これに限らない。評価結果表示画面７５に代えて、あるいは加えて、培養の評価結果ＥＲを印刷出力してもよいし、ファイル出力してもよい。

【0085】

各細胞ＤＣ、ＵＤＣ、ＤＤＣを区別することなく、全て同じ細胞というクラスを指定してもよい。この場合の人工マーカは１種類でよい。あるいは、各細胞ＤＣ、ＵＤＣ、ＤＤＣのクラスの指定を全て細胞としたうえで、各細胞ＤＣ、ＵＤＣ、ＤＤＣで人工マーカの種類を変え、人工マーカによって各細胞ＤＣ、ＵＤＣ、ＤＤＣを区別してもよい。逆に、上記実施形態のように、各細胞ＤＣ、ＵＤＣ、ＤＤＣに対して異なるクラスを指定した場合は、人工マーカを変更せずとも各細胞ＤＣ、ＵＤＣ、ＤＤＣを区別できるので、人工マーカを１種類としてもよい。

【0086】

また、図２１に示すように、アノテーション画像ＡＩにおいて、例えば分化細胞ＤＣおよび未分化細胞ＵＤＣの個々の領域を厳密にクラスとして指定せず、複数の分化細胞ＤＣの集合（以下、分化細胞集合という）ＤＣＣおよび複数の未分化細胞ＵＤＣの集合（以下、未分化細胞集合という）ＵＤＣＣをクラスとして指定してもよい。すなわち、この場合は、分化細胞集合ＤＣＣおよび未分化細胞集合ＵＤＣＣが、本開示の技術に係る「構造物の集合」の一例である。このアノテーション画像ＡＩによれば、分化細胞ＤＣおよび未分化細胞ＵＤＣの個々の領域を厳密にクラスとして指定しなくてもよいので、アノテーション画像ＡＩの作成の手間を大幅に省くことができる。

【0087】

ただし、図２１に示すアノテーション画像ＡＩを学習データＬＤとして学習した場合、学習済みモデルＴＭから出力される出力画像ＯＩは、例えば図２２に示すものとなる。すなわち、人工マーカである○印１５Ａおよび△印１５Ｂが付与され、また、分化細胞集合ＤＣＣおよび未分化細胞集合ＵＤＣＣは判別されているが、個々の分化細胞ＤＣおよび未分化細胞ＵＤＣは判別されていないものとなる。このため、図２１に示すアノテーション画像ＡＩのように、複数の構造物の集合がクラスとして指定されたアノテーション画像ＡＩを用いる場合は、出力画像ＯＩに対して、個々の構造物を判別する処理を行う必要がある。

【0088】

そこで、図２３に示すように、運用装置１１のＣＰＵ３２Ｂに、判別部９５を設けることが好ましい。判別部９５は、処理部６６からの出力画像ＯＩを受け取る。判別部９５は、出力画像ＯＩ内の○印１５Ａおよび△印１５Ｂに基づいて、個々の分化細胞ＤＣおよび個々の未分化細胞ＵＤＣを判別する。判別部９５は、例えば、○印１５Ａおよび△印１５Ｂをシードとして、出力画像ＯＩにウォーターシェッド（ｗａｔｅｒｓｈｅｄ）アルゴリズムを適用することで、個々の分化細胞ＤＣおよび個々の未分化細胞ＵＤＣを判別する。判別部９５は、判別結果である判別画像ＤＩを表示制御部６８に出力する。表示制御部６８は、出力画像ＯＩに代えて判別画像ＤＩを評価結果表示画面７５に表示させる。このように、出力画像ＯＩ内の人工マーカに基づいて、個々の構造物を判別する判別部９５を設けたので、アノテーション画像ＡＩのクラスの指定が比較的アバウトであっても、最終的には個々の構造物が判別された画像を出力することができる。

【0089】

なお、各細胞ＤＣ、ＵＤＣ、ＤＤＣに対して異なるクラスを指定し、人工マーカを１種類とした場合等、人工マーカの種類がクラスよりも少ない場合は、学習済みモデルＴＭの態様によっては以下のような問題が生じる。なお、以下では、各細胞ＤＣ、ＵＤＣ、ＤＤＣに対して異なるクラスを指定し、各細胞ＤＣ、ＵＤＣ、ＤＤＣに付す人工マーカを○印１５Ａの一種類とした場合を例に説明する。

【0090】

図２４は、学習済みモデルＴＭが、１つのアクティベーションレイヤ１００だけを有する場合を示す。ここで、符号ＣＭＰ１は、分化細胞ＤＣの存否確率を示すクラス存否確率マップ、符号ＣＭＰ２は、未分化細胞ＵＤＣの存否確率を示すクラス存否確率マップ、符号ＣＭＰ３は、死細胞ＤＤＣの存否確率を示すクラス存否確率マップ、符号ＣＭＰ４は、培地ＰＬの存否確率を示すクラス存否確率マップである。また、符号ＭＭＰは、人工マーカである○印１５Ａの存否確率を示すマーカ存否確率マップである。各クラス存否確率マップＣＭＰ１～ＣＭＰ４には、分化細胞ＤＣのクラス存否確率マップＣＭＰ１に示すように、画素毎にクラスの存否確率を示す数値（画素値）が登録されている。また、マーカ存否確率マップＭＭＰも同様に、画素毎に○印１５Ａの存否確率を示す数値（画素値）が登録されている。これら各存否確率マップＣＭＰ１～ＣＭＰ４、ＭＭＰの画素は、出力画像ＯＩの画素と一対一で対応する。

【0091】

アクティベーションレイヤ１００は、各存否確率マップＣＭＰ１～ＣＭＰ４、ＭＭＰに基づいて、認定データＡＶＤを出力する。アクティベーションレイヤ１００は、出力画像ＯＩの特定画素に対応する、各存否確率マップＣＭＰ１～ＣＭＰ４、ＭＭＰの画素の各画素値のうちの例えば最大値（最高確率）をとる画素値のクラス、または人工マーカ（この場合は○印１５Ａ）を、特定画素が属するクラス、または人工マーカとして認定する。こうして出力された認定データＡＶＤは、出力画像ＯＩの各画素が属するクラス、または出力画像ＯＩの各画素が属する人工マーカを認定したデータとなる。なお、図２４では、二点鎖線で囲う部分の画素を○印１５Ａと認定し、それ以外の画素を分化細胞ＤＣと認定した場合を例示している。

【0092】

認定データＡＶＤでは、人工マーカである○印１５Ａと認定された画素は、クラスは認定されないため不明となる。したがって、培養評価部６７において、○印１５Ａに基づき分化細胞ＤＣ、未分化細胞ＵＤＣ、死細胞ＤＤＣの各々の個数を計数するためには、○印１５Ａと認定された画素のクラスを特定する処理が別に必要となってしまう。

【0093】

そこで、図２５に示すように、クラス存否確率マップＣＭＰ１～ＣＭＰ４用の第１アクティベーションレイヤ１０５と、マーカ存否確率マップＭＭＰ用の第２アクティベーションレイヤ１０６とを有する学習済みモデルＴＭとすることが好ましい。こうした構成とすれば、出力画像ＯＩの各画素が属するクラスを認定した第１認定データＡＶＤ１と、出力画像ＯＩの各画素が属する人工マーカを認定した第２認定データＡＶＤ２とを別々に出力することができる。したがって、人工マーカである○印１５Ａと認定された画素がどのクラスに属するかを、第１認定データＡＶＤ１によって特定することができ、図２４の場合のように、○印１５Ａと認定された画素のクラスを特定する処理を別に行う必要がなくなる。

【0094】

なお、第１認定データＡＶＤ１に基づいてクラスが指定された出力画像ＯＩを出力し、これとは別に第２認定データＡＶＤ２に基づいて人工マーカが指定された出力画像ＯＩを出力する場合も考えられる。この場合は、学習装置１０の評価部４７で用いる損失関数を、クラスが指定された学習用出力画像ＯＩＬ用と、人工マーカが指定された学習用出力画像ＯＩＬ用とで２つ用意する必要がある。

【0095】

構造物は細胞自体に限らない。核小体等の細胞の一部を構造物としてもよい。核小体は、１μｍ～３μｍの大きさであるため、位相差顕微鏡で十分に観察することが可能である。

【0096】

機械学習システム２を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、学習装置１０と運用装置１１とを統合して、１台のコンピュータで構成してもよい。また、学習装置１０および運用装置１１のうちの少なくともいずれかを、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、学習装置１０のＲＷ制御部４５、学習部４６、および評価部４７の機能と、更新部４８および送信制御部４９の機能とを、２台のコンピュータに分散して担わせる。この場合は２台のコンピュータで学習装置１０を構成する。

【0097】

このように、機械学習システム２のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４０、６０等のアプリケーションプログラムについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

【0098】

モデルＭはＵ－Ｎｅｔに限らず、他の畳み込みニューラルネットワーク、例えばＳｅｇＮｅｔでもよい。

【0099】

上記実施形態において、例えば、ＲＷ制御部４５、６５、学習部４６、評価部４７、更新部４８、送信制御部４９、処理部６６、培養評価部６７、表示制御部６８、判別部９５といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４０、６０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ３２Ａ、３２Ｂに加えて、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0100】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0101】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0102】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。

【0103】

以上の記載から、以下の付記項１、２に記載の発明を把握することができる。

【0104】

［付記項１］
培養中の複数の細胞を撮影した細胞画像に基づいて、前記細胞画像内の前記細胞または前記細胞の一部を含む構造物、もしくは前記構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの運用装置であって、
前記細胞画像を取得する第１取得プロセッサと、
学習用入力画像およびアノテーション画像の組で構成される学習データを与えられて学習された前記機械学習モデルに、前記第１取得プロセッサにおいて取得した前記細胞画像を入力して前記セマンティックセグメンテーションを実施させ、出力画像を出力させる処理プロセッサと、
を備え、
前記アノテーション画像は、前記学習用入力画像内の前記構造物、もしくは前記構造物の集合に対応する領域が前記クラスとして指定され、かつ、前記構造物毎に、隣り合う前記構造物間で重複しない前記構造物内の位置に人工マーカが付与された画像であり、
前記出力画像は、前記人工マーカ付きの画像である
機械学習モデルの運用装置。

【0105】

［付記項２］
培養中の複数の細胞を撮影した細胞画像内の前記細胞または前記細胞の一部を含む構造物、もしくは前記構造物の集合を、クラスとして画素単位で判別するセマンティックセグメンテーションを実施するための機械学習モデルの学習装置であって、
学習用入力画像およびアノテーション画像の組で構成される学習データを取得する第２取得プロセッサと、
前記第２取得プロセッサにおいて取得した前記学習データを、前記機械学習モデルに与えて学習させる学習プロセッサと、
を備え、
前記アノテーション画像は、前記学習用入力画像内の前記構造物、もしくは前記構造物の集合に対応する領域が前記クラスとして指定され、かつ、前記構造物毎に、隣り合う前記構造物間で重複しない前記構造物内の位置に人工マーカが付与された画像である
機械学習モデルの学習装置。

【0106】

本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

【0107】

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0108】

本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。

【0109】

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0110】

２ 機械学習システム
１０ 学習装置
１１ 運用装置
１２ ネットワーク
１５Ａ ○印（人工マーカ）
１５Ｂ △印（人工マーカ）
１５Ｃ ×印（人工マーカ）
３０、３０Ａ、３０Ｂ ストレージデバイス
３１ メモリ
３２、３２Ａ、３２Ｂ ＣＰＵ
３３ 通信部
３４、３４Ｂ ディスプレイ
３５ 入力デバイス
３６ バスライン
４０ 作動プログラム（学習装置の作動プログラム）
４５ リードライト制御部（ＲＷ制御部、第２取得部）
４６ 学習部
４７ 評価部
４８ 更新部
４９ 送信制御部
６０ 作動プログラム（運用装置の作動プログラム）
６５ リードライト制御部（ＲＷ制御部、第１取得部）
６６ 処理部
６７ 培養評価部
６８ 表示制御部
７５ 評価結果表示画面
７６ 凡例
７７ ＯＫボタン
８０ 神経細胞
８１ 細胞体
８２ 軸索
８３ 樹状突起
８５ 輪郭線（人工マーカ）
９０ 両矢印（人工マーカ）
９５ 判別部
１００ アクティベーションレイヤ
１０５、１０６ 第１、第２アクティベーションレイヤ
ＡＩ アノテーション画像
ＡＶＤ 認定データ
ＡＶＤ１、ＡＶＤ２ 第１、第２認定データ
ＣＭＰ１～ＣＭＰ４ クラス存否確率マップ
ＣＰ 中心点（特徴点）
ＤＣ 分化細胞
ＤＣＣ 複数の分化細胞の集合（分化細胞集合）
ＤＤＣ 死細胞
ＤＩ 判別画像
ＥＲ 評価結果
ＩＩ 入力画像
ＩＩＬ 学習用入力画像
ＬＤ 学習データ
Ｍ モデル
ＭＭＰ マーカ存否確率マップ
ＯＩ 出力画像
ＯＩＬ 学習用出力画像
ＰＬ 培地
ＳＴ１００ ステップ（第２取得ステップ）
ＳＴ１１０ ステップ（学習ステップ）
ＳＴ１２０、ＳＴ１３０、ＳＴ１４０、ＳＴ１５０、ＳＴ２２０、ＳＴ２３０ ステップ
ＳＴ２００ ステップ（第１取得ステップ）
ＳＴ２１０ ステップ（処理ステップ）
ＴＭ 学習済みモデル
ＵＤＣ 未分化細胞
ＵＤＣＣ 複数の未分化細胞の集合（未分化細胞集合）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】