特許 7409490 細胞画像解析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-25

(45)【発行日】2024-01-09

(54)【発明の名称】細胞画像解析装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231226BHJP

   G06V 10/776 20220101ALI20231226BHJP

   G01N 21/17 20060101ALI20231226BHJP

【ＦＩ】

G06T7/00 630

G06T7/00 350B

G06V10/776

G01N21/17 A

【請求項の数】 14

(21)【出願番号】P 2022516851

(86)(22)【出願日】2021-02-03

(86)【国際出願番号】 JP2021003946

(87)【国際公開番号】W WO2021215069

(87)【国際公開日】2021-10-28

【審査請求日】2022-10-04

(31)【優先権主張番号】P 2020075277

(32)【優先日】2020-04-21

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】110001069

【氏名又は名称】弁理士法人京都国際特許事務所

(72)【発明者】

【氏名】山本 周平

(72)【発明者】

【氏名】澤田 隆二

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１９－２１１４６８（ＪＰ，Ａ）

【文献】特開２０１９－１０９５５３（ＪＰ，Ａ）

【文献】特開２０１９－１０６１１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００－２１／０１

Ｇ０１Ｎ ２１／１７－２１／６１

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

表示部と、
細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組である学習データと、該学習データを用いた機械学習により構築された学習モデルを用いて作成され細胞画像のデータの入力に応じて該細胞画像に含まれる関心領域を推定した画像のデータを出力する識別器とが保存された記憶部と、
前記学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータの入力を受け付けるテストデータ入力受付部と、
前記テストデータの細胞画像のデータの入力に対して前記識別器から出力される画像のデータを、該テストデータの解析済画像のデータと比較することにより該識別器を評価する識別器評価部と、
前記識別器評価部による評価結果及び該評価に用いられたテストデータを含む評価データを前記識別器に対応付けて前記記憶部に保存する評価結果保存部と、
前記記憶部に保存された識別器を選択する所定の入力に応じて、該識別器に対応付けられた学習データを前記表示部の画面に表示する表示処理部と
を備える、細胞画像解析装置。

【請求項2】

表示部と、
細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組である学習データと、該学習データを用いた機械学習により構築された学習モデルを用いて作成され細胞画像のデータの入力に応じて該細胞画像に含まれる関心領域を推定した画像のデータを出力する識別器とが保存された記憶部と、
前記学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータの入力を受け付けるテストデータ入力受付部と、
前記テストデータの細胞画像のデータの入力に対して前記識別器から出力される画像のデータを、該テストデータの解析済画像のデータと比較することにより該識別器を評価する識別器評価部と、
前記識別器評価部による評価結果及び該評価に用いられたテストデータを含む評価データを前記識別器に対応付けて前記記憶部に保存する評価結果保存部と、
前記記憶部に保存された識別器を選択する所定の入力に応じて、該識別器に対応付けられたテストデータと評価結果の組、または評価結果のみを前記表示部の画面に表示する表示処理部と
を備える、細胞画像解析装置。

【請求項3】

前記記憶部に複数の識別器が保存されており、識別器毎に、当該識別器の作成に用いられた学習データが対応付けられている、請求項１に記載の細胞画像解析装置。

【請求項4】

細胞の種類及び／又は培養条件に応じて異なる識別器が前記記憶部に保存されている、請求項１に記載の細胞画像解析装置。

【請求項5】

前記表示処理部が、前記評価結果として、前記テストデータの細胞画像及び解析済画像と、該解析済画像と前記識別器から出力される画像のずれを示す画像を表示する、請求項２に記載の細胞画像解析装置。

【請求項6】

さらに、
複数の、細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組と、該複数の組の画像のデータに関する培養条件の情報の入力を受け付け、それらを対応付けて前記記憶部に保存する細胞画像入力受付部
を備える、請求項１に記載の細胞画像解析装置。

【請求項7】

さらに、
前記細胞画像入力受付部により受け付けられた複数の組の画像のデータを用いた機械学習により学習モデルを構築して識別器を作成する識別器作成部
を備える、請求項６に記載の細胞画像解析装置。

【請求項8】

前記細胞画像入力受付部が、前記細胞画像入力受付部により受け付けられた複数の組の画像のデータを予め決められた比率で振り分けることにより学習データ及び検証データを作成し、
前記識別器作成部が、前記細胞画像入力受付部により振り分けられた前記学習データ及び検証データを用いて前記機械学習を実行して学習モデルを構築する、請求項７に記載の細胞画像解析装置。

【請求項9】

さらに、
前記記憶部に保存された識別器と、該識別器に対応づけられた細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件の入力を受け付け、前記記憶部に保存する識別器登録部
を備える、請求項６に記載の細胞画像解析装置。

【請求項10】

さらに、
前記記憶部に保存された識別器を、該識別器に対応づけられた細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件とともに出力する識別器出力部
を備える、請求項６に記載の細胞画像解析装置。

【請求項11】

さらに、
前記細胞画像のデータ及び前記解析済画像のデータの前処理を行う前処理アルゴリズムが保存されたアルゴリズム記憶部と、
前記アルゴリズム記憶部に保存された前処理アルゴリズムを用いて前記細胞画像のデータ及び前記解析済画像のデータの前処理を行う前処理実行部と
を備える、請求項１に記載の細胞画像解析装置。

【請求項12】

前記前処理実行部が、前記細胞画像のデータ及び前記解析済画像のデータの位置合わせ、ノイズ除去、及びバックグラウンド除去、並びに前記解析済画像のデータの輝度の二値化のうちの少なくとも1つの処理を実行するものである、請求項１１に記載の細胞画像解析装置。

【請求項13】

さらに、
前記識別器から出力される画像のデータの後処理を行う後処理アルゴリズムが保存されたアルゴリズム記憶部と、
前記アルゴリズム記憶部に保存された後処理アルゴリズムを用いて前記識別器から出力される画像のデータの後処理を行う後処理実行部と
を備える、請求項１に記載の細胞画像解析装置。

【請求項14】

前記後処理実行部が、前記識別器から出力される画像のデータにおいて、推定された関心領域の形態特徴量の算出、形態特徴量の相関性評価、形態特徴量の経時的変化のグラフ化、培養条件に対する形態特徴量のグラフ化、関心領域と背景領域の割合算出、のうちの少なくとも1つの処理を実行するものである、請求項１３に記載の細胞画像解析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、細胞画像を解析する装置に関する。

【背景技術】

【0002】

再生医療の分野では、近年、iPS細胞、ES細胞、間葉系幹細胞等の多能性幹細胞を用いた研究が行われている。こうした多能性幹細胞を使用した再生医療の研究・開発においては、細胞を大量に培養する必要がある。再生医療に用いる細胞を大量に培養する際には、適宜の時点で培養中の細胞を観察し、その状態（細胞の増殖率に変化がないか、形態的な変化はないか、未分化の状態が維持されているか、菌類等のコンタミネーションが生じていないか等）を確認する。この場合には観察後の細胞を引き続き培養するため、非破壊及び非侵襲で細胞の状態を確認する必要がある。非破壊及び非侵襲での細胞の状態の確認は、多くの場合、当該細胞の画像を用いて行われる。

【0003】

細胞は通常、薄く透明であり光の吸収が少ないため、光学顕微鏡により得られる細胞画像では培地と細胞を識別することが難しい。そのため、細胞の観察には位相差顕微鏡が広く利用されている。位相差顕微鏡では光が対象物を通過する際の位相の変化量を画像化するため、薄く透明な細胞についても細胞を培地から識別し、可視化した画像（位相画像）を得ることができる。

【0004】

非特許文献１には、画像処理ソフトウェアを用いて位相画像に含まれる「細胞核の領域」や「細胞１個が占有する領域」を関心領域として抽出し、その関心領域から細胞の数や細胞形態の変化を解析することが提案されている。こうした画像処理ソフトウェアには、ノイズやバックグラウンドを除去するための様々なアルゴリズムが登録されている。使用者は、それらの中から適宜のアルゴリズムを選択してノイズ及びバックグランドを除去した後、各画素の強度を二値化して細胞の位置を特定し、細胞の数や形を解析する。

【0005】

細胞の形状は、細胞の種類や培養日数によって異なる。また、位相画像のバックグラウンドの状態（例えば輝度のばらつき）は培地の種類によって異なる。そのため、解析しようとする位相画像の処理にどのアルゴリズムが適しているかを判断するには画像解析のアルゴリズムに関する熟練を要する。

【0006】

そこで、近年、機械学習により作成された識別器を用いて位相画像を解析することが提案されている（例えば非特許文献２、３）。機械学習を用いた位相画像の解析では、予め、細胞の位相画像と、該位相画像の関心領域を特定した解析済画像（例えば「位相画像中の細胞内の特定のたんぱく質を染色した画像」や、「位相画像中の細胞のうち、観察者が異常な細胞形態を持つと判断して指定した任意の領域」）の組を複数組、学習データ、検証データとしてそれぞれ用意しておく。そして、学習データを用いた機械学習により学習モデルを構築する。その後、検証データを用いて学習モデルのパラメータを調整する。こうして作成された学習モデルが、実際の位相画像を解析するための識別器として提供される。使用者は、こうして提供される識別器を使用することにより、該使用者の熟練度を問わず細胞画像を解析することができる。

【先行技術文献】

【非特許文献】

【0007】

【文献】三浦耕太、塚田祐基著, 「ImageJではじめる生物画像解析」, 学研メディカル秀潤社, 2016年4月, ISBN：9784780909364

【文献】Fully Convolutional Networks for Semantic Segmentation. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 3431-3440

【文献】U-Net: Convolutional Networks for Biomedical Image Segmentation. Computer Vision and Pattern Recognition (cs.CV) arXiv:1505.04597 [cs.CV]

【発明の概要】

【発明が解決しようとする課題】

【0008】

位相画像の解析の精度は、該解析に用いる識別器の元になる学習モデルが、実際の解析対象の位相画像に近い特性を有する位相画像を学習したものであるか否かに依存する。しかし、機械学習による学習モデルの構築はソフトウェア技術者によって行われ、そうした学習モデルを用いた識別器は解析ソフトウェアに予め組み込まれて使用者に提供されることが一般的である。そのため、使用者が解析対象の画像に対する識別器の適否を自ら確認することができないという問題があった。

【0009】

本発明が解決しようとする課題は、使用者が自ら、解析対象の画像に対する識別器の適否を確認することができる細胞画像解析装置を提供することである。

【課題を解決するための手段】

【0010】

上記課題を解決するために成された本発明に係る細胞画像解析装置は、
表示部と、
細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組である学習データと、該学習データを用いた機械学習により構築された学習モデルを用いて作成され細胞画像のデータの入力に応じて該細胞画像に含まれる関心領域を推定した画像のデータを出力する識別器とが保存された記憶部と、
前記学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータの入力を受け付けるテストデータ入力受付部と、
前記テストデータの細胞画像のデータの入力に対して前記識別器から出力される画像のデータを、該テストデータの解析済画像のデータと比較することにより該識別器を評価する識別器評価部と、
前記識別器評価部による評価結果及び該評価に用いられたテストデータを含む評価データを前記識別器に対応付けて前記記憶部に保存する評価結果保存部と、
前記記憶部に保存された識別器を選択する所定の入力に応じて、該識別器に対応付けられた学習データを前記表示部の画面に表示する表示処理部と
を備える。

【発明の効果】

【0011】

本発明に係る細胞画像解析装置は、表示部と記憶部を備えている。記憶部には、細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組である学習データが保存されている。また、記憶部には、該学習データを用いた機械学習により構築された学習モデルを用いて作成され、細胞画像のデータの入力に応じて該細胞画像に含まれる関心領域を推定した画像のデータを出力する識別器も保存されている。記憶部に保存される識別器は1つであってもよく複数であってもよい。複数の識別器が保存される場合には、各識別器と、当該識別器を構成する学習モデルの機械学習に用いられた学習データが対応付けられる。

【0012】

本発明に係る細胞画像解析装置では、使用者が学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータを入力すると、該テストデータを用いて識別器が評価され、テストデータとともに保存される。その後、使用者は、識別器を選択する所定の入力を行うことにより、識別器に対応付けられた学習データを表示部の画面に表示させる。使用者は、画面に表示された学習データと、実際に解析しようとする細胞画像（実細胞画像）の類似性から、該実細胞画像の解析への識別器の適否を確認することができる。また、使用者が自らテストデータを入力して行った評価結果を表示部の画面に表示させて、当該識別器を用いた実細胞画像の解析の適否を確認することもできる。

【図面の簡単な説明】

【0013】

【図1】本発明に係る細胞画像観察装置の一実施例と顕微観察部を組み合わせた細胞画像観察システムの要部構成図。

【図2】本実施例の細胞画像観察システムにおいて細胞画像をインポートする際の一画面例。

【図3】本実施例の細胞画像観察システムにおける識別器の評価の指標に関する説明図。

【図4】本実施例の細胞画像観察システムにおける識別器の評価結果の一表示例。

【発明を実施するための形態】

【0014】

本発明に係る細胞画像解析装置の一実施例について、以下、図面を参照して説明する。図１は、本実施例の細胞画像解析装置２０を含む細胞画像解析システム１の要部構成図である。

【0015】

本実施例の細胞画像解析システム１は、大別して顕微観察部１０と細胞画像解析装置２０から構成される。本実施例の顕微観察部１０は位相差顕微鏡であり、培養プレート内の細胞の位相画像を取得することができる。

【0016】

細胞画像解析装置２０は、解析・処理部３０と、該解析・処理部３０に接続された入力部５１及び表示部５２で構成されている。解析・処理部３０は、記憶部３１の他に、機能ブロックとして細胞画像入力受付部３２、前後処理実行部３３、識別器作成部３４、識別器登録部３５、テストデータ入力受付部３６、識別器評価部３７、評価結果保存部３８、表示処理部３９、解析実行部４０、及びアルゴリズム登録部４１を備えている。前後処理実行部３３は、前処理実行部３３１と後処理実行部３３２を有している。解析・処理部３０はパーソナルコンピュータやワークステーションから構成され、予めインストールされた細胞画像解析プログラムを実行することにより上記の各機能ブロックが具現化される。

【0017】

記憶部３１には、識別器記憶部３１１が設けられている。識別器記憶部３１１には、解析対象の細胞の種類や解析内容に応じて異なる複数の識別器が保存されている。細胞の種類は、例えばiPS細胞、ES細胞、がん細胞である。解析内容は、例えば細胞数の決定、細胞被覆率の決定、分化細胞数の決定である。

【0018】

また、記憶部３１には、学習データ記憶部３１２、検証データ記憶部３１３、評価データ記憶部３１４、及びアルゴリズム記憶部３１５が設けられている。学習データ記憶部３１２には、細胞の位相画像データと、該位相画像の解析済画像（例えば細胞画像に含まれる関心領域である特定の細胞内たんぱく質を染色した画像）データの組である学習データが多数、保存されている。学習データには、培養情報（細胞の種類、培養条件、解析済画像作成時の染色物質の種類等）が対応付けられている。培養条件には、培地の種類や培養日数が含まれる。

【0019】

検証データ記憶部３１３には、学習データとは別の、細胞の位相画像データと該位相画像の解析済画像データの組が保存される。評価データ記憶部３１４には、学習データ及び検証データとは別の、細胞の位相画像データと該位相画像の解析済画像データの組であるテストデータと、該テストデータを用いた識別器の評価結果のデータが保存される。検証データ及びテストデータにも、培養情報が対応付けられている。

【0020】

アルゴリズム記憶部３１５には、位相画像及び染色画像の前処理に係るアルゴリズム（前処理アルゴリズム）、及び識別器による関心領域の特定後に使用する後処理アルゴリズム（後処理アルゴリズム）に関する情報が保存されている。細胞の種類及び培養条件毎にそれぞれ異なる前処理アルゴリズムが保存されている。

【0021】

前処理アルゴリズムは、例えば、位相画像と染色画像の位置合わせ、位相画像と染色画像からのノイズ除去、位相画像と染色画像からのバックグラウンド除去、及び染色画像の二値化処理に用いられる。例えば、ノイズの除去には、線形フィルタ、メディアンフィルタ等を用いることができる。また、バックグラウンドの除去には、例えば平均値フィルタ等を用いることができる。

【0022】

後処理アルゴリズムとしては、解析の内容（例えば、識別器によって推定された関心領域の形態特徴量の算出、形態特徴量の相関性評価、形態特徴量の経時的変化のグラフ化、培養条件に対する形態特徴量のグラフ化、及び関心領域と背景領域の割合算出）に応じて異なるものがそれぞれ、保存されている。関心領域の形態特徴量とは、例えば、関心領域の数、面積、真円度、アスペクト比、周囲長、関心領域に外接する長方形の長辺及び短辺の長さ、重心位置である。

【0023】

次に、本実施例の細胞画像解析システム１を用いて各種作業の手順を説明する。

【0024】

使用者が学習モデルを構築して識別器を作成する手順を説明する。使用者は、予め、細胞の画像情報を記載したファイルと、細胞の観察画像のデータ（例えば位相差顕微鏡で取得した位相画像と、位相画像取得後に染色処理を施して光学顕微鏡で取得した染色画像）を1つのフォルダにまとめて保存しておく。画像情報には、上記培養情報に加えてプロジェクト名、担当者名、プレート名、及びウェルの種類が含まれる。

【0025】

使用者が、識別器の作成を指示する所定の入力を行うと、識別器作成部３４は以下のように各機能ブロックを動作させる。

【0026】

まず、細胞画像入力受付部３２が、学習モデルの構築に使用するデータが保存されている場所を使用者に指定させる画面を表示部５２に表示させる。使用者が画像データ等の保存場所を指定すると、細胞画像入力受付部３２は、その場所に保存されている画像情報と画像データを読み込み、表示部５２の画面に画像を表示する。

【0027】

図２はその一表示例であり、左側から順に、プロジェクト選択欄、プレート選択欄、データ選択欄、及び画像表示欄が設けられている。この例では、プロジェクト及びプレートを選択すると、選択されたプロジェクト及びプレートで取得されたデータがツリー表示される。使用者が画像データの名称とともに表示されるチェックボックスにチェックを入れると、対応する画像が画像表示欄に表示される。使用者は、画像表示欄に表示される画像を確認し、識別器の作成に用いる画像を決定する。なお、図２では画像表示欄に位相画像を表示しているが、位相画像と染色画像の表示を切り替え可能となっている。

【0028】

使用者が、表示した位相画像（あるいは染色画像）の中から学習モデルの構築に使用するデータを決定すると、前処理実行部３３１は、アルゴリズム記憶部３１５から、使用者が決定した画像データの画像条件に含まれる培養条件に対応した前処理アルゴリズムを読み出す。

【0029】

前処理実行部３３１は、最初に、位相画像及び染色画像に含まれる複数の基準点の位置を検出し、それらに基づいて位相画像と染色画像を位置合わせする。また、位相画像と染色画像の拡大率が異なる場合は併せて両者の拡大率を一致させる。続いて、読み出した前処理アルゴリズムを用いて位相画像及び染色画像からノイズ及びバックグラウンドを除去する。さらに、染色画像における各画素の輝度値、及び前処理アルゴリズムに予め設定された二値化の基準値に基づいて各画素の輝度を二値化する。以下、前処理済みの染色画像（二値化画像）を解析済画像とも呼ぶ。

【0030】

位相画像と染色画像の前処理が完了すると、細胞画像入力受付部３２はデータ振り分け設定画面を表示部５２に表示させる。データ振り分け設定画面は、インポートする画像データの組をどの割合で学習データ、検証データ、及びテストデータに振り分けるかを設定するものであり、初期値として学習データ：検証データ：テストデータ＝6：3：1という比率が設定されている。使用者は、この比率を適宜に変更することが可能であるが、その場合でもテストデータとして少なくとも10%を割り当てておくことが好ましい。

【0031】

使用者が決定ボタンを押す等の所定の操作を行うと、使用者により選択された複数の画像データの組がこの比率で学習データ、検証データ、及びテストデータに振り分けられ、それぞれ学習データ記憶部３１２、検証データ記憶部３１３、及び評価データ記憶部３１４に保存される。使用者が上記比率を変更した場合には、変更後の比率に応じて画像データの組が振り分けられ、それぞれ学習データ記憶部３１２、検証データ記憶部３１３、及び評価データ記憶部３１４に保存される。なお、画像データの組の数によっては上記比率通りに振り分けられない場合がある。その場合には、テストデータ、学習データ、検証データの順に画像データの組を優先して振り分けるとよい。例えば、画像データの組の数が48である場合には、テストデータとして5組（48の1/10である4.8を切り上げ）、学習データとして29組（テストデータ振り分け後の組数である43の2/3である28.7を切り上げ）、検証データとして14組（残数）を割り当てるとよい。

【0032】

また、画像データの組を振り分ける際には、上記比率に応じた数の画像データの組をランダムに振り分けることが好ましい。これは、例えば画像データの組をファイル名の順に、上記比率に応じた数だけ振り分けていくと、学習データとして振り分けられる画像データの特性に偏りが生じる場合があるためである。例えば、学習データとして培養日数が短い（あるいは長い）もの（培養条件が偏った画像データの組）のみが振り分けられる可能性がある。その場合、培養日数が長い（あるいは短い）位相画像を学習していない学習モデルによって識別器が作成され、培養日数が長い（あるいは短い）細胞を正しく識別できない可能性があるためである。

【0033】

次に、識別器作成部３４は、記憶部３１に予め保存されている未学習の機械学習モデルを読み出す。この機械学習モデルには、例えば深層学習（ディープラーニング）を行うものを用いることができる。あるいは、サポートベクターマシン（SVM: Support Vector Machine）やランダムフォレストなど含めた複数種類の機械学習モデルを用意しておき、その中から識別器の作成に使用するものを使用者に選択させるようにしてもよい。

【0034】

識別器作成部３４は、未学習の学習モデルに対し、学習データの位相画像のデータを入力データとし、解析済画像を正解の出力データとする機械学習を実行させる。また、検証データを用いて学習モデルのパラメータ値を調整する。そして、作成した学習モデルから識別器を作成し、テストデータを用いた評価を行う。

【0035】

例えば、位相画像から関心領域を推定する識別器の場合、評価の指標として、Accuracy、Precision、Recall、及びIoU(Intersection over Union)と呼ばれるものが知られている。図３に概念的に示すように、実際に細胞が存在し、また細胞が存在すると推定された領域を領域Ａ、実際には細胞が存在するが、細胞が存在すると推定されなかった領域を領域Ｂ、実際には細胞が存在しないが細胞が存在すると推定された領域を領域Ｃ、実際に細胞が存在せず、また細胞が存在しないと推定された領域を領域Ｄとすると、これらの指標は以下の計算式で求められる。識別器の評価にいずれの指標を用いるかは予め決めておいても良く、都度、使用者に選択させてもよい。
Accuracy＝A+D／全領域
Precision＝A／A+C
Recall＝A／A+B
IoC＝A／A+B+C

【0036】

テストデータを用いた評価において上記指標値が予め決められた基準値に達するまで、学習データを用いた機械学習と検証データを用いたパラメータ値の調整が繰り返される。テストデータを用いた評価において上記指標値が予め決められた基準値に達すると、識別器作成部３４は、その学習モデルから識別器を作成し、識別器記憶部３１１に保存する。また、その識別器に、学習モデルの構築に使用された学習データと検証データ、評価に用いられたテストデータと評価結果が対応付ける。こうして作成された識別器は、その後、実際の細胞画像の解析に用いられる。

【0037】

本実施例の細胞画像解析システム１では、新たに識別器を作成するだけでなく、識別器記憶部３１１に保存されている識別器を改良することもできる。その場合には、未学習の学習モデルを読み出す代わりに、識別器記憶部３１１に保存されている識別器を使用者に選択させ、その後、上記同様の手順で当該識別器を構成する学習モデルに機械学習を行わせればよい。発明者が検証したところ、例えば、iPS細胞（コロニー性細胞）の画像データに基づいて作成された識別器を改良することにより、間葉系幹細胞（非コロニー性細胞）の解析にも適用できることがわかった。

【0038】

本実施例の細胞画像解析システム１では、さらに、他の細胞画像解析装置から識別器をインポートしたり、他の細胞画像解析装置で使用するために識別器をエクスポートしたりすることができる。

【0039】

使用者が識別器のエクスポートを指示すると、識別器登録部３５は、エクスポートする識別器と、エクスポート先（保存先）の場所を使用者に指定させる画面を表示部５２に表示する。使用者がエクスポートする識別器と保存先を指定すると、識別器登録部３５は、学習データ記憶部３１２、検証データ記憶部３１３、及び評価データ記憶部３１４から、それぞれ、当該識別器に対応付けられている（即ち、該識別器の作成や評価に使用された）学習データ、検証データ、及びテストデータ並びに評価結果を読み出す。そして、指定された保存場所に、識別器のデータファイルと、学習データ、検証データ、及びテストデータのファイルと、評価結果のデータファイルとを出力する。

【0040】

また、使用者が識別器のインポートを指示すると、識別器登録部３５は、インポートするデータの保存場所を使用者に指定させる画面を表示部５２に表示する。使用者が保存先を指定すると、識別器登録部３５は、そこから、識別器のデータファイル、学習データ、検証データ、及びテストデータのファイル並びに評価結果のデータファイルを読み込む。そして、識別器のデータファイルを識別器記憶部３１１に、学習データのファイルを学習データ記憶部３１２に、検証データのファイルを検証データ記憶部３１３に、テストデータのファイル及び評価結果のデータファイルを評価データ記憶部３１４に、それぞれ保存する。

【0041】

上記のように使用者が自ら識別器を作成又は改良する場合には、当該識別器を用いて実際の細胞画像を解析すればよい。しかし、予め保存されている識別器を用いて実際の細胞画像を解析する際には、識別器記憶部３１１に保存されているどの識別器が当該解析に適したものであるかを確認する必要がある。

【0042】

本実施例の細胞画像解析システム１では、識別器記憶部３１１に保存されている識別器のそれぞれについて、当該識別器の作成に用いられた学習モデルの構築に使用された学習データ及び検証データ、並びにテストデータ及び評価結果を使用者が確認することができる。また、これから解析しようとしている細胞画像と類似した特性を有する位相画像（細胞の種類や培地の種類などが同一又は近似した位相画像）及び該位相画像の解析済画像をテストデータとして使用して識別器の評価を行うことができる。こうした作業の手順を以下に説明する。

【0043】

使用者が識別器記憶部３１１に保存されている識別器の1つを選択する所定の入力操作を行うと、表示処理部３９は、選択された識別器に対応付けられている学習データを学習データ記憶部３１２から、検証データを検証データ記憶部３１３から、テストデータ及び評価結果を評価データ記憶部３１４からそれぞれ読み出して表示部５２の画面に表示する。使用者は、表示された学習データや検証データと、実際に解析を行おうとする位相画像の特性の類似性を確認し、当該識別器の適否を検討することができる。また、表示されたテストデータと実際に解析を行おうとする位相画像の特性の類似性に基づいて、これから行おうとする位相画像の解析に対する評価結果の信頼性を確認することができる。

【0044】

また、使用者が識別器記憶部３１１から選択した識別器の評価の実行を指示する所定の入力操作を行うと、識別器評価部３７は以下のように各機能ブロックを動作させる。

【0045】

まず、テストデータ入力受付部３６は、テストデータの入力を促す画面を表示部５２に表示する。テストデータは、位相画像と解析済画像の組を複数組含んだデータセットである。テストデータの入力は、上述した学習データ等の入力と同様の手順で行うことができる。即ち、予め細胞の培養情報とともに、位相画像と染色画像を同じフォルダ内に保存しておき、まず、該フォルダを指定することによりテストデータ入力受付部３６にそれらの情報を読み取らせる。そして、前処理実行部３３１により位相画像と染色画像からノイズを除去する等の前処理を施して、テストデータを作成する。もちろん、こうした前処理が既に施された位相画像と解析済画像の組を入力してもよい。

【0046】

テストデータが入力（あるいは作成）されると、識別器評価部３７は、テストデータに含まれる位相画像を順に、使用者が選択した識別器に入力する。そして、識別器から出力される画像（関心領域を推定した画像）をテストデータの解析済画像と比較して評価する。この評価の指標には、上述したAccuracy、、Precision、Recall、及びIoUを用いることができる。

【0047】

識別器評価部３７による識別器の評価が完了すると、評価結果保存部３８は、識別器の評価結果及び該評価に用いられたテストデータを含む評価データを、識別器に対応付けて前記評価データ記憶部３１４に保存する。また、表示処理部３９は、その結果を表示部５２の画面に表示する。図４に識別器の評価結果に関する一表示例を示す。この表示例では、識別器の評価結果を示す画面には、位相画像、解析済画像（前処理後の染色画像である正解画像）、及び識別器による推定結果の画像と正解画像のずれを示す画像（解析結果）、並びに評価値を表示している。図４はモノクロで図面を表示しているが、実際には着色画像を表示し視認性を高めている。

【0048】

例えば、細胞が正しく推定された領域を白（図３における領域Ａに相当）、背景が正しく推定された領域を黒（図３における領域Ｄに相当）、実際には細胞が存在するが細胞が存在すると推定されなかった領域を赤（図３における領域Ｂに相当）、実際には細胞が存在しないが細胞が存在すると推定された領域を緑（図３における領域Ｃに相当）で表示することができる。図４は1組の位相画像と染色画像の組をテストデータとして識別器を評価した結果の表示例であるが、複数組の位相画像と染色画像をテストデータとして識別器を評価することもできる。その場合には、該複数組の画像データがそれぞれ図４と同様に表示され、画像データ毎の評価値と、複数組の画像データの全体に係る評価値（例えば画像データごとの評価値の平均）が表示される。

【0049】

このように、本実施例の細胞画像解析装置では、使用者が、自身が有する位相画像及び染色画像を用いて自ら識別器の評価を行うことができる。

【0050】

次に、使用者が、実際の解析対象である細胞画像の解析を実行する手順を説明する。

【0051】

使用者は、解析対象の細胞を含む培養プレートを顕微観察部１０の所定位置にセットし、入力部５１で所定の操作を行う。これにより、顕微観察部１０が試料（培養プレート中の細胞）の撮影を実施して位相画像のデータを生成する。使用者は、解析対象の細胞を培養した培養プレートの全てについて同様の処理を行って位相画像のデータを取得し、予め決められたフォルダに保存する。ここでは顕微観察部１０を用いて位相画像を取得する場合を説明したが、予め取得済みの位相画像のデータを予め決められたフォルダに保存しておいてもよい。使用者は、また、解析対象の細胞の培養情報を含む画像情報記載したファイルを位相画像のデータと同じフォルダに保存しておく。

【0052】

その後、使用者が上記フォルダを指定して細胞の位相画像の解析実行を指示すると、解析実行部４０は、以下のように各機能ブロックを動作させる。

【0053】

まず、細胞画像入力受付部３２が、指定されたフォルダから位相画像のデータと、画像情報に含まれる培養情報を読み出す。続いて、解析実行部４０は、使用者に解析内容を指定させる画面を表示する。解析内容には、例えば、細胞数の決定、細胞被覆率の決定、及び分化細胞数の決定が含まれうる。使用者が解析内容を指定すると、解析処理部は、識別器記憶部３１１から、読み出した培養情報及び解析内容に対応する識別器を読み出す。また、アルゴリズム記憶部３１５から、読み出された培養情報に対応する前処理アルゴリズム及び後処理アルゴリズムを読み出す。解析実行部４０は、読み出した識別器、前処理アルゴリズム、及び後処理アルゴリズムを表示部５２の画面に表示する。

【0054】

表示された識別器、前処理アルゴリズム、及び後処理アルゴリズムを使用者が確認し、決定ボタンを押す等の所定の操作を行うと、画像解析処理のシーケンスが決定する。なお、培養情報や解析内容に対応する識別器、前処理アルゴリズム、及び後処理アルゴリズムが複数保存されている場合には、それらを全て表示部５２の画面に表示する。この場合には、使用者に、1つの前処理アルゴリズムと、1乃至複数の、識別器と後処理アルゴリズムの組み合わせとを指定させる。例えば、細胞数と細胞被覆率の両方を解析する場合、使用者はそれぞれの解析に対応する識別器と後処理アルゴリズムの組を指定すればよい。使用者が識別器と後処理アルゴリズムの組を複数指定した場合には、該複数の処理を続けて実行する解析シーケンスが決定する。

【0055】

解析シーケンスが決定すると、前処理実行部３３１は、インポートした位相画像全てに対し、前処理アルゴリズムに基づく前処理を一括して行う。次に、解析実行部４０は、前処理済みの位相画像のデータを識別器に入力し、関心領域を特定した画像のデータを出力させる。例えば解析内容が細胞数の決定である場合には、位相画像に含まれる細胞の核を特定した画像のデータが出力され、解析内容が細胞被覆率の決定である場合には、各細胞の細胞骨格領域全体を特定した画像のデータが出力される。

【0056】

識別器から画像データが出力されると、後処理実行部３３２は、後処理アルゴリズムによる解析を実行する。例えば解析内容が細胞数の決定である場合には、識別器から出力された画像データに含まれる細胞の核の数が求められ、解析結果として出力される。また、解析内容が細胞被覆率の決定である場合には、識別器から出力された画像データの全領域に占める細胞骨格領域の割合が求められ、解析結果として出力される。

【0057】

上記では、解析の対象となる細胞に関する培養条件に対応する識別器、前処理アルゴリズム、及び後処理アルゴリズムがそれぞれ、識別器記憶部３１１及びアルゴリズム記憶部３１５に保存されている場合を例に説明したが、新たな種類の細胞や培地を使用して培養した細胞の画像を解析する場合には、その培養情報に対応する識別器、前処理アルゴリズム、及び後処理アルゴリズムが保存されていない場合がある。また、従来行っていない内容の解析を実行する場合には、対応する識別器や後処理アルゴリズムが保存されていない場合がある。

【0058】

新たな識別器の作成やインポートは、上述した識別器作成部３４や識別器登録部３５による処理と同様の手順で行うことができるため説明を省略する。以下、新たな前処理アルゴリズム及び／又は後処理アルゴリズムを追加する手順について説明する。

【0059】

使用者がアルゴリズムの追加を指示する所定の入力操作を行うと、アルゴリズム登録部４１は、前処理アルゴリズムと後処理アルゴリズムのいずれを登録するかを使用者に指定させる。使用者が前処理アルゴリズムの追加を指定した場合には、さらに、当該前処理アルゴリズムを使用する細胞の培養情報を入力させ、前処理アルゴリズムの保存場所を使用者に指定させる。使用者が細胞の培養情報を入力し、前処理アルゴリズムの保存場所を指定すると、該保存場所から前処理アルゴリズムが記載されたファイルをインポートし、培養条件と対応付けてアルゴリズム記憶部３１５に保存する。

【0060】

使用者が後処理アルゴリズムの追加を指定した場合には、さらに、当該後処理アルゴリズムを使用する細胞の培養情報、及び当該アルゴリズムにより行われる解析の内容を入力させ、後処理アルゴリズムの保存場所を使用者に指定させる。使用者が細胞の培養情報及び解析内容を入力し、後処理アルゴリズムの保存場所を指定すると、該保存場所から後処理アルゴリズムが記載されたファイルをインポートし、培養条件と対応付けてアルゴリズム記憶部３１５に保存する。

【0061】

このように、本実施例の細胞画像解析システム１では、新たな種類の細胞や培地を使用して培養した細胞の画像を解析する場合や、従来行っていない内容の解析を実行する場合にも、それに対応した前処理アルゴリズム及び後処理アルゴリズム、並びに識別器を適宜に追加することができる。

【0062】

上記実施例の細胞画像解析システム１では、使用者が自ら所持する細胞画像のデータ及び染色画像のデータを用いて識別器を作成及び改良することができる。そのため、識別器を作成するために細胞画像を外部のソフトウェア技術者に提供する必要がなく、従って、細胞画像及びその解析に係る秘匿性を保持することができる。

【0063】

また、上記実施例の細胞画像解析システム１は、細胞画像解析装置２０をクラウドサーバとして構成し、複数の研究拠点からアクセス可能に構成することもできる。このような構成を採ることにより、複数の研究拠点で得られた細胞画像及びその解析済データ、並びに様々な種類の細胞と培養条件、解析内容に対応した識別器が多数、収録されたデータベースとして活用することができる。

【0064】

上記実施例は一例であって、本発明の趣旨に沿って適宜に変更することができる。上記実施例では、培養した細胞を位相顕微鏡で観察して位相画像を取得し解析する場合を説明したが、他の種類の顕微鏡で観察した画像の解析にも上記実施例と同様の構成を用いることができる。

【0065】

上記実施例の細胞画像解析装置において、同一の培養情報及び解析内容に対応する複数の識別器を識別器記憶部３１１に保存しておいてもよい。その場合、例えば識別精度はそれほど高くないものの短時間で関心領域を特定可能な簡易識別器と、関心領域の特定に時間はかかるものの識別精度が高い高精度識別器を保存しておくとよい。これにより、例えば、培養した細胞の位相画像をスクリーニングにより絞り込む作業を行う場合には簡易識別器を使用し、絞り込んだ後の位相画像を詳細に解析する場合には高精度識別器を用いるといった使い分けが可能となり、解析効率を高めることができる。

【0066】

［態様］
上述した複数の例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。

【0067】

（第１項）
一態様に係る細胞画像解析装置は、
表示部と、
細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組である学習データと、該学習データを用いた機械学習により構築された学習モデルを用いて作成され細胞画像のデータの入力に応じて該細胞画像に含まれる関心領域を推定した画像データを出力する識別器とが保存された記憶部と、
前記学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータの入力を受け付けるテストデータ入力受付部と、
前記テストデータの細胞画像のデータの入力に対して前記識別器から出力される画像のデータを、該テストデータの解析済画像のデータと比較することにより該識別器を評価する識別器評価部と、
前記識別器評価部による評価結果及び該評価に用いられたテストデータを含む評価データを前記識別器に対応付けて前記記憶部に保存する評価結果保存部と、
前記記憶部に保存された識別器を選択する所定の入力に応じて、該識別器に対応付けられた学習データを前記表示部の画面に表示する表示処理部と
を備える。

【0068】

第１項に記載の細胞画像解析装置では、使用者が学習データとは別の細胞画像のデータと該細胞画像の解析済画像のデータの組であるテストデータを入力すると、該テストデータを用いて識別器が評価され、テストデータとともに保存される。その後、使用者が識別器を選択する所定の入力を行うと、識別器に対応付けられた学習データが表示部の画面に表示される。使用者は、画面に表示された学習データと、実際に解析しようとする細胞画像（実細胞画像）の類似性から、該実細胞画像の解析への識別器の適否を確認することができる。また、実細胞画像と類似したテストデータを用いた識別器の評価結果から、当該識別器を用いた実細胞画像の解析の適否を確認することができる。

【0069】

（第２項）
第１項に記載の細胞画像解析装置において、
前記記憶部に複数の識別器が保存されており、識別器毎に、当該識別器の作成に用いられた学習データが対応付けられている。

【0070】

第２項に記載の細胞画像解析装置では、複数の識別器の中から解析対象の画像や解析の目的に応じて適宜の識別器を選択することができる。

【0071】

（第３項）
第１項又は第２項に記載の細胞画像解析装置において、
細胞の種類及び／又は培養条件に応じて異なる識別器が前記記憶部に保存されている。

【0072】

第３項に記載の細胞画像解析装置では、細胞の種類及び／又は培養条件に適した識別器を用いて細胞画像を解析することができる。

【0073】

（第４項）
第１項から第３項のいずれかに記載の細胞画像解析装置において、
前記表示処理部が、前記評価結果として、前記テストデータの細胞画像及び解析済画像と、該解析済画像と前記識別器から出力される画像のずれを示す画像を表示する。

【0074】

第４項に記載の細胞画像解析装置では、識別器の評価結果を視覚的に確認することができる。

【0075】

（第５項）
第１項から第４項のいずれかに記載の細胞画像解析装置において、さらに、
複数の、細胞画像のデータと該細胞画像に含まれる関心領域が特定された解析済画像のデータの組と、該複数の組の画像のデータに関する培養条件の情報の入力を受け付け、それらを対応付けて前記記憶部に保存する細胞画像入力受付部
を備える。

【0076】

第５項に記載の細胞画像解析装置では、使用者が所持する細胞画像のデータと解析済画像のデータの組を、細胞の培養条件の情報と対応付けて管理することができる。

【0077】

（第６項）
第５項に記載の細胞画像解析装置において、さらに、
前記細胞画像入力受付部により受け付けられた複数の組の画像のデータを用いた機械学習により学習モデルを構築して識別器を作成する識別器作成部
を備える。

【0078】

第６項に記載の細胞画像解析装置では、使用者が自ら識別器を作成することができる。

【0079】

（第７項）
第６項に記載の細胞画像解析装置において、
前記細胞画像入力受付部が、前記細胞画像入力受付部により受け付けられた複数の組の画像のデータを予め決められた比率で振り分けることにより学習データ及び検証データを作成し、
前記識別器作成部が、前記細胞画像入力受付部により振り分けられた前記学習データ及び検証データを用いて前記機械学習を実行して学習モデルを構築する。

【0080】

第７項に記載の細胞画像解析装置では、細胞画像のデータと解析済画像のデータの組から自動的に学習データ及び検証データが作成されるため、簡便に識別器を作成することができる。

【0081】

（第８項）
第５項から第７項のいずれかに記載の細胞画像解析装置において、さらに、
前記記憶部に保存された識別器と、該識別器に対応づけられた細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件の入力を受け付け、前記記憶部に保存する識別器登録部
を備える。

【0082】

第８項に記載の細胞画像解析装置では、他の細胞画像解析装置で作成された識別器を、該識別器に対応する細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件とともにインポートすることができる。

【0083】

（第９項）
第５項から第８項のいずれかに記載の細胞画像解析装置において、さらに、
前記記憶部に保存された識別器を、該識別器に対応づけられた細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件とともに出力する識別器出力部
を備える。

【0084】

第９項に記載の細胞画像解析装置では、該装置で作成した識別器を、該識別器に対応する細胞画像のデータ及び該細胞画像の解析済画像のデータの組並びに培養条件とともに他の細胞画像解析装置にエクスポートすることができる。

【0085】

（第１０項）
第１項から第９項のいずれかに記載の細胞画像解析装置において、さらに、
前記細胞画像のデータ及び前記解析済画像のデータの前処理を行う前処理アルゴリズムが保存された前処理アルゴリズム記憶部と、
前記前処理アルゴリズム記憶部に保存された前処理アルゴリズムを用いて前記細胞画像のデータ及び前記解析済画像のデータの前処理を行う前処理実行部と
を備える。

【0086】

（第１１項）
第１０項に記載の細胞画像解析装置において、
前記前処理実行部が、前記細胞画像のデータ及び前記解析済画像のデータの位置合わせ、ノイズ除去、及びバックグラウンド除去、並びに前記解析済画像のデータの輝度の二値化のうちの少なくとも1つの処理を実行するものである。

【0087】

第１０項及び第１１項に記載の細胞画像解析装置では、細胞画像のデータと解析済み画像のデータを簡便に前処理することができる。

【0088】

（第１２項）
第１項から第１１項のいずれかに記載の細胞画像解析装置において、さらに、
前記識別器から出力される画像のデータの後処理を行う後処理アルゴリズムが保存された後処理アルゴリズム記憶部と、
前記後処理アルゴリズム記憶部に保存された後処理アルゴリズムを用いて前記識別器から出力される画像のデータの後処理を行う後処理実行部と
を備える。

【0089】

（第１３項）
第１２項に記載の細胞画像解析装置において、
前記後処理実行部が、前記識別器から出力される画像のデータにおいて、推定された関心領域の形態特徴量（関心領域の数、面積、真円度、アスペクト比、周囲長、外接する長方形の長辺および短辺の長さ、重心位置）の算出、形態特徴量の相関性評価、形態特徴量の経時的変化のグラフ化、培養条件に対する形態特徴量のグラフ化、関心領域と背景領域の割合算出、
のうちの少なくとも1つの処理を実行するものである。

【0090】

第１２項及び第１３項に記載の細胞画像解析装置では、前記識別器から出力される画像のデータを簡便に後処理することができる。

【符号の説明】

【0091】

１…細胞画像解析システム
１０…顕微観察部
２０…細胞画像解析装置
３０…解析・処理部
３１…記憶部
３１１…識別器記憶部
３１２…学習データ記憶部
３１３…検証データ記憶部
３１４…評価データ記憶部
３１５…アルゴリズム記憶部
３２…細胞画像入力受付部
３３…前後処理実行部
３３１…前処理実行部
３３２…後処理実行部
３４…識別器作成部
３５…識別器登録部
３６…テストデータ入力受付部
３７…識別器評価部
３８…評価結果保存部
３９…表示処理部
４０…解析実行部
４１…アルゴリズム登録部
５１…入力部
５２…表示部

【図1】

【図2】

【図3】

【図4】