特許 7351311 画像処理装置、画像処理方法、プログラム、及び評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-19

(45)【発行日】2023-09-27

(54)【発明の名称】画像処理装置、画像処理方法、プログラム、及び評価方法

(51)【国際特許分類】

   C12M 1/34 20060101AFI20230920BHJP

   G06T 7/00 20170101ALI20230920BHJP

   G06T 7/11 20170101ALI20230920BHJP

【ＦＩ】

C12M1/34 B

G06T7/00 630

G06T7/11

【請求項の数】 14

(21)【出願番号】P 2020551099

(86)(22)【出願日】2019-10-04

(86)【国際出願番号】 JP2019039250

(87)【国際公開番号】W WO2020075635

(87)【国際公開日】2020-04-16

【審査請求日】2022-08-16

(31)【優先権主張番号】P 2018193814

(32)【優先日】2018-10-12

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】檀 知朗

(72)【発明者】

【氏名】紀伊 宏昭

(72)【発明者】

【氏名】魚住 孝之

(72)【発明者】

【氏名】清田 泰次郎

【審査官】上條 のぶよ

(56)【参考文献】

【文献】国際公開第２０１１／０４３０７７（ＷＯ，Ａ１）

【文献】国際公開第２０１１／０１０４４９（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１９３９５１（ＷＯ，Ａ１）

【文献】国際公開第２０１２／１１５１５３（ＷＯ，Ａ１）

【文献】国際公開第２０１５／０２５５０８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｃ１２Ｍ １／３４

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／１１

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

多能性幹細胞の培養過程において前記多能性幹細胞を経時的に撮像し、複数の画像を取得する画像取得部と、
前記画像から前記多能性幹細胞のコロニー領域を抽出するコロニー領域抽出部と、
前記画像を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を前記画像から抽出する高輝度領域抽出部と、
前記コロニー領域抽出部によって抽出された前記コロニー領域と、前記高輝度領域抽出部によって抽出された前記高輝度領域とに基づいて、前記コロニー領域内において相対的に高コントラストな筋状の模様が現れている抽出対象領域を前記画像から抽出する抽出対象領域抽出部と、
前記抽出対象領域抽出部によって抽出された前記抽出対象領域を抽出結果として出力する出力部と
を備える画像処理装置。

【請求項2】

前記コロニー領域抽出部は、前記コロニー領域のうち境界の輝度が所定の値以上である部分を周囲に有する領域を正常領域として抽出する
請求項１に記載の画像処理装置。

【請求項3】

前記コロニー領域における前記抽出対象領域が占める面積の時間変化を算出する時間変化算出部と、
前記時間変化算出部によって算出された前記時間変化に基づいて前記培養過程を示す指標を生成する培養指標生成部と、
をさらに備える請求項１に記載の画像処理装置。

【請求項4】

前記高輝度領域抽出部は、前記画像である位相差画像に対してバックグランド正規化処理を行い、前記バックグランド正規化処理された正規化画像に基づき、前記筋状の模様が現れている筋領域を含む前記高輝度領域として抽出する、
請求項１に記載の画像処理装置。

【請求項5】

前記コロニー領域抽出部は、前記抽出した前記コロニー領域に基づいてコロニーマスクを生成すると共に、前記コロニー領域から異常領域を除外した正常領域に基づく正常領域マスクを生成し、
前記高輝度領域抽出部は、前記画像のうち画素の輝度が相対的に高い高輝度領域を抽出し、前記高輝度領域の画像に基づき前記多能性幹細胞の核の周囲の領域のうち密度の高い領域および筋領域を含む高輝度領域マスクを生成し、前記正常領域マスクと前記高輝度領域マスクとに基づき密・筋マスクを生成し、
前記抽出対象領域抽出部は、前記画像取得部で取得した前記画像と前記密・筋マスクとに基づき前記筋領域を抽出する
請求項１に記載の画像処理装置。

【請求項6】

多能性幹細胞の培養過程において前記多能性幹細胞を経時的に撮像し、複数の画像を取得する画像取得部と、
前記画像から前記多能性幹細胞のコロニー領域を抽出するコロニー領域抽出部と、
前記画像を構成する画素のうち基準値を超えた輝度値の画素の集まりに基づく領域である注目領域を前記画像から抽出する注目領域抽出部と、
前記コロニー領域抽出部によって抽出された前記コロニー領域と、前記注目領域抽出部によって抽出された前記注目領域とに基づいて、前記コロニー領域内において相対的に高コントラストな筋状の模様が現れている抽出対象領域を前記画像から抽出する抽出対象領域抽出部と、
前記抽出対象領域抽出部によって抽出された前記抽出対象領域を抽出結果として出力する出力部と
を備える画像処理装置。

【請求項7】

前記注目領域抽出部は、前記基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を前記画像から抽出する、
請求項６に記載の画像処理装置。

【請求項8】

前記コロニー領域抽出部は、前記コロニー領域のうち境界の輝度が所定の値以上である部分を周囲に有する領域を正常領域として抽出する
請求項６に記載の画像処理装置。

【請求項9】

前記コロニー領域における前記抽出対象領域が占める面積の時間変化を算出する時間変化算出部と、
前記時間変化算出部によって算出された前記時間変化に基づいて前記培養過程を示す指標を生成する培養指標生成部と、
をさらに備える請求項６から請求項８のいずれか一項に記載の画像処理装置。

【請求項10】

前記注目領域抽出部は、前記画像である位相差画像に対してバックグランド正規化処理を行い、前記バックグランド正規化処理された正規化画像に基づき、前記筋状の模様が現れている筋領域を含む高輝度領域を抽出する、
請求項６に記載の画像処理装置。

【請求項11】

前記コロニー領域抽出部は、前記抽出した前記コロニー領域に基づいてコロニーマスクを生成すると共に、前記コロニー領域から異常領域を除外した正常領域に基づく正常領域マスクを生成し、
前記注目領域抽出部は、前記画像のうち画素の輝度が相対的に高い高輝度領域を抽出し、前記高輝度領域の画像に基づき前記多能性幹細胞の核の周囲の領域のうち密度の高い領域および前記筋状の模様の筋領域を含む高輝度領域マスクを生成し、前記正常領域マスクと前記高輝度領域マスクとに基づき密・筋マスクを生成し、
前記抽出対象領域抽出部は、前記画像取得部で取得した前記画像と前記密・筋マスクとに基づき前記筋領域を抽出する
請求項６に記載の画像処理装置。

【請求項12】

多能性幹細胞の培養過程において前記多能性幹細胞を経時的に撮像し、複数の画像を取得する画像取得過程と、
前記画像から前記多能性幹細胞のコロニー領域を抽出するコロニー領域抽出過程と、
前記画像を構成する画素のうち基準値を超えた輝度値の画素の集まりに基づく領域である注目領域を前記画像から抽出する注目領域抽出過程と、
前記コロニー領域抽出過程によって抽出された前記コロニー領域と、前記注目領域抽出過程によって抽出された前記注目領域とに基づいて、前記コロニー領域内において相対的に高コントラストな筋状の模様が現れている抽出対象領域を前記画像から抽出する抽出対象領域抽出過程と、
前記抽出対象領域抽出過程によって抽出された前記抽出対象領域を抽出結果として出力する出力過程と
を有する画像処理方法。

【請求項13】

コンピュータに、
多能性幹細胞の培養過程において前記多能性幹細胞を経時的に撮像し、複数の画像を取得する画像取得ステップと、
前記画像から前記多能性幹細胞のコロニー領域を抽出するコロニー領域抽出ステップと、
前記画像を構成する画素のうち基準値を超えた輝度値の画素の集まりに基づく領域である注目領域を前記画像から抽出する注目領域抽出ステップと、
前記コロニー領域抽出ステップによって抽出された前記コロニー領域と、前記注目領域抽出ステップによって抽出された前記注目領域とに基づいて、前記コロニー領域内において相対的に高コントラストな筋状の模様が現れている抽出対象領域を前記画像から抽出する抽出対象領域抽出ステップと、
前記抽出対象領域抽出ステップによって抽出された前記抽出対象領域を抽出結果として出力する出力ステップと、
を実行させるためのプログラム。

【請求項14】

多能性幹細胞のコロニーの成熟度を評価する評価方法であって、
前記コロニーが経時的に撮像された複数の位相差画像を取得する取得過程と、
前記複数の位相差画像のそれぞれにおいて、高輝度の画素を含む筋状構造を検出し、筋状構造の時間変化を算出する算出過程と、
前記算出過程で算出された前記筋状構造の時間的変化に基づく前記コロニーの成熟度の分析結果を表示する表示過程と
を含む評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラム、及び評価方法に関する。
本願は、２０１８年１０月１２日に、日本に出願された特願２０１８－１９３８１４号に基づき優先権を主張し、その内容をここに援用する。

【背景技術】

【0002】

人工多能性幹細胞（ｉＰＳ細胞：ｉｎｄｕｃｅｄ ｐｌｕｒｉｐｏｔｅｎｔ ｓｔｅｍ ｃｅｌｌ）等のコロニーを形成する細胞は、コロニーが未成熟な状態から、徐々に成熟した状態に変化していく。再生医療等では大量のｉＰＳ細胞が求められるため、細胞を増殖させて細胞数を増加させる工程が必要とされる。ｉＰＳ細胞の数を増やす工程を拡大培養工程という。拡大培養工程では、コロニーの成熟度合に基づいて継代するタイミングの判定を行なう。従来、当該成熟度合は、作業者が目視でコロニー内の細胞の大きさを見て判断を行なっているが、作業者ごとにばらつきが生じることがある。

【0003】

継代培養のタイミングに関する作業者ごとのばらつきを抑制するために、拡大培養後に細胞を回収して細胞懸濁液を作り、細胞懸濁液の単位量あたりの細胞数を測定し、その測定結果に基づいて所望の細胞濃度まで希釈し、継代する作業を自動で行う装置が提案されている（特許文献１）。しかし、特許文献１に記載の装置は、細胞を培養容器から剥離させて回収バッグに回収してから細胞数を測定及び調整し、継代培養を行うので、コロニーの成熟が十分であるか否かは判断することができず、仮に不十分であった場合、培養を継続してコロニーを成熟させることはできない。接着培養されているコロニーのまま成熟度を判定できる方法が求められている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１６／０１３３９４号公報

【発明の概要】

【0005】

上記問題を解決するために、本発明の一態様は、多能性幹細胞の培養過程において前記多能性幹細胞を経時的に撮像し、複数の画像を取得する画像取得部と、前記画像から前記多能性幹細胞のコロニー領域を抽出するコロニー領域抽出部と、前記画像を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を前記画像から抽出する高輝度領域抽出部と、前記コロニー領域抽出部によって抽出された前記コロニー領域と、前記高輝度領域抽出部によって抽出された前記高輝度領域とに基づいて、前記コロニー領域内において相対的に高コントラストな筋状の模様が現れている抽出対象領域を前記画像から抽出する抽出対象領域抽出部と、前記抽出対象領域抽出部によって抽出された前記抽出対象領域を抽出結果として出力する出力部と、を備える画像処理装置である。
本発明の一態様は、多能性幹細胞の培養過程において前記多能性幹細胞を経時的に撮像し、複数の画像を取得する画像取得部と、前記画像から前記多能性幹細胞のコロニー領域を抽出するコロニー領域抽出部と、前記画像を構成する画素のうち基準値を超えた輝度値の画素の集まりに基づく領域である注目領域を前記画像から抽出する注目領域抽出部と、前記コロニー領域抽出部によって抽出された前記コロニー領域と、前記注目領域抽出部によって抽出された前記注目領域とに基づいて、前記コロニー領域内において相対的に高コントラストな筋状の模様が現れている抽出対象領域を前記画像から抽出する抽出対象領域抽出部と、前記抽出対象領域抽出部によって抽出された前記抽出対象領域を抽出結果として出力する出力部とを備える画像処理装置である。

【0006】

上記問題を解決するために、本発明の一態様は、多能性幹細胞の培養過程において前記多能性幹細胞を経時的に撮像し、複数の画像を取得する画像取得過程と、前記画像から前記多能性幹細胞のコロニー領域を抽出するコロニー領域抽出過程と、前記画像を構成する画素のうち基準値を超えた輝度値の画素の集まりに基づく領域である注目領域を前記画像から抽出する注目領域抽出過程と、前記コロニー領域抽出過程によって抽出された前記コロニー領域と、前記注目領域抽出過程によって抽出された前記注目領域とに基づいて、前記コロニー領域内において相対的に高コントラストな筋状の模様が現れている抽出対象領域を前記画像から抽出する抽出対象領域抽出過程と、前記抽出対象領域抽出過程によって抽出された前記抽出対象領域を抽出結果として出力する出力過程とを有する画像処理方法である。

【0007】

上記問題を解決するために、本発明の一態様は、コンピュータに、多能性幹細胞の培養過程において前記多能性幹細胞を経時的に撮像し、複数の画像を取得する画像取得ステップと、前記画像から前記多能性幹細胞のコロニー領域を抽出するコロニー領域抽出ステップと、前記画像を構成する画素のうち基準値を超えた輝度値の画素の集まりに基づく領域である注目領域を前記画像から抽出する注目領域抽出ステップと、前記コロニー領域抽出ステップによって抽出された前記コロニー領域と、前記注目領域抽出ステップによって抽出された前記注目領域とに基づいて、前記コロニー領域内において相対的に高コントラストな筋状の模様が現れている抽出対象領域を前記画像から抽出する抽出対象領域抽出ステップと、前記抽出対象領域抽出ステップによって抽出された前記抽出対象領域を抽出結果として出力する出力ステップと、を実行させるためのプログラム。

【0009】

上記問題を解決するために、本発明の一態様は、多能性幹細胞のコロニーの成熟度を評価する評価方法であって、前記コロニーが経時的に撮像された複数の位相差画像を取得する取得過程と、前記複数の位相差画像のそれぞれにおいて、高輝度の画素を含む筋状構造を検出し、筋状構造の時間変化を算出する算出過程と、前記算出過程で算出された前記筋状構造の時間的変化に基づく前記コロニーの成熟度の分析結果を表示する表示過程とを含む評価方法である。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係る画像処理装置の一例を示す図である。

【図2】本発明の第１の実施形態に係る画像処理装置の抽出対象領域の抽出処理の一例を示す図である。

【図3】本発明の第１の実施形態に係る位相差画像の一例を示す図である。

【図4】本発明の第１の実施形態に係るコロニーマスクの一例を示す図である。

【図5】本発明の第１の実施形態に係る正常領域マスクの一例を示す図である。

【図6】本発明の第１の実施形態に係る密・筋領域抽出処理の一例を示す図である。

【図7】本発明の第１の実施形態に係る密・筋領域抽出処理に含まれる各処理において生成される画像の一例を示す図である。

【図8】本発明の第１の実施形態に係る粗領域抽出処理において生成される粗マスクの一例を示す図である。

【図9】本発明の第１の実施形態に係る筋領域抽出処理の一例を示す図である。

【図10】本発明の第１の実施形態に係る筋領域抽出処理に含まれる各処理において生成される画像の一例を示す図である。

【図11】本発明の第２の実施形態に係る画像処理装置の構成を示す図である。

【図12】本発明の第２の実施形態に係る画像処理装置の培養指標の生成処理の一例を示す図である。

【図13】本発明の第２の実施形態に係るコロニー領域に占める粗領域、筋領域、及び密領域の面積割合の一例を示す図である。

【図14】従来のコロニー領域に占める粗領域、及び密領域の面積割合の一例を示す図である。

【図15】本発明の各実施形態に係る高輝度の画素を含む筋状構造の一例を示す図である。

【発明を実施するための形態】

【0011】

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本実施形態に係る画像処理装置１の一例を示す図である。画像処理装置１は、多能性幹細胞が撮像された位相差画像Ｐ０から、抽出の対象となる領域である抽出対象領域を抽出する。ここで多能性幹細胞とは、内胚葉、中胚葉、外胚葉の三胚葉に属する細胞系列すべてに分化し得る能力を有する幹細胞をいい、例えば、ｉＰＳ細胞や胚性幹細胞（ＥＳ細胞）が挙げられる。

【0012】

本実施形態において抽出対象領域とは、位相差画像Ｐ０のうち筋状の模様が現れている領域である。ここで当該筋状の模様について説明するために、ｉＰＳ細胞である多能性幹細胞の培養過程について説明する。
ｉＰＳ細胞である多能性幹細胞のコロニーは、培養過程において、未形成状態から未成熟状態を経て、成熟状態へと変化する。

【0013】

コロニー未形成状態とは、多能性幹細胞が単一の細胞であり、コロニーを形成していない状態である。コロニー未成熟状態では、コロニーは形成されているが、一細胞あたりの面積が大きく細胞密度は低い。以下、細胞密度が低い領域を粗領域ともいう。

【0014】

成熟状態とは、例えば、コロニーが継代に適した状態をいう。成熟状態のコロニーでは、一細胞あたりの面積が小さくなり細胞密度が高くなる。以下、細胞密度が高い領域を密領域ともいう。成熟状態のコロニーでは、中央に密領域が形成され、当該密領域の周囲を取り囲むように粗領域が存在する。

【0015】

コロニーの未成熟状態と成熟状態との間の中間の状態として遷移状態がある。遷移状態とは、多能性幹細胞がコロニーを形成しているが十分に成熟していない状態である。

【0016】

遷移状態では、コロニーの位相差画像に筋領域がみられる。筋領域とは、位相差画像において細長い筋が複数見られる領域である。コロニーが成熟するにつれて多能性幹細胞同士が密になった結果、それら複数の多能性幹細胞の間隙のコントラストが高くなり、筋状に見えていると考えられる。
遷移状態においてコロニーは、筋領域と、当該筋領域の周囲を取り囲む密領域と、当該密領域の周囲を取り囲む粗領域とを含む。

【0017】

画像処理装置１は、位相差画像取得部１０と、コロニー領域抽出部１１と、密・筋混合領域抽出部１２と、粗領域抽出部１３と、筋領域抽出部１４と、密領域抽出部１５と、出力部１６とを備える。

【0018】

位相差画像取得部１０は、位相差画像供給部２から供給される位相差画像Ｐ０を取得する。ここで位相差画像Ｐ０とは、透過照明による顕微鏡画像の一例である。位相差画像Ｐ０は、多能性幹細胞に照射された照明光の透過光の位相差が明暗差に変換されることによって当該多能性幹細胞が撮像された画像である。位相差画像Ｐ０は、例えば、位相差顕微鏡によって得られた多能性幹細胞の拡大像が撮像された画像である。
透過照明による顕微鏡画像は、位相差画像以外に、例えば、微分干渉像、定量位相差像などであってもよい。

【0019】

コロニー領域抽出部１１は、位相差画像取得部１０によって取得された位相差画像Ｐ０から多能性幹細胞のコロニー領域ＣＲを抽出する。ここでコロニー領域抽出部１１は、抽出部１１０と、異常領域抽出部１１１と、正常領域抽出部１１２とを備える。
抽出部１１０は、位相差画像Ｐ０から多能性幹細胞のコロニー領域ＣＲを抽出し、コロニーマスクＣＭを生成する。コロニーマスクＣＭとは、位相差画像Ｐ０のうちコロニー領域ＣＲ以外の領域をマスクするマスク画像である。

【0020】

異常領域抽出部１１１は、抽出部１１０によって抽出されたコロニー領域ＣＲから異常領域ＡＲを抽出する。異常領域ＡＲとは、コロニー領域ＣＲのうち多能性幹細胞の状態から逸脱した異常な細胞によって形成される領域である。ここで多能性幹細胞の培養においては、多能性の状態を維持したまま培養することが重要であるが、培養の過程で多能性幹細胞の状態から逸脱した異常な細胞が出現してしまうことがある。

【0021】

正常領域抽出部１１２は、抽出部１１０によって抽出されたコロニー領域ＣＲから、正常領域ＮＲを抽出し正常領域マスクＮＭを生成する。正常領域ＮＲとは、コロニー領域ＣＲのうち多能性幹細胞の状態を維持した正常な細胞によって形成される領域である。正常領域マスクＮＭとは、位相差画像Ｐ０のうち正常領域ＮＲ以外の領域をマスクするマスク画像である。

【0022】

密・筋混合領域抽出部１２は、位相差画像取得部１０によって取得された位相差画像Ｐ０と、抽出部１１０によって生成されたコロニーマスクＣＭと、正常領域抽出部１１２によって生成された正常領域マスクＮＭとに基づいて、密・筋領域ＭＳＲを抽出し密・筋マスクＭＳＭを生成する。ここで密・筋領域ＭＳＲとは、密領域ＤＲと筋領域ＳＲとを合わせた領域である。密・筋マスクＭＳＭとは、位相差画像Ｐ０のうち密・筋領域ＭＳＲ以外の領域をマスクするマスク画像である。

【0023】

粗領域抽出部１３は、密・筋混合領域抽出部１２によって生成された密・筋マスクＭＳＭと、正常領域抽出部１１２によって生成された正常領域マスクＮＭとに基づいて、粗マスクＰＭを生成する。粗マスクＰＭとは、位相差画像Ｐ０のうち粗領域ＰＲ以外の領域をマスクするマスク画像である。

【0024】

筋領域抽出部１４は、位相差画像取得部１０によって取得された位相差画像Ｐ０と、密・筋混合領域抽出部１２によって生成された密・筋マスクＭＳＭとに基づいて、筋領域ＳＲを抽出し筋マスクＳＭを生成する。筋マスクＳＭとは、位相差画像Ｐ０のうち筋領域ＳＲ以外の領域をマスクするマスク画像である。

【0025】

ここで筋領域抽出部１４は、高輝度領域抽出部１４０と、抽出対象領域抽出部１４１とを備える。
高輝度領域抽出部１４０は、位相差画像取得部１０によって取得された位相差画像Ｐ０から高輝度領域ＨＲを抽出する。ここで高輝度領域ＨＲとは、位相差画像Ｐ０を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である。高輝度領域ＨＲには、基準値よりも大きい輝度値の画素の集まりと、当該画素の集まりの周囲とが含まれる。

【0026】

抽出対象領域抽出部１４１は、密・筋混合領域抽出部１２によって生成された密・筋マスクＭＳＭに基づいて、高輝度領域抽出部１４０によって抽出された高輝度領域ＨＲから抽出対象領域を抽出する。

【0027】

抽出対象領域とは、一例として、位相差画像Ｐ０における筋領域ＳＲである。ここで筋領域ＳＲとは、上述したように位相差画像Ｐ０において筋状の模様が現れている領域である。つまり、抽出対象領域とは、位相差画像Ｐ０において筋状の模様が現れている領域である。

【0028】

密領域抽出部１５は、密・筋混合領域抽出部１２によって生成された密・筋マスクＭＳＭと、筋領域抽出部１４によって生成された筋マスクＳＭとに基づいて密領域ＤＲを抽出し密マスクＤＭを生成する。

【0029】

出力部１６は、処理結果ＰＰを提示部３に出力し、提示部３に処理結果ＰＰを表示させる。処理結果ＰＰとは、例えば、位相差画像Ｐ０において、筋領域抽出部１４によって抽出された筋領域ＳＲと、密領域抽出部１５によって抽出された密領域ＤＲと、粗領域抽出部１３によって抽出された粗領域ＰＲとがそれぞれ示された画像である。処理結果ＰＰは、筋領域抽出部１４によって抽出された筋領域ＳＲを示す情報、密領域抽出部１５によって抽出された密領域ＤＲを示す情報、及び粗領域抽出部１３によって抽出された粗領域ＰＲを示す情報であってもよい。
なお、出力部１６は、提示部３以外の出力装置や、記憶装置などに処理結果ＰＰを出力してもよい。

【0030】

位相差画像供給部２は、画像処理装置１に位相差画像Ｐ０を供給する。
提示部３は、画像処理装置１から供給される処理結果ＰＰを提示する。提示部３は、例えば、ディスプレイなどの表示装置である。

【0031】

図２は、本実施形態に係る画像処理装置１の抽出対象領域の抽出処理の一例を示す図である。
以下の説明において、一方の画像に他方の画像を加算するとは、一方の画像の画素の輝度に他方の画像の当該画素に対応する画素の輝度を加算した結果の輝度の画素をもつ画像を生成することである。

【0032】

また、一方の画像に他方の画像を減算するとは、一方の画像の画素の輝度から他方の画像の当該画素に対応する画素の輝度を減算した結果の輝度の画素をもつ画像を生成することである。
また、一方の画像と他方の画像の論理積が取られる場合、一方の画像の画素の輝度と、当該画素に対応する他方の画像の画素の輝度との両方がゼロでない場合のみ、論理積が取られた結果得られる画像の画素の輝度はゼロでない値をもつ。

【0033】

ステップＳ１００：位相差画像取得部１０は、位相差画像供給部２から供給される位相差画像Ｐ１を取得する。位相差画像Ｐ１は、位相差画像Ｐ０の一例である。位相差画像取得部１０は、取得した位相差画像Ｐ１をコロニー領域抽出部１１、密・筋混合領域抽出部１２、及び筋領域抽出部１４に供給する。

【0034】

ここで図３を参照し、位相差画像Ｐ１について説明する。
図３は、本実施形態に係る位相差画像Ｐ１の一例を示す図である。位相差画像Ｐ１は、多能性幹細胞のコロニーが撮像された画像である。

【0035】

図２に戻って画像処理装置１の抽出処理の説明を続ける。
ステップＳ１１０：コロニー領域抽出部１１の抽出部１１０は、位相差画像取得部１０によって取得された位相差画像Ｐ１から多能性幹細胞のコロニー領域ＣＲを抽出する。
ここで抽出部１１０は、多能性幹細胞のコロニー領域ＣＲを抽出する前に、位相差画像Ｐ１から細胞が撮像されている領域である細胞領域を抽出する。抽出部１１０は、一例として公知のエッジ検出に基づいて、位相差画像Ｐ１から細胞領域を抽出する。

【0036】

抽出部１１０は、抽出した細胞領域からコロニー領域ＣＲを抽出する。抽出部１１０は、例えば、所定の面積より広い細胞領域をコロニー領域ＣＲとして抽出する。抽出部１１０は、抽出したコロニー領域ＣＲに基づいてコロニーマスクＣＭを生成する。コロニー領域ＣＲの抽出は、細胞領域の面積に基づいて行う方法に限定されず、公知の様々な方法により行うことができる。
抽出部１１０は、生成したコロニーマスクＣＭを異常領域抽出部１１１と、正常領域抽出部１１２とに供給する。また抽出部１１０は、生成したコロニーマスクＣＭを密・筋混合領域抽出部１２に供給する。

【0037】

ここで図４を参照し、コロニーマスクＣＭについて説明する。
図４は、本実施形態に係るコロニーマスクＣＭの一例を示す図である。図４では、コロニーマスクＣＭよって、位相差画像Ｐ１のうちコロニー領域ＣＲ以外の領域がマスクされている。

【0038】

図２に戻って画像処理装置１の抽出処理の説明を続ける。
ステップＳ１１０：異常領域抽出部１１１は、抽出部１１０によって抽出されたコロニー領域ＣＲから異常領域ＡＲを抽出する。ここで異常領域抽出部１１１は、位相差画像取得部１０によって取得された位相差画像Ｐ１と、抽出部１１０によって生成されたコロニーマスクＣＭとに基づいて異常領域ＡＲを抽出する。異常領域抽出部１１１は、多能性幹細胞以外の異常な細胞を抽出する限りどのような方法で行ってもよいが、例えば、周囲のハロの有無に基づいてコロニー領域ＣＲから異常領域ＡＲを抽出することができる。

【0039】

ハロとは、位相差画像のうち、一方の領域と他方の領域との位相差が大きく、結果一方の領域と他方の領域との境界において周囲よりも輝度が高くなっている部分である。正常な多能性幹細胞のコロニーは、周囲にハロが多く見られ、異常細胞のコロニーは、周囲にハロがあまり見られない。
したがって、正常領域ＮＲは、コロニー領域ＣＲのうち位相差が所定の値以上である部分を周囲に有する領域とすることができる。異常領域ＡＲは、コロニー領域ＣＲのうち位相差が所定の値以上である部分を周囲に有さない領域とすることができる。

【0040】

異常領域抽出部１１１は、コロニー領域ＣＲのうち周囲にハロを有さない部分領域を異常領域ＡＲとして抽出する。異常領域抽出部１１１は、抽出した異常領域ＡＲを示す情報を正常領域抽出部１１２に供給する。

【0041】

ステップＳ１３０：正常領域抽出部１１２は、抽出部１１０によって抽出されたコロニー領域ＣＲから、正常領域ＮＲを抽出し正常領域マスクＮＭを生成する。
ここで正常領域抽出部１１２は、抽出部１１０によって生成されたコロニーマスクＣＭと、異常領域抽出部１１１によって抽出された異常領域ＡＲを示す情報とに基づいて、抽出部１１０によって抽出されたコロニー領域ＣＲから異常領域ＡＲを除外する。正常領域抽出部１１２は、コロニーマスクＣＭから異常領域ＡＲを除外して残った領域を正常領域ＮＲとして抽出する。

【0042】

本実施形態においては、正常領域抽出部１１２は、コロニー領域抽出部１１に備えられる。別の実施形態として、コロニー領域抽出部１１は、異常領域ＡＲを抽出する工程を行わずに、コロニー領域ＣＲのうち位相差が所定の値以上である部分を周囲に有する領域を正常領域ＮＲとして直接抽出してもよい。

【0043】

正常領域抽出部１１２は、正常領域ＮＲを抽出した結果、正常領域マスクＮＭを生成する。正常領域抽出部１１２は、生成した正常領域マスクＮＭを、密・筋混合領域抽出部１２及び粗領域抽出部１３に供給する。

【0044】

ここで図５を参照し、正常領域マスクＮＭについて説明する。
図５は、本実施形態に係る正常領域マスクＮＭの一例を示す図である。図５では、正常領域マスクＮＭによって、位相差画像Ｐ１のうち正常領域ＮＲ以外の領域がマスクされている。

【0045】

図２に戻って画像処理装置１の抽出処理の説明を続ける。
ステップＳ１４０：密・筋混合領域抽出部１２は、位相差画像取得部１０によって取得された位相差画像Ｐ１と、抽出部１１０によって生成されたコロニーマスクＣＭと、正常領域抽出部１１２によって生成された正常領域マスクＮＭとに基づいて、密・筋領域ＭＳＲを抽出する。

【0046】

ここで図６及び図７を参照し、密・筋混合領域抽出部１２が密・筋領域ＭＳＲを抽出する処理である密・筋領域抽出処理について説明する。
図６は、本実施形態に係る密・筋領域抽出処理の一例を示す図である。図６に示す密・筋領域抽出処理は、図２に示したステップＳ１４０に対応する。
図７は、本実施形態に係る密・筋領域抽出処理に含まれる各処理において生成される画像の一例を示す図である。

【0047】

ステップＳ２００：密・筋混合領域抽出部１２は、位相差画像取得部１０によって取得された位相差画像Ｐ１からダークスポットを除去する。密・筋混合領域抽出部１２は、位相差画像Ｐ１からダークスポットを除去した結果、ダークスポット除去画像Ｐ２１を生成する。ここでダークスポットとは、位相差画像Ｐ１のうち画素の輝度が所定の値より低い領域である。ダークスポットは、主に多能性幹細胞の核に対応する。

【0048】

ステップＳ２１０：密・筋混合領域抽出部１２は、位相差画像Ｐ１の各画素の輝度から、ステップＳ２００において生成したダークスポット除去画像Ｐ２１の各画素の輝度を減算し、正規化する。ここで位相差画像Ｐ１の各画素の輝度からダークスポット除去画像Ｐ２１の各画素の輝度が減算されると、ダークスポットが残る。密・筋混合領域抽出部１２は、残ったダークスポットの輝度を正規化することによりダークスポット画像Ｐ２２を生成する。

【0049】

ステップＳ２２０：密・筋混合領域抽出部１２は、位相差画像取得部１０によって取得された位相差画像Ｐ１にトップハット処理を行う。密・筋混合領域抽出部１２は、位相差画像Ｐ１にトップハット処理を行った結果、トップハット処理画像Ｐ２３を生成する。
ここでトップハット処理とは、位相差画像Ｐ１のうち画素の輝度が相対的に高い領域を抽出する処理である。トップハット処理によって、位相差画像Ｐ１に撮像された多能性幹細胞の核の周囲の領域のうち密度の高い領域、及び筋領域ＳＲが抽出される。

【0050】

ステップＳ２３０：密・筋混合領域抽出部１２は、ステップＳ２２０において生成したトップハット処理画像Ｐ２３の各画素の輝度を正規化する。密・筋混合領域抽出部１２は、正規化の結果、正規化画像Ｐ２４を生成する。

【0051】

ステップＳ２４０：密・筋混合領域抽出部１２は、ステップＳ２１０において生成したダークスポット画像Ｐ２２と、ステップＳ２３０において生成した正規化画像Ｐ２４とを加算して得られる加算画像（不図示）と、コロニーマスクＣＭとの論理積を取る。密・筋混合領域抽出部１２は、論理積を取った結果、コロニーマスク論理積画像Ｐ２５を生成する。

【0052】

コロニーマスク論理積画像Ｐ２５は、位相差画像Ｐ１から粗領域ＰＲが除外された結果に対応する。粗領域ＰＲは、密領域ＤＲや筋領域ＳＲに比べて輝度が低い。
なお、密・筋混合領域抽出部１２は、コロニーマスクＣＭに代えて、加算画像と、正常領域マスクＮＭとの論理積を取ってもよい。

【0053】

ステップＳ２５０：密・筋混合領域抽出部１２は、ステップＳ２４０において生成したコロニーマスク論理積画像Ｐ２５に基づいてマスクＰ２６を生成する。ここで密・筋混合領域抽出部１２は、コロニーマスク論理積画像Ｐ２５に対して公知の画像処理を行うことによりマスクＰ２６を生成する。

【0054】

公知の画像処理とは、例えば、クロージング、オープニング、穴埋め、及びオブジェクト除去等である。公知の画像処理によって、コロニーマスク論理積画像Ｐ２５において、例えば、筋領域ＳＲの筋状の模様や密領域ＤＲの細胞の隙間が埋められる。

【0055】

ステップＳ２６０：密・筋混合領域抽出部１２は、正常領域マスクＮＭと、ステップＳ２５０において生成したマスクＰ２６との論理積を取る。密・筋混合領域抽出部１２は、論理積を取った結果、密・筋マスクＭＳＭを生成する。密・筋混合領域抽出部１２は、生成した密・筋マスクＭＳＭを粗領域抽出部１３、筋領域抽出部１４、及び密領域抽出部１５に供給する。

【0056】

図２に戻って画像処理装置１の抽出処理の説明を続ける。
ステップＳ１５０：粗領域抽出部１３は、密・筋混合領域抽出部１２によって生成された密・筋マスクＭＳＭと、正常領域抽出部１１２によって生成された正常領域マスクＮＭとに基づいて粗領域ＰＲを抽出する。ここで粗領域抽出部１３は、正常領域マスクＮＭから密・筋マスクＭＳＭを減算することによって粗領域ＰＲを抽出する。
粗領域抽出部１３は、粗領域ＰＲを抽出した結果、粗マスクＰＭを生成する。粗領域抽出部１３は、生成した粗マスクＰＭを出力部１６に供給する。

【0057】

ここで図８にステップＳ１５０の粗領域抽出処理の結果生成される粗マスクＰＭを示す。
図８は、本実施形態に係る粗領域抽出処理において生成される粗マスクＰＭの一例を示す図である。

【0058】

なお、ステップＳ１５０において粗領域抽出部１３は、正常領域マスクＮＭに代えて、抽出部１１０によって生成されたコロニーマスクＣＭと、密・筋混合領域抽出部１２によって生成された密・筋マスクＭＳＭとに基づいて粗領域ＰＲを抽出してもよい。粗領域抽出部１３が正常領域マスクＮＭに代えてコロニーマスクＣＭに基づいて粗領域ＰＲを抽出する場合、正常領域マスクＮＭに基づいて粗領域ＰＲを抽出する場合に比べて、粗領域ＰＲの抽出精度は下がる場合がある。

【0059】

図２に戻って画像処理装置１の抽出処理の説明を続ける。
ステップＳ１６０：筋領域抽出部１４は、位相差画像取得部１０によって取得された位相差画像Ｐ０と、密・筋混合領域抽出部１２によって生成された密・筋マスクＭＳＭとに基づいて、筋領域ＳＲを抽出する。

【0060】

ここで図９及び図１０を参照し、筋領域抽出部１４が筋領域ＳＲを抽出する処理である筋領域抽出処理について説明する。
図９は、本実施形態に係る筋領域抽出処理の一例を示す図である。図９に示す筋領域抽出処理は、図２に示したステップＳ１６０に対応する。
図１０は、本実施形態に係る筋領域抽出処理に含まれる各処理において生成される画像の一例を示す図である。なお、図１０には、図２のステップＳ１７０において生成される画像の一例も含まれる。

【0061】

ステップＳ３００：高輝度領域抽出部１４０は、位相差画像取得部１０によって取得された位相差画像Ｐ１に対してバックグラウンド正規化の処理を行う。高輝度領域抽出部１４０は、バックグラウンド正規化の処理の結果、バックグラウンド正規化画像Ｐ３１を生成する。

【0062】

ここでバックグラウンド正規化とは、位相差画像Ｐ１の各画素の輝度が所定の範囲に収まるように正規化する処理である。バックグラウンド正規化によって、位相差画像Ｐ１における筋領域ＳＲが強調される。

【0063】

ステップＳ３１０：高輝度領域抽出部１４０は、ステップＳ３００において生成したバックグラウンド正規化画像Ｐ３１から、高輝度領域ＨＲを抽出する。高輝度領域抽出部１４０は、抽出した結果、高輝度画像Ｐ３２を生成する。ここでバックグラウンド正規化画像Ｐ３１における高輝度領域ＨＲは、位相差画像Ｐ１における筋領域ＳＲに対応する。
高輝度領域抽出部１４０は、生成した高輝度画像Ｐ３２を抽出対象領域抽出部１４１に供給する。

【0064】

なおステップＳ３００におけるバックグラウンド正規化の処理は省略されてもよい。ステップＳ３００の処理が省略される場合、ステップＳ３１０において、高輝度領域抽出部１４０は、位相差画像Ｐ１を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を位相差画像Ｐ１から抽出する。

【0065】

ステップＳ３２０：抽出対象領域抽出部１４１は、密・筋混合領域抽出部１２によって生成された密・筋マスクＭＳＭと、高輝度領域抽出部１４０によって生成された高輝度画像Ｐ３２との論理積を取る。抽出対象領域抽出部１４１は、論理積を取った結果、密・筋マスク論理積画像Ｐ３３を生成する。

【0066】

ここで密・筋マスク論理積画像Ｐ３３は、抽出対象領域である筋領域ＳＲが位相差画像Ｐ１から抽出された結果に対応する。つまり、抽出対象領域抽出部１４１は、位相差画像Ｐ１から抽出対象領域を抽出する。
抽出対象領域抽出部１４１が抽出対象領域の抽出に用いた密・筋マスクＭＳＭは、上述したステップＳ１４０において正常領域マスクＮＭに基づいて生成された画像である。さらに正常領域マスクＮＭは、上述したステップＳ１３０においてコロニーマスクＣＭから生成された画像である。

【0067】

したがって、抽出対象領域抽出部１４１は、コロニー領域抽出部１１によって抽出されたコロニー領域ＣＲと、高輝度領域抽出部１４０によって抽出された高輝度領域ＨＲとに基づいて、抽出対象領域を位相差画像Ｐ１から抽出する。

【0068】

ステップＳ３３０：抽出対象領域抽出部１４１は、ステップＳ３２０において生成した密・筋マスク論理積画像Ｐ３３に基づいて筋マスクＳＭを生成する。ここで抽出対象領域抽出部１４１は、密・筋マスク論理積画像Ｐ３３に対して上述した公知の画像処理を行うことにより筋マスクＳＭを生成する。
抽出対象領域抽出部１４１は、生成した筋マスクＳＭを、密領域抽出部１５及び出力部１６に供給する。

【0069】

図２に戻って画像処理装置１の抽出処理の説明を続ける。
ステップＳ１７０：密領域抽出部１５は、密・筋混合領域抽出部１２によって生成された密・筋マスクＭＳＭから、筋領域抽出部１４によって生成された筋マスクＳＭを減算することによって密領域ＤＲを抽出する。密領域抽出部１５は、密領域ＤＲを抽出した結果、密マスクＤＭを生成する。密領域抽出部１５は、生成した密マスクＤＭを出力部１６に供給する。
ここで密マスクＤＭの一例は、図１０に示されている。

【0070】

ステップＳ１８０：出力部１６は、処理結果ＰＰ１を提示部３に供給し出力させる。処理結果ＰＰ１は、処理結果ＰＰの一例であり、位相差画像取得部１０によって取得された位相差画像Ｐ１において、筋領域抽出部１４によって抽出された筋領域ＳＲと、密領域抽出部１５によって抽出された密領域ＤＲと、粗領域抽出部１３によって抽出された粗領域ＰＲとがそれぞれ示された画像である。ここで筋領域ＳＲは、筋マスクＳＭによって示される。密領域ＤＲは、密マスクＤＭによって示される。粗領域ＰＲは、粗マスクＰＭによって示される。

【0071】

ここで筋領域ＳＲとは、抽出対象領域抽出部１４１によって抽出された抽出対象領域である。つまり、出力部１６は、抽出対象領域抽出部１４１によって抽出された抽出対象領域を抽出結果として出力する。

【0072】

以上に説明したように、本実施形態に係る画像処理装置１は、コロニー領域抽出部１１と、高輝度領域抽出部１４０と、抽出対象領域抽出部１４１とを備える。
コロニー領域抽出部１１は、透過照明による顕微鏡画像（この一例において、位相差画像Ｐ０）から多能性幹細胞のコロニー領域ＣＲを抽出する。
高輝度領域抽出部１４０は、透過照明による顕微鏡画像（この一例において、位相差画像Ｐ０）を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域ＨＲを位相差画像Ｐ０から抽出する。
抽出対象領域抽出部１４１は、コロニー領域抽出部１１によって抽出されたコロニー領域ＣＲと、高輝度領域抽出部１４０によって抽出された高輝度領域ＨＲとに基づいて、抽出対象領域（この一例において、筋領域ＳＲ）を透過照明による顕微鏡画像（この一例において、位相差画像Ｐ０）から抽出する。

【0073】

この構成により、本実施形態に係る画像処理装置１では、抽出対象領域（この一例において、筋領域ＳＲ）を透過照明による顕微鏡画像（この一例において、位相差画像Ｐ０）から抽出できるため、多能性幹細胞のコロニーの成熟度合の評価結果の精度を、抽出対象領域（この一例において、筋領域ＳＲ）を考慮しない場合に比べて向上させることができる。
ここで抽出対象領域（この一例において、筋領域ＳＲ）とは、透過照明による顕微鏡画像（この一例において、位相差画像Ｐ０）に含まれるコロニー領域ＣＲのうち高輝度領域ＨＲである領域である。

【0074】

また、本実施形態に係る画像処理装置１では、コロニー領域抽出部１１は、コロニー領域ＣＲのうち位相差が所定の値以上である部分を周囲に有する領域を正常領域ＮＲとして抽出する。
この構成により、本実施形態に係る画像処理装置１では、異常領域ＡＲを除外して抽出対象領域（この一例において、筋領域ＳＲ）を抽出できるため、異常領域ＡＲを除外しない場合に比べて、多能性幹細胞のコロニーの成熟度合の評価結果の精度を向上させることができる。

【0075】

また、本実施形態に係る画像処理装置１では、抽出対象領域とは、透過照明による顕微鏡画像（この一例において、位相差画像Ｐ０）において筋状の模様が現れている領域である。
この構成により、本実施形態に係る画像処理装置１では、コロニーが未成熟な状態に対応する粗領域ＰＲと、コロニーが成熟した状態に対応する密領域ＤＲとに加え、未成熟な状態と成熟した状態との遷移状態に対応する筋領域ＳＲを透過照明による顕微鏡画像（この一例において、位相差画像Ｐ０）から抽出できる。筋領域ＳＲに基づいて多能性幹細胞のコロニーの成熟度合の評価をした方が、粗領域ＰＲと密領域ＤＲとのみに基づいて評価をする場合に比べて、当該評価の精度を向上させることができる。

【0076】

上述した第１の実施形態では、例えば「コロニーマスクＣＭ」は、位相差画像Ｐ０のうちコロニー領域ＣＲ以外の領域をマスクするマスク画像とし、「正常領域マスクＮＭ」は、位相差画像Ｐ０のうち正常領域ＮＲ以外の領域をマスクするマスク画像としたが、「コロニーマスクＣＭ」を、コロニー領域ＣＲのみをマスクするマスク画像とし、「正常領域マスクＮＭ」を、正常領域ＮＲのみをマスクするマスク画像としてもよい。

【0077】

（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、画像処理装置は、位相差画像から筋領域を抽出する場合について説明をした。本実施形態では、位相差画像がタイムラプス画像であり、画像処理装置が、筋領域の面積の時間変化に基づいて培養についての指標を提示する場合について説明をする。
本実施形態に係る画像処理装置を画像処理装置１ａという。本実施形態に係る位相差画像ＰＴは、時間を変えて多能性幹細胞が撮像された複数の画像である。

【0078】

図１１は、本実施形態に係る画像処理装置１ａの構成を示す図である。本実施形態に係る画像処理装置１ａ（図１１）と第１の実施形態に係る画像処理装置１（図１）とを比較すると、出力部１６ａ、時間変化算出部１７ａ、培養指標生成部１８ａ、及び分析部１９ａが異なる。ここで、他の構成要素（位相差画像取得部１０、コロニー領域抽出部１１、密・筋混合領域抽出部１２、粗領域抽出部１３、筋領域抽出部１４、及び密領域抽出部１５）が持つ機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。

【0079】

時間変化算出部１７ａは、コロニー領域において粗領域ＰＲ、筋領域ＳＲ、及び密領域ＤＲの面積が占める割合の時間変化を算出する。本実施形態では、正常領域ＮＲをコロニー領域の一例とする。ここで位相差画像ＰＴには正常領域ＮＲが１つ以上含まれる。

【0080】

培養指標生成部１８ａは、時間変化算出部１７ａによって算出された時間変化に基づいて培養についての指標を、正常領域ＮＲ毎に生成する。以下、培養についての指標を培養指標ＣＩという。培養指標ＣＩは、例えば、“継代”、“培養継続”、及び“廃棄”を示す。

【0081】

分析部１９ａは、培養指標生成部１８ａによって生成された培養指標ＣＩに基づいて、位相差画像ＰＴに含まれる正常領域ＮＲを分析する。
出力部１６ａは、分析部１９ａによる分析結果Ａを提示部３に出力し、提示部３に分析結果Ａを表示させる。

【0082】

図１２は、本実施形態に係る画像処理装置１ａの培養指標ＣＩの生成処理の一例を示す図である。画像処理装置１ａは、培養指標ＣＩの生成処理（図１２）を、第１実施形態の抽出処理（図２）が完了した後に実行する。

【0083】

ステップＳ４００：時間変化算出部１７ａは、正常領域ＮＲ毎に、正常領域ＮＲにおける粗領域ＰＲ、筋領域ＳＲ、及び密領域ＤＲのそれぞれの面積が占める割合を算出する。なお、時間変化算出部１７ａは、粗領域ＰＲ、筋領域ＳＲ、及び密領域ＤＲの面積をそれぞれ算出してもよい。

【0084】

ステップＳ４１０：時間変化算出部１７ａは、位相差画像ＰＴ０における粗領域ＰＲ、筋領域ＳＲ、及び密領域ＤＲの上記面積割合の時間変化をそれぞれ、正常領域ＮＲ毎に算出する。時間変化算出部１７ａは、粗領域ＰＲ、筋領域ＳＲ、及び密領域ＤＲの面積の時間変化をそれぞれ算出してもよい。

【0085】

ここで正常領域ＮＲは、コロニー領域抽出部１１の抽出部１１０によって抽出される。また、筋領域ＳＲは、抽出対象領域抽出部１４１によって抽出された抽出対象領域である。
つまり、時間変化算出部１７ａは、コロニー領域（正常領域ＮＲ）における抽出対象領域が占める面積の時間変化を算出する。

【0086】

ステップＳ４２０：培養指標生成部１８ａは、ステップＳ４１０において算出された時間変化に基づいて培養指標ＣＩを正常領域ＮＲ毎に生成する。
つまり、培養指標生成部１８ａは、時間変化算出部１７ａによって算出された時間変化に基づいて培養についての指標を生成する。

【0087】

本発明者らは、多能性幹細胞のコロニーを未成熟状態から成熟状態まで培養すると、正常領域ＮＲ全体の面積に占める筋領域ＳＲの面積の割合が、一旦増加し減少し、最終的には筋領域ＳＲがほとんどなくなることを見出した。
したがって、培養指標生成部１８ａは、例えば、筋領域ＳＲの面積割合が所定の値より高い場合、“培養継続”を示す培養指標ＣＩを生成してもよい。筋領域ＳＲの面積割合が所定の値より高い場合、遷移状態であると考えられるため継代を行わず培養を継続することが好ましい。

【0088】

また、例えば、筋領域ＳＲの面積割合が増加した後に減少に転じ、且つ所定の値より低くなった場合、培養指標生成部１８ａは、“継代”を示す培養指標ＣＩを生成してもよい。このようなコロニーは、十分に成熟していると評価され、継代に供することが可能である。

【0089】

培養指標生成部１８ａは、例えば、筋領域ＳＲの面積割合が所定の値以下であり、密領域ＤＲの面積割合が粗領域ＰＲの面積割合よりも高い場合、”継代”を示す培養指標ＣＩを生成する。筋領域ＳＲの面積割合が所定の値以下であり、密領域ＤＲの面積割合が粗領域ＰＲの面積割合よりも高いコロニーは、成熟状態であると考えられるため継代を行うことが好ましい。一方、コロニーから筋領域ＳＲが抽出できなかった場合、コロニーが正常に成熟していないと考えられるため、培養指標生成部１８ａは、“廃棄”を示す培養指標ＣＩを生成してもよい。

【0090】

ステップＳ４３０：分析部１９ａは、培養指標生成部１８ａによって生成された培養指標ＣＩに基づいて、位相差画像ＰＴに含まれる正常領域ＮＲのそれぞれを分析する。分析部１９ａは、分析結果Ａを出力部１６に供給する。

【0091】

分析部１９ａは、例えば、培養指標ＣＩが”継代”を示す正常領域ＮＲを、継代が可能なコロニーとして抽出する。
分析部１９ａは、例えば、位相差画像ＰＴにおいて培養指標ＣＩが“培養継続”を示す正常領域ＮＲの割合が所定の割合以上である場合、位相差画像ＰＴに撮像された多能性幹細胞が培養される容器について、“培養継続”と判定する。
分析部１９ａは、例えば、位相差画像ＰＴにおいて培養指標ＣＩが廃棄を示す正常領域ＮＲの割合が所定の割合以上である場合、位相差画像ＰＴに撮像された多能性幹細胞が培養される容器について、“廃棄”と判定する。

【0092】

ステップＳ４４０：出力部１６ａは、分析部１９ａによる分析結果Ａを提示部３に供給し出力させる。出力部１６ａは、分析結果Ａに基づいて、位相差画像ＰＴのうちのある撮像時間に対応する１枚の画像において、継代が可能なコロニーを提示部３に提示させる。また、出力部１６ａは、分析結果Ａに基づいて、位相差画像ＰＴに撮像された多能性幹細胞が培養される容器について、“培養継続”、“破棄”などのメッセージを提示部３に提示させる。

【0093】

ここで図１３を参照し、正常領域ＮＲに占める粗領域ＰＲ、筋領域ＳＲ、及び密領域ＤＲの面積割合の例について説明する。
図１３は、本実施形態に係る正常領域ＮＲに占める粗領域ＰＲ、筋領域ＳＲ、及び密領域ＤＲの面積割合の一例を示す図である。第１グラフＧ１は、ある時期に撮像された位相差画像ＰＴ１に含まれるある正常領域ＮＲ１について、正常領域ＮＲ１に占める粗領域ＰＲ、筋領域ＳＲ、及び密領域ＤＲの面積割合の時間変化の一例を示す。第２グラフＧ２は、ある時期に撮像された位相差画像ＰＴ２に含まれるある正常領域ＮＲ２について、正常領域ＮＲ２に占める粗領域ＰＲ、筋領域ＳＲ、及び密領域ＤＲの面積割合の時間変化の一例を示す。

【0094】

第１グラフＧ１では、４日目筋領域割合ＳＲ１４と、７日目筋領域割合ＳＲ１７とが確認できる。第１グラフＧ１では、位相差画像ＰＴ１に撮像された正常領域ＮＲ１について、４日目及び７日目それぞれ筋領域割合がまだ高く、“培養継続”と判定される。

【0095】

第２グラフＧ２では、４日目筋領域割合ＳＲ２４と、５日目筋領域割合ＳＲ２５と、６日目筋領域割合ＳＲ２６とは、この順に大きくなり、７日目筋領域割合ＳＲ２７は６日目筋領域割合ＳＲ２６に比べて小さくなっていることが確認できる。８日目では、正常領域ＮＲ２のうち筋領域ＳＲの割合はほぼゼロである。
第２グラフＧ２では、位相差画像ＰＴ２に撮像された正常領域ＮＲ２について、例えば、６日目及び７日目それぞれ“培養継続”と判定され、８日目について”継代”と判定される。

【0096】

ここで本実施形態との比較のために、粗領域ＰＲと密領域ＤＲのみに基づいて正常領域ＮＲを分析する場合について説明する。
図１４は、正常領域ＮＲに占める粗領域ＰＲ、及び密領域ＤＲの面積割合の一例を示す図である。筋領域は密領域ＤＲの一部として含まれており、筋領域自体の面積割合は求められていない。第１グラフＧ１０は、図１３の第１グラフＧ１と同じ位相差画像ＰＴ１に含まれるある正常領域ＮＲ１について、正常領域ＮＲ１に占める粗領域ＰＲ、及び密領域ＤＲの面積割合の時間変化の一例を示す。第２グラフＧ２０は、図１３の第２グラフＧ２と同じ位相差画像ＰＴ２に含まれるある正常領域ＮＲ２について、正常領域ＮＲ２に占める粗領域ＰＲ、及び密領域ＤＲの面積割合の時間変化の一例を示す。

【0097】

第１グラフＧ１０では、位相差画像ＰＴ１に撮像された正常領域ＮＲ１について、４日目は“培養継続”と判定されるが、７日目は”継代”と判定される。例えば、密領域ＤＲの面積割合が６０パーセント以上である場合、コロニーは成熟状態であり”継代”と判定される。
図１４の７日目の判定結果は”継代”であるのに対し、本実施形態の７日目の判定結果は“培養継続”である。本実施形態では、筋領域ＳＲ１の面積割合が評価されているため、従来に比べてコロニーの成熟度合の評価結果の精度が高い。

【0098】

第２グラフＧ２０では、位相差画像ＰＴ２に撮像された正常領域ＮＲ２について、６日目、７日目、及び８日目について”継代”と判定される。
図１４の６日目、７日目の判定結果は”継代”であるのに対し、本実施形態の６日目、７日目の判定結果は“培養継続”である。本実施形態では、筋領域ＳＲ２の面積割合が評価されているため、従来に比べてコロニーの成熟度合の評価結果の精度が高い。

【0099】

以上に説明したように、本実施形態に係る画像処理装置１ａでは、顕微鏡画像（この一例において、位相差画像ＰＴ）は、時間を変えて多能性幹細胞が撮像された複数の画像であり、本実施形態に係る画像処理装置１ａは、時間変化算出部１７ａと、培養指標生成部１８ａとを備える。
時間変化算出部１７ａは、コロニー領域（この一例において、正常領域ＮＲ）における抽出対象領域（この一例において、筋領域ＳＲ）が占める面積の時間変化を算出する。
培養指標生成部１８ａは、時間変化算出部１７ａによって算出された時間変化に基づいて培養についての指標（この一例において、培養指標ＣＩ）を生成する。

【0100】

この構成により、本実施形態に係る画像処理装置１ａでは、抽出対象領域（この一例において、筋領域ＳＲ）のコロニー領域（この一例において、正常領域ＮＲ）のうちに占める面積の撮像時間についての時間変化に基づいて培養についての指標（この一例において、培養指標ＣＩ）を生成できるため、抽出対象領域（この一例において、筋領域ＳＲ）のコロニー領域（この一例において、正常領域ＮＲ）のうちに占める面積の撮像時間についての時間変化に基づかない場合に比べてコロニーの成熟度合の評価結果の精度を向上させることができる。

【0101】

なお、上述した各実施形態では、画像処理装置１が抽出対象領域として筋状の模様が現れている領域を抽出する場合について説明したが、画像処理装置１は高輝度の画素を含む筋状構造を検出又は測定してもよい。
ここで図１５を参照し、高輝度の画素を含む筋状構造について説明する。
図１５は、各実施形態に係る高輝度の画素を含む筋状構造ＳＳの一例を示す図である。位相差画像取得部１０は、多能性幹細胞のコロニーの位相差画像Ｐ２を取得する。筋領域抽出部１４は、位相差画像取得部１０によって取得された位相差画像Ｐ２において、高輝度の画素を含む筋状構造ＳＳを検出又は測定する。

【0102】

画像処理装置１は、検出又は測定した筋状構造ＳＳに基づいて、多能性幹細胞のコロニーの成熟度を評価する。画像処理装置１は、例えば、筋状構造ＳＳを検出又は測定した場合に、多能性幹細胞のコロニーの成熟度として遷移状態にあると判定する。

【0103】

つまり、多能性幹細胞のコロニーの成熟度を評価する評価方法は、コロニーの位相差画像Ｐ２を取得する取得過程と、位相差画像Ｐ２において、高輝度の画素を含む筋状構造ＳＳを検出する検出過程とを含む。

【0104】

また、画像処理装置１は、高輝度の画素を含む筋状構造ＳＳを検出し、筋状構造ＳＳの時間変化を算出してもよい。
位相差画像取得部１０は、複数の位相差画像ＰＴ２０を取得する。ここで複数の位相差画像ＰＴ２０は、時間を変えて多能性幹細胞のコロニーが撮像された位相差画像である。筋領域抽出部１４は、位相差画像取得部１０によって取得された複数の位相差画像ＰＴ２０のそれぞれにおいて、筋状構造ＳＳを検出する。時間変化算出部１７ａは、筋領域抽出部１４によって検出された筋状構造ＳＳの時間変化を算出する。

【0105】

画像処理装置１は、算出した筋状構造ＳＳの時間変化に基づいて、多能性幹細胞のコロニーの成熟度を評価する。
つまり、多能性幹細胞のコロニーの成熟度を評価する評価方法は、時間を変えてコロニーが撮像された複数の位相差画像ＰＴ２０を取得する取得過程と、複数の位相差画像ＰＴ２０のそれぞれにおいて、高輝度の画素を含む筋状構造ＳＳを検出し、筋状構造ＳＳの時間変化を算出する算出過程と、を含む。

【0106】

なお、上述した実施形態における画像処理装置１、１ａの一部、例えば、位相差画像取得部１０、コロニー領域抽出部１１、密・筋混合領域抽出部１２、粗領域抽出部１３、筋領域抽出部１４、密領域抽出部１５、出力部１６、時間変化算出部１７ａ、培養指標生成部１８ａ、及び分析部１９ａをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像処理装置１、１ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における画像処理装置１、１ａの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像処理装置１、１ａの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【0107】

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0108】

１、１ａ…画像処理装置、１０…位相差画像取得部、１１…コロニー領域抽出部、１１０…抽出部、１１１…異常領域抽出部、１１２…正常領域抽出部、１２…密・筋混合領域抽出部、１３…粗領域抽出部、１４…筋領域抽出部、１４０…高輝度領域抽出部、１４１…抽出対象領域抽出部、１５…密領域抽出部、１６、１６ａ…出力部、１７ａ…時間変化算出部、１８ａ…培養指標生成部、１９ａ分析部、２…位相差画像供給部、３…提示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】