特許 7375815 細胞トラッキング方法、画像処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-30

(45)【発行日】2023-11-08

(54)【発明の名称】細胞トラッキング方法、画像処理装置、及びプログラム

(51)【国際特許分類】

   C12Q 1/02 20060101AFI20231031BHJP

   C12M 1/34 20060101ALI20231031BHJP

   G01N 33/483 20060101ALI20231031BHJP

   G06T 7/00 20170101ALI20231031BHJP

   G06T 7/254 20170101ALI20231031BHJP

【ＦＩ】

C12Q1/02

C12M1/34 D

G01N33/483 C

G06T7/00 630

G06T7/254 A

【請求項の数】 12

(21)【出願番号】P 2021516190

(86)(22)【出願日】2020-04-23

(86)【国際出願番号】 JP2020017426

(87)【国際公開番号】W WO2020218393

(87)【国際公開日】2020-10-29

【審査請求日】2021-10-22

(31)【優先権主張番号】P 2019085323

(32)【優先日】2019-04-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】市橋 徹

(72)【発明者】

【氏名】紀伊 宏昭

(72)【発明者】

【氏名】高崎 哲臣

(72)【発明者】

【氏名】魚住 孝之

(72)【発明者】

【氏名】山嵜 洋一

(72)【発明者】

【氏名】木根原 匡希

【審査官】上村 直子

(56)【参考文献】

【文献】特表２０１５－５３５５９３（ＪＰ，Ａ）

【文献】特開２００９－０８９６３０（ＪＰ，Ａ）

【文献】特開２０１４－０１６６６６（ＪＰ，Ａ）

【文献】特開２０１７－０２３０５５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３６５８４１（ＵＳ，Ａ１）

【文献】国際公開第２０１９／０６９４４６（ＷＯ，Ａ１）

【文献】特開２０１２－１６３５３８（ＪＰ，Ａ）

【文献】特開２０１４－０８２９５７（ＪＰ，Ａ）

【文献】2010 IEEE International Conference on Imaging Systems and Techniques，2010年，Accession No.11478414，<https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=5548533>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｃ１２Ｑ １／０２

Ｃ１２Ｍ １／３４

Ｇ０１Ｎ ３３／４８３

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２５４

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

時系列に撮像された複数の細胞画像に基づき細胞のトラッキングを行う細胞トラッキング方法であって、
前記複数の細胞画像の各々につき、前記細胞画像の輝度情報に基づき前記細胞に対応する追跡領域を抽出する抽出工程と、
前記抽出工程で抽出された前記追跡領域の位置の時間変化を前記複数の細胞画像に基づいて算出し、前記時間変化に基づいて前記細胞をトラッキングするトラッキング工程と、
前記細胞画像に基づいて、前記追跡領域の前記輝度情報が示す輝度の状態が移動状態に対応する第１状態であるかまたは細胞分裂状態に対応する第２状態であるかを判定することによって、トラッキングの対象である前記細胞が移動状態であるかまたは細胞分裂状態にあるかを判定する判定工程と、
前記トラッキング工程で算出された前記時間変化と前記判定工程の判定結果とに基づき前記細胞のトラッキングの停止及び再開を制御しながら、前記細胞の移動状態を解析する解析工程と
を有し、
前記解析工程は、
前記判定工程で前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態であると判定されると、前記トラッキング工程で算出された前記時間変化に基づき前記細胞の移動状態を解析し、また、
前記判定工程で前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態から前記第２状態に変化したと判定されると、前記トラッキング工程での前記時間変化の算出を停止することによって前記細胞のトラッキングを停止し、また、
前記細胞のトラッキングを停止した後、前記判定工程で前記追跡領域の前記輝度情報が示す輝度の状態が前記第２状態から前記第１状態に変化したと判定されると、前記トラッキング工程での前記時間変化の算出を再開することによって前記細胞のトラッキングを再開し、再開した前記トラッキング工程で算出された前記時間変化に基づき前記細胞の移動状態を解析する
細胞トラッキング方法。

【請求項2】

前記判定工程にて前記追跡領域の前記輝度情報が示す輝度の状態が前記第２状態から前記第１状態に変化したと判定されると、前記抽出工程にて、前記複数の細胞画像から前記細胞のトラッキングを開始するために細胞分裂後の複数の細胞に対して新たな追跡領域を抽出し、
前記トラッキング工程にて、前記新たな追跡領域に対して、前記細胞分裂後の複数の細胞それぞれに新たなトラッキングを実行する
請求項１に記載の細胞トラッキング方法。

【請求項3】

さらに、前記解析工程にて、前記トラッキング工程にてトラッキングされた複数の細胞の解析結果として、基準となる培養条件における前記細胞の前記時間変化のデータ分布状況を比較することで前記細胞の遊走能を解析する
請求項２に記載の細胞トラッキング方法。

【請求項4】

前記抽出工程で抽出された前記追跡領域の重心位置、前記トラッキング工程の算出結果、前記判定工程の判定結果、及び前記解析工程の解析結果のいずれかを前記細胞のトラッキング情報として、前記細胞ごとに記憶させる記憶工程、
をさらに有する請求項１に記載の細胞トラッキング方法。

【請求項5】

さらに、前記解析工程にて、前記判定工程で前記細胞分裂状態にあると判定されると、前記細胞分裂状態の期間の前記時間変化に基づき前記細胞が分裂に要した分裂時間を計測する
請求項１に記載の細胞トラッキング方法。

【請求項6】

さらに、前記解析工程にて、前記判定工程で前記細胞分裂状態にあると判定された複数の細胞の解析結果として、基準となる培養条件における前記細胞の前記分裂時間のデータ分布状況を比較することで前記細胞の細胞周期を解析する
請求項５に記載の細胞トラッキング方法。

【請求項7】

前記抽出工程により抽出された前記追跡領域を識別するラベルを付与するラベル付与工程をさらに有し、
前記ラベル付与工程にて、前記トラッキングの対象である細胞の細胞分裂前後で異なる撮像時刻の前記細胞画像のフレーム間において、領域対応づけ処理により同一のラベルを前記追跡領域に付与する
請求項１に記載の細胞トラッキング方法。

【請求項8】

時系列に撮像された複数の細胞画像に基づき細胞のトラッキング処理を行う画像処理装置であって、
前記複数の細胞画像の各々につき、前記細胞画像の輝度情報に基づき前記細胞に対応する追跡領域を抽出する領域抽出部と、
前記領域抽出部で抽出された前記追跡領域の位置の時間変化を前記複数の細胞画像に基づいて算出し、前記時間変化に基づいて前記細胞をトラッキングする位置算出部と、
前記細胞画像に基づいて、前記追跡領域の前記輝度情報が示す輝度の状態が移動状態に対応する第１状態であるかまたは細胞分裂状態に対応する第２状態であるかを判定することによって、前記トラッキングの対象である細胞が移動状態であるかまたは細胞分裂状態にあるかを判定する状態判定部と、
前記位置算出部によって算出された前記時間変化と前記状態判定部の判定結果とに基づき前記細胞のトラッキングの停止及び再開を制御しながら、前記細胞の移動状態を解析する移動状態算出部と、
を備え、
前記移動状態算出部は、
前記状態判定部で前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態であると判定されると、前記位置算出部によって算出された前記時間変化に基づき前記細胞の移動状態を解析し、また、
前記状態判定部によって前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態から前記第２状態に変化したと判定されると、前記位置算出部による前記時間変化の算出を停止することによって前記細胞のトラッキングを停止し、また、
前記細胞のトラッキングを停止した後、前記状態判定部によって前記追跡領域の前記輝度情報が示す輝度の状態が前記第２状態から前記第１状態に変化したと判定されると、前記位置算出部による前記時間変化の算出を再開することによって前記細胞のトラッキングを再開し、再開した前記位置算出部によって算出された前記時間変化に基づき前記細胞の移動状態を解析する
画像処理装置。

【請求項9】

前記状態判定部にて前記追跡領域の前記輝度情報が示す輝度の状態が前記第２状態から前記第１状態に変化したと判定されると、前記領域抽出部にて、前記複数の細胞画像から前記細胞のトラッキングを開始するために細胞分裂後の複数の細胞に対して新たな追跡領域を抽出し、
前記位置算出部にて、前記新たな追跡領域に対して、前記細胞分裂後の複数の細胞それぞれに新たなトラッキングを実行する
請求項８に記載の画像処理装置。

【請求項10】

前記領域抽出部により抽出された前記追跡領域を識別するラベルを付与するラベル付与部をさらに備え、
前記ラベル付与部は前記トラッキングの対象である細胞の細胞分裂前後で異なる撮像時刻のフレーム間での領域対応づけ処理により同一のラベルを前記追跡領域に付与する
請求項９に記載の画像処理装置。

【請求項11】

時系列に撮像された複数の細胞画像に基づき細胞のトラッキングを実行するコンピュータに、
前記複数の細胞画像の各々につき、前記細胞画像の輝度情報に基づき前記細胞に対応する追跡領域を抽出する抽出ステップと、
前記抽出ステップで抽出された前記追跡領域の位置の時間変化を前記複数の細胞画像に基づいて算出し、前記時間変化に基づいて前記細胞をトラッキングするトラッキングステップと、
前記細胞画像に基づいて、前記追跡領域の前記輝度情報が示す輝度の状態が移動状態に対応する第１状態であるかまたは細胞分裂状態に対応する第２状態であるかを判定することによって、前記トラッキングの対象である細胞が移動状態であるかまたは細胞分裂状態にあるか否かを判定する判定ステップと、
前記トラッキングステップで算出された前記時間変化と前記判定ステップの判定結果とに基づき前記細胞のトラッキングの停止及び再開を制御しながら、前記細胞の移動状態を解析する解析ステップと
を実行させるためのプログラムであって、
前記解析ステップは、
前記判定ステップで前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態であると判定されると、前記トラッキングステップで算出された前記時間変化に基づき前記細胞の移動状態を解析し、また、
前記判定ステップで前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態から前記第２状態に変化したと判定されると、前記トラッキングステップでの前記時間変化の算出を停止することによって前記細胞のトラッキングを停止し、また、
前記細胞のトラッキングを停止した後、前記判定ステップで前記追跡領域の前記輝度情報が示す輝度の状態が前記第２状態から前記第１状態に変化したと判定されると、前記トラッキングステップでの前記時間変化の算出を再開することによって前記細胞のトラッキングを再開し、再開した前記トラッキングステップで算出された前記時間変化に基づき前記細胞の移動状態を解析する
プログラム。

【請求項12】

前記判定ステップにて前記追跡領域の前記輝度情報が示す輝度の状態が前記第２状態から前記第１状態に変化したと判定されると、前記抽出ステップにて、前記複数の細胞画像から前記細胞のトラッキングを開始するために細胞分裂後の複数の細胞に対して新たな追跡領域を抽出し、
前記トラッキングステップにて、前記新たな追跡領域に対して、前記細胞分裂後の複数の細胞それぞれに新たなトラッキングを実行する
請求項１１に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、細胞トラッキング方法、画像処理装置、及びプログラムに関する。
本願は、２０１９年４月２６日に、日本に出願された特願２０１９－８５３２３号に基づき優先権を主張し、その内容をここに援用する。

【背景技術】

【0002】

細胞が撮像された画像の画像解析において、撮像された細胞の位置を時刻毎に測定する細胞トラッキング技術が知られている（特許文献１）。例えば、細胞トラッキング技術において、分裂を伴う細胞のトラッキングをした場合、従来では細胞分裂後にどちらか一方の細胞にトラッキングが継続し、もう一方の細胞は新たにトラッキングが開始される場合があった。このような場合、細胞分裂時には重心移動が瞬時に生じるために、例えばトラッキングによる細胞の移動状態の解析等においてノイズとなり得る。細胞の移動状態の解析等の精度を高めることが求められている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－２３８８０２号公報

【発明の概要】

【0004】

本発明の一態様は、時系列に撮像された複数の細胞画像に基づき細胞のトラッキングを行う細胞トラッキング方法であって、前記複数の細胞画像の各々につき、前記細胞画像の輝度情報に基づき前記細胞に対応する追跡領域を抽出する抽出工程と、前記抽出工程で抽出された前記追跡領域の位置の時間変化を前記複数の細胞画像に基づいて算出し、前記時間変化に基づいて前記細胞をトラッキングするトラッキング工程と、前記細胞画像に基づいて、前記追跡領域の前記輝度情報が示す輝度の状態が移動状態に対応する第１状態であるかまたは細胞分裂状態に対応する第２状態であるかを判定することによって、トラッキングの対象である前記細胞が移動状態であるかまたは細胞分裂状態にあるかを判定する判定工程と、前記トラッキング工程で算出された前記時間変化と前記判定工程の判定結果とに基づき前記細胞のトラッキングの停止及び再開を制御しながら、前記細胞の移動状態を解析する解析工程とを有し、前記解析工程は、前記判定工程で前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態であると判定されると、前記トラッキング工程で算出された前記時間変化に基づき前記細胞の移動状態を解析し、また、前記判定工程で前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態から前記第２状態に変化したと判定されると、前記トラッキング工程での前記時間変化の算出を停止することによって前記細胞のトラッキングを停止し、また、前記細胞のトラッキングを停止した後、前記判定工程で前記追跡領域の前記輝度情報が示す輝度の状態が前記第２状態から前記第１状態に変化したと判定されると、前記トラッキング工程での前記時間変化の算出を再開することによって前記細胞のトラッキングを再開し、再開した前記トラッキング工程で算出された前記時間変化に基づき前記細胞の移動状態を解析する細胞トラッキング方法である。

【0005】

また、本発明の一態様は、時系列に撮像された複数の細胞画像に基づき細胞のトラッキング処理を行う画像処理装置であって、前記複数の細胞画像の各々につき、前記細胞画像の輝度情報に基づき前記細胞に対応する追跡領域を抽出する領域抽出部と、前記領域抽出部で抽出された前記追跡領域の位置の時間変化を前記複数の細胞画像に基づいて算出し、前記時間変化に基づいて前記細胞をトラッキングする位置算出部と、前記細胞画像に基づいて、前記追跡領域の前記輝度情報が示す輝度の状態が移動状態に対応する第１状態であるかまたは細胞分裂状態に対応する第２状態であるかを判定することによって、前記トラッキングの対象である細胞が移動状態であるかまたは細胞分裂状態にあるかを判定する状態判定部と、前記位置算出部によって算出された前記時間変化と前記状態判定部の判定結果とに基づき前記細胞のトラッキングの停止及び再開を制御しながら、前記細胞の移動状態を解析する移動状態算出部と、を備え、前記移動状態算出部は、前記状態判定部で前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態であると判定されると、前記位置算出部によって算出された前記時間変化に基づき前記細胞の移動状態を解析し、また、前記状態判定部によって前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態から前記第２状態に変化したと判定されると、前記位置算出部による前記時間変化の算出を停止することによって前記細胞のトラッキングを停止し、また、前記細胞のトラッキングを停止した後、前記状態判定部によって前記追跡領域の前記輝度情報が示す輝度の状態が前記第２状態から前記第１状態に変化したと判定されると、前記位置算出部による前記時間変化の算出を再開することによって前記細胞のトラッキングを再開し、再開した前記位置算出部によって算出された前記時間変化に基づき前記細胞の移動状態を解析する画像処理装置である。

【0006】

本発明の一態様は、時系列に撮像された複数の細胞画像に基づき細胞のトラッキングを実行するコンピュータに、前記複数の細胞画像の各々につき、前記細胞画像の輝度情報に基づき前記細胞に対応する追跡領域を抽出する抽出ステップと、前記抽出ステップで抽出された前記追跡領域の位置の時間変化を前記複数の細胞画像に基づいて算出し、前記時間変化に基づいて前記細胞をトラッキングするトラッキングステップと、前記細胞画像に基づいて、前記追跡領域の前記輝度情報が示す輝度の状態が移動状態に対応する第１状態であるかまたは細胞分裂状態に対応する第２状態であるかを判定することによって、前記トラッキングの対象である細胞が移動状態であるかまたは細胞分裂状態にあるか否かを判定する判定ステップと、前記トラッキングステップで算出された前記時間変化と前記判定ステップの判定結果とに基づき前記細胞のトラッキングの停止及び再開を制御しながら、前記細胞の移動状態を解析する解析ステップとを実行させるためのプログラムであって、前記解析ステップは、前記判定ステップで前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態であると判定されると、前記トラッキングステップで算出された前記時間変化に基づき前記細胞の移動状態を解析し、また、前記判定ステップで前記追跡領域の前記輝度情報が示す輝度の状態が前記第１状態から前記第２状態に変化したと判定されると、前記トラッキングステップでの前記時間変化の算出を停止することによって前記細胞のトラッキングを停止し、また、前記細胞のトラッキングを停止した後、前記判定ステップで前記追跡領域の前記輝度情報が示す輝度の状態が前記第２状態から前記第１状態に変化したと判定されると、前記トラッキングステップでの前記時間変化の算出を再開することによって前記細胞のトラッキングを再開し、再開した前記トラッキングステップで算出された前記時間変化に基づき前記細胞の移動状態を解析するプログラムである。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る画像処理装置の構成の一例を示す図である。

【図2】第１の実施形態に係る画像解析の画像の一例を示す図である。

【図3】図２に示した画像を分かりやすくするために、図２の画像を模式的に表した図である。

【図4】第１の実施形態に係る細胞のトラッキングの一例を示す図である。

【図5】第１の実施形態に係る画像処理の一例を示す図である。

【図6】第１の実施形態に係る移動状態算出処理の一例を示す図である。

【図7】第１の実施形態に係る細胞の移動速度のヒストグラムの一例を示す図である。

【図8】第１の実施形態に係る移動速度が大きい細胞の割合の評価結果の一例を示す図である。

【図9】第１の実施形態に係る細胞の移動速度のばらつきの評価結果の一例を示す図である。

【図10】第２の実施形態に係る画像処理装置の構成の一例を示す図である。

【図11】第２の実施形態に係る移動状態算出処理の一例を示す図である。

【図12】第２の実施形態に係る浮遊時間の計測に用いられる画像の一例を示す図である。

【図13】第２の実施形態に係る図１２に示した画像を分かりやすくするために、図１２の画像を模式的に表した図である。

【図14】第２の実施形態に係る浮遊時間のヒストグラムの一例を示す図である。

【図15】第３の実施形態に係る画像処理装置の構成の一例を示す図である。

【図16】第３の実施形態に係る移動状態算出処理の一例を示す図である。

【図17】第３の実施形態に係る領域対応づけ処理の一例を示す図である。

【図18】従来の細胞のトラッキングの一例を示す図である。

【発明を実施するための形態】

【0008】

（第１の実施形態）
以下、図面を参照しながら第１の実施形態について詳しく説明する。図１は、本実施形態に係る画像処理装置１の構成の一例を示す図である。画像処理装置１は、複数の時刻（例、後述の時刻Ｔ１から時刻Ｔ７など）において細胞Ｃがそれぞれ検出された複数の画像である画像Ｐを、細胞Ｃのトラッキングによって解析する。細胞Ｃのトラッキングとは、一例として、特定の条件に基づいて画像Ｐにおいて細胞Ｃの軌跡を算出して得ることを含む。細胞Ｃは、一例として、接着細胞（例、間葉系幹細胞、神経細胞、上皮細胞など）である。なお、画像処理装置１による本実施形態におけるトラッキング処理は、１つの細胞Ｃに対して時間ごとに実行されてもよいし、複数の細胞Ｃ（例、第１の細胞、第２の細胞、第３の細胞など）に対して時間ごとに並列に実行されてもよい。

【0009】

本実施形態における自動培養観察装置２００は、顕微鏡２と培養室（培養装置）２０とを備える。顕微鏡２は光学顕微鏡であり、一例として、位相差顕微鏡である。顕微鏡２は、一例として、ダークコントラストにおいて位相差観察を行い、１以上の細胞を検出する。顕微鏡２は、検出した細胞を画像Ｐとして撮像する。培養室２０は、容器に格納された細胞Ｃを培養するために、制御部等によって内部の温度や湿度が管理されたチャンバーを含む。また、本実施形態における自動培養観察装置２００は、顕微鏡２と培養室２０とが別々に配置されてもよいし、顕微鏡２が培養室２０の内部に配置されてもよい。なお、本実施形態において、顕微鏡２は、培養室２０と別体に分離した装置構成であってもよい。
画像Ｐは、一例として、複数のフレームからなる動画である。以下では、画像Ｐのｉ番目のフレームを画像Ｐｉなどということがある。なお、画像Ｐは、複数の撮影時刻において撮影されるタイムラプス画像であってもよい。

【0010】

画像処理装置１は、画像取得部１０と、制御部１１と、出力部１２と、記憶部１３とを備える。画像処理装置１は、例えばコンピュータである。なお、本実施形態では、一例として、画像処理装置１は、顕微鏡２とは独立して備えられる場合について説明するが、これに限らない。画像処理装置１は、顕微鏡２に一体となって備えられてもよい。

【0011】

画像取得部１０は、顕微鏡２から出力される画像Ｐを受信して取得する。
制御部１１は、追跡領域抽出部（領域抽出部）１１０と、位置算出部１１１と、状態判定部１１２と、停止制御部１１３と、移動状態算出部１１４とを備える。

【0012】

制御部１１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により実現され、追跡領域抽出部１１０と、位置算出部１１１と、状態判定部１１２と、停止制御部１１３と、移動状態算出部１１４とはそれぞれ、ＣＰＵがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）からプログラムを読み込んで処理を実行することにより実現されるモジュールである。

【0013】

追跡領域抽出部１１０は、輝度情報を用いて、細胞が撮像された画像Ｐから細胞の領域Ｒ（例、領域Ｒ１、領域Ｒ２など）を抽出する。領域Ｒには、輝度情報が示す輝度の状態が第１状態Ｘである追跡領域ＴＲと、輝度情報が示す輝度の状態が第２状態Ｙである追跡停止領域ＳＲとの少なくとも１つが含まれる。ここで輝度情報とは、一例として、位相差顕微鏡における細胞の観察光の位相差に基づく輝度値であり、輝度情報が示す輝度の状態とは、一例として、この輝度値によって示される状態（例、値が大きい状態、値が小さい状態など）である。輝度情報は、輝度値以外の輝度を示す値であってもよく、例えば、コントラストや、輝度（例、明るさ）に変換される前の位相差であってもよい。例えば、画像Ｐの所定領域（例、領域Ｒ）は、画像Ｐを構成している全ての画素のうち１つの画素又は複数の画素によって規定されている。また、例えば、画像Ｐにおける所定領域（例、領域Ｒ）の輝度情報は、該複数の画素の各輝度値又は平均輝度値であってもよい。

【0014】

第１状態Ｘとは、一例として、画像Ｐにおける特定部分（例、追跡領域など）の輝度値が所定の値と比較（例、演算）して該所定の値より小さい状態である。本実施形態において、輝度値が所定の値より小さい第１状態Ｘである例は、ダークコントラストの場合の一例である。第１状態Ｘは、例えば、所定の値に対する該特定部分の輝度値が相対的に又は絶対的に低い状態を含む。所定の値としては、一例として、画像Ｐの１番目のフレームの背景ＢＧ（例、後述の背景ＢＧ１など）の輝度値や、予め設定された輝度値に関する閾値が用いられる。背景ＢＧの輝度値は、背景ＢＧの全体から取得された輝度値の平均値であってもよいし、背景ＢＧの特定部分から取得された輝度値であってもよい。本実施形態では、所定の値として、画像Ｐの１番目のフレームの背景ＢＧの全体から取得された輝度値の平均値が、画像Ｐに含まれる全てのフレームに共通して用いられる場合の一例について説明する。

【0015】

また、上記の通り、第１状態Ｘとは、一例として、ダークコントラストにおいてコントラストが所定の値より小さい状態を含む。コントラストとは、一例として、画像における、観察光の位相差に基づく輝度値の差、明暗の差、又は濃淡である。本実施形態では、第１状態Ｘは、一例として、位相差に基づく輝度値が画像Ｐの背景ＢＧの輝度値よりも小さい状態である。また、追跡領域ＴＲは、画像Ｐにおいてトラッキングの対象である細胞Ｃが撮像された領域を含む。

【0016】

追跡領域抽出部１１０は、輝度情報が示す輝度に基づいて領域Ｒを抽出する。追跡領域抽出部１１０は、領域Ｒとして例えば追跡領域ＴＲを抽出する場合、まず、画像Ｐから輝度値が背景ＢＧの輝度値より小さい画素を抽出する。追跡領域抽出部１１０は、抽出した画素に基づいて境界（エッジ）を検出する。追跡領域抽出部１１０は、検出した境界（エッジ）に基づいて、追跡領域ＴＲの境界を示す連続する曲線を判定することによって追跡領域ＴＲを抽出する。

【0017】

本実施形態における領域Ｒは、１つの細胞Ｃに対応する領域である。上述したように細胞Ｃとは、一例として、接着細胞であり、また、細胞Ｃは分裂時には浮遊細胞となる。輝度情報が示す輝度の状態が第１状態Ｘである追跡領域ＴＲは、一例として接着細胞に対応する領域である。一方、輝度情報が示す輝度の状態が第２状態Ｙである追跡停止領域ＳＲは、一例として浮遊細胞に対応する領域である。

【0018】

位置算出部１１１は、追跡領域抽出部１１０が抽出した追跡領域ＴＲの位置の時間変化ＴＣを画像Ｐの複数のフレームに基づいて算出する。位置算出部１１１は、追跡領域ＴＲの代表点Ｇに基づいて追跡領域ＴＲの位置を算出する。ここで代表点Ｇは、追跡領域ＴＲに含まれる点のうち、追跡領域ＴＲの画像Ｐにおける位置を代表して示す１点である。代表点Ｇは、一例として細胞を含む追跡領域ＴＲの重心Ｇ１である。なお、点とは、画像Ｐの１画素を含む。

【0019】

状態判定部１１２は、追跡領域抽出部１１０が抽出した追跡領域ＴＲの輝度情報が示す輝度の状態が第１状態Ｘとは異なる第２状態Ｙであること、つまりトラッキングの対象である追跡領域ＴＲの輝度の状態が第１状態Ｘから第２状態Ｙへ変化したか、あるいは変化していないかを判定する。ここで第２状態Ｙとは、一例として、画像Ｐにおける特定部分（例、追跡領域など）の輝度値が所定の値より大きい状態である。本実施形態において、輝度値が所定の値より大きい第２状態Ｙである例は、ダークコントラストの場合の一例である。第２状態Ｙは、例えば、所定の値に対する該特定部分の輝度値が相対的に又は絶対的に高い状態を含む。また、第２状態Ｙとは、一例として、ダークコントラストにおいてコントラストが所定の値より大きい状態を含む。本実施形態では、第２状態Ｙとは、一例として、位相差に基づく輝度値が背景ＢＧの輝度値よりも大きい状態である。

【0020】

停止制御部１１３は、状態判定部１１２の判定結果に基づいて位置算出部１１１に時間変化ＴＣの算出を停止させる。この場合、例えば、停止制御部１１３は、追跡領域ＴＲの輝度情報が示す輝度の状態が第２状態Ｙになったことを示す該判定結果に基づいて、位置算出部１１１に時間変化ＴＣの算出を停止させる。また、ここで、輝度情報が示す輝度の状態が第２状態Ｙであると状態判定部１１２によって判定された領域を、追跡停止領域ＳＲという。

【0021】

移動状態算出部１１４は、位置算出部１１１の算出結果と、状態判定部１１２の判定結果とに基づいて追跡領域ＴＲの移動状態Ｍを算出する。ここで移動状態Ｍとは、追跡領域ＴＲの移動度を含む。移動度には、一例として、追跡領域ＴＲの代表点Ｇが移動した距離である移動距離、代表点Ｇの速度である移動速度、代表点Ｇの加速度である移動加速度、平均の移動速度、および平均の移動加速度などが含まれる。
このように、状態判定部１１２は、追跡領域ＴＲにおける輝度値の大小関係を用いて輝度の状態（第１状態、第２状態など）を判定し、移動状態算出部１１４は、状態判定部１１２が判定した輝度の状態に基づいて追跡領域ＴＲの移動状態Ｍを算出する。

【0022】

出力部１２は、移動状態算出部１１４が算出した移動状態Ｍを解析結果Ａに含めて提示部３に出力する。
記憶部１３は、制御部１１が処理に用いる各種の情報を記憶する。また、記憶部１３は、上記した算出結果、判定結果、及び／又は移動状態Ｍを細胞ごとに記憶する。この場合、記憶部１３は、記憶した細胞のトラッキング情報（例、位置算出部１１１の算出結果、状態判定部１１２の判定結果、及び／又は追跡領域ＴＲの移動状態Ｍなど）を格納して管理されたデータベースである。
提示部３は、画像処理装置１から出力される解析結果Ａを提示する。提示部３は、一例として、ディスプレイである。

【0023】

ここで図２から図４を参照し、画像処理装置１の細胞のトラッキング処理について説明する。
図２は、本実施形態に係る画像解析の画像Ｐの一例を示す図である。図３は、本実施形態に係る画像解析の一例であり、図２に示した画像を分かりやすくするために、図２の各図（例、図２（Ａ）など）に対応させて、図２の画像を模式的に描画した図である。図２及び図３に示す画像Ｐ１から画像Ｐ７はそれぞれ、画像Ｐの時刻Ｔ１から時刻Ｔ７におけるフレームである。

【0024】

追跡領域抽出部１１０は、追跡領域ＴＲとして追跡領域ＴＲ１を画像Ｐ１から抽出する。画像Ｐ１における追跡領域ＴＲ１の輝度値は、所定の値（閾値）として用いる画像Ｐ１における背景ＢＧ１（以後、背景ＢＧともいう）の輝度値よりも小さく、追跡領域ＴＲ１の輝度は第１状態Ｘにある。位置算出部１１１は、追跡領域ＴＲ１の重心Ｇ１の時間変化ＴＣとして、軌跡ＴＣ１を画像Ｐの複数のフレームに基づいて算出する。図３（Ａ）では、軌跡ＴＣ１は、画像Ｐ１を含む時刻Ｔ１以前の画像Ｐの複数のフレームに基づいて算出されている。このように、位置算出部１１１は、追跡領域抽出部１１０によって特定された追跡領域ＴＲ１を、複数のフレーム（例、画像Ｐ１、時刻Ｔ１以前の画像など）を含む画像Ｐを用いて算出する。

【0025】

図３（Ｂ）の画像Ｐ２では、画像Ｐ１における追跡領域ＴＲ１が追跡領域ＴＲ２へと変化し、これに伴い重心Ｇ１は重心Ｇ２へと移動している。また、時間変化ＴＣとして軌跡ＴＣ２が位置算出部１１１によって算出されている。

【0026】

図３（Ｃ）の画像Ｐ３では、画像Ｐ２における追跡領域ＴＲ２が、追跡領域ＴＲ３へと変化している。画像Ｐ３における追跡領域ＴＲ３の輝度値は、背景ＢＧの輝度値よりも大きい。この場合、状態判定部１１２は、追跡領域ＴＲ３の輝度情報が示す輝度の状態を第２状態Ｙであると判定する。そして、停止制御部１１３は、追跡領域ＴＲ３の輝度情報が示す輝度の状態が第２状態Ｙであるとの判定結果に基づいて位置算出部１１１に時間変化ＴＣの算出を停止させる。

【0027】

図３（Ｄ）から図３（Ｇ）の画像Ｐ４から画像Ｐ７における追跡領域ＴＲ４から追跡領域ＴＲ７は、それぞれ画像Ｐ３の追跡領域ＴＲ３が変化したものである。追跡領域ＴＲ４から追跡領域ＴＲ５の輝度値は、背景ＢＧの輝度値よりも大きい。追跡領域ＴＲ４から追跡領域ＴＲ５は、ダークコントラストにおいては背景ＢＧに比べて明るい領域として撮像されている。また、追跡領域ＴＲ６から追跡領域ＴＲ７の輝度値は、背景ＢＧの輝度値よりも小さい。追跡領域ＴＲ６から追跡領域ＴＲ７は、ダークコントラストにおいては背景ＢＧに比べて暗い領域として撮像されている。

【0028】

図４は、本実施形態に係る細胞Ｃのトラッキング処理の一例を示す図である。細胞Ｃ１と細胞Ｃ２とは、例えば図３における画像Ｐ１の追跡領域ＴＲ１と画像Ｐ２の追跡領域ＴＲ２とに相当し、細胞Ｃのトラッキングを開始した最初のフレームである１番目のフレームから２番目のフレームにおいてトラッキングが行われている。細胞Ｃ３は、例えば図３における画像Ｐ３の追跡領域ＴＲ３に相当し、細胞分裂の直前に浮遊している細胞である。ここで接着細胞の分裂時には浮遊細胞が出現する。浮遊している細胞は画像Ｐにおいて背景ＢＧに比べて明るい領域として撮像される。本実施形態に係る細胞のトラッキング処理では、浮遊していると判定された細胞については、トラッキングが停止される。

【0029】

そして、細胞Ｃ４１と細胞Ｃ４２とは、例えば図３における画像Ｐ６の追跡領域ＴＲ６に相当し、細胞Ｃ３から分裂した細胞である。細胞Ｃ４１と細胞Ｃ４２とについて、それぞれ独立に新たに本実施形態のトラッキング処理が開始される。細胞Ｃ４１と細胞Ｃ５１とは、新たにトラッキング処理が開始されてから数えて１番目のフレームから２番目のフレームにおいてトラッキングが行われている。一方で、細胞Ｃ４２と細胞Ｃ５２とは、新たにトラッキング処理が開始されてから数えて１番目のフレームから２番目のフレームにおいてトラッキングが行われている。
本実施形態に係る細胞のトラッキング処理では、１つの細胞の移動の解析の精度を高めるために、細胞移動と細胞分裂とが区別される。

【0030】

ここで比較のために、図１８を参照し、従来の細胞のトラッキング処理について説明する。図１８は、従来の細胞のトラッキング処理の一例を示す図である。細胞Ｃ１１、細胞Ｃ１２、細胞Ｃ１３、細胞Ｃ１４１、細胞Ｃ１５１、細胞Ｃ１４２、及び細胞Ｃ１５２は、それぞれ図４の細胞Ｃ１、細胞Ｃ２、細胞Ｃ３、細胞Ｃ４１、細胞Ｃ５１、細胞Ｃ４２、及び細胞Ｃ５２と同一の細胞である。

【0031】

図１８に示す通り、従来の細胞のトラッキング処理では、細胞Ｃ１１、細胞Ｃ１２、細胞Ｃ１３、細胞Ｃ１４１、及び細胞Ｃ１５１は、１番目のフレームから５番目のフレームにおいてトラッキングが行われている。従来の細胞のトラッキング処理では、分裂の直前に浮遊している細胞である細胞Ｃ１３について、細胞移動の状態である細胞Ｃ１１、及び細胞Ｃ１２とは区別されずに継続的にトラッキングが行われている。

【0032】

さらに分裂後の細胞である細胞Ｃ１４１、及び細胞Ｃ１５１について、細胞Ｃ１１、細胞Ｃ１２、及び細胞Ｃ１３から継続してトラッキングが行われている。また、分裂後の細胞である細胞Ｃ１４２、及び細胞Ｃ１５２について、新たにトラッキング処理が開始されている。

【0033】

上述したように、従来の細胞のトラッキング処理では、細胞移動と細胞分裂とが区別されておらず、細胞が分裂しているにもかかわらずトラッキングが継続したり、継続すべきトラッキングが途切れてしまったりしていた。トラッキングの結果が場合によって異なっており、解析条件が一律化できていなかった。

【0034】

次に図５及び図６を参照し、画像処理装置１の画像処理について説明する。図５は、本実施形態に係る画像処理の一例を示す図である。
ステップＳ１０：画像取得部１０は、顕微鏡２から出力される画像Ｐを取得する。画像取得部１０は、取得した画像Ｐを制御部１１に供給する。画像Ｐは、サンプル（例、細胞）の動画撮影又は静止画の連続撮影（例、タイムラプス撮影）によって得られる、１番目からｎ番目までのｎ枚のフレームからなるとする。

【0035】

ステップＳ２０：制御部１１は、移動状態算出処理を実行する。例えば、移動状態算出処理とは、画像Ｐに撮像されている細胞Ｃの移動状態Ｍを算出する処理である。
移動状態算出処理は画像Ｐの各フレーム（例、上記の１番目のフレーム、２番目のフレームなど）を単位として実行される。制御部１１は、１回のステップＳ２０の移動状態算出処理において１枚のフレームに対して移動状態算出処理を行う。制御部１１は、初回のステップＳ２０の移動状態算出処理においては、画像Ｐの１番目のフレームを処理の対象とする。

【0036】

以下の説明では、現在の移動状態算出処理において処理の対象となっているフレームをｉ番目のフレームという。現在の移動状態算出処理の直前の移動状態算出処理において処理の対象となっているフレームをｉ－１番目のフレームなどという。

【0037】

ここで図６を参照し、移動状態算出処理について説明する。図６は、本実施形態に係る移動状態算出処理の一例を示す図である。図６のステップＳ１１０からステップＳ１６０は、図５のステップＳ２０として実行される。

【0038】

ステップＳ１１０：追跡領域抽出部１１０は、画像Ｐから輝度値が画像Ｐの背景ＢＧの輝度値より小さい状態である領域Ｒを追跡領域ＴＲとして抽出する。例えば、追跡領域抽出部１１０は、画像Ｐから輝度情報が示す輝度の状態が第１状態Ｘである追跡領域ＴＲを抽出する。

【0039】

また、追跡領域抽出部１１０は、画像Ｐから輝度値が画像Ｐの背景ＢＧの輝度値より大きい状態（第２状態Ｙ）である領域を追跡停止領域ＳＲとして抽出する。ここで追跡領域抽出部１１０は、１つの追跡領域ＴＲ、及び１つの追跡停止領域ＳＲを抽出する。なお、追跡領域抽出部１１０は、上記した輝度値に基づき、複数の追跡領域ＴＲ、及び複数の追跡停止領域ＳＲを抽出してもよい。
なお、追跡領域抽出部１１０は、画像Ｐから輝度値が背景ＢＧの輝度値より大きい状態である領域Ｒまたは背景ＢＧの輝度値より小さい状態である領域Ｒのいずれも画像Ｐに存在しない場合には、いずれの領域も抽出しなくてよい。

【0040】

画像Ｐはダークコントラストにおいて撮像された位相差画像であるため、追跡領域ＴＲは背景ＢＧよりも低い輝度をもつ領域であり、追跡停止領域ＳＲは背景ＢＧよりも高い輝度をもつ領域である。

【0041】

ステップＳ１２０：位置算出部１１１は、追跡領域抽出部１１０が抽出した追跡領域ＴＲの代表点Ｇとして、追跡領域ＴＲの重心Ｇ１を抽出する。追跡領域ＴＲが複数ある場合、位置算出部１１１は、複数の追跡領域ＴＲのそれぞれについて重心Ｇ１を抽出する。位置算出部１１１は、抽出した重心Ｇ１の位置を示す情報である重心位置情報ＧＩ１を記憶部１３に記憶させる。

【0042】

なお、位置算出部１１１は、代表点Ｇとして重心Ｇ１の代わりに、代表点Ｇとして追跡領域ＴＲから所定の基準に基づいて選択した点を抽出してもよい。所定の基準とは、一例として、追跡領域ＴＲのうち輝度値が所定の値より大きい、または小さいことである。また、位置算出部１１１は、事前に決められた位置又はユーザからの入力指示等に基づいて、追跡領域ＴＲの内側の領域の任意の１点を代表点Ｇとして抽出してもよい。

【0043】

ステップＳ１３０：位置算出部１１１は、ステップＳ１２０において抽出した追跡領域ＴＲの重心Ｇ１の時間変化ＴＣを画像Ｐの複数のフレームに基づいて算出する。位置算出部１１１は、重心Ｇ１の時間変化ＴＣの一例として、重心Ｇ１の軌跡ＴＣ１を算出する。追跡領域ＴＲが複数ある場合、位置算出部１１１は、複数の追跡領域ＴＲのそれぞれについて、重心Ｇ１の時間変化ＴＣを画像Ｐの複数のフレームに基づいて算出する。

【0044】

ここで現在のｉ番目のフレームにおいて抽出された重心Ｇ１を重心Ｇ１ｉとし、ｉ－１番目のフレームにおいて抽出された重心Ｇ１を重心Ｇ１ｉ－１とする。位置算出部１１１は、重心Ｇ１ｉと、重心Ｇ１ｉ－１とを直線または曲線によって接続することによって重心Ｇ１の軌跡ＴＣ１を算出する。
つまり、位置算出部１１１は、追跡領域抽出部１１０が抽出した追跡領域ＴＲの重心Ｇ１を画像Ｐの複数のフレームごとに算出することによって軌跡ＴＣ１を算出する。

【0045】

ステップＳ１１０において複数の追跡領域ＴＲが抽出されている場合、位置算出部１１１は、現在のｉ番目のフレームにおいて抽出された複数の追跡領域ＴＲｉと、ｉ－１番目のフレームにおいて抽出された複数の追跡領域ＴＲｉ－１とを対応づける。以下、この対応づけの処理を、領域対応づけ処理という。
例えば、位置算出部１１１は、ｉ－１番目のフレームにおいて抽出された複数の追跡領域ＴＲｉ－１のうちｋ番目の追跡領域ＴＲである追跡領域ＴＲｉ－１，ｋとｉ番目のフレームにおいて抽出された複数の追跡領域ＴＲｉのうちｊ番目の追跡領域ＴＲである追跡領域ＴＲｉ，ｊとを、領域対応づけ処理によって対応づける。

【0046】

ここで領域対応づけ処理には、異なるフレーム間においてフレーム内の複数の領域を対応づける画像処理技術が用いられる。領域対応づけ処理では、一例として、異なるフレーム間において最も近くに位置する追跡領域ＴＲ同士（例、追跡領域ＴＲ間の距離が小さい領域同士）を対応づける。
位置算出部１１１は、ｉ－１番目のフレームにおいて抽出された追跡領域ＴＲｉ－１，ｋに対応する領域を、ｉ番目のフレームにおいて抽出された追跡領域ＴＲｉのなかから選択する。位置算出部１１１は、この選択の処理をｉ－１番目のフレームにおいて抽出された追跡領域ＴＲｉ－１の全てについて実行する。

【0047】

ｉ番目のフレームにおいて抽出された複数の追跡領域ＴＲｉの数の方が、ｉ－１番目のフレームにおいて抽出された複数の追跡領域ＴＲｉ－１の数よりも多い場合、複数の追跡領域ＴＲｉのなかにはｉ－１番目のフレームにおいて抽出された複数の追跡領域ＴＲｉ－１のいずれにも対応づけられない追跡領域ＴＲｉが存在する。この複数の追跡領域ＴＲｉ－１のいずれにも対応づけられない追跡領域ＴＲｉを、追跡領域ＴＲｉ、ｕとする。位置算出部１１１は、追跡領域ＴＲｉ、ｕの軌跡ＴＣ１の始点を、追跡領域ＴＲｉ、ｕの重心Ｇ１とする。

【0048】

追跡領域ＴＲ間の距離の算出には、例えば、追跡領域ＴＲの位置が用いられる。領域対応づけ処理において、追跡領域ＴＲの位置には、一例として、ステップＳ１２０において算出された重心Ｇ１が用いられる。

【0049】

ここでステップＳ１３０の処理を開始する前に、位置算出部１１１は、記憶部１３から重心位置情報ＧＩ１を読み出し、読み出した重心位置情報ＧＩ１に基づいて、上述した軌跡ＴＣ１を算出する処理を行う。また、位置算出部１１１は、算出した軌跡ＴＣ１を記憶部１３に記憶させる。

【0050】

ステップＳ１４０：状態判定部１１２は、追跡領域抽出部１１０が抽出した追跡領域ＴＲの輝度値が画像Ｐの背景ＢＧの輝度値より大きい状態であることを判定する。追跡領域ＴＲが複数ある場合、状態判定部１１２は、追跡領域抽出部１１０が抽出した追跡領域ＴＲの輝度値が画像Ｐの背景ＢＧの輝度値より大きい状態であることを複数の追跡領域ＴＲ毎に判定する。

【0051】

ここで現在のｉ番目のフレームにおいて抽出された追跡領域ＴＲを追跡領域ＴＲｉとする。現在のｉ番目のフレームにおいて抽出された追跡停止領域ＳＲを追跡停止領域ＳＲｉとする。ｉ－１番目のフレームにおいて抽出された追跡領域ＴＲを追跡領域ＴＲｉ－１とする。ｉ－１番目のフレームにおいて抽出された追跡停止領域ＳＲを追跡停止領域ＳＲｉ－１とする。

【0052】

状態判定部１１２は、ｉ番目のフレームにおいて抽出された追跡停止領域ＳＲｉと、ｉ－１番目のフレームにおいて抽出された追跡領域ＴＲｉ－１または追跡停止領域ＳＲｉ－１とを、上述した領域対応づけ処理によって対応づける。ここで状態判定部１１２は、算出した軌跡ＴＣ１に基づいて追跡停止領域ＳＲｉと、追跡領域ＴＲｉ－１または追跡停止領域ＳＲｉ－１とを対応づける。

【0053】

状態判定部１１２は、例えば、追跡停止領域ＳＲｉの重心Ｇ１ｉの位置と、追跡領域ＴＲｉ－１または追跡停止領域ＳＲｉ－１の重心Ｇ１ｉ－１の位置とが同じ軌跡ＴＣ１に含まれる場合、追跡停止領域ＳＲｉと、追跡領域ＴＲｉ－１または追跡停止領域ＳＲｉ－１とを対応づける。対応づけられた領域同士は、同じ細胞に対応している。
なお追跡停止領域ＳＲの重心Ｇ１については、ステップＳ１４０において状態判定部１１２が位置算出部１１１に算出させる。

【0054】

状態判定部１１２は、ｉ－１番目のフレームにおける追跡領域ＴＲｉ－１と、ｉ番目のフレームにおける追跡停止領域ＳＲｉとを対応づける場合、追跡領域ＴＲｉ－１が追跡停止領域ＳＲｉに変化したと判定する。つまり、状態判定部１１２は、ｉ－１番目のフレームにおける追跡領域ＴＲｉ－１の輝度値が画像Ｐの背景ＢＧの輝度値より大きい状態へｉ番目のフレームにおいて変化したと判定する。

【0055】

ステップＳ１５０：停止制御部１１３は、状態判定部１１２の判定結果に基づいて位置算出部１１１に時間変化ＴＣの算出を停止させて、追跡している細胞Ｃのトラッキングを終了する。つまり、位置算出部１１１は、輝度情報が示す輝度の状態が画像Ｐの背景ＢＧの輝度値より大きい状態である追跡領域ＴＲについて時間変化ＴＣの算出を停止する。

【0056】

なお、停止制御部１１３は、状態判定部１１２の判定結果と、以下の補助条件のいずれか１つ以上とを組み合わせた結果に基づいて位置算出部１１１に時間変化ＴＣの算出を停止させてもよい。
１番目の補助条件は、一例として、追跡領域ＴＲの面積が所定の値以下であることである。２番目の補助条件は、一例として、ｉ番目のフレームにおける追跡領域ＴＲｉと、ｉ－１番目のフレームにおける追跡領域ＴＲｉ－１との画像Ｐにおける距離が所定の値以上であることである。３番目の補助条件は、一例として、軌跡ＴＣ１を算出するのに用いられたフレームの数が所定の値以下であることである。３番目の補助条件において、フレームの数についての所定の値は、一例として２フレームである。

【0057】

ステップＳ１６０：移動状態算出部１１４は、位置算出部１１１の算出結果に基づいて追跡領域ＴＲの移動状態Ｍを算出する。ここで位置算出部１１１の算出結果は、状態判定部１１２の判定結果に基づいて停止制御部１１３によって時間変化ＴＣの算出が停止させられるまでの結果であるため、状態判定部１１２の判定結果に基づいている。
移動状態算出部１１４は、移動状態Ｍとして、例えば、重心Ｇ１の移動距離、及び重心Ｇ１の移動速度を算出する。移動状態算出部１１４は、算出した移動状態Ｍを出力部１２に供給する。
以上で制御部１１は、細胞Ｃを含む追跡領域ＴＲの移動状態算出処理を終了する。

【0058】

次に、図５に戻って画像処理装置１の画像処理の説明を続ける。
ステップＳ３０：制御部１１は、終了条件が満たされた否かを判定する。ここで終了条件とは、ステップＳ２０の移動状態算出処理を繰り返すことを終了するための条件である。終了条件は、一例として、画像Ｐの所定の数のフレームに対して移動状態算出処理が実行されることである。所定の数とは、例えば、画像Ｐを構成する全てのフレームの枚数（ｎ枚）である。所定の数は、画像Ｐを構成する全てのフレームの枚数未満の数であってもよい。

【0059】

制御部１１は、終了条件が満たされたと判定する場合（ステップＳ３０；ＹＥＳ）、ステップＳ４０の処理を実行する。一方、制御部１１は、終了条件が満たされていないと判定する場合（ステップＳ３０；ＮＯ）、画像Ｐのフレームのうち移動状態算出処理の対象となるフレームを現在のフレームから次のフレームへと変更する。例えば、制御部１１は、直前の移動状態算出処理においてｉ番目のフレームを処理の対象としていた場合、次回の処理の対象をｉ＋１番目のフレームへと変更する。その後、制御部１１は、ステップＳ２０に戻って移動状態算出処理を再び実行する。

【0060】

ステップＳ４０：出力部１２は、追跡領域ＴＲの代表点Ｇが移動した距離である移動距離、代表点Ｇの速度である移動速度、代表点Ｇの加速度である移動加速度、平均の移動速度、および平均の移動加速度などの少なくとも１つを含む解析結果Ａを提示部３に出力する。ここで出力部１２は、移動状態算出部１１４が算出した移動状態Ｍを解析結果Ａに含めて提示部３に出力する。
以上で、画像処理装置１は、画像処理（移動状態算出処理）を終了する。

【0061】

上述したようにステップＳ３０において終了条件が満たされていない場合、制御部１１は、ステップＳ２０に戻って移動状態算出処理を再び実行するため、ステップＳ１１０の追跡領域ＴＲを抽出する処理と、ステップＳ１３０の時間変化ＴＣを算出する処理とを再度実行する。

【0062】

つまり、追跡領域抽出部１１０は、停止制御部１１３が位置算出部１１１に時間変化ＴＣの算出を停止させた後、画像Ｐの複数のフレームから第１状態Ｘである追跡領域ＴＲを再度抽出する。位置算出部１１１は、停止制御部１１３が位置算出部１１１に時間変化ＴＣの算出を停止させた後、追跡領域抽出部１１０が再度抽出した追跡領域ＴＲの位置の時間変化ＴＣを複数の画像Ｐに基づいて算出する。

【0063】

図６の移動状態算出処理では、位置算出部１１１は、輝度情報が示す輝度の状態が画像Ｐの背景ＢＧの輝度値より大きい状態である追跡領域ＴＲについて時間変化ＴＣの算出を停止するため、位置算出部１１１によって算出される時間変化ＴＣから、輝度情報が示す輝度の状態が画像Ｐの背景ＢＧの輝度値より大きい状態である追跡領域ＴＲの重心Ｇ１は除外されている。
つまり、位置算出部１１１は、追跡領域ＴＲの輝度情報が示す輝度の状態が第２状態Ｙである場合の重心Ｇ１を除外して時間変化ＴＣを算出する。本実施形態に係る画像処理装置１では、細胞Ｃの移動状態Ｍの解析において、移動状態算出処理によって細胞Ｃが移動していない状態の時間を除外できるため、細胞Ｃが移動していない状態の時間を除外しない場合に比べて細胞Ｃの移動状態Ｍの解析の精度を高めることができる。ここで細胞Ｃが移動していない状態とは、細胞Ｃが細胞分裂の直前に浮遊している状態を含む。

【0064】

ここで図７から図９を参照し、上記した画像処理装置１の画像処理を用いて画像Ｐに撮像された複数の細胞Ｃの移動速度が解析された場合の解析結果Ａについて説明する。図７から図９では、解析結果Ａの一例として、細胞Ｃの遊走能に関する指標を用いて、コーティング剤や培地に含まれる栄養因子などの培養環境が遊走能に与える影響が評価されている。

【0065】

図７は、本実施形態に係る細胞Ｃの移動速度のヒストグラムの一例を示す図である。図７では、解析結果Ａとして、移動速度の複数の細胞Ｃについての分布がヒストグラムＨ１ａ、ヒストグラムＨ１ｂ、及びヒストグラムＨ１ｃとして示されている。これのヒストグラムでは、移動速度毎に複数の細胞Ｃの数Ｚが示されている。

【0066】

図７（Ａ）は、基準となる培養条件における複数の細胞Ｃの移動速度のヒストグラムＨ１ａを示す。図７（Ｂ）は、基準となる培養条件から変更された第１の培養条件において培養された複数の細胞Ｃの移動速度のヒストグラムＨ１ｂを示す。図７（Ｃ）は、基準となる培養条件から変更された第２の培養条件において培養された複数の細胞Ｃの移動速度のヒストグラムＨ１ｃを示す。

【0067】

図８は、本実施形態に係る移動速度が大きい細胞Ｃの割合の評価結果の一例を示す図である。図８では、解析結果Ａとして、図７のヒストグラムＨ１ａ、ヒストグラムＨ１ｂ、及びヒストグラムＨ１ｃのそれぞれに対して、移動速度が所定の値（例、評価指標となる閾値）より大きい細胞Ｃの割合が、割合ＲＡａ、割合ＲＡｂ、及び割合ＲＡｃとして示されている。

【0068】

図９は、本実施形態に係る細胞Ｃの移動速度のばらつきの評価結果の一例を示す図である。図９では、解析結果Ａとして、図７のヒストグラムＨ１ａ、ヒストグラムＨ１ｂ、及びヒストグラムＨ１ｃのそれぞれに対して、移動速度のばらつきＤＳａ、ばらつきＤＳｂ、及びばらつきＤＳｃとして示されている。

【0069】

本実施形態においては、顕微鏡２が位相差画像である画像Ｐをダークコントラストにおいて撮像する場合の一例について説明したが、これに限らない。顕微鏡２は、画像Ｐをブライトコントラストにおいて撮像してもよい。画像Ｐがブライトコントラストにおいて撮像される場合、例えば、第１状態Ｘとは輝度値が所定の値より大きい状態であり、第２状態Ｙとは、輝度値が所定の値より小さい状態である。

【0070】

本実施形態においては、第１状態Ｘと第２状態Ｙとを判定するために１種類の所定の値（例、背景ＢＧの輝度値）が用いられる場合の一例について説明したが、これに限らない。第１状態Ｘと第２状態Ｙとを判定するために２種類の所定の値が用いられてもよい。
２種類の所定の値が用いられる場合、ダークコントラストの一例では、第１状態Ｘとは、例えば、輝度値が第１の所定の値よりも小さい状態であり、第２状態Ｙとは、例えば、輝度値が第２の所定の値よりも大きい状態である。ここで第１の所定の値は、第２の所定の値よりも小さい。第１の所定の値は、例えば、背景ＢＧの輝度値である。第２の所定の値は、例えば、ユーザ等によって予め設定された輝度値や事前の実験結果などに基づいて予め設定された輝度値である。
なお、２種類の所定の値が用いられる場合、領域Ｒの輝度値が第１の所定の値と第２の所定の値との中間の値である場合、領域Ｒは、例えば、第１状態Ｘと第２状態Ｙとのいずれの状態とも判定されないか、もしくは第１状態Ｘと判定される。

【0071】

本実施形態においては、第１状態Ｘや第２状態Ｙが判定される場合に輝度値の所定の値として、画像Ｐの１番目のフレームの背景ＢＧの全体から取得された輝度値の平均値が、画像Ｐに含まれる全てのフレームに共通して用いられる場合の一例について説明したが、これに限らない。
上述したように、画像Ｐに含まれる全てのフレームに共通して用いられる所定の値として、背景ＢＧの特定部分から取得された輝度値が用いられてもよい。また、画像Ｐに含まれる全てのフレームに共通して用いられる所定の値として、画像Ｐの１番目のフレーム以外のフレーム（例、１番目以外のｉ番目のフレームや最後のフレーム）の背景ＢＧから取得される輝度値が用いられてもよい。画像Ｐに含まれる全てのフレームに共通して用いられる所定の値として、画像Ｐに含まれる１以上のフレームの背景ＢＧから取得される輝度値の平均値が、画像Ｐに含まれる全てのフレームに共通して用いられてもよい。
また、画像Ｐに含まれる全てのフレームに共通して用いられる所定の値は、ユーザ等によって予め設定された値であってもよい。予め設定された値は、画像Ｐに基づかずに設定されてよいし、事前の実験結果などに基づいて設定されてもよい。

【0072】

また、所定の値は、画像Ｐに含まれるフレーム毎に異なっていてもよい。例えば、画像Ｐに含まれるフレーム毎に異なる所定の値は、画像Ｐの各フレームの背景ＢＧから取得された輝度値がフレーム毎に用いられてもよい。また、例えば、画像Ｐに含まれるフレーム毎に異なる所定の値は、予め設定された複数の値がフレーム毎に用いられてもよい。

【0073】

以上に説明したように、本実施形態に係る画像処理装置１は、領域抽出部（この一例において、追跡領域抽出部１１０）と、位置算出部１１１と、状態判定部１１２と、移動状態算出部１１４とを備える。
領域抽出部（この一例において、追跡領域抽出部１１０）は、複数の時刻において細胞Ｃがそれぞれ検出された複数の画像（この一例において、画像Ｐの複数のフレーム）から輝度情報が示す輝度（この一例において、輝度値）の状態が第１状態Ｘ（この一例において、ダークコントラストにおいて輝度値が画像Ｐの背景ＢＧの輝度値より小さい状態）である追跡領域ＴＲを抽出する。
位置算出部１１１は、領域抽出部（この一例において、追跡領域抽出部１１０）が抽出した追跡領域ＴＲの位置の時間変化ＴＣを複数の画像（この一例において、画像Ｐの複数のフレーム）に基づいて算出する。
状態判定部１１２は、領域抽出部（この一例において、追跡領域抽出部１１０）が抽出した追跡領域ＴＲの輝度情報が示す輝度（この一例において、輝度値）の状態が第１状態Ｘ（この一例において、ダークコントラストにおいて輝度値が画像Ｐの背景ＢＧの輝度値より小さい状態）とは異なる第２状態Ｙ（この一例において、ダークコントラストにおいて輝度値が画像Ｐの背景ＢＧの輝度値より大きい状態）であることを判定する。
移動状態算出部１１４は、位置算出部１１１の算出結果と、状態判定部１１２の判定結果とに基づいて追跡領域ＴＲの移動状態Ｍ（この一例において、移動速度）を算出する。ここで位置算出部１１１の算出結果とは、一例として、追跡領域ＴＲの重心Ｇ１の時間変化ＴＣが算出された結果を含む。また、状態判定部１１２の判定結果とは、一例として、追跡領域ＴＲの輝度値が背景ＢＧの輝度値より大きい状態であることが判定された結果を含む。

【0074】

この構成により、本実施形態に係る画像処理装置１は、細胞分裂の直前に単一の細胞が浮遊しているか否かの判定結果を用いて該単一の細胞のトラッキングを行うことによって細胞のトラッキングの精度を高めることができるため、細胞が細胞分裂の直前に浮遊しているか否かの判定結果に基づかない場合に比べて、細胞の移動状態Ｍの解析の精度を高めることができる。

【0075】

また、本実施形態に係る画像処理装置１では、位置算出部１１１は、領域抽出部（この一例において、追跡領域抽出部１１０）が抽出した追跡領域ＴＲの位置（この一例において、重心Ｇ１）を複数の画像（この一例において、画像Ｐの複数のフレーム）ごとに算出することによって時間変化ＴＣを算出する。
この構成により、本実施形態に係る画像処理装置１では、時間変化ＴＣに基づいて細胞の移動状態Ｍの解析を実行できるため、時間変化ＴＣに基づかない場合に比べて細胞の移動状態Ｍの解析の精度を高めることができる。

【0076】

また、本実施形態に係る画像処理装置１では、位置算出部１１１は、追跡領域ＴＲの輝度情報が示す輝度（この一例において、輝度値）の状態が第２状態Ｙ（この一例において、ダークコントラストにおいて輝度値が画像Ｐの背景ＢＧの輝度値より大きい状態）である場合の追跡領域ＴＲの位置（この一例において、重心Ｇ１）を除外して時間変化ＴＣを算出する。
この構成により、本実施形態に係る画像処理装置１では、細胞分裂の直前に浮遊している細胞を移動状態Ｍの解析対象から除外してトラッキングができるため、細胞分裂の直前に浮遊している細胞を除外しない場合に比べて細胞の移動状態Ｍの解析の精度を高めることができる。

【0077】

細胞は細胞分裂時には細胞の重心の移動が瞬時に生じる。このため、トラッキング処理による遊走能解析において細胞分裂時の細胞に対してトラッキングを行ってしまうと、平均速度が過大評価されてしまうなどして、遊走能解析の解析結果に対するノイズとなり得る。また、上述したように、従来の細胞のトラッキング処理では、解析条件が一律化できておらず、遊走能解析の結果の数値にばらつきが生じる場合があった。
本実施形態に係る画像処理装置１では、トラッキング処理において細胞の移動距離と分裂とを区別することによって、遊走能解析の解析結果に対するノイズを除去できるため、細胞の移動状態Ｍの解析の精度を高めることができる。

【0078】

また、本実施形態に係る画像処理装置１では、移動状態Ｍとは追跡領域ＴＲの移動度を含む。
この構成により、本実施形態に係る画像処理装置１では、追跡領域ＴＲの移動度を算出できるため、細胞の移動度の解析の精度を、細胞が細胞分裂の直前に浮遊しているか否かの判定結果に基づかない場合に比べて高めることができる。

【0079】

また、本実施形態に係る画像処理装置１では、移動状態Ｍとは追跡領域ＴＲの移動度（この一例において、移動速度）を含む。
この構成により、本実施形態に係る画像処理装置１では、画像Ｐに撮像された複数の細胞のトラッキングの精度を高めることができるため、細胞が細胞分裂の直前に浮遊しているか否かの判定結果に基づかない場合に比べて、複数の細胞の移動状態Ｍの解析の精度を高めることができる。

【0080】

また、例えば、本実施形態に係る画像処理装置１では、観察手法（例、位相差観察法、微分干渉観察法）が位相差観察法であり観察条件がダークコントラストの場合、第１状態Ｘとは輝度情報が示す輝度（この一例において、輝度値）が所定の値（この一例において、背景ＢＧの輝度値）より小さい状態でありかつ第２状態Ｙとは輝度情報が示す輝度（この一例において、輝度値）が所定の値（この一例において、背景ＢＧの輝度値）より大きい状態である。例えば、観察手法が位相差観察法であり観察条件がブライトコントラストの場合、第１状態Ｘとは輝度情報が示す輝度（この一例において、輝度値）が所定の値（この一例において、背景ＢＧの輝度値）より大きい状態でありかつ第２状態Ｙとは輝度情報が示す輝度（この一例において、輝度値）が所定の値（この一例において、背景ＢＧの輝度値）より小さい状態である。
この構成により、本実施形態に画像処理装置１では、輝度情報が示す輝度（この一例において、輝度値）と所定の値（この一例において、背景ＢＧの輝度値）との大小に基づいて細胞のトラッキングができるため、輝度情報が示す輝度（この一例において、輝度値）と所定の値（この一例において、背景ＢＧの輝度値）との大小に基づいて細胞のトラッキングを行わない場合に比べて、細胞の移動状態Ｍの解析の精度を高めることができる。

【0081】

また、本実施形態に係る画像処理装置１では、所定の値は画像Ｐの背景ＢＧの輝度情報が示す輝度（この一例において、輝度値）を含む。
この構成により、本実施形態に係る画像処理装置１では、上述した画像処理の実行において、所定の値を設定する必要がない。複数の画像処理装置１を用いて上述した画像処理を実行させる場合に、複数の画像処理装置１毎に所定の値を設定しなくてもよいため複数の画像処理装置１間において、解析結果Ａを共有したり統合したりする場合などに汎用性が向上する。

【0082】

また、本実施形態に係る画像処理装置１では、位置算出部１１１は追跡領域ＴＲの代表点Ｇに基づいて追跡領域ＴＲの位置を算出する。
この構成により、本実施形態に係る画像処理装置１では、追跡領域ＴＲの代表点Ｇに基づいて細胞のトラッキングを実行できるため、代表点Ｇに基づかない場合に比べて細胞の移動状態Ｍの解析の精度を高めることができる。細胞のトラッキングを追跡領域ＴＲの代表点Ｇに基づかず行う場合、例えば、フレーム毎に追跡領域ＴＲの適当な点を選択して、選択した点に基づいて軌跡を算出することが考えられる。この場合、算出した軌跡は実際の細胞の軌跡よりも余計に細かく折れ曲がってしまう可能性がある。

【0083】

また、本実施形態に係る画像処理装置１では、代表点Ｇは追跡領域ＴＲの重心Ｇ１である。
この構成により、本実施形態に係る画像処理装置１では、細胞の重心に基づいてトラッキング処理を実行できるため、細胞の重心に基づいて細胞の移動状態Ｍの解析ができる。

【0084】

また、本実施形態に係る画像処理装置１は、領域抽出部（この一例において、追跡領域抽出部１１０）と、位置算出部１１１と、状態判定部１１２と、停止制御部１１３とを備える。停止制御部１１３は、状態判定部１１２の判定結果に基づいて位置算出部１１１に時間変化ＴＣの算出を停止させる。
この構成により、本実施形態に係る画像処理装置１では、追跡領域ＴＲの輝度情報が示す輝度（この一例において、輝度値）の状態が第２状態Ｙ（この一例において、ダークコントラストにおいて輝度値が画像Ｐの背景ＢＧの輝度値より大きい状態）であるか否かの判定結果に基づいて、分裂している細胞のトラッキングを停止できるため、分裂している細胞のトラッキングを停止しない場合に比べて細胞の移動状態Ｍの解析の精度を高めることができる。

【0085】

また、本実施形態に係る画像処理装置１では、領域抽出部（この一例において、追跡領域抽出部１１０）は、停止制御部１１３が位置算出部１１１に時間変化ＴＣの算出を停止させた後、複数の画像（この一例において、画像Ｐの複数のフレーム）から第１状態Ｘ（この一例において、ダークコントラストにおいて輝度値が画像Ｐの背景ＢＧの輝度値より小さい状態）である追跡領域ＴＲを再度抽出する。位置算出部１１１は、停止制御部１１３が位置算出部１１１に時間変化ＴＣの算出を停止させた後、領域抽出部（この一例において、追跡領域抽出部１１０）が再度抽出した追跡領域ＴＲの位置の時間変化ＴＣを複数の画像（この一例において、画像Ｐの複数のフレーム）に基づいて算出する。
この構成により、本実施形態に係る画像処理装置１では、トラッキングを停止した細胞についてトラッキング処理を再開できるため、トラッキング処理を再開しない場合に比べて細胞の移動状態Ｍの解析の精度を高めることができる。また、上記した画像処理を用いる本実施形態に係る画像処理装置１は、細胞分裂後において第１状態Ｘである追跡領域ＴＲを再度抽出することによって、分裂後の新たな細胞のトラッキングを開始できる。

【0086】

（第２の実施形態）
以下、図面を参照しながら第２の実施形態について詳しく説明する。
上記第１の実施形態では、画像処理装置が、第１状態である追跡領域の移動状態を算出する場合について説明をした。本実施形態では、画像処理装置が、追跡領域の輝度情報が示す輝度の状態が第２状態である時間を計測する場合について説明をする。
本実施形態に係る画像処理装置を画像処理装置１ａという。

【0087】

図１０は、本実施形態に係る画像処理装置１ａの構成の一例を示す図である。本実施形態に係る画像処理装置１ａ（図１０）と第１の実施形態に係る画像処理装置１（図１）とを比較すると、制御部１１ａが異なる。ここで、他の構成要素（画像取得部１０、出力部１２、及び記憶部１３）が備える機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。

【0088】

制御部１１ａは、追跡領域抽出部１１０と、位置算出部１１１と、状態判定部１１２と、停止制御部１１３と、移動状態算出部１１４と、分裂時間計測部（時間計測部）１１５ａとを備える。追跡領域抽出部１１０、位置算出部１１１、状態判定部１１２、停止制御部１１３、及び移動状態算出部１１４が備える機能は第１の実施形態と同じである。

【0089】

分裂時間計測部１１５ａは、状態判定部１１２の判定結果に基づいて浮遊時間ＴＤを計測する。ここで浮遊時間ＴＤとは、追跡領域ＴＲの輝度情報が示す輝度の状態が第２状態Ｙである時間の長さを含む。分裂時間計測部１１５ａは、一例として、第２状態Ｙと判定された画像Ｐのフレームの数によって浮遊時間ＴＤを計測する。ここで、分裂時間計測部１１５ａは、一例として、輝度値が高い追跡領域ＴＲを含む画像Ｐのフレームの数を、フレームレート間隔に基づいて換算することによって浮遊時間ＴＤを計測する。

【0090】

次に図１１を参照し、浮遊時間ＴＤの計測を伴う移動状態算出処理について説明する。図１１は、本実施形態に係る移動状態算出処理の一例を示す図である。図１１の移動状態算出処理は、図５の画像処理のステップＳ２０において実行される。
なお、ステップＳ２１０、ステップＳ２２０、ステップＳ２３０、ステップＳ２４０、ステップＳ２６０、及びステップＳ２７０の各処理は、図６におけるステップＳ１１０、ステップＳ１２０、ステップＳ１３０、ステップＳ１４０、ステップＳ１５０、及びステップＳ１６０の各処理と同様であるため、説明を省略する。

【0091】

ステップＳ２５０：分裂時間計測部１１５ａは、状態判定部１１２の判定結果に基づいて浮遊時間ＴＤを計測する。ここで分裂時間計測部１１５ａは、追跡領域抽出部１１０が抽出した追跡領域ＴＲの輝度値が画像Ｐの背景ＢＧの輝度値より大きい状態であると判定された場合に、複数のフレームを用いて追跡領域ＴＲの浮遊時間ＴＤを計測する。

【0092】

図６のステップＳ１４０において説明したように、状態判定部１１２は、ｉ－１番目のフレームにおける追跡領域ＴＲｉ－１と、ｉ番目のフレームにおける追跡停止領域ＳＲｉとを対応づける場合、追跡領域ＴＲｉ－１が追跡停止領域ＳＲｉに変化したと判定する。分裂時間計測部１１５ａは、状態判定部１１２の判定結果に基づいて、追跡停止領域ＳＲに対して、上述した領域対応づけ処理（この場合、分裂細胞対応づけ処理ともいう）を開始する。

【0093】

分裂時間計測部１１５ａは、領域対応づけ処理によって、ｉ番目のフレームにおける追跡停止領域ＳＲｉと、ｉ＋１番目のフレームにおける追跡停止領域ＳＲｉ＋１とを対応づける。分裂時間計測部１１５ａは、領域対応づけ処理を、追跡停止領域ＳＲｉ＋１と対応づけられるｉ＋２番目のフレームにおける追跡停止領域ＳＲｉ＋２が存在しない場合に終了する。

【0094】

分裂時間計測部１１５ａは、領域対応づけ処理において互いに対応づけをした追跡停止領域ＳＲｉが抽出されたフレームの数を、浮遊時間ＴＤとして計測する。

【0095】

ここで図１２を参照し、浮遊時間ＴＤの計測の一例について説明する。図１２は、本実施形態に係る浮遊時間ＴＤの計測に用いる画像の一例を示す図である。図１３は、図１２に示した画像を分かりやすくするために、図１２の画像を模式的に描画した図である。本実施形態の画像Ｐは、第１の実施形態と同様に、複数の時刻において細胞Ｃがそれぞれ検出された複数の画像（例、画像Ｐｉ－１、画像Ｐｉ）である。図１２及び図１３に示す画像Ｐｉ－１、画像Ｐｉ、画像Ｐｉ＋１、及び画像Ｐｉ＋２のそれぞれは、画像Ｐにおけるｉ－１番目のフレーム、ｉ番目のフレーム、ｉ＋１番目のフレーム、及びｉ＋２番目のフレームである。追跡領域抽出部１１０は、画像Ｐｉ－１、画像Ｐｉ、画像Ｐｉ＋１、及び画像Ｐｉ＋２のそれぞれから、追跡領域ＴＲｉ－１、追跡停止領域ＳＲｉ、追跡停止領域ＳＲｉ＋１、及び追跡領域ＴＲｉ＋２を抽出する。

【0096】

状態判定部１１２は、追跡領域ＴＲｉ－１と追跡停止領域ＳＲｉとを対応づけ、追跡領域ＴＲｉ－１が追跡停止領域ＳＲｉに変化したと判定する。分裂時間計測部１１５ａは、状態判定部１１２の判定結果に基づいて、領域対応づけ処理を開始する。分裂時間計測部１１５ａは、追跡停止領域ＳＲｉと、追跡停止領域ＳＲｉ＋１とを対応づける。画像Ｐｉ＋２からは追跡停止領域ＳＲは抽出されていないため、分裂時間計測部１１５ａは、領域対応づけ処理を終了する。

【0097】

分裂時間計測部１１５ａは、領域対応づけ処理において対応づけした追跡停止領域ＳＲｉと、追跡停止領域ＳＲｉ＋１とが抽出されたフレームの数を計測する。状態判定部１１２は、画像Ｐｉ、及び画像Ｐｉ＋１の数である２を浮遊時間ＴＤとして計測する。
なお、分裂時間計測部１１５ａは、計測した浮遊時間ＴＤを、画像Ｐの撮像におけるフレーム間隔に基づいて、フレームの数（例、上記の画像Ｐｉ、及び画像Ｐｉ＋１の数である２）から時間に換算してもよい。

【0098】

なお、図５に示したステップＳ４０において出力部１２は、浮遊時間ＴＤに基づく解析結果Ａａを提示部３に出力する。また、該出力部１２は、追跡領域ＴＲの移動状態Ｍと浮遊時間ＴＤとを含む解析結果を提示部３に出力するようにしてもよい。
ここで浮遊時間ＴＤは、細胞周期におけるＭ期（分裂期）の長さに相当していると考えられる。分裂時間計測部１１５ａは、接着細胞の分裂時に出現する浮遊細胞をトラッキングすることによって、細胞周期のＭ期の長さを推定して測定する。制御部１１ａは、Ｍ期の長さを測定することにより、Ｍ期チェックポイントの期間を間接的に測定し、細胞に与える影響を評価することができる。

【0099】

ここで図１４を参照し、浮遊時間の解析結果Ａａの具体例について説明する。図１４は、本実施形態に係る浮遊時間ＴＤのヒストグラムの一例を示す図である。図１４では、解析結果Ａａとして、浮遊時間ＴＤの複数の細胞Ｃについての分布がヒストグラムＨ２ａ、及びヒストグラムＨ２ｂとして示されている。これのヒストグラムでは、浮遊時間ＴＤ毎に複数の細胞Ｃの数Ｚが示されている。

【0100】

図１４（Ａ）は、基準となる培養条件における複数の細胞Ｃの浮遊時間ＴＤのヒストグラムＨ２ａを示す。図１４（Ｂ）は、基準となる培養条件から変更された第１の培養条件において培養された複数の細胞Ｃの浮遊時間ＴＤのヒストグラムＨ２ｂを示す。
ヒストグラムＨ２ｂのピークＰＫｂは、ヒストグラムＨ２ａのピークＰＫａよりも浮遊時間ＴＤが長い位置にあり、第１の培養条件では浮遊時間ＴＤが、基準となる培養条件よりも長い傾向がある。

【0101】

例えば、第１の培養条件では細胞Ｃが浮遊状態にある期間が基準となる培養条件よりも長く、基準となる培養条件に比べてＭ期チェックポイントが正常に作動していない可能性がある。したがって、本実施形態に係る画像処理装置１ａは、上記の解析結果Ａａに基づいて、がん細胞化の影響などを評価可能である。

【0102】

以上に説明したように、本実施形態に係る画像処理装置１ａは、時間計測部（この一例において、分裂時間計測部１１５ａ）を備える。時間計測部（この一例において、分裂時間計測部１１５ａ）は、状態判定部１１２の判定結果に基づいて追跡領域ＴＲの輝度情報が示す輝度の状態が第２状態Ｙである時間（浮遊時間ＴＤ）を計測する。
この構成により、本実施形態に係る画像処理装置１ａでは、浮遊時間ＴＤを用いて細胞周期におけるＭ期の長さを推定して測定できるため、Ｍ期の長さに基づいて細胞の状態を解析することができる。

【0103】

（第３の実施形態）
以下、図面を参照しながら第３の実施形態について詳しく説明する。
本実施形態では、画像処理装置が、画像内の領域が複数の領域に分かれた場合に、分かれる前の領域と、分かれた後の複数の領域とを対応づける場合について説明をする。
本実施形態に係る画像処理装置を画像処理装置１ｂという。

【0104】

図１５は、本実施形態に係る画像処理装置１ｂの構成の一例を示す図である。本実施形態に係る画像処理装置１ｂ（図１５）と第１の実施形態に係る画像処理装置１（図１）とを比較すると、制御部１１ｂが異なる。ここで、他の構成要素（画像取得部１０、出力部１２、及び記憶部１３）が持つ機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、第３の実施形態では、第１の実施形態と異なる部分を中心に説明する。

【0105】

制御部１１ｂは、追跡領域抽出部１１０と、位置算出部１１１と、状態判定部１１２と、停止制御部１１３と、移動状態算出部１１４と、ラベル付与部１１６ｂとを備える。追跡領域抽出部１１０、位置算出部１１１、状態判定部１１２、停止制御部１１３、及び移動状態算出部１１４が備える機能は第１の実施形態と同じである。

【0106】

ラベル付与部１１６ｂは、上述の異なるフレーム間において領域Ｒ同士を対応づけ、対応づけた領域Ｒを識別するラベル（例、グループ番号、識別子など）Ｌを、対応づけた領域Ｒに付与する。ここでラベル付与部１１６ｂがラベルＬを付与する領域Ｒには、追跡領域ＴＲと、追跡停止領域ＳＲとが含まれる。

【0107】

ここで図１６を参照し、領域ＲにラベルＬが付与される処理であるラベル付与処理を伴う移動状態算出処理について説明する。図１６は、本実施形態に係る移動状態算出処理の一例を示す図である。図１６の移動状態算出処理は、図５の画像処理のステップＳ２０において実行される。
なお、ステップＳ３１０、ステップＳ３２０、ステップＳ３３０、ステップＳ３６０、及びステップＳ３７０の各処理は、図６におけるステップＳ１１０、ステップＳ１２０、ステップＳ１３０、ステップＳ１５０、及びステップＳ１６０の各処理と同様であるため、説明を省略する。

【0108】

ステップＳ３４０：ラベル付与部１１６ｂは、対応づけた領域Ｒに対してラベルＬを付与するラベル付与処理を行う。ラベル付与部１１６ｂは、上述した領域対応づけ処理によって、ｉ－１番目のフレームにおいて抽出された領域Ｒｉ－１と、ｉ番目のフレームにおいて抽出された領域Ｒｉとを対応づける。

【0109】

ここで図１７を参照し、領域対応づけ処理の詳細について説明する。図１７は、本実施形態に係る領域対応づけ処理の一例を示す図である。
図１７では、ｉ－１番目のフレームである画像Ｐｉ－１と、ｉ番目のフレームである画像Ｐｉと、ｉ＋１番目のフレームである画像Ｐｉ＋１と、ｉ＋２番目のフレームである画像Ｐｉ＋２とが示されている。

【0110】

ラベル付与部１１６ｂは、領域対応づけ処理によって、ｉ＋２番目のフレームにおいて抽出された領域Ｒ１ｉ＋２と、ｉ＋１番目のフレームにおいて抽出された領域Ｒ１ｉ＋１とを対応づける。また、同様に、ラベル付与部１１６ｂは、領域対応づけ処理によって、ｉ＋２番目のフレームにおいて抽出された領域Ｒ２ｉ＋１と、ｉ＋１番目のフレームにおいて抽出された領域Ｒ２ｉ＋１とを対応づける。

【0111】

更に、ラベル付与部１１６ｂは、領域対応づけ処理によって、ｉ＋１番目のフレームにおいて抽出された領域Ｒ１ｉ＋１と、ｉ番目のフレームにおいて抽出された領域Ｒｉとを対応づける。また、同様に、ラベル付与部１１６ｂは、領域対応づけ処理によって、ｉ＋１番目のフレームにおいて抽出された領域Ｒ２ｉ＋１と、ｉ番目のフレームにおいて抽出された領域Ｒｉとを対応づける。ここで領域Ｒｉと領域Ｒ１ｉ＋１とは既に対応づけられているが、ラベル付与部１１６ｂは、領域Ｒｉに対してさらに領域Ｒ２ｉ＋１を対応づける。
つまり、ラベル付与部１１６ｂは、ｉ番目のフレームにおいて抽出された１つの領域Ｒｉに対してｉ＋１番目のフレームにおいて抽出された領域Ｒｉ＋１のなから複数の領域を対応づけてよい。

【0112】

ラベル付与部１１６ｂは、領域対応づけ処理によって、ｉ番目のフレームにおいて抽出された領域Ｒｉと、ｉ－１番目のフレームにおいて抽出された領域Ｒｉ－１とを対応づける。

【0113】

ラベル付与部１１６ｂは、対応づけた領域Ｒｉ－１と、領域Ｒｉと、領域Ｒ１ｉ＋１と、領域Ｒ２ｉ＋１と、領域Ｒ１ｉ＋２と、領域Ｒ２ｉ＋２とに、同一のラベルＬを付与する。つまり、ラベル付与部１１６ｂは、対応づけた領域Ｒの全てに対して、同一のラベル（例、第１のラベルＬ１）Ｌを付与し１つのグループとする。ここで領域ＲにラベルＬを付与するとは、領域ＲとラベルＬとを対応づけることである。

【0114】

なお、ラベル付与部１１６ｂは、さらに、領域Ｒ１ｉ＋１と、領域Ｒ１ｉ＋２とに同一のラベル（例、第２のラベルＬ２１）Ｌを付与し１つのグループとし、領域Ｒ２ｉ＋１と、領域Ｒ２ｉ＋２とに同一のラベル（例、第２のラベルＬ２２）Ｌを付与し１つのグループとしてもよい。第２のラベル（例、第２のラベルＬ２１、及び第２のラベルＬ２２）が付与されることによって、細胞Ｃが分裂する度に何世代目かが識別できる。このように、第２のラベルは、細胞Ｃの世代を識別するラベルとして用いることができる。

【0115】

なお、ラベル付与部１１６ｂは、領域Ｒが追跡領域ＴＲである場合には、ラベル付与処理において、ステップＳ３３０において位置算出部１１１によって実行される領域対応づけ処理の結果を用いてもよい。

【0116】

ステップＳ３５０：状態判定部１１２は、追跡領域抽出部１１０が抽出した追跡領域ＴＲの輝度値が画像Ｐの背景ＢＧの輝度値より大きい状態であることを、ステップＳ３４０のラベル付与処理の結果と組み合わせて判定する。
状態判定部１１２は、例えば、ラベルＬによって、追跡領域ＴＲｉが領域Ｒ１ｉ＋１と、領域Ｒ２ｉ＋１とに分かれたことを判定する。状態判定部１１２は、追跡領域ＴＲｉが２つの領域に分かれて、かつ輝度値が画像Ｐの背景ＢＧの輝度値より大きい場合に、判定した追跡領域ＴＲｉを追跡停止領域ＳＲｉとする。

【0117】

ラベル付与部１１６ｂは、付与したラベルＬを示す情報を、解析結果Ａｂに含めてよい。つまり、解析結果Ａｂには、細胞の系譜解析の情報が含まれる。
図５のステップＳ４０において出力部１２は、ラベルＬを含む解析結果Ａｂを提示部３に出力する。

【0118】

本実施形態に係る画像処理装置１ｂでは、細胞のトラッキングにおいて、ラベルＬに基づいて細胞が分裂したことを判定できるため、ラベルＬに基づかない場合に比べて細胞の移動状態Ｍの解析の精度を高めることができる。また、本実施形態に係る画像処理装置１ｂでは、ｉ番目のフレームにおいて抽出された追跡領域ＴＲｉが、ｉ＋１番目のフレームにおいて抽出された領域Ｒ１ｉ＋１と、領域Ｒ２ｉ＋１とに分かれたことをラベルＬに基づいて判定できるため、細胞の系譜解析を行うことができる。

【0119】

なお、上述した各実施形態においては、顕微鏡２が位相差顕微鏡である場合の一例について説明したが、これに限らない。顕微鏡２は、微分干渉顕微鏡であってもよい。微分干渉顕微鏡では、細胞Ｃを透過する光（観察光）の光路差（例、光路長の差）がコントラストに変換されて画像の輝度値が得られる。したがって、顕微鏡２が微分干渉顕微鏡である場合には、追跡領域ＴＲの輝度情報が示す輝度とは観察光の光路差に基づく輝度値である。この場合、一例として、第１状態Ｘとは、光路差が所定の値より小さく、輝度値が所定の値より小さい状態であり、第２状態Ｙとは光路差が所定の値より大きく、輝度値が所定の値より大きい状態である。

【0120】

したがって、追跡領域ＴＲの輝度情報が示す輝度とは、位相差、または光路差に基づく輝度値である。追跡領域ＴＲのコントラストが位相差、または光路差であるため、上述した各実施形態の画像処理装置１では、コントラストとして、位相差、または光路差を用いて、追跡領域ＴＲの状態を判定できるため、位相差画像や、微分干渉顕微鏡によって撮像された画像を解析の対象にできる。

【0121】

なお、上述した実施形態における画像処理装置１、１ａ、１ｂの一部、例えば、追跡領域抽出部１１０、位置算出部１１１、状態判定部１１２、停止制御部１１３、移動状態算出部１１４、分裂時間計測部１１５ａ、及びラベル付与部１１６ｂをサーバやクライアントのようなコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像処理装置１、１ａ、１ｂに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0122】

なお、例えば本実施形態は、コンピュータに、細胞が撮像された画像から輝度情報が示す輝度の状態が第１状態Ｘである追跡領域ＴＲを抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出された前記追跡領域ＴＲの位置の時間変化を複数の前記画像に基づいて算出する位置算出部ステップと、前記領域抽出ステップにおいて抽出された前記追跡領域ＴＲの輝度情報が示す輝度の状態が前記第１状態Ｘとは異なる第２状態Ｙであることを判定する状態判定ステップと、前記位置算出部ステップの算出結果と、前記状態判定ステップの判定結果とに基づいて前記追跡領域ＴＲの移動状態を算出する移動状態算出ステップとを実行させるためのプログラムである。

【0123】

また、例えば、本実施形態は、コンピュータに、細胞が撮像された画像から輝度情報が示す輝度の状態が第１状態Ｘである追跡領域ＴＲを抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出された前記追跡領域ＴＲの位置の時間変化を複数の前記画像に基づいて算出する位置算出ステップと、前記領域抽出ステップにおいて抽出された前記追跡領域ＴＲの輝度情報が示す輝度の状態が前記第１状態Ｘとは異なる第２状態Ｙであることを判定する状態判定ステップと、前記状態判定ステップの判定結果に基づいて前記時間変化の算出を停止させる停止制御ステップとを実行させるためのプログラムである。

【0124】

また、上述した実施形態における画像処理装置１、１ａ、１ｂの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像処理装置１、１ａ、１ｂの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【0125】

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0126】

１、１ａ、１ｂ…画像処理装置１、２…顕微鏡、１１０…追跡領域抽出部、１１１…位置算出部１１１、１１２…状態判定部、１１３…停止制御部１１３、１１４…移動状態算出部、１１５ａ…分裂時間計測部、１１６ｂ…ラベル付与部１１６ｂ、Ｘ…第１状態、Ｙ…第２状態、Ｒ…領域、ＴＲ…追跡領域、ＳＲ…追跡停止領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】