知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-27
(45)【発行日】2022-05-11
(54)【発明の名称】算出装置、算出プログラム及び算出方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220428BHJP
【ＦＩ】
G06T7/00 630
【請求項の数】
16
(21)【出願番号】P 2019571915
(86)(22)【出願日】2018-02-16
(86)【国際出願番号】 JP2018005511
(87)【国際公開番号】W WO2019159326
(87)【国際公開日】2019-08-22
【審査請求日】2020-08-12
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】八藤 磨生
(72)【発明者】
【氏名】古田 伸一
(72)【発明者】
【氏名】舛谷 真美子
(72)【発明者】
【氏名】林 世莉
【審査官】板垣 有紀
(56)【参考文献】
【文献】特表２０１７－５１９９８５（ＪＰ，Ａ）
【文献】特開２００７－０８０１３６（ＪＰ，Ａ）
【文献】特表２０１６－５２３５５０（ＪＰ，Ａ）
【文献】特開２０１０－１５７０７３（ＪＰ，Ａ）
【文献】福井 宏 他，プライバシーに配慮したＤｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋによるクラウド型顔照合システム，第２２回 画像センシングシンポジウム ＳＳＩＩ２０１６ ［ＵＳＢ］，日本，画像センシング技術研究会，2016年12月31日，IS1-24
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｃ１２Ｍ １／３４
(57)【特許請求の範囲】
【請求項1】
第１の細胞が撮像された基準画像を取得する基準画像取得部と、前記第１の細胞に対する条件とは異なる条件下の第２の細胞が撮像された比較画像を取得する比較画像取得部と、
前記基準画像を複数枚用いて算出される第１の特徴量と、前記比較画像を用いて算出される第２の特徴量との違いを算出する算出部とを備え、
前記複数の基準画像のそれぞれは、前記第１の細胞が培養される培養容器の複数の位置にそれぞれ対応する、
算出装置。
【請求項2】
前記第１の特徴量及び前記第２の特徴量は、複数種類の特徴量を含み、前記違いは、互いに対応する種類間の前記特徴量から算出される、請求項１に記載の算出装置。
【請求項3】
前記算出部は、複数の前記比較画像を用いて、複数の前記違いを算出し、複数の違いが所定の値より大きい前記比較画像を選択する画像選択部を備える、請求項１または請求項２に記載の算出装置。
【請求項4】
前記画像選択部が選択した結果を用いて、複数の前記比較画像から、前記算出部が算出した前記違いが所定の値より大きい前記比較画像の割合を算出する割合算出部を備える、請求項３に記載の算出装置。
【請求項5】
複数の前記比較画像の各々は、前記第２の細胞が培養される培養容器の複数の位置にそれぞれ対応し、前記画像選択部が選択した結果を用いて、前記算出部が算出した前記違いが所定の値より大きい前記比較画像に対応する前記位置を判定する位置判定部を備える、請求項３または請求項４に記載の算出装置。
【請求項6】
複数の前記比較画像は、時系列に撮像された複数の画像であり、前記算出部が算出した前記違いを用いて、前記時系列における時刻毎の前記違いを算出する時系列算出部を備える、請求項１から請求項５のいずれか一項に記載の算出装置。
【請求項7】
複数の前記比較画像は、前記第２の細胞に添加された化合物の濃度毎に撮像された複数の画像であり、前記算出部が算出した前記違いを用いて、前記濃度毎の前記違いを算出する濃度変化算出部を備える、請求項１から請求項６のいずれか一項に記載の算出装置。
【請求項8】
複数の前記比較画像は、前記第２の細胞に添加された化合物の種類毎に撮像された複数の画像であり、前記算出部が算出した前記違いを用いて、前記種類毎の前記違いを算出する種類変化算出部を備える、請求項１から請求項７のいずれか一項に記載の算出装置。
【請求項9】
前記基準画像取得部は、複数の種類の前記基準画像を取得し、前記算出部は、前記複数の種類の基準画像と前記比較画像とのそれぞれの違いを算出し、
前記算出部が算出した複数の前記違いを用い、前記比較画像を分類する分類部を備える、請求項１から請求項８のいずれか一項に記載の算出装置。
【請求項10】
複数の前記比較画像間の違いを算出する比較画像違い算出部と、前記比較画像間の前記違いが所定の値より大きい前記比較画像を、異常画像として選択する異常画像選択部とを備える、請求項１から請求項９のいずれか一項に記載の算出装置。
【請求項11】
前記比較画像間の前記違いが所定の範囲内であるか否かに基づいて、前記比較画像に撮像されている前記第２の細胞の培養状態を判定する培養状態判定部を備える、請求項１から請求項１０のいずれか一項に記載の算出装置。
【請求項12】
前記算出部は、前記基準画像を次元削減することにより前記第１の特徴量を算出し、前記比較画像を次元削減することにより前記第２の特徴量を算出する、請求項１から１１のいずれか一項に記載の算出装置。
【請求項13】
前記算出部は、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含み、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達するニューラルネットワークによって、前記第１の特徴量を算出する、請求項１２に記載の算出装置。
【請求項14】
前記算出部は、前記ニューラルネットワークを構成する前記中間層のうちいずれかの前記中間層の出力を用いる、請求項１３に記載の算出装置。
【請求項15】
コンピュータに、第１の細胞が撮像された基準画像を取得する基準画像取得ステップと、
前記第１の細胞に対する条件とは異なる条件下の第２の細胞が撮像された比較画像を取得する比較画像取得ステップと、
前記基準画像を複数枚用いて算出される第１の特徴量と、前記比較画像を用いて算出される第２の特徴量との違いを算出する算出ステップとを実行させるための、算出プログラムであって、
前記複数の基準画像のそれぞれは、前記第１の細胞が培養される培養容器の複数の位置にそれぞれ対応する、
算出プログラム。
【請求項16】
第１の細胞が撮像された基準画像を取得するステップと、前記第１の細胞に対する条件とは異なる条件下の第２の細胞が撮像された比較画像を取得するステップと、
前記基準画像を複数枚用いて算出される第１の特徴量と、前記比較画像を用いて算出される第２の特徴量との違いを算出するステップとを有し、
前記複数の基準画像のそれぞれは、前記第１の細胞が培養される培養容器の複数の位置にそれぞれ対応する、
算出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、算出装置、算出プログラム及び算出方法に関するものである。
【背景技術】
【0002】
生物科学や医学等において、生物の健康や疾患等の状態は、例えば、細胞や細胞内の小器官等の状態と関連性があることが知られている。そのため、これら関連性を解析することは、生物科学や医学等の諸処の課題を解決する一つの手段になる。細胞や細胞内の小器官等の状態を知るために、細胞や細胞の小器官等の状態を観察することが行われる。しかし、観察者の目視による細胞の観察は観察者の主観によるところが大きく、客観的な解析結果を得ることが困難である。細胞や組織片等を客観的に解析する技術として、例えば、画像処理を用いた技術が知られている（例えば、特許文献１参照）。従来から、細胞や組織片等を客観的に解析するための方法として、細胞や組織片等の画像の違いを定量化することが望まれていた。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許第９２８０６９８号明細書
【発明の概要】
【0004】
第１の細胞が撮像された基準画像を取得する基準画像取得部と、前記第１の細胞に対する条件とは異なる条件下の第２の細胞が撮像された比較画像を取得する比較画像取得部と、前記基準画像を複数枚用いて算出される第１の特徴量と、前記比較画像を用いて算出される第２の特徴量との違いを算出する算出部とを備え、前記複数の基準画像のそれぞれは、前記第１の細胞が培養される培養容器の複数の位置にそれぞれ対応する、算出装置である。
【0005】
本発明の第２の態様によると、コンピュータに、第１の細胞が撮像された基準画像を取得する基準画像取得ステップと、前記第１の細胞に対する条件とは異なる条件下の第２の細胞が撮像された比較画像を取得する比較画像取得ステップと、前記基準画像を複数枚用いて算出される第１の特徴量と、前記比較画像を用いて算出される第２の特徴量との違いを算出する算出ステップとを実行させるための、算出プログラムであって、前記複数の基準画像のそれぞれは、前記第１の細胞が培養される培養容器の複数の位置にそれぞれ対応する、算出プログラムである。
【0006】
本発明の第３の態様によると、第１の細胞が撮像された基準画像を取得するステップと、前記第１の細胞に対する条件とは異なる条件下の第２の細胞が撮像された比較画像を取得するステップと、前記基準画像を複数枚用いて算出される第１の特徴量と、前記比較画像を用いて算出される第２の特徴量との違いを算出するステップとを有し、前記複数の基準画像のそれぞれは、前記第１の細胞が培養される培養容器の複数の位置にそれぞれ対応する、算出方法である。
【図面の簡単な説明】
【0007】
【図1】本発明の第１実施形態による顕微鏡観察システムの構成の一例を示す図である。
【図2】本実施形態の算出装置が備える各部の機能構成の一例を示すブロック図である。
【図3】本実施形態の演算部の基準特徴量の算出の演算手順の一例を示す図である。
【図4】本実施形態のニューラルネットワークを用いた特徴量の算出方法の一例を示す図である。
【図5】本実施形態の演算部の複数の基準画像と１枚の比較画像との違いを定量化する演算手順の一例を示す流れ図である。
【図6】本実施形態の複数の基準画像と１枚の比較画像との違いを定量化する処理の一例を示す図である。
【図7】本実施形態の複数の比較画像に対する演算部の演算手順の一例を示す流れ図である。
【図8】本実施形態の複数の基準画像と複数の比較画像との違いを定量化する処理の一例を示す図である。
【図9】本発明の第２実施形態による算出装置が備える各部の機能構成の一例を示すブロック図である。
【図10】本実施形態の複数の比較画像に対する演算部の演算手順の一例を示す流れ図である。
【図11】本実施形態の複数の比較画像の反応割合の算出の一例を示す図である。
【図12】本実施形態の比較画像を選択する処理の一例を示す図である。
【図13】本実施形態のウェル内の位置を判定する処理の一例を示す図である。
【図14】本発明の第３実施形態による算出装置が備える各部の機能構成の一例を示すブロック図である。
【図15】本実施形態の演算部の演算手順の一例を示す流れ図である。
【図16】本実施形態の時系列毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。
【図17】本実施形態の化合物の濃度毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。
【図18】本実施形態の化合物の種類毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。
【図19】本発明の第４実施形態による算出装置が備える各部の機能構成の一例を示すブロック図である。
【図20】本実施形態の算出部による基準特徴量の算出手順の一例を示す流れ図である。
【図21】本実施形態の演算部による対象画像をクラスに分類する演算手順の一例を示す流れ図である。
【図22】本実施形態の対象画像の分類処理の一例を示す図である。
【図23】本発明の第５実施形態による算出装置が備える各部の機能構成の一例を示すブロック図である。
【図24】本実施形態の演算部１００ｄの培養状態を判定する演算手順の一例を示す図である。
【図25】本実施形態の培養状態判定処理の一例を示す図である。
【図26】本実施形態の演算部の演算手順の変形例を示す図である。
【図27】本実施形態のスフェロイドの断面画像の一例を示す図である。
【図28】本発明の第６実施形態による算出装置が備える各部の機能構成の一例を示すブロック図である。
【図29】本実施形態の演算部１００ｅによる画像を選択する演算手順の一例を示す図である。
【図30】本実施形態のスフェロイド画像の一例を示す図である。
【図31】本実施形態の演算部による基準代表特徴量を算出する演算手順の一例を示す流れ図である。
【発明を実施するための形態】
【0008】
［第１実施形態］
以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明の第１実施形態による顕微鏡観察システム１の構成の一例を示す図である。
以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明の第１実施形態による顕微鏡観察システム１の構成の一例を示す図である。
【0009】
顕微鏡観察システム１は、細胞等を撮像することにより取得される画像に対して、画像処理を行う。以下の説明において、細胞等を撮像することにより取得される画像を、単に細胞画像とも記載する。
顕微鏡観察システム１は、算出装置１０と、顕微鏡装置２０と、表示部３０とを備える。
顕微鏡観察システム１は、算出装置１０と、顕微鏡装置２０と、表示部３０とを備える。
【0010】
顕微鏡装置２０は、生物顕微鏡であり、電動ステージ２１と、撮像部２２（不図示）とを備える。電動ステージ２１は、所定の方向（例えば、水平方向の二次元平面内のある方向あるいは、垂直方向、軸回転方向）に、撮像対象物の位置を任意に稼働可能である。
撮像部２２は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）などの撮像素子を備えており、電動ステージ２１上の撮像対象物を撮像する。なお、顕微鏡装置２０に電動ステージ２１を備えていなくてもよく、ステージが所定方向に稼働しないステージ、もしくは、手動にて所定方向に稼働するステージとしても構わない。
撮像部２２は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）などの撮像素子を備えており、電動ステージ２１上の撮像対象物を撮像する。なお、顕微鏡装置２０に電動ステージ２１を備えていなくてもよく、ステージが所定方向に稼働しないステージ、もしくは、手動にて所定方向に稼働するステージとしても構わない。
【0011】
より具体的には、顕微鏡装置２０は、例えば、微分干渉顕微鏡（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｉｎｔｅｒｆｅｒｅｎｃｅ Ｃｏｎｔｒａｓｔ ｍｉｃｒｏｓｃｏｐｅ；ＤＩＣ）や位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡、二光子励起蛍光顕微鏡、ライトシート顕微鏡、ライトフィールド顕微鏡、ホログラフィック顕微鏡、光干渉断層撮像法(Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ ；ＯＣＴ)等の機能を有する。
顕微鏡装置２０は、電動ステージ２１上に載置された培養容器を撮像する。この培養容器とは、例えば、ウェルプレートＷＰやスライドチャンバ―などがある。顕微鏡装置２０は、ウェルプレートＷＰが有する多数のウェルＷの中に培養された細胞に光を照射することで、細胞を透過もしくは反射した光を細胞の画像として撮像する。これによって、顕微鏡装置２０は、細胞の透過ＤＩＣ画像や、位相差画像、暗視野画像、明視野画像等の画像を取得することができる。
さらに、細胞に励起光を照射することで、顕微鏡装置２０は、蛍光物質から発せられる蛍光を細胞の画像として撮像する。さらに、顕微鏡装置２０は、細胞中の発光物質からの発光あるいは燐光を細胞の画像として撮像する。
顕微鏡装置２０は、電動ステージ２１上に載置された培養容器を撮像する。この培養容器とは、例えば、ウェルプレートＷＰやスライドチャンバ―などがある。顕微鏡装置２０は、ウェルプレートＷＰが有する多数のウェルＷの中に培養された細胞に光を照射することで、細胞を透過もしくは反射した光を細胞の画像として撮像する。これによって、顕微鏡装置２０は、細胞の透過ＤＩＣ画像や、位相差画像、暗視野画像、明視野画像等の画像を取得することができる。
さらに、細胞に励起光を照射することで、顕微鏡装置２０は、蛍光物質から発せられる蛍光を細胞の画像として撮像する。さらに、顕微鏡装置２０は、細胞中の発光物質からの発光あるいは燐光を細胞の画像として撮像する。
【0012】
本実施形態では、細胞を生きたまま染色し、タイムラプス撮影することで、細胞刺激後の細胞の変化画像を取得する。本実施形態においては、蛍光融合タンパク質を発現させるか、もしくは細胞を生きたままで化学試薬などで染色するなどし、細胞画像を取得する。更に別の本実施形態では、細胞を固定して染色し、細胞画像を取得する。固定された細胞は代謝が止まる。したがって、細胞に刺激を加えた後、細胞内の経時変化を固定細胞で観察する場合には、細胞を播種した複数の細胞培養容器を用意する必要がある。例えば、プレートの中に複数のウェルがある場合には、ウェルを細胞培養容器としても構わない。この場合に、プレートの中のウェル毎に、刺激に対する異なる経過時間の固定細胞を用意しても構わない。もちろん、プレート毎に、刺激に対する異なる経過時間の固定細胞を用意しても構わない。
【0013】
また、顕微鏡装置２０は、生体物質内に取り込まれた発色物質そのものから発光或いは蛍光や、発色団を持つ物質が生体物質に結合することによって生じる発光或いは蛍光を、上述した細胞の画像として撮像してもよい。これにより、顕微鏡観察システム１は、蛍光画像、共焦点画像、超解像画像、二光子励起蛍光顕微鏡画像を取得することができる。
なお、細胞の画像を取得する方法は、光学顕微鏡に限られない。例えば、細胞の画像を取得する方法は、電子顕微鏡でも構わないすなわち、細胞の画像の種類は適宜選択しても構わない。
なお、細胞の画像を取得する方法は、光学顕微鏡に限られない。例えば、細胞の画像を取得する方法は、電子顕微鏡でも構わないすなわち、細胞の画像の種類は適宜選択しても構わない。
【0014】
本実施形態における細胞は、例えば、初代培養細胞や、株化培養細胞、組織切片の細胞等である。細胞を観察するために、観察される試料は、細胞の集合体や組織試料、臓器、個体（動物など）を用い観察し、細胞を含む画像として取得しても構わない。なお、細胞の状態は、特に制限されず、生きている状態であっても、或いは固定されている状態であってもよい。もちろん、生きている状態の情報と、固定されている情報とを組み合わせても構わない。
【0015】
また、細胞を、化学発光或いは蛍光タンパク質（例えば、導入された遺伝子（緑色蛍光タンパク質（ＧＦＰ）など）から発現された化学発光或いは蛍光タンパク質）で処理し、観察しても構わない。あるいは、細胞を、免疫染色や化学試薬による染色を用いて観察しても構わない。それらを組み合わせて観察しても構わない。例えば、細胞内の核内構造（例えば、ゴルジ体など）を判別する種類に応じて、用いる発光タンパク質を選択することも可能である。
【0016】
ウェルプレートＷＰは、１個ないし複数のウェルＷを有する。この一例では、ウェルプレートＷＰは、図１に示すように８×１２の９６個のウェルＷを有する。ウェルプレートＷＰが有するウェルＷの数はこれに限られず、６×８の４８個のウェルＷ、６×４の２４個のウェルＷ、３×４の１２個のウェルＷ、２×３の６個のウェルＷ、１２×３２の３８４個のウェルＷ、あるいは３２×４８の１５３６個のウェルＷを有していても構わない。細胞は、ウェルＷの中において、特定の実験条件のもと培養される。特定の実験条件とは、温度、湿度、培養期間、刺激が付与されてからの経過時間、付与される刺激の種類や強さ、濃度、量、刺激の有無、生物学的特徴の誘導等を含む。刺激とは、例えば、電気、音波、磁気、光等の物理的刺激や、物質や薬物の投与による化学的刺激等である。また、生物学的特徴とは、細胞の分化の段階や、形態、細胞数、細胞内の分子の挙動、オルガネラの形態や挙動、核内構造体の挙動、ＤＮＡ分子の挙動等を示す特徴である。
【0017】
図２は、本実施形態の算出装置１０が備える各部の機能構成の一例を示すブロック図である。算出装置１０は、顕微鏡装置２０によって取得された画像を解析するコンピュータ装置である。
算出装置１０は、演算部１００と、記憶部２００と、結果出力部３００とを備える。
算出装置１０は、演算部１００と、記憶部２００と、結果出力部３００とを備える。
【0018】
なお、算出装置１０によって画像処理される画像は、顕微鏡装置２０によって撮像される画像だけに限らず、例えば、算出装置１０が備える記憶部２００に予め記憶されている画像や、不図示の外部記憶装置に予め記憶されている画像であってもよい。
【0019】
演算部１００は、プロセッサが記憶部２００に格納されたプログラムを実行することにより機能する。また、これらの演算部１００の各機能部のうちの一部または全部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアによって構成されていてもよい。演算部１００は、基準画像取得部１０１と、比較画像取得部１０２と、算出部１０３とを備える。
【0020】
基準画像取得部１０１は、記憶部２００の基準画像記憶部２０２に記憶される複数の基準画像を取得し、取得した複数の基準画像を算出部１０３に供給する。ここで、基準画像とは、細胞が撮像されている画像であり、比較画像との比較に用いられる画像である。複数の基準画像は、同一の実験条件において細胞が培養された複数の画像である。複数の基準画像は、刺激が加えられていない細胞の画像であることが好ましい。
比較画像取得部１０２は、撮像部２２が撮像したひとつ以上の細胞画像をひとつ以上の比較画像として取得し、取得したひとつ以上の比較画像を算出部１０３に供給する。ここで、比較画像とは、複数の基準画像に撮像されている細胞と比較する対象である比較細胞が撮像されている画像である。比較画像は、例えば、刺激が加えられて所定の時間が経過した後の細胞の画像である。比較画像に撮像された細胞が培養された実験条件（刺激など、比較検討したい対象項目以外の実験条件）と、基準画像に撮像された細胞が培養された実験条件（刺激など、比較検討したい対象項目以外の実験条件）とは同じであることが好ましい。比較画像に撮像された細胞に対する実験条件と、基準画像に撮像された細胞に対する実験条件とは、比較検討したい項目以外は同じであることが好ましい。例えば、基準画像と比較画像とで、刺激を変えた場合には、刺激の条件以外は、基準画像に撮像された細胞に対する培養条件などの実験条件と、比較画像に撮像された細胞に対する培養条件などの実験条件とは同じであることが好ましい。刺激の条件としては、例えば、基準画像は細胞に刺激が加えられない条件の細胞画像で、比較画像は細胞に刺激が加えられた条件の細胞画像である。もちろん、刺激の条件としては、例えば、細胞に加えられる刺激としての薬液の種類が異なることでも構わない。
なお、以下では複数の基準画像を基準画像群と呼ぶことがある。また、ひとつ以上の比較画像を比較画像群と呼ぶことがある。
比較画像取得部１０２は、撮像部２２が撮像したひとつ以上の細胞画像をひとつ以上の比較画像として取得し、取得したひとつ以上の比較画像を算出部１０３に供給する。ここで、比較画像とは、複数の基準画像に撮像されている細胞と比較する対象である比較細胞が撮像されている画像である。比較画像は、例えば、刺激が加えられて所定の時間が経過した後の細胞の画像である。比較画像に撮像された細胞が培養された実験条件（刺激など、比較検討したい対象項目以外の実験条件）と、基準画像に撮像された細胞が培養された実験条件（刺激など、比較検討したい対象項目以外の実験条件）とは同じであることが好ましい。比較画像に撮像された細胞に対する実験条件と、基準画像に撮像された細胞に対する実験条件とは、比較検討したい項目以外は同じであることが好ましい。例えば、基準画像と比較画像とで、刺激を変えた場合には、刺激の条件以外は、基準画像に撮像された細胞に対する培養条件などの実験条件と、比較画像に撮像された細胞に対する培養条件などの実験条件とは同じであることが好ましい。刺激の条件としては、例えば、基準画像は細胞に刺激が加えられない条件の細胞画像で、比較画像は細胞に刺激が加えられた条件の細胞画像である。もちろん、刺激の条件としては、例えば、細胞に加えられる刺激としての薬液の種類が異なることでも構わない。
なお、以下では複数の基準画像を基準画像群と呼ぶことがある。また、ひとつ以上の比較画像を比較画像群と呼ぶことがある。
【0021】
算出部１０３は、複数の基準画像に基づいて算出される特徴量と、１枚の比較画像に基づいて算出される特徴量との違いを算出する。算出部１０３は、比較画像取得部１０２が算出部１０３に供給するひとつ以上の比較画像のそれぞれを、順番に１枚ずつ算出処理の対象とする。本実施形態においては、基準画像に基づいて算出される特徴量は、基準画像に含まれている、細胞の画像特徴を反映した値である。細胞の画像特徴とは、例えば、細胞画像の輝度、画像中の細胞面積、画像中の細胞画像の輝度の分散、形などが含まれる。すなわち、特徴量は、撮像される細胞画像から取得される情報から導出される特徴である。このように、特徴量には、細胞に関する画像特徴量が含まれる。
本実施形態においては、基準画像を用いて算出される特徴量には、複数の特徴量を含む。本実施形態においては、基準画像に基づいて算出される特徴量には、複数種類の特徴量を含む。ここで複数種類の特徴量とは、例えば、細胞画像の輝度や、画像中の細胞面積など、細胞画像から抽出される複数の特徴を表す特徴量である。このように、複数の基準画像に基づいて算出される特徴量には、複数の特徴量を含む。
なお、後述する特徴量を算出する方法において、細胞画像から抽出する特徴量をあらかじめ決めても構わない。例えば、少なくとも画像中の細胞面積を抽出することを決めて、算出される特徴量が少なくも画像中の細胞面積を反映する特徴量となるように算出しても構わない。また、細胞画像には、遺伝子、タンパク質、オルガネラなど、大きさが相違する複数の種類の生体組織の画像が含まれている。したがって、細胞画像に含まれる細胞を構成する要素を判定する。細胞を構成する要素の判定結果ごとに、細胞画像から抽出される特徴量を算出する。ここで、細胞の構成要素には、細胞核、リソソーム、ゴルジ体、ミトコンドリアなどの細胞小器官（オルガネラ）やオルガネラを構成するタンパク質などが含まれる。
本実施形態においては、基準画像を用いて算出される特徴量には、複数の特徴量を含む。本実施形態においては、基準画像に基づいて算出される特徴量には、複数種類の特徴量を含む。ここで複数種類の特徴量とは、例えば、細胞画像の輝度や、画像中の細胞面積など、細胞画像から抽出される複数の特徴を表す特徴量である。このように、複数の基準画像に基づいて算出される特徴量には、複数の特徴量を含む。
なお、後述する特徴量を算出する方法において、細胞画像から抽出する特徴量をあらかじめ決めても構わない。例えば、少なくとも画像中の細胞面積を抽出することを決めて、算出される特徴量が少なくも画像中の細胞面積を反映する特徴量となるように算出しても構わない。また、細胞画像には、遺伝子、タンパク質、オルガネラなど、大きさが相違する複数の種類の生体組織の画像が含まれている。したがって、細胞画像に含まれる細胞を構成する要素を判定する。細胞を構成する要素の判定結果ごとに、細胞画像から抽出される特徴量を算出する。ここで、細胞の構成要素には、細胞核、リソソーム、ゴルジ体、ミトコンドリアなどの細胞小器官（オルガネラ）やオルガネラを構成するタンパク質などが含まれる。
【0022】
なお、比較画像を用いて算出される特徴量に関しても、基準画像を用いて算出される特徴量と同様である。したがって、複数の比較画像に基づいて算出される特徴量は、複数の特徴量を含む。
算出部１０３は、基準特徴量算出部１０３１と、比較特徴量算出部１０３２と、代表特徴量算出部１０３３と、距離算出部１０３４とを備える。
算出部１０３は、基準特徴量算出部１０３１と、比較特徴量算出部１０３２と、代表特徴量算出部１０３３と、距離算出部１０３４とを備える。
【0023】
基準特徴量算出部１０３１は、基準画像取得部１０１が供給する基準画像群に含まれる基準画像のそれぞれの特徴量を、複数の基準特徴量として算出する。基準特徴量算出部１０３１は、算出した複数の基準特徴量を代表特徴量算出部１０３３に供給する。
比較特徴量算出部１０３２は、比較画像取得部１０２が供給するひとつ以上の比較画像に含まれる比較画像の特徴量を、比較特徴量として算出する。比較特徴量算出部１０３２は、算出した比較特徴量を距離算出部１０３４に供給する。
比較特徴量算出部１０３２は、比較画像取得部１０２が供給するひとつ以上の比較画像に含まれる比較画像の特徴量を、比較特徴量として算出する。比較特徴量算出部１０３２は、算出した比較特徴量を距離算出部１０３４に供給する。
【0024】
基準特徴量算出部１０３１は、基準画像を次元削減することによって、基準特徴量を算出する。比較特徴量算出部１０３２は、比較画像を次元削減することによって、比較特徴量を算出する。基準特徴量算出部１０３１が基準特徴量を算出する次元削減の方法と、比較特徴量算出部１０３２が比較特徴量を算出する次元削減の方法とは、特徴量を算出する対象となる画像が互いに異なる点を除けば同じである。この次元削減の詳細については後述する。
【0025】
代表特徴量算出部１０３３は、基準特徴量算出部１０３１が供給する複数の基準特徴量に基づいて、基準代表特徴量を算出する。ここで基準代表特徴量とは、複数の基準特徴量の分布の代表値である。代表特徴量算出部１０３３は、算出した基準代表特徴量を距離算出部１０３４に供給する。
【0026】
距離算出部１０３４は、代表特徴量算出部１０３３が供給する基準代表特徴量と、比較特徴量算出部１０３２が供給する比較特徴量とを用いて、基準代表特徴量と比較特徴量との距離を算出する。算出される距離は、複数の基準画像と比較画像との違いを表現している。本実施形態においては、複数の基準画像のそれぞれの基準特徴量から算出される代表値を用いているので、その基準代表特徴量に相当する画像と、比較画像との違いを表現している。ここで、複数の基準画像と比較画像との違いの大きさは、複数の基準画像に撮像された細胞の状態と、比較画像に撮像された細胞の状態との違いの大きさを表している。したがって、複数の基準画像と比較画像との違いの大きさが大きくなると、複数の基準画像に撮像された細胞の状態と、比較画像に撮像された細胞の状態とがより違う状態となる。ここで、細胞の状態の違いとは、例えば、細胞の刺激に対する反応の違いである。距離算出部１０３４は、算出した距離を結果出力部３００に供給する。
【0027】
ここで距離算出部１０３４が算出する距離とは、一例として、特徴量を示すひとつ以上の値同士のユークリッド距離である。この場合、算出部１０３が算出する違いとは、複数の基準画像を用いて算出される特徴量を示すひとつ以上の値と、比較画像を用いて算出される特徴量を示すひとつ以上の値との、対応する値同士の差に基づいて算出される値である。つまり、算出部１０３が算出する違いとは、複数の基準画像を用いて算出される特徴量を示すひとつ以上の値と、比較画像を用いて算出される特徴量を示すひとつ以上の値との、対応する値同士の関係に基づいて算出される値である。
【0028】
なお、距離算出部１０３４が算出する距離は、ユークリッド距離以外であってもよい。距離算出部１０３４が算出する距離は、例えば、標準ユークリッド距離、マハラノビス距離、マンハッタン距離、チェビシェフ距離、ミンコフスキー距離、コサイン類似度、ピアソンの積率相関であってもよい。
また、距離算出部１０３４が算出する距離は、外積（ウェッジ積）を応用した距離であってもよい。外積（ウェッジ積）を応用した距離は、以下のように算出される。まず、Ｎ次元のベクトルＡとＮ次元のベクトルＢとから、２つの次元の値を取り出し、２次元のベクトルａと２次元のベクトルｂとを作る。次に、２次元のベクトルａと２次元のベクトルｂとを２辺とする三角形もしくは平行四辺形の面積を算出する。上記の操作を、Ｎつの次元から２つの次元を選ぶ場合の数だけ繰り返し、Ｎ次元のベクトルＡとＮ次元のベクトルＢとから、ＮＣ２通りの次元の組合せについて上記の面積を算出する。ここで、Ｎつの次元から２つの次元を選ぶ場合の数をＮＣ２と表した。最後に、算出した面積の代表値（合計、平均または中央値など）をＮ次元のベクトルＡとＮ次元のベクトルＢとの距離とする。
また、距離算出部１０３４が算出する距離は、外積（ウェッジ積）を応用した距離であってもよい。外積（ウェッジ積）を応用した距離は、以下のように算出される。まず、Ｎ次元のベクトルＡとＮ次元のベクトルＢとから、２つの次元の値を取り出し、２次元のベクトルａと２次元のベクトルｂとを作る。次に、２次元のベクトルａと２次元のベクトルｂとを２辺とする三角形もしくは平行四辺形の面積を算出する。上記の操作を、Ｎつの次元から２つの次元を選ぶ場合の数だけ繰り返し、Ｎ次元のベクトルＡとＮ次元のベクトルＢとから、ＮＣ２通りの次元の組合せについて上記の面積を算出する。ここで、Ｎつの次元から２つの次元を選ぶ場合の数をＮＣ２と表した。最後に、算出した面積の代表値（合計、平均または中央値など）をＮ次元のベクトルＡとＮ次元のベクトルＢとの距離とする。
【0029】
記憶部２００は、次元削減情報記憶部２０１と、基準画像記憶部２０２とを備える。次元削減情報記憶部２０１には、基準特徴量算出部１０３１及び比較特徴量算出部１０３２が細胞画像の特徴量を算出する際に用いる次元削減の手続きを示す情報が記憶される。この次元削減の手続きを示す情報については後述する。基準画像記憶部２０２には、基準画像群が記憶される。
【0030】
結果出力部３００は、算出部１０３が供給する距離を表示部３０に出力する。なお、結果出力部３００は、算出部１０３が供給する距離を、表示部３０以外の出力装置や、記憶装置などに出力してもよい。
表示部３０は、結果出力部３００が出力する距離を表示する。
表示部３０は、結果出力部３００が出力する距離を表示する。
【0031】
図３は、本実施形態の演算部１００の基準特徴量の算出の演算手順の一例を示す流れ図である。なお、ここに示す演算手順は、一例であって、演算手順の省略や演算手順の追加が行われてもよい。
基準画像取得部１０１は、基準画像記憶部２０２に記憶される基準画像群Ｓ１を取得する（ステップＳ１００）。基準画像取得部１０１は、取得した基準画像群Ｓ１を基準特徴量算出部１０３１に供給する。
基準特徴量算出部１０３１は、基準画像取得部１０１が供給する基準画像群Ｓ１に含まれる基準画像のそれぞれの基準特徴量を算出する（ステップＳ１０１）。ここで基準特徴量算出部１０３１は、基準画像を次元削減することによって、基準特徴量を算出する。基準特徴量算出部１０３１は、算出した複数の基準特徴量を代表特徴量算出部１０３３に供給する。
本実施形態では、基準特徴量算出部１０３１は、多層ニューラルネットワークを用いて基準特徴量を算出する。多層ニューラルネットワークとは、ひとつ以上の中間層を含むニューラルネットワークである。ここで図４を参照し、基準特徴量算出部１０３１の基準特徴量の算出方法について説明する。
基準画像取得部１０１は、基準画像記憶部２０２に記憶される基準画像群Ｓ１を取得する（ステップＳ１００）。基準画像取得部１０１は、取得した基準画像群Ｓ１を基準特徴量算出部１０３１に供給する。
基準特徴量算出部１０３１は、基準画像取得部１０１が供給する基準画像群Ｓ１に含まれる基準画像のそれぞれの基準特徴量を算出する（ステップＳ１０１）。ここで基準特徴量算出部１０３１は、基準画像を次元削減することによって、基準特徴量を算出する。基準特徴量算出部１０３１は、算出した複数の基準特徴量を代表特徴量算出部１０３３に供給する。
本実施形態では、基準特徴量算出部１０３１は、多層ニューラルネットワークを用いて基準特徴量を算出する。多層ニューラルネットワークとは、ひとつ以上の中間層を含むニューラルネットワークである。ここで図４を参照し、基準特徴量算出部１０３１の基準特徴量の算出方法について説明する。
【0032】
図４は、本実施形態のニューラルネットワークを用いた特徴量の算出方法の一例を示す図である。
ニューラルネットワークＮは、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含む。ニューラルネットワークＮは、入力画像が入力層に入力されると、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達する。ここで、入力画像が入力層に入力されるとは、入力画像の画素の輝度値がそれぞれ入力層に入力されることである。したがって、ニューラルネットワークＮの入力層を構成するノードの数は、入力画像を構成する画素の数に等しい。ニューラルネットワークＮは、出力層まで伝達した情報に基づいて入力画像を所定の数のカテゴリに分類する。出力層のノードの数は、ニューラルネットワークＮが分類するカテゴリの数と等しい。本実施形態では、ニューラルネットワークＮの出力層のノードの数は、一例として１０００である。
また、ニューラルネットワークＮは、入力層のノードの数と出力層のノードの数とが等しいオートエンコーダーでもよい。一般的に、オートエンコーダーでは、中間層のノードの数は入力層のノードの数よりも少ないため、中間層において入力画像の特徴を効率的に抽出することができる。さらに、ニューラルネットワークＮは、入力層の数と出力層の数とが異なるオートエンコーダーでもよい。
ニューラルネットワークＮは、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含む。ニューラルネットワークＮは、入力画像が入力層に入力されると、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達する。ここで、入力画像が入力層に入力されるとは、入力画像の画素の輝度値がそれぞれ入力層に入力されることである。したがって、ニューラルネットワークＮの入力層を構成するノードの数は、入力画像を構成する画素の数に等しい。ニューラルネットワークＮは、出力層まで伝達した情報に基づいて入力画像を所定の数のカテゴリに分類する。出力層のノードの数は、ニューラルネットワークＮが分類するカテゴリの数と等しい。本実施形態では、ニューラルネットワークＮの出力層のノードの数は、一例として１０００である。
また、ニューラルネットワークＮは、入力層のノードの数と出力層のノードの数とが等しいオートエンコーダーでもよい。一般的に、オートエンコーダーでは、中間層のノードの数は入力層のノードの数よりも少ないため、中間層において入力画像の特徴を効率的に抽出することができる。さらに、ニューラルネットワークＮは、入力層の数と出力層の数とが異なるオートエンコーダーでもよい。
【0033】
ニューラルネットワークＮは、一例として、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）であり、中間層として、畳み込み層、プーリング層、連結層、及びドロップアウト層などを有する。中間層では、入力画像の特徴が抽出される。中間層において抽出される入力画像の特徴は、中間層が出力層の側に近いほど高次の特徴が抽出される。例えば、入力層に近い中間層では、入力画像の特徴として入力画像のエッジなど単純なパターンの特徴が抽出される。一方、出力層に近い中間層では、入力画像の特徴として複雑なパターンの特徴が抽出される。中間層において抽出される入力画像の特徴は、この中間層を構成するノードから出力される値の組によって表される。
本実施形態では、ニューラルネットワークＮの出力層と隣接する中間層Ｌ１の各ノードから出力される値の組が、細胞画像Ｃ１の特徴量として算出される。
本実施形態では、ニューラルネットワークＮの出力層と隣接する中間層Ｌ１の各ノードから出力される値の組が、細胞画像Ｃ１の特徴量として算出される。
【0034】
図３に戻って、演算部１００の基準特徴量の算出の演算手順の説明を続ける。ここで演算部１００の基準特徴量の算出の演算手順を、図６を参照しながら説明する。
図６は、複数の基準画像と１枚の比較画像との違いを定量化する処理の一例を示す図である。図６（Ａ）において、基準特徴量算出部１０３１は、基準画像群Ｓ１に含まれる基準画像をニューラルネットワークＮに入力する。ここで、基準特徴量算出部１０３１は、次元削減情報記憶部２０１に記憶されたニューラルネットワークＮを用いる。次元削減情報記憶部２０１に記憶されたニューラルネットワークＮは、一例として１２００万個の学習データを学習させたニューラルネットワークである。学習データに含まれる学習画像は、細胞画像であってもよいし、細胞画像以外の一般の画像であってもよい。このように、基準特徴量算出部１０３１は、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含み、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達するニューラルネットワークを用いることにより、入力された画像を次元削減することによって算出した特徴量を用いる。
図６は、複数の基準画像と１枚の比較画像との違いを定量化する処理の一例を示す図である。図６（Ａ）において、基準特徴量算出部１０３１は、基準画像群Ｓ１に含まれる基準画像をニューラルネットワークＮに入力する。ここで、基準特徴量算出部１０３１は、次元削減情報記憶部２０１に記憶されたニューラルネットワークＮを用いる。次元削減情報記憶部２０１に記憶されたニューラルネットワークＮは、一例として１２００万個の学習データを学習させたニューラルネットワークである。学習データに含まれる学習画像は、細胞画像であってもよいし、細胞画像以外の一般の画像であってもよい。このように、基準特徴量算出部１０３１は、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含み、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達するニューラルネットワークを用いることにより、入力された画像を次元削減することによって算出した特徴量を用いる。
【0035】
例えば、基準特徴量算出部１０３１は、ニューラルネットワークＮの最終出力層と隣接する中間層Ｌ１の各ノードから出力される値の組を、基準画像の基準特徴量として算出する。ここで基準特徴量の次元は、ニューラルネットワークＮの中間層Ｌ１のノードの数に等しい。本実施形態では、入力層のノードの数は、一例として６５５３６であり、中間層Ｌ１のノードの数は、一例として２０４８である。すなわち、入力画像の６５５３６次元の輝度情報が、基準特徴量の２０４８次元に次元削減される。基準特徴量の次元は２０４８に限られない。例えば、基準特徴量の次元は、５０以上が望ましい。
【0036】
代表特徴量算出部１０３３は、基準特徴量算出部１０３１が供給する複数の基準特徴量から、基準特徴量の次元ごとに基準代表特徴量ＦＣを算出する（ステップＳ１０２）。代表特徴量算出部１０３３は、基準特徴量の次元ごとに複数の基準特徴量の分布を生成し、生成した分布の代表値をそれぞれ基準代表特徴量ＦＣとして算出する。代表特徴量算出部１０３３は、複数の基準特徴量の値から基準特徴量に関する分布を生成し、生成した分布の代表値を用い、基準代表特徴量ＦＣを算出する。ここで分布の代表値は、例えば分布の平均値である。なお、分布の代表値として中央値や最頻値が用いられてもよい。代表特徴量算出部１０３３は、算出した基準代表特徴量ＦＣを距離算出部１０３４に供給する。
【0037】
図５は、本実施形態の演算部１００の複数の基準画像と１枚の比較画像との違いを定量化する演算手順の一例を示す流れ図である。
比較画像取得部１０２は、撮像部２２が撮像した細胞画像を比較画像として取得する（ステップＳ２００）。比較画像取得部１０２は、取得した１枚の比較画像を比較特徴量算出部１０３２に供給する。
比較画像取得部１０２は、撮像部２２が撮像した細胞画像を比較画像として取得する（ステップＳ２００）。比較画像取得部１０２は、取得した１枚の比較画像を比較特徴量算出部１０３２に供給する。
【0038】
比較特徴量算出部１０３２は、比較画像取得部１０２が供給するひとつ以上の比較画像群Ｇ１のうち１枚の比較画像Ｐ１の比較特徴量を算出する（ステップＳ２０１）。比較特徴量算出部１０３２は、次元削減手法としてニューラルネットワークを用いて比較画像Ｐ１の比較特徴量ＦＡ１を算出する。
図６（Ｂ）を参照しながら、複数の基準画像と１枚の比較画像Ｐ１との違いを定量化する処理について説明する。比較特徴量算出部１０３２は、比較画像群Ｇ１に含まれる比較画像Ｐ１をニューラルネットワークＮに入力する。ここで、比較特徴量算出部１０３２は、次元削減情報記憶部２０１に記憶されたニューラルネットワークＮを用いて特徴量を算出する。
比較特徴量算出部１０３２が算出する比較特徴量ＦＡ１とは、比較画像Ｐ１をニューラルネットワークＮに入力したときに中間層Ｌ１の各ノードから出力される値の組である。比較特徴量ＦＡ１の次元は、ニューラルネットワークＮの中間層Ｌ１のノードの数に等しい。比較特徴量算出部１０３２は、算出した比較特徴量ＦＡ１を距離算出部１０３４に供給する。
図６（Ｂ）を参照しながら、複数の基準画像と１枚の比較画像Ｐ１との違いを定量化する処理について説明する。比較特徴量算出部１０３２は、比較画像群Ｇ１に含まれる比較画像Ｐ１をニューラルネットワークＮに入力する。ここで、比較特徴量算出部１０３２は、次元削減情報記憶部２０１に記憶されたニューラルネットワークＮを用いて特徴量を算出する。
比較特徴量算出部１０３２が算出する比較特徴量ＦＡ１とは、比較画像Ｐ１をニューラルネットワークＮに入力したときに中間層Ｌ１の各ノードから出力される値の組である。比較特徴量ＦＡ１の次元は、ニューラルネットワークＮの中間層Ｌ１のノードの数に等しい。比較特徴量算出部１０３２は、算出した比較特徴量ＦＡ１を距離算出部１０３４に供給する。
【0039】
図５に戻って、演算部１００の演算手順の説明を続ける。
距離算出部１０３４は、代表特徴量算出部１０３３が供給する基準代表特徴量ＦＣと、比較特徴量算出部１０３２が供給する比較特徴量ＦＡ１との距離を算出する（ステップＳ２０２）。ここで、基準代表特徴量は、複数の基準画像に基づいて算出される特徴量である。また、比較特徴量は、比較画像に基づいて算出される特徴量である。したがって、算出部１０３は、基準特徴量算出部１０３１が算出する基準画像を次元削減することによって得られる特徴量から、代表特徴量算出部１０３３が算出する基準代表特徴量と、比較特徴量算出部１０３２が算出する比較画像を次元削減することによって得られる特徴量とを用いて、違いを算出する。つまり、算出部１０３は、基準画像取得部１０１が取得する基準画像と、比較画像取得部１０２が取得する比較画像と、基準画像および比較画像を次元削減することによって得られる特徴量とを用いて、複数の基準画像を用いて算出される特徴量と、比較画像を用いて算出される特徴量との違いを算出する。ここで違いとは、複数の基準画像に基づいて算出される代表特徴量と、比較画像に基づいて算出される特徴量との違いである。距離算出部１０３４は、算出した距離を結果出力部３００に供給する。
結果出力部３００は、距離算出部１０３４が供給する距離を表示部３０に表示させることにより結果を出力する（ステップＳ２０３）。
距離算出部１０３４は、代表特徴量算出部１０３３が供給する基準代表特徴量ＦＣと、比較特徴量算出部１０３２が供給する比較特徴量ＦＡ１との距離を算出する（ステップＳ２０２）。ここで、基準代表特徴量は、複数の基準画像に基づいて算出される特徴量である。また、比較特徴量は、比較画像に基づいて算出される特徴量である。したがって、算出部１０３は、基準特徴量算出部１０３１が算出する基準画像を次元削減することによって得られる特徴量から、代表特徴量算出部１０３３が算出する基準代表特徴量と、比較特徴量算出部１０３２が算出する比較画像を次元削減することによって得られる特徴量とを用いて、違いを算出する。つまり、算出部１０３は、基準画像取得部１０１が取得する基準画像と、比較画像取得部１０２が取得する比較画像と、基準画像および比較画像を次元削減することによって得られる特徴量とを用いて、複数の基準画像を用いて算出される特徴量と、比較画像を用いて算出される特徴量との違いを算出する。ここで違いとは、複数の基準画像に基づいて算出される代表特徴量と、比較画像に基づいて算出される特徴量との違いである。距離算出部１０３４は、算出した距離を結果出力部３００に供給する。
結果出力部３００は、距離算出部１０３４が供給する距離を表示部３０に表示させることにより結果を出力する（ステップＳ２０３）。
【0040】
なお、本実施形態では、基準特徴量算出部１０３１及び比較特徴量算出部１０３２が、ニューラルネットワークＮの中間層Ｌ１の各ノードから出力される値を、入力された細胞画像の特徴量として算出する場合について説明したが、基準特徴量算出部１０３１及び比較特徴量算出部１０３２は、中間層Ｌ１以外のニューラルネットワークＮの中間層の各ノードから出力される値を、入力された細胞画像の特徴量として算出してもよい。つまり、算出部１０３は、ニューラルネットワークＮを構成する中間層のうちいずれかの中間層の出力を用いてよい。
【0041】
また、算出部１０３は、ニューラルネットワークＮの出力層から出力される値を特徴量としてもよい。つまり、算出部１０３は、深層学習の判定結果を特徴量として用いてもよい。
また、ニューラルネットワークＮを構成する中間層はなく、入力層と出力層のみで構成されてもよい。
また、ニューラルネットワークＮを構成する中間層はなく、入力層と出力層のみで構成されてもよい。
【0042】
なお、本実施形態では、ニューラルネットワークＮの入力として、細胞画像の輝度値を入力する場合について説明したが、ニューラルネットワークＮには細胞画像の輝度値以外が入力されてもよい。例えば、画像解析により得られた細胞の平均輝度や面積を特徴量として入力してもよい。また、入力画像のＨＯＧ特徴量、フィルタ処理した特徴量、ＳＩＦＴ特徴量、ＳＵＲＦ特徴量などをニューラルネットワークＮに入力してもよい。
【0043】
なお、本実施形態では次元削減手法としてニューラルネットワークが用いられる場合について説明したが、ニューラルネットワーク以外の次元削減手法が用いられてもよい。例えば、主成分分析、ランダムプロジェクション、線形判別分析、多次元尺度構成法、ランダムフォレスト、Ｉｓｏｍｅｔｒｉｃ Ｍａｐｐｉｎｇ、Ｌｏｃａｌｌｙ Ｌｉｎｅａｒ Ｅｍｂｅｄｅｄｄｉｎｇ、Ｓｐｅｃｔｒａｌ Ｅｍｂｅｄｅｄｄｉｎｇなどの手法が用いられてもよい。
【0044】
以上説明したように、本実施形態の算出装置１０は、基準画像取得部１０１と、比較画像取得部１０２と、算出部１０３とを備える。基準画像取得部１０１は、細胞がそれぞれ撮像されている複数の画像である複数の基準画像を取得する。比較画像取得部１０２は、複数の基準画像に撮像されている細胞と比較する対象である比較細胞が撮像されている画像である比較画像を取得する。算出部１０３は、複数の基準画像を用いて算出される特徴量と、比較画像を用いて算出される特徴量との違いを算出する。
この構成により、算出装置１０は、複数の基準画像と比較画像との違いを定量化できるため、基準画像が１枚の場合に比較して、安定して定量化することが可能となる。例えば、１枚の基準画像に基づいて特徴量を算出する場合では、基準画像に撮像された細胞に対する実験条件の細胞を表す典型的な細胞を表す画像でない場合ある。例えば、細胞の固有の違いや、細胞に対する実験条件のばらつきにより、基準画像が撮像される培養容器内の複数の細胞が均一ではない可能である。実験条件のばらつきとは、細胞の染色工程でのばらつき、細胞の培養工程でのばらつきである。例えば、細胞により染色度合が異なり、結果としてそれらの細胞を撮像した場合に、撮像される細胞画像のタンパク質の輝度などの細胞を表す特徴量が異なる場合がある。そこで、本実施形態においては、複数の基準画像に基づいて算出される特徴量を用いることから、１枚の基準に基づいて算出される特徴量を用いる場合と比較して、複数の基準画像を用いるので、基準画像が撮像される培養容器内の複数の細胞の平均を表す特徴量を算出することができる。
この構成により、算出装置１０は、複数の基準画像と比較画像との違いを定量化できるため、基準画像が１枚の場合に比較して、安定して定量化することが可能となる。例えば、１枚の基準画像に基づいて特徴量を算出する場合では、基準画像に撮像された細胞に対する実験条件の細胞を表す典型的な細胞を表す画像でない場合ある。例えば、細胞の固有の違いや、細胞に対する実験条件のばらつきにより、基準画像が撮像される培養容器内の複数の細胞が均一ではない可能である。実験条件のばらつきとは、細胞の染色工程でのばらつき、細胞の培養工程でのばらつきである。例えば、細胞により染色度合が異なり、結果としてそれらの細胞を撮像した場合に、撮像される細胞画像のタンパク質の輝度などの細胞を表す特徴量が異なる場合がある。そこで、本実施形態においては、複数の基準画像に基づいて算出される特徴量を用いることから、１枚の基準に基づいて算出される特徴量を用いる場合と比較して、複数の基準画像を用いるので、基準画像が撮像される培養容器内の複数の細胞の平均を表す特徴量を算出することができる。
【0045】
また、複数の基準画像に基づいて算出される特徴量は、複数の特徴量を含む。この構成により、算出装置１０は、例えば、細胞画像の輝度や、画像中の細胞面積などを反映した特徴量を用いて、複数の基準画像と複数の比較画像との違いを定量化できる。
【0046】
また、算出部１０３は、基準画像取得部１０１が取得する基準画像と、比較画像取得部１０２が取得する比較画像と、前記基準画像および前記比較画像を次元削減することによって得られる特徴量とを用いて、基準画像群と比較画像との違いを算出する。
この構成により、算出装置１０は、従来手法では不安定だった細胞等の抽出結果を利用することなく、違いを定量化できるため、一般的な画像特徴量の算出による場合に比べて、安定して定量化することが可能となる。また、算出部１０３は、基準画像取得部１０１が取得する基準画像の次元を削減することができる。本実施形態では、細胞が撮像された画像の次元とは、細胞が撮像された画像を構成するピクセルの値である。例えば、細胞が撮像された画像が縦２００ピクセル、横２００ピクセルである場合には、細胞が撮像された画像４００００個のピクセルの値がある。したがって、細胞が撮像された画像の次元は４００００個である。ここで、画像の次元とは画像を構成する要素の数である。すなわち、４００００個の値を用いることで撮像された細胞の画像を表しているので、４００００個の値のそれぞれは、画像を構成する要素である。本実施形態においては、４００００次元から、次元を削減した値を算出する。次元を削減した値とは２０４８次元の値である。細胞が撮像された画像は４００００個のピクセルの値を用いて表現されていたが、次元を削減した２０４８次元の値でも細胞が撮像された画像を表現することが可能となった。なお、本実施形態では、画像を構成するピクセルの値は、２５６階調で表現されている。もちろん、画像を構成するピクセルの値は２５６階調に限られない。
この構成により、算出装置１０は、従来手法では不安定だった細胞等の抽出結果を利用することなく、違いを定量化できるため、一般的な画像特徴量の算出による場合に比べて、安定して定量化することが可能となる。また、算出部１０３は、基準画像取得部１０１が取得する基準画像の次元を削減することができる。本実施形態では、細胞が撮像された画像の次元とは、細胞が撮像された画像を構成するピクセルの値である。例えば、細胞が撮像された画像が縦２００ピクセル、横２００ピクセルである場合には、細胞が撮像された画像４００００個のピクセルの値がある。したがって、細胞が撮像された画像の次元は４００００個である。ここで、画像の次元とは画像を構成する要素の数である。すなわち、４００００個の値を用いることで撮像された細胞の画像を表しているので、４００００個の値のそれぞれは、画像を構成する要素である。本実施形態においては、４００００次元から、次元を削減した値を算出する。次元を削減した値とは２０４８次元の値である。細胞が撮像された画像は４００００個のピクセルの値を用いて表現されていたが、次元を削減した２０４８次元の値でも細胞が撮像された画像を表現することが可能となった。なお、本実施形態では、画像を構成するピクセルの値は、２５６階調で表現されている。もちろん、画像を構成するピクセルの値は２５６階調に限られない。
【0047】
また、算出部１０３は、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含み、各階層のノードが次階層のノードに対してノードごとに所定の重みづけをした情報を伝達するニューラルネットワークＮによって次元削減された特徴量を用いて、違いを算出する。
この構成により、算出装置１０は、学習により、最適化したニューラルネットワークを利用した次元削減手法を用いて、細胞画像同士の違いを定量化できるため、細胞画像から導出される特徴を反映した定量化をすることが可能となる。さらに、定量化においては、画像に撮像された細胞と類似度とに応じて、算出される距離を変えることが可能となる。本実施形態においては、画像の類似度が高い細胞同士の距離は近く、画像の類似度が低い細胞同士の距離は遠くすることが可能である。また、本実施形態においては、ニューラルネットワークを用いて次元を削減することで、用いる画像から導出される細胞の特徴を損なうことなく、次元を削減した特徴量とすることが可能となる。
この構成により、算出装置１０は、学習により、最適化したニューラルネットワークを利用した次元削減手法を用いて、細胞画像同士の違いを定量化できるため、細胞画像から導出される特徴を反映した定量化をすることが可能となる。さらに、定量化においては、画像に撮像された細胞と類似度とに応じて、算出される距離を変えることが可能となる。本実施形態においては、画像の類似度が高い細胞同士の距離は近く、画像の類似度が低い細胞同士の距離は遠くすることが可能である。また、本実施形態においては、ニューラルネットワークを用いて次元を削減することで、用いる画像から導出される細胞の特徴を損なうことなく、次元を削減した特徴量とすることが可能となる。
【0048】
また、算出部１０３は、ニューラルネットワークＮを構成する中間層のうちいずれかの中間層の出力を用いる。この構成により、算出装置１０は、ニューラルネットワークＮの最終出力層から出力される判定結果として集約される前の中間層の特徴量を用いることができるため、細胞画像の特徴量を用いて異なる実験条件の下において培養された細胞画像同士の違いを定量化できる。
【0049】
また、算出部１０３が算出する違いとは、複数の基準画像を用いて算出される特徴量を示すひとつ以上の値と、比較画像を用いて算出される特徴量を示すひとつ以上の値との、対応する値同士の関係に基づいて算出される値である。この構成により、算出装置１０は、異なる実験条件の下において培養された細胞画像同士の違いを、ユークリッド距離などの距離を用いて定量化できる。
【0050】
また、本実施形態の特徴量には、細胞に関する画像特徴量が含まれる。この構成により、算出装置１０は、撮像される細胞画像から取得される情報から導出される特徴に基づいて、複数の基準画像と比較画像との違いを定量化できる。
【0051】
[第１実施形態の変形例]
上記の実施形態においては、算出装置１０が、複数の基準画像に基づいて算出される特徴量と、１枚の比較画像に基づいて算出される特徴量との違いを算出する場合について説明した。ここでは変形例として、比較画像が複数ある場合、すなわち算出装置１０が、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される特徴量との違いを算出する場合について説明する。以下では上記の実施形態と異なる部分を中心に説明する。
上記の実施形態においては、算出装置１０が、複数の基準画像に基づいて算出される特徴量と、１枚の比較画像に基づいて算出される特徴量との違いを算出する場合について説明した。ここでは変形例として、比較画像が複数ある場合、すなわち算出装置１０が、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される特徴量との違いを算出する場合について説明する。以下では上記の実施形態と異なる部分を中心に説明する。
【0052】
図７は、複数の比較画像に対する演算部の演算手順の一例を示す流れ図である。
比較画像取得部１０２は、撮像部２２が撮像した複数の細胞画像を複数の比較画像として取得する（ステップＳ３００）。比較画像取得部１０２は、取得した複数の比較画像を比較画像群Ｇ１として比較特徴量算出部１０３２に供給する。
比較画像取得部１０２は、撮像部２２が撮像した複数の細胞画像を複数の比較画像として取得する（ステップＳ３００）。比較画像取得部１０２は、取得した複数の比較画像を比較画像群Ｇ１として比較特徴量算出部１０３２に供給する。
【0053】
比較特徴量算出部１０３２は、比較画像取得部１０２が供給する比較画像群Ｇ１に含まれる比較画像Ｐ１１～Ｐ１９それぞれの比較特徴量を算出する（ステップＳ３０１）。
ここで図８（Ｂ）を参照し、複数の基準画像と複数の比較画像との違いを定量化する処理について説明する。
図８は、本実施形態の複数の基準画像と複数の比較画像との違いを定量化する処理の一例を示す図である。比較特徴量算出部１０３２は、比較画像群Ｇ１に含まれる比較画像Ｐ１１～Ｐ１９をニューラルネットワークＮに入力する。比較特徴量算出部１０３２は、次元削減手法としてニューラルネットワークを用いて比較画像Ｐ１１～Ｐ１９毎に比較特徴量をそれぞれ算出する。
ここで図８（Ｂ）を参照し、複数の基準画像と複数の比較画像との違いを定量化する処理について説明する。
図８は、本実施形態の複数の基準画像と複数の比較画像との違いを定量化する処理の一例を示す図である。比較特徴量算出部１０３２は、比較画像群Ｇ１に含まれる比較画像Ｐ１１～Ｐ１９をニューラルネットワークＮに入力する。比較特徴量算出部１０３２は、次元削減手法としてニューラルネットワークを用いて比較画像Ｐ１１～Ｐ１９毎に比較特徴量をそれぞれ算出する。
【0054】
図７に戻って複数の比較画像に対する演算部の演算手順の説明を続ける。
比較特徴量算出部１０３２は、算出した複数の比較特徴量を代表特徴量算出部１０３３に供給する。
代表特徴量算出部１０３３は、比較特徴量算出部１０３２が供給する複数の比較特徴量から、比較特徴量の次元ごとに比較代表特徴量ＦＡを算出する（ステップＳ３０２）。ここで比較代表特徴量ＦＡとは、複数の比較特徴量の代表値である。代表特徴量算出部１０３３は、算出した比較代表特徴量ＦＡを距離算出部１０３４に供給する。
比較特徴量算出部１０３２は、算出した複数の比較特徴量を代表特徴量算出部１０３３に供給する。
代表特徴量算出部１０３３は、比較特徴量算出部１０３２が供給する複数の比較特徴量から、比較特徴量の次元ごとに比較代表特徴量ＦＡを算出する（ステップＳ３０２）。ここで比較代表特徴量ＦＡとは、複数の比較特徴量の代表値である。代表特徴量算出部１０３３は、算出した比較代表特徴量ＦＡを距離算出部１０３４に供給する。
【0055】
距離算出部１０３４は、代表特徴量算出部１０３３が供給する基準代表特徴量ＦＣと、代表特徴量算出部１０３３が供給する比較代表特徴量ＦＡとの距離を、複数の基準画像と複数の比較画像の違いとして算出する（ステップＳ３０３）。つまり、算出部１０３は、複数の基準画像にを用いて算出される特徴量と、複数の比較画像を用いて算出される特徴量との違いを算出する。
結果出力部３００は、距離算出部１０３４が供給する距離を表示部３０に表示させることにより結果を出力する（ステップＳ３０４）。
結果出力部３００は、距離算出部１０３４が供給する距離を表示部３０に表示させることにより結果を出力する（ステップＳ３０４）。
【0056】
以上説明したように、本変形例では、比較特徴量算出部１０３２は、複数の比較画像を取得する。算出部１０３は、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される特徴量との違いを算出する。
この構成により、複数の基準画像から算出される特徴量の代表値と、複数の比較画像から算出される特徴量の代表値とを用いて、複数の基準画像と複数の比較画像との違いを算出することができる。したがって、複数の基準画像と複数の比較画像との違いを、代表値の違いにより表現することができる。複数の基準画像と、複数の基準画像との違いをそれぞれの代表値を用い、違いを定量化させることで、例えば、基準画像のそれぞれの違いによる定量化への影響を抑制することができる。
この構成により、複数の基準画像から算出される特徴量の代表値と、複数の比較画像から算出される特徴量の代表値とを用いて、複数の基準画像と複数の比較画像との違いを算出することができる。したがって、複数の基準画像と複数の比較画像との違いを、代表値の違いにより表現することができる。複数の基準画像と、複数の基準画像との違いをそれぞれの代表値を用い、違いを定量化させることで、例えば、基準画像のそれぞれの違いによる定量化への影響を抑制することができる。
【0057】
また、複数の比較画像に基づいて算出される特徴量は、複数の特徴量を含む。この構成により、算出装置１０は、例えば、細胞画像の輝度や、画像中の細胞面積などを反映した特徴量を用いて、複数の基準画像と比較画像との違いを定量化できる。
【0058】
［第２実施形態］
以下、図面を参照しながら本発明の第２の実施形態について説明する。
上記第１の実施形態では、算出装置が、複数の基準画像と比較画像との違いを定量化する場合について説明した。本実施形態では、算出装置が、定量化した基準画像と比較画像との違いが所定の値より大きい比較画像を選択する場合について説明する。
以下、図面を参照しながら本発明の第２の実施形態について説明する。
上記第１の実施形態では、算出装置が、複数の基準画像と比較画像との違いを定量化する場合について説明した。本実施形態では、算出装置が、定量化した基準画像と比較画像との違いが所定の値より大きい比較画像を選択する場合について説明する。
【0059】
図９は、本実施形態による算出装置１０ａが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置１０ａ（図９）と、第１の実施形態に係る算出装置１０（図２）とを比較すると、選択部１０４、割合算出部１０５、及び位置判定部１０６の有無が異なる。しかし、他の構成要素が持つ機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。
【0060】
選択部１０４は、距離算出部１０３４が算出した距離が所定の値より大きい比較画像を選択する。選択部１０４は、選択した結果を割合算出部１０５、位置判定部１０６、及び結果出力部３００に供給する。
割合算出部１０５は、選択部１０４が選択した結果に基づいて、複数の比較画像から、距離算出部１０３４が算出した距離が所定の値より大きい比較画像の割合を算出する。割合算出部１０５は、算出した結果を結果出力部３００に供給する。
位置判定部１０６は、選択部１０４が選択した結果に基づいて、距離算出部１０３４が算出した距離が所定の値より大きい比較画像に対応するウェルＷの位置を判定する。位置判定部１０６は、判定した結果を結果出力部３００に供給する。
割合算出部１０５は、選択部１０４が選択した結果に基づいて、複数の比較画像から、距離算出部１０３４が算出した距離が所定の値より大きい比較画像の割合を算出する。割合算出部１０５は、算出した結果を結果出力部３００に供給する。
位置判定部１０６は、選択部１０４が選択した結果に基づいて、距離算出部１０３４が算出した距離が所定の値より大きい比較画像に対応するウェルＷの位置を判定する。位置判定部１０６は、判定した結果を結果出力部３００に供給する。
【0061】
図１０は、本実施形態の複数の比較画像に対する演算部１００ａの演算手順の一例を示す流れ図である。なお、ステップＳ４００、ステップＳ４０１及びステップＳ４０２の各処理は、図７におけるステップＳ３００及びステップＳ３０１、及びステップＳ３０２の各処理と同様であるため、説明を省略する。
選択部１０４は、距離算出部１０３４が算出した距離が所定の値より大きい比較画像を選択する（ステップＳ４０３）。つまり、選択部１０４は、距離算出部１０３４が算出した違いが所定の値より大きい比較画像を選択する。選択部１０４は、選択した比較画像を示す情報を割合算出部１０５に供給する。
選択部１０４は、距離算出部１０３４が算出した距離が所定の値より大きい比較画像を選択する（ステップＳ４０３）。つまり、選択部１０４は、距離算出部１０３４が算出した違いが所定の値より大きい比較画像を選択する。選択部１０４は、選択した比較画像を示す情報を割合算出部１０５に供給する。
【0062】
割合算出部１０５は、選択部１０４が供給する比較画像を示す情報に基づいて、複数の比較画像Ｐ２１～Ｐ２９から、距離算出部１０３４が算出した距離が所定の値より大きい比較画像の割合を、加えられた刺激に対する反応を示す細胞が撮像されている比較画像の割合として算出する（ステップＳＳ４０４）。つまり、割合算出部１０５は、選択部１０４が選択した結果を用いて、複数の比較画像から、算出部１０３が算出した違いが所定の値より大きい比較画像の割合を算出する。割合算出部１０５は、算出した割合を示す情報を結果出力部３００に供給する。
ここで図１１を参照し、複数の比較画像の反応割合の算出の処理について説明する。
ここで図１１を参照し、複数の比較画像の反応割合の算出の処理について説明する。
【0063】
図１１は、本実施形態の複数の比較画像の反応割合の算出の一例を示す図である。比較特徴量算出部１０３２は、比較画像Ｐ２１～Ｐ２９のそれぞれについて比較特徴量を算出する。距離算出部１０３４は、比較特徴量算出部１０３２が算出した比較特徴量それぞれについて、基準画像群Ｓ１から算出される基準代表特徴量との距離ｄ１～ｄ９を算出する。選択部１０４は、距離算出部１０３４が算出した距離ｄ１～ｄ９のなかから所定の値以上である距離を判定する。ここで所定の値とは例えば３．０である。図１１に示す例では、ｄ２、ｄ３、ｄ４、ｄ５、及びｄ９が所定の値以上である。選択部１０４は、比較画像Ｐ２１～Ｐ２９の中から、ｄ２、ｄ３、ｄ４、ｄ５、及びｄ９のそれぞれに対応する比較画像Ｐ２２、比較画像Ｐ２３、比較画像Ｐ２４、比較画像Ｐ２５、及び比較画像Ｐ２９を選択する。図１１に示す例では、割合算出部１０５は、距離が所定の値より大きい比較画像の割合を、９分の５として算出する。
図１０に戻って、複数の比較画像に対する演算部１００ａの演算手順の説明を続ける。
図１０に戻って、複数の比較画像に対する演算部１００ａの演算手順の説明を続ける。
【0064】
表示部３０は、複数の比較画像が含まれるウェルのうち、所定の閾値以上の距離を持つ比較画像のみを強調して表示する。例えば、図１１においては、Ｐ２１からＰ２９の複数の比較画像のうち、Ｐ２２、Ｐ２３、Ｐ２４、Ｐ２５及びＰ２９が協調して表示されている。
【0065】
選択部１０４は、距離算出部１０３４が算出した距離が最大である比較画像を選択する（ステップＳ４０５）。選択部１０４は、選択した距離が最大である比較画像を示す情報を、位置判定部１０６及び結果出力部３００に出力する。
【0066】
位置判定部１０６は、選択部１０４が供給する距離が最大である比較画像を示す情報に基づいて、距離算出部１０３４が算出した距離が最大である比較画像に対応するウェルＷの位置を判定する（ステップＳ４０６）。つまり、位置判定部１０６は、選択部１０４が選択した結果を用いて、算出部１０３が算出した違いが所定の値より大きい比較画像に対応する位置を判定する。ただし、複数の比較画像の各々は、細胞が培養される培養容器の複数の位置にそれぞれ対応する。位置判定部１０６は、判定したウェルＷの位置を示す情報を結果出力部３００に供給する。
【0067】
結果出力部３００は、演算部１００ａが供給する演算結果を示す情報を表示部３０に出力する（ステップＳ４０７）。ここで演算部１００ａが供給する演算結果を示す情報とは、割合算出部１０５が供給する割合を示す情報、選択部１０４が供給する選択した比較画像を示す情報、及び位置判定部１０６が供給するウェルＷの位置を示す情報である。
ここで図１２、図１３を参照し距離が最大である比較画像を選択する処理、及びウェル内の位置を判定する処理について説明する。
図１２は、本実施形態の比較画像を選択する処理の一例を示す図である。図１２に示す例では、距離算出部１０３４が算出した距離ｄ１～ｄ９のうちｄ３が最大である。選択部１０４は、距離算出部１０３４が算出した距離が最大である比較画像として、比較画像Ｐ２３を選択する。表示部３０は、比較画像Ｐ２３を細胞画像Ｃ２として表示する。
ここで図１２、図１３を参照し距離が最大である比較画像を選択する処理、及びウェル内の位置を判定する処理について説明する。
図１２は、本実施形態の比較画像を選択する処理の一例を示す図である。図１２に示す例では、距離算出部１０３４が算出した距離ｄ１～ｄ９のうちｄ３が最大である。選択部１０４は、距離算出部１０３４が算出した距離が最大である比較画像として、比較画像Ｐ２３を選択する。表示部３０は、比較画像Ｐ２３を細胞画像Ｃ２として表示する。
【0068】
図１３は、本実施形態のウェル内の位置を判定する処理の一例を示す図である。位置判定部１０６は、基準画像群Ｓ１との距離が最大である比較画像である比較画像Ｐ２３を示す情報に基づいて、基準画像群Ｓ１との距離が最大である比較画像に対応するウェル内位置ＷＰ２３を判定する。表示部３０は、ウェル内位置ＷＰ２３を表示する。
【0069】
以上説明したように、本実施形態の算出装置１０ａは、選択部１０４と、割合算出部１０５と、位置判定部１０６とを備える。
選択部１０４は、算出部１０３が算出した違いが所定の値より大きい比較画像を選択する。この構成により、複数の基準画像との違いが所定の値より大きい比較画像を選択できるため、細胞画像のなかから、加えられた刺激に対する反応が大きい細胞の細胞画像を選択できる。
選択部１０４は、算出部１０３が算出した違いが所定の値より大きい比較画像を選択する。この構成により、複数の基準画像との違いが所定の値より大きい比較画像を選択できるため、細胞画像のなかから、加えられた刺激に対する反応が大きい細胞の細胞画像を選択できる。
【0070】
割合算出部１０５は、画像選択部（選択部１０４）が選択した結果を用いて、複数の比較画像から、算出部１０３が算出した違いが所定の値より大きい比較画像の割合を算出する。この構成により、複数の基準画像との違いが所定の値より大きい比較画像の割合を算出できるため、細胞画像のなかから、加えられた刺激に対する反応が大きい細胞の細胞画像の割合を算出できる。
【0071】
複数の比較画像の各々は、細胞が培養される培養容器の複数の位置にそれぞれ対応し、位置判定部１０６は、画像選択部が選択した結果を用いて、前記算出部が算出した前記違いが所定の値より大きい前記比較画像に対応する前記位置を判定する。この構成により、複数の基準画像との違いが所定の値より大きい比較画像が撮像されたウェルＷ内の位置を判定できるため、ウェルＷ内の複数の細胞のうち加えられた刺激に対する反応が大きい細胞が存在する位置を判定できる。
【0072】
［第３実施形態］
以下、図面を参照しながら本発明の第３の実施形態について説明する。
上記第２の実施形態では、算出装置が、定量化した基準画像と比較画像との違いが所定の値より大きい比較画像を選択する場合について説明した。本実施形態では、算出装置が、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する場合について説明する。
以下、図面を参照しながら本発明の第３の実施形態について説明する。
上記第２の実施形態では、算出装置が、定量化した基準画像と比較画像との違いが所定の値より大きい比較画像を選択する場合について説明した。本実施形態では、算出装置が、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する場合について説明する。
【0073】
図１４は、本発明の第３実施形態による算出装置１０ｂが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置１０ｂ（図１４）と、第２の実施形態に係る算出装置１０a（図９）とを比較すると、演算部１００ｂにおいて、解析画像取得部１０７、基準画像取得部１０１ｂ、比較画像取得部１０２ｂ、算出部１０３ｂ、及び解析部１０８が異なり、また、記憶部２００ｂが基準画像記憶部２０２を備えていなくてよい点が異なる。しかし、他の構成要素が持つ機能は第２の実施形態と同じである。第２の実施形態と同じ機能の説明は省略し、第３の実施形態では、第２の実施形態と異なる部分を中心に説明する。
【0074】
演算部１００ｂは、基準画像取得部１０１ｂと、比較画像取得部１０２ｂと、算出部１０３ｂと、選択部１０４と、割合算出部１０５と、位置判定部１０６と、解析画像取得部１０７と、解析部１０８とを備える。
【0075】
解析画像取得部１０７は、撮像部２２が撮像した解析画像群を取得する。この解析画像群は、時系列解析画像群、濃度変化解析画像群、及び種類変化解析画像群を含む。
時系列解析画像群とは、細胞刺激後の細胞がタイムラプス撮影された複数の細胞画像である。時系列解析画像群は、画像群Ｔ０、画像群Ｔ１、…、画像群Ｔｎからなる。画像群Ｔ０、画像群Ｔ１、…、画像群Ｔｎは、この順にタイムラプス撮影の時系列に対応している。なお、画像群Ｔ０、画像群Ｔ１、…、画像群Ｔｎは、同じウェルにおいて培養された細胞の細胞画像でなくてもよい。また、画像群Ｔ０、画像群Ｔ１、…、画像群Ｔｎは、それぞれ１枚の細胞画像であってもよい。
解析画像取得部１０７は、画像群Ｔ０を時系列基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、画像群Ｔ１、画像群Ｔ２、…、画像群Ｔｎを時系列比較画像群とし、比較画像取得部１０２ｂに供給する。つまり、時系列比較画像群に含まれる比較画像とは、時系列に撮像された画像である。
時系列解析画像群とは、細胞刺激後の細胞がタイムラプス撮影された複数の細胞画像である。時系列解析画像群は、画像群Ｔ０、画像群Ｔ１、…、画像群Ｔｎからなる。画像群Ｔ０、画像群Ｔ１、…、画像群Ｔｎは、この順にタイムラプス撮影の時系列に対応している。なお、画像群Ｔ０、画像群Ｔ１、…、画像群Ｔｎは、同じウェルにおいて培養された細胞の細胞画像でなくてもよい。また、画像群Ｔ０、画像群Ｔ１、…、画像群Ｔｎは、それぞれ１枚の細胞画像であってもよい。
解析画像取得部１０７は、画像群Ｔ０を時系列基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、画像群Ｔ１、画像群Ｔ２、…、画像群Ｔｎを時系列比較画像群とし、比較画像取得部１０２ｂに供給する。つまり、時系列比較画像群に含まれる比較画像とは、時系列に撮像された画像である。
【0076】
濃度変化解析画像群とは、細胞に添加される化合物の濃度ごとの複数の細胞画像である。濃度変化解析画像群は、画像群Ｘ０、画像群Ｘ１、…、画像群Ｘｎからなる。画像群Ｘ０、画像群Ｘ１、…、画像群Ｘｎは、この順に細胞に添加される化合物の濃度が大きくなる順に対応している。なお、画像群Ｘ０、画像群Ｘ１、…、画像群Ｘｎは、それぞれ１枚の細胞画像であってもよい。
解析画像取得部１０７は、画像群Ｘ０を濃度変化基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、画像群Ｘ１、画像群Ｘ２、…、画像群Ｘｎを濃度変化比較画像群とし、比較画像取得部１０２ｂに供給する。つまり濃度変化比較画像群に含まれる比較画像とは、比較細胞に添加された化合物の濃度毎に撮像された比較細胞の画像である。
解析画像取得部１０７は、画像群Ｘ０を濃度変化基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、画像群Ｘ１、画像群Ｘ２、…、画像群Ｘｎを濃度変化比較画像群とし、比較画像取得部１０２ｂに供給する。つまり濃度変化比較画像群に含まれる比較画像とは、比較細胞に添加された化合物の濃度毎に撮像された比較細胞の画像である。
【0077】
種類変化解析画像群とは、細胞に添加される化合物の種類ごとの複数の細胞画像である。種類変化解析画像群は、画像群Ｙ０、画像群Ｙ１、…、画像群Ｙｎからなる。画像群Ｙ０、画像群Ｙ１、…、画像群Ｙｎは、細胞に添加される化合物の種類に対応している。画像群Ｙ０、画像群Ｙ１、…、画像群Ｙｎは、それぞれ１枚の細胞画像であってもよい。
解析画像取得部１０７は、画像群Ｙ０を種類変化基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、画像群Ｙ１、画像群Ｙ２、…、画像群Ｙｎを算出部１０３ｂに供給する。つまり、種類変化比較画像群に含まれる比較画像とは、比較細胞に添加された化合物の種類毎に撮像された細胞の画像である。
解析画像取得部１０７は、画像群Ｙ０を種類変化基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、画像群Ｙ１、画像群Ｙ２、…、画像群Ｙｎを算出部１０３ｂに供給する。つまり、種類変化比較画像群に含まれる比較画像とは、比較細胞に添加された化合物の種類毎に撮像された細胞の画像である。
【0078】
基準画像取得部１０１ｂは、解析画像取得部１０７が供給する時系列変化基準画像群を取得し、算出部１０３ｂに供給する。基準画像取得部１０１ｂは、解析画像取得部１０７が供給する濃度変化基準画像群を取得し、算出部１０３ｂに供給する。基準画像取得部１０１ｂは、解析画像取得部１０７が供給する種類変化基準画像群を取得し、算出部１０３ｂに供給する。
比較画像取得部１０２ｂは、解析画像取得部１０７が供給する時系列変化比較画像群を取得し、算出部１０３ｂに供給する。比較画像取得部１０２ｂは、解析画像取得部１０７が供給する濃度変化比較画像群を取得し、算出部１０３ｂに供給する。比較画像取得部１０２ｂは、解析画像取得部１０７が供給する種類変化基準画像群を取得し、算出部１０３ｂに供給する。
比較画像取得部１０２ｂは、解析画像取得部１０７が供給する時系列変化比較画像群を取得し、算出部１０３ｂに供給する。比較画像取得部１０２ｂは、解析画像取得部１０７が供給する濃度変化比較画像群を取得し、算出部１０３ｂに供給する。比較画像取得部１０２ｂは、解析画像取得部１０７が供給する種類変化基準画像群を取得し、算出部１０３ｂに供給する。
【0079】
算出部１０３ｂは、基準画像取得部１０１ｂが供給する時系列基準画像群である画像群Ｔ０に基づいて算出される基準代表特徴量と、比較画像取得部１０２ｂが供給する時系列解析画像群である画像群Ｔ１、画像群Ｔ２、…、画像群Ｔｎに基づいて算出される比較代表特徴量それぞれとの距離を、時系列距離として算出する。算出部１０３ｂは、算出した時系列距離を解析部１０８の時系列算出部１０８１に供給する。
算出部１０３ｂは、基準画像取得部１０１ｂが供給する濃度変化基準画像群である画像群Ｘ０に基づいて算出される基準代表特徴量と、比較画像取得部１０２ｂが供給する濃度変化解析画像群である画像群Ｘ１、画像群Ｘ２、…、画像群Ｘｎに基づいて算出される比較代表特徴量それぞれとの距離を濃度変化距離として算出する。算出部１０３ｂは、算出した濃度変化距離を解析部１０８の濃度変化算出部１０８２に供給する。
算出部１０３ｂは、基準画像取得部１０１ｂが供給する種類変化基準画像群である画像群Ｙ０に基づいて算出される基準代表特徴量と、比較画像取得部１０２ｂが供給する種類変化解析画像群である画像群Ｙ１、画像群Ｙ２、…、画像群Ｙｎに基づいて算出される比較代表特徴量それぞれとの距離を種類変化距離として算出する。算出部１０３ｂは、算出した種類変化距離を解析部１０８の種類変化算出部１０８３に供給する。
なお、比較画像群が１枚の比較画像からなる場合、算出部１０３は、代表特徴量算出部１０３３を備えていなくてもよい。
算出部１０３ｂは、基準画像取得部１０１ｂが供給する濃度変化基準画像群である画像群Ｘ０に基づいて算出される基準代表特徴量と、比較画像取得部１０２ｂが供給する濃度変化解析画像群である画像群Ｘ１、画像群Ｘ２、…、画像群Ｘｎに基づいて算出される比較代表特徴量それぞれとの距離を濃度変化距離として算出する。算出部１０３ｂは、算出した濃度変化距離を解析部１０８の濃度変化算出部１０８２に供給する。
算出部１０３ｂは、基準画像取得部１０１ｂが供給する種類変化基準画像群である画像群Ｙ０に基づいて算出される基準代表特徴量と、比較画像取得部１０２ｂが供給する種類変化解析画像群である画像群Ｙ１、画像群Ｙ２、…、画像群Ｙｎに基づいて算出される比較代表特徴量それぞれとの距離を種類変化距離として算出する。算出部１０３ｂは、算出した種類変化距離を解析部１０８の種類変化算出部１０８３に供給する。
なお、比較画像群が１枚の比較画像からなる場合、算出部１０３は、代表特徴量算出部１０３３を備えていなくてもよい。
【0080】
解析部１０８は、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する。解析部１０８は、算出した時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を、結果出力部３００に供給する。解析部１０８は、時系列算出部１０８１と、濃度変化算出部１０８２と、種類変化算出部１０８３とを備える。
【0081】
時系列算出部１０８１は、算出部１０３ｂが供給する時系列距離に基づいて、時系列における時刻毎の、画像群Ｔ０に基づいて算出される特徴量と、画像群Ｔ１、画像群Ｔ２、…、画像群Ｔｎに基づいてそれぞれ算出される特徴量との違いを算出する。つまり、時系列算出部１０８１は、算出部１０３ｂが供給する違いを用い、時系列における時刻毎の、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される特徴量との違いを算出する。
【0082】
濃度変化算出部１０８２は、算出部１０３ｂが供給する濃度変化距離に基づいて、細胞に添加される化合物の濃度毎の、画像群Ｘ０に基づいて算出される特徴量と、画像群Ｘ１、画像群Ｘ２、…、画像群Ｘｎに基づいてそれぞれ算出される特徴量との違いを算出する。つまり、濃度変化算出部１０８２は、算出部１０３ｂが算出した違いを用い、比較細胞に添加された化合物の濃度毎の、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される違いを算出する。
【0083】
種類変化算出部１０８３は、算出部１０３ｂが供給する種類変化距離に基づいて、細胞に添加される化合物の種類毎の、画像群Ｙ０に基づいて算出される特徴量と、画像群Ｙ１、画像群Ｙ２、…、画像群Ｙｎに基づいてそれぞれ算出される特徴量との違いを算出する。つまり、種類変化算出部１０８３は、算出部１０３ｂが算出した違いを用い、比較細胞に添加された化合物の種類毎の、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される違いを算出する。
【0084】
なお、割合算出部１０５は、比較画像群から、算出部１０３が算出した違いが所定の値より大きい比較画像の割合を算出してもよい。例えば、割合算出部１０５は、時系列解析画像群から、算出部１０３が算出した違いが所定の値より大きい比較画像の割合を時系列の時刻毎に算出してもよい。割合算出部１０５は、算出した時系列の時刻毎の割合を時系列算出部１０８１に供給する。割合算出部１０５は、濃度変化解析画像群から、算出部１０３が算出した違いが所定の値より大きい比較画像の割合を細胞に添加された化合物の濃度毎に算出してもよい。割合算出部１０５は、算出した濃度毎の割合を濃度変化算出部１０８２に供給する。割合算出部１０５は、種類変化解析画像群から、算出部１０３が算出した違いが所定の値より大きい比較画像の割合を細胞に添加された化合物の種類毎に算出してもよい。割合算出部１０５は、算出した種類毎の割合を種類変化算出部１０８３に供給する。
【0085】
算出装置１０ｂが、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する処理について説明する。
図１５は、本実施形態の演算部１００ｂの演算手順の一例を示す流れ図である。なお、ステップＳ５０３、ステップＳ５０４、ステップＳ５０５及びステップＳ５０６の各処理は、図７における、ステップＳ３００、ステップＳ３０１、ステップＳ３０２、及びステップＳ３０３の各処理と同様であるため、説明を省略する。
図１５は、本実施形態の演算部１００ｂの演算手順の一例を示す流れ図である。なお、ステップＳ５０３、ステップＳ５０４、ステップＳ５０５及びステップＳ５０６の各処理は、図７における、ステップＳ３００、ステップＳ３０１、ステップＳ３０２、及びステップＳ３０３の各処理と同様であるため、説明を省略する。
【0086】
解析画像取得部１０７は、撮像部２２が撮像した変化に応じた種類の解析画像群を取得する（ステップＳ５００）。解析画像取得部１０７は、算出装置１０ｂが解析する変化に応じて、時系列解析画像群、濃度変化解析画像群、及び種類変化解析画像群の中から１種類の解析画像群を取得する。算出装置１０ｂが時系列変化、化合物の濃度の変化、及び化合物の種類の変化のいずれを解析するかは、算出装置１０ｂの使用者によって指定されてよい。
【0087】
解析画像取得部１０７は、時系列解析画像群を取得した場合、画像群Ｔ０を時系列基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、時系列解析画像群を取得した場合、画像群Ｔ１、画像群Ｔ２、…、画像群Ｔｎを時系列比較画像群とし、比較画像取得部１０２ｂに供給する。
解析画像取得部１０７は、濃度変化解析画像群を取得した場合、画像群Ｘ０を濃度変化基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、濃度変化解析画像群を取得した場合、画像群Ｘ１、画像群Ｘ２、…、画像群Ｘｎを濃度変化比較画像群とし、比較画像取得部１０２ｂに供給する。
解析画像取得部１０７は、種類変化解析画像群を取得した場合、画像群Ｙ０を種類変化基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、種類変化解析画像群を取得した場合、画像群Ｙ１、画像群Ｙ２、…、画像群Ｙｎを算出部１０３ｂに供給する。
解析画像取得部１０７は、濃度変化解析画像群を取得した場合、画像群Ｘ０を濃度変化基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、濃度変化解析画像群を取得した場合、画像群Ｘ１、画像群Ｘ２、…、画像群Ｘｎを濃度変化比較画像群とし、比較画像取得部１０２ｂに供給する。
解析画像取得部１０７は、種類変化解析画像群を取得した場合、画像群Ｙ０を種類変化基準画像群とし、基準画像取得部１０１ｂに供給する。解析画像取得部１０７は、種類変化解析画像群を取得した場合、画像群Ｙ１、画像群Ｙ２、…、画像群Ｙｎを算出部１０３ｂに供給する。
【0088】
基準画像取得部１０１ｂ及び算出部１０３ｂは、基準画像群に対して処理を行う（ステップＳ５０１）。ここで基準画像群に対して行われる処理とは、図３のステップＳ１００からステップＳ１０２の各処理と同様である。
【0089】
算出部１０３ｂは、解析する変化に応じて、変化毎の処理を開始する（ステップＳ５０２）。算出部１０３ｂは、変化毎にステップＳ５０３、ステップＳ５０４、ステップＳ５０５、及びステップＳ５０６の処理を繰り返し、変化毎に基準代表特徴量と比較代表特徴量との距離を算出する。
算出部１０３は、時系列変化を解析する場合、時系列の時刻毎に、画像群Ｔ０から算出される基準代表特徴量と、この時刻に対応する時系列比較画像群から算出される比較代表特徴量との距離を算出する。
算出部１０３は、化合物の濃度の変化を解析する場合、化合物の濃度毎に、画像群Ｘ０から算出される基準代表特徴量と、この濃度に対応する濃度変化比較画像群から算出される比較代表特徴量との距離を算出する。
算出部１０３は、化合物の種類の変化を解析する場合、化合物の種類毎に、画像群Ｙ０から算出される基準代表特徴量と、この種類に対応する種類変化比較画像群から算出される比較代表特徴量との距離を算出する。
算出部１０３ｂは、変化毎の処理を終了する（ステップＳ５０７）。算出部１０３ｂは、算出した変化毎の距離を解析画像取得部１０７に供給する。
算出部１０３は、時系列変化を解析する場合、時系列の時刻毎に、画像群Ｔ０から算出される基準代表特徴量と、この時刻に対応する時系列比較画像群から算出される比較代表特徴量との距離を算出する。
算出部１０３は、化合物の濃度の変化を解析する場合、化合物の濃度毎に、画像群Ｘ０から算出される基準代表特徴量と、この濃度に対応する濃度変化比較画像群から算出される比較代表特徴量との距離を算出する。
算出部１０３は、化合物の種類の変化を解析する場合、化合物の種類毎に、画像群Ｙ０から算出される基準代表特徴量と、この種類に対応する種類変化比較画像群から算出される比較代表特徴量との距離を算出する。
算出部１０３ｂは、変化毎の処理を終了する（ステップＳ５０７）。算出部１０３ｂは、算出した変化毎の距離を解析画像取得部１０７に供給する。
【0090】
解析部１０８は、算出装置１０ｂが解析する変化に応じて、基準画像群と比較画像群との違いの変化を算出する（ステップＳ５０８）。ここで、基準画像群と比較画像群との違いの変化とは、基準画像群と比較画像群との違いと、変化を示す指標との組である。基準画像群から算出された代表基準特徴量と、比較画像群から算出された比較代表特徴量との距離である。変化を示す指標とは、時系列の時刻、化合物の濃度、及び化合物の種類を示す指標である。
算出装置１０ｂが時系列の変化を解析する場合、時系列算出部１０８１は算出部１０３ｂが供給する時系列の時刻毎の距離を取得する。時系列算出部１０８１は、取得した距離と、この距離に対応する時系列の時刻とを組にして結果出力部３００に供給する。
算出装置１０ｂが化合物の濃度の変化を解析する場合、濃度変化算出部１０８２は算出部１０３ｂが供給する化合物の濃度毎の距離を取得する。濃度変化算出部１０８２は、取得した距離と、この距離に対応する濃度とを組にして結果出力部３００に供給する。
算出装置１０ｂが化合物の種類の変化を解析する場合、種類変化算出部１０８３は算出部１０３ｂが供給する化合物の種類毎の距離を取得する。種類変化算出部１０８３は、取得した距離と、この距離に対応する種類とを組にして結果出力部３００に供給する。
算出装置１０ｂが時系列の変化を解析する場合、時系列算出部１０８１は算出部１０３ｂが供給する時系列の時刻毎の距離を取得する。時系列算出部１０８１は、取得した距離と、この距離に対応する時系列の時刻とを組にして結果出力部３００に供給する。
算出装置１０ｂが化合物の濃度の変化を解析する場合、濃度変化算出部１０８２は算出部１０３ｂが供給する化合物の濃度毎の距離を取得する。濃度変化算出部１０８２は、取得した距離と、この距離に対応する濃度とを組にして結果出力部３００に供給する。
算出装置１０ｂが化合物の種類の変化を解析する場合、種類変化算出部１０８３は算出部１０３ｂが供給する化合物の種類毎の距離を取得する。種類変化算出部１０８３は、取得した距離と、この距離に対応する種類とを組にして結果出力部３００に供給する。
【0091】
結果出力部３００は、解析部１０８が供給する距離と変化を示す指標との組を表示部３０に表示させることにより結果を出力する（ステップＳ５０９）。表示部３０は、解析部１０８が供給する距離を、変化を示す指標に対してプロットしたグラフを表示する。
ここで図１６～１８を参照し、解析部１０８が算出する基準画像群と比較画像群との違いの変化の例について説明する。
ここで図１６～１８を参照し、解析部１０８が算出する基準画像群と比較画像群との違いの変化の例について説明する。
【0092】
図１６は、本実施形態の時系列毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。図１６では、基準画像群である画像群Ｔ０と、時系列の各時刻に対応する比較画像群である画像群Ｔ１、画像群Ｔ２…、画像群Ｔｎとの違いを時刻毎にプロットしたグラフが表示されている。画像群Ｔ０は、化合物が添加される直前の細胞が撮像された細胞画像である。
【0093】
図１７は、本実施形態の化合物の濃度毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。図１７では、基準画像群である画像群Ｘ０と、化合物の各濃度に対応する比較画像群である画像群Ｘ１、画像群Ｘ２…、画像群Ｘｎとの違いが濃度毎にプロットしたグラフが表示されている。画像群Ｘ０は、化合物が添加されていない細胞が撮像された細胞画像である。
【0094】
図１８は、本実施形態の化合物の種類毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。図１８では、基準画像群である画像群Ｙ０と、化合物の各種類に対応する比較画像群である画像群Ｙ１、画像群Ｙ２…、画像群Ｙｎとの違いが種類毎にプロットしたグラフが表示されている。画像群Ｙ０は、化合物が添加されていない細胞が撮像された細胞画像である。
【0095】
なお、本実施形態においては、算出装置１０ｂが基準画像群と比較画像群との違いの変化を算出する場合について説明したが、算出装置１０ｂは、反応の割合の変化を算出してもよい。ここで反応の割合とは、比較画像群に含まれる複数の比較画像のうち、基準画像群との距離が所定の値より大きい比較画像の割合である。つまり、算出装置１０ｂは、反応の割合の時系列の変化を算出してもよいし、化合物の濃度について反応の割合の変化を算出してもよいし、化合物の種類について反応の割合の変化を算出してもよい。算出装置１０ｂは、算出した反応の割合の変化を表示部３０に表示させてよい。
【0096】
なお、算出装置１０ｂは、基準画像群との距離が所定の値より大きい比較画像に対応するウェルプレートＷＰのウェルＷの位置を、変化ごとに判定してもよい。算出装置１０ｂは、判定したウェルＷの位置を表示部３０に表示させてよい。
【0097】
なお、本実施形態においては、算出装置１０ｂが解析する変化が化合物の種類の変化である場合に、算出装置１０ｂは、種類変化基準画像群である画像群Ｙ０と、種類変化比較画像群である画像群Ｙ１、画像群Ｙ２、…、画像群Ｙｎとの違いをそれぞれ算出する場合について説明したが、算出装置１０ｂは、画像群Ｙ１、画像群Ｙ２、…、画像群Ｙｎそれぞれのスコアを算出してもよい。ここでスコアとは、スコアを算出する対象である画像群と、画像群Ｙ１、画像群Ｙ２、…、画像群Ｙｎのうち、スコアを算出する対象である画像群以外の画像群との距離をそれぞれ求め、求めた距離の平均値を算出した値である。算出装置１０ｂは、算出したスコアを化合物の種類毎に対してプロットしたグラフを表示部３０に表示させてよい。
【0098】
なお、本実施形態においては、図１６～１８において説明したように、算出装置１０ｂが解析する変化に応じて、基準画像群と比較画像群との距離を、変化を示す指標に対してプロットしたグラフが表示される場合を説明したが、２種類の変化を組み合わせた結果が２次元平面に対してプロットされてもよい。算出装置１０ｂは、例えば、化合物の濃度ごとに基準画像群と比較画像群との距離の時系列の変化を算出し、算出した結果を化合物の濃度と時系列の時刻とに対してプロットした２次元のグラフを表示部３０に表示させてもよい。また、算出装置１０ｂは、例えば、化合物の種類ごとに基準画像群と比較画像群との距離の時系列の変化を算出し、算出した結果を化合物の種類と時系列の時刻とに対してプロットした２次元のグラフを表示部３０に表示させてもよい。また、算出装置１０ｂは、例えば、化合物の種類ごとに化合物の濃度を変化させた場合の基準画像群と比較画像群との距離を算出し、算出した結果を化合物の種類と化合物の濃度とに対してプロットした２次元のグラフを表示部３０に表示させてもよい。
【0099】
以上説明したように、本実施形態の算出装置１０ｂは、時系列算出部１０８１と、濃度変化算出部１０８２と、種類変化算出部１０８３とを備える。
時系列算出部１０８１は、算出部１０３ｂが算出した違いを用い、時系列における時刻毎の前記違いを算出する。ここで算出部１０３ｂが算出した違いとは、複数の基準画像に基づいて算出される特徴量と、時系列に撮像された画像である比較画像に基づいて算出される特徴量との違いである。この構成により、算出装置１０ｂは、刺激が加えられる前の細胞画像と刺激が加えられた後の細胞画像との違いを刺激が加えられてからの時系列において定量化できるため、刺激が加えられてからの細胞の反応の時系列の変化を定量化できる。
時系列算出部１０８１は、算出部１０３ｂが算出した違いを用い、時系列における時刻毎の前記違いを算出する。ここで算出部１０３ｂが算出した違いとは、複数の基準画像に基づいて算出される特徴量と、時系列に撮像された画像である比較画像に基づいて算出される特徴量との違いである。この構成により、算出装置１０ｂは、刺激が加えられる前の細胞画像と刺激が加えられた後の細胞画像との違いを刺激が加えられてからの時系列において定量化できるため、刺激が加えられてからの細胞の反応の時系列の変化を定量化できる。
【0100】
また、濃度変化算出部１０８２は、算出部１０３ｂが算出した違いを用い、比較細胞に添加された化合物の濃度毎の違いを算出する。ここで算出部１０３ｂが算出した違いとは、複数の基準画像に基づいて算出される特徴量と、比較細胞に添加された化合物の濃度毎に撮像された細胞の画像である比較画像に基づいて算出される特徴量との違いである。この構成により、算出装置１０ｂは、化合物が添加される前の細胞画像と化合物が添加された後の細胞画像との違いを化合物の濃度の変化について定量化できるため、添加される化合物の濃度に対する細胞の反応を定量化できる。
【0101】
また、種類変化算出部１０８３は、算出部１０３ｂが算出した違いを用い、比較細胞に添加された化合物の種類毎の違いを算出する。ここで算出部１０３ｂが算出した違いとは、複数の基準画像に基づいて算出される特徴量と、比較細胞に添加された化合物の種類毎に撮像された細胞の画像である比較画像に基づいて算出される特徴量との違いである。この構成により、算出装置１０ｂは、化合物が添加される前の細胞画像と化合物が添加された後の細胞画像との違いを化合物の種類の変化について定量化できるため、添加される化合物の種類毎に細胞の反応を定量化できる。
【0102】
［第４実施形態］
以下、図面を参照しながら本発明の第４の実施形態について説明する。
上記第３の実施形態では、算出装置が、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する場合について説明した。本実施形態では、算出装置が、細胞画像を分類する場合について説明する。
以下、図面を参照しながら本発明の第４の実施形態について説明する。
上記第３の実施形態では、算出装置が、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する場合について説明した。本実施形態では、算出装置が、細胞画像を分類する場合について説明する。
【0103】
図１９は、本実施形態による算出装置１０ｃが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置１０ｃ（図１９）と、第２の実施形態に係る算出装置１０a（図９）とを比較すると、演算部１００ｃにおいて、分類用基準画像取得部１０１ｃ、対象画像取得部１０２ｃ、算出部１０３ｃ及び分類部１０９が異なり、また、記憶部２００ｃが異なる。しかし、他の構成要素が持つ機能は第２の実施形態と同じである。第２の実施形態と同じ機能の説明は省略し、第３の実施形態では、第２の実施形態と異なる部分を中心に説明する。
【0104】
分類用基準画像取得部１０１ｃは、記憶部２００ｃの分類用基準画像記憶部２０２ｃに記憶される分類用基準画像群を取得し、取得した分類用基準画像群を算出部１０３ｃに供給する。ここで分類用基準画像取得部１０１ｃは、算出装置１０ｃが細胞画像を分類するクラスに対応する分類用基準画像群を取得する。つまり、分類用基準画像取得部１０１ｃは、複数の種類の基準画像を取得する。
ここで、分類用基準画像群とは、細胞画像をクラスに分類するための複数の種類の基準画像群である。細胞画像が分類されるクラスとは、例えば、細胞の種類ごとに分類したクラスである。細胞の種類は、例えば、心筋細胞や、脳細胞など、生物の器官ごとの細胞の種類であってよい。細胞の種類は、生物の特定の器官を構成する細胞の種類であってもよい。生物の特定の器官を構成する細胞とは、例えば、神経系を構成するアストロサイト、グリア細胞、オリゴデンドロサイト、及びニューロンである。細胞の種類は、上皮細胞や間葉細胞であってもよい。細胞の種類は、がん細胞及び健常細胞であってもよい。また、細胞画像が分類されるクラスは、分化の段階ごとに細胞を分類したクラスであってもよい。このクラスはｉＰＳ（ｉｎｄｕｃｅｄ ｐｌｕｒｉｐｏｔｅｎｔ ｓｔｅｍ ｃｅｌｌｓ）細胞を分化の段階ごとに分類したクラスであってもよい。また、細胞画像が分類されるクラスは、分裂周期ごとに細胞を分類したクラスであってもよい。
したがって、例えば、算出装置１０ｃが細胞画像をがん細胞と健常細胞とに分類する場合、分類用基準画像取得部１０１ｃは、がん細胞に対応する分類用基準画像群と、健常細胞に対応する分類用基準画像群とを取得する。
ここで、分類用基準画像群とは、細胞画像をクラスに分類するための複数の種類の基準画像群である。細胞画像が分類されるクラスとは、例えば、細胞の種類ごとに分類したクラスである。細胞の種類は、例えば、心筋細胞や、脳細胞など、生物の器官ごとの細胞の種類であってよい。細胞の種類は、生物の特定の器官を構成する細胞の種類であってもよい。生物の特定の器官を構成する細胞とは、例えば、神経系を構成するアストロサイト、グリア細胞、オリゴデンドロサイト、及びニューロンである。細胞の種類は、上皮細胞や間葉細胞であってもよい。細胞の種類は、がん細胞及び健常細胞であってもよい。また、細胞画像が分類されるクラスは、分化の段階ごとに細胞を分類したクラスであってもよい。このクラスはｉＰＳ（ｉｎｄｕｃｅｄ ｐｌｕｒｉｐｏｔｅｎｔ ｓｔｅｍ ｃｅｌｌｓ）細胞を分化の段階ごとに分類したクラスであってもよい。また、細胞画像が分類されるクラスは、分裂周期ごとに細胞を分類したクラスであってもよい。
したがって、例えば、算出装置１０ｃが細胞画像をがん細胞と健常細胞とに分類する場合、分類用基準画像取得部１０１ｃは、がん細胞に対応する分類用基準画像群と、健常細胞に対応する分類用基準画像群とを取得する。
【0105】
対象画像取得部１０２ｃは、撮像部２２が撮像したひとつ以上の細胞画像をひとつ以上の対象画像として取得し、取得したひとつ以上の対象画像を算出部１０３ｃに供給する。
算出部１０３ｃは、分類用基準画像取得部１０１ｃが供給する分類用基準画像群と、対象画像取得部１０２ｃが供給するひとつ以上の対象画像とのそれぞれの距離を算出する。ここで分類用基準画像群は、複数の種類の基準画像群であり、複数の種類の基準画像群は、算出装置１０ｃが細胞画像を分類するクラスにそれぞれ対応する。算出部１０３ｃは、対象画像を比較画像として距離を算出する。つまり、算出部１０３ｃは、複数の種類の基準画像と比較画像とのそれぞれの違いを算出する。算出部１０３ｃは、算出したクラスに対応するそれぞれの距離を分類部１０９に供給する。
算出部１０３ｃは、分類用基準画像取得部１０１ｃが供給する分類用基準画像群と、対象画像取得部１０２ｃが供給するひとつ以上の対象画像とのそれぞれの距離を算出する。ここで分類用基準画像群は、複数の種類の基準画像群であり、複数の種類の基準画像群は、算出装置１０ｃが細胞画像を分類するクラスにそれぞれ対応する。算出部１０３ｃは、対象画像を比較画像として距離を算出する。つまり、算出部１０３ｃは、複数の種類の基準画像と比較画像とのそれぞれの違いを算出する。算出部１０３ｃは、算出したクラスに対応するそれぞれの距離を分類部１０９に供給する。
【0106】
分類部１０９は、算出部１０３ｃが供給する複数の距離を用い、対象画像を分類する。つまり、分類部１０９は、算出部が算出した複数の違いを用い、比較画像を分類する。
記憶部２００ｃは、次元削減情報記憶部２０１と、分類用基準画像記憶部２０２ｃとを備える。分類用基準画像記憶部２０２ｃには、算出装置１０ｃが細胞画像を分類するクラスにそれぞれ対応する複数の種類の分類用基準画像群が記憶される。
記憶部２００ｃは、次元削減情報記憶部２０１と、分類用基準画像記憶部２０２ｃとを備える。分類用基準画像記憶部２０２ｃには、算出装置１０ｃが細胞画像を分類するクラスにそれぞれ対応する複数の種類の分類用基準画像群が記憶される。
【0107】
図２０、２１を参照し演算部１００ｃの演算手順について説明する。
図２０は、本実施形態の算出部による基準特徴量の算出手順の一例を示す流れ図である。
演算部１００ｃは、算出装置１０ｃが細胞画像を分類するクラス毎に処理を開始する（ステップＳ６００）。
分類用基準画像取得部１０１ｃは、記憶部２００ｃの分類用基準画像記憶部２０２ｃに記憶される分類用基準画像群を取得する（ステップＳ６０１）。分類用基準画像取得部１０１ｃは、取得した分類用基準画像群を算出部１０３ｃに供給する。
ステップＳ６０２及びステップＳ６０３の各処理は、図３におけるステップＳ１０１及びステップＳ１０２の各処理と同様であるため、説明を省略する。
演算部１００ｃは、クラス毎の処理を終了する（ステップＳ６０４）。
図２０は、本実施形態の算出部による基準特徴量の算出手順の一例を示す流れ図である。
演算部１００ｃは、算出装置１０ｃが細胞画像を分類するクラス毎に処理を開始する（ステップＳ６００）。
分類用基準画像取得部１０１ｃは、記憶部２００ｃの分類用基準画像記憶部２０２ｃに記憶される分類用基準画像群を取得する（ステップＳ６０１）。分類用基準画像取得部１０１ｃは、取得した分類用基準画像群を算出部１０３ｃに供給する。
ステップＳ６０２及びステップＳ６０３の各処理は、図３におけるステップＳ１０１及びステップＳ１０２の各処理と同様であるため、説明を省略する。
演算部１００ｃは、クラス毎の処理を終了する（ステップＳ６０４）。
【0108】
図２１は、本実施形態の演算部による対象画像をクラスに分類する演算手順の一例を示す流れ図である。
対象画像取得部１０２ｃは、撮像部２２が撮像したひとつ以上の細胞画像をひとつ以上の対象画像として取得する（ステップＳ７００）。対象画像取得部１０２ｃは、取得したひとつ以上の対象画像を算出部１０３ｃに供給する。
ステップＳ７０１及びステップＳ７０２の各処理は、図５におけるステップＳ２０１及びステップＳ２０２の各処理と同様であるため、説明を省略する。ただし、算出部１０３ｃは、対象画像を比較画像として、複数の分類用基準画像群それぞれとの距離を算出する。算出部１０３ｃは、算出したクラスに対応するそれぞれの距離を分類部１０９に供給する。
なお、算出部１０３ｃは、分類用基準画像取得部１０１ｃが供給する対象画像が複数である場合、それらの複数の対象画像から代表比較特徴量を算出してよい。算出部１０３ｃは、算出した代表比較特徴量と、複数の種類の基準画像群それぞれから算出される代表基準特徴量との距離をそれぞれ算出する。
対象画像取得部１０２ｃは、撮像部２２が撮像したひとつ以上の細胞画像をひとつ以上の対象画像として取得する（ステップＳ７００）。対象画像取得部１０２ｃは、取得したひとつ以上の対象画像を算出部１０３ｃに供給する。
ステップＳ７０１及びステップＳ７０２の各処理は、図５におけるステップＳ２０１及びステップＳ２０２の各処理と同様であるため、説明を省略する。ただし、算出部１０３ｃは、対象画像を比較画像として、複数の分類用基準画像群それぞれとの距離を算出する。算出部１０３ｃは、算出したクラスに対応するそれぞれの距離を分類部１０９に供給する。
なお、算出部１０３ｃは、分類用基準画像取得部１０１ｃが供給する対象画像が複数である場合、それらの複数の対象画像から代表比較特徴量を算出してよい。算出部１０３ｃは、算出した代表比較特徴量と、複数の種類の基準画像群それぞれから算出される代表基準特徴量との距離をそれぞれ算出する。
【0109】
分類部１０９は、算出部１０３ｃが供給する複数の距離に基づいて、対象画像を分類する（ステップＳ７０３）。分類部１０９は、対象画像群を、分類用基準画像群との距離が最少となる分類用基準画像群に対応するクラスに分類する。分類部１０９は、分類した結果を結果出力部３００に供給する。
【0110】
ここで図２２を参照し、分類部１０９が対象画像を分類する処理について説明する。図２２は、本実施形態の対象画像の分類処理の一例を示す図である。図２２に示す例では、算出装置１０ｃは、対象画像群Ｇ２２を、がん細胞と健常細胞との２つのクラスに分類する。分類用基準画像群Ｓ２２１は、がん細胞が撮像された基準画像群である。分類用基準画像群Ｓ２２２は、健常細胞が撮像された基準画像群である。対象画像群Ｇ２２は、対象画像Ｐ２２１～Ｐ２２９を含む。
【0111】
対象画像Ｐ２２１と分類用基準画像群Ｓ２２１との距離と、対象画像Ｐ２２１と分類用基準画像群Ｓ２２２との距離とでは、対象画像Ｐ２２１と分類用基準画像群Ｓ２２１との距離の方が小さい。したがって、分類部１０９は、対象画像Ｐ２２１を分類用基準画像群Ｓ２２１に対応するクラスであるがん細胞のクラスに分類する。
【0112】
算出装置１０ｃは、対象画像群Ｇ２２に含まれる対象画像Ｐ２２１～Ｐ２２９のそれぞれを順に分類してよい。図２２に示す例では、対象画像Ｐ２２１、対象画像Ｐ２２２、対象画像Ｐ２２６、及び対象画像Ｐ２２７ががん細胞に分類され、残りの対象画像が健常細胞に分類されている。
【0113】
図２１に戻って、演算部の演算手順の説明を続ける。
結果出力部３００は、分類部１０９が供給する分類結果を表示部３０に表示させる（ステップＳ７０４）。
結果出力部３００は、分類部１０９が供給する分類結果を表示部３０に表示させる（ステップＳ７０４）。
【0114】
以上説明したように、本実施形態の算出装置１０ｃは、分類用基準画像取得部１０１ｃと、算出部１０３ｃと、分類部１０９とを備える。分類用基準画像取得部１０１ｃは、複数の種類の基準画像を取得する。算出部１０３ｃは、複数の種類の基準画像と比較画像とのそれぞれの違いを算出する。分類部１０９は、算出部１０３ｃが算出した複数の違いを用い、比較画像を分類する。この構成により、算出装置１０ｃは、複数の種類の基準画像と、細胞画像との違いを算出できるため、細胞画像を細胞の種類毎に分類できる。
【0115】
［第５実施形態］
以下、図面を参照しながら本発明の第５の実施形態について説明する。
上記実施形態では、算出装置が、基準画像群と比較画像群との違いを算出する場合について説明した。本実施形態では、算出装置が、比較画像群同士の距離を算出することにより、ウェル内において異常画像を選択したり、細胞の培養状態を判定したりする場合について説明する。
図２３は、本発明の第５実施形態による算出装置１０ｄが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置１０ｄ（図２３）と、第２の実施形態に係る算出装置１０a（図９）とを比較すると、演算部１００ｄにおいて、比較画像取得部１０２ｄと、比較画像違い算出部１０３ｄ、異常画像選択部１０４ｄ、及び培養状態判定部１１０が異なる。また、第３の実施形態に係る算出装置１０ｂ（図１４）と同様に、記憶部２００ｂは、基準画像記憶部を備える必要がない点が異なる。しかし、他の構成要素が持つ機能は第２の実施形態と同じである。第２の実施形態と同じ機能の説明は省略し、第５の実施形態では、第２の実施形態と異なる部分を中心に説明する。
以下、図面を参照しながら本発明の第５の実施形態について説明する。
上記実施形態では、算出装置が、基準画像群と比較画像群との違いを算出する場合について説明した。本実施形態では、算出装置が、比較画像群同士の距離を算出することにより、ウェル内において異常画像を選択したり、細胞の培養状態を判定したりする場合について説明する。
図２３は、本発明の第５実施形態による算出装置１０ｄが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置１０ｄ（図２３）と、第２の実施形態に係る算出装置１０a（図９）とを比較すると、演算部１００ｄにおいて、比較画像取得部１０２ｄと、比較画像違い算出部１０３ｄ、異常画像選択部１０４ｄ、及び培養状態判定部１１０が異なる。また、第３の実施形態に係る算出装置１０ｂ（図１４）と同様に、記憶部２００ｂは、基準画像記憶部を備える必要がない点が異なる。しかし、他の構成要素が持つ機能は第２の実施形態と同じである。第２の実施形態と同じ機能の説明は省略し、第５の実施形態では、第２の実施形態と異なる部分を中心に説明する。
【0116】
比較画像取得部１０２ｄは、撮像部２２が撮像した複数のウェルプレートについてウェル比較画像群を比較画像群として取得し、取得した比較画像群を比較画像違い算出部１０３ｄに供給する。ウェル比較画像群とは、ウェルの所定の位置毎に細胞が撮像された複数の細胞画像である。
比較画像違い算出部１０３ｄは、比較画像取得部１０２ｄが供給するウェル比較画像群に含まれる比較画像同士の距離を算出する。つまり、比較画像違い算出部１０３ｄは、比較画像同士の違いを算出する。比較画像違い算出部１０３ｄは、比較特徴量算出部１０３２と、距離算出部１０３４ｄとを備える。
比較画像違い算出部１０３ｄは、比較画像取得部１０２ｄが供給するウェル比較画像群に含まれる比較画像同士の距離を算出する。つまり、比較画像違い算出部１０３ｄは、比較画像同士の違いを算出する。比較画像違い算出部１０３ｄは、比較特徴量算出部１０３２と、距離算出部１０３４ｄとを備える。
【0117】
距離算出部１０３４ｄは、比較画像取得部１０２ｄが供給するウェル比較画像群に含まれる比較画像それぞれについて、この比較画像以外の比較画像からなる画像群との距離である画像群内距離を算出する。距離算出部１０３４ｄは、算出した画像群内距離を異常画像選択部１０４ｄに供給する。
【0118】
距離算出部１０３４ｄは、ウェル比較画像群に含まれる複数の比較画像を２つの比較画像群に分け、この２つの比較画像群同士の距離であるウェル内距離を算出する。距離算出部１０３４ｄは、異なるウェルに対するウェル比較画像群同士の距離であるウェル間距離を算出する。距離算出部１０３４ｄは、異なるウェルプレートのウェルに対するウェル比較画像群同士の距離であるプレート間距離を算出する。距離算出部１０３４は、算出したウェル内距離、ウェル間距離、及びプレート間距離を培養状態判定部１１０に供給する。
【0119】
異常画像選択部１０４ｄは、比較画像違い算出部１０３ｄが供給する画像群内距離が所定の値より大きい比較画像を、異常画像として選択する。つまり、異常画像選択部１０４ｄは、比較画像のうち比較画像違い算出部１０３ｄが算出した比較画像同士の違いが所定の値より大きい比較画像を、異常画像として選択する。
ここで異常画像とは、例えば、以下のような場合に撮像された細胞画像である。異常画像とは、例えば、分裂中の細胞が撮像された細胞画像である。異常画像とは、例えば、死滅した細胞が撮像された細胞画像である。異常画像とは、例えば、ウェル内において細胞の密度が極端に小さい場合に撮像された細胞画像である。異常画像とは、例えば、細胞以外の物体がウェル内に混在したまま撮像された細胞画像である。
ここで異常画像とは、例えば、以下のような場合に撮像された細胞画像である。異常画像とは、例えば、分裂中の細胞が撮像された細胞画像である。異常画像とは、例えば、死滅した細胞が撮像された細胞画像である。異常画像とは、例えば、ウェル内において細胞の密度が極端に小さい場合に撮像された細胞画像である。異常画像とは、例えば、細胞以外の物体がウェル内に混在したまま撮像された細胞画像である。
【0120】
培養状態判定部１１０は、比較画像違い算出部１０３ｄが供給するウェル内距離、ウェル間距離、及びプレート間距離が所定の範囲内であるか否かに基づいて、比較画像に撮像されている細胞の培養状態を判定する。つまり、培養状態判定部１１０は、比較画像同士の違いが所定の範囲内であるか否かに基づいて、比較画像に撮像されている比較細胞の培養状態を判定する。
【0121】
ここで図２４を参照し、演算部１００ｄが異常画像として選択する処理、及び細胞の培養状態を判定する処理について説明する。
図２４は、本実施形態の演算部１００ｄの培養状態を判定する演算手順の一例を示す図である。ステップＳ８０１及びステップＳ８０２の各処理は、図７におけるステップＳ３０１及びステップＳ３０２の各処理と同様であるため、説明を省略する。
比較画像取得部１０２ｄは、撮像部２２が複数のウェルプレートについてウェル比較画像群を取得する（ステップＳ８００）。比較画像取得部１０２ｄは、取得したウェル比較画像群を比較画像違い算出部１０３ｄに供給する。
図２４は、本実施形態の演算部１００ｄの培養状態を判定する演算手順の一例を示す図である。ステップＳ８０１及びステップＳ８０２の各処理は、図７におけるステップＳ３０１及びステップＳ３０２の各処理と同様であるため、説明を省略する。
比較画像取得部１０２ｄは、撮像部２２が複数のウェルプレートについてウェル比較画像群を取得する（ステップＳ８００）。比較画像取得部１０２ｄは、取得したウェル比較画像群を比較画像違い算出部１０３ｄに供給する。
【0122】
距離算出部１０３４ｄは、比較画像取得部１０２ｄが供給するウェル比較画像群に含まれる比較画像それぞれについて、画像群内距離を算出する（ステップＳ８０３）。距離算出部１０３４ｄは、算出した画像群内距離を異常画像選択部１０４ｄに供給する。
【0123】
異常画像選択部１０４ｄは、比較画像違い算出部１０３ｄが供給する画像群内距離が所定の値より大きい比較画像を、異常画像として選択する（ステップＳ８０４）。異常画像選択部１０４ｄは、選択した異常画像を示す情報を結果出力部３００に供給する。なお、位置判定部１０６は、異常画像選択部１０４ｄが選択した異常画像を示す情報に基づいて、この異常画像のウェル内の位置を判定し、結果出力部３００に供給してもよい。
【0124】
距離算出部１０３４ｄは、ウェル内距離、ウェル間距離、及びプレート間距離算出を算出する（ステップＳ８０５）。ここで距離算出部１０３４ｄは、ウェル比較画像群に含まれる複数の比較画像を２つの比較画像群に分け、ウェル内距離を算出する。ここで距離算出部１０３４ｄは、ウェル比較画像群に含まれる複数の比較画像を２つの比較画像群に分ける場合に、例えば、２つの比較画像群に含まれる比較画像の数が均等になるように分ける。ここで例えば、距離算出部１０３４ｄは、ウェル比較画像群に含まれる複数の比較画像の枚数が奇数である場合、２つの比較画像群に含まれる比較画像の枚数の差が１枚となるように分ける。また、距離算出部１０３４ｄは、例えば、ウェル内において隣接する位置に対する画像同士を同じ比較画像群に分ける。距離算出部１０３４ｄは、ウェル内においてなるべく隣接しない位置に対する画像同士を同じ比較画像群に分けてもよい。
【0125】
距離算出部１０３４ｄは、全てウェルに対するウェル比較画像群同士のウェル間距離を算出する。距離算出部１０３４ｄは、例えば、それぞれのウェルから１つあるいは全ての位置を選択し、選択した位置に対するウェル比較画像群同士のウェル間距離を算出してよい。
【0126】
距離算出部１０３４ｄは、全てウェルプレートに対するウェル比較画像群同士のプレート間距離を算出する。距離算出部１０３４ｄは、例えば、それぞれのウェルプレートから１つのウェルを選択し、さらに選択したウェルから１つあるいは全ての位置を選択し、選択した位置に対するウェル比較画像群同士のプレート間距離を算出してよい。距離算出部１０３４ｄは、例えば、それぞれのウェルプレートから全てのウェルを選択し、選択したそれぞれのウェルから、１つあるいは全ての位置を選択し、選択したそれぞれの位置に対するウェル比較画像群同士のプレート間距離を算出してよい。
距離算出部１０３４ｄは、算出したウェル内距離、ウェル間距離、及びプレート間距離算出を培養状態判定部１１０に供給する。
距離算出部１０３４ｄは、算出したウェル内距離、ウェル間距離、及びプレート間距離算出を培養状態判定部１１０に供給する。
【0127】
培養状態判定部１１０は、距離算出部１０３４ｄが供給するウェル内距離、ウェル間距離、及びプレート間距離が所定の範囲内であるか否かに基づいて、比較画像に撮像されている細胞の培養状態を判定する（ステップＳ８０６）。培養状態判定部１１０は、判定結果を結果出力部３００に供給する。
【0128】
ここで図２５を参照し、培養状態判定部１１０の培養状態の判定処理について説明する。
図２５は、本実施形態の培養状態判定処理の一例を示す図である。培養状態判定部１１０は、例えば、ウェル内距離ＤＷ、ウェル間距離ＤＢ、及びプレート間距離ＤＰの全てが所定の閾値以下であるか否かを判定する。培養状態判定部１１０は、ウェル内距離ＤＷ、ウェル間距離ＤＢ、及びプレート間距離ＤＰの全てが所定の閾値以下であると判定する場合、培養状態は適切であると判定する。
培養状態判定部１１０は、例えば、ウェル内距離ＤＷ、ウェル間距離ＤＢ、及びプレート間距離ＤＰの大小を比較し、ウェル内距離ＤＷ、ウェル間距離ＤＢ、及びプレート間距離ＤＰがこの順において大きくなっているか否かを判定してもよい。培養状態判定部１１０は、ウェル内距離ＤＷ、ウェル間距離ＤＢ、及びプレート間距離ＤＰがこの順において大きくなっていると判定する場合、培養状態は適切であると判定する。
培養状態判定部１１０は、例えば、ウェルプレートＷＰ１の１組のウェルであるウェルＷ１１とウェルＷ１２とについてのウェル間距離ＤＢを基準値として、ウェルプレートＷＰ１内のそれぞれのウェルについてのウェル間距離ＤＢが、この基準値以下であるか否かを判定してもよい。培養状態判定部１１０は、ウェルプレートＷＰ１内のそれぞれのウェルについてのウェル間距離ＤＢが基準値以下であると判定する場合、培養状態は適切であると判定する。
培養状態判定部１１０は、例えば、ウェルプレートＷＰ１のあるウェルＷ１１とウェルプレートＷＰ１の他のウェルとのウェル間距離ＤＢの、ウェルプレートＷＰ１の他のウェルについての平均をウェルＷ１１のスコアとして算出し、このスコアに基づいて培養状態を判定してもよい。培養状態判定部１１０は、ウェルプレートＷＰ１内の全てのウェルについてスコアを算出し、ウェルプレートＷＰ１の全てのウェルについてスコアの平均値を算出する。培養状態判定部１１０は、ウェルプレートＷＰ１内の全てのウェルのスコアと、スコアの平均値との差が所定の閾値以内であるか否かを判定する。培養状態判定部１１０は、ウェルプレートＷＰ１内の全てのウェルのスコアと、スコアの平均値との差が所定の閾値以内であると判定する場合、培養状態は適切であると判定する。
図２５は、本実施形態の培養状態判定処理の一例を示す図である。培養状態判定部１１０は、例えば、ウェル内距離ＤＷ、ウェル間距離ＤＢ、及びプレート間距離ＤＰの全てが所定の閾値以下であるか否かを判定する。培養状態判定部１１０は、ウェル内距離ＤＷ、ウェル間距離ＤＢ、及びプレート間距離ＤＰの全てが所定の閾値以下であると判定する場合、培養状態は適切であると判定する。
培養状態判定部１１０は、例えば、ウェル内距離ＤＷ、ウェル間距離ＤＢ、及びプレート間距離ＤＰの大小を比較し、ウェル内距離ＤＷ、ウェル間距離ＤＢ、及びプレート間距離ＤＰがこの順において大きくなっているか否かを判定してもよい。培養状態判定部１１０は、ウェル内距離ＤＷ、ウェル間距離ＤＢ、及びプレート間距離ＤＰがこの順において大きくなっていると判定する場合、培養状態は適切であると判定する。
培養状態判定部１１０は、例えば、ウェルプレートＷＰ１の１組のウェルであるウェルＷ１１とウェルＷ１２とについてのウェル間距離ＤＢを基準値として、ウェルプレートＷＰ１内のそれぞれのウェルについてのウェル間距離ＤＢが、この基準値以下であるか否かを判定してもよい。培養状態判定部１１０は、ウェルプレートＷＰ１内のそれぞれのウェルについてのウェル間距離ＤＢが基準値以下であると判定する場合、培養状態は適切であると判定する。
培養状態判定部１１０は、例えば、ウェルプレートＷＰ１のあるウェルＷ１１とウェルプレートＷＰ１の他のウェルとのウェル間距離ＤＢの、ウェルプレートＷＰ１の他のウェルについての平均をウェルＷ１１のスコアとして算出し、このスコアに基づいて培養状態を判定してもよい。培養状態判定部１１０は、ウェルプレートＷＰ１内の全てのウェルについてスコアを算出し、ウェルプレートＷＰ１の全てのウェルについてスコアの平均値を算出する。培養状態判定部１１０は、ウェルプレートＷＰ１内の全てのウェルのスコアと、スコアの平均値との差が所定の閾値以内であるか否かを判定する。培養状態判定部１１０は、ウェルプレートＷＰ１内の全てのウェルのスコアと、スコアの平均値との差が所定の閾値以内であると判定する場合、培養状態は適切であると判定する。
【0129】
図２４に戻って演算部１００ｄの処理の説明を続ける。
結果出力部３００は、演算部１００ｄが供給する結果を表示部３０に表示させる（ステップＳ８０７）。結果出力部３００は、異常画像選択部１０４ｄが供給する異常画像を示す情報に基づき、異常画像を表示部３０に表示させる。結果出力部３００は、位置判定部１０６が供給する異常画像のウェル内の位置を表示部３０に表示させてもよい。結果出力部３００は、培養状態判定部１１０が供給する培養状態の判定結果を表示部３０に表示させる。
結果出力部３００は、演算部１００ｄが供給する結果を表示部３０に表示させる（ステップＳ８０７）。結果出力部３００は、異常画像選択部１０４ｄが供給する異常画像を示す情報に基づき、異常画像を表示部３０に表示させる。結果出力部３００は、位置判定部１０６が供給する異常画像のウェル内の位置を表示部３０に表示させてもよい。結果出力部３００は、培養状態判定部１１０が供給する培養状態の判定結果を表示部３０に表示させる。
【0130】
なお、本実施形態においては、異常画像選択部１０４ｄが、ウェル比較画像群に含まれる比較画像に含まれる比較画像それぞれについて算出された画像群内距離に基づいて異常画像を選択する場合について説明したが、異常画像選択部１０４ｄは、ウェル間距離に基づいて異常ウェルを選択してもよい。代表特徴量算出部１０３３は、ウェルプレート内のあるウェルＡＷを異常画像として選択するか判定する場合、例えば、ウェルＡＷを除くウェルプレート内の他の全てのウェルに対するウェル比較画像群の代表比較特徴量をそれぞれ算出する。代表特徴量算出部１０３３は、算出した複数の代表比較特徴量の分布の代表値をプレート代表特徴量として算出する。距離算出部１０３４ｄは、ウェルＡＷに対するウェル比較画像群の比較代表特徴量と、プレート代表特徴量との距離を算出する。異常画像選択部１０４ｄは、ウェルＡＷに対するウェル比較画像群の比較代表特徴量と、プレート代表特徴量との距離が所定の値以上である場合、ウェルＡＷを異常ウェルとして判定する。
また、距離算出部１０３４ｄは、ウェルＡＷに対するウェル比較画像群の比較代表特徴量と、ウェルＡＷを除くウェルプレート内の他の全てのウェルに対するウェル比較画像群の比較代表特徴量との距離との差を、他の全てのウェルについて合計した値を算出してもよい。異常画像選択部１０４ｄは、この値が所定の値以上である場合、ウェルＡＷを異常ウェルとして判定してもよい。
また、距離算出部１０３４ｄは、ウェルＡＷに対するウェル比較画像群の比較代表特徴量と、ウェルＡＷを除くウェルプレート内の他の全てのウェルに対するウェル比較画像群の比較代表特徴量との距離との差を、他の全てのウェルについて合計した値を算出してもよい。異常画像選択部１０４ｄは、この値が所定の値以上である場合、ウェルＡＷを異常ウェルとして判定してもよい。
【0131】
なお、異常画像を選択する場合には、比較画像取得部１０２は、ウェル比較画像の代わりに、複数の比較画像を取得してもよい。異常画像選択部１０４ｄは、比較画像取得部１０２が取得した複数の比較画像の中から異常画像を選択してもよい。
【0132】
なお、本実施形態においては、細胞の培養状態の判定にウェル比較画像群が用いられる場合について説明したが、ウェル比較画像群の代わりにウェル内のある位置に対する１枚の細胞画像が比較画像として用いられ、細胞の培養状態の判定が行われてもよい。
また、本実施形態においては、細胞の培養状態の判定にウェル比較画像群の代表特徴量同士の距離が用いられる場合について説明したが、ウェル比較画像群の代表特徴量同士の距離の代わりに、ウェル比較画像群における反応割合が細胞の培養状態の判定に用いられてもよい。ウェル比較画像群における反応割合が細胞の培養状態の判定に用いられる場合、算出装置１０ｄは、割合算出部１０５を備えてよい。例えば、ウェル比較画像群における反応割合を、ウェル内の複数の位置同士について比較し、ある位置の反応割合がウェル内の他の位置の反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。算出装置１０ｄは、ウェル内のそれぞれの位置について、反応割合がウェル内の他の位置の反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定してよい。
または、ウェル比較画像群における反応割合を、ウェルプレート内の複数のウェル同士について比較し、あるウェルの反応割合がウェルプレート内の他のウェルの反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。ウェルプレート内のそれぞれのウェルについて、反応割合がウェルプレート内の他のウェルの反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定されてよい。
あるいは、ウェル比較画像群における反応割合を、ウェルプレート全体内の複数のウェルプレート同士について比較し、あるウェルプレートの反応割合がウェルプレート全体内の他のウェルプレートの反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。あるウェルプレートの反応割合がウェルプレート全体内の他のウェルプレートの反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定されてよい。
また、本実施形態においては、細胞の培養状態の判定にウェル比較画像群の代表特徴量同士の距離が用いられる場合について説明したが、ウェル比較画像群の代表特徴量同士の距離の代わりに、ウェル比較画像群における反応割合が細胞の培養状態の判定に用いられてもよい。ウェル比較画像群における反応割合が細胞の培養状態の判定に用いられる場合、算出装置１０ｄは、割合算出部１０５を備えてよい。例えば、ウェル比較画像群における反応割合を、ウェル内の複数の位置同士について比較し、ある位置の反応割合がウェル内の他の位置の反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。算出装置１０ｄは、ウェル内のそれぞれの位置について、反応割合がウェル内の他の位置の反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定してよい。
または、ウェル比較画像群における反応割合を、ウェルプレート内の複数のウェル同士について比較し、あるウェルの反応割合がウェルプレート内の他のウェルの反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。ウェルプレート内のそれぞれのウェルについて、反応割合がウェルプレート内の他のウェルの反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定されてよい。
あるいは、ウェル比較画像群における反応割合を、ウェルプレート全体内の複数のウェルプレート同士について比較し、あるウェルプレートの反応割合がウェルプレート全体内の他のウェルプレートの反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。あるウェルプレートの反応割合がウェルプレート全体内の他のウェルプレートの反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定されてよい。
【0133】
以上説明したように、本実施形態の算出装置１０ｄは、比較画像違い算出部１０３ｄと、異常画像選択部１０４ｄとを備える。比較画像違い算出部１０３ｄは、比較画像同士の違いを算出する。異常画像選択部１０４ｄは、比較画像のうち比較画像違い算出部１０３ｄが算出した比較画像同士の違いが所定の値より大きい比較画像を、異常画像として選択する。この構成により、算出装置１０ｄは、比較画像同士の違いを定量化した値を所定の値と比較できるため、ウェル内のそれぞれの位置に対応する細胞画像のなかから異常画像を選択することができる。
【0134】
また、本実施形態の算出装置１０ｄは、培養状態判定部１１０を備える。培養状態判定部１１０は、比較画像同士の違いが所定の範囲内であるか否かに基づいて、比較画像に撮像されている比較細胞の培養状態を判定する。この構成により、算出装置１０ｄは、比較画像同士の違いを定量化した値が所定の範囲内であるかを判定できるため、ウェル毎、またはウェルプレート毎、または複数のウェルプレート全体について培養状態が適切か否かを判定できる。
【0135】
[第５実施形態の変形例]
上記の第５実施形態においては、算出装置１０ｄが、ウェルにおいて培養される細胞の細胞画像同士の違いを算出する場合について説明したが、変形例として、算出装置１０ｄが、３次元に凝集した細胞塊（コロニー）の一例として、スフェロイドの違いを算出する場合について説明する。以下では上記の第５実施形態と異なる部分を中心に説明する。なお、スフェロイド以外の３次元に凝集した細胞塊の例としては、組織を模して培養されたオルガノイドがある。
上記の第５実施形態においては、算出装置１０ｄが、ウェルにおいて培養される細胞の細胞画像同士の違いを算出する場合について説明したが、変形例として、算出装置１０ｄが、３次元に凝集した細胞塊（コロニー）の一例として、スフェロイドの違いを算出する場合について説明する。以下では上記の第５実施形態と異なる部分を中心に説明する。なお、スフェロイド以外の３次元に凝集した細胞塊の例としては、組織を模して培養されたオルガノイドがある。
【0136】
図２６は、本実施形態の演算部１００ｄの演算手順の変形例を示す図である。なお、ステップＳ９０１、及びステップＳ９０２の各処理は、図２４におけるステップＳ８０１、及びステップＳ８０２の各処理と同様であるため、説明を省略する。
比較画像取得部１０２ｄは、スフェロイドの各断面を撮像した断面画像ＰＺ０～ＰＺｎを取得する（ステップＳ９００）。
ここで図２７を参照し、スフェロイドの断面画像について説明する。
比較画像取得部１０２ｄは、スフェロイドの各断面を撮像した断面画像ＰＺ０～ＰＺｎを取得する（ステップＳ９００）。
ここで図２７を参照し、スフェロイドの断面画像について説明する。
【0137】
図２７は、本実施形態のスフェロイドの断面画像の一例を示す図である。スフェロイドとは、３次元に凝集した細胞塊（コロニー）である。スフェロイドでは、２次元培養と比べより生体内に近い環境を再現できる。図２７では、Ｚ軸の方向に均一であることが期待されるスフェロイドが撮像された３次元画像である方向均一スフェロイド画像ＳＦＺが示されている。ただし、方向均一スフェロイド画像ＳＦＺにおいて領域ＡＰは、他の領域と性質が異なっている。断面画像ＰＺ０～ＰＺｎは、方向均一スフェロイド画像ＳＦＺのＺ軸の各位置に対応する断面が取り出された２次元画像である。断面画像ＰＺｉと断面画像ＰＺｊとは、それぞれ方向均一スフェロイド画像ＳＦＺの領域ＲのＺ軸方向の上面と下面に対応する断面が取り出された２次元画像である。断面画像ＰＺ０～ＰＺｎの枚数は、例えば１０００枚である。
【0138】
図２６に戻って、演算部１００ｄの演算手順の説明を続ける。
比較画像取得部１０２ｄは、取得した断面画像ＰＺ０～ＰＺｎのそれぞれを所定の領域に分割し、複数の領域からなる比較画像群として比較特徴量算出部１０３２に供給する。
比較画像取得部１０２ｄは、取得した断面画像ＰＺ０～ＰＺｎのそれぞれを所定の領域に分割し、複数の領域からなる比較画像群として比較特徴量算出部１０３２に供給する。
【0139】
距離算出部１０３４ｄは、代表特徴量算出部１０３３ｄが算出した比較代表特徴量同士の距離を算出する（ステップＳ９０３）。ここで距離算出部１０３４ｄは、断面画像ＰＺ０～ＰＺｎからそれぞれ算出された比較代表特徴量の全ての組合せについて比較代表特徴量同士の距離を算出する。距離算出部１０３４ｄは、算出した複数の距離を異常画像選択部１０４ｄに供給する。
【0140】
異常画像選択部１０４ｄは、距離算出部１０３４ｄが供給する複数の距離に基づいて、距離が所定の値以上である断面画像を断面画像ＰＺ０～ＰＺｎの中から選択する（ステップＳ９０４）。図２７に示した例では、異常画像選択部１０４ｄは、方向均一スフェロイド画像ＳＦＺの他の領域とは異なる断面画像ＰＺｉ及び断面画像ＰＺｊを選択する。異常画像選択部１０４ｄは、選択した断面画像を示す情報を位置判定部１０６に供給する。
【0141】
位置判定部１０６は、異常画像選択部１０４ｄが供給する断面画像を示す情報に基づいて、この断面画像の３次元のスフェロイドの画像内の位置を判定する（ステップＳ９０５）。位置判定部１０６は、判定した位置を示す情報を結果出力部３００に供給する。
【0142】
結果出力部３００は、位置判定部１０６が供給する位置を示す情報に基づいて、３次元のスフェロイドの画像内の他の領域と異なる領域の位置を表示部３０に表示させる（ステップＳ９０６）。
［第６実施形態］
以下、図面を参照しながら本発明の第６の実施形態について説明する。
上記実施形態では、算出装置が、ウェル内の位置に対応する細胞画像同士の違いを定量化する場合について説明した。本実施形態では、算出装置が、スフェロイドが撮像された３次元画像同士の違いを定量化する場合について説明する。
［第６実施形態］
以下、図面を参照しながら本発明の第６の実施形態について説明する。
上記実施形態では、算出装置が、ウェル内の位置に対応する細胞画像同士の違いを定量化する場合について説明した。本実施形態では、算出装置が、スフェロイドが撮像された３次元画像同士の違いを定量化する場合について説明する。
【0143】
図２８は、本発明の第６実施形態による１０ｅが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置１０e（図２８）と、第１～５の実施形態に係る算出装置とを比較すると、演算部１００ｅが違いを算出する細胞画像が３次元のスフェロイド画像である点が異なる。３次元のスフェロイド画像同士の違いを算出する点を除ければ、本実施形態に係る算出装置１０e（図２８）の機能は、第５の実施形態と類似する。第５の実施形態と同じ機能の説明は省略し、第６の実施形態では、第５の実施形態と異なる部分を中心に説明する。
【0144】
解析画像取得部１０７ｅは、撮像部２２が撮像した解析画像群を取得する。この解析画像群は、複数のスフェロイド画像であるスフェロイド画像群である。スフェロイド画像とは、同様の手法で作製されたスフェロイドが撮像された３次元画像それぞれから、所定のサイズのボクセルを所定の個数だけ取り出してできる複数のボクセルの組である。ここで所定のサイズとは、一例として１００×１００×１００ピクセルであり、所定の個数とは、一例として５×５×５個である。したがって、スフェロイド画像群とは、１つのスフェロイドの３次元画像から取り出された複数のボクセルの組をさらに複数集めた集合である。
解析画像取得部１０７ｅは、スフェロイド画像ＳＦ０、スフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３からなる。
解析画像取得部１０７ｅは、スフェロイド画像ＳＦ０、スフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３からなる。
【0145】
解析画像取得部１０７ｅは、スフェロイド画像ＳＦ０を基準画像群とし、基準画像取得部１０１ｅに供給する。解析画像取得部１０７ｅは、スフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３をそれぞれ比較画像群とし、比較画像取得部１０２ｅに供給する。
基準画像取得部１０１ｅは、解析画像取得部１０７ｅが供給する基準画像群を取得し、比較画像違い算出部１０３ｅに供給する。
比較画像取得部１０２ｅは、解析画像取得部１０７ｅが供給する比較画像群を取得し、比較画像違い算出部１０３ｅに供給する。
基準画像取得部１０１ｅは、解析画像取得部１０７ｅが供給する基準画像群を取得し、比較画像違い算出部１０３ｅに供給する。
比較画像取得部１０２ｅは、解析画像取得部１０７ｅが供給する比較画像群を取得し、比較画像違い算出部１０３ｅに供給する。
【0146】
比較画像違い算出部１０３ｅは、複数の３次元画像である基準画像群と、複数の３次元画像である比較画像群との違いを算出する。比較画像違い算出部１０３ｅは、基準特徴量算出部１０３１ｅと、比較特徴量算出部１０３２ｅと、代表特徴量算出部１０３３ｅと、距離算出部１０３４ｅとを備える。
【0147】
基準特徴量算出部１０３１ｅは、基準画像取得部１０１ｅが供給する基準画像群であるスフェロイド画像ＳＦ０に含まれるボクセルのそれぞれの特徴量を、複数の基準特徴量として算出する。ここでボクセルの特徴量とは、ボクセルをある軸の所定の間隔毎に２次元画像である断面図に分割し、それぞれの断面図について算出した特徴量を組にしてできるテンソルである。以下では、ボクセルの特徴量を特徴量テンソルと呼ぶ場合がある。基準特徴量算出部１０３１ｅは、スフェロイド画像ＳＦ０のボクセルそれぞれについて算出した複数の特徴量テンソルを代表特徴量算出部１０３３ｅに供給する。
【0148】
比較特徴量算出部１０３２ｅは、基準画像取得部１０１ｅが供給する比較画像群であるスフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３に含まれるスフェロイド画像の特徴量テンソルを、複数の比較特徴量として算出する。比較特徴量算出部１０３２ｅは、スフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３のボクセルそれぞれについて算出した複数の算出した複数の比較特徴量を代表特徴量算出部１０３３ｅに供給する。
【0149】
代表特徴量算出部１０３３ｅは、基準特徴量算出部１０３１ｅが供給するスフェロイド画像ＳＦ０の複数の特徴量テンソルから代表特徴量テンソルを算出し、基準代表特徴量テンソルとする。ここで代表特徴量テンソルとは、複数の特徴量テンソルの成分ごとの分布の代表値からなるテンソルである。ここで代表値とは、例えば、中央値や平均値である。代表特徴量算出部１０３３ｅは、算出した基準代表特徴量テンソルを距離算出部１０３４ｅに供給する。
代表特徴量算出部１０３３ｅは、比較特徴量算出部１０３２ｅが供給するスフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３毎に複数の特徴量テンソルから代表特徴量テンソルをそれぞれ算出し、それぞれ比較代表特徴量テンソルとする。代表特徴量算出部１０３３ｅは、算出した比較代表特徴量テンソルを距離算出部１０３４ｅに供給する。
距離算出部１０３４ｅは、代表特徴量算出部１０３３ｅが供給する基準代表特徴量テンソルと、複数の比較代表特徴量テンソルとの距離をそれぞれ算出し、画像選択部１０４ｅに供給する。
代表特徴量算出部１０３３ｅは、比較特徴量算出部１０３２ｅが供給するスフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３毎に複数の特徴量テンソルから代表特徴量テンソルをそれぞれ算出し、それぞれ比較代表特徴量テンソルとする。代表特徴量算出部１０３３ｅは、算出した比較代表特徴量テンソルを距離算出部１０３４ｅに供給する。
距離算出部１０３４ｅは、代表特徴量算出部１０３３ｅが供給する基準代表特徴量テンソルと、複数の比較代表特徴量テンソルとの距離をそれぞれ算出し、画像選択部１０４ｅに供給する。
【0150】
画像選択部１０４ｅは、距離算出部１０３４ｅが供給する複数の距離に距離に基づいて、比較画像群の中からスフェロイド画像を選択する。画像選択部１０４ｅは、選択したスフェロイド画像を結果出力部３００に供給する。
【0151】
ここで図２９を参照し、演算部１００ｅが基準画像群であるスフェロイド画像との違いが最も小さいスフェロイド画像を比較画像群のなかから選択する処理について説明する。
図２９は、本実施形態の演算部１００ｅによる画像を選択する演算手順の一例を示す図である。
図２９は、本実施形態の演算部１００ｅによる画像を選択する演算手順の一例を示す図である。
【0152】
解析画像取得部１０７ｅは、撮像部２２が撮像した解析画像群であるスフェロイド画像ＳＦ０、スフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３を取得する（ステップＳ１０００）。ここで図３０を参照し、スフェロイド画像について説明する。
【0153】
図３０は、本実施形態のスフェロイド画像の一例を示す図である。図３０では、スフェロイドがそれぞれ撮像された３次元画像をスフェロイド画像と呼ぶ。スフェロイド画像ＳＦ０、スフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３は、同一条件下で培養された複数のスフェロイドがそれぞれ撮像された３次元画像である。スフェロイド画像ＳＦ０、スフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３は、Ｘ軸、Ｙ軸、Ｚ軸の各方向に不均一であるスフェロイドが撮像された３次元画像である。
【0154】
図２９に戻って、演算部１００ｅの処理の説明を続ける。
解析画像取得部１０７ｅは、スフェロイド画像ＳＦ０を基準画像群とし、基準画像取得部１０１ｅに供給する。撮像部２２が撮像した解析画像群であるスフェロイド画像のうち、解析画像取得部１０７ｅがいずれのスフェロイド画像を基準画像群とするかは、算出装置１０ｅの使用者によって予め指定されてよい。
解析画像取得部１０７ｅは、スフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３をそれぞれ比較画像群とし、比較画像取得部１０２ｅに供給する。
解析画像取得部１０７ｅは、スフェロイド画像ＳＦ０を基準画像群とし、基準画像取得部１０１ｅに供給する。撮像部２２が撮像した解析画像群であるスフェロイド画像のうち、解析画像取得部１０７ｅがいずれのスフェロイド画像を基準画像群とするかは、算出装置１０ｅの使用者によって予め指定されてよい。
解析画像取得部１０７ｅは、スフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３をそれぞれ比較画像群とし、比較画像取得部１０２ｅに供給する。
【0155】
基準画像取得部１０１ｅ及び比較画像違い算出部１０３ｅは、基準画像群から基準代表特徴量を算出する処理を実行する（ステップＳ１００１）。ここで図３１を参照し、この基準代表特徴量を算出する処理について説明する。
【0156】
図３１は、本実施形態の演算部１００ｅによる基準代表特徴量を算出する演算手順の一例を示す流れ図である。
基準画像取得部１０１ｅは、解析画像取得部１０７ｅが供給する基準画像群であるスフェロイド画像ＳＦ０を取得する（ステップＳ１１０）。基準画像取得部１０１ｅは、取得したスフェロイド画像ＳＦ０を基準特徴量算出部１０３１ｅに供給する。
基準画像取得部１０１ｅは、解析画像取得部１０７ｅが供給する基準画像群であるスフェロイド画像ＳＦ０を取得する（ステップＳ１１０）。基準画像取得部１０１ｅは、取得したスフェロイド画像ＳＦ０を基準特徴量算出部１０３１ｅに供給する。
【0157】
基準特徴量算出部１０３１ｅは、基準画像取得部１０１ｅが供給するスフェロイド画像ＳＦ０から基準特徴量を算出する（ステップＳ１１１）。ここで基準特徴量算出部１０３１ｅは、スフェロイド画像ＳＦ０から取り出されるボクセルのそれぞれについて特徴量テンソルを基準特徴量として算出する。基準特徴量算出部１０３１ｅは、算出した複数の特徴量テンソルを代表特徴量算出部１０３３ｅに供給する。
【0158】
代表特徴量算出部１０３３ｅは、基準特徴量算出部１０３１ｅが供給するスフェロイド画像ＳＦ０の複数の特徴量テンソルから基準代表特徴量テンソルを算出する（ステップＳ１１２）。代表特徴量算出部１０３３ｅは、算出した基準代表特徴量テンソルを距離算出部１０３４ｅに供給する。
【0159】
図２９に戻って、演算部１００ｅの処理の説明を続ける。
比較画像取得部１０２ｅは、解析画像取得部１０７ｅが供給するスフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３を比較画像群として取得する（ステップＳ１００２）。比較画像取得部１０２ｅは、取得したスフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３を比較特徴量算出部１０３２ｅに供給する。
比較画像取得部１０２ｅは、解析画像取得部１０７ｅが供給するスフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３を比較画像群として取得する（ステップＳ１００２）。比較画像取得部１０２ｅは、取得したスフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３を比較特徴量算出部１０３２ｅに供給する。
【0160】
比較特徴量算出部１０３２ｅは、基準画像取得部１０１ｅが供給する比較画像群であるスフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３に含まれるスフェロイド画像の特徴量テンソルを、複数の比較特徴量として算出する（ステップＳ１００３）。比較特徴量算出部１０３２ｅは、算出した複数の比較特徴量を距離算出部１０３４ｅに供給する。
【0161】
代表特徴量算出部１０３３ｅは、比較特徴量算出部１０３２ｅが供給するスフェロイド画像ＳＦ１、スフェロイド画像ＳＦ２、及びスフェロイド画像ＳＦ３毎に、複数の特徴量テンソルから比較代表特徴量テンソルをそれぞれ算出する（ステップＳ１００４）。代表特徴量算出部１０３３ｅは、算出した複数の比較代表特徴量テンソルを距離算出部１０３４ｅに供給する。
【0162】
距離算出部１０３４ｅは、代表特徴量算出部１０３３ｅが供給する基準代表特徴量テンソルと、複数の比較代表特徴量テンソルとの距離をそれぞれ算出する（ステップＳ１００５）。ここで特徴量テンソル同士の距離は、例えば、特徴量テンソルそれぞれの成分の値同士の差に基づいて算出されるユークリッド距離である。なお、特徴量テンソル同士の距離は、ユークリッド距離以外であってもよい。距離算出部１０３４ｅは、算出した複数の距離を画像選択部１０４ｅに供給する。
【0163】
画像選択部１０４ｅは、距離算出部１０３４ｅが供給する複数の距離に基づいて、比較画像群の中からスフェロイド画像を選択する（ステップＳ１００６）。ここで画像選択部１０４ｅは、距離算出部１０３４ｅが供給する複数の距離のなかから最も小さい距離を判定する。画像選択部１０４ｅは、判定した最も小さい距離に対応する比較画像群であるスフェロイド画像を選択する。画像選択部１０４ｅは、選択したスフェロイド画像を示す情報を結果出力部３００に供給する。
なお、画像選択部１０４ｅは、距離算出部１０３４ｅが供給する複数の距離のなかから最も大きい距離を判定し、比較画像群の中からスフェロイド画像を選択してもよい。
なお、画像選択部１０４ｅは、距離算出部１０３４ｅが供給する複数の距離のなかから最も大きい距離を判定し、比較画像群の中からスフェロイド画像を選択してもよい。
【0164】
結果出力部３００は、画像選択部１０４ｅが供給するスフェロイド画像を示す情報に基づいて、この情報が示すスフェロイド画像を表示部３０に表示させる（ステップＳ１００７）。
【0165】
なお、上記の実施形態においては、「複数の基準画像を用いて算出される特徴量」などの記載において、「用いて」の代わりに「基づいて」としてもよい。すなわち、この一例の場合において、「複数の基準画像を用いて算出される特徴量」との記載を「複数の基準画像を基づいて算出される特徴量」としてもよい。つまり、上記の実施形態においては、「用いて」と「基づいて」とを互いに入れ替えた記載についても、実施形態の記載に含まれる。
【0166】
なお、本発明の実施形態における算出装置１０の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
【0167】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0168】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0169】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0170】
１…顕微鏡観察システム、１０、１０ａ、１０ｂ、１０ｃ、１０ｄ、１０e…算出装置、２０…顕微鏡装置、３０…表示部、１００、１００ａ、１００ｂ、１００ｃ、１００e…演算部、１０１、１０１ｂ、１０１ｅ…基準画像取得部、１０１ｃ…分類用基準画像取得部、１０２、１０２ｂ、１０２ｄ、１０２ｅ…比較画像取得部、１０２ｃ…対象画像取得部、１０３、１０３ｂ、１０３ｃ、…算出部、１０３ｄ、１０３ｅ…比較画像違い算出部、１０４…選択部、１０４ｄ…異常画像選択部、１０４ｅ…画像選択部、１０５…割合算出部、１０６、１０６ｅ…位置判定部、１０７、１０７ｅ…解析画像取得部、１０８…解析部、１０９…分類部、１１０…培養状態判定部、１０３１、１０３１ｂ、１０３１ｅ…基準特徴量算出部、１０３１ｃ…分類用基準特徴量算出部、１０３２、１０３２ｅ…比較特徴量算出部、１０３３、１０３３ｅ…代表特徴量算出部、１０３４、１０３４ｄ、１０３４ｅ…距離算出部、１０８１…時系列算出部、１０８２…濃度変化算出部、１０８３…種類変化算出部、２００、２００ｃ…記憶部、２０１…次元削減情報記憶部、２０２、２０２ｂ…基準画像記憶部、２０２ｃ…分類用基準画像記憶部、３００…結果出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】