特許 7026694 画像解析装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-17

(45)【発行日】2022-02-28

(54)【発明の名称】画像解析装置、方法およびプログラム

(51)【国際特許分類】

   C12M 1/34 20060101AFI20220218BHJP

   G01N 21/64 20060101ALI20220218BHJP

   G02B 21/00 20060101ALI20220218BHJP

   G01N 33/48 20060101ALI20220218BHJP

   G01N 33/483 20060101ALI20220218BHJP

【ＦＩ】

C12M1/34 B

G01N21/64 F

G01N21/64 E

G02B21/00

G01N33/48 M

G01N33/483 C

【請求項の数】 7

(21)【出願番号】P 2019544478

(86)(22)【出願日】2018-09-03

(86)【国際出願番号】 JP2018032613

(87)【国際公開番号】W WO2019065105

(87)【国際公開日】2019-04-04

【審査請求日】2020-03-19

(31)【優先権主張番号】P 2017187086

(32)【優先日】2017-09-27

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】富永 俊弼

【審査官】鈴木 崇之

(56)【参考文献】

【文献】特開２０１１－０２７５４２（ＪＰ，Ａ）

【文献】特開２００５－２２７０９７（ＪＰ，Ａ）

【文献】国際公開第２０１６／１０４３０８（ＷＯ，Ａ１）

【文献】特開２０１７－１２２６１０（ＪＰ，Ａ）

【文献】国際公開第２０１５／１４５６４４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｃ１２Ｍ １／００－３／１０

Ｇ０１Ｎ ２１／６２－２１／７４

Ｇ０１Ｎ ３３／４８－３３／９８

Ｇ０２Ｂ ２１／００－２１／３６

Ｇ０６Ｔ ７／００－７／９０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＰｕｂＭｅｄ

(57)【特許請求の範囲】

【請求項1】

第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得する画像取得部と、
前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域のそれぞれが、対応する前記第２の領域の輪郭内に位置するか否かに基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得し、前記第１の判定結果が取得できない場合、前記重ね合わせ画像において、前記第１の領域のそれぞれについての、対応する前記第２の領域の輪郭内に位置する割合に基づいて、前記第１の判定結果を取得する第１の判定部と、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する第２の判定部とを備えた画像解析装置。

【請求項2】

第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得する画像取得部と、
前記第１の蛍光画像から前記第１の領域の輪郭を抽出し、前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域の輪郭に対して第１の基準点を設定し、前記第１の基準点を通る第１の単位法線ベクトルを第１の情報として設定し、前記第１の単位法線ベクトルの延長線と前記第２の領域の輪郭との交点であって、前記第１の基準点と隣接する交点を第２の基準点に設定し、前記第２の基準点を通る第２の単位法線ベクトルを第２の情報として設定し、前記第１の情報、前記第２の情報、および前記第１の基準点と前記第２の基準点との距離を表す第３の情報に基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得する第１の判定部と、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する第２の判定部とを備えた画像解析装置。

【請求項3】

前記複数種類の細胞のうち、前記特定の細胞以外の細胞は、前記第２の染色に対して陰性である請求項１または２に記載の画像解析装置。

【請求項4】

第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得し、
前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域のそれぞれが、対応する前記第２の領域の輪郭内に位置するか否かに基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得し、前記第１の判定結果が取得できない場合、前記重ね合わせ画像において、前記第１の領域のそれぞれについての、対応する前記第２の領域の輪郭内に位置する割合に基づいて、前記第１の判定結果を取得し、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する画像解析方法。

【請求項5】

第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得し、
前記第１の蛍光画像から前記第１の領域の輪郭を抽出し、前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域の輪郭に対して第１の基準点を設定し、前記第１の基準点を通る第１の単位法線ベクトルを第１の情報として設定し、前記第１の単位法線ベクトルの延長線と前記第２の領域の輪郭との交点であって、前記第１の基準点と隣接する交点を第２の基準点に設定し、前記第２の基準点を通る第２の単位法線ベクトルを第２の情報として設定し、前記第１の情報、前記第２の情報、および前記第１の基準点と前記第２の基準点との距離を表す第３の情報に基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得し、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する画像解析方法。

【請求項6】

第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得する手順と、
前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域のそれぞれが、対応する前記第２の領域の輪郭内に位置するか否かに基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得し、前記第１の判定結果が取得できない場合、前記重ね合わせ画像において、前記第１の領域のそれぞれについての、対応する前記第２の領域の輪郭内に位置する割合に基づいて、前記第１の判定結果を取得する手順と、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する手順とをコンピュータに実行させる画像解析プログラム。

【請求項7】

第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得する手順と、
前記第１の蛍光画像から前記第１の領域の輪郭を抽出し、前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域の輪郭に対して第１の基準点を設定し、前記第１の基準点を通る第１の単位法線ベクトルを第１の情報として設定し、前記第１の単位法線ベクトルの延長線と前記第２の領域の輪郭との交点であって、前記第１の基準点と隣接する交点を第２の基準点に設定し、前記第２の基準点を通る第２の単位法線ベクトルを第２の情報として設定し、前記第１の情報、前記第２の情報、および前記第１の基準点と前記第２の基準点との距離を表す第３の情報に基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得する手順と、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する手順とをコンピュータに実行させる画像解析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数種類の細胞を含む観察対象についての蛍光画像を解析する画像解析装置、方法およびプログラムに関するものである。

【背景技術】

【0002】

従来、ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞等の多能性幹細胞、または分化誘導された細胞等を顕微鏡等で撮像し、撮像した画像の特徴を捉えることで細胞の分化状態等を判定する方法が提案されている。ＥＳ細胞およびｉＰＳ細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明等において応用が可能なものとして注目されている。

【0003】

このような再生医療および薬の開発等の分野においては、蛍光物質を用いて染色した細胞を撮影し、撮影により取得した蛍光画像に基づいて、細胞の検査が行われている。ここで、細胞の検査としては、未分化性等の特定の性質を有する細胞の数え上げ、および細胞の形態学的特徴の評価等が挙げられる。細胞の検査は、観察者の目視判定によって行われている。しかしながら、目視検査では、観察者間における評価基準のばらつきがあり、かつ検査の効率が悪い。このため、画像解析装置を用いた自動評価が行われている。

【0004】

例えば、特許文献１においては、細胞膜と細胞核とを異なる染色で発色させて異なる蛍光画像を取得し、各蛍光画像において細胞膜および細胞核の領域を決定し、細胞核の領域が細胞膜の領域に包含されるときに、細胞として判定する手法が提案されている。また、特許文献２においては、蛍光画像において細胞核の輪郭と細胞の輪郭とを抽出し、細胞の輪郭内に細胞核が１つだけ存在しているか複数存在しているか否かを判定し、細胞核が複数存在している場合には細胞の輪郭を分割して、細胞の輪郭内に核が１つだけ存在している細胞を細胞として識別する手法が提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００９－１２２１１５号公報

【文献】特開２００６－０１８３９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載された手法は、細胞核の領域が細胞膜の領域に包含されるときに細胞として判別するのみであり、細胞の種類を判別するものではない。また、特許文献２に記載された手法は、細胞の輪郭内における細胞核の数を判別するものであり、細胞の種類を判別するものではない。

【0007】

本発明は、上記事情に鑑みなされたものであり、観察対象に含まれる細胞の種類を判別できるようにすることを目的とする。

【課題を解決するための手段】

【0008】

本発明による画像解析装置は、第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および第１の染色とは異なる第２の染色により、複数種類の細胞のうちの特定の細胞における第２の領域が染色された観察対象を表す第２の蛍光画像を取得する画像取得部と、
第１の蛍光画像と第２の蛍光画像とを重ね合わせた重ね合わせ画像において、第１の領域が第２の領域に包含されるか否かを判定して、第１の領域のそれぞれについての第１の判定結果を取得する第１の判定部と、
第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する第２の判定部とを備える。

【0009】

「第１の領域」とは、複数種類の細胞の全てに含まれる領域であり、例えば複数種類の細胞の細胞核を第１の領域として用いることができる。

【0010】

「第２の領域」とは、複数種類の細胞のうちの特定の細胞における、例えば細胞膜内の全領域を第２の領域として用いることができる。

【0011】

「重ね合わせ画像」は、相対応する画素が一致するように、第１の蛍光画像と第２の蛍光画像とを重ねることにより取得される画像である。

【0012】

なお、本発明による画像解析装置においては、複数種類の細胞のうち、特定の細胞以外の細胞は、第２の染色に対して陰性であってもよい。

【0013】

「第２の染色に対して陰性」であるとは、第２の染色によっては染色されないことを意味する。

【0014】

また、本発明による画像解析装置においては、第１の判定部は、第２の蛍光画像から第２の領域の輪郭を抽出し、重ね合わせ画像において、第１の領域のそれぞれが、対応する第２の領域の輪郭内に位置するか否かに基づいて、第１の判定結果を取得するものであってもよい。

【0015】

この場合、第１の判定部は、第１の判定結果が取得できない場合、重ね合わせ画像において、第１の領域のそれぞれについての、対応する第２の領域の輪郭内に位置する割合に基づいて、第１の判定結果を取得するものであってもよい。

【0016】

なお、輪郭の抽出は、重ね合わせ画像を生成する前に行ってもよく、重ね合わせ画像を生成した後に行ってもよい。

【0017】

また、本発明による画像解析装置においては、第１の判定部は、第２の蛍光画像から第２の領域の輪郭を抽出し、重ね合わせ画像において、第１の領域のそれぞれについての、対応する第２の領域の輪郭内に位置する割合に基づいて、第１の判定結果を取得するものであってもよい。

【0018】

また、本発明による画像解析装置においては、第１の判定部は、第１の蛍光画像から第１の領域の輪郭を抽出し、第２の蛍光画像から第２の領域の輪郭を抽出し、重ね合わせ画像における第１の領域の輪郭および第２の領域の輪郭に基づいて、第１の判定結果を取得するものであってもよい。

【0019】

この場合、第１の判定部は、重ね合わせ画像において、第１の領域の輪郭および第２の領域の輪郭のそれぞれに対して、互いに隣接する第１の基準点および第２の基準点を設定し、第１の基準点における第１の領域の輪郭の方向を表す第１の情報、第２の基準点における第２の領域の輪郭の方向を表す第２の情報、および第１の基準点と第２の基準点との距離を表す第３の情報に基づいて、第１の判定結果を取得するものであってもよい。

【0020】

本発明による画像解析方法は、第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および第１の染色とは異なる第２の染色により、複数種類の細胞のうちの特定の細胞における第２の領域が染色された観察対象を表す第２の蛍光画像を取得し、
第１の蛍光画像と第２の蛍光画像とを重ね合わせた重ね合わせ画像において、第１の領域が第２の領域に包含されるか否かを判定して、第１の領域のそれぞれについての第１の判定結果を取得し、
第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する。

【0021】

なお、本発明による画像解析方法をコンピュータに実行させるためのプログラムとして提供してもよい。

【0022】

本発明による他の画像解析装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサが、
第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および第１の染色とは異なる第２の染色により、複数種類の細胞のうちの特定の細胞における第２の領域が染色された観察対象を表す第２の蛍光画像を取得し、
第１の蛍光画像と第２の蛍光画像とを重ね合わせた重ね合わせ画像において、第１の領域が第２の領域に包含されるか否かを判定して、第１の領域のそれぞれについての第１の判定結果を取得し、
第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する処理を実行する。

【発明の効果】

【0023】

本発明によれば、第１の染色により第１の領域が染色された第１の蛍光画像と、第１の染色とは異なる第２の染色により、特定の細胞における第２の領域が染色された第２の蛍光画像とを重ねた重ね合わせ画像において、第１の蛍光画像における第１の領域が第２の蛍光画像における第２の領域に包含されるか否かが判定されて第１の判定結果が取得される。そして、第１の判定結果に基づいて観察対象に含まれる細胞の種類が判定される。ここで、第１の蛍光画像においては、複数種類の細胞の第１の領域が染色されており、第２の蛍光画像においては、特定の細胞における第２の領域が染色されている。このため、特定の細胞については、重ね合わせ画像において第２の領域と第１の領域とが重なって、第１の領域が第２の領域に包含される。一方、特定の細胞以外の細胞については、第２の染色により染色されていないため、重ね合わせ画像においては、特定の細胞以外の細胞の第１の領域は、第２の領域に包含されない。したがって、本発明によれば、観察対象に含まれる特定種類の細胞と特定種類の細胞以外の細胞とを区別することができるため、観察対象に含まれる細胞の種類を判定することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施形態による画像解析装置を用いた画像解析システムの概略構成を示すブロック図

【図2】第１の蛍光画像を示す図

【図3】第２の蛍光画像を示す図

【図4】重ね合わせ画像を示す図

【図5】第１の領域の第２の領域への包含を説明するための図

【図6】第１の領域が第２の領域の輪郭内に位置する割合の算出を説明するための図

【図7】マーカが付与された重ね合わせ画像を示す図

【図8】本実施形態において行われる処理を示すフローチャート

【図9】第１の領域が第２の領域に包含されないと判定されてしまう例を示す図

【図10】他の実施形態による第１の判定結果の取得を説明するための図

【発明を実施するための形態】

【0025】

以下、本発明の画像解析装置の一実施形態を用いた画像解析システムについて、図面を参照して詳細に説明する。図１は、本実施形態の画像解析システムの概略構成を示すブロック図である。図１に示すように、本実施形態の画像解析システムは、撮像装置１０、画像解析装置２０、表示装置３０および入力装置４０を備える。

【0026】

まず、本実施形態の画像解析システムにおいては、複数種類の細胞を含む生体試料が観察対象として準備される。生体試料としては、例えば、がん細胞、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。

【0027】

本実施形態においては、生体試料として、フィーダー細胞を用いて培養された皮膚細胞を準備し、皮膚細胞を評価する例について説明する。なお、皮膚細胞が特定の細胞となる。評価としては、皮膚細胞の数のカウントおよび皮膚細胞の形態学的特徴の評価が挙げられる。また、皮膚細胞の培養は容器内において行われる。容器としては、例えばシャーレでもよいし、マルチウェルプレートでもよいし、１つのマルチウェルプレートの異なるウェルを用いてもよい。そして、本実施形態においては、生体試料に対して第１の染色を行って第１の蛍光画像を撮像し、その後に第２の染色を行って第２の蛍光画像を取得する。

【0028】

第１の染色には生体試料に含まれる全ての細胞の細胞核を染色する蛍光物質が用いられる。また、第２の染色には、生体試料に含まれる皮膚細胞のケラチンを染色するケラチン染色を行う蛍光物質が用いられる。ここで、フィーダー細胞はケラチン染色（第２の染色）に対して陰性であり、ケラチン染色によっては染色されない。なお、生体試料の作成および染色は、ユーザが手動で行うようにしてもよいし、例えば細胞を吸引する機構およびロボットアーム等からなる装置を用いて自動で行うようにしてもよい。

【0029】

撮像装置１０は、第１の染色がなされた生体試料を撮像して第１の蛍光画像Ｋ１を取得し、その後に第２の染色がなされた生体試料を撮像して第２の蛍光画像Ｋ２を取得する。具体的には、ＣＣＤ（Charge-Coupled Device）イメージセンサおよびＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を備え、生体試料から発せられる蛍光の強度を検出する蛍光顕微鏡装置を撮像装置１０として用いる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。撮像装置１０により取得された第１の蛍光画像Ｋ１および第２の蛍光画像Ｋ２は、画像解析装置２０に入力される。

【0030】

画像解析装置２０は、図１に示すように、画像取得部２１、第１の判定部２２、第２の判定部２３および表示制御部２４を備える。画像解析装置２０は、中央処理装置、半導体メモリおよびハードディスク等を備えたコンピュータから構成されるものであり、ハードディスクに本発明の画像解析プログラムの一実施形態がインストールされている。そして、画像解析プログラムが中央処理装置によって実行されることによって、図１に示す画像取得部２１、第１の判定部２２、第２の判定部２３および表示制御部２４が機能する。なお、本実施形態においては、画像解析プログラムによって、各部の機能を実行するようにしたが、これに限らず、例えば複数のＩＣ（Integrated Circuit）、プロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、およびメモリ等を適宜組み合わせることによって各部の機能を実行するようにしてもよい。

【0031】

画像取得部２１は、撮像装置１０から出力された第１の蛍光画像Ｋ１および第２の蛍光画像Ｋ２を取得し、不図示の記憶部に記憶する。図２は第１の蛍光画像を示す図、図３は第２の蛍光画像を示す図である。ここで、上述した第１の染色により生体試料に含まれる全ての細胞の細胞核が染色されているため、第１の蛍光画像Ｋ１においては、生体試料に含まれる全ての細胞核が染色されている。第１の蛍光画像Ｋ１に含まれる細胞核の領域が第１の領域Ａ１となる。

【0032】

一方、上述した第２の染色により生体試料に含まれる皮膚細胞のケラチンが染色されている。ケラチンは皮膚細胞の細胞膜内に存在する。このため、第２の蛍光画像Ｋ２においては、生体試料に含まれる皮膚細胞の細胞膜内の領域が染色されている。第２の蛍光画像Ｋ２に含まれる皮膚細胞の細胞膜内の領域が第２の領域Ａ２となる。

【0033】

なお、第１の染色を行う蛍光物質と第２の染色を行う蛍光物質とは異なるため、第１の蛍光画像Ｋ１における染色された第１の領域Ａ１と、第２の蛍光画像Ｋ２における染色された領域Ａ２とは異なる蛍光色を発する。この状態を示すため、図２においては第１の蛍光画像Ｋ１において染色された第１の領域Ａ１を黒く塗りつぶし、図３においては第２の蛍光画像Ｋ２において染色された第２の領域Ａ２に斜線を付与している。

【0034】

第１の判定部２２は、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定して、第１の領域Ａ１のそれぞれについての第１の判定結果を取得する。このために、第１の判定部２２は、第２の蛍光画像Ｋ２から染色された第２の領域Ａ２、すなわち皮膚細胞の細胞膜の領域の輪郭を抽出する。なお、輪郭を抽出する手法としては、例えば微分フィルタを用いる手法を用いることができる。また、第２の蛍光画像Ｋ２を二値化処理して二値化画像を取得し、二値化画像における領域の境界線を追跡する手法を用いて輪郭を抽出してもよい。なお、二値化処理としては、適応的二値化および大津の二値化等、任意の手法を用いることができる。

【0035】

第１の判定部２２は、第２の領域Ａ２の輪郭が抽出された第２の蛍光画像Ｋ２と第１の蛍光画像Ｋ１とを重ね合わせて重ね合わせ画像Ｋ０を生成する。図４は本実施形態において生成される重ね合わせ画像を示す図である。なお、図４に示す重ね合わせ画像Ｋ０においては、第１の領域Ａ１の塗りつぶし、および第２の領域Ａ２への斜線は省略している。第１の判定部２２は、重ね合わせ画像Ｋ０に含まれる第１の領域Ａ１のそれぞれについて、第２の領域Ａ２の輪郭内に位置するか否かに基づいて、第１の領域Ａ１が対応する第２の領域Ａ２に包含されているか否かを判定して、第１の判定結果を取得する。

【0036】

図５は第１の領域の第２の領域への包含を説明するための図である。なお、図５においては、４つの第１の領域Ａ１１，Ａ１２，Ａ１３，Ａ１４およびこれらに対応する１つの第２の領域Ａ２が示されている。第１の判定部２２は、第１の領域Ａ１１，Ａ１２，Ａ１３，Ａ１４における重心Ｇ１１，Ｇ１２，Ｇ１３，Ｇ１４を検出する。そして、重心Ｇ１１，Ｇ１２，Ｇ１３，Ｇ１４から、重ね合わせ画像Ｋ０におけるあらかじめ定められた方向に半直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４を引き、半直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４と第２の領域Ａ２の輪郭との交点の数を検出する。そして、交点の数が奇数の場合、その第１の領域Ａ１は第２の領域Ａ２の輪郭内に位置し、交点の数が偶数の場合、その第１の領域Ａ１は第２の領域Ａ２の輪郭外に位置すると判定する。例えば、第１の領域Ａ１１，Ａ１３について、半直線Ｌ１１，Ｌ１３は第２の領域Ａ２とそれぞれ１箇所で交差するため、第１の領域Ａ１１，Ａ１３は第２の領域Ａ２の輪郭内に位置する。このため、第１の領域Ａ１１，Ａ１３は第２の領域Ａ２に包含されると判定される。また、第１の領域Ａ１２について、半直線Ｌ１２は第２の領域Ａ２と２箇所で交差するため、第１の領域Ａ１２は第２の領域Ａ２の輪郭外に位置する。このため、第１の領域Ａ１２は第２の領域Ａ２に包含されないと判定される。なお、第１の領域Ａ１４については、半直線Ｌ１４は第２の領域Ａ２と交差するか否か明確に判定ができない。そのような第１の領域Ａ１４については、判定できない旨、すなわち判定不可の判定を行う。

【0037】

第１の判定部２２は、判定不可となった第１の領域Ａ１については、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置する割合を算出する。図６は第１の領域が第２の領域の輪郭内に位置する割合の算出を説明するための図である。第１の判定部２２は、第１の領域Ａ１の全領域の面積Ｓ１１と、図６に斜線で示す、第１の領域Ａ１のうちの第２の領域Ａ２の輪郭内に含まれる領域の面積Ｓ１２を算出し、後者を前者で除算した値、すなわちＳ１２／Ｓ１１を算出することにより、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置する割合を算出する。第１の判定部２２は、算出した割合があらかじめ定められたしきい値Ｔｈ１以上であるか否かを判定し、割合がしきい値Ｔｈ１以上の場合、その第１の領域Ａ１は第２の領域Ａ２に包含されると判定する。なお、しきい値Ｔｈ１としては、誤検出を防止するために，比較的高い値（例えば８０％）を用いることができる。一方、算出した割合がしきい値Ｔｈ１未満である場合、その第１の領域Ａ１は第２の領域Ａ２に包含されないと判定する。

【0038】

第２の判定部２３は、第１の判定部２２による第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する。具体的には、第１の領域Ａ１が第２の領域Ａ２に包含されている細胞を皮膚細胞と判定し、第１の領域Ａ１が第２の領域Ａ２に包含されていない細胞をフィーダー細胞と判定する。なお、第２の判定部２３は、重ね合わせ画像Ｋ０において、判定した細胞の種類毎に異なるマーカを付与してもよい。例えば、判定した細胞の種類毎に異なる色のマーカを付与してもよい。図７はマーカが付与された重ね合わせ画像を示す図である。なお、図７においては、皮膚細胞の細胞核を塗りつぶし、フィーダー細胞の細胞核に斜線を付与することにより、皮膚細胞の細胞核およびフィーダー細胞の細胞核にそれぞれ異なる色のマーカを付与していることを示している。なお、異なる色のマーカの付与に代えて、異なる形状のマーカを付与してもよい。

【0039】

表示制御部２４は、上述した第１の蛍光画像Ｋ１、第２の蛍光画像Ｋ２および重ね合わせ画像Ｋ０等を表示装置３０に表示する。

【0040】

表示装置３０は、表示制御部２４からの指示により、上述した第１の蛍光画像Ｋ１、第２の蛍光画像Ｋ２および重ね合わせ画像Ｋ０等を表示するものであり、例えば液晶ディスプレイ等を備えたものである。また、表示装置３０をタッチパネルによって構成し、入力装置４０と兼用してもよい。

【0041】

入力装置４０は、マウスおよびキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付けるものである。

【0042】

次いで、本実施形態において行われる処理について説明する。図８は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、撮像装置１０が生体試料を撮像することにより取得した、第１の蛍光画像Ｋ１および第２の蛍光画像Ｋ２を取得する（ステップＳＴ１）。次いで、第１の判定部２２が、第２の蛍光画像Ｋ２に含まれる第２の領域Ａ２の輪郭を抽出し（ステップＳＴ２）、輪郭が抽出された第２の蛍光画像Ｋ２と第１の蛍光画像Ｋ１とを重ね合わせて重ね合わせ画像Ｋ０を生成する（ステップＳＴ３）。さらに，第１の判定部２２は、重ね合わせ画像Ｋ０に含まれる第１の領域Ａ１のそれぞれについて、対応する第２の領域Ａ２に包含されるか否かを判定して、第１の判定結果を取得する（ステップＳＴ４）。そして、第２の判定部２３が、第１の判定結果に基づいて、観察対象に含まれる細胞の種類を特定する（ステップＳＴ５）。さらに、表示制御部２４が、細胞の種類に応じたマーカが付与された重ね合わせ画像Ｋ０を表示装置３０に表示し（ステップＳＴ６）、処理を終了する。

【0043】

このように，本実施形態においては、第１の蛍光画像Ｋ１と第２の蛍光画像Ｋ２とを重ねた重ね合わせ画像Ｋ０において、第１の蛍光画像Ｋ１における第１の領域Ａ１が第２の蛍光画像Ｋ２における第２の領域Ａ２に包含されるか否かを判定して第１の判定結果を取得し、第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定するようにした。ここで、第１の蛍光画像Ｋ１においては、複数種類の細胞の第１の領域Ａ１、すなわち細胞核が染色されており、第２の蛍光画像Ｋ２においては、特定の細胞、すなわち皮膚細胞における第２の領域Ａ２が染色されている。このため、皮膚細胞については、重ね合わせ画像Ｋ０において第２の領域Ａ２と第１の領域Ａ１とが重なって、第１の領域Ａ１が第２の領域Ａ２に包含される。一方、皮膚細胞以外の細胞、すなわちフィーダー細胞については、第２の染色により染色されていないため、重ね合わせ画像Ｋ０においては、フィーダー細胞の第１の領域Ａ１は、第２の領域Ａ２に包含されない。したがって、本発明によれば、観察対象に含まれる特定種類の細胞、すなわち皮膚細胞と特定種類の細胞以外の細胞、すなわちフィーダー細胞とを区別することができるため、観察対象に含まれる細胞の種類を判定することができる。

【0044】

なお、上記実施形態においては、第１の判定部２２において第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定している。しかしながら、第２の領域Ａ２の輪郭が明確に抽出できない等の理由により、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定することが困難な場合がある。例えば、図９に示すように、第１の領域Ａ１は第２の領域Ａ２に包含されると考えられるが、第１の領域Ａ１の重心Ｇ１から引いた半直線Ｌ１が第２の領域Ａ２の輪郭と交差する数が２となるため、第１の領域Ａ１は第２の領域Ａ２に包含されないと判定されてしまう。

【0045】

このため、第１の判定部２２は、第１の領域Ａ１の輪郭および第２の領域Ａ２の輪郭に基づいて、第１の判定結果を取得するようにしてもよい。以下、これを他の実施形態として説明する。図１０は他の実施形態による第１の判定結果の取得を説明するための図である。第１の判定部２２は、まず第１の領域Ａ１の輪郭上に第１の基準点Ｐ１を設定し、第１の基準点Ｐ１における外向きの単位法線ベクトルｎ１を設定する。単位法線ベクトルｎ１が、第１の基準点Ｐ１における第１の領域Ａ１の輪郭の方向を表す第１の情報となる。第１の判定部２２は、単位法線ベクトルｎ１の延長線と第２の領域Ａ２の輪郭との交点を第２の基準点Ｐ２に設定する。なお、交点が複数ある場合には、第１の基準点Ｐ１に最も近い交点を第２の基準点Ｐ２に設定する。さらに第１の判定部２２は、第２の基準点Ｐ２において第１の基準点Ｐ１側を向く単位法線ベクトルｎ２を設定する。単位法線ベクトルｎ２が、第２の基準点Ｐ２における第２の領域Ａ２の輪郭の方向を表す第２の情報となる。また、第１の判定部２２は、第１の基準点Ｐ１と第２の基準点Ｐ２との距離ｄ（例えばユークリッド距離）を算出する。距離ｄが第１の基準点Ｐ１と第２の基準点Ｐ２との距離を表す第３の情報となる。

【0046】

そして、第１の判定部２２は、第１の領域Ａ１の輪郭の方向と第２の領域Ａ２の輪郭の方向との類似度の評価値、および第１の領域Ａ１の輪郭と第２の領域Ａ２の輪郭との距離の評価値に基づいて、第１の領域Ａ１の輪郭と第２の領域Ａ２の輪郭との類似度を算出する。具体的には、単位法線ベクトルｎ１，ｎ２の内積の絶対値を、第１の領域Ａ１の輪郭の方向と第２の領域Ａ２の輪郭の方向との類似度の評価値として算出する。また、第１の基準点Ｐ１と第２の基準点Ｐ２との距離ｄに関して、１／（１＋ｄ）の値を、第１の領域Ａ１の輪郭と第２の領域Ａ２の輪郭との距離の評価値として算出する。なお、輪郭の方向の類似度の評価値は、単位法線ベクトルｎ１，ｎ２の向きが平行に近いほど大きい値となる。また、距離の評価値は距離ｄが小さいほど大きい値となる。そして、第１の判定部２２は、類似度の評価値と距離の評価値とを重み付け加算して、第１の領域Ａ１の輪郭と第２の領域Ａ２の輪郭との類似度を算出する。具体的には、下記の式（１）により、第１の領域Ａ１の輪郭と第２の領域Ａ２の輪郭との類似度Ｓ（Ｐ１）を算出する。

【0047】

【数1】

なお、式（１）において、ｗ１，ｗ２は重み係数である。第１の判定部２２は、類似度Ｓ（Ｐ１）があらかじめ設定されたしきい値Ｔｈ２以上であるか否かを判定する。そして、類似度Ｓ（Ｐ１）がしきい値Ｔｈ２以上である場合に、設定した第１の基準点Ｐ１に関して、第１の領域Ａ１は第２の領域Ａ２に包含されると判定する。第１の判定部２２は、第１の領域Ａ１の輪郭の全周に亘って第１の基準点Ｐ１の位置を変更しつつ類似度Ｓ（Ｐ１）を算出し、設定した第１の基準点Ｐ１に関して、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定する。そして、全ての第１の基準点Ｐ１について、第１の領域Ａ１が第２の領域Ａ２に包含されると判定された割合が、あらかじめ定められたしきい値Ｔｈ３以上である場合に、第１の領域Ａ１は第２の領域Ａ２に包含されると判定する。

【0048】

このように、第１の領域Ａ１の重心から引いた半直線と第２の領域Ａ２の輪郭との交点に基づくことによっては、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定することが困難な場合であっても、第１の領域Ａ１の輪郭および第２の領域Ａ２の輪郭に基づくことにより、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定することができる。

【0049】

なお、上記実施形態においては、観察対象の生体試料として、フィーダー細胞を用いて培養された皮膚細胞を使用し、生体試料に含まれる細胞がフィーダー細胞か皮膚細胞かを判定しているが、これに限定されるものではない。本実施形態においては、第２の染色に対して陰性となる細胞および陽性となる細胞を含む生体試料について、細胞の種類を判別することが可能である。例えば、ＥＳ細胞およびｉＰＳ細胞等の多能性幹細胞または分化誘導された細胞等を生体試料とし、細胞の分化状態等を評価する場合にも本実施形態を適用できる。この場合、第１の染色として、細胞の細胞核を染色する蛍光物資を使用し、第２の染色として、例えばＬｉｎ２８、ＴＲＡ－１－６０、ＳＳＥＡ－４およびＳＳＥＡ－１等の分化マーカを使用して、細胞質および／または細胞膜を染色する。このような第２の染色に対して、未分化細胞は陰性である。したがって、本実施形態において、このような第１の染色および第２の染色を行うことにより、分化細胞と未分化細胞とを区別することができる。

【0050】

また、上記実施形態においては、第２の蛍光画像Ｋ２から第２の領域Ａ２の輪郭を抽出した後に、重ね合わせ画像Ｋ０を生成しているが、第１の蛍光画像Ｋ１と第２の蛍光画像Ｋ２とを重ね合わせた後に、第２の蛍光画像Ｋ２に含まれる第２の領域Ａ２の輪郭を抽出して重ね合わせ画像Ｋ０を生成してもよい。

【0051】

また、上記実施形態においては、第２の蛍光画像Ｋ２から第２の領域Ａ２の輪郭を抽出した後に、重ね合わせ画像Ｋ０を生成しているが、第２の領域Ａ２の輪郭を抽出することなく、第１の蛍光画像Ｋ１と第２の蛍光画像Ｋ２とを重ね合わせて重ね合わせ画像Ｋ０を生成してもよい。

【0052】

また、上記実施形態においては、第１の判定部２２において、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置するか否かを判定し、この判定ができなかった場合、すなわち判定不可となった場合に、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置する割合に基づいて、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定している。しかしながら、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置するか否かを判定することなく、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置する割合に基づいて、第１の領域Ａ１が第
２の領域Ａ２に包含されるか否かを判定してもよい。

【符号の説明】

【0053】

１０ 撮像装置
２０ 画像解析装置
２１ 画像取得部
２２ 第１の判定部
２３ 第２の判定部
２４ 表示制御部
３０ 表示装置
４０ 入力装置
Ａ１，Ａ１１，Ａ１２，Ａ１３，Ａ１４ 第１の領域
Ａ２ 第２の領域
ｄ 第１の基準点と第２の基準点との距離
Ｇ１，Ｇ１１，Ｇ１２，Ｇ１３，Ｇ１４ 重心
Ｋ０ 重ね合わせ画像
Ｋ１ 第１の蛍光画像
Ｋ２ 第２の蛍光画像
Ｌ１，Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４ 半直線
ｎ１，ｎ２ 単位法線ベクトル
Ｐ１ 第１の基準点
Ｐ２ 第２の基準点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】