特許第6204835号(P6204835)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社SCREENホールディングスの特許一覧

特許6204835細胞コロニー領域特定装置、細胞コロニー領域特定方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6204835
(24)【登録日】2017年9月8日
(45)【発行日】2017年9月27日
(54)【発明の名称】細胞コロニー領域特定装置、細胞コロニー領域特定方法およびプログラム
(51)【国際特許分類】
   C12M 1/34 20060101AFI20170914BHJP
   C12Q 1/02 20060101ALI20170914BHJP
   G06T 7/62 20170101ALI20170914BHJP
   G06T 7/60 20170101ALI20170914BHJP
【FI】
   C12M1/34 B
   C12Q1/02
   G06T7/62
   G06T7/60 300A
【請求項の数】11
【全頁数】22
(21)【出願番号】特願2014-4079(P2014-4079)
(22)【出願日】2014年1月14日
(65)【公開番号】特開2015-130828(P2015-130828A)
(43)【公開日】2015年7月23日
【審査請求日】2016年12月20日
(73)【特許権者】
【識別番号】000207551
【氏名又は名称】株式会社SCREENホールディングス
(74)【代理人】
【識別番号】100110847
【弁理士】
【氏名又は名称】松阪 正弘
(74)【代理人】
【識別番号】100136526
【弁理士】
【氏名又は名称】田中 勉
(74)【代理人】
【識別番号】100136755
【弁理士】
【氏名又は名称】井田 正道
(72)【発明者】
【氏名】野村 昭寛
【審査官】 福澤 洋光
(56)【参考文献】
【文献】 特開昭62−050606(JP,A)
【文献】 特開昭62−050607(JP,A)
【文献】 特開2007−020507(JP,A)
【文献】 特開2013−201909(JP,A)
【文献】 国際公開第2011/010449(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
C12M 1/00−3/10
C12Q 1/00−3/00
CA/MEDLINE/BIOSIS/WPIDS(STN)
JSTPlus/JMEDPlus/JST7580(JDreamIII)
PubMed
(57)【特許請求の範囲】
【請求項1】
細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定する細胞コロニー領域特定装置であって、
細胞コロニーを撮像してコロニー画像を取得する撮像部と、
演算処理により前記コロニー画像における前記細胞コロニーの領域を特定する演算部と、
特定された前記領域を出力する出力部と、
を備え、
前記演算部が、
a)前記コロニー画像から細胞コロニーの境界を暫定的に示す初期境界画像を得る工程と、
b)前記初期境界画像から小領域を削除して暫定境界画像を取得する工程と、
c)前記暫定境界画像に細線化を施して暫定境界細線画像を得る工程と、
d)前記暫定境界細線画像に太らせ処理を施してマスク画像を得る工程と、
e)前記初期境界画像を前記マスク画像にてマスクすることにより、更新された暫定境界画像を得る工程と、
f)更新後の前記暫定境界画像において互いに近接する端点を接続する工程と、
g)前記e)工程よりも後、かつ、前記f)工程の前または後に、予め定められた繰り返し終了条件が満たされるか確認し、満たされない場合に前記f)工程後に前記c)工程に戻り、満たされる場合に、前記f)工程後の画像から境界細線画像を得てh)工程に移る工程と、
h)前記境界細線画像にて線により囲まれる領域を細胞コロニーの領域として特定する工程と、
を実行することを特徴とする細胞コロニー領域特定装置。
【請求項2】
請求項1に記載の細胞コロニー領域特定装置であって、
前記繰り返し終了条件が、前記e)工程または前記f)工程の実行回数が予め定められた回数に達すること、または、前記e)工程後の画像と前回のe)工程後の画像とが一致することであることを特徴とする細胞コロニー領域特定装置。
【請求項3】
請求項1または2に記載の細胞コロニー領域特定装置であって、
前記演算部が、前記g)工程の後、かつ、前記h)工程の前に、前記境界細線画像において、環状でない線の長さに対する前記線の両端間の距離の比が、予め定められた値以下の場合に、前記両端を接続する工程をさらに実行することを特徴とする細胞コロニー領域特定装置。
【請求項4】
請求項1ないし3のいずれかに記載の細胞コロニー領域特定装置であって、
前記h)工程が、前記コロニー画像において、前記境界細線画像にて線により囲まれる領域の内部の平均明度と、前記領域の周辺部の平均明度との差が、予め定められた値以下の場合に、前記領域を細胞コロニーの領域ではないと決定する工程を含むことを特徴とする細胞コロニー領域特定装置。
【請求項5】
細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定する細胞コロニー領域特定方法であって、
a)コロニー画像から細胞コロニーの境界を暫定的に示す初期境界画像を得る工程と、
b)前記初期境界画像から小領域を削除して暫定境界画像を取得する工程と、
c)前記暫定境界画像に細線化を施して暫定境界細線画像を得る工程と、
d)前記暫定境界細線画像に太らせ処理を施してマスク画像を得る工程と、
e)前記初期境界画像を前記マスク画像にてマスクすることにより、更新された暫定境界画像を得る工程と、
f)更新後の前記暫定境界画像において互いに近接する端点を接続する工程と、
g)前記e)工程よりも後、かつ、前記f)工程の前または後に、予め定められた繰り返し終了条件が満たされるか確認し、満たされない場合に前記f)工程後に前記c)工程に戻り、満たされる場合に、前記f)工程後の画像から境界細線画像を得てh)工程に移る工程と、
h)前記境界細線画像にて線により囲まれる領域を細胞コロニーの領域として特定する工程と、
を備えることを特徴とする細胞コロニー領域特定方法。
【請求項6】
請求項5に記載の細胞コロニー領域特定方法であって、
前記繰り返し終了条件が、前記e)工程または前記f)工程の実行回数が予め定められた回数に達すること、または、前記e)工程後の画像と前回のe)工程後の画像とが一致することであることを特徴とする細胞コロニー領域特定方法。
【請求項7】
請求項5または6に記載の細胞コロニー領域特定方法であって、
前記g)工程の後、かつ、前記h)工程の前に、前記境界細線画像において、環状でない線の長さに対する前記線の両端間の距離の比が、予め定められた値以下の場合に、前記両端を接続する工程をさらに備えることを特徴とする細胞コロニー領域特定方法。
【請求項8】
請求項5ないし7のいずれかに記載の細胞コロニー領域特定方法であって、
前記h)工程が、前記コロニー画像において、前記境界細線画像にて線により囲まれる領域の内部の平均明度と、前記領域の周辺部の平均明度との差が、予め定められた値以下の場合に、前記領域を細胞コロニーの領域ではないと決定する工程を含むことを特徴とする細胞コロニー領域特定方法。
【請求項9】
請求項5ないし8のいずれかに記載の細胞コロニー領域特定方法であって、
前記a)工程が、
a1)前記コロニー画像の各位置とその周囲との明度の相違を示す明度変化画像を得る工程と、
a2)前記明度変化画像を2値化することにより、明度変化2値画像を得る工程と、
a3)前記明度変化2画像における予め定められた面積以下の閉領域を塗りつぶして小領域塗りつぶし画像を得る工程と、
a4)前記小領域塗りつぶし画像に細線化を施して細線画像を得る工程と、
a5)前記細線画像における小突起を削除して修正済み細線画像を得る工程と、
a6)前記修正済み細線画像における閉領域を塗りつぶしてコロニー塗りつぶし画像を得る工程と、
a7)前記コロニー塗りつぶし画像と、前記明度変化2値画像、または、前記コロニー画像から他の方法にて得られる他の明度変化2値画像との論理積をとって得られる画像から、細胞コロニーの境界を示すコロニー境界画像を、前記初期境界画像として得る工程と、
を備えることを特徴とする細胞コロニー領域特定方法。
【請求項10】
請求項5ないし8のいずれかに記載の細胞コロニー領域特定方法であって、
前記a)工程が、
a1)細胞コロニーの領域と他の領域とを区別する閾値にて前記コロニー画像を2値化してコロニー2値画像を得る工程と、
a2)前記細胞コロニーの周囲に現れる帯状領域と他の領域とを区別する閾値にて前記コロニー画像を2値化して周辺2値画像を得る工程と、
a3)前記コロニー2値画像および前記周辺2値画像の少なくとも一方に太らせ処理を施す工程と、
a4)前記a3)工程後の前記コロニー2値画像と前記周辺2値画像との論理積をとることにより、前記初期境界画像を得る工程と、
を備えることを特徴とする細胞コロニー領域特定方法。
【請求項11】
コンピュータに、細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定させるプログラムであって、前記プログラムの前記コンピュータによる実行は、前記プログラムに、
a)コロニー画像から細胞コロニーの境界を暫定的に示す初期境界画像を得る工程と、
b)前記初期境界画像から小領域を削除して暫定境界画像を取得する工程と、
c)前記暫定境界画像に細線化を施して暫定境界細線画像を得る工程と、
d)前記暫定境界細線画像に太らせ処理を施してマスク画像を得る工程と、
e)前記初期境界画像を前記マスク画像にてマスクすることにより、更新された暫定境界画像を得る工程と、
f)更新後の前記暫定境界画像において互いに近接する端点を接続する工程と、
g)前記e)工程よりも後、かつ、前記f)工程の前または後に、予め定められた繰り返し終了条件が満たされるか確認し、満たされない場合に前記f)工程後に前記c)工程に戻り、満たされる場合に、前記f)工程後の画像から境界細線画像を得てh)工程に移る工程と、
h)前記境界細線画像にて線により囲まれる領域を細胞コロニーの領域として特定する工程と、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、細胞を培養して得られる細胞コロニーを撮像して得られる画像において、細胞コロニーの領域を特定する技術に関する。
【背景技術】
【0002】
従来より、医療、食品、材料等の様々な分野において、細胞を培養する技術が利用されている。細胞培養では、多くの場合、細胞が密集したコロニーが形成される。多数の培養が行われる場合、コロニーを撮像して得られた画像を解析して、必要なコロニーだけを自動的に特定することが求められる。
【0003】
例えば、特許文献1の画像処理装置では、培養容器の位相差顕微鏡画像である合成マクロ画像からユーザによりiPS細胞コロニーの候補が指定される。合成マクロ画像を二値化して二値化コロニー画像が得られ、二値化コロニー画像から指定された細胞コロニーの輪郭線が抽出される。その後、個々の細胞コロニーがその特徴量からiPS細胞であるか否か判別される。
【0004】
特許文献2の細胞画像解析装置においても、輝度や輝度差を用いて対象物の境界要素が抽出される。このとき、輝度や輝度差の変化量が小さいために境界要素の一部が切れた状態となっている場合、予め設定された値以下の距離で離れている境界要素同士を同一の対象物の境界要素と認定し、これらの境界要素間が線分要素で結ばれる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第2011/010449号
【特許文献2】特開2011−24485号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、特許文献1では、輪郭線が明確であり、背景との区別がはっきりしている細胞コロニーがユーザにより指定されるため、細胞コロニーの輪郭線の抽出は比較的容易である。特許文献2では、ノイズ等による境界線の断線は考慮されているが、境界がぼけて太くなっているような状況は想定されていない。撮像時のぶれやフォーカスずれにより境界がぼけている場合、輪郭は誤って検出されやすい。
【0007】
本発明は、上記課題に鑑みなされたものであり、画像中において細胞コロニーの境界がぼけている場合であっても、容易かつ効率よく細胞コロニーの領域を特定することを目的としている。
【課題を解決するための手段】
【0008】
請求項1に記載の発明は、細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定する細胞コロニー領域特定装置であって、細胞コロニーを撮像してコロニー画像を取得する撮像部と、演算処理により前記コロニー画像における前記細胞コロニーの領域を特定する演算部と、特定された前記領域を出力する出力部とを備え、前記演算部が、a)前記コロニー画像から細胞コロニーの境界を暫定的に示す初期境界画像を得る工程と、b)前記初期境界画像から小領域を削除して暫定境界画像を取得する工程と、c)前記暫定境界画像に細線化を施して暫定境界細線画像を得る工程と、d)前記暫定境界細線画像に太らせ処理を施してマスク画像を得る工程と、e)前記初期境界画像を前記マスク画像にてマスクすることにより、更新された暫定境界画像を得る工程と、f)更新後の前記暫定境界画像において互いに近接する端点を接続する工程と、g)前記e)工程よりも後、かつ、前記f)工程の前または後に、予め定められた繰り返し終了条件が満たされるか確認し、満たされない場合に前記f)工程後に前記c)工程に戻り、満たされる場合に、前記f)工程後の画像から境界細線画像を得てh)工程に移る工程と、h)前記境界細線画像にて線により囲まれる領域を細胞コロニーの領域として特定する工程とを実行する。
【0009】
請求項2に記載の発明は、請求項1に記載の細胞コロニー領域特定装置であって、前記繰り返し終了条件が、前記e)工程または前記f)工程の実行回数が予め定められた回数に達すること、または、前記e)工程後の画像と前回のe)工程後の画像とが一致することである。
【0010】
請求項3に記載の発明は、請求項1または2に記載の細胞コロニー領域特定装置であって、前記演算部が、前記g)工程の後、かつ、前記h)工程の前に、前記境界細線画像において、環状でない線の長さに対する前記線の両端間の距離の比が、予め定められた値以下の場合に、前記両端を接続する工程をさらに実行する。
【0011】
請求項4に記載の発明は、請求項1ないし3のいずれかに記載の細胞コロニー領域特定装置であって、前記h)工程が、前記コロニー画像において、前記境界細線画像にて線により囲まれる領域の内部の平均明度と、前記領域の周辺部の平均明度との差が、予め定められた値以下の場合に、前記領域を細胞コロニーの領域ではないと決定する工程を含む。
【0012】
請求項5に記載の発明は、細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定する細胞コロニー領域特定方法であって、a)コロニー画像から細胞コロニーの境界を暫定的に示す初期境界画像を得る工程と、b)前記初期境界画像から小領域を削除して暫定境界画像を取得する工程と、c)前記暫定境界画像に細線化を施して暫定境界細線画像を得る工程と、d)前記暫定境界細線画像に太らせ処理を施してマスク画像を得る工程と、e)前記初期境界画像を前記マスク画像にてマスクすることにより、更新された暫定境界画像を得る工程と、f)更新後の前記暫定境界画像において互いに近接する端点を接続する工程と、g)前記e)工程よりも後、かつ、前記f)工程の前または後に、予め定められた繰り返し終了条件が満たされるか確認し、満たされない場合に前記f)工程後に前記c)工程に戻り、満たされる場合に、前記f)工程後の画像から境界細線画像を得てh)工程に移る工程と、h)前記境界細線画像にて線により囲まれる領域を細胞コロニーの領域として特定する工程とを備える。
【0013】
請求項6に記載の発明は、請求項5に記載の細胞コロニー領域特定方法であって、前記繰り返し終了条件が、前記e)工程または前記f)工程の実行回数が予め定められた回数に達すること、または、前記e)工程後の画像と前回のe)工程後の画像とが一致することである。
【0014】
請求項7に記載の発明は、請求項5または6に記載の細胞コロニー領域特定方法であって、前記g)工程の後、かつ、前記h)工程の前に、前記境界細線画像において、環状でない線の長さに対する前記線の両端間の距離の比が、予め定められた値以下の場合に、前記両端を接続する工程をさらに備える。
【0015】
請求項8に記載の発明は、請求項5ないし7のいずれかに記載の細胞コロニー領域特定方法であって、前記h)工程が、前記コロニー画像において、前記境界細線画像にて線により囲まれる領域の内部の平均明度と、前記領域の周辺部の平均明度との差が、予め定められた値以下の場合に、前記領域を細胞コロニーの領域ではないと決定する工程を含む。
【0016】
請求項9に記載の発明は、請求項5ないし8のいずれかに記載の細胞コロニー領域特定方法であって、前記a)工程が、a1)前記コロニー画像の各位置とその周囲との明度の相違を示す明度変化画像を得る工程と、a2)前記明度変化画像を2値化することにより、明度変化2値画像を得る工程と、a3)前記明度変化2画像における予め定められた面積以下の閉領域を塗りつぶして小領域塗りつぶし画像を得る工程と、a4)前記小領域塗りつぶし画像に細線化を施して細線画像を得る工程と、a5)前記細線画像における小突起を削除して修正済み細線画像を得る工程と、a6)前記修正済み細線画像における閉領域を塗りつぶしてコロニー塗りつぶし画像を得る工程と、a7)前記コロニー塗りつぶし画像と、前記明度変化2値画像、または、前記コロニー画像から他の方法にて得られる他の明度変化2値画像との論理積をとって得られる画像から、細胞コロニーの境界を示すコロニー境界画像を、前記初期境界画像として得る工程とを備える。
【0017】
請求項10に記載の発明は、請求項5ないし8のいずれかに記載の細胞コロニー領域特定方法であって、前記a)工程が、a1)細胞コロニーの領域と他の領域とを区別する閾値にて前記コロニー画像を2値化してコロニー2値画像を得る工程と、a2)前記細胞コロニーの周囲に現れる帯状領域と他の領域とを区別する閾値にて前記コロニー画像を2値化して周辺2値画像を得る工程と、a3)前記コロニー2値画像および前記周辺2値画像の少なくとも一方に太らせ処理を施す工程と、a4)前記a3)工程後の前記コロニー2値画像と前記周辺2値画像との論理積をとることにより、前記初期境界画像を得る工程とを備える。
【0018】
請求項11に記載の発明は、コンピュータに、細胞コロニーを示すコロニー画像における前記細胞コロニーの領域を特定させるプログラムであって、前記プログラムの前記コンピュータによる実行は、前記プログラムに、a)コロニー画像から細胞コロニーの境界を暫定的に示す初期境界画像を得る工程と、b)前記初期境界画像から小領域を削除して暫定境界画像を取得する工程と、c)前記暫定境界画像に細線化を施して暫定境界細線画像を得る工程と、d)前記暫定境界細線画像に太らせ処理を施してマスク画像を得る工程と、e)前記初期境界画像を前記マスク画像にてマスクすることにより、更新された暫定境界画像を得る工程と、f)更新後の前記暫定境界画像において互いに近接する端点を接続する工程と、g)前記e)工程よりも後、かつ、前記f)工程の前または後に、予め定められた繰り返し終了条件が満たされるか確認し、満たされない場合に前記f)工程後に前記c)工程に戻り、満たされる場合に、前記f)工程後の画像から境界細線画像を得てh)工程に移る工程と、h)前記境界細線画像にて線により囲まれる領域を細胞コロニーの領域として特定する工程とを実行させる。
【発明の効果】
【0019】
本発明によれば、細胞コロニーの境界がぼけている場合であっても、容易かつ効率よく細胞コロニーの領域を特定することができる。
【図面の簡単な説明】
【0020】
図1】細胞コロニー領域特定装置の構成を示す図である。
図2】コンピュータの構成を示す図である。
図3】細胞コロニー領域特定装置における機能構成を示すブロック図である。
図4】装置の動作の流れを示す図である。
図5】暫定境界の取得の流れを示す図である。
図6.A】境界の取得の流れを示す図である。
図6.B】境界の取得の流れを示す図である。
図7】細胞コロニー領域の特定の流れを示す図である。
図8】コロニー画像を示す図である。
図9.A】コロニー2値画像を示す図である。
図9.B】周辺2値画像を示す図である。
図10.A】太らせ後のコロニー2値画像を示す図である。
図10.B】太らせ後の周辺2値画像を示す図である。
図11.A】論理積をとる様子を示す図である。
図11.B】初期境界画像を示す図である。
図12】暫定境界画像を示す図である。
図13】暫定境界細線画像を示す図である。
図14】整形後の暫定境界細線画像を示す図である。
図15】マスク画像を示す図である。
図16.A】初期境界画像がマスクされる様子を示す図である。
図16.B】更新された暫定境界画像を示す図である。
図17】太らせ後の暫定境界画像を示す図である。
図18】暫定境界細線画像を示す図である。
図19】整形後の暫定境界細線画像を示す図である。
図20】マスク画像を示す図である。
図21】更新された暫定境界画像を示す図である。
図22】太らせ後の暫定境界画像を示す図である。
図23】暫定境界細線画像を示す図である。
図24】整形後の暫定境界細線画像を示す図である。
図25】特定された細胞コロニーの領域を示す図である。
図26】細胞コロニー領域特定装置における機能構成を示すブロック図である。
図27.A】暫定境界の取得の流れを示す図である。
図27.B】暫定境界の取得の流れを示す図である。
図28】明度変化画像を示す図である。
図29.A】第1明度変化2値画像を示す図である。
図29.B】第2明度変化2値画像を示す図である。
図30.A】太らせ後の第1明度変化2値画像を示す図である。
図30.B】太らせ後の第2明度変化2値画像を示す図である。
図31】小領域塗りつぶし画像を示す図である。
図32】細線画像を示す図である。
図33】修正済み細線画像を示す図である。
図34】コロニー塗りつぶし画像を示す図である。
図35.A】論理積をとる様子を示す図である。
図35.B】コロニー境界画像を示す図である。
図36】修正されたコロニー境界画像を示す図である。
図37】太らせ後のコロニー境界画像を示す図である。
図38】細線化されたコロニー境界画像を示す図である。
図39】最終的なコロニー境界画像を示す図である。
【発明を実施するための形態】
【0021】
図1は本発明の一の実施の形態に係る細胞コロニー領域特定装置1(以下、単に「領域特定装置」という。)の構成を示す図である。領域特定装置1は、培養容器9中の細胞コロニーを撮像し、画像中の細胞コロニーの領域を特定する。領域特定装置1は、撮像部2、および、領域特定装置1の全体動作を制御するとともに、後述の画像処理を実現するコンピュータ5を備える。
【0022】
撮像部2は、培養容器9を撮像して多階調の画像を取得する撮像デバイス21、培養容器9が載置されるステージ22、および、撮像デバイス21に対してステージ22を相対的に移動するステージ駆動部23を有する。撮像デバイス21は、照明光を出射する照明部211、培養容器9に照明光を導くとともに培養容器9からの光が入射する光学系212、および、光学系212により結像された像を電気信号に変換するエリアセンサ213を有する。ステージ駆動部23はボールねじ、ガイドレール、モータ等により構成され、コンピュータ5がステージ駆動部23および撮像デバイス21を制御することにより、培養容器9上の一部の領域が撮像される。
【0023】
図2はコンピュータ5の構成を示す図である。コンピュータ5は各種演算処理を行うCPU51、基本プログラムを記憶するROM52および各種情報を記憶するRAM53を含む一般的なコンピュータシステムの構成となっている。コンピュータ5は、情報記憶を行う固定ディスク54、画像等の各種情報の表示を行うディスプレイ55、操作者からの入力を受け付けるキーボード56aおよびマウス56b(以下、「入力部56」と総称する。)、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体8から情報の読み取りを行う読取装置57、並びに、領域特定装置1の他の構成との間で信号を送受信する通信部58をさらに含む。
【0024】
コンピュータ5では、事前に読取装置57を介して記録媒体8からプログラム80が読み出されて固定ディスク54に記憶されている。CPU51は、プログラム80に従ってRAM53や固定ディスク54を利用しつつ演算処理を実行する。
【0025】
図3は領域特定装置1における機能構成を示すブロック図であり、図3では、コンピュータ5のCPU51、ROM52、RAM53、固定ディスク54等により実現される機能構成を、演算部500として示している。演算部500は、その機能として、制御部511と、シェーディング補正部512と、2値化部521と、太らせ処理部522と、論理積部523と、小領域削除部524と、細線化部525と、小突起削除部526と、マスク部527と、コロニー領域決定部513とを含む。演算部500の機能は、その一部および全部がハードウェアとして構築されてもよい。出力部530は、特定されたコロニー領域をユーザまたは他の装置に対して出力する部位であり、ディスプレイ55や通信部58が対応する。
【0026】
図4ないし図7は、領域特定装置1の一の動作例の流れを示す図である。以下の説明では、画像の取得および画像に対する処理は、正確には、画像のデータの取得および処理である。
【0027】
まず、撮像部2が培養容器9内の細胞コロニーを撮像することにより、画像を取得する(図4:ステップS11)。以下、取得された画像を「コロニー画像」という。演算部500による演算処理により、コロニー画像における細胞コロニーの領域が特定され、特定された領域が出力部530から出力される。演算部500による処理では、コロニー画像から細胞コロニーの暫定的な境界が取得され(ステップS12)、この暫定的な境界から正確な境界が取得される(ステップS13)。その後、得られた境界に基づいて細胞コロニー領域が特定される(ステップS14)。
【0028】
図5は、ステップS12にて、コロニー画像から細胞コロニーの境界を暫定的に示す画像を取得する流れを示す図である。シェーディング補正部512は、コロニー画像にシェーディング補正を行う(ステップS121)。これにより、画像の全体的な濃淡ムラが低減され、後の処理にて細胞コロニーの境界をより正確に得ることが実現される。図8は、補正後のコロニー画像611を例示する図である。図8では、濃淡を簡略化して示している。図8に示す例では、実際の細胞コロニーの領域711は暗く、細胞コロニーの周囲には、明るい帯状領域712が現れる。その他の領域713は、他の物体の影響による濃淡を有するが、およそ細胞コロニーの領域711の明度と帯状領域712の明度との間の明度を有する。抽出したい細胞コロニーの境界は、細胞コロニーの領域711と帯状領域712との間の境界である。
【0029】
これらの領域の明度は、撮像環境の変更により反転する。この場合、予め明暗を反転してからコロニー画像に以下の処理が実行される。または、以下の処理における明暗に係る処理が反転される。
【0030】
シェーディング補正後のコロニー画像は、2値化部521により、細胞コロニーの領域と他の領域とを区別する第1閾値にて2値化される。ここでは、細胞コロニーの領域に画素値1が付与される。以下、得られた2値画像を「コロニー2値画像」という(ステップS122)。図9.Aは、コロニー2値画像612を例示する図である。一方、シェーディング補正後のコロニー画像は、2値化部521により、細胞コロニーの周囲に現れる帯状領域712と他の領域とを区別する第2閾値によっても2値化される。ここでは、帯状領域に画素値1が付与される。以下、得られた2値画像を「周辺2値画像」という(ステップS123)。図9.Bは、周辺2値画像613を例示する図である。
【0031】
コロニー2値画像612および周辺2値画像613を得る閾値は、コロニー画像の明度分布の標準偏差やヒストグラムを利用して決定される。コロニー2値画像612および周辺2値画像613には、図10.Aおよび図10.Bに示すように、太らせ処理部522による太らせ処理が施される(ステップS124,S125)。なお、太らせ処理は、コロニー2値画像612および周辺2値画像613の一方のみに施されてもよい。
【0032】
論理積部523は、太らせ処理後のコロニー2値画像612と周辺2値画像613との論理積、すなわち、図11.Aに示すように両画像において画素値が1の領域のうち、互いに重なる領域が求められ、図11.Bに示す画像614が得られる(ステップS126)。画像614は、細胞コロニーの境界の少なくとも一部を含む画像であり、細胞コロニーの境界を暫定的に示す画像である。以下、画像614を「初期境界画像」という。ステップS125にてコロニー2値画像612および周辺2値画像613の双方に太らせ処理が行われる場合、初期境界画像614における境界の位置ずれが抑制される。
【0033】
図6.Aおよび図6.Bは、ステップS13にて、初期境界画像614からより正確な細胞コロニーの境界を示す画像を取得する流れを示す図である。まず、小領域削除部524は、初期境界画像614から予め定められた値以下の面積を有する小領域を削除し、図12に示す暫定境界画像621を得る(ステップS211)。これにより、ゴミやノイズに起因する不要な領域が削除される。容器の影等の大きすぎる領域が存在する場合は、規定されるコロニーより大きな領域を予め削除してもよい。
【0034】
細線化部525は、暫定境界画像621に細線化を施し、図13に示す画像622を取得する(ステップS212)。なお、細線化前に太らせ処理が行われてもよい。これにより、微小な窪みや穴が除去され、細線化後の線が滑らかになる。以下、画像622を「暫定境界細線画像」という。暫定境界細線画像622は、小突起削除部526により、予め定められた長さよりも短い微小な突起が削除され、図14に示すように整形される(ステップS213)。微小突起の概念には、ごみやノイズに起因して単独で存在する微小な線が含まれてもよい。
【0035】
太らせ処理部522は、暫定境界細線画像622に太らせ処理を施し、図15に示すマスク画像623を取得する(ステップS214)。太らせ量は、想定される境界の破断長さに基づいて予め定められる。マスク部527は、図16.Aに示すように、図12の初期境界画像614をマスク画像623にてマスクする(ステップS215)。これにより、更新された暫定境界画像621が得られる。図12図16.Bとを比較して判るように、更新された暫定境界画像621では、境界の一部であるにも関わらずステップS211にて削除された小領域の一部が現れる。図16.Bでは、復活した小領域に符号81を付している。
【0036】
次に、更新後の暫定境界画像621において互いに近接する端点を接続する処理が行われる(ステップS216)。接続処理としては様々な処理が採用されてよいが、本実施の形態では、図17に示すように、太らせ処理部522が暫定境界画像621に太らせ処理を施すことにより、端点同士の接続が行われる。すなわち、太らせ処理部522が近接する端点を接続する接続処理部として機能する。これにより、復活した小領域81が近接する境界要素と接続される。他の接続処理としては、近接する端点同士を直線で接続する手法が採用されてもよい。
【0037】
ここで、制御部511により、予め定められた繰り返し終了条件が満たされるか否かが確認される(ステップS217)。繰り返し終了条件は、暫定境界画像621が細胞コロニーの境界を十分に表す画像であるか否かを判断する条件である。好ましくは、ステップS215において得られる暫定境界画像621が、前回のステップS215後の暫定境界画像621と一致することが繰り返し終了条件として用いられる。なお、この条件は、ステップS216にて得られる暫定境界画像621が前回のステップS216後の暫定境界画像621と一致することと同等である。他の繰り返し終了条件としては、好ましくは、ステップS215またはステップS216の実行回数が、予め定められた回数に達する条件が採用される。
【0038】
最初のステップS217では、前回のステップS215は存在しないため、繰り返し終了条件が満たされないと判断され、ステップS212へと戻る。そして、細線化部525により図17の暫定境界画像621に細線化が施されて図18に示す暫定境界細線画像622が得られ(ステップS212)、図19に示すように小突起削除部526により暫定境界細線画像622から小突起が削除され(ステップS213)、図20に示すように太らせ処理部522が暫定境界細線画像622に太らせ処理を施すことにより、マスク画像623が得られる(ステップS214)。
【0039】
さらに、マスク部527が初期境界画像614をマスク画像623にてマスクすることにより、図21に示すように、さらに多くの小領域81が復活した暫定境界画像621が得られ(ステップS215)、太らせ処理部522により図22に示すように互いに近接する端点が接続される(ステップS216)。
【0040】
図16.Bの暫定境界画像621と図21の暫定境界画像621とは一致しないため、制御部511は繰り返し終了条件が満たされていないと判断し(ステップS217)、ステップS212へと戻る。これにより、図23に示す暫定境界細線画像622が得られ(ステップS212)、図24に示す修正された暫定境界細線画像622が得られる(ステップS213)。
【0041】
その後、図24の暫定境界細線画像622に太らせ処理が施されてマスク画像623が得られ(ステップS214)、初期境界画像614がマスク画像623にてマスクされることにより図21と同様の更新された暫定境界画像621が得られ(ステップS215)、図22に示すように、端点の接続が行われる(ステップS216)。ステップS215にて得られる暫定境界画像621は、前回のステップS215にて得られる暫定境界画像621と一致するため、制御部511は、これ以上の繰り返し処理は不要と判断し、ステップS218へと移行する。
【0042】
なお、繰り返し処理が必要か否かはステップS215の段階で判断できるため、図6.Bに示すように、ステップS215の後に繰り返し終了条件が満たされたか否かが確認されてもよい(ステップS217)。図6.Bでは、繰り返し終了条件が満たされない場合、互いに近接する端点の接続(ステップS216)を行ってからステップS212へと戻る。また、繰り返し終了条件が満たされる場合、互いに近接する端点の接続(ステップS216)を行ってからステップS218へと移行する。
【0043】
細線化部525は、最終的な暫定境界画像621に細線化を施す(ステップS218)。以下、得られた画像を「境界細線画像」という。ただし、繰り返し終了条件によっては、前回のステップS211にて既に図24に示す暫定境界細線画像622が得られるため、ステップS218は省略され、この暫定境界細線画像622がステップS216、S218後の境界細線画像とみなされて準備される。
【0044】
次に、境界細線画像において完全な閉ループとして表されない細胞コロニーの境界が強制的に修復される(ステップS219)。すなわち、不完全な閉ループが強制的に閉じられる。具体的には、環状でない線の長さに対する当該線の両端間の距離の比が、予め定められた値以下の場合に、当該両端の接続が行われる。閉ループの完成は、例えば、太らせ処理部522による太らせ量を大きくすることにより実行される。この場合、太らせ処理部522がループ修復部として機能する。閉ループの完成は、両端を単純に直線で接続することにより実行されてもよい。ステップS217またはステップS218の段階で、細胞コロニーの境界が十分に抽出されている場合は、ステップS219は省かれてよい。
【0045】
図7は、図4のステップS14においてコロニー領域決定部513により実行される処理の流れを示す図である。まず、境界細線画像において閉領域のラベリングが行われ、線により囲まれる個々の閉領域が図25に示すように区別可能となる(ステップS141)。これにより、細胞コロニーの領域(さらに後続の処理があるため、正確には、細胞コロニーの領域の候補)が特定される。さらに、必要に応じて様々な修正作業が行われる。例えば、閉領域と閉領域とを繋ぐ線が残存する場合、当該線が削除される(ステップS142)。
【0046】
予め定められた面積よりも小さい閉領域は、細胞コロニーの領域として適切でないことから画像から削除される(ステップS143)。なお、大きすぎる閉領域が存在する場合は、このような領域も削除されてよい。適切な面積範囲は、想定される細胞コロニーの大きさから予め定められる。閉領域の真円度を用いて細胞コロニーの候補領域の選択が行われてもよい。
【0047】
また、図8の例の場合、細胞コロニーは画像中に暗く現れるため、コロニー画像において明度が異常な領域は細胞コロニーの領域から除外される(ステップS144)。具体的には、コロニー画像において、境界細線画像にて線により囲まれる閉領域の内部の平均明度と、当該閉領域の周辺部、すなわち、帯状領域712よりも外側の領域713の平均明度との差が、予め定められた値以下の場合に、当該領域は細胞コロニーの領域ではないと決定される。ステップS143,S144により、より正確に細胞コロニーの領域を特定することが実現される。
【0048】
以上に説明したように、コロニー画像では、細胞コロニーの周囲に、細胞コロニーとは明るさの異なる帯状領域が現れ、さらに、この帯状領域と細胞コロニーの領域との間の境界がぼけていることがある。領域特定装置1では、2つの閾値を用いて細胞コロニーの領域を含む2値画像と、帯状領域を含む2値画像とを生成し、これらの2値画像の少なくとも一方に太らせ処理を行うことにより、両2値画像の共通領域が初期境界画像として得られる。細胞コロニーの境界がぼけて広がった画像であっても、このようにして得られる初期境界画像を利用することにより、細線化にて境界の幅の影響を除去することができる。その結果、容易かつ効率よく細胞コロニーの領域を特定することができる。
【0049】
また、初期境界画像において境界に相当する領域が破断していても、暫定境界細線画像に太らせ処理を施してマスク画像を生成する処理を繰り返すことにより、破断している箇所を容易に漸次繋げることができる。これによっても、容易かつ効率よく細胞コロニーの領域を特定することが実現される。
【0050】
マスク画像を利用する破断箇所の修復が十分に行われた段階で、近接する端点同士が強制的に接続されるため、細胞コロニーの境界をさらに高い精度にて取得することができる。
【0051】
図26は、領域特定装置1の他の動作例における演算部500の機能構成を示す図である。図26の機能構成では、図3のシェーディング補正部512が明度変化取得部514に置き換えられ、塗りつぶし部528が追加される。他の構成要素は図3と同様である。以下の他の動作例においても、図4のステップS11〜S14が実行される。ステップS11,S13,S14は、上述の動作と同様である。ステップS12の動作は、図27.Aおよび図27.Bに示すものに置き換えられる。
【0052】
細胞コロニーの初期の暫定的な境界を示す初期境界画像を取得するステップS12では、まず、明度変化取得部514により、コロニー画像の各位置とその周囲との明度の相違を示す明度変化画像が取得される(ステップS311)。明度変化画像は、様々な手法により取得されてよい。本実施の形態では、各位置からの距離と平均明度との関係を利用する簡便かつ情報量の多い画像を取得する方法が採用される。
【0053】
具体的には、まず、コロニー画像における1つの画素が選択される。選択画素から予め定められた第1距離内に存在する画素の値の平均である第1平均値が求められる。また、第1距離よりも大きい第2距離が予め定められており、選択画素ら第1距離よりも離れ、第2距離よりも近い画素の値の平均である第2平均値が求められる。そして、第1平均値と第2平均値との符号付き差に相当する値が、明度変化画像の当該選択画素の位置における値として与えられる。選択画素を変更しつつ上記処理を繰り返し、明度変化画像が取得される。上記の「符号付き差に相当する値」とは、例えば、符号付き差を画素値範囲0〜255内の値に変換した値である。
【0054】
図28は、明度変化画像641を例示する図である。図28では、画像の濃淡を簡略化して示している。明度変化画像641では、原則として、コロニー画像において明るい領域と暗い領域との間の境界で、明るい領域側が境界に沿って明るくなり、暗い領域側が境界に沿って暗くなる。明るい領域の内部、暗い領域の内部、その他の領域の内部等の濃淡の変化の少ない領域では、中間調(グレー)となる。
【0055】
具体的には、細胞コロニーに対応する暗い領域(図8の符号711参照)とその周囲の明るい帯状領域(図8の符号712参照)との間の境界では、細胞コロニー側が境界に沿って暗くなり、帯状領域側が境界に沿って明るくなる。帯状領域と他の中間調の領域との間の境界では、帯状領域側が境界に沿って明るくなり、中間調の領域側では境界に沿って暗くなる。
【0056】
明度変化画像641は、2値化部521により、明るい領域が適切に抽出される第1閾値にて2値化される(ステップS312)。これにより、明るい領域に画素値1が付与される。以下、この2値画像を「第1明度変化2値画像」と呼ぶ。図29.Aは、第1明度変化2値画像642を例示する図である。第1明度変化2値画像642は、細胞コロニーの周囲に現れる帯状領域の境界に沿って帯状領域の内側に近接する線状の領域を示す。
【0057】
明度変化画像641は、2値化部521により、暗い領域が適切に抽出される第2閾値、すなわち、第1閾値よりも暗側の値にて2値化される(ステップS313)。これにより、暗い領域に画素値1が付与される。以下、この2値画像を「第2明度変化2値画像」と呼ぶ。図29.Bは、第2明度変化2値画像643を例示する図である。第2明度変化2値画像643は、細胞コロニーの周囲に現れる帯状領域の境界に沿って帯状領域の外側に近接する線状の領域を示す。したがって、第2明度変化2値画像643では、細胞コロニーの周囲に略2重のリングが現れる。
【0058】
太らせ処理部522は、図30.Aおよび図30.Bに示すように、第1明度変化2値画像642および第2明度変化2値画像643に太らせ処理を施す(ステップS314,S315)。これらの太らせ処理は省略可能である。
【0059】
塗りつぶし部528は、第1明度変化2値画像642において、予め定められた面積以下の面積を有する閉領域を塗りつぶす(ステップS316)。以下、小領域が塗りつぶされた画像を「小領域塗りつぶし画像」という。図31は、小領域塗りつぶし画像644を例示する図である。細線化部525は、小領域塗りつぶし画像644に細線化を施し、図32に例示する細線画像645を得る(ステップS317)。小突起削除部526は、細線画像645における小突起を削除して図33に示す細線画像646を得る(ステップS318)。以下、細線画像646を「修正済み細線画像」という。
【0060】
ステップS312の明度変化画像641の2値化では、細胞コロニーの周囲の明るい帯状の領域に対応する線がほぼ確実に抽出される第1閾値が用いられる。そのため、第1明度変化2値画像642を塗りつぶして細線化した画像では、高い確率にて細胞コロニーを囲む線が現れる。
【0061】
塗りつぶし部528は、修正済み細線画像646の閉領域を塗りつぶして図34に示す画像647を得る(ステップS319)。塗りつぶされた領域の外縁部は、細胞コロニーの境界を覆うと推定される。以下、画像647を「コロニー塗りつぶし画像」という。
【0062】
次に、論理積部523は、図35.Aに示すように、コロニー塗りつぶし画像647と図30.Bの第2明度変化2値画像643との論理積をとることにより、図35.Bに示す画像651を得る(ステップS321)。ところで、第2明度変化2値画像643に現れる線は、明るい領域と暗い領域との境界に沿って暗い領域側に位置する。すなわち、第2明度変化2値画像643の線は、細胞コロニーの境界の内側や細胞コロニーの周囲の明るい帯状領域の外側に現れる。そのため、コロニー塗りつぶし画像647と第2明度変化2値画像643との論理積をとることにより、細胞コロニーの境界にほぼ沿って存在する領域のみが高い確率にて得られる。以下、論理積により得られる図35.Bの画像651を「コロニー境界画像」という。
【0063】
小領域削除部524は、図36に示すように、コロニー境界画像651に存在する微小な領域を削除する(ステップS322)。太らせ処理部522は、図37に示すように、コロニー境界画像651に太らせ処理を施して環状の領域を滑らかな形状とする(ステップS323)。細線化部525は、図37のコロニー境界画像651に細線化を施して図38に示す画像を取得し(ステップS324)、さらに、図39に示すように小突起削除部526が細線画像中の小突起を削除することにより(ステップS325)、細胞コロニーの境界を示す最終的なコロニー境界画像651が得られる。
【0064】
図39の例では、環状の線が現れるが、実際には、不完全な環状の線がコロニー境界画像651に現れる場合がある。そこで、コロニー境界画像651を初期の暫定的な境界を示す初期境界画像として、図4のステップS13へと移行し、図6.Aまたは図6.Bに示す動作が実行される。これにより、破断した環状の線が修正され、境界細線画像が得られる。もちろん、図39に示すように不完全な環状の線が存在しない場合は、ステップS13の繰り返し処理はすぐに終了し、ステップS14へと移行する。そして、図7に示す処理が実行されることにより、細胞コロニーの領域が特定される。最終的なコロニー境界画像にて不完全な環状の線がほとんど現れない場合は、ステップS13は省かれてもよい。
【0065】
図27.Aおよび図27.Bの動作例では、明度変化画像641として、コロニー画像の明るい領域と暗い領域の間に明るい線と暗い線とが現れるものが利用されるが、明度の変化を表す画像であれば、他の画像も利用可能である。例えば、単純な微分画像が明度変化画像として利用されてもよい。
【0066】
この場合、コロニー画像中のエッジ部分を抽出する閾値にて明度変化画像を2値化することにより、1つの明度変化2値画像が得られる。当該明度変化2値画像では、細胞コロニーの周囲に現れる明るい帯状領域のエッジが、略2重のリングとして抽出される。そして、図27.Aの処理における第1明度変化2値画像および第2明度変化2値画像を区別することなく、これらの明度変化2値画像に代えて上記1つの明度変化2値画像を利用される。すなわち、ステップS321において、コロニー塗りつぶし画像と、当該コロニー塗りつぶし画像の生成に利用された明度変化2値画像との論理積が求められ、論理積画像からコロニー境界画像が取得される。
【0067】
領域特定装置1では、明度変化画像を利用することにより、シェーディング補正を行うことなく適切に細胞コロニーの領域を特定することができる。また、明度変化2値画像から、細胞コロニーの周囲に現れる帯状領域を細線化して得られる画像を塗りつぶしたコロニー塗りつぶし画像と、帯状領域のエッジをおよそ示す明度変化2値画像(または第2明度変化2値画像)との論理積を求めることにより、細胞コロニーの境界がぼけた画像であっても、容易かつ効率よく細胞コロニーの領域を特定することができる。
【0068】
特に、第1明度変化2値画像および第2明度変化2値画像を利用する場合、第1閾値および第2閾値を調整することにより、適切なコロニー塗りつぶし画像および適切な第2明度変化2値画像を容易に得ることができる。
【0069】
コロニー塗りつぶし画像と明度変化2値画像との重なりを確実に得るために、コロニー塗りつぶし画像に対して太らせ処理が行われてから論理積画像が求められてもよい。コロニー塗りつぶし画像および明度変化2値画像の少なくとも一方に太らせ処理が行われることが好ましい。なお、コロニー塗りつぶし画像および/または明度変化2値画像に施される太らせ処理の太らせ量を調整することにより、コロニー境界画像における境界位置を微調整することができる。
【0070】
領域特定装置1では、ステップS316において(第1)明度変化2値画像の小領域を塗りつぶす前に、ステップS314の太らせ処理が行われる。これにより、細胞コロニーの周囲に現れる線の破断を抑制することができる。
【0071】
領域特定装置1は様々に変更されてよい。
【0072】
例えば、ステップS13における境界の破断箇所の修復は、他の手法により取得された初期境界画像に利用することができる。また、ステップS12にて得られる初期境界画像を利用して、他の手法により最終的な細胞コロニーの領域が特定されてもよい。
【0073】
撮像部2にて取得される画像は、モノクロ画像であってもカラー画像であってもよい。様々な前処理を経て元画像からコロニー画像が生成される。撮像手法も、培養容器9からの反射光を利用するものでも透過光を利用するものでもよい。領域特定装置1では、ステージ駆動部23は省かれてもよい。
【0074】
演算部500の機能は、複数台のコンピュータにより実現されてもよい。プログラム80は、様々な媒体を介してコンピュータに導入可能である。
【0075】
上記実施形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
【符号の説明】
【0076】
1 細胞コロニー領域特定装置
5 コンピュータ
21 撮像部
80 プログラム
500 演算部
530 出力部
611 コロニー画像
612 コロニー2値画像
613 周辺2値画像
614 初期境界画像
621 暫定境界画像
622 暫定境界細線画像
623 マスク画像
641 明度変化画像
642 第1明度変化2値画像
643 第2明度変化2値画像
644 小領域塗りつぶし画像
645 細線画像
646 修正済み細線画像
647 コロニー塗りつぶし画像
651 コロニー境界画像
S11〜S14,S121〜S126,S141〜S144,S211〜S219,S311〜S319,S321〜S325 ステップ
図1
図2
図3
図4
図5
図6.A】
図6.B】
図7
図8
図9.A】
図9.B】
図10.A】
図10.B】
図11.A】
図11.B】
図12
図13
図14
図15
図16.A】
図16.B】
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27.A】
図27.B】
図28
図29.A】
図29.B】
図30.A】
図30.B】
図31
図32
図33
図34
図35.A】
図35.B】
図36
図37
図38
図39