特許 5657910 明視野顕微鏡を使用する画像の自動分析

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5657910

(24)【登録日】2014年12月5日

(45)【発行日】2015年1月21日

(54)【発明の名称】明視野顕微鏡を使用する画像の自動分析

(51)【国際特許分類】

   G01N 15/00 20060101AFI20141225BHJP

【ＦＩ】

   G01N15/00 A

   G01N15/00 B

【請求項の数】27

【外国語出願】

【全頁数】31

(21)【出願番号】特願2010-98539(P2010-98539)

(22)【出願日】2010年4月22日

(65)【公開番号】特開2011-226970(P2011-226970A)

(43)【公開日】2011年11月10日

【審査請求日】2013年4月19日

【新規性喪失の例外の表示】特許法第３０条第１項適用 平成２１年１０月２２日 インターネットアドレス「ｈｔｔｐ：／／ｗｗｗ．ｐｌｏｓｏｎｅ．ｏｒｇ／ａｒｔｉｃｌｅ／ｉｎｆｏ：ｄｏｉ％２Ｆ１０．１３７１％２Ｆｊｏｕｒｎａｌ．ｐｏｎｅ．０００７４９７」に発表

(73)【特許権者】

【識別番号】510113195

【氏名又は名称】インスティテュート フォア システムズ バイオロジー

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100085176

【弁理士】

【氏名又は名称】加藤 伸晃

(74)【代理人】

【識別番号】100104352

【弁理士】

【氏名又は名称】朝日 伸光

(74)【代理人】

【識別番号】100128657

【弁理士】

【氏名又は名称】三山 勝巳

(74)【代理人】

【識別番号】100160967

【弁理士】

【氏名又は名称】▲濱▼口 岳久

(72)【発明者】

【氏名】アドリアン オジンスキー

(72)【発明者】

【氏名】ペッカ ルスヴォリ

(72)【発明者】

【氏名】ジルキ セリヌミ

(72)【発明者】

【氏名】イリヤ シュムレヴィッチ

【審査官】 ▲高▼見 重雄

(56)【参考文献】

【文献】 特開２００５−２１８３７９（ＪＰ，Ａ）

【文献】 特開昭６２−２０１３３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ １５／００−１５／１４

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

Ｓｃｉｅｎｃｅ Ｄｉｒｅｃｔ

Ｔｈｏｍｓｏｎ Ｉｎｎｏｖａｔｉｏｎ

(57)【特許請求の範囲】

【請求項1】

試料中に存在する細胞の個数を自動的に同定する方法であって、
光照射を感知するセンサを有する光学顕微鏡で観察するために配置される光学的透明担持面を形成するステップであって、前記センサは前記センサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有する、ステップと、
前記光学的透明担持面上に配置される少なくとも１つの細胞を含む試料を供給するステップと、
光を照射して前記光学顕微鏡を明視野モードで故意に動作させ、前記光学的透明担持面の法線方向にそって配置される１つまたは複数の異なる焦点面に焦点を合わせ、前記少なくとも１つの細胞が前記センサの前記視野内に入るようにするステップと、
前記センサを使って１つまたは複数の明るいスポットおよび１つまたは複数の暗いスポットからなる画像の群から選択された、特定の焦点状態に対応する１つの画像を観察するステップと、
前記センサの前記出力端子から前記画像を表す出力信号を供給するステップと、
前記画像を表す前記出力信号を処理して、明るいスポットの個数または暗いスポットの個数を計算するステップと、
明るいスポットの前記個数または暗いスポットの前記個数を前記試料中に存在する細胞の個数として報告するステップとを含む試料中に存在する細胞の個数を自動的に同定する方法。

【請求項2】

少なくとも１つの細胞を含む前記試料は、染色剤を含まない請求項１に記載の試料中に存在する細胞の個数を自動的に同定する方法。

【請求項3】

少なくとも１つの細胞を含む前記試料は、蛍光剤を含まない請求項１に記載の試料中に存在する細胞の個数を自動的に同定する方法。

【請求項4】

人間のオペレータに、前記センサによって観察された画像を見せるステップをさらに含む請求項１に記載の試料中に存在する細胞の個数を自動的に同定する方法。

【請求項5】

前記画像を表す前記出力信号を処理する前記ステップは、コンピュータ・ベースのアナライザで実行される請求項１に記載の試料中に存在する細胞の個数を自動的に同定する方法。

【請求項6】

前記コンピュータ・ベースのアナライザは、少なくとも１つの細胞を含む前記試料の合成画像を形成し、前記合成画像は擬似カラーによる前記少なくとも１つの細胞の外形を含む請求項５に記載の資料中に存在する細胞の個数を自動的に同定する方法。

【請求項7】

前記少なくとも１つの細胞に焦点を合わせるステップをさらに含み、前記少なくとも１つの細胞に焦点を合わせる前記ステップは１つまたは複数の明るいスポットおよび１つまたは複数の暗いスポットからなる画像の群から選択された画像を前記センサを使って観察する前記ステップの前に実行される請求項１に記載の試料中に存在する細胞の個数を自動的に同定する方法。

【請求項8】

前記特定の焦点状態は、焦点はずれ状態である請求項１に記載の試料中に存在する細胞の個数を自動的に同定する方法。

【請求項9】

自動画像処理システムであって、
光照射を感知するセンサを有する光学顕微鏡であって、前記センサは前記センサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有し、前記光学顕微鏡は光照射を使って明視野モードで前記光学顕微鏡を動作させられるように構成され、また前記光学顕微鏡での観察のため配置されている光学的透明担持面の法線方向にそって前記光学顕微鏡の焦点を変化させ前記光学顕微鏡の前記視野内に配置されている試料の前記光学的透明担持面の前記法線方向にそって少なくとも１つの画像を故意に獲得するように構成されている、光学顕微鏡と、
前記センサから前記センサによって監視される視野を表す前記出力信号を受け取るように構成され、また前記少なくとも１つの画像から１つまたは複数の画像を同定するように構成され、また前記少なくとも１つの画像を分析して前記１つまたは複数の画像から前記試料の特性を推論するように構成されている、コンピュータ・ベースの画像プロセッサと、
前記コンピュータ・ベースの画像プロセッサと通信する、前記試料の前記特性のレポートを作成するように構成された報告装置とを備える自動画像処理システム。

【請求項10】

前記少なくとも１つの画像は、１つまたは複数の明るいスポットと１つまたは複数の暗いスポットからなる画像の群から選択された１つの画像であり、
前記画像プロセッサは、前記画像中の明るいスポットの個数または暗いスポットの個数を計算するように構成され、
前記報告装置によって報告される前記特性は、明るいスポットの前記個数または暗いスポットの前記個数であり、このため、前記報告される特性は、前記光学顕微鏡の前記視野内に配置される前記光学的透明担持面の一部に配置されている試料中に存在する細胞の個数である
請求項９に記載の自動画像処理システム。

【請求項11】

前記光学顕微鏡の焦点状態を変更するように構成されたアクチュエータをさらに備える
請求項９に記載の自動画像処理システム。

【請求項12】

前記アクチュエータを駆動することによって前記光学顕微鏡の前記焦点状態を制御するように構成されたコンピュータ・ベースの制御装置をさらに備える
請求項１１に記載の自動画像処理システム。

【請求項13】

前記光学顕微鏡の前記焦点状態を制御するように構成された前記コンピュータ・ベースの制御装置は、前記視野内の１つまたは複数の細胞上の前記光学的透明担持面の前記法線方向にそって配置されている１つまたは複数の異なる焦点面に焦点を合わせる動作をするように構成されている請求項１２に記載の自動画像処理システム。

【請求項14】

前記光学顕微鏡の視野の倍率または寸法を変更するためにレンズを変更するように構成されたアクチュエータをさらに備える
請求項９に記載の自動画像処理システム。

【請求項15】

前記報告装置は、合成画像を形成する請求項９に記載の自動画像処理システム。

【請求項16】

前記合成画像は、擬似カラーを含む請求項１５に記載の自動画像処理システム。

【請求項17】

前記報告装置は、後から使用するために記録されるレポートを作成する請求項９に記載の自動画像処理システム。

【請求項18】

前記報告装置は、ユーザに表示されるレポートを作成する請求項９に記載の自動画像処理システム。

【請求項19】

前記光学顕微鏡は、前記センサおよび人間のオペレータに適した接眼レンズを同時に装着できるように構成される請求項９に記載の自動画像処理システム。

【請求項20】

前記光学顕微鏡、前記コンピュータ・ベースの画像プロセッサ、および前記報告装置を動作させるための１つまたは複数の電源をさらに備える
請求項９に記載の自動画像処理システム。

【請求項21】

前記少なくとも１つの画像は、ｚ次元にそった画像の明視野ｚスタックから選択され、
前記画像プロセッサは、前記明視野ｚスタックの第１の画像と第２の画像との間の前記ｘ，ｙ平面内の前記光量値の前記ｚ次元に関する変動を計算し、コントラストを高めた２次元投影画像を形成し、コントラストを高めた前記２次元投影画像から前記試料の少なくとも１つの細胞の特徴を推論するように構成され、
前記報告装置は、前記試料中に存在する前記少なくとも１つの細胞の前記特徴を報告するように構成される
請求項９に記載の自動画像処理システム。

【請求項22】

前記特性は、前記少なくとも１つの細胞の境界である請求項９に記載の自動画像処理システム。

【請求項23】

前記システムは、前記試料中で少なくとも１つの細胞を他の細胞から空間的に区別するように構成される請求項９に記載の自動画像処理システム。

【請求項24】

試料中に存在する細胞の特徴を自動的に同定する方法であって、
光照射を感知するセンサを有する光学顕微鏡で観察するために配置される光学的透明担持面を形成するステップであって、前記センサは前記センサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有する、ステップと、
前記光学的透明担持面上に配置される少なくとも１つの細胞を含む試料を供給するステップと、
光を照射して前記光学顕微鏡を明視野モードで故意に動作させ、前記光学的透明担持面の法線方向にそって配置される１つまたは複数の異なる焦点面に焦点を合わせてｚ次元にそった画像の明視野ｚスタックを形成し、前記少なくとも１つの細胞が前記センサの前記視野内に入るようにするステップと、
前記センサを使って、前記明視野ｚスタックから選択された複数の画像を観察するステップと、
前記センサの前記出力端子から前記複数の画像を表す出力信号を供給するステップと、
前記複数の画像のうちの少なくとも２つの画像について、ｘ，ｙ平面内のピクセルの光量値を取得するために前記複数の画像を表す前記出力信号を処理するステップと、
前記複数の画像のうちの前記少なくとも２つの画像のうちの第１の画像と第２の画像との間の前記ｘ，ｙ平面内の前記光量値の前記ｚ次元に関する変動を測定するステップと、
コントラストを高めた２次元投影画像を形成するステップと、
コントラストを高めた前記２次元投影画像から前記少なくとも１つの細胞の特徴を推論するステップと、
前記試料中に存在する前記少なくとも１つの細胞の前記特徴を報告するステップとを含む試料中に存在する細胞の特徴を自動的に同定する方法。

【請求項25】

前記特徴は、前記少なくとも１つの細胞の観察可能な特性である請求項２４に記載の試料中に存在する細胞の特徴を自動的に同定する方法。

【請求項26】

前記観察可能な特性は、前記少なくとも１つの細胞の境界である請求項２５に記載の試料中に存在する細胞の特徴を自動的に同定する方法。

【請求項27】

前記少なくとも１つの細胞は、前記試料中で他の細胞から空間的に区別される請求項２４に記載の試料中に存在する細胞の特徴を自動的に同定する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に光学画像内の細胞を計数することに関するものであり、具体的には、染色または蛍光材料で細胞を処理することを必要としないシステムおよび方法に関するものである。

【背景技術】

【0002】

細胞検出は、細胞集団の顕微鏡画像が使用される生物医学的研究における基本的な方法である。細胞検出は、個別の細胞を計数するため、または特徴抽出から単一細胞追跡まで、さらに分析を行うための基盤として使用されうる。

【0003】

この手順は、画像処理のコミュニティにおいて精力的に研究されてきた。

【0004】

蛍光顕微鏡法は、細胞現象の検出および分析のための標準的な道具である。しかし、この技術には、顕微鏡内の利用可能な蛍光チャネルの数に制限があること、染色の励起スペクトルと発光スペクトルとが重なり合うこと、および光毒性などの多数の欠点がある。

【0005】

特異性の高い染色およびプローブ、例えば、緑色蛍光タンパク質およびその誘導体の開発により、蛍光顕微鏡が、細胞機能および細胞現象の視覚化および分析を行うための標準的な道具となった。その一方で、顕微鏡の自動化およびデジタル画像分析の進歩により、高スループット研究で撮像法および細胞に基づく測定を自動化することが可能になった。真核細胞の蛍光顕微鏡検査では、単一の実験で複数の蛍光プローブおよびチャネルを使用して、自動単一細胞定量化を実行できる。第１の蛍光チャネルを使用すると染色された核を検出することができ、結果として、細胞位置に対するマーカが得られる。第２の蛍光チャネルは、Moffat J、Grueneberg DA、Yang X、Kim SY、Kloepfer AMら(2006年) A lentiviral RNAi library for human and mouse genes applied to an arrayed viral high-content screen. Cell 124:1283〜1298頁において説明されているように、全細胞または細胞質によって占有される領域、例えば、細胞骨格アクチン染色によって占有される領域を視覚化する。その代わりに、非特異的細胞下染色を、全細胞検出に使用することができる。全細胞染色のアプローチに関係なく、接触しているか、または部分的に重なり合っている細胞は、Carpenter AE、Jones TR、Lamprecht MR、Clarke C、Kang IHら(2006年) CellProfiler: image analysis software for identifying and quantifying cell phenotypes. Genome Biol 7: R100で説明されているような第1のチャネルの核マーカの助けを借りて自動的に分離できる。最後に、Bolte S、Cordelieres FP (2006年) A guided tour into subcellular colocalization analysis in light microscopy. J Microsc 224:213〜232頁において説明されているように、細胞下現象が、第１および第２のチャネルの異なる特性を測定することによって、または追加のオルガネラおよび分子特異的プローブおよび余分な蛍光チャネルを使用することによって定量化される。

【0006】

利用できる蛍光チャネルの数に限りがあるため、またプローブの励起スペクトルおよび発光スペクトルは部分的に重なり合うため、細胞下共局在化を伴う研究が、核または全細胞染色なしで一般に実行される。その結果、細胞毎の測定は不可能である。単一細胞測定も、陰性対照に使用される細胞において困難であるか、または不可能ですらあり、蛍光の欠如が、いくつかの現象の検出に使用される。さらに、蛍光顕微鏡法には、光毒性および撮像のセットアップの複雑さなどの他の制限がある。これらの問題が動機となって、蛍光チャネルの少なくともいくつかを標準透過光顕微鏡法で置き換える代替方法の探索が推進された。

【0007】

従来の方法を使用して細胞を計数する際に多くの問題が観察されている。これらの問題は、計数に必要だが、細胞をさらに使用しようとしても実用的でないか、または不可能な状態にする外来化学物質による細胞（および場合によっては細胞が見つかる増殖培地）の汚染を含む。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】Moffat J、Grueneberg DA、Yang X、Kim SY、Kloepfer AMら(2006年) A lentiviral RNAi library for human and mouse genes applied to an arrayed viral high-content screen. Cell 124:1283〜1298頁

【非特許文献2】Carpenter AE、Jones TR、Lamprecht MR、Clarke C、Kang IHら(2006年) CellProfiler: image analysis software for identifying and quantifying cell phenotypes. Genome Biol 7: R100

【非特許文献3】Bolte S、Cordelieres FP (2006年) A guided tour into subcellular colocalization analysis in light microscopy. J Microsc 224:213〜232頁

【非特許文献4】Curl CL、Bellair CJ, Harris T、Allman BE、Harris PJら(2005年) Refractive index measurement in viable cells using quantitative phase-amplitude microscopy and confocal microscopy. Cytometry A 65:88〜92頁

【非特許文献5】Ali R、Gooding M、Christlieb M、Brady M (2008年) Advanced phase-based segmentation of multiple cells from brightfield microscopy images、Proc. 5th IEEE International Symposium on Biomedical Imaging: From Nano to Macro ISBI 2008、181〜184頁

【非特許文献6】Korzynska A、Strojny W、Hoppe A、Wertheim D、Hoser P (2007) Segmentation of microscope images of living cells、Pattern Anal Appl 10:301〜319頁

【非特許文献7】Niemisto A、Korpelainen T、Saleem R、Yli-Harja O、Aitchison Jら(2007年) A K-means segmentation method for finding 2-D object areas based on 3-D image stacks obtained by confocal microscopy, Proc. 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society EMBS 2007年、5559〜5562頁

【非特許文献8】Gordon A、Colman-Lerner A、Chin TE、Benjamin KR、Yu RCら(2007年) Single-cell quantification of molecules and rates using open-source microscope-based cytometry、Nat Methods 4:175〜181頁

【非特許文献9】Kvarnstrom M、Logg K、Diez A、Bodvard K、Kall M (2008年) Image analysis algorithms for cell contour recognition in budding yeast、Opt Express 16:12943〜12957頁

【非特許文献10】Zimmer C、Zhang B、Dufour A、Thebaud A、Berlemont Sら(2006年) On the digital trail of mobile cells、IEEE Signal Proc Mag 23:54〜62頁

【非特許文献11】Long X、Cleveland WL、Yao YL (2008年) Multiclass cell detection in bright field images of cell mixtures with ECOC probability estimation、Image Vision Comput 26:578〜591頁

【非特許文献12】Molder A、Sebesta M、Gustafsson M、Gisselson L、Wingren AGら(2008年) Non-invasive, label-free cell counting and quantitative analysis of adherent cells using digital holography、J Microsc 232: 240-247頁

【非特許文献13】Jones T、Carpenter A、Golland P (2005年) Voronoi-based segmentation of cells on image manifolds、Lect Notes in Comput Sc 3765:535〜543頁

【非特許文献14】Schlumberger MC、Kappeli R、Wetter M、Muller AJ、Misselwitz Bら(2007年) Two newly identified SipA domains (F1, F2) steer effector protein localization and contribute to Salmonella host cell manipulation、Mol Microbiol 65:741〜760頁

【非特許文献15】Chen TB、Lu HH、Lee YS、Lan HJ (2008年) Segmentation of cDNA microarray images by kernel density estimation、J Biomed Inform 41:1021〜1027頁

【非特許文献16】J. M. Geusebroek、F. Cornelissen、A. W. Smeulders、およびH. Geerts、「Robust autofocusing in microscopy.」Cytometry、vol.39、no.1、1〜9頁、2000年1月

【非特許文献17】A. G. Valdecasas、D. Marshall、J. M. Becerra、およびJ. J. Terrero、「On the extended depth of focus algorithms for bright field microscopy.」Micron、vol.32、no.6、559〜569頁、2001年8月

【非特許文献18】J. AstolaおよびP. Kuosmanen、Fundamentals of nonlinear digital filtering、CRC Press、1997年

【非特許文献19】J. Yoo、E. Coyle、およびC. Bowman、「Dual stack filters and the modified difference of estimates approach to edge detection」、IEEE Transactions on Image Processing、vol.6、1634〜1645頁、1997年

【非特許文献20】J. KittlerおよびJ. Illingworth、「Minimum error thresholding」、Pattern Recognition、vol.19、41〜47頁、1986年

【非特許文献21】X. Chen、X. Zhou、およびS. Wong、「Automated segmentation, classification, and tracking of cancer cell nuclei in time-lapse microscopy」、IEEE Transactions on Biomedical Engineering、vol.53、no.4、762〜766頁、2006年

【非特許文献22】A. Carpenter、T. Jones、M. Lamprecht、C. Clarke、I. Kang、O. Friman、D. Guertin、J. Chang、R. Lindquist、J. Moffat、P. Golland、およびD. Sabatini、「CellProfiler: image analysis software for identifying and quantifying cell phenotypes.」Genome Riot、vol.7、no.10、R100頁、2006年

【非特許文献23】J. Selinummiら、「Bright field microscopy as an alternative to whole cell staining in % automated analysis of macrophage images」、http://sites.google.com/site/brightfieldorstaining

【発明の概要】

【発明が解決しようとする課題】

【0009】

細胞を外来化学物質に曝すことなく細胞を計数する機能を備えるシステムおよび方法が必要である。

【課題を解決するための手段】

【0010】

本発明は、調査対象の細胞が置かれる表面を有する顕微鏡用スライドを使用して説明されるが、本発明は、プレート、ウェルがその中に画定されている対象物体、培養皿、細胞培養基、およびそれと同等のものなど、細胞を担持するための他の周知の基材を使用して実施されうることを理解されたい。

【0011】

一態様では、本発明は、試料中に存在する細胞の個数を自動的に同定する方法を特徴とする。この方法は、光照射を感知するセンサを有する光学顕微鏡で観察するために配置される光学的透明担持面を形成するステップであって、センサはそのセンサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有する、ステップと、光学的透明担持面上に配置される少なくとも１つの細胞を含む試料を供給するステップと、光を照射して光学顕微鏡を明視野モードで故意に動作させ、光学的透明担持面の法線方向にそって配置される１つまたは複数の異なる焦点面に焦点を合わせ、少なくとも１つの細胞がセンサの視野内に入るようにするステップと、センサを使って１つまたは複数の明るいスポットおよび１つまたは複数の暗いスポットからなる画像の群から選択された、特定の焦点状態に対応する１つの画像を観察するステップと、センサの出力端子から画像を表す出力信号を供給するステップと、画像を表す出力信号を処理して、明るいスポットの個数または暗いスポットの個数を計算するステップと、明るいスポットの個数または暗いスポットの個数を試料中に存在する細胞の個数として報告するステップとを含む。

【0012】

いくつかの実施形態では、少なくとも１つの細胞を含む試料は、染色剤を含まない。いくつかの実施形態では、少なくとも１つの細胞を含む試料は、蛍光剤を含まない。いくつかの実施形態では、試料中に存在する細胞の個数を自動的に同定する方法は、人間のオペレータに、センサによって観察された画像を見せるステップをさらに含む。

【0013】

いくつかの実施形態では、画像を表す出力信号を処理するステップは、コンピュータ・ベースのアナライザで実行される。いくつかの実施形態では、コンピュータ・ベースのアナライザは、少なくとも１つの細胞を含む試料の合成画像を形成し、合成画像は擬似カラーによる少なくとも１つの細胞の外形を含む。いくつかの実施形態では、試料中に存在する細胞の個数を自動的に同定する方法は、少なくとも１つの細胞に焦点を合わせるステップをさらに含み、少なくとも１つの細胞に焦点を合わせるステップは１つまたは複数の明るいスポットおよび１つまたは複数の暗いスポットからなる画像の群から選択された画像をセンサを使って観察するステップの前に実行される。

【0014】

いくつかの実施形態では、特定の焦点状態は焦点はずれ状態である。

【0015】

他の態様では、本発明は、自動画像処理システムに関する。このシステムは、光照射を感知するセンサを有する光学顕微鏡であって、センサはセンサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有し、光学顕微鏡は光照射を使って明視野モードで光学顕微鏡を動作させられるように構成され、また光学顕微鏡での観察のため配置されている光学的透明担持面の法線方向にそって光学顕微鏡の焦点を変化させ光学顕微鏡の視野内に配置されている試料の光学的透明担持面の法線方向にそって少なくとも１つの画像を故意に獲得するように構成されている、光学顕微鏡と、センサからセンサによって監視される視野を表す出力信号を受け取るように構成され、また少なくとも１つの画像から１つまたは複数の画像を同定するように構成され、また少なくとも１つの画像を分析して１つまたは複数の画像から試料の特性を推論するように構成されている、コンピュータ・ベースの画像プロセッサと、コンピュータ・ベースの画像プロセッサと通信する、試料の特性のレポートを作成するように構成された報告装置を備える。

【0016】

いくつかの実施形態では、少なくとも１つの画像が、１つまたは複数の明るいスポットと１つまたは複数の暗いスポットからなる画像の群から選択された１つの画像であり、画像プロセッサは、画像中の明るいスポットの個数または暗いスポットの個数を計算するように構成され、報告装置によって報告される特性は、明るいスポットの個数または暗いスポットの個数であり、このため、報告される特性は、光学顕微鏡の視野内に配置される光学的透明担持面の一部に配置されている試料中に存在する細胞の個数である。いくつかの実施形態では、自動画像処理システムは、光学顕微鏡の焦点状態を変更するように構成されたアクチュエータをさらに備える。いくつかの実施形態では、自動画像処理システムは、アクチュエータを駆動することによって光学顕微鏡の焦点状態を制御するように構成されたコンピュータ・ベースの制御装置をさらに備える。

【0017】

いくつかの実施形態では、光学顕微鏡の焦点状態を制御するように構成されたコンピュータ・ベースの制御装置は、視野内の１つまたは複数の細胞上の光学的透明担持面の法線方向にそって配置されている１つまたは複数の異なる焦点面に焦点を合わせる動作をするように構成されている。いくつかの実施形態では、自動画像処理システムは、光学顕微鏡の視野の倍率または寸法を変更するためにレンズを変更するように構成されたアクチュエータをさらに備える。

【0018】

いくつかの実施形態では、報告装置は、合成画像を形成する。いくつかの実施形態では、合成画像は、擬似カラーを含む。いくつかの実施形態では、報告装置は、後から使用するため記録されるレポートを作成する。いくつかの実施形態では、報告装置は、ユーザに表示されるレポートを作成する。いくつかの実施形態では、光学顕微鏡は、センサおよび人間のオペレータに適した接眼レンズを同時に装着できるように構成される。いくつかの実施形態では、自動画像処理システムは、光学顕微鏡、コンピュータ・ベースの画像プロセッサ、および報告装置を動作させるための１つまたは複数の電源をさらに備える。

【0019】

いくつかの実施形態では、少なくとも１つの画像は、ｚ次元にそった画像の明視野ｚスタックから選択され、画像プロセッサは、明視野ｚスタックの第１の画像と第２の画像との間のｘ，ｙ平面内の光量値のｚ次元に関する変動を計算し、コントラストを高めた２次元投影画像を形成し、コントラストを高めた２次元投影画像から試料の少なくとも１つの細胞の特徴を推論するように構成され、報告装置は、試料中に存在する少なくとも１つの細胞の特徴を報告するように構成される。いくつかの実施態様では、この特性は、少なくとも１つの細胞の境界である。いくつかの実施形態では、このシステムは、試料内で少なくとも１つの細胞を他の細胞から空間的に区別するように構成される。

【0020】

さらに他の態様では、本発明は、試料中に存在する細胞の特徴を自動的に同定する方法を特徴とする。この方法は、光照射を感知するセンサを有する光学顕微鏡で観察するために配置される光学的透明担持面を形成するステップであって、センサはそのセンサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有する、ステップと、光学的透明担持面上に配置される少なくとも１つの細胞を含む試料を供給するステップと、光を照射して光学顕微鏡を明視野モードで故意に動作させ、光学的透明担持面の法線方向にそって配置される１つまたは複数の異なる焦点面に焦点を合わせてｚ次元にそった画像の明視野ｚスタックを形成し、少なくとも１つの細胞がセンサの視野内に入るようにするステップと、センサを使って、明視野ｚスタックから選択された複数の画像を観察するステップと、センサの出力端子から複数の画像を表す出力信号を供給するステップと、複数の画像のうちの少なくとも２つの画像について、ｘ，ｙ平面内のピクセルの光量値を取得するために複数の画像を表す出力信号を処理するステップと、複数の画像のうちの少なくとも２つの画像のうちの第１の画像と第２の画像との間のｘ，ｙ平面内の光量値のｚ次元に関する変動を測定するステップと、コントラストを高めた２次元投影画像を形成するステップと、コントラストを高めた２次元投影画像から少なくとも１つの細胞の特徴を推論するステップと、試料中に存在する少なくとも１つの細胞の特徴を報告するステップとを含む。

【0021】

いくつかの実施態様では、この特徴は、少なくとも１つの細胞の観察可能な特性である。いくつかの実施態様では、この観察可能な特性は、少なくとも１つの細胞の境界である。いくつかの実施形態では、少なくとも１つの細胞は、試料内で他の細胞から空間的に区別される。

【0022】

いくつかの実施形態では、画像が明視野ｚスタックを形成する複数の焦点レベルで取得され、ｚ次元にわたってこのスタックの光量変動を測定することによって、コントラストを高めた新しい２次元投影画像が形成され、分析される。一実施形態では、染色された核などのそれぞれの細胞の配置に対する追加の情報とともにこの明視野投影画像が全細胞蛍光の代わりに使用され、これにより、個別の細胞の境界を特定し、接触している細胞を分離し、単一細胞分析を行うことができる。他の実施形態では、染色は不要である。

【0023】

本発明の前記および他の目的、態様、特徴、および利点は、以下の説明および特許請求の範囲からより明白になるであろう。

【図面の簡単な説明】

【0024】

【図1】全細胞蛍光染色が異なる焦点面の明視野画像スタックから算出された投影画像で置き換えられている細胞分割手順の流れ図である。

【図2】明視野画像スタックの標準偏差投影によるコントラスト強調を示す図であり、図Ａは低コントラストの明視野画像であり、図Ｂは、全細胞検出に蛍光染色を使用している様子を示す画像であり、図Ｃは、蛍光が必要でない、明視野画像のスタックの標準偏差投影である。図Ｄは、図２Ｃの投影結果のもう１つの視覚化のための投影の逆である。コントラストを高めることに加えて、この投影（図２Ｃおよび図２Ｄ）は、図２Ａに見られる背景非一様性も抑制する。

【図3】例示されているすべての方法が蛍光核をそれぞれの細胞に対するマーカとして使用することを必要とする、異なる入力データを使用する全細胞分割を示す図であり、図Ａは、蛍光全細胞染色を示す画像であり、図Ｂは、明視野スタックの標準偏差投影を示す画像である。

【図4】蛍光グラウンドトゥルースに対し明視野投影を使用する全細胞分割のピクセル毎の比較を示す図であり、図Ａは、すべての投影法を使用する、それぞれの画像群に対するすべての細胞上の中央値Ｆスコアを示すグラフであり、図Ｂは、それぞれが３つの無作為に選択されたスライスから投影される、標準偏差投影画像を使用する細胞分割に対する中央値Ｆスコアを示すグラフである。

【図5】図Ａは、元の明視野画像であり、図Ｂは、明視野ｚスタック（蛍光なし）を使用するコントラスト強調投影であり、図Ｃは、自動的な細胞分割の結果である。蛍光核は、それぞれの細胞に対するマーカとして使用され、全細胞領域はコントラスト強調明視野画像を使用して検出される。図Ｄは、もう１つの元の明視野画像であり、図Ｅは、明視野ｚスタック（蛍光なし）を使用するコントラスト強調投影であり、図Ｆは、自動的な細胞分割の結果である。蛍光核は、それぞれの細胞に対するマーカとして使用され、全細胞領域はコントラスト強調明視野画像を使用して検出される。

【図6A】蛍光が不要である、焦点が合っている細胞の明視野画像を示す図である。

【図6B】焦点がはずれている、明るいスポットを呈示する、第３の種類の細胞の明視野画像を示す図である。

【図6C】第３の種類の細胞が、閾値化アルゴリズムによって識別され、擬似カラーで示される画像である。

【図7】本発明の方法および自動システムを使用する際に実行されるステップを示す流れ図である。

【図8】例示的な自動画像処理システム内に存在するコンポーネントおよび接続部を示す図である。

【図9】ＯＰが本明細書で説明されているような数学演算を表す、明視野画像スタック・データからの細胞検出のためのフレームワークを示す略図である。

【発明を実施するための形態】

【0025】

本発明の目的および特徴は、後述の図面および特許請求の範囲を参照することでより理解が進みうる。これらの図面は、必ずしも縮尺通りではなく、一般に本発明の原理を説明することに重点を置いている。これらの図面では、類似の番号は、さまざまな図面全体を通して類似の部分を指示するために使用される。

【0026】

物体の平面を超える焦点面および物体の体積内の異なる平面に焦点が合わされている平面を含む、異なる焦点面内で同じ試料が連続的に撮像された、明視野画像のスタックを使用することに依存する方法を含む、明視野画像から直接的に細胞集団外形を自動的に検出する方法を説明する。

【0027】

明視野ｚスタックを形成する複数の焦点レベルで試料を撮像し、ｚ次元にわたってこのスタックの光量変動を測定することによって、コントラストを高めた新しい２次元投影画像を形成する。一実施形態では、染色された核などのそれぞれの細胞の配置に対する追加の情報とともにこの明視野投影画像が全細胞蛍光の代わりに使用され、これにより、個別の細胞の境界を特定し、接触している細胞を分離し、単一細胞分析を行うことができる。他の実施形態では、染色は不要である。蛍光顕微鏡を主にターゲットとするＣｅｌｌＰｒｏｆｉｌｅｒというフリーウェアのポピュラーな細胞画像分析ソフトウェアを使用して、低コントラストの、かなり複雑な形状のネズミ・マクロファージ細胞を自動分割することによってわれわれの方法の有効性を実証する。

【0028】

このアプローチでは、細胞下研究に使用可能な、蛍光チャネルを解放する。これは、全細胞蛍光染色が利用可能でないか、または特定の実験条件に依存している実験における細細胞形状の測定も容易にする。そこで、われわれの投影明視野画像を使用して得られる全細胞領域検出結果が、細胞領域が蛍光を使用して特定される標準的アプローチに非常によくマッチしていることを示し、高コントラストの明視野投影画像は、全細胞定量化において１つの蛍光チャネルを直接置き換えることができると結論する。投影を算出するためのＭＡＴＬＡＢコードが付録Ａに掲載されている。

【0029】

明視野チャネルは、すべての顕微鏡において容易に利用可能であるけれども（単眼と双眼の両方の顕微鏡を含む）、細胞集団研究では無視されることが多い。最初に、細胞は、ほぼ透明であり、コントラストが非常に悪くなることが多い。手動視覚的細胞分析を使用する場合であっても、特に細胞が凝集していれば、細胞境界の配置を容易に検出することが不可能であることが多い。さらに、特異的染色が適用されないので、細胞下現象は、検出されえず、核はかすかに見えるにすぎないことが多い。しかし、近年、細胞集団の細胞検出および自動画像分析における明視野チャネルの有用性を示す多数の研究が公表されている。定量位相顕微鏡法では、コントラストを大幅に高める専用ソフトウェアを使用し、Curl CL、Bellair CJ, Harris T、Allman BE、Harris PJら(2005年) Refractive index measurement in viable cells using quantitative phase-amplitude microscopy and confocal microscopy. Cytometry A 65:88〜92頁で説明されているように、異なる焦点レベルの明視野画像から試料の位相マップを推定する。Ali R、Gooding M、Christlieb M、Brady M (2008年) Advanced phase-based segmentation of multiple cells from brightfield microscopy images、Proc. 5th IEEE International Symposium on Biomedical Imaging: From Nano to Macro ISBI 2008、181〜184頁では、類似のアプローチをとっているが、ローパス・デジタル・フィルタリングを使用して位相マップを測定し、その後、計算集約的レベル集合ベースの個別細胞分割を行った。明視野細胞検出に、初期分割の後に細胞輪郭が抽出される、Korzynska A、Strojny W、Hoppe A、Wertheim D、Hoser P (2007) Segmentation of microscope images of living cells、Pattern Anal Appl 10:301〜319頁で提示されている方法などの、テクスチャ解析法も使用されている。酵母などの、かなり良好なコントラストの境界を持つ円形細胞では、複数のアルゴリズムが利用可能である。例えば、Niemisto A、Korpelainen T、Saleem R、Yli-Harja O、Aitchison Jら(2007年) A K-means segmentation method for finding 2-D object areas based on 3-D image stacks obtained by confocal microscopy, Proc. 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society EMBS 2007年、5559〜5562頁、Gordon A、Colman-Lerner A、Chin TE、Benjamin KR、Yu RCら(2007年) Single-cell quantification of molecules and rates using open-source microscope-based cytometry, Nat Methods 4:175〜181頁、およびKvarnstrom M、Logg K、Diez A、Bodvard K、Kall M (2008年) Image analysis algorithms for cell contour recognition in budding yeast、Opt Express 16:12943〜12957頁を参照のこと。

【0030】

細胞追跡では、明視野細胞分割は、Zimmer C、Zhang B、Dufour A、Thebaud A、Berlemont Sら(2006年) On the digital trail of mobile cells、IEEE Signal Proc Mag 23:54〜62頁で説明されているように、前処理ステップとその後の実際の追跡アルゴリズムとして提示されることが多い。かなり良好なコントラストを持つ明視野画像を使用した場合、Long X、Cleveland WL、Yao YL (2008年) Multiclass cell detection in bright field images of cell mixtures with ECOC probability estimation、Image Vision Comput 26:578〜591頁において説明されているように、異なる細胞型を分類することが可能であることも示されている。最後であるが、Molder A、Sebesta M、Gustafsson M、Gisselson L、Wingren AGら(2008年) Non-invasive, label-free cell counting and quantitative analysis of adherent cells using digital holography、J Microsc 232: 240-247頁において説明されている、デジタル・ホログラフィなどの特殊な顕微鏡法が、蛍光染色法の代わりに使用されている。

【0031】

本発明のアプローチでは、細胞は、ＣｕｒｌおよびＡｌｉにおいて説明されているような複数の異なる焦点面で撮像されるが、われわれは位相マップについて解決する代わりに明視野スタックのｚ次元における光量変動を測定し、新しい２Ｄ画像を分析用に形成する。細胞の内側のピクセル光量は、焦点が変化しているときに変動するが、背景光量は、スタック全体を通して一定のままであり、その結果、細胞の内側において比較的高い変動が生じ、その外側ではほとんどゼロである。したがって、結果として得られる投影において、細胞は、本質的に黒い背景内でより明るい物体として見える、これによりわれわれは全細胞染色の蛍光画像をこの明視野投影で置き換えることができる。他の実施形態では、細胞は、明るい背景上に暗いスポットとして見える。文献において提示されている以前の明視野ベースの細胞分割技術と比較すると、このアプローチは、実装がより簡単であり、その結果得られる明視野投影画像は、蛍光顕微鏡法用に設計されたＣｅｌｌＰｒｏｆｉｌｅｒ分析ソフトウェアを使用して分割に直接適用可能である。さらに、画像フィルタリングを使用する前処理ステップを除き、投影を計算するときにパラメータを設定する必要がない。検証として、われわれは、複雑な形状および非常に低いコントラストを持つマウス骨髄由来のマクロファージ細胞の分割を行う技術を適用する。位相差顕微鏡法および微分干渉コントラスト（ＤＩＣ）顕微鏡法では、特殊な光学系を使用してコントラストを高めるが、われわれの知る限りにおいて文献には、蛍光顕微鏡法用の標準的な細胞分割アルゴリズムが位相またはＤＩＣ画像に適用可能であること、または不規則形状を有する細胞のロバストな分割が画像の大きな集合に対して可能であることを示唆する研究成果はない。

【0032】

その結果得られる投影は、核染色またはそれぞれの細胞の手動細胞マーキングなどの他のマーカのみが利用可能である場合に全細胞分割を実行できることが示されており、全細胞検出に対する追加の蛍光チャネルは必要なくなる。

【0033】

方法
投影ベースの方法の性能を評価するために、骨髄マクロファージ（ＢＭＭ）を培養し、撮像することによって試験画像データを得た。ＢＬ６から分離されたマクロファージをＲＰＭＩ培養基内のガラス・カバー・スリップ上で培養し、１０％のウシ胎仔血清、ペニシリン１００μ／ｍｌ、ストレプトマイシン１００ｕｇ／ｍｌ、ＧｌｕｔａＭＡＸ ２ｍＭ、およびｍ−ＣＳＦ５０ｎｇ／ｍｌ（３７Ｃ、５％のＣＯ２）を補った。１、２、４、６、１８、および２４時間かけて、ＬＰＳ １００ｎｇ／ｍｌで細胞を刺激し、２０分間、３％のパラホルムアルデヒドで固定し、脂肪体に対してはＢＯＤＩＰＹ ４９３／５０３（Ｉｎｖｉｔｒｏｇｅｎ）で、核に対してはＳｙｔｏｘ（Ｉｎｖｉｔｒｏｇｅｎ）で染色した。未刺激マクロファージならびに異なる時点における刺激細胞をＬｅｉｃａ ＤＭＩＲＢ共焦点レーザー走査顕微鏡で撮像した。

【0034】

画像スタックは、異なる細胞形態、つまり未刺激マクロファージ細胞の２つの画像集合および刺激時における異なる時点からのマクロファージ画像の６つの群による時系列実験を用いて、８つの群を形成する。それぞれの群について、５つの画像スタックがあり、それぞれ３つのチャネル、つまり、１．蛍光核、２．細胞質も視覚化する脂肪体に対する蛍光細胞下染色、および３．明視野チャネルからなる。すべてのチャネルに対するスタックのそれぞれは、２個の個別のｚスライスを含む。スタックの代わりに単一のスライスとして誤って撮像されたため、時点１８ｈのそれぞれのチャネルの１つのスタックを除去しなければならなかった。全体で、試験データセットは、ほぼ８００個の細胞を含む。

【0035】

明視野画像から全細胞分割を行えるようにするために、細胞と背景領域との間の光量差を高めることによってコントラストを強調しなければならない。これを、ｚ方向の異なる変動の尺度を計算し、明視野スタックを２次元（２Ｄ）画像内に投影することによって達成する。つまり、結果として得られる２Ｄ投影内のそれぞれのピクセルは、その特定のｘ，ｙピクセル配置内の元のスタック内のｚ方向の光量変動の尺度に対応する。典型的には、細胞内よりも背景内においてｚ光量変動が小さいので、ピクセルのこれら２つのクラスを分離することができる。特に、標準偏差（ＳＴＤ）、四分位範囲（ＩＱＲ）、変動係数（ＣＶ）、および中央値絶対偏差（ＭＡＤ）尺度を使用して投影を行う。

【0036】

ＳＴＤ投影画像は、元のスタックのそれぞれのピクセルについてｚ方向の光量の標準偏差

【0037】

【数1】

を計算することによって形成されるが、ただし、式中、Ｉ_ｉはｚスライスｉのピクセル光量であり、μはピクセル光量の平均であり、Ｎはｚスライスの総数である。

【0038】

よりロバストな変動の尺度について、われわれは、ＩＱＲ投影、試料の第７５百分位と第２５百分位との差を計算した。つまり、最低側２５％の値と最高側２５％の値が最初に無視され、ＩＱＲが、ｚスライスのすべての残存光量の最大値と最小値との間の範囲となる。

【0039】

ＣＶ投影では、ｚ値の標準偏差を値の平均で除算する。
ＣＶ＝ｓ／μ 式（２）

【0040】

ＭＡＤは、「平均した」１つの値がすべての値の中央値からどれだけ偏っているか、つまり、すべてのｘ，ｙピクセル配置に対するすべてのｚスライスの光量の中央値からの中央値偏差の尺度である。
ＭＡＤ＝ｍｅｄｉａｎ（Ｊ） 式（３）
ただし、式中、Ｉ＝｛Ｉ_ｉ｝_{ｉ＝１．．．Ｎ}、Ｔ＝ｍｅｄｉａｎ（Ｉ）、および

【0041】

【数2】

である。

【0042】

それぞれのスタックについて撮像されたｚスライスの個数に対する投影の感度を評価するために、ＳＴＤ投影を、３つのスライスのみからなる、２つの異なる種類の縮小スタックに適用した。最初に、これ以降３Ｓｌｉｃｅｓ法と称される、元のスタックのほぼ全ｚ範囲を手作業で表すことによって３つのスライス（スライス２、１０、および１９）を選択した。他の実施形態では、３つのスライスをランダムに選択することによって、３ＳｌｉｃｅｓＲａｎｄｏｍ１から３ＳｌｉｃｅｓＲａｎｄｏｍ５と称される、元のスタックの５つの縮小バージョンを作成した。

【0043】

さまざまな投影法の評価のために、元々蛍光顕微鏡法用に設計された、オープンソースのＣｅｌｌＰｒｏｆｉｌｅｒソフトウェア・パッケージによって自動画像分析および細胞分割を実行した。一実施形態では、ＩｄｅｎｔｉｆｙＰｒｉｍＡｕｔｏｍａｔｉｃ分析モジュールで蛍光核を検出することによってそれぞれの細胞に対するマーカを取得した。これらの投影から小さな無用の細部を平滑化して取り除くために、ＳｍｏｏｔｈＯｒＥｎｈａｎｃｅモジュールを使用して５ピクセル分のガウス・ローパス・フィルタ半径を適用した。そこで、全細胞領域を検出するためにＩｄｅｎｔｉｆｙＳｅｃｏｎｄａｒｙＡｕｔｏｍａｔｉｃモジュールにおいて、Jones T、Carpenter A、Golland P (2005年) Voronoi-based segmentation of cells on image manifolds、Lect Notes in Comput Sc 3765:535〜543頁で説明されている伝搬アルゴリズムを使用した。グラウンドトゥルースについて、さまざまな２Ｄ投影を使用する細胞領域検出と比較すべき蛍光細胞質画像を使用する同じ手順（ローパス・フィルタを除く）で全細胞領域を分割した。蛍光染色が利用可能でない状況をシミュレートするために、例えば、Schlumberger MC、Kappeli R、Wetter M、Muller AJ、Misselwitz Bら(2007年) Two newly identified SipA domains (F1, F2) steer effector protein localization and contribute to Salmonella host cell manipulation、Mol Microbiol 65:741〜760頁において説明されているように、それぞれの核を囲む半径３０ピクセルの円環によって細胞質領域を推定した。この推定アプローチは、円環法と称される。

【0044】

さらなる検証のため、スタックの第２の蛍光チャネルにおいて見える蛍光スポットも数え上げた。スポットの数え上げは、ガウス・カーネルを使用して、Chen TB、Lu HH、Lee YS、Lan HJ (2008年) Segmentation of cDNA microarray images by kernel density estimation、J Biomed Inform 41:1021〜1027頁で説明されているカーネル密度推定ベースのアルゴリズムを用いて実行した。このスポット数え上げモジュールは、標準のＣｅｌｌＰｒｏｆｉｌｅｒ配布には含まれていないため、われわれは、ＭＡＴＬＡＢ ２００８ａ（ＭＡＴＬＡＢ ７．６）（米国、０１７６０−２０９８マサチューセッツ州、ナティック、アップルヒルドライブ３所在のＴｈｅ Ｍａｔｈ Ｗｏｒｋｓ，Ｉｎｃ．社（ｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／）から入手可能）上で実行する、ＣｅｌｌＰｒｏｆｉｌｅｒの開発者バージョンで分析パイプラインを実装した。全細胞分割に対するさまざまなアプローチを表１にまとめた。

【0045】

【表1】

【0046】

われわれは、細胞接触画像境界を無視しなかったけれども、これは一部のみ見える細胞によって引き起こされる測定のバイアスを最小限に抑えるために一般に実行される手順である。これらの細胞により、われわれは、非一様な背景によって画質が損なわれることの多い画像境界上でも分割精度を比較することができる。分析の計算複雑度は、比較的低く、オペレーティング・システムとしてＷｉｎｄｏｗｓ（登録商標） Ｖｉｓｔａを使用する２ＧＨｚのパーソナル・コンピュータ（ＰＣ）上で投影を計算し、画像を分割するのに方法毎に４秒程度を要する。

【0047】

全細胞蛍光染色を置き換えることを目的として、スタックｚ変動のさまざまな尺度で明視野画像のスタックを２Ｄに投影した。この手順は、図１に概要が示されており、それぞれの細胞に対するマーカが、全細胞検出の２つの代替方法、つまり、蛍光および投影を使用して、蛍光から検出されるか、または手でマーキングされる。図２は、投影アプローチ（ＳＴＤ）の１つによるコントラスト改善を示している。図２Ａは、元の明視野画像の１つのスライスを示しているが、蛍光染色、提案されているＳＴＤ投影、および投影の逆は、それぞれ、図２Ｂ、図２Ｃ、および図２Ｄに示されている。図２Ｃに示されている投影と図２Ａに示されている元の明視野データとの間のコントラストの差は、よく目立つ。さらに、背景光量の偏差はすべてのｚスライスにおいて類似しているため、非一様な背景は、投影によって効率的に取り除かれる。

【0048】

投影方法の性能を評価するため、われわれは、蛍光染色細胞の全細胞領域の自動画像分割と明視野投影と、また細胞質領域が検出された核の周りを囲む円環によって推定された円環法と比較した。明視野画像内の複雑な細胞形状を分割するために文献においてすでに公開されている最良の方法を使用してもわれわれの全データセットの細胞を検出することはできなかった。図３は、ＣｅｌｌＰｒｏｆｉｌｅｒソフトウェアによる画像分析の後の、１つの分割比較を示している。図３Ａは、蛍光（図２Ｂ）を使用する全細胞分割結果を示しており、図３Ｂでは、全細胞領域は、投影明視野スタック（図２Ｃ）から検出された。

【0049】

時系列実験のすべての画像スタックに対する分割精度を定量化するために、

【0050】

【数3】

で表される精度、および

【0051】

【数4】

で表されるＲｅｃａｌｌを測定したが、ただし、式中、ｔｐ、ｆｐ、およびｆｎは、それぞれ、検出された真陽性、偽陽性、および偽陰性のピクセルの個数である。完全精度は、試験対象の方法によって検出されたすべてのピクセル（異なる明視野投影）がグラウンドトゥルース分割結果（蛍光）内にも存在することを示す。その一方、完全リコールは、蛍光画像のどのピクセルも、明視野投影画像を使用することによって欠落しないことを示す。

【0052】

分割精度をよりコンパクトに表現するために、

【0053】

【数5】

で表される、Ｆスコア、つまり、精度とリコールの調和平均を計算した。Ｆスコア１は、Ｐｒｅｃｉｓｉｏｎ＝Ｒｅｃａｌｌ＝１である完全分割精度に対応し、真陽性の観察のみがあって、偽陽性または偽陰性の観察はない。

【0054】

図４Ａは、蛍光グラウンドトゥルースに対し、異なるすべての投影法に対するすべての細胞にわたる細胞分割毎のＦスコア中央値を示している。さらに、手で摘んだｚスライスを３つのみ含む３Ｓｌｉｃｅｓ集合のＳＴＤ投影に対する分割結果、さらには円環法に対するＦスコアが与えられる。図４Ｂは、投影に対するスタックからのｚスライスの無作為選択の効果を評価する、３ＳｌｉｃｅｓＲａｎｄｏｍ１から３ＳｌｉｃｅｓＲａｎｄｏｍ５までのＳＴＤ投影の分割結果を示す。

【0055】

非常に複雑な形態を有するほぼ８００個のマクロファージ細胞からなるわれわれのデータセットでは、投影法の全体的性能は、中央値Ｆスコアが０．８を中心として変動するグラウンドトゥルース蛍光に近かった。予想通り、Ｆスコアは、円環法に対しては一貫して低い。箱ひげ図は、すべての投影法に対する、８つの群のそれぞれの多数の外れ値を示している。全データセットと比較すると、外れ値の個数は制限され、これらの外れ値の効果は、例えば、さらなる分析から対応する細胞を無視することによって低減されうるが、これは、同様に、凝集しすぎる細胞は、自動分割結果から多くの場合に除去される必要があるからである。分割結果画像からわかるように、外れ値は、全細胞領域を大きく見積もりすぎた分割誤差によって引き起こされており、これは、細胞の領域が必要ならばそれらの外れ値を無視するのに適した特徴であることを示唆している。

【0056】

細胞分割結果中の外れ値および他の変動がデータから引き出された生物学的結論に影響を及ぼすかどうかを評価するために、単一細胞レベルの細胞下スポットの個数を比較した。脂肪体が明るいスポットとして強調される第２の蛍光チャネルを使用することによって、われわれは、最初に、画像内にスポットを検出した（補助部位において利用可能なすべての画像に対するスポット検出結果）。次いで、すべての投影アプローチによる全細胞分割に基づき、それぞれのスポットが属す細胞を決定した。最後に、検出された細胞の外にあるスポットを無視した。この手順により、実際の生物学的結論（細胞１個あたりのスポット数）に対する異なる全細胞検出方法の効果を推定する作業は、全細胞領域検出が蛍光グラウンドトゥルース細胞領域と非常に異なる場合に、それらの誤って分割された細胞中に検出されたスポットの個数も変わるため、可能になる。スポットの個数に変化がない場合、全細胞検出は、満足のゆく形でなされたと考えられる。

【0057】

すべての投影方法において、細胞１個当たりのスポット数は、文献にすでに報告されているように、時間の経過とともに増加する。

【0058】

それぞれのスポットが特定の細胞に割り当てられたので、われわれは、さらなる検証のため、それぞれの個別細胞について細胞１個当たりのスポット数も比較した。細胞１個当たりのスポット数の分析結果を表２にまとめ、異なる方法に対するスポット数の勾配およびバイアスをグラウンドトゥルースと突き合わせて示す。円環法、および３ＳｌｉｃｅｓＲａｎｄｏｍ３のＳＴＤ投影を除く、すべての回帰結果から、投影および蛍光分割による細胞毎のスポット数の間のほぼ完全なマッチが示される。スポットは、蛍光チャネルから検出されるが、異なる方法に基づく全細胞検出によって個別細胞間に分配される。

【0059】

【表2】

【実施例】

【0060】

明視野３Ｄスタック投影を使用するコントラスト強調および全細胞検出
図５は、ｚ軸にそった、例えば、視野に垂直な投影を使用する明視野顕微鏡法の使用例を示している。図５Ａは、元の明視野画像である。図５Ｂは、図５Ａに示されている明視野の明視野ｚスタック（蛍光なし）を使用するコントラスト強調投影である。図５Ｃは、自動的な細胞分割の結果である。蛍光核は、それぞれの細胞に対するマーカとして使用され、全細胞領域はコントラスト強調明視野画像を使用して検出される。

【0061】

図５Ｄは、もう１つの元の明視野画像である。図５Ｅは、図５Ｄに示されている明視野の明視野ｚスタック（蛍光なし）を使用するコントラスト強調投影である。図５Ｆは、自動的な細胞分割の結果である。蛍光核は、それぞれの細胞に対するマーカとして使用され、全細胞領域はコントラスト強調明視野画像を使用して検出される。

【0062】

われわれは、明視野画像スタック内のコントラスト強調に対する異なるｚ投影法について説明し、投影アプローチがマクロファージ画像のわれわれの集合に対し全細胞蛍光染色を置き換えることができることを示した。単一細胞検出および分割では、われわれの方法は、すでに提示されている明視野ベースの技術に勝るいくつかの利点を有している。第１に、フリーウェアのＣｅｌｌＰｒｏｆｉｌｅｒソフトウェアまたは他のツールで、投影画像を全細胞分割に直接使用することができる。第２に、試験される異なる投影方法のうち、標準偏差投影は、計算の実行が非常に軽く、実装しやすく、パラメータの設定が不要であり、それでも優れた分割性能を示す。第３に、われわれは、全細胞検出法を、さまざまな突起を有し、コントラストが低く形態が非常に複雑な細胞型であるマクロファージに適用することに成功している。第４に、無作為に選択されたｚスライスを使用した分割結果から、正確な焦点合わせは、重要でないことが示唆される。そして最後に、その結果として得られる投影画像に対し、背景光量変動は何ら影響を有しないということである。われわれのアプローチの欠点は、画像を１つではなく３つ撮る必要があり、細胞を移動することなく画像を取得するために生細胞撮像のかなり高速なステージが要求されることであり、今のところ、分割結果は、誤った全細胞検出から結果として生じる外れ値を含む。その一方で、空間に対する要求条件は、分析のため投影画像のみ格納すればよいので増大しない。

【0063】

２００９年１０月２２日にわれわれが公開した資料では、細胞全体にわたってコントラストが低く、細胞境界がはっきりとは見えない、１つの細胞型の画像のみを使用した。他の多くの細胞型、例えば、酵母の明視野画像中に存在する、後光効果は、投影において誤って強調される可能性がある。さらに、さまざまな細胞密度および異なる撮像設定で分割性能を研究すること、また撮像およびその後の分析に最適な状態を探すことは興味深いことであろう。前処理のために、多くの異なるアプローチを試験することもありえ、この作業では、標準ガウス・フィルタが適切であると判明したが、厳密なパラメータ最適化または方法比較については、実行しなかった。

【0064】

明視野細胞分割を完全自動化するために、それぞれの細胞に対するマーカが、蛍光核なしで特定される必要があるが、われわれが知る限りでは、ロバストな明視野ベースの方法は文献に記載されていない。これらのマーカは、手動で設定することも可能であるが、特に高スループット研究では、手動アプローチは現実的でない。いくつかの研究では、細菌または酵母細胞など、細胞が非常に特徴的な形状を有している場合、物体分離を細胞形状に基づいて実行することが可能であるため、核マーカが不要になり、したがって蛍光もまったく必要なくなる。

【0065】

明視野画像は、標準偏差または他の投影がより詳細に研究されるべきである唯一のスタックではない。蛍光顕微鏡では、研究される現象は、細胞下スポットとして見えることが多く、光量はｚレベルに応じて変化する。これは、平均および最大投影など、一般に使用される方法と比較して標準偏差投影においてよく見える可能性があることを示唆している。投影アプローチも、細胞対象物に限定されず、ほぼ透明のターゲットは、特別な光学系がなくても、高いコントラストから恩恵を受けるべきである。

【0066】

図６は、蛍光を使用せずに、４つの異なる型の個別細胞を同定するために明視野顕微鏡法をどのように使用できるか、また細胞を自動的にどのように計数できるかを示す追加の例である。

【0067】

図６は、３つの画像を含む。図６Ａの第１の画像では、良好な焦点の状態の下で撮像された標準明視野光学画像が示されており、これは、細胞間に示される低コントラスト差、および細胞の視野がいかなる方法でも処理されなかったときの背景を示す。図６Ｂの第２の画像では、ピンぼけ画像が提示されており、そこでは、それぞれの細胞は、明るい領域によって識別可能であると観察され、これは背景との感知できるコントラストをもたらす。一実施例を示さなくても、ｚ軸にそって反対方向でピンぼけになった後、細胞は、背景に関して、明るい領域と反対に、暗い領域によって識別されうることを理解されたい。図６Ｃの第３の画像では、細胞が自動閾値化アルゴリズムによって識別され、また擬似カラーで示される画像が示されている。したがって、細胞を計数するのは、適切にプログラムされたコンピュータ・ベースのシステムを使用して実行されうる直接的な自動化タスクとなる。

【0068】

操作
図７は、本発明の方法および自動システムを使用する際に実行されるステップを示す流れ図である。ステップ７１０で示されているように、光照射に敏感なセンサを有する光学顕微鏡が使用される。光学顕微鏡は、光学顕微鏡の焦点状態を変更するための１つまたは複数のアクチュエータ（電気モータ）を備え、また適宜、レンズ（対物レンズまたは接眼レンズ）の１つまたは複数を変更し視野の倍率または寸法を変更するための１つまたは複数のアクチュエータを備える。明視野モードで光学顕微鏡を操作するための照明源が備えられる。光照射に敏感なセンサは、センサによって監視される視野を表す信号を出力として出すように構成された出力端子を有する。光学顕微鏡で観察するために表面を有する試料スライドを配置する。ステップ７２０で示されているように、少なくとも１つの細胞を含む試料を試料スライドの表面上に配置する。試料は、外来化学物質を含まない。ステップ７３０で示されているように、少なくとも１つの細胞がセンサの視野内に入り、少なくとも１つの細胞が焦点はずれ状態になるように、試料スライドの表面の法線方向にそって焦点が合うように光照射により明視野モードで光学顕微鏡を操作する。ステップ７４０で示されているように、焦点はずれ状態に応じて、１つまたは複数の明るいスポットまたは１つまたは複数の暗いスポットを有する画像を観察することができ、それぞれのスポットは１つの細胞に対応する。焦点はずれ状態は、スライドの表面と対物レンズの表面との間の相対距離を記録しながら、観察された画像が明るいスポットの１つから、スポットなし、暗いスポットへ（またはその逆の順で）変化するようにスライドの表面と対物レンズの表面との間の距離を変化させることによって自動的に決定されうる。次いで、明るいスポットの状態または暗いスポットの状態のいずれかの状態に対応する距離を再現することができる。センサは、ステップ７５０で示されているように、画像を表す出力信号を供給する。次いで、上で説明されているようなコンピュータおよび適当なソフトウェアを使用して画像を表す出力信号を処理し、ステップ７６０で示されているように、明るいスポットの個数または暗いスポットの個数を計算する。次いで、ステップ７７０で示されているように、コンピュータは、明るいスポットの個数または暗いスポットの個数を試料中に存在する細胞の個数として報告する。レポートは、擬似カラーで表示される画像の形式、または数値の形式とすることができる。レポートは、後で使用するために記録されうるか、またはユーザに対し表示されうるか、または都合のよい形式により他の方法で出力として供給されうる。

【0069】

図８は、例示的な自動画像処理システム内に存在するコンポーネントおよび接続部を示す図である。図８において、顕微鏡８１０は、双方向信号伝送リンク８５０を使ってコンピュータ・ベースの画像プロセッサ８２０に接続されている。いくつかの実施形態では、コンピュータ・ベースの画像プロセッサ８２０は、適宜プログラムされたパーソナル・コンピュータとすることができる。コンピュータ・ベースの画像プロセッサ８２０は、コンピュータ用ディスプレイなどの報告装置８３０と通信する。電源８４０は、リンク８７０を使って顕微鏡８１０に電力を供給し、リンク８６０を使ってコンピュータ・ベースの画像プロセッサ８２０および報告装置８３０に電力を供給する。いくつかの実施形態では、光学顕微鏡、コンピュータ・ベースの画像プロセッサ、および報告装置を動作させるための１つまたは複数の電源が備えられる。

【0070】

いくつかの実施形態では、試料は、染色剤を含まず、他の実施形態では、試料は、蛍光剤を含まない。いくつかの実施態様では、人間のオペレータが、分析対象の細胞を見ることができる。いくつかの場合において、光学顕微鏡は、センサおよび人間のオペレータに適した接眼レンズを同時に装着できるように構成される。いくつかの場合において、顕微鏡は、細胞計数法を実行する前に視野内にある１つまたは複数の細胞に焦点を合わせるように操作される。

【0071】

明視野画像スタックからの細胞検出のためのフレームワーク
次に、異なる焦点面で撮られた明視野画像のスタックから自動的に細胞を検出するための一般フレームワークについて説明する。明視野画像の自動分析は、蛍光標識された画像の分析よりも難しいと考えられているが、それは、標識しないと、細胞は背景に比べて低いコントラストを持つからである。ここで説明する分析フレームワークは、深度情報に依存しており、これにより、蛍光画像分析と同等の方法で細胞を検出することができる。フレームワークは、フレームワークの実現と考えられる、さまざまな分析パイプラインを記述する直截的な手段である。そこで、そのような分析パイプラインの実施例を提示し、細胞の染色を全く行わずにさまざまな顕微鏡で撮られた画像スタックから細胞検出を効率よく実行できることを示すことにする。

【0072】

一般に、蛍光標識法を使用すると、細胞検出に使用可能である核標識法が利用できるという主な理由からより効率的な自動分析を実行することができ、またその後、検出された細胞をさらなる分析のための細胞マーカまたはシードとして使用することができる。しかし、蛍光標識するのは有益であるが、標識せずに明視野内で細胞を撮像するのも役立つ。蛍光体を含まないということは、細胞が光毒性の影響を受けたり、蛍光体の光退色がその結果に影響を及ぼしたりしないことを意味する。さらに、細胞検出を信頼性の高い自動的な方法で実行することが可能であるという前提の下で、細胞形状の検出は細胞体内の標識分布に依存しないため、明視野画像から実際の細胞形状がより正確に得られる。

【0073】

蛍光標識法は、高特異性染色が発生するけれども、特定の細胞下構造の染色には理想的であり、したがって、細胞応答が細胞下活動の定量化を通じて測定されることが多い高スループット研究における貴重な測定プラットフォームとなる。しかし、特異的染色の開発で、限られた数のチャネルのみを同じ試料から同時に撮像できる。例えば、核および細胞体標識法に蛍光染色液を使用すると、特異的プロセスを研究するために必要な可能な細胞下染色の使用は２倍減らせる。このような場合、明視野画像からの細胞の検出を可能にする技術により、他の用途で使用できるように蛍光チャネルが解放される。

【0074】

従来から、明視野画像の完全自動分析は、多くの分割方法が手動で与えるシードに依存する難しい問題として認識されてきている。細胞を空間的にぎっしり配置することは、典型的には細胞境界がくっきり見えないため、分析に対しては特に難題である。われわれは、異なる焦点レベルで同じ試料を連続的に撮像した明視野画像のスタックを使用することに依存する細胞境界検出のための方法を説明した。ｚスタックとも称される、焦点スタックは、ｚ次元で投影を撮ることによって処理された。投影を細胞領域に対するマーカとして使用することで、蛍光標識法と同様の性能を持つ細胞形状および境界決定が可能になった。個別細胞検出の完全自動化は、全細胞領域を決定する際に有用であるが、ユーザ側で、または核蛍光マーカを細胞シードとして使用することによって、シード点を取得する必要があることがネックとなっていた。しかし、焦点スタックの使用は、細胞境界検出に限定されない。個別細胞を検出するための完全明視野アプローチは、細胞シード検出と境界検出とを組み合わせることによって可能である。ここで、われわれは、明視野画像からの完全自動化細胞検出のための一般フレームワークを提示することによってｚスタック・ベースの分析の原理を拡張し、定式化する。焦点が合っているフレーム上に表れる雑音、背景変動、異物、またはほこりなどの小さな粒子は、検出に影響を及ぼさない。

【0075】

明視野焦点画像スタックの構成および特性
まず、明視野画像のスタックをＩｚ（ｘ，ｙ）として定義しよう。ただし、ｚ∈１、．．．、Ｎは、焦点の上のフレームＩ１から始まり、焦点の下のＩＮで終わるフレームを定義し、ｘ，ｙは、ｎ×ｍ画像内の空間ピクセル座標である。試料を通して焦点を合わせることによって撮像されるスタックは、焦点を完全に外れているフレームを含むが、一部は焦点が合っているか、または部分的に焦点が合っていると言える。通常、明視野画像の分析では、焦点はずれフレームを完全に無視し、それによってスタック内のデータの大半を省く。おそらく、焦点スタックを利用するための最も一般的な方法は、いくつかのデータ駆動型発見的手法を用いて、焦点が合っているフレームを選択し、それのみを使ってその後の分析を行うことである。細胞集団の明視野画像スタックは、分析で利用可能ないくつかの特性を有する。焦点が合っているフレームに来る前に、細胞は、明るい、ぼやけた対象として見える（つまり、明るいスポットであるように見える）。最適な焦点レベルの方へ移動するにつれ、細胞の光量は急激に変化し、ほとんど透明になるが、細胞に焦点が合っているときには細部は見える。さらに、焦点が合っているフレームから離れるにつれ、細胞は再びぼやけてくるが、高い光量で見える代わりに、このときには細胞は低い光量を有する（つまり、暗いスポットのように見える）。

【0076】

われわれの提案しているフレームワークにおける重要な要素の１つは、画像スタックが２つに分けて処理されるという点である。これはフレームＮｌを、上半分（または上側の群）がフレームＩ１（ｘ，ｙ）．．．ＩＮｌ（ｘ，ｙ）からなり、その後下半分（または下側の群）がフレームＩＮｌ＋１（ｘ，ｙ）．．．ＩＮ（ｘ，ｙ）からなるように分割フレームとして定義することによる。したがって、フレームＮｌを定義することは、分析の残り部分にとって重要である。フレームＮｌは、例えば、スタックの真ん中でフレームを選択することによって選択されうるが、ただし、撮像は、ほぼ同じ数のフレームが焦点の上および下で撮られるようになされているものとする。フレームＮｌを選択するための他の選択肢は、J. M. Geusebroek、F. Cornelissen、A. W. Smeulders、およびH. Geerts、「Robust autofocusing in microscopy.」Cytometry、vol.39、no.1、1〜9頁、2000年1月、またはA. G. Valdecasas、D. Marshall、J. M. Becerra、およびJ. J. Terrero、「On the extended depth of focus algorithms for bright field microscopy.」Micron、vol.32、no.6、559〜569頁、2001年8月で説明されているように、当技術分野で知られているロバストなオートフォーカス法などの焦点が合っているフレームを決定するためのいくつかの発見的手法を使用することである。

【0077】

スタック視差に基づく検出
最初に、いわゆる視差ベースの細胞マーカ検出を定式化する。視差は、ｚスタックの異なるレベルを考えたときの細胞の異なる外観を指す。異なるレベルの細胞の外観における視差は、検出の基盤をなす。特に、焦点上の部分において明るい外観を有する細胞の特性、およびその一方で、焦点の下の暗い外観は、画像内の細胞の配置を特徴付けることが可能である。それに加えて、背景は、スタック全体を通して一般的に変化がないという事実は、視差ベースの検出を裏付けるもう１つの観察結果である。次に、図９で説明されているフレームワークを考えよう。演算ＯＰ１（ＯＰ１ＨとＯＰ１Ｌの両方）をｚ方向における中央値として設定することによって、スタックに基づき２つの投影を形成する。そこで、演算ＯＰ１Ｈは、
ＳＨ（ｘ；ｙ）＝ｍｅｄ｛Ｉ１（ｘ，ｙ），Ｉ２（ｘ，ｙ），．．．，ＩＮｌ（ｘ，ｙ）｝ 式（７）
のように定義され、この式は、ｚ寸法のピクセル毎の中央値であり、Ｎｌは、スタックを分割するフレームを定義する。同様に、ＯＰ１Ｌは、
ＳＬ（ｘ；ｙ）＝ｍｅｄ｛ＩＮｌ＋１（ｘ，ｙ），ＩＮｌ＋２（ｘ，ｙ），．．．，ＩＮ（ｘ，ｙ）｝ 式（８）
のように定義される。

【0078】

式７および式８からの出力は、いわゆるスタック記述子ＳＨおよびＳＬである。とりわけ、スタック内のすべてのフレームは、スタック記述子を構築するときに考えられる。全ｚスタックを利用することによって、異なる焦点レベルで出現する物体を検出することができる。フレームワークは、いっさい演算を制限しないことに留意されたい。例えば、中央値演算は、百分位の特別な場合として見なせ、ＯＰ１Ｈを第Ｐ百分位として、ＯＰ１Ｌを第１−Ｐ百分位として選択することによって、フレームワークの他の修正を行うことができる。さらに、中央値フィルタも、スタック・フィルタのファミリの特別な場合として見なせる(J. AstolaおよびP. Kuosmanen、Fundamentals of nonlinear digital filtering、CRC Press、1997年)。他の実施形態では、スタック・フィルタは、J. Yoo、E. Coyle、およびC. Bowman、「Dual stack filters and the modified difference of estimates approach to edge detection」IEEE Transactions on Image Processing、vol.6、1634〜1645頁、1997年で説明されているように中央値の代わりに検出を可能にするために適用することが可能である。

【0079】

次いで、演算ＯＰ２を使用してスタック記述子を比較する。ここで、ＯＰ２は、記述子のピクセル毎の差分として定義される。したがって、スタック記述子差分として称される、この結果は、
Ｄ（ｘ，ｙ）＝ＳＨ（ｘ，ｙ）−ＳＬ（ｘ，ｙ）
で定義される。

【0080】

明視野画像スタックの一般的特性−背景はむしろ変化せず、細胞は上半分において明るく、下半分において暗い−を思い出せば、この正反対の特性の差によって、細胞が強調され、背景が抑制される画像が形成されると仮定できる。その結果、細胞の検出は、演算ＯＰ３で差分画像Ｄを分割することによって実行されうる。ここで、自動化された方法で閾値ｔｍｅを決定するために、J. KittlerおよびJ. Illingworth、「Minimum error thresholding」、Pattern Recognition、vol.19、41〜47頁、1986年において説明されている最小誤差閾値化法を使用し、初期細胞検出は、
ＢＷ（ｘ，ｙ）＝１、Ｄ（ｘ；ｙ）＞ｔｍｅの場合、ＢＷ（ｘ，ｙ）＝０、それ以外の場合 式（９）
となる。しかし、原則として、蛍光標識された画像からの細胞核検出において適用可能な方法は、ここではＯＰ３としても使用可能である。

【0081】

最適な光量フレームに基づく検出
フレームワークの他の実現は、焦点が合っているレベルの前のスタック内の細胞の明るさが他の方法で利用されるときに得られる。このときに、最初の演算ＯＰ１Ｈは、単純に基準

【0082】

【数6】

によりスタック内のフレームのうちの１つのフレームＩ_ｊを選ぶが、ただし、ｚはスタック内のフレームを定義し（ｚ∈１，．．．，Ｎｌ）、ｐ_ｉｚは光量ヒストグラムから求めることができるフレームｚ内の光量ｉの確率であり、Ｌはスタック内の光量最大値であり、ｌはスタック内の光量の第Ｐ百分位（Ｐ∈［０，１］として与えられる）に対応する光量として定義される。この演算は、スタック光量における最上位１−Ｐランクに属する明るいピクセルの最高数を有するフレームを選ぶ。次に、Ｐを０．９９５に設定すると、最上位０．５％のピクセル値の大半を有するフレームが得られ、実際、このフレームは、細胞をぼけてはいるが、明るい物体として示している。視差法と異なり、このアプローチでは、さらなる分析のために、すべてのフレームに基づいてスタック記述子フレームを作成する代わりに、元のフレームの１つを使用する。ここで、ＯＰ１Ｌの詳細な定義を省略するが、これは、式１０においてスタックの上半分を下半分で置き換えることによって得られる。

【0083】

半分にわけたスタックの両方からの式１０の基準を最大化する最適な光量フレームを選択した後に、第２の演算ＯＰ２は、実現可能な焦点範囲から来るそれら２つからフレームを選択する（この場合、フレームは、明るいスポットとして見える細胞を有するべきであり、したがって、演算は焦点の上のスタックを発生元とするフレームを選ぶべきである）。これは、典型的には、細胞の明るい外観が最初の半分においてピークとなり、したがってＯＰ１によって選択された２つの最大値から、式１０で表される基準に対しより大きな値を持つものが正しいものであると仮定することによって実行されうる。同様に、スタック視差法のように、ここでもまた、核分割において典型的な多数の演算が適用可能である。比較のため、われわれは、前のように同じ最小誤差閾値化を適用する。

【0084】

焦点微分に基づく検出
フレームワークの第３の実現は、視差ベースの方法と同じ原理に依存する、つまり、焦点の上から焦点の下へ移動するときに、細胞領域は、通常、明るいスポットから暗いスポットに変わり、細胞境界の外側または近くにある領域はそれと反対の挙動を示し、背景はむしろ一定に留まる。そのため、導関数の方向を検出の基盤として使用することが可能である。ＯＰ１（ＯＰ１ＨおよびＯＰ１Ｌの両方に対する）を

【0085】

【数7】

として定義しよう。

【0086】

検出結果
これらの結果は、典型的な細胞画像分析事例において細胞検出フレームワークをどのように使用できるかの例となっている。さらに詳細に、われわれは、このフレームワークで、細胞が密集しているときに明視野画像スタックから細胞定量化をどのように行えるか、また明視野画像のみを使用して細胞検出を細胞追跡の基盤としてどのように使用できるかを示す。

【0087】

画像スタックからの細胞検出
蛍光標識されている細胞集団画像に対する典型的な分析パイプラインは、核が標識されているチャネルからの細胞検出（ときには一次物体検出と称される）で開始し、次いで、他の蛍光チャネルからの細胞境界検出（二次物体検出）へ進む。細胞外形検出は、明視野画像からも可能であるが、細胞核標識が行われないため、細胞が接近して配置されている場合に問題が生じる。ここで、フレームワークを核標識法の代替手段としてどのように使用できるかを示す。投影ベースの細胞外形検出と併せたこの方法は、蛍光標識法と同等の全細胞画像分析の問題を解決する。

【0088】

われわれは、４０倍の倍率で撮像された細胞の全部で１２個の明視野画像スタックからの細胞検出を試験した。検出精度は、正しく検出された細胞（真陽性、ｔｐ）、偽検出（偽陽性、ｆｐ）、および検出漏れ（偽陰性、ｆｎ）を観察することによって決定した。これらの数字を使って、検出精度を記述する一般に使用される計量、つまり、精度ｐ＝ｔｐ／（ｔｐ＋ｆｐ）、リコールｒ＝ｔｐ／（ｔｐ＋ｆｎ）、およびＦスコア＝２×精度×リコール＝（精度＋リコール）を計算した。これらの結果を、表３に示す。

【0089】

【表3】

【0090】

フレームワークによって生細胞監視が可能になる
ここで、提案されたフレームワークを使用することによってマクロファージ細胞追跡の一例を示す。試験のため１６時間にわたって５分間隔で撮像した、１９３個の画像スタックの集合を使用した。細胞検出は、「焦点微分に基づく検出」で説明されている演算とともに提案されているフレームワークを使用することによって行い、X. Chen、X. Zhou、およびS. Wong、「Automated segmentation, classification, and tracking of cancer cell nuclei in time-lapse microscopy」、IEEE Transactions on Biomedical Engineering、vol.53、no.4、762〜766頁、2006年の核追跡法を細胞の追跡に使用した。追跡結果は、図１８に示されている。

【0091】

提案されているフレームワークは、スタックを処理するために使用される操作を修正することによってさまざまな分析パイプライン内にカスタマイズできる。特に、これらの方法は、手動初期化、シード点または標識付けを必要とせず、これらは、細胞核標識法を細胞マーカとして使用するための潜在的代替手段として考えることができる。実際、核標識法の代替手段は、処理されたスタックからの細胞マスク分割に対し標準蛍光分析ソフトウェア（A. Carpenter、T. Jones、M. Lamprecht、C. Clarke、I. Kang、O. Friman、D. Guertin、J. Chang、R. Lindquist、J. Moffat、P. Golland、およびD. Sabatini、「CellProfiler: image analysis software for identifying and quantifying cell phenotypes.」Genome Riot、vol.7、no.10、R100頁、2006年）を使用することによって実証された。このフレームワークは、蛍光標識された画像の典型的な特性を共有するように明視野画像スタックを変換する。これの結果、適切な画像スタックが利用可能である限り、蛍光顕微鏡用に開発された多種多様な分析方法が、明視野画像に対し適用可能になった。また、フレームワークを使用しても、細胞構造および機能を細部をさらに調べるために蛍光標識法を使用する可能性がなくなるわけではないことに留意されたい。実際、このフレームワークを使用することで、細胞核および細胞体標識法に必要なチャネルを置き換えることによって特異的細胞区画を標識するための１つ乃至２つの追加の蛍光チャネルを使用することが可能になる。

【0092】

定義
例えば、特定の焦点状態で結果を記録することなど、撮像操作または画像取得からの結果を記録することは、本明細書では、記憶素子、機械可読記憶媒体、または記憶装置に出力データを書き込むことを意味すると理解され、またはそのように定義される。本発明で使用されうる機械可読記憶媒体は、磁気フロッピー（登録商標）・ディスクおよびハードディスクなどの電子、磁気、および／または光学記憶媒体、ＤＶＤドライブ、いくつかの実施形態ではＤＶＤディスク、ＣＤ−ＲＯＭディスク（つまり、読み出し専用光学記憶ディスク）、ＣＤ−Ｒディスク（つまり、１回だけ書き込むことができ、何回でも読み出せる光学記憶ディスク）、およびＣＤ−ＲＷディスク（つまり、書き換え可能光学記憶ディスク）のうちのどれかを使用できるＣＤドライブ、およびＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、コンパクト・フラッシュ・カード、ＰＣＭＣＩＡカード、あるいはＳＤまたはＳＤＩＯメモリなどの電子記憶媒体、および記憶媒体を収納し、記憶媒体との間で読み出しおよび／または書き込みを行う電子コンポーネント（例えば、フロッピー（登録商標）・ディスク・ドライブ、ＤＶＤドライブ、ＣＤ／ＣＤ−Ｒ／ＣＤ−ＲＷドライブ、またはコンパクト・フラッシュ／ＰＣＭＣＩＡ／ＳＤアダプタ）を含む。機械可読記憶媒体の技術分野において当業者に知られているように、データ記憶のための新しい媒体およびフォーマットは、絶えず考案されており、将来利用可能になる可能性のある使いやすい市販の記憶媒体および対応する読み出し／書き込みデバイスも、特に記憶容量の増大、アクセス速度の高速化、小型化、および格納される情報のビット当たりのコスト低減のいずれかが実現した場合に、使用するのに適切なものとなる可能性がある。穿孔紙テープまたは穿孔カード、磁気記録テープ、磁気ワイヤ、印刷文字（例えば、ＯＣＲおよび磁気符号化記号）ならびに１次元および２次元のバーコードなどの機械可読記号の光学的または磁気的読み取りなどの、よく知られている旧式の機械可読媒体も、特定の条件の下での使用に利用可能である。後で使用するため画像データを記録すること（例えば、画像をメモリまたはデジタル・メモリに書き込むこと）を実行して、記録されている情報を出力として、ユーザに対して表示するためのデータとして、または後から使用するために利用可能にすべきデータとして使用するようにできる。このようなデジタル・メモリ素子またはチップは、スタンドアロンのメモリ・デバイスであるか、または注目するデバイス内に組み込むことができる。「出力データを書き込むこと」または「画像をメモリに書き込むこと」は、本明細書では、変換されたデータをマイクロコンピュータ内のレジスタに書き込むことを含むものとして定義される。

【0093】

「マイクロコンピュータ」は、本明細書では、マイクロプロセッサ、マイクロコントローラ、およびデジタル・シグナル・プロセッサ（「ＤＳＰ」）と同義として定義される。例えば、「ファームウェア」としてコーディングされている撮像または画像処理アルゴリズムを格納する、マイクロコンピュータによって使用される記憶域は、マイクロコンピュータ・チップの物理的内部にあるメモリ内に配置されるか、またはマイクロコンピュータの外部のメモリに配置されるか、または内部メモリと外部メモリとの組み合わせのメモリ内に配置されうることは理解される。同様に、アナログ信号は、スタンドアロンのアナログ−デジタル・コンバータ（「ＡＤＣ」）あるいは１つまたは複数のＡＤＣによってデジタル化されうるか、または多重ＡＤＣチャネルをマイクロコンピュータ・パッケージ内に配置することができる。また、フィールド・プログラマブル・アレイ（「ＦＰＧＡ」）チップまたは特定用途向け集積回路（「ＡＳＩＣ」）チップは、ハードウェアの論理回路を使用して、またはマイクロコンピュータのソフトウェア・エミュレーションを使用して、またはこれら２つの組み合わせを使用してマイクロコンピュータ機能を実行できることも理解される。本明細書で説明されている本発明の特徴のどれかを有する装置は、全体が１つのマイクロコンピュータで動作可能であるか、または複数のマイクロコンピュータを備えることができる。

【0094】

本発明の説明に従って計装の制御、信号の記録、信号またはデータの分析を行うのに有用な汎用プログラム可能コンピュータは、パーソナル・コンピュータ（ＰＣ）、マイクロプロセッサ・ベースのコンピュータ、ポータブル・コンピュータ、または他の種類の処理デバイスのどれかとすることができる。汎用プログラム可能コンピュータは、典型的には、中央演算処理装置、機械可読記憶媒体を使用して情報およびプログラムの記録および読み出しを行うことができる記憶装置またはメモリ・ユニット、有線通信デバイスまたは無線通信デバイスなどの通信端末、ディスプレイ端末などの出力デバイス、およびキーボードなどの入力デバイスを備える。ディスプレイ端末は、タッチ・スクリーン・ディスプレイとすることができ、その場合、これは、表示デバイスと入力デバイスの両方の機能を持つことができる。マウスまたはジョイスティックといったポインティング・デバイスなどの異なる、および／または追加の入力デバイスが存在し、音発生装置、例えば、スピーカー、第２のディスプレイ、またはプリンタなどの異なる、または追加の出力デバイスが存在しうる。コンピュータは、例えば、いくつかのバージョンのＷｉｎｄｏｗｓ（登録商標）、ＭａｃＯＳ、またはＵＮＩＸ（登録商標）、またはＬｉｎｕｘのうちのどれか１つなどの、さまざまなオペレーティング・システムのうちのどれか１つの下で動作することができる。汎用コンピュータのオペレーションで得られた計算結果は、後で使用するために格納することができ、および／またはユーザに対して表示することができる。最低限でも、それぞれのマイクロプロセッサ・ベースの汎用コンピュータは、マイクロプロセッサ内のそれぞれの計算ステップの結果を格納するレジスタを有し、そこで、その結果は一般的に、後で使用するためにキャッシュ・メモリ内に格納される。

【0095】

電気および電子装置の多くの機能は、ハードウェア（例えば、配線論理回路）、ソフトウェア（例えば、汎用プロセッサ上で動作するプログラム内に符号化された論理回路）、およびファームウェア（例えば、必要に応じてプロセッサ上で動作させるために呼び出される不揮発性メモリ内に符号化された論理回路）で実装することができる。本発明は、ハードウェア、ファームウェア、およびソフトウェアの１つの実装を、ハードウェア、ファームウェア、およびソフトウェアの異なる実装を使用する同等の機能の他の実装の代わりに使用することを企図する。実装が伝達関数によって数学的に表現されうる、つまり、指定された応答が伝達関数を示す「ブラック・ボックス」の入力端に加えられる特定の励起に対して出力端に生成される範囲において、伝達関数の部分またはセグメントのハードウェア、ファームウェア、およびソフトウェア実装の任意の組み合わせを含む、伝達関数の任意の実装は、実装の少なくとも一部がハードウェアで実行される限り本明細書において企図される。

【0096】

理論的検討
本明細書で述べた理論の説明は、正しいものと考えられるけれども、本明細書で説明され、また特許請求の範囲に記載されているデバイスの動作は、理論の説明の正確さまたは有効性に依存しない。つまり、本明細書で提示されている理論と異なる基礎に基づき観察された結果を説明できる理論の発展が後であっても、本明細書で説明されている発明を損なうことはない。

【0097】

明細書に明記されている特許、特許出願、または公開は、参照により本明細書に組み込まれる。参照により本明細書に組み込まれると言われるが、本明細書において明示的に記載されている既存の定義、陳述、または他の開示資料と食い違う資料、またはその一部は、その組み込まれている資料と本発明の開示資料との間に食い違いが生じない範囲においてのみ組み込まれる。食い違いが生じた場合、その食い違いは、好ましい開示として本発明の開示に有利なように解決されるものとする。

【0098】

本発明は、図面に例示されているように好ましい様式を参照しつつ具体的に図示され、説明されているが、当業者であれば特許請求の範囲によって定められているとおりに本発明の精神および範囲から逸脱することなく細部のさまざまな変更を加えうることを理解するであろう。

【0099】

付録Ａ
ＭＡＴＬＡＢコード
function proj=projstack(stack)
% 3D画像スタックを2Dに投影するためのPROJSTACK法
%
% IN: スタック x*y*z行列、画像の3Dスタック
%
% このMatlab関数は、以下の論文の補足資料の
% 一部である。
%
% J. Selinummiら、「Bright field microscopy as an alternative to whole cell staining in % automated analysis of macrophage images」
%
% この関数の使用に際しては、著者らにきちんと謝意を表明するよう
% （著者らからの許諾に対する引用または要請）、
% 心よりお願いしたい。
%
% ウェブサイト: http://sites.google.com/site/brightfieldorstaining
%
%
% 著者： Jyrki Selinummi <[e-mail]>

stack=double(stack);


% MADは、ある程度の処理時間を必要とする唯一の投影であり、現在は
% forループを使用しただけで実装されている
% 必ずしもこの方法を必要としないのであれば、コメントアウトすると
% 処理が著しく高速化される
proj.mad=zeros(size(stack, l),size(stack,2));
proj.mad_mean=zeros(size(stack, l ),size(stack,2));
for iter=l:size(stack,1)
for iter2=1:size(stack,2)
proj.mad(iter,iter2)=mad(stack(iter,iter2,:),l );
proj.mad_mean(iter,iter2)=mad(stack(iter,iter2,:),0);
end
end
proj. mad=scale_image(proj.mad);
proj.mad_mean=scale_image(proj.mad_mean);


% IQR
proj.iqr=scale_image(iqr(stack,3));
% 平均投影
proj.mean=scale_image(mean(stack,3));
% STD投影
proj.std=scale_image(std(stack,0,3));
% COV投影
proj.cov=scale_image(std(stack,0,3)./mean(stack,3));
% スケーリングされたCOV投影
proj.cov_scaled=imadjust(std(stack,0,3)./mean(stack,3),[0.01 0.99]);


function out=scale_image(in)
% データを0から1までの間でスケーリングする
in=double(in);
in=in-min(in(:));
out=in/max(in(:));

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】