(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-17
(45)【発行日】2022-01-26
(54)【発明の名称】染色された標本画像内で細胞を検出するための自動化された方法およびシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220119BHJP
G01N 33/48 20060101ALI20220119BHJP
G01N 33/483 20060101ALI20220119BHJP
G01N 33/50 20060101ALI20220119BHJP
G01N 33/53 20060101ALI20220119BHJP
G06T 7/10 20170101ALI20220119BHJP
【FI】
G06T7/00 630
G01N33/48 P
G01N33/483 C
G01N33/50 P
G01N33/53 Y
G06T7/10
(21)【出願番号】P 2020505304
(86)(22)【出願日】2018-08-02
(86)【国際出願番号】 EP2018070923
(87)【国際公開番号】W WO2019025514
(87)【国際公開日】2019-02-07
【審査請求日】2020-06-16
(32)【優先日】2017-08-04
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507179346
【氏名又は名称】ベンタナ メディカル システムズ, インコーポレイテッド
(74)【代理人】
【識別番号】100118902
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100120112
【氏名又は名称】中西 基晴
(74)【代理人】
【識別番号】100119781
【氏名又は名称】中村 彰吾
(72)【発明者】
【氏名】ギュッター,クリストフ
(72)【発明者】
【氏名】グエン,キエン
(72)【発明者】
【氏名】ワーン,シウジョーン
【審査官】千葉 久博
(56)【参考文献】
【文献】特開2016-161417(JP,A)
【文献】特表2017-509871(JP,A)
【文献】特表2010-540906(JP,A)
【文献】国際公開第2016/104308(WO,A1)
【文献】橋本典明, 外3名,“マルチスペクトル画像を用いたH単染色標本からのディジタルH&E染色とその応用”,電子情報通信学会論文誌,日本,一般社団法人電子情報通信学会,2013年04月01日,第J96-D巻, 第4号,p.844-852
【文献】Harsha Bhat, 外3名,"A hybrid approach for nucleus stain separation in histopathological images",2017 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC),米国,IEEE,2017年07月15日,p.1218-1221
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G01N 33/48
G01N 33/483
G01N 33/50
G01N 33/53
G06T 7/10
(57)【特許請求の範囲】
【請求項1】
標本画像(210)内で核(nuclei)を検出するための方法であって、
前記標本画像(210)を、少なくとも、第1の情報チャネルおよび第2の情報チャネルへとデコンボリューションする(deconvolving)ステップと、
前記第1の情報チャネルに沿って、染料画像(230)を生成するステップと、
少なくとも一部の検出されない核を明らかにするために、前記染料画像の補数(complement)(234)を生成するステップ
であって、前記染料画像の補数(234)を生成するステップが、染料画像(230)の2進補数(binary complement)を生成することによって、前記染料画像(230)と比較して、前記染料画像の補数(234)において、より暗い領域がより明るくなり、より明るい領域がより暗くなる、ステップを含み、
前記第2の情報チャネルに沿って、対比(counter)染料画像(250)を生成するステ
ップと、
前記染料画像の前記補数(234)、および、前記対比染料画像(250)を組み合わせて、組み合わされた画像(272)を生成するステップと、
前記組み合わされた画像(272)内で前記核をセグメンテーションするステップと
を含む、方法。
【請求項2】
前記第1の情報チャネルは、第1のカラーチャネルを含む、請求項1に記載の方法。
【請求項3】
前記第1のカラーチャネルは、免疫組織化学(IHC)染料を表す、請求項2に記載の方法。
【請求項4】
前記第2の情報チャネルは、前記第1のカラーチャネルとは異なる第2のカラーチャネルを含む、請求項2または3に記載の方法。
【請求項5】
前記第2のカラーチャネルは、対比染料を表す、請求項4に記載の方法。
【請求項6】
前記染料画像の前記補数(234)を正規化して、前記染料画像の正規化された補数(262)を生成するステップと、
前記染料画像の前記正規化された補数(262)、および、前記対比染料画像(250)を組み合わせて、前記組み合わされた画像(272)を生成するステップと
をさらに含む、請求項1から5のいずれかに記載の方法。
【請求項7】
前記対比染料画像(250)を正規化して、正規化された対比染料画像(264)を生成するステップと、
前記染料画像の前記正規化された補数(262)、および、前記正規化された対比染料画像(264)を組み合わせて、前記組み合わされた画像(272)を生成するステップと
をさらに含む、請求項6に記載の方法。
【請求項8】
標本画像内で核を検出するための画像分析システム(100)であって、
前記標本画像を、少なくとも、第1の情報チャネルおよび第2の情報チャネルへとデコンボリューションするように構成され、以て、前記第1の情報チャネルに沿って、染料画像(230)を、および、前記第2の情報チャネルに沿って、対比染料画像(250)を生成するデコンボリューションモジュール(220)と、
少なくとも一部の検出されない核を明らかにするために、前記染料画像の補数(234)を生成するように構成される染料画像補数モジュール(232)
であって、前記染料画像の補数(234)を生成することが、染料画像(230)の2進補数を生成することによって、前記染料画像(230)と比較して、前記染料画像の補数(234)において、より暗い領域がより明るくなり、より明るい領域がより暗くなることを含み、
前記染料画像の前記補数(234)をセグメンテーションして、第1のセグメンテーションされた核画像(652)を生成するように構成されるセグメンテーションモジュール(275)であって、
前記対比染料画像をセグメンテーションして、第2のセグメンテーションされた核画像(650)を生成するようにさらに構成される、セグメンテーションモジュール(275
)と、
前記第1(652)および第2(650)のセグメンテーションされた核画像を組み合わせるように構成される画像オペレータモジュール(270)と
を備える、画像分析システム(100)。
【請求項9】
前記染料画像の前記補数(234)を正規化して、前記染料画像の正規化された補数(262)を生成するように構成される正規化モジュール(236)をさらに備え、
前記セグメンテーションモジュール(275)は、前記染料画像の前記正規化された補数(262)をセグメンテーションして、第1の正規化されたセグメンテーションされた核画像(652)を生成し、
前記画像オペレータモジュール(270)は、前記第1の正規化されたセグメンテーションされた核画像(652)、および、前記第2のセグメンテーションされた核画像(650)を組み合わせる、
請求項8に記載の画像分析システム。
【請求項10】
前記正規化モジュール(236)は、前記対比染料画像(250)を正規化して、正規化された対比染料画像(264)を生成するようにさらに構成され、
前記セグメンテーションモジュール(275)は、前記正規化された対比染料(264)画像をさらにセグメンテーションして、第2の正規化されたセグメンテーションされた核画像(650)を生成し、
前記画像オペレータモジュール(270)は、前記第1(652)および第2(650)の正規化されたセグメンテーションされた核画像を組み合わせる、
請求項9に記載の画像分析システム。
【請求項11】
画像分析システム(100)の1つまたは複数のプロセッサ(116)により実行されるとき、前記画像分析システムに、標本画像内で核を検出するための複数の動作を遂行させる命令を含む非一時的コンピュータ可読媒体(115)であって、前記動作は、
前記標本画像(210)を、少なくとも、第1の情報チャネルおよび第2の情報チャネルへとデコンボリューションすることと、
前記第1の情報チャネルに沿って、染料画像(230)を生成することと、
少なくとも一部の検出されない核を明らかにするために、前記染料画像の補数(234)を生成すること
であって、前記染料画像の補数(234)を生成することが、染料画像(230)の2進補数を生成することによって、前記染料画像(230)と比較して、前記染料画像の補数(234)において、より暗い領域がより明るくなり、より明るい領域がより暗くなることを含み、
前記第2の情報チャネルに沿って、対比染料画像(250)を生成することと、
前記染料画像の前記補数(234)、および、前記対比染料画像(250)を組み合わせて、組み合わされた画像(272)を生成することと、
前記組み合わされた画像(272)内で前記核をセグメンテーションすることと
を含む、非一時的コンピュータ可読媒体(115)。
【請求項12】
前記動作は、
前記染料画像の前記補数(234)を正規化して、前記染料画像の正規化された補数(262)を生成することと、
前記染料画像の前記正規化された補数(262)、および、前記対比染料画像(250)を組み合わせて、前記組み合わされた画像(272)を生成することと
をさらに含む、請求項11に記載の非一時的コンピュータ可読媒体。
【請求項13】
前記動作は、
前記対比染料画像(250)を正規化して、正規化された対比染料画像(264)を生成することと、
前記染料画像の前記正規化された補数(262)、および、前記正規化された対比染料画像(264)を組み合わせて、前記組み合わされた画像(272)を生成することと
をさらに含む、請求項12に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医用診断のためのデジタル画像処理方法およびシステムに関する。特に、本開示は、染色された標本画像内での、細胞の自動的な検出に関する。より詳しくは、本開示は、染色された標本画像内での、細胞の自動的な検出に関する。
【背景技術】
【0002】
組織切片、血液、細胞培養物、および同類のものなどの生物学的標本の分析において、生物学的標本は、スライド上に据え付けられ、染料およびバイオマーカの、1つまたは複数の組合せによって染色され、結果的に生じるアッセイが、さらなる分析のために視認またはイメージングされる。アッセイは、標本内のタンパク質、タンパク質断片、または他の標的に結合する抗体に接合される、フルオロフォアまたは色素原を内包する染料によって処置される、ヒト被験体からの組織切片などの生物学的標本を含み得る。アッセイを観察することは、疾病の診断、治療に対する応答の評価、および、疾病に立ち向かうための新しい薬物の開発を含む、種々のプロセスを可能にする。
【0003】
アッセイをスキャンすることを基に、カラーチャネルを含む画像データの複数個の情報チャネルが導出され、各々の観察されるチャネルは、複数個のシグナルの混合物を含む。アッセイ染色の最もよく目にする例の1つは、組織解剖情報を識別する助けとなる2つの染料を含むヘマトキシリン-エオシン(H&E)染色である。H染料は主に、全体的に青い色によって細胞核を染色し、一方でE染料は主に、細胞質の全体的に淡紅色の染料として作用する。特殊染色アッセイは、組織内の標的物質を、それらの物質の化学的性質、生物学的性質、または病理学的性質に基づいて識別し得る。
【0004】
免疫組織化学(IHC)アッセイは、本明細書において以降、関心の標的または対象と称される、標本内の関心のタンパク質、タンパク質断片、または他の構造に結合する抗体に接合される、1つまたは複数の染料を含む。標本内の標的を染料に結合する、抗体および他の化合物(または物質)は、本明細書においてバイオマーカと称される。
【0005】
H&Eまたは特殊染色アッセイに対しては、バイオマーカは、染料(例えば、ヘマトキシリン対比染料)との固定された関係性を有し、しかるに、IHCアッセイに対しては、染料の選定が、バイオマーカに対して、新しいアッセイを開発および創出するために使用され得る。生物学的標本は、イメージングの前にアッセイによって準備される。単一の光源、一連の複数個の光源、または、入力スペクトルの任意の他の源を組織に当てることを基に、アッセイは、観察者により、典型的には顕微鏡を通して評価され得るものであり、または、画像データが、さらなる処理のためにアッセイから獲得され得る。
【0006】
そのような獲得において、画像データの複数個の情報チャネル、例えばカラーチャネルが導出され、各々の観察されるチャネルは、複数個のシグナルの混合物を含む。この画像データの処理は、画像データの観察される1つまたは複数のチャネルから特定の染料の局所的濃度を決定するために使用される、さらにはスペクトルアンミキシング、色分離、などと称されるカラーデコンボリューションの方法を含み得る。自動化された方法により処理される、ディスプレイ上で描写される画像データに対して、または、観察者により視認されるアッセイに対して、染色された組織の局所的外観と、付与された染料およびバイオマーカとの間の関係が、染色された組織内のバイオマーカ分布のモデルを決定するために決定され得る。
【0007】
保健医療分野においてのデジタル画像分析においての重要な境域は、特定の細胞内の場所において関心の分析物に対する染色を識別および定量化する能力である。そのような分析を行うためのアルゴリズムが、現在実在する。例えば、HER2およびcMETの膜発現を検出するためのアルゴリズムが、現在知られている。これらのアルゴリズムは、核の周囲の局所的近隣に関して染色された膜を探索することを、膜領域を探索されることになる核の周囲の近隣を規定するためのあらかじめ規定されたしきい値を使用して行う核検出に依拠する。ゆえに、これらのアルゴリズムが、核を見つけ損なうならば、または、膜が、あらかじめ規定された近隣半径の外側にあるならば、それらの核の周囲の染色された膜は、検出されないことがある。加えて、アルゴリズムは、(細胞質染色など)他の染色区画との組合せの形の膜染色を内包する領域を無視することがある。かくして、これらの方法を使用する染色の定量化は、不完全である、または、正しくないことがある。
【0008】
核検出に対する複数個の手法が、当技術分野において提示されている。例示的な手法は、後に続く代表的な刊行物において説明される、対比染料画像チャネル(例えば、ヘマトキシリン)に関する、放射対称ベースの方法、または、分水嶺変換方法などの、検出(またはセグメンテーション)方法の適用を含む。
【0009】
・B. Parvinら、「Iterative voting for inference of structural saliency and characterization of subcellular events(構造的顕著性の推定および細胞内現象の特性評価のための反復投票)」、IEEE Transactions on Image Processing、第16巻、615~623頁、2007年。
【0010】
・J. M. Sharif、M. F. Miswan、M. A Ngadi、M. S. H. Salam、およびM. M. bin Abdul Jamil、「Red blood cell segmentation using masking and watershed algorithm:A preliminary study(マスキングと流域アルゴリズムを使用した赤血球セグメンテーション:予備的研究)」、Biomedical Engineering (ICoBE)、2012 International Conference、Penangにおいて、2012年、258~262頁。
【0011】
しかしながら、所定の細胞表面受容体は、膜染色(細胞表面受容体がリガンド受容体として機能することがある場合)、細胞質染色(細胞表面受容体が何らかの作動体機能を働かせることがある場合)、および核染色の両方を明示することがある。これらの事例の各々において、核の検出は、染色の色に、および、これらの染色の色が相互に排他的であるかどうかに依存し得る。結果として、対比染料画像チャネル(例えば、ヘマトキシリン)を応用することは、細胞膜が強く染色され、一方で対比染料が、存在するとしても非常にわずかである領域においては、通常失敗する。より具体的には、より濃い、茶色の色付けされた膜のDAB染料は、下方にある、より淡い、青の色付けされた核H染料を分かりにくくすることがある。かくして、従来の手法の信頼性は、異なる染色の色が互いと混ざり合い始めるにつれて低下し始める。
【0012】
その結果、本開示の出現より前は、従来の手法は、何人もの患者に対する効果的な治療の選択に対して、誤った予後(misprognosis)、および/または、逃される機会を結果的に生じさせることがあった。
【発明の概要】
【発明が解決しようとする課題】
【0013】
本開示は、中でも、混合された染色された標本画像内での、特に染料画像内での、細胞の自動的な検出のためのデジタル画像処理システムおよび方法を提供することにより、前述の懸念に対処する。より具体的には、本デジタル画像処理システムは、本開示の方法を実現するために、1つまたは複数のプロセッサによる実行のための、デジタルで符号化される非一時的コンピュータ可読命令を記憶するデジタル記憶媒体を含む。
【課題を解決するための手段】
【0014】
本開示は、例えば膜、細胞質、または点状パターンを含み得る、分析的に区別可能な染色パターンなどの、入力画像内で、および特に、組織化学的染料領域(または、関心の区域)内で、不十分に可視の核、および/または、淡く色付けされた核などの、検出されない、または検出不可能な核を明らかにするための方法を説明する。
【0015】
1つの実施形態において、入力画像が、別個に処理される、カラーチャネルなどの、2つの情報チャネルへのデコンボリューションのために、カラーデコンボリューションモジュールに給送される。カラーデコンボリューションモジュールは、入力画像から2つの別個の画像:染料画像および対比染料画像を生成する。この例示的な例解において、細胞検出エンジンが、染料画像内で、および、対比染料画像内で核を検出することを目指す。
【0016】
染料画像補数モジュールが、以前はマスクされた淡い色付けされた核を明確に検出するために、染料画像の2進補数を自動的に生成するように適合させられる。正規化モジュールが、染料画像の補数画像を正規化するように適合させられる。
【0017】
画像内で個別の細胞の場所を識別するためのコンピュータの自動化されたプロセスを含む細胞検出が、複数個の手立てで遂行され得る。本開示は、細胞検出を実現するための2つの例示的な代替的な実施形態を説明するが、他の実施形態が、それらの例示的な実施形態から導出され得るものであり、本開示により思索されるということが明確であるはずである。
【0018】
1つの実施形態によれば、正規化モジュールは、対比染色された細胞核画像を、正規化された対比染料画像へと正規化するように適合させられ得る。その後、画像オペレータモジュールが、組み合わされた正規化された画像を生成するために、染料画像の正規化された補数、および、正規化された対比染料画像を組み合わせ得る。セグメンテーションモジュールが、次いで、組み合わされた正規化された画像内で個々の細胞を自動的に抽出し得る。
【0019】
別の実施形態によれば、入力画像が、入力画像から2つの別個の画像:茶色(例えば、膜染色された組織)画像および青(例えば、対比染料)画像を生成するために、別個に処理される2つのカラーチャネルへのデコンボリューションのために、カラーデコンボリューションモジュールに給送される。染料画像補数モジュールが、染料画像の2進補数を自動的に生成するように適合させられる。セグメンテーションモジュールが、次いで、2進補数染料画像からすべての細胞を自動的に検出し得る。核セグメンテーションモジュールが、対比染料画像からすべての核(例えば、青画像チャネル内の青楕円)をセグメンテーションする。対象オペレータモジュールが、次いで、両方の画像からの細胞検出結果を最終的な細胞検出出力へと組み合わせる。
【0020】
本特許または出願ファイルは、カラーで作成された少なくとも1つの図面を内包する。カラー図面を伴う本特許または特許出願公報の写しは、米国特許商標庁により、申請および必要な料金の納付を基に提供されることになる。
【0021】
本開示の様々な特徴、および、それらの特徴を成し遂げる様式が、後に続く説明、特許請求の範囲、および図面を参照して、より詳細に説明されることになる。
【図面の簡単な説明】
【0022】
【
図1】本主題開示の例示的な実施形態による、染色された標本画像内で細胞の存在を自動的に検出するように、および、より詳細には、染料画像内で細胞を自動的に検出するように適合させられるコンピュータベースの細胞の検出システムを描写する図である。
【
図2】本主題開示の例示的な実施形態による、
図1の細胞の検出システムの部分を形成する細胞検出エンジンのブロック線図である。
【
図3】本主題開示の例示的な実施形態による、細胞検出エンジンにより生成される画像が正規化され、組み合わされ、次いでセグメンテーションされる、
図2の細胞検出エンジンにより実現される作業フローを描写する図である。
【
図4】本主題開示の例示的な実施形態による、
図2および3において示される、対比染料画像、および、膜染料画像の補数においての細胞の分布の概略的例解を描写する図である。
【
図5】本主題開示の例示的な代替的な実施形態による、
図1の細胞の検出システムの部分を形成する代替的な細胞検出エンジンのブロック線図である。
【
図6】本主題開示の例示的な実施形態による、細胞検出エンジンにより生成される画像が任意選択で正規化され、セグメンテーションされ、次いで組み合わされる、
図5の代替的な細胞検出エンジンにより実現される作業フローを描写する図である。
【
図7】本主題開示の例示的な実施形態による、
図5および6において示される、対比染料画像においての、および、膜染料画像の補数においての細胞の分布の概略的例解を描写する図である。
【
図8】本主題開示の例示的な実施形態による、細胞検出エンジンにより検出されることになる細胞を内包する、関心の2つの区別可能に染色された領域を含む、PDL1染色された標本画像の描出を描写する図である。
【
図9】本主題開示の例示的な実施形態による、
図3または
図6のいずれかにおいて示される細胞検出作業フローの実行から結果的に生じる、
図8のPDL1染色された標本画像の出力描出を描写する図である。
【
図10】対比染料ヘマトキシリン(青チャネル)に関して適用される、放射対称を使用する従来の細胞検出アルゴリズムの実行から結果的に生じる、
図8のPDL1染色された標本画像の出力描出を描写する図である。
【発明を実施するための形態】
【0023】
例解の単純さおよび明確さのために、参照番号は、対応する、または類似する特徴を指示するために、図の間で再使用され得るということが察知されるであろう。
別段に定義されない限り、本明細書において使用される技術的および科学的用語は、当業者により共通に理解されるのと同じ意味を有する。例えば、Lackie、DICTIONARY OF CELL AND MOLECULAR BIOLOGY(細胞および分子生物学辞典)、Elsevier(第4編 2007年);Sambrookら、MOLECULAR CLONING, A LABORATORY MANUAL(分子クローニング、実験マニュアル)、Cold Springs Harbor Press(Cold Springs Harbor、N.Y. 1989年)を確認されたい。
【0024】
分析的に区別可能な染色パターン:異なる生物学的意味を伝える、同じ分析物または分析物の群の、2つ以上の異なる空間的関係性。例えば、転写因子は、細胞質に(その事例において、それらの転写因子は、不活性である見込みが大きい)、または、核に(その事例において、それらの転写因子は、おそらくは活性化される)のいずれかで局在化され得る。かくして、「細胞質」染色パターンおよび「核」染色パターンは、分析的に区別可能である。同様に、所定の細胞表面受容体は、膜に局在化された、または、細胞質に局在化された様態を示す染色パターンを有し得る。受容体の、意義がある活性度は、どこに受容体が局在化されるかに依存して異なり得る。かくして、この例において、「膜」染色パターンは、「細胞質」染色パターンと分析的に区別可能である。しかしながら、他の事例において、個別の分析物の局在化は、重要でないことがある。例えば、受容体チロシンキナーゼのリン酸化シグナルの個別の局在化に対する免疫組織化学的アッセイは、おそらくは、分析的に意義があるものではないことになる。
【0025】
抗体:本明細書においての用語「抗体」は、最も広範な意味で使用され、所望される抗原結合活性を呈する限り、モノクローナル抗体、ポリクローナル抗体、多重特異性抗体(例えば、二重特異性抗体)、および抗体断片を含むが、それらに制限されない、様々な抗体構造を包含する。
【0026】
バイオマーカ:本明細書において使用される際、用語「バイオマーカ」は、生物学的試料、または、生物学的試料が取得される被験体を特性付けるために使用され得る、生物学的試料内で見出される任意の分子または分子の群を指すものとする。例えば、バイオマーカは、その存在、非存在、または相対的存在量が、
・個別の細胞または組織のタイプまたは状態に特有のものである、
・個別の病理学的症状または状態に特有のものである、あるいは、
・病理学的症状の重症度、病理学的症状の進行もしくは後退の見込み、および/または、病理学的症状が個別の治療に応答することになるということの見込みを指し示す、
分子または分子の群であり得る。
【0027】
別の例として、バイオマーカは、細胞タイプもしくは微生物(バクテリア、マイコバクテリア、真菌、ウイルス、および同類のものなど)、または、それらの置換成分分子もしくは分子の群であり得る。
【0028】
バイオマーカ特異試薬:一次抗体など、細胞の試料内の1つまたは複数のバイオマーカに直接的に、特異的に結合する能力がある特異検出試薬。
細胞検出:画像内に存在するすべての細胞に対して、画像内で個別の細胞の場所を識別するためのコンピュータの自動化されたプロセス。
【0029】
細胞の試料:本明細書において使用される際、用語「細胞の試料」は、病理学的、組織学的、または細胞学的解釈のためにとられる、細胞培養物、体液試料、または外科的標本など、無傷細胞を内包する任意の試料を指す。生物学的試料は、組織または細胞試料であり得る。組織または細胞試料の源は、新鮮な、凍結させられた、および/または保存された、器官または組織の試料採取または生検または吸引からのような固形組織;血液または任意の血液成分;脳脊髄液、羊水、腹水、または間質液などの体液;被験体の妊娠または発育においての任意の時間からの細胞であり得る。細胞の試料は、さらには、インビトロ組織または細胞培養物から取得され得る。細胞の試料は、保存剤、抗凝固剤、緩衝剤、固定剤、栄養素、抗生物質、または同類のものなどの、本来は細胞と自然に混合されない化合物を内包し得る。本明細書においての細胞の試料の例は、腫瘍生検、循環腫瘍細胞、漿液または血漿、腫瘍から派生させられる、または、腫瘍と同類の特質を呈する、初代細胞培養物または細胞株、および、ホルマリン固定、パラフィン包理腫瘍試料、または凍結させられた腫瘍試料などの保存された腫瘍試料を含むが、それらに制限されない。
【0030】
補数画像:2進画像の補数において、0は1になり、1は0になり、より濃い色(例えば、黒または茶色)、および、より淡い色(例えば、白または青)は反転させられる。結果として、補数画像において、より濃い区域はより淡くなり、より淡い区域はより濃くなる。
【0031】
コンピュータプログラム:さらにはプログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとして知られているが、コンパイラ型またはインタプリタ型言語、宣言型または手続き型言語を含む、任意の形式のプログラミング言語の形で書き表され得るものであり、そのコンピュータプログラムは、スタンドアローンプログラムとして、または、コンピューティング環境においての使用に適したモジュール、コンポーネント、サブルーチン、オブジェクト、もしくは他のユニットとしてということを含めて、任意の形式で展開され得る。コンピュータプログラムは、ファイルシステム内のファイルに対応することがあるが、そうする必要はない。プログラムは、他のプログラムもしくはデータ(例えば、マークアップ言語ドキュメントの形で格納される1つまたは複数のスクリプト)を保持するファイルの一部分内に、当該のプログラムに専用化された単一のファイル内に、または、複数個の協調させられるファイル(例えば、1つまたは複数の、モジュール、サブプログラム、または、コードの一部分を格納するファイル)内に格納され得る。コンピュータプログラムは、1つのコンピュータ上で、または、1つのサイトに配置される、もしくは、複数個のサイトにわたって分散させられ、通信ネットワークにより相互接続される、複数個のコンピュータ上で、実行されるように展開され得る。本明細書において説明されるプロセスおよび論理フローは、1つまたは複数のコンピュータプログラムを実行して、入力データに関して動作し、出力を生成することにより、アクションを遂行する、1つまたは複数のプログラマブルプロセッサにより遂行され得る。プロセスおよび論理フローは、さらには、特殊目的論理回路網、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)により遂行され得るものであり、装置は、さらには、その特殊目的論理回路網として実現され得る。コンピュータプログラムの実行に適したプロセッサは、例として、多目的および特殊目的の両方のマイクロプロセッサ、ならびに、任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般的には、プロセッサは、命令およびデータを、読み出し専用メモリまたはランダムアクセスメモリまたは両方から受信することになる。コンピュータの本質的な要素は、命令によってアクションを遂行するためのプロセッサ、ならびに、命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般的には、コンピュータは、さらには、データを記憶するための1つもしくは複数の大容量記憶デバイス、例えば、磁気、磁気光学ディスク、もしくは光学ディスクを含む、または、それらのデバイスからデータを受信する、もしくは、それらのデバイスにデータを転送する、もしくは、その両方のために動作可能に結合されることになる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。なおまた、コンピュータは、別のデバイス、例えば、ほんの数例を挙げると、移動電話、携帯情報端末(PDA)、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信器、またはポータブル記憶デバイス(例えば、ユニバーサルシリアルバス(USB)フラッシュドライブ)に埋め込まれ得る。コンピュータプログラム命令およびデータを記憶するのに適したデバイスは、例として、半導体メモリデバイス、例えばEPROM、EEPROM、およびフラッシュメモリデバイス;磁気ディスク、例えば内蔵ハードディスクまたはリムーバブルディスク;磁気光学ディスク;ならびに、CD-ROMおよびDVD-ROMディスクを含む、すべての形式の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路網により補完され得る、または、特殊目的論理回路網に組み込まれ得る。
【0032】
コンピューティングシステム:さらにはコンピュータと称されるが、任意の数のクライアントおよびサーバを含む。クライアントおよびサーバは、一般的には互いから遠隔にあり、典型的には通信ネットワークを通して対話する。クライアントおよびサーバの関係性は、それぞれのコンピュータ上で走り、互いに対するクライアント-サーバ関係性を有するコンピュータプログラムのおかげで生起する。一部の実施形態において、サーバは、データ(例えば、HTMLページ)をクライアントデバイスに(例えば、クライアントデバイスと対話するユーザにデータを表示すること、および、そのユーザからのユーザ入力を受信することの目的のために)送信する。クライアントデバイスにおいて生成されたデータ(例えば、ユーザ対話の結果)は、サーバにおいてクライアントデバイスから受信され得る。
【0033】
対比染料:染色された対象をよりたやすく検出可能にする、主たる染料と対照をなす色を伴う染料。例えば、H&E染料においての、ヘマトキシリンに対するエオシン対比染料。
【0034】
細胞質染色:細胞の細胞質領域の形態的特性をもつパターンの形で配置構成される画素の群。
マーカ:バイオマーカが、周辺の組織と、および/または、他のバイオマーカと差異化されることを可能とする、染料、色素、またはタグ。用語「バイオマーカ」は、個別の細胞タイプ、実例として免疫細胞の存在などの組織特徴、および、より詳細には、医学的症状を指し示す組織特徴の意味で理解され得る。バイオマーカは、組織特徴においての個別の分子、実例としてタンパク質の存在により識別可能であり得る。
【0035】
膜/細胞質領域:拡散した膜染色が、細胞質染色と混合される領域。
膜/点状領域:拡散した膜染色が、点状染色と混合される領域。
正規化された特徴メトリック:その値が正規化因子により調整されている特徴メトリック。
【0036】
対象セグメンテーション:関心の対象(例えば、細胞、腫瘍、または骨、その他)が、変動の背景、例えば光学的複雑性から分離される、対象隔離プロセス。従来の画像セグメンテーション技法は、3つのカテゴリーに大まかに分けられ得る。
【0037】
1.持続された強度の変化、すなわちエッジが(普通は離散導関数演算器によって)マークされる、エッジまたは輪郭ベースの手法。
2.画像が何らかの均質性判定基準によって区分される、直接的な領域セグメンテーション手法。
【0038】
3.明るい(または暗い)対象が、適切なしきい値の使用により背景から分離される、グレーレベルしきい値処理。
プロセッサ:例として、プログラマブルマイクロプロセッサ、コンピュータ、システム・オン・チップ、または、複数個のもの、または、前述のものの組合せを含む、データを処理するためのすべての種類の装置、デバイス、および機械を包含する。装置は、特殊目的論理回路網、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含み得る。装置は、さらには、ハードウェアに加えて、当該のコンピュータプログラムに対する実行環境を創出するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想機械、または、それらのうちの1つもしくは複数の組合せを組成するコードを含み得る。装置および実行環境は、ウェブサービス、分散コンピューティング、およびグリッドコンピューティングインフラストラクチャなどの、様々な異なるコンピューティングモデルインフラストラクチャを現実化することができる。
【0039】
点状染色:細胞の膜区域上で散乱する斑点/小点として現れる染色の強い局在化された強度を伴う画素の群。
試料:本明細書において使用される際、用語「試料」は、バイオマーカの存在または非存在についてテストされる可能性がある、対象または標的から取得される任意の材料を指すものとする。
【0040】
染料・染色:名詞として使用されるとき、用語「染料」は、明視野顕微鏡法、蛍光顕微鏡法、電子顕微鏡法、および同類のものを含む、顕微鏡分析に対する細胞の試料内の特定の分子または構造を視覚化するために使用され得る任意の物質を指すものとする。動詞として使用されるとき、用語「染色」は、細胞の試料上の染料の堆積を結果的に生じさせる任意のプロセスを指すものとする。
【0041】
被験体:名詞として使用されるとき、用語「被験体」または「個体」は哺乳類である。哺乳類は、飼い慣らされた動物(例えば、雌ウシ、ヒツジ、ネコ、イヌ、およびウマ)、霊長類(例えば、ヒト、および、サルなどの非ヒト霊長類)、ウサギ、および齧歯類(例えば、マウスおよびラット)を含むが、それらに制限されない。所定の実施形態において、個体または被験体はヒトである。
【0042】
テスト試料:試料が取得される時間において知られていないアウトカムを有する被験体から取得される腫瘍試料。
組織試料:本明細書において使用される際、用語「組織試料」は、細胞の間の、試料が取得された被験体の中にそれらの細胞が実在した際の横断的空間的関係性を保存する細胞の試料を指すものとする。「組織試料」は、一次組織試料(すなわち、被験体により生み出された細胞および組織)および異種移植片(すなわち、被験体内へと移植された外来性の細胞の試料)の両方を包含するものとする。
【0043】
組織標本:スライド上に据え付けられ得る、組織切片、血液、細胞培養物、および同類の生物学的試料などの、任意のタイプの生物学的標本を包含する。
ユーザインターフェイスデバイス:ユーザとの対話を可能なものにするディスプレイを含み、本明細書において説明される主題事項の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えばLCD(液晶ディスプレイ)、LED(発光ダイオード)ディスプレイ、またはOLED(有機発光ダイオード)ディスプレイと、キーボードおよびポインティングデバイス、例えばマウスまたはトラックボールとを有するコンピュータ上で実現され得るものであり、それらのキーボードおよびポインティングデバイスにより、ユーザは、コンピュータに入力を提供することができる。一部の実現形態において、タッチスクリーンが、情報を表示し、ユーザから入力を受信するために使用され得る。他の種類のデバイスが、同じようにしてユーザとの対話を可能なものにするために使用され得るものであり、例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック、例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバックの形であり得るものであり、ユーザからの入力は、音響、発話、または触覚入力を含む任意の形式で受信され得る。加えて、コンピュータは、ユーザにより使用されるデバイスにドキュメントを送出し、そのデバイスからドキュメントを受信することにより、例えば、ユーザのクライアントデバイス上のウェブブラウザに、ウェブブラウザから受信される要求に応答してウェブページを送出することにより、ユーザと対話することができる。本明細書において説明される主題事項の実施形態は、例えばデータサーバとしてのバックエンド構成要素を含む、または、ミドルウェア構成要素、例えばアプリケーションサーバを含む、あるいは、フロントエンド構成要素、例えば、それを通してユーザが、本明細書において説明される主題事項の実現形態と対話することができる、グラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータを、または、1つもしくは複数の、そのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組合せを含む、コンピューティングシステムの形で実現され得る。システムの構成要素は、任意の形式または媒体のデジタルデータ通信、例えば通信ネットワークにより相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、インターネットワーク(例えば、インターネット)、ならびにピアツーピアネットワーク(例えば、アドホックピアツーピアネットワーク)を含む。
【0044】
図1を参照すると、細胞の検出システム10が、本開示の例示的な実施形態によって提供される。細胞の検出システム10は、染色された標本画像内で細胞の存在を自動的に検出するように、および、より詳細には、より濃い色付けされた染料画像内で細胞を自動的に検出するように適合させられ得る。細胞の検出システム10は、一般的には、画像分析システム100と、画像獲得システム120とを含む。
【0045】
染色された生物学的試料の、1つまたは複数のデジタル画像は、画像獲得システム120により獲得される。本質的には、カラーデジタル画像を生成する能力がある任意の適したイメージング方法が使用され得る。例えば、染色された組織試料(組織標本、または、細胞の試料)のR、G、B入力カラー画像210(
図2)が、生成され、ローカルコンピュータ、ディスクドライブ、ソリッドステートドライブ、サーバマシン、または同類のものなどの記憶デバイス内に記憶され得る。
【0046】
画像分析システム100は、本明細書において説明される技法および動作を遂行する能力がある、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、サーバ、特定用途向けコンピューティングデバイス、または、任意の他のタイプの電子デバイスなどの、1つまたは複数のコンピューティングデバイスを含み得る。一部の実施形態において、画像分析システム100は、単一のデバイスとして実現され得る。他の実施形態において、画像分析システム100は、本明細書において説明される様々な機能性を一体で達成する、2つ以上のデバイスの組合せとして実現され得る。例えば、画像分析システム100は、インターネットまたはイントラネットなどの、1つまたは複数の、ローカルエリアネットワークおよび/またはワイドエリアネットワークを介して互いに通信可能に結合される、1つまたは複数のサーバコンピュータと、1つまたは複数のクライアントコンピュータとを含み得る。
【0047】
画像分析システム100は、メモリ115と、プロセッサ116と、ディスプレイ117とを含み得る。メモリ115は、ランダムアクセスメモリ(RAM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)などの読み出し専用メモリ、フラッシュメモリ、ハードドライブ、ソリッドステートドライブ、光学ディスク、および同類のものなどの、任意のタイプの揮発性または不揮発性メモリの任意の組合せを含み得る。メモリ115は、プロセッサ116が、より詳細に後で説明されることになるような本開示の作業フローを実行するための、非一時的コンピュータ可読命令を記憶し得る。簡潔さの目的のために、メモリ115は、単一のデバイスとして
図2において描写されるが、メモリ115は、さらには、2つ以上のデバイスにわたって分散させられ得るということが察知される。
【0048】
プロセッサ116は、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、特殊目的信号または画像プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、テンソル処理ユニット(TPU)等々のような、任意のタイプの1つまたは複数のプロセッサを含み得る。簡潔さの目的のために、プロセッサ116は、単一のデバイスとして
図2において描写されるが、プロセッサ116は、さらには、任意の数のデバイスにわたって分散させられ得るということが察知される。
【0049】
ディスプレイ117は、LCD、LED、OLED、TFT、プラズマ、その他などの、任意の適した技術を使用して実現され得る。一部の実現形態において、ディスプレイ117は、タッチセンシティブディスプレイ(タッチスクリーン)であり得る。
【0050】
画像分析システム100は、さらには、対象識別器110と、関心の領域(ROI)生成器111と、ユーザインターフェイスモジュール112と、細胞検出エンジン114とを含み得る。これらのモジュールは、スタンドアローンモジュールとして
図1において描写されるが、各々のモジュールは、代わりに、いくつかのサブモジュールとして実現され得るということ、および、一部の実施形態において、任意の2つ以上のモジュールが、単一のモジュールへと組み合わされ得るということが、当業者には明白であろう。さらにまた、一部の実施形態において、システム100は、簡潔さのために
図1において描写されない追加的なエンジンおよびモジュール(例えば、入力デバイス、ネットワーキングおよび通信モジュール、その他)を含み得る。さらにまた、一部の実施形態において、
図1において描写されるブロックの一部は、使用不可能にされ得る、または省略され得る。下記でより詳細に論考されることになるように、システム100の一部またはすべてのモジュールの機能性は、ハードウェア、ソフトウェア、ファームウェアの形で、または、それらの任意の組合せとして実現され得る。本明細書において開示されるようなモジュールを実現することにおいて有用な、例示的な市販で入手可能なソフトウェアパッケージは、VENTANA VIRTUOSO;Definiens TISSUE STUDIO、DEVELOPER XD、およびIMAGE MINER;ならびに、Visopharm BIOTOPIX、ONCOTOPIX、およびSTEREOTOPIXソフトウェアパッケージを含む。
【0051】
画像210を獲得する後、画像分析システム100は、画像210を対象識別器110に渡し得るものであり、その対象識別器110は、細胞検出のために後で使用されることになる、画像210の中の意義がある対象および他の特徴を、識別およびマークするように機能する。対象識別器110は、画像内の様々な対象、および、バイオマーカの発現を表す画素を特性付ける複数の画像特徴を、各々の画像210から抽出(または、その画像210に対して生成)し得る。抽出される画像特徴は、例えば、Haralick特徴、単語の袋(bag-of-words)特徴、および同類のものなどのテクスチャ特徴を含み得る。複数の画像特徴の値は、バイオマーカの発現を特性付ける、本明細書において以降「特徴ベクトル」と称される、高次元ベクトルへと組み合わされ得る。例えば、M個の特徴が、各々の対象および/または画素に対して抽出されるならば、各々の対象および/または画素は、M次元特徴ベクトルにより特性付けられ得る。対象識別器110の出力は、事実上、関心の対象および画素の位置をアノテートする、ならびに、それらの対象および画素を、対象または画素を記述する特徴ベクトルと関連付ける、画像のマップである。特徴ベクトルは例解の目的のために本明細書において説明されるということ、および、本開示はバイオマーカに制限されないということが理解されるべきである。
【0052】
個別のタイプの対象(膜、核、細胞、その他など)とのバイオマーカの関連を基盤としてスコアリングされるバイオマーカに対して、対象識別器110により抽出される特徴は、関心のバイオマーカ陽性対象(
図8において赤矢印の矢印810により示されるような)、もしくは、関心のバイオマーカ陰性対象(
図8において青矢印の矢印820により示されるような)として、および/または、対象のバイオマーカ染色のレベルもしくは強度により、試料内の対象をカテゴリー化するのに十分な特徴または特徴ベクトルを含み得る。バイオマーカが、それを発現している対象タイプに依存して異なって重み付けされ得る事例において(腫瘍細胞発現、免疫細胞発現、または両方を基盤としてスコアリングされ得る、PD-L1、PD-L2、およびIDOなどの免疫チェックポイントバイオマーカなど)、対象識別器110により抽出される特徴は、バイオマーカ陽性画素と関連付けられる対象のタイプを決定することに対して意義がある特徴を含み得る。かくして、対象は、次いで、少なくとも、バイオマーカ発現(例えば、バイオマーカ陽性またはバイオマーカ陰性細胞)、および、意義があるならば、対象のサブタイプ(例えば、腫瘍細胞、免疫細胞、その他)を基盤としてカテゴリー化され得る。バイオマーカ発現の程度が、対象との関連に関係なくスコアリングされる事例において、対象識別器110により抽出される特徴は、例えば、バイオマーカ陽性画素の場所および/または強度を含み得る。
【0053】
画像分析システム100は、さらには、画像をROI生成器111に渡し得る。ROI生成器111は、画像210の関心の領域、ROI、または複数のROIを識別するために使用され得るものであり、それらのROIから、免疫コンテキストスコアが算出され得る。対象識別器110が全体画像に適用されない事例において、ROI生成器111により生成される1つまたは複数のROIは、さらには、対象識別器110が実行される画像のサブセットを規定するために使用され得る。1つの実施形態において、ROI生成器111は、ユーザインターフェイスモジュール112を通してアクセスされ得る。バイオマーカ染色された試料(または、バイオマーカ染色された試料の形態的に染色された連続切片)の画像が、ユーザインターフェイスモジュール112のグラフィックユーザインターフェイス上で表示され、ユーザは、画像内の1つまたは複数の領域を、考慮されるROIであるようにアノテートする。ROIアノテーションは、この例においていくつかの形式をとることができる。例えば、ユーザは、手作業でROIを規定し得る(本明細書で以降、「自由形式ROIアノテーション」と称される)。
【0054】
他の例において、ROI生成器111は、ROIをアノテートすることにおいてユーザを支援し得る。例えば、ユーザは、画像内のエッジ(例えば、腫瘍の浸潤周縁部の先端エッジ、または、腫瘍芯から腫瘍の浸潤領域への遷移を表象するエッジなど)をアノテートし得るものであり、ROI生成器111は、ユーザ規定されたエッジに基づいてROIを自動的に規定し得る。例えば、ユーザは、ユーザインターフェイスモジュール112において浸潤周縁部の先端エッジをアノテートし得るものであり、ROI生成器111は、例えば、エッジのあらかじめ規定された距離の中の、または、エッジの一方の側のあらかじめ規定された距離の中の、すべての対象を包囲するROIを描画することにより、ガイドとしてエッジを使用してROIを創出する。一部の事例において、ユーザは、ROIを拡大すること、ROIの領域、または、ROIの中の対象を分析から除外されるようにアノテートすること、その他によってなどで、ROI生成器111によりアノテートされたROIを修正する選択肢を与えられ得る。他の実施形態において、ROI生成器111は、ユーザからの何らの直接的な入力もなしに(例えば、標本セグメンテーション機能を、アノテートされない画像に適用することにより)ROIを自動的に提案し得るものであり、そのROIをユーザは、次いで、受け入れる、拒絶する、または、適切なように編集することに決めることができる。一部の実施形態において、ROI生成器111は、さらには、位置合わせ機能を含み得るものであり、その機能により、連続切片のセットの1つの切片においてアノテートされたROIが、連続切片のセットの他の切片に自動的に転写される。この機能性は、とりわけ、分析されている複数個のバイオマーカが存するとき、または、H&E染色された連続切片が、バイオマーカラベリングされた切片とともに提供されるときに有用である。
【0055】
対象識別器110およびROI生成器111の両方が実現された後、細胞検出エンジン114が、より詳細に後で説明されることになるように実現される。
一部の実施形態において、画像分析システム100は、画像獲得システム120に通信可能に結合され得る。画像獲得システム120は、生物学的標本の画像を取得し、分析およびユーザへの提示のために、画像分析システム100にそれらの画像210を提供し得る。
【0056】
画像獲得システム120は、例えばスライドスキャナを含む、染色されたスライドを20x、40x、または他の倍率でスキャンして、高分解能全体スライドデジタル画像を生み出すことができる、スライドスキャナなどのスキャニングプラットフォーム125を含み得る。基本的なレベルにおいて、典型的なスライドスキャナは、少なくとも、(1)レンズ、対物レンズを伴う顕微鏡と、(2)光源(色素に依存して、ハロゲン、発光ダイオード、白色光、および/またはマルチスペクトル光源など)と、(3)ガラススライドを至るところに動かすための(または、光学機器をスライドの周囲で動かすための)ロボティクスと、(4)画像捕捉のための1つまたは複数のデジタルカメラと、(5)ロボティクスを制御するための、ならびに、デジタルスライドを操作、管理、および視認するための、コンピュータおよび関連付けられるソフトウェアとを含む。スライド上のいくつかの異なるX-Y場所においての(および、一部の事例において、複数個のZ平面においての)デジタルデータが、カメラの電荷結合デバイス(CCD)により捕捉され、画像が、完全なスキャンされた表面の合成画像を形成するために、一体に連結される。後に続くものは、このタスクを果たすための例示的な方法である。
【0057】
(1)スライドステージまたは光学機器が、近接する正方形とわずかな度合重なる正方形画像フレームを捕捉するために、非常に小さい増分で動かされる、タイルベースのスキャニング。捕捉された正方形は、次いで、合成画像を作り上げるために、互いに対して自動的にマッチングされる。および、
(2)スライドステージが、いくつかの合成画像「ストリップ」を捕捉するために、獲得の間、単一の軸において動く、ラインベースのスキャニング。画像ストリップは、次いで、より大きい合成画像を形成するために、互いとマッチングされ得る。
【0058】
スキャニングプラットフォーム125により生成された画像は、画像分析システム100に、または、画像分析システム100によりアクセス可能なサーバもしくはデータベースに転送され得る。一部の実施形態において、画像は、1つまたは複数の、ローカルエリアネットワークおよび/またはワイドエリアネットワークを介して自動的に転送され得る。一部の実施形態において、画像分析システム100は、スキャニングプラットフォーム125、および/もしくは、画像獲得システム120の他のモジュールと統合され得る、または、それらに含まれ得るものであり、その事例において、画像は、例えば、プラットフォーム125およびシステム120の両方によりアクセス可能なメモリを通して、画像分析システムに転送され得る。
【0059】
一部の実施形態において、画像獲得システム120は、画像分析システム100に通信可能に結合されないことがあり、その事例において、画像は、任意のタイプの不揮発性記憶媒体(例えば、フラッシュドライブ)上に記憶され、媒体から、画像分析システム100に、または、その画像分析システム100に通信可能に結合されるサーバもしくはデータベースにダウンロードされ得る。上記の例の任意のものにおいて、画像分析システム100は、生物学的試料の画像を取得し得るものであり、その場合、試料は、スライドに貼り付けられ、組織化学的染色プラットフォーム123により染色されていることがあり、スライドは、スライドスキャナ、または、別のタイプのスキャニングプラットフォーム125によりスキャニングされていることがある。しかしながら、他の実施形態において、下記で説明される技法が、さらには、他の手段によって獲得および/または染色された生物学的試料の画像に適用され得るということが察知される。
【0060】
細胞の検出システム10は、さらには、自動化されたIHC/ISHスライド染色器などの自動化された組織化学的染色プラットフォーム123と、H&E染色プラットフォーム124とを含み得る。
【0061】
図2、3、および4をさらに参照すると、
図2は、画像分析システム100の部分を形成する細胞検出エンジン114を例解する。
図3は、細胞検出エンジン114により実現される作業フロー300を例解し、細胞検出(またはセグメンテーション)は、画像が、デコンボリューションされ(畳み込みを解かれ)、個々に補数処理され、任意選択で正規化され、次いで再度組み合わされた後に遂行される。
図4は、作業フロー300により実現されるような細胞の分布の例示的な概略的例解を描写する。
【0062】
この個別の例解において、および、
図8をさらに参照すると、入力画像210は、少なくとも2つの区別可能に染色された関心の領域(または、関心の領域の群)ROIを含む、PDL1染色された標本画像である。第1のROIは、陽性領域を含み、赤矢印810により示され、第2のROIは、陰性領域を含み、青矢印820により示され、核は、両方のROI810、820内で検出されることを必要とする。
【0063】
この目的のために、ROI810は、酵素が結合をされる場合はいつも、茶色、紫、または任意の他の相対的に濃い色など、濃い(または、より濃い)色付けされた染色を生み出す、3,3’-ジアミノベンジジン(DAB)により細胞膜が染色される、例示的な標本画像を表す。加えて、DABとの反応は、深紫/黒染色を生み出すために、ニッケルを使用して強化され得る。濃色染色を含む様々な要因が、下方にある、より淡い色付けされた染色された核をマスクし、それらの核を検出不可能にし得る。ROI820は、細胞核がヘマトキシリンにより対比染色されていることがある、標本画像を表す。
【0064】
図10は、例えば放射対称アルゴリズムを使用する、青カラーチャネルに着目するのみである細胞検出アルゴリズムの実行から結果的に生じる、入力画像210の描出1000を表す。この従来の方法から結果的に生じる出力画像1000は、入力画像210と比べて所定の改善を示すが、それでもなお、特に、DAB、強い(または濃い)膜染色領域810が、下方にある、および、それでもなおマスクされる、より淡い色付けされた核を、それでもなお明確に写し出さないという、追加的な改善に対する余地が存する。
【0065】
本開示は、入力画像210内で、および特に、DAB領域810内で、マスクされる核を明らかにするための方法を説明する。この目的のために、入力画像210が、組み合わされる前に別個に処理される2つのカラーチャネルへのデコンボリューションのために、カラーデコンボリューション(またはカラーアンミキシング)モジュール220に給送される。カラーデコンボリューションモジュール220は、入力画像210から2つの別個の画像:染料画像230および対比染料画像250を生成する。この例示的な例解において、細胞検出エンジン114が、主に、染料画像230内で、および、対比染料画像250内で核を検出することを目指す。
【0066】
カラーデコンボリューションモジュール220により生成された画像が、次いで、前景および背景への、単純な、または精巧化されたセグメンテーションの手段により、2進画像へと個々に変換される。例えば、この例示的な例解において、前景は、茶色DAB染料により覆われる画像内のすべての区域からなる。染料画像補数モジュール232が、染料画像230の2進補数234を自動的に生成するように適合させられる。2進画像の補数において、0は1になり、1は0になり、色の反転につながる。結果として、補数画像234は、以前はマスクされた淡い色付けされた核を明確に反映する。
【0067】
正規化モジュール260(
図2)が、正規化された補数262(
図3、4)を生成するために、染料画像230の補数画像234を正規化するように適合させられる。一部の実施形態において、正規化された特徴メトリックは、総メトリックであり得る。他の実施形態において、正規化された特徴メトリックは、ROIの複数の制御領域に対する正規化された特徴メトリックの平均または中央値であり得る。
【0068】
正規化モジュール236が、任意選択で、膜染料画像230の正規化された補数262を生成するために、補数画像234に関して実現され得る。別の(または、同じ)正規化モジュール260が、任意選択で、対比染色された細胞核画像250を、正規化された対比染料画像264へと正規化し得る。その後、画像オペレータモジュール270(
図2)が、組み合わされた正規化された画像272を生成するために、染料画像230の正規化された補数262、および、対比染料画像の正規化された2進画像264を組み合わせるように適合させられる。細胞検出エンジン114のセグメンテーションモジュール275(
図2)が、次いで、組み合わされた正規化された画像272の中で核を検出し、組み合わされた検出された細胞画像280(
図2、3、4、9)を出力する。
図9の出力画像280、および、従来技術の出力画像1000の比較は、本開示が、特にDABマッピングされた画像810において、優良な核検出方法を提供するということを明確にする。
【0069】
ここで
図5、6、および7を考察すると、
図5は、画像分析システム100の部分を形成する細胞検出エンジン500を例解する。
図6は、後に続くように、細胞検出エンジン500により実現される作業フロー600を例解するものであり、入力画像210が、2つの別個のチャネル:膜染料画像230を生成し得る茶色チャネル、および、対比染料画像250を生成し得る青チャネルにデコンボリューションされ得る。染料画像補数モジュール232が、補数膜染料画像(茶色)234を生成し得る。
【0070】
正規化モジュール236が、任意選択で、膜染料画像230の正規化された補数262を生成するために、補数画像234に関して実現され得る。別の正規化モジュール260(または、同じ正規化モジュール236)が、任意選択で、対比染色された細胞核画像250を、正規化された対比染料画像264へと正規化し得る。
【0071】
その後、セグメンテーションモジュール275が、正規化された補数膜染料画像262をセグメンテーションし、その画像から、セグメンテーションされた核画像652を生成し得るものであり、そのことによって、茶色染料画像230内の核が検出される。同時的に、別のセグメンテーションモジュール277(または、同じセグメンテーションモジュール275)が、正規化された対比染料画像(青)264をセグメンテーションし、その画像から、セグメンテーションされた核画像650を生成し得るものであり、そのことによって、青対比染料画像250内の核が検出される。画像オペレータモジュール270が、次いで、2つのセグメンテーションされた核画像650、652を、最終的な検出結果画像280(
図5、6、7、9)へと組み合わせ得る。
【0072】
本明細書において説明されるフローチャートの各々において、方法のうちの1つまたは複数は、コンピュータ可読コードを内包するコンピュータ可読媒体の形で実施され得るものであり、そのことによって、一連のステップは、コンピュータ可読コードがコンピューティングデバイス上で実行されるときに遂行される。一部の実現形態において、方法の所定のステップは、本発明の趣旨および範囲から外れることなく、組み合わされる、同時に、もしくは異なる順序で遂行される、または、ことによると省略される。かくして、方法ステップは、個別のシーケンスで説明および例解されるが、ステップの特定のシーケンスの使用は、本発明に関して何らかの制限を含意することの意味をもたされるものではない。変更が、本発明の趣旨または範囲から逸脱することなく、ステップのシーケンスに関して為され得る。個別のシーケンスの使用は、それゆえに、制限的な意味で解されるべきではなく、本発明の範囲は、添付される特許請求の範囲によってのみで定義される。
【0073】
当業者により察知されるであろうが、本発明の態様は、システム、方法、またはコンピュータプログラム製品として実施され得る。よって、本発明の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態(ファームウェア、常駐ソフトウェア、マイクロコード、その他を含む)、または、ソフトウェアおよびハードウェア態様を組み合わせる実施形態の形式をとり得るものであり、それらの実施形態は、すべて一般的に、本明細書において「回路」、「モジュール」、または「システム」と称され得る。さらにまた、本発明の態様は、そこにおいて実施されるコンピュータ可読プログラムコードを有する1つまたは複数のコンピュータ可読媒体の形で実施されるコンピュータプログラム製品の形式をとり得る。
【0074】
さらに察知されるであろうが、本発明の実施形態においてのプロセスは、ソフトウェア、ファームウェア、またはハードウェアの任意の組合せを使用して実現され得る。ソフトウェアの形で本発明を実践することに対する予備的ステップとして、プログラミングコード(ソフトウェアであろうとファームウェアであろうと)は、典型的には、例えば、電子、磁気、光学、電磁、赤外、もしくは半導体の、システム、装置、もしくはデバイス、または、前述のものの任意の適した組合せの、ただしそれらに制限されない、1つまたは複数のコンピュータ可読記憶媒体内に記憶されることになる。コンピュータ可読記憶媒体のより具体的な例(非網羅的な列挙)は、後に続くもの:1つもしくは複数の電線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMまたはフラッシュメモリ)、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または、前述のものの任意の適した組合せを含むことになる。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる、または、それらと接続しての使用のためのプログラムを、内包または記憶することができる、任意の有形媒体であり得る。
【0075】
プログラミングコードを内包する製造品は、記憶デバイスから直接的にコードを実行することによって、記憶デバイスからハードディスク、RAM、その他などの別の記憶デバイス内へとコードをコピーすることによって、または、デジタルおよびアナログ通信リンクなどの伝送タイプ媒体を使用して遠隔実行のためのコードを伝送することによってのいずれかで使用される。本発明の方法は、本発明によるコードを内包する1つまたは複数の機械可読記憶デバイスを、適切な処理ハードウェアと組み合わせて、それらのデバイスに内包されるコードを実行することにより実践され得る。本発明を実践するための装置は、本発明によってコード化されたプログラムを内包する、または、それらのプログラムへのネットワークアクセスを有する、1つまたは複数の処理デバイスおよび記憶システムであり得る。
【0076】
コンピュータ可読信号媒体は、例えばベースバンド内で、または、搬送波の部分として、中で実施されるコンピュータ可読プログラムコードを伴う、伝搬させられるデータ信号を含み得る。そのような伝搬させられる信号は、電磁、光学、または、それらの任意の適した組合せを含むが、それらに制限されない、種々の形式の任意のものをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない、および、命令実行システム、装置、もしくはデバイスによる、または、それらと接続しての使用のためのプログラムを、伝達する、伝搬させる、または移送することができる、任意のコンピュータ可読媒体であり得る。
【0077】
コンピュータ可読媒体上で実施されるプログラムコードは、ワイヤレス、ワイヤライン、光学ファイバケーブル、R.F、その他、または、前述のものの任意の適した組合せを含むが、それらに制限されない、任意の適切な媒体を使用して伝送され得る。本発明の態様のための動作を履行するためのコンピュータプログラムコードは、Java(登録商標)、Smalltalk、C++、または同類のものなどのオブジェクト指向プログラミング言語、および、「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、1つまたは複数のプログラミング言語の任意の組合せの形で書き表され得る。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアローンソフトウェアパッケージとして、部分的にユーザのコンピュータ上、および、部分的にリモートコンピュータ上で、または、完全にリモートコンピュータもしくはサーバ上で実行し得る。後の方のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク(LAN)もしくはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを通してユーザのコンピュータに接続され得るものであり、または、接続は、外部コンピュータに対して(例えば、インターネットサービスプロバイダを使用してインターネットを通して)為され得る。
【0078】
かくして、本発明の例解的な実施形態は、インストールされる(または実行される)ソフトウェアを伴う、十二分に機能的なコンピュータ(サーバ)システムの文脈において説明されるが、当業者は、本発明の例解的な実施形態のソフトウェア態様が、種々の形式でのプログラム製品として配布される能力があるということ、および、本発明の例解的な実施形態が、配布を実際に履行するために使用される媒体の個別のタイプに関係なく、等しく適用されるということを察知するであろうということは重要である。
【0079】
加えて、本発明は、例示的な実施形態を参照して説明されたが、本発明の範囲から逸脱することなく、様々な変更が為され得るものであり、均等物が、それらの実施形態の要素に対して代用され得るということが、当業者により理解されるであろう。さらにまた、多くの変更が、本発明の本質的な範囲から逸脱することなく、個別のシステム、デバイス、または、それらの構成要素を、本発明の教示に適合させるために為され得る。それゆえに、本発明は、本発明を履行するために開示される個別の実施形態に制限されないということ、ただし、本発明は、添付される特許請求の範囲の、範囲の中に該当するすべての実施形態を含むことになるということが意図される。
【0080】
本明細書において使用される際、単数形「a」、「an」、および「the」は、文脈が別段に明確に指示しない限り、複数形もまた含むことを意図される。用語「備える・含む(3人称単数現在形)」および/または「備える・含む(現在分詞)」は、本明細書において使用されるとき、説述される特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の、他の特徴、整数、ステップ、動作、要素、構成要素、および/または、それらの群の、存在または追加を排除しないということが、さらに理解されるであろう。なおまた、用語、第1の、第2の、その他の使用は、何らかの順序または重要性を表象するものではなく、むしろ、用語、第1の、第2の、その他は、1つの要素を別のものと区別するために使用される。加えて、「a」、「b」、「c」、「第1の」、「第2の」、および「第3の」などの列挙する用語は、説明の目的のために、本明細書において、および、添付される特許請求の範囲において使用されるものであり、相対的な重要性または有意性を、指示または含意することは意図されない。
【0081】
下記の特許請求の範囲においての、対応する構造、材料、行為、および、すべてのミーンズまたはステッププラスファンクション要素の均等物は、具体的に請求されるように、他の請求される要素と組み合わせて機能を遂行するための任意の構造、材料、または行為を含むことを意図される。本発明の説明は、例解および説明の目的のために提示されたが、網羅的であること、または、開示される形式での本発明に制限されることは意図されない。多くの変更および変形が、本発明の範囲および趣旨から逸脱することなく、当業者には明白であろう。実施形態は、本発明の原理および実践的な用途を最も良好に解説するために、ならびに、他の当業者が、思索される個別の使用に適するような様々な変更を伴う様々な実施形態のために本発明を理解することを可能にするために、選定および説明されたものである。