特許 7080976 関心の細胞タイプに対する選択的染料セグメンテーション画像を生成するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-27

(45)【発行日】2022-06-06

(54)【発明の名称】関心の細胞タイプに対する選択的染料セグメンテーション画像を生成するためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220530BHJP

   G06T 1/00 20060101ALI20220530BHJP

   G06T 7/11 20170101ALI20220530BHJP

【ＦＩ】

G06T7/00 630

G06T1/00 295

G06T7/11

【請求項の数】 11

(21)【出願番号】P 2020533818

(86)(22)【出願日】2018-12-20

(65)【公表番号】

(43)【公表日】2021-03-11

(86)【国際出願番号】 EP2018086040

(87)【国際公開番号】W WO2019122047

(87)【国際公開日】2019-06-27

【審査請求日】2020-08-11

(31)【優先権主張番号】62/609,748

(32)【優先日】2017-12-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100120112

【氏名又は名称】中西 基晴

(74)【代理人】

【識別番号】100119781

【弁理士】

【氏名又は名称】中村 彰吾

(72)【発明者】

【氏名】ギュッター，クリストフ

(72)【発明者】

【氏名】グエン，キエン

【審査官】藤原 敬利

(56)【参考文献】

【文献】特表２０１７－５０９８７１（ＪＰ，Ａ）

【文献】特表２０１７－５１６９９２（ＪＰ，Ａ）

【文献】特表２０１６－５１７１１５（ＪＰ，Ａ）

【文献】Elisa Ficarra, Santa Di Cataldo,Andrea Acquaviva, Enrico Macii，Automated Segmentation of Cells With IHC Membrane Staining，IEEE Transactions on Biomedical Engineering，Vol.58,No.5，米国，IEEE，2011年01月17日，pp.1421 - 1429，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=arnumber=5688443

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ９／４０

Ｇ０１Ｎ ３３／４８－３３／９８

(57)【特許請求の範囲】

【請求項1】

染色された組織画像（２１０）の中で、関心の少なくとも１つの細胞タイプに対する選択的染料セグメンテーション画像（３８０）を生成する方法であって、
前記組織画像内で細胞（５５１、５５２）を検出し、対応する膜マスク画像（２７１）を生成するステップと、
前記組織画像内で検出された前記細胞を分類し、前記細胞の分類された細胞画像（２８３）を生成するステップと、
前記膜マスク画像（２７１）、および、前記細胞の前記分類された細胞画像（２８３）に基づいて、関心の前記少なくとも１つの細胞タイプに対する選択的染料セグメンテーション画像(selective stain segmentation images)（３８０）を生成するステップと
を含み、
前記選択的染料セグメンテーション画像（３８０）を生成するステップが、
前記膜マスク画像の中の関心の分類された細胞を場所特定するステップと、
近隣の細胞の間で共有される膜成分を分割することによって、前記関心の分類された細胞と、他の細胞の間の膜辺縁（membrane borders）を規定するステップと、
を含む、
方法。

【請求項2】

前記生成された選択的染料セグメンテーション画像（３８０）の視覚画像分析を提供するステップをさらに含む、請求項１に記載の方法。

【請求項3】

関心の前記少なくとも１つの細胞タイプに対する選択的染料セグメンテーション画像（３８０）を生成するステップは、前記膜マスク画像（２７１）の中で、関心の分類された細胞を場所特定するステップを含む、請求項１に記載の方法。

【請求項4】

関心の前記少なくとも１つの細胞タイプに対する選択的染料セグメンテーション画像（３８０）を生成するステップは、近隣の細胞の間の共有される膜成分（６３０、６４０）を分割するステップにより、関心の前記分類された細胞と、他の細胞との間の膜辺縁(membrane borders)（６４１、６４２）を規定するステップをさらに含む、請求項３に記載の方法。

【請求項5】

近隣の細胞の間の共有される膜成分（６３０、６４０）を分割するステップは、ボロノイ図(Voronoi diagram)に基づいて分割を遂行するステップを含む、請求項４に記載の方
法。

【請求項6】

前記染色された組織画像（２１０）は、染色された病理学組織スライドから生成され、
関心の前記少なくとも１つの細胞タイプに対する選択的染料セグメンテーション画像（３８０）を生成するステップは、染色されたデジタル病理学組織の中で、近隣のバイオマーカ染料を分離するステップをさらに含む、請求項４に記載の方法。

【請求項7】

前記細胞を分類するステップは、特定の細胞膜染色パターンに基づく分類を含む、請求項１に記載の方法。

【請求項8】

前記細胞を分類するステップは、特定のバイオマーカに基づく分類を含む、請求項１に記載の方法。

【請求項9】

特定のバイオマーカに基づく分類は、バイオマーカ陽性画素またはバイオマーカ陰性画素の任意のものと関連付けられる対象のタイプを決定するステップを含む、請求項８に記載の方法。

【請求項10】

染色された組織画像（２１０）の中で、関心の少なくとも１つの細胞タイプに対する選択的染料セグメンテーション画像（３８０）を生成するための画像分析システム（１００）であって、
前記組織画像内で細胞（５５１、５５２）を検出するための、および、対応する膜マスク画像（２７１）を生成するための細胞膜マスク生成エンジン（１２６）と、
前記組織画像内で検出された前記細胞を分類するための、および、前記細胞の分類された細胞画像（２８３）を生成するための細胞分類エンジン（１１４）と、
前記膜マスク画像（２７１）、および、前記細胞の前記分類された細胞画像（２８３）に基づいて、関心の前記少なくとも１つの細胞タイプに対する選択的染料セグメンテーション画像（３８０）を生成するための選択的染料セグメンテーションエンジン（１３４）と
を備え、
前記選択的染料セグメンテーション画像（３８０）を生成することが、
前記膜マスク画像の中の関心の分類された細胞を場所特定することと、
近隣の細胞の間で共有される膜成分を分割することによって、前記関心の分類された細胞と、他の細胞の間の膜辺縁（membrane borders）を規定することと、
を含む、
画像分析システム（１００）。

【請求項11】

１つまたは複数のプロセッサにより実行されるとき、前記１つまたは複数のプロセッサに、染色された組織画像（２１０）の中で、関心の少なくとも１つの細胞タイプに対する選択的染料セグメンテーション画像（３８０）を生成するための複数の動作を遂行させる命令を含む非一時的コンピュータ可読媒体であって、前記命令は、
前記組織画像内で細胞（５５１、５５２）を検出し、対応する膜マスク画像（２７１）を生成することと、
前記組織画像内で検出された前記細胞を分類し、前記細胞の分類された細胞画像（２８３）を生成することと、
前記膜マスク画像（２７１）、および、前記細胞の前記分類された細胞画像（２８３）に基づいて、関心の前記少なくとも１つの細胞タイプに対する選択的染料セグメンテーション画像（３８０）を生成することと
を含み、
前記選択的染料セグメンテーション画像（３８０）を生成することが、
前記膜マスク画像の中の関心の分類された細胞を場所特定することと、
近隣の細胞の間で共有される膜成分を分割することによって、前記関心の分類された細胞と、他の細胞の間の膜辺縁（membrane borders）を規定することと、
を含む、
非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１７年１２月２２日に出願された、米国仮特許出願第６２／６０９，７４８号の出願日の利益を主張するものであり、その米国仮特許出願の開示は、ここに、その全体が本明細書に参照により組み込まれている。

【0002】

本開示は、一般的には、医用診断のためのデジタル画像処理方法およびシステムに関する。特に、本開示は、関心の特定の細胞タイプに対する選択的染料セグメンテーション画像の準備に関する。

【背景技術】

【0003】

組織切片、血液、細胞培養物、および同類のものなどの生物学的標本の分析において、生物学的標本は、スライド上に据え付けられ、染料およびバイオマーカの、１つまたは複数の組合せによって染色され、結果的に生じるアッセイが、さらなる分析のために視認またはイメージングされる。アッセイは、標本内のタンパク質、タンパク質断片、または他の標的に結合する抗体に接合される、フルオロフォアまたは色素原を内包する染料によって処置される、ヒト被験体からの組織切片などの生物学的標本を含み得る。アッセイを観察することは、疾病の診断、治療に対する応答の評価、および、疾病に立ち向かうための新しい薬物の開発を含む、種々のプロセスを可能にする。

【0004】

アッセイをスキャンすることを基に、カラーチャネルを含む画像データの複数個の情報チャネルが導出され、各々の観察されるチャネルは、複数個のシグナルの混合物を含む。アッセイ染色の最もよく目にする例の１つは、組織解剖情報を識別する助けとなる２つの染料を含むヘマトキシリン－エオシン（Ｈ＆Ｅ）染色である。Ｈ染料は主に、全体的に青い色によって細胞核を染色し、一方でＥ染料は主に、細胞質の全体的に淡紅色の染料として作用する。特殊染色アッセイは、組織内の標的物質を、それらの物質の化学的性質、生物学的性質、または病理学的性質に基づいて識別し得る。

【0005】

免疫組織化学（ＩＨＣ）アッセイは、本明細書において以降、関心の標的または対象と称される、標本内の関心のタンパク質、タンパク質断片、または他の構造に結合する抗体に接合される、１つまたは複数の染料を含む。標本内の標的を染料に結合する、抗体および他の化合物（または物質）は、本明細書においてバイオマーカと称される。

【0006】

Ｈ＆Ｅまたは特殊染色アッセイに対しては、バイオマーカは、染料（例えば、ヘマトキシリン対比染料）との固定された関係性を有し、しかるに、ＩＨＣアッセイに対しては、染料の選定が、バイオマーカに対して、新しいアッセイを開発および創出するために使用され得る。生物学的標本は、イメージングの前にアッセイによって準備される。単一の光源、一連の複数個の光源、または、入力スペクトルの任意の他の源を組織に当てることを基に、アッセイは、観察者により、典型的には顕微鏡を通して評価され得るものであり、または、画像データが、さらなる処理のためにアッセイから獲得され得る。

【0007】

そのような獲得において、画像データの複数個の情報チャネル、例えばカラーチャネルが導出され、各々の観察されるチャネルは、複数個のシグナルの混合物を含む。この画像データの処理は、画像データの観察される１つまたは複数のチャネルから特定の染料の局所的濃度を決定するために使用される、さらにはスペクトルアンミキシング、色分離、などと称されるカラーデコンボリューションの方法を含み得る。自動化された方法により処理される、ディスプレイ上で描写される画像データに対して、または、観察者により視認されるアッセイに対して、染色された組織の局所的外観と、付与された染料およびバイオマーカとの間の関係が、染色された組織内のバイオマーカ分布のモデルを決定するために決定され得る。

【0008】

保健医療分野においてのデジタル画像分析においての重要な境域は、特定の細胞内の場所において関心の分析物に対する染色を識別および定量化する能力である。そのような分析を行うためのアルゴリズムが、現在実在する。例えば、ＨＥＲ２およびｃＭＥＴの膜発現を検出するためのアルゴリズムが、現在知られている。これらのアルゴリズムは、核の周囲の局所的近隣に関して染色された膜を探索することを、膜領域を探索されることになる核の周囲の近隣を規定するためのあらかじめ規定されたしきい値を使用して行う核検出に依拠する。ゆえに、これらのアルゴリズムが、核を見つけ損なうならば、または、膜が、あらかじめ規定された近隣半径の外側にあるならば、それらの核の周囲の染色された膜は、検出されないことがある。加えて、アルゴリズムは、（細胞質染色など）他の染色区画との組合せの形の膜染色を内包する領域を無視することがある。かくして、これらの方法を使用する染色の定量化は、不完全である、または、正しくないことがある。

【0009】

図５は、ジアミノベンジジン（ＤＡＢ）染色された（例えば、茶色、５１２）組織スライドの例示的な入力画像２１０を例解する。現在、専門家は、様々な細胞を分類するために、および、それらの細胞に対する主観的スライドスコアリング結果を提供するために、同様の入力画像に依拠する。しかしながら、入力画像２１０内の様々な細胞が、ＤＡＢ染料の中で混合された様態に見え、かくして、そのことが、関心の個別のクラスの細胞を、他のクラス内の残りの細胞と視覚的に区別がつかなくするということが察知されるべきである。

【0010】

当分野において提示されている、細胞検出および分類に対する数多くの手法は、細胞に対する所定のレベルのコンテキスト上のデータを提供する能力があるが、全体スライドスコアリング結果を改善するために、特に、膜染色された組織画像内での、細胞のより正確な分類に対する長年の必要性が、それでもなお残る。さらにまた、従前の明視野イメージング、または、より新しい多重化されたイメージングにおいての複数個のマーカの利用可能性によって、細胞の特定のタイプに属する、膜染料の部分を正確に分離することが、より一層重要になる。このことは、特定のマーカ、または、それらのマーカの組合せが、患者に依存して異なった含意を有し得る、個人化された医薬または保健医療の文脈において、直接的な適用性を有することになる。

【発明の概要】

【発明が解決しようとする課題】

【0011】

本開示は、中でも、関心の特定の細胞タイプに対する選択的染料セグメンテーション画像の生成のためのデジタル画像分析システムおよび方法を提供することにより、前述の懸念に対処する。より具体的には、本デジタル画像分析システムは、本開示の方法を実現するために、１つまたは複数のプロセッサによる実行のための、デジタルで符号化される非一時的コンピュータ可読命令を記憶するデジタル記憶媒体を含む。

【課題を解決するための手段】

【0012】

１つの実施形態において、腫瘍細胞または免疫細胞などの、特定のタイプの細胞と関連付けられる細胞膜が、全体スライドスコアリング結果の計算を改善するために、区別可能にセグメンテーションされる。例えば、ＰＤＬ１スコアリング方法において、病理医は、関心の特定の細胞タイプに対応する、選択的に染色されたマスク画像を使用して、スライドをより良好にスコアリングすることができることになる。

【0013】

この目的のために、画像分析システムは、染色された組織画像の中で、関心の選択された細胞タイプに対する染料セグメンテーション画像を生成し、生成された選択的染料セグメンテーション画像の視覚画像分析を提供する。そのシステムは、一般的には、なかんずく、対応する膜マスク画像を生成するために、組織画像内で細胞を検出することができる膜マスク生成エンジンを含む。そのシステムは、さらには、なかんずく、組織画像内で細胞を分類し、細胞の分類された細胞画像を生成することができる細胞分類エンジンを含む。一部の実施形態において、細胞分類エンジンは、細胞を分類するより前に、任意の適した細胞検出アルゴリズムを走らせて、細胞を検出することができる。他の実施形態において、細胞分類エンジンは、別のエンジンから細胞検出結果を取得することができる。なおも他の実施形態において、細胞分類エンジンは、細胞を、それらを最初に検出することなく、例えば、訓練されたニューラルネットワーク、または、別の機械学習（例えば、深層学習）手法を使用して分類することができる。画像分析システムは、さらには、次いで、膜マスク画像、および、細胞の分類された細胞画像に基づいて、関心の細胞タイプに対する選択的染料セグメンテーション画像を生成することができる選択的染料セグメンテーションエンジンを含むことができる。

【0014】

選択的染料セグメンテーションエンジンは、膜マスク画像の中で、関心の分類された細胞を場所特定する能力があり、近隣の細胞の間の共有される膜成分を分割することにより、関心の分類された細胞と、他の細胞との間の膜辺縁を規定する能力がある。例解的な例として、選択的染料セグメンテーションエンジンは、ボロノイ図に基づいて、近隣の細胞の間の共有される膜成分を分割する能力がある。

【0015】

選択的染料セグメンテーション画像は、関心の細胞タイプに対する少なくとも１つの染料マスク画像を生成するために使用され得る。専門家による染料マスク画像の検討を基に、スライドの入力デジタル画像は、細胞が、調査されている細胞タイプに属するということの見込みを反映する、信頼度スコアによってスコアリングされ得る。選択的染料セグメンテーションエンジンの出力は、次いで、データベース内に記憶され得る。

【0016】

本明細書において説明される画像分析システムは、病理医および他の医学専門家を、組織画像の、それらの人々の検討および分析においてさらにサポートするために、全体スライドイメージング、または、視野（ＦＯＶ）ベースのイメージングにおいての画像分析結果の視覚化を、可能にする、または、手助けすることができる。１つの実施形態において、そのシステムは、デジタル病理学組織スライド内の多数のバイオマーカ染料の分離を可能にする。

【0017】

本開示の様々な特徴、および、それらの特徴を成し遂げる様式が、後に続く説明、特許請求の範囲、および図面を参照して、より詳細に説明されることになる。

【図面の簡単な説明】

【0018】

【図1】本主題開示の例示的な実施形態による、関心の特定の細胞タイプに対する選択的染料セグメンテーション画像を生成するように適合させられるコンピュータベースの細胞の検出システムを描写する図である。

【図2】本主題開示の例示的な実施形態による、図１の細胞の検出システムの部分を形成する、細胞分類エンジン、細胞膜マスク生成エンジン、および選択的染料セグメンテーションエンジンの高レベルブロック線図である。

【図3】本主題開示の例示的な実施形態による、図２の選択的染料セグメンテーションエンジンのより詳細なブロック線図である。

【図4】本主題開示の例示的な実施形態による、図１の細胞の検出システムにより染料セグメンテーション画像を選択的に生成するための作業フロー（またはプロセス）のフローチャートである。

【図5】本主題開示の例示的な実施形態による、選択的染料セグメンテーション画像を生成するために、図４の作業フローにより実現される例示的なシーケンシャル画像を描写する図である。

【図6】本主題開示の例示的な実施形態による、図４の作業フローの中で、ボロノイと同類の図に基づいて、２つの近接する細胞（青６５２および赤６５１色に対応する）の間で分割された細胞膜セグメントの拡大図を例解する図である。

【図7】本主題開示の例示的な実施形態による、現実世界において実在するボロノイ分割対象の拡大例解の図である。

【図8】本主題開示の例示的な実施形態による、現実世界において実在するボロノイ分割対象の拡大例解の図である。

【図9】本主題開示の例示的な実施形態による、特定の細胞クラス（すなわち、陽性免疫細胞）と関連付けられる例解的な染料マスク画像（緑オーバレイ、９１０）であって、細胞のこの特定のクラスを、残りのＤＡＢ染色された（例えば、陽性腫瘍細胞）細胞クラスと差異化するために、図３の選択的染料セグメンテーションエンジンにより生成されるような、例解的な染料マスク画像のスクリーンショットである。

【発明を実施するための形態】

【0019】

例解の単純さおよび明確さのために、参照番号は、対応する、または類似する特徴を指示するために、図の間で再使用され得るということが察知されるであろう。
Ｉ－定義
別段に定義されない限り、本明細書において使用される技術的および科学的用語は、当業者により共通に理解されるのと同じ意味を有する。例えば、Ｌａｃｋｉｅ、ＤＩＣＴＩＯＮＡＲＹ ＯＦ ＣＥＬＬ ＡＮＤ ＭＯＬＥＣＵＬＡＲ ＢＩＯＬＯＧＹ（細胞および分子生物学辞典）、Ｅｌｓｅｖｉｅｒ（第４編 ２００７年）；Ｓａｍｂｒｏｏｋら、ＭＯＬＥＣＵＬＡＲ ＣＬＯＮＩＮＧ， Ａ ＬＡＢＯＲＡＴＯＲＹ ＭＡＮＵＡＬ（分子クローニング、実験マニュアル）、Ｃｏｌｄ Ｓｐｒｉｎｇｓ Ｈａｒｂｏｒ Ｐｒｅｓｓ（Ｃｏｌｄ Ｓｐｒｉｎｇｓ Ｈａｒｂｏｒ、Ｎ．Ｙ． １９８９年）を確認されたい。

【0020】

抗体：本明細書においての用語「抗体」は、最も広範な意味で使用され、所望される抗原結合活性を呈する限り、モノクローナル抗体、ポリクローナル抗体、多重特異性抗体（例えば、二重特異性抗体）、および抗体断片を含むが、それらに制限されない、様々な抗体構造を包含する。

【0021】

バイオマーカ：本明細書において使用される際、用語「バイオマーカ」は、生物学的試料、または、生物学的試料が取得される被験体を特性付けるために使用され得る、生物学的試料内で見出される任意の分子または分子の群を指すものとする。例えば、バイオマーカは、その存在、非存在、または相対的存在量が、
・個別の細胞または組織のタイプまたは状態に特有のものである、
・個別の病理学的症状または状態に特有のものである、あるいは、
・病理学的症状の重症度、病理学的症状の進行もしくは後退の見込み、および／または、病理学的症状が個別の治療に応答することになるということの見込みを指し示す、
分子または分子の群であり得る。

【0022】

別の例として、バイオマーカは、細胞タイプもしくは微生物（バクテリア、マイコバクテリア、真菌、ウイルス、および同類のものなど）、または、それらの置換成分分子もしくは分子の群であり得る。本明細書において意図されるように、バイオマーカイメージングは、制限なしに、多重化された組織バイオマーカイメージングを含む。

【0023】

バイオマーカ特異試薬：一次抗体など、細胞の試料内の１つまたは複数のバイオマーカに直接的に、特異的に結合する能力がある特異検出試薬。
細胞検出：画像内で個別の細胞の場所を識別するためのコンピュータの自動化されたプロセス。

【0024】

細胞の試料：本明細書において使用される際、用語「細胞の試料」は、病理学的、組織学的、または細胞学的解釈のためにとられる、細胞培養物、体液試料、または外科的標本など、無傷細胞を内包する任意の試料を指す。生物学的試料は、組織または細胞試料であり得る。組織または細胞試料の源は、新鮮な、凍結させられた、および／または保存された、器官または組織の試料採取または生検または吸引からのような固形組織；血液または任意の血液成分；脳脊髄液、羊水、腹水、または間質液などの体液；被験体の妊娠または発育においての任意の時間からの細胞であり得る。細胞の試料は、さらには、インビトロ組織または細胞培養物から取得され得る。細胞の試料は、保存剤、抗凝固剤、緩衝剤、固定剤、栄養素、抗生物質、または同類のものなどの、本来は細胞と自然に混合されない化合物を内包し得る。本明細書においての細胞の試料の例は、腫瘍生検、循環腫瘍細胞、漿液または血漿、腫瘍から派生させられる、または、腫瘍と同類の特質を呈する、初代細胞培養物または細胞株、および、ホルマリン固定、パラフィン包理腫瘍試料、または凍結させられた腫瘍試料などの保存された腫瘍試料を含むが、それらに制限されない。

【0025】

コンピュータプログラム：さらにはプログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとして知られているが、コンパイラ型またはインタプリタ型言語、宣言型または手続き型言語を含む、任意の形式のプログラミング言語の形で書き表され得るものであり、そのコンピュータプログラムは、スタンドアローンプログラムとして、または、コンピューティング環境においての使用に適したモジュール、コンポーネント、サブルーチン、オブジェクト、もしくは他のユニットとしてということを含めて、任意の形式で展開され得る。コンピュータプログラムは、ファイルシステム内のファイルに対応することがあるが、そうする必要はない。プログラムは、他のプログラムもしくはデータ（例えば、マークアップ言語ドキュメントの形で格納される１つまたは複数のスクリプト）を保持するファイルの一部分内に、当該のプログラムに専用化された単一のファイル内に、または、複数個の協調させられるファイル（例えば、１つまたは複数の、モジュール、サブプログラム、または、コードの一部分を格納するファイル）内に格納され得る。コンピュータプログラムは、１つのコンピュータ上で、または、１つのサイトに配置される、もしくは、複数個のサイトにわたって分散させられ、通信ネットワークにより相互接続される、複数個のコンピュータ上で、実行されるように展開され得る。本明細書において説明されるプロセスおよび論理フローは、１つまたは複数のコンピュータプログラムを実行して、入力データに関して動作し、出力を生成することにより、アクションを遂行する、１つまたは複数のプログラマブルプロセッサにより遂行され得る。プロセスおよび論理フローは、さらには、特殊目的論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）により遂行され得るものであり、装置は、さらには、その特殊目的論理回路網として実現され得る。コンピュータプログラムの実行に適したプロセッサは、例として、多目的および特殊目的の両方のマイクロプロセッサ、ならびに、任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサを含む。一般的には、プロセッサは、命令およびデータを、読み出し専用メモリまたはランダムアクセスメモリまたは両方から受信することになる。コンピュータの本質的な要素は、命令によってアクションを遂行するためのプロセッサ、ならびに、命令およびデータを記憶するための１つまたは複数のメモリデバイスである。一般的には、コンピュータは、さらには、データを記憶するための１つもしくは複数の大容量記憶デバイス、例えば、磁気、磁気光学ディスク、もしくは光学ディスクを含む、または、それらのデバイスからデータを受信する、もしくは、それらのデバイスにデータを転送する、もしくは、その両方のために動作可能に結合されることになる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。なおまた、コンピュータは、別のデバイス、例えば、ほんの数例を挙げると、移動電話、携帯情報端末（ＰＤＡ）、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信器、またはポータブル記憶デバイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に埋め込まれ得る。コンピュータプログラム命令およびデータを記憶するのに適したデバイスは、例として、半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス；磁気ディスク、例えば内蔵ハードディスクまたはリムーバブルディスク；磁気光学ディスク；ならびに、ＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、すべての形式の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路網により補完され得る、または、特殊目的論理回路網に組み込まれ得る。

【0026】

コンピューティングシステム：さらにはコンピュータと称されるが、任意の数のクライアントおよびサーバを含む。クライアントおよびサーバは、一般的には互いから遠隔にあり、典型的には通信ネットワークを通して対話する。クライアントおよびサーバの関係性は、それぞれのコンピュータ上で走り、互いに対するクライアント－サーバ関係性を有するコンピュータプログラムのおかげで生起する。一部の実施形態において、サーバは、データ（例えば、ＨＴＭＬページ）をクライアントデバイスに（例えば、クライアントデバイスと対話するユーザにデータを表示すること、および、そのユーザからのユーザ入力を受信することの目的のために）送信する。クライアントデバイスにおいて生成されたデータ（例えば、ユーザ対話の結果）は、サーバにおいてクライアントデバイスから受信され得る。

【0027】

対比染料：染色された対象をよりたやすく検出可能にする、主たる染料と対照をなす色を伴う染料。例えば、Ｈ＆Ｅ染料においての、ヘマトキシリンに対するエオシン対比染料。

【0028】

細胞質染色：細胞の細胞質領域の形態的特性をもつパターンの形で配置構成される画素の群。
マーカ：バイオマーカが、周辺の組織と、および／または、他のバイオマーカと差異化されることを可能とする、染料、色素、またはタグ。用語「バイオマーカ」は、個別の細胞タイプ、実例として免疫細胞の存在などの組織特徴、および、より詳細には、医学的症状を指し示す組織特徴の意味で理解され得る。バイオマーカは、組織特徴においての個別の分子、実例としてタンパク質の存在により識別可能であり得る。

【0029】

膜／点状領域：拡散した膜染色が、点状染色と混合される領域。
プロセッサ：例として、プログラマブルマイクロプロセッサ、コンピュータ、システム・オン・チップ、または、複数個のもの、または、前述のものの組合せを含む、データを処理するためのすべての種類の装置、デバイス、および機械を包含する。装置は、特殊目的論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含み得る。装置は、さらには、ハードウェアに加えて、当該のコンピュータプログラムに対する実行環境を創出するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想機械、または、それらのうちの１つもしくは複数の組合せを組成するコードを含み得る。装置および実行環境は、ウェブサービス、分散コンピューティング、およびグリッドコンピューティングインフラストラクチャなどの、様々な異なるコンピューティングモデルインフラストラクチャを現実化することができる。

【0030】

点状染色：細胞の膜区域上で散乱する斑点／小点として現れる染色の強い局在化された強度を伴う画素の群。
試料：本明細書において使用される際、用語「試料」は、バイオマーカの存在または非存在についてテストされる可能性がある、対象または標的から取得される任意の材料を指すものとする。

【0031】

染料・染色：名詞として使用されるとき、用語「染料」は、明視野顕微鏡法、蛍光顕微鏡法、電子顕微鏡法、および同類のものを含む、顕微鏡分析に対する細胞の試料内の特定の分子または構造を視覚化するために使用され得る任意の物質を指すものとする。動詞として使用されるとき、用語「染色」は、細胞の試料上の染料の堆積を結果的に生じさせる任意のプロセスを指すものとする。

【0032】

被験体：名詞として使用されるとき、用語「被験体」または「個体」は哺乳類である。哺乳類は、飼い慣らされた動物（例えば、雌ウシ、ヒツジ、ネコ、イヌ、およびウマ）、霊長類（例えば、ヒト、および、サルなどの非ヒト霊長類）、ウサギ、および齧歯類（例えば、マウスおよびラット）を含むが、それらに制限されない。所定の実施形態において、個体または被験体はヒトである。

【0033】

テスト試料：試料が取得される時間において知られていないアウトカムを有する被験体から取得される腫瘍試料。
組織試料：本明細書において使用される際、用語「組織試料」は、細胞の間の、試料が取得された被験体の中にそれらの細胞が実在した際の横断的空間的関係性を保存する細胞の試料を指すものとする。「組織試料」は、一次組織試料（すなわち、被験体により生み出された細胞および組織）および異種移植片（すなわち、被験体内へと移植された外来性の細胞の試料）の両方を包含するものとする。

【0034】

組織標本：スライド上に据え付けられ得る、組織切片、血液、細胞培養物、および同類の生物学的試料などの、任意のタイプの生物学的標本を包含する。
ユーザインターフェイスデバイス：ユーザとの対話を可能なものにするディスプレイを含み、本明細書において説明される主題事項の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えばＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、またはＯＬＥＤ（有機発光ダイオード）ディスプレイと、キーボードおよびポインティングデバイス、例えばマウスまたはトラックボールとを有するコンピュータ上で実現され得るものであり、それらのキーボードおよびポインティングデバイスにより、ユーザは、コンピュータに入力を提供することができる。一部の実現形態において、タッチスクリーンが、情報を表示し、ユーザから入力を受信するために使用され得る。他の種類のデバイスが、同じようにしてユーザとの対話を可能なものにするために使用され得るものであり、例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック、例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバックの形であり得るものであり、ユーザからの入力は、音響、発話、または触覚入力を含む任意の形式で受信され得る。加えて、コンピュータは、ユーザにより使用されるデバイスにドキュメントを送出し、そのデバイスからドキュメントを受信することにより、例えば、ユーザのクライアントデバイス上のウェブブラウザに、ウェブブラウザから受信される要求に応答してウェブページを送出することにより、ユーザと対話することができる。本明細書において説明される主題事項の実施形態は、例えばデータサーバとしてのバックエンド構成要素を含む、または、ミドルウェア構成要素、例えばアプリケーションサーバを含む、あるいは、フロントエンド構成要素、例えば、それを通してユーザが、本明細書において説明される主題事項の実現形態と対話することができる、グラフィカルユーザインターフェイスデバイスもしくはウェブブラウザを有するクライアントコンピュータを、または、１つもしくは複数の、そのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組合せを含む、コンピューティングシステムの形で実現され得る。システムの構成要素は、任意の形式または媒体のデジタルデータ通信、例えば通信ネットワークにより相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）、ならびにピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）を含む。
ＩＩ－細胞の検出システム
図１を参照すると、細胞の検出システム１０が、本開示の例示的な実施形態によって提供される。細胞の検出システム１０は、染色された組織画像内で細胞の存在を自動的に検出するように、および、詳細には、組織画像内で細胞を自動的に検出および分類するように適合させられ得る。細胞の検出システム１０は、一般的には、画像分析システム１００と、画像獲得システム１２０とを含む。

【0035】

染色された生物学的試料の、１つまたは複数のデジタル画像は、画像獲得システム１２０により獲得される。本質的には、カラーデジタル画像を生成する能力がある任意の適したイメージング方法が使用され得る。例えば、染色された組織試料（組織標本、または、細胞の試料）のＲ、Ｇ、Ｂ入力カラー画像２１０（図４）が、生成され、ローカルコンピュータ、ディスクドライブ、ソリッドステートドライブ、サーバマシン、または同類のものなどの記憶デバイス内に記憶され得る。

【0036】

画像分析システム１００は、本明細書において説明される技法および動作を遂行する能力がある、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、サーバ、特定用途向けコンピューティングデバイス、または、任意の他のタイプの電子デバイスなどの、１つまたは複数のコンピューティングデバイスを含み得る。一部の実施形態において、画像分析システム１００は、単一のデバイスとして実現され得る。他の実施形態において、画像分析システム１００は、本明細書において説明される様々な機能性を一体で達成する、２つ以上のデバイスの組合せとして実現され得る。例えば、画像分析システム１００は、インターネットまたはイントラネットなどの、１つまたは複数の、ローカルエリアネットワークおよび／またはワイドエリアネットワークを介して互いに通信可能に結合される、１つまたは複数のサーバコンピュータと、１つまたは複数のクライアントコンピュータとを含み得る。

【0037】

画像分析システム１００は、メモリ１１５と、プロセッサ１１６と、ディスプレイ１１７とを含み得る。メモリ１１５は、ランダムアクセスメモリ（ＲＡＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）などの読み出し専用メモリ、フラッシュメモリ、ハードドライブ、ソリッドステートドライブ、光学ディスク、および同類のものなどの、任意のタイプの揮発性または不揮発性メモリの任意の組合せを含み得る。メモリ１１５は、プロセッサ１１６が、より詳細に後で説明されることになるような本開示の作業フローを実行するための、非一時的コンピュータ可読命令を記憶し得る。簡潔さの目的のために、メモリ１１５は、単一のデバイスとして図２において描写されるが、メモリ１１５は、さらには、２つ以上のデバイスにわたって分散させられ得るということが察知される。

【0038】

プロセッサ１１６は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、特殊目的信号または画像プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、テンソル処理ユニット（ＴＰＵ）等々のような、任意のタイプの１つまたは複数のプロセッサを含み得る。簡潔さの目的のために、プロセッサ１１６は、単一のデバイスとして図２において描写されるが、プロセッサ１１６は、さらには、任意の数のデバイスにわたって分散させられ得るということが察知される。

【0039】

ディスプレイ１１７は、ＬＣＤ、ＬＥＤ、ＯＬＥＤ、ＴＦＴ、プラズマ、その他などの、任意の適した技術を使用して実現され得る。一部の実現形態において、ディスプレイ１１７は、タッチセンシティブディスプレイ（タッチスクリーン）であり得る。

【0040】

画像分析システム１００は、さらには、対象識別器１１０と、関心の領域（ＲＯＩ）生成器１１１と、ユーザインターフェイスモジュール１１２と、細胞分類エンジン１１４と、細胞膜マスク生成エンジン１２６と、選択的染料セグメンテーションエンジン１３４とを含み得る。これらのモジュールは、モジュールとして図１において描写されるが、各々のモジュールは、代わりに、いくつかのサブモジュールとして実現され得るということ、および、一部の実施形態において、任意の２つ以上のモジュールが、単一のモジュールへと組み合わされ得るということが、当業者には明白であろう。さらにまた、一部の実施形態において、システム１００は、簡潔さのために図１において描写されない追加的なエンジンおよびモジュール（例えば、入力デバイス、ネットワーキングおよび通信モジュール、その他）を含み得る。さらにまた、一部の実施形態において、図１において描写されるブロックの一部は、使用不可能にされ得る、または省略され得る。下記でより詳細に論考されることになるように、システム１００の一部またはすべてのモジュールの機能性は、ハードウェア、ソフトウェア、ファームウェアの形で、または、それらの任意の組合せとして実現され得る。本明細書において開示されるようなモジュールを実現することにおいて有用な、例示的な市販で入手可能なソフトウェアパッケージは、ＶＥＮＴＡＮＡ ＶＩＲＴＵＯＳＯ；Ｄｅｆｉｎｉｅｎｓ ＴＩＳＳＵＥ ＳＴＵＤＩＯ、ＤＥＶＥＬＯＰＥＲ ＸＤ、およびＩＭＡＧＥ ＭＩＮＥＲ；ならびに、Ｖｉｓｉｏｐｈａｒｍ ＢＩＯＴＯＰＩＸ、ＯＮＣＯＴＯＰＩＸ、およびＳＴＥＲＥＯＴＯＰＩＸソフトウェアパッケージを含む。

【0041】

入力画像２１０を獲得する後、画像分析システム１００は、画像２１０を対象識別器１１０に渡し得るものであり、その対象識別器１１０は、細胞分類のために後で使用されることになる、画像２１０の中の意義がある対象および他の特徴を、識別およびマークするように機能する。対象識別器１１０は、画像内の様々な対象、および、バイオマーカの発現を表す画素を特性付ける複数の画像特徴を、各々の画像２１０から抽出（または、その画像２１０に対して生成）し得る。抽出される画像特徴は、例えば、形状、強度、または他の統計的特徴を含むが、それらに制限されない、Ｈａｒａｌｉｃｋ特徴、単語の袋（ｂａｇ－ｏｆ－ｗｏｒｄｓ）特徴、および同類のものなどのテクスチャ特徴を含み得る。複数の画像特徴の値は、バイオマーカの発現、個別の対象、または、画像内の対象場所を特性付けるために使用され得る、本明細書において以降「特徴ベクトル」と称される、高次元ベクトルへと組み合わされ得る。例えば、Ｍ個の特徴が、各々の対象および／または画素に対して抽出されるならば、各々の対象および／または画素は、Ｍ次元特徴ベクトルにより特性付けられ得る。対象識別器１１０の出力は、事実上、関心の対象および画素の位置をアノテートする、ならびに、それらの対象および画素を、対象または画素を記述する特徴ベクトルと関連付ける、画像のマップである。特徴ベクトルは例解のみの目的のために本明細書において説明されるということ、および、本開示はバイオマーカに制限されず、例えば、細胞タイプがさらには含まれ得るということが理解されるべきである。

【0042】

個別のタイプの対象（膜、核、細胞、その他など）とのバイオマーカの関連を基盤としてスコアリングされるバイオマーカに対して、対象識別器１１０により抽出される特徴は、関心のバイオマーカ陽性対象、もしくは、関心のバイオマーカ陰性マーカとして、および／または、対象のバイオマーカ染色のレベルもしくは強度により、試料内の対象をカテゴリー化するのに十分な特徴または特徴ベクトルを含み得る。バイオマーカが、それを発現している対象タイプに依存して異なって重み付けされ得る事例において（腫瘍細胞発現、免疫細胞発現、または両方を基盤としてスコアリングされ得る、ＰＤ－Ｌ１、ＰＤ－Ｌ２、およびＩＤＯなどの免疫逃避バイオマーカなど）、対象識別器１１０により抽出される特徴は、バイオマーカ陽性画素と関連付けられる対象のタイプを決定することに対して意義がある特徴を含み得る。かくして、バイオマーカイメージングを使用して、対象は、次いで、少なくとも、バイオマーカ発現（例えば、バイオマーカ陽性またはバイオマーカ陰性細胞）、および、意義があるならば、対象のサブタイプ（例えば、腫瘍細胞、免疫細胞、その他）を基盤としてカテゴリー化され得る。バイオマーカ発現の程度が、対象との関連に関係なくスコアリングされる事例において、対象識別器１１０により抽出される特徴は、例えば、バイオマーカ陽性画素の場所および／または強度を含み得る。

【0043】

画像分析システム１００は、さらには、画像２１０をＲＯＩ生成器１１１に渡し得る。ＲＯＩ生成器１１１は、画像２１０の関心の領域、ＲＯＩ、または複数のＲＯＩを識別するために使用され得るものであり、それらのＲＯＩから、免疫コンテキストスコアが算出され得る。対象識別器１１０が全体画像に適用されない事例において、ＲＯＩ生成器１１１により生成される１つまたは複数のＲＯＩは、さらには、対象識別器１１０が実行される画像のサブセットを規定するために使用され得る。１つの実施形態において、ＲＯＩ生成器１１１は、ユーザインターフェイスモジュール１１２を通してアクセスされ得る。バイオマーカ染色された試料（または、バイオマーカ染色された試料の形態的に染色された連続切片）の画像が、ユーザインターフェイスモジュール１１２のグラフィックユーザインターフェイス上で表示され、ユーザは、画像内の１つまたは複数の領域を、考慮されるＲＯＩであるようにアノテートする。ＲＯＩアノテーションは、この例においていくつかの形式をとることができる。例えば、ユーザは、手作業でＲＯＩを規定し得る（本明細書で以降、「自由形式ＲＯＩアノテーション」と称される）。

【0044】

他の例において、ＲＯＩ生成器１１１は、ＲＯＩをアノテートすることにおいてユーザを支援し得る。例えば、ユーザは、画像内のエッジ（例えば、腫瘍の浸潤周縁部の先端エッジ、または、腫瘍芯から腫瘍の浸潤周縁部への遷移を表象するエッジなど）をアノテートし得るものであり、ＲＯＩ生成器１１１は、ユーザ規定されたエッジに基づいてＲＯＩを自動的に規定し得る。例えば、ユーザは、ユーザインターフェイスモジュール１１２において浸潤周縁部の先端エッジをアノテートし得るものであり、ＲＯＩ生成器１１１は、例えば、エッジのあらかじめ規定された距離の中の、または、エッジの一方の側のあらかじめ規定された距離の中の、すべての対象を包囲するＲＯＩを描画することにより、ガイドとしてエッジを使用してＲＯＩを創出する。一部の事例において、ユーザは、ＲＯＩを拡大すること、ＲＯＩの領域、または、ＲＯＩの中の対象を分析から除外されるようにアノテートすること、その他によってなどで、ＲＯＩ生成器１１１によりアノテートされたＲＯＩを修正する選択肢を与えられ得る。他の実施形態において、ＲＯＩ生成器１１１は、ユーザからの何らの直接的な入力もなしに（例えば、組織セグメンテーション機能を、アノテートされない画像に適用することにより）ＲＯＩを自動的に提案し得るものであり、そのＲＯＩをユーザは、次いで、受け入れる、拒絶する、または、適切なように編集することに決めることができる。一部の実施形態において、ＲＯＩ生成器１１１は、さらには、位置合わせ機能を含み得るものであり、その機能により、連続切片のセットの１つの切片においてアノテートされたＲＯＩが、連続切片のセットの他の切片に自動的に転写される。この機能性は、とりわけ、分析されている複数個のバイオマーカが存するとき、または、Ｈ＆Ｅ染色された連続切片が、バイオマーカラベリングされた切片とともに提供されるときに有用である。

【0045】

一部の実施形態において、画像分析システム１００は、画像獲得システム１２０に通信可能に結合され得る。画像獲得システム１２０は、生物学的標本の画像を取得し、分析およびユーザへの提示のために、画像分析システム１００にそれらの画像２１０を提供し得る。

【0046】

画像獲得システム１２０は、例えばスライドスキャナを含む、染色されたスライドを２０ｘ、４０ｘ、または他の倍率でスキャンして、高分解能全体スライドデジタル画像を生み出すことができる、スライドスキャナなどのスキャニングプラットフォーム１２５を含み得る。画像獲得システム１２０は、さらには、Ｈ＆Ｅ染色プラットフォーム１２４を含み得る。

【0047】

基本的なレベルにおいて、典型的なスライドスキャナは、少なくとも、（１）レンズ、対物レンズを伴う顕微鏡と、（２）光源（色素に依存して、ハロゲン、発光ダイオード、白色光、および／またはマルチスペクトル光源など）と、（３）ガラススライドを至るところに動かすための（または、光学機器をスライドの周囲で動かすための）ロボティクスと、（４）画像捕捉のための１つまたは複数のデジタルカメラと、（５）ロボティクスを制御するための、ならびに、デジタルスライドを操作、管理、および視認するための、コンピュータおよび関連付けられるソフトウェアとを含む。スライド上のいくつかの異なるＸ－Ｙ場所においての（および、一部の事例において、複数個のＺ平面においての）デジタルデータが、カメラの電荷結合デバイス（ＣＣＤ）により捕捉され、画像が、完全なスキャンされた表面の合成画像を形成するために、一体に連結される。後に続くものは、このタスクを果たすための例示的な方法である。

【0048】

（１）スライドステージまたは光学機器が、近接する正方形とわずかな度合重なる正方形画像フレームを捕捉するために、非常に小さい増分で動かされる、タイルベースのスキャニング。捕捉された正方形は、次いで、合成画像を作り上げるために、互いに対して自動的にマッチングされる。および、
（２）スライドステージが、いくつかの合成画像「ストリップ」を捕捉するために、獲得の間、単一の軸において動く、ラインベースのスキャニング。画像ストリップは、次いで、より大きい合成画像を形成するために、互いとマッチングされ得る。

【0049】

スキャニングプラットフォーム１２５により生成された画像は、画像分析システム１００に、または、画像分析システム１００によりアクセス可能なサーバもしくはデータベースに転送され得る。一部の実施形態において、画像は、１つまたは複数の、ローカルエリアネットワークおよび／またはワイドエリアネットワークを介して自動的に転送され得る。一部の実施形態において、画像分析システム１００は、スキャニングプラットフォーム１２５、および／もしくは、画像獲得システム１２０の他のモジュールと統合され得る、または、それらに含まれ得るものであり、その事例において、画像は、例えば、プラットフォーム１２５およびシステム１２０の両方によりアクセス可能なメモリを通して、画像分析システムに転送され得る。

【0050】

一部の実施形態において、画像獲得システム１２０は、画像分析システム１００に通信可能に結合されないことがあり、その事例において、画像は、任意のタイプの不揮発性記憶媒体（例えば、フラッシュドライブ）上に記憶され、媒体から、画像分析システム１００に、または、その画像分析システム１００に通信可能に結合されるサーバもしくはデータベースにダウンロードされ得る。上記の例の任意のものにおいて、画像分析システム１００は、生物学的試料の画像を取得し得るものであり、その場合、試料は、スライドに貼り付けられ、組織化学的染色プラットフォーム１２３により染色されていることがあり、スライドは、スライドスキャナ、または、別のタイプのスキャニングプラットフォーム１２５によりスキャニングされていることがある。しかしながら、他の実施形態において、下記で説明される技法が、さらには、他の手段によって獲得および／または染色された生物学的試料の画像に適用され得るということが察知される。

【0051】

細胞検出システム１０は、実験室情報システム（ＬＩＳ：ｌａｂｏｒａｔｏｒｙ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ）１３０と、データベース１６０とをさらに含み得る。ＬＩＳ１３０は、典型的には、試料に関して、およびスライドに関して遂行されるプロセスと、試料から導出される画像とを、記録および追跡すること、免疫コンテキストスコアリングシステムの異なる構成要素に、試料、スライド、および／または画像に関する特定のプロセスを遂行し、試料およびまたはスライドに付与される特異試薬に関する情報（ロット番号、期限満了日、施された体積、その他など）を追跡するように命令することから選択される、１つまたは複数の機能を遂行する。

【0052】

対象識別器１１０およびＲＯＩ生成器１１１の両方が実現された後、細胞分類エンジン１１４および細胞膜マスク生成エンジン１２６が、それぞれ、分類された細胞画像２８３および膜マスク画像２７１（図２）を生成するために実現される。選択的染料セグメンテーションエンジン１３４が、より詳細に後で説明されることになるように、関心の選択された細胞タイプに基づいて、分類された細胞画像２８３および膜マスク画像２７１を組み合わせて、関心の細胞タイプに対する染料マスク画像３８０（本明細書において用語「選択的染料セグメンテーション画像」と互換的に使用される）を生成する（図２、３）。専門家による染料マスク画像３８０の検討を基に、入力画像２１０は、細胞が、調査されている細胞タイプに属するということの見込みを指示する、信頼度スコア２６０（図２）によってスコアリングされる。選択的染料セグメンテーションエンジン１３４の出力は、データベース１６０などのデータベース内に記憶され得る。
ＩＩＩ－染料セグメンテーションエンジンおよび作業フロー
図２および４を参照すると、図２は、画像分析システム１００の部分を形成する細胞分類エンジン１１４を例解し、図４は、本開示の例示的な実施形態に準じる選択的染料セグメンテーションエンジン１３４を実現する作業フロー４００を例解する。入力画像２１０が、組み合わされる前に別個に処理される、２つのカラーチャネルへのデコンボリューションのために、カラーデコンボリューションモジュール２２０に給送される。この個別の例解において、入力画像２１０が、２つの別個の画像：膜染色された組織画像２３０、および、対比染色された細胞核画像２５０へと畳み込みを解かれる。２０１７年８月４日に出願された、および、その全体が参照により本明細書に組み込まれている、「Ａｕｔｏｍａｔｅｄ Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｃｅｌｌｓ Ｉｎ Ｓｔａｉｎｅｄ Ｓｐｅｃｉｍｅｎ Ｉｍａｇｅｓ」と表題を付けられた、同時係属米国仮特許出願第６２／５４１，６３０号において詳細に解説されたように、膜染色された組織画像の補数が、以前はマスクされた淡い色付けされた核を明確に反映するために生成される。補数画像および対比染料画像が、任意選択で正規化され、次いで、明確に規定された核を伴う出力画像を生成するために、組み合わされ、セグメンテーションされる。代替的には、膜染料画像の補数、および、対比染料画像が、任意選択で正規化され、次いで、出力画像を生成するために、組み合わされるより前にセグメンテーションされ得る。作業フロー４００のステップ４１４において、出力画像内の細胞は、次いで分類され得るものであり、分類された細胞画像２８３が、生成され、データベース１６０内に記憶され得る。

【0053】

図２、４、５、および６を参照すると、ならびに、２０１７年１２月２２日に出願された、および、その全体が参照により本明細書に組み込まれている、「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｃｌａｓｓｉｆｙｉｎｇ Ｃｅｌｌｓ Ｉｎ Ｔｉｓｓｕｅ Ｉｍａｇｅｓ Ｂａｓｅｄ Ｏｎ Ｍｅｍｂｒａｎｅ Ｆｅａｔｕｒｅｓ」と表題を付けられた、同時係属米国仮特許出願第６２／６０９，７１９号において詳細にさらに解説されたように、膜染色された組織画像２３０は、特定の膜染色パターンに基づいて、細胞膜マスク生成エンジン１２６に給送され得る。作業フロー４００のステップ４１５において、膜組織画像は、異なるタイプの細胞の膜が、異なるパターンを伴って染色され得るように染色され得る。膜染色パターンは、細胞を分類するための情報の有用な源として役立ち得る。この目的のために、細胞膜マスク生成エンジン１２６は、例えば、本明細書において楕円形パターンおよび点状パターンと称される２つのパターンにより染色された細胞の間で区別する助けとなる。

【0054】

ガウシアン差分（ＤｏＧ：ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）フィルタが、ＤｏＧフィルタリングされた画像５１０（図５）を生成するために、膜染色された画像２３０に適用され得る。Ｏｔｓｕしきい値処理モジュールが、膜マスク画像２７１を生成するために、ＤｏＧフィルタリングされた画像５１０に適用され得る。ブロブ抽出が、次いで、例えば核６４０を取り囲む関心のサブ領域（または近隣）６１０の中のブロブ対象、例えば６３０（図６）を抽出することを、関心のサブ領域６１０の中の様々な成分または特徴を連結することにより行うために、膜マスク画像に適用され得る。楕円形膜染色パターンと、点状膜染色パターンとの間の判別をさらに改善するために、細胞分類エンジンは、あらゆる検出される細胞に対する膜ブロブ対象に関係付けられる統計的値を計算し得るものであり、統計的値をデータベース１６０内に記憶し得る。

【0055】

図３、４、および５を参照すると、選択的染料セグメンテーションエンジン１３４は、関心の１つまたは複数の特定の細胞タイプに対する応需型選択的染料マスク画像３８０を生成することを、組織スライド上の残りのタイプの細胞の除外のために行う能力がある。この目的のために、選択的染料セグメンテーションエンジン１３４は、特定のタイプの細胞と関連付けられる膜染料をセグメンテーションするように適合させられ、そのことは、全体スライドスコアリング結果２６０の計算に正確さを加えることにおいて有用であることになる。

【0056】

動作において、分類された細胞画像２８３、膜マスク画像２７１、および、関心のユーザ選択された細胞タイプ３０２が、選択的染料セグメンテーションエンジン１３４の部分を形成する組合せモジュール３０１に給送される。組合せモジュール３０１は、データベース１６０内に記憶される分類された細胞画像データ２８３に基づいて、膜マスク画像２７１の中で、関心の分類された細胞を場所特定するために、作業フロー４００のステップ４１０を実現し得る。

【0057】

より具体的には、組合せモジュール３０１は、下記で列挙される例示的なシーケンスにしたがうことにより、作業フロー４００のステップ４１０を実現し得る。
・組合せモジュール３０１は、関心の細胞３０２に対して、Ｌ^＊などのラベルをセットする。
・入力画像２１０の関心の領域５１０（図５）の中の、あらゆる画素、ｐに対して、組合せモジュール３０１は、（分類された細胞画像２８３の中の）最も近い細胞ｃを見出し、この最も近い細胞ｃが、関心の細胞３０２であるかどうかを決定する。
・組合せモジュール３０１が、ｃが関心の細胞３０２にふさわしいと決定するならば、画素ｐ、および、他の同様の画素が、関心の領域５２０（図５）として識別され、その関心の領域は、次いで、染料マスク画像３８０において示される緑色などの、識別可能な色によりマークされる。

【0058】

関心の特定の細胞タイプ３２０に対する染料マスク画像３８０の生成は、それ自体として、従来の方法と比べて有意な改善を表すが、本開示は、染料マスク画像３８０の正確さをさらに改善することを、その画像を膜分離モジュール３０４（図３）に給送することにより行うことを目指す。膜分離モジュール３０４は、作業フロー４００（図４）のステップ４２０を実現して、関心の近隣の細胞３０２の間の共有される膜成分を分割することにより、関心の識別された細胞３０２の膜辺縁をさらに規定し、作業フロー４００のステップ４３０において最終的な強化された染料マスク画像３８０を生成し得る。

【0059】

図６は、赤の色付けされた細胞５５２を含む関心のサブ領域６１０を例解し、そのサブ領域に対して、細胞膜マスク生成エンジン１２６は、様々な膜成分、例えば６３０、６４０を識別しており、組合せモジュール３０１は、区別可能な緑色でこれらの膜成分６３０、６４０をマークしている。加えられた正確さのために、膜分離モジュール３０４（図３）は、図５の関心の領域５１０の中の、異なるクラスに属する、赤の色付けされた細胞５５２、および、付近の青の色付けされた細胞５５１などの、２つの近接する細胞の間の辺縁または境界、例えば６４１、６４２をさらに規定するように実現され得る。

【0060】

この目的のために、膜分離モジュール３０４は、異なるクラスの近隣の細胞５５１、５５２の間の膜成分の至適な分割を算出する。分割（または分離）は、適切に規定されるような最も至適なエネルギーに基づいて遂行され得る。しかしながら、追加的な生物学的情報が利用可能である、または利用可能になるならば、分割は、そのような追加的な生物学的情報に責任をもつことになる。１つの実施形態において、膜分離モジュール３０４は、近隣の細胞５５１、５５２の間の関心の共有される区域を等しく分割し得る。

【0061】

図７および８において表される別の実施形態において、膜分離モジュール３０４は、ボロノイ図に基づいて分割を遂行する。ボロノイ図によれば、この事例において成分６３０を含む関心の領域は、より小さい連続的な区域、例えば６５１、６５２へと、近隣の細胞５５１、５５２までのそれらの区域の距離に基づいて区分される。ボロノイ図は、本明細書において例解目的のために使用されるということ、および、他の適した分割する方法が、代替的に使用され得るということが理解されるべきである。図７は、染料マスク画像３８０の部分となる、膜分離モジュール３０４により生成されるボロノイと同類のマスク７００の代表的な例解を例解する。図８は、土壌の乾ききったまとまりを例解し、そのまとまりは、土壌内に蓄積されるエネルギーに基づいて至適に割れる。

【0062】

図９は、細胞クラスの間の差異化の視覚化を提供する、代表的な入力組織スライド画像２１０のスクリーンショット（さらにはボロノイ分割ＤＡＢマスクオーバレイと称される）９００を例解し、関心の細胞クラスは、緑マスク（９１０）によって区別される。本開示の出現より前は、全体の入力組織スライド画像２１０は、同じ（例えば、茶色、ＤＡＢ）色（９１２）でのものであることになり、関心の細胞の様々なクラスを、明確に、および視覚的に区別しないことになるということが察知されるべきである。

【0063】

本明細書において説明されるフローチャートの各々において、方法のうちの１つまたは複数は、コンピュータ可読コードを内包するコンピュータ可読媒体の形で実施され得るものであり、そのことによって、一連のステップは、コンピュータ可読コードがコンピューティングデバイス上で実行されるときに遂行される。一部の実現形態において、方法の所定のステップは、本発明の趣旨および範囲から外れることなく、組み合わされる、同時に、もしくは異なる順序で遂行される、または、ことによると省略される。かくして、方法ステップは、個別のシーケンスで説明および例解されるが、ステップの特定のシーケンスの使用は、本発明に関して何らかの制限を含意することの意味をもたされるものではない。変更が、本発明の趣旨または範囲から逸脱することなく、ステップのシーケンスに関して為され得る。個別のシーケンスの使用は、それゆえに、制限的な意味で解されるべきではなく、本発明の範囲は、添付される特許請求の範囲によってのみで定義される。

【0064】

当業者により察知されるであろうが、本発明の態様は、システム、方法、またはコンピュータプログラム製品として実施され得る。よって、本発明の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、その他を含む）、または、ソフトウェアおよびハードウェア態様を組み合わせる実施形態の形式をとり得るものであり、それらの実施形態は、すべて一般的に、本明細書において「回路」、「モジュール」、または「システム」と称され得る。さらにまた、本発明の態様は、そこにおいて実施されるコンピュータ可読プログラムコードを有する１つまたは複数のコンピュータ可読媒体の形で実施されるコンピュータプログラム製品の形式をとり得る。

【0065】

さらに察知されるであろうが、本発明の実施形態においてのプロセスは、ソフトウェア、ファームウェア、またはハードウェアの任意の組合せを使用して実現され得る。ソフトウェアの形で本発明を実践することに対する予備的ステップとして、プログラミングコード（ソフトウェアであろうとファームウェアであろうと）は、典型的には、例えば、電子、磁気、光学、電磁、赤外、もしくは半導体の、システム、装置、もしくはデバイス、または、前述のものの任意の適した組合せの、ただしそれらに制限されない、１つまたは複数のコンピュータ可読記憶媒体内に記憶されることになる。コンピュータ可読記憶媒体のより具体的な例（非網羅的な列挙）は、後に続くもの：１つもしくは複数の電線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、または、前述のものの任意の適した組合せを含むことになる。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる、または、それらと接続しての使用のためのプログラムを、内包または記憶することができる、任意の有形媒体であり得る。

【0066】

プログラミングコードを内包する製造品は、記憶デバイスから直接的にコードを実行することによって、記憶デバイスからハードディスク、ＲＡＭ、その他などの別の記憶デバイス内へとコードをコピーすることによって、または、デジタルおよびアナログ通信リンクなどの伝送タイプ媒体を使用して遠隔実行のためのコードを伝送することによってのいずれかで使用される。本発明の方法は、本発明によるコードを内包する１つまたは複数の機械可読記憶デバイスを、適切な処理ハードウェアと組み合わせて、それらのデバイスに内包されるコードを実行することにより実践され得る。本発明を実践するための装置は、本発明によってコード化されたプログラムを内包する、または、それらのプログラムへのネットワークアクセスを有する、１つまたは複数の処理デバイスおよび記憶システムであり得る。

【0067】

コンピュータ可読信号媒体は、例えばベースバンド内で、または、搬送波の部分として、中で実施されるコンピュータ可読プログラムコードを伴う、伝搬させられるデータ信号を含み得る。そのような伝搬させられる信号は、電磁、光学、または、それらの任意の適した組合せを含むが、それらに制限されない、種々の形式の任意のものをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない、および、命令実行システム、装置、もしくはデバイスによる、または、それらと接続しての使用のためのプログラムを、伝達する、伝搬させる、または移送することができる、任意のコンピュータ可読媒体であり得る。

【0068】

コンピュータ可読媒体上で実施されるプログラムコードは、ワイヤレス、ワイヤライン、光学ファイバケーブル、Ｒ．Ｆ、その他、または、前述のものの任意の適した組合せを含むが、それらに制限されない、任意の適切な媒体を使用して伝送され得る。本発明の態様のための動作を履行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、または同類のものなどのオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組合せの形で書き表され得る。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアローンソフトウェアパッケージとして、部分的にユーザのコンピュータ上、および、部分的にリモートコンピュータ上で、または、完全にリモートコンピュータもしくはサーバ上で実行し得る。後の方のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通してユーザのコンピュータに接続され得るものであり、または、接続は、外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを通して）為され得る。

【0069】

かくして、本発明の例解的な実施形態は、インストールされる（または実行される）ソフトウェアを伴う、十二分に機能的なコンピュータ（サーバ）システムの文脈において説明されるが、当業者は、本発明の例解的な実施形態のソフトウェア態様が、種々の形式でのプログラム製品として配布される能力があるということ、および、本発明の例解的な実施形態が、配布を実際に履行するために使用される媒体の個別のタイプに関係なく、等しく適用されるということを察知するであろうということは重要である。

【0070】

加えて、本発明は、例示的な実施形態を参照して説明されたが、本発明の範囲から逸脱することなく、様々な変更が為され得るものであり、均等物が、それらの実施形態の要素に対して代用され得るということが、当業者により理解されるであろう。さらにまた、多くの変更が、本発明の本質的な範囲から逸脱することなく、個別のシステム、デバイス、または、それらの構成要素を、本発明の教示に適合させるために為され得る。それゆえに、本発明は、本発明を履行するために開示される個別の実施形態に制限されないということ、ただし、本発明は、添付される特許請求の範囲の、範囲の中に該当するすべての実施形態を含むことになるということが意図される。

【0071】

本明細書において使用される際、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別段に明確に指示しない限り、複数形もまた含むことを意図される。用語「備える・含む（３人称単数現在形）」および／または「備える・含む（現在分詞）」は、本明細書において使用されるとき、説述される特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つまたは複数の、他の特徴、整数、ステップ、動作、要素、構成要素、および／または、それらの群の、存在または追加を排除しないということが、さらに理解されるであろう。なおまた、用語、第１の、第２の、その他の使用は、何らかの順序または重要性を表象するものではなく、むしろ、用語、第１の、第２の、その他は、１つの要素を別のものと区別するために使用される。加えて、「ａ」、「ｂ」、「ｃ」、「第１の」、「第２の」、および「第３の」などの列挙する用語は、説明の目的のために、本明細書において、および、添付される特許請求の範囲において使用されるものであり、相対的な重要性または有意性を、指示または含意することは意図されない。

【0072】

下記の特許請求の範囲においての、対応する構造、材料、行為、および、すべてのミーンズまたはステッププラスファンクション要素の均等物は、具体的に請求されるように、他の請求される要素と組み合わせて機能を遂行するための任意の構造、材料、または行為を含むことを意図される。本発明の説明は、例解および説明の目的のために提示されたが、網羅的であること、または、開示される形式での本発明に制限されることは意図されない。多くの変更および変形が、本発明の範囲および趣旨から逸脱することなく、当業者には明白であろう。実施形態は、本発明の原理および実践的な用途を最も良好に解説するために、ならびに、他の当業者が、思索される個別の使用に適するような様々な変更を伴う様々な実施形態のために本発明を理解することを可能にするために、選定および説明されたものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】