7592737 多重免疫蛍光イメージングを使用する組織特性の決定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-22

(45)【発行日】2024-12-02

(54)【発明の名称】多重免疫蛍光イメージングを使用する組織特性の決定

(51)【国際特許分類】

   G01N 33/48 20060101AFI20241125BHJP

   G06T 7/00 20170101ALI20241125BHJP

   G01N 21/64 20060101ALI20241125BHJP

【ＦＩ】

G01N33/48 M

G06T7/00 350C

G06T7/00 630

G01N21/64 F

【請求項の数】 62

(21)【出願番号】P 2022553148

(86)(22)【出願日】2021-03-06

(65)【公表番号】

(43)【公表日】2023-04-25

(86)【国際出願番号】 US2021021265

(87)【国際公開番号】W WO2021178938

(87)【国際公開日】2021-09-10

【審査請求日】2024-03-04

(31)【優先権主張番号】62/986,010

(32)【優先日】2020-03-06

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】519434813

【氏名又は名称】ボストンジーン コーポレイション

【氏名又は名称原語表記】ＢｏｓｔｏｎＧｅｎｅ Ｃｏｒｐｏｒａｔｉｏｎ

【住所又は居所原語表記】９５ Ｓａｗｙｅｒ Ｒｄ． Ｓｕｉｔｅ ５００ Ｗａｌｔｈａｍ， Ｍａｓｓａｃｈｕｓｅｔｔｓ ０２４５３ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ヴィクトル・スヴェコルキン

(72)【発明者】

【氏名】イリア・ガルキン

(72)【発明者】

【氏名】エカテリーナ・ポストヴァロワ

(72)【発明者】

【氏名】ラフシャン・アタウラカノフ

(72)【発明者】

【氏名】アレクサンダー・バガエフ

(72)【発明者】

【氏名】アリナ・ヴァルラモワ

(72)【発明者】

【氏名】パヴェル・オフチャロフ

【審査官】草川 貴史

(56)【参考文献】

【文献】特表２０１８－５０９５９１（ＪＰ，Ａ）

【文献】国際公開第２０２０／００８０７１（ＷＯ，Ａ１）

【文献】特開２０１３－２１３７５６（ＪＰ，Ａ）

【文献】国際公開第２０１９／２１３６１８（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１１０５６７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ３３／４８－３３／９８

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０１Ｎ ２１／６４

(57)【特許請求の範囲】

【請求項1】

少なくとも1つのハードウェアプロセッサを使用して以下のステップを実行すること、を含む、少なくとも１つのコンピュータによって実行される方法：
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数の免疫蛍光画像を含む少なくとも1つのMxIF画像を取得するステップ；
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップであって、当該取得するステップが、前記複数の免疫蛍光画像を分析して前記組織試料の1つまたは複数の損傷した部分を識別するステップ；ここで、当該分析が、以下のステップを含む：
前記複数の免疫蛍光画像のうちの少なくとも2つの免疫蛍光画像の各々の対応する部分を、免疫蛍光画像間の差異を識別するように構成されている第1の訓練済みニューラルネットワークに入力するステップであって、前記少なくとも2つの免疫蛍光画像は、同じマーカーの画像を含む、ステップ；及び
前記第1の訓練済みニューラルネットワークから、前記組織試料の前記損傷した部分の少なくとも1つの分類を取得するステップと、を含む、取得するステップ；
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する
ことによって識別するステップ；及び
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップ。

【請求項2】

前記細胞のうちの前記少なくともいくつかの細胞は、第1の細胞を含み、前記特徴値を決定するステップは、前記少なくとも1つのMxIF画像内の前記第1の細胞の配置に関連付けられている少なくとも1つのピクセル値を使用して前記第1の細胞に対する第1の特徴値を決定するステップを含む、請求項1に記載の方法。

【請求項3】

前記第1の細胞に対する前記第1の特徴値を決定するステップは、前記少なくとも1つのMxIF画像の複数のチャネルにおける前記第1の細胞のそれぞれの配置に関連付けられているピクセル値を使用するステップを含む、請求項2に記載の方法。

【請求項4】

前記複数のチャネルは、複数のマーカーにおけるそれぞれのマーカーに関連付けられ、
前記少なくとも1つのMxIF画像の前記複数のチャネルにおける前記第1の細胞の前記それぞれの配置に関連付けられている前記ピクセル値を使用して前記第1の特徴値を決定するステップは、前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記特定のマーカーが前記第1の細胞において発現している尤度を含むマーカー発現シグネチャを決定するステップを含み、
前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するステ
ップは、
前記マーカー発現シグネチャおよび細胞タイピングデータを使用して前記第1の細胞に対する予測される細胞種類を決定するステップと、
前記予測される細胞種類に基づき前記第1の細胞を前記複数の群のうちの1つに関連付けるステップとを含む、請求項3に記載の方法。

【請求項5】

前記細胞タイピングデータは、複数の細胞種類の各々に対する少なくとも1つのマーカー発現シグネチャを含み、
前記複数の細胞種類のうちの各特定の細胞種類に対する前記少なくとも1つのマーカー発現シグネチャは、前記複数のマーカーのうちのどれが前記特定の細胞種類の細胞において発現するかを示すデータを含む、請求項4に記載の方法。

【請求項6】

前記第1の細胞の前記予測される細胞種類を決定するステップは、前記第1の細胞の前記マーカー発現シグネチャを、前記複数の細胞種類のうちの各特定の細胞種類に対する前記複数のマーカー発現シグネチャのうちの少なくとも1つのマーカー発現シグネチャと比較して、前記予測される細胞種類を決定するステップを含む、請求項5に記載の方法。

【請求項7】

マーカー発現シグネチャを決定するように構成されている第2の訓練済みニューラルネットワークモデルへの入力として、(a)前記少なくとも1つのMxIF画像、及び(b) 情報であって、前記細胞の前記配置を示す情報から、前記複数のチャネルのうちの少なくともいくつかのチャネルにおける前記第1の細胞の配置を示す情報、を提供するステップと、
前記第2の訓練済みニューラルネットワークからの出力として前記マーカー発現シグネチャを取得するステップとをさらに含む、請求項4に記載の方法。

【請求項8】

前記複数のチャネルにおける前記第1の細胞のそれぞれの位置に関連付けられているピクセル値を使用するステップは、前記複数のチャネルの各々について、
前記チャネルにおける前記第1の細胞の前記配置を使用して前記第1の細胞に対するピクセルのセットを識別するステップと、
前記ピクセルの前記セット内のピクセル値の平均ピクセル強度を決定することにより、前記ピクセルの前記セット内の前記ピクセル値に基づき前記第1の細胞に対する前記第1の特徴値のうちの1つの特徴値を決定するステップとを含む、請求項3に記載の方法。

【請求項9】

前記少なくとも1つの特性を決定するステップは、前記組織試料中の細胞種類に関する情報を決定するステップを含む、請求項1に記載の方法。

【請求項10】

前記細胞種類に関する前記情報を決定するステップは、前記少なくとも1つのMxIF画像内の前記細胞のうちの前記少なくともいくつかの細胞の個別の細胞の細胞種類を識別するステップを含み、前記細胞種類は、内皮細胞、上皮細胞、マクロファージ、T細胞、悪性細胞、NK細胞、B細胞、および腺房細胞のうちの1つまたは複数を含む、請求項9に記載の方法。

【請求項11】

前記少なくとも1つの特性を決定するステップは、
前記少なくとも1つのMxIF画像内の腺房の配置を示す腺房マスク；
前記少なくとも1つのMxIF画像内の間質の配置を示す間質マスク；
前記少なくとも1つのMxIF画像内の腫瘍の配置を示す腫瘍マスク；
前記少なくとも1つのMxIF画像における1つまたは複数の細胞クラスタの配置を示す細胞クラスタマスク、
のうちの少なくとも1つを決定するステップを含む、請求項1に記載の方法。

【請求項12】

前記少なくとも1つの特性を決定するステップは、
前記複数の群に基づき前記組織試料中の1つまたは複数の細胞クラスタを決定するステップを含み、当該ステップは、
少なくともいくつかの細胞の各々に対するノード、および前記ノードの間のエッジを含むグラフを生成するステップと
前記少なくともいくつかの細胞の細胞特徴の第1のセットに基づき前記1つまたは複数の細胞クラスタを決定するステップと、
により、前記少なくともいくつかの細胞の各々に対する細胞特徴の前記第1のセットを決定するステップとを含む、請求項1に記載の方法。

【請求項13】

前記組織試料中の前記1つまたは複数の細胞クラスタを決定するステップは、
潜在的空間内の埋め込まれた特徴を取得するためにグラフニューラルネットワークへの入力として前記グラフを提供するステップと、
前記ノードのクラスタを取得するために前記埋め込まれた特徴をクラスタリングするステップと、
前記ノードの前記クラスタを使用して前記1つまたは複数の細胞クラスタを決定するステップとを含む、請求項12に記載の方法。

【請求項14】

前記細胞を含む前記複数の群のうちの1つの群、前記グラフ内の前記ノードのエッジの長さ、およびマスクデータに基づき前記グラフの各ノードに対する細胞特徴の前記第1のセットを決定するステップをさらに含む、請求項12に記載の方法。

【請求項15】

前記グラフニューラルネットワークは、1つまたは複数の畳み込み層であって、最後のグラフ畳み込み層を含む畳み込み層を含み、前記埋め込まれた特徴は、最後のグラフ畳み込み層の活性化に基づき生成される、請求項13に記載の方法。

【請求項16】

前記組織試料の前記少なくとも1つのMxIF画像を取得するステップは、
前記少なくとも1つのMxIF画像の第1のチャネル上でバックグラウンド減算を実行するステップを含む、請求項1に記載の方法。

【請求項17】

前記バックグラウンド減算を実行するステップは、前記第1のチャネルを入力としてバックグラウンド減算を実行するように構成されている第3の訓練済みニューラルネットワークに提供するステップを含み、前記第3の訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む、請求項16に記載の方法。

【請求項18】

前記少なくとも1つの分類は、細胞なしの第1の分類、損傷を受けていない細胞の第2の分類、および/または損傷を受けている細胞の第3の分類を含む分類のセットを含み、
分類の前記セットは、各分類について、前記分類が前記部分に適用される関連付けられている信頼度と、
前記信頼度に基づき、前記部分に対する分類の前記セットから最終分類を選択するステップとを含む、請求項1に記載の方法。

【請求項19】

前記部分の最終分類および前記少なくとも2つの免疫蛍光画像の複数の他の部分に対する前記最終分類を示すパッチマスクを生成するステップと、
前記パッチマスクに基づき、前記組織試料に対するセグメンテーションマスクの一部を除去して、前記除去された部分に関連付けられている前記組織試料の細胞が前記複数の群に含まれないようにするステップをさらに含む請求項18に記載の方法。

【請求項20】

機械学習技術を使用して、前記少なくとも1つのMxIF画像内の前記細胞の前記配置を示す前記情報を取得するステップは、
前記少なくとも1つのMxIF画像の少なくとも1つのチャネルに第4の訓練済みニューラルネットワークを適用して、前記細胞の前記配置を示す前記情報を生成するステップを含む、請求項1に記載の方法。

【請求項21】

前記第4の訓練済みニューラルネットワークは、U-Netアーキテクチャまたは領域ベースの畳み込みニューラルネットワークアーキテクチャを使用して実装され、
前記第4の訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む、請求項20に記載の方法。

【請求項22】

入力画像としての組織試料の訓練免疫蛍光画像のセットと、前記入力画像内の細胞の配置を示す情報を含む関連付けられている出力画像とを使用して前記第4の訓練済みニューラルネットワークを訓練するステップをさらに含む、請求項20に記載の方法。

【請求項23】

前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するステップは、前記決定された特徴値に基づき前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する細胞クラスタリングを実行するステップを含む、請求項1に記載の方法。

【請求項24】

前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するステップは、
前記決定された特徴値を分析して前記細胞のうちの前記少なくともいくつかの細胞の間の関係を決定するステップと、
前記複数の群を、前記複数の群のうちの1つの群の中の各細胞が前記群内の細胞の間の関係を示す特徴値を有するように前記決定された関係に基づき決定するステップとを含む、請求項1に記載の方法。

【請求項25】

少なくとも1つのコンピュータハードウェアプロセッサと、
プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体とを備え、前記プロセッサ実行可能命令は、前記少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数の免疫蛍光画像を含む少なくとも1つのMxIF画像を取得するステップと、
機械学習技術を使用して、前記MxIF画像内の細胞の配置を示す情報を取得するステップであって、当該取得するステップが、前記複数の免疫蛍光画像を分析して前記組織試料の1つまたは複数の損傷した部分を識別するステップを含み、当該分析が、前記複数の免疫蛍光画像のうちの少なくとも2つの免疫蛍光画像の各々の対応する部分を、免疫蛍光画像間の差異を識別するように構成されている第1の訓練済みニューラルネットワークに入力するステップであって、前記少なくとも2つの免疫蛍光画像は、同じマーカーの画像を含む、ステップと、
前記第1の訓練済みニューラルネットワークから、前記組織試料の前記損傷した部分の少なくとも1つの分類を取得するステップと、を含む、取得するステップと、
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する
ことによって識別するステップと、
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップとを、実行させる、システム。

【請求項26】

プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数の免疫蛍光画像を含む少なくとも1つのMxIF画像を取得するステップと、
機械学習技術を使用して、前記MxIF画像内の細胞の配置を示す情報を取得するステップであって、当該取得するステップが、前記複数の免疫蛍光画像を分析して前記組織試料の1つまたは複数の損傷した部分を識別するステップを含み、当該分析が、前記複数の免疫蛍光画像のうちの少なくとも2つの免疫蛍光画像の各々の対応する部分を、免疫蛍光画像間の差異を識別するように構成されている第1の訓練済みニューラルネットワークに入力するステップであって、前記少なくとも2つの免疫蛍光画像は、同じマーカーの画像を含む、ステップと、
前記第1の訓練済みニューラルネットワークから、前記組織試料の前記損傷した部分の少なくとも1つの分類を取得するステップと、を含む、取得するステップと、
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する
ことによって識別するステップと、
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップとを、実行させる、非一時的コンピュータ可読記憶媒体。

【請求項27】

少なくとも1つのコンピュータハードウェアプロセッサを使用して以下のステップを実行すること、を含む、少なくとも１つのコンピュータによって実行される方法：
組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数の免疫蛍光画像を含む少なくとも1つのMxIF画像を取得するステップ；、
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の少なくとも1つの細胞の配置を示す情報を取得するステップであって、当該取得するステップが、前記複数の免疫蛍光画像を分析して前記組織試料の1つまたは複数の損傷した部分を識別するステップ；ここで、当該分析が、以下のステップを含む：
前記複数の免疫蛍光画像のうちの少なくとも2つの免疫蛍光画像の各々の対応する部分を、免疫蛍光画像間の差異を識別するように構成されている第1の訓練済みニューラルネットワークに入力するステップであって、前記少なくとも2つの免疫蛍光画像は、同じマーカーの画像を含む、ステップと、前記第1の訓練済みニューラルネットワークから、前記組織試料の前記損傷した部分の少なくとも1つの分類を取得するステップと、を含む、取得するステップ；
前記少なくとも1つのMxIF画像内で発現されている複数のマーカーおよび前記少なくとも1つのMxIF画像内の前記少なくとも1つの細胞の前記配置を示す前記情報に基づき前記組織試料中の前記少なくとも1つの細胞に対するマーカー発現シグネチャを決定するステップ；及び
前記マーカー発現シグネチャを、複数の異なる種類の細胞に対する少なくとも1つのマーカー発現シグネチャを含む細胞タイピングデータと比較して、前記細胞に対する細胞種類を決定するステップ。

【請求項28】

前記少なくとも1つの細胞の前記細胞種類に基づき前記組織試料の少なくとも1つの特性を決定するステップをさらに含む、請求項27に記載の方法。

【請求項29】

少なくとも1つのハードウェアプロセッサを使用して以下のステップを実行すること、を含む、少なくとも１つのコンピュータによって実行される方法：
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像を取得するステップであって、当該取得するステップが、前記少なくとも1つのMxIF画像の第1のチャネル上でバックグラウンド減算を実行するステップを含み、当該実行するステップが、前記第1のチャネルを入力としてバックグラウンド減算を実行するように構成されている訓練済みニューラルネットワークに提供するステップを含み、前記訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む、取得するステップ；
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップ；
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する
ことによって識別するステップ；及び
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップ。

【請求項30】

少なくとも1つのコンピュータハードウェアプロセッサと、
プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体とを備え、前記プロセッサ実行可能命令は、前記少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像を取得するステップであって、当該取得するステップが、前記少なくとも1つのMxIF画像の第1のチャネル上でバックグラウンド減算を実行するステップを含み、当該実行するステップが、前記第1のチャネルを入力としてバックグラウンド減算を実行するように構成されている訓練済みニューラルネットワークに提供するステップを含み、前記訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む、取得するステップと、
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップと、
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する
ことによって識別するステップと、
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップとを、実行させる、システム。

【請求項31】

プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、以下のステップを実行させる、非一時的コンピュータ可読記憶媒体：
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像を取得するステップであって、当該取得するステップが、前記少なくとも1つのMxIF画像の第1のチャネル上でバックグラウンド減算を実行するステップを含み、当該実行するステップが、前記第1のチャネルを入力としてバックグラウンド減算を実行するように構成されている訓練済みニューラルネットワークに提供するステップを含み、前記訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む、取得するステップ；
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップ；
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する
ことによって識別するステップ；及び
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップ。

【請求項32】

少なくとも1つのハードウェアプロセッサを使用して以下のステップを実行すること、を含む、少なくとも１つのコンピュータによって実行される方法；
組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数のマーカーにおけるそれぞれのマーカーに関連付けられている複数のチャネルを含む、少なくとも1つのMxIF画像を取得するステップ；
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップ；
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対するピクセル値を識別し、
訓練済みニューラルネットワークを使用して、識別されたピクセル値を少なくとも一部使用することにより、前記少なくともいくつかの細胞についてのマーカー発現シグネチャであって、特定の細胞についての各マーカー発現シグネチャが前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記特定のマーカーが前記特定の細胞において発現している前記訓練済みニューラルネットワークによって出力されたそれぞれの尤度を含む、マーカー発現シグネチャを決定し、
前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することであって、前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記訓練済みニューラルネットワークによる前記それぞれの尤度の出力を用いることにより実施される、グループ化する
ことによって識別するステップ；及び
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップ。

【請求項33】

前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することは、クラスタリングアルゴリズムを使用して、前記マーカー発現シグネチャに基づき前記細胞のうちの前記少なくともいくつかの細胞をグループ化することを含む、請求項３２に記載の方法。

【請求項34】

前記クラスタリングアルゴリズムが、前記少なくとも1つのMxIF画像における複数のチャネルにおける前記少なくともいくつかの細胞のそれぞれの配置の平均ピクセル値に基づき、前記少なくともいくつかの細胞をグループ化する、請求項３３に記載の方法。

【請求項35】

前記クラスタリングアルゴリズムが、前記少なくとも1つのMxIF画像における複数のチャンネルにおける前記少なくともいくつかの細胞のそれぞれの配置の中央値ピクセル値に基づき、前記少なくともいくつかの細胞をグループ化する、請求項３３に記載の方法。

【請求項36】

前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することが、
前記マーカー発現シグネチャを解析して、前記少なくともいくつかの細胞の間の関係を決定するステップと、
前記複数の群内の各細胞が細胞群内の細胞の間の関係を示す特徴値を有するように、決定された関係に基づき前記複数の群を決定するステップと
を含む、請求項３２に記載の方法。

【請求項37】

前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することが、
前記マーカー発現シグネチャおよび細胞タイピングデータを使用して第1の細胞に対する予測される細胞種類を決定するステップと、
前記予測される細胞種類に基づき前記第1の細胞を前記複数の群のうちの1つに関連付けるステップと、
を含む、請求項３２に記載の方法。

【請求項38】

前記細胞タイピングデータは、複数の細胞種類の各々に対する少なくとも1つのマーカー発現シグネチャを含み、
前記複数の細胞種類のうちの各特定の細胞種類に対する前記少なくとも1つのマーカー発現シグネチャは、前記複数のマーカーのうちのどれが前記特定の細胞種類の細胞において発現するかを示すデータを含む、請求項３７に記載の方法。

【請求項39】

前記第1の細胞の前記予測される細胞種類を決定するステップは、前記第1の細胞の前記マーカー発現シグネチャを、前記複数の細胞種類のうちの各特定の細胞種類に対する前記複数のマーカー発現シグネチャのうちの少なくとも1つのマーカー発現シグネチャと比較して、前記予測される細胞種類を決定するステップを含む、請求項３８に記載の方法。

【請求項40】

前記少なくともいくつかの細胞のうちの第1の細胞について、第1のマーカー発現シグネチャを決定するステップであって、
前記複数のチャネルにおける前記第1の細胞のそれぞれの位置に関連付けられているピクセル値を使用するステップは、前記複数のチャネルの各々について、
前記チャネルにおける前記第1の細胞の前記配置を使用して前記第1の細胞に対するピクセルのセットを識別することと、
前記ピクセルの前記セット内のピクセル値の平均ピクセル強度を決定することにより、前記ピクセルの前記セット内の前記ピクセル値に基づき、前記チャネルに関連付けられている少なくとも1つのマーカーが第1の細胞に対して発現している尤度を決定すること、とを含む、決定するステップをさらに含む、請求項３２に記載の方法。

【請求項41】

前記少なくとも1つの特性を決定するステップは、前記組織試料中の細胞種類に関する情報を決定するステップを含む、請求項３２に記載の方法。

【請求項42】

前記細胞種類に関する前記情報を決定するステップは、前記少なくとも1つのMxIF画像内の前記細胞のうちの前記少なくともいくつかの細胞の個別の細胞の細胞種類を識別するステップを含み、前記細胞種類は、内皮細胞、上皮細胞、マクロファージ、T細胞、悪性細胞、NK細胞、B細胞、および腺房細胞のうちの1つまたは複数を含む、請求項４１に記載の方法。

【請求項43】

前記少なくとも1つの特性を決定するステップは、
前記少なくとも1つのMxIF画像内の腺房の配置を示す腺房マスク；
前記少なくとも1つのMxIF画像内の間質の配置を示す間質マスク；
前記少なくとも1つのMxIF画像内の腫瘍の配置を示す腫瘍マスク；
前記少なくとも1つのMxIF画像における1つまたは複数の細胞クラスタの配置を示す細胞クラスタマスク、
のうちの少なくとも1つを決定するステップを含む、請求項３２に記載の方法。

【請求項44】

前記少なくとも1つの特性を決定するステップは、
前記複数の群に基づき前記組織試料中の1つまたは複数の細胞クラスタを決定するステップを含み、当該ステップは、
前記細胞のうちの前記少なくともいくつかの細胞の各々に対するノード、および前記ノードの間のエッジを含むグラフを生成するステップと
前記細胞のうちの前記少なくともいくつかの細胞の細胞特徴の第1のセットに基づき前記1つまたは複数の細胞クラスタを決定するステップと、
により、前記細胞のうちの前記少なくともいくつかの細胞の各々に対する細胞特徴の前記第1のセットを決定するステップとを含む、請求項３２に記載の方法。

【請求項45】

前記組織試料中の前記1つまたは複数の細胞クラスタを決定するステップは、
潜在的空間内の埋め込まれた特徴を取得するためにグラフニューラルネットワークへの入力として前記グラフを提供するステップと、
前記ノードのクラスタを取得するために前記埋め込まれた特徴をクラスタリングするステップと、
前記ノードの前記クラスタを使用して前記1つまたは複数の細胞クラスタを決定するステップとを含む、請求項４４に記載の方法。

【請求項46】

前記細胞を含む前記複数の群のうちの1つの群、前記グラフ内の前記ノードのエッジの長さ、およびマスクデータに基づき前記グラフの各ノードに対する細胞特徴の前記第1のセットを決定するステップをさらに含む、請求項４４に記載の方法。

【請求項47】

前記グラフニューラルネットワークは、1つまたは複数の畳み込み層であって、最後のグラフ畳み込み層を含む畳み込み層を含み、前記埋め込まれた特徴は、最後のグラフ畳み込み層の活性化に基づき生成される、請求項４５に記載の方法。

【請求項48】

機械学習技術を使用して、前記少なくとも1つのMxIF画像内の前記細胞の前記配置を示す前記情報を取得するステップは、
前記少なくとも1つのMxIF画像の少なくとも1つのチャネルに、前記ニューラルネットワークとは異なる第2のニューラルネットワークを適用して、前記細胞の前記配置を示す前記情報を生成するステップを含む、請求項３２に記載の方法。

【請求項49】

前記第2のニューラルネットワークは、U-Netアーキテクチャまたは領域ベースの畳み込みニューラルネットワークアーキテクチャを使用して実装され、
前記第2のニューラルネットワークは、少なくとも100万個のパラメータを含む、請求項４８に記載の方法。

【請求項50】

入力画像としての組織試料の訓練免疫蛍光画像のセットと、前記入力画像内の細胞の配置を示す情報を含む関連付けられている出力画像とを使用して前記第2のニューラルネットワークを訓練するステップをさらに含む、請求項４８に記載の方法。

【請求項51】

前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するステップは、前記決定されたマーカー発現シグネチャに基づき前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する細胞クラスタリングを実行するステップを含む、請求項３２に記載の方法。

【請求項52】

少なくとも1つのコンピュータハードウェアプロセッサと、
プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体とを備え、前記プロセッサ実行可能命令は、前記少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、
組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数のマーカーにおけるそれぞれのマーカーに関連付けられている複数のチャネルを含む、少なくとも1つのMxIF画像を取得するステップと、
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップと、
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対するピクセル値を識別し、
ニューラルネットワークを使用して、識別されたピクセル値を少なくとも一部使用することにより、前記少なくともいくつかの細胞についてのマーカー発現シグネチャであって、特定の細胞についての各マーカー発現シグネチャが前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記特定のマーカーが前記特定の細胞において発現しているニューラルネットワークによって出力されたそれぞれの尤度を含む、マーカー発現シグネチャを決定し、
前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することであって、前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記ニューラルネットワークによる前記それぞれの尤度の出力を用いることにより実施される、グループ化する
ことによって識別するステップと、
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップと
を、実行させる、システム。

【請求項53】

前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することは、クラスタリングアルゴリズムを使用して、前記マーカー発現シグネチャに基づき前記細胞のうちの前記少なくともいくつかの細胞をグループ化することを含む、請求項５２に記載のシステム。

【請求項54】

前記クラスタリングアルゴリズムが、前記少なくとも1つのMxIF画像における複数のチャネルにおける前記少なくともいくつかの細胞のそれぞれの配置の平均ピクセル値に基づき、前記少なくともいくつかの細胞をグループ化する、請求項５３に記載のシステム。

【請求項55】

前記クラスタリングアルゴリズムが、前記少なくとも1つのMxIF画像における複数のチャンネルにおける前記少なくともいくつかの細胞のそれぞれの配置の中央値ピクセル値に基づき、前記少なくともいくつかの細胞をグループ化する、請求項５３に記載のシステム。

【請求項56】

前記複数の群のうちの少なくとも1つが、異なる細胞種類の細胞を含む、請求項５２に記載のシステム。

【請求項57】

前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することが、
前記マーカー発現シグネチャを解析して、前記少なくともいくつかの細胞の間の関係を決定するステップと、
前記複数の群内の各細胞が細胞群内の細胞の間の関係を示す特徴値を有するように、決定された関係に基づき前記複数の群を決定するステップと
を含む、請求項５２に記載のシステム。

【請求項58】

前記命令が、前記少なくとも1つのコンピュータハードウェアプロセッサに、
前記少なくともいくつかの細胞のうちの第1の細胞について、第1のマーカー発現シグネチャを決定するステップであって、
前記複数のチャネルにおける前記第1の細胞のそれぞれの位置に関連付けられているピクセル値を使用するステップは、前記複数のチャネルの各々について、
前記チャネルにおける前記第1の細胞の前記配置を使用して前記第1の細胞に対するピクセルのセットを識別することと、
前記ピクセルの前記セット内のピクセル値の平均ピクセル強度を決定することにより、前記ピクセルの前記セット内の前記ピクセル値に基づき、前記チャネルに関連付けられている少なくとも1つのマーカーが第1の細胞に対して発現している尤度を決定すること、とを含む、決定するステップとを、実行させる、請求項５２に記載のシステム。

【請求項59】

プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、前記少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、
組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数のマーカーにおけるそれぞれのマーカーに関連付けられている複数のチャネルを含む、少なくとも1つのMxIF画像を取得するステップと、
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップと、
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対するピクセル値を識別し、
ニューラルネットワークを使用して、識別されたピクセル値を少なくとも一部使用することにより、前記少なくともいくつかの細胞についてのマーカー発現シグネチャであって、特定の細胞についての各マーカー発現シグネチャが前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記特定のマーカーが前記特定の細胞において発現しているニューラルネットワークによって出力されたそれぞれの尤度を含む、マーカー発現シグネチャを決定し、
前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することであって、前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記ニューラルネットワークによる前記それぞれの尤度の出力を用いることにより実施される、グループ化する
ことによって識別するステップと、
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップと
を、実行させる、非一時的コンピュータ可読記憶媒体。

【請求項60】

少なくとも1つのハードウェアプロセッサを使用して以下のステップを実行すること、を含む、少なくとも１つのコンピュータによって実行される方法：
同一組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数のマーカーにおけるそれぞれのマーカーに関連付けられている複数のチャネルを含む、少なくとも1つのMxIF画像を取得するステップ；
U-Netアーキテクチャまたは領域ベースの畳み込みニューラルネットワークアーキテクチャを使用して実装されるニューラルネットワークであって、少なくとも100万個のパラメータを含むニューラルネットワークを使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップ；
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対するピクセル強度値を識別し、
少なくとも一部には、前記ニューラルネットワークと異なるグラフニューラルネットワークを使用してクラスタリングすることにより、前記細胞のうちの前記少なくともいくつかの細胞をグループ化するステップ；ここで、前記細胞の配置を示す情報が、少なくともいくつかの細胞の細胞境界を示す情報を含み、前記クラスタリングが、
前記少なくともいくつかの細胞のうちの各特定の細胞について、少なくともいくつかの細胞の細胞境界を示す情報を使用して、前記特定の細胞の境界内のピクセルを識別するステップと
前記特定の細胞の境界内の識別されたピクセルに対する、識別されたピクセル強度値を使用して、少なくとも1つの特徴値を計算するステップと
により、前記細胞のうちの前記少なくともいくつかの細胞をグループ化することを含む；
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップであって、前記組織試料中の細胞種類に関する情報を決定すること、及び／又は前記細胞種類の空間分布を決定することを含む、前記組織試料の少なくとも1つの特性を決定するステップ。

【請求項61】

前記尤度が０より大きく１より小さい値をとる、請求項３２に記載の方法。

【請求項62】

前記クラスタリングが、階層的クラスタリング、密度ベースのクラスタリング、k-meansクラスタリング、自己組織化マップクラスタリング、または最小スパニング木クラスタリングを実行するステップを含む、請求項６０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、内容全体が参照により本明細書に組み込まれている、2020年3月6日に出願した米国仮出願第62/986,010号、名称「DETERMINING TISSUE CHARACTERISTICS USING MULTIPLEXED IMMUNOFLUORESCENCE IMAGING」の米国特許法第119条(e)項に基づく利益を主張するものである。

【背景技術】

【0002】

多重免疫蛍光(MxIF: multiplexed immunofluorescence)イメージングは、単一の生体試料(たとえば、組織試料)中の複数の蛍光細胞および/または組織学的マーカーをイメージングするための技術である。MxIFイメージングは、染色、イメージング、色素化学的不活性化(たとえば、漂白)、再イメージングを数回繰り返して、複数の蛍光マーカーを生体試料中の同じ関心領域上に層状に重ねることを伴う。次いで、マーカーの蛍光が画像を形成するために使用される。MxIFイメージングは、単一の組織試料に対して複数の異なるマーカー(たとえば、30から100個のマーカー)をイメージングすることを可能にし、これにより、組織の単一の切片からより多くの情報を少しずつ集めることができる。

【0003】

MxIFイメージングの一部として、細胞膜、細胞質、ならびに細胞の細胞膜、細胞質、および核領域内でそれぞれ結合する核マーカーを含む異なる種類のマーカーが使用され得る。したがって、その結果得られる画像は、細胞下レベルで組織分析を可能にする。

【先行技術文献】

【非特許文献】

【0004】

【文献】Yury Goltsevら、「Deep Profiling of Mouse Splenic Architecture with CODEX Multiplexed Imaging」、PMID:30078711(2018年8月)

【文献】Stuart Bergら、「ilastik: interactive machine learning for (bio) image analysis」(2019年9月)

【文献】Peter Bankheadら、「QuPath: Open source software for digital pathology image analysis」(2017年12月)

【文献】Kaiming Heら「Deep Residual Learning for Image Recognition」、arXiv:1512.03385v1(2015年12月)

【文献】Mingxing TanおよびQuoc Le「EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks」、arXiv:1905.11946v5(2020年9月)

【文献】Kaiming Heら、「Mask R-CNN」、arXiv:1703.06870(2018年1月)

【文献】Petar Velickovicら、「Deep Graph Infomax」、ICLR 2019 Conference Blind Submission (2018年9月27日)

【文献】arXiv:1809.10341

【文献】Thomas KipfおよびMax Welling、「Semi-Supervised Classification with Graph Convolutional Networks」、arXiv1609.02907(217年2月)

【文献】William Hamiltonら、「Inductive Representation Learning on Large Graphs」、arXiv1706.02216(2018年9月)

【文献】Navaneeth Bodla、「Improving Object Detection With One Line of Code」、arXiv:1704.04503v2(2017年8月)

【文献】Alexander Kirillov、「Panoptic Segmentation」、arXiv:1801.00868(2019年4月)

【発明の概要】

【課題を解決するための手段】

【0005】

いくつかの実施形態は、少なくとも1つのコンピュータハードウェアプロセッサを使用して、同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像を取得することと、少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得することと、少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、少なくとも1つのMxIF画像と少なくとも1つのMxIF画像内の細胞の配置を示す情報とを使用して細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、決定された特徴値を使用してそれらの細胞のうちの少なくともいくつかの細胞を複数の群にグループ化することによって識別することと、複数の群を使用して組織試料の少なくとも1つの特性を決定することとを、実行することを含む方法を提供する。

【0006】

いくつかの実施形態は、少なくとも1つのコンピュータハードウェアプロセッサと、プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体とを備え、プロセッサ実行可能命令は、少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに少なくとも1つのコンピュータハードウェアプロセッサに、同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像を取得することと、少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得することと、少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、少なくとも1つのMxIF画像と少なくとも1つのMxIF画像内の細胞の配置を示す情報とを使用してそれらの細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、決定された特徴値を使用してそれらの細胞のうちの少なくともいくつかの細胞を複数の群にグループ化することによって識別することと、複数の群を使用して組織試料の少なくとも1つの特性を決定することとを実行させる、システムを提供する。

【0007】

いくつかの実施形態は、プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体であって、プロセッサ実行可能命令は少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、少なくとも1つのコンピュータハードウェアプロセッサに、同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像を取得することと、少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得することと、少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、少なくとも1つのMxIF画像と少なくとも1つのMxIF画像内の細胞の配置を示す情報とを使用してそれらの細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、決定された特徴値を使用してそれらの細胞のうちの少なくともいくつかの細胞を複数の群にグループ化することによって識別することと、複数の群を使用して組織試料の少なくとも1つの特性を決定することとを実行させる、非一時的コンピュータ可読記憶媒体を提供する。

【0008】

いくつかの実施形態は、少なくとも1つのコンピュータハードウェアプロセッサを使用して、組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像を取得することと、少なくとも1つのMxIF画像内の少なくとも1つの細胞の配置を示す情報を取得することと、少なくとも1つのMxIF画像内で発現されている複数のマーカーおよび少なくとも1つのMxIF画像内の細胞の配置を示す情報に基づき組織試料中の細胞に対するマーカー発現シグネチャを決定することと、マーカー発現シグネチャを、複数の異なる種類の細胞に対する少なくとも1つのマーカー発現シグネチャを含む細胞タイピングデータと比較して、細胞に対する細胞種類を決定することと、を実行することを含む方法を提供する。

【0009】

いくつかの実施形態は、少なくとも1つのコンピュータハードウェアプロセッサと、少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに少なくとも1つのコンピュータハードウェアプロセッサに、組織試料の少なくとも1つのMxIF画像を取得することと、少なくとも1つのMxIF画像内の少なくとも1つの細胞の配置を示す情報を取得することと、少なくとも1つのMxIF画像内で発現されている複数のマーカーおよび少なくとも1つのMxIF画像内の細胞の配置を示す情報に基づき組織試料中の細胞に対するマーカー発現シグネチャを決定することと、マーカー発現シグネチャを、複数の異なる種類の細胞に対する少なくとも1つのマーカー発現シグネチャを含む細胞タイピングデータと比較して、細胞に対する細胞種類を決定することとを、実行させるプロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体とを備えるシステムを提供する。

【0010】

いくつかの実施形態は、プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体であって、プロセッサ実行可能命令は少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、少なくとも1つのコンピュータハードウェアプロセッサに、組織試料の少なくとも1つのMxIF画像を取得することと、少なくとも1つのMxIF画像内の少なくとも1つの細胞の配置を示す情報を取得することと、少なくとも1つのMxIF画像内で発現されている複数のマーカーおよび少なくとも1つのMxIF画像内の細胞の配置を示す情報に基づき組織試料中の細胞に対するマーカー発現シグネチャを決定することと、マーカー発現シグネチャを、複数の異なる種類の細胞に対する少なくとも1つのマーカー発現シグネチャを含む細胞タイピングデータと比較して、細胞に対する細胞種類を決定することとを、実行させるプロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体を提供する。

【0011】

様々な態様および実施形態は、次の図を参照しつつ説明される。図が必ずしも縮尺通り描かれていないことは、理解されるべきである。複数の図に現れる項目は、それらが現れるすべての図において同じ、または類似の参照番号によって示される。

【図面の簡単な説明】

【0012】

【図1】本明細書に記載の技術のいくつかの実施形態による、多重免疫蛍光(MxIF)画像処理のための例示的なシステムを絵入りで例示している図である。

【図2】本明細書に記載の技術のいくつかの実施形態による、MxIF画像、およびMxIF画像を処理することによって生成され得る関連データを示す図である。

【図3】本明細書に記載の技術のいくつかの実施形態による、組織試料のMxIF画像を処理して組織試料中の細胞の特性を決定するためのパイプラインの例示的なコンポーネントを示す図である。

【図4A】本明細書に記載の技術のいくつかの実施形態による、図3のコンポーネントのうちのいくつかを使用するMxIF画像の例示的な処理フローを示す図である。

【図4B】本明細書に記載の技術のいくつかの実施形態による、任意選択の組織劣化チェックコンポーネントを含む図4AのMxIF画像の例示的な処理フローを示す図である。

【図4C】本明細書に記載の技術のいくつかの実施形態による、同じ組織試料の2つの核マーカー画像を比較することによって決定される組織劣化情報に基づき生成されるパッチマスク(patch mask)を示す図である。

【図4D】いくつかの実施形態による、処理する組織試料の領域をフィルタリングするための図4Cからのパッチマスクの使用を示す図である。

【図5A】本明細書に記載の技術のいくつかの実施形態による、組織の少なくとも1つの特性を決定するために組織試料の細胞をグループ化するために細胞配置データに基づき組織試料のMxIF画像を処理する例示的なコンピュータ化プロセスを示すフローチャートである。

【図5B】本明細書に記載の技術のいくつかの実施形態による、細胞配置データの関連付けられている細胞配置に対する特徴値の一例を示す図である。

【図6A】本明細書に記載の技術のいくつかの実施形態による、組織試料中の細胞の細胞配置データに基づき組織試料のMxIF画像を処理して細胞の種類を予測するための例示的なコンピュータ化プロセスを示すフローチャートである。

【図6B】いくつかの実施形態による、細胞タイピングに使用される免疫蛍光画像および細胞配置データの例を示す図である。

【図6C】本明細書に記載の技術のいくつかの実施形態による、予測される細胞種類を決定するために細胞タイピングデータと比較される発現データを生成するためにニューラルネットワークを使用する一例を示す図である。

【図6D】本明細書に記載の技術のいくつかの実施形態による、予測される細胞種類を決定するために細胞タイピングテーブルと比較される確率テーブルを生成するためにニューラルネットワークを使用する例を示す図である。

【図6E】本明細書に記載の技術のいくつかの実施形態による、予測される細胞種類を決定するために細胞タイピングテーブルと比較される確率テーブルを生成するためにニューラルネットワークを使用する例を示す図である。

【図7A】本明細書に記載の技術のいくつかの実施形態による、細胞配置データに基づき組織試料のMxIF画像を処理して組織試料の細胞を複数の細胞群にクラスタリングするための例示的なコンピュータ化プロセスを示すフローチャートである。

【図7B】本明細書に記載の技術のいくつかの実施形態による、グラフニューラルネットワークを使用して細胞特徴(局所的細胞特徴)の第1のセットを処理して細胞の1つまたは複数のコミュニティを識別するための例示的なコンピュータ化プロセスを示すフローチャートである。

【図7C】いくつかの実施形態による、細胞種類に基づき陰影付けされている組織輪郭の画像、および細胞クラスタに基づき陰影付けされた輪郭を有する同じ組織の画像の例を示す図である。

【図8】本明細書に記載の技術のいくつかの実施形態による、例示的なMxIF画像およびMxIF画像に対する手動細胞配置/セグメンテーションデータを示す図である。

【図9-1】本明細書に記載の技術のいくつかの実施形態による、細胞配置情報を識別するようにニューラルネットワークを訓練するために使用できる画像の例を示す図である。

【図9-2】図９－１の続きを示す図である。

【図10】本明細書に記載の技術のいくつかの実施形態による、腫瘍の取得されたMxIF画像を処理して細胞セグメンテーションデータを生成するために畳み込みニューラルネットワークモデルを使用する例を絵入りで例示する図である。

【図11】本明細書に記載の技術のいくつかの実施形態による、免疫蛍光画像を処理して細胞配置/セグメンテーションデータを生成するためにニューラルネットワークの別の例示的な使用を絵入りで例示する図である。

【図12】本明細書に記載の技術のいくつかの実施形態による、MxIF画像およびMxIF画像に基づき生成される細胞セグメンテーションデータを示す図である。

【図13】本明細書に記載の技術のいくつかの実施形態による、合成蛍光画像および合成蛍光画像に基づき生成された細胞セグメンテーションデータを示す図である。

【図14】本明細書に記載の技術のいくつかの実施形態による、腎臓組織の取得された例示的なMxIF画像に対する例示的な細胞セグメンテーションデータを示す図である。

【図15】本明細書に記載の技術のいくつかの実施形態による、明細胞腎細胞癌(CCRCC)のMxIF画像および対応する細胞セグメンテーションデータを示す図である。

【図16】本明細書に記載の技術のいくつかの実施形態による、CCRCCのMxIF画像および対応する細胞セグメンテーションデータを示す図である。

【図17】本明細書に記載の技術のいくつかの実施形態による、生の免疫蛍光画像からノイズを減算するためのノイズ減算閾値を予測するための畳み込みネットワークアーキテクチャを示す図である。

【図18】本明細書に記載の技術のいくつかの実施形態による、MxIF画像を処理することによって決定され得る例示的な組織特性を例示する図である。

【図19A】本明細書に記載の技術のいくつかの実施形態による、免疫蛍光画像を処理することによって生成される間質マスクおよび腺房マスクの図である。

【図19B】本明細書に記載の技術のいくつかの実施形態による、組織試料の特徴を使用して物体マスクを生成することを示す図である。

【図20-1】本明細書に記載の技術のいくつかの実施形態による、腺房の形状、面積、および周長を測定する例を示す図である。

【図20-2】図２０－１の続きを示す図である。

【図21-1】本明細書に記載の技術のいくつかの実施形態による、空間分布特性の例を示す図である。

【図21-2】図２１－１の続きを示す図である。

【図21-3】図２１－１の続きを示す図である。

【図21-4】図２１－１の続きを示す図である。

【図22-1】本明細書に記載の技術のいくつかの実施形態による、空間的組織化特性の例を示す図である。

【図22-2】図２２－１の続きを示す図である。

【図23-1】本明細書に記載の技術のいくつかの実施形態による、2人の異なる患者に対する免疫蛍光画像の細胞接触情報の一例を示す図である。

【図23-2】図２３－１の続きを示す図である。

【図24-1】本明細書に記載の技術のいくつかの実施形態による、図23の2人の異なる患者に対する細胞近傍情報に関する情報の例を示す図である。

【図24-2】図２４－１の続きを示す図である。

【図25】本明細書に記載の技術のいくつかの実施形態による、MxIF画像および対応する間質セグメンテーションマスクの2つの例を示す図である。

【図26】本明細書に記載の技術のいくつかの実施形態による、例示的なMxIF画像、セグメンテーションマスク、および対応する細胞群を示す図である。

【図27】本明細書に記載の技術のいくつかの実施形態による、細胞群を生成するための完全なMxIFスライド処理の一例を示す図である。

【図28】本明細書に記載の技術のいくつかの実施形態による、免疫蛍光画像を処理することによって生成される復元細胞配置構成の図である。

【図29】本明細書に記載の技術のいくつかの実施形態による、4',6-ジアミジノ-2-フェニルインドール(DAPI)染色免疫蛍光画像と、DAPI画像に対する異なる細胞群の2つの画像とを示す図である。

【図30】本明細書に記載の技術のいくつかの実施形態による、異なるCCRCC組織試料に対する細胞群を示す図である。

【図31】本明細書に記載の技術のいくつかの実施形態による、図14からの腎臓組織の取得された例示的なMxIF画像に対する例示的な細胞群を示す図である。

【図32】本明細書に記載の技術のいくつかの実施形態による、異なる明細胞腎細胞癌(CCRCC)組織試料に対する細胞群の画像のセットを示す図である。

【図33】本明細書に記載の技術のいくつかの実施形態による、異なるCCRCC組織試料に対する細胞群の一連の画像を示す図である。

【図34-1】本明細書に記載の技術のいくつかの実施形態による、CCRCC組織試料の2つの異なるMxIF画像の分析結果を示す図である。

【図34-2】図３４－１の続きを示す図である。

【図35-1】本明細書に記載の技術のいくつかの実施形態による、CCRCC組織試料のMxIF画像の分析結果を示す図である。

【図35-2】図３５－１の続きを示す図である。

【図36A】本明細書に記載の技術のいくつかの実施形態による、細胞の量および比率を例示する図である。

【図36B-1】本明細書に記載の技術のいくつかの実施形態による、細胞の量および比率を例示する図である。

【図36B-2】図３６Ｂ－１の続きを示す図である。

【図36B-3】図３６Ｂ－１の続きを示す図である。

【図37】本明細書に記載の技術のいくつかの実施形態による、細胞分布特性を例示する図である。

【図38A-1】本明細書に記載の技術のいくつかの実施形態による、組織学的特徴のパーセンテージヒートマップおよび分布密度を示す図である。

【図38A-2】図３８Ａ－１の続きを示す図である。

【図38B-1】本明細書に記載の技術のいくつかの実施形態による、組織学的特徴のパーセンテージヒートマップおよび分布密度を示す図である。

【図38B-2】図３８Ｂ－１の続きを示す図である。

【図39-1】本明細書に記載の技術のいくつかの実施形態による、細胞近傍情報および細胞接触特性を示す図である。

【図39-2】図３９－１の続きを示す図である。

【図39-3】図３９－１の続きを示す図である。

【図40-1】本明細書に記載の技術のいくつかの実施形態による、マーカー発現の特性のtSNEプロットの例を示す図である。

【図40-2】図４０－１の続きを示す図である。

【図41-1】本明細書に記載の技術のいくつかの実施形態による、マーカー発現の特性のtSNEプロットの例を示す別の例示する図である。

【図41-2】図４１－１の続きを示す図である。

【図42】本明細書に記載の技術のいくつかの実施形態による、4',6-ジアミジノ-2-フェニルインドール(DAPI)不均一染色免疫蛍光画像に対する細胞セグメンテーションデータを決定するための畳み込みニューラルネットワークの使用を絵入りで例示する図である。

【図43】本明細書に記載の技術のいくつかの実施形態による、組織試料のDAPI染色免疫蛍光画像とCD3細胞マーカー画像との組合せに基づき生成された第1の細胞マスクを絵入りで例示する図である。

【図44】本明細書に記載の技術のいくつかの実施形態による、図43のDAPI染色免疫蛍光画像とCD21細胞マーカー画像との組合せに基づき生成された第2の細胞マスクを絵入りで例示する図である。

【図45】本明細書に記載の技術のいくつかの実施形態による、図43のDAPI染色免疫蛍光画像とCD11c細胞マーカー画像との組合せに基づき生成された第3の細胞マスクを絵入りで例示する図である。

【図46】本明細書に記載の技術のいくつかの実施形態による、図43の組織試料のMxIF画像に基づき生成された血管マスクを絵入りで例示する図である。

【図47】本明細書に記載の技術のいくつかの実施形態による、図43～図46のマスクを使用して生成された細胞群を絵入りで例示する図である。

【図48】本明細書に記載の技術のいくつかの実施形態による、前立腺組織試料および悪性部位に対する細胞群のセットを示す図である。

【図49】本明細書に記載の技術のいくつかの実施形態による、図48の前立腺組織試料の一部の拡大図である。

【図50】本明細書に記載の技術のいくつかの実施形態による、4人の異なる患者から採取された前立腺組織試料の細胞群のセットを示す図である。

【図51】本明細書に記載の技術の実施形態のいずれかと関連して使用され得るコンピュータシステムの例示的な実装形態の図である。

【図52】いくつかの実施形態による、本明細書に記載の技術の実装形態および従来技術を使用して生成された細胞配置情報の2つの例示的な比較を示す図である。

【図53】いくつかの実施形態による、本明細書に記載の技術の実装形態および従来技術を使用して生成された細胞配置情報の2つの例示的な比較を示す図である。

【発明を実施するための形態】

【0013】

本発明者らは、たとえば、癌もしくは別の疾病を有する、または有する疑いがある、または有するリスクがある人の組織試料の多重免疫蛍光(MxIF)画像などの生体試料の多重化画像を処理するための新しい画像処理および機械学習技術を開発した。そのような画像は、たとえば、標識薬剤として標識抗体を使用して取得できる。各抗体は、蛍光標識、化学標識、酵素標識、および/または同様の標識などの、様々な種類の標識で標識され得る。

【0014】

本発明者らによって開発された技術は、組織試料の細胞組成(たとえば、細胞種類、細胞形態など)および/または組織構成(たとえば、細胞局在、多細胞性構造局在など)を特徴付け得る組織試料の様々な医学的に関連する特性に関するロバストな情報を提供する。組織試料の特性の例は、限定はしないが、組織試料中の細胞の種類に関する情報、形態学的情報、空間的情報、およびいくつかの組織構造(たとえば、腺房、間質、腫瘍、血管など)の配置を識別する情報を含む。

【0015】

本発明者らは、上で説明されている特性のいずれかを含む、組織試料の医学的に関連する特性を決定するために使用できる組織試料中の異なる細胞群を識別できることが望ましいことを理解している。しかしながら、MxIF画像を処理するための従来の技術は、細胞群を正確に、自動的に決定することができない。特に、従来の技術は完全には自動化されておらず、MxIFデータを分析して、関心のある組織特性を決定するために使用できる組織試料の細胞種類、細胞群および/または他の情報を正確に決定することができない。したがって、従来の技術は、組織試料の細胞および/または他の態様を識別すること、さらにはプロセスの半自動化部分のパラメータを構成することを含む、MxIF画像処理手順の様々なステップに対する手動介入を必要とする。そのような手動介入は、結果として、消耗する退屈な分析作業(たとえば、そのような画像は典型的には多数の細胞を有するので、画像に手作業で注釈を入れることは非常に時間がかかる重要な作業となり得る)となり、プロセスが人的エラーに左右され、および/または異なる試料間で容易に繰り返し可能でないことから(たとえば、結果としてMxIF組織分析手順および/またはMxIF組織分析データに不一致をもたらし得る)一致しない結果を提供することになる。

【0016】

本発明者らは、細胞配置を示す情報(たとえば、細胞境界が導出され得る情報、細胞境界、および/またはマスク)が1つまたは複数のMxIF画像内のそれらの細胞のピクセル値に基づき個別の細胞に対する特徴値を決定するために使用され得る(たとえば、組織試料中の細胞に対する1または複数の特徴値を決定することによって)新規性のある画像処理パイプラインを開発した。次に、特徴値は、細胞を複数の群にグループ化するために使用されてよく、これは関心のある細胞特性を決定するために使用することができる。いくつかの実施形態において、特徴値は、少なくとも1つのMxIF画像の各チャネルが1つの細胞についてどの程度発現されているかを示しており、したがって、MxIF画像内の細胞に対してマーカー発現シグネチャを決定するために使用することができる。

【0017】

いくつかの実施形態において、細胞群は、個別の細胞に対する特徴値に基づき組織試料中の細胞の種類を決定する(たとえば、細胞を細胞種類によってグループ化するために使用できる)細胞タイピングプロセスを実行することによって決定され得る。いくつかの実施形態において、特徴値は、異なる細胞および/または組織構造の伝統的な化学染色に基づき決定され得る。たとえば、いくつかの実施形態において、細胞に対する特徴値は、マーカー発現シグネチャを含んでもよく(たとえば、1つまたは複数の細胞の各々についてマーカー発現シグネチャが計算され得る)、マーカー発現シグネチャは、各細胞の種類(たとえば、その細胞が腺房細胞、マクロファージ細胞、骨髄性細胞、T細胞、B細胞、内皮細胞、および/または任意の他の細胞種類であるかどうか)を決定するのに使用されてもよい。次いで、細胞は、各群が特定の種類の細胞を含むようにその細胞種類に基づきグループ化されてもよい(たとえば、関心のある細胞の様々な細胞種類に対して腺房細胞を含む群、マクロファージ細胞を含む群など)。マーカー発現シグネチャは、本明細書においてさらに説明される。それに加えて、または代替的に、細胞群は、特徴値に基づき決定され得る(たとえば、同じおよび/または異なる細胞種類が、類似の特徴値を有することに基づき同じ群に関連付けられ得る)。たとえば、いくつかの実施形態において、細胞の特徴値は、細胞内の様々なマーカーの発現レベルを示す任意の情報を含み得る。たとえば、特定の細胞に対する特徴値は、特定の細胞の、少なくとも1つのMxIF画像内の、配置におけるピクセルに対するピクセル値を使用して決定され得る。たとえば、特徴値は、そのようなピクセルの中央値を平均するか、または計算することによって決定されてよく、これは特定の細胞内のマーカーの平均または中央値発現レベルを示し得る。いくつかの実施形態において、1つまたは複数の特性を決定することは、複数の群の各々の細胞種類を決定することを含むことができる。いくつかの実施形態において、群は、組織試料中に存在する異なる組織構造の異なる部分を表し得る。

【0018】

したがって、いくつかの実施形態は、(1)同じ生体試料(たとえば、癌を有する、癌を有する疑いがある、または癌を有するリスクがある被験者から組織試料)の少なくとも1つのMxIF画像を取得することと、(2)MxIF画像内の細胞の配置を示す情報(たとえば、細胞境界、細胞境界が導出できる情報、および/またはマスク)を(たとえば、画像内の細胞の境界を識別するために機械学習モデルを適用することによって、画像から細胞配置情報(たとえば、細胞配置マスク)を計算し、および/またはそのような細胞配置情報にアクセスすることによって)取得することと、(3)少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、(a)MxIF画像と細胞の少なくともいくつかの配置を示す情報とを使用してそれらの細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し(たとえば、それらの細胞のうちの少なくともいくつかの細胞の配置を示す情報によって示されるようなその細胞の境界内のピクセルの平均または中央ピクセル値を計算することによって細胞に対する特徴値を計算する、本明細書に記載のようにマーカー発現シグネチャを計算することによって細胞に対する特徴値を計算する)、(b)決定された特徴値を使用してそれらの細胞の少なくともいくつかの細胞を複数の群にグループ化する(たとえば、細胞を種類別にグループ化する、任意の好適なクラスタリングアルゴリズムを使用して平均または中央値ピクセル値に基づき細胞をグループ化する、など)ことによって識別することと、(4)複数の群を使用して組織試料の少なくとも1つの特性を決定する(たとえば、各群の細胞種類を決定する、細胞マスクを決定する、細胞コミュニティを決定する、複数の群の細胞の分布に関する統計情報を決定する、細胞種類の空間分布を決定する、形態学的情報を決定する、など)こととを含むコンピュータ実装方法を提供する。

【0019】

いくつかの実施形態において、細胞の配置を示す情報は、細胞または細胞構造の化学的染色から取得され得る。いくつかの実施形態において、化学染色は、蛍光シグナル(たとえば、DAPI)を生成することができる。いくつかの実施形態において、標識(たとえば、蛍光標識)抗体は、細胞または組織試料中の特定の細胞内、膜、および/または細胞外配置を検出するために使用され得る。いくつかの実施形態では、標識抗体が単独で使用され得る。いくつかの実施形態において、標識抗体は、1つまたは複数の他の染色(たとえば、他の蛍光染色)とともに使用され得る。

【0020】

いくつかの実施形態において、少なくとも1つのMxIF画像を取得することは、同じ組織試料の単一のマルチチャネル画像を取得することを含み、単一のマルチチャネル画像内のチャネルは、複数のマーカー(たとえば、「発明を実施するための形態」の節で説明されているマーカーを含む、本明細書に記載のマーカーのうちの任意の1または複数)におけるそれぞれのマーカーと関連付けられている。いくつかの実施形態において、少なくとも1つのMxIF画像を取得することは、同じ組織試料の複数の免疫蛍光画像を取得することを含む。複数の免疫蛍光画像のうちの少なくとも1つは、それぞれのマーカーに関連付けられているシングルチャネル画像を含むことができる。複数の免疫蛍光画像のうちの少なくとも1つは、マルチチャネル画像を含むことができ、マルチチャネル画像内のチャネルは、複数のマーカー(たとえば、「発明を実施するための形態」の節で説明されているマーカーを含む、本明細書に記載のマーカーのうちの任意の1または複数)におけるそれぞれのマーカーに関連付けられている。いくつかの実施形態において、組織試料の少なくとも1つのMxIF画像は、インビトロで取り込まれる。

【0021】

いくつかの実施形態において、細胞に対する特徴値は、MxIF画像の1つまたは複数の中の細胞のピクセルの値を含み得る。たとえば、いくつかの実施形態において、細胞は第1の細胞を含み、特徴値を決定することは、少なくとも1つのMxIF画像内の第1の細胞の配置に関連付けられている少なくとも1つのピクセル値を使用して第1の細胞に対する第1の特徴値を決定することを含む。いくつかの実施形態において、それらの細胞のうちの少なくともいくつかの細胞は第2の細胞を含み、特徴値を決定することは、少なくとも1つのMxIF画像内の第2の細胞の配置に関連付けられている少なくとも1つのピクセル値を使用して第2の細胞に対する第2の特徴値を決定することを含む。いくつかの実施形態において、第1の細胞に対する第1の特徴値を決定することは、少なくとも1つのMxIF画像の複数のチャネルにおける第1の細胞のそれぞれの配置に関連付けられているピクセル値を使用することを含む。

【0022】

いくつかの実施形態において、複数のチャネルにおける第1の細胞のそれぞれの位置に関連付けられているピクセル値を使用することは、複数のチャネルの各々について、(a)そのチャネルにおける第1の細胞の配置を示す情報を使用して第1の細胞に対するピクセルのセットを識別することと、(b)ピクセルのセット内のピクセルの値に基づき第1の細胞に対する特徴値を決定することとを含む。いくつかの実施形態において、第1の細胞の配置を示す情報は、第1の細胞の境界の配置を示し、第1の細胞に対するピクセルのセットを識別することは、少なくとも部分的に(たとえば、部分的または完全に)第1の細胞の境界の内側にあるピクセルを識別することを含む。

【0023】

いくつかの実施形態において、第1の特徴値を決定することは、少なくとも1つのMxIF画像のマーカーの1つまたは複数(たとえば、少なくとも1個、少なくとも3個、少なくとも5個、少なくとも10個、少なくとも15個、1から10の間の個数、5から20の間の個数、もしくは範囲内の任意の他の好適な数、範囲、または値)に対する特徴値を決定することを含み、これらのマーカーはALK、BAP1、BCL2、BCL6、CAIX、CCASP3、CD10、CD106、CD11b、CD11c、CD138、CD14、CD16、CD163、CD1、CD1c、CD19、CD2、CD20、CD206、CD209、CD21、CD23、CD25、CD27、CD3、CD3D、CD31、CD33、CD34、CD35、CD38、CD39、CD4、CD43、CD44、CD45、CD49a、CD5、CD56、CD57、CD66b、CD68、CD69、CD7、CD8、CD8A、CD94、CDK1、CDX2、Clec9a、クロモグラニン、コラーゲンIV、CK7、CK20、CXCL13、DAPI、DC-SIGN、デスミン、EGFR、ER、ERKP、フィブロネクチン、FOXP3、GATA3、GRB、グランザイムB、H3K36TM、HER2、HLA-DR、ICOS、IFNg、IgD、IgM、IRF4、Ki67、KIR、ルミカン、Lyve-1、マンマグロビン、MHCI、p53、NaKATPase、PanCK、PAX8、PCK26、CNAP、PBRM1、PD1、PDL1、パーレカン、PR、PTEN、RUNX3、S6、S6P、SMA、SMAa、SPARC、STAT3P、TGFb、Va7.2、およびビメンチンである。

【0024】

いくつかの実施形態において、複数のマーカーが、シングルチャネルにおいて存在し、および/または検出され得る。たとえば、化学染色(たとえば、DAPI)からのシグナルは、免疫蛍光シグナルを提供する(たとえば、細胞の配置情報を検出する)ためにも使用される組織試料(または、チャネル)の同じ画像内にあり得る。いくつかの実施形態において、シングルチャネルおよび/または画像内に1つのマーカーだけが存在する。

【0025】

いくつかの実施形態において、細胞を複数の細胞群にグループ化することは、クラスタリングアルゴリズムを使用してそれぞれの特徴値に基づき細胞のクラスタリングを行うことを含む。たとえば、重心ベースのクラスタリングアルゴリズム(たとえば、K-means)、分布ベースのクラスタリングアルゴリズム(たとえば、ガウス混合モデルを使用するクラスタリング)、密度ベースのクラスタリングアルゴリズム(たとえば、DBSCAN)、階層的クラスタリングアルゴリズム、主成分分析(PCA)、独立成分分析(ICA)、および/または任意の他の好適なクラスタリングアルゴリズムを含む、任意の好適なクラスタリングアルゴリズムが、本明細書に記載の態様がこの点で限定されないので、使用され得る。

【0026】

いくつかの実施形態において、それらの細胞の少なくともいくつかの細胞を複数の群にグループ化することは、決定された特徴値を分析してそれらの細胞のうちの少なくともいくつかの細胞の間の関係を決定することと、複数の群を、複数の群のうちの1つの群の中の各細胞が群内の細胞の間の関係を示す特徴値を有するように決定された関係に基づき決定することとを含む。いくつかの実施形態において、それらの細胞のうちの少なくともいくつかの細胞の間の関係を決定することは、それらの細胞のうちの少なくともいくつかの細胞の特徴値の間の類似性を決定することを含む。いくつかの実施形態において、それらの細胞のうちの少なくともいくつかの細胞の間の関係を決定することは、特徴値を知られている細胞タイピングデータと比較して、それらの細胞のうちの少なくともいくつかの細胞の各々について細胞種類を決定することを含む。

【0027】

いくつかの実施形態において、これらの技術は、個別の細胞の特徴値に基づき細胞タイピングを実行することを含む。いくつかの実施形態において、特徴値は、細胞種類および/または細胞群(たとえば、細胞クラスタ)を決定するために使用することができるチャネル寄与(たとえば、各チャネルが細胞にどれだけ寄与するかを示す平均チャネル寄与)を含むことができる。本発明者らは、平均チャネル寄与が細胞タイピングに使用できるが、いくつかの場合において、細胞において平均チャネル寄与を活用することは、セグメンテーションの品質、細胞のサイズ、細胞の形状、および/または組織染色の状態の影響を受け得ることを理解している。たとえば、そのような技術は、マーカー強度を変動させがちであり得、(たとえば、セグメンテーションエラーにより)近くの細胞の輪郭からマーカー発現を加え、および/または中間のマーカー発現を有する細胞の追加のクラスタを作成することによって細胞種類識別プロセスを複雑にする可能性がある。別の例として、本発明者らは、チャネル寄与では細胞内シグナル局在化に関する情報を考慮しないことを理解している(たとえば、実際のシグナルデータをノイズから区別する助けとするのに有用となり得る)。さらなる例として、本発明者らは、細胞の特定の種類に対するチャネル寄与の値の範囲を設定することができなければ、関心のある細胞種類について意図的に探索することが困難であり得ることも理解している(たとえば、代わりに、クラスタリングが使用され得、これは関心のある細胞を発見しないことがある)。したがって、本発明者らは、平均チャネル寄与が安定した細胞タイピングを提供しない可能性があることを理解している。そのような潜在的な問題を前提として、細胞タイピングの結果は手動でチェックされる必要がある場合があり、これは遅延を大きくし、自動化に影響を及ぼし得る。

【0028】

したがって、本発明者らは、機械学習を利用する細胞タイピングのための技術を開発した。いくつかの実施形態において、細胞タイピングは、1つまたは複数の細胞の各々についてマーカー発現シグネチャを決定するために訓練済みニューラルネットワークを使用することによって実行され得る。細胞に対するマーカー発現シグネチャは、複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、その特定のマーカーが細胞において発現している尤度を含み得る。ひいては、細胞のマーカー発現シグネチャは、細胞の種類を(たとえば、マーカー発現シグネチャを、それぞれの細胞種類と、たとえば病理学者によって関連付けられた以前に決定済みのマーカー発現シグネチャと比較することによって)識別するために使用され得る。そのような機械学習技術は、(たとえば、使用者が設定を手動で調整することを必要とすることがある、従来の技術と比較して)細胞タイピングの自動化された方法を提供する。いくつかの実施形態において、訓練済みニューラルネットワークは、1つまたは複数のチャネル(たとえば、別個の1チャネルMxIF画像、2チャネルMxIF画像、3チャネルMxIF画像、および/または同様のもの)を有する少なくとも1つのMxIF画像と、関心のある細胞に対する細胞配置データを入力として取り得る。訓練済みニューラルネットワークは、マーカー発現強度だけでなく、検出された細胞形状、細胞テクスチャ、マーカー発現の配置などの他のデータも使用することができる。ニューラルネットワークは、各チャネルおよびその関連付けられているマーカーについて細胞が適切な強度および形状のシグナルを有する尤度(たとえば、0から1の範囲)を出力することができる。各マーカーについてニューラルネットワークによって決定された尤度は、組み合わされ、それにより関心のある細胞に対するマーカー発現シグネチャを生成することができ、これは細胞タイピングデータと比較され、関心のある細胞に対する予測される細胞種類を決定することができる。シグナルレベル分布の差異に対する訓練済みニューラルネットワークのロバスト性(たとえば、異種の訓練データを使用してネットワークを訓練し、上記および本明細書の両方で説明されているような追加の特徴を活用することによって達成される)により、本明細書に記載の細胞タイピングアプローチは、各細胞に対してロバストなシグナル存在判定をもたらす自動化された細胞種類検出を提供する。

【0029】

いくつかの実施形態において、複数のチャネルは、複数のマーカーにおけるそれぞれのマーカーに関連付けられ、少なくとも1つのMxIF画像の複数のチャネルにおける第1の細胞のそれぞれの配置に関連付けられているピクセル値を使用して第1の特徴値を決定することは、複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、その特定のマーカーが第1の細胞において発現している尤度を含むマーカー発現シグネチャを決定することを含み、それらの細胞のうちの少なくともいくつかの細胞を複数の群にグループ化することは、マーカー発現シグネチャおよび細胞タイピングデータを使用して第1の細胞に対する予測される細胞種類を決定することと、予測される細胞種類に基づき第1の細胞を複数の群のうちの1つに関連付けることとを含む。いくつかの実施形態において、それらの細胞のうちの少なくともいくつかの細胞に対する特徴値を決定することは、少なくとも1つのMxIF画像内の複数の細胞の各特定の細胞についてマーカー発現シグネチャを決定することであって、マーカー発現シグネチャは、複数のマーカーのうちの1つまたは複数のマーカーの特定の各マーカーについて、その特定のマーカーが特定の細胞において発現している尤度を含む、決定することを含み、決定された特徴値を使用してそれらの細胞のうちの少なくともいくつかの細胞を複数の群にグループ化することは、特定の細胞に対するマーカー発現シグネチャおよび細胞タイピングデータを使用して複数の細胞の各特定の細胞に対する予測される細胞種類を決定することと、予測される細胞種類に基づき複数の細胞を複数の群にグループ化することとを含む。複数のマーカーは、本明細書に記載のマーカーのうちの少なくとも1つを含む。

【0030】

いくつかの実施形態において、細胞タイピングデータは、複数の細胞種類の各々に対する少なくとも1つのマーカー発現シグネチャを含み、複数の細胞種類のうちの各特定の細胞種類に対する少なくとも1つのマーカー発現シグネチャは、複数のマーカーのうちのどれが特定の細胞種類の細胞において発現するかを示すデータを含む。

【0031】

いくつかの実施形態において、方法は、マーカー発現シグネチャを決定するように構成されている第1の訓練済みニューラルネットワークを使用してマーカー発現シグネチャを決定することをさらに含む。いくつかの実施形態において、第1の訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む。いくつかの実施形態において、方法は、入力画像として関連付けられている細胞種類に対する組織試料の訓練免疫蛍光画像のセットと、関連付けられている細胞種類に対する入力画像内のマーカー発現を示す情報を含む関連付けられている出力データとを使用して第1の訓練済みニューラルネットワークを訓練することをさらに含む。いくつかの実施形態において、方法は、少なくとも1つのMxIF画像を入力として第1の訓練済みニューラルネットワークに提供することと、第1の訓練済みニューラルネットワークからの出力としてマーカー発現シグネチャを取得することとを含む。

【0032】

いくつかの実施形態において、方法は、細胞の配置を示す情報から、複数のチャネルのうちの少なくともいくつかのチャネルにおける第1の細胞の配置を示す情報を、第1の訓練済みニューラルネットワークへの入力の一部として提供することを含む。訓練済みニューラルネットワークは、複数の畳み込み層を含むことができる。

【0033】

いくつかの実施形態において、細胞タイピングデータは、複数の細胞種類の各々に対する少なくとも1つのマーカー発現シグネチャを含む複数のマーカー発現シグネチャを含み、第1の細胞の予測される細胞種類を決定することは、第1の細胞のマーカー発現シグネチャを複数のマーカー発現シグネチャのうちの少なくとも1つのマーカー発現シグネチャと比較して、予測される細胞種類を決定することを含む。いくつかの実施形態において、第1の細胞のマーカー発現シグネチャを、複数のマーカー発現シグネチャのうちの少なくとも1つのマーカー発現シグネチャと比較することは、距離の尺度を使用して実行される。いくつかの実施形態において、距離の尺度は、コサイン距離、ユークリッド距離、およびマンハッタン距離のうちの少なくとも1つである。いくつかの実施形態において、方法は、計算された比較メトリックのうちの最低値または最高値を有する比較メトリックを選択することによって予測される細胞種類を決定することをさらに含む。

【0034】

いくつかの実施形態において、組織試料の少なくとも1つの特性は、組織試料の細胞組成、組織試料の組織構成、またはその両方を特徴付ける。いくつかの実施形態において、少なくとも1つの特性を決定することは、組織試料中の細胞種類に関する情報を決定することを含む。たとえば、いくつかの実施形態において、組織試料中の細胞種類に関する情報を決定することは、組織試料中に存在する1つまたは複数の細胞種類を識別することを含む。いくつかの実施形態において、細胞種類は、内皮細胞、上皮細胞、マクロファージ、T細胞、悪性細胞、NK細胞、B細胞、および腺房細胞のうちの1つまたは複数を含む。いくつかの実施形態において、T細胞は、CD3+T細胞、CD4+T細胞、およびCD8+T細胞のうちの1つまたは複数を含む。いくつかの実施形態において、組織試料中の細胞種類に関する情報を決定することは、組織試料中の1つまたは複数の細胞種類のパーセンテージを決定することを含む。いくつかの実施形態において、細胞種類は、様々な情報および/または技術を使用して決定され得る。いくつかの実施形態において、細胞種類は、そのサイズ、形状、および/または染色(たとえば、異なる化学染色を使用する)に基づき組織学的に決定され得る。それに加えて、または代替的に、免疫蛍光シグナルが、細胞のサイズおよび形状を評価して細胞種類を決定するために使用され得る。それに加えて、または代替的に、細胞特異的マーカー(たとえば、タンパク質)が細胞種類を決定するために(たとえば、標識抗体を使用することによって)使用され得る。

【0035】

組織特性の複数の多くの種類のいずれかが、本発明者らによって開発され、本明細書に記載の技術を使用して決定され得る。たとえば、いくつかの実施形態において、少なくとも1つの特性を決定することは、細胞の複数の群の細胞の少なくとも一部分の分布に関する統計情報を決定することを含む。たとえば、いくつかの実施形態において、複数の細胞種類の少なくともいくつかの細胞の分布に関する統計情報を決定することは、組織試料中の1つまたは複数の細胞種類の空間分布を決定することを含む。いくつかの例では、それらの細胞のうちの少なくともいくつかの細胞の分布に関する統計情報を決定することは、異なる細胞種類の間の分布を決定することを含む。

【0036】

別の例として、いくつかの実施形態において、少なくとも1つの特性を決定することは、細胞の複数の群の少なくともいくつかの細胞の配置に関する空間的情報を決定することを含む。いくつかの実施形態において、空間的情報を決定することは、細胞の複数の群の細胞の間の距離を決定することを含む。いくつかの実施形態において、空間的情報を決定することは、細胞の複数の群のうちの1つの群の1つまたは複数の細胞を含む組織試料の1つまたは複数の領域を決定することを含む。いくつかの例では、少なくともいくつかの細胞の配置に関する空間的情報を決定することは、組織試料の1つまたは複数の細胞種類の空間組織構成を決定することを含む(たとえば、細胞種類による組織試料中の細胞組織構成に関する情報を含む、他の細胞種類と比較される、および/または同様のもの)。いくつかの例では、少なくともいくつかの細胞の配置に関する空間的情報を決定することは、1つまたは複数の細胞種類を含む組織試料の1つまたは複数の領域(たとえば、閾値を超える1つまたは複数の細胞種類の多数の細胞を含む領域)を決定することを含む。

【0037】

別の例として、いくつかの実施形態において、少なくとも1つの特性を決定することは、細胞の複数の群の少なくともいくつかの細胞に関する形態学的情報を決定することを含む。いくつかの例では、少なくともいくつかの細胞に関する形態学的情報を決定することは、細胞の形状、構造、形態、および/またはサイズなど、細胞のおよび/または組織試料の(たとえば、複数の群にグループ化されたような)の形態および/または構造に関する情報を決定することを含む。

【0038】

別の例として、いくつかの実施形態において、少なくとも1つの特性を決定することは、細胞の複数の群の少なくともいくつかの細胞に対して(たとえば、1つの群の細胞、複数の群の細胞、などに対して)物理情報を決定することであって、物理情報は細胞面積、細胞周長、細胞サイズのうちの少なくとも1つを含む、決定することを含む。

【0039】

いくつかの実施形態において、決定された特性は、形態学的情報、空間的情報、組織構造の配置、および/または同様のものを含むことができる。本発明者らは、組織試料の細胞構造を分析するために使用できる1つまたは複数のマスクを作成することによってそのような特性が決定され得、その分析はひいては関心のある特性を決定するために使用できることを理解している。しかしながら、上で指摘されているように、典型的にはそのようなマスクは、コンピュータ化技術では組織試料中の細胞および/または細胞群を自動的に識別することができないので(たとえば、シグナル閾値化を使用して)手動で作成されなければならない。細胞セグメントおよび/または細胞群などの細胞情報を自動的に決定するために特徴値を活用することによって、そのようなマスクは、組織試料の特性をシステムが決定することを可能にし得る組織試料中の異なる細胞および/または細胞構造を分析するために使用され得る。たとえば、これらの技術は、組織試料中の細胞種類(たとえば、T細胞)を識別し、間質マスクを使用して、T細胞が組織試料の間質領域および/または非間質領域にあるかどうかを識別することができる。

【0040】

いくつかの実施形態において、マスクは、2進値マスクであってよい。2進値マスクは、MxIF画像内のピクセルの少なくともいくつかについて0または1(または任意の他の好適なタイプの2進値)を含むピクセルレベルの2進値マスクであってよい。

【0041】

いくつかの実施形態において、少なくとも1つの特性を決定することは、組織試料の少なくとも1つの多重免疫蛍光画像内の腺房の配置を示す1つまたは複数の腺房マスクを決定することを含み得る。いくつかの実施形態において、MxIF画像に対する腺房マスクは、2進値マスクであってよく、MxIF画像内のピクセルのうちの少なくともいくつかのピクセルに対する2進値を含んでよく、ピクセルに対する2進値はピクセルがMxIF画像内に示されている腺房内に配置されるかどうかを示す。

【0042】

別の例として、いくつかの実施形態において、少なくとも1つの特性を決定することは、組織試料の少なくとも1つのMxIF画像内の間質の配置を示す1つまたは複数の間質マスクを決定することを含む。いくつかの実施形態において、MxIF画像に対する間質マスクは、2進値マスクであってよく、MxIF画像内のピクセルのうちの少なくともいくつかのピクセルに対する2進値を含んでよく、ピクセルに対する2進値はピクセルがMxIF画像内に示されている間質内に配置されるかどうかを示す。

【0043】

別の例として、少なくとも1つの特性を決定することは、組織試料の少なくとも1つのMxIF画像内の腫瘍の配置を示す1つまたは複数の腫瘍マスクを決定することを含む。いくつかの実施形態において、MxIF画像に対する腫瘍マスクは、2進値マスクであってよく、MxIF画像内のピクセルのうちの少なくともいくつかのピクセルに対する2進値を含んでよく、ピクセルに対する2進値はピクセルがMxIF画像内に示されている腫瘍内に配置されるかどうかを示す。

【0044】

本発明者らは、癌(たとえば、乳癌、腎癌など)を示す細胞構造など、組織試料中のいくつかの細胞構造を探索することが望ましい場合があることをさらに理解している。コミュニティへの細胞クラスタリングを実行するためのいくつかの従来のアプローチは、再構成された細胞接触グラフにおける近傍からの情報を使用する(たとえば、https://pubmed.ncbi.nlm.nih.gov/30078711/から入手可能な、Yury Goltsevら、「Deep Profiling of Mouse Splenic Architecture with CODEX Multiplexed Imaging」、PMID:30078711(2018年8月)に記載のような)。しかしながら、そのようなアプローチでは、本発明者らが発見し、評価した、クラスタリングプロセスに関連し得る他の情報を組み込むことを行わない。

【0045】

本発明者らは、細胞の特徴を活用するグラフニューラルネットワークを使用して細胞のクラスタまたはコミュニティを識別するための技術を開発した。細胞特徴は、各細胞について、細胞種類、細胞隣接要素、隣接細胞種類、隣接要素距離データ、および/または本明細書においてさらに説明されているような他のデータを含むことができる。これらの技術は、そのような細胞特徴を活用することによって組織試料中の細胞コミュニティを識別することと、細胞種類、距離などの、それらの細胞の情報を識別すること(たとえば、疎らに存在する細胞クラスタ、近接細胞クラスタ、などに関する情報を提供するため)とを含むことができる。したがって、そのようなマスクは、そうでなければ検出することが困難である(たとえば、閾値化アプローチを使用することと比較して)、組織内の複雑な構造を発見することを行えるようにし、自動クラスタリングを大規模に提供することができる。いくつかの実施形態は、グラフニューラルネットワークを適用して、細胞クラスタまたはコミュニティ検出を実行する。

【0046】

いくつかの実施形態において、少なくとも1つの特性を決定することは、複数の群に基づき組織試料の1つまたは複数の細胞クラスタを決定することと、組織試料の1つまたは複数の細胞クラスタの配置を示す細胞クラスタマスクを決定することとを含む。いくつかの実施形態において、1つまたは複数の細胞クラスタは、細胞特徴の第1のセットを生成し(たとえば、画像を三角測量してグラフを生成し、これを使用して、細胞近傍、細胞近傍距離、などの細胞特徴の少なくともいくつかを決定する)、訓練済みグラフニューラルネットワークを使用して細胞特徴の第1のセットをより高い次元の空間内に埋め込み、埋め込み済み特徴をクラスタリングすることによって細胞のコミュニティを識別することによって決定される。

【0047】

いくつかの実施形態において、組織試料中の1つまたは複数の細胞クラスタを決定することは、少なくともいくつかの細胞の各々に対するノード、およびグラフ内のノードに対する特徴を決定するノード間のエッジを含むグラフを生成することと、潜在的空間内の埋め込まれた特徴を取得するためにグラフニューラルネットワークへの入力としてグラフ内のノードに対する特徴を提供することと、ノードのクラスタを取得するために埋め込まれた特徴をクラスタリングすることと、ノードのクラスタを使用して1つまたは複数の細胞クラスタを決定することとを含む。

【0048】

いくつかの実施形態において、1つまたは複数の細胞クラスタの各細胞クラスタは、複数の細胞種類を含む。いくつかの実施形態において、各細胞クラスタは、組織試料の組織構造の少なくとも一部を表す。いくつかの実施形態において、組織構造は、外套組織、間質組織、腫瘍、濾胞、血管、またはそれらの何らかの組合せを含む。

【0049】

いくつかの実施形態において、方法は、少なくともいくつかの細胞の細胞特徴の第1のセットに基づき1つまたは複数の細胞クラスタを決定することを含む。この方法は、組織試料中の少なくともいくつかの細胞の各々に対するノード、およびノード間のエッジを含むグラフを生成することによって各細胞に対する細胞特徴の第1のセットを決定することをさらに含むことができる。いくつかの実施形態において、方法は、三角測量(たとえば、ドロネー三角測量および/または任意の他の種類の三角測量)を使用して組織試料の少なくともいくつかの細胞に基づきグラフを生成することをさらに含む。

【0050】

いくつかの実施形態において、方法は、細胞を含む複数の群のうちの1つの群、グラフ内のノードのエッジの長さ、およびマスクデータに基づきグラフの各ノードに対する細胞特徴の第1のセットを決定することをさらに含む。いくつかの実施形態において、方法は、グラフを疎隣接行列に符号化することをさらに含む。いくつかの実施形態において、方法は、グラフをグラフのエッジの隣接リストに符号化することをさらに含む。

【0051】

いくつかの実施形態において、方法は、グラフを入力として訓練済みグラフニューラルネットワークに提供することと、グラフニューラルネットワークから、各ノードに対する特徴埋め込みのセットを取得することとをさらに含む。いくつかの実施形態において、訓練済みグラフニューラルネットワークは、1つまたは複数の畳み込み層を含む。いくつかの実施形態において、特徴埋め込みのセットは、訓練済みグラフニューラルネットワークの最後のグラフ畳み込み層の活性化に基づき生成される。いくつかの実施形態において、1つまたは複数の細胞クラスタを決定することは、各ノードの特徴埋め込みのセットに基づき1つまたは複数の細胞クラスタを決定することを含む。いくつかの実施形態において、各ノードの特徴埋め込みのセットに基づき1つまたは複数の細胞クラスタを決定することは、各ノードの特徴埋め込みのセットに基づき組織試料中の細胞をクラスタリングすることを含む。

【0052】

いくつかの実施形態において、MxIF画像は、細胞に対する特徴値が決定される前に前処理され得る。いくつかの実施形態において、機械学習技術が、MxIF画像を前処理してアーチファクトを除去し、および/または細胞配置を示す情報を識別するために適用される。本発明者らは、MxIF画像が、たとえば、組織をイメージングする顕微鏡によって発生するノイズ、組織試料中の周囲細胞からのノイズ(たとえば、蛍光ノイズ)、組織試料中の抗体からのノイズ、および/またはMxIF画像に存在し得る任意の他の種類のアーチファクトなどの、イメージング中に入り込むアーチファクトを有し得ることを理解している。たとえば、低い信号対雑音レベルは細胞クラスタリングに影響を与える場合があり、したがって、生のMxIF画像および/または細胞セグメンテーションプロセスによって生成されたデータは、自動化細胞クラスタリングには十分でない場合がある。したがって、本発明者らは、バックグラウンド減算を実行してノイズを除去することなど、免疫蛍光画像を処理してアーチファクトを除去する技術を開発した。

【0053】

したがって、いくつかの実施形態において、バックグラウンド減算は、MxIF画像の1つまたは複数に対して実行され得る。したがって、いくつかの実施形態において、組織試料の少なくとも1つのMxIF画像を取得することは、少なくとも1つのMxIF画像の第1のチャネル上でバックグラウンド減算を実行することを含む。いくつかの実施形態において、バックグラウンド減算を実行することは、バックグラウンド減算を実行するように構成されている第2の訓練済みニューラルネットワークモデル(たとえば、畳み込みニューラルネットワーク、Uネットアーキテクチャを有する畳み込みニューラルネットワーク)に入力として第1のチャネルを提供することを含む。いくつかの実施形態において、第2の訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む。いくつかの実施形態において、方法は、入力画像としてノイズを含む訓練免疫蛍光画像のセットと、少なくとも何らかのノイズを含まない関連付けられている画像を含む関連付けられている出力データとを使用して第2の訓練済みニューラルネットワークを訓練することをさらに含む。しかしながら、MxIF画像の前処理は、本明細書に記載の技術の態様はこの点で限定されていないので、バックグラウンド減算に(いくつかの実施形態では)加えて、または(いくつかの実施形態では)その代わりに、他の種類の前処理を含み得ることが理解されるべきである。たとえば、前処理は、フィルタリング、ノイズ抑制、アーチファクト除去、スムージング、シャープニング、前処理操作を実行するための異なる領域(たとえば、ウェーブレット領域、フーリエ領域、短時間フーリエ領域)への変換、および画像領域への逆変換、ならびに/または任意の他の好適な種類の前処理を含み得る。いくつかの実施形態において、これらの技術は、いくつかの領域が他の領域よりもノイズを示す可能性があるので画像内の特定の領域からノイズを除去することを含む。それに加えて、または代替的に、いくつかの実施形態において、画像は、チャネル毎に処理され得る(たとえば、異なるマーカーが異なるノイズを示し得るのでマーカー毎にノイズを除去する)。いくつかの実施形態において、訓練済み機械学習モデルは、免疫蛍光画像を処理して、免疫蛍光画像を閾値化することによってバックグラウンド減算を実行する。

【0054】

本発明者らは、MxIF画像取得プロセスが異なるマーカーで同じ画像を繰り返し染色することを必要とするので、マーカーが組織試料から洗い流されるたびに、局部組織損傷が起こり得ることをさらに理解している。その結果、個別の細胞および/または細胞群が、試料中の元の配置に関して洗い流され、および/またはシフトされるなど、損傷を受ける可能性がある。組織試料のそのような意図せずに修正された部分を使用すると、画像処理パイプラインにおいて望ましくない効果を引き起こす可能性がある。たとえば、そのような損傷が生じた結果、損傷した細胞に対する不正確な情報が特徴値、細胞グループ化および/または決定された特性に組み込まれ得る。とにかく実施される場合、従来技術は、手動による組織チェックを必要とする。したがって、本発明者らは、免疫蛍光画像に対する自動化組織劣化チェックを開発し(たとえば、複数の染色ステップにわたって取得された核マーカーを比較することによって)、組織損傷の領域をチェックし、および/または識別した。識別された領域は、組織試料の損傷を受けていない部分のみが画像処理パイプラインによって分析されることを確実にするために、その後のステップ(たとえば、図3に示されている画像処理パイプライン300の細胞タイピングコンポーネント340、細胞形態評価コンポーネント350、および/または特性決定コンポーネント360によって実行されるステップなど)によって無視され得る。たとえば、損傷した領域を処理からスキップさせるためにマスクが使用されてよく、これは、重度の損傷を有する組織試料が(そのような損傷した組織試料を処理することができないであろう従来の技術と比較して)本明細書に記載の技術を使用して処理されることを可能にし得る。

【0055】

いくつかの実施形態において、少なくとも1つのMxIF画像は、複数の免疫蛍光画像を含み、少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得することは、複数の免疫蛍光画像を分析して組織試料の1つまたは複数の損傷した部分を識別することを含む。

【0056】

いくつかの実施形態において、複数の免疫蛍光画像を分析することは、免疫蛍光画像間の差異を識別するように構成されている第3の訓練済みニューラルネットワークを使用して複数の免疫蛍光画像を処理することを含む。いくつかの実施形態において、方法は、入力画像と同じマーカーの免疫蛍光画像の対を含む訓練免疫蛍光画像のセットと、組織試料の少なくとも一部が損傷しているかどうかを示す情報を含む関連付けられている出力データとを使用して第3の訓練済みニューラルネットワークを訓練することをさらに含む。

【0057】

いくつかの実施形態において、方法は、複数の免疫蛍光画像のうちの少なくとも2つの免疫蛍光画像の各々の対応する部分を第3の訓練済みニューラルネットワークに入力することであって、少なくとも2つの免疫蛍光画像は、同じマーカーの画像を含む、入力することと、第3の訓練済みニューラルネットワークから、組織試料の一部分の少なくとも1つの分類を取得することとをさらに含む。いくつかの実施形態において、少なくとも1つの分類は、分類の1つのセットを含む。いくつかの実施形態において、分類のセットは、細胞なしの第1の分類、損傷を受けていない細胞の第2の分類、損傷を受けている細胞の第3の分類、またはそれらの何らかの組合せを含む。いくつかの実施形態において、分類のセットは、各分類について、その分類が部分に適用される関連付けられている信頼度と、信頼度に基づき、その部分に対する分類のセットから最終分類を選択することとを含む。

【0058】

いくつかの実施形態において、方法は、その部分の最終分類および少なくとも2つの免疫蛍光画像の複数の他の部分に対する最終分類を示すパッチマスクを生成することを含む。いくつかの実施形態において、方法は、パッチマスクに基づき、組織試料に対するセグメンテーションマスクの一部を除去して、除去された部分に関連付けられている組織試料の細胞が複数の細胞群に含まれないようにすることをさらに含む。

【0059】

いくつかの実施形態において、第3の訓練済みニューラルネットワークは、1つまたは複数の畳み込み層を含む。いくつかの実施形態において、第3の訓練済みニューラルネットワークは、少なくとも500万個のパラメータを含む。いくつかの実施形態において、訓練済みニューラルネットワークは、組織試料の異なる部分が少なくとも1つの分類を含む信頼度を出力するように構成される。いくつかの実施形態において、少なくとも1つの分類は、分類の1つのセットを含む。いくつかの実施形態において、分類のセットは、細胞なしの第1の分類、損傷を受けていない細胞の第2の分類、損傷を受けている細胞の第3の分類、またはこれらの何らかの組合せを含む。

【0060】

本発明者らは、MxIF画像を処理するために使用される従来の細胞セグメンテーションアプローチの欠陥について理解している。MxIF画像を処理するために、従来技術は、典型的には、核閾値化に基づき細胞セグメンテーションを実行し、使用者が異なる画像に対して設定を手動調整すること、および/または細胞膜を識別すること(たとえば、使用者が核を所望の数のピクセルで輪郭付けすることによって各核を拡張させることによって)を要求する。そのような従来のアプローチの例は、CellProfiler(CellProfilerと比較して本明細書に記載の細胞セグメンテーション技術の改善を示すために図52～図53を参照しつつ以下でさらに説明されている)、Ilastik(たとえば、https://www.nature.com/articles/s41592-019-0582-9から入手可能である、Stuart Bergら、「ilastik: interactive machine learning for (bio) image analysis」(2019年9月)に記載の)、およびQuPath(たとえば、https://www.nature.com/articles/s41598-017-17204-5から入手可能である、Peter Bankheadら、「QuPath: Open source software for digital pathology image analysis」(2017年12月)に記載の)を含む。いくつかの従来のアプローチは、ニューラルネットワークを使用し得るが、そのようなニューラルネットワークの使用は、典型的には、核検出に限定され、したがって、従来のアプローチは、細胞セグメンテーション情報を決定するためにニューラルネットワークを使用しない。その結果、本発明者らは、従来の細胞セグメンテーション技術には、使用者が手動で入力することを必要とすること、および貧弱で一貫性のない細胞セグメンテーション結果(これは、細胞タイピング、細胞形態評価、および特性決定などの、細胞セグメンテーションデータを活用するステップに対してさらなる下流の意味合いを有することがある)を含む、様々な欠陥があることを理解している。

【0061】

いくつかの実施形態は、細胞セグメンテーションデータを生成するために、訓練済みニューラルネットワークを実行することを含む。訓練済みニューラルネットワークは、細胞密度が異なる画像を使用してネットワークを訓練することなどにより、MxIF画像に合わせて手直しされる。その結果、これらの技術では、訓練済みモデルが信号変動に対してロバストであり得るので、個別の免疫蛍光画像に対して使用者が設定を手動で調整する必要がない。したがって、そのような技術は、大量の免疫蛍光画像を迅速に処理することを提供することができる(たとえば、各ステップについて手動調整およびキュレーションを必要とする従来技術に比較して)。

【0062】

いくつかの実施形態において、少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得することは、少なくとも1つのMxIF画像の少なくとも1つのチャネルに第4の訓練済みニューラルネットワークを適用して、細胞の配置を示す情報を生成することを含む。たとえば、いくつかの実施形態において、ニューラルネットワークモデル(たとえば、畳み込みニューラルネットワーク)は、免疫蛍光画像の1つまたは複数における細胞境界を識別するために適用され得る。ニューラルネットワークの出力は、たとえば、細胞境界を示すピクセルを識別することによって、および/または少なくとも部分的に(たとえば、部分的にまたは完全に)細胞境界内にあるピクセルを識別することによって、任意の好適な方法で細胞の境界を識別し得る。細胞境界を識別するために、ニューラルネットワークモデルは、膜マーカーを使用して生成された1つまたは複数の免疫蛍光画像に適用され得る。いくつかの実施形態において、第4の訓練済みニューラルネットワークは、U-Netアーキテクチャまたは領域ベースの畳み込みニューラルネットワークアーキテクチャを使用して実装される。いくつかの実施形態において、第4の訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む。

【0063】

いくつかの実施形態において、第4の訓練済みニューラルネットワーク(たとえば、CNN)は、入力画像としての組織試料の訓練免疫蛍光画像のセットと、入力画像内の細胞の配置を示す情報を含む関連付けられている出力画像とを使用してすでに訓練されていてもよい。ニューラルネットワークを訓練するための任意の好適な訓練技術が、本明細書に記載の技術の態様はこの点で限定されないので、適用され得る。

【0064】

本明細書に記載の実施形態は、いくつもの方法で実装され得ることは理解されるべきである。特定の実装形態の例は、例示のみを目的として以下に提供される。これらの実施形態および提供される特徴/機能は、本明細書に記載の技術の態様がこの点で限定されないので、個別に、すべて一緒に、または2つまたはそれ以上のものの任意の組合せで使用され得ることは理解されるべきである。たとえば、様々な図は、本明細書に記載の技術に従って実行することができる様々なプロセスおよびサブプロセスを説明しており、これらは、個別におよび/または互いに組み合わせて使用できる。

【0065】

複数のプロセスおよびサブプロセスの各々は、同じMxIF画像上で、および/またはMxIF画像に基づき決定された1つまたは複数の種類の情報を使用して実行され得る。本明細書に記載の特性は、MxIF画像の同じセットおよび/または同じ組織試料から取得できる。

【0066】

本発明者らによって開発された技術は、MxIF画像を処理するための従来の技術に対する実質的な改善となっている。本明細書に記載のように、これらの技術のいくつかは、機械学習方法を使用して、組織細胞の細胞種類を識別すること、細胞セグメンテーションデータ(たとえば、組織試料中の細胞の配置、細胞のサイズおよび/または形状、細胞セグメンテーションマスクなどを示すデータ)を決定すること、MxIF染色プロセスにおいて組織損傷をチェックすること(たとえば、異なる染色ステップにおいて撮像される画像を分析することによって)、細胞のコミュニティ(たとえば、組織試料中の異なる構造を表し、異なる細胞種類のものであり得る細胞の群)を識別すること、および/またはMxIF画像処理のためにMxIF画像からノイズを除去すること(たとえば、バックグラウンドノイズを除去すること)のうちの1つまたは複数を実行することを伴う。

【0067】

これらの機械学習方法を使用することで、使用しなければ従来の技術では不可能であった、完全自動化されたMxIF画像処理パイプラインが実現される。本明細書に記載のように、機械学習モデルは、そのような方法を実行するための訓練済みニューラルネットワークを含む。ニューラルネットワークは、特定の入力データを含む大きな訓練データセットにより訓練され、本発明者らが発見し、評価した関連付けられている出力データは、本明細書に記載の方法を実行するための機械学習技術を訓練できるようにする。たとえば、本発明者らは、ニューラルネットワークが、入力として(a)核情報を含む画像(たとえば、DAPI画像)、(b)免疫蛍光画像(たとえば、細胞膜、細胞質、などの)、および(c)画像内の細胞の配置に関する情報を受け取り、入力画像のマーカーによって細胞が発現される尤度を出力として提供するように訓練され得ることを発見した。この尤度は、分析下の細胞に対するマーカー発現シグネチャを生成するために使用されてよく、これは次いで細胞種類を予測するために細胞タイピングデータと比較され得る。別の例として、本発明者らは、グラフニューラルネットワークが、入力として組織細胞を表すノードを有するグラフを受け取り、細胞をコミュニティにグループ化するために使用できるより高い次元のデータを出力するように訓練され得ることを発見し、理解した。グラフは、各ノードについて、たとえば、細胞が複数の群のうちのどの群に属しているか、細胞配置情報、およびグラフ内のノードのエッジに対する代表値エッジ長などの、関連付けられている組織細胞に対するデータを含むことができる。グラフニューラルネットワークは、細胞を細胞コミュニティにクラスタリングするために使用できるより高い次元の空間内にノードデータを埋め込むことができる。その結果、訓練済みニューラルネットワークは、従来の技術を使用して他の方法では識別可能でない組織構造を識別することができる。これらおよび他の例は、本明細書においてさらに説明される。

【0068】

ニューラルネットワークは、そのような訓練データを使用して訓練され、訓練済みニューラルネットワークがその関連付けられている機能を実行することを可能にするニューラルネットワークの最終的パラメータを決定する。そのような機械学習モデルは、本明細書に記載のように、数十万個のパラメータ、数百万個のパラメータ、数千万個のパラメータ、および/または数億個のパラメータなど、膨大な数のパラメータを有する。その結果、また本明細書においてさらに説明されているように、訓練済みニューラルネットワークは、自動化された繰り返し可能な方式で、また高い精度でタスクを実行することができる(たとえば、訓練済みニューラルネットワークは、結果としてモデルにイメージングデータ内のイメージングノイズおよび/または信号レベル分布差の影響を受けない十分なロバスト性を持たせる訓練データを使用して訓練されるので)。

【0069】

図1および図2は、本明細書に記載の技術の概要を示す図である。図1は、本明細書に記載の技術のいくつかの実施形態による、MxIF画像処理のための例示的なシステム100を絵入りで例示している図である。顕微鏡110およびコンピューティングデバイス112は、この例では、抗ヒトCD31抗体、CD8 T細胞、CD68抗体、およびNaKATPaseに対する蛍光マーカーを含む、組織試料の1つまたは複数のMxIF画像102のセットを取得するために使用される。いくつかの実施形態において、異なるマーカーは、MxIF画像102において異なる色で表示され得る。たとえば、CD31抗体は赤で示すことができ、CD8 T細胞は緑で示すことができ、CD68抗体はマゼンタで示すことができ、NaKATPaseはグレーで示すことができる。コンピューティングデバイス112は、ネットワーク114を介してMxIF画像102をコンピューティングデバイス116に伝送する。

【0070】

組織試料は、限定はしないが、血液、1つもしくは複数の体液、1つもしくは複数の細胞、1つもしくは複数の組織、1つもしくは複数の臓器(たとえば、複数の組織を含み得る)、および/または被験者からの任意の他の生体試料を含む被験者から取得される任意の生体試料とすることができる。組織試料は、細胞材料(たとえば、1つもしくは複数の細胞種類の1つもしくは複数の細胞)および/または細胞外材料(たとえば、細胞同士をつなぐ細胞外マトリックス、組織の細胞外成分中の無細胞DNAなど)を含むことができる。本明細書に記載のように、組織試料は、組織レベルおよび/または細胞レベルでインビトロで分析され得る。

【0071】

本明細書に記載のMxIF免疫蛍光画像は、同じ組織試料の1つまたは複数の免疫蛍光画像を含むことができることは理解されるべきである。たとえば、MxIF画像は、同じ組織試料の単一のマルチチャネル画像(たとえば、各チャネルが異なるマーカーに関連付けられている)であってよい。別の例として、MxIF画像は、同じ組織試料の複数の画像(たとえば、その各々が1つまたは複数のチャネルを有し得る)を含み得る。たとえば、1つまたは複数のMxIF画像102を参照すると、いくつかの実施形態において、MxIF画像102は、CD31、CD8、CD68、およびNaKATPaseマーカーの各々について複数のチャネルを有する単一の画像である(たとえば、MxIF画像102が4チャネル画像となるように)。別の例として、MxIF画像102は、4つの1チャネル画像がある、各マーカーに対する別個の免疫蛍光画像を含むことができる。さらなる例として、MxIF画像102は、複数のチャネルを有する1つまたは複数の免疫蛍光画像(たとえば、各々2つのチャネルを有する2つのMxIF画像、および/または同様のもの)を含むことができる。

【0072】

図1には示されていないが、細胞構造または細胞内コンパートメントを識別するための当技術分野で知られている任意のマーカー(たとえば、膜マーカー、細胞質マーカー、核マーカーなど)を含む、様々な他の種類のマーカーが使用され得る。マーカーは、遺伝子(たとえば、タンパク質をエンコードするDNAもしくはRNA)またはタンパク質であってもよい。マーカーは、細胞内マーカー(たとえば、細胞内タンパク質)、膜マーカー(たとえば、膜タンパク質)、細胞外マーカー(たとえば、細胞外マトリックスタンパク質)、またはそれらの2つもしくはそれ以上の組合せであってもよい。マーカーの他の例は、PCK26抗体、DAPI(DNAに対する)、炭酸脱水酵素IX(CAIX)、S6、CD3、および/または同様のものを含む。マーカーのさらなる例は、遺伝子(およびそのような遺伝子によってエンコードされるタンパク質)、すなわち、ALK、BAP1、BCL2、BCL6、CAIX、CCASP3、CD10、CD106、CD11b、CD11c、CD138、CD14、CD16、CD163、CD1、CD1c、CD19、CD2、CD20、CD206、CD209、CD21、CD23、CD25、CD27、CD3、CD3D、CD31、CD33、CD34、CD35、CD38、CD39、CD4、CD43、CD44、CD45、CD49a、CD5、CD56、CD57、CD66b、CD68、CD69、CD7、CD8、CD8A、CD94、CDK1、CDX2、Clec9a、クロモグラニン、コラーゲンIV、CK7、CK20、CXCL13、DC-SIGN、デスミン、EGFR、ER、ERKP、フィブロネクチン、FOXP3、GATA3、GRB、グランザイムB、H3K36TM、HER2、HLA-DR、ICOS、IFNg、IgD、IgM、IRF4、Ki67、KIR、ルミカン、Lyve-1、マンマグロビン、MHCI、p53、NaKATPase、PanCK、PAX8、CNAP、PBRM1、PD1、PDL1、パーレカン、PR、PTEN、RUNX3、S6、S6P、SMA、SMAa、SPARC、STAT3P、TGFb、Va7.2、ビメンチン、および/または他のマーカーを含む。マーカーは、関心のあるマーカーに選択的に結合することができる標識抗体または他の標識結合剤を用いて検出することができる。標識結合剤(たとえば、標識抗体)は、発光(たとえば、蛍光)標識、化学標識、酵素標識、または他の標識で標識され得る。その結果、本明細書に記載の組織画像は、蛍光マーカー、化学マーカー、および/または酵素マーカーを含む、様々な種類のマーカーからのシグナルを使用して取得され得る。したがって、いくつかの実施形態では、本明細書に記載の画像(たとえば、MxIF画像)は、非蛍光マーカーさらには蛍光マーカーからの情報を含むことができることは理解されるべきである。しかしながら、いくつかの実施形態において、MxIF画像は、蛍光シグナルからの情報のみを含む。いくつかの実施形態において、蛍光情報は、特定のマーカーに対する蛍光抗体からの情報に加えて蛍光染色(たとえば、DAPI)からの情報を含むことができる。

【0073】

いくつかの実施形態において、組織または細胞からの免疫蛍光シグナルは、蛍光標識抗体を組織または細胞(たとえば、固定および/または切片化組織もしくは細胞)に接触させ、蛍光シグナルを(たとえば、蛍光顕微鏡を使用して)検出し、関心のある1または複数のマーカーの存在、配置、および/またはレベルを決定することによって取得される。いくつかの実施形態において、蛍光標識抗体は、関心のあるマーカーに直接結合する一次抗体である。いくつかの実施形態において、蛍光標識抗体は、関心のあるマーカーに直接結合する非標識一次抗体に結合する二次抗体である。たとえば、二次抗体は、二次抗体が一次抗体の宿主種の抗体に対して産生させられた場合に、一次抗体に結合し得る。組織または細胞の固定および/または切片化には、異なる技術が使用され得る。たとえば、組織または細胞は、ホルムアルデヒドまたは他の試薬で固定することができる。いくつかの実施形態において、組織は、固定液を用いた血管灌流によって固定され得る。しかしながら、組織または細胞は、固定液に浸漬することによっても固定され得る。いくつかの実施形態において、固定された組織または細胞は、脱水され、パラフィンなどの材料中に埋め込まれ得る。しかしながら、いくつかの実施形態において、組織または細胞は、パラフィンなどの材料中に埋め込まれるのとは反対に組織形態を保存するために凍結され得る。いくつかの実施形態において、組織または細胞(たとえば、固定され、埋め込まれ、および/または凍結された組織もしくは細胞)は、たとえばミクロトームを使用して切片化され得る。いくつかの実施形態において、切片化された組織または細胞は、蛍光顕微鏡検査用に顕微鏡用スライドまたは他の好適な支持材上に載せることができる。載せられた組織または細胞(たとえば、載せられた切片化済み組織または細胞)は、1つもしくは複数の一次抗体および/または二次抗体と接触させられて(たとえば、いくつかのインキュベーション、ブロッキング、および/または洗浄ステップを伴う)、標識組織または細胞を取得することができる。

【0074】

コンピューティングデバイス116は、MxIF画像102を処理する。コンピューティングデバイス116は、MxIF画像102を処理して、組織試料中の細胞の配置(たとえば、組織試料の画像を細胞にセグメント化することによる)および組織試料中の細胞の異なる種類を識別する情報を含む、情報104を生成する。いくつかの実施形態において、コンピューティングデバイス116は、組織試料中の細胞の複数の群を、少なくとも一部には(a)MxIF画像102およびそれらの細胞のうちの少なくともいくつかの細胞の配置を示す情報を使用してそれらの細胞のうちの少なくとも一部の細胞について特徴値を決定する(たとえば、細胞マスクなどの細胞配置情報によって識別される細胞のうちの少なくともいくつかの細胞について特徴値を決定する)ことと、(b)決定された特徴値を使用してそれらの細胞のうちの少なくともいくつかの細胞を複数の群にグループ化することとによって識別する。

【0075】

コンピューティングデバイス116は、複数の細胞群を使用して組織試料の1つまたは複数の特性を決定する。いくつかの実施形態において、コンピューティングデバイス116は、組織試料中の細胞種類に関する情報を決定する。たとえば、コンピューティングデバイス116は、組織試料中の複数の細胞群の細胞の細胞種類を決定することができる。コンピューティングデバイス116によって決定される細胞種類の例は、内皮細胞、上皮細胞、マクロファージ、T細胞(たとえば、CD3+T細胞、CD4+T細胞、またはCD8+T細胞)、悪性細胞、NK細胞、B細胞、および腺房細胞のうちの1または複数を含むことができる。コンピューティングデバイス116は、ユーザ入力に基づき、および/または人工知能技術を使用して細胞種類を決定することができる。たとえば、コンピューティングデバイス116は、1つまたは複数の訓練済みニューラルネットワークを使用して複数の細胞群を処理し、各細胞群内の細胞種類を決定することができる。たとえば、本明細書に記載のように、細胞種類は、細胞に関する群情報、さらには他の関連情報(たとえば、細胞の形状/サイズ、グラフ内の隣接要素など)に基づき予測され、ニューラルネットワークによって処理されて予測された細胞種類を決定することができる。本明細書においてさらに説明されているように、ニューラルネットワークは、たとえば、訓練データのセットを使用して訓練されるものとしてよく、各セットは、1つまたは複数の細胞群および/または他の関連する入力データ(たとえば、細胞形状、マスクなど)を含む入力データ、および入力データにおける各細胞群の細胞種類を識別する関連付けられている出力データを指定する。いくつかの実施形態において、コンピューティングデバイス116は、ユーザ入力に基づき複数の細胞群を処理し、各群内の細胞種類を決定することができる。たとえば、ユーザ入力は、関係しているように見える細胞の手動識別、グループ化された細胞の可能な細胞種類、および/または同様のものを含むことができる。

【0076】

いくつかの実施形態において、コンピューティングデバイス116は、組織試料中の1つまたは複数の細胞種類のパーセンテージを決定することができる。たとえば、コンピューティングデバイス116は、組織試料中の内皮細胞、上皮細胞、マクロファージ、T細胞、悪性細胞、NK細胞、B細胞、および腺房細胞のうちの1つまたは複数のパーセンテージを決定することができる。

【0077】

コンピューティングデバイス116は、細胞配置、細胞種類、および/または他の情報(たとえば、細胞面積情報、密度情報、などの細胞の物理的パラメータに関する情報)を使用して組織試料の特性106を決定し、これは組織試料中の隣接する細胞(たとえば、隣接する細胞種類)および/または細胞の組織構成に関する情報を決定することを含む。たとえば、コンピューティングデバイス116は、関心のある細胞種類の細胞の隣接細胞種類を決定することができる。そのような隣接細胞種類情報は、たとえば、関心のある細胞種類の細胞の少なくともいくつかが、(a)1つまたは複数のクラスタ内で密接にクラスタ化しているかかどうか(たとえば、関心のある細胞が大部分互いに隣接している場合)、(b)組織試料全体に分布しているかどうか(たとえば、関心のある細胞が組織試料中の細胞の他の種類に大部分隣接している場合)、(c)組織試料中の1つまたは複数の他の細胞種類と一緒にグループ化されているかどうか(たとえば、関心のある細胞が組織試料中の1つまたは複数の他の細胞種類に大部分隣接している場合)、および/または他の細胞隣接情報を示すことができる。

【0078】

コンピューティングデバイス116は、統計情報(たとえば、細胞分布情報)、空間的情報(たとえば、細胞種類間の距離)、形態学的情報、および/または同類のものなどの、MxIF画像、情報104(たとえば、細胞種類および/または細胞配置)、および/または情報106(たとえば、細胞隣接要素および/または細胞組織)に基づき組織試料の1つまたは複数のさらなる特性108を決定する。たとえば、統計情報は、複数の細胞種類の少なくともいくつかの細胞の分布に関する情報を含むことができる。分布情報は、たとえば、異なる細胞種類の間の分布(たとえば、2つの細胞種類が互いの近くに分布しているか、1つまたは複数の領域内で互いに混合されているか、距離によって分離されているか、および/または同様のもの)、組織試料中の1つまたは複数の細胞種類の分布(たとえば、細胞の高いまたは低い濃度の組織試料内の1または複数の領域に関する情報)、および/または他の分布情報を含むことができる。

【0079】

別の例として、いくつかの実施形態において、空間的情報は、細胞の複数の群の少なくともいくつかの細胞の配置に関する情報を含むことができる。たとえば、空間的情報は、組織試料の1つまたは複数の細胞種類の空間的組織構成に関する情報(たとえば、細胞種類による組織試料中の細胞組織構成に関する情報、他の細胞種類との比較、および/または同様のものを含む)を含むことができる。別の例として、空間的情報は、1つまたは複数の細胞種類を含む組織試料の1つまたは複数の領域(たとえば、閾値を超える1つまたは複数の細胞種類の多数の細胞を含む領域)に関する情報を含むことができる。

【0080】

さらなる例として、いくつかの実施形態において、形態学的情報は、細胞の形態および/または構造(たとえば、細胞の形状、構造、形態、および/またはサイズなど)、組織試料の形態および/または構造、および/または同様のものに関する情報を含む。

【0081】

コンピューティングデバイス112および116は、ラップトップコンピュータ、デスクトップコンピュータ、スマートフォン、クラウドコンピューティングデバイス、および/または本明細書に記載の技術を実行することができる任意の他のコンピューティングデバイスを含む、任意のコンピューティングデバイスとすることができる。ネットワーク114は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、および/または同様のものなどの、有線および/またはワイヤレスネットワーク接続を含む、任意の種類のネットワーク接続とすることができる。図1は、ネットワーク114を介して通信している2つのコンピューティングデバイス112および116を示しているが、1つのコンピューティングデバイスまたは2つ以上のコンピューティングデバイスを有する構成、ネットワークを有しない(たとえば、コンピューティングデバイスを1つだけ使用する場合)もしくは複数のネットワークを有する構成、および/または他の構成が使用され得ることは理解されるべきである。

【0082】

図2は、本明細書に記載の技術のいくつかの実施形態による、MxIF画像、およびMxIF画像を処理することによって生成され得る関連データを示す図200である。この例におけるMxIF画像202は、PCK26抗体、CD8 T細胞、CD31抗体、CD68抗体、DAPI(DNAに対する)、および/または本明細書に記載の同様のものなどの様々なマーカーを含むことができる。MxIF画像202は、組織試料に関する様々な情報を決定するために(たとえば、本明細書に記載のAIベースの技術を使用して)処理され得る。情報は、組織試料中の細胞の配置を識別するセグメンテーション情報204を含むことができる。情報は、組織試料中の間質の配置に関する情報を含む間質マスクおよび/または組織試料中の腫瘍細胞に関する情報を含む腫瘍マスクなど、組織の特徴を識別するために画像に適用され得る1つまたは複数のマスク206を含むことができる。情報は、また、細胞位置に関する情報208および/または細胞隣接要素に関する情報を含むことができる。情報は、細胞種類および細胞の部分集団の分析に関する情報210をさらに含むことができる。そのような情報は、212に示されているように、生のMxIF画像202を処理して、組織試料中の内皮細胞、マクロファージ、T細胞、および悪性細胞を含む、組織試料の細胞および/または組織学的態様を識別するために使用され得る。

【0083】

図3は、本明細書に記載の技術のいくつかの実施形態による、組織試料のMxIF画像を処理して組織試料中の細胞の特性を決定するためのパイプラインの例示的なコンポーネントを示す図300である。MxIF画像は、本明細書において一般的にMxIF画像310と称される、画像310A、310B、310C、から310Nとして示されている。上で説明されているように、各MxIF画像は、組織試料に適用される1つまたは複数のマーカーの蛍光の画像とすることができる。パイプラインは、MxIF画像上で1つまたは複数の前処理ステップを実行するMxIF画像前処理コンポーネント320を含む。前処理は、バックグラウンド減算(たとえば、MxIF画像からバックグラウンドノイズを減算する)、画像解像度を変更すること、ダウンサンプリングすること、リサイズすること、フィルタリングすること、および/または他の種類の画像前処理のうちの1つまたは複数を含むことができる。パイプラインは、免疫蛍光画像内の細胞の配置に関する情報を(たとえば、細胞セグメンテーションマスクなどの、細胞配置を識別するために画像をセグメント化することによって)生成する細胞セグメンテーションコンポーネント330も含む。

【0084】

パイプラインは、細胞セグメンテーションコンポーネント330からの細胞配置情報およびMxIF画像前処理コンポーネント320からの前処理済みMxIF画像に基づき細胞タイピング(たとえば、細胞種類の決定)を実行し、および/または組織試料中の細胞を複数の異なる群にグループ化する細胞タイピングコンポーネント340も含む。パイプラインは、細胞セグメンテーションコンポーネント330からのデータを使用する細胞形態評価コンポーネント350も含む。細胞形態評価コンポーネント350は、細胞面積、細胞周長、細胞サイズ、および/または同様のものなどの、細胞のパラメータを決定する。パイプラインは、特性決定コンポーネント360も含み、これは細胞タイピングコンポーネント340および細胞形態評価コンポーネント350の両方からのデータを使用する。特性決定コンポーネント360は、細胞の分布に関する情報、細胞間の距離、および本明細書に記載のような他の情報などの、組織試料の1つまたは複数の特性を決定することができる。いくつかの実施形態において、距離情報は、別の細胞または構造(またはその一部)を通って交差しない2つの細胞の間の最短経路の長さであってよい。たとえば、距離情報は、組織試料の一部に沿った最短距離に基づき決定され得る。たとえば、2つの細胞が腺房を通して分離されている場合、距離は、(腺房を通る距離ではなく)腺房の周りの距離の測定であってよい。

【0085】

図4Aは、本明細書に記載の技術のいくつかの実施形態による、図3のコンポーネントのうちのいくつかを使用するMxIF画像300の例示的な処理フロー400を示す図である。図4Aの左側に示されているように、MxIF画像310は、MxIF画像前処理コンポーネント320を使用して前処理される。この例では、MxIF画像前処理コンポーネント320は、それぞれ処理済みMxIF画像410A、410B、410C、から410N(本明細書においてまとめて処理済みMxIF画像410と称される)として示されるMxIF画像310の各々に対する処理済みMxIF画像を生成する。本明細書に記載のように、たとえば、処理済みMxIF画像410は、バックグラウンド減算を実行すること(たとえば、ノイズを除去すること)などの処理を施され得る。処理済みMxIF画像410は、次いで、細胞タイピングコンポーネント340に提供され、および/または他の何らかの形で利用可能にされる。図4Aは、MxIF画像前処理コンポーネント320によって処理されるMxIF画像310の各々を示しているが、これは例示的な目的のためであり、限定することを意図されておらず、MxIF画像310の1つまたは複数のみがMxIF画像前処理コンポーネント320によって処理され得る。

【0086】

いくつかの実施形態において、コンピューティングデバイスは、別個の処理済みMxIF画像410を使用して、細胞クラスタリングコンポーネント116によって使用される組み合わされたマルチチャネル処理済みMxIF画像を生成する(たとえば、各チャネルが異なるマーカーに関連付けられる場合)。たとえば、上で説明されているように、各マーカー画像は、前記画像内の各マーカーに対してバックグラウンド減算を独立して実行するように処理され得る。たとえば、各マーカーは、そのマーカーに関連付けられているノイズを減算するように処理され得る(たとえば、ノイズは各マーカーに対して異なることがあるので)。コンピューティングデバイスは、細胞タイピングコンポーネント340が、処理済みマーカーの各々に対するチャネルを含む単一の画像を使用して細胞クラスタリングを実行できるように組み合わされた画像を生成することができる。それに加えて、または代替的に、細胞タイピングコンポーネント340は、複数の画像を使用して細胞クラスタリングを実行することができる。

【0087】

図4Aにも示されているように、細胞セグメンテーションコンポーネント330は、この例ではMxIF画像310Aおよび310Cとして示されている、MxIF画像310の少なくともいくつかを使用して、免疫蛍光画像によって取り込まれた組織試料中の細胞の配置を示す配置情報420を生成する。MxIF画像310は、MxIF画像前処理コンポーネント320を使用して前処理され得る(図4Aには示されていない、細胞セグメンテーションコンポーネント330によって使用される処理済みMxIF画像を生成するため)。配置情報420は、たとえば、細胞セグメンテーションマスクなどの、細胞セグメンテーションデータを含むことができる。配置情報420は、細胞タイピングコンポーネント340に提供され、および/または他の何らかの形で利用可能にされる。

【0088】

図4Aは、例示的な処理フローを示すだけであることを意図していることは理解されるべきである。図4Aに示されている1つまたは複数のコンポーネントは任意選択することが可能である(たとえば、MxIF画像前処理320、細胞分割330など)。たとえば、MxIF画像前処理320は、図4Aの左および右の両方に示されているが、いずれかまたは両方の配置で使用される必要はない。さらに、図4Aは、2つのMxIF画像を使用する細胞セグメンテーションコンポーネント330を示しているが、これは例示することのみを目的としており、細胞セグメンテーションコンポーネント330は、MxIF画像のすべておよび/またはMxIF画像前処理コンポーネント320によって処理された同じ数のMxIF画像を含む、任意の数のMxIF画像310を使用することができる。

【0089】

MxIF画像300の各々は、異なるマーカーを使用して(たとえば、組織を異なる抗体マーカーで染色することによって)取り込まれるものとしてよく、それにより組織試料が異なるマーカーを施されたときに各免疫蛍光画像は取り込まれる。その結果、MxIF染色プロセスは、周期的であり得、イメージングのために組織試料を染色すること、その後の染色の準備のためにマーカーを洗い流すこと、などを含み得る。本発明者らは、マーカーが組織試料から洗い流されるたびに、局部的組織損傷が生じ得ることを理解している。たとえば、周期的免疫蛍光(CyCIF)染色法などの、いくつかの染色法は、(たとえば、過酸化水素の使用により)破壊的であり、いくつかの局部的組織損傷を引き起こす可能性がある。その結果、個別の細胞および/または細胞群が、試料中の元の配置に関して洗い流され、および/またはシフトされるなど、損傷を受ける可能性がある。そのような損傷の結果、損傷が生じたステップから始まり、その後のステップを次々に通る、画像処理パイプラインを通して処理される損傷細胞についての誤った情報が得られ得る(たとえば、さらなる損傷細胞により潜在的に悪化する)。その結果、いくつかの実施形態において、これらの技術は、MxIFイメージングプロセスの1つまたは複数のステップにおいて組織の劣化をチェックすることを含み得る。

【0090】

図4Bは、本明細書に記載の技術のいくつかの実施形態による、組織劣化チェックコンポーネント430も含む図4Aの例示的な処理フロー400を示す図である。潜在的な組織の損傷が組織分析に影響するのを回避するために、組織劣化チェックコンポーネント430は、損傷細胞を検出し、それらの細胞を組織分析から除外することができる。いくつかの実施形態において、異なる段階からの免疫蛍光画像の細胞マーカーが比較され、それにより組織構造の変化を検出することができる(たとえば、変化の時間に関して細胞核、細胞境界などを比較することによって)。たとえば、異なる段階からの核マーカー(たとえば、DAPI)の免疫蛍光画像が比較され、それにより組織試料中の細胞核配置の変化を時間経過とともに監視することができる。

【0091】

いくつかの実施形態において、組織劣化チェックコンポーネント430は、訓練済みニューラルネットワークを使用して、異なる免疫蛍光イメージング段階からのマーカーを比較することができる。ニューラルネットワークモデルは、たとえば、全体が参照により本明細書に組み込まれる、https://arxiv.org/abs/1512.03385から入手可能な、Kaiming Heら「Deep Residual Learning for Image Recognition」、arXiv:1512.03385v1(2015年12月)に記載のようなResNetsモデルに基づき実装され得る。そのようなResNetsモデルの実装形態は、様々な数のパラメータを含むことができる。そのようなモデルは、少なくとも50万個のパラメータ、100万個のパラメータ、またはそれ以上のパラメータなどの、多くのパラメータを含むことができる。いくつかの実施形態において、そのようなモデルは、数千万個のパラメータ(たとえば、1000万個のパラメータ、2500万個のパラメータ、5000万個のパラメータ、またはそれ以上のパラメータ)を含むことができる。たとえば、パラメータの数は、実装形態に基づき、1100万個から5500万個のパラメータの範囲内とすることができる。いくつかの実施形態において、パラメータは、少なくとも1億個のパラメータ(たとえば、少なくとも1億個のパラメータ、100万個から1億個の間のパラメータ)、数億個のパラメータ、少なくとも10億個のパラメータ、および/または任意の好適な数もしくは範囲内のパラメータを含むことができる。別の例として、ニューラルネットワークモデルは、たとえば、全体が参照により本明細書に組み込まれる、https://arxiv.org/abs/1905.11946から入手可能な、Mingxing TanおよびQuoc Le「EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks」、arXiv:1905.11946v5(2020年9月)に記載のようなEfficientNetモデルに基づき実装され得る。このようなEfficientNetモデルの実装形態は、50万個のパラメータ、少なくとも100万個のパラメータ、数百万個のパラメータ(たとえば、500万個のパラメータ)、数千万個のパラメータ(たとえば、1000万個のパラメータ、2500万個のパラメータ、5000万個のパラメータ、またはそれ以上のパラメータ)などの、様々な数のパラメータも含むことができる。たとえば、パラメータの数は、500万個から6000万個のパラメータの範囲内とすることができる。いくつかの実施形態において、パラメータは、少なくとも1億個のパラメータ(たとえば、少なくとも1億個のパラメータ、100万個から1億個の間のパラメータ)、数億個のパラメータ、少なくとも10億個のパラメータ、および/または任意の好適な数もしくは範囲内のパラメータを含むことができる。

【0092】

いくつかの実施形態において、訓練済みニューラルネットワークは、時間経過とともに撮られた同じ組織試料の免疫蛍光マーカー画像(たとえば、DAPIマーカー画像)のセットを入力として取り得る。免疫蛍光マーカー画像のセットは、2つの異なるループ(たとえば、ベースループおよびテストループ)の各々など、複数の免疫蛍光イメージングループにわたって染色され得る。いくつかの実施形態において、訓練済みニューラルネットワークは、入力として免疫蛍光マーカー画像の一部を受け取ることができる。たとえば、いくつかの実施形態において、免疫蛍光マーカー画像のセットは、より小さな部分で画像を処理するために免疫蛍光画像にまたがるスライディングウィンドウを使用して処理され得る。ウィンドウは、特定の幅(たとえば、128ピクセル、256ピクセルなど)、高さ(たとえば、128ピクセル、256ピクセルなど)、およびマーカーの数を表すチャネル数(たとえば、2、3、4など)とすることができる。スライディングウィンドウは、予め構成されているパターンで免疫蛍光画像を横切って移動し、免疫蛍光画像の完全な内容を処理することができる。たとえば、スライディングウィンドウは、第1のラインの免疫蛍光画像の左上隅から始まり、免疫蛍光画像の右側に到達するまで免疫蛍光画像を横切って水平方向に移動し、免疫蛍光画像の第2のラインへ下り、左から右へ再び働き、免疫蛍光画像の右下に到達するまでこれを繰り返すことができる。したがって、訓練済みニューラルネットワークは、完全な画像処理のための畳み込みフィルタとして使用され得る。入力マーカー画像(またはその一部)は、z正規化および/または任意の他の正規化技術を適宜使用することなどによって、正規化され得る。

【0093】

いくつかの実施形態において、ニューラルネットワークの出力は、少なくとも、ウィンドウが損傷組織と関連付けられているかどうかを示す値(たとえば、2進値および/またはウィンドウが損傷組織と関連付けられているかどうかの確率)とすることができる。いくつかの実施形態において、出力は、複数のクラスの各々に対する値を含むことができ、複数のクラスのうちの少なくとも1つが組織損傷の兆候を示す領域に関連付けられている。たとえば、3つのクラス(たとえば、組織試料のOK、EMPTY、およびDAMAGED領域)がある場合、出力は、免疫蛍光画像のウィンドウの各々の対応するクラスに対する確率をそれぞれ反映する3つの値であり得る。いくつかの実施形態において、各ウィンドウについて、最も高い確率を有するクラスは、そのウィンドウについて選択され、そのウィンドウに対する最終的なクラスまたは分類(たとえば、損傷組織かどうか)が選択される。組織劣化チェックプロセスの最終出力は、各ウィンドウについて決定されたクラスを組み合わせ、図4Cと併せてさらに説明されているように、関連性のある様々なクラスを反映するパッチマスクを生成することができる。その結果、いくつかの実施形態において、パッチマスクは、組織が損傷しているかどうかを、ウィンドウサイズに与えられる粒度で示す。

【0094】

いくつかの実施形態において、注釈付きデータセット(たとえば、1人または複数の病理学者によって注釈を付けられた)がニューラルネットワークを訓練するために使用され、それにより組織試料の部分をクラスのセットに分類することができる。一例において、ニューラルネットワークを訓練するために使用されるデータセットは、2500個の注釈付きDAPIマーカー画像を含んでいた(ただし、同じマーカーがイメージングプロセスの複数のループまたはステップで使用されている限り、任意のマーカーが潜在的に使用され得ることは理解されるべきである)。画像は、ニューラルネットワークを訓練するために使用できるクラスのセットを使用して注釈を付けられ、それにより新しいデータをクラスに分類することができる(たとえば、新しいデータがクラスの各々に対応するかどうかの尤度を決定することによって)。本明細書に記載のように、いくつかの実施形態において、ニューラルネットワークは、新しいデータを、たとえば、組織の空の部分(たとえば、細胞のない部分)に対する第1のクラス、変化のない部分に対する第2のクラス、損傷した部分に対する第3のクラス、一定時間にわたって見守る部分に対する第4のクラス、および/または同様のものに分類するように訓練され得る。画像には、本明細書に記載のウィンドウ化アプローチを使用して注釈を付けることができ、それにより、画像はライン毎に組織試料を横切るウィンドウ化された部分に対する注釈を含む(たとえば、本質的に、画像はグリッドに分割され、グリッドの各ブロックはクラスで注釈を付けられる)。免疫蛍光画像データセットに注釈を付けるために、一例では、UniversalDataTool(UDT)が使用され、各画像のウィンドウ化されたサブ部分は、3つのクラス(OK、EMPTY、DAMAGED)に分類された。いくつかの実施形態において、入力画像は、アフィン変換および/または他の変換などの、1つまたは複数の変換を適宜使用して増強され得る。訓練プロセスは、教師あり学習訓練プロセスとすることができる。

【0095】

いくつかの実施形態において、組織劣化チェックコンポーネント430は、組織試料の損傷部分および/または非損傷部分を表す組織試料のパッチマスクを生成することができる。たとえば、パッチマスクは、組織試料の部分がニューラルネットワークによって分類された異なるクラスを示す部分(たとえば、ニューラルネットワークによって処理されたウィンドウ化部分に対応する)を含むことができる。パッチマスクは、組織試料の損傷した部分をさらに分析することを防ぐために分類済み部分のいくつかおよび/またはすべてをフィルタリングするために使用され得る。たとえば、パッチマスクは、損傷を有すると分類された領域からセグメンテーション輪郭(たとえば、細胞セグメンテーションモジュール330によって生成される)をフィルタリングして除去するために使用され得る。

【0096】

図4Cは、本明細書に記載の技術のいくつかの実施形態による、同じ組織試料の2つの核マーカー画像440Aおよび440B(まとめて染色部440)を比較することによって決定される組織劣化情報に基づき生成されるパッチマスク444を示す図である。パッチマスク444は、図4Bの組織劣化チェックコンポーネント430によって実行されるプロセスなどの、組織劣化チェックプロセスを使用して生成され得る。この例では、2つの核マーカー画像440の各々は、MxIFイメージングプロセスの異なるステップまたはサイクル中にDAPIマーカーを使用して組織試料をイメージングすることによって生成される。マーカー画像440Aのウィンドウ442Aおよびマーカー画像440Bのウィンドウ442Bは、マーカー画像440のウィンドウ化部分を比較して、MxIFイメージングステップにまたがって組織外乱をチェックすることによってマーカー画像440を反復的に処理するためにマーカー画像440を横切って移動するウィンドウを描いている。マーカー画像440のウィンドウ化部分は、本明細書に記載のように、組織試料のパッチを3つのクラス(空、損傷、および無損傷)に分類した訓練済みニューラルネットワークを使用して比較され、最も高い確率を有するクラスが各ウィンドウに対して選択される。結果として得られるパッチマスク444は、ほとんどまたは完全に空であると分類された組織試料のウィンドウ化部分を示すためのセクション444A、組織試料のそれらの部分がさらなる分析に使用することに対してOKであるように十分に無損傷である組織を含む組織試料のウィンドウ化部分に対するセクション444B、およびセクション444Cであって、セクション444Cがさらなる分析から除外されるべきであるように十分な数の損傷細胞(たとえば、1つまたは複数の損傷細胞、所定の閾値を超える数の損傷細胞、など)を含むセクション444Cを含む。

【0097】

図4Dは、いくつかの実施形態による、処理する組織試料の領域をフィルタリングするための図4Cからのパッチマスク444の使用を示す図である。パッチマスク444は、損傷細胞を含むセクション444Cをフィルタリングして除去するために使用され得る。図4Cに示されているように、パッチマスク444は、セクション444Cをフィルタリングして除去するためにセグメンテーションマスク446に適用される。結果は、本明細書に記載のような細胞タイピングおよびさらなる組織分析を含む、画像処理パイプラインにおいて(セグメンテーションマスク446の代わりに)使用され得るフィルタリングされたセグメンテーションマスク448である。フィルタリングされたセグメンテーションマスク448を使用することによって、画像処理パイプライン(たとえば、図3の細胞タイピングコンポーネント340、細胞形態評価コンポーネント350、および/または特性決定コンポーネント360)は、細胞タイピングおよび/または特性決定のためにマスクから除去されているセクション444Cを処理しない。

【0098】

組織劣化チェックモジュール430は、図4Bにおいて細胞セグメンテーションモジュール330の後に例示されているが、これは例示することのみを目的としていることは理解されるべきである。たとえば、組織劣化チェックは、細胞セグメンテーションモジュール330の一部として、細胞セグメンテーションの前に(たとえば、MxIF画像前処理モジュール320の一部として)、および/またはプロセスの任意の他の時点において実行され得る。いくつかの実施形態において、組織劣化チェックは、MxIF画像上でバックグラウンド減算が実行された後に実行され得る。さらに、組織劣化チェックモジュール430は任意選択であり、したがって、組織劣化チェックは、画像処理パイプラインの一部として実行される必要はないことは理解されるべきである。

【0099】

細胞タイピングコンポーネント340は、処理済みMxIF画像410および配置情報420を使用して、細胞タイピングを実行し、および/または(たとえば、類似の特徴値を示す細胞に基づき)細胞を複数の群にグループ化する。それらの複数の群は、組織試料の1つまたは複数の特性を決定するために特性決定コンポーネント360によって使用され得る。図5Aは、本明細書に記載の技術のいくつかの実施形態による、組織の少なくとも1つの特性を決定するために組織試料の細胞をグループ化するために細胞配置データに基づき組織試料のMxIF画像を処理する例示的なコンピュータ化プロセス500を示すフローチャートである。コンピュータ化プロセス500は、たとえば、図1に記載のコンピューティングデバイス116によって実行され得る。図51のコンピューティングデバイス5100は、MxIF画像を処理するための図3～図4Bと併せて説明されているパイプラインの態様のうちの1つまたは複数を実行するように構成され得る。

【0100】

ステップ502で、コンピューティングデバイスは、同じ組織試料の少なくとも1つの多重免疫蛍光画像(たとえば、図3とともに説明されているMxIF画像310)を取得する。本明細書に記載のように、最後の1つの多重免疫蛍光画像は、同じ組織試料の単一のマルチチャネル免疫蛍光画像および/または同じ組織試料の複数の免疫蛍光画像(各々1または複数のチャネルを有し得る)とすることができる。いくつかの実施形態において、コンピューティングデバイスは、以前に生成された画像を取得することによって多重免疫蛍光画像を取得する(たとえば、1つまたは複数のコンピュータ可読ストレージデバイスを使用して記憶されている1つまたは複数の画像にアクセスし、および/または少なくとも1つの通信ネットワークを通じて1つまたは複数の画像を受信する)。たとえば、MxIF画像は、顕微鏡を使用して組織試料をイメージングすることによって取り込まれ、プロセス500の実行前にその後のアクセスのために記憶され、活動502の間にアクセスされ得る。他の実施形態では、活動502は、画像を取り込むことを包含し得る。組織試料は、患者(たとえば、癌を有する、または有する疑いがある、または有するリスクがある患者)から以前に取得されたインビトロ試料である。

【0101】

本発明者らは、本明細書に記載の処理のいくつかについて、MxIF画像からノイズを除去するなど、MxIF画像を処理することが望ましい場合があることを理解している。たとえば、ノイズは組織試料中の細胞の配置を決定するシステムの能力に影響を及ぼし得ないので、システムは、ノイズを除去することなくMxIF画像に対して細胞セグメンテーション(たとえば、図3における細胞セグメンテーション330)を実行することができる場合がある。しかしながら、ノイズは、細胞クラスタリング(たとえば、図3における細胞タイピング340の一部として実行される)に問題を引き起こす可能性がある。たとえば、低い信号対雑音レベルは細胞クラスタリングに影響を与える場合があり、したがって、生のMxIF画像および/または細胞セグメンテーションプロセスによって生成されたデータは、細胞クラスタリングには十分でない場合がある。

【0102】

いくつかの実施形態において、これらの技術は、免疫蛍光画像のうちの少なくとも1つを処理して、対応する処理済み画像を生成することを含む。免疫蛍光画像を処理することは、バックグラウンド減算を実行することを含むことができる。バックグラウンド減算は、たとえば、少なくとも何らかのノイズを除去することができる。ノイズは、たとえば、画像を取り込んだ顕微鏡によって引き起こされる画像内のノイズ、周囲の細胞に起因するノイズ(たとえば、蛍光ノイズ)などの組織の態様によって引き起こされるノイズ、抗体に起因するノイズ、および/または同様のノイズを含むことができる。いくつかの実施形態において、画像は、画像内の異なる領域で処理することができる。たとえば、いくつかの領域は他の領域よりも多くのノイズを示す可能性があるので、画像内の特定の領域からノイズを除去され得る。それに加えて、または代替的に、いくつかの実施形態において、画像は、画像毎に、および/またはチャネル毎に処理され得る。たとえば、各マーカーチャネルが異なるノイズを示す可能性があるので、ノイズはマーカー毎にも除去できる。

【0103】

いくつかの実施形態において、これらの技術は、少なくとも何らかのノイズを除去するために免疫蛍光画像の各々に訓練済みニューラルネットワークモデルを適用することを含むことができる。図17は、本明細書に記載の技術のいくつかの実施形態による、生の免疫蛍光画像からノイズを減算するためのノイズ(たとえば、バックグラウンド減算に対する)減算閾値を予測することができる訓練済みニューラルネットワークを実装するための畳み込みネットワークアーキテクチャ1700の図である。畳み込みニューラルネットワークアーキテクチャ1700は、図1のMxIF画像前処理120および/または図3～図4Bに示されているMxIF画像前処理320の一部など、MxIF画像前処理の一部として実装され、および/または実行され得る。畳み込みニューラルネットワークアーキテクチャ1700は、本明細書に記載の他のプロセスおよびサブプロセスの一部として実装され、および/または実行され得る。たとえば、アーキテクチャ1700は、図5Aのステップ502、504および/または506の一部として、ノイズを除去するために使用され得る。別の例として、アーキテクチャ1700は、図6Aのステップ612、614、および/または616の一部として、ノイズを除去するために使用され得る。さらなる例として、アーキテクチャ1700を使用して実装される訓練済みニューラルネットワークは、図7Aのステップ704、706、および/またはステップ708の一部として、ノイズを除去するために使用され得る。

【0104】

畳み込みネットワークアーキテクチャ1700に従って実装されたニューラルネットワークは、生の入力画像1708に基づき閾値画像1706を予測するように訓練される。図17の例に示されているように、畳み込みネットワークアーキテクチャ1700は、畳み込み層1702A、1702Bおよび1702Cが、最初に、(ダウンサンプリング経路に沿って)生画像1708データの連続して下がる解像度のバージョンのシーケンスに適用され、次に、アップサンプリング層1704A、1704Bおよび1704Cとして示されている(アップサンプリング経路に沿って)生画像1708データの連続して高くなる解像度のバージョンのシーケンスに適用される「U」構造を有し得る。いくつかの実施形態において、畳み込みネットワークアーキテクチャ1700には示されていないが、データの解像度は、1つまたは複数のプーリング層を使用して(たとえば、ダウンサンプリング経路に沿って)減らされ、1つまたは複数の対応するアンプーリング層を使用して(たとえば、アップサンプリング経路に沿って)増やされ得る。そのようなニューラルネットワークの実装形態は、様々な数のパラメータを含むことができる。そのようなモデルは、少なくとも50万個のパラメータ、100万個のパラメータ、200万個のパラメータ、500万個のパラメータ、またはそれ以上のパラメータなど、多くのパラメータを含むことができる。いくつかの実施形態において、そのようなモデルは、数千万個のパラメータを含むことができる。たとえば、パラメータの数は、実装形態に基づき、少なくとも1000万個のパラメータ、2000万個のパラメータ、2500万個のパラメータ、5000万個のパラメータなどを含むことができる。いくつかの実施形態において、パラメータは、少なくとも1億個のパラメータ(たとえば、少なくとも1億個のパラメータ、100万個から1億個の間のパラメータ)、数億個のパラメータ、少なくとも10億個のパラメータ、および/または任意の好適な数もしくは範囲内のパラメータを含むことができる。

【0105】

いくつかの実施形態において、モデルは、ノイズ除去情報を使用して事前訓練され得る。いくつかの実施形態において、モデルは、ノイズを除去するために閾値を使用するように訓練され得る。そのような実施形態において、モデルは、ノイズ除去のための適切な閾値を表す閾値化画像などの閾値データを使用して訓練され得る。訓練データは、モデルが生画像から閾値化画像を生成することを学習できるように入力画像としての免疫蛍光画像と、出力画像としての対応する閾値化画像(ノイズが除去されている)とを含むこともできる。たとえば、図17をさらに参照すると、訓練データは、生画像1708および対応する閾値化画像1706を含むことができ、これらは比較されたときに閾値差1710を有する。いくつかの実施形態において、閾値化は、免疫蛍光画像を横切って(たとえば、ガウス平滑化ステップなどの平滑化ステップの後に)大域的に実行することができる。いくつかの実施形態において、これらの技術は、ノイズ除去のために免疫蛍光画像を部分画像に分割することができる。たとえば、マーカーの強度は、免疫蛍光画像を横切って変化し、したがって、画像の1つの部分に対して使用される閾値は、画像の別の部分に対して使用される閾値と異なり得る。これらの技術は、たとえば、免疫蛍光画像を、256×256、512×512、256×512、および/または同様のサイズなどの、同じサイズの部分画像のセットに分けることを含むことができる。

【0106】

図5Aをさらに参照すると、ステップ504で、コンピューティングデバイスは、多重免疫蛍光画像内の細胞の配置を示す情報(たとえば、図4A～図4Bと併せて説明されている細胞配置情報420)を取得する。細胞の配置を示す情報は、免疫蛍光画像内の細胞のいくつかおよび/またはすべての配置を示すデータを含むことができる。いくつかの実施形態において、細胞配置情報は、細胞境界情報、細胞境界情報が導出され得る情報(たとえば、免疫蛍光画像の、たとえば、細胞膜および/または核によって発現される1つまたは複数のマーカーの発現レベル)、および/またはマスクを含むことができる。いくつかの実施形態において、それらの細胞のうちのいくつかおよび/またはすべてに対する細胞配置は、免疫蛍光画像の各々において同じであってよい。たとえば、免疫蛍光画像がすべて同じ組織試料のものである場合、細胞配置は、各画像内で同じであってよい。いくつかの実施形態において、細胞配置情報は、細胞セグメンテーションマスクを使用して指定することができ、これは、免疫蛍光画像の1つまたは複数に適用され、それにより免疫蛍光画像内の細胞の配置を識別することができる。

【0107】

いくつかの実施形態において、マスクは、2進値マスクおよび/または多値マスクであり得る。2進値マスクは、たとえば、イメージングされた組織試料中の1つまたは複数の細胞、組織構造、および/またはピクセルについて2進値(たとえば、存在または不存在)を示すことができる。多値マスクは、たとえば、イメージングされた組織試料中のピクセル、細胞、および/または組織構造に対する値の範囲を示すことができる。たとえば、多値マスクは、組織成分の部分的存在(たとえば、完全に存在する成分または存在しない成分に加えて)、組織の複数の態様(たとえば、異なる細胞、組織構造などの存在)、および/または他の非2進値情報を示すためにも使用され得る。いくつかの実施形態において、細胞境界マスクは、免疫蛍光画像から取得された細胞境界情報に基づき作成され得る。いくつかの実施形態において、2進値細胞境界マスクは、組織試料中の検出された細胞境界の存在(たとえば、白色ピクセルを介して)または不存在(たとえば、黒色ピクセルまたは他の非白カラーピクセルを介して)のいずれかを示す。

【0108】

いくつかの実施形態において、コンピューティングデバイスは、細胞配置情報にアクセスする。たとえば、細胞配置情報は、別個のコンピューティングデバイスによって生成され、コンピューティングデバイスに(たとえば、有線および/またはワイヤレスネットワーク通信リンクを介して)伝送される、コンピューティングデバイスにアクセス可能なメモリに記憶される、および/または同様の操作が行われ得る。

【0109】

いくつかの実施形態において、細胞配置情報は、手動で生成され、本明細書に記載の技術によって使用するためにアクセスされ得る。図8は、本明細書に記載の技術のいくつかの実施形態による、例示的なMxIF画像800およびMxIF画像に対する手動細胞配置/セグメンテーションデータ802の例を示している。

【0110】

いくつかの実施形態において、コンピューティングデバイスは、少なくとも1つの多重免疫蛍光画像を使用して細胞配置情報を生成する。たとえば、図3～図4Bを参照すると、コンピューティングデバイスは、細胞セグメンテーションコンポーネント330の1つまたは複数の態様を実行して細胞配置情報を生成するように構成され得る。いくつかの実施形態において、コンピューティングデバイスは、細胞配置情報を生成するために1つまたは複数の多重免疫蛍光画像のチャネルのセットを選択し、各選択済みチャネルは、細胞構造情報を示すマーカーデータを含む。たとえば、選択済みチャネルは、細胞膜、細胞種類、細胞核、および/または同様のもののデータを含むことができ、これは細胞配置情報を生成するために使用され得る。たとえば、細胞核は、DAPI、H3K36TM、および/または他のマーカーを使用して示すことができる。別の例として、細胞表面マーカーは、CD20、CD3、CD4、CD8、および/または同様のものを含むことができる。さらなる例として、細胞質マーカーは、S6および/または同様のものを含むことができる。いくつかの実施形態において、複数のマーカーが、細胞配置情報を生成するために使用される。たとえば、細胞配置情報を生成するために使用される免疫蛍光マーカーは、細胞核マーカーとしてのDAPI、細胞膜マーカーとしてのNaKATPase、および細胞の細胞質マーカーとしてのS6を使用することを含むことができる。

【0111】

いくつかの実施形態において、コンピューティングデバイスは、機械学習技術を使用して、細胞配置情報を生成する。たとえば、コンピューティングデバイスは、畳み込みニューラルネットワークモデルを免疫蛍光画像チャネルの1つまたは複数に適用して、細胞配置データを生成することができる。いくつかの実施形態において、コンピューティングデバイスは、細胞構造情報を有するチャネルを選択し、畳み込みニューラルネットワークモデルを免疫蛍光画像の選択されたサブセットに適用して、細胞配置情報を生成する。

【0112】

いくつかの実施形態において、畳み込みニューラルネットワークモデルは、U-Netアーキテクチャなどの、図17と併せて説明されているような「U」形状を有するニューラルネットワークモデルを含むことができる。

【0113】

いくつかの実施形態において、ニューラルネットワークアーキテクチャは、マスクR-CNNなどの領域ベースの畳み込みニューラルネットワーク(R-CNN)アーキテクチャを含むことができる。Mask R-CNNの例は、全体が参照により本明細書に組み込まれている、https://arxiv.org/abs/1703.06870から入手可能である、Kaiming Heら、「Mask R-CNN」、arXiv:1703.06870(2018年1月)に記載のものである。そのようなモデルは、多数のパラメータを含むことができる。たとえば、そのようなモデルは、少なくとも50万個のパラメータ、少なくとも100万個のパラメータ、複数百万個のパラメータ(たとえば、少なくとも100万個のパラメータ、200万個のパラメータ、300万個のパラメータなど)、および/または数千万個のパラメータ(たとえば、少なくとも1000万個のパラメータ、2500万個のパラメータ、1500万個のパラメータなど)を含むことができる。たとえば、そのようなモデルは、4000万から4500万個のパラメータ(たとえば、4000万個のパラメータ、4200万個のパラメータ、および/または4500万個のパラメータ)を含み得る。いくつかの実施形態において、パラメータは、少なくとも1億個のパラメータ(たとえば、少なくとも1億個のパラメータ、100万個から1億個の間のパラメータ)、数億個のパラメータ、少なくとも10億個のパラメータ、および/または任意の好適な数もしくは範囲内のパラメータを含むことができる。R-CNNモデルへの入力は、核マーカーおよび1つまたは複数の膜マーカーを含む複数のチャネルを含むことができる。たとえば、入力は、第1のチャネルに対する核マーカー(たとえば、DAPI)、第2のチャネルに対するほとんどの細胞上に存在する膜マーカー(たとえば、CD45またはNaKATPase)、および第3のチャネルに対する十分な染色性を有する追加の膜マーカー(たとえば、CD3、CD20、CD19、CD163、CD11c、CD11b、CD56、CD138等を含む)の3チャネルを含むことができる。いくつかの実施形態において、入力チャネルは正規化され得る(たとえば、0～1の範囲内となるように)。

【0114】

いくつかの実施形態において、1つの入力画像(または複数の入力画像)は、交差する正方形(たとえば、サイズ128×128ピクセル、256×256ピクセルなど)に分割され、ウィンドウ単位で処理される。そのような実施形態では、ネットワーク出力は、各別個の細胞に対するマスク提案の配列であり得る。いくつかの実施形態において、出力は、各ウィンドウに対する2進値マスクであり得る。それに加えて、または代替的に、出力は、所与のピクセルが細胞のマスクの一部である確率を表す値(たとえば、0～1の範囲の値)を有する画像のセットとすることができる。そのような実施形態について、出力画像のピクセルは、最終的なマスク値を決定するために様々な技術を使用して閾値化および/または選択され得る。たとえば、各ピクセルが、足し合わせると1になる2つの確率を含む場合、出力ピクセルは、0.5の値を使用して閾値化され、2進値マスクに対する最終的なピクセルを取得することができる。

【0115】

いくつかの実施形態において、予測のウィンドウは、オーバーラップするデータを含み得る。たとえば、ウィンドウはデータを共有し、および/または細胞がウィンドウのエッジの間に配置されている場合に交差し得る。そのような冗長性は、ウィンドウのすべての部分ではなく、いくつかの部分からの細胞のみを処理することによって回避され得る。たとえば、各画像の中央、上隅、および右隅のピクセルは、各ウィンドウに対して処理されるだけであり得る(たとえば、現在のウィンドウが右側または下側からの最後のウィンドウである場合にのみ画像の下および右部分が処理される)。次いで、その結果得られた細胞セグメントは、最終出力マスクに集約され得る(たとえば、整数値は個々の細胞インスタンスを表す)。

【0116】

いくつかの実施形態において、アーキテクチャ(たとえば、U-Net、R-CNNなど)は、本明細書に記載のResNetsモデル(たとえば、ResNet-50)などのエンコーダヘッドを(たとえば、モデルの第1の1つまたは複数の層として)使用することができる。その結果、複数のセグメンテーションネットワークが、モデル互換性を可能にするように、類似のおよび/または同じエンコーダヘッドにより作成され得る。

【0117】

いくつかの実施形態において、畳み込みニューラルネットワークモデルは、入力画像としての訓練免疫蛍光画像のセット、および出力画像としての関連付けられている細胞セグメンテーション画像を使用して訓練される。約100画像、約200画像、約300画像、約2,000画像、約3,000画像、約4,000画像、約5,000画像、約6,000画像、約10,000画像、および/または同様の数の画像など、様々な訓練セットサイズがニューラルネットワークモデルを訓練するために使用され得る。いくつかの実施形態において、訓練セットサイズは、訓練セットサイズが約4,000から5,000画像の範囲となり得るように、入力画像サイズに依存し得る。いくつかの実施形態において、画像の正方形は、元の完全な画像から(たとえば、ランダムに)サンプリングされ得る(たとえば、したがって、より少ない訓練画像が必要になり得る)。訓練免疫蛍光画像は、いくつかの組織試料のものであってよく、訓練免疫蛍光画像に関連付けられている細胞セグメンテーション画像は、組織試料中の細胞の配置情報を含むことができる。いくつかの実施形態において、ニューラルネットワークモデルは、入力画像としてマルチチャネル画像および/またはシングルチャネル画像を使用して訓練され得る。

【0118】

訓練画像は、複数のマーカーを含み、チャネル毎に1つのマーカーであるものとしてよい。たとえば、3チャネル画像(または複数の画像)が、本明細書に記載のように使用することができ、第1のチャネルは核マーカーであり、第2のチャネルは関心のある組織種類に対してほとんどの細胞によって発現される膜マーカーであり、第3のチャネルは追加の膜マーカーである。たとえば、3チャネル画像は、DAPI、NaKATPase、およびS6マーカーを使用して作成することができる。訓練に使用される対応する出力画像は、手動生成された試料出力画像(たとえば、細胞輪郭のアウトラインを有する細胞セグメンテーションマスクなどの細胞配置情報)とすることができる。いくつかの実施形態において、訓練セット(たとえば、入力画像および/または関連付けられている出力画像を含む)は、訓練のために前処理され得る。たとえば、前処理ステップは、境界細胞(たとえば、細胞境界の3ピクセルより大きいなどの、閾値より大きい交差する多数のピクセルを有する細胞を含むことができる)を検出するために訓練出力画像上で実行され得る。図9（図9-1および図9-2）は、本明細書に記載の技術のいくつかの実施形態による、細胞配置情報を識別するようにニューラルネットワークを訓練するために使用できる画像の例を示している。画像902、904、906、および908の各セットは、合成免疫蛍光画像、細胞配置の対応するニューラルネットワーク予測画像、ニューラルネットワークを訓練するために使用される細胞配置の訓練画像、および細胞境界接触の画像(たとえば、細胞が他の細胞と接触する場所)を示す。

【0119】

ニューラルネットワークモデルは、様々な誤差逆伝播アルゴリズムを使用して訓練され得る。いくつかの実施形態において、畳み込みニューラルネットワークは、学習率が0.001であるADAMオプティマイザーとともに誤差逆伝播アルゴリズムを使用して訓練される。各訓練ステップにおいて、ニューラルネットワークモデルは、マルチチャネル入力画像で訓練され、細胞配置情報を生成する。たとえば、いくつかの実施形態において、ニューラルネットワークモデルは、3チャネル入力画像を使用して訓練され、関連付けられている訓練出力画像に正確に一致する2チャネル出力画像(たとえば、セグメンテーションマップを有する一方のチャネルおよび境界細胞接触マップを有する他方のチャネル)を生成することができる。ニューラルネットワークモデルは、様々な損失関数を使用して訓練され得る。たとえば、モデルはピクセル分類タスクを実行しているので、カテゴリカルクロスエントロピー損失関数が使用され得る。

【0120】

図10は、本明細書に記載の技術のいくつかの実施形態による、腫瘍の取得されたMxIF画像を処理して細胞セグメンテーションデータ1002を生成するために訓練済み畳み込みニューラルネットワークモデル1000を使用する例を絵入りで例示する図である。図10の例では、MxIF画像1010は、第1のマーカー画像1012および第2のマーカー画像1014を含む。コンピューティングデバイスは、学習済みニューラルネットワークモデル1000を使用して、第1のマーカー画像1012および第2のマーカー画像1014を処理し、細胞配置/セグメンテーション情報1002を生成する。

【0121】

図17と併せて説明されているように、畳み込みニューラルネットワークモデルは、畳み込み層がダウンサンプリング経路1000Aに沿ってデータの連続して下がる解像度のバージョンに適用され、次いで、アップサンプリング経路1000Bに沿ってデータの連続して上がる解像度のバージョンに適用される「U」構造を有する。赤色の矢印で示されているように、データの解像度は、1つまたは複数のプーリング層を使用してダウンサンプリング経路1000Aに沿って下げられ得る。緑色の矢印で示されているように、データの解像度は、1つまたは複数の対応するプーリング層を使用してアップサンプリング経路1000Bに沿って上げられ得る。

【0122】

図11は、本明細書に記載の技術のいくつかの実施形態による、免疫蛍光画像を処理して細胞配置/セグメンテーションデータ1102を生成するために訓練済みニューラルネットワーク1100の別の例示的な使用を絵入りで例示している図である。この例では、MxIF画像1110は、DAPIマーカー画像1112、およびNaKATPaseマーカー画像1114を含み、DAPIは蛍光DNA染色体であり、NaKATPaseは膜マーカーである。DAPI、NaKATPase、および/または他のマーカーが使用され得ることは理解されるべきである。たとえば、他のマーカーは、細胞質マーカーS6、膜マーカーPCK26、炭酸脱水酵素IX(CAIX)、CD3、および/または同様のものを含むことができる。コンピューティングデバイスは、訓練済みニューラルネットワーク1100を使用して、DAPIマーカー画像1112およびNaKATPaseマーカー画像1114を処理し、細胞配置/セグメンテーション情報1102を生成する。

【0123】

図12～図16は、本明細書に記載の技術のいくつかの実施形態による、免疫蛍光画像および関連付けられている細胞配置情報(たとえば、この例では、細胞セグメンテーションマスク)の例を示している。細胞配置データは、システムによってアクセスされ、および/または図3の細胞セグメンテーションモジュール330など、システムによって生成され得る。図12は、本明細書に記載の技術のいくつかの実施形態による、MxIF画像1200およびMxIF画像1200に基づき生成される細胞セグメンテーションデータ1202を示している。図13は、本明細書に記載の技術のいくつかの実施形態による、合成蛍光画像1300および合成蛍光画像に基づき生成された細胞セグメンテーションデータ1302を示している。図14は、本明細書に記載の技術のいくつかの実施形態による、腎臓組織の取得された例示的なMxIF画像に対する例示的な細胞セグメンテーションデータを示している図である。例示的な細胞セグメンテーションデータ1402は、MxIF画像1404および1406に基づき決定され、例示的な細胞セグメンテーションデータ1408は、MxIF画像1410および1412に基づき決定された。画像1404および1410は、DAPI、CAIX、PCK26、およびki67タンパク質マーカーを含む。画像1406および1412は、CD31、CD8、CD68、およびNaKATPaseマーカーを含む。

【0124】

図15は、本明細書に記載の技術のいくつかの実施形態による、明細胞腎細胞癌(CCRCC)のMxIF画像1500および対応する細胞セグメンテーションデータ1502を示している。図16は、本明細書に記載の技術のいくつかの実施形態による、CCRCCのMxIF画像1600および対応する細胞セグメンテーションデータ1602を示している。

【0125】

図5Aをさらに参照すると、コンピューティングデバイスは、少なくとも一部にはステップ506～508を実行することによって組織試料中の複数の細胞の群を識別する。ステップ506において、コンピューティングデバイスは、免疫蛍光画像およびそれらの細胞のうちの少なくともいくつかの細胞の配置を示す情報を使用して、細胞の少なくともいくつかに対する特徴値を決定する。いくつかの実施形態において、それらの技術は、免疫蛍光画像内の細胞の大部分および/または免疫蛍光画像内の細胞のすべてについて特徴値を決定することを含むことができる。

【0126】

いくつかの実施形態において、それらの技術は、免疫蛍光画像の少なくとも1つにおける細胞の配置に関連付けられている少なくとも1つのピクセル値に基づき、細胞に対する特徴値を決定することを含むことができる。本明細書においてさらに説明されているように、特徴値は、それらの細胞のうちの少なくともいくつかの細胞の配置に対する多重免疫蛍光画像内のピクセルの値(たとえば、細胞の配置のところの、またはその付近のピクセル)を含み、および/またはそれに基づき決定され得る。たとえば、多重免疫蛍光画像が複数のシングルチャネル画像を含む場合、これらの技術は、シングルチャネル画像内の細胞のそれぞれの配置のピクセル値(たとえば、画像が取得された方法に応じて、異なる画像にまたがって同じ配置、および/または異なる画像であってよい)を使用することができる。別の例として、画像が1つまたは複数のマルチチャネル画像を含む場合、マルチチャネル画像内の配置は、各チャネルについて同じ配置であってよい。いくつかの実施形態において、特徴値は、細胞内のピクセルの値から導出される1つまたは複数の値を含む。たとえば、特徴値は、免疫蛍光画像のチャネルの各々について決定された寄与を含むことができる。寄与は、たとえば、細胞に関連付けられているピクセルがそのチャネルに対してどれだけ寄与するか(たとえば、発現されるか)を示す値であり得る。たとえば、寄与は、0%(たとえば、寄与なし)から100%(たとえば、完全な寄与)までの範囲内の各チャネルについて決定され得る。寄与は、細胞配置における複数のピクセルにわたる代表値、細胞配置におけるピクセルにわたる平均値、細胞内の正のピクセルと細胞内の負のピクセルとの割合、および/または同様のものを決定することなどによって、細胞のピクセルを要約する様々な技術に従って決定され得る。

【0127】

いくつかの実施形態において、これらの技術は、免疫蛍光画像内の細胞の配置のところ、またはその付近の免疫蛍光のピクセル値を使用して、細胞に対する特徴値を決定することができる。図5Bは、本明細書に記載の技術のいくつかの実施形態による、細胞配置データ602の関連付けられている細胞配置に対する特徴値600の一例を示す。特徴値は、たとえば、図3の細胞タイピングコンポーネント340によって決定され得る。図5Bの例では、特徴値600は、各チャネル1、チャネル2からチャネルNまでのパーセンテージを含み、Nは細胞配置に関連付けられているチャネルの数を表す整数である。各チャネルは、たとえば、1つまたは複数の免疫蛍光マーカー、1つまたは複数の免疫蛍光画像、および/または同様のものと関連付けられ得る。特徴値600は、チャネル1が細胞配置に向かって25%の寄与(たとえば、平均寄与)を有し、チャネル2が細胞配置に向かって40%の寄与を有し、チャネルNが細胞配置に向かって85%の寄与を有することを示す。

【0128】

さらに図5Aを参照すると、ステップ508において、コンピューティングデバイスは、決定された特徴値を使用して細胞を複数の群にグループ分けする。図7Aは、本明細書に記載の技術のいくつかの実施形態による、細胞配置データに基づき組織試料のMxIF画像を処理して組織試料の細胞を複数の細胞群にクラスタリングするためのコンピュータ化プロセス700を示すフローチャートである。コンピュータ化プロセス700は、たとえば、図1と併せて説明されているコンピューティングデバイス116によって実行され得る。たとえば、図51のコンピューティングデバイス5100は、図3～図4Bの細胞タイピングコンポーネント340と併せて説明されている1つまたは複数の態様を実行するように構成され得る。コンピュータ化プロセス700は、本明細書に記載の他のプロセスおよびサブプロセスの一部として実行され得る。たとえば、コンピュータ化プロセス700は、細胞を複数の細胞群にグループ化するために図5Aのステップ508の一部として実行され得る。

【0129】

ステップ702において、コンピューティングデバイスは、細胞に対する1つまたは複数の特徴値を計算するために細胞を選択する。ステップ704で、コンピューティングデバイスは、免疫蛍光画像を選択する。ステップ706で、コンピューティングデバイスは、免疫蛍光画像内の選択済み細胞の配置のところ、またはその付近にあるピクセルのセットを識別する。たとえば、これらの技術は、細胞の細胞境界内に少なくとも部分的に(たとえば、部分的または完全に)入っているピクセルのセットを識別することを含むことができる。

【0130】

ステップ708で、コンピューティングデバイスは、ピクセルの決定されたセットに基づき細胞に対する特徴値を決定する。いくつかの実施形態において、これらの技術は、ピクセルのセットのピクセル値に基づき特徴値を決定することを含むことができる。特徴値は、ピクセルのセットにわたる代表値、または1つもしくは複数の基準(たとえば、それぞれのマーカーの存在、閾値より高いそれぞれのマーカーに関連付けられている蛍光値、など)を満たすピクセルの割合の指示などの、ピクセルのセットのピクセル値に基づく要約された値を含むことができる。いくつかの実施形態において、特徴値は、本明細書に記載のように、1つもしくは複数の免疫蛍光マーカーおよび/または1つもしくは複数の免疫蛍光画像の各々の細胞の寄与を表すものとすることができる。いくつかの実施形態において、コンピューティングデバイスは、ピクセル値が細胞にどのように寄与するかに基づき特徴値を決定することができる。たとえば、コンピューティングデバイスは、ピクセルの決定されたセットのピクセル値が、細胞配置の特定のパーセンテージ(たとえば、細胞配置の30%、細胞配置の40%、など)に対して存在する、および/またはそのパーセンテージに対するある閾値より上で存在する蛍光を含むことを決定することができる。

【0131】

ステップ710において、コンピューティングデバイスは、選択された細胞に対して追加の免疫蛍光画像を分析するかどうかを決定する。たとえば、コンピューティングデバイスは、特定の数の免疫蛍光マーカー(たとえば、1つのマーカー、2つのマーカー、マーカーのすべて、など)、特定の数の免疫蛍光画像(たとえば、1つまたは複数のチャネルを有し得る、1つの画像、2つの画像、画像のすべてなど)、および/または同様のものに対する特徴値を決定するように構成され得る。別の例として、コンピューティングデバイスは、いくつかの特徴に関連付けられている免疫蛍光マーカーおよび/または画像(たとえば、細胞構造を示すいくつかのマーカーに関連付けられている免疫蛍光マーカーおよび/または画像など)の特定のセットの各々について特徴値を決定するように構成され得る。コンピューティングデバイスが、ステップ710において、1つまたは複数の追加の免疫蛍光画像を分析すると決定した場合に、コンピューティングデバイスは、ステップ704に戻り、別の免疫蛍光画像を選択する。

【0132】

コンピューティングデバイスが、ステップ710において、選択された細胞について分析するさらなる免疫蛍光画像がないと決定した場合に、コンピューティングデバイスは、ステップ712に進み、特徴値が決定されるべき1つまたは複数の細胞配置があるかどうかを決定する。たとえば、コンピューティングデバイスは、細胞の特定のセット(たとえば、特定の数の細胞、1つまたは複数の配置内の細胞、および/または同様のもの)および/または細胞のすべてに対して特徴値を決定するように構成され得る。コンピューティングデバイスが、ステップ712において、1つまたは複数のさらなる細胞について特徴値を決定すべきと決定した場合に、コンピューティングデバイスは、ステップ702に戻り、別の細胞を選択する。

【0133】

コンピューティングデバイスが、分析すべきさらなる細胞がないと決定した場合に、コンピューティングデバイスは、ステップ714に進み、細胞クラスタリングを実行して(たとえば、細胞タイピング340の一部として)、細胞を決定された特徴値に基づき1つまたは複数の細胞群にグループ化する。いくつかの実施形態において、これらの技術は、特徴値を分析して、細胞間の関係(たとえば、本明細書に記載のように、類似のマーカー発現、知られている細胞タイピングデータに一致するマーカー発現、細胞が同じ種類であり、および/または類似の特性を有する確率の分析など)を決定することと、細胞群内の各細胞が細胞群内の細胞の間の関係を示す特徴値を有するように決定された関係に基づき細胞をグループ化することとを含む。

【0134】

これらの技術は、決定された特徴値に基づき細胞間の関係を識別するために1つまたは複数のクラスタリングアルゴリズム(たとえば、教師なしクラスタリングアルゴリズム)を適用することを含み得る。細胞をグループ化するために使用できるクラスタリングアルゴリズムのいくつかの例は、階層的クラスタリング、密度ベースのクラスタリング、k-meansクラスタリング、および/または任意の他の好適な教師なしクラスタリングアルゴリズム、自己組織化マップクラスタリングアルゴリズム、最小スパニング木クラスタリングアルゴリズム、および/または同様のものを含み、本明細書に記載の技術の態様は、その点で限定されることはない。いくつかの実施形態において、これらの技術は、自己組織化マップを使用してデータを分析することができる、FlowSOMアルゴリズムを使用して、細胞クラスタリングを実行することができる。

【0135】

ステップ510において、コンピューティングデバイスは、複数の細胞群を使用して組織試料の少なくとも1つの特性を決定する。いくつかの実施形態において、これらの技術は、少なくとも1つの特性を示すレポートを生成することを含むことができる。レポートは、複数の群に関する情報および/または本明細書に記載のような少なくとも1つのMxIF画像に関して決定された任意の他の情報などの、他の情報も含むことができる。レポートは、使用者に提供され得る。たとえば、レポートは、グラフィカルユーザインタフェースを介して(たとえば、ウェブベースで、もしくはデバイス上で実行するアプリケーションプログラム内で)レポートを表示すること、電子ファイル(たとえば、PDFファイルもしくは任意の好適なフォーマットのファイル)を使用者に伝送すること、および/またはレポートを使用者に提供するための任意の他の十分な技術によって提供され得る。

【0136】

いくつかの実施形態において、これらの技術は、ステップ502で取得された免疫蛍光画像をステップ504で取得された細胞グループ化情報と併せて使用して、組織試料の細胞の1つまたは複数の特性を決定することを含む。組織試料の少なくとも1つの特性は、組織試料の細胞組成(たとえば、細胞種類、細胞形態、など)および/または組織試料の組織構成(たとえば、細胞の局在、多細胞構造局在、など)を特徴付け得る。本明細書に記載のように、1つまたは複数の特性は、たとえば、組織試料中の細胞種類(たとえば、各群が異なる細胞種類に関連付けられている場合)を含むことができる。いくつかの実施形態において、コンピューティングデバイスは、組織試料中の個別の細胞の細胞種類を識別する。いくつかの実施形態において、コンピューティングデバイスは、組織試料中の個別の細胞の少なくとも閾値パーセンテージの細胞種類を識別する。たとえば、閾値パーセンテージは、少なくとも25%、30%、35%、40%、45%、50%、55%、60%、65%、70%、75%、80%、85%、90%、95%、99%、などであってよい。

【0137】

別の例として、1つまたは複数の特性は、組織試料中の1つまたは複数の細胞種類の分布(たとえば、群の細胞間の分布)、異なる細胞種類の間の分布(たとえば、細胞の異なる群の間の分布)、および/または同様のものなどの、細胞の分布に関する統計情報を含むことができる。別の例として、コンピューティングデバイスは、細胞のどの種類が細胞の他の種類に隣接するかを示す細胞隣接要素情報および/または細胞のどのような種類が細胞の他の種類に接触するかを示す細胞接触情報などの、組織試料の1つまたは複数の細胞種類(たとえば、各細胞種類が異なる群に関連付けられている場合)の空間的組織構成などの、細胞の配置に関する空間的情報を決定することができる。さらなる例として、コンピューティングデバイスは、細胞のサイズ、形状、および構造、ならびに/または細胞面積、細胞周長、細胞サイズ、および/もしくは同様のものなどの、組織の他の態様に関する形態学的情報を決定することができる。本明細書に記載の特性のいずれかが、組織試料について決定され得ることが理解されるべきである。したがって、いくつかの実施形態において、これらの技術は、細胞種類、細胞分布情報、空間的情報、形態学的情報、多細胞構造組織構成、および/または本明細書に記載の任意の他の特性などの、組織試料に対する複数の特性を決定することを含む。

【0138】

いくつかの実施形態において、これらの技術は、特徴値に基づく確率論的分析を使用することなどによって、特徴値に基づき細胞間の関係を決定することにより細胞タイピングを実行することを含む。図5A～図5Bと併せて説明されているように、チャネル寄与(たとえば、平均チャネル寄与)は、細胞種類を決定するために使用することができ、これは細胞群を決定するために使用され得る。しかしながら、いくつかの状況において、本発明者らは、そのようなチャネル寄与が安定した細胞タイピングを提供しない可能性があることを理解している。たとえば、本発明者らは、チャネル寄与が、セグメンテーションの質、細胞のサイズ、細胞の形状、組織染色の状態、および/または同様のものに依存し得ることを理解している。別の例として、本発明者らは、チャネル寄与では細胞内シグナル局在化に関する情報を考慮しないことを理解している(たとえば、実際のシグナルデータをノイズから区別する助けとするのに有用となり得る)。さらなる例として、本発明者らは、細胞の特定の種類に対するチャネル寄与の値の範囲を設定することができなければ、関心のある細胞種類について意図的に探索することが困難であり得ることも理解している(たとえば、代わりに、クラスタリングが使用され得、これは関心のある細胞を発見しないことがある)。追加の例として、そのような潜在的な問題を前提として、細胞タイピングの結果は手動でチェックされる必要がある場合があり、これは遅延を大きくし、自動化に影響を及ぼし得る。

【0139】

このような潜在的問題に対処するために、本発明者らは、マーカー発現シグネチャを活用する細胞タイピングのための技術を開発した。図6Aは、本明細書に記載の技術のいくつかの実施形態による、組織試料中の細胞の細胞配置データに基づき組織試料のMxIF画像を処理して細胞の種類を予測するための例示的なコンピュータ化プロセス610を示すフローチャートである。コンピュータ化プロセス610は、たとえば、図3の細胞タイピングコンポーネント340によって実行され得る。コンピュータ化プロセス610は、本明細書に記載の他のプロセスおよびサブプロセスの一部として実行され得る。コンピュータ化プロセス610は、たとえば、図5Aのステップ506および/または508の一部として実行することができる。

【0140】

ステップ612において、コンピューティングデバイスは、MxIFイメージングを使用して(たとえば、図5Aのステップ502と併せて説明されているように)取得された組織試料の少なくとも1つの多重免疫蛍光画像を取得する。本明細書に記載のように、マーカー画像は、別個の画像として、および/または複数のチャネルを有する組み合わされた画像として提供され得る。少なくとも1つの免疫蛍光画像は、核マーカー(たとえば、FOXP3、DAPI)、膜マーカー(たとえば、CD3e)、細胞質マーカー(たとえば、CD68)、および/または同様のものなどの、様々なマーカーを含むことができる。ステップ614において、コンピューティングデバイスは、少なくとも1つの多重免疫蛍光画像内の細胞の配置を示す情報を取得する。たとえば、配置情報は、図5Aのステップ504と併せて説明されているように細胞境界情報、細胞境界を決定することができる情報(たとえば、マーカー発現)、および/または1つもしくは複数の細胞マスク(たとえば、受け取った免疫蛍光画像の1つもしくは複数に対する細胞マスク)を含むことができる。

【0141】

図6Bは、いくつかの実施形態による、細胞タイピングに使用され得る免疫蛍光画像および細胞配置データの例を示している。図6Bは、第1の細胞622Aに対する第1のデータセットおよび第2の細胞622Bに対する第2のデータセットに対するデータを示す(細胞622と総称する)。各細胞622について、データは、核マーカー(DAPI)画像624と、細胞セグメンテーション(2進値)マスク626と、細胞の様々な表現を探索するために使用できるマーカー画像628のセットとを含む。この例では、マーカー画像628は、マーカー画像の局在に基づき、核内マーカー画像628A(FOXP3画像)、膜マーカー画像628B(CD3eおよびCD68画像)、および細胞質画像628C(CD68)として大まかに分類され得る。

【0142】

ステップ616において、コンピューティングデバイスは、ステップ612で取得された少なくとも1つの多重免疫蛍光画像の各特定の種類のマーカーについて、特定の種類のマーカーが第1の細胞内で発現しているそれぞれの尤度を含むマーカー発現シグネチャを決定する。したがって、細胞配置情報(たとえば、細胞マスク)は、免疫蛍光画像内の細胞配置を識別するために使用することができる。いくつかの実施形態において、コンピューティングデバイスは、マーカー発現シグネチャを決定するために、訓練済みニューラルネットワークを使用することができる。ニューラルネットワークは、マーカーシグナルがその細胞について存在し、発現しているかどうか(またはしていないかどうか)の尤度を決定するように訓練され得る。ニューラルネットワークモデルは、たとえば、本明細書に記載のようなResNetsモデルに基づき実装され得る。本明細書に記載のように、そのようなモデルは、多数のパラメータを含むことができる。たとえば、そのようなモデルは、少なくとも50万個のパラメータ、少なくとも100万個のパラメータ、数百万個のパラメータ(たとえば、少なくとも100万個のパラメータ、200万個のパラメータ、300万個のパラメータ、など)、および/または数千万個のパラメータ(たとえば、少なくとも1000万個のパラメータ、1500万個のパラメータ、2500万個のパラメータ、5000万個のパラメータ、など)を含むことができる。たとえば、そのようなモデルは、4000万から4500万個のパラメータ(たとえば、4000万個のパラメータ、4200万個のパラメータ、および/または4500万個のパラメータ)を含み得る。いくつかの実施形態において、パラメータは、少なくとも1億個のパラメータ(たとえば、少なくとも1億個のパラメータ、100万個から1億個の間のパラメータ)、数億個のパラメータ、少なくとも10億個のパラメータ、および/または任意の好適な数もしくは範囲内のパラメータを含むことができる。

【0143】

モデルへの入力は、別個の1チャネルMxIF画像、2チャネルMxIF画像、3チャネルMxIF画像などの、異なるマーカーの少なくとも1つの多重免疫蛍光画像とすることができる。各免疫蛍光画像は、高さ(たとえば、128ピクセル、256ピクセルなど)および幅(たとえば、128ピクセル、256ピクセルなど)を有し得る。いくつかの実施形態において、第1のチャネルまたは画像は、たとえば、DAPI画像(たとえば、関心のある細胞によって中心になるように切り取られる)であり得、第2のチャネルまたは画像は、別の免疫蛍光マーカー画像(たとえば、これもまた切り取られる)であり得、第3のチャネルまたは画像は、セグメンテーションマスク(関心のある1つの細胞のみのセグメンテーションマスク)であり得る。図6Bを参照すると、たとえば、各細胞622について、モデルへの入力は、核マーカー画像624、セグメンテーションマスク626、およびマーカー画像628の1つ(たとえば、核内画像628A、膜画像628Bおよび細胞質画像628Cの1つ)を含むことができる。いくつかの実施形態において、入力画像(たとえば、MxIF画像またはチャネル)は、正規化され得る。たとえば、画像のピクセル値は、0～1の範囲内に入るように正規化され、これは、画像のビット深度に基づき実行され得る。たとえば、8ビット画像の値は255で除算され得、16ビット画像の値は65535で除算され得、および/または、同様の演算が実行され得る。そのような正規化は、図3～図4Bと併せて説明されているMxIF画像前処理モジュール320によって実行される画像前処理の一部など、本明細書に記載の他のプロセスおよびサブプロセスと併せて使用され得る。

【0144】

ニューラルネットワークは、二項分類(たとえば、分類に対して0または1)および/または細胞が関連付けられている入力マーカー画像に対して適切な強度および形状の信号(たとえば、0から1の範囲内)を有する尤度のいずれかを出力することができる。たとえば、図6Bを参照すると、データセット622Aについて、核マーカー画像624、細胞セグメンテーションマスク626、および核内画像628A(FOXP3)の入力に対して、出力は、核内画像628Aによって発現するであろう細胞の適切な強度および形状を核内画像628Aが有する尤度とすることができる。

【0145】

ニューラルネットワークは、少なくとも1つの多重免疫蛍光画像(またはその一部)および配置情報を処理するように訓練され得る。たとえば、ニューラルネットワークは、細胞マスクによって識別されるような画像の中心に細胞を含む少なくとも1つの多重免疫蛍光画像の一部(たとえば、128×128ピクセル)を比較するように構成され得る。本明細書に記載のように、免疫蛍光画像は、その領域の核マーカー画像、さらには細胞輪郭画像または膜画像、核内画像、細胞質画像、および/または同様のものを含む他の発現画像とすることができる。そのような情報を有する試料データセットが、マーカー画像が細胞の実際のマーカー発現である可能性が高いかどうか(またはそうでないかどうか)をマーカー画像の強度および形状に基づき区別するようにニューラルネットワークを訓練するために使用され得る。

【0146】

ニューラルネットワークは、画像のライブラリ上で訓練され得る。一例として、ニューラルネットワークは、専門病理学者によって注釈を付けられた免疫蛍光画像および/または細胞配置データ上で訓練され得る。限定することを意図されていない例示的な例において、3つの異なる訓練セット、すなわち、核局在マーカー(たとえば、Ki67)に対する4つのマーカーの2,186個の画像(訓練セット)および403個の画像(テストセット)を有する第1のセット、膜局在マーカー(たとえば、CD3、CD20)に対する28個のマーカーの9,485個の画像(訓練セット)および1,979個の画像(たとえば、バリデーションセット)を有する第2のセット、および定義された局在(たとえば、CD68)がある8個のマーカーの898個の画像(訓練セット)および427個の画像(バリデーションセット)を有する第3のセットが使用され得る。その結果、ニューラルネットワークは、細胞のマーカー画像が実際のマーカー発現であるかどうかの尤度を提供するように訓練され得る。

【0147】

いくつかの実施形態において、これらの技術は、マーカー発現シグネチャを決定するために複数の訓練済みニューラルネットワークを実行することを含むことができる。たとえば、異なるニューラルネットワークが訓練され、異なるマーカーに対して使用され得る。いくつかの実施形態において、異なるニューラルネットワークが、異なる細胞局在情報を有するマーカー(たとえば、核、膜または細胞質マーカー)に対して使用され得る。たとえば、第1のニューラルネットワークは、核内画像の発現を検出するように訓練され得、第2のニューラルネットワークは、細胞膜画像の発現を検出するように訓練され得、第3のモデルは、細胞質画像の発現を検出するように訓練され得、および/または同様の訓練がなされ得る。

【0148】

いくつかの実施形態において、組織試料に対するマーカー発現シグネチャは、少なくとも1つの免疫蛍光画像の各マーカーに対して細胞が発現しているかどうかを示す確率または尤度のセットを含むことができる。いくつかの実施形態において、尤度値は、0(たとえば、発現なし)から1(たとえば、発現あり)までの範囲内にあり得る。各尤度は、画像内のマーカー強度に基づくだけでなく、細胞マスクに基づき決定され得る他の情報(たとえば、細胞の形態、細胞領域にわたるピクセル強度など)を使用しても、決定され得る。

【0149】

ステップ618で、コンピューティングデバイスは、マーカー発現シグネチャを細胞タイピングデータと比較する。いくつかの実施形態において、細胞タイピングデータは、各細胞種類について、マーカーのセット(たとえば、少なくとも1つの多重免疫蛍光画像のマーカーのセット)に対する知られているマーカーシグネチャエントリのセットを含むことができる。各知られているマーカーシグネチャは、マーカーが細胞に対する発現であるかどうかを示す2進値データ(たとえば、0または1)(たとえば、0は発現なしを意味し、1は関連付けられている細胞種類において発現が見られるであろうことを意味する)を含むことができる。いくつかの実施形態において、特定のマーカーが曖昧であり、および/または情報を与えないものであり、したがって必ずしも発現であるかどうかでない場合(たとえば、マーカーは細胞に対して発現していてもいなくてもよい)、そのマーカーに対するデータはそのようなものとして(たとえば、0と1の両方を含めることによって)示すことができる。細胞タイピングデータの一例として、細胞タイピングテーブルは、Sino Biological社から入手できるCluster of Differentiation(たとえば、https://www.sinobiological.com/areas/immunology/cluster-of-differentiation)および/またはBio-Rad社から入手できるヒト免疫細胞マーカー(たとえば、https://www.bio-rad-antibodies.com/human-immune-cell-markers-selection-tool.html)などの、文献および/またはデータベースで提供されるような細胞の知られているマーカー発現に基づき作成され得る。

【0150】

いくつかの実施形態において、マーカー発現シグネチャは、細胞タイピングデータと比較され、それにより、マーカー発現シグネチャを細胞タイピングデータ中の細胞の知られている発現シグネチャと比較する比較データを生成することができる。たとえば、比較データは、マーカー発現シグネチャの各確率と、細胞タイピングデータ中の細胞に対する各知られているマーカーシグネチャの関連付けられているマーカー値との間の比較を示すことができる。比較データは、発現シグネチャ間の距離、発現シグネチャの重複のパーセンテージ、発現シグネチャ間の類似度スコア、および/またはマーカー発現シグネチャを細胞タイピングデータ中の知られている細胞シグネチャと比較するために使用できる任意の他の適用可能な比較などの、比較メトリックを含むことができる。たとえば、マーカー発現シグネチャと細胞タイピングデータの知られているマーカー発現シグネチャとの間の距離は、コサイン距離、ユークリッド距離、マンハッタン距離、および/または同様のものを使用することによって決定され得る。ステップ620において、コンピューティングデバイスは、この比較に基づき、予測される細胞種類を決定する。たとえば、図6Bを参照すると、データの第1のセット622Aは、制御性T細胞種類を予測するように処理され得、データの第2のセット622Bは、マクロファージCD68+細胞種類を予測するように処理され得る。

【0151】

いくつかの実施形態において、コンピューティングデバイスは、細胞タイピングデータの各細胞種類の計算された比較結果を分析して、最上位候補の細胞種類を選択することができる。たとえば、距離を計算するときに、コンピューティングデバイスは、最小の距離を有する細胞種類を選択することによって様々な細胞種類の中から選択することができる。最上位候補を1つ有するだけにすることを試みるために、細胞タイピングデータは、各細胞種類について一意的エントリを含むように構成され得る(たとえば、ステップ618で行われる比較の結果、細胞タイピングデータ内の複数の細胞種類について同じ値をもたらさないように)。

【0152】

図6Cは、本明細書に記載の技術のいくつかの実施形態による、細胞タイピングデータ638と比較されて予測される細胞種類640を決定するマーカー発現シグネチャ636を生成するためにニューラルネットワーク634を使用する例を示している。いくつかの実施形態において、マーカー発現シグネチャは、各マーカーに対する確率のリスト、配列、テーブル、データベースなど、または適宜任意のデータ構造であり得る。細胞タイピングデータは、同様に、各マーカーに対する2進値のリスト、配列、テーブル、または他のデータ構造を含むことができる。図6Dは、本明細書に記載の技術のいくつかの実施形態による、予測される細胞種類を決定するために細胞タイピングデータ(この例では、細胞タイピングテーブル654として示され、各細胞種類に対する知られている発現シグネチャを含む)と比較される確率のセット(この例では、確率テーブル652として示される)を生成するためにニューラルネットワーク650を使用する一例を示している。ニューラルネットワーク650は、画像656A(DAPIマーカー)、656B(FOXP3マーカー)、656C(CD19マーカー)、656D(CD11cマーカー)および656E(CD3eマーカー)、さらには細胞に対するセグメンテーションマスク656Fを含む、入力656を処理する。上で説明されているように、別個のニューラルネットワークが、適用可能なマーカー画像を処理するために使用されてよい。この例については、各ニューラルネットワークの実行は、(a)画像656B(FOXP3マーカー)、656C(CD19マーカー)、656D(CD11cマーカー)および656E(CD3eマーカー)のうちの1つを、図示されていないCD4およびHLA-DR画像とともに、(b)画像656A(DAPIマーカー)および(c)細胞に対するセグメンテーションマスク656Fと併せて処理することを含むことができる。したがって、第1の訓練済みニューラルネットワークは、核内FOXP3マーカー画像を処理するために使用され、第2の訓練済みニューラルネットワークは、膜マーカー画像(たとえば、CD3e画像656EおよびCD11c画像656D)を処理するために使用される、などが可能であり、それにより、別個のニューラルネットワークが、マーカーの異なる局在に基づき画像を処理するために使用され得る。したがって、図6Dには1つのニューラルネットワーク650のみが示されているが、関連付けられているマーカー画像を処理するために、複数の異なる訓練済みニューラルネットワークが使用されてもよい。

【0153】

この図6Dの例では、ニューラルネットワーク650は、確率テーブル652において、FOXP3マーカーに対して確率0.96、CD3eマーカーに対して確率0.54、CD4に対して確率0.66、CD19に対して確率0.003、HLA-DRに対して確率0.002、およびCD11cに対して確率0.0005を生成する(確率が0に近いほど発現の確率は低くなり、1に近いほどマーカーに対する発現の確率が高くなる)。

【0154】

コンピューティングデバイスは、テーブル652内の確率と、各細胞種類に対するマーカーの値との間のコサイン距離を計算する。この例では、「+」は、マーカーが細胞によって発現していることを意味し、「-」は、マーカーが細胞によって発現していないことを意味する。比較の結果、コサイン距離の値は、T-reg細胞種類に対して0.028、CD4 T細胞種類に対して0.339、B細胞種類に対して0.99、骨髄性細胞種類に対して0.99となる。この例では、距離が小さければ小さいほど、関連付けられている細胞種類が分析対象の細胞の細胞種類である可能性が高くなる。その結果、コンピューティングデバイスは、細胞に対する細胞種類としてT-reg(最も低い距離の値が0.028)を選択する。

【0155】

図6Eは、本明細書に記載の技術のいくつかの実施形態による、予測される細胞種類を決定するために細胞タイピングデータ(この例では細胞タイピングテーブル664として示される)と比較される確率のセット(この例では確率テーブル662として示される)を生成するためにニューラルネットワーク660を使用する一実施例を示している。ニューラルネットワーク660は、MxIF画像666A(DAPIマーカー)、666B(CD68マーカー)、666C(CD19マーカー)、666D(CD11cマーカー)および666E(CD3eマーカー)、さらには細胞に対するセグメンテーションマスク666Fを含む、入力666を処理する。本明細書に記載のように、1つまたは複数のニューラルネットワークが、画像666B、666C、666D、および666Eの各々を(DAPI画像666Aおよびセグメンテーションマスク666Fと併せて)処理するために使用され得る。この例では、ニューラルネットワーク660は、確率テーブル652において、CD68マーカーに対して確率0.63、CD3eマーカーに対して確率0.0006、CD4に対して確率0.01、CD19に対して確率0.001、HLA-DRに対して確率0.0004、およびCD11cに対して確率0.69を生成する(ここでもまた、確率が0に近いほど発現の確率は低くなり、1に近いほどマーカーに対する発現の確率が高くなる)。

【0156】

コンピューティングデバイスは、テーブル662内の確率と、各細胞種類に対するマーカーの値との間のコサイン距離を計算する。この例では、「+」は、マーカーが特定の細胞について発現していることを意味し、「-」は、マーカーが特定の細胞について発現していないことを意味し、「+-」は、マーカーが細胞について発現する可能性もあれば発現しない可能性もあることを意味する。この例について、比較の結果、コサイン距離の値は、マクロファージCD68+細胞種類に対して0.001、CD4 T細胞種類に対して0.992、B細胞種類に対して0.999、骨髄性細胞種類に対して0.478となる。この例では、ここでもまた、距離が小さければ小さいほど、関連付けられている細胞種類が分析対象の細胞の細胞種類である可能性が高くなる。その結果、コンピューティングデバイスは、細胞に対する細胞種類としてマクロファージCD68+(最も低い距離の値が0.001)を選択する。

【0157】

いくつかの実施形態において、これらの技術は、細胞特性に基づき細胞のクラスタまたはコミュニティを識別することを含むことができる。たとえば、癌(たとえば、乳癌、腎癌など)を示す細胞構造など、組織試料中のいくつかの細胞構造を探索することが望ましい場合がある。これらの技術は、組織試料中の細胞コミュニティを識別することと、細胞種類、距離などの、それらの細胞の情報を識別すること(たとえば、疎らに存在する細胞クラスタ、近接細胞クラスタ、などに関する情報を提供するため)とを含むことができる。細胞のコミュニティは、異なる種類の細胞を含むことができる。いくつかの実施形態において、細胞クラスタは、組織試料の組織構造の少なくとも一部を表す。組織構造は、たとえば、外套組織、間質組織、腫瘍、濾胞、血管、および/または任意の他の組織構造を含むことができる。

【0158】

図7Bは、本明細書に記載の技術のいくつかの実施形態による、細胞特徴の第1のセット(局所的細胞特徴)を取得し、および処理することによってコミュニティを識別するための例示的なコンピュータ化プロセス750を示すフローチャートである。図7Bの例では、コンピュータ化プロセス750は、グラフニューラルネットワーク772を使用して、取得された局所的細胞特徴を処理し、細胞の1つまたは複数のコミュニティ778を識別する。コンピュータ化プロセス750は、たとえば、図3の細胞タイピングコンポーネント340によって実行され得る。コンピュータ化プロセス750は、本明細書に記載の他のプロセスおよびサブプロセスの一部として実行され得る。たとえば、コンピュータ化プロセス700は、細胞を複数の細胞群にグループ化するために図5Aのステップ508の一部として、および/または組織試料に対する少なくとも1つの特性(たとえば、細胞のコミュニティ)を決定するためにステップ510の一部として実行され得る。ステップ752において、コンピューティングデバイスは、局所的細胞特徴を生成するが、これは、ステップ752Aにおいて、細胞データ774(たとえば、細胞の配置、細胞マスク、および/または他の細胞局在データ)を取得することと、細胞データ774を三角測量してグラフ776を生成することとを含む。たとえば、コンピューティングデバイスは、三角測量技術(たとえば、ドロネー三角測量)を使用して、(たとえば、細胞の重心に基づき)細胞774の配置構成を構築し、組織の細胞構造のグラフ表現776を取得するように構成され得る。いくつかの実施形態において、グラフ776は、検出済み細胞の数に等しい数のノードを含む。いくつかの実施形態において、グラフ生成の態様は制約され得る。たとえば、いくつかの実施形態において、グラフ776内の各エッジのエッジ長は、(たとえば、200ピクセル、300ピクセル、などのピクセル距離に基づく)上限エッジ閾値以下に制限され得る。したがって、グラフ776内のエッジの数は、組織内の細胞距離に応じて変化でき、これらの技術は、所定の長さ閾値より小さいエッジを刈り込むことを含むことができる。

【0159】

次いで、コンピューティングデバイスは、ステップ752Bにおいて、組織776のグラフ表現に基づき、局所的細胞特徴を計算する。局所的細胞特徴は、細胞データ774および/またはグラフ776に基づき決定され得る細胞に関する情報を含むことができる。たとえば、局所的細胞特徴は、各細胞について、細胞種類、グラフ776のエッジに基づき決定される細胞隣接要素、隣接細胞種類、隣接要素距離データ(たとえば、隣接要素への中央値距離、マスク関係データ(たとえば、各細胞下のマーカーマスク(たとえば、血管に対するCD31マスクなど)に対する陽性ピクセルで満たされている領域のパーセンテージ))、および/または同様のものを含むことができる。したがって、各ノードは、局所的データ点の関連付けられているセット(たとえば、ベクトルとして表される)を有することができる。いくつかの実施形態において、ノードデータは、複数の変数を使用してエンコードされ得る、細胞種類を含むことができる。たとえば、組織試料中に7つの発見された細胞種類がある場合、「細胞種類6」は、[0、0、0、0、0、1、0]とエンコードされ得る。いくつかの実施形態において、ノードデータは、細胞に対するすべてのノードエッジの長さの中央値を含むことができる。いくつかの実施形態において、ノードデータは、細胞に対する所与のマスクの陽性ピクセルのパーセンテージを含むことができ、これは、複数のマスクの各々(存在する場合)に対するデータを含むように拡張され得る。いくつかの実施形態において、データは、選択されたマーカーの1つまたは複数のマスク内に配置されている細胞のパーセンテージ(たとえば、陽性細胞で満たされた細胞マスクの領域のパーセンテージ)を含むことができる。そのようなマスクベースのデータは、コンピューティングデバイスが、そうでなければセグメント化が困難であり得る細胞および/または構造に関する情報を活用することを可能にし得る。結果として、いくつかの実施形態において、各ノードに対するデータ点の総数はLであり、これは(1)細胞種類の数、(2)考慮すべきマスクの数(もしあれば)、および(3)所与のノードのエッジの中央値距離に対する値の合計である。

【0160】

グラフ776は、グラフニューラルネットワーク772への入力のためにエンコードされ得る。いくつかの実施形態において、ノード情報は、次元n×Lを有する行列に格納することができ、nはノードの数であり、Lはノード特徴の数である。いくつかの実施形態において、グラフは、疎隣接行列(たとえば、次元n×n個のノードを有する)、エッジの隣接リスト、および/または同様のものなどにエンコードされる。

【0161】

ステップ754において、コンピューティングデバイスは、グラフ(たとえば、組織グラフ776のエンコードバージョン)をグラフニューラルネットワークに入力し、これは局所的細胞特徴を高次元空間内に埋め込む。グラフニューラルネットワークは、グラフのエッジおよびノードを含むグラフの構造を使用して、入力されたグラフを処理する。グラフニューラルネットワークは、異なるアーキテクチャを有することができる。いくつかの実施形態において、グラフニューラルネットワーク772は、教師なし畳み込みグラフニューラルネットワークである。たとえば、グラフニューラルネットワークは、任意の好適な種類のグラフ畳み込みネットワーク層を使用して、グラフ内への埋め込みを実行するDeep Graph Infomaxアーキテクチャを使用して実装され得る。Deep Graph Infomaxアーキテクチャは、たとえば、全体が参照により本明細書に組み込まれている、https://openreview.net/forum?id=rklz9iAcKQから入手可能である、Petar Velickovicら、「Deep Graph Infomax」、ICLR 2019 Conference Blind Submission (2018年9月27日)、および/またはarXiv:1809.10341に記載の。グラフニューラルネットワークで使用できる異なる種類の畳み込み層の例は、両方とも全体が参照により本明細書に組み込まれている、https://arxiv.org/abs/1609.02907から入手可能である、Thomas KipfおよびMax Welling、「Semi-Supervised Classification with Graph Convolutional Networks」、arXiv1609.02907(217年2月)に記載のようなGCN、またはhttps://arxiv.org/abs/1706.02216から入手可能である、William Hamiltonら、「Inductive Representation Learning on Large Graphs」、arXiv1706.02216(2018年9月)に記載のようなSAGEConvを含む。グラフ畳み込み層に加えて、グラフニューラルネットワークは、訓練で使用される識別層を有することができる。ニューラルネットワークの実装形態は、少なくとも50万個のパラメータ、100万個のパラメータ、200万個のパラメータ、500万個のパラメータ、またはそれ以上のパラメータなど、様々な数のパラメータを含むことができる。いくつかの実施形態において、そのようなモデルは、数千万個のパラメータ(たとえば、実装形態に基づき、少なくとも1000万個のパラメータ、1500万個のパラメータ、2000万個のパラメータ、2500万個のパラメータ、5000万個のパラメータなど)を含むことができる。いくつかの実施形態において、パラメータは、少なくとも1億個のパラメータ(たとえば、少なくとも1億個のパラメータ、100万個から1億個の間のパラメータ)、数億個のパラメータ、少なくとも10億個のパラメータ、および/または任意の好適な数もしくは範囲内のパラメータを含むことができる。

【0162】

グラフニューラルネットワークは、ノイズ対照推定の変種を使用して各ノード埋め込みを再構成するように訓練されるものとしてよく、それにより、ニューラルネットワークは、正しい表現(たとえば、実データに基づく)と正しくない表現(たとえば、ノイズ表現に基づく)とを識別するためにノード(たとえば、細胞)の内部表現を本質的に学習する。グラフニューラルネットワークは、グラフニューラルネットワークが細胞標識、隣接細胞、細胞距離、マスクサイズ(たとえば、何らかの半径の)、および/または他の入力を含む情報から組織構造の局所的特徴および大域的特徴の両方を表すことができるので、特徴表現に使用され得る。したがって、グラフニューラルネットワークによって生成されるノード埋め込みは、局所的ノードまたは細胞近傍情報だけでなく、大域的特徴を通じて大域的コンテキストを保存することもできる。したがって、結果として得られる特徴埋め込みは、各細胞に対する所定の同じ数の特徴を含むことができる(たとえば、固定サイズのベクトル、配列、および/または他のデータ構造を使用して表される)。

【0163】

いくつかの実施形態において、ニューラルネットワークの出力は、ネットワークの最後のグラフ畳み込み層の活性化であるものとしてよい。異なる種類の畳み込み層が使用され得るので(たとえば、上で説明されているようなGCN、SAGEConv、など)、出力の次元数は、16次元、32次元など、様々な数であってよい。出力の各次元は、より高い次元を有する空間からより低い次元への埋め込みとすることができ、一般的に、表現のための組織構造からの情報の集約と考えられ得る。したがって、たとえば、埋め込みの値と特定の細胞種類組成との間に少なくとも何らかの相関があり得る。いくつかの実施形態において、以下でさらに説明されているように、クラスタリングは、これらの埋込みを使用して実行され、クラスタは、それらの中の優勢な細胞種類に関して記述され得る。

【0164】

いくつかの実施形態において、複数の訓練組織試料の各々について、組織試料のグラフ表現、ステップ752Aおよび752Bについて上で説明されているように計算された局所的細胞特徴(たとえば、各ノードについて、細胞種類、マスク関係データ、およびエッジの中央値距離)を含むデータセットが生成され、グラフニューラルネットワーク772を訓練することができる。いくつかの実施形態において、loss=log(P_i)+log(1-P'_i)などの損失関数は、最大化されるものとしてよく、P_iは、ノード(細胞セグメンテーションを通して取得される細胞)がすべてのグラフノードに類似している確率であり、P'_iは、順列置換を施されたノードがすべてのグラフノードに類似する確率である。本明細書に記載のように、各ノードは、関連付けられている情報(たとえば、細胞種類割り当て、隣接要素までの細胞中央値距離、マスク情報、など)を有し、これは特徴ベクトルの形をとり得る。いくつかの実施形態において、Deep Graph Infomaxアーキテクチャは、所与の試料グラフ内のすべてのノードに対する特徴ベクトルの平均値であり得る、要約ベクトルを使用する。アーキテクチャの分類器層は、(a)グラフ要約ベクトルに属すと分類される所与のノード特徴ベクトルと、(b)グラフ要約ベクトルに属さないと分類される順列置換を施された(たとえば、適所でシャッフルされる)ノード特徴ベクトルとの間の埋め込みを使用して区別するように訓練され得る。

【0165】

ステップ756において、細胞埋め込み(近傍データを含む)は、1つまたは複数のクラスタ778を決定するようにクラスタリングされる。クラスタを決定するために、様々なクラスタリング技術が使用され得る。たとえば、本明細書に記載のように、これらの技術は、重心ベースのクラスタリングアルゴリズム(たとえば、K-means)、分布ベースのクラスタリングアルゴリズム(たとえば、ガウス混合モデルを使用するクラスタリング)、密度ベースのクラスタリングアルゴリズム(たとえば、DBSCAN)、階層的クラスタリングアルゴリズム、PCA、ICA、および/または任意の他の好適なクラスタリングアルゴリズムを使用することを含み得る。各決定済みクラスタについて、クラスタ内の細胞のパーセンテージおよび関連付けられているマスクは、778で示されているように各クラスタに対する説明データを生成するために使用することができる。

【0166】

図7Cは、いくつかの実施形態による、細胞種類に基づき陰影付けされている組織の輪郭の画像780、および同じ組織試料に対する細胞クラスタ(たとえば、図7Bと併せて説明されているように決定された)に基づき輪郭が陰影付けされている画像782の例を示している。画像782は、細胞クラスタが、画像780内の細胞種類に基づき陰影付けと比較していくつかの組織構造の部分(たとえば、暗帯、明帯、および/または外套帯の濾胞)をより明確に可視化するためにどのように使用され得るかを示す。

【0167】

図18は、本明細書に記載の技術のいくつかの実施形態による、MxIF画像を処理することによって決定され得る例示的な組織特性を例示する図1800である。組織特性の1つまたは複数は、たとえば、図3の特性決定モジュール360によって決定され得る。図18と併せて説明されている組織特性は、本明細書に記載の様々なプロセスおよびサブプロセスの一部として決定され得る。たとえば、組織特性の1つまたは複数は、図5Aのステップ510の一部として決定され得る。図示されているように、特性は、半径チェック1804および/または三角測量1806に使用され得る、細胞空間的共起1802を含み、および/または決定するために使用され得る。特性は、1つまたは複数のマスク1808を生成するために使用され得る。特性は、細胞群1810を含み、および/または分類するために使用され得る。いくつかの実施形態において、これらの技術は、グラフニューラルネットワークを使用して細胞群を分類することを含むことができる。

【0168】

いくつかの実施形態において、細胞グループ化情報は、組織の態様を示すために免疫蛍光画像に適用され得る1つまたは複数のマスクを決定するために使用され得る。マスクの一例は、組織試料中の腫瘍の細胞を示すデータを含む腫瘍マスクである。マスクの別の例は、組織試料中の細胞の間の間隔を示すデータを含む腺房マスクであり、これは細胞と細胞の間の間隙/空間を形成する管路を識別することができる。たとえば、腺房マスクは、分泌物を産生する腫瘍の腺管を示すことができ、したがって、管の形状に関する情報を提供できる(たとえば、異なる腫瘍は異なる形状/サイズの管を有し得るので)。マスクのさらなる例は、組織試料中の支持組織および/または間質細胞を示す情報を含む間質マスクである。

【0169】

いくつかの実施形態において、マスクは、組織試料の異なる領域内の細胞を識別するために使用され得る。たとえば、腺房、腫瘍、および間質のマスクが作成され、T細胞などの、いくつかの細胞が組織試料中のどこにあるかを理解するために使用され得る。たとえば、マスクは、間質領域および/または非間質領域内のT細胞を識別するために使用され得る。

【0170】

図19Aは、本明細書に記載の技術のいくつかの実施形態による、免疫蛍光画像1900を処理することによって生成される間質マスク1902および腺房マスク1904の図である。上で説明されているように、間質マスク1902は、組織試料の支持組織を示すデータを含み、腺房マスク1904は、組織試料中の細胞の間隔を示すデータを含む。いくつかの実施形態において、これらの技術は、細胞質マーカー(たとえば、すべてではないにしてもほとんどの細胞で発現するS6マーカー)を使用して間質マスクを生成して組織試料中の細胞質領域を識別することと、上皮マーカー(たとえば、PCK26上皮マーカー)を使用して識別された領域を除外することとを含むことができる。いくつかの実施形態において、細胞質マーカー画像は、本明細書に記載のように、ノイズ除去を実行するために平滑化され、および/または閾値化され得る。いくつかの実施形態において、上皮マーカー画像は、埋められた穴を有することができる(たとえば、それにより、隣接形状の内側部分が埋められ、したがって、最終的な間質マスクから除去される)。いくつかの実施形態において、これらの技術は、上皮マーカー(たとえば、平滑化済みPCK26マスク)を使用して腺房マスクを生成することを含むことができ、これは反転され得、間質帯が除去されて最終的な腺房マスクを生成することができる。上皮マーカーは、腫瘍マスク(平滑化済みPCK26マスクを使用する)など、他のマスクを生成するためにも使用され得る。

【0171】

いくつかの実施形態において、物体は、細胞コミュニティ情報(たとえば、図7Bと併せて説明されているように決定される)に基づきマスクされ得る。たとえば、物体マスクは、細胞コミュニティ情報において識別された各1つまたは複数の細胞コミュニティがマスク内の関連付けられている物体に対応するように細胞コミュニティ情報に基づき作成され得る。したがって、物体マスク内の物体は、細胞コミュニティ情報において識別された単細胞および/または多細胞構造に対応することができる。図19Bは、本明細書に記載の技術のいくつかの実施形態による、組織試料の特徴を使用して物体マスク1956を生成することを示す図である。物体マスク1956は、1950および1952で示されているように、細胞座標、細胞標識(たとえば、コミュニティ情報)、および画像形状データなどの、組織試料の細胞特徴に基づき生成され得る。特に、この例の画像1950は、コミュニティの種類に基づき陰影付けされた細胞輪郭を示し、この例の画像1952は、識別されたコミュニティに属する細胞を示す。1つまたは複数の物体検出アルゴリズムが、細胞特徴を処理して領域を決定し(たとえば、ボロノイモザイク分割を使用する)、物体をカウントするために使用され得る。たとえば、物体検出アルゴリズムは細胞標識を生成し、細胞標識をカウントして、組織試料のモザイク分割(たとえば、組織試料のランダムに作成されたモザイク分割)からボロノイ領域/細胞を生成することができる。その結果、密度ヒートマップ1954が、物体検出アルゴリズムに基づき生成され得る。密度ヒートマップ1954は、画像1952から各ボロノイ細胞において検出された細胞の数に基づき暗色または明色で陰影付けされる。コンピューティングデバイスは、選択された標識を有し細胞の密度が高い物体の物体マスク1956を作成するために閾値化を実行することができる。例示的な例として、リンパ節濾胞は、リンパ節組織試料の暗帯、明帯、および外套帯に関してコミュニティに基づき検出することができる。

【0172】

図20は、本明細書に記載の技術のいくつかの実施形態による、腺房の形状、面積、および周長の特性を測定する例を示す図2000である。図2000は、3つの画像2002、2004および2006を含む。図2000は、画像2002、2004および2006について、それぞれ対応する腺房マスク2008、2010および2012を示している。図20に示されているように、各腺房マスク2008、2010および2012は、腺房マスクにおける腺房構造の面積のピクセル単位の尺度、腺房マスクのパーセンテージとしての腺房構造の面積の尺度(たとえば、画像ピクセルの総数に対するマスクピクセルのパーセンテージ)、および腺房構造の周長のピクセル単位の尺度を含む、パラメータ2020、2022および2024の対応するセットを有している。そのようなパラメータは、腺房構造に関する情報を提供することができる。たとえば、腺房面積を腺房周長と比較する(たとえば、比率として)ことで、腺房の構造全体に関する情報を提供することができる。図2000は、画像2002、2004および2006に対して、それぞれ、対応する線維症マスク2014、2016および2018も示している。線維症マスクは結合組織を示し、これは間質マスクであり、したがって、間質マスクについて本明細書に記載のように生成することができる。各線維症マスク2014、2016、および2018は、間質組織によって満たされた線維症マスクの面積の尺度、および間質組織の分布の分散の尺度(たとえば、間質組織がマスク内でどれだけ広がっているかに関する情報を提供し得る)を含む、パラメータ2026、2028、および2030の対応するセットを有している。

【0173】

図21は、本明細書に記載の技術のいくつかの実施形態による、空間分布特性の例を示す図である。図21は、線維症分布を測定する例2102およびt細胞分布を測定する例2104を含む。線維症ヒートマップ2102Aおよびt細胞ヒートマップ2104Aは、線維症およびt細胞密度をそれぞれ示すように陰影付けされ得る。たとえば、より暗い暗色(たとえば、暗赤色)は密度の最も高い領域を示すことができ、より明るい明色(たとえば、明赤色)は次に密度の高い領域を示すことができ、次いで別の色(たとえば、明青色)はさらに密度の低い領域を示すことができ、別の色(たとえば、暗青色)は密度の最も低い領域を示すことができる(たとえば、密度のより高い領域からのコントラストを改善するために別のより暗い暗色であってよい)。いくつかの実施形態において、間質組織の濃度測定値を提供するために分布が使用され得る。たとえば、間質組織の分布の分散(たとえば、図20と併せて説明されるような)は、間質分布の標準偏差に基づき決定され得る。いくつかの実施形態において、たとえば、間質分布は、間質マスク画像を等しいサイズの正方形に分割する(たとえば、モザイク分割を使用する)ことによって決定され得、代表値は、他の正方形と比較するために各正方形について決定され得る。たとえば、間質組織を示すピクセルのパーセンテージは、標準偏差を計算することができる分布として使用され得る。そのような例では、これらの技術は、間質がマスク内にどの程度均質に分布しているかを測定することができる。たとえば、頂部線維症分布2106は、マスクが間質なしの大きな領域を含まないことを示す均一分布を有するが、底部線維症分布2108は均一ではなく、したがって、マスクが間質なしの領域を含むことを示す。

【0174】

図22は、本明細書に記載の技術のいくつかの実施形態による、空間的組織化特性の例を示す図である。図22は、腫瘍マスク内の陽性領域(悪性細胞内)および腫瘍マスク内の陰性領域(非悪性コンパートメント内)における内皮細胞の分布を測定する例2202、ならびに悪性細胞および非悪性コンパートメントにおけるT細胞の分布を測定する例2204を含む。

【0175】

図23は、本明細書に記載の技術のいくつかの実施形態による、2人の異なる患者に対する免疫蛍光画像の細胞接触情報の一例を示す図である。本明細書に記載のように、細胞接触情報は、組織試料の決定済み特性のうちの1つであってよい。たとえば、細胞接触情報は、図5Aのステップ510の一部として決定され得、組織試料について決定された細胞の複数の群(たとえば、各群が異なる細胞種類に関連付けられる)に基づき決定され得る。免疫蛍光画像2302は、患者1の組織試料のものであり、免疫蛍光画像2304は、患者2の組織試料のものである。画像2302および2304は両方とも、CD8、CD68、CD31、およびPCK26に対するマーカーを含む。特性情報2306は、患者1および2の各々について、血管に接触しているT細胞のパーセンテージに関する情報2308と、血管に接触しているマクロファージのパーセンテージに関する情報2310と、マクロファージに接触しているT細胞のパーセンテージに関する情報2312とを含む。

【0176】

図24は、本明細書に記載の技術のいくつかの実施形態による、図23の2人の異なる患者に対する細胞隣接要素に関する情報の例を示す図である。本明細書に記載のように、細胞隣接要素情報は、組織試料の決定済み特性のうちの1つであってよく、細胞のどの種類が他の細胞種類に隣接しているかを示すことができる。細胞隣接要素は、1つの細胞種類と接触している両方の細胞種類、さらにはその細胞種類と接触していないがそれらの間に他の細胞を有しない細胞を含むことができる。図24は、図23からの免疫蛍光画像2302および2034を含む。図24は、免疫蛍光画像2302および2034の各々についてT細胞の隣接要素の数を示す特性情報2306も含む。

【0177】

図25は、本明細書に記載の技術のいくつかの実施形態による、MxIF画像2502、2504および対応する間質セグメンテーションマスク2506、2508の2つの例をそれぞれ示す。

【0178】

図26～図35は、本明細書に記載の技術を使用して決定された細胞群および関係する特性情報の様々な態様を示す。図26は、本明細書に記載の技術のいくつかの実施形態による、例示的なMxIF画像2602および2604、セグメンテーションマスク2606および2608、ならびに対応する細胞群2610および2612を示す。

【0179】

図27は、本明細書に記載の技術のいくつかの実施形態による、細胞群を生成するための完全なMxIFスライド処理の一例を示す。図27は、細胞群情報のビュー2702と、ビュー2702の部分2706のブローアップビュー2704とを示す。細胞群は、CD3 T細胞、CD4 T細胞、CD5 T細胞、マクロファージ、血管、および悪性帯細胞を含む。

【0180】

図28は、本明細書に記載の技術のいくつかの実施形態による、免疫蛍光画像2804を処理することによって生成される復元細胞配置構成2802の図である。復元細胞配置構成2802は、組織試料中の細胞を示す(たとえば、細胞種類の各々が細胞の異なる群に対応する場合)。復元細胞配置構成2802は、腺房細胞、CD4 FOXP3 T細胞、CD4 T細胞、CD8 T細胞、内皮細胞、K167およびPCK26細胞、マクロファージ、および未分類細胞を示している。

【0181】

図29は、本明細書に記載の技術のいくつかの実施形態による、4',6-ジアミジノ-2-フェニルインドール(DAPI)染色免疫蛍光画像2902と、DAPI画像に対する異なる細胞群の2つの画像2904および2096とを示す。画像2904は、CD31 ,CD21、CD3、およびCD68に対するマーカーを含む。画像2906は、CD31 ,CD21、CD3、およびCD68に対するマーカーも含み、CD20をさらに含む。

【0182】

図30は、本明細書に記載の技術のいくつかの実施形態による、異なるCCRCC組織試料3002、3004、および3006に対する細胞群を示す。

【0183】

図31は、本明細書に記載の技術のいくつかの実施形態による、図14からの腎臓組織の取得された例示的なMxIF画像1404、1406、1410、および1412に対する例示的な細胞群を示す。細胞群3102は、MxIF画像1404および1406に基づき決定され、細胞群3104は、MxIF画像1410および1412に基づき決定された。細胞群は、T細胞、マクロファージ、血管、および悪性帯を含む。

【0184】

図32は、本明細書に記載の技術のいくつかの実施形態による、異なる明細胞腎細胞癌(CCRCC)組織試料に対する細胞群の画像3200のセットを示す。画像3200は、T細胞、NK細胞、B細胞、マクロファージ、血管、および悪性帯に対する細胞群を示す。図33は、本明細書に記載の技術のいくつかの実施形態による、異なるCCRCC組織試料に対する細胞群の一連の画像3300を示す。図32と同様に、画像3300は、T細胞、NK細胞、B細胞、マクロファージ、血管、および悪性帯に対する細胞群を示す。したがって、本明細書に記載の技術は、たとえば、組織試料中のT細胞および悪性帯の両方を識別することを可能にすることができる。

【0185】

図34は、本明細書に記載の技術のいくつかの実施形態による、CCRCC組織試料の2つの異なるMxIF画像の分析結果を示す図である。図34は、画像3402における15の領域3410および画像3404における15の領域3412(たとえば、図5Aのステップ510の一部として決定される)について、それぞれ、CCRCC組織試料3402および3404ならびに対応する特性情報3406および3408を含む。特性情報は、各領域3410および3412について、その領域内のB細胞、CD4 T細胞、CD8 T細胞、内皮細胞、上皮細胞、マクロファージ、マクロファージ206、マクロファージ68、NK細胞、腫瘍細胞、腫瘍K167+、および未分類細胞のパーセンテージを示す。特性情報は、15個の領域3410を線維/正常領域または腫瘍領域のいずれかに分類し、15個の領域3412を線維/腫瘍領域、正常領域、または腫瘍領域に分類する。

【0186】

図35は、本明細書に記載の技術のいくつかの実施形態による、CCRCC組織試料3502のMxIF画像の分析結果を示す。分析情報3504は、組織試料3502の11個の領域3506の各々について、その領域内のB細胞、CD4 T細胞、CD8 T細胞、内皮、上皮細胞、マクロファージ、マクロファージ206、マクロファージ68、NK細胞、腫瘍細胞、腫瘍K167+、および未分類細胞のパーセンテージを示している。図35は、例示的な領域9のブローアップビュー3508も示す。

【0187】

図36A～図41は、一般的に、本明細書に記載の技術を使用して決定された組織細胞特性の例を示す。図36A～図36Bは、本明細書に記載の技術のいくつかの実施形態による、細胞の量および比率を例示する図である。図36Aは、異なる例示的な患者(たとえば、患者RP8393など)について、未分類細胞、内皮細胞、マクロファージ、CD8 T細胞、CD4 T細胞、腫瘍K167+細胞、および腫瘍細胞のパーセンテージを示す特性3602を含んでいる。図36Bは、CD8 T細胞についての特性3604、内皮細胞についての特性3606、マクロファージ細胞についての特性3608、腫瘍細胞についての特性3610、および腫瘍細胞についての特性3612を含む。

【0188】

図37は、本明細書に記載の技術のいくつかの実施形態による、細胞分布特性を例示する図である。図37は、第1の患者に対する組織画像3702および対応する間質マスク3704を示し、両方ともT細胞は赤色で示されている。図37は、第2の患者に対する組織画像3706および対応する間質マスク3708を示し、両方ともマクロファージ細胞は赤色で示されている。特性3710は、画像3702および3704について、T細胞の90%弱が間質内にあり、残りパーセントが腫瘍内にあることを示している。特性3712は、画像3706および3708について、マクロファージ細胞の大半が間質内にあり、腫瘍中にあるパーセンテージは非常に小さいことを示している。

【0189】

図38A～図38Bは、本明細書に記載の技術のいくつかの実施形態による、組織学的特徴のパーセンテージヒートマップおよび分布密度を示す。ヒートマップは、図5Aのステップ508および510に関連してなど、細胞群に基づき生成され得る。ヒートマップ内の各ブロックは、陽性間質マスクに対応するブロックのパーセンテージを表す。図38Aは、第1の患者に対する間質マスク3802、対応する間質ヒートマップ3804、および間質分布密度のグラフ3806を含む。図38Aは、第2の患者に対する間質マスク3808、対応する間質ヒートマップ3810、および間質分布密度のグラフ3812も含む。図38Bは、第3の患者の間質マスク3818ならびにx-sum強度3814およびy-sum強度3816の対応するグラフを含む。図38Bは、第4の患者の間質マスク3824ならびにx-sum強度3820およびy-sum強度3822の対応するグラフも含む。

【0190】

図39は、本明細書に記載の技術のいくつかの実施形態による、細胞隣接要素および細胞接触特性を示す図である。細胞接触特性は、たとえば、図5Aのステップ510で決定され得る。図39は、CD8 T細胞、内皮細胞、マクロファージ細胞、腫瘍細胞、および未分類細胞(ここで、隣接細胞は同様にCD8 T細胞、内皮細胞、マクロファージ細胞、腫瘍細胞、および未分類細胞であり得る)に対する隣接細胞のパーセンテージを示す第1の患者についての第1のテーブル3902、および様々な種類の細胞に関して同じ隣接細胞パーセンテージを示す関連付けられている円グラフ3904を含む。図39は、CD8 T細胞、内皮細胞、マクロファージ細胞、腫瘍細胞、および未分類細胞に対する隣接細胞のパーセンテージを示す第2の患者についての第2のテーブル3906、ならびに様々な種類の細胞に関して同じ隣接細胞パーセンテージを示す関連付けられている円グラフ3908を含む。

【0191】

図40は、本明細書に記載の技術のいくつかの実施形態による、マーカー発現の特性のtSNEプロット4002～4016の例を示す図である。特に、tSNEプロット4002はCD45マーカー発現に対するものであり、tSNEプロット4004はCAIXマーカー発現に対するものであり、tSNEプロット4006はCD163マーカー発現に対するものであり、tSNEプロット4008はCD206マーカー発現に対するものであり、tSNEプロット4010はCD31マーカー発現に対するものであり、tSNEプロットはCD3Eマーカー発現に対するものであり、tSNEプロット4014はPBRM1マーカー発現に対するものであり、tSNEプロット4016はPCK26マーカー発現に対するものである。tSNEプロットは、マーカー発現を使用して作成され、高いマーカー発現レベルを有する細胞とそれらの割り当てられている細胞種類との間の対応関係を示すために異なる色および/または陰影付けによって、図40に示されているような2種類の情報--細胞中のマーカー発現の強度(各点は細胞である)、およびグラフ4020における、細胞種類--を表示するために使用される。特性は、たとえば、本明細書に記載のように、図5Aのステップ510で決定され得る。

【0192】

図41は、本明細書に記載の技術のいくつかの実施形態による、マーカー発現の特性のtSNEプロット4102～4148の例を示す別の図である。特に、tSNEプロット4102はCD138マーカー発現に対するものであり、tSNEプロット4104はIgDマーカー発現に対するものであり、tSNEプロット4106はCD31マーカー発現に対するものであり、tSNEプロット4108はSPARCマーカー発現に対するものであり、tSNEプロット4110はBCL2マーカー発現に対するものであり、tSNEプロット4112はCD10マーカー発現に対するものであり、tSNEプロット4114はCD20マーカー発現に対するものであり、tSNEプロット4116はCD3マーカー発現に対するものであり、tSNEプロット4118はコラーゲンマーカー発現に対するものであり、tSNEプロット4120はCD163マーカー発現に対するものであり、tSNEプロット4122はHLA-DRマーカー発現に対するものであり、tSNEプロット4124はCD11cマーカー発現に対するものであり、tSNEプロット4126はCD21マーカー発現に対するものであり、tSNEプロット4128はCD68マーカー発現に対するものであり、tSNEプロット4130はKi-67マーカー発現に対するものであり、tSNEプロット4132はCD25マーカー発現に対するものであり、tSNEプロット4134はFOXP3マーカー発現に対するものであり、tSNEプロット4136はCD8マーカー発現に対するものであり、tSNEプロット4138はCD44マーカー発現に対するものであり、tSNEプロット4140はCD35マーカー発現に対するものであり、tSNEプロット4142はCD4マーカー発現に対するものであり、tSNEプロット4144はCD45マーカー発現に対するものであり、tSNEプロット4146はBCL6マーカー発現に対するものであり、tSNEプロット4148はIRF4マーカー発現に対するものである。

【0193】

図42～図47は、一般的に、4'、6-ジアミジノ-2-フェニルインドール(DAPI)不均一マーカー染色の文脈で本明細書に記載の技術を使用することに関係する。図42は、本明細書に記載の技術のいくつかの実施形態による、4',6-ジアミジノ-2-フェニルインドール(DAPI)不均一染色免疫蛍光画像4206に対する細胞セグメンテーションデータ4204を決定するための畳み込みニューラルネットワーク4202の使用を絵入りで例示する図である。

【0194】

図43は、本明細書に記載の技術のいくつかの実施形態による、組織試料のDAPI染色免疫蛍光画像4304とCD3細胞マーカー画像4306との組合せに基づき生成された第1の細胞マスク4302を絵入りで例示する図である。細胞マスクは、たとえば、図5Aのステップ504と併せて説明されているような細胞の配置を示す情報の一部として取得され得る。図43の細胞マスク例に示されているように、細胞マスク4302は、組織試料の細胞に対するマーカーの発現を伝えるために異なる免疫蛍光画像に適用され得る。

【0195】

図44は、本明細書に記載の技術のいくつかの実施形態による、図43のDAPI染色免疫蛍光画像4304とCD21細胞マーカー画像4404との組合せに基づき生成された第2の細胞マスク4402を絵入りで例示する図である。図45は、本明細書に記載の技術のいくつかの実施形態による、図43のDAPI染色免疫蛍光画像4304とCD11c細胞マーカー画像4504との組合せに基づき生成された第3の細胞マスク4502を絵入りで例示する図である。

【0196】

図46は、本明細書に記載の技術のいくつかの実施形態による、図43の組織試料のMxIF画像4604(画像4606は画像4604の一部の拡大図)に基づき生成された血管マスク4602を絵入りで例示する図である。血管マスク4602は、組織内の血管の配置を示す。この例については、計算されたマスク4602が組織内の血管に対応することを強調するために、合成疑似カラー画像4604内の第2の色合い(たとえば、青)のDAPI核マーカーの上にCD31マーカーが第1の色合い(たとえば、赤)で示されている。本明細書に記載のように、血管マスクは、たとえば、図5Aのステップ510の一部として作成することができる。

【0197】

図47は、本明細書に記載の技術のいくつかの実施形態による、図43～図46のマスク4302、4402、4502、および4602を使用して生成された細胞群4702を絵入りで例示する図である。細胞群4702は、T細胞(緑)、濾胞樹状細胞(黒ずんだオレンジ)、CD11c+細胞(青)、および血管(赤)を含む。

【0198】

図48は、本明細書に記載の技術のいくつかの実施形態による、前立腺組織試料4804および悪性部位4806に対する細胞群4802のセットを示す。図48は、染色プロセス中に機械的な影響を受けた密な腫瘍の領域を囲んでおり、腫瘍の大部分はまだセグメント化されている。図49は、本明細書に記載の技術のいくつかの実施形態による、免疫浸潤を強調するための、図48の前立腺組織試料4804の細胞群4802の一部4902の拡大図を示している。図50は、本明細書に記載の技術のいくつかの実施形態による、4人の異なる患者から採取され、可視化された前立腺組織試料に対する細胞群5002、5004、5006、および5008のセットを示している。図48～図50の各細胞は、その細胞種類に従って着色されており、血管のマスクは赤色に着色されている。図48～図49の二値白黒画像は、ニューラルネットワークを使用して取得された線維症の完全スライドセグメンテーションマスクである。

【0199】

本明細書において提供されている開示の実施形態のいずれかに関連して使用され得るコンピュータシステム5100の例示的な一実装形態が図51に示されている。たとえば、コンピュータシステム5100は、コンピューティングデバイス112および/またはコンピューティングデバイス116を実装するために使用され得る。コンピュータシステム5100は、図3～図4B、図5A、図6A、および/または図7A～図7Bに示されるMxIF画像処理パイプラインの1つまたは複数の態様を実行するために使用され得る。コンピュータシステム5100は、1つまたは複数のコンピュータハードウェアプロセッサ5102と、非一時的コンピュータ可読記憶媒体(たとえば、メモリ5104および1つまたは複数の不揮発性ストレージデバイス5106)を備える1つまたは複数の製造品とを具備し得る。プロセッサ5102は、任意の好適な方式で、メモリ5104および不揮発性ストレージデバイス5106へのデータの書き込みおよびそこからのデータの読み出しを制御し得る。本明細書に記載の機能のいずれかを実行するために、プロセッサ5102は、プロセッサ5102による実行のためのプロセッサ実行命令を記憶する非一時的コンピュータ可読記憶媒体として働き得る、1つまたは複数の非一時的コンピュータ可読記憶媒体(たとえば、メモリ5104)に記憶されている1つまたは複数のプロセッサ実行可能命令を実行し得る。

【0200】

コンピュータシステム5100は、プロセッサ5102、メモリ5104、および不揮発性ストレージデバイス5106を備える任意の種類のコンピューティングデバイスであってよい。たとえば、コンピュータシステム5100は、サーバ、デスクトップコンピュータ、ラップトップ、タブレット、またはスマートフォンであり得る。いくつかの実施形態において、コンピュータシステム5100は、コンピューティングデバイスのクラスタ、仮想コンピューティングデバイス、および/またはクラウドコンピューティングデバイスなどの複数のコンピューティングデバイスを使用して実装され得る。

【0201】

図52～図53は、いくつかの実施形態により、本明細書に記載の技術が細胞配置および細胞形状再現の両方について従来の技術をいかにしのぎ得るかを示すための2つの比較を提供する。図52～図53の両方に対するグラウンドトゥルースデータは、異なる非小細胞肺癌組織試料であり、マーカーはDAPI、NaKATPase、PCK26、CD3、およびCD68を含み、グラウンドトゥルースデータについて病理学者によって手動セグメンテーションを案内するために使用された。従来技術の例を提供するために、グラウンドトゥルースデータは、https://cellprofiler.org/releasesに記載されている、Broad Instituteから入手可能なCellProfiler 4.1.3を使用してセグメント化された(説明を容易にするために本書では「CellProfiler」と称する)。

【0202】

本明細書に記載の技術を実証するために、細胞セグメンテーションが訓練済み畳み込みニューラルネットワークを使用して実行され、それにより細胞セグメンテーションデータを生成した(説明を容易にするために図52～図53の例について「Mask R-CNN」と称されている)。特に、この例に使用されている訓練済みモデルは、ResNet-50エンコーダヘッドを用いてRegion-Based CNNアーキテクチャを実装した。このモデルは、約4,300万個のパラメータを有していた。

【0203】

Mask R-CNNへの入力は、3つのチャネルであり、これは第1のチャネルに対する核マーカー(DAPIを含む)、第2のマーカーに対する特定の組織種類についてほとんどすべての細胞上に存在する膜マーカー(CD45またはNaKATPaseを含む)を含み、第3のマーカーは十分な染色性を有する1つの追加の膜マーカー(CD3、CD20、CD19、CD163、CD11c、CD11b、CD56、CD138などを含む)である。すべてのチャネルは、0～1の範囲内に入るように正規化され、組合せとして、選択したすべてのマーカーのうち各ピクセルにおいて最大の発現の値が使用された。

【0204】

この実装形態では、Mask R-CNNセグメンテーションプロセスは、フォワードネットワークパスと、最終的な細胞セグメンテーションデータを生成する後処理ステップを含んでいる。入力画像は、サイズ256×256ピクセルの交差する正方形に分割される。ネットワーク出力は、各別個の細胞に対するマスク提案の配列である。この実装形態では、出力は、2値画像ではなく、むしろ出力は、所与のピクセルが細胞のマスクの一部である確率を表す0～1の範囲内の値を有する画像のセットであった。出力画像は、0.5の値を使用して閾値化され、それにより最終的な2進値マスクを取得した。マスクのいくつかが互いに交差する場合、非最大抑制アルゴリズムが実行された(たとえば、これは、たとえば、全体が参照により本明細書に組み込まれている、https://arxiv.org/pdf/1704.04503.pdfとして入手可能である、Navaneeth Bodla、「Improving Object Detection With One Line of Code」、arXiv:1704.04503v2(2017年8月)に記載の)。たとえば、予測のウィンドウは、ウィンドウのエッジ間にある細胞などによる、冗長データを含み得る。そのような交差は、各画像の中央、上隅、および右隅からの細胞のみを処理することによって回避された(たとえば、それにより、現在のウィンドウが右側または下側からの最後のウィンドウである場合にのみ画像の下部分および右部分が処理される)。次いで、結果として得られた細胞セグメントは、個別の細胞インスタンスを表す整数値により最終的な出力マスクとして表され、細胞輪郭に変換された。

【0205】

訓練データセットは、300×300ピクセルの刈り込みサイズで訓練用に刈り込まれた212枚の画像を含んでいた。ドロップアウト、回転、弾性変換、ガウスぼかし、コントラスト調整、ガウスノイズの追加、膜チャネル強度の減少(時にはゼロまで減らされる)、反射を含むすべての画像は、増強され、さらに256×256ピクセルの固定サイズに刈り込まれた。第1のチャネルについては、核マーカーはDAPIであり、第2のチャネルについてはCD45またはNaKATPaseであり、第3のチャネルについては様々な追加マーカー(CD16、CD163、CD45(第2のチャネルにおけるマーカーがNaKATPaseの場合)、CD206、CD8、CD11c、CD20、CD56、CD4など)であった。すべての標識は、人間の注釈を通じて取得された。Mask R-CNNモデルは、誤差逆伝播およびアダムオプティマイザを使用して、注釈を付けられた画像のランダム刈り込み上で訓練された。

【0206】

図52において、画像5202Aは、第1の組織試料に対する第1のグラウンドトゥルース細胞セグメンテーション情報を示す。これらの例では、セグメンテーションは必ずしも細胞境界を含めることなく輪郭を予測するので、細胞セグメントはピクセル間で互いに近い(または重なり合う)可能性もあり、これは画像5202A内の異なるセグメント化された細胞を見ることを困難にし得る。したがって、画像5202Bは、様々なセグメント化された細胞を例示するのを助けるために異なる陰影付けを使用して陰影付けされた第1のグラウンドトゥルースデータの異なる細胞セグメントを示す。画像5204Aは、CellProfilerを使用する第1のグラウンドトゥルースデータに対する決定された細胞セグメンテーション情報を示し、画像5204Bは、細胞プロファイラによって決定された異なるセグメント化された細胞を、様々なセグメント化された細胞を例示するのを助けるように陰影付けして示している。画像5206Aは、Mask R-CNNを使用して決定された第1のグラウンドトゥルースデータの細胞配置情報を示しており、画像5206Bは、第1のグラウンドトゥルースデータについて決定された異なるセグメント化された細胞を陰影付けして示している。

【0207】

以下のTable 1(表1)は、図52に対するグラウンドトゥルースデータとのCellProfilerとMask R-CNNのセグメンテーションの比較メトリックを示している。

【表1】

【0208】

Panoptic Quality(PQ)は、パフォーマンスメトリックとして用いられ、たとえば、https://arxiv.org/abs/1801.00868から入手可能である、Alexander Kirillov、「Panoptic Segmentation」、arXiv:1801.00868(2019年4月)に記載されている。

【0209】

ジャッカード係数は、細胞検出精度および細胞形状再現精度を示す。この値は、グラウンドトゥルースデータおよびハンガリアンアルゴリズムを使用する細胞セグメンテーション予測との間で細胞のマッチングを行うことによって決定される(各細胞は0または1のいずれかの接続を有する)。各マッチングされた対について、それらの間のジャッカード係数が計算され、最終結果は、値の合計を細胞の最大数(グラウンドトゥルースマスクまたは予測マスク内の細胞の数)で除算した値として計算される。

【0210】

F1、Precision、およびRecallは、機械学習において、あるグラウンドトゥルース(GT)物体(またはこれらの例では、セグメント)と比較して予測の質をチェックするために使用されるメトリックであり、ここでPrecision=TPS/GTS、Recall=TPS/PS、F1=2*Precision*Recall/(Precision+Recall)である。TPS(真陽性セグメント)は、Jaccard≧0.5のGTからの参照セグメントを有するニューラルネットワーク予測からのセグメントの数を表し、GTSはGTからのすべてのセグメントの数であり、PSは予測からのすべてのセグメントの数である。

【0211】

図53において、画像5302Aは、第2の組織試料に対する第2のグラウンドトゥルース細胞セグメンテーション情報を示し、画像5302Bは、第2のグラウンドトゥルースデータに対する異なる細胞セグメンテーションを陰影付けを使用して示している。画像5304Aは、CellProfilerを用いた第2のグラウンドトゥルースデータに対する決定された細胞セグメンテーション情報を示し、画像5304Bは、CellProfilerを介して決定された異なるセグメント化された細胞を陰影付けで示す。画像5306Aは、Mask R-CNNを使用して第2のグラウンドトゥルースデータに対して決定された細胞セグメンテーション情報を示し、画像5306Bは、Mask R-CNNを使用して第2のグラウンドトゥルースデータに対して決定された異なるセグメント化された細胞を陰影付けで示す。

【0212】

以下のTable 2(表2)は、図53に対するグラウンドトゥルースデータとのCellProfilerとMask R-CNNのセグメンテーションの比較メトリックを示している。

【表2】

【0213】

図52～図53の画像ならびにTable 1(表1)およびTable 2(表2)の比較データによって示されているように、Mask R-CNNはCellProfilerよりも細胞輪郭検出が優れているが、これは、このモデルが細胞セグメンテーションに対して訓練されたからである(その一方で、CellProfilerは一般的に核閾値化に基づく細胞セグメンテーション、および使用者がインピュートした数のピクセルで輪郭が描かれているように核を拡大することによる細胞膜識別を決定する)。Mask R-CNNは、CellProfilerよりも細胞の誤検出が少なく(たとえば、より高いF1およびPQメトリックによって示されるように)、CellProfilerよりも実際の細胞形態に近い細胞の形状を再現した(たとえば、より高いPQおよびジャッカード係数メトリックによって示されるように)。したがって、Mask R-CNNは、細胞セグメンテーションに対するCellProfilerおよび他の類似する従来のアプローチからの著しい改善を示している。そのような改善された細胞セグメンテーションは、次いで、細胞セグメンテーションを活用する画像処理パイプラインによって実行されるその後の態様を改善することができるが、それはさらなる分析が本明細書で説明されているような細胞セグメンテーションデータを使用し、および/または依存し得るからである。

【0214】

「プログラム」または「ソフトウェア」という用語は、本明細書において一般的な意味で、上で説明されているような実施形態の様々な態様を実装するようにコンピュータまたは他のプロセッサ(物理的または仮想的)をプログラムするために使用され得る任意の種類のコンピュータコードまたは任意の一組のプロセッサ実行可能命令を指すために使用される。それに加えて、一態様により、実行されたときに本明細書で提供されている開示の方法を実行する1つまたは複数のコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に常駐する必要はないが、本明細書において提供されている開示の様々な態様を実装するために異なるコンピュータまたはプロセッサ間にモジュールで分散されてよい。

【0215】

プロセッサ実行可能命令は、1つまたは複数のコンピュータまたは他のデバイスによって実行される、プログラムモジュールなどの多くの形態をとり得る。一般に、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。典型的には、プログラムモジュールの機能は、組み合わされるか、または分散され得る。

【0216】

また、データ構造体は、任意の好適な形式で1つまたは複数の非一時的コンピュータ可読記憶媒体内に記憶され得る。図解を簡単にするために、データ構造体は、データ構造体内の配置を通じて関係するフィールドを有するように示され得る。そのような関係は、同様に、フィールド間の関係を伝える非一時的コンピュータ可読媒体内の配置をフィールドに対するストレージに割り当てることによって達成され得る。しかしながら、任意の好適なメカニズムが、ポインタ、タグ、またはデータ要素間の関係を確立する他のメカニズムの使用を通じてなど、データ構造体のフィールド内の情報間の関係を確立するために使用され得る。

【0217】

様々な発明の概念は、1つまたは複数のプロセスとして具現化されてもよく、その例が提供されている。各プロセスの一部として実行される活動は、任意の好適な仕方で順序付けされてよい。したがって、例示されているのと異なる順序で活動が実行される実施形態が構成されてもよく、これは例示的な実施形態において順次的活動として示されているとしても、いくつかの活動を同時に実行することを含み得る。

【0218】

本明細書および請求項で使用されているように、1つまたは複数の要素のリストへの参照における「少なくとも1つ」というフレーズは、要素のリスト内の要素のうちの任意の1つまたは複数から選択された少なくとも1つの要素を意味し、必ずしも、要素のリスト内に特にリストされているあらゆる要素のうちの少なくとも1つを含まず、また要素のリスト内の要素の任意の組合せを除外しない、と理解されるべきである。この定義は、また、要素が、任意選択で、「少なくとも1つ」というフレーズが指している要素のリスト内で特に識別される要素以外に、特に識別されている要素に関係していようと無関係であろうと、存在していてもよいことを許している。したがって、たとえば、「AおよびBのうちの少なくとも1つ」(または同等であるが、「AまたはBのうちの少なくとも1つ」、または同等であるが、「Aおよび/またはBのうちの少なくとも1つ」)は、一実施形態では、任意選択で複数を含む、少なくとも1つのAがあり、Bが存在していない(および任意選択で、B以外の要素を含む)こと、別の実施形態では、任意選択で複数を含む、少なくとも1つのBがあり、Aが存在していない(および任意選択で、A以外の要素を含む)こと、さらに別の実施形態では、任意選択で複数を含む、少なくとも1つのAおよび任意選択で複数を含む、少なくとも1つのBがある(および任意選択で、他の要素を含む)こと、などを指すものとしてよい。

【0219】

本明細書および請求項において使用されているような「および/または」というフレーズは、要素の「いずれかまたは両方」がそのように結合されている、すなわち、要素はある場合には接続的に存在し、他の場合には離接的に存在していることを意味すると理解されるべきである。「および/または」でリストされている複数の要素は同じように、すなわち、そのように結合されている要素の「1つまたは複数」と解釈されるべきである。他の要素は、任意選択で、「および/または」節によって特に識別される要素以外に、特に識別されている要素に関係していようと無関係であろうと、存在していてもよい。したがって、非限定的な例として、「Aおよび/またはB」への参照は、「含む」などのオープンエンドの言い回しと併せて使用されるときに、一実施形態では、Aのみを指し(任意選択でB以外の要素を含む)、別の実施形態では、Bのみを指し(任意選択でA以外の要素を含む)、さらに別の実施形態では、AとBの両方を指し(任意選択で他の要素を含む)、などとしてよい。

【0220】

請求項の範囲において、請求項要素を修正するために「第1」、「第2」、「第3」などの序数を使用しても、それ自体、ある請求項要素の他の請求項要素に対する優先順位、先行順位、もしくは順番または方法の活動が実行される時間的順序を意味するものではない。このような用語は、特定の名前を持つ1つの請求項要素を同じ名前を持つ別の要素と区別するためのラベルとして使用されているだけである(ただし、序数の使用を除く)。本明細書で使用されている語法および術語は、説明を目的とするものであり、限定するものとしてみなされるべきでない。「含む、備える(including)」、「からなる、備える、含む(comprising)」、「有する(having)」、「収容する、含む(containing)」、「伴う(involving)」、および本明細書におけるそれらの変形の使用は、それ以降に記載される項目および追加項目を包含することを意味する。

【0221】

本明細書に記載の技術のいくつかの実施形態を詳細に説明したが、様々な修正、および改善は、当業者であれば容易に思いつくであろう。そのような修正、および改善は、本開示の精神および範囲内にあることが意図されている。したがって、前述の説明は例としてのみであり、限定することを意図されていない。これらの技術は、次の請求項およびその等価物による定義にのみ限定される。

【符号の説明】

【0222】

1、2 患者
100 システム
102 MxIF画像
104 情報
110 顕微鏡
112 コンピューティングデバイス
114 ネットワーク
116 コンピューティングデバイス
200 図
202 生のMxIF画像
204 セグメンテーション情報
206 マスク
208 情報
210 情報
300 画像処理パイプライン
300 図
310 MxIF画像
310A、310B、310C、から310N 画像
320 MxIF画像前処理コンポーネント
330 細胞セグメンテーションコンポーネント
340 細胞タイピングコンポーネント
350 細胞形態評価コンポーネント
360 特性決定コンポーネント
400 処理フロー
410 処理済みMxIF画像
410A、410B、410C、から410N 処理済みMxIF画像
420 配置情報
430 組織劣化チェックコンポーネント
440 染色部
440Aおよび440B 核マーカー画像
442A ウィンドウ
442B ウィンドウ
444 パッチマスク
444A、444B、444C セクション
446 セグメンテーションマスク
448 フィルタリングされたセグメンテーションマスク
500 コンピュータ化プロセス
502 活動
600 特徴値
602 細胞配置データ
610 コンピュータ化プロセス
622 細胞
622A 第1の細胞
622B 第2の細胞
624 核マーカー(DAPI)画像
626 細胞セグメンテーション(2進値)マスク
628 マーカー画像
628A 核内マーカー画像
628B 膜マーカー画像
628C 細胞質画像
634 ニューラルネットワーク
636 マーカー発現シグネチャ
638 細胞タイピングデータ
640 細胞種類
650 ニューラルネットワーク
652 確率テーブル
654 細胞タイピングテーブル
656 入力
656A、656B、656C、656D、656E 画像
656F セグメンテーションマスク
660 ニューラルネットワーク
662 確率テーブル
664 細胞タイピングテーブル
666 入力
666A、666B、666C、666D、および666E MxIF画像
666F セグメンテーションマスク
700 コンピュータ化プロセス
750 コンピュータ化プロセス
774 細胞データ
776 グラフ
772 グラフニューラルネットワーク
778 コミュニティ
780 画像
782 画像
800 MxIF画像
802 手動細胞配置/セグメンテーションデータ
1000 訓練済み畳み込みニューラルネットワークモデル
1002 細胞セグメンテーションデータ
1010 MxIF画像
1012 第1のマーカー画像
1014 第2のマーカー画像
1100 訓練済みニューラルネットワーク
1102 細胞配置/セグメンテーション情報
1110 MxIF画像
1112 DAPIマーカー画像
1114 NaKATPaseマーカー画像
1200 MxIF画像
1202 細胞セグメンテーションデータ
1300 合成蛍光画像
1302 細胞セグメンテーションデータ
1402 細胞セグメンテーションデータ
1404および1406 MxIF画像
1408 細胞セグメンテーションデータ
1410および1412 MxIF画像
1500 明細胞腎細胞癌(CCRCC)のMxIF画像
1502 細胞セグメンテーションデータ
1600 CCRCCのMxIF画像
1602 細胞セグメンテーションデータ
1700 畳み込みニューラルネットワークアーキテクチャ
1702A、1702Bおよび1702C 畳み込み層
1704A、1704Bおよび1704C アップサンプリング層
1706 閾値画像
1708 生の入力画像
1710 閾値差
1800 図
1802 細胞空間的共起
1804 半径チェック
1806 三角測量
1808 マスク
1810 細胞群
1900 免疫蛍光画像
1902 間質マスク
1904 腺房マスク
1950 画像
1952 画像
1956 物体マスク
2000 図
2002、2004および2006 画像
2008、2010および2012 腺房マスク
2014、2016および2018 線維症マスク
2026、2028、および2030 パラメータ
2102 例
2104 例
2106 頂部線維症分布
2108 底部線維症分布
2202 例
2204 例
2302 免疫蛍光画像
2304 免疫蛍光画像
2306 特性情報
2308 情報
2310 情報
2312 情報
2502、2504 MxIF画像
2506、2508 間質セグメンテーションマスク
2602および2604 MxIF画像
2606および2608 セグメンテーションマスク
2610および2612 細胞群
2702 ビュー
2704 ブローアップビュー
2706 部分
2802 復元細胞配置構成
2804 免疫蛍光画像
2902 4',6-ジアミジノ-2-フェニルインドール(DAPI)染色免疫蛍光画像
2904および2906 画像
3002、3004、および3006 CCRCC組織試料
3200 画像
3300 画像
3402 画像
3404 画像
3402および3404 CCRCC組織試料
3406および3408 特性情報
3410 領域
3412 領域
3502 CCRCC組織試料
3508 ブローアップビュー
3602 特性
3604 特性
3606 特性
3608 特性
3610 特性
3612 特性
3702 組織画像
3704 間質マスク
3706 組織画像
3708 間質マスク
3710 特性
3712 特性
3802 間質マスク
3804 間質ヒートマップ
3806 間質分布密度のグラフ
3808 間質マスク
3810 間質ヒートマップ
3812 間質分布密度のグラフ
3814 x-sum強度
3816 y-sum強度
3818 間質マスク
3902 第1のテーブル
3904 円グラフ
3906 第2のテーブル
3908 円グラフ
4002～4016 tSNEプロット
4102～4148 tSNEプロット
4202 畳み込みニューラルネットワーク
4204 細胞セグメンテーションデータ
4206 4',6-ジアミジノ-2-フェニルインドール(DAPI)不均一染色免疫蛍光画像
4302 第1の細胞マスク
4304 DAPI染色免疫蛍光画像
4306 CD3細胞マーカー画像
4402 第2の細胞マスク
4404 CD21細胞マーカー画像
4502 第3の細胞マスク
4504 CD11c細胞マーカー画像
4602 血管マスク
4604 MxIF画像
4606 画像
4702 細胞群
4802 細胞群
4804 前立腺組織試料
4806 悪性部位
4902 一部
5100 コンピューティングデバイス、コンピュータシステム
5102 コンピュータハードウェアプロセッサ
5104 メモリ
5106 不揮発性ストレージデバイス
5202A 画像
5202B 画像
5204A 画像
5204B 画像
5206A 画像
5206B 画像
5302A 画像
5302B 画像
5304A 画像
5304B 画像
5306A 画像
5306B 画像

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図7A】

【図7B】

【図7C】

【図8】

【図9-1】

【図9-2】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19A】

【図19B】

【図20-1】

【図20-2】

【図21-1】

【図21-2】

【図21-3】

【図21-4】

【図22-1】

【図22-2】

【図23-1】

【図23-2】

【図24-1】

【図24-2】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34-1】

【図34-2】

【図35-1】

【図35-2】

【図36A】

【図36B-1】

【図36B-2】

【図36B-3】

【図37】

【図38A-1】

【図38A-2】

【図38B-1】

【図38B-2】

【図39-1】

【図39-2】

【図39-3】

【図40-1】

【図40-2】

【図41-1】

【図41-2】

【図41-3】

【図41-4】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】