特許 7492650 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-21

(45)【発行日】2024-05-29

(54)【発明の名称】多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別

(51)【国際特許分類】

   G01N 33/53 20060101AFI20240522BHJP

   G01N 33/48 20060101ALI20240522BHJP

   G06T 7/00 20170101ALI20240522BHJP

   G06V 20/69 20220101ALI20240522BHJP

   G06V 10/82 20220101ALI20240522BHJP

【ＦＩ】

G01N33/53 Y

G01N33/48 M

G06T7/00 630

G06V20/69

G06V10/82

G06T7/00 350C

【請求項の数】 20

(21)【出願番号】P 2023509712

(86)(22)【出願日】2021-08-11

(65)【公表番号】

(43)【公表日】2023-09-06

(86)【国際出願番号】 US2021045507

(87)【国際公開番号】W WO2022035943

(87)【国際公開日】2022-02-17

【審査請求日】2023-03-03

(31)【優先権主張番号】63/065,350

(32)【優先日】2020-08-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【氏名又は名称】鳥居 健一

(72)【発明者】

【氏名】バウマン，ジェシカ

(72)【発明者】

【氏名】ホジャステ，メールヌーシュ

(72)【発明者】

【氏名】シェイクザデー，ファヒーメ

(72)【発明者】

【氏名】ソム，アニルーダ

(72)【発明者】

【氏名】タイエブ，アイチャ・ベヤ・ベン

【審査官】小澤 理

(56)【参考文献】

【文献】特表２０１５－５１４２１２（ＪＰ，Ａ）

【文献】国際公開第２０２０／０２５６８４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０３９２５８０（ＵＳ，Ａ１）

【文献】KOHL, S. A. A. et al.，A Probabilistic U-Net for Segmentation of Ambiguous Images，Advances in Neural Information Processing Systems 31 (NeurIPS 2018)，2018年，p.1-11

【文献】SALTZ, J. et al.，Spatial Organization and Molecular Correlation of Tumor-Infiltrating Lymphocytes Using Deep Learning on Pathology Images，Cell Rep.，2018年，Vol.23, No.1，p.181-193,e1-7，doi: 10.1016/j.celrep.2018.03.086

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ３３／５３

Ｇ０１Ｎ ３３／４８

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／６９

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

デジタル病理画像の壊死組織を識別するための方法であって、
核マーカー用の第１のチャネルおよび上皮腫瘍マーカー用の第２のチャネルを含む検体のスライスの多重免疫蛍光画像にアクセスすることであって、前記検体のスライスが１つ以上の壊死組織領域を含む、多重免疫蛍光画像にアクセスすることと、
前記多重免疫蛍光画像を機械学習モデルに提供することと、
前記多重免疫蛍光画像が前記多重免疫蛍光画像の１つ以上の特定の部分に１つ以上の壊死組織領域を含むという予測に対応する前記機械学習モデルの出力を受信することと、
前記機械学習モデルの前記出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記多重免疫蛍光画像に前記マスクを適用することにより、前記多重免疫蛍光画像の修正バージョンを生成することと、
前記多重免疫蛍光画像の前記修正バージョンを処理することと、
前記検体のスライス中の腫瘍細胞のセットの検出された表示に対応する前記多重免疫蛍光画像の前記修正バージョンの処理結果を出力することであって、前記後続の画像処理の結果が、前記腫瘍細胞のセットの存在、量、および／またはサイズを特徴付ける、処理結果を出力することと
を含む、方法。

【請求項2】

デジタル病理画像の壊死組織を識別するための方法であって、
核マーカー用の第１のチャネルおよび上皮腫瘍マーカー用の第２のチャネルを含む検体のスライスの多重免疫蛍光画像にアクセスすることであって、前記検体のスライスが１つ以上の壊死組織領域を含む、多重免疫蛍光画像にアクセスすることと、
前記多重免疫蛍光画像を機械学習モデルに提供することと、
前記多重免疫蛍光画像が前記多重免疫蛍光画像の１つ以上の特定の部分に１つ以上の壊死組織領域を含むという予測に対応する前記機械学習モデルの出力を受信することと、
前記機械学習モデルの前記出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記検体のスライスの第２の画像にアクセスすることと、
前記マスクを前記第２の画像に適用することと、
前記マスクを用いて前記第２の画像を処理することによって、前記検体のスライス中の腫瘍細胞のセットの存在、量、および／またはサイズを決定することと、
前記検体のスライス中の前記腫瘍細胞のセットの存在、量、および／またはサイズを出力することと
を含む、方法。

【請求項3】

前記核マーカーが４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）を含み、前記上皮腫瘍マーカーが汎サイトケラチン（ＰａｎＣＫ）を含む、請求項１または２に記載の方法。

【請求項4】

前記機械学習モデルがＵ－Ｎｅｔモデルを含む、請求項１または２に記載の方法。

【請求項5】

前記多重免疫蛍光画像を前記機械学習モデルに提供する前に、ガンマ補正および正規化を使用して前記多重免疫蛍光画像を前処理することをさらに含む、請求項１または２に記載の方法。

【請求項6】

前記多重免疫蛍光画像から複数のタイル画像を生成することと、
前記複数のタイル画像を前記多重免疫蛍光画像として前記機械学習モデルに提供することと
をさらに含む、請求項１または２に記載の方法。

【請求項7】

システムであって、
１つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに動作を実行させる、非一時的コンピュータ可読記憶媒体と
を備え、前記動作が、
少なくとも２つのチャネルを含む検体のスライスの多重免疫蛍光画像を受信することであって、前記多重免疫蛍光画像が１つ以上の壊死組織領域を含む、多重免疫蛍光画像を受信することと、
前記多重免疫蛍光画像をガンマ補正によって前処理することと、
前処理された前記多重免疫蛍光画像を機械学習モデルに提供し、前記１つ以上の壊死組織領域を識別することと、
前記機械学習モデルの出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記多重免疫蛍光画像に前記マスクを適用することにより、前記多重免疫蛍光画像の修正バージョンを生成することと、
前記多重免疫蛍光画像の前記修正バージョンを処理することと、
前記検体のスライス中の腫瘍細胞のセットの検出された表示に対応する前記多重免疫蛍光画像の前記修正バージョンの処理結果を出力することであって、前記後続の画像処理の結果が、前記腫瘍細胞のセットの存在、量、および／またはサイズを特徴付ける、処理結果を出力することと
を含む、システム。

【請求項8】

システムであって、
１つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに動作を実行させる、非一時的コンピュータ可読記憶媒体と
を備え、前記動作が、
少なくとも２つのチャネルを含む検体のスライスの多重免疫蛍光画像を受信することであって、前記多重免疫蛍光画像が１つ以上の壊死組織領域を含む、多重免疫蛍光画像を受信することと、
前記多重免疫蛍光画像をガンマ補正によって前処理することと、
前処理された前記多重免疫蛍光画像を機械学習モデルに提供し、前記１つ以上の壊死組織領域を識別することと、
前記機械学習モデルの出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記検体のスライスの第２の画像にアクセスすることと、
前記マスクを前記第２の画像に適用することと、
前記マスクを用いて前記第２の画像を処理することによって、前記検体のスライス中の腫瘍細胞のセットの存在、量、および／またはサイズを決定することと、
前記検体のスライス中の前記腫瘍細胞のセットの存在、量、および／またはサイズを出力することと
を含む、システム。

【請求項9】

前記少なくとも２つのチャネルが、４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）チャネルおよび汎サイトケラチン（ＰａｎＣＫ）チャネルを含む、請求項７または８に記載のシステム。

【請求項10】

前記機械学習モデルがＵ－Ｎｅｔモデルを含む、請求項７または８に記載のシステム。

【請求項11】

前記非一時的コンピュータ可読記憶媒体がさらに命令を含み、該命令が、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、
前記多重免疫蛍光画像を前記機械学習モデルに提供する前に、ガンマ補正および正規化を使用して前記多重免疫蛍光画像を前処理することを含む動作を実行させる、請求項７または８に記載のシステム。

【請求項12】

前記非一時的コンピュータ可読記憶媒体がさらに命令を含み、該命令が、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、
前記多重免疫蛍光画像から複数のタイル画像を生成することと、
前記複数のタイル画像を前記多重免疫蛍光画像として前記機械学習モデルに提供することと
を含む動作を実行させる、請求項７または８に記載のシステム。

【請求項13】

１つ以上のデータプロセッサに動作を実行させるように構成された命令を含むコンピュータプログラムであって、前記動作が、
核マーカー用の第１のチャネルおよび上皮腫瘍マーカー用の第２のチャネルを含む検体のスライスの多重免疫蛍光画像にアクセスすることであって、前記多重免疫蛍光画像が１つ以上の壊死組織領域を含む、多重免疫蛍光画像にアクセスすることと、
前記多重免疫蛍光画像を機械学習モデルに提供することであって、前記機械学習モデルの出力が、前記多重免疫蛍光画像が前記多重免疫蛍光画像の１つ以上の特定の部分に１つ以上の壊死組織領域を含むという予測に対応する、前記多重免疫蛍光画像を機械学習モデルに提供することと、
前記機械学習モデルの出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記多重免疫蛍光画像に前記マスクを適用することにより、前記多重免疫蛍光画像の修正バージョンを生成することと、
前記多重免疫蛍光画像の前記修正バージョンを処理することと、
前記検体のスライス中の腫瘍細胞のセットの検出された表示に対応する前記多重免疫蛍光画像の前記修正バージョンの処理結果を出力することであって、前記後続の画像処理の結果が、前記腫瘍細胞のセットの存在、量、および／またはサイズを特徴付ける、処理結果を出力することと
を含む、コンピュータプログラム。

【請求項14】

１つ以上のデータプロセッサに動作を実行させるように構成された命令を含むコンピュータプログラムであって、前記動作が、
核マーカー用の第１のチャネルおよび上皮腫瘍マーカー用の第２のチャネルを含む検体のスライスの多重免疫蛍光画像にアクセスすることであって、前記多重免疫蛍光画像が１つ以上の壊死組織領域を含む、多重免疫蛍光画像にアクセスすることと、
前記多重免疫蛍光画像を機械学習モデルに提供することであって、前記機械学習モデルの出力が、前記多重免疫蛍光画像が前記多重免疫蛍光画像の１つ以上の特定の部分に１つ以上の壊死組織領域を含むという予測に対応する、前記多重免疫蛍光画像を機械学習モデルに提供することと、
前記機械学習モデルの出力に基づいて、前記多重免疫蛍光画像の後続の画像処理のためのマスクを生成することと、
前記後続の画像処理のための前記マスクを出力することと
を含み、
前記後続の画像処理が、
前記検体のスライスの第２の画像にアクセスすることと、
前記マスクを前記第２の画像に適用することと、
前記マスクを用いて前記第２の画像を処理することによって、前記検体のスライス中の腫瘍細胞のセットの存在、量、および／またはサイズを決定することと、
前記検体のスライス中の前記腫瘍細胞のセットの存在、量、および／またはサイズを出力することと
を含む、コンピュータプログラム。

【請求項15】

前記核マーカーが４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）を含み、前記上皮腫瘍マーカーが汎サイトケラチン（ＰａｎＣＫ）を含む、請求項１３または１４に記載のコンピュータプログラム。

【請求項16】

前記機械学習モデルがＵ－Ｎｅｔモデルを含む、請求項１３または１４に記載のコンピュータプログラム。

【請求項17】

１つ以上のデータプロセッサに、前記多重免疫蛍光画像を前記機械学習モデルに提供する前に、ガンマ補正および正規化を使用して前記多重免疫蛍光画像を前処理することを含む動作を実行させる
ように構成された命令をさらに含む、請求項１３または１４に記載のコンピュータプログラム。

【請求項18】

前記後続の画像処理が、
前記多重免疫蛍光画像に前記マスクを適用することにより、前記多重免疫蛍光画像の修正バージョンを生成することと、
前記多重免疫蛍光画像の前記修正バージョンを処理することと、
前記検体のスライス中の腫瘍細胞のセットの検出された表示に対応する前記多重免疫蛍光画像の前記修正バージョンの処理結果を出力することであって、前記後続の画像処理の結果が、前記腫瘍細胞のセットの存在、量、および／またはサイズを特徴付ける、処理結果を出力することと
を含む、請求項１３または１４に記載のコンピュータプログラム。

【請求項19】

１つ以上のデータプロセッサに、
前記多重免疫蛍光画像から複数のタイル画像を生成することと、
前記複数のタイル画像を前記多重免疫蛍光画像として前記機械学習モデルに提供することと
を含む動作を実行させる
ように構成された命令をさらに含む、請求項１３または１４に記載のコンピュータプログラム。

【請求項20】

前記後続の画像処理が、
前記検体のスライスの第２の画像にアクセスすることと、
前記マスクを前記第２の画像に適用することと、
前記マスクを用いて前記第２の画像を処理することによって、前記検体のスライス中の腫瘍細胞のセットの存在、量、および／またはサイズを決定することと、
前記検体のスライス中の前記腫瘍細胞のセットの存在、量、および／またはサイズを出力することと
を含む、請求項１３または１４に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年８月１３日に出願された米国仮特許出願第６３／０６５，３５０号の利益および優先権を主張するものであり、その全体があらゆる目的のために参照により本明細書に組み込まれる。

【0002】

分野
本開示は、デジタル病理学に関し、特に、多重免疫蛍光染色組織のデジタル画像における壊死組織領域の表示を識別するために機械学習モデルを使用するための技術に関する。

【背景技術】

【0003】

背景
デジタル病理学は、試料（例えば、組織試料、血液試料、尿試料など）のスライドをデジタル画像にスキャンすることを含む。試料は、細胞中の選択されたタンパク質（抗原）が試料の残りの部分に対して示差的に視覚的にマークされるように染色されることができる。検体中の標的タンパク質は、バイオマーカーと呼ばれることがある。異なるバイオマーカーについて複数の染色を有する試料を示すデジタル画像が、組織試料について生成されることができる。複数の染色剤によって染色された試料を示すデジタル画像は、多重免疫蛍光画像と呼ばれることがある。多重免疫蛍光画像は、組織試料中の腫瘍細胞と非腫瘍細胞との間の空間的関係の視覚化を可能にすることができる。

【0004】

画像分析が実行されて、組織試料中のバイオマーカーを識別および定量化することができる。画像分析は、（例えば）疾患の診断、治療計画の決定、または治療に対する反応の評価を知らせるために、（例えば、存在、サイズ、形状および／または位置に関して）バイオマーカーの特徴付けを容易にするためにコンピューティングシステムまたは病理医によって実行されることができる。

【0005】

デジタル病理アルゴリズムは、バイオマーカーの発現および共発現を定量化し、細胞ごとに腫瘍微小環境（ＴＭＥ）におけるそれらの空間的関係を特徴付けることができる。これらのアルゴリズムは、通常、病理医による全スライド画像（ＷＳＩ）における腫瘍領域の手動識別に依存する。壊死領域はまた、表現型の検出および報告から除外されるように手動で注釈付けされる。壊死領域は、生組織における細胞死に続く一連の形態学的変化である。ＷＳＩにわたる壊死領域のサイズ、形状、および数の変化は、それらの手動注釈を誤りがちで時間のかかる作業にする。

【発明の概要】

【0006】

概要
いくつかの実施形態では、方法が提供される。検体のスライスの多重免疫蛍光画像がアクセスされる。多重免疫蛍光画像は、核マーカー用の第１のチャネルおよび上皮腫瘍マーカー用の第２のチャネルを含むことができる。検体のスライスは、１つ以上の壊死組織領域を含むことができる。多重免疫蛍光画像は、機械学習モデル（例えば、Ｕ－Ｎｅｔモデル）を使用して処理される。処理の出力は、多重免疫蛍光画像が１つ以上の壊死組織領域を含むかどうかに関する予測に対応することができる。予測は、壊死組織を示すと予測された多重免疫蛍光画像の１つ以上の特定の部分を識別することができる。機械学習モデルの出力に基づいてマスクが生成される。マスクは出力され、多重免疫蛍光画像の後続の画像処理に使用される。

【0007】

いくつかの実施形態では、核マーカーは、４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）を含み、上皮腫瘍マーカーは、汎サイトケラチン（ＰａｎＣＫ）を含む。

【0008】

いくつかの実施形態では、本方法は、多重免疫蛍光画像を機械学習モデルに提供する前に、ガンマ補正および正規化を使用して多重免疫蛍光画像を前処理することを含む。

【0009】

場合によっては、後続の画像処理を実行することは、マスクを多重免疫蛍光画像に適用することによって多重免疫蛍光画像の修正バージョンを生成することと、多重免疫蛍光画像の修正バージョンを処理することとを含む。処理結果が出力される。結果は、検体のスライス中の腫瘍細胞のセットの検出された表示に対応し、腫瘍細胞のセットの存在、量、および／またはサイズを特徴付ける。

【0010】

いくつかの実施形態では、コンピュータ実装方法は、多重免疫蛍光画像から複数のタイル画像を生成することを含むことができる。複数のタイル画像は、多重免疫蛍光画像として機械学習モデルに提供されることができる。

【0011】

いくつかの実施形態では、後続の画像処理は、検体のスライスの第２の画像にアクセスし、第２の画像にマスクを適用することをさらに含むことができる。検体のスライス中の腫瘍細胞のセットの存在、量、および／またはサイズは、マスクを用いて第２の画像を処理することによって決定されることができる。検体のスライス中の腫瘍細胞のセットの存在、量、および／またはサイズが出力されることができる。

【0012】

本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体をさらに含むことができる。

【0013】

いくつかの実施形態では、非一時的な機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品が提供される。コンピュータプログラム製品は、１つ以上のデータプロセッサに、本明細書に開示された方法のうちの１つ以上の一部または全部を実行させるように構成された命令群を含むことができる。

【0014】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【図面の簡単な説明】

【0015】

様々な実施形態の態様および特徴は、添付の図面を参照して例を説明することによってより明らかになるであろう。

【図1】本開示のいくつかの態様にかかる多重免疫蛍光画像における壊死組織領域の例示的な表示を示している。

【図2】本開示のいくつかの態様にかかる、壊死組織の表示の識別を容易にするために機械学習モデルを訓練および使用するための例示的なコンピューティングシステムを示している。

【図3】本開示のいくつかの態様にかかる壊死組織領域予測のためのプロセスのブロック図を示している。

【図4】本開示のいくつかの態様にかかる例示的なＵ－Ｎｅｔを示している。

【図5】本開示のいくつかの態様にかかるガンマ補正のグラフを示している。

【図6】本開示のいくつかの態様にかかる多重免疫蛍光画像の前処理の例示的な結果を示している。

【図7】本開示のいくつかの態様にかかるパッチ生成の例を示している。

【図8】本開示のいくつかの態様にかかる例示的な入力画像および対応するマスクを示している。

【図9】本開示のいくつかの態様にかかる壊死組織領域を識別するプロセス中の例示的な画像を示している。

【図10】本開示のいくつかの態様にかかる、壊死組織領域を識別するために機械学習モデルを使用する例示的なプロセスを示している。

【0016】

添付の図面において、同様の構成要素および／または特徴は、同じ参照ラベルを有することができる。さらに、同じタイプの様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第２のラベルを続けることによって区別されることができる。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様の構成要素のいずれかに適用可能である。

【発明を実施するための形態】

【0017】

Ｉ．概要
特定の実施形態が説明されているが、これらの実施形態は例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書に記載された装置、方法、およびシステムは、様々な他の形態で具現化されることができる。さらにまた、保護の範囲から逸脱することなく、本明細書に記載の例示的な方法およびシステムの形態の様々な省略、置換、および変更を行うことができる。

【0018】

本開示は、デジタル病理画像における壊死組織の表示を自動的に識別するための技術を記載する。より具体的には、本開示のいくつかの実施形態は、疾患の検出および分析を支援または改善するために、多重免疫蛍光画像における壊死組織の表示を識別するための機械学習技術を提供する。

【0019】

多重免疫蛍光スライド染色は、組織切片中の複数のタンパク質を同時に検出することを可能にすることができる。多重免疫蛍光画像は、生体組織、血液または尿中の異なる種類の細胞の研究に使用されることができる。組織に関して、生体組織の生検材料が収集され、（例えば、ホルムアルデヒド溶液を使用して）固定され、埋め込まれ、その後、試料がより小さな切片にスライスされることができる。各スライスは、染色および分析のためにスライドガラスに適用されることができる。染色中、一次抗体および１つ以上の種類の二次抗体が検体に適用されて、免疫蛍光シグナルを増幅することができる。染色は、核のバイオマーカーおよび上皮腫瘍細胞のバイオマーカーなどの異なる生物学的材料のバイオマーカーを含むことができる。一次および二次抗体対中の各抗体が適用された後、スライドがスキャンされてスライドの画像を生成することができる。スライドは、一次抗体および二次抗体の適用の間に洗浄されることができる。染色プロセス後に画像が組み合わせられて、多重免疫蛍光画像を生成することができる。あるいは、双方の抗体が適用され、単一の画像が撮像されてもよい。

【0020】

イメージングおよび分析中、多重免疫蛍光画像の領域は、標的領域（例えば、腫瘍細胞）および非標的領域（例えば、正常組織またはブランクスライド領域）にセグメント化されることができる。各標的領域は、特徴付けおよび／または定量化されることができる関心領域を含むことができる。場合によっては、多重免疫蛍光画像は、標的領域と非標的領域とを区別することが困難になるように、蛍光を発する関心領域に対応しない生体物質または他の構造を含むことができる。例えば、壊死組織は、壊死組織の蛍光発光、個々のマーカーの誤った分類、および腫瘍領域の誤ったセグメント化によるＤＡＰＩチャネル内の核の誤った検出をもたらす可能性がある。

【0021】

図１は、多重免疫蛍光画像における壊死組織領域の例示的な表示を示している。画像１００は、ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色剤によって染色された組織を示し、多重免疫蛍光画像１１０は、その組織の蛍光多重を示す。組織は、腫瘍細胞１０４および壊死領域１０２を含む。病理医は、多重免疫蛍光画像１１０内の関心領域（例えば、腫瘍細胞１０４）に注釈を付けることができるが、病理医は、壊死組織領域１０２に注釈を付けることを回避しようと試みることができる。病理医は、さらに、多重免疫蛍光画像のさらなる分析が、分析から壊死領域１０２を除外するように、壊死領域１０２に注釈を付けてもよい。これらの注釈は、エラーを受ける可能性があり、多数のスライドが処理される場合に時間がかかる可能性がある。

【0022】

多重免疫蛍光画像からの壊死組織の自動識別およびセグメント化は、壊死組織領域および関心領域のより正確で迅速な識別を提供することができ、疾患（例えば、癌および／または感染性疾患）のより効率的でより良好な診断および治療評価をもたらすことができる。多重免疫蛍光画像に使用される染色は、それらの標的バイオマーカーならびに壊死組織を染色することがあり、検出およびセグメント化を困難または不正確にする。結果として、従来の画像分析アルゴリズムは、通常、多重免疫蛍光画像における壊死領域の過剰検出、過小検出、または不正確な検出を提供する。

【0023】

いくつかの実施形態では、多重免疫蛍光画像における壊死組織の位置を予測するための機械学習モデルが提供される。場合によっては、機械学習モデルは、Ｕ－Ｎｅｔモデルを利用して多重免疫蛍光画像における壊死組織の表示を自動的に識別する畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを有する。機械学習モデルは、正のデータ要素のセット（壊死組織を示す画像）および負のデータ要素のセット（壊死組織を示さない画像）を含む訓練画像を使用して訓練されることができる。各陽性データ要素は、画像内の各壊死組織領域がどこに示されているかに関する１つ以上の指示を含むことができる。機械学習モデルを訓練することは、例えば、壊死組織の特徴またはシグネチャ（例えば、強度およびテクスチャ特徴）を学習することを含むことができる。訓練はまた、または代替的に、壊死組織の特性に基づいて画像をどのように修正する（例えば、示された壊死組織を除去するか、そうでなければ修正する）かを学習することを含むことができる。訓練された機械学習モデルが使用されて、壊死組織を示す多重免疫蛍光画像の特定の部分を予測することができる。いくつかの例では、機械学習モデルは、訓練された機械学習モデルが複数の染色剤によって染色された試料の多重免疫蛍光画像を処理するように、マルチチャネルデータ用に訓練されてもよい。染色剤は、４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）などの核マーカー、および汎サイトケラチン（ＰａｎＣＫ）などの上皮腫瘍マーカーを含むことができる。機械学習モデルは、追加または代替の染色のために訓練されてもよい。場合によっては、機械学習モデルは、他の種類の細胞（例えば、腫瘍細胞、免疫細胞または白血球）の表示を検出および／または特徴付けるために画像分析アルゴリズムを実行する前に、前処理の一部として実行される。しかしながら、当業者によって理解されるように、本明細書で説明される概念は、前処理手順に限定されず、様々な実施形態にかかる画像分析処理全体に統合されてもよい。

【0024】

壊死組織を示す多重免疫蛍光画像の予測された特定の部分を示す出力が生成されることができる。いくつかの例では、機械学習モデルは、予測パラメータおよび学習された調整パラメータに基づいて多重免疫蛍光画像を調整することができる。例えば、予測された特定の部分に基づいてマスクが生成され、マスクが後続の画像処理において多重免疫蛍光画像に適用されることができる。後続の画像処理は、１つ以上の多重免疫蛍光画像および／またはその修正バージョンを処理すること（例えば、多重免疫蛍光画像の修正バージョンを処理すること、１つ以上の他の多重免疫蛍光画像を処理すること、および／または１つ以上の他の多重免疫蛍光画像の修正バージョンを処理すること）と、結果を出力することとを含むことができる。結果は、多重免疫蛍光画像における腫瘍細胞のセットの存在、位置、量、および／またはサイズを特徴付けることができる。結果は、診断、治療計画を決定するため、または腫瘍細胞の進行中の治療を評価するために使用されることができる。

【0025】

ＩＩ．定義および略語
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

【0026】

本明細書で使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、および「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの（および完全に指定されるものを含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］以内」で置き換えられることができ、パーセンテージは、０．１、１、５、および１０％を含む。

【0027】

本明細書で使用される場合、「試料」、「生物学的試料」または「組織試料」という用語は、ウイルスを含む任意の生物から得られる生体分子（タンパク質、ペプチド、核酸、脂質、炭水化物、またはそれらの組み合わせなど）を含む任意の試料を指す。生物の他の例は、哺乳類（ヒト、ネコ、イヌ、ウマ、ウシ、およびブタなどの獣医動物、ならびにマウス、ラット、霊長類などの実験動物など）、昆虫、環形動物、クモ形類動物、有袋類、爬虫類、両生類、細菌、および菌類などを含む。生物学的試料は、組織試料（組織切片や組織の針生検など）、細胞試料（Ｐａｐ塗抹検体もしくは血液塗抹検体などの細胞学的塗抹検体、またはマイクロダイセクションによって得られた細胞の試料など）、または細胞分画、断片または細胞小器官（細胞を溶解し、遠心分離などによってそれらの成分を分離することによって得られる）を含む。生物学的試料の他の例は、血液、血清、尿、精液、糞便、脳脊髄液、間質液、粘膜、涙、汗、膿、生検組織（例えば、外科的生検または針生検によって得られる）、乳頭吸引物、耳垢、乳、膣液、唾液、ぬぐい液（頬スワブなど）、または最初の生物学的試料に由来する生体分子を含む任意の材料を含む。特定の実施形態では、本明細書で使用される「生物学的試料」という用語は、被験者から得られた腫瘍またはその一部から調製された試料（均質化または液化された試料など）を指す。

【0028】

本明細書で使用される場合、「生物学的物質または構造体」という用語は、生物学的構造（例えば、細胞核、細胞膜、細胞質、染色体、ＤＮＡ、細胞、細胞塊など）の全体または一部を含む天然材料または構造を指す。

【0029】

本明細書で使用される場合、「非標的領域」という用語は、画像分析プロセスで評価されることを意図されていない画像データを有する画像の領域を指す。非標的領域は、例えばイメージング源からの白色光のみが存在する場合、試料のないガラスなどの基材に対応する画像の非組織領域を含むことができる。非標的領域は、追加的または代替的に、画像分析プロセスで分析されることが意図されていないか、または標的領域内の生物学的物質または構造体と区別することが困難な１つ以上の生物学的物質または構造体に対応する画像の組織領域を含んでもよい（例えば、間質細胞、正常細胞、スキャニングアーチファクト）。

【0030】

本明細書で使用される場合、「標的領域」という用語は、画像分析プロセスにおいて評価されることが意図された画像データを含む画像の領域を指す。標的領域は、画像分析プロセスにおいて分析されることが意図される画像の組織領域（例えば、腫瘍細胞）などの任意の領域を含む。

【0031】

本明細書で使用される場合、「タイル」または「タイル画像」という用語は、画像全体の一部または全スライドに対応する単一の画像を指す。いくつかの実施形態では、「タイル」または「タイル画像」は、全スライドスキャンの領域、または（ｘ，ｙ）画素寸法（例えば、１０００画素×１０００画素）を有する関心領域を指す。例えば、Ｍ列のタイルとＮ行のタイルとに分割された画像全体を考えてみると、Ｍ×Ｎモザイク内の各タイルは、画像全体の一部を含み、すなわち、位置ＭＩ、ＮＩのタイルは、画像の第１の部分を含み、位置Ｍ３、Ｎ４のタイルは、画像の第２の部分を含み、第１の部分と第２の部分とは異なる。いくつかの実施形態では、タイルは、それぞれ同じ寸法（画素サイズ×画素サイズ）を有することができる。

【0032】

本明細書で使用される場合、「多重免疫蛍光画像」という用語は、複数のバイオマーカーについて染色された生物試料（例えば、組織スライス、血液スメアまたは尿スメア）の全スライド画像または全スライド画像のパッチを指す。各バイオマーカーは、励起されると異なる波長で蛍光を発することができ、その結果、各バイオマーカーが一意に識別されることができる。

【0033】

本明細書で使用される場合、「検体のスライス」という用語は、生物由来の任意の生物学的試料（例えば、組織切片、組織、血液および尿の針生検）を指す。生物の例は、ヒト、獣医学的動物、および実験動物を含む。特定の実施形態では、本明細書で使用される「検体のスライス」という用語は、被験者から得られた腫瘍またはその一部から調製された試料を指す。

【0034】

ＩＩＩ．コンピューティング環境
図２は、壊死の表示の識別を容易にし、デジタル病理画像を処理するために壊死組織検出機械学習モデルを訓練して使用するための例示的なコンピューティングシステム２００を示している。コンピューティングシステム２００は、壊死組織検出機械学習モデルを訓練して実行するための分析システム２０５を含むことができる。壊死組織検出用機械学習モデルの例は、例えば、畳み込みニューラルネットワーク、深層ニューラルネットワーク、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、残差ニューラルネットワーク、および／またはリカレントニューラルネットワークを含む。壊死組織検出機械学習モデルは、（例えば）多重免疫蛍光画像が１つ以上の壊死組織領域の表示を含むかどうかを予測するために訓練および／または使用されることができる。分析システム２０５は、別のタイプの検出（例えば、腫瘍細胞を示す）を実行するために、１つ以上の他の機械学習モデルをさらに訓練および／または使用することができる。他の機械学習モデルは、（例えば）畳み込みニューラルネットワーク、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、および／または深層ニューラルネットワークを含むことができる。場合によっては、（例えば、各壊死組織領域を除去または不明瞭にするために）壊死組織検出機械学習モデルからの結果を使用して画像が処理され、他の機械学習モデルは、他のタイプの検出を実行するために処理された画像を受信して使用することができる。場合によっては、壊死組織検出機械学習モデルからの結果は、他のタイプの検出を実行するときに除外されるべきパッチおよび／または画像を識別するために使用される。

【0035】

いくつかの実施形態では、生成された多重免疫蛍光画像は、メモリ装置に記憶される。多重免疫蛍光画像は、イメージング装置２３５を使用して生成されることができる。いくつかの実施形態では、画像は、本明細書に記載のように、検体を保持する顕微鏡スライドの画像データを撮像することができる顕微鏡または他の機器から生成または取得される。いくつかの実施形態では、多重免疫蛍光画像は、画像タイルを走査することができるものなどの２Ｄスキャナを使用して生成または取得される。あるいは、多重免疫蛍光画像は、予め生成（例えば、走査）され、メモリ装置に記憶されていてもよい（または、その場合には、通信ネットワークを介してサーバから取得される）。

【0036】

場合によっては、訓練コントローラ２１０は、多重免疫蛍光画像の前処理パラメータおよび／または技術を決定または学習する。例えば、前処理は、多重免疫蛍光画像をタイルに分割し、タイルに修正を行うことを含むことができる。各タイルは、１つ以上のパッチに分けられることができる。パッチは、比較的小さいサイズ（例えば、５１２×５１２）とすることができる。パッチは、パッチ内で識別されている特徴（例えば、エッジ）に基づいて選択されることができる。選択されたパッチは、多重免疫蛍光画像に対応し、訓練された壊死組織検出機械学習モデルによって処理されることができる。分析システム２０５は、壊死組織検出機械学習モデルを使用して処理するために全スライド画像の１つ以上のパッチを選択することができる。前処理修正は、多重免疫蛍光画像またはタイルに対してガンマ補正を実行することを含むことができる。ガンマ補正は、多重免疫蛍光画像のビット範囲情報を１６ビットから８ビットにすることができ、０から２５５の範囲の画素強度をもたらすことができる。他の例示的な前処理は、０と１との間の全強度範囲をもたらすために各画素を２５５で割ることによってガンマ補正多重免疫蛍光画像を正規化することを含むことができる。

【0037】

訓練コントローラ２１０は、１つ以上の訓練データセット２１５を使用して壊死組織検出機械学習モデルおよび／または他の機械学習モデルを訓練するためのコードを実行することができる。各訓練データセット２１５は、訓練多重免疫蛍光画像のセットを含むことができる。多重免疫蛍光画像のそれぞれは、１つ以上の生物学的対象（例えば、１つ以上のタイプの細胞のセット）を示すデジタル病理画像を含むことができる。訓練データは、（例えば）核マーカー（例えば、ＤＡＰＩ、ヨウ化プロピジウム、ＴＯ－ＰＲＯ（登録商標）－３、ＨｏｅｃｈｓｔまたはＳＹＴＯＸ（登録商標）染色剤）および上皮腫瘍マーカー（例えば、ＰａｎＣＫ、上皮細胞接着分子（ＥｐＣＡＭ）、または組織ポリペプチド抗原（ＴＰＡ））によって染色された試料を示すことができる。訓練用多重免疫蛍光画像のセットの第１のサブセットにおける各画像は、１つ以上の壊死組織領域の表示を含んでもよく、訓練用多重免疫蛍光画像のセットの第２のサブセットにおける各画像は、壊死組織領域の表示を欠いていてもよい（例えば、壊死組織領域を示さなくてもよい）。多重免疫蛍光画像のそれぞれは、組織試料（例えば、結腸直腸組織、膀胱組織、乳房組織、膵臓組織、肺組織または胃組織）などの試料の一部を示すことができる。場合によっては、多重免疫蛍光画像の１つ以上のそれぞれは、複数の腫瘍細胞を示す。訓練データ２１５は、（例えば）パブリックデータストアなどの画像ソース２２０から、および／または（例えば）１つ以上の実験室から受信したデータから収集されていてもよい。

【0038】

コンピューティングシステム２００は、壊死組織領域を示す画像ソース２２０からの多重免疫蛍光画像を「壊死組織」ラベルにマッピングし、壊死組織を示さない多重免疫蛍光画像を「非壊死性」ラベルにマッピングするラベルマッパ２２５を含むことができる。ラベルは、壊死が多重免疫蛍光画像に示されているか否かを示す画像レベルのラベルとすることができる。あるいは、ラベルは、壊死が多重免疫蛍光画像のどこに示されるかを示すデータであってもよい。マッピングデータは、マッピングデータストア（図示せず）に記憶されることができる。マッピングデータは、壊死組織標識または非壊死標識のいずれかにマッピングされた各多重免疫蛍光画像を識別することができる。

【0039】

場合によっては、訓練用多重免疫蛍光画像に関連するラベルは、受信されていてもよく、または、（例えば）それぞれが特定の被験者に関連する病理医、画像サイエンティスト、医師、看護師、病院、薬剤師、実験室などに関連付けられることができる、１つ以上のプロバイダシステム２３０から受信されたデータから導出されてもよい。受信データは、（例えば）特定の被験者に対応する１つ以上の医療記録を含むことができる。医療記録は、（例えば）被験者に関連する１つ以上の入力画像要素が収集された時間またはその後の定義された期間に対応する期間に関して、被験者が腫瘍を有したかどうか、および／または被験者の腫瘍の進行の段階（例えば、標準的な尺度に沿って、および／またはメトリックを識別することによって、そのような総代謝腫瘍量（ＴＭＴＶ））を示す専門家の診断または特徴付けを示すことができる。受信したデータは、（例えば、各腫瘍もしくは腫瘍細胞の点画素または各腫瘍もしくは腫瘍細胞の境界を識別することによって）被験者に関連する１つ以上の多重免疫蛍光画像内の腫瘍または腫瘍細胞の位置をさらに識別することができる。場合によっては、１つ以上の分類器サブシステムに入力される画像またはスキャンは、プロバイダシステム２３０から受信される。例えば、プロバイダシステム２３０は、イメージング装置２３５から画像を受信し、次いで画像またはスキャンを（例えば、被験者識別子および１つ以上のラベルとともに）分析システム２０５に送信することができる。

【0040】

訓練コントローラ２１０は、訓練データ２１５のマッピングを使用して、壊死組織検出機械学習モデルを訓練することができる。より具体的には、訓練コントローラ２１０は、モデル（例えば、Ｕ－Ｎｅｔモデル）のアーキテクチャにアクセスし、モデルのハイパーパラメータ（これらは、例えば、学習率、モデルのサイズ／複雑さなど、学習プロセスに影響を与えるパラメータである）を定義（固定）し、パラメータのセットが学習されるようにモデルを訓練することができる。より具体的には、パラメータのセットは、（所与のパラメータ値を使用して得られた）予測出力を実際の出力と比較することによって生成された低いまたは最小の損失、コスト、または誤差に関連するパラメータ値を識別することによって学習されることができる。バイナリ交差エントロピー損失とダイス係数との和が訓練コントローラ２１０によって使用されて、壊死組織検出機械学習モデルのマスク予測性能を訓練および評価することができる。

【0041】

場合によっては、壊死組織検出機械学習モデルは、壊死組織検出機械学習モデルを再訓練または微調整して出力（例えば、それは、壊死組織を示す多重免疫蛍光画像の部分に関する推定値または尤度に対応するメトリックまたは識別子を含む）の推定精度を改善するように構成されることができる。壊死組織検出機械学習モデルは、さらに、壊死組織を示すと予測される部分を除去または不明瞭にすることによって多重免疫蛍光画像を調整するように訓練されることができる。訓練データ２１５は、入力多重免疫蛍光画像と、出力に基づく調整画像とを含むことができる。例えば、壊死組織検出機械学習モデルは、多重免疫蛍光画像内の壊死組織領域をフィルタリングまたは除去するように学習することができる。壊死組織領域の一部を示すように決定された画素は、０の強度、または他の画素の強度を使用して決定された平均もしくは中央強度値に設定されることができる。

【0042】

機械学習（ＭＬ）実行ハンドラ２４０は、アーキテクチャおよび学習されたパラメータを使用して非訓練データを処理し、結果を生成することができる。例えば、ＭＬ実行ハンドラ２４０は、訓練データ２１５に表されていない検体のスライスの多重免疫蛍光画像にアクセスすることができる。多重免疫蛍光画像は、訓練データと同じ染色剤または異なる染色剤によって染色された試料を示すことができる。例えば、多重免疫蛍光画像は、核マーカー（例えば、ＤＡＰＩ、ヨウ化プロピジウム、ＴＯ－ＰＲＯ（登録商標）－３、ＨｏｅｃｈｓｔまたはＳＹＴＯＸ（登録商標）染色剤）および上皮腫瘍マーカー（例えば、ＰａｎＣＫ、ＥｐＣＡＭまたはＴＰＡ）を示すことができる。例として、多重免疫蛍光画像は、シアニン－５（Ｃｙ５）、ローダミン６Ｇ、ローダミン－６１０、カルボキシフルオレセイン（ＦＡＭ）、ならびにＮ，Ｎ’－ジシクロヘキシルカルボジイミド（ＤＣＣ）フルオロフォアおよび対比染色剤としてのＤＡＰＩによって表される、分化クラスター３（ＣＤ３）、分化クラスター８（ＣＤ８）、分化クラスター６８（ＣＤ６８）、プログラム死リガンド１（ＰＤ－Ｌ１）、およびＰａｎＣＫについての５プレックスアッセイを含むことができる。多重免疫蛍光画像は、学習されたまたは識別された前処理技術にしたがって前処理されてもよい（しかしながら、そうである必要はない）。（前処理されたまたは元の）多重免疫蛍光画像は、訓練中に使用され、学習されたパラメータで構成されたアーキテクチャ（例えば、Ｕ－Ｎｅｔ）を有する壊死組織検出機械学習モデルに供給されることができる。壊死組織検出機械学習モデルは、多重免疫蛍光画像の１つ以上の特定の部分が壊死組織細胞の表示を含むという予測を出力することができる。壊死組織の表示は、細胞の少なくとも３０％、少なくとも５０％、少なくとも７５％、または少なくとも９０％が壊死を受けているように見える領域の表示を含むことができる。出力は、画素ごとに、画素が壊死組織細胞の表示の一部である確率を含むことができる。追加的または代替的に、出力は、壊死を示すと予測される矩形領域の座標とすることができる。ＭＬ実行ハンドラ２４０、または分析システム２０５の別の構成要素は、出力に対して後処理を実行することができる。例えば、画素が壊死組織細胞の表示の一部である確率を示す画素ごとに確率が出力される場合、フィルタリングが適用されて値を平滑化することができる。ＭＬ実行ハンドラ２４０は、後続の分析のための予測を出力することができる。

【0043】

マスク生成器２４５は、多重免疫蛍光画像のためのマスクを生成するために予測を使用することができる。壊死組織検出機械学習モデルからの出力が、各画素が壊死組織細胞の表示の一部である確率を含む場合、マスクの生成は、各確率を所定の閾値（例えば、５０％）と比較して各確率をバイナリ値に変換することを含むことができる。マスクは二値画像とすることができ、１の各値は、対応する画素が壊死細胞の表示の一部であるという予測を表し、０の各値は、対応する画素が壊死細胞の表示の一部ではない（または対応する画素が組織スライスの一部を示さない）という予測を表す。マスクは、多重免疫蛍光画像における予測された壊死組織領域を除去するか、そうでなければセグメント化するために、後続の画像処理において使用されることができる。

【0044】

場合によっては、後続の画像処理は、画像プロセッサ（図示せず）によって実行される。後続の画像処理は、多重免疫蛍光画像が壊死組織を示すという予測に基づくことができる。例えば、後続の画像処理は、多重免疫蛍光画像の特定の部分（例えば、１つ以上の画素）に対応する少なくとも１つのメトリックが所定の閾値を超えると決定することを含むことができる。決定は、多重免疫蛍光画像の１つ以上の領域のそれぞれについて行われてもよく、１つ以上の領域のそれぞれは、壊死組織を示すと予測された。測定基準の例は、壊死組織の累積サイズ（例えば、壊死組織領域の少なくとも一部を示す画素数）、壊死組織領域の数、および／または多重免疫蛍光画像が少なくとも１つの壊死組織領域を含む確率を含むことができる。例えば、特定の部分が壊死組織を示す確率の所定の閾値は７０％とすることができる。多重免疫蛍光画像の特定の部分が７０％を超える壊死組織を示す確率を有すると決定することに基づいて、後続の画像処理が実行されることができる。

【0045】

場合によっては、画像プロセッサは、予測に基づいて多重免疫蛍光画像の修正バージョンを生成することができる。修正バージョンを生成することは、マスクを多重免疫蛍光画像に適用すること、または壊死組織細胞を示す多重免疫蛍光画像の予測された特定の部分のそれぞれに他の画像増強技術を適用することを含むことができる。マスクの適用は、画像内の各画素について、マスクの値に多重免疫蛍光画像の値を乗算することを含むことができる。次いで、多重免疫蛍光画像の修正バージョンが別の機械学習モデルによって処理されることができる。

【0046】

場合によっては、後続の画像処理は、多重免疫蛍光画像における壊死組織を示すと予測される特定の部分の位置に基づいて１つ以上の他の画像を修正することを含む。他の画像は、試料の同じまたは異なるスライスに対応することができる。他の画像を修正することは、マスクを適用すること、マスクに基づく多重免疫蛍光画像の特定の部分の位置に対応する検体の他のスライスの位置で他の画像をフィルタリングまたはセグメント化することを含むことができる。次いで、他の画像は、１つ以上の機械学習モデルによって処理されて、検体の予測される特性を決定することができる。

【0047】

場合によっては、画像特性評価器２５０は、後続の画像処理の実行に基づいて多重免疫蛍光画像の予測特性を識別する。実行自体が特性評価を含む結果を生成してもよく、または実行は、画像特性評価器２５０が試料の予測された特性評価を決定するために使用することができる結果を含んでもよい。例えば、後続の画像処理は、腫瘍細胞のセットの表示を検出することを含むことができる。結果は、腫瘍細胞のセットの存在、量、および／またはサイズを特徴付けることができる。画像特性評価器２５０は、確率および／または信頼度を特徴評価にマッピングするために規則および／または変換を適用することができる。実例として、多重免疫蛍光画像が腫瘍細胞のセットを含む５０％を超える確率を結果が含む場合、第１の特徴評価が割り当てられることができ、そうでなければ第２の特徴評価が割り当てられることができる。

【0048】

通信インターフェース２５５は、結果を収集し、その結果（またはその処理されたバージョン）をユーザ装置（例えば、検査技師または介護提供者に関連する）または他のシステムに通信することができる。例えば、通信インターフェース２５５は、腫瘍細胞のセットの存在、量および／またはサイズを識別する出力を生成することができる。次いで、出力は、提示および／または送信されることができ、これにより、例えばコンピューティング装置のディスプレイ上での出力データの表示を促進することができる。

【0049】

ＩＶ．例示的なプロセス
図３は、本開示のいくつかの態様にかかる壊死組織領域予測のためのプロセスのブロック図を示している。多重免疫蛍光画像３０５は、図２のプロバイダシステム２３０またはイメージング装置２３５などのプロバイダシステムまたはイメージング装置から受信されることができる。多重免疫蛍光画像３０５は、少なくとも２つのチャネルを含む検体のスライスを示すことができる。チャネルは、少なくとも核マーカーおよび上皮腫瘍マーカーを含むことができる。

【0050】

場合によっては、多重免疫蛍光画像は前処理される（３１０）。前処理３１０は、（例えば）多重免疫蛍光画像３０５に対してガンマ補正を実行して、多重免疫蛍光画像３０５内の画素の強度範囲を所定の範囲（例えば、０から２５５の間）にすることを含むことができる。前処理３１０は、各ガンマ補正画素強度を所定の範囲の上限（例えば、２５５）で除算することによって強度の値を正規化することをさらに含み、結果として得られる画素強度範囲は０から１の間である。前処理３１０はまた、（ガンマ補正を使用せずに）値を正規化および／または標準化すること、多重免疫蛍光画像を切り取ること、または画像をフィルタリングすること（例えば、波長または色のサブセットにわたる強度を示すために）を含んでもよい。

【0051】

次いで、分類３１５が、前処理された多重免疫蛍光画像に対して実行されることができる。分類３１５は、前処理された免疫蛍光画像を、壊死組織を示す検体のスライスの特定の部分の予測を生成することができる訓練された壊死組織検出機械学習モデル（例えば、Ｕ－Ｎｅｔ）に入力することを含むことができる。予測は、壊死組織を示す各画素の確率とすることができる。あるいは、予測は、画素ごとに実行されるバイナリ分類であってもよい。分類３１５は、図２のＭＬ実行ハンドラ２４０などのＭＬ実行ハンドラによって実行されることができる。

【0052】

場合によっては、マスキング３２０が、前処理された多重免疫蛍光画像の分類３１５の後に実行されることができる。マスキング３２０は、壊死組織検出機械学習モデルの予測に基づいて多重免疫蛍光画像３０５のためのマスクを生成することを含むことができる。マスクは、壊死組織を示すと予測される領域および壊死組織を示さないと予測される領域に対して異なる値を有することができる。次いで、マスクが後続の画像処理において使用されて、例えば検体のスライス中の腫瘍細胞の存在および特徴を識別することによって、多重免疫蛍光画像３０５をさらに分類することができる。

【0053】

Ｖ．例示的なＵ－Ｎｅｔモデル
図４に示すように、Ｕ－Ｎｅｔ４００は、縮小経路４０５（符号化器）および拡張経路４１０（復号器）を含むことができ、これによりｕ字形アーキテクチャが得られる。縮小経路４０５は、畳み込み（例えば、３×３の畳み込み（パッドなしの畳み込み））の繰り返し適用を含むＣＮＮネットワークであり、それぞれの畳み込みの後に正規化線形ユニット（ＲｅＬＵ）およびダウンサンプリングのための最大プーリング演算（例えば、ストライド２の２×２最大プーリング）が続く。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は２倍にされることができる。縮小の間、画像データの空間情報は縮小され、特徴情報は増加される。拡張経路４１０は、縮小経路４０５からの特徴および空間情報を組み合わせるＣＮＮネットワークである（縮小経路４０５からの特徴マップのアップサンプリング）。特徴マップのアップサンプリングの後には、チャネル数を半分にする一連のアップ畳み込み（アップサンプリング演算子）、縮小経路４０５からの対応して切り取られた特徴マップとの連結、それぞれが正規化線形ユニット（ＲｅＬＵ）の後に続く畳み込み（例えば、２つの３×３畳み込み）の繰り返し適用、および最終的な畳み込み（例えば、１×１畳み込み）が続き、二次元非標的領域マスクが生成される。局在化するために、縮小経路４０５からの高解像度特徴は、拡張経路４１０からのアップサンプリングされた出力と合成される。

【0054】

様々な実施形態では、Ｕ－Ｎｅｔ４００は、従来のＵ－Ｎｅｔアーキテクチャのものから全体的に低減されたいくつかのチャネルを実装する。具体的には、中間活性化出力層のチャネル数は、従来のＵ－Ｎｅｔアーキテクチャで使用される１０２４の代わりに、例えば第二層では２または４（例えば、縮小経路４０５および拡張経路４１０内の太字の数字を参照されたい）などの所定の係数だけ減少し、チャネル数は６４から１６などの係数だけ減少し、最大チャネル数もまた４から２５６の係数だけ減少する。このチャネルの減少は、計算コストおよびモデルの複雑さを低減するために実施される。この圧縮されたＵ－Ｎｅｔアーキテクチャは、最大１０２４チャネル数を有し、チャネル数を減少させない従来のＵ－Ｎｅｔアーキテクチャと比較して、より良好な結果を提供することができる。さらに、Ｕ－Ｎｅｔ４００は、オーバーフィッティングに対抗するための空間ドロップアウト４１５を備える。空間ドロップアウト４１５は、縮小経路４０５の最後のいくつかの層（すなわち、最後の１つ、２つ、３つ、または４つの層）で実施されることができる。空間ドロップアウト４１５は、従来のドロップアウトによって実行されるような個々の要素ではなく、二次元特徴マップ全体をドロップする。例えば、特徴マップ内の隣接画素が（通常は初期畳み込み層の場合のように）強く相関している場合、従来のドロップアウトは、活性化を規則化せず、そうでなければ有効学習率の低下をもたらす。対照的に、空間ドロップアウト４１５は、活性化を規則化し、特徴マップ間の独立性を促進するのに役立ち、そうでなければ有効学習率の増加をもたらす。

【0055】

ＶＩ．例示的な前処理技術
図５は、本開示のいくつかの態様にかかるガンマ補正のグラフ５００を示している。デジタルイメージングでは、線５１０によって示されるように、輝度入力と検出された光出力との間に線形関係がある。例えば、デジタルイメージングシステムがセンサに当たる光子数の３倍を受け取ると、検出される光は３倍高くなる。対照的に、線５２０によって示されるように、眼は、３倍の光を僅か３倍明るいと知覚する。ガンマ補正が実行されて、眼の光に対する感度とデジタルイメージングシステムの感度との間で画像のビット使用量を変換することができる。

【0056】

ガンマ補正は、

【数1】

として定義されることができる。０．５のＡγが１６ビットの画像範囲を有する多重免疫蛍光画像に使用されて、画像範囲を０から２５５の画素強度を有する８ビットにすることができる。輝度値が小さいほど大きい重みが与えられることができ、輝度値が大きいほど小さい重みが与えられることができる。例えば、０．５のａγを使用して、２５％の入力輝度が５０％の出力検出光にマッピングされ、７５％の入力輝度が８６％の出力検出光にマッピングされることができる。

【0057】

図６は、本開示のいくつかの態様にかかる多重免疫蛍光画像の前処理の例示的な結果を示している。ＤＡＰＩチャネル画像６０５およびＰａｎＣＫチャネル画像６１０が示されている。図５において説明したように、ＤＡＰＩチャネル画像６０５およびＰａｎＣＫチャネル画像６１０のそれぞれに対してガンマ補正が実行され、ガンマ補正画像６１５および６２０が得られる。次いで、正規化のさらなる前処理がガンマ補正画像６１５および６２０に対して実行されて、正規化画像６２５および６３０を生成することができる。正規化画像６２５および６３０は、０と１との間の範囲の画素強度値を有することができる。次いで、正規化画像６２５および６３０を壊死組織検出機械学習モデルに入力されて、壊死組織領域を示す画像の部分を予測することができる。グラウンドトゥルースマスク画像６３５および６４０は、非壊死組織の表示から壊死組織の表示をセグメント化する病理医によって手動で生成された画像を表す。グラウンドトゥルースマスク画像６３５および６４０のより明るい部分は、壊死組織領域を表示することができ、より暗い部分は、非壊死組織領域を表示することができ、またはその逆も可能である。

【0058】

図７は、本開示のいくつかの態様にかかるパッチ生成の例を示している。場合によっては、スライド全体の多重免疫蛍光画像がパッチに分けられることができる。パッチの生成は、前処理中に実行されてもよい。固定サイズ７０５（例えば、５１２×５１２画素）を有するパッチが使用されることができる。パッチはまた、設定されたストライド７１０を有して重なり合っていてもよい。スライディングウィンドウが使用されて、固定サイズ７０５のパッチを生成することができる。パッチが生成された後、スライディングウィンドウは、次のパッチ位置に配置されるように、設定されたストライド７１０にしたがって移動されることができる。多重免疫蛍光画像における壊死組織領域の表示を予測する壊死組織検出機械学習モデルの訓練中に、パッチおよび対応するラベルがランダムに選択され、訓練画像として使用されることができる。訓練された壊死組織検出機械学習モデルは、訓練された壊死組織検出機械学習モデルの計算要件を低減するために、全スライド画像ではなくパッチを受信することができる。

【0059】

図８は、本開示のいくつかの態様にかかる例示的な入力画像８００および８０２ならびに対応する壊死マスク８２５および８３０を示している。入力画像８００および８０２は、それぞれＤＡＰＩチャネル画像８０５および８１０と、それぞれＰａｎＣＫチャネル画像８１５および８２０とを含む。壊死マスク８２５は、壊死組織領域の表示を予測するための訓練された壊死組織検出機械学習モデルによって生成された。壊死マスク８２５および８３０のより明るい部分は、壊死組織領域を表示することができ、より暗い部分は、非壊死組織領域を表示することができるか、またはその逆とすることができる。

【0060】

ＶＩＩ．例示的なユースケース
図９は、本開示のいくつかの態様にかかる壊死組織領域の表示を識別するプロセス中の例示的な画像を示している。全スライド画像９０５は、分析システム（例えば、図２の分析システム２０５）によってアクセスされることができる。全スライド画像９０５は、全スライド画像９０５の画素強度の範囲を低減するためにガンマ補正および／または正規化によって前処理されることができる。場合によっては、前処理はまた、全スライド画像９０５をタイリングすること（９１０）を含む。タイリング９１０は、全スライド画像９０５を固定サイズ（例えば、１０００画素×１０００画素）の非重複部分に分割することを含むことができる。パッチは、各タイルから導出されてもよく、各パッチは、タイルの固定サイズよりも小さい固定サイズを有することができる。例えば、各パッチは、５１２画素×５１２画素であってもよい。

【0061】

次いで、タイルは、Ｕ－Ｎｅｔモデル９１５に個別に入力されることができる。Ｕ－Ｎｅｔモデル９１５は、多重免疫蛍光画像に示される壊死組織の位置を予測するように訓練されることができる。場合によっては、Ｕ－Ｎｅｔモデル９１５は、処理するタイルのパッチを受信することができる。Ｕ－Ｎｅｔモデル９１５は、壊死組織を示すタイル（またはパッチ）の特定の部分の予測を出力することができる。マスク生成器（例えば、図２のマスク生成器２４５）は、Ｕ－Ｎｅｔモデル９１５の出力を受信し、壊死組織を示すと予測されるタイルの部分についての第１のバイナリ値および壊死組織を示さないと予測されるタイルの部分についての第２のバイナリ値を含む予測マスクタイル９２０を生成することができる。次いで、マスク生成器は、予測マスクタイル９２０を互いにスティッチングして、全スライド画像９０５に対応する全スライド画像マスク９２５を生成することができる。続いて、全スライド画像マスク９２５が使用されて、全スライド画像９０５内の標的領域の識別および分類中に壊死組織を示すと予測される全スライド画像９０５の部分を除去または修正することができる。

【0062】

図１０は、本開示のいくつかの態様にかかる壊死組織領域の表示を識別するために壊死組織検出機械学習モデルを使用する例示的なプロセス１０００を示している。ブロック１００５において、検体のスライスの多重免疫蛍光画像がアクセスされる。多重免疫蛍光画像は、１つ以上の壊死組織領域を示す全スライド画像または全スライド画像のパッチに対応することができる。多重免疫蛍光画像は、腫瘍細胞のセットの特性を決定するための少なくとも２つのチャネル（例えば、ＤＡＰＩおよびＰａｎＣＫ）を含むことができる。多重免疫蛍光画像に対して、ガンマ補正および正規化の前処理が実行されてもよい。

【0063】

ブロック１０１０において、壊死組織検出機械学習モデルが多重免疫蛍光画像を処理する。壊死組織検出機械学習モデルは、壊死組織を有するいくつかのスライスおよび壊死組織を有しないいくつかのスライスを含む検体のスライスの多重免疫蛍光画像を訓練することによって訓練されることができる。壊死組織検出機械学習モデルは、深層ニューラルネットワークおよび／または畳み込みニューラルネットワークとすることができる。壊死組織検出機械学習モデルは、Ｕ－Ｎｅｔモデルを含むことができる。

【0064】

ブロック１０１５において、壊死組織検出機械学習モデルの出力が受信される。壊死組織検出機械学習モデルの出力は、壊死組織を示す多重免疫蛍光画像の特定の部分（例えば、１つ以上の画素）の予測とすることができる。さらに、出力は、多重免疫蛍光画像の特定の部分に対応するメトリック（例えば、壊死組織の累積サイズ、壊死組織を示す確率）の決定を含むことができる。決定は、多重免疫蛍光画像の１つ以上の領域のそれぞれに対するものとすることができる。

【0065】

ブロック１０２０において、壊死組織検出機械学習モデルの出力に基づいてマスクが生成される。マスクは、閾値（例えば、５０％）を超える壊死組織を示す予測を有する画素、および閾値を下回る壊死組織を示す予測を有する他の画素に関連付けられた異なる値を有する画像とすることができる。マスクは、バイナリであってもよく、またはマスクは、壊死組織を示す異なる予測に対応する様々な値を含んでもよい。

【0066】

ブロック１０２５において、マスクは、後続の画像処理のために出力される。後続の画像処理には、１つ以上の訓練された機械学習モデルまたは他の画像分析技術が使用されることができる。後続の画像処理は、検体のスライスの多重免疫蛍光画像または別の多重免疫蛍光画像を修正することと、多重免疫蛍光画像の修正バージョンを処理することとを含むことができる。場合によっては、後続の画像処理は、腫瘍細胞のセットの表示を検出することを含むことができる。後続の画像処理の結果は、別の装置（例えば、介護提供者に関連付けられる）に送信および／または表示されることができる。結果は、試料の予測される特性評価に対応することができる。結果は、腫瘍細胞のセットの存在、量、および／またはサイズを特徴付けることができる。結果は、多重免疫蛍光画像について２セット以上の腫瘍細胞を特徴付けることができる。結果は、被験者の診断または治療評価に使用されることができる。

【0067】

図１０は、検体のスライス内の壊死組織領域を識別するために機械学習モデルを使用する例示的なプロセスを示している。他の例は、より多くのステップ、より少ないステップ、異なるステップ、または異なる順序のステップを含むことができる。例えば、壊死組織の識別は、識別された壊死組織領域を除外するための後処理ステップとして腫瘍の検出および分類の後に行われることができる。

【0068】

ＶＩＩＩ．さらなる考察
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

【0069】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者に任されてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【0070】

その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

【0071】

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】