特許 7487418 多重化免疫蛍光画像における自己蛍光アーチファクトの識別

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-10

(45)【発行日】2024-05-20

(54)【発明の名称】多重化免疫蛍光画像における自己蛍光アーチファクトの識別

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240513BHJP

   G06V 10/82 20220101ALI20240513BHJP

   G06T 5/50 20060101ALI20240513BHJP

   G06T 1/40 20060101ALI20240513BHJP

   G06T 1/00 20060101ALI20240513BHJP

   G01N 33/53 20060101ALI20240513BHJP

   G01N 33/483 20060101ALI20240513BHJP

   G01N 33/48 20060101ALI20240513BHJP

【ＦＩ】

G06T7/00 630

G06T7/00 350C

G06V10/82

G06T5/50

G06T1/40

G06T1/00 295

G01N33/53 Y

G01N33/483 C

G01N33/48 M

【請求項の数】 39

(21)【出願番号】P 2023525046

(86)(22)【出願日】2021-10-07

(65)【公表番号】

(43)【公表日】2023-11-09

(86)【国際出願番号】 US2021053934

(87)【国際公開番号】W WO2022093510

(87)【国際公開日】2022-05-05

【審査請求日】2023-05-10

(31)【優先権主張番号】63/106,114

(32)【優先日】2020-10-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100161908

【弁理士】

【氏名又は名称】藤木 依子

(72)【発明者】

【氏名】ロルサクル，アウラヌチ

(72)【発明者】

【氏名】グエン，チュン・キエン

(72)【発明者】

【氏名】ニエ，ヤオ

(72)【発明者】

【氏名】シフマン，スマダー

(72)【発明者】

【氏名】ワーン，シンウェイ

(72)【発明者】

【氏名】ヂャオ，ズオ

【審査官】伊知地 和之

(56)【参考文献】

【文献】米国特許出願公開第２０１０／１８４０９３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１２／０１０５２８（ＵＳ，Ａ１）

【文献】Heeva Baharlou et al.，”Digital removal of autofluorescence from microscopy images”，[online]，bioRxiv，2019年03月03日，[2023年12月19日検索]，インターネット＜URL:https://www.biorxiv.org/content/10.1101/566315v1.full.pdf＞

【文献】G．Srinivasa et al.，Active mask segmentation for the cellvolume computation and Golgibody segmentation of hela cell images，2008 5th IEEE International Symposium on Biomedical Imaging:From Nano to Macro，IEEE，2008年，pp.348-351

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ３３／４８ － ３３／９８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００ － ３／６０

Ｇ０６Ｔ ５／００ － ５／５０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
検体のスライスの多重化免疫蛍光画像にアクセスすることであって、前記多重化免疫蛍光画像が１つまたは複数の自己蛍光アーチファクトを含む、検体のスライスの多重化免疫蛍光画像にアクセスすることと、
機械学習モデルを使用して前記多重化免疫蛍光画像を処理することであって、前記処理の出力が、前記多重化免疫蛍光画像が前記多重化免疫蛍光画像の１つまたは複数の特定の部分に１つまたは複数の自己蛍光アーチファクトを含むという予測に対応し、前記機械学習モデルはニューラルネットワークである、多重化免疫蛍光画像を処理することと、
前記予測に基づいて後続の画像処理を調整することと、
前記後続の画像処理を実行することと、
前記後続の画像処理の結果を出力することであって、前記結果が前記検体の予測された特性評価に対応する、後続の画像処理の結果を出力することと、
を含む、コンピュータ実装方法。

【請求項2】

前記１つまたは複数の自己蛍光アーチファクトのそれぞれの前記予測に基づいて前記多重化免疫蛍光画像の修正バージョンを生成することであって、前記後続の画像処理が前記多重化免疫蛍光画像の前記修正バージョンを処理することを含む、多重化免疫蛍光画像の修正バージョンを生成することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記後続の画像処理を調整することが、
前記多重化免疫蛍光画像の１つまたは複数の領域のそれぞれについて、前記多重化免疫蛍光画像の前記１つまたは複数の特定の部分に対応する少なくとも１つのメトリックが所定の閾値を超えることを決定することを含み、前記少なくとも１つのメトリックが、前記処理の前記出力の少なくとも一部を含むか、または前記処理の前記出力に基づいて生成される、請求項１に記載のコンピュータ実装方法。

【請求項4】

前記後続の画像処理を実行することが、
前記多重化免疫蛍光画像の前記１つまたは複数の特定の部分の位置に基づいて１つまたは複数の他の画像のそれぞれを修正することであって、前記１つまたは複数の他の画像のそれぞれが前記検体の別のスライスに対応する、１つまたは複数の他の画像のそれぞれを修正することと、
前記修正された１つまたは複数の他の画像を処理することと、
を含む、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記１つまたは複数の自己蛍光アーチファクトが、１つまたは複数の赤血球を描写する、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記機械学習モデルがＵ－Ｎｅｔモデルを含む、請求項１に記載のコンピュータ実装方法。

【請求項7】

前記多重化免疫蛍光画像にアクセスする前に、１つまたは複数のパッチを含む全スライド画像を受信することと、
前記パッチの特徴の識別に基づいて前記１つまたは複数のパッチのうちの１つのパッチを選択することであって、前記パッチが前記多重化免疫蛍光画像に対応する、１つまたは複数のパッチのうちの１つのパッチを選択することと、
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項8】

前記多重化免疫蛍光画像にアクセスする前に、
第１のバイオマーカーについての第１の染色を前記検体の試料スライスに適用することと、
前記第１の染色によって前記試料スライスの第１の画像を生成することと、
第２のバイオマーカーについての第２の染色を前記検体の前記試料スライスに適用することと、
前記第２の染色によって前記試料スライスの第２の画像を生成することと、
前記第１の画像と前記第２の画像とを合成して前記多重化免疫蛍光画像を生成することと、
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項9】

前記後続の画像処理を実行することが、腫瘍細胞のセットの描写を検出することを含み、前記結果が、前記腫瘍細胞のセットの存在、量および／またはサイズを特性評価する、請求項１に記載のコンピュータ実装方法。

【請求項10】

前記多重化免疫蛍光画像が、前記検体のスライスに対するチラミドベースの染色を含む、請求項１に記載のコンピュータ実装方法。

【請求項11】

前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記チャネル画像を合成して合成画像を生成することと、
前記機械学習モデルを使用して前記合成画像を処理することと、
を含む、請求項１に記載のコンピュータ実装方法。

【請求項12】

前記機械学習モデルが第１の機械学習モデルであり、前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記第１の機械学習モデルを使用して前記チャネル画像の第１のチャネル画像を処理することと、
さらなる対応する機械学習モデルを使用して前記チャネル画像のさらなるチャネル画像を処理することと、
を含む、請求項１に記載のコンピュータ実装方法。

【請求項13】

前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記予測に基づいて前記多重化免疫蛍光画像を調整して調整画像を生成することと、
後続の画像処理のために前記調整画像を出力することと、
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項14】

システムであって、
１つまたは複数のデータプロセッサと、
前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサに動作を実行させる、命令を含む非一時的コンピュータ可読記憶媒体と、を備え、前記動作が、
検体のスライスの多重化免疫蛍光画像にアクセスすることであって、前記多重化免疫蛍光画像が１つまたは複数の自己蛍光アーチファクトを含む、検体のスライスの多重化免疫蛍光画像にアクセスすることと、
機械学習モデルを使用して前記多重化免疫蛍光画像を処理することであって、前記処理の出力が、前記多重化免疫蛍光画像が前記多重化免疫蛍光画像の１つまたは複数の特定の部分に１つまたは複数の自己蛍光アーチファクトを含むという予測に対応し、前記機械学習モデルはニューラルネットワークである、多重化免疫蛍光画像を処理することと、
前記予測に基づいて後続の画像処理を調整することと、
前記後続の画像処理を実行することと、
前記後続の画像処理の結果を出力することであって、前記結果が前記検体の予測された特性評価に対応する、後続の画像処理の結果を出力することと、
を含む、システム。

【請求項15】

前記非一時的コンピュータ可読記憶媒体がさらに命令を含み、前記命令が、前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサに、
前記１つまたは複数の自己蛍光アーチファクトのそれぞれの前記予測に基づいて前記多重化免疫蛍光画像の修正バージョンを生成することであって、前記後続の画像処理が前記多重化免疫蛍光画像の前記修正バージョンを処理することを含む、多重化免疫蛍光画像の修正バージョンを生成することを含む動作を実行させる、請求項１４に記載のシステム。

【請求項16】

前記後続の画像処理を調整することが、
前記多重化免疫蛍光画像の１つまたは複数の領域のそれぞれについて、前記多重化免疫蛍光画像の前記１つまたは複数の特定の部分に対応する少なくとも１つのメトリックが所定の閾値を超えることを決定することを含み、前記少なくとも１つのメトリックが、前記処理の前記出力の少なくとも一部を含むか、または前記処理の前記出力に基づいて生成される、請求項１４に記載のシステム。

【請求項17】

前記後続の画像処理を実行することが、
前記多重化免疫蛍光画像の前記１つまたは複数の特定の部分の位置に基づいて１つまたは複数の他の画像のそれぞれを修正することであって、前記１つまたは複数の他の画像のそれぞれが前記検体の別のスライスに対応する、１つまたは複数の他の画像のそれぞれを修正することと、
前記修正された１つまたは複数の他の画像を処理することと、
を含む、請求項１４に記載のシステム。

【請求項18】

前記１つまたは複数の自己蛍光アーチファクトが、１つまたは複数の赤血球を描写する、請求項１４に記載のシステム。

【請求項19】

前記機械学習モデルがＵ－Ｎｅｔモデルを含む、請求項１４に記載のシステム。

【請求項20】

前記非一時的コンピュータ可読記憶媒体がさらに命令を含み、前記命令が、前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサに、
前記多重化免疫蛍光画像にアクセスする前に、１つまたは複数のパッチを含む全スライド画像を受信することと、
前記パッチの特徴の識別に基づいて前記１つまたは複数のパッチのうちの１つのパッチを選択することであって、前記パッチが前記多重化免疫蛍光画像に対応する、１つまたは複数のパッチのうちの１つのパッチを選択することと、
を含む動作を実行させる、請求項１４に記載のシステム。

【請求項21】

前記非一時的コンピュータ可読記憶媒体がさらに命令を含み、前記命令が、前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサに、前記多重化免疫蛍光画像にアクセスする前に、
第１のバイオマーカーについての第１の染色を前記検体の試料スライスに適用することと、
前記第１の染色によって前記試料スライスの第１の画像を生成することと、
第２のバイオマーカーについての第２の染色を前記検体の前記試料スライスに適用することと、
前記第２の染色によって前記試料スライスの第２の画像を生成することと、
前記第１の画像と前記第２の画像とを合成して前記多重化免疫蛍光画像を生成することと、
を含む動作を実行させる、請求項１４に記載のシステム。

【請求項22】

前記後続の画像処理を実行することが、腫瘍細胞のセットの描写を検出することを含み、前記結果が、前記腫瘍細胞のセットの存在、量および／またはサイズを特性評価する、請求項１４に記載のシステム。

【請求項23】

前記多重化免疫蛍光画像が、前記検体のスライスに対するチラミドベースの染色を含む、請求項１４に記載のシステム。

【請求項24】

前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記チャネル画像を合成して合成画像を生成することと、
前記機械学習モデルを使用して前記合成画像を処理することと、
を含む、請求項１４に記載のシステム。

【請求項25】

前記機械学習モデルが第１の機械学習モデルであり、前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記第１の機械学習モデルを使用して前記チャネル画像の第１のチャネル画像を処理することと、
さらなる対応する機械学習モデルを使用して前記チャネル画像のさらなるチャネル画像を処理することと、
を含む、請求項１４に記載のシステム。

【請求項26】

前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記予測に基づいて前記多重化免疫蛍光画像を調整して調整画像を生成することと、
後続の画像処理のために前記調整画像を出力することと、
をさらに含む、請求項１４に記載のシステム。

【請求項27】

１つまたは複数のデータプロセッサに動作を実行させるように構成された命令を含むコンピュータプログラムであって、前記動作が、
検体のスライスの多重化免疫蛍光画像にアクセスすることであって、前記多重化免疫蛍光画像が１つまたは複数の自己蛍光アーチファクトを含む、検体のスライスの多重化免疫蛍光画像にアクセスすることと、
機械学習モデルを使用して前記多重化免疫蛍光画像を処理することであって、前記処理の出力が、前記多重化免疫蛍光画像が前記多重化免疫蛍光画像の１つまたは複数の特定の部分に１つまたは複数の自己蛍光アーチファクトを含むという予測に対応する、多重化免疫蛍光画像を処理することと、
前記予測に基づいて後続の画像処理を調整することと、
前記後続の画像処理を実行することと、
前記後続の画像処理の結果を出力することであって、前記結果が前記検体の予測された特性評価に対応し、前記機械学習モデルはニューラルネットワークである、後続の画像処理の結果を出力することと、
を含む、コンピュータプログラム。

【請求項28】

１つまたは複数のデータプロセッサに、
前記１つまたは複数の自己蛍光アーチファクトのそれぞれの前記予測に基づいて前記多重化免疫蛍光画像の修正バージョンを生成することであって、前記後続の画像処理が前記多重化免疫蛍光画像の前記修正バージョンを処理することを含む、多重化免疫蛍光画像の修正バージョンを生成することを含む動作を実行させるように構成された命令をさらに含む、請求項２７に記載のコンピュータプログラム。

【請求項29】

前記後続の画像処理を調整することが、
前記多重化免疫蛍光画像の１つまたは複数の領域のそれぞれについて、前記多重化免疫蛍光画像の前記１つまたは複数の特定の部分に対応する少なくとも１つのメトリックが所定の閾値を超えることを決定することを含み、前記少なくとも１つのメトリックが、前記処理の前記出力の少なくとも一部を含むか、または前記処理の前記出力に基づいて生成される、請求項２７に記載のコンピュータプログラム。

【請求項30】

前記後続の画像処理を実行することが、
前記多重化免疫蛍光画像の前記１つまたは複数の特定の部分の位置に基づいて１つまたは複数の他の画像のそれぞれを修正することであって、前記１つまたは複数の他の画像のそれぞれが前記検体の別のスライスに対応する、１つまたは複数の他の画像のそれぞれを修正することと、
前記修正された１つまたは複数の他の画像を処理することと、
を含む、請求項２７に記載のコンピュータプログラム。

【請求項31】

前記１つまたは複数の自己蛍光アーチファクトが、１つまたは複数の赤血球を描写する、請求項２７に記載のコンピュータプログラム。

【請求項32】

前記機械学習モデルがＵ－Ｎｅｔモデルを含む、請求項２７に記載のコンピュータプログラム。

【請求項33】

１つまたは複数のデータプロセッサに、
前記多重化免疫蛍光画像にアクセスする前に、１つまたは複数のパッチを含む全スライド画像を受信することと、
前記パッチの特徴の識別に基づいて前記１つまたは複数のパッチのうちの１つのパッチを選択することであって、前記パッチが前記多重化免疫蛍光画像に対応する、１つまたは複数のパッチのうちの１つのパッチを選択することと、を含む動作を実行させるように構成された命令をさらに含む、請求項２７に記載のコンピュータプログラム。

【請求項34】

１つまたは複数のデータプロセッサに、前記多重化免疫蛍光画像にアクセスする前に、
第１のバイオマーカーについての第１の染色を前記検体の試料スライスに適用することと、
前記第１の染色によって前記試料スライスの第１の画像を生成することと、
第２のバイオマーカーについての第２の染色を前記検体の前記試料スライスに適用することと、
前記第２の染色によって前記試料スライスの第２の画像を生成することと、
前記第１の画像と前記第２の画像とを合成して前記多重化免疫蛍光画像を生成することと、を含む動作を実行させるように構成された命令をさらに含む、請求項２７に記載のコンピュータプログラム。

【請求項35】

前記後続の画像処理を実行することが、腫瘍細胞のセットの描写を検出することを含み、前記結果が、前記腫瘍細胞のセットの存在、量および／またはサイズを特性評価する、請求項２７に記載のコンピュータプログラム。

【請求項36】

前記多重化免疫蛍光画像が、前記検体のスライスに対するチラミドベースの染色を含む、請求項２７に記載のコンピュータプログラム。

【請求項37】

前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記チャネル画像を合成して合成画像を生成することと、
前記機械学習モデルを使用して前記合成画像を処理することと、
を含む、請求項２７に記載のコンピュータプログラム。

【請求項38】

前記機械学習モデルが第１の機械学習モデルであり、前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記多重化免疫蛍光画像のチャネル画像を受信することと、
前記第１の機械学習モデルを使用して前記チャネル画像の第１のチャネル画像を処理することと、
さらなる対応する機械学習モデルを使用して前記チャネル画像のさらなるチャネル画像を処理することと、
を含む、請求項２７に記載のコンピュータプログラム。

【請求項39】

前記機械学習モデルを使用して前記多重化免疫蛍光画像を処理することが、
前記予測に基づいて前記多重化免疫蛍光画像を調整して調整画像を生成することと、
後続の画像処理のために前記調整画像を出力することと、
をさらに含む、請求項２７に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年１０月２７日に出願された米国仮特許出願第６３／１０６，１１４号の利益および優先権を主張するものであり、その全体があらゆる目的のために参照により本明細書に組み込まれる。

【0002】

発明の分野
本明細書に開示される方法およびシステムは、一般に、デジタル病理画像を処理することに関する。具体的には、機械学習および画像処理技術が、多重化免疫蛍光画像における自己蛍光アーチファクトを識別するために使用される。

【背景技術】

【0003】

発明の背景
デジタル病理学は、試料（例えば、組織試料、血液試料、尿試料など）のスライドをデジタル画像にスキャンすることを含む。試料は、細胞中の選択されたタンパク質（抗原）が試料の残りの部分に対して示差的に視覚的にマークされるように染色されることができる。検体中の標的タンパク質は、バイオマーカーと呼ばれることがある。異なるバイオマーカーについて複数の染色を有するデジタル画像が、組織試料について生成されることができる。これらのデジタル画像は、多重化免疫蛍光画像と呼ばれることがある。例えば、多重化免疫蛍光画像は、組織試料中の腫瘍細胞と非腫瘍細胞との間の空間的関係の視覚化を可能にすることができる。画像分析が実行されて、組織試料中のバイオマーカーを識別および定量化することができる。画像分析は、（例えば）疾患の診断、処置計画の決定、または治療に対する反応の評価を知らせるために、（例えば、存在、サイズ、形状および／または位置に関して）バイオマーカーの特性評価を容易にするためにコンピューティングシステムまたは病理医によって実行されることができる。

【0004】

しかしながら、多重化免疫蛍光画像に関する複雑さの選択は、異なる染色された試料部分からの光信号が、単一の色素を検出することが困難であり得て、したがって検出の不正確さをもたらし得るように互いに干渉することがあるということである。さらに、またはあるいは、所与のタイプの生物学的物質は、所与の周波数で自然に自己蛍光を発することができる。そのような自己蛍光が染色された試料の画像の解釈を混乱および／または不明瞭にする可能性は、試料が複数の染色によって染色されている場合に増加する可能性がある。

【発明の概要】

【0005】

発明の概要
いくつかの実施形態では、コンピュータ実装方法が提供される。検体のスライスの多重化免疫蛍光画像がアクセスされる。多重化免疫蛍光画像は、１つまたは複数の自己蛍光アーチファクト（例えば、赤血球、脂肪、組織、または結合組織などの自己－蛍光生物学的要素）を含むことができる。多重化免疫蛍光画像は、機械学習モデル（Ｕ－Ｎｅｔモデル）を使用して処理される。処理の出力は、多重化免疫蛍光画像が１つまたは複数の自己蛍光アーチファクトを含むかどうかに関する予測に対応することができる。予測は、自己蛍光アーチファクトを描写すると予測された多重化免疫蛍光画像の１つまたは複数の特定の部分を識別することができる。後続の画像処理は、予測に基づいて調整される。後続の画像処理が行われ、後続の画像処理の結果が出力される。結果は、検体の予測される特性評価に対応することができる。

【0006】

いくつかの実施形態では、コンピュータ実装方法は、１つまたは複数の自己蛍光アーチファクトのそれぞれの予測に基づいて、多重化免疫蛍光画像の修正バージョンを生成することを含むことができる。例えば、多重化免疫蛍光画像は、自己蛍光アーチファクトを描写すると予測される特定の部分のそれぞれに、ヌル値、ゼロ値、多重化免疫蛍光画像の残りの部分に基づいて計算された統計値（例えば、中央値または平均値）、１つまたは複数の特定の部分を囲む画素に基づいて計算された統計値（例えば、中央値または平均値）、および／または１つまたは複数の他の画像に基づいて計算された統計値（例えば、中央値または平均値）が割り当てられるように修正されることができる。別の例として、多重化免疫蛍光画像は、１つまたは複数の特定の部分を除外するためにトリミングされてもよい。後続の画像処理は、多重化免疫蛍光画像の修正バージョンを処理することを含むことができる。

【0007】

いくつかの実施形態では、後続の画像処理を調整することは、画像の１つまたは複数の領域のそれぞれについて、多重化免疫蛍光画像の１つまたは複数の特定の部分に対応する少なくとも１つのメトリックが所定の閾値を超えると決定することを含むことができる。例えば、メトリックは、自己蛍光アーチファクトの累積サイズ、多重化免疫蛍光画像内の自己蛍光アーチファクトの総数、または多重化免疫蛍光画像が少なくとも１つの自己蛍光アーチファクトを含む確率を含むことができる。メトリックは、出力の少なくとも一部を含むことができ、または処理の出力に基づいて生成されることができる。

【0008】

場合によっては、後続の画像処理を実行することは、多重化免疫蛍光画像の１つまたは複数の特定の部分の位置に基づいて１つまたは複数の他の画像のそれぞれを修正することを含む。１つまたは複数の他の画像のそれぞれは、検体の別のスライスに対応することができる。１つまたは複数の他の修正画像が処理されることができる。

【0009】

いくつかの実施形態では、コンピュータ実装方法は、多重化免疫蛍光画像にアクセスする前に、１つまたは複数のパッチを含む全スライド画像を受信することを含むことができる。１つまたは複数のパッチのうちの１つのパッチは、パッチ内の特徴の識別に基づいて選択されることができる。例えば、パッチに対してエッジ検出が実行されることができ、１つまたは複数のエッジの存在は、パッチ内に標的領域と非標的領域の双方が存在することを示す。エッジの存在の検出に基づいてパッチが選択されることができる。エッジが検出されないパッチは、選択されなくてもよい。選択されたパッチは、多重化免疫蛍光画像に対応することができる。

【0010】

いくつかの実施形態では、コンピュータ実装方法は、多重化免疫蛍光画像にアクセスする前に、検体の試料スライスに第１のバイオマーカーについての第１の染色を適用することと、第１の染色を有する試料スライスの第１の画像を生成することと、をさらに含むことができる。さらに、第２のバイオマーカーについての第２の染色が検体の試料スライスに適用されることができ、第２の染色によって試料スライスの第２の画像が生成されることができる。多重化免疫蛍光画像は、第１および第２の画像を組み合わせることによって生成されることができる。

【0011】

場合によっては、後続の画像処理は、腫瘍細胞のセットの描写を検出することを含む。結果は、腫瘍細胞のセットの存在、量、および／またはサイズを特性評価することができる。

【0012】

本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。システムは、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部を実行させる、命令を含む非一時的コンピュータ可読記憶媒体をさらに含むことができる。

【0013】

いくつかの実施形態では、非一時的な機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品が提供される。コンピュータプログラム製品は、１つまたは複数のデータプロセッサに、本明細書に開示された方法のうちの１つまたは複数の一部または全部を実行させるように構成された命令群を含むことができる。

【0014】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴のいかなる均等物またはその一部も除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【図面の簡単な説明】

【0015】

本開示は、以下の添付の図面と併せて説明される：

【0016】

【図1A】異なるタイプの組織の多重化免疫蛍光画像における例示的な自己蛍光アーチファクトを示している。

【図1B】異なるタイプの組織の多重化免疫蛍光画像における例示的な自己蛍光アーチファクトを示している。

【図2】自動蛍光アーチファクト識別を容易にする結果を識別するために機械－学習モデルを訓練および使用するための例示的なコンピューティングシステムを示している。

【図3A】自動蛍光アーチファクト予測のための例示的な機械学習モデル実装を示している。

【図3B】自動蛍光アーチファクト予測のための例示的な機械学習モデル実装を示している。

【図3C】自動蛍光アーチファクト予測のための例示的な機械学習モデル実装を示している。

【図4】様々な実施形態にかかる例示的なＵ－Ｎｅｔを示している。

【図5】単一組織指標について訓練された機械学習モデルを使用して生成された例示的な訓練精度結果を示している。

【図6】６つの組織指標について訓練された機械学習モデルを使用して生成された例示的な訓練精度結果を示している。

【図7】６つの組織指標および陰性パッチを有するパッチについて訓練された機械学習モデルを使用して生成された例示的な訓練精度結果を示している。

【図8】訓練された機械－学習モデルの予測を既知のグラウンドトゥルースと比較した例示的な結果を示している。

【図9】機械学習モデルを使用して自己蛍光アーチファクトを識別する例示的なプロセスを示している。

【0017】

添付の図面において、同様の構成要素および／または特徴は、同じ参照ラベルを有することができる。さらに、同じタイプの様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第２のラベルを続けることによって区別されることができる。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様の構成要素のいずれかに適用可能である。

【発明を実施するための形態】

【0018】

発明の詳細な説明
Ｉ．概要
本開示は、自動化された自動蛍光アーチファクト識別のための技術を記載する。より具体的には、本開示のいくつかの実施形態は、腫瘍の検出および分析をサポートまたは改善するために、多重化免疫蛍光画像における自己蛍光アーチファクトを識別するための機械学習技術を提供する。

【0019】

多重化免疫蛍光スライド染色は、組織切片中の複数のタンパク質を同時に検出することを可能にすることができる。多重化免疫蛍光画像は、生物学的組織、血液または尿中の異なるタイプの細胞の研究に使用されることができる。組織に関して、生物学的組織の生検材料が収集され、（例えば、ホルムアルデヒド溶液を使用して）固定され、埋め込まれ、その後、試料がより小さな切片にスライスされることができる。各スライスは、染色および分析のためにスライドガラスに適用されることができる。液体試料（例えば、血液または尿）に関して、試料の液滴（または複数の液滴）がベーススライド上に配置されることができ、スプレッダスライドが試料の上に配置されて試料を塗抹することができる。次いで、スライドが乾燥され（例えば、空気乾燥され）、（例えば、メタノールを使用して）固定され、染色されることができる。染色中、一次抗体および１つまたは複数のタイプの二次抗体が検体に適用されて、免疫蛍光シグナルを増幅することができる。チラミドベースの染色などの多重化免疫蛍光染色の場合、西洋ワサビ過酸化物（ＨＲＰ）コンジュゲート二次抗体は、目的のタンパク質に特異的な非コンジュゲート一次抗体に結合することができる。フルオロフォア結合チラミド分子は、ＨＲＰについての基質とすることができ、蛍光をもたらす。チラミド分子は、標的タンパク質上または標的タンパク質に隣接するチロシンと結合することができる。次いで、熱洗浄または他の手段によって一次および二次抗体が除去されて、チラミドを標的タンパク質に結合させたままにすることができる。イメージングおよび分析中に、蛍光チラミドが検出されることができる。異なる標的タンパク質に対する追加の一次抗原対および二次抗原対は、検体の同じスライスに繰り返し適用および除去されることができる。各一次抗原対および二次抗原対が適用された後、スライドがスキャンされてスライドの画像を生成することができる。染色プロセス後に画像が組み合わせられて、多重化免疫蛍光画像を生成することができる。

【0020】

イメージングおよび分析中、多重化免疫蛍光画像の領域は、標的領域（例えば、陽性および陰性腫瘍細胞）および非標的領域（例えば、正常組織またはブランクスライド領域）にセグメント化されることができる。各標的領域は、特性評価および／または定量化されることができる関心領域を含むことができる。場合によっては、多重化免疫蛍光画像は、標的領域と非標的領域とを区別することが困難になるように、自己蛍光を発する関心領域に対応しない生物学的物質または他の構造を含むことができる。例えば、赤血球、脂肪、組織、または接続された組織および他の自己蛍光材料は、ＤＡＰＩチャネル内の核の誤った検出、陽性または陰性としての個々のマーカーの誤った分類、および腫瘍領域の誤ったセグメンテーションをもたらす可能性がある。図１Ａおよび図１Ｂは、多重化免疫蛍光画像における例示的な自己蛍光アーチファクトを示している。図１Ａは、乳癌、結腸直腸癌、膵臓、肺および胃細胞の多重化免疫蛍光画像における赤血球アーチファクトを含む。図１Ｂは、左列に脂肪および接続された組織から生じる自己蛍光アーチファクト、および右列に追加の赤血球アーチファクトを含む。病理医は、多重化免疫蛍光画像内の関心領域（例えば、腫瘍細胞）に注釈を付けることができるが、病理医は、他の自己蛍光アーチファクト領域に注釈を付けることを回避しようと試みることができる。これらの注釈は、エラーを受ける可能性があり、多数のスライドが処理される場合に時間がかかる可能性がある。

【0021】

多重化免疫蛍光画像からの自己蛍光アーチファクトの自動識別およびセグメンテーションは、自己蛍光アーチファクトおよび関心領域のより正確且つ迅速な識別を提供することができ、それは腫瘍のより効率的でより良好な診断および処置評価をもたらすことができる。従来の画像分析は、強度－ベースの方法を使用して、多重化免疫蛍光画像内の自己蛍光シグナルを識別することができる。しかしながら、これらの方法は、自己蛍光アーチファクトの強度分布のために精度が限られている。自己蛍光アーチファクト強度の分布は、非アーチファクト信号と重複する可能性があり、検出およびセグメンテーションを困難または不正確にする。結果として、従来の画像解析アルゴリズムは、通常、多重化免疫蛍光画像における自己蛍光アーチファクトの過剰検出、過小検出、または不正確な検出を提供する。

【0022】

いくつかの実施形態では、多重化免疫蛍光画像における自己蛍光アーチファクトの位置を予測するための機械学習モデルが提供される。場合によっては、機械学習モデルは、Ｕ－Ｎｅｔモデルを利用して多重化免疫蛍光画像内の自己蛍光アーチファクトを自動的に識別する畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを有する。機械学習モデルは、正のデータ要素のセット（自己蛍光アーチファクトを含む画像）および負のデータ要素のセット（自己蛍光アーチファクトを含まない画像）を含む訓練画像を使用して訓練されることができる。各陽性データ要素は、画像内の各アーチファクトがどこに示されているかに関する１つまたは複数の指示を含むことができる。機械学習モデルを訓練することは、例えば、自己蛍光アーチファクト特性またはシグネチャ（強度およびテクスチャ特徴）を学習することを含むことができる。訓練はまた、自己蛍光アーチファクトの特性に基づいて画像の調整を学習することを含むことができる。訓練された機械学習モデルは、自己蛍光アーチファクトを含む多重化免疫蛍光画像の特定の部分を予測するために使用されることができる。いくつかの例では、訓練された機械学習モデルは、多重化免疫蛍光画像のマルチチャネル生データについて使用されることができる。他の例では、訓練された機械学習モデルは、マルチチャネル生データを使用して生成された合成画像について使用されてもよい。さらに、機械学習モデルは、訓練された機械学習モデルがそれぞれ単一のチャネル（例えば、染色または信号）を処理するように、マルチチャネル生データの各チャネルについて訓練されてもよい。場合によっては、機械学習モデルは、画像内の標的領域（例えば、腫瘍細胞）を分類するために画像解析アルゴリズムを実行する前に前処理の一部として実行される。しかしながら、当業者によって理解されるように、本明細書で説明される概念は、前処理手順に限定されず、様々な実施形態にかかる画像分析処理全体に統合されてもよい。

【0023】

自己蛍光アーチファクトを含む多重化免疫蛍光画像の予測された特定の部分を示す出力が生成されることができる。チャネルごとに異なる機械学習モデルが使用される例では、各機械学習モデルの出力が組み合わせられて、多重化免疫蛍光画像の合成予測を作成することができる。いくつかの例では、機械学習モデルは、予測パラメータおよび学習された調整パラメータに基づいて多重化免疫蛍光画像を調整することができる。出力に基づいて後続の画像処理が調整されることもできる。例えば、多重化免疫蛍光画像は、予測に基づいて修正されることができる。追加的または代替的に、検体の別のスライスに対応する他の多重化免疫蛍光画像の修正バージョンが、出力に基づいて生成されてもよい。さらに別の追加または代替の例として、出力に基づいて、多重化免疫蛍光画像を後続の画像処理から除外するかどうかに関して条件が評価されることができる。後続の画像処理は、１つまたは複数の多重化免疫蛍光画像および／またはその修正バージョンを処理すること（例えば、多重化免疫蛍光画像の修正バージョンを処理すること、１つまたは複数の他の多重化免疫蛍光画像を処理すること、および／または１つまたは複数の他の多重化免疫蛍光画像の修正バージョンを処理すること）と、結果を出力することとを含むことができる。結果は、多重化免疫蛍光画像における腫瘍細胞のセットの存在、位置、量、および／またはサイズを特性評価することができる。結果は、診断、処置計画を決定するため、または腫瘍細胞の進行中の処置を評価するために使用されることができる。

【0024】

ＩＩ．定義および略語
本明細書で使用される場合、「自己蛍光アーチファクト」という用語は、光を吸収すると自然に光を放射する生物学的成分を指す。例えば、赤血球、脂肪、フラビン、エラスチン、結合組織およびコラーゲンは、それらが光を吸収すると自己蛍光を示す。いくつかの実施形態では、「自己蛍光アーチファクト」という用語は、蛍光マーカーによって標的化された構造の検出を妨げる生物学的成分を指す。

【0025】

本明細書で使用される場合、「多重化免疫蛍光画像」という用語は、複数のバイオマーカーについて染色された生物学的検体（例えば、組織スライス、血液スメアまたは尿スメア）の全スライド画像または全スライド画像のパッチを指す。各バイオマーカーは、励起されると異なる波長で蛍光を発することができ、その結果、各バイオマーカーが一意に識別されることができる。

【0026】

本明細書で使用される場合、「パッチ」または「画像パッチ」という用語は、全スライド画像の一部に対応する画素の集合を指す。いくつかの実施形態では、「パッチ」または「画像パッチ」は、（ｘ，ｙ）画素寸法（例えば、２５６画素×２５６画素）を有する全スライド画像の領域または関心領域を指す。例えば、１００画素×１００画素のパッチに分割された１０００画素×１０００画素の全スライド画像は、１００パッチを含むことになる（各パッチは、１０，０００画素を含む）。他の実施形態では、パッチは、（ｘ，ｙ）画素寸法を有し、１つまたは複数の画素を別の「パッチ」または「画像パッチ」と共有する各「パッチ」または「画像パッチ」と重なり合う。

【0027】

本明細書で使用される場合、「検体のスライス」という用語は、生物由来の任意の生物学的試料（例えば、組織切片、組織、血液および尿の針生検）を指す。生物の例は、ヒト、獣医学的動物、および実験動物を含む。特定の実施形態では、本明細書で使用される「検体のスライス」という用語は、被験者から得られた腫瘍またはその一部から調製された試料を指す。

【0028】

ＩＩＩ．コンピューティング環境およびモデルアーキテクチャ
図２は、自動蛍光アーチファクト識別の検出を容易にするために機械－学習モデルを訓練および使用し、デジタル病理画像を処理するための例示的なコンピューティングシステム２００を示している。コンピューティングシステム２００は、機械学習モデルを訓練して実行するための分析システム２０５を含むことができる。機械学習モデルの例は、深層畳み込みニューラルネットワーク、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、残差ニューラルネットワーク、またはリカレントニューラルネットワークとすることができる。機械学習モデルは、多重化免疫蛍光画像が赤血球（ＲＢＣ）、脂肪、組織、または接続された組織などの１つまたは複数の自己蛍光アーチファクトを含むかどうかを（例えば）予測するために訓練および／または使用されることができる。分析システム２０５は、別のタイプの検出（例えば、腫瘍細胞を示す）を実行するために、１つまたは複数の他の機械学習モデルをさらに訓練および／または使用することができる。他の機械学習モデルは、（例えば）畳み込みニューラルネットワーク、Ｕ－Ｎｅｔ、および／または深層ニューラルネットワークを含むことができる。場合によっては、（例えば、各アーチファクトを除去または不明瞭にするために）アーチファクト－検出機械学習モデルからの結果を使用して画像が処理され、他の機械学習モデルは、他のタイプの検出を実行するために処理された画像を受信して使用することができる。場合によっては、アーチファクト検出機械－学習モデルからの結果は、他のタイプの検出を実行するために使用される除外データとなるパッチおよび／または画像を識別するために使用される。

【0029】

訓練コントローラ２１０は、１つまたは複数の訓練データセット２１５を使用してアーチファクト検出機械学習モデルおよび／または他の機械学習モデルを訓練するためのコードを実行することができる。各訓練データセット２１５は、訓練多重化免疫蛍光画像のセットを含むことができる。多重化免疫蛍光画像のそれぞれは、１つまたは複数の生物学的対象（例えば、１つまたは複数のタイプの細胞のセット）を示すデジタル病理画像を含むことができる。訓練多重化免疫蛍光画像のセットの第１のサブセット内の各画像は、１つまたは複数の自己蛍光アーチファクトを含むことができ、訓練多重化免疫蛍光画像のセットの第２のサブセット内の各画像は、自己蛍光アーチファクトを欠くことができる。多重化免疫蛍光画像のそれぞれは、組織試料（例えば、結腸直腸組織、膀胱組織、乳房組織、膵臓組織、肺組織または胃組織）、血液試料または尿試料などの試料の一部を描写することができる。場合によっては、多重化免疫蛍光画像の１つまたは複数のそれぞれは、複数の腫瘍細胞を示す。訓練データ２１５は、（例えば）パブリックデータストアなどの画像ソース２２０から、および／または（例えば）１つまたは複数の検査室から受信したデータから収集されていてもよい。

【0030】

コンピューティングシステム２００は、自己蛍光アーチファクトを含む画像ソース２２０からの多重化免疫蛍光画像を「自己蛍光アーチファクト」ラベルにマッピングし、自己蛍光アーチファクトを含まない多重化免疫蛍光画像を「非アーチファクト」ラベルにマッピングするラベルマッパ２２５を含むことができる。自己蛍光アーチファクトは、赤血球、コラーゲン、エラスチン、フラビン、および自己蛍光を示す他の生物学的成分を含むことができる。マッピングデータは、マッピングデータストア（図示せず）に記憶されることができる。マッピングデータは、自己蛍光アーチファクトラベルまたは非アーチファクトラベルのいずれかにマッピングされた各多重化免疫蛍光画像を識別することができる。

【0031】

場合によっては、訓練多重化免疫蛍光画像に関連するラベルは、受信されていてもよく、または、それぞれが特定の対象に関連する医師、看護師、病院、薬剤師などに（例えば）関連付けられることができる、１つまたは複数のプロバイダシステム２３０から受信されたデータから導出されてもよい。受信データは、（例えば）特定の被験者に対応する１つまたは複数の医療記録を含むことができる。医療記録は、（例えば）被験者に関連する１つまたは複数の入力画像要素が収集された時間またはその後の定義された期間に対応する期間に関して、被験者が腫瘍を有したかどうか、および／または被験者の腫瘍の進行の段階（例えば、標準的な尺度に沿って、および／またはメトリックを識別することによって、そのような総代謝腫瘍量（ＴＭＴＶ））を示す専門家の診断または特性評価を示すことができる。受信データは、対象に関連する１つまたは複数の多重化免疫蛍光画像内の腫瘍または腫瘍細胞の位置の画素をさらに含むことができる。したがって、医療記録は、各訓練多重化免疫蛍光画像に関して、１つまたは複数のラベルを含むか、または識別するために使用されることができる。場合によっては、１つまたは複数の分類器サブシステムに入力される画像またはスキャンは、プロバイダシステム２３０から受信される。例えば、プロバイダシステム２３０は、イメージング装置２３５から画像を受信し、次いで画像またはスキャンを（例えば、被験者識別子および１つまたは複数のラベルとともに）分析システム２０５に送信することができる。

【0032】

訓練コントローラ２１０は、機械学習モデルを訓練するために訓練データ２１５のマッピングを使用することができる。より具体的には、訓練コントローラ２１０は、モデル（例えば、Ｕ－Ｎｅｔモデル）のアーキテクチャにアクセスし、モデルのハイパーパラメータ（これらは、例えば、学習率、モデルのサイズ／複雑さなど、学習プロセスに影響を与えるパラメータである）を定義（固定）し、パラメータのセットが学習されるようにモデルを訓練することができる。より具体的には、パラメータのセットは、（所与のパラメータ値を使用して得られた）予測出力を実際の出力と比較することによって生成された低いまたは最小の損失、コスト、または誤差に関連するパラメータ値を識別することによって学習されることができる。場合によっては、機械－学習モデルは、出力（例えば、自己蛍光アーチファクトを含む多重化免疫蛍光画像の部分に関する推定値または尤度に対応するメトリックまたは識別子を含む）の推定精度を改善するために新たなモデルを反復的に適合するように構成されることができる。機械学習モデルは、各画素の前景／背景確率を決定するためにグラウンドトゥルースセグメンテーションを使用してさらに訓練されることができ、前景は、自動蛍光アーチファクトに対応する。機械学習モデルは、多重化免疫蛍光画像を調整するようにさらに訓練されてもよい。訓練データ２１５は、入力多重化免疫蛍光画像と、出力に基づく調整画像とを含むことができる。例えば、機械学習モデルは、多重化免疫蛍光画像の境界から所定の距離（例えば、画素数）内の自己蛍光アーチファクトを含むと予測される画像をトリミングすることを学習することができる。機械学習モデルは、多重化免疫蛍光画像に対して他の調整（例えば、自己蛍光アーチファクトのフィルタリングまたは除去）を行うようにさらに訓練されることができる。

【0033】

場合によっては、訓練コントローラ２１０は、前処理パラメータおよび／またはアプローチを決定または学習する。例えば、前処理は、選択された特徴に基づいて多重化免疫蛍光画像をフィルタリングすることを含むことができる（例えば、自己蛍光アーチファクトを含むと予測される多重化免疫蛍光画像を含めるために、自己蛍光アーチファクトを含まないと予測される多重化免疫蛍光画像を除外するために）。前処理は、（例えば、Ｍｐｘスキャナを使用して）染色されていない組織スライドをスキャンすることを含むことができる。染色されていない組織スライド中の自己蛍光が決定され、その後の処理中に染色スライド上で補正するために使用されることができる。他の例示的な前処理は、多重化免疫蛍光画像を正規化または標準化することを含むことができる。

【0034】

機械学習（ＭＬ）実行ハンドラ２４０は、アーキテクチャおよび学習されたパラメータを使用して非訓練データを処理し、結果を生成することができる。例えば、ＭＬ実行ハンドラ２４０は、訓練データ２１５に表されていない検体のスライスの多重化免疫蛍光画像にアクセスすることができる。多重化免疫蛍光画像は、チラミドベースの染色によって染色されることができる。場合によっては、多重化免疫蛍光画像は、分析システム２０５が多重化免疫蛍光画像にアクセスする前に生成されることができる。多重化免疫蛍光画像は、染色が適用された後に撮像されることができ、異なるバイオマーカーに対応する複数の染色によって染色された試料を描写することができ、これは、異なる細胞型（例えば、腫瘍細胞および非腫瘍細胞）間の空間的関係の決定を（例えば）容易にすることができる。画像は、適用された染色ごとに生成されることができる。各染色の画像が組み合わせられて、多重化免疫蛍光画像を作成することができる。染色を含む試料の画像が撮像された後、各イメージングと染色適用との間に熱洗浄または化学処理によって染色が除去されることができる。例として、第１のバイオマーカーについての第１の染色が、検体の試料スライスに適用されることができる。第１のバイオマーカーは、第１のタイプの腫瘍を示すタンパク質とすることができる。第１の染色を含む試料スライスの第１の画像が生成されることができる。第２のバイオマーカーについての第２の染色が、検体の試料スライスに適用されることができる。第２のバイオマーカーは、第２のタイプの腫瘍を示すタンパク質とすることができる。第２の染色を含む試料スライスの第２の画像が生成されることができる。第１の画像および第２の画像が組み合わせられて、多重化免疫蛍光画像を生成することができる。多重化免疫蛍光画像は、代替的に、複数の染色が適用された後に、画像の結合がないように生成されてもよい。そのような例では、次の染色が適用される前に、染色が除去されなくてもよい。

【0035】

いくつかの実施形態では、生成または取得された多重化免疫蛍光画像は、ＲＧＢ画像またはマルチスペクトル画像である。いくつかの実施形態では、生成された多重化免疫蛍光画像は、メモリ装置に記憶される。多重化免疫蛍光画像は、イメージング装置２３５を使用して生成されることができる。いくつかの実施形態では、画像は、本明細書に記載のように、検体を保持する顕微鏡スライドの画像データを撮像することができる顕微鏡または他の機器から生成または取得される。いくつかの実施形態では、多重化免疫蛍光画像は、画像タイルをスキャンすることができるものなどの２Ｄスキャナを使用して生成または取得される。あるいは、多重化免疫蛍光画像は、予め生成（例えば、スキャン）され、メモリ装置に記憶されていてもよい（または、その場合には、通信ネットワークを介してサーバから取得される）。

【0036】

場合によっては、コンピューティングシステム２００は、多重化免疫蛍光画像にアクセスする前に全スライド画像を受信することができる。全スライド画像は、１つまたは複数のパッチを含むことができる。パッチは、比較的小さいサイズ（例えば、２５６×２５６）とすることができる。パッチは、パッチ内で識別されている特徴（例えば、エッジ）に基づいて選択されることができる。選択されたパッチは、多重化免疫蛍光画像に対応し、訓練された機械学習モデルによって処理されることができる。コンピューティングシステム２００は、機械学習モデルを使用して処理されることができる全スライド画像の１つまたは複数のパッチを選択することができる。

【0037】

場合によっては、多重化免疫蛍光画像は、学習されたまたは識別された前処理技術にしたがって前処理されてもよい（しかしながら、そうである必要はない）。例えば、ＭＬ実行ハンドラ２４０は、機械学習モデルによって画像を処理する前に、多重化免疫蛍光画像をその構成チャネルに混合解除することができる。各混合解除チャネルは、特定の染色または信号に対応することができる。いくつかの実施形態では、混合解除画像（「チャネル画像」または「画像チャネル画像」と呼ばれることが多い）は、機械学習モデルの入力として使用されることができる。（前処理されたまたは元の）多重化免疫蛍光画像は、訓練中に使用され、学習されたパラメータで構成されたアーキテクチャ（例えば、Ｕ－Ｎｅｔ）を有する機械学習モデルに供給されることができる。このアーキテクチャは、１つまたは複数の染色チャネルに対応する画像チャネル画像を生成するための混合解除モジュールを含むことができる。

【0038】

図３Ａ～図３Ｃは、ＭＬ実行ハンドラ２４０の例示的な実装を示している。図３Ａに示すように、ＭＬ実行ハンドラ２４０は、多重化免疫蛍光画像３０５のマルチチャネル生データ（例えば、チャネル画像）を受信することができる。ＭＬ実行ハンドラ２４０は、多重化免疫蛍光画像３０５の合成画像を生成するために、線形マッピング３１０を実行することができる。線形マッピング３１０は、合成画像を作成するために各チャネル画像の特徴を組み合わせることを含むことができる。あるいは、ＭＬ実行ハンドラ２４０は、非線形マッピングまたは別の適切な技術を実行して、多重化免疫蛍光画像３０５の合成画像を生成することができる。合成画像は、分類器３１５に入力されることができる。分類器３１５は、Ｕ－Ｎｅｔモデルまたは任意の他の適切なモデル（例えば、Ｖ－Ｎｅｔ、ＲｅｓＮｅｔなど）であってもよい。分類器３１５は、ラベル付き合成画像を使用して訓練されることができる。例えば、ラベル付き合成画像は、自己蛍光アーチファクトを含む合成画像用の第１のラベルと、自己蛍光アーチファクトを含まない合成画像用の第２のラベルとを含むことができる。分類器３１５は、合成画像が合成画像の１つまたは複数の特定の部分（例えば、単一の画素または複数の画素）に１つまたは複数の自己蛍光アーチファクトを含むという予測を出力することができる。例えば、予測は、合成画像が合成画像の特定の領域に自己蛍光アーチファクトを含む確率または尤度を含むことができる。いくつかの例では、ＭＬ実行ハンドラ２４０は、予測に基づいて画像調整３２０を実行する。例えば、ＭＬ実行ハンドラ２４０は、予測に基づいて合成画像をトリミングまたはフィルタリングして、調整画像３２５を生成することができる。他の例では、ＭＬ実行ハンドラ２４０は、画像調整３２０を行わずに予測を出力することができる。

【0039】

図３Ｂでは、ＭＬ実行ハンドラ２４０は、多重化免疫蛍光画像３０５のマルチチャネル生データを受信する。マルチチャネル生データは、分類器３１５への入力として使用される。分類器３１５は、多重化免疫蛍光画像のラベル付きマルチチャネル生データを使用して訓練されることができる。例えば、ラベル付き多重化免疫蛍光画像は、自己蛍光アーチファクトを含む多重化免疫蛍光画像用の第１のラベルと、自己蛍光アーチファクトを含まない多重化免疫蛍光画像用の第２のラベルとを含むことができる。分類器３１５は、多重化免疫蛍光画像３０５が多重化免疫蛍光画像の１つまたは複数の特定の部分に１つまたは複数の自己蛍光アーチファクトを含むという予測を出力することができる。いくつかの例では、ＭＬ実行ハンドラ２４０は、予測に基づいて多重化免疫蛍光画像３０５に対して画像調整３２０を実行して、後続の処理のための調整画像３２５を生成する。他の例では、ＭＬ実行ハンドラ２４０は、画像調整３２０を行わずに予測を出力することができる。

【0040】

図３Ｃに示すように、ＭＬ実行ハンドラ２４０は、多重化免疫蛍光画像３０５のマルチチャネル生データの各チャネル画像を、対応する分類器３１５によって処理および分類することができる。各分類器３１５は、異なるチャネル（例えば、染色または信号）について訓練されることができる。各分類器３１５は、対応するチャネル画像が対応するチャネル画像の１つまたは複数の部分に１つまたは複数の自己蛍光アーチファクトを含むという予測を出力することができる。次いで、ＭＬ実行ハンドラ２４０の出力結合器３３０は、各チャネル画像の予測を結合することができる。例えば、出力結合器３３０は、各チャネル画像内の各対応する画素の予測を平均化して、多重化免疫蛍光画像３０５の合成予測を決定することができる。合成予測は、各画素の複数の予測を考慮に入れるため、合成予測は、自動蛍光アーチファクト予測の向上した精度を提供することができる。いくつかの例では、ＭＬ実行ハンドラ２４０は、合成予測に基づいて多重化免疫蛍光画像３０５に対して画像調整３２０を実行して、後続の処理のための調整画像３２５を生成する。他の例では、ＭＬ実行ハンドラ２４０は、画像調整３２０を行わずに合成予測を出力することができる。

【0041】

図２に戻ると、場合によっては、後続の画像処理は、画像プロセッサ２４５によって実行される。後続の画像処理は、多重化免疫蛍光画像が自己蛍光アーチファクトを含むという予測に基づいて調整されることができる。例えば、後続の画像処理を調整することは、多重化免疫蛍光画像の特定の部分（例えば、１つまたは複数の画素）に対応する少なくとも１つのメトリックが所定の閾値を超えると決定することを含むことができる。決定は、多重化免疫蛍光画像の１つまたは複数の領域のそれぞれに対して実行されることができる。メトリックの例は、自己蛍光アーチファクトの累積サイズ（例えば、アーチファクトの少なくとも一部を示す画素の数）、自己蛍光アーチファクトの数、自己蛍光アーチファクトの平均強度、および／または多重化免疫蛍光画像が少なくとも１つの自己蛍光アーチファクトを含む確率を含むことができる。例えば、特定の部分が自己蛍光アーチファクトを含む確率の所定の閾値は、７０％とすることができる。多重化免疫蛍光画像の特定の部分が７０％を超える自己蛍光アーチファクトを含む確率を有すると決定することに基づいて、後続の画像処理が調整されることができる。

【0042】

場合によっては、画像プロセッサ２４５は、予測に基づいて多重化免疫蛍光画像の修正バージョンを生成することができる。修正バージョンを生成することは、自己蛍光アーチファクトを含む多重化免疫蛍光画像の予測された特定の部分のそれぞれにフィルタまたは他の画像増強技術を適用することを含むことができる。次いで、多重化免疫蛍光画像の修正バージョンが機械学習モデルによって処理されることができる。

【0043】

場合によっては、後続の画像処理は、多重化免疫蛍光画像に自己蛍光アーチファクトを含むと予測される特定の部分の位置に基づいて１つまたは複数の他の画像を修正することを含む。他の画像は、検体の別のスライスに対応することができる。他の画像を修正することは、多重化免疫蛍光画像の特定の部分の位置に対応する検体の他のスライスの位置において他の画像をフィルタリングまたはセグメント化することを含むことができる。次いで、他の画像は、１つまたは複数の機械学習モデルによって処理されて、検体の予測される特性を決定することができる。

【0044】

場合によっては、画像特性評価器２５０は、後続の画像処理の実行に基づいて多重化免疫蛍光画像の予測特性を識別する。実行自体が特性評価を含む結果を生成してもよく、または実行は、画像特性評価器２５０が検体の予測された特性評価を決定するために使用することができる結果を含んでもよい。例えば、後続の画像処理は、腫瘍細胞のセットの表示を検出することを含むことができる。結果は、腫瘍細胞のセットの存在、量、および／またはサイズを特性評価することができる。画像特性評価器２５０は、確率および／または信頼度を特徴評価にマッピングするために規則および／または変換を適用することができる。実例として、多重化免疫蛍光画像が腫瘍細胞のセットを含む５０％を超える確率を結果が含む場合、第１の特徴評価が割り当てられることができ、そうでなければ第２の特徴評価が割り当てられることができる。

【0045】

通信インターフェース２５５は、結果を収集し、その結果（またはその処理されたバージョン）をユーザ装置（例えば、検査技師または介護提供者に関連する）または他のシステムに通信することができる。例えば、通信インターフェース２５５は、腫瘍細胞のセットの存在、量および／またはサイズを識別する出力を生成することができる。次いで、出力は、提示および／または送信されることができ、これにより、例えばコンピューティング装置のディスプレイ上での出力データの表示を促進することができる。

【0046】

ＩＶ．例示的なＵ－Ｎｅｔモデル
図４に示すように、Ｕ－Ｎｅｔ４００は、縮小経路４０５（符号化器）および拡張経路４１０（復号器）を含むことができ、これによりｕ字形アーキテクチャが得られる。縮小経路４０５は、畳み込み（例えば、３×３の畳み込み（パッドなしの畳み込み））の繰り返し適用を含むＣＮＮネットワークであり、それぞれの畳み込みの後に正規化線形ユニット（ＲｅＬＵ）およびダウンサンプリングのための最大プーリング演算（例えば、ストライド２の２×２最大プーリング）が続く。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は２倍にされることができる。縮小の間、画像データの空間情報は縮小され、特徴情報は増加される。拡張経路４１０は、縮小経路４０５からの特徴および空間情報を組み合わせるＣＮＮネットワークである（縮小経路４０５からの特徴マップのアップサンプリング）。特徴マップのアップサンプリングの後には、チャネル数を半分にする一連のアップコンボリューション（アップサンプリング演算子）、縮小経路４０５からの対応してトリミングされた特徴マップとの連結、それぞれの後に正規化線形ユニット（ＲｅＬＵ）が続く畳み込み（例えば、２つの３×３畳み込み）の繰り返し適用、および最終的な畳み込み（例えば、１×１畳み込み）が続き、二次元非標的領域マスクが生成される。局在化するために、縮小経路４０５からの高解像度特徴は、拡張経路４１０からのアップサンプリングされた出力と合成される。

【0047】

様々な実施形態では、Ｕ－Ｎｅｔ４００は、従来のＵ－Ｎｅｔアーキテクチャのものから全体的に低減されたいくつかのチャネルを実装する。具体的には、中間活性化出力層のチャネル数は、従来のＵ－Ｎｅｔアーキテクチャで使用される１０２４の代わりに、例えば第二層では２または４（例えば、縮小経路４０５および拡張経路４１０内の太字の数字を参照されたい）などの所定の係数だけ減少し、チャネル数は６４から１６などの係数だけ減少し、最大チャネル数もまた４から２５６の係数だけ減少する。このチャネルの減少は、計算コストおよびモデルの複雑さを低減するために実施される。この圧縮されたＵ－Ｎｅｔアーキテクチャは、最大１０２４チャネル数を有し、チャネル数を減少させない従来のＵ－Ｎｅｔアーキテクチャと比較して、より良好な結果を提供することができる。さらに、Ｕ－Ｎｅｔ４００は、オーバーフィッティングに対抗するための空間ドロップアウト４１５を備える。空間ドロップアウト４１５は、縮小経路４０５の最後のいくつかの層（すなわち、最後の１つ、２つ、３つ、または４つの層）で実施されることができる。空間ドロップアウト４１５は、従来のドロップアウトによって実行されるような個々の要素ではなく、二次元特徴マップ全体をドロップする。例えば、特徴マップ内の隣接画素が（通常は初期畳み込み層の場合のように）強く相関している場合、従来のドロップアウトは、活性化を規則化せず、そうでなければ有効学習率の低下をもたらす。対照的に、空間ドロップアウト４１５は、活性化を規則化し、特徴マップ間の独立性を促進するのに役立ち、そうでなければ有効学習率の増加をもたらす。

【0048】

Ｖ．例示的なモデル結果
図５～図８は、訓練された機械学習モデル（例えば、Ｕ－Ｎｅｔモデル）を使用して４つの実験から生成された例示的な訓練精度結果を示している。具体的には、結果は、多重化免疫蛍光画像のパッチのデータベースからアクセスされるデータ要素に対応する。図５～図７については、図２に関して説明したように、データがクラスおよび試験および訓練データセットに分割された。データが訓練のために８０％および試験のために２０％に分割された。この例示的な例では、バイナリ交差エントロピー損失関数が使用されて、５０エポック、２のバッチサイズ、および１×１０^－５の学習率を使用して修正Ｕ－Ｎｅｔを訓練した。

【0049】

図５は、単一組織指標（例えば、膀胱）に対して訓練された機械学習モデルを使用するための例示的な結果を示している。この実験では、１５２個のパッチが使用されて機械学習モデルを訓練および試験した。訓練中の精度および損失が示されている。損失が減少するにつれて、エポック間で精度が増加した。訓練精度は９３．９％であり、訓練損失は０．１４２であったが、試験データの精度は８５．６％であり、試験データの損失は０．１４９であった。

【0050】

図６は、６つの組織指標について訓練された機械学習モデルを使用した例示的な結果を示している。組織適応症は、結腸直腸癌、肺癌、乳癌、膵臓癌、胃癌および膀胱癌を含む。この実験のために、データベースから２７５個のパッチがアクセスされた。訓練中の精度および損失が示されており、損失が減少するにつれてエポックにわたって精度が増加する。この実験の結果は、単一組織指標実験から改善され、訓練精度は９５．２％、訓練損失は０．１１３であった。さらに、試験データの精度は８５．６％であり、試験データの損失は０．１４８であった。

【0051】

図７は、６つの指標（例えば、結腸直腸癌、膀胱癌、乳癌、膵癌、肺癌、胃癌）および陰性パッチを有するパッチについて訓練された機械学習モデルを使用した例示的な結果を示している。陰性パッチは、自己蛍光アーチファクトが存在しないパッチに対応する。この実験のために、データベースから３４４個のパッチがアクセスされた。エポックに関する修正されたＵ－Ｎｅｔ訓練中の精度および損失が示されている。損失が減少するにつれて、エポック間で精度が増加した。訓練精度は９５．２％であり、訓練損失は０．１１３であった。この実験では、試験データの精度が８８．３％と最も高かった。さらに、試験データの損失は０．１１９で最も低かった。

【0052】

図８は、訓練された機械－学習モデルの予測を既知のグラウンドトゥルース（例えば、自己蛍光アーチファクトを含むか含まないことが知られている画素）と比較した例示的な結果を示している。データベースから４つのパッチが試験された。各パッチについて、機械学習モデル予測とグラウンドトゥルースとの間の画素間一致が計算された。赤血球予測の場合、機械－学習モデルからの予測は、画素の８４％～１００％についてグラウンドトゥルースと一致した。

【0053】

ＶＩ．例示的なユースケース
図９は、機械学習モデルを使用して多重化免疫蛍光画像内の自己蛍光アーチファクトを識別するプロセス９００を示している。ブロック９０５において、検体のスライスの多重化免疫蛍光画像がアクセスされる。多重化免疫蛍光画像は、全スライド画像または自動蛍光アーチファクトを有する全スライド画像のパッチに対応することができる。多重化免疫蛍光画像は、腫瘍細胞のセットの特性評価を決定するために複数の染色によって染色されることができる。特徴選択のために多重化免疫蛍光画像に対して前処理が行われてもよい。

【0054】

ブロック９１０において、機械学習モデルが多重化免疫蛍光画像を処理する。機械学習モデルは、自己蛍光アーチファクトを有するいくつかの画像および自己蛍光アーチファクトのないいくつかの画像を含む多重化免疫蛍光画像を訓練することによって訓練されることができる。機械学習モデルは、深層ニューラルネットワークおよび／または畳み込みニューラルネットワークとすることができる。機械学習モデルは、Ｕ－Ｎｅｔモデルを含むことができる。機械学習モデルの出力は、自己蛍光アーチファクトを示す多重化免疫蛍光画像の特定の部分（例えば、１つまたは複数の画素）の予測とすることができる。

【0055】

ブロック９１５において、予測に基づいて後続の画像処理が調整される。調整は、多重化免疫蛍光画像の修正バージョンを生成することを含むことができる。検体の別のスライスに対応する他の画像も修正されることができる。他の画像は、自己蛍光アーチファクトを含むと予測される特定の部分の位置に基づいて修正されることができる。さらに、調整された後続の画像処理は、多重化免疫蛍光画像の特定の部分に対応するメトリック（例えば、自己蛍光アーチファクトの累積サイズ、自己蛍光アーチファクトを含む確率、自己蛍光アーチファクトの平均強度）が所定の閾値を超えることを決定することを含むことができる。決定は、多重化免疫蛍光画像の１つまたは複数の領域のそれぞれに対するものとすることができる。メトリックは、処理の出力の少なくとも一部を含むことができる。あるいは、メトリックは、処理の出力に基づいて生成されてもよい。

【0056】

ブロック９２０において、後続の画像処理が実行される。後続の画像処理には、１つまたは複数の訓練された機械学習モデルまたは他の画像分析技術が使用されることができる。後続の画像処理は、多重化免疫蛍光画像の修正バージョンを処理することを含むことができる。後続の画像処理はまた、機械学習モデルの予測に基づいて修正された１つまたは複数の他の画像を処理することを含むことができる。場合によっては、後続の画像処理は、腫瘍細胞のセットの表示を検出することを含むことができる。

【0057】

ブロック９２５において、後続の画像処理の結果が出力される。例えば、結果は、別の装置（例えば、介護提供者と関連付けられる）に送信され、および／または表示されてもよい。結果は、検体の予測される特性評価に対応することができる。結果は、腫瘍細胞のセットの存在、量、および／またはサイズを特性評価することができる。結果は、多重化免疫蛍光画像について２セット以上の腫瘍細胞を特性評価することができる。例えば、多重化免疫蛍光画像の各染色は、腫瘍細胞の異なるセットに対応することができ、その結果は、腫瘍細胞の各セットを特性評価することができる。結果は、被験者の診断または処置評価に使用されることができる。

【0058】

図９は、機械学習モデルを使用して多重化免疫蛍光画像内の自己蛍光アーチファクトを識別するための１つの例示的なプロセスを示している。他の例は、より多くのステップ、より少ないステップ、異なるステップ、または異なる順序のステップを含むことができる。例えば、自己蛍光アーチファクトの識別は、識別された自己蛍光アーチファクトを除外するための後処理ステップとして腫瘍の検出および分類の後に行われることができる。

【0059】

ＶＩＩ．さらなる考察
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つまたは複数のデータプロセッサ上で実行されると１つまたは複数のデータプロセッサに、本書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させる、命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させるように構成された命令を含む非一時的機械可読記憶媒体において、有形に具現化されたコンピュータプログラム製品を含む。

【0060】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴のいかなる均等物またはその一部も除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【0061】

本明細書における説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

【0062】

本明細書における説明では、実施形態の完全な理解を提供するために具体的な詳細が示されている。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】