特表 2024-520354 病理組織画像におけるアーチファクトの自動セグメンテーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-24

(54)【発明の名称】病理組織画像におけるアーチファクトの自動セグメンテーション

(51)【国際特許分類】

   G16H 30/00 20180101AFI20240517BHJP

   G06T 7/12 20170101ALI20240517BHJP

   G06T 7/174 20170101ALI20240517BHJP

   G06T 7/00 20170101ALI20240517BHJP

【ＦＩ】

G16H30/00

G06T7/12

G06T7/174

G06T7/00 630

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023571834

(86)(22)【出願日】2022-05-20

(85)【翻訳文提出日】2024-01-15

(86)【国際出願番号】 US2022030395

(87)【国際公開番号】W WO2022246294

(87)【国際公開日】2022-11-24

(31)【優先権主張番号】63/191,567

(32)【優先日】2021-05-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】511286517

【氏名又は名称】ヴェンタナ メディカル システムズ， インク．

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ミリ， モハマド サレー

(72)【発明者】

【氏名】ベン タイエブ， アイチャ

(72)【発明者】

【氏名】クルクレ， ウダイ

【テーマコード（参考）】

5L096

5L099

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096FA06

5L096FA59

5L096GA10

5L096HA11

5L096KA04

5L096MA01

5L099AA26

(57)【要約】

デジタル病理画像の画像セグメンテーションの技法は、組織の切片を示す入力画像にアクセスすることと、生成ネットワークを使用して入力画像を処理することによってセグメンテーション画像を生成することであって、生成ネットワークは複数の画像ペアを含むデータセットを使用して訓練されている、セグメンテーション画像を生成することと、を含み得る。セグメンテーション画像は、入力画像の複数のアーチファクト領域のそれぞれについて、アーチファクト領域の境界を示す。複数のアーチファクト領域のうちの少なくとも１つは組織の構造ではない異常を示す。複数の画像ペアのそれぞれの画像ペアは、組織の切片の第１の画像であって、少なくとも１つのアーチファクト領域を含む第１の画像、および、第１の画像の少なくとも１つのアーチファクト領域のそれぞれについて、アーチファクト領域の境界を示す第２の画像を含む。
【選択図】図２６

【特許請求の範囲】

【請求項1】

画像セグメンテーションの方法であって、
組織の切片を示しかつ複数のアーチファクト領域を含む入力画像にアクセスすることと、
生成ネットワークを使用して前記入力画像を処理することによってセグメンテーション画像を生成することであって、前記生成ネットワークは複数の画像ペアを含む訓練データセットを使用して訓練されている、セグメンテーション画像を生成することと
を含み、
前記セグメンテーション画像は、前記入力画像の前記複数のアーチファクト領域のそれぞれについて、前記アーチファクト領域の境界を示し、
前記複数のアーチファクト領域のうちの少なくとも１つは、前記組織の構造ではない異常を示し、
前記複数の画像ペアのそれぞれの画像ペアでは、前記ペアは、
組織の切片の第１の画像であって、少なくとも１つのアーチファクト領域を含む、第１の画像、および、
前記第１の画像の前記少なくとも１つのアーチファクト領域のそれぞれについて、前記アーチファクト領域の境界を示す第２の画像を含む、画像セグメンテーションの方法。

【請求項2】

前記異常はピンぼけである、請求項１に記載の方法。

【請求項3】

前記異常は前記組織の前記切片におけるひだである、請求項１に記載の方法。

【請求項4】

前記異常は前記組織の前記切片における顔料の堆積物である、請求項１に記載の方法。

【請求項5】

前記セグメンテーション画像はバイナリセグメンテーションマスクを含む、請求項１に記載の方法。

【請求項6】

前記方法は、前記入力画像上に重ね合わせられた前記セグメンテーション画像を含む注釈付き画像を生じさせることをさらに含む、請求項１に記載の方法。

【請求項7】

前記方法は、前記複数のアーチファクト領域の総面積に基づいて前記入力画像の品質を推定することをさらに含む、請求項１に記載の方法。

【請求項8】

前記入力画像は第２の複数のアーチファクト領域を含み、前記方法は、
第２の生成ネットワークを使用して前記入力画像を処理することによって第２のセグメンテーション画像を生成することであって、前記第２の生成ネットワークは第２の複数の画像ペアを含む第２の訓練データセットを使用して訓練されている、第２のセグメンテーション画像を生成することをさらに含み、
前記第２のセグメンテーション画像は、前記入力画像の前記第２の複数のアーチファクト領域のそれぞれについて、前記アーチファクト領域の境界を示し、
前記第２の複数のアーチファクト領域のうちの少なくとも１つは前記組織の生体構造を示す、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記生成ネットワークは完全畳み込みネットワークとして実装される、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記生成ネットワークはＵ－Ｎｅｔとして実装される、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記生成ネットワークは符号化／復号化ネットワークとして実装される、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記生成ネットワークは、前記生成ネットワークによる画像と予想された出力画像との間で測定された交差エントロピー損失を介して更新される、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

ユーザによって、前記セグメンテーション画像に基づいて対象の診断を判断することをさらに含む、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

前記ユーザによって、（ｉ）前記セグメンテーション画像および／または（ｉｉ）前記対象の前記診断に基づいて、化合物による治療を行うことをさらに含む、請求項１３に記載の方法。

【請求項15】

１つまたは複数のデータプロセッサと、
前記１つまたは複数のデータプロセッサ上で実行されるとき、前記１つまたは複数のデータプロセッサに、ここに開示された１つまたは複数の方法の一部または全てを実行させる命令を含有する非一時的コンピュータ可読記憶媒体と
を備えるシステム。

【請求項16】

１つまたは複数のデータプロセッサと、
前記１つまたは複数のデータプロセッサ上で実行されるとき、前記１つまたは複数のデータプロセッサに、
組織の切片を示しかつ複数のアーチファクト領域を含む入力画像にアクセスすることと、
生成ネットワークを使用して前記入力画像を処理することによってセグメンテーション画像を生成することであって、前記生成ネットワークは複数の画像ペアを含む訓練データセットを使用して訓練されている、セグメンテーション画像を生成することと
を含む方法を実行させる命令を含有する非一時的コンピュータ可読記憶媒体と
を備えるシステムであって、
前記セグメンテーション画像は、前記入力画像の前記複数のアーチファクト領域のそれぞれについて、前記アーチファクト領域の境界を示し、
前記複数のアーチファクト領域のうちの少なくとも１つは、前記組織の構造ではない異常を示し、
前記複数の画像ペアのそれぞれの画像ペアでは、前記ペアは、
組織の切片の第１の画像であって、少なくとも１つのアーチファクト領域を含む、第１の画像、および、
前記第１の画像の前記少なくとも１つのアーチファクト領域のそれぞれについて、前記アーチファクト領域の境界を示す第２の画像
を含む、システム。

【請求項17】

前記異常は、ピンぼけ、前記組織の前記切片におけるひだ、または前記組織の前記切片における顔料の堆積物である、請求項１６に記載のシステム。

【請求項18】

１つまたは複数のデータプロセッサに、ここに開示された１つまたは複数の方法の一部または全てを実行させるように構成された命令を含む非一時的機械可読記憶媒体において有形に具現化された、コンピュータプログラム製品。

【請求項19】

非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品であって、１つまたは複数のデータプロセッサに、
組織の切片を示しかつ複数のアーチファクト領域を含む入力画像にアクセスすることと、
生成ネットワークを使用して前記入力画像を処理することによってセグメンテーション画像を生成することであって、前記生成ネットワークは複数の画像ペアを含む訓練データセットを使用して訓練されている、セグメンテーション画像を生成することと
を含む方法を実行させるように構成された命令を含み、
前記セグメンテーション画像は、前記入力画像の前記複数のアーチファクト領域のそれぞれについて、前記アーチファクト領域の境界を示し、
前記複数のアーチファクト領域のうちの少なくとも１つは、前記組織の構造ではない異常を示し、
前記複数の画像ペアのそれぞれの画像ペアでは、前記ペアは、
組織の切片の第１の画像であって、少なくとも１つのアーチファクト領域を含む、第１の画像、および、
前記第１の画像の前記少なくとも１つのアーチファクト領域のそれぞれについて、前記アーチファクト領域の境界を示す第２の画像
を含む、コンピュータプログラム製品。

【請求項20】

前記異常は、ピンぼけ、前記組織の前記切片におけるひだ、または前記組織の前記切片における顔料の堆積物である、請求項１９に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる、米国特許仮出願第６３／１９１，５６７号（２０２１年５月２１日に出願）の利益および優先権を主張するものである。

【0002】

本開示は、デジタル病理学に関し、詳細には、デジタル病理画像のセマンティックセグメンテーションを含む技法に関する。

【背景技術】

【0003】

組織病理学は、疾患の診断、治療への反応の判定、および／または疾患と闘うための薬剤の開発など、さまざまな理由での組織の切片から作られたスライドの検査を含み得る。組織切片およびそれらの細胞は事実上透明であるため、スライドの作成は、典型的には、関係のある構造をより見やすくするために組織切片を染色することを含む。デジタル病理学は、デジタル画像を得るために染色したスライドのスキャンを含み得、該デジタル画像は、その後、デジタル病理画像分析によって検査され得る、および／または病理学者によって解釈され得る。

【0004】

分析される１つまたは複数の領域に加えて、デジタル病理スライドはさらなる分析から除外されるべき領域を含み得る。そのような領域は、例えば、腫瘍領域に注釈を付ける作業中に気を逸らされる場合がある領域、および／または自動スコアリング動作から除外されない場合に偽の結果を生じさせる場合がある領域を含み得る。除外されるべき領域を示すためにスライドに手動で注釈を付ける作業は、費用がかかり、時間がかかり、主観的である。

【発明の概要】

【0005】

さまざまな実施形態では、画像セグメンテーションのコンピュータ実施方法であって、組織の切片を示しかつ複数のアーチファクト領域を含む入力画像にアクセスすることと、生成ネットワークを使用して入力画像を処理することによってセグメンテーション画像を生成することであって、生成ネットワークは複数の画像ペアを含む訓練データセットを使用して訓練されている、セグメンテーション画像を生成することと、を含む、画像セグメンテーションのコンピュータ実施方法が提供される。セグメンテーション画像は、入力画像の複数のアーチファクト領域のそれぞれについて、アーチファクト領域の境界を示す。この方法では、複数のアーチファクト領域のうちの少なくとも１つは、組織の構造ではない異常を示し、複数の画像ペアのそれぞれの画像ペアでは、該ペアは、組織の切片の第１の画像であって、少なくとも１つのアーチファクト領域を含む第１の画像、および、第１の画像の少なくとも１つのアーチファクト領域のそれぞれについて、アーチファクト領域の境界を示す第２の画像を含む。

【0006】

いくつかの実施形態では、異常は、ピンぼけ、組織の切片におけるひだ、組織の切片における顔料の堆積物、または組織の切片とスライドカバーとの間に挟まれた物である。

【0007】

いくつかの実施形態では、セグメンテーション画像は、バイナリセグメンテーションマスクを含む。

【0008】

いくつかの実施形態では、方法は、入力画像上に重ね合わせられたセグメンテーション画像を含む注釈付き画像を生じさせることをさらに含む。

【0009】

いくつかの実施形態では、方法は、複数のアーチファクト領域の総面積に基づいて入力画像の品質を推定することをさらに含む。

【0010】

いくつかの実施形態では、入力画像は第２の複数のアーチファクト領域を含み、方法は、第２の生成ネットワークを使用して入力画像を処理することによって第２のセグメンテーション画像を生成することであって、第２の生成ネットワークは第２の複数の画像ペアを含む第２の訓練データセットを使用して訓練されている、第２のセグメンテーション画像を生成することをさらに含む。第２のセグメンテーション画像は、入力画像の第２の複数のアーチファクト領域のそれぞれについて、アーチファクト領域の境界を示し、第２の複数のアーチファクト領域のうちの少なくとも１つは組織の生体構造を示す。

【0011】

いくつかの実施形態では、コンピュータ実施方法は、ユーザによって、セグメンテーション画像に基づいて対象の診断を判断することをさらに含む。

【0012】

いくつかの実施形態では、コンピュータ実施方法は、ユーザによって、（ｉ）セグメンテーション画像および／または（ｉｉ）対象の診断に基づいて、化合物による治療を行うことをさらに含む。

【0013】

いくつかの実施形態では、１つまたは複数のデータプロセッサと、１つまたは複数のデータプロセッサ上で実行されるとき、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全てを実行させる命令を含有する非一時的コンピュータ可読記憶媒体と、を含むシステムが提供される。

【0014】

いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全てを実行させるように構成された命令を含む、コンピュータプログラム製品が提供される。

【0015】

本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つまたは複数のデータプロセッサ上で実行されるとき、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全ておよび／または１つまたは複数のプロセスの一部もしくは全てを実行させる命令を含有する非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全ておよび／または１つまたは複数のプロセスの一部もしくは全てを実行させるように構成された命令を含む非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品を含む。

【0016】

用いられた用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されかつ説明された特徴の任意の等価物またはその一部を除外することを意図するものではないが、特許請求された発明の範囲内でさまざまな修正が可能であることは認識されたい。よって、特許請求される本発明は、具体的には、実施形態およびオプションの特徴により開示されているが、本明細書に開示された概念の修正および変形を当業者が採用してよく、そのような修正および変形が添付の特許請求の範囲によって定められる本発明の範囲内にあるとみなされることは、理解されるべきである。

【0017】

特許または出願ファイルは、カラーで作製された少なくとも１つの図面を含有する。彩色図面を伴うこの特許または特許出願公開の写しは、請求および必要な手数料の納付後に、特許庁によって提供されることになる。

【0018】

さまざまな実施形態の態様および特徴は、添付の図面を参照して例を説明することによってより明らかになるであろう。

【図面の簡単な説明】

【0019】

【図1】デジタル病理学的ソリューションのワークフローの例示的な図である。

【図2】Ａは、別のデジタル病理学的ソリューションのワークフローの例示的な図である。Ｂは、デジタル病理画像の例示的な図である。

【図3】厚さアーチファクトの例示的な画像を示す図である。

【図4】顔料アーチファクトの例示的な画像を示す図である。

【図5】組織ひだアーチファクトの例示的な画像を示す図である。

【図6】汚れアーチファクトの例示的な画像を示す図である。

【図7】気泡アーチファクトの例示的な画像を示す図である。

【図8】ペンマークアーチファクトの例示的な画像を示す図である。

【図9】手動で注釈が付けられたデジタル病理画像の一例を示す図である。

【図10】いくつかの実施形態による例示的プロセスのフローチャートである。

【図11】いくつかの実施形態による組織のひだの自動セグメンテーションの一例を示す図である。

【図12】組織のひだの人による注釈が付けられたセグメンテーションの一例を示す図である。

【図13】Ａは、いくつかの実施形態による応用の一例を示す図である。Ｂは、いくつかの実施形態による、スキャンされた組織スライドの専門家による品質制御の一例を示す図である。Ｃは、いくつかの実施形態による、組織の自動分析または視覚的分析の一例を示す図である。

【図14】いくつかの実施形態による別の応用の一例を示す図である。

【図15】Ａは、いくつかの実施形態による訓練ワークフローの一例を示す図である。Ｂは、いくつかの実施形態によるスライド注釈全般の一例を示す図である。Ｃは、いくつかの実施形態による訓練パッチの一例を示す図である。Ｄは、いくつかの実施形態によるニューラルネットワークアーキテクチャの一例を示す図である。

【図16】いくつかの実施形態による、入力画像をセグメント化するための例示的なコンピューティング環境を示す図である。

【図17】いくつかの実施形態による、組織のひだおよびピンぼけ領域の自動セグメンテーションの一例を示す図である。

【図18】いくつかの実施形態による、組織のひだおよびピンぼけ領域の自動セグメンテーションの一例を示す図である。

【図19】いくつかの実施形態による、組織のひだおよびピンぼけ領域の自動セグメンテーションの一例を示す図である。

【図20】いくつかの実施形態による、組織のひだおよびピンぼけ領域の自動セグメンテーションの別の例を示す図である。

【図21】いくつかの実施形態による、組織のひだおよびピンぼけ領域の自動セグメンテーションの別の例を示す図である。

【図22】いくつかの実施形態による、組織のひだおよびピンぼけ領域の自動セグメンテーションの別の例を示す図である。

【図23】いくつかの実施形態による、組織のひだおよびピンぼけ領域の自動セグメンテーションのさらなる例を示す図である。

【図24】いくつかの実施形態による、組織のひだおよびピンぼけ領域の自動セグメンテーションのさらなる例を示す図である。

【図25】いくつかの実施形態による、組織のひだおよびピンぼけ領域の自動セグメンテーションのさらなる例を示す図である。

【図26】ピンぼけアーチファクトの例示的な画像を示す図である。

【図27】スティッチングアーチファクトの例示的な画像を示す図である。

【発明を実施するための形態】

【0020】

本明細書に開示されたシステム、方法、およびソフトウェアによって、デジタル病理画像（例えば、ＷＳＩ）内のアーチファクト領域のセグメンテーションが容易になる。ある特定の実施形態が説明されているが、これらの実施形態は例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書に説明される装置、方法、およびシステムは、さまざまな他の形態で具現化されてよい。さらに、保護の範囲から逸脱することなく、本明細書に説明された例示的な方法およびシステムの形態のさまざまな省略、置換、および変更を行ってよい。

【0021】

Ｉ．概要
デジタル病理学は、対象を正確に診断し、かつ治療意思決定を案内するためにデジタル画像の解釈を伴う場合がある。デジタル病理学ソリューションでは、画像分析ワークフローは、生物学的関心対象（例えば、陽性腫瘍細胞、陰性腫瘍細胞など）を自動的に検出または分類するように確立可能である。図１は、デジタル病理学ソリューションのワークフロー１００の例示の図を示す。デジタル病理学ソリューションのワークフロー１００は、ブロック１１０において、研究所において標本を受け取ることと、ブロック１２０において、標本を作成すること（例えば、固定、脱水、洗浄、ワックス浸透、埋め込み）と、ブロック１３０において、顕微鏡切片作成を行う（例えば、１つまたは複数の組織切片を得るために作成された標本をスライスする）ことと、ブロック１４０において、組織切片を染色することと、ブロック１５０において、作成されたスライドをデジタル化すること（例えば、スキャンすること）と、ブロック１６０において、スライド画像（例えば、ＷＳＩ）の専門家による品質制御（ＱＣ）を行いかつこれを送出することと、ブロック２４０において、病理学者によって分析結果（例えば、診断）を報告することとを含む。

【0022】

図２Ａは、デジタル病理学的ソリューションのワークフロー２００の別の例示的な図を示す。デジタル病理学ソリューションのワークフロー２００は、ブロック２１０において、組織スライドを得ることと、ブロック２２０において、デジタル画像を得るためにデジタル画像スキャナ（例えば、ホールスライドイメージ（ＷＳＩ）スキャナ）によって予め選択された部位または組織スライドの全体をスキャンすることと、ブロック２３０において、１つまたは複数の画像分析アルゴリズムを使用してデジタル画像に対して画像分析を行うことと、ブロック２４０において、画像分析に基づいて関心対象をスコアリング（例えば、陽性、陰性、中度、弱などの定量または半定量スコアリング）することと、を含む。

【0023】

例えば疾患によって引き起こされる組織変化の評価は、薄い組織切片を検査することによって行われ得る。組織試料（例えば、腫瘍の試料）は、一連の切片を得るためにスライスされ得、それぞれの切片は、例えば、４～５ミクロンの厚さを有する。組織切片およびそれらの細胞は事実上透明であるため、スライドの作成は、典型的には、関係のある構造をより見やすくするために組織切片を染色することを含む。例えば、異なる組織の切片は、組織の異なる特性を表すために１つまたは複数の異なる染色により染色されてよい。

【0024】

それぞれの切片は、スライド上に取り付けられてから、デジタル画像を作成するためにスキャンされ、その後、デジタル病理画像分析によって検査されおよび／または（例えば、画像ビューワソフトウェアを使用して）病理学者によって解釈され得る。病理学者は、画像分析アルゴリズムの使用を可能にして有意義な定量的尺度を抽出するために（例えば、生物学的関心対象を検出しかつ分類するために）、スライドのデジタル画像（例えば、腫瘍部位、壊死など）をレビューしかつ手動で注釈を付けてよい。従来、病理学者は、それぞれの連続した組織切片に対して同じ側面を特定するために、組織試料からの複数の組織切片のそれぞれの連続画像に手動で注釈を付けてよい。図２Ｂは、ペンで境界を描くことによって注釈が付けられているデジタル病理画像の一例を示す。

【0025】

病理学スライド上の組織試料の染色された切片は、伝えられるべき情報を不明瞭にし得るさまざまなタイプの欠陥を有し得る。そのような欠陥は、組織作成中に生じ得る原因による場合があり、例えば、組織切片は１つの部分において別の組織切片よりも厚い場合があり（図３が１つの例を示す）、および／または該切片は１つまたは複数の顔料堆積物（例えば、沈殿物）を含み得る（図４が１つの例を示す）。他の欠陥が、スライド作成中に生じ得る原因による場合があり、例えば、組織切片がスライド上で折り重ねられ得る（図５が１つの例を示す）、および／または不要物質（例えば、汚れまたは他のデブリなどの１つまたは複数の異物、１つまたは複数の気泡）が組織切片とスライドカバーとの間に挟まれ得る（図６および図７が例を示す）。他の欠陥は、作成されたスライドの人による処理および／または自動処理（例えば、スキャン）中に生じ得る原因、例えば、ペンマーク（図８が１つの例を示す）、ピンぼけ（すなわち、ピント外れ）（図２６が３つの例を示す）、および／またはＷＳＩを得るために個々のスキャンタイルのデジタルスティッチング中にもたらされた偽の特徴（図２７は、画像における黒および白のボックスが詳細画像ｃおよびｄでそれぞれ拡大されており、画像ｂにおける黒および白のボックスが詳細画像ｅおよびｆでそれぞれ拡大されているいくつかの例を示す）による場合がある。そのような欠陥は、画像の一部が実際には組織に存在しなかった何か（例えば、構造）を示す「アーチファクト」の例である。スライド画像の精確な分析をサポートするために、そのようなアーチファクトを検出し、可能であれば、（例えば、病理診断、予後および／または治療選択のために）そのような情報の解釈が改善可能であるように、画像が対象に関する精確な情報を伝える程度を改善するように画像を処理することが望ましい場合がある。

【0026】

この目的のために、現行の実務には、染色された試料切片の画像が分析される前に（例えば、画像の、切片の、および／または一般的に）品質を評価するために（例えば、染色された試料切片における特定の生体または特定のバイオマーカーを検出および／または特徴付けるために）病理学者によるデジタル病理画像の評価を含み得る。染色された試料切片の品質が劣っている場合、対応するデジタル病理画像は、所与の対象に対して行われたデジタル病理分析から破棄される場合がある。しかしながら、デジタル病理画像においてアーチファクトを検出することは、主観的であることおよび時間がかかることの両方があり得る。

【0027】

上記のような画像アーチファクト（「異常」とも呼ばれる）は、（例えば、図１および／または図２Ａに示されるように）デジタル病理学（ＤＰ）のワークフローの採用では重要な課題である。アーチファクトは、染色された試料切片の画像の品質を低下させる場合があり、これは誤診断または診断の遅延を引き起こす場合がある。例えば、染色された試料の画像に存在する複数のアーチファクト（例えば、ピント外れ、ウォーターマーク、および組織のひだ）は、潜在的に診断特徴を不明瞭にし得る。これらのアーチファクトは、組織を全て無駄にしてしまうことさえあり得る。スライド画像を精確に分析するために、スライド画像におけるそのようなアーチファクトを検出し、可能であれば、アーチファクトが病理診断に干渉しないようにスライド画像を処理することが望ましい場合がある。

【0028】

スキャンした画像の品質全体を低減させ得るアーチファクトに加えて、スライド画像は、組織切片の生体特徴（例えば、構造）を示し、かつ後続の分析作業から除外されるべき領域を含む場合がある。一般的に分析から除外されるそのような特徴（「生体アーチファクト」とも呼ばれる）の例には、壊死組織、血液プール、および血清が含まれる。他のそのような特徴は、用途別に後続の分析作業から除外されてよい。例えば、ＳＰ１４２アッセイを使用して染色されているスライドのプログラム死リガンド１（ＰＤ－Ｌ１）スコアリングを容易にするためにマクロファージを示す領域を除外することが望ましい場合がある。

【0029】

現行の実務では、ＤＰワークフローは、病理学者によって、アーチファクトを特定するようにデジタルスライド画像を目視検査すること、および、画像に手動で注釈を付けることによってその後の分析から除外するそのような領域を輪郭で描くことに頼っており、これは労力を要し費用がかかるプロセスである。図９は、図２Ｂのスライド画像において、分析の領域（緑で示された腫瘍）から除外する、組織のひだ（黒）、壊死領域（黄）、および血液（シアン）の輪郭を描くように手動で注釈が付けられている一例を示す。

【0030】

セグメンテーション画像の生成は訓練された生成ネットワークによって行われ得、この生成ネットワークは、完全畳み込みネットワーク（ＦＣＮ）を訓練する間に学習したパラメータを含み得る。ＦＣＮは、符号化／復号化ネットワークをさらに含み得、Ｕ－Ｎｅｔとして構成されてよい。

【0031】

本開示の１つの例示の実施形態は、画像セグメンテーションのコンピュータ実施方法であって、組織の切片を示しかつ複数のアーチファクト領域を含む入力画像にアクセスすることと、生成ネットワークを使用して入力画像を処理することによってセグメンテーション画像を生成することであって、生成ネットワークは複数の画像ペアを含む訓練データセットを使用して訓練されている、セグメンテーション画像を生成することと、を含む、画像セグメンテーションのコンピュータ実施方法を対象とする。セグメンテーション画像は、入力画像の複数のアーチファクト領域のそれぞれについて、アーチファクト領域の境界を示す。この方法では、複数のアーチファクト領域のうちの少なくとも１つは、組織の構造ではない異常を示し、複数の画像ペアのそれぞれの画像ペアでは、該ペアは、組織の切片の第１の画像であって、少なくとも１つのアーチファクト領域を含む第１の画像、および、第１の画像の少なくとも１つのアーチファクト領域のそれぞれについて、アーチファクト領域の境界を示す第２の画像を含む。

【0032】

有利には、本明細書に説明される画像セグメンテーションの方法は、デジタル病理学のワークフローを１つまたは複数の異なるレベルで最適化するために適用されてよい。１つの例では、そのような方法は、よりスケーラブルな、堅牢な、およびアクセスしやすい画像品質制御（ＱＣ）アルゴリズムを提供するために適用されてよい。別の例では、そのような方法は、病理学者による注釈およびレビュー時間を最適化するために適用されてよい。さらなる例では、そのような方法は、他の下流タスク（すなわち、自動画像分析）の性能を最適化するために適用されてよい。

【0033】

ＩＩ．定義
本明細書で使用される際、ある作用が何か「に基づく」とき、これはその作用がその何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

【0034】

本明細書で使用される際、「実質的に」、「およそ」、および「約」という用語は、当業者には理解されるように、指定されたものの必ずしも全部ではないが大部分（および指定されたものを全部を含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］内」で置き換えられてよく、パーセンテージは、０．１パーセント、１パーセント、５パーセント、および１０パーセントを含む。

【0035】

本明細書で使用される際、「試料」、「生物学的試料」、または「組織試料」という用語は、ウイルスを含む任意の生物体から得られる生体分子（タンパク質、ペプチド、核酸、脂質、炭水化物、またはこれらの組み合わせなど）を含む任意の試料を指す。生物体の他の例には、哺乳動物（ヒト；猫、犬、馬、牛、および豚のような家畜動物；ならびにネズミ、ラット、および霊長類のような実験動物など）、昆虫、環形動物、クモ形類動物、有袋動物、爬虫類、両生動物、細菌、および真菌が含まれる。生物学的試料は、組織試料（組織切片および組織の針生検など）、細胞試料（パップスメアなどの細胞学的塗抹標本、または血液塗抹標本、または顕微解剖によって得られる細胞の試料など）、または細胞画分、断片、もしくは細胞小器官（細胞を溶解し、かつそれらの成分を遠心分離または別の方法で分離させることによって得られるものなど）を含む。生物学的試料の他の例には、血液、血清、尿、精液、ふん便物質、脳脊髄液、間質液、粘液、涙、汗、膿、生検組織（例えば、外科生検または針生検によって得られる）、乳頭吸引物、耳垢、乳汁、膣液、唾液、スワブ（頬側スワブなど）、または最初の生体試料から取り出された生体分子を含有する任意の物質が含まれる。ある特定の実施形態では、本明細書で使用される「生物学的試料」という用語は、対象から得られた腫瘍またはこの一部分から作成された試料（均質化または液化試料など）を指す。

【0036】

ＩＩＩ．デジタル病理画像におけるアーチファクトの自動セグメンテーションの技法
本明細書に説明されるようにデジタル化されたスライドにおけるアーチファクトをセグメント化するための自動化手法の応用には、さらなる分析から除外されるべき領域を除去することによって病理レビューおよび／または病理スコアリング（例えば、免疫組織化学（ＩＨＣ）推定スコアリングワークフロー、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）腫瘍セグメンテーション、腫瘍予測ワークフロー）を容易にするためのツールが含まれ得る。そのようなツールは、セグメンテーションマスクを出力し、そのマスクを元の対応する入力画像に適用し、さらにまた、さらなる処理のためにマスク画像を画像分析アルゴリズムに入力するために（例えば、腫瘍細胞をセグメント化するために、細胞を数えるために、など）実装されてよい。本明細書に説明されるようにデジタル化されたスライドにおけるアーチファクトをセグメント化するための自動化手法は、スキャナにとらわれない、組織にとらわれない、および／または染色にとらわれないように実装され得る。

【0037】

図１０は、いくつかの実施形態による画像セグメンテーションの例示的プロセス１０００のフローチャートを示す。プロセス１０００は（例えば、図１４および図１５に関して本明細書に説明されるように）１つまたは複数のコンピューティングシステム、モデル、およびネットワークを使用して実行され得る。図１０を参照すると、ブロック１００４において、組織の切片を示し、かつ複数のアーチファクト領域を含む入力画像にアクセスする。複数のアーチファクト領域のうちの少なくとも１つは組織の構造ではない異常を示す。ブロック１００８において、セグメンテーション画像は、生成ネットワークを使用して入力画像を処理することによって生成される。セグメンテーション画像は、入力画像の複数のアーチファクト領域のそれぞれについて、アーチファクト領域の境界を示す。生成ネットワークは、複数の画像ペアを含む訓練データセットを使用して訓練されており、ここで、それぞれのペアは、組織の切片の第１の画像であって、少なくとも１つのアーチファクト領域を含む第１の画像、および、第１の画像の少なくとも１つのアーチファクト領域のそれぞれについて、アーチファクト領域の境界を示す第２の画像を含む。いくつかの実施形態では、プロセス１０００は、入力画像上に重ね合わせられたセグメンテーション画像を含む注釈付き画像を生じさせること、および／または複数のアーチファクト領域の総面積に基づいて入力画像の品質を推定することも含む。

【0038】

プロセス１０００のいくつかの実施形態では、異常は、ピンぼけ、組織の切片におけるひだ、または組織の切片における顔料の堆積物である。

【0039】

プロセス１０００のいくつかの実施形態では、セグメンテーション画像はバイナリセグメンテーションマスクを含む。

【0040】

プロセス１０００のいくつかの実施形態では、生成ネットワークは、完全畳み込みネットワークとして、Ｕ－Ｎｅｔとして、および／または符号化／復号化ネットワークをとして実装される。

【0041】

プロセス１０００のいくつかの実施形態では、入力画像は第２の複数のアーチファクト領域を含み、プロセスは、第２の生成ネットワークを使用して入力画像を処理することによって第２のセグメンテーション画像を生成することであって、第２の生成ネットワークは第２の複数の画像ペアを含む第２の訓練データセットを使用して訓練されている、第２のセグメンテーション画像を生成することも含む。第２の複数のアーチファクト領域のうちの少なくとも１つは組織の生体構造を示し、第２のセグメンテーション画像は、入力画像の第２の複数のアーチファクト領域のそれぞれについて、アーチファクト領域の境界を示す。

【0042】

本開示による１つまたは複数の方法は、病理学者による、ホールスライドイメージにおける少なくともいくつかのタイプのアーチファクトの手動の輪郭描写の負担を軽減して、生存腫瘍に重点を置くようにするために実施されてよい。例えば、アーチファクトの輪郭を手動で描く作業は、本明細書に説明されるように、自動アーチファクト検出プロセスの結果に関するＱＣレビューの実行へと簡略化され得る。先のＤＰアルゴリズムでは、腫瘍部位の輪郭およびそれら自体の除外領域の輪郭を描くことができない場合があり、ひいては、病理学者に対して、手動の、長たらしい骨の折れる前処理ステップをもたらすため、そのようなプロセスは完全自動化ＤＰアルゴリズムを可能にすることであってよい。

【0043】

図１１は、プロセス１０００の実装形態によって生じた、組織のひだの自動セグメンテーションの一例を示す。比較対象として、図１２は、同じスライド画像に対して病理学者によって実行される、組織のひだの輪郭描写の一例を示す。アルゴリズムによって生じたセグメンテーションがさらに一層詳述されており、病理学者が全く注釈しなかった多くのより小さいひだを含むことが分かる。さらに、アルゴリズムセグメンテーションでは、組織のひだを非常に緊密に追跡し（ひいては、不正確に除外されることになる面積を最小化し）、病理学者による組織のひだの輪郭描写は、それぞれのひだの隣接する領域も含む。

【0044】

除外領域の輪郭を描く手作業が非常に長たらしく、存在し得る除外部分の量によっては、１つのホールスライドイメージを終えるのに最高で３０分以上かかる可能性があるため、病理学者は、スライドに費やす時間が累積し始めると、精度が低下していく恐れがあり、または小さい除外領域に気付かない場合がある。さらに、後続の分析の結果にも影響し得る観察者間のおよび観察者の中でのばらつきがもう一つの課題である。対照的に、アルゴリズムは高度に再現性があり、これらの輪郭描写は除外領域の実際の境界に近いものになる。より良い境界輪郭描写によって、不要な領域の不完全な除外による偽の結果に対して保護され、分析のための所望される領域がより多く保持される。ピンぼけ領域の輪郭描写など、本質的に主観的であり得る輪郭描写には、本明細書に説明されるような自動解法によって提供され得る均一性の向上も非常に望ましい場合がある。

【0045】

スケーラブルな画像品質制御（ＱＣ）アルゴリズムを提供するためにプロセス１０００を実施することが望ましい場合がある。図１３Ａは、いくつかの実施形態によるプロセス１０００のそのような応用１３００の一例を示す。ブロック１３１０において、作成された組織試料（例えば、作成されたスライド）が提供される。ブロック１３２０において、作成された試料は、アーチファクト検出モデルを備えたＤＰスキャナを使用して、スライド画像（例えば、ＷＳＩ）を得るためにデジタル化（スキャン）される。例えば、ＤＰスキャナは、本明細書に説明されるようにプロセス１３００の一実施形態を実行するように構成されてよい。ブロック１３３０において、（例えば、図１３Ｂに示されるような）注釈付きスライド画像のＱＣレビューを専門家が実行する。ブロック１３４０において、ＱＣレビューに合格したスライド画像は（例えば、図１３Ｃに示されるような）自動組織分析または目視組織分析のために転送される。ＱＣレビューに不合格のスライド画像は拒絶され、プロセスは、ブロック１３１０に戻って対応する作成された試料を再スキャンし得る（例えば、ピンぼけまたはスティッチングアーチファクトを補正する）または他の動作を行ってよい。例えば、試料は洗浄されてよい、および／またはスライドはその他の場合は（例えば、不要物質などによるアーチファクトを補正するために）可能な場合再作成され得、または、スライドは試料の新たな切片を使用して置き換えられてよい。応用１３００の別の例では、ブロック１３２０では、プロセス１０００によって生じたセグメンテーション画像に基づいて算出される品質スコアによって高められてまたはこれと置き換えられてよい。例えば、プロセス１０００は、アーチファクト領域によって消費される画像総面積（代替的には、アーチファクト領域によって消費される画像の前景の総面積であり、この前景面積は組織切片が占める面積である）に基づいて品質スコアを算出するように構成されてよい。そのような場合、プロセスは、部位が閾値を超える場合の不合格の品質スコアを示すように構成されてよい。

【0046】

アーチファクト領域の自動除外を提供するために（例えば、病理学者の作業量を低減するために）プロセス１０００を実施することが望ましい場合がある。図１４は、いくつかの実施形態によるプロセス１０００のそのような応用１４００の一例を示す。先のワークフローでは（最上段）、（例えば、図２Ｂの例に示されるように）入力スキャン画像の病理学者による注釈は、分析を行う１つまたは複数の生存腫瘍領域（例えば、対象領域）の注釈、ならびに、アーチファクト領域、および場合によって、（例えば、図９の例に示されるように）分析から除外される他の非対象領域の注釈を含む。ブロック１４１０では、除外領域の自動注釈を提供するために（例えば、本明細書に説明されるようなプロセス１０００の実装形態に従って）自動アーチファクト検出が行われる。自動アーチファクト検出は、例えば、図１５Ｄに示されるようなニューラルネットワークアーキテクチャを使用して行われてよい。ブロック１４２０において、入力スキャン画像の病理学者による注釈の作業は、生存腫瘍領域の注釈を含み、手動で注釈が付けられる除外領域のタイプを低減することによって、または除外領域に注釈を付ける作業を排除することによって簡略化される。

【0047】

図１５Ａは、いくつかの実施形態による訓練ワークフロー１５００の一例を示す。ブロック１５１０では、ＷＳＩには、（例えば、図１５Ｂに示されるように）アーチファクト領域の境界を示すために手動で注釈が付けられる。ブロック１５２０において、元々の（注釈が付けられていない）ＷＳＩおよび注釈が付けられているＷＳＩは、（例えば図１５Ｂに示されるように）（例えば、サイズが６４×６４画素、１２８×１２８画素、または２５６×２５６画素の）訓練パッチに分割され、画像のマッチドペアの１つまたは複数の訓練セットが作成される。それぞれのマッチドペアは、対応する画像パッチの注釈を付けないバージョンおよび同画像パッチの注釈を付けるバーションを含む。ブロック１５３０において、１つまたは複数の訓練セットのマッチドペアを使用して、画像セグメンテーションを行うための（例えば、図１５Ｄに示されるような）カスタム完全畳み込みネットワークを訓練し、訓練されたネットワークを使用して、デジタル病理スライド（例えば、ＷＳＩ）におけるアーチファクト領域の自動輪郭描写を行う。

【0048】

スキャナの銘柄、組織指示、または使用される染色に関係なく画像アーチファクト（例えば、異常）が発生する場合があるため、スキャナにとらわれない、組織にとらわれない、および／または染色にとらわれないようにネットワークを訓練することが望ましい場合がある。検出アルゴリズムが異なるスキャナ、組織タイプ、染色タイプ、および作成プロトコールに対して堅牢であることを保証するために、異なる明視野顕微鏡法（例えば、Ｈ＆Ｅ、ＩＨＣ ＰＤ－Ｌ１、および上皮成長因子受容体（ＥＧＦＲ））、異なる組織（例えば、肺および結腸）、および異なるスキャナ（例えば、ベンタナＤＰ２００およびベンタナＡｐｅｒｉｏ）からの画像を使用して深層学習モデルを訓練することが望ましい場合がある。

【0049】

上述されるように、（例えば、例示の元々の／注釈が付けられた画像パッチペアに基づいて）教師あり学習を使用して入力画像を対応するセグメンテーション画像にマッピングするようにネットワークを訓練することが望ましい場合がある。教師あり学習は、生成された出力セグメンテーションマスクと、利用可能な「グランドトルース」マスク（例えば、手動で注釈が付けられた画像パッチ）との予測ミスあるいは不適合に関する誤りを犯すモデルにペナルティを課すことを含んでよい。

【0050】

１つの例では、ネットワークは（例えば、単一の「除外」クラスとして）同時に異なる異常（例えば、組織のひだのアーチファクトおよびピンぼけのアーチファクト）に対して訓練される。しかしながら、教師あり学習のそのような状況では、いくつかの異なるタイプのアーチファクトを別々に（例えば、異なるクラスとして）扱うことが望ましい場合がある。例えば、ネットワークの出力、およびアーチファクトの所望のクラスのそれぞれに対して別個のグランドトルースを提供することの両方に関して、組織の構造ではない異常を示すアーチファクトに対する訓練を、組織の生体構造を示すアーチファクトに対する訓練から分離することが望ましい場合がある。１つの例では、予測モデル１４１５は、マルチクラス出力をサポートするためにネットワークの最後の層を修正することによって、異常および不要な生体構造の両方のセグメンテーションをサポートするために実装される。

【0051】

図１６は、さまざまな実施形態による、入力画像をセグメント化するための例示的なコンピューティング環境１６００（すなわち、データ処理システム）を示すブロック図を示す。コンピューティング環境１６００は、予測モデル、例えば二次元ＣＮＮモデルを訓練しかつ実行するための分析システム１６０５を含むことができる。より具体的には、分析システム１６０５は、コンピューティング環境１６００の他の構成要素によって使用される各々の予測モデル１６１５ａ～ｎ（本明細書では個別に予測モデル１６１５と称され得る、または予測モデル１６１５と総称され得る）をビルドしおよび訓練する訓練サブシステム１６１０ａ～ｎ（「ａ」および「ｎ」は任意の自然数を表す）を含むことができる。予測モデル１６１５は、深層畳み込みニューラルネットワーク（ＣＮＮ）、例えば、初期ニューラルネットワーク、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）、またはリカレントニューラルネットワーク、例えば、長・短期記憶（「ＬＳＴＭ」）モデルまたはゲート付き回帰型ユニット（「ＧＲＵ」）モデルなどの機械学習（「ＭＬ」）モデルとすることができる。予測モデル１６１５はまた、非標的領域（例えば、アーチファクト領域）をセグメント化し、標的領域をセグメント化し、または標的領域の画像分析を提供するように訓練された任意の他の適したＭＬモデル、例えば、二次元ＣＮＮ（「２ＤＣＮＮ」）、マスクＲ－ＣＮＮ、特徴ピラミッドネットワーク（ＦＰＮ）、動的時間伸縮（「ＤＴＷ」）技法、隠れマルコフモデル（「ＨＭＭ」）など、またはそのような技法のうちの１つまたは複数の組み合わせ、例えば、ＣＮＮ－ＨＭＭまたはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク）とすることができる。コンピューティング環境１６００は、非標的領域をセグメント化し、標的領域をセグメント化し、または標的領域の画像分析を提供するように訓練された同じタイプの予測モデルまたは異なるタイプの予測モデルを用いてよい。例えば、コンピューティング環境１６００は、非標的領域（例えば、アーチファクト領域）をセグメント化するための第１の予測モデル（例えば、Ｕ－Ｎｅｔ）を含むことができる。コンピューティング環境１６００はまた、標的領域（例えば、腫瘍細胞の領域）をセグメント化するための第２の予測モデル（例えば、２ＤＣＮＮ）を含むことができる。コンピューティング環境１６００はまた、標的領域の画像分析のための第３のモデル（例えば、ＣＮＮ）を含むことができる。コンピューティング環境１６００はまた、患者などの対象の処置または予後のための疾患の診断のための第４のモデル（例えば、ＨＭＭ）を含むことができる。本開示による他の例では、さらに他のタイプの予測モデルが実装されてよい。

【0052】

さまざまな実施形態では、訓練サブシステム１６１０ａ～ｎに対応するそれぞれの予測モデル１６１５ａ～ｎは、入力画像要素１６２０ａ～ｎのうちの１つまたは複数のセットに基づいて別々に訓練される。いくつかの実施形態では、入力画像要素１６２０ａ～ｎのそれぞれは、１つまたは複数のスキャンされたスライドからの画像データを含む。入力画像要素１６２０ａ～ｎのそれぞれは、画像に対応する基礎となる画像データが収集された単一の標本および／または１日からの画像データに対応し得る。画像データは、画像、ならびに画像が生成されたイメージングプラットフォームに関する任意の情報を含み得る。例えば、組織切片は、明視野イメージングのための発色性染色または蛍光イメージングのためのフルオロフォアと関連付けられた１つまたは複数の異なるバイオマーカーを含有する染色アッセイの適用によって染色される必要があり得る。染色アッセイは、明視野イメージングのための発色性染色、有機フルオロフォア、量子ドット、もしくは有機フルオロフォアを蛍光イメージングのための量子ドットと一緒に、または染色、バイオマーカー、および閲覧装置またはイメージングデバイスの任意の他の組み合わせを使用することができる。さらに、典型的な組織切片は、組織切片に染色アッセイを適用する自動染色／アッセイプラットフォームで処理されて、染色された試料がもたらされる。染色／アッセイプラットフォームとして使用するのに適した市販のさまざまな商品があり、この１つの例として、譲受人Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ社の製品ＶＥＮＴＡＮＡ ＳＹＭＰＨＯＮＹがある。染色された組織切片は、例えば、顕微鏡、または顕微鏡および／またはイメージング構成要素を有するホールスライドスキャナ上のイメージングシステムに与えられ得、この１つの例として、譲受人Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ社の製品ＶＥＮＴＡＮＡ ｉＳｃａｎ Ｃｏｒｅｏがある。多重組織スライドは、同等の多重化スライドスキャナシステムでスキャンされ得る。イメージングシステムによって提供される追加の情報は、染色に使用される化学物質の濃度、染色において組織に適用される化学物質の反応時間、および／または組織の事前分析条件、例えば、組織の年齢、固定方法、継続時間、切片がどのように埋め込まれたか、切断されたかなどを含む、染色プラットフォームに関する任意の情報を含み得る。

【0053】

入力画像要素１６２０ａ～ｎは、１つまたは複数の訓練入力画像要素１６２０ａ～ｄ、検証入力画像要素１６２０ｅ～ｇ、およびラベルなし入力画像要素１６２０ｈ～ｎを含んでよい。訓練、検証、およびラベルなしグループに対応する入力画像要素１６２０ａ～ｎに同時にアクセスする必要がないことは理解されるべきである。例えば、訓練および検証入力画像要素１６２０ａ～ｎの初期セットは、予測モデル１６１５を訓練するために最初にアクセスおよび使用されてよく、ラベルなし入力画像要素は、その後アクセスまたは受信され（例えば、単一または複数の後続の時間に）、所望の出力（例えば、非標的領域のセグメンテーション）を提供するために訓練された予測モデル１６１５によって使用されてよい。場合によっては、予測モデル１６１５ａ～ｎは教師あり訓練を使用して訓練され、訓練入力画像要素１６２０ａ～ｄおよびオプションとして検証入力画像要素１６２０ｅ～ｇのそれぞれは、非標的領域、標的領域、および、訓練入力画像要素１６２０ａ～ｄおよび検証入力画像要素１６２０ｅ～ｇ内のさまざまな生体物質および構造の識別の「正確な」解釈を特定する１つまたは複数のラベル１６２５と関連付けられる。ラベルは、代替的にはまたはさらに、正常な生体構造または異常な生体構造（例えば、腫瘍細胞）と関連付けられた染色の存在および／または解釈に関して、対応する訓練入力画像要素１６２０ａ～ｄおよび検証入力画像要素１６２０ｅ～ｇ、またはそこにある画素を分類するために使用され得る。ある特定の例では、代替的にはまたはさらに、ラベルを使用して、基礎となる画像が撮像されたときまたは（例えば、画像が撮像された時間に続く所定の継続時間である）後続の時点に対応する時点で、対応する訓練入力画像要素１６２０ａ～ｄおよび検証入力画像要素１６２０ｅ～ｇを分類し得る。

【0054】

いくつかの実施形態では、訓練サブシステム１６１０ａ～ｎは、特徴抽出器１６３０、パラメータデータストア１６３５、分類器１６４０、および訓練器１６４５を含み、これらは訓練データ（例えば、訓練入力画像要素１６２０ａ～ｄ）に基づいて予測モデル１６１５を訓練し、かつ教師ありまたは教師なし訓練中に予測モデル１６１５のパラメータを最適化するために集合的に使用される。場合によっては、訓練プロセスは、予測モデル１６１５の損失関数を最小化する予測モデル１６１５のパラメータのセットを見つけるための反復演算を含む。それぞれの反復は、パラメータのセットを使用する損失関数の値が先の反復におけるパラメータの別のセットを使用する損失関数の値よりも小さくなるように、予測モデル１６１５のパラメータのセットを見つけることを伴う可能性がある。損失関数は、予測モデル１６１５を使用して予測された出力と訓練データに含有されるラベル１６２５との間の差異を測定するように構築され得る。パラメータのセットが特定されると、予測モデル１６１５は訓練されており、設計通りにセグメンテーションおよび／または予測に利用可能である。

【0055】

いくつかの実施形態では、訓練サブシステム１６１０ａ～ｎは、入力層において訓練入力画像要素１６２０ａ～ｄから訓練データにアクセスする。特徴抽出器１６３０は、訓練入力画像要素１６２０ａ～ｄの特定の部分において検出された関連の特徴（例えば、エッジ）を抽出するために訓練データを前処理してよい。分類器１６４０は、抽出された特徴を受信し、かつ、１つまたは複数の予測モデル１６１５における隠れ層のセットと関連付けられた重みに従って、特徴を、非標的領域または標的領域をセグメント化する１つまたは複数の出力メトリックに変換し、画像分析を提供し、患者などの対象の処置または予後のための疾患の診断を提供し、またはそれらの組み合わせを提供することができる。訓練器１６４５は、訓練入力画像要素１６２０ａ～ｄに対応する訓練データを使用して、１つまたは複数のパラメータの学習を容易にすることによって特徴抽出器１６３０および／または分類器１６４０を訓練してよい。例えば、訓練器１６４５は、分類器１６４０によって使用される予測モデル１６１５の隠れ層のセットと関連付けられた重みの学習を容易にするために、バックプロパゲーション技法を使用することができる。バックプロパゲーションは、例えば、確率的勾配降下（ＳＧＤ）アルゴリズムを使用して、隠れ層のパラメータを累積的に更新してよい。学習したパラメータは、例えば、重み、バイアス、および／または他の隠れ層関連パラメータを含み得、これらは、パラメータデータストア１６３５に記憶可能である。

【0056】

個々に訓練された予測モデルまたは訓練された予測モデル群が展開されて、ラベルなしの入力画像要素１６２０ｈ～ｎを処理して非標的領域または標的領域をセグメント化し、画像分析を提供し、患者などの対象の処置または予後のための疾患の診断を提供し、またはそれらの組み合わせを提供することができる。より具体的には、特徴抽出器１６３０の訓練バージョンは、その後分類器１６４０の訓練バージョンによって処理可能であるラベルなし入力画像要素の特徴表現を生成し得る。いくつかの実施形態では、訓練サブシステム１６１０ａ～ｎにおける予測モデル１６１５の拡張を活用する、１つまたは複数の畳み込みブロック、畳み込み層、残差ブロック、またはピラミッド層に基づいて、ラベルなし入力画像要素１６２０ｈ～ｎから画像特徴を抽出することができる。特徴は、画像の特徴ベクトルなどの特徴表現で組織化可能である。予測モデル１６１５は、予測モデル１６１５の完全接続層を含む隠れ層におけるパラメータの分類およびその後の調節に基づいて特徴タイプを学習するように訓練可能である。

【0057】

いくつかの実施形態では、畳み込みブロック、畳み込み層、残差ブロック、またはピラミッド層によって抽出された画像特徴は、１つまたは複数の画像処理動作（例えば、エッジ検出、画像分解能の鮮明化）が実行された標本スライドの１つまたは複数の部分を表す値の行列である特徴マップを含む。これらの特徴マップは、非標的領域マスク、標的領域マスク、または標本スライドに関する現在または将来の予測に対応する１つまたは複数のメトリックを出力する予測モデル１６１５の完全接続層による処理のために平坦化されてよい。例えば、入力画像要素は、予測モデル１６１５の入力層に供給可能である。入力層は、特定の画素に対応するノードを含むことができる。第１の隠れ層は、隠れノードのセットを含むことができ、隠れノードのそれぞれは、複数の入力層ノードに接続される。後続の隠れ層内におけるノードも同様に、複数の画素に対応する情報を受信するように構成可能である。よって、隠れ層は、複数の画素にわたって延在する特徴を検出するように学習するように構成可能である。１つまたは複数の隠れ層のそれぞれは、畳み込みブロック、畳み込み層、残差ブロック、またはピラミッド層を含むことができる。予測モデル１６１５は、１つまたは複数の完全接続層（例えば、ソフトマックス層）をさらに含むことができる。

【0058】

訓練入力画像要素１６２０ａ～ｄ、検証入力画像要素１６２０ｅ～ｇ、および／またはラベルなし入力画像要素１６２０ｈ～ｎの少なくとも一部は、分析システム１６０５の要素であり得るがそうである必要はないソースから直接的または間接的に得られたデータを含み得る、またはそれらから導出されていてよい。いくつかの実施形態では、コンピューティング環境１６００は、いくつかの（例えば、１０～１６などの）チャネルを有するマルチチャネル画像（例えば、マルチチャネル蛍光または明視野画像）などの画像データを得るために試料をイメージングするイメージングデバイス１６５０を備える。イメージングデバイス１６５０は、限定はされないが、カメラ（例えば、アナログカメラ、デジタルカメラなど）、光学系（例えば、１つまたは複数のレンズ、センサフォーカスレンズ群、顕微鏡対物レンズなど）、イメージングセンサ（例えば、電荷結合素子（ＣＣＤ）または相補的金属酸化物半導体（ＣＭＯＳ）画像センサなど）、または写真フィルムなどを含み得る。デジタル実施形態では、画像撮像デバイスは、オンザフライ焦点合わせを提供するために協働する複数のレンズを含むことができる。画像センサ、例えば、ＣＣＤセンサは、標本のデジタル画像を撮像することができる。いくつかの実施形態では、イメージングデバイス１６５０は、明視野イメージングシステム、マルチスペクトルイメージング（ＭＳＩ）システム、または蛍光顕微鏡システムである。イメージングデバイス１６５０は、不可視電磁放射（例えばＵＶ光）または他のイメージング技法を利用して画像を撮像してよい。例えば、イメージングデバイス１６５０は、顕微鏡と、顕微鏡によって拡大された画像を撮像するように配置構成されたカメラとを備えてよい。画像分析システム１６０５によって受信された画像データは、イメージングデバイス１６５０によって取り込まれた生画像データと同一であってよく、および／または生画像データから導出されてよい。

【0059】

場合によっては、訓練入力画像要素１６２０ａ～ｄおよび／または検証入力画像要素１６２０ｅ～ｇと関連付けられたラベル１６２５は、受信されていてよく、またはそれぞれが特定の対象と関連付けられた（例えば）医師、看護師、病院、薬剤師などと関連付けられ得る１つまたは複数のプロバイダシステム１６５５から受信されたデータから導出されてよい。受信データは、（例えば）特定の対象に対応する１つまたは複数の医療記録を含んでよい。医療記録は、（例えば）対象と関連付けられた１つまたは複数の入力画像要素が収集された時間またはその後の定義された期間に対応する期間に関して、対象が腫瘍を有していたかどうか、および／または（例えば、標準的な尺度に沿って、および／またはそのような総代謝腫瘍量（ＴＭＴＶ）といったメトリックを特定することによって）対象の腫瘍の進行の段階を示す専門家の診断または特徴付けを示し得る。受信データは、対象と関連付けられた１つまたは複数の入力画像要素内の腫瘍または腫瘍細胞の位置の画素をさらに含み得る。よって、医療記録は、それぞれの訓練／検証入力画像要素１６２０ａ～ｇに関して、１つまたは複数のラベルを含んでよい、または特定するために使用されてよい。医療記録は、対象が受けていた１つまたは複数の処置（例えば、投薬）および対象が処置を受けていた期間のそれぞれをさらに示し得る。場合によっては、１つまたは複数の訓練サブシステムに入力される画像またはスキャンは、プロバイダシステム１６５５から受信される。例えば、プロバイダシステム１６５５は、イメージングデバイス１６５０から画像を受信し、次いで画像またはスキャンを（例えば、対象識別子および１つまたは複数のラベルと共に）分析システム１６０５に送信してよい。

【0060】

いくつかの実施形態では、イメージングデバイス１６５０のうちの１つまたは複数で受信または収集されたデータは、プロバイダシステム１６５５のうちの１つまたは複数で受信または収集されたデータと集約されてよい。例えば、分析システム１６０５は、イメージングデバイス１６５０から受信した画像データをプロバイダシステム１６５５から受信したラベルデータと関連付けるように、対象および／または期間の対応する、または同一の識別子を特定し得る。分析システム１６０５は、メタデータまたは自動画像分析をさらに使用してデータを処理し、どの訓練サブシステムに特定のデータ成分を供給するかを判断してよい。例えば、イメージングデバイス１６５０から受信した画像データは、スライド全体、またはスライドまたは組織の複数の領域に対応し得る。メタデータ、自動位置合わせ、および／または画像処理は、それぞれの画像について、画像がスライドまたは組織のどの領域に対応するかを示し得る。例えば、自動位置合わせ、および／または画像処理は、画像がスライド基板に対応する画像特性を有するかどうか、または白血球などの特定の細胞と関連付けられる生体構造および／または形状を有するかどうかを検出することを含んでよい。プロバイダシステム１６５５から受信されるラベル関連データは、スライド固有、領域固有、または対象固有であってよい。ラベル関連データがスライド固有または領域固有である場合、メタデータまたは自動分析（例えば、自然言語処理またはテキスト分析を使用する）を使用して、特定のラベル関連データがどの領域に対応するかを特定することができる。ラベル関連データが対象固有であるとき、（所与の対象についての）同一のラベルデータが訓練中にそれぞれの訓練サブシステム１６１０ａ～ｎに供給されてよい。

【0061】

いくつかの実施形態では、コンピューティング環境１６００は、分析システム１６０５の１回または複数回の反復（例えば、それぞれの反復はモデルの１回の実行および／またはモデルの出力の１回の生成に対応する）の実行を要求および／または調整しているユーザと関連付け可能であるユーザデバイス１６６０をさらに含むことができる。ユーザは、医師、（例えば、臨床治験と関連付けられた）研究者、対象、医療専門家などに対応し得る。よって、場合によっては、プロバイダシステム１６５５がユーザデバイス１６６０を含み得る、および／またはユーザデバイス１６６０としての役割を果たし得ることは、理解されよう。それぞれの反復は、ユーザと異なる場合がある（ただし、そうである必要はない）特定の対象（例えば、人）と関連付けられてよい。反復の要求は、特定の対象に関する情報（例えば、特定されていない患者識別子などの対象の名前または他の識別子）を含んでよい、および／または伴ってよい。反復の要求は、対象に対応する入力画像データなどのデータを収集する１つまたは複数の他のシステムの識別子を含み得る。場合によっては、ユーザデバイス１６６０からの通信は、特定の対象のセットに表されたそれぞれの対象について反復を実行する要求に対応して、セットのそれぞれの識別子を含む。

【0062】

要求を受信すると、分析システム１６０５は、ラベルなし入力画像要素の（例えば、対象の識別子を含む）要求を、１つまたは複数の対応するイメージングシステム１６５０および／またはプロバイダシステム１６５５に送ることができる。次いで、訓練された予測モデル１６１５は、ラベルなし入力画像要素を処理して、非標的領域または標的領域をセグメント化し、画像分析を提供し、患者などの対象の処置または予後のための疾患の診断を提供し、またはそれらの組み合わせを提供することができる。それぞれの特定された対象の結果は、訓練サブシステム１６１０ａ～ｎによって展開された訓練された予測モデル１６１５からのセグメント化および／または１つもしくは複数の出力メトリックを含んでよい、またはこれらに基づいてよい。例えば、セグメント化および／または１つもしくは複数の出力メトリックは、１つまたは複数のＣＮＮの完全接続層によって生成された出力を含むことができる、またはこれに基づいてよい。場合によっては、そのような出力は、（例えば）ソフトマックス関数を使用してさらに処理されてよい。さらに、出力および／またはさらに処理された出力は、次いで、集約技法（例えば、ランダムフォレスト集約）を使用して集約されて、１つまたは複数の対象固有のメトリックを生成してよい。１つまたは複数の結果（例えば、プレーン固有の出力および／または１つもしくは複数の対象固有の出力および／またはそれらの処理されたバージョンを含む）は、ユーザデバイス１６６０に送信および／または利用され得る。場合によっては、分析システム１６０５とユーザデバイス１６６０との間の通信の一部または全ては、ウェブサイトを介して行われる。ＣＮＮシステム１６０５が、認証分析に基づいて、結果、データ、および／または処理リソースへのアクセスをゲーティングし得ることは理解されるであろう。

【0063】

明示的に示されていないが、コンピューティング環境１６００が、開発者と関連付けられた開発用デバイスをさらに含み得ることは理解されよう。開発用デバイスからコンピューティング環境１６００の構成要素への通信は、分析システム１６０５におけるそれぞれの予測モデル１６１５に使用されるのはどのタイプの入力画像か、使用されるモデルの数およびタイプ、それぞれのモデルのハイパーパラメータ（例えば、隠れ層の学習率および数）、どれくらいのデータ要求がフォーマットされるのか、どの訓練データが使用されるのか（例えば、また、訓練データにはどのようにアクセスできるのか）、およびどの検証技法が使用されるのか、ならびに／またはコントローラプロセスはどのように構成されるのかを示し得る。

【0064】

上記のように、予測モデル１６１５は、Ｕ－Ｎｅｔアーキテクチャを使用して実装されてよく、Ｕ－Ｎｅｔアーキテクチャは、ボトルネック層への入力を徐々にダウンサンプリングする層を有する符号器と、出力を生じさせるためにボトルネック出力を徐々にアップサンプリングする層を有する復号器とを含む。Ｕ－Ｎｅｔはまた、符号化層と復号化層との間に、等しいサイズの特徴マップを有するスキップ接続を含み、これらの接続は、符号化層の特徴マップのチャネルを対応する復号化層の特徴マップのチャネルと連結させる。特定の例では、予測モデル１６１５は、生成画像と予想された出力画像（例えば、それぞれ、「予測画像」および「グランドトルース」）との間で測定された交差エントロピー損失を介して更新される。予測モデル１６１５を更新するために使用され得る損失関数の他の例には、例えば、Ｌ１損失またはＬ２損失が含まれる。

【0065】

図１７～図２５は、プロセス１０００の実装の例示的な結果を示し、ここで、図１８、図２１、および図２４は、それぞれ、図１７、図２０、および図２３の点線で縁取りして示された部位の拡大バージョンであり、図１９、図２２、および図２５は、それぞれ、図１７、図２０、および図２３の破線で縁取りして示された部位の拡大バージョンである。この例では、モデルは、組織ひだアーチファクトおよびピンぼけアーチファクトに対して訓練され、訓練されたモデルは、異なるスキャナ、異なる染色、および異なる組織タイプから生じるさまざまなホールスライドイメージに対して試験された。本明細書に説明されるように、方法は、同様に、他の一般的な組織ベースのまたは画像ベースのアーチファクトにも拡大され得る。

【0066】

アルゴリズムが、ピント外れの問題（特に、図２２および図２５を参照）がある多くの小さな領域を特定することが分かり、これについて、同じスライドに対して何時間も費やすことなく病理学者が同様に輪郭を描くことは、ほぼ不可能であると思われる。さらに、図１１および図１２を参照して上に論じられるように、アルゴリズムによって、アーチファクトの実際の境界に非常に近いセグメンテーションの境界が描かれることが分かる。４０倍といった高倍率にし（ひいては、レビューされる画像域のサイズを大幅に増加させ）、かつアーチファクトの境界の後により多くの時間を費やすことなく、病理学者がそのような精密さを実現することは不可能である。そのような方法によって、病理学者の手動による注釈と比較して、よりスケーラブル、より堅牢、およびより安価である、ＤＰ画像におけるアーチファクトのセグメンテーションのための自動解法が提供され得る。

【0067】

Ｖ．さらなる考察
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つまたは複数のデータプロセッサ上で実行されるとき、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全ておよび／または１つまたは複数のプロセスの一部もしくは全てを実行させる命令を含有する非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全ておよび／または１つまたは複数のプロセスの一部もしくは全てを実行させるように構成された命令を含む非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

【0068】

用いられた用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されかつ説明された特徴の任意の等価物またはその一部を除外することを意図するものではないが、特許請求された発明の範囲内でさまざまな修正が可能であることは認識されたい。よって、特許請求される本発明は、具体的には、実施形態およびオプションの特徴によって開示されているが、本明細書に開示された概念の修正および変形を当業者が採用してよく、そのような修正および変形が添付の特許請求の範囲によって定められる本発明の範囲内にあるとみなされることは、理解されるべきである。

【0069】

本明細書は、好ましい例示的実施形態のみを提供し、本開示の範囲、応用性、または構成を限定することは意図されていない。もっと正確に言えば、好ましい例示的実施形態の記載は、当業者に、さまざまな実施形態を実現するための実施可能な説明を提供するであろう。添付の特許請求の範囲に示されるような趣旨および範囲から逸脱することなく、要素の機能および配置においてさまざまな変更がなされてよいことは理解されたい。

【0070】

以下の記載には、実施形態を完全に理解してもらうために具体的な詳細が示されている。しかしながら、実施形態がこれらの具体的な詳細なく実践され得ることは理解されるであろう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、不必要な詳細で実施形態を不明瞭にしないためにブロック図の形式の構成要素として示されている場合がある。他の事例では、周知の回路、プロセス、アルゴリズム、構造、および技法は、実施形態を不明瞭にすることを回避するために不必要な詳細なく示されている場合がある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【国際調査報告】