特表 2023-534448 機械学習技術を使用したデジタル病理画像における特徴の異種性の評価

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-09

(54)【発明の名称】機械学習技術を使用したデジタル病理画像における特徴の異種性の評価

(51)【国際特許分類】

   G06V 10/82 20220101AFI20230802BHJP

   G06T 7/00 20170101ALI20230802BHJP

   G01N 33/48 20060101ALI20230802BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G06T7/00 630

G01N33/48 M

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023501886

(86)(22)【出願日】2021-07-14

(85)【翻訳文提出日】2023-03-07

(86)【国際出願番号】 US2021041578

(87)【国際公開番号】W WO2022015819

(87)【国際公開日】2022-01-20

(31)【優先権主張番号】63/052,297

(32)【優先日】2020-07-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】509012625

【氏名又は名称】ジェネンテック， インコーポレイテッド

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】コズラウスキー， クレオパトラ

(72)【発明者】

【氏名】バイケジャン， レヒーマン

【テーマコード（参考）】

2G045

5L096

【Ｆターム（参考）】

2G045AA24

2G045BB24

2G045CB01

2G045JA01

2G045JA03

5L096AA02

5L096BA06

5L096BA13

5L096DA01

5L096GA19

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

一実施形態では、方法は、組織サンプルのデジタル病理画像を受信することと、デジタル病理画像を複数のパッチに細分化することと、を含む。複数のパッチの各パッチについて、本方法は、パッチ内で検出された画像特徴を識別することと、機械学習モデルを使用して、パッチ内で識別された画像特徴に対応する１つ以上のラベルを生成することと、を含む。本方法は、生成されたラベルに基づいて、組織サンプルの異種性メトリックを決定することを含む。本方法は、異種性メトリックに基づいて組織サンプルの評価を生成することを含む。
【選択図】図４Ａ

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
組織サンプルのデジタル病理画像を受信することと、
前記デジタル病理画像を複数のパッチに細分化することと、
前記複数のパッチの各パッチについて、
前記パッチにおいて検出された画像特徴を識別することと、
訓練された機械学習モデルを使用して、前記パッチにおいて識別された前記画像特徴に対応する１つ以上のラベルを生成することと、
生成された前記ラベルに基づいて、前記組織サンプルの異種性メトリックを決定することと、
前記異種性メトリックに基づいて前記組織サンプルの評価を生成することと
を含む、方法。

【請求項2】

前記組織サンプルの前記デジタル病理画像が、非小細胞肺がんと診断された患者からの腫瘍サンプルの全スライド画像である、請求項１に記載の方法。

【請求項3】

前記デジタル病理画像が、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色画像である、請求項１に記載の方法。

【請求項4】

前記デジタル病理画像の前記複数のパッチにおいて検出された画像特徴が、組織像に対応する、請求項１に記載の方法。

【請求項5】

前記生成されたラベルが、腺癌および扁平上皮癌腫のがん領域に対応する、請求項４に記載の方法。

【請求項6】

前記デジタル病理画像の前記複数のパッチにおいて検出された画像特徴が、突然変異または遺伝子バリアントに対応する、請求項１に記載の方法。

【請求項7】

前記生成されたラベルが、カーステンラット肉腫ウイルス癌遺伝子ホモログ（ＫＲＡＳ）変異、上皮増殖因子受容体（ＥＧＦＲ）変異、未分化リンパ腫キナーゼ（ＡＬＫ）変異、または腫瘍タンパク質５３（ＴＰ５３）変異に対応する、請求項６に記載の方法。

【請求項8】

前記異種性メトリックが、前記組織サンプル中の識別された前記画像特徴および対応するラベルの異種性の程度を示す、請求項１に記載の方法。

【請求項9】

前記生成されたラベルに基づいてパッチベース署名を生成することと、
前記パッチベース署名を使用して、画像特徴の視覚化を生成するか、または前記機械学習モデルを評価することと
をさらに含む、請求項１に記載の方法。

【請求項10】

前記パッチベース署名がヒートマップを含み、前記ヒートマップが複数の領域を含み、前記複数の領域の各領域がそれぞれ強度値に関連付けられ、前記複数の領域のうちの１つ以上の領域が、前記デジタル病理画像の前記パッチの予測されたラベルにさらに関連付けられる、請求項９に記載の方法。

【請求項11】

前記組織サンプルにおいて識別された前記画像特徴の前記視覚化が、前記生成されたラベルのそれぞれを区別された色分けで表示することを含む、請求項９に記載の方法。

【請求項12】

前記パッチベース署名が、顕著性マッピング技術を使用して生成される、請求項９に記載の方法。

【請求項13】

前記機械学習モデルを訓練することをさらに含み、前記機械学習モデルを訓練することが、
複数の対象にそれぞれ関連付けられた複数のデジタル病理画像にアクセスすることと、
前記複数のデジタル病理画像のそれぞれにおける腫瘍領域を識別することと、
前記複数のデジタル病理画像のそれぞれを訓練パッチのセットに細分化することであって、前記セット内の各訓練パッチが、１つ以上の特徴によって分類され、かつ前記１つ以上の特徴に対応する１つ以上のグランドトゥルースラベルによって注釈付けされる、前記複数のデジタル病理画像のそれぞれを訓練パッチのセットに細分化することと、
前記パッチに示された前記特徴に対応するグランドトゥルースラベルを有する訓練パッチの分類されたセットを使用して、前記機械学習モデルを訓練することと
を含む、請求項１に記載の方法。

【請求項14】

前記グランドトゥルースラベルが臨床医によって提供される、請求項１３に記載の方法。

【請求項15】

前記機械学習モデルを更新することをさらに含み、前記機械学習モデルを更新することが、
特定の対象の特定のデジタル病理画像にアクセスすることと、
前記特定のデジタル病理画像を第２のパッチのセットに細分化することと、
前記第２のパッチのセット内の第２の画像特徴を識別することと、
訓練された前記機械学習モデルを使用して、前記第２のパッチのセットにおいて識別された前記第２の画像特徴に対応する予測されたラベルのセットを生成することと、
生成された前記予測されたラベルのセットを前記グランドトゥルースラベルと比較して、前記機械学習モデルのラベル予測の精度を測定することと、
前記比較に基づいて前記機械学習モデルを更新することであって、前記機械学習モデルを更新することが、前記機械学習モデルをさらに訓練することを含む、前記機械学習モデルを更新することと
を含む、請求項１３に記載の方法。

【請求項16】

前記機械学習モデルが、深層学習ニューラルネットワークである、請求項１に記載の方法。

【請求項17】

前記評価に基づいて患者の１つ以上の治療選択肢を決定することをさらに含む、請求項１に記載の方法。

【請求項18】

デジタル病理画像処理システムであって、
１つ以上のプロセッサと、
前記プロセッサのうちの１つ以上に結合され、かつ前記プロセッサのうちの１つ以上によって実行されると、前記システムに動作を実行させるように動作可能な命令を備える、１つ以上のコンピュータ可読非一時的記憶媒体であって、前記動作が、
組織サンプルのデジタル病理画像を受信することと、
前記デジタル病理画像を複数のパッチに細分化することと、
前記複数のパッチの各パッチについて、
前記パッチにおいて検出された画像特徴を識別することと、
機械学習モデルを使用して、前記パッチにおいて識別された前記画像特徴に対応する１つ以上のラベルを生成することと、
生成された前記ラベルに基づいて、前記組織サンプルの異種性メトリックを決定することと、
前記異種性メトリックに基づいて前記組織サンプルの評価を生成することと
を含む、デジタル病理画像処理システム。

【請求項19】

前記デジタル病理画像の前記複数のパッチにおいて検出された画像特徴が、組織像または突然変異に対応する、請求項１８に記載のデジタル病理画像処理システム。

【請求項20】

命令を含む１つ以上のコンピュータ可読非一時的記憶媒体であって、前記命令が、１つ以上のプロセッサによって実行されると、デジタル病理画像処理システムの前記１つ以上のプロセッサに、
組織サンプルのデジタル病理画像を受信することと、
前記デジタル病理画像を複数のパッチに細分化することと、
前記複数のパッチの各パッチについて、
前記パッチにおいて検出された画像特徴を識別することと、
機械学習モデルを使用して、前記パッチにおいて識別された前記画像特徴に対応する１つ以上のラベルを生成することと、
生成された前記ラベルに基づいて、前記組織サンプルの異種性メトリックを決定することと、
前記異種性メトリックに基づいて前記組織サンプルの評価を生成することと
を含む動作を実行させるように構成される、コンピュータ可読非一時的記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

優先権
本出願は、参照により本明細書に組み込まれる、２０２０年７月１５日に出願された米国仮特許出願第６３／０５２２９７号の米国特許法第１１９条（ｅ）に基づく利益を主張する。

【0002】

技術分野
本開示は、一般に、デジタル病理画像を分類し、スライド画像全体で検出された特徴の異種性を評価することに関する。

【背景技術】

【0003】

背景
肺の腺扁平上皮癌腫は、他の非小細胞肺がん（ＮＳＣＬＣ）と比較して予後不良である。腺癌（ＡＤＣ）および扁平上皮癌腫（ＳＣＣ）は、一般的な種類のＮＳＣＬＣである。腺扁平上皮癌（ＡＳＣ）は、同じ腫瘍においてＡＤＣおよびＳＣＣの双方の特徴を有する。ＡＳＣの発生率は研究間で異なるが、全肺がんの０．４から４％を占めると推定される。これらのがんの診断は、腫瘍の十分なサンプリング、慎重な検討、および組織学的基準の客観的解釈を含むいくつかの因子に依存する。

【0004】

特定の遺伝子変異は、ＮＳＣＬＣまたは他の種類のがんに関連している。これらの突然変異の１つ以上を有することは、医師が推奨する治療の種類に影響を及ぼす可能性がある。したがって、患者におけるこれらの異なる遺伝子変異の同定は、治療および患者の転帰に影響を及ぼす可能性がある。一般にＮＳＣＬＣに関連する遺伝子変異としては、腫瘍タンパク質５３（ＴＰ５３）変異、カーステンラット肉腫ウイルス癌遺伝子ホモログ（ＫＲＡＳ）変異、上皮成長因子受容体（ＥＧＦＲ）変異、および未分化リンパ腫キナーゼ（ＡＬＫ）変異を含む。

【0005】

組織像（例えば、ＡＤＣがん領域、ＳＣＣがん領域など）を識別するための現在の技術またはアプローチは、病理学者または他の訓練された専門家によるデジタル病理画像（例えば、スライド画像全体）における手動識別を必要とする。手動による識別は、時間がかかり、面倒であり、時にはヒューマンエラーに縛られる。また、デジタル病理画像のみから腫瘍突然変異を手動で識別することは不可能であることが多い。したがって、ＮＳＣＬＣ、他のがん、および他の症状に関するデジタル病理画像において、組織像、突然変異、または関心のある他の特徴を含む特徴を識別するための自動化された技術または手法が望まれている。さらに、腫瘍生物学および様々な治療に対する患者の反応性のより良い理解につながる特定の症状（例えば、特定のがん）を有する患者におけるこれらの特徴の異種性を評価することが望まれている。

【発明の概要】

【0006】

特定の実施形態の概要
特定の実施形態では、コンピュータ実装方法は、組織サンプルのデジタル病理画像を受信することと、デジタル病理画像を複数のパッチに細分化すること、とを含む。組織サンプルのデジタル病理画像は、非小細胞肺がん（ＮＳＣＬＣ）と診断された患者からの腫瘍サンプルの全スライドスキャン画像とすることができる。特定の実施形態では、デジタル病理画像またはスライド画像全体は、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色画像である。本方法は、パッチごとに、パッチ内で検出された画像特徴を識別することと、機械学習モデルを使用して、パッチ内で識別された画像特徴に対応する１つ以上のラベルを生成することと、を含む。機械学習モデルは、深層学習ニューラルネットワークとすることができる。一実施形態では、画像特徴は、組織像を含み、パッチに適用される１つ以上のラベルは、腺癌（ＡＤＣ）および扁平上皮癌腫（ＳＣＣ）のがん領域を含む。別の実施形態では、画像特徴は、遺伝子突然変異またはバリアントを示し、パッチに適用される１つ以上のラベルは、Ｋｉｒｓｔｅｎラット肉腫ウイルス癌遺伝子ホモログ（ＫＲＡＳ）突然変異、上皮増殖因子受容体（ＥＧＦＲ）突然変異、未分化リンパ腫キナーゼ（ＡＬＫ）突然変異、または腫瘍タンパク質５３（ＴＰ５３）突然変異を含む。本方法は、生成されたラベルに基づいて組織サンプルの異種性メトリックを決定することを含む。組織サンプルが異なるラベルの混合物を有するパッチによって表される場合、それは異種であると考えられる。異種性メトリックは、組織サンプル中の識別された画像特徴および対応するラベルの異種性の程度を評価するために使用されることができる。本方法は、異種性メトリックに基づいて組織サンプルの評価を生成することをさらに含む。特定の医学的症状に対する医学的治療を試験する際に対象が臨床試験に適格であるかどうかに関する決定は、評価に基づいて行うことができる。また、評価に基づいて、対象に対して１つ以上の治療選択肢が決定されてもよい。

【0007】

特定の実施形態では、デジタル病理画像処理システムは、識別された特徴および対応するラベルの異種性の程度を示すパッチベースの画像署名などの様々な視覚化を出力することができる。パッチベース署名は、病理学者が識別された画像特徴を視覚化するために、または機械学習モデルを評価するために使用されることができる。また、パッチベース署名は、対象の診断もしくは評価または初期評価のレビューにおいて病理学者を支援することができる。パッチベース署名は、識別された画像特徴に基づいて生成されることができ、識別された画像特徴に対応するラベルのそれぞれを異なる色分けで表示するなど、組織サンプル内の識別された画像特徴の視覚化を示すことができる。一実施形態では、パッチベース署名は、顕著性マッピング技術を使用して生成されることができる。特定の実施形態では、パッチベース署名は、複数の領域を含むヒートマップである。複数の領域の各領域には、強度値が関連付けられている。複数の領域のうちの１つ以上の領域は、デジタル病理画像のパッチの予測されたラベルとさらに関連付けられる。

【0008】

特定の実施形態では、デジタル病理画像処理システムは、機械学習モデル（例えば、深層学習ニューラルネットワーク）を訓練して、画像特徴を識別し、デジタル病理画像から複数のパッチに示される識別された画像特徴（例えば、組織像、突然変異など）に対応するラベルを生成することができる。機械学習モデルを訓練することは、複数の対象にそれぞれ関連付けられた複数のデジタル病理画像にアクセスすること（例えば、ＮＳＣＬＣ患者由来の組織サンプル）と、複数のデジタル病理画像のそれぞれにおける腫瘍領域を識別することと、複数のデジタル病理画像を訓練パッチのセットに細分化することであって、セット内の各訓練パッチが、１つ以上の特徴によって分類され、かつ１つ以上の特徴に対応する１つ以上のグランドトゥルースラベルによって注釈される、複数のデジタル病理画像を訓練パッチのセットに細分化することと、パッチに示された特徴に対応するグランドトゥルースラベルを有する分類されたパッチのセットを使用して、機械学習モデルを訓練することと、を含むことができる。グランドトゥルースラベルは、臨床医によって提供される。

【0009】

特定の実施形態では、デジタル病理画像処理システムは、機械学習モデルの精度をさらに試験するかまたは訓練を検証し、検証に基づいてモデルを更新することができる。機械学習モデルを試験および更新することは、特定の対象の特定のデジタル病理画像にアクセスすることと、特定のデジタル病理画像をパッチのセットに細分化することと、パッチ内で検出された第２の画像特徴を識別および分類することと、訓練された機械学習モデルを使用してパッチのセットの識別された第２の画像特徴に対応する予測されたラベルのセットを生成することと、生成された予測されたラベルのセットをパッチのセットに関連付けられたグランドトゥルースラベルと比較することと、比較に基づいて機械学習モデルを更新することと、を含む。機械学習モデルを更新することは、機械学習モデルをさらに訓練することを含むことができる。

【0010】

機械学習モデルまたは深層学習ニューラルネットワークを使用して、デジタル病理（例えば、Ｈ＆Ｅ染色）画像内の画像特徴（例えば、組織像、遺伝子変異など）を分類し、対応するラベル（例えば、変異型、組織学的サブタイプなど）を生成することは、いくつかの点で特に有利である。利点のいくつかは、例えば、限定ではないが、１）研究のために数千枚の全スライド画像を手動で評価し、これらの画像のそれぞれの特徴を識別することからユーザ（例えば、病理学者、医師、臨床専門家など）の負担を軽減すること、２）全体的な画像分類および評価プロセスを迅速化すること、ならびにモデルが十分に訓練されると、実際には、人間による手動の分類および評価において時々導入されることがあるエラーまたはエラーの可能性が少なくなり得ること、３）以前は未知であった新規バイオマーカーまたは特徴を識別するのを助けること、４）治療に対する患者の反応における異種性の役割を研究すること、および５）特定の種類の分析に高価で時間のかかるＤＮＡ配列決定に頼るのではなく、Ｈ＆Ｅ染色の比較的安価で迅速なプロセスから生じる画像を利用することを含むことができる。

【0011】

なお、本明細書に開示された実施形態は例にすぎず、本開示の範囲はこれらに限定されない。本明細書の例は、特定の種類のがん（例えば、肺がん、前立腺がんなど）に関して記載されることができる。これらの説明は、限定ではなく例としてのみであり、議論される特定のがんに適用するための技術は、本開示の技術からの著しい変更または逸脱を必要とせずに、他の種類のがんおよび／または他の症状に適用されることができる。特定の実施形態は、本明細書に開示された実施形態の構成要素、要素、特徴、機能、動作、またはステップの全て、一部、またはいずれも含まなくてもよい。本発明にかかる実施形態は、特に、方法、記憶媒体、システム、およびコンピュータプログラム製品に関する添付の特許請求の範囲に開示されており、１つの請求項カテゴリ、例えば方法で言及された任意の特徴は、別の請求項カテゴリ、例えばシステムでも特許請求されることができる。添付の特許請求の範囲における従属性または参照は、形式的な理由のみのために選択される。しかしながら、請求項とその特徴との任意の組み合わせが開示され、添付の請求項において選択された従属性に関係なく特許請求することができるように、任意の先行する請求項（特に複数の従属性）への意図的な参照から生じる任意の主題も同様に特許請求することができる。特許請求されることができる主題は、添付の特許請求の範囲に記載されているような特徴の組み合わせだけでなく、特許請求の範囲内の特徴の任意の他の組み合わせも含み、特許請求の範囲に記載された各特徴は、特許請求の範囲内の任意の他の特徴または他の特徴の組み合わせと組み合わせられることができる。さらに、本明細書に記載または図示された実施形態および特徴のいずれも、別個の請求項に、および／または本明細書に記載または図示された任意の実施形態または特徴と、または添付の特許請求の範囲の特徴のいずれかとの任意の組み合わせで特許請求されることができる。

【図面の簡単な説明】

【0012】

【図1A-1B】機械学習モデルを使用してデジタル病理画像内の特徴を識別し、デジタル病理画像内の識別された特徴の異種性に基づいて対象評価を生成するための例示的なプロセスを示している。

【0013】

【図2A-2B】機械学習モデルを使用してデジタル病理画像内の特徴を識別し、デジタル病理画像内の識別された特徴の異種性に基づいて対象評価を生成するための別の例示的なプロセスを示している。

【0014】

【図3】デジタル病理画像処理システムおよびデジタル病理画像生成システムを含む例示的なネットワークを示している。

【0015】

【図4A-4B】機械学習モデルを使用して識別された画像特徴および対応するラベルに基づいて生成されることができる例示的な視覚化を示している。

【0016】

【図4C】異なる視覚化技術を使用して例示的なデジタル病理画像を視覚化することを示している。

【0017】

【図4D】顕著性マッピング技術を用いて画像を視覚化する例を示している。

【0018】

【図5A-5B】パッチに示された画像特徴の検出にしたがってデジタル病理画像のパッチを分類するための機械学習モデルを訓練する例示的な実施形態を示している。

【0019】

【図6】２つの異なるサンプリングデータに基づく予測されたラベルと真のラベルとの間の例示的な実験的比較データを示している。

【0020】

【図7】機械学習モデルを使用してデジタル病理画像内の特徴を識別し、デジタル病理画像内の識別された特徴の異種性に基づいて対象評価を生成するための例示的な方法を示している。

【0021】

【図8】パッチに示された画像特徴の検出にしたがってデジタル病理画像のパッチをラベル付けまたは分類するための機械学習モデルを訓練および更新するための例示的な方法を示している。

【0022】

【図9】例示的なコンピュータシステムを示している。

【発明を実施するための形態】

【0023】

例示的実施形態の説明
本実施形態は、対象から採取されたサンプルのデジタル病理画像における組織像および突然変異などの様々な特徴を検出するための自動化された方法を含む。本実施形態は、がんなどの特定の症状の診断および予後、ならびに特定の症状の治療の推奨など、対象の症状の評価を生成するためのデジタル病理画像に示されたこれらの特徴の異種性を評価するための自動化された方法をさらに含む。特定の実施形態では、例示的な方法は、機械学習モデル（例えば、深層学習ニューラルネットワーク）を使用して画像特徴のスライド全体の予測を生成することと、これらの特徴に対応するスライド全体から細分化されたパッチのラベルを生成することと、ラベルに基づいて異種性メトリックを計算することと、計算された異種性メトリックに基づいて、対象の評価、例えば診断または予後を生成することと、を含む。いくつかの実施形態では、パッチベース署名（例えば、ヒートマップ、統計的相関、カウント、閾値、符号化など）が作成および使用されて、組織サンプル内の特徴を識別する際に機械学習モデルを評価することができる。本実施形態は、ニューラルネットワークを使用してそのようなパッチベース署名を開発することと、ニューラルネットワークを使用してパッチベース署名の評価基準を開発することと、を含むことができる。これらの実施形態は、提示基準のサブタイプおよび組み合わせを識別することがこれまで困難であった正確な識別を標準化および迅速化するのに役立ち、その結果、より良好な標的療法をもたらすことができる。さらに、異種な腫瘍における画像特徴（例えば、組織像に対応する）の相対的寄与を定量化する自動化技術は、腫瘍生物学のより良い理解をもたらすであろう。

【0024】

特定の実施形態では、画像特徴を分類し、ラベルを生成するための機械学習モデルまたはニューラルネットワークを訓練することは、ＮＳＣＬＣ患者からの組織サンプルなどの特定の症状種類を有する複数の患者からの組織サンプルの画像データに基づいてモデルを訓練することを含むことができる。訓練サンプルは、指定された解像度でスキャンされることができ、画像データは、病理学者によって識別された腫瘍領域を含むことができる。各スライド腫瘍領域は、より小さな画像パッチに分けられることができる。例えば、パッチは、５１２×５１２画素の面積を有することができ、元の画像は、１００，０００×１００，０００画素程度とすることができる。組織パッチに示される画像特徴を識別および分類するための組織パッチ用の分類器は、スライド全体レベルのラベルを使用して開発されることができる。分類器は、転移学習および弱教師あり学習を使用して訓練された畳み込みニューラルネットワーク（ＣＮＮ）から導出されることができる。

【0025】

機械学習モデル（例えば、深層学習ニューラルネットワーク）が十分に訓練されると、モデルが適用されて、見えない試験画像またはスライドに対してパッチレベルの予測を実行することができる。モデルは、スライドごとに抽出された全てのパッチの中から予測された最も一般的な特徴（例えば、組織学）を選択することによって実行されたスライド全体の診断を含む結果を出力することができる。いくつかの実施形態では、パッチベースの画像署名は、人間が解釈可能な形態で単一の組織サンプル内の検出された特徴（例えば、組織像）の異種性の程度を視覚化または表すために作成されることができる。実施形態は、パッチレベル分類決定に寄与するパッチベースの画像署名、ネットワークおよび／または画像特徴などの表示を含む視覚化を出力することをさらに含むことができる。

【0026】

ここで、デジタル病理画像（例えば、Ｈ＆Ｅ染色画像）における組織像または突然変異を含む特徴を識別するための機械学習技術を使用して、図１Ａ～図１Ｂおよび図２Ａ～図２Ｂに関して説明する。特に、図１Ａ～図１Ｂは、深層学習ニューラルネットワークを使用して例示的なデジタル病理画像のパッチから組織学を識別または抽出し、対象または患者の肺がんの症状を診断するために抽出された組織像の異種性を評価するための実施形態を図示および説明する。図２Ａ～図２Ｂは、深層学習ニューラルネットワークを使用して例示的なデジタル病理画像のパッチから突然変異または遺伝子バリアントを識別し、対象評価のために識別された突然変異の異種性を評価するための実施形態を図示および説明する。これらの図１Ａ～図１Ｂおよび図２Ａ～図２Ｂの説明のいくつかは重複してもよい（例えば、画像分類および異種性計算のためのプロセス）が、図１Ａ～図１Ｂおよび図２Ａ～図２Ｂのそれぞれにおいて決定または生成される特徴、ラベル、異種性メトリック、および対象評価は異なることに留意されたい。以下、これらの各図について詳細に説明する。

【0027】

図１Ａ～図１Ｂは、機械学習モデルを使用してデジタル病理画像内の特徴を識別し、デジタル病理画像内の特徴の異種性に基づいて対象評価を生成する例示的なプロセス１００および１５０をそれぞれ示している。具体的には、図１Ａ～図１Ｂは、深層学習ニューラルネットワークを使用して例示的なデジタル病理画像のパッチから特徴、例えば組織像を識別または抽出し、対象または患者の肺がんの症状を診断するために抽出された組織像の異種性を評価することを示している。混合組織学的サブタイプを識別することは、薬物処置に反応性の患者／対象のより良好な選択を可能にし、腫瘍異種性につながる生物学的機構を解明することができる。図３は、本明細書に記載のいくつかの実施形態にかかる、深層学習ニューラルネットワークを使用して組織像を抽出し、抽出された組織像の異種性を評価するために使用されることができる対話型コンピュータシステムのネットワーク３００を示している。図１Ａに示すように、１１０において、デジタル病理画像処理システム３１０は、組織サンプルのデジタル病理画像１０５を受信する。特定の実施形態では、組織サンプルのデジタル病理画像は、非小細胞肺がんと診断された対象または患者からのサンプルの全スライド画像とすることができる。第１の実施形態では、本明細書において論じられるデジタル病理画像または全スライド画像は、Ｈ＆Ｅ染色画像であるか、または非小細胞肺がんと診断された患者からの腫瘍サンプルのＨ＆Ｅ調製から取得されることができる。Ｈ＆Ｅ染色画像を使用する利点は、特に、特定の組織像を識別するための高価で時間のかかるプロセスであるＤＮＡ配列決定などの他の技術と比較して、取得するのが比較的迅速且つ安価であることである。本開示の教示から逸脱することなく、他の染色およびイメージング技術によって生成された画像も使用されることができることを理解されたい。デジタル病理画像処理システム３１０は、デジタル病理画像生成システム３２０またはその１つ以上の構成要素から、デジタル病理画像またはスライド画像１０５全体を受信することができる。別の例として、デジタル病理画像処理システム３１０は、１つ以上のユーザ装置３３０からデジタル病理画像１０５を受信することができる。ユーザ装置３３０は、１つ以上のネットワークを介してデジタル病理画像処理システム３１０に接続された病理医または臨床医によって使用されるコンピュータとすることができる。ユーザ装置３３０のユーザは、ユーザ装置３３０を使用してデジタル病理画像１０５をアップロードするか、またはデジタル病理画像１０５をデジタル病理画像処理システム３１０に提供するように１つ以上の他の装置に指示することができる。

【0028】

特定の実施形態では、図１Ａには示されていないが、デジタル病理画像処理システム３１０は、画像１１０上で腫瘍病変セグメンテーションを実行することができる。例えば、腫瘍領域（例えば、疾患領域）が画像１１０において識別されることができる。一実施形態では、デジタル病理画像処理システム３１０は、ユーザの助けを借りて腫瘍領域を識別することができる。例えば、デジタル病理画像処理システム３１０は、別個の腫瘍セグメンテーションアルゴリズムまたは１つ以上の機械学習技術を使用して腫瘍領域を自動的に識別する。例えば、機械学習モデルは、人間の専門家によるデジタル病理画像のセット内の予めラベル付けされたまたは予め注釈付けされた腫瘍領域に基づいて訓練されることができる。いくつかの実施形態では、腫瘍領域は、病理学者、医師、臨床専門医、肺がん（または組織サンプルに関連する別の目的のがん）の診断の専門家などによって手動で選択されることができる。腫瘍病変セグメンテーションを行うことは、特徴の評価に寄与しないデジタル病理画像１１０の無関係な部分（例えば、空白領域）を排除し、最終的に有用な信号の有病率を低下させるために有利である。

【0029】

１２０において、デジタル病理画像処理システム３１０は、例えばパッチ生成モジュール３１１を使用して、デジタル病理画像１０５（識別された腫瘍領域を有する）を複数のパッチ１１５ａ、１１５ｂ、１１５ｃ、．．．１１５ｎ（本明細書では個別にまたは集合的に１１５とも呼ばれる）に細分化する。画像１０５を細分化することは、場合によっては、図１Ａに示すように、グリッド構造フォーマットの画像を小さな画像タイルまたはパッチにタイリングすることを含むことができる。特定の実施形態では、腫瘍病変セグメンテーション後に生じるものとして示されているが、腫瘍病変セグメンテーションプロセスは、画像をパッチに細分化した後に起こり得る。

【0030】

１３０において、デジタル病理画像処理システム３１０は、例えばパッチ分類モジュール３１２を使用して、各パッチ内の１つ以上の画像特徴を識別し、深層学習ニューラルネットワーク１２５を使用して、識別された画像特徴に対応する複数のパッチ１１５の複数のラベル１３５ａ、１３５ｂ、１３５ｃ、．．．１３５ｎ（本明細書では個別にまたは集合的に１３５とも呼ばれる）を生成する。いくつかの実施形態では、本明細書の他の箇所で説明するように、画像特徴を識別することにより、デジタル病理画像処理システム３１０は、組織サンプルに内在する組織構造を識別または分類することができる。各ラベル１３５は、非小細胞肺がん（ＮＳＣＬＣ）の種類などの特定の画像特徴を示し、識別し、または表すことができる。例として、パッチ１１５ａについて、パッチ分類モジュール３１２は、パッチ１１５ａに示される１つ以上の画像特徴が腺癌（ＡＤＣ）に関連することを示す対応するラベル１３５ａを生成し、パッチ１１５ｂについて、パッチ分類モジュール３１２は、パッチ１１５ｂに示される１つ以上の画像特徴が扁平上皮癌腫（ＳＣＣ）に関連することを示す対応するラベル１３５ｂを生成し、パッチ１１５ｃについて、パッチ分類モジュール３１２は、パッチ１１５ｂに示される１つ以上の画像特徴がＳＣＣに関連することを示す対応するラベル１３５ｃを生成し、パッチ１１５ｎについて、パッチ分類モジュール３１２は、パッチ１１５ｎに示される１つ以上の画像特徴がＡＤＣに関連することを示す対応するラベル１３５ｎを生成する。図１ＡにはＡＤＣおよびＳＣＣの２つの種類のラベルのみが示されているが、組織構造における他の特徴のための他の種類のラベルは、深層学習ニューラルネットワーク１２５を使用して識別されることができることに留意されたい。

【0031】

特定の実施形態では、本明細書で説明する深層学習ニューラルネットワーク１２５は、転移学習および弱教師あり学習技術を使用して、インセプションＶ３およびＲｅｓｎｅｔ１８アーキテクチャに基づいて訓練されることができる畳み込みニューラルネットワークである。深層学習ニューラルネットワーク１２５を訓練するための他の学習技術も可能であり、本開示の範囲内であることを理解されたい。画像パッチ内で識別された組織像に基づいて画像パッチを分類するための深層学習ニューラルネットワーク１２５の訓練は、少なくとも図５Ａ～図５Ｂおよび図８を参照して以下に詳細に説明される。

【0032】

図１Ｂは、図１Ａのプロセス１００によって生成されたラベル１３５に基づいて、対象評価のためのデジタル病理画像において（例えば、デジタル病理画像のパッチにおいて）識別された組織像の異種性を評価するためのプロセス１５０を示している。図１Ａと同様に、プロセス１５０においてそれぞれの動作を実行する様々なコンピューティング構成要素またはモジュールについて図３を参照することに留意されたい。図示されるように、デジタル病理画像処理システム３１０は、例えば画像視覚化モジュール３１３を使用して、ラベル付きパッチ（例えば、パッチおよびそれらの対応する組織像）を任意の視覚化ツールまたはアプリケーション１６０に任意に供給することができる。例えば、画像視覚化モジュール３１３は、デジタル病理画像１０５とともに、ＡＤＣ１５５ａとラベル付けされたパッチ、ＳＣＣ１５５ｂとラベル付けされたパッチ、ＳＣＣ１５５ｃとラベル付けされたパッチ、およびＡＤＣ１５５ｎとラベル付けされたパッチを視覚化ツール１６０に供給することができる。いくつかの実施形態では、画像視覚化モジュール３１３および視覚化ツール１６０は、単一の構成要素として組み合わされるか、または協働する。他の実施形態では、画像視覚化モジュール３１３および視覚化ツール１６０は、別個の構成要素である。

【0033】

いくつかの実施形態では、ラベル付きパッチ１５５およびデジタル病理画像全体またはスライド画像全体１０５を使用する任意の視覚化ツール１６０は、デジタル病理画像の任意のパッチベース署名（例えば、ヒートマップ、領域オーバーレイ）１７０を生成することができる。視覚化ツール１６０およびパッチベース署名１７０は、それらがプロセス１５０の任意の部分または構成要素であり、本明細書において説明される異種性を評価する際に使用されてもされなくてもよいことを示すために点線によって示されていることに留意されたい。特定の実施形態では、パッチベース署名１７０は、組織サンプル内の組織像の視覚化を示すことができる。視覚化は、図４Ａ～図４Ｂに示されるように、組織像を異なる色分けで表示することを含んでもよい。例として、限定されないが、パッチベース署名を介して組織サンプル中の異なる組織像を視覚化することは、ＡＤＣがん領域を青色で、ＳＣＣがん領域を緑色で、などと表示することを含むことができる。特定の実施形態では、例えば画像視覚化モジュール３１３を使用するデジタル病理画像処理システム３１０は、異なる視覚化技術を使用して、本明細書において説明するパッチベース署名を生成することができる。例えば、画像視覚化モジュール３１３は、視覚化を生成するために、勾配重み付けクラスアクティブ化マッピング（Ｇｒａｄ－ＣＡＭ）技術、スコア重み付けクラスアクティブ化マッピング（ｓｃｏｒｅ－ＣＡＭ）技術、オクルージョンマッピング技術、および顕著性マッピング技術のうちの１つ以上を使用することができる。異なる視覚化技術が、図４Ｃを参照して以下に示されて説明される。特定の実施形態では、画像視覚化モジュール３１３は、顕著性マッピング技術を使用してパッチベース署名１７０を生成する。

【0034】

１７５において、デジタル病理画像処理システム３１０は、例えば、異種性メトリック計算モジュール３１４を使用して、ラベル付きパッチ１５５（例えば、パッチおよびそれらの対応するラベル）を使用して、（例えば、パッチを介して）デジタル病理画像において識別または抽出された組織像の異種性メトリックを計算する。異種性メトリックは、がんにおける組織像の異種性を評価することができる。異種性メトリックは、組織像の異種性のレベルまたは程度の定量化可能な尺度を含むことができる。特定の実施形態では、異種性メトリックは、所与の組織サンプル中の他の組織像に対する各組織像の相対的な割合を定量化することができる。例として、限定されないが、異種性メトリックは、図１Ａにおいて識別されたＡＤＣおよびＳＣＣの組織像について、組織サンプル中のＡＤＣおよびＳＣＣの各がん領域（例えば、患者の非小細胞肺がん画像）の割合を示すことができる。別の言い方をすれば、異種性メトリックは、組織サンプル中の全ＳＣＣがん領域に対していくつの全ＡＤＣがん領域が存在するかを示すことができる。例えば、異種性メトリックは、所与の組織サンプル中に合計３９２個のＡＤＣおよび１５０個のＳＣＣがん領域が存在することを示すことができる。別の例として、異種性メトリックは、その領域がサンプル中にどのように分布しているかを識別するために、ＡＤＣがん領域とＳＣＣがん領域との間の関連性を示すことができる。

【0035】

代替の実施形態では、異種性メトリック計算モジュール３１４は、本明細書において説明されるパッチベース署名に基づいて異種性メトリックを計算することができる。例えば、異種性メトリックモジュール３１４は、画像視覚化モジュール３１３からパッチベース署名を受信し、パッチベース署名に示された情報を使用して異種性メトリックを計算することができる。例として、パッチベース署名は、組織サンプル（例えば図４Ａに示すように）内の各ラベル（例えば、ＡＤＣ、ＳＣＣ）の分布または割合を示すことができ、異種性メトリック計算モジュール３１４は、パッチベース署名のこの分布情報を使用して異種性メトリックを計算することができる。いくつかの実施形態では、パッチベース署名は、特徴（例えば、組織像）の異種性のパッチレベルの評価に対応することができる。パッチベース署名は、デジタル病理画像に固有であってもよく、またはデジタル病理画像の特徴の異種性のパターンまたは分類に関連すると理解されてもよい。

【0036】

デジタル病理画像処理システム３１０は、例えば、出力生成モジュール３１６を使用して、異種性メトリックに基づいて出力を生成する。特定の実施形態では、出力は、計算された異種性メトリックに基づく対象評価１８０を含むことができる。対象評価は、例えば、オペレータの特定のユースケースに適用可能な対象の診断、対象の予後、または治療推奨を含むことができる。例えば、画像特徴（例えば、組織像）および／またはラベル（例えば、ＡＤＣがん領域、ＳＣＣがん領域）が所与の組織サンプルにおいてどの程度異種であるかを示す異種性メトリックに基づいて、出力生成モジュール３１６は、所与の組織サンプルの適切な評価を生成することができる。例として、評価は、患者の組織サンプル中に存在するＡＤＣおよびＳＣＣがん領域の量に基づく患者の肺がんの重症度を含むことができる。別の例として、評価は、患者の組織サンプル中に存在するＡＤＣおよびＳＣＣがん領域の存在または異種性に基づいて、患者の肺がんの最良の治療選択肢を含むことができる。いくつかの実施形態では、出力生成モジュール３１６は、病理医、医師、臨床専門医、肺がんの診断の専門家、デジタル病理画像処理システム３１０のオペレータなどのユーザに表示するための対象評価１８０を提供することができる。対象評価１８０はまた、１つ以上のユーザ装置３３０に提供することができる。いくつかの実施形態では、対象評価１８０が使用されて、様々な治療に対する対象の反応性を予測し、対象に対する１つ以上の治療選択肢の適切性を予測し、対象に対して有効であると予測される治療を識別し、および／または臨床試験内の適切なアームに対象を割り当てることができる。いくつかの実施形態では、出力生成モジュール３１６は、評価１８０に基づいて、特定の医学的症状に対する医学的治療を試験する際に対象が臨床試験に適格であるかどうかの指示を出力することができる。

【0037】

デジタル病理画像処理システム３１０からの出力は、デジタル病理画像処理システムによって行われる評価の単純な列挙を含む、いくつかの形態で提供されることができる。より高度な出力が提供されることもできる。例として、デジタル病理画像処理システム３１０は、本明細書において論じられる識別された組織像の異なる視覚化を生成することができる。例えば、デジタル病理画像処理システム３１０は、図４Ａに示すように、様々な組織像を示す全体マップを生成することができる。別の例として、デジタル病理画像処理システム３１０は、図４Ｂに示すように、各組織学について別個のマップを生成することができる。

【0038】

図２Ａ～図２Ｂは、機械学習モデルを使用してデジタル病理画像の特徴を識別し、デジタル病理画像の特徴の異種性に基づいて対象評価を生成するための別の例示的なプロセス２００および２５０をそれぞれ示している。具体的には、図２Ａ～図２Ｂは、深層学習ニューラルネットワークを使用して例示的なデジタル病理画像のパッチから特徴、例えば遺伝子突然変異またはバリアントを識別し、対象または患者の症状を診断するために識別された突然変異の異種性を評価することを示している。図３は、本明細書に記載のいくつかの実施形態によれば、深層学習ニューラルネットワークを使用して例示的なデジタル病理画像のパッチから遺伝子突然変異またはバリアントを識別し、識別された突然変異の異種性を評価するために使用されることができる対話型コンピュータシステムのネットワーク３００を示している。前述のように、病理学者は、Ｈ＆Ｅ画像から直接突然変異状態を予測することができず、代わりにＤＮＡ配列決定に頼ることがあり、これは高価で時間がかかる。このように、突然変異または突然変異状態を予測するために本明細書において論じられる機械学習技術を使用することは、ＤＮＡ配列決定技術を使用するよりも著しく速く、より効率的である。

【0039】

図２Ａに示すように、２１０において、デジタル病理画像処理システム３１０は、組織サンプルのデジタル病理画像２０５を受信する。特定の実施形態では、組織サンプルのデジタル病理画像は、非小細胞肺がんと診断された対象または患者からのサンプルの全スライド画像とすることができる。主要実施形態では、本明細書において論じられるデジタル病理画像または全スライド画像は、Ｈ＆Ｅ染色画像であるか、または非小細胞肺がんと診断された患者からの腫瘍サンプルのＨ＆Ｅ調製から取得されることができる。デジタル病理画像処理システム３１０は、デジタル病理画像生成システム３２０またはその１つ以上の構成要素から、デジタル病理画像またはスライド画像２０５全体を受信することができる。別の例として、デジタル病理画像処理システム３１０は、１つ以上のユーザ装置３３０からデジタル病理画像２０５を受信することができる。ユーザ装置３３０は、１つ以上のネットワークを介してデジタル病理画像処理システム３１０に接続された病理医または臨床医によって使用されるコンピュータとすることができる。ユーザ装置３３０のユーザは、ユーザ装置３３０を使用してデジタル病理画像２０５をアップロードするか、またはデジタル病理画像２０５をデジタル病理画像処理システム３１０に提供するように１つ以上の他の装置に指示することができる。

【0040】

特定の実施形態では、図２Ａには示されていないが、デジタル病理画像処理システム３１０は、画像２１０上で腫瘍病変セグメンテーションを実行することができる。例えば、腫瘍領域または領域が画像２１０において識別されることができる。一実施形態では、デジタル病理画像処理システム３１０は、別個の腫瘍病変セグメンテーションアルゴリズムまたは１つ以上の機械学習技術を使用して腫瘍領域を自動的に識別する。一実施形態では、デジタル病理画像処理システム３１０は、ユーザの助けを借りて腫瘍領域を識別することができる。例えば、腫瘍領域は、病理学者、医師、臨床専門医、肺がんの診断の専門家などによって手動で選択されてもよい。２２０において、デジタル病理画像処理システム３１０は、例えばパッチ生成モジュール３１１を使用して、デジタル病理画像２０５（識別された腫瘍領域を有する）を複数のパッチまたはタイル２１５ａ、２１５ｂ、２１５ｃ、．．．２１５ｎ（本明細書では個別にまたは集合的に２１５とも呼ばれる）に細分化する。

【0041】

２３０において、デジタル病理画像処理システム３１０は、例えばパッチ分類モジュール３１２を使用して、各パッチ内の１つ以上の画像特徴を識別し、深層学習ニューラルネットワーク２２５を使用して、識別された画像特徴に対応する複数のパッチ２１５の複数のラベル２３５ａ、２３５ｂ、２３５ｃ、．．．２３５ｎ（本明細書では個別にまたは集合的に２３５とも呼ばれる）を生成する。各ラベル２３５は、特定の突然変異型または遺伝子バリアントを示し、識別し、または予測することができる。例として、パッチ２１５ａについて、パッチ分類モジュール３１２は、パッチ２１５ａに示される１つ以上の画像特徴がＫＲＡＳ変異に関連することを示す対応するラベル２３５ａを生成し、パッチ２１５ｂについて、パッチ分類モジュール３１２は、パッチ１１５ｂに示される１つ以上の画像特徴が上皮増殖因子受容体（ＥＧＦＲ）変異に関連することを示す対応するラベル２３５ｂを生成し、パッチ１１５ｃについて、パッチ分類モジュール３１２は、パッチ２１５ｂに示される１つ以上の画像特徴がＫＲＡＳ変異に関連することを示す対応するラベル２３５ｃを生成し、パッチ２１５ｎについて、パッチ分類モジュール３１２は、パッチ２１５ｎに示される１つ以上の画像特徴がＥＧＦＲ変異に関連することを示す対応するラベル２３５ｎを生成する。図２Ａには２つの種類のラベルまたは変異ＫＲＡＳおよびＥＧＦＲのみが示されているが、他の種類の変異または遺伝子変異が、深層学習ニューラルネットワーク２２５を使用してパッチについて同様に識別されることができることに留意されたい。

【0042】

図２Ｂは、上述したように、図２Ａのプロセス２００によって生成されたラベル２３５に基づいて、対象評価のためにデジタル病理画像において（例えば、デジタル病理画像のパッチにおいて）識別された突然変異の異種性を評価するためのプロセス２５０を示している。図２Ａと同様に、プロセス２５０においてそれぞれの動作を実行する様々なコンピューティング構成要素またはモジュールについて図３を参照することに留意されたい。図示されるように、デジタル病理画像処理システム３１０は、例えば画像視覚化モジュール３１３を使用して、ラベル付けされたパッチ（例えば、示された対応する突然変異を示すパッチおよび注釈）を任意の視覚化ツールまたはアプリケーション２６０に供給することができる。例えば、画像視覚化モジュール３１３は、デジタル病理画像２０５とともに、ＫＲＡＳ２５５ａとラベル付けされたパッチ、ＥＧＦＲ２５５ｂとラベル付けされたパッチ、ＫＲＡＳ２５５ｃとラベル付けされたパッチ、ＥＧＦＲ２５５ｎとラベル付けされたパッチ、および残りのパッチを視覚化ツール２６０に供給することができる。いくつかの実施形態では、画像視覚化モジュール３１３および視覚化ツール２６０は、単一の構成要素として組み合わされるか、または協働する。他の実施形態では、画像視覚化モジュール３１３および視覚化ツール２６０は、別個の構成要素である。

【0043】

２６５において、ラベル付きパッチ２５５およびデジタル病理画像全体またはスライド画像全体２０５を使用する任意の視覚化ツール２６０は、デジタル病理画像のパッチベース署名２７０を生成することができる。視覚化ツール２６０およびパッチベース署名２７０は、それらがプロセス２５０の任意の部分または構成要素であり、本明細書において説明される異種性を評価する際に使用されてもされなくてもよいことを示すために点線によって示されていることに留意されたい。特定の実施形態では、パッチベース署名またはヒートマップ２７０は、組織サンプル内の突然変異の視覚化を示すことができる。視覚化は、異なるカラーコーディングで予測された突然変異または遺伝子バリアントを表示することを含むことができる。特定の実施形態では、例えば画像視覚化モジュール３１３を使用するデジタル病理画像処理システム３１０は、異なる視覚化技術を使用して、本明細書において説明するパッチベース署名を生成することができる。例えば、画像視覚化モジュール３１３は、視覚化を生成するために、ｇｒａｄ－ｃａｍ技術、ｓｃｏｒｅ－ＣＡＭ技術、オクルージョンマッピング技術、または顕著性マッピング技術のうちの１つ以上を使用することができる。異なる視覚化技術が、図４Ｃを参照して以下に示されて説明される。特定の実施形態では、画像視覚化モジュール３１３は、顕著性マッピング技術を使用してパッチベース署名２７０を生成する。

【0044】

２７５において、デジタル病理画像処理システム３１０は、例えば、異種性メトリック計算モジュール３１４を使用して、ラベル付きパッチ２５５（例えば、パッチおよびそれらの対応するラベル）を使用して、（例えば、パッチを介して）デジタル病理画像において識別された突然変異の異種性メトリックを計算する。異種性メトリックは、突然変異の異種性のレベルまたは程度の定量可能な尺度を含むことができる。特定の実施形態では、異種性メトリックは、所与の組織サンプル中の他の突然変異に対する各突然変異の相対的な割合を定量化することができる。例として、限定されないが、異種性メトリックは、図２Ａにおいて識別されたＫＲＡＳおよびＥＧＦＲ変異について、組織サンプル中のＫＲＡＳおよびＥＧＦＲ変異（例えば、患者の非小細胞肺がん画像）のそれぞれの割合分布を示すことができる。異種性メトリックは、同じ腫瘍内の異なる突然変異を有する領域の存在を示すことができる。特定の突然変異を有する腫瘍に有効な標的療法を受けた患者は、その突然変異を有しない腫瘍のいくつかの領域がある場合、反応しないか、または後に再発する可能性があるため、これは重要である。

【0045】

デジタル病理画像処理システム３１０は、例えば、出力生成モジュール３１６を使用して、異種性メトリックに基づいて出力を生成する。特定の実施形態では、出力は、計算された異種性メトリックに基づく対象評価１８０を含むことができる。対象評価は、例えば、オペレータの特定のユースケースに適用可能な対象の診断、対象の予後、または治療推奨を含むことができる。例えば、様々な特徴（例えば、変異）が所与の組織サンプルにおいてどの程度異種であるかを示す異種性メトリックに基づいて、出力生成モジュール３１６は、所与の組織サンプルの適切な評価を生成することができる。例として、評価は、患者の組織サンプル中に存在するＫＲＡＳおよびＥＧＦＲ遺伝子変異の存在または異種性に基づいて、患者の肺がんの適切な治療選択肢を含むことができる。いくつかの実施形態では、出力生成モジュール３１６は、病理医、医師、臨床専門医、肺がんの診断の専門家、デジタル病理画像処理システム３１０のオペレータなどのユーザに表示するための対象評価２８０を提供することができる。対象評価２８０はまた、１つ以上のユーザ装置３３０に提供することができる。いくつかの実施形態では、対象評価２８０を使用して、様々な治療に対する対象の反応性を予測し、対象に有効であると予測される治療を識別し、および／または臨床試験内の適切なアームに対象を割り当てることができる。いくつかの実施形態では、出力生成モジュール３１６は、評価２８０に基づいて、特定の医学的症状に対する医学的治療を試験する際に対象が臨床試験に適格であるかどうかの指示を出力することができる。

【0046】

図３は、本開示のいくつかの実施形態にかかる、デジタル病理画像のパッチ内の特徴を識別し、深層学習技術を使用して識別された特徴のラベルを生成し、デジタル病理画像内の識別された特徴の異種性に基づいて評価を生成するために、本明細書に記載のように使用されることができる対話型コンピュータシステムのネットワーク３００を示している。

【0047】

デジタル病理画像生成システム３２０は、特定のサンプルに対応する、スライド画像全体を含むがこれに限定されない、１つ以上のデジタル病理画像を生成することができる。例えば、デジタル病理画像生成システム３２０によって生成された画像は、生検サンプルの染色された切片または前処理のために提示される生検サンプルの染色されていない切片を含むことができる。別の例として、デジタル病理画像生成システム３２０によって生成された画像は、液体サンプルのスライド画像（例えば、血液フィルム）を含むことができる。別の例として、デジタル病理画像生成システム３２０によって生成された画像は、蛍光プローブが標的ＤＮＡまたはＲＮＡ配列に結合した後の蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）を示すスライド画像などの蛍光顕微鏡法を含むことができる。

【0048】

いくつかの種類のサンプルは、サンプルを固定および／または埋め込むためにサンプル調製システム３２１によって処理されることができる。サンプル調製システム３２１は、固定剤（例えば、ホルムアルデヒド溶液などの液体固定剤）および／または包埋物質（例えば、組織学的ワックス）をサンプルに浸透させることを容易にすることができる。例えば、サンプル固定サブシステムは、少なくとも閾値時間（例えば、少なくとも３時間、少なくとも６時間、または少なくとも１２時間）にわたって、サンプルを固定剤にさらすことによってサンプルを固定することができる。脱水サブシステムは、サンプルを脱水し（例えば、固定サンプルおよび／または固定サンプルの一部を１以上のエタノール溶液にさらすことによって、）、潜在的に、透明化中間剤（例えば、エタノールおよび組織学的ワックスを含む）を使用して脱水されたサンプルを透明化することができる。サンプル埋め込みサブシステムは、加熱された（例えば、液体の）組織学的ワックスをサンプルに浸透させることができる（例えば、対応する所定の期間の１回以上）。組織学的ワックスは、パラフィンワックスおよび潜在的に１種以上の樹脂（例えば、スチレンまたはポリエチレン）を含むことができる。次いで、サンプルおよびワックスが冷却され、ワックス浸透サンプルがブロックアウトされることができる。

【0049】

サンプルスライサー３２２は、固定され埋め込まれたサンプルを受け取り、切片のセットを作製することができる。サンプルスライサー３２２は、固定されて埋め込まれたサンプルを冷所または低温に曝露することができる。次いで、サンプルスライサー３２２は、冷却されたサンプル（またはそのトリミングされたバージョン）を切断して、切片のセットを作製することができる。各切片は、（例えば）１００μｍ未満、５０μｍ未満、１０μｍ未満、または５μｍ未満の厚さを有することができる。各部分は、（例えば）０．１μｍよりも大きい、１μｍよりも大きい、２μｍよりも大きい、または４μｍよりも大きい厚さを有することができる。冷却されたサンプルの切断は、温水浴（例えば、少なくとも３０℃、少なくとも３５℃または少なくとも４０℃の温度で）中で行われることができる。

【0050】

自動染色システム３２３は、各切片を１つ以上の染色剤に曝露することによって、サンプル切片のうちの１つ以上の染色を容易にすることができる。各切片は、所定の期間にわたって所定量の染色剤に曝露されることができる。場合によっては、単一の切片が複数の染色剤に同時にまたは連続的に曝露される。

【0051】

１つ以上の染色された切片のそれぞれは、切片のデジタル画像を取り込むことができる画像スキャナ３２４に提示されることができる。画像スキャナ３２４は、顕微鏡カメラを含むことができる。画像スキャナ３２４は、複数の倍率（例えば、１０倍対物レンズ、２０倍対物レンズ、４０倍対物レンズなどを使用する）でデジタル画像を取り込むことができる。画像の操作が使用されて、所望の倍率範囲でサンプルの選択された部分を取り込むことができる。画像スキャナ３２４は、人間のオペレータによって識別された注釈および／または形態素をさらに取り込むことができる。場合によっては、切片が洗浄され、１つ以上の他の染色に曝露され、再度イメージングされることができるように、１つ以上の画像が取り込まれた後に、切片が自動染色システム３２３に戻される。複数の染色剤が使用される場合、第１の染色剤を大量に吸収した第１の切片部分に対応する画像の第１の領域を、第２の染色剤を大量に吸収した第２の切片部分に対応する画像の第２の領域（または異なる画像）と区別することができるように、異なる色プロファイルを有するように染色剤が選択されることができる。

【0052】

デジタル病理画像生成システム３２０の１つ以上の構成要素は、場合によっては、人間のオペレータに関連して動作することができることが理解されよう。例えば、人間のオペレータは、様々なサブシステム（例えば、サンプル調製システム３２１またはデジタル病理画像生成システム３２０）にわたってサンプルを移動させ、および／またはデジタル病理画像生成システム３２０の１つ以上のサブシステム、システムまたは構成要素の動作を開始または終了させることができる。別の例として、デジタル病理画像生成システム（例えば、サンプル調製システム３２１の１つ以上のサブシステム）の１つ以上の構成要素の一部または全部は、人間のオペレータの動作によって部分的または全体的に置き換えられることが可能である。

【0053】

さらに、デジタル病理画像生成システム３２０の様々な説明および図示された機能および構成要素は、固体および／または生検サンプルの処理に関するが、他の実施形態は、液体サンプル（例えば、血液サンプル）に関することができることが理解されよう。例えば、デジタル病理画像生成システム３２０は、ベーススライド、汚れた液体サンプルおよびカバーを含む液体サンプル（例えば、血液または尿）スライドを受け取ることができる。次いで、画像スキャナ３２４は、サンプルスライドの画像を取り込むことができる。デジタル病理画像生成システム３２０のさらなる実施形態は、本明細書に記載のＦＩＳＨなどの高度なイメージング技術を使用してサンプルの画像を取り込むことに関することができる。例えば、蛍光プローブがサンプルに導入され、標的配列に結合することが可能にされると、さらなる分析のためにサンプルの画像を取り込むために適切なイメージングが使用されることができる。

【0054】

所与のサンプルは、処理およびイメージング中に１人以上のユーザ（例えば、１人以上の医師、検査技師および／または医療提供者）と関連付けられることができる。関連付けられたユーザは、限定ではなく例として、とりわけ、撮像されているサンプルを生成した試験または生検を注文した人、試験または生検の結果を受け取る許可を得た人、または試験または生検サンプルの分析を行った人を含むことができる。例えば、ユーザは、医師、病理医、臨床医、または患者に対応することができる。ユーザは、１つ以上のユーザ装置３３０を使用して、サンプルがデジタル病理画像生成システム３２０によって処理され、得られた画像がデジタル病理画像処理システム３１０によって処理されるという（例えば、対象を識別する）１つ以上の要求を提出することができる。

【0055】

デジタル病理画像生成システム３２０は、画像スキャナ３２４によって生成された画像をユーザ装置３３０に送り返すことができる。次いで、ユーザ装置３３０は、デジタル病理画像処理システム３１０と通信して、画像の自動処理を開始する。特定の実施形態では、サンプル調製システム３２１、サンプルスライサー３２２、自動染色システム３２３、または画像スキャナ３２４のうちの１つ以上による処理後にそのように生成された画像は、Ｈ＆Ｅ染色画像または同様の染色手順によって生成された画像とすることができる。場合によっては、デジタル病理画像生成システム３２０は、画像スキャナ３２４によって生成された画像（例えば、Ｈ＆Ｅ染色画像）を、例えばユーザ装置３３０のユーザの指示にしたがって、デジタル病理画像処理システム３１０に直接提供する。図示しないが、他の中間装置（例えば、デジタル病理画像生成システム３２０またはデジタル病理画像処理システム３１０に接続されたサーバのデータストア）もまた使用されることができる。さらに、簡単にするために、ネットワーク３００には、ただ１つのデジタル病理画像処理システム３１０、画像生成システム３２０、およびユーザ装置３３０が示されている。本開示は、本開示の教示から必ずしも逸脱することなく、各種類のシステムおよびその構成要素のうちの１つ以上の使用を予期する。

【0056】

図３に示すネットワーク３００および関連するシステムは、スライド画像全体などのデジタル病理画像のスキャンおよび評価が作業の不可欠な構成要素である様々な状況において使用されることができる。例として、ネットワーク３００は、ユーザが可能な診断目的でサンプルを評価している臨床環境に関連付けられることができる。ユーザは、デジタル病理画像処理システム３１０に画像を提供する前に、ユーザ装置３３０を使用して画像をレビューすることができる。ユーザは、デジタル病理画像処理システム３１０による画像の分析を案内または指示するために使用されることができる追加の情報をデジタル病理画像処理システム３１０に提供することができる。例えば、ユーザは、スキャン内の特徴の予測診断または予備評価を提供することができる。ユーザはまた、レビューされる組織の種類などの追加のコンテキストを提供することができる。別の例として、ネットワーク３００は、例えば、薬物の有効性または潜在的な副作用を決定するために組織が検査されている実験室環境に関連付けられることができる。これに関連して、前記薬物の全身に対する効果を決定するために、複数の種類の組織をレビューのために提出することは一般的であり得る。これは、撮像されている組織の種類に大きく依存することができる画像の様々な状況を決定する必要があり得る人間の走査検査者に特定の課題を提示する可能性がある。これらのコンテキストは、任意に、デジタル病理画像処理システム３１０に提供されることができる。

【0057】

デジタル病理画像処理システム３１０は、例えば上記の図１Ａ～図１Ｂおよび図２Ａ～図２Ｂを参照して説明したように、全スライド画像またはＨ＆Ｅ染色画像を含むデジタル病理画像を処理して、デジタル病理画像内の特徴を分類し、デジタル病理画像内の分類された特徴および関連する出力のラベル／注釈を生成することができる。パッチ生成モジュール３１１は、各デジタル病理画像に対してパッチのセットを定義することができる。パッチのセットを定義するために、パッチ生成モジュール３１１は、デジタル病理画像をパッチのセットに細分化することができる。本明細書において実施されるように、パッチは、非重複（例えば、各パッチは、他のいずれのパッチにも含まれない画像の画素を含む）または重複（例えば、各パッチは、少なくとも１つの他のパッチに含まれる画像の画素の一部を含む）とすることができる。各パッチのサイズおよびウィンドウのストライド（例えば、パッチと後続のパッチとの間の画像距離または画素）に加えて、パッチが重複するかどうかなどの特徴は、分析のためのデータセットを増減することができ、より多くのパッチ（例えば、重複するパッチまたはより小さいパッチを介して）は、最終的な出力および視覚化の潜在的な分解能を高め、訓練目的のためのより大きくより多様なデータセットをもたらす。場合によっては、パッチ生成モジュール３１１は、各パッチが所定のサイズである、および／またはパッチ間のオフセットが所定である、画像用のパッチのセットを定義する。さらにまた、パッチ生成モジュール３１１は、画像ごとに、様々なサイズ、重複、ステップサイズなどのパッチの複数のセットを作成することができる。いくつかの実施形態では、デジタル病理画像自体は、イメージング技術から生じることができるパッチの重複を含むことができる。パッチ重複のないセグメンテーションであっても、パッチ処理要件のバランスをとるための好ましい解決策となり得る。パッチサイズまたはパッチオフセットは、例えば、各サイズ／オフセットについて１つ以上の性能メトリック（例えば、適合率、再現率、精度、および／またはエラー）を計算し、所定の閾値を超える１つ以上の性能メトリックに関連付けられた、および／または１つ以上の最適な（例えば、高適合率、最高の再現率、最高の精度、および／または最低のエラー）性能メトリックに関連付けられたパッチサイズおよび／またはオフセットを選択することによって決定されることができる。パッチ生成モジュール３１１は、検出されている症状の種類に応じてパッチサイズをさらに定義することができる。例えば、パッチ生成モジュール３１１は、デジタル病理画像処理システム３１０が探索するであろう組織像または突然変異の種類を認識して構成されることができ、検出を最適化するために組織像または突然変異にしたがってパッチサイズをカスタマイズすることができる。場合によっては、パッチ生成モジュール３１１は、パッチのセットを定義し、各画像のセット内のパッチの数、セットのパッチのサイズ、パッチのセットの解像度、または他の関連するプロパティは、定義され、１つ以上の画像のそれぞれに対して一定に保持される。

【0058】

いくつかの実施形態では、パッチ生成モジュール３１１は、さらに、各デジタル病理画像のパッチのセットを、１つ以上のカラーチャネルまたは色の組み合わせに沿って定義することができる。例として、デジタル病理画像処理システム３１０によって受信されたデジタル病理画像は、いくつかのカラーチャネルのうちの１つに対して指定された画像の各画素の画素色値を有する大判マルチカラーチャネル画像を含むことができる。使用可能な色仕様または色空間の例は、ＲＧＢ、ＣＭＹＫ、ＨＳＬ、ＨＳＶ、またはＨＳＢの色仕様を含む。パッチのセットは、カラーチャネルを細分化すること、および／または各パッチの輝度マップまたはグレースケール等価物を生成することに基づいて定義されることができる。例えば、画像の各部分について、パッチ生成モジュール３１１は、赤色タイル、青色タイル、緑色タイル、および／または輝度タイル、または使用される色仕様に対して同等のものを提供することができる。本明細書において説明するように、画像の部分および／または部分の色値に基づいてデジタル病理画像を細分化することは、パッチおよび画像のラベルを生成し、画像の分類を生成するために使用されるネットワークの精度および認識率を改善することができる。さらに、デジタル病理画像処理システム３１０は、例えば、パッチ生成モジュール３１１を使用して、色仕様間で変換し、および／または複数の色仕様を使用してパッチのコピーを準備することができる。色仕様変換は、所望の種類の画像拡張（例えば、特定のカラーチャネル、飽和レベル、輝度レベルなどを強調または増強する）に基づいて選択されることができる。色仕様変換はまた、デジタル病理画像生成システム３２０とデジタル病理画像処理システム３１０との間の互換性を改善するように選択されることができる。例えば、特定の画像走査コンポーネントは、ＨＳＬ色仕様で出力を提供することができ、本明細書に記載のように、デジタル病理画像処理システム３１０において使用されるモデルは、ＲＧＢ画像を使用して訓練されることができる。パッチを互換性のある色仕様に変換することは、パッチが依然として分析されることができることを保証することができる。さらに、デジタル病理画像処理システムは、デジタル病理画像処理システム３１０によって使用可能であるように特定の色深度（例えば、８ビット、１６ビットなど）で提供される画像をアップサンプリングまたはダウンサンプリングすることができる。さらにまた、デジタル病理画像処理システム３１０は、撮像された画像の種類（例えば、蛍光画像は、より詳細な色強度またはより広い範囲の色を含むことができる）に応じてパッチを変換させることができる。

【0059】

本明細書に記載されるように、パッチ分類モジュール３１２は、デジタル病理画像のパッチ内の画像特徴を識別または分類し、これらの特徴のラベルを生成することができる。いくつかの実施形態では、画像特徴（例えば、デジタル病理画像における特徴）を分類することは、組織サンプルに内在する組織構造を分類または識別することを含むことができる。パッチ分類モジュール３１２は、パッチ生成モジュール３１１からパッチのセットを受信し、各パッチ内の１つ以上の特徴を識別し、機械学習モデルを使用してこれらの特徴の１つ以上のラベルを生成することができる。各ラベルは、組織サンプルに示される特定の種類の症状（例えば、組織学的サブタイプ、変異型）を示すことができる。例として、デジタル病理画像は、非小肺がんタイプと診断された患者からのサンプルの画像とすることができ、パッチ分類モジュール３１２によって識別された特徴は、例えば図１Ａに示すように、腺癌（ＡＤＣ）、扁平上皮癌腫（ＳＣＣ）などの異なる組織像を含むことができる。別の例として、パッチ分類モジュール３１２によって識別される特徴は、例えば図２Ａに示すように、ＫＲＡＳ変異、上皮増殖因子受容体（ＥＧＦＲ）変異、未分化リンパ腫キナーゼ（ＡＬＫ）変異、または腫瘍タンパク質５３（ＴＰ５３）変異などの異なる変異または遺伝子変異を含むことができる。特定の実施形態では、パッチ分類モジュール３１２は、画像特徴を識別し、本明細書において説明する深層学習ニューラルネットワーク１２５または２２５などの訓練された機械学習モデルを使用してパッチに適用するための対応するラベルを生成することができる。モデルは、図５Ａ～図５Ｂを参照して以下に説明するプロセスに基づいて、または図８において説明する方法によって、訓練コントローラ３１７によって訓練されることができる。

【0060】

本明細書に記載されるように、画像視覚化モジュール３１３は、デジタル病理画像を分析するための視覚化を生成することができる。特定の実施形態では、画像視覚化モジュール３１３は、画像内で識別された特徴、組織構造特徴に対応し、デジタル病理画像のパッチに対して生成されたラベル、および他の関連情報に基づいて、所与のデジタル病理画像の視覚化を生成することができる。例えば、画像視覚化モジュール３１３は、例えば図１Ｂおよび図２Ｂにおいて説明したように、パッチ分類モジュール３１２からラベルまたはラベル付きパッチを受信し、ラベル付きパッチに基づいて視覚化を生成することができる。特定の実施形態では、図４Ａ～図４Ｂに示す視覚化などの１つ以上の視覚化が病理学者によって使用されて、本明細書において説明される機械学習モデルを評価することができる。例えば、病理学者は、様々な識別された特徴および対応するラベルを示す視覚化（例えば、ヒートマップ）をレビューして、モデルがこれらの特徴およびラベルを正しく識別するかどうかを評価することができる。追加的または代替的に、１つ以上の視覚化は、患者の診断もしくは評価または初期評価のレビューにおいて病理学者を支援することができる。

【0061】

特定の実施形態では、画像視覚化モジュール３１３によって生成された視覚化は、レビューおよび／または分析のために識別された特徴の詳細を特徴付けるヒートマップなどのパッチベース署名である。ヒートマップは、パッチベース署名の単なる１つの種類であり、他の種類のパッチベース署名も生成され、本明細書において説明される視覚化に使用されることができることに留意されたい。いくつかの実施形態では、デジタル病理画像処理システム３１０は、パッチベース署名を学習することができ、その学習を他の予測に使用することができる。これは、例えば、生のカウント数の視覚化、ラベル付けされたパッチの割合、スライド／腫瘍領域の残りの部分に対するラベル付けされたパッチの割合、ラベル付けされたパッチの統計的分布、パッチの空間分布などを含むことができる。

【0062】

パッチベース署名は、組織サンプル中の識別された特徴の視覚化を示すことができる。例えば、視覚化は、本明細書の他の箇所で説明するように、異なるカラーコーディングで特徴（例えば、組織像、突然変異）を表示することを含むことができる。特定の実施形態では、画像視覚化モジュール３１３は、その視覚化（例えば、パッチベース署名）を生成するために異なる視覚化技術を使用することができる。例えば、画像視覚化モジュール３１３は、例えば図４Ｃに示されて説明されたように、勾配重み付けクラスアクティブ化マッピング（Ｇｒａｄ－ＣＡＭ）技術、スコア重み付けクラスアクティブ化マッピング（ｓｃｏｒｅ－ＣＡＭ）技術、オクルージョンマッピング技術、および顕著性マッピング技術のうちの１つ以上を使用して視覚化を生成することができる。一実施形態では、画像視覚化モジュール３１３は、画像内の様々な特徴を視覚化するための好ましい所望の技術として顕著性マッピング技術を選択することができる。図４Ｄは、選択された顕著性マッピング手法によって画像を視覚化する例を示している。

【0063】

本明細書に記載のように、異種性メトリック計算モジュール３１４は、デジタル病理画像において識別された特徴および／またはラベルに基づいて異種性メトリックを計算することができる。異種性メトリックは、これらの特徴に対応するラベル（例えば、組織学サブタイプ、変異型）に基づいて、組織像、突然変異などを含む特徴の異種性のレベルまたは程度の定量可能な尺度を含むことができる。特定の実施形態では、異種性メトリックは、ラベルを使用して、組織構造内の他の特徴に対する組織構造内の各特徴の相対的な割合を示すことができる。例として、異種性メトリックは、ラベルの生のカウント数、ラベル付けされたパッチの割合、スライドの残りの部分および／または腫瘍面積に対するラベル付けされたパッチの割合、ラベル付けされたパッチの統計的分布、ラベル付けされたパッチの空間分布、ならびに他の関連するメトリックおよびそれらの導出を含むことができる。

【0064】

例として、限定されないが、異種性メトリックは、図１Ａにおいて識別された様々な組織像について、組織サンプル（例えば、患者の非小細胞肺がん組織像）中の肺がんのＡＤＣおよびＳＣＣサブタイプのそれぞれの割合を示すことができる。別の言い方をすれば、異種性メトリックは、図１Ｂに示されるように、組織サンプル中の全ＳＣＣがん領域に対していくつの全ＡＤＣがん領域が存在するかを示すことができる。別の例として、異種性メトリックは、図２Ａにおいて識別された様々な突然変異または遺伝子バリアントについて、対象または患者の所与の組織サンプル中のＫＲＡＳおよびＥＧＦＲ突然変異のそれぞれの割合を示すことができる。異種性メトリックは、患者における特定の症状を診断するために使用されることができる。例えば、異種性メトリックは、患者の組織サンプル中に存在するＡＤＣおよびＳＣＣがん領域の量に基づいて、患者の異種性を診断するために使用されることができる。

【0065】

デジタル病理画像処理システム３１０の出力生成モジュール３１６は、デジタル病理画像、画像分類（例えば、ラベルパッチ）、画像視覚化（例えば、パッチベース署名）、および異種性メトリックを使用して、入力として受信したデジタル病理画像に対応する出力を生成することができる。本明細書に記載されるように、デジタル病理画像のラベルおよび注釈に加えて、出力は、これらの視覚化に対応する様々な視覚化および診断を含むことができる。出力は、組織サンプルに基づく対象評価をさらに含むことができる。例として、所与のデジタル病理画像の出力は、例えば図４Ａ～図４Ｂに示すように、デジタル病理画像内の関心領域を識別して強調表示するいわゆるヒートマップを含むことができる。ヒートマップは、特定の症状または診断を表示または相関する画像の部分を示すことができ、そのような表示の精度または統計的信頼度を示すことができる。多くの実施形態では、出力は、表示のためにユーザ装置３３０に提供されるが、特定の実施形態では、出力は、デジタル病理画像処理システム３１０から直接アクセスされることができる。

【0066】

デジタル病理画像処理システム３１０の訓練コントローラ３１７は、本明細書において説明する１つ以上の機械学習モデル（例えば、深層学習ニューラルネットワーク）および／またはデジタル病理画像処理システム３１０によって使用される機能の訓練を制御することができる。場合によっては、組織サンプル内の特徴（例えば、組織像、突然変異など）を識別または検出するために使用されるデジタル病理画像処理システム３１０によって使用されるニューラルネットワークのうちの１つ以上は、訓練コントローラ３１７によって一緒に訓練される。場合によっては、訓練コントローラ３１７は、デジタル病理画像処理システム３１０による使用のためにモデルを選択的に訓練することができる。例えば、デジタル病理画像処理システム２１０は、第１の訓練技術を使用して、デジタル病理画像における特徴分類のための第１のモデルを訓練し、第２の訓練技術を使用して、異種性メトリックを計算するための第２のモデルを訓練し、第３の訓練技術を使用して、デジタル病理画像における腫瘍領域または領域を識別するための第３のモデルを訓練することができる。機械学習モデル（例えば、深層学習ニューラルネットワーク）の訓練は、図５Ａ～図５Ｂの少なくともプロセス５００および５５０ならびに図８の方法８００を参照して以下に詳細に説明される。

【0067】

図４Ａは、本明細書において説明される機械学習モデルを使用して識別された画像特徴および対応するラベルに基づいて生成されることができる例示的な視覚化を示している。特に、図４Ａは、例示的なヒートマップ４００および同じヒートマップ４００の詳細図４１０を示している。ヒートマップは、複数のセルから構成されてもよい。特定の実施形態では、ヒートマップは、パッチベース署名の一例であってもよい。ヒートマップのセルは、少なくとも図１Ａ～図１Ｂおよび図２Ａ～図２Ｂを参照して上述したように、デジタル病理画像から生成されたパッチに直接対応することができる。各セルに強度値を割り当てることができ、強度値は全てのセルにわたって正規化されることができる（例えば、セルの強度値は、０から１、０から１００などの範囲となるように）。ヒートマップ４００を表示する際に、セルの強度値が異なる色、パターン、強度などに変換されることができる。図４Ａに示される例において、４０２は、腫瘍領域４０２内の腫瘍領域または腫瘍領域を表し、腫瘍領域４０２内では、暗灰色領域４０４ａ、４０４ｂ、４０４ｃ、４０４ｄおよび４０４ｅ（個別におよび集合的に本明細書では４０４とも呼ばれる）は、ＡＤＣがん領域を表し、薄灰色セル４０６ａ、４０６ｂ、４０６ｃおよび４０６ｄ（個別におよび集合的に本明細書では４０６とも呼ばれる）は、ＳＣＣがん領域を表す。図示されていないが、異なる突然変異（例えば、ＫＲＡＳ変異、ＥＧＦＲ変異など）は、本明細書において論じられるヒートマップを使用して同様に視覚化されることができる。色勾配が使用されて、図１Ａ～図１Ｂおよび図２Ａ～図２Ｂにおいて論じられるプロセスを使用して識別されるように、異なる組織像または突然変異を例示することができる。特定の実施形態では、各セルの強度値は、本明細書において説明される深層学習ニューラルネットワークによって対応するパッチに対して決定されたラベルから導出されることができる。したがって、ヒートマップが使用されて、デジタル病理画像処理システム３１０および特にパッチ分類モジュール３１２が、特定の組織学、特定の遺伝子変異、特定の遺伝子変異などの特定の症状の指標を含む可能性が高いとして識別されたデジタル病理画像のパッチを迅速に識別することができる。特定の実施形態では、図４Ａに示す視覚化４００および４１０は、視覚化ツール１６０、視覚化ツール２６０、画像視覚化モジュール３１３、または出力生成モジュール３１６のうちの１つ以上を使用して生成される。

【0068】

図４Ｂは、本明細書において説明される機械学習モデルを使用して識別された画像特徴および対応するラベルに基づいて生成されることができる他の例示的な視覚化を示している。特に、図４Ｂは、単一のデジタル病理画像に対して２つのヒートマップ４２０および４３０が生成されることができる例を示している。各ヒートマップ４２０または４３０は、特定の特徴を示す単一のラベルに関する視覚化を示す。例えば、ヒートマップ４００などの複数の特徴の視覚化を示す単一のヒートマップではなく、各特徴に対応して別個のヒートマップが生成されることができ、特定の特徴の各ヒートマップは、マップ内のその特徴の領域を示す。図示されるように、ヒートマップ４２０は、ＳＣＣの領域４２２ａ、４２２ｂ、４２２ｃ、および４２２ｄを示し、ヒートマップ４３０は、ＡＤＣの領域４３２ａ、４３２ｂ、および４３２ｃを示す。同様に、突然変異または遺伝子バリアントのそれぞれを視覚化するために別個のヒートマップが生成されることができる。

【0069】

図４Ｃは、様々な視覚化技術を使用して例示的なデジタル病理画像を視覚化することを示している。これらの視覚化技術は、勾配重み付けクラスアクティブ化マッピング（Ｇｒａｄ－ＣＡＭ）技術、スコア重み付けクラスアクティブ化マッピング（ｓｃｏｒｅ－ＣＡＭ）技術、オクルージョンマッピング技術、および顕著性マッピング技術を含む。特定の実施形態では、デジタル病理画像処理システム３１０の画像視覚化モジュール３１３は、これらの異なる視覚化技術のそれぞれを使用して、様々なパッチベース署名を生成することができる。

【0070】

図示のように、画像４５０は、視覚化技術を適用する前の元のパッチを示す。画像４５２は、Ｇｒａｄ－ＣＡＭ技術を適用した後のパッチを示す。Ｇｒａｄ－ＣＡＭ技術は、畳み込みニューラルネットワーク（ＣＮＮ）の最終畳み込み層に流れ込む任意の標的概念の勾配を使用して、概念を予測するための画像内の重要な領域を強調表示する粗い位置推定マップを生成する。次に、画像４５４は、Ｓｃｏｒｅ－ＣＡＭ技術を適用した後のパッチを示す。Ｓｃｏｒｅ－ＣＡＭ技術は、Ｇｒａｄ－ＣＡＭおよびＧｒａｄ－ＣＡＭ＋＋から拡張された勾配のない視覚化方法である。それは、意思決定プロセスを解釈するためのより良好な視覚的性能および公平性を達成する。次に、画像４５６は、オクルージョンマッピング技術を適用した後のパッチを示す。オクルージョンマッピング技術は、間接光または周囲光が画像上に投影されたときに自然に発生するはずのソフトショーをシミュレートすることによって３Ｄオブジェクトをよりリアルに見せるために使用されるシャドーイング技術である。いくつかの実施形態では、オクルージョンマップは、グレースケール画像であり、白色は、完全な間接光を受光すべき領域を示し、黒色は、間接光を受光しないことを示す。次に、画像４５８は、顕著性マッピング技術を適用した後のパッチを示す。顕著性マッピング技術は、顕著性を使用して画像内の固有の特徴（画素、解像度など）を識別する技術である。固有の特徴は、画像内の重要または関連する位置を示す。特定の実施形態では、顕著性マッピング技術は、機械学習モデル（例えば、深層学習ニューラルネットワーク）がそのラベル予測を行うために使用する画像内の領域を識別する。特定の実施形態では、顕著性マップは、ヒートマップでもあり、ホットネスは、オブジェクトが属するクラスの予測に大きな影響を与える画像の領域を指す。顕著性マップの目的は、視野内の全ての位置において顕著なまたは目立つ領域を見つけ、顕著性の空間分布に基づいて注目位置の選択を誘導することである。

【0071】

図４Ｃを参照して上述したように、異なる視覚化技術とこれらの技術に基づいて得られた結果とを比較することに基づいて、画像視覚化モジュール３１３は、画像内の様々な特徴（例えば、変異）を視覚化するための好ましい技術を選択することができる。さらに、画像視覚化モジュール３１３のユーザオペレータは、所望の技術を指定することができる。例として、図４Ｃの異なる視覚化技術を適用した後に取得されたパッチ４５０、４５２、４５４、４５６、および４５８を分析または検査することに基づいて、画像視覚化モジュール３１３は、顕著性マップの結果を、画像内の特徴（例えば、ＡＤＣ、ＳＣＣ）を示す際に最も正確且つ明確であると決定することができる。図４Ｄは、選択された顕著性マッピング技術を用いて例示的なデジタル病理画像を視覚化する例を示している。図４Ｃと同様に、４６０は、任意の視覚化技術を適用する前の元のＳＣＣパッチを示し、４６２は、本明細書において説明される顕著性マッピング技術を適用した後に得られるＳＣＣパッチを示している。顕著性マッピング技術の適用は、ラベルに関する予測を行うための深層学習ニューラルネットワークによる決定において最も影響を受けた組織の領域を示すのに役立つ。参照符号４７０によって示されるように、顕著性マップは、セグメンテーションアルゴリズムなしでＳＣＣパッチ内の細胞核を抽出している。

【0072】

図５Ａ～図５Ｂは、それぞれ、パッチに描かれた画像特徴の検出にしたがってデジタル病理画像を分類し、機械学習モデルを試験および更新するための機械学習モデルを訓練するための例示的なプロセス５００および５５０を示している。図５Ａは、デジタル病理画像処理システム３１０を訓練するための、特に組織サンプル内の特徴（例えば、組織像、突然変異など）を識別するために使用される深層学習ニューラルネットワークを訓練するための例示的なプロセス５００を示している。一般に、訓練プロセスは、グラウンドトゥルース特徴および対応するラベルを有する訓練データ（例えば、様々な対象のデジタル病理画像または全体スライド画像）をデジタル病理画像処理システム３１０に提供し、深層学習ニューラルネットワークに、様々な特徴（例えば、組織像、突然変異など）を識別し、所与のデジタル病理またはスライド画像全体において対応するラベルを生成することを学習させることを含む。訓練に使用されるグランドトゥルースラベルは、臨床医／病理学者によって提供されてもよく、例えば腺癌および扁平上皮癌腫を含む組織亜型などの腫瘍型の診断、および突然変異のＤＮＡ配列決定を含むことができる。訓練は、何千ものスライド画像全体を手動で評価し、これらの画像のそれぞれの特徴を識別する際のユーザ（例えば、病理学者、医師、臨床専門家など）の負担を軽減するため、特に有利である。訓練された機械学習モデルを使用して組織サンプル内の組織像または突然変異を識別することは、全体的な画像分類および評価プロセスを促進する。モデルが十分に訓練されると、モデルは、人間による手動分類および評価に導入されることができるエラーの数またはエラーの機会を減らすことができる。例として、訓練されたモデルは、Ｈ＆Ｅ画像のみから人間によって手動で予測されることが困難または不可能であった異なる突然変異または遺伝子バリアントを自動的に識別することが可能であり得る。また、訓練された機械学習モデルは、以前は未知であった新規なバイオマーカーまたは特徴を識別するのに役立つことがある。

【0073】

いくつかの実施形態では、この種の学習構造のモデルは、マルチインスタンス学習と呼ばれることができる。マルチインスタンス学習では、インスタンスの集合がラベルを有するセットとして一緒に提供される。個々のインスタンスは、多くの場合、セットのみにラベル付けされないことに留意されたい。ラベルは、典型的には、存在する症状に基づく。記載されるシステムによって採用されるマルチインスタンス学習技術における基本的な仮定は、パッチのセットが存在する条件を有するとしてラベル付けされる場合（例えば、パッチのセットが特定の突然変異種類に関連するものとしてラベル付けされる場合）、セット内の少なくとも１つのインスタンスが特定の突然変異種類のものであるということである。同様に、パッチのセットが特定の組織学に関連するものとしてラベル付けされている場合、セット内の少なくとも１つのインスタンスは、特定の組織学のものである。他の実施形態では、パッチは、個別にラベル付けされてもよく、パッチのセットは、個別にラベル付けされたパッチを含んでもよく、セット内の１つのパッチに関連付けられたラベルは、セット内の別のパッチに関連付けられたラベルとは異なる。

【0074】

本明細書において説明されるように、デジタル病理画像処理システム３１０の訓練コントローラ３１７は、本明細書において説明される１つ以上の機械学習モデル（例えば、深層学習ニューラルネットワーク）の訓練、および／または組織サンプル内の特徴（例えば、組織像、突然変異など）を識別するためにデジタル病理画像処理システム３１０によって使用される機能を制御することができる。図５Ａに示すように、５１０において、訓練コントローラ３１７は、デジタル病理画像のセット（例えば、全スライド画像５０５ａ、５０５ｂ、．．．、５０５ｎ）を含む訓練データを選択、取得、および／またはアクセスすることができる。３つの画像が訓練データの一部として図５Ａに示されているが、決してこれに限定されず、任意の数の画像が訓練において使用されることができることに留意されたい。例えば、ＮＳＣＬＣ患者からの組織サンプルを含む１０００個のデジタル病理画像は、本明細書において論じる機械学習モデル（例えば、深層学習ニューラルネットワーク）を訓練するために使用されることができる。

【0075】

５２０において、訓練コントローラ３１７は、腫瘍病変セグメンテーションを実行し、例えば、デジタル病理画像のそれぞれにおいて腫瘍領域（例えば、疾患領域）を識別することができる。例えば、図５Ａに示すように、画像５０５ａでは腫瘍領域５１５ａが識別され、画像５０５ｂでは腫瘍領域５１５ｂが識別され、画像５０５ｎでは腫瘍領域５１５ｎが識別される。一実施形態では、訓練コントローラ３１７は、１つ以上の機械学習技術を使用して腫瘍領域を自動的に識別する。例えば、機械学習モデルは、人間の専門家によるデジタル病理画像のセット内の予めラベル付けされたまたは予め注釈付けされた腫瘍領域に基づいて訓練されることができる。いくつかの実施形態では、訓練コントローラ３１７は、ユーザの助けを借りて腫瘍領域を識別することができる。例えば、腫瘍領域は、病理学者、医師、臨床専門医、肺がんの診断の専門家などによって手動で選択されてもよい。

【0076】

５３０において、訓練コントローラ３１７は、例えばパッチ生成モジュール３１１を使用して、デジタル病理画像処理システム３１０に、識別された腫瘍領域を有する各デジタル病理画像をパッチまたはタイルのセットに細分化させる。例えば、図５Ａに示すように、画像５２５ａは、パッチのセット５３５ａ、５３５ｂ、．．．、５３５ｎ（本明細書では個別におよび集合的に５３５とも呼ばれる）に細分化され、画像５２５ｂは、パッチのセット５３６ａ、５３６ｂ、．．．、５３６ｎ（本明細書では個別におよび集合的に５３６とも呼ばれる）に細分化され、画像５２５ｎは、パッチのセット５３７ａ、５３７ｂ、．．．、５３７ｎ（本明細書では個別におよび集合的に５３７とも呼ばれる）に細分化される。セット５３５、５３６、および５３７内の各パッチは、１つ以上の画像特徴によって分類され、これらの特徴の対応するラベルによって注釈付けされることができる。例えば、１人以上の人間の専門家または病理学者は、組織サンプル内の特定の特徴を識別または示すラベルによって各パッチに注釈を付けることができる。例として、限定されないが、病理学者は、各パッチ中の１つ以上の特徴を分類または識別し、識別された特徴のそれぞれにラベルを提供することができ、ラベルは、組織サンプル内のＡＤＣまたはＳＣＣなどの特定の組織学を示す。別の例として、限定されないが、組織サンプル内の特定の突然変異または遺伝子バリアント、例えばＫＲＡＳ ＡＬＫ、ＴＰ５３を示すラベルが、各パッチについて病理学者によって提供されることができる。このプロセスは、抽出された全てのパッチが分類、注釈付け、またはラベル付けされるまで繰り返されてもよい。特定の実施形態では、患者の単一のグラウンドトゥルースラベルが使用されて、患者からのサンプルの画像の各パッチ（腫瘍病変に属する）をラベル付けすることができる。実際には、パッチのラベルは、異なっていて同じではない場合があり、したがって、訓練は、弱教師あり学習である。

【0077】

図５Ａに示す訓練プロセス５００は、図５Ａに示すステップ５１０、５２０、５３０、５４０の順序または配置に限定されず、訓練プロセス５００の１つ以上のステップの再配置が可能であり、本開示の範囲内であることを理解されたい。例えば、一実施形態では、細分化またはタイリングステップ５３０は、腫瘍病変セグメンテーションステップ５２０の前に行うことができる。この実施形態では、対象のデジタル病理画像５０５ａ、５０５ｂ、．．．、５０５ｎは、最初に複数のパッチに細分化され、次いで、手動注釈づけまたは別個の腫瘍セグメンテーションアルゴリズムのいずれかを使用して、これらのパッチのそれぞれに対して腫瘍病変セグメンテーションが実行される（例えば、腫瘍領域が各パッチにおいて識別される）。別の実施形態では、訓練プロセス５００は、図５Ａに示す順序で実行される。訓練プロセス５００における他の変形および１つ以上の追加のステップも可能であり想定される。

【0078】

ステップ５４０において、訓練コントローラ３１７は、ラベル付けされたパッチ５３５、５３６および５３７のセットに基づいて機械学習モデル（例えば、深層学習ニューラルネットワーク）を訓練することができる。例えば、訓練コントローラ３１７は、各ラベル付きパッチ（例えば、識別された特徴および対応するラベルを有するパッチ）を、当業者によって理解されるＣＮＮ訓練手法を使用して訓練するために機械学習モデルに供給することができる。訓練されると、機械学習モデルは、本明細書の他の箇所で説明するように、スライド全体レベルのラベルを使用して組織パッチを分類することができる。

【0079】

図５Ｂは、図５Ａのプロセス５００を使用してデジタル病理画像内の特徴および／またはデジタル病理画像からセグメント化されたパッチを識別および分類するように訓練された機械学習モデルを試験および更新するためのプロセス５５０を示している。例えば、図５Ａを参照して上述したように、複数のデジタル病理画像５０５ａ、５０５ｂ、．．．、５０５ｎおよび対応するパッチラベル５３５ａ、５３５ｂ、．．．、５３５ｎ、５３６ａ、５３６ｂ、．．．、５３６ｎ、および５３７ａ、５３７ｂ、．．．、５３７ｎに基づいて機械学習モデルが訓練されると、訓練された機械学習モデルは、その分類における訓練された機械学習モデルの精度を検証するために、１つ以上の見えていない試験スライドまたはデジタル病理画像上で試験されてもよい。例として、訓練された機械学習モデルは、検証のために２０枚の見えない試験スライドに対してその試験を実行するようにされることができる。機械学習モデルを試験するための試験スライドまたは画像は、任意の数であってもよく、ユーザによって事前設定されてもよい。検証に基づいて、モデルの信頼性が決定されることができる。

【0080】

５６０において、訓練コントローラ３１７は、訓練された機械学習モデルを試験するために、特定の対象の特定のデジタル病理画像５６５にアクセスすることができる。ステップ５７０において、デジタル画像処理システム３１０は、特定のデジタル病理画像５６５を複数のパッチ５７５ａ、５７５ｂ、．．．、５７５ｎ（個別におよび集合的に本明細書では５７５と呼ばれる）に細分化することができる。５８０において、訓練コントローラ３１７は、図５Ａのプロセス５００によって得られた訓練された機械学習モデルを使用して、画像特徴を識別し、複数のパッチ５７５において識別された画像特徴のラベルを生成する。例えば、訓練コントローラ３１７は、パッチ５７５ａに示された特徴の予測されたラベル５８５ａ、パッチ５７５ｂに示された特徴の予測されたラベル５８５ｂ、およびパッチ５７５ｎに示された特徴の予測されたラベル５８５ｎを生成する。

【0081】

５９０において、訓練コントローラ３１７は、パッチ５７５ａ、５７５ｂ、．．．、５７５ｎのそれぞれのグランドトゥルースラベルまたは分類にアクセスすることができる。図示されるように、グラウンドトゥルースラベル５８７ａは、パッチ５７５ａに示された特徴に対応し、グラウンドトゥルースラベル５８７ｂは、パッチ５７５ｂに示された特徴に対応し、グラウンドトゥルースラベル５８７ｎは、パッチ５７５ｎに示された特徴に対応する。特定の実施形態では、グランドトゥルースラベルは、正確または理想的な分類であることが知られているラベルまたは分類である。例えば、グランドトゥルースラベルは、訓練画像のデータセットの一部として提供されることができ、病理学者または他の人間のオペレータによって生成されることができる。グランドトゥルースラベルにアクセスすると、ステップ５９０において、訓練コントローラ３１７は、予測されたラベル５８５ａ、５８５ｂ、．．．、５８５ｎを対応するグランドトゥルースラベルまたは真のラベル５８７ａ、５８７ｂ、．．．、５８７ｎと比較することができる。例えば、訓練コントローラ３１７は、予測されたラベル５８５ａをグラウンドトゥルースラベル５８７ａと比較し、予測されたラベル５８５ｂをグラウンドトゥルースラベル５８７ｂと比較し、予測されたラベル５８５ｎをグラウンドトゥルースラベル５８７ｎと比較する。いくつかの実施形態では、比較に基づいて、訓練コントローラ３１７は、損失関数などの訓練プロセスのスコアリング関数を計算することができる。スコアリング関数（例えば、損失関数）は、深層学習ニューラルネットワークによる予測されたラベルとグランドトゥルースラベルとの間の分類の相違を定量化することができる。例えば、損失関数は、機械学習モデルによる予測されたラベルがグランドトゥルースまたは真のラベルからどれだけ離れているかを記述するオフセット値を示すことができる。予測されたラベルと真のラベルとの比較が、例えば図６に示されている。

【0082】

比較５９０に基づいて、訓練コントローラ３１７は、訓練を中止するか機械学習モデル（例えば、深層学習ニューラルネットワーク）を更新するかを決定することができる。例えば、訓練コントローラ３１７は、損失関数が、深層学習ニューラルネットワークが予測されたラベル５８５ａ、５８５ｂ、．．．、５８５ｎとグラウンドトゥルースラベル５８７ａ、５８７ｂ、．．．、５８７ｎとの間の一致の閾値を超えたことを示すまで、深層学習ニューラルネットワークを訓練することを決定することができる。いくつかの実施形態では、訓練コントローラ３１７は、設定された回数の反復またはエポックについて深層学習ニューラルネットワークを訓練することを決定することができる。例えば、深層学習ニューラルネットワークは、指定された反復回数に到達するまで、またはいくつかの閾値基準が満たされるまで、同じラベル付きパッチ５３５、５３６、５３７のセットを使用して繰り返し訓練および更新されることができる。訓練コントローラ３１７はまた、様々な訓練画像を使用して深層学習ニューラルネットワークを訓練するために複数の反復を実行することができる。深層学習ニューラルネットワークは、画像の予約された試験セットを使用して検証されることもできる。いくつかの実施形態では、訓練コントローラ３１７は、訓練を周期的に一時停止し、適切なラベルが既知であるパッチの試験セットを提供することができる。訓練コントローラ３１７は、試験セット上の既知のラベルに対して深層学習ニューラルネットワークの出力を評価して、深層学習ニューラルネットワークの精度を決定することができる。精度が設定された閾値に到達すると、訓練コントローラ３１７は、深層学習ニューラルネットワークの訓練を中止することができる。

【0083】

いくつかの実施形態では、訓練コントローラ３１７が、訓練が完了したと決定すると、訓練コントローラ３１７は、訓練された機械学習モデル（例えば、深層学習ニューラルネットワーク）の分類における信頼度または精度を示す信頼値を出力することができる。例えば、訓練コントローラ３１７は、深層学習ニューラルネットワークが対象の試験画像内の特徴を分類する際に９５％正確であることを示す信頼値０．９５を出力することができる。モデルの精度を示す信頼値の例が、例えば図６に示されている。

【0084】

本明細書に記載されるように、画像特徴を識別し、デジタル病理画像（例えば、スライド画像全体）のための対応するラベルを生成するための従来のプロセスは、困難で時間がかかる。本明細書に記載のデジタル病理画像処理システム３１０ならびに前記システムの使用および訓練方法は、デジタル病理画像処理システムの様々なネットワークを訓練するために利用可能な画像のセットを増加させるために使用されることができる。例えば、既知のラベル（潜在的に注釈を含む）を有するデータを使用する初期訓練パスの後、デジタル病理画像処理システム３１０が使用されて、既存のラベルなしでパッチを分類することができる。生成された分類は、人間のエージェントによって検証されることができ、補正が必要な場合、デジタル病理画像処理システム３１０（例えば、深層学習ニューラルネットワーク）は、新たなデータを使用して再訓練されることができる。このサイクルは繰り返すことができ、これまで見られなかった例では精度率を改善するために観察者の介入が必要になると予想される。さらに、指定された精度レベルに到達すると、デジタル病理画像処理システム３１０によって生成されたラベルは、訓練のためのグラウンドトゥルースとして使用されることができる。

【0085】

図６は、２つの異なるサンプリングデータに基づく予測されたラベルと真のラベルとの間の例示的な実験的比較データを示している。特に、図６は、２つの異なる数の試験サンプルについて、ＡＤＣおよびＳＣＣなどの組織像を予測または識別する際の機械学習モデル（例えば、深層学習ニューラルネットワーク）の精度を示している。左側のチャート６００は、１０個の試験サンプルに基づいてＡＤＣ領域およびＳＣＣ領域を予測または識別する際のモデルの精度を示す信頼値６１０ａ、６１０ｂ、６１０ｃ、および６１０ｄを示す。図示されるように、訓練コントローラ３１７は、真のラベルと予測されたラベルとの間に９０％の一致があることを示す０．９信頼値（参照符号６１０ａおよび６１０ｄによって示される）を出力する。別の言い方をすれば、訓練コントローラ３１７は、訓練されたモデル（例えば、深層学習ニューラルネットワーク）が１０個の試験サンプル内のＡＤＣ領域およびＳＣＣ領域を正しく識別するのに９０％正確であることを見出すことができる。

【0086】

右側のチャート６２０は、２８０個の試験サンプルに基づいてＡＤＣ領域およびＳＣＣ領域を予測または識別する際のモデルの精度を示す信頼値６３０ａ、６３０ｂ、６３０ｃ、および６３０ｄを示す。図示されるように、訓練コントローラ３１７は、これらのサンプル内のＡＤＣを識別するモデルにおける０．７６信頼値（参照符号６３０ａによって示される）と、これらのサンプル内のＳＣＣを識別するモデルにおける０．９２信頼値（参照符号６３０ｄによって示される）とを出力する。具体的には、信頼値６３０ａおよび６３０ｄは、それぞれ、真のラベルと予測されるラベルとの間に、これらのサンプル内のＡＤＣを識別するときに７６％の一致があり、これらの２８０個の試験サンプル内のＳＣＣを識別するときに９２％の一致があることを示す。

【0087】

図７は、機械学習モデルを使用してデジタル病理画像内の特徴を識別し、デジタル病理画像内の識別された特徴の異種性に基づいて対象評価を生成するための例示的な方法７００を示している。方法７００は、ステップ７１０において開始することができ、デジタル病理画像処理システム３１０は、組織サンプルのデジタル病理画像を受信するか、そうでなければアクセスする。特定の実施形態では、組織サンプルのデジタル病理画像は、非小細胞肺がんと診断された対象または患者からのサンプルの全スライド画像である。一実施形態では、本明細書において論じられるデジタル病理画像または全スライド画像は、Ｈ＆Ｅ染色画像であるか、または非小細胞肺がんと診断された患者からの腫瘍サンプルのＨ＆Ｅ調製から取得されることができる。本明細書に記載されるように、デジタル病理画像処理システム３１０は、デジタル病理画像生成システムから画像を直接受信することができ、またはユーザ装置３３０から画像を受信することができる。他の実施形態では、デジタル病理画像処理システム３１０は、デジタル病理画像処理システム３１０が分析用画像を受信するのを容易にするデジタル病理画像を記憶するためのデータベースまたは他のシステムと通信可能に結合されることができる。

【0088】

ステップ７１５において、デジタル病理画像処理システム３１０は、画像をパッチに細分化する。例えば、デジタル病理画像処理システム３１０は、図１Ａおよび図２Ａに示すように画像をパッチに細分化することができる。本明細書に記載されるように、デジタル病理画像は、標準的な画像よりも大幅に大きく、標準的な画像認識および分析に通常実行可能であるよりもはるかに大きいと予想される（例えば、１００，０００ピクセル×１００，０００ピクセル程度）。分析を容易にするために、デジタル病理画像処理システム３１０は、画像をパッチに細分化する。パッチのサイズおよび形状は、分析の目的のために均一であるが、サイズおよび形状は、可変とすることができる。いくつかの実施形態では、パッチは、デジタル病理画像処理システム３１０によって画像コンテキストが適切に分析される機会を増やすために重複することができる。行われる作業と精度とのバランスをとるために、重複しないパッチを使用することが好ましい場合がある。さらに、画像をパッチに細分化することは、画像に関連付けられたカラーチャネルまたは主要な色に基づいて画像を細分化することを含むことができる。

【0089】

ステップ７２０において、デジタル病理画像処理システム３１０は、各パッチ内の１つ以上の画像特徴（例えば、組織像、突然変異など）を識別および分類し、ステップ８２５において、機械学習モデルを使用してデジタル病理画像の各パッチ内で識別された１つ以上の画像特徴に対する１つ以上のラベルを生成し、各ラベルは、組織サンプル内の特定の種類の症状（例えば、がんの種類、腫瘍細胞の種類、突然変異の種類など）を示すことができる。一実施形態では、デジタル病理画像は、非小肺がんタイプの患者からのサンプルの画像であり、機械学習モデルによってステップ８２５において生成されたラベルは、例えば図１Ａに示すように、腺癌（ＡＤＣ）、扁平上皮癌腫（ＳＣＣ）などの組織亜型を示すことができる。別の実施形態では、機械学習モデルによってステップ８２５において生成されたラベルは、例えば図２Ａに示すように、ＫＲＡＳ変異、上皮増殖因子受容体（ＥＧＦＲ）変異、未分化リンパ腫キナーゼ（ＡＬＫ）変異、または腫瘍タンパク質５３（ＴＰ５３）変異などの異なる変異または遺伝子変異を示すことができる。本明細書において説明する機械学習モデルは、組織サンプル内の異なる組織像および突然変異に対応するラベルを生成することに限定されず、組織サンプル内の他の様々な特徴に対応するラベルも機械学習モデルによって生成されることができることを理解されたい。特定の実施形態では、本明細書において説明する機械学習モデルは、深層学習ニューラルネットワークである。

【0090】

ステップ７３０において、デジタル病理画像処理システム３１０は、任意に、上記の機械学習モデルを使用して生成されたラベルに基づいてパッチベース署名を生成することができる。例えば、デジタル病理画像処理システム３１０は、図４Ａ～図４Ｂに示すようにパッチベース署名を生成することができる。特定の実施形態では、パッチベース署名は、複数の強度値にそれぞれ関連付けられた複数の領域を含むヒートマップである。ヒートマップの複数の領域のうちの１つ以上の領域は、患者サンプル内の症状の表示と関連付けられてもよく、１つ以上の領域と関連付けられたそれぞれの強度値は、表示の統計的信頼度と相関する。パッチベース署名は、組織サンプル中の識別された特徴の視覚化を示すことができる。視覚化は、特徴（例えば、組織像、突然変異）を異なるカラーコーディングで表示することを含むことができる。例として、限定されないが、パッチベース署名を介して組織サンプル中の異なる組織像を視覚化することは、ＡＤＣを青色で、ＳＣＣを緑色でなどで表示することを含むことができる。特定の実施形態では、デジタル病理画像処理システム３１０は、異なる視覚化技術を使用して、本明細書で説明するパッチベース署名（例えば、ヒートマップ）を生成することができる。例えば、画像視覚化モジュール３１３は、例えば図４Ｃに示して説明したように、Ｇｒａｄ－ＣＡＭ技術、Ｓｃｏｒｅ－ＣＡＭ技術、オクルージョンマッピング技術、または顕著性マッピング技術のうちの１つ以上を使用して視覚化を生成することができる。一実施形態では、ここで使用される視覚化技術は、例えば図４Ｄに示されて説明されているように、顕著性マッピング技術である。

【0091】

ステップ７３５において、デジタル病理画像処理システム３１０は、ステップ７２５において生成されたラベルを使用して異種性メトリックを計算する。代替の実施形態では、デジタル病理画像処理システム３１０は、ステップ７３０において生成されたパッチベース署名を使用して異種性メトリックを計算することができる。特定の実施形態では、異種性メトリックは、組織サンプル内の他のラベルに対する組織サンプル内の各ラベルの相対的な割合を示すことができる。例として、限定されないが、異種性メトリックは、図１Ａにおいて識別された様々な組織像について、組織サンプル中のＡＤＣおよびＳＣＣの各がん領域の割合（例えば、患者の非小細胞肺がん画像）を示すことができる。別の言い方をすれば、異種性メトリックは、図１Ｂに示されるように、組織サンプル中の全ＳＣＣがん領域に対していくつの全ＡＤＣがん領域が存在するかを示すことができる。別の例として、異種性メトリックは、図２Ａにおいて識別された様々な突然変異または遺伝子バリアントについて、対象または患者の所与の組織サンプル中のＫＲＡＳおよびＥＧＦＲ突然変異のそれぞれの割合を示すことができる。別の例として、異種性メトリックは、異種性の程度または大きさを定量化するメトリックを提供することができ、あるいはそのようなメトリックに寄与することができる。

【0092】

ステップ７４０において、デジタル病理画像処理システム３１０は、計算された異種性または異種性メトリックに基づいて対象評価を生成する。対象評価は、限定ではなく例として、対象の診断、予後、治療推奨、またはデジタル病理画像の特徴の異種性に基づく他の同様の評価を含むことができる。例えば、様々な特徴（例えば、組織像または突然変異）およびそれらの対応するラベルが所与の組織サンプルにおいてどの程度異種であるかを示す異種性メトリックに基づいて、出力生成モジュール３１６は、所与の組織サンプルの適切な評価を生成することができる。例として、評価は、患者の組織サンプル中に存在するＡＤＣおよびＳＣＣがん領域の量に基づく患者の肺がんの重症度を含むことができる。

【0093】

ステップ７４５において、デジタル病理画像処理システム３１０は、生成された対象評価を、病理学者、医師、臨床専門医、肺がんの診断の専門家、イメージング装置の操作者などのユーザに提供する。特定の実施形態では、ユーザは、ステップ７４０において生成された評価を使用して、患者の治療選択肢を評価することができる。いくつかの実施形態では、出力生成モジュール３１６は、評価に基づいて、対象が治験に適格であるかどうかの指示を出力することができる。出力（例えば、評価）は、例えば、様々な画像特徴（例えば、組織像、突然変異など）のデジタル病理画像分類、対話型インターフェース、またはそれらに対する微分特性および統計をさらに含むことができる。これらの出力などは、例えば、適切に構成されたユーザ装置３３０を介してユーザに提供することができる。出力は、デジタル病理画像処理システム３１０によって実行された分析をユーザがレビューすることを容易にすると同時に、ユーザの独立した分析もサポートする対話型インターフェースにおいて提供されることができる。例えば、ユーザは、出力の様々な特徴をオンまたはオフにし、ズームし、パンし、そうでなければデジタル病理画像を操作し、分類、注釈、および微分特性に関するフィードバックまたはノートを提供することができる。

【0094】

ステップ７５０において、デジタル病理画像処理システム３１０は、任意に、提供された対象評価に関するフィードバックを受信することができる。ユーザは、ラベルの分類または注釈の精度に関するフィードバックを提供することができる。ユーザは、例えば、デジタル病理画像処理システム３１０によって以前に識別されなかったユーザにとって関心のある領域（および関心がある理由）を示すことができる。ユーザは、デジタル病理画像処理システム３１０によってまだ提案されていないかまたは取り込まれていない画像の追加の分類をさらに示すことができる。このフィードバックは、例えば臨床ノートとして、ユーザの後のアクセスのために記憶されることもできる。

【0095】

ステップ７５５において、デジタル病理画像処理システム３１０は、任意に、フィードバックを使用して、デジタル病理画像の分類に使用される機械学習モデル、例えば、深層学習ニューラルネットワークまたは分類ネットワークのうちの１つ以上を再訓練または更新することができる。デジタル病理画像処理システム３１０は、フィードバックを使用して、デジタル病理画像処理システム３１０に利用可能な訓練データセットを、フィードバックがその信頼性を高める人間の専門家によって提供されているというさらなる利点で補うことができる。デジタル病理画像処理システム３１０は、その分類の精度を高めるとともに、デジタル病理画像処理システム３１０が主要な関心領域を識別する速度を高める目的で、システムによって提供される分析の基礎となる深層学習ニューラルネットワークを連続的に修正することができる。したがって、デジタル病理画像処理システム３１０は、静的なシステムではなく、継続的な改善を提供し、利益を得ることができる。

【0096】

特定の実施形態は、適切な場合には、図７の方法の１つ以上のステップを繰り返すことができる。本開示は、図７の方法の特定のステップを特定の順序で行われるものとして説明および図示しているが、本開示は、任意の適切な順序で行われる図７の方法の任意の適切なステップを想定している。さらに、本開示は、機械学習モデルを使用してデジタル病理画像内の特徴を識別し、図７の方法の特定のステップを含むデジタル病理画像内の識別された特徴の異種性に基づいて対象評価を生成するための例示的な方法を説明および図示しているが、本開示は、機械学習モデルを使用してデジタル病理画像内の特徴を識別し、任意の適切なステップを含むデジタル病理画像内の識別された特徴の異種性に基づいて対象評価を生成するための任意の適切な方法を想定しており、任意の適切なステップは、適切な場合には、図７の方法のステップの全て、一部、またはいずれも含まなくてもよい。さらに、本開示は、図７の方法の特定のステップを実行する特定の構成要素、装置、またはシステムを説明および図示しているが、本開示は、図７の方法の任意の適切なステップを実行する任意の適切な構成要素、装置、またはシステムの任意の適切な組み合わせを想定している。

【0097】

図８は、パッチに示された画像特徴の検出にしたがってデジタル病理画像のパッチをラベル付けまたは分類するための機械学習モデルを訓練および更新するための例示的な方法８００を示している。特定の実施形態では、方法８００のステップ８１０～８３０は、機械学習モデルの訓練に関連し、方法８００のステップ８３５～８６５は、訓練された機械学習モデルの試験および更新に関連する。方法８００は、ステップ９１０において開始することができ、デジタル病理画像処理システム３１０は、複数の対象または患者にそれぞれ関連付けられた複数のデジタル病理画像にアクセスする。特定の実施形態では、これは、非小細胞肺がん（ＮＳＣＬＣ）患者からの組織サンプルの画像データを受信することを含む。例として、０．５ピクセル／μｍの解像度でスキャンされたＮＳＣＬＣ患者からの４７６個の組織サンプルが、本明細書において論じられる機械学習モデルを訓練するための訓練データセットとして使用されることができる。

【0098】

ステップ８１５において、デジタル病理画像処理システム３１０は、腫瘍病変セグメンテーションを実行し、例えば、ステップ８１０においてアクセスされた複数のデジタル病理画像のそれぞれにおける腫瘍領域を識別する。例として、図５Ａに示すように、腫瘍領域５１５は、各画像において識別されることができる。一実施形態では、腫瘍領域は、別個の腫瘍病変セグメンテーションアルゴリズムまたは１つ以上の機械学習技術を使用して自動的に識別されることができる。例えば、機械学習モデルは、人間の専門家によるデジタル病理画像のセット内の予めラベル付けされたまたは予め注釈付けされた腫瘍領域に基づいて訓練されることができる。一実施形態では、腫瘍領域は、病理学者、医師、臨床専門医、肺がんの診断の専門家などのユーザによって手動で選択されてもよい。

【0099】

ステップ８２０において、デジタル病理画像処理システム３１０は、識別された腫瘍領域を有する各デジタル病理画像をパッチのセットに細分化することができる。例えば、図５Ａに示すように、デジタル病理画像処理システム３１０は、各画像を、セット５３５、セット５３６、セット５３７などのパッチのセットに細分化することができる。いくつかの実施形態では、各パッチのサイズおよび形状は、分析の目的のために均一であるが、サイズおよび形状は、可変とすることができる。例として、識別された腫瘍領域または領域を有する各デジタル病理画像は、５１２×５１２ピクセルのより小さい画像パッチに細分化される。前述のように、本開示は、図５Ａの訓練プロセス５００または図８の方法８００の任意の適切なステップが任意の適切な順序で行われることを想定している。例えば、一実施形態では、ステップ８２０は、ステップ８１５の前に行うことができる。別の実施形態では、方法８００のステップは、図８に示す順序で実行される。

【0100】

ステップ８２５において、ステップ８２０において抽出されたパッチのセットは、対応するラベルとともに画像特徴によって分類または注釈付けされてもよい。例えば、１人以上の人間の専門家または病理学者は、各パッチ内の１つ以上の特徴を分類し、組織サンプル内の特定の症状を示す１つ以上のグランドトゥルースラベルによって特徴に注釈を付けることができる。例として、限定されないが、各パッチは、組織サンプル内にＡＤＣまたはＳＣＣなどの特定の組織学を含むものとして分類またはラベルされることができる。別の例として、限定されないが、各パッチは、組織サンプル内にＫＲＡＳ、ＡＬＫ、ＴＰ５３などの特定の突然変異または遺伝子バリアントを含むものとして分類またはラベルされることができる。このプロセスは、抽出された全てのパッチが注釈付けまたはラベル付けされるまで繰り返されてもよい。

【0101】

ステップ８３０において、デジタル病理画像処理システム３１０は、ラベル付けされたパッチのセットに基づいて機械学習モデル（例えば、深層学習ニューラルネットワーク）を訓練することができる。例えば、訓練コントローラ３１７は、例えば図５Ａに示すように、各ラベル付きパッチ（例えば、対応するグランドトゥルースラベルを有する分類された組織構造特徴）を訓練のために機械学習モデルに供給することができる。特定の実施形態では、機械学習モデルは、転移学習および弱教師あり学習技術を使用して、インセプションＶ３およびＲｅｓｎｅｔ１８アーキテクチャに基づいて訓練されることができる畳み込みニューラルネットワークである。機械学習モデルを訓練するための他の学習技術も可能であり、本開示の範囲内であることを理解されたい。訓練されると、機械学習モデルは、スライド全体レベルのラベルを使用して組織パッチを分類することができる。

【0102】

ステップ８３５において、デジタル病理画像処理システム３１０は、訓練された機械学習モデルを試験するために、特定の対象の特定のデジタル病理画像にアクセスすることができる。例えば、ステップ８１０～８３０において上述したように、複数のデジタル病理画像および対応するパッチラベルに基づいて機械学習モデルが訓練されると、訓練された機械学習モデルは、その分類における訓練された機械学習モデルの精度を検証し、モデルの信頼性を決定するために、１つ以上の見えていない試験スライドまたはデジタル病理画像で試験されてもよい。例として、訓練された機械学習モデルは、検証のために２０枚の見えない試験スライドに対してその試験を実行するようにされることができる。機械学習モデルを試験するための試験スライドまたは画像は、任意の数であってもよく、ユーザによって事前設定されてもよい。

【0103】

ステップ８４０において、デジタル病理画像処理システム３１０は、特定のデジタル病理画像を、本明細書の他の箇所で論じられ、例えば図５Ｂに示されるように、第２のパッチのセットに細分化することができる。ステップ８４５において、デジタル病理画像処理システム３１０は、各パッチ内の１つ以上の第２の画像特徴を識別し、訓練された機械学習モデルを使用して１つ以上のラベル（例えば、組織学サブタイプ、突然変異型など）を生成することができる。

【0104】

ステップ８５０において、デジタル病理画像処理システム３１０は、訓練された機械学習モデルによって生成されたラベルをグランドトゥルースラベルまたは真のラベルと比較することができる。いくつかの実施形態では、デジタル病理画像処理システム３１０は、比較に基づいて損失関数を計算することができる。例えば、訓練コントローラ３１７は、損失関数を決定するために、機械学習モデルによる第２のパッチのセットの予測されたラベルを、人間の専門家または病理学者によるこれらのパッチの真のラベルと比較することができる。いくつかの実施形態では、損失関数は、所与の組織サンプル内に示された特徴のラベルを予測する際の機械学習モデルの精度の指標とすることができる。いくつかの実施形態では、損失関数は、機械学習モデルによる予測されたラベルがグランドトゥルースまたは真のラベルからどれだけ離れているかを定量化するオフセット値を示すことができる。予測されたラベルと真のラベルとの比較が、例えば図６に示されている。

【0105】

ステップ８５５において、デジタル病理画像処理システム３１０は、任意に、ステップ８５０における比較に基づいて計算されたスコアリング関数（例えば、損失関数）が特定の閾値未満であるかどうかに関する決定を行うことができる。閾値は、第２のパッチのセットの機械学習モデルによる予測されたラベルが真のラベルまたはグランドトゥルースラベルに近いか同等であると見なされるまで、ユーザ（例えば、病理学者）によって設定された上限であってもよい。別の言い方をすれば、閾値は限界または値とすることができ、オフセット値（例えば、機械学習モデルによる予測されたラベルがグランドトゥルースまたは真のラベルからどれだけ離れているかを定量化する）を示すスコアリング関数が閾値未満または閾値内である場合、機械学習モデルは、そのラベル予測または分類において正確であると決定されることができる。一方、スコアリング関数のオフセット値が閾値よりも大きい場合、機械学習モデルは、不正確であると決定され、より多くの訓練を必要とするとしてフラグが立てられる。非限定的な例として、閾値は９０％であってもよく、予測されたラベルと真のラベルとの間の比較が、ラベル間の一致が９２％であること、または予測されたラベルの９２％が真のラベルと一致することを明らかにする場合、機械学習モデルは、正確であり、十分に訓練されていると見なされることができる。同じ例を続けると、予測されたラベルと真のラベルとの間の一致が僅か７５％である場合、機械学習モデルは、より多くの訓練が必要（ｒｅｑｕｉｒｅｄ）または必要（ｎｅｅｄｅｄ）であると決定される。いくつかの実施形態では、訓練コントローラ３１７は、例えば図６に示すように、比較データを使用してステップ８５５においてこの決定を行うことができる。

【0106】

ステップ８６０において、デジタル病理画像処理システム３１０は、機械学習モデルを更新することができる。特定の実施形態では、更新は、スコアリング関数が閾値未満であるとの決定に応答して行われる。いくつかの実施形態では、機械学習モデルを更新することは、ステップ８１０～８３０を繰り返すこと、機械学習モデルの１つ以上のパラメータを再構成または更新すること、および損失関数が閾値基準を満たすかどうか（例えば、損失関数が閾値より大きい、予測されたラベルと真のラベルとの間の一致が９０％より大きいなど）をチェックするためにステップ８３５～８５５を実行することのうちの１つ以上を含むことができる。特定の実施形態では、更新は、損失関数を最適化するために、または生成／予測されたラベルと真／グランドトゥルースラベルとの間の差を最小化するために行われる。

【0107】

ステップ８６５において、デジタル病理画像処理システム３１０は、訓練を終了し、訓練された機械学習モデルを、組織サンプル内の特徴（例えば、組織像、突然変異など）の分類における将来のアクセスおよび／または取得のためにデータストアに記憶することができる。いくつかの実施形態では、訓練コントローラ３１７は、いつ訓練を中止すべきかを決定する。決定は、所定の終了ルールに基づいてもよい。いくつかの実施形態では、訓練は、スコアリング関数が閾値基準を満たすか、または閾値より大きいと決定したことに応答して終了することができる。特定の実施形態では、モデルを訓練するために所定数（例えば、１０００、１０，０００など）の訓練サンプルが使用されると、訓練は終了することができる。特定の実施形態では、全ての訓練データセット内の訓練サンプルがモデルを訓練するために使用されると、訓練は終了することができる。特定の実施形態では、損失比較（例えば、損失関数のオフセット値）が十分に小さいか、または所定の閾値未満である場合、訓練は終了することができる。訓練コントローラ３１７が訓練を継続すべきであると決定した場合、プロセスは、ステップ８１０から繰り返すことができる。代わりに、訓練コントローラ３１７が訓練を終了すべきであると決定した場合、訓練は終了する。

【0108】

特定の実施形態は、適切な場合には、図８の方法の１つ以上のステップを繰り返すことができる。本開示は、図８の方法の特定のステップを特定の順序で行われるものとして説明および図示しているが、本開示は、任意の適切な順序で行われる図８の方法の任意の適切なステップを想定している。さらに、本開示は、図８の方法の特定のステップを含むパッチに描写された画像特徴の検出にしたがって、デジタル病理画像のパッチをラベル付けまたは分類するための機械学習モデルを訓練および更新するための例示的な方法を説明および図示しているが、本開示は、任意の適切なステップを含むパッチに描写された画像特徴の検出にしたがって、デジタル病理画像のパッチをラベル付けまたは分類するための機械学習モデルを訓練および更新するための任意の適切な方法を想定しており、これは、適切な場合には、図８の方法のステップの全て、一部、またはいずれも含まない。さらにまた、本開示は、図８の方法の特定のステップを実行する特定の構成要素、装置、またはシステムを説明および図示しているが、本開示は、図８の方法の任意の適切なステップを実行する任意の適切な構成要素、装置、またはシステムの任意の適切な組み合わせを想定している。

【0109】

本明細書に記載の一般的な技術は、様々なツールおよびユースケースに統合されることができる。例えば、上述したように、ユーザ（例えば、病理学または臨床医）は、デジタル病理画像処理システム３１０と通信するユーザ装置３３０にアクセスし、分析のためのデジタル病理画像を提供することができる。デジタル病理画像処理システム３１０、またはデジタル病理画像処理システムへの接続は、デジタル病理画像に自動的に注釈を付け、および／または分析中の画像を評価するヒートマップを生成するスタンドアロンのソフトウェアツールまたはパッケージとして提供されることができる。合理化されたベースで購入またはライセンス付与されることができるスタンドアロンツールまたはプラグインとして、ツールは、研究または臨床研究室の能力を増強するために使用されることができる。さらに、ツールは、デジタル病理画像生成システムの顧客に利用可能にされたサービスに統合されることができる。例えば、ツールは、統一されたワークフローとして提供されることができ、作成されるデジタル病理画像を実行または要求するユーザは、注釈付き画像またはヒートマップ同等物を自動的に受け取る。したがって、デジタル病理画像分析を改善することに加えて、これらの技術が既存のシステムに統合されて、以前には考慮されていない、または可能ではない追加の特徴を提供することができる。

【0110】

さらに、デジタル病理画像処理システム３１０は、特定の設定で使用するために訓練およびカスタマイズされることができる。例えば、デジタル病理画像処理システム３１０は、特定の種類の組織（例えば、肺、心臓、血液、肝臓など）に関する臨床診断を提供する際に使用するために特別に訓練されることができる。別の例として、デジタル病理画像処理システム３１０は、例えば、薬物または他の潜在的な治療処置に関連する毒性のレベルまたは程度を決定する際に、安全性評価を支援するように訓練されることができる。特定の主題またはユースケースにおける使用のために訓練されると、デジタル病理画像処理システム３１０は、必ずしもそのユースケースに限定されない。例えば、デジタル病理画像処理システムは、肝臓組織の毒性評価に使用するために訓練されてもよいが、得られたモデルは、診断設定に適用されることができる。訓練は、少なくとも部分的にラベル付けまたは注釈付けされたデジタル病理画像の比較的大きなセットのために、特定の状況、例えば毒性評価において実行されることができる。

【0111】

図９は、例示的なコンピュータシステム９００を示している。特定の実施形態では、１つ以上のコンピュータシステム９００は、本明細書に記載または図示された１つ以上の方法の１つ以上のステップを実行する。特定の実施形態では、１つ以上のコンピュータシステム９００は、本明細書に記載または図示された機能を提供する。特定の実施形態では、１つ以上のコンピュータシステム９００上で実行されるソフトウェアは、本明細書に記載または図示された１つ以上の方法の１つ以上のステップを実行するか、または本明細書に記載または図示された機能を提供する。特定の実施形態は、１つ以上のコンピュータシステム９００の１つ以上の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合には、コンピューティング装置を包含することができ、逆もまた同様である。さらに、コンピュータシステムへの言及は、適切な場合には、１つ以上のコンピュータシステムを包含することができる。

【0112】

本開示は、任意の適切な数のコンピュータシステム９００を想定している。本開示は、任意の適切な物理的形態をとるコンピュータシステム９００を想定している。限定ではなく、例として、コンピュータシステム９００は、組み込みコンピュータシステム、システム・オン・チップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータ・オン・モジュール（ＣＯＭ）またはシステム・オン・モジュール（ＳＯＭ））、デスクトップコンピュータシステム、ラップトップもしくはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実装置、またはこれらのうちの複数の組み合わせとすることができる。適切な場合には、コンピュータシステム９００は、１つ以上のコンピュータシステム９００を含むことができ、単一であるかまたは分布し、複数の場所にまたがり、複数の機械にまたがり、複数のデータセンタにまたがり、１つ以上のネットワーク内の１つ以上のクラウドコンポーネントを含むことができるクラウド内に存在する。適切な場合には、１つ以上のコンピュータシステム９００は、本明細書に記載または図示された１つ以上の方法の１つ以上のステップを実質的な空間的または時間的制限なしに実行することができる。限定ではなく、例として、１つ以上のコンピュータシステム９００は、本明細書に記載または図示された１つ以上の方法の１つ以上のステップをリアルタイムまたはバッチモードで実行することができる。１つ以上のコンピュータシステム９００は、適切な場合には、本明細書に記載または図示された１つ以上の方法の１つ以上のステップを異なる時間または異なる場所で実行することができる。

【0113】

特定の実施形態では、コンピュータシステム９００は、プロセッサ９０２、メモリ９０４、記憶装置９０６、入力／出力（Ｉ／Ｏ）インターフェース９０８、通信インターフェース９１０、およびバス９１２を含む。本開示は、特定の構成内の特定の数の特定の構成要素を有する特定のコンピュータシステムを記載および図示しているが、本開示は、任意の適切な構成内の任意の適切な数の任意の適切な構成要素を有する任意の適切なコンピュータシステムを想定している。

【0114】

特定の実施形態では、プロセッサ９０２は、コンピュータプログラムを構成するものなどの命令を実行するためのハードウェアを含む。限定ではなく、例として、命令を実行するために、プロセッサ９０２は、内部レジスタ、内部キャッシュ、メモリ９０４、または記憶装置９０６から命令を取り出す（またはフェッチする）ことができ、それらを復号して実行することができ、次いで、内部レジスタ、内部キャッシュ、メモリ９０４、または記憶装置９０６に１つ以上の結果を書き込むことができる。特定の実施形態では、プロセッサ９０２は、データ、命令、またはアドレスのための１つ以上の内部キャッシュを含むことができる。本開示は、適切な場合には、任意の適切な数の任意の適切な内部キャッシュを含むプロセッサ９０２を想定している。限定ではなく、例として、プロセッサ９０２は、１つ以上の命令キャッシュ、１つ以上のデータキャッシュ、および１つ以上の変換ルックアサイドバッファ（ＴＬＢ）を含むことができる。命令キャッシュ内の命令は、メモリ９０４または記憶装置９０６内の命令のコピーとすることができ、命令キャッシュは、プロセッサ９０２によるそれらの命令の取り出しを高速化することができる。データキャッシュ内のデータは、プロセッサ９０２において実行して、プロセッサ９０２において実行される後続の命令によるアクセスのため、またはメモリ９０４もしくは記憶装置９０６への書き込みのためにプロセッサ９０２において実行される先行する命令の結果、または他の適切なデータに対して動作する命令のためのメモリ９０４または記憶装置９０６内のデータのコピーとすることができる。データキャッシュは、プロセッサ９０２による読み出し動作または書き込み動作を高速化することができる。ＴＬＢは、プロセッサ９０２の仮想アドレス変換を高速化することができる。特定の実施形態では、プロセッサ９０２は、データ、命令、またはアドレスのための１つ以上の内部レジスタを含むことができる。本開示は、適切な場合には、任意の適切な数の任意の適切な内部レジスタを含むプロセッサ９０２を想定している。適切な場合には、プロセッサ９０２は、１つ以上の算術論理演算ユニット（ＡＬＵ）を含むことができるか、マルチコアプロセッサとすることができるか、または１つ以上のプロセッサ９０２を含むことができる。本開示は、特定のプロセッサを記載および図示しているが、本開示は、任意の適切なプロセッサを想定している。

【0115】

特定の実施形態では、メモリ９０４は、プロセッサ９０２が実行するための命令またはプロセッサ９０２が動作するためのデータを記憶するためのメインメモリを含む。限定ではなく、例として、コンピュータシステム９００は、記憶装置９０６または別のソース（例えば、別のコンピュータシステム９００など）からメモリ９０４に命令をロードすることができる。次いで、プロセッサ９０２は、メモリ９０４から内部レジスタまたは内部キャッシュに命令をロードすることができる。命令を実行するために、プロセッサ９０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらを復号することができる。命令の実行中または実行後に、プロセッサ９０２は、（中間結果または最終結果とすることができる）１つ以上の結果を内部レジスタまたは内部キャッシュに書き込むことができる。次いで、プロセッサ９０２は、それらの結果のうちの１つ以上をメモリ９０４に書き込むことができる。特定の実施形態では、プロセッサ９０２は、（記憶装置９０６または他の場所とは対照的に）１つ以上の内部レジスタもしくは内部キャッシュまたはメモリ９０４内の命令のみを実行し、（記憶装置９０６または他の場所とは対照的に）１つ以上の内部レジスタもしくは内部キャッシュまたはメモリ９０４内のデータのみに対して動作する。（それぞれがアドレスバスおよびデータバスを含むことができる）１つ以上のメモリバスは、プロセッサ９０２をメモリ９０４に結合することができる。バス９１２は、後述するように、１つ以上のメモリバスを含むことができる。特定の実施形態では、１つ以上のメモリ管理ユニット（ＭＭＵ）が、プロセッサ９０２とメモリ９０４との間に存在し、プロセッサ９０２によって要求されるメモリ９０４へのアクセスを容易にする。特定の実施形態では、メモリ９０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、必要に応じて揮発性メモリであってもよい。適切な場合には、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であってもよい。さらに、適切な場合には、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであってもよい。本開示は、任意の適切なＲＡＭを想定している。メモリ９０４は、適切な場合には、１つ以上のメモリ９０４を含むことができる。本開示は、特定のメモリを記載および図示しているが、本開示は、任意の適切なメモリを想定している。

【0116】

特定の実施形態では、記憶装置９０６は、データまたは命令のための大容量記憶装置を含む。限定ではなく、例として、記憶装置９０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、もしくはユニバーサルシリアルバス（ＵＳＢ）ドライブ、またはこれらのうちの複数の組み合わせを含むことができる。記憶装置９０６は、適切な場合には、取り外し可能または取り外し不可能な（つまり固定された）媒体を含むことができる。記憶装置９０６は、適切な場合には、コンピュータシステム９００の内部または外部にあってもよい。特定の実施形態では、記憶装置９０６は、不揮発性ソリッドステートメモリである。特定の実施形態においては、記憶装置９０６は、読み出し専用メモリ（ＲＯＭ）を含む。適切な場合には、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的変更可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、またはこれらのうちの２つ以上の組み合わせであってもよい。本開示は、任意の適切な物理的形態をとる大容量記憶装置９０６を想定している。記憶装置９０６は、適切な場合には、プロセッサ９０２と記憶装置９０６との間の通信を容易にする１つ以上の記憶制御ユニットを含むことができる。適切な場合には、記憶装置９０６は、１つ以上のメモリ記憶装置９０６を含むことができる。本開示は、特定の記憶装置を記載および図示しているが、本開示は、任意の適切な記憶装置を想定している。

【0117】

特定の実施形態では、Ｉ／Ｏインターフェース９０８は、コンピュータシステム９００と１つ以上のＩ／Ｏ装置との間の通信のための１つ以上のインターフェースを提供するハードウェア、ソフトウェア、またはその双方を含む。コンピュータシステム９００は、適切な場合には、これらのＩ／Ｏ装置のうちの１つ以上を含むことができる。これらのＩ／Ｏ装置のうちの１つ以上は、人とコンピュータシステム９００との間の通信を可能にすることができる。限定ではなく、例として、Ｉ／Ｏ装置は、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なＩ／Ｏ装置、またはこれらのうちの２つ以上の組み合わせを含むことができる。Ｉ／Ｏ装置は、１つ以上のセンサを含むことができる。本開示は、任意の適切なＩ／Ｏ装置およびそれらのための任意の適切なＩ／Ｏインターフェース９０８を想定している。適切な場合には、Ｉ／Ｏインターフェース９０８は、プロセッサ９０２がこれらのＩ／Ｏ装置のうちの１つ以上を駆動することを可能にする１つ以上のデバイスまたはソフトウエアドライバを含むことができる。Ｉ／Ｏインターフェース９０８は、適切な場合には、１つ以上のＩ／Ｏインターフェース９０８を含むことができる。本開示は、特定のＩ／Ｏインターフェースを記載および図示しているが、本開示は、任意の適切なＩ／Ｏインターフェースを想定している。

【0118】

特定の実施形態では、通信インターフェース９１０は、コンピュータシステム９００と、１つ以上の他のコンピュータシステム９００または１つ以上のネットワークとの間の通信（例えば、パケットベースの通信など）のための１つ以上のインターフェースを提供するハードウェア、ソフトウェア、またはその双方を含む。限定ではなく、例として、通信インターフェース９１０は、イーサネット（登録商標）もしくは他の有線ベースのネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）もしくはネットワークアダプタ、またはＷＩ－ＦＩネットワークなどの無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）もしくは無線アダプタを含むことができる。本開示は、任意の適切なネットワークおよびそのための任意の適切な通信インターフェース９１０を想定している。限定ではなく、例として、コンピュータシステム９００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つ以上の部分、またはこれらのうちの複数の組み合わせと通信することができる。これらのネットワークのうちの１つ以上の１つ以上の部分は、有線または無線とすることができる。例として、コンピュータシステム９００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなど）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、携帯電話ネットワーク（例えば、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）ネットワーク）、またはその他の適切な無線ネットワーク、またはこれらのうちの複数の組み合わせと通信することができる。コンピュータシステム９００は、適切な場合には、これらのネットワークのいずれかのための任意の適切な通信インターフェース９１０を含むことができる。通信インターフェース９１０は、適切な場合には、１つ以上の通信インターフェース９１０を含むことができる。本開示は、特定の通信インターフェースを記載および図示しているが、本開示は、任意の適切な通信インターフェースを想定している。

【0119】

特定の実施形態では、バス９１２は、コンピュータシステム９００の構成要素を互いに結合するハードウェア、ソフトウェア、またはその双方を含む。限定ではなく、例として、バス９１２は、アクセラレーテッドグラフィクスポート（ＡＧＰ）もしくは他のグラフィックスバス、エンハンストインダストリスタンダードアーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）インターコネクト、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、インフィニバンドインターコネクト、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または別の適切なバス、またはこれらのうちの２つ以上の組み合わせを含むことができる。バス９１２は、適切な場合には、１つ以上のバス９１２を含むことができる。本開示は、特定のバスを記載および図示しているが、本開示は、任意の適切なバスまたは相互接続を想定している。

【0120】

本明細書では、コンピュータ可読非一時的記憶媒体は、１つ以上の半導体ベースもしくは他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードもしくはドライブ、任意の他の適切なコンピュータ可読非一時的記憶媒体、または適切な場合にはこれらのうちの複数の任意の適切な組み合わせを含むことができる。コンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、または揮発性と不揮発性との組み合わせであってもよい。

【0121】

本明細書では、「または」は包括的であり、排他的ではないが、他に明示的に示されているか、または文脈によって他に示されている場合は除く。したがって、本明細書では、「ＡまたはＢ」は、他に明示的に示されない限り、または文脈によって他に示されない限り、「Ａ、Ｂ、またはその双方」を意味する。さらに、「および」は、明示的に別段の指示がない限り、または文脈によって別段の指示がない限り、結合およびいくつかの双方である。したがって、本明細書では、「ＡおよびＢ」は、他に明示的に示されない限り、または文脈によって他に示されない限り、「ＡおよびＢ、一緒にまたは別々に」を意味する。

【0122】

本開示の範囲は、当業者が理解するであろう、本明細書に記載または図示された例示的な実施形態に対する全ての変形、置換、バリエーション、代替、および変更を包含する。本開示の範囲は、本明細書に記載または図示された例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして本明細書のそれぞれの実施形態を記載および図示しているが、これらの実施形態のいずれも、当業者が理解するであろう本明細書のどこかに記載または図示されている構成要素、要素、特徴、機能、動作、またはステップのいずれかの任意の組み合わせまたは順列を含むことができる。さらにまた、特定の機能を実行するように適合され、配置され、可能にされ、構成され、有効にされ、動作可能にされ、または動作する装置またはシステムまたはシステムの構成要素への添付の特許請求の範囲における参照は、その装置、システムまたは構成要素がそのように適合され、配置され、可能にされ、構成され、有効にされ、動作可能にされ、または動作する限り、それまたはその特定の機能が起動され、オンにされ、またはロック解除されているか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の利点を提供するものとして特定の実施形態を記載または図示しているが、特定の実施形態は、これらの利点の全てを提供しなくてもよく、いくつか、または全てを提供してもよい。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】