(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-12
(54)【発明の名称】病理スライド画像からの遺伝子改変予測のための方法及びシステム
(51)【国際特許分類】
G16H 50/70 20180101AFI20240605BHJP
G06T 7/00 20170101ALI20240605BHJP
G06V 10/82 20220101ALI20240605BHJP
G06V 20/69 20220101ALI20240605BHJP
G01N 33/48 20060101ALI20240605BHJP
G16H 50/20 20180101ALI20240605BHJP
G16B 40/20 20190101ALI20240605BHJP
G16B 20/00 20190101ALI20240605BHJP
【FI】
G16H50/70
G06T7/00 350B
G06V10/82
G06V20/69
G01N33/48 M
G06T7/00 630
G16H50/20
G16B40/20
G16B20/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024507973
(86)(22)【出願日】2022-04-19
(85)【翻訳文提出日】2023-11-21
(86)【国際出願番号】 US2022025438
(87)【国際公開番号】W WO2022225995
(87)【国際公開日】2022-10-27
(32)【優先日】2021-04-19
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-05-14
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-08-31
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】514099673
【氏名又は名称】エフ・ホフマン-ラ・ロシュ・アクチェンゲゼルシャフト
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック, インコーポレイテッド
(71)【出願人】
【識別番号】511286517
【氏名又は名称】ヴェンタナ メディカル システムズ, インク.
(71)【出願人】
【識別番号】522452363
【氏名又は名称】ホフマン-ラ ロシュ, インコーポレイテッド
(71)【出願人】
【識別番号】517192663
【氏名又は名称】ファウンデーション・メディシン・インコーポレイテッド
(71)【出願人】
【識別番号】523392202
【氏名又は名称】オカンポ, パオロ サンチャゴ
(71)【出願人】
【識別番号】523392213
【氏名又は名称】シュティンペル, ベルンハルト
(71)【出願人】
【識別番号】523392224
【氏名又は名称】ニエ, ヤオ
(71)【出願人】
【識別番号】523392235
【氏名又は名称】シェイクザデ, ファヒム
(71)【出願人】
【識別番号】523392246
【氏名又は名称】リー, シアオ
(71)【出願人】
【識別番号】523392257
【氏名又は名称】ショスタク, プシェミスワフ
(71)【出願人】
【識別番号】523392268
【氏名又は名称】ポーワル, プラサンナ
(71)【出願人】
【識別番号】523392280
【氏名又は名称】アガエイ, ファラナク
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】オカンポ, パオロ サンチャゴ
(72)【発明者】
【氏名】シュティンペル, ベルンハルト
(72)【発明者】
【氏名】ニエ, ヤオ
(72)【発明者】
【氏名】シェイクザデ, ファヒム
(72)【発明者】
【氏名】リー, シアオ
(72)【発明者】
【氏名】ショスタク, プシェミスワフ
(72)【発明者】
【氏名】ポーワル, プラサンナ
(72)【発明者】
【氏名】アガエイ, ファラナク
(72)【発明者】
【氏名】パオ, ジェームズ
(72)【発明者】
【氏名】エディー, ネサニアル
(72)【発明者】
【氏名】アルバッカー, リー
(72)【発明者】
【氏名】ダンカン, ダニエル
(72)【発明者】
【氏名】ビッグス, ミケイラ
【テーマコード(参考)】
2G045
5L096
5L099
【Fターム(参考)】
2G045CB02
2G045JA03
5L096BA03
5L096CA02
5L096DA02
5L096EA35
5L096FA24
5L096FA35
5L096FA54
5L096FA66
5L096GA01
5L096GA34
5L096GA40
5L096GA41
5L096GA51
5L096HA11
5L096KA04
5L099AA03
5L099AA04
(57)【要約】
病理画像から遺伝子改変状態を判定するための方法及びシステムが本明細書に記載される。病理画像から遺伝子改変状態を判定することによって、医学的疾患に対する治療を選択し、それを必要とする患者を治療する方法も記載される。開示される方法及びシステムはまた、目的の遺伝子改変状態(statues)に対応するバイオマーカーを調査及び識別するために使用され得る。
【選択図】
図1
【特許請求の範囲】
【請求項1】
組織サンプルにおける遺伝子改変状態を判定するための方法であって、
1つ以上のプロセッサを使用して、前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、前記組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、
前記1つ以上のプロセッサ及び前記組織表現型分類モデルを使用して、前記画像パッチを分類して、前記組織サンプルについてのラベル付き画像パッチデータセットを生成することと、
前記1つ以上のプロセッサを使用して、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、前記遺伝子改変状態分類モデルが、前記ラベル付き画像パッチデータセットに基づいて前記組織サンプルの遺伝子改変状態を判定するように構成される、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、
前記1つ以上のプロセッサ及び前記遺伝子改変状態分類モデルを使用して、前記組織サンプルの前記遺伝子改変状態を出力することと
を含む、組織サンプルにおける遺伝子改変状態を判定するための方法。
【請求項2】
前記遺伝子改変状態分類モデルが、前記ラベル付き画像パッチデータに基づいて、前記組織サンプル中の1つ以上の遺伝子についての遺伝子改変状態を判定するように構成されている、請求項1に記載の方法。
【請求項3】
前記組織表現型分類モデルが、複数の組織表現型分類モデル訓練画像パッチを使用して訓練され、各組織表現型分類モデル訓練画像パッチが、複数の組織表現型クラスから選択される組織表現型クラスでラベル付けされる、請求項1又は請求項2に記載の方法。
【請求項4】
前記組織表現型分類モデル訓練画像パッチが、同じ組織タイプからの組織サンプルの病理画像に由来する、請求項3に記載の方法。
【請求項5】
前記組織表現型分類モデル訓練画像パッチが、前記組織表現型クラスで手動でラベル付けされる、請求項3又は請求項4に記載の方法。
【請求項6】
前記組織表現型分類モデル訓練画像パッチが、クラスタリングプロセスを使用してラベル付けされ、前記クラスタリングプロセスが、前記組織表現型分類モデル訓練画像パッチから画像特徴を抽出することと、前記抽出された画像特徴に基づいて前記組織表現型分類モデル訓練画像パッチをクラスタリングすることとを含む、請求項3又は4に記載の方法。
【請求項7】
前記抽出された画像特徴クラスタに基づいて、前記組織表現型分類モデル訓練画像パッチにラベルが割り当てられる、請求項6に記載の方法。
【請求項8】
前記画像特徴が、事前訓練された画像特徴抽出モデルを使用して前記組織表現型分類モデル訓練画像パッチから抽出される、請求項6に記載の方法。
【請求項9】
前記事前訓練された画像特徴抽出モデルが、人工ニューラルネットワーク(ANN)モデルを含む、請求項8に記載の方法。
【請求項10】
前記人工ニューラルネットワーク(ANN)モデルが畳み込みニューラルネットワーク(CNN)モデルである、請求項9に記載の方法。
【請求項11】
前記画像特徴が、教師なし画像特徴抽出モデルを使用して前記組織表現型分類モデル訓練画像パッチから抽出される、請求項6に記載の方法。
【請求項12】
前記教師なし画像特徴抽出モデルが、オートエンコーダモデル又は敵対的生成ネットワーク(GAN)モデルを含む、請求項11に記載の方法。
【請求項13】
前記組織表現型分類モデル訓練画像パッチが、k平均クラスタリング法、階層クラスタリング法、混合モデル法、又はそれらの任意の組み合わせを使用してクラスタリングされる、請求項6~11のいずれか1項に記載の方法。
【請求項14】
前記抽出された画像特徴の縮小表現に基づいて、前記組織表現型分類モデル訓練画像パッチをクラスタリングする前に、前記抽出された画像特徴に対して次元削減を実施することを更に含む、請求項6~13のいずれか1項に記載の方法。
【請求項15】
前記遺伝子改変状態分類モデルが、複数の遺伝子改変状態分類モデル訓練画像パッチを使用して訓練され、各遺伝子改変状態分類モデル訓練画像パッチが、組織表現型クラス及び遺伝子改変状態でラベル付けされる、請求項1~14のいずれか1項に記載の方法。
【請求項16】
前記組織サンプルについて判定された前記遺伝子改変状態がバイナリ分類である、請求項1~15のいずれか1項に記載の方法。
【請求項17】
前記判定された遺伝子改変状態をディスプレイデバイスに表示することを更に含む、請求項1~16のいずれか1項に記載の方法。
【請求項18】
前記判定された遺伝子改変状態のレポートを生成することを更に含む、請求項1~17のいずれか1項に記載の方法。
【請求項19】
コンピュータネットワークを介して医療提供者に前記判定された遺伝子改変状態のレポートを送信することを更に含む、請求項1~18のいずれか1項に記載の方法。
【請求項20】
前記判定された遺伝子改変状態のレポートをインターネットを介して医療提供者に送信することを更に含む、請求項1~19のいずれか1項に記載の方法。
【請求項21】
前記遺伝子改変状態分類モデルの出力が、前記組織サンプル中の少なくとも1つの遺伝子における変異の存在又は非存在の判定である、請求項1~20のいずれか1項に記載の方法。
【請求項22】
前記遺伝子改変状態分類モデルの出力が、前記組織サンプルが少なくとも1つの遺伝子に変異を有する確率である、請求項1~21のいずれか1項に記載の方法。
【請求項23】
遺伝子改変状態分類モデルの出力が、前記組織サンプルが少なくとも1つの遺伝子に前記変異を有さない確率である、請求項1~22のいずれか1項に記載の方法。
【請求項24】
前記判定された遺伝子改変状態が、単一遺伝子における点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、腫瘍遺伝子変異量、マイクロサテライト不安定性状態、相同組換え欠損、又はそれらの任意の組み合わせに対応する、請求項1~23のいずれか1項に記載の方法。
【請求項25】
前記判定された遺伝子改変状態が、少なくとも2つの遺伝子における点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、腫瘍遺伝子変異量、マイクロサテライト不安定性状態、相同組換え欠損、又はそれらの任意の組み合わせに対応する、請求項1~24のいずれか1項に記載の方法。
【請求項26】
前記複数の組織表現型クラスが、1つ以上の腫瘍表現型クラス、1つ以上の正常表現型クラス、1つ以上の間質表現型クラス、1つ以上の免疫表現型クラス、1つ以上の壊死表現型クラス、又はそれらの任意の組み合わせを含む、請求項3~25のいずれか1項に記載の方法。
【請求項27】
前記組織表現型分類モデル又は前記遺伝子改変状態分類モデルが、ニューラルネットワークである、請求項1~26のいずれか1項に記載の方法。
【請求項28】
前記組織表現型分類モデル又は前記遺伝子改変状態分類モデルが、人工ニューラルネットワーク(ANN)モデルである、請求項27に記載の方法。
【請求項29】
前記人工ニューラルネットワーク(ANN)モデルが畳み込みニューラルネットワーク(CNN)モデルである、請求項28に記載の方法。
【請求項30】
前記1つ以上の病理画像が、がん組織サンプルの画像である、請求項1~29のいずれか1項に記載の方法。
【請求項31】
前記がん組織サンプルが、肺がん組織サンプルである、請求項30に記載の方法。
【請求項32】
前記肺がん組織が、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、又は肺小細胞癌腫の組織である、請求項31に記載の方法。
【請求項33】
前記遺伝子改変状態が、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、BRCA1遺伝子、BRCA2遺伝子、erb-B2受容体チロシンキナーゼ2(ERBB2)遺伝子、B-Raf(BRAF)遺伝子、カーステンラット肉腫ウイルス(KRAS)がん遺伝子、METプロトオンコゲン、セリン/トレオニンキナーゼ11(STK11)遺伝子、組換え修復(HRR)経路遺伝子、又はそれらの任意の組み合わせにおける変異を含む、請求項1~32のいずれか1項に記載の方法。
【請求項34】
対象から前記組織サンプルを得ることを更に含む、請求項1~33のいずれか1項に記載の方法。
【請求項35】
前記組織サンプルを使用して病理スライドを調製することを更に含む、請求項34に記載の方法。
【請求項36】
前記病理スライドを撮像して、前記組織サンプルの前記1つ以上の病理画像を取得することを更に含む、請求項35に記載の方法。
【請求項37】
前記1つ以上の病理画像を前処理して、前記画像の非組織部分を除去し、画像パッチを抽出することを更に含む、請求項36に記載の方法。
【請求項38】
前記1つ以上の病理画像に、以前に注釈が付けられている、請求項1~37のいずれか1項に記載の方法。
【請求項39】
前記1つ以上の病理画像に、以前に注釈が付けられていない、請求項1~37のいずれか1項に記載の方法。
【請求項40】
前記1つ以上の病理画像が、教師あり、半教師あり、又は教師なしの機械学習方法によって注釈付けされる、請求項1~37のいずれか1項に記載の方法。
【請求項41】
デバイスの1つ以上のプロセッサによって実行するための1つ以上のコンピュータプログラム命令を含む非一時的コンピュータ可読記憶媒体であって、前記1つ以上のコンピュータプログラム命令が、前記1つ以上のプロセッサによって実行されると、前記デバイスに請求項1~40のいずれか1項に記載の方法を実施させる、非一時的コンピュータ可読記憶媒体。
【請求項42】
システムであって、
1つ以上のプロセッサと、
1つ以上のコンピュータプログラム命令を記憶するように構成されたメモリと
を含み、前記1つ以上のコンピュータプログラム命令が、前記1つ以上のプロセッサによって実行された場合、
組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、前記組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、
前記組織表現型分類モデルを使用して、前記画像パッチを分類して、前記組織サンプルについてのラベル付き画像パッチデータセットを生成することと、
前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、前記遺伝子改変状態分類モデルが、前記ラベル付き画像パッチデータセットに基づいて前記組織サンプルの遺伝子改変状態を判定するように構成される、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、
前記遺伝子改変状態分類モデルを使用して、前記組織サンプルの前記遺伝子改変状態を出力することと
を行うように構成される、システム。
【請求項43】
前記組織表現型分類モデルが、複数の組織表現型分類モデル訓練画像パッチを使用して訓練され、各組織表現型分類モデル訓練画像パッチが、複数の組織表現型クラスから選択される組織表現型クラスでラベル付けされる、請求項42に記載のシステム。
【請求項44】
前記組織表現型分類モデル訓練画像パッチが、同じ組織タイプからの組織サンプルの病理画像から得られる、請求項43に記載のシステム。
【請求項45】
前記組織表現型分類モデル訓練画像パッチが、前記組織表現型クラスで手動でラベル付けされる、請求項43又は44に記載のシステム。
【請求項46】
前記組織表現型分類モデル訓練画像パッチが、クラスタリングプロセスを使用してラベル付けされ、前記クラスタリングプロセスが、前記組織表現型分類モデル訓練画像パッチから画像特徴を抽出することと、前記抽出された画像特徴に基づいて前記組織表現型分類モデル訓練画像パッチをクラスタリングすることとを含む、請求項43又は44に記載のシステム。
【請求項47】
前記抽出された画像特徴クラスタに基づいて、前記組織表現型分類モデル訓練画像パッチにラベルが割り当てられる、請求項46に記載のシステム。
【請求項48】
前記画像特徴が、事前訓練された画像抽出モデルを使用して前記組織表現型分類モデル訓練画像パッチから抽出される、請求項46に記載のシステム。
【請求項49】
前記事前訓練された画像特徴抽出モデルが、人工ニューラルネットワーク(ANN)モデルを含む、請求項48に記載のシステム。
【請求項50】
前記人工ニューラルネットワーク(ANN)モデルが畳み込みニューラルネットワーク(CNN)モデルである、請求項49に記載のシステム。
【請求項51】
前記画像特徴が、教師なし画像特徴抽出モデルを使用して前記組織表現型分類モデル訓練画像パッチから抽出される、請求項46に記載のシステム。
【請求項52】
前記教師なし画像特徴抽出モデルが、オートエンコーダモデル又は敵対的生成ネットワーク(GAN)モデルを含む、請求項51に記載のシステム。
【請求項53】
前記組織表現型分類モデル訓練画像パッチが、k平均クラスタリング法、階層クラスタリング法、混合モデル法、又はそれらの任意の組み合わせを使用してクラスタリングされる、請求項46~52のいずれか1項に記載のシステム。
【請求項54】
前記抽出された画像特徴の縮小表現に基づいて、前記組織表現型分類モデル訓練画像パッチをクラスタリングする前に、前記抽出された画像特徴に対して次元削減を実施することを更に含む、請求項46~53のいずれか1項に記載のシステム。
【請求項55】
前記遺伝子改変状態分類モデルが、複数の遺伝子改変状態分類モデル訓練画像パッチを使用して訓練され、各遺伝子改変状態分類モデル訓練画像パッチが、組織表現型クラス及び遺伝子改変状態でラベル付けされる、請求項42~54のいずれか1項に記載のシステム。
【請求項56】
前記組織サンプルについて判定された前記遺伝子改変状態がバイナリ分類である、請求項42~55のいずれか1項に記載のシステム。
【請求項57】
前記判定された遺伝子改変状態をディスプレイデバイスに表示することを更に含む、請求項42~56のいずれか1項に記載のシステム。
【請求項58】
前記判定された遺伝子改変状態のレポートを生成することを更に含む、請求項42~57のいずれか1項に記載のシステム。
【請求項59】
コンピュータネットワークを介して医療提供者に前記判定された遺伝子改変状態のレポートを送信することを更に含む、請求項42~58のいずれか1項に記載のシステム。
【請求項60】
前記判定された遺伝子改変状態のレポートをインターネットを介して医療提供者に送信することを更に含む、請求項42~59のいずれか1項に記載のシステム。
【請求項61】
前記遺伝子改変状態分類モデルの出力が、前記組織サンプル中の少なくとも1つの遺伝子における変異の存在又は非存在の判定である、請求項42~60のいずれか1項に記載のシステム。
【請求項62】
前記遺伝子改変状態分類モデルの出力が、前記組織サンプルが少なくとも1つの遺伝子に変異を有する確率である、請求項42~61のいずれか1項に記載のシステム。
【請求項63】
遺伝子改変状態分類モデルの出力が、前記組織サンプルが少なくとも1つの遺伝子に前記変異を有さない確率である、請求項42~62のいずれか1項に記載のシステム。
【請求項64】
前記判定された遺伝子改変状態が、単一遺伝子における点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、腫瘍遺伝子変異量、マイクロサテライト不安定性状態、相同組換え欠損、又はそれらの任意の組み合わせに対応する、請求項42~63のいずれか1項に記載のシステム。
【請求項65】
前記判定された遺伝子改変状態が、少なくとも2つの遺伝子における点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、腫瘍遺伝子変異量、マイクロサテライト不安定性状態、相同組換え欠損、又はそれらの任意の組み合わせに対応する、請求項42~64のいずれか1項に記載のシステム。
【請求項66】
前記複数の組織表現型クラスが、1つ以上の腫瘍表現型クラス、1つ以上の正常表現型クラス、1つ以上の間質表現型クラス、1つ以上の免疫表現型クラス、1つ以上の壊死表現型クラス、又はそれらの任意の組み合わせを含む、請求項42~65のいずれか1項に記載のシステム。
【請求項67】
前記組織表現型分類モデル又は前記遺伝子改変状態分類モデルが、ニューラルネットワークである、請求項42~66のいずれか1項に記載のシステム。
【請求項68】
前記組織表現型分類モデル又は前記遺伝子改変状態分類モデルが、人工ニューラルネットワーク(ANN)モデルである、請求項67に記載のシステム。
【請求項69】
前記人工ニューラルネットワーク(ANN)モデルが畳み込みニューラルネットワーク(CNN)モデルである、請求項68に記載のシステム。
【請求項70】
前記1つ以上の病理画像が、がん組織サンプルの画像である、請求項42~69のいずれか1項に記載のシステム。
【請求項71】
前記がん組織サンプルが、肺がん組織サンプルである、請求項70に記載のシステム。
【請求項72】
前記肺がん組織が、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、又は肺小細胞癌腫の組織である、請求項71に記載システム。
【請求項73】
前記遺伝子改変状態が、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、BRCA1遺伝子、BRCA2遺伝子、erb-B2受容体チロシンキナーゼ2(ERBB2)遺伝子、B-Raf(BRAF)遺伝子、カーステンラット肉腫ウイルス(KRAS)がん遺伝子、METプロトオンコゲン、セリン/トレオニンキナーゼ11(STK11)遺伝子、組換え修復(HRR)経路遺伝子、又はそれらの任意の組み合わせにおける変異を含む、請求項42~72のいずれか1項に記載のシステム。
【請求項74】
がんを有する個体に対する治療を選択するための方法であって、
請求項1~40のいずれか1項に記載の方法を使用して、前記個体からの組織サンプル中の目的の遺伝子の遺伝子改変状態を判定することと、
前記判定された遺伝子改変状態に基づいて治療を選択することと
を含む、がんを有する個体に対する治療を選択するための方法。
【請求項75】
前記がんが、肺がんである、請求項74に記載の方法。
【請求項76】
前記肺がんが、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、又は肺小細胞癌腫である、請求項75に記載の方法。
【請求項77】
前記遺伝子改変状態が、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、BRCA1遺伝子、BRCA2遺伝子、erb-B2受容体チロシンキナーゼ2(ERBB2)遺伝子、B-Raf(BRAF)遺伝子、カーステンラット肉腫ウイルス(KRAS)がん遺伝子、METプロトオンコゲン、セリン/トレオニンキナーゼ11(STK11)遺伝子、組換え修復(HRR)経路遺伝子、又はそれらの任意の組み合わせにおける変異を含む、請求項74~76のいずれか1項に記載の方法。
【請求項78】
がんを有する個体を治療する方法であって、請求項74~77のいずれか1項に記載の方法を使用して個体に対する治療を選択することと、前記個体に前記治療を投与することと、を含む、がんを有する個体を治療する方法。
【請求項79】
前記遺伝子改変状態が、上皮成長因子受容体(EGFR)遺伝子における変異を含み、前記選択された治療が、キナーゼ阻害剤、小分子薬物、抗体若しくは抗体断片、又はEGFR活性を阻害する細胞免疫療法を含む、請求項74~78のいずれか1項に記載の方法。
【請求項80】
前記選択された治療が、キナーゼ阻害剤を含み、前記キナーゼ阻害剤が、多重特異性キナーゼ阻害剤、特異的キナーゼ阻害剤、特異的チロシンキナーゼ阻害剤、特異的EGFR阻害剤、又は二重EGFR/ERBB阻害剤を含む、請求項79に記載の方法。
【請求項81】
前記遺伝子改変状態が、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子における変異を含み、前記選択された治療が、ALK活性を阻害する特異的キナーゼ阻害剤を含む、請求項74~78のいずれか1項に記載の方法。
【請求項82】
前記特異的キナーゼ阻害剤が、クリゾチニブ、アレクチニブ(AF802、CH5424802)、セリチニブ、ロラチニブ、ブリガチニブ、エンザルチニブ(X-396)、レポトレクチニブ(TPX-005)、エントレクチニブ(RXDX-101)、AZD3463、CEP-37440、ベリザチニブ(TSR-011)、ASP3026、KRCA-0008、TQ-B3139、TPX-0131及びTAE684(NVP-TAE684)のうちの1つ以上を含む、請求項81に記載の方法。
【請求項83】
前記遺伝子改変状態が、受容体チロシンキナーゼ(ROS1)がん遺伝子における変異を含み、前記選択された治療が、ROS1活性を阻害する特異的キナーゼ阻害剤を含む、請求項74~78のいずれか1項に記載の方法。
【請求項84】
前記特異的キナーゼ阻害剤が、エントレクチニブ(RXDX-101、NMS-E628)である、請求項83に記載の方法。
【請求項85】
前記遺伝子改変状態が、受容体チロシンキナーゼ(RET)がん遺伝子における変異を含み、前記選択された治療が、RET活性を阻害する特異的キナーゼ阻害剤を含む、請求項74~78のいずれか1項に記載の方法。
【請求項86】
前記特異的キナーゼ阻害剤が、セルペルカチニブ、プラルセチニブ、TPX-0046、又はそれらの任意の組み合わせである、請求項85に記載の方法。
【請求項87】
前記遺伝子改変状態が、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子における変異を含み、前記選択された治療が、NTRK活性を阻害する特異的NTRK阻害剤を含む、請求項74~78のいずれか1項に記載の方法。
【請求項88】
前記特異的NTRK阻害剤が、ラロトレクチニブ、エントレクチニブ、LOXO-195、ダンセルチブ(PHA-739358)、レスタウルチニブ、AZ-23、PHA-848125、CEP-2563、K252a、KRC-108、又はそれらの任意の組み合わせを含む、請求項87に記載の方法。
【請求項89】
前記遺伝子改変状態が、相同組換え修復(HRR)経路遺伝子における変異を含み、前記選択された治療が、白金ベースの化学療法又は変異HRR経路タンパク質の活性を阻害するポリADPリボースポリメラーゼ(PARP)阻害剤を含む、請求項74~78のいずれか1項に記載の方法。
【請求項90】
前記ポリ-ADPリボースポリメラーゼ(PARP)阻害剤が、オラパリブ、ニラパリブ、ルカパリブ、又はそれらの任意の組み合わせを含む、請求項89に記載の方法。
【請求項91】
組織サンプルにおける遺伝子改変状態を判定するための方法であって、
前記複数の画像パッチの前記画像パッチから画像特徴を抽出することと、
前記抽出された画像特徴に基づいて前記複数の画像パッチの前記画像パッチをクラスタリングすることと、
関連付けられた画像パッチクラスタに基づいて前記複数の画像パッチの前記画像パッチをラベル付けすることと
によって、
1つ以上のプロセッサを使用して、前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、前記組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、
前記1つ以上のプロセッサ及び前記組織表現型分類モデルを使用して、前記画像パッチを分類して、前記組織サンプルについてのラベル付き画像パッチデータセットを生成することと
を含む、組織サンプルにおける遺伝子改変状態を判定するための方法。
【請求項92】
前記組織表現型クラスが、1つ以上の抽出された画像特徴クラスタに対応する、請求項91に記載の方法。
【請求項93】
前記1つ以上のプロセッサを使用して、前記ラベル付き画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、前記遺伝子改変状態分類モデルが、前記ラベル付き画像パッチデータセットに基づいて前記組織サンプルの遺伝子可変状態を判定するように構成される、前記ラベル付き画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、前記1つ以上のプロセッサ及び前記遺伝子改変状態分類モデルを使用して、前記組織サンプルの前記遺伝子改変状態を出力することと、を更に含む、請求項91又は92に記載の方法。
【請求項94】
前記判定された遺伝子改変状態に基づいて1つ以上の追加の処置を実施することを更に含む、請求項1~40のいずれか1項に記載の方法。
【請求項95】
前記1つ以上の追加の処置が、1つ以上の追加の診断試験を含む、請求項94に記載の方法。
【請求項96】
前記1つ以上の追加の診断検査が、疾患の診断を確定するために使用される、請求項95に記載の方法。
【請求項97】
前記疾患が、がんである、請求項96に記載の方法。
【請求項98】
前記1つ以上の追加の処置が、がんを有する個体に対する治療を選択すること、開始すること、調整すること、又は中止することを含む、請求項94~97のいずれか1項に記載の方法。
【請求項99】
前記1つ以上の追加の処置が、がんを有する個体を治療することを含む、請求項94~98のいずれか1項に記載の方法。
【請求項100】
前記1つ以上の処置が、1つ以上のゲノムプロファイリングアッセイを実施することを含む、請求項94~99のいずれか1項に記載の方法。
【請求項101】
前記1つ以上のゲノムプロファイリングアッセイが、がんを有する個体におけるがんの治療を選択するため、又はがんの進行をモニタリングするために使用される、請求項100に記載の方法。
【請求項102】
前記1つ以上のゲノムプロファイルアッセイを実施することが、前記組織サンプルが由来する患者から核酸サンプルを得ることと、分子プロファイリング試験を実施するために前記核酸を配列決定することとを含む、請求項100又は101に記載の方法。
【請求項103】
前記核酸サンプルが、デオキシリボ核酸(DNA)サンプル又はリボ核酸(RNA)サンプルを含む、請求項102に記載の方法。
【請求項104】
前記デオキシリボ核酸(DNA)サンプルが、組織由来DNA、無細胞DNA(cfDNA)、循環腫瘍DNA(ctDNA)又はミトコンドリアDNAを含む、請求項103に記載の方法。
【請求項105】
前記リボ核酸(RNA)サンプルが、メッセンジャーRNA(mRNA)、リボソームRNA(rRNA)、転移RNA(tRNA)、又はミトコンドリアRNAを含む、請求項103に記載の方法。
【請求項106】
前記核酸サンプルが、前記患者からの組織サンプル、血液サンプル、尿サンプル、唾液サンプル、生検サンプル、又は液体生検サンプルに由来する、請求項102~105のいずれか1項に記載の方法。
【請求項107】
前記分子プロファイリング試験が、包括的ゲノムプロファイリング(CGP)試験、遺伝子発現プロファイリング試験、がんホットスポットパネル試験、DNAメチル化試験、DNA断片化試験、RNA断片化試験、又はそれらの任意の組み合わせを含む、請求項102~106のいずれか1項に記載の方法。
【請求項108】
前記分子プロファイリング試験の結果が、がんを有する個体に対する治療の選択、開始、調整又は中止に使用される、請求項102~107のいずれか1項に記載の方法。
【請求項109】
がんを有する個体を治療することを更に含む、請求項102~108のいずれか1項に記載の方法。
【請求項110】
前記分子プロファイリング試験の結果をディスプレイデバイスに表示することを更に含む、請求項102から109のいずれか一項に記載の方法。
【請求項111】
前記分子プロファイリング試験のためのレポートを生成することを更に含む、請求項102~110のいずれか1項に記載の方法。
【請求項112】
コンピュータネットワークを介して前記分子プロファイリング試験のためのレポートを医療提供者に送信することを更に含む、請求項102~111のいずれか1項に記載の方法。
【請求項113】
前記分子プロファイリング試験のためのレポートをインターネットを介して医療提供者に送信することを更に含む、請求項102~112のいずれか1項に記載の方法。
【請求項114】
前記1つ以上の追加の処置が、フォローアップスクリーニング検査を実施することを含む、請求項94~113のいずれか1項に記載の方法。
【請求項115】
前記フォローアップスクリーニング試験が結腸鏡検査を含む、請求項114に記載の方法。
【請求項116】
前記フォローアップの結腸鏡検査が、前記判定された遺伝子改変状態の結果として、より頻繁な間隔で行われる、請求項115に記載の方法。
【請求項117】
コンピュータ実装方法であって、
対象からの生体サンプルの特定の部分を描写するデジタル病理画像にアクセスすることであって、描写された特定の部分が1つ以上の染色で染色された、アクセスすることと、
前記デジタル病理画像を複数の画像パッチにセグメント化することと、
前記画像パッチが、腫瘍領域又は腫瘍ネスト構造の描写を含むという判定に基づいて、前記複数の画像パッチの各々を分類することと、
前記デジタル病理画像が、描写された腫瘍学的な細胞に関する遺伝子融合の発生の描写を含むという判定に基づいて、前記デジタル病理画像の各画像パッチに対して生成された前記ラベルの重みづけされた組み合わせに基づいてデジタル病理画像を分類することと、
前記デジタル病理画像の前記分類に基づいて、前記デジタル病理画像から対象予測を生成することであって、前記対象予測が、前記描写された腫瘍学的な細胞に対する応答を伴う遺伝子融合の発生に基づいて前記対象に対する1つ以上の治療レジメンの適用可能性の予測に対応する、前記デジタル病理画像から対象予測を生成すること、
前記対象予測を出力することと
を含む、コンピュータ実装方法。
【請求項118】
前記デジタル病理画像が、遺伝子融合の発生又は1つ以上の治療レジメンの適用性と相互に排他的な1つ以上の変異の描写を含むという判定に基づいて、前記デジタル病理画像を分類することを更に含む、請求項117に記載のコンピュータ実装方法。
【請求項119】
腫瘍領域形態に基づいて前記複数の画像パッチの各々を分類することを更に含み、前記腫瘍領域形態が、前記領域に描写される1つ以上の印環細胞、1つ以上の肝様細胞、細胞外ムチン、腫瘍遺伝子変異量、腫瘍成長パターン、又は腫瘍不均質性の分析に対応する、請求項117又は118に記載のコンピュータ実装方法。
【請求項120】
前記複数の画像パッチの各々を分類するために1つ以上の機械学習モデルを訓練することを更に含み、前記1つ以上の機械学習モデルが、腫瘍領域又は腫瘍ネスト構造の1つ以上のラベル付き描写と、腫瘍領域又は腫瘍ネスト構造を含まない1つ以上のラベル付き描写とを含む訓練データのセットに基づいて訓練される、請求項117~119のいずれか1項に記載のコンピュータ実装方法。
【請求項121】
前記対象予測が、更に、前記対象からの前記生体サンプルの第2の特定のサンプルを描写する前記1つ以上の第2デジタル病理画像の各々の1つ以上の第2の分類を組み合わせることに基づいて生成される、請求項117~120のいずれか1項に記載のコンピュータ実装方法。
【請求項122】
前記対象予測を出力することが、前記デジタル病理画像の各画像パッチに対して生成された前記ラベルの表示と、前記デジタル病理画像の各画像パッチに対する前記ラベルの予測信頼度とを含む前記デジタル病理画像のグラフィック表現を出力することを含む、請求項117~121のいずれか1項に記載のコンピュータ実装方法。
【請求項123】
前記対象予測を出力することが、前記1つ以上の治療レジメンの使用に関連する推奨を出力することを含む、請求項117~121のいずれか1項に記載のコンピュータ実装方法。
【請求項124】
クライアントコンピューティングシステムから遠隔コンピューティングシステムに、対象からの生体サンプルの特定の部分を描写するデジタル病理画像を処理するための要求通信を送信することを含む方法であって、前記クライアントコンピューティングシステムからの前記要求通信の受信に応答して、前記遠隔コンピューティングシステムが、
前記対象からの前記生体サンプルの前記特定の部分を描写する前記デジタル病理画像にアクセスすることであって、描写された前記特定の部分が1つ以上の染色で染色された、アクセスすることと、
前記デジタル病理画像を複数の画像パッチにセグメント化することと、
前記画像パッチが、腫瘍領域又は腫瘍ネスト構造の描写を含むという判定に基づいて、前記複数の画像パッチの各々を分類することと、
前記デジタル病理画像が、描写された腫瘍学的な細胞に関する遺伝子融合の発生の描写を含むという判定に基づいて、前記デジタル病理画像の各画像パッチに対して生成された前記ラベルの重みづけされた組み合わせに基づいてデジタル病理画像を分類することと、
前記デジタル病理画像の前記分類に基づいて、前記デジタル病理画像から対象予測を生成することであって、前記対象予測が、前記描写された腫瘍学的な細胞に対する応答を伴う遺伝子融合の発生に基づいて前記対象に対する1つ以上の治療レジメンの適用可能性の予測に対応する、前記デジタル病理画像から対象予測を生成することと、
応答通信を介してクライアントコンピューティングシステムに対象予測を提供することと、
応答通信の受信に応答してクライアントコンピューティングシステムによって、対象予測を出力することと
を含む動作を実施する、方法。
【請求項125】
システムであって、
1つ以上のデータプロセッサと、
コンピュータ可読非一時的記憶媒体であって、前記1つ以上のデータプロセッサによって実行されると、前記1つ以上のデータプロセッサに、本明細書に開示される1つ以上の方法の一部又は全部を実施させる命令を含む、コンピュータ可読非一時的記憶媒体と
を含む、システム。
【請求項126】
1つ以上のデータプロセッサに、本明細書で開示される1つ以上の方法の一部又は全部を実施させるように構成された命令を含む、コンピュータ可読非一時的記憶媒体に有形に具現化された、コンピュータプログラム製品。
【請求項127】
デジタル病理画像処理システムによって、
対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスすることと、
前記デジタル病理画像を複数の画像パッチにセグメント化することと、
前記複数の画像パッチの各々について、前記画像パッチが腫瘍領域を描写しているか腫瘍ネスト構造を描写しているかを示すラベルを生成することと、
各画像パッチに対して生成された前記ラベルに基づいて、前記デジタル病理画像が、前記がん細胞に対する遺伝子融合の発生の描写を含むと判定することと、
前記がん細胞に関する遺伝子融合の前記発生に基づいて、前記対象についての対象予測を生成することであって、前記対象予測が、前記対象についての1つ以上の治療レジメンの適用可能性の予測を含む、生成することと
を含む、方法。
【請求項128】
前記複数の画像パッチの各々から1つ以上の特徴を検出することを更に含み、前記1つ以上の特徴が、臨床的特徴又は組織学的特徴のうちの1つ以上を含み、前記複数の画像パッチの各々に対する前記ラベルを生成することが、前記1つ以上の特徴に基づく、請求項127に記載の方法。
【請求項129】
前記複数の画像パッチの各々について前記ラベルを生成することが、腫瘍形態に基づき、前記腫瘍形態が、印環細胞の存在、印環細胞の数、肝様細胞の存在、肝様細胞の数、細胞外ムチン、腫瘍成長パターン、又は腫瘍不均質性のうちの1つ以上の分析に基づく、請求項127又は請求項128に記載の方法。
【請求項130】
前記複数の画像パッチの各々に対する前記ラベルを生成することが、1つ以上機械学習モデルに基づき、前記方法が、腫瘍領域又は腫瘍ネスト構造の1つ以上のラベル付き描写及び他の組織学的又は臨床的特徴の1つ以上のラベル付き描写を含む複数の訓練データに基づいて前記1つ以上の機械学習モデルを訓練することを更に含む、請求項127~129のいずれか1項に記載の方法。
【請求項131】
前記対象予測が、前記対象からの前記生体サンプルの追加の特定のサンプルを描写する1つ以上の追加のデジタル病理画像の各々の分析に基づいて更に生成され、前記分析が、
前記1つ以上の追加のデジタル病理画像の各々が、前記がん細胞に対する遺伝子融合の発生の描写を含むかどうかを判定することと、
前記1つ以上の追加のデジタル病理画像の各々について前記判定を組み合わせることと
を含む、請求項127~130のいずれか1項に記載の方法。
【請求項132】
グラフィカルユーザインターフェースを介して、前記対象予測を出力することを更に含み、前記グラフィカルユーザインターフェースが、前記デジタル病理画像のグラフィック表現を含み、前記グラフィック表現が、前記複数の画像パッチの各々に対して生成された前記ラベルの表示、及び前記それぞれのラベルに関連する予測信頼度を含む、請求項127~131のいずれか1項に記載の方法。
【請求項133】
前記1つ以上の治療レジメンの使用に関連する推奨を生成することを更に含む、請求項127~132のいずれか1項に記載の方法。
【請求項134】
前記生体サンプルの前記特定の部分が、1つ以上複数の染色で染色された、請求項127~133のいずれか1項に記載の方法。
【請求項135】
前記デジタル病理画像が、前記がん細胞に関する遺伝子融合の発生の描写を含むと判定することが、各画像パッチについて生成された前記ラベルの重みづけされた組み合わせに更に基づく、請求項127~134のいずれか1項に記載の方法。
【請求項136】
デジタル病理画像から核多形性を識別することと、
前記識別された核多形性を測定することと
を更に含み、前記デジタル病理画像が遺伝子融合の発生の描写を含むと判定することが、前記測定された核多形性に更に基づく、請求項127~135のいずれか1項に記載の方法。
【請求項137】
ソフトウェアを具現化する1つ以上のコンピュータ可読非一時的記憶媒体であって、実行されると、
対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスすることと、
デジタル病理画像を複数の画像パッチにセグメント化することと、
前記複数の画像パッチの各々について、前記画像パッチが腫瘍領域を描写しているか腫瘍ネスト構造を描写しているかを示すラベルを生成することと、
各画像パッチに対して生成されたラベルに基づいて、デジタル病理画像が、がん細胞に関して遺伝子融合の発生の描写を含むと判定することと、
がん細胞に対する遺伝子融合の発生に基づいて、対象について対象予測を生成することであって、前記対象予測が、対象の1つ以上の治療レジメンの適用可能性の予測を含む、前記対象に関して対象予測を生成することと
を行うように動作可能である、ソフトウェアを具現化する1つ以上のコンピュータ可読非一時的記憶媒体。
【請求項138】
前記ソフトウェアが、実行されると、
前記複数の画像パッチの各々から1つ以上の特徴を検出するように更に動作可能であり、前記1つ以上の特徴が、臨床的特徴、組織学的特徴、又は細胞型のうちの1つ以上を含み、前記複数の画像パッチの各々について前記ラベルを生成することが、前記1つ以上の特徴に基づく、請求項137に記載の媒体。
【請求項139】
前記複数の画像パッチの各々について前記ラベルを生成することが、腫瘍形態に基づき、前記腫瘍形態が、印環細胞、肝様細胞、細胞外ムチン、腫瘍遺伝子変異量、腫瘍成長パターン、又は腫瘍不均質性のうちの1つ以上の分析に基づく、請求項137又は請求項138に記載の媒体。
【請求項140】
前記複数の画像パッチの各々に対する前記ラベルを生成することが、1つ以上の機械学習モデルに基づき、前記方法が、腫瘍領域又は腫瘍ネスト構造の1つ以上のラベル付き描写と、腫瘍領域又は腫瘍ネスト構造を含まない1つ以上のラベル付き描写とを含む複数の訓練データに基づいて前記1つ以上の機械学習モデルを訓練することを更に含む、請求項137~139のいずれか1項に記載の媒体。
【請求項141】
システムであって、
1つ以上のプロセッサと、
前記プロセッサによって実行可能な命令を含む、前記プロセッサに結合された非一時的メモリと
を含み、前記プロセッサが、前記命令を実行すると、
対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスすることと、
デジタル病理画像を複数の画像パッチにセグメント化することと、
前記複数の画像パッチの各々について、前記画像パッチが腫瘍領域を描写しているか腫瘍ネスト構造を描写しているかを示すラベルを生成することと、
各画像パッチに対して生成されたラベルに基づいて、デジタル病理画像ががん細胞に関して遺伝子融合の発生の描写を含むと判定することと、
がん細胞に対する遺伝子融合の発生に基づいて、対象について対象予測を生成することであって、前記対象予測が、対象の1つ以上の治療レジメンの適用可能性の予測を含む、前記対象に関して対象予測を生成することと
を行うように動作可能である、システム。
【請求項142】
前記プロセッサが、前記命令を実行するときに、前記複数の画像パッチの各々から1つ以上の特徴を検出するように更に動作可能であり、前記1つ以上の特徴が、臨床的特徴、組織学的特徴、又は細胞型のうちの1つ以上を含み、前記複数の画像パッチの各々に対する前記ラベルを生成することが、前記1つ以上の特徴に基づく、請求項141に記載のシステム。
【請求項143】
前記複数の画像パッチの各々について前記ラベルを生成することが、腫瘍形態に基づき、前記腫瘍形態が、印環細胞、肝様細胞、細胞外ムチン、腫瘍遺伝子変異量、腫瘍成長パターン、又は腫瘍不均質性のうちの1つ以上の分析に基づく、請求項141又は請求項142に記載のシステム。
【請求項144】
前記複数の画像パッチの各々に対する前記ラベルを生成することが、1つ以上の機械学習モデルに基づき、前記方法が、腫瘍領域又は腫瘍ネスト構造の1つ以上のラベル付き描写と、腫瘍領域又は腫瘍ネスト構造を含まない1つ以上のラベル付き描写とを含む複数の訓練データに基づいて前記1つ以上の機械学習モデルを訓練することを更に含む、請求項141~143のいずれか1項に記載のシステム。
【請求項145】
クライアントコンピューティングシステムから遠隔コンピューティングシステムに、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像を処理するための要求通信を送信することを含む方法であって、前記クライアントコンピューティングシステムからの前記要求通信の受信に応答して、前記遠隔コンピューティングシステムが、
デジタル病理画像にアクセスすることと、
前記デジタル病理画像を複数の画像パッチにセグメント化することと、
前記複数の画像パッチの各々について、前記画像パッチが腫瘍領域を描写しているか腫瘍ネスト構造を描写しているかを示すラベルを生成することと、
各画像パッチに対して生成された前記ラベルに基づいて、前記デジタル病理画像が、前記がん細胞に対する遺伝子融合の発生の描写を含むと判定することと、
前記がん細胞に関する遺伝子融合の前記発生に基づいて、前記対象についての対象予測を生成することであって、前記対象予測が、前記対象についての1つ以上の治療レジメンの適用可能性の予測を含む、生成することと、
応答通信を介してクライアントコンピューティングシステムに対象予測を提供することと、
応答通信の受信に応答してクライアントコンピューティングシステムによって、対象予測を出力することと
を含む動作を実施する、方法。
【請求項146】
デジタル病理画像処理システムによって、
対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスすることと、
前記デジタル病理画像が、遺伝子融合の発生と相互に排他的な1つ以上の変異の描写を含むと判定することと、
前記がん細胞に関して遺伝子融合の非存在を判定することと、
前記がん細胞に関する遺伝子融合の前記非存在に基づいて、前記対象について対象予測を生成することであって、前記対象予測が、対象の1つ以上の治療レジメンの適用可能性の予測を含む、前記対象に関して対象予測を生成することと
を含む、方法。
【請求項147】
1つ以上のプロセッサを使用して、組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、前記組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、
前記1つ以上のプロセッサ及び前記組織表現型分類モデルを使用して、前記画像パッチを分類して、前記組織サンプルについてのラベル付き画像パッチデータセットを生成することと、
前記1つ以上のプロセッサを使用して、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、前記遺伝子改変状態分類モデルが、前記ラベル付き画像パッチデータセットに基づいて前記組織サンプルの遺伝子改変状態を判定するように構成される、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、
前記組織サンプルの前記遺伝子改変状態に基づいて、前記1つ以上のプロセッサ及び前記遺伝子改変状態分類モデルを使用して、前記組織サンプルを分析するために固体生検ベースのアッセイを使用できるかどうかを判定することと
を含む、方法。
【請求項148】
前記固体生検に基づくアッセイが前記組織サンプルを分析することができると判定された場合、前記方法が、前記組織サンプルの前記固体生検に基づくアッセイを実施することを更に含む、請求項147に記載の方法。
【請求項149】
前記固体生検ベースアッセイが前記組織サンプルを分析することができないという判定がなされたときに、液体生検ベースアッセイに再度言及し、前記方法が、
個体から液体生検サンプルを得ることと、
前記液体生検サンプルに対して液体生検ベースアッセイを実施することと
を更に含む、請求項147に記載の方法。
【請求項150】
前記組織サンプル及び前記液体生検サンプルが、同じ個体から得られる、請求項149に記載の方法。
【請求項151】
前記液体生検サンプルが、血液、血漿、脳脊髄液、痰、便、尿又は唾液を含む、請求項149又は請求項150に記載の方法。
【請求項152】
前記液体生検サンプルが、循環腫瘍細胞(CTC)を含む、請求項149~151のいずれか一項に記載の方法。
【請求項153】
前記液体生検サンプルが、無細胞DNA(cfDNA)、循環腫瘍DNA(ctDNA)、又はそれらの任意の組み合わせを含む、請求項149~151のいずれか1項に記載の方法。
【請求項154】
前記固体生検ベースのアッセイ又は液体生検ベースアッセイが、
前記組織サンプルが得られたのと同じ個体から得られた固体生検サンプル又は液体生検サンプルから抽出された複数の核酸分子を提供することと、
1つ以上のアダプターを前記複数の核酸分子からの1つ以上の核酸分子上にライゲーションすることと、
前記複数の核酸分子から前記1つ以上のライゲーションされた核酸分子を増幅することと、
前記増幅された核酸分子から増幅された核酸分子を捕捉することと、
シーケンサーによって、前記捕捉された核酸分子を配列決定して、前記捕捉された核酸分子を表す複数の配列リードを得ることと、
1つ以上のプロセッサにおいて、前記複数の配列リードに対する配列リードデータを受信することと、
前記1つ以上のプロセッサを使用して、前記配列リードデータに基づいて前記固体生検サンプル又は液体生検サンプルにおける遺伝子改変状態を検出することと
を含む、請求項147~153のいずれか1項に記載の方法。
【請求項155】
前記複数の配列決定リードうちの1つ以上が、固体生検サンプル又は液体生検サンプルにおけるサブゲノム区間内で1つ位以上遺伝子座と重複する、請求項154に記載の方法。
【請求項156】
前記複数の核酸分子が、腫瘍核酸分子と非腫瘍核酸分子との混合物を含む、請求項154又は請求項155に記載の方法。
【請求項157】
前記腫瘍核酸分子が、不均質固体生検サンプルの腫瘍部分に由来し、且つ前記非腫瘍核酸分子が、前記不均質固体生検サンプルの正常部分に由来する、請求項156に記載の方法。
【請求項158】
前記サンプルが液体生検サンプルを含み、前記腫瘍核酸分子が前記液体生検サンプルの循環腫瘍DNA(ctDNA)画分に由来し、前記非腫瘍核酸分子が前記液体生検サンプルの非腫瘍無細胞DNA(cfDNA)画分に由来する、請求項156に記載の方法。
【請求項159】
前記1つ以上のアダプターが、増幅プライマー、フローセルアダプター配列、基質アダプター配列、又はサンプルインデックス配列を含む、請求項154~158のいずれか1項に記載の方法。
【請求項160】
前記捕捉された核酸分子が、1つ以上のベイト分子へのハイブリダイゼーションによって前記増幅された核酸分子から捕捉される、請求項154~159のいずれか1項に記載の方法。
【請求項161】
前記1つ以上のベイト分子が、1つ以上の核酸分子を含み、各核酸分子が、捕捉された核酸分子の領域に相補的な領域を含む、請求項160に記載の方法。
【請求項162】
核酸分子を増幅することが、ポリメラーゼ連鎖反応(PCR)増幅技術、非PCR増幅技術、又は等温増幅技術を実施することを含む、請求項154~161のいずれか1項に記載の方法。
【請求項163】
前記配列決定が、超並列配列決定(MPS)技術、全ゲノム配列決定(WGS)、全エクソーム配列決定、標的配列決定、直接配列決定、又はサンガー配列決定技術の使用を含む、請求項154~162のいずれか1項に記載の方法。
【請求項164】
前記配列決定が超並列配列決定を含み、前記超並列配列決定技術が次世代シーケンシング(NGS)を含む、請求項163に記載の方法。
【請求項165】
前記シーケンサーが、次世代シーケンサーを含む、請求項154~164のいずれか1項に記載の方法。
【請求項166】
前記1つ以上のプロセッサによって、前記固体生検サンプル又は液体生検サンプルにおける遺伝子改変状態の存在又は非存在を示すレポートを生成することを更に含む、請求項154~165のいずれか1項に記載の方法。
【請求項167】
前記レポートを医療提供者に送信することを更に含む、請求項166に記載の方法。
【請求項168】
前記レポートが、コンピュータネットワーク又はピアツーピア接続を介して送信される、請求項167に記載の方法。
【請求項169】
前記遺伝子改変状態分類モデルが、前記ラベル付き画像パッチデータに基づいて、前記組織サンプル中の1つ以上の遺伝子についての遺伝子改変状態を判定するように構成されている、請求項147~168のいずれか1項に記載の方法。
【請求項170】
前記組織表現型分類モデルが、複数の組織表現型分類モデル訓練画像パッチを使用して訓練され、各組織表現型分類モデル訓練画像パッチが、複数の組織表現型クラスから選択される組織表現型クラスでラベル付けされる、請求項147~168のいずれか1項に記載の方法。
【請求項171】
前記組織表現型分類モデル訓練画像パッチが、前記組織表現型クラスで手動でラベル付けされる、請求項170に記載の方法。
【請求項172】
前記組織表現型分類モデル訓練画像パッチが、クラスタリングプロセスを使用してラベル付けされ、前記クラスタリングプロセスが、前記組織表現型分類モデル訓練画像パッチから画像特徴を抽出することと、前記抽出された画像特徴に基づいて前記組織表現型分類モデル訓練画像パッチをクラスタリングすることとを含む、請求項170に記載の方法。
【請求項173】
前記抽出された画像特徴クラスタに基づいて、前記組織表現型分類モデル訓練画像パッチにラベルが割り当てられる、請求項172に記載の方法。
【請求項174】
前記画像特徴が、事前訓練された画像特徴抽出モデルを使用して前記組織表現型分類モデル訓練画像パッチから抽出される、請求項173に記載の方法。
【請求項175】
前記画像特徴が、教師なし画像特徴抽出モデルを使用して前記組織表現型分類モデル訓練画像パッチから抽出される、請求項173に記載の方法。
【請求項176】
前記抽出された画像特徴の縮小表現に基づいて、前記組織表現型分類モデル訓練画像パッチをクラスタリングする前に、前記抽出された画像特徴に対して次元削減を実施することを更に含む、請求項172~175のいずれか1項に記載の方法。
【請求項177】
前記遺伝子改変状態分類モデルが、複数の遺伝子改変状態分類モデル訓練画像パッチを使用して訓練され、各遺伝子改変状態分類モデル訓練画像パッチが、組織表現型クラス及び遺伝子改変状態でラベル付けされる、請求項147~176のいずれか1項に記載の方法。
【請求項178】
前記遺伝子改変状態分類モデルの出力が、前記組織サンプル中の少なくとも1つの遺伝子における変異の存在又は非存在の判定である、請求項147~177のいずれか1項に記載の方法。
【請求項179】
前記遺伝子改変状態分類モデルの出力が、前記組織サンプルが少なくとも1つの遺伝子に変異を有する確率である、請求項147~178のいずれか1項に記載の方法。
【請求項180】
遺伝子改変状態分類モデルの出力が、前記組織サンプルが少なくとも1つの遺伝子に変異を有さない確率である、請求項147~179のいずれか1項に記載の方法。
【請求項181】
前記判定された遺伝子改変状態が、少なくとも1つの遺伝子における点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、相同組換え欠損変異、又はそれらの任意の組み合わせに対応する、請求項147~180のいずれか1項に記載の方法。
【請求項182】
前記複数の組織表現型クラスが、1つ以上の腫瘍表現型クラス、1つ以上の正常表現型クラス、1つ以上の間質表現型クラス、1つ以上の免疫表現型クラス、1つ以上の壊死表現型クラス、又はそれらの任意の組み合わせを含む、請求項170~181のいずれか1項に記載の方法。
【請求項183】
前記組織表現型分類モデル又は前記遺伝子改変状態分類モデルが、ニューラルネットワークである、請求項147~182のいずれか1項に記載の方法。
【請求項184】
前記1つ以上の病理画像が、がん組織サンプルの画像である、請求項147~183のいずれか1項に記載の方法。
【請求項185】
1つ以上のプロセッサを使用して、前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、前記組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、
前記1つ以上のプロセッサ及び前記組織表現型分類モデルを使用して、前記画像パッチを分類して、前記組織サンプルについてのラベル付き画像パッチデータセットを生成することと、
前記1つ以上のプロセッサを使用して、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、前記遺伝子改変状態分類モデルが、前記ラベル付き画像パッチデータセットに基づいて前記組織サンプルの遺伝子改変状態を判定するように構成される、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、
前記組織サンプルの前記遺伝子改変に基づいて、前記1つ以上のプロセッサを使用して、前記組織サンプルの固体ベースの生検アッセイの結果を予測することと
を含む、方法。
【請求項186】
疾患を有する個体に対する1つ以上の治療選択肢を識別する方法であって、
1つ以上のプロセッサを使用して、前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、前記組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、
前記1つ以上のプロセッサ及び前記組織表現型分類モデルを使用して、前記画像パッチを分類して、前記組織サンプルについてのラベル付き画像パッチデータセットを生成することと、
前記1つ以上のプロセッサを使用して、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、前記遺伝子改変状態分類モデルが、前記ラベル付き画像パッチデータセットに基づいて前記組織サンプルの遺伝子改変状態を判定するように構成される、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、
前記組織サンプルの前記遺伝子改変に基づいて、前記1つ以上のプロセッサを使用して、前記疾患を治療するための1つ以上の治療選択肢を判定することと
を含む、方法。
【請求項187】
疾患を有する個体を治療する方法であって、
1つ以上のプロセッサを使用して、前記固体からの前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、前記組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、前記組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、
前記1つ以上のプロセッサ及び前記組織表現型分類モデルを使用して、前記画像パッチを分類して、前記組織サンプルについてのラベル付き画像パッチデータセットを生成することと、
前記1つ以上のプロセッサを使用して、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、前記遺伝子改変状態分類モデルが、前記ラベル付き画像パッチデータセットに基づいて前記組織サンプルの遺伝子改変状態を判定するように構成される、前記ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、
前記1つ以上のプロセッサを使用して、前記組織サンプルについて判定された前記遺伝子改変状態に基づいて、前記個体の前記疾患の疾患タイプを判定することと、
前記判定された疾患タイプに基づいて、前記1つ以上のプロセッサを使用して、前記疾患タイプを治療するための治療法を判定することと、
前記判定された治療法に基づいて、前記個体を前記治療法で治療することと
を含む、疾患を有する個体を治療する方法。
【請求項188】
前記1つ以上の病理画像に基づいて遺伝子改変状態を判定した後に、前記個体から得られたサンプルに対して確認ゲノムプロファイルアッセイを実施することを更に含む、請求項187に記載の方法。
【請求項189】
前記個体から得られた前記サンプルが、固体生検サンプル又は液体生検サンプルを含む、請求項188に記載の方法。
【請求項190】
前記サンプルが、液体生検サンプルを含み、前記液体生検サンプルが、血液、血漿、脳脊髄液、痰、便、尿又は唾液を含む、請求項189に記載の方法。
【請求項191】
前記液体生検サンプルが、循環腫瘍細胞(CTC)を含む、請求項190に記載の方法。
【請求項192】
前記液体生検サンプルが、無細胞DNA(cfDNA)、循環腫瘍DNA(ctDNA)、又はそれらの任意の組み合わせを含む、請求項190又は請求項191のいずれか1項に記載の方法。
【請求項193】
前記ゲノムプロファイリングアッセイが、
前記固体生検サンプル又は液体生検サンプルから抽出された複数の核酸分子を提供することと、
1つ以上のアダプターを前記複数の核酸分子からの1つ以上の核酸分子上にライゲーションすることと、
前記複数の核酸分子から前記1つ以上のライゲーションされた核酸分子を増幅することと、
前記増幅された核酸分子から増幅された核酸分子を捕捉することと、
シーケンサーによって、前記捕捉された核酸分子を配列決定して、前記捕捉された核酸分子を表す複数の配列リードを得ることと、
1つ以上のプロセッサにおいて、前記複数の配列リードに対する配列リードデータを受信することと、
前記1つ以上のプロセッサを使用して、前記配列リードデータに基づいて前記固体生検サンプル又は液体生検サンプルにおける遺伝子改変状態を検出することと
を含む、請求項188~192のいずれか1項に記載の方法。
【請求項194】
前記複数の配列決定リードうちの1つ以上が、固体生検サンプル又は液体生検サンプルにおけるサブゲノム区間内で1つ位以上遺伝子座と重複する、請求項193に記載の方法。
【請求項195】
前記複数の核酸分子が、腫瘍核酸分子と非腫瘍核酸分子との混合物を含む、請求項193又は請求項194に記載の方法。
【請求項196】
前記腫瘍核酸分子が、不均質固体生検サンプルの腫瘍部分に由来し、且つ前記非腫瘍核酸分子が、前記不均質固体生検サンプルの正常部分に由来する、請求項195に記載の方法。
【請求項197】
前記サンプルが液体生検サンプルを含み、前記腫瘍核酸分子が前記液体生検サンプルの循環腫瘍DNA(ctDNA)画分に由来し、前記非腫瘍核酸分子が前記液体生検サンプルの非腫瘍無細胞DNA(cfDNA)画分に由来する、請求項195に記載の方法。
【請求項198】
前記1つ以上のアダプターが、増幅プライマー、フローセルアダプター配列、基質アダプター配列、又はサンプルインデックス配列を含む、請求項193~197のいずれか1項に記載の方法。
【請求項199】
前記捕捉された核酸分子が、1つ以上のベイト分子へのハイブリダイゼーションによって前記増幅された核酸分子から捕捉される、請求項193~198のいずれか1項に記載の方法。
【請求項200】
前記1つ以上のベイト分子が、1つ以上の核酸分子を含み、各核酸分子が、捕捉された核酸分子の領域に相補的な領域を含む、請求項199に記載の方法。
【請求項201】
核酸分子を増幅することが、ポリメラーゼ連鎖反応(PCR)増幅技術、非PCR増幅技術、又は等温増幅技術を実施することを含む、請求項193~200のいずれか1項に記載の方法。
【請求項202】
前記配列決定が、超並列配列決定(MPS)技術、全ゲノム配列決定(WGS)、全エクソーム配列決定、標的配列決定、直接配列決定、又はサンガー配列決定技術の使用を含む、請求項193~201のいずれか1項に記載の方法。
【請求項203】
前記配列決定が超並列配列決定を含み、前記超並列配列決定技術が次世代シーケンシング(NGS)を含む、請求項202に記載の方法。
【請求項204】
前記シーケンサーが、次世代シーケンサーを含む、請求項193~203のいずれか1項に記載の方法。
【請求項205】
前記1つ以上のプロセッサによって、前記固体生検サンプル又は液体生検サンプルにおける遺伝子改変状態の存在又は非存在を示すレポートを生成することを更に含む、請求項193~203のいずれか1項に記載の方法。
【請求項206】
前記レポートを医療提供者に送信することを更に含む、請求項205に記載の方法。
【請求項207】
前記レポートが、コンピュータネットワーク又はピアツーピア接続を介して送信される、請求項206に記載の方法。
【請求項208】
前記遺伝子改変状態分類モデルが、前記ラベル付き画像パッチデータに基づいて、前記組織サンプル中の1つ以上の遺伝子についての遺伝子改変状態を判定するように構成されている、請求項187~207のいずれか1項に記載の方法。
【請求項209】
前記組織表現型分類モデルが、複数の組織表現型分類モデル訓練画像パッチを使用して訓練され、各組織表現型分類モデル訓練画像パッチが、複数の組織表現型クラスから選択される組織表現型クラスでラベル付けされる、請求項187~208のいずれか1項に記載の方法。
【請求項210】
前記組織表現型分類モデル訓練画像パッチが、前記組織表現型クラスで手動でラベル付けされる、請求項209に記載の方法。
【請求項211】
前記組織表現型分類モデル訓練画像パッチが、クラスタリングプロセスを使用してラベル付けされ、前記クラスタリングプロセスが、前記組織表現型分類モデル訓練画像パッチから画像特徴を抽出することと、前記抽出された画像特徴に基づいて前記組織表現型分類モデル訓練画像パッチをクラスタリングすることとを含む、請求項209に記載の方法。
【請求項212】
前記抽出された画像特徴クラスタに基づいて、前記組織表現型分類モデル訓練画像パッチにラベルが割り当てられる、請求項211に記載の方法。
【請求項213】
前記画像特徴が、事前訓練された画像特徴抽出モデルを使用して前記組織表現型分類モデル訓練画像パッチから抽出される、請求項212に記載の方法。
【請求項214】
前記画像特徴が、教師なし画像特徴抽出モデルを使用して前記組織表現型分類モデル訓練画像パッチから抽出される、請求項212に記載の方法。
【請求項215】
前記抽出された画像特徴の縮小表現に基づいて、前記組織表現型分類モデル訓練画像パッチをクラスタリングする前に、前記抽出された画像特徴に対して次元削減を実施することを更に含む、請求項211~214のいずれか1項に記載の方法。
【請求項216】
前記遺伝子改変状態分類モデルが、複数の遺伝子改変状態分類モデル訓練画像パッチを使用して訓練され、各遺伝子改変状態分類モデル訓練画像パッチが、組織表現型クラス及び遺伝子改変状態でラベル付けされる、請求項187~215のいずれか1項に記載の方法。
【請求項217】
前記遺伝子改変状態分類モデルの出力が、前記組織サンプル中の少なくとも1つの遺伝子における変異の存在又は非存在の判定である、請求項187~216のいずれか1項に記載の方法。
【請求項218】
前記遺伝子改変状態分類モデルの出力が、前記組織サンプルが少なくとも1つの遺伝子に変異を有する確率である、請求項187~217のいずれか1項に記載の方法。
【請求項219】
遺伝子改変状態分類モデルの出力が、前記組織サンプルが少なくとも1つの遺伝子に変異を有さない確率である、請求項187~218のいずれか1項に記載の方法。
【請求項220】
前記判定された遺伝子改変状態が、少なくとも1つの遺伝子における点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、相同組換え欠損変異、又はそれらの任意の組み合わせに対応する、請求項187~219のいずれか1項に記載の方法。
【請求項221】
前記複数の組織表現型クラスが、1つ以上の腫瘍表現型クラス、1つ以上の正常表現型クラス、1つ以上の間質表現型クラス、1つ以上の免疫表現型クラス、1つ以上の壊死表現型クラス、又はそれらの任意の組み合わせを含む、請求項209~220のいずれか1項に記載の方法。
【請求項222】
前記組織表現型分類モデル又は前記遺伝子改変状態分類モデルが、ニューラルネットワークである、請求項187~221のいずれか1項に記載の方法。
【請求項223】
前記1つ以上の病理画像が、がん組織サンプルの画像である、請求項187~222のいずれか1項に記載の方法。
【請求項224】
前記治療法が、化学療法、放射線療法、免疫療法、標的療法又は外科手術を含む、請求項223に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2021年4月19日に出願された米国仮特許出願第63/176,826号、2021年5月14日に出願された米国仮特許出願第63/188,963号、及び2021年8月31日に出願された米国仮特許出願第63/239,287号の優先権の利益を主張し、これらの各々の内容は、それらの全体を参照することで本明細書に組み込まれる。
【0002】
分野
本開示は、概して、組織画像を使用して組織サンプル中の遺伝子改変(例えば、点変異、挿入、欠失又は融合)を判定するための方法及びシステム、並びに組織画像からの患者組織サンプル中の判定された遺伝子改変に基づいて患者を治療するための方法及びシステムに関する。
【背景技術】
【0003】
序文
固形腫瘍の分子的特徴付けは、患者にますます個別化されたケアを提供するために、診断、予後、及び予測情報を含む広範囲の臨床的に影響のある情報をもたらすことができる。例えば、肺腺癌患者の場合、分子アッセイの一般的な使用法は、承認されている多くの標的療法の1つに対する患者の適格性を判定することであり得る。
【0004】
標本記録保持目的又は研究目的のいずれかのための手術による組織抽出処置の間に取得されることが多い全スライド病理画像は、診断及び/又は治癒目的で切除又は生検された組織標本の高解像度(例えば、メガ画素又はギガ画素)画像である。全スライド画像から遺伝子改変を予測するための以前の方法は、組織表現型(例えば、組織形態学又は組織組織学)に関してかなり均一である高度に選択された組織サンプルの注釈付き病理スライド画像を使用して機械学習モデルを訓練することに依存している。例えば、Coudray,et al.2018,“Classification and mutation prediction from non-small cell lung cancer histopathology images using deep learning”,Nature Medicine 24:1559-1567を参照されたい。したがって、これらの方法は、ペア正常組織サンプルを入手することができない不均質な現実世界の組織サンプルの病理画像を使用する場合にはうまく機能しない。
【0005】
病理スライド画像から直接組織サンプルにおける変化した遺伝子状態を判定する能力は、特定の重要で作用可能な遺伝子改変状態(例えば、非小細胞肺癌腫(NSCLC)組織サンプルにおけるEGFR/ALK変異の検出、又は化学療法若しくは標的療法による治療の選択を導くための肺腺癌組織サンプルにおける遺伝子融合/再編成の検出)の場合に、患者及び医療提供者のターンアラウンドタイムを大幅に改善する可能性を提供するであろう。したがって、病理スライド画像から遺伝子改変状態をより高い精度及び効率で予測するための改善された方法及びシステムが必要とされている。
【発明の概要】
【0006】
発明の簡単な概要
本明細書では、病理画像の機械学習ベースの分析を使用して、不均質な現実世界の組織サンプルにおける遺伝子改変状態をより正確に判定するための方法及びシステムについて説明する。いくつかの実施形態では、開示される方法は、2つの機械学習モデルの使用を含むことができ、1つは、組織表現型に従ってそれらを分類及びラベル付けするために(組織サンプルの病理全スライド画像から抽出された)画像パッチデータを処理するための組織分類器として訓練されたものである。第2の機械学習モデルは、第1のモデルによって生成されたラベル付き画像パッチデータを処理し、組織サンプルによって示される遺伝子改変状態(例えば、1つ以上の遺伝子における変異)の予測を出力する遺伝子改変状態分類器として訓練される。いくつかの例では、第3のフロントエンド機械学習モデルを使用して、画像パッチデータから画像特徴を抽出し、それらの抽出された特徴の類似性に従ってそれらをクラスタリングしてもよい。いくつかの例では、後者のアプローチは、訓練された病理学者によって視覚的に認識されるものと相関していてもいなくてもよい組織表現型に従って画像パッチデータの分類を可能にする。
【0007】
いくつかの例では、開示される方法及びシステムの精度の改善は、組織表現型分類モデルを訓練するために使用されるラベル付き訓練データの全体スライド画像レベルの注釈ではなく、画像パッチレベルの注釈を採用することによって導出され、これは次に、遺伝子改変状態分類モデルを訓練するために遺伝子改変状態データ(例えば、遺伝子型判定又は次世代シーケンシング(NGS)データを使用して得られる)と対になるラベル付き画像パッチデータを生成するために使用される。
【0008】
いくつかの例では、開示される方法及びシステムの精度の改善は、画像パッチデータから画像特徴を抽出するために使用されるフロントエンド機械学習モデル(例えば、事前訓練された又は教師なしの画像特徴抽出モデル)の使用によって導出され、次いでクラスタ化され、クラスタタイプによって(例えば、病理学者によって注釈付けされるか、あるいは、所与のクラスタ内の画像パッチにクラスタラベルを単に割り当てることによって)注釈付けされ、次いでクラスタタイプは、遺伝子改変状態分類モデルを訓練するために遺伝子改変状態データ(例えば、遺伝子型判定又は次世代シーケンシング(NGS)データを使用して得られる)と対になるラベル付き画像パッチデータを生成するために使用される。
【0009】
いくつかの例では、開示される方法及びシステムは、腫瘍細胞(例えば、肺腺癌)を含む組織標本がスキャンされ、染色された(例えば、H&E染色)全スライド画像等のデジタル病理画像の分析に基づいて、対象(例えば、患者)からのサンプル中の発がん性遺伝子融合の検出に使用され得る。作用可能な遺伝子融合物を検出するための開示される方法は、(i)組織学的特徴の自動検出、(ii)相互に排他的な遺伝子突然変異の識別(それによって遺伝子融合の存在を排除する)、(iii)NTRKをALK、ROS1、及びRETと共に単一の「作用可能な遺伝子融合クラスタ」にグループ化し、クラスタを識別することによるNTRK遺伝子融合の検出、(iv)ALK、ROS1、及びRETに関連する組織学的特徴の自動検出(固体及び篩状の成長パターン、細胞外ムチン、印環細胞、杯細胞、及び肝様細胞を含む)、(v)喫煙関連突然変異シグネチャの識別及び排除、(vi)低い腫瘍遺伝子変異量の識別、(vii)スライドごとの腫瘍不均質性の減少の識別、(viii)核多形性の識別及び特徴付け、又は(ix)1つ以上エンドツーエンドデータ駆動機械学習モデル(複数可)を使用した全腫瘍又は臓器横断的作用可能遺伝子融合クラスタの識別のうちの1つ以上に基づいてもよい。
【0010】
患者からの組織サンプルの病理画像から遺伝子改変状態を判定することによって、医学的疾患の治療を選択し、それを必要とする患者を治療する方法も記載される。
【0011】
組織サンプル中の遺伝子改変状態を判定するための方法であって、1つ以上のプロセッサを使用して、組織サンプルの1つ以上の病理画像から導出される複数の画像パッチを組織表現型分類モデルに入力することであって、組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、入力することと、1つ以上のプロセッサ及び組織表現型分類モデルを使用して、画像パッチを分類して、組織サンプルについてラベル付き画像パッチデータセットを生成することと、1つ以上のプロセッサを使用して、ラベル付き画像パッチデータセットを遺伝子改変状態分類モデルに入力ことであって、遺伝子改変状態分類モデルが、ラベル付き画像パッチデータセットに基づいて組織サンプルの遺伝子改変状態を判定するように構成される、入力することと、1つ以上のプロセッサ及び遺伝子改変状態分類モデルを使用して、組織サンプルの遺伝子改変状態を出力することと、を含む、組織サンプル中の遺伝子改変状態を判定するための方法が本明細書に記載される。
【0012】
いくつかの実施形態では、遺伝子改変状態分類モデルは、ラベル付き画像パッチデータに基づいて、組織サンプル中の1つ以上の遺伝子についての遺伝子改変状態を判定するように構成されている。いくつかの実施形態では、組織表現型分類モデルは、複数の組織表現型分類モデル訓練画像パッチを使用して訓練され、各組織表現型分類モデル訓練画像パッチは、複数の組織表現型クラスから選択される組織表現型クラスでラベル付けされる。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチは、同じ組織タイプからの組織サンプルの病理画像に由来する。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチは、組織表現型クラスで手動でラベル付けされる。
【0013】
いくつかの実施形態では、組織表現型分類モデル訓練画像パッチが、クラスタリングプロセスを使用してラベル付けされ、クラスタリングプロセスが、組織表現型分類モデル訓練画像パッチから画像特徴を抽出することと、抽出された画像特徴に基づいて組織表現型分類モデル訓練画像パッチをクラスタリングすることとを含む。いくつかの実施形態では、抽出された画像特徴クラスタに基づいて、組織表現型分類モデル訓練画像パッチにラベルが割り当てられる。
【0014】
いくつかの実施形態では、画像特徴は、事前訓練された画像特徴抽出モデルを使用して組織表現型分類モデル訓練画像パッチから抽出される。いくつかの実施形態では、事前訓練された画像特徴抽出モデルは、人工ニューラルネットワーク(ANN)モデルを含む。ANNモデルは、例えば、畳み込みニューラルネットワーク(CNN)モデル又は任意の他のANNベースのモデルとすることができる。
【0015】
いくつかの実施形態では、画像特徴は、教師なし画像特徴抽出モデルを使用して組織表現型分類モデル訓練画像パッチから抽出される。いくつかの実施形態では、教師なし画像特徴抽出モデルは、オートエンコーダモデル又は敵対的生成ネットワーク(GAN)モデルを含む。
【0016】
いくつかの実施形態では、組織表現型分類モデル訓練画像パッチは、k平均クラスタリング法、階層クラスタリング法、混合モデル法、又はそれらの任意の組み合わせを使用してクラスタリングされる。
【0017】
いくつかの実施形態では、方法は、抽出された画像特徴の縮小表現に基づいて、組織表現型分類モデル訓練画像パッチをクラスタリングする前に、抽出された画像特徴に対して次元削減を実施することを更に含む。
【0018】
いくつかの実施形態では、遺伝子改変状態分類モデルは、複数の遺伝子改変状態分類モデル訓練画像パッチを使用して訓練され、各遺伝子改変状態分類モデル訓練画像パッチは、組織表現型クラス及び遺伝子改変状態でラベル付けされる。いくつかの実施形態では、組織サンプルについて判定された遺伝子改変状態は、バイナリ分類である。
【0019】
いくつかの実施形態では、方法は、判定された遺伝子改変状態をディスプレイデバイスに表示することを更に含む。いくつかの実施形態では、方法は、判定された遺伝子改変状態のレポートを生成することを更に含む。いくつかの実施形態では、コンピュータネットワークを介して医療提供者に判定された遺伝子改変状態のレポートを送信することを更に含む。いくつかの実施形態では、方法は、判定された遺伝子改変状態のレポートをインターネットを介して医療提供者に送信することを更に含む。
【0020】
いくつかの実施形態では、遺伝子改変状態分類モデルの出力が、組織サンプル中の少なくとも1つの遺伝子における変異の存在又は非存在の判定である。いくつかの実施形態では、遺伝子改変状態分類モデルの出力は、組織サンプルが少なくとも1つの遺伝子に変異を有する確率である。いくつかの実施形態では、遺伝子改変状態分類モデルの出力は、組織サンプルが少なくとも1つの遺伝子に変異を有さない確率である。いくつかの実施形態では、判定された遺伝子改変状態は、単一遺伝子内の点突然変異、挿入、欠失、又はそれらの任意の組み合わせに対応する。いくつかの実施形態では、判定された遺伝子改変状態は、少なくとも2つの遺伝子内の点変異、挿入、欠失、又はそれらの任意の組み合わせに対応する。
【0021】
いくつかの実施形態では、複数の組織表現型クラスは、1つ以上の腫瘍表現型クラス、1つ以上の正常表現型クラス、1つ以上の間質表現型クラス、1つ以上の免疫表現型クラス、1つ以上の壊死表現型クラス、又はそれらの任意の組み合わせを含む。
【0022】
いくつかの実施形態では、組織表現型分類モデル又は遺伝子改変状態分類モデルは、ニューラルネットワークである。いくつかの実施形態では、組織表現型分類モデル及び/又は遺伝子改変状態分類モデルは人工ニューラルネットワーク(ANN)である。ANNモデルは、例えば、畳み込みニューラルネットワーク(CNN)モデル又は任意の他のANNベースのモデルとすることができる。
【0023】
いくつかの実施形態では、1つ以上の病理画像は、がん組織サンプルの画像である。いくつかの実施形態では、がん組織サンプルは、肺がん組織サンプルである。いくつかの実施形態では、肺がん組織は、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、又は肺小細胞癌腫の組織である。
【0024】
いくつかの実施形態では、遺伝子改変状態は、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、BRCA1遺伝子、BRCA2遺伝子、erb-B2受容体チロシンキナーゼ2(ERBB2)遺伝子、B-Raf(BRAF)遺伝子、カーステンラット肉腫ウイルス(KRAS)がん遺伝子、METプロトオンコゲン、セリン/トレオニンキナーゼ11(STK11)遺伝子、組換え修復(HRR)経路遺伝子、又はそれらの任意の組み合わせにおける変異を含む。
【0025】
いくつかの実施形態では、方法は、対象から組織サンプルを得ることを更に含む。いくつかの実施形態では、方法は、組織サンプルを使用して病理スライドを調製することを更に含む。いくつかの実施形態では、病理スライドを撮像して、組織サンプルの1つ以上の病理画像を取得することを更に含む。いくつかの実施形態では、方法は、1つ以上の病理画像を前処理して、画像の非組織部分を除去し、画像パッチを抽出することを更に含む。
【0026】
いくつかの実施形態では、1つ以上の病理画像には以前に注釈が付けられている。いくつかの実施形態では、1つ以上の病理画像は、以前に注釈が付けられていない。いくつかの実施形態では、1つ以上の病理画像は、教師あり、半教師あり、又は教師なしの機械学習方法によって注釈付けされる。
【0027】
本明細書では、デバイスの1つ以上のプロセッサによって実行される1つ以上のコンピュータプログラム命令を含む非一時的コンピュータ可読記憶媒体も開示され、1つ以上のコンピュータプログラム命令は、1つ以上のプロセッサによって実行されると、デバイスに本明細書で開示される方法のいずれかを実施させる。
【0028】
1つ以上のプロセッサと、1つ以上のコンピュータプログラム命令を記憶するように構成されたメモリとを含むシステムであって、1つ以上のコンピュータプログラム命令が、1つ以上のプロセッサによって実行されると、組織サンプルの1つ以上の病理画像から導出された複数の画像パッチを組織表現型分類モデル(画像パッチを組織表現型クラスに分類するように構成された組織表現型分類モデル)に入力する;組織表現型分類モデルを使用して、画像パッチを分類して、組織サンプルについてのラベル付き画像パッチデータセットを生成する;ラベル付き画像パッチデータセットを遺伝子改変状態分類モデル(ラベル付き画像パッチデータセットに基づいて組織サンプルの遺伝子改変状態を判定するように構成された遺伝子改変状態分類モデル)に入力する;及び遺伝子改変状態分類モデルを使用して、組織サンプルの遺伝子改変状態を出力するように構成される、システムも本明細書で開示される。
【0029】
いくつかの実施形態では、組織表現型分類モデルは、複数の組織表現型分類モデル訓練画像パッチを使用して訓練され、各組織表現型分類モデル訓練画像パッチは、複数の組織表現型クラスから選択される組織表現型クラスでラベル付けされる。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチは、同じ組織タイプからの組織サンプルの病理画像に由来する。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチは、組織表現型クラスで手動でラベル付けされる。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチが、クラスタリングプロセスを使用してラベル付けされ、クラスタリングプロセスが、組織表現型分類モデル訓練画像パッチから画像特徴を抽出することと、抽出された画像特徴に基づいて組織表現型分類モデル訓練画像パッチをクラスタリングすることとを含む。いくつかの実施形態では、抽出された画像特徴クラスタに基づいて、組織表現型分類モデル訓練画像パッチにラベルが割り当てられる。
【0030】
いくつかの実施形態では、画像特徴は、事前訓練された特徴抽出モデルを使用して組織表現型分類モデル訓練画像パッチから抽出される。いくつかの実施形態では、事前訓練された画像特徴抽出モデルは、人工ニューラルネットワーク(ANN)を含む。ANNモデルは、例えば、畳み込みニューラルネットワーク(CNN)モデル又は任意の他のANNベースのモデルとすることができる。
【0031】
いくつかの実施形態では、画像特徴は、教師なし画像特徴抽出モデルを使用して組織表現型分類モデル訓練画像パッチから抽出される。いくつかの実施形態では、教師なし画像特徴抽出モデルは、オートエンコーダモデル又は敵対的生成ネットワーク(GAN)モデルを含む。
【0032】
いくつかの実施形態では、組織表現型分類モデル訓練画像パッチは、k平均クラスタリング法、階層クラスタリング法、混合モデル法、又はそれらの任意の組み合わせを使用してクラスタリングされる。
【0033】
いくつかの実施形態では、システム機能は、抽出された画像特徴の縮小表現に基づいて、組織表現型分類モデル訓練画像パッチをクラスタリングする前に、抽出された画像特徴に対して次元削減を実施することを更に含む。
【0034】
いくつかの実施形態では、遺伝子改変状態分類モデルは、複数の遺伝子改変状態分類モデル訓練画像パッチを使用して訓練され、各遺伝子改変状態分類モデル訓練画像パッチは、組織表現型クラス及び遺伝子改変状態でラベル付けされる。いくつかの実施形態では、組織サンプルについて判定された遺伝子改変状態は、バイナリ分類である。
【0035】
いくつかの実施形態では、システム機能は、判定された遺伝子改変状態をディスプレイデバイスに表示することを更に含む。いくつかの実施形態では、システム機能は、判定された遺伝子改変状態のレポートを生成することを更に含む。いくつかの実施形態では、システム機能は、コンピュータネットワークを介して医療提供者に判定された遺伝子改変状態のレポートを送信することを更に含む。いくつかの実施形態では、システム機能は、判定された遺伝子改変状態のレポートをインターネットを介して医療提供者に送信することを更に含む。
【0036】
いくつかの実施形態では、遺伝子改変状態分類モデルの出力が、組織サンプル中の少なくとも1つの遺伝子における変異の存在又は非存在の判定である。いくつかの実施形態では、遺伝子改変状態分類モデルの出力は、組織サンプルが少なくとも1つの遺伝子に変異を有する確率である。いくつかの実施形態では、遺伝子改変状態分類モデルの出力は、組織サンプルが少なくとも1つの遺伝子に変異を有さない確率である。いくつかの実施形態では、判定された遺伝子改変状態は、単一遺伝子内の点突然変異、挿入、欠失、又はそれらの任意の組み合わせに対応する。いくつかの実施形態では、判定された遺伝子改変状態は、少なくとも2つの遺伝子内の点変異、挿入、欠失、又はそれらの任意の組み合わせに対応する。
【0037】
いくつかの実施形態では、複数の組織表現型クラスは、1つ以上の腫瘍表現型クラス、1つ以上の正常表現型クラス、1つ以上の間質表現型クラス、1つ以上の免疫表現型クラス、1つ以上の壊死表現型クラス、又はそれらの任意の組み合わせを含む。
【0038】
いくつかの実施形態では、組織表現型分類モデル又は遺伝子改変状態分類モデルは、ニューラルネットワークである。いくつかの実施形態では、組織表現型分類モデル又は遺伝子改変状態分類モデルは人工ニューラルネットワーク(ANN)である。ANNモデルは、例えば、畳み込みニューラルネットワーク(CNN)モデル又は任意の他のANNベースのモデルとすることができる。
【0039】
いくつかの実施形態では、1つ以上の病理画像は、がん組織サンプルの画像である。いくつかの実施形態では、がん組織サンプルは、肺がん組織サンプルである。いくつかの実施形態では、肺がん組織は、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、又は肺小細胞癌腫の組織である。
【0040】
いくつかの実施形態では、遺伝子改変状態は、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、BRCA1遺伝子、BRCA2遺伝子、erb-B2受容体チロシンキナーゼ2(ERBB2)遺伝子、B-Raf(BRAF)遺伝子、カーステンラット肉腫ウイルス(KRAS)がん遺伝子、METプロトオンコゲン、セリン/トレオニンキナーゼ11(STK11)遺伝子、組換え修復(HRR)経路遺伝子、又はそれらの任意の組み合わせにおける変異を含む。
【0041】
がんを有する個体に対する処置を選択するための方法であって、本明細書に開示される方法のいずれかを使用して、個体からの組織サンプル中の目的の遺伝子の遺伝子改変状態を判定することと、判定された遺伝子改変状態に基づいて治療を選択することと、を含む方法が本明細書に開示される。
【0042】
いくつかの実施形態では、がんは、肺がんである。いくつかの実施形態では、肺がんは、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、又は肺小細胞癌腫である。
【0043】
いくつかの実施形態では、遺伝子改変状態は、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、RETがん遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、BRCA1遺伝子、BRCA2遺伝子、erb-B2受容体チロシンキナーゼ2(ERBB2)遺伝子、B-Raf(BRAF)遺伝子、カーステンラット肉腫ウイルス(KRAS)がん遺伝子、METプロトオンコゲン、セリン/トレオニンキナーゼ11(STK11)遺伝子、組換え修復(HRR)経路遺伝子、又はそれらの任意の組み合わせにおける変異を含む。
【0044】
また、本明細書に開示される方法のいずれかを使用して個体に対する治療を選択することと、個体に治療を投与することとを含む、がんを有する個体を治療する方法が本明細書に開示される。いくつかの実施形態では、遺伝子改変状態は、上皮成長因子受容体(EGFR)遺伝子における変異を含み、選択された治療は、キナーゼ阻害剤、小分子薬物、抗体若しくは抗体断片、又はEGFR活性を阻害する細胞免疫療法を含む。いくつかの実施形態では、選択された治療は、キナーゼ阻害剤を含み、キナーゼ阻害剤は、多重特異性キナーゼ阻害剤、特異的キナーゼ阻害剤、特異的チロシンキナーゼ阻害剤、特異的EGFR阻害剤、又は二重EGFR/ERBB阻害剤を含む。いくつかの実施形態では、遺伝子改変状態は、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子における変異を含み、選択された治療が、ALK活性を阻害する特異的キナーゼ阻害剤を含む。いくつかの実施形態では、特異的キナーゼ阻害剤は、クリゾチニブ、アレクチニブ(AF802、CH5424802)、セリチニブ、ロラチニブ、ブリガチニブ、エンザルチニブ(X-396)、レポトレクチニブ(TPX-005)、エントレクチニブ(RXDX-101)、AZD3463、CEP-37440、ベリザチニブ(TSR-011)、ASP3026、KRCA-0008、TQ-B3139、TPX-0131及びTAE684(NVP-TAE684)のうちの1つ以上を含む。いくつかの実施形態では、遺伝子改変状態は、受容体チロシンキナーゼ(ROS1)がん遺伝子における変異を含み、選択された治療が、ROS1活性を阻害する特異的キナーゼ阻害剤を含む。いくつかの実施形態では、特異的キナーゼ阻害剤は、エントレクチニブ(RXDX-101、NMS-E628)である。いくつかの実施形態では、遺伝子改変状態は、受容体チロシンキナーゼ(RET)がん遺伝子における変異を含み、選択された治療が、RET活性を阻害する特異的キナーゼ阻害剤を含む。いくつかの実施形態では、特異的キナーゼ阻害剤は、セルペルカチニブ、プラルセチニブ、TPX-0046、又はそれらの任意の組み合わせである。いくつかの実施形態では、遺伝子改変状態が、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子における変異を含み、選択された治療は、NTRK活性を阻害する特異的NTRK阻害剤を含む。いくつかの実施形態では、特異的NTRK阻害剤は、ラロトレクチニブ、エントレクチニブ、LOXO-195、ダンセルチブ(PHA-739358)、レスタウルチニブ、AZ-23、PHA-848125、CEP-2563、K252a、KRC-108、又はそれらの任意の組み合わせを含む。いくつかの実施形態では、遺伝子改変状態は、相同組換え修復(HRR)経路遺伝子における変異を含み、選択された治療は、白金ベースの化学療法又は変異HRR経路タンパク質の活性を阻害するポリADPリボースポリメラーゼ(PARP)阻害剤を含む。いくつかの実施形態では、ポリ-ADPリボースポリメラーゼ(PARP)阻害剤が、オラパリブ、ニラパリブ、ルカパリブ、又はそれらの任意の組み合わせを含む。
【0045】
組織サンプル中の遺伝子改変状態を判定するための方法であって、1つ以上のプロセッサを使用して、組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、1つ以上のプロセッサ及び組織表現型分類モデルを使用して、画像パッチを分類し、複数の画像パッチから画像特徴を抽出することによって、組織サンプルの1つ以上の組織表現型クラスに対応するラベル付き画像パッチデータセットを生成することと、抽出された画像特徴に基づいて複数の画像パッチをクラスタリングすることと、複数の画像パッチを、それらが属する抽出された画像特徴クラスタに基づいてラベル付けすることとを含む、方法が本明細書に開示される。いくつかの実施形態では、1つ以上の組織表現型クラスの各々は、1つ以上の抽出された画像特徴クラスタに対応する。いくつかの実施形態では、1つ以上のプロセッサを使用して、ラベル付き画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、遺伝子改変状態分類モデルが、ラベル付き画像パッチデータセットに基づいて組織サンプルの遺伝子可変状態を判定するように構成される、ラベル付き画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、1つ以上のプロセッサ及び遺伝子改変状態分類モデルを使用して、組織サンプルの遺伝子改変状態を出力することと、を更に含む。
【0046】
本明細書に開示される方法のいずれかのいくつかの実施形態では、方法は、判定された遺伝子改変状態に基づいて1つ以上の追加の処置を実施することを更に含み得る。いくつかの実施形態では、1つ以上の追加の処置は、1つ以上の追加の診断試験を含む。いくつかの実施形態では、1つ以上の追加の診断検査は、疾患の診断を確定するために使用される。いくつかの実施形態では、疾患はがんである。いくつかの実施形態では、1つ以上の追加の処置は、がんを有する個体に対する治療を選択すること、開始すること、調整すること、又は中止することを含む。いくつかの実施形態では、1つ以上の追加の処置は、がんを有する個体を治療することを含む。いくつかの実施形態では、1つ以上の処置は、1つ以上のゲノムプロファイリングアッセイを実施することを含む。いくつかの実施形態では、1つ以上のゲノムプロファイリングアッセイは、がんを有する個体におけるがんの治療を選択するため、又はがんの進行をモニタリングするために使用される。いくつかの実施形態では、1つ以上のゲノムプロファイルアッセイを実施することは、組織サンプルが由来する患者から核酸サンプルを得ることと、分子プロファイリング試験を実施するために核酸を配列決定することとを含む。いくつかの実施形態では核酸サンプルは、デオキシリボ核酸(DNA)サンプル又はリボ核酸(RNA)サンプルを含む。いくつかの実施形態では、デオキシリボ核酸(DNA)サンプルは、組織由来DNA、無細胞DNA(cfDNA)、循環腫瘍DNA(ctDNA)又はミトコンドリアDNAを含む。いくつかの実施形態では、リボ核酸(RNA)サンプルは、メッセンジャーRNA(mRNA)、リボソームRNA(rRNA)、転移RNA(tRNA)、又はミトコンドリアRNAを含む。いくつかの実施形態では、核酸サンプルは、患者からの組織サンプル、血液サンプル、尿サンプル、唾液サンプル、生検サンプル、又は液体生検サンプルに由来する。いくつかの実施形態では、分子プロファイリング試験は、包括的ゲノムプロファイリング(CGP)試験、遺伝子発現プロファイリング試験、がんホットスポットパネル試験、DNAメチル化試験、DNA断片化試験、RNA断片化試験、又はそれらの任意の組み合わせを含む。いくつかの実施形態では、分子プロファイリングティートの結果は、がんを有する個体に対する治療を選択、開始、調整、又は中止するために使用される。いくつかの実施形態では、方法は、がんを有する個体を治療することを更に含む。いくつかの実施形態では、方法は、分子プロファイリング試験の結果をディスプレイデバイスに表示することを更に含む。いくつかの実施形態では、方法は、分子プロファイリング試験のためのレポートを生成することを更に含む。いくつかの実施形態では、方法は、コンピュータネットワークを介して医療提供者に分子プロファイリング試験のためのレポートを送信することを更に含む。いくつかの実施形態では、方法は、分子プロファイリング試験のためのレポートをインターネットを介して医療提供者に送信することを更に含む。いくつかの実施形態では、1つ以上の追加の処置は、フォローアップスクリーニング試験を実施することを含む。いくつかの実施形態では、フォローアップスクリーニング試験は結腸鏡検査を含む。いくつかの実施形態では、フォローアップの大腸内視鏡検査は、判定された遺伝子改変状態の結果として、より頻繁な間隔で行われる。
【0047】
コンピュータ実装方法であって、対象からの生体サンプルの特定の部分を描写するデジタル病理画像にアクセスすることを含み、描写された特定の部分が1つ以上の染色で染色された、対象からの生体サンプルの特定の部分を描写するデジタル病理画像にアクセスすることと、デジタル病理画像を複数の画像パッチにセグメント化することと、画像パッチが腫瘍領域又は腫瘍ネスト構造の描写を含むという判定に基づいて、複数の画像パッチの各々を分類することと、デジタル病理画像が、描写された腫瘍学的な細胞に関して遺伝子融合の発生の描写を含むという判定に基づいて、デジタル病理画像の各画像パッチに対して生成されたラベルの重みづけされた組み合わせに基づいてデジタル病理画像を分類することと、デジタル病理画像の分類に基づいてデジタル病理画像から対象予測を生成することであって、対象予測が、描写された腫瘍学的な細胞に対する応答を伴う遺伝子融合の発生に基づいて対象に対する1つ以上の治療レジメンの適用可能性の予測に対応する、デジタル病理画像から対象予測を生成することと、対象予測を出力することと、を含む、コンピュータ実装方法が本明細書に開示される。
【0048】
いくつかの実施形態では、コンピュータ実装方法は、デジタル病理画像が、遺伝子融合の発生又は1つ以上の治療レジメンの適用性と相互に排他的な1つ以上の変異の描写を含むという判定に基づいて、デジタル病理画像を分類することを更に含む。いくつかの実施形態では、コンピュータ実装方法は、腫瘍領域形態に基づいて複数の画像パッチの各々を分類することを更に含み、腫瘍領域形態が、領域に描写される1つ以上の印環細胞、1つ以上の肝様細胞、細胞外ムチン、腫瘍遺伝子変異量、腫瘍成長パターン、又は腫瘍不均質性の分析に対応する。いくつかの実施形態では、コンピュータ実装方法は、複数の画像パッチの各々を分類するために1つ以上の機械学習モデルを訓練することを更に含み、1つ以上の機械学習モデルが、腫瘍領域又は腫瘍ネスト構造の1つ以上のラベル付き描写と、腫瘍領域又は腫瘍ネスト構造を含まない1つ以上のラベル付き描写とを含む訓練データのセットに基づいて訓練される。いくつかの実施形態では、対象予測は、更に、対象からの生体サンプルの第2の特定のサンプルを描写する1つ以上の第2デジタル病理画像の各々の1つ以上の第2の分類を組み合わせることに基づいて生成される。いくつかの実施形態では、対象予測を出力することは、デジタル病理画像の各画像パッチに対して生成されたラベルの表示と、デジタル病理画像の各画像パッチに対するラベルの予測信頼度とを含むデジタル病理画像のグラフィック表現を出力することを含む。いくつかの実施形態では、対象予測を出力することは、1つ以上の治療レジメンの使用に関連する推奨を出力することを含む。
【0049】
また、方法であって、クライアントコンピューティングシステムから遠隔コンピューティングシステムに、患者からの生体サンプルの特定の部分を描写するデジタル病理画像を処理するための要求通信を送信することであって、クライアントコンピューティングシステムからの要求通信の受信に応答して、遠隔コンピューティングシステムが、患者からの生体サンプルの特定の部分を描写するデジタル病理画像にアクセスすることを含む動作を実施し、描写された特定の部分は1つ以上の染色で染色されていた、患者からの生体サンプルの特定の部分を描写するデジタル病理画像を処理するための要求通信を送信することと、デジタル病理画像を複数の画像パッチにセグメント化すことと、画像パッチが腫瘍領域又は腫瘍ネスト構造の描写を含むという判定に基づいて、複数の画像パッチの各々を分類することと、デジタル病理画像が、描写された腫瘍学的な細胞に関する遺伝子融合の発生の描写を含むという判定に基づいて、デジタル病理画像の各画像パッチに対して生成されたラベルの重みづけされた組み合わせに基づいてデジタル病理画像を分類することと、デジタル病理画像の分類に基づいて、デジタル病理画像から対象予測を生成することであって、対象予測が、描写された腫瘍学的な細胞に対する応答を伴う遺伝子融合の発生に基づいて対象に対する1つ以上の治療レジメンの適用可能性の予測に対応する、デジタル病理画像から対象予測を生成することと、応答通信を介してクライアントコンピューティングシステムに対象予測を提供することと、クライアントコンピューティングシステムによって、応答通信の受信に応答して、対象予測を出力することと、を含む方法が、本明細書に開示される。
【0050】
本明細書で開示されるシステムは、1つ以上のデータプロセッサと、1つ以上のデータプロセッサによって実行されると、1つ以上のデータプロセッサに、本明細書に開示されている1つ以上の方法の一部又は全部を実施させる命令を含むコンピュータ可読非一時的記憶媒体とを含む。
【0051】
本明細書では、1つ以上のデータプロセッサに、本明細書で開示される1つ以上の方法の一部又は全部を実施させるように構成された命令を含む、コンピュータ可読非一時的記憶媒体に有形に具現化された、コンピュータプログラム製品が開示される。
【0052】
また、方法であって、デジタル病理画像処理システムにより、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスすることと、デジタル病理画像を複数の画像パッチにセグメント化することと、複数の画像パッチの各々について、画像パッチが腫瘍領域を描写しているか腫瘍ネスト構造を描写しているかを示すラベルを生成することと、各画像パッチに対して生成されたラベルに基づいて、デジタル病理画像が、がん細胞に対する遺伝子融合の発生の描写を含むと判定することと、がん細胞に対する遺伝子融合の発生に基づいて、対象の対象予測を生成することと、を含み、対象予測が、対象に対する1つ以上の治療レジメンの適用可能性の予測を含む、方法が本明細書に開示される。
【0053】
いくつかの実施形態では、方法は、複数の画像パッチの各々から1つ以上の特徴を検出することを更に含み、1つ以上の特徴が、臨床的特徴又は組織学的特徴のうちの1つ以上を含み、複数の画像パッチの各々に対するラベルを生成することが、1つ以上の特徴に基づく。いくつかの実施形態では、複数の画像パッチの各々についてラベルを生成することは、腫瘍形態に基づき、腫瘍形態が、印環細胞の存在、印環細胞の数、肝様細胞の存在、肝様細胞の数、細胞外ムチン、腫瘍成長パターン、又は腫瘍不均質性のうちの1つ以上の分析に基づく。いくつかの実施形態では、複数の画像パッチの各々に対するラベルを生成することは、1つ以上機械学習モデルに基づき、方法が、腫瘍領域又は腫瘍ネスト構造の1つ以上のラベル付き描写及び他の組織学的又は臨床的特徴の1つ以上のラベル付き描写を含む複数の訓練データに基づいて1つ以上の機械学習モデルを訓練することを更に含む。いくつかの実施形態では、対象予測は、1つ以上の追加のデジタル病理画像の分析に更に基づいて生成され、1つ以上の追加のデジタル病理画像のそれぞれは、対象からの生体サンプルの追加の特定のサンプルを描写し、分析は、1つ以上の追加のデジタル病理画像のそれぞれが、がん細胞に関して遺伝子融合の発生の描写を含むかどうかを判定することと、1つ以上の追加のデジタル病理画像の各々について判定を組み合わせることと、を含む。いくつかの実施形態では、方法は、グラフィカルユーザインターフェースを介して、対象予測を出力することを更に含み、グラフィカルユーザインターフェースが、デジタル病理画像のグラフィック表現を含み、グラフィック表現が、複数の画像パッチの各々に対して生成されたラベルの表示、及びそれぞれのラベルに関連する予測信頼度を含む。いくつかの実施形態では、方法は、1つ以上の治療レジメンの使用に関連する推奨を生成することを更に含む。いくつかの実施形態では、生体サンプルの特定の部分は、1つ以上複数の染色で染色されていた。いくつかの実施形態では、デジタル病理画像が、がん細胞に対する遺伝子融合の発生の描写を含むと判定することは、各画像パッチに対して生成されたラベルの重みづけされた組み合わせに更に基づく。いくつかの実施形態では、方法は、デジタル病理画像から核多形性を識別することと、識別された核多形性を測定することと、を含み、デジタル病理画像が遺伝子融合の発生の描写を含むと判定することは、更に、測定された核多形性に基づく。
【0054】
ソフトウェアを具現化する1つ以上のコンピュータ可読非一時的記憶媒体であって、ソフトウェアは、実行されると、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスするように;デジタル病理画像を複数の画像パッチにセグメント化するように;複数の画像パッチの各々について、画像パッチが腫瘍領域を描写しているか腫瘍入ネスト構造を描写しているかを示すラベルを生成するように;各画像パッチに対して生成されたラベルに基づいて、デジタル病理画像が、がん細胞に関して遺伝子融合の発生の描写を含むと判定するように;がん細胞に対する遺伝子融合の発生に基づいて、対象についての対象予測を生成するように、動作可能であり、対象予測が、対象についての1つ以上の治療レジメンの適用可能性の予測を含む、ソフトウェアを具現化する1つ以上のコンピュータ可読非一時的記憶媒体が本明細書に開示される。
【0055】
いくつかの実施形態では、ソフトウェアは、実行されると、複数の画像パッチの各々から1つ以上の特徴を検出するように更に動作可能であり、1つ以上の特徴が、臨床的特徴、組織学的特徴、又は細胞型のうちの1つ以上を含み、複数の画像パッチの各々に対するラベルを生成することが、1つ以上の特徴に基づく。いくつかの実施形態では、複数の画像パッチの各々についてラベルを生成することは、腫瘍形態に基づき、腫瘍形態は、印環細胞、肝様細胞、細胞外ムチン、腫瘍遺伝子変異量、腫瘍成長パターン、又は腫瘍不均質性のうちの1つ以上の分析に基づく。いくつかの実施形態では、複数の画像パッチの各々に対するラベルを生成することは、1つ以上の機械学習モデルに基づき、方法が、腫瘍領域又は腫瘍ネスト構造の1つ以上のラベル付き描写と、腫瘍領域又は腫瘍ネスト構造を含まない1つ以上のラベル付き描写とを含む複数の訓練データに基づいて1つ以上の機械学習モデルを訓練することを更に含む。
【0056】
システムであって、1つ以上のプロセッサと、プロセッサによって実行可能な命令を含む、プロセッサに結合された非一時的メモリと、を含み、プロセッサは、命令を実行すると、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスするように;デジタル病理画像を複数の画像パッチにセグメント化するように;複数の画像パッチの各々について、画像パッチが腫瘍領域を描写しているか腫瘍ネスト構造を描写しているかを示すラベルを生成するように;各画像パッチに対して生成されたラベルに基づいて、デジタル病理画像が、がん細胞に関して遺伝子融合の発生の描写を含むと判定するように;がん細胞に対する遺伝子融合の発生に基づいて、対象についての対象予測を生成するように動作可能であり、対象予測が、対象についての1つ以上の治療レジメンの適用可能性の予測を含む、システムが本明細書に開示される。
【0057】
いくつかの実施形態では、プロセッサは、命令を実行するときに、複数の画像パッチの各々から1つ以上の特徴を検出するように更に動作可能であり、1つ以上の特徴が、臨床的特徴、組織学的特徴、又は細胞型のうちの1つ以上を含み、複数の画像パッチの各々に対するラベルを生成することが、1つ以上の特徴に基づく。いくつかの実施形態では、複数の画像パッチの各々についてラベルを生成することは、腫瘍形態に基づき、腫瘍形態は、印環細胞、肝様細胞、細胞外ムチン、腫瘍遺伝子変異量、腫瘍成長パターン、又は腫瘍不均質性のうちの1つ以上の分析に基づく。いくつかの実施形態では、複数の画像パッチの各々に対するラベルを生成することは、1つ以上の機械学習モデルに基づき、方法が、腫瘍領域又は腫瘍ネスト構造の1つ以上のラベル付き描写と、腫瘍領域又は腫瘍ネスト構造を含まない1つ以上のラベル付き描写とを含む複数の訓練データに基づいて1つ以上の機械学習モデルを訓練することを更に含む。
【0058】
方法であって、クライアントコンピューティングシステムから遠隔コンピューティングシステムに、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像を処理するための要求通信を送信することであって、クライアントコンピューティングシステムから要求通信を受信することに応答して、遠隔コンピューティングシステムが、デジタル病理画像にアクセスすることを含む動作を実施する、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像を処理するための要求通信を送信することと、デジタル病理画像を複数の画像パッチにセグメント化することと、複数の画像パッチの各々について、画像パッチが腫瘍領域を描写しているか腫瘍ネスト構造を描写しているかを示すラベルを生成することと、各画像パッチに対して生成されたラベルに基づいて、デジタル病理画像が、がん細胞に関して遺伝子融合の発生の描写を含むと判定することと、がん細胞に対する遺伝子融合の発生に基づいて、対象についての対象予測を生成することであって、対象予測が、対象についての1つ以上の治療レジメンの適用可能性の予測を含む、対象についての対象予測を生成することと、応答通信を介してクライアントコンピューティングシステムに対象予測を提供することと、クライアントコンピューティングシステムによって、応答通信の受信に応答して、対象予測を出力するステップと、を含む方法が本明細書に開示される。
【0059】
方法であって、デジタル病理画像処理システムによって、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスすることと、デジタル病理画像が、遺伝子融合の発生と相互に排他的である1つ以上の変異の描写を含むと判定することと、がん細胞に関して遺伝子融合の非存在を判定することと、がん細胞に関する遺伝子融合の非存在に基づいて、対象についての対象予測を生成することと、を含み、対象予測が、対象対して1つ以上の治療レジメンの適用可能性の予測を含む、方法が本明細書に開示される。
【0060】
組織サンプルの1つ以上の病理画像を特徴付けるための方法であって、1つ以上のプロセッサを使用して、組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力すること、1つ以上のプロセッサ及び組織表現型分類モデルを使用して、(i)画像特徴抽出モデルを用いて複数の画像パッチの画像パッチから画像特徴を抽出すること、(ii)抽出された画像特徴に基づいて、複数の画像パッチのうちの画像パッチを関連する画像パッチクラスタに割り当てること、(iii)複数の画像パッチの画像パッチを、それらが属する関連する画像パッチクラスタに基づいてラベリングすること、に基づいて、画像パッチを分類して、組織サンプルを特徴付けるラベル付き画像パッチデータセットを生成することと、を含む組織サンプルの1つ以上の病理画像を特徴付けるための方法が本明細書に開示される。
【0061】
いくつかの実施形態では、組織表現型クラスは、1つ以上の画像パッチクラスタに対応し、各画像パッチクラスタは、抽出された画像特徴クラスタに関連付けられる。いくつかの実施形態では、画像特徴抽出モデルは、教師なし画像特徴抽出モデルを含む。いくつかの実施形態では、抽出された画像特徴は、1つ以上の病理画像では直接見えない潜像特徴を含む。いくつかの実施形態では、1つ以上のプロセッサを使用して、ラベル付き画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、遺伝子改変状態分類モデルが、ラベル付き画像パッチデータセットに基づいて組織サンプルの遺伝子可変状態を判定するように構成される、ラベル付き画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、1つ以上のプロセッサ及び遺伝子改変状態分類モデルを使用して、組織サンプルの遺伝子改変状態を出力することと、を更に含む。いくつかの実施形態では、組織表現型分類モデルは、複数の組織表現型分類モデル訓練画像パッチを使用して訓練され、各組織表現型分類モデル訓練画像パッチは、複数の組織表現型クラスから選択される組織表現型クラスでラベル付けされる。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチは、クラスタリングプロセスを使用してラベル付けされ、関連する画像パッチクラスタを生成し、クラスタリングプロセスは、組織表現型分類モデル訓練画像パッチから画像特徴を抽出することと、抽出された画像特徴に基づいて組織表現型分類モデル訓練画像パッチをクラスタリングすることとを含む。いくつかの実施形態では、抽出された画像特徴クラスタに基づいて、組織表現型分類モデル訓練画像パッチにラベルが割り当てられる。いくつかの実施形態では、遺伝子改変状態分類モデルは、複数の遺伝子改変状態分類モデル訓練画像パッチを使用して訓練され、各遺伝子改変状態分類モデル訓練画像パッチは、組織表現型クラス及び遺伝子改変状態でラベル付けされる。いくつかの実施形態では、判定された遺伝子改変状態は、1つ以上の遺伝子における点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、相同組換え欠損変異、又はそれらの任意の組み合わせに対応する。
【0062】
また、組織サンプル中の遺伝子改変状態を判定するための方法であって、1つ以上のプロセッサを使用して、組織サンプルの1つ以上の病理画像から導出される複数の画像パッチを組織表現型分類モデルに入力することであって、組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、入力することと、1つ以上のプロセッサ及び組織表現型分類モデルを使用して、画像パッチを分類して、組織サンプルについてラベル付き画像パッチデータセットを生成することと、1つ以上のプロセッサを使用して、ラベル付き画像パッチデータセットを遺伝子改変状態分類モデルに入力ことであって、遺伝子改変状態分類モデルが、ラベル付き画像パッチデータセットに基づいて組織サンプルの遺伝子改変状態を判定するように構成される、入力することと、1つ以上のプロセッサ及び遺伝子改変状態分類モデルを使用して、組織サンプルの遺伝子改変状態を出力することと、を含む、組織サンプル中の1つ以上の遺伝子改変状態を判定するための方法が本明細書に記載される。
【0063】
いくつかの実施形態では、遺伝子改変状態分類モデルは、組織サンプル中の1つ以上の遺伝子についての遺伝子改変状態を判定するように構成される。いくつかの実施形態では、遺伝子改変状態分類モデルは、組織サンプル中の複数の遺伝子における突然変異を含む遺伝子シグネチャについての遺伝子改変状態を判定するように構成される。いくつかの実施形態では、方法は、判定された遺伝子改変状態のレポートを生成すること、又は医療提供者に送信することを更に含む。いくつかの実施形態では、組織表現型分類モデルは、複数の組織表現型分類モデル訓練画像パッチを使用して訓練され、各組織表現型分類モデル訓練画像パッチは、複数の組織表現型クラスから選択される組織表現型クラスでラベル付けされる。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチが、クラスタリングプロセスを使用してラベル付けされ、クラスタリングプロセスが、組織表現型分類モデル訓練画像パッチから画像特徴を抽出することと、抽出された画像特徴に基づいて組織表現型分類モデル訓練画像パッチをクラスタリングすることとを含む。いくつかの実施形態では、抽出された画像特徴クラスタに基づいて、組織表現型分類モデル訓練画像パッチにラベルが割り当てられる。いくつかの実施形態では、画像特徴は、事前訓練された画像特徴抽出モデル又は教師なし画像特徴抽出モデルを使用して、組織表現型分類モデル訓練画像パッチから抽出される。いくつかの実施形態では、遺伝子改変状態分類モデルは、複数の遺伝子改変状態分類モデル訓練画像パッチを使用して訓練され、各遺伝子改変状態分類モデル訓練画像パッチは、組織表現型クラス及び遺伝子改変状態でラベル付けされる。いくつかの実施形態では、遺伝子改変状態分類モデルの出力が、組織サンプル中の少なくとも1つの遺伝子における変異の存在又は非存在の判定である。いくつかの実施形態では、遺伝子改変状態分類モデルの出力は、組織サンプルが少なくとも1つの遺伝子に変異を有する確率である。いくつかの実施形態では、判定された遺伝子改変状態は、1つ以上の遺伝子における点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、相同組換え欠損変異、又はそれらの任意の組み合わせに対応する。いくつかの実施形態では、複数の組織表現型クラスは、1つ以上の腫瘍表現型クラス、1つ以上の正常表現型クラス、1つ以上の間質表現型クラス、1つ以上の免疫表現型クラス、1つ以上の壊死表現型クラス、又はそれらの任意の組み合わせを含む。いくつかの実施形態では、1つ以上の病理画像は、がん組織サンプルの画像である。いくつかの実施形態では、がん性組織サンプルは、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、又は肺小細胞癌腫の組織サンプルである。いくつかの実施形態では、遺伝子改変状態は、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、BRCA1遺伝子、BRCA2遺伝子、erb-B2受容体チロシンキナーゼ2(ERBB2)遺伝子、B-Raf(BRAF)遺伝子、カーステンラット肉腫ウイルス(KRAS)がん遺伝子、METプロトオンコゲン、セリン/トレオニンキナーゼ11(STK11)遺伝子、組換え修復(HRR)経路遺伝子、又はそれらの任意の組み合わせにおける変異を含む。いくつかの実施形態では、方法は、判定された遺伝子改変状態に基づいて1つ以上の追加の診断試験処置を行う工程を更に含む。
【0064】
がんを有する個体に対する処置を選択するための方法であって、本明細書に記載される方法のいずれかを使用して、個体からの組織サンプル中の目的の遺伝子の遺伝子改変状態を判定することと、判定された遺伝子改変状態に基づいて治療を選択することと、を含む方法が本明細書に開示される。
【0065】
いくつかの実施形態では、がんは、肺がんである。いくつかの実施形態では、がんは、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、又は肺小細胞癌腫である。いくつかの実施形態では、方法は、個体に治療を投与することを更に含む。いくつかの実施形態では、遺伝子改変状態は、上皮成長因子受容体(EGFR)遺伝子における変異を含み、選択された治療は、キナーゼ阻害剤、小分子薬物、抗体若しくは抗体断片、又はEGFR活性を阻害する細胞免疫療法を含む。いくつかの実施形態では、選択された治療は、キナーゼ阻害剤を含み、キナーゼ阻害剤は、多重特異性キナーゼ阻害剤、特異的キナーゼ阻害剤、特異的チロシンキナーゼ阻害剤、特異的EGFR阻害剤、又は二重EGFR/ERBB阻害剤を含む。
【0066】
いくつかの実施形態では、遺伝子改変状態は、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子における変異を含み、選択された治療が、ALK活性を阻害する特異的キナーゼ阻害剤を含む。いくつかの実施形態では、特異的キナーゼ阻害剤は、クリゾチニブ、アレクチニブ(AF802、CH5424802)、セリチニブ、ロラチニブ、ブリガチニブ、エンザルチニブ(X-396)、レポトレクチニブ(TPX-005)、エントレクチニブ(RXDX-101)、AZD3463、CEP-37440、ベリザチニブ(TSR-011)、ASP3026、KRCA-0008、TQ-B3139、TPX-0131及びTAE684(NVP-TAE684)のうちの1つ以上を含む。
【0067】
いくつかの実施形態では、遺伝子改変状態は、受容体チロシンキナーゼ(ROS1)がん遺伝子における変異を含み、選択された治療が、ROS1活性を阻害する特異的キナーゼ阻害剤を含む。いくつかの実施形態では、特異的キナーゼ阻害剤は、エントレクチニブ(RXDX-101、NMS-E628)である。
【0068】
いくつかの実施形態では、遺伝子改変状態は、受容体チロシンキナーゼ(RET)がん遺伝子における変異を含み、選択された治療が、RET活性を阻害する特異的キナーゼ阻害剤を含む。いくつかの実施形態では、特異的キナーゼ阻害剤は、セルペルカチニブ、プラルセチニブ、TPX-0046、又はそれらの任意の組み合わせである。
【0069】
いくつかの実施形態では、遺伝子改変状態が、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子における変異を含み、選択された治療は、NTRK活性を阻害する特異的NTRK阻害剤を含む。いくつかの実施形態では、特異的NTRK阻害剤は、ラロトレクチニブ、エントレクチニブ、LOXO-195、ダンセルチブ(PHA-739358)、レスタウルチニブ、AZ-23、PHA-848125、CEP-2563、K252a、KRC-108、又はそれらの任意の組み合わせを含む。
【0070】
いくつかの実施形態では、遺伝子改変状態は、相同組換え修復(HRR)経路遺伝子における変異を含み、選択された治療は、白金ベースの化学療法又は変異HRR経路タンパク質の活性を阻害するポリADPリボースポリメラーゼ(PARP)阻害剤を含む。いくつかの実施形態では、ポリ-ADPリボースポリメラーゼ(PARP)阻害剤が、オラパリブ、ニラパリブ、ルカパリブ、又はそれらの任意の組み合わせを含む。
【0071】
本明細書では、デバイスの1つ以上のプロセッサによって実行される1つ以上のコンピュータプログラム命令を含む非一時的コンピュータ可読記憶媒体も開示され、1つ以上のコンピュータプログラム命令は、1つ以上のプロセッサによって実行されると、デバイスに本明細書に記載される方法のいずれかを実施させる。
【0072】
1つ以上のプロセッサと、1つ以上のコンピュータプログラム命令を記憶するように構成されたメモリとを含み、1つ以上のコンピュータプログラム命令は、1つ以上のプロセッサによって実行されると、システムに本明細書に記載の方法のいずれかを実施させるように構成される、システムが本明細書で開示される。
【0073】
方法であって、1つ以上のプロセッサを使用して、組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、1つ以上のプロセッサ及び組織表現型分類モデルを使用して、画像パッチを分類して、組織サンプルのラベル付き画像パッチデータセットを生成することと、1つ以上のプロセッサを使用して、ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、遺伝子改変状態分類モデルが、ラベル付けされた画像パッチデータセットに基づいて組織サンプルの遺伝子改変状態を判定するように構成される、ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、組織サンプルの遺伝子改変状態に基づいて、1つ以上のプロセッサ及び遺伝子改変状態分類モデルを使用して、固体生検ベースのアッセイを使用して組織サンプルを分析することができるかどうかを判定することとを含む、方法が本明細書に開示される。
【0074】
いくつかの実施形態では、固体生検に基づくアッセイが組織サンプルを分析することができると判定された場合、方法は、組織サンプルの固体生検に基づくアッセイを実施することを更に含む。いくつかの実施形態では、固体生検に基づくアッセイが組織サンプルを分析することができないという判定がなされたときに、液体生検に基づくアッセイに反映され、方法は、個体から液体生検サンプルを得ることと、液体生検サンプルに対して液体生検ベースのアッセイを実施することとを含む。いくつかの実施形態では、組織サンプル及び液体生検サンプルは同じ個体から得られる。いくつかの実施形態では、液体生検サンプルは、血液、血漿、脳脊髄液、痰、便、尿、又は唾液を含む。いくつかの実施形態では、液体生検サンプルは循環腫瘍細胞(CTC)を含む。いくつかの実施形態では、液体生検サンプルは、無細胞DNA(cfDNA)、循環腫瘍DNA(ctDNA)、又はそれらの任意の組み合わせを含む。いくつかの実施形態では、固体生検に基づくアッセイ又は液体生検に基づくアッセイは、組織サンプルが得られたのと同じ個体から得られた固体生検サンプル又は液体生検サンプルから抽出された複数の核酸分子を提供することと、1つ以上のアダプターを複数の核酸分子からの1つ以上の核酸分子上にライゲーションすることと、複数の核酸分子から1つ以上のライゲーションされた核酸分子を増幅することと、増幅された核酸分子から増幅された核酸分子を捕捉することと、シーケンサーによって、捕捉された核酸分子を配列決定して、捕捉された核酸分子を表す複数の配列リードを得ることと、1つ以上のプロセッサにおいて、複数の配列リードの配列リードデータを受信することと、1つ以上のプロセッサを使用して、配列リードデータに基づいて固体生検サンプル又は液体生検サンプル中の遺伝子改変状態を検出することとを含む。いくつかの実施形態では、複数の配列決定リードうちの1つ以上は、固体生検サンプル又は液体生検サンプルにおけるサブゲノム区間内で1つ位以上遺伝子座と重複する。いくつかの実施形態では、複数の核酸分子は、腫瘍核酸分子と非腫瘍核酸分子との混合物を含む。いくつかの実施形態では、腫瘍核酸分子は、不均質固体生検サンプルの腫瘍部分に由来し、かつ非腫瘍核酸分子は、不均質固体生検サンプルの正常部分に由来する。いくつかの実施形態では、サンプルは、液体生検サンプルを含み、腫瘍核酸分子は、液体生検サンプルの循環腫瘍DNA(ctDNA)画分に由来し、非腫瘍核酸分子は液体生検サンプルの非腫瘍無細胞DNA(cfDNA)画分に由来する。いくつかの実施形態では、1つ以上のアダプターは、増幅プライマー、フローセルアダプター配列、基質アダプター配列、又はサンプルインデックス配列を含む。いくつかの実施形態では、捕捉された核酸分子は、1つ以上のベイト分子へのハイブリダイゼーションによって増幅された核酸分子から捕捉される。いくつかの実施形態では、1つ以上のベイト分子が、1つ以上の核酸分子を含み、各核酸分子が、捕捉された核酸分子の領域に相補的な領域を含む。いくつかの実施形態では、核酸分子を増幅することは、ポリメラーゼ連鎖反応(PCR)増幅技術、非PCR増幅技術、又は等温増幅技術を実施することを含む。いくつかの実施形態では、配列決定は、超並列配列決定(MPS)技術、全ゲノム配列決定(WGS)、全エクソーム配列決定、標的配列決定、直接配列決定、又はサンガー配列決定技術の使用を含む。いくつかの実施形態では、配列決定は、超並列配列決定を含み、超並列配列決定技術は、次世代シーケンシング(NGS)を含む。いくつかの実施形態では、配列決定は、次世代シーケンサーを含む。いくつかの実施形態では、方法は、1つ以上のプロセッサによって、固体生検又は液体生検サンプル中の遺伝子改変状態の存在又は非存在を示すレポートを生成することを更に含む。いくつかの実施形態では、方法は、レポートを医療提供者に送信することを更に含む。いくつかの実施形態では、レポートは、コンピュータネットワーク又はピアツーピア接続を介して送信される。いくつかの実施形態では、遺伝子改変状態分類モデルは、ラベル付き画像パッチデータに基づいて、組織サンプル中の1つ以上の遺伝子についての遺伝子改変状態を判定するように構成されている。いくつかの実施形態では、組織表現型分類モデルは、複数の組織表現型分類モデル訓練画像パッチを使用して訓練され、各組織表現型分類モデル訓練画像パッチは、複数の組織表現型クラスから選択される組織表現型クラスでラベル付けされる。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチは、組織表現型クラスで手動でラベル付けされる。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチが、クラスタリングプロセスを使用してラベル付けされ、クラスタリングプロセスが、組織表現型分類モデル訓練画像パッチから画像特徴を抽出することと、抽出された画像特徴に基づいて組織表現型分類モデル訓練画像パッチをクラスタリングすることとを含む。いくつかの実施形態では、抽出された画像特徴クラスタに基づいて、組織表現型分類モデル訓練画像パッチにラベルが割り当てられる。いくつかの実施形態では、画像特徴は、事前訓練された画像特徴抽出モデルを使用して組織表現型分類モデル訓練画像パッチから抽出される。いくつかの実施形態では、画像特徴は、教師なし画像特徴抽出モデルを使用して組織表現型分類モデル訓練画像パッチから抽出される。いくつかの実施形態では、方法は、抽出された画像特徴の縮小表現に基づいて、組織表現型分類モデル訓練画像パッチをクラスタリングする前に、抽出された画像特徴に対して次元削減を実施することを更に含む。いくつかの実施形態では、遺伝子改変状態分類モデルは、複数の遺伝子改変状態分類モデル訓練画像パッチを使用して訓練され、各遺伝子改変状態分類モデル訓練画像パッチは、組織表現型クラス及び遺伝子改変状態でラベル付けされる。いくつかの実施形態では、遺伝子改変状態分類モデルの出力が、組織サンプル中の少なくとも1つの遺伝子における変異の存在又は非存在の判定である。いくつかの実施形態では、遺伝子改変状態分類モデルの出力は、組織サンプルが少なくとも1つの遺伝子に変異を有する確率である。いくつかの実施形態では、遺伝子改変状態分類モデルの出力は、組織サンプルが少なくとも1つの遺伝子に変異を有さない確率である。いくつかの実施形態では、判定された遺伝子改変状態は、少なくとも1つの遺伝子における点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、相同組換え欠損変異、又はそれらの任意の組み合わせに対応する。いくつかの実施形態では、複数の組織表現型クラスは、1つ以上の腫瘍表現型クラス、1つ以上の正常表現型クラス、1つ以上の間質表現型クラス、1つ以上の免疫表現型クラス、1つ以上の壊死表現型クラス、又はそれらの任意の組み合わせを含む。いくつかの実施形態では、組織表現型分類モデル又は遺伝子改変状態分類モデルは、ニューラルネットワークである。いくつかの実施形態では、1つ以上の病理画像は、がん組織サンプルの画像である。
【0075】
方法であって、1つ以上のプロセッサを使用して、組織サンプルの1つ以上の病理画像から得られた複数の画像パッチを組織表現型分類モデルに入力することであって、組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、組織サンプルの1つ以上の病理画像から得られた複数の画像パッチを組織表現型分類モデルに入力することと、1つ以上のプロセッサ及び組織表現型分類モデルを使用して、画像パッチを分類して、組織サンプルのラベル付き画像パッチデータセットを生成することと、1つ以上のプロセッサを使用して、ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、遺伝子改変状態分類モデルは、ラベル付けされた画像パッチデータセットに基づいて組織サンプルの遺伝子改変状態を判定するように構成される、ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、組織サンプルの遺伝子改変に基づいて、1つ以上のプロセッサを使用して、組織サンプルの固体ベースの生検アッセイの結果を予測することとを含む、方法が本明細書に開示される。
【0076】
また、疾患を有する個体に対する1つ以上の治療選択肢を識別する方法であって、1つ以上のプロセッサを使用して、組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、1つ以上のプロセッサ及び組織表現型分類モデルを使用して、画像パッチを分類して、組織サンプルのラベル付き画像パッチデータセットを生成することと、1つ以上のプロセッサを使用して、ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、遺伝子改変状態分類モデルが、ラベル付けされた画像パッチデータセットに基づいて組織サンプルの遺伝子改変状態を判定するように構成される、ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、組織サンプルの遺伝子改変に基づいて、1つ以上のプロセッサを使用して、疾患を治療するための1つ以上の治療選択肢を判定することと、を含む、方法が本明細書に開示される。
【0077】
疾患を有する個体を治療する方法であって、1つ以上のプロセッサを使用して、個体からの組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することであって、組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、個体からの組織サンプルの1つ以上の病理画像に由来する複数の画像パッチを組織表現型分類モデルに入力することと、1つ以上のプロセッサ及び組織表現型分類モデルを使用して、画像パッチを分類して、組織サンプルのラベル付き画像パッチデータセットを生成することと、1つ以上のプロセッサを使用して、ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することであって、遺伝子改変状態分類モデルは、ラベル付けされた画像パッチデータセットに基づいて組織サンプルの遺伝子改変状態を決定するように構成される、ラベル付けされた画像パッチデータセットを遺伝子改変状態分類モデルに入力することと、1つ以上のプロセッサを使用して、組織サンプルについて決定された遺伝子改変状態に基づいて、個体の疾患の疾患タイプを判定することと、判定された疾患タイプに基づいて、1つ以上のプロセッサを使用して、疾患タイプを治療するための治療法を判定することと、決定された治療に基づいて、個体を治療法で治療することとを含む、方法が本明細書に開示される。
【0078】
本明細書に開示される方法のいずれかのいくつかの実施形態では、方法は、1つ以上の複数の病理画像に基づいて遺伝子改変状態を判定した後、個体から得られたサンプルに対して確認ゲノムプロファイルアッセイを実施することを更に含み得る。いくつかの実施形態では、個体から得られたサンプルは、固体生検サンプル又は液体生検サンプルを含む。いくつかの実施形態では、サンプルは液体生検サンプルを含み、液体生検サンプルは血液、血漿、脳脊髄液、痰、便、尿又は唾液を含む。いくつかの実施形態では、液体生検サンプルは循環腫瘍細胞(CTC)を含む。いくつかの実施形態では、液体生検サンプルは、無細胞DNA(cfDNA)、循環腫瘍DNA(ctDNA)、又はそれらの任意の組み合わせを含む。いくつかの実施形態では、ゲノムプロファイルアッセイは、固体生検サンプル又は液体生検サンプルから抽出された複数の核酸分子を提供することと、1つ以上のアダプターを複数の核酸分子からの1つ以上の核酸分子上にライゲーションすることと、複数の核酸分子から1つ以上のライゲーションされた核酸分子を増幅することと、増幅された核酸分子から増幅された核酸分子を捕捉することと、シーケンサーによって、捕捉された核酸分子を配列決定して、捕捉された核酸分子を表す複数の配列リードを得ることと、1つ以上のプロセッサにおいて、複数の配列リードの配列リードデータを受信することと、1つ以上のプロセッサを使用して、配列リードデータに基づいて固体生検サンプル又は液体生検サンプル中の遺伝子改変状態を検出することとを含む。いくつかの実施形態では、複数の配列決定リードうちの1つ以上は、固体生検サンプル又は液体生検サンプルにおけるサブゲノム区間内で1つ位以上遺伝子座と重複する。いくつかの実施形態では、複数の核酸分子は、腫瘍核酸分子と非腫瘍核酸分子との混合物を含む。いくつかの実施形態では、腫瘍核酸分子は、不均質固体生検サンプルの腫瘍部分に由来し、かつ非腫瘍核酸分子は、不均質固体生検サンプルの正常部分に由来する。いくつかの実施形態では、サンプルは、液体生検サンプルを含み、腫瘍核酸分子は、液体生検サンプルの循環腫瘍DNA(ctDNA)画分に由来し、非腫瘍核酸分子は液体生検サンプルの非腫瘍無細胞DNA(cfDNA)画分に由来する。いくつかの実施形態では、1つ以上のアダプターは、増幅プライマー、フローセルアダプター配列、基質アダプター配列、又はサンプルインデックス配列を含む。いくつかの実施形態では、捕捉された核酸分子は、1つ以上のベイト分子へのハイブリダイゼーションによって増幅された核酸分子から捕捉される。いくつかの実施形態では、1つ以上のベイト分子が、1つ以上の核酸分子を含み、各核酸分子が、捕捉された核酸分子の領域に相補的な領域を含む。いくつかの実施形態では、核酸分子を増幅することは、ポリメラーゼ連鎖反応(PCR)増幅技術、非PCR増幅技術、又は等温増幅技術を実施することを含む。いくつかの実施形態では、配列決定は、超並列配列決定(MPS)技術、全ゲノム配列決定(WGS)、全エクソーム配列決定、標的配列決定、直接配列決定、又はサンガー配列決定技術の使用を含む。いくつかの実施形態では、配列決定は、超並列配列決定を含み、超並列配列決定技術は、次世代シーケンシング(NGS)を含む。いくつかの実施形態では、配列決定は、次世代シーケンサーを含む。いくつかの実施形態では、方法は、1つ以上のプロセッサによって、固体生検又は液体生検サンプル中の遺伝子改変状態の存在又は非存在を示すレポートを生成することを更に含む。いくつかの実施形態では、方法は、レポートを医療提供者に送信することを更に含む。いくつかの実施形態では、レポートは、コンピュータネットワーク又はピアツーピア接続を介して送信される。いくつかの実施形態では、遺伝子改変状態分類モデルは、ラベル付き画像パッチデータに基づいて、組織サンプル中の1つ以上の遺伝子についての遺伝子改変状態を判定するように構成されている。いくつかの実施形態では、組織表現型分類モデルは、複数の組織表現型分類モデル訓練画像パッチを使用して訓練され、各組織表現型分類モデル訓練画像パッチは、複数の組織表現型クラスから選択される組織表現型クラスでラベル付けされる。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチは、組織表現型クラスで手動でラベル付けされる。いくつかの実施形態では、組織表現型分類モデル訓練画像パッチが、クラスタリングプロセスを使用してラベル付けされ、クラスタリングプロセスが、組織表現型分類モデル訓練画像パッチから画像特徴を抽出することと、抽出された画像特徴に基づいて組織表現型分類モデル訓練画像パッチをクラスタリングすることとを含む。いくつかの実施形態では、抽出された画像特徴クラスタに基づいて、組織表現型分類モデル訓練画像パッチにラベルが割り当てられる。いくつかの実施形態では、画像特徴は、事前訓練された画像特徴抽出モデルを使用して組織表現型分類モデル訓練画像パッチから抽出される。いくつかの実施形態では、画像特徴は、教師なし画像特徴抽出モデルを使用して組織表現型分類モデル訓練画像パッチから抽出される。いくつかの実施形態では、方法は、抽出された画像特徴の縮小表現に基づいて、組織表現型分類モデル訓練画像パッチをクラスタリングする前に、抽出された画像特徴に対して次元削減を実施することを更に含む。いくつかの実施形態では、遺伝子改変状態分類モデルは、複数の遺伝子改変状態分類モデル訓練画像パッチを使用して訓練され、各遺伝子改変状態分類モデル訓練画像パッチは、組織表現型クラス及び遺伝子改変状態でラベル付けされる。いくつかの実施形態では、遺伝子改変状態分類モデルの出力が、組織サンプル中の少なくとも1つの遺伝子における変異の存在又は非存在の判定である。いくつかの実施形態では、遺伝子改変状態分類モデルの出力は、組織サンプルが少なくとも1つの遺伝子に変異を有する確率である。いくつかの実施形態では、遺伝子改変状態分類モデルの出力は、組織サンプルが少なくとも1つの遺伝子に変異を有さない確率である。いくつかの実施形態では、判定された遺伝子改変状態は、少なくとも1つの遺伝子における点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、相同組換え欠損変異、又はそれらの任意の組み合わせに対応する。いくつかの実施形態では、複数の組織表現型クラスは、1つ以上の腫瘍表現型クラス、1つ以上の正常表現型クラス、1つ以上の間質表現型クラス、1つ以上の免疫表現型クラス、1つ以上の壊死表現型クラス、又はそれらの任意の組み合わせを含む。いくつかの実施形態では、組織表現型分類モデル又は遺伝子改変状態分類モデルは、ニューラルネットワークである。いくつかの実施形態では、1つ以上の病理画像は、がん組織サンプルの画像である。いくつかの実施形態では、治療法は、化学療法、放射線療法、免疫療法、標的療法又は外科手術を含む。
参照による組込み
【0079】
この明細書で言及される全ての刊行物、特許及び特許出願は、あたかも各個々の刊行物、特許又は特許出願が参照によりその全体が組み込まれることが具体的かつ個別に示されているのと同程度に、その全体が参照により本明細書に組み込まれる。本明細書の用語と組み込まれた参考文献の用語との間に矛盾がある場合、本明細書で使用される用語が支配する。
【図面の簡単な説明】
【0080】
開示される方法及びシステムの様々な態様は、添付の特許請求の範囲に詳細に記載されている。開示される方法及びシステムの特徴及び利点のより良い理解は、例示的な実施形態の以下の詳細な説明及び添付の図面を参照することによって得られるであろう。
【0081】
【
図1】
図1は、いくつかの実施形態による、本明細書に記載のデジタル病理画像生成及び処理に使用することができる相互作用コンピュータシステムのネットワークの非限定的な例を示す。
【0082】
【
図2】
図2は、病理画像の機械学習ベースの分析を使用して組織サンプルにおける遺伝子改変状態を判定するための組織表現型分類モデル及び下流遺伝子改変状態分類モデルを訓練するための例示的なプロセスの概略図を提供する。
【0083】
【
図3】
図3は、病理画像の機械学習ベースの分析を使用して組織サンプルにおける遺伝子改変状態を判定するためのフロントエンド画像特徴抽出モデル、組織表現型分類モデル、及び下流遺伝子改変状態分類モデルの訓練のための例示的なプロセスの概略図を提供する。
【0084】
【
図4】
図4は、遺伝子改変状態、例えば、遺伝子融合を検出するための例示的なプロセスの概略図を提供する。
【0085】
【
図5A】
図5Aは、子宮平滑筋肉腫における腫瘍不均質性の非限定的な例を提供する。
【0086】
【
図5B】
図5Bは、隆起性皮膚線維肉腫における腫瘍不均質性の非限定的な例を提供する。
【0087】
【
図6】
図6は、遺伝子融合を検出するための例示的なワークフロー図を提供する。
【0088】
【
図7】
図7は、組織サンプルの遺伝子改変状態を判定するための訓練された組織表現型分類モデル及び訓練された遺伝子改変状態分類モデルを使用するための例示的な方法の概略図を提供する。
【0089】
【
図8】
図8は、1つの隠れ層を有する人工ニューラルネットワークを含む例示的な機械学習アーキテクチャの概略図を提供する。
【0090】
【
図9】
図9は、人工ニューラルネットワーク又はディープラーニングモデルアーキテクチャの層内の例示的なノードの概略図を提供する。
【0091】
【
図10】
図10は、例示的なオートエンコーダの概略図を提供する。
【0092】
【
図11】
図11は、本開示の1つ以上の例によるコンピューティングシステムの非限定的な例を提供する。
【0093】
【
図12】
図12は、病理スライド画像から組織サンプル中の遺伝子改変状態を判定するための、組織表現型分類器及び遺伝子改変状態分類器を訓練するためのプロセスの非限定的な例を提供する。
【0094】
【
図13】
図13は、
図12に示すプロセスの出力の非限定的な例を提供し、目的の画像パッチ、例えば、腫瘍のみを使用して遺伝子改変状態分類器を訓練することによって得られた、組織標本画像(左)、組織形態分類(腫瘍、正常、間質、免疫、壊死)結果(中央)、及び画像パッチレベルの遺伝子改変状態予測結果(右)を含む。
【0095】
【
図14】
図14は、組織サブタイプ(例えば、組織形態表現型)に従って病理スライド画像から抽出された画像パッチを分類するために画像パッチ分類器モデルを訓練するために使用される組織画像及び対応するエキスパート注釈(ラベル)の非限定的な例を提供する。
【0096】
【
図15】
図15は、病理スライド画像から組織サンプル中の遺伝子改変状態を判定するための、組織表現型分類器及び遺伝子改変状態分類器を訓練するためのプロセスの非限定的な例を提供する。
図15に示すプロセスは、教師なし機械学習モデル(例えば、画像特徴抽出モデル)及び抽出された画像特徴に応じた画像パッチのクラスタリングを使用して、組織表現型分類器を続いて訓練するために使用されるラベル付き画像パッチ訓練データを生成する。
【0097】
【
図16】
図16は、教師なし特徴抽出モデルをフロントエンドとして使用する病理スライド画像から組織サンプルにおける遺伝子改変状態を判定するための組織表現型分類モデル及び遺伝子改変状態分類モデルを訓練するためのプロセスの簡略図を提供する。
【0098】
【
図17】
図17は、ImageNetデータセット上で事前訓練されたディープニューラルネットワークからの特徴ベクトルに対する教師なし学習からの画像及び画像特徴クラスタの非限定的な例を提供する。各行は異なるクラスタを表し、潜在機能がそのクラスタに属する画像パッチの10個の例を含む。各クラスタ内の代表的な画像パッチの病理評定を画像の下に列挙する。
【0099】
【0100】
【0101】
【0102】
【0103】
【
図19】
図19は、ROS1遺伝子融合状態の予測の非限定的な例を提供する。
【0104】
【
図20】
図20は、画像パッチに基づく融合予測のためのROC曲線の非限定的な例を提供する。
【0105】
【
図21】
図21は、エンドユーザが対象予測を要求することを可能にするためのプロセスの概略図を提供する。
【0106】
【
図22】
図22は、遺伝子融合を排除するためのプロセスの概略図を提供する。
【発明を実施するための形態】
【0107】
詳細な説明
本明細書では、病理画像の機械学習ベースの分析を使用して、不均質な現実世界の組織サンプルにおける遺伝子改変状態をより正確に判定するための方法及びシステムについて説明する。開示される方法は、2つの機械学習モデルの使用を含むことができ、1つは、組織表現型に従ってそれらを分類及びラベル付けするために(組織サンプルの病理全スライド画像から抽出された)画像パッチデータを処理するための組織分類器として訓練されたものである。第2の機械学習モデルは、第1のモデルによって生成されたラベル付き画像パッチデータを処理し、組織サンプルによって示される遺伝子改変状態(例えば、変異)の予測を出力する遺伝子改変状態分類器として訓練される。いくつかの例では、第3のフロントエンド機械学習モデルを使用して、画像パッチデータから画像特徴を抽出し、それらの抽出された特徴の類似性に従ってそれらをクラスタリングしてもよい。いくつかの例では、後者のアプローチは、訓練された病理学者によって視覚的に認識されるものと相関していてもいなくてもよい組織表現型に従って画像パッチデータの分類を可能にする。患者からの組織サンプルの病理画像から遺伝子改変状態を判定することによって、医学的疾患の治療を選択し、それを必要とする患者を治療する方法も記載される。
【0108】
本開示による組織サンプル中の遺伝子改変状態を判定するための方法は、1つ以上のプロセッサを使用して、組織サンプルの1つ以上の病理画像から導出される複数の画像パッチを組織表現型分類モデルに入力することであって、組織表現型分類モデルが、画像パッチを組織表現型クラスに分類するように構成される、入力することと、1つ以上のプロセッサ及び組織表現型分類モデルを使用して、画像パッチを分類して、組織サンプルについてラベル付き画像パッチデータセットを生成することと、1つ以上のプロセッサを使用して、ラベル付き画像パッチデータセットを遺伝子改変状態分類モデルに入力ことであって、遺伝子改変状態分類モデルが、ラベル付き画像パッチデータセットに基づいて組織サンプルの遺伝子改変状態を判定するように構成される、入力することと、1つ以上のプロセッサ及び遺伝子改変状態分類モデルを使用して、組織サンプルの遺伝子改変状態を出力することと、を含むことができる。
【0109】
上記のように、組織表現型分類モデルは、組織表現型クラスに従って(未知の遺伝子改変状態の組織サンプルに由来する)入力画像パッチを分類し、ラベル付き画像パッチデータを出力するように訓練された機械学習モデルである。画像パッチ(画像画素の連続したサブセットを含むスライド病理画像全体の小部分)は、例えば、非組織領域を排除するために画像をマスクし、画像画素の連続したサブセットを作成するために画像の残りの部分をセグメント化することによって、スライド画像全体から抽出される。いくつかの例では、フロントエンド画像特徴抽出モデルを使用して、画像パッチデータを処理し、組織表現型クラス(例えば、組織形態、組織組織学等)に関連する画像特徴を抽出し得て、これを使用して、注釈付け又はラベル付けの前に画像特徴に従って画像パッチをクラスタリングし得る。
【0110】
遺伝子改変状態分類モデルは、入力されたラベル付き画像パッチデータを処理し、組織サンプルに対する遺伝子改変状態の判定(例えば、変異が点変異、挿入、欠失、コピー数多型(CNV)、又はそれらの任意の組み合わせを指し得る特定の遺伝子突然変異の検出)を出力するように訓練された機械学習モデルである。いくつかの例では、遺伝子改変状態分類モデルは、組織サンプル中の1つ以上の遺伝子の遺伝子改変状態を判定するように構成され得る。いくつかの例では、遺伝子改変状態分類モデルは、組織サンプル中の複数の遺伝子における変異を含む遺伝子シグネチャの遺伝子改変状態を判定するように構成され得る。開示される方法(例えば、人工ニューラルネットワークモデル(又はディープラーニングモデル))を実装するために、当業者に知られている様々な教師あり又は教師なし機械学習モデルのいずれかを使用し得る。いくつかの例では、人工ニューラルネットワークは、以下でより詳細に説明するように、畳み込みニューラルネットワークであってもよい。
【0111】
開示される方法及びシステムは、以下によって得られる典型的には不均質な現実世界の病理組織サンプルの遺伝子改変状態を判定及び出力するための精度の改善を提供する:(i)組織表現型(例えば、スライド画像レベル全体ではなく画像パッチレベルで)のより高い空間解像度の画像注釈の使用、及び/又は(ii)組織表現型分類モデルを訓練するために使用されるラベル付き訓練データを生成するための(複数の画像パッチからの)機械学習ベースの画像特徴抽出及びクラスタリングの使用。次いで、訓練された組織表現型分類モデルを使用して(システムトレーニングモード中に)、遺伝子改変状態分類モデルを訓練するために遺伝子改変状態データ(例えば、遺伝子型判定又は次世代シーケンシング(NGS)データを使用して得られる)と対になるラベル付き画像パッチデータを生成する。システムが展開されると、訓練された組織表現型分類モデルは、未知の遺伝子改変状態の病理画像から導出された入力画像パッチデータを処理し、組織表現型ラベル付き画像パッチデータを出力するために病理検査室又は他の医療現場で使用され、次に、組織サンプルの遺伝子分類状態を判定し出力するために、訓練された遺伝子改変状態分類モデルに入力される。方法及びシステムは、作用可能な遺伝子改変状態(例えば、がん等の疾患に関連する遺伝子改変状態)が検出されたか否かに関する加速フィードバックを介して、決定された遺伝子改変状態の確認のために物理的サンプルが遺伝子型判定又は配列決定検査室に出荷される十分前に、患者及び/又は医療提供者に向上した意思決定洞察を提供し得る。
【0112】
1つ以上のプロセッサと、1つ以上のコンピュータプログラム命令を記憶するように構成されたメモリとを含むシステムであって、1つ以上のコンピュータプログラム命令が、1つ以上のプロセッサによって実行されると、組織サンプルの1つ以上の病理画像から導出された複数の画像パッチを組織表現型分類モデル(画像パッチを組織表現型クラスに分類するように構成された組織表現型分類モデル)に入力する;組織表現型分類モデルを使用して、画像パッチを分類して、組織サンプルについてのラベル付き画像パッチデータセットを生成する;ラベル付き画像パッチデータセットを遺伝子改変状態分類モデル(ラベル付き画像パッチデータセットに基づいて組織サンプルの遺伝子改変状態を判定するように構成された遺伝子改変状態分類モデル)に入力する;及び遺伝子改変状態分類モデルを使用して、組織サンプルの遺伝子改変状態を出力するように構成される、システムも本明細書で開示される。開示されるシステムは、ローカルワークステーション、ローカルコンピュータシステム、又はコンピュータシステム若しくはサーバの分散ネットワークとして構成されてもよく、いくつかの例では、画像データ処理及び分析の全部又は一部を任意にクラウドで実施してもよい。
【0113】
デバイスの1つ以上のプロセッサによる実行のための1つ以上のコンピュータプログラム命令を含む非一時的コンピュータ可読記憶媒体も開示され、1つ以上のコンピュータプログラム命令は、1つ以上のプロセッサによって実行されると、記載された遺伝子改変状態判定方法のいずれかを装置に実施させる。
【0114】
がんを有する個体に対する治療を選択するための方法は、本明細書に記載される遺伝子改変状態方法のいずれかを使用して、個体からの組織サンプル中の目的の遺伝子の遺伝子改変状態を判定することと、判定された遺伝子改変状態に基づいて処置を選択することとを含むことができる。開示される方法はまた、本明細書に記載される遺伝子改変状態方法のいずれかを使用して個体に対する治療を選択することと、個体に治療を投与することとを含む、がんを有する個体を治療する方法を含む。いくつかの例では、がんは肺がんを含み得る。いくつかの例では、肺がんは、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、肺小細胞癌腫、又はそれらの任意の組み合わせを含み得る。いくつかの例では、検出される遺伝子改変状態は、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、RETがん遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、又はそれらの任意の組み合わせにおける変異を含み得る。
【0115】
いくつかの例では、開示される方法及びシステムは、遺伝子融合/再編成、多くの異なるがん型にわたって識別され得る特定の種類の稀で薬となり得る発がん性変異事象の検出に適用され得、腫瘍組織サンプル中に存在する場合、特定の標的療法に対するロバストな応答を示し得る。遺伝子融合/再編成には、多くの異なる腫瘍型にわたって起こり得、新規療法によってますます標的化される、稀で薬となり得る変異事象が含まれる。遺伝子融合の識別は、このような遺伝子改変を有する少数の患者にのみ利益をもたらし得る技術的に困難で高価で時間のかかるプロセスであり得る。これらの理由から、広範な検査は、必要とされる技術的及び財政的資源を提供することができる比較的少数の病院に限定され得る。いくつかの例では、本明細書に記載の方法及びシステムは、がん組織/細胞(後エバ、肺腺癌)を描写するスキャンされ、染色された(例えば、ヘマトキシリン及びエオシン染色)全スライド画像等のデジタル病理画像から発がん性融合の存在を予測することができる機械学習モデル(例えば、デジタル病理スクリーニングモデル)の作成、訓練、及び使用を通じてこの格差に対処することができる。更に、本明細書に開示される方法及びシステムは、個々の患者(限定されないが、肺腺癌患者を含む)に対する標的療法の使用に関する分子試験及び意思決定を導くために使用され得る、迅速で安価で十分に正確なスクリーニングツールを提供し得る。
【0116】
いくつかの例では、本開示のデジタル病理画像処理システムは、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスし得る。次いで、デジタル病理画像処理システムは、デジタル病理画像を複数の画像パッチ(本明細書では画像タイルとも呼ばれる)にセグメント化し得る。場合によっては、画像パッチは、画像タイルの一部を含んでもよい。画像パッチはまた、1つ以上の画像タイル又は画像タイルの1つ以上の部分を含み得る。デジタル病理画像処理システムは、複数の画像パッチの各々について、画像パッチが例えば腫瘍領域を描写するか腫瘍ネスト構造を描写するかを示すラベルを生成し得る。いくつかの例では、デジタル病理画像処理システムは、各画像パッチに対して生成されたラベルに基づいて、デジタル病理画像が、生体サンプル中に存在するがん細胞における、例えば、遺伝子融合の発生の描写を含むと判定し得る。デジタル病理画像処理システムは、例えば、遺伝子融合の検出に基づいて、対象の対象予測を更に生成し得る。いくつかの例では、対象予測は、対象に対する1つ以上の治療レジメン(例えば、化学療法又は標的療法)の適用性の予測を含み得る。
【0117】
定義
単数形「a」、「an」、及び「the」は、文脈上明らかにそうではない場合を除き、複数の指示対象を含む。本明細書における「又は」への任意の言及は、特に明記しない限り、「及び/又は」を包含することが意図される。
【0118】
「含む(comprising)」(並びに「comprise」及び「comprises」等のcomprisingの任意の形態又は変形)、「有する(having)」(並びに「have」及び「has」等のhaving任意の形態又は変形)、「含む(including)」(並びに「includes」及び「include等を含む任意の形態又は変形)、又は「含有する(containing)」(及び「contains」及び「contain」等のcontainingの任意の形態又は変形)という用語は、包括的又はオープンエンドであり、追加の指定されていない添加剤、構成要素、整数、要素、又は方法ステップを排除するものではない。
【0119】
「画像特徴」という用語は、画像又は画像パッチの内容に関する情報を含む画像又は画像パッチの特性を指し、例えば、画像特徴は、点、エッジ、形状、テクスチャ、又はオブジェクト等の画像又は画像パッチ内の特定の構造であってもよく、又は画像の画像処理及び/又は機械学習ベースの分析から導出された画像の非視覚的又は非人間解釈可能な特性であってもよい。
【0120】
「組織表現型クラス」という用語は、組織形態タイプ、組織組織学タイプ、又は病理学者による目視検査で識別可能な任意の他の組織表現型を指す。組織表現型クラスは、病理学者によって視覚的に識別可能であり得るが、そうである必要はない。例えば、いくつかの例では、組織表現型クラスは、組織サンプルの病理画像を処理するために使用される機械学習モデルによって識別されたクラスタ化画像特徴カテゴリーによって定義され得る。
【0121】
「遺伝子改変状態」という用語は、組織サンプル中の1つ以上の遺伝子における突然変異の存在又は非存在を指す。
【0122】
本明細書で使用される場合、「分類モデル」及び「分類器」という用語は互換的に使用され、入力データを1つ以上のラベル化されたクラス又はカテゴリーに分類するように訓練された機械学習アーキテクチャ又はモデルを指す。
【0123】
本明細書で使用される場合、「バイナリ出力」という用語は、機械学習分類器の出力が、入力データを2つのラベル化されたクラス又はカテゴリーのうちの1つ、例えば、所与の遺伝子改変状態が組織サンプル中に存在するか否かに関するあり/なしの答えに分類する場合を指す。
【0124】
「治療する(treat)」、「治療する(treating)」及び「治療(treatment)」は、少なくとも1つの症状の軽減、阻害、抑制若しくは排除による症状の改善、疾患若しくは症状の進行の遅延、疾患若しくは症状の再発の遅延、又は疾患若しくは症状の阻害を含む、疾患状態又は症状に罹患している対象に利益を提供する任意の作用を指すために本明細書で同義的に使用される。本発明の目的のために、有益な又は所望の臨床結果には、以下のうちの1つ以上が含まれるが、これらに限定されない:疾患に起因する1つ以上の症候の緩和、疾患の程度の縮小、疾患の安定化(例えば、疾患の悪化の予防又は遅延)、疾患の蔓延(例えば転移)の予防又は遅延、疾患の再発の予防又は遅延、疾患の進行の遅延又は遅延、疾患状態の改善、疾患の寛解(部分的又は全体)の提供、疾患の処置に必要な1つ以上の他の薬物の用量の減少、疾患の進行の遅延、生活の質の向上、及び/又は生存期間の延長。がんに関して、対象に存在するがん細胞の数は、数及び/又はサイズが減少し得る、及び/又はがん細胞の成長速度が遅くなり得る。いくつかの実施形態では、治療は、疾患の再発を予防又は遅延させ得る。がんの場合、治療は以下の通りであり得る:(i)がん細胞の数を減少させる;(ii)がん細胞の増殖を阻害する、遅延させる、ある程度遅らせる、好ましくは停止させる;(iii)がんの発生及び/又は再発を予防又は遅延させる;及び/又は(iv)がんに関連する1つ以上の症状をある程度軽減する。本発明の方法は、これらの治療の態様のいずれか1つ以上を企図する。
【0125】
本明細書で使用されるいかなる項目の見出しも、構成上の目的のみのためであり、記載される主題を限定するものと解釈されるべきではない。
【0126】
「実施形態」に関連して上述した特徴及び選好は、別個の選好であり、その特定の実施形態のみに限定されない。それらは、技術的に実現可能な場合、他の実施形態からの特徴と自由に組み合わせ手もよく、特徴の好ましい組み合わせを形成し得る。説明は、当業者が本発明を製造及び使用することを可能にするために提示され、特許出願及びその要件の文脈で提供される。記載された実施形態に対する様々な変更は、当業者にとって容易に明らかであり、本明細書の一般的な原理は、他の実施形態に適用されてもよい。したがって、本発明は、示された実施形態に限定されることを意図するものではなく、本明細書に記載された原理及び特徴と一致する最も広い範囲が与えられるべきである。
【0127】
改変された遺伝子状態の画像ベースの検出:
開示される方法は、組織サンプル中の遺伝子改変状態の検出及び判定のための画像処理に対する機械学習ベースのアプローチを利用する。方法は、病理検査室での撮像のために調製される任意の組織サンプル、例えば、軟組織サンプル(例えば、肺組織の外科標本又は筋肉生検)又は固体組織サンプル(例えば、骨髄生検)に適用され得る。スライド全体の病理画像を処理して複数の画像パッチを抽出し、次いで、それらを組織表現型クラスに従って個々の画像パッチを分類及びラベル付けするように構成された訓練された組織表現型分類モデルに入力する(例えば、当業者に公知の様々な正常及び/又は異常な組織形態及び/又は組織組織学クラスのいずれか)。次いで、組織サンプルのラベル付き画像パッチデータは、組織サンプル中の遺伝子改変状態を判定し出力するように構成された訓練された遺伝子改変状態分類モデルに入力される。いくつかの例では、遺伝子改変状態分類器の出力はバイナリであり、例えば、特定の遺伝子変異が組織サンプルによって示されるか否かのあり/なしの判定である。いくつかの例では、遺伝子改変状態分類器の出力は非バイナリであり、例えば、遺伝子改変状態分類器の出力は、いくつかの可能な遺伝子改変状態のうちの1つが組織サンプルによって示されるという判定であり得る。
【0128】
典型的には本質的に非常に不均質である現実世界の病理組織サンプルを用いて作業する場合の遺伝子改変状態を判定するための開示される方法の精度の改善は、部分的には、病理スライド全体画像から得られた画像パッチデータを複数の可能な組織表現型クラスのうちの1つに分類する組織分類モデルを訓練するための改善された技術の使用から得られる。訓練段階の間、目的の組織サンプルコホート(例えば、遺伝子型判定アッセイ又は核酸配列決定技術を使用して以前に判定された特定の遺伝子改変状態を含む組織サンプル)を構築するために病理全体スライド画像が選択される。画像パッチは、コホート内のスライド画像全体のサブセットから抽出され、組織表現型クラスについて病理学者によって任意に注釈付けされる。次いで、これらの注釈付き(本明細書ではラベル付きとも呼ばれる)画像パッチを訓練データセットとして使用して、機械学習モデル(例えば、畳み込みニューラルネットワークモデル)を訓練して、組織サンプルの病理画像から抽出されたラベルなし画像パッチを特定の組織表現型クラスに属するものとして分類する。次いで、訓練された組織表現型分類モデルを使用して、コホート内の残りの画像から抽出された画像パッチを包括的に分類し、したがって全ての関連する組織サンプルの組織表現型プロファイル(ラベル付き画像パッチデータセットを含む)を生成し得る。
【0129】
いくつかの例では、組織表現型分類モデルの訓練は、ラベル付き画像パッチ訓練データ(すなわち、画像パッチが病理医によって直接注釈付けされる代わりに)を生成するための機械学習アプローチの使用を含み得る。関連する病理スライド画像のコホートを構築し、画像パッチを上記のようにコホートの全スライド病理画像から抽出する。次いで、事前訓練されたニューラルネットワークモデル又は教師なし機械学習モデルのいずれかを使用して病理スライド画像のランダムサブセットから導出された画像パッチに対して画像特徴抽出が実施され、目的の1つ以上の組織表現型クラスと相関する画像パッチ特徴を識別する。追加の画像処理ステップを受ける場合もあるが、受けない場合もある、画像パッチから抽出された画像特徴のセットは、それらの顕著な特徴によって画像パッチをクラスタ化するために使用される。
【0130】
機械学習ベースの画像特徴抽出及び画像パッチクラスタリングの使用は、組織表現型分類モデル及び遺伝子改変状態分類モデルの訓練を含む、下流モデル訓練性能を大幅に改善するデータ処理を可能にする。このステップに使用され得る機械学習モデルの例には、画像パッチから特徴を抽出するための事前訓練された機械学習モデル(例えば、ImageNetデータセットで訓練されたInceptionV3畳み込みニューラルネットワーク)又は教師なし機械学習モデル(例えば、組織表現型の広範な病理視覚分布又は疾患オントロジー特異的(例えば、肺腺癌)下位分布のいずれかをモデル化するように訓練されたオートエンコーダ又は敵対的生成ネットワーク(GAN))のいずれかが含まれる。
【0131】
具体的には、選択された画像分解(特徴抽出)モデルが事前訓練されたネットワークである場合、特徴を抽出することは、画像パッチをネットワークに通過させ、いくつかの中間ネットワーク層(しばしば最後から2番目のネットワーク層)の計算結果(例えば、特徴のベクトル)を、ネットワークを通過する順方向パスを介して計算されるような顕著な画像特徴のしばしば非人間解釈可能なエンコーディング/圧縮として使用することを伴う。訓練された教師なしモデルが画像の分解に使用される場合、エンコーディングは、データの正確度のバイナリ予測を担当するGANのディスクリミネータネットワークから等、コンピュータビジョンの別個のタスクのために訓練されたモデルの中間層からの何らかの出力の形態をとり得る。別の教師なしの方法であるオートエンコーダを使用すると、データ入力を潜在的な埋め込みに符号化してから、その埋め込みを元のデータ入力の完全な再構成にデコーディングすることが求められる。次いで、十分に訓練されたエンコーダネットワークのエンコーダ部分を使用して、入力パッチを関連する顕著な特徴のセットに直接蒸留することができる。
【0132】
画像パッチから画像特徴ベクトルを抽出する理由は、パッチの効果的なクラスタリングを可能にするためである。画像パッチは、生の画素値を使用して効果的にクラスタ化することはできないが、(以下で説明するように)次元数の大幅な削減及び顕著な情報の蒸留が、前述の特徴抽出方法を使用して可能であることが示されている。これらの縮小表現は、病変視覚空間にわたってパッチ画像群を効果的にクラスタ化するために使用することができる。例えば、肺腺癌では、ラベル付き画像パッチクラスタは広くてもよく、例えば、腫瘍組織、正常組織、免疫病巣、壊死領域及び間質を含むそれらの組織形態表現型によって特徴付けることができる。いくつかの例では、ラベル付き画像パッチクラスタは、更により特異的であり得、鱗状、腺房状、微小乳頭状、乳頭状、固形、又は粘液性サブタイプ等の腫瘍組織学的サブタイプを区別する能力を有する。
【0133】
いくつかの例では、病理学者は、次いで、画像パッチクラスタを精査し、観察する形態学的及び/又は組織学的特徴に従ってラベルを割り当ててもよい。いくつかの例では、画像パッチクラスタは、訓練された病理学者による解釈とは無関係のクラスタタイプに従ってラベルを割り当ててもよい。病理画像のコホートから抽出された画像パッチがクラスタリングされ、病理学者によって注釈付けされるか、又はクラスタベースのラベルが割り当てられると、選択されたラベル付き画像パッチデータのセットを使用して、畳み込みニューラルネットワーク又は他の人工ニューラルネットワーク等の機械学習モデルを訓練し、画像パッチデータを特定の組織表現型クラスに属するものとして分類し得る。次いで、画像パッチデータのラベル付きクラスタを使用して訓練されたこの組織表現型分類モデルを使用して、コホート内の残りの画像から抽出された画像パッチの組織表現型クラスプロファイルを生成することができる。訓練された組織表現型分類モデルは、組織サンプルを、画像パッチレベルの空間分解能で(又は場合によっては高度な画像取得及び/又は追加の画像処理ステップを使用してより高い分解能で)組織表現型クラスに関して分類することを可能にする。
【0134】
いくつかの例では、訓練段階の一部として、目的の病理画像のコホート(例えば、選択された組織表現型クラスに属するとして分類されており、対応する組織サンプル中の遺伝子改変状態が遺伝子型判定又は核酸配列決定の結果から知られているラベル付き画像パッチ)から選択されたラベル付き画像パッチを反復的に使用して、特定の遺伝子改変状態のシグナル又は指標の存在を調査することができ、すなわち、目的の特定の遺伝子改変状態と最もよく相関するラベル付き画像パッチデータの特定のセット(複数可)を識別し得る。目的の組織標本が組織表現型クラスに関して非常に不均質であり、及び/又は遺伝子改変シグナル若しくは指標に関して非常に可変である場合、開示される方法は、組織表現型分類モデル及び/又は下流遺伝子改変状態分類モデルを訓練及び調整するときに、より正確なデータセットの精密化を可能にする。例えば、いくつかの例では、組織表現型分類モデル及び/又は遺伝子改変状態分類モデルは、目的の組織表現型クラスからのラベル付き画像パッチのみを使用して訓練され得る(例えば、腫瘍組織と相関するラベル付き画像パッチのみ、炎症領域と相関するラベル付き画像パッチのみ等)。
【0135】
訓練段階では、対応する遺伝子改変状態データ(例えば、遺伝子型判定及び/又は核酸配列データ)と対になった、訓練された組織表現型分類モデルによって生成されたラベル付き画像パッチデータは、その後、1つ以上の組織表現型クラスに対するラベル付き画像パッチデータを1つ以上の遺伝子改変状態にマッピングするための遺伝子改変状態分類モデルとして別の機械学習モデル(例えば、畳み込みニューラルネットワークモデル又は他の人工ニューラルネットワーク)を訓練するために使用される。上流組織表現型分類モデルを使用する動機は、全ての組織表現型クラスが、特定の遺伝子改変状態を示す等しいシグナルを含む可能性が低いことである。例えば、改変された遺伝子状態の指標を提供し得る表現型の変化は、腫瘍領域でより検出可能である可能性が高く、正常組織等の組織学的クラスでは可能性が低い。組織標本が非常に不均質であるが、全ての組織表現型クラスが改変された遺伝子状態の信頼できる指標を提供するわけではない場合、下流モデル訓練のための全てのラベル付き組織画像パッチを無差別に含めることは、遺伝子改変状態分類モデルの訓練及び性能に悪影響を及ぼし得る重大なノイズを導入する可能性がある。フロントエンド画像分解/特徴抽出/画像パッチクラスタリングアプローチを使用して、組織表現型分類モデルを訓練するためのラベル付き画像パッチデータを提供し、これは次に訓練コホート内の病理スライド画像の全てを特徴付けることができ、遺伝子改変状態分類モデルの訓練に使用するための関連する組織表現型クラスに属する画像パッチ/領域のサブセットのみを選択することを可能にする。
【0136】
いくつかの例では、遺伝子改変状態分類器は、モデルによって出力された分類結果が、個々の入力画像パッチの分類と、それに続くスライドごとの画像パッチ予測の平均又は中央値をとる等の集約方法を使用した個々の画像パッチ予測の集約とに基づく、組織サンプルの遺伝子改変状態分類を判定(又は検出)し得る。いくつかの例では、より複雑な遺伝子改変状態分類モデルは、集約された画像パッチ結果を使用し、それを組織サンプル中に存在する選択された組織表現型クラスのパーセンテージ(例えば、腫瘍として予測された画像パッチのパーセンテージ)等の他の特徴と組み合わせて最終予測を行うことができる。
【0137】
いくつかの例では、開示される方法及びシステムは、マルチインスタンス学習(MIL)法等の遺伝子改変状態分類モデルを訓練するための代替機械学習アプローチを使用してもよい。例えば、組織表現型分類器モデルは、各パッチにラベルが割り当てられている画像パッチレベルで依然として訓練され得る。訓練後、組織表現型分類モデルを使用して、上記のようにコホート内の全ての組織領域を分類する。これもまた、遺伝子改変分類モデルを訓練するために、目的の画像パッチ群のみ(すなわち、所与の遺伝子改変状態に対して最も強いシグナルを示すもの)を使用することを可能にする。次いで、スライドから抽出された画像パッチの全て又はサブセットが選択され、MILモデルを通過するMILアプローチを使用して、遺伝子改変分類モデルを訓練することができる。MILモデルは、全ての入力画像パッチを処理し、抽出された情報をスライドの単一の出力予測に集約する(これは、スライドレベルの予測を生成するために集約される各画像パッチについての遺伝子改変状態予測を出力する上記の画像パッチレベルの遺伝子改変分類器とは対照的である)。画像パッチのバッチのMILモデルからの単一出力予測は、MILモデルの訓練及び検証中にスライドラベル(例えば、遺伝子改変状態についてのNGS結果)と比較される。
【0138】
本出願人は、組織表現型分類モデルを訓練する際の組織画像パッチの意図的な特徴づけ及び部分選択の必要性を実証する研究を行った。スライドレベルのラベリングアプローチ(例えば、スライド画像全体の全ての画像領域がそのスライドの組織表現型及び遺伝子改変状態の注釈を継承する場合)を利用して、現在までに公開されているものと等しい、又は実質的に大きいコホートサイズを有する分類器モデルを訓練する研究は、「スキルなし」モデルの性能をほとんど上回る性能改善をもたらす(すなわち、ランダムな推測のみを実施するモデル)。
【0139】
本開示の展開された画像ベースの遺伝子改変状態分類システムは、ユーザ、例えば病理学者又は病理検査技師が、組織サンプルの1つ以上の病理画像を処理し、組織分類モデルを使用して、1つ以上の病理画像から抽出された画像パッチを組織表現型クラスによって分類することを可能にする。次いで、特定の組織表現型クラスについて検出されたバイオマーカーシグナルについて訓練された遺伝子改変状態分類モデルを使用して、特定の遺伝子改変状態が組織サンプルにおいて示されるかどうかを判定する。病理スライド画像から組織サンプル中の変化した遺伝子状態を判定する能力は、特定の重要な作用可能な遺伝子改変状態(例えば、化学療法又は標的療法による治療の選択を導くための非小細胞肺癌腫(NSCLC)におけるEGFR/ALK変異の検出)を評定する際に、患者及び医療提供者のターンタイムを大幅に改善する可能性を提供する。このアプローチはまた、フォローアップ確認遺伝子型判定又は核酸配列決定データの要件を減少又は排除し得る。開示される方法及びシステムはまた、バイオマーカーを調査又は予測し、目的の他の遺伝子改変状態を識別するために使用され得る。
【0140】
いくつかの例では、例えば、開示される方法及びシステムは、ABL1、ACVR1B、AKT1、AKT2、AKT3、ALK、ALOX12B、AMER1、APC、AR、ARAF、ARFRP1、ARID1A、ASXL1、ATM、ATR、ATRX、AURKA、AURKB、AXIN1、AXL、BAP1、BARD1、BCL2、BCL2L1、BCL2L2、BCL6、BCOR、BCORL1、BCR、BRAF、BRCA1、BRCA2、BRD4、BRIP1、BTG1、BTG2、BTK、C11orf30、C17orf39、CALR、CARD11、CASP8、CBFB、CBL、CCND1、CCND2、CCND3、CCNE1、CD22、CD70、CD74、CD79A、CD79B、CD274、CDC73、CDH1、CDK12、CDK4、CDK6、CDK8、CDKN1A、CDKN1B、CDKN2A、CDKN2B、CDKN2C、CEBPA、CHEK1、CHEK2、CIC、CREBBP、CRKL、CSF1R、CSF3R、CTCF、CTNNA1、CTNNB1、CUL3、CUL4A、CXCR4、CYP17A1、DAXX、DDR1、DDR2、DIS3、DNMT3A、DOT1L、EED、EGFR、EP300、EPHA3、EPHB1、EPHB4、ERBB2、ERBB3、ERBB4、ERCC4、ERG、ERRFI1、ESR1、ETV4、ETV5、ETV6、EWSR1、EZH2、EZR、FAM46C、FANCA、FANCC、FANCG、FANCL、FAS、FBXW7、FGF10、FGF12、FGF14、FGF19、FGF23、FGF3、FGF4、FGF6、FGFR1、FGFR2、FGFR3、FGFR4、FH、FLCN、FLT1、FLT3、FOXL2、FUBP1、GABRA6、GATA3、GATA4、GATA6、GNA11、GNA13、GNAQ、GNAS、GRM3、GSK3B、H3F3A、HDAC1、HGF、HNF1A、HRAS、HSD3B1、ID3、IDH1、IDH2、IGF1R、IKBKE、IKZF1、INPP4B、IRF2、IRF4、IRS2、JAK1、JAK2、JAK3、JUN、KDM5A、KDM5C、KDM6A、KDR、KEAP1、KEL、KIT、KLHL6、KMT2A、KMT2D、KRAS、LTK、LYN、MAF、MAP2K1、MAP2K2、MAP2K4、MAP3K1、MAP3K13、MAPK1、MCL1、MDM2、MDM4、MED12、MEF2B、MEN1、MERTK、MET、MITF、MKNK1、MLH1、MPL、MRE11A、MSH2、MSH3、MSH6、MST1R、MTAP、MTOR、MUTYH、MYB、MYC、MYCL、MYCN、MYD88、NBN、NF1、NF2、NFE2L2、NFKBIA、NKX2-1、NOTCH1、NOTCH2、NOTCH3、NPM1、NRAS、NSD3、NT5C2、NTRK1 NTRK2、NTRK3、NUTM1、P2RY8、PALB2、PARK2、PARP1、PARP2、PARP3、PAX5、PBRM1、PDCD1、PDCD1LG2、PDGFRA、PDGFRB、PDK1、PIK3C2B、PIK3C2G、PIK3CA、PIK3CB、PIK3R1、PIM1、PMS2、POLD1、POLE、PPARG、PPP2R1A、PPP2R2A、PRDM1、PRKAR1A、PRKCI、PTCH1、PTEN、PTPN11、PTPRO、QKI、RAC1、RAD21、RAD51、RAD51B、RAD51C、RAD51D、RAD52、RAD54L、RAF1、RARA、RB1、RBM10、REL、RET、RICTOR、RNF43、ROS1、RPTOR、RSPO2、SDC4、SDHA、SDHB、SDHC、SDHD、SETD2、SF3B1、SGK1、SLC34A2、SMAD2、SMAD4、SMARCA4、SMARCB1、SMO、SNCAIP、SOCS1、SOX2、SOX9、SPEN、SPOP、SRC、STAG2、STAT3、STK11、SUFU、SYK、TBX3、TEK、TERC、TERT、TET2、TGFBR2、TIPARP、TMPRSS2、TNFAIP3、TNFRSF14、TP53、TSC1、TSC2、TYRO3、U2AF1、VEGFA、VHL、WHSC1、WTI、XPO1、XRCC2、ZNF217、及びZNF703、又はそれらの任意の組み合わせの1つ以上において1つ以上の改変を含むバイオマーカーを識別するために使用され得る。いくつかの例では、バイオマーカーは、PIK3CAにおける1つ以上の改変を含む。いくつかの例では、1つ以上の改変は、塩基置換、挿入/欠失(インデル)、遺伝子融合、コピー数変化又はゲノム再編成を含む。
【0141】
いくつかの例では、本明細書の他の箇所で述べたように、開示される方法及びシステムを使用して、新規治療によってますます標的化される遺伝子融合を識別することができる。腫瘍を有する患者のための標的療法には、上皮成長因子受容体(EGFR)を標的とする薬物、並びに未分化リンパ腫キナーゼ(ALK)、RET、ROS1及び神経栄養性チロシン受容体キナーゼ(NTRK)を含む遺伝子融合が含まれ得る。EGFRの場合、最も一般的な変異体(例えば、最大97%のEGFR陽性肺腺癌患者をカバーする)を識別するために免疫組織化学染色を使用することができるが、EGFR標的療法に失敗した患者における耐性変異を識別するために分子試験が必要な場合がある。RET及びROS1変異体の検出のためのそのような免疫組織化学的染色は開発されておらず、ALK及びNTRK変異体の検出のための免疫組織化学的染色の性能は非常に可変的であり、解釈が困難であり得る。更に、遺伝子融合は、限られた数の遺伝子座について試験する、より一般的に使用される 「ホットスポット」 アッセイよりもゲノムのより広いカバレッジを有するより洗練された分子アッセイをしばしば必要とする。遺伝子融合を標的とするためには、はるかに広いカバレッジが必要であり得、その結果、はるかに高価な試験がもたらされ、実験室が実施するためにはるかに高い技術的能力を必要とする。結果として、かなりの割合の患者は、それらの腫瘍が遺伝子融合を有するかどうかを判定するために正しい試験を受ける可能性が低い可能性がある。それとは別に、いくつかの遺伝子融合(例えば、NTRK融合物)は非常に稀であり得る。限定ではなく、例として、NTRK融合物は多種多様な腫瘍タイプで識別されているが、この特定の融合の頻度は、最も一般的ながん適応症では(例えば、肺腺癌、結腸直腸がん、及び非分泌性乳がん等において)1%未満であり得る。遺伝子融合の比較的希少性(例えば、肺腺癌におけるALKについての7%からNTRKについての0.3%未満の範囲)は、広範な試験に対する技術的及び経済的な著しい阻害要因となる。実際、これらの薬物から最も恩恵を受ける患者集団は、複雑な実験室検査を行うための専門知識、インフラストラクチャ、及び予算を有する学術機関に近い人々であることが研究により示されている。現在、分子検査は、遺伝子融合が患者に存在するかどうかを判定するために利用可能な唯一の方法である。しかしながら、分子検査は高価であり、患者は、費用のために分子検査のスケジューリングを回避することがあり、及び/又は分子検査から利益を得ることができない患者には不必要な費用が発生する。本明細書に記載の方法及びシステムは、分子検査から利益を得ることができる患者を識別するために使用することができるという点で、現在のシステムに対する改善を提示する。特に、本明細書に記載のデジタル病理画像処理システムは、デジタル病理機械学習モデルを使用して、遺伝子融合を有する可能性が高い患者をスクリーニングし、次いで、それらの患者が分子アッセイを使用して検査されるという推奨を提供することができる。結果として、開示されたデジタル病理画像処理システムは、患者間の遺伝子融合を検出する可能性を改善することができ、フォローアップ分子検査のコストを削減することができ、それによって標的療法が存在する遺伝子融合を呈する患者のヘルスケア転帰を更に有益にし、改善することができる。
【0142】
デジタル病理画像の生成及び処理:
図1は、開示される方法及びシステムのいくつかの例による、本明細書に記載のデジタル病理画像生成及び処理に使用することができる相互作用コンピュータシステムのネットワーク100を示す。
【0143】
デジタル病理画像生成システム120は、特定のサンプルに対応する、1つ以上の全スライド画像又は他の関連するデジタル病理画像を生成することができる。例えば、デジタル病理画像生成システム120によって生成された画像は、生検サンプルの染色された部分を含むことができる。別の例として、デジタル病理画像生成システム120によって生成された画像は、液体サンプルのスライド画像(例えば、血液フィルム)を含むことができる。別の例として、デジタル病理画像生成システム120によって生成された画像は、蛍光プローブが標的DNA又はRNA配列に結合した後の蛍光インサイチュハイブリダイゼーション(FISH)を描写するスライド画像等の蛍光顕微鏡法を含むことができる。
【0144】
いくつかのタイプのサンプル(例えば、生検、固体サンプル及び/又は組織を含むサンプル)は、サンプル調製システム121によって処理されて、サンプルを固定及び/又は包埋することができる。サンプル調製システム121は、固定剤(例えば、ホルムアルデヒド溶液等の液体固定剤)及び/又は包埋物質(例えば、組織学的ワックス)をサンプルに浸透させることを容易にすることができる。例えば、サンプル固定サブシステムは、少なくとも閾値時間(例えば、少なくとも3時間、少なくとも6時間、又は少なくとも13時間)にわたってサンプルを固定剤に曝露することによってサンプルを固定することができる。脱水サブシステムは、サンプルを脱水し(例えば、固定サンプル及び/又は固定サンプルの一部を1つ以上のエタノール溶液に曝露することによって)、潜在的に、透明化中間剤(例えば、エタノール及び組織学的ワックスを含む)を使用して脱水されたサンプルを透明化することができる。サンプル包埋サブシステムは、加熱された(例えば、したがって液体)組織ワックスをサンプル(例えば、対応する1回以上の所定の期間)に浸透させることができる。組織学的ワックスは、パラフィンワックス及び潜在的に1つ以上の樹脂(例えば、スチレン又はポリエチレン)を含むことができる。次いで、サンプル及びワックスを冷却し、ワックス浸透サンプルをブロックすることができる。
【0145】
サンプルスライサー122は、固定され包埋されたサンプルを受け取り、切片のセットを生成することができる。サンプルスライサー122は、固定され包埋されたサンプルを低温又は低温に曝すことができる。次いで、サンプルスライサー122は、冷却されたサンプル(又はそのトリミングバージョン)を切断して、一組の切片を生成することができる。各切片は、(例えば)100μm未満、50μm未満、10μm未満、又は5μm未満の厚さを有することができる。各切片は、(例えば)0.1μmより大きい、1μmより大きい、2μmより大きい、又は4μmより大きい厚さを有することができる。冷却されたサンプルの切断は、温水浴(例えば、少なくとも30℃、少なくとも35℃又は少なくとも40℃の温度)内で行うことができる。
【0146】
自動染色システム123は、各切片を1つ以上の染色剤に曝露することによって、サンプル切片のうちの1つ以上の染色を容易にすることができる。各切片は、所定の期間にわたって所定量の染色剤に曝露され得る。いくつかの例では、単一の切片を複数の染色剤に同時に又は連続的に曝露する。
【0147】
1つ以上染色された切片の各々を、切片のデジタル画像をキャプチャすることができる画像スキャナ124に提示することができる。画像スキャナ124は、顕微鏡カメラを含むことができる。画像スキャナ124は、複数の倍率(例えば、10倍対物レンズ、20倍対物レンズ、40倍対物レンズ等を使用する)でデジタル画像をキャプチャすることができる。画像の操作を使用して、所望の倍率範囲でサンプルの選択された部分をキャプチャすることができる。画像スキャナ124は、人間のオペレータによって識別された注釈及び/又は形態素を更にキャプチャすることができる。いくつかの例では、切片を洗浄し、1つ以上の他の染色に曝露し、再度画像化することができるように、1つ以上の画像がキャプチャされた後に、切片を自動染色システム123に戻す。複数の染色が使用される場合、第1の染色の多くを吸収した第1の切片に対応する画像の第1の領域を、第2の染色の多くを吸収した第2の切片に対応する画像の第2の領域(又は異なる画像)と区別することができるように、異なる色プロファイルを有するように染色を選択することができる。
【0148】
デジタル病理画像生成システム120の1つ以上構成要素は、いくつかの例では、人間のオペレータに関連して動作することができることが理解されよう。例えば、人間のオペレータは、様々なサブシステム(例えば、サンプル調製システム121又はデジタル病理画像生成システム120)にわたってサンプルを移動させ、及び/又はデジタル病理画像生成システム120の1つ以上のサブシステム、システム、又は構成要素の動作を開始又は終了することができる。別の例として、デジタル病理画像生成システム(例えば、サンプル調製システム121の1つ以上のサブシステム)の1つ以上の構成要素の一部又は全部を、人間のオペレータの動作で部分的又は全体的に置き換えることができる。
【0149】
更に、デジタル病理画像生成システム120の様々な説明及び描写された機能及び構成要素は、固体及び/又は生検サンプルの処理に関するが、他の実施形態は、液体サンプル(例えば、血液サンプル)に関することができることが理解されよう。例えば、デジタル病理画像生成システム120は、ベーススライド、塗り広げられた液体サンプル及びカバーを含む液体サンプル(例えば、血液又は尿)スライドを受け取ることができる。次いで、画像スキャナ124は、サンプルスライドの画像をキャプチャすることができる。デジタル病理画像生成システム120の更なる実施形態は、本明細書に記載のFISH等の先進の撮像技術を使用してサンプルの画像をキャプチャすることに関連付けることができる。例えば、蛍光プローブをサンプルに導入し、標的配列に結合させると、更なる分析のためにサンプルの画像を捕捉するために適切なイメージングを使用することができる。
【0150】
所与のサンプルは、処理及び撮像中に1人以上のユーザ(例えば、1人以上の医師、検査技師及び/又は医療提供者)と関連付けることができる。関連するユーザは、限定ではなく例として、とりわけ、撮像されているサンプルを生成した試験又は生検を注文した人、試験又は生検の結果を受け取る許可を得た人、又は試験又は生検サンプルの分析を行った人を含むことができる。例えば、ユーザは、医師、病理医、臨床医、又は対象に対応することができる。ユーザは、1つ又は1つのユーザデバイス130を使用して、サンプルがデジタル病理画像生成システム120によって処理され、得られた画像がデジタル病理画像処理システム110によって処理されるという1つ以上の要求(例えば、対象を識別する)を提出することができる。
【0151】
デジタル病理画像生成システム120は、画像スキャナ124によって生成された画像をユーザデバイス130に送り返すことができる。次いで、ユーザデバイス130は、デジタル病理画像処理システム110と通信して、画像の自動処理を開始する。いくつかの例では、デジタル病理画像生成システム120は、画像スキャナ124によって生成された画像を、例えばユーザデバイス130のユーザの指示で、デジタル病理画像処理システム110に直接提供する。示されていないが、他の中間デバイス(例えば、デジタル病理画像生成システム120又はデジタル病理画像処理システム110に接続されたサーバのデータストア)を使用することもできる。さらに、簡単にするために、ネットワーク100には、ただ1つのデジタル病理画像処理システム110、画像生成システム120、及びユーザデバイス130が示されている。本開示は、本開示の教示から必ずしも逸脱することなく、各タイプのシステム及びその構成要素の1つ以上の使用を予期する。
【0152】
図1に示すネットワーク100及び関連するシステムは、スライド画像全体等のデジタル病理画像のスキャン及び評価が作業の不可欠な構成要素である様々な状況で使用することができる。一例として、ネットワーク100は、ユーザが可能な診断目的でサンプルを評価している臨床環境に関連付けることができる。ユーザは、デジタル病理画像処理システム110に画像を提供する前に、ユーザデバイス130を使用して画像をレビューすることができる。ユーザは、デジタル病理画像処理システム110による画像の分析を案内又は指示するために使用することができる追加の情報をデジタル病理画像処理システム110に提供することができる。例えば、ユーザは、スキャン内の特徴の予測診断又は予備評定を提供することができる。ユーザはまた、レビューされる組織の種類等の追加のコンテキストを提供することができる。別の例として、ネットワーク100は、例えば、薬物の有効性又は潜在的な副作用を判定するために組織が検査されている実験室環境に関連付けることができる。これに関連して、当該薬物の全身に対する効果を判定するために、複数のタイプの組織をレビューのために提出することは一般的であり得る。これは、撮像されている組織の種類に大きく依存し得る画像の様々な状況を判定する必要があり得る人間のスキャンレビューアー(scan reviewer)に特定の課題を提示する可能性がある。これらのコンテキストは、任意に、デジタル病理画像処理システム110に提供することができる。
【0153】
デジタル病理画像処理システム110は、スライド画像全体を含むデジタル病理画像を処理して、デジタル病理画像を分類し、デジタル病理画像及び関連する出力の注釈を生成することができる。一例として、デジタル病理画像処理システム110は、デジタル病理画像処理システム110によって生成された組織サンプルの全スライド画像、又は組織サンプルの全スライド画像の画像パッチ(例えば、腫瘍間質によって取り囲まれた腫瘍細胞のクラスタ)を処理して、腫瘍領域又は腫瘍ネスト構造等の形態学的形質を識別し、腫瘍領域又は腫瘍ネスト構造等の識別された形態学的形質に基づいて、遺伝子融合等の遺伝子改変事象の発生を判定することができる。デジタル病理画像処理システム110は、スライディングウィンドウを使用して、腫瘍領域又は腫瘍ネスト構造上にマスクを生成することができる。例えば、スライド画像全体における腫瘍領域又は腫瘍ネスト構造を識別するためのマスクの使用に加えて、マスクはまた、厚さを測定し、異なる終点の長さを決定し、蛇行性についての湾曲性を決定し、三次元画像化又は処理シナリオにおいて体積を測定するためにも使用され得る。次いで、デジタル病理画像処理システム110は、クエリ画像を複数の画像パッチにトリミングすることができる。パッチ生成モジュール111は、各デジタル病理画像に対して画像パッチのセットを画定することができる。パッチのセットを定義するために、パッチ生成モジュール111は、デジタル病理画像を画像パッチのセットにセグメント化することができる。いくつかの例では、画像パッチは、重なり合わない(例えば、各パッチは、他のいずれのパッチにも含まれない画像の画素を含む)又は重なり合う(例えば、各パッチは、少なくとも1つの他のパッチに含まれる画像の画素の一部を含む)ことができる。各パッチのサイズ及びウィンドウのストライド(例えば、画像パッチと後続のパッチとの間の画像距離又は画素数)に加えて、画像パッチが重なるかどうか等の特徴は、分析のためのデータセットを増減することができ、より多くの画像パッチ(例えば、重なり合うパッチ又はより小さいパッチの使用によって達成される)は、最終的な出力及び視覚化の潜在的な解像度を高める。いくつかの例では、パッチ生成モジュール111は、各パッチが所定のサイズである、及び/又はパッチ間のオフセットが所定である、画像用の画像パッチのセットを定義する。遺伝子融合又は他の遺伝子改変を検出する例を続けると、各病理スライド画像は、一定数の画素の幅及び高さを有する画像パッチにトリミングされ得る。更に、いくつかの例では、パッチ生成モジュール111は、各スライド画像全体について、様々なサイズ、オーバーラップ、ステップサイズ等の画像パッチの複数のセットを作成することができる。一例として、いくつかの例では、各画像パッチの幅および高さ(画素数に関して)は、手元の評価タスク、クエエ画像自体、または任意の他の適切な要因などの要因に基づいて動的に(すなわち、固定されていない)決定されてもよい。いくつかの例では、デジタル病理画像自体が画像パッチの重なりを含むことができ、これは撮像技術から生じ得る。いくつかの例では、画像パッチのオーバーラップなしで実施されるセグメント化であっても、パッチ処理要件のバランスをとり、本明細書で説明する埋め込み生成及び重み値生成に影響を及ぼすことを回避するために好ましい場合がある。画像パッチサイズ又はパッチオフセットは、例えば、各サイズ/オフセットについて1つ以上の性能メトリック(例えば、精度、リコール、精度、及び/又はエラー)を計算し、所定の閾値を超える1つ以上の性能メトリックに関連付けられた、及び/又は1つ以上の性能メトリック(複数可)(例えば、高精度、高リコール、高精度、及び/又は低エラー)に関連付けられたパッチサイズ及び/又はオフセットを選択することによって決定することができる。
【0154】
いくつかの例では、パッチ生成モジュール111は、検出されている異常のタイプに応じてパッチサイズを更に定義することができる。例えば、パッチ生成モジュール111は、デジタル病理画像処理システム110が探索することになる組織表現型形質又は異常のタイプ(複数可)の認識を組み込むように構成することができ、検出を改善するために、組織表現型又は異常(いくつかの例では、組織サンプルの種類に従って)に従ってパッチサイズをカスタマイズすることができる。例えば、画像生成モジュール111は、組織表現型又は異常が肺組織の炎症又は壊死を探索することを含む場合、パッチサイズを縮小してスキャン速度を増加させるべきであり、組織異常が肝臓組織のクッパー細胞の異常を含む場合、パッチサイズを拡大して、デジタル病理画像処理システム110がクッパー細胞を全体的に分析する機会を増加させるべきであると判定することができる。いくつかの例では、パッチ生成モジュール111は、スライド画像全体のセット内のパッチの数、セットのパッチのサイズ、セットのパッチの解像度、又は他の関連するプロパティが、1つ以上画像の各々について定義され、一定に保持されるパッチのセットを定義することができる。
【0155】
いくつかの例では、パッチ生成モジュール111は、更に、各デジタル病理画像のパッチのセットを、1つ以上のカラーチャネル又は色の組み合わせに沿って画定してもよい。一例として、デジタル病理画像処理システム110によって受信されたデジタル病理画像は、いくつかの色チャネルのうちの1つについて画像の各画素に対して指定された画素色値(例えば、強度に対応するビット値)を有する大判マルチカラーチャネル画像を含むことができる。使用可能な色仕様又は色空間の例には、RGB、CMYK、HSL、HSV、又はHSBの色仕様が含まれる。画像パッチのセットは、カラーチャネルをセグメント化すること、及び/又は各パッチの輝度マップ又はグレースケール等価物を生成することに基づいて定義することができる。例えば、画像の各セグメントについて、パッチ生成モジュール111は、赤色パッチ、青色パッチ、緑色パッチ、及び/又は輝度パッチ、又は使用される色仕様の同等物を提供することができる。本明細書で説明するように、画像のセグメント及び/又はセグメントの色値に基づいてデジタル病理画像をセグメント化することにより、画像パッチ及びデジタル病理画像の埋め込み(例えば、画像特徴の低次元表現)を生成し、デジタル病理画像の分類を生成するために使用されるモデル/ネットワークの精度及び認識率を改善することができる。更に、デジタル病理画像処理システム110は、例えば、パッチ生成モジュール111を使用して、色仕様間で変換し、及び/又は複数の色仕様を使用して画像パッチのコピーを準備することができる。色仕様変換は、所望の種類の画像拡張(例えば、特定のカラーチャネル、飽和レベル、輝度レベル等を強調又は増強する)に基づいて選択することができる。色仕様変換はまた、デジタル病理画像生成システム120とデジタル病理画像処理システム110との間の互換性を改善するように選択することができる。例えば、特定の画像スキャニング構成要素は、HSL色仕様で出力を提供することができ、本明細書に記載のように、デジタル病理画像処理システム110で使用されるモデルは、RGB画像を使用して訓練することができる。画像パッチを互換性のある色仕様に変換することにより、パッチを依然として分析できることを保証することができる。更に、デジタル病理画像処理システムは、デジタル病理画像処理システムによって使用可能であるように特定の色深度(例えば、8ビット、1ビット等)で提供される画像をアップサンプリング又はダウンサンプリングすることができる。更に、デジタル病理画像処理システム110は、キャプチャされた画像の種類(例えば、蛍光画像は、色強度又はより広い範囲の色に関するより詳細を含むことができる)に応じて画像パッチを変換させることができる。
【0156】
いくつかの例では、デジタル病理画像処理システム110は、複数の画像パッチの各々から1つ以上の特徴を検出してもよい。1つ以上特徴は、例えば、細胞型等の臨床的特徴又は組織学的特徴の1つ以上を含み得る。したがって、複数の画像パッチの各々のラベルを生成することは、1つ以上の特徴に基づいてもよい。限定ではなく、例として、臨床的特徴は、診断時の患者年齢、患者の性別、患者の身長、患者の体重、患者の病歴、患者のサンプルの種類、又は患者の喫煙歴のうちの1つ以上を含み得る。限定ではなく、別の例として、組織学的特徴は、例えば、固体、篩状、微小乳頭状、乳頭状、腺房状、又は鱗状等の成長パターンを含み得る。
【0157】
本明細書に記載されるように、パッチ埋め込みモジュール112は、対応する特徴埋め込み空間内の各画像パッチについて埋め込み(例えば、画像特徴の高次元ベクトル表現の低次元空間への並進)を生成することができる。埋め込みは、デジタル病理画像処理システム110によって、画像パッチの特徴ベクトルとして表すことができる。いくつかの例では、パッチ埋め込みモジュール112は、ニューラルネットワーク(例えば、畳み込みニューラルネットワーク)を使用して、画像の各パッチを表す特徴ベクトルを生成することができる。特定の実施形態では、パッチ埋め込みニューラルネットワークは、例えば、ImageNetデータセット等の自然(例えば、非医療)画像に基づくデータセットで訓練されたResNet画像ネットワークに基づくことができる。非特殊な画像パッチ埋め込みネットワークを使用することにより、パッチ埋め込みモジュール112は、画像を効率的に処理して埋め込みを生成する際の既知の進歩を活用することができる。更に、自然画像データセットを使用することにより、埋め込みニューラルネットワークは、全体論的レベルで画像パッチセグメント間の違いを識別することを学習することができる。
【0158】
いくつかの例では、パッチ埋め込みモジュール112によって使用される画像パッチ埋め込みネットワークは、デジタル病理全スライド画像等の大きなフォーマットの画像から抽出された多数の画像パッチを処理するようにカスタマイズされた埋め込みネットワークとすることができる。更に、画像パッチ埋め込みモジュール112によって使用されるパッチ埋め込みネットワークは、カスタムデータセットを使用して訓練することができる。例えば、画像パッチ埋め込みネットワークは、スライド画像全体の様々なサンプルを使用して訓練することができ、又は埋め込みネットワークが埋め込みを生成する主題に関連するサンプルを使用して訓練することさえできる(例えば、特定の組織タイプのスキャン)。画像の特殊なセット又はカスタマイズされたセットを使用して画像パッチ埋め込みネットワークを訓練することにより、画像パッチ埋め込みネットワークが画像パッチ特徴間のより細かい(例えば、より微妙な)差を識別することを可能にすることができ、その結果、画像を取得するための追加の時間及び/又は画像パッチ埋め込みモジュール112によって使用するための複数の画像パッチ生成ネットワークを訓練する計算コスト及び経済コストの潜在的なコストで、特徴埋め込み空間内の画像パッチ間のより詳細で正確な距離を得ることができる。いくつかの例では、画像パッチ埋め込みモジュール112は、デジタル病理画像処理システム110によって処理されている画像の種類に基づいて、画像パッチ埋め込みネットワークのライブラリから選択することができる。
【0159】
本明細書で説明するように、画像パッチ埋め込み(例えば、画像特徴の低次元ベクトル表現)は、画像パッチの視覚的特徴に基づいて、機械学習モデル、例えばディープラーニングニューラルネットワークを使用して生成することができる。したがって、いくつかの例では、訓練された機械学習モデルは、例えば、画像特徴抽出モデルとして機能することができる。画像パッチ埋め込みは、画像パッチに関連するコンテキスト情報から、又は画像パッチに示されるコンテンツから更に生成することができる。例えば、画像パッチ埋め込みは、描写されたオブジェクトのサイズ(例えば、示された細胞のサイズ又は収差)及び/又は描写されたオブジェクトの密度(例えば、示された細胞の密度又は収差)を示す及び/又はそれに対応する1つ以上の特徴を含むことができる。サイズ及び密度は、絶対的に(例えば、画素で表された、又は画素からナノメートルに変換された寸法に基づく)、又は同じデジタル病理画像、デジタル病理画像のクラス(例えば、同様の技術を使用して、又は単一のデジタル病理画像生成システム若しくはスキャナによって生成される。)、又はデジタル病理画像の関連ファミリーからの他の画像パッチに対して測定することができる。更に、画像パッチ埋め込みモジュール112を使用して画像パッチの埋め込みを生成する前に、画像パッチ埋め込みモジュール112が埋め込みを準備するときに分類を考慮するように、画像パッチを分類することができる。
【0160】
一貫性のために、いくつかの例では、画像パッチ埋め込みモジュール112は、所定のサイズ(例えば、512要素の特徴ベクトル、2048バイトの特徴ベクトル等)の埋め込みを生成することができる。いくつかの例では、画像パッチ埋め込みモジュール112は、様々な任意のサイズの埋め込みを生成することができる。画像パッチ埋め込みモジュール112は、ユーザ方向に基づいて埋め込みのサイズを調整することができ、又はサイズは、例えば、計算効率、精度、又は他のパラメータに基づいて選択することができる。特定の例では、埋め込みサイズは、埋め込みを生成したディープラーニングニューラルネットワークの制限又は仕様に基づくことができる。より大きい埋め込みサイズを使用して、埋め込みに取り込まれる情報の量を増加させ、結果の品質及び精度を改善することができる一方で、より小さい埋め込みサイズを使用して計算効率を改善することができる。
【0161】
デジタル病理画像処理システム110は、1つ以上の機械学習モデルを埋め込みに適用すること、すなわち、埋め込みを機械学習モデルに入力することによって、異なる推論を実施することができる。一例として、デジタル病理画像処理システム110は、がん細胞の腫瘍領域又は腫瘍ネスト構造を識別するように訓練された機械学習モデルに基づいて、腫瘍領域又は腫瘍ネスト構造を識別することができる。いくつかの例では、画像を画像パッチにトリミングし、これらの画像パッチの埋め込みを生成し、次いでそのような埋め込みに基づいて推論を実施する必要はない。代わりに、いくつかの例では、十分なグラフィック処理ユニット(GPU)メモリを有するデジタル病理画像処理システム110は、推論を行うためにスライド画像全体の埋め込みに機械学習モデルを直接適用することができる。いくつかの例では、機械学習モデルの出力は、入力画像の形状にサイズ変更されてもよい。
【0162】
全スライド画像アクセスモジュール113は、デジタル病理画像処理システム110及びユーザデバイス130の他のモジュールからの全スライド画像にアクセスする要求を管理することができる。例えば、スライド全体画像アクセスモジュール113は、特定の画像パッチ、画像パッチの識別子、又はスライド全体画像の識別子に基づいてスライド全体画像を識別する要求を受信し得る。全スライド画像アクセスモジュール113は、全スライド画像が要求ユーザ又はモジュールにとって利用可能であることを確認し、要求された全スライド画像を取得するための適切なデータベースを識別し、要求ユーザ又はモジュールにとって目的の任意の追加のメタデータを取得するタスクを実施することができる。更に、スライド画像アクセスモジュール113全体は、要求元デバイスへの適切なデータの効率的なストリーミングを処理することができる。本明細書で説明するように、いくつかの例では、ユーザがスライド画像全体又はスライド画像全体の一部を見たいと思う可能性に基づいて、スライド画像全体を部分的にユーザデバイスに提供し得る。いくつかの例では、全スライド画像アクセスモジュール113は、全スライド画像のどの領域を提供するかを決定し、それらを提供する方法を判定し得る。更に、いくつかの例では、スライド画像アクセスモジュール113全体がデジタル病理画像処理システム110内で権限を与えられて、個々の構成要素がデータベース又はスライド画像全体をロックアップし、そうでなければデータベース又はスライド画像全体を悪用して他の構成要素又はユーザに損害を与えないことを確実し得る。
【0163】
いくつかの例では、デジタル病理画像処理システム110の出力生成モジュール114は、ユーザ要求に基づいて、結果画像パッチ及び結果スライド全体画像データセットに対応する出力を生成し得る。本明細書で説明するように、出力は、要求のタイプ及び利用可能なデータのタイプに基づいて、様々な視覚化、対話型グラフィック、及びレポートを含むことができる。いくつかの例では、出力は表示のためにユーザデバイス130に提供されるが、特定の例では、出力はデジタル病理画像処理システム110から直接アクセスされてもよい。出力は、適切なデータの存在及び適切なデータへのアクセスに基づくことから、出力生成モジュールは、必要に応じて必然的にメタデータ及び匿名化された患者情報にアクセスするように権限を与えられる。デジタル病理画像処理システム110の他のモジュールと同様に、出力生成モジュール114は、大幅なダウンタイムを必要とせずに新しい出力特徴をユーザに提供することができるように、モジュール式に更新及び改善することができる。
【0164】
本明細書に記載の一般的な技術を、様々なツール及びユースケースに統合することができる。例えば、上述したように、ユーザ(例えば、病理学者又は臨床医)は、デジタル病理画像処理システム110と通信するユーザデバイス130にアクセスし、分析のためのクエリ画像を提供することができる。デジタル病理画像処理システム110、又はデジタル病理画像処理システム110への接続は、対応する一致を検索し、類似の特徴を識別し、要求に応じてユーザに適切な出力を生成するスタンドアロンのソフトウェアツール又はパッケージとして提供することができる。合理化されたベースで購入又はライセンス付与することができるスタンドアロンツール又はプラグインとして、ツールを、研究又は臨床研究室の能力を増強するために使用することができる。更に、ツールを、デジタル病理画像生成サービス検査室の顧客に利用可能にされたサービスに統合することができる。例えば、ツールを、統一されたワークフローの一部として提供することができ、提出されたサンプルのスライド画像全体を調査又は作成するように要求するユーザは、以前にインデックス付けされた画像及び/又は同様のスライド画像全体内の注目に値する特徴のレポートを自動的に受信する。したがって、スライド画像全体の分析を改善することに加えて、これらの技術を既存のシステムに統合して、以前には考慮されていない、又は可能ではない追加の特徴を提供することができる。
【0165】
更に、デジタル病理画像処理システム110は、特定の設定で使用するために訓練及びカスタマイズすることができる。例えば、デジタル病理画像処理システム110は、特定の種類の組織(例えば、肺、心臓、血液、肝臓等)に関する洞察を提供する際に使用するために特別に訓練することができる。別の例として、デジタル病理画像処理システム110は、例えば、薬物又は他の潜在的な治療処置に関連する毒性のレベル又は程度を判定する際に、安全性評定を支援するように訓練することができる。特定の主題又は使用事例における使用のために訓練されると、デジタル病理画像処理システム110は、必ずしもその使用事例に限定されない。訓練は、少なくとも部分的にラベル付けされた又は注釈付けされた画像の比較的大きなセットのために、特定の状況、例えば、毒性評定で実施され得る。
【0166】
本明細書に開示される方法及びシステムは、ユーザが、ユーザによって提供されるデジタル病理画像に基づいて対象予測を容易に要求することを可能にし得る。いくつかの例では、デジタル病理画像処理システム110は、クライアントコンピューティングシステムから遠隔コンピューティングシステムに要求通信を送信して、対象からの生体サンプルの特定の部分のがん細胞を描写するデジタル病理画像を処理し得る。クライアントコンピューティングシステムから要求通信を受信することに応答して、遠隔コンピューティングシステムは、以下のステップを含む動作を実施し得る。遠隔コンピューティングシステムは、最初にデジタル病理画像にアクセスし得る。次いで、遠隔コンピューティングシステムは、デジタル病理画像を複数の画像パッチにセグメント化し得る。次いで、遠隔コンピューティングシステムは、複数の画像パッチの各々について、画像パッチが、例えば腫瘍領域又は腫瘍ネスト構造を描写するかどうかを示すラベルを生成し得る。遠隔コンピューティングシステムは、次いで、各画像パッチに対して生成されたラベルに基づいて、デジタル病理画像が、がん細胞に関して遺伝子融合の発生の描写を含むと判定し得る。次いで、遠隔コンピューティングシステムは、がん細胞に対する応答を伴う遺伝子融合の発生に基づいて、対象の対象予測を生成し得る。いくつかの例では、対象予測は、対象に対する1つ以上の治療レジメンの適用可能性の予測を含み得る。遠隔コンピューティングシステムは、応答通信を介してクライアントコンピューティングシステムに対象予測を更に提供し得る。いくつかの例では、クライアントコンピューティングシステムは、応答通信の受信に応答して対象予測を出力し得る。
【0167】
機械学習モデル訓練ワークフロー-例示的なシナリオ1:
図2は、組織サンプル中の変化した遺伝子状態の画像ベースの予測及び/又は判定のための開示される方法の一実施態様による、プロセス200において組織表現型分類モデル及び遺伝子改変状態分類モデルを訓練するために行われるステップの第1の非限定的な例を提供する。
【0168】
図2に示すように、目的の組織サンプル画像(例えば、遺伝子型判定又は次世代シーケンシング(NGS)法を用いて判定された特定の遺伝子改変状態等の目的の特徴を個々に示す組織サンプルの全スライド病理画像)のコホートから、画像の少なくともサブセットから画像パッチを抽出する(202)。画像パッチは、当業者に知られている様々な画像処理技術のいずれかを使用してスライド画像全体から抽出され得る。例えば、いくつかの例では、フルサイズのメガ画素又はギガ画素画像のダウンサンプリングされた画像(例えば、サムネイル)を利用して、フルサイズの画像を処理するときよりもマスク及び画像パッチ座標選択を扱いやすくする。いくつかの例では、使用されるダウンサンプリングされた画像は、使用される特定の画像フォーマット(例えば、.svs画像ファイル、.tiff画像ファイル等)の画像ピラミッドに提供される最小画像であってもよい。ダウンサンプリングされた画像は、画像処理ライブラリに含まれる標準的な変換アルゴリズムを使用してカラーからグレースケールに変換されてもよい。グレースケール画像に大津法等の閾値処理技術を適用してバイナリマスクを生成する。バイナリマスクを、バイナリエロージョン及びダイレーション(バイナリ画像から小さな斑点及び島を除去するプロセス)、並びに他の小さな物体除去技術等の技術を使用してクリーニングすることができる。バイナリマスクがクリーニングされると、それは画像パッチ抽出のためのサンプリングマップとして使用される。画像パッチ抽出では、フル解像度画像パッチの所望のサイズは、通常、予め決定される。次いで、スケーリング係数が、処理されているダウンサンプリングされた画像及びフルサイズ画像について計算され、その結果、スケーリングされたダウンサンプリングされた画像パッチサイズを使用して、ダウンサンプリングされたマスクを介してループ(例えば、ラスタ)することができる。ループプロセス中の各時点で、(所定のパーセンテージ閾値と比較して)十分な組織が存在することを確実にするために、局所ダウンサンプリングされた画像パッチが評定され、存在する場合、その画像パッチのダウンサンプリングされた画像座標が記憶される。ダウンサンプリングされたマスクがパッチ抽出のために処理されると、関連するダウンサンプリングされたパッチ座標は、画像ピラミッド内のフル解像度画像から画像パッチを「抽出」するために使用されるフルサイズ画像座標に変換される。多くの場合、パッチを「抽出する」ことは、完全な画像の小さな(画像パッチサイズの)部分のみを選択的に読み出すことに相当する。
【0169】
次いで、画像コホートのサブセットの画像パッチは、目的の組織表現型クラスを示すために、訓練された病理学者によって注釈付けされる(204)。いくつかの例では、画像パッチ抽出を実行する前に、病理学者によるスライド画像全体の注釈付けを実施してもよい。訓練された病理学者によって提供された所定のラベル(例えば、目的の組織表現型クラス)を含む注釈付き画像パッチデータは、その後、組織表現型分類モデル(モデルA)を訓練するためのラベル付き画像パッチ訓練データセットとして使用される。
【0170】
ステップ206に示すように、画像パッチを1つ以上組織表現型クラスに属するものとして分類するための組織表現型分類モデル(モデルA)((例えば、畳み込みニューラルネットワーク)の訓練は、ラベル付き画像パッチ訓練データ及び様々な機械学習/最適化アプローチ(例えば、勾配降下法、ニュートン法、共役勾配法、準ニュートン法、又はレーベンバーグ-マルカート法)のいずれかを使用して達成される。次いで、訓練された組織表現型分類モデル(モデルA)を使用して、組織サンプル画像のコホート内の残りの全てのスライドから抽出された組織画像パッチを分類する。
【0171】
いくつかの例では、目的の各組織表現型クラスのラベル付き画像パッチデータ(又は組織表現型クラスの組み合わせ)を介した反復を実施して、下流の機械学習モデル(例えば、畳み込みニューラルネットワーク)を訓練して正しい遺伝子改変状態を予測する際のそれらの使用(遺伝子型判定及び次世代シーケンシングによって判定された対応する遺伝子改変状態についてのペアスライドラベルと共に)を評定し得る。したがって、各表現型クラスに対するラベル付き画像パッチデータの反復により、目的の遺伝子改変状態の最良の予測因子であるラベル付き画像パッチデータのセットを識別することが可能になる。
【0172】
最後に、
図2のステップ208に示されるように、所与の遺伝子改変状態に対して最良の指標(複数可)を提供する「シグナル含有」組織表現型クラスに属するラベル付き画像パッチデータのサブセットが、組織サンプルに対するスライドレベルの遺伝子改変状態を判定し、出力するように構成された遺伝子改変状態分類モデル(モデルB)を更に訓練し、調整し、展開するために使用される。いくつかの例では、遺伝子改変状態のスライドレベル呼び出しは、スライドレベルの判定を行うための遺伝子改変状態の個々の画像パッチ予測にわたる平均化等の画像パッチ予測集約技術の使用、又は以下でより詳細に説明するように「多数決」アプローチを使用することを含み得る。
【0173】
機械学習モデル訓練ワークフロー-例示的なシナリオ2:
図3は、開示される方法の別の実施態様に従って組織表現型分類モデル及び遺伝子改変状態分類モデルを訓練するためにとられるステップの第2の非限定的な例を提供する。
【0174】
図3に示すように、ステップ302において、目的の組織サンプル画像(例えば、遺伝子型判定又は次世代シーケンシング(NGS)法を用いて判定された特定の遺伝子改変状態等の目的の特徴を個々に示す組織サンプルの全スライド病理画像)のコホートから、画像の少なくともサブセットから画像パッチを抽出する。
【0175】
視覚的類似性によってそれらをクラスタ化するために、画像のサブセットから抽出された組織画像パッチ(すなわち、特徴抽出画像パッチ)に対して画像特徴抽出が実施される(304)。上流の機械学習モデル(モデルA’)による画像特徴の抽出は、固定特徴抽出器として事前訓練された機械学習モデル(例えば、畳み込みニューラルネットワークモデル)、又は目的のコホートの視覚分布について訓練された教師なし機械学習モデル(例えば、オートエンコーダ)のいずれかを使用して実施される。
【0176】
次いで、抽出された画像特徴に基づく特徴抽出画像パッチのクラスタリングが実施される(306)。いくつかの例では、特徴抽出及びクラスタリングは、異なる機械学習モデル及び/又は統計的アプローチを使用して実施されてもよい。いくつかの例では、これらのステップは、特徴抽出方法及びクラスタリング方法の両方を含む機械学習モデル又はソフトウェアモジュールを使用して実施されてもよい。
【0177】
いくつかの例では、ステップ308に示すように、病理学者は、各画像パッチクラスタ(及びクラスタ内の対応する特徴抽出画像パッチ)を、対応する組織表現型クラス及び/又は他の関連する患者及び/又は組織サンプルの詳細で特徴付け、注釈付け(ラベル付け)してもよい。
【0178】
いくつかの例では、各クラスタ内の特徴抽出画像パッチに、視覚的に識別可能な組織表現型クラスと相関してもよく、又は相関しなくてもよいクラスタラベルを割り当ててもよい(310)。
【0179】
ステップ312に示すように、次いで、目的の画像特徴クラスタから選択されたラベル付き画像パッチデータを使用して、機械学習モデル(例えば、畳み込みニューラルネットワーク)を、非ラベル付き画像パッチを目的の組織表現型クラスに分類するように構成された組織表現型分類モデル(モデルB’)として訓練する(したがって、組織表現型クラス及び/又は画像特徴クラスタラベルでラベル付けされた画像パッチデータを生成する)。次いで、訓練された組織表現型分類モデル(モデルB’)を使用して、コホートからの残りのスライドから抽出された全ての画像パッチを分類する。
【0180】
いくつかの例では、目的の各組織表現型クラス又は画像特徴クラスタ(又は組織表現型クラス又は画像特徴クラスタの組み合わせ)に対するラベル付き画像パッチデータを介した反復を実施し、下流の機械学習モデル、例えば畳み込みニューラルネットワーク(モデルC)を訓練する際にそれらの使用(遺伝子型判定及び次世代シーケンシングによって判定される対応する遺伝子改変状態についてのペアスライドレベルのラベルと共に)を評定するために使用し、正しい遺伝子改変状態を予測し得る。したがって、各表現型クラスについてのラベル付き画像パッチデータ介した反復により、目的の遺伝子改変状態の最良の予測因子であるラベル付き画像パッチデータのセットを識別することが可能になる。
【0181】
最後に、
図3のステップ314に示すように、「シグナル含有」クラスに属する画像パッチのサブセット(反復実験によって判定される)を使用して、組織サンプルのスライドレベルの遺伝子改変状態の画像ベースの判定を提供するように構成された遺伝子改変状態分類モデル(モデルC’)を更に訓練、調整、及び展開し、いくつかの例では、モデルによって出力される組織サンプルの遺伝子改変状態のスライドレベルの判定は、例えば、以下でより詳細に説明するように、平均化によって個々の画像パッチ予測を集約すること、又は「多数決」アプローチを使用することに基づく。いくつかの例では、「シグナル含有」クラスに属するラベル付き画像パッチのサブセットから画像特徴を抽出し、それらの画像特徴を集約し、集約された画像特徴及び関連するスライドレベルの遺伝子改変状態ラベルを使用して遺伝子改変状態予測モデルを訓練することによって、遺伝子改変状態のスライドレベルの判定を達成し得る。
【0182】
展開及び使用方法:
図4は、遺伝子改変、例えば、遺伝子融合を検出するための例示的な方法400を示す。この方法は、
図1に示すデジタル病理画像処理システム110が、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスし得るステップ410を含み得る。限定ではなく、例として、デジタル病理画像は、腫瘍細胞(例えば、肺腺癌)を含む生体サンプルの走査染色(例えば、ヘマトキシリン及びエオシン染色)全スライド画像であってもよい。
【0183】
図4のステップ420において、デジタル病理画像処理システム110は、デジタル病理画像を複数の画像パッチにセグメント化してもよい。特定の例では、
図1に描写されるパッチ生成モジュール111を使用して、画像パッチを生成し得る。パッチは、重ならなくてもよく、又は重なっていてもよい。各画像パッチのサイズ及び画像パッチを作成するために使用されるウィンドウの段階的な変位に加えて、画像パッチが重なるかどうか等の特徴は、分析のためのデータセットを増減させることができ、より多くの画像パッチは最終的な出力及び視覚化の潜在的な解像度を増加させる。特定の例では、各画像パッチは所定のサイズであってもよく、及び/又は画像パッチ間のオフセットが所定であってもよい。更に、パッチ生成モジュール111は、各画像について、様々なサイズ、オーバーラップ、ステップサイズ等の画像パッチの複数のセットを作成し得る。パッチ生成モジュール111は、各デジタル病理画像について、1つ以上のカラーチャネルで、又は1つ以上の色の組み合わせで画像パッチを生成してもよい。画像パッチは、カラーチャネルをセグメント化すること、及び/又は各画像パッチの輝度マップ又はグレースケール等価物を生成することに基づいて生成され得る。更に、デジタル病理画像処理システム110は、デジタル病理画像処理システム110によって使用可能な特定の色深度で提供される画像をアップサンプリング又はダウンサンプリングすることができる。更に、デジタル病理画像処理システム110は、キャプチャされた画像の種類に応じて画像パッチを変換させることができる。
【0184】
図4のステップ430において、デジタル病理画像処理システム110は、複数の画像パッチの各々について、画像パッチが腫瘍領域を描写するか腫瘍ネスト構造を描写するかを示すラベルを生成し得る。限定ではなく、例として、デジタル病理画像処理システム110は、複数の画像パッチの各々から1つ以上の特徴を検出してもよい。1つ以上の特徴は、例えば、細胞型若しくは細胞グループ、臨床的特徴、又はゲノム特徴等の組織学的特徴の1つ以上を含み得る。したがって、複数の画像パッチの各々のラベルを生成することは、1つ以上の特徴に基づいてもよい。特定の例では、複数の画像パッチの各々のラベルを生成することは、画像パッチベースの分類又はマルチインスタンス学習(MIL)分類のうちの1つ以上に基づいてもよい。本明細書の他の箇所で述べたように、複数の画像パッチの各々のラベルを生成することは、1つ以上の訓練された機械学習モデルの使用に基づいてもよい。特定の例では、デジタル病理画像処理システム110は、例えば、腫瘍領域又は腫瘍ネスト構造を含むサンプルの1つ以上ラベル付けされた描写と、腫瘍領域又は腫瘍ネスト構造を含まないサンプルの1つ以上のラベル付けされた描写とを含む複数の訓練データに基づいて、1つ以上の機械学習モデルを訓練し得る。いくつかの例では、複数の画像パッチの各々に対するラベルの生成は、組織形態、例えば、腫瘍形態に基づいてもよい。腫瘍形態は、例えば、以下の組織学的特徴の1つ以上分析に基づいてもよい:印環細胞の存在又は数、肝様細胞の存在又は数、細胞外ムチン、腫瘍成長パターン、又は腫瘍不均質性。
【0185】
図4のステップ440において、デジタル病理画像処理システム110は、各画像パッチに対して生成されたラベルに基づいて、デジタル病理画像が画像内のがん細胞に対する遺伝子融合の発生の描写を含むと判定し得る。特定の例では、デジタル病理画像処理システム110は、遺伝子融合が存在することを効果的に判定するために、様々な異なるアプローチのいずれかを使用し得る。1つのアプローチは、例えば、標的遺伝子融合(例えば、NTRK融合物)を、ROS1融合物、ALK融合物及びRET融合物等の他の遺伝子融合物と組み合わせて、単一の作用可能な遺伝子融合クラスタにすることを含み得る。次いで、検出を容易にするために、クラスタを単一の遺伝子融合カテゴリーとして扱ってもよい。このアプローチでは、各遺伝子融合を個別に識別しようとするのではなく、デジタル病理画像処理システム110は、代わりにそれらを単一の群として扱い、したがって、半パーセント未満の頻度で個別に生じる遺伝子融合を検出する必要はない。限定ではなく、例として、これらの遺伝子融合の発生頻度の合計は、約15パーセントであり得る。
【0186】
別のアプローチは、これらの腫瘍の分子的ランドスケープ及び分子的特徴を使用することを含み得る。特定の例では、融合のためのシグナルは、主に腫瘍の巣/細胞で生じる可能性があり、強く、腫瘍領域全体に拡散し得る。したがって、スライドから直接融合物を識別することに加えて、デジタル病理画像処理システム110は、腫瘍にわたる分子的特徴の相互排他的分布に基づいて遺伝子融合物を識別し得る。例えば、肺腺癌の形態は、17%のEGFR感作、7%のALK、4%のEGFRその他、>1変異を有する3%、2%のHER2、2%のROS1、2%のBRAF、2%のRET、1%のNTRK1、1%のPIK3CA、1%のMEK1、31%の未知の発がんドライバ、及び25%のKRASの改変を含み得る分子ランドスケープにマッピングされ得る。肺腺癌の最も一般的なドライバ変異の中で、3パーセントのみが1つを超える変異を有し得、これは、肺がん患者の97%が単一の変異を有することを意味する。したがって、ドライバ変異が相互排他性を示すことは極めて一般的であり、この特徴は、がん患者の治療における臨床的意思決定を知らせるために様々な状況で使用され得る。開示される方法及びシステムのいくつかの例では、デジタル病理画像処理システム110は、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスし得る。次いで、デジタル病理画像処理システム110は、デジタル病理画像が遺伝子融合の発生と相互に排他的な1つ以上の突然変異の描写を含むと判定し、したがってがん細胞に対する遺伝子融合の非存在を判定し得る。いくつかの例では、デジタル病理画像処理システム110は、がんに関する遺伝子融合がないことに基づいて、対象の対象予測を更に生成し得る。対象予測は、例えば、対象に対する1つ以上の治療レジメンの適用性の予測を含み得る。この相互排他性のために、遺伝子融合を確実に識別することは別として、デジタル病理モデルは、KRAS及びEGFR等のより一般的な変異を識別し得て、そうすることで、遺伝子融合の存在を排除し得る。
【0187】
いくつかの例では、作用可能な遺伝子融合が存在すると予測又は判定することは、少なくとも部分的に、喫煙関連変異シグネチャ(例えば、Alexandrov,et al.(2016),“Mutational Signatures Associated With Tobacco Smoking in Human Cancer”,Science 354(6312):618-622)を参照)を識別及び排除することに基づいてもよい。
【0188】
いくつかの例では、作用可能な遺伝子融合が存在すると予測又は判定することは、固体及び篩状の成長パターン、及び/又は細胞外ムチンを含む、ALK、ROS1、及びRETに関連する組織学的特徴の検出に基づいてもよい。限定ではなく、別の例として、作用可能な遺伝子融合が存在すると予測又は判定することは、ALK、ROS1、及びRETに関連する細胞型の検出に基づいてもよい。これらの細胞型は、印環細胞、杯細胞又は肝様細胞の1つ以上を含み得る。異なる特徴は、異なる腫瘍タイプに対して異なるレベルの重要性を有し得る。これらの視覚的特徴の各々の自動検出及び定量化は、例えば、肺腺癌におけるALK、ROS1、RET及びNTRKの改変の予測を可能にし得る。
【0189】
いくつかの例では、遺伝子改変、例えば、遺伝子融合の存在を判定するためにデジタル病理画像処理システム110(又はそこに存在するデジタル病理機械学習モデル)によって使用され得る遺伝子融合及び腫瘍の別の特徴は、腫瘍遺伝子変異量(TMB)であり得る。いくつかの例では、例えば、キナーゼ又はがん遺伝子融合は、低い腫瘍遺伝子変異量に関連し得る。腫瘍の主な発がんドライバは、単一遺伝子融合であり得る。したがって、単一の発がんドライバに由来する形態学的シグナルが、スライド上の組織標本内の腫瘍細胞/領域の大部分にわたって存在することが予想され得る。エンドツーエンド遺伝子融合状態予測はまた、スライド全体にわたって強い均一なシグナルを示し得る。
【0190】
いくつかの例では、低い腫瘍遺伝子変異量は、腫瘍形態学的不均質性の減少を示唆し得る。患者は、ドライバ変異、ドライバ遺伝子における変異、及び/又はドライバ融合(例えば、ドライバ遺伝子を含む遺伝子融合物)を有すると特徴付けられ得る。いくつかの例では、がんにおける腫瘍遺伝子変異量は、ドライバ変異によって駆動され得る。いくつかの例では、がんの腫瘍遺伝子変異量はまた、遺伝子融合によって駆動され得る。いくつかの例では、遺伝子融合によって駆動されるがんは、有意に低い腫瘍遺伝子変異量を有し得る。したがって、低い腫瘍遺伝子変異量は、低い腫瘍不均質性と関連し得る。
【0191】
いくつかの例では、作用可能な遺伝子融合が存在すると予測又は判定することは、少なくとも部分的に、腫瘍不均質性の検出に基づいてもよい。
図5A及び
図5Bは、デジタル病理画像において可視化された腫瘍不均質性の例を提供する。腫瘍不均質性は、組織型にかかわらず全ての腫瘍細胞に適用可能な包括的な記述子である。腫瘍不均質性は、多くの異なる組織型にわたる遺伝子融合を識別することを可能にし得る、即ち、腫瘍不均質性の欠如は、多くの異なる組織型にわたる遺伝子融合と関連し得る。
図5A及び
図5Bは、2つの異なる種類の肉腫に対応し得る。
図5Aは、子宮平滑筋肉腫における例示的な腫瘍不均質性を提供する。腫瘍細胞は互いに非常に異なって見える。言い換えれば、それらは非常に不均質である。
図5Bは、隆隆起性皮膚線維肉腫における例示的な腫瘍不均質性を提供する。集団としての腫瘍細胞は、それらの形状、色彩強度、角張り度、及びサイズに関してより類似している。肉腫では、高い不均質性は、染色体数の異常である異数性に関連することが多いが、単調性(monotony)(例えば、低い腫瘍不均質性)は転座に関連し得る(すなわち、遺伝子融合の別の名称)。したがって、腫瘍不均質性の欠如は、腫瘍タイプにわたる遺伝子融合のシグネチャであり得る。しかしながら、いくつかの例では、ヒトの眼が腫瘍不均質性の欠如を観察することは困難な場合がある。そのような場合、本明細書に記載のデジタル病理学方法は、機械学習アプローチが徹底的な分析を必要とし得る微妙な違いを識別するのにより適しているため、特に有用であり得る。
【0192】
腫瘍不均質性は、侵攻性疾患の徴候であり得る。遺伝子融合を有する患者は、疾患の高いステージにおいて存在することが多い。これらの患者に見られる腫瘍不均質性の形態学的特徴は、場合によってはそれらの細胞が低い不均質性(すなわち、それらの細胞はクローンに見える場合がある)を有し得ることを除いて、侵攻性の腫瘍挙動の特徴であり得る。細胞レベルでは、細胞はクローンに見え得るが、群レベル(例えば、集団レベル)では、それらの表現型は侵攻性であり得、これは1つ以上の遺伝子融合の存在に特異的であり得る。腫瘍不均質性と遺伝子融合との相関に関する少なくとも2つの仮説がある。1つの仮説は、遺伝子融合を示す目に見えるシグナルが主に腫瘍巣/細胞に存在する可能性があるということであり得る。別の仮説は、遺伝子融合を示す目に見えるシグナルが強く、腫瘍領域の全ての部分にわたって拡散している可能性があるということであり得る。更に別の仮説は、低い腫瘍遺伝子変異量が腫瘍形態学的不均質性の減少を示唆する可能性があるということであり得る。
【0193】
腫瘍不均質性の欠如を検出するために、いくつかの例では、デジタル病理画像処理システム110は、いくつかの異なるアプローチのいずれかを使用してスライド画像全体で識別された各腫瘍核を分析し得る。例えば、1つのアプローチでは、自動腫瘍核検出及びパラメータ化が実施され得て、訓練された機械学習モデルを使用して、各腫瘍核を識別し、以下に説明するように、各核の特定のパラメータ又は特徴のセットを測定し、次いで、特定のパラメータ又は特徴の集団レベル分布を比較し得る。別の例では、アプローチは、画像パッチベースの評定であり得る腫瘍画像セグメント化を実施することを含み得る。いくつかの例では、腫瘍不均質性の判定は、スライドごとの予測ベース(これは、例えば、不均質であると予測された画像パッチのパーセンテージ(複数可)、又は各スライドの予測スコアの平均を計算することを含み得る)で行われ得る。
【0194】
いくつかの例では、腫瘍不均質性は、遺伝子融合に関与する遺伝子の種類によって駆動され得る。腫瘍抑制遺伝子の場合、腫瘍形成は機能の喪失によって媒介され得る。そのような変異は、細胞を正常な細胞周期制御から解放することができ、これは次に間接的に成長を促進し得る。時間が経つにつれて、このプロセスは、娘細胞の新しい世代ごとにがん促進変異の蓄積を可能にする。対照的に、がん遺伝子の場合、腫瘍形成は機能獲得によって媒介され得る。例えば、成長因子の過剰活性化は、成長を直接促進し、それによって無制限の成長をもたらし得る。このプロセスは、追加の変異を必要としない即時成長の利点をもたらすと予測される。この理論的根拠に基づいて、ALK、ROS1、RET及びNTRK等のがん遺伝子が関与する融合を含む腫瘍では、低い腫瘍不均質性が予想され得る。
【0195】
腫瘍不均質性を評定するための1つのアプローチは、核等の腫瘍細胞における細胞レベルの構造の形態の評定を含み得る。核の形態は、限定ではなく例として、クロマチン特徴、幾何学的座標、基本的な形態特徴、2次元形状特徴、一次統計量、グレーレベル「(例えば、「グレー」は画素強度レベルの空間分布を表す)共起マトリックス特徴、グレーレベル依存性マトリックス特徴、グレーレベルランレングスマトリックス特徴、グレーレベルサイズゾーンマトリックス特徴、近傍グレートーン差マトリックス特徴、高度な核形態特徴、並びに境界特徴及び曲率特徴等の画像特徴のカテゴリーに編成され得る複数の画像特徴によって表され得る。
【0196】
各タイプは、1つ以上の複数の画像特徴を含み得る。これらのウイルスの例には以下が含まれるがこれらに限定されない:
● クロマチン特徴、例えば:
〇 核の不均質性(hetero)、
〇 顆粒のサイズ分布(clump)、
〇 全核面積に対する大きい顆粒の割合(condense)、
〇 核膜又は周縁部の周りの分布(margination);
● 幾何学的座標、例えば、
〇 領域座標(region_coords)、
〇 x座標(x)、
〇 y座標(y);
● 基本的な形態特徴、例えば、
〇 核の面積(area)、
〇 核の凸領域(convex_area)、
〇 核の偏心(eccentricity)、
〇 核の直径(equivalent_diameter)、
〇 全視野若しくは視野又は選択された視野のいずれかにおける、境界ボックス内の画素に対する核内の画素の比(extent)、
〇 核の周囲長(perimeter)、
〇 凸包の画素に対する核内の画素の比(solidity)、
〇 慣性テンソルの固有値によって測定される核の伸長(inertia_tensor_eigvals1、inertia_tensor_eigvals2)、
〇 核の長軸の長さ(major_axis_length)、
〇 核の短軸の長さ(minor_axis_length)、
〇 Huモーメント(特定の加重平均、別名画像画素の強度の「モーメント」、すなわち、並進、回転、及びスケール不変のモーメント)(moments_hu0、moments_hu1、moments_hu2、moments_hu3、moments_hu4、moments_hu5、moments_hu6)、
〇 加重Huモーメント(weighted_moments_hu0、weighted_moments_hu1、weighted_moments_hu2、weighted_moments_hu3、weighted_moments_hu4、weighted_moments_hu5,weighted_moments_hu6);
● 2次元形状特徴、例えば、
〇 2次元形状伸長(original_shape2D_Elongation)、
〇 2次元形状最大径(original_shape2D_MaximumDiameter)、
〇 2次元形状メッシュ面(original_shape2D_MeshSurface)、
〇 2次元形状周囲長対表面比(original_shape2D_PerimeterSurfaceRatio)、
〇 2次元形状画素面(original_shape2D_PixelSurface)、
〇 2次元形状真球度(original_shape2D_Sphericity)、
〇 2次元形状球面不均衡(original_shape2D_SphericalDisproportion);
● 一次統計量、例えば、
〇 1次10パーセンタイル(original_firstorder_10Percentile)、
〇 1次90パーセンタイル(original_firstorder_90Percentile)、
〇 一次エネルギー(original_firstorder_Energy)、
〇 画像値の不確実性又はランダム性を指定する、一次エントロピー(original_firstorder_Entropy)、
〇 四分位分割に基づいて変動を測定する、一次四分位範囲(original_firstorder_InterquartileRange)、
〇 値の分布の「尖り(peakedness)」を測定する、1次尖度(original_first_order_Kurtosis)、
〇 一次最大値(original_firstorder_Maximum)、
〇 1次平均絶対偏差(original_firstorder_MeanAbsoluteDeviation)、
〇 一次平均(original_firstorder_Mean)、
〇 1次中央値(original_firstorder_Median)、
〇 一次最小値(original_firstorder_Minimum)、
〇 1次範囲(original_firstorder_Range)、
〇 平均値からの全ての強度値の平均距離である、一次ロバスト平均絶対偏差(original_firstorder_RobustMeanAbsoluteDeviation)、
〇 全ての二乗強度値の平均である、二乗平均平方根(original_firstorder_RootMeanSquared),
〇 平均に関する値の分布の非対称性を測定する、一次歪度(original_firstorder_Skewness)、
〇 1次総エネルギー(original_firstorder_TotalEnergy)、
〇 一次均一性(original_firstorder_Uniformity)、
〇 一次分散(original_firstorder_Variance);
● グレーレベル共起マトリックス(GLCM)(マスクによって制約された画像領域の二次同時確率関数を記述する)特徴、例えば、
〇 GLCM自己相関(original_glcm_Autocorrelation)、
〇 GLCMクラスタプロミネンス(original_glcm_ClusterProminence)、
〇 GLCMクラスタシェード(original_glcm_ClusterShade)、
〇 GLCMクラスタ傾向(original_glcm_ClusterTendency)、
〇 GLCMコントラスト(original_glcm_Contrast)、
〇 GLCM相関(original_glcm_Correlation)、
〇 GLCM差分平均(original_glcm_DifferenceAverage)、
〇 GLCM差分エントロピー(original_glcm_DifferenceEntropy)
〇 GLCM差分分散(original_glcm_DifferenceVariance)、
〇 GLCM逆差分(original_glcm_Id)、
〇 GLCM逆差分モーメント(original_glcm_Idm)、
〇 GLCM逆差分モーメント正規化(original_glcm_Idmn)、
〇 GLCM逆差分正規化(original_glcm_Idn)、
〇 相関のGLCM情報測度(original_glcm_lmc1,original_glcm_Imc2)、
〇 GLCM逆分散(original_glcm_InverseVariance)、
〇 GLCM結合平均(original_glcm_JointAverage)、
〇 GLCM結合エネルギー(original_glcm_JointEnergy)、
〇 GLCM結合エントロピー(original_glcm_JointEntropy)、
〇 GLCM最大相関係数(original_glcm_MCC)、
〇 GLCM最大確率(original_glcm_MaximumProbability)、
〇 GLCM和平均(original_glcm_SumAverage)、
〇 GLCM和エントロピー(original_glcm_SumEntropy)、
〇 GLCM二乗和(original_glcm_SumSquares);
● グレーレベル依存性マトリックス(画像内のグレーレベル依存性を定量化し、グレーレベル依存性は、中心画素に依存する指定された距離内の接続された画素の数として定義される)特徴、例えば、
〇 GLDMグレーレベル依存性エントロピー(original_gldm_DependenceEntropy)、
〇 GLDM依存性不均一性(original_gldm_DependenceNonUniformity)、
〇 GLDM依存性不均一性正規化(original_gldm_DependenceNonUniformityNormalized)、
〇 GLDM依存性分散(original_gldm_DependenceVariance)、
〇 GLDMグレーレベル不均一性(original_gldm_GrayLevelNonUniformity)、
〇 GLDMグレーレベル分散(original_gldm_GrayLevelVariance)、
〇 GLDM高グレーレベル強調(original_gldm_HighGrayLevelEmphasis)、
〇 GLDM大依存性強調(original_gldm_LargeDependenceEmphasis)、
〇 GLDM大依存性高グレーレベル強調(original_gldm_LargeDependenceHighGrayLevelEmphasis)、
〇 GLDM大依存性低グレーレベル強調(original_gldm_LargeDependenceLowGrayLevelEmphasis)、
〇 GLDM低グレーレベル強調(original_gldm_LowGrayLevelEmphasis)、
〇 GLDM小依存性強調(original_gldm_SmallDependenceEmphasis)、
〇 GLDM小依存性高グレーレベル強調(original_gldm_SmallDependenceHighGrayLevelEmphasis)、
〇 GLDM小依存性低グレーレベル強調(original_gldm_SmalDependenceLowGrayLevel強調);
● グレーレベルランレングスマトリックス(GLRLM)(同じグレーレベル値を有する連続画素の画素数での長さとして定義されるグレーレベルランを定量化する)特徴、例えば、
〇 GLRLMグレーレベル不均一性(original_glrlm_GrayLevelNonUniformity)、
〇 GLRLMグレーレベル不均一性正規化(original_glrlm_GrayLevelNonUniformityNormalized)、
〇 GLRLMグレーレベル分散(original_glrlm_GrayLevelVariance)、
〇 GLRLM高グレーレベルラン強調(original_glrlm_HighGrayLevelRunEmphasis)、
〇 GLRLMロングラン強調(LRE)(original_glrlm_LongRunEmphasis)、
〇 GLRLMロングラン高グレーレベル強調(original_glrlm_LongRunHighGrayLevelEmphasis)、
〇 GLRLMロングラン低グレーレベル強調(original_glrm_LongRunLowGrayLevelEmphasis)、
〇 GLRLM低グレーレベルラン強調(original_glrlm_LowGrayLevelRunEmphasis)、
〇 GLRMランエントロピー(original_glrm_RunEntropy)、
〇 GLRMラン長不均一性)、(original_glrm_RunLengthNonuniformity)、
〇 GLRLMランレングス不均一性正規化(original_glrlm_RunLengthNonUniformityNormalized),
〇 GLRLMランパーセンテージ(original_glrlm_RunPercentage)、
〇 GLRLMラン分散(original_glrlm_RunVariance)、
〇 GLRLMショートラン強調(original_glrlm_ShortRunEmphasis)、
〇 GLRLMショートラン高グレーレベル強調(original_glrlm_ShortRunHighGrayLevelEmphasis)、
〇 GLRLMショートラン低グレーレベル強調(original_glrlm_ShortRunLowGrayLevelEmphasis);
● グレーレベルサイズゾーン(GLSZM)(画像領域内のグレーレベルゾーンを記述する)マトリックス特徴、例えば、
〇 GLSZMグレーレベル不均一性(original_glszm_GrayLevelNonUniformity)、
〇 GLSZMグレーレベル不均一性正規化(original_glszm_GrayLevelNonUniformityNormalized)、
〇 GLSZMグレーレベル分散(original_glszm_GrayLevelVariance)、
〇 GLSZM高グレーレベルゾーン強調(original_glszm_HighGrayLevelZoneEmphasis)、
〇 GLSZM大領域強調(original_glszm_LargeAreaEmphasis)、
〇 GLSZM大領域高グレーレベル強調(original_glszm_LargeAreaHighGrayLevelEmphasis)、
〇 GLSZM大領域低グレーレベル強調(original_glszm_LargeAreaLowGrayLevelEmphasis)、
〇 GLSZM低グレーレベルゾーン強調(original_glszm_LowGrayLevelZoneEmphasis)、
〇 GLSZMサイズゾーン不均一性(original_glszm_SizeZoneNonUniformity)、
〇 GLSZMサイズゾーン不均一性正規化(original_glszm_SizeZoneNonUniformityNormalized)、
〇 GLSZM小領域強調(original_glszm_SmallAreaEmphasis)、
〇 GLSZM小領域強調高グレーレベル強調(original_glszm_SmallAreaHighGrayLevelEmphasis)、
〇 GLSZM小領域低グレーレベル強調(original_glszm_SmallAreaLowGrayLevelEmphasis)、
〇 GLSZMゾーンエントロピー(original_glszm_ZoneEntropy)、
〇 GLSZMゾーンパーセンテージ(original_glszm_ZonePercentage)、
〇 GLSZMゾーン分散(original_glszm_ZoneVariance);
● 近傍グレートーン差マトリックス(NGTDM)(特定の距離内の隣接者のグレー値と平均グレー値との間の差を記述する)特徴、例えば、
〇 NGTDMビジネス(original_ngtdm_Busyness)、
〇 NGTDM粗さ(original_ngtdm_Coarseness)、
〇 NGTDM複雑度(original_ngtdm_Complexity)、
〇 NGTDMコントラスト(original_ngtdm_Contrast)、
〇 NGTDM強度(original_ngtdm_Strength);
● 進行した核形態学的特徴、例えば:
〇 楕円形の核の半径(ellipse_R_index)、
〇 楕円形の核の長軸(ellipse_MA_index)、
〇 曲率の周囲長を測定する核の凸面周囲長(凸面_周囲長)、
〇 核の真円度を測定する、核の真円度(circularity)、
〇 凸包から形状を減算したときに残る連結成分の正規化数(Ncce_index);
● 境界(核の境界シグネチャは、全ての境界座標から核の重心点までの距離プロファイルである)特徴、例えば、
〇 中央値(median(R))、
〇 最頻値(mode(R))、
〇 最大値(max_v:maxR(R))、
〇 最小値(min_v:min(R))、
〇 境界シグネチャの25パーセンタイル(percentile_25:25% percentile(R))、
〇 境界シグネチャの75パーセンタイル(percentile_75:75% percentile(R))、
〇 平均境界シグネチャの25パーセンタイル未満(mean_below_percentile_25:mean(R(R < percentile_25)))、
〇 平均境界シグネチャの75パーセンタイル超(mean_above_percentile_75:mean(R(R > percentile_75)))、
〇 境界シグネチャの合計距離(sum_dist:sum(R))、
〇 境界シグネチャの調和平均(harmonic_mean:harmonic mean(R))、
〇 3%トリム平均境界シグネチャ(trimmed_mean_3_percent:3% trimmed mean(R))、
〇 5%トリム平均境界シグネチャ(trimmed_mean_5_percent:5% trimmed mean(R))、
〇 15%トリム平均境界シグネチャ(trimmed_mean_15_percent:15% trimmed mean(R))、
〇 25%トリム平均境界シグネチャ(trimmed_mean_25_percent:25% trimmed mean(R))、
〇 平均による標準偏差(std_dev_by_mean:sR/|<R>|)、
〇 中央値による標準偏差(std_dev_by_median:sR/|median(R)|)、
〇 最頻値による標準偏差(std_dev_by_mode:sR/|mode(R)|)、
〇 歪度(skewness(R))、
〇 尖度(kurtosis(R))、
〇 距離プロファイルの平均から境界シグネチャの平均を引いたもの(mean_dist_profile_minus_mean:mean(|R-<R>|))、
〇 範囲(range_v:range(X))、
〇 四分位範囲(interquantile_range:interquartile range(X))、
〇 距離プロファイル二乗和(sum_dist_profile_square:sum(R2))、
〇 距離プロファイル三乗和(sum_dist_profile_cube:sum(R3))、
〇 二乗平均距離プロファイル(mean_dist_profile_square:mean(R2))、
〇 三乗平均距離プロファイル(mean_dist_profile_cube:mean(R3))、
〇 4に上げられた平均距離プロファイル(mean_dist_profile_raise_to_four:mean(R4))、
〇 5に上げられた平均距離プロファイル(mean_dist_profile_raise_to_five:mean(R5))、
〇 距離プロファイルの和-2の平均累乗(sum_dist_profile_minus_mean_pow2:sum(|R-<R>|2)),
〇 距離プロファイルの和-3の平均累乗(sum_dist_profile_minus_mean_pow3:sum(|R-<R>|3)),
〇 平均距離プロファイル-2の平均累乗(mean_dist_profile_minus_mean_pow2:mean(|R-<R>|2))、
〇 平均距離プロファイル-3の平均累乗(mean_dist_profile_minus_mean_pow3:mean(|R-<R>|3))、
〇 平均距離プロファイル-4の平均累乗(mean_dist_profile_minus_mean_pow4:mean(|R-<R>|4))、
〇 平均距離プロファイル-5の平均累乗(mean_dist_profile_minus_mean_pow5:mean(|R-<R>|5))、
〇 ピーク数(number_of_peaks)、
〇 ジニ係数(gini coefficient);
● 曲率特徴、例えば、
〇 中央値曲率(c_median:median(k))、
〇 最頻値曲率(c_mode:mode(k))、
〇 最大曲率(c_max_v:max(k))、
〇 最小曲率(c_min_v:min(k))、
〇 25パーセンタイル曲率((c_percentile_25:25% percentile(k))、
〇 75パーセンタイル曲率((c_percentile_75:75% percentile(k))、
〇 平均曲率の25パーセンタイル未満(c_mean_below_percentile_25:mean(k(k < c_percentile_25)))、
〇 平均曲率の75パーセンタイル超(c_mean_above_percentile_75:mean(k(k > c_percentile_75)))、
〇 サムダンス(sum dance)(c_sum_dist:sum(k))、
〇 調和平均(c_harmonic_mean:harmonic mean(k))、
〇 3%トリム平均曲率(c_trimmed_mean_3_percent:3% trimmed mean(k))、
〇 3%トリム平均曲率(c_trimmed_mean_5_percent:5% trimmed mean(k)),
〇 15%トリム平均曲率(c_trimmed_mean_15_percent:15% trimmed mean(k))、
〇 25%トリム平均曲率(c_trimmed_mean_25_percent:25% trimmed mean(k))、
〇 平均による標準偏差(c_std_dev_by_mean:sk/|<k>|)、
〇 中央値による標準偏差(c_std_dev_by_median:sk/|median(k)|)、
〇 最頻値による標準偏差(c_std_dev_by_mode:sk/|mode(k)|)、
〇 歪度(c_skewness:skewness(k))、
〇 尖度(c_kurtosis:kurtosis(k))、
〇 平均曲率(c_mean:mean(|k-<k>|))、
〇 曲率範囲(c_range_v:range(k))、
〇 四分位範囲(c_interquartile_range:interquartile range(k))、
〇 曲率プロファイルの二乗和(c_sum_curvature_profile_square:sum(k2))、
〇 曲率プロファイル三乗和(c_sum_curvature_profile_cube:sum(k3))、
〇 二乗平均曲率プロファイル(c_mean_curvature_profile_square:mean(k2))、
〇 三乗平均曲率プロファイル(c_mean_curvature_profile_cube:mean(k3))、
〇 4に上げられた平均曲率プロファイル(c_mean_curvature_profile_raise_to_four:mean(k4))、
〇 5に上げられた平均曲率プロファイル(c_mean_curvature_profile_raise_to_five:mean(k5))、
〇 曲率プロファイルの和-2の平均累乗(c_sum_curvature_profile_minus_mean_pow2:sum(|k-<k>|2))、
〇 曲率プロファイルの和-3の平均累乗(c_sum_curvature_profile_minus_mean_pow3:sum(|k-<k>|3))、
〇 平均曲率プロファイル-2の平均累乗(c_mean_curvature_profile_minus_mean_pow2:mean(|k-<k>|2))、
〇 平均曲率プロファイル-3の平均累乗(c_mean_curvature_profile_minus_mean_pow3:mean(|k-<k>|3))、
〇 平均曲率プロファイル-4の平均累乗(c_mean_curvature_profile_minus_mean_pow4:mean(|k-<k>|4))、
〇 平均曲率プロファイル-5の平均累乗(c_mean_curvature_profile_minus_mean_pow5:mean(|k-<k>|5))、
〇 ピーク数(c_number_of_peaks:number 〇f peaks)、
〇 ジニ係数(c_gini_coefficient:gini coefficient(k))。
【0197】
画像特徴は、1つ以上の統計的メトリックを使用して評価され得る。1つ以上の特徴選択プロセスを使用して、発がん性ドライバに関連する画像特徴を選択してもよい。非限定的で例示的な統計的メトリックは、標準偏差、2つのランダムに引き出されたサンプル間の差を平均する二次エントロピー、正規分布とサンプルの経験的分布関数との間の距離に基づくコルモゴロフ-スミルノフ、及び外れ値パーセンテージ(例えば、平均から標準偏差の2倍の範囲外の値のパーセンテージ)である。いくつかの実施形態では、選択された画像特徴は、複数の画像特徴の中で発がん性ドライバに対して最も高い関連性を有し得る。発がん性ドライバは、融合、変異、又は未知のドライバであり得る。
【0198】
いくつかの実施形態では、例示的な選択された核形態画像特徴は、以下を含み得る:
● 基本的な形態特徴、例えば、
〇 核の面積(area)、
〇 全視野若しくは視野又は選択された視野のいずれかにおける、境界ボックス内の画素に対する核内の画素の比(extent)、
〇 凸包の画素に対する核内の画素の比(ソリディティ)、
〇 Huモーメント(特定の加重平均、別名画像画素の強度の「モーメント」、すなわち、並進、回転、及びスケール不変のモーメント)(moments_hu0)、
〇 加重Huモーメント(weighted_moments_hu0、weighted_moments_hu1、weighted_moments_hu2);
● 2次元形状特徴、例えば、2次元形状周囲長対表面比(original_shape2D_PerimeterSurfaceRatio):
● 一般的に使用される基本的なメトリックを介してマスクによって画定された画像領域内の画素強度の分布を記述する一次統計画像特徴、例えば、
〇 1次90パーセンタイル(original_firstorder_90Percentile)、
〇 一次最小値(original_firstorder_Minimum)、
〇 画像値の不確実性又はランダム性を指定する、一次エントロピー(original_firstorder_Entropy);
● グレーレベル共起マトリックス(GLCM)(マスクによって制約された画像領域の二次同時確率関数を記述する)画像特徴、例えば、
〇 GLCM逆差分(original_glcm_Id)、
〇 GLCMコントラスト(original_glcm_contrast)、
〇 GLCM結合エントロピー(original_glcm_JointEntropy)、
〇 GLCMエントロピー和(original_glcm_SumEntropy);
● グレーレベル依存性マトリックス(GLDM)(画像内のグレーレベル依存性を定量化し、グレーレベル依存性は、中心画素に依存する指定された距離内の接続された画素の数として定義される)画像特徴、例えば、
〇 GLDMグレーレベル依存性エントロピー(original_gldm_DependenceEntropy)、
〇 画像を介して依存性の類似性を測定し、正規化される、GLDM依存性不均一性正規化(DNUN)(original_DependenceNonUniformityNormalized)、
〇 小依存性の分布を測定する小依存性強調(SDE)(original_gldm_SmallDependenceEmphasis);
● グレーレベルランレングスマトリックス(GLRLM)(同じグレーレベル値を有する連続画素の画素数での長さとして定義されるグレーレベルランを定量化する)画像特徴、例えば、
〇 GLRLMロングラン強調(LRE)(original_glrlm_LongRunEmphasis)、
〇 GLRLMロングラン低グレーレベル強調(original_glrm_LongRunLowGrayLevelEmphasis)、
〇 GLRMランレングス不均一性(original_glrm_RunLengthNonuniformity)、
〇 GLRMランエントロピー(original_glrm_RunEntropy);
● 曲率画像特徴、例えば、
〇 平均曲率(c_mean)、
〇 中央値曲率(c_median)、
〇 25パーセンタイル曲率(c_percentile_25)、
〇 75パーセンタイル曲率(c_percentile_75)、
〇 平均曲率の75パーセンタイル超(c_mean_above_percentile_75)、
〇 15%トリム平均曲率(c_trimmed_mean_15_percent)、
〇 25%トリム平均曲率(c_trimmed_mean_25_percent)、
〇 四分位範囲曲率(c_interquantile_range)、
〇 曲率のジニ係数(c_gini_coefficient);及び
● 進行した核形態学的特徴、例えば:
〇 楕円形の核の半径(ellipse_R_index)、
〇 楕円形の核の長軸(ellipse_MA_index)
〇 曲率の周囲長を測定する核の凸面周囲長(凸面_周囲長)、
〇 凸包から形状を減算したときに残る連結成分の正規化数(Ncce_index)。
【0199】
いくつかの例では、作用可能な遺伝子融合が存在すると予測又は判定することは、少なくとも部分的に、細胞外ムチンの検出に基づいてもよい。過剰な細胞外ムチンは融合状態を示すと報告されており、遺伝子融合状態予測のための開示される方法は、これらの知見を実証し得る。いくつかの例では、デジタル病理画像処理システム110は、遺伝子融合状態を詳細に予測し、例えば、切除と生検との間の違いを識別し、領域の正確なセグメント化を判定し、細胞外ムチンを含有する画像パッチの粗検出を実施し、腫瘍領域検出から実際の遺伝子融合状態予測に移行し得る。限定ではなく、例として、いくつかの例では、腫瘍領域検出から実際の遺伝子融合状態予測に移行することは、検出されたムチンの割合を組織に対して決定すること、又は検出されたムチンの割合を腫瘍に対して判定することを含み得る。
【0200】
いくつかの例では、デジタル病理機械学習モデルは、異なる腫瘍タイプにわたって一般的に適用可能であり得る。したがって、デジタル病理画像処理システム110は、デジタル病理機械学習モデルの使用に基づいて、汎腫瘍又は臓器横断的に作用可能な遺伝子融合を識別及び予測するために使用され得る。例えば、それぞれALK融合又はROS1融合で訓練されたデジタル病理機械学習モデルを含むデジタル病理画像処理システム110の性能は同じであった。別の例として、NTRK融合に関するシグナルは、ALK、ROS1、及びRETでソートされ得る。例えば、NTRKベースの訓練データを使用せずにデジタル病理機械学習モデルを訓練したとしても、本明細書に開示される方法を試験するための実験におけるROS1融合の検出と同じ精度でNTRK融合を識別することができた。デジタル病理機械学習モデルの一般的な適用性は、予測に使用される基礎となる画像パッチ特徴が、異なる遺伝子融合及び異なる腫瘍タイプにわたって一貫していることを示唆し得る。
【0201】
特定の例では、デジタル病理画像処理システム110は、遺伝子融合の発生を、例えば、融合陽性スライド画像とスライドからの同じ視野との間の比較として、遺伝子融合予測の重ね合わせヒートマップを用いて病理学者に示してもよい。したがって、2つを比較すると、病理学者は、本明細書に開示される方法のいくつかの例における腫瘍検出アルゴリズムが、腫瘍を含まない画像パッチをどのように拒絶したかを見ることができる。更に、遺伝子融合(例えば、ヒートマップの強度によって描写されるように)の予測のための信頼性メトリック(複数可)は、腫瘍領域にわたって変化し得る。いくつかの例では、例えば、信頼性メトリックは、印環細胞を有する領域で最も高くなり得る。
【0202】
図4に戻ると、ステップ450において、デジタル病理画像処理システム110は、がん細胞に関する遺伝子融合の検出された発生に基づいて、対象の対象予測を生成し得て、対象予測は、対象に対する1つ以上の治療レジメンの適用可能性の予測を含む。デジタル病理画像処理システム110は、例えば、グラフィカルユーザインターフェースを介して、対象予測を出力し得る。限定ではなく、例として、デジタル病理画像処理システム110は、治療レジメン評定を出力し得る。デジタル病理画像処理システム110は、1つ以上の治療レジメンの使用に関する推奨を生成してもよい。例えば、評定は、所与の患者が遺伝子融合を有する可能性が高いということであってもよい。後続の又は更なるステップとして、デジタル病理画像処理システム110は、次世代シーケンシングアッセイ等のフォローアップ分子検査を実施する推奨を促してもよい。いくつかの例では、
図4に描写される方法の1つ以上のステップは、適切な場合に繰り返されてもよい。本開示は、
図4の方法の特定の工程を特定の順序で発生するものとして説明及び示しているが、本開示は、
図4の方法の任意の適切なステップを任意の適切な順序で発生するものとして想定している。更に、本開示は、
図4に描写れる方法の特定のステップを含む、遺伝子融合(又は他の遺伝子改変)を検出するための例示的な方法を記載及び示すが、本開示は、適切な場合には、
図4の方法の工程の全て、一部を含み得るか、又はいずれも含まない任意の適切なステップを含む、遺伝子融合を検出するための任意の適切な方法を企図する。更に、本開示は、
図4の方法の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び示しているが、本開示は、
図4の方法の任意の適切なステップを実行する任意の適切な構成要素、装置、又はシステムの任意の適切な組み合わせを企図している。
【0203】
本明細書に開示される方法及びシステムは、対応する分子試験よりも容易にアクセス可能で安価な材料を分析に使用するという技術的利点を有し得る。いくつかの例では、例えば、生体サンプルの切片を1つ以上染色で染色し得る。デジタル病理画像処理システムは、例えば、ヘマトキシリン及びエオシン(H&E)染色スライドをスキャンするために使用され得る。元の組織標本スライドは、新しい又はフォローアップの診断分析での使用に容易に利用可能である。対照的に、分子試験は、配列決定に使用するためにいくらかの組織を犠牲にするために組織ブロックへの切断を必要とする場合があり、これは診断用組織材料の消費をもたらす。図から分かるように、デジタル病理機械学習モデルを使用して画像データを分析する場合、組織は破壊されない。いくつかの例では、余分なスライドを必要とせずに、一次診断スライドのデジタル病理画像を分析に使用し得る。いくつかの例では、1つ以上の追加のデジタル病理画像の更なる分析に基づいて、対象予測を生成し得る。いくつかの例では、1つ以上の追加のデジタル病理画像の各々は、対象由来の生体サンプルの追加の部分を描写し得る。いくつかの例では、分析は、1つ以上の追加のデジタル病理画像の各々が、がん細胞に対する遺伝子融合の発生の描写を含むかどうかを判定することと、1つ以上の追加のデジタル病理画像の各々に対する判定を組み合わせることとを含み得る。いくつかの例では、H&E染色標本スライドの画像の分析に基づいて診断を行った後、分子試験を行うために、追加の染色されていない標本スライド(例えば、少なくとも5、6、7、8、9、10又は10を超える未染色標本スライド)を犠牲にする必要があり得る。
【0204】
開示される方法は、使いやすさの点で別の技術的利点を有する。病理標本スライドをスキャン、スキャンされた画像、又はそこから導出された画像パッチデータをデジタル病理機械学習モデルに入力し得る。次いで、デジタル病理機械学習モデルを使用して、遺伝子改変、例えば、遺伝子融合が生体サンプル中に存在するか否かの予測を行い得る。いくつかの例では、プロセスは病理学者による注釈を必要としない場合がある。いくつかの例では、病理学者は、スライドを標的腫瘍タイプ、例えば、肺腺癌として正確に識別するだけでよい場合がある。本明細書に開示される方法は、効率の点で別の技術的利点を有し得る。限定ではなく、例として、遺伝子融合の予測は、数分、数時間、又は数日で、例えば、60分未満、50分未満、40分未満、30分未満、25分未満、20分未満、15分未満、又は10分未満で完了し得る。
【0205】
図6は、生体サンプル、例えば、組織標本中の遺伝子融合を検出するためのプロセス600の例示的なワークフロー図を提供する。プロセス600は、組織選択610から開始し得る。組織選択610において、デジタル病理画像処理システム110は、品質管理及び/又は腫瘍検出を実施し得る。いくつかの例では、品質管理及び/又は腫瘍領域検出は、教師あり分類タスクを実施することを含み得る。そのようなタスクの場合、画像パッチレベルの精度で十分であり得、デジタル病理画像処理システム110は、例えば、タスクごとに1つのバイナリ分類器を使用し得る。次いで、組織選択610の結果は、エンドツーエンド分類ステップ620への入力として提供され得る。いくつかの例では、エンドツーエンド分類620は、上述したように、画像パッチベースの分類又はマルチインスタンス学習(MIL)分類技術のうちの1つ以上に基づいてもよい。エンドツーエンド分類620の一部として、複数の画像パッチの各々に対するラベルの生成は、1つ以上の機械学習モデルによって実施されてもよい。いくつかの例では、デジタル病理画像処理システム110は、例えば、腫瘍領域又は腫瘍ネスト構造の1つ以上のラベル付けされた描写及び他の組織学的又は臨床的特徴の1つ以上のラベル付けされた描写を含む複数の訓練データに基づいて、1つ以上機械学習モデルを訓練し得る。
【0206】
エンドツーエンド分類620が実施されている間、デジタル病理画像処理システム110は、腫瘍形態分析630を実施し得る。いくつかの例では、複数の画像パッチの各々に対するラベルの生成は、腫瘍形態に基づいてもよい。腫瘍形態分析630は、印環細胞、肝様細胞、細胞外ムチン、腫瘍成長パターン、又は腫瘍不均質性のうちの1つ以上を識別するための分析を含み得る。いくつかの例では、成長パターン分析は、遺伝子融合検出に有用であり得る。限定ではなく、例として、肺腺癌は、多数の成長パターン及びそれぞれの変化する割合で存在し得る。限定ではなく、別の例として、いくつかの例では、固体及び篩状パターンが遺伝子融合に関連し得る。いくつかの例では、デジタル病理画像処理システム110は、サンプル収集タイプ(例えば、切除対生検)が成長パターンに及ぼす影響を判定することができる。成長パターンは多くの場合大きく均質な領域であるため、画像パッチレベル分類は十分に正確であり得る。いくつかの例では、印環細胞検出及び肝様細胞検出は両方とも遺伝子融合の存在に関連し得る。このような目的の細胞を検出するために、デジタル病理画像処理システム110は、物体の検出及び位置特定に依存し得る。目的の細胞検出を含むいくつかの例では、デジタル病理画像処理システム110は、例えば、検出された細胞の数又は種類に基づいて、検出された細胞と融合状態との間の関係を判定し得る。いくつかの例では、デジタル病理画像処理システム110は、細胞のきめ細かい局在化又はパッチレベルの検出を更に実施し得る。デジタル病理画像処理システム110はまた、遺伝子融合検出のために他のアプローチ640を使用してもよい。限定ではなく、例として、いくつかの例では、デジタル病理画像処理システム110は、デジタル病理画像から核多形性を識別し、識別された核多形性を測定し得る。それに対応して、いくつかの例では、デジタル病理画像が遺伝子融合の発生の描写を含み得ると判定することは、測定された核多形性に更に基づいてもよい。次いで、デジタル病理画像処理システム110は、腫瘍形態分析630、エンドツーエンド分類620、及び他のアプローチ640からの結果に対して集約650を実施し得る。集約された結果を使用して、組織標本の融合状態660を予測し得る。いくつかの例では、融合状態予測は、弱教師分類タスク(例えば、スライドレベルのラベルが利用可能であってもよい)を含んでもよい。いくつかの例では、デジタル病理画像処理システム110は、複数の画像パッチを分類するためにマルチインスタンス学習(MIL)アプローチを使用してもよい。いくつかの例では、デジタル病理画像処理システム110は、全ての画像パッチへのスライドラベルの割り当てを含む単純化された戦略を使用してもよい。特定の例では、デジタル病理画像が、がん細胞に対する遺伝子融合の発生の描写を含むと判定することは、各画像パッチに対して生成されたラベルの重みづけされた組み合わせに更に基づいてもよい。限定ではなく、例として、いくつかの例では、デジタル病理画像処理システム110は、バイナリ分類器を使用して画像パッチを分類し、次いで、全ての画像パッチ予測を組み合わせる(例えば、平均化)ことによってスライドレベル予測を判定してもよい。
【0207】
特定の例では、デジタル病理画像処理システム110は、グラフィカルユーザインターフェースを介して、対象予測を出力し得る。いくつかの例では、グラフィカルユーザインターフェースは、デジタル病理画像のグラフィカル表現を含んでもよい。いくつかの例では、グラフィカル表現は、複数の画像パッチの各々に対して生成されたラベルの表示と、それぞれのラベルに関連付けられた予測信頼度とを含み得る。いくつかの例では、デジタル病理画像処理システム110の出力は、以下のような他の情報も含み得る。限定ではなく、例として、デジタル病理画像処理システム110は、レトリック評定を出力し得る。デジタル病理画像処理システム110は、生体サンプルが由来する対象又は患者のための1つ以上治療レジメンの使用に関連する推奨を生成し得る。例えば、評定は、所与の対象又は患者からのサンプルが遺伝子融合を有する可能性が高い可能性があるため、フォローアップ分子アッセイによる確認が推奨される。限定ではなく、別の例として、デジタル病理画像処理システム110は、陰性結果、すなわち予測又は検出された遺伝子融合がないことを出力する場合がある。限定ではなく、更に別の例として、デジタル病理画像処理システム110は、「分析のためのデータ不足」を出力する場合がある。例えば、「分析のためのデータ不足」は、腫瘍サイズ又は病理スライド標本(例えば、腫瘍標本が小さすぎた、及び/又は病理スライドの品質が組織処理アーチファクトによって妨げられた)のいずれかに起因し得る。例えば、組織切片の切断に使用されるミクロトームブレードは、スライド上に配置された組織切片にわたって一連の平行な裂け目を生成し得る。これらのタイプのサンプル処理アーチファクトは、病理スライド画像を分析するために使用されるデジタル病理機械学習モデル(複数可)が正確な予測を行うことを妨げる可能性がある。
【0208】
図7は、開示される方法及びシステムの一実施態様による、画像ベースの分析及び組織サンプル中の遺伝子改変状態の判定を実行するためのワークフロー700の非限定的な例示を提供する。ユーザ、例えば、病理学者又は病理検査技師は、組織サンプルを調製し、標本702の1つ以上の画像を取得する。画像(複数可)は、スライド画像(複数可)全体をマスクして画像パッチを抽出するために画像処理を順次実施する1つ以上のプログラムモジュール704においてコードを実行するように構成されたコンピュータシステムにアップロードされる。次いで、画像パッチデータは、組織表現型クラス及び/又は画像特徴クラスタに従って画像パッチデータを分類する訓練された組織表現型分類モデル706に入力される。次いで、組織表現型分類モデルによって出力されたラベル付き画像パッチデータは、訓練された遺伝子改変態分類モデル708に入力され、訓練された遺伝子改変状態分類モデルは、ラベル付き画像パッチデータを分類し、組織サンプル710の遺伝子改変状態の判定を出力する。
【0209】
病理スライド画像から遺伝子改変状態を推測するための開示された機械学習ベースの方法及びシステムは、例えば独立型ワークステーションとして個々の病理研究所に配備されてもよく、又は臨床検査室情報管理(LIMS)システムと統合されてもよい。いくつかの例では、開示された機械学習ベースの方法及びシステムは、例えば、組織標本を調達して調製するローカル及び/又はリモートの病理研究所の分散ネットワークの一部として展開することができ、その後、画像化し、画像をコンピュータサーバにアップロードし得て、ここではコンピュータサーバは、任意にインターネットにリンクされる。次いで、開示された機械学習ベースの方法(任意にコンピュータシステム又はコンピュータサーバ(例えば、クラウドにおいて)の分散ネットワークに配備され得る1つ以上の機械学習モデルを使用する)を使用して、所与の組織サンプル中の遺伝子改変状態を予測して、判定された遺伝子改変状態を確認するために任意に遺伝子型判定又は配列決定検査室に輸送される物理サンプルの前に、(加速フィードバックを介して)患者及び/又は医療提供者に改善された意思決定の洞察を提供し得る。
【0210】
いくつかの例では、開示される方法及びシステムは、がんを有する個体の治療を選択するために使用され得る。個々の患者からの1つ以上の組織サンプルの収集、調製、及び撮像に続いて、開示される方法及びシステムを使用して、a)個体に由来する組織サンプルの1つ以上の病理画像から遺伝子改変状態を検出し、遺伝子改変状態は、本明細書に記載の方法のいずれかに従って検出され、及び/又はb)検出された遺伝子改変状態に基づいて治療を選択し得る。いくつかの例では、がんは肺がんであり得る。いくつかの例では、肺がんは、肺腺癌、肺腺扁平上皮肉腫、肺扁平上皮肉腫、肺大細胞肉腫、肺大細胞神経内分泌肉腫、肺肉肉腫、肺肉腫様肉腫、又は肺小細胞肉腫であり得る。いくつかの例では、遺伝子改変状態は、がん、例えば肺がん、例えば、肺腺癌、肺腺扁平上皮肉腫、肺扁平上皮肉腫、肺大細胞肉腫、肺大細胞神経内分泌肉腫、肺肉肉腫、肺肉腫様肉腫、又は肺小細胞肉腫に関連する任意の遺伝子における変異を含み得る。いくつかの例では、遺伝子改変状態は、例えば、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、BRCA1遺伝子、BRCA2遺伝子、erb-B2受容体チロシンキナーゼ2(ERBB2)遺伝子、B-Raf(BRAF)遺伝子、カーステンラット肉腫ウイルス(KRAS)がん遺伝子、METプロトオンコゲン、セリン/トレオニンキナーゼ11(STK11)遺伝子、組換え修復(HRR)経路遺伝子、又はそれらの任意の組み合わせにおける変異を含み得る。HRR経路遺伝子の例としては、BRCA1、BRCA2、CHEK2、ATM、PALB2、FANCA及びRAD51Dが挙げられるが、これらに限定されない。
【0211】
いくつかの例では、開示される方法及びシステムは、個々の患者の治療の選択、開始、調整、又は中止に使用され得る。個々の患者からの1つ以上の組織サンプルの収集、調製、及び撮像に続いて、開示される方法及びシステムを使用して、例えば、a)個体に由来する組織サンプルの病理画像から遺伝子改変状態を検出し、遺伝子改変状態は、本明細書に記載の方法のいずれかに従って検出され、b)検出された遺伝子改変状態に基づいて治療を選択し、c)選択された治療を個体に投与することによって個体を治療し得る。いくつかの例では、がんは肺がんであり得る。いくつかの例では、肺がんは、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、又は肺小細胞癌腫であり得る。いくつかの例では、遺伝子改変状態は、がん、例えば肺がん、例えば、肺腺癌、肺腺扁平上皮癌腫、肺扁平上皮癌腫、肺大細胞癌腫、肺大細胞神経内分泌癌腫、肺癌肉腫、肺肉腫様癌腫、又は肺小細胞癌腫に関連する任意の遺伝子における変異を含み得る。いくつかの例では、遺伝子改変状態は、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、BRCA1遺伝子、BRCA2遺伝子、erb-B2受容体チロシンキナーゼ2(ERBB2)遺伝子、B-Raf(BRAF)遺伝子、カーステンラット肉腫ウイルス(KRAS)がん遺伝子、METプロトオンコゲン、セリン/トレオニンキナーゼ11(STK11)遺伝子、組換え修復(HRR)経路遺伝子、又はそれらの任意の組み合わせにおける変異を含み得る。HRR経路遺伝子の例としては、BRCA1、BRCA2、CHEK2、ATM、PALB2、FANCA及びRAD51Dが挙げられるが、これらに限定されない。
【0212】
いくつかの例では、例えば、遺伝子改変状態は、上皮成長因子受容体(EGFR)遺伝子における変異を含み得、選択された治療は、キナーゼ阻害剤、小分子薬物、抗体若しくは抗体断片、又はEFGR活性を阻害する細胞免疫療法を含み得る。この場合、適切なキナーゼ阻害剤の例には、多重特異性キナーゼ阻害剤、特異的チロシンキナーゼ阻害剤、特異的EGFR阻害剤、又はEGFR活性を阻害する二重EGFR/ERBB阻害剤が含まれるが、これらに限定されない。
【0213】
いくつかの例では、遺伝子改変状態は、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子における変異を含み得、選択された治療は、ALK活性を阻害する特異的キナーゼ阻害剤を含み得る。この場合、適切な特異的キナーゼ阻害剤の例としては、クリゾチニブ、アレクチニブ(AF802、CH5424802)、セリチニブ、ロラチニブ、ブリガチニブ、エンザルチニブ(X-396)、レポトレクチニブ(TPX-005)、エントレクチニブ(RXDX-101)、AZD3463、CEP-37440、ベリザチニブ(TSR-011)、ASP3026、KRCA-0008、TQ-B3139、TPX-0131、TAE684(NVP-TAE684)、又はそれらの任意の組み合わせが挙げられるが、これらに限定されない。
【0214】
いくつかの例では、遺伝子改変状態は、受容体チロシンキナーゼ(ROS1)がん遺伝子における変異を含み得て、選択された治療は、ROS1活性を阻害する特異的キナーゼ阻害剤を含み得る。この場合、適切な特異的キナーゼ阻害剤の例には、エントレクチニブ RXDX-101又はNMS-E628としても知られる)が含まれるが、これらに限定されない。
【0215】
いくつかの例では、遺伝子改変状態は、受容体チロシンキナーゼ(RET)がん遺伝子における変異を含み得て、選択された治療は、RET活性を阻害する特異的キナーゼ阻害剤を含み得る。この場合、適切な特異的キナーゼ阻害剤の例としては、限定されないが、セルペルカチニブ、プラルセチニブ、TPX-0046、又はそれらの任意の組み合わせが挙げられる。
【0216】
いくつかの例では、遺伝子改変状態は、神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子における変異を含み得、選択された治療は、NTRK活性を阻害する特異的NTRK阻害剤を含み得る。この場合、適切な特異的NTRK阻害剤の例としては、ラロトレクチニブ、エントレクチニブ、LOXO-195、ダンセルチブ(PHA-739358)、レスタウルチニブ、AZ-23、PHA-848125、CEP-2563、K252a、KRC-108、又はそれらの任意の組み合わせが挙げられるが、これらに限定されない。
【0217】
いくつかの例では、遺伝子改変状態は、相同組換え修復(HRR)経路遺伝子における変異を含み得、選択された治療は、白金ベースの化学療法又は変異HRR経路タンパク質の活性を阻害するポリADPリボースポリメラーゼ(PARP)阻害剤を含み得る。この場合、適切なPARP阻害剤の例には、オラパリブ、ニラパリブ、ルカパリブ、又はそれらの任意の組み合わせが含まれるが、これらに限定されない。
【0218】
本明細書に開示される方法を使用して特定の遺伝子改変状態の判定に応答して選択及び投与され得る標的療法の更なる例は、PCT国際出願第PCT/US2012/051978号、PCT/US2013/068604号及びPCT/US2013/068457号に記載されており、これらは参照によりその全体が本明細書に組み込まれる。
【0219】
いくつかの例では、本明細書に開示される方法のいずれかは、判定された遺伝子改変状態に基づいて1つ以上の追加の処置を実施することを更に含み得る。例えば、いくつかの例では、例えばがん等の疾患の診断を確認するために、1つ以上追加の診断検査を行ってもよい。いくつかの例では、治療は、判定された遺伝子改変状態に基づいて個々の患者(例えば、がん患者)に対して選択され得る。いくつかの例では、治療のための投与量を調整してもよい。
【0220】
別の例として、いくつかの例では、1つ以上の処置は、1つ以上のゲノムプロファイリング(genomic profiling)アッセイを行うことを含み得て、これは、例えば、がんを有する個体におけるがんの治療を選択するか、がんの治療の投与量を調整するか、又はがんの進行をモニタリングするために使用され得る。
【0221】
いくつかの例では、1つ以上のゲノムプロファイルアッセイは、組織サンプルが由来する患者から核酸サンプルを得ること、及び分子プロファイリング試験を行うために核酸を配列決定することを含み得る。核酸サンプルは、デオキシリボ核酸(DNA)サンプル又はリボ核酸(RNA)サンプルを含み得る。適切なデオキシリボ核酸(DNA)サンプルの例には、組織由来DNA、無細胞DNA(cfDNA)、循環腫瘍DNA(ctDNA)、又はミトコンドリアDNAが含まれるが、これらに限定されない。適切なリボ核酸(RNA)サンプルの例には、メッセンジャーRNA(mRNA)、リボソームRNA(rRNA)、トランスファーRNA(tRNA)、又はミトコンドリアRNAが含まれるが、これらに限定されない。いくつかの例では、核酸サンプルは、対象又は患者からの組織サンプル、血液サンプル、尿サンプル、唾液サンプル、生検サンプル、又は液体生検サンプルに由来する。病理スライド画像の分析からの遺伝子改変状態の判定のフォローアップとして実施され得る分子プロファイリング試験の例には、包括的ゲノムプロファイリング(CGP)試験、遺伝子発現プロファイリング試験、がんホットスポットパネル試験、DNAメチル化試験、DNA断片化試験、RNA断片化試験、又はそれらの任意の組み合わせが含まれるが、これらに限定されない。分子プロファイリング試験の結果は、例えば、がんを有する個体に対する治療を選択又は調整するために使用され得る。いくつかの例では、開示される方法は、がんを有する個体を治療することを更に含み得る。
【0222】
いくつかの例では、1つ以上の追加の処置は、例えば、フォローアップスクリーニング試験を実施することを含み得る。例えば、フォローアップスクリーニング検査は大腸内視鏡検査を含んでもよく、フォローアップ大腸内視鏡検査は、患者からの組織サンプルの判定された遺伝子改変状態に応じて、所与の患者に対してより頻繁な間隔(例えば、5年ごとではなく、6ヶ月ごと、1年ごと、2年ごと、3年ごと、又は4年ごと)で推奨されてもよい。
【0223】
いくつかの例では、開示される方法は、分子プロファイリング試験の結果をディスプレイデバイス上に表示すること、分子プロファイリング試験のためのレポートを生成すること、分子プロファイリング試験のためのレポートをコンピュータネットワークを介して医療提供者に送信すること、又は分子プロファイリング試験のためのレポートをインターネットを介して医療提供者に送信することを更に含んでもよい。
【0224】
組織サンプル:
上述のように、開示される方法及びシステムは、様々な組織サンプルのいずれか、例えば、固体組織サンプル又は軟組織サンプルに適用可能であり得る。例としては、結合組織、筋肉組織、神経系組織、及び上皮組織が挙げられるが、これらに限定されない。組織サンプルは、動物又は人体内の器官のいずれかから収集され得る。ヒト器官の例としては、脳、心臓、肺、肝臓、腎臓、膵臓、脾臓、甲状腺、乳腺、子宮、前立腺、大腸、小腸、膀胱、骨、皮膚等が挙げられるが、これらに限定されない。
【0225】
組織サンプルは、直接収集、生検、外科的切除等を含むがこれらに限定されない当業者に公知の様々な技術のいずれかを使用して収集され得る。具体的な生検技術の例としては、骨髄生検、内視鏡生検、針生検、皮膚生検、外科生検等が挙げられるが、これらに限定されない。
【0226】
いくつかの例では、組織サンプルは、病理スライドの調製及び撮像の一部として処理されてもよい。組織調製ステップの例には、組織固定(例えば、組織の自己分解及び腐敗を防ぐために10%中性緩衝ホルマリンを使用すること)、トリミング及びラベル付き組織カセットへの移送(処理されるまで、例えばホルマリン中で貯蔵するため)、組織処理(例えば、脱水(例えば、漸増濃度のアルコールに浸漬して水及びホルマリンを除去することによる)、透明化(例えば、キシレン等の有機溶媒を使用してアルコールを除去し、例えばパラフィンワックスによる浸透を可能にする)、及び包埋(例えば、パラフィンワックス等の包埋剤の浸透))、切片化(例えば、ミクロトームを使用して薄い組織切片にスライスすること)、及び染色(例えば、造影剤を増強し、組織構造をより視認可能にするために、ヘマトキシリン又はエオシン等の蛍光標識抗体又は組織化学染色剤を使用すること)が含まれるが、これらに限定されない。
【0227】
組織表現型クラス:
上述のように、いくつかの例では、病理画像及び/又はそれに由来する画像パッチは、画像又は画像パッチに存在する異なる組織表現型クラスを示すために病理医によって注釈付けされてもよい。いくつかの例では、組織表現型クラスは、当業者に公知の様々な正常及び/又は異常な組織形態及び/又は組織組織学クラスのいずれかを含み得る。組織表現型の例としては、組織構造、形状、色、パターン、テクスチャ、存在する細胞型(複数可)、細胞形態、細胞外マトリックス等が挙げられ得るが、これらに限定されない。
【0228】
いくつかの例では、組織表現型クラスは、病理学者によって視覚的に識別できない特徴又は特徴のセットを含み得る。例えば、いくつかの例では、組織表現型クラスは、例えば機械学習ベースの特徴抽出アプローチを使用して画像パッチから抽出された画像特徴のクラスタによって定義され得る。
【0229】
いくつかの例では、1つ以上の病理画像から得られた画像パッチデータは、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、又は20を超える異なる組織表現型クラスに注釈付け、ラベル付け、又はソートされ得る。
【0230】
疾患状態:
開示される方法及びシステムは、当業者に公知の様々な疾患状態のいずれかに関連する遺伝子改変状態の判定に適用可能であり得る。例としては、皮膚がん(例えば、基底細胞皮膚がん、扁平上皮皮膚がん、黒色腫)、肺がん、前立腺がん、乳がん、結腸直腸がん、腎臓(腎)がん、膀胱がん、非ホジキンリンパ腫、甲状腺がん、子宮内膜(子宮)がん、膵臓がん等が挙げられるが、これらに限定されない。
【0231】
遺伝子改変状態:
いくつかの例では、開示される方法及びシステムは、1つ以上の疾患状態に関連する特定の遺伝子改変状態の識別に適用可能であり得る。いくつかの例では、それらは、1つ、2つ、3つ、4つ、5つ、又は5つを超える異なる疾患状態に関連する組織サンプルにおける遺伝子改変状態を識別するために使用され得る。
【0232】
いくつかの例では、開示される方法及びシステムは、少なくとも1つの遺伝子における少なくとも1つの遺伝子変異の存在又は非存在に対応する遺伝子改変状態を識別するように構成される。例えば、いくつかの例では、開示される方法及びシステムを使用して、それぞれ1、2、3、4、5又は5を超える遺伝子の各々における1、2、3、4、5又は5を超える遺伝子変異を識別することができる。本明細書で使用される場合、遺伝子変異(又は単純に、変異)は、点変異、挿入、欠失、コピー数多型(CNV)、再編成、融合、腫瘍遺伝子変異量、マイクロサテライト不安定性状態、相同組換え欠損、又はそれらの任意の組み合わせを指し得る。
【0233】
開示される方法及びシステムを使用して検出され得る遺伝子改変状態の例としては、例えば、上皮成長因子受容体(EGFR)遺伝子、未分化リンパ腫キナーゼ(ALK)融合がん遺伝子、受容体チロシンキナーゼ(ROS1)がん遺伝子、キネシンファミリー5B(KIF5B)遺伝子、受容体チロシンキナーゼ(RET)がん遺伝子、肺がん組織の場合の神経栄養性チロシン受容体キナーゼ(NTRK)がん遺伝子、乳がんの場合のBRCA1又はBRCA2遺伝子、erb-B2受容体チロシンキナーゼ2(ERBB2)遺伝子、B-Raf(BRAF)遺伝子、カーステンラット肉腫ウイルス(KRAS)がん遺伝子、METがん遺伝子、セリン/トレオニンキナーゼ11(STK11)遺伝子等における変異が挙げられるが、これらに限定されない。
【0234】
病理撮像技術:
開示される方法及びシステムは、当業者に知られている様々な顕微鏡撮像技術のいずれかを使用して取得された組織サンプルの画像、例えば全スライド病理画像と共に利用され得る。例としては、明視野顕微鏡法、暗視野顕微鏡法、位相差顕微鏡法、差動干渉コントラスト(DIC)顕微鏡法、蛍光顕微鏡法、共焦点顕微鏡法、共焦点レーザー顕微鏡法、超解像光学顕微鏡法、走査型又は透過型電子顕微鏡法等が挙げられるが、これらに限定されない。
【0235】
画像処理及び画像処理方法:
いくつかの例では、開示される方法は、スライド全体の病理画像及び/又はそこから導出された画像パッチを処理するための1つ以上の画像処理ステップを含み得る。画像処理は、画像又は画像パッチに対して機械学習ベースの分析を実施する前に、及び/又は機械学習ベースの分析の1つ以上の中間ステップで実施され得る。実施され得る画像処理動作の例は、画像露出補正(例えば、ホワイトバランス調整、コントラスト調整)、フラットフィールド補正、収差補正、ノイズ除去、スライド画像全体の非組織領域から組織を分離するための、及び/又は画像パッチを抽出するためのマスキング(例えば、バイナリマスキング)、物体及び/又は構造の識別、又はそれらの任意の組み合わせを含むが、これらに限定されない。
【0236】
当業者に知られている様々な画像処理方法のいずれかが画像処理/前処理に使用され得る。例としては、キャニーエッジ検出方法、キャニーダーシュエッジ検出方法、一次勾配エッジ検出方法(例えば、Sobelオペレータ)、二次微分エッジ検出方法、位相一致(位相コヒーレンス)エッジ検出方法、他の画像セグメント化方法(例えば、強度閾値化、強度クラスタリング方法、強度ヒストグラムベースの方法等)、特徴及びパターン認識方法(例えば、任意の形状を検出するための一般化ハフ変換、円検出ハフ変換等)、並びに数学的解析方法(例えば、フーリエ変換、高速フーリエ変換、ウェーブレット解析、自己相関等)、又はそれらの任意の組み合わせが挙げられるが、これらに限定されない。
【0237】
画像パッチ抽出:
いくつかの例では、画像パッチは、例えばマスキング又は上述のような他の画像処理技術を使用して、スライド全体の病理画像から抽出されてもよい。いくつかの例では、5、10、15、20、25、30、40、50、60、70、80、90、100、200、400、600、800、1000、1500、2000、2500、3000、3500、4000、4500、5000、又は5000を超える画像パッチを各スライド病理画像全体から抽出し得る。いくつかの例では、各スライド病理画像全体から抽出された画像パッチの数は、この段落に記載された値の範囲内の任意の値、例えば1,224個の画像パッチを有し得る。
【0238】
いくつかの例では、組織画像から抽出された画像パッチは、異なるサイズであってもよい。いくつかの例では、組織画像から抽出された画像パッチは全て同じサイズであってもよい。いくつかの例では、組織画像から抽出された画像パッチは、所定のサイズであってもよい。いくつかの例では、モデルによって処理される画像パッチパターンが、例えば、視野に関して一貫していることを保証し、モデルの重み及び学習されたパターンが有意であることを保証するために、特定の分類アプリケーションの機械学習モデルを訓練するときに、画像パッチは全て同じサイズであってもよい。いくつかの例では、画像パッチサイズは、実験ごとに、又は適用ごとに変化してもよい。いくつかの例では、画像パッチサイズは、訓練プロセス中に調整可能なパラメータと考えることができる。
【0239】
いくつかの例では、画像パッチのサイズは、10画素~107画素の範囲であってもよい。いくつかの例では、画像パッチのサイズは、少なくとも10画素、少なくとも100画素、少なくとも103画素、少なくとも104画素、少なくとも105画素、少なくとも106画素、又は少なくとも107画素であってもよい。いくつかの例では、画像パッチのサイズは、最大で107画素、最大で106画素、最大105画素、最大104画素、最大103画素、最大100画素、又は最大10画素であってもよい。この段落に記載された下限値及び上限値のいずれかは、本開示内に含まれる範囲を形成するように組み合わされてもよく、例えば、いくつかの例では、画像パッチのサイズは、約100画素~約105画素の範囲であってもよい。当業者は、画像パッチのサイズがこの範囲内の任意の値、例えば、約2.8×103画素を有し得ることを認識するであろう。
【0240】
いくつかの例では、画像パッチサイズ(又は画像パッチサイズの範囲)は、機械学習モデルによって予想される入力パッチサイズ、並びに他の画像パッチ抽出の考慮事項(例えば、十分な数の画像パッチをスライドから抽出できることを保証する必要性、又は画像パッチが、機械学習モデルを使用した計算を困難にし、及び/又は計算コストが高くなるほど大きくないことを保証する必要性)によって決定される。抽出された画像パッチサイズは、機械学習モデルを通過した画像パッチよりも大きい場合がある。例えば、これは、例えば、より大きな画像パッチ(例えば、カラー画像の場合は1024×1024×3画素、グレースケール画像の場合は1024×1024×1画素)を抽出し、次いで、より計算効率の高い入力を機械学習モデルに提供するために、画像パッチの解像度(例えば、カラー画像の場合は299×299×3画素まで、グレースケール画像の場合は299×299×1画素まで)をダウンサンプリングすることによって、より大きな視野を維持するために行われることがある。
【0241】
いくつかの例では、画像パッチは、正方形又は長方形の形状、例えば、100画素×100画素、又は10画素×1000画素であってもよい。いくつかの例では、画像パッチは不規則な形状であってもよい。
【0242】
いくつかの例では、画像パッチは、同じ組織サンプルの1、2、3、4、5、6、7、8、9、10、又は10を超える画像から抽出され得る。
【0243】
機械学習方法:
開示される方法のいくつかの例では、方法は、組織表現型分類及び遺伝子改変状態分類を続いて行うことに加えて、画像の前処理(例えば、画像パッチを抽出するための画像セグメント化及び/又は画像パッチからの画像特徴抽出)を行うための1つ以上の機械学習方法及び/又は統計分析方法の使用を含み得る。
【0244】
開示される方法を実装する際に、様々な機械学習モデルのいずれかが使用され得る。例えば、使用される機械学習モデル(複数可)は、教師あり学習モデル、教師なし学習モデル、半教師あり学習モデル、ディープラーニングモデル等、又はそれらの任意の組み合わせを含み得る。
【0245】
教師あり学習モデル:
本開示との関連で、教師あり学習モデルは、入力データのセット(例えば、画像パッチデータ)と入力データの指定されたユーザ指定クラスのセットへの分類(例えば、組織表現型クラス)との間の関係を推論するためにラベル付き訓練データのセットの使用に依存するモデルである。教師あり学習モデルを「教示」するために使用される訓練データは、例えば、各例が画像パッチ及び所与の画像パッチの組織表現型分類を含む、ペア訓練例のセットを含む。教師あり学習モデルの例には、サポートベクターマシン(SVM)、人工ニューラルネットワーク(ANN)等が含まれる。
【0246】
教師なし学習モデル:
本開示との関連で、教師なし学習モデルは、ラベル付き組織表現型分類データとペアになっていない画像特徴データセットからなる訓練データセットから推論を引き出すために使用されるモデルである。一般的に使用される教師なし学習モデルの一例はクラスタ分析であり、これは多次元データセット内の隠れたパターン又はグループ化を見つけるための探索的データ分析によく使用される。教師なし学習モデルの他の例には、人工ニューラルネットワーク、相関ルール学習モデル等が含まれるが、これらに限定されない。
【0247】
半教師あり学習モデル:
本開示の文脈では、半教師あり学習モデルは、訓練のためにラベル付き画像パッチデータとラベル付けされていない画像パッチデータの両方を利用するモデルである(通常、大量のラベル付けされていないデータを有する比較的少量のラベル付きデータを使用する)。
【0248】
人工ニューラルネットワーク及びディープラーニングモデル:
本開示との関連で、人工ニューラルネットワーク(ANN)は、人間の脳の構造及び機能から着想を得たモデルである。人工ニューラルネットワークは、複数の層に編成されたノードの相互接続されたグループを含む。例えば、ANNアーキテクチャは、少なくとも、入力層と、1つ以上の隠れ層と、出力層(
図8)とを含み得る。ディープラーニングモデルは、例えば、画像パッチデータ又は画像特徴データを組織表現型分類決定にマッピングするために使用することができる、入力層と出力層との間の結合「ノード」の多くの隠れ層を含む大きな人工ニューラルネットワークである。
【0249】
ANNは、任意の総数の層、及び任意の数の隠れ層を含むことができ、隠れ層は、入力データのセットを好ましい出力値又は出力値のセットにマッピングすることを可能にする訓練可能な特徴抽出器として機能する。ニューラルネットワークの各層は、いくつかのノード(又は「ニューロン」)を含む。ノードは、入力データ(例えば、画像パッチデータ又は画像パッチデータから導出された画像特徴データ)から直接、又は前の層のノードの出力から到来する入力を受信し、特定の演算、例えば加算演算を実施する。
【0250】
場合によっては、入力からノードへの接続は、重み(又は重み係数)に関連付けられる。場合によっては、ノードは、例えば、入力の全ての対Xiとそれらの関連する重みWiとの積を合計してもよい(
図9)。場合によっては、加重和は、
図9示すようにバイアスbでオフセットされる。場合によっては、ニューロンの出力は、線形又は非線形関数であり得る閾値又は活性化関数fを使用してゲーティングされ得る。活性化関数は、例えば、整流線形ユニット(ReLU)活性化関数、又は飽和双曲線正接、恒等式、バイナリステップ、ロジスティック、arcTan、ソフトサイン、パラメトリック整流線形ユニット、指数線形ユニット、ソフトプラス、ベント恒等式、ソフト指数関数、正弦関数、正弦関数、ガウス関数、若しくはシグモイド関数、又はそれらの任意の組み合わせ等の他の関数であってもよい。
【0251】
重み係数、バイアス値、及び閾値、又はニューラルネットワークの他の計算パラメータは、訓練データの1つ以上のセットを使用する訓練段階において「教示済み」又は「学習済み」することができる。例えば、パラメータは、ANNが計算する出力値(複数可)(例えば、画像パッチ分類決定)が訓練データセットに含まれる例と一致するように、訓練データセットからの入力データ及び勾配降下法又は逆伝播法(backward propagation)を使用して訓練され得る。モデルの調整可能なパラメータは、例えば、画像の処理及び/又は組織サンプルの実施に使用されるものと同じハードウェアを使用して実施されてもよく又は実施されなくてもよい逆伝播ニューラルネットワーク訓練プロセスを使用して取得されてもよい。
【0252】
他の特定の種類の深層機械学習モデル、例えば、畳み込みニューラルネットワーク(CNN)(多くの場合、マシンビジョンシステムからの画像データの処理に使用される)もまた、開示される方法及びシステムを実装する際に使用され得る。CNNは、一般に、異なるタイプの層:畳み込み、プーリング、アップスケーリング、及び完全接続ノード層から構成される。場合によっては、いくつかの層では、整流線形ユニット等の活性化関数が使用されてもよい。CNNアーキテクチャでは、実施される動作のタイプごとに1つ以上の層が存在し得る。CNNアーキテクチャは、合計で任意の数の層、及び実施される異なるタイプの動作のための任意の数の層を含み得る。最も単純な畳み込みニューラルネットワークアーキテクチャは、入力層から始まり、一連の畳み込み層及びプーリング層が続き、完全接続層で終わる。各畳み込み層は、畳み込み演算を実施するために使用される複数のパラメータを含み得る。各畳み込み層はまた、1つ以上のフィルタを含み得て、1つ以上の重み係数又は他の調整可能なパラメータを含み得る。いくつかの例では、パラメータはバイアス(すなわち、活性化関数がシフトされることを可能にするパラメータ)を含み得る。場合によっては、畳み込み層の後にReLU活性化関数の層が続く。他の活性化関数、例えば飽和双曲線正接、恒等式、バイナリステップ、ロジスティック、arcTan、ソフトサイン、パラメトリック整流線形ユニット、指数線形ユニット、ソフトプラス、ベント恒等式、ソフト指数関数、シヌソイド関数、サイン関数、ガウス関数、シグモイド関数、及び様々な他のものも使用することができる。畳み込み層、プーリング層、及びReLU層は、学習可能な特徴抽出器として機能することができ、全結合層は、機械学習分類器として機能し得る。他の人工ニューラルネットワークと同様に、CNNアーキテクチャの畳み込み層及び完全接続層は、典型的には、上述したような訓練段階で訓練される様々な調整可能な計算パラメータ、例えば重み、バイアス値、及び閾値を含む。
【0253】
ANNアーキテクチャ:
本明細書に開示される方法及びシステムにおいて使用され得る様々なタイプのANNモデルのうちのいずれかのために、(例えば、画像フレームのサブサンプリング、多次元画像特徴データセット、及び/又は他のタイプの入力データからのデータの入力を可能にする)ANNの入力層において使用されるノードの数は、約10から約20,000ノードの範囲であり得る。いくつかの例では、入力層で使用されるノードの数は、少なくとも10、少なくとも50、少なくとも100、少なくとも200、少なくとも300、少なくとも400、少なくとも500、少なくとも600、少なくとも700、少なくとも800、少なくとも900、少なくとも1000、少なくとも2000、少なくとも3000、少なくとも4000、少なくとも5000、少なくとも6000、少なくとも7000、少なくとも8000、少なくとも9000、少なくとも10,000、少なくとも12,000、少なくとも14,000、少なくとも16,000、少なくとも18,000、又は少なくとも20,000であってもよい。いくつかの例では、入力層で使用されるノードの数は、最大で20,000、最大で18,000、最大で16,000、最大で14,000、最大で12,000、最大で10,000、最大で9000、最大で8000、最大で7000、最大で6000、最大で5000、最大で4000、最大で3000、最大で2000、最大で1000、最大で900、最大で800、最大で700、最大で600、最大で500、最大で400、最大で300、最大で200、最大で100、最大で50、又は最大で10であってもよい。当業者は、入力層で使用されるノードの数が、この範囲内の任意の値、例えば約512ノードを有し得ることを認識するであろう。いくつかの例では、入力層において使用されるノードの数は、ANNモデルの調整可能なパラメータであり得る。
【0254】
いくつかの例では、開示される方法(入力層及び出力層を含む)を実装するために使用されるANNモデルにおいて使用される層の総数は、約3~約1000、又はそれ以上の範囲であり得る。いくつかの例では、層の総数は、少なくとも3、少なくとも4、少なくとも5、少なくとも10、少なくとも15、少なくとも20、少なくとも40、少なくとも60、少なくとも80、少なくとも100、少なくとも200、少なくとも300、少なくとも400、少なくとも500、少なくとも600、少なくとも700、少なくとも800、少なくとも900、又は少なくとも1000であり得る。いくつかの例では、層の総数は、最大で1000、最大で800、最大で600、最大で400、最大で200、最大で100、最大で80、最大で60、最大で40、最大で20、最大で15、最大で10、最大で5、最大で4、又は最大で3であり得る。当業者であれば、場合によっては、ANNモデルで使用される層の総数は、この範囲内の任意の値、例えば8層を有し得ることを認識するであろう。
【0255】
いくつかの例では、ANNにおいて使用される学習可能又は訓練可能なパラメータ、例えば、重み係数、バイアス、又は閾値の総数は、約10から約10,000,000の範囲であり得る。いくつかの例では、学習可能パラメータの総数は、少なくとも10、少なくとも100、少なくとも500、少なくとも1,000、少なくとも2,000、少なくとも3,000、少なくとも4,000、少なくとも5,000、少なくとも6,000、少なくとも7,000、少なくとも8,000、少なくとも9,000、少なくとも10,000、少なくとも20,000、少なくとも40,000、少なくとも60,000、少なくとも80,000、少なくとも100,000、少なくとも250,000、少なくとも500,000、少なくとも750,000、少なくとも1,000,000、少なくとも2,500,000、少なくとも5,000,000、少なくとも7,500,000、又は少なくとも10,000,000であり得る。あるいは、学習可能なパラメータの総数は、100未満の任意の数、100~10,000の任意の数、又は10,000を超える数であってもよい。いくつかの例では、学習可能パラメータの総数は、最大で10,000,000、最大で7,500,000、最大で5,000,000、最大で2,500,000、最大で1,000,000、最大で750,000、最大で500,000、最大で250,000、最大で100,000、最大で80,000、最大で60,000、最大で40,000、最大で20,000、最大で10,000、最大で9,000、最大で8,000、最大で7,000、最大で6,000、最大で5,000、最大で4,000、最大で3,000、最大で2,000、最大で1,000、最大で500、最大で100、又は最大で10であり得る。当業者は、使用される学習可能パラメータの総数が、この範囲内の任意の値、例えば約2,200個のパラメータを有し得ることを認識するであろう。
【0256】
オートエンコーダ:
いくつかの例では、開示される方法及びシステムの実装は、オートエンコーダモデルの使用を含み得る。オートエンコーダ(自動アソシエータ又はDiaboloネットワークとも呼ばれる)は、入力データ、例えば、画像特徴データの、出力値、例えば、画像クラスタ及び/又は組織表現型分類決定への教師なしの効率的なマッピングに使用される人工ニューラルネットワークである。
図10は、オートエンコーダの基本アーキテクチャを示す。オートエンコーダは、次元削減、すなわち、主成分変数のセットを推定することによって検討中のランダム変数の数を減らすプロセスの目的で使用されることが多い。次元削減は、例えば、特徴選択(例えば、元の画像特徴データセットに提示された画像特徴の最も関連性の高いサブセットの選択)又は特徴抽出(例えば、元の多次元画像空間内の画像特徴データを、例えば、一連の特徴パラメータZ
nによって定義されるより少ない次元の空間に変換すること)を目的として行われてもよい。
【0257】
開示される方法及びシステムでは、当業者に知られている様々な異なるオートエンコーダモデルのいずれかが使用され得る。例としては、積層オートエンコーダ、ノイズ除去オートエンコーダ、変分オートエンコーダ、又はそれらの任意の組み合わせが挙げられるが、これらに限定されない。積層オートエンコーダは、各層の出力が連続層の入力に配線された疎な自動エンコーダの複数の層からなるニューラルネットワークである。変分オートエンコーダ(VAE)は、基本的なオートエンコーダアーキテクチャを使用するが、潜在変数の分布に関して強力な仮定を行うオートエンコーダモデルである。それらは、潜在表現学習のために変分アプローチを使用し、それは追加の損失成分をもたらし、確率的勾配変分ベイズ(SGVB)と呼ばれる特定の訓練方法の使用を必要とする場合がある。
【0258】
深層畳み込み敵対的生成ネットワーク(DCGAN):
いくつかの例では、開示される方法及びシステムの実装は、深層畳み込み敵対的生成ネットワーク(DCGAN)の使用を含み得る。DCGANは、敵対的生成ネットワーク(GAN)を更に含む教師なし学習に使用される畳み込みニューラルネットワーク(CNN)のクラスであり、すなわち、それらは、ゼロサムゲームフレームワークにおいて互いに競合する2つのニューラルネットワークのシステムによって実装されるモデルのクラスを含む。一方のネットワークは候補画像(又は解決策)を生成し、他方のネットワークはそれらを評価する。典型的には、生成ネットワークは、潜在空間(すなわち、類似のデータ点が空間内で互いに近接している圧縮データの表現;潜在空間は、データ特徴を学習し、分析のためのデータのより単純な表現を見つけるのに有用である)から目的の特定のデータ分布にマッピングすることを学習し、識別ネットワークは、ジェネレータによって生成された真のデータ分布及び候補画像(又は解)からインスタンスを識別する。生成ネットワークの訓練目的は、真のデータ分布から生じたように見える新規の合成されたインスタンスを生成することによって、識別ネットワーク(すなわち、ディスクリミネータネットワークを「フール(fool)」するために)の誤答率を増加させることである。実際には、既知のデータセットがディスクリミネータの初期訓練データとして機能する。ディスクリミネータを訓練することは、ディスクリミネータがある程度の精度に達するまで、ディスクリミネータにデータセットからのサンプルを提示することを含む。典型的には、ジェネレータは、所定の潜在空間(例えば、多変量正規分布)からサンプリングされるランダム化入力でシードされる。その後、生ジェネレータによって合成されたサンプルは、ディスクリミネータによって評価される。誤差逆伝播は、ジェネレータがより良好な画像を生成するように両方のネットワークに適用されるが、ディスクリミネータは合成画像をフラグ付けするのにより熟練する。ジェネレータは典型的には逆畳み込みニューラルネットワークであり、ディスクリミネータは畳み込みニューラルネットワークである。いくつかの例では、開示される方法及びシステムの実装は、ワッサースタイン敵対的生成ネットワーク(WGAN)、わずかに修正されたアーキテクチャ及び/又は修正された損失関数を使用するDCGAN構造の変形の使用を含み得る。
【0259】
クラスタリング方法:
いくつかの例では、開示される方法及びシステムは、抽出された画像特徴に従って画像パッチデータをクラスタリングするためのクラスタリング方法の使用を含み得る。当業者に知られている様々なクラスタリング方法のいずれかが使用され得る。適切なクラスタリング方法の例には、k平均クラスタリング方法、階層クラスタリング方法、平均シフトクラスタリング方法、密度ベースの空間クラスタリング方法、期待値最大化クラスタリング方法、及び混合モデル(例えば、ガウス分布の混合物)クラスタリング方法が含まれるが、これらに限定されない。
【0260】
K平均クラスタリング方法は、各データ点が1つのクラスタのみに属し、同じクラスタ内のデータ点が例えば同様の特徴によって特徴付けられ、一方異なるクラスタ内のデータ点が非常に異なる特徴によって特徴付けられるように、n個のデータ点をk個の重複しないクラスタに分割するために使用される教師なし機械学習方法である。クラスタには、クラスタに属するデータ点とクラスタの重心との間の距離の二乗和(又はそのクラスタに属する全てのデータ点の算術平均)が最小になるように、データ点が割り当てられる。
【0261】
階層的クラスタリング方法は、データポイントをグループ又はクラスタにグループ化する方法でもある。目的は、元のデータセットを特徴付けるクラスタのセットを識別することであり、各クラスタは他の各クラスタとは異なり、各クラスタ内のデータ点は広く同様の特徴を共有し、各データ点は単一のクラスタに属する。最初に、各データ点は別個のクラスタとして扱われる。データ点の対の距離行列が計算され、次いで、方法は、(i)互いに最も近い2つのクラスタを識別するステップ、及ぼい(ii)2つの最も類似したクラスタをマージするステップを含む。反復プロセスは、全ての同様のクラスタがマージされるまで継続する。
【0262】
ガウス混合モデルは、データセット内の全てのデータ点が未知のピーク高さ、位置、又は標準偏差を有する有限数のガウス分布の混合によって表され得ると仮定する確率モデルである。このアプローチは、データの共分散構造並びに潜在ガウス分布の中心に関する情報を組み込むためにk平均クラスタリング方法を一般化することと同様である。
【0263】
機械学習訓練データ:
開示される方法及びシステムで使用するための機械学習モデルを訓練するために使用される訓練データのタイプは、例えば、教師ありアプローチがとられるか教師なしアプローチがとられるか、並びに達成されるべき目標に依存する。いくつかの例では、1つ以上のトレーニングデータセットを使用して、アプリケーション(又は展開)段階とは異なるトレーニング段階でモデル(複数可)を訓練し得る。いくつかの例では、訓練データを連続的に更新し、使用して、1つ以上の展開された病理画像分析システムのローカルネットワーク又は分散ネットワーク内の機械学習モデル(複数可)をリアルタイムで更新し得る。場合によっては、訓練データは、ローカルコンピュータ又はサーバ上に存在する訓練データベースに記憶されてもよい。場合によっては、訓練データは、オンライン又はクラウドに存在する訓練データベースに記憶されてもよい。
【0264】
いくつかの例では、例えば、画像パッチデータの組織表現型クラスへの分類では、訓練データは、一連の1つ以上の前処理されたセグメント化された画像から導出されたデータを含むことができ、一連の各画像は個々の組織サンプルの画像を含む。いくつかの例では、機械学習モデルを使用して、一連の1つ以上の組織サンプル画像の前処理及びセグメント化、並びにその後の分析(例えば、組織表現型分類決定、又は遺伝子改変状態判定)の全部又は一部を実施し得る。場合によっては、訓練データセットは、他のタイプの入力データ、例えば、遺伝子型判定又は核酸配列決定データを含み得て、いくつかの例では、特定の画像特徴と遺伝子型判定又は核酸配列データとの間の相関を識別するために使用され得る。いくつかの例では、例えば、画像由来データと核酸配列データとの組み合わせを使用して訓練された機械学習モデルは、その後、純粋に入力画像データの分析に基づいて遺伝形質又はゲノム形質の変化を検出及び識別することができる場合がある。
【0265】
機械学習プログラム:
開示される方法及びシステムの機械学習モデルを実装するために、当業者に知られている様々な商用又はオープンソースのプログラムパッケージ、プログラム言語、又はプラットフォームのいずれかが使用され得る。例としては、Shogun(www.shogun-toolbox.org)、Mlpack(www.mlpack.rog)、R(r-project.org)、Weka(www.cs.waikato.ac.nz/ml/weka/)、Python(www.python.org)、及び/又はMatlab(マサチューセッツ州ナティックのMathWorks)が挙げられるが、これらに限定されない。更なる例は、以下に記載される例において提供される。
【0266】
統計データ分析技術:
機械学習モデルの使用に加えて、開示される方法及びシステムは、いくつかの例では、例えば、組織画像から抽出された画像パッチの集団内の組織表現型の観察された変動の根底にある重要な成分を識別する目的で、画像処理及び/又は機械学習モデルからの出力として生成された多次元画像特徴データセットを処理するための統計データ分析技術の使用も含み得る。したがって、単独で又は機械学習モデルと組み合わせて使用される1つ以上の統計的分析方法、例えば主成分分析(PCA)の組み合わせを使用して、組織サンプルを特徴付けるためのパラメータの基礎セットを提供する1つ以上のキー属性(例えば、画像特徴)の表現を含む画像パッチ特徴付けデータセットを生成し得る。いくつかの例では、組織特性評価データセットを構成する重要な構成要素(又は属性)の1つ以上は、観察可能な組織表現型形質に直接対応し得る。いくつかの例では、組織特徴付けデータセットを構成する重要な構成要素(又は属性)の1つ以上は、観察可能な組織表現型形質に直接対応しなくてもよく、むしろ観察可能な組織表現型形質の何らかの組み合わせを含んでもよく、及び/又は潜在機能、すなわち、元の画像で直接見ることができないほど微妙な特徴を含んでもよい。好ましい例では、組織特徴付けデータセットは、画像処理及び/又は機械学習モデル(すなわち、完全な特徴データセットの圧縮表現を提供し得る)からの出力として生成された多次元画像特徴データセットと比較して次元数が削減されており、それによって画像データの他のタイプの実験データ、例えば核酸配列決定方法によって得られた実験データとの取り扱い及び比較を容易にし得る。いくつかの例では、1つ以上の統計分析方法を、上記の機械学習モデルのうちの1つ以上と組み合わせて使用してもよい。
【0267】
いくつかの実施形態では、統計的及び/又は機械学習ベースの分析によって識別されるキー属性の基底セットは、1つのキー属性、2つのキー属性、3つのキー属性、4つのキー属性、5つのキー属性、6つのキー属性、7つのキー属性、8つのキー属性、9つのキー属性、10個のキー属性、15個のキー属性、20個のキー属性、又はそれ以上を含み得る。
【0268】
開示される方法を実施する際に、当業者に公知の様々な適切な統計分析方法のいずれかが使用され得る。例には、主成分及び他の固有ベクトルベースの分析方法、回帰分析、確率的グラフィカルモデル、又はそれらの任意の組み合わせが含まれるが、これらに限定されない。
【0269】
次元削減:
上述のように、特徴抽出画像パッチから抽出された画像特徴データセットの次元削減は、いくつかの例では病理学者による画像パッチデータの注釈付け、又は他の場合ではクラスタベースのラベルの画像パッチデータへの割り当てを容易にする。画像特徴は、画像パッチのランダムな選択を訓練された特徴抽出モデルに渡すことによって生成される。この特徴抽出モデルは、例えば、他の視覚分布(例えば、自然画像を含むImageNetデータセット)で事前訓練されたニューラルネットワーク、又は他の計算病理学用途のために訓練されたモデルとすることができる。いずれの場合も、元のモデルをわずかに修正して、いくつかの最終ニューラルネットワーク層(例えば、最終層)を除去してもよい。これは、それ自体では最終的な分類結果(典型的には、この場合は除去されているニューラルネットワークの最終層によって実施される)を提供しないn次元(n>>1)出力を提供するニューラルネットワークモデルをもたらす。代わりに、このn次元層は、修正された特徴抽出モデルを通過した任意の入力(例えば、画像パッチデータ)の顕著で人間が解釈できない情報の埋め込みを提供する。これは、生画素情報からの関連する画像パッチ情報(例えば、形状、色、テクスチャ、視覚的密度及びパターン、画像の構成部品間の関係等)の蒸留として扱うことができ、したがって画像特徴情報の「エンコーディング」を提供する。
【0270】
埋め込み層によって提供される出力は、生画素値よりも表現がはるかにコンパクトであるが、多くの場合、効率的にクラスタリングするにはまだ高すぎる次元数である。例えば、特徴抽出後の埋め込まれた特徴データの次元は、多くの場合、1000次元ベクトル以上であり得る。これにより、クラスタリングプロセスがより困難になり、クラスタリングは非常に高次元の空間で評定及び計算される。更に、埋め込まれたデータ内の個々の特徴は、冗長であってもよく、又は無情報であってもよい(これは、特徴抽出モデルに依存する)。
【0271】
開示される方法及びシステムのいくつかの例では、これらの問題は、埋め込まれたデータに対して次元削減を実施することによって対処され得る。主成分分析(PCA)等の次元削減モデルを使用することにより、埋め込まれたデータの次元数は、データ分散(例えば、第1の主成分は、任意の後続の主成分よりもデータの分散の多くを説明し、1つの成分から次の成分への相対的重要性の脱落は指数関数的であることが多い)を不釣り合いに取り込むべきより低い次元表現(例えば、主成分)に更に削減することができる。PCAを使用すると、主成分も直交することが保証される(すなわち、それらはいかなる冗長性も共有しない)。したがって、例えば、PCAを使用する次元削減アプローチは、入力データ表現(埋め込み画像特徴データ)の、はるかに効率的であり冗長性を除去する異なるデータ表現(i即ち、異なる「組織」を有する;数学的には、「基底変換」がある)への変換を構成する。これにより、はるかに低次元の空間で画像特徴データをクラスタ化することができるが、(単に有用な情報を破棄することから生じるより小さな表現ではなく)よりコンパクトな表現で関連情報を提供するために意図的に「構築」されたものである。画像特徴データは、より効率的かつ効果的にクラスタリングされ、より良好に視覚化することもできる(より低い次元は、より高い次元よりもプロット及び視覚化が容易である)。使用され得る他の適切な次元削減技術の例には、線形判別分析(LDA)、正準相関分析(CCA)、及び非負値行列因子分解(NMF)が含まれるが、これらに限定されない。データ処理ワークフローの一部として次元削減を実行する利点は、以下を含む:(i)より効率的な処理、(ii)データ冗長性の除去(無相関化)、(iii)重要な情報を失うことなくよりコンパクトなデータ表現の生成、及び(iv)データのより容易な視覚化。
【0272】
スライドレベルの遺伝子改変状態分類のための集約方法:
上記のように、いくつかの例では、集約方法を使用して、画像パッチ分類結果に基づいてスライドレベルの遺伝子改変状態の判定を生成することができる。各スライド画像は組織マスクされ、次いで、画像パッチが、例えば、固定画素サイズでスライド画像全体から抽出される。遺伝子改変状態分類器の訓練中、目的の全ての画像パッチ(全ての組織像パッチ、又は目的の組織表現型群(複数可)に属する組織像パッチのいずれか)は、スライドレベルの遺伝子状態ラベル(例えば、EGFR+)を取る。未知の組織サンプルの分類中に、訓練された遺伝子改変状態分類モデルは、いくつかの例では、個々の画像パッチ、例えば、0(0パーセントの確率)~1(100パーセントの確率)の範囲内の値を有する確率スコアについて、個々の画像パッチが所与の組織サンプルスライドから抽出された全ての画像パッチに対して所与の遺伝子改変状態を示すという予測を行い得る。最終的には、画像パッチレベルの予測ではなく、アプローチの実際の実施態様にとって重要なのは、遺伝子改変状態(及びその正確さ)のスライドレベルの予測である。したがって、いくつかの例では、スライドレベルの予測を生成するために、個々の画像パッチレベルの予測を集約し得る。例えば、1つのアプローチは、全ての画像パッチ予測(又は、適用可能であれば、目的の組織表現型群に属する画像パッチの画像パッチ予測)の平均(平均)をとることであり、これにより最終的な組織サンプルのスライドレベルの予測が得られる。平均、中央値、又は最頻値の計算、最大値の計算、多数決決定(例えば、実験的に定義された閾値を下回る値を有する個々のパッチ予測の数(例えば、0.5)対実験的に定義された閾値を上回る値を有する個々のパッチ予測の数を決定し、閾値による線形分離を超えるパッチ予測の大きさに重みが与えられない)、四分位範囲の中心傾向尺度(例えば、平均、中央値等)、極値のみで計算された中心傾向又は投票尺度(例えば、値0.25≦x≦0.75を破棄する等、中間範囲内のサンプルを無視し、その予測スコア範囲外のデータのみを保持する)等を含むがこれらに限定されない、様々な集約方法のいずれかを使用が使用され得る。
【0273】
システム及びシステム性能メトリック:
開示される方法を実装するように設計されたシステムも本明細書に開示される。いくつかの例では、開示されるシステムは、1つ以上のプロセッサ又はコンピュータシステム、1つ以上のメモリデバイス、及び1つ以上のプログラムを含み得て、1つ以上のプログラムは、1つ以上のメモリデバイスに記憶され、1つ以上のプロセッサによって実行されると、本明細書の他の箇所に記載されている遺伝子改変状態の画像ベースの検出のための方法をシステムに実施させる命令(又はコード)を含む。
【0274】
いくつかの例では、開示されるシステムは、例えば、1つ以上のユーザインターフェース及び/又はディスプレイデバイス(例えば、モニタ)、1つ以上の撮像ユニット(例えば、明視野顕微鏡、暗視野顕微鏡、位相差顕微鏡、又は微分干渉顕微鏡、蛍光顕微鏡、共焦点顕微鏡、共焦点蛍光顕微鏡、超解像光学顕微鏡、透過型電子顕微鏡、又は走査型電子顕微鏡)、1つ以上の出力デバイス(例えば、プリンタ)、1つ以上コンピュータネットワークインターフェースデバイス、又はそれらの任意の組み合わせを更に含み得る。
【0275】
いくつかの例では、開示される方法及びシステムの性能は、例えば、画像パッチごとに、又は個々の画像パッチの結果を集約した後にスライドごとに、受信者動作特性曲線下面積(AUROC)を決定することによって評定され得る。受信者動作特性(ROC)曲線は、その識別閾値が変化するときの分類モデルの性能のグラフプロットである。いくつかの例では、開示される方法及びシステムの性能(画像パッチごと又はスライドごとのいずれか)は、少なくとも0.50、少なくとも0.55、少なくとも0.60、少なくとも0.65、少なくとも0.70、少なくとも0.75、少なくとも0.80、少なくとも0.85、少なくとも0.90、少なくとも0.91、少なくとも0.92、少なくとも0.93、少なくとも0.94、少なくとも0.95、少なくとも0.96、少なくとも0.97、少なくとも0.98、又は少なくとも0.99のAUROC値によって特徴付けられ得る。いくつかの例では、開示される方法及びシステムの性能は、この段落に記載された値の範囲内の任意の値のAUROC、例えば0.876のAUROC値によって特徴付けられ得る。いくつかの例では、開示される方法及びシステムの性能は、分類モデルが訓練される特定の遺伝子改変状態(複数可)に応じて変化し得る。
【0276】
いくつかの例では、開示される方法及びシステムの性能は、例えば、組織標本の病理画像における遺伝子改変状態を正確に判定するための臨床的感度及び臨床的特異性を評価することによって評定され得る。いくつかの例では、臨床的感度(すなわち、真陽性結果の数を真陽性結果と偽陰性結果の和で割ったものから計算されるように、方法が組織標本を所与の遺伝子改変状態を有するものとして正しく分類する頻度)は、少なくとも50%、少なくとも60%、少なくとも70%、少なくとも75%、少なくとも80%、少なくとも85%、少なくとも90%、少なくとも95%、少なくとも98%、少なくとも99%、又は少なくとも99.9%であり得る。いくつかの例では、臨床的特異性(すなわち、偽陽性及び真陰性の合計で割った真陰性の数から計算されるように、方法が所与の遺伝子改変状態を有しないとして組織標本を正しく分類する頻度)は、少なくとも50%、少なくとも60%、少なくとも70%、少なくとも75%、少なくとも80%、少なくとも85%、少なくとも90%、少なくとも95%、少なくとも98%、少なくとも99%、又は少なくとも99.9%であり得る。いくつかの例では、陽性結果と陰性結果とを区別するために使用される閾値の調整は、臨床的感度と臨床的特異性との間のトレードオフをもたらし得る。例えば、閾値は、臨床的特異性の付随する低下と共に臨床的感度を増加させるように、又はその逆に調整され得る。
【0277】
いくつかの例では、開示される方法及びシステム(すなわち、参照方法によって示される真陽性である陽性結果のパーセンテージ)の陽性予測値(PPV)は、真陽性及び偽陽性の和で割った真陽性の数として計算され、少なくとも70%、少なくとも75%、少なくとも80%、少なくとも85%、少なくとも90%、少なくとも95%、少なくとも98%、少なくとも99%、又は少なくとも99.9%であり得る。いくつかの例では、開示される方法及びシステム(すなわち、参照方法によって示される真の陰性である陰性結果のパーセンテージ)の陰性予測値(NPV)は、偽陰性及び真陰性の合計で割った真陰性の数から計算され、少なくとも70%、少なくとも75%、少なくとも80%、少なくとも85%、少なくとも90%、少なくとも95%、少なくとも98%、少なくとも99%、又は少なくとも99.9%であり得る。
【0278】
プロセッサ、コンピュータシステム、及び分散コンピューティング環境:
本明細書で開示される機械学習ベースの方法及びシステムを実装するために、1つ以上のプロセッサが使用され得る。開示される方法を実装するために使用される機械学習及び/又は統計分析方法を実行することに加えて、1つ以上のプロセッサは、データ、例えば、画像パッチデータを機械学習及び/又は統計分析方法に入力するために、又は機械学習及び/又は統計分析方法からの結果を出力するために使用され得る。1つ以上のプロセッサは、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、汎用処理ユニット、又は他のコンピューティングプラットフォーム等のハードウェアプロセッサを含み得る。プロセッサは、様々な適切な集積回路、マイクロプロセッサ、論理デバイス、フィールドプログラマブルゲートアレイ(FPGA)等のいずれかから構成されてもよい。本開示はプロセッサを参照して説明されているが、他のタイプの集積回路及び論理デバイスも適用可能である。プロセッサは、任意の適切なデータ演算能力を有し得る。例えば、プロセッサは、512ビット、256ビット、128ビット、64ビット、32ビット、又は16ビットのデータ演算を実施し得る。
【0279】
図11は、本開示の1つ以上の例によるコンピュータシステムの一例を示す。コンピュータシステム1100は、ネットワークに接続されたホストコンピュータとすることができる。コンピュータシステム1100は、クライアントコンピュータ又はサーバとすることができる。
図11に示されるように、コンピュータシステム1100は、パーソナルコンピュータ、ワークステーション、サーバ、又はハンドヘルド計算デバイス(携帯電子デバイス、例えば、電話又はタブレット)等の任意の好適なタイプのマイクロプロセッサベースのデバイスであり得る。コンピュータシステムは、例えば、プロセッサ1110、入力デバイス1120、出力デバイス1130、ストレージ1140、及び通信デバイス1160のうちの1つ以上を含むことができる。入力デバイス1120及び出力デバイス1130は、一般に、上述したものに対応することができ、それらをコンピュータと接続可能とすることができるか又は一体化させることができる。
【0280】
入力デバイス1120は、タッチスクリーン、キーボード若しくはキーパッド、マウス、又は音声認識デバイス等の入力を提供する任意の好適なデバイスとすることができる。出力デバイス1130は、タッチスクリーン、触覚デバイス、又はスピーカ等、出力を提供する任意の好適なデバイスとすることができる。
【0281】
ストレージ1140は、RAM、キャッシュ、ハードドライブ、又はリムーバブルストレージディスクを含む、電気、磁気、又は光学メモリ等のストレージを提供する任意の好適なデバイスであり得る。通信デバイス1160は、ネットワークインターフェースチップ又はデバイス等の、ネットワークを介してシグナルを送受信することができる任意の好適なデバイスを含むことができる。コンピュータの構成要素は、物理的バス又は無線等の任意の好適な様式で接続することができる。
【0282】
メモリ/ストレージ1140に記憶され、プロセッサ1110によって実行されることができるソフトウェア1150は、例えば、(例えば、上述したようなシステムにおいて具現化されるように)本開示の機能を具現化するプログラミングを含むことができる。
【0283】
ソフトウェア1150はまた、命令実行システム、装置、若しくは上述したもの等のデバイスによって、又はそれらと接続して使用するための任意の非一時的コンピュータ可読記憶媒体内に記憶及び/又は転送されることができ、命令実行システム、装置、若しくはデバイスからの、ソフトウェアに関連付けられた命令をフェッチし、命令を実行することができる。本開示の文脈において、コンピュータ可読記憶媒体は、ストレージ1140等の任意の媒体とすることができ、命令実行システム、装置、若しくはデバイスによって、又はそれらと接続して使用するためのプログラミングを含む若しくは記憶することができる。
【0284】
ソフトウェア1150はまた、命令実行システム、装置、若しくは上述したもの等のデバイスによって、又はそれらと接続して使用するための任意の伝送媒体内に伝播されることができ、命令実行システム、装置、若しくはデバイスからの、プログラムに関連付けられた命令をフェッチし、命令を実行することができる。本開示の文脈において、伝送媒体は、任意の媒体とすることができ、命令実行システム、装置、若しくはデバイスによって、又はそれらと接続して使用するための伝送プログラミングを通信、伝播、又は伝送することができる。伝送可読媒体は、電子、磁気、光学、電磁気、若しくは赤外線の有線又は無線伝播媒体を含むことができるが、これらに限定されない。
【0285】
コンピュータシステム1100は、任意の好適な種類の相互接続された通信システムとすることができるネットワークへと接続されることができる。ネットワークは、任意の好適な通信プロトコルを実装することができ、任意の好適なセキュリティプロトコルによって保護されることができる。ネットワークは、無線ネットワーク接続(T1又はT3回線)、ケーブルネットワーク、DSL、又は電話回線等の、ネットワークシグナルの送受信を実装することができる任意の好適な構成のネットワークリンクを含むことができる。
【0286】
コンピュータシステム1100は、ネットワーク上で動作するのに好適な任意のオペレーティングシステムを実装することができる。ソフトウェア1150は、C、C++、Java、又はPython等の任意の好適なプログラミング言語で書かれることができる。様々な実施形態では、本開示の機能を具現化するプログラムは、異なる構成で(例えば、クライアント/サーバ構成で、又はウェブベースのアプリケーション若しくはウェブサービスとしてのウェブブラウザを介して)展開されることができる。
【0287】
本開示の方法及びシステムは、1つ以上の機械学習モデル、例えば、1つ、2つ、3つ、4つ、5つ、又は5つを超える機械学習モデルによって実装されてもよい。機械学習モデルは、中央処理ユニットによる実装時にコード化されたプログラム命令によって実施され得る・
【実施例】
【0288】
本出願は、本出願の例示的な実施形態として提供される以下の非限定的な実施例を参照することによってよりよく理解され得る。以下の実施例は、実施形態をより完全に例示するために提示されており、決して本出願の広い範囲を限定するものとして解釈されるべきではない。本出願の特定の実施形態を本明細書に示し説明したが、そのような実施形態は単なる例として提供されることは明らかであろう。当業者であれば、本発明の趣旨及び範囲から逸脱することなく、多数の変形、変更、及び置換を想到することができる。本明細書に記載の方法を実施する際に、本明細書に記載の実施形態に対する様々な代替形態を使用することができることを理解されたい。
【0289】
実施例1-肺腺癌の全スライド画像から直接NCCNガイドラインドライバの改変を予測する。
本出願人は現在、肺腺癌組織の全スライド画像から直接、National Comprehensive Cancer Network(NCCN)ガイドライン発がん性ドライバ変異を自動的に予測するための機械学習ベースの画像分析プロセスを開発している。訓練プロセスワークフローを
図12に模式的に示し、畳み込みニューラルネットワークモデルA(組織表現型分類器)及びB(遺伝子改変状態分類器)の出力の例を
図13に示す。
【0290】
図12を参照すると、プロセスは、画像データのコホート選択及び転送から始まる。この非限定的な例では、病理学的レビュー、画像化、及び病理画像データベース(イリノイ州バッファローグローブのAperio,Leica Biosystems,Inc.等)へのスキャン画像の転送(1202)の後、肺腺癌サンプルについての画像コホートが選択され(1204)、その各々は、NCCNガイドライン発がん性ドライバ変異の存在又は全てのドライバ変異の非存在のいずれかを示す対応する配列決定結果を有する。次いで、肺腺癌全スライド組織画像のサブセットが、組織表現型クラス、例えば、組織形態クラス(例えば、腫瘍、正常、間質、免疫、及び壊死)に従って、病理学者による注釈付け(1208)のために選択される(1206)。画像パッチは、病理学者によって注釈付けされたスライドから抽出され(1210)、ラベル付き画像パッチデータは、抽出された組織画像パッチを目的の組織表現型クラスに分類するように構成された組織表現型分類器として畳み込みニューラルネットワークを訓練する(1212)ために使用される。訓練された畳み込みニューラルネットワーク(例えば、組織形態分類器)を使用して、コホートの残りのスライドから抽出された全ての画像パッチ(1214)を目的のクラス(例えば、腫瘍、正常、間質、免疫、壊死)(1216)に分類する。全ての画像パッチが分類されると、目的の各形態クラスを反復し、選択された組織表現型クラスからのラベル付けされた画像パッチ及びペア遺伝子改変状態データのみを使用して、スライドレベルの遺伝子改変状態ラベルに基づいて画像パッチを正確に分類することができる畳み込みニューラルネットワーク(遺伝子改変状態分類器)を訓練しようと試み、それによって、所与の遺伝子改変状態の指標として最も関連性のあるラベル付けされた画像パッチを識別することができる。例えば、NCCNドライバ変異のシグナルを調べる場合、腫瘍画像パッチが最も関連性があるようである。最後に、({遺伝子}+スライド及び{遺伝子}-スライドの両方に由来する画像パッチを含む)コホートスライドから抽出された腫瘍画像パッチのみを使用して、遺伝子改変状態分類器を訓練して(1218)、画像パッチレベルでの遺伝子改変状態(例えば、肺腺癌におけるEGFRの状態)を判定する。遺伝子改変状態分類器は、追加のラベル付き画像パッチデータ及びペア遺伝子改変状態データを使用して検証される(1220)。いくつかの例では、例えば、個々の画像パッチ予測の平均化のような方法を使用して、個々の画像パッチの遺伝子改変状態の判定を集約し(1222)、遺伝子改変状態分類器によって出力される最終スライドレベル呼び出しを行う。この方法は、公開された研究に記載された技術水準の性能と同様の遺伝子改変状態検証性能を達成するが、公開された技術水準の結果で使用されたデータセットよりもはるかに不均質な(したがって、多くのノイズを含むと予想される)画像データセットを使用してそれを行う。
【0291】
図7に示す方法、並びに本明細書で開示される他の方法を実装するために使用され得る機械学習、画像処理、及びデータ処理のプラットフォームの非限定的な例としては、Amazon Web Services(AWS)クラウドコンピューティングサービス(例えば、P2グラフィックス処理ユニット(GPU)アーキテクチャを用いる)、TensorFlow(機械学習のためのオープンソースのプログラムライブラリ)、Apache Spark(ビッグデータ分析に使用されるオープンソースの汎用分散コンピューティングシステム)、Databricks(自動クラスタ管理を提供する、Sparkと連携するためのウェブベースのプラットフォーム)、Horovod(TensorFlow、Keras、PyTorch、及びApache MXNetを使用する分散ディープラーニング訓練のためのオープンソースのフレームワーク)、OpenSlide(全スライド画像を読み取るためのインターフェースを提供するCライブラリ)、Scikit-Image(画像処理方法の集合)、及びPyvips(libvips画像処理ライブラリのためのPythonベースのバインディング)が含まれる。
【0292】
図13は、
図12に示すプロセスの出力の非限定的な例を提供し、目的の画像パッチ、例えば、腫瘍のみを使用して遺伝子改変状態分類器を訓練することによって得られた、肺腺癌組織標本画像(左)、組織形態分類(例えば、腫瘍、正常、間質、免疫、壊死)結果(中央)、及び遺伝子改変状態予測結果(右)を含む。組織形態分類画像(中)において、薄いグレーは間質を示し、中間のグレーは正常組織を示し、より濃いグレーは免疫細胞(例えば、中央のわずかに左の画像の上端付近で見える)を示し、最も濃いグレーは腫瘍組織を示す。この例では、壊死組織はほとんど又は全く見られない。遺伝子改変状態分類画像(右)において、薄いグレーのパッチは、モデルが遺伝子改変状態と強く関連すると予測したパッチであり、中間のグレーのパッチは、強く関連しないパッチであり、濃いグレーのパッチは、野生型状態と強く関連するパッチである。
【0293】
図14は、組織表現型クラス(例えば、組織形態表現型)に従って病理スライド画像から抽出された画像パッチを分類するために画像パッチ分類器モデルを訓練するために使用される組織画像及び対応するエキスパート注釈(ラベル)の非限定的な例を提供する。
【0294】
実施例2-肺腺癌の全スライド画像から直接NCCNガイドラインドライバの改変を予測する。
肺腺癌組織の全スライド画像から直接National Comprehensive Cancer Network(NCCN)ガイドライン発がん性ドライバ変異を自動的に予測するように機械学習ベースの画像分析システムを訓練するための代替訓練プロセスワークフローを
図15に概略的に示す。
【0295】
図15を参照すると、プロセス1500は、画像データのコホート選択及び転送から始まる。この非限定的な例では、病理学的レビュー、及び病理画像データベースへのスキャン画像の転送(1502)の後、肺腺癌サンプルについての画像コホートが選択され(1504)、その各々は、NCCNガイドライン発がん性ドライバ変異の存在又は全てのドライバ変異の非存在のいずれかを示す対応する配列決定結果を有する。次いで、肺腺癌全スライド組織画像のサブセットがランダムに選択され(1506)、サブセットの全スライド画像がマスクされ、タイル化され(1508)、全スライド画像のサブセットから画像パッチが抽出され、機械学習モデル(例えば、敵対的生成ネットワークにおけるディスクリミネータサブネットワーク)を使用して画像パッチから画像特徴が抽出される(1510)。次いで、画像パッチから抽出された画像特徴は、例えば、主成分分析及びk平均クラスタリングを使用して画像特徴データセットの次元数を削減するためにクラスタリングされ(1512)、画像パッチデータは、画像特徴クラスタラベルに従ってラベル付けされる。いくつかの例では、病理医は、画像特徴クラスタに更に注釈を付けてもよく、この情報を画像パッチデータラベルに追加してもよい。例えば、いくつかのクラスタは、主に腫瘍、正常な肺、壊死、間質、又は免疫病巣であり得る。更に、腫瘍クラスタは、鱗状、腺房状、微小乳頭状、乳頭状、固形、又は粘液性等の腫瘍組織学的サブタイプを更に特徴とし得る。次いで、目的の組織表現型クラス、例えば、組織形態(例えば、腫瘍、正常、間質、免疫、壊死等)に対応するラベル付き画像パッチデータを選択し(1514)、画像パッチを目的の組織表現型クラスに分類するように構成された組織表現型分類器としての機械学習モデル(例えば、畳み込みニューラルネットワーク)を訓練する(1516)ために使用し得る。次いで、訓練された組織表現型分類器を使用して、コホートの残りの全スライド病理画像から画像パッチをマスキング及び抽出することによって得られた組織画像パッチ(1518)を、それぞれの組織表現型クラス、例えば組織形態学的クラスに分類する。次いで、例えば、ペア遺伝子改変状態データと共に腫瘍関連画像パッチのみを使用して、目的の各組織表現型クラスを反復し、遺伝子改変状態分類器として別の機械学習モデル(例えば、畳み込みニューラルネットワークモデル)を訓練しようと試みてもよい。目的の選択された組織表現型クラスに割り当てられた画像パッチを反復することにより、所与の遺伝子改変状態と最も高度に相関する(すなわち、シグナル又はインジケータを提供する)組織画像パッチカテゴリーを識別することが可能になる。最後に、シグナル含有クラス(すなわち、所与の遺伝子改変状態、例えば、いくつかの例では腫瘍パッチ及び間質パッチと最も高度に相関するラベル付き画像パッチデータ)に属するラベル付き画像パッチデータのサブセットのみを使用して、組織標本の病理画像の分析からスライドレベルでの遺伝子改変状態を判定する際に使用するための遺伝子改変状態分類器を更に訓練し(1520)、調整し、検証し(1522)、展開し得る。スライドレベルの遺伝子改変状態を判定するためにいくつかのアプローチが可能であり、例えば、全てのサブ選択された画像パッチが標本(スライド)レベルの遺伝子改変状態ラベルを継承し、各画像パッチに対して遺伝子改変状態判定を行い、次いで、例えば、スライドレベル呼び出しを行うためにパッチレベル判定を平均化することによって、パッチレベル判定を集約し得る(1524)。別のアプローチは、サブ選択された画像パッチ(例えば、遺伝子改変状態の最良の指標(複数可)である画像パッチのサブセット)を使用し、例えば、別の特徴抽出器モデルを使用してニューラルネットワーク「埋め込み」(例えば、離散変数を連続ベクトルとして表すために使用される方法)を作成し、埋め込みを何らかの方法で集約し(例えば、スライド画像全体の画像パッチ埋め込みの特徴を平均化することによって)、画像データのこのスライドレベル表現及び対応する配列決定ベースの遺伝子改変ラベルを使用して遺伝子改変状態分類モデルを訓練することである。いくつかの例では、遺伝子改変状態分類器の出力は、特定の遺伝子改変状態が組織サンプル中に存在するかどうかのバイナリ判定(すなわち、「あり」又は「なし」の判定)であり得る。いくつかの例では、遺伝子改変状態分類器の出力は、組織サンプルが複数の潜在的な遺伝子改変状態のうちの1つ以上を示すかどうかの判定であり得る。
【0296】
図16は、教師なし特徴抽出モデルを利用する簡略化された訓練プロセスワークフロー1600の概略図を提供する。最初のステップ1602では、目的の疾患状態の病理組織サンプル画像のコホートが選択され、コホートのサブセットの画像(1604)が処理されて(1606)、画像パッチを抽出し(「特徴抽出パッチ」)、これは教師なし機械学習モデルを「特徴抽出モデル」(1608)として訓練するための入力データとして使用される。次いで、特徴抽出パッチは、モデルによって識別された画像特徴に従ってクラスタ化され(1610)、クラスタラベル付き画像パッチデータセットを作成する。続いて、クラスタラベル付き画像パッチデータを使用して、組織表現型分類モデルとして機械学習モデル(例えば、畳み込みニューラルネットワーク)を訓練する(1612)。コホート内の残りの全ての病理スライド画像は、画像パッチを抽出するために処理され(1614)、次いで、訓練された組織表現型分類モデルによって画像パッチクラスタ(病理学者によって識別された組織形態学クラスに直接対応してもよく、対応しなくてもよい)に分類される(1616)。組織表現型分類モデルによって生成されたクラスタ化画像パッチデータの選択されたサブセット(1618)は、例えば、次世代シーケンシングデータから得られた対応する遺伝子改変状態ラベルと組み合わせて使用され、別の機械学習モデル(例えば、畳み込みニューラルネットワーク)を訓練して(1620)、入力としてのラベル付き画像パッチデータ(例えば、画像特徴クラスタラベルを含む)を、出力としての組織サンプルにおける遺伝子改変状態の判定にマッピングする、遺伝子改変状態分類器として機能させるために使用される。
【0297】
図17は、ImageNetデータセット上で事前訓練されたディープニューラルネットワークからの特徴ベクトルに対する教師なし学習からの画像及び画像特徴クラスタの非限定的な例を提供する。各行は異なるクラスタを表し、潜在機能がそのクラスタに属する画像パッチの10個の例を含む。各クラスタ内の代表的な画像パッチの病理評定を画像の下に列挙する。
【0298】
実施例3-肺腺癌における遺伝子融合予測:
図18A~18Dは、肺腺癌における作用可能な融合予測を示す。
図18Aは、肺腺癌の病理スライド画像の非限定的な例を提供する。左画像1805は、ROS1融合を有する転移性肺腺癌のスライドである。右画像1810は、EGFR変異を有する肺腺癌のスライドである。
図18Bは、品質管理からの結果の非限定的な例を提供する。
図18Bに示すように、品質管理プロセスは、組織1815、マーカー1820、ぼやけ1825、及び複合画像特徴550を識別することができる。
図18Cは、腫瘍領域検出の非限定的な例を提供する。
図18Cに示すように、領域が濃いほど腫瘍領域である可能性が高い。
図18Dは、融合状態の予測の非限定的な例を提供する。
図18Dに示すように、領域が暗いほど、遺伝子融合を含む可能性が高い。
【0299】
図19は、ROS1遺伝子融合状態の予測の非限定的な例を提供する。
図19に示す画像は、病理医に提供され得る最終出力の例である。左画像1910は、ROS1融合を含む転移性肺腺癌の融合陽性スライドを示す。右側の画像1920は、画像1910からの同じ視野を、遺伝子融合予測の重ね合わせヒートマップと共に示す。2つの画像を比較すると、腫瘍検出アルゴリズムが腫瘍を含まない画像パッチをどのように拒絶したかを見ることができる。更に、(ヒートマップの強度によって描写されるように)予測のための信頼性メトリック(複数可)は、腫瘍領域にわたって変化し得る。信頼性メトリックは、印環細胞を有するエリアにおいて最も高くなり得る。図から分かるように、デジタル病理画像処理システム110は、デジタル病理モデルが解釈可能な形態学的特徴に基づいていることを病理医に明らかにするフォーマットで出力を提供し得る。
【0300】
本明細書に開示されるデジタル病理モデル及び方法を検証するために、肺腺癌における作用可能な融合予測に関する実験を行った。
図20は、画像パッチベースの遺伝子融合予測のための受信者動作特性(ROC)曲線2010の非限定的な例を提供する。デジタル病理モデルの訓練セットは、270の切除を含んでいた。それらの18.5%が融合陽性であり、すなわち、5人の患者に由来する50枚のスライドであった。これらの融合陽性スライドのうち、5枚のスライドはALK融合陽性であり、45枚のスライドはROS1融合陽性であった。試験セットは、598の摘出及び切除を含んでいた。それらの11%が融合陽性、すなわち、68枚のスライドであった。これらの融合陽性スライドのうち、8枚のスライドはNTRK融合陽性であり、60枚のスライドはROS1融合陽性であった。0.5に設定したカットオフについて、性能統計は以下の通りであった:陽性予測値(PPV)は0.46であり、陰性予測値(NPV)は0.97であり、全体の曲線下面積(AUC)は0.89であった。
【0301】
実施例4-デジタル病理のためのネットワークコンピューティングシステム:
図21は、エンドユーザがデジタル病理画像の処理に基づいて対象予測を要求できるようにする例示的な方法2100を示す。方法は、ステップ2110で開始し得て、
図1に描写されるデジタル病理画像生成システム120は、クライアントコンピューティングシステムから遠隔コンピューティングシステムに要求通信を送信して、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像を処理し得て、クライアントコンピューティングシステムから要求通信を受信したことに応答して、遠隔コンピューティングシステムは、以下のサブステップを含む動作を実施する。サブステップ2110aにおいて、遠隔コンピューティングシステムは、デジタル病理画像にアクセスし得る。サブステップ2110bにおいて、遠隔コンピューティングシステムは、デジタル病理画像を複数の画像パッチにセグメント化し得る。サブステップ2110cにおいて、遠隔コンピューティングシステムは、複数の画像パッチの各々について、パッチが、例えば、腫瘍領域又は腫瘍ネスト構造を描写するかどうかを示すラベルを生成し得る。サブステップ2110dにおいて、遠隔コンピューティングシステムは、各画像パッチに対して生成されたラベルに基づいて、デジタル病理画像が、がん細胞に関して遺伝子融合の発生の描写を含むと判定し得る。サブステップ2110eにおいて、遠隔コンピューティングシステムは、がん細胞に対する遺伝子融合の発生に基づいて、対象の対象予測を生成し得て、対象予測は、対象に対する1つ以上の治療レジメンの適用性の予測を含む。サブステップ2110fにおいて、遠隔コンピューティングシステムは、応答通信を介してクライアントコンピューティングシステムに対象予測を提供し得る。ステップ2120において、クライアント計算システムは、応答通信の受信に応答して、対象予測を出力し得る。いくつかの例では、
図21に描写される方法の1つ以上のステップは、適切な場合に繰り返されてもよい。本開示は、
図21の方法の特定の工程を特定の順序で発生するものとして説明及び示しているが、本開示は、
図21の方法の任意の適切なステップを任意の適切な順序で発生するものとして企図している。更に、本開示は、
図21に描写される方法の特定のステップを含む、エンドユーザが対象予測を要求することを可能にするための例示的な方法を説明及び示しているが、本開示は、適切な場合には、
図21に示す方法のステップの全部、一部を含み得るか、又はいずれも含まない任意の適切なステップを含む、エンドユーザが対象予測を要求することを可能にするための任意の適切な方法を企図している。更に、本開示は、
図21の方法の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び示しているが、本開示は、図 21の方法の任意の適切なステップを実行する任意の適切な構成要素、装置、又はシステムの任意の適切な組み合わせを企図している。
【0302】
実施例5-遺伝子融合の非存在を判定するための方法:
図22は、検出されたがん細胞のセットに関して遺伝子融合の欠如を識別するための例示的な方法2200を示す。方法は、
図1に示すデジタル病理画像処理システム110が、対象からの生体サンプルの特定の部分におけるがん細胞を描写するデジタル病理画像にアクセスすることができるステップ2210で開始し得る。ステップ2220において、デジタル病理画像処理システム110は、デジタル病理画像が、遺伝子融合の発生と相互に排他的な1つ以上の変異の描写を含むと判定し得る。ステップ2230において、デジタル病理画像処理システム110は、がん細胞に対する遺伝子融合の非存在を判定し得る。ステップ2240において、デジタル病理画像処理システム110は、がん細胞に関する遺伝子融合の非存在に基づいて、対象の対象予測を生成し得て、対象予測は、対象に対する1つ以上の治療レジメンの適用可能性の予測を含む。いくつかの例では、適切な場合には、
図22の方法の1つ以上のステップを繰り返してもよい。本開示は、
図22の方法の特定の工程を特定の順序で発生するものとして説明及び示しているが、本開示は、
図22の方法の任意の適切なステップを任意の適切な順序で発生するものとして想定している。更に、本開示は、
図22の方法の特定のステップを含む、遺伝子融合の欠如(又は非存在)を識別するための例示的な方法を記載及び示しているが、本開示は、適切な場合には、
図22の方法のステップの全部、一部を含み得るか、又はいずれも含まない任意の適切なステップを含む、遺伝子融合を排除するための任意の適切な方法を企図している。更に、本開示は、
図22の方法の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び示しているが、本開示は、
図22の方法の任意の適切なステップを実行する任意の適切な構成要素、装置、又はシステムの任意の適切な組み合わせを企図している。
【0303】
開示される方法及びシステムの好ましい実施形態を本明細書で例示及び説明してきたが、このような実施形態は例として提供されているに過ぎないことは当業者には明らかであろう。ここで、当業者は、本明細書に記載の本発明の概念から逸脱することなく、多数の変形、変更、及び置換に想到するであろう。本明細書に記載された実施形態に対する様々な代替形態は、開示される方法及びシステムを実施する際に任意の組み合わせで使用され得ることを理解されたい。以下の特許請求の範囲が本発明の範囲を定義し、特許請求の範囲内の方法及びシステム、並びにそれらの等価物を包含することが意図される。
【国際調査報告】