知財求人 - 知財ポータルサイト「IP Force」
特表2024-539600ホールスライド画像を分析するための生物学的コンテキスト
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-29
(54)【発明の名称】ホールスライド画像を分析するための生物学的コンテキスト
(51)【国際特許分類】
G06T 7/00 20170101AFI20241022BHJP
G06T 7/11 20170101ALI20241022BHJP
G06V 20/69 20220101ALI20241022BHJP
G06V 10/82 20220101ALI20241022BHJP
【ＦＩ】
G06T7/00 630
G06T7/11
G06V20/69
G06T7/00 350C
G06V10/82
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024521026
(86)(22)【出願日】2022-10-07
(85)【翻訳文提出日】2024-05-22
(86)【国際出願番号】 US2022046123
(87)【国際公開番号】W WO2023059920
(87)【国際公開日】2023-04-13
(31)【優先権主張番号】63/253,514
(32)【優先日】2021-10-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック， インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】グエン， トゥルン キエン
(72)【発明者】
【氏名】リャン， ユアン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA13
5L096DA02
5L096FA02
5L096FA60
5L096FA66
5L096GA19
5L096GA51
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
生物学的コンテキストに照らしてホールスライド画像（ＷＳＩ）を分析するためのコンピュータにより実行される方法の実施形態が、ＷＳＩからサンプリングされたパッチのセットの各々について埋込みを抽出することを含み得、埋込みは、ＷＳＩのそれぞれのパッチの抽出された１つまたは複数の組織学的特徴を表す。パッチの各々について、対応する埋込みは、空間コンテキストおよびセマンティックコンテキストでエンコードされ得る。空間コンテキストは、１つまたは複数の組織学的特徴に関係するローカルパターンに対する注意をモデル化し得る。ローカルパターンは、対応するパッチを越えてＷＳＩ中の領域に及び得る。セマンティックコンテキストは、全体としてＷＳＩにわたるグローバルパターンに対する注意をモデル化し得る。ＷＳＩのための表現は、エンコードされたパッチ埋込みを組み合わせることによって生成され得る。次いで、病理学的タスクが、ＷＳＩのための表現に基づいて実行され得る。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
生物学的コンテキストに照らしてホールスライド画像（ＷＳＩ）を分析するためのコンピュータにより実行される方法であって、ＷＳＩからサンプリングされたパッチのセットの各々について埋込みを抽出することであって、前記埋込みが、前記ＷＳＩのそれぞれのパッチの１つまたは複数の組織学的特徴を表す、埋込みを抽出することと、
前記パッチの各々について、空間コンテキストおよびセマンティックコンテキストで対応する前記埋込みをエンコードすることであって、前記空間コンテキストが、前記１つまたは複数の組織学的特徴に関係するローカルパターンを表し、前記ローカル視覚パターンが、対応する前記パッチを越えて前記ＷＳＩ中の領域に及び、前記セマンティックコンテキストが、全体として前記ＷＳＩにわたるグローバルパターンを表す、対応する前記埋込みをエンコードすることと、
エンコードされたパッチ埋込みを組み合わせることによって前記ＷＳＩのための表現を生成することと、
前記ＷＳＩのための前記表現に基づいて病理学的タスクを実行することと
を含む、方法。
【請求項2】
前記パッチが、前記パッチのランダムに選択された複数のクラスタに階層サンプリングストラテジーを適用することによってサンプリングされる、請求項１に記載の方法。
【請求項3】
前記ランダムに選択されたクラスタの各々について、前記クラスタの重心をランダムにサンプリングすることと、
前記クラスタ中の前記パッチの各々について、前記重心までの前記パッチの距離を決定することと、
しきい値距離の範囲内の前記重心までの距離を有する前記クラスタ中のすべてのパッチをランダムにサンプリングすることと
によって、前記階層サンプリングストラテジーを適用することをさらに含む、請求項２に記載の方法。
【請求項4】
前記しきい値距離が、前記病理学的タスクに基づく、請求項３に記載の方法。
【請求項5】
前記空間コンテキストで前記埋込みをエンコードすることが、前記セット中の１つまたは複数の近くのパッチの埋込みに注意を払うことによる空間注意で前記埋込みをエンコードするために、空間エンコーダを使用することを含む、請求項１に記載の方法。
【請求項6】
前記１つまたは複数の近くのパッチが、前記ＷＳＩの指定された病理学的タイプに対応する最大相対距離の範囲内にあるものとして定義される、請求項５に記載の方法。
【請求項7】
前記空間エンコーダのための入力が、前記対応するパッチの位置と、前記近くのパッチの絶対位置のシーケンスとを含む、請求項５に記載の方法。
【請求項8】
前記絶対位置が、倍率の標準レベルに対応するために正規化される、請求項７に記載の方法。
【請求項9】
前記対応するパッチのセマンティックコンテキストで前記埋込みをエンコードすることが、前記セット中の他のパッチの埋込みに注意を払うことによるセマンティック注意で前記埋込みをエンコードするために、セマンティックエンコーダを使用することを含む、請求項１に記載の方法。
【請求項10】
前記セマンティックエンコーダが、マルチヘッド注意層をもつ双方向自己注意エンコーダであり、前記セマンティックエンコーダが、前記セット中の前記他のパッチの埋込みに注意を払う、請求項９に記載の方法。
【請求項11】
前記セマンティックエンコーダのための入力が、前記セット中の前記他のパッチの前記埋込みと、学習可能トークンとを含む、請求項９に記載の方法。
【請求項12】
トレーニングフェーズ中に、前記エンコードされたパッチ埋込みに基づいて前記ＷＳＩの表現を生成することが、エンコードされた学習可能トークンに基づいて補助表現を生成することを含む、請求項１１に記載の方法。
【請求項13】
前記ＷＳＩのための前記表現を生成するための数個の前記パッチに対する過強調を低減するために、前記セマンティック注意を正則化することによって前記セマンティックコンテキストを向上させることをさらに含む、請求項９に記載の方法。
【請求項14】
前記セマンティック注意を正則化することが、前記ＷＳＩからサンプリングされたパッチに対応する前記埋込みのためにエンコードされた前記セマンティック注意にわたる注意マップを計算することと、
前記注意マップの負のエントロピーを、トランスフォーマモデルのトレーニング目的に追加することと
を含む、請求項１３に記載の方法。
【請求項15】
前記エンコードされたパッチ埋込みを組み合わせることが、エンコードされた前記埋込みの平均をとることを含む、請求項１に記載の方法。
【請求項16】
前記ＷＳＩの注釈に基づいて病理学的タスクを実行することが、前記ＷＳＩから抽出された前記１つまたは複数の組織学的特徴を分類すること、
前記ＷＳＩの病理学的タイプを分類すること、
前記１つまたは複数の組織学的特徴に関連する病気の進行リスクを予測すること、または、
前記ＷＳＩに関連する患者の診断を決定すること
を含む、請求項１に記載の方法。
【請求項17】
前記病理学的タスクが、分類器モデルまたはリグレッサモデルを使用して実行され得る、請求項１６に記載の方法。
【請求項18】
ソフトウェアを具現する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアが、実行されると請求項１から１７のいずれか一項に記載のステップを実行するように動作可能な命令を含む、１つまたは複数のコンピュータ可読非一時的記憶媒体。
【請求項19】
１つまたは複数のプロセッサと、前記プロセッサに接続されており前記プロセッサによって実行可能な命令を含むメモリと、を備えるシステムであって、前記プロセッサが、前記命令を実行したとき、請求項１から１７のいずれか一項に記載のステップを実行するように動作可能である、システム。
【請求項20】
生物学的コンテキストに照らしてホールスライド画像（ＷＳＩ）を分析するためのコンピュータにより実行される方法であって、ＷＳＩからサンプリングされたパッチのセットの各々について埋込みを抽出することであって、前記埋込みが、前記ＷＳＩのそれぞれのパッチの１つまたは複数の組織学的特徴を表す、埋込みを抽出することと、
前記パッチの各々について
空間エンコーダによって、前記セット中の近くのパッチの前記埋込みに注意を払うことによる空間注意で前記パッチに対応する前記埋込みをエンコードすることであって、前記空間注意が、前記１つまたは複数の組織学的特徴に関係する微視的視覚パターンに対する注意をモデル化し、前記微視的視覚パターンが、対応する前記パッチを越えて前記ＷＳＩ中の領域に及ぶ、空間注意で前記パッチに対応する埋込みをエンコードすること、および
セマンティックエンコーダによって、前記セット中のすべての他のパッチの前記埋込みに注意を払うことによるセマンティック注意で、前記パッチに対応する前記埋込みをエンコードすることであって、前記セマンティック注意が、全体として前記ＷＳＩにわたる巨視的視覚パターンに対する注意をモデル化する、セマンティック注意で前記パッチに対応する前記埋込みをエンコードすることと、
エンコードされたパッチ埋込みを組み合わせることによって前記ＷＳＩのための表現を生成することと、
前記ＷＳＩのための前記表現に基づいて病理学的タスクを実行することと
を含む、方法。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、「ＳＥＬＦ－ＡＴＴＥＮＴＩＯＮ ＦＯＲ ＭＵＬＴＩＰＬＥ－ＩＮＳＴＡＮＣＥ ＬＥＡＲＮＩＮＧ ＯＦ ＷＳＩ」と題する、２０２１年１０月７日に出願された米国仮特許出願第６３／２５３，５１４号の利益および優先権を主張し、その全体がすべての目的のために参照により本明細書で援用される。
【技術分野】
【0002】
本出願は、一般に、デジタル病理学に関し、より詳細には、ホールスライド画像（ＷＳＩ：ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ）の分析に関する。
【背景技術】
【0003】
組織学的特徴を示すデジタル化されたホールスライド画像（ＷＳＩ）の分析は、癌の診断および予後を決定するためのゴールドスタンダードである。臨床グレードスキャナがより一般的になっているので、ＷＳＩのデジタルスキャンを使用して診断プロセスを改善するために機械学習技法を使用する可能性は、刺激的な展望がある。しかしながら、ＷＳＩを用いた作業は、デジタル化されたＷＳＩのかなり大きいサイズ（たとえば、１００Ｋ×１００Ｋピクセルが一般的なサイズである）により、困難であり得る。ＷＳＩは非常に大きいので、ＷＳＩは、しばしば、分析の目的でより小さい画像タイルまたはパッチに分解されるが、得られる出力は、しばしば、詳細な領域注釈ではなく、弱い、スライドレベルラベルを提供するにすぎない。機械学習方法に基づく標準的な自動分析技法は、集約中に、各パッチを、ＷＳＩ中の他のパッチに対するそのパッチの生物学的コンテキストをモデル化することなしに、独立したユニットとしてとる。これは、病理学者が、ＷＳＩを分析するときに、微視的（ＷＳＩ内の領域またはローカル）パターンと巨視的（ＷＳＩ内のグローバル）コンテキストの両方を参照する診断慣習と対照をなし、すなわち、ＷＳＩの複数の領域が、一般に、病理学者によって、関心のあるパターンとして選ばれ、診断および／または予後結論を引き出すために全体として評価される。
【発明の概要】
【0004】
本明細書で開示される実施形態では、トランスフォーマベース集約モデルが、ＷＳＩ中のローカルパターンおよびグローバルパターンをキャプチャするために、ＷＳＩ中のパッチ間のクロスパッチ（ｃｒｏｓｓ－ｐａｔｃｈ）依存性をモデル化し得る。トランスフォーマベース集約モデルは、各パッチについての埋込み（ｅｍｂｅｄｄｉｎｇ）を、２つのタイプの自己注意（ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）で、すなわち、グローバルコンテキスト（巨視的コンテキスト）としてスライドレベルパターンをモデル化するための、スライド中のすべての他のパッチの外観に対するセマンティック自己注意と、ローカルパターン（微視的コンテキスト）のあいまいさを除去するための、近くのパッチに対する空間自己注意とで、エンコードし得る。さらに、注意ベース信頼度正則化（ｃｏｎｆｉｄｅｎｃｅ ｒｅｇｕｌａｒｉｚａｔｉｏｎ）が、予測のための単一のパッチに対する過強調（ｏｖｅｒ－ｅｍｐｈａｓｉｓ）を低減するために利用され得る。
【0005】
本明細書で開示される実施形態では、生物学的コンテキストに照らしてホールスライド画像（ＷＳＩ）を分析するためのコンピュータにより実行される方法が、ＷＳＩからサンプリングされたパッチのセットの各々について埋込みを抽出することを含み得る。埋込みは、ＷＳＩのそれぞれのパッチの１つまたは複数の組織学的特徴を表し得る。パッチの各々について、対応する埋込みは、空間コンテキストおよびセマンティックコンテキストでエンコードされ得る。空間コンテキストは、１つまたは複数の組織学的特徴に関係するローカルパターンを表し得、ローカル視覚パターンは、対応するパッチを越えてＷＳＩ中の領域に及ぶ。セマンティックコンテキストは、全体としてＷＳＩにわたるグローバルパターンを表し得る。ＷＳＩのための表現は、エンコードされたパッチ埋込みを組み合わせることによって生成され得る。最後に、病理学的タスクが、ＷＳＩのための表現に基づいて実行され得る。
【0006】
パッチは、パッチのランダムに選択された複数のクラスタに階層サンプリングストラテジーを適用することによってサンプリングされ得る。階層サンプリングストラテジーは、クラスタの重心をランダムにサンプリングすることと、クラスタ中のパッチの各々について、重心までのパッチの距離を決定することと、しきい値距離の範囲内の重心までの距離を有するクラスタ中のすべてのパッチをランダムにサンプリングすることとによって、ランダムに選択されたクラスタの各々について適用され得る。しきい値距離は、病理学的タスクに基づき得る。
【0007】
空間コンテキストで埋込みをエンコードすることは、セット中の１つまたは複数の近くのパッチの埋込みに注意を払うことによる空間注意で埋込みをエンコードするために、空間エンコーダを使用することを含み得る。近くのパッチは、ＷＳＩの指定された病理学的タイプに対応する最大相対距離の範囲内にあるものとして定義され得る。空間エンコーダのための入力が、対応するパッチの位置と、近くのパッチの絶対位置のシーケンスとを含み得る。絶対位置は、倍率の標準レベルに対応するために正規化され得る。
【0008】
対応するパッチのセマンティックコンテキストで埋込みをエンコードすることは、セット中の他のパッチの埋込みに注意を払うことによるセマンティック注意で埋込みをエンコードするために、セマンティックエンコーダを使用することを含み得る。セマンティックエンコーダは、マルチヘッド注意層をもつ双方向自己注意エンコーダであり得る。セマンティックエンコーダは、セット中の他のパッチの埋込みに注意を払い得る。セマンティックエンコーダのための入力が、セット中の他のパッチの埋込みと、学習可能トークンとを含み得る。
【0009】
トレーニングフェーズ中に、エンコードされたパッチ埋込みに基づいて、ＷＳＩの表現を生成することは、エンコードされた学習可能トークンに基づいて補助表現を生成することを含み得る。
【0010】
セマンティックコンテキストは、ＷＳＩのための表現を生成するための数個のパッチに対する過強調（ｏｖｅｒｅｍｐｈａｓｉｓ）を低減するために、セマンティック注意を正則化することによってさらに向上され得る。セマンティック注意を正則化することは、ロールアウト動作を使用して、ＷＳＩからサンプリングされたパッチに対応する埋込みのためにエンコードされたセマンティック注意のすべてにわたる注意マップを計算することを含み得る。次いで、注意マップの負のエントロピーが、ヒンジ損失として、トランスフォーマモデルのトレーニング目的に追加され得る。
【0011】
エンコードされたパッチ埋込みを組み合わせることは、エンコードされた埋込みの平均をとることを含み得る。
【0012】
ＷＳＩの注釈に基づいて病理学的タスクを実行することは、ＷＳＩから抽出された１つまたは複数の組織学的特徴を分類すること、ＷＳＩの病理学的タイプを分類すること、１つまたは複数の組織学的特徴に関連する病気の進行リスクを予測すること、または、ＷＳＩに関連する患者の診断を決定することを含み得る。病理学的タスクは、分類器モデルまたはリグレッサモデルを使用して実行され得る。
【0013】
ソフトウェアを具現する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、ソフトウェアが、実行されると本明細書で開示される方法のステップを実行するように動作可能な命令を含む、１つまたは複数のコンピュータ可読非一時的記憶媒体。
【0014】
１つまたは複数のプロセッサと、プロセッサに接続されておりプロセッサによって実行可能な命令を含むメモリと、を備えるシステムであって、プロセッサが、命令を実行したとき、本明細書で開示される方法のステップを実行するように動作可能である、システム。
【0015】
本明細書で開示される実施形態では、生物学的コンテキストに照らしてホールスライド画像（ＷＳＩ）を分析するためのコンピュータにより実行される方法が、ＷＳＩからサンプリングされたパッチのセットの各々について埋込みを抽出することを含み得、埋込みは、ＷＳＩのそれぞれのパッチの１つまたは複数の組織学的特徴を表す。パッチの各々について、空間エンコーダが、セット中の近くのパッチの埋込みに注意を払うことによる空間注意でパッチに対応する埋込みをエンコードし得、空間注意は、１つまたは複数の組織学的特徴に関係する微視的視覚パターンに対する注意をモデル化し、微視的視覚パターンは、対応するパッチを越えてＷＳＩ中の領域に及び、セマンティックエンコーダが、セット中のすべての他のパッチの埋込みに注意を払うことによるセマンティック注意でパッチに対応する埋込みをエンコードし得、セマンティック注意は、全体としてＷＳＩにわたる巨視的視覚パターンに対する注意をモデル化する。ＷＳＩのための表現が、エンコードされたパッチ埋込みを組み合わせることによって生成され得、病理学的タスクが、ＷＳＩのための表現に基づいて実行され得る。
【0016】
上記で開示された実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、上記で開示された実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システム、およびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式上の理由で選定されるにすぎない。ただし、前の請求項への意図的な参照（特に複数の従属関係）から生じる主題も請求され得、その結果、請求項とその特徴との任意の組合せが、開示され、添付の特許請求の範囲で選定された従属関係にかかわらず請求され得る。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。
【0017】
本特許または出願ファイルは、カラーで仕上げられた少なくとも１つの図面を含んでいる。（１つまたは複数の）カラー図面をもつ本特許または特許出願公開のコピーは、要求し、必要な料金を支払うと、特許庁によって提供される。
【図面の簡単な説明】
【0018】
【図1】対話するコンピュータシステムのネットワークを示す図である。
【図2】生物学的コンテキストに照らしてＷＳＩを分析するための例示的なモデルを示す図である。
【図3】生物学的コンテキスト情報に照らしてＷＳＩを分析するための例示的な方法におけるステップを示すフローチャートである。
【図4A】注釈付き腫瘍領域を含むホールスライド画像の一例を示す図である。
【図4C】注意ベース複数インスタンス学習技法を利用する注意マップ可視化の一例を示す図である。
【図4E】セマンティック自己注意技法を利用する注意マップ可視化の一例を示す図である。
【図4G】セマンティック自己注意技法とエントロピーベース注意正則化機構とを利用する注意マップ可視化の一例を示す図である。
【図4H】セマンティック自己注意技法と、エントロピーベース注意正則化機構と、空間自己注意技法とを利用する注意マップ可視化の一例を示す図である。
【図5】例示的なコンピュータシステムを示す図である。
【発明を実施するための形態】
【0019】
複数インスタンス学習が、ＷＳＩをより小さい画像パッチに分解する必要、ならびに、弱い、スライドレベルラベルに関する問題の両方に取り組むために使用され得る。複数インスタンス学習は、パッチレベルにおいて動作し、弱いラベルに寄与するＷＳＩのパッチ（たとえば、領域）を識別する。ＷＳＩは、より小さいパッチに分解され、次いで、弱いスライドレベルラベルのみを使用して、ニューラルネットワークが、どのパッチがスライドレベルラベルに寄与するかを識別するようにトレーニングされる。ここで、複数インスタンス学習の主要な困難は、パッチレベル洞察をスライドレベルに集約することにある。
【0020】
概して、ＷＳＩの分析に適用される複数インスタンス学習モデルが、各ＷＳＩをパッチの「バッグ」として扱うことによって始まる。バッグのためのラベルが、（ｉ）パッチ特徴抽出と（ｉｉ）特徴集約とによって予測される。その後、集約された特徴は、最終予測のためのスライド表現として使用される。特徴集約を達成するために、いくつかの技法は、手作りされた動作、たとえば、最大プーリングに依拠し得、他の技法は、一般の無関係のものの中で、診断のために最も関係するパッチを強調するために、学習可能ネットワークを利用して、パッチの視覚セマンティクスを条件としてパッチの集約重みを予測し得る。しかしながら、一般的な複数インスタンス学習方法は、各パッチを、集約中にそのパッチの生物学的コンテキストを考慮に入れることなしに、独立ユニットとしてとる。これは、病理学者が、微視的パターンとそれらの巨視的コンテキストの両方を見る診断病理学慣習とは対照的である。
【0021】
いくつかの技法が、集約中にクロスパッチ依存性を考慮する。１つの例示的な技法が、スライドの有意な領域をキャプチャするために、頂点として、関心のあるあらかじめ定義された領域にわたるグラフニューラルネットワークを展開する。別の例示的な技法では、単一の距離層が、スライドレベルラベルに対するパッチの寄与を推定するために、重要なパッチと他のパッチとの間のセマンティック類似度を測定するようにトレーニングされる。これらの技法では、パッチの選択されたサブセットにわたる依存性、たとえば、単一の重要なパッチに関係する依存性またはあらかじめ定義された領域にわたる依存性、のみが、モデル化される。
【0022】
本実施形態では、トランスフォーマベース集約モデルが、ＷＳＩ中のローカルパターンおよびグローバルパターンをキャプチャするために、ＷＳＩから選択されたパッチのセット中のすべてのパッチ間のクロスパッチ依存性をモデル化する。選択されたパッチの埋込み（たとえば、特定の病理学に関連する固有の組織学的特徴を表す特徴ベクトル）を生成した後に、自己注意機構が、埋込みのうちのいくつかの他のものからの情報を組み合わせて、焦点埋込みの表現にすることによって、パッチの各々についての埋込みをエンコードする。詳細には、トランスフォーマベース集約モデルは、各パッチについて２つのタイプの自己注意、すなわち、（ｉ）グローバルコンテキスト（たとえば、巨視的コンテキスト）としてスライドレベルパターンをモデル化するための、スライド中のすべての他のパッチの外観に関する情報を組み合わせる、セマンティック自己注意と、（ｉｉ）ローカルパターン（たとえば、微視的コンテキスト）のあいまいさを除去するための、近くのパッチに関する情報を組み合わせる、空間自己注意とを含む。さらに、注意ベース信頼度正則化が、予測のための単一パッチに対する過強調を低減するために利用される。（たとえば、分類器モデルを使用する）腫瘍グレーディング分類タスクと（たとえば、リグレッサモデルを使用する）生存予測回帰タスクとを伴うトランスフォーマベース集約モデルの機能が、本明細書で説明される。
【0023】
トランスフォーマベース集約モデルを包括的に評価するために、２つの異なるタイプの病理学的タスク、すなわち、前立腺癌における腫瘍グレーディングと、肺癌における生存予測とがテストされる。複雑な、基礎をなす病理学的機構では、どちらのタスクも難しい。本方法はどちらのタスクにおいても、既存の結果よりも、それぞれ、κスコアおよびＣインデックスで３．５９％および１．６４％だけ優れている、新しい最先端の正確さを実現する。
【0024】
図１は、本開示のいくつかの実施形態に従って、本明細書で説明されるような、使用され得る対話するコンピュータシステムのネットワーク１００を示す。
【0025】
ホールスライド画像生成システム１２０が、特定のサンプルに対応する１つまたは複数のホールスライド画像または他の関係するデジタル病理画像を生成し得る。たとえば、ホールスライド画像生成システム１２０によって生成された画像が、生検サンプルの染色された切片を含み得る。別の例として、ホールスライド画像生成システム１２０によって生成された画像が、液体サンプルのスライド画像（たとえば、血液フィルム）を含み得る。別の例として、ホールスライド画像生成システム１２０によって生成された画像が、蛍光プローブが標的ＤＮＡまたはＲＮＡ配列に結合された後の蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）を示すスライド画像などの蛍光顕微鏡法を含み得る。
【0026】
いくつかのタイプのサンプル（たとえば、生検、固体サンプルおよび／または組織を含むサンプル）は、サンプル調製システム１２１によって処理されて、サンプルを固定化（ｆｉｘ）するおよび／または包埋（ｅｍｂｅｄ）し得る。サンプル調製システム１２１は、定着剤（ｆｉｘａｔｉｎｇ ａｇｅｎｔ）（たとえば、ホルムアルデヒド溶液などの液体固定化剤（ｆｉｘｉｎｇ ａｇｅｎｔ））および／または包埋物質（たとえば、組織学的ワックス）をサンプルに浸透させることを容易にし得る。たとえば、サンプル定着（ｆｉｘａｔｉｏｎ）サブシステムが、時間の少なくともしきい値量（たとえば、少なくとも１時間、少なくとも６時間、または少なくとも１３時間）の間、サンプルを定着剤に曝露することによってサンプルを固定化し得る。脱水サブシステムが、（たとえば、固定化されたサンプルおよび／または固定化されたサンプルの部分を１つまたは複数のエタノール溶液に曝露することによって）サンプルを脱水し、潜在的に、（たとえば、エタノールおよび組織学的ワックスを含む）透明化中間剤を使用して脱水されたサンプルを透明化し得る。サンプル包埋サブシステムが、加熱された（たとえば、したがって、液体の）組織学的ワックスをサンプルに浸透させ得る（たとえば、対応するあらかじめ定義された時間期間の間に１回またはそれ以上）。組織学的ワックスは、パラフィンワックスおよび潜在的に１つまたは複数の樹脂（たとえば、スチレンまたはポリエチレン）を含み得る。次いで、サンプルおよびワックスは冷却され得、次いで、ワックス浸透サンプルはブロックアウトされ得る。
【0027】
サンプルスライサ１２２が、固定化および包埋されたサンプルを受け取り得、切片のセットを作製し得る。サンプルスライサ１２２は、固定化および包埋されたサンプルを、冷却または冷温度に曝露し得る。次いで、サンプルスライサ１２２は、冷やされたサンプル（またはそのトリミングされたバージョン）を切断して、切片のセットを作製し得る。各切片は、（たとえば）１００μｍ未満、５０μｍ未満、１０μｍ未満または５μｍ未満である厚さを有し得る。各切片は、（たとえば）０．１μｍよりも大きい、１μｍよりも大きい、２μｍよりも大きいまたは４μｍよりも大きい厚さを有し得る。冷やされたサンプルの切断は、（たとえば、少なくとも１０℃、少なくとも１５℃または少なくとも４０℃の温度の）温水浴中で実施され得る。
【0028】
自動染色システム１２３が、各切片を１つまたは複数の染色剤に曝露することによって、サンプル切片のうちの１つまたは複数を染色することを容易にし得る。各切片は、あらかじめ定義された時間期間の間、あらかじめ定義された量の染色剤に曝露され得る。場合によっては、単一の切片が、複数の染色剤に同時にまたは連続的に曝露される。
【0029】
１つまたは複数の染色された切片の各々は、切片のデジタル画像をキャプチャし得る画像スキャナ１２４に提示され得る。画像スキャナ１２４は、顕微鏡カメラを含み得る。画像スキャナ１２４は、（たとえば、１０倍対物レンズ、２０倍対物レンズ、４０倍対物レンズなどを使用して）複数レベルの倍率でデジタル画像をキャプチャし得る。所望の範囲の倍率でサンプルの選択された部分をキャプチャするために、画像の操作が使用され得る。画像スキャナ１２４は、人間のオペレータによって識別された注釈および／または形態計測結果をさらにキャプチャし得る。場合によっては、切片は、１つまたは複数の画像がキャプチャされた後に、切片が、洗浄され、１つまたは複数の他の染料（ｓｔａｉｎ）に曝露され、再びイメージングされ得るように、自動染色システム１２３に戻される。複数の染料が使用されるとき、染料は、大量の第１の染料を吸収した第１の切片部分に対応する、画像の第１の領域が、大量の第２の染料を吸収した第２の切片部分に対応する、画像の第２の領域（または異なる画像）と区別され得るように、異なる色プロファイルを有するように選択され得る。
【0030】
ホールスライド画像生成システム１２０の１つまたは複数の構成要素は、場合によっては、人間のオペレータに関連して動作することができることが諒解されよう。たとえば、人間のオペレータは、（たとえば、サンプル調製システム１２１のまたはホールスライド画像生成システム１２０の）様々なサブシステムにわたってサンプルを移動させ、および／あるいは、ホールスライド画像生成システム１２０の１つまたは複数のサブシステム、システム、または構成要素の動作を、開始または終了させ得る。別の例として、ホールスライド画像生成システムの１つまたは複数の構成要素（たとえば、サンプル調製システム１２１の１つまたは複数のサブシステム）の一部または全部が、部分的にまたは全体的に、人間のオペレータの行為と置き換えられ得る。
【0031】
さらに、ホールスライド画像生成システム１２０の様々な説明および示される機能および構成要素は、固体および／または生検サンプルの処理に関するが、他の実施形態は、液体サンプル（たとえば、血液サンプル）に関し得ることが諒解されよう。たとえば、ホールスライド画像生成システム１２０は、ベーススライドと、汚れた液体サンプルと、カバーとを含む液体サンプル（たとえば、血液または尿）スライドを受け取り得る。次いで、画像スキャナ１２４は、サンプルスライドの画像をキャプチャし得る。ホールスライド画像生成システム１２０のさらなる実施形態は、本明細書で説明されるＦＩＳＨなどの高度なイメージング技法を使用してサンプルの画像をキャプチャすることに関し得る。たとえば、蛍光プローブが、サンプルに導入され、標的配列に結合することを可能にされると、適切なイメージングが、さらなる分析のためにサンプルの画像をキャプチャするために使用され得る。
【0032】
所与のサンプルが、処理およびイメージング中に１人または複数のユーザ（たとえば、１人または複数の医師、検査技師および／または医療提供者）に関連し得る。関連するユーザが、限定ではなく例として、とりわけ、イメージングされているサンプルを作製したテストまたは生検を注文した人、テストまたは生検の結果を受け取る許可を得た人、あるいはテストまたは生検サンプルの分析を行った人を含み得る。たとえば、ユーザは、医師、病理医、臨床医、または被験者に対応し得る。ユーザは、１つまたは複数のユーザデバイス１３０を使用して、サンプルがホールスライド画像生成システム１２０によって処理されるという、および得られた画像がホールスライド画像処理システム１１０によって処理されるという、（たとえば、被験者を識別する）１つまたは複数の要求を提出し得る。
【0033】
ホールスライド画像生成システム１２０は、画像スキャナ１２４によって作製された画像をユーザデバイス１３０に送り返し得る。次いで、ユーザデバイス１３０は、ホールスライド画像処理システム１１０と通信して、画像の自動処理を開始する。場合によっては、ホールスライド画像生成システム１２０は、画像スキャナ１２４によって作製された画像を、たとえば、ユーザデバイス１３０のユーザの指示において、ホールスライド画像処理システム１１０に直接提供する。図示されていないが、他の中間デバイス（たとえば、ホールスライド画像生成システム１２０またはホールスライド画像処理システム１１０に接続されたサーバのデータストア）も使用され得る。さらに、簡単のために、１つのホールスライド画像処理システム１１０、画像生成システム１２０、およびユーザデバイス１３０のみが、ネットワーク１００において示されている。本開示は、本開示の教示から必ずしも逸脱することなしに、各タイプのシステムおよびその構成要素のうちの１つまたは複数の使用を予期する。
【0034】
図１に示されているネットワーク１００および関連するシステムは、ホールスライド画像などのデジタル病理画像のスキャンおよび評価が作業の不可欠な構成要素である、様々なコンテキストにおいて使用され得る。一例として、ネットワーク１００は、ユーザが可能な診断目的でサンプルを評価している、臨床環境に関連し得る。ユーザは、ホールスライド画像処理システム１１０に画像を提供するより前に、ユーザデバイス１３０を使用して画像をレビューし得る。ユーザは、ホールスライド画像処理システム１１０による画像の分析を案内または指示するために使用され得る追加の情報を、ホールスライド画像処理システム１１０に提供し得る。たとえば、ユーザは、スキャン内の特徴の予測診断または予備アセスメントを提供し得る。ユーザはまた、レビューされる組織のタイプなどの追加のコンテキストを提供し得る。別の例として、ネットワーク１００は、たとえば、薬物の有効性または潜在的な副作用を決定するために、組織が検査されている実験室環境に関連し得る。このコンテキストでは、前記薬物の全身に対する作用を決定するために、複数のタイプの組織がレビューのために提出されることが一般的であり得る。これは、イメージングされている組織のタイプに大きく依存し得る画像の様々なコンテキストを決定する必要があり得る人間のスキャンレビュー者に特定の課題を提示し得る。これらのコンテキストは、随意に、ホールスライド画像処理システム１１０に提供され得る。
【0035】
ホールスライド画像処理システム１１０は、ホールスライド画像を含むデジタル病理画像を処理して、デジタル病理画像を分類し、デジタル病理画像および関係する出力のために注釈を生成し得る。パッチサンプリングモジュール１１１が、各デジタル病理画像についてパッチのセットを識別し得る。パッチのセットを定義するために、パッチサンプリングモジュール１１１は、デジタル病理画像をパッチのセットにセグメント化し得る。本明細書で具現化されるように、パッチは、非重複（たとえば、パッチが、他のいかなるパッチ中にも含まれない画像のピクセルを含む）または重複（たとえば、パッチが、少なくとも１つの他のパッチ中に含まれる画像のピクセルのある部分を含む）であり得る。各パッチのサイズおよびそのパッチの重心（たとえば、パッチの重心と近くのパッチの重心との間の画像距離またはピクセル）に加えて、パッチが重複するか否かなどの特徴は、分析のためのデータセットを増加または減少させ得、（たとえば、重複するまたはより小さいパッチを通して）ＷＳＩからより多数のパッチをサンプリングすることは、最終的な出力および可視化の潜在的解像度を増加させ得る。場合によっては、パッチサンプリングモジュール１１１は、各タイルがあらかじめ定義されたサイズのものである、および／またはタイル間のオフセットがあらかじめ定義される、画像のためのパッチのセットを定義する。
【0036】
さらに、パッチサンプリングモジュール１１１は、各画像について、様々なサイズ、重複、ステップサイズなどの、タイルの複数のセットを作成し得る。いくつかの実施形態では、デジタル病理画像自体は、イメージング技法から生じ得るタイル重複を含んでいることがある。タイル重複のないセグメンテーションであっても、タイル処理要件のバランスをとり、本明細書で説明される埋込み生成および重み付け値生成への影響を回避するための、好ましい解決策であり得る。タイルサイズまたはタイルオフセットが、たとえば、各サイズ／オフセットについて１つまたは複数の性能メトリック（たとえば、精度、再現率、正確さ、および／またはエラー）を計算することによって、ならびに、あらかじめ定義されたしきい値を上回る１つまたは複数の性能メトリックに関する、および／または、１つまたは複数の最適な（たとえば、高精度、最高の再現率、最高の正確さ、および／または最低のエラー）性能メトリックに関連する、タイルサイズおよび／またはオフセットを選択することによって、決定され得る。
【0037】
パッチサンプリングモジュール１１１は、さらに、検出されている異常のタイプに応じてタイルサイズを定義し得る。たとえば、パッチサンプリングモジュール１１１は、ホールスライド画像処理システム１１０が探索することになる組織異常の（１つまたは複数の）タイプの認識を伴って構成され得、検出を最適化するために組織異常に応じてタイルサイズをカスタマイズし得る。たとえば、パッチサンプリングモジュール１１１は、組織異常が、肺組織中の炎症または壊死を探索することを含むときは、スキャン速度を増加させるために、タイルサイズが縮小されるべきであり、組織異常が、肝臓組織中のクッパー細胞の異常を含むときは、ホールスライド画像処理システム１１０がクッパー細胞を総体的に分析するための機会を増加させるために、タイルサイズが拡大されるべきであると決定し得る。場合によっては、パッチサンプリングモジュール１１１は、タイルのセットを定義し、各画像について、セット中のタイルの数、セットのタイルのサイズ、セットのためのタイルの解像度、または他の関係するプロパティが定義され、１つまたは複数の画像の各々について一定に保持される。
【0038】
本明細書で具現化されるように、パッチサンプリングモジュール１１１は、さらに、１つまたは複数の色チャネルまたは色の組み合わせに沿って各デジタル病理画像についてタイルのセットを定義し得る。一例として、ホールスライド画像処理システム１１０によって受け取られたデジタル病理画像は、いくつかの色チャネルのうちの１つのために指定された画像の各ピクセルについてピクセル色値を有する、大判マルチ色チャネル画像を含み得る。使用され得る色仕様または色空間の例は、ＲＧＢ、ＣＭＹＫ、ＨＳＬ、ＨＳＶ、またはＨＳＢ色仕様を含む。タイルのセットは、色チャネルをセグメント化すること、および／または各タイルの輝度マップまたはグレースケール等価物を生成することに基づいて定義され得る。たとえば、画像の各セグメントについて、パッチサンプリングモジュール１１１は、赤色タイル、青色タイル、緑色タイル、および／または輝度タイル、あるいは使用される色仕様に対する同等のものを提供し得る。本明細書で説明されるように、画像のセグメントおよび／またはセグメントの色値に基づいてデジタル病理画像をセグメント化することは、タイルおよび画像についての埋込みを生成するために、ならびに画像の分類を作製するために、使用されるネットワークの正確さおよび認識率を改善し得る。
【0039】
さらに、ホールスライド画像処理システム１１０は、たとえば、パッチサンプリングモジュール１１１を使用して、色仕様間で変換し、および／または複数の色仕様を使用してタイルのコピーを調製し得る。色仕様変換は、所望のタイプの画像拡張（たとえば、特定の色チャネル、飽和レベル、輝度レベルなどを強調または増強すること）に基づいて選択され得る。色仕様変換はまた、ホールスライド画像生成システム１２０とホールスライド画像処理システム１１０との間の互換性を改善するように選択され得る。たとえば、特定の画像スキャン構成要素が、ＨＳＬ色仕様において出力を提供し得、ホールスライド画像処理システム１１０において使用されるモデルは、本明細書で説明されるように、ＲＧＢ画像を使用してトレーニングされ得る。タイルを互換性のある色仕様に変換することは、タイルが依然として分析され得ることを保証し得る。さらに、ホールスライド画像処理システムは、ホールスライド画像処理システムによって使用可能であるように、特定の色深度（たとえば、８ビット、１６ビットなど）で提供される画像をアップサンプリングまたはダウンサンプリングし得る。さらに、ホールスライド画像処理システム１１０は、キャプチャされた画像のタイプに応じてタイルを変換させ得る（たとえば、蛍光画像は、色強度に関するより多くの詳細またはより広範囲の色を含み得る）。
【0040】
本明細書で説明されるように、パッチ埋込みおよびエンコーディングモジュール１１２が、対応する特徴埋込み空間における各パッチについての埋込みを生成し得る。特定の実施形態では、パッチ埋込みおよびエンコーディングモジュール１１２は、トランスフォーマベース集約モデルの１つまたは複数の態様を組み込み得る。埋込みは、ホールスライド画像処理システム１１０によって、パッチの特徴ベクトルとして表され得る。パッチ埋込みおよびエンコーディングモジュール１１２は、ニューラルネットワーク（たとえば、畳み込みニューラルネットワーク（ＣＮＮ））を使用して、画像の各パッチを表す特徴ベクトルを生成し得る。特定の実施形態では、パッチ埋込みおよびエンコーディングモジュール１１２によって使用されるＣＮＮは、デジタル病理学ホールスライド画像などの大判画像の多数のパッチを扱うようにカスタマイズされ得る。さらに、パッチ埋込みおよびエンコーディングモジュール１１２によって使用されるＣＮＮは、カスタムデータセットを使用してトレーニングされ得る。たとえば、ＣＮＮは、ホールスライド画像の様々なサンプルを使用してトレーニングされるか、さらには、埋込みネットワークが埋込みを生成することになる主題（たとえば、特定の組織タイプのスキャン）に関連するサンプルを使用してトレーニングされ得る。画像の特殊なセットまたはカスタマイズされたセットを使用してＣＮＮをトレーニングすることは、ＣＮＮがパッチ間のより細かい違いを識別することを可能にし得、これは、画像を取得するための追加の時間と、パッチ埋込みおよびエンコーディングモジュール１１２による使用のために複数のパッチサンプリングネットワークをトレーニングする算出コストおよび経済的コストとを犠牲にして、特徴埋込み空間内のパッチ間のより詳細で正確な距離を生じ得る。パッチ埋込みおよびエンコーディングモジュール１１２は、ホールスライド画像処理システム１１０によって処理されている画像のタイプに基づいて、ＣＮＮのライブラリから選択し得る。
【0041】
本明細書で説明されるように、パッチ埋込みは、パッチの視覚的特徴を使用して深層学習ニューラルネットワークから生成され得る。パッチ埋込みは、さらに、パッチに関連するコンテキスト情報から、またはパッチに示されているコンテンツから生成され得る。たとえば、パッチ埋込みは、示されたオブジェクトの形態学的特徴（たとえば、示された細胞のサイズまたは収差および／あるいは示された細胞の密度または収差）を示すおよび／またはそれに対応する、１つまたは複数の特徴を含み得る。形態学的特徴は、絶対的に（たとえば、ピクセル単位で表された、またはピクセルからナノメートルに変換された、幅）、あるいは、同じデジタル病理画像からの、（たとえば、同様の技法を使用して、または単一のホールスライド画像生成システムもしくはスキャナによって作製された）デジタル病理画像のクラスからの、またはデジタル病理画像の関係するファミリーからの、他のパッチに対して相対的に、測定され得る。さらに、パッチは、パッチ埋込みおよびエンコーディングモジュール１１２が、埋込みを準備するときに分類を考慮するように、パッチ埋込みおよびエンコーディングモジュール１１２がパッチについての埋込みを生成するより前に、分類され得る。
【0042】
一貫性のために、パッチ埋込みおよびエンコーディングモジュール１１２は、あらかじめ定義されたサイズ（たとえば、５１２個の要素のベクトル、２０４８バイトのベクトルなど）の埋込みを作製し得る。パッチ埋込みおよびエンコーディングモジュール１１２は、様々なおよび任意のサイズの埋込みを作製し得る。時間埋込みモジュール１１２は、ユーザ方向に基づいて埋込みのサイズを調整し得、あるいは、たとえば、算出効率、正確さ、または他のパラメータを最適化するように選択され得る。特定の実施形態では、埋込みサイズは、埋込みを生成した深層学習ニューラルネットワークの制限または仕様に基づき得る。より大きい埋込みサイズが使用されて、埋込み中でキャプチャされる情報の量を増加させ、結果の品質および正確さを改善し得る一方で、より小さい埋込みサイズが使用されて、算出効率を改善し得る。
【0043】
パッチ埋込みおよびエンコーディングモジュール１１２はまた、各パッチについての埋込みを、空間注意およびセマンティック注意でエンコードし得る。空間注意で埋込みをエンコードすることは、パッチ中の１つまたは複数の組織学的特徴に関係するローカル視覚パターンをモデル化し得、ローカル視覚パターンは、対応するパッチを越えてＷＳＩ中の領域に及ぶ。セマンティック注意で埋込みをエンコードすることは、全体としてＷＳＩにわたるグローバル視覚パターンをモデル化し得る。空間注意およびセマンティック注意は、パッチのための全注意を決定するために集約され得る。
【0044】
ホールスライド画像アクセスモジュール１１３は、ホールスライド画像処理システム１１０およびユーザデバイス１３０の他のモジュールからのホールスライド画像にアクセスするための要求を管理し得る。たとえば、ホールスライド画像アクセスモジュール１１３は、特定のパッチ、パッチの識別子、またはホールスライド画像の識別子に基づいて、ホールスライド画像を識別するための要求を受け取る。ホールスライド画像アクセスモジュール１１３は、要求するユーザにとってホールスライド画像が利用可能であることを確認する、要求されたホールスライド画像を取り出すための適切なデータベースを識別する、および、要求するユーザまたはモジュールにとって関心があり得る任意の追加のメタデータを取り出す、タスクを実行し得る。さらに、ホールスライド画像アクセスモジュール１１３は、要求するデバイスに適切なデータを効率的にストリーミングすることを扱い得る。本明細書で説明されるように、ユーザがホールスライド画像の部分を見ることを望むことになる可能性に基づいて、ホールスライド画像が、チャンクでユーザデバイスに提供され得る。ホールスライド画像アクセスモジュール１１３は、ホールスライド画像のどの領域を提供すべきかを決定し、それらをどのように提供するのが最善であるかを決定し得る。さらに、ホールスライド画像アクセスモジュール１１３は、個々の構成要素がデータベースまたはホールスライド画像をロックしたり、さもなければ不正使用して、他の構成要素またはユーザに損害を与えたりしないことを保証するために、ホールスライド画像処理システム１１０内で権限を与えられ得る。
【0045】
ホールスライド画像処理システム１１０の出力生成モジュール１１４が、ユーザ要求に基づいて、結果パッチおよび結果ホールスライド画像データセットに対応する出力を生成し得る。本明細書で説明されるように、出力は、要求のタイプおよび利用可能であるデータのタイプに基づいて、様々な視覚化と、対話型グラフィックと、レポートとを含み得る。多くの実施形態では、出力は、表示のためにユーザデバイス１３０に提供されることになるが、いくつかの実施形態では、出力は、ホールスライド画像処理システム１１０から直接アクセスされ得る。出力は、適切なデータの存在および適切なデータへのアクセスに基づくことになり、したがって、出力生成モジュールは、必要に応じて、必然的にメタデータおよび匿名化された患者情報にアクセスするために権限を与えられることになる。ホールスライド画像処理システム１１０の他のモジュールと同様に、出力生成モジュール１１４は、大きなダウンタイムを必要とすることなしに、新しい出力特徴がユーザに提供され得るように、モジュール式で更新および改善され得る。
【0046】
本明細書で説明される一般的な技法は、様々なツールおよび使用事例に統合され得る。たとえば、説明されるように、ユーザ（たとえば、病理学者または臨床医）が、ホールスライド画像処理システム１１０と通信しているユーザデバイス１３０にアクセスし、分析のためのクエリ画像を提供し得る。ホールスライド画像処理システム１１０、またはホールスライド画像処理システムへの接続は、対応する一致を探索し、類似の特徴を識別し、要求に応じてユーザのための適切な出力を生成する、スタンドアロンソフトウェアツールまたはパッケージとして提供され得る。合理化ベースで購入またはライセンス付与され得るスタンドアロンツールまたはプラグインとして、ツールは、研究または臨床研究室の能力を増強するために使用され得る。さらに、ツールは、ホールスライド画像生成システムの顧客にとって利用可能にされるサービスに統合され得る。たとえば、ツールは、統一されたワークフローとして提供され得、ホールスライド画像が作成されるように導くまたは要求するユーザは、その画像および／または以前にインデックス付けされた類似のホールスライド画像内の注目すべき特徴のレポートを自動的に受け取る。したがって、ホールスライド画像分析を改善することに加えて、これらの技法が既存のシステムに統合されて、以前には考えられなかった、または可能でなかった追加の特徴を提供し得る。
【0047】
その上、ホールスライド画像処理システム１１０は、特定の設定における使用のためにトレーニングおよびカスタマイズされ得る。たとえば、ホールスライド画像処理システム１１０は、特に、特定のタイプの組織（たとえば、肺、心臓、血液、肝臓など）に関係する洞察を提供する際に使用するためにトレーニングされ得る。別の例として、ホールスライド画像処理システム１１０は、たとえば、薬物または他の潜在的治療処置に関連する毒性のレベルまたは程度を決定する際に、安全性アセスメントを支援するようにトレーニングされ得る。特定の主題または使用事例における使用のためにトレーニングされたると、ホールスライド画像処理システム１１０は、必ずしもその使用事例に限定されるとは限らない。トレーニングは、少なくとも部分的にラベル付けまたは注釈付けされた画像の比較的より大きいセットにより、特定のコンテキスト、たとえば毒性アセスメントにおいて、実施され得る。
【0048】
図２は、トランスフォーマベース集約モデルの例示的な概観を示す。畳み込みニューラルネットワーク（ＣＮＮ）エンコーダ２１０から抽出されたパッチ埋込みが、さらに、視覚コンテキストを提供するために、セマンティック自己注意（２２０を参照）および空間自己注意（２３０を参照）で向上される。エンコードされたパッチ埋込みの平均が、最終スライド表現として使用される一方で、ＣＬＳトークン出力（「ｅ［ＣＬＳ］」）は、分類層への入力、ならびにトレーニングのための補助損失として使用され得る（２４０を参照）。数個のパッチへの過剰注意を回避するために、注意ロールアウト方法に基づく正則化が、学習目的として導出され得る（２５０を参照）。空間自己注意の学習を可能にするために、階層サンプリングストラテジーが適用され得る（２７０を参照）。特定のダウンストリームタスク（２６０を参照）のための得られたスライド表現の最終読出しに伴って、トランスフォーマベース集約モデル全体は、エンドツーエンド様式で最適化され得る。
【0049】
複数インスタンス学習フォーミュレーションの後に、パッチｘの複数インスタンスを含んでいるバッグＢとして各ＷＳＩを考慮することが続き得、したがって、Ｂ＝｛ｘ１，ｘ２，．．．，ｘｎ｝であり、ここで、ｘｉ∈χである。各バッグは、各バッグの含まれているインスタンスに応じたラベルｙを有するが、インスタンスラベルは知られていない。バッグラベルの推定は、
として定義され得、ｆは、特徴抽出トランスフォーメーションであり得、ｇは、置換不変（ｐｅｒｍｕｔａｔｉｏｎ－ｉｎｖａｒｉａｎｔ）トランスフォーマベース集約モデルであり得る。図２は、開示されるトランスフォーマベース集約モデルｇの全体的なアーキテクチャを示す。初期特徴が、事前トレーニングされたＣＮＮエンコーダ（２１０）を使用することによって、各パッチについて抽出される。しかしながら、原則として、任意の特徴表現学習手法が、このステップのために使用され得る。トランスフォーマベース集約モデルの適用の後に、タスク依存読出しが、ダウンストリームタスク（２６０）のために使用され得る。
【0050】
セマンティック自己注意および空間自己注意が、２つの別個のタイプのエンコーダで明示的にエンコードされ得る。セマンティックエンコーディング（２２０）は、グローバルな、または巨視的な、視覚パターンをモデル化し、セマンティックエンコーディングは、セマンティックコンテキストとして、パッチＰに対してすべての他のパッチの埋込みに注意を払う（たとえば、他の埋込みからのコンテキスト情報でパッチＰをエンコードすることによって、パッチＰの埋込みを向上させる）ことによって、パッチＰをホールスライドと相関させる。これは、ローカル細胞内（ｓｕｂ－ｃｅｌｌｕｌａｒ）パターンの影響が、スライド中の他のパターンの共存に依存し得る、臨床診断のコンテキストによって動機を与えられる。そのようなセマンティック依存は、非限定的な一例において、マルチヘッド注意層２２２、追加および正規化層２２４、および（１つまたは複数の）フィードフォワード層２２６をもつ双方向自己注意エンコーダを使用することによって実現され得、ここで、パッチｉへのパッチｊの明示的相互注意（ｃｒｏｓｓ－ａｔｔｅｎｔｉｏｎ）は、
として示される。一例として、グリーソンスケール３組織の出現は、グレード１前立腺癌のための鍵となる指示であり得るが、それは、より攻撃性の高い前立腺癌についての症例である、グリーソンスケール４腺が、ＷＳＩにおいて優勢であるときは、あまり重要でない。セマンティックエンコーダは、マルチヘッド注意層をもつ双方向エンコーダで実装され得、ＣＮＮエンコーダからのパッチ埋込みの１Ｄシーケンス｛ｗ１，ｗ２，．．．，ｘｎ｝は、入力として学習可能トークン（「［ＣＬＳ］」）を付加される。空間エンコーダは、２つのパッチの相対位置を明示的にモデル化するので、位置埋込みは、入力トークン中に含まれない。
【0051】
細胞内構造が、ＷＳＩにおいて異なるスケールのものであり得るので、空間エンコーディングは、単一のパッチの範囲を越えて延びる領域視覚パターンをモデル化する。本実施形態は、別個の自己注意機構による空間エンコーディングを組み込み得る。詳細には、ローカル領域内のすべてのパッチ間の双方向自己注意がモデル化される。この空間自己注意方法は、２つのパッチ間の相対距離のみを条件とすることによって、上述のセマンティック自己注意から分離され得る。
【0052】
２３０に示されているように、空間エンコーダへの入力は、ＷＳＩパッチの絶対位置のシーケンス｛ｐ１，ｐ２，．．．，ｐｎ｝である。様々なＷＳＩが異なる解像度を有することがあるので、位置は、標準倍率に前処理される。パッチｉとパッチｊとの間の空間注意として、
を示し、ここで、その値は、
として定義され、ここで、ＷＰ∈Ｒｋは、学習可能相対位置相関であり、ｋは、空間依存性がモデル化される、最大相対距離であり、それを越えると、値は、ＷＰ（ｋ）にクリッピングされる。ｋの値は、ＷＳＩの特定のタイプに関する従来の病理学的知識に基づいて決定され得る。図２（ｂ）に記載のすべてのセマンティックエンコーダにおいて、パッチｊからのパッチｉの全自己注意αｉｊは、空間注意とセマンティック注意との組合せ、すなわち、
であり得る。
【0053】
さらに、トランスフォーマベース集約モデルは、階層サンプリングストラテジーを適用し、必要とされるバッグサイズＮのために、Ｎ／Ｋ個のインスタンスのＫ個の空間的にクラスタリングされるグループが、重複なしに選択される。クラスタ重心が、ＷＳＩの組織領域中にあるように、ランダムにサンプリングされる。グループ内のすべてのインスタンスが、重心からＤピクセルの最大距離内にランダムにサンプリングされ、この値は、特定の病理学的タスクにおける細胞内構造の寸法に基づいて決定され得る。この手法は、空間自己注意エンコーディングを学習するのに十分なサンプルをサンプリングするように設計される。２７０を参照されたい。
【0054】
２つの集約動作が、２４０に示されているように、拡張パッチ埋込みからスライド表現ｅを生成するように設計される。第１に、学習可能分類（ＣＬＳ）トークン（「［ＣＬＳ］」）が、エンコーディングステップより前にパッチ埋込みのシーケンスに付加され得るが、マルチレイヤエンコーディングの後のその最終状態（「ｅ［ＣＬＳ］」）が、表現としてとられ得る。ＣＬＳトークンをパッチ埋込みのシーケンスに付加することは、ＣＬＳトークンが、シーケンス中のパッチ埋込みのすべての代表的情報のすべてでエンコードされることを可能にする。ＢＥＲＴトランスフォーマモデルが、埋込みのシーケンスに追加されているＣＬＳトークンの使用の一例を提供する。Ｄｅｖｌｉｎ，Ｊ．ら：ＢＥＲＴ：Ｐｒｅ－ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｂｉｄｉｒｅｃｔｉｏｎａｌ ｔｒａｎｓｆｏｒｍｅｒｓ ｆｏｒ ｌａｎｇｕａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ，ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８１０．０４８０５（２０１８）。第２に、すべての拡張パッチ埋込みを平均化するプーリング層２４２が、埋込み（「ｅａｖｇ」）を生じ得る。両方の集約を使用することによって、両方にわたって共有される特徴が、入力データからのより広いサポートを有し得、スライド表現としてｅａｖｇを使用し、目的のトレーニングのための補助埋込みとしてｅＣＬＳを使用することが、最高性能を実現し得る。
【0055】
注意ベース正則化が、診断のための数個のパッチに対する過剰信頼を低減し得る。これは、主に、病理学者の臨床慣習によって動機を与えられ、複数のパッチにわたる複数の領域が、一般に、関心のあるパターンとして選ばれ、診断結論のために全体として評価される。特に、注意ベース正則化は、Ａｂｎａｒ，Ｓ．ら、ａｒＸｉｖ：２００５．００９２８ｖ２（２０２０年５月３１日）「Ｑｕａｎｔｉｆｙｉｎｇ Ａｔｔｅｎｔｉｏｎ Ｆｌｏｗ ｉｎ Ｔｒａｎｓｆｏｒｍｅｒｓ」で説明されるように、注意ロールアウト動作を使用して実装され得る。正則化を実装するために、注意ロールアウト動作は、マルチレイヤセマンティック自己注意にわたって実行されて、ＷＳＩ上の全体的な注意Ａｒｏｌｌｏｕｔを計算し得る。次いで、全体的な注意マップの負のエントロピー、－Ｈ（ｐ（Ａｒｏｌｌｏｕｔ│ｗ））が、ヒンジ損失として、全体的なトレーニング目的Ｌに追加され得、Ｌ＝Ｌｔａｓｋ＋βｍａｘ（０，Ｔ－Ｈ（ｐ（Ａｒｏｌｌｏｕｔ│ｗ）））である。Ｌｔａｓｋは、タスク固有損失であり、βは、注意ベース正則化の強度を制御するための重みであり、Ｔは注意分散のためのしきい値であり、それを下回ると、信頼度ペナルティ付け（ｐｅｎａｌｉｚａｔｉｏｎ）がＷＳＩに適用され得る。
【0056】
図３は、生物学的コンテキスト情報に照らしてＷＳＩを分析するための例示的な方法３００におけるステップを示すフローチャートである。ステップ３１０において、ＷＳＩからパッチがサンプリングされ得る。階層サンプリングストラテジーが、パッチのランダムに選択されたクラスタに適用され得る。クラスタ重心が、ＷＳＩの組織領域中でランダムにサンプリングされ得る。クラスタ内のすべてのパッチが、（スライドが異なる解像度を有することがあるので、固定化されたピクセル距離ではなく）重心からＤマイクロメートルの最大距離内でランダムにサンプリングされ得る。最大距離の値は、特定の病理学的タスクにおける細胞内構造の寸法に基づいて決定され得る。
【0057】
ステップ３２０において、ＷＳＩからサンプリングされたパッチの各々について埋込みが抽出され得、埋込みは、ＷＳＩのそれぞれのパッチの１つまたは複数の組織学的特徴を表す。埋込みは、１つまたは複数の組織学的特徴を抽出するために事前トレーニングされたＣＮＮエンコーダを使用して抽出され得る。ＣＮＮエンコーダは、パッチ埋込みの１次元シーケンスを出力し得る。
【0058】
ステップ３３０において、パッチの各々についての埋込みは、空間注意およびセマンティック注意でエンコードされ得る。空間注意は、１つまたは複数の組織学的特徴に関係するローカル視覚パターンに対する注意をモデル化し得る。ローカル視覚パターンは、対応するパッチを越えてＷＳＩ中の領域に及び得る。セマンティック注意は、全体としてＷＳＩにわたるグローバル視覚パターンに対する注意をモデル化し得る。
【0059】
空間注意で埋込みをエンコードすること（ステップ３３２）は、セット中の１つまたは複数の近くのパッチの埋込みに注意を払う（たとえば、焦点パッチの埋込みを、近くのパッチの埋込みからのコンテキスト情報でそれをエンコードすることによって、向上させる）ことによって埋込みをエンコードするために、空間エンコーダを使用することを含み得る。近くのパッチは、ＷＳＩの指定された病理学的タイプに対応する最大相対距離の範囲内にあるものとして定義され得る。空間エンコーダのための入力が、対応するパッチの位置埋込みと、近くのパッチの位置埋込み（たとえば、絶対位置）のシーケンスとを含み得る。位置埋込みは、パッチの各々を倍率の標準レベルに正規化することに基づいて決定され得る。
【0060】
セマンティック注意で埋込みをエンコードすること（ステップ３３４）は、セット中の他のパッチの埋込みに注意を払う（たとえば、焦点パッチの埋込みを、セット中の他のサンプリングされたパッチのすべての埋込みからのコンテキスト情報でそれをエンコードすることによって、向上させる）ことによって埋込みをエンコードするために、セマンティックエンコーダを使用することを含み得る。セマンティックエンコーダは、マルチヘッド注意層をもつ双方向自己注意エンコーダであり得、セマンティックエンコーダは、セット中の他のパッチの埋込みに注意を払う。セマンティックエンコーダのための入力が、セット中の他のパッチの埋込みと、学習可能トークン（「［ＣＬＳ］」）とを含み得る。いくつかの実施形態では、入力は、学習可能トークンでプリペンドされた他のパッチ埋込みの１次元シーケンスを含み得る。トレーニングフェーズ中に、ＷＳＩの補助表現が、エンコードされた学習可能トークンに基づいて生成され得る。
【0061】
ステップ３４０において、エンコードされたパッチ埋込みは、ＷＳＩのための表現を生成するために組み合わせられ得る。エンコードされたパッチ埋込みを組み合わせることは、エンコードされた埋込みの平均をとることを含み得る。
【0062】
ステップ３５０において、ダウンストリーム病理学的タスクが、ＷＳＩのための表現に基づいて実行され得る。ダウンストリーム病理学的タスクは、限定ではなく例として、ＷＳＩから抽出された１つまたは複数の組織学的特徴を分類すること、ＷＳＩの病理学的タイプを分類すること、１つまたは複数の組織学的特徴に関連する病気の進行リスクを予測すること、または、ＷＳＩに関連する患者の診断を決定することを含み得る。
【0063】
上記で説明されたように、注意ベース正則化が、数個のパッチに対する過強調を低減するために利用され得る。ＷＳＩにおける（たとえば、図２中のｅｉ－＞ｗｊのような）すべてのパッチへのパッチｉの注意マップは、すべてのセマンティック注意にわたるロールアウト動作で計算され得る。空間注意は、それらがＷＳＩにわたってどこでも一貫性があるべきであるので、含まれない。Ａｒｏｌｌｏｕｔとして示される、ＷＳＩの全体的な注意マップは、すべての出力トークンにおける注意マップが、スライド表現に等しく寄与するので、すべての出力トークンにおける注意マップの平均（たとえば、ｅｉ）として計算され得る。その場合、次いで、Ａｒｏｌｌｏｕｔの負のエントロピーが、ヒンジ損失として、トレーニング目的に追加され、
Ｌｒｅｇ＝βｍａｘ（０，Ｔ－Ｈ（ｐ（Ａｒｏｌｌｏｕｔ｜ｗ）））
ここで、βは、注意ベース正則化の強度を制御するためのハイパーパラメータであり、Ｔは、注意分散のためのエントロピーしきい値であり、それを下回ると、過剰注意ペナルティ付けがモデルに適用され得る。
Ｌｒｅｇ＝βｍａｘ（０，Ｔ－Ｈ（ｐ（Ａｒｏｌｌｏｕｔ｜ｗ）））
ここで、βは、注意ベース正則化の強度を制御するためのハイパーパラメータであり、Ｔは、注意分散のためのエントロピーしきい値であり、それを下回ると、過剰注意ペナルティ付けがモデルに適用され得る。
【0064】
特定の実施形態は、適切な場合、図３の方法の１つまたは複数のステップを繰り返し得る。本開示は、図３の方法の特定のステップを、特定の順序で行われるものとして説明し、示すが、本開示は、図３の方法の任意の好適なステップが任意の好適な順序で行われることを企図する。その上、本開示は、図３の方法の特定のステップを含む、生物学的コンテキスト情報に照らしてＷＳＩを分析するための例示的な方法を説明し、示すが、本開示は、適切な場合、図３の方法のステップのすべてを含むか、いくつかを含むか、またはいずれも含まないことがある、任意の好適なステップを含む、生物学的コンテキスト情報に照らしてＷＳＩを分析するための任意の好適な方法を企図する。さらに、本開示は、図３の方法の特定のステップを行う特定の構成要素、デバイス、またはシステムを説明し、示すが、本開示は、図３の方法の任意の好適なステップを行う任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せを企図する。
【0065】
図４Ａ～図４Ｊは、セマンティック自己注意および空間自己注意と、アブレーション（ａｂｌａｔｅ）されたモデルの注意マップを可視化することによる注意正則化との効果を示す。詳細には、注意ベース複数インスタンス学習手法のみを使用する場合、モデルは、非腫瘍領域に対する偽陽性注意を有し得る。空間自己注意を追加することによって、そのような偽陽性注意は低減され得る。
【0066】
図４Ａは、黄色の輪郭でマークされた、注釈付き腫瘍領域ａ１を含むホールスライド画像の一例を示す。図４Ｂは、図４Ａに示された注釈付き腫瘍領域の拡大図、ならびに注釈付き腫瘍領域内の個々のパッチの４０倍の倍率の図を示す。
【0067】
図４Ｃは、注意ベース複数インスタンス学習技法を利用する注意マップ可視化の一例を示す。既存の注意ベースＭＩＬ手法（ＡＢ－ＭＩＬ）は、非腫瘍領域ｂ１に対する明らかな注意をもつ、ノイズの多い注意マップを作製する。図４Ｄは、（左側に示されている）ＷＩＳからのパッチと（右側の）対応する注意マップ可視化との両方を含む、図４Ｃに示された非腫瘍領域ｂ２の拡大図を示す。
【0068】
ＡＢ－ＭＩＬとは対照的に、トランスフォーマベース集約モデルは、注意のための改善されたコンテキストを可能にするセマンティック自己注意Ｓｓｅを導入し、したがって、ノイズの多い注意が、大きく低減され得る。図４Ｅは、セマンティック自己注意技法を利用する注意マップ可視化の一例を示す。図４Ｆは、（左側に示されている）ＷＩＳからのパッチと（右側の）対応する注意マップ可視化との両方を含む、図４Ｅに示された非腫瘍領域の拡大図を示す。
【0069】
図４Ｇは、エントロピーベース注意正則化機構を用いて向上された、セマンティック自己注意技法を利用する注意マップ可視化の一例を示す。エントロピーベース注意正則化機構Ｒｅｇａｔｔは、擬似注意を効果的に軽減する（領域ｃ１－＞ｄ１およびｃ２－＞ｄ３、赤色および紫色の外形を参照）。
【0070】
図４Ｈは、エントロピーベース注意正則化機構だけでなく、空間自己注意技法をも用いて向上された、セマンティック自己注意技法を利用する注意マップ可視化の一例を示す。空間自己注意Ｓｓｐは、コンテキストとして領域レベルパターンをモデル化し、これは、偽陽性パッチのあいまいさを除去するのを助け得る（緑色の領域ｄ－＞ｅを参照）。図４Ｉは、注釈付き腫瘍領域に関する、図４Ｇの注意マップの拡大図と図４Ｈの注意マップの拡大図との間の比較を示す。図４Ｊは、非腫瘍領域に関する、図４Ｇの注意マップの拡大図と図４Ｈの注意マップの拡大図との間の比較を示す。
【0071】
本実施形態は、モデルが予測のために限られた数のパッチのみに依拠する状況を回避するために、相互エントロピーベース注意正則化を含む。そのような正則化Ｒｅｇａｔｔはアブレーションされ得、表２における結果は、これが、それぞれ、κスコアおよびＣインデックスにおいて、両方のデータセットについて、６．８５％および３．７３％だけモデルを増強することを示す（行＃４対＃５）。そのような増強は、偽陽性パッチに対するモデル過剰適合の低減を生じ得る。証明するために、図４Ｃおよび図４Ｄは、注意正則化を伴う（図４Ｄ）および注意正則化を伴わない（図４Ｃ）トランスフォーマベース集約モデルのバージョンのロールアウト注意を示す。モデルは、Ｒｅｇａｔｔにより、腫瘍領域内により多くの分散した注意を有し得（図４Ｃおよび図４Ｄ中のピンク色の領域を参照）、したがって、非腫瘍領域に対する偽の注意が低減され得る（図４Ｃおよび図４Ｄ中の赤色の外形を参照）。
【0072】
トランスフォーマベース集約モデルは、２つのタイプのダウンストリームタスク、すなわち、（ｉ）ＴＣＧＡ－ＰＲＡＤデータセットに関する前立腺癌グレーディングと、（ｉｉ）ＴＣＧＡ－ＬＵＳＣデータセットに関する肺癌生存予測とに関して評価された。トランスフォーマベース集約モデルは、最初に、最先端の結果と比較され、その後に、提案されるセマンティック／空間自己注意および注意正則化に関する詳細なアブレーション（ａｂｌａｔｉｏｎ）研究が続き得る。
【0073】
すべてのデータが癌ゲノムアトラス（ＴＣＧＡ）からダウンロードされ、ヘマトキシリンおよびエオジン（Ｈ＆Ｅ）で染色された診断ホルマリン固定化／パラフィン包埋（ＦＦＰＥ：ｆｏｒｍａｌｉｎ ｆｉｘｅｄ／ｐａｒａｆｆｉｎ ｅｍｂｅｄｄｅｄ）スライドのみが使用された。ＴＣＧＡ－ＰＲＡＤデータセットは、１９個の異なる医療センターから収集された前立腺腺癌ＷＳＩからなる。各ＷＳＩは、サンプルの腫瘍グレードを表す、６から１０までの範囲の整数としての、グリーソンスコア（ＧＳ）で注釈を付けられる。ＴＣＧＡ－ＰＲＡＤデータセットからの４３７個のＷＳＩのセットが、それぞれ、トレーニング、バリデーション、およびテストのための、２４３個のＷＳＩ、８４個のＷＳＩ、および１１０個のＷＳＩの３つのグループにランダムに分割された。４フォールドクロスバリデーション（ｃｒｏｓｓ ｖａｌｉｄａｔｉｏｎ）が実施され、結果の平均が報告された。２次重み付きカッパスコア、κスコアが、結果を評価するために使用された。
【0074】
ＴＣＧＡ－ＬＵＳＣデータセットは、肺扁平上皮癌ＷＳＩからなる。各ＷＳＩは、対応する患者の観測された生存時間、ならびに患者が観測期間中に死亡したかどうかを示す値で、注釈を付けられる。ＵＴ ＭＤアンダーソン癌センターからの４８５個のＷＳＩのコアデータセットが、５フォールドクロスバリデーションのために、それぞれ、トレーニングおよびテストのための、３８８個のＷＳＩおよび９７個のＷＳＩの２つのグループに分割された。生存予測例の場合のように、トランスフォーマベース集約モデルは、患者の生存時間に相関されたリスクスコアを出力する。トランスフォーマベース集約モデルの性能を評価するために、通常使用されるコンコーダンスインデックス（Ｃインデックス）が利用された。
【0075】
これらの実験の結果は、２つのデータセットに関して報告された最先端の結果と比較された。ＴＣＧＡ－ＰＲＡＤの場合、例は、（ｉ）組織マイクロアレイデータセットからのパッチレベル組織ＧＰ注釈でトレーニングされた、ＴＭＡ教師ありと、（ｉｉ）擬似ラベルとしてスライドレベルグレーディングを使用してトレーニングされた、擬似パッチラベリングと、（ｉｉｉ）パッチレベル組織ＧＰ断定でモデルを事前トレーニングし、ＭＩＬを伴うスライドレベルグレーディングのためにそのモデルを微調整する、ＴＭＡ微調整とを含む。ＴＣＧＡ－ＬＵＳＣの場合、例は、ＭＴＬＳＡと、ＧＣＮと、ＤｅｅｐＣｏｒｒＳｕｒｖと、ＷＳＩＳＡと、ＤｅｅｐＧｒａｐｈＳｕｒｖと、ＲａｎｋＳｕｒｖとを含む。その上、本明細書で説明される実施形態は、既存の複数インスタンス学習方法、すなわち、（ｉ）平均プーリング、（ｉｉ）最大プーリング、（ｉｉｉ）クロスパッチ依存性をモデル化するためのＲＮＮベース複数インスタンス学習（ＲＮＮ－ＭＩＬ）、（ｉｖ）注意ベース複数インスタンス学習（ＡＢ－ＭＩＬ）、および（ｖ）両方のデータセットについて、クロスパッチ依存性をモデル化するためのトランスフォーマベース方法である、デュアルストリーム複数インスタンス学習（ＤＳ－ＭＩＬ）と比較される。
【0076】
表１は、平均±標準のフォーマットで、重み付きカッパスコア（κスコア）で測定されたＴＣＧＡ－ＰＲＡＤデータセットに関して取得された結果を示す。
【0077】
表１は、（１）重み付きカッパスコア（κスコア）で測定されたＴＣＧＡ－ＰＲＡＤデータセットについての、および（２）Ｃインデックスで測定されたＴＣＧＡ－ＬＵＳＣデータセットについての、上述の方法と比較されたトランスフォーマベース集約モデルについての結果を提示する。表１に示されているように、結果は、トランスフォーマベース集約モデルが、ＴＣＧＡ－ＰＲＡＤに関するκスコアにおいて少なくとも３．６７％だけ上述の手法よりも優れていることを示す。ＴＭＡ微調整と比較して、トランスフォーマベース集約モデルは、余分の組織パターン学習に依拠することなしに、優れた結果を実現する。同様に、トランスフォーマベース集約モデルは、ＴＣＧＡ－ＬＵＳＣについて最も高い正確さを実現する。特に、ＤｅｅｐＧｒａｐｈＳｕｒｖは、スペクトルグラフ畳み込みを伴うパッチ視覚特徴を条件として、クロスパッチ依存性を導入する。しかしながら、場合によっては、ＤｅｅｐＧｒａｐｈＳｕｒｖは、関心ある選択された領域からの限られた数のパッチのみを含み得、これが、スライドレベルパターンをキャプチャするＤｅｅｐＧｒａｐｈＳｕｒｖの能力を制約するので、トランスフォーマベース集約モデルは、Ｃインデックスにおいて、１．６４％だけＤｅｅｐＧｒａｐｈＳｕｒｖを上回る。
【0078】
表２は、トランスフォーマベース集約モデルの性能についての異なるビルディングブロックのアブレーション研究から取得された結果を示す（行＃１～５）。自己注意を伴わないＡＢ－ＭＩＬが、弱いベースラインとして使用され（行＃６）、単一層限定接続相互注意を伴うＤＳ－ＭＩＬが、強いベースラインとして使用される（行＃７）。κスコアおよびＣインデックスは、ＴＣＧＡ－ＰＲＡＤデータセットおよびＴＣＧＡ－ＬＵＳＣデータセットについての測定値として使用される。
【0079】
表２は、セマンティック自己注意ＳＡｓｅが、単独で、２．６３％および６．６１％の増強を可能にすることを示す（行＃２対＃６）。一方、空間自己注意ＳＡｓｐを追加することが、それぞれ、κスコアおよびＣインデックスにおいて、２つのデータセットの両方について追加の増強を可能にする（行＃２対＃５）。これは、２つの自己注意が、視覚コンテキストをモデル化することに別様に寄与し、両方とも組み込まれるべきであることを証明する。あるあらかじめ定義されたパッチと他のパッチとの間の単一層セマンティック自己注意を含んでいる、ＤＳ－ＭＩＬの強いベースラインと比較して、トランスフォーマベース集約モデルのすべてのパッチペアにわたるより深いおよびより広いセマンティック注意層が、ＴＣＧＡ－ＰＲＡＤデータセットに関する大きな増強を可能にする（行＃５対＃７）。その上、階層サンプリングストラテジーを無効にすることは、それぞれ、κスコアおよびＣインデックスにおいて、両方のデータセットについて性能低下を生じる（行＃３対＃５）ので、階層サンプリングストラテジーは、空間自己注意を学習するために重要であるように見える。
【0080】
図５は、例示的なコンピュータシステム５００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム５００は、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実行する。特定の実施形態では、１つまたは複数のコンピュータシステム５００は、本明細書で説明または示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム５００上で稼働しているソフトウェアは、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実行するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム５００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。
【0081】
本開示は、任意の好適な数のコンピュータシステム５００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム５００を企図する。限定としてではなく例として、コンピュータシステム５００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）などの）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。適切な場合、コンピュータシステム５００は、１つまたは複数のコンピュータシステム５００を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、あるいは１つまたは複数のネットワーク中の１つまたは複数のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、１つまたは複数のコンピュータシステム５００は、実質的な空間的または時間的制限なしに、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実行し得る。限定としてではなく一例として、１つまたは複数のコンピュータシステム５００は、リアルタイムでまたはバッチモードで、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実行し得る。１つまたは複数のコンピュータシステム５００は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実行し得る。
【0082】
特定の実施形態では、コンピュータシステム５００は、プロセッサ５０２と、メモリ５０４と、ストレージ５０６と、入出力（Ｉ／Ｏ）インターフェース５０８と、通信インターフェース５１０と、バス５１２とを含む。本開示は、特定の配置において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な配置において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。
【0083】
特定の実施形態では、プロセッサ５０２は、コンピュータプログラムを作り上げる命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ５０２は、内部レジスタ、内部キャッシュ、メモリ５０４、またはストレージ５０６から命令を取り出し（またはフェッチし）、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、メモリ５０４、またはストレージ５０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ５０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ５０２を企図する。限定としてではなく一例として、プロセッサ５０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含み得る。命令キャッシュ中の命令は、メモリ５０４またはストレージ５０６中の命令のコピーであり得、命令キャッシュは、プロセッサ５０２によるそれらの命令の取出しを高速化し得る。データキャッシュ中のデータは、プロセッサ５０２において実行する命令が動作する対象のメモリ５０４またはストレージ５０６中のデータのコピー、プロセッサ５０２において実行する後続の命令によるアクセスのための、またはメモリ５０４もしくはストレージ５０６に書き込むための、プロセッサ５０２において実行された前の命令の結果、あるいは他の好適なデータであり得る。データキャッシュは、プロセッサ５０２による読取りまたは書込み動作を高速化し得る。ＴＬＢは、プロセッサ５０２のための仮想アドレストランスレーション（ｖｉｒｔｕａｌ－ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ）を高速化し得る。特定の実施形態では、プロセッサ５０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ５０２を企図する。適切な場合、プロセッサ５０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つまたは複数のプロセッサ５０２を含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。
【0084】
特定の実施形態では、メモリ５０４は、プロセッサ５０２が実行するための命令、またはプロセッサ５０２が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム５００は、ストレージ５０６または（たとえば、別のコンピュータシステム５００などの）別のソースからメモリ５０４に命令をロードし得る。プロセッサ５０２は、次いで、メモリ５０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ５０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中または実行後に、プロセッサ５０２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。次いで、プロセッサ５０２は、それらの結果のうちの１つまたは複数をメモリ５０４に書き込み得る。特定の実施形態では、プロセッサ５０２は、（ストレージ５０６または他の場所とは対照的に）１つまたは複数の内部レジスタまたは内部キャッシュ中のあるいはメモリ５０４中の命令のみを実行し、（ストレージ５０６または他の場所とは対照的に）１つまたは複数の内部レジスタまたは内部キャッシュ中のあるいはメモリ５０４中のデータのみに対して動作する。（アドレスバスおよびデータバスを各々含み得る）１つまたは複数のメモリバスが、プロセッサ５０２をメモリ５０４に接続し得る。バス５１２は、以下で説明されるように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ５０２とメモリ５０４との間に常駐し、プロセッサ５０２によって要求されるメモリ５０４へのアクセスを容易にする。特定の実施形態では、メモリ５０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。その上、適切な場合、このＲＡＭは、シングルポートＲＡＭまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを企図する。メモリ５０４は、適切な場合、１つまたは複数のメモリ５０４を含み得る。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。
【0085】
特定の実施形態では、ストレージ５０６は、データまたは命令のための大容量ストレージを含む。限定としてではなく一例として、ストレージ５０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。ストレージ５０６は、適切な場合、リムーバブルまたは非リムーバブル（または固定）媒体を含み得る。ストレージ５０６は、適切な場合、コンピュータシステム５００の内部または外部にあり得る。特定の実施形態では、ストレージ５０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、ストレージ５０６は、読取り専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量ストレージ５０６を企図する。ストレージ５０６は、適切な場合、プロセッサ５０２とストレージ５０６との間の通信を容易にする１つまたは複数のストレージ制御ユニットを含み得る。適切な場合、ストレージ５０６は、１つまたは複数のストレージ５０６を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。
【0086】
特定の実施形態では、Ｉ／Ｏインターフェース５０８は、コンピュータシステム５００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム５００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム５００との間の通信を可能にし得る。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインターフェース５０８とを企図する。適切な場合、Ｉ／Ｏインターフェース５０８は、プロセッサ５０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース５０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース５０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。
【0087】
特定の実施形態では、通信インターフェース５１０は、コンピュータシステム５００と、１つまたは複数の他のコンピュータシステム５００または１つまたは複数のネットワークとの間の（たとえば、パケットベース通信などの）通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース５１０は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース５１０とを企図する。限定としてではなく一例として、コンピュータシステム５００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム５００は、（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなどの）ワイヤレスＰＡＮ（ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、（たとえば、モバイル通信用グローバルシステム（ＧＳＭ）ネットワークなどの）セルラー電話ネットワーク、または他の好適なワイヤレスネットワーク、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。コンピュータシステム５００は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インターフェース５１０を含み得る。通信インターフェース５１０は、適切な場合、１つまたは複数の通信インターフェース５１０を含み得る。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。
【0088】
特定の実施形態では、バス５１２は、コンピュータシステム５００の構成要素を互いに接続する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、バス５１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、インフィニバンド相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または別の好適なバス、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。バス５１２は、適切な場合、１つまたは複数のバス５１２を含み得る。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。
【0089】
本明細書では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。
【0090】
本明細書では、「または」は、明確に別段に示されていない限り、またはコンテキストによって別段に示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明確に別段に示されていない限り、またはコンテキストによって別段に示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。その上、「および」は、明確に別段に示されていない限り、またはコンテキストによって別段に示されていない限り、共同と個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、明確に別段に示されていない限り、またはコンテキストによって別段に示されていない限り、「共同でまたは個別に、ＡおよびＢ」を意味する。
【0091】
本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、配置されるか、実施することが可能であるか、実施するように構成されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図4G】
【図4H】
【図4I】
【図4J】
【図5】
【国際調査報告】