特表 2024-538999 治療法を決定するために電子画像を処理するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】治療法を決定するために電子画像を処理するシステム及び方法

(51)【国際特許分類】

   G16H 30/00 20180101AFI20241018BHJP

【ＦＩ】

G16H30/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024522061

(86)(22)【出願日】2022-10-24

(85)【翻訳文提出日】2024-04-11

(86)【国際出願番号】 US2022078608

(87)【国際公開番号】W WO2023076868

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】63/262,979

(32)【優先日】2021-10-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518307592

【氏名又は名称】ペイジ．エーアイ インコーポレイテッド

【氏名又は名称原語表記】ＰＡＩＧＥ．ＡＩ， Ｉｎｃ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】クンツ， ジェレミー ダニエル

(72)【発明者】

【氏名】ティアガラジャン， ディリップ

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA03

5L099AA26

(57)【要約】

デジタル病理画像を処理するためのコンピューター実施方法であって、本方法は、少なくとも１つの病理標本の複数のデジタル病理画像を受信することを含み、病理標本は患者と関連付けられる。本方法は、さらに、複数のデジタル病理画像に対応するメタデータを受信するのを決定することを含み得、メタデータは患者の以前の医学的治療に関するデータを含む。次に、本方法は、医用画像及びメタデータを入力として機械学習システムに提供することを含み得、機械学習システムは、治療履歴情報、及び予測された治療レジメンがラベリングされたデジタル画像を入力として受信することによってトレーニングされている。最後に、本方法は、機械学習システムによって、治療有効性評価を出力することを含み得る。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

デジタル病理画像を処理して１人以上の患者の治療法を決定するためのコンピューター実施方法であって、
少なくとも１つの病理標本の複数の医用画像を受信することであって、前記病理標本は患者と関連付けられる、前記受信することと、
前記複数の医用画像に対応するメタデータを受信することであって、前記メタデータは、前記患者の以前の医学的治療に関するデータを含む、前記受信することと、
前記医用画像及び前記メタデータを入力として機械学習システムに提供することであって、前記機械学習システムは、治療履歴情報、及び予測された治療レジメンがラベリングされたデジタル画像を入力として受信することによってトレーニングされている、前記提供することと、
前記機械学習システムによって、治療有効性評価を出力することと、
を含む、前記コンピューター実施方法。

【請求項2】

前記複数の医用画像及び前記メタデータを、前記機械学習システムによって受信され得る単一の埋め込みを出力することが可能なトレーニングされた埋め込みシステムに提供することをさらに含む、請求項１に記載の方法。

【請求項3】

前記トレーニングされた埋め込みシステムは、１つ以上の欠測データポイントを推論してユニバーサル埋め込みを構築することを含むステップを行い、前記ユニバーサル埋め込みは前記トレーニングされた機械学習システムによって受信される、請求項２に記載の方法。

【請求項4】

前記トレーニングされたシステムは、マーキングを伴う前記複数の医用画像を出力して、前記治療有効性評価の予測効果を表示する、請求項１に記載の方法。

【請求項5】

前記メタデータは、さらに、医療標本の前記病理標本の組織タイプを記述する情報を含み得る、請求項１に記載の方法。

【請求項6】

以前に治療された医療標本に対応する前記受信した医用画像を第２のトレーニングされたシステムに入力することと、
過去の治療の有効性を測定するためのスコアを決定することであって、前記スコアは、以前に健康だったスライドの損傷、及び前記入力されたスライドの以前のがん領域への追加の損傷を定義する、前記決定することと、
をさらに含む、請求項１に記載の方法。

【請求項7】

前記治療有効性評価は、前記患者に対する治療タイプ及び治療投与量を含む、請求項１に記載の方法。

【請求項8】

電子デジタル医用画像を処理するためのシステムであって、
命令を記憶する少なくとも１つのメモリと、
前記命令を実行して、動作を行うように構成された少なくとも１つのプロセッサと、を含み、前記動作は、
少なくとも１つの病理標本の複数の医用画像を受信することであって、前記病理標本は患者と関連付けられる、前記受信することと、
前記複数の医用画像に対応するメタデータを受信することであって、前記メタデータは、前記患者の以前の医学的治療に関するデータを含む、前記受信することと、
前記医用画像及び前記メタデータを入力として機械学習システムに提供することであって、前記機械学習システムは、治療履歴情報、及び予測された治療レジメンがラベリングされたデジタル画像を入力として受信することによってトレーニングされている、前記提供することと、
前記機械学習システムによって、治療有効性評価を出力することと、
を含む、前記システム。

【請求項9】

前記複数の医用画像及び前記メタデータを、前記機械学習システムによって受信され得る単一の埋め込みを出力することが可能なトレーニングされた埋め込みシステムに提供することをさらに含む、請求項８に記載のシステム。

【請求項10】

前記トレーニングされた埋め込みシステムは、１つ以上の欠測データポイントを推論してユニバーサル埋め込みを構築することを含むステップを行い、前記ユニバーサル埋め込みは前記トレーニングされた機械学習システムによって受信される、請求項９に記載のシステム。

【請求項11】

前記トレーニングされたシステムは、マーキングを伴う前記複数の医用画像を出力して、前記治療有効性評価の予測効果を表示する、請求項８に記載のシステム。

【請求項12】

前記メタデータは、さらに、医療標本の前記病理標本の組織タイプを記述する情報を含み得る、請求項８に記載のシステム。

【請求項13】

以前に治療された医療標本に対応する前記受信した医用画像を第２のトレーニングされたシステムに入力することと、
過去の治療の有効性を測定するためのスコアを決定することであって、前記スコアは、以前に健康だったスライドの損傷、及び前記入力されたスライドの以前のがん領域への追加の損傷を定義する、前記決定することと、
をさらに含む、請求項８に記載のシステム。

【請求項14】

前記治療有効性評価は、前記患者に対する治療タイプ及び治療投与量を含む、請求項８に記載のシステム。

【請求項15】

命令を記憶する非一時的コンピューター可読媒体であって、前記命令は、プロセッサにより実行されたとき、電子医用画像を処理する動作を行い、前記動作は、
少なくとも１つの病理標本の複数の医用画像を受信することであって、前記病理標本は患者と関連付けられる、前記受信することと、
前記複数の医用画像に対応するメタデータを受信することであって、前記メタデータは、前記患者の以前の医学的治療に関するデータを含む、前記受信することと、
前記医用画像及び前記メタデータを入力として機械学習システムに提供することであって、前記機械学習システムは、治療履歴情報、及び予測された治療レジメンがラベリングされたデジタル画像を入力として受信することによってトレーニングされている、前記提供することと、
前記機械学習システムによって、治療有効性評価を出力することと、
を含む、前記非一時的コンピューター可読媒体。

【請求項16】

前記複数の医用画像及び前記メタデータを、前記機械学習システムによって受信され得る単一の埋め込みを出力することが可能なトレーニングされた埋め込みシステムに提供することをさらに含む、請求項１５に記載のコンピューター可読媒体。

【請求項17】

前記トレーニングされた埋め込みシステムは、１つ以上の欠測データポイントを推論してユニバーサル埋め込みを構築することを含むステップを行い、前記ユニバーサル埋め込みは前記トレーニングされた機械学習システムによって受信される、請求項１６に記載のコンピューター可読媒体。

【請求項18】

前記トレーニングされたシステムは、マーキングを伴う前記複数の医用画像を出力して、前記治療有効性評価の予測効果を表示する、請求項１５に記載のコンピューター可読媒体。

【請求項19】

前記メタデータは、さらに、医療標本の前記病理標本の組織タイプを記述する情報を含み得る、請求項１５に記載のコンピューター可読媒体。

【請求項20】

以前に治療された医療標本に対応する前記受信した医用画像を第２のトレーニングされたシステムに入力することと、
前記過去の治療の有効性を測定するためのスコアを決定することであって、前記スコアは、以前に健康だったスライドの損傷、及び前記入力されたスライドの以前のがん領域への追加の損傷を定義する、前記決定することと、
をさらに含む、請求項１５に記載のコンピューター可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願（複数可）
本願は、２０２１年１０月２５日に出願された米国仮特許出願第６３／２６２，９７９号に対する優先権を主張し、その全開示は、全体として参照により本明細書に組み込まれる。

【0002】

本開示の様々な実施形態は、概して、個人の治療を評価するための電子画像の処理に関する。より具体的には、本開示の特定の実施形態は、人工知能を使用して１人以上のユーザーに対して経時的に治療評価を行うためのシステム及び方法に関する。

【背景技術】

【0003】

１つ以上の疾患の治療レベルは、特定の疾患の重症度等の１つ以上の要因に応じて異なり得る。したがって、治療（例えば、医薬、薬物治療等）の正しい投与量は、例えば疾患が治療に確実に反応することを保証するために重要であり得る。しかしながら、多くの治療法は患者に悪影響をもたらす可能性がある。例えば、頭頸部癌の放射線療法では、治療が少なすぎると病気を治すことができない場合がある。さらに、過剰治療は特定の病気を治し得るが、歯及び他の顔の特徴を失う等の予期せぬ影響が生じ得る。多くのがんの治療については、複数の薬剤が同時に与えられることがよくある。例えば、エストロゲン受容体陽性（ＥＲ＋）乳癌では、化学療法及び内分泌療法の両方が患者に施され得る。化学療法及び内分泌療法の両方の適切なレベルを決定することは、最良の結果を得るために重要であり得る。

【0004】

本明細書で提供される背景の説明は、開示の文脈を大まかに提示することを目的としている。本明細書で別段の指示がない限り、このセクションに記載されている資料は、本願の特許請求の範囲に対する先行技術ではなく、このセクションに含めることによって、先行技術である、または先行技術の示唆であるとは認められない。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示のある態様によれば、電子画像を処理するためのシステム及び方法が開示されている。一態様では、個人の治療を評価するために電子医用画像を処理するコンピューター実施方法が開示されている。本方法は、少なくとも１つの病理標本の複数の医用画像を受信することであって、病理標本は患者と関連付けられる、受信することと、複数のデジタル病理画像に対応するメタデータを受信することであって、メタデータは、患者の以前の医学的治療に関するデータを含む、受信することと、医用画像及びメタデータを入力として機械学習システムに提供することであって、機械学習システムは、治療履歴情報、及び予測された治療レジメンがラベリングされたデジタル画像を入力として受信することによってトレーニングされている、提供することと、機械学習システムによって、治療有効性評価を出力することと、を含み得る。

【0006】

別の態様では、電子デジタル医用画像を処理するためのシステムは、命令を記憶する少なくとも１つのメモリと、動作を行うための命令を実行するように構成された少なくとも１つのプロセッサとを備え得る。少なくとも１つのプロセッサは、少なくとも１つの病理標本の複数の医用画像を受信することであって、病理標本は患者と関連付けられる、受信することと、複数のデジタル病理画像に対応するメタデータを受信することであって、メタデータは、患者の以前の医学的治療に関するデータを含む、受信することと、医用画像及びメタデータを入力として機械学習システムに提供することであって、機械学習システムは、治療履歴情報、及び予測された治療レジメンがラベリングされたデジタル画像を入力として受信することによってトレーニングされている、提供することと、機械学習システムによって、治療有効性評価を出力することと、を含み得る。

【0007】

別の態様では、プロセッサにより実行されたとき、電子デジタル医用画像を処理する動作を行う命令を記憶する非一時的コンピューター可読媒体は開示されている。その動作は、少なくとも１つの病理標本の複数の医用画像を受信することであって、病理標本は患者と関連付けられる、受信することと、複数のデジタル病理画像に対応するメタデータを受信することであって、メタデータは、患者の以前の医学的治療に関するデータを含む、受信することと、医用画像及びメタデータを入力として機械学習システムに提供することであって、機械学習システムは、治療履歴情報、及び予測された治療レジメンがラベリングされたデジタル画像を入力として受信することによってトレーニングされている、提供することと、機械学習システムによって、治療有効性評価を出力することと、を含み得る。

【0008】

本明細書の一部に組み込まれ及びそれを構成する付随の図面は、様々な例示的実施形態を示し、その説明と一緒に、開示された実施形態の原理を説明する役割を果たす。

【図面の簡単な説明】

【0009】

【図1A】本明細書に提示される技術による、画像処理を行うためのシステム及びネットワークの例示的なブロック図を示す。

【0010】

【図1B】本明細書に提示される技術による、組織観察プラットフォームの例示的なブロック図を示す。

【0011】

【図1C】本明細書に提示される技術による、スライド分析ツールの例示的なブロック図を示す。

【0012】

【図2】本明細書に提示される技術による、１つ以上のデジタル画像に基づいて個人の治療を決定するプロセスを示す。

【0013】

【図3A】本明細書に提示される技術による、画像領域検出のアルゴリズムをトレーニングするための方法を示すフローチャートである。

【0014】

【図3B】本明細書の１つ以上の例示的な実施形態による、画像領域検出に関する方法を示すフローチャートである。

【0015】

【図4-1】本明細書で提示される技術による、埋め込みを出力するためにトレーニングされたシステムを使用するための例示的なプロセスを示すフローチャートである。

【図4-2】本明細書で提示される技術による、埋め込みを出力するためにトレーニングされたシステムを使用するための例示的なプロセスを示すフローチャートである。

【0016】

【図5A】本明細書で提示される技術による、１つ以上のモダリティを受信し、埋め込みベクトル表現を出力するようにシステムをトレーニングするための例示的な方法を示すフローチャートである。

【0017】

【図5B】本明細書で提示される技術による、１つ以上のモダリティを受信し、埋め込みベクトル表現を出力するためにシステムを使用するための例示的な方法を示すフローチャートである。

【0018】

【図6】本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療有効性を決定するために、トレーニングされたシステムを使用するための例示的なプロセスを示すフローチャートである。

【0019】

【図7A】本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療有効性を決定するために、システムをトレーニングするための例示的な方法を示すフローチャートである。

【0020】

【図7B】本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療有効性を決定するために、システムを使用するための例示的な方法を示すフローチャートである。

【0021】

【図8】本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療法の推奨を決定するために、トレーニングされたシステムを使用するための例示的なプロセスを示すフローチャートである。

【0022】

【図9A】本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療法の推奨を決定するために、システムをトレーニングするための例示的な方法を示すフローチャートである。

【0023】

【図9B】本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療法の推奨を決定するために、システムを使用するための例示的な方法を示すフローチャートである。

【0024】

【図10】本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療法の推奨を決定するために、トレーニングされたシステムを使用するための例示的なプロセスを示すフローチャートである。

【0025】

【図11】Ａ～Ｃは、本明細書に提示される技術による、１人以上のユーザーが投薬治療を設定することを可能にする、システムの例示的なユーザーインターフェースを提供する。

【0026】

【図12】１人以上のユーザーに対する治療法の推奨を決定するための例示的な方法を示すフローチャートである。

【0027】

【図13】１つ以上の実施形態による、本明細書に提示される技術を実行し得るコンピューティングデバイスの例を示す。

【発明を実施するための形態】

【0028】

ここで、本開示の例示的な実施形態について詳細に言及するが、それらの例は添付の図面に示される。可能な限り、図面全体を通して、同じまたは類似の部分を参照するために、同じ参照番号が使用される。

【0029】

本明細書に開示されるシステム、デバイス、及び方法は、例として、そして図面を参照して詳細に説明される。本明細書に説明される例は単なる例であり、本明細書に説明される装置、デバイス、システム、及び方法の説明を補助するために提供される。図面に示される、または下記に説明される特徴またはコンポーネントは、特に必須として指定されていない限り、これらのデバイス、システム、または方法のいずれかの特定の実施態様には必須と見なすべきではない。

【0030】

また、説明される任意の方法について、本方法がフロー図に関連して説明されるかどうかに関係なく、別段の指定がない限り、または文脈によって必要とされない限り、本方法の実行で行われるステップの明示的または暗示的な任意の順序付けは、これらのステップが提示された順序で行う必要があることを暗示していないが、代わりに異なる順序または並行して行われ得ることを理解されたい。

【0031】

本明細書で使用される場合、「例示的」という用語は、「理想的」ではなく「例」の意味で使用される。さらに、本明細書における「ａ」及び「ａｎ」という用語は、量の制限を意味するのではなく、むしろ言及された項目のうちの１つ以上が存在していることを意味する。

【0032】

本明細書で使用される場合、「機械学習モデル」は、概して、命令、データ、及び／またはモデルを包含し、モデルは、入力を受信し、重み、バイアス、分類、または分析のうちの１つ以上を入力に適用して、出力を生成するように構成される。出力は、例えば、入力の分類、入力に基づく分析、入力と関連付けられた設計、プロセス、予測、もしくは推奨、または任意の他の適切なタイプの出力を含み得る。機械学習モデルは、概して、モデルの１つ以上の態様、例えば、重み、バイアス、または分類もしくはクラスタを形成するための基準等を確立、調整、または修正するために、モデルにフィードされるトレーニングデータ、例えば経験データ及び／または入力データのサンプルを使用してトレーニングされる。また、深層学習技術も採用され得る。機械学習モデルの態様は、ネットワーク（例えばニューラルネットワーク）を介して、または任意の適切な構成を介して、並行して、入力に対して線形に動作し得る。

【0033】

機械学習モデルの実行は、線形回帰、ロジスティック回帰、ランダムフォレスト、勾配ブースティングマシン（ＧＢＭ）、深層学習、及び／または深層ニューラルネットワーク等の１つ以上の機械学習技術の展開を含み得る。教師ありトレーニング及び／または教師なしトレーニングが採用され得る。例えば、教師あり学習は、トレーニングデータ、及びトレーニングデータに対応するラベルを、例えばグラウンドトルースとして提供することを含み得る。教師なし手法は、クラスタリングまたは分類等を含み得る。Ｋ平均クラスタリングまたはＫ近傍法も使用し得、これらは教師ありまたは教師なしであり得る。Ｋ近傍法及び教師なしクラスタ技術の組み合わせも使用し得る。例えば確率的、勾配ブースティング、ランダムシード、再帰型、エポックまたはバッチベース等、任意の適切なタイプのトレーニングを使用し得る。

【0034】

開示される主題の実施形態は、人工知能（ＡＩ）／機械学習（ＭＬ）モデルを、治療、治療有効性、及び／または治療投与量を決定及び／または調整するために適用することを対象とする。本明細書では、疾患の根絶及び健康な組織への損傷の観点から治療の有効性を推測するためのＡＩシステムが開示されている。また、治療投与量を推奨するためのＡＩシステムも開示されている。また、治療レジメンの変更を推奨するためのＡＩシステムも開示されている。

【0035】

臨床現場では、患者に対する正しい治療タイプ及び治療投与量を決定することは困難であり得る。特に、デジタル医用画像（例えば、患者からサンプリングした病理組織スライド）の分析に基づいて治療法を決定するとき、以前に治療を受けていない患者に対する効果的な治療法を決定することは困難であり得る。本明細書に開示される技術は、例えば、１つ以上のデジタル医用画像に基づいて、未治療の患者を治療するための治療（例えば、薬剤、医療介入等）の単一または潜在的な組み合わせの量／投与量を推奨することによって、そのような決定をサポートし得る。さらに、本明細書に開示される技術は、例えば、治療方法の成功／反応を評価し、デジタル医用画像に基づいて治療された患者に対して最新の治療形態を推奨することによって、そのような予測をサポートし得る。

【0036】

図１Ａは、本開示の例示的な実施形態による、機械学習を使用して、画像を処理するためのシステム及びネットワークのブロック図を示す。

【0037】

具体的には、図１Ａは、病院、実験室、及び／または診療所等のサーバーに接続され得る電子ネットワーク１２０を示す。例えば、医師サーバー１２１、病院サーバー１２２、臨床試験サーバー１２３、研究所サーバー１２４、及び／または実験室情報システム１２５等は、それぞれ、１つ以上のコンピューター、サーバー、及び／またはハンドヘルドモバイルデバイスを経由して、インターネット等の電子ネットワーク１２０に接続され得る。本開示の例示的な実施形態によれば、電子ネットワーク１２０は、また、サーバーシステム１１０にも接続され得、サーバーシステム１１０は、組織観察プラットフォーム１００を実装するように構成される処理デバイスを含み得、本開示の例示的な実施形態によれば、組織観察プラットフォーム１００は、デジタル病理画像（複数可）に関する検体プロパティ情報または画像プロパティ情報を決定して、そして、機械学習を使用して、１人以上の個人の治療、または治療の有効性を決定するためのスライド分析ツール１０１を含む。

【0038】

医師サーバー１２１、病院サーバー１２２、臨床試験サーバー１２３、研究所サーバー１２４、及び／または実験室情報システム１２５は、１人以上の患者の細胞診標本（複数可）の画像、組織病理標本（複数可）の画像、細胞診標本（複数可）のスライド（複数可）の画像、組織病理学標本（複数可）のスライド（複数可）のデジタル画像、またはそれらの任意の組み合わせの画像を作成し得る、またはそうでなければ取得し得る。医師サーバー１２１、病院サーバー１２２、臨床試験サーバー１２３、研究所サーバー１２４、及び／または実験室情報システム１２５は、また、年齢、病歴、がん治療歴、家族歴、過去の生検情報または細胞情報等の患者特有情報の任意の組み合わせも取得し得る。医師サーバー１２１、病院サーバー１２２、臨床試験サーバー１２３、研究所サーバー１２４、及び／または実験室情報システム１２５は、デジタル化されたスライド画像及び／または患者特有情報をサーバーシステム１１０に電子ネットワーク１２０を通じて伝送し得る。サーバーシステム１１０は、医師サーバー１２１、病院サーバー１２２、臨床試験サーバー１２３、研究所サーバー１２４、及び／または実験室情報システム１２５のうちの少なくとも１つから受信した画像及びデータを記憶するための１つ以上のストレージデバイス１０９を含み得る。サーバーシステム１１０は、また、１つ以上のストレージデバイス１０９に記憶された画像及びデータを処理するための処理デバイスを含み得る。サーバーシステム１１０は、さらに、１つ以上の機械学習ツール（複数可）または機械学習能力を含み得る。例えば、一実施形態によれば、処理デバイスは、組織観察プラットフォーム１００のための機械学習ツールを含み得る。代替的または追加的に、本開示（または本開示のシステム及び方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）で行われ得る。

【0039】

医師サーバー１２１、病院サーバー１２２、臨床試験サーバー１２３、研究所サーバー１２４、及び／または実験室情報システム１２５は、スライドの画像をレビューするために病理学者によって使用されるシステムを指す。病院の設定では、組織タイプ情報は、実験室情報システム１２５のうちの１つに記憶され得る。しかしながら、正しい組織分類情報は、必ずしも画像コンテンツとペアになるとは限らない。さらに、実験室情報システムを使用して、デジタル病理画像の検体タイプにアクセスする場合であっても、実験室情報システムの多くのコンポーネントが手動で入力され得、エラーに関して大きな余地を残しているという面に起因して、このラベルは不正確であり得る。本開示の例示的な実施形態によれば、検体タイプは、実験室情報システム１２５にアクセスする必要なく特定され得、または検体タイプは、実験室情報システム１２５を訂正する可能性があるものとして特定され得る。例えば、サードパーティーは、実験室情報システムに記憶された対応する検体タイプラベルのない画像コンテンツへの匿名化アクセスが与えられ得る。さらに、実験室情報システムのコンテンツへのアクセスは、その機密内容により制限され得る。

【0040】

図１Ｂは、機械学習を使用して、デジタル病理画像（複数可）に関する画像プロパティ情報の検体プロパティを決定するための組織観察プラットフォーム１００の例示的なブロック図を示す。例えば、組織観察プラットフォーム１００は、スライド分析ツール１０１、データ取り込みツール１０２、スライド取り込みツール１０３、スライドスキャナ１０４、スライドマネージャー１０５、ストレージ１０６、及び閲覧アプリケーションツール１０８を含み得る。

【0041】

例示的な実施形態によれば、下記に説明されるように、スライド分析ツール１０１は、組織検体と関連付けられたデジタル画像を処理し、機械学習を使用してスライドを分析するためのプロセス及びシステムを指す。

【0042】

例示的な実施形態によれば、データ取り込みツール１０２は、デジタル病理画像の分類及び処理するために使用される様々なツール、モジュール、コンポーネント、及びデバイスへデジタル病理画像の転送を容易にするためのプロセス及びシステムを指す。

【0043】

例示的な実施形態によれば、スライド取り込みツール１０３は、病理画像をスキャンし、これらをデジタル形式に変換するためのプロセス及びシステムを指す。スライドは、スライドスキャナ１０４でスキャンされ得、スライドマネージャー１０５は、スライドの画像をデジタル化された病理画像に処理して、デジタル化された画像をストレージ１０６に記憶し得る。

【0044】

例示的な実施形態によれば、閲覧アプリケーションツール１０８は、デジタル病理画像（複数可）に関する検体プロパティ情報または画像プロパティ情報をユーザー（例えば、病理医）に提供するためのプロセス及びシステムを指す。情報は、様々な出力インターフェース（例えば、画面、モニター、ストレージデバイス、及び／またはウェブブラウザ等）を経由して提供され得る。

【0045】

スライド分析ツール１０１、及びそのコンポーネントのうちのそれぞれは、電子ネットワーク１２０を通じて、デジタル化されたスライド画像及び／または患者情報を、サーバーシステム１１０、医師サーバー１２１、病院サーバー１２２、臨床試験サーバー１２３、研究所サーバー１２４、及び／または実験室情報システム１２５に伝送及び／または受信し得る。さらに、サーバーシステム１１０は、スライド分析ツール１０１、データ取り込みツール１０２、スライド取り込みツール１０３、スライドスキャナ１０４、スライドマネージャー１０５、及び閲覧アプリケーションツール１０８のうちの少なくとも１つから受信した画像及びデータを記憶するための１つ以上のストレージデバイス１０９を含み得る。サーバーシステム１１０は、また、ストレージデバイスに記憶された画像及びデータを処理するための処理デバイスも含み得る。サーバーシステム１１０は、さらに、例えば、処理デバイスによる、１つ以上の機械学習ツール（複数可）または機械学習能力を含み得る。代替的または追加的に、本開示（または本開示のシステム及び方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）で行われ得る。

【0046】

上記のデバイス、ツール、及びモジュールのいずれも、１つ以上のコンピューター、サーバー、及び／またはハンドヘルドモバイルデバイスを経由して、インターネットまたはクラウドサービスプロバイダー等の電子ネットワーク１２０に接続され得るデバイスに位置し得る。

【0047】

図１Ｃは、本開示の例示的な実施形態による、スライド分析ツール１０１の例示的なブロック図を示す。スライド分析ツール１０１は、データ取り込みモジュール１３２、顕著領域検出モジュール１３３、埋め込み表現モジュール１３４、治療有効性モジュール１３５、治療法推奨モジュール１３６、及び出力インターフェース１３７を含み得る。例えば、スライド分析ツール１０１内の全てのモジュールは、サーバーシステム１１０、医師サーバー１２１、病院サーバー１２２、臨床試験サーバー１２３、研究所サーバー１２４、及び／または実験室情報システム１２５のうちの任意の１つ以上から、情報を受信することが可能であり得る。トレーニングに使用される画像は、実際のソース（例えば、人間、動物等）から生じ得る、または合成ソース（例えば、グラフィックスレンダリングエンジン、３Ｄモデル等）から生じ得る。

【0048】

データ取り込みモジュール１３２は、下記により詳細に説明されるように、デジタル医用画像／病理スライド（例えば、スライドに取り付けられた病歴または細胞学標本のデジタル化画像）と、１人以上の患者に関連する追加情報を受信するためのプロセス及びシステムとを指し得る。デジタル病理画像の例は、（ａ）（限定ではないが）Ｈ＆Ｅ、ヘマトキシリン単独、ＩＨＣ、分子病理学等、様々な着色で染色されたデジタル化されたスライド、及び／または（ｂ）ｍｉｃｒｏ－ＣＴ等の３Ｄイメージングデバイスからデジタル化された画像サンプルを含み得る。さらに、データ取り込みモジュール１３２は、メタデータをテキストの形式で受信することが可能であり得る。データ取り込みモジュール１３２は、例えば、データ取り込みツール１０２からデータを受信し得る。

【0049】

下記に詳細に説明されるように、顕著領域検出モジュール１３３は、システムに関連する画像、または画像の特定の領域を特定するためのシステム及びプロセスを指し得る。次に、システム全体は、顕著領域の分析だけを行い得る。

【0050】

埋め込み表現モジュール１３４は、下記に詳細に説明されるように、１人以上の患者の一連の臨床データを受信し、１人以上の患者の状態を表す１つ以上の埋め込みを出力することが可能であるシステムを指し得る。埋め込み表現モジュール１３４は、ネットワーク１２０またはストレージデバイス１０９を経由して受信した情報に加えて、データ取り込みモジュール１３２及び／または顕著領域検出モジュール１３３から情報を受信し得る。埋め込み表現モジュール１３４は、受信したデータを１つ以上の埋め込みとして出力し得る。さらに、埋め込み表現モジュール１３４は、下記に詳細に説明されるように、システムにおいて後で使用するために、欠測データポイントを決定／推論することが可能であり得る。

【0051】

治療有効性モジュール１３５は、下記に詳細に説明されるように、患者に対する１つ以上の治療の有効性を経時的に測定することが可能であるトレーニングされたシステムを指し得る。トレーニングされたシステムは、１つ以上の期間でデジタル医用画像を受信し、その後、１つ以上の治療の有効性を決定し得る。システムのいくつかの例では、治療有効性モジュール１３５はデジタル医用画像を受信し得る。システムの別の例では、治療有効性モジュール１３５は、埋め込み表現モジュール１３４によって出力された埋め込みを入力として受信し得る。

【0052】

治療法推奨モジュール１３６は、下記により詳細に説明されるように、１つ以上のデジタル医用画像を評価して、１人以上の患者に治療レジメン（例えば、薬剤／治療の単一のまたは可能性のある組み合わせの頻度及び量／投与量）を推奨する機械学習システムをトレーニング及び使用することが可能であり得る。システムのいくつかの例では、治療法推奨モジュール１３６はデジタル医用画像を受信し得る。システムの別の例では、治療法推奨モジュール１３６は、埋め込み表現モジュール１３４によって出力された埋め込みを入力として受信し得る。

【0053】

出力インターフェース１３７を使用して、入力された画像に関する情報、及び追加情報を、（例えば、画面、モニター、ストレージデバイス、ウェブブラウザ等に）出力し得る。出力情報は、１人以上の患者に対する以前の治療及び／または治療法の推奨の有効性に関する情報を含み得る。さらに、出力インターフェース１３７は、治療有効性モジュール１３５及び治療法推奨モジュール１３６からの出力に関連する証拠を含む位置／顕著領域を示すＷＳＩを出力し得る。出力インターフェース１３７は、治療法の推奨及び治療有効性を閲覧アプリケーションツール１０８に出力することが可能であり得る。

【0054】

図２は、本明細書に提示される技術による、経時的な治療の有効性を測定するための、及び／または１つ以上のデジタル医用画像を分析することによって１人以上の患者の治療を決定するためのプロセスを示す。下記により詳細に説明されるように、フローチャート２００は、データ取り込みモジュール１３２、顕著領域検出モジュール１３３、患者用の汎用またはマルチモーダル埋め込み表現モジュール１３４、治療有効性モジュール１３５、及び／または治療法推奨モジュール１３６を使用することによって実施され得る技術を含み得る。

【0055】

ステップ２０２において、システム（例えば、データ取り込みモジュール１３２）は、１つ以上のデジタル医用画像等のデータを受信し得る。デジタル医用画像は、化学療法、放射線療法等による未処理または処理済のデジタル全スライド画像（ＷＳＩ）、磁気共鳴画像法（ＭＲＩ）、コンピューター断層撮影法（ＣＴ）、ポジトロン放出断層撮影法（ＰＥＴ）、マンモグラム等を含み得る。デジタル医用画像は、デジタルストレージデバイス１０９（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭ等）に記憶され得る。さらに、ステップ２０２において、デジタル医用画像の医療標本がサンプリングされた日時等、デジタル医用画像に関連するメタデータを受信し得る。メタデータは、さらに、特定のデジタル医用画像が処理済スライドであるか、または未処理スライドであるかに関する情報を含み得る。年齢、民族、補助的な検査結果等の追加情報も取り込まれ得る。メタデータは、さらに、医療標本がサンプリングされる前に患者に施されていた場合がある治療に関連する情報を含み得る。情報は、組織除去前に与えられた総投与量、または組織除去前に経時的に与えられた個々の治療を含む複数の形式で提供され得る。手術前の時間も入力として受信され得る。デジタル医用画像とともに受信した例示的なメタデータは、治療と組織除去との間の日数、及び／または治療の時間間隔を含み得る。

【0056】

さらに、システムは、特定のメタデータを入力されたデジタル医用画像に対応する情報を取り込み得る。これにより、各画像を利用可能な薬剤投与量情報とペアにされ得るため、下記により詳細に説明されるような適用可能な機械学習システムまたはコンポーネントのトレーニング／使用が可能になり得る。メタデータは、さらに、放射線、化学療法、または受信され得る他の治療情報等の病院情報システムからの入力情報を含み得る。そのような入力情報は、例えば、組織除去前に与えられた総投与量、または組織除去前に経時的に与えられた個々の治療等、複数の形式で提供され得る。

【0057】

ステップ２０４において、システムは、ステップ２０２で受信された１つ以上のデジタル医用画像に対して（例えば、顕著領域検出モジュール１３３によって）顕著領域検出を行い得る。このプロセスは、手動で、または人工知能を使用して自動的に実施され得る。下記でさらに説明されるように、顕著領域検出モジュール１３３を使用して、各デジタル画像について分析されるべき顕著領域を特定し得る。顕著領域は、画像の診断を行う病理学者に関連すると見なされる画像または画像のエリアとして定義され得る。デジタル画像はパッチ／タイルに分割され得、スコアは各タイルと関連付けられ得、スコアは特定のタイル／パッチが特定のタスクにどの程度関連しているかを示す。次に、閾値を超えるスコアを伴うパッチ／タイルは、顕著領域と見なされ得る。一例では、スライドの顕著領域は、ＷＳＩの背景領域であり得るスライドの残りの部分とは対照的に、組織領域を指し得る。デジタル画像ごとに、１つ以上の顕著領域が特定及び分析され得る。画像全体、または代わりに画像の特定の領域が顕著であると見なされ得る。顕著領域は、１つ以上のソフトウェアモジュールによって特定され得る。顕著領域決定技術は、全体として参照により本明細書に組み込まれる米国特許出願公開第１７／３１３，６１７号で説明されている。

【0058】

ステップ２０６において、ユニバーサルまたはマルチモーダル埋め込み表現モジュールは、（例えば、埋め込み表現モジュール１３４によって）実装され得る。下記により詳細に説明されるように、システムは、固定数のモダリティ（例えば、Ｈ＆Ｅ ＷＳＩ、ＩＨＣ ＷＳＩ、ＣＴスキャン、患者概要レポート、及び／または治療に関連する情報）に関する患者の一連の臨床データを受信し得る。これは、ステップ２０２からのデジタル医用画像及び対応するメタデータを含み得る。さらに、顕著領域検出モジュール１３３は、ユニバーサルまたはマルチモーダル埋め込み表現モジュールがデジタル医用画像を受信する前に、入力画像に適用され得る。特定の時点で、データの全てのモダリティが、考慮されたモダリティの固定セットから利用可能ではない場合がある。例えば、システムはＨ＆Ｅ ＷＳＩ及び治療情報を受信し得るが、患者の概要レポートまたはＣＴスキャンにはアクセスできない場合がある。埋め込み表現モジュール１３４は、受信した全てのデータを、下流のタスクに使用され得る代表的な埋め込みに変換され得る。これにより、治療有効性モジュール１３５及び治療法推奨モジュール１３６が、埋め込み表現モジュール１３４から標準化されたデータを受信することが可能になり得る。さらに、埋め込み表現モジュール１３４は、例えば、２つの時点の間を補間する生成手法を使用することによって、欠測データを決定することが可能であり得る。リカレントニューラルネットワーク（ＲＮＮ）またはトランスフォーマーモデル等を使用することによって、データは順番に処理され得る。

【0059】

ステップ２０８において、システムは、（例えば、治療有効性モジュール１３５を使用して）１人以上の患者に対する以前の治療の有効性を決定し得る。下記により詳細に説明されるように、このモジュールは、１）罹患組織がどれだけ根絶、縮小、または治癒の兆候を示しているか、２）健康な組織がどれだけ治療により損傷されているか、という２つの能力の観点で、長期にわたる治療の有効性を測定し得る。システムは、前の治療の有効性を測定するために、２つの能力のそれぞれのスコア及び全体のスコアを作成し得る。

【0060】

ステップ２１０において、システムは、治療法推奨モジュール（例えば、治療法推奨モジュール１３６）を実装し得る。スライドの画像またはスライドからの顕著領域の画像のセットが与えられた場合、スライドを取得し得る患者に提供され得る単一または潜在的な薬剤の組み合わせ（例えば、分析されている特定の組織タイプを治療するために使用した既知の薬剤セットから）の頻度及び量／投与量を推奨する。スライドが治療済みとして指定されている場合、治療レジメン（単一または潜在的な薬剤の組み合わせの頻度及び量／投与量）が受信され得、単一または潜在的な薬剤の組み合わせの新しい頻度及び／または量／投与量を推奨し得る。このモジュールは、画像内の完全に異なる領域からの空間情報を組み込み得る。予測は、電子ストレージデバイス１０９に出力され得る、または出力インターフェース１３７（例えば、画面、モニター、及び／またはウェブブラウザ等）を用いて表示され得る。

【0061】

前述したように、ステップ２０４において、システムは、顕著領域検出モジュール１３３を利用して、入力されたデジタル医用画像の顕著領域を決定し得る。顕著領域検出モジュール１３３は、対象の連続スコアを、デジタル医用画像またはデジタル医用画像のエリアに割り当てて、領域が顕著であるかどうかを定量化し得る。連続的な対象のスコアは、デジタル画像内の特定の構造に特有であり得、無関係な領域を除外しながら、関連領域が含まれるように、関連領域を特定することが有益であり得る。例えば、ＭＲＩ、ＰＥＴ、またはＣＴを用いて、特定の対象の器官の位置を特定するデータが必要になり得、ひいては、特定の器官はより高い継続的な対象のスコアを受信し得る。顕著領域の特定により、下流の機械学習システムは、注釈の少ないデータからモルフォロジーを検出し、より正確な予測を行う方法を学習し得る。

【0062】

顕著領域検出モジュール１３３は、画像セグメンテーションマスク、バウンディングボックス、線分、点注釈、自由形状、多角形、またはそれらの任意の組み合わせを使用して、アノテーターによって指定された顕著領域を出力し得る。代替として、機械学習を使用して、このモジュールを生成し、適切な位置を特定し得る。

【0063】

機械学習を使用して顕著領域検出器を作成するには、２つの例示的な手法があり得る。これらの手法は、対象のモルフォロジーが見つかり得る場所を正確に特定する強い教師ありの方法と、正確な位置を提供しない弱い教師ありの方法とを、含み得る。

【0064】

強い教師ありトレーニングは、バイオマーカーを発現し得る顕著領域の画像及び位置を入力として使用することによって実施され得る。２Ｄ画像、例えば病理学のＷＳＩの場合、これらの位置は、ピクセルレベルラベリング、バウンディングボックスベースラベリング、ポリゴンベースラベリングを用いて、または顕著性が特定されている対応する画像を使用して（例えば、ＩＨＣを使用して）指定され得る。３Ｄ画像、例えばＣＴ及びＭＲＩスキャンの場合、位置は立方体等を使用してボクセルレベルラベリングで指定され得る、あるいは、パラメータ化された曲線もしくは表面、または変形されたテンプレート（複数可）等のサブボクセルレベルラベリングを可能にし得るパラメータ化された表現を使用し得る。弱い教師ありトレーニングは、単数の画像または複数の画像と、顕著領域の存在／非存在を使用して実施され得るが、顕著な位置の正確な位置は指定されない場合がある。

【0065】

図３Ａは、本明細書に提示される技術による、顕著領域検出モジュール１３３のアルゴリズムをトレーニングするための方法の例を示すフローチャートである。図３Ａに説明されるプロセス及び技術を使用して、医療デジタル画像の顕著領域を特定するために機械学習モデルをトレーニングし得る。図３Ａの方法３００は、例えば、図１Ｃで前述したスライド分析ツール１０１の顕著領域検出モジュール１３３によって行われ得るステップを示す。代替として、本方法は、外部システムによって行われ得る。

【0066】

フローチャート／方法３００は、ステップ３０２～３０６でさらに詳細に説明されるように、機械学習モジュールをトレーニングするためのトレーニングステップを示す。下記でさらに説明されるように、機械学習モデルを使用して、デジタル医用画像の顕著領域を特定し得る。

【0067】

ステップ３０２において、システム（例えば、顕著領域検出モジュール１３３）では、（例えば、組織学、ＣＴ、ＭＲＩ等からの）医療標本の１つ以上のデジタル画像がデジタルストレージデバイス（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭ等）に受信され得、１つ以上の画像内の顕著領域（例えば、浸潤癌の存在、ＬＶＳＩ、上皮内癌等）の存在または非存在のインジケーションを受信する。

【0068】

ステップ３０４において、各デジタル画像はサブ領域に分割され得、次に、サブ領域の顕著性が決定され得る。サブ領域は、画像のタイルの作成、エッジ／コントラストに基づくセグメンテーション、色差によるセグメンテーション、エネルギー最小化に基づくセグメンテーション、機械学習モデルによる教師あり決定、ＥｄｇｅＢｏｘｅｓ等を含む、様々な方法で及び／または様々な基準に基づいて指定され得る。

【0069】

ステップ３０６において、デジタル画像を入力として取り、顕著領域が存在するか否かを予測する機械学習システムをトレーニングし得る。顕著領域検出モジュールをトレーニングすることは、また、入力としてデジタル画像を受信し、顕著領域が存在するか否かを予測する機械学習システムのトレーニングも含み得る。限定ではないが、弱い教師あり、バウンディングボックスもしくはポリゴンベースの教師あり、またはピクセルレベルもしくはボクセルレベルのラベリングを含む多くの方法を使用して、どの領域が顕著であるかを学習し得る。

【0070】

弱い教師ありは、複数のインスタンス学習（ＭＩＬ）を使用する機械学習モデル（例えば、多層パーセプトロン（ＭＬＰ）、畳み込みニューラルネットワーク（ＣＮＮ）、トランスフォーマー、グラフニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト等）をトレーニングすることを含み得る。ＭＩＬは、デジタル画像または画像のコレクションに対して弱いラベリングを使用し得る。標識は、顕著領域の存在または非存在に対応し得る。

【0071】

バウンディングボックスまたはポリゴンベースの教師ありは、バウンディングボックスまたはポリゴンを使用する機械学習モデル（例えば、Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、選択的検索等）をトレーニングすることを含み得る。バウンディングボックスまたはポリゴンは、バイオマーカーの存在または非存在を検出するために顕著なデジタル画像のサブ領域を指定し得る。

【0072】

ピクセルレベルまたはボクセルレベルのラベリング（例えば、セマンティックセグメンテーションまたはインスタンスセグメンテーション）は、機械学習モデル（例えば、マスクＲ－ＣＮＮ、Ｕ－Ｎｅｔ、完全畳み込みニューラルネットワーク、トランスフォーマー等）をトレーニングすることを含み得る。そして、個々のピクセル及び／またはボクセルは、対象の連続スコア（複数可）を検出するために顕著であるとして特定される。ラベルは、体内腫瘍、浸潤性腫瘍、腫瘍間質、脂肪等を含み得る。ピクセルレベル／ボクセルレベルのラベルリングは、人間のアノテーターからのものであり得る、または顕著性を示す登録済み画像からのものであり得る。

【0073】

図３Ｂは、本明細書の１つ以上の例示的な実施形態による、画像領域検出を提供するための方法を示すフローチャートである。図３Ｂは、図３Ａでトレーニングされたニューラルネットワークを利用する方法を示し得る。図３Ｂの例示的な方法３５０（例えば、ステップ３５２～３５６）は、例えばスライド分析ツール１０１の顕著領域検出モジュール１３３によって行われ得るステップを示す。これらのステップは、自動的に、またはユーザー（例えば医師、病理学者等）からの要求に応じて行われ得る。代替として、フローチャート３５０で説明される方法は、デバイス１３００等、画像入力を受信することが可能であり、図３Ａで説明したニューラルネットワークを含むまたはインポートすることが可能な任意のコンピュータープロセスシステムによって行われ得る。

【0074】

ステップ３５２において、システム（例えば、顕著領域検出モジュール１３３）では、医療標本の１つ以上のデジタル医用画像は、デジタルストレージデバイス（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭ等）に受信され得る。顕著領域検出モジュールを使用することは、オプションで、各デジタル画像をサブ領域にブレイクまたは分割して、トレーニングステップ３０４からの同じ手法を使用して、各サブ領域の顕著性（例えば、バイオマーカー（複数可）を特定するべきがん組織）を決定することを含み得る。

【0075】

ステップ３５４において、図３Ａからのトレーニングされた機械学習システムを入力画像に適用して、１つ以上の画像のどの領域が顕著であり、対象の連続スコア（複数可）（例えば、がん組織）を潜在的に示し得るかを予測し得る。トレーニングされた学習システムを画像に適用することは、浸潤腫瘍領域を検出し、その空間範囲を決定し、浸潤腫瘍の周囲の間質を抽出すること等によって、単一の領域または複数の領域を追加の組織に拡張することを含み得る。

【0076】

ステップ３５６において、ステップ３５４で顕著領域が見つかった場合、システムは顕著領域の位置を特定し、それらにフラグを付け得る。顕著領域が存在する場合、その領域の検出は様々な方法を使用して行うことができる。該方法は、限定ではないが、画像サブ領域に対して機械学習モデルを実行して、各サブ領域の予測を生成すること、または、機械学習視覚化ツールを使用して、詳細なヒートマップを作成すること等を含む。例示的な技術は、２０２０年９月９日に出願された米国特許出願第１７／０１６，０４８号及び２０２１年５月６日に出願された米国特許出願第１７／３１３，６１７号に説明されており、それらの特許出願は、全体が参照により本明細書に組み込まれる。詳細なヒートマップは、クラスアクティベーションマップ、ＧｒａｄＣＡＭ等を使用することによって作成され得る。次に、機械学習視覚化ツールを使用して、関連領域及び／または位置情報を抽出し得る。

【0077】

次に、ステップ３５６から出力された顕著領域は、埋め込み表現モジュール１３４、治療有効性モジュール１３５、及び／または治療法推奨モジュール１３６のいずれかに下流に向かってフィードされ得る。

【0078】

マルチモーダル設定では（例えば、埋め込み表現モジュール１３４が２つ以上のタイプの医用画像を受信するとき）、顕著領域検出モジュール１３３は、モダリティごとに（例えば、ＷＳＩ用に１つ、ＭＲＩ用に１つ、ＣＴ用に１つ等）、独立して顕著領域を決定し得る。

【0079】

ステップ２０６において、システムは、埋め込み表現モジュール１３４を利用して、データ取り込みモジュール１３２及び／または顕著領域検出モジュール１３３によって受信されたデータを正規化し得る。埋め込み表現モジュール１３４は、欠測データを推論し、均一データ（例えば、１つ以上のベクトル）を治療有効性モジュール１３５及び／または治療法推奨モジュール１３６に出力することが可能であり得る。

【0080】

埋め込み表現モジュールの実施態様によると、１つ以上のモダリティは入力（複数可）として受信され得る。モダリティは、デジタル医用画像、概要レポート、及び／または治療に関する情報等、システムによって受信された任意のタイプの入力データを指し得る。図４は、本明細書で提示される技術による、埋め込みを出力するためにトレーニングされたシステムを使用するための例示的なプロセスを示すフローチャートである。各モダリティは、モダリティ内の関連領域を特定するための顕著領域検出モジュールを有し得る。これは、患者の治療有効性を決定するために経時的に動作するとき、いくつかのモダリティについて、頻繁に患者からサンプルを取得することが不可能であり得るため、有益であり得る。例えば、ＣＴスキャンは患者を放射線に曝し得るため、最小限に抑える必要があり、生検は治癒に時間がかかる侵襲的な手術であり得る。埋め込み表現モジュールは、モダリティの全てが全ての時点で存在しないとき、欠測モダリティを「埋め」得る。

【0081】

マルチモーダル情報は、１つ以上の技術を使用して単一のベクトル埋め込みに変換され得る。そのような技術は、トランスフォーマーに基づいて本明細書に開示されている。また、本明細書に開示される技術は、システムが複数のモダリティを処理するようにトレーニングされていない場合、単一のモダリティにも使用され得る。図４は、２つのタイムステップにわたって５つの入力モダリティ４０２を含む例示的な埋め込み表現モジュール１３４を含む。図４は、さらに、各時間ステップの出力埋め込み４０８を示す。図４は、スライド、概要、及び治療データに使用されるユニバーサル埋め込み表現モジュールの例を提供する。これらの技術は、データの可変数のタイムステップを消費するように拡張し得、モデルは任意の数の入力／モダリティ４０２でトレーニングされるように構成され得る。

【0082】

第１の層（例えば、層１のトランスフォーマー４０６）は、所与のタイムステップ４０４で各モダリティ４０２から情報を受信し、各モダリティをネットワーク内の埋め込み４０８に変え得る。さらに、層１のトランスフォーマー４０６は、所望の初期タイムステップに対するタイムステップ４０４の時間を受信し得る。所望の初期時間ステップは、新しい治療が開始された期間、以前の治療に対する新しい投薬量が開始された期間、またはモダリティ情報が受信された特定の時刻であり得る。タイムステップ４０４以外の入力／モダリティ４０２のそれぞれは、オプションであり得る、及び／または層１のトランスフォーマー４０６に入力されない場合がある。ネットワーク（例えば、トランスフォーマー４０６及び４１２）は、入力されていないモダリティ４０２を推論することが可能であり得る。次に、第２層（例えば、層２のトランスフォーマー４１２）は、全てのモダリティ４０２に対する所与のタイムステップからの全ての埋め込み４０８、及びそのタイムステップ４１０で与えられた治療を受信し、各タイムステップでの全ての入力モダリティによって示されるように、状態を表す埋め込み４１４を出力し得る。

【0083】

図５Ａは、本明細書で提示される技術による、１つ以上のモダリティを受信し、埋め込みベクトル表現を出力するようにシステムをトレーニングするための例示的な方法を示すフローチャートである。図５Ａの方法５００は、例えば、埋め込み表現モジュール１３４によって行われ得るステップを示す。代替として、方法５００は、外部システムによって行われ得、トレーニングされたシステムは、実施するために埋め込み表現モジュール１３４に提供され得る。

【0084】

ステップ５０２において、複数のトレーニングデータセットを受信し得る。データセットは、異なる時間間隔での１人以上の個人の医療標本の１つ以上のデジタル医用画像（例えば、組織学、ＣＴ、ＭＲＩ等）を含み得る。これは、デジタルストレージデバイス（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭ等）に保存され得る。さらに、システムは、異なる時点での患者の健康を特徴付けるデジタル医用画像の各個人のセットに対応するメタデータを受信し得る。メタデータは、さらに、治療タイプ、治療が行われた時刻（例えば、使用された日付、治療が行われた時刻、治療が開始された日、及び／または治療が終了した日）、及び治療投与量等、個人の治療に関連する全ての情報を含み得る。さらに、メタデータは、年齢または性別等の個人に関する情報を含み得る。トレーニングデータセットは、個人のデジタル医用画像に対応する患者の概要レポートも含み得る。

【0085】

ステップ５０４において、システムは、データセットのうちの１つ以上を使用してトレーニングされ得る。トレーニングされたシステムは、トレーニングされた機械学習（ＭＬ）システムであり得る。ＭＬシステムは、入力として、提供された画像、及びステップ５０２からの指定された各時点でのメタデータを受信し得る。さらに、トレーニングされたシステムは、最新の時点での患者の健康状態の定量的表現を出力し得る。この出力は、患者ごとに単一のベクトルの形式であり得る。埋め込み表現モジュール１３４は、およその取得時間を決定するようにトレーニングされ得る。時点が等間隔にない場合があることを考慮すると、システムは、少なくともおおよその取得時間を決定するために、相対的な時間オフセットの拡張が提供され得る。この表現を学習するために、限定ではないが、マスク言語モデル及び正味時点予測を含む多くの教師なし方法を使用し得る。マスクされた言語モデルは、指定された時点のいずれかにわたってデータのモダリティをランダムにマスクし、データのモダリティがマスクされた全てのデータを補間するようにモデルをトレーニングし得る。次の時点の予測では、ある時点までのデータ（ただし、時点は含まない）を使用し得、その後、その選択された時点のデータの全てのモダリティを予測するようにモデルをトレーニングし得る。

【0086】

データの予期された全てのモダリティが各時点で存在しない場合がある。データのモダリティが任意の時点で欠測している場合、それは、機械学習システムによって処理できる一般的な欠測トークンと置き換えられ得る。

【0087】

埋め込み表現モジュール１３４をトレーニング及び／または使用することに関して、画像データ及びテキストデータを同時に処理し得る。例えば、マスクされた言語モデルを使用してトレーニングするとき、システムの初期部分で画像がテキストとは別に処理され得る。さらに、画像に関して、画像のランダムにマスクされた部分を予測するようにモデルをトレーニングし得るが、テキストに関して、テキストのランダムにマスクされたトークンを予測するようにモデルをトレーニングし得る。

【0088】

図５Ｂは、本明細書で提示される技術による、１つ以上のモダリティを受信し、埋め込みベクトル表現を出力するためにシステムを使用するための例示的な方法を示すフローチャートである。図５Ｂの例示的な方法５５０（例えば、ステップ５５２～５５６）は、例えば、埋め込み表現モジュール１３４によって行われ得るステップを示す。これらのステップは、自動的に、またはユーザー（例えば病理学者、部門長または研究室長、管理者等）からの要求に応じて行われ得る。代替として、方法５５０は、デバイス１３００等、画像入力を受信することが可能であり、図５Ａで説明したトレーニングされたシステムを記憶及び実行することが可能な任意のコンピュータープロセスシステムによって行われ得る。

【0089】

ステップ５５２において、システムは、異なる時点で患者の医療標本の１つ以上のデジタル医用画像（例えば、組織学、ＣＴ、ＭＲＩ等）を受信し得る。これらのデジタル医用画像は、デジタルストレージデバイス（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭ等）に記憶され得る。システムは、さらに、異なる時点での患者の健康を特徴付ける任意の他のメタデータを入力として受信し得る。メタデータは、入力されたデジタル医用画像が処理された、または未処理であったかどうか等の情報と、処理済スライドに関して、特定のデジタル医用画像に対応する治療情報とを含み得る。個人の治療に関連する情報は、治療タイプ、治療が行われた時刻（例えば、使用された日付、治療が行われた時刻、治療が開始された日、及び／または治療が終了した日）、及び治療投与量等の情報を含み得る。さらに、メタデータは、年齢または性別等の個人に関する情報を含み得る。メタデータは、個人のデジタル医用画像に対応する患者の概要レポートも含み得る。最後に、メタデータは、医療サンプルが作成された日付及び時刻に関する情報を含み得る。

【0090】

ステップ５５４において、システムは、ステップ５５２で受信したデータに機械学習システムを適用し得、与えられた各時点の表現を出力する。図５Ａからのトレーニングされたシステムは、システムが予期するように、１つ以上の欠測モダリティを汎用の欠測トークンと置き換えることが可能であり得る。

【0091】

次に、ステップ５５６において、システムは、下流モジュールによって使用され得る患者ごとに１つ以上の単一ベクトル埋め込みを出力し得る。例えば、治療有効性モジュール１３５及び／または治療法推奨モジュール１３６は、ベクトル埋め込みを受信することが可能であり得る。

【0092】

前述したように（例えば、ステップ２０８）、システムは、１人以上の個人に対する以前の治療の有効性を分析することが可能であり得る。例えば、これは治療有効性モジュール１３５によって行われ得る。治療有効性モジュール１３５は、１人以上の患者が以前に治療されたときのデジタル医用画像（例えば、ＷＳＩ）を入力として受信することが可能であり得る。治療有効性モジュール１３５は、受信したデジタル医用画像に対応する過去の治療を示すメタデータを受信することが可能であり得る。この情報は、治療タイプ、治療の開始日及び終了日、治療時刻、及び／または治療投与量を含み得る。過去の治療は、限定ではないが、放射線療法、化学療法、ホルモン療法、またはその他の形式の療法を含み得る。

【0093】

治療有効性モジュール１３５は、（デジタル医用画像に示されるような）組織の状態を評価し、分析される画像の治療領域を特定する能力を有し得る。このステップは、注釈ツールを使用して手動で行われ得る、またはＡＩ（例えば、顕著領域検出モジュール１３３）を使用して自動的に行われ得る。入力されたデジタル医用画像に関して、画像全体または特定の画像領域のいずれかは、処理されたものと見なされ得る。次に、治療有効性モジュール１３５は、下記により詳細に説明されるように、重症度システムを実行して、治療エリアの重症度を決定し得る。治療有効性モジュールは、疾患除去スコアと呼ばれる、除去されている罹患組織に関連するスコアを予測し得る。治療有効性モジュールは、さらに、健康な組織スコアと呼ばれる、損傷している健康な組織に関連するスコアを予測し得る。最後に、システムは、疾患除去スコア及び健康な組織スコアに基づいて全体的な治療有効性スコアを決定し得る。

【0094】

機械学習を使用して治療有効性領域検出器を作成する２つの手法の例は、対象のモルフォロジーが見つけられ得る場所を正確に特定する強い教師ありの方法と、下記により詳細に説明されるような正確な位置を提供しない弱い教師ありの方法とを含む。

【0095】

図７Ａは、本明細書に提示される技術による、１つ以上のデジタル病理画像、例えばＷＳＩ等に基づいて治療有効性を決定するために、システムをトレーニングするための例示的な方法を示すフローチャートである。図７Ａで説明されるプロセス及び技術を使用して、機械学習モデルをトレーニングして、１つ以上のデジタル画像を分析して、患者に対して行われた１つ以上の過去の治療の有効性を決定し得る。図７Ａの方法７００は、例えば、図１Ｃで前述したスライド分析ツール１０１の治療有効性モジュール１３５によって行われ得るステップを示す。代替として、本方法は、外部システムによって行われ得る。フローチャート／方法７００は、ステップ７０２～７０６でさらに詳細に説明されるように、機械学習モジュールをトレーニングするためのトレーニングステップを示す。

【0096】

ステップ７０２において、システムでは、様々な時点での１人以上の患者の医療標本の１つ以上のデジタル医用画像（例えば、組織学、ＣＴ、ＭＲＩ等）は、デジタルストレージデバイス１０９（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭ等）に受信され得る。例えば、システムは、治療前、治療中設定された時間間隔で、及び治療後、標本のデジタル医用画像を受信し得る。システムは、さらに、画像内の治療領域（例えば、存在する浸潤癌、ＬＶＳＩ、上皮内癌等）の存在または非存在のインジケーションを提供するメタデータを受信し得る。これは、存在し得る病気のタイプ及び／または病気の位置に関する情報を含み得る。

【0097】

次に、システムは、治療有効性を含む受信したデジタル医用画像の領域／タイルを特定し得る。システムは、デジタル医用画像をより小さなタイルに分割することによって、これを行い得る。別の例では、システムは、エッジ／コントラストに基づいたデジタル医用画像のセマンティックセグメンテーション、色の違いによるセグメンテーション、エネルギー最小化に基づくセグメンテーション、機械学習モデルによる教師あり決定（例えば、顕著領域検出モジュール１３３または治療有効性モジュール１３５でトレーニングされた機械学習モジュール）、ＥｄｇｅＢｏｘｅｓ等を使用することによって、これを行い得る。別の例では、ステップ７０２で受信されたメタデータは、治療有効性を含むデジタル医用画像の領域／タイルに関する情報を含み得る。

【0098】

次に、システムは、ステップ７０２からのデジタル医用画像内の腫瘍浸潤リンパ球（ＴＩＬ）を検出及び定量化するシステムを実行し得る。ＴＩＬは、腫瘍細胞を破壊し得る白血球であり得る。次に、システムはＴＩＬの実行可能性を評価し得、システムによって使われる尺度を作成する。

【0099】

次に、システムは、各時点での患者の健康を特徴付ける任意の他のメタデータを受信し得る（時点とは、ステップ７０２で受信したデジタル医用画像から医療標本が抽出されている場合がある時点を指す）。例えば、各時点での患者の全体的な健康状態の測定値は、患者の血圧、体温、患者が感じるペイント／不快感のレベル等を含み得る。

【0100】

ステップ７０４において、システムは、デジタル医用画像に基づいて個人の治療有効性を特定できる機械学習システムをトレーニングすることが可能であり得る。トレーニングされたシステムは、ステップ７０２からのデジタル医用画像、及びその他の追加の対応するメタデータ（例えば、スライドが処理されているかどうか）を入力として受信し得る。このデータは、特定の個人に対応する医療デジタルスライドの複数の時点で受信され得る。次に、トレーニングされたシステムは、治療領域が存在するか否かを予測することが可能であり得る。システムは、対象のモルフォロジーを有する領域を特定するために、弱い教師ありまたは強い教師ありのいずれかを利用してトレーニングされ得る。システムは、過去の治療の有効性を定義する合計スコア（例えば、全体的な治療有効性スコア）を出力するようにトレーニングされ得る。スコアは、健康な組織に対する治療による損傷及び疾患のある組織の除去に基づき得る。

【0101】

例えば、システムは弱い教師ありを使用してトレーニングされ得、機械学習モデル（例えば、多層パーセプトロン（ＭＬＰ）、畳み込みニューラルネットワーク（ＣＮＮ）、トランスフォーマー、グラフニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト等）は、デジタル画像または画像のコレクションの弱いラベリングを使用するマルチインスタンス学習（ＭＩＬ）を利用し得る。トレーニングデータのラベルは、治療領域の存在または非存在に対応し得る。トレーニングされたＭＬシステムは、前述した埋め込み表現モジュール１３４から出力された埋め込みを受信することが可能であり得る。ＭＬシステムは、また、治療レジメンを受信し、各時間ステップでの治療有効性を予測／出力することも可能であり得る。次に、トレーニングされたモデルは、任意の治療レジメンの将来のタイムステップでの治療有効性を予測することが可能であり得る。

【0102】

弱い教師トレーニングに関して、（例えば、ステップ７０２から）システムは画像（複数可）及び治療エリアの存在／非存在を受信し得るが、治療エリアの正確な位置を指定する必要ない場合がある。システムのトレーニングへの入力は、領域が治療されたかどうかに加えて、基礎エリアが良性またはがん性かどうかを含み得る。次に、システムは、治療前の治療エリアががんエリアまたは良性エリアと見なされるかどうかを予測し得る。次に、システムは、１つ以上のデジタル医用画像の以前は良性であった領域のスコア（例えば、健康な組織スコア）及び以前のがん領域のスコア（例えば、疾患除去スコア）を出力するようにトレーニングされ得る。最初に、システムは、まだがん組織である、またはがん組織であった画像の治療エリアにおける治療の有効性を評価し得る。システムは、疾患除去スコアを決定することによって、以前のがん領域に対する治療の有効性を定量化し得る。疾患除去スコアは、例えば、定量化可能なスコアにおけるがん領域の減少を測定し得る。例えば、スコア０は、過去の治療が有効ではなかった（例えば、がんがまだ存在している、及び／またはがんが広がっている）ことを示し、スコア１０は、治療が非常に効果的であった（例えば、全てのがんが除去されている）ことを意味し得、その間のグラデーションが変化する。別の例では、トレーニングされたシステムが出力した割り当てられたスコアは、バイナリ、序数、連続等の別のタイプのメトリックであり得る。スコアは、以前にがん性組織を含んでいた領域の特定のサブエリアに割り当てられ得る。次に、システムは、サブエリアごとにがんエリアスコアを合計して、デジタル医用画像全体（例えば、ＷＳＩ）の最終的な疾患除去スコアを決定し得る。例えば、これは、スライドの合計全体スコアを取得することによって、または各サブエリアのスコアを平均することによってスライド全体の平均スコアを決定することによって、のいずれかで行われ得る。出力されたスコアは、まだがん組織である、またはがん組織であった画像の治療エリアにおける治療の重症度を評価／説明し得る。

【0103】

次に、システムは、デジタル医用画像の以前に良性であった領域を分析して、健康な組織スコアを決定することによって、治療の有効性を定量化し得る。このスコアは、以前は健康だった組織に対する治療の効果を分析し得る。システムは、各デジタル医用画像の良性領域の健康な組織スコアを決定し得る。合計スコアは、デジタル医用画像の組織内の疾患の重症度を定義し得る。健康な組織スコアは、画像の健康な組織の各タイル／サブセクションの平均された健康な組織グレードを定義する平均されたスコアであり得る。健康な組織は、機械学習システムが健康な組織スコアを出力する前に、事前に特定されていた場合がある。健康な組織スコアの場合、スコア０は病気が重篤ではない（良性組織がまだ存在している）ことを示し得、スコア１０は病気が非常に重篤である（全ての良性組織が損傷している）ことを示し得る。代替として、バイナリ、順序、連続等の他のタイプのメトリックは、良性組織が損傷したかどうかの重症度を示し得る。次に、全てのサブエリアのこの測定値が合計されて、デジタル医用画像全体の最終的な測定値が得られる。

【0104】

最後に、システムは、健康な組織スコア及び疾患除去スコアを平均化する治療有効性スコアを決定し得る。このスコアを使用して、治療の有効性を評価し得る。

【0105】

別の例では、機械学習モデルは、強い教師ありトレーニングを使用してトレーニングされ得る。強い教師ありトレーニングの場合、治療領域の画像及び位置は入力（複数可）として受信され得る。さらに、治療領域が悪性（例えば、がん性）または良性であるかに関する情報も受信し得る。２Ｄ画像、例えば病理学の全体スライド画像（ＷＳＩ）の場合、これらの位置は、ピクセルレベルラベリング、バウンディングボックスベースラベリング、またはポリゴンベースラベリングを用いて指定され得る。３Ｄ画像、例えばＣＴ及びＭＲＩスキャンの場合、位置は立方体等を使用してボクセルレベルラベリングで指定され得る、または、パラメータ化された曲線もしくは表面、または変形されたテンプレート等のサブボクセルレベルラベリングを可能にするパラメータ化された表現を使用し得る。

【0106】

一例では、機械学習モデルは、バウンディングボックスまたはポリゴンベースの教師ありを使用してトレーニングされ得る。これは、治療エリアの存在または非存在を検出するために、顕著なデジタル画像のサブ領域を指定するバウンディングボックスまたはポリゴンを使用して、機械学習モデル（例えば、Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、選択的検索等）をトレーニングすることを含み得る。

【0107】

別の例では、機械学習モデルは、ピクセルレベルまたはボクセルレベルのラベリング（例えば、セマンティックまたはインスタンスセグメンテーション）を利用してトレーニングされ得る。これは、個々のピクセル／ボクセルが対象の連続スコアの検出において顕著なものとして特定される機械学習モデル（例えば、マスクＲ－ＣＮＮ、Ｕ－Ｎｅｔ、完全畳み込みニューラルネットワーク、トランスフォーマー等）をトレーニングすることを含み得る。ラベルは、体内腫瘍、浸潤性腫瘍、腫瘍間質、脂肪等を含み得る。ピクセルレベル／ボクセルレベルのラベルリングは、人間のアノテーターからのものである可能性がある、または顕著性を示す登録済み画像からのものである可能性がある。

【0108】

トレーニング中、機械学習システムは、がん領域または良性領域を記述する入力ラベルまたはセグメンテーションマスクが与えられ得る。これらの入力ラベル及びセグメンテーションマスクは、治療前後のデジタル医用画像用であり得る。次に、システムは、治療前の治療エリアが、がんエリアまたは良性エリアと見なされるかどうかを予測するようにトレーニングされ得る。さらに、機械学習モデルがトレーニング中にがん性及び良性の治療エリアを受信した場合、トレーニングされたシステムは、また、疾患除去スコア、健康な組織スコア、及び全体的な治療有効性スコアも入力として受信する。例えば、疾患除去スコアは０～１０の値であり得、０の測定値は有効ではなく（がんがまだ存在している）、１０は非常に有効である（全てのがんが除去されている）。疾患除去有効性スコアは、バイナリ、序数、パーセンテージ、連続等の別のタイプのメトリックである。この疾患除去有効性スコアは、特定の入力されたスライドのサブエリアごとにあり得る。さらに、システムは全体のスコア（例えば、下記に説明されるサブエリアの結合スコア）を受信し得る。

【0109】

最後に、ステップ７０６において、システムは、入力されたデジタル医用画像のそれぞれについて最終的な測定値（例えば、有効性スコア）を決定するようにトレーニングされ得る。これは、入力された特定のスライド内の各サブエリアのスコアを平均化またはコンパイルすることによって行われ得る。次に、決定された全体的な治療有効性スコアは、システムをさらにトレーニングするのを助けるために、トレーニングスライドが提供された全体的な治療有効性スコアと比較され得る。次に、トレーニングされたシステムは、ストレージデバイス１０９等の１つ以上のストレージデバイスに保存され得る。

【0110】

図７Ｂは、本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療有効性を決定するために、システムを使用するための例示的な方法を示すフローチャートである。図７Ｂの例示的な方法７５０（例えば、ステップ７５２～７６０）は、例えば治療有効性モジュール１３５によって行われ得るステップを示す。これらのステップは、自動的に、またはユーザー（例えば病理学者、部門長または研究室長、管理者等）からの要求に応じて行われ得る。代替として、方法７５０は、デバイス１２００等、画像入力を受信することが可能であり、図７Ａで説明したトレーニングされたシステムを記憶及び／または実行することが可能な任意のコンピュータープロセスシステムによって行われ得る。

【0111】

ステップ７５２において、トレーニングされたシステムでは、１つ以上のデジタル医用画像は、デジタルストレージデバイス（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭ等）に受信され得る。トレーニングされたシステムは、本願内で説明される技術のいずれかを使用して、各デジタル画像をサブ領域にブレイクし得る。

【0112】

ステップ７５４において、トレーニングされたシステムは、ステップ７５２から入力されたデジタル医用画像のタイルに適用され得る。

【0113】

ステップ７５６において、トレーニングされたシステムは、最初に、画像のどの領域が以前に処理されたかを予測し得る。トレーニングされたシステムが、治療領域が存在しないと決定した場合、システムは、治療が行われず、治療有効性スコアが利用不可能であるという通知を出力し得る。トレーニングされたシステムが、画像の領域が以前に処理されたと決定した場合、トレーニングされたシステムは、入力されたデジタル医療スライドの分析を継続し得る。一例では、システムは、ステップ７５２から、入力されたスライドに対応するメタデータを受信し得、各スライドが以前に処理されたかどうかを示す。

【0114】

ステップ７５８において、治療領域が存在する場合、システムは治療位置を特定し、それにフラグを立て得る。それらにフラグを立てることは、領域または領域の境界のピクセル位置を決定することを含み得る。トレーニングされたシステムは、限定ではないが、画像サブ領域で機械学習モデルを実行して各サブ領域の予測を生成すること、または機械学習視覚化ツールを使用して詳細なヒートマップを作成する等を行い、その後、関連領域を抽出することを含む、様々な方法で治療領域を特定し得る。

【0115】

７５８において、次に、トレーニングされたシステムは、治療前の治療エリアが、がんエリアまたは良性エリアと見なされるかどうかを予測し得る。

【0116】

最後に、ステップ７６０において、トレーニングされたシステムは、画像の治療エリアにおける治療の有効性を評価し得る。これは、各タイルの治療有効性サブスコアと、治療が適用されたステップ７５０からの入力画像のそれぞれについての全体的な治療有効性スコアとを決定することを含み得る。システムは、まだがん組織である、またはがん組織であった画像の治療エリアにおける治療の有効性（例えば、疾患除去スコア）を評価する。システムは、有効性を尺度として定量化する。例えば、０は有効ではない（がんがまだ存在する）、１０は非常に有効である（全てのがんが除去されている）、または別のタイプのメトリック（バイナリ、順序、連続等）である。次に、全てのサブエリアのこの測定値が合計されて、画像全体／ＷＳＩの最終的な疾患除去スコアが得られる。システムは、まだ良性組織である、または良性組織であった画像の治療エリアにおける治療の重症度を評価する。システムは、重症度を尺度に定量化する（例えば、健康な組織スコア）。例えば、０は重症ではない（良性組織がまだ存在する）、１０は非常に重症である（全ての良性組織が損傷している）、または別のタイプのメトリック（バイナリ、順序、連続等）である。次に、全てのサブエリアのこの測定値が合計されて、画像全体／ＷＳＩの最終的な健康な組織スコアが得られる。最後に、システムは、入力された画像のそれぞれについて疾患除去スコア及び健康な組織スコアの組み合わせである全体的な治療有効性スコアを決定し得る。このスコアは、以前の治療の全体的な有効性を示し得る。いくつかの例では、スコアが閾値を超えたとき、過去の治療は効果的であると見なされ、新しい治療は推奨されない場合がある。スコアが閾値を下回る場合、システムは、治療法推奨モジュール１３６を利用して、１人以上の患者に対する新しい治療を決定すべきであると決定し得る。

【0117】

図６は、治療有効性モジュール１３５の使用事例を示す。治療有効性モジュール１３５は、治療されたデジタル医用画像（例えば、治療されたＷＳＩ（複数可）６０４）及び現在の治療レジメン６０２を入力として受信し得る。現在の治療レジメン６０２は、治療タイプ、治療の投与量、及び治療が適用された日時等の過去の治療に関連する情報を記述するメタデータを含み得る。次に、治療有効性モジュール１３５は、トレーニングされたシステムを適用して、モルフォロジー評価システム６０６において、複数の薬剤を一緒に使用することにより、個々の薬剤だけが生成されている場合がある独特のモルフォロジーを生成しているか否かを分析し得る。前述したように（例えば、ステップ２１０）、システムは、デジタル医用画像を分析して、１人以上の個人に対してデジタル医用画像に基づいて推奨治療を提供することが可能であり得る。これは、治療法推奨モジュール１３６によって行われ得る。治療法推奨モジュール１３６は、既知の組織タイプ及びスライドが治療されたか否かを示すメタデータを含むデジタル医用画像を入力として受信し得る。治療法推奨モジュール１３６は、組織の状態を評価し、治療レジメンを推奨し得る。例えば、評価は、スライドが取得された患者に対する薬剤／治療の単一または潜在的な組み合わせ（例えば、分析されている特定の組織タイプを治療するために使用した既知の薬剤／治療のセットから）の頻度及び量／投与量を含み得る。モジュールは、顕著な組織の空間特性を予測に組み込み得る。空間特性を使用して治療法推奨モジュール１３６をトレーニングし得る２つの例示的な方法は、エンドツーエンド及び２段階予測システムを含む。エンドツーエンドシステムは入力画像から直接トレーニングされ得るが、２段階システムは最初に画像から特徴を抽出し得、その後、特徴の空間構成を組み込むことができる機械学習方法を使用する。

【0118】

治療法推奨モジュール１３６は、１つ以上のデジタル医用画像を入力として受信し得る。一例では、入力されたデジタル医用画像は画像のセットを含み得、各セットは個々の患者に関するものである。セットは、様々な時点での同じ１つ以上の医療標本のデジタル医用画像を含み得る。システムは、さらに、入力されたデジタル医用画像と関連付けられたメタデータを受信し得る。一例では、メタデータは、どのデジタル医用画像が同じ個人に属するか、及び医用画像のサンプリングが行われた時間／位置を区別するためのタイムスタンプ及びメタデータを含み得る。さらに、メタデータは、入力画像の組織タイプを含み得る。別の例では、メタデータは、各医療スライドの過去の治療及び治療の投与量の経時的なリストを含み得る。メタデータは、さらに、過去の治療投与量レベル（存在する場合）、過去の治療間の時間、及び入力されたデジタル医用画像と関連付けられた１人以上の個人のゲノム情報等、患者に関する経時的な臨床データを含み得る。治療法推奨モジュール１３６は、前述したように、埋め込み表現モジュール１３４から埋め込みとして説明された入力を受信し得る。治療法推奨モジュール１３６は、入力されたデジタル医用画像と関連付けられた各個人の現在の治療に対する推奨投与量レベルを出力し得る。代替として、治療法推奨モジュール１３６は、患者が反応しないため、任意の代替治療を使用すべきであることを推奨し得る。この場合、システムは、オプションで、使用される代替治療を提供し得る。治療法推奨モジュールからの出力は、出力インターフェース１３７を経由して出力され得る。さらに、治療法推奨モジュール１３６は、治療により最も影響を受けた／変化したデジタル画像上の組織領域を可視化して、これらの領域に対する治療がどの程度効果的であったかを定量化して、受信したデジタル医用画像を出力し得る（すなわち、「治療の軽度な効果を表示する」または「治療の重大な効果を表示する」）。この出力は、治療の効果に関するさらなる情報を提供し得る。

【0119】

スライド分析ツール１０１は、各時点で、異なるモダリティからデジタル画像を取得し、入力としてその段階での過去の治療と一緒に欠測データを処理できる「ユニバーサル埋め込み」を構築する等のタスクを含み得る、または行い得る。これは、上記に説明したように、埋め込み表現モジュール１３４によって行われ得る。データの特定のモダリティが所与の時点で欠測している場合、システムはデータの欠測モダリティを補間し、その補間データを用いて「ユニバーサル埋め込み」を構築し得る。次に、埋め込みを治療法推奨モジュール１３６に入力し得、その時点で、トレーニングされたシステム（例えば、トランスフォーマーまたはＲＮＮ）は、これらの埋め込みを集約して、新しい治療投与量を決定し得る。治療法推奨モジュール１３６は、治療レベルが与えられた場合、組織に何が起こるか予測されることを推定する生成方法を利用し得、その後、これらの出力を使用して、反復的な方式で、疾患組織と健常組織にどの程度の損傷があったかを決定し得る。次に、この情報を利用して、１人以上の個人に新しい治療法を推奨するかどうかを決定し得る。

【0120】

図９Ａは、本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療法の推奨を決定するために、システムをトレーニングするための例示的な方法を示すフローチャートである。図９Ａで説明されるプロセス及び技術を使用して、１つ以上のデジタル画像を分析して、１人以上の患者に対する治療法の推奨を決定する機械学習モデルをトレーニングし得る。図９Ａの方法９００は、例えば、図１Ｃで前述したスライド分析ツール１０１の治療法推奨モジュール１３６によって行われ得るステップを示す。代替として、本方法は、外部システムによって行われ得る。フローチャート／方法９００は、ステップ９０２～９０６でさらに詳細に説明されるように、機械学習モジュールをトレーニングするためのトレーニングステップを示す。

【0121】

ステップ９０２において、システムは最初に治療メタデータの履歴を受信し得る。この日付は、電子的に文書化されたテキストパラグラフ、構造化データ、またはデジタルストレージデバイス１０９（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭ等）に記憶された数値として受信され、病院サーバー１２２、研究所サーバー１２４、研究所情報システム１２５、臨床試験サーバー１２３、医師サーバー１２１、または他のデジタルシステムを含む、ネットワーク１２０を介してアクセスされ得る。一実施形態では、システムは、埋め込み表現モジュール１３４からインポートされた埋め込みの形式で治療メタデータの履歴を受信し得る。

【0122】

ステップ９０４において、システムでは、１人以上の患者の医療標本の１つ以上のデジタル医用画像は、デジタルストレージデバイス１０９（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭ等）に受信され得る。デジタル医用画像は、それぞれ、ステップ９０２で提供された全体的な説明からの情報に対応し得る。さらに、医用画像は、医療標本がサンプリングされてデジタル医用画像に変換された日付及び／または時刻を含むメタデータを含み得る。システムは、体温または外部環境温度等の補助的な非画像入力変数を受信し得る。各画像は、治療レジメンからの関連する出力情報、例えば、治療に使用される薬剤、ならびにデジタル医用画像に対応する各々の量及び頻度とペアにされ得る。

【0123】

下記により詳細に説明されるように、システムは、従来の回帰（特定の薬剤の治療レジメンが連続数値、例えば４０、５０、７０のグレイを含むとき）、または順序回帰（特定の薬剤の治療レジメンが整数、例えば、１倍、２倍、３倍の錠剤を含むとき）を使用してトレーニングされ得る。推奨される治療法として、投与量／量が異なる複数の治療法が提供され得る。

【0124】

さらに、システムは、また、機械学習のためにシステムを階層化し、分割するために、年齢、民族、補助的な検査結果等の患者情報も受信し得る。また、全体的な情報及び注意深い待機時間フレーム等の追加情報も取り込まれ得る。また、ゲノム／エピゲノム／トランスクリプトーム／プロテオミクス／マイクロバイオーム情報等のバイオマーカー（点突然変異、融合イベント、コピー数の多様性、マイクロサテライト不安定性（ＭＳＩ）、または腫瘍突然変異負荷（ＴＭＢ）等）も取り込まれ得る。

【0125】

顕著領域検出モジュールを使用して、画像内の各領域の顕著性を特定し、後続の処理から非顕著画像領域を除外し得る。これは、顕著領域検出モジュール１３３によって、ステップ９０４から入力されたデジタル医療スライド上で行われ得る。治療有効性モジュール１３６を利用して、顕著領域検出モジュール１３３によって特定された領域に対する治療有効性の程度を定量化し得る。

【0126】

ステップ９０６において、治療法推奨モジュール１３６は、１人以上の患者に対する１つ以上の治療レジメンを予測するように機械学習システムをトレーニングし得る。空間情報を組み込むために、各ピクセル／ボクセルの座標は、オプションで、各ピクセル／ボクセルに連結できる。代替として、（例えば、ＣｏｏｒｄＣｏｎｖアルゴリズムによって）処理全体にわたって座標をオプションで加えることもできる。代替として、機械学習アルゴリズムは、処理する入力の領域を自己選択することによって、空間情報をパッシブに考慮し得る。医用画像データに加えて、患者情報（例えば、年齢）及び／またはゲノム／エピゲノム／トランスクリプトーム／プロテオミクス／マイクロバイオームも入力として使用される場合、それを追加の入力特徴として機械学習システムにフィードできる。治療有効性モジュールによって任意の治療有効性が定量化される場合、それを追加の入力特徴として機械学習システムにフィードできる。トレーニングされ得る機械学習システムは、限定ではないが、適切な損失関数で直接トレーニングされたＣＮＮ／ＣｏｏｒｄＣｏｎｖ／カプセルネットワーク／ランダムフォレスト／サポートベクターマシン／トランスフォーマーを含む。

【0127】

図９Ｂは、本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療法の推奨を決定するために、システムを使用するための例示的な方法を示すフローチャートである。図９Ｂの例示的な方法９５０（例えば、ステップ９５２～９５６）は、例えば、治療法推奨モジュール１３６によって行われ得るステップを示す。これらのステップは、自動的に、またはユーザー（例えば病理学者、部門長または研究室長、管理者等）からの要求に応じて行われ得る。代替として、方法９５０は、デバイス１２００等、画像入力を受信することが可能であり、図９Ａで説明したトレーニングされたシステムを記憶及び／または実行することが可能な任意のコンピュータープロセスシステムによって行われ得る。

【0128】

ステップ９５２において、システムでは、最初に、未治療の患者または治療を受けた患者からの病理標本（例えば、組織学、細胞学等）の１つ以上のデジタル医用画像は、デジタルストレージデバイス１０９（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭ等）に受信し得る。一例では、受信されたデジタル医用画像は、最初に埋め込み表現モジュール１３４に入力され、情報は埋め込みとして治療法推奨モジュール１３６によって受信され得る。

【0129】

ステップ９５４において、トレーニングされたシステム（例えば、ステップ９０６からのもの）は、受信したデジタル医用画像に適用され得る。トレーニングされたシステムは、序数値、整数、または実数であるスコアを予測し得る。システムは、さらに、ステップ９５６において、（例えば、出力インターフェース１３７によって）観察プラットフォームに、これらの予測を表示し得る、または、（例えば、ストレージデバイス１０９に）それらをデジタル的に記憶し得る。さらに、トレーニングされたＡＩシステムは、特定された状態がどこにあるかをデジタル医用画像に基づいて予測し得る。これは、ヒートマップ、バウンディングボックス、ピクセルアウトライン、またはその他の表現によって表示され得る。ユーザーは、特定された位置を表示せず、その代わりに、情報を画像の近くに、または別の出力として書面による説明として表示するオプションを有し得る。

【0130】

トレーニングされたシステムは、また、薬剤が特定の投与量及び頻度で与えられる理由の説明にも起因し得る。例えば、特定の死亡者に対して複数のデジタル医用画像が入力される場合、（例えば、その画像を処理するときのニューラルネットワークの肯定的な出力アクティビティのレベルを分析することによって）その原因を裏付ける証拠を提供するという観点から、出力ごとに、その画像をランク付けし得、その後、（例えば、クラスアクティベーションマップ、ＧｒａｄＣＡＭ等を使用して）その証拠の位置を画像上に示す。

【0131】

システムは、（例えば、出力インターフェース１３７を経由して病理学者に）情報を表示し得る、及び／またはデジタルエビデンス及び法医学システム等の１つ以上の電子ストレージデバイス１０９に情報を保存し得る。

【0132】

別の例では、システムが法的懸念の可能性がある死因を検出した場合、システムは法執行機関または他の職員に警告／通知を行い得る。

【0133】

図８は、本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療法の推奨を決定するために、トレーニングされたシステム（例えば、治療法推奨モジュール１３６）を使用するための例示的なプロセスを示すフローチャートである。

【0134】

ステップ８０２において、トレーニングされたシステムは、１つ以上の入力された数字の医用画像（例えば、ＷＳＩ）を受信し得る。ステップ８０４において、システムは、入力されたデジタル医用画像が以前に処理されているかどうかを決定し得る。これは、スライドが処理されているかどうかに関する情報を含む追加の入力メタデータによって決定され得る、またはトレーニングされたシステムによって決定され得る。

【0135】

ステップ８０６において、トレーニングされたシステムがスライドが以前に治療されたと決定している場合、システムは、以前の治療が効果的であるかどうかを決定するための分析を行い得る。ステップ８０６において、システムは、以前の治療が無効であったかどうか（例えば、有効性スコアが低かったかどうか）を決定し得る。システムが、投与量が有効になっている（例えば、適切な有効性スコアである）と決定した場合、デジタル医用画像は、治療の推奨が提案されていないことを出力し得る。

【0136】

ステップ８０８において、未処理スライド、及び不適切な投与量を有すると決定されているスライドは、治療法推奨モジュール１３６のトレーニングされたシステムによって分析され得る。システムは、患者が将来の治療として利用するために、特定の投与量の量及び頻度等の投与量の提案を出力し得る。

【0137】

一例では、システムはフォローアップ治療８１０を行い得、デジタル医用画像は後でシステムに再入力され、再分析されて、治療が有効であるかどうか、及び／または追加の治療法の推奨の更新が提案されるかどうかが決定される。

【0138】

別の例では、システムは、投薬量のタイプ及び提案を１人以上のユーザーに出力することによってステップ８１２で終了し得る。これは、出力インターフェース１３７によって出力され得る。

【0139】

治療法推奨モジュール１３６を調べると、トレーニングされたシステムは、投与量評価を決定し、更新された推奨投与量を出力することが可能であり得る。この分析は、処理済スライド、未処理スライド、または処理済スライドもしくは未処理スライドのコレクションのいずれかを入力として受信した後に行われ得る。システムは、薬剤の単一または潜在的な組み合わせの量／投与量及び頻度を出力し得る。これらの提案は、例えばグレイまたはｍｇ／ｍＬで与えられ得る。

【0140】

さらに、処理済スライドまたは処理済スライドのコレクションについて、関連システムが所定の治療の有効性（例えば、単一または潜在的な薬剤の組み合わせの量／投与量及び頻度）を評価し、量／投与量の最新の提案を提供し得る。

【0141】

組織のモルフォロジー及び薬剤治療に基づいて、回帰または順序分類システムが選ばれ得る。特定の薬剤について、システムが回帰を使用して、４０、５０、または７０のグレイ等の値を推奨し得る。錠剤等の固定投与量形式の場合、システムは順序分類を使用して、１倍、２倍、３倍、４倍の錠剤（またはミリグラムの倍数）を提案し得る。

【0142】

システムは薬剤投与に影響を与えるのに役立ち得る。治療が週に４回もしくは５回行われるかどうかに関係ない、また１回の治療あたりのグレイが１．５グレイもしくは２グレイかどうかに関係ない。

【0143】

図１０は、本明細書に提示される技術による、１つ以上のデジタル病理画像に基づいて治療法の推奨を決定するために、トレーニングされたシステムを使用するための例示的なプロセスを示すフローチャートである。これは、治療投与量を出力するシステムの例示的な実施形態を表示し得る。

【0144】

図１０の例示的なフローチャートでは、システム（例えば、治療法推奨モジュール１３６）は、最初に、ステップ１００２において、以前に未処理のデジタル医用画像を受信し得る。次に、トレーニングされたシステムは、ステップ１００４で推奨投与量を出力し得る。一例では、システムはステップ１００６で終了し得る。別の例では、ステップ１００８において、フォローアップ治療を行い得る。ステップ１００８におけるフォローアップ治療は、患者に提案された投与量を提供することを含み得る。次に、ステップ１０１０及び１０１２において、患者に提供された治療に対応するメタデータに加えて、同じ個人のデジタル医用画像がトレーニングされたシステムに提供され得る。最後に、ステップ１０１４において、システム（例えば、治療有効性モジュール１３５）を利用して、提案された治療が有効であるかどうかを決定し得る。

【0145】

本明細書に説明されるシステムは、複数の使用事例を含み得る。

【0146】

一例では、トレーニングされたシステム（例えば、スライド分析ツール１０１）では、形態学的変化は１つ以上の治療レジメンに起因し得る。このシステムの例では、システムは、処理済スライドまたは処理済スライドのコレクションを受信し得る。さらに、システムは、サンプリングされた患者に使用される現在の治療レジメンを入力として受信し得る。次に、システムは、スライド（複数可）上で特定されたモルフォロジーが治療レジメンに起因する可能があるかどうかを評価し得る。評価は二値分類の形式であり得る（例えば、モルフォロジーが治療に起因する可能がある場合は「はい」、または可能がない場合は「いいえ」に進む）。さらに、分類が行われた理由を説明するためにヒートマップを示し得、スライド（複数可）のどの特定の領域が治療によってモルフォロジーが十分に説明されたことを示しているかをハイライトする。

【0147】

システムは、ヒートマップでハイライトされた領域に対する治療有効性を定量化するように拡張し得る。ＣＮＮを使用して、治療レジメンと一緒に、治療されたＷＳＩからのタイルを共同で検討する場合、ヒートマップを生成し、そのタイルのヒートマップを処理して、例えば、治療の重症度のビンに、治療を定量化する下流モデルに与えられ得る。例えば、下流モデルは、タイルが治療有効性を示さない、軽度な治療有効性、または重大な治療有効性を示すことを出力し得る。また、それは治療有効性の兆候がある／ないことも出力し得る。次に、これらのヒートマップは、ＷＳＩ全体に表示され、集計されて、治療がどの程度うまく機能したかを評価し得る。上記に説明した図６は、モルフォロジー評価システムの例示的なフロー図を示す。別の用途では、システム（例えば、スライド分析ツール１０１）を利用して、組織除去が提案された治療をするべきかどうかを分析し得る。組織を除去すべきタイミングを決定する従来の方法は存在しない場合がある。本明細書に開示される技術を使用して、将来の生検及び切除を評価及び推奨し得る。システムへの入力は、生検または切除からのＷＳＩ、全体的な情報、注意深い待機期間の期間、その他の治療及び患者情報であり得る。入力がＷＳＩ及び注意深い待機時間フレームである場合、システムは、短時間または長時間のフレームを提案し得る。総レポートからの情報（グラム単位の組織重量、マージン情報等）及びＷＳＩが与えられると、システムは、また、切除処置で多いまたは少ない組織を除去することも提案し得る。入力がＷＳＩであるとき、システムは、フォローアップ切除を行うべきときのタイムフレームと、組織を切除すべき量とを推奨し得る。

【0148】

別の用途では、システム（例えば、スライド分析ツール１０１）を利用して、１人以上の個人に対する化学療法治療を決定し得る。これは、化学療法のタイプ、好ましい投与量、及びその投与量を投与するタイミングのスケジュールを決定することを含み得る。未処理のデジタル医用画像または未処理のデジタル医用画像のコレクションが与えられると、システムは、化学療法薬の単一または潜在的な組み合わせの量／投与量及び頻度を提案し得る。これらの投与量の提案は、例えばグレイまたはｍｇ／ｍＬとして出力され得る。

【0149】

さらに、処理済デジタル医用画像または処理済デジタル医用画像のコレクションについて、関連システム（例えば、治療有効性モジュール１３５）は、所与の治療の有効性（すなわち、単一または潜在的な薬剤の組み合わせの量／投与量及び頻度）を評価して、量／投与量に関する最新の提案を提供し得る。

【0150】

組織のモルフォロジー及び薬剤治療に基づいて、回帰または順序分類システムが選ばれる。錠剤等の固定投与量形式の場合、システムは順序分類を使用して、１倍、２倍、３倍、４倍の錠剤（またはミリグラムの倍数）を提案する。

【0151】

さらに、システムは薬剤カテゴリーを出力し得る。これは、個々の薬剤または薬剤のセットを出力することに加える、またはその代替となり得る。例えば、システムは、アルキル化剤、代謝拮抗剤、植物アルカロイド、抗腫瘍性抗生物質等の薬剤カテゴリーを出力し得る。

【0152】

さらに、システムは、また、推奨された薬剤をどのように投与すべきかについての推奨事項も出力し得る。例えば、システムは、個人が経口、静脈内、またはその他の方法で薬剤を摂取することを提案し得る。

【0153】

別の用途では、システム（例えば、スライド分析ツール１０１）を利用して、１つ以上の放射線療法治療を決定し得る。これは、放射線療法のタイプ、好ましい投与量、及びその投与量を投与するタイミングのスケジュールを決定することを含み得る。未処理のデジタル医用画像または未処理のデジタル医用画像のコレクションが与えられると、システム（例えば、治療法推奨モジュール１３６）は、放射線治療の単一または潜在的な組み合わせの量／投与量及び頻度を提案し得る。推奨事項は、例えばグレイを単位として出力され得る。

【0154】

さらに、処理済デジタル医用画像または処理済デジタル医用画像のコレクションについて、関連システム（例えば、治療有効性モジュール１３５）は、所与の治療の有効性（例えば、単一または潜在的な治療の組み合わせの量／投与量及び頻度）を評価して、量／投与量に関する最新の提案を提供／出力し得る。システムは、例えば、出力インターフェース１３７を経由して量／投与量を出力し得る。

【0155】

組織のモルフォロジー及び薬剤治療に基づいて、回帰または順序分類システムが選ばれ得る。特定の治療について、システムが回帰を使用して、４０、５０、７０のグレイ等の値を推奨し得る。

【0156】

一例では、システム（例えば、出力インターフェース１３７）は、薬剤投与に関連する情報を出力し得る。システムは、個人が何曜日に何回薬を摂取するかを出力し得る。システムは、さらに、時刻及び特定の投与量を出力し得る。例えば、治療が週に４回または５回行われるかどうかについての、及び１回の治療あたり１．５グレイまたは２グレイであるかどうかについての出力がされ得る。システムは、また、治療間の間隔を最適化することを提案し得る。これは、投与量を正確に２４時間間隔で投与することを提案する等、投与量の摂取間の好ましい時間を提案することを含み得る。

【0157】

システムは、また、一時的な提案システムも使用し得る。これは、同じ個人の同じ医療標本のデジタル医用画像を異なる時間間隔で受信するシステムを含み得る。時点ｔ＿０でデジタル医用画像が処理され、その後の時点ｔ＿１で切除組織からのスライドが与えられると、システムは組織がより早く切除するべきであったかどうかを評価する。

【0158】

別の用途では、システム（例えば、スライド分析ツール１０１）を利用して、１つ以上のホルモン療法治療を決定し得る。これは、ホルモン療法のタイプ、好ましい投与量、及びその投与量を投与するタイミングのスケジュールを決定することを含み得る。場合によっては、がんの増殖は、がん細胞に付着してがんの増殖を可能にするホルモンに起因し得る。ホルモン療法は、前立腺癌及び乳癌等のこれらのタイプのがんの増殖を遅らせる、または停止させることによって、効果があり得る。したがって、デジタル医用画像を分析して、ホルモン療法レジメンを推奨／出力するシステムにとって有用であり得る。

【0159】

入力は、未処理または処理済のデジタル医用画像、またはデジタル医用画像のコレクションであり得る。患者が以前に治療を受けている場合、関連システム（例えば、治療有効性モジュール）は、所与の治療の有効性（すなわち、単一または潜在的な薬剤の組み合わせの量／投与量及び頻度）を評価し、量／投与量に関する最新の提案を提供し得る。システムは、ホルモン療法薬及び追加の薬剤の単一または潜在的な組み合わせの量／投与量及び頻度を提案し得る。これらの提案は、例えばｍｇ／ｍＬで与えられる。組織のモルフォロジー及び薬剤治療に基づいて、回帰または順序分類システムが選ばれ得る。錠剤等の他の固定投与量形式の場合、システムは上記に説明した順序分類技術を使用して、各投与量（例えば、１倍、２倍、３倍、４倍の錠剤）の錠剤またはミリグラムの提案を出力し得る。

【0160】

例えば、システム（例えば、スライド分析ツール１０１）は、乳房組織サンプルのデジタル医用画像を受信し得る。システムは、入力されたデジタル医用画像を分析して、タモキシフェン、トレミフェン、またはフルベストラント等のエストロゲン受容体をブロックする薬剤、及びエストロゲンレベルを低下させる薬剤の治療法の推奨を出力し得る。長期の治療スケジュールでは、エストロゲン受容体をブロックする薬剤を２～３年間使用し、その後、エストロゲンレベルを低下させる薬剤を５～１０年間使用する必要があり得ることを考慮すると、システムは、例えば、タモキシフェン等で処理された組織サンプルに対応するモルフォロジーを認識して、エストロゲンレベルを低下させる薬剤、例えば、アロマターゼ阻害剤等のフォローアップレジメンを推奨し得る。

【0161】

別の使用法では、システム（例えば、組織観察プラットフォーム１００）は、様々な潜在的な治療タイプ及び投与量に基づいて、組織に対する効果の視覚的出力を提供することが可能であり得る。システムは、１つ以上のユーザーインターフェース（例えば、ＵＩ）を含み得る。ユーザーインターフェースは、ユーザー（例えば、病理学者）が仮説の投与量を入力することを可能にし、システムは、投与量が１つ以上のデジタル医用画像の組織にどのような影響を与えるかについての視覚的な外挿（例えば、マーキング）を出力することが可能であり得る。例えば、システムが、１つ以上の未治療または治療済みのデジタル医用画像及び治療レジメンを入力として受信する場合、生成モデル（例えば、治療法推奨モジュール１３６のＧＡＮ）は、治療が適用された後にスライドがどのように見えるかを推定し得る。ユーザーは、ユーザーインターフェース（例えば、図１１Ｃに示されるユーザーインターフェース等のスライドデバイス）にアクセスして利用して、期間を選択し得る。選択された期間は、理論的に治療が１人以上の個人に適用され得る期間であり得る。ユーザーは、さらに、ユーザーインターフェースにアクセスして利用して、潜在的な治療の投与量を選択し得る。この使用例として、ユーザーが特定の治療に対して１か月の期間と、１日あたり１錠の投与量とを選択した後、システムは１か月間に１つ以上の治療法の推奨を利用する予測効果を表示するデジタル医用画像を出力することが可能であり得る。いくつかの例では、治療法推奨モジュール１３６は、推奨される治療を出力し得る。次に、ユーザー（例えば、病理学者）は、推奨される治療の期間及び投与量を入力し得、システムは、デジタル医用画像の治療有効性を予測するデジタル医用画像を出力し得る。これにより、病理学者は、デジタル医用画像に対する予測された影響に基づいて、推奨される治療法の変更を可能にし得る。例えば、病理学者は、特定の治療法が過剰な効果をもたらし得ると理解し、ひいては、推奨される治療投与量を減らし得る。

【0162】

ＵＩは、特定の組織タイプに特有の固定数の既知の薬剤を考慮に入れ得、ユーザーが各薬剤の量を変更することは可能になり得る。図１１Ａ～図１１Ｃは、ユーザー（例えば、病理学者）が治療投与量を選択するために利用し得る例示的なユーザーインターフェースを表示する。図１１Ａは、患者に与えられるミリグラムを設定するための数値ステッパー１１０２を示す。図１１Ｂは、数値１１０４（例えば、錠剤の数）を受信するための入力例を示す。図１１Ｃは、（例えば、投与量を設定するための）スライダー１１０６を示す。

【0163】

図１２は、１人以上のユーザーに対する治療法の推奨を決定するための例示的な方法を示すフローチャートである。ステップ１２０２において、患者と関連付けられている少なくとも１つの病理標本の複数の医用画像を受信し得る。

【0164】

ステップ１２０４において、システムは複数のデジタル病理画像に対応するメタデータを受信し得、メタデータは患者の以前の医学的治療に関するデータを含む。

【0165】

ステップ１２０６において、システムは、医用画像及びメタデータを機械学習システムへの入力として提供し得、機械学習システムは、治療履歴情報及び予測された治療レジメンでラベリングされたデジタル画像を入力として受信することによってトレーニングされている。

【0166】

ステップ１２０８において、システムは、機械学習システムによって、治療有効性評価を出力し得る。

【0167】

図１３は、１つ以上の実施形態による、本明細書に提示される技術を実行し得るコンピューティングデバイスの例を示す。図１３に示されるように、デバイス１３００は中央処理装置（ＣＰＵ）１３２０を含み得る。ＣＰＵ１３２０は、例えば任意のタイプの専用マイクロプロセッサデバイスまたは汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであり得る。当業者によって認識されるように、ＣＰＵ１３２０は、また、単独で動作しているシステム等のマルチコア／マルチプロセッサシステムにおける、またはクラスタもしくはサーバーファームで動作するコンピューティングデバイスのクラスタにおけるシングルプロセッサであり得る。ＣＰＵ１３２０は、データ通信インフラストラクチャ１３１０、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージパッシングスキームに接続され得る。

【0168】

デバイス１３００は、また、メインメモリ１３４０、例えば、ランダムアクセスメモリ（ＲＡＭ）も含み得、また２次メモリ１３３０も含み得る。２次メモリ１３３０、例えばリードオンリーメモリ（ＲＯＭ）は、例えば、ハードディスクドライブまたはリムーバブルストレージドライブであり得る。そのようなリムーバルストレージドライブは、例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリ等を含み得る。この例では、リムーバルストレージドライブは、周知の方式でリムーバルストレージユニットから読み出し、及び／またはこれに書き込む。リムーバルストレージは、リムーバルストレージドライブによって読み出され及びそれに書き込まれるフロッピー（登録商標）ディスク、磁気テープ、光ディスク等を含み得る。当業者によって認識されるように、そのようなリムーバルストレージユニットは、概して、コンピューターソフトウェア及び／またはデータを記憶するコンピューター使用可能記憶媒体を含む。

【0169】

代替の実施態様では、２次メモリ１３３０は、コンピュータープログラムまたは他の命令をデバイス１３００にロードすることを可能にするための同様の手段を含み得る。そのような手段の例は、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲーム機器において見られるもの等）、リムーバルメモリチップ（ＥＰＲＯＭまたはＰＲＯＭ等）及び関連のソケット、ならびにソフトウェア及びデータをリムーバルストレージユニットからデバイス１３００に転送することを可能にする、他のリムーバルストレージユニット及びインターフェースを含み得る。

【0170】

デバイス１３００は、また、通信インターフェース（「ＣＯＭ」）１３６０も含み得る。通信インターフェース１３６０は、ソフトウェア及びデータを、デバイス１３００と外部デバイスとの間で転送することを可能にする。通信インターフェース１３６０は、モデム、ネットワークインターフェース（イーサネット（登録商標）カード等）、通信ポート、ＰＣＭＣＩＡスロット及びカード等を含み得る。通信インターフェース１３６０を介して転送されたソフトウェア及びデータは信号の形式であり得、この信号は、通信インターフェース１３６０によって受信されることが可能である電気信号、電磁信号、光信号、または他の信号であり得る。これらの信号は、デバイス１３００の通信経路を介して通信インターフェース１３６０に提供され得、これは、例えば、ワイヤまたはケーブル、光ファイバー、電話回線、携帯電話リンク、ＲＦリンク、または他の通信チャネルを使用して実施され得る。

【0171】

そのような機器のハードウェア要素、オペレーティングシステム、及びプログラミング言語は、本質的に従来のものであり、当業者はそれらに十分精通していると推定される。デバイス１３００は、また、キーボード、マウス、タッチスクリーン、モニター、ディスプレイ等の入出力デバイスと接続するための入出力ポート１３５０も含み得る。当然ながら、様々なサーバー機能は、いくつかの同様のプラットフォームにおいて分散様式で実装され、処理負荷を分散し得る。代替として、サーバーは、１つのコンピューターハードウェアプラットフォームの適切なプログラミングによって実装され得る。

【0172】

本開示全体を通じて、コンポーネントまたはモジュールへの言及は、概して、機能または関連機能のグループを行うために論理的に一緒にグループ化され得るアイテムを指す。同様の参照番号は、概して、同一または同様のコンポーネントを指すことを意図している。コンポーネント及び／またはモジュールは、ソフトウェア、ハードウェア、またはソフトウェア及び／もしくはハードウェアの組み合わせで実装され得る。

【0173】

前述のツール、モジュール、及び／または機能は、１つ以上のプロセッサによって行われ得る。「ストレージ」タイプの媒体は、コンピューター、プロセッサ、もしくは同様のものの有形メモリ、または様々な半導体メモリ、テープドライブ、ディスクドライブ等の関連モジュールのいずれかまたは全てを含み得、これらは、ソフトウェアプログラミングのためにいつでも非一時的記憶をもたらし得る。

【0174】

ソフトウェアは、インターネット、クラウドサービスプロバイダー、または他の電気通信ネットワークを経由して、通信され得る。例えば、通信によって、一方のコンピューターまたはプロセッサから、別のものにソフトウェアをロードすることを可能にし得る。本明細書で使用される場合、非一時的有形「記憶」媒体に限定されていなければ、コンピューター「可読媒体」または機械「可読媒体」等の用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。

【0175】

前述の概略的な説明は単に例示及び説明にすぎず、本開示を限定するものではない。他の実施形態は、本明細書に開示される発明の仕様及び実践を検討することから、当業者に明らかになり得る。仕様及び例は、単なる例示と見なされることを意図している。

【図1A】

【図1B】

【図1C】

【図2】

【図3A】

【図3B】

【図4-1】

【図4-2】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図10】

【図11A】

【図11B】

【図11C】

【図12】

【図13】

【国際調査報告】