特表 2024-546426 臨床予測を実行するためのコンピュータ実装方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-24

(54)【発明の名称】臨床予測を実行するためのコンピュータ実装方法

(51)【国際特許分類】

   G16H 50/00 20180101AFI20241217BHJP

   A61B 5/055 20060101ALI20241217BHJP

   G01N 33/483 20060101ALI20241217BHJP

   G01N 33/48 20060101ALI20241217BHJP

【ＦＩ】

G16H50/00

A61B5/055 390

G01N33/483 C

G01N33/48 M

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024527542

(86)(22)【出願日】2022-12-15

(85)【翻訳文提出日】2024-05-10

(86)【国際出願番号】 EP2022086023

(87)【国際公開番号】W WO2023111121

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】21215586.5

(32)【優先日】2021-12-17

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】591003013

【氏名又は名称】エフ． ホフマン－ラ ロシュ アーゲー

【氏名又は名称原語表記】Ｆ． ＨＯＦＦＭＡＮＮ－ＬＡ ＲＯＣＨＥ ＡＫＴＩＥＮＧＥＳＥＬＬＳＣＨＡＦＴ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100173565

【弁理士】

【氏名又は名称】末松 亮太

(72)【発明者】

【氏名】クライマン，エルダド

(72)【発明者】

【氏名】ラヒアニ，アマル

【テーマコード（参考）】

2G045

4C096

5L099

【Ｆターム（参考）】

2G045AA24

2G045CB01

2G045CB02

2G045DA13

2G045DA14

2G045DA36

2G045FA13

2G045FB12

4C096AA18

4C096AD14

5L099AA04

(57)【要約】

臨床予測を実行するためのコンピュータ実装方法が開示される。本方法は、以下のステップ、すなわち、ｉ）患者の複数の異なるモダリティを含む入力データを、処理装置（１６６）の少なくとも１つの通信インターフェース（１６４）を介して取り出すステップ（１１０）と、ｉｉ）処理装置（１６６）を使用することによって入力データを処理するステップ（１１４）であって、処理は、少なくとも１つの訓練可能データ埋め込み器を使用することによって入力データから埋め込みモダリティ表現を生成することを含み、処理は、少なくとも１つの集約ネットワークを使用して埋め込みモダリティ表現を組み合わせることによって臨床予測を生成することを含み、集約ネットワークは、少なくとも１つのアテンション層および／または少なくとも１つのトランスフォーマ層を含む、入力データを処理するステップ（１１４）と、ｉｉｉ）処理装置（１６６）を使用することによって臨床予測の出力を生成するステップ（１１８）とを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

臨床予測を実行するためのコンピュータ実装方法であって、
ｉ）患者の複数の異なるモダリティを含む入力データを、処理装置（１６６）の少なくとも１つの通信インターフェース（１６４）を介して取り出すこと（１１０）と、
ｉｉ）前記処理装置（１６６）を使用することによって前記入力データを処理すること（１１４）であって、前記処理は、少なくとも１つの訓練可能データ埋め込み器を使用することによって前記入力データから埋め込みモダリティ表現を生成することを含み、前記処理は、少なくとも１つの集約ネットワークを使用して前記埋め込みモダリティ表現を組み合わせることによって前記臨床予測を生成することを含み、前記集約ネットワークは、少なくとも１つのアテンション層および／または少なくとも１つのトランスフォーマ層を含む、前記入力データを処理すること（１１４）と、
ｉｉｉ）前記処理装置（１６６）を使用することによって前記臨床予測の出力を生成すること（１１８）と
を含む、方法。

【請求項2】

前記臨床予測の出力は、前記患者のための薬物に関する情報、患者の生存に関する情報、少なくとも１つの特定の処置に対する反応に関する情報、患者の診断を確認する情報、欠落している患者データポイントを予測することによって患者データをキュレートするおよび／または完成させる情報、のうちの１つ以上を含む、請求項１に記載の方法。

【請求項3】

少なくとも１つの出力インターフェース（１６８）を介して前記臨床予測を提供することを含む少なくとも１つの出力ステップを含み、
前記訓練可能データ埋め込み器の出力は、モダリティごとのジェネリック患者レベル埋め込み表現、または各々のモダリティについての複数のインスタンス埋め込みである、請求項１または２に記載の方法。

【請求項4】

患者の前記複数のモダリティは、少なくとも１つの組織学的組織画像、生検および／または外科標本の少なくとも１つの全面顕微鏡画像、磁気共鳴画像法（ＭＲＩ）およびコンピュータ断層撮影法（ＣＴ）などの放射線画像、ゲノムデータ、遺伝子発現データ、プロテオミクス、患者臨床データ、および人口統計のうちの１つ以上を含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記アテンション層および／または前記トランスフォーマ層が最適な組み合わせおよび／またはアテンション戦略を逆伝播を通じて学習することを含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記入力データは、前記異なるモダリティの各々からの少なくとも１つのデータポイントを含み、前記方法は、前記データポイントの各々から埋め込みモダリティ表現を生成することと、前記集約ネットワークを使用して前記臨床予測を前記異なるモダリティの前記埋め込みモダリティ表現から生成することとを含み、かつ／または
前記入力データは、前記異なるモダリティのうちの少なくとも１つについて、単一の患者に関する同じモダリティからの複数のデータポイントを含み、
前記方法は、各々のデータポイントから埋め込みモダリティ表現を生成することと、前記異なるモダリティの各々について別々に前記生成された埋め込みモダリティ表現を組み合わせることと、前記集約ネットワークを使用して前記臨床予測を前記組み合わせられた埋め込みモダリティ表現から生成することとを含み、かつ／または
前記方法は、前記複数のデータポイントを組み合わせ、前記異なるモダリティの各々について前記組み合わせたデータポイントからグローバル埋め込みモダリティ表現を生成することと、前記集約ネットワークを使用して前記臨床予測を前記グローバル埋め込みモダリティ表現から生成することと
を含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記異なるモダリティは、一次アテンションマルチインスタンス学習（ＭＩＬ）ネットワーク層によって埋め込みモダリティ表現に変換され、その後に、前記埋め込みモダリティ表現を臨床予測へと組み合わせる二次アテンションＭＩＬネットワークに入力される、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記異なるモダリティは、一次アテンションＭＩＬネットワーク層によって埋め込みモダリティ表現に変換され、その後に、前記埋め込みモダリティ表現を臨床予測へと組み合わせる二次ビジョン・トランスフォーマ・ネットワークに入力される、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記異なるモダリティは、一次ビジョン・トランスフォーマ・ネットワーク層によって埋め込みモダリティ表現に変換され、その後に、前記埋め込みモダリティ表現を臨床予測へと組み合わせる二次ビジョン・トランスフォーマ・ネットワークに入力される、請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記異なるモダリティは、一次ビジョン・トランスフォーマ・ネットワーク層によって埋め込みモダリティ表現に変換され、その後に、前記埋め込みモダリティ表現を臨床予測へと組み合わせる二次アテンションＭＩＬネットワークに入力される、請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記異なるモダリティは、埋め込み器ネットワークへと入力され、得られた埋め込みモダリティ表現が、前記埋め込みモダリティ表現を臨床予測へと組み合わせる一次アテンションＭＩＬネットワーク層へと入力される、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記異なるモダリティは、埋め込み器ネットワークへと入力され、得られた埋め込みモダリティ表現が、前記マルチモーダル生データを臨床予測へと組み合わせる一次ビジョン・トランスフォーマ・ネットワーク層へと入力される、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

データタイプに応じて、各々のモダリティは、一次アテンションＭＩＬネットワーク層によって埋め込みモダリティ表現に変換され、あるいは埋め込み器ネットワークへと入力され、得られた埋め込みモダリティ表現が、前記埋め込みモダリティ表現を臨床予測へと組み合わせる二次アテンションＭＩＬネットワークへと入力される、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

データタイプに応じて、各々のモダリティは、一次アテンションＭＩＬネットワーク層によって埋め込みモダリティ表現に変換され、あるいは埋め込み器ネットワークへと入力され、得られた埋め込みモダリティ表現が、前記埋め込みモダリティ表現を臨床予測へと組み合わせる二次ビジョン・トランスフォーマ・ネットワークへと入力される、請求項１～１３のいずれか一項に記載の方法。

【請求項15】

入力データを取り出すように構成された少なくとも１つの通信インターフェース（１６４）を有する少なくとも１つの処理装置（１６６）を備えており、
前記入力データは、患者の複数の異なるモダリティを含み、
前記処理装置（１６６）は、前記入力データを処理するように構成され、
前記処理は、少なくとも１つの訓練可能データ埋め込み器を使用することによって前記入力データから埋め込みモダリティ表現を生成することを含み、前記処理は、少なくとも１つの集約ネットワークを使用して前記埋め込みモダリティ表現を組み合わせることによって前記臨床予測を生成することを含み、
前記集約ネットワークは、少なくとも１つのアテンション層および／または少なくとも１つのトランスフォーマ層を含み、
前記処理装置（１６６）は、前記臨床予測の出力を生成する
ように構成されている、臨床予測装置（１７０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、臨床予測を実行するためのコンピュータ実装方法、ならびに本発明による方法を実行するためのコンピュータプログラムおよびコンピュータ可読記憶媒体に関する。本方法および装置を、とりわけ、臨床研究および薬物開発の分野で使用してよい。しかしながら、本発明について、他の適用分野も実現可能である。

【背景技術】

【0002】

臨床研究および薬物開発の分野において、さまざまなソースからさまざまなモダリティで入手可能な大量の患者データが存在する。入手可能な典型的なデータタイプは、患者の臨床データ、生検および外科標本の全面顕微鏡画像、遺伝子発現データ、プロテオミクス、磁気共鳴画像法（ＭＲＩ）およびコンピュータ断層撮影法（ＣＴ）などの放射線画像、ならびに人口統計である。個人に合わせた医療は、患者にとって最も有益となり得る最良の薬物を特定し、患者に適合させることを目的とする。これを行うために、特定の処置に対する患者の生存および反応を予測するためのアルゴリズムが開発されている。患者の診断を予測または確認し、あるいは欠落した患者データポイントを予測することによって患者データをキュレートするおよび／または完成させるために、他のアルゴリズムを開発することができる。

【0003】

これまでのところ、これらのタイプの予測アルゴリズムは、典型的には、異なるタイプのデータモダリティを組み合わせるプロセスに固有の複雑さを回避するために、入力データのただ１つのモダリティについて訓練されてきた。しかしながら、各々のモダリティが異なる情報を含むことができ、これらの情報の各々が、最終的な予測およびシステムの性能に追加の価値をもたらすことができる。さらに、複数のモダリティを使用することは、患者データを分析するときの臨床医の行動のより良好な近似となり得る。したがって、異なる患者モダリティを組み合わせることは、予測システムの品質を改善することができ、専門家からのより多くの信頼を得ることを助けることができる。

【0004】

マルチモーダル融合のための方法は、例えば、Ｃｈｅｅｒｌａ，Ａｎｉｋａ，ａｎｄ Ｏｌｉｖｉｅｒ Ｇｅｖａｅｒｔ．“Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｍｕｌｔｉｍｏｄａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｐａｎｃａｎｃｅｒ ｐｒｏｇｎｏｓｉｓ ｐｒｅｄｉｃｔｉｏｎ．”Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ ３５．１４（２０１９）：ｉ４４６－ｉ４５４、Ｖａｌｅ－Ｓｉｌｖａ，Ｌｕｉｓ Ａ．，ａｎｄ Ｋａｒｌ Ｒｏｈｒ．“Ｌｏｎｇ－ｔｅｒｍ ｃａｎｃｅｒ ｓｕｒｖｉｖａｌ ｐｒｅｄｉｃｔｉｏｎ ｕｓｉｎｇ ｍｕｌｔｉｍｏｄａｌ ｄｅｅｐ ｌｅａｒｎｉｎｇ．”Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ １１．１（２０２１）：１－１２、およびＳｕｎ，Ｌｉ，ｅｔ ａｌ．“Ｂｒａｉｎ ｔｕｍｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｓｕｒｖｉｖａｌ ｐｒｅｄｉｃｔｉｏｎ ｕｓｉｎｇ ｍｕｌｔｉｍｏｄａｌ ＭＲＩ ｓｃａｎｓ ｗｉｔｈ ｄｅｅｐ ｌｅａｒｎｉｎｇ．”Ｆｒｏｎｔｉｅｒｓ ｉｎ ｎｅｕｒｏｓｃｉｅｎｃｅ １３（２０１９）：８１０から知られている。

【0005】

マルチモーダル融合のための既知の方法の成果にもかかわらず、データマルチモーダル融合のための適切な機構は、依然として困難であり、マルチインスタンス学習（ＭＩＬ）と同様に、マルチモーダル表現（ＭＩＬにおけるインスタンス表現）の融合は、アルゴリズムにおける重要なステップであり、性能および精度に大きく影響する可能性がある。

【発明の概要】

【0006】

したがって、上述の技術的課題に対処する方法を提供することが望ましい。具体的には、データマルチモーダル融合の性能および精度の向上を可能にする方法が提案されるべきである。

【課題を解決するための手段】

【0007】

この問題は、独立請求項の特徴を備える臨床予測を実行するためのコンピュータ実装方法によって対処される。単独で実現されても、任意の組み合わせにて実現されてもよい好都合な実施形態が、従属請求項ならびに明細書全体に挙げられる。

【0008】

以下で使用されるとき、用語「・・・を有する」、「・・・を備える」、または「・・・を含む」、あるいはこれらの任意の文法的変種は、非排他的なやり方で用いられる。したがって、これらの用語は、これらの用語によって紹介される特徴の他に、この文脈において説明されるエンティティにさらなる特徴が存在しない状況、および１つ以上のさらなる特徴が存在する状況の両方を指し得る。例として、「ＡはＢを有する」、「ＡはＢを備える」、および「ＡはＢを含む」という表現はいずれも、Ｂ以外に他の要素がＡに存在しない状況（すなわち、ＡがＢのみで排他的に構成される状況）、およびＢ以外に要素Ｃ、要素ＣおよびＤ、あるいはまたさらなる要素など、１つ以上のさらなる要素がエンティティＡに存在する状況を指し得る。

【0009】

さらに、特徴または要素が１回または複数回存在してよいことを示す「少なくとも１つ」または「１つ以上」という用語あるいは同様の表現は、典型的には、それぞれの特徴または要素を紹介するときに一度だけ使用されることに留意されたい。以下では、ほとんどの場合、それぞれの特徴または要素を指すとき、それぞれの特徴または要素が１回または複数回存在してもよいという事実にもかかわらず、「少なくとも１つ」または「１つ以上」という表現を繰り返さない。

【0010】

さらに、以下で使用されるとき、「好ましくは」、「より好ましくは」、「とくには」、「さらにとくには」、「具体的には」、または「より具体的には」という用語、あるいは同様の用語は、随意による特徴に関して使用され、代替の可能性を制限しない。したがって、これらの用語によって紹介される特徴は、随意による特徴であり、特許請求の範囲の技術的範囲をいかなるやり方でも限定することを意図していない。本発明は、当業者であれば理解できるとおり、代替の特徴を使用することによって実行されてもよい。同様に、「本発明の実施形態において」または同様の表現によって紹介される特徴は、随意による特徴であることが意図され、本発明の代替の実施形態に関していかなる制限も伴わず、本発明の範囲に関していかなる制限も伴わず、そのようなやり方で紹介される特徴を本発明の他の随意による特徴または随意ではない特徴と組み合わせる可能性に関していかなる制限も伴わない。

【0011】

本発明の第１の態様において、臨床予測を実行するためのコンピュータ実装方法が開示される。

【0012】

本明細書において使用されるとき、「コンピュータ実装方法」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、少なくとも１つのコンピュータならびに／あるいは少なくとも１つのコンピュータネットワークまたはクラウドが関与する方法を指し得る。コンピュータおよび／またはコンピュータネットワークおよび／またはクラウドは、本発明による方法の方法ステップのうちの少なくとも１つを実行するように構成された少なくとも１つのプロセッサを備えてよい。好ましくは、方法ステップの各々が、コンピュータおよび／またはコンピュータネットワークおよび／またはクラウドによって実行される。本方法は、完全に自動的に、具体的にはユーザの相互作用を必要とせずに、実行されてよい。本明細書において使用されるとき、「自動的に」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、少なくとも１つのコンピュータおよび／またはコンピュータネットワークおよび／またはクラウドおよび／または機械によって、とくには手動の動作および／またはユーザとの相互作用を必要とせずに完全に実施されるプロセスを指し得る。

【0013】

本明細書において使用されるとき、「臨床予測」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、少なくとも１つの患者エンドポイントの推定を指し得る。患者エンドポイントは、少なくとも１つの処置の有効性の尺度、少なくとも１つの処置の忍容性の尺度、少なくとも１つの処置の有用性の尺度、少なくとも１つの処置の有害性の尺度、死亡率、罹患率、副作用、健康関連の生活の質、などのうちの１つ以上を含み得る。臨床予測は、少なくとも１つの予想値を含み得る。例えば、臨床予測は、疾患の処置に対する反応を予測すること、疾患を有する患者のリスクを予測すること、転帰を予測すること、バイオマーカーを誘導すること、および薬物開発のための標的を同定すること、などのうちの１つ以上を含み得る。開示される技術を、さまざまなタイプのがんなどのさまざまなタイプの疾患の処置、および／または他の臨床上の疑問への回答、などに使用することができる。例えば、臨床予測は、患者が、例えばがんに対する薬物治療に抵抗性または感受性であり得るかどうかを予測することを含み得る。例えば、臨床予測は、がんなどの疾患に対するさまざまなタイプの処置（例えば、免疫療法、化学療法、など）についての患者の生存率を予測することを含み得る。本技術は、他の疾患分野および他の臨床仮説にも適用することができる。臨床予測は、例えば、臨床予測を表し、あるいは臨床予測に関連する少なくとも１つの変数の時間につれての推移を示すヒストグラムとして生成および／または提供され得る。

【0014】

本明細書において使用されるとき、「患者」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、ヒトまたは動物を指し得、ヒトまたは動物が健康な状態であるか、あるいは１つ以上の疾患を抱えているかどうかは無関係である。

【0015】

本方法は、一例として、所与の順序で実行されてよい以下のステップを含む。しかしながら、異なる順序も可能であることに留意されたい。さらに、方法ステップのうちの１つ以上を１回または繰り返し実行することも可能である。さらに、２つ以上の方法ステップを同時に、または時間的に重なって実行することが可能である。本方法は、挙げられていないさらなる方法ステップを含んでもよい。

【0016】

本方法は、以下のステップ、すなわち、
ｉ）患者の複数の異なるモダリティを含む入力データを、処理装置の少なくとも１つの通信インターフェースを介して取り出すステップ、
ｉｉ）処理装置を使用することによって入力データを処理するステップであって、処理は、少なくとも１つの訓練可能データ埋め込み器を使用することによって入力データから埋め込みモダリティ表現を生成することを含み、処理は、少なくとも１つの集約ネットワークを使用して埋め込みモダリティ表現を組み合わせることによって臨床予測を生成することを含み、集約ネットワークは、少なくとも１つのアテンション層および／または少なくとも１つのトランスフォーマ層を含む、入力データを処理するステップ、および
ｉｉｉ）処理装置を使用することによって臨床予測の出力を生成するステップ
を含む。

【0017】

本明細書において一般的に使用されるとき、「処理装置」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、コンピュータまたはシステムの基本的な動作を実行するように構成された任意の論理回路を指し得、さらには／あるいは、一般的には、計算または論理演算を実行するように構成された装置を指し得る。とくには、処理装置は、コンピュータまたはシステムを駆動する基本的な命令を処理するように構成されてよい。例として、処理装置は、少なくとも１つの算術論理演算装置（ＡＬＵ）、数値演算コプロセッサまたは数値コプロセッサなどの少なくとも１つの浮動小数点ユニット（ＦＰＵ）、複数のレジスタ、具体的にはＡＬＵにオペランドを供給し、演算結果を格納するように構成されたレジスタ、ならびにＬ１およびＬ２キャッシュメモリなどのメモリを含み得る。とくには、処理装置は、マルチコアプロセッサであってよい。具体的には、処理装置は、中央処理装置（ＣＰＵ）またはグラフィック処理装置（ＧＰＵ）であってよく、あるいはこれらを備えてよい。これに加え、あるいはこれに代えて、処理装置は、マイクロプロセッサであってよく、あるいはマイクロプロセッサを備えてもよく、したがって、具体的には、処理装置の要素が１つの単一の集積回路（ＩＣ）チップに含まれてよい。これに加え、あるいはこれに代えて、処理装置は、１つ以上の特定用途向け集積回路（ＡＳＩＣ）および／または１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などであってよく、あるいはこれらを備えてもよい。処理装置は、具体的には、ソフトウェアプログラミングなどによって、１つ以上の評価動作を実行するように構成されてよい。

【0018】

本明細書において使用されるとき、「通信インターフェース」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定されないが、情報を転送するように構成された境界を形成するアイテムまたは要素を指し得る。とくには、通信インターフェースは、例えば別の装置へと情報を送信または出力するなどの目的で、例えばコンピュータなどの計算装置から情報を転送するように構成されてよい。これに加え、あるいは代えて、通信インターフェースは、例えば情報を受信するために、例えばコンピュータなどの計算装置へと情報を転送するように構成されてよい。通信インターフェースは、具体的には、情報を転送または交換するための手段を提供し得る。とくには、通信インターフェースは、例えば、ブルートゥース、ＮＦＣ、誘導結合、などのデータ転送接続を提供し得る。例として、通信インターフェースは、ネットワークまたはインターネットポート、ＵＳＢポート、およびディスクドライブのうちの１つ以上を備える少なくとも１つのポートであってよく、あるいはそのような少なくとも１つのポートを備えてもよい。通信インターフェースは、少なくとも１つの表示装置をさらに備えてよい。通信インターフェースは、少なくとも１つのウェブインターフェースであってよい。

【0019】

本明細書において使用されるとき、「取り出す」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、データを生成し、かつ／またはデータ記憶装置、ネットワーク、あるいはさらなるコンピュータまたはコンピュータシステムなどの任意のデータソースからデータを取得するシステム、具体的にはコンピュータシステムのプロセスを指し得る。取り出しは、具体的には、例えばシリアルポートまたはパラレルポートなどのポートを介して、少なくとも１つのコンピュータインターフェースによって行われ得る。取り出しは、例えばプロセッサを使用することにより、一次情報の１つ以上のアイテムを取得し、例えば１つ以上のアルゴリズムを一次情報に適用することで、一次情報を利用することによって二次情報を生成するサブステップなど、いくつかのサブステップを含み得る。取り出しは、少なくとも１つの医療装置、例えば磁気共鳴画像法（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）、などを使用して、少なくとも１つの測定を実行することを含み得る。

【0020】

本明細書において使用されるとき、「入力データ」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、ステップｉｉ）において処理することができる少なくとも１つの値、パラメータ、画像データ、などのデータを指し得る。

【0021】

入力データは、患者の複数の異なるモダリティを含む。入力データは、マルチモーダル臨床データを含み得る。本明細書において使用されるとき、「モダリティ」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、入力のチャネル、例えば入力の独立したチャネルを指し得る。入力データは、単一のモダリティからの単一のデータポイント、または単一の患者に関する同じモダリティからの複数のデータポイントを含み得る。患者の複数のモダリティは、少なくとも１つの組織学的組織画像、生検および／または外科標本の少なくとも１つの全面顕微鏡画像、磁気共鳴画像法（ＭＲＩ）およびコンピュータ断層撮影法（ＣＴ）などの放射線画像、ゲノムデータ、遺伝子発現データ、プロテオミクス、患者臨床データ、および人口統計のうちの１つ以上を含み得る。マルチモーダル臨床データは、一般に、分子データ、生検画像データ、などのさまざまなタイプの臨床データを指し得る。

【0022】

ステップｉｉ）における入力データの処理は、少なくとも１つの訓練可能データ埋め込み器を使用することによって入力データから埋め込みモダリティ表現を生成することを含む。埋め込みモダリティ表現は、患者レベル埋め込みとも称される患者レベル表現であってよい。本明細書において使用されるとき、「データ埋め込み器」という用語は、「埋め込み器」とも称されるが、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、入力データを連続ベクトル表現に変換するように構成された少なくとも１つのネットワーク層を指し得る。例えば、入力データは、画像であってよく、データ埋め込み器は、画像を画像の低次元表現に変換するように設計される。訓練可能データ埋め込み器の出力は、モダリティごとのジェネリック埋め込み表現、または各々のモダリティに関する複数のインスタンス埋め込みであってよい。

【0023】

本明細書において使用されるとき、「訓練可能データ埋め込み器」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、埋め込み器を追加の訓練用データに基づいてさらに訓練および／または更新することができるという事実を指し得る。具体的には、埋め込み器は、訓練用データセットで訓練される。埋め込み器は、機械学習を使用して訓練され得る。各々のモダリティに対して少なくとも１つの埋め込み器が使用されてよい。モダリティのためのそれぞれの埋め込み器は、モダリティからの履歴データについて訓練され得る。例えば、それぞれの埋め込み器は、組織学的組織イメージング、全体スライド顕微鏡イメージング、または放射線イメージングからの履歴データ、あるいは履歴ゲノムデータ、履歴遺伝子発現データ、履歴プロテオミクス、履歴患者臨床データ、または履歴人口統計について訓練され得る。埋め込み器は、新たに受信した入力データを使用することによって更新され得る。

【0024】

訓練用データは、各々が異なるデータモダリティおよび既知のグラウンドトゥルー転帰を有する複数の患者からのデータを含み得る。例えば、訓練用データは、少なくとも１つの組織学的全体スライド画像（例えば、Ｈ＆Ｅ）を含み得る。スライドは、専門家注釈および／または組織検出マスクを有し得る。全体スライド画像は、高解像度画像であり、タイル画像を、全体スライド全体から、および／または特定の専門家注釈から、および／または組織マスクから抽出し、画像モダリティデータポイントを生成することができる。患者は、ゲノムデータポイントまたはプロテオミクスデータポイントをさらに有することができる。これらは、生の浮動小数点値または正規化された浮動小数点値のベクトルであり得る。訓練用データは、年齢、性別、などの患者メタデータ、および臨床データ、例えば診断、ＨＥＲ２陽性状態、などを含み得る。訓練用データは、異なる分析システムで生成された１つまたは複数の患者埋め込みを含み得る。

【0025】

処理は、少なくとも１つの集約ネットワークを使用して埋め込みモダリティ表現を組み合わせることによって臨床予測を生成することを含む。埋め込みモダリティ表現は、アテンション層および／または変換器層へと入力として導入され得る。本明細書において使用されるとき、「組み合わせる」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、データ融合および／またはデータ集約を指し得る。本明細書において使用されるとき、「集約ネットワーク」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、複数のモダリティからの埋め込みモダリティ表現を組み合わせることによって臨床予測を生成するように設計されたディープ・ニューラル・ネットワーク・アーキテクチャを指し得る。組み合わせることは、変換されたデータポイントの合計を考慮すること、変換されたデータポイントの最大値を考慮すること、アテンションＭＩＬモデルを使用すること、およびビジョントランスフォーマを使用すること、のうちの１つ以上を含み得る。

【0026】

集約ネットワークは、少なくとも１つのアテンション層および／または少なくとも１つのトランスフォーマ層を備える。アテンション層および／またはトランスフォーマ層は、セルフアテンション機構を実行し得る。セルフアテンション機構は、マルチモーダルデータのための最適な組み合わせ戦略を生成することを可能にし得る。

【0027】

本明細書において使用されるとき、「アテンション層」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、入力データの少なくとも１つの重要な部分を強化し、他の部分をフェードアウトするように設計されたニューラルネットワークの層を指し得る。入力データの重要性は、モダリティに依存し得る。入力データの重要性は、訓練用データを通じて学習され得る。アテンション層は、ドット積アテンションおよび／またはマルチヘッドアテンションを使用してよい。

【0028】

本明細書において使用されるとき、「トランスフォーマ層」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、セルフアテンションの機構を採用し、入力データの各部分の重要度に異なる重みを与える深層学習モデルの層を指し得る。例えば、トランスフォーマ層は、ビジョン・トランスフォーマ・モデルに基づき得る。ビジョン・トランスフォーマ・モデルは、トランスフォーマ・エンコーダ・アーキテクチャに基づき、入力として画像パッチの埋め込みを使用する画像分類モデルである。ビジョン・トランスフォーマ・モデルにおいて、画像はパッチに分割されてよく、次いでパッチは平坦化され、低次元埋め込みに投影され、位置埋め込みに追加され、トランスフォーマ・エンコーダ・ネットワークに供給される。トランスフォーマエンコーダの出力は、最終的な予測を生成するための多層パーセプトロン（ＭＬＰ）ヘッドへの入力として使用されてよい。ＭＬＰヘッドは、一連の線形変換層を備えてよい。トランスフォーマエンコーダは、ｎ個のエンコーダを備えてよい。各エンコーダは、マルチヘッドアテンション層、正規化層、およびＭＬＰ層を備えてよい。本明細書において使用されるとき、「多層パーセプトロンニューラルネットワーク」または「ＭＬＰニューラルネットワーク」という用語は、広義の用語であり、当業者にとっての一般的かつ普通の意味が与えられるべきであり、特殊な意味または特別な意味に限定されるべきではない。この用語は、具体的には、限定はされないが、一種のフィードフォワード人工ニューラルネットワークを指し得る。異なるレベル表現間の相互作用を可能にし、勾配消失問題を防止するために、エンコーダのサブレイヤ間に残差スキップ接続がさらに使用され得る。マルチヘッドアテンションは、セルフアテンション機構を複数回実行することに基づいてよい。マルチヘッドアテンションのさらなる設計に関して、Ｖａｓｗａｎｉ，Ａ．，Ｓｈａｚｅｅｒ，Ｎ．，Ｐａｒｍａｒ，Ｎ．，Ｕｓｚｋｏｒｅｉｔ，Ｊ．，Ｊｏｎｅｓ，Ｌ．，Ｇｏｍｅｚ，Ａ．Ｎ．，．．．＆Ｐｏｌｏｓｕｋｈｉｎ，Ｉ．（２０１７），“Ａｔｔｅｎｔｉｏｎ ｉｓ ａｌｌ ｙｏｕ ｎｅｅｄ ｉｎ Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ”，ｐｐ．５９９８－６００８を参照することができる。セルフアテンションは、異なる入力間の関係を学習し、モデル訓練中にこれらの関係を考慮に入れることを可能にする機構である。異なるモダリティ埋め込みを集約するための二次ネットワークとしてビジョントランスフォーマを使用することが、このカテゴリのモデルを使用する新たなやり方である。本発明は、異なるモダリティ間の関連する関係を発見し、訓練における追加情報として使用することを提案する。

【0029】

本発明は、複数のモダリティから患者エンドポイントを予測することに専用のディープ・ニューラル・ネットワーク・アーキテクチャを使用することを提案する。具体的には、本発明は、マルチモーダル表現融合のためのアテンションベースのプーリング方法および／またはマルチモーダル表現融合のためのトランスフォーマベースのプーリング方法を使用することによって、マルチモーダルデータ表現とも呼ばれる埋め込みモダリティ表現を融合することを提案する。患者のマルチモーダルデータ表現は、このデータセットのための最適な組み合わせおよび／またはアテンション戦略（パラメータ）を逆伝播を通じて学習し得るアテンション層および／またはトランスフォーマ層への入力として導入され得る。提案されるネットワークアーキテクチャは、アテンションＭＩＬモジュールおよび／またはトランスフォーマ・モジュール・アーキテクチャを利用し得る。これは、例えばトランスフォーマ・モジュール・アーキテクチャにおいて利用可能なセルフアテンション機構を介してマルチモーダルデータのための最適な組み合わせ戦略を作成することを可能にし得る。

【0030】

ＭＩＬネットワークは、訓練用インスタンスがバッグにグループ化され、ラベルが単一のインスタンスにではなくバッグに割り当てられる弱教師あり学習モデルの一種である。アテンションベースのＭＩＬネットワークは、アテンション機構に従って異なるインスタンス出力を集約し、したがって最終的なバッグ出力に対するバッグ内の各インスタンスの寄与を評価することを可能にし得る。予測ネットワークおよびアテンションネットワークの両方が同時に学習されてよい。

【0031】

本方法は、例えばデータセットのパラメータを決定するための最適な組み合わせおよび／またはアテンション戦略を、逆伝播によって学習し、例えば訓練および／または最適化するアテンション層および／またはトランスフォーマ層を備え得る。

【0032】

入力データは、複数の異なるモダリティの各々からの少なくとも１つのデータポイントを含んでよい。例えば、少なくとも１つのデータポイントは、単一の生検からの少なくとも１つの画像タイル、少なくとも１つの遺伝子配列、放射線画像からの少なくとも１つのタイル、などを含み得る。入力データは、例えば、単一の生検からの複数の画像タイル、複数の遺伝子配列、放射線画像からの複数のタイル、など、単一の患者の同じモダリティからの複数のデータポイントを含み得る。例えば、入力データは、複数の異なるモダリティの各々からの単一のデータポイントを含み得る。例えば、入力データは、複数の異なるモダリティの各々からの複数のデータポイントを含み得る。例えば、入力データは、１つ以上のモダリティからの単一のデータポイントと、他の少なくとも１つのモダリティからの複数のデータポイントとを含み得る。

【0033】

本方法は、各々のデータポイントから埋め込みモダリティ表現を生成することを含み得る。例えば、異なるモダリティの各々からの単一のデータポイントの場合、本方法は、単一のデータポイントの各々から埋め込みモダリティ表現を生成することを含み得る。本方法は、異なるモダリティの埋め込みモダリティ表現から、集約ネットワークを使用して臨床予測を生成することをさらに含み得る。

【0034】

本方法は、各々のデータポイントから埋め込みモダリティ表現を生成することと、モダリティの各々について別々に、生成された埋め込みモダリティ表現を組み合わせることと、組み合わせた埋め込みモダリティ表現から、集約ネットワークを使用して臨床予測を生成することとを含んでよい。

【0035】

例えば、入力データは、単一の患者に関する同じモダリティからの複数のデータポイントを含み得る。本方法は、各々のデータポイントから埋め込みモダリティ表現を生成することと、異なるモダリティの各々について別々に、生成された埋め込みモダリティ表現を組み合わせることと、組み合わせた埋め込みモダリティ表現から、集約ネットワークを使用して臨床予測を生成することとを含み得る。これに加え、あるいは代えて、本方法は、複数のデータポイントを組み合わせることと、異なるモダリティの各々について組み合わせたデータポイントからグローバル埋め込みモダリティ表現を生成することと、グローバル埋め込みモダリティ表現から集約ネットワークを使用して臨床予測を生成することとを含み得る。

【0036】

本方法は、複数のデータポイントを組み合わせることと、モダリティの各々について組み合わせたデータポイントからグローバル埋め込みモダリティ表現を生成することと、グローバル埋め込みモダリティ表現から集約ネットワークを使用して臨床予測を生成することとを含み得る。例えば、単一の患者について同じモダリティからの複数のデータポイントの場合、本方法は、各々のデータポイントから埋め込みを作成することと、各々のモダリティについての埋め込みを別々に組み合わせることと、ネットワーク層を使用して患者レベルマルチモーダルデータポイントを患者レベル予測に変換することとを含み得る。これに加え、あるいは代えて、単一の患者について同じモダリティからの複数のデータポイントの場合、マルチモーダルデータからの複数のデータポイントは、互いに直接組み合わせられてもよく、最初にそれらを１つの患者レベルモダリティデータポイントに組み合わせることなく、それらを患者レベル予測に変換するために、ネットワーク層が使用されてよい。

【0037】

一実施形態において、異なるモダリティは、一次アテンションＭＩＬネットワーク層によって患者レベル埋め込みに変換され、次いで、マルチモーダル患者レベルデータを患者レベル予測に組み合わせる二次アテンションｍｉｌネットワークに入力される。逆伝播を使用して、ネットワークは訓練および最適化され得る。

【0038】

一実施形態において、異なるモダリティは、一次アテンションＭＩＬネットワーク層によって患者レベル埋め込みに変換され、次いで、マルチモーダル患者レベルデータを患者レベル予測に組み合わせる二次ビジョン・トランスフォーマ・ネットワークに入力される。逆伝播を使用して、ネットワークは訓練および最適化され得る。

【0039】

一実施形態において、異なるモダリティは、一次ビジョン・トランスフォーマ・ネットワーク層によって患者レベル埋め込みに変換され、次いで、マルチモーダル患者レベルデータを患者レベル予測に組み合わせる二次ビジョン・トランスフォーマ・ネットワークに入力される。逆伝播を使用して、ネットワークは訓練および最適化され得る。

【0040】

一実施形態において、異なるモダリティは、一次ビジョン・トランスフォーマ・ネットワーク層によって患者レベル埋め込みに変換され、次いで、マルチモーダル患者レベルデータを患者レベル予測に組み合わせる二アテンションＭＩＬネットワークに入力される。逆伝播を使用して、ネットワークは訓練および最適化され得る。

【0041】

一実施形態において、異なるモダリティは、埋め込み器ネットワークに直接入力され、得られた埋め込みが、マルチモーダル生データを患者レベル予測に組み合わせる一次アテンションＭＩＬネットワーク層に入力される。逆伝播を使用して、ネットワークは訓練および最適化され得る。

【0042】

一実施形態において、異なるモダリティは、埋め込み器ネットワークに直接入力され、得られた埋め込みが、マルチモーダル生データを患者レベル予測に組み合わせる一次ビジョン・トランスフォーマ・ネットワーク層に入力される。逆伝播を使用して、ネットワークは訓練および最適化され得る。

【0043】

一実施形態において、データタイプに応じて、各々のモダリティは、一次アテンションｍｉｌネットワーク層によって患者レベル埋め込みに変換され、あるいは埋め込み器ネットワークに直接入力され得る。得られたすべての埋め込みは、マルチモーダルデータを患者レベル予測に組み合わせる二次アテンションｍｉｌネットワークに入力される。逆伝播を使用して、ネットワークは訓練および最適化され得る。

【0044】

一実施形態において、データタイプに応じて、各々のモダリティは、一次アテンションｍｉｌネットワーク層によって患者レベル埋め込みに変換され、あるいは埋め込み器ネットワークに直接入力され得る。得られたすべての埋め込みは、マルチモーダルデータを患者レベル予測に組み合わせる二次ビジョン・トランスフォーマ・ネットワークに入力される。逆伝播を使用して、ネットワークは訓練および最適化され得る。

【0045】

本方法は、少なくとも１つの前処理ステップをさらに含み得る。前処理ステップは、生データを新たなフォーマットに変換することを含み得る。このステップは、モダリティタイプに依存し得る。例えば、予め訓練された埋め込み器を使用することによって、組織学的タイル画像を異なる空間に投影することが可能である。これは、生データ内の関連情報をキャプチャし、おそらくは訓練プロセスを高速化する役に立つことができる。

【0046】

臨床予測の出力は、患者のための薬物に関する情報、患者の生存に関する情報、少なくとも１つの特定の処置への反応に関する情報、患者の診断を確認する情報、欠落した患者データポイントを予測することによって患者データをキュレートし、かつ／または完成させる情報、のうちの１つ以上を含み得る。本方法は、少なくとも１つの出力インターフェースを介して臨床予測を提供することを含む少なくとも１つの出力ステップを含む。用語「出力インターフェース」は、本明細書において使用されるとき、処理装置から別のエンティティへと情報を転送するように構成された任意のユニットに関し、別のエンティティは、さらなるデータ処理装置および／またはユーザであってよい。したがって、出力インターフェースは、適切に構成されたディスプレイなどのユーザインターフェースを備えてよい、あるいはプリンタであってよい。

【0047】

コンピュータまたはコンピュータネットワーク上で実行されるときに本明細書に含まれる実施形態のうちの１つ以上における本発明による方法を実行するコンピュータ実行可能命令を含んでいるコンピュータプログラムが、本明細書にさらに開示および提案される。具体的には、コンピュータプログラムは、コンピュータ可読データ担体および／またはコンピュータ可読記憶媒体に格納されてよい。

【0048】

本明細書において使用されるとき、「コンピュータ可読データ担体」および「コンピュータ可読記憶媒体」という用語は、具体的には、コンピュータ実行可能命令を格納したハードウェア記憶媒体などの非一時的データ記憶手段を指し得る。コンピュータ可読データ担体または記憶媒体は、具体的には、ランダムアクセスメモリ（ＲＡＭ）および／または読み出し専用メモリ（ＲＯＭ）などの記憶媒体であってよく、あるいは、そのような記憶媒体を含み得る。

【0049】

したがって、具体的には、上記で示した方法ステップｉ）～ｉｉｉ）のうちの１つ、複数、またはすべてでさえ、コンピュータまたはコンピュータネットワークを使用し、好ましくはコンピュータプログラムを使用することによって、実施され得る。

【0050】

本明細書において、コンピュータプログラム製品がさらに開示および提案され、コンピュータプログラム製品は、プログラムがコンピュータまたはコンピュータネットワーク上で実行されるときに本明細書に含まれる実施形態のうちの１つ以上における本発明による方法を実行するために、プログラムコード手段を有している。具体的には、プログラムコード手段は、コンピュータ可読データ担体および／またはコンピュータ可読記憶媒体に格納されてよい。

【0051】

例えばコンピュータまたはコンピュータネットワークの作業メモリまたはメインメモリにロードされるなど、コンピュータまたはコンピュータネットワークへとロードされた後に、本明細書に開示の実施形態のうちの１つ以上による方法を実行し得るデータ構造を格納したデータ担体が、本明細書においてさらに開示および提案される。

【0052】

プログラムがコンピュータまたはコンピュータネットワーク上で実行されるときに本明細書に開示の実施形態のうちの１つ以上による方法を実行するためにプログラムコード手段を機械可読担体に格納して有するコンピュータプログラム製品が、本明細書においてさらに開示および提案される。本明細書において使用されるとき、コンピュータプログラム製品は、取引可能な製品としてのプログラムを指す。製品は、一般に、紙フォーマットなどの任意のフォーマットで存在してよく、あるいはコンピュータ可読データ担体および／またはコンピュータ可読記憶媒体上に存在してもよい。とくには、コンピュータプログラム製品は、データネットワークを介して配布され得る。

【0053】

最後に、本明細書に開示される実施形態のうちの１つ以上による方法を実行するためのコンピュータシステムまたはコンピュータネットワークにとって可読な命令を含む変調されたデータ信号が、本明細書において開示および提案される。

【0054】

本発明のコンピュータ実装態様に関して、本明細書に開示の実施形態のうちの１つ以上による方法の方法ステップのうちの１つ以上またはすべてが、コンピュータまたはコンピュータネットワークを使用することによって実行されてよい。したがって、一般に、データの提供および／または操作を含む方法ステップのいずれも、コンピュータまたはコンピュータネットワークを使用することによって実行されてよい。一般に、これらの方法ステップは、典型的には試料の提供および／または実際の測定を実行する特定の態様などの手作業を必要とする方法ステップを除いて、任意の方法ステップを含み得る。

【0055】

具体的には、本明細書において、
少なくとも１つのプロセッサを備え、プロセッサは、本明細書に記載の実施形態のうちの１つによる方法を実行するように構成されているコンピュータまたはコンピュータネットワーク、
コンピュータにロード可能なデータ構造であって、コンピュータ上で実行されているときに本明細書に記載の実施形態のうちの１つによる方法を実行するように構成されたデータ構造、
コンピュータ上で実行されているときに、本明細書に記載の実施形態のうちの１つによる方法を実行するように構成されたコンピュータプログラム、
コンピュータまたはコンピュータネットワーク上で実行されているときに本明細書に記載の実施形態のうちの１つによる方法を実行するためのプログラム手段を備えているコンピュータプログラム、
先行の実施形態によるプログラム手段を備えているコンピュータプログラムであって、プログラム手段は、コンピュータ可読記憶媒体に格納されているコンピュータプログラム、
データ構造を格納しており、データ構造は、コンピュータまたはコンピュータネットワークの主記憶部および／または作業記憶部にロードされた後に本明細書に記載の実施形態のうちの１つによる方法を実行するように構成されている記憶媒体、および
プログラムコード手段を有しており、プログラムコード手段は、記憶媒体に格納可能または格納されており、コンピュータ上またはコンピュータネットワーク上で実行された場合に、本明細書に記載の実施形態のうちの１つによる方法を実行するコンピュータプログラム製品
がさらに開示される。

【0056】

本発明のさらなる態様において、臨床予測装置が開示される。臨床予測装置は、入力データを取り出すように構成された少なくとも１つの通信インターフェースを有する少なくとも１つの処理装置を備える。入力データは、患者の複数の異なるモダリティを含む。処理装置は、入力データを処理するように構成される。処理は、少なくとも１つの訓練可能データ埋め込み器を使用することによって入力データから埋め込みモダリティ表現を生成することを含む。処理は、少なくとも１つの集約ネットワークを使用して埋め込みモダリティ表現を組み合わせることによって臨床予測を生成することを含む。集約ネットワークは、少なくとも１つのアテンション層および／または少なくとも１つのトランスフォーマ層を備える。処理装置は、臨床予測の出力を生成するように構成される。

【0057】

臨床予測装置は、本発明による臨床予測を実行するための方法を実行するように構成され得る。したがって、臨床予測装置の定義および実施形態に関して、本方法に関して説明した定義および実施形態が参照される。

【0058】

要約すると、さらなる実施形態の可能性を排除することなく、以下の実施形態が想定され得る。

【0059】

実施例１．臨床予測を実行するためのコンピュータ実装方法であって、
ｉ）患者の複数の異なるモダリティを含む入力データを、処理装置の少なくとも１つの通信インターフェースを介して取り出すことと、
ｉｉ）処理装置を使用することによって入力データを処理することであって、処理は、少なくとも１つの訓練可能データ埋め込み器を使用することによって入力データから埋め込みモダリティ表現を生成することを含み、処理は、少なくとも１つの集約ネットワークを使用して埋め込みモダリティ表現を組み合わせることによって臨床予測を生成することを含み、集約ネットワークは、少なくとも１つのアテンション層および／または少なくとも１つのトランスフォーマ層を含む、入力データを処理することと、
ｉｉｉ）処理装置を使用することによって臨床予測の出力を生成することと
を含む、方法。

【0060】

実施例２．臨床予測の出力は、患者のための薬物に関する情報、患者の生存に関する情報、少なくとも１つの特定の処置に対する反応に関する情報、患者の診断を確認する情報、欠落している患者データポイントを予測することによって患者データをキュレートするおよび／または完成させる情報、のうちの１つ以上を含む、先行の実施形態による方法。

【0061】

実施例３．少なくとも１つの出力インターフェースを介して臨床予測を提供することを含む少なくとも１つの出力ステップを含む、先行の実施形態のいずれか１つによる方法。

【0062】

実施例４．訓練可能データ埋め込み器の出力は、モダリティごとのジェネリック患者レベル埋め込み表現、または各々のモダリティについての複数のインスタンス埋め込みである、先行の実施形態のいずれか１つによる方法。

【0063】

実施例５．埋め込みモダリティ表現は、アテンション層および／またはトランスフォーマ層へと入力として導入される、先行の実施形態のいずれか１つによる方法。

【0064】

実施例６．患者の複数のモダリティは、少なくとも１つの組織学的組織画像、生検および／または外科標本の少なくとも１つの全面顕微鏡画像、磁気共鳴画像法（ＭＲＩ）およびコンピュータ断層撮影法（ＣＴ）などの放射線画像、ゲノムデータ、遺伝子発現データ、プロテオミクス、患者臨床データ、および人口統計のうちの１つ以上を含む、先行の実施形態のいずれか１つによる方法。

【0065】

実施例７．アテンション層および／またはトランスフォーマ層が最適な組み合わせおよび／またはアテンション戦略を逆伝播を通じて学習することを含む、先行の実施形態のいずれか１つによる方法。

【0066】

実施例８．入力データは、異なるモダリティの各々からの少なくとも１つのデータポイントを含み、本方法は、データポイントの各々から埋め込みモダリティ表現を生成することと、集約ネットワークを使用して臨床予測を異なるモダリティの埋め込みモダリティ表現から生成することとを含む、先行の実施形態のいずれか１つによる方法。

【0067】

実施例９．入力データは、異なるモダリティのうちの少なくとも１つについて、単一の患者に関する同じモダリティからの複数のデータポイントを含む、先行の実施形態のいずれか１つによる方法。

【0068】

実施例１０．各々のデータポイントから埋め込みモダリティ表現を生成することと、異なるモダリティの各々について別々に生成された埋め込みモダリティ表現を組み合わせることと、集約ネットワークを使用して臨床予測を組み合わせられた埋め込みモダリティ表現から生成することとを含む、先行の実施形態による方法。

【0069】

実施例１１．複数のデータポイントを組み合わせ、異なるモダリティの各々について組み合わせたデータポイントからグローバル埋め込みモダリティ表現を生成することと、集約ネットワークを使用して臨床予測をグローバル埋め込みモダリティ表現から生成することと、を含む、先先行の実施形態による方法。

【0070】

実施例１２．異なるモダリティは、一次アテンションＭＩＬネットワーク層によって埋め込みモダリティ表現に変換され、その後に、埋め込みモダリティ表現を臨床予測へと組み合わせる二次アテンションＭＩＬネットワークに入力される、先行の実施形態のいずれか１つによる方法。

【0071】

実施例１３．異なるモダリティは、一次アテンションＭＩＬネットワーク層によって埋め込みモダリティ表現に変換され、その後に、埋め込みモダリティ表現を臨床予測へと組み合わせる二次ビジョン・トランスフォーマ・ネットワークに入力される、先行の実施形態のいずれか１つによる方法。

【0072】

実施例１４．異なるモダリティは、一次ビジョン・トランスフォーマ・ネットワーク層によって埋め込みモダリティ表現に変換され、その後に、埋め込みモダリティ表現を臨床予測へと組み合わせる二次ビジョン・トランスフォーマ・ネットワークに入力される、先行の実施形態のいずれか１つによる方法。

【0073】

実施例１５．異なるモダリティは、一次ビジョン・トランスフォーマ・ネットワーク層によって埋め込みモダリティ表現に変換され、その後に、埋め込みモダリティ表現を臨床予測へと組み合わせる二次アテンションＭＩＬネットワークに入力される、先行の実施形態のいずれか１つによる方法。

【0074】

実施例１６．異なるモダリティは、埋め込み器ネットワークへと入力され、得られた埋め込みモダリティ表現が、埋め込みモダリティ表現を臨床予測へと組み合わせる一次アテンションＭＩＬネットワーク層へと入力される、先行の実施形態のいずれか１つによる方法。

【0075】

実施例１７．異なるモダリティは、埋め込み器ネットワークへと入力され、得られた埋め込みモダリティ表現が、マルチモーダル生データを臨床予測へと組み合わせる一次ビジョン・トランスフォーマ・ネットワーク層へと入力される、先行の実施形態のいずれか１つによる方法。

【0076】

実施例１８．データタイプに応じて、各々のモダリティは、一次アテンションＭＩＬネットワーク層によって埋め込みモダリティ表現に変換され、あるいは埋め込み器ネットワークへと入力され、得られた埋め込みモダリティ表現が、埋め込みモダリティ表現を臨床予測へと組み合わせる二次アテンションＭＩＬネットワークへと入力される、先行の実施形態のいずれか１つによる方法。

【0077】

実施例１９．データタイプに応じて、各々のモダリティは、一次アテンションＭＩＬネットワーク層によって埋め込みモダリティ表現に変換され、あるいは埋め込み器ネットワークへと入力され、得られた埋め込みモダリティ表現が、埋め込みモダリティ表現を臨床予測へと組み合わせる二次ビジョン・トランスフォーマ・ネットワークへと入力される、先行の実施形態のいずれか１つによる方法。

【0078】

実施例２０．少なくとも１つの前処理ステップを含み、前処理ステップは、生データを新たなフォーマットに変換することを含む、先行の実施形態のいずれか１つによる方法。

【0079】

実施例２１．命令を含んでいるコンピュータプログラムであって、命令は、プログラムが処理装置によって実行されるときに、先行の実施形態のいずれか１つによる方法のステップｉ）～ｉｉｉ）を処理装置に実行させる、コンピュータプログラム。

【0080】

実施例２２．処理装置によって実行されるときに方法に関する先行の実施形態のいずれか１つによる方法のステップｉ）～ｉｉｉ）を処理装置に実行させる命令を含んでいるコンピュータ可読記憶媒体。

【0081】

実施例２３．入力データを取り出すように構成された少なくとも１つの通信インターフェースを有する少なくとも１つの処理装置を備えており、入力データは、患者の複数の異なるモダリティを含み、処理装置は、入力データを処理するように構成され、処理は、少なくとも１つの訓練可能データ埋め込み器を使用することによって入力データから埋め込みモダリティ表現を生成することを含み、処理は、少なくとも１つの集約ネットワークを使用して埋め込みモダリティ表現を組み合わせることによって臨床予測を生成することを含み、集約ネットワークは、少なくとも１つのアテンション層および／または少なくとも１つのトランスフォーマ層を含み、処理装置は、臨床予測の出力を生成するように構成されている、臨床予測装置。

【0082】

実施例２４．臨床予測を実行するための方法であって、方法に関する先行の実施形態のいずれか１つによる方法を実行するように構成された、先行の実施形態による臨床予測装置。

【0083】

図面の簡単な説明
さらなる随意による特徴および実施形態が、好ましくは従属請求項と併せて、実施形態の後続の説明においてさらに詳細に開示される。開示において、それぞれの随意による特徴は、当業者であれば理解できるとおり、独立した様相ならびに任意の実行可能な組み合わせにて実現されてよい。本発明の範囲は、好ましい実施形態によって限定されるわけではない。実施形態は、図中で概略的に示されている。ここで、これらの図における同一の参照番号は、同一または機能的に同等の要素を指す。

【図面の簡単な説明】

【0084】

【図1】本発明による方法のワークフローの一実施形態を示している。

【図2】各々の患者について３つの選択されたモダリティを有するさらなる例示的なワークフローを示している。

【図3】混合グローバルマルチモーダルトランスフォーマに基づく融合セットアップの一例を示している。

【図4】視覚エンコーダのアーキテクチャを示している。

【図5A】本発明による方法のさらなる例を示している。

【図5B】本発明による方法のさらなる例を示している。

【図5C】本発明による方法のさらなる例を示している。

【図5D】本発明による方法のさらなる例を示している。

【発明を実施するための形態】

【0085】

図１が、本発明による臨床予測を実行するためのコンピュータ実装方法の一般的な上位レベルのワークフローを示している。この実施形態において、ステップｉ）１１０は、各々の患者について複数のモダリティを受信することを含む。モダリティは、異なるタイプのモダリティにすることができ、例えば、組織学的組織画像（例えば、Ｈ＆Ｅおよび／またはＩＨＣおよび／または蛍光染色スライド画像）、遺伝子配列データ（例えば、ＲＮＡ－Ｓｅｑ、ｍＲＮＡ）、臨床データ（例えば、腫瘍タイプ、組織タイプ）など、異なる情報を保持することができる。図１に、元の生データを新たなフォーマットに変換することを含む前処理ステップ１１２が示されている。このステップ１１２は、随意であり、モダリティのタイプに依存する。例えば、予め訓練された埋め込み器を使用することによって、組織学的タイル画像を異なる空間に投影することが可能である。これは、生データ内の関連情報をキャプチャし、おそらくは訓練プロセスを高速化する役に立つことができる。ステップｉｉ）１１４は、有意義な埋め込みモダリティ表現を得るために、モダリティの各々を訓練可能なデータ埋め込み器に入力することを含んでよい。このステップ１１４において、出力は、データの性質および選択された実施形態に応じて、モダリティごとのジェネリック患者レベル埋め込み表現、または各々のモダリティについての複数のインスタンス埋め込みのいずれかであり得る。次いで、ステップ１１６において、これらのすべての出力された埋め込みが、集約ネットワークを使用して組み合わせられる。例えば平均または最大演算子、アテンションネットワーク、トランスフォーマなど、多数の集約の選択肢が存在する。さらに、ステップｉｉｉ）１１８が、臨床予測の出力を生成することを含む。

【0086】

図２が、各々の患者について３つの選択されたモダリティ、すなわち組織学的全体スライド画像（ＷＳＩ）１２０、遺伝子配列１２２、および臨床データ１２４を有する例示的なワークフローを示している。本方法は、各々のデータポイントから埋め込みモダリティ表現を生成することと、モダリティの各々について別々に、生成された埋め込みモダリティ表現を組み合わせることと、組み合わせた埋め込みモダリティ表現から、集約ネットワークを使用して臨床予測を生成することとを含んでよい。この例において、各々のモダリティは、埋め込みモダリティ表現を生成するための一連のステップ１２６を経る。ＷＳＩ １２０の場合、高解像度のＷＳＩは、典型的にはきわめて大きく、メモリに収めることができないため、本方法は、スライドを非重複パッチにタイル化することを含んでよい。次いで、各々のパッチは、事前に訓練された埋め込み器（例えば、Ｒｅｓｎｅｔ）を使用して異なる空間に投影される。これらのタイルレベルの埋め込みは、ＷＳＩの患者レベルの埋め込みを生成するために、訓練可能な集約ネットワーク（例えば、アテンションＭＩＬ）に入力される。遺伝子配列１２２および臨床データ１２４の各々は、各々のモダリティについて代表的な患者レベルの埋め込みを生成するために、訓練可能な埋め込み器に渡される。次いで、すべての患者レベルの埋め込みは、全体的な患者レベルの埋め込みおよび最終的な患者予測を生成するために、第２の集約モデル１２８に渡される。

【0087】

図３が、混合グローバル・マルチモーダル・トランスフォーマに基づく融合セットアップの一例を示している。図３の上部には、使用される構成要素の一般的な例が示されており、下部には、各々の患者について３つの選択されたモダリティ、すなわち組織学的全体スライド画像（ＷＳＩ）１２０、遺伝子配列１２２、および臨床データ１２４を使用する適用が示されている。モダリティＡ１２９（図３の下部のＷＳＩ１２０）は、例えば埋め込み器１３０などの埋め込み投影、および訓練可能なアテンションネットワーク１３２を通過して、患者レベル表現１３４を生成し得る。モダリティＢ１３６（図３の下部の臨床データ１２４）およびＣ１３８（図３の下部の遺伝子配列１２２）は、訓練可能な埋め込み器１４０、１４２を通過して、患者レベル表現１４４、１４６を生成し得る。次いで、患者レベル表現１３４、１４４、１４６は、グローバル・マルチモーダル・ビジョン・トランスフォーマ１４８に渡されて、マルチモーダル患者表現１５０および患者レベル予測１５２を生成する。

【0088】

図４が、Ｄｏｓｏｖｉｔｓｋｉｙ，Ａ．，Ｂｅｙｅｒ，Ｌ．，Ｋｏｌｅｓｎｉｋｏｖ，Ａ．，Ｗｅｉｓｓｅｎｂｏｒｎ，Ｄ．，Ｚｈａｉ，Ｘ．，Ｕｎｔｅｒｔｈｉｎｅｒ，Ｔ．，…＆Ｈｏｕｌｓｂｙ，Ｎ．（２０２０）．Ａｎ ｉｍａｇｅ ｉｓ ｗｏｒｔｈ １６ｘ１６ ｗｏｒｄｓ：Ｔｒａｎｓｆｏｒｍｅｒｓ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｔ ｓｃａｌｅ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：２０１０．１１９２９に記載のとおりのトランスフォーマエンコーダのアーキテクチャを示している。

【0089】

図５Ａ～図５Ｄが、３つのモダリティについての本発明による方法のさらなる例を示している。

【0090】

図５Ａは、受信したモダリティＡ１２９、モダリティＢ１３６、およびモダリティＣ１３８を示している。モダリティＡ１２９、モダリティＢ１３６、およびモダリティＣ１３８の各々は、各々のモダリティについてのモダリティ表現１３４、１４４、１４６を生成するために、埋め込み器１３０、１４０、１４２および訓練可能なアテンションネットワーク１３２、１５４、１５６を通過し得る。次いで、モダリティ表現１３４、１４４、１４６は、マルチモーダル患者表現１５０および患者レベル予測を生成するために、グローバルマルチモダリティ埋め込み器１５８およびグローバル・モダリティ・アテンション・ネットワーク１６０に渡される。

【0091】

図５Ｂは、受信したモダリティＡ１２９、モダリティＢ１３６、およびモダリティＣ１３８を示している。モダリティＡ１２９、モダリティＢ１３６、およびモダリティＣ１３８の各々は、各々のモダリティについてのモダリティ表現１３４、１４４、１４６を生成するために、埋め込み器１３０、１４０、１４２および訓練可能なアテンションネットワーク１３２、１５４、１５６を通過し得る。次いで、モダリティ表現１３４、１４４、１４６は、マルチモーダル患者表現１５０および患者レベル予測を生成するために、グローバル・マルチモーダル・トランスフォーマ１６２に渡される。

【0092】

図５Ｃは、受信したモダリティＡ１２９、モダリティＢ１３６、およびモダリティＣ１３８を示している。モダリティＡ１２９、モダリティＢ１３６、およびモダリティＣ１３８の各々は、各々のモダリティについてのモダリティ表現１３４、１４４、１４６を生成するために、埋め込み器１３０、１４０、１４２を通過し得る。次いで、モダリティ表現１３４、１４４、１４６は、マルチモーダル患者表現１５０および患者レベル予測を生成するために、グローバル・マルチモーダル・トランスフォーマ１６２に渡される。

【0093】

図５Ｄは、受信したモダリティＡ１２９、モダリティＢ１３６、およびモダリティＣ１３８を示している。モダリティＡ１２９、モダリティＢ１３６、およびモダリティＣ１３８の各々は、各々のモダリティについてのモダリティ表現１３４、１４４、１４６を生成するために、埋め込み器１３０、１４０、１４２を通過し得る。次いで、モダリティ表現１３４、１４４、１４６は、マルチモーダル患者表現１５０および患者レベル予測を生成するために、グローバルマルチモダリティ埋め込み器１５８およびグローバル・モダリティ・アテンション・ネットワーク１６０に渡される。

【0094】

図５Ａ～図５Ｄに高度に概略的に示されるように、入力データは、処理装置１６６の少なくとも１つの通信インターフェース１６４を介して受信される。処理装置１６６は、入力データを処理するように構成される。臨床予測を、例えば処理装置１６６の出力インターフェース１６８、あるいはディスプレイおよび／またはプリンタなどのさらなる装置を介して提供し得る。図５Ａ～図５Ｄには、通信インターフェース１６４および処理装置１６６を備える臨床予測装置１７０の一実施形態がさらに示されている。臨床予測装置１７０は、出力インターフェース１６８をさらに備えてよい。

【符号の説明】

【0095】

１１０ ステップｉ）
１１２ 前処理ステップ
１１４ ステップｉｉ）
１１６ 組み合わせ
１１８ ステップｉｉｉ）
１２０ 全体スライド画像
１２２ 遺伝子配列
１２４ 臨床データ
１２６ 埋め込みモダリティ表現を生成するためのステップ
１２６ グローバル患者レベル埋め込みおよび予測の生成
１２８ 集約モデル
１２９ モダリティＡ
１３０ 埋め込器
１３２ 訓練可能なアテンションネットワーク
１３４ モダリティ（患者レベル）表現
１３６ モダリティＢ
１３８ モダリティＣ
１４０ 埋め込器
１４２ 埋め込器
１４４ モダリティ（患者レベル）表現
１４６ モダリティ（患者レベル）表現
１４８ グローバル・マルチモーダル・ビジョン・トランスフォーマ
１５０ マルチモーダル患者表現
１５２ 患者レベル予測
１５４ アテンションネットワーク
１５６ アテンションネットワーク
１５８ グローバルマルチモダリティ埋め込器
１６０ グローバル・モダリティ・アテンション・ネットワーク
１６２ グローバル・マルチモーダル・トランスフォーマ
１６４ 通信インターフェース
１６６ 処理装置
１６８ 出力インターフェース
１７０ 臨床予測装置

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【国際調査報告】