(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-22
(54)【発明の名称】一般化疾患検出のために電子画像を処理するためのシステムおよび方法
(51)【国際特許分類】
G16H 30/00 20180101AFI20221215BHJP
G16H 10/40 20180101ALI20221215BHJP
【FI】
G16H30/00
G16H10/40
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022540708
(86)(22)【出願日】2020-12-18
(85)【翻訳文提出日】2022-08-15
(86)【国際出願番号】 US2020066045
(87)【国際公開番号】W WO2021138087
(87)【国際公開日】2021-07-08
(32)【優先日】2020-01-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518307592
【氏名又は名称】ペイジ.エーアイ インコーポレイテッド
【氏名又は名称原語表記】PAIGE.AI, Inc.
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ドグダス, ベルマ
(72)【発明者】
【氏名】カナン, クリストファー
(72)【発明者】
【氏名】フックス, トーマス
(72)【発明者】
【氏名】グラディー, レオ
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA03
5L099AA26
(57)【要約】
複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測し、複数の第2の訓練画像を受信し、第1の訓練画像および第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を含み、複数の第2の訓練画像の個別の第2の訓練画像に関連する複数の標的特殊化属性を受信し、複数の第2の訓練画像および標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させ、標的試料に対応する標的画像を受信し、特殊化機械学習モデルを標的画像に適用し、標的画像の少なくとも1つの特性を決定し、標的画像の特性を出力することによって、特殊化機械学習モデルを発生させるためのシステムおよび方法が、開示される。
【特許請求の範囲】
【請求項1】
電子画像を処理するためのコンピュータ実装方法であって、前記方法は、
複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測することと、
複数の第2の訓練画像を受信することであって、前記第1の訓練画像および前記第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
前記複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
前記複数の第2の訓練画像および個別の標的特殊化属性に基づいて、前記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
前記特殊化機械学習モデルを前記標的画像に適用し、前記標的画像の少なくとも1つの特性を決定することと、
前記標的画像の少なくとも1つの特性を出力することと
を含む、方法。
【請求項2】
前記標的画像の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、請求項1に記載のコンピュータ実装方法。
【請求項4】
前記一般化機械学習モデルは、複数の層を備え、前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの1つまたはそれを上回る外側層を修正することを含む、請求項1に記載のコンピュータ実装方法。
【請求項5】
前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの出力層を除去することを含む、請求項1に記載のコンピュータ実装方法。
【請求項6】
前記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、請求項1に記載のコンピュータ実装方法。
【請求項7】
前記複数の標的特殊化属性は、薬物応答情報、癌再発予測情報、または毒性査定情報のうちの少なくとも1つに基づく、請求項1に記載のコンピュータ実装方法。
【請求項8】
第2の訓練画像はそれぞれ、同一のカテゴリの病理学試料に基づいて発生される、請求項1に記載のコンピュータ実装方法。
【請求項9】
病理学試料のカテゴリは、組織学、細胞学、免疫組織化学、またはそれらの組み合わせから選択される、請求項8に記載のコンピュータ実装方法。
【請求項10】
一般化機械学習モデルを修正することはさらに、前記標的特殊化属性に基づく出力を有するように前記一般化機械学習モデルを調節することを含む、請求項1に記載のコンピュータ実装方法。
【請求項11】
前記複数の第1の訓練画像は、複数の癌タイプに対応する画像を備える、請求項1に記載のコンピュータ実装方法。
【請求項12】
前記少なくとも1つの癌特性は、癌診断、腫瘍特性評価、またはバイオマーカ検出のうちの1つである、請求項1に記載のコンピュータ実装方法。
【請求項13】
電子画像を処理するためのシステムであって、前記システムは、
命令を記憶する少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、前記少なくとも1つのプロセッサは、前記命令を実行し、
複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測することと、
複数の第2の訓練画像を受信することであって、前記第1の訓練画像および前記第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
前記複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
前記複数の第2の訓練画像および前記個別の標的特殊化属性に基づいて、前記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
前記特殊化機械学習モデルを前記標的画像に適用し、前記標的画像の少なくとも1つの特性を決定することと、
前記標的画像の少なくとも1つの特性を出力することと
を含む動作を実施する、少なくとも1つのプロセッサと
を備える、システム。
【請求項14】
前記動作はさらに、
前記標的画像の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
を含む、請求項13に記載のシステム。
【請求項15】
前記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、請求項13に記載のシステム。
【請求項16】
前記一般化機械学習モデルは、複数の層を備え、前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの1つまたはそれを上回る外側層を修正することを含む、請求項13に記載のシステム。
【請求項17】
前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの出力層を除去することを含む、請求項13に記載のシステム。
【請求項18】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、プロセッサによって実行されると、前記プロセッサに、電子画像を処理するための動作を実施させ、前記動作は、
複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測することと、
複数の第2の訓練画像を受信することであって、前記第1の訓練画像および前記第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
前記複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
前記複数の第2の訓練画像および前記個別の標的特殊化属性に基づいて、前記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
前記特殊化機械学習モデルを前記標的画像に適用し、前記標的画像の少なくとも1つの特性を決定することと、
前記標的画像の少なくとも1つの特性を出力することと
を含む、非一過性コンピュータ可読媒体。
【請求項19】
前記動作はさらに、
前記標的画像の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
を含む、請求項18に記載の非一過性コンピュータ可読媒体。
【請求項20】
前記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、請求項18に記載の非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願)
本願は、その全開示が、参照することによってその全体として本明細書に組み込まれる、2020年1月3日に出願された米国仮出願第62/956,876号の優先権を主張する。
【0002】
本開示の種々の実施形態は、概して、画像ベースの試料分類および関連画像処理方法に関する。より具体的には、本開示の特定の実施形態は、臨床および前臨床研究におけるバイオマーカの開発のための一般化汎癌機械学習モデルを開発するために画像を処理するためのシステムおよび方法に関する。
【背景技術】
【0003】
腫瘍学研究では、個人化された療法方略を開発する、腫瘍進行を測定する、および/または療法の効能を評価するために、異なる患者群を階層化することが、ますます重要になっている。そのような階層化に関する現在の実践は、殆どの機械学習システムの必要性と比較して比較的に小さい臨床治験サンプルを使用することである。例えば、多くの第III相臨床治験は、5,000人よりも少ない患者を登録し、第I相および第II相臨床治験は、さらにより少ない患者を登録する(例えば、第1相は、概して、100人未満の患者を登録し、第2相は、概して、300人未満の患者を登録する)。深層学習および多くの他のエンドツーエンド機械学習技法をこれらの小さいデータセットと併用することは、過剰適合に起因して困難であり、これは、モデルが不正確な予測を行うことをもたらす。
【0004】
故に、深層学習および他のエンドツーエンド機械学習技法に関する機械学習技術を、臨床治験を介して提供されるもの等の小さいデータセットとともに適用することが、有益であろう。
【0005】
前述の一般的説明および以下の詳細な説明は、例示的および説明的にすぎず、本開示の制限ではない。本明細書に提供される背景説明は、概して、本開示の文脈を提示する目的のためのものである。本明細書に別様に示されない限り、本節に説明される資料は、本願における請求項の従来技術ではなく、本節における含有によって、従来技術である、または従来技術の示唆と認められるものではない。
【発明の概要】
【課題を解決するための手段】
【0006】
本開示のある側面によると、試料タイプまたは試料性質を組織試料の画像分析から識別または照合するためのシステムおよび方法が、開示される。
【0007】
特殊化機械学習モデルを発生させるための方法は、複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測するステップと、複数の第2の訓練画像を受信するステップであって、第1の訓練画像および第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ステップと、複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信するステップと、複数の第2の訓練画像および個別の標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させるステップと、標的試料に対応する標的画像を受信するステップと、特殊化機械学習モデルを標的画像に適用し、標的画像の少なくとも1つの特性を決定するステップと、標的画像の少なくとも1つの特性を出力するステップとを含む。
【0008】
特殊化機械学習モデルを発生させるためのシステムは、命令を記憶する、メモリと、複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測するステップと、複数の第2の訓練画像を受信するステップであって、第1の訓練画像および第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ステップと、複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信するステップと、複数の第2の訓練画像および個別の標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させるステップと、標的試料に対応する標的画像を受信するステップと、特殊化機械学習モデルを標的画像に適用し、標的画像の少なくとも1つの特性を決定するステップと、標的画像の少なくとも1つの特性を出力するステップとを含む、プロセスを実施するために、命令を実行する、プロセッサとを含む。
【0009】
プロセッサによって実行されると、プロセッサに、特殊化機械学習モデルを発生させるための方法を実施させる、命令を記憶する、非一過性コンピュータ可読媒体であって、本方法は、複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測するステップと、複数の第2の訓練画像を受信するステップであって、第1の訓練画像および第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ステップと、複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信するステップと、複数の第2の訓練画像および個別の標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させるステップと、標的試料に対応する標的画像を受信するステップと、特殊化機械学習モデルを標的画像に適用し、標的画像の少なくとも1つの特性を決定するステップと、標的画像の少なくとも1つの特性を出力するステップとを含む。前述の一般的説明および以下の詳細な説明が両方とも、例示的および説明的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
【図面の簡単な説明】
【0010】
本明細書内に組み込まれ、その一部を成す、付随の図面は、種々の例示的実施形態を図示し、説明とともに、開示される実施形態の原理を解説する役割を果たす。
【0011】
【
図1A】
図1Aは、本開示の例示的実施形態による、病理学画像に基づいて1つまたはそれを上回る特性を決定するためのシステムおよびネットワークの例示的ブロック図を図示する。
【0012】
【
図1B】
図1Bは、本開示の例示的実施形態による、機械学習モデルの例示的ブロック図を図示する。
【0013】
【
図2】
図2は、本開示の例示的実施形態による、標的画像の特性を出力するために、特殊化機械学習モデルを発生させるための例示的方法を図示する、フローチャートである。
【0014】
【
図3】
図3は、本開示の例示的実施形態による、訓練モジュールの例示的ブロック図を図示する。
【0015】
【
図4】
図4は、本開示の例示的実施形態による、一般化機械学習モデルおよび特殊化機械学習モデルの略図を図示する。
【0016】
【
図5】
図5は、本開示の例示的実施形態による、薬物応答予測の例示的実施形態のフローチャートである。
【0017】
【
図6】
図6は、本開示の例示的実施形態による、癌再発予測の例示的実施形態のフローチャートである。
【0018】
【
図7】
図7は、本開示の例示的実施形態による、薬物毒性および組織異常予測の例示的実施形態のフローチャートである。
【0019】
【
図8】
図8は、本明細書に提示される技法を実行し得る、例示的システムを描写する。
【発明を実施するための形態】
【0020】
実施形態の説明
ここで、本開示の例示的実施形態が、詳細に参照され、その実施例は、付随の図面に図示される。可能であるときは常に、同一の参照番号が、同一または同様の部分を指すために、図面全体を通して使用されるであろう。本明細書に使用されるように、用語「例示的」は、「理想的」ではなく、「実施例」の意味において使用される。また、用語「a」および「an」は、本明細書では、数量の限定を示すものではなく、むしろ、参照されるアイテムのうちの1つまたはそれを上回るものの存在を示す。続く議論では、「約」、「実質的に」、「およそ」等の相対的用語は、記載される値、数値、またはその他の±10%またはそれを下回る可能性として考えられる変動を示すために使用される。
【0021】
本明細書に開示されるシステム、デバイス、および方法は、実施例として、図を参照して詳細に説明される。本明細書に議論される実施例は、実施例にすぎず、本明細書に説明される装置、デバイス、システム、および方法の解説を補助するために提供される。図面に示される、または下記に議論される、特徴またはコンポーネントのいずれも、必須として具体的に指定されない限り、これらのデバイス、システム、または方法のうちのいずれかの任意の具体的実装のために必須なものとして捉えられるべきではない。
【0022】
また、説明される任意の方法に関して、方法が、フロー図と併せて説明されるかどうかにかかわらず、文脈によって別様に規定または要求されない限り、方法の実行において実施されるステップの任意の明示的または暗示的順序付けは、それらのステップが、提示される順序で実施されなければならないことを含意するものではなく、代わりに、異なる順序において、または並行して実施され得ることを理解されたい。
【0023】
本明細書に使用されるように、用語「例示的」は、「理想的」ではなく、「実施例」の意味において使用される。また、用語「a」および「an」は、本明細書では、数量の限定を示すものではなく、むしろ、参照されるアイテムのうちの1つまたはそれを上回るものの存在を示す。
【0024】
病理学は、疾患の研究を指す。より具体的には、病理学は、疾患を診断するために使用される、試験および分析を実施することを指す。例えば、組織サンプルが、病理学者(例えば、組織サンプルを分析し、任意の異常が存在するかどうかを決定することにおける専門家である、医師)によって、顕微鏡下で視認されるために、スライド上に設置されてもよい。すなわち、病理学試料は、複数の切片に切断され、染色され、病理学者が検査し、診断を与えるためのスライドとして調製され得る。診断の不確実性が、スライド上で見出されるとき、病理学者は、より多くの情報を組織から集めるために、付加的切断レベル、染色、または他の試験を指示し得る。技師は、次いで、新しいスライドを作成し得、これは、病理学者が診断を行う際に使用するための付加的情報を含有し得る。付加的スライドを作成する本プロセスは、これが組織の塊を採取し、これを切断し、新しいスライドを作製し、次いで、スライドを染色するステップを伴い得るためだけではなく、また、これが複数の指示のために一括化され得るため、時間がかかり得る。これは、病理学者が与える、最終診断を有意に遅延させ得る。加えて、遅延後でも、依然として、新しいスライドが診断を与えるために十分な情報を有するであろう保証がない場合がある。
【0025】
病理学者は、分離して、癌および他の疾患病理学スライドを評価し得る。本開示は、癌および他の疾患の診断を改良するための統合されたワークフローを提示する。ワークフローは、例えば、スライド評価、タスク、画像分析および癌検出人工知能(AI)、注釈、コンサルテーション、および推奨を1つのワークステーション内に統合し得る。特に、本開示は、病理学者の作業を促し、改良するためにワークフローの中に統合され得る、種々の例示的AIツールを説明する。
【0026】
例えば、コンピュータが、組織サンプルの画像を分析し、付加的情報が特定の組織サンプルについて必要とされ得るかどうかを迅速に識別する、および/または病理学者がより詳しく調べるべき面積を強調するために使用されてもよい。本明細書に説明されるように、本分析は、臨床治験等の特殊化タスクまたは潜在的に希少な疾患を有する患者に対して行われ、分析を促進するためにAI技術を使用することをより困難にし得る。したがって、付加的に染色されたスライドおよび試験を取得するプロセスは、病理学者によって精査される前に、自動的に行われてもよい。自動スライド区画化および染色機械および特殊化機械学習モデルと対合されるとき、これは、完全に自動化されたスライド調製パイプラインを提供し得る。本自動化は、少なくとも、(1)病理学者が(例えば、過剰補正に起因して)効果的ではない機械学習モデルを使用することによってスライドの所見を決定することによって浪費される時間量を最小限にする、(2)手動分析または疑わしい機械学習分析を行う付加的時間を回避することによって、試料入手から診断までの(平均総)時間を最小限にする、(3)手動の繰り返されるスライド調製の間に浪費/廃棄される組織物質の量を低減させる、(4)手技を部分的または完全に自動化することによってスライド調製の費用を低減させる、(5)病理学者にとっての付加的試験を要求する諸経費を低減させることによって、それらが特殊化機械学習モデルによって同一の時間に分析されるようにより大量のスライドが組織塊あたりに発生されることを可能にし、より情報が多い/精密な診断に寄与する、および/または(6)デジタル病理学画像の正しい性質(例えば、試料タイプに関する)を識別または照合する等の利益を有する。
【0027】
病理学者を補助するためにコンピュータを使用するプロセスは、算出病理学と呼ばれる。算出病理学のために使用されるコンピューティング方法は、限定ではないが、統計的分析、自律的または機械学習、およびAIを含んでもよい。AIは、限定ではないが、深層学習、ニューラルネットワーク、分類、クラスタ化、および回帰アルゴリズムを含んでもよい。算出病理学を使用することによって、病理学者が、その診断正確度、信頼性、効率、およびアクセス性を改良することに役立てることによって、命が救われ得る。例えば、算出病理学は、癌が疑われるスライドを検出することを補助し、それによって、病理学者が、最終診断を与える前に、その初期査定をチェックおよび確認することを可能にするために使用されてもよい。
【0028】
組織病理学は、スライド上に設置されている試料の研究を指す。例えば、デジタル病理学画像が、試料(例えば、塗抹標本)を含有する、顕微鏡スライドのデジタル化された画像から成ってもよい。病理学者がスライド上の画像を分析するために使用し得る、1つの方法は、核を識別し、核が正常(例えば、良性)または異常(例えば、悪性)であるかどうかを分類することである。病理学者が核を識別および分類することを補助するために、組織学的染色が、細胞を可視化するために使用されてもよい。多くの色素ベースの染色システムが、開発されており、過ヨウ素酸シッフ反応、マッソントリクローム、ニッスルおよびメチレンブルー、およびヘマトキシリンおよびエオジン(H&E)を含む。医療診断のために、H&Eは、広く使用される色素ベースの方法であり、ヘマトキシリンは、細胞核を青色に染色し、エオジンは、細胞質および細胞外マトリクスを桃色に染色し、他の組織領域は、これらの色の変動を帯びる。しかしながら、多くの場合、H&E染色による組織学的調製は、病理学者が、診断を支援する、または治療を誘導し得る、バイオマーカを視覚的に識別するための十分な情報を提供しない。本状況では、免疫組織化学(IHC)、免疫蛍光、原位置ハイブリダイゼーション(ISH)、または蛍光原位置ハイブリダイゼーション(FISH)等の技法が、使用されてもよい。IHCおよび免疫蛍光は、例えば、組織内の具体的抗原に結合し、具体的着目タンパク質を発現する細胞の視覚的検出を可能にする、抗体の使用を伴い、これは、H&E染色スライドの分析に基づいて、訓練された病理学者に確実に識別可能ではない、バイオマーカを明らかにし得る。ISHおよびFISHは、採用されるプローブのタイプ(例えば、遺伝子コピー数のためのDNAプローブおよびRNA発現の査定のためのRNAプローブ)に応じて、遺伝子のコピーの数または具体的RNA分子の存在量を査定するために採用されてもよい。これらの方法もまた、いくつかのバイオマーカを検出するために十分な情報を提供することができない場合、組織の遺伝子試験が、バイオマーカ(例えば、腫瘍内の具体的タンパク質または遺伝子産物の過剰発現、癌内の所与の遺伝子の増幅)が存在するかどうかを確認するために使用されてもよい。
【0029】
デジタル化された画像は、染色された顕微鏡スライドを示すように調製されてもよく、これは、病理学者が、スライド上の画像を手動で視認し、画像内の染色された異常細胞の数を推定することを可能にし得る。しかしながら、本プロセスは、いくつかの異常が検出することが困難であるため、時間がかかり得、異常を識別する際の誤差につながり得る。機械学習モデルおよびデバイスを使用する算出プロセスが、病理学者が、そうでなければ検出することが困難であり得る、異常を検出することを補助するために使用されてもよい。例えば、AIが、H&Eおよび他の色素ベースの方法を使用して染色された組織のデジタル画像内の顕著な領域からバイオマーカ(タンパク質および/または遺伝子産物の過剰発現、具体的遺伝子の増幅または変異等)を予測するために使用されてもよい。組織の画像は、全スライド画像(WSI)、マイクロアレイ内の組織コアの画像、または組織切片内の選択された着目面積であり得る。H&Eのような染色方法を使用すると、これらのバイオマーカは、人間が付加的試験の支援を伴わずに視覚的に検出または定量化することが困難であり得る。AIを使用し、これらのバイオマーカを組織のデジタル画像から推測することは、患者処置を改良する一方、また、より高速かつより安価となる潜在性を有する。
【0030】
特殊化機械学習モデルによって検出されたバイオマーカが、次いで、患者を治療するために使用されるべき具体的癌薬物または薬物組み合わせ療法を推奨するために使用され得、AIは、検出されたバイオマーカを治療選択肢のデータベースと相関させることによって、成功する可能性が低い、薬物または薬物組み合わせを識別し得る。これは、患者の具体的癌を標的するための免疫療法薬物の自動推奨を促進するために使用されることができる。さらに、これは、患者の具体的サブセットおよび/またはより希少な癌タイプのための個人化された癌治療を可能にするために使用され得る。
【0031】
上記に説明されるように、本開示の算出病理学プロセスおよびデバイスは、統合されたプラットフォームを提供し、実験室情報システム(LIS)と統合しながら、ウェブブラウザまたは他のユーザインターフェースを介して、デジタル病理学画像のデータ取込、処理、および視認を含む、完全に自動化されたプロセスを可能にし得る。さらに、臨床情報が、患者データのクラウドベースのデータ分析を使用して集約されてもよい。データは、病院、診療所、現場研究者等に由来してもよく、機械学習、コンピュータビジョン、自然言語処理、および/または統計的アルゴリズムによって分析され、複数の地理的特異性レベルにおいて、健康パターンのリアルタイム監視および予想を行ってもよい。
【0032】
上記に説明されるAIおよび機械学習技法は、限定された訓練データセットが利用可能である実装に適用されてもよい。限定された訓練データセットは、小規模な研究、臨床治験、および/または希少な疾患に対応し得、したがって、利用可能な訓練データの量は、そのように行うことが、過剰適合をもたらし、結果として、モデルが不正確な予測を行うことをもたらすであろうため、非初期機械学習モデルを訓練するために十分ではない。開示される主題の実装によると、小さいデータセットの限界は、交差する組織タイプを横断して腫瘍特性、形態、および腫瘍微小環境を学習するように構成される一般化機械学習モデル(例えば、汎癌検出モデル)を使用することによって軽減され得る。一般化機械学習モデルは、複数の異なる癌タイプに基づいて、かつ組織学者、ゲノム入力、放射線画像、実験室試験、患者特性、および同等物、またはそれらの組み合わせを含む、複数の異なる入力に基づいて訓練されてもよい。一般化機械学習モデルは、データの小さいセットが利用可能である、小規模な研究、臨床治験等の特殊化タスクのために、または希少な疾患のために予測を行うためにより良好に適した特殊化機械学習モデルを訓練するために使用されてもよい。
【0033】
一般化機械学習モデルは、これが患者特有入力を受信し、癌特性を出力するように構成されるように、画像および他の入力の第1のセットに基づいて訓練されてもよい。癌特性は、癌診断、腫瘍特性評価、バイオマーカ検出、または同等物であってもよい。
【0034】
一般化機械学習モデルは、ローショット学習技法を使用して、特殊化機械学習モデルを発生させるように最適化されてもよい。ローショット学習技法は、一般化機械学習モデルを修正し、より小さいデータセットに関する特殊化バイオマーカ、薬物応答予測、および/または癌転帰予測を開発するために使用されてもよい。より小さいデータセットは、例えば、十分な訓練データを収集するために大規模な臨床治験を行うことが不可能または困難であり得る、小規模な研究、臨床治験からのものである、または希少な疾患に関するものであり得る。故に、開示される主題は、臨床および前臨床研究におけるバイオマーカの開発のために、腫瘍特性、形態、および微小環境を使用する一般化癌機械学習モデルを活用する。
【0035】
本明細書にさらに開示されるように、病理学試料(例えば、組織学、細胞学、免疫組織化学等、またはそれらの組み合わせ)のデジタル画像および任意の関連付けられる情報(例えば、ゲノム、実験室試験、放射線医学、患者特性等)が、受信および記憶されてもよい。各病理学試料は、関連付けられる情報および個別の疾患存在、転帰ステータス(応答、再発等)、および/または任意のバイオマーカの存在についての疾患情報にリンクされてもよい。
【0036】
一般化機械学習モデルは、深層学習を使用してインスタンス化されてもよく、関連付けられる情報および疾患情報にリンクされる大量(例えば、5,000個以上、10,000個以上、100,000個以上、1,000,000以上等)の病理学試料を使用して訓練されてもよい。一般化機械学習モデルは、複数の組織タイプから、癌診断および治療に関連する疾患、バイオマーカ、および/または他の属性を予測するように訓練されてもよい。訓練に基づいて、一般化機械学習モデルは、一般化機械学習モデルの層が、腫瘍特性および正常および異常な組織形態を識別するように調整されるように、多様な異なる組織タイプを横断して癌および/またはバイオマーカの存在を検出してもよい。一般化機械学習モデルは、下流の機械学習アルゴリズムと併用され得る診断特徴を抽出するために使用されてもよい、またはこれは、新しいタスクのために微調整されることができる。
【0037】
特殊化機械学習モデルは、より大きいデータサンプルが取得されることができない、または取得することが困難である、臨床治験(例えば、第1相、第2相、第3相)等の小規模な研究(例えば、1,000個未満のサンプル、3,000個未満のサンプル、4,000個未満のサンプル、5,000個未満のサンプル等)および/または希少な疾患に関する研究を伴う用途のために発生されてもよい。特殊化機械学習モデルは、一般化機械学習モデルが訓練された訓練データセットと異なる特殊化訓練データセットに基づいて、一般化機械学習モデルを修正することによって発生されてもよい。特殊化訓練データセットは、小規模な研究からのものである、または別様に小さいデータセットを伴う特殊化タスクに関連してもよい。一般化機械学習モデルは、規定された機械学習モデルが、一般化機械学習モデルの1つまたはそれを上回る層を活用し、小規模な研究の属性に適合するように1つまたはそれを上回る他の層を調整または置換し得るように、特殊化機械学習モデルを発生させるために修正されてもよい。より具体的には、特殊化機械学習モデルは、一般化機械学習モデルの癌検出、腫瘍特性評価、および/またはバイオマーカ検出能力を活用し、小規模な研究のために構成される特殊化モデルを構築してもよい。
【0038】
図1Aは、本開示の例示的実施形態による、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定するためのシステムおよびネットワークのブロック図を図示する。本明細書にさらに開示されるように、
図1Aのシステムおよびネットワークは、一般化機械学習モデルまたは特殊化機械学習モデルと併用されてもよい。
【0039】
具体的には、
図1Aは、病院、実験室、および/または医師のオフィス等におけるサーバに接続され得る、電子ネットワーク120を図示する。例えば、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125等がそれぞれ、1つまたはそれを上回るコンピュータ、サーバ、および/またはハンドヘルドモバイルデバイスを通して、インターネット等の電子ネットワーク120に接続されてもよい。ある実装によると、電子ネットワーク120はまた、サーバシステム110に接続されてもよく、これは、開示される主題の例示的実施形態による、機械学習モデル100を実装するように構成される、処理デバイスを含んでもよい。
【0040】
医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125は、患者の細胞学試料、組織病理学試料、細胞学試料のスライド、組織学、免疫組織化学、組織病理学試料のスライドのデジタル化された画像、またはそれらの任意の組み合わせを含む、病理学試料の1つまたはそれを上回るカテゴリの画像を作成または別様に取得してもよい。医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125はまた、年齢、医療既往歴、癌治療既往歴、家族歴、過去の生検、または細胞学情報等の患者特有の情報の任意の組み合わせを取得してもよい。医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125は、電子ネットワーク120を経由して、デジタル化されたスライド画像および/または患者特有の情報をサーバシステム110に伝送してもよい。サーバシステム110は、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの少なくとも1つから受信される画像およびデータを記憶するための1つまたはそれを上回る記憶デバイス109を含んでもよい。サーバシステム110はまた、記憶デバイス109内に記憶される画像およびデータを処理するための処理デバイスを含んでもよい。サーバシステム110はさらに、機械学習モデル100を介した1つまたはそれを上回る機械学習ツールまたは能力を含んでもよい。例えば、処理デバイスは、一実施形態による、機械学習モデル100として示されるような一般化機械学習モデルまたは特殊化機械学習モデルを含んでもよい。代替として、または加えて、本開示(または本開示のシステムおよび方法の一部)は、ローカル処理デバイス(例えば、ラップトップ)上で実施されてもよい。
【0041】
医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125は、スライドの画像を精査するために、病理学者によって使用されるシステムを指す。病院設定では、組織タイプ情報は、LIS125内に記憶されてもよい。
【0042】
図1Bは、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定するための機械学習モデル100の例示的ブロック図を図示する。
【0043】
具体的には、
図1Bは、一実施形態による、機械学習モデル100のコンポーネントを描写する。例えば、機械学習モデル100は、試料特性評価ツール101と、データ取込ツール102と、スライド取入ツール103と、スライド走査装置104と、スライドマネージャ105と、記憶装置106と、視認アプリケーションツール108とを含んでもよい。明確化のために、
図1Aおよび1Bに示される機械学習モデル100は、以前に訓練および発生された機械学習モデル(例えば、一般化機械学習モデル、特殊化機械学習モデル等)である。付加的開示が、機械学習モデル100として使用され得る異なるタイプの機械学習モデルを訓練および発生させるために本明細書に提供される。
【0044】
試料特性評価ツール101は、本明細書に説明されるように、一般化機械学習モデルまたは特殊化機械学習モデル等の機械学習モデルを使用して、デジタル病理学画像に関する試料性質または画像性質等の特性(例えば、癌特性)を決定するためのプロセスおよびシステムを指す。
【0045】
データ取込ツール102は、例示的実施形態による、デジタル病理学画像を特性評価および処理するために使用される、機械学習モデル100の種々のツール、モジュール、コンポーネント、およびデバイスへのデジタル病理学画像の転送を促進するためのプロセスおよびシステムを指す。
【0046】
スライド取入ツール103は、例示的実施形態による、病理学画像を走査し、それらをデジタル形態に変換するためのプロセスおよびシステムを指す。スライドは、スライド走査装置104を用いて走査されてもよく、スライドマネージャ105は、スライド上の画像をデジタル化された病理学画像に処理し、デジタル化された画像を記憶装置106内に記憶してもよい。
【0047】
視認アプリケーションツール108は、例示的実施形態による、ユーザ(例えば、病理学者)に、デジタル病理学画像に関する特性評価または画像性質情報を提供するためのプロセスおよびシステムを指す。情報は、種々の出力インターフェース(例えば、画面、モニタ、記憶デバイス、および/またはウェブブラウザ等)を通して提供されてもよい。実施例として、視認アプリケーションツール108は、デジタル病理学画像にわたってオーバーレイ層を適用してもよく、オーバーレイ層は、重要な考慮する面積を強調してもよい。オーバーレイ層は、機械学習モデル100の試料特性評価ツール101の出力であってもよい、またはそれに基づいてもよい。
【0048】
試料特性評価ツール101およびそのコンポーネントはそれぞれ、ネットワーク120を経由して、デジタル化されたスライド画像および/または患者情報を、サーバシステム110、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125に伝送し、および/またはそこから受信してもよい。さらに、サーバシステム110は、試料特性評価ツール101、データ取込ツール102、スライド取入ツール103、スライド走査装置104、スライドマネージャ105、および視認アプリケーションツール108のうちの少なくとも1つから受信される画像およびデータを記憶するための記憶デバイスを含んでもよい。サーバシステム110はまた、記憶デバイス内に記憶される画像およびデータを処理するための処理デバイスを含んでもよい。サーバシステム110はさらに、例えば、処理デバイスに起因して、1つまたはそれを上回る機械学習ツールまたは能力を含んでもよい。代替として、または加えて、本開示(または本開示のシステムおよび方法の一部)は、ローカル処理デバイス(例えば、ラップトップ)上で実施されてもよい。
【0049】
試料特性評価ツール101は、機械学習モデル100の出力(例えば、一般化機械学習モデル、特殊化機械学習モデル等)を提供してもよい。実施例として、スライド取入ツール103およびデータ取込ツール102は、一般化機械学習モデルまたは特殊化機械学習モデルへの入力を受信してもよく、試料特性評価ツールは、データに基づいてスライド内のバイオマーカを識別し、視認アプリケーションツール108を介してバイオマーカを強調する画像を出力してもよい。
【0050】
上記のデバイス、ツール、およびモジュールのうちのいずれかは、1つまたはそれを上回るコンピュータ、サーバ、および/またはハンドヘルドモバイルデバイスを通して、インターネットまたはクラウドサービスプロバイダ等の電子ネットワーク120に接続され得る、デバイス上に位置してもよい。
【0051】
図2は、開示される主題の例示的実装による、特殊化標的画像の少なくとも1つの特性を出力するためのフローチャート200を示す。
図2の202において、一般化機械学習モデルが、発生されてもよい。一般化機械学習モデルは、診断、組織特性評価、バイオマーカ検出、または同等物等の少なくとも1つの癌特性を予測するために発生されてもよい。一般化機械学習モデルは、ヒト組織、動物組織、または任意の適用可能な組織等の組織試料の画像および/またはヒト組織、動物組織、または任意の他の適用可能な組織を複製するようにアルゴリズム的に発生される画像に基づいて、異なる癌タイプに関する予測(例えば、バイオマーカ検出)を行ってもよい。組織試料は、単一の組織試料または複数の組織試料からのものであってもよい。204において、一般化機械学習モデルは、本明細書にさらに開示されるように、
図3の訓練モジュール300等の訓練モジュールにおいて受信される、決定される、および/または位置してもよい。206において、ヒト組織、動物組織、または任意の適用可能な組織の複数の特殊化訓練画像および/またはヒト組織、動物組織、または任意の適用可能な組織を複製するようにアルゴリズム的に発生される画像が、受信されてもよい。複数の特殊化訓練画像は、限定された量のデータのみが利用可能である、小規模な研究(例えば、臨床治験、希少な疾患等)に対応してもよい。特殊化訓練画像は全て、本明細書に開示されるように、同一のカテゴリの病理学試料に対応してもよい。208において、個別の特殊化訓練画像にそれぞれ関連する複数の標的特殊化属性が、受信されてもよい。属性は、特殊化訓練画像が発生される患者に基づいて、個別の患者に関連してもよく、個別の手技、個別の治療、および/または他の個別の属性に基づいてもよい。210において、特殊化機械学習モデルが、206において受信された複数の特殊化画像および208において受信された標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって発生されてもよい。210において発生される特殊化機械学習モデルは、
図1Aの機械学習モデル100に対応してもよい。
【0052】
特殊化機械学習モデルを使用して分析されるべき標的画像が、212において受信される。標的画像は、206において受信された複数の特殊化訓練画像によって表される特殊化訓練データセットに基づいて分析されるべき画像に対応してもよい。214において、特殊化機械学習モデルは、標的画像の少なくとも1つの特性を決定するために、標的画像に適用されてもよい。標的画像の少なくとも1つの特性は、本明細書にさらに議論されるように、例えば、報告、表示、または任意の他の適用可能な出力を介して出力されてもよい。
【0053】
図2の202において発生される一般化機械学習モデルは、深層学習を使用してインスタンス化され得る、エンドツーエンド機械学習モジュールであってもよい。一般化機械学習モデルは、1つを上回る組織タイプを横断する癌の存在または不在(例えば、前立腺癌、乳癌、膀胱癌等)を検出してもよい。これはまた、付加的バイオマーカまたは病期分類のために重要な情報を検出してもよい。例えば、膀胱癌に関して、一般化機械学習モデルは、膀胱癌病期分類のために検出される必要がある筋肉である、固有筋層の存在または不在を出力してもよい。一般化機械学習モデルは、複数の組織タイプから癌治療に関連する疾患、バイオマーカ、または他の属性を予測するために、大量のデータを用いて訓練されてもよい。本プロセスを通して、これは、その層が、腫瘍特性および正常および異常な組織形態を理解した上で構築されるように、多様な異なる組織タイプを横断して癌および/またはバイオマーカの存在を検出してもよい。本明細書にさらに開示されるように、一般化機械学習モデルは、下流の機械学習アルゴリズムと併用され得る診断特徴を抽出するために使用されてもよい、またはこれは、新しいタスクのために「微調整」されることができる。
【0054】
202において一般化機械学習モデルを発生させるために、病理学試料(例えば、組織学、細胞学、免疫組織化学等)の多数のデジタル画像を含む患者データセットが、受信されてもよい。病理学試料は、本明細書に開示されるように、物理的生検サンプルに基づいて発生されるデジタル画像であってもよい、または、例えば、レンダリングシステムまたは生成的敵対的モデルによってヒト組織、動物組織、または任意の適用可能な組織を複製するようにアルゴリズム的に発生される画像であってもよい。患者関連付け情報(ゲノム情報、実験室試験、放射線医学、患者特性、患者情報、治療情報等)もまた、患者データセットの一部として受信されてもよい。加えて、機械学習モデルの訓練の一部として、各患者データセットは、疾患存在/不在、病期分類変数の存在(例えば、膀胱癌に関する固有筋層)、癌の形態の分類(例えば、乳癌に関する小葉または乳管)、および異なる癌タイプに関する他の関連する変数、転帰ステータス(例えば、応答、再発等)、および/または任意のバイオマーカの存在等の癌特性出力(例えば、バイオマーカ)についての情報またはインジケーションと対合されてもよい。
【0055】
患者データセット、患者関連付け情報、および/または癌特性出力は、サーバシステム110、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちのいずれか1つまたは任意の組み合わせから受信されてもよい。訓練のために使用される画像は、現実の源(例えば、ヒト、動物等)に由来してもよい、または合成ソース(例えば、グラフィックスレンダリングエンジン、3Dモデル等)に由来してもよい。デジタル病理学画像の実施例は、(a)(限定ではないが)H&E、ヘマトキシリンのみ、IHC、分子病理学等の種々の染料で染色されたデジタル化されたスライドおよび/または(b)マイクロCT等の3D撮像デバイスからのデジタル化された組織サンプルを含んでもよい。
【0056】
一般化機械学習モデルは、癌特性出力と対合される患者データセットおよび患者関連付け情報を機械学習アルゴリズムに適用することに基づいて発生されてもよい。機械学習アルゴリズムは、入力として、病理学試料、患者関連付け情報、および癌特性出力を受け取り、1つまたはそれを上回る技法を使用して訓練を実装してもよい。例えば、一般化機械学習モデルは、1つまたはそれを上回る畳み込みニューラルネットワーク(CNN)、複数インスタンス学習またはマルチラベル複数インスタンス学習を伴うCNN、リカレントニューラルネットワーク(RNN)、長短期記憶RNN(LSTM)、ゲート付き回帰型ユニットRNN(GRU)、グラフ畳み込みネットワーク、または同等物、またはそれらの組み合わせにおいて訓練されてもよい。畳み込みニューラルネットワークは、直接、特性を判別するために必要な画像特徴表現を学習することができ、これは、試料毎に訓練するべき大量のデータが存在するとき、非常に良好に機能することができる一方、他の方法は、従来的なコンピュータビジョン特徴、例えば、SURFまたはSIFTのいずれかまたは訓練された畳み込みニューラルネットワークによって生成される学習された埋込(例えば、記述子)と併用されることができ、これは、訓練するべき少量のデータのみが存在するとき、利点をもたらすことができる。訓練された機械学習モデルは、患者データおよび患者関連付け情報に基づいて、出力として癌特性を提供するように構成されてもよい。
【0057】
一般化機械学習モデルは、患者データセット(例えば、病理学試料(例えば、組織学、細胞学、免疫組織化学等)の1つまたはそれを上回るデジタル画像)および患者関連付け情報(ゲノム、実験室試験、放射線医学、患者特性等)を受信してもよい。一般化機械学習モデルの訓練されたアルゴリズムは、患者データセットおよび患者関連付け情報に適用され、デジタル画像内の癌の1つまたはそれを上回る領域等の1つまたはそれを上回る癌特性を決定してもよい。癌特性は、存在する場合、一般化機械学習モデルが、癌タイプを横断して癌特性を提供し得るように、癌特有ではない場合がある。癌特性は、1つまたはそれを上回るデジタルスライドを横断して空間的に変動している場合がある。
【0058】
一般化機械学習モデルの出力(すなわち、存在する場合、1つまたはそれを上回る癌特性)は、記憶コンポーネント(例えば、クラウド記憶装置、ハードドライブ、ネットワークドライブ等)に提供されてもよい。空間的に変動する決定が、行われる場合、対応する癌特性は、例えば、座標、ビットマスク、オーバーレイ、または同等物、またはそれらの組み合わせとしてデジタル表示のために提供されてもよい。
【0059】
図3は、本明細書にさらに開示されるように、一般化機械学習モデルまたは特殊化機械学習モデルのいずれかを訓練するための例示的訓練モジュール300を示す。
図3に示されるように、訓練データ302は、病理学画像304(例えば、生検画像のデジタル表現)、患者データ306(例えば、患者データセット)、および患者データ306に関連する既知の転帰308(例えば、癌特性)のうちの1つまたはそれを上回るものを含んでもよい。訓練データ302および訓練アルゴリズム310は、機械学習モデルを発生させるために、訓練アルゴリズム310に訓練データ302を適用し得る訓練コンポーネント320に提供されてもよい。
【0060】
図2の206において、ヒト組織、動物組織、または任意の適用可能な組織の複数の標的特殊化訓練画像および/またはヒト組織、動物組織、または任意の適用可能な組織を複製するようにアルゴリズム的に発生される画像が、提供されてもよい。標的特殊化訓練画像は、小規模研究において発生される画像に対応してもよく、具体的癌ベースの実装を対象としてもよい。病理学試料は、本明細書に開示されるように、物理的生検サンプルに基づいて発生されるデジタル画像であってもよい、または、例えば、レンダリングシステムまたは生成的敵対的モデルによってヒト組織、動物組織、または任意の適用可能な組織を複製するようにアルゴリズム的に発生される画像であってもよい。
【0061】
標的特殊化タスク(例えば、希少な疾患、小規模な研究、臨床治験等に対応する)に関する標的特殊化訓練画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちのいずれか1つまたは任意の組み合わせから受信されてもよい。訓練のために使用される画像は、現実の源(例えば、ヒト、動物等)に由来してもよい、または合成ソース(例えば、グラフィックスレンダリングエンジン、3Dモデル等)に由来してもよい。そのようなデジタル病理学画像の実施例は、(a)(限定ではないが)H&E、ヘマトキシリンのみ、IHC、分子病理学等の種々の染料で染色されたデジタル化されたスライドおよび/または(b)マイクロCT等の3D撮像デバイスからのデジタル化された組織サンプルを含んでもよい。
【0062】
一般化機械学習モデルの訓練データセットの一部として受信される画像と比較して、特殊化機械学習モデルを訓練するための標的特殊化訓練画像の数は、(例えば、1または2のマグニチュードだけ)実質的に少なくあり得る。より少ない数の標的特殊化訓練画像は、より多数の訓練データが利用可能ではない、小規模な研究、臨床治験、または希少な疾患に関する標的特殊化タスクに対応する標的特殊化訓練画像の結果であり得る。
【0063】
208において、個別の特殊化訓練画像に関連する複数の標的特殊化属性が、受信されてもよい。標的特殊化属性は、訓練画像と対合されてもよく、患者関連付け情報(ゲノム情報、実験室試験、放射線医学、患者特性、患者情報、治療情報等)を含んでもよい。加えて、標的特殊化属性は、疾患存在/不在、病期分類変数の存在、薬物応答、毒性、癌の形態の分類、および異なる癌タイプに関する他の関連する変数、転帰ステータス、および/または任意のバイオマーカの存在等の癌特性出力(例えば、バイオマーカ)についての情報またはインジケーションを含んでもよい。
【0064】
図2の210において、特殊化機械学習モデルが、標的特殊化タスクに関して発生されてもよい。特殊化機械学習モデルは、最初に、標的特殊化タスクに関する適切な出力を有するように一般化機械学習モデルを修正することによって、一般化機械学習モデルを修正することによって発生されてもよい。一般化機械学習モデルは、種々の癌タイプおよび他の出力標的(例えば、癌の重症度、存在する変異等)と関連付けられるデータを利用して訓練されてもよい。一般化機械学習モデルは、対応する組織が関連付けられる癌タイプを具体的に提供することなく、異なるタイプの癌タイプに関する腫瘍領域/特性を認識することが可能であり得る。異なるタイプの癌に関する領域/特性を認識するそのような能力は、一般化機械学習モデルに、より少ないデータが存在する他のタスクに関して効果的に機能する内部表現(例えば、パラメータ、層、層と関連付けられる加重、関係等)を提供する。ある実装によると、バイオマーカ検出システム(例えば、特殊化機械学習モデル)が、一般化機械学習モデルのパラメータを用いて初期化され、例えば、出力層は、ニューラルネットワークの形態において実装される場合、バイオマーカタスクを推測するように微調整されるように再初期化される。訓練の微調整は、次いで、勾配降下を用いて行われることができる。随意に、本プロセスは、ネットワークが過剰適合する能力を限定するために、ネットワークの最後のM個の層のみを訓練する、またはL2-SP等の方法を使用することによって、抑制されることができる。加えて、特殊化機械学習モデルは、206の複数の特殊化訓練画像および208の複数の標的特殊化属性を使用して、一般化機械学習モデルを修正することによって発生されてもよい。一般化機械学習モデルは、バイオマーカ検出タスクに関する適切な出力を有するように修正されてもよい。加えて、または代替として、一般化機械学習モデルは、特殊化機械学習モデルとの併用のために、サンプルから特徴を抽出するように修正されてもよい。
【0065】
特殊化機械学習モデルは、特殊化タスクおよび関連資料(例えば、特殊化訓練画像、標的特殊化属性等)を使用して、一般化機械学習モデルの1つまたはそれを上回る層を微調整(例えば、再訓練)することによって一般化機械学習モデルを修正することによって、少量のデータを使用して発生されてもよい。微調整は、L2-SP、深層学習転移(DELTA)(例えば、特徴マップを使用する)、および/または一般化を改良するように設計される1つまたはそれを上回る他のアプローチを使用して行われてもよい。代替として、または加えて、特殊化機械学習モデルは、一般化を改良するために、一般化機械学習モデルの上に構築される大マージン法を使用して発生されてもよい。代替として、または加えて、特殊化機械学習モデルは、ローショット学習に関する方法を使用して発生されてもよい。代替として、または加えて、特殊化機械学習モデルは、一般化機械学習モデルを使用して、特徴を抽出し、次いで、それらの特徴に基づいてモデルを訓練して(例えば、最近傍、ランダムフォレスト、サポートベクターマシン、ニューラルネットワーク等)発生されてもよい。
【0066】
特殊化機械学習モデルは、一般化機械学習モデルを使用して、深層学習において転移学習を実施することによって発生されてもよい。転移学習は、加重初期化スキームまたは特徴抽出方法のいずれかとして、特殊化機械学習モデルの訓練を加速させるために使用されてもよい。十分に多数のインスタンスを伴う訓練データセットによって事前訓練される一般化機械学習モデルの加重は、ランダムな初期化よりも、標的特殊化タスクベースの特殊化機械学習モデルに関してより良好な初期化を提供し得る。
【0067】
加重初期化スキームによると、下位畳み込み層における加重は、固定されてもよく、上位層における加重は、標的タスクおよびその関連資料(例えば、特殊化訓練画像、標的特殊化属性等)からのデータを使用して再訓練されてもよい。再使用される層における加重は、訓練プロセスのための出発点として使用され、標的タスクに応答して適合されてもよい。本加重初期化スキームは、転移学習をあるタイプの加重初期化スキームとして扱ってもよい。
【0068】
代替として、特徴抽出スキームによると、一般化機械学習ネットワークの加重は、再使用される層の後の新しい層のみが、それらの出力を解釈するように訓練され得るように、標的タスクに応答して、特殊化機械学習ネットワークを訓練するときに適合されなくてもよい。
【0069】
故に、一般化機械学習モデルおよび特殊化機械学習モデルは、1つまたはそれを上回る層を共有してもよく、相互と異なる少なくとも1つの層を有してもよい。実施例として、一般化機械学習モデルの出力層は、特殊化機械学習モデルにおいて入力として受信された標的画像が、同一の標的画像が一般化機械学習モデルにおいて入力として受信された場合と異なる結果を提供するように、
図2の210において修正されてもよい。
【0070】
図2の210において、特殊化機械学習モデルは、一般化機械学習モデルを訓練するための本明細書に説明されるものに類似する様式で
図3の訓練モジュール300を使用して訓練されてもよい。
図3に示されるように、訓練データ302は、病理学画像304(例えば、生検画像のデジタル表現)、患者データ306(例えば、患者データセット)、および患者データ306に関連する既知の転帰308(例えば、癌特性)のうちの1つまたはそれを上回るものを含んでもよい。病理学画像304は、
図2の206の特殊化訓練画像を含んでもよい。既知の転帰308は、
図2の208の標的特殊化属性を含んでもよい。訓練データ302および訓練アルゴリズム310は、特殊化機械学習モデルを発生させるために、訓練アルゴリズム310に訓練データ302を適用し得る訓練コンポーネント320に提供されてもよい。
【0071】
図4は、一般化機械学習モデル400および特殊化機械学習モデル420を示す、略図である。一般化機械学習モデルは、いくつかの内側層402および第1の外側層404および第2の外側層406を有してもよい。ある実施例によると、外側層は、内側層と比較して、機械学習モデルの訓練において後で形成される層であってもよい。別の実施例によると、外側層は、より一般的である内側層と比較して、より具体的であってもよい。一般化機械学習モデル400は、本明細書に開示されるように、異なる癌タイプを横断して癌特性を出力するために、大量の訓練データを使用して発生されてもよい。一般化機械学習モデル400は、
図2の206の特殊化訓練画像および標的特殊化属性208とともに、訓練モジュール300に提供されてもよい。
【0072】
訓練モジュール300は、一般化機械学習モデルの内側層402を維持し、第1の外側層404および第2の外側層406を第1の外側層424および第2の外側層426に修正することによって、特殊化機械学習モデル420を発生させるように構成されてもよい。特殊化機械学習モデル420の訓練は、内側層402に基づいて初期化されてもよく、訓練モジュール300は、
図2の206の特殊化訓練画像および標的特殊化属性208に基づいて、第1の外側層404および第2の外側層406を置換、修正、または微調整してもよい。故に、特殊化機械学習モデル420は、比較的に少量のデータを使用して訓練されてもよく、一般化機械学習モデル400の以前に訓練された内側層402を活用してもよい。一般化機械学習モデル400が、癌特性を識別するように訓練されるため、内側層402は、内側層402を伴わずに特殊化機械学習モデル420を初期化するよりも、特殊化機械学習モデル420に関してより適用可能な初期化を提供し得る。
【0073】
第1の外側層404および第2の外側層406が、修正されるように示されるが、一般化機械学習モデル400における層の合計数を下回る任意の数の層が、特殊化機械学習モデル420を発生させるために修正され得ることを理解されたい。実施例として、第2の外側層406は、出力層であってもよく、一般化機械学習モデルの出力層のみが、特殊化機械学習モデル420を発生させるときに修正されてもよい。加えて、一般化機械学習モデル400の内側層402が、特殊化機械学習モデル420を訓練するときに維持されるが、開示される主題の実装が、内側層に限定されないことを理解されたい。一般化機械学習モデル400の任意の適用可能な層が、特殊化機械学習モデル420を発生させるために維持または修正/置換されてもよい。
【0074】
特殊化機械学習モデルは、癌タイプを横断した1つまたはそれを上回るバイオマーカを決定する等のために、予測を行うために使用されてもよい。特殊化機械学習モデルは、1つまたはそれを上回るスライド画像内の1つまたはそれを上回るバイオマーカの存在または不在を決定してもよい。本決定は、スライドの異なる領域内の異なる腫瘍が、異なるバイオマーカの存在または不在を有するように決定されるように、標的画像(例えば、デジタル病理学スライド)を横断して空間的に変動している場合がある。
【0075】
210において発生される機械学習モデルは、
図1Aの機械学習モデル100と同一である、またはそれに類似し得、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125等のうちの1つまたはそれを上回るものから標的画像および患者情報を受信してもよい。212において、標的試料に対応する標的画像が、受信されてもよい。214において、特殊化機械学習モデルは、標的画像の少なくとも1つの特性を決定するために、標的画像に適用されてもよい。少なくとも1つの特性は、発生された特殊化機械学習モデルに基づく標的特殊化タスクと関連付けられる癌特性であってもよい。216において、標的画像の少なくとも1つの特性は、1つまたはそれを上回る出力インターフェース(例えば、画面、モニタ、記憶デバイス、および/またはウェブブラウザ等)を介して出力されてもよい。出力される特性は、試料タイプ(例えば、癌予測、薬物応答、癌再発率、毒性、組織異常等)であってもよい。故に、216における出力は、212において受信された標的画像に基づく試料タイプの予測であってもよい。実施例として、
図1Aの視認アプリケーションツール108は、デジタル病理学画像にわたってオーバーレイ層を適用してもよく、オーバーレイ層は、重要な考慮する面積を強調してもよい。出力は、座標、ビットマスク、オーバーレイ、または同等物、またはそれらの組み合わせとして提供されてもよい。
【0076】
特殊化機械学習モデルは、限定ではないが、臨床治験における患者階層化のための薬物応答予測、癌再発予測、薬物毒性または異常予測、または同等物等のいくつかの実装のために使用されてもよい。
【0077】
図5は、薬物応答予測のために、一般化機械モデルを使用して発生される、特殊化機械学習モデルの例示的実装を示す。治験薬物に関するバイオマーカの開発は、従来的に、サンプルサイズが、典型的には、5,000人未満の患者である臨床研究を通して行われる。そのような小さいデータセットでは、原因となる疾患機構を完全に理解し、治療に関する患者特性を予測することは、困難である。腫瘍のその形態を完全に特性評価する一般化機械学習モデルを含む、本明細書に開示される技法は、臨床治験において治療に応答するであろう患者および応答の内容を識別するためのバイオマーカを検出するための初期化ステップとして使用されることができる。
図5に示されるように、502において、一般化機械学習モデルが、502において受信されてもよい。一般化機械学習モデルは、504において薬物応答予測出力を有するように調節されてもよい。調節は、一般化機械学習モデルの1つまたはそれを上回る層における加重および/または一般化機械学習モデルの出力層の加重を調節する、および/または一般化機械学習モデルの出力の属性を修正することによって行われてもよい。
【0078】
調節された機械学習モデルは、訓練モジュール300に提供されてもよい。訓練モジュール300は、一般化機械学習モデルの1つまたはそれを上回る層(例えば、内側層)を維持し、機械学習モデルの1つまたはそれを上回る層(例えば、外側層)を修正することによって、510において、特殊化機械学習モデルを発生させるように構成されてもよい。特殊化機械学習モデルは、比較的に少量のデータを使用して訓練されてもよく、一般化機械学習モデルの以前に訓練された層を活用してもよい。特殊化機械学習モデルは、標的薬物を提供された患者に関する病理学画像および対応する患者データを提供することによって訓練されてもよい。加えて、標的薬物の既知の転帰もまた、特殊化機械学習モデルを訓練するために、訓練モジュール300に提供されてもよい。
【0079】
510において、特殊化機械学習モデルは、520において受信された一般化機械学習モデルを修正し、標的薬物を提供される患者からの特殊化訓練画像および薬物に対するそれらの既知の応答に基づいて訓練することに基づいて発生されてもよい。510において発生された特殊化機械学習モデルは、1つまたはそれを上回る標的画像に基づいて、薬物応答転帰を予測するために使用されてもよい。
図5は、
図2のステップ212、214、および216を示し、これらのステップに関連する開示は、簡潔にするためにここでは繰り返されない。212において、標的試料に対応する標的画像が、受信されてもよい。214において、510において発生された特殊化機械学習モデルが、標的画像の特性を決定するために、標的画像に適用されてもよい。
図5に提供される実装では、標的画像の特性は、標的画像が捕捉された患者が標的薬物に対して有し得る応答(例えば、肯定的、否定的、中性、問題の予測等)であってもよい。216において、特性は、本明細書に提供される開示に従って、出力されてもよい。
【0080】
ある実装によると、
図5(すなわち、502において)、
図6(すなわち、602において)、および
図7(すなわち、702において)において提供される例示的実装において受信される一般化機械学習モデルは、同一の一般化機械学習モデルであってもよい。510、610、および710において発生される個別の特殊化機械学習モデルはそれぞれ、一般化機械学習モデルからの層の全てまたはいくつかを使用して初期化されてもよい。しかしながら、510、610、および710において発生される個別の特殊化機械学習モデルはそれぞれ、それらがそれらの具体的特殊化タスクのそれぞれに調整されるように、異なってもよい。故に、510、610、および710において発生される特殊化機械学習モデルのそれぞれに提供される所与の入力画像は、510、610、および710において発生される特殊化機械学習モデルの間の差異に基づいて、異なる出力をもたらし得る。
【0081】
図6は、癌再発予測のために、一般化機械モデルを使用して発生される、特殊化機械学習モデルの例示的実装を示す。癌の再発は、治療(例えば、成功または失敗した治療)後に癌が再発するときに起こり得る。癌が再発するであろうかどうかを把握することは、より良好な治療計画を可能にし得る。例えば、1つまたはそれを上回る所与の治療(例えば、免疫療法、キメラ抗原受容体T(CART-T)細胞ベースの療法等)に基づく潜在的再発確率を把握することは、患者毎の治療のカスタマイズまたは調整を可能にし得る。加えて、より新しい治療機構は、後期の腫瘍の再発に影響を及ぼし得、そのような後期の再発と関連付けられる確率を把握することは、再発率を軽減することに役立ち得る。しかしながら、従来的研究から直接癌再発を査定するための機械学習モデルを構築することは、限定された数のデータセットに起因して、困難である。腫瘍のその形態を特性評価する一般化機械学習モデルを含む、本明細書に開示される技法は、限定されたデータセットを伴う研究において癌再発を予測するための特殊化機械学習モデルを開始するために使用されることができる。
図6に示されるように、602において、一般化機械学習モデルが、602において受信されてもよい。一般化機械学習モデルは、604において癌再発予測出力を有するように調節されてもよい。調節は、一般化機械学習モデルの1つまたはそれを上回る層における加重および/または一般化機械学習モデルの出力層の加重を調節する、および/または一般化機械学習モデルの出力の属性を修正することによって行われてもよい。
【0082】
調節された機械学習モデルは、訓練モジュール300に提供されてもよい。訓練モジュール300は、一般化機械学習モデルの1つまたはそれを上回る層(例えば、内側層)を維持し、機械学習モデルの1つまたはそれを上回る層(例えば、外側層)を修正することによって、610において、特殊化機械学習モデルを発生させるように構成されてもよい。特殊化機械学習モデルは、比較的に少量のデータを使用して訓練されてもよく、一般化機械学習モデルの以前に訓練された層を活用してもよい。特殊化機械学習モデルは、癌再発を呈したか、または癌再発を呈さなかったかのいずれかの患者に関する病理学画像および対応する患者データを提供することによって訓練されてもよい。加えて、癌再発または再発の欠如の既知の転帰もまた、特殊化機械学習モデルを訓練するために、訓練モジュール300に提供されてもよい。
【0083】
610において、特殊化機械学習モデルは、620において受信された一般化機械学習モデルを修正し、癌再発を呈した、または呈さなかった患者からの特殊化訓練画像および薬物に対するそれらの既知の応答に基づいて訓練することに基づいて発生されてもよい。610において発生された特殊化機械学習モデルは、1つまたはそれを上回る標的画像に基づいて、癌再発転帰を予測するために使用されてもよい。
図6は、
図2のステップ212、214、および216を示し、これらのステップに関連する開示は、簡潔にするためにここでは繰り返されない。212において、標的試料に対応する標的画像が、受信されてもよい。214において、610において発生された特殊化機械学習モデルが、標的画像の特性を決定するために、標的画像に適用されてもよい。
図6に提供される実装では、標的画像の特性は、標的画像が捕捉された患者が癌再発を呈し得る確率であってもよい。代替として、または加えて、特性は、標的画像が捕捉された患者が呈し得る癌再発の程度であってもよい。216において、特性は、本明細書に提供される開示に従って、出力されてもよい。
【0084】
図7は、薬物毒性または組織異常予測のために、一般化機械モデルを使用して発生される、特殊化機械学習モデルの例示的実装を示す。薬物開発サイクルでは、潜在的化合物が、動物において、次いで、ヒトにおいて安全性研究を繰り返される。例えば、現在の実践に基づいて、毒性の査定は、動物組織における病理学試験を介して手動で行われる。毒性前臨床研究における動物の数は、非常に限定されており、新しい分子実体の複数の用量の試験を要求し得る。学習された腫瘍形態に基づいて加重される、種々のヒト組織、動物組織、または任意の適用可能な組織に対して訓練された一般化機械学習モデルを含む、本明細書に開示される技法は、前臨床毒性研究に関する予測を行うときに組織(例えば、動物組織)における異常を検出するための初期化ステップとして使用されることができる。
図7に示されるように、702において、一般化機械学習モデルが、702において受信されてもよい。一般化機械学習モデルは、704において薬物毒性または組織異常予測出力を有するように調節されてもよい。調節は、一般化機械学習モデルの1つまたはそれを上回る層における加重および/または一般化機械学習モデルの出力層の加重を調節する、および/または一般化機械学習モデルの出力の属性を修正することによって行われてもよい。
【0085】
調節された機械学習モデルは、訓練モジュール300に提供されてもよい。訓練モジュール300は、一般化機械学習モデルの1つまたはそれを上回る層(例えば、内側層)を維持し、機械学習モデルの1つまたはそれを上回る層(例えば、外側層)を修正することによって、710において、特殊化機械学習モデルを発生させるように構成されてもよい。特殊化機械学習モデルは、比較的に少量のデータを使用して訓練されてもよく、一般化機械学習モデルの以前に訓練された層を活用してもよい。特殊化機械学習モデルは、標的薬物を提供された患者(例えば、ヒトおよび/または動物)に関する病理学画像および対応する患者データを提供することによって訓練されてもよい。加えて、標的薬物の毒性または結果として生じる組織異常の既知の転帰もまた、特殊化機械学習モデルを訓練するために、訓練モジュール300に提供されてもよい。
【0086】
710において、特殊化機械学習モデルは、720において受信された一般化機械学習モデルを修正し、標的薬物を提供される患者からの特殊化訓練画像および薬物からのそれらの既知の毒性または組織異常に基づいて訓練することに基づいて発生されてもよい。710において発生された特殊化機械学習モデルは、1つまたはそれを上回る標的画像に基づいて、薬物毒性または組織異常転帰を予測するために使用されてもよい。
図7は、
図2のステップ212、214、および216を示し、これらのステップに関連する開示は、簡潔にするためにここでは繰り返されない。212において、標的試料に対応する標的画像が、受信されてもよい。214において、710において発生された特殊化機械学習モデルが、標的画像の特性を決定するために、標的画像に適用されてもよい。
図7に提供される実装では、標的画像の特性は、標的画像が捕捉された患者が標的薬物に対して有し得る、毒性または組織異常の存在または不在、または程度であってもよい。216において、特性は、本明細書に提供される開示に従って、出力されてもよい。
【0087】
図8に示されるように、デバイス800は、中央処理ユニット(CPU)820を含んでもよい。CPU820は、例えば、任意のタイプの専用または汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであってもよい。当業者によって理解されるであろうように、CPU820はまた、マルチコア/マルチプロセッサシステム内の単一プロセッサであってもよく、そのようなシステムは、単独で、またはクラスタまたはサーバファーム内で動作するコンピューティングデバイスのクラスタ内で動作する。CPU820は、データ通信インフラストラクチャ810、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ通過スキームに接続されてもよい。
【0088】
デバイス800はまた、主要メモリ840、例えば、ランダムアクセスメモリ(RAM)を含んでもよく、また、二次メモリ830を含んでもよい。二次メモリ830、例えば、読取専用メモリ(ROM)は、例えば、ハードディスクドライブまたはリムーバブル記憶ドライブであってもよい。そのようなリムーバブル記憶ドライブは、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリ、または同等物を備えてもよい。リムーバブル記憶ドライブは、本実施例では、周知の様式において、リムーバブル記憶ユニットから読み取る、および/またはそれに書き込む。リムーバブル記憶ユニットは、フロッピー(登録商標)ディスク、磁気テープ、光ディスク等を備えてもよく、これは、リムーバブル記憶ドライブによって読み取られ、それに書き込まれる。当業者によって理解されるであろうように、そのようなリムーバブル記憶ユニットは、概して、その中に記憶されるコンピュータソフトウェアおよび/またはデータを有する、コンピュータ使用可能記憶媒体を含む。
【0089】
代替実装では、二次メモリ830は、コンピュータプログラムまたは他の命令がデバイス800の中にロードされることを可能にするための他の類似する手段を含んでもよい。そのような手段の実施例は、プログラムカートリッジおよびカートリッジインターフェース(ビデオゲームデバイスに見出されるもの等)、リムーバブルメモリチップ(EPROMまたはPROM等)および関連付けられるソケット、および他のリムーバブル記憶ユニットおよびインターフェースを含んでもよく、これは、ソフトウェアおよびデータが、リムーバブル記憶ユニットからデバイス800に転送されることを可能にする。
【0090】
デバイス800はまた、通信インターフェース(「COM」)860を含んでもよい。通信インターフェース860は、ソフトウェアおよびデータが、デバイス800と外部デバイスとの間で転送されることを可能にする。通信インターフェース860は、モデム、ネットワークインターフェース(イーサネット(登録商標)カード等)、通信ポート、PCMCIAスロットおよびカード、または同等物を含んでもよい。通信インターフェース860を介して転送される、ソフトウェアおよびデータは、信号の形態であってもよく、これは、通信インターフェース860によって受信されることが可能な電子、電磁、光学、または他の信号であってもよい。これらの信号は、デバイス800の通信経路を介して、通信インターフェース860に提供されてもよく、これは、例えば、ワイヤまたはケーブル、光ファイバ、電話回線、携帯電話リンク、RFリンク、または他の通信チャネルを使用して実装されてもよい。
【0091】
ハードウェア要素、オペレーティングシステム、およびそのような機器のプログラミング言語は、性質上、従来的であり、当業者が、それに適正に精通していることが想定される。デバイス800はまた、入力および出力ポート850を含み、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイ等の入力および出力デバイスと接続してもよい。当然ながら、種々のサーバ機能は、いくつかの類似するプラットフォーム上に分散方式で実装され、処理負荷を分散させてもよい。代替として、サーバは、1つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装されてもよい。
【0092】
本開示全体を通して、コンポーネントまたはモジュールの言及は、概して、論理的に、機能または関連機能の群を実施するためにともに群化され得る、アイテムを指す。同様の参照番号は、概して、同一または類似するコンポーネントを指すことを意図している。コンポーネントおよびモジュールは、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせにおいて実装されることができる。
【0093】
上記に説明されるツール、モジュール、および機能は、1つまたはそれを上回るプロセッサによって実施されてもよい。「記憶」タイプ媒体は、随時、ソフトウェアプログラミングのための非一過性記憶装置を提供し得る、種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等のコンピュータ、プロセッサまたは同等物、またはその関連付けられるモジュールの有形メモリのうちのいずれかまたは全てを含んでもよい。
【0094】
ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通して通信されてもよい。例えば、通信は、ソフトウェアを1つのコンピュータまたはプロセッサから別のものの中にロードすることを可能にし得る。本明細書に使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、実行のための命令をプロセッサに提供することに関与する任意の媒体を指す。
【0095】
前述の一般的説明は、例示的および説明的にすぎず、本開示の制限ではない。本発明の他の実施形態は、本明細書の考慮および本明細書に開示される本発明の実践から当業者に明白となるであろう。本明細書および実施例は、例示的にすぎないと見なされることが意図されている。
【手続補正書】
【提出日】2022-08-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
電子画像を処理するためのコンピュータ実装方法であって、前記方法は、
複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測することと、
複数の第2の訓練画像を受信することであって、前記第1の訓練画像および前記第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備え
、第2の訓練画像の数量は、特殊化タスクに対する標的画像の1つまたはそれを上回る特性を出力するための閾値を満たす機械学習モデルを発生させるためには不十分である、ことと、
前記複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
前記複数の第2の訓練画像および個別の標的特殊化属性に基づいて、前記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させること
であって、前記特殊化機械学習モデルは、前記特殊化タスクに対する標的画像の前記1つまたはそれを上回る特性を出力するための前記閾値を満たしており、前記特殊化機械学習モデルは、前記複数の第2の訓練画像および前記標的特殊化属性に基づいて、前記一般化機械学習モデルの既存のセットの層に対する付加的な層を発生させ、前記付加的な層に対する加重を発生させることにより、特徴抽出スキームにしたがって発生される、ことと、
標的試料に対応する標的画像を受信することと、
前記特殊化機械学習モデルを前記標的画像に適用し、前記標的画像の少なくとも1つの特性を決定することと、
前記標的画像の少なくとも1つの特性を出力することと
を含む、方法。
【請求項2】
前記標的画像の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、請求項1に記載のコンピュータ実装方法。
【請求項4】
前記一般化機械学習モデルは、複数の層を備え、前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの1つまたはそれを上回る外側層を修正することを
さらに含む、請求項1に記載のコンピュータ実装方法。
【請求項5】
前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの出力層を除去することを
さらに含む、請求項1に記載のコンピュータ実装方法。
【請求項6】
前記複数の標的特殊化属性は、
疾患存在、病期分類変数の存在、薬物応答、毒性、または癌の分類から選択される特性出力の1つまたはそれを上回る
インジケーションである、請求項1に記載のコンピュータ実装方法。
【請求項7】
前記複数の標的特殊化属性は、薬物応答情報、癌再発予測情報、または毒性査定情報のうちの少なくとも1つに基づく、請求項1に記載のコンピュータ実装方法。
【請求項8】
第2の訓練画像はそれぞれ、同一のカテゴリの病理学試料に基づいて発生される、請求項1に記載のコンピュータ実装方法。
【請求項9】
病理学試料のカテゴリは、組織学、細胞学、免疫組織化学、またはそれらの組み合わせから選択される、請求項8に記載のコンピュータ実装方法。
【請求項10】
一般化機械学習モデルを修正することはさらに、前記標的特殊化属性に基づく出力を有するように前記一般化機械学習モデルを調節することを含む、請求項1に記載のコンピュータ実装方法。
【請求項11】
前記複数の第1の訓練画像は、複数の癌タイプに対応する画像を備える、請求項1に記載のコンピュータ実装方法。
【請求項12】
前記少なくとも1つの癌特性は、癌診断、腫瘍特性評価、またはバイオマーカ検出のうちの1つである、請求項1に記載のコンピュータ実装方法。
【請求項13】
電子画像を処理するためのシステムであって、前記システムは、
命令を記憶する少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、前記少なくとも1つのプロセッサは、前記命令を実行し、
複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測することと、
複数の第2の訓練画像を受信することであって、前記第1の訓練画像および前記第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備え
、第2の訓練画像の数量は、特殊化タスクに対する標的画像の1つまたはそれを上回る特性を出力するための閾値を満たす機械学習モデルを発生させるためには不十分である、ことと、
前記複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
前記複数の第2の訓練画像および前記個別の標的特殊化属性に基づいて、前記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させること
であって、前記特殊化機械学習モデルは、前記特殊化タスクに対する標的画像の前記1つまたはそれを上回る特性を出力するための前記閾値を満たしており、前記特殊化機械学習モデルは、前記複数の第2の訓練画像および前記標的特殊化属性に基づいて、前記一般化機械学習モデルの既存のセットの層に対する付加的な層を発生させ、前記付加的な層に対する加重を発生させることにより、特徴抽出スキームにしたがって発生される、ことと、
標的試料に対応する標的画像を受信することと、
前記特殊化機械学習モデルを前記標的画像に適用し、前記標的画像の少なくとも1つの特性を決定することと、
前記標的画像の少なくとも1つの特性を出力することと
を含む動作を実施する、少なくとも1つのプロセッサと
を備える、システム。
【請求項14】
前記動作はさらに、
前記標的画像の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
を含む、請求項13に記載のシステム。
【請求項15】
前記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、請求項13に記載のシステム。
【請求項16】
前記一般化機械学習モデルは、複数の層を備え、前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの1つまたはそれを上回る外側層を修正することを
さらに含む、請求項13に記載のシステム。
【請求項17】
前記一般化機械学習モデルを修正することは、前記一般化機械学習モデルの出力層を除去することを
さらに含む、請求項13に記載のシステム。
【請求項18】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、プロセッサによって実行されると、前記プロセッサに、電子画像を処理するための動作を実施させ、前記動作は、
複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測することと、
複数の第2の訓練画像を受信することであって、前記第1の訓練画像および前記第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備え
、第2の訓練画像の数量は、特殊化タスクに対する標的画像の1つまたはそれを上回る特性を出力するための閾値を満たす機械学習モデルを発生させるためには不十分である、ことと、
前記複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
前記複数の第2の訓練画像および前記個別の標的特殊化属性に基づいて、前記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させること
であって、前記特殊化機械学習モデルは、前記特殊化タスクに対する標的画像の前記1つまたはそれを上回る特性を出力するための前記閾値を満たしており、前記特殊化機械学習モデルは、前記複数の第2の訓練画像および前記標的特殊化属性に基づいて、前記一般化機械学習モデルの既存のセットの層に対する付加的な層を発生させ、前記付加的な層に対する加重を発生させることにより、特徴抽出スキームにしたがって発生される、ことと、
標的試料に対応する標的画像を受信することと、
前記特殊化機械学習モデルを前記標的画像に適用し、前記標的画像の少なくとも1つの特性を決定することと、
前記標的画像の少なくとも1つの特性を出力することと
を含む、非一過性コンピュータ可読媒体。
【請求項19】
前記動作はさらに、
前記標的画像の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
を含む、請求項18に記載の非一過性コンピュータ可読媒体。
【請求項20】
前記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、請求項18に記載の非一過性コンピュータ可読媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
プロセッサによって実行されると、プロセッサに、特殊化機械学習モデルを発生させるための方法を実施させる、命令を記憶する、非一過性コンピュータ可読媒体であって、本方法は、複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測するステップと、複数の第2の訓練画像を受信するステップであって、第1の訓練画像および第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ステップと、複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信するステップと、複数の第2の訓練画像および個別の標的特殊化属性に基づいて、一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させるステップと、標的試料に対応する標的画像を受信するステップと、特殊化機械学習モデルを標的画像に適用し、標的画像の少なくとも1つの特性を決定するステップと、標的画像の少なくとも1つの特性を出力するステップとを含む。前述の一般的説明および以下の詳細な説明が両方とも、例示的および説明的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
本発明は、例えば、以下を提供する。
(項目1)
電子画像を処理するためのコンピュータ実装方法であって、上記方法は、
複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測することと、
複数の第2の訓練画像を受信することであって、上記第1の訓練画像および上記第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
上記複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
上記複数の第2の訓練画像および個別の標的特殊化属性に基づいて、上記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
上記特殊化機械学習モデルを上記標的画像に適用し、上記標的画像の少なくとも1つの特性を決定することと、
上記標的画像の少なくとも1つの特性を出力することと
を含む、方法。
(項目2)
上記標的画像の少なくとも1つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目3)
上記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、項目1に記載のコンピュータ実装方法。
(項目4)
上記一般化機械学習モデルは、複数の層を備え、上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの1つまたはそれを上回る外側層を修正することを含む、項目1に記載のコンピュータ実装方法。
(項目5)
上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの出力層を除去することを含む、項目1に記載のコンピュータ実装方法。
(項目6)
上記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、項目1に記載のコンピュータ実装方法。
(項目7)
上記複数の標的特殊化属性は、薬物応答情報、癌再発予測情報、または毒性査定情報のうちの少なくとも1つに基づく、項目1に記載のコンピュータ実装方法。
(項目8)
第2の訓練画像はそれぞれ、同一のカテゴリの病理学試料に基づいて発生される、項目1に記載のコンピュータ実装方法。
(項目9)
病理学試料のカテゴリは、組織学、細胞学、免疫組織化学、またはそれらの組み合わせから選択される、項目8に記載のコンピュータ実装方法。
(項目10)
一般化機械学習モデルを修正することはさらに、上記標的特殊化属性に基づく出力を有するように上記一般化機械学習モデルを調節することを含む、項目1に記載のコンピュータ実装方法。
(項目11)
上記複数の第1の訓練画像は、複数の癌タイプに対応する画像を備える、項目1に記載のコンピュータ実装方法。
(項目12)
上記少なくとも1つの癌特性は、癌診断、腫瘍特性評価、またはバイオマーカ検出のうちの1つである、項目1に記載のコンピュータ実装方法。
(項目13)
電子画像を処理するためのシステムであって、上記システムは、
命令を記憶する少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、上記少なくとも1つのプロセッサは、上記命令を実行し、
複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測することと、
複数の第2の訓練画像を受信することであって、上記第1の訓練画像および上記第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
上記複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
上記複数の第2の訓練画像および上記個別の標的特殊化属性に基づいて、上記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
上記特殊化機械学習モデルを上記標的画像に適用し、上記標的画像の少なくとも1つの特性を決定することと、
上記標的画像の少なくとも1つの特性を出力することと
を含む動作を実施する、少なくとも1つのプロセッサと
を備える、システム。
(項目14)
上記動作はさらに、
上記標的画像の少なくとも1つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
を含む、項目13に記載のシステム。
(項目15)
上記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、項目13に記載のシステム。
(項目16)
上記一般化機械学習モデルは、複数の層を備え、上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの1つまたはそれを上回る外側層を修正することを含む、項目13に記載のシステム。
(項目17)
上記一般化機械学習モデルを修正することは、上記一般化機械学習モデルの出力層を除去することを含む、項目13に記載のシステム。
(項目18)
非一過性コンピュータ可読媒体であって、上記非一過性コンピュータ可読媒体は、命令を記憶しており、上記命令は、プロセッサによって実行されると、上記プロセッサに、電子画像を処理するための動作を実施させ、上記動作は、
複数の第1の訓練画像を処理することによって発生された一般化機械学習モデルを受信し、少なくとも1つの癌特性を予測することと、
複数の第2の訓練画像を受信することであって、上記第1の訓練画像および上記第2の訓練画像は、組織試料の画像および/または組織試料を複製するようにアルゴリズム的に発生された画像を備える、ことと、
上記複数の第2の訓練画像の個別の第2の訓練画像にそれぞれ関連する複数の標的特殊化属性を受信することと、
上記複数の第2の訓練画像および上記個別の標的特殊化属性に基づいて、上記一般化機械学習モデルを修正することによって、特殊化機械学習モデルを発生させることと、
標的試料に対応する標的画像を受信することと、
上記特殊化機械学習モデルを上記標的画像に適用し、上記標的画像の少なくとも1つの特性を決定することと、
上記標的画像の少なくとも1つの特性を出力することと
を含む、非一過性コンピュータ可読媒体。
(項目19)
上記動作はさらに、
上記標的画像の少なくとも1つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
を含む、項目18に記載の非一過性コンピュータ可読媒体。
(項目20)
上記複数の標的特殊化属性は、各個別の第2の訓練画像内に存在する1つまたはそれを上回るバイオマーカである、項目18に記載の非一過性コンピュータ可読媒体。
【国際調査報告】