ホーム > 特許ランキング > ＰＡＩＧＥ．ＡＩ， Ｉｎｃ．
知財求人 - 知財ポータルサイト「IP Force」
特開2024-28874コンピュータ検出方法のための電子画像を処理するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024028874
(43)【公開日】2024-03-05
(54)【発明の名称】コンピュータ検出方法のための電子画像を処理するためのシステムおよび方法
(51)【国際特許分類】
G01N 33/48 20060101AFI20240227BHJP
G01N 33/483 20060101ALI20240227BHJP
G16H 30/20 20180101ALI20240227BHJP
G16H 50/00 20180101ALI20240227BHJP
【ＦＩ】
G01N33/48 M
G01N33/483 C
G01N33/48 Z
G16H30/20
G16H50/00
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2023206296
(22)【出願日】2023-12-06
(62)【分割の表示】P 2022544330の分割
【原出願日】2021-01-27
(31)【優先権主張番号】62/966,716
(32)【優先日】2020-01-28
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】518307592
【氏名又は名称】ペイジ．エーアイ インコーポレイテッド
【氏名又は名称原語表記】ＰＡＩＧＥ．ＡＩ， Ｉｎｃ．
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ブランドン ロスロック
(72)【発明者】
【氏名】クリストファー カナン
(72)【発明者】
【氏名】ジュリアン ヴィレ
(72)【発明者】
【氏名】トーマス フックス
(72)【発明者】
【氏名】レオ グラディー
(57)【要約】
【課題】コンピュータ検出方法のための電子画像を処理するためのシステムおよび方法の提供。
【解決手段】組織試料と関連付けられる１つまたはそれを上回る電子スライド画像を受信することであって、組織試料は、患者および／または医療症例と関連付けられる、ことと、１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化することと、第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させることと、複数のタイルのいずれかが非組織に対応するかどうかを決定することと、非組織であると決定される複数のタイルのいずれかを除去することとのためのシステムおよび方法が、開示される。
【選択図】なし
【解決手段】組織試料と関連付けられる１つまたはそれを上回る電子スライド画像を受信することであって、組織試料は、患者および／または医療症例と関連付けられる、ことと、１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化することと、第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させることと、複数のタイルのいずれかが非組織に対応するかどうかを決定することと、非組織であると決定される複数のタイルのいずれかを除去することとのためのシステムおよび方法が、開示される。
【選択図】なし
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本願は、その開示全体が、参照することによってその全体として本明細書に組み込まれる、２０２０年１月２８日に出願された、米国仮出願第６２／９６６，７１６号の優先権を主張する。
本願は、その開示全体が、参照することによってその全体として本明細書に組み込まれる、２０２０年１月２８日に出願された、米国仮出願第６２／９６６，７１６号の優先権を主張する。
【0002】
本開示の種々の実施形態は、概して、電子画像を処理することによって、調製された組織試料に関する標識を予測するための予測モデルを作成するステップに関する。より具体的には、本開示の特定の実施形態は、調製された組織試料についての診断情報を予測、識別、または検出するためのシステムおよび方法に関する。本開示はさらに、初見のスライドから標識を予測する、予測モデルを作成するためのシステムおよび方法を提供する。
【背景技術】
【0003】
組織病理学のための機械学習および深層学習モデルの性能は、これらのモデルを訓練するために使用される注釈が付けられた実施例の量および品質によって限定され得る。教師あり画像分類問題に関する大規模実験は、モデル性能が、約５千万例の訓練実施例を通して、改良し続けることを示している。本量のデータに手動で注釈を付けることは、時間およびコストの両方において、法外に高価であり得、システムが、臨床上関連したレベルにおいて実施され、施設を横断して一般化されることを確実にするには、深刻な限界が存在し得る。
【0004】
前述の一般的説明および以下の発明を実施するための形態は、例示的および説明的にすぎず、本開示の制限ではない。本明細書に提供される背景説明は、概して、本開示の文脈を提示する目的のためのものである。本明細書に別様に示されない限り、本節に説明される資料は、本願における請求項の先行技術ではなく、本節における含有によって、先行技術である、または先行技術の示唆と認められるものではない。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示のある側面によると、デジタル病理学におけるコンピュータバイオマーカ検出のための弱教師ありマルチ標識およびマルチタスク学習を展開するためのシステムおよび方法が、開示される。
【0006】
試料に対応する、電子画像を処理するためのコンピュータ実装方法は、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像を受信するステップと、組織試料と関連付けられる、１つまたはそれを上回る電子スライド画像を受信するステップであって、組織試料は、患者および／または医療症例と関連付けられる、ステップと、１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化するステップと、第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させるステップと、複数のタイルのいずれかが非組織に対応するかどうかを決定するステップと、非組織であると決定される、複数のタイルのいずれかを除去するステップと、機械学習予測モデルを使用して、１つまたはそれを上回る電子スライド画像のための少なくとも１つの標識に関する予測を決定するステップであって、機械学習予測モデルは、複数の訓練画像を処理することによって発生されている、ステップと、訓練された機械学習予測モデルの予測を出力するステップとを含む。
【0007】
試料に対応する、電子画像を処理するためのシステムは、命令を記憶する、メモリと、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像を受信するステップと、組織試料と関連付けられる、１つまたはそれを上回る電子スライド画像を受信するステップであって、組織試料は、患者および／または医療症例と関連付けられる、ステップと、１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化するステップと、第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させるステップと、複数のタイルのいずれかが非組織に対応するかどうかを決定するステップと、非組織であると決定される、複数のタイルのいずれかを除去するステップと、機械学習予測モデルを使用して、１つまたはそれを上回る電子スライド画像のための少なくとも１つの標識に関する予測を決定するステップであって、機械学習予測モデルは、複数の訓練画像を処理することによって発生されている、ステップと、訓練された機械学習予測モデルの予測を出力するステップとを含む、プロセスを実施するための命令を実行する、少なくとも１つのプロセッサとを含む。
【0008】
プロセッサによって実行されると、プロセッサに、試料に対応する電子画像を処理するための方法を実施させる命令を記憶する非一過性コンピュータ可読媒体であって、該方法は、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像を受信するステップと、組織試料と関連付けられる、１つまたはそれを上回る電子スライド画像を受信するステップであって、組織試料は、患者および／または医療症例と関連付けられる、ステップと、１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化するステップと、第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させるステップと、複数のタイルのいずれかが非組織に対応するかどうかを決定するステップと、非組織であると決定される、複数のタイルのいずれかを除去するステップと、機械学習予測モデルを使用して、１つまたはそれを上回る電子スライド画像のための少なくとも１つの標識に関する予測を決定するステップであって、機械学習予測モデルは、複数の訓練画像を処理することによって発生されている、ステップと、訓練された機械学習予測モデルの予測を出力するステップとを含む。
【0009】
前述の一般的説明および以下の発明を実施するための形態は両方とも、例示的および説明的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
本発明は、例えば、以下を提供する。
（項目１）
組織試料に対応する電子スライド画像を処理するためのコンピュータ実装方法であって、上記方法は、
組織試料と関連付けられる１つまたはそれを上回る電子スライド画像を受信することであって、上記組織試料は、患者および／または医療症例と関連付けられる、ことと、
上記１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化することと、
上記第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させることと、
上記複数のタイルのいずれかが非組織に対応するかどうかを決定することと、
非組織であると決定される上記複数のタイルのいずれかを除去することと、
機械学習予測モデルを使用して、上記１つまたはそれを上回る電子スライド画像のための少なくとも１つの標識に関する予測を決定することであって、上記機械学習予測モデルは、複数の訓練画像を処理することによって発生されている、ことと、
訓練された機械学習予測モデルの予測を出力することと、
を含む、コンピュータ実装方法。
（項目２）
非組織であると決定される上記複数のタイルはさらに、上記組織試料の背景であると決定される、項目１に記載のコンピュータ実装方法。
（項目３）
上記複数の組織領域を検出することは、上記組織領域を上記１つまたはそれを上回る電子スライド画像の背景からセグメント化することを含む、項目１に記載のコンピュータ実装方法。
（項目４）
上記組織領域を上記背景からセグメント化することに応じて、組織マスクを発生させることであって、上記セグメント化は、色／強度および／またはテクスチャ特徴に基づいて、閾値処理を使用する、こと
をさらに含む、項目３に記載のコンピュータ実装方法。
（項目５）
上記複数の訓練画像は、複数の電子スライド画像と、複数の標的標識とを備える、項目１に記載のコンピュータ実装方法。
（項目６）
上記複数の訓練画像を処理することは、
少なくとも１つの訓練組織試料と関連付けられるデジタル画像の集合を受信することであって、上記デジタル画像の集合は、複数の訓練電子スライド画像を備える、ことと、
上記複数の訓練電子スライド画像の各々に関し、１つまたはそれを上回る標識を備える複数の総観注釈を受信することと、
上記複数の訓練電子スライド画像のうちの１つを上記複数の訓練電子スライド画像のための複数の訓練タイルにパーティション化することと、
少なくとも１つの組織領域を上記１つまたはそれを上回る電子スライド画像の背景からセグメント化し、訓練組織マスクを作成することと、
非組織であると検出される上記複数のタイルのうちの少なくとも１つを除去することと、
上記機械学習予測モデルを弱教師下で訓練し、上記複数の総観注釈の少なくとも１つの標識を使用して、少なくとも１つのマルチ標識タイルレベル予測を推測することと
を含む、項目１に記載のコンピュータ実装方法。
（項目７）
上記機械学習予測モデルを弱教師下で訓練することは、マルチインスタンス学習（ＭＩＬ）、マルチインスタンスマルチ標識学習（ＭＩＭＬＬ）、自己教師あり学習、および教師なしクラスタ化のうちの少なくとも１つを使用することを含む、項目６に記載のコンピュータ実装方法。
（項目８）
上記複数の訓練画像を処理し、上記機械学習予測モデルを発生させることはさらに、
上記複数の訓練タイルに関する弱教師ありタイルレベル学習モジュールからの少なくとも１つの特徴の複数の予測または複数のベクトルを受信することと、
機械学習モデルを訓練し、入力として、上記複数の訓練タイルに関する上記弱教師ありタイルレベル学習モジュールからの上記少なくとも１つの特徴の上記複数の予測または上記複数のベクトルをとることと、
上記複数の訓練タイルを使用して、スライドまたは患者試料に関する複数の標識を予測することと
を含む、項目６に記載のコンピュータ実装方法。
（項目９）
上記複数の標識のうちの少なくとも１つは、バイナリ、分類別、序数、または実数値である、項目８に記載のコンピュータ実装方法。
（項目１０）
上記機械学習モデルを訓練し、上記入力として、上記複数の訓練タイルに関する上記弱教師ありタイルレベル学習モジュールからの上記少なくとも１つの特徴の上記複数の予測または上記複数のベクトルをとることは、複数の画像特徴を備える、項目８に記載のコンピュータ実装方法。
（項目１１）
上記訓練された機械学習予測モデルは、少なくとも１つの初見のスライドを使用して、少なくとも１つの標識を予測する、項目１に記載のコンピュータ実装方法。
（項目１２）
組織試料に対応する電子スライド画像を処理するためのシステムであって、上記システムは、
命令を記憶する少なくとも１つのメモリと、
少なくとも１つのプロセッサであって、上記少なくとも１つのプロセッサは、上記命令を実行し、
組織試料と関連付けられる１つまたはそれを上回る電子スライド画像を受信することであって、上記組織試料は、患者および／または医療症例と関連付けられる、ことと、
上記１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化することと、
上記第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させることと、
上記複数のタイルのいずれかが非組織に対応するかどうかを決定することと、
非組織であると決定される上記複数のタイルのいずれかを除去することと、
機械学習予測モデルを使用して、上記１つまたはそれを上回る電子スライド画像のための少なくとも１つの標識に関する予測を決定することであって、上記機械学習予測モデルは、複数の訓練画像を処理することによって発生されている、ことと、
訓練された機械学習予測モデルの予測を出力することと
を含む動作を実施するように構成されている、少なくとも１つのプロセッサと
を備える、システム。
（項目１３）
非組織であると決定される上記複数のタイルはさらに、上記組織試料の背景であると決定される、項目１２に記載のシステム。
（項目１４）
上記複数の組織領域を検出することは、上記組織領域を上記１つまたはそれを上回る電子スライド画像の背景からセグメント化することを含む、項目１２に記載のシステム。
（項目１５）
上記組織領域を上記背景からセグメント化することに応じて、組織マスクを発生させることであって、上記セグメント化は、色／強度および／またはテクスチャ特徴に基づいて、閾値処理を使用する、こと
をさらに含む、項目１４に記載のシステム。
（項目１６）
上記複数の訓練画像は、複数の電子スライド画像と、複数の標的標識とを備える、項目１２に記載のシステム。
（項目１７）
上記複数の訓練画像を処理することは、
少なくとも１つの訓練組織試料と関連付けられるデジタル画像の集合を受信することであって、上記デジタル画像の集合は、複数の訓練電子スライド画像を備える、ことと、
上記複数の訓練電子スライド画像の各々に関し、１つまたはそれを上回る標識を備える複数の総観注釈を受信することと、
上記複数の訓練電子スライド画像のうちの１つを上記複数の訓練電子スライド画像のための複数の訓練タイルにパーティション化することと、
少なくとも１つの組織領域を上記１つまたはそれを上回る電子スライド画像の背景からセグメント化し、訓練組織マスクを作成することと、
非組織であると検出される上記複数のタイルのうちの少なくとも１つを除去することと、
上記機械学習予測モデルを弱教師下で訓練し、上記複数の総観注釈の少なくとも１つの標識を使用して、少なくとも１つのマルチ標識タイルレベル予測を推測することと
を含む、項目１２に記載のシステム。
（項目１８）
上記機械学習予測モデルを弱教師下で訓練することは、ＭＩＬ、ＭＩＭＬＬ、自己教師あり学習、および教師なしクラスタ化のうちの少なくとも１つを使用することを含む、項目１７に記載のシステム。
（項目１９）
上記複数の訓練画像を処理し、上記機械学習予測モデルを発生させることはさらに、
上記複数の訓練タイルに関する弱教師ありタイルレベル学習モジュールからの少なくとも１つの特徴の複数の予測または複数のベクトルを受信することと、
機械学習モデルを訓練し、入力として、上記複数の訓練タイルに関する上記弱教師ありタイルレベル学習モジュールからの上記少なくとも１つの特徴の上記複数の予測または上記複数のベクトルをとることと、
上記複数の訓練タイルを使用して、スライドまたは患者試料に関する複数の標識を予測することと
を含む、項目１７に記載のシステム。
（項目２０）
非一過性コンピュータ可読媒体であって、上記非一過性コンピュータ可読媒体は、命令を記憶しており、上記命令は、プロセッサによって実行されると、上記プロセッサに、組織試料に対応する電子スライド画像を処理するための方法を実施させ、上記方法は、
組織試料と関連付けられる１つまたはそれを上回る電子スライド画像を受信することであって、上記組織試料は、患者および／または医療症例と関連付けられる、ことと、
上記１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化することと、
上記第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させることと、
上記複数のタイルのいずれかが非組織に対応するかどうかを決定することと、
非組織であると決定される上記複数のタイルのいずれかを除去することと、
機械学習予測モデルを使用して、上記１つまたはそれを上回る電子スライド画像のための少なくとも１つの標識に関する予測を決定することであって、上記機械学習予測モデルは、複数の訓練画像を処理することによって発生されている、ことと、
訓練された機械学習予測モデルの予測を出力することと
を含む、非一過性コンピュータ可読媒体。
本発明は、例えば、以下を提供する。
（項目１）
組織試料に対応する電子スライド画像を処理するためのコンピュータ実装方法であって、上記方法は、
組織試料と関連付けられる１つまたはそれを上回る電子スライド画像を受信することであって、上記組織試料は、患者および／または医療症例と関連付けられる、ことと、
上記１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化することと、
上記第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させることと、
上記複数のタイルのいずれかが非組織に対応するかどうかを決定することと、
非組織であると決定される上記複数のタイルのいずれかを除去することと、
機械学習予測モデルを使用して、上記１つまたはそれを上回る電子スライド画像のための少なくとも１つの標識に関する予測を決定することであって、上記機械学習予測モデルは、複数の訓練画像を処理することによって発生されている、ことと、
訓練された機械学習予測モデルの予測を出力することと、
を含む、コンピュータ実装方法。
（項目２）
非組織であると決定される上記複数のタイルはさらに、上記組織試料の背景であると決定される、項目１に記載のコンピュータ実装方法。
（項目３）
上記複数の組織領域を検出することは、上記組織領域を上記１つまたはそれを上回る電子スライド画像の背景からセグメント化することを含む、項目１に記載のコンピュータ実装方法。
（項目４）
上記組織領域を上記背景からセグメント化することに応じて、組織マスクを発生させることであって、上記セグメント化は、色／強度および／またはテクスチャ特徴に基づいて、閾値処理を使用する、こと
をさらに含む、項目３に記載のコンピュータ実装方法。
（項目５）
上記複数の訓練画像は、複数の電子スライド画像と、複数の標的標識とを備える、項目１に記載のコンピュータ実装方法。
（項目６）
上記複数の訓練画像を処理することは、
少なくとも１つの訓練組織試料と関連付けられるデジタル画像の集合を受信することであって、上記デジタル画像の集合は、複数の訓練電子スライド画像を備える、ことと、
上記複数の訓練電子スライド画像の各々に関し、１つまたはそれを上回る標識を備える複数の総観注釈を受信することと、
上記複数の訓練電子スライド画像のうちの１つを上記複数の訓練電子スライド画像のための複数の訓練タイルにパーティション化することと、
少なくとも１つの組織領域を上記１つまたはそれを上回る電子スライド画像の背景からセグメント化し、訓練組織マスクを作成することと、
非組織であると検出される上記複数のタイルのうちの少なくとも１つを除去することと、
上記機械学習予測モデルを弱教師下で訓練し、上記複数の総観注釈の少なくとも１つの標識を使用して、少なくとも１つのマルチ標識タイルレベル予測を推測することと
を含む、項目１に記載のコンピュータ実装方法。
（項目７）
上記機械学習予測モデルを弱教師下で訓練することは、マルチインスタンス学習（ＭＩＬ）、マルチインスタンスマルチ標識学習（ＭＩＭＬＬ）、自己教師あり学習、および教師なしクラスタ化のうちの少なくとも１つを使用することを含む、項目６に記載のコンピュータ実装方法。
（項目８）
上記複数の訓練画像を処理し、上記機械学習予測モデルを発生させることはさらに、
上記複数の訓練タイルに関する弱教師ありタイルレベル学習モジュールからの少なくとも１つの特徴の複数の予測または複数のベクトルを受信することと、
機械学習モデルを訓練し、入力として、上記複数の訓練タイルに関する上記弱教師ありタイルレベル学習モジュールからの上記少なくとも１つの特徴の上記複数の予測または上記複数のベクトルをとることと、
上記複数の訓練タイルを使用して、スライドまたは患者試料に関する複数の標識を予測することと
を含む、項目６に記載のコンピュータ実装方法。
（項目９）
上記複数の標識のうちの少なくとも１つは、バイナリ、分類別、序数、または実数値である、項目８に記載のコンピュータ実装方法。
（項目１０）
上記機械学習モデルを訓練し、上記入力として、上記複数の訓練タイルに関する上記弱教師ありタイルレベル学習モジュールからの上記少なくとも１つの特徴の上記複数の予測または上記複数のベクトルをとることは、複数の画像特徴を備える、項目８に記載のコンピュータ実装方法。
（項目１１）
上記訓練された機械学習予測モデルは、少なくとも１つの初見のスライドを使用して、少なくとも１つの標識を予測する、項目１に記載のコンピュータ実装方法。
（項目１２）
組織試料に対応する電子スライド画像を処理するためのシステムであって、上記システムは、
命令を記憶する少なくとも１つのメモリと、
少なくとも１つのプロセッサであって、上記少なくとも１つのプロセッサは、上記命令を実行し、
組織試料と関連付けられる１つまたはそれを上回る電子スライド画像を受信することであって、上記組織試料は、患者および／または医療症例と関連付けられる、ことと、
上記１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化することと、
上記第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させることと、
上記複数のタイルのいずれかが非組織に対応するかどうかを決定することと、
非組織であると決定される上記複数のタイルのいずれかを除去することと、
機械学習予測モデルを使用して、上記１つまたはそれを上回る電子スライド画像のための少なくとも１つの標識に関する予測を決定することであって、上記機械学習予測モデルは、複数の訓練画像を処理することによって発生されている、ことと、
訓練された機械学習予測モデルの予測を出力することと
を含む動作を実施するように構成されている、少なくとも１つのプロセッサと
を備える、システム。
（項目１３）
非組織であると決定される上記複数のタイルはさらに、上記組織試料の背景であると決定される、項目１２に記載のシステム。
（項目１４）
上記複数の組織領域を検出することは、上記組織領域を上記１つまたはそれを上回る電子スライド画像の背景からセグメント化することを含む、項目１２に記載のシステム。
（項目１５）
上記組織領域を上記背景からセグメント化することに応じて、組織マスクを発生させることであって、上記セグメント化は、色／強度および／またはテクスチャ特徴に基づいて、閾値処理を使用する、こと
をさらに含む、項目１４に記載のシステム。
（項目１６）
上記複数の訓練画像は、複数の電子スライド画像と、複数の標的標識とを備える、項目１２に記載のシステム。
（項目１７）
上記複数の訓練画像を処理することは、
少なくとも１つの訓練組織試料と関連付けられるデジタル画像の集合を受信することであって、上記デジタル画像の集合は、複数の訓練電子スライド画像を備える、ことと、
上記複数の訓練電子スライド画像の各々に関し、１つまたはそれを上回る標識を備える複数の総観注釈を受信することと、
上記複数の訓練電子スライド画像のうちの１つを上記複数の訓練電子スライド画像のための複数の訓練タイルにパーティション化することと、
少なくとも１つの組織領域を上記１つまたはそれを上回る電子スライド画像の背景からセグメント化し、訓練組織マスクを作成することと、
非組織であると検出される上記複数のタイルのうちの少なくとも１つを除去することと、
上記機械学習予測モデルを弱教師下で訓練し、上記複数の総観注釈の少なくとも１つの標識を使用して、少なくとも１つのマルチ標識タイルレベル予測を推測することと
を含む、項目１２に記載のシステム。
（項目１８）
上記機械学習予測モデルを弱教師下で訓練することは、ＭＩＬ、ＭＩＭＬＬ、自己教師あり学習、および教師なしクラスタ化のうちの少なくとも１つを使用することを含む、項目１７に記載のシステム。
（項目１９）
上記複数の訓練画像を処理し、上記機械学習予測モデルを発生させることはさらに、
上記複数の訓練タイルに関する弱教師ありタイルレベル学習モジュールからの少なくとも１つの特徴の複数の予測または複数のベクトルを受信することと、
機械学習モデルを訓練し、入力として、上記複数の訓練タイルに関する上記弱教師ありタイルレベル学習モジュールからの上記少なくとも１つの特徴の上記複数の予測または上記複数のベクトルをとることと、
上記複数の訓練タイルを使用して、スライドまたは患者試料に関する複数の標識を予測することと
を含む、項目１７に記載のシステム。
（項目２０）
非一過性コンピュータ可読媒体であって、上記非一過性コンピュータ可読媒体は、命令を記憶しており、上記命令は、プロセッサによって実行されると、上記プロセッサに、組織試料に対応する電子スライド画像を処理するための方法を実施させ、上記方法は、
組織試料と関連付けられる１つまたはそれを上回る電子スライド画像を受信することであって、上記組織試料は、患者および／または医療症例と関連付けられる、ことと、
上記１つまたはそれを上回る電子スライド画像の第１のスライド画像を複数のタイルにパーティション化することと、
上記第１のスライド画像および／または複数のタイルの複数の組織領域を検出し、組織マスクを発生させることと、
上記複数のタイルのいずれかが非組織に対応するかどうかを決定することと、
非組織であると決定される上記複数のタイルのいずれかを除去することと、
機械学習予測モデルを使用して、上記１つまたはそれを上回る電子スライド画像のための少なくとも１つの標識に関する予測を決定することであって、上記機械学習予測モデルは、複数の訓練画像を処理することによって発生されている、ことと、
訓練された機械学習予測モデルの予測を出力することと
を含む、非一過性コンピュータ可読媒体。
【図面の簡単な説明】
【0010】
本明細書内に組み込まれ、その一部を構成する、付随の図面は、種々の例示的実施形態を図示し、説明とともに、開示される実施形態の原理を解説する、役割を果たす。
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【発明を実施するための形態】
【0026】
実施形態の説明
ここで、本開示の例示的実施形態が詳細に参照され、その実施例は、付随の図面に図示される。可能な限り、同一参照番号が、同一または同様の部品を指すために、図面全体を通して使用されるであろう。
ここで、本開示の例示的実施形態が詳細に参照され、その実施例は、付随の図面に図示される。可能な限り、同一参照番号が、同一または同様の部品を指すために、図面全体を通して使用されるであろう。
【0027】
本明細書に開示されるシステム、デバイス、および方法は、一例として、図を参照して詳細に説明される。本明細書で議論される実施例は、実施例にすぎず、本明細書に説明される装置、デバイス、システム、および方法の解説を補助するために提供される。図面に示される、または下記に議論される、特徴または構成要素のいずれも、必須として具体的に指定されない限り、これらのデバイス、システム、または方法のいずれかの任意の具体的実装のために必須なものとして捉えられるべきではない。
【0028】
また、説明される任意の方法に関して、方法が、フロー図と併せて説明されるかどうかにかかわらず、文脈によって別様に規定または要求されない限り、方法の実行において実施されるステップの任意の明示的または暗示的順序付けは、これらのステップが、提示される順序で実施されなければならないことを含意するものではなく、代わりに、異なる順序において、または並行して実施されてもよいことを理解されたい。
【0029】
本明細書で使用されるように、用語「例示的」は、「理想的」ではなく、「実施例」の意味において使用される。さらに、用語「ａ」および「ａｎ」は、本明細書では、数量の限定を示すものではなく、むしろ、参照されるアイテムのうちの１つまたはそれを上回るものの存在を示す。
【0030】
病理学は、疾患および疾患の原因および影響の研究を指す。より具体的には、病理学は、疾患を診断するために使用される、試験および分析を実施することを指す。例えば、組織サンプルが、病理学者（例えば、組織サンプルを分析し、任意の異常が存在するかどうかを決定する、専門家である、医師）によって、顕微鏡下で視認されるために、スライド上に設置されてもよい。すなわち、病理学試料は、複数の断片に切断され、染色され、病理学者が、検査し、診断を与えるためのスライドとして調製され得る。診断の不確実性が、スライド上で見出されるとき、病理学者は、より多くの情報を組織から集めるために、付加的切断レベル、染色、または他の試験を指示し得る。技術者は、次いで、病理学者が診断を行う際に使用するための付加的情報を含有し得る、新しいスライドを作成し得る。付加的スライドを作成する本プロセスは、組織の塊を採取し、それを切断し、新しいスライドを作成し、次いで、スライドを染色するステップを伴い得るためだけではなく、また、複数の指示のために一括化され得るため、時間がかかり得る。これは、病理学者が与える、最終診断を有意に遅延させ得る。加えて、遅延後でも、依然として、新しいスライドが診断を与えるために十分な情報を有するであろう保証がない場合がある。
【0031】
病理学者は、分離して、癌および他の疾患病理学スライドを評価し得る。本開示は、癌および他の疾患の診断を改良するための統合されたワークフローを提示する。ワークフローは、例えば、スライド評価、タスク、画像分析および癌検出人工知能（ＡＩ）、注釈、コンサルテーション、および推奨を１つのワークステーション内に統合し得る。特に、本開示は、ワークフロー内で利用可能な種々の例示的ユーザインターフェース、および病理学者の作業を促し、改良するためにワークフローの中に統合され得る、ＡＩツールを説明する。
【0032】
例えば、コンピュータが、組織サンプルの画像を分析し、付加的情報が特定の組織サンプルについて必要とされ得るかどうかを迅速に識別し、および／または病理学者がより詳しく調べるべき面積をハイライトするために使用され得る。したがって、付加的染色されたスライドおよび試験を取得するプロセスは、病理学者によって精査される前に、自動的に行われ得る。自動スライドセグメント化および染色機械と対合されると、これは、完全に自動化されたスライド調製パイプラインを提供し得る。本自動化は、少なくとも、（１）病理学者が診断を行うために不十分なスライドを決定することによって無駄にされる時間量を最小限にする、（２）付加的試験が指示されたときとそれらが生成されたときとの間の付加的時間を回避することによって、試料入手から診断までの（平均総）時間を最小限にする、（３）再切断が組織塊（例えば、病理学試料）が切断台にある間に行われることを可能にすることによって、再切断あたりの時間量および無駄にされる材料の量を低減させる、（４）スライド調製の間に無駄にされる／破棄される組織材料の量を低減させる、（５）部分的または完全に手技を自動化することによって、スライド調製のコストを低減させる、（６）サンプルからより代表的／有益なスライドをもたらすであろう、スライドの自動カスタマイズ切断および染色を可能にする、（７）病理学者にとっての付加的試験を要求する諸経費を低減させることによって、より大量のスライドが組織塊あたり発生されることを可能にし、より情報が多く／精密な診断に寄与する、および／または（８）デジタル病理学画像の正しい性質（例えば、試料タイプに関する）を識別または照合する等の利点を有する。
【0033】
病理学者を補助するためにコンピュータを使用するプロセスは、コンピュータ処理病理学として知られる。コンピュータ処理病理学のために使用されるコンピューティング方法は、限定ではないが、統計的分析、自律的または機械学習、およびＡＩを含み得る。ＡＩは、限定ではないが、深層学習、ニューラルネットワーク、分類、クラスタ化、および回帰アルゴリズムを含み得る。コンピュータ処理病理学を使用することによって、病理学者が、その診断正確度、信頼性、効率性、およびアクセス性を改良することに役立つことで、命が救われ得る。例えば、コンピュータ処理病理学は、癌が疑われるスライドを検出することを補助し、それによって、病理学者が、最終診断を与える前に、その初期査定をチェックおよび確認することを可能にするために使用されてもよい。
【0034】
上記に説明されるように、本開示のコンピュータ病理学プロセスおよびデバイスは、実験室情報システム（ＬＩＳ）とも統合されながら、ウェブブラウザまたは他のユーザインターフェースを介して、デジタル病理学画像のデータ取込、処理、および視認を含む、完全に自動化されたプロセスを可能にする、統合されたプラットフォームを提供し得る。さらに、臨床情報は、患者データのクラウドベースのデータ分析を使用して、集約されてもよい。データは、病院、医院、現場研究者等に由来してもよく、機械学習、コンピュータビジョン、自然言語処理、および／または統計的アルゴリズムによって分析され、複数の地理的特異性レベルにおける健康パターンのリアルタイム監視および予想を行なってもよい。
【0035】
組織病理学は、スライド上に設置されている、試料の研究を指す。例えば、デジタル病理学画像が、試料（例えば、塗抹標本）を含有する、顕微鏡スライドのデジタル化された画像から成ってもよい。病理学者がスライド上の画像を分析するために使用し得る、１つの方法は、核を識別し、核が正常（例えば、良性）または異常（例えば、悪性）であるかどうかを分類するものである。病理学者が核を識別および分類することを補助するために、組織学的染色が、細胞を可視化するために使用されてもよい。多くの色素ベースの染色システムが、開発されており、過ヨウ素酸シッフ反応、マッソントリクローム、ニッスルおよびメチレンブルー、およびヘマトキシリンおよびエオジン（Ｈ＆Ｅ）を含む。医療診断のために、Ｈ＆Ｅは、広く使用される色素ベースの方法であって、ヘマトキシリンは、細胞核を青色に染色し、エオジンは、細胞質および細胞外マトリクスを桃色に染色し、他の組織領域は、これらの色の変動を帯びる。しかしながら、多くの場合、Ｈ＆Ｅ染色による組織学的調製は、病理学者が、診断を補助する、または治療を誘導し得る、バイオマーカを視覚的に識別するための十分な情報を提供しない。本状況では、免疫組織化学的性質（ＩＨＣ）、免疫蛍光、原位置ハイブリダイゼーション（ＩＳＨ）、または蛍光原位置ハイブリダイゼーション（ＦＩＳＨ）等の技法が、使用されてもよい。ＩＨＣおよび免疫蛍光は、例えば、組織内の具体的抗原に結合し、具体的着目タンパク質を発現する細胞の視覚的検出を可能にする、抗体の使用を伴い、これは、Ｈ＆Ｅ染色スライドの分析に基づいて、訓練された病理学者に確実に識別可能ではない、バイオマーカを明らかにし得る。ＩＳＨおよびＦＩＳＨは、採用されるプローブのタイプ（例えば、遺伝子コピー数のためのＤＮＡプローブおよびＲＮＡ発現の査定のためのＲＮＡプローブ）に応じて、遺伝子のコピーの数または具体的ＲＮＡ分子の存在量を査定するために採用されてもよい。これらの方法もまた、いくつかのバイオマーカを検出するために十分な情報を提供することができない場合、組織の遺伝子試験が、バイオマーカ（例えば、腫瘍内の具体的タンパク質または遺伝子産物の過剰発現、癌内の所与の遺伝子の増幅）が存在するかどうかを確認するために使用されてもよい。
【0036】
デジタル化された画像は、染色された顕微鏡スライドを示すように調製されてもよく、これは、病理学者が、スライド上の画像を手動で視認し、画像内の染色された異常細胞の数を推定することを可能にし得る。しかしながら、本プロセスは、いくつかの異常が検出することが困難であるため、時間がかかり得、異常を識別する際の誤差につながり得る。コンピュータ処理プロセスおよびデバイスが、病理学者が、そうでなければ検出することが困難であり得る、異常を検出することを補助するために使用されてもよい。例えば、ＡＩが、バイオマーカ（タンパク質および／または遺伝子産物の過剰発現、増幅、または具体的遺伝子の突然変異体等）をＨ＆Ｅおよび他の色素ベースの方法を使用して染色された組織のデジタル画像内の顕著な領域から予測するために使用されてもよい。組織の画像は、全体的スライド画像（ＷＳＩ）、マイクロアレイ内の組織コアの画像、または組織切片内の選択された着目面積であり得る。Ｈ＆Ｅのような染色方法を使用すると、これらのバイオマーカは、ヒトが付加的試験の補助を伴わずに視覚的に検出または定量化することが困難であり得る。ＡＩを使用して、これらのバイオマーカを組織のデジタル画像から推測することは、患者処置を改良する一方、また、より高速かつより安価となる潜在性を有する。
【0037】
検出されたバイオマーカまたは画像のみが、次いで、患者を治療するために使用されるべき具体的癌薬物または薬物組み合わせ療法を推奨するために使用され得、ＡＩは、検出されたバイオマーカを治療オプションのデータベースと相関させることによって、成功する可能性が低い、薬物または薬物組み合わせを識別し得る。これは、患者の具体的癌を標的するための免疫療法薬物の自動推奨を促進するために使用されることができる。さらに、これは、患者の具体的サブセットおよび／またはより稀な癌型のための個人化された癌治療を可能にするために使用され得る。
【0038】
上記に説明されるように、本開示のコンピュータ処理病理学プロセスおよびデバイスは、統合されたプラットフォームを提供し、実験室情報システム（ＬＩＳ）と統合しながら、ウェブブラウザまたは他のユーザインターフェースを介して、デジタル病理学画像のデータ取込、処理、および視認を含む、完全に自動化されたプロセスを可能にし得る。さらに、臨床情報が、患者データのクラウドベースのデータ分析を使用して集約されてもよい。データは、病院、医院、現場研究者等から由来してもよく、機械学習、コンピュータビジョン、自然言語処理、および／または統計的アルゴリズムによって分析され、複数の地理的特異性レベルにおいて、リアルタイム監視および健康パターンの予想を行ってもよい。
【0039】
上記に説明されるデジタル病理学画像は、試料またはデジタル病理学画像の性質に関するタグおよび／または標識とともに記憶され得るが、そのようなタグ／標識は、不完全である場合がある。故に、本明細書に開示されるシステムおよび方法は、少なくとも１つの標識をデジタル画像の集合から予測する。
【0040】
組織病理学のための機械学習および深層学習モデルの性能は、体積およびこれらのモデルを訓練するために使用される、注釈が付けられた実施例の量および品質によって限定され得る。教師あり画像分類問題に関する大規模実験は、モデル性能が、約５千万例の訓練実施例を通して、改良し続けることを示している。しかしながら、病理学における大部分の臨床上関連するタスクは、分類をはるかに超えるものを伴う。病理学者が、診断を与えるとき、診断は、多くの異種相互関連フィールドを含有し、スライド全体またはスライドのセットに関わる、報告の形態をとり得る。腫瘍学では、これらのフィールドは、癌の存在、癌悪性度、腫瘍定量化、癌悪性度群、癌の病期分類のために重要な種々の特徴の存在等を含み得る。臨床前薬物研究動物研究では、これらのフィールドは、毒性の存在、毒性の重症度、および毒性の種類を含み得る。大部分の教師あり深層学習モデルを訓練するための必要な注釈の調達は、病理学者が、スライド画像から、個々のピクセル、タイル（例えば、スライド画像内の１つまたはそれを上回る比較的に小長方形領域）、または着目領域（例えば、多角形）を適切な注釈とともに標識することを伴い得る。報告内の各フィールドに関し、異なるセットの訓練注釈が、使用され得る。さらに、典型的デジタル病理学スライドは、約１０ギガピクセルまたは１００，０００を上回るタイルを含有し得る。本量のデータに手動で注釈を付けることは、時間およびコストの両方において、法外に高価であり得、システムが、臨床上関連するレベルにおいて実施され、施設を横断して一般化されることを確実にするには、深刻な限界が存在し得る。故に、組織病理学のために使用され得る、訓練データを発生させるための所望が存在する。
【0041】
本開示の実施形態は、上記の限界を克服し得る。特に、本明細書に開示される実施形態は、弱教師を使用してもよく、その中で深層学習モデルは、デジタル画像内の各ピクセルまたはタイルの付加的標識を用いてではなく、直接、病理学者の診断から訓練されてもよい。機械学習または深層学習モデルは、いくつかの実施形態では、機械学習アルゴリズムを備えてもよい。１つの技法は、バイナリ癌検出を決定してもよいが、しかしながら、本明細書で議論される技法はさらに、例えば、深層学習システムが、悪性度評価、下位型分類、複数の疾患属性の同時推測、およびより多くのことを実施するために、弱教師ありマルチ標識およびマルチタスク設定において訓練され得る方法を開示する。これは、システムが、広範な注釈の必要なく、直接、診断報告または試験結果から訓練されることを可能にし、要求される訓練標識の数を５桁またはそれを上回って低減させる。
【0042】
開示されるシステムおよび方法は、記憶されたタグまたは標識に依拠せずに、試料または画像性質を自動的に予測し得る。さらに、必ずしも、ＬＩＳまたは類似情報データベースにアクセスせずに、デジタル病理学画像の試料タイプまたはデジタル病理学画像に関する任意の情報を迅速かつ正しく識別および／または照合するためのシステムおよび方法が、開示される。本開示の一実施形態は、以前のデジタル病理学画像のデータセットに基づいてデジタル病理学画像の種々の性質を識別するように訓練される、システムを含んでもよい。訓練されたシステムは、デジタル病理学画像に示される試料に関する分類を提供し得る。分類は、試料と関連付けられる患者に関する治療または診断予測を提供することに役立ち得る。
【0043】
本開示は、スライド分析ツールの１つまたはそれを上回る実施形態を含む。ツールへの入力は、デジタル病理学画像および任意の関連付加的入力を含んでもよい。ツールの出力は、試料についての大域的および／または局所的情報を含んでもよい。試料は、生検または外科手術切除試料を含んでもよい。
【0044】
図１Ａは、本開示の例示的実施形態による、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定するためのシステムおよびネットワークのブロック図を図示する。
【0045】
具体的には、図１Ａは、病院、実験室、および／または医師の診療所等におけるサーバに接続され得る、電子ネットワーク１２０を図示する。例えば、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５等がそれぞれ、１つまたはそれを上回るコンピュータ、サーバ、および／またはハンドヘルドモバイルデバイスを通して、インターネット等の電子ネットワーク１２０に接続されてもよい。本願の例示的実施形態によると、電子ネットワーク１２０はまた、サーバシステム１１０に接続されてもよく、これは、本開示の例示的実施形態による、疾患検出プラットフォーム１００を実装するように構成される、処理デバイスを含み得、これは、機械学習を使用して、試料を分類するために、デジタル病理学画像に関する試料性質または画像性質情報を決定するためのスライド分析ツール１０１を含む。
【0046】
医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、１つまたはそれを上回る患者の細胞診試料の画像、組織病理学試料、細胞診試料のスライド、組織病理学試料のスライドのデジタル化された画像、またはそれらの任意の組み合わせを作成または別様に取得してもよい。医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５はまた、年齢、医療既往歴、癌治療既往歴、家族歴、過去の生検、または細胞診情報等の患者特有の情報の任意の組み合わせを取得してもよい。医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、電子ネットワーク１２０を経由して、デジタル化されたスライド画像および／または患者特有の情報をサーバシステム１１０に伝送してもよい。サーバシステム１１０は、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちの少なくとも１つから受信される画像およびデータを記憶するための１つまたはそれを上回る記憶デバイス１０９を含んでもよい。サーバシステム１１０はまた、１つまたはそれを上回る記憶デバイス１０９内に記憶される画像およびデータを処理するための処理デバイスを含んでもよい。サーバシステム１１０はさらに、１つまたはそれを上回る機械学習ツールまたは能力を含んでもよい。例えば、処理デバイスは、一実施形態による、疾患検出プラットフォーム１００のための機械学習ツールを含んでもよい。代替として、または加えて、本開示（または本開示のシステムおよび方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）上で実施されてもよい。
【0047】
医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、スライドの画像を精査するために、病理学者によって使用されるシステムを指す。病院設定では、組織タイプ情報は、実験室情報システム１２５内に記憶されてもよい。しかしながら、正しい組織分類情報が、常時、画像コンテンツと対合されるわけではない。加えて、ＬＩＳが、デジタル病理学画像に関する試料タイプにアクセスするために使用される場合でも、本標識は、ＬＩＳの多くの構成要素が、手動で入力され、大幅な許容誤差を残し得るという事実に起因して、正しくない場合がある。本開示の例示的実施形態によると、試料タイプは、実験室情報システム１２５にアクセスする必要なく識別されてもよい、または可能性として、実験室情報システム１２５を補正するように識別されてもよい。例えば、第三者が、ＬＩＳ内に記憶される対応する試料タイプ標識を伴わずに、画像コンテンツへの匿名化されたアクセスを与えられ得る。加えて、ＬＩＳコンテンツへのアクセスは、その取り扱いに注意を要するコンテンツに起因して限定され得る。
【0048】
図１Ｂは、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定するための疾患検出プラットフォーム１００の例示的ブロック図を図示する。例えば、疾患検出プラットフォーム１００は、スライド分析ツール１０１と、データ取込ツール１０２と、スライド取込ツール１０３と、スライドスキャナ１０４と、スライド管理装置１０５と、記憶装置１０６と、視認アプリケーションツール１０８とを含んでもよい。
【0049】
下記に説明されるようなスライド分析ツール１０１は、例示的実施形態による、組織試料と関連付けられる、デジタル画像を処理し、機械学習を使用して、スライドを分析するためのプロセスおよびシステムを指す。
【0050】
データ取込ツール１０２は、例示的実施形態による、デジタル病理学画像を分類および処理するために使用される、種々のツール、モジュール、構成要素、およびデバイスへのデジタル病理学画像の転送を促進するためのプロセスおよびシステムを指す。
【0051】
スライド取込ツール１０３は、例示的実施形態による、病理学画像を走査し、それらをデジタル形態に変換するためのプロセスおよびシステムを指す。スライドは、スライドスキャナ１０４を用いて走査されてもよく、スライド管理装置１０５は、スライド上の画像をデジタル化された病理学画像に処理し、デジタル化された画像を記憶装置１０６内に記憶してもよい。
【0052】
視認アプリケーションツール１０８は、例示的実施形態による、ユーザ（例えば、病理学者）に、デジタル病理学画像に関する試料性質または画像性質情報を提供するためのプロセスおよびシステムを指す。情報は、種々の出力インターフェース（例えば、画面、モニタ、記憶デバイス、および／またはウェブブラウザ等）を通して提供されてもよい。
【0053】
スライド分析ツール１０１およびその構成要素はそれぞれ、電子ネットワーク１２０を経由して、デジタル化されたスライド画像および／または患者情報を、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５に伝送し、および／またはそこから受信してもよい。さらに、サーバシステム１１０は、スライド分析ツール１０１、データ取込ツール１０２、スライド取込ツール１０３、スライドスキャナ１０４、スライド管理装置１０５、および視認アプリケーションツール１０８のうちの少なくとも１つから受信される画像およびデータを記憶するための１つまたはそれを上回る記憶デバイス１０９を含んでもよい。サーバシステム１１０はまた、記憶デバイス内に記憶される画像およびデータを処理するための処理デバイスを含んでもよい。サーバシステム１１０はさらに、例えば、処理デバイスに起因して、１つまたはそれを上回る機械学習ツールまたは能力を含んでもよい。代替として、または加えて、本開示（または本開示のシステムおよび方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）上で実施されてもよい。
【0054】
上記のデバイス、ツール、およびモジュールのいずれかは、１つまたはそれを上回るコンピュータ、サーバ、および／またはハンドヘルドモバイルデバイスを通して、インターネットまたはクラウドサービスプロバイダ等の電子ネットワーク１２０に接続され得る、デバイス上に位置してもよい。
【0055】
図１Ｃは、本開示の例示的実施形態による、スライド分析ツール１０１の例示的ブロック図を図示する。スライド分析ツール１０１は、訓練画像プラットフォーム１３１および／または標的画像プラットフォーム１３５を含んでもよい。
【0056】
訓練画像プラットフォーム１３１は、一実施形態によると、機械学習システムを訓練し、デジタル病理学画像を効果的に分析および分類するために使用される、訓練画像を作成または受信してもよい。例えば、訓練画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちの任意の１つまたは任意の組み合わせから受信されてもよい。訓練のために使用される画像は、実際のソース（例えば、ヒト、動物等）に由来してもよい、または合成ソース（例えば、グラフィックレンダリングエンジン、３Ｄモデル等）に由来してもよい。デジタル病理学画像の実施例は、（ａ）（限定ではないが）Ｈ＆Ｅ、ヘマトキシリンのみ、ＩＨＣ、分子病理学等の種々の染料で染色されたデジタル化されたスライド、および／または（ｂ）マイクロＣＴ等の３Ｄ撮像デバイスからのデジタル化された組織サンプルを含んでもよい。
【0057】
訓練画像取込モジュール１３２は、ヒト組織の画像およびグラフィック的にレンダリングされる画像の一方または両方に対応する、１つまたはそれを上回る訓練画像を備える、データセットを作成または受信してもよい。例えば、訓練画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちの任意の１つまたは任意の組み合わせから受信されてもよい。本データセットは、デジタル記憶デバイス上に保たれてもよい。品質スコア決定器モジュール１３３は、デジタル病理学画像の有用性に著しく影響を及ぼし得る、大域的または局所的レベルにおける訓練画像に関する品質制御（ＱＣ）問題点（例えば、不完全性）を識別してもよい。例えば、品質スコア決定器モジュールは、画像全体についての情報、例えば、試料タイプ、試料の断片の全体的品質、ガラス病理学スライド自体の全体的品質、または組織形態構造特性を使用して、画像に関する全体的品質スコアを決定してもよい。治療識別モジュール１３４は、組織の画像を分析し、治療効果を有する（例えば、治療後）デジタル病理学画像および治療効果を有していない画像（例えば、治療前）を決定してもよい。組織内の以前の治療効果が組織自体の形態構造に影響を及ぼし得るため、デジタル病理学画像が治療効果を有するかどうかを識別することは、有用である。大部分のＬＩＳは、本特性を明示的に追跡しておらず、したがって、以前の治療効果を伴う試料タイプを分類することが、所望され得る。
【0058】
一実施形態によると、標的画像プラットフォーム１３５は、標的画像取込モジュール１３６と、試料検出モジュール１３７と、出力インターフェース１３８とを含んでもよい。標的画像プラットフォーム１３５は、標的画像を受信し、機械学習モデルを受信された標的画像に適用し、標的試料の特性を決定してもよい。例えば、標的画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちの任意の１つまたは任意の組み合わせから受信されてもよい。標的画像取込モジュール１３６は、標的試料に対応する標的画像を受信してもよい。試料検出モジュール１３７は、機械学習モデルを標的画像に適用し、標的試料の特性を決定してもよい。例えば、試料検出モジュール１３７は、標的試料の試料タイプを検出してもよい。試料検出モジュール１３７はまた、機械学習モデルを標的画像に適用し、標的画像に関する品質スコアを決定してもよい。さらに、試料検出モジュール１３７は、機械学習モデルを標的試料に適用し、標的試料が治療前または治療後であるかどうかを決定してもよい。
【0059】
出力インターフェース１３８は、標的画像および標的試料についての情報を出力するために使用されてもよい（例えば、画面、モニタ、記憶デバイス、ウェブブラウザ等）。
【0060】
図２Ａは、本開示の１つまたはそれを上回る例示的実施形態による、訓練された機械学習システムによって作成された予測モデルを使用するための例示的方法を図示する、フローチャートである。例えば、例示的方法２００（ステップ２０２－２１０）は、スライド分析ツール１０１によって、自動的に、またはユーザからの要求に応答して、実施されてもよい。
【0061】
一実施形態によると、予測モデルを使用するための例示的方法２００は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ２０２では、本方法は、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像を受信するステップを含んでもよく、１つまたはそれを上回るデジタル画像は、複数のスライド画像を備える。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）、または任意の他の好適な記憶デバイスを備えてもよい。
【0062】
ステップ２０４では、本方法は、複数のスライド画像のうちの１つを複数のスライド画像のためのタイルの集合にパーティション化するステップを含んでもよい。
【0063】
ステップ２０６では、本方法は、複数の組織領域を複数のスライド画像のうちの１つの背景から検出し、組織マスクを作成し、非組織であると検出される、タイルの集合のうちの少なくとも１つのタイルを除去するステップを含んでもよい。非組織である、タイルは、スライド画像の背景を備えてもよい。これは、色、色強度、テクスチャ特徴、または大津の二値化法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理ベースの方法、ｋ平均法、グラフカット、マスク領域畳み込みニューラルネットワーク（マスクＲ－ＣＮＮ）等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で遂行されてもよい。
【0064】
ステップ２０８では、本方法は、機械学習システムを使用して、患者または医療症例に対応する、複数のスライド画像のための標識に関する予測を決定するステップを含んでもよく、機械学習システムは、複数の訓練実施例を処理し、予測モデルを作成することによって発生されている。訓練実施例は、１つまたはそれを上回るデジタルスライド画像および複数の標的標識のセットを備えてもよい。
【0065】
ステップ２１０では、本方法は、少なくとも１つの標識を機械学習システムを訓練するために使用されなかった少なくとも１つのスライドから予測する、訓練機械学習システムの予測モデルを出力するステップと、予測を電子記憶デバイスに出力するステップとを含んでもよい。
【0066】
図２Ｂは、本開示の１つまたはそれを上回る例示的実施形態による、訓練された機械学習システム内の弱教師ありタイルレベル学習モジュールを訓練するための例示的方法を図示する、フローチャートである。弱教師あり学習モジュールは、スライドレベル訓練標識を使用して、モデルを訓練し、タイルレベル予測を行ってもよい。例えば、例示的方法２２０（ステップ２２２－２３０）は、スライド分析ツール１０１によって、自動的に、またはユーザからの要求に応答して、実施されてもよい。
【0067】
一実施形態によると、予測モデルを使用するための例示的方法２２０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ２２２では、本方法は、訓練組織試料と関連付けられる、デジタル画像の集合をデジタル記憶デバイスの中に受信するステップを含んでもよく、デジタル画像の集合は、複数の訓練スライド画像を備える。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）、または任意の他の好適な記憶デバイスを備えてもよい。
【0068】
ステップ２２４では、本方法は、複数の訓練スライド画像の各々に関し、１つまたはそれを上回る標識を備える、複数の総観注釈を受信するステップを含んでもよい。標識は、バイナリ、マルチレベルバイナリ、分類別、序数、または実数値であってもよい。
【0069】
ステップ２２６では、本方法は、複数の訓練スライド画像のうちの１つを複数の訓練スライド画像のための訓練タイルの集合にパーティション化するステップを含んでもよい。
【0070】
ステップ２２８では、本方法は、少なくとも１つの組織領域を複数の訓練スライド画像の背景から検出し、訓練組織マスクを作成するステップと、非組織であると検出される、訓練タイルの集合の少なくとも１つの訓練タイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0071】
ステップ２３０では、本方法は、少なくとも１つの総観標識を使用して、弱教師下で予測モデルを訓練し、少なくとも１つのマルチ標識タイルレベル予測を推測するステップを含んでもよい。弱教師設定下でモデルを訓練するための４つの一般的アプローチが、存在し得るが、モデルを訓練するための任意の好適なアプローチが、使用されてもよい。
１．マルチインスタンス学習（ＭＩＬ）は、スライドの標的標識を含有する、タイルを識別するように学習することによって、バイナリまたは分類別標識のためのタイルレベル予測モデルを訓練するために使用され得る。本識別は、顕著なタイル（例えば、各訓練反復において受信される総観注釈または標識に基づく、最大スコアタイル）を見出し、これらのタイルを使用して、各顕著なタイルと関連付けられる、受信される総観訓練標識を使用する、分類子を更新することによって、遂行されてもよい。例えば、分類子は、重複タイルの集合に基づいて、癌を識別するために訓練されてもよい。顕著なタイルが、決定されるにつれて、総観標識は、タイルレベル標識を更新するために使用されてもよい。本タイルレベル標識および分類子は、次いで、タイルの群に関する標識を決定または提供してもよい。ＭＩＬはまた、癌悪性度評価、癌下位型分類、バイオマーカ検出等の他の下流タスクのために、機械学習モデルを訓練し、診断特徴を抽出するために使用されてもよい。
２．マルチインスタンスマルチ標識学習（ＭＩＭＬＬ）は、ＭＩＬにおけるように、単一バイナリ標識のみではなく、マルチ標識と関連付けられ得る、タイルのセットとして、各スライドを取り扱う、ＭＩＬの一般化を備える、タイルレベル予測モデルであり得る。これらのスライド標識は、病理学者の診断報告、遺伝子試験、免疫学的試験、または他の測定値／アッセイに由来してもよい。ＭＩＭＬＬモデルは、１つまたはそれを上回るスライドのセットに属する、総観訓練標識のそれぞれに対応する、タイルを選択するように訓練されてもよい。本実施形態は、以下のステップを反復することによって、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク（ＣＮＮ）、カプセルネットワーク等）を訓練する、ＭＩＭＬＬを伴い得る。
ａ．予測されるべき標識の各標識に関し、スコア化関数を使用して、タイルの最も関連するセットを選択する。スコア化関数は、同時に、複数のタイルをランク付けするように系統化されてもよい。例えば、複数のバイナリ標識を用いて、ＣＮＮが、スライドのセット内の全タイルからの複数のバイナリ標識のそれぞれを予測することを試みる、各タイル上で起動されてもよく、標識のうちの１つまたはそれを上回るものに関して１に最も近い出力を伴うタイルが、選択されてもよい。
ｂ．選択されたタイルを使用して、その関連付けられる標識割当に対するＣＮＮモデルの加重を更新する。各標識は、その独自の出力層をモデル内に有してもよい。
ＭＩＬモデルと同様に、ＭＩＭＬＬモデルはまた、他の下流タスクのための診断特徴を抽出するために使用されてもよい。
３．自己教師あり学習は、教師あり学習を使用して、少量のタイルレベル訓練データを使用し、初期タイルベースの分類子を作成し得る。本初期分類子は、以下を交互させることによって、完全訓練プロセスをブートストラップするために使用され得る。
ａ．現在のタイルベースのモデルからの予測を使用して、訓練セット内にタイル標識を再割当する。
ｂ．最新標識割当に対して、各タイルに関してモデルを更新する。
４．教師なしクラスタ化は、標的標識の使用を伴わずに、類似インスタンスをとともに群化するように学習し得る。スライドタイルは、インスタンスとして取り扱われ得、群化の数は、事前に規定されるか、またはアルゴリズムによって自動的に学習されるかのいずれかであってもよい。そのようなクラスタ化アルゴリズムは、限定ではないが、以下の方法を含んでもよい。
ａ．期待値最大化（ＥＭ）
ｂ．上界最大化（ＭＭ）
ｃ．Ｋ－最近傍法（ＫＮＮ）
ｄ．階層的クラスタリング
ｅ．凝集型クラスタリング
結果として生じるモデルは、スライドレベル予測モジュールによって使用されるための診断特徴を抽出するために使用されてもよい。
１．マルチインスタンス学習（ＭＩＬ）は、スライドの標的標識を含有する、タイルを識別するように学習することによって、バイナリまたは分類別標識のためのタイルレベル予測モデルを訓練するために使用され得る。本識別は、顕著なタイル（例えば、各訓練反復において受信される総観注釈または標識に基づく、最大スコアタイル）を見出し、これらのタイルを使用して、各顕著なタイルと関連付けられる、受信される総観訓練標識を使用する、分類子を更新することによって、遂行されてもよい。例えば、分類子は、重複タイルの集合に基づいて、癌を識別するために訓練されてもよい。顕著なタイルが、決定されるにつれて、総観標識は、タイルレベル標識を更新するために使用されてもよい。本タイルレベル標識および分類子は、次いで、タイルの群に関する標識を決定または提供してもよい。ＭＩＬはまた、癌悪性度評価、癌下位型分類、バイオマーカ検出等の他の下流タスクのために、機械学習モデルを訓練し、診断特徴を抽出するために使用されてもよい。
２．マルチインスタンスマルチ標識学習（ＭＩＭＬＬ）は、ＭＩＬにおけるように、単一バイナリ標識のみではなく、マルチ標識と関連付けられ得る、タイルのセットとして、各スライドを取り扱う、ＭＩＬの一般化を備える、タイルレベル予測モデルであり得る。これらのスライド標識は、病理学者の診断報告、遺伝子試験、免疫学的試験、または他の測定値／アッセイに由来してもよい。ＭＩＭＬＬモデルは、１つまたはそれを上回るスライドのセットに属する、総観訓練標識のそれぞれに対応する、タイルを選択するように訓練されてもよい。本実施形態は、以下のステップを反復することによって、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク（ＣＮＮ）、カプセルネットワーク等）を訓練する、ＭＩＭＬＬを伴い得る。
ａ．予測されるべき標識の各標識に関し、スコア化関数を使用して、タイルの最も関連するセットを選択する。スコア化関数は、同時に、複数のタイルをランク付けするように系統化されてもよい。例えば、複数のバイナリ標識を用いて、ＣＮＮが、スライドのセット内の全タイルからの複数のバイナリ標識のそれぞれを予測することを試みる、各タイル上で起動されてもよく、標識のうちの１つまたはそれを上回るものに関して１に最も近い出力を伴うタイルが、選択されてもよい。
ｂ．選択されたタイルを使用して、その関連付けられる標識割当に対するＣＮＮモデルの加重を更新する。各標識は、その独自の出力層をモデル内に有してもよい。
ＭＩＬモデルと同様に、ＭＩＭＬＬモデルはまた、他の下流タスクのための診断特徴を抽出するために使用されてもよい。
３．自己教師あり学習は、教師あり学習を使用して、少量のタイルレベル訓練データを使用し、初期タイルベースの分類子を作成し得る。本初期分類子は、以下を交互させることによって、完全訓練プロセスをブートストラップするために使用され得る。
ａ．現在のタイルベースのモデルからの予測を使用して、訓練セット内にタイル標識を再割当する。
ｂ．最新標識割当に対して、各タイルに関してモデルを更新する。
４．教師なしクラスタ化は、標的標識の使用を伴わずに、類似インスタンスをとともに群化するように学習し得る。スライドタイルは、インスタンスとして取り扱われ得、群化の数は、事前に規定されるか、またはアルゴリズムによって自動的に学習されるかのいずれかであってもよい。そのようなクラスタ化アルゴリズムは、限定ではないが、以下の方法を含んでもよい。
ａ．期待値最大化（ＥＭ）
ｂ．上界最大化（ＭＭ）
ｃ．Ｋ－最近傍法（ＫＮＮ）
ｄ．階層的クラスタリング
ｅ．凝集型クラスタリング
結果として生じるモデルは、スライドレベル予測モジュールによって使用されるための診断特徴を抽出するために使用されてもよい。
【0072】
図２Ｃは、本開示の１つまたはそれを上回る例示的実施形態による、訓練された機械学習システム内の弱教師あり集約モジュールを訓練するための例示的方法を図示する、フローチャートである。例えば、例示的方法２４０（ステップ２４２－２４４）は、スライド分析ツール１０１によって、自動的に、またはユーザからの要求に応答して、実施されてもよい。
【0073】
一実施形態によると、弱教師あり集約モジュールを訓練するための例示的方法２４０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ２４２では、本方法は、訓練タイルの集合に関する弱教師ありタイルレベル学習モジュールからの少なくとも１つの特徴の複数の予測または複数のベクトルを受信するステップを含んでもよい。
【0074】
ステップ２４４では、本方法は、機械学習モデルを訓練し、入力として、タイルの集合に関する弱教師ありタイルレベル学習モジュールからの少なくとも１つの特徴の複数の予測または複数のベクトルをとるステップを含んでもよい。本集約モジュールは、マルチタスクスライドレベル集約モデルを訓練し、タイルレベル入力をとり、システムの中に入力されたタイルおよび／またはシステムの中に入力されたスライド画像に関する最終予測を生成してもよい。モデルの一般的形態は、複数の出力（例えば、マルチタスク学習）から成ってもよく、各標識は、バイナリ、分類別、序数、または実数値であってもよい。タイルレベル入力は、限定ではないが、以下を含む、任意のタイプの画像特徴を含んでもよい。
ａ．弱教師ありモデルからの出力（例えば、特徴ベクトルまたは埋込）
ｂ．ＣＮＮ特徴
ｃ．スケール不変特徴変換（ＳＩＦＴ）
ｄ．高速化ロバスト特徴（ＳＵＲＦ）
ｅ．回転不変特徴変換（ＲＩＦＴ）
ｆ．方向付きＦＡＳＴと回転ＢＲＩＥＦ（ＯＲＢ）
集約モジュールのマルチタスクスライドレベル集約モデルは、多くの形態をとってもよく、限定ではないが、以下を含む。
ａ．複数の出力タスク群を用いて訓練された全結合ニューラルネットワーク
ｂ．ＣＮＮ
ｃ．完全畳み込みニューラルネットワーク
ｄ．ゲート付回帰型ユニット（ＧＲＵ）および長短期メモリ（ＬＳＴＭ）ネットワークを含む、回帰型ニューラルネットワーク（ＲＮＮ）
ｅ．グラフニューラルネットワーク
ｆ．トランスフォーマーネットワーク
ｇ．ランダムフォレスト、ブーストフォレスト、ＸＧＢｏｏｓｔ等
ａ．弱教師ありモデルからの出力（例えば、特徴ベクトルまたは埋込）
ｂ．ＣＮＮ特徴
ｃ．スケール不変特徴変換（ＳＩＦＴ）
ｄ．高速化ロバスト特徴（ＳＵＲＦ）
ｅ．回転不変特徴変換（ＲＩＦＴ）
ｆ．方向付きＦＡＳＴと回転ＢＲＩＥＦ（ＯＲＢ）
集約モジュールのマルチタスクスライドレベル集約モデルは、多くの形態をとってもよく、限定ではないが、以下を含む。
ａ．複数の出力タスク群を用いて訓練された全結合ニューラルネットワーク
ｂ．ＣＮＮ
ｃ．完全畳み込みニューラルネットワーク
ｄ．ゲート付回帰型ユニット（ＧＲＵ）および長短期メモリ（ＬＳＴＭ）ネットワークを含む、回帰型ニューラルネットワーク（ＲＮＮ）
ｅ．グラフニューラルネットワーク
ｆ．トランスフォーマーネットワーク
ｇ．ランダムフォレスト、ブーストフォレスト、ＸＧＢｏｏｓｔ等
【0075】
図３は、本開示の１つまたはそれを上回る例示的実施形態による、同時に、前立腺癌を検出および悪性度評価するために、機械学習システムを訓練および使用するための例示的方法を図示する、フローチャートである。癌悪性度評価は、正常組織からの癌細胞の分化を測定し得、細胞形態構造を調べることによる、局所レベルと、悪性度の相対量を含有する、スライドレベル概要の両方において査定され得る。悪性度評価は、前立腺、腎臓、および乳房等の一般的癌に関する病理学者の診断報告の一部として実施されてもよい。例示的方法３００および３２０は、同時に、前立腺癌を検出および悪性度評価するために、機械学習システムを訓練および使用するために使用されてもよい。
【0076】
一実施形態によると、例示的方法３００および３２０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ３０１では、本方法は、染色された前立腺組織試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0077】
ステップ３０３では、本方法は、１つまたはそれを上回るデジタル画像に関する少なくとも１つの標識を受信するステップを含んでもよく、少なくとも１つの標識は、癌の存在のインジケーションと、癌悪性度とを含有する。癌悪性度は、一次および二次Ｇｌｅａｓｏｎ悪性度を備えてもよい。
【0078】
ステップ３０５では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0079】
ステップ３０７では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。組織領域を検出し、非組織タイルを除去するステップは、色、色強度、テクスチャ特徴、大津の二値化法等に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法によって、遂行されてもよい。閾値処理は、閾値処理方法に基づいて、各受信されたスライド画像の１つまたはそれを上回るピクセルのための組織対非組織領域に関する標識を提供してもよい。連結成分アルゴリズムは、相互に接続される、画像領域またはピクセルを検出し、画像領域全体、スライド画像、またはスライドを横断して、組織対非組織領域を検出してもよい。組織領域を検出し、非組織タイルを除去するステップはまた、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズムによって、遂行されてもよい。
【0080】
ステップ３０９では、本方法は、機械学習モデルを訓練し、１つまたはそれを上回るデジタル画像に関して、癌が存在するかどうかと、癌の悪性度とを予測するステップを含んでもよい。訓練は、限定ではないが、以下を含む、種々の方法で遂行されてもよい。
ａ．上記に開示されるようなＭＩＭＬＬモデルを使用して、例えば、各スライドをマルチ標識と関連付けられるタイルのセットとして取り扱い、総観訓練標識に対応する、スライドを選択し、標識とのその関連性によって、各タイルをスコア化し、関連付けられる標識割当に対してＣＮＮモデルの加重を更新することを介して、ＣＮＮを訓練し、一次、二次、および／または三次悪性度を予測する。訓練されたＣＮＮは、埋込をスライドのセット内の各タイルから抽出し、マルチタスクアグリゲータ（例えば、前述に開示される集約モデル）を訓練し、各タイルまたはスライドの癌の存在、癌Ｇｌｅａｓｏｎ悪性度群、および／または一次、二次、および三次悪性度を予測するために使用されてもよい。代替として、各タイルから出力される予測は、手設計後処理方法、例えば、各悪性度に関し、各タイル票を有し、多数決をとることを用いて、使用および集約されてもよい。
ｂ．ＭＩＬモデルを使用して、各タイルを癌性または良性として分類し、一次／二次／三次悪性度が同一悪性度である、「純」症例に関して、悪性度評価標識を取り入れる。教師あり学習を使用して、タイルレベル分類子を取り入れられた標識で訓練する。上記の弱教師あり学習モジュールに開示されるような自己教師あり学習を使用して、モデルを精緻化する。
ｃ．特徴／埋込を各タイルから抽出し、次いで、マルチタスクアグリゲータ（例えば、上記に開示される集約モデル）を使用して、癌の存在、癌Ｇｌｅａｓｏｎ悪性度群、および／または一次、二次、および三次悪性度を予測する。埋込は、事前に訓練されたＣＮＮ、ランダム特徴、教師なしクラスタ化モデルからの特徴、ＳＩＦＴ、ＯＲＢ等からのものであってもよい。
ａ．上記に開示されるようなＭＩＭＬＬモデルを使用して、例えば、各スライドをマルチ標識と関連付けられるタイルのセットとして取り扱い、総観訓練標識に対応する、スライドを選択し、標識とのその関連性によって、各タイルをスコア化し、関連付けられる標識割当に対してＣＮＮモデルの加重を更新することを介して、ＣＮＮを訓練し、一次、二次、および／または三次悪性度を予測する。訓練されたＣＮＮは、埋込をスライドのセット内の各タイルから抽出し、マルチタスクアグリゲータ（例えば、前述に開示される集約モデル）を訓練し、各タイルまたはスライドの癌の存在、癌Ｇｌｅａｓｏｎ悪性度群、および／または一次、二次、および三次悪性度を予測するために使用されてもよい。代替として、各タイルから出力される予測は、手設計後処理方法、例えば、各悪性度に関し、各タイル票を有し、多数決をとることを用いて、使用および集約されてもよい。
ｂ．ＭＩＬモデルを使用して、各タイルを癌性または良性として分類し、一次／二次／三次悪性度が同一悪性度である、「純」症例に関して、悪性度評価標識を取り入れる。教師あり学習を使用して、タイルレベル分類子を取り入れられた標識で訓練する。上記の弱教師あり学習モジュールに開示されるような自己教師あり学習を使用して、モデルを精緻化する。
ｃ．特徴／埋込を各タイルから抽出し、次いで、マルチタスクアグリゲータ（例えば、上記に開示される集約モデル）を使用して、癌の存在、癌Ｇｌｅａｓｏｎ悪性度群、および／または一次、二次、および三次悪性度を予測する。埋込は、事前に訓練されたＣＮＮ、ランダム特徴、教師なしクラスタ化モデルからの特徴、ＳＩＦＴ、ＯＲＢ等からのものであってもよい。
【0081】
ステップ３２１では、本方法は、染色された前立腺試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等を備えてもよい。
【0082】
ステップ３２３では、本方法は、１つまたはそれを上回るデジタル画像をタイルの集合にパーティション化するステップを含んでもよい。
【0083】
ステップ３２５では、本方法は、少なくとも１つの組織領域をデジタル画像の背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。検出するステップは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0084】
ステップ３２７では、本方法は、訓練された機械学習モデルをタイルの集合に適用し、癌の存在および癌の悪性度を予測するステップを含んでもよい。癌の悪性度は、癌Ｇｌｅａｓｏｎ悪性度群、および／または一次、二次、および三次悪性度群を備えてもよい。
【0085】
ステップ３２９では、本方法は、予測を、例えば、電子記憶デバイスに出力するステップを含んでもよい。
【0086】
図４は、本開示の１つまたはそれを上回る例示的実施形態による、前立腺針生検における腫瘍定量化のために、機械学習システムを訓練および使用するための例示的方法を図示する、フローチャートである。前立腺針生検のための腫瘍定量化は、各癌悪性度（例えば、Ｇｌｅａｓｏｎ悪性度）に関し、癌の総量および相対量を推定するステップから成ってもよい。腫瘍定量化は、前立腺癌の組成および重症度を理解する際に重要な役割を果たし得、病理学診断報告に関する一般的要素であり得る。腫瘍サイズを定量化するステップは、従来的には、物理的定規をガラススライド上で用いて、手動で実施され得る。このような手動定量化は、不正確度および一貫性の両方に悩まされ得る。例示的方法４００および４２０は、前立腺針生検における腫瘍を定量化するために、機械学習システムを訓練および使用するために使用されてもよい。
【0087】
一実施形態によると、例示的方法４００および４２０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ４０１では、本方法は、染色された前立腺組織試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0088】
ステップ４０３では、本方法は、１つまたはそれを上回るデジタル画像の各々に関し、少なくとも１つの実数値腫瘍定量化標識を受信するステップを含んでもよく、少なくとも１つの実数値腫瘍定量化標識は、一次悪性度および二次悪性度のインジケーションを含有する。標識はまた、１つまたはそれを上回るデジタル画像内の腫瘍の個別の体積、個別の長さ、および個別のサイズを含んでもよい。
【0089】
ステップ４０５では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0090】
ステップ４０７では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0091】
ステップ４０９では、本方法は、例示的方法３００に説明されるように、機械学習モデルを訓練し、癌悪性度評価予測を出力するステップを含んでもよい。腫瘍定量化推定値が、限定ではないが、以下を含む、多くの方法において、推定されてもよい。
ａ．悪性度のタイルの数をカウントし、良性組織の体積に対してその体積および比率を幾何学的に推定する。
ｂ．例えば、例示的方法３００に説明されるように、スライドレベル悪性度評価モジュールを使用して、モデルを訓練する。本モデルは、入力として、機械学習癌悪性度評価予測モデル（例えば、例示的方法３００において訓練されたモデル）からのタイルレベル診断特徴をとり、実数値回帰モデルを使用して、各腫瘍定量化計測値を出力してもよい。
ａ．悪性度のタイルの数をカウントし、良性組織の体積に対してその体積および比率を幾何学的に推定する。
ｂ．例えば、例示的方法３００に説明されるように、スライドレベル悪性度評価モジュールを使用して、モデルを訓練する。本モデルは、入力として、機械学習癌悪性度評価予測モデル（例えば、例示的方法３００において訓練されたモデル）からのタイルレベル診断特徴をとり、実数値回帰モデルを使用して、各腫瘍定量化計測値を出力してもよい。
【0092】
ステップ４２１では、本方法は、染色された前立腺試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0093】
ステップ４２３では、本方法は、１つまたはそれを上回るデジタル画像をタイルの集合にパーティション化するステップを含んでもよい。
【0094】
ステップ４２５では、本方法は、少なくとも１つの組織領域をデジタル画像の背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0095】
ステップ４２７では、本方法は、訓練された機械学習モデルをタイルの集合に適用し、腫瘍定量化予測を算出するステップを含んでもよい。予測は、電子記憶デバイスに出力されてもよい。腫瘍定量化は、サイズ計測値またはパーセンテージの形態であってもよい。
【0096】
ステップ４２９では、本方法は、予測を電子記憶デバイスに出力するステップを含んでもよい。
【0097】
図５は、本開示の１つまたはそれを上回る例示的実施形態による、癌下位型を予測するために、機械学習システムを訓練および使用するための例示的方法を図示する、フローチャートである。多くの癌は、複数の下位型を有する。例えば、乳癌では、癌が浸潤性であるかどうか、小葉または乳管であるかどうか、および石灰化等の種々の他の属性が存在するかどうかが決定され得る。癌下位型を予測する本方法は、マルチ標識学習の使用を伴い得る、複数かつ非排他的なカテゴリの予測を含んでもよい。
【0098】
一実施形態によると、例示的方法５００および５２０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ５０１では、本方法は、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0099】
ステップ５０３では、本方法は、１つまたはそれを上回るデジタル画像に関して、組織試料の複数の標識および／またはバイオマーカである、複数の標識を受信するステップを含んでもよい。乳癌試料では、関連バイオマーカは、石灰化の存在、癌の有無、非浸潤性乳管癌腫（ＤＣＩＳ）、浸潤性乳管癌腫（ＩＤＣ）、炎症性乳癌（ＩＢＣ）、乳房パジェット病、脈管肉腫、葉状腫瘍、浸潤性小葉癌腫、小葉癌腫非浸潤性、および種々の形態の非定型であり得る。標識は、必ずしも、相互に排他的とは限らず、複数の下位型が、同時に、観察されてもよい。
【0100】
ステップ５０５では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0101】
ステップ５０７では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0102】
ステップ５０９では、本方法は、機械学習モデルを訓練し、各タイルおよび／またはスライドに関し、癌の形態および／または下位型を予測するステップを含んでもよい。機械学習モデルを訓練するステップは、上記に開示されるＭＩＭＬＬモデルを使用して、遂行されてもよい。訓練された下位型予測機械学習モデルは、上記に開示されるように、スライドレベル予測モデル（例えば、集約モデル）を使用して、精緻化されてもよい。スライドレベル予測モデルは、入力として、ＭＩＭＬＬモデルからのタイルレベル下位型予測をとり、各癌下位型の存在を示す、スライドレベル予測を出力してもよい。
【0103】
ステップ５２１では、本方法は、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0104】
ステップ５２３では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0105】
ステップ５２５では、本方法は、１つまたはそれを上回るデジタル画像をタイルの集合にパーティション化するステップと、組織を含有しない、任意のタイルを破棄するステップとを含んでもよい。
【0106】
ステップ５２７では、本方法は、癌下位型予測をタイルの集合から算出するステップと、予測を電子記憶デバイスに出力するステップとを含んでもよい。
【0107】
図６は、本開示の１つまたはそれを上回る例示的実施形態による、外科手術辺縁を予測するために、機械学習システムを訓練および使用するための例示的方法を図示する、フローチャートである。腫瘍が、患者から外科的に除去されるとき、腫瘍を囲繞する組織の辺縁を分析することによって、腫瘍が完全に除去されたかどうかを査定することが、重要であり得る。本辺縁の幅および辺縁における任意の癌性組織の識別は、患者が治療され得る方法を決定するための重要な役割を果たし得る。モデルを訓練し、辺縁幅および組成を予測するステップは、マルチ標識マルチタスク学習の形態をとってもよい。
【0108】
一実施形態によると、例示的方法６００および６２０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ６０１では、本方法は、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0109】
ステップ６０３では、本方法は、１つまたはそれを上回るデジタル画像に関して、複数の標識を受信するステップを含んでもよく、複数の標識は、腫瘍辺縁と、辺縁が、陽性である（例えば、腫瘍細胞が、辺縁に見出される）、陰性である（例えば、辺縁に、癌が完全にない）、または際どい（例えば、決定的に陽性または陰性ではない）かどうかとを示す。
【0110】
ステップ６０５では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0111】
ステップ６０７では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0112】
ステップ６０９では、本方法は、上記に開示されるように、機械学習モデルを訓練し、癌検出、存在、または悪性度を予測するステップを含んでもよい。
【0113】
ステップ６２１では、本方法は、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0114】
ステップ６２３では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0115】
ステップ６２５では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0116】
ステップ６２７では、本方法は、外科手術辺縁、腫瘍辺縁サイズ、または腫瘍組成予測をタイルから算出するステップを含んでもよい。本方法はまた、予測を電子記憶デバイスに出力するステップを含んでもよい。
【0117】
図７は、本開示の１つまたはそれを上回る例示的実施形態による、膀胱癌バイオマーカを予測するために、機械学習システムを訓練および使用するための例示的方法を図示する、フローチャートである。膀胱癌は、世界で最も一般的癌のうちの１つである。膀胱癌が、検出される場合、病理学者はまた、固有筋層が、膀胱癌が検出されたスライドのいずれか上に存在するかどうかを決定してもよい。固有筋層は、膀胱壁の有意な部分を形成する、平滑筋細胞の層である。固有筋層の有無を検出するステップは、膀胱癌が浸潤性であるかどうかを決定する重要なステップである。実施形態は、癌検出および固有筋層検出の両方を実施するが、任意の数の二項分類タスクに拡張され得る。
【0118】
一実施形態によると、例示的方法７００および７２０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ７０１では、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信する。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0119】
ステップ７０３では、本方法は、１つまたはそれを上回るデジタル画像に関して、複数の標識を受信するステップを含んでもよく、複数の標識は、癌の有無または固有筋層の有無を示す。
【0120】
ステップ７０５では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0121】
ステップ７０７では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0122】
ステップ７０９では、本方法は、例えば、弱教師あり学習モジュール（上記に開示されるように）を使用して、ＭＩＭＬＬモデルを訓練し、複数のタイルを横断して、癌の有無または固有筋層の有無を示す、出力スコアを集約することによって、機械学習モデルを訓練するステップを含んでもよい。代替として、集約モデルは、各タイルからの埋込を使用して、各画像、タイル、またはスライドのマルチ標識を予測するように訓練され得る。
【0123】
ステップ７２１では、本方法は、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0124】
ステップ７２３では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0125】
ステップ７２５では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0126】
ステップ７２７では、本方法は、固有筋層予測または浸潤性癌予測をタイルの集合から算出するステップを含んでもよい。本方法はまた、予測を電子記憶デバイスに出力するステップを含んでもよい。
【0127】
図８は、本開示の１つまたはそれを上回る例示的実施形態による、汎癌診断を予測するために、機械学習システムを訓練および使用するための例示的方法を図示する、フローチャートである。機械学習は、一般的癌型における癌を予測するための良好なモデルを作成するために正常に使用されているが、稀な癌に関する予測は、あまり訓練データが存在し得ないため、課題である。別の課題は、転移性であるとき、癌が生じた場所を予測することであって、時として、決定は、不可能である。原癌を把握することは、癌の治療を誘導することに役立ち得る。実施形態は、単一機械学習モデルを使用して、汎癌予測および原癌予測を可能にする。多くの組織タイプ上で訓練することによって、本方法は、非常にわずかなデータが利用可能であり得る場合でも、事実上、稀な癌型を一般化し得るように、組織形態構造の理解を達成し得る。
【0128】
一実施形態によると、例示的方法８００および８２０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ８０１では、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信する。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0129】
ステップ８０３では、本方法は、患者に関して受信されるデジタル画像のそれぞれに示される組織のタイプを示す、複数のデータを受信するステップを含んでもよい。
【0130】
ステップ８０５では、本方法は、各デジタル画像に関し、癌の有無を示す、バイナリ標識のセットを受信するステップを含んでもよい。
【0131】
ステップ８０７では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0132】
ステップ８０９では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0133】
ステップ８１１では、本方法は、患者に関する少なくとも１つの汎癌予測出力をバイナリリストの中に編成するステップを含んでもよい。リストの１つの要素は、任意の癌の存在を示してもよく、リスト内の他の要素は、各具体的癌型の存在を示してもよい。例えば、前立腺癌試料は、一般的癌に関する陽性インジケータ、前立腺癌のための前立腺インジケータに関する陽性インジケータ、および他の組織（例えば、肺、乳房等）に対応する全ての他の出力に関する陰性インジケータを有してもよい。それに関して全てのスライドが良性である、患者は、全ての陰性インジケータを含有する、標識リストを有し得る。
【0134】
ステップ８１３では、本方法は、機械学習モデルを訓練し、患者に関するバイナリベクトルを予測するステップを含んでもよい。機械学習モデルは、上記に説明されるようなＭＩＭＬＬモデルを備えてもよく、弱教師あり学習モジュールは、ＭＩＭＬＬモデルを訓練してもよい。加えて、本方法は、集約モデル（上記に開示されるように）を使用して、種々のタイルを横断して、ＭＩＭＬＬの汎癌予測出力を集約するステップを含んでもよい。代替として、集約モデルは、各タイルからの埋込を使用して、（複数の）汎癌予測標識を予測するように訓練されてもよい。
【0135】
ステップ８２１では、本方法は、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0136】
ステップ８２３では、本方法は、患者に関して受信されるデジタル画像のそれぞれに示される組織のタイプを示す、複数のデータを受信するステップを含んでもよい。
【0137】
ステップ８２５では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0138】
ステップ８２７では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0139】
ステップ８２９では、本方法は、訓練された機械学習モデルを使用して、汎癌予測を算出することを含んでもよい。機械学習モデルは、訓練されたＭＩＭＬＬモデルおよび／または集約モデル（上記に開示されるように）を備えてもよい。例示的出力は、限定ではないが、以下を含んでもよい。
ａ．汎癌予測：癌存在出力は、組織タイプにかかわらず、訓練の間に観察されない組織タイプに関してさえ、癌の存在を決定するために使用され得る。これは、機械学習モデルを訓練するために利用可能な十分なデータが存在し得ない、稀な癌に関して有用であり得る。
ｂ．原癌予測：癌下位型出力は、最大下位型出力を識別することによって、転移性癌の原点を予測するために使用され得る。下位型に関する癌出力のうちの１つが、システムに入力される組織のタイプより十分に高い場合、これは、病理学者に、出力が原癌であることを示し得る。例えば、膀胱組織試料が、機械学習モデルによって、癌を有することが見出されるが、前立腺癌下位型出力である場合、これは、病理学者に、膀胱に見出される癌が、膀胱内で生じた癌の代わりに、転移性前立腺癌であり得ることを示し得る。
ａ．汎癌予測：癌存在出力は、組織タイプにかかわらず、訓練の間に観察されない組織タイプに関してさえ、癌の存在を決定するために使用され得る。これは、機械学習モデルを訓練するために利用可能な十分なデータが存在し得ない、稀な癌に関して有用であり得る。
ｂ．原癌予測：癌下位型出力は、最大下位型出力を識別することによって、転移性癌の原点を予測するために使用され得る。下位型に関する癌出力のうちの１つが、システムに入力される組織のタイプより十分に高い場合、これは、病理学者に、出力が原癌であることを示し得る。例えば、膀胱組織試料が、機械学習モデルによって、癌を有することが見出されるが、前立腺癌下位型出力である場合、これは、病理学者に、膀胱に見出される癌が、膀胱内で生じた癌の代わりに、転移性前立腺癌であり得ることを示し得る。
【0140】
ステップ８３１では、本方法は、予測を電子記憶デバイスに保存するステップを含んでもよい。
【0141】
図９は、本開示の１つまたはそれを上回る例示的実施形態による、器官毒性を予測するために、機械学習システムを訓練および使用するための例示的方法を図示する、フローチャートである。薬物開発のための臨床前動物研究では、病理学者は、任意の毒性が存在するかどうか、毒性の形態、および／または毒性が見出され得る器官を決定する。実施形態は、これらの予測を自動的に実施することを可能にする。臨床前研究に関する課題は、スライドが、調製の間、ガラスを節約するために、複数の器官を含有し得ることである。
【0142】
一実施形態によると、例示的方法９００および９２０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ９０１では、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信する。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0143】
ステップ９０３では、本方法は、毒性の有無および／または毒性のタイプまたは重症度を示す、複数のバイナリ標識を受信するステップを含んでもよい。
【0144】
ステップ９０５では、本方法は、少なくとも１つの器官に関する毒性の有無および／またはそのタイプまたは重症度を受信するステップを含んでもよい。
【0145】
ステップ９０７では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0146】
ステップ９０９では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0147】
ステップ９１１では、本方法は、患者に関する少なくとも１つの毒性予測出力をバイナリリストの中に編成するステップを含んでもよい。リストの１つの要素は、スライド上に見出される任意の毒性の存在またはタイプを示してもよく、リスト内の他の要素は、各器官内の毒性の存在／タイプを示してもよい。
【0148】
ステップ９１３では、本方法は、機械学習モデルを訓練し、患者に関するバイナリベクトルを予測するステップを含んでもよい。機械学習モデルは、上記に説明されるようなＭＩＭＬＬモデルを備えてもよく、弱教師あり学習モジュールは、ＭＩＭＬＬモデルを訓練してもよい。加えて、本方法は、集約モデル（上記に開示されるように）を使用して、種々のタイルを横断して、ＭＩＭＬＬの毒性予測出力を集約するステップを含んでもよい。代替として、集約モデルは、各タイルからの埋込を使用して、毒性予測標識を予測するように訓練されてもよい。
【0149】
ステップ９２１では、本方法は、組織試料と関連付けられる、１つまたはそれを上回るデジタル画像をデジタル記憶デバイスの中に受信するステップを含んでもよい。デジタル記憶デバイスは、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ランダムアクセスメモリ（ＲＡＭ）等を備えてもよい。
【0150】
ステップ９２３では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれをタイルの集合にパーティション化するステップを含んでもよい。
【0151】
ステップ９２５では、本方法は、少なくとも１つの組織領域を１つまたはそれを上回るデジタル画像のそれぞれの背景から検出し、組織マスクを作成するステップと、非組織である、少なくとも１つのタイルを除去するステップとを含んでもよい。さらなる処理は、非組織タイルを伴わずに、開始してもよい。これは、限定ではないが、色、色強度、テクスチャ特徴、大津の二値化法、または任意の他の好適な方法に基づき、その後、連結成分アルゴリズムの起動が続く、閾値処理方法、ｋ平均法、グラフカット、マスクＲ－ＣＮＮ等のセグメント化アルゴリズム、または任意の他の好適な方法を含む、種々の方法で達成されてもよい。
【0152】
ステップ９２７では、本方法は、訓練された機械学習モデルを使用して、毒性予測を算出するステップを含んでもよい。機械学習モデルは、訓練されたＭＩＭＬＬモデルおよび／または集約モデル（上記に開示されるように）を備えてもよい。例示的出力は、限定ではないが、以下を含んでもよい。
ａ．毒性存在：毒性存在出力は、スライド全体を横断して、組織タイプにかかわらず、毒性の存在および／または重症度を決定するために使用され得る。
ｂ．器官毒性予測：器官毒性出力は、毒性が見出され得る器官を決定するために使用され得る。
ａ．毒性存在：毒性存在出力は、スライド全体を横断して、組織タイプにかかわらず、毒性の存在および／または重症度を決定するために使用され得る。
ｂ．器官毒性予測：器官毒性出力は、毒性が見出され得る器官を決定するために使用され得る。
【0153】
ステップ９２９では、本方法は、毒性予測を電子記憶デバイスに保存するステップを含んでもよい。
【0154】
図１０は、本開示の実施形態による、例示的連結成分アルゴリズムを図示する。連結成分アルゴリズムは、画像領域を横断して、特徴を集約してもよい。例えば、閾値処理は、バイナリ（例えば、黒色および白色）画像をもたらし得る。連結成分アルゴリズムまたはモデルは、ピクセルレベルにおいて、画像内の種々の領域、例えば、３つの領域（緑色、赤色、茶色）を識別してもよい。各ピクセルは、連結成分を使用して、具体的実装におけるタイルおよび成分（緑色、赤色、または茶色）に属し得る。集約は、多数決（例えば、緑色成分票内の全てのタイルに関して、１の値を有する、緑色をもたらす）または学習されたアグリゲータ（例えば、特徴のベクトルが、各タイルから抽出され、各成分に関し、成分アグリゲータモジュール工程に入力され得、したがって、緑色成分内のタイルが、成分アグリゲータモジュールにフィードされ、これは、悪性度数を生成し得る）を含む、多くの方法において、生じてもよい。ＣＮＮは、タイルに関する予測（例えば、数）、その視覚的性質を説明する、タイルに関する特徴ベクトル、または両方のいずれかを出力してもよい。
【0155】
図１１に示されるように、デバイス１１００は、中央処理ユニット（ＣＰＵ）１１２０を含んでもよい。ＣＰＵ１１２０は、例えば、任意のタイプの特殊目的または汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであってもよい。当業者によって理解されるであろうように、ＣＰＵ１１２０はまた、マルチコア／マルチプロセッサシステム内の単一プロセッサであってもよく、そのようなシステムは、単独で、またはクラスタまたはサーバファーム内で動作するコンピューティングデバイスのクラスタ内で動作する。ＣＰＵ１１２０は、データ通信インフラストラクチャ１１１０、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ通過スキームに接続されてもよい。
【0156】
デバイス１１００はまた、メインメモリ１１４０、例えば、ランダムアクセスメモリ（ＲＡＭ）を含んでもよく、また、二次メモリ１１３０を含んでもよい。二次メモリ１１３０、例えば、読取専用メモリ（ＲＯＭ）は、例えば、ハードディスクドライブまたはリムーバブル記憶ドライブであってもよい。そのようなリムーバブル記憶ドライブは、例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリ、または同等物を備えてもよい。リムーバブル記憶ドライブは、本実施例では、周知の様式において、リムーバブル記憶ユニットから読み取られ、および／またはその中に書き込む。リムーバブル記憶装置は、フロッピー（登録商標）ディスク、磁気テープ、光ディスク等を備えてもよく、これは、リムーバブル記憶ドライブによって読み取られる、そこに書き込まれる。当業者によって理解されるであろうように、そのようなリムーバブル記憶ユニットは、概して、その中に記憶されるコンピュータソフトウェアおよび／またはデータを有する、コンピュータ使用可能記憶媒体を含む。
【0157】
その代替実装では、二次メモリ１１３０は、コンピュータプログラムまたは他の命令がデバイス１１００の中にロードされることを可能にするための類似手段を含んでもよい。そのような手段の実施例は、プログラムカートリッジおよびカートリッジインターフェース（ビデオゲームデバイスに見出されるもの等）、リムーバブルメモリチップ（ＥＰＲＯＭまたはＰＲＯＭ等）および関連付けられるソケット、および他のリムーバブル記憶ユニットおよびインターフェースを含んでもよく、これは、ソフトウェアおよびデータが、リムーバブル記憶ユニットからデバイス１１００に転送されることを可能にする。
【0158】
デバイス１１００はまた、通信インターフェース（「ＣＯＭ」）１１６０を含んでもよい。通信インターフェース１１６０は、ソフトウェアおよびデータが、デバイス１１００と外部デバイスとの間で転送されることを可能にする。通信インターフェース１１６０は、モデム、ネットワークインターフェース（Ｅｔｈｅｒｎｅｔ（登録商標）カード等）、通信ポート、ＰＣＭＣＩＡスロットおよびカード、または同等物を含んでもよい。通信インターフェース１１６０を介して転送される、ソフトウェアおよびデータは、信号の形態であってもよく、これは、通信インターフェース１１６０によって受信されることが可能な電子、電磁、光学、または他の信号であってもよい。これらの信号は、デバイス１１００の通信経路を介して、通信インターフェース１１６０に提供されてもよく、これは、例えば、ワイヤまたはケーブル、光ファイバ、電話回線、携帯電話リンク、ＲＦリンク、または他の通信チャネルを使用して実装されてもよい。
【0159】
ハードウェア要素、オペレーティングシステム、およびそのような機器のプログラミング言語は、性質上、従来的であって、当業者は、それに十分に精通していることが想定される。デバイス１１００はまた、入力および出力ポート１１５０を含み、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイ等の入力および出力デバイスと接続してもよい。当然ながら、種々のサーバ機能は、いくつかの類似プラットフォーム上に分散方式で実装され、処理負荷を分散させてもよい。代替として、サーバは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装されてもよい。
【0160】
本開示全体を通して、構成要素またはモジュールの言及は、概して、論理的に、機能または関連機能の群を実施するためにともに群化され得る、アイテムを指す。同様の参照番号は、概して、同一または類似構成要素を指すことが意図される。構成要素およびモジュールは、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせ内に実装されてもよい。
【0161】
上記に説明されるツール、モジュール、および機能は、１つまたはそれを上回るプロセッサによって実施されてもよい。「記憶」タイプ媒体は、随時、ソフトウェアプログラミングのための非一過性記憶装置を提供し得る、種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等のコンピュータ、プロセッサまたは同等物、またはその関連付けられるモジュールの有形メモリのいずれかまたは全てを含んでもよい。
【0162】
ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通して通信されてもよい。例えば、通信は、ソフトウェアを１つのコンピュータまたはプロセッサから別のものの中にロードすることを可能にし得る。本明細書で使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、実行のための命令をプロセッサに提供することに関わる、任意の媒体を指す。
【0163】
前述の一般的説明は、例示的および説明的にすぎず、本開示の制限ではない。本発明の他の実施形態は、明細書の考慮および本明細書に開示される本発明の実践から当業者に明白となるであろう。明細書および実施例は、例示にすぎないものと見なされることが意図される。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
