特許 7583041 組織画像分類用のマルチインスタンス学習器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】組織画像分類用のマルチインスタンス学習器

(51)【国際特許分類】

   G06V 10/82 20220101AFI20241106BHJP

   G01N 33/48 20060101ALI20241106BHJP

   G06N 3/02 20060101ALI20241106BHJP

   G06T 7/00 20170101ALI20241106BHJP

   G06V 20/69 20220101ALI20241106BHJP

【ＦＩ】

G06V10/82

G01N33/48 M

G01N33/48 Z

G06N3/02

G06T7/00 350C

G06T7/00 630

G06V20/69

【請求項の数】 17

(21)【出願番号】P 2022523835

(86)(22)【出願日】2020-11-20

(65)【公表番号】

(43)【公表日】2023-01-18

(86)【国際出願番号】 EP2020082917

(87)【国際公開番号】W WO2021099584

(87)【国際公開日】2021-05-27

【審査請求日】2022-05-18

【審判番号】

【審判請求日】2023-11-22

(31)【優先権主張番号】19210814.0

(32)【優先日】2019-11-22

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】591003013

【氏名又は名称】エフ． ホフマン－ラ ロシュ アーゲー

【氏名又は名称原語表記】Ｆ． ＨＯＦＦＭＡＮＮ－ＬＡ ＲＯＣＨＥ ＡＫＴＩＥＮＧＥＳＥＬＬＳＣＨＡＦＴ

(74)【代理人】

【識別番号】100102978

【弁理士】

【氏名又は名称】清水 初志

(74)【代理人】

【識別番号】100205707

【弁理士】

【氏名又は名称】小寺 秀紀

(74)【代理人】

【識別番号】100160923

【弁理士】

【氏名又は名称】山口 裕孝

(74)【代理人】

【識別番号】100119507

【弁理士】

【氏名又は名称】刑部 俊

(74)【代理人】

【識別番号】100142929

【弁理士】

【氏名又は名称】井上 隆一

(74)【代理人】

【識別番号】100148699

【弁理士】

【氏名又は名称】佐藤 利光

(74)【代理人】

【識別番号】100188433

【弁理士】

【氏名又は名称】梅村 幸輔

(74)【代理人】

【識別番号】100128048

【弁理士】

【氏名又は名称】新見 浩一

(74)【代理人】

【識別番号】100129506

【弁理士】

【氏名又は名称】小林 智彦

(74)【代理人】

【識別番号】100114340

【弁理士】

【氏名又は名称】大関 雅人

(74)【代理人】

【識別番号】100214396

【弁理士】

【氏名又は名称】塩田 真紀

(74)【代理人】

【識別番号】100121072

【弁理士】

【氏名又は名称】川本 和弥

(74)【代理人】

【識別番号】100221741

【弁理士】

【氏名又は名称】酒井 直子

(74)【代理人】

【識別番号】100114926

【弁理士】

【氏名又は名称】枝松 義恵

(72)【発明者】

【氏名】クライマン エルダド

(72)【発明者】

【氏名】ギルデンブラ ジャコブ

(72)【発明者】

【氏名】シャウル イド ベン

【合議体】

【審判長】中木 努

【審判官】本郷 彰

【審判官】廣川 浩

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１２２０７３（ＵＳ，Ａ１）

【文献】Ｍａｘｉｍｉｌｉａｎ Ｉｌｓｅ ｅｔ ａｌ．，”Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｄｅｅｐ Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ”，ａｒＸｉｖ，米国，Ｃｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ，２０１８年０６月２８日，ｐｐ．１－１６，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０２．０４７１２

【文献】Ｂａｓｕｒａ Ｆｅｒｎａｎｄｏ ｅｔ ａｌ．，”Ｄｅｅｐ Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ｇａｕｓｓｉａｎ Ｗｅｉｇｈｔｉｎｇ”，ＩＣＬＲ ２０２０ Ｃｏｎｆｅｒｅｎｃｅ Ｂｌｉｎｄ Ｓｕｂｍｉｓｓｉｏｎ，米国，ＩＣＬＲ，２０１９年０９月２６日，ｐｐ．１－１０，ｈｔｔｐｓ：／／ｏｐｅｎｒｅｖｉｅｗ．ｎｅｔ／ｆｏｒｕｍ？ｉｄ＝Ｂｋｌｒｅａ４ＫｗＳ

【文献】村田 賢太，“第３章 深層学習入門 階層が増えて起きる問題とその解決方法”，ＷＥＢ＋ＤＢ ＰＲＥＳＳ，日本，（株）技術評論社，２０１５年１１月２５日，Ｖｏｌ．８９，ｐｐ．６２－６６

【文献】Ｙａｓｕｆｕｍｉ Ｓａｋａｉ ｅｔ ａｌ．，”Ｄｒｏｐｏｕｔ ａｎｄ ＤｒｏｐＣｏｎｎｅｃｔ ｆｏｒ Ｒｅｌｉａｂｌｅ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｉｎｆｅｒｅｎｃｅ Ｕｎｄｅｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｃｏｎｓｔｒａｉｎｔｓ ｉｎ Ｎｅｔｗｏｒｋ Ｃｏｎｎｅｃｔｉｖｉｔｙ”，ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｅｍｅｒｇｉｎｇ ａｎｄ Ｓｅｌｅｃｔｅｄ Ｔｏｐｉｃｓ ｉｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，米国，ＩＥＥＥ，２０１９年１１月１９日，Ｖｏｌ．９， Ｎｏ．４，ｐｐ．６５８－６６７

【文献】Ｙｕｎ Ｇｕ ｅｔ ａｌ．，”Ｒｅｌｉａｂｌｅ Ｌａｂｅｌ－Ｅｆｆｉｃｉｅｎｔ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，米国，ＩＥＥＥ，２０１８年１２月２７日，Ｖｏｌ．６６， Ｎｏ．９，ｐｐ．２４２３－２４３２

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G01N 33/48

G06T 1/00,7/00-7/90

G06V 10/00-10/98

G06N 3/02,20/00

(57)【特許請求の範囲】

【請求項1】

組織画像（２１２、７１２～７１８、８２２～８２８）を分類するための方法（１００）であって、
－画像分析システム（２００）により、複数のデジタル画像（２１２、７１２～７１８、８２２～８２８）を受信すること（１０２）であって、前記デジタル画像のそれぞれが、患者の組織サンプルを示す、受信すること（１０２）と、
－前記画像分析システムにより、受信した各画像を画像タイルのセット（２１６、９０２～９０６、９４０、９４２）に分割すること（１０４）と、
－前記タイルのそれぞれについて、前記画像分析システムにより、前記タイルから選択的に抽出された画像特徴を含む特徴ベクトル（２２０）を計算すること（１０６）と、
－任意の入力画像を、前記入力画像の全てのタイルから抽出された前記特徴ベクトルに基づいて少なくとも２つの異なるクラスのうちの一つのメンバとして分類するためのモデルを使用するように構成された、ニューラルネットワークであるマルチインスタンス学習（ＭＩＬ）プログラム（２２６）を提供すること（１０８）と、
－前記タイルのそれぞれについて、前記タイルが導き出された前記画像の分類に対する前記タイルの特徴ベクトルの寄与に関する前記モデルの確実性を示す確実性値（２２１）を、前記ニューラルネットワークのモデルのテスト時にドロップアウト技術を使用して計算すること（１１０）と、
－各画像について、前記ＭＩＬプログラム（２２６）により、前記画像から抽出された前記特徴ベクトルを前記画像の前記タイルの前記確実性値（２２１）の関数としてグローバル特徴ベクトル（９９５）に集約する（１１１）ための確実性値ベースのプーリング関数（９９６）を使用し、前記グローバル特徴ベクトルを前記ＭＩＬプログラム（２２６）の予測モデル（９９９）に入力することによって集約予測値（９９７）を計算すること（１１２）と、
－前記ＭＩＬプログラムにより、前記画像のそれぞれを、前記集約予測値に基づいて前記少なくとも２つの異なるクラスのうちの一つのメンバとして分類すること（１１６）と
を含む、前記方法。

【請求項2】

－ＧＵＩを介して、分類結果をユーザに出力すること、および／または
－前記分類結果を他のアプリケーションプログラムに出力すること
をさらに含む、請求項１に記載の方法。

【請求項3】

－前記ＭＩＬプログラム（２２６）が、バイナリＭＩＬプログラムであり、
－前記少なくとも２つのクラスが、「陽性クラス」と呼ばれる第１のクラスおよび「陰性クラス」と呼ばれる第２のクラスからなり、
－前記ＭＩＬプログラムが、当該画像のタイルのうちの少なくとも１つについて、当該タイルの前記特徴ベクトルが前記「陽性クラス」の証拠を含むと予測した場合、前記画像のいずれか１つが前記「陽性クラス」に分類され、
－前記ＭＩＬプログラムが、当該画像の全てのタイルについて、それらのそれぞれの前記特徴ベクトルが前記「陽性クラス」の証拠を含まないと予測した場合、前記画像のいずれか１つが前記「陰性クラス」に分類される、
請求項１または２に記載の方法。

【請求項4】

前記確実性値ベースのプーリング関数がテスト時に使用され、
前記ＭＩＬプログラムを提供すること（１０８）が、
－トレーニング画像のセットから生成されたトレーニングタイルのセットから特徴ベクトルを抽出することと、
－前記特徴ベクトル上で前記ＭＩＬプログラムをトレーニングすることによって、トレーニング時に、テスト時に使用されたのと同じ確実性値ベースのプーリング関数を使用するか、またはトレーニング時に、テスト時に使用された確実性値ベースのプーリング関数ではない別の確実性値ベースのプーリング関数を使用することと
を含み、
トレーニング時に使用される前記確実性値ベースのプーリング関数が、確実性値ベースの最大プーリング関数または確実性値ベースの平均プーリング関数であり、テスト時に使用される前記確実性値ベースのプーリング関数が、確実性値ベースの最大プーリング関数である、
請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記確実性値ベースのプーリング関数が、確実性値ベースの最大プーリング関数であり、前記確実性値ベースのプーリング関数を使用することが、前記画像のそれぞれについて、サブ方法を含み、前記サブ方法が、最大確実性値（ｃ_ｍａｘ）を有する前記タイルの前記特徴ベクトル（ｆｖ）を前記グローバル特徴ベクトル（９９５）として使用すること
を含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記確実性値ベースのプーリング関数が、確実性値ベースの平均プーリング関数であり、
前記確実性値ベースのプーリング関数を使用することが、前記画像のそれぞれについて、各タイルの前記特徴ベクトル（ｆｖ）を、当該タイルに対して計算された確実性値（ｃ）によって加重し、それによって加重特徴ベクトル（ｗｆｖ）を取得すること、および前記グローバル特徴ベクトルを、前記画像の全ての前記加重特徴ベクトル（ｗｆｖ）の平均として計算することを含む、
請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記確実性値が、モンテカルロドロップアウト（ＭＣドロップアウト）として計算される、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記ドロップアウト技術および／または前記確実性値ベースのプーリング関数が、前記モデルのトレーニング時ではなくテスト時に使用される、請求項７に記載の方法。

【請求項9】

前記ニューラルネットワークが、１つ以上の非活性化されたドロップアウトレイヤを含み、前記非活性化されたドロップアウトレイヤが、トレーニング時に活性化されかつテスト時に非活性化されたドロップアウトレイヤであり、前記方法が、テスト時に前記１つ以上のドロップアウトレイヤを再活性化することを含み、または
トレーニング時における前記ニューラルネットワークが、いかなるドロップアウトレイヤも含まず、前記方法が、テスト時における１つ以上のドロップアウトレイヤを前記ニューラルネットワークに追加することを含み、
テスト時における前記タイルのいずれか１つについての前記確実性値を計算することが、
－前記タイルのそれぞれについて、前記タイルから抽出された前記特徴ベクトルに基づいて予測値（ｈ_ｄ）を複数回計算することであって、前記予測値（ｈ_ｄ）が計算されるたびに、前記ネットワークのノードの異なるサブセットが前記１つ以上の再活性化または追加されたドロップアウトレイヤによってドロップされる、計算することと、
－前記タイルのそれぞれについて、前記タイルについて計算された前記複数の予測値（ｈ_ｄ）の変動性の関数として前記タイルの前記確実性値を計算することであって、前記変動性が大きいほど、前記確実性値（ｃ）が小さくなる、計算することと
をさらに含む、請求項７または８に記載の方法。

【請求項10】

受信された前記デジタル画像が、
－組織サンプルのデジタル画像であって、それらのピクセル強度値が、非バイオマーカ特異的染料、特にヘマトキシリン染色剤またはＨ＆Ｅ染色剤の量と相関する、組織サンプルのデジタル画像、および／または
－組織サンプルのデジタル画像であって、それらのピクセル強度値が、前記組織サンプルに含まれるバイオマーカを選択的に染色するよう適合されたバイオマーカ特異的染料の量と相関する、組織サンプルのデジタル画像
を含む、請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記ＭＩＬプログラムを提供することが、前記ＭＩＬプログラムのモデルをトレーニングすることを含み、
前記トレーニングすることが、
－組織サンプルのデジタルトレーニング画像のセットを提供することであって、各デジタルトレーニング画像が、少なくとも２つのクラスのうちの１つを示すクラスラベルが割り当てられている、提供すること、
－各トレーニング画像をトレーニング画像タイルに分割することであって、各トレーニングタイルが、前記トレーニングタイルが導き出された前記デジタルトレーニング画像と同じクラスラベルが割り当てられている、分割すること、
－前記タイルのそれぞれについて、前記画像分析システムにより、前記タイルから選択的に抽出された画像特徴を含むトレーニング特徴ベクトルを計算すること、および／または
－前記トレーニングタイルの予測クラスラベルと、前記トレーニングタイルに実際に割り当てられた前記クラスラベルとの差を示す損失関数の誤差が最小化されるように、前記ＭＩＬプログラムの前記モデルを繰り返し適応させることであって、前記予測クラスラベルが、前記トレーニングタイルの前記特徴ベクトルに基づいて前記モデルによって計算されている、適応させること
を含む、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

受信された前記デジタル画像のそれぞれについて、
－各タイルの予測値（ｈ）を、当該タイルに対して計算された確実性値（ｃ）によって加重し、それによって加重予測値（ｗｈ）を取得することと、
－前記ＭＩＬプログラムにより、最も高い加重予測値（ｗｈ）が計算された前記画像の前記タイルのうちの１つを特定することと、
－前記画像の他のタイルのそれぞれについて、前記他のタイルの前記加重予測値（ｗｈ）を前記最も高い加重予測値と比較することによって関連性インジケータを計算することであって、前記関連性インジケータが、比較された前記加重予測値の差と負に相関する数値である、計算することと、
－前記関連性インジケータの関数として前記画像（７１２～７１８，８１２～８２８）の関連性ヒートマップ（７２２～７２８，８２２～８２８）を計算することであって、前記関連性ヒートマップのピクセル色および／またはピクセル強度が、前記画像内の前記タイルに対して計算された前記関連性インジケータを示す、計算することと、
－ＧＵＩ上に前記関連性ヒートマップを表示することと
をさらに含む、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

－受信された前記画像を画面のＧＵＩ上に表示することであって、前記画像が、前記分類の結果にしたがって前記ＧＵＩ内で前記少なくとも２つの異なるクラスにグループ化される、表示すること
をさらに含む、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

前記少なくとも２つのクラスのそれぞれが、
－特定の薬物に対して反応性のある患者、
－転移または微小転移を発症した患者、
－特定の治療に対し病理学的完全奏効（ｐＣＲ）を示すがん患者、
－特定の形態学的状態またはマイクロサテライト状態を示すがん患者組織、
－特定の薬物に対する有害反応を発症した患者、
－特定の遺伝子シグネチャを有する患者、および／または
－特定のＲＮＡ発現プロファイルを有する患者
を含むグループから選択される、請求項１～１３のいずれか一項に記載の方法。

【請求項15】

前記確実性値ベースのプーリング関数（９９６）が、確実性値ベースの最大プーリング、平均プーリング、またはアテンションプーリング関数である、請求項１～１４のいずれか一項に記載の方法。

【請求項16】

－どのタイル由来特徴ベクトルがタイルのクラスメンバシップを予測するために最も関連するかを学習したトレーニングされたアテンションＭＬＬ（２２２）を提供すること、
－前記タイルのそれぞれのアテンション加重（ａｗ）を、前記アテンションＭＬＬによって前記それぞれのタイルの前記特徴ベクトルの関数として計算することであって、前記アテンション加重が、クラスに対する当該タイルのメンバシップに関する当該タイルの特徴値の関連性の指標である、計算すること、
－前記タイルのアテンション加重特徴値を有するアテンションベース特徴ベクトルを取得するために、前記タイルのアテンション加重（ａｗ）に前記タイルの特徴ベクトル値を乗算すること；ならびに前記アテンションベースの特徴ベクトルを、スライドの予測値（ｈ）、前記確実性値（ｃ）、および／または加重予測値（ｗｈ）を計算するために前記ＭＩＬプログラムに入力される前記特徴ベクトルとして使用することであって、それによって前記予測値（ｈ）、前記確実性値（ｃ）、および／または前記加重予測値（ｗｈ）が、アテンションベースの予測値、アテンションベースの確実性値、および／またはアテンションベースの加重予測値として計算される、使用すること、または
－前記アテンションベースの予測値、前記アテンションベースの確実性値、および／または前記アテンションベースの加重予測値を取得するために、前記タイルの前記アテンション加重（ａｗ）に、前記タイルの前記予測値（ｈ）、前記確実性値（ｃ）を、または前記ＭＩＬによって計算された前記タイルの前記加重予測値（ｗｈ）を、乗算すること
をさらに含む、請求項１～１５のいずれか一項に記載の方法。

【請求項17】

組織画像を分類するための画像分析システムであって、
－少なくとも１つのプロセッサ（２０２）と、
－患者の組織サンプルをそれぞれ示すデジタル画像を含む揮発性または不揮発性記憶媒体（２１０）と、
－前記少なくとも１つのプロセッサによって実行可能であり、前記画像のそれぞれを画像タイルのセット（２１６）に分割するように構成された、画像分割モジュール（２１４）と、
－前記少なくとも１つのプロセッサにより実行可能であり、前記タイルのそれぞれに対して、前記タイルから選択的に抽出された画像特徴を含む特徴ベクトル（２２０）を計算するように構成された、特徴抽出モジュール（２１８）と、
－前記少なくとも１つのプロセッサによって実行可能であり、入力画像の全てのタイルから抽出された前記特徴ベクトルに基づいて、少なくとも２つの異なるクラスのうちの一つのメンバとして任意の入力画像を分類するためのモデルを使用するように構成された、ニューラルネットワークであるマルチインスタンス学習（ＭＩＬ）プログラム（２２６）と
を備え、前記ＭＩＬプログラムが、
－前記タイルのそれぞれについて、前記タイルが導き出された前記画像の分類に対する前記タイルの特徴ベクトルの寄与に関する前記モデルの確実性を示す確実性値を、前記ニューラルネットワークのモデルのテスト時にドロップアウト技術を使用して計算すること（１１０）と、
－各画像について、前記ＭＩＬプログラム（２２６）により、前記画像から抽出された前記特徴ベクトルを前記画像の前記タイルの前記確実性値（２２１）の関数としてグローバル特徴ベクトル（９９５）に集約する（１１１）ための確実性値ベースのプーリング関数（９９６）を使用し、前記グローバル特徴ベクトルから集約予測値（９９７）を計算すること（１１２）と、
－前記ＭＩＬプログラムにより、前記画像のそれぞれを、前記集約予測値に基づいて前記少なくとも２つの異なるクラスのうちの一つのメンバとして分類すること（１１６）と
のためにさらに構成された、画像分析システム。

【発明の詳細な説明】

【技術分野】

【0001】

発明の分野
本発明は、デジタル病理学の分野、特に、画像分析の分野に関する。

【背景技術】

【0002】

背景および関連技術
デジタル病理画像を「健常組織」または「がん組織」などの異なるカテゴリに分類するために使用されることができるいくつかの画像分類方法が知られている。例えば、Ｓｅｒｔａｎ Ｋａｙｍａｋａらは、「Ｂｒｅａｓｔ ｃａｎｃｅｒ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」、Ｐｒｏｃｅｄｉａ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｖｏｌｕｍｅ １２０，２０１７，ページ１２６－１３１（非特許文献１）において、逆伝播ニューラルネットワーク（ＢＰＰＮ）を用いた乳がん診断用画像の自動分類方法を記載している。

【0003】

しかしながら、出願人は、マンモグラフィ画像内のがん関連ノードの早期検出において良好な結果を提供する様々な機械学習技術が、他の種類の組織切片、特に全スライド画像の画像を分類することができないことを観察した。

【0004】

画像分類のための既存の機械学習アプローチの使用に関連するさらなる問題は、トレーニングされた機械学習プログラムがしばしばブラックボックスのように機能することである。これは、この「ブラックボックス」に完全に、または、部分的に依存しなければならないような医師および患者にとって、潜在的に効果があるものの、副作用の多い薬の、特定の患者への投与が、内在する「決定ロジック」を言語化できないまま、理にかなうものであるかを決める際に、不満足なものともなる。

【0005】

ＭＡＸＩＭＩＬＩＡＮ ＩＬＳＥら：「Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｄｅｅｐ Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ」、ＡＲＸＩＶ．ＯＲＧ，ＣＯＲＮＥＬＬ ＵＮＩＶＥＲＳＩＴＹ ＬＩＢＲＡＲＹ，２０１ ＯＬＩＮ ＬＩＢＲＡＲＹ ＣＯＲＮＥＬＬ ＵＮＩＶＥＲＳＩＴＹ ＩＴＨＡＣＡ，ＮＹ １４８５３、２０１８年２月１３日、ＸＰ０８１２３５６８０（非特許文献２）は、組織病理データセットに対するアテンションベースのマルチインスタンス学習器（ＭＩＬ）の適用について記載している。

【0006】

匿名の刊行物「ＤＥＥＰ ＭＵＬＴＩＰＬＥ ＩＮＳＴＡＮＣＥ ＬＥＡＲＮＩＮＧ ＷＩＴＨ ＧＡＵＳＳＩＡＮ ＷＥＩＧＨＴＩＮＧ」、ＩＣＬＲ ２０２０ Ｃｏｎｆｅｒｅｎｃｅ Ｂｌｉｎｄ Ｓｕｂｍｉｓｓｉｏｎ、２０１９年９月２５日（２０１９－０９－２５）、ページ１－１０、ＸＰ０５５６９８１１６、ＵＲＬ：ｈｔｔｐｓ：／／ｏｐｅｎｒｅｖｉｅｗ．ｎｅｔｉａｔｔａｃｈｍｅｎｔ？ｉｄ＝Ｂｋｌｒｅａ４ＫｗＳ＆ｎａｍｅ＝ｏｒｉｇｉｎａｌ．ｐｄｆ（非特許文献３）から２０２０年５月２５日にインターネットから検索は、弱教師からの分類を実行するためにエンドツーエンドでトレーニングされるディープマルチインスタンス学習（ＭＩＬ）方法を記載している。ＭＩＬ法は、バッグ内でローカルにインスタンスを比較し、複数のバッグにわたってグローバルにインスタンスを比較することによってインスタンス加重を正規化するガウス半径基底関数を利用したインスタンス分類および加重のタスクに特化した２ストリームニューラルネットワークとして実装される。

【先行技術文献】

【非特許文献】

【0007】

【文献】Ｓｅｒｔａｎ Ｋａｙｍａｋａら、「Ｂｒｅａｓｔ ｃａｎｃｅｒ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」、Ｐｒｏｃｅｄｉａ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｖｏｌｕｍｅ １２０，２０１７，ページ１２６－１３１

【文献】ＭＡＸＩＭＩＬＩＡＮ ＩＬＳＥら：「Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｄｅｅｐ Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ」、ＡＲＸＩＶ．ＯＲＧ，ＣＯＲＮＥＬＬ ＵＮＩＶＥＲＳＩＴＹ ＬＩＢＲＡＲＹ，２０１ ＯＬＩＮ ＬＩＢＲＡＲＹ ＣＯＲＮＥＬＬ ＵＮＩＶＥＲＳＩＴＹ ＩＴＨＡＣＡ，ＮＹ １４８５３、２０１８年２月１３日、ＸＰ０８１２３５６８０

【文献】「ＤＥＥＰ ＭＵＬＴＩＰＬＥ ＩＮＳＴＡＮＣＥ ＬＥＡＲＮＩＮＧ ＷＩＴＨ ＧＡＵＳＳＩＡＮ ＷＥＩＧＨＴＩＮＧ」、ＩＣＬＲ ２０２０ Ｃｏｎｆｅｒｅｎｃｅ Ｂｌｉｎｄ Ｓｕｂｍｉｓｓｉｏｎ、２０１９年９月２５日（２０１９－０９－２５）、ページ１－１０、ＸＰ０５５６９８１１６、ＵＲＬ：ｈｔｔｐｓ：／／ｏｐｅｎｒｅｖｉｅｗ．ｎｅｔｉａｔｔａｃｈｍｅｎｔ？ｉｄ＝Ｂｋｌｒｅａ４ＫｗＳ＆ｎａｍｅ＝ｏｒｉｇｉｎａｌ．ｐｄｆ

【発明の概要】

【0008】

概要
本発明の目的は、組織画像を分類する改善された方法および独立請求項に記載の対応する画像分析システムを提供することである。本発明の実施形態は、従属請求項に記載されている。本発明の実施形態は、それらが互いに排他的でない場合、互いに自由に組み合されることができる。
一態様では、本発明は、組織画像を分類する方法に関する。本方法は、
－画像分析システムにより、複数のデジタル画像を受信することであって、デジタル画像のそれぞれが、患者の組織サンプルを示す、複数のデジタル画像を受信することと、
－画像分析システムにより、各受信画像を画像タイルのセットに分割することと、
－タイルのそれぞれについて、画像分析システムにより、タイルから選択的に抽出された画像特徴を含む特徴ベクトルを計算することと、
－前記入力画像の全てのタイルから抽出された特徴ベクトルに基づいて、少なくとも２つの異なるクラスのうちの１つのメンバとして任意の入力画像を分類するためのモデルを使用するように構成されたマルチインスタンス学習（ＭＩＬ）プログラムを提供することと、
－タイルのそれぞれについて、（本発明の実施形態によれば本明細書では「ｃ」と呼ばれる）確実性値を計算することであって、確実性値が、タイルが導き出された画像の分類に対するタイルの特徴ベクトルの寄与に関するモデルの確実性値を示す、計算することと、
－各画像について、
・ＭＩＬプログラムにより、画像から抽出された特徴ベクトルを画像のタイルの確実性値の関数としてグローバル特徴ベクトルに集約するための確実性値ベースのプーリング関数を使用し、グローバル特徴ベクトルから集約予測値（本発明の実施形態によれば本明細書では「ａｈ」と呼ばれる）を計算すること、または
・ＭＩＬプログラムにより、画像の特徴ベクトルのそれぞれからの予測値を計算し、ＭＩＬプログラムにより、画像の予測値を集約予測値（本発明の実施形態によれば本明細書では「ａｈ」と呼ばれる）に集約するための確実性値ベースのプーリング関数を、画像のタイルの確実性値の関数として使用することと、
－ＭＩＬプログラムにより、画像のそれぞれを、集約予測値に基づいて少なくとも２つの異なるクラスのうちの１つのメンバとして分類することと、を含む。

【0009】

これらの特徴は、複数の理由で有益とすることができる。

【0010】

マルチインスタンス学習（ＭＩＬ）プログラムは、トレーニングセットから学習するように構成された弱教師あり学習プログラムの一形態であり、トレーニングインスタンスは、バッグと呼ばれるセットに配置され、バッグ内の個々のインスタンスのラベルは知られていないが、ラベルはバッグ全体に提供される。したがって、ＭＩＬプログラムは、弱く注釈付けされたトレーニングデータのみを必要とする。豊富に注釈付けされたトレーニングデータを提供するための個々の画像領域の注釈付けは非常に時間がかかり、したがって高価であるため、このタイプのデータは、医療撮像において特に一般的である。さらにまた、デジタル画像が特定のクラス（例えば、健常組織を示す画像／原発腫瘍を示す画像／転移を示す画像）のメンバであることを意味する（高い予測値を有する）組織構造は、病理学者に知られていないか、または認識できないことがある。したがって、デジタル組織画像を分類するためにＭＩＬプログラムを使用することは、弱く注釈付けされたトレーニングデータが、デジタル組織画像を正確に分類することができるＭＩＬプログラムをトレーニングするのに十分であるという利点を有することができる。さらにまた、トレーニングされたＭＩＬプログラムは、例えば病理学者などの人間のアノテータが、組織のクラス所属を高度に予測する組織構造を知らず、したがって、この組織構造の有無にかかわらず組織領域の不偏比を有するトレーニング画像を選択することができない場合であっても、デジタル組織画像を正確に分類することができる。

【0011】

さらにまた、確実性値ベースのプーリング機能を有するＭＩＬプログラムを使用すると、モデルの不確実性を分類に組み込む。出願人は、これにより、特に組織スライド画像が全スライド画像である場合に、特に組織スライド画像分析の領域において分類精度が大幅に改善されることを観察した。

【0012】

ＭＩＬプログラムが計算病理の問題を解決するために使用される場合、トレーニング画像として使用される全スライド画像（ＷＳＩ）には、グローバルラベル（例えば、腫瘍細胞が生検に存在するかどうかを示す）が与えられる。次いで、トレーニング用ＷＳＩから画像タイルをサンプリングすることによってトレーニング用ＷＳＩから複数のインスタンスが抽出され、バッグにグループ化され、各バッグは、特定のトレーニング用ＷＳＩから抽出されたタイルを含み、そのスライド画像のグローバルラベルを有する。

【0013】

多くの場合、例えば腫瘍が生検の小さな部分に局在する場合、インスタンス（タイル）のごく一部にＷＳＩ標識の証拠が含まれる。加えて、バッグのサイズ（トレーニング用ＷＳＩ当たりのタイルの数）は、ＷＳＩの組織のサイズがフル解像度で大きい（数千以上のインスタンスのオーダー）ために非常に大きくなることがある。これらの要因は、困難なＭＩＬ設定を形成する。バッグが大きくなるにつれて、バッグ内のより大きなネガティブインスタンス集団は、陽性クラスの証拠を見つける機会がより多くなるため、バッグが誤って分類される確率が高くなる。これは、入力画像の小さな変化が非常に異なる出力を引き起こす可能性がある深層学習モデルの不安定な性質によって拡大される。このため、多くの視覚的に類似した外観のインスタンスを含む大きなバッグは、非常に異なる特徴ベクトルならびにそれらのそれぞれの予測および予測値をもたらす可能性がある。出願人は、特定のタイルに描かれた組織テクスチャおよび画像特徴に関するモデルの不確実性が考慮されるため、タイルの特徴値（または特徴ベクトルから導き出された予測値）だけでなく、確実性値も考慮することによってこの問題が大幅に改善されることを観察した。

【0014】

実施形態によれば、確実性値ベースのプーリング関数は、確実性値ベースの最大プーリング、平均プーリング、またはアテンションプーリング関数である。

【0015】

プーリング関数は、ＭＩＬにおける重要な要素である。プーリング関数は、ＭＩＬモデルのインスタンス、すなわち画像のタイルの予測がどのように組み合わせられてバッグ出力、すなわち画像の分類結果を形成するかを決定する。例えば、最大プーリング、平均プーリングおよびアテンションプーリングなど、いくつかのプーリング機能が存在する。しかしながら、出願人は、低証拠率バッグ（例えば、全インスタンス数と比較して少数の陽性インスタンス）の場合、最大プーリングを使用すると、単一の偽陽性インスタンス予測が結果として得られるバッグ予測を破壊し、偽陽性結果を生成することを観察した。一方、平均プーリングが使用される場合、バッグ内の大きな負のインスタンス集団は、正のインスタンスを覆い隠し、偽の負のバッグ予測を生成する。

【0016】

学習されたアテンションＭＩＬの場合、アテンション学習は、低い証拠率の場合に大きく悪影響を受ける。大きなバッグのポーズのさらなる課題は、主要なインスタンスを選択することによるモデルの解釈性である。より大きなバッグは、潜在的にキーインスタンス選択の誤りにつながるより高い不安定性の確率を提示する。したがって、確実性値ベースのプーリング関数の使用は、デジタル組織画像、特にスライド画像全体の状況において特に有利である。

【0017】

確実性値ベースのプーリング関数の使用は、現在のプーリング関数の欠点に対処し、（スライド全体の）組織画像の場合によくある、証拠率が低いバッグの場合のＭＩＬの性能不足に対処する。例えば、特徴ベクトル（またはそれから導き出された予測値）をこのインスタンスに対して計算された確実性値で加重することによって、全てのインスタンスに対するモデルの不確実性が考慮される。

【0018】

デジタル組織画像の分類は、疾患に罹患した患者を特定の薬物で首尾よく処置する可能性を評価するために使用されることができる。例えば、がん患者における免疫療法の過程で使用されるいくつかの薬は、特定の免疫細胞が、がん細胞から特定の距離にて見つかる場合にのみ効果がある。この場合では、疾患の存在、および／または、その推奨する処置についてのステートメントを行うことができるようにするために、組織画像における、それらの対象、すなわち、特定の細胞タイプ、または、特定の下位および上位細胞構造を自動的に認識するための試みが行われる。本発明の実施形態は、それらがＭＩＬプログラムを利用し、したがって、特定の組織構造と特定の疾患との間の関係またはそれらの処置選択肢が明示的に知られていることを必要としない、という利点を有することができる。トレーニングされたＭＩＬプログラムをトレーニングして使用することにより、特定の疾患および／またはその処置に関する未知の予測的特徴を暗黙的に検出することが可能である。したがって、本発明の実施形態は、特定の時点で利用可能な医学的知識に限定されない。

【0019】

さらなる有益な態様では、画像タイルを事例として扱うＭＩＬプログラムを使用することは、スライド組織サンプル画像全体の状況における患者関連特徴を予測するのに特に適している。これは、全体スライド組織サンプルがしばしば、そのいくらかのみが、いずれの予測値を有することができる、多くの異なる組織領域をカバーするからである。例えば、微小転移巣は、数ミリメートルのみの直径とすることができるが、スライドおよびそれぞれの全スライド画像は、数センチメートルの長さとすることができる。全体画像は、「薬Ｄに対する反応＝真」などの特定のラベルを持って、サンプルが導き出された患者に対する経験的観察にしたがって、ラベル付けされているが、多くの免疫細胞を含み、正の反応に対して予測的である、微小転移巣の周りの組織領域はまた、数ミリメートルのみをカバーすることができる。したがって、タイルの大多数は、画像毎の、典型的には、患者毎のラベルに関して、予測的であるいずれの組織領域を含まない。ＭＩＬプログラムは、インスタンスの大部分が、いずれの予測値のそれではないと推定される、データインスタンスのバッグに基づく予測的特徴を特定することに特に適している。

【0020】

ＭＩＬは、前記デジタル画像から導き出される全てのタイルを、同じタイルのバッグのメンバとして扱うように構成されている。

【0021】

実施形態によれば、本方法は、ＧＵＩを介して、分類結果をユーザに出力することをさらに含む。追加的、または代替的に、本方法は、分類結果を別のアプリケーションプログラムに出力することを含む。例えば、ＭＩＬプログラムは、分類の結果をユーザに表示するＧＵＩを生成するように構成された画像分類アプリケーションプログラムの一部とすることができるか、またはそれと相互運用可能とすることができる。例えば、受信デジタル画像のそれぞれは、ＭＩＬプログラムによって生成された分類結果にしたがって、それぞれのデジタル画像を含むクラスを示すラベルと関連付けてＧＵＩに表示されることができる。

【0022】

実施形態によれば、ＭＩＬプログラムは、バイナリＭＩＬプログラムである。少なくとも２つのクラスは、「陽性クラス」と呼ばれる第１のクラスおよび「陰性クラス」と呼ばれる第２のクラスからなる。ＭＩＬモデルが、この画像のタイルのうちの少なくとも１つについて、このタイルの特徴ベクトルが「陽性クラス」の証拠を含むと予測した場合、画像のいずれか１つが「陽性クラス」に分類される。ＭＩＬモデルが、この画像の全てのタイルについて、それらのそれぞれの特徴ベクトルが「陽性クラス」の証拠を含まないと予測した場合、画像のいずれか１つが「陰性クラス」に分類される。例えば、十分な数のタイルが「陽性クラス」の十分な証拠を含むか否かの質問は、集約予測値が閾値を超えるか否かを判定するために、確実性値ベースのプーリング関数を使用することを含むことができる。

【0023】

いくつかの実施形態では、タイルについて計算された特徴ベクトルは、１つ以上の「正の特徴値」および１つ以上の「負の特徴値」を含むことができる。「負の特徴値」は、「負のクラス」の証拠となる特徴の値である。「正の特徴値」は、「正のクラス」の証拠となる特徴の値である。この場合、ＭＩＬプログラムは、画像を分類するために負および正の特徴値の双方を考慮するように構成される。

【0024】

特定のクラスにおける画像の予測されたメンバシップは、クラスのメンバシップを示すクラスラベルを画像に割り当てることとして実装されることができる。特定のデジタル画像に割り当てられる「クラスラベル」は、画像が「バッグ」を表し、画像から生成されたタイルがバッグの「インスタンス」を表すため、「バッグラベル」と呼ばれることもできる。

【0025】

例えば、ＭＩＬプログラムは、バイナリラベルが全てのバッグに割り当てられるバイナリＭＩＬプログラムとすることができる。ＭＩＬプログラムは、特定のデジタル画像のインスタンス（タイル）の少なくとも１つがラベルの証拠を含む場合、この画像が「陽性」バッグラベルを有することを学習し、予測するように構成される。全てのインスタンスが「陽性」クラスラベルの証拠を含まない場合、画像は「陰性」バッグラベルを有すると予測される。

【0026】

より正式には、全てのバッグ（画像）は、インスタンスのグループ｛ｘ_１，．．．，ｘ_Ｋ｝から構成され、Ｋはバッグのサイズ、すなわちデジタル画像から生成されたタイルの数である。Ｋは、バッグ（受信デジタル画像）間で異なることができる。各バッグ（画像）には、二値のクラスラベルＹ∈｛０，１｝が関連付けられる。全てのインスタンス（タイル）ｊはまた、ラベルｙ_ｊ∈｛０，１｝を有するが、インスタンスラベル（タイルラベル）は、非表示であると仮定される。「０」は陰性インスタンスまたはバッグラベルを表し、「１」は陽性インスタンスまたはバッグラベルを表す。ＭＩＬプログラムは、バッグラベルを計算／予測するために全てのインスタンスラベルにプーリング関数を適用することによって、バッグ（画像）のバイナリバッグラベル（クラスメンバシップ）Ｙを予測するように構成される。例えば、最大プーリング関数を使用する最先端のＭＩＬプログラムは、以下にしたがってバイナリバッグラベルＹを計算する。Ｙ＝｛０，ｉｆｆΣｙ_Ｋ＝０、そうでなければ１｝。しかしながら、本発明の実施形態にかかるＭＩＬプログラムは、モデルの不確実性を考慮した新たなプーリング関数を使用する。

【0027】

ＭＩＬプログラムは、インスタンス予測（個々のタイルベースの予測）ｈを集約してバッグ（画像）の予測（分類結果）を作成するために適用されるプーリング関数を含む。

【0028】

タイルベースの予測値に基づくアプローチＩ
実施形態によれば、ＭＩＬプログラムは、画像のタイルについて計算された予測値を集約予測値に集約するために、確実性値ベースのプーリング関数を使用する。この方法は、ＭＩＬプログラムによって、タイルのそれぞれについて、予測値のうちの１つ（本発明の実施形態によれば本明細書では「ｈ」と呼ばれる）を計算することを含む。各予測値は、タイルから抽出された特徴ベクトルの関数として計算される。予測値は、タイルが導き出された画像の分類に対するタイルの特徴ベクトルの寄与を示すデータ値である。特定のタイルの予測値を計算するとき、ＭＩＬプログラムは、好ましくは、特徴ベクトルが導き出されたタイルの特徴ベクトルのみを考慮に入れる（他のタイルの特徴ベクトルは考慮に入れない）。

【0029】

実施形態によれば、確実性値ベースのプーリング関数は、確実性値ベースの最大プーリング関数である。確実性値ベースのプーリング関数の使用は、画像のそれぞれに対して、サブ方法ａ）またはｂを含み、サブ方法ａ）またはｂは、それぞれ、以下を含む：
－ａ１）各タイルの予測値（例えば「ｈ」と呼ばれる）を、このタイルに対して計算された確実性値（例えば「ｃ」と呼ばれる）によって加重し、それによって加重予測値（例えば「ｗｈ」と呼ばれる）を取得すること；例えば、加重は、タイルの加重予測値（ｗｈ）を計算するために、タイルのうちの１つについて計算された確実性値（ｃ）を、その１つのタイルについて計算された予測値（ｈ）と乗算することを含み、例えば、Ｋ個のタイルに分割された特定の画像Ｉ_ｍについて、Ｋ個のタイルのいずれか１つの加重予測値ｗｈ_ｍ＿ｋは、以下のように計算されることができる：ｗｈ_ｍ＿ｋ＝ｈ_ｍ＿ｋＸｃ_ｍ＿ｋ、
－ａ２）画像の全てのタイルに対して計算された全ての加重予測値の最大値（例えば「ｗｈ_ＭＡＸ」と呼ばれる）を特定すること；例えば、最大値は、以下にしたがって計算される：

および
－ａ３）最大加重予測値（ｗｈ_ＭＡＸ（Ｉ_ｍ））を集約予測値として使用すること；または
－ｂ）最大確実性値（ｃ_ｍａｘ）を有するタイルの予測値（ｈ）を集約予測値として使用すること。

【0030】

最大確実性値（ｃ）を有するタイルの予測値（ｈ）が集約予測値として使用される場合には、予測値ｈを選択するためにのみ、確実性値ｃが計算される。この場合、選択された予測値ｈは、画像のタイルに対して計算された確実性値に応じて集約予測値として選択されるため、確実性値によって「暗黙的に」加重されると見なされる。

【0031】

次いで、集約予測値は、入力画像を分類するために使用される。例えば、ｗｈ_ＭＡＸがトレーニング中に決定された閾値を超える場合、デジタル画像は、「腫瘍を示す画像」として分類されることができる。そうでなければ、画像は、「健常組織を示す画像」として分類される。

【0032】

確実性値ベースの最大－プーリング関数を使用することは、バッグ（画像）内の大きな陰性インスタンス（「陰性クラス」タイルラベルを有するタイル）集団が、陽性インスタンス（「陽性クラス」ラベルを有するタイル）を潜在的に覆い隠す可能性があり、偽の陰性バッグクラス予測を潜在的に形成する可能性がある場合に、ＭＩＬプログラムがテストまたはトレーニング時の状況に対してよりロバストである、という利点を有することができる。

【0033】

実施形態によれば、ＭＩＬプログラムを提供することは、ＭＩＬプログラムをトレーニング画像セット上でトレーニングすることを含み、それによって、トレーニングフェーズ中に、確実性値ベースの最大プーリング関数がプーリング関数として使用される。これは、ＭＩＬのトレーニング中に生成された予測モデルが、バッグのラベルに対して最も高い予測パワーを有する特徴ベクトルを有するタイルに示された組織パターンを強く反映するという利点を有することができる。このモデルは、ラベルに対して無関係な組織領域／タイルによる悪影響を受けない。しかしながら、最大演算は、最も高くスコア付けされたタイルを除き、全てのタイルに含まれる全ての情報を無視する。したがって、関連性があり得るタイル／組織パターンの予測パワーが見逃される場合がある。

【0034】

実施形態によれば、ＭＩＬプログラムを提供することは、ＭＩＬプログラムをトレーニング画像セット上でトレーニングすることを含み、それによって、トレーニングフェーズ中に、確実性値ベースの平均プーリング関数がプーリング関数として使用される。これは、ＭＩＬプログラムにトレーニングさせる際に生成される予測モデルが、全てのタイルに描かれている組織パターンを考慮するため、有益となり得る。しかしながら、特定のラベルの発生に実際に無関係な組織パターンおよびそれぞれのタイルの考慮は、トレーニング済みＭＩＬの予測的正確さの劣化および低下をもたらす場合がある。

【0035】

実施形態によれば、確実性値ベースのプーリング関数は、確実性値ベースの平均プーリング関数である。確実性値ベースのプーリング関数の使用は、画像のそれぞれについて、以下を含む：
－各タイルの予測値（例えば「ｈ」と呼ばれる）を、このタイルに対して計算された確実性値（例えば「ｃ」と呼ばれる）によって加重し、それによって加重予測値（例えば「ｗｈ」と呼ばれる）を取得すること；例えば、加重は、タイルの加重予測値（ｗｈ）を計算するために、タイルのうちの１つについて計算された確実性値（ｃ）を、その１つのタイルについて計算された予測値（ｈ）と乗算することを含む；例えば、Ｋ個のタイルに分割された特定の画像Ｉ_ｍについて、Ｋ個のタイルのいずれか１つの画像Ｉ_ｍのモデルによって生成された加重予測値ｗｈ_ｍ＿ｋは、以下のように計算ｚされることができる：ｗｈ_ｍ＿ｋ＝ｈ_ｍ＿ｋＸｃ_ｍ＿ｋ；
－画像の全てのタイルに対して計算された全ての加重予測値ｗｈの平均（例えば「ｗｈ_ＭＥＡＮ」と呼ばれる）を計算すること；例えば、平均は、以下にしたがって計算される：

別の実施形態によれば、平均は、以下にしたがって計算される：

－および平均加重予測値（ｗｈ_ＭＥＡＮ（Ｉ_ｍ））を集約予測値として使用すること。

【0036】

確実性値ベースの平均プーリング関数を使用することは、ＭＩＬプログラムが、最大オペレータベースのプーリング関数よりも、低証拠率バッグの状況で画像が「陽性クラス」のメンバであるという偽陽性予測に対してよりロバストである、という利点を有することができる。「低証拠率バッグ」は、陽性インスタンス（「陽性クラス」ラベルを有するタイル）の数が、インスタンス（タイル）の総数と比較して非常に少ないインスタンスのバッグである。最大プーリングが使用される場合、単一の偽陽性インスタンス予測は、結果として得られるバッグ予測を破壊し、偽陽性分類結果を作成する。

【0037】

グローバル集約特徴ベクトルに基づくアプローチＩＩ
代替の実施形態によれば、ＭＩＬプログラムは、画像のタイルから抽出された特徴ベクトルを、集約予測値を計算するために再び使用されるグローバル（「集約」）特徴ベクトルに集約するために、確実性値ベースのプーリング関数を使用する。本方法は、以下を含む：
－画像のグローバル特徴ベクトルを計算するために、画像のタイルについて計算された特徴ベクトルおよび確実性値にプーリング関数を適用することであって、グローバル特徴ベクトルの計算が、タイルの特徴ベクトルおよび確実性値を考慮に入れる、適用すること、および
－集約予測値を計算するためにグローバル特徴ベクトルを使用すること。

【0038】

実施形態によれば、確実性値ベースのプーリング関数は、確実性値ベースの最大プーリング関数である。

【0039】

一実施形態によれば、確実性値ベースの最大プーリング関数の使用は、画像のそれぞれについて、サブ方法ｃ）またはｄ）を含み、それぞれ、
－ｃ１）タイルのそれぞれの特徴ベクトル（例えば「ｆｗ」と呼ばれる））を、このタイルについて計算された確実性値（例えば「ｃ」と呼ばれる）によって加重し、それによって加重特徴ベクトル（例えば「ｗｆｖ」と呼ばれる）を取得すること；例えば、特徴ベクトルの特徴は、数値特徴ベクトルのみから構成されてもよい；加重は、タイルの加重特徴ベクトル（ｆｖ）を取得するために、タイルのうちの１つについて計算された確実性値（ｃ）に、１つのタイルについて計算された特徴ベクトル（ｆｖ）内の各特徴値を乗算すること；
－ｃ２）画像の全てのタイルについて計算された全ての加重特徴ベクトルの最大値（ｗｆｖ_ｍａｘ）を特定すること；または
－ｄ）最大の確実性値（ｃ_ｍａｘ）を有するタイルの特徴ベクトル（ｆｖ）をグローバル特徴ベクトルとして使用すること、を含む。

【0040】

例えば、サブ方法ｄ）にかかる実施形態は、特徴ベクトルが単純な乗算によって加重することができない順序値を含む場合に使用されることができる。

【0041】

他の実施形態によれば、確実性値ベースのプーリング関数は、確実性値ベースの平均プーリング関数である。確実性値ベースのプーリング関数の使用は、画像のそれぞれについて、以下を含む：
－タイルのそれぞれから抽出された特徴ベクトル（例えば「ｈ」と呼ばれる）を、このタイルについて計算された確実性値（例えば「ｃ」と呼ばれる）によって加重し、それによって加重特徴ベクトル（例えば「ｗｆｖ」と呼ばれる）を取得すること；例えば、各特徴ベクトルは、複数の数値特徴値を含むことができ、特徴ベクトルの各数値特徴値は、特定のタイルの加重特徴ベクトルに記憶された加重特徴ベクトル値を取得するために、確実性値と乗算される；
－画像について計算された全ての加重特徴ベクトル（ｗｆｖ）から平均加重特徴ベクトルを計算すること；例えば、平均加重特徴ベクトルの特徴値は、同じベクトル位置内の画像の加重特徴ベクトルに記憶された全ての加重特徴値の平均として計算されることができる；
－および、画像について計算された平均加重特徴ベクトルを、集約予測値を計算するために使用される画像のグローバル特徴ベクトルとして使用すること。

【0042】

さらなる実施形態（アプローチＩおよびＩＩ）
他の実施形態によれば、本方法は、画像のそれぞれについて、確実性値にソフトマックス関数を適用することによって画像について計算された確実性値を正規化することを含む。確実性値ベースのプーリング関数は、予測値を正規化された確実性値の関数として集約予測値に集約するか、または正規化された確実性値の関数として特徴ベクトルをグローバル特徴ベクトルに集約するように構成され、グローバル特徴値は、集約予測値を計算するために使用される。

【0043】

ソフトマックス関数は、ｓｏｆｔａｒｇｍａｘまたは正規化指数関数としても知られており、Ｋ個の実数の配列、例えば画像Ｉ_ｍのＫ個のタイルのそれぞれについて計算されたＫ個の確実性値ｃ_ｋを入力として取り、それを入力数の指数に比例するＫ個の確率からなる確率分布に正規化する関数である。すなわち、ソフトマックスを適用する前に、いくつかの配列成分は、負、または１よりも大きい可能性があり、合計が１にならない場合もあり、ソフトマックスを適用した後、各成分は、区間（０，１）内にあり、成分は合計１になるため、それらは確率として解釈されることができる。さらに、より大きな入力成分は、より大きな確率に対応する。ソフトマックスは、ネットワークの非正規化出力を、予測された出力クラスまたは範囲にわたる確率分布にマッピングする。

【0044】

例えば、ソフトマックス関数は、確実性値を０から１の値の範囲の数値に正規化するために使用されることができる。確実性値を正規化するためにソフトマックス関数を使用することは、異なるタイルおよび／または異なる画像について得られた確実性値の比較可能性が増加する、という利点を有することができる。

【0045】

実施形態によれば、ＭＩＬプログラムは、以下の（従来の）プーリング機能の１つ以上の代わりに、確実性値ベースのプーリング機能を含み、実行するように構成される：
・画像のタイルから抽出された全ての特徴ベクトルから計算された全ての予測値ｈの最大値を特定して返すように構成された最大プーリング関数；例えば、特定の画像Ｉ_ｍに対する従来の集約予測値は、

として計算されることができる；
・画像のタイルから抽出された全ての特徴ベクトルから計算された全ての予測値ｈの平均を特定して返すように構成された平均プーリング関数；例えば、特定の画像Ｉ_ｍに対する従来の集約予測値は、

として計算されることができる；
・画像のタイルから抽出された全ての特徴ベクトルのうち、タイルが導き出された画像のクラスメンバシップに対して最も予測パワーが高いとアテンション学習技術により特定された特徴ベクトルの１つの予測値ｈを特定して返すアテンションプーリング機能；例えば、特定の画像Ｉ_ｍに対する従来の集約予測値は、

として計算されることができる。

【0046】

したがって、本発明の実施形態によれば、新たな確実性に基づくプーリング関数は、（一般的にまたは選択的にトレーニングフェーズまたはテストフェーズにおいて）従来のＭＩＬプログラムで使用される従来のプーリング関数に取って代わる。本発明の実施形態にかかるＭＩＬプログラムは、（一般的にまたは選択的にトレーニングフェーズまたはテストフェーズにおいて）バッグラベルを決定する／画像分類タスクを実行するための上記の３つの従来のプーリング関数のいずれも含まないか、または使用しない。

【0047】

実施形態によれば、ＭＩＬプログラムは、ニューラルネットワークである。確実性値は、ニューラルネットワークのモデルのトレーニングおよび／またはテスト時にドロップアウト技術を使用して計算される。

【0048】

ドロップアウトは、完全接続レイヤからいくつかのニューロンをランダムにオフにする技術である。典型的には、ドロップアウトは、トレーニング中に（のみ）適用される。ドロップアウトは、完全接続レイヤに異なる方法で同じ概念を学習させる。ドロップアウトとは、特定のレイヤの特定の割合のニューロンがランダムに非活性化（「ドロップアウト」）されることを意味する。これにより、ドロップアウトが適用されたレイヤは、相互接続されたニューロンの異なるセットで同じ「概念」を学習することを強いられるため、トレーニングされたモデルの一般化能力が向上する。したがって、ドロップアウトは、トレーニング中にニューラルネットワークのオーバーフィッティングを回避するために使用されることができる技術である。一般的に、モデル／ニューラルネットワークの学習能力が高いほど（より多くのレイヤ、またはより多くのニューロン）、モデル／ＮＮがオーバーフィッティングする傾向がある。

【0049】

各タイル予測のモデル確実性を計算するためにドロップアウト技術を使用することは、多くのニューラルネットワークアーキテクチャおよびプログラムが既に１つ以上のドロップアウトレイヤを含むため、既存のプログラムライブラリおよびソフトウェアツールがモデル不確実性の計算に使用されることができる、という利点を有することができる。さらに、出願人は、画像分析および分類タスクを実行するために使用されるニューラルネットワークが多くのレイヤことが多く、トレーニングデータセットのサイズが制限されることが多いため、デジタル病理のコンテキストで使用されるニューラルネットワークがオーバーフィッティングの問題に直面することが多いことを観察した。

【0050】

実施形態によれば、トレーニングフェーズ中にドロップアウトを適用することは、完全接続レイヤノードのランダムに選択されたサブセットをそれぞれ含む多くの異なるドロップアウトレイヤを作成することを意味し、それによって各ドロップアウトレイヤは、マスク（「０」ノードおよび「１」ノードを含む）として機能する。マスクは、順伝播中に作成され、トレーニング中にレイヤ出力にそれぞれ適用され、逆伝播での将来の使用のためにキャッシュされる。レイヤに適用されたドロップアウトマスクは、逆伝播ステップ中に活性化されたニューロンを識別することができるように保存される。ここで、識別されたニューロンが選択されると、ニューロンの出力が逆伝播される。通常、ドロップアウトレイヤは、トレーニングフェーズ中にのみ作成および使用され、トレーニングされたネットワーク内の非活性化された追加のレイヤの形態で保存される。

【0051】

いくつかの実施形態によれば、ドロップアウトレイヤは、トレーニング中にのみ使用される。

【0052】

これは、トレーニングされたＭＩＬプログラムがトレーニングフェーズ中に既に学習して、ドロップアウトマスクを使用する多くの異なるネットワークアーキテクチャを使用して特定のタイルの特徴ベクトルについて計算された予測値の変動性を評価する、という利点を有することができる。トレーニング画像がテスト時に使用された組織画像と同様である場合、計算されたタイルベースの予測値のモデルの不確実性／変動性は、トレーニングされたＭＬプログラムに本質的にエンコードされ、テスト画像に示された様々な組織構造に関するモデルの不確実性を正確に反映する。

【0053】

本発明のいくつかの実施形態は、完全接続レイヤドロップアウトを使用するが、他の実施形態は、さらに最大プーリングレイヤの後にドロップアウトを使用し、それによって何らかの種類の画像ノイズ増強を生成する。

【0054】

テストフェーズ中、ドロップアウトレイヤは、典型的には、最先端の機械学習プログラムにおいて非活性化される。しかしながら、いくつかの実施形態によれば、ドロップアウト技術は、モデルのトレーニングおよびテスト時に使用される。例えば、ドロップアウトレイヤの作成または再活性化および適用は、多くの異なる方法で同じ概念を（トレーニング時に）学習または（テスト時に）予測することを可能にし、それによって、所与の入力に対してモデルによって生成されたモデルの不確実性および予測の多様性を評価することを可能にする。実施形態によれば、確実性値は、モンテカルロドロップアウト（ＭＣドロップアウト）として計算される。

【0055】

モンテカルロドロップアウト（ＭＣドロップアウト）の背後にある重要な考え方は、ドロップアウトを使用してモデルの不確実性を評価することである。ＭＣドロップアウトは、ドロップアウト技術を使用して、すなわち、同じ予測タスクについてネットワークから複数の異なる結果を得るためにニューラルネットワークアーキテクチャの異なるサブネットワークをランダムに使用することによってモデルの不確実性（したがって、暗黙的に、モデルの確実性も）を計算し、結果の「一貫性」として「確実性」を評価する。ドロップアウト処理は、ニューロンのサンプリングと同様であるため、ＭＣは、モンテカルロ法を参照している。

【0056】

例えば、本発明のいくつかの実施形態によれば、テスト時に、毎回異なるドロップアウトマスクを使用して、同じ入力が複数回、例えば数百回のランダムなドロップアウトでネットワークに提供される。次に、各タイルについて得られた複数の予測全ての平均が計算され、これらの予測全てをカバーする予測間隔または予測変動性／モデル不確実性の別の尺度が生成される。

【0057】

テスト時にドロップアウトを適用することは、全体的なモデル精度を低下させるという欠点を有する可能性がある。しかしながら、組織画像分析のコンテキストでは、このステップは、モデルに不確実性を課すため、実際にはこの欠点が有益であり、オーバーフィッティングをへらすであろう、および減らすことができることが観察されている。例えば、入力データがモデルがトレーニングされたデータから遠く離れている場合、多くの異なるドロップアウトマスクを使用して同じ入力タイルに対してテスト時に得られた予測の変動性は、モデルがこのタイプのタイルをどのように解釈すべきか不明であることを示す。組織画像分析の分野では、非常に多様な健常および疾患誘発性組織構造が存在する。さらなる変動性は、多くの異なる染色プロトコル、多くの異なる染色の存在、および染色プロトコルを実行する個々の人の特徴でさえも染色された組織切片に影響を及ぼすことがあり、したがってデジタル組織画像に影響を及ぼすことがある、という事実によって誘発される。したがって、トレーニングデータセットが、健常組織構造および疾患組織構造ならびに異なる染色方法の考えられる全ての変形および組み合わせを網羅する可能性は非常に低い。したがって、ＭＣドロップアウトを使用すると、テスト時に、タイルのそれぞれについて、この特定のタイルの特徴に基づいて画像の正しいクラスを予測するように構成されたモデルの不確実性を個々に自動的に評価することができるＭＩＬプログラムが提供される。

【0058】

いくつかの実施形態によれば、多数の順方向パス実行にわたってモデルの分散を測定することを含むＭＣドロップアウト平均－ＳＴＤ（ＭＣドロップアウト平均－標準偏差）は、特定の分類タスクに関するモデルの確実性を計算するために使用され、タイルのそれぞれの確実性値を計算するために使用される。特徴ベクトルが、バッグラベルを確実且つ正確に判定するためのモデルにとって十分および／または適切な情報を含まないタイルは、トレーニング中に低い予測値を生成する。ＭＣドロップアウト平均－ＳＴＤを計算するための例は、Ｙａｒｉｎ Ｇａｌら、「Ｄｅｅｐ Ｂａｙｅｓｉａｎ Ａｃｔｉｖｅ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ｉｍａｇｅ Ｄａｔａ」、２０１７年３月、ａｒＸｉｖ：１７０３．０２９１０ｖ１に詳細に記載されている。

【0059】

実施形態によれば、ＭＩＬプログラムの確実性値ベースのプーリング関数は、画像のタイルのそれぞれについて、以下のようにＭＣドロップアウト平均－ＳＴＤによって加重された予測値ｗｈを計算するように構成される。

【0060】

画像Ｉ_ｍのＫ個のタイルのそれぞれについて、確実性値（「インスタンス確実性」とも呼ばれる）ｃ_ｋ＿ｍは、テスト時におけるソフトマックスレイヤまたはシグモイドレイヤの後のＭＩＬプログラムのモデルによって計算されたＭＣドロップアウトに基づく平均－ＳＴＤの逆数として計算される。全てのインスタンス（タイル）ｋの確実性の式ｃ_ｋ＿ｍは、

にしたがって与えられ、ここで、σ（ｘ_ｋ）は、インスタンスｋのＭＣドロップアウト平均－ＳＴＤであり、εは、０による除算を妨げる小さい数である。

【0061】

画像の全てのタイルの確実性値ｃ_ｋ＿ｍは、本発明の実施形態について上述したように、最大または平均ベースの確実性値ベースのプーリング関数を使用して集約されることができる。確実性値ベースの最大プーリング関数が使用される場合、その確実性値ｃによって加重されたＭＩＬプログラムのモデルによって出力として生成された最も高い予測値ｈを有するインスタンス（タイル）が選択される。確実性値ベースの平均プーリング関数が使用される場合、本発明の実施形態によれば、Ｋ個のタイルのそれぞれの確実性値ｃは、ソフトマックス関数（ネットワークのレイヤとして実装されることができる）を通過して、合計が１になる平均加重を得る。次に、確実性値ｃを加重として使用するインスタンス予測ｈの加重平均ｗｈが計算される。したがって、ｗｈｋは、インスタンス（タイル）ｋの予測ネットワークの出力である。

【0062】

本発明の実施形態は、個々のインスタンスに割り当てられた確実性値を使用してバッグインスタンスを集約する新たな確実性値ベースのプーリング機能を提供する。確実性値ベースのプーリング関数は、トレーニング中に適用されることができるが、テスト時にドロップアウトしてトレーニングされた事前トレーニングされたＭＩＬプログラムを改善するために使用されることもできる。

【0063】

実施形態によれば、確実性値ベースのプーリング関数（モデルの不確実性を計算するためにドロップアウト技術を使用することができる）は、テスト時に使用されるが、モデルのトレーニング時には使用されない。

【0064】

これは、本発明の実施形態によれば、画像分類方法を事前トレーニングされたＭＩＬモデルに「既製」で適用してそれらの性能を大幅に改善することができるが、トレーニング中、確実性に基づくプーリング関数は、使用されていない可能性があることを意味する。これは、ＭＩＬプログラムが（ドロップアウト技術の有無にかかわらず）確実性値ベースのプーリング関数を使用せずにトレーニングされた場合であっても、画像分析方法が画像を分類するために使用されることができ、それによって既存の（しかしながら、テスト時使用のために最初は非活性化された）ドロップアウトレイヤがテスト時に特定の画像タイルの様々な予測を生成するために適用され、それによってタイル関連予測に関するモデルの確実性を評価する、という利点を有することができる。

【0065】

例えば、トレーニングデータセットでトレーニングされたＭＩＬプログラムは、トレーニング時にいかなるドロップアウトレイヤも含まなくてもよく、トレーニング時に使用されるプーリング関数は、モデルの不確実性を考慮しない。例えば、トレーニング時にＭＩＬプログラムによって使用されるプーリング関数は、従来の最大プーリング関数または平均プーリング関数とすることができる。テスト時におけるタイルのいずれか１つについての確実性値の計算は、テスト時におけるトレーニングされたＭＩＬプログラムに１つ以上のドロップアウトレイヤを追加することを含む。追加されたドロップアウトレイヤがテスト時に使用されて、トレーニングされたモデルの不確実性を反映する各入力タイルの確実性値を計算することができる。

【0066】

実施形態によれば、ニューラルネットワークは、１つ以上の非活性化されたドロップアウトレイヤを含む。非活性化されたドロップアウトレイヤは、トレーニング時に活性化され、トレーニングの完了時に非活性化されたドロップアウトレイヤである。テスト時におけるタイルのいずれか１つについての確実性値の計算は、テスト時において１つ以上のドロップアウトレイヤを再活性化することを含む。

【0067】

実施形態によれば、テスト時におけるタイルのいずれか１つについての確実性値の計算は、テスト時において１つ以上のドロップアウトレイヤを追加または再活性化した後に、
－タイルのそれぞれについて、タイルから抽出された特徴ベクトルに基づいて予測値ｈ_ｄを複数回計算することであって、予測値ｈ_ｄが計算されるたびに、ネットワークのノードの異なるサブセットが１つ以上の再活性化または追加されたドロップアウトレイヤによってドロップされる、形成することと、
－タイルのそれぞれについて、タイルについて計算された複数の予測値ｈ_ｄの変動性の関数としてタイルの確実性値ｃを計算することであって、変動性が大きいほど、確実性値ｃが低い、計算することと、を含む。

【0068】

これは、ネットワークの既存のドロップアウトレイヤがトレーニングフェーズの完了後に非活性化された場合、またはトレーニングフェーズ中に著しく異なるデータセットで使用された場合、またはＭＩＬプログラムとして使用されるニューラルネットワークがテスト時にドロップアウトレイヤを含まない場合、既存のレイヤの再活性化またはテスト時におけるドロップアウトレイヤの追加により、テスト時における特定の画像タイルの様々な予測を生成することが可能になり、それにより、トレーニングされたモデルのネットワークアーキテクチャが最初にこの変動を計算することを可能にしない場合であっても、タイル関連予測に関してモデルの確実性を評価する、という利点を有することができる。

【0069】

例えば、ＭＩＬプログラムは、テスト時に使用された組織画像とは著しく異なるデジタル組織画像でトレーニングされてもよい。例えば、トレーニング時画像およびテスト時画像は、異なる種類のがんを有する患者に由来していてもよく、または類似しているが異なる染色で染色されていてもよく、または同じ種類のがん細胞であるが異なる組織を描写していてもよい。これらの場合、トレーニングされたモデルは、テスト時に分析された組織画像および画像タイルに対して高精度の予測を提供することができない可能性がある。しかしながら、テスト時にドロップアウト技術を適用することにより、タイルから抽出された特徴ベクトルについてトレーニングされたモデルによって生成された予測値ｈの精度を自動的に評価し、テスト時に入力として提供された組織画像を分類するために考慮に入れることができる。

【0070】

実施形態によれば、受信したデジタル画像は、画素強度値が非バイオマーカ特異的染色、特にヘマトキシリン染色またはＨ＆Ｅ染色の量と相関する組織サンプルのデジタル画像を含む。

【0071】

例えば、各タイルのバッグは、特定の薬に対するその反応が既知であるそれぞれの患者を表すことができる。この患者特有バッグに含まれるインスタンスは、この特定の患者のそれぞれの組織サンプルの１つ以上の画像から導き出されたタイルであり、組織サンプルは、Ｈ＆Ｅなどの、非バイオマーカ特異的染料を用いて染色されている。この患者の全ての組織画像、したがって、それらから導き出された全てのタイルには、ラベル「薬Ｄに対する反応＝真の患者」が割り当てられる。Ｈ＆Ｅにて染色された組織画像は、染色された組織画像の最も共通する形態を表し、このタイプの染色はそれ単体で、特定の腫瘍のサブタイプまたはステージなどの患者関連属性値を予測することに使用されることができる、たくさんのデータを既に明らかにする。さらにまた、多くの病院は、過去に長年にわたって処置してきた患者から導き出された、Ｈ＆Ｅにて染色された組織画像の大規模データベースを含む。典型的には、病院はまた、特定の患者が特定の処置に反応したか否か、および／または、疾患の進行がどれほど早いか、または、どれほど深刻であるか、に関してのデータを有する。したがって、それぞれの結果がラベル付けされることができる、トレーニング画像の多くのコーパスが利用可能である（例えば、特定の薬による処置の有効性（はい／いいえ）、１年を超えて進行のない生存期間、２年を超えて進行のない生存期間など）。

【0072】

実施形態によれば、受信したデジタル画像は、それらのピクセル強度値が、バイオマーカ特異的染料の量と相関する、組織サンプルのデジタル画像を含む。バイオマーカ特異的染料は、組織サンプルに含まれるバイオマーカを選択的に染色するよう適合された染色剤である。例えば、バイオマーカは、ＨＥＲ－２、ｐ５３、ＣＤ３、ＣＤ８などの特定のタンパク質とすることができる。バイオマーカ特異的染料は、上記のバイオマーカに選択的に結合する抗体に結合される明視野顕微鏡または蛍光顕微鏡用の染色剤とすることができる。

【0073】

追加的、または代替的に、受信デジタル画像は、ピクセル強度値がバイオマーカ特異的染色剤の量と相関する組織サンプルのデジタル画像を含み、バイオマーカ特異的染色剤は、組織サンプルに含まれるバイオマーカを選択的に染色するように適合される。

【0074】

例えば、各タイルのバッグは、特定の薬に対するその反応が既知であるそれぞれの患者を表すことができる。この患者特有バッグに含まれるインスタンスは、この特定の患者のそれぞれの組織サンプルの１つ以上の画像から導き出されたタイルである。１つ以上の組織サンプルが、１つ以上のバイオマーカ特異的染料を用いて染色される。例えば、タイルは、ＨＥＲ２特異的染料を用いて染色された、同じ患者の隣接する組織スライドを全てが描く１つ、２つ、または３つの組織画像から導き出されることができる。別の例によれば、タイルは、ＨＥＲ２特異的染料を用いて染色された第１の組織サンプルを描く第１の組織画像と、ｐ５３特異的染料を用いて染色された第２の組織サンプルを描く第２の組織画像と、ＦＡＰ特異的染料を用いて染色された第３の組織サンプルを描く第３の組織画像と、から導き出されることができる。第１、第２、および第３の組織サンプルは、同じ患者から導き出される。例えば、それらは、隣接する組織サンプルスライスとすることができる。これら３つの組織画像は、３つの異なるバイオマーカを描くが、全ての組織画像は、同じ患者から導き出される。したがって、それらから導き出された全てのタイルには、ラベル「薬Ｄに対する反応＝真の患者」が割り当てられる。ＭＩＬプログラムに、それらのピクセル強度値が、バイオマーカ特異的染料の量と相関するデジタル画像の画像タイルについてトレーニングさせることは、組織における１つ以上の特定のバイオマーカの存在および位置を特定することが、特定の疾患および疾患のサブ形態に関して、特異な予測的情報を高度に明らかにすることができる、という利点を有することができる。予測的情報は、２つ以上のバイオマーカの存在との、観察される、正および負の相関を含むことができる。例えば、肺がんまたは結腸がんなどのいくつかの疾患の推奨処置スキームおよび予測は、そのがんの変異性シグニチャおよび発現プロファイルに強く依存して観察される。時として、単一のマーカの発現は、それ単体では予測パワーを有しないが、複数のバイオマーカの組み合された発現、および／または、特定のさらなるバイオマーカが存在しないことは、特定の患者関連属性値に関して、高い予測パワーを有することができる。

【0075】

実施形態によれば、受信したデジタル画像は、それらのピクセル強度値が、第１のバイオマーカ特異的染料の量と相関する組織サンプルのデジタル画像と、それらのピクセル強度値が、非バイオマーカ特異的染料の量と相関する組織サンプルのデジタル画像と、の組み合わせを含む。バイオマーカ特異的染料は、組織サンプルに含まれるバイオマーカを選択的に染色するよう適合された染色剤である。ＭＩＬプログラムは、同じ組織サンプルを示すおよび／または同じ患者からの隣接組織サンプルを示す全てのデジタル画像を同じクラスに分類するようにトレーニングされる。

【0076】

このアプローチは、組織における１つ以上の特定のバイオマーカの存在および位置を、Ｈ＆Ｅ染色により明らかにされる、情報の多い組織シグニチャと組み合わせて特定することが、特定の疾患および疾患のサブ形態に関して、非常に特異な予測的情報を提供することができる、という利点を有することができる。予測的情報は、２つ以上のバイオマーカの存在との、および／または、Ｈ＆Ｅ染色により視覚的に明らかにされる組織シグニチャとの、観察される、正および負の相関を含むことができる。

【0077】

実施形態によれば、ＭＩＬプログラムを提供することは、ＭＩＬプログラムのモデルをトレーニングすることを含む。トレーニングは、
－組織サンプルのデジタルトレーニング画像のセットを提供することであって、各デジタルトレーニング画像が、少なくとも２つのクラスのうちの１つを示すクラスラベルを割り当てられている、提供すること、
－各トレーニング画像をトレーニング画像タイルに分割することであって、各トレーニングタイルが、トレーニングタイルが導き出されたデジタルトレーニング画像と同じクラスラベルを割り当てられている、分割すること、
－タイルのそれぞれについて、画像分析システムにより、タイルから選択的に抽出された画像特徴を含むトレーニング特徴ベクトルを計算すること、および／または
－損失関数の誤差が最小になるようにＭＩＬプログラムのモデルを繰り返し適応させることであって、損失関数の誤差が、トレーニングタイルの予測クラスラベルと、トレーニングタイルに実際に割り当てられたクラスラベルとの差を示し、予測クラスラベルが、トレーニングタイルの特徴ベクトルに基づいてモデルによって計算されている、適応させることを含む。

【0078】

実施形態によれば、本方法は、受信されたデジタル画像のそれぞれについて、
－各タイルの予測値ｈを、このタイルに対して計算された確実性値ｃで加重し、それによって加重予測値ｗｈを取得することと、
－ＭＩＬプログラムにより、最も高い加重予測値ｗｈが計算された画像のタイルのうちの１つを特定することと、
－画像の他のタイルのそれぞれについて、他のタイルの加重予測値ｗｈを最も高い加重予測値と比較することによって関連性インジケータを計算することであって、関連性インジケータが、比較された加重予測値の差と負に相関する数値である、関連性インジケータを計算することと、
－関連性インジケータの関数として画像の関連性ヒートマップを計算することであって、関連性ヒートマップのピクセル色および／またはピクセル強度が、画像内のタイルに対して計算された関連性インジケータを示す、計算することと、
－ＧＵＩ上に関連性ヒートマップを表示することと、をさらに含む。

【0079】

これは、病理学者が、特定のクラスの画像のメンバシップに関して最も高い予測値を有するタイルおよびその中に描かれた組織構造を識別することを可能にすることができるため、有利とすることができる。これにより、これまで生物医学文献に記載されていなかった新たな生物医学知識を生成することができる。例えば、画像クラスラベル「処置Ｘの恩恵を受けるであろうがん患者の組織」を高度に予測する特定の組織構造を示す１０００個の画像タイルのうちの１つを出力して強調表示することによって、このタイルに示される組織構造と以前に発見および公開されていない可能性がある特定の画像クラスとの間の相関または因果関係を明らかにすることができる。さらにまた、特定の画像クラスを予測する組織構造がそのように知られている場合であっても、ヒートマップまたは最も高い予測値ｗｈを有するタイルをグラフィカルに表す任意の他の形態は、病理学者が特定の生物医学的問題に関して最も興味深い組織構造を含む１つ以上のタイルをより迅速且つより正確に識別することを可能にする、という利点を有することができる。

【0080】

例えば、画像の最高得点タイルの加重予測値と非常に類似する加重予測値ｗｈを有する画像領域および各タイルは、第１の色（例えば、「赤色」）または高強度値を有する関連性ヒートマップにおいて表されることができ、画像領域および加重予測値がこの画像の全てのタイルの最高ｗｈ値と類似しない各タイルは、第１の色（例えば、「青色」）または低強度値とは異なる第２の色を有する関連性ヒートマップにおいて表されることができる。

【0081】

これは、ＧＵＩが、組織領域の位置およびカバレッジ、ならびにこのタイルに関してモデルの確実性値ｃで加重された高い予測パワー（または「予後値」）ｗｈを有するそれぞれの画像タイルを示す関連性ヒートマップを自動的に計算して提示するため、有利とすることができる。関連性ヒートマップは、高関連性インジケータを有する組織領域をハイライトすることができる。タイルは、通常、スライド全体の画像の小さなサブ領域のみであり、タイルのｗｈ値にしたがってソートされたヒートマップおよび／またはタイルのギャラリは、組織サンプル全体の概観を提供しない場合がある。高い予測的関連性を持つ組織パターンの位置および範囲に関する概要情報は、全体スライド組織画像の元の画像と、高度に直感的でスマートな様式にて好適に組み合された関連性ヒートマップにより提供されることができる。

【0082】

加重予測値ベースのヒートマップを計算および表示することは、このヒートマップが、ＭＩＬをトレーニングするために使用されるエンドポイントに対するタイルの予測パワーを示すため、有利とすることができる。したがって、関連性ヒートマップをユーザに表示することは、ユーザが、全スライド画像内の特定のラベルに対して予測的である組織パターンを有するタイルの位置および範囲を迅速に特定することを可能にする。

【0083】

実施形態によれば、本方法は、受信した画像を画面のＧＵＩに表示するステップをさらに含む。画像は、分類の結果にしたがってＧＵＩにおいて少なくとも２つの異なるクラスにグループ化される。

【0084】

実施形態によれば、少なくとも２つのクラスのそれぞれは、以下を含むグループから選択される：
－特定の薬物に対して反応性のある患者；
－転移または特定の形態の転移（例えば、微小転移）を発症した患者；
－特定の治療に対する特定の反応、例えば病理学的完全奏効（ｐＣＲ）を示すがん患者；
－特定の形態学的状態またはマイクロサテライト状態を示すがん患者組織；
－特定の薬物に対する有害反応を発症した患者；
－特定の遺伝的属性、例えば特定の遺伝子シグネチャを有する患者；および／または
－特定のＲＮＡ発現プロファイルを有する患者。

【0085】

これらのラベルは、診断において、ならびに疾患の処置に適した薬を見つけることにおいて役立つことができる。しかしながら、上記のラベルは単なる例である。他の患者関連属性もまた、上述したように、ラベル（すなわち、ＭＩＬプログラムをトレーニングさせるためのエンドポイント）として使用されることができる。疾患の特定の処置の有効性はまた、処置される患者にも関連するため、「患者関連」という用語はまた、処置関連という言葉を含むことができる。

【0086】

本発明の実施形態は、患者関連の属性値を示す組織パターンを識別するために使用される。本方法は、生物医学のエキスパートの明確な知識に基づく画像分析方法の利点を、機械学習方法の利点と組み合わせ得るため、好適とすることができる。

【0087】

実施形態によれば、確実性値ベースのプーリング関数は、確実性値ベースの最大プーリング、平均プーリング、またはアテンションプーリング関数である。

【0088】

実施形態によれば、本方法は、さらに、
－どのタイル由来特徴ベクトルがタイルのクラスメンバシップを予測するために最も関連するかを学習したトレーニングされたアテンションＭＩＬを提供すること、
－タイルのそれぞれのアテンション加重（ａｗ）を、アテンションＭＩＬによってそれぞれのタイルの特徴ベクトルの関数として計算することであって、アテンション加重が、クラスに対するこのタイルのメンバシップに関するこのタイルの特徴値の関連性の指標である、アテンション加重（ａｗ）を計算すること、
タイルのアテンション加重（ａｗ）にタイルの特徴ベクトル値を乗算して、タイルのアテンション加重特徴値を有するアテンションベース特徴ベクトルを取得すること、アテンションベースの特徴ベクトルを、スライドの予測値（ｈ）、確実性値（ｃ）および／または加重予測値（ｗｈ）を計算するためにＭＩＬプログラムに入力される特徴ベクトルとして使用することによって、予測値（ｈ）、確実性値（ｃ）および／または加重予測値（ｗｈ）がアテンションベースの予測値、アテンションベースの確実性値および／またはアテンションベースの加重予測値として計算される、使用すること、または
－アテンションベースの予測値、アテンションベースの確実性値、および／またはアテンションベースの加重予測値を取得するために、タイルのアテンション加重（ａｗ）に、タイルの予測値（ｈ）、確実性値（ｃ）を、またはＭＩＬによって計算されたタイルの加重予測値（ｗｈ）を、乗算することをさらに含む。

【0089】

例えば、アテンション加重は、例えば、式（９）を参照して記載されるように、組織病理データセットに対するアテンションベースのマルチインスタンス学習器（ＭＩＬ）の適用について記載しているＭＡＸＩＭＩＬＩＡＮ ＩＬＳＥら：「Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｄｅｅｐ Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ」、ＡＲＸＩＶ．ＯＲＧ，ＣＯＲＮＥＬＬ ＵＮＩＶＥＲＳＩＴＹ ＬＩＢＲＡＲＹ，２０１ ＯＬＩＮ ＬＩＢＲＡＲＹ ＣＯＲＮＥＬＬ ＵＮＩＶＥＲＳＩＴＹ ＩＴＨＡＣＡ，ＮＹ １４８５３、２０１８年２月１３日、ＸＰ０８１２３５６８０に記載されたように計算されることができる。

【0090】

アテンション加重と確実性値との組み合わせは、画像データにノイズが多い場合、および／またはトレーニングフェーズ中に使用された画像とは著しく異なる場合、アテンション加重の計算のみでは不十分な（不正確な）分類結果を提供する可能性があるため、特に有利とすることができる。しかしながら、アテンションベースの加重の欠点および堅牢性の欠如は、確実性値も考慮することによって補償されることができ、特定のベクトル／タイルに対して高いアテンション加重が得られた場合であっても、このタイルに対して得られた確実性値が低い場合、このタイル／ベクトルの寄与はほとんど無視され、それによって偽陽性分類結果が回避される。

【0091】

「アテンション加重」および「確実性値」は、完全に異なる概念に関連することに留意されたい：「確実性値」は、分類結果に対するベクトル／タイルの寄与に関する予測モデルの確実性値を示すが、「アテンション加重」は、分類結果に対する特徴ベクトル／タイルの関連性（予測パワー）を示す。例えば、第１の特徴ベクトルは、画像の第１のタイルから導き出されてもよく、第２のベクトルは、同じ画像の第２のタイルから導き出されてもよい。

【0092】

例えば、第１の特徴ベクトルは、第１のタイルが組織タイプクラス「腫瘍組織」と非常に強く相関する／高い予測値を有する第１のパターンを含むことを示すため、アテンションＭＩＬは、第１の特徴ベクトルに基づいて、画像が「腫瘍組織」を示すと判定することができる。したがって、アテンションＭＩＬは、識別されたパターンがクラス「腫瘍組織」を強く予測するため、第１のタイルに対して高いアテンション加重を計算する。

【0093】

加えて、第２の特徴ベクトルは、第２のタイルが分類「腫瘍組織」と弱く正に相関する別のパターンを含むことを示すため、アテンションＭＩＬは、第２の特徴ベクトルに基づいて、画像が「腫瘍組織」を示すと判定することができる。これは、このパターンを有するタイルを含む全ての画像の約６０％が実際には腫瘍組織画像であり、それらの画像の約４０％がこのパターンを有するタイルを含むことができるが、それにもかかわらず「健常」組織を示すことができることを意味する。

【0094】

確実性が計算／考慮されない場合、以下の状況が発生する可能性がある：第１のパターンと「腫瘍クラスラベル」との相関は強い可能性がある（第１のパターンを有する少なくとも１つのタイルを有する全てのトレーニング画像は実際に腫瘍組織画像であり、この第１のパターンを有するタイルを含む「健常組織」トレーニング画像はない）が、分類「腫瘍組織」の確実性値は低い可能性がある。例えば、トレーニングセット内の第１のパターンを有するタイルの総数は少なくてもよく、したがって、この第１のパターンに基づく任意の予測の「確実性」は低くてもよい。したがって、アテンションＭＩＬは、特定のクラスラベルに関してタイルの高い予測関連性を計算するが、このタイルに対して計算された確実性値は低く、その逆も可能である。第２のタイルに関して、アテンション加重は、第２のパターンがクラスメンバシップの不良な予測子であるように見えるので低くなり、確実性値は、第２のパターンを含むトレーニングデータセット内の例の品質および豊富さに応じて高くても低くてもよい。

【0095】

アテンション加重と確実性値の双方を考慮に入れることにより、この予測／分類のために計算されたモデルの確実性値で表される、この予測のためのトレーニングデータ基礎が低い場合、特定のクラスメンバシップと強く相関する／高度に予測されるように見えるトレーニングデータセット内のパターンが無視されるか、または少なくともダウンウェイトされることが保証される。

【0096】

例えば、最大プーリング関数は、確実性値によって加重されたアテンションベースの予測値が所定の閾値を超えた場合にのみ、画像を特定のクラスのメンバであるように分類することができる。

【0097】

実施形態によれば、個々のタイルについて計算された予測値ｈおよび／または加重予測値ｗｈは、ギャラリ内の関連するタイルのグラフィック表現とともに出力されることができる。例えば、ギャラリ内のタイルは、各タイルに対して計算された数値ｗｈにしたがってソートされることができる。この場合では、ギャラリにおけるタイルの位置は、病理学者または他の人であるユーザが、特定のラベルに対して高く予測的であることがわかったタイルのいくつかに描かれている組織パターンを特定することを可能にする。追加的、または代替的に、数値は、そのそれぞれのタイルに空間的に近接して表示されることができ、これにより、ユーザは、特定のラベルに関して、類似する数値を有する１つ以上のタイルに描かれている組織の組織パターンを調べ、理解することができる。

【0098】

ギャラリは、トレーニングフェーズの終了時にトレーニング画像に基づいて出力されることができ、および／またはテスト時にテスト画像に基づいて出力されることができる。トレーニングされたＭＩＬプログラムの出力として生成された画像タイルギャラリは、患者の特定の患者関連の属性値に関して予測的な組織シグネチャを明らかにすることができる。画像タイルと組み合わせて数値を提示することは、少なくとも多くの場合において、予測的組織パターン（これは、「組織シグニチャ」とも呼ばれることがある）が、病理学者により、類似する数値を有する、ギャラリにおけるいくつかのタイルを、より高い、または、より低い数値を有する他のタイルと比較することにより、および、レポートギャラリにおけるそれらのタイルのサブセットに描かれている組織シグニチャを比較することにより、特定されて言語化されることができる、という利点を有することができる。

【0099】

さらなる態様では、本発明は、組織画像を分類するための画像分析システムに関する。画像分析システムは、少なくとも１つのプロセッサと、揮発性または不揮発性の記憶媒体とを備える。記憶媒体は、患者の組織サンプルをそれぞれ示すデジタル画像を含む。

【0100】

画像分析システムは、少なくとも１つのプロセッサによって実行可能であり、画像のそれぞれを画像タイルのセットに分割するように構成された画像分割モジュールをさらに備える。

【0101】

画像分析システムは、少なくとも１つのプロセッサによって実行可能であり、タイルのそれぞれについて、前記タイルから選択的に抽出された画像特徴を含む特徴ベクトルを計算するように構成された特徴抽出モジュールをさらに備える。

【0102】

画像分析システムは、マルチインスタンス学習（ＭＩＬ）プログラムをさらに含む。ＭＩＬプログラムは、少なくとも１つのプロセッサによって実行可能であり、前記入力画像の全てのタイルから抽出された特徴ベクトルに基づいて、少なくとも２つの異なるクラスのうちの１つのメンバとして任意の入力画像を分類するためのモデルを使用するように構成される。ＭＩＬプログラムは、
－タイルのそれぞれについて、確実性値を計算することであって、確実性値が、タイルが導き出された画像の分類に対するタイルの特徴ベクトルの寄与に関するモデルの確実性値を示す、計算することと、
－各画像について、
・ＭＩＬプログラムにより、画像から抽出された特徴ベクトルを画像のタイルの確実性値の関数としてグローバル特徴ベクトルに集約するための確実性値ベースのプーリング関数を使用し、グローバル特徴ベクトルから集約予測値（本発明の実施形態によれば本明細書では「ａｈ」と呼ばれる）を計算すること、または
・ＭＩＬプログラムにより、画像の特徴ベクトルのそれぞれからの予測値を計算し、ＭＩＬプログラムにより、画像の予測値を集約予測値（「ａｈ」）に集約するための確実性値ベースのプーリング関数を、画像のタイルの確実性値の関数として使用することと、
－集約予測値に基づいて、画像のそれぞれを少なくとも２つの異なるクラスのうちの１つのメンバとして分類することと、のためにさらに構成される。

【0103】

実施形態によれば、システムは、分類結果を出力するためのインターフェースを備える。例えば、インターフェースは、マシンツーマシンインターフェース、例えば、分類結果をソフトウェアアプリケーションプログラムに送信するためのアプリケーションプログラムインターフェースとすることができる。追加的、または代替的に、インターフェースは、マンマシンインターフェース、例えば、分類結果のグラフィカル表現を含むＧＵＩを表示するように構成された画面とすることができるか、またはそれを含むことができる。例えば、ＭＩＬプログラムは、分類結果をＧＵＩを介してユーザに出力するように構成されることができる。

【0104】

実施形態によれば、ＧＵＩは、「関連性ヒートマップ」とも呼ばれることがあるヒートマップが、タイルの予測値ｈに基づいて、またはタイルの加重予測値ｗｈに基づいて計算されるかどうかをユーザが選択することを可能にする。これにより、ユーザは、モデルの不確実性を考慮する効果を評価することができる。

【0105】

特徴抽出アプローチ
実施形態によれば、トレーニング時および／またはテスト時におけるタイルのそれぞれについての特徴ベクトルの計算は、タイルから１つ以上の画像特徴を抽出することと、抽出された特徴を特徴ベクトル内の１つ以上の特徴の形態で表すこととを含む。任意に、特徴ベクトルの計算は、さらに、組織サンプルがタイルに描かれている患者の患者関連データを受信することと、特徴ベクトル内の１つ以上の特徴の形態で患者関連データを表すこととを含む。患者関連データは、例えば、ゲノムデータ、ＲＮＡシーケンスデータ、患者の既知の疾患、年齢、性別、体液中の代謝産物濃度、健康パラメータおよび現在の医薬品とすることができる。

【0106】

実施形態によれば、特徴ベクトルを計算することは、トレーニング済み機械学習ロジック、特に、少なくとも１つのボトルネックレイヤを含むトレーニング済み全畳み込みニューラルネットワークにより行われる。

【0107】

実施形態によれば、特徴抽出に使用されるトレーニング済み機械学習ロジック（「特徴抽出ＭＬＬ」）は、ＵＮＥＴなどの、ボトルネックを含む、全畳み込みネットワークのタイプのＭＬＬを採択する教師ありの方法においてトレーニングされる。「Ｕｎｅｔ」アーキテクチャは、Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐｈｉｌｉｐｐ Ｆｉｓｃｈｅｒ、およびＴｈｏｍａｓ Ｂｒｏｘによって「Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」，Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｅｐａｒｔｍｅｎｔ ａｎｄ ＢＩＯＳＳ Ｃｅｎｔｒｅ ｆｏｒ Ｂｉｏｌｏｇｉｃａｌ Ｓｉｇｎａｌｌｉｎｇ Ｓｔｕｄｉｅｓ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｆｒｅｉｂｕｒｇ，Ｇｅｒｍａｎｙ（ａｒＸｉｖ：１５０５．０４５９７ｖ１ １８ Ｍａｙ ２０１５）に記載されている。本文書は、Ｃｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ Ｌｉｂｒａｒｙの、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５０５．０４５９７からダウンロード可能である。

【0108】

例えば、特徴抽出ＭＬＬは、組織画像セグメンテーションタスクを行うようトレーニングされることができ、これにより、特定されるセグメントは、２つ以上の次の組織画像セグメントタイプ：腫瘍組織、健常組織、壊死した組織、腫瘍細胞、血管、ストローマ、リンパ球などの特定の対象を含む組織などと、背景エリアと、を含む。いくつかの実施形態によれば、特徴抽出ＭＬＬは、教師ありの様式にて、Ｒｅｓｎｅｔ、ＩｍａｇｅＮｅｔ、またはＳｅｇＮｅｔなどの分類ネットワークを使用して、それを、特定の所定のクラスまたはオブジェクトを持つ画像のタイルに分類するようにトレーニングさせることによりトレーニングされる。

【0109】

特徴抽出ＭＬＬにトレーニングさせた後に、ＭＬＬは、（入力レイヤと、１つ以上の中間レイヤと、ボトルネックレイヤと、を含む）「エンコーダ」部と、「デコーダ」、すなわち、出力生成部と、に分割される。トレーニング済みＭＬＬの、ボトルネックレイヤまでの「エンコーダ」部は、本発明の実施形態にしたがって、各入力タイルに対する特徴ベクトルを抽出して計算するために使用される。ボトルネックレイヤは、入力レイヤよりもかなり少ないニューロンを含む、ニューラルネットワークのレイヤである。例えば、ボトルネックレイヤは、入力レイヤの６０％未満、または、さらに２０％未満の「ニューロン」を含むレイヤとすることができる。異なるレイヤにおけるニューロンの数および比率は、異なるネットワークアーキテクチャに大きく依存して異なる場合がある。ボトルネックレイヤは、隠れレイヤである。

【0110】

１つの例によれば、特徴抽出ＭＬＬのネットワークは、ＵＮＥＴに基づくネットワークアーキテクチャを有する。これは、５１２＊５１２＊３（５１２×５１２ＲＧＢ）のニューロンを持つ入力レイヤと、９＊９＊１２８のニューロンを持つボトルネックレイヤと、を有する。したがって、ボトルネックレイヤにおけるニューロンの数は、入力レイヤのニューロンの数の約１．５％である。

【0111】

１つの例によれば、特徴抽出ＭＬＬのネットワークは、教師ありまたは教師なし学習アルゴリズムを実装するＲｅｓｎｅｔアーキテクチャを有する。入力レイヤは、５１２×５１２×３のニューロンを含み、ボトルネックレイヤと、ボトルネックレイヤにより出力される対応する特徴ベクトルとは、典型的には、１０２４または２０４８の要素（ニューロン／数）を含む。

【0112】

実施形態によれば、特徴抽出は、ＩｍａｇｅＮｅｔ自然画像データセットについてトレーニングされたＲｅｓＮｅｔ－５０（Ｈｅら、２０１６）アーキテクチャに基づく特徴抽出プログラムモジュールにより行われる。このアーキテクチャに基づく画像からの特徴抽出のいくつかの詳細な例は、コーネル大学図書館を介してオンラインで入手可能な、２０１８年２月１日に提出された、Ｐｉｅｒｒｅ Ｃｏｕｒｔｉｏｌ、ＥｒｉｃＷ．Ｔｒａｍｅｌ、Ｍａｒｃ Ｓａｎｓｅｌｍｅ、およびＧｉｌｌｅｓ Ｗａｉｎｒｉｂ：「ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ ＡＮＤ ＤＩＳＥＡＳＥ ＬＯＣＡＬＩＺＡＴＩＯＮ ＩＮ ＨＩＳＴＯＰＡＴＨＯＬＯＧＹ ＵＳＩＮＧ ＯＮＬＹ ＧＬＯＢＡＬ ＬＡＢＥＬＳ：Ａ ＷＥＡＫＬＹ－」ＳＵＰＥＲＶＩＳＥＤ ＡＰＰＲＯＡＣＨ」，ａｒＸｉｖ：１８０２．０２２１２、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１８０２．０２２１２．ｐｄｆに記載されている。

【0113】

実施形態によれば、特定のタイルに対する、トレーニング済み特徴抽出ＭＬＬのレイヤの１つにより生成される出力は、ＭＩＬプログラムによりタイルから抽出された特徴ベクトルとして使用される。この１つのレイヤは、特に、ボトルネックレイヤとすることができる。実施形態によれば、特徴抽出ＭＬＬは、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０７．０５５２０を介して電子的に入手可能なＭａｔｈｉｌｄｅ ＣａｒｏｎおよびＰｉｏｔｒ ＢｏｊａｎｏｗｓｋｉおよびＡｒｍａｎｄ ＪｏｕｌｉｎおよびＭａｔｔｈｉｊｓ Ｄｏｚｅ：「Ｄｅｅｐ Ｃｌｕｓｔｅｒｉｎｇ ｆｏｒ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ ｏｆ Ｖｉｓｕａｌ Ｆｅａｔｕｒｅｓ」，ＣｏＲＲ，１８０７．０５５２０，２０１８に記載されているように、教師なしまたは自己教師ありの方法でトレーニングされる。

【0114】

あるいは、特徴抽出ＭＬＬは、ｈｔｔｐｓ：／／ｏｐｅｎｒｅｖｉｅｗ．ｎｅｔ／ｆｏｒｕｍ？ｉｄ＝Ｓ１ｖ４Ｎ２ｌ０－を介して電子的に入手可能な、Ｓｐｙｒｏｓ Ｇｉｄａｒｉｓ、Ｐｒａｖｅｅｒ Ｓｉｎｇｈ、Ｎｉｋｏｓ Ｋｏｍｏｄａｋｉｓによる「Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ｌｅａｒｎｉｎｇ ｂｙ Ｐｒｅｄｉｃｔｉｎｇ Ｉｍａｇｅ Ｒｏｔａｔｉｏｎｓ」、２０１８年２月１５日、ＩＣＬＲ ２０１８ Ｃｏｎｆｅｒｅｎｃｅにしたがってトレーニングされることができる。

【0115】

さらに代替的に、特徴抽出ＭＬＬは、ｈｔｔｐｓ：／／ｏｐｅｎｒｅｖｉｅｗ．ｎｅｔ／ｆｏｒｕｍ？ｉｄ＝ｒ１Ｒ５Ｚ１９ｌｅを介して電子的に入手可能な、Ｅｌａｄ Ｈｏｆｆｅｒ，Ｎｉｒ Ａｉｌｏｎ「Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂｙ ｍｅｔｒｉｃ ｅｍｂｅｄｄｉｎｇ」、２０１６年１１月４日、ＩＣＬＲ ２０１７にしたがってトレーニングされることができる。

【0116】

特徴抽出ＭＬＬをトレーニングさせるためのデータセットは、ＭＩＬプログラムをトレーニングさせることに後に使用される、別の組織画像データセット、および／または、組織画像のセットとすることができる。特徴抽出ＭＬＬは、ＭＩＬプログラムの学習フェーズのエンドポイントとして使用される、患者の患者関連属性値ではなく、組織タイプおよびそれぞれの画像セグメントを特定するようトレーニングされるため、トレーニング画像に関連付けられたいずれのラベルは、評価されない、または、さもなければ、トレーニングフェーズにおいて、特徴抽出ＭＬＬにより使用される。

【0117】

近接に基づく類似性ラベルの使用を可能にする特徴抽出アプローチ
実施形態によれば、特徴ベクトルは、ラベル付けされたタイルペアを含むトレーニングデータセットについてトレーニングされた特徴抽出機械学習ロジック（「特徴抽出ＭＬＬ」）により計算され、これにより、各ラベルは、タイルペアにより描かれた２つの組織パターンの類似性を表し、タイルペアの２つのタイルの空間距離の関数として計算される。

【0118】

好適な実施形態によれば、ラベルは、トレーニングデータセットにおけるタイルペアに完全に自動的に割り当てられる。

【0119】

このアプローチは、以下の複数の理由について有益となり得る：２つの画像領域の空間的近接は、組織サンプルの全てのデジタル画像において、常に、そして本質的に利用可能な特徴である。問題は、画像およびそれぞれの組織領域そのものの空間的近接は、典型的には、組織タイプの分類、疾患分類、特定の疾患の持続性の予測、または画像セグメンテーションタスクなどの、生物医学的問題に関するいずれの関連情報を明らかにしない、ということである。出願人は驚くべきことに、少なくとも、多数のタイルおよびそれらのそれぞれの距離が、ＭＬＬのトレーニングフェーズ中に分析される場合、２つの画像領域（「タイル」）の空間的近接においてもたらされる情報が、２つの画像領域の類似性の正確なインジケータである、ということを観察した。したがって、組織パターン類似性ラベルを、２つの比較されたタイルに自動的に割り当てるために、２つのタイルの本質的に利用可能な情報である「空間的近接」を使用可能にすることにより、ＭＬＬをトレーニングさせることに使用されることができる、大規模な注釈付きデータセットが、自動的に提供されることができる。トレーニング済みＭＬＬは、入力として受信された、２つの画像または画像タイルが、類似する組織パターン、または、類似しない組織パターンを描くかについて、自動的に決定することに使用されることができる。しかしながら、データセットは、これに加えて、画像類似性サーチ、画像セグメンテーション、組織タイプの検出、および組織パターンのクラスタ化などの、他のより複雑なタスクに使用されることができる。したがって、出願人は驚くべきことに、タイルの空間的近接においてもたらされる情報が、画像の類似性を確実に決定するＭＬＬにトレーニングさせることを可能にし、これに加えて、デジタル病理学における複数の複雑な画像分析タスクのための追加的なデータ処理ユニットにより使用されることができる特徴ベクトルを出力するＭＬＬにトレーニングさせることを可能にすることができる注釈付きトレーニングデータを自動的に生成することに使用されることができる、ということを観察した。これらのアプローチはどれも、トレーニングデータに手動で注釈を付けるドメインエキスパートを必要としない。

【0120】

多くの異なる組織パターン（例えば、「非腫瘍」および「腫瘍」）を含むトレーニング画像が、多くの異なるタイルに分割される場合、２つのタイル間の距離が短いほど、比較されたタイルの双方が、「非腫瘍」などの同じ組織パターンを描く確率は高い。しかしながら、異なる組織パターン（例えば、最初のタイルが「腫瘍」であり、他のタイルが「非腫瘍」）を描く２つの異なるパターンの境界のそばには、いくつかのタイルペアがある。これらのタイルペアは、これらが空間的に密接して近接しているものの、異なる組織パターンを描くため、ノイズを生成する。出願人は驚くべきことに、空間的近接が、描かれた組織パターンの類似性を示す、という簡略化する仮定と組み合わせて、異なる組織パターン間の境界に広がるタイルペアにより生成されたこのノイズが、トレーニング済みＭＬＬの正確さを大きく落とすことはない、ということを観察した。実際に、出願人は、本発明の実施形態にしたがってトレーニングされたＭＬＬの正確さが、既存のベンチマーク方法のそれらをしのぐことができる、ということを観察した。

【0121】

さらに有益な態様では、多くの異なる画像のセットに対して、トレーニングデータを今では、迅速に、完全に、自動的に生成することができる。現在、自然で実際的な変動性を組織病理学の画像に撮像する、利用可能な注釈付きデータセットが足りていない。例えば、Ｃａｍｅｌｙｏｎのような、既存の大規模なデータセットでさえ、１つのタイプの染色（ヘマトキシリンおよびエオシン）と、１つのタイプのがん（乳がん）と、のみからなる。組織病理学の画像のテクスチャおよび物体形状は、異なるがんタイプ、異なる組織染色タイプ、および異なる組織タイプからの画像において大きく異なる場合がある。追加的に、組織病理学の画像は、ドメインに特有の異なる意味（例えば、ストローマ、腫瘍浸潤リンパ球、血管、脂肪、健常組織、壊死など）を持つ、多くの異なるテクスチャおよびオブジェクトタイプを含む。したがって、本発明の実施形態は、複数の異なるがんタイプ、がんサブタイプ、染色方法、および患者グループ（例えば、処置済み／未処置、男性／女性、閾値年齢より高年齢／若年齢、バイオマーカ－陽性／バイオマーカ－陰性など）のそれぞれに対して、注釈付きデータセットを自動的に生成することを可能にすることができる。したがって、本発明の実施形態は、注釈付きトレーニングデータを生成することと、それぞれのＭＬＬに、トレーニングデータについてトレーニングさせることと、を自動的に可能にし、結果としてのトレーニング済みＭＬＬが、複数の異なる患者のグループのそれぞれに対して、特異的な様式にて、生物医学的問題に正確に対処するよう適合されるようにすることができる。手動で注釈が付けられた乳がんデータセットについてトレーニングされたＭＬＬが、結腸がん患者に対して次善の結果を提供する最新のアプローチとは反対に、本発明の実施形態は、ＭＬＬを、異なる患者グループのそれぞれに対して個別に生成することを可能にすることができる。

【0122】

実施形態によれば、２つの組織パターンの類似性の程度を示すラベルは、バイナリデータ値、すなわち、２つの可能なオプションの内の１つを有することができる値である。例えば、ラベルは、「１」または「類似」とすることができ、これは、２つのタイルが、同様の組織パターンを描くことを示す。代替的に、ラベルは、「０」または「非類似」とすることができ、これは、２つのタイルが、類似しない組織パターンを描くことを示す。他の実施形態によれば、ラベルは、よりきめを細かくすることができ、例えば、「非類似」、「類似」、および「高く類似する」などの、３つまたはそれ以上のデータ値の限定されたセットから選択されたデータ値とすることができる。さらなる他の実施形態によれば、ラベルは、よりきめを細かくすることができ、数値の大きさが、類似性の程度と正に相関する数値とすることができる。例えば、数値は、ペアにおける２つのタイル間の空間的距離を、組織パターン類似性を表す数値に線形に変換する、および、逆に変換する関数として計算されることができる。空間的距離が長いほど、組織パターン類似性を示す数値は小さい。非常に多種のＭＬＬアーキテクチャが存在し、これらは、トレーニングデータセット（例えば、序数、または、数値）において、異なるタイプのラベルを処理し、使用することができる。ＭＬＬのタイプは、それが、トレーニングデータセットの自動的に生成されたラベルを処理することができるように選ばれる。

【0123】

実施形態によれば、自動的に注釈が付けられたトレーニングデータセットについてトレーニングされており、特徴抽出に使用されるＭＬＬは、教師あり学習アルゴリズムにしたがって学習するよう適合されている。教師あり学習は、１つ以上の出力データ値のメンバとして入力特徴のセットを変換するマッピングを見つけることに関する。出力データ値は、トレーニング中に、ラベルとして、例えば、バイナリオプションラベル「類似」もしくは「非類似」として、または、類似性に対する定量的尺度である数値として提供される。換言すれば、トレーニング中、予測されなければならないデータ値が、ＭＬＬのモデルに、トレーニングデータのラベルの形態にて明示的に提供される。教師あり学習には、各サンプルに対する出力スペースを画定するために、トレーニングデータがラベル付けされる必要があるという問題がつきまとう。

【0124】

実施形態によれば、タイルペアの少なくともいくつかまたは全ては、それぞれ、同じ組織スライスに含まれる２つの組織領域を描く。組織スライスのそれぞれは、受信したデジタル画像のそれぞれの１つに描かれる。タイル間の距離は、ペアにおけるタイルが導き出された、受信したデジタル画像のｘ次元およびｙ次元により画定される、２Ｄ座標系内にて計算される。

【0125】

実施形態によれば、タイルペアは、複数の異なる画像のそれぞれ内のタイルペアをランダムに選択することにより生成される。ランダムに基づく選択は、各ペアにおけるタイル間の空間的距離が異なることを確実にする。例えば、２つのタイル間の距離と逆に相関する数値の形態での類似性ラベルが計算され、各ペアに割り当てられる。

【0126】

他の実施形態によれば、タイルペアは、各受信した画像のタイルの少なくともいくつかまたは全てを、開始タイルとして選択することと、各開始タイルに対して、全て、または、予め定められた数の「近くのタイル」を選択することであって、「近くのタイル」が、開始タイルを中心とする第１の円内のタイルであり、これにより、この円の半径が、第１の空間的近接閾値と同一となる、「近くのタイル」を選択することと、各開始タイルに対して、全て、または、予め定められた数の「遠くのタイル」を選択することであって、「遠くのタイル」が、開始タイルを中心とする第２の円の外側にあるタイルであり、これにより、前記円の半径が、第２の空間的近接閾値と同一となる、「遠くのタイル」を選択することと、により生成され、予め定められた数の選択が、それぞれの画像エリア内のこの数のタイルをランダムに選ぶことにより行われることができる。第１および第２の近接閾値は、同一であってもよいが、第２の近接閾値が第１の近接閾値よりも大きいことが好ましい。例えば、第１の近接閾値は、１ｍｍとすることができ、第２の近接閾値は、１０ｍｍとすることができる。次に、タイルペアの第１のセットが選択され、各タイルペアは、開始タイルと、第１の円内に位置する近くのタイルとを含む。第１のセットにおける各タイルペアには、ラベルが「類似」の組織パターンが割り当てられる。加えて、第２のタイルペアのセットが選択され、これにより、前記セットにおける各ペアは、開始タイルと、「遠くのタイル」の１つと、を含む。第２のセットにおける各タイルペアには、ラベルが「非類似」の組織パターンが割り当てられる。例えば、この実施形態は、「類似」または「非類似」の「バイナリ」ラベルを生成することに使用されることができる。

【0127】

実施形態によれば、タイル間の距離は、タイルが導き出されるデジタル画像のｘ軸およびｙ軸により画定される２Ｄ座標系内にて測定される。これらの実施形態は、異なる患者の組織サンプル、および／または、同じ患者内の異なる領域を描く複数の組織サンプル画像が利用可能なシチュエーションにおいて使用されることができ、これにより、前記異なる領域は、互いに離れているか、または、これにより、前記２つの領域の、互いに関する正確な位置は未知である。この場合、タイル間の空間的近接は、デジタル画像により画定される、ピクセルの２Ｄ面内のみにて測定される。画像取得デバイス（例えば、顕微鏡のカメラ、または、スライドスキャナ）の既知の分解能係数に基づいて、２つのタイルにより描かれた組織サンプルにおける組織領域間の距離を計算するために、元の画像のタイル間の距離が使用されることができる。

【0128】

実施形態によれば、タイルペアの少なくともいくつかまたは全ては、隣接する組織スライスの束の２つの異なる組織スライスに含まれる２つの組織領域を描く。組織スライスのそれぞれは、受信したデジタル画像のそれぞれの１つに描かれる。隣接する組織スライスの束の組織スライスを描く受信した画像は、３Ｄ座標系において互いに整列される。タイル間の距離は、３Ｄ座標系内にて計算される。

【0129】

例えば、いくつかまたは全ての受信したデジタル画像は、隣接する組織スライスの組織ブロック内のスライスである組織サンプルを描くことができる。この場合、デジタル画像は、３Ｄ座標系におけるデジタル画像の位置が、組織ブロック内の、それぞれが描かれた組織スライスの位置を再現するように、共通の３Ｄ座標系において互いに整列されることができる。これは、３Ｄ座標系におけるタイルの距離を決定することを可能にすることができる。「近くの」および「遠くの」タイルの選択は、２Ｄ座標系の場合について上述したように行われることができるが、唯一の違いは、少なくともいくつかのタイルペアにおけるタイルが、受信した画像の異なるいくつかから導き出される、ということである。

【0130】

いくつかの実施形態によれば、注釈付きトレーニングデータは、同じデジタル画像から導き出されたタイルペア、ならびに共通の３Ｄ座標系において互いに整列された異なる画像から導き出されたタイルペアと、の双方を含む。これは、３つ目の次元（異なる組織サンプルにおける組織領域を表すタイルの空間的近接）の考慮が、それぞれの組織サンプルの、少数の画像のみが利用可能である場合に、トレーニングデータにおけるタイルの数を大いに増やすことができ、これにより、組織サンプルが、３Ｄ生検細胞ブロックなどの同じ細胞ブロックに属するため、有益となり得る。

【0131】

実施形態によれば、各タイルは、０．５ｍｍ未満、好ましくは、０．３ｍｍ未満の最長エッジ長さを有する組織または背景領域を描く。

【0132】

タイルサイズが小さいということは、異なる組織パターンを混ぜたものを描くタイルの数およびエリアの割合が減る、という利点を有することができる。これは、２つ以上の異なる組織パターンを描くタイルにより、および、２つの異なる組織パターンを描く「組織パターン境界」のそばのタイルペアにより生成されるノイズを減らすことを助けることができる。加えて、タイルサイズが小さいということは、多数のタイルペアを生成して、これらにラベル付けすることを可能にすることができ、これにより、ラベル付けされたトレーニングデータの量が増える。

【0133】

実施形態によれば、タイルペアの自動生成は、第１のタイルペアのセットを、第１の空間的近接閾値を使用して生成することであって、第１のセットにおける各タイルペアの２つのタイルにより描かれた２つの組織領域が、第１の空間的近接閾値より小さい距離だけ互いに離れている、第１のセットのタイルペアを、第１の空間的近接閾値を使用して生成することと、第２のセットのタイルペアを、第２の空間的近接閾値を使用して生成することであって、第２のセットにおける各タイルペアの２つのタイルにより描かれた２つの組織領域が、第２の空間的近接閾値より大きい距離だけ互いに離れている、第２のセットのタイルペアを、第２の空間的近接閾値を使用して生成することと、を含む。例えば、これは、本発明の実施形態についてすでに上述したように、複数の開始タイルを選択することと、各開始タイルの周りに、第１および第２の空間的近接閾値に基づいて、第１および第２の円を計算することと、開始タイルと、「近くのタイル」（第１のセット）または「遠くのタイル」（第２のセット）と、を含むタイルペアを選択することと、により実施されることができる。

【0134】

実施形態によれば、第１および第２の空間的近接閾値は同一であり、例えば、１ｍｍである。

【0135】

好適な実施形態によれば、第２の空間的近接閾値は、第１の空間的近接閾値よりも少なくとも２ｍｍ大きい。これは、組織パターンが、あるパターンから別のパターンへと段階的に変わる場合では、「遠くのタイル」に描かれている組織パターンの、「近くの」タイルに描かれている組織パターンと比較しての、これらの間の差異が明確となることができ、学習効果が改善されることができるため、好適となり得る。

【0136】

実施形態によれば、第１の空間的近接閾値は、２ｍｍよりも短く、好ましくは、１．５ｍｍよりも短く、特に、１．０ｍｍの距離である。

【0137】

追加的、または代替的に、第２の空間的近接閾値は、４ｍｍよりも長く、好ましくは、８ｍｍよりも長く、特に、１０．０ｍｍの距離である。

【0138】

これらの距離閾値は、デジタル画像およびそれぞれのタイルに描かれている組織領域（または、スライス背景領域）の距離を指す。画像取得デバイスの既知の倍率と、デジタル画像の解像度と、に基づいて、この距離は、デジタル画像の２Ｄまたは３Ｄ座標系内の距離に変換されることができる。

【0139】

例えば、タイル（および、それらに描かれた組織領域）間の距離は、例えば、２ｄまたは３Ｄ座標系における２つのタイルの中心間にて測定されることができる。代替的な実施変異形によれば、距離は、２Ｄまたは３Ｄ座標系において互いに最も近い２つのタイルエッジ（画像領域エッジ）間にて測定される。

【0140】

上述した閾値は、乳がん患者に対して類似するおよび類似しない組織パターンを正確に特定することができるトレーニング済みＭＬＬを自動的に生成することを可能にする、ラベル付けされたトレーニングデータを提供するために観察されている。いくつかの他の実施例では、第１および第２の空間的近接閾値は、他の値を有することができる。特に、異なる組織タイプまたはがんタイプを示す、受信したデジタル画像の異なるセットが使用される場合では、第１および第２の空間的近接閾値は、上記に提供される距離閾値とは異なる他の値を有することができる。

【0141】

実施形態によれば、本方法は、特徴抽出ＭＬＬにトレーニングさせるためのトレーニングデータセットを生成することをさらに含む。本方法は、それぞれが組織サンプルを描く複数のデジタルトレーニング画像を受信することと、受信したトレーニング画像のそれぞれを複数のタイル（「特徴抽出トレーニングタイル」）に分割することと、タイルペアを自動的に生成することであって、各タイルペアには、ペアの２つのタイルに描かれている２つの組織パターンの類似性の程度を示すラベルが割り当てられており、類似性の程度が、ペアにおける２つのタイルの空間的近接の関数として計算され、距離が、非類似性と正に相関する、生成することと、機械学習ロジック－ＭＬＬ－に、ラベル付けされたタイルペアを、トレーニングデータとして使用してトレーニングさせて、トレーニング済みＭＬＬを生成することであって、トレーニング済みＭＬＬが、類似する画像は類似する特徴ベクトルを有し、類似しない画像が類似しない特徴ベクトルを有するようになる画像を表すデジタル組織画像から特徴ベクトルを抽出するよう学習されている、生成することと、前記トレーニング済みＭＬＬまたはそのコンポーネントを、タイルの特徴ベクトルを計算するために使用される特徴抽出ＭＬＬとして使用することと、を含む。

【0142】

このアプローチは、トレーニングデータセットのラベルが、全てのデジタル病理学の画像に本質的に含まれる情報に基づいて自動的に生成されることができるため、有益となり得る。したがって、トレーニング画像を単に選ぶことにより、現在対処している生物医学的問題に具体的に適合された特徴抽出ＭＬＬをトレーニングさせるための注釈付きデータセットを生成することができる。分割することと、ラベル付けおよび機械学習ステップなどの全てのさらなるステップは、完全に自動的に、または、半自動的に行われることができる。

【0143】

実施形態によれば、トレーニング済みＭＬＬは、それらの出力レイヤにより結合されている２つのニューラルサブネットワークを含むシャムネットワークである。トレーニング済みシャムネットワークのサブネットワークの１つは、記憶媒体上に個別に記憶されており、これは、タイルの特徴ベクトルを計算するために使用される、トレーニング済みＭＬＬのコンポーネントとして使用される。

【0144】

実施形態によれば、ＭＩＬプログラムは、トレーニングフェーズにおいて、特徴ベクトルを、特定のバッグラベル（すなわち、画像クラスのメンバシップ）の確率を表すことができる予測値ｈに変換するように学習する。ラベルは、クラス（例えば、特定の薬Ｄまたは応答の程度を示す数値範囲による処置に応答する患者）を表すことができる。この学習は、特徴値を、トレーニング中に提供されるラベルの１つに変換する非線形変換関数の学習として数学的に記述されることができる。いくつかの実施形態によれば、テスト時において、いくらかのマイナーな構造上の変更（例えば、ドロップアウレイヤを無効にする）が、トレーニング済みＭＩＬプログラムに適用され、テストデータのサンプリングは行われない。テスト時においててトレーニング済みＭＩＬプログラムを適用する際の主な変更は、テストデータのバッグにおける全てのインスタンス（タイル）が、ＭＩＬプログラムにより分析され、タイルのそれぞれに対して、および、トレーニングフェーズにおいて提供された複数のラベルのそれぞれに対して、予測パワーを示す最終数値を計算することである。最後に、複数のラベルについて画像のタイルについて計算された（加重された）予測値を集約することによって、画像全体または特定の患者について最終的な数値が計算される。トレーニング済みＭＩＬプログラムに、患者の１つ以上の画像を適用することの最終結果は、最も高い確率を有するラベルの１つである（例えば、「薬Ｄを用いた処置に患者に反応する！」）。加えて、このラベルに関して、最も高い予測パワーを有するタイルの１つが、トレーニングフェーズについて上述するレポート画像タイルギャラリと構造的に同等のレポート画像タイルギャラリに提示されることができる。

【0145】

実施形態によれば、本方法は、１つ以上の「高予測パワータイル」を自動的に選択すること、または、これをユーザが選択できるようにすることをさらに含む。「高予測パワータイル」は、ラベルの特定の１つに対するその特徴ベクトルの予測パワーを示す予測値または加重予測値が高予測パワー閾値を超えるタイルである。

【0146】

追加的、または代替的に、本方法は、１つ以上の「アーチファクトタイル」を自動的に選択すること、または、これをユーザが選択することができるようにすることをさらに含む。アーチファクトタイルは、ラベルの特定の１つに関して、その特徴ベクトルの予測パワーを示すその数値が、最小予測パワー閾値未満である、または、１つ以上のアーチファクトを描くタイルである。

【0147】

１つ以上の高予測パワータイルおよび／またはアーチファクトタイルの選択に応答して、ＭＩＬプログラムに自動的に再トレーニングさせ、これにより、トレーニングセットから、高予測パワータイルおよびアーチファクトタイルを除外する。

【0148】

除外されたアーチファクトタイルが、再トレーニング中にはもはや考慮されないため、これらの特徴は、再トレーニング済みＭＩＬプログラムが、より正確なものとなり得る、という利点を有することができる。したがって、アーチファクトを描くトレーニングデータセットにおけるタイルにより引き起こされた、学習済み変換におけるいずれのバイアスが、ＭＩＬプログラムの、アーチファクトタイルを含まないトレーニングデータセットの減少バージョンについての再トレーニングにより回避され、これが取り除かれる。

【0149】

ユーザが、高い予測的タイルをトレーニングデータセットから取り除くことをできるようにすることは、直感的なものではない場合があるが、それでもなお、重要な恩恵を提供する：すなわち、時として、いくつかのラベルに関して、いくつかの組織パターンの予測パワーが自明である。

【0150】

例えば、肺がんに特有のバイオマーカを発現する多くの腫瘍細胞を含む組織セクションは、もちろん、肺がん疾患の存在に対する重要な予測的マーカである。しかしながら、病理学者は、例えば、ＦＡＰ＋細胞などの非腫瘍細胞の存在および／または場所などの、いくつかのあまり明らかなものではない組織パターンにより興味を持つ場合がある。

【0151】

実施形態によれば、このタイルの特徴ベクトルに基づいて特定のタイルのＭＩＬプログラムによって計算された予測値ｈは、バッグ（画像）のラベルに対するタイルの予測パワーを示す。

【0152】

いくつかの実施形態によれば、タイルの加重予測値ｗｈは、タイルに対して計算されたモデルの確実性値ｃをこのタイルの予測値ｈと乗算することによって計算される。

【0153】

他の実施形態によれば、本方法は、タイルのそれぞれに対して、特徴ベクトルを、加重された特徴ベクトルの形態で計算することを含む。加重特徴ベクトルは、特徴抽出プログラムによって前記タイルのモデルの確実性値ｃとして計算された加重および前記タイルについて計算された特徴ベクトルの関数として計算される。特に、確実性値ｃは、このタイルの特徴ベクトルと乗算されることができる。

【0154】

一実施形態によれば、ＭＩＬプログラムのトレーニングは、バッグのタイルについて計算されたモデルの確実性値ｃｓが、ＭＩＬプログラムの入力としてタイルの特徴ベクトルとともに提供されるように実施される。ＭＩＬのトレーニングは、ＭＩＬが、特徴ベクトルがより低い加重を有するタイルからよりも、特徴ベクトルがより高い確実性値（すなわち、「加重」）を有するタイルからより多くを学習するように実施される。換言すれば、トレーニング中、ＭＩＬプログラムは、タイルの予測値に対するタイルおよびそれらの特徴ベクトルの影響を、加重として使用される特定のタイルについて計算された確実性値と相関させるように学習する。

【0155】

「組織サンプル」は、本明細書で使用される場合、本発明の方法により分析されることができる細胞の２Ｄまたは３Ｄアセンブリである。細胞集合体は、エクスビボ細胞ブロックのスライスとすることができる。例えば、サンプルは、患者から集められた組織、例えば、がん患者からの、肝臓、肺、腎臓、または結腸の組織サンプルから用意されることができる。サンプルは、顕微鏡スライドにおける、全体組織、または、ＴＭＡセクションとすることができる。スライド上に置かれた組織サンプルを用意する方法は、当業者によく知られている、本発明での使用に好適なものである。

【0156】

組織サンプルは、染料もしくは染色剤、または、特定のバイオマーカもしくは様々なタイプの細胞または細胞内コンパートメントに直接反応する組織化学品もしくは免疫組織化学品などの、任意の試薬またはバイオマーカラベルを使用して染色されることができる。染色剤／試薬の全てに相溶性があるわけではない。したがって、採用された染色剤のタイプ、および、それらの一連の適用は、よく考慮されるべきであるが、これは、当業者により容易に決定されることができる。そのような組織化学品は、透過型顕微鏡検査法により検出可能な発色団、または、蛍光顕微鏡検査法により検出可能な発蛍光団であってもよい。一般的に、細胞を含むサンプルは、対象の化学基に直接反応するか、またはそれらと結合する、少なくとも１つの組織化学品を含む溶液を用いて培養されることができる。いくつかの組織化学品は、典型的には、染色を可能にする色止め料または金属を用いてともに培養される。細胞を含むサンプルは、対象のコンポーネントを染色する少なくとも１つの組織化学品と、対比染色剤として作用し、対象のコンポーネントの外側の領域に結合する別の組織化学品と、の混合物を用いて培養されることができる。代替的に、複数のプローブの混合物が、染色において使用されることができ、これが、特定のプローブの位置を特定する方法を提供する。細胞を含むサンプルを染色する手順は、当業者によく知られている。

【0157】

本明細書で使用される「画像分析システム」は、ユーザーが画像を評価または解釈、例えば分類するのを支援するためにおよび／または画像内に暗黙的にまたは明示的に含まれる生物医学的情報を抽出するために、デジタル画像、特に、組織サンプルの画像を評価し処理するように適合されたシステム、例えば、コンピュータシステムである。例えば、コンピュータシステムは、標準的なデスクトップコンピュータシステム、または、クラウドシステムなどの、分散コンピュータシステムとすることができる。一般的に、コンピュータ化された組織病理学の画像分析システムは、その入力として、カメラにより撮像された、シングルまたはマルチチャネル画像を取得し、診断または処置における補助のための追加的な定量的情報を提供するように試みる。画像は、カメラから直接受信されることができ、あるいはローカルまたはリモートの記憶媒体から読み取られることができる。

【0158】

本発明の実施形態は、例えば、画像ベースの腫瘍病期分類を実施するために、および／またはより大きな患者群のどの患者サブグループが特定の薬物から利益を得る可能性が高いかを決定するために、組織画像を分類するために使用されることができる。個人化医療（ＰＭ）は、新たな医療分野であり、その狙いは、個人のゲノム、エピゲノム、およびプロテオームのプロファイルに基づく、効果の高い、目的に合わせた治療方針を提供することである。ＰＭは、患者を処置しようと試みるだけでなく、効果の低い処置による負の副作用から患者を保護する。腫瘍の進行とともにしばしば生じるいくらかの変異は、特定の処置に対する耐性を引き起こす。したがって、バイオマーカ特有に染色された組織サンプルの組織画像により、少なくとも部分的に明らかになり得る患者の変異性のプロファイルは、特定の処置が、個別の患者に効果があるかについて、トレーニング済みＭＩＬプログラムが明確に決めることを可能にする。現在、試行錯誤のアプローチにおいて、処方された薬剤が、患者に効果があるかどうかについて決定する必要がある。この試行錯誤のプロセスは、所望しない、複雑な薬の相互作用、処方する薬の頻繁な変更、効果がある薬を特定するまでの長い遅延、疾患の進行など、多くの負の副次的影響を有することができる。本発明の実施形態にしたがって行われる画像分類は、個体を、その特定の疾患に対する治療剤に対するその応答が異なる亜集団に層別化するために使用されることができる。例えば、数種のＡＬＫキナーゼ阻害剤は、ＡＬＫ遺伝子において発現が増加した、ＮＳＣＬＣ肺がん患者の約５％を処置することに便利な薬である。しかしながら、いくらかの時間の経過後、キナーゼ阻害剤は、ＡＬＫ遺伝子、または、ＡＬＫのシグナリングカスケードの下流の他の遺伝子の変異により、効果がなくなる。したがって、肺がん患者のインテリジェントな分子キャラクタリゼーションが、患者の階層化を通して、いくつかの変異に特有の薬の最適な使用を可能にする。したがって、トレーニング画像またはテスト画像が取得される「患者のグループ」は、「１００人の乳がん患者」、「１００人のＨＥＲ＋乳がん患者」、「２００人の結腸がん患者」などのグループとすることができる。

【0159】

本明細書で使用される「デジタル画像」は、二次元画像の、通常はバイナリの数値表現である。典型的には、組織画像は、ラスタタイプの画像であり、これは、画像が、少なくとも１つの強度値がそれぞれに割り当てられているピクセルのラスタ（「マトリクス」）であることを意味する。いくつかのマルチチャネル画像は、色チャネル毎に１つの強度値を持つピクセルを有することができる。デジタル画像は、固定数の行および列のピクセルを含む。ピクセルは、画像における最小の個別要素であり、いずれの特定のポイントにて与えられた色の輝度を表す、旧来の値を保持する。典型的には、ピクセルは、コンピュータメモリに、小さい整数の二次元アレイであるラスタ画像、またはラスタマップとして記憶される。これらの値は、しばしば、圧縮形態にて送信または記憶される。デジタル画像は、デジタルカメラ、スキャナ、座標測定機器、顕微鏡、スライドスキャニングデバイスなどにより取得されることができる。

【0160】

本明細書で使用される「ラベル」は、患者関連の属性値および／またはこの属性値を有する患者のクラスを表して指定するデータ値、例えば文字列または数値である。ラベルの例は、「薬Ｄに対する患者応答＝真」、「薬Ｄに対する患者応答＝偽」、「無増悪生存期間＞６ヶ月」、「患者は微小転移を有する」などとすることができる。

【0161】

本明細書で使用される「画像タイル」または「タイル」は、デジタル画像のサブ領域である。一般的に、デジタル画像から生成されるタイルは、円形、楕円形、多角形、矩形、正方形などのいずれの形状を有することができ、および、重なっているもの、または、重なっていないものとすることができる。好適な実施形態によれば、画像から生成されるタイルは矩形であり、好ましくは、重なっているタイルである。重なっているタイルを使用することはまた、タイル生成プロセスによりさもなければ断片化されるであろう組織パターンが、バッグにて表される、という利点をも有することができる。例えば、２つの重なっているタイルの重なりは、単一のタイルの面積の２０から３０％、例えば、２５％とすることができる。

【0162】

「プーリング関数」は、全てのタイルに基づいてタイルのバッグの単一の集約された数値を生成する順列不変変換である。プーリング関数は、画像分類結果を計算するためのトレーニングおよび／またはテストフェーズ中にバッグの全てのタイルに符号化された情報がどのように考慮されるかを指定することを可能にすることができる。プーリング関数は、トレーニングフェーズにおいてＭＩＬプログラムによって使用され、同じまたは異なるプーリング関数は、テストフェーズにおいてトレーニングされたＭＩＬプログラムによって使用される。好適な実施形態によれば、トレーニング時およびテスト時においてＭＩＬプログラムによって使用されるプーリング関数は、確実性値ベースのプーリング関数である。例えば、トレーニング時に使用されるプーリング関数は、確実性値ベースの平均プーリング関数であり、テスト時に使用されるプーリング関数は、確実性値ベースの最大プーリング関数である。

【0163】

「確実性値ベースのプーリング関数」は、画像のタイルのそれぞれについてＭＩＬプログラムによって計算された確実性値を明示的または暗黙的に考慮に入れるプーリング関数である。

【0164】

本明細書で使用される「特徴ベクトル」は、オブジェクトの特性を記述する情報を含むデータ構造である。データ構造は、単次元または多次元データ構造とすることができ、ここでは、特定のタイプのデータ値が、そのデータ構造内の位置のそれぞれに記憶されている。例えば、データ構造は、ベクトル、アレイ、マトリクスなどとすることができる。特徴ベクトルは、いくつかの対象を表す数的特徴のｎ次元ベクトルと見なされることができる。画像分析では、特徴は多くの形態をとることができる。画像のシンプルな特徴表現は、各ピクセルの生の強度値である。しかしながら、より複雑な特徴表現も可能である。例えば、画像または画像タイルから抽出された特徴はまた、ＳＩＦＴディスクリプタの特徴（スケール不変特徴変換）とすることができる。これらの特徴は、異なる線方位への広がりを取り込む。他の特徴は、画像または画像タイルのコントラスト、勾配の方位、色組成、および他の態様を示すことができる。

【0165】

「埋め込み」は、高次元ベクトルの低次元空間への変換である。理想的には、埋め込みは、意味的に類似する入力を埋め込み空間内で互いに近接して配置することによって、入力のセマンティクスの一部を取り込む。本出願の文脈内では、埋め込みは、特徴ベクトルの一種であると考えられ、その理由は、埋め込みが、数学的変換によって最初に抽出された特徴ベクトルによって導き出され、したがって、結果として得られる埋め込みにおけるパラメータ値が、特定のタイルから抽出された「特徴値」と考えることもできるためである。

【0166】

本明細書で使用される「機械学習ロジック（ＭＬＬ）」は、トレーニングプロセスにおいてトレーニングされた、またはトレーニングされることができ、トレーニングフェーズの結果として、提供されたトレーニングデータに基づいていくつかの予測タスクおよび／またはデータ処理タスク（例えば、画像分類）を実行するように学習した予測モデルを含むプログラムロジック、例えば、ニューロンネットワークまたはサポートベクターマシンなどのようなソフトウェアなどのプログラム論理である。したがって、ＭＬＬは、プログラマにより、少なくとも部分的に、明示的に指定されていないものの、サンプルの入力から、１つ以上の暗黙のまたは明確なモデルを構築する、データドリブンの学習プロセスにおいて暗示的に学習しており、変更されている、プログラムコードとすることができる。機械学習は、教師ありまたは教師なし学習を採用することができる。

【0167】

本明細書で使用される「マルチインスタンス学習」（ＭＩＬ）という表現は、ある種の（弱）教師あり機械学習アプローチを指す。個別にラベル付けされたインスタンスのセットを受信する代わりに、学習器は、それぞれが多くのインスタンスを含む、ラベル付けされたバッグのセットを受信する。マルチプルインスタンスの二項分類のシンプルな場合では、バッグにおける全てのインスタンスが負であれば、そのバッグは、負にラベル付けされることができる。一方、バッグにおける少なくとも１つのインスタンスが正であれば、そのバッグは、正にラベル付けされる。ラベル付けされたバッグを集めたものから、学習器は、（ｉ）個別のインスタンスに正しくラベル付けするコンセプトを導入するか、または、（ｉｉ）そのコンセプトを導入することなく、バッグにラベル付けする方法を学習する、のどちらかを試す。ＭＩＬの便利で簡単な例は、Ｂａｂｅｎｋｏ、Ｂｏｒｉｓ、「Ｍｕｌｔｉｐｌｅ ｉｎｓｔａｎｃｅ ｌｅａｒｎｉｎｇ：ａｌｇｏｒｉｔｈｍｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ」（２００８）与えられている。しかしながら、いくつかの実施形態にかかるＭＩＬプログラムもまた、２つを超える異なるラベル（エンドポイント）に基づくトレーニングをカバーする。

【0168】

本発明の実施形態によれば、ＭＩＬプログラムは、バッグ（デジタル組織画像の複数のタイルまたは好ましくは全てのタイル）の各インスタンス（タイル）について、したがってタイルにそれぞれ示された組織パターンについても予測値を計算するために使用される。このステップでは、新たな生物医学的知識が、ＭＩＬプログラムにより特定されることができる。なぜなら、トレーニングデータでは、画像のラベルおよびそれぞれのタイルが、トレーニングに対するエンドポイントとして与えられているからであり、これは、ラベルと強く（正に、または、負に）相関する、したがって、このラベルに対して予測的であるタイルから導き出された特徴ベクトルの個別の特徴ではないからである。

【0169】

換言すれば、ＭＩＬは、共通のエンティティに属するトレーニングインスタンスがインスタンスのセットで提供される（弱教師あり）機械学習の形態を指し、セットはバッグと呼ばれる。トレーニング時に、特定のクラスにおけるバッグのメンバシップを示すラベル（「クラスラベル」）がバッグ全体に提供されるが、個々のインスタンスのラベルは知られていない。例えば、クラス内のメンバシップが知られているデジタルトレーニング画像は、画像タイルに分割されることができる。トレーニング画像には、クラスラベルが割り当てられており、トレーニング画像から生成されたタイルには、全て、トレーニング画像のクラスラベルが暗黙的に割り当てられることができるが、この特定のタイルが、その存在がタイルが導き出された画像がクラスラベルに示されたクラスに属することを意味する任意の特徴を含むか否かを示すラベルを割り当てていない。したがって、このトレーニングデータは、弱注釈付きデータを表す。学習の目的は、特定のクラスにおける対応するバッグのメンバシップを高度に予測するインスタンスの特徴を識別することを学習し、したがって、バッグの各インスタンスに対して生成されたクラスラベル予測の関数として、クラスラベルを画像に（すなわち、例のバッグに）正しく割り当てるための各タイルの予測値ｈを計算することを学習したモデルをトレーニングすることである。バッグの全てのインスタンスによって／それについて生成された複数のクラスラベル予測からバッグのクラスラベルを生成するために、順列不変プーリング関数が、バッグインスタンスのそれぞれについて生成された予測に適用される。

【0170】

「ＭＩＬプログラム」は、上述したＭＩＬアプローチにしたがってトレーニングされるように構成された、またはトレーニングされたソフトウェアプログラムである。

【0171】

本明細書で使用される「確実性値」は、タイルが導き出された画像の分類に対するタイルの特徴ベクトルの寄与に関する機械学習プログラムのモデルの確度を示すデータ値、特に数値である。例えば、タイルで観測されたパターンに基づいて、画像が特定の画像クラスに属することをモデルが予測する場合、確実性値は、この予測が正しい確率を示す。確実性値は、例えば、この画像の複数のタイルのうちの１つから抽出された特徴ベクトル（「埋め込み」と呼ばれる特徴ベクトルの正規化されたものを含む）に基づいて算出される。より具体的な例示的な説明を提供するために、予測モデルは、超平面を有する多次元データ空間内のデータ点を分割することによって、タイルをそれぞれ表すデータ点を分類することを学習している場合がある。超平面から遠く離れて位置するデータ点は、「高い確実性値」を有する分類結果を表すことができる一方で、超平面に非常に近い位置にあるデータ点／タイルは、低い確実性値を有する分類結果を表すことができる（データ点の属性／特徴値のわずかな変化により、データ点は、超平面の反対側、したがって別のクラスに位置することができる）。本発明の実施形態によれば、確実性値は、パラメータ「ｃ」によって表される。

【0172】

本明細書で使用される「予測値」は、タイルが導き出された画像の分類に対するタイルの特徴ベクトルの寄与を示すデータ値、特に数値データ値である。特に、予測値は、タイルが特定のクラス内で導き出された画像のメンバシップに対するタイルの特徴ベクトルの寄与を示す。例えば、「寄与」は、特定のクラス内の画像のメンバシップの証拠の程度として記載されることができる。特定のタイルの予測値を計算するとき、ＭＩＬプログラムは、好ましくは、特徴ベクトルが導き出されたタイルの特徴ベクトルのみ、および任意にいくつかの非画像ベースの特徴を考慮に入れる（ただし、他のタイルの特徴ベクトルは考慮しない）。本発明の実施形態によれば、予測値は、パラメータ「ｈ」によって表される。特定のタイルに対して計算され、例えばこのタイルに対して得られた確実性値で加重された予測値は、パラメータ「ｗｈ」によって表される。予測値は、本発明の実施形態によれば、タイルの特徴ベクトルが、少なくとも２つのクラスのうちの特定の１つにおいてこのタイルの特徴ベクトルが導き出された画像のメンバシップを提供する証拠の程度を示す数値として説明することもできる。

【0173】

本明細書で使用される「確実性値ベースのプーリング関数」とは、画像の全てのタイルの特徴ベクトルから導き出された特徴ベクトルや予測値を集約予測値に集約し、各タイルについて算出された確実性を考慮するように構成された関数である。

【0174】

本明細書で使用される「集約予測値」は、複数の入力値に対して集約関数および任意に１つ以上のさらなるデータ処理ステップを適用することによって得られたデータ値、例えば数値である。入力値は、例えば、予測値（ｈ）または特徴ベクトル（ｆｖ）またはそれらから導き出された値とすることができる。集約関数は、例えば、複数の特徴ベクトルをグローバル特徴ベクトル（「集約特徴ベクトル」とも呼ばれる）に集約するように、または複数の予測値を集約予測値に集約するように構成されたプーリング関数とすることができ、プーリング関数は確実性値を考慮に入れる。１つ以上のさらなるデータ処理ステップは、例えば、グローバル特徴ベクトルからのトレーニングされた機械学習モデル、例えばＭＩＬプログラムのトレーニングされたモデルによる集約予測値の計算とすることができる。例えば、集約予測値は、特定の画像が特定のクラスに属する可能性を示す数値とすることができる。

【0175】

本明細書で使用される「ヒートマップ」は、データの図形表現であり、ここでは、マトリクスに含まれる個別値が、色および／または強度値として表される。いくつかの実施形態によれば、ヒートマップは不透明であり、それに基づいてヒートマップが生成される、組織スライド画像の少なくともいくつかの構造を含む。他の実施形態によれば、ヒートマップは半透明であり、ヒートマップを生成することに使用された組織画像の上部にオーバレイとして表示される。いくつかの実施形態によれば、ヒートマップは、それぞれの色またはピクセル強度を介して、複数の類似性スコア、または、複数の類似性スコア範囲のそれぞれを示す。

【0176】

本明細書で使用される「バイオマーカ特異的染料」は、特定のバイオマーカを選択的に染色する染色剤であり、例えば、ＨＥＲなどの特定のタンパク質、または特定のＤＮＡシーケンスであるが、一般的には、他のバイオマーカまたは組織コンポーネントではない。

【0177】

本明細書で使用される「非バイオマーカ特異的染料」は、より包括的な結合挙動を有する染色剤である。非バイオマーカ特異的染料は、個別のタンパク質またはＤＮＡシーケンスを選択的に染色しないが、むしろ、特定の物理的または化学的性状を有する、より大きなグループの物質、および、下位細胞構造、同様に、上位細胞構造を染色する。例えば、ヘマトキシリンおよびエオシンは、それぞれ、非バイオマーカ特異的染料である。ヘマトキシリンは、濃い青色または紫色の染色剤であり、これは、塩基／陽性である。これは、好塩基性物質（酸性であり、負に帯電しているＤＮＡおよびＲＮＡなど）に結合する。核酸のリン酸骨格が、負に帯電しているため、核内のＤＮＡ／ＲＮＡ、および、粗面小胞体におけるリボソーム内のＲＮＡは、双方とも酸性である。これらの骨格は、正電荷を含む塩基性染料を持つ塩を形成する。したがって、ヘマトキシリンなどの染料は、ＤＮＡおよびＲＮＡに結合し、それらを紫色に染色する。エオシンは、赤色またはピンク色の染色剤であり、これは、酸性であり、陰性である。これは、正に帯電したアミノ酸側鎖（例えば、リシン、アルギニン）などの好酸性物質に結合する。いくつかの細胞の細胞質における多くのタンパク質は、それらがアルギニンおよびリシンアミノ酸残基により、正に帯電しているため、塩基である。これらは、エオシンなどの、負の電荷を含む酸性染料とともに塩を形成する。したがって、エオシンは、これらのアミノ酸／タンパク質に結合し、それらをピンク色に染色する。これは、筋細胞、細胞内膜、および細胞外線維において、細胞質フィラメントを含む。

【0178】

本明細書で使用される「強度情報」または「ピクセル強度」という用語は、デジタル画像のピクセル上で取り込まれるかまたはそれによって示される電磁放射（「光」）の量の尺度である。本明細書で使用される「強度情報」という用語は、例えば、特定の色チャネルの強度などの、追加的な関連情報を含むことができる。機械学習プログラム、例えばＭＩＬプログラムは、この情報を、デジタル画像に含まれる勾配またはテクスチャなどの派生情報を計算的に抽出することに使用し得る。派生情報は、トレーニング中、および／または、トレーニング済み機械学習プログラムによる特徴の抽出中に、デジタル画像から暗示的にまたは明示的に抽出されることができる。例えば、「デジタル画像のピクセル強度値は、１つ以上の特定の染色剤の強さと相関する」という表現は、色情報を含む強度情報が、機械学習プログラムと、また、ユーザと、が、前記１つ以上の染色剤の特定の１つを用いて染色された、組織サンプルにおける領域を特定できるようにするということを暗示することができる。例えば、ヘマトキシリンを用いて染色されたサンプルの領域を描くピクセルは、青色のチャネルにおいて高いピクセル強度を有することができ、ｆａｓｔＲｅｄを用いて染色されたサンプルの領域を描くピクセルは、赤色のチャネルにおいて高いピクセル強度を有することができる。

【0179】

本明細書で使用される「バイオマーカ」という用語は、組織タイプ、正常または病理プロセス、あるいは、治療介入に対する応答の指標として生物サンプルにおいて測定することができる分子である。特定の実施形態では、バイオマーカは、タンパク質、ペプチド、核酸、脂質、および炭水化物からなるグループから選択される。より具体的には、バイオマーカは、ＥＧＲＦ、ＨＥＲ２、ｐ５３、ＣＤ３、ＣＤ８、Ｋｉ６７などの特定のタンパク質とすることができる。特定のマーカは、特定の細胞の性質である一方、他のマーカは、特定の疾患または状態に関連付けられたものとして特定される。

【0180】

組織サンプル画像の画像分析に基づいて、特定の腫瘍のステージを決定するために、複数のバイオマーカ特異的染料を用いてサンプルを染色する必要がある場合がある。組織サンプルの、バイオマーカに特有の染色は、典型的には、対象のバイオマーカに選択的に結合する一次抗体の使用を含む。特に、これらの一次抗体は、染色プロトコルの他のコンポーネントも含め、高価である場合があり、したがって、多くのアプリケーションシナリオ、特に、高スループットでのスクリーニングにおいて、コストを理由に、利用可能な画像分析技術の使用を不可能にする場合がある。一般的に、組織サンプルは、大規模な組織形態と、細胞と核との境界と、を明らかにするために、例えば、ヘマトキシリン染色剤、または、ヘマトキシリンとエオシン染色剤との組み合わせ（「Ｈ＆Ｅ」染色剤）などの背景染色剤（「対比染色剤」）を用いて染色される。背景染色剤に加えて、複数のバイオマーカ特異的染料が、例えば、腫瘍の分類および病期、組織における特定の細胞タイプの量および相対分布の検出などの、回答が必要な生物医学的問題に依存して適用されることができる。

【0181】

本明細書で使用される「全畳み込みニューラルネットワーク」は、いずれの完全接続レイヤ、または、ネットワークの端部にて通常みつかるマルチレイヤパーセプトロンズ（ＭＬＰｓ）のない、畳み込みレイヤからなるニューラルネットワークである。全畳み込みネットは、全てのレイヤにおける学習フィルタである。ネットワークの端部にある意思決定レイヤでさえも、フィルタを学習する。全畳み込みネットは、表現を学習しようと試み、局部的な空間的入力に基づいて意思決定する。

【0182】

実施形態によれば、全畳み込みネットワークは、その活性化機能が、次のプロパティを満たす特定のレイヤにおける場所（Ｉ，ｊ）にて、出力データベクトルｙ_ｉｊを生成する形態のレイヤのみを持つ畳み込みネットワークである。

ここで、ｘ_ｉｊは、特定のレイヤにおける場所（ｉ，ｊ）におけるデータベクトルであり、ｙ_ｉｊは、これに続くレイヤにおける前記場所におけるデータベクトルであり、ここで、ｙ_ｉｊは、ネットワークの活性化機能により生成される出力であり、ここで、ｋは、カーネルサイズと呼ばれ、ｓは、ストライドまたはサブサンプリングファクタであり、ｆ_ｋｓは、次のレイヤタイプを決定する：畳み込みまたは平均プーリングのための行列の乗算、ｍａｘプーリングのための空間的ｍａｘ、または、活性化機能のための要素毎の非直線性、他のタイプのレイヤに対するものなど。この関数形態は、次の変換ルールにしたがうカーネルサイズおよびストライドをもってして、組成の下で維持される。

【0183】

一般的なディープネットが、一般的な非線形関数を計算する一方で、この形態のレイヤのみを持つネットは、非線形フィルタを計算する。これはまた、ディープフィルタまたは全畳み込みネットワークとも呼ばれる。ＦＣＮは、いずれのサイズの入力を自然に処理し、（おそらくは再サンプルされた）空間次元に対応する出力を生成する。様々な全畳み込みネットワークの性質のより詳細な説明については、Ｊｏｎａｔｈａｎ Ｌｏｎｇ、Ｅｖａｎ Ｓｈｅｌｈａｍｅｒ、およびＴｒｅｖｏｒ Ｄａｒｒｅｌｌ：「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」、ＣＶＰＲ ２０１５を参照されたい。

【0184】

本明細書で使用される「アテンション機械学習ロジックプログラム」は、特定のパラメータに加重を割り当てるようトレーニングされたＭＬＬであり、これにより、加重は重要度を示し、他のプログラムのアテンションは、それらのパラメータを分析することに費やすことができる。これらの加重は、「アテンション加重」とも呼ばれ、埋め込みまたはタイルの予測パワーを示す（しかしながら、このタイルの特徴に基づいて実行される分類予測の確実性は示さない）。アテンションＭＩＬの背後にあるアイデアとは、現在のコンテキストにおける特定の関連性のものである利用可能なデータのサブセットに選択的に注目する人の脳の能力をシミュレーションすることである。アテンションＭＩＬは、例えば、テキストマイニングの分野において、加重および計算リソースを、センテンスから意味を導き出すために特に重要な特定の言葉に選択的に割り当てることに使用される。言葉の全てが等しく重要であるわけではない。それらのいくつかは、文を他のものよりも特徴付ける。アテンションＭＩＬに、トレーニングデータセットについてトレーニングさせることにより生成されたアテンションモデルは、センテンスベクトルが、「重要」な言葉により多くのアテンションを有することができる、ということを指定することができる。一実施形態によれば、トレーニング済みアテンションＭＩＬは、検査された各特徴ベクトルにおける各特徴値に対して加重を計算し、各特徴ベクトルにおける全ての特徴値の加重された合計を計算するよう適合されている。この加重された合計は、タイルの全体特徴ベクトルを具現化する。

【0185】

実施形態によれば、ＭＬＬは、アテンションＭＩＬである。アテンションＭＩＬは、ニューラルネットワークにその入力（または特徴）のサブセットに焦点を合わせる能力を装備するように適合されたニューラルアテンション機構を備えるＭＬＬであり、各入力に対してアテンション値ａｇを計算し、アテンション値に基づいて特定の入力を選択する。実施形態によれば、ｘ∈Ｒｄを入力ベクトル、ｚ∈Ｒｋを特徴ベクトル、ａ∈［０，１］ｋをアテンションベクトル、ｇ∈Ｒｋをアテンショングリムプス、およびｆφ（ｘ）を、パラメータφを用いるアテンションネットワークとする。アテンション値は、

として計算され、式中、

は要素毎の乗算であり、ｚはパラメータθを有する別のニューラルネットワークｆθ（ｘ）の出力である。実施形態によれば、アテンション値は、ソフトアテンションとして使用され、これは、０と１との間のアテンション値の（ソフト）マスク、またはそれらの値が正確に０または１、すなわちａ∈｛０，１｝ｋであるように制約されている場合のハードアテンションを特徴に乗算する。後者の場合、ハードアテンションマスクが使用されて、特徴ベクトル：ｇ～＝ｚ［ａ］（Ｍａｔｌａｂ表記）に直接インデックス付けし、これにより、その次元を変更し、ここでｇ～∈Ｒｍ、ｍ≦ｋとなる。
[本発明1001]
組織画像（212、712～718、822～282）を分類するための方法（100）であって、
－画像分析システム（200）により、複数のデジタル画像（212、712～718、822～282）を受信すること（102）であって、前記デジタル画像のそれぞれが、患者の組織サンプルを示す、受信すること（102）と、
－前記画像分析システムにより、受信した各画像を画像タイルのセット（216、902～906、940、942）に分割すること（104）と、
－前記タイルのそれぞれについて、前記画像分析システムにより、前記タイルから選択的に抽出された画像特徴を含む特徴ベクトル（220）を計算すること（106）と、
－任意の入力画像を、前記入力画像の全てのタイルから抽出された前記特徴ベクトルに基づいて少なくとも2つの異なるクラスのうちの一つのメンバとして分類するためのモデルを使用するように構成された、マルチインスタンス学習（ＭＩＬ）プログラム（226）を提供すること（108）と、
－前記タイルのそれぞれについて、前記タイルが導き出された前記画像の分類に対する前記タイルの特徴ベクトルの寄与に関する前記モデルの確実性を示す確実性値（221）を計算すること（110）と、
－各画像について、
・前記ＭＩＬプログラム（226）により、前記画像から抽出された前記特徴ベクトルを前記画像の前記タイルの前記確実性値（221）の関数としてグローバル特徴ベクトル（995）に集約する（111）ための確実性値ベースのプーリング関数（996）を使用し、前記グローバル特徴ベクトルから集約予測値（997）を計算すること（112）、または
・前記ＭＩＬプログラムにより、前記画像の前記特徴ベクトル（220）のそれぞれから予測値（998）を計算し（113）、前記ＭＩＬプログラム（226）により、前記画像の前記予測値を集約予測値（997）に集約するための確実性値ベースのプーリング関数（996）を、前記画像の前記タイルの前記確実性値の関数として使用すること（114）と、
－前記ＭＩＬプログラムにより、前記画像のそれぞれを、前記集約予測値に基づいて前記少なくとも2つの異なるクラスのうちの一つのメンバとして分類すること（116）と
を含む、方法。
[本発明1002]
－ＧＵＩを介して、前記分類結果をユーザに出力すること、および／または
－前記分類結果を他のアプリケーションプログラムに出力すること
をさらに含む、本発明1001の方法。
[本発明1003]
－前記ＭＩＬプログラムが、バイナリＭＩＬプログラムであり、
－前記少なくとも2つのクラスが、「陽性クラス」と呼ばれる第1のクラスおよび「陰性クラス」と呼ばれる第2のクラスからなり、
－前記ＭＩＬモデルが、当該画像のタイルのうちの少なくとも1つについて、当該タイルの前記特徴ベクトルが前記「陽性クラス」の証拠を含むと予測した場合、前記画像のいずれか1つが前記「陽性クラス」に分類され、
－前記ＭＩＬモデルが、当該画像の全てのタイルについて、それらのそれぞれの前記特徴ベクトルが前記「陽性クラス」の証拠を含まないと予測した場合、前記画像のいずれか1つが前記「陰性クラス」に分類される、
前記本発明のいずれかの方法。
[本発明1004]
前記確実性値ベースのプーリング関数がテスト時に使用され、
前記ＭＩＬプログラムを提供すること（108）が、
－トレーニング画像のセットから生成されたトレーニングタイルのセットから特徴ベクトルを抽出することと、
－前記特徴ベクトル上で前記ＭＩＬプログラムをトレーニングすることによって、トレーニング時に、テスト時に使用されたのと同じ確実性値ベースのプーリング関数を使用するか、またはトレーニング時に、テスト時に使用された確実性値ベースのプーリング関数ではない別の確実性値ベースのプーリング関数を使用することと
を含み、
好ましくは、トレーニング時に使用される前記確実性値ベースのプーリング関数が、確実性値ベースの最大プーリング関数または確実性値ベースの平均プーリング関数であり、テスト時に使用される前記確実性値ベースのプーリング関数が、確実性値ベースの最大プーリング関数である、
前記本発明のいずれかの方法。
[本発明1005]
前記確実性値ベースのプーリング関数が、確実性値ベースの最大プーリング関数であり、前記確実性値ベースのプーリング関数を使用することが、前記画像のそれぞれについて、サブ方法ａ）、ｂ、ｃ）またはｄ）を含み、前記サブ方法が、それぞれ、
－ａ1）各タイルの予測値（ｈ，998）を、当該タイルに対して計算された確実性値（ｃ，221）によって加重し、それによって加重予測値（ｗｈ，228）を取得すること、
－ａ2）前記画像の前記全てのタイルについて計算された全ての加重予測値の最大値（ｗｈ _ｍａｘ ）を特定すること、および
－ａ3）前記最大加重予測値（ｗｈ _ｍａｘ ）を前記集約予測値（997）として使用すること、または
－ｂ）前記最大確実性値（ｃ _ｍａｘ ）を有する前記タイルの前記予測値（ｈ，998）を前記集約予測値（997）として使用すること、または
－ｃ1）前記タイルのそれぞれの前記特徴ベクトル（ｆｖ，220）を、当該タイルについて計算された前記確実性値（ｃ，221）によって加重し、それによって加重された特徴ベクトル（ｗｆｖ）を取得すること、
－ｃ2）画像の全てのタイルについて計算された全ての加重特徴ベクトルの最大値（ｗｆｖ _ｍａｘ ）を特定すること、または
－ｄ）前記最大確実性値（ｃ _ｍａｘ ）を有する前記タイルの前記特徴ベクトル（ｆｖ）を前記グローバル特徴ベクトル（995）として使用すること
を含む、前記本発明のいずれかの方法。
[本発明1006]
前記確実性値ベースのプーリング関数が、確実性値ベースの平均プーリング関数であり、
前記確実性値ベースのプーリング関数を使用することが、前記画像のそれぞれについて、
－各タイルの前記特徴ベクトル（ｆｖ）を、当該タイルに対して計算された確実性値（ｃ）によって加重し、それによって加重特徴ベクトル（ｗｆｖ）を取得すること、および前記グローバル特徴ベクトルを、前記画像の全ての前記加重特徴ベクトル（ｗｆｖ）の平均として計算すること、または
－各タイルの予測値（ｈ）を、当該タイルに対して計算された確実性値（ｃ）によって加重し、それによって加重予測値（ｗｈ）を取得すること、前記画像の前記加重予測値の前記平均を計算すること、および前記計算された平均を前記集約予測値として使用すること
を含む、前記本発明のいずれかの方法。
[本発明1007]
前記ＭＩＬプログラムがニューラルネットワークであり、前記ニューラルネットワークのモデルのトレーニング時および／またはテスト時にドロップアウト技術を使用して前記確実性値が計算される、前記本発明のいずれかの方法。
[本発明1008]
前記確実性値が、モンテカルロドロップアウト（ＭＣドロップアウト）として計算される、本発明1007の方法。
[本発明1009]
前記ドロップアウト技術および／または前記確実性値ベースのプーリング関数が、前記モデルのトレーニング時ではなくテスト時に使用される、前記本発明のいずれかの方法。
[本発明1010]
前記ニューラルネットワークが、1つ以上の非活性化されたドロップアウトレイヤを含み、前記非活性化されたドロップアウトレイヤが、トレーニング時に活性化されかつテスト時に非活性化されたドロップアウトレイヤであり、前記方法が、テスト時に前記1つ以上のドロップアウトレイヤを再活性化することを含み、または
トレーニング時における前記ニューラルネットワークが、いかなるドロップアウトレイヤも含まず、前記方法が、テスト時における1つ以上のドロップアウトレイヤを前記ニューラルネットワークに追加することを含み、
テスト時における前記タイルのいずれか1つについての前記確実性値を計算することが、
－前記タイルのそれぞれについて、前記タイルから抽出された前記特徴ベクトルに基づいて予測値（ｈ _ｄ ）を複数回計算することであって、前記予測値（ｈ _ｄ ）が計算されるたびに、前記ネットワークのノードの異なるサブセットが前記1つ以上の再活性化または追加されたドロップアウトレイヤによってドロップされる、計算することと、
－前記タイルのそれぞれについて、前記タイルについて計算された前記複数の予測値（ｈ _ｄ ）の前記変動性の関数として前記タイルの前記確実性値を計算することであって、前記変動性が大きいほど、前記確実性値（ｃ）が小さくなる、計算することと
をさらに含む、本発明1008または1009の方法。
[本発明1011]
受信された前記デジタル画像が、
－組織サンプルのデジタル画像であって、それらのピクセル強度値が、非バイオマーカ特異的染料、特にヘマトキシリン染色剤またはＨ＆Ｅ染色剤の量と相関する、組織サンプルのデジタル画像、および／または
－組織サンプルのデジタル画像であって、それらのピクセル強度値が、前記組織サンプルに含まれるバイオマーカを選択的に染色するよう適合されたバイオマーカ特異的染料の量と相関する、組織サンプルのデジタル画像
を含む、前記本発明のいずれかの方法。
[本発明1012]
前記ＭＩＬプログラムを提供することが、前記ＭＩＬプログラムのモデルをトレーニングすることを含み、
前記トレーニングすることが、
－組織サンプルのデジタルトレーニング画像のセットを提供することであって、各デジタルトレーニング画像が、少なくとも2つのクラスのうちの1つを示すクラスラベルが割り当てられている、提供すること、
－各トレーニング画像をトレーニング画像タイルに分割することであって、各トレーニングタイルが、前記トレーニングタイルが導き出された前記デジタルトレーニング画像と同じクラスラベルが割り当てられている、分割すること、
－前記タイルのそれぞれについて、前記画像分析システムにより、前記タイルから選択的に抽出された画像特徴を含むトレーニング特徴ベクトルを計算すること、および／または
－前記トレーニングタイルの予測クラスラベルと、前記トレーニングタイルに実際に割り当てられた前記クラスラベルとの差を示す損失関数の誤差が最小化されるように、前記ＭＩＬプログラムの前記モデルを繰り返し適応させることであって、前記予測クラスラベルが、前記トレーニングタイルの前記特徴ベクトルに基づいて前記モデルによって計算されている、適応させること
を含む、前記本発明のいずれかの方法。
[本発明1013]
受信された前記デジタル画像のそれぞれについて、
－各タイルの予測値（ｈ）を、当該タイルに対して計算された確実性値（ｃ）によって加重し、それによって加重予測値（ｗｈ）を取得することと、
－前記ＭＩＬプログラムにより、最も高い加重予測値（ｗｈ）が計算された前記画像の前記タイルのうちの1つを特定することと、
－前記画像の他のタイルのそれぞれについて、前記他のタイルの前記加重予測値（ｗｈ）を前記最も高い加重予測値と比較することによって関連性インジケータを計算することであって、前記関連性インジケータが、比較された前記加重予測値の差と負に相関する数値である、計算することと、
－前記関連性インジケータの関数として前記画像（712～718，812～828）の関連性ヒートマップ（722～728，822～828）を計算することであって、前記関連性ヒートマップの前記ピクセル色および／またはピクセル強度が、前記画像内の前記タイルに対して計算された前記関連性インジケータを示す、計算することと、
－ＧＵＩ上に前記関連性ヒートマップを表示することと
をさらに含む、前記本発明のいずれかの方法。
[本発明1014]
－受信された前記画像を画面のＧＵＩ上に表示することであって、前記画像が、前記分類の結果にしたがって前記ＧＵＩ内で前記少なくとも2つの異なるクラスにグループ化される、表示すること
をさらに含む、前記本発明のいずれかの方法。
[本発明1015]
前記少なくとも2つのクラスのそれぞれが、
－特定の薬物に対して反応性のある患者、
－転移または特定の形態の転移（例えば、微小転移）を発症した患者、
－特定の治療に対する特定の反応、例えば病理学的完全奏効（ｐＣＲ）を示すがん患者、
－特定の形態学的状態またはマイクロサテライト状態を示すがん患者組織、
－特定の薬物に対する有害反応を発症した患者、
－特定の遺伝的属性、例えば特定の遺伝子シグネチャを有する患者、および／または
－特定のＲＮＡ発現プロファイルを有する患者
を含むグループから選択される、前記本発明のいずれかの方法。
[本発明1016]
前記確実性値ベースのプーリング関数（996）が、確実性値ベースの最大プーリング、平均プーリング、またはアテンションプーリング関数である、前記本発明のいずれかの方法。
[本発明1017]
－どのタイル由来特徴ベクトルがタイルのクラスメンバシップを予測するために最も関連するかを学習したトレーニングされたアテンションＭＬＬ（222）を提供すること、
－前記タイルのそれぞれのアテンション加重（ａｗ）を、前記アテンションＭＬＬによって前記それぞれのタイルの前記特徴ベクトルの関数として計算することであって、前記アテンション加重が、クラスに対する当該タイルのメンバシップに関する当該タイルの特徴値の関連性の指標である、計算すること、
－前記タイルのアテンション加重特徴値を有するアテンションベース特徴ベクトルを取得するために、前記タイルのアテンション加重（ａｗ）に前記タイルの特徴ベクトル値を乗算すること；ならびに前記アテンションベースの特徴ベクトルを、前記スライドの前記予測値（ｈ）、前記確実性値（ｃ）、および／または前記加重予測値（ｗｈ）を計算するために前記ＭＩＬプログラムに入力される前記特徴ベクトルとして使用することであって、それによって前記予測値（ｈ）、前記確実性値（ｃ）、および／または前記加重予測値（ｗｈ）が、アテンションベースの予測値、アテンションベースの確実性値、および／またはアテンションベースの加重予測値として計算される、使用すること、または
－前記アテンションベースの予測値、前記アテンションベースの確実性値、および／または前記アテンションベースの加重予測値を取得するために、前記タイルの前記アテンション加重（ａｗ）に、前記タイルの前記予測値（ｈ）、前記確実性値（ｃ）を、または前記ＭＩＬによって計算された前記タイルの前記加重予測値（ｗｈ）を、乗算すること
をさらに含む、前記本発明のいずれかの方法。
[本発明1018]
組織画像を分類するための画像分析システムであって、
－少なくとも1つのプロセッサ（202）と、
－患者の組織サンプルをそれぞれ示すデジタル画像を含む揮発性または不揮発性記憶媒体（210）と、
－前記少なくとも1つのプロセッサによって実行可能であり、前記画像のそれぞれを画像タイルのセット（216）に分割するように構成された、画像分割モジュール（214）と、
－前記少なくとも1つのプロセッサにより実行可能であり、前記タイルのそれぞれに対して、前記タイルから選択的に抽出された画像特徴を含む特徴ベクトル（220）を計算するように構成された、特徴抽出モジュール（218）と、
－前記少なくとも1つのプロセッサによって実行可能であり、前記入力画像の全てのタイルから抽出された前記特徴ベクトルに基づいて、少なくとも2つの異なるクラスのうちの一つのメンバとして任意の入力画像を分類するためのモデルを使用するように構成された、マルチインスタンス学習（ＭＩＬ）プログラム（226）と
を備え、前記ＭＩＬプログラムが、
－前記タイルのそれぞれについて、前記タイルが導き出された前記画像の分類に対する前記タイルの特徴ベクトルの寄与に関する前記モデルの確実性を示す確実性値を計算すること（110）と、
－各画像について、
・前記ＭＩＬプログラム（226）により、前記画像から抽出された前記特徴ベクトルを前記画像の前記タイルの前記確実性値（221）の関数としてグローバル特徴ベクトル（995）に集約する（111）ための確実性値ベースのプーリング関数（996）を使用し、前記グローバル特徴ベクトルから集約予測値（997）を計算すること（112）、または
・前記ＭＩＬプログラムにより、前記画像の前記特徴ベクトル（220）のそれぞれから予測値（998）を計算し（113）、前記ＭＩＬプログラム（226）により、前記画像の前記予測値を集約予測値（997）に集約するための確実性値ベースのプーリング関数（996）を、前記画像の前記タイルの前記確実性値の関数として使用すること（114）と、
－前記ＭＩＬプログラムにより、前記画像のそれぞれを、前記集約予測値に基づいて前記少なくとも2つの異なるクラスのうちの一つのメンバとして分類すること（116）と
のためにさらに構成された、画像分析システム。

【図面の簡単な説明】

【0186】

以下の本発明の実施形態は、図面を参照して、単なる例として、より詳細に説明される。

【図1】本発明の実施形態にかかる方法のフローチャートを示している。

【図2】本発明の実施形態にかかる画像分析システムのブロック図を示している。

【図3】比較テスト結果を示す第１の表を示している。

【図4】比較テスト結果を示す第２の表を示している。

【図5】ネットワークレイヤアーキテクチャにドロップアウトを適用する効果を示している。

【図6】本発明の実施形態にかかる特徴抽出ＭＬＬプログラムのネットワークアーキテクチャを示している。

【図7】画像タイルギャラリを有するＧＵＩを示している。

【図8】類似性サーチ画像タイルギャラリを有するＧＵＩを示している。

【図9】２Ｄおよび３Ｄ座標系におけるタイルの空間的距離を示している。

【図10】本発明の実施形態にかかるシャムネットワークのアーキテクチャを示している。

【図11】切り捨てられたシャムネットワークとして実装される特徴抽出ＭＬＬを示している。

【図12】画像データベースにおいて、特徴ベクトルに基づく類似性サーチを使用するコンピュータシステムを示している。

【図13】タイルペアの空間的近接性に基づいてラベル付けされた「類似」および「非類似」タイルペアを示している。

【図14】近接に基づく類似性ラベルについてトレーニングされた特徴抽出ＭＬＬにより抽出された、類似性サーチ結果に基づく特徴ベクトルを示している。

【図15】予測値にプーリング関数を適用することに基づく画像分類のためのアプローチＩを示している。

【図16】グローバル特徴ベクトルを取得するために特徴ベクトルにプーリング関数を適用することに基づく画像分類のためのアプローチＩＩを示している。

【発明を実施するための形態】

【0187】

図１は、本発明の実施形態にかかる方法のフローチャートを示している。本方法は、患者の組織画像を分類するために使用されることができる。分類は、例えば、患者の属性値、例えば、バイオマーカの状態、診断、処置転帰、結腸直腸がんまたは乳がんなどの特定のがんのマイクロサテライト状態（ＭＳＳ）、リンパ節の微小転移、および診断生検における病理学的完全奏効（ｐＣＲ）を予測するために行うことができる。予測は、モデルの不確実性を考慮したトレーニングされたＭＩＬプログラムを使用した組織学スライドのデジタル画像の分類に基づく。図１の以下の説明では、図２、図１５、および図１６の要素も参照される。

【0188】

方法１００は、これまで知られていない予測的組織学的シグネチャを同定するために、および／または組織試料を非常に正確に分類するために使用されることができる。

【0189】

最初のステップ１０２において、（例えば、図２を参照して説明したような）画像分析システム２００は、複数のデジタル組織画像２１２を受信する。例えば、各組織画像は、患者、例えばがん患者から採取されたスライド全体の組織サンプルを描くことができる。患者群の各患者について、少なくとも１つのデジタル組織画像が受信される。例えば、デジタル組織画像は、ローカルまたはリモートの揮発性または不揮発性記憶媒体２１０、例えばリレーショナルデータベースから読み取られることができ、または顕微鏡もしくはスライドスキャナなどの画像取得装置から直接受信されることができる。例えば、受信画像は、例えばＦＦＰＥＴ組織ブロックスライスの形態で提供される組織標本をそれぞれ描写することができる。テスト時では、各受信画像の「エンドポイント」または「クラスラベル」は不明であり、これは、組織サンプルが由来する患者が特定の疾患もしくは疾患段階を有するか否か、またはこの患者が特定の処置に応答するか否かが不明であることを意味する。

【0190】

次に、ステップ１０４において、画像分析システムは、受信した各画像を一組の重なり合うまたは重なり合わない画像タイル２１６に分割する。例えば、分割は、分割モジュール２１４によって実行されることができる。

【0191】

一実施形態によれば、受信した画像ならびに生成されたタイルは、マルチチャネル画像である。

【0192】

次に、ステップ１０６において、画像分析システムは、タイルのそれぞれに対して、特徴ベクトル２２０を計算する。特徴ベクトルは、前記タイルに描かれている組織パターンから選択的に抽出された画像特徴を含む。任意に、特徴ベクトルは、これに加えて、遺伝子的特徴、または画像およびそれぞれのタイルが導き出される、その患者に対して利用可能な他の患者、もしくは、患者関連データを含むことができる。いくつかの実施形態によれば、特徴抽出は、トレーニング済み特徴抽出モジュール２１８により行われる。特徴抽出モジュールは、トレーニングされたＭＩＬプログラムのサブモジュールとすることもでき、別個のアプリケーションプログラムまたはプログラムモジュールとすることもできる。特に、特徴抽出モジュール２１８は、トレーニングされたＭＬＬとすることができる。特徴抽出ＭＬＬは、特徴ベクトル－タイルと特徴ベクトル－画像の関係を維持しながら、タイル毎に特徴ベクトルを生成することができる。他の実施形態は、特徴ベクトルが計算されるタイルに描写された組織領域を記述する多種多様な特徴を提供するための特徴抽出アルゴリズムを含む従来のハンドコーディングされたソフトウェアプログラムとして実装された特徴抽出モジュールを使用することができる。特徴ベクトルの特徴は、それぞれのタイルに含まれる画像情報から完全にまたは少なくとも部分的に抽出され、画像の他のタイルのいずれか１つから抽出された特徴を含まないため、特徴ベクトルは、このタイルに描かれた組織領域の光学特性を表す。したがって、特徴ベクトルは、タイルに描かれた組織の電子組織シグネチャと見なすことができる。

【0193】

次に、ステップ１０８において、マルチインスタンス学習（ＭＩＬ）プログラム２２６が提供される。例えば、ＭＩＬプログラムは、画像分析システム２００、例えばコンピュータにインストールおよび／またはインスタンス化された既にトレーニングされたＭＩＬプログラムとすることができる。次いで、トレーニングされインスタンス化されたＭＩＬプログラムは、受信した組織画像を分類するためのテスト時に受信したデジタル組織画像のタイルを処理する。

【0194】

図１は、テスト時に組織画像を分類するための既にトレーニングされたＭＩＬプログラムの使用を示している。ステップ１０８において提供されるトレーニングされたＭＩＬプログラムを生成するために、所定の既知のエンドポイント（例えば、生存、応答、遺伝子シグネチャなど）を有する患者から組織ブロックを採取する必要があり、これらの組織サンプルのデジタルトレーニング画像が取得される。エンドポイントは、ＭＩＬプログラムのトレーニングに用いられる各トレーニング画像のクラスラベルとして用いられる。例えば、組織ブロックはスライスされ、それらのスライスは、顕微鏡検査法でのスライド上にセットされる。続いて、スライスは、Ｈ＆Ｅ、および／または、各種のバイオマーカ特異的染料などの、１つ以上の組織学的に関連する染色剤を用いて染色される。トレーニング画像は、染色された組織スライスから、スライドスキャナ顕微鏡などを使用して撮像される。トレーニング画像は、何年も前に取得された組織サンプル画像とすることができる。古い画像データセットは、処置の成功、疾患の進行、副次的影響などの、多くの関連するイベントの結果が同時に既知となり、その既知のイベントがラベルとして割り当てられている組織画像を含むトレーニングデータセットを生成することに使用されることができる、という利点を有することができる。いくつかの実施形態では、トレーニング画像データセットは、患者毎に１つ以上のトレーニング画像を含むことができる。例えば、同じ組織サンプルが、異なる染色プロトコルにしたがって複数回染色されることができ、これにより、各染色プロトコルに対して、トレーニング画像が取得される。代替的に、いくつかの隣接する組織サンプルスライスはそれぞれ、同じまたは異なる染色プロトコルを用いて染色されることができ、組織サンプルスライドのそれぞれに対して、トレーニング画像が取得される。受信したトレーニング画像のそれぞれには、少なくとも２つの異なる、予め定められたラベルの内の１つが割り当てられる。各ラベルは、その組織が、ラベル付けされたトレーニング画像に描かれている、患者の患者関連属性値を示す。属性値は、任意のタイプ、例えば、ブール、数値、文字列、順序パラメータ値などとすることができる。ラベルは、受信したトレーニング画像に手動または自動で割り当てることができる。例えば、ユーザは、スライドスキャナのソフトウェアを、取得する画像に、それらの取得中に、特定のラベルが自動的にラベル付けされるように構成してもよい。これは、例えば、特定の薬Ｄに反応を示すことがわかっている、第１のグループの１００人の乳がん患者の１００の組織画像、および、この反応を示さないことがわかっている、第２のグループの１２０人の乳がん患者の１２０の組織画像など、同じ患者関連属性値／エンドポイントを有する大きなグループの患者の組織サンプル画像が順次取得されるシナリオにおいて助けとなることができる。ユーザは、第１のグループのトレーニング画像が取得される前に一度だけ、そして続いて、第２のグループのトレーニング画像が取得される前に再度、撮像された画像に割り当てられるラベルをセットしなければならない場合がある。次に、各トレーニング画像は、本明細書では「トレーニングタイル」と呼ばれる複数のタイルに分割される。トレーニングタイルの数は、トレーニングデータセットを強化するために、異なるサイズおよび倍率レベルを有する、および／または、いくらかのシミュレーションされたアーチファクトおよびノイズを含む、既存のトレーニングタイルの変更されたコピーを生成することにより、増やされることができる。いくつかの場合では、複数のバッグが、本発明の実施形態について本明細書に記載されるように、バッグにおけるインスタンスを繰り返しサンプリングし、選択されたインスタンスを追加的なバッグに置くことにより生成されることができる。この「サンプリング」はまた、トレーニングデータセットを強化する正の効果を有することができる。ＭＩＬプログラムは、同じ画像のタイルの各セットを、バッグラベルを決定する必要があるタイルのバッグとして扱う。このラベル決定は、画像クラスが決定されるラベルに対応するため、画像を分類するタスクに対応する。

【0195】

テスト時に受信した各デジタル組織画像から抽出されたベクトルは、トレーニングされたＭＩＬプログラム２２６への入力として提供される。特徴ベクトルは、最初に取得された特徴ベクトルの形態で、または「埋め込み」とも呼ばれる正規化された形態で提供されることができる。

【0196】

次に、ステップ１１０において、ＭＩＬプログラムは、各タイルの確実性値２２１を計算する。例えば、特定のタイルｋに対するモデル確実性値ｃ_ｋは、ａ）ドロップアウト技術によって生成されたｎ個の異なるドロップアウトレイヤを使用して複数の異なる予測値ｈ_ｋ１、ｈ_ｋ２，．．．，ｈ_ｋｎを計算すること、ｂ）予測値ｈ_ｋ１、ｈ_ｋ２，．．．，ｈ_ｋｎの変動性を決定すること、およびｃ）この変動性の関数として確実性値ｃ_ｋを計算することによって計算されることができ、変動性は確実性値と負に相関する。異なるドロップアウトネットワークアーキテクチャに基づいて計算された予測値ｈ_ｋ１、ｈ_ｋ２，．．．，ｈ_ｋｎの大きな変動性は、トレーニングされたＭＩＬプログラムのモデルが、画像分類結果に対するタイルから導き出された特徴の寄与について「確信」がないことを意味する。

【0197】

予測値ｈのいずれかを計算するために、ＭＩＬプログラムは、予測値「ｈ」と呼ばれる数値２２８をタイルのそれぞれについて計算するためにタイルの特徴ベクトル２２０を分析する。予測値「ｈ」は、画像に潜在的に割り当てられる特定のクラスラベルに対する、タイルに関連付けられた特徴ベクトルの予測パワーを示す。換言すれば、この数値は、このタイルに描かれた組織パターンを考慮して、特定のクラスにおいてタイルが導き出された画像のメンバシップについての特定の特徴ベクトルの予測パワー、すなわち「予後値／能力」を表す。例えば、トレーニングされたＭＩＬプログラムは、タイルが導き出された画像のクラスメンバシップ上のタイルから抽出された特徴値の寄与を予測することを学習することができる。例えば、この「寄与」は、現在分析されているタイルの特徴ベクトルを考慮して、画像が特定のクラスに属する可能性と相関するおよび／またはその可能性を示す数値とすることができる。

【0198】

画像を分類するための２つのアプローチにしたがうことができる。

【0199】

１つのアプローチによれば、ステップ１１３において、分類されるべき画像のタイルのそれぞれについて、予測値ｈ、９９８が、このタイルから抽出された特徴ベクトルの関数としてＭＩＬプログラムによって計算される。このステップ１１３は、ステップ１１０の一部として既に実行されていてもよい。しかしながら、予測値ｈを使用せずに確実性値を計算する必要がある場合、ステップ１１３が実行される必要がある。次に、ステップ１１４において、確実性値ベースのプーリング関数９９６が予測値９９８に適用され、画像のタイルに対して計算された予測値だけでなく確実性値２２１も統合する集約予測値９９７が計算される。ステップ１１３および１１４によるこのアプローチは、例えば図１５に示されている。

【0200】

代替的なアプローチによれば、ステップ１１１において、画像のそれぞれのタイルから抽出された特徴ベクトルは、特徴ベクトル２２０からグローバル特徴ベクトル９９５を計算する確実性値ベースのプーリング関数９９６に入力され、それにより、それぞれのタイルに対して計算された確実性値２２１が考慮される。グローバル特徴ベクトルは、画像のタイルに対して計算された特徴ベクトルだけでなく、確実性値２２１も統合する。次に、ステップ１１２において、集約予測値８８７を計算するために、グローバル特徴ベクトルがＭＩＬプログラムの予測モデル９９９に入力される。ステップ１１１および１１２によるこのアプローチは、例えば図１５に示されている。

【0201】

最後に、ステップ１１６において、テスト時に受信されたデジタル組織画像２１２のそれぞれが、集約予測値にしたがって分類される。例えば、プーリング関数が最大プーリング関数である場合、この画像の全てのタイルから得られた最大加重予測値ｗｈが所定の閾値を超える場合、画像は、特定の「陽性」クラスのメンバであると分類される。そうでない場合、画像は、この特定のクラスのメンバではないと分類される。バイナリクラス設定では、この結果は、２つの可能なクラスの他方における画像のメンバシップを意味する。

【0202】

場合によっては、クラスメンバシップを予測するためにどの特徴ベクトルが最も関連するかを学習した追加のトレーニングされたアテンションＭＩＬ２２２が提供される。タイルの関連性は、アテンションＭＩＬによって計算された「アテンション加重」ａｗとして表される。場合によっては、各タイルに対してアテンションＭＩＬによって計算されたアテンション加重は、各タイルの特徴ベクトル値と乗算される。乗算の結果、加重特徴値を有する特徴ベクトルがタイル毎に取得され、この特徴ベクトルは、予測値ｈ、確実性値ｃ、および加重予測値ｗｈを計算するためのＭＩＬプログラムへの入力として使用される。他の実施形態では、アテンションＭＩＬによって計算されたアテンション加重ａｗは、各タイルの特徴ベクトルについてＭＩＬによって計算された予測値ｈまたは加重予測値ｗｈと乗算される。これは、クラスメンバシップに関する特定のタイルの予測パワーおよびその特徴値の指標として使用される加重数値ｐｐを生成する。

【0203】

実施形態によれば、トレーニングされたＭＩＬプログラムおよび画像分類結果は、患者群を層別化するために使用されることができる。これは、所与の処置以外の要因により患者を分けることを意味する。階層化は、ＭＩＬプログラムにトレーニングさせる際にラベルとして使用されない患者関連属性に基づいて行われることができる。例えば、そのような患者関連属性は、年齢、性別、他の人口統計学的要因、または、特定の遺伝子的もしくは生理的形質とすることができる。ＧＵＩは、ユーザが、ラベルとして使用されなかった、前記患者関連属性いずれか１つに基づいて、それらの組織画像が、ＭＩＬプログラムをトレーニングするために使用された患者のサブグループを選択し、そのサブグループにおける、トレーニング済みＭＬＬの予測の正確さを選択的に計算することを可能にする。例えば、サブグループは、女性患者、または６０歳を超える患者からなることができる。女性／男性、または、６０歳を超える／未満の患者などのそれぞれのサブグループに対して選択的に取得された正確さは、いくつかのサブグループにおける、トレーニング済みＭＩＬの特定の高いまたは低い正確さを明らかにすることができる。これは、変数（リサーチャが検討しているもの以外の変数）を混ぜ合わせることを可能にすることができ、これにより、リサーチャが、変数間の関係を検出して解釈し、特定の薬から最も恩恵を被る患者グループを特定することを容易にする。

【0204】

図２は、本発明の実施形態にかかる画像分析システム２００のブロック図を示している。

【0205】

画像分析システム２００は、１つ以上のプロセッサ２０２と、揮発性または不揮発性記憶媒体２１０と、を備える。例えば、記憶媒体は、電磁ドライブまたはフラッシュドライブなどのハードディスクドライブとすることができる。これは、磁気ストレージ、半導体ベースのストレージ、または光学データストレージとすることができる。記憶媒体は、一時的にのみデータを含む、メインメモリなどの揮発性媒体とすることができる。

【0206】

記憶媒体は、エンドポイントが未知の、患者からの組織サンプルの複数のデジタル画像２１２を含む。

【0207】

画像分析システムは、画像２１２のそれぞれを複数のタイルに分割するように構成されている分割モジュール２１４を備える。タイルは、バッグ２１６にグループ化されており、これにより、典型的には、同じバッグにおける全てのタイルは、同じ患者から導き出される。バッグのラベルは、２つ以上の異なるクラスのうちの一つにおける画像のメンバシップを表し、トレーニングされたＭＩＬプログラム２２６によって決定および予測される必要がある。

【0208】

特徴抽出モジュール２１８は、タイル２１６のそれぞれから、複数の画像特徴を抽出するように構成されている。いくつかの実施形態では、特徴抽出モジュール２１８は、トレーニング済みＭＬＬまたはトレーニング済みＭＬＬのエンコーディング部とすることができる。抽出された特徴は、それらが導き出されたタイルと関連する特徴ベクトル２２０として、記憶媒体２１０において記憶される。任意に、特徴ベクトルは、マイクロアレイデータなどのゲノムデータなどの、他のソースから導き出された患者の特徴を用いて強化されることができる。

【0209】

画像分析システムは、マルチプルインスタンス学習プログラム（ＭＩＬプログラム２２６）を含む。トレーニング中、ＭＬＬプログラム２２６は、特徴ベクトル２２０（または、モデルの不確実性を考慮し、任意にさらにアテンションＭＩＬ２２２によって出力されたアテンションスコアを考慮することによって生成された加重特徴ベクトル）、ならびにそれぞれのトレーニングタイルに割り当てられたラベルを受信する。トレーニングの結果として、トレーニング済みＭＩＬプログラム２２６が提供される。トレーニングされたＭＩＬプログラムは、タイルのそれぞれについて、タイルの予測パワーを示す加重予測値ｗｈ、およびタイルが導き出された画像のクラスラベルについてそこに示されている組織パターンを計算することを学習しており、加重は、特定のタイルの特徴ベクトルに基づいて計算されたクラスメンバシップ予測に関するモデル確実性（したがって、暗黙的に、モデルの不確実性も）を表す。画像のタイルのこれらの加重予測値は、「数値タイル関連性スコア」と呼ばれることもある。

【0210】

画像分析システムは、画像分析システムの画面２０４上に表示されるＧＵＩ２３２を生成するように構成されているモジュール２３０をさらに備える。

【0211】

ＧＵＩは、１つ以上の受信画像２１２のそれぞれについてＭＩＬプログラムによって生成された分類結果２０７を表示するように構成される。例えば、ＧＵＩは、ＭＩＬプログラムによって出力されたクラスラベルを有する画像または画像タイルを表示することができる。

【0212】

任意に、ＧＵＩは、タイルの少なくともいくつかと、これらのタイルに対して計算された数値２２８と、を含むタイルギャラリ２０６を含む。数値２２８は、例えば、それぞれのタイル上のオーバレイとして明示的に、および／または、例えば、それらのそれぞれの数値２２８にしたがってソートされたタイルのソート順の形態にて暗示的に、表示されることができる。ユーザがタイルの１つを選択すると、そこからタイルが元々導き出された画像の全体スライドヒートマップが表示される。他の実施形態では、タイルギャラリ２０６に加えて、ヒートマップがデフォルト毎に表示される。

【0213】

プログラムモジュール２１４、２１５、２１８、２２２、２２６、２３０のそれぞれは、大型ＭＩＬアプリケーションプログラムまたはＭＩＬトレーニングフレームワークソフトウェアアプリケーションのサブモジュールとして実装されることができる。代替的に、１つ以上のモジュールは、それぞれ、画像分析システムの他のプログラムおよびモジュールと相互運用可能な、スタンドアローンソフトウェアアプリケーションプログラムとして実装されてもよい。各モジュールおよびプログラムは、例えば、Ｊａｖａ、Ｐｙｔｈｏｎ、Ｃ＃、またはいずれの他の好適なプログラミング言語にて記述された１つのソフトウェアとすることができる。

【0214】

任意に、画像分析システムは、トレーニング済みＭＩＬに、画像タイルの残りについてトレーニングさせてテストするために、画像のサンプル（サブセット）を選択するよう適合されているサンプリングモジュール（図示せず）を備えることができる。サンプリングモジュールは、まず、サンプリングを行う前に、それらの特徴ベクトルに基づいて、タイルをクラスタ化することを行うことができる。

【0215】

任意に、画像分析システムは、モデル確実性ベースの加重に加えて、特徴ベクトルのそれぞれおよびそれぞれのタイルに対して加重を計算するように構成されているアテンションＭＩＬプログラム２２２を含むことができる。アテンションＭＩＬプログラムによって計算された重みは、特徴ベクトルとともに、トレーニングフェーズにおけるＭＩＬプログラム２２６への入力として、および／またはＭＩＬプログラムによってタイルのそれぞれについてテスト時に計算された予測値ｈまたは加重された予測値ｗｈを加重するために使用されることができる。

【0216】

図３および図４は、各画像タイルについて計算されたモデル出力に関するモデル不確実性をプーリング関数が考慮するＭＩＬベースの画像分類器を使用するための比較テスト結果をそれぞれ示す表を示している。本発明の実施形態は、組織画像を分類するために、例えば最大プーリング関数または平均プーリング関数などの確実に基づくプーリング関数を使用する。図３に示す大きな困難な現実のデータセット（Ｃａｍｅｌｙｏｎ１６）を含むいくつかのデータセットに対してテストを行った。２つのテストは、本発明の実施形態、特に確実性に基づくプーリング関数の使用が、ほとんどのタスクの予測精度を改善することを示した。Ｃａｍｅｌｙｏｎ１６データセットでは、本発明の実施形態はまた、インスタンスレベルの予測精度ＡＵＣを大幅に改善した。

【0217】

結果は、さらに、トレーニングおよび／またはテスト時における確実性値も考慮に入れることによって、ほとんどの場合、差分法のテスト時予測を大幅に改善できることを示している。既存のモデルのテスト時予測を改善できることは望ましい特性である。大規模データセットでＭＩＬ方法をトレーニングするには、高価なインフラストラクチャが必要である。既存のモデルのテスト時の改善は、それらを再トレーニングする必要性を回避する。確実性値ベースの最大プーリング関数を使用すると、テスト時におけるＭＩＬプログラムの精度が向上する。

【0218】

図３は、Ｃａｍｅｌｙｏｎ－１６リンパ節転移検出チャレンジの基礎として使用されたデータセットに対して得られた比較テスト結果を示す第１の表３００を示している。この実験の目的は、確実性に基づくプーリング関数を使用するＭＩＬプログラムを、困難な現実のデータセット上の他のＭＩＬプログラムと比較することである。データセットは、ｈｔｔｐｓ：／／ｃａｍｅｌｙｏｎ１６．ｇｒａｎｄ－ｃｈａｌｌｅｎｇｅ．ｏｒｇ／ｄａｔａ／の下で入手可能である。Ｃａｍｅｌｙｏｎ１６は、健常であるかまたは何らかの形態の転移を示すセンチネルリンパ節から撮影された４００個のヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色全スライド画像（ＷＳＩ）からなる。ＷＳＩ自体、ならびにそれらのラベリング（健常、転移含有）に加えて、各ＷＳＩに対してピクセルレベルのセグメンテーションマスクが提供される。セグメンテーションマスクを破棄し、グローバルスライドレベルラベルのみを使用してＭＩＬプログラムのベンチマークを作成した。単純な染色正規化ステップを、ＬＡＢ色空間チャネルの平均およびｓｔｄをＣａｍｅｌｙｏｎ１６トレーニングセットからの参照画像と同じになるように正規化することによってトレーニング画像に適用した。より高度な正規化は、結果をさらに改善することができる。２０×解像度（これは、スライドを検討するために臨床病理医によって使用される作業倍率である）の２５６×２５６の重なり合わないトレーニングタイルの大きなセットをトレーニング画像から生成した。背景（白色）タイルを自動的に識別および破棄することによって、トレーニングタイルのセットを削減した。白色タイルの自動化されたバックグラウンド検出は、例えばＰｉｅｒｒｅ Ｃｏｕｒｔｉｏｌら：「Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｄｉｓｅａｓｅ Ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ Ｈｉｓｔｏｐａｔｈｏｌｏｇｙ Ｕｓｉｎｇ Ｏｎｌｙ Ｇｌｏｂａｌ Ｌａｂｅｌｓ：Ａ Ｗｅａｋｌｙ－Ｓｕｐｅｒｖｉｓｅｄ Ａｐｐｒｏａｃｈ」、２０１８年２月１日、ａｒＸｉｖ：１８０２．０２２１２に記載されている。トレーニングタイルは、トレーニングタイルのバッグにグループ化され、各バッグはトレーニングデータセット内のスライド／スライド画像に対応する。染色正規化と呼ばれるステップを適用して、異なるスライドおよびそれぞれのトレーニング画像における組織染色を正規化した。

【0219】

ＩｍａｇｅＮｅｔで事前トレーニングされたＲｅｓｎｅｔ５０（Ｋａｉｍｉｎｇ Ｈｅ、Ｘｉａｎｇｙｕ Ｚｈａｎｇ、Ｓｈａｏｑｉｎｇ Ｒｅｎ、およびＪｉａｎ Ｓｕｎ．Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ．Ｉｎ Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．７７０－７７８，２０１６年６月）の形態のＭＩＬプログラムが提供され、サイズ２０４８の特徴ベクトル（埋め込み）がネットワークの第２のレイヤから最終レイヤまでの各タイルについて抽出された。

【0220】

ＭＩＬプログラムとして使用された予測ネットワークは、５つの完全接続レイヤからなり、隠れレイヤに１０２４個のニューロンがあり、３０％のドロップアウトおよびＲｅＬＵ活性化がある。アテンションネットワークが適用される場合、隠れレイヤ内の１０２４、５１２、および２５６個のニューロンを有する４つの完全接続レイヤが使用され、それによってネットワークはＲｅＬＵ、バッチ正規化、および３０％ドロップアウトでトレーニングされた。全ての場合において、デフォルトパラメータとともにアダムオプティマイザを使用した。トレーニング中に、各バッグから１２８個のランダムなインスタンスを選択した。このサンプリング戦略は、結果を大幅に改善し、迅速なオーバーフィッティングを防止することが観察された。全ての方法について、保持された検証セット（トレーニングセットの２０％）で最もよく機能するモデルを選択し、選択したモデルをＣａｍｅｌｙｏｎ－１６テストセットでテストした。テスト中、実例サンプリングは行わず、バッグ全体を分析した。加えて、腫瘍対非腫瘍タイルを正確に分類する分類器の能力は、Ｃａｍｅｌｙｏｎ１６データセットからの専門病理学者の腫瘍注釈を使用して、インスタンスレベルの分類器予測精度を測定することによって定量化された。加えて、テストした全ての方法についてテスト時に異なるプーリング関数を適用して、確実性値ベースのプーリング関数法を使用するＭＩＬプログラムの性能を、推論中に事前トレーニングされたモデルに適用されたときに他のプール戦略を使用するＭＩＬプログラムに対して評価および比較した。「曲線下面積－ＡＵＣ」として測定された結果の精度を、図３に示す表１に示す。確実性値ベースのプーリング関数は「不確実性（平均または最大）プーリング」と呼ばれ、比較した全てのＭＩＬプログラムの中で最も高い精度を有するインスタンスレベル予測を提供する。

【0221】

図４は、結腸がんデータセット（Ｓｉｒｉｎｕｋｕｎｗａｔｔａｎａら：「Ｌｏｃａｌｉｔｙ ｓｅｎｓｉｔｉｖｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｎｕｃｌｅｉ ｉｎ ｒｏｕｔｉｎｅ ｃｏｌｏｎ ｃａｎｃｅｒ ｈｉｓｔｏｌｏｇｙ Ｉｍａｇｅｓ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，３５（５）：１１９６－１２０６，２０１６）で得られた比較テスト結果を示す第２の表４００を示している。このデータセットは、１００個のＨ＆Ｅ画像を含む。データセットは、全てのバッグがトレーニング画像に対応し、トレーニング画像から抽出された２７×２７タイルを含むＭＩＬプログラム用のトレーニングデータセットとして使用された。悪性領域を含むバッグにはラベル１が与えられ、そうでなければ０が与えられる。学習が１００エポックに限定されなかったことを除いて、（ＭａｘｉＭＩＬｉａｎ Ｉｌｓｅ、Ｊａｋｕｂ Ｍ．Ｔｏｍｃｚａｋ、Ｍａｘ Ｗｅｌｌｉｎｇ：「Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｄｅｅｐ Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ」、２０１８年６月２８日（ｖ４）、ＩＣＭＬ ２０１８論文、ａｒＸｉｖ：１８０２．０４７１２）と同じネットワークおよび学習構成を使用した。トレーニングデータセットは、トレーニングおよびテストに使用される３０％／７０％に分割された。トレーニングセットの２０％を検証セットとして残し、最高の検証スコアに基づいてモデルを選択した。結果を表４００に示す。確実性値ベースの平均プーリング関数を含むＭＩＬは、例およびバッグレベルの双方で最高の精度を達成した。

【0222】

さらなるテスト（図示せず）では、キーインスタンス検索のための確実性値ベースのプーリング関数を含むＭＩＬプログラムの有用性を、合成的に生成されたトレーニングおよびテストセットに基づいて評価した。このテストでは、１００個のバッグが作成され、各バッグは２２４×２２４個の画像タイルから作成された１，０００個のインスタンスを有する。全てのバッグにおいて、１００個のインスタンスが無地の赤色画像に設定される。バッグの半分では、１００個のインスタンスが青色に設定され、それらのラベルは１に設定される。各バッグの残りのタイルは、Ｃａｍｅｌｙｏｎ－１６データセットからのランダム画像であるように設定される。画像は、ＩｍａｇｅＮｅｔで事前トレーニングされたＲｅｓｎｅｔ５０を使用して２０４８個の埋め込みに変換される。Ｙａｒｉｎ Ｇａｌら、「Ｄｅｅｐ Ｂａｙｅｓｉａｎ Ａｃｔｉｖｅ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ｉｍａｇｅ Ｄａｔａ」、２０１７年３月、ａｒＸｉｖ：１７０３．０２９１０ｖ１で提案されたアテンションネットワークを使用して、全てのタイルにアテンション値を割り当てた。重要なインスタンスは、これらのスコアに基づいてバッグから検索されたが、これは、これらが出力に対する全てのタイルの寄与に影響を与えるためである。最初に、提案されたアテンションネットワークは、バッグの８０％で５００エポックについてトレーニングされ、残りの２０％で１００％のＡＵＣでテストされた。インスタンスは、高いものから低いものまで、アテンションスコアおよび確実性値スコアを使用してランク付けされた。アテンションネットワークについては、驚くべきことに、全てのバッグに共通の赤色インスタンスが最も高いアテンションを受けることが観察された。赤色画像は、ラベルをトリガしないため、キーインスタンスではない。驚くべきことに、青色画像は最も低いアテンションを集めた。したがって、この例では、アテンションスコアの使用は、準最適な結果を提供することが観察された。反対に、確実性値ベースのスコアは、青色画像を上に、赤色画像を下にランク付けした。この合成問題は、現実の問題を表す。組織学データセットでは、主に背景または汚れを含む情報のない画像は、前処理の努力にもかかわらずデータセットのかなりの部分を構成し、全てのクラスのバッグに現れる可能性がある。このようなデータセットでアテンションネットワークをトレーニングし、それらのアテンションスコアによって画像を検索すると、情報価値のない画像が検索される可能性がある。この望ましくない効果は、実際のデジタル病理組織画像において出願人によって実際に観察された。一方、赤色画像は、全てのバッグに現れ、トレーニング中に双方のラベルから勾配を受け取るため、モデルは、それらのラベルについて不確実であると予想され、実際、それらは最も高い不確実性を有する。同様に、青色画像は、単一のラベルのみに関連付けられ、ネットワークをそれらについて非常に確実にする。

【0223】

図５は、ネットワークレイヤアーキテクチャにドロップアウトを適用する効果を示している。ネットワークアーキテクチャ５０２は、ニューラルネットワークの３つの完全接続レイヤのニューロンおよびそれらの接続を示す。ネットワーク５０４は、ドロップアウトレイヤ（マスク）をレイヤのうちの１つ以上に適用した後の同じネットワークを示し、それによって、網掛けを有するノードが非活性化ノードであるネットワークアーキテクチャ５０４に示すように、各レイヤのノードのランダムに選択されたサブセットを非活性化する。

【0224】

トレーニング中にドロップアウトレイヤを適用することは、ネットワーク重みを小さく保つことによってオーバーフィッティングを低減する（一般化誤差を低減する）ことを求める技術である（正則化方法）。より具体的には、正則化は、不良の問題をより安定した良好な問題に変換するために追加の情報を追加するアプローチのクラスを指す。ドロップアウトレイヤを適用することは、トレーニング中に１つ以上のネットワークレイヤ内のいくつかのノードおよびそれぞれの入力を確率的に除去することを意味する。

【0225】

機械学習における一般的な問題は、容量が少なすぎるモデルは問題を学習することができないが、容量が多すぎるモデルは問題を学習することができず、トレーニングデータセットを過適合させる可能性があることである。双方のシナリオにおいて、モデルは十分に一般化されない。ニューラルネットワークをトレーニングする際のオーバーフィッティングを低減するための１つのアプローチは、ネットワークの複雑さを変化させることである。ニューラルネットワークモデルの容量、すなわち複雑さは、ノードおよびレイヤに関するニューラルネットワークモデルの構造と重みに関するパラメータの双方によって定義される。したがって、ネットワーク構造（加重の数）を変更することによって、および／またはネットワークパラメータ（加重の値）を変更することによって、ニューラルネットワークの複雑さを低減してオーバーフィッティングを低減することができる。例えば、構造は、適切な数のノードおよび／またはレイヤが問題に対するオーバーフィッティングを低減または除去することが判明するまで、ニューラルネットワークの完全接続レイヤ上に複数の異なるドロップアウトレイヤを適用することによって調整されることができる。

【0226】

図６は、特徴ベクトル生成用の教師あり学習アプローチをサポートする、本発明の実施形態にかかる特徴抽出ＭＬＬプログラムのネットワークアーキテクチャ６００を示している。一連のオートエンコーダ６０４からなるディープニューラルネットワークは、画像タイルから抽出された複数の特徴について、レイヤ毎の様式にてトレーニングされている。トレーニング済みネットワークは、例えば、タイルに描かれている組織を、画像タイルから抽出された光学的特徴に基づいて、クラス「ストローマ組織」、「背景スライド領域」、「腫瘍細胞」、および「転移組織」の１つのメンバとして分類する分類タスクを後に行うことができる。ネットワークアーキテクチャは、入力レイヤ６０３よりも大幅に少ないニューロンを有し、さらなる隠れレイヤおよび分類レイヤが続くことができる、ボトルネックレイヤ６０６を含む。１つの例によれば、ボトルネックレイヤは、入力レイヤのニューロンの数の約１．５％のニューロンを含む。潜在的に、数百または数千の隠れレイヤが、入力レイヤとボトルネックレイヤとの間にある。ボトルネックレイヤにより抽出された特徴は、「ディープボトルネック特徴（ＤＢＮＦ）」と呼ばれる場合がある。

【0227】

図７は、「レポートタイルギャラリ」とも呼ばれる画像タイルギャラリを有するＧＵＩ７００を示している。レポートギャラリ（行ラベル７０２、７０４、７０６、および７０８下のタイルのマトリクス）は、ユーザが、特定のラベルに関して、高い予測パワーを持つものとなると、ＭＩＬプログラムにより特定された組織パターンを診査することを可能にする。ギャラリは、例えば、ＭＩＬプログラムにより計算された、「薬Ｄを用いた処置に対する反応＝真」など、対象の特定のラベル（または「クラス」）に関して、最も高い数値を有するタイルのいくつかを含む。タイルは、それらが由来する組織スライド画像（およびそれぞれの患者）に基づいてグループ化され、クラスラベルに関して計算されたそれぞれの予測値にしたがってそれらのグループ内でソートされる。

【0228】

図７に示す例では、予測値を加重するためにアテンションＭＩＬを使用するＭＩＬプログラムが加重の計算に使用されたが、モデルの不確実性を考慮して加重された予測スコアにしたがってタイルがソートされている場合、ギャラリは同様に見える。したがって、本発明の実施形態によれば、ＧＵＩ７００は、それぞれ計算された加重予測値ｗｈにしたがってタイルが選択およびソートされたレポートタイルギャラリを含み、加重は確実性値ｃに対応する。図７および図８に示すタイルギャラリは、タイルの並べ替え順序が予測値または加重予測値に基づく並べ替え順序と同様であるため、説明のためだけのものである。それにもかかわらず、出願人は、特定のクラスの最も関連性のある／予測タイルを識別する精度および分類の精度が、確実性値ベースのプーリング関数を含むＭＩＬプログラムが使用されるときに最良であることを観察した。

【0229】

図７に描かれたレポートギャラリは、ギャラリにおけるタイルのそれぞれに対して、トレーニング後に自動的に決定されることができる全体的な予測的正確さを含むことができる。追加的、または代替的に、レポートギャラリは、それぞれの画像に割り当てられたラベルと、このラベルに対して取得された、バッグ毎の予測的正確さと、を含むことができる。例えば、「グラウンドトゥルース＝０」は、ラベル「薬Ｄに反応する患者」を表すことができ、「グラウンドトゥルース＝１」は、ラベル「薬Ｄに反応しない患者」を表すことができる。ＭＩＬによって計算された特定の画像の全てのタイルの最も高い数値は、前記画像から導き出されたタイルのグループの上に「予測値」ｈまたは「加重予測値」ｗｈとして表示される。

【0230】

描かれたギャラリでは、タイル行７０２が、第１の患者の６つのタイルを示す。前記タイルの最初の１つには、ラベルに関して、特定の組織スライド／全スライド画像の予測パワーを示す最も高い予測値（予後値）が割り当てられる。スライドグループ毎の最初のタイルには、これに加えて、または、代替的に、特定の組織スライド画像から導き出された全てのタイルの、（ＭＩＬにより提供された数値から、および、アテンションＭＩＬにより計算された加重から導かれた）最も高い、組み合わされた値が割り当てられる。

【0231】

最も高い予測値は、図７に示すＧＵＩに描かれるように、患者毎の最も高くスコア付けされたタイルの上部に表示されることができる。

【0232】

最も高い予測値または最も高い加重予測値を有するタイルのサブセットのみを含むレポートタイルギャラリは、病理学者がスライド全体を検査する必要がないため、有利であり得る。むしろ、病理学者の注意は、対象のラベルに関して、最も高い予測パワーを有するように、その組織パターンが特定されている各全スライド画像の少数のサブ領域（タイル）に自動的に向けられる。

【0233】

図７に描かれている実施形態によれば、レポート画像タイルギャラリは、Ｈ＆Ｅにて染色された画像から導き出された画像タイルを示す。レポート画像タイルギャラリは、次のように整理される。

【0234】

行７０２は、第１の患者の特定の全スライド画像７１２から導き出された全てのタイル内で、アテンションベースのＭＩＬプログラムによって計算された最高の数値（予測パワー、すなわち予後値を示す）が割り当てられた６つのタイルを含む。他の実施形態によれば、ソートは、ＭＩＬによって計算された予測値と同一であるか、またはＭＩＬによって計算された数値の微分値、例えば加重予測値ｗｈであるスコア値に基づいて実行される。

【0235】

それらのいくつかが、行７１２に提示されている、タイルを生成することに使用された、第１の患者の組織サンプルの、それぞれの全スライド画像７１２は、より高く関連するタイルの、この選択されたセット７１２に空間的に近接して示されている。

【0236】

加えて、ＭＩＬにより計算されたその加重予測値が、予測パワーを示す最も高い数値が計算された、画像７１２のタイルの１つの数値に類似する、全ての全スライド画像領域をハイライトする、オプションの関連性ヒートマップ７２２が示される。この場合では、最も高い数値が計算されたタイルの１つが自動的に特定されて選択され（例えば、行７１２における最初の位置にあるタイル）、関連性ヒートマップ７２２を計算するための根拠として使用される。代替的な実施によれば、関連性ヒートマップ７２２は、画像の全てのタイルに対して計算された最も高い数値に対するタイルの数値の類似性を表さないが、これはむしろ、画像の全てのタイルに対して計算された最も高い、組み合されたスコアに対するタイルの類似性を表す。組み合わされたスコアは、例えば、タイルに対して、アテンションＭＩＬにより計算された加重と、ＭＩＬにより計算された、画像のラベルに関しての、タイルの予測パワーを示す数値と、の乗算などの組み合わせとすることができる。依然としてさらなる実施形態によれば、関連性ヒートマップ７２２は、アテンションＭＩＬにより計算されたタイルの加重の、アテンションＭＩＬにより、画像の全てのタイルに対して計算された最も高い加重に対する類似性を表す。

【0237】

列７０４は、第２の患者の特定の全スライド画像７１４から導き出された全てのタイル内に、ＭＩＬプログラムにより計算された、最も高い数値が割り当てられている６つのタイルを含む。それぞれの全スライド画像７１４は、より高く関連するタイルの、この選択されたセットに空間的に近接して示される。加えて、ＭＩＬにより計算されたそのそれぞれの数値が、最も高い数値がＭＩＬにより計算された全スライド画像７１４のタイルの１つに高く類似する、全ての全スライド画像領域をハイライトする関連性ヒートマップ７２４が示される。

【0238】

列７０６は、第３の患者の特定の全スライド画像７１６から導き出された全てのタイル内に、ＭＩＬプログラムにより計算された、最も高い数値が割り当てられている６つのタイルを含む。それぞれの全スライド画像７１６は、より高く関連するタイルの、この選択されたセットに空間的に近接して示される。加えて、ＭＩＬにより計算されたそのそれぞれの数値が、最も高い数値がＭＩＬにより計算された全スライド画像７１６のタイルの１つに高く類似する、全ての全スライド画像領域をハイライトする関連性ヒートマップ７２６が示される。

【0239】

列７０８は、患者の特定の全スライド画像７１８から導き出された全てのタイル内に、ＭＩＬプログラムにより計算された、最も高い数値が割り当てられている６つのタイルを含む。それぞれの全スライド画像７１８は、より高く関連するタイルの、この選択されたセットに空間的に近接して示される。加えて、ＭＩＬにより計算されたそのそれぞれの数値が、最も高い数値がＭＩＬにより計算された全スライド画像７１８のタイルの１つに高く類似する、全ての全スライド画像領域をハイライトする関連性ヒートマップ７２８が示される。

【0240】

実施形態によれば、レポートタイルギャラリに提示される関連性ヒートマップは、予測パワー、または、アテンションベースの加重、および／または確実性ベースの加重、またはそれらの組み合わせを示す。描かれた例では、ヒートマップにおける明るいピクセルは、タイルが、高い予測値、高い確実性値ベースの加重、またはそれらの組み合わせを有する、画像におけるエリアを描く。実施形態によれば、関連性ヒートマップを計算することは、タイルのスコア（例えば、数値、加重、または組み合された値）が、画像の最も高くスコア付けされたタイルのスコアの最小パーセンテージ値を超えているかについて決定することを含む。これが超えている場合は、関連性ヒートマップにおけるそれぞれのタイルは、第１の色または「明るい」強度値、例えば「２５５」により表される。これが超えていない場合は、関連性ヒートマップにおけるタイルのそれぞれは、第２の色または「暗い」強度値、例えば「０」により表される。

【0241】

レポートタイルギャラリにおける各タイルは、（例えば、タイル上をダブルクリックすることにより、または、タイルをシングルクリックで選択してから、ＧＵＩ要素「サーチ」を選択することにより）類似性サーチを開始するために、ユーザにより選択されることができる。続いて、例えば、図８に示すような類似性サーチタイルギャラリが表示される。

【0242】

選択可能なＧＵＩ要素７１０のセットにおける「ブラックリスト」および「再トレーニング」要素は、ユーザが、タイルのブラックリストを画定し、ブラックリストにおけるタイルと、ブラックリストにおけるタイルに高く類似するタイルと、を除く、全てのタイルに基づいて、ＭＩＬプログラムに再トレーニングさせることを可能にする。例えば、ブラックリストは、それらがアーチファクトを含むことにより、特に低い数値（予後値）を有する、または、特に高い数値を有する、手動で選択されたタイルのセットを含むことができる（非常に高い予測パワーを持つタイルの除外は、対象のラベルに関しての予測パワーをも有する、追加的な、これまでにまだわかっていない組織パターンを特定する、ＭＩＬの能力を上げることができる）。画像分析システムは、特定のタイルをブラックリストに加えるユーザに応えて、ブラックリストに加えられたタイルの特徴ベクトルに対する、それらの、特徴ベクトルに基づく類似性が、最小類似性閾値を超える全てのタイルを、自動的に特定するように構成されることができる。特定されたタイルは、同様に、ブラックリストに自動的に加えられる。ユーザが、再トレーニングＧＵＩ要素を選択すると、ＭＩＬは、ブラックリストにおけるタイルを除く、トレーニングデータセットの全てのタイルについて再トレーニングされる。

【0243】

図８は、本発明の実施形態にかかる類似性サーチ画像タイルギャラリを伴うＧＵＩ８００を示している。類似性サーチは、レポートギャラリ７００におけるタイルの１つ８３０の、ユーザに基づく選択によりトリガされる。

【0244】

このサーチは、全スライド画像８１２から８１８のそれぞれから生成されたタイル内にて、比較された特徴ベクトルの類似性に基づく、例えば、６つの最も類似するタイルのサブセットを特定する。類似性サーチにおいて特定されたタイルは、全スライド画像毎に、または、患者毎にグループ化され、その選択が類似性サーチをトリガした、タイル８３０（「クエリタイル」）に対するそれらの類似性にしたがう降順にてソートされる。

【0245】

全スライド画像８１２～８１８と、類似性ヒートマップ８２２～８２８と、は、それらの特徴ベクトル（および、したがって、描かれた組織パターン）が、選択されたタイルの特徴ベクトルに最も類似するタイルの場所を示す。

【0246】

任意に、類似性サーチタイルギャラリは、これに加えて、１つ以上の次のデータを含む：
－描かれたタイルがそこから導き出された画像に割り当てられたラベル、図８に描かれている１つのラベルは、「グラウンドトゥルース：０」、
－バッグのラベルに関して、バッグ（画像）毎にＭＩＬプログラムにより計算された予測的正確さ、
－全スライド画像において類似するタイルの数、および／または、（例えば、閾値による）類似しないものと比較しての、類似するタイルのパーセンテージ（割合）、および、
－全スライド画像における全てのタイルの類似性値の平均、中央値、またはヒストグラム。

【0247】

例えば、ユーザは、最も高い予測値（例えば、最も高いｈまたはｗｈ）、したがって画像のラベル／クラスメンバシップに関して最も高い予測パワーを割り当てたレポートギャラリのタイル８３０のうちの１つを選択することができる。タイルの選択により、ユーザは、タイルに基づく類似性サーチを、現在選択されているタイルとは異なるラベルが割り当てられ得る多くの異なる患者のタイルおよび画像にわたって開始してよい。類似性サーチは、類似する特徴ベクトルに基づいて、類似するタイルおよび類似する組織パターンを決定するための、特徴ベクトルおよびタイルの比較に基づく。これらは、選択されたタイル（および、その組織パターン）に類似するものの、選択されたタイルのラベルとは異なるラベル（例えば、「薬Ｄに対する反応＝真の患者」ではなく、「薬Ｄに対する反応＝偽の患者」）を有するタイル（および、それぞれの組織パターン）の数および／または割合を評価して表示することによる。

【0248】

したがって、病理学者は、「高く予測的」としてＭＩＬプログラムにより返されたタイルを選択することにより、ＭＩＬプログラムにより特定された組織パターンの予測パワー、特に、過敏性および特異性を容易にチェックし、類似する特徴ベクトルを有するデータセットにおいて、どれほど多くのタイルに、選択されたタイルと同じラベルが割り当てられているかを明らかにする類似性サーチを行うことができる。これは、組織画像の予測的特徴のインジケーションをも提供することができるが、ユーザは、これらの特徴を特定することも検証することも可能ではない、最新の機械学習アプリケーションを超える、大きな利点である。レポートギャラリおよび類似性サーチギャラリに基づき、人であるユーザは、提案された高い予測的組織パターンを検証でき、高い予測パワーを有し、類似する特徴ベクトルに関連付けられている全てのタイルに示される、共通する特徴および構造を言語化することもできる。

【0249】

レポートギャラリ内のタイルが選択可能であり、選択が、類似の特徴ベクトル／組織パターンを有する他のタイルを識別して表示するための類似性検索の実行をトリガするという特徴は、ユーザが関心のあるレポートタイルギャラリ内の任意の画像タイルをユーザが自由に選択することを可能にすることができる。例えば、病理学者は、組織パターン、および上述したように最も高い予測パワー（ＭＩＬによって計算された最も高い数値）を有するそれぞれのタイルに関心を持つことができる。代替的に、病理学者は、典型的には、特定の低い予測パワー（特定の低い数値）を有するアーチファクトに興味を持ち得る。さらに代替的に、病理学者は、例えば、それが、薬のいくらかの副次的影響、または、関連するいずれの他の生物医学的情報を明らかにするからといった、いずれの他の理由により、特定の組織パターンに興味を持ち得る。病理学者は、それぞれのレポートタイルギャラリにおけるタイルのいずれの１つを自由に選択する。これにより、病理学者は、類似性サーチと、その結果を、類似性タイルギャラリの形態にて計算して表示することと、をトリガする。この表示と、ＧＵＩと、は、類似性サーチの完了後に自動的にリフレッシュされることができる。

【0250】

いくつかの実施形態によれば、類似性サーチギャラリの計算と表示とは、類似性ヒートマップ８２２～８２８の計算と表示とを含む。ヒートマップは、類似するタイルおよびそれぞれの特徴ベクトルを、色および／またはピクセル強度においてエンコードする。類似する特徴ベクトルを有する画像領域およびタイルは、ヒートマップにて、類似する色、および／または、高または低ピクセル強度とともに表される。したがって、ユーザは、全スライド画像における特定の組織パターンシグニチャの分布の概要を迅速に取得できる。ヒートマップは、異なるタイルをシンプルに選択することにより、容易にリフレッシュされることができる。なぜなら、この選択が、新たに選択されたタイルの特徴ベクトルに基づく、特徴ベクトルの類似性の再計算を自動的に誘起するからである。

【0251】

実施形態によれば、類似性サーチギャラリは、類似性ヒートマップを含む。本方法は、従属的方法により、類似性ヒートマップを生成することを含む。本従属的方法は、
－レポートタイルギャラリにおけるタイルの１つを選択することと、
－受信した画像のいくつかまたは全ての他のタイルのそれぞれに対して、選択されたタイルに関して、類似性スコアを、同じ画像と、選択されたタイルの特徴ベクトルを有する他の画像の、他のタイルの特徴ベクトルを比較することにより計算することと、
－それらのタイルが、それぞれの類似性スコアを計算するために使用された画像のそれぞれに対して、それぞれの類似性ヒートマップを、選択されたタイルに対する、前記画像におけるタイルの類似性を示す類似性ヒートマップの類似性スコア、ピクセルカラー、および／またはピクセル強度の関数として計算することと、
－類似性ヒートマップを表示することと、を含む。

【0252】

実施形態によれば、類似性サーチギャラリに示す画像タイルもまた、選択可能である。

【0253】

類似性ヒートマップは、人であるユーザが、特定の組織において、または、特定のラベルを有する患者のサブグループの組織サンプルにおいて、対象の特定の組織パターンがどれほど広がっているかについて容易に認識できる、有益な概要情報を提供することができる。ユーザは、サーチギャラリにおけるタイルのいずれを自由に選択することができ、これにより、現在選択されているタイルに割り当てられた特徴ベクトルに基づく類似性ヒートマップの再計算と、類似性ヒートマップを含むＧＵＩの自動リフレッシュと、が、それぞれ誘起される。

【0254】

実施形態によれば、レポートギャラリにおける、および／または、類似性サーチタイルギャラリにおける画像タイルは、それらの組織サンプル画像からタイルが導き出されている患者に基づいてグループ化される。代替的な実施形態によれば、レポートギャラリにおける、および／または、類似性サーチタイルギャラリにおける画像タイルは、タイルが導き出されている画像に割り当てられたラベルに基づいてグループ化される。

【0255】

典型的には、同じ患者から導き出された全ての画像は同じラベルを有することとなり、特定の患者のそれらの画像から導き出された全てのタイルは、ＭＩＬにより、同じ「バッグ」のメンバとして扱われることとなる。しかしながら、いくつかの例外的な場合では、同じ患者の異なる画像に異なるラベルが割り当てられる場合がある。例えば、第１の画像が、患者の第１の転移巣を描き、第２の画像が、同じ患者の第２の転移巣を描き、薬Ｄを用いた治療に応えて、第１の転移巣が消失する一方、第２の転移巣が成長し続けることが観察される場合、患者関連属性値は、患者毎の代わりに、画像毎に割り当てられ得る。この場合では、患者毎に、複数のタイルのバッグがあり得る。

【0256】

別の例によれば、患者の組織サンプルの画像は、特定の薬を用いた処置の前後に取得され、ＭＩＬプログラムをトレーニングすることに、および／または、トレーニング済みＭＩＬプログラムを適用することに使用されるエンドポイント（ラベル）は、属性値「組織の状態＝薬Ｄを用いた処置後」、または、属性値「組織の状態＝薬Ｄを用いた処置前」である。ＭＩＬプログラムを、前記患者関連属性値についてトレーニングすることは、腫瘍における薬の活性および形態学的効果を示す組織パターンを特定する、という利点を有することができる。そのような特定された薬の効果に関する組織パターンは、薬の作用のモードならびに、潜在的な薬の悪影響を検証して診査することを可能にすることができる。

【0257】

実施形態によれば、本方法は、追加的なタイルのセットを生成することにより、タイルのバッグの数を計算的に増やすことをさらに含み、各追加的なタイルのセットは、ＭＩＬプログラムにより、ソースタイルが生成された組織画像と同じラベルが割り当てられている、追加的なタイルのバッグとして扱われる。追加的なタイルのセットの生成は、特に、１つ以上のアーチファクト生成アルゴリズムを、アーチファクトを含む新たなタイルを生成するために、タイルの少なくとも１つのサブセットに適用することを含む。追加的、または代替的に、追加的なタイルのバッグの生成は、それらのそれぞれのソースタイルよりきめが細かい、または、これよりきめが粗い、新たなタイルを生成するために、タイルの少なくとも１つのサブセットの解像度を増やすこと、または、これを減らすことを含むことができる。

【0258】

例えば、サブセットは、患者のそれぞれに対して、前記患者から取得された１つ以上の組織画像のいくつかまたは全てのタイルをランダムに選択することにより取得されることができる。アーチファクト生成アルゴリズムは、画像のアーチファクトをシミュレーションする。画像のアーチファクトは、例えば、組織の用意、染色、および／または画像の取得中に生成されるタイプのアーチファクトとすることができる（例えば、エッジアーチファクト、過染色、染色不足、ダスト、スペックルアーチファクト、（ガウシアンブラーなどによりシミュレーションされる））。追加的、または代替的に、アーチファクトは、包括的なノイズタイプとすることができる（例えば、閉塞、色のジッタリング、ガウシアンノイズ、ソルト＆ペッパー、回転、フリップ、スキュー歪などによりシミュレーションされる）。

【0259】

追加的なタイルのバッグの生成は、追加的なトレーニングデータが、利用可能なトレーニングデータの限定されたセットから生成される、という利点を有することができる。追加的なトレーニングデータは、サンプルの用意および画像の取得のコンテキストにおいてしばしば起こる一般的な歪、アーチファクト、およびノイズによりその品質が下がる場合がある画像データを表す。したがって、トレーニング中にＭＩＬプログラムに内在する、モデルのオーバーフィッティングが回避されることを、拡大されたトレーニングデータセットが確実にすることができる。

【0260】

実施形態によれば、本方法は、１つ以上の受信したデジタル画像から取得されたタイルのクラスタを計算することをさらに含み、タイルは、それらの特徴ベクトルの類似性に基づいて、クラスタにグループ化される。好ましくは、クラスタは、患者のそれぞれに対して計算される。これは、タイルの特徴ベクトルが十分に類似していれば、同じ患者の異なる組織スライドを描く異なる画像からのタイルが、同じクラスタにグループ化されることができる、ということを意味する。

【0261】

他の実施形態によれば、クラスタは、全ての患者からの全てのタイルに対してともに計算される。

【0262】

（異なる患者の全てのタイルをともに、または、患者毎に）クラスタ化する方法の双方では、互いに類似して見えるタイル（すなわち、類似する特徴ベクトルを有する）が、同じクラスタにクラスタ化される。

【0263】

例えば、「異なる患者の全てのタイルをクラスタ化する」場合では、クラスタ化の結果は、全ての患者に対する全てのタイルに対するタイルの６４のグループ（クラスタ）の生成となり得る。６４のクラスタのそれぞれは、異なる患者から導き出された類似するタイルを含む。反対に、患者毎にクラスタ化する場合では、各患者が、その患者自身の６４のクラスタを有することとなる。

【0264】

患者毎にクラスタが生成される場合、患者の画像には、脂肪を含むタイルがないか、または、脂肪を含むタイルが非常に少量の場合があり得る。この場合では、その「脂肪」を特徴とする特徴ベクトルの周りのクラスタを学習させるためのデータが十分でないため、「脂肪クラスタ」は生成されない場合がある。しかしながら、全ての患者の全てのタイルをともにクラスタ化する方法を行うことは、多数のクラスタ／組織タイプが、最大量の利用可能なデータを用いて特定されることができる、という利点を有することができる。「全患者タイル」のクラスタ化では、少なくとも数人の患者が、彼らの生体検査において、いくらかの脂肪細胞を有するであろうため、「脂肪」組織パターンに対するクラスタが特定される可能性が高い。したがって、データセットにおいて、脂肪細胞を描くタイルの数が十分である可能性がある場合、脂肪細胞に対するクラスタが生成されるであろう（脂肪細胞含有量が非常に少ない患者に対しても）。クラスタが、全ての患者の全てのタイルに対してともに生成され、１つのクラスタが、脂肪細胞を表す場合は、患者の全てからの、脂肪細胞を持つ全てのタイルが、そのクラスタにグループ化される。これは、特定の患者／バッグについて、脂肪細胞を持つ全てのタイルがともに、前記クラスタにグループ化され、クラスタのサンプリングがそのバッグに対して使用される場合、前記クラスタに属する（現在の患者／バッグからの）タイルのいくつかが選択される、ということを意味する。

【0265】

タイルをクラスタ化することは、この演算が特定の患者において観察可能な組織パターンの数および／またはタイプを明らかにすることができるため、好適となり得る。いくつかの実施形態によれば、ＧＵＩは、ユーザが、タイルのクラスタ化と、タイルクラスタの、クラスタ化されたギャラリビューでの提示と、をトリガすることを可能にする、ユーザによる選択が可能な要素を含む。これは、患者の特定の組織サンプルにおいて観察される、重要なタイプの組織パターンを、ユーザが直感的且つ迅速に理解することをアシストすることができる。

【0266】

実施形態によれば、ＭＩＬプログラムのトレーニングは、タイルのセットを繰り返しサンプリングし、タイルのセットから、タイルのサブセットを取り出すことと、ＭＩＬプログラムを、タイルのサブセットについてトレーニングすることと、を含む。

【0267】

本明細書で使用される「サンプリング」という用語は、データセット（患者の１つ以上の画像から取得されるタイルの合計）における多数のＮデータアイテム（インスタンス、タイル）から、具体的に選ばれた数のＬサンプル（ここでは、インスタンス、すなわち、タイル）を取り出すことを含む、データ分析、または、機械学習アルゴリズムにトレーニングさせることのコンテキストにおいて使用される技術である。実施形態によれば、「サンプリング」は、トレーニングデータセットにおけるＮタイルの合計を統計的に表すよう推定される確率分布にしたがって、多数のＮデータアイテム内からデータアイテムのサブセットを選択することを含む。これは、母集団全体の性質をより正確に学習することを可能にすることができる。確率分布は、機械学習プロセスをガイドし、「データからの学習」を実現可能にする統計的仮定を表す。

【0268】

いくつかの実施形態によれば、サンプリングは、サンプルしたタイルのバッグを提供するために、タイルのサブセットをランダムに選択することにより行われる。

【0269】

実施形態によれば、クラスタ化と、サンプリングと、は、次のように組み合わせられる：サンプリングは、患者に対して取得されたタイルクラスタのそれぞれから、サンプリングにおいて生成された各タイルのサブセットにおけるタイルの数が、前記タイルが取得されたクラスタのサイズに対応するように、タイルを選択することを含む。

【0270】

例えば、特定の患者のデジタル組織画像から、１０００のタイルが生成されることができる。クラスタ化は、３００のタイルを含む、背景組織スライド領域を示す第１のクラスタと、４００のタイルを含む、ストローマ組織領域を示す第２のクラスタと、２００のタイルを含む、転移腫瘍組織を示す第３のクラスタと、４０のタイルを含む、特定の染色アーチファクトを示す第４のクラスタと、６０のタイルを含む、微小血管を持つ組織を示す第５のクラスタと、を生成する。

【0271】

一実施形態によれば、サンプリングは、クラスタのそれぞれから、５０％などの、タイルの特定の割合を選択することを含む。これは、クラスタ１からは１５０のタイル、クラスタ２からは２００のタイル、クラスタ３からは１００のタイル、クラスタ４からは２０のタイル、クラスタ５からは３０のタイル、を意味することとなる。

【0272】

好適な実施形態によれば、サンプリングは、各クラスタから、等しい数のタイルを選択することを含む。このサンプリングのアプローチは、異なるタイプのクラスタから、同じ数のタイル／組織パターン例が取り出され、これにより、トレーニングデータセットをよりバランスの取れたものとすることができる、という利点を有することができる。これは、トレーニングデータセットにおいて、所望する予測的特徴がまれである場合に、トレーニング済みＭＩＬ、および／または、トレーニング済みアテンションＭＩＬをさらに正確なものとすることができる。

【0273】

クラスタ化とサンプリングとの組み合わせは、サンプリングによって実際に高い予測パワーのものであるいくつかのタイルを意図せずに「失う」ことなく、トレーニング用のデータの根拠を増やすことができるため、特に好適となり得る。デジタル病理学のコンテキストでは、しばしば、組織サンプルの圧倒的大多数のエリアは、特定の疾患または他の患者関連属性により変性し、その予測的である、組織領域を含まない。例えば、組織サンプルの小さいサブ領域のみが、腫瘍細胞を実際に含まれることができ、残りは、正常な組織を示すことができる。タイルのクラスタ化をまず行い、続いて、クラスタのそれぞれからタイルを選択することは、腫瘍細胞または微小血管などの予測的組織パターンを示す、少量のタイルの少なくともいくつかが、常に確実に、サンプルの一部となることを確実にすることができる。

【0274】

図９は、２Ｄおよび３Ｄ座標系におけるタイルの空間的距離を示している。これは、類似性ラベルを、タイルの空間的近接から自動的に導き出された類似性ラベルに基づいて、タイルのペアに自動的に割り当てるために使用される。これにより、ドメインエキスパートによる、画像またはタイルの手動での注釈付けを必要としない、特徴抽出ＭＬＬにトレーニングさせるためのトレーニングデータセットが提供される。

【0275】

図９Ａは、デジタル組織サンプルトレーニング画像９００のｘ軸およびｙ軸により画定される２Ｄ座標系におけるタイルの空間距離を示している。トレーニング画像９００は、患者の組織サンプルを描く。組織サンプルが患者から取得された後に、サンプルが、顕微鏡検査法のスライド上にセットされ、１つ以上の組織学的に関連する染色剤、例えば、Ｈ＆Ｅ、および／または、各種のバイオマーカ特異的染料を用いて染色された。トレーニング画像９００は、染色された組織サンプルから、スライドスキャナ顕微鏡などを使用して撮像される。いくつかの実施変異形によれば、受信したトレーニング画像の少なくともいくつかは、異なる患者から導き出される、および／または、同じ患者の異なる組織領域（生体検査）から導き出され、したがって、３Ｄ座標系において互いに整列されることができない。この場合では、タイル距離は、以下に説明するように、画像のｘ座標およびｙ座標により画定される２Ｄ空間内にて計算されることができる。

【0276】

トレーニング画像９００は、複数のタイルに分割される。説明の目的のために、図９Ａにおけるタイルのサイズは、典型的なタイルサイズよりも大きい。

【0277】

トレーニングデータセットは、次のアプローチにより自動的にラベル付けされることができる：最初に、開始タイル９０２が選択される。続いて、この開始タイルの周りの第１の円エリアが決定される。第１の円の半径はまた、第１の空間的近接閾値９０８とも呼ばれる。この第１の円内の全てのタイル、例えば、タイル９０６は、開始タイル９０２の「近くの」タイルと見なされる。加えて、この開始タイルの周りの第２の円エリアが決定される。第２の円の半径はまた、第２の空間的近接閾値９１０とも呼ばれる。この第２の円の外側の全てのタイル、例えば、タイル９０４は、開始タイル９０２に関して「遠くの」タイルである。

【0278】

続いて、第１のセットのタイルペアが生成され、第１のセットの各タイルペアは、開始タイルと、開始タイルの「近くの」タイルと、を含む。例えば、このステップは、第１の円に含まれる近くのタイルと同数のタイルペアを生成することを含むことができる。代替的に、このステップは、利用可能な近くのタイルのサブセットをランダムに選択することと、開始タイルを、選択された近くのタイルに加えることにより、選択された近くのタイルのそれぞれに対してタイルペアを生成することと、を含むことができる。

【0279】

第２のセットのタイルペアが生成される。第２のセットの各タイルペアは、開始タイルと、開始タイルに関して、「遠くの」タイルと、を含む。例えば、このステップは、第２の円の外側の、画像８００に含まれる遠くのタイルと同数のタイルペアを生成することを含むことができる。代替的に、このステップは、利用可能な遠くのタイルのサブセットをランダムに選択することと、開始タイルを、選択された遠くのタイルに加えることにより、選択された遠くのタイルのそれぞれに対してタイルペアを生成することと、を含むことができる。

【0280】

続いて、画像９００内の別のタイルが、開始タイルとして使用されることができ、上記のステップが類似的に行われることができる。これは、第１および第２の円が、新たな開始タイルを中心として使用して再び描かれる、ということを意味する。これにより、新たな開始タイルに関して、近くのタイルと、遠くのタイルと、が特定される。第１のセットのタイルには、新たな開始タイルに基づいて特定された、近くのタイルのペアが追加され、第２のセットのタイルには、新たな開始タイルに基づいて特定された、遠くのタイルのペアが追加される。

【0281】

続いて、画像９００内のさらに別のタイルが、開始タイルとして選択されることができ、上記のステップが、繰り返されることができ、これにより、第１および第２のタイルペアセットに、さらなるタイルペアがさらに追加される。新たな開始タイルの選択は、画像における全てのタイルが開始タイルとして一度選択されるまで、または、予め定められた数のタイルが、開始タイルとして選択されるまで行われることができる。

【0282】

第１のセットにおけるタイルペアのそれぞれ、例えば、ペア９１２に対して、ラベル「類似」が割り当てられる。第２のセットにおけるタイルペアのそれぞれ、例えば、ペア９１４に対して、ラベル「非類似」が割り当てられる。

【0283】

図９Ｂは、デジタル組織サンプル画像９００のｘ軸およびｙ軸と、トレーニング画像９００、９３２、９３４により描かれた組織ブロックの組織スライスのそれぞれの相対位置にしたがって互いに整列された、画像９００、９３２、９３４の束の高さに対応するｚ軸と、により画定される３Ｄ座標系におけるタイルの空間距離を示している。トレーニング画像は、それぞれ、特定の患者の単一の組織ブロックから導き出された組織サンプルを描く。描かれた組織サンプルは、複数の隣接する組織スライスの束に属する。例えば、組織スライスのこの束は、ＦＦＰＥＴ組織ブロックからエクスビボにて用意されることができる。組織ブロックはスライスされ、それらのスライスは、顕微鏡検査法でのスライド上にセットされる。続いて、図８Ａを参照して画像９００について説明されるように、スライスが染色される。

【0284】

この束内の組織サンプルは、単一の組織ブロックから導き出されるため、デジタル画像９００、９３２、９３４は、共通の３Ｄ座標系内に整列させることができ、これにより、ｚ軸は、組織スライスに直交する。ｚ軸は、組織スライスに直交する軸である。ｚ方向における画像の距離は、前記画像により描かれた組織スライスの距離に対応する。１つのペアの２つのタイルが同じ画像から導き出される場合、タイルペアのタイル距離は、２Ｄ空間内において計算される。加えて、タイルペアが生成されることができ、それらのタイルは、共通の３Ｄ座標系において互いに整列された異なる画像から導き出される。この場合では、ペアにおける２つのタイルの距離は、３Ｄ座標系を使用して計算される。

【0285】

整列されたデジタル画像のそれぞれは、複数のタイルに分割される。説明の目的のために、図９Ｂにおけるタイルのサイズは、典型的なタイルサイズよりも大きい。

【0286】

トレーニングデータセットは、次のアプローチにより自動的にラベル付けされることができる：最初に、開始タイル９０２が選択される。続いて、開始タイルと近くのタイルとを含むタイルペアと、開始タイルと遠くのタイルとを含むタイルペアとが、以下に説明するように特定されてラベル付けされる。

【0287】

この開始タイルの周りの第１の３Ｄ球が決定される。説明の目的のために、第１の球の断面のみを示している。第１の球の半径はまた、第１の空間的近接閾値９３６とも呼ばれる。この第１の球内の全てのタイル、例えば、画像９００におけるタイル９０６だけでなく、画像９３４におけるタイル９４０もまた、開始タイル９０２の「近くの」タイルと見なされる。加えて、この開始タイルの周りの第２の球が決定される。第２の球の半径はまた、第２の空間的近接閾値９３８とも呼ばれる。この第２の球の外側の全てのタイル、例えば、画像９００のタイル９０４だけでなく、画像９３４のタイル９４２もまた、開始タイル９０２に関して、「遠くの」タイルである。

【0288】

第１のセットのタイルペアが生成され、第１のセットの各タイルペアは、開始タイルと、開始タイルの「近くの」タイルと、を含む。例えば、このステップは、第１の球に含まれる近くのタイルと同数のタイルペアを生成することを含むことができる。代替的に、このステップは、利用可能な近くのタイルのサブセットをランダムに選択することと、開始タイルを、選択された近くのタイルに加えることにより、選択された近くのタイルのそれぞれに対してタイルペアを生成することと、を含むことができる。

【0289】

第２のセットのタイルペアが生成される。第２のセットの各タイルペアは、開始タイルと、開始タイルに関して、「遠くの」タイルと、を含む。例えば、このステップは、第２の球の外側の、画像９００、９３２、９３４に含まれる遠くのタイルと同数のタイルペアを生成することを含むことができる。代替的に、このステップは、利用可能な遠くのタイルのサブセットをランダムに選択することと、開始タイルを、選択された遠くのタイルに加えることにより、選択された遠くのタイルのそれぞれに対してタイルペアを生成することと、を含むことができる。

【0290】

続いて、画像９００内の、または、画像９３２、９３４内の別のタイルが、開始タイルとして使用されることができ、上記のステップが類似的に行われることができる。これは、第１および第２の球が、新たな開始タイルを中心として使用して再び描かれる、ということを意味する。これにより、新たな開始タイルに関して、近くのタイルと、遠くのタイルと、が特定される。第１のセットのタイルには、新たな開始タイルに基づいて特定された、近くのタイルのペアが追加され、第２のセットのタイルには、新たな開始タイルに基づいて特定された、遠くのタイルのペアが追加される。

【0291】

上記のステップは、受信した画像９００、９３２、９３４のそれぞれにおける全てのタイルが開始タイルとして選択されるまで（または、別の終了基準が満たされるまで）繰り返されることができ、これにより、第１および第２のタイルペアセットには、さらなるタイルペアがさらに追加される。

【0292】

第１のセットにおけるタイルペアのそれぞれ、例えば、ペア９１２および９１３に対して、ラベル「類似」が割り当てられる。第２のセットにおけるタイルペアのそれぞれ、例えば、ペア９１４および９１５に対して、ラベル「非類似」が割り当てられる。

【0293】

図９Ａおよび図９Ｂに示す、円および球に基づく距離計算は、距離に基づく類似性ラベルを計算するための単なる例である。この場合では、「類似」または「非類似」のいずれかのバイナリラベルである。例えば、２Ｄまたは３Ｄ座標系における２つのタイル間のユークリッド距離を計算すること、および、２つのタイルのユークリッド距離と負に相関する数的類似性値を計算すること、などの、他のアプローチが使用されることができることもある。

【0294】

１ｍｍの組織に対応するピクセルの数は、画像撮像デバイスの倍率、および、デジタル画像の解像度などの各種の要因に依存するため、ここでは、全ての距離閾値は、描かれた実際の物理的対象、すなわち、組織サンプル、または、組織サンプルにより覆われたスライドに関して指定される。

【0295】

図１０は、特徴ベクトルに基づく類似性サーチ、および／または、タイルの、特徴ベクトルに基づくクラスタ化、を行うことに適している、画像タイルから、生物医学的に意味のある特徴ベクトルを抽出することができるサブネットワークを提供するために、本発明の実施形態にしたがってトレーニングされたシャムネットワークのアーキテクチャを示している。シャムネットワーク１０００は、例えば、図９Ａおよび／または図９Ｂを参照して説明されるように、自動的に生成された、近接に基づく類似性ラベルを持つタイルペアを含む、したがって、自動的にラベル付けされたトレーニングデータセットについてトレーニングされる。

【0296】

シャムネットワーク１０００は、それらの出力レイヤ１０２４において結合されている２つの同一のサブネットワーク１００２、１００３からなる。各ネットワークは、単一のデジタル画像（例えば、タイル）９５４、９１４を入力として受信するよう適合されている入力レイヤ１００５、１０１５を含む。サブネットワークのそれぞれは、複数の隠れレイヤ１００６、１０１６、１００８、１０１８を含む。一次元の特徴ベクトル１０１０、１０２０は、２つの入力画像の１つから、２つのサブネットワークのそれぞれの１つにより抽出される。これにより、各ネットワークの最後の隠れレイヤ１００８、１０１８は、特徴ベクトルを計算し、その特徴ベクトルを出力レイヤ１０２４に提供するよう適合される。入力画像の処理は、厳密に分けられている。これは、サブネットワークが入力画像１０５４のみを処理し、サブネットワークが入力画像１０１４のみを処理することを意味する。出力レイヤが、ベクトル類似性、したがって、２つの入力画像に描かれている組織パターンの類似性を決定するために、２つのベクトルを比較する際に、２つの入力画像においてもたらされる情報が組み合される唯一のポイントは、出力レイヤの中にある。

【0297】

実施形態によれば、各サブネットワーク１００２、１００３は、修正ｒｅｓｎｅｔ－５０アーキテクチャ（Ｈｅら、Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１５，ＣＶＰＲ’１５）に基づく。実施形態によれば、ｒｅｓｎｅｔ－５０により予めトレーニングされたサブネットワーク９０２、９０３は、ＩｍａｇｅＮｅｔについて予めトレーニングされている。最後のレイヤ（これは、通常、１，０００の特徴を出力する）は、特徴ベクトルの所望するサイズ、例えばサイズ１２８を有するサイズの完全接続レイヤ１００８、１０１８と置き換えられる。例えば、各サブネットワークの最後のレイヤ１００８、１０１８は、最後から二番目のレイヤから特徴を抽出するように構成されることができ、これにより、最後から二番目のレイヤは、最後のレイヤ１００８、１０１８よりも多数の特徴（例えば、２０４８）を提供することができる。実施形態によれば、例えば、ＰｙＴｏｒｃｈ（０．００１の学習率、および、０．９、０．９９９のベータ）におけるデフォルトパラメータを持つアダムオプティマイザなどのオプティマイザと、２５６のバッチサイズとが、トレーニング中に使用された。データ増強について、ランダムの水平および垂直フリップ、および／または、最大で２０度までのランダムな回転、および／または、輝度に対して０．０７５の値を用いた色ジッタ拡大、コントラスト飽和、および／または、色相が、トレーニングデータセットを増やすために、タイルに適用されることができる。

【0298】

シャムネットワークが、自動的にラベル付けされた画像のペアについてトレーニングされる場合、学習プロセスの目的は、類似する画像が、互いに類似する出力（特徴ベクトル）を有するべきであり、および、類似しない画像が、互いに類似しない出力を有するべきである、ということである。これは、２つのサブネットワークにより抽出された特徴ベクトル間の差異を測定する関数などの損失関数を最小化することにより達成されることができる。

【0299】

実施形態によれば、シャムニューラルネットワークは、ペアの２つのタイルのそれぞれに対して、２つのサブネットワークにより抽出された特徴ベクトルの類似性が、ペアの２つのタイルに描かれている組織パターンの類似性と相関するよう、タイルのペアについて、損失関数を使用してトレーニングされる。

【0300】

シャムネットワークは、例えば、Ｂｒｏｍｌｅｙらによる、「Ｓｉｇｎａｔｕｒｅ Ｖｅｒｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ａ ‘Ｓｉａｍｅｓｅ’ Ｔｉｍｅ Ｄｅｌａｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」、１９９４年、ＮＩＰＳ’１９９４に記載されるようなシャムネットワークとすることができる。シャムネットワークの各サブネットワークは、多次元特徴ベクトルを、入力として提供された２つの画像タイルのそれぞれ１つから抽出するよう適合される。ネットワークは、同様の組織パターンを描くタイルペアが、互いに近い（類似する）出力（特徴ベクトル）を有するべきであり、類似しない組織パターンを描くタイルペアが、互いに遠い出力を有するべきである、ということを目的として、近接に基づく組織パターン類似性ラベルの注釈が自動的に付けられた複数のタイルペアについてトレーニングされる。一実施形態によれば、これは、例えば、Ｈａｄｓｅｌｌらによる、Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ Ｒｅｄｕｃｔｉｏｎ ｂｙ Ｌｅａｒｎｉｎｇ ａｎ Ｉｎｖａｒｉａｎｔ Ｍａｐｐｉｎｇ、２００６年、ＣＶＰＲ’０６に記載されるような、対照損失を行うことにより達成される。対照損失は、トレーニング中に最小化される。対比損失ＣＬは、例えば、以下にしたがって計算されることができる。

ここで、ｆ１、ｆ２は、２つの同一のサブネットワークを出力し、ｙは、以下のタイルペアのグラウンドトゥルースラベルである：それらが「類似」とラベル付けされている場合は０（タイルペアの第１のセット）、それらが「非類似」とラベル付けされている場合は１（タイルペアの第２のセット）。

【0301】

シャムネットワーク１０００のトレーニングは、ネットワーク１０００に、複数の自動的にラベル付けされた、類似するタイルペア９１２、９１３と、類似しないタイルペア９１４、９１５と、をフィードすることを含む。各入力トレーニングデータレコード１０２８は、タイルペアの２つのタイルと、その自動的に割り当てられた、空間的近接に基づくラベル１００７と、を含む。近接に基づくラベル１０００７は、「グラウンドトゥルース」として提供される。出力レイヤ１０２４は、２つの比較された特徴ベクトル１００８、１０１８の類似性の関数として、２つの入力画像１００４、１０１４に対する、予測された類似性ラベルを計算するよう適合される。シャムネットワークのトレーニングは、逆伝播プロセスを含む。予測されたラベル９２６の、入力ラベル１００７からのいずれの偏差は、損失関数の形態にて測定される「エラー」または「損失」と見なされる。シャムネットワークのトレーニングは、逆伝播を繰り返し使用することにより、損失関数により計算されるエラーを最小化することを含む。シャムネットワーク１０００は、例えば、Ｂｒｏｍｌｅｙらによる、「Ｓｉｇｎａｔｕｒｅ Ｖｅｒｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ａ ‘‘Ｓｉａｍｅｓｅ’’ Ｔｉｍｅ Ｄｅｌａｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」、１９９４、ＮＩＰＳ’１９９４によって記載されるように実施されることができる。

【0302】

図１１は、例えば、図１０を参照して説明するように、切り捨てられたシャムネットワークとして実装される特徴抽出ＭＬＬ９５０を示している。

【0303】

特徴抽出ＭＬＬ９５０は、例えば、トレーニング済みシャムネットワーク１０００のサブネットワーク１００２、１００３の１つを個別に記憶することにより取得されることができる。トレーニング済みシャムネットワークとは対照的に、特徴抽出ＭＬＬとして使用されるサブネットワーク１００２、１００３は、単一の画像９５２のみを入力として必要とし、類似性ラベルを出力しないが、むしろ、シャムネットワーク１０００のトレーニング中に、特に、特定の組織パターンに特に特徴的であり、特徴のこの特定のセットを、２つの画像から抽出して比較することにより、２つの画像に描かれている組織パターンの類似性を決定することに特に適していると特定された、限定された特徴のセットの値を選択的に含む特徴ベクトル９５４を出力する。

【0304】

図１２は、画像データベースにおいて、特徴ベクトルに基づく類似性サーチを使用するコンピュータシステム９８０を示している。例えば、類似性サーチは、その一例が図８に描かれているサーチタイルギャラリを計算することに使用されることができる。コンピュータシステム９８０は、１つ以上のプロセッサ９８２と、トレーニング済みシャムネットワーク（「切り捨てられたシャムネットワーク」）のサブネットワークとすることができる、トレーニング済み特徴抽出ＭＬＬ９５０と、を備える。システム９８０は、特徴ベクトルを、サーチ画像から、および、サーチした画像（タイル）のそれぞれから、それぞれ抽出するために、特徴抽出ＭＬＬを使用して画像類似性サーチを行うよう適合される。

【0305】

コンピュータシステムは、例えば、データベース９９２を備える、または、これに操作可能に結合された、スタンダードなコンピュータシステムまたはサーバとすることができる。例えば、データベースは、複数の患者の組織サンプルを描く、数百または数千もの全スライド画像を含むリレーショナルＢＤＳＭとすることができる。好ましくは、データベースは、データベースにおける画像のそれぞれに対して、特徴出力ＭＬＬ９５０により、データベースにおける前記画像から抽出されたそれぞれの特徴ベクトルを含む。好ましくは、データベースにおける各画像の特徴ベクトルの計算は、いずれのそのようなリクエストが受信される前に、単一の予備処理ステップにおいて行われる。しかしながら、サーチリクエストに応えて、データベースにおける画像に対する特徴ベクトルを動的に計算して抽出することも可能である。サーチは、例えば、サーチ画像９８６に描かれている組織パターンに類似する組織パターンを描く単一の全スライド画像内のタイルを特定するために、特定のデジタル画像から導き出されたタイルに限定されることができる。サーチ画像９８６は、例えば、ユーザにより選択されたレポートタイルギャラリに含まれるタイルとすることができる。

【0306】

コンピュータシステムは、ユーザ９８４が、サーチ画像９８６として使用される特定の画像または画像タイルを選択または提供することを可能にするユーザインターフェースを含む。トレーニングされた特徴抽出ＭＬＬ９５０は、入力画像から特徴ベクトル９８８（「サーチ特徴ベクトル」）を抽出するように適合される。サーチエンジン９９０は、特徴出力ＭＬＬ９５０からサーチ特徴ベクトル９８８を受信し、画像データベース内でベクトルベースの類似性サーチを実行する。類似性サーチは、類似性スコアを、２つの比較された特徴ベクトルの関数として計算するために、サーチ特徴ベクトルを、データベースにおける画像の特徴ベクトルのそれぞれと比較することを含む。類似性スコアは、サーチ特徴ベクトルの、データベースにおける画像の特徴ベクトルとの類似性の程度を示し、したがって、２つの比較された画像に描かれている組織パターンの類似性を示す。サーチエンジン９９０は、サーチ結果９９４を、ユーザに返して出力するよう適合される。サーチ結果は、例えば、最も高い類似性スコアが計算された、データベースの１つ以上の画像とすることができる。

【0307】

例えば、サーチ画像９８６が、乳がん組織を描くことが既知の画像タイルである場合、システム９８０は、類似する乳がん組織パターンを描く複数の他のタイル（または、そのようなタイルを含む全スライド画像）を特定することに使用されることができる。

【0308】

図１３は、各マトリクスが３つの列からなり、各列が６つのタイルペアを含む、２つのタイルマトリクスを示している。第１の（上の）マトリクスは、互いに近く、ラベル「類似」タイルペアが自動的に割り当てられたタイルからなる第１のセットのタイルペア（Ａ）を示す。第２の（下の）マトリクスは、互いに遠く、ラベル「非類似」タイルペアが自動的に割り当てられた第２のセットのタイルペア（Ｂ）を示す。いくつかの場合では、「類似」とラベル付けされたタイルが類似して見えず、「非類似」とラベル付けされたタイルが類似して見える。このノイズは、２つの異なる組織パターンが出会う境界にて、２つの近くのタイルが異なる組織パターンを描き得るという事実により、および、遠くの組織領域であっても、同じ組織パターンを描き得るという事実により、引き起こされる。これは、データセット生成プロセスにおいて予期される、固有のノイズである。

【0309】

出願人は、このノイズにも関わらず、自動的にラベル付けされたデータセットについてトレーニングされた特徴抽出ＭＬＬが、類似するタイルペアおよび類似しないタイルペアの明確な区別を可能にする特徴を正確に特定して抽出することができることを観察した。出願人は、このノイズに対する、トレーニング済みＭＬＬの観察されたロバスト性は、領域境界が、典型的には、領域非境界エリアよりも狭いエリアを有する、という事実に基づくということを想定する。

【0310】

実施形態によれば、自動的に生成されるトレーニングデータセットの品質は、第１のステップにおいて、以前にトレーニングされた類似性ネットワーク、または、ＩｍａｇｅＮｅｔの予めトレーニングされたネットワークを使用して、タイルペアの類似性を査定し、続いて、第２のステップにおいて、本発明の実施形態についてここに説明するような、タイルの空間的近接に基づいて類似性ラベルを生成し、続いて、一方が、第１のステップにおいて、もう一方が、第２のステップにおいて決定された２つのタイルの類似性の強い偏差が観察されたペアラベルを修正する、というものである。

【0311】

図１４は、近接に基づく類似性ラベルについてトレーニングされた特徴抽出ＭＬＬにより抽出された、類似性サーチ結果に基づく特徴ベクトルを示している。５つの腫瘍クエリタイルは、Ａ、Ｂ、Ｃ、Ｄ、およびＥと呼ばれる。クエリタイルは、クエリスライド（Ａ１からＡ５、Ｂ１からＢ５、Ｃ１からＣ５、Ｄ１からＤ５、Ｅ１からＥ５）以外の、低から高への距離によりランク付けされた５つのタイルをそれぞれ、近接に基づくラベルを用いて自動的にラベル付けされたデータについてトレーニングされた特徴抽出ＭＬＬにより抽出された特徴ベクトルを用いて特定して回収するための画像回収タスクにおいて使用された。対象クラス（例えば、腫瘍）は、サーチされたタイルの３％のみを含む。回収されたいくつかのタイルは、クエリタイル（例えば、Ｃ３およびＣ）とは大きく異なって見えるものの、Ａ４以外の、回収されたタイルの全ては、腫瘍細胞を含むこと（すなわち、正しいクラス回収）が、エキスパート病理学者により検証されている。

【0312】

図１５は、入力画像２１２を分類するためのアプローチＩを示している。画像２１２は、複数のタイル２１６に分割され、各タイルから、前述したようにそれぞれの特徴ベクトル２２０が抽出される。特徴ベクトルは、ＭＩＬプログラム２２６の機械学習モデル９９９に順次入力される。モデルは、モデルに入力された特徴ベクトル毎に予測値ｈ ９９８および確実性値２２１を計算して出力するように構成される。

【0313】

そして、予測値９９８と確実性値２２１の双方の関数として集約予測値９９７を計算するために、プーリング関数９９７が使用される。例えば、プーリング関数は、加重予測値２２８、すなわち、予測値が計算されたタイルについてＭＩＬモデル９９９によって計算された確実性値によって加重された予測値を集約することができる。あるいは、特定の予測値、例えば、画像の全てのタイルの中で確実性値が最も高いタイルの予測値を識別するために、プーリング関数によって確実性値を評価することができる。そして、集約予測値は、典型的には０から１の範囲内の値に正規化された数値であり、画像２１２の分類に用いられる。例えば、集約予測値８８７が０，７５未満である場合、ＭＩＬプログラムは、画像を「陰性クラス」のメンバであると分類し、そうでなければ「陽性クラス」のメンバであると分類することができる。

【0314】

図１６は、画像２１２を分類するための代替的なアプローチＩＩを示している。このアプローチでは、プーリング関数９９６は、予測値ではなく、画像のタイル２１６から抽出された特徴ベクトルに適用される。このプーリング関数は、タイルについて計算された確実性値２２１を考慮に入れる。プーリング関数は、「グローバル特徴ベクトル」９９５とも呼ばれる集約特徴ベクトルを計算する。このグローバル特徴ベクトルは、画像２１２のタイルの複数の特徴および複数の確実性値から集約された情報を伝達する。グローバル特徴ベクトル９９５を計算した後、ベクトルは、画像のタイルの「通常の」特徴ベクトルｆｖ１、ｆｖ２，．．．，ｆｖ２と同じ方法でＭＩＬプログラムの機械学習モデル９９９に入力される。ＭＩＬプログラムは、それぞれのタイル固有の特徴値から予測値９９８のいずれかを計算したのと同じ方法でグローバル特徴ベクトルから集約予測値９９７を計算するが、グローバルベクトルは、全てのタイルから導き出された情報を含むため、グローバル値から計算された予測値は集約予測値である。最後に、集約予測値は、画像２１２を分類するために使用される。

【符号の説明】

【0315】

１００ 方法
１０２－１１６ ステップ
２００ 画像分析システム
２０２ プロセッサ
２０４ ディスプレイ
２０６ 画像タイルギャラリ
２０７ 分類された画像
２０８ 全体スライドヒートマップ
２１０ 記憶媒体
２１２ デジタル画像
２１４ 分割モジュール
２１６ ラベル付けされたタイルのバッグ
２１８ 特徴抽出モジュール
２２０ 特徴ベクトル
２２１ 確実性値
２２２ アテンション機械学習ロジックプログラム
２２４ 特徴ベクトルの加重
２２６ マルチインスタンス学習プログラム
２２８ タイルの数的関連性スコア
２２９ 分類結果
２３０ ＧＵＩ生成モジュール
２３２ ＧＵＩ
３００ 表１
４００ 表２
５０２ 標準ニューラルネット
５０４ ドロップアウト後のニューラルネット
６００ 特徴抽出ＭＬＬのネットワークアーキテクチャ
６０２ 入力として使用された画像タイル
６０３ 入力レイヤ
６０４ 複数のレイヤ
６０６ ボトルネックレイヤ
７００ レポートタイルギャラリを含むＧＵＩ
７０２ 第１の組織パターンの類似タイルの第１のサブセット
７０４ 第２の組織パターンを表す類似タイルの第２のサブセット
７０６ 第３の組織パターンを表す類似タイルの第３のサブセット
７０８ 第４の組織パターンを表す類似タイルの第４のサブセット
７１０ 選択可能なＧＵＩ要素のセット
７１２ 全スライド画像
７１４ 全スライド画像
７１６ 全スライド画像
７１８ 全スライド画像
７２２ 関連性ヒートマップ
７２４ 関連性ヒートマップ
７２６ 関連性ヒートマップ
７２８ 関連性ヒートマップ
８００ 類似性サーチタイルギャラリを含むＧＵＩ
８０２ 第１の組織パターンの類似タイルの第１のサブセット
８０４ 第２の組織パターンを表す類似タイルの第２のサブセット
８０６ 第３の組織パターンを表す類似タイルの第３のサブセット
８０８ 第４の組織パターンを表す類似タイルの第４のサブセット
８１２ 全スライド画像
８１４ 全スライド画像
８１６ 全スライド画像
８１８ 全スライド画像
８２２ 類似性ヒートマップ
８２４ 類似性ヒートマップ
８２６ 類似性ヒートマップ
８２８ 類似性ヒートマップ
８３０ クエリタイル
９００ 複数のタイルにスライスされたデジタル組織画像
９０２ タイルＴ１
９０４ タイルＴ２
９０６ タイルＴ３
９０８ 第１の空間的近接閾値（２Ｄ）
９１０ 第２の空間的近接閾値（２Ｄ）
９１２ 「類似」とラベル付けされたタイルのペア
９１３ 「類似」とラベル付けされたタイルのペア
９１４ 「非類似」とラベル付けされたタイルのペア
９１５ 「非類似」とラベル付けされたタイルのペア
９１６ トレーニングデータ
９３２ 画像９００に整列されたデジタル組織画像
９３４ 画像９３２に整列されたデジタル組織画像
９３６ 第１の空間的近接閾値（３Ｄ）
９３８ 第２の空間的近接閾値（３Ｄ）
９４０ タイルＴ４
９４２ タイルＴ５
１０００ シャムネットワーク
１００２ サブネットワーク
１００３ サブネットワーク
１００４ 第１の入力タイル
１００５ 第１のネットワークＮ１の入力レイヤ
１００６ 隠れレイヤ
１００７ 近接ベースの（「測定された」）類似性ラベル
１００８ 第１の入力タイルの特徴ベクトルを計算するための隠れレイヤ
１０１０ 第１の入力タイル９０４から抽出された特徴ベクトル
１０１４ 第２の入力タイル
１０１５ 第２のネットワークＮ２の入力レイヤ
１０１６ 隠れレイヤ
１０１８ 第２の入力タイルの特徴ベクトルを計算するための隠れレイヤ
１０２０ 第２の入力タイル９１４から抽出された特徴ベクトル
１０２２ 入力タイルのペア
１０２４ ネットワークＮ１、Ｎ２を接合する出力レイヤ
１０２６ 予測された類似性ラベル
１０２８ トレーニングデータセットの個別データレコード
９５０ 特徴抽出ＭＬＬ
９５２ 個別の入力画像／タイル
９５４ 特徴ベクトル
９８０ コンピュータシステム
９８２ プロセッサ
９８４ ユーザ
９８６ 個別の入力画像／タイル
９８８ サーチ特徴ベクトル
９９０ 特徴ベクトルベースのサーチエンジン
９９２ 複数の画像またはタイルを含むデータベース
９９４ 返された類似性サーチ結果
９９５ グローバル特徴ベクトル
９９６ 確実性値ベースのプーリング関数
９９７ 集約予測値
９９８ 予測値
９９９ 予測モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】