特表 2024-540041 分類の方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】分類の方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241024BHJP

   G06V 10/764 20220101ALI20241024BHJP

   G06V 20/69 20220101ALI20241024BHJP

   G06N 20/00 20190101ALI20241024BHJP

   G06N 3/08 20230101ALI20241024BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 630

G06V10/764

G06V20/69

G06N20/00

G06N3/08

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024525144

(86)(22)【出願日】2022-10-19

(85)【翻訳文提出日】2024-06-12

(86)【国際出願番号】 GB2022052663

(87)【国際公開番号】W WO2023073346

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】21205556.0

(32)【優先日】2021-10-29

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】523109150

【氏名又は名称】パナケイア・テクノロジーズ・リミテッド

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】ラハルジャ、ムハンマド・パンドゥ

(72)【発明者】

【氏名】リー、シュースー

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA06

5L096BA13

5L096CA02

5L096DA02

5L096EA18

5L096GA30

5L096GA51

5L096HA11

(57)【要約】

第１のクラスに対応する第１の入力データを備える第１のデータセットを取得することと、
第１のクラスに対応する第２の入力データを備える第２のデータセットを取得することと、
第１のデータセットを使用して少なくとも１つの分類器をトレーニングすることと、
第２のデータセットからの第２の入力データを少なくとも１つの分類器に入力すること、および第１の分類と第２の分類とを備える分類モデルを提供することと、ここにおいて、第１の分類が、第２の分類よりも、第１のクラス中にあることになる第１のクラスに対応する第２の入力データのより大きい比率を予測する、を備える、コンピュータ実装方法。

【特許請求の範囲】

【請求項1】

第１のクラスに対応する第１の入力データを備える第１のデータセットを取得することと、
前記第１のクラスに対応する第２の入力データを備える第２のデータセットを取得することと、
前記第１のデータセットを使用して少なくとも１つの分類器をトレーニングすることと、
前記第２のデータセットからの前記第２の入力データを前記少なくとも１つの分類器に入力すること、および第１の分類と第２の分類とを備える分類モデルを提供することと、ここにおいて、前記第１の分類が、前記第２の分類よりも、前記第１のクラス中にあることになる前記第１のクラスに対応する前記第２の入力データのより大きい比率を予測する、
を備える、コンピュータ実装方法。

【請求項2】

前記第１の分類が、第１の分類器を適用することと、第１の予測しきい値を使用することとを備え、前記第２の分類が、前記第１の分類器を適用することと、第２の予測しきい値を使用することとを備え、前記第１の予測しきい値を決定することが、前記第１のクラスに対応する前記第２のデータセットからの入力について前記第１の分類器の最も高い出力値を決定することと、前記第１の予測しきい値を、前記最も高い出力値よりも小さくまたはそれに等しく設定することとを備え、前記第２の予測しきい値を決定することが、第２のクラスに対応する前記第２のデータセットからの入力について最も低い出力値を決定することと、前記第２の予測しきい値を、前記最も低い出力値よりも大きくまたはそれに等しく設定することとを備える、請求項１に記載の方法。

【請求項3】

前記少なくとも１つの分類器が少なくとも２つの分類器を備え、前記分類モデルを提供することは、前記少なくとも２つの分類器のうちの第１の分類器を決定することと、ここにおいて、前記第１の分類器が、前記少なくとも２つの分類器の、前記第１のクラス中にあることになる前記第１のクラスに対応する前記第２の入力データの最も大きい比率を予測する、前記少なくとも２つの分類器のうちの第２の分類器を決定することと、ここにおいて、前記第２の分類器が、前記少なくとも２つの分類器の、第２のクラス中にあることになる前記第２のクラスに対応する前記第２の入力データの最も大きい比率を予測する、を備える、請求項１に記載の方法。

【請求項4】

前記分類モデルを提供することが、第１の予測しきい値と第２の予測しきい値とを決定することを備え、前記第１の予測しきい値と前記第２の予測しきい値とを決定することが、前記第１の予測しきい値についての値と前記第２の予測しきい値についての値との複数の可能な組合せを取得することと、前記可能な組合せの各々を使用して分類モデルの精度を決定することと、所定の精度値よりも高い精度を有する組合せを選択することとを備える、請求項２または３に記載の方法。

【請求項5】

第１のクラスに対応する第１の入力データを備える第１のデータセットを取得することと、
前記第１のクラスに対応する第２の入力データを備える第２のデータセットを取得することと、
前記第１のデータセットを使用して分類器をトレーニングすることと、
前記第２のデータセットからの前記第２の入力データを少なくとも１つの分類器に入力すること、および第１の分類を備える分類モデルを提供することと、ここにおいて、前記第１の分類を備える前記分類モデルを提供することが、前記第１のクラスに対応する予測しきい値を決定することを備える、
を備える、コンピュータ実装方法。

【請求項6】

前記第１のデータセットが、第１の集団に対応する第１の入力データを備え、前記第２のデータセットが、第２の集団に対応する第２の入力データを備える、請求項１から５のいずれかに記載の方法。

【請求項7】

入力データを取得することと、
前記入力データを分類モデルに入力することと、前記分類モデルが第１の分類と第２の分類とを適用し、ここにおいて、前記第１の分類が、前記第２の分類よりも、第１のクラスに対応する入力データのより大きい比率を正しく予測するように構成される、
前記第１の分類および前記第２の分類の出力に基づいて前記入力データについての分類予測を決定することと
を備える、コンピュータ実装方法。

【請求項8】

前記第１の分類が、第１の分類器を適用することと、第１の予測しきい値を使用することとを備え、前記第２の分類が、前記第１の分類器を適用することと、第２の予測しきい値を使用することとを備え、ここにおいて、前記第１の予測しきい値が前記第２の予測しきい値よりも高い、請求項１または７に記載の方法。

【請求項9】

前記第１の分類が第１の分類器を適用することを備え、前記第２の分類が第２の分類器を適用することを備える、請求項７に記載の方法。

【請求項10】

前記第１の分類が第１の予測しきい値を使用し、前記第２の分類が第２の予測しきい値を使用し、ここにおいて、前記第１の予測しきい値が前記第２の予測しきい値よりも高い、請求項９に記載の方法。

【請求項11】

前記入力データが組織の画像を備え、ここにおいて、前記分類を決定することが、医療診断に関係する情報を決定することを備える、請求項７から９のいずれかに記載の方法。

【請求項12】

入力データを取得することと、
前記入力データを分類モデルに入力することと、前記分類モデルが第１の分類を適用し、ここにおいて、前記第１の分類が、第１の分類器を適用することと、第１のクラスに対応する予測しきい値を使用することとを備える、
前記第１の分類の出力に基づいて前記第１のクラスについての分類予測を決定することと
を備える、分類のコンピュータ実装方法。

【請求項13】

請求項７から１２のいずれかに記載の方法を実施するように構成された、１つまたは複数のプロセッサ
を備える、分類システム。

【請求項14】

請求項１から７のいずれかに記載の方法に従ってトレーニングされる分類モデルを備える分類システム。

【請求項15】

コンピュータに請求項１から１２のいずれかに記載の方法を実施させるように構成されたコンピュータ可読コードを備えるキャリア媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、分類の方法、分類のためのシステム、およびトレーニングの方法に関する。

【背景技術】

【0002】

分類器モデルは、広範囲の分野における適用例を有する。たとえば、分類器モデルは、様々な医療適用例において使用され得る。分類器モデルは、たとえば生理的測定値を入力としてとることによって、医療診断を提供するために使用され得る。別の例では、分類器モデルは、たとえば、入力組織画像が癌性細胞を含んでいるかどうかを予測するために、または特定のバイオマーカーが組織画像に関連付けられるかどうかを予測するために、医療画像データを分析するために使用され得る。

【0003】

そのような分類器モデルは、トレーニングデータセットを使用してトレーニングされ得る。たとえば、トレーニングデータセットは、ラベリングされた分類予測とともに、多数の例示的な入力を備え得る。トレーニングデータセットに関してモデル化された分類器モデルを使用する分類方法は、しかしながら、新しい入力データ上に展開されたとき、あるレベルの不正確さを有することになる。分類方法の精度は、その方法によって行われた総予測の数の比率としての正しい予測の数によって測定され得る。これは、たとえばテストデータセットに関して査定され得、ここで、正しい予測は、データセット中の各入力について知られる。

【0004】

いくつかの使用事例、たとえば医療使用事例では、高い精度が必要とされる。分類方法の精度は、分類器モデル性能を改善することによって改善され得る。そのような改善は、たとえば新しいトレーニングデータセットに関する分類器モデルのさらなるトレーニングによって達成され得る。しかしながら、いくつかの場合には、たとえばさらなるトレーニングデータが容易に取得され得ない場合、分類器モデル性能に対するさらなる改善は可能でない。

【発明の概要】

【0005】

次に、非限定的な実施形態によるシステムおよび方法が、添付の図を参照しながら説明される。

【図面の簡単な説明】

【0006】

【図1】一実施形態による、分類の方法の概略図。

【図2(a)】データセットについての分類器モデル出力の概略図。

【図2(b)】第１の例による方法の概略図。

【図3】第１の例による方法の概略図。

【図4】畳み込みニューラルネットワークの一例を示す図。

【図5】第１の例による、トレーニングパイプラインと、トレーニングされた分類システムの展開とを示す概略図。

【図6】第１の予測しきい値（predictive threshold）を示す概略図。

【図7】第２の予測しきい値を示す概略図。

【図8(a)】第１の例による、分類のためのシステムをトレーニングする方法の概略図。

【図8(b)】第１の例による、分類のためのシステムをトレーニングする方法の概略図。

【図9】完全な感度から完全な特異度への遷移の概略図。

【図10(a)】第１の例の修正による、分類のためのシステムをトレーニングする方法の概略図。

【図10(b)】例示的な最適化プロセスを示す図。

【図10(c)】しきい値組合せについて計算された精度値を示す図。

【図11(a)】第２の例による、分類の方法を示す図。

【図11(b)】入力データを含む方法の概略図。

【図12(a)】第２の例による、分類システムをトレーニングする方法の概略図。

【図12(b)】第２の例による、トレーニングパイプラインと、トレーニングされた分類システムの展開とを示す概略図。

【図12(c)】第２の例の修正による、分類器をトレーニングする方法の概略図。

【図13】第３の例による、分類の方法の概略図。

【図14】分類の例示的な方法の概略図。

【図15】例示的な分類システムの概略図。

【図16】第４の例による、分類の方法を示す図。

【発明を実施するための形態】

【0007】

第１の態様によれば、
第１のクラスに対応する第１の入力データを備える第１のデータセットを取得することと、
第１のクラスに対応する第２の入力データを備える第２のデータセットを取得することと、
第１のデータセットを使用して少なくとも１つの分類器をトレーニングすることと、
第２のデータセットからの第２の入力データを少なくとも１つの分類器に入力すること、および第１の分類と第２の分類とを備える分類モデルを提供することと、ここにおいて、第１の分類が、第２の分類よりも、第１のクラス中にあることになる第１のクラスに対応する第２の入力データのより大きい比率を予測する、
を備える、コンピュータ実装方法が提供される。

【0008】

一例では、第２の分類は、第１の分類よりも、第２のクラス中にあることになる第２のクラスに対応する第２の入力データのより大きい比率を予測する。

【0009】

一例では、第１のクラスは陰性クラスであり、第２のクラスは陽性クラスである。

【0010】

一例では、第１の分類は、第１の分類器を適用することと、第１の予測しきい値を使用することとを備え、第２の分類は、第１の分類器を適用することと、第２の予測しきい値を使用することとを備える。第１の予測しきい値は第２の予測しきい値よりも高い。

【0011】

一例では、第１の分類器はバイナリ分類器である。第１の予測しきい値を決定することは、第１のクラスに対応する第２のデータセットからの入力についてバイナリ分類器の最も高い出力値を決定することと、第１の予測しきい値を、最も高い出力値よりも小さくまたはそれに等しく設定することとを備え得、第２の予測しきい値を決定することは、第２のクラスに対応する第２のデータセットからの入力について最も低い出力値を決定することと、第２の予測しきい値を、最も低い出力値よりも大きくまたはそれに等しく設定することとを備える。

【0012】

一例では、少なくとも１つの分類器は少なくとも２つの分類器を備え、分類モデルを提供することは、少なくとも２つの分類器のうちの第１の分類器を決定することと、ここにおいて、第１の分類器が、少なくとも２つの分類器の、第１のクラス中にあることになる第１のクラスに対応する第２の入力データの最も大きい比率を予測する、少なくとも２つの分類器のうちの第２の分類器を決定することと、ここにおいて、第２の分類器が、少なくとも２つの分類器の、第２のクラス中にあることになる第２のクラスに対応する第２の入力データの最も大きい比率を予測する、を備える。

【0013】

一例では、分類モデルを提供することは、第１の予測しきい値と第２の予測しきい値とを決定することを備え、第１の予測しきい値と第２の予測しきい値とを決定することは、第１の予測しきい値についての値と第２の予測しきい値についての値との複数の可能な組合せを取得することと、可能な組合せの各々を使用して分類モデルの精度を決定することと、所定の精度値よりも高い精度を有する組合せを選択することとを備える。

【0014】

一例では、第１のデータセットは、第１の入力データのための分類ラベルを備え、第２のデータセットは、第２の入力データのための分類ラベルを備える。

【0015】

一例では、第１の分類器と第２の分類器とは、異なるモデルアーキテクチャに対応し、ならびに／あるいは異なる入力データに基づいておよび／または異なるハイパーパラメータを使用して更新されたパラメータに対応する。

【0016】

一例では、第１のデータセットは、第１の集団に対応する第１の入力データを備え、第２のデータセットは、第２の集団に対応する第２の入力データを備える。

【0017】

別の態様によれば、
第１のクラスに対応する第１の入力データを備える第１のデータセットを取得することと、
第１のクラスに対応する第２の入力データを備える第２のデータセットを取得することと、
第１のデータセットを使用して分類器をトレーニングすることと、
第２のデータセットからの第２の入力データを分類器に入力すること、および第１の分類を備える分類モデルを提供することと、ここにおいて、第１の分類を備える分類モデルを提供することが、第１のクラスに対応する予測しきい値を決定することを備える、
を備える、コンピュータ実装方法が提供される。

【0018】

一例では、予測しきい値を決定することは、第１のクラスに対応する第２のデータセットからの入力について分類器の最も高い出力値を決定することと、予測しきい値を、最も高い出力値よりも小さくまたはそれに等しく設定することとを備える。

【0019】

一例では、予測しきい値を決定することは、第１のクラスに対応する第２のデータセットからの入力について最も低い出力値を決定することと、予測しきい値を、最も低い出力値よりも大きくまたはそれに等しく設定することとを備える。

【0020】

一例では、予測しきい値を決定することは、予測しきい値についての複数の可能な値を取得することと、可能な値の各々を使用して分類モデルについてのスコアを決定することと、所定のスコアよりも高いスコアを有する値を選択することとを備える。スコアは、第１のクラス中にあるものとして分類される、第１のクラスに対応しないデータの比率の測度であり得る。複数の可能な値は、第１のクラスに対応する第２のデータセットからの入力についての分類器の最も高い出力値と第１のクラスに対応する第２のデータセットからの入力についての分類器の最も低い出力値との間の値のセットを備え得る。

【0021】

別の態様によれば、
入力データを取得することと、
入力データを分類モデルに入力することと、分類モデルが第１の分類と第２の分類とを適用し、ここにおいて、第１の分類が、第２の分類よりも、第１のクラスに対応する入力データのより大きい比率を正しく予測するように構成される、
第１の分類および第２の分類の出力に基づいて入力データについての分類予測を決定することと
を備える、コンピュータ実装方法が提供される。

【0022】

別の態様によれば、
入力データを取得することと、
入力データを分類モデルに入力することと、分類モデルが第１の分類と第２の分類とを適用し、ここにおいて、第１の分類が第１の予測しきい値を使用し、第２の分類が第２の予測しきい値を使用し、ここにおいて、第１の予測しきい値が第２の予測しきい値よりも高い、
第１の分類および第２の分類の出力に基づいて入力データについての分類予測を決定することと
を備える、コンピュータ実装方法が提供される。

【0023】

一例では、第１の分類は、第１の分類器を適用することと、第１の予測しきい値を使用することとを備え、第２の分類は、第１の分類器を適用することと、第２の予測しきい値を使用することとを備え、ここにおいて、第１の予測しきい値は第２の予測しきい値よりも高い。

【0024】

一例では、第１の分類は第１の分類器を適用することを備え、第２の分類は第２の分類器を適用することを備える。

【0025】

一例では、入力データは組織の画像を備え、ここにおいて、分類を決定することは、医療診断に関係する情報を決定することを備える。

【0026】

一例では、第１の分類および第２の分類の出力に基づいて入力データについての分類予測を決定することは、
第１の分類の出力と第２の分類の出力とが同じである場合、第１の分類または第２の分類の出力である分類予測を出力することと、
分類予測がないと決定することと
を備える。

【0027】

別の態様によれば、
入力データを取得することと、
入力データを分類モデルに入力することと、分類モデルが第１の分類を適用し、ここにおいて、第１の分類が、第１の分類器を適用することと、第１のクラスに対応する予測しきい値を使用することとを備える、
第１の分類の出力に基づいて第１のクラスについての分類予測を決定することと
を備える、分類のコンピュータ実装方法が提供される。

【0028】

一例では、分類予測を決定することは、
第１の分類の出力が第１のクラスである場合、第１のクラスである分類予測を出力することと、
第１の分類の出力が第１のクラスでない場合、分類予測がないと決定することと
を備える。

【0029】

別の態様によれば、上記の方法を実施するように構成された、１つまたは複数のプロセッサを備える分類システムが提供される。

【0030】

別の態様によれば、上記の方法に従ってトレーニングされる分類モデルを備える分類システムが提供される。

【0031】

別の態様によれば、コンピュータに上記の方法を実施させるように構成されたコンピュータ可読コードを備えるキャリア媒体が提供される。それらの方法は、コンピュータ実装方法である。実施形態によるいくつかの方法がソフトウェアによって実装され得るので、いくつかの実施形態は、任意の好適なキャリア媒体上の汎用コンピュータに提供されたコンピュータコードを包含する。キャリア媒体は、フロッピー（登録商標）ディスク、ＣＤ ＲＯＭ、磁気デバイスまたはプログラマブルメモリデバイスなどの任意の記憶媒体、あるいは、任意の信号、たとえば、電気信号、光信号またはマイクロ波信号などの任意の一時媒体を備えることができる。キャリア媒体は、非一時的コンピュータ可読記憶媒体を備え得る。

【0032】

分類器モデルは、広範囲の分野における適用例を有する。たとえば、分類器モデルは、様々な医療適用例において使用され得る。分類器モデルは、たとえば生理的測定値を入力としてとることによって、医療診断を提供するために使用され得る。別の例では、分類器モデルは、たとえば、入力組織画像が癌性細胞を含んでいるかどうかを予測するために、または特定のバイオマーカーが組織画像に関連付けられるかどうかを予測するために、医療画像データを分析するために使用され得る。

【0033】

そのような分類器モデルは、トレーニングデータセットを使用してトレーニングされ得る。たとえば、トレーニングデータセットは、ラベリングされた分類出力とともに、多数の例示的な入力を備え得る。トレーニングデータセットに関してモデル化された分類器モデルを使用する分類方法は、しかしながら、新しい入力データ上に展開されたとき、あるレベルの不正確さを有することになる。

【0034】

たとえば、バイナリ分類器モデルは、各データポイントについて０から１の間のスコアを出力し、このスコアは、予測しきい値に基づいて分類（陽性または陰性）に変換される。スコアがしきい値を上回る場合、出力予測は陽性である。スコアがしきい値を下回る場合、出力予測は陰性である。しきい値は、たとえば、０．５であり得る。バイナリ分類器モデルは、たとえば、全スライド画像が癌性細胞を含んでいるかどうかを予測するために使用され得る。入力全スライド画像は、分類器モデルによって与えられるスコアが０．５よりも大きいかまたはそれに等しい場合のみ、癌性細胞を含んでいると予測される。

【0035】

分類器モデル出力は、分類方法の出力（陽性または陰性）を生成するために予測しきい値と比較される。分類方法の精度は、総分類の数の比率としての正しい分類の数によって測定され得る。これは、たとえばテストデータセットに関して査定され得、ここで、正しい分類（陽性または陰性）は、データセット中の各入力について知られる。

【0036】

いくつかの使用事例、たとえば医療使用事例では、高い精度が必要とされる。分類の精度は、分類器モデル性能を改善することによって改善され得、ここで、分類器モデル性能は、（以下でより詳細に説明される）ＡＵＣによって測定され得る。そのような改善は、たとえば新しいトレーニングデータセットに関する分類器モデルのさらなるトレーニングによって達成され得る。しかしながら、いくつかの場合には、分類器モデル性能に対するさらなる改善は可能でなく、たとえば、さらなるトレーニングデータが容易に取得され得ない。

【0037】

図１は、一実施形態による、分類の方法の概略図を示す。

【0038】

Ｓ１０１において、入力データが取得される。入力データは、たとえば、生理的測定値または入力医療画像であり得る。

【0039】

Ｓ１０２において、第１の分類と第２の分類とが適用される。第１の分類と第２の分類とは、各々、陽性クラスまたは陰性クラスへの分類を出力する。陽性クラスは第２のクラスとも呼ばれ、陰性クラスは第１のクラスとも呼ばれる。陽性クラスは、第１の分類および第２の分類について同じである。たとえば、陽性クラスは、医療診断、たとえば病気の診断であり得る。代替的に、陽性クラスは、たとえば組織の入力画像についての、癌性細胞の検出、または特定のバイオマーカーの指示であり得る。第１の分類は、第２の分類よりも多くの陰性事例を正しく予測するように構成される。第２の分類は、第１の分類よりも多くの陽性事例を正しく予測するように構成される。第２の分類は、第１の分類よりも高い真陽性率を有するように構成され、ここで、真陽性率は、方法が正しく陽性として予測する陽性事例の比率である。

【0040】

次いで、Ｓ１０３において、分類予測が、第１の分類および第２の分類の出力に基づいて決定される。特に、第１の分類の出力と第２の分類の出力とが同じである場合、分類予測は、第１の分類（または第２の分類）の出力として出力される。第１の分類の出力と第２の分類の出力とが異なる場合、分類予測は出力されない。次いで、何らかのさらなるステップ、たとえば手動分類が実施され得る。分類予測の精度は、予測がより不確実である事例が除外されるので、改善される。

【0041】

次に、分類の例示的な方法が説明される。
第１の例
分類方法の性能の様々なインジケータがある。分類方法の感度は、真陽性率（ＴＰＲ）であり、方法が正しく陽性として予測する陽性事例の比率である。分類方法の特異度は、真陰性率（ＴＮＲ）であり、モデルが正しく陰性として予測する陰性事例の比率である。方法の特異度はまた、１－ＦＰＲに等しく、ここで、ＦＰＲは偽陽性率である。ＦＰＲは、方法が間違って陽性として予測する陰性事例の比率である。偽陰性率（ＦＮＲ）は、モデルが間違って陰性として予測する陽性事例の比率であり、１－ＴＰＲに等しい。

【0042】

上記で説明されたように、バイナリ分類器モデルは、各データポイントについて０から１の間のスコアを出力し、このスコアは、予測しきい値に基づいて分類（陽性または陰性）に変換される。スコアがしきい値を上回る場合、出力分類は陽性である。予測スコアがしきい値を下回る場合、出力分類は陰性である。多くの分類器モデル、たとえば、深層ニューラルネットワーク、サポートベクターマシン、ランダムフォレストなどでは、分類方法の感度および特異度は、単に予測しきい値をシフトすることによって、分類器モデルをトレーニングした後に調整され得る。図２（ａ）は、データセットについての分類器モデル出力の概略図である。陽性クラスについての分類器モデル出力（０から１までの確率値）は、０．０５の個別区間において、ｘ軸に沿ったものである。データセットについての各分類器モデル出力の頻度は、ｙ軸に対応する。真値が陽性（１）である事例に対応する出力は、より暗い陰影で示されているが、真値が陰性（０）である事例についての出力は、より明るい陰影で示されている。

【0043】

より高い予測しきい値が、より高い特異度をもつ分類方法を生じ、それは、より多くの陰性事例を正しく予測することができるが、より多くの陽性事例を正しく予測することができない。図２（ａ）中の線「特異度しきい値」は、データセット中のすべての真陰性事例が正しく予測されるしきい値を示す。

【0044】

より低い予測しきい値と組み合わせられた、同じ分類器モデルが、より高い感度をもつ分類方法を生じ、それは、より多くの陽性事例を正しく予測することができるが、より多くの陰性事例を正しく予測することができない。図２（ａ）中の線「感度しきい値」は、データセット中のすべての陽性事例が正しく予測されるしきい値を示す。「特異度」しきい値は「感度」しきい値よりも高い。

【0045】

分類器モデルとより高いしきい値とを使用する分類方法は、分類器モデルとより低いしきい値とを使用する分類方法よりも多くの陰性事例を正しく予測するように構成される。さらに、分類器モデルの感度しきい値に基づく分類方法は、分類器モデルの特異度しきい値に基づく分類方法よりも多くの陽性事例を正しく予測するように構成される。

【0046】

図２（ｂ）は、第１の例による方法を示す。組織の画像に対応する入力画像データに関して分類が実施される。入力画像データ４１を含むプロセスの概略図が、図３に示されている。しかしながら、他の例では、たとえば、（非組織医療画像などの）他のタイプの画像、（年齢、性別、健康状態などの）患者データ、液体生検データ（たとえばＤＮＡ配列データ）、または血液テストデータ（たとえば血球の数）のうちの１つまたは複数を含む、他のタイプの入力データが使用され得ることを理解されよう。

【0047】

この例では、入力画像は、それが特定のバイオマーカー、ＥＲバイオマーカーに対応するかどうかに関して分類される。入力画像は、それがＥＲバイオマーカーに対応する場合、陽性クラスに分類される。しかしながら、他の例では、たとえば、画像が異なるバイオマーカーに、またはたとえば癌性細胞に対応するかどうかを分類するために、他のタイプの分類が実施され得ることを理解されよう。

【0048】

第１の例による方法は、第１の分類と第２の分類とを使用する。第１の分類と第２の分類とは同じ分類器を使用する。しかしながら、予測しきい値は、第２の分類についてよりも第１の分類について高い。したがって、第１の分類は、第２の分類よりも多くの陰性事例を正しく予測するように構成される。第２の分類は、第１の分類よりも多くの陽性事例を正しく予測するように構成され、言い換えれば、第２の分類は、第１の分類よりも高い真陽性率を有するように構成される。

【0049】

Ｓ２０１において、入力データが取得される。この例では、入力データは、複数のピクセルを備える入力画像データ４１である。入力画像データ４１は、この例では、図３に示されているように、組織の全スライド画像からの画像タイルである。以下の説明では、ピクセルデータは、（高さ×幅×３の寸法の）赤緑青であるが、ピクセルデータは、代替的に、たとえば（高さ×幅×１の寸法の）グレースケールであり得る。入力画像データは、第１の数のピクセルを備え、ここで、第１の数は、高さ×幅に等しい。画像データは、（組織学的切片とも呼ばれる）組織の画像をキャプチャする、顕微鏡に取り付けられたデジタルカメラを使用して収集され得る。

【0050】

本明細書で説明される特定の例では、入力画像データ４１は、ヘマトキシリンおよびエオシン染色を用いて染色された組織学的切片の画像のタイルを備える。ヘマトキシリンおよびエオシン染色を用いて染色された組織学的切片の全スライド画像（ＷＳＩ）の一例が図３（ＷＳＩ）に示されている。グリッドがＷＳＩ上に重ねられ、ここで、各グリッド正方形がタイルに対応する。全スライド画像スキャナが、組織スライス全体を走査し、たとえば、約６００００ピクセルの高さ×６００００ピクセルの幅を備えるヘマトキシリンおよびエオシン染色を用いて染色された組織学的切片の画像を生じる。全スライド画像は、次いで、連続部分、またはタイルにスプリットされる。画像部分（タイル）は、固定の高さおよび幅を有する。それらの部分は、画像内で連続するか、または重複し得る。たとえば、画像タイルサイズは、５１２×５１２ピクセルであり得る。全スライド画像はタイルにスプリットされ、各タイルは、Ｓ２０１において、入力として別々にとられる。他のタイルサイズももちろん使用され得る。たとえば、２のべき乗に対応するタイルサイズ、たとえば、１２８×１２８、２５６×２５６、５１２×５１２、または１０２４×１０２４ピクセルが使用され得る。各ＷＳＩ画像は異なるサイズのものであり得、したがって、入力ＷＳＩのサイズに応じて、異なる数の部分が入力ＷＳＩから抽出され得る。元の画像データは、入力、すなわち元のピクセル値としてとられ得る。代替的に、たとえば色正規化（normalisation）のために、何らかの前処理が元のピクセル値に対して実施され得る。細胞セグメンテーションステップが最初に実施され得、非癌組織のみを含んでいるタイルが破棄される。事前トレーニングされたモデルが、細胞セグメンテーションのために使用され得る。

【0051】

Ｓ２０２において、入力画像データ４１（画像タイル）は、分類モデルへの入力としてとられる。分類モデルは第１の分類器を備える。この例では、第１の分類器は、第１の畳み込みニューラルネットワーク（ＣＮＮ）４０である。例示的な第１の畳み込みニューラルネットワーク４０が図４に示されている。

【0052】

第１の畳み込みニューラルネットワーク４０は、少なくとも１つの畳み込み層を備える第１の部分４６と、１次元ベクトルを入力としてとる第２の部分４７、分類部分とを備える。第２の部分４７は、少なくとも１つの全結合層を備える。第１のＣＮＮ４０は、深度および視野の様々な層において画像に適用される畳み込みフィルタを備える第１の部分４６と、その後に続く、全結合密層および／またはデータ低減のためのプーリング層を備える第２の部分４７とを備える。フィルタ重みは、トレーニング段階中に学習されるトレーニング可能なパラメータである。より低いレベルのフィルタが、エッジおよびブロブなどの粗い構造を検出し、より深いレベルが、形状およびテクスチャのようなより複雑なプロパティをキャプチャし、最後に、最上層が、バイオマーカーの識別情報に関する関心オブジェクトに対して一般化するために学習する。

【0053】

第１のＣＮＮ４０は、バイナリ分類器である。第１のＣＮＮ４０は、入力画像タイルが特定の分子バイオマーカーに関連付けられるか否かを決定するために使用される。タイルは、第１のＣＮＮ４０に提出される。ピクセルごとのデータが第１のＣＮＮ４０に直接入力される。各タイルについて、ＣＮＮは、タイルが陽性クラスに割り当てられる、すなわち、タイルがバイオマーカーに関連付けられる、確率を出力する。

【0054】

図４に示されている第１のＣＮＮ４０は、残差ネットワークアーキテクチャに基づく。残差ニューラルネットワークが、１つまたは複数のスキップ接続（skip connection）を備える。図は、簡単のために、少数の層を示すが、第１のＣＮＮ４０は、たとえば、１００個超の層を備え得る。

【0055】

ＣＮＮ中の第１の層は、図では「畳み込み層１」とラベリングされた畳み込み層である。第１の層中の各フィルタは、入力データの深度に一致する深度を有する。たとえば、入力データがＲＧＢである場合、第１の層中のフィルタ深度は３である。簡単のために、図４に示されているＣＮＮは、１（すなわち、グレースケール入力データ）の入力データ深度を有する。

【0056】

第１の層の出力ボリュームは、いくつかのファクタによって決定される。

【0057】

第１の層の出力ボリュームの深度は、フィルタの数に対応する。たとえば、第１の層中に３２個のフィルタがあり得、したがって、第１の層の出力は３２の深度を有する。したがって、後続の層中のフィルタは、３２の深度を有することになる。

【0058】

出力ボリュームの高さおよび幅は、入力の高さおよび幅と、フィルタの受容野サイズ（高さと幅との両方）と、フィルタストライドとによって決定される。ストライドが１であるとき、フィルタは、一度に１つのピクセルをスライドする。ストライドが２であるとき、フィルタは、一度に２つのピクセルをスライドし、より小さい出力ボリュームを生成する。境界において使用されるゼロパディングも出力サイズに影響を及ぼすことになる。

【0059】

各フィルタは、入力の幅および高さに沿って移動される。各位置において、入力値と重み値との要素ごとの乗算が行われ、その結果は、各位置についての単一の出力値を与えるために加算される。１つのフィルタについての出力値は、２Ｄアレイを形成する。層中のすべてのフィルタからの出力アレイは、深度次元に沿って積み重ねられ、得られたボリュームが次の層に入力される。

【0060】

各畳み込み層の後に、活性化層が続く。活性化層は、要素ごとの活性化関数を適用し、サイズを不変のままにする。活性化層は、簡単のために図に示されていない。たとえば、モデルは、要素ごとの活性化関数を適用する１つまたは複数のＲｅＬＵ（正規化線形ユニット（rectified linear unit））層を備え得る。バッチ正規化層も、各畳み込み層の後に実装され、ここで、活性化層はバッチ正規化層の後に実装される。モデルは、畳み込み層と、バッチ正規化層と、活性化層とを備えるユニット、または、たとえば、第１の畳み込み層と、第１のバッチ正規化層と、第２の畳み込み層と、第２のバッチ正規化層と、活性化層とを備えるユニットを備える。

【0061】

第１のＣＮＮ４０は、出力が入力よりも小さい寸法を有する、たとえば、高さおよび／または幅が層への入力よりも小さい、複数の層を備える。このようにして、深度が増加する間に、高さと幅とがいくつかの層を通して減少する。第１のＣＮＮ４０は、「エンコーダ／デコーダ」構造を有し、それにより、層は、最初に、（たとえば、ストライドサイズなどのフィルタハイパーパラメータを介して）深度を増加させる間に高さと幅とを減少させ、次いで、（たとえば、プーリング層および／または双線形アップサンプリング層を介して）深度を減少させる間に高さと幅とを増加させる。これは、層の出力サイズを示す図４に示されている。

【0062】

第１のＣＮＮ４０は、空間サイズを変動させるために含まれる１つまたは複数のプーリング層をさらに備える。プーリング層は、幅および／または高さを増加させ、出力の深度を減少させるために使用され得る。プーリング層は、「平均プーリング」層であり得る。平均プーリング層は、空間広がり（extent）およびストライドを有するフィルタを備え、これは、入力にわたって移動され、各位置において平均値をとる。しかしながら、平均以外の関数、たとえば、最大プーリングが使用され得る。アップサンプリング層、たとえば、１つまたは複数の双線形アップサンプリング層が、追加または代替として、高さおよび／または幅を増加させるために含まれ得る。

【0063】

第１のＣＮＮ４０は、少なくとも１つのスキップ接続をさらに備える。実際には、モデルは複数のスキップ接続を備え得るが、簡単のために、少数の層と単一のスキップ接続とが図４に示されている。第２の層「畳み込み層２」は、出力ｍと呼ばれる出力を生成する。第４の層「畳み込み層４」は、出力ｍと同じ寸法を有する出力ｏを生成する。「畳み込み層５」への入力は、第１の層の出力ｍならびに第４の層の出力ｏから生成される。以前の層から後の層に直接出力を入力することが、「スキップ接続」である。この例における出力は、ピクセルごとの加算によって組み合わせられる。代替的に、連結が使用され得、ここで、出力は、たとえば、異なるサイズである。１つまたは複数のスキップ接続を使用して、ダウンストリームからの情報がアップストリームに直接供給される。これは、ネットワーク全体にわたって高レベルのグローバルな視覚特徴と地域の視覚特徴とを維持する。以前の層から後の層に直接特徴を入力し、１つまたは複数の介在層をスキップすることは、コンテキストを提供する。

【0064】

平坦化層が、最後の畳み込み層の後に含まれる。平坦化層は、最後の畳み込み層からの出力データを、次の層に入力するために１次元ベクトルｘに変換する。この例における平坦化層より前の層は、ＣＮＮの第１の部分４６を形成する。

【0065】

１つまたは複数の全結合層が平坦化層の後に含まれる。最後の全結合層が、陽性クラスに対応する値を出力する。確率値を与えるために、出力において活性化関数が、たとえば、シグモイド関数が適用される。活性化関数は、最後の全結合層からの出力を入力としてとり、確率に正規化する。したがって、活性化関数は、陽性クラスに対応する１から０の間の値を出力する。（１つまたは複数の）全結合層と活性化関数とは、第１のＣＮＮ４０の第２の部分４７を形成する。

【0066】

各タイルについて、ＣＮＮ４０は、タイルが陽性クラスに割り当てられる、すなわち、タイルがバイオマーカーに関連付けられる、確率を出力する。バイオマーカーは、特定の病理学的または生理的プロセス、病気、診断、療法または予後が識別され得る、自然発生分子、遺伝子、または特性である。本明細書で説明される特定の例では、バイオマーカーは、癌バイオマーカー、すなわち、特定のタイプの癌、または特に有効な癌治療が識別され得る、自然発生分子、遺伝子、または特性である。さらに、本明細書で説明される例では、バイオマーカーは、分子バイオマーカーである。この例では、特定のバイオマーカーはＥＲバイオマーカーである。しかしながら、他のバイオマーカーの例が、以下でより詳細に説明される。

【0067】

Ｓ２０３において、第１のしきい値が第１の分類器４０の出力に適用される。言い換えれば、第１のＣＮＮ４０から出力された確率値は、第１のしきい値と比較される。図３に示されている例では、第１の分類器から出力された確率値は、０．７６４である。第１のしきい値は、より高い予測しきい値Ｔ１である。この例では、第１のしきい値Ｔ１は０．６である。第１の分類器の出力が、より高い予測しきい値よりも高い場合、第１の分類出力は、陽性クラスに対応する１である。第１の分類器の出力が、より高い予測しきい値よりも低い場合、第１の分類出力は０である。図６は、分類器モデル予測スコアに対する頻度のプロット上に線Ｔ１によって示される第１の予測しきい値を示す概略図である。

【0068】

Ｓ２０３において、第２のしきい値も第１の分類器の出力に適用される。言い換えれば、第１のＣＮＮ４０から出力された確率値は、別々に、第２のしきい値と比較される。第２のしきい値は、より低い予測しきい値Ｔ２である。この例では、第２のしきい値Ｔ２は０．４５である。第１の分類器の出力が、より低い予測しきい値よりも高い場合、第２の分類出力は、陽性クラスに対応する１である。第２の分類器の出力が、より低い予測しきい値よりも低い場合、第２の分類出力は０である。第２の予測しきい値は、図７中の線Ｔ２によって示される。

【0069】

第１の分類についての予測しきい値Ｔ１は、第２の分類についての予測しきい値Ｔ２よりも高い。したがって、第１の分類は、第２の分類よりも多くの陰性事例を正しく予測するように構成される。第２の分類は、第１の分類よりも多くの陽性事例を正しく予測する。

【0070】

第１の分類についての第１の予測しきい値Ｔ１は、第２の分類についての第２の予測しきい値Ｔ２よりも高い。しきい値の値は、システムの使用より前に実施されるトレーニング段階中に決定される。トレーニング段階は、以下で図８（ａ）に関して説明される。

【0071】

Ｓ２０４において、最後の分類予測が、第１の分類出力および第２の分類出力に基づいて決定される。このステップにおいて、第１の分類が１を出力し、第２の分類が１を出力する場合、分類予測は１である。第１の分類が０を出力し、第２の分類が０を出力する場合、分類予測は０である。第１の分類と第２の分類とが異なる分類を出力する場合、分類予測は行われない。最後の分類を決定するために、何らかのさらなるステップが実施され得る。たとえば、画像は、専門家によって手動で分類され得る。

【0072】

本方法では、２つの異なる予測しきい値を使用することによって、２つの異なる分類は、単一のトレーニングプロセスを用いて、単一のトレーニングされた分類器を使用して実施され得る。第２の分類Ｍ２は、より低い予測しきい値Ｔ２を使用し、したがって、高い感度をもつ分類を提供し、より多くの信頼できる陽性予測を生成する。より低い予測しきい値は、ここでは陰性しきい値とも呼ばれる。第１の分類Ｍ１は、より高い予測しきい値Ｔ１を使用し、したがって、高い特異度をもつ分類を提供し、より多くの信頼できる陰性予測を生成する。より高い予測しきい値は、ここでは陽性しきい値とも呼ばれる。２つの分類を同時に展開することによって、０．５のしきい値とともに、第１の分類器を使用して単一の分類を適用することによってよりも高い程度の確実性が、分類予測において達成され得る。

【0073】

図８（ａ）は、第１の例による、分類のためのシステムをトレーニングする方法の概略図である。本方法は、上記で説明された第１の例による、分類方法において使用され得るシステムをトレーニングするために使用される。

【0074】

各々が複数の入力画像を備える、トレーニングデータセットと検証データセットとが、トレーニング方法において使用される。それらの画像は、分類方法中の使用のための意図されたタイプの入力画像に対応する。ここで説明される例では、入力画像は、上記で説明されたように、ヘマトキシリンおよびエオジン染色を用いて染色された組織学的切片の画像からの画像タイルである。したがって、トレーニングデータセットと検証データセットは、各々、ヘマトキシリンおよびエオジン染色を用いて染色された組織学的切片の画像からの画像タイルを備える。

【0075】

各画像タイルは、モデルが検出することになる特定のバイオマーカーに各画像タイルが対応するか否かに応じてラベリングされる。上記で説明されたように、特定のバイオマーカーは、この例では、ＥＲバイオマーカーである。各画像タイルは、それがＥＲバイオマーカーに対応する場合、１でラベリングされ、それがＥＲバイオマーカーに対応しない場合、０でラベリングされる。

【0076】

ラベルを生成するために、たとえば、ＩＨＣ染色プロセスからの情報が使用され得る。いくつかのデータセットについて、専門家は、ＩＨＣ染色された画像を検討し、ターゲット画像のＥＲステータスを、たとえば、それらがメタデータとしてすでに利用可能でない場合、決定し得る。これらは、次いで、トレーニング中に、対応するＨ＆Ｅ画像のためのグラウンドトゥルースラベルとして使用される。遺伝的な、トランスクリプトーム的な、および／または免疫学的な分析の手段を通した患者からのヒト試料の様々なテストが、追加または代替として使用され得る。これらのテストは、液体および／または固体の形態で生検材料（biopsy）と呼ばれるヒト試料に対して行われ、これは、次いで、試料の分子ステータスを通知するための処置を受ける。結果は、次いで、対応するＨ＆Ｅ画像についてラベル１または０を生成するために、専門家によって、組織生検のための病理学者、液体生検のための血液学者、細胞学試料のための細胞病理学者、遺伝的な／トランスクリプトーム的な分析のための遺伝学者などによって、分析される。注釈は、トレーニングされた病理学者によって実施され得る。

【0077】

データセットを準備するために、入力画像に対して実施されることが意図されるものと同じ画像前処理が実施される。したがって、各全スライド画像について、複数の画像部分（タイル）が取得される。データセットから非癌組織のみを含んでいるタイルを破棄するために細胞セグメンテーションが使用され得る。

【0078】

画像注釈は、全スライド画像の各タイルについて別々に実施され得る。代替的に、注釈は、全スライド画像について実施され得、次いで、画像からの各タイルが、全スライド画像に与えられた注釈でラベリングされる。したがって、この場合、各タイルをそれらの対応するスライドのラベルとペアリングするステップが実施される。

【0079】

したがって、トレーニングデータセットと検証データセットとは、各々、複数の画像タイルを備え、各タイルは、モデルが検出することになる特定のバイオマーカーに各タイルが対応するか否かに応じてラベリングされる。

【0080】

Ｓ８０１において、トレーニングデータセット中の画像タイルは、第１の分類器、第１のＣＮＮ４０に提出され、それは、推論（展開）段階に関して上記で説明されたものと同じ様式で、画像が陽性クラスに割り当てられる確率を生成する。

【0081】

第１のＣＮＮ４０は、関連付けられたパラメータベクトルθ１を有する。パラメータは、第１のＣＮＮ４０の第１の部分中の畳み込み層のすべてのためのフィルタ重みならびに第１のＣＮＮ４０の第２の部分のための重みを含む。Ｓ８０１におけるトレーニングプロセスの目的は、トレーニングデータセット中の画像の注釈と画像についての第１の分類器の出力との間の差が最小化されるようなパラメータベクトルθ１’を見つけることである。

【0082】

最適なパラメータは、最初に、θ１としてランダム値を割り当て、次いで、損失の勾配

【0083】

【数1】

【0084】

を算出することと算出された勾配を使用してθ１を更新することとによってθ１を連続的に更新することによって、算出される。Ｄ１は、損失関数を表し、これは、「タイルごとの」損失である。この例では、クロスエントロピー損失が使用される。

【0085】

【数2】

【0086】

ここで、ｙ_iは、注釈値（１または０）であり、ｐ_iは、トレーニングデータセット中の例示的なｉについての分類器出力値である。分類器モデルのトレーニング可能なパラメータの各々に関する損失の勾配が逆伝搬を通して決定される。勾配は、次いで、オプティマイザ関数を使用して、更新されたパラメータを決定するために使用される。更新方法のこのファミリーは、概して以下のように反復的に定義される勾配降下法（ＧＤ）として知られており、

【0087】

【数3】

【0088】

ここで、μ１は、パラメータがどのくらい迅速に更新されるかを定義する学習レートである。更新は、バッチ平均に基づいて実施され得る。たとえば、８つのタイルのバッチサイズが使用され得る。８つのタイルにわたる平均値損失が計算され、その平均損失に基づいてモデルパラメータが更新される。したがって、分類器は、パラメータが更新される前に８つのタイルに適用される。

【0089】

Ａｄａｍ最適化アルゴリズムが使用され得る。しかしながら、選択される最適化戦略は、使用事例に対する各戦略の性能に依存し得る。たとえば、以下の最適化方法のうちの１つが選択され得る。
・ 確率的勾配降下法（ＳＧＤ）
・ ＡｄａＤｅｌｔａ
・ Ａｄａｍ
・ ＡｄａＭａｘ
・ Ｎｅｓｔｅｒｏｖ Ａｄａｍオプティマイザ
・ ＲＭＳＰｒｏｐ
トレーニングは、複数のエポックにわたって実施され得る。エポックの数は、分類器がトレーニング中にトレーニングデータセット全体に適用される回数である。各トレーニングエポック中に、トレーニングデータセット中のトレーニング例は、ランダムな順序でモデルに入力され得、したがって、トレーニング例は各エポックについて異なる順序で入力される。

【0090】

分類器モデル性能が、検証データセットを使用して各エポックの後に評価され得る。検証データセットからのデータの異なるサブセットが、各エポックの後に評価のために使用され得る。各トレーニングエポックの後に、０．５のしきい値に基づく分類器モデル精度が決定され得る。検証データセットからの各画像タイルは第１の分類器に提出され、第１の分類器は、画像が陽性クラスに割り当てられる確率を生成する。分類器モデル出力は、次いで、画像についての分類を与えるために０．５のしきい値と比較される。次いで、画像についての注釈値（ラベル）と比較することによって、分類が正しいかどうかが決定される。精度は、検証データについて実施される分類の数で除算された正しい分類の数として決定される。精度値は、分類器モデル性能の指示である。分類器モデルが所望の性能を達成すると、トレーニングは停止され（すなわち、さらなるエポックは実施されず）、分類器モデルパラメータは固定される。所望の性能は、最小精度（たとえば０．８または０．９）を満たすことによって、または現在のエポックと前のエポックとの間の精度の変化が所定の値よりも小さいことによって決定され得る。精度を監視する代わりに、ＡＵＣまたは損失が、監視するために使用され、たとえば同様の様式で実施され得る。

【0091】

次いで、Ｓ８０２において、トレーニングされたモデルを仮定すれば、検証データセットを使用して、予測しきい値Ｔ１およびＴ２が決定される。このステップにおいて、検証セットは大部分がテストセットと同様であることが仮定される。Ｓ８０２において、検証データセット中の画像タイルは、第１の分類器、第１のＣＮＮ４０に提出され、それは、推論（展開）段階に関して上記で説明されたものと同じ様式で、画像が陽性クラスに割り当てられる確率を生成する。次いで、分類器モデル予測スコア、すなわち、分類器モデルから出力された確率値が、画像のラベルと比較される。この例では、検証データセット結果から、（陰性クラスにおける）ラベル０をもつ画像についての最も高い確率値が、第１の予測しきい値Ｔ１としてとられる。（陽性クラスにおける）ラベル１をもつ画像についての最も低い確率値が、第２の予測しきい値Ｔ２としてとられる。したがって、検証データセット上で第１の分類器モデルを動作させたことの結果から決定されるように、第１の予測しきい値Ｔ１は特異度しきい値に設定され、第２の予測しきい値Ｔ２は感度しきい値に設定される。第１の予測しきい値Ｔ１を特異度しきい値に設定し、第２の予測しきい値Ｔ２を感度しきい値に設定することによって、分類方法は、陽性クラスと陰性クラスの両方についての信頼できる予測を生成することができる。

【0092】

上記で図２（ｂ）に関して説明されたように、第１の分類が第１のしきい値Ｔ１を使用して適用され、第２の分類が第２のしきい値Ｔ１を使用して適用される、完全分類方法の性能は、さらなるテストデータセットを使用して査定され得る。たとえば、完全分類方法の精度は、テストデータセットから決定され得る。

【0093】

この例では、第１の予測しきい値Ｔ１は特異度しきい値に設定され、第２の予測しきい値Ｔ２は感度しきい値に設定される。しかしながら、代替例では、第１の予測しきい値Ｔ１は特異度しきい値よりも低く設定され、第２の予測しきい値Ｔ２は感度しきい値よりも高く設定されるが、依然として、第１の予測しきい値Ｔ１が第２の予測しきい値Ｔ２よりも高いことを保証する。これは、分類方法を使用して予測され得る事例の数を増加させる。たとえば、不確実性またはエラーのコストを利益が上回る場合、そのような不確実性またはエラーの許容できるレベルが導入され得ることは、医療診断システムにおいて一般的である。感度／特異度コンテキストでは、これは、（Ｍ２によって使用される）より低い予測しきい値Ｔ２を、感度しきい値をわずかに上回る値に増加させ、（Ｍ１によって使用される）より上の予測しきい値Ｔ１を、特異度しきい値をわずかに下回って減少させることによって、達成され得る。これを行うことによって、分類方法が予測することができる事例の数が増加される。

【0094】

比較的良好な性能をもつトレーニングされた分類器モデルを仮定すれば、予測しきい値は、上記で説明されたようにＳ８０２において決定される。検証セットが大部分がテストセットと同様であると仮定する、上記で説明された例では、両方のクラスについての信頼できる予測を生成するために、検証データセットについて、Ｔ１は特異度しきい値に設定され、Ｔ２は感度しきい値に設定される。感度しきい値に設定されたしきい値の場合、分類器モデルは、検証データセット上で１００％ＰＰＶを達成する。ＰＰＶは、陽性予測値であり、１００×ＴＰＲ／（ＴＰＲ＋ＦＰＲ）によって与えられる。特異度しきい値に設定されたしきい値の場合、分類器モデルは、検証データセット上で１００％ＮＰＶを達成し、ここで、ＮＰＶは、陰性予測値（ＮＰＶ）であり、１００×ＴＮＲ／（ＦＮＲ＋ＴＮＲ）によって与えられる。

【0095】

図５は、第１の例による、トレーニングパイプラインと、トレーニングされた分類システムの展開とを示す概略図である。第１の分類器は、上記で説明されたように、トレーニングデータセットを使用してＳ８０１においてトレーニングされる。第１の分類器は、次いで、検証データセット上で動作され、図５に示されているようにモデル予測スコアのセットを生成する。次いで、第１のしきい値Ｔ１と第２のしきい値Ｔ２とが、モデル予測スコアのセットに基づいて、Ｓ８０２において選択される。第１のしきい値Ｔ１と第２のしきい値Ｔ２とは、自動化された様式で決定される。たとえば、第１の予測しきい値Ｔ１は特異度しきい値に設定され、第２の予測しきい値Ｔ２は感度しきい値に設定される。

【0096】

次いで、Ｓ５０１において、分類方法は、分類方法の精度を評価するために、テストデータセット上で実施される。Ｓ５０２において、第１の分類と第２の分類とが合致するテスト事例のみに関して評価される、テストデータセットに関する分類精度が、意図された目的のために十分であるかどうかが決定される。たとえば、意図された適用例に応じて、０．９０または０．９５の精度が十分であり得る。精度が十分である場合、システムは、上記で図２（ｂ）に関して説明されたように展開される。十分でない場合、システムは破棄される。

【0097】

展開中に、入力画像が、Ｓ２０１において受信され、Ｓ２０２において第１の分類器によって分析される。第１の分類および第２の分類の予測が、Ｓ２０３において出力される。予測が合致する場合、Ｓ２０４において最後の分類予測が行われる。合致しない場合、手動テストなど、さらなるステップが実施され得る。

【0098】

予測分類器モデルの性能は、以下のうちの一方または両方によって測定され得る。
・ 精度：特定の予測しきい値（prediction threshold value）（たとえば０．５）を用いて分類器モデルによって行われた、正しい予測の数／予測の数、および
・ ＡＵＣ：すべての予測しきい値にわたる精度の測度として働く、受信者動作特性曲線（ＲＯＣ曲線）下面積。

【0099】

ＲＯＣ曲線は、変動するしきい値についての偽陽性率（ＦＰＲ）に対する真陽性率（ＴＰＲ）のプロットである。真陽性率は、感度としても知られており、分類器モデルがしきい値を用いて正しく陽性として予測する陽性事例の比率である。偽陽性率は、分類器モデルがしきい値を用いて間違って陽性として予測する陰性事例の比率である。トレーニングされた分類器モデルの（０．５など、特定のしきい値についての）精度およびＡＵＣは、テストデータセットを使用して評価され得る。医療使用事例では、臨床等級の医療システムは、たとえば、０．９４～０．９８の精度とＡＵＣとを有する分類器モデルを使用し得る。

【0100】

より低い精度とＡＵＣとを有する分類器モデルは、意図された使用がいくらかの誤差マージンを考慮に入れるか、または、真の予測の利益が偽の予測のリスクおよび影響を上回るか、または、予測を確かめる人間がループ中にいる、適用例のために使用され得る。しかしながら、多くの使用事例では、そのような分類器モデルを有することは、たとえば、人間が予測を確かめなければならないので、デバイスが経済的に実現不可能であることを意味する。これは、臨床診療へのデバイスの採用を妨げることがある。分類器モデル性能は、たとえば新しいトレーニングデータセットに関する分類器モデルのさらなるトレーニングによって改善され得る。しかしながら、いくつかの場合には、分類器モデル性能に対するさらなる改善は可能でなく、たとえば、さらなるトレーニングデータが容易に取得され得ない。

【0101】

しかしながら、分類方法の感度および特異度は、分類器モデルとともに使用される予測しきい値を選択することによって調整され得る。図９は、ＲＯＣ曲線を右から左に横断することによって観測されるような、完全な感度（偽陰性なし）から完全な特異度（偽陽性なし）への遷移の概略図を示す。

【0102】

上記で説明された分類方法では、検証データセットに関して査定される、高いまたは完全な感度（少数の偽陰性または偽陰性なし）を有する第１の分類と、高いまたは完全な特異度（少数の偽陽性または偽陽性なし）を有する第２の分類とが、使用される。したがって、分類方法の精度が改善され得る。

【0103】

上記で説明された例では、第１の予測しきい値と第２の予測しきい値とは、検証データセットを使用して決定される。しかしながら、トレーニングセットと検証セットとテストセットとを使用する代替例では、Ｓ８０１においてトレーニングセットを使用してトレーニングが実施され、トレーニングの性能が検証セットを使用して検証され、次いで、テストセットを使用してしきい値が決定される。

【0104】

図８（ａ）に関して説明されたトレーニング方法では、トレーニングデータセットと検証データセットとは、同じ集団に対応する。しかしながら、代替実施形態では、トレーニングデータセットと検証データセットとは、異なる集団に対応し得る。たとえば、トレーニングデータセットは、大量のデータが利用可能である一般集団に対応し得る。検証データセットは、より小さい量のデータが利用可能であり、意図された使用事例の集団により密接に対応する、特定の集団に対応し得る。たとえば、トレーニングデータセットは、ある国または地域出身の人々に対応し得、検証データセットは、別の国または地域出身の人々に対応し得る。検証データセットは、特定の病院における患者に対応し得る。検証データセットは、年齢範囲など、特定の特色または特性をもつ患者に対応し得る。このようにして、第１の分類器は、大きいトレーニングデータセットを使用してトレーニングされ、言い換えれば、第１の分類器のパラメータは、大きいトレーニングデータセットを使用して更新される。検証データセットは、次いで、第１のしきい値と第２のしきい値とを決定するために使用される。これは、「較正」段階と見なされ得、第１のしきい値と第２のしきい値とは、使用が意図される集団により近い集団に対応する検証データセットに基づいて決定される。

【0105】

図８（ｂ）は、第１の例による、分類のためのシステムをトレーニングする方法の概略図であり、検証データセットは、トレーニングデータセットとは異なる集団に対応する。本方法は、上記で説明された第１の例による、分類方法において使用され得るシステムをトレーニングするために使用される。

【0106】

各々が複数の入力画像を備える、トレーニングデータセットと検証データセットとが、トレーニング方法において使用される。それらの画像は、分類方法中の使用のための意図されたタイプの入力画像に対応する。ここで説明される例では、入力画像は、上記で説明されたように、ヘマトキシリンおよびエオジン染色を用いて染色された組織学的切片の画像からの画像タイルである。したがって、トレーニングデータセットと検証データセットは、各々、ヘマトキシリンおよびエオジン染色を用いて染色された組織学的切片の画像からの画像タイルを備える。トレーニングデータセットは、第１の集団Ｐ１に対応する画像を備え、検証データセットは、第２の集団Ｐ２に対応する画像を備える。第２の集団Ｐ２はターゲット集団であり、言い換えれば、第２の集団Ｐ２は、第１の集団Ｐ１よりも、意図された使用事例のための集団により密接して対応する。たとえば、トレーニングデータセットは、すべての年齢の患者からの組織の画像を備え得るが、検証データセットは、特定の年齢範囲における患者からの組織の画像を備える。

【0107】

各画像タイルは、上記で説明されたように、モデルが検出することになる特定のバイオマーカーに各画像タイルが対応するか否かに応じてラベリングされる。上記で説明されたように、特定のバイオマーカーは、この例では、ＥＲバイオマーカーである。各画像タイルは、それがＥＲバイオマーカーに対応する場合、１でラベリングされ、それがＥＲバイオマーカーに対応しない場合、０でラベリングされる。したがって、トレーニングデータセットと検証データセットとは、各々、複数の画像タイルを備え、各タイルは、検出されることになる特定のバイオマーカーに各タイルが対応するか否かに応じてラベリングされる。

【0108】

Ｓ８０１において、トレーニングデータセット中の画像タイルは、第１の分類器、第１のＣＮＮ４０に提出され、それは、画像が陽性クラスに割り当てられる確率を生成する。上記で説明されたように、トレーニングデータセット中の画像の注釈と画像についての第１の分類器の出力との間の差が最小化されるように、更新されたパラメータベクトルθ１’が決定される。トレーニングされていない第１の分類器は、第１の集団Ｐ１に対応するトレーニングデータセットを使用してトレーニングされる。Ｓ８０１の出力は、第１の集団Ｐ１に関してトレーニングされる、トレーニングされた分類器である。

【0109】

上記で説明されたように、各トレーニングエポックの後に、０．５のしきい値に基づく分類器精度が決定され得る。検証データセットからの各画像タイルは第１の分類器に提出され、第１の分類器は、画像が陽性クラスに割り当てられる確率を生成する。分類器出力は、次いで、画像についての分類を与えるために０．５のしきい値と比較される。結果は、モデル予測スコアを示す、図では「結果１」とラベリングされた第１のグラフに概略的に示されている。０．５を上回るスコアのすべてが陽性として予測され、０．５を下回るスコアのすべてが陰性として予測される。真の分類も第１のグラフに示されており、より暗い陰影が、真値が陽性であることを示す。

【0110】

画像についての注釈値（ラベル）と比較することによって、分類が正しいかどうかが決定される。精度は、検証データについて実施される分類の数で除算された正しい分類の数として決定される。精度値は、分類器モデル性能の指示である。分類器モデルが所望の性能を達成すると、トレーニングは停止され（すなわち、さらなるエポックは実施されず）、分類器パラメータは固定される。

【0111】

次いで、Ｓ８０２において、トレーニングされたモデルを仮定すれば、検証データセットを使用して、予測しきい値Ｔ１およびＴ２が決定される。検証データセットは、第２の集団Ｐ２、ターゲット集団に対応する。したがって、Ｓ８０２は較正プロセスと見なされ得る。トレーニングされたモデルは入力としてとられ、予測しきい値が決定される。

【0112】

前に説明されたように、Ｓ８０２において、検証データセット中の画像タイルは、第１の分類器に提出され、それは、推論（展開）段階に関して上記で説明されたものと同じ様式で、画像が陽性クラスに割り当てられる確率を生成する。次いで、分類器モデル予測スコア、すなわち、分類器モデルから出力された確率値が、画像のラベルと比較される。分類器予測スコアは、グラフ「結果２」に示されている。この例では、検証データセット結果から、（陰性クラスにおける）ラベル０をもつ画像についての最も高い確率値が、第１の予測しきい値Ｔ１としてとられる。（陽性クラスにおける）ラベル１をもつ画像についての最も低い確率値が、第２の予測しきい値Ｔ２としてとられる。したがって、検証データセット上で第１の分類器モデルを動作させたことの結果から決定されるように、第１の予測しきい値Ｔ１は特異度しきい値に設定され、第２の予測しきい値Ｔ２は感度しきい値に設定される。第１の予測しきい値Ｔ１を特異度しきい値に設定し、第２の予測しきい値Ｔ２を感度しきい値に設定することによって、分類方法は、陽性クラスと陰性クラスの両方についての信頼できる予測を生成することができる。

【0113】

上記で図２（ｂ）に関して説明されたように、第１の分類が第１のしきい値Ｔ１を使用して適用され、第２の分類が第２のしきい値Ｔ１を使用して適用される、完全分類方法の性能は、さらなるテストデータセットを使用して査定され得る。たとえば、完全分類方法の精度は、テストデータセットから決定され得る。この例におけるテストデータセットも、第２の集団Ｐ２に対応する。

【0114】

この例では、第１の予測しきい値Ｔ１は特異度しきい値に設定され、第２の予測しきい値Ｔ２は感度しきい値に設定される。しかしながら、代替例では、第１の予測しきい値Ｔ１は特異度しきい値よりも低く設定され、第２の予測しきい値Ｔ２は感度しきい値よりも高く設定されるが、依然として、第１の予測しきい値Ｔ１が第２の予測しきい値Ｔ２よりも高いことを保証する。

【0115】

Ｓ８０２における較正のステップは、モデルが、たとえばターゲット病院集団に基づいて調整されること、言い換えれば集団シフトについて調整されることを可能にする。これは、集団変化から生じる予測スコアの分布変化について調整すべき予測しきい値Ｔ１およびＴ２を決定することによって行われる。集団変化について調整すべきモデルの重みを調整する中間ステップも含まれ得る。たとえば、第１のトレーニングデータセットを使用して実施されるトレーニングプロセスの後にさらなるトレーニングプロセスを実施するために、第２の集団Ｐ２に対応する第２のトレーニングデータセットが使用され得る。このさらなるトレーニングプロセスでは、第１の分類器のパラメータは、ターゲット集団に対応するデータに基づいてさらに調整される。次いで、第１のしきい値と第２のしきい値とが、上記で説明されたようにＳ８０２において決定される。

【0116】

上記で説明された例では、第１の分類器がトレーニングされ、次いで、ターゲット集団に従って、第１の予測しきい値と第２の予測しきい値とが決定される。較正段階Ｓ８０２中に、入力画像は、第１の分類器への入力としてとられる。予測の前に最後の層から出力された値が、予測スコアとして出力される。したがって、ターゲット集団予測スコア分布が生成される。次いで、第１のしきい値と第２のしきい値とが決定される。

【0117】

表１は、第１の例による、分類の第１の方法を使用して生成された結果を示し、それは、テストデータセットからの画像をＥＲバイオマーカーに対応するものとして分類する。方法は、第１および第２のしきい値とともに、上記で説明された分類器モデルを使用する。表１は、比較例による、分類の第１の方法を使用して生成された結果をも示し、それは、テストデータセットからの画像をＥＲバイオマーカーに対応するものとして分類する。方法は、０．５の単一のしきい値とともに、上記で説明されたものと同じ分類器モデルを使用する。

【0118】

表１は、第１の例による、分類の第２の方法を使用して生成された結果をも示し、それは、テストデータセットからの画像をＰＲバイオマーカーに対応するものとして分類する。方法は、第１および第２のしきい値とともに、上記で説明された分類器モデルを使用する。表１は、比較例による、分類の第２の方法を使用して生成された結果をも示し、それは、テストデータセットからの画像をＰＲバイオマーカーに対応するものとして分類する。方法は、０．５の単一のしきい値とともに、上記で説明されたものと同じ分類器モデルを使用する。

【0119】

【表1】

【0120】

上記の表１では、ＰＬＲは陽性尤度比であり、ＮＬＲは陰性尤度比である。
第１の例の修正
図１０（ａ）は、第１の例の修正による、分類のためのシステムをトレーニングする方法の概略図であり、より低い予測しきい値Ｔ２は、感度しきい値を上回る値に設定され得、より上の予測しきい値Ｔ１は、特異度しきい値を下回る値に設定され得る。これを行うことによって、モデルが予測することができる事例の数が、増加され得る。

【0121】

Ｓ１００１において、第１の分類器４０は、上記でＳ８０１に関して説明されたものと同じ様式で、トレーニングデータセットを使用してトレーニングされる。

【0122】

Ｓ１００２において、感度しきい値と特異度しきい値とは、上記でＳ８０２に関して説明されたものと同じ様式で、検証データセットを使用して決定される。

【0123】

Ｓ１００３において、第１のしきい値と第２のしきい値とは、最適化プロセスを使用して決定される。第１の例の修正による方法では、第１のしきい値および第２のしきい値をそれぞれ特異度および感度しきい値として設定する代わりに、第１のしきい値と第２のしきい値とを決定するために最適化プロセスが実施される。

【0124】

次に、Ｓ１００３において実施され得る例示的な最適化プロセスが、図１０（ｂ）に関して説明される。

【0125】

Ｓ９０１において、可能な値の第１のセットが第１のしきい値について取得され、可能な値の第２のセットが第２のしきい値について取得される。第１のセットおよび第２のセット中の値のすべてが、感度しきい値よりも大きいかまたはそれに等しく、特異度しきい値よりも小さいかまたはそれに等しい。可能な値の第１のセットは、特異度しきい値を含むが、感度しきい値を含まない、感度しきい値と特異度しきい値との間の固定数の均等に離間した値をとることによって取得される。可能な値の第２のセットは、感度しきい値を含むが、特異度しきい値を含まない、感度しきい値と特異度しきい値との間の固定数の均等に離間した値をとることによって取得される。

【0126】

この例では、特異度しきい値は０．６５であり、感度しきい値は０．４である。０．０２５の増分における均等に離間した値のセットが、値の第１のセットおよび値の第２のセットとしてとられる。値の第１のセットは、値｛０．４２５、０．４５０、０．４７５、０．５００、０．５２５、０．５５０、０．５７５、０．６００、０．６２５、０．６５０｝を備える。値の第２のセットは、値｛０．４００、０．４２５、０．４５０、０．４７５、０．５００、０．５２５、０．５５０、０．５７５、０．６００、０．６２５｝を備える。

【0127】

Ｓ９０２において、可能な第１のしきい値と可能な第２のしきい値との複数の組合せの各々について、精度値が計算される。精度は、テストデータセットから決定される。このステップにおいて、第１のセットからの各値が、第２のセットからの各より低い値と組み合わせられる。テストデータセットからの入力は、第１の分類器を通して動作され、第１の分類器からの出力確率値は、分類予測を与えるために、組合せにおける第１のしきい値および第２のしきい値と比較される。次いで、組合せについての精度が、分類予測の総数で除算された正しい分類予測の数として決定される。これは、複数の組合せの各々について繰り返される。

【0128】

このステップの結果は、本例では、図１０（ｃ）に示されている。第１のセットからの各値｛０．４２５、０．４５０、０．４７５、０．５００、０．５２５、０．５５０、０．５７５、０．６００、０．６２５、０．６５０｝が、グリッドの上部に沿って示されている。第２のセットからの各値｛０．４００、０．４２５、０．４５０、０．４７５、０．５００、０．５２５、０．５５０、０．５７５、０．６００、０．６２５｝が、グリッドの左側に沿って示されている。グリッド中の残りのセルは、（可能な組合せに対応するセルの場合）精度値を示すか、または、（第２のセットからの値が第１のセットからの値よりも低い組合せに対応するセルの場合）空である。第１のセットからの各値は、第２のセットからの各より低い値と組み合わせられ、対応する精度値を有する組合せ、すなわち、（０．４２５、０．４００）、（０．４５０、０．４００）、（０．４５０、０．４２５）、．．．（０．６５０、０．６００）、（０．６５２、０．６００）を生じる。各組合せについて、第１のしきい値は第２のしきい値よりも高い。図１０（ｃ）は、それらの組合せの各々について計算された精度値を示す。

【0129】

Ｓ９０３において、意図された適用例についての所望の精度よりも大きいかまたはそれに等しい精度スコアを生じる、第１のしきい値と第２のしきい値との組合せのすべてが取り出される。所望の精度は、所定の精度値である。この例では、所望の精度は０．９である。この例では、組合せ（０．５７５、０．４００）、（０．６００、０．４００）、（０．６００、０．４２５）、（０．６２５、０．４００）、（０．６２５、０．４２５）、（０．６２５、０．４５０）、（０．６２５、０．４７５）、（０．６５０、０．４００）、（０．６５０、０．４２５）、（０．６５０、０．４５０）、（０．６５０、０．４７５）は、０．９よりも大きい精度を生じる。したがって、これらの組合せは、Ｓ９０３において取り出される。

【0130】

Ｓ９０４において、取り出された組合せからの１つの組合せが選択される。組合せは、カバレージに基づいて選択される。たとえば、テストデータセットからの最も大きい数の結果についての分類を予測した、取り出された組合せのうちの組合せが、選択される。代替的に、第１のしきい値と第２のしきい値との間の最も大きい差を有する組合せが、選択される。この例では、組合せ（０．６２５、０．４７５）が、最も大きいカバレージを有するものとして選択される。したがって、Ｓ１００３において、第１のしきい値は０．６２５に設定され、第２のしきい値は０．４７５に設定される。
第２の例
図１１（ａ）は、第２の例による、分類の方法を示す。図１１（ａ）に関して説明される方法では、分類方法は、第１の例に関して説明されたものと同じ入力画像データに対して実施される。図１１（ｂ）は、入力データを含む方法の概略図を示す。

【0131】

第２の例による方法も、第１の分類と第２の分類とを使用する。しかしながら、第１の分類と第２の分類とは、異なる分類器を使用する。第１の分類は、第２の分類のために使用される第２の分類器よりも多くの陰性事例を正しく予測するように構成された第１の分類器を使用する。第２の分類器は、第１の分類器よりも高い真陽性率を有するように構成される。第２の実施形態では、２つの別個の分類器がトレーニングされ、そのうちの一方が高い特異度と低い感度とを有し、他方が高い感度と低い特異度とを有する。

【0132】

Ｓ１１０１において、入力データが、上記でＳ２０１に関して説明されたものと同じ様式で取得される。

【0133】

Ｓ１１０２において、入力画像データ４１（画像タイル）が、分類モデルへの入力としてとられる。分類モデルは、第１の分類器と第２の分類器とを備える。したがって、入力画像データ４１（画像タイル）は、第１の分類器への入力としてとられ、別々に、第２の分類器への入力としてもとられる。この例では、第１の分類器は、上記で図４に関して説明されたように、畳み込みニューラルネットワーク（ＣＮＮ）４０である。第２の分類器も、上記で図４に関して説明されたように、畳み込みニューラルネットワーク（ＣＮＮ）４０である。この例では、第１の分類器と第２の分類器とは、同じモデルアーキテクチャを有するが、異なるトレーニングデータセットを使用してトレーニングされ、したがって、異なるパラメータ値を有し得る。上記で図４に関して説明された、分類器の構造は、同じである。しかしながら、代替実施形態では、第１の分類器と第２の分類器とは、異なるモデルアーキテクチャを有する。たとえば、第１の分類器と第２の分類器とは、異なる数の層、層中の異なる数のフィルタ、または異なるスキップ接続を有し得る。

【0134】

Ｓ１１０３において、第１のしきい値が第１の分類器４０ａの出力に適用される。言い換えれば、第１のＣＮＮ４０ａから出力された確率値は、第１のしきい値と比較される。図１１（ｂ）に示されている例では、第１の分類器４０ａから出力された確率値は、０．７６４である。この例では、第１の分類器４０ａとともに使用される第１の予測しきい値は、検証データセットから決定された、第１の分類器４０ａについての特異度しきい値である。第１の分類器の出力が、第１の予測しきい値よりも高い場合、第１の分類出力は１である。第１の分類器の出力が、第１の予測しきい値よりも低い場合、第１の分類出力は０である。

【0135】

Ｓ１１０３において、第２のしきい値が第２の分類器４０ｂの出力に適用される。言い換えれば、第２のＣＮＮ４０ｂから出力された確率値は、別々に、第２のしきい値と比較される。この例では、第２の分類器４０ｂとともに使用される第２の予測しきい値は、検証データセットから決定された、第２の分類器４０ｂについての感度しきい値である。第２の分類器４０ｂの出力が、第２の予測しきい値よりも高い場合、第２の分類出力は１である。第２の分類器の出力が、第２の予測しきい値よりも低い場合、第２の分類出力は０である。

【0136】

この例では、第１の分類器４０ａとともに使用される第１の予測しきい値は、検証データセットから決定された、第１の分類器４０ａについての特異度しきい値であり、第２の分類器４０ｂとともに使用される第２の予測しきい値は、検証データセットから決定された、第２の分類器４０ｂについての感度しきい値である。これらのしきい値がどのように決定されるかは、以下で図１２に関して説明される。しかしながら、代替例では、第１のしきい値と第２のしきい値とは、同じ所定の値に設定される。たとえば、第１のしきい値と第２のしきい値とは、０．５に設定され得る。

【0137】

第１の分類は、第２の分類よりも多くの陰性事例を正しく予測するように構成される。第２の分類は、第１の分類よりも多くの陽性事例を正しく予測するように構成される。より多くの陰性事例を正しく予測するように構成された、第１の分類のために使用される第１の分類器４０ａは、展開より前に実施されるトレーニング段階中に取得される。より多くの陽性事例を正しく予測するように構成された、第２の分類のために使用される第２の分類器４０ｂも、トレーニング段階中に取得される。第２の分類器４０ｂは、第１の分類器よりも高い真陽性率を有するように選択される。

【0138】

Ｓ１１０４において、分類予測が、第１の分類出力および第２の分類出力に基づいて決定される。このステップにおいて、第１の分類が１を出力し、第２の分類が１を出力する場合、分類予測は１である。第１の分類が０を出力し、第２の分類が０を出力する場合、分類予測は０である。第１の分類と第２の分類とが異なる分類を出力する場合、分類予測は行われない。次いで、最後の分類を決定するために、何らかのさらなるステップが実施され得る。たとえば、画像は、専門家によって手動で分類され得る。

【0139】

図１２（ａ）は、第２の例による、分類システムをトレーニングする方法の概略図である。本方法は、上記で説明された第２の例による、分類方法において使用され得る分類システムをトレーニングするために使用される。

【0140】

各々が複数の画像を備える、トレーニングデータセットと検証データセットとが、使用される。それらの画像は、意図されたタイプの入力画像に対応する。前に説明されたように、トレーニングデータセットと検証データセットとが同じ集団に対応し得るか、または、トレーニングデータセットが第１の集団に対応し得、検証データセットが第２の、ターゲット集団に対応し得る。

【0141】

ここで説明される例では、入力画像は、ヘマトキシリンおよびエオジン染色を用いて染色された組織学的切片の画像からの画像タイルである。したがって、トレーニングデータセットと検証データセットは、各々、ヘマトキシリンおよびエオジン染色を用いて染色された組織学的切片の画像からの画像タイルを備える。第１の例に関して説明されたように、各画像タイルはまた、モデルが検出することになる特定のバイオマーカーに各画像タイルが対応するか否かに応じてラベリングされる。

【0142】

ここで説明される例では、トレーニングデータセットは、５つの別個のトレーニングデータサブセットにスプリットされる。トレーニングデータセット中の各画像は、５つの別個のトレーニングデータサブセットのうちの１つにランダムに割り振られる。したがって、各トレーニングデータサブセットは、異なる画像を備える。各サブセットは、同じ、または実質的に同じ数の画像を有する。

【0143】

Ｓ１２０１において、５つの別個の分類器Ａ、Ｂ、Ｃ、ＤおよびＥがトレーニングされる。各分類器は、同じモデルアーキテクチャを有するが、異なるトレーニングデータサブセットを使用する。

【0144】

第１のトレーニングデータサブセットからの画像タイルは分類器Ａに提出され、分類器Ａは、陽性クラスに割り当てられる確率を生成する。分類器Ａは、関連付けられたパラメータベクトルθＡを有する。最適なパラメータは、θＡとしてランダム値を割り当て、次いで、損失の勾配

【0145】

【数4】

【0146】

を算出することと算出された勾配を使用してθＡを更新することとによってθＡを連続的に更新することによって、算出される。ＤＡは、損失関数を表し、これは、「タイルごとの」損失である。前に説明されたように、クロスエントロピー損失が使用される。第１の分類器のトレーニング可能なパラメータの各々に関する損失の勾配が逆伝搬を通して決定される。勾配は、次いで、前に説明されたように、オプティマイザ関数を使用して、更新されたパラメータを決定するために使用される。

【0147】

第２のトレーニングデータサブセットからの画像タイルは分類器Ｂに提出され、分類器Ｂは、陽性クラスに割り当てられる確率を生成する。分類器Ｂは、関連付けられたパラメータベクトルθＢを有する。最適なパラメータは、θＢとしてランダム値を割り当て、次いで、損失の勾配

【0148】

【数5】

【0149】

を算出することと算出された勾配を使用してθＢを更新することとによってθＢを連続的に更新することによって、算出される。この例では、各分類器をトレーニングするために、同じ形式の損失関数が使用される。モデルのトレーニング可能なパラメータの各々に関する損失の勾配が逆伝播を通して決定される。勾配は、次いで、前に説明されたように、オプティマイザ関数を使用して、更新されたパラメータを決定するために使用される。この例では、各分類器について同じ学習レートμが使用される。

【0150】

第３、第４および第５のトレーニングデータサブセットは、同様の様式で、それぞれ分類器Ｃ、ＤおよびＥをトレーニングするために使用される。したがって、この例では、５つの分類器間の唯一の差は、Ｓ１２０１におけるトレーニングプロセスのために使用されるトレーニングデータである。

【0151】

各分類器について、モデル性能は、前に説明されたように、検証データセットからのデータを使用して評価される。トレーニングが所望の性能を達成すると、モデルパラメータは、各分類器について固定される。

【0152】

Ｓ１２０２において、検証データセットからの同じデータが、５つの分類器の各々に入力される。次いで、予測スコア、すなわち、分類器から出力された確率値が、画像ラベルと比較される。次いで、各分類器について、特異度しきい値と感度しきい値とが計算される。各分類器について、検証データセット結果は、（陰性クラスにおける）ラベル０をもつ画像についての最も高い出力確率値を決定するために使用され、これは特異度しきい値である。各分類器について、（陽性クラスにおける）ラベル１をもつ画像についての最も低い出力確率値が、感度しきい値として決定される。最も高い特異度しきい値に対応する分類器が第１の分類器として選択され、第１の分類器は、他の分類器よりも多くの陰性事例を正しく予測することができる。最も低い感度しきい値をもつ分類器が第２の分類器として選択され、第２の分類器は、他の分類器よりも多くの陽性事例を正しく予測することができる。第１の分類器とともに使用されることになる第１の予測しきい値は、選択された分類器の特異度しきい値に設定される。第２の分類器とともに使用されることになる第２の予測しきい値は、選択された分類器の感度しきい値に設定される。この第２の例では、２つのモデル、陰性事例を予測するための第１のモデルと陽性事例を予測するための第２のモデルとが選択される。次いで、特異度しきい値が第１のモデルについて選択され、感度しきい値が第２のモデルについて選択される。この手法は、いくつかのモデルは陰性のみを予測し、陽性を予測しないことが極めて得意であるが、他のモデルは陽性を予測し、陰性を予測しないことが極めて得意である、適用例のために使用され得る。

【0153】

次いで、上記で図１１（ａ）に関して説明されたように、第１の分類が第１の分類器を使用して適用され、第２の分類が第２の分類器を使用して適用される、完全分類の性能が、テストデータセットを使用して査定され得る。

【0154】

上記の例では、５つの別個の分類器がトレーニングされ、最も高い特異度しきい値に対応する分類器が第１の分類器として選択され、最も低い感度しきい値をもつ分類器が第２の分類器として選択される。しかしながら、代替例では、２つの分類器のみがトレーニングされ、より高い特異度しきい値に対応する分類器が第１の分類器として選択され、他方の分類器が第２の分類器として選択される。代替例では、３つ以上の分類器がトレーニングされ、最も高い特異度しきい値に対応する分類器が第１の分類器として選択され、最も低い感度しきい値をもつ分類器が第２の分類器として選択される。

【0155】

上記の例では、最も高い特異度しきい値に対応する分類器が第１の分類器として選択され、最も低い感度しきい値をもつ分類器が第２の分類器として選択される。しかしながら、代替的に、０．５のしきい値を使用する、最も高い特異度に対応する分類器が、第１の分類器として選択され、０．５のしきい値を使用する、最も高い感度をもつ分類器が、第２の分類器として選択される。次いで、第１の予測しきい値と第２の予測しきい値とが、両方とも０．５に設定される。

【0156】

上記の例では、複数の分類器の各々は、トレーニングデータセットの別個のサブセットを用いてトレーニングされ、ここで、各画像は、サブセットのうちの１つにランダムに割り振られる。しかしながら、代替例では、画像は、画像の１つまたは複数のプロパティに基づいて割り振られ得る。たとえば、サブセットのうちの１つまたは複数は、他のものよりも多くの陽性例を有し得る。たとえば、画像は、サブセットのうちの２つが８０％陽性例を有し、サブセットのうちの１つが５０％陽性例を有し、サブセットのうちの２つが２０％陽性例を有するように割り振られ得る。上記の例では、サブセットは実質的に同じ数の画像を有するが、代替的に、サブセットのうちのいくつかは、他のものよりもはるかに多い画像を有し得る。

【0157】

上記の例では、複数の分類器の各々は、同じモデルアーキテクチャを有する。しかしながら、代替例では、分類器の一部または全部が、異なるモデルアーキテクチャを有することができ、たとえば、分類器は、異なる数の層、層中の異なる数のフィルタ、または異なるスキップ接続を有し得る。

【0158】

上記の例では、複数の分類器の各々は、同じハイパーパラメータを使用してトレーニングされる。しかしながら、代替例では、分類器の一部または全部が、異なるハイパーパラメータを使用してトレーニングされ得、たとえば、学習レートは異なり得る。

【0159】

図１２（ｂ）は、第２の例による、トレーニングパイプラインと、トレーニングされた分類システムの展開とを示す概略図である。２つの分類器は、上記で説明されたように、トレーニングデータセットを使用してＳ１２０１においてトレーニングされる。分類器は、次いで、検証データセット上で動作され、図１２（ｂ）に示されているように各分類器についてモデル予測スコアのセットを生成する。次いで、第１の分類器と第２の分類器とが、モデル予測スコアのセットに基づいて選択される。第１の分類器と第２の分類器とは、自動化された様式で決定される。たとえば、検証データセット結果に基づいて決定されるように、第１の分類器は、最も高い特異度しきい値に対応する分類器として選択され、第２の分類器は、最も低い感度しきい値をもつ分類器として選択される。

【0160】

次いで、Ｓ５０１において、完全分類方法は、方法の精度を評価するために、テストデータセット上で実施される。Ｓ５０２において、それが確実であると主張する（すなわち、第１の分類と第２の分類とが合致するかどうかにかかわらず）テスト事例のみに関して評価される、テストデータセットに関する精度が、意図された目的のために十分であるかどうかが決定される。精度が十分である場合、システムは、上記で図１１（ａ）に関して説明されたように展開される。十分でない場合、システムは破棄される。

【0161】

展開中に、入力画像が、Ｓ１１０１において受信され、Ｓ１１０２において第１の分類器および第２の分類器によって分析される。第１の分類および第２の分類の予測が、Ｓ１１０３において出力される。予測が合致する場合、Ｓ１１０４において最後の分類予測が行われる。合致しない場合、手動テストなど、さらなるステップが実施され得る。
第２の例の修正
図１２（ｃ）は、第２の例の修正による、分類器をトレーニングする方法の概略図である。

【0162】

Ｓ１４０１において、複数の分類器が、上記でＳ１２０１に関して説明されたものと同じ様式でトレーニングされる。

【0163】

Ｓ１４０２において、第１の分類器と第２の分類器とが、上記でＳ１２０２に関して説明されたものと同じ様式で選択される。Ｓ１２０２に関して説明されたように、このステップの一部として、第２の分類器の感度しきいと第１の分類器の特異度しきい値とが、検証データセットを使用して決定される。

【0164】

上記で説明された第２の例では、第１の分類器４０ａとともに使用される第１の予測しきい値は、検証データセットから決定された、第１の分類器４０ａについての特異度しきい値として設定され、第２の分類器４０ｂとともに使用される第２の予測しきい値は、検証データセットから決定された、第２の分類器４０ｂについての感度しきい値として設定される。しかしながら、第２の例の修正による方法では、第１のしきい値と第２のしきい値とを決定するために最適化プロセスが実施される。

【0165】

Ｓ１４０３において、第１のしきい値と第２のしきい値とは、最適化プロセスを使用して決定される。上記で図１０（ｂ）に関して説明された例示的な最適化プロセスは、このステップにおいて実施され得る。

【0166】

可能な値の第１のセットが第１のしきい値について取得され、可能な値の第２のセットが第２のしきい値について取得される。この例では、第１のセット中の値のすべては、第１の分類器の感度しきい値よりも大きいかまたはそれに等しく、第１の分類器の特異度しきい値よりも小さいかまたはそれに等しいが、第２のセット中の値のすべては、第２の分類器の感度しきい値よりも大きいかまたはそれに等しく、第２の分類器の特異度しきい値よりも小さいかまたはそれに等しい。たとえば、可能な値の第１のセットは、特異度しきい値と感度しきい値とを含む、第１の分類器についての感度しきい値から第１の分類器についての特異度しきい値までの固定数の均等に離間した値をとることによって取得され得る。可能な値の第２のセットは、感度しきい値と特異度しきい値とを含む、第２の分類器の感度しきい値から第２の分類器の特異度しきい値までの固定数の均等に離間した値をとることによって取得され得る。

【0167】

次いで、可能な第１のしきい値と可能な第２のしきい値との複数の組合せの各々について、精度が決定される。このステップにおいて、第１のセットからの各値が、第２のセットからの各値と組み合わせられる。テストデータセットからの入力は、第１の分類器および第２の分類器を通して動作される。分類予測を与えるために、第１の分類器モデル出力は、組合せにおける第１のしきい値と比較され、第２の分類器モデル出力は、組合せにおける第２のしきい値と比較される。次いで、精度は、組合せの各々について決定される。

【0168】

適用例についての所望の精度よりも大きいかまたはそれに等しい精度スコアを生じる、第１のしきい値と第２のしきい値との組合せのすべてが取り出され、取り出された組合せからの組合せが、カバレージに基づいて選択される。たとえば、取り出された組合せの中から、テストデータセットからの最も多くの結果を分類した組合せが、選択される。
第３の例
第１の例では、分類方法はタイルごとに適用される。画像タイルが、全スライド画像からとられ、第１の分類器への入力としてとられる。第１のしきい値を使用する第１の分類と第２のしきい値を使用する第２の分類とが適用される。次いで、画像タイルがＥＲバイオマーカーに対応するかどうかに関する分類予測が決定される。

【0169】

図１３は、第３の例による、分類の方法の概略図であり、分類方法は画像ごとに適用される。言い換えれば、全スライド画像がＥＲバイオマーカーに対応するかどうかに関する分類予測が取得される。

【0170】

Ｓ１５０１において、入力データが取得される。入力画像データは、この例では、前に説明されたように、組織の全スライド画像からの画像タイルである。この例では、図１３に関して示されているように、全スライド画像から複数の画像タイルが取得される。非癌組織のみを含んでいるタイルを破棄するために細胞セグメンテーションが使用され得る。

【0171】

Ｓ１５０２において、各入力画像タイルが、第１の分類器を備える分類モデルへの入力として別々にとられ、第１の分類器は、この例では、第１の例に関して説明されたように、第１のＣＮＮ４０である。第１の分類器は、各画像タイルについて、その画像タイルがＥＲバイオマーカーに関連付けられる、確率を出力する。

【0172】

次いで、アグリゲーションステップが実施される。この例では、アグリゲーションステップは、プーリング演算子を適用することを備える。最も高い確率値に対応する画像タイルが識別される。この画像タイルは、「トップランクの」画像タイルと呼ばれる。この「トップランクの」画像タイルは、次いで、分類方法の後続のステップにおいて画像を分類するために使用される。

【0173】

Ｓ１５０３において、第１のしきい値が、トップランクの画像タイルについて第１の分類器４０の出力に適用される。言い換えれば、トップランクの画像タイルについて第１のＣＮＮ４０から出力された確率値は、第１の分類の出力を与えるために、第１のしきい値と比較される。第２のしきい値が、トップランクの画像タイルについて第１の分類器４０の出力に適用される。言い換えれば、トップランクの画像タイルについて第１のＣＮＮ４０から出力された確率値は、第２の分類を与えるために、別々に、第２のしきい値と比較される。第１のしきい値と第２のしきい値とは、第１の例に関して前に説明されたように、トレーニング段階中に決定される。

【0174】

Ｓ１５０４において、全スライド画像についての最後の分類予測が、第１の分類出力および第２の分類出力に基づいて決定される。このステップにおいて、第１の分類が１を出力し、第２の分類が１を出力する場合、分類予測は１である。第１の分類が０を出力し、第２の分類が０を出力する場合、分類予測は０である。第１の分類と第２の分類とが異なる分類を出力する場合、分類予測は行われない。最後の分類を決定するために、何らかのさらなるステップが実施され得る。たとえば、画像は、専門家によって手動で分類され得る。

【0175】

第３の例では、展開中に、第１のＣＮＮ分類器４０は、タイルごとに確率を返し、これらの個々のスコアは、最大値演算子を通してアグリゲートされる。平均化など、他のトレーニング不可能なアグリゲーション関数が、代替的に使用され得る。第１の分類器４０は、第１の例の場合と同じ様式でトレーニングされる。全スライド画像についての分類予測は、単一の「代表的な」タイルについての分類予測としてとられる。

【0176】

代替例では、トレーニング可能なアグリゲーション関数が使用される。入力全スライド画像がバイオマーカーに関連付けられるかどうかの指示が、複数のタイルからのデータをアグリゲーションモデルに入力することによって決定される。アグリゲーションモデルは、長短期記憶（ＬＳＴＭ）ネットワークなど、リカレントニューラルネットワークを備え得る。第１の分類器４０の出力は、画像タイルの低減されたセット、たとえば、第１の分類器４０から出力された確率に基づく上位ｋ個のタイルを選択するために使用され得、ここで、ｋは２よりも大きい整数である。画像タイルの低減されたセットは、分類モデルへの入力としてとられる。最初に、第１のトレーニングされたモデルを使用して、画像タイルの各々に対応する特徴ベクトルが生成される。これらの特徴ベクトルは、次いで、たとえばＬＳＴＭを備え得る第２のトレーニングされたモデルへの、シーケンス中の入力としてとられる。シーケンス中の最後の入力に対応するＬＳＴＭの出力は、全結合ニューラルネットワーク層に入力され、全結合ニューラルネットワーク層は、入力画像が（陽性クラスに対応する）ＥＲバイオマーカーに関連付けられる確率を出力する。この出力値は、次いで、第１の分類の出力を与えるために第１のしきい値と比較され、第２の分類の出力を与えるために第２のしきい値と比較される。次いで、全スライド画像についての分類予測が、第１の分類および第２の分類の出力に基づいて決定される。トレーニング中に、トレーニングデータセットからの画像タイルは、推論中と同じ方法で、分類モデルへの入力としてとられる。出力は、たとえば前に説明されたようにクロスエントロピー損失関数とオプティマイザ関数とを使用して、第１のモデルと第２のモデルとをトレーニングするために、全スライド画像のためのラベルと比較される。代替例では、分類モデルは、第１のしきい値を用いた、第１のトレーニングされたモデルと第２のトレーニングされたモデルとを備える第１の分類と、第２のしきい値を用いた、異なる第１のトレーニングされたモデルと異なる第２のトレーニングされたモデルとを備える第２の分類とを適用することを備え得る。
第４の例
上記で説明された例では、すべてのクラスについて、予測カバレージ、すなわち、分類モデルが予測することができる事例の数の、低減を伴う、改善された精度が取得される。しかしながら、いくつかの適用例では、分類の方法は、クラスのうちのいくつかのみ、たとえば陰性クラスのみまたは陽性クラスのみを予測するために使用される。たとえば、分類の方法は、画像がＨＥＲ２バイオマーカーに対応するかどうかを分類するために使用され得、ここで、モデルは、陰性クラスを予測するためにのみ使用される。

【0177】

そのような例では、分類の方法は、単一の分類器と単一の予測しきい値とを使用し得る。いくつかのクラスについて、改善された精度が取得される。たとえば、分類器が第１のクラスを予測するためにのみ使用され、ここで、第１のクラスについて、改善された精度が取得される。第１のクラスに対応するしきい値が、本方法において使用される。分類が第１のクラスを予測する場合、第１のクラスの分類予測が行われる。分類予測が第１のクラスを予測しない場合、分類予測は行われない。

【0178】

前に説明されたように、より高い予測しきい値が、より高い特異度をもつ分類方法を生じ、それは、より多くの陰性事例を正しく予測することができるが、より多くの陽性事例を正しく予測することができない。たとえば、図２（ａ）中の線「特異度しきい値」は、データセット中のすべての真陰性事例が正しく予測されるしきい値を示す。より低い予測しきい値と組み合わせられた、同じ分類器が、より高い感度をもつ分類方法を生じ、それは、より多くの陽性事例を正しく予測することができるが、より多くの陰性事例を正しく予測することができない。図２（ａ）中の線「感度しきい値」は、データセット中のすべての陽性事例が正しく予測されるしきい値を示す。「特異度」しきい値は「感度」しきい値よりも高い。

【0179】

図１６は、第４の例による方法を示す。第１の例に関して説明されたように、組織の画像に対応する入力画像データに関して分類が実施される。入力画像は、それがＨＥＲ２バイオマーカーに対応しない場合、陰性クラスに分類される。

【0180】

第４の例による方法は、第１の分類を使用する。

【0181】

Ｓ１６０１において、入力データが、第１の例に関してＳ２０１において説明されたものと同じ様式で取得される。

【0182】

Ｓ１６０２において、入力データが、分類モデルへの入力としてとられる。分類モデルは第１の分類器を適用する。第１の分類器は、第１の例においてＳ２０２に関して説明されたように、ＣＮＮであり得る。

【0183】

Ｓ１６０３において、しきい値が第１の分類器の出力に適用される。言い換えれば、第１の分類器から出力された確率値は、しきい値と比較される。しきい値は、この例では、陰性クラスについてのしきい値に対応する。たとえば、しきい値は、データセットを使用して決定された感度しきい値に対応し得る。

【0184】

Ｓ１６０４において、陰性クラスについての最後の分類予測が、Ｓ１６０３から出力された第１の分類に基づいて決定される。このステップにおいて、第１の分類が０を出力する場合、分類予測は０である。第１の分類が１を出力する場合、分類予測は行われない。最後の分類を決定するために、何らかのさらなるステップが実施され得る。たとえば、画像は、専門家によって手動で分類され得る。

【0185】

この例では、第１の分類は、陰性クラスを予測するために使用される。代替例では、第１の分類は、陽性クラスを予測するために使用される。この場合、より高い予測しきい値が陽性クラスについてのしきい値に対応するように、より高い予測しきい値が使用される。たとえば、しきい値は、データセットを使用して決定された特異度しきい値に対応し得る。

【0186】

図１７は、第４の例による、分類のためのシステムをトレーニングする方法の概略図である。本方法は、上記で説明された第１の例による、分類方法において使用され得るシステムをトレーニングするために使用される。

【0187】

各々が複数の入力データを備える、トレーニングデータセットと検証データセットとが、トレーニング方法において使用される。前に説明されたように、入力データは、分類方法中の使用のための意図されたタイプの入力データに対応する。前に説明されたように、トレーニングデータセットは第１の集団に対応し得、検証データセットはターゲット集団に対応し得る。この例では、第１の例に関して説明されたように、入力データは、モデルが検出することになる特定のバイオマーカーに組織の画像が対応するか否かに応じてラベリングされる、組織の画像を備える。上記で説明されたように、特定のバイオマーカーは、この例では、ＨＥＲ２バイオマーカーである。各画像タイルは、それがバイオマーカーに対応する場合、１でラベリングされ、それがバイオマーカーに対応しない場合、０でラベリングされる。

【0188】

Ｓ１７０１において、トレーニングデータセット中の画像タイルは、第１の分類器、第１のＣＮＮ４０に提出され、それは、画像が陽性クラスに割り当てられる確率を生成する。上記で説明されたように、トレーニングデータセット中の画像の注釈と画像についての第１の分類器の出力との間の差が最小化されるように、更新されたパラメータベクトルθ１’が決定される。

【0189】

次いで、Ｓ１７０２において、トレーニングされたモデルを仮定すれば、検証データセットを使用して、予測しきい値が決定される。検証データセット中の画像タイルは、第１の分類器、第１のＣＮＮ４０に提出され、それは、推論（展開）段階に関して上記で説明されたものと同じ様式で、画像が陽性クラスに割り当てられる確率を生成する。次いで、分類器モデル予測スコア、すなわち、分類器モデルから出力された確率値が、画像のラベルと比較される。この例では、検証データセット結果から、（陽性クラスにおける）ラベル１をもつ画像についての最も低い確率値が、予測しきい値としてとられる。したがって、検証データセット上で第１の分類器モデルを動作させたことの結果から決定されるように、予測しきい値は感度しきい値に設定される。予測しきい値を感度しきい値に設定することによって、分類方法は、陰性クラスについての正確な予測、言い換えれば、偽陰性率を生成することができ、すなわち、モデルが間違って陰性として予測する陽性事例の比率が低減される。

【0190】

上記で説明された例では、予測しきい値は、検証データセットから決定された感度しきい値に設定される。しかしながら、いくつかの例では、予測しきい値は、感度しきい値よりも高い値に設定される。たとえば、予測しきい値は、最適化プロセスを使用して決定され得る。しきい値について、可能な値のセットが取得される。この例では、セット中の値のすべては、第１の例の修正に関して前に説明されたように、第１の分類器の感度しきい値よりも大きいかまたはそれに等しく、第１の分類器の特異度しきい値よりも小さいかまたはそれに等しい。

【0191】

次いで、各可能なしきい値についてスコアが決定される。スコアは、たとえばＦＮＲまたはＮＰＶであり得る。テストデータセットからの入力は、第１の分類器を通して動作される。第１の分類器モデル出力は、分類予測を与えるためにしきい値と比較される。次いで、たとえば予測のセットについてのＦＮＲを決定することによって、しきい値についてスコアが決定される。これは、各可能なしきい値について繰り返される。

【0192】

適用例についての所望のスコアよりも大きいかまたはそれに等しいスコアを生じるしきい値のすべてが取り出され、取り出されたしきい値からのしきい値が、カバレージに基づいて選択される。たとえば、取り出されたしきい値の中から、テストデータセットからの最も多くの結果を分類したしきい値が選択されるか、または、最も高いしきい値が選択される。

【0193】

陽性クラスを予測するために第１の分類が使用される例では、予測しきい値は、偽陽性率を低減するために、検証データセットから決定された特異度しきい値に設定され得る。代替的に、しきい値は、上記で説明されたものと同様の様式で、最適化プロセスによって設定され得る。

【0194】

第４の例では、分類の方法は、単一の分類器を使用し、ターゲット集団に従って、たとえばターゲット集団に対応する検証データセットを使用して、しきい値を調整し得る。その例は、１つのしきい値をもつ１つの分類器を使用し、ここで、分類の方法は、たとえば陰性クラスのみまたは陽性クラスのみを予測することが意図される。いくつかの例では、分類器はトレーニングセットに関してトレーニングされ、トレーニングの性能は検証セットに関して検証され、次いで、しきい値はテストセットに関して設定される。

【0195】

表２は、第４の例による、分類の第１の方法を使用して生成された結果を示し、それは、テストデータセットからの画像をＨＥＲ２バイオマーカーに対応しないものとして分類する。方法は、単一のしきい値が陰性クラスに対応する、上記で説明された分類器モデルを使用する。表２は、比較例による、分類の第１の方法を使用して生成された結果をも示し、それは、テストデータセットからの画像をＨＥＲ２バイオマーカーに対応するものとして分類する。方法は、０．５の単一のしきい値とともに、上記で説明されたものと同じ分類器モデルを使用する。

【0196】

【表2】

【0197】

概して癌および／または患者の特定の分子プロファイルを理解することによって、中でも、ホルモン療法、免疫療法または標的薬治療を含む癌に対して行われる様々な処置が通知され得る。中でも、突然変異ステータス、受容体ステータス、またはコピー数多型を含む診断、治療または予後マーカーのいずれかを含む様々な医療的に関連するバイオマーカーは、患者がいくつかの療法にどのくらいよく応答することになるかを決定するために識別され得る。突然変異ステータス、受容体ステータス、またはコピー数多型は、分子バイオマーカーの例である。たとえば、いくつかの場合には、分子バイオマーカーは、タンパク質発現レベルであり得る。たとえば、特定のバイオマーカーは、エストロゲン受容体（ＥＲ）、プロゲステロン受容体（ＰＲ）またはヒト上皮成長因子受容体（ＨＥＲ２）であり得る。これらのピラーバイオマーカーは、乳癌に特異的である。それらは、乳癌の予後のための最も重要なバイオマーカーであり、標的療法に基づく。ＥＲおよびＨＥＲ２は、最も一般的に、それぞれ癌治療のタモキシフェンおよびハーセプチンに関連付けられる。患者は、これらの治療のための適合性を決定するためにこれらの２つのバイオマーカーについてテストされ得る。

【0198】

上記で説明された例では、入力画像がＥＲバイオマーカーに関連付けられるかどうかに関して、入力画像が分類される。代替的に、方法は、入力画像タイルが、ＨＥＲ２バイオマーカーに関連付けられるのか、ＰＲバイオマーカーに関連付けられるのか、（肺腺癌に関連付けられる）ＥＧＦＲバイオマーカーに関連付けられるのか、（結腸腺癌に関連付けられる）ＭＳＩに関連付けられるのかを決定するために使用され得る。様々な分子バイオマーカーは、いくつかの癌を、胸部または結腸直腸などのカテゴリーに分類するために使用され得る。たとえば乳癌は、各々がＥＲ、ＰＲおよびＨＥＲ２のステータスに基づいて決定される、５つの異なる分子「サブタイプ」を有する。たとえば、ＥＲ、ＰＲおよびＨＥＲ２がすべて陰性である場合、分子サブタイプは、「基底細胞様（basal-like）」である。したがって、複数の分子バイオマーカーの存在または不在を決定することによって、分子サブタイプが予測され得る。「分子サブタイプ」は、存在または不在に基づいて、あるいは、いくつかの場合には、１つのバイオマーカーまたはバイオマーカーのセットのレベルに基づいて、特定のタイプの癌をカテゴリー分類する方法である。

【0199】

分類方法は、様々な他のバイオマーカーを検出するために使用され得る。たとえば、抗原Ｋｉ－６７も、癌の攻撃性を示す細胞増殖のためのマーカーとしてますますテストされている。したがって、特定のバイオマーカーは、代替的に、Ｋｉ－６７であり得る。たとえば、ＨＥＲ２－およびＥＲ＋乳癌の腫瘍増殖を査定するときの等級方式における核分裂像数の代替として、Ｋｉ６７核抗原のＩＨＣ染色に基づくラベリングインデックスが、他のＩＨＣマーカーとともに使用され得る。それは、アジュバント化学療法のための任意の要件など、治療的な決定のための追加情報を提供し得る。様々な研究では、それは、生存の強力な予測子であることが示された。たとえば、ＰＲＥＤＩＣＴは、初期浸潤乳癌のための異なる治療が手術後の生存率をどのように改善し得るかを示すオンラインツールである。ＰＲＥＤＩＣＴモデル性能は、予後マーカーとしてのＫｉ６７の関与とともに改善された。ＩＨＣ染色されたＫｉ６７スライドを解釈するための手動スコアリング方法は、腫瘍の外周においてなど、ランダムに選択された関心領域中の浸潤細胞をカウントすることと、すべての浸潤腫瘍細胞に関するＫｉ６７染色の割合を決定することとを含む。上記で説明された従来の分子プロファイリング技法と同様に、このプロセスは、労働集約型であり、人的エラーを受けやすく、観測者間／観測者内にオープンである。たとえば、Ｈ＆Ｅ画像からＫｉ６７インデックスを予測することによって、そのようなプロセスは、より短縮され、精度が潜在的に改善され得る。

【0200】

分類方法は、癌の診断、治療および／または予後について関連する特定のバイオマーカーの自動プロファイリングを提供することができる。特定のバイオマーカーは、他の例の中でも、突然変異ステータス、受容体ステータスまたはコピー数多型であり得る。プロファイリングは、説明された例では全スライドＨ＆Ｅ画像から実施されるが、他の画像または入力が使用され得る。

【0201】

バイオマーカーは、分子であるか、または、たとえば、特定の分子の量など、１つまたは複数の分子のうちの１つに関連付けられた特性であり得る。いくつかの場合には、バイオマーカーは、特定の癌治療に関連付けられた分子である。バイオマーカーは、臨床的に実行可能な遺伝子変異であり得る。この例では、特定のバイオマーカーはＥＲバイオマーカーである。他のバイオマーカーの例が、以下でより詳細に説明される。

【0202】

代替的に、分類予測は、他のプロパティに基づき得る。いくつかの例では、分類方法は、たとえば画像が癌性細胞を含んでいるかどうかを分類する。

【0203】

上記で説明された例では、ヘマトキシリンおよびエオシン染色を用いて染色された組織学的切片の画像が使用されるが、様々な方法を使用して取得された様々なタイプの組織画像が、説明された方法を使用して処理され得る。たとえば、代替的に、免疫組織化学（ＩＨＣ）染色を受けた組織学的切片の画像が、入力としてとられ得る。ＩＨＣ染色は、組織切片の細胞中の抗原を選択的に識別することに関与する。抗体は、生物組織中の抗原に特異的に結合する。染色は、抗体と抗原の相互作用の視覚化を可能にする。たとえば、色素生産性免疫組織化学（ＣＩＨ）を使用して、抗体は、発色反応を触媒することができる酵素に活用される。

【0204】

上記で説明された例では、バイナリ分類方法が実施される。しかしながら、代替例では、分類の方法は、多方向分類のために使用され得る。多方向分類では、分類モデルは、複数のクラスの各クラスについて第１の分類および第２の分類を適用し、ここで、第２の分類は、そのクラスについて、第１の分類よりも高い真陽性率を有するように構成される。検証データセットからの結果を仮定すれば、クラスについての真陽性率は、クラス中にあるものとして方法が正しく予測するクラス中の事例の比率として決定される。

【0205】

次に、３つのクラスへの分類が実施される一例が説明される。３方向分類器モデルが入力に適用される。第１のクラスについての第１の分類は、第１のクラスについての出力を第１の予測しきい値と比較することを備える。第１のクラスについての第２の分類は、第１のクラスについての出力を第２の予測しきい値と比較することを備える。第１の予測しきい値は第２の予測しきい値よりも高い。第２のクラスについての第１の分類は、第２のクラスについての出力を第３の予測しきい値と比較することを備える。第２のクラスについての第２の分類は、第２のクラスについての出力を第４の予測しきい値と比較することを備える。第３の予測しきい値は第４の予測しきい値よりも高い。第３のクラスについての第１の分類は、第３のクラスについての出力を第５の予測しきい値と比較することを備える。第３のクラスについての第２の分類は、第３のクラスについての出力を第６の予測しきい値と比較することを備える。第５の予測しきい値は第６の予測しきい値よりも高い。第１の予測しきい値は、第１のクラス中にない（すなわち、第２または第３のクラス中にある）入力について、検証データセット結果からの第１のクラスについての最も高い出力確率値として設定される。第２の予測しきい値は、第１のクラス中の入力について、検証データセット結果からの第１のクラスについての最も低い確率値として設定される。したがって、検証データセット上で分類器を動作させたことの結果から決定されるように、第１の予測しきい値Ｔ１は、第１のクラスについての特異度しきい値に設定され、第２の予測しきい値Ｔ２は、第１のクラスについての感度しきい値に設定される。第３の予測しきい値は、第２のクラス中にない入力について、検証データセット結果からの第２のクラスについての最も高い出力確率値として設定される。第４の予測しきい値は、第２のクラス中の入力について、検証データセット結果からの第２のクラスについての最も低い確率値として設定される。第５の予測しきい値は、第３のクラス中にない入力について、検証データセット結果からの第３のクラスについての最も高い出力確率値として設定される。第６の予測しきい値は、第３のクラス中の入力について、検証データセット結果からの第３のクラスについての最も低い確率値として設定される。

【0206】

次に、３つのクラスへの分類が実施される代替例が説明される。第１のクラスについての第１の分類は、第１のバイナリ分類器を適用することと、第１の予測しきい値を使用することとを備え、第１のクラスについての第２の分類は、第１の分類器を適用することと、第２の予測しきい値を使用することとを備え、ここにおいて、第１の予測しきい値は第２の予測しきい値よりも高い。第１のバイナリ分類器は、入力が第１のクラス中にある（陽性クラス）のか第１のクラス中にない（陰性クラス）のかを決定するようにトレーニングされる。第２のクラスについての第１の分類は、第２のバイナリ分類器を適用することと、第３の予測しきい値を使用することとを備え、第２のクラスについての第２の分類は、第２の分類器を適用することと、第４の予測しきい値を使用することとを備え、ここにおいて、第３の予測しきい値は第４の予測しきい値よりも高い。第２のバイナリ分類器は、入力が第２のクラス中にある（陽性クラス）のか第２のクラス中にない（陰性クラス）のかを決定する。第３のクラスについての第１の分類は、第３のバイナリ分類器を適用することと、第５の予測しきい値を使用することとを備え、第３のクラスについての第２の分類は、第３の分類器を適用することと、第６の予測しきい値を使用することとを備え、ここにおいて、第５の予測しきい値は第６の予測しきい値よりも高い。第２のバイナリ分類器は、入力が第３のクラス中にある（陽性クラス）のか第３のクラス中にない（陰性クラス）のかを決定する。第１の例に関して説明されたように、各分類器がトレーニングデータセットに関して別々にトレーニングされ、しきい値が選択される。

【0207】

次に、３つのクラスへの分類が実施される代替例が説明される。第１のクラスについての第１の分類は、第１のバイナリ分類器を適用することと、第１の予測しきい値を使用することとを備え、第１のクラスについての第２の分類は、第２のバイナリ分類器を適用することと、第２の予測しきい値を使用することとを備える。第１のバイナリ分類器と第２のバイナリ分類器とは、入力が第１のクラス中にある（陽性クラス）のか第１のクラス中にない（陰性クラス）のかを決定するようにトレーニングされる。第２のクラスについての第１の分類は、第３のバイナリ分類器を適用することと、第３の予測しきい値を使用することとを備え、第２のクラスについての第２の分類は、第４のバイナリ分類器を適用することと、第４の予測しきい値を使用することとを備える。第３のバイナリ分類器と第４のバイナリ分類器とは、入力が第２のクラス中にある（陽性クラス）のか第２のクラス中にない（陰性クラス）のかを決定するようにトレーニングされる。第３のクラスについての第１の分類は、第５のバイナリ分類器を適用することと、第５の予測しきい値を使用することとを備え、第３のクラスについての第２の分類は、第６のバイナリ分類器を適用することと、第６の予測しきい値を使用することとを備える。第５のバイナリ分類器と第６のバイナリ分類器とは、入力が第３のクラス中にある（陽性クラス）のか第３のクラス中にない（陰性クラス）のかを決定するようにトレーニングされる。上記で第２の例に関して説明されたように、各クラスに対応する３つまたはそれ以上の分類器が、トレーニングデータセットに関して別々にトレーニングされ、第１の分類および第２の分類のために使用される分類器が、各クラスについて選択される。各クラスについて、陽性クラスは、２つの分類器について同じである。

【0208】

図１４は、分類の方法の概略図である。方法は、バイナリ予測値だけでなく、テストデータセットに対する、予測の前の実施に基づいてその予測が正しいことが確実であるかどうかのインジケータをも出力する、予測医療デバイス（ＰＭＤ：predictive medical device）を展開することを備える。ＰＭＤが確実である事例に関しては、その事例について予測が与えられる。ＰＭＤが確実でない事例に関しては、予測が与えられず、その事例は標準治療（standard of care）へと続くことになる。

【0209】

Ｓ１３０１において、分析されるべき入力医療サンプルまたはデータが取得される。Ｓ１３０２において、入力がＰＭＤに入力される。Ｓ１３０３において、予測値（１または０）が、確実性とともに、出力される。第１の分類と第２の分類とが合致する場合、確実性は１であり、方法はＳ１３０５に移動する。標準治療分析を避けて、分析（予測値）が提供される。第１の分類と第２の分類とが合致しない場合、確実性は０であり、方法はＳ１３０４に移動する。次いで、手動検査を含み得る標準治療分析が実施される。この分析は、時間がかかるかまたは費用がかかることがある。Ｓ１３０５またはＳ１０３４のいずれかにおいて、分析が提供されると、方法は、Ｓ１３０６に移動し、後続のプロセスを実施する。

【0210】

図１５は、一実施形態による、分類システム１の概略図を示す。システム１は、入力１１と、プロセッサ３と、作業メモリ９と、出力１３と、ストレージ７とを備える。システム１は、入力画像データをとり、出力を生成する。出力は、診断情報を備え得る。特に、出力は、入力画像がバイオマーカーに関連付けられるかどうかの指示であり得る。

【0211】

システム１は、コンピューティングシステム、たとえば、汎用コンピュータなどのエンドユーザシステム、またはサーバである。

【0212】

プロセッサ３は、ストレージ７に結合され、ＲＡＭ９を含む作業メモリにアクセスする。プロセッサ３は、作業メモリに記憶されたコード中の命令に応答し、それを処理する、論理回路を備え得る。

【0213】

コンピュータプログラム５は、不揮発性メモリ７に記憶される。不揮発性メモリ７は、プロセッサ３によってアクセスされ、記憶されたコード５は、プロセッサ３によって取り出され、実行される。特に、実行されたとき、本明細書で説明される方法を実施するコンピュータプログラムコード５は、作業メモリ９に記憶されたソフトウェア製品として表される。プロセッサ３によるコード５の実行は、本明細書で説明される実施形態を実装させることになる。

【0214】

プロセッサ３はまた、入力モジュール１１と出力モジュール１３とにアクセスする。入力および出力モジュールまたはインターフェース１１、１３は、単一の構成要素であり得るか、または別個の入力インターフェース１１と別個の出力インターフェース１３とに分割され得る。

【0215】

入力モジュール１１は、データを受信するための入力１５に接続される。入力１５は、外部記憶媒体からまたは通信ネットワークを通してデータを受信するための受信機であり得る。代替的に、入力１５は、画像キャプチャ装置などのハードウェアを備え得る。代替的に、入力１５は、記憶された画像ファイルからデータを読み取り得、これは、システム上に、あるいはフロッピーディスク、ＣＤ ＲＯＭ、磁気デバイスまたはプログラマブルメモリデバイスなど、別個の記憶媒体上に記憶され得る。

【0216】

出力モジュール１３に接続されるのは、出力１７である。出力１７は、視覚ディスプレイなどのハードウェアを備え得る。代替的に、出力は、外部記憶媒体にまたは通信ネットワークを通してデータを送信するための送信機であり得る。代替的に、出力１７は、記憶された画像ファイルにデータを書き込み得、これは、システム上に、あるいはフロッピーディスク、ＣＤ ＲＯＭ、磁気デバイスまたはプログラマブルメモリデバイスなど、別個の記憶媒体上に記憶され得る。

【0217】

ストレージ７は、プロセッサ３に通信可能に結合される。ストレージ７は、プロセッサ３によって実行されたときにコード５によって使用されるデータを含んでいることがある。示されているように、ストレージ７は、デバイス中に含まれているローカルメモリである。しかしながら、代替的に、ストレージ７は、たとえば、（インターネットなどの）通信ネットワークを介してリモートでアクセスされ得るクラウドベースメモリを使用して完全にまたは部分的にリモートに位置し得る。コード５はまた、ストレージ７に記憶される。コード５は、実行されたとき、作業メモリ９中に配置される。

【0218】

システム１は、データを入力および出力するためのハードウェアをもつ共通システム中に位置し得る。代替的に、システム１は、別個のユニット（たとえば、画像キャプチャデバイス）から送信された画像データを受信し、別の別個のユニット（たとえば、画面を備えるユーザコンピュータ）に出力データを送信するリモートシステム１であり得る。たとえば、システムは、データを受信および送信するクラウドコンピューティングシステム上に実装され得る。

【0219】

説明されるシステムでは、デバイス中に位置する単一のプロセッサ３が使用されるが、システムは、同じシステム中に位置することもリモートに位置することもある２つまたはそれ以上のプロセッサを備え得、これらは、処理の異なる部分を実施し、それらの間でデータを送信するように構成される。たとえば、システムは、グラフィカル処理ユニット（ＧＰＵ）と一般的な中央処理ユニット（ＣＰＵ）とを備え得る。様々な動作はＧＰＵによって実装されるが、他の動作はＣＰＵによって実装される。たとえば、行列演算がＧＰＵによって実施され得る。

【0220】

メモリへのソフトウェアのローディングとストレージユニット７へのデータの記憶とのための通常のプロシージャが適用される。コード５は、元の機器中に埋め込まれ得るか、あるいは製造後に全体としてまたは部分的に提供され得る。たとえば、コードは、全体として、ダウンロードの形態であり得るコンピュータプログラム製品として導入され得るか、または光ディスクなどのコンピュータプログラム記憶媒体を介して導入され得る。代替的に、既存のダイアログマネージャソフトウェアへの修正が、説明される実施形態の特徴を提供するために更新またはプラグインによって行われ得る。

【0221】

分類モデルをトレーニングする方法と、トレーニングされた分類モデルを使用する分類の方法とが、同じシステム上で実施され得る。たとえば、分類モデルをトレーニングする方法と、トレーニングされた分類モデルを使用する分類の方法とは、図１５に関して説明されたようにシステム上で実施され得、ここで、トレーニングされた分類モデルは、トレーニングされるとメモリ７に記憶される。代替的に、分類モデルをトレーニングする方法は第１のシステム上で実施され得、トレーニングされた分類モデルは第２のシステムに記憶され、したがって、分類の方法は第２のシステム上で実施される。

【0222】

説明される実施形態が任意のコンピューティングシステムに適用可能であるが、図１５に示されている例示的なコンピューティングシステムは、本明細書で説明される実施形態を実施することが可能な手段を提供することが諒解されよう。使用中に、システム１は、データ入力１１を通してデータを受信する。プロセッサ３上で実行されるプログラム５は、上記の図を参照しながら説明された様式で、出力１３を通してデータを出力する。

【0223】

いくつかの実施形態が説明されたが、これらの実施形態は、単に例として提示されており、本発明の範囲を限定するものではない。実際、本明細書で説明される新規の方法および装置は、様々な他の形態で具体化され得、さらに、本明細書で説明される方法および装置の形態の様々な省略、置換および変更が行われ得る。

【図1】

【図2(a)】

【図2(b)】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8(a)】

【図8(b)】

【図9】

【図10(a)】

【図10(b)】

【図10(c)】

【図11(a)】

【図11(b)】

【図12(a)】

【図12(b)】

【図12(c)】

【図13】

【図14】

【図15】

【図16】

【図17】

【国際調査報告】