特表 2024-544291 敵対的生成ネットワークを使用したマルチプレックス明視野イメージングからの合成シングルプレックス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-28

(54)【発明の名称】敵対的生成ネットワークを使用したマルチプレックス明視野イメージングからの合成シングルプレックス

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241121BHJP

   G06V 10/82 20220101ALI20241121BHJP

   G01N 33/48 20060101ALI20241121BHJP

   G01N 33/483 20060101ALI20241121BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 630

G06V10/82

G01N33/48 P

G01N33/483 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024535862

(86)(22)【出願日】2022-12-12

(85)【翻訳文提出日】2024-08-09

(86)【国際出願番号】 US2022081378

(87)【国際公開番号】W WO2023114725

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】63/289,867

(32)【優先日】2021-12-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】511286517

【氏名又は名称】ヴェンタナ メディカル システムズ， インク．

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】キム， ジョンウォン

(72)【発明者】

【氏名】ロルサクル， アウラヌク

(72)【発明者】

【氏名】ニエ， ヤオ

(72)【発明者】

【氏名】ワン， シンウェイ

(72)【発明者】

【氏名】チャオ， ツオ

【テーマコード（参考）】

2G045

5L096

【Ｆターム（参考）】

2G045AA24

2G045BB24

2G045CB01

2G045FA16

2G045FB03

2G045GC12

2G045JA01

2G045JA03

5L096BA06

5L096CA18

5L096HA11

(57)【要約】

２つ以上の染料で染色された特定の試料の特定のスライスを描写するマルチプレックス画像にアクセスする。生成ネットワークを使用して、発現バイオマーカーそれぞれで染色された特定の試料の特定のスライスを描写する、予測シングルプレックス画像を生成する。生成ネットワークは、訓練用マルチプレックス画像のセットおよび訓練用シングルプレックス画像のセットを使用して、機械学習モデルを訓練することによって訓練されていてもよい。訓練用マルチプレックス画像のセットはそれぞれ、２つ以上の染料で染色された試料のスライスを描写した。訓練用シングルプレックス画像のセットはそれぞれ、単一の染料で染色された試料のスライスを描写した。機械学習モデルは、所与の画像が生成ネットワークによって生成されたか、または実際のスライドのシングルプレックス画像であったかに関して識別するように構成された、識別ネットワークを含んでいた。方法はさらに、予測シングルプレックス画像を出力することを含む。
【選択図】図４、図６

【特許請求の範囲】

【請求項1】

２つ以上の染料で染色された特定の試料の特定のスライスを描写するマルチプレックス画像にアクセスすることと、
生成ネットワークを使用して、前記２つ以上の染料のうち１つのみで染色された前記特定の試料の前記特定のスライスを描写する、予測シングルプレックス画像を生成することであって、
前記生成ネットワークが、訓練用マルチプレックス画像のセットおよび訓練用シングルプレックス画像のセットを使用して、機械学習モデルを訓練することによって訓練されており、前記訓練用マルチプレックス画像のセットがそれぞれ、２つ以上の染料で染色された試料のスライスを描写しており、前記訓練用シングルプレックス画像のセットがそれぞれ、単一の染料で染色された試料のスライスを描写しており、
前記機械学習モデルが、所与の画像が前記生成ネットワークによって生成されたか、または実際のスライドのシングルプレックス画像であったかに関して識別するように構成された、識別ネットワークを含んでいた、
予測シングルプレックス画像を生成することと、
前記予測シングルプレックス画像を出力することと
を含む、コンピュータ実装方法。

【請求項2】

前記訓練用シングルプレックス画像のセットがそれぞれ、対応する訓練用マルチプレックス画像を得たコンテキストに対して構成されたアンミックスまたはリミックスアルゴリズムを使用して、前記訓練用マルチプレックス画像のセットのうち前記対応する訓練用マルチプレックス画像を処理することによって生成される、合成画像であった、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記機械学習モデルがＰｉｘ２Ｐｉｘモデルを含んでいた、請求項１に記載のコンピュータ実装方法。

【請求項4】

前記訓練用シングルプレックス画像のセットがそれぞれ、前記訓練用マルチプレックス画像のセットのうちいずれにも描写されていない対応するスライスを描写する実画像であった、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記機械学習モデルがＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮを含んでおり、前記ＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮが、
受信したシングルプレックス画像それぞれに対して予測マルチプレックス画像を生成するように構成された、別の生成ネットワークと、
所与の画像が前記別の生成ネットワークによって生成されたか、または実際のスライドのマルチプレックス画像であったかに関して識別するように構成された、別の識別ネットワークと
を含んでいた、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記予測シングルプレックス画像を生成する前に、前記機械学習モデルの前記訓練を実施することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項7】

前記マルチプレックス画像が第１のサイトで第１のスキャナを使用して生成されており、前記方法がさらに、
前記２つ以上の染料で染色された別の特定の試料の別の特定のスライスを描写する別のマルチプレックス画像にアクセスすることと、
前記生成ネットワークを使用して、前記２つ以上の染料のうち１つのみで染色された前記別の特定のスライスを描写する別の予測シングルプレックス画像を生成することであって、前記生成ネットワークが、前記予測シングルプレックス画像が生成されたときおよび前記別の予測シングルプレックス画像が生成されたときに、同じパラメータ値を用いて構成された、別の予測シングルプレックス画像を生成することと、
前記別の予測シングルプレックス画像を出力することと
を含む、請求項１に記載のコンピュータ実装方法。

【請求項8】

１つまたは複数のデータプロセッサと、
命令を収容し、前記命令が前記１つまたは複数のデータプロセッサで実行されると、前記１つまたは複数のデータプロセッサに動作のセットを実施させる、非一時的コンピュータ可読記憶媒体と
を備え、前記動作のセットが、
２つ以上の染料で染色された特定の試料の特定のスライスを描写するマルチプレックス画像にアクセスすることと、
生成ネットワークを使用して、前記２つ以上の染料のうち１つのみで染色された前記特定の試料の前記特定のスライスを描写する、予測シングルプレックス画像を生成することであって、
前記生成ネットワークが、訓練用マルチプレックス画像のセットおよび訓練用シングルプレックス画像のセットを使用して、機械学習モデルを訓練することによって訓練されており、前記訓練用マルチプレックス画像のセットがそれぞれ、２つ以上の染料で染色された試料のスライスを描写しており、前記訓練用シングルプレックス画像のセットがそれぞれ、単一の染料で染色された試料のスライスを描写しており、
前記機械学習モデルが、所与の画像が前記生成ネットワークによって生成されたか、または実際のスライドのシングルプレックス画像であったかに関して識別するように構成された、識別ネットワークを含んでいた、
予測シングルプレックス画像を生成することと、
前記予測シングルプレックス画像を出力することと
を含む、システム。

【請求項9】

前記訓練用シングルプレックス画像のセットがそれぞれ、対応する訓練用マルチプレックス画像を得たコンテキストに対して構成されたアンミックスまたはリミックスアルゴリズムを使用して、前記訓練用マルチプレックス画像のセットのうち前記対応する訓練用マルチプレックス画像を処理することによって生成される、合成画像であった、請求項８に記載のシステム。

【請求項10】

前記機械学習モデルがＰｉｘ２Ｐｉｘモデルを含んでいた、請求項８に記載のシステム。

【請求項11】

前記訓練用シングルプレックス画像のセットがそれぞれ、前記訓練用マルチプレックス画像のセットのうちいずれにも描写されていない対応するスライスを描写する実画像であった、請求項８に記載のシステム。

【請求項12】

前記機械学習モデルがＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮを含んでおり、前記ＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮが、
受信したシングルプレックス画像それぞれに対して予測マルチプレックス画像を生成するように構成された、別の生成ネットワークと、
所与の画像が前記別の生成ネットワークによって生成されたか、または実際のスライドのマルチプレックス画像であったかに関して識別するように構成された、別の識別ネットワークと
を含んでいた、請求項８に記載のシステム。

【請求項13】

前記動作のセットが、前記予測シングルプレックス画像を生成する前に、前記機械学習モデルの前記訓練を実施することをさらに含む、請求項８に記載のシステム。

【請求項14】

前記マルチプレックス画像が第１のサイトで第１のスキャナを使用して生成されており、前記動作のセットがさらに、
前記２つ以上の染料で染色された別の特定の試料の別の特定のスライスを描写する別のマルチプレックス画像にアクセスすることと、
前記生成ネットワークを使用して、前記２つ以上の染料のうち１つのみで染色された前記別の特定のスライスを描写する別の予測シングルプレックス画像を生成することであって、前記生成ネットワークが、前記予測シングルプレックス画像が生成されたときおよび前記別の予測シングルプレックス画像が生成されたときに、同じパラメータ値を用いて構成された、別の予測シングルプレックス画像を生成することと、
前記別の予測シングルプレックス画像を出力することと
を含む、請求項８に記載のシステム。

【請求項15】

非一時的機械可読記憶媒体において有形的に具体化されたコンピュータプログラム製品であって、１つまたは複数のデータプロセッサに動作のセットを実施させるように構成された命令を含み、前記動作のセットが、
２つ以上の染料で染色された特定の試料の特定のスライスを描写するマルチプレックス画像にアクセスすることと、
生成ネットワークを使用して、前記２つ以上の染料のうち１つのみで染色された前記特定の試料の前記特定のスライスを描写する、予測シングルプレックス画像を生成することであって、
前記生成ネットワークが、訓練用マルチプレックス画像のセットおよび訓練用シングルプレックス画像のセットを使用して、機械学習モデルを訓練することによって訓練されており、前記訓練用マルチプレックス画像のセットがそれぞれ、２つ以上の染料で染色された試料のスライスを描写しており、前記訓練用シングルプレックス画像のセットがそれぞれ、単一の染料で染色された試料のスライスを描写しており、
前記機械学習モデルが、所与の画像が前記生成ネットワークによって生成されたか、または実際のスライドのシングルプレックス画像であったかに関して識別するように構成された、識別ネットワークを含んでいた、
予測シングルプレックス画像を生成することと、
前記予測シングルプレックス画像を出力することと
を含む、コンピュータプログラム製品。

【請求項16】

前記訓練用シングルプレックス画像のセットがそれぞれ、対応する訓練用マルチプレックス画像を得たコンテキストに対して構成されたアンミックスまたはリミックスアルゴリズムを使用して、前記訓練用マルチプレックス画像のセットのうち前記対応する訓練用マルチプレックス画像を処理することによって生成される、合成画像であった、請求項１５に記載のコンピュータプログラム製品。

【請求項17】

前記機械学習モデルがＰｉｘ２Ｐｉｘモデルを含んでいた、請求項１５に記載のコンピュータプログラム製品。

【請求項18】

前記訓練用シングルプレックス画像のセットがそれぞれ、前記訓練用マルチプレックス画像のセットのうちいずれにも描写されていない対応するスライスを描写する実画像であった、請求項１５に記載のコンピュータプログラム製品。

【請求項19】

前記機械学習モデルがＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮを含んでおり、前記ＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮが、
受信したシングルプレックス画像それぞれに対して予測マルチプレックス画像を生成するように構成された、別の生成ネットワークと、
所与の画像が前記別の生成ネットワークによって生成されたか、または実際のスライドのマルチプレックス画像であったかに関して識別するように構成された、別の識別ネットワークと
を含んでいた、請求項１５に記載のコンピュータプログラム製品。

【請求項20】

前記動作のセットが、前記予測シングルプレックス画像を生成する前に、前記機械学習モデルの前記訓練を実施することをさらに含む、請求項１５に記載のコンピュータプログラム製品。

【請求項21】

前記マルチプレックス画像が第１のサイトで第１のスキャナを使用して生成されており、前記動作のセットがさらに、
前記２つ以上の染料で染色された別の特定の試料の別の特定のスライスを描写する別のマルチプレックス画像にアクセスすることと、
前記生成ネットワークを使用して、前記２つ以上の染料のうち１つのみで染色された前記別の特定のスライスを描写する別の予測シングルプレックス画像を生成することであって、前記生成ネットワークが、前記予測シングルプレックス画像が生成されたときおよび前記別の予測シングルプレックス画像が生成されたときに、同じパラメータ値を用いて構成された、別の予測シングルプレックス画像を生成することと、
前記別の予測シングルプレックス画像を出力することと
を含む、請求項１５に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１２月１５日付けの米国仮出願第６３／２８９，８６７号の利益および優先権を主張し、その全内容をあらゆる目的のため参照により本明細書に組み込む。

【背景技術】

【0002】

デジタル病理学では、複数の異なるバイオマーカーの相対空間位置を同定することが重要である場合が多い。複数のバイオマーカーを評価する１つの手法としては、試料の各スライスを単一の色素源で染色し、ただしスライスごとにどの色素源を使用するかを入れ替えることが挙げられる。このようにして、各スライドが単一のバイオマーカーを示し、連続スライドが異なるバイオマーカーを示すようになる。相対位置情報を評価するため、次に、連続スライドを整列させる試みで位置合わせステップが実施されてもよく、連続スライドからのバイオマーカー情報は次に、互いに重ねられてもよい。しかしながら、位置合わせステップは不完全な場合があり、試料の生物学的属性は隣接スライスで異なることがあるため、重ねられたバイオマーカーは非現実的な表現を提示することがある。

【0003】

マルチプレックス明視野免疫組織化学（ＭＰＸ ＩＨＣ）イメージングは、単一のスライド上に複数のバイオマーカーを示す画像を提供するという利点をもたらす。このように、所与の画像を使用して複数のバイオマーカーを同時に解析する（例えば、１つのタイプのバイオマーカーの、別のタイプのバイオマーカーに対する位置を同定する）ことができる。例えば、図１Ａ～図１Ｃは、対比染色液（ヘマトキシリン）を含む２つのバイオマーカーでスライスを染色した、３つのデュプレックスアッセイからの３つのスライドを示している。図１Ａは、可視化目的のＤＰ２００からの色補正済みデュプレックスＥＲ／ＰＲ画像を示しており、紫色のシグナルはプロゲステロン受容体（ＰＲ）を表し、黄色のシグナルはエストロゲン受容体（ＥＲ）を表している。図１Ｂは、ＤＰ２００によるスキャンによって生成された生画像を示しており、紫色のシグナルはＰＤＬ１を表し、黄色のシグナルはパンサイトケラチン（ＰａｎＣＫ）を表しており、これは通常、腫瘍マーカーとして使用される。図１Ｃは、ｉｓｃａｎＨＴによるスキャンによって生成された生画像を示しており、紫色のシグナルはＫｉ６７を表し、黄色のシグナルはＣＤ８細胞を表している。

【0004】

さらに、図１Ｄ～図１Ｆは、対比染色液を含む３つのバイオマーカーでスライスを染色した、マルチプレックスアッセイからのスライドを示している。図１Ｄは、ＥＲ、ＰＲ、およびＨｅｒ２染料を含むスライドを示している（Ｈｅｒ２染料はＨＥＲ２プロテインを染色する）。図１Ｅは、ＰＤＬ１、ｃＭＥＴ、およびＥＧＦＲ染料を含むスライドを示している（ｃＭＥＴ染料はｃ－ＭＥＴプロテインを染色し、ＥＧＦＲ染料はＥＧＦＲプロテインを染色する）。図１Ｆは、ＣＤ８、ＣＤ３、およびＢＣＬ２染料を含むスライドを示している（ＣＤ８およびＣＤ８染料はＣＤ３、ＣＤ８、ＢＣＬ－２プロテインをそれぞれ染色する）。

【0005】

病理学者は、スライド上に現れる強度レベルから推定することによって、バイオマーカー発現レベルをスコアリングする。しかしながら、マルチプレックス化画像を使用して、病理学者がバイオマーカー発現レベルを、特に複数のバイオマーカーの共局在を推定することは困難なタスクである。したがって、それらのマルチプレックス画像に対応する対比染色液を含む単一バイオマーカーの各画像が、病理学者のスコアリングタスクに必要である。単一バイオマーカー画像はシングルプレックス画像と呼ばれることがあり、マルチプレックス画像をアンミックスし、アンミックスした単一バイオマーカーをヘマトキシリンチャネルとともにリミックス（即ち、再構築）して、合成シングルプレックスと呼ばれる画像にすることによって得ることができる。

【0006】

色分離は、マルチプレックス明視野画像を別個の色画像チャネルに分解する前処理ステップとして実施することができる。バイオマーカーの別個にされた色チャネルを対比染色液とリミックスして、病理学者がスコアリングまたは自動画像解析を行うための、合成シングルプレックス（シンプレックス）画像を生成することができる。色分離は、カラーデコンボリューション方法を使用して、ＲＧＢ画像を各バイオマーカーに対するその個々の構成成分色素源に分解することができる。しかしながら、色分離は一般的に不完全である。標準的なイメージングは一般的に、３つの色チャネル（例えば、赤色、緑色、および青色のチャネル）を有するので、スライスが４つ以上の染料で染色される状況（第１の染料が核を染色し、少なくとも３つの他の染料が他の３つのタイプのバイオマーカーを染色することを含んでもよい）では、色分離の不完全さが増幅される。この状況は、色分離の解決策が膨大な数になり得る。

【0007】

図２は、シングルプレックス画像を使用して複数のバイオマーカーを解析する、２つの技法の利点および不利な点のうちいくつかの概要を示している。シングルプレックス画像を得ることができる。（Ｉ）個々のスライスを複数の染色液で染色し、色分離を実施し、次にリミックスして、別個のシグナルを検出するための合成シングルプレックス画像を生成する、ならびに（ＩＩ）隣接スライスをそれぞれ単一の染色液で染色して、複数の実際のシングルプレックス染色画像を生成する。図３は、アンミックスアルゴリズムまたは位置合わせアルゴリズムの性能に影響を及ぼすことがある変動要因、例えば、複数の染色プロトコール、スキャナ、サイトなどを示している。

【0008】

アンミックスおよびリミックスに基づいた第１の手法は、完全な組織整合をもたらし、必要な組織を（隣接スライド手法と比較して）低減し、位置合わせを必要としないが、アンミックスパラメータ値を同定しなければならない。パラメータ値はさらに、コンテキスト固有なので、次のような例に異なるパラメータ値が必要とされる可能性が高い。
・異なる染色プロトコールが使用される
・異なる組織タイプが評価されている
・異なるスキャナが使用されている
・異なるメーカーの機器が使用されている
・試料が異なるサイトで処理される、および／または
・異なる解析前条件が存在する

【0009】

アンミックスとは異なり、隣接染色手法は、マルチプレックス画像に対して組織解析を実施するときの位置合わせプロトコールの性能に影響を受けることがある。隣接スライドにおけるバイオマーカー強度は実際の生物学的染色であるが、各シングルプレックス画像に対して同じ組織領域を位置決めするために、組織領域をマルチプレックス画像と整列させて組織解析を行う位置合わせアルゴリズムが必要とされる。しかしながら、所与の位置合わせアルゴリズムの性能は、第１のタイプの組織に使用される場合は良好で、第２のタイプの組織に使用される場合は不十分ということがある。したがって、位置合わせパラメータ値に複数のコンテキストをそれぞれ学習させてもよいが、この労力には時間と費用がかかる。異なるコンテキストに対して別個のパラメータ値を学習させなければ、アルゴリズムは堅牢性がなく不正確なことがある。

【発明の概要】

【0010】

いくつかの実施形態では、２つ以上の染料（例えば、２つ以上の色素源）で染色された特定の試料の特定のスライスを描写するマルチプレックス画像にアクセスすることと、生成ネットワークを使用して、２つ以上の染料のうち１つのみで染色された特定の試料の特定のスライスを描写する予測シングルプレックス画像を生成することとを含む、コンピュータ実装方法が提供される。生成ネットワークは、訓練用マルチプレックス画像のセットおよび訓練用シングルプレックス画像のセットを使用して、機械学習モデルを訓練することによって訓練されていてもよく、訓練用マルチプレックス画像のセットはそれぞれ、２つ以上の染料で染色された試料のスライスを描写し、訓練用シングルプレックス画像のセットはそれぞれ、単一の染料で染色された試料のスライスを描写した。機械学習モデルは、所与の画像が生成ネットワークによって生成されたか、または実際のスライドのシングルプレックス画像であったかに関して識別するように構成された、識別ネットワークを含んでいた。方法はさらに、予測シングルプレックス画像を出力することを含む。

【0011】

訓練用シングルプレックス画像のセットはそれぞれ、対応する訓練用マルチプレックス画像を得たコンテキストに対して構成されたアンミックスおよびリミックスアルゴリズムを使用して、訓練用マルチプレックス画像のセットのうち対応する訓練用マルチプレックス画像を処理することによって生成された、合成画像であってもよい。

【0012】

機械学習モデルは、Ｐｉｘ２ＰｉｘモデルまたはＢｉｃｙｃｌｅＧＡＮを含んでいてもよい。

【0013】

訓練用シングルプレックス画像のセットはそれぞれ、訓練用マルチプレックス画像のセットのうちいずれにも描写されなかった対応するスライスを描写する実画像であってもよい。

【0014】

機械学習モデルは、ＣｙｃｌｅＧＡＮを含んでいてもよく、ＣｙｃｌｅＧＡＮは、受信したシングルプレックス画像それぞれに対して予測マルチプレックス画像を生成するように構成された別の生成ネットワークと、所与の画像が別の生成ネットワークによって生成されたものであったか、または実際のスライドのマルチプレックス画像であったかに関して識別するように構成された別の識別ネットワークとを含んでいた。

【0015】

方法はさらに、予測シングルプレックス画像を生成する前に、機械学習モデルの訓練を実施することを含んでもよい。

【0016】

マルチプレックス画像は、第１のスキャナを使用して第１のサイトで生成されていてもよく、方法はさらに、２つ以上の染料で染色された別の特定の試料の別の特定のスライスを描写する別のマルチプレックス画像にアクセスすることと、予測シングルプレックス画像が生成されたときおよび別の予測シングルプレックス画像が生成されたときに、同じパラメータ値を用いて構成された、生成ネットワークを使用して、２つ以上の染料のうち１つのみで染色された別の特定のスライスを描写する別の予測シングルプレックス画像を生成することと、別の予測シングルプレックス画像を出力することとを含んでもよい。

【0017】

いくつかの実施形態では、１つまたは複数のデータプロセッサと、命令を収容した非一時的コンピュータ可読記憶媒体とを含み、命令が１つまたは複数のデータプロセッサで実行されると、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくはすべてを実施させる、システムが提供される。

【0018】

いくつかの実施形態では、非一時的機械可読記憶媒体の形で有形的に具体化され、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくはすべてを実施させるように構成された命令を含む、コンピュータプログラム製品が提供される。

【0019】

本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を収容した非一時的コンピュータ可読記憶媒体を含み、命令は、１つまたは複数のデータプロセッサで実行されると、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくはすべて、ならびに／あるいは１つまたは複数のプロセスの一部もしくはすべてを実施させる。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくはすべて、ならびに／あるいは１つまたは複数のプロセスの一部もしくはすべてを実施させるように構成された命令を含む、非一時的機械可読記憶媒体において有形的に具体化された、コンピュータプログラム製品を含む。

【0020】

用いられている用語および表現は、限定ではなく説明のための用語として使用されており、かかる用語および表現を使用することに、図示され記載される特徴またはその部分のあらゆる等価物を除外する意図はなく、特許請求する発明の範囲内において様々な修正が可能であることが認識される。したがって、特許請求される本発明は実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示する概念の修正および変形が当業者によって再分類されてもよく、かかる修正および変形は、添付の特許請求の範囲によって定義されるような本発明の範囲内にあるとみなされることが理解されるべきである。

【0021】

本特許または出願ファイルは、カラーで作成された少なくとも１つの図面を含む。本特許または特許出願公開のカラー図面を含むコピーは、請求および必要な料金の支払いに応じて特許庁によって提供される。

【0022】

様々な実施形態の態様および特徴は、添付図面を参照した実施例の記載によってより明白となるであろう。

【図面の簡単な説明】

【0023】

【図1A】組織スライドが２つの染料で染色されたマルチプレックスアッセイによるスライドを示す図である。

【図1B】組織スライドが２つの染料で染色されたマルチプレックスアッセイによるスライドを示す図である。

【図1C】組織スライドが２つの染料で染色されたマルチプレックスアッセイによるスライドを示す図である。

【図1D】組織スライドが２つの染料で染色されたマルチプレックスアッセイによるスライドを示す図である。

【図1E】組織スライドが２つの染料で染色されたマルチプレックスアッセイによるスライドを示す図である。

【図1F】組織スライドが２つの染料で染色されたマルチプレックスアッセイによるスライドを示す図である。

【図2】複数のバイオマーカーを解析する２つの技法の利点および不利な点のうちいくつかの概要を示す図である。

【図3】アンミックスアルゴリズムまたは位置合わせアルゴリズムの性能に影響することがあるコンテキストを示す図である。

【図4】合成シングルプレックス画像を生成する例示的なネットワークを示す図であり、画像が画像生成システムで生成される、図である。

【図5】ＣｙｃｌｅＧＡＮのアーキテクチャおよび訓練を例証する図である。

【図6】合成シングルプレックス画像を生成する別の例示的なネットワークを示す図である。

【図7】モデル訓練システムが訓練してもよい例示的なＰｉｘ２Ｐｉｘ ＧＡＮモデルを示す図である。

【図8】例示的な入力画像、生成ネットワークによる予測シングルプレックス画像、およびアンミックスアルゴリズムによって生成された比較シングルプレックス画像を示す図である。

【図9】追加の例示的な入力画像、生成ネットワークによる予測シングルプレックス画像、およびアンミックスアルゴリズムによって生成された比較シングルプレックス画像を示す図である。

【図10】追加の例示的な入力画像、生成ネットワークによる予測シングルプレックス画像、および単一の染料（例えば、対比染色液を含むバイオマーカー）で染色された隣接スライドをイメージングすることによって得られた比較シングルプレックス画像を示す図である。

【図11】入力マルチプレックスＩＨＣ画像（対の左側）、およびマルチプレックスＩＨＣ画像の各バイオマーカーに対する予測合成シングルプレックス画像の２つの比較を示す図である。

【図12A】合成シングルプレックス画像を生成する２つの技法の性能を実証する例示的な画像を示す図である。

【図12B】合成シングルプレックス画像を生成する２つの技法の性能を実証する例示的な画像を示す図である。

【図12C】合成シングルプレックス画像を生成する２つの技法の性能を実証する例示的な画像を示す図である。

【図12D】合成シングルプレックス画像を生成する２つの技法の性能を実証する例示的な画像を示す図である。

【図13】合成シングルプレックス画像を生成するＣｙｃｌｅＧＡＮ技法を使用して訓練されたネットワークの性能を実証する例示的な画像を示す図である。

【図14】合成シングルプレックス画像を生成するＣｙｃｌｅＧＡＮ技法を使用して訓練されたネットワークの性能を実証する例示的な画像を示す図である。

【図15】合成シングルプレックス画像を生成するＣｙｃｌｅＧＡＮ技法を使用して訓練されたネットワークの性能を実証する例示的な画像を示す図である。

【図16A】合成シングルプレックス画像を生成する２つの技法の性能を実証する例示的な画像を示す図である。

【図16B】合成シングルプレックス画像を生成する２つの技法の性能を実証する例示的な画像を示す図である。

【図16C】合成シングルプレックス画像を生成する２つの技法の性能を実証する例示的な画像を示す図である。

【図16D】合成シングルプレックス画像を生成する２つの技法の性能を実証する例示的な画像を示す図である。

【図17】合成シングルプレックス画像を生成するＣｙｃｌｅＧＡＮ技法を使用して訓練されたネットワークの性能を実証する例示的な画像を示す図である。

【図18】合成シングルプレックス画像を生成するＣｙｃｌｅＧＡＮ技法を使用して訓練されたネットワークの性能を実証する例示的な画像を示す図である。

【図19】合成シングルプレックス画像を生成するＣｙｃｌｅＧＡＮ技法を使用して訓練されたネットワークの性能を実証する例示的な画像を示す図である。

【図20】合成シングルプレックス画像を生成するＣｙｃｌｅＧＡＮ技法を使用して訓練されたネットワークの性能を実証する例示的な画像を示す図である。

【図21】合成シングルプレックス画像を生成するＣｙｃｌｅＧＡＮ技法を使用して訓練されたネットワークの性能を実証する例示的な画像を示す図である。

【発明を実施するための形態】

【0024】

添付図面において、同様の構成要素および／または特徴は同じ参照標識を有する場合がある。さらに、同じタイプの様々な構成要素は、参照標識にダッシュと、同様の構成要素同士を区別する第２の標識とを続けることによって、区別することができる。第１の参照標識のみが本明細書で使用される場合、その記載は、第２の参照標識にかかわらず、同じ第１の参照標識を有する同様の構成要素のいずれにも適用可能である。

【0025】

いくつかの実施形態では、機械学習モデルは訓練される、または訓練されており、マルチプレックス（ＭＰＸ）免疫組織化学（ＩＨＣ）画像から合成シングルプレックス画像を生成するのに使用される。したがって、従来のアンミックスアルゴリズム（例えば、デコンボリューションに基づくもの）も位置合わせも、複数のバイオマーカーの相対的空間位置を同定し評価するのに不要である。従来のアンミックスアルゴリズムは、異なるプロトコール、組織、対象、がん、またはサイトに適用したときに不十分であるが、本明細書で特定される機械学習モデルは、異なるコンテキストにわたってシングルプレックス画像を堅牢に生成することができる。

【0026】

機械学習モデルは、実画像を受信し、予測シングルプレックス画像を生成するジェネレータを含むことができる。実画像は、マルチプレックス画像であってもよく、またはアンミックスアルゴリズムからのリミックス画像もしくは隣接スライスに対応する画像であってもよい。ジェネレータは、Ｐｉｘ２Ｐｉｘモデル、Ｐｉｘ２ＰｉｘＨＤまたはＧＡＮモデル（例えば、ＣｙｃｌｅＧＡＮモデルもしくはＢｉｃｙｃｌｅＧＡＮ）など、より大きいモデル（例えば、ディスクリミネータを含む）を訓練した結果として学習した、パラメータ値を用いて構成されていてもよい。生成ネットワークは、入力画像に使用される染色液に特有のものであってもよいが、（例えば）異なる対象にわたって、染色液を適用する異なるプロトコールにわたって、異なる組織タイプにわたって、異なる機器部品（例えば、個々のスキャナ）にわたって、異なる機器メーカーにわたって、スライドが作られた異なるサイトにわたって、および／または異なる解析前条件にわたって適用するのに十分に一般的であってもよい。

【0027】

図４は、合成シングルプレックス画像を生成する例示的なネットワークを示している。画像は画像生成システム４０５で生成される。固定／包埋システム４１０は、固定剤（例えば、ホルムアルデヒド溶液などの液体固定剤）ならびに／あるいは包埋物質（例えば、パラフィンワックスなどの組織学ワックス、および／またはスチレンもしくはポリエチレンなどの１つもしくは複数の樹脂）を使用して、組織試料（例えば、少なくとも１つの腫瘍の少なくとも一部を含む試料）を固定および／または包埋する。各スライスは、スライスを固着剤に所定の期間（例えば、少なくとも３時間）曝露し、次に（例えば、エタノール溶液および／または清浄中間剤（clearing intermediate agent）に曝露することを介して）スライスを脱水することによって、固定されてもよい。包埋物質は、液体状態のとき（例えば、加熱されたとき）スライスに浸透することができる。

【0028】

次に、組織スライサ４１５が、固定および／または包埋された組織試料（例えば、腫瘍の試料）をスライスして、例えば４～５ミクロンの厚さをそれぞれ有する一連の切片を得る。かかる切片化は、最初に試料を冷やし、次に試料を温水浴中でスライスすることによって実施することができる。組織は、（例えば）ビブラトームまたはコンプレストームを使用することを使用してスライスすることができる。

【0029】

組織切片およびその中の細胞はほぼ透明なので、スライドの準備は一般的に、関連する構造をより見えやすくするために、組織切片を染色（例えば、自動的に染色）することを含む。いくつかの例では、染色は手動で実施される。いくつかの例では、染色は、染色システム４２０を使用して半自動または自動で実施される。

【0030】

染色は、組織の個々の切片を１つまたは複数の異なる染色液に（例えば、連続してもしくは同時に）曝露して、組織の異なる特性を発現させることを含むことができる。例えば、各切片は、所定量の染色剤に所定の期間曝露させてもよい。デュプレックスアッセイは、スライドを２つのバイオマーカー染色液で染色する手法を含む。シングルプレックスアッセイは、スライドを単一のバイオマーカー染色液で染色する手法を含む。マルチプレックスアッセイは、スライドを２つ以上のバイオマーカー染色液で染色する手法を含む。トリプレックスアッセイは、スライドを３つのバイオマーカー染色液で（例えば、核染色バイオマーカーで）染色する手法を含む。シングルプレックス、デュプレックス、トリプレックス、またはマルチプレックスアッセイのいずれの場合も、スライドをさらに、細胞核によって吸収される染色液（例えば、Ｈｅｍｅ染料）で染色してもよい。

【0031】

１つの例示的なタイプの組織染色は、１つまたは複数の化学染料（例えば、酸性染料、塩基性染料、色素源）を使用して組織構造を染色する、組織化学的染色である。組織化学的染色は、組織形態および／または細胞ミクロ解剖学の一般的態様を示すのに（例えば、細胞核を細胞質と区別する、脂肪滴を示すなどに）使用されてもよい。組織化学的染色液の一例は、ヘマトキシリン・エオジン（Ｈ＆Ｅ）である。組織化学的染色液の他の例としては、トリクローム染色液（例えば、マッソンのトリクローム）、過ヨウ素酸シッフ（ＰＡＳ）、銀染色液、および鉄染色液が挙げられる。組織化学的染色試薬（例えば、染料）の分子量は、一般的に、約５００キロダルトン（ｋＤ）以下であるが、一部の組織化学的染色試薬（例えば、アルシアンブルー、リンモリブデン酸（ＰＭＡ））は、最大２０００または３０００ｋＤの分子量を有してもよい。高分子量の組織化学的染色試薬の一例は、グリコーゲンを示すのに使用されることがあるα－アミラーゼ（約５５ｋＤ）である。

【0032】

別のタイプの組織染色は、関心の標的抗原（バイオマーカーとも呼ばれる）に特異的に結合する一次抗体を使用する、免疫組織化学（ＩＨＣ、「免疫染色」とも呼ばれる）である。ＩＨＣは直接または間接であってもよい。直接ＩＨＣでは、一次抗体は標識（例えば、クロモフォアまたはフルオロフォア）に直接コンジュゲートされる。間接ＩＨＣでは、最初に一次抗体が標的抗原に結合され、次に、標識（例えば、クロモフォアまたはフルオロフォア）とコンジュゲートされた二次抗体が一次抗体に結合される。抗体が約１５０ｋＤ以上の分子量を有するので、ＩＨＣ試薬の分子量は組織化学的染色試薬の分子量よりもはるかに大きい。

【0033】

切片は次に、対応するスライド上に個々に搭載されてもよく、イメージングシステム４２５が次にスライドをスキャンまたはイメージングして、生のデジタル病理学画像４３０ａ～ｎを生成することができる。場合によっては、隣接スライドは異なる量の染色液で染色される。例えば、スライドは１つおきに、第１の特定の染色液のみで染色した試料、または第２の特定の染色液のみで染色した試料を含んでもよく（それにより、スライドをイメージングすると、シングルプレックス画像４３０ａ～ｎが生成される）、残りのスライドはそれぞれ、第１の特定の染料および第２の特定の染料の両方で染色した試料を含んでもよく、それにより、スライドをイメージングしたときに生成されるマルチプレックス画像４３５ａ～ｎはデュプレックス画像となる。別の例として、試料から４つおきのスライドを、３つのバイオマーカー染料で染色してもよく（それにより、スライドをイメージングしたときに生成されるマルチプレックス画像４３５ａ～ｎはトリプレックス画像となる）、３バイオマーカーのこれらのスライドを分離するスライドは、バイオマーカー染料のうち１つのみ（例えば可能性として、細胞核によって吸収される染料）で染色されてもよい。バイオマーカー染料に加えて、位置参照として使用される対比染色液が存在してもよいことが認識されるであろう。例えば、対比染色液は、細胞核（例えば、ＨＴＸ）または細胞膜によって吸収されるように構成された染色液を含んでもよい。

【0034】

場合によっては、シングルプレックス画像４３０ａ～ｎおよびマルチプレックス画像４３５ａ～ｎは、隣接スライドに対応するのではなく、異なる試料に対応していてもよい。例えば、シングルプレックス画像４３０ａ～ｎは、第１の特定の染料のみまたは第２の特定の染料のみのどちらかで染色された、１つまたは複数の第１の試料からのスライドを描写してもよく、マルチプレックス画像４３５ａ～ｎは、第１および第２の特定の染料両方で染色された、１つまたは複数の第２の試料からのスライドを描写してもよい。

【0035】

どちらの状況でも、シングルプレックス画像４３０ａ～ｎおよびデュプレックス画像４３５ａ～ｎは、実際のスライドを描写する実画像であることが認識される。

【0036】

モデル訓練システム４４５は、シングルプレックス画像４３０ａ～ｎと、マルチプレックス画像４３５ａ～ｎのうち少なくともいくつかとを使用して、機械学習モデル（例えば、畳み込み機械学習モデル、１つまたは複数の畳み込み層、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、修正Ｕ－Ｎｅｔ、修正Ｖ－Ｎｅｔなどを含む）を訓練することができる。機械学習モデルを訓練するのに使用されるシングルプレックス画像４３０ａ～ｎおよびマルチプレックス画像４３５ａ～ｎは、対画像および／または位置合わせした画像を含んでもよいが、有利には必ずしもそれらの画像でなくてもよい。

【0037】

機械学習モデルは、ＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮなどの敵対的生成ネットワーク（ＧＡＮ）を含んでもよい。図５は、ＣｙｃｌｅＧＡＮのアーキテクチャおよび訓練を例証している。ＧＡＮは、対応するモデルアーキテクチャ４５０を有する１つまたは複数のモデルを含むことができる。１つまたは複数のモデルはそれぞれ、１つまたは複数の畳み込み層を含むことができる。

【0038】

ＧＡＮは、マルチプレックス画像４３５ａ～ｎのうち１つ（または予測デュプレックス画像）を受信し、予測シングルプレックス画像を生成するように構成されたジェネレータを含む、１つまたは複数の生成ネットワークを含む。場合によっては（例えば、機械学習モデルがＣｙｃｌｅＧＡＮのとき）、１つまたは複数の生成ネットワークはさらに、シングルプレックス画像４３０ａ～ｎのうち１つ（または予測シングルプレックス画像）を受信し、予測デュプレックス画像を生成するように構成されたジェネレータを含む。１つまたは複数の生成ネットワークはそれぞれ、（例えば）ニューラルネットワーク、ディープニューラルネットワーク、残差ニューラルネットワーク、および／または畳み込みニューラルネットワーク（例えば、あるいはディープ残差畳み込みニューラルネットワーク、ＲｅｓＮｅｔ、ＵＮＥＴ、順伝播型ネットワーク）を含んでもよい。

【0039】

ＧＡＮはさらに、１つまたは複数の識別ネットワークを含む。１つまたは複数の識別ネットワークはそれぞれ、（例えば）ニューラルネットワーク、ＰａｔｃｈＧＡＮ、ディープニューラルネットワーク、および／または畳み込みニューラルネットワーク（例えば、ディープ残差畳み込みニューラルネットワーク）を含んでもよい。場合によっては、識別ネットワークは対応する生成ネットワークと同じアーキテクチャを有するが、他の例では、アーキテクチャは異なる。

【0040】

１つまたは複数の識別ネットワークのうち１つの識別ネットワークは、予測シングルプレックス画像またはシングルプレックス画像４３０に関して、実画像（例えば、画像生成システム４０５によって生成される）または予測画像のどちらであるかを予測するように構成することができる。１つまたは複数の識別ネットワークのうち別の識別ネットワークは、予測デュプレックス画像またはデュプレックス画像４３０に関して、実画像（例えば、画像生成システム４０５によって生成される）または予測画像のどちらであるかを予測するように構成することができる。１つの画像生成システム４０５のみが描かれているが、モデルを訓練するのに使用される画像は複数の画像生成システム４０５によって生成されてもよく、ならびに／あるいは訓練済みの生成ネットワークを使用して処理される画像は、複数の（異なる、重複する、重複しない、または同じ）画像生成システム４０５によって生成されてもよいことが認識されるであろう。異なる画像生成システム４０５は、（例えば）異なるサイトに（例えば、異なる住所、都市などに）位置してもよい。

【0041】

（モデル訓練システム４４５によって計算され、モデル訓練システム４４５によって、ジェネレータパラメータ値４５５およびディスクリミネータパラメータ値４６０を更新するのに使用される）損失は、元の（例えば、シングルプレックスまたはデュプレックス）画像が、２つのジェネレータによって処理された対応する画像とどの程度異なるかを定量化する、サイクル一貫性損失に依存するように計算されてもよい。例えば、サイクル一貫性損失は、実際のデュプレックス画像が、１つまたは複数の第１のジェネレータが実際のデュプレックス画像を複数の予測シングルプレックス画像に変換し、それを次に第２のジェネレータが予測デュプレックス画像に変換することによって生成された、予測デュプレックス画像とどの程度異なるかを特徴付けてもよい。

【0042】

損失はさらに、または別の方法として、１つまたは複数の識別ネットワークそれぞれによって生成される予測の精度に応じて決まってもよい。

【0043】

ＧＡＮが訓練されると（例えば、損失が閾値を下回る、規定数の訓練反復が完了するなど）、合成シングルプレックスジェネレータ４６５は、マルチプレックス画像を１つまたは複数のシングルプレックス画像に変換するように構成されたジェネレータに関して、アーキテクチャおよび学習したパラメータ値を使用して、非訓練用マルチプレックス画像４３５（画像生成システムによって生成される）を合成シングルプレックス画像４７０に変換する。つまり、（例えば、ＣｙｃｌｅＧＡＮなどの機械学習モデルの訓練を介して）ジェネレータが訓練された後、ジェネレータは、機械学習モデルから分離され、マルチプレックス画像を合成シングルプレックス画像に変換するのに独立して使用されてもよい。

【0044】

シングルプレックス画像４３０ａ～ｎは、同じバイオマーカー染料（および細胞核または細胞膜によって吸収されるように構成された対比染色液染料などの対比染色液染料）で染色された、スライドの画像を含んでもよく、訓練中に学習したパラメータ値は、マルチプレックス画像４３５ａ～ｎを染色するのに使用された、複数の染料のうち１つの特定の染料に当てはまってもよいことが認識されるであろう。この場合、異なるバイオマーカー染料で染色されたスライドを描写する、シングルプレックス画像の異なるセットに次にアクセスしてもよく、モデル訓練システム４４５は次に、異なるジェネレータパラメータ値および異なるディスクリミネータパラメータ値を学習させるのに、モデルアーキテクチャ４５０を用いてモデルを訓練してもよい。つまり、別個の訓練プロセスが、マルチプレックス画像４３５ａ～ｎに描写される複数のバイオマーカー染料それぞれに適用されてもよく、結果として、異なるジェネレータがマルチプレックス画像を、異なる染料を描写する予測シングルプレックス画像に変換してもよい。例証のため、マルチプレックス画像４３５ａ～ｎがトリプレックス画像である例では、３つの異なるジェネレータを作成するのに３つの独立した訓練プロセスに使用されてもよい、３つの異なるセットのシングルプレックス画像４３０ａ～ｎ（対比染色液染料を含む、４つの異なるバイオマーカー染料に対応）があってもよい。

【0045】

図６は、合成シングルプレックス画像を生成する別の例示的なネットワークを示している。図４の参照番号と同じまたは同様の参照番号を有する図６の要素は、同じまたは類似の構造を含んでもよく、同じまたは類似の状況を実施してもよい。

【0046】

図示される例では、訓練段階の間、アンミックスシステム６７０は、従来のアンミックスアルゴリズムを使用して、（２つ以上または３つ以上の染色液で染色されたスライドを描写する）いくつかのマルチプレックス画像６３５ａ～ｎそれぞれに対して、１つまたは複数のリミックス画像６７５ａ～ｎを生成する。例えば、マルチプレックス画像が３つのバイオマーカー染色液で染色されたスライドを描写する場合、アンミックスシステム６７０は、３つのバイオマーカー染色液のうち１つで染色した場合のスライドの予測画像を描写する単一の画像、３つのバイオマーカー染色液のうち２つを用いてそのうち１つでそれぞれ染色した場合のスライドの予測画像をそれぞれ描写する２つの画像、または３つのバイオマーカー染色液のうち３つを用いてそのうち１つでそれぞれ染色した場合のスライドの予測画像をそれぞれ描写する３つの画像を出力してもよい。つまり、リミックス画像６７５ａ～ｎは、対応するマルチプレックス画像を準備するのに使用される染色液のうち１つ、２つ以上、またはすべてに対応する、予測シングルプレックススライドの画像を含んでもよい。

【0047】

アンミックスシステム６７０は、処理される各画像に対して、画像が収集されたコンテキストに固有に訓練されたアルゴリズムを使用することができる。例えば、アンミックスアルゴリズムは、組織のタイプ、染色液のタイプ、サイトの位置、対応する画像生成システムで使用される機器の部品などに基づいて選択することができる。

【0048】

アンミックスモデルは、あらゆる目的のため全体を参照により本明細書に組み込む、Ｒｕｉｆｒｏｋらの「Ｑｕａｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｈｉｓｔｏｃｈｅｍｉｃａｌ ｓｔａｉｎｉｎｇ ｂｙ ｃｏｌｏｒ ｄｅｃｏｎｖｏｌｕｔｉｏｎ」、Ａｎａｌ Ｑｕａｎｔ Ｃｙｔｏｌ Ｈｉｓｔｏｌ ２３：２９１－２９９、２００１で特定されているような、デコンボリューション技法を使用してもよい。アンミックスモデルは、別の方法としてまたは加えて、あらゆる目的のため全体を参照により本明細書に組み込む、Ｍｉａｏらの「Ｅｎｄｍｅｍｂｅｒ Ｅｘｔｒａｃｔｉｏｎ ｆｒｏｍ Ｈｉｇｈｌｙ Ｍｉｘｅｄ Ｄａｔａ Ｕｓｉｎｇ Ｍｉｎｉｍｕｍ Ｖｏｌｕｍｅ Ｃｏｎｓｔｒａｉｎｅｄ Ｎｏｎ－Ｎｅｇａｔｉｖｅ Ｍａｔｒｉｘ Ｆａｃｔｏｒｉｚａｔｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ、ｖｏｌ．４５、ｎｏ．３、ｐｐ．７６５－７７７、Ｍａｒｃｈ ２００７、ｄｏｉ：１０．１１０９／ＴＧＲＳ．２００６．８８８４６６で特定されているような、非負行列因数分解を使用してもよい。

【0049】

マルチプレックス画像は、１つまたは複数の予測シングルプレックス画像と対にすることができる。モデル訓練システム６４５は、対画像を使用して、機械学習モデル（例えば、畳み込み機械学習モデル、１つまたは複数の畳み込み層、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、修正Ｕ－Ｎｅｔ、修正Ｖ－Ｎｅｔなどを含む）を訓練することができる。

【0050】

場合によっては、機械学習モデルは、条件付き敵対ネットワークもしくはＰｉｘ２Ｐｉｘ ＧＡＮモデル（即ち、Ｐｉｘ２ＰｉｘＨＤ）、および／またはダウンサンプリングとそれに続くアップサンプリングとを実施するように構成されたモデルを含む。図７は、モデル訓練システム６４５が訓練してもよい例示的なＰｉｘ２Ｐｉｘ ＧＡＮモデルを示している。条件付き敵対ネットワークまたはＰｉｘ２Ｐｉｘ ＧＡＮは、対応するモデルアーキテクチャ４５０を有する１つまたは複数のモデルを含むことができる。１つまたは複数のモデルはそれぞれ、１つまたは複数の畳み込み層を含むことができる。

【0051】

条件付き敵対ネットワークまたはＰｉｘ２Ｐｉｘ ＧＡＮは、マルチプレックス画像６３５ａ～ｎのうち１つ（または予測デュプレックス画像）を受信し、予測シングルプレックス画像を生成するように構成されたジェネレータを含む、生成ネットワークを含む。条件付き敵対ネットワークまたはＰｉｘ２Ｐｉｘ ＧＡＮは、ダウンサンプリング層およびアップサンプリング層を含むことができる。例えば、ジェネレータは、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、修正Ｕ－Ｎｅｔ、または修正Ｖ－Ｎｅｔを含むことができる。

【0052】

機械学習モデルは、１つもしくは複数の生成ネットワーク、および／または１つもしくは複数の識別ネットワークを含んでもよい。各生成ネットワークは、２つ以上の特定の染色液で染色された試料の描写を含む画像を受信し、２つ以上の特定の染色液のうち１つのみで染色された試料の予測画像を生成するように構成され訓練されてもよい（別の生成ネットワークは、２つ以上の特定の染色液で染色された試料の描写を含む画像を受信し、２つ以上の特定の染色液のうち別の１つのみで染色された試料の予測画像を生成するように構成され訓練されてもよい）。同様に、各識別ネットワークは、特定の染色液のみを真に描写するか、または描写することが（ジェネレータによって）予測される所与の画像が、本物か偽物かを予測するように訓練され構成されてもよい。したがって、この手法は、真のトリプレックスまたはＮプレックス入力画像に基づいて、合成シングルプレックス画像を生成するのをサポートするのに使用することができる。

【0053】

機械学習モデルは、対画像を使用して訓練されるように構成されてもよい。各対のうち、
１つの画像は、試料が少なくとも２つの染色液または少なくとも３つの染色液で染色された、スライドを描写してもよく、
１つまたは複数の他の画像はそれぞれ、コンテキスト固有のアンミックスモデルを使用して、少なくとも２つまたは少なくとも３つの染色液のうち単独の１つを描写することが予測される、（特定のコンテキストに対して生成された）アンミックス画像を含む。

【0054】

識別ネットワークは、所与の画像が、生成ネットワークによって生成された偽画像、または訓練データセットにある実画像のどちらであるかを予測するように構成することができる。識別ネットワークは、畳み込みネットワークおよび／または１つもしくは複数の畳み込み層を含むことができる。

【0055】

損失（モデル訓練システム６４５によって計算され、モデル訓練システム６４５によって、ジェネレータパラメータ値６５５およびディスクリミネータパラメータ値６６０を更新するのに使用される）は、識別ネットワークによって生成される予測の精度に依存するように計算されてもよい。

【0056】

Ｐｉｘ２Ｐｉｘモデルが訓練されると（例えば、損失が閾値を下回る、規定数の訓練反復が完了するなど）、合成シングルプレックスジェネレータ６６５は、マルチプレックス画像を１つまたは複数のシングルプレックス画像に変換するように構成されたジェネレータに関して、アーキテクチャおよび学習したパラメータ値を使用して、非訓練用デュプレックス画像６３５（画像生成システムによって生成される）を合成シングルプレックス画像６６５に変換する。

【0057】

開示の実施形態の変形例が考慮されることが認識されるであろう。例えば、入力画像の拡張は、アンミックス画像、例えば黄色および紫色のチャネルを摂動させることによって適用することができ、次に、結果として得られる画像をリミックスして、新しい（即ち拡張された）デュプレックスに戻すことができる。新しいリミックス画像は入力（ソース）画像として使用することができ、摂動されたシンプレックス（従来のアンミックスに加えて摂動による合成シンプレックス）をターゲットとして使用して、機械学習モデルを訓練することができる。このように、追加の実データを獲得することなく、変形例またはデータ拡張を訓練データに導入することができる。訓練データのこれらの変形例は、ディープラーニングモデルの堅牢性を改善することができ、ＧＡＮモデルは入力画像のより多くの変形例を扱うことができる。結果として、単一のデータセットそれぞれに対して、機械学習モデル（例えば、Ｐｉｘ２Ｐｉｘモデル）を訓練するためのグラウンドトゥルースデータとして、アンミックスパラメータを生成するのが不要であってもよい。

【0058】

別の例として、実施形態は、アンミックス画像の強度によって測定される、バイオマーカー発現の真の表現として、バイオマーカー発現レベルを、即ち合成シングルプレックスにおけるマーカーシグナルの強度を正確にマッピングするため、類似の訓練およびモデリング手法を使用するように拡大されてもよい。さらに、定量化された測定基準を使用して、共局在およびバイオマーカー発現レベルを評価し、提案される手法の堅牢性を改善することができる。

【0059】

本明細書で説明し実証するように、１つまたは複数の生成ネットワークを訓練し使用する、本明細書に開示する技法は、複数の技術的利点を有する。技法は、広範な状況に対して堅牢であり、モデルが様々な画像セットのいずれかを使用して訓練されてもよいことを所与として、特定の染色液、特定の染色プロトコール、組織タイプ、スキャナなどを必要としない。さらに、アンミックスおよびリミックスの手法とは異なり、本明細書に開示する技法は、スライスを染色するのに使用される染料が純粋な参照色であることを必要としない場合にも使用することができる。加えて、本明細書に開示するモデルは、訓練セットにおけるシングルプレックス画像とマルチプレックス画像との整合が不完全、不十分、または存在しない場合であっても訓練することができる。最後に、本明細書に開示する技法は、マルチプレックス画像が多数のバイオマーカー染料（例えば、３つのバイオマーカー染料、４つのバイオマーカー染料、５つのバイオマーカー染料、またはそれ以上）を描写する場合であっても、合成シングルプレックス画像を生成するのに使用することができる。一方、合成シングルプレックス画像を生成するための他の既存の技法（例えば、非負因数分解または特異値分解）の精度は、所与のマルチプレックス画像をもたらすであろうシングルプレックスシグナルの組み合わせが数千あり得ることを所与として、３つ以上のバイオマーカー染料がマルチプレックス画像において描写される場合に急落する。追加の正則化は可能な解決策の数を低減させることがあるが、かかる正則化はケース固有であり（ワークフロー、機器、およびアッセイにわたって一般化可能ではない）、非常に正確な予測を生成するのにも不十分である。

【実施例】

【0060】

実施例１
Ｐｉｘ２Ｐｉｘネットワークを、ＭＰＸ ＩＨＣ／シングルプレックスの対画像を使用して、複数のアッセイ、スキャナ、およびがん兆候、および対象からのデータの組み合わせを用いてアンミックスして訓練した。以下のデータを訓練に使用して、対応するＰｉｘ２Ｐｉｘモデルにおいて各ＧＡＮを生成した。
－ ＤＰ２００でスキャンした、パッチサイズ１２８×１２８の計１，０００パッチを有する、スライド２枚のデュプレックスＥＲ／ＰＲ
－ ＤＰ２００でスキャンした、パッチサイズ１２８×１２８の計１，０００パッチを有する、スライド２枚のデュプレックスＰＤＬ１／ＰａｎＣＫ
－ ｉＳｃａｎＨＴでスキャンした、パッチサイズ１２８×１２８の計１，０００パッチを有する、患者１０人からのスライド１０枚のデュプレックスＫｉ６７／ＣＤ８

【0061】

図８および図９は、入力画像（第１列）、１つの染色液に対する予測シングルプレックス画像（第２列）、コンテキスト固有のアンミックスアルゴリズムを使用して同定した１つの染色液に対する「真の」シングルプレックス画像（第３列）、別の染色液に対する予測シングルプレックス画像（第４列）、およびコンテキスト固有のアンミックスアルゴリズムを使用して同定した他方の染色液に対する「真の」シングルプレックス画像（第５列）を示している。３つの列は、異なる染色液（したがって、異なるジェネレータモデル）に対応する。図示されるように、予測シングルプレックス画像はリアルであり、異なるバイオマーカー、スキャナ、がん兆候、および対象を含む試験画像にわたって「真の」シングルプレックス画像に非常に類似している。

【0062】

これらの結果は、標準的なアンミックス手法を使用すると、それらの異なるアンミックス画像を生成するのに少なくとも３つの異なる画像解析アルゴリズム（即ち、ＥＲ／ＰＲ、ＰＤＬ１／ＰａｎＣＫ、およびＫｉ６７／ＣＤ８）が必要であることを示している。しかしながら、１つのＧＡＮディープラーニングネットワーク（Ｐｉｘ２Ｐｉｘモデルの一部として訓練されたもの）を２つのモデルとともに使用して、非常に類似した品質の予測画像が生成された。

【0063】

実施例２
ＣｙｃｌｅＧＡＮネットワークを、複数のアッセイおよび複数の対象からの、ＭＰＸ ＩＨＣ／シングルプレックス隣接スライド画像の対になっていない画像を使用して訓練した。以下のデータを使用して、ＣｙｃｌｅＧＡＮネットワークの一部として各ＧＡＮモデルを訓練した。
－ ＤＰ２００でスキャンした、パッチサイズ１２８×１２８の計５１０パッチを有する、スライド２枚のデュプレックスＥＲ／ＰＲ
－ ＤＰ２００でスキャンした、パッチサイズ１２８×１２８の計５５０パッチを有する、スライド２枚のデュプレックスＰＤＬ１／ＰａｎＣＫ

【0064】

図１０では、第１列は、ＣｙｃｌｅＧＡＮの一部として訓練された第１のジェネレータに供給された例示的な入力画像を示している。第２列は、第１のジェネレータによって生成された合成シングルプレックス画像を示している。第３列は、それらの入力画像に隣接するスライドに対応する真のシングルプレックス画像を示している。第４～６列は、第１～３列のものと同じタイプであるが、異なるジェネレータ（異なるＣｙｃｌｅＧＡＮの一部として、異なる染料に対応するが合成画像を生成するように訓練されたもの）に対応するデータを示している。図から分かるように、予測画像は合成画像に非常に類似している。

【0065】

図１１は、入力マルチプレックスＩＨＣ画像（対の左側）、および入力マルチプレックスＩＨＣ画像に存在することがある各バイオマーカーに対する予測合成シングルプレックス画像の２つの比較を示している。左側の画像は、右側の画像とは異なる染料（予測に関して）に対応している。

【0066】

このように、出力画像はリアルなものを示しており、異なるバイオマーカー、がん兆候、および患者のすべての試験画像に対するターゲットアンミックス画像に匹敵する。出力合成画像は、入力ＭＰＸ ＩＨＣ画像と比較して整合された構造を示しており、出力画像の色（例えば、黄色、紫色）は、参照隣接スライドに類似したものを示している。これらの結果は、対になっていない画像間の転換方法が、合成画像の整合された構造および色の両方を生成するように実質的に働くことを示している。

【0067】

本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を収容した非一時的コンピュータ可読記憶媒体を含み、命令は、１つまたは複数のデータプロセッサで実行されると、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくはすべて、ならびに／あるいは１つまたは複数のプロセスの一部もしくはすべてを実施させる。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくはすべて、ならびに／あるいは１つまたは複数のプロセスの一部もしくはすべてを実施させるように構成された命令を含む、非一時的機械可読記憶媒体の形で有形的に具体化された、コンピュータプログラム製品を含む。

【0068】

用いられている用語および表現は、限定ではなく説明のための用語として使用されており、かかる用語および表現を使用することに、図示され記載される特徴またはその部分のあらゆる等価物を除外する意図はなく、特許請求する発明の範囲内において様々な修正が可能であることが認識される。したがって、特許請求される本発明は実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示する概念の修正および変形が当業者によって用いられてもよく、かかる修正および変形は、添付の特許請求の範囲によって定義されるような本発明の範囲内にあるとみなされることが理解されるべきである。

【0069】

説明は、好ましい例示的実施形態のみを提供するものであり、本開示の範囲、適用可能性、または構成を限定しようとするものではない。それよりもむしろ、好ましい例示的実施形態の説明は、様々な実施形態を実現することを可能にする説明を当業者に提供するものである。添付の特許請求の範囲に記述されるような趣旨および範囲から逸脱することなく、要素の機能および配置を様々に変更してもよいことが理解される。

【0070】

以下の記載において、実施形態の包括的な理解を提供するため、具体的な詳細が与えられる。しかしながら、実施形態はこれらの具体的な詳細なしで実践されてもよいことが理解されるであろう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、不必要な詳細で実施形態を不明瞭にしないために、ブロック図の形態で構成要素として示されることがある。他の例では、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、実施形態が不明瞭になるのを回避するために、不必要な詳細なしに示されることがある。

【0071】

実施例３
複数の試料（３つの対象からの合計３６のスライド）それぞれに対してアッセイを実施した。スライドを染色するのに使用した染料は、ＰＤＬ１（ＴＡＭＲＡ、膜）、ｃＭＥＴ（緑色、膜）、ＥＧＦＲ（Ｄａｂｓｙｌ、膜）およびＨｅｍｅ（核）であった。このようにして、トリプレックススライドを生成した。

【0072】

ＣｙｃｌｅＧＡＮネットワークを、複数のアッセイおよび複数の対象からの、訓練用の３つの特定の染料のうち１つに対応するトリプレックスＩＨＣおよびシングルプレックスの隣接スライド画像の対になっていない画像を使用して、独立して３回訓練した。トリプレックス画像は、ＰＤＬ１、ｃＭＥＴ、およびＥＧＦＲ染料の描写を含んでいた。

【0073】

ＣｙｃｌｅＧＡＮネットワークは、ディープ残差畳み込みニューラルネットワークアーキテクチャを有する２つの生成ネットワーク（一方はトリプレックス画像をシングルプレックス画像に変換し、他方はシングルプレックス画像をトリプレックス画像に変換するように構成されたもの）と、ＰａｔｃｈＧＡＮアーキテクチャを有する２つの識別ネットワーク（一方はシングルプレックス画像をトリプレックス画像に変換し、他方はトリプレックス画像をシングルプレックス画像に変換するように構成されたもの）を含んでいた。訓練データの画像はそれぞれ、２５６×２５６ピクセルのサイズで、デジタル病理学スライドのパッチに対応するものであった。訓練の間、学習率０．０００２のＡｄａｍオプティマイザを使用した。ジェネレータに対する異なる損失の重み付けを、敵対的、自己、およびサイクル一貫性それぞれに対して１、５、および１０に設定した、損失関数を定義した。バッチサイズ８を使用した。

【0074】

３つの染料それぞれに関して、ＣｙｃｌｅＧＡＮネットワークを訓練した後、次に、合成シングルプレックス画像を生成するように構成されたジェネレータを使用して、別のトリプレックス画像を処理して、染料に対応する合成シングルプレックス画像を生成した。図１２Ａおよび図１２Ｂは、ジェネレータによって生成された、緑色の染料に対する例示的なトリプレックス画像および合成シングルプレックス画像を示している。図１２Ｂの下側部分はさらに、合成シングルプレックス画像の拡大部分を示している。

【0075】

隣接スライドからの実際の合成シングルプレックス画像に、比較目的のためアクセスした。（図１２Ｃを参照。）

【0076】

加えて、追加の正則化を含む非負因数分解（ＮＭＦ）を使用して、染料に関する比較用合成シングルプレックス画像を生成した。（図１２Ｄを参照。）

【0077】

左下向きの矢印は膜染色液を指している。左上向きの矢印は核染色液を指している。

【0078】

ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータによって生成された合成シングルプレックスの染色レベルは、ＮＭＦ技法によって生成された合成シングルプレックスよりも良好な、実際の隣接スライドのレベルに対応していることが分かる。ＮＭＦ技法によって生成された合成シングルプレックスの染色レベルは、実際のスライドに存在するレベルよりも低い。

【0079】

加えて、ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータによって生成された合成シングルプレックス画像は、高い信頼性で核を描写している。一方、染色分離エラーを低減するためにＮＭＦ技法で必要とされるカスタマイゼーションにより、核染色は、最初に、画像内における染色液の数を３つに低減するため、またしたがってＮＭＦによる染色分離結果の固有性のため、トリプレックスから分離され、次に合成シングルプレックスに戻されるが、このことが核シグナルの欠損に部分的につながる。（図１２Ｄにおいて欠落している左上向きの矢印を考慮。）

【0080】

さらに、ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータによって生成された合成シングルプレックス画像では、膜染色は鮮明であり、トリプレックス画像のものに対応している。しかしながら、ＮＭＦ技法によって生成された合成シングルプレックスでは、膜染色の鮮明度が低く、トリプレックス画像のものに対する対応も弱い。

【0081】

図１３は、ＣｙｃｌｅＧＡＮネットワークの一部として訓練されたジェネレータを使用して、トリプレックスＰＤＬ１－ｃＭＥＴ－ＥＧＦＲ画像を変換することによって生成された、合成シングルプレックスＧｒｅｅｎ－ｃＭＥＴ画像の別の実例を示している。図１４は、ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータを使用して、トリプレックスＰＤＬ１－ｃＭＥＴ－ＥＧＦＲ画像を変換することによって生成された、合成シングルプレックスＱＭ－Ｄａｂｓｙｌ－ＥＧＦＲ画像の別の実例を示している。図１５は、ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータを使用して、トリプレックスＰＤＬ１－ｃＭＥＴ－ＥＧＦＲ画像を変換することによって生成された、合成シングルプレックスＴａｍｒａ－ＰＤＬ１画像の別の実例を示している。図１３～図１５はそれぞれさらに、ネットワークを試験するのに使用される、例示的な実際のトリプレックスおよびシングルプレックス画像を示している。ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータを使用して生成された合成シングルプレックス画像の色強度、鮮明度、およびテクスチャは、対応する画像のものに非常に類似していることが分かる。

【0082】

実施例４
複数の試料（３つの対象からの合計３６のスライド）それぞれに対してアッセイを実施した。スライドを染色するのに使用した染料は、ＣＤ８（ＴＡＭＲＡ、膜）、Ｂｃｌ２（緑色、膜）、ＣＤ３（Ｄａｂｓｙｌ、膜）およびＨｅｍｅ（核）であった。このようにして、トリプレックススライドを生成した。

【0083】

ＣｙｃｌｅＧＡＮネットワークを、複数のアッセイおよび複数の対象からの、訓練用の３つの特定の染料のうち１つに対応するトリプレックスＩＨＣおよびシングルプレックスの隣接スライド画像の対になっていない画像を使用して、独立して３回訓練した。トリプレックス画像は、ＣＤ８、Ｂｃｌ２、およびＣＤ３染料の描写を含んでいた。

【0084】

ＣｙｃｌｅＧＡＮネットワークは、ディープ残差畳み込みニューラルネットワークアーキテクチャを有する２つの生成ネットワーク（一方はトリプレックス画像をシングルプレックス画像に変換し、他方はシングルプレックス画像をトリプレックス画像に変換するように構成されたもの）と、ＰａｔｃｈＧＡＮアーキテクチャを有する２つの識別ネットワーク（一方はシングルプレックス画像をトリプレックス画像に変換し、他方はトリプレックス画像をシングルプレックス画像に変換するように構成されたもの）を含んでいた。訓練データの画像はそれぞれ、２５６×２５６ピクセルのサイズで、デジタル病理学スライドのパッチに対応するものであった。訓練の間、学習率０．０００２のＡｄａｍオプティマイザを使用した。ジェネレータに対する異なる損失の重み付けを、敵対的、自己、およびサイクル一貫性それぞれに対して１、５、および１０に設定した、損失関数を定義した。バッチサイズ８を使用した。

【0085】

３つの染料それぞれに関して、ＣｙｃｌｅＧＡＮネットワークを訓練した後、次に、合成シングルプレックス画像を生成するように構成されたジェネレータを使用して、別のトリプレックス画像を処理して、染料に対応する合成シングルプレックス画像を生成した。

【0086】

図１６Ａおよび図１６Ｂは、ジェネレータによって生成された、緑色の染料に対する例示的なトリプレックス画像および合成シングルプレックス画像を示している。

【0087】

隣接スライドからの実際の合成シングルプレックス画像に、比較目的のためアクセスした。（図１６Ｃを参照。）

【0088】

加えて、追加の正則化を含む非負因数分解（ＮＭＦ）を使用して、染料に関する比較用合成シングルプレックス画像を生成した。（図１６Ｄを参照。）

【0089】

ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータによって生成された合成シングルプレックスの染色レベルは、ＮＭＦ技法によって生成された合成シングルプレックスよりも良好な、実際の隣接スライドのレベルに対応していることが分かる。ＮＭＦ技法によって生成された合成シングルプレックスの染色レベルは、実際のスライドに存在するレベルよりも低い。さらに、ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータによって生成された合成シングルプレックスの膜は、ＮＭＦ技法によって生成された合成シングルプレックスのものよりも鮮明である。

【0090】

図１７は、ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータを使用して、トリプレックスＣＤ８－Ｂｃｌ２－ＣＤ３画像を変換することによって生成された、合成シングルプレックスＧｒｅｅｎ－Ｂｃｌ２画像の別の実例を示している。図１８は、ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータを使用して、トリプレックスＣＤ８－Ｂｃｌ２－ＣＤ３画像を変換することによって生成された、合成シングルプレックスＤａｂｓｙｌ－ＣＤ３画像の別の実例を示している。図１９は、ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータを使用して、トリプレックスＣＤ８－Ｂｃｌ２－ＣＤ３画像を変換することによって生成された、合成シングルプレックスＴａｍｒａ－ＣＤ８画像の別の実例を示している。図１７～図１９はそれぞれさらに、ネットワークを試験するのに使用された例示的な実際のトリプレックスおよびシングルプレックス画像を示している。ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータを使用して生成された合成シングルプレックス画像の色強度、鮮明度、およびテクスチャは、対応する画像のものに非常に類似していることが分かる。

【0091】

実施例５
複数の試料それぞれに対してアッセイを実施した。スライドを染色するのに使用した染料は、ＰＲ（ＴＡＭＲＡ）、Ｈｅｒ２（緑色）、ＥＲ（Ｄａｂｓｙｌ）、およびＨｅｍｅ（核）であった。このようにして、トリプレックススライドを生成した。

【0092】

ＣｙｃｌｅＧＡＮネットワークを、複数のアッセイおよび複数の対象からの、訓練用の３つの特定の染料のうち１つに対応するトリプレックスＩＨＣおよびシングルプレックスの隣接スライド画像の対になっていない画像を使用して、独立して３回訓練した。トリプレックス画像は、ＰＲ、Ｈｅｒ２、およびＥＲ染料の描写を含んでいた。

【0093】

ＣｙｃｌｅＧＡＮネットワークは、ディープ残差畳み込みニューラルネットワークアーキテクチャを有する２つの生成ネットワーク（一方はトリプレックス画像をシングルプレックス画像に変換し、他方はシングルプレックス画像をトリプレックス画像に変換するように構成されたもの）と、ＰａｔｃｈＧＡＮアーキテクチャを有する２つの識別ネットワーク（一方はシングルプレックス画像をトリプレックス画像に変換し、他方はトリプレックス画像をシングルプレックス画像に変換するように構成されたもの）を含んでいた。

【0094】

３つの染料それぞれに関して、ＣｙｃｌｅＧＡＮネットワークを訓練した後、次に、合成シングルプレックス画像を生成するように構成されたジェネレータを使用して、別のトリプレックス画像を処理して、染料に対応する合成シングルプレックス画像を生成した。

【0095】

図２０は、トリプレックス画像、ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータを使用してトリプレックスＥＲ－ＰＲ－Ｈｅｒ２画像を変換することによって生成された合成シングルプレックスＧｒｅｅｎ－Ｈｅｒ２画像、およびＨｅｒ２染料で染色した隣接スライスそれぞれの別の実例を示している。

【0096】

図２１は、トリプレックス画像、ＣｙｃｌｅＧＡＮの一部として訓練されたジェネレータを使用してトリプレックスＥＲ－ＰＲ－Ｈｅｒ２画像を変換することによって生成された合成シングルプレックスＴａｍｒａ－ＰＲ画像、およびＰＲ染料で染色した隣接スライスそれぞれの別の実例を示している。

【0097】

合成シングルプレックス画像の色強度、鮮明度、およびテクスチャは、対応する画像のものに非常に類似していることが分かる。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【図13】

【図14】

【図15】

【図16A】

【図16B】

【図16C】

【図16D】

【図17】

【図18】

【図19】

【図20】

【図21】

【手続補正書】

【提出日】2024-08-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

２つ以上の染料で染色された特定の試料の特定のスライスを描写するマルチプレックス画像にアクセスすることと、
生成ネットワークを使用して、前記２つ以上の染料のうち１つのみで染色された前記特定の試料の前記特定のスライスを描写する、予測シングルプレックス画像を生成することであって、
前記生成ネットワークが、訓練用マルチプレックス画像のセットおよび訓練用シングルプレックス画像のセットを使用して、機械学習モデルを訓練することによって訓練されており、前記訓練用マルチプレックス画像のセットがそれぞれ、２つ以上の染料で染色された試料のスライスを描写しており、前記訓練用シングルプレックス画像のセットがそれぞれ、単一の染料で染色された試料のスライスを描写しており、
前記機械学習モデルが、所与の画像が前記生成ネットワークによって生成されたか、または実際のスライドのシングルプレックス画像であったかに関して識別するように構成された、識別ネットワークを含んでいた、
予測シングルプレックス画像を生成することと、
前記予測シングルプレックス画像を出力することと
を含む、コンピュータ実装方法。

【請求項2】

前記訓練用シングルプレックス画像のセットがそれぞれ、対応する訓練用マルチプレックス画像を得たコンテキストに対して構成されたアンミックスまたはリミックスアルゴリズムを使用して、前記訓練用マルチプレックス画像のセットのうち前記対応する訓練用マルチプレックス画像を処理することによって生成される、合成画像であった、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記機械学習モデルがＰｉｘ２Ｐｉｘモデルを含んでいた、請求項１に記載のコンピュータ実装方法。

【請求項4】

前記訓練用シングルプレックス画像のセットがそれぞれ、前記訓練用マルチプレックス画像のセットのうちいずれにも描写されていない対応するスライスを描写する実画像であった、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記機械学習モデルがＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮを含んでおり、前記ＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮが、
受信したシングルプレックス画像それぞれに対して予測マルチプレックス画像を生成するように構成された、別の生成ネットワークと、
所与の画像が前記別の生成ネットワークによって生成されたか、または実際のスライドのマルチプレックス画像であったかに関して識別するように構成された、別の識別ネットワークと
を含んでいた、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記予測シングルプレックス画像を生成する前に、前記機械学習モデルの前記訓練を実施することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項7】

前記マルチプレックス画像が第１のサイトで第１のスキャナを使用して生成されており、前記方法がさらに、
前記２つ以上の染料で染色された別の特定の試料の別の特定のスライスを描写する別のマルチプレックス画像にアクセスすることと、
前記生成ネットワークを使用して、前記２つ以上の染料のうち１つのみで染色された前記別の特定のスライスを描写する別の予測シングルプレックス画像を生成することであって、前記生成ネットワークが、前記予測シングルプレックス画像が生成されたときおよび前記別の予測シングルプレックス画像が生成されたときに、同じパラメータ値を用いて構成された、別の予測シングルプレックス画像を生成することと、
前記別の予測シングルプレックス画像を出力することと
を含む、請求項１に記載のコンピュータ実装方法。

【請求項8】

１つまたは複数のデータプロセッサと、
命令を収容し、前記命令が前記１つまたは複数のデータプロセッサで実行されると、前記１つまたは複数のデータプロセッサに請求項１から７のいずれか一項に記載の前記コンピュータ実装方法を実施させる、非一時的コンピュータ可読記憶媒体と
を備えるシステム。

【請求項9】

コンピュータプログラムであって、１つまたは複数のデータプロセッサに動作のセットを実施させるように構成された命令を含み、前記動作のセットが、
２つ以上の染料で染色された特定の試料の特定のスライスを描写するマルチプレックス画像にアクセスすることと、
生成ネットワークを使用して、前記２つ以上の染料のうち１つのみで染色された前記特定の試料の前記特定のスライスを描写する、予測シングルプレックス画像を生成することであって、
前記生成ネットワークが、訓練用マルチプレックス画像のセットおよび訓練用シングルプレックス画像のセットを使用して、機械学習モデルを訓練することによって訓練されており、前記訓練用マルチプレックス画像のセットがそれぞれ、２つ以上の染料で染色された試料のスライスを描写しており、前記訓練用シングルプレックス画像のセットがそれぞれ、単一の染料で染色された試料のスライスを描写しており、
前記機械学習モデルが、所与の画像が前記生成ネットワークによって生成されたか、または実際のスライドのシングルプレックス画像であったかに関して識別するように構成された、識別ネットワークを含んでいた、
予測シングルプレックス画像を生成することと、
前記予測シングルプレックス画像を出力することと
を含む、コンピュータプログラム。

【請求項10】

前記訓練用シングルプレックス画像のセットがそれぞれ、対応する訓練用マルチプレックス画像を得たコンテキストに対して構成されたアンミックスまたはリミックスアルゴリズムを使用して、前記訓練用マルチプレックス画像のセットのうち前記対応する訓練用マルチプレックス画像を処理することによって生成される、合成画像であった、請求項９に記載のコンピュータプログラム。

【請求項11】

前記機械学習モデルがＰｉｘ２Ｐｉｘモデルを含んでいた、請求項９に記載のコンピュータプログラム。

【請求項12】

前記訓練用シングルプレックス画像のセットがそれぞれ、前記訓練用マルチプレックス画像のセットのうちいずれにも描写されていない対応するスライスを描写する実画像であった、請求項９に記載のコンピュータプログラム。

【請求項13】

前記機械学習モデルがＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮを含んでおり、前記ＣｙｃｌｅＧＡＮまたはＢｉｃｙｃｌｅＧＡＮが、
受信したシングルプレックス画像それぞれに対して予測マルチプレックス画像を生成するように構成された、別の生成ネットワークと、
所与の画像が前記別の生成ネットワークによって生成されたか、または実際のスライドのマルチプレックス画像であったかに関して識別するように構成された、別の識別ネットワークと
を含んでいた、請求項９に記載のコンピュータプログラム。

【請求項14】

前記動作のセットが、前記予測シングルプレックス画像を生成する前に、前記機械学習モデルの前記訓練を実施することをさらに含む、請求項９に記載のコンピュータプログラム。

【請求項15】

前記マルチプレックス画像が第１のサイトで第１のスキャナを使用して生成されており、前記動作のセットがさらに、
前記２つ以上の染料で染色された別の特定の試料の別の特定のスライスを描写する別のマルチプレックス画像にアクセスすることと、
前記生成ネットワークを使用して、前記２つ以上の染料のうち１つのみで染色された前記別の特定のスライスを描写する別の予測シングルプレックス画像を生成することであって、前記生成ネットワークが、前記予測シングルプレックス画像が生成されたときおよび前記別の予測シングルプレックス画像が生成されたときに、同じパラメータ値を用いて構成された、別の予測シングルプレックス画像を生成することと、
前記別の予測シングルプレックス画像を出力することと
を含む、請求項９に記載のコンピュータプログラム。

【国際調査報告】