特表2024-530388 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ ベンタナ　メディカル　システムズ，　インコーポレイテッドの特許一覧

特表2024-530388多重免疫蛍光イメージングを使用する組織学的染色のデジタル合成

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5A
5B
6
7A
7B
8A
8B
9
10A
10B
10C
10D
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-21

(54)【発明の名称】多重免疫蛍光イメージングを使用する組織学的染色のデジタル合成

(51)【国際特許分類】

G06T 5/60 20240101AFI20240814BHJP

G06T 1/00 20060101ALI20240814BHJP

H04N 1/46 20060101ALI20240814BHJP

G01N 33/48 20060101ALN20240814BHJP

G01N 33/483 20060101ALN20240814BHJP

G01N 21/64 20060101ALN20240814BHJP

【ＦＩ】

G06T5/60

G06T1/00 510

H04N1/46

G01N33/48 M

G01N33/483 C

G01N21/64 F

G01N33/48 P

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023577709

(86)(22)【出願日】2022-06-07

(85)【翻訳文提出日】2023-12-15

(86)【国際出願番号】 US2022032468

(87)【国際公開番号】W WO2022265883

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】63/212,039

(32)【優先日】2021-06-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507179346

【氏名又は名称】ベンタナメディカルシステムズ，インコーポレイテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾淳一

(74)【代理人】

【識別番号】100138759

【弁理士】

【氏名又は名称】大房直樹

(72)【発明者】

【氏名】ワーン，シンウェイ

(72)【発明者】

【氏名】ヂャオ，ズオ

(72)【発明者】

【氏名】ロルサクル，アウラヌチ

(72)【発明者】

【氏名】ニエ，ヤオ

【テーマコード（参考）】

2G043

2G045

5B057

【Ｆターム（参考）】

2G043AA01

2G043AA03

2G043BA16

2G043EA01

2G043FA02

2G043KA02

2G043LA03

2G045AA24

2G045CB01

2G045FB03

2G045FB07

2G045FB12

2G045GC15

2G045JA01

5B057AA10

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CE08

5B057CE16

(57)【要約】

多重免疫蛍光（ＭＰＸ）画像から合成組織化学的染色画像を取得するための技術は、組織切片のＭＰＸ画像のＭチャンネルのそれぞれからの情報に基づくＮチャンネル入力画像を生成することであって、ＭおよびＮが正の整数であり、ＮがＭ以下である、Ｎチャンネル入力画像を生成することと、複数の画像対を含む訓練データセットを使用して訓練された生成器ネットワークを使用してＮチャンネル入力画像を処理することによって合成画像を生成することと、を含み得る。合成画像は、少なくとも１つの組織化学的染色剤によって染色された組織切片を示す。複数の画像対の各画像対は、組織の第１の切片のＭＰＸ画像から生成されたＮチャンネル画像と、少なくとも１つの組織化学的染色剤によって染色された組織の第２の切片の画像とを含む。
【選択図】図８Ａ

【特許請求の範囲】

【請求項1】

画像変換の方法であって、
組織切片の多重免疫蛍光（ＭＰＸ）画像のＭチャンネルのそれぞれからの情報に基づくＮチャンネル入力画像を生成することであって、Ｍは正の整数であり、ＮはＭ以下の正の整数である、Ｎチャンネル入力画像を生成することと、
複数の画像対を含む訓練データセットを使用して訓練された生成器ネットワークを使用して前記Ｎチャンネル入力画像を処理することによって合成画像を生成することと
を含み、
前記合成画像が、少なくとも１つの組織化学的染色剤によって染色された組織切片を示し、
前記複数の画像対の各画像対について、前記対が、
組織の第１の切片のＭＰＸ画像から生成されたＮチャンネル画像と、
前記少なくとも１つの組織化学的染色剤によって染色された前記組織の第２の切片の画像と
を含む、方法。

【請求項2】

前記Ｎチャンネル入力画像を生成することが、前記組織切片の前記ＭＰＸ画像の前記Ｍチャンネルのそれぞれについて、前記チャンネルからの情報を前記Ｎチャンネル画像の前記Ｎチャンネルのうちの少なくとも１つにマッピングすることを含む、請求項１に記載の方法。

【請求項3】

前記マッピングすることが、前記組織切片の前記ＭＰＸ画像の複数のチャンネルのそれぞれからの情報に基づく自己蛍光画像を生成することを含み、
前記Ｎチャンネル入力画像が、前記自己蛍光画像からの情報に基づく、請求項２に記載の方法。

【請求項4】

前記自己蛍光画像が、前記組織切片の前記ＭＰＸ画像の前記複数のチャンネルの非線形結合に基づく、請求項３に記載の方法。

【請求項5】

前記自己蛍光画像が、前記複数のチャンネル間の自己蛍光のスペクトル分布に基づく、請求項３または４に記載の方法。

【請求項6】

前記ＭＰＸ画像の前記複数のチャンネルが、前記組織切片の前記ＭＰＸ画像の前記Ｍチャンネルである、請求項３から５のいずれか一項に記載の方法。

【請求項7】

前記複数の画像対の各画像対について、前記対の前記Ｎチャンネル画像が、前記第１の切片の前記ＭＰＸ画像のＭチャンネルのそれぞれからの情報に基づく、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記合成画像がＮチャンネル画像である、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記Ｎチャンネル入力画像および前記合成画像のそれぞれがＲＧＢ画像である、請求項８に記載の方法。

【請求項10】

前記組織切片の前記ＭＰＸ画像が暗視野画像であり、前記合成画像が明視野画像である、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記少なくとも１つの組織化学的染色剤がヘマトキシリンおよびエオシンである、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記Ｎチャンネル画像が、前記自己蛍光画像と、核対比染色に対応する前記組織切片の前記ＭＰＸ画像のチャンネルとに基づく、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記Ｎチャンネル画像が、前記自己蛍光画像と、核対比染色に対応する前記組織切片の前記ＭＰＸ画像のチャンネルとの線形結合に基づく、請求項１から１１のいずれか一項に記載の方法。

【請求項14】

前記Ｎチャンネル画像が、前記線形結合に基づく光学濃度値の配列に基づく、請求項１から１３のいずれか一項に記載の方法。

【請求項15】

Ｎが３に等しい、請求項１から１４のいずれか一項に記載の方法。

【請求項16】

Ｍが少なくとも４である、請求項１から１５のいずれか一項に記載の方法。

【請求項17】

前記生成器ネットワークが、敵対的生成ネットワークの一部として訓練された、請求項１から１６のいずれか一項に記載の方法。

【請求項18】

前記生成器ネットワークが、Ｕ－Ｎｅｔとして実装される、請求項１から１７のいずれか一項に記載の方法。

【請求項19】

前記生成器ネットワークが、エンコーダ－デコーダネットワークとして実装される、請求項１から１８のいずれか一項に記載の方法。

【請求項20】

前記生成器ネットワークが、前記生成器ネットワークによる画像と予想される出力画像との間で測定されたＬ１損失を介して更新される、請求項１から１９のいずれか一項に記載の方法。

【請求項21】

ユーザによって、対象の診断を決定する方法であって、前記決定することが、請求項１から２０のいずれか一項に記載の前記合成画像に基づく、方法。

【請求項22】

前記ユーザによって、（ｉ）前記合成画像、および／または（ｉｉ）前記対象の前記診断に基づく化合物による処置を施すことをさらに含む、請求項２１に記載の方法。

【請求項23】

１つまたは複数のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサに、請求項１～２０のいずれか一項に記載の画像変換の方法を実行させる、非一時的コンピュータ可読記憶媒体と、を備える、システム。

【請求項24】

１つまたは複数のデータプロセッサに請求項１～２０のいずれか一項に記載の画像変換の方法を実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

分野
本開示は、デジタル病理に関し、特に、多重免疫蛍光画像から合成組織学的染色画像を取得することを含む技術に関する。

【背景技術】

【0002】

背景
組織病理は、疾患の診断、治療に対する応答の評価、および／または疾患と戦うための薬理学的薬剤の開発などの様々な理由で、組織切片から準備されたスライドの検査を含み得る。組織切片およびその中の細胞は実質的に透明であることから、スライドの準備は、典型的には、関連する構造をより視認可能にするために組織切片を染色することを含む。デジタル病理は、デジタル画像を取得するために染色されたスライドをスキャンすることを含み得、デジタル画像は、その後、デジタル病理画像分析によって検査され得、および／またはヒト病理学者によって解釈され得る。

【0003】

組織切片の多重免疫蛍光（ＭＰＸ）染色は、単一細胞レベルでの複数のバイオマーカーおよびそれらの同時発現の同時検出を可能にする。ＭＰＸは、免疫療法に対する応答に有意な影響を及ぼし得る腫瘍微小環境における免疫状況の特徴付けを可能にする。例えば、ＭＰＸの使用は、単一のスライドにおいてより多くのバイオマーカーの検出および共局在化を提供することができる。ＭＰＸは、効果的な治療法を発見し、新たな薬物を開発するための貴重なツールであることを約束するが、ＭＰＸの結果を基礎となる組織構造と正確に関連付けることに関していくつかの課題が残っている。

【発明の概要】

【0004】

概要
様々な実施形態では、組織切片の多重免疫蛍光（ＭＰＸ）画像のＭ個のチャンネルのそれぞれからの情報に基づくＮチャンネル入力画像を生成することであって、Ｍが正の整数であり、ＮがＭ以下の正の整数である、Ｎチャンネル入力画像を生成することと、複数の画像対を含む訓練データセットを使用して訓練された生成器ネットワークを使用してＮチャンネル入力画像を処理することによって合成画像を生成することと、を含む、画像変換のコンピュータ実装方法が提供される。この方法では、合成画像は、少なくとも１つの組織化学的染色剤によって染色された組織切片を示し、複数対の画像の各対について、対は、組織の第１の切片のＭＰＸ画像から生成されたＮチャンネル画像と、少なくとも１つの組織化学的染色剤によって染色された組織の第２の切片の画像とを含む。

【0005】

いくつかの実施形態では、Ｎチャンネル入力画像を生成することは、組織切片のＭＰＸ画像のＭ個のチャンネルのそれぞれについて、チャンネルからＮチャンネル画像のＮ個のチャンネルのうちの少なくとも１つへのマッピング情報を含む。マッピングは、組織切片のＭＰＸ画像の複数のチャンネル（例えば、Ｍ個のチャンネルのそれぞれ）のそれぞれからの情報に基づく自己蛍光画像を作成することを含んでもよく、Ｎチャンネル入力画像は、自己蛍光画像からの情報に基づいてもよい。自己蛍光画像は、組織切片のＭＰＸ画像の複数のチャンネルの非線形な組み合わせに基づいてもよい。追加的または代替的に、自己蛍光画像は、複数のチャンネル間の自己蛍光のスペクトル分布に基づいてもよい。

【0006】

いくつかの実施形態では、合成画像は、Ｎチャンネル画像である。Ｎチャンネル入力画像および合成画像のそれぞれは、ＲＧＢ画像であってもよい。追加的または代替的に、組織切片のＭＰＸ画像は、暗視野画像であってもよく、および／または合成画像は、明視野画像であってもよい。

【0007】

いくつかの実施形態では、少なくとも１つの組織化学的染色剤は、ヘマトキシリンおよびエオシンである。

【0008】

いくつかの実施形態では、Ｎチャンネル画像は、自己蛍光画像および核対比染色画像に基づく。例えば、Ｎチャンネル画像は、自己蛍光画像と核対比染色に対応する組織切片のＭＰＸ画像のチャンネルとの線形結合に基づいてもよい。Ｎチャンネル画像は、線形結合に基づく光学濃度値の配列に基づく。

【0009】

いくつかの実施形態では、Ｎは３に等しく、および／またはＭは少なくとも４である。

【0010】

いくつかの実施形態では、生成器ネットワークは、敵対的生成ネットワークの一部として訓練されたものである。いくつかの実施形態では、生成器ネットワークは、Ｕ－Ｎｅｔおよび／またはエンコーダ－デコーダネットワークとして実装される。生成器ネットワークは、生成器ネットワークによる画像と予想される出力画像との間で測定されたＬ１損失を介して更新され得る。

【0011】

いくつかの実施形態では、コンピュータ実装方法の実施形態によって生成された合成画像に基づいて、ユーザによって対象の診断を決定することを含む方法が提供される。

【0012】

いくつかの実施形態では、ユーザによって、コンピュータ実装方法の実施形態によって生成された合成画像に基づいて対象の診断を決定することと、ユーザによって、（ｉ）合成画像、および／または（ｉｉ）対象の診断に基づいて化合物による処置を施すことと、を含む、方法が提供される。

【0013】

いくつかの実施形態では、１つまたは複数のデータプロセッサと、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体とを含むシステムが提供される。

【0014】

いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部を実行させるように構成された命令を含む、コンピュータプログラム製品が提供される。

【0015】

本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させるように構成された命令を含む非一時的機械可読記憶媒体において有形に具現化された、コンピュータプログラム製品を含む。

【0016】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴のいかなる均等物またはその一部も除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【図面の簡単な説明】

【0017】

本特許または出願ファイルは、カラーで作成された少なくとも１つの図面を含んでいる。カラー図面を含む本特許または特許出願公開の写しは、請求に応じて、必要な手数料を支払うことにより、特許庁によって提供されることになる。

【0018】

様々な実施形態の態様および特徴は、添付の図面を参照して例を説明することによってより明らかになるであろう。

【0019】

【図1】デジタル病理学的ソリューションのワークフローの例示的な図を示している。

【図2】多重免疫蛍光（ＭＰＸ）イメージングワークフローの例示的な図および例示的なＭＰＸ画像を示している。

【図3】ＭＰＸパネルからのスライドの例示的なＭＰＸ画像を示している。

【図4】ＭＰＸパネルからのスライドの別の例示的なＭＰＸ画像を示している。

【図5】Ｈ＆Ｅ（明視野）画像（図５Ｂ）に位置合わせされたＭＰＸ（暗視野）画像（図５Ａ）を示している。

【図6】Ｈ＆Ｅ染色された試料の画像を取得するためのワークフローの例を示している。

【図7A】Ｈ＆Ｅ画像および実際のＨ＆Ｅ画像に類似するマッピング画像の例を示している。

【図7B】Ｈ＆Ｅ画像および実際のＨ＆Ｅ画像に類似するマッピング画像の例を示している。

【図8A】いくつかの実施形態にかかる例示的なプロセスのフローチャートを示している。

【図8B】いくつかの実施形態にかかる別の例示的なプロセスのフローチャートを示している。

【図9】いくつかの実施形態にかかる自己蛍光画像を生成するプロセスを示している。

【図10A】いくつかの実施形態にかかる、ＭＰＸ画像のＭ個のチャンネルの異なる対応するマッピングからそれぞれが取得された、３チャンネル（ＲＧＢ）マッピングされた入力画像の例を示している。

【図10B】いくつかの実施形態にかかる、ＭＰＸ画像のＭ個のチャンネルの異なる対応するマッピングからそれぞれが取得された、３チャンネル（ＲＧＢ）マッピングされた入力画像の例を示している。

【図10C】いくつかの実施形態にかかる、ＭＰＸ画像のＭ個のチャンネルの異なる対応するマッピングからそれぞれが取得された、３チャンネル（ＲＧＢ）マッピングされた入力画像の例を示している。

【図10D】いくつかの実施形態にかかる、ＭＰＸ画像のＭ個のチャンネルの異なる対応するマッピングからそれぞれが取得された、３チャンネル（ＲＧＢ）マッピングされた入力画像の例を示している。

【図11】いくつかの実施形態にかかる、（例えば、深層学習ネットワークを訓練するため、および／または推論のために）３チャンネルマッピングされた入力画像を生成するプロセスを示している。

【図12】いくつかの実施形態にかかる、３チャンネルマッピングされた入力画像を生成する別のプロセスを示している。

【図13】いくつかの実施形態にかかる、３チャンネルマッピングされた入力画像を生成するさらなるプロセスを示している。

【図14】いくつかの実施形態にかかる例示的なコンピューティング環境を示している。

【図15】いくつかの実施形態にかかる条件付きＧＡＮモデルを示している。

【図16】いくつかの実施形態にかかるＰｉｘ２ＰｉｘＧＡＮを使用する条件付きＧＡＮモデルの実装の例を示している。

【図17】いくつかの実施形態にかかる訓練画像を取得するプロセスについてのフローチャートを示している。

【図18】いくつかの実施形態にかかる、全スライド画像からのタイルおよび画像パッチの抽出の例を示している。

【図19】いくつかの実施形態にかかる、サイクルＧＡＮにおけるネットワークおよびネットワーク接続の表現を示している。

【図20】いくつかの実施形態にかかる、サイクルＧＡＮを使用して画像を生成および識別するフローを示している。

【図21】様々な実施形態にしたがって生成された入力画像、標的画像、および出力画像の例を示している。

【図22】様々な実施形態にしたがって生成された入力画像、標的画像、および出力画像の例を示している。

【図23】様々な実施形態にしたがって生成された入力画像、標的画像、および出力画像の例を示している。

【図24】異なる４種類の組織における自己蛍光の基準分光分布の比較例を示している。

【図25】無染色の組織試料のＭＰＸ画像の２つの例を示している。

【図26】補正前後の膵臓組織試料のＭＰＸ画像の例を示している。

【発明を実施するための形態】

【0020】

詳細な説明
本明細書に開示されるシステム、方法およびソフトウェアは、多重免疫蛍光画像から合成組織学的染色画像を取得することを容易にする。特定の実施形態が説明されているが、これらの実施形態は例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書に記載された装置、方法、およびシステムは、様々な他の形態で具現化され得る。さらにまた、保護の範囲から逸脱することなく、本明細書に記載の例示的な方法およびシステムの形態の様々な省略、置換、および変更が行われてもよい。

【0021】

Ｉ．概要
デジタル病理は、対象を正確に診断し、治療上の意思決定を導くために、デジタル化された画像の解釈を伴い得る。デジタル病理学的ソリューションでは、関心のある生物学的オブジェクト（例えば、陽性／陰性腫瘍細胞など）を自動的に検出または分類するために、画像分析ワークフローが確立され得る。図１は、デジタル病理学的ソリューションのワークフロー１００の例示的な図を示している。デジタル病理学的ソリューションワークフロー１００は、ブロック１１０において組織スライドを取得することと、ブロック１２０においてデジタル画像を取得するためにデジタル画像スキャナ（例えば、全スライド画像（ＷＳＩ）スキャナ）によって予め選択された領域または組織スライドの全体をスキャンすることと、ブロック１３０において１つまたは複数の画像分析アルゴリズムを使用してデジタル画像に対して画像分析を実行することと、ブロック１４０において画像分析に基づいて関心のあるオブジェクトをスコアリング（例えば、陽性、陰性、中程度、弱いなどの定量的スコアリングまたは半定量的スコアリング）することと、を含む。

【0022】

例えば疾患によって引き起こされる組織変化の評価は、薄い組織切片を検査することによって行われ得る。一連の切片を取得するために組織試料（例えば、腫瘍の試料）がスライスされ得、各切片は、例えば、４～５ミクロンの厚さを有する。組織切片およびその中の細胞は実質的に透明であることから、スライドの準備は、典型的には、関連する構造をより視認可能にするために組織切片を染色することを含む。例えば、組織の異なる部分を１つまたは複数の異なる染色剤によって染色して、組織の異なる特徴を表し得る。

【0023】

各切片は、スライドに取り付けられてもよく、スライドは、その後、デジタル画像を作成するためにスキャンされ、デジタル画像は、その後、デジタル病理画像分析によって検査されおよび／または（例えば、画像ビューアソフトウェアを使用する）ヒト病理学者によって解釈され得る。病理学者は、（例えば、関心のある生物学的物体を検出および分類するために）有意な定量的測定値を抽出するために画像分析アルゴリズムの使用を可能にするために、スライドのデジタル画像をレビューし、手動で注釈を付け得る（例えば、腫瘍領域、壊死など）。従来、病理学者は、各連続する組織切片上の同じ態様を識別するために、組織試料からの複数の組織切片の各連続する画像に手動で注釈を付け得る。

【0024】

組織染色の１つのタイプは、組織構造を染色するために１つまたは複数の化学染料（例えば、酸性染料、塩基性染料）を使用する組織化学的染色である。組織化学的染色は、組織形態および／または細胞の微小解剖学的構造（例えば、細胞核を細胞質と区別するため、脂質滴を示すためなど）の一般的な態様を示すために使用され得る。組織化学的染色の一例は、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）である。組織化学的染色の他の例は、３色染色（例えば、マッソントリクローム）、周期的酸シッフ（ＰＡＳ）、銀染色および鉄染色を含む。組織化学的に染色された試料の画像は、典型的には、明視野顕微鏡法を使用して取得され、組織化学的に染色された試料のスライドは、典型的には、カラーチャンネルあたり画素あたり８ビット（例えば、赤、緑、青（ＲＧＢ）のそれぞれ）の解像度でスキャンされる。

【0025】

組織試料のＨ＆Ｅ染色では、ヘマトキシリンは、細胞核を青色に染色し、エオシンは、細胞外マトリックスおよび細胞質を桃色に染色し、他の構造は、異なる色調、色相、および／または桃色と青色の組み合わせを有するように染色され得る。しかしながら、Ｈ＆Ｅ染色は、一般的な組織および細胞の解剖学的構造を識別するために有用であるが、下記に記載されるような免疫組織学的化学によって提供され得る、様々なタイプの癌を区別するために使用され得る情報（例えば、ＨＥＲ２スコアリング）などの、特定の診断評価を裏付けるために必要な特定の情報を提供することができない。

【0026】

組織染色の別のタイプは、目的の標的抗原（バイオマーカーとも呼ばれる）に特異的に結合する一次抗体を使用する免疫組織学的化学（ＩＨＣ、「免疫染色」とも呼ばれる）である。ＩＨＣは、直接的または間接的であり得る。直接ＩＨＣでは、一次抗体は、標識（例えば、発色団またはフルオロフォア）に直接コンジュゲートされる。間接ＩＨＣでは、一次抗体が最初に標的抗原に結合し、次いで標識（例えば、発色団またはフルオロフォア）と結合した二次抗体が一次抗体に結合される。組織染色のためのＩＨＣの使用は、典型的には、非常に高価な試薬の使用ならびに組織化学的染色よりも複雑な検査室機器および手順を必要とする。ＩＨＣフルオロフォアによって染色された試料の画像は、通常、暗視野顕微鏡を使用して取得される。

【0027】

多重免疫蛍光（ＭＰＸ）イメージングでは、単一のスライドが複数のＩＨＣフルオロフォアによって染色され、様々なフルオロフォアの発光スペクトルは互いに区別可能である。ＭＰＸパネル内の異なるフルオロフォアの数は、典型的には５つまたは６つであるが、それより少なくても多くてもよい。所望のバイオマーカーを標識するフルオロフォアに加えて、蛍光発生核対比染色剤、例えば４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）が典型的に含まれる。ＭＰＸ画像は、各フルオロフォアから暗視野画像の別個の対応するチャンネルへの発光（典型的には、チャンネルあたり画素あたり１６ビットの解像度）を取り込むことによって取得され、ＭＰＸ画像は、各チャンネルに異なる擬似カラーを割り当てることによって観察される。

【0028】

図２、図３、および図４は、ＩＨＣ染色の３つの異なるパネルのＭＰＸ画像を示している。図２の画像では、バイオマーカーＣＤ８Ａ、プログラム細胞死タンパク質１（ＰＤＣＤ１）、分化クラスター３－イプシロン（ＣＤ３Ｅ）、増殖マーカーＫｉ－６７（ＭＫＩ６７）、およびケラチン（ＫＲＴ）に対応するチャンネルには、それぞれ偽色黄色、淡青色、紫色、赤色、および緑色が割り当てられている。図３の画像では、核対比染色ＤＡＰＩならびにバイオマーカーＰａｎＣＫ、ＣＤ３１、線維芽細胞活性化タンパク質アルファ（ＦＡＰ）および主要組織適合遺伝子複合体１（ＭＨＣ１）に対応するチャンネルには、それぞれ偽色、暗青、薄青、緑、赤および桃色が割り当てられている。図４の画像では、ＤＡＰＩおよびバイオマーカーＣＤ３（明るい青色）、プログラム死リガンド１（ＰＤ－Ｌ１）、ＰＤ１、ＰａｎＣＫ、およびグランザイムＢ（Ｇｚｍｂ）に対応するチャンネルには、それぞれ偽色、暗い青色、明るい青色、緑色、黄色、赤色、および桃色が割り当てられている。

【0029】

ＩＨＣと比較して、（例えば、図２～図４に示すように）単一のＭＰＸスライドにおける複数のバイオマーカーの検出は、バイオマーカーの共配置および共発現に関する貴重な情報を提供する。例えば、５つのバイオマーカーを同時に検出することは、単一のＭＰＸスライドにおける多数（例えば、１７から９０）の表現型（定義されたバイオマーカーのセットの同時発現）の検出を可能にする。

【0030】

図２はまた、ＭＰＸイメージングワークフローの例を示している。そのようなワークフローは、アルゴリズム開発（例えば、クロストーク補正、自己蛍光補正、候補選択、病理学者のグラウンドトゥルース、特徴に関する機械学習、および／またはＰＤ１強度クラスを含む）から始まり、アルゴリズム検証（例えば、アルゴリズムからの結果を病理学者の結果と比較する）、臨床報告および分析、ならびにアッセイ開発、続いてサンドイッチアッセイ検証を通して進行し得る。

【0031】

組織化学的に染色された（例えば、Ｈ＆Ｅ）画像とは異なり、ＭＰＸ画像は、典型的には、下にある組織構造の明確な描写を欠いている。その結果、さらなる分析のために関心領域（ＲＯＩ）（例えば、腫瘍またはエピトープ領域）および／またはさらなる分析から除外される領域（例えば、壊死領域）を描写するためにＭＰＸ画像に注釈を付けるタスクは、単独では困難または不可能である可能性がある。そのような理由から、ＭＰＸ画像に注釈を付ける、またはＭＰＸ画像に基づいて診断を確認する現在の手法は、一般に、必要な構造的詳細を提供するためにＨ＆Ｅ染色された試料の近くの部分の対応する画像に依存する。Ｈ＆Ｅ画像は、病理学者が（例えば、注釈付けを実行している間に）ディスプレイ上で２つの画像を容易に切り替えることができるように、ＭＰＸ画像に位置合わせされる。図６は、Ｈ＆Ｅ画像を生成するためのワークフローの例を示しており、これは、固定、加工、包埋、切断、染色、および顕微鏡検査などの操作を含み得る。

【0032】

図５Ａは、注釈付きＭＰＸ画像の例を示しており、図５Ｂは、Ｈ＆Ｅ染色され、ＭＰＸ画像に位置合わせされた試料の近傍部分の対応画像の例を示している。基準Ｈ＆Ｅ画像の作成には追加のコストがかかり、２つの画像のレビューには病理学者が追加の組織注釈をレビューする必要があり得る。一方の画像を他方に位置合わせすることは、スライド準備の手順中に各切片の固有の全体的および／または局所的な変形が生じる可能性があるため、時間がかかり、計算コストがかかる場合がある。位置合わせが不正確である場合、位置合わせされた画像が重ね合わされ、切り替えられ、または他の方法で一緒に見られるときに示されるバイオマーカーと下にある組織構造（例えば、細胞膜、核）との間の空間的関係も不正確であり得る。さらに、画像が最適に位置合わせされたとしても、２つの画像は、異なる部分からのものであるため、同じ組織空間を描写しない。一方の切片の構造は、他方の切片に存在しなくてもよく（例えば、そのサイズが各部分の厚さに匹敵する構造）、または他方の切片に異なるサイズおよび／または形態を有してもよく、その結果、ベースライン画像との位置合わせ画像のオーバーレイは、組織構造に対するバイオマーカーの位置を正確に取り込まないことがあり、これは、ＭＰＸ画像の注釈付けおよび／またはレビュー中に困難をもたらし得る。

【0033】

ＭＰＸ画像の１つまたは複数のチャンネルをＲＧＢ色空間にマッピングすることによって、Ｈ＆Ｅ染色試料に似た画像を作成するために、従来の画像処理技術が使用され得る。図７Ａは、そのようなマッピング画像の例を示しており、図７Ｂは、比較のための真のＨ＆Ｅ染色画像を示している。図７Ａに示されるようなマッピングされた画像は、Ｈ＆Ｅ画像に表面的に類似し得るが、日常的な臨床診療における病理学者は、そのような画像が、例えば、診断における実際の決定を支援するには不十分な画像の現実および品質を示すことを確認している。例えば、図７Ａおよび図７Ｂ中の画像の右端に近い領域を比較することによって、図７Ａのマッピングされた画像は、図７Ｂの中間レベルの値で明らかな構造的詳細の多くを欠いていることが分かる。

【0034】

これらの制限および他の制限を克服するために、ＭＰＸ画像から、組織化学的に染色された試料の実際の画像との高度の構造類似性を有する組織化学的に染色された（例えば、Ｈ＆Ｅ染色）試料を描写する合成（仮想的に染色された）画像を生成するための技術が本明細書に開示される。そのような合成画像の生成は、複雑で面倒な組織の調製および染色プロセスならびに位置合わせ操作の回避を支援し得る。臨床的には、そのような解決策は、ＭＰＸ画像をオンおよびオフに切り替えることによってＨ＆Ｅ染色組織構造を視覚化することを可能にするという利点を有し得、これは、病理学者の標準的な実践を満たし、多重イメージングの臨床的採用を促進し得る。開発的には、そのような解決策は、アルゴリズム開発のためのＨ＆Ｅ分析のためのグラウンドトゥルースを生成する可能性を有し、バイオマーカーの発見を支援することができる別のＭＰＸ画像へのＭＰＸ画像のより容易な位置合わせを可能にし得る。

【0035】

合成画像の生成は、敵対的生成ネットワーク（ＧＡＮ）を訓練する間に学習されたパラメータを含み得る訓練された生成器ネットワークによって実行され得る。ＧＡＮは、入力画像が偽（すなわち、生成器ネットワークによって生成されている）であるか、または現実（すなわち、対象から収集された実際の画像を示す）であるかを予測するように構成された識別器ネットワークをさらに含み得る。これらの予測の精度に基づくフィードバックは、訓練中に生成器ネットワークに提供され得る。

【0036】

本開示の１つの例示的な実施形態は、組織部分のＭＰＸ画像のＭ個のチャンネルのそれぞれからの情報に基づくＮチャンネル入力画像を生成することであって、Ｍが正の整数であり、ＮがＭ以下の正の整数である、Ｎチャンネル入力画像を生成することと、複数の画像対を含む訓練データセットを使用して訓練された生成器ネットワークを使用してＮチャンネル入力画像を処理することによって合成画像を生成することと、を含む、画像変換の方法に関する。この方法では、合成画像は、少なくとも１つの組織化学的染色剤によって染色された組織切片を示し、複数対の画像の各対について、対は、組織の第１の切片のＭＰＸ画像から生成されたＮチャンネル画像と、少なくとも１つの組織化学的染色剤によって染色された組織の第２の切片の画像とを含む。

【0037】

ＩＩ．定義
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

【0038】

本明細書で使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、および「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの（および完全に指定されるものを含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］以内」で置き換えられてもよく、パーセンテージは、０．１、１、５、および１０％を含む。

【0039】

本明細書で使用される場合、「試料」、「生物学的試料」または「組織試料」という用語は、ウイルスを含む任意の生物から取得される生物学的分子（タンパク質、ペプチド、核酸、脂質、炭水化物、またはそれらの組み合わせなど）を含む任意の試料を指す。生物の他の例は、哺乳類（ヒト、ネコ、イヌ、ウマ、ウシ、およびブタなどの獣医動物、ならびにマウス、ラット、霊長類などの実験動物など）、昆虫、環形動物、クモ形類動物、有袋類、爬虫類、両生類、細菌、および菌類などを含む。生物学的試料は、組織試料（組織切片や組織の針生検など）、細胞試料（Ｐａｐ塗抹標本もしくは血液塗抹標本などの細胞学的塗抹標本、またはマイクロダイセクションによって取得された細胞の試料など）、または細胞分画、断片または細胞小器官（細胞を溶解し、遠心分離などによってそれらの成分を分離することによって取得される）を含む。生物学的試料の他の例は、血液、血清、尿、精液、糞便、脳脊髄液、間質液、粘膜、涙、汗、膿、生検組織（例えば、外科的生検または針生検によって取得される）、乳頭吸引物、耳垢、乳、膣液、唾液、ぬぐい液（頬スワブなど）、または最初の生物学的試料に由来する生物学的分子を含む任意の材料を含む。特定の実施形態では、本明細書で使用される「生物学的試料」という用語は、対象から得られた腫瘍またはその一部から調製された試料（均質化または液化された試料など）を指す。

【0040】

ＩＩＩ．ＭＰＸイメージングを使用する組織学的染色のデジタル合成のための技術
本明細書に記載のＭＰＸイメージングを使用する組織学的染色のデジタル合成の手法は、ＭＰＸの暗視野イメージングからＨ＆Ｅ染色の明視野イメージングに変換するためにマルチモダリティ転写の技術を使用し得る。そのような手法は、異なる画像チャンネルからの情報を使用して、深層学習ネットワーク（例えば、敵対的生成ネットワークまたはＧＡＮ）に入力するための中間および前処理された訓練データを取得する。そのような手法は、入力訓練データセットを生成するためにＭＰＸ画像のチャンネルの多くまたは全てからの情報を使用することを含み得る。

【0041】

図８Ａは、ソース画像（例えば、処理されるソース画像のセットからのソース画像）を標的画像と同様の特性を有する新たな画像（例えば、生成される新たな画像のセットの新たな画像）に変換する例示的なプロセス８００のフローチャートを示している。プロセス８００は、（例えば、図１４～図１６、図１９、および図２０に関して本明細書で説明するように）１つまたは複数のコンピューティングシステム、モデル、およびネットワークを使用して実行され得る。

【0042】

図８Ａを参照すると、ブロック８０４において、組織部分のＭＰＸ画像のＭ個のチャンネルのそれぞれからの情報に基づくＮチャンネル入力画像が生成され、Ｍは正の整数であり、ＮはＭ以下の正の整数である。ブロック８０８において、生成器ネットワークを使用してＮチャンネル入力画像を処理することによって合成画像が生成される。合成画像は、少なくとも１つの組織化学的染色剤によって染色されている組織切片を示す。生成器ネットワークは、複数の画像対を含む訓練データセットを使用して訓練されており、各対は、（例えば、第１の切片のＭＰＸ画像のＭ個のチャンネルのそれぞれからの情報に基づいて）組織の第１の切片のＭＰＸ画像から生成されたＮチャンネル画像と、少なくとも１つの組織化学的染色剤によって染色された組織の第２の切片の画像とを含む。

【0043】

ブロック８０４において生成された入力画像のチャンネル数Ｎは、ブロック８０８において生成された合成画像のチャンネル数に等しいことが望ましい場合がある。例えば、入力画像と同じ数のチャンネルを有する出力画像を生成するように構成されたＰｉｘ２ＰｉｘＧＡＮなどの生成器ネットワークを使用してブロック８０８を実装することが望ましい場合がある。合成画像は、赤色チャンネル（Ｒ）、緑色チャンネル（Ｇ）、および青色チャンネル（Ｂ）を有するＲＧＢ画像などの３チャンネル画像であってもよい。

【0044】

図８Ｂは、ブロック８１６を含むプロセスブロック８０４の実装８１２を示している。ブロック８１６において、組織切片のＭＰＸ画像のＭ個のチャンネルのそれぞれについて、チャンネルからの情報が、Ｎチャンネル画像のＮチャンネルのうちの少なくとも１つにマッピングされる。そのようなマッピングは、線形および／または非線形マッピングを含み得る。この例では、ブロック８１６は、ブロック８２０を含む。ブロック８２０において、組織切片のＭＰＸ画像の複数のチャンネルのそれぞれから（例えば、Ｍ個のチャンネルのそれぞれから）の情報に基づく自己蛍光画像が生成される。プロセスブロック８０４のこの実装では、Ｎチャンネル入力画像は、自己蛍光画像からの情報に基づく。ブロック８１２のインスタンスはまた、ＭＰＸ画像のソースセットのうちの対応するものから訓練データセットの入力画像のそれぞれを生成するために実行され得る。

【0045】

プロセス８００のいくつかの実施形態では、組織化学的染色剤は、ヘマトキシリンおよびエオシンである。

【0046】

プロセス８００のいくつかの実施形態では、生成器ネットワークは、敵対的生成ネットワーク（例えば、ｃＧＡＮ、Ｐｉｘ２ＰｉｘＧＡＮ、またはサイクルＧＡＮ）の一部として訓練されたものである。

【0047】

自己蛍光画像は、（例えば、ブロック８２０において）ＭＰＸ画像の複数のチャンネルの非線形な組み合わせとして生成され得る。一例では、自己蛍光画像の画素ごとに、ＭＰＸ画像の複数のチャンネルの対応する画素の値のうちの最小値を選択することにより、ＭＰＸ画像の複数のチャンネルが非線形に合成される。この演算は、例えば、全ての画素位置（ｘ，ｙ）について、ｂ（ｘ，ｙ）＝ｍｉｎ［ａ_１（ｘ，ｙ）、ａ_２（ｘ，ｙ）、．．．、ａ_Ｍ（ｘ，ｙ）］と表され得る（ここで、ａはＭＰＸ画像を示し、ｂは自己蛍光画像を示す）。この動作は線形ではない。自己蛍光画像を生成することはまた、非線形結合から生じる画像に対して１つまたは複数の演算を実行することを含み得る（例えば、メディアンフィルタを適用するなどのノイズ低減演算）。

【0048】

図９は、いくつかの実施形態にかかる自己蛍光画像を生成するプロセスの例を示している。このような処理は、（例えば、様々なチャンネルで記録された組織の自己蛍光のレベル間の変動を補償するために）ＭＰＸ画像のチャンネルを等化することを含むことが望ましい場合がある。図９に示す例では、（例えば、上述したように最小画素値を選択することによって）ＭＰＸ画像のＭ個のチャンネルを非線形合成する前に等値化して自己蛍光画像を生成している。図９に示すように、ＭＰＸ画像の様々なチャンネルに適用される等化は、自己蛍光の基準スペクトル分布にしたがって決定され得る。例えば、等化は、ＭＰＸ画像の各チャンネルを対応する重み（例えば、スケーリング係数）で除算することによって実行されてもよく、様々なチャンネルのそれぞれの重みの値は、自己蛍光の所与の自己蛍光基準スペクトル分布にしたがって決定され得る。基準スペクトル分布は、ＭＰＸ画像内の試料の組織タイプに応じて選択されてもよく、自己蛍光基準ベクトルの要素としての様々なチャンネルの重みの計算は、以下により詳細に説明される。

【0049】

図９に示す特定の例では、Ｍは６に等しく、６つのチャンネルのそれぞれは、６つのフルオロフォアの異なる１つに対応する（それらの対応するフルオロフォアおよび１つの蛍光発生核対比染色剤（ＤＡＰＩ）を有する５つのバイオマーカー）。そのようなＭＰＸ画像を作製するために使用される染色プロトコルは、５プレックスアッセイまたはパネルとも呼ばれ得る。他の例では、Ｍは、３、４、または５に等しくてもよく（例えば、それぞれ２プレックス、３プレックス、および４プレックスのアッセイまたはパネルに対応する）、または６よりも大きくてもよい（例えば、７、８、９、または１０以上）。図９に示す特定の例では、４とラベル付けされたチャンネルは、ＤＡＰＩチャンネルである。

【0050】

図２４は、異なる４種類の組織（乳癌、結腸直腸癌（ＣＲＣ）、膵臓癌、および胃癌）についての自己蛍光の基準分光分布と、他の６チャンネルシステム（この図では、６とラベル付けされたチャンネルは、ＤＡＰＩチャンネルである）についてのこれらの分布の平均との比較例を示している。基準スペクトル分布は、ＭＰＸ画像に示される染色試料と同じ種類の組織（例えば、同じ腫瘍から）である無染色試料の基準ＭＰＸ画像から取得され得る。図２５は、染色されていない組織試料のＭＰＸ画像の２つの例を示している。基準ＭＰＸ画像は、例えば、染色された試料のＭＰＸ画像を取り込むために使用されるのと同じイメージングシステムを使用して取り込まれ得る。

【0051】

基準スペクトル分布は、自己蛍光基準ベクトル（例えば、Ｍ要素基準ベクトル）として取得され得、ベクトルの各要素は、基準ＭＰＸ画像の異なるチャンネルに対応し、そのチャンネルにおける組織自己蛍光の相対的な程度を表す。相対的な程度は、例えば、線形、多項式、指数（例えば、大きさ、エネルギー、または電力）であり得る。図９に示す例では、（上述したようにＭＰＸ画像の対応するチャンネルに重みとして適用され得る）自己蛍光基準ベクトルの６つの要素の値は、［０．０９１９１８５０３６０２５５４１０．１４７５８９０７３０４５５７３０．４６７６３５８１４１８５６５９０．８２２２２９７９０７０３８０１０．１９５３０９０１２１６２１６６０．１２０５０６９２２２９８８７５］である。自己蛍光の相対的な程度が決定される基準ＭＰＸ画像の特定の領域は、画像全体または画像の選択された関心領域（例えば、腫瘍領域または他の注釈付き領域）であり得る。自己蛍光の相対的な程度のそれぞれは、所望の画像領域にわたる対応するチャンネルの値の選択された統計量（例えば、算術平均、中央値などの平均）の値として計算され得る。

【0052】

統計値を計算する前に、所望の画像領域にわたって基準ＭＰＸ画像の各チャンネルを正規化することが望ましい場合がある。そのような一例では、各チャンネルは、最小－最大スケーリングによって（すなわち、所望の画像領域にわたってチャンネルの最大および最小画素値を識別し、最小画素値を減算し、その結果を最小画素値と最大画素値との差で除算することによって領域内のチャンネルの各値を正規化することによって）０から１の範囲に別々に正規化される。

【0053】

ソースＭＰＸ画像内のチャンネル数がＭよりも大きいことも可能であるが、ＭＰＸ画像のチャンネルのうちの１つずつからの情報を使用してＮチャンネル入力画像を生成し、同様にＮチャンネル訓練画像のそれぞれについても同様にすることが望ましい場合がある。換言すれば、ＭがソースＭＰＸ画像内のチャンネルの総数に等しいことが望ましい場合がある。訓練データを生成するためにソースＭＰＸ画像の全てのチャンネルからの情報を最大限に使用することは、対応する標的画像との構造的類似度が最大の合成画像を生成するように訓練された生成器ネットワークを取得するために重要であり得る。同様に、自己蛍光画像を生成するために組み合わされるチャンネルの数はＭ未満であることが可能であるが、自己蛍光画像を生成するためにＭ個のチャンネルの全てを組み合わせることが望ましい場合がある。

【0054】

次に、マッピングされた入力画像の例について説明する。図１０Ａ～図１０Ｄは、３チャンネル（ＲＧＢ）画像の４つの例を示し、それぞれは、いくつかの実施形態にかかる異なる対応するマッピングにしたがって、ＩＨＣ染色組織切片のＭＰＸ画像の６個のチャンネルからの情報に基づいて取得される。これらの４つの例のそれぞれは、自己蛍光画像とＭＰＸ画像のＤＡＰＩ（または他の核対比染色）チャンネルからの画像との異なる線形結合に基づいている。本明細書の説明では、図１０Ａに示すようなマッピングは、「ＡＦ＋ＡＦ＋ＤＡＰＩ」またはＡＡＤとして識別され、図１０Ｂに示すようなマッピングは、「ＡＦ＋ＤＡＰＩ＋ＤＡＰＩ」またはＡＤＤとして識別され、図１０Ｃに示すようなマッピングは、「擬似Ｈ＆Ｅ」またはｐＨＥとして識別され、図１０Ｄに示すようなマッピングは、「擬似Ｈ＆Ｅ２」またはｐＨＥ２として識別される。

【0055】

（例えば、図１１～図１３を参照すると）本明細書に記載の自己蛍光画像とＤＡＰＩ画像との線形結合を実行する前に、自己蛍光画像とＤＡＰＩ画像とを指定された範囲に再スケーリングする（あるいは、自己蛍光画像とＭＰＸ画像とを指定された範囲に再スケーリングする）ことが望ましい場合がある。一例では、再スケーリングは、画像の最小および最大画素値を識別し、（例えば、本明細書に記載の最小－最大スケーリングによって）画像の画素値を０から１の範囲に正規化することによって実行され得る正規化であり得る。別の例では、再スケーリングは、画像の各画素値に所望のスケーリング係数を適用することによって実行されてもよい（例えば、画像の画素値を０から６５５３５の範囲から０から２０００の範囲、または０から３０００の範囲などに再スケーリングする）。

【0056】

（例えば、図１１～図１３を参照すると）本明細書で説明した自己蛍光画像とＤＡＰＩ画像との線形結合を実行する前に、（例えば、組織の自己蛍光を補償するために）ＤＡＰＩ画像を補正したり、ＭＰＸ画像を補正したりすることが望ましい場合がある。このような補正は、上述したように、ＤＡＰＩやＭＰＸ画像の再スケーリングの前に実行されてもよく、後に実行されてもよい。ＤＡＰＩ画像の補正は、自己蛍光画像に自己蛍光基準ベクトルの対応する要素を乗算して加重自己蛍光画像を取得し、ＤＡＰＩ画像の各画素値から加重自己蛍光画像の対応する画素値を減算して補正ＤＡＰＩ画像を取得することによって実行されてもよい。ＭＰＸ画像の各チャンネルの補正も同様に、自己蛍光画像に自己蛍光基準ベクトルの対応する要素を乗算して加重自己蛍光画像を取得し、チャンネルの各画素値から加重自己蛍光画像の対応する画素値を減算して補正チャンネル画像を取得することによって実行されてもよい。図２６は、補正前（左上）および補正後（右下）の膵臓組織試料のＭＰＸ画像の例を示している。

【0057】

図１１および図１２に示すように、マッピングされた入力画像は、自己蛍光画像とＤＡＰＩ画像との線形結合として生成され得る。図１１は、いくつかの実施形態にかかる、３チャンネルマッピングされた入力画像を生成するプロセスの例を示している。この例（図１０Ａに示すようなマッピングされた入力画像「ＡＡＤ」または「ＡＦ＋ＡＦ＋ＤＡＰＩ」に対応する）では、入力画像の第１のチャンネルが自己蛍光画像であり、入力画像の第２のチャンネルも自己蛍光画像であり、入力画像の第３のチャンネルがＤＡＰＩ画像である。ＡＡＤ画像の３つのチャンネルは、ＧＡＮフレームワークの訓練データとして実際のＨ＆Ｅ画像のカラーチャンネル（例えば、ＲＧＢ）と対にされ得る。ＲＧＢの３つのチャンネルは、ＡＡＤ画像の３つのチャンネルにマッピングされる。

【0058】

図１２は、いくつかの実施形態にかかる、３チャンネルマッピングされた入力画像を生成するプロセスの別の例を示している。この例（図１０Ｂに示すようなマッピングされた入力画像「ＡＤＤ」または「ＡＦ＋ＤＡＰＩ＋ＤＡＰＩ」に対応する）では、入力画像の第１のチャンネルが自己蛍光画像であり、入力画像の第２のチャンネルがＤＡＰＩ画像であり、入力画像の第３のチャンネルもＤＡＰＩ画像である。ＡＤＤ画像の３つのチャンネルのそれぞれは、ＧＡＮフレームワークのための訓練データとしての実際のＨ＆Ｅ画像の対応するカラーチャンネルと対にされ得る。例えば、ＡＤＤ画像の３つのチャンネルは、実際のＨ＆Ｅ画像のＲチャンネル、Ｇチャンネル、およびＢチャンネルにそれぞれマッピングされ得る。

【0059】

あるいは、マッピングされた入力画像は、自己蛍光画像とＤＡＰＩ画像との線形結合である光学濃度配列から生成されてもよい。そのような計算は、例えば、光が通って移動する材料による光の減衰を記述するランベルト・ベールの法則に基づいてもよい。所与の波長ｃおよび所与の染色剤ｓについて、この関係は、以下のように表され得る：［波長ｃでの透過光強度］＝［波長ｃでの入射光強度］＊ｅｘｐ（－［波長ｃでの染色組織の光学密度］）、ここで、ＯＤｃ＝（組織中の染色剤ｓの量）＊（波長ｃでの染色剤ｓの吸収係数）である。

【0060】

プロセスブロック８０４のそのような実施形態は、自己蛍光画像とＤＡＰＩ画像との線形結合として光学濃度値の配列（例えば、光学密度値のＮチャンネル配列）を生成することと、マッピングされた入力画像を取得するために光学濃度値の配列に非線形関数を適用すること（「光学濃度配列」とも呼ばれる）とを含み得る。自己蛍光画像とＤＡＰＩ画像との線形結合として光学濃度配列を生成することは、例えば以下のように実行され得る：
ＯＤ＿Ｒ＝ＤＡＰＩｗｔ［１］＊ＤＡＰＩ＋ａｆｗｔ［１］＊ＡＦ；
ＯＤ＿Ｇ＝ＤＡＰＩｗｔ［２］＊ＤＡＰＩ＋ａｆｗｔ［２］＊ＡＦ；
ＯＤ＿Ｂ＝ＤＡＰＩｗｔ［３］＊ＤＡＰＩ＋ａｆｗｔ［３］＊ＡＦ；
ここで、ＯＤ＿Ｒ、ＯＤ＿Ｇ、およびＯＤ＿Ｂは、光学濃度配列の赤、緑、および青のチャンネルを示し、ＤＡＰＩは、ＤＡＰＩ画像を示す。ＡＦは、自己蛍光画像を示す。ＤＡＰＩｗｔおよびａｆｗｔは、３要素重みベクトルを示す。場合によっては、（例えば、隣接スペクトル内のブリードスルー密度を減算するために）光学密度配列の１つまたは複数のチャンネルを調整することが望ましい場合がある。

【0061】

ＤＡＰＩｗｔおよびａｆｗｔの値は、実験的に選択され得る（例えば、得られたマッピングされた画像の目視検査およびこれらの画像と実際のＨ＆Ｅ画像との比較によって）。そのような一例では、図１０Ｃに示すような入力画像ｐＨＥの光学濃度配列は、重みベクトルＤＡＰＩｗｔ＝［２９．２５００４８．７５００１４．６２５０］およびａｆｗｔ＝［０．３９００２３．５５３５１６．６７１７］を使用して取得される。

【0062】

あるいは、ＤＡＰＩｗｔおよびａｆｗｔの値は、ヘマトキシリンおよびエオシンの色依存性吸収特性にしたがって選択され得る。そのような一例では、図１０Ｄに示すような入力画像ｐＨＥ２の光学濃度配列は、重みベクトルＤＡＰＩｗｔ＝ｗ＿Ｄ＊Ａｂｓ＿Ｈｅｍおよびａｆｗｔ＝ｗ＿Ａ＊Ａｂｓ＿Ｅｏｓを使用して取得され、式中、Ａｂｓ－Ｈｅｍは、その要素が赤色、緑色、および青色光（例えば、［０．６５０．７００．２９］）に対するヘマトキシリンの相対吸光度を示す色ベクトルであり、Ａｂｓ＿Ｅｏｓは、その要素が赤色、緑色、および青色光（例えば、［０．０７０．９９０．１１］）に対するエオシンの相対吸光度を示す色ベクトルであり、スカラー重みｗ＿Ｄとｗ＿Ａとの和は１である（デフォルト値ｗ＿Ｄ＝ｗ＿Ａ＝０．５）。図１３は、いくつかの実施形態にかかる、３チャンネルマッピングされた入力画像を生成するそのようなプロセスの例を示している。場合によっては、ｗ＿Ａに対してｗ＿Ｄの値を増加させることが望ましい場合がある（例えば、マッピングされた入力画像における細胞核の影響を増大させるために）。

【0063】

光学濃度値の配列からマッピングされた入力画像を取得することは、非線形関数（例えば、指数関数）を適用して、光学濃度値の配列を透過値の配列（「透過配列」とも呼ばれる）に変換することを含み得る。このような変換は、例えば、以下のように実行され得る：
Ｔ＿Ｒ＝ｅｘｐ（－ＯＤ＿Ｒ）；
Ｔ＿Ｇ＝ｅｘｐ（－ＯＤ＿Ｇ）；
Ｔ＿Ｂ＝ｅｘｐ（－ＯＤ＿Ｂ）；
ここで、Ｔ＿Ｒ、Ｔ＿Ｇ、およびＴ＿Ｂは、透過値の配列の赤、緑、および青のチャンネルを示す。非線形関数の別の例では、指数関数の底は、ネイピア数ｅではなく１０である。

【0064】

透過配列の値を所望の画像空間に再スケーリングして、マッピングされた入力画像を明視野画像として取得し得る。一例では、透過配列の各値は、マッピングされた入力画像を２４ビットＲＧＢ画像として取得するために２５５倍にスケーリング（例えば、乗算）される。別の例では、透過配列の値は、最小－最大スケーリングによって所望の範囲（例えば、０から２５５の範囲）に正規化される。マッピングされた入力画像の他の出力画像空間は、Ｌａｂ色空間（例えば、ＣＩＥＬＡＢ、ハンターＬａｂなど）またはＹＣｂＣｒ色空間（例えば、ＹＣｂＣｒ、Ｙ’ＣｂＣｒなど）を含み得、透過配列からマッピングされた入力画像を生成することは、ある色空間から別の色空間への変換（例えば、ＲＧＢまたはｓＲＧＢからＹＣｒＣｂまたはＹ’ＣｒＣｂ）を含み得る。

【0065】

図１４は、様々な実施形態にかかる、少なくとも１つの組織化学的染色剤によって染色された組織切片を示す合成画像に組織切片のＭＰＸ画像を変換するための例示的なコンピューティング環境１４００（すなわち、データ処理システム）を示している。図１４に示すように、この例においてコンピューティング環境１４００によって実行される変換は、いくつかの段階、すなわち画像記憶段階１４０５、前処理段階１４９０、モデル訓練段階１４１０、変換段階１４１５、および分析段階１４２０を含む。画像記憶段階１４１０は、予め選択された領域または生物学的試料スライド（例えば、組織スライド）の全体からデジタル画像１４３０のソースセットおよびデジタル画像１４３５の標的セットを提供するためにアクセスされる（例えば、前処理段階１４９０によって）１つまたは複数のデジタル画像スキャナまたはデータベース１４２５を含み得る。

【0066】

モデル訓練段階１４１０は、他の段階によって使用されるべき１つまたは複数のモデル１４４０ａ～１４４０ｎ（「ｎ」は任意の自然数を表す）（本明細書では個別にモデル１４４０と呼ばれてもよく、まとめてモデル１４４０と呼ばれてもよい）を構築して訓練する。モデル１４４０は、畳み込みニューラルネットワーク（「ＣＮＮ」）、初期ニューラルネットワーク、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、シングルショットマルチボックス検出器（「ＳＳＤ」）ネットワーク、リカレントニューラルネットワーク（「ＲＮＮ」）、深層ニューラルネットワーク、正規化線形ユニット（「ＲｅＬＵ」）、ロングショートタームメモリ（「ＬＳＴＭ」）モデル、ゲーティッドリカレントユニット（「ＧＲＵ」）モデルなど、またはそれらの任意の組み合わせを含み得る、機械学習（「ＭＬ」）モデルとすることができる。様々な実施形態では、生成モデルは、敵対的生成ネットワーク（「ＧＡＮ」）、深層畳み込み敵対的生成ネットワーク（「ＤＣＧＡＮ」）、変分自己符号化器（ＶＡＥ）、隠れマルコフモデル（「ＨＭＭ」）、ガウス混合モデル、ボルツマンマシンなど、またはそのような技術のうちの１つもしくは複数、例えばＶＡＥ－ＧＡＮの組み合わせなどの、教師なし学習を使用して任意の種類のデータ分布を学習することができるモデル１４４０を訓練することによって学習されたパラメータによって構成される。コンピューティング環境１４００は、ソース画像を生成画像に変換するために、同じ種類のモデルまたは異なる種類のモデルを使用し得る。特定の事例では、生成モデルは、出力画像が現実であるか偽であるかを分類しようとする損失関数によって構築されたＧＡＮであるモデル１４４０を訓練することによって学習されたパラメータによって構成され、同時にこの損失を最小限に抑えるように生成モデルを訓練する。

【0067】

図１５に示す例示的な実施形態では、学習されたパラメータを提供するように訓練されたモデル１４４０は、ＧＡＮモデルの拡張である条件付きＧＡＮ（「ｃＧＡＮ」）１５００の一部であり、特定の条件または属性を有する画像を生成する。ｃＧＡＮは、出力の結合構成にペナルティを課す構造化損失を学習する。図１５を参照すると、ｃＧＡＮ１５００は、生成器１５１０および識別器１５１５を含む。生成器１５１０は、ランダムに生成されたノイズベクトル１５２０および潜在特徴ベクトル（または１次元ベクトル）１５２５（条件、例えば、本例では、マッピングされた入力画像）を入力データおよび識別器１５１５からのフィードバックとして受け取り、できるだけ現実の標的画像１５３５に近い新たな画像１５３０を生成するニューラルネットワーク（例えば、ＣＮＮ）である。識別器１５１５は、生成器１５１０からの生成画像１５３０が現実画像であるか偽画像であるかを識別するための分類器として構成されたニューラルネットワーク（例えば、ＣＮＮ）である。潜在特徴ベクトル１５２５または条件は、入力画像または入力画像のセット１５４０（例えば、マッピングコントローラ１５９３によって提供される画像）から導出され、入力画像１５４０から期待されるクラス（例えば、選択されたマッピングにしたがって対応するＭＰＸ画像のＭ個のチャンネルから取得されたＮチャンネル画像）または特定の特性のセットを符号化する。ランダムに生成されたノイズベクトル１５２０は、ガウス分布から生成されてもよく、ベクトル空間は、領域にとって重要であるが直接観測可能ではない潜在変数または隠れ変数から構成されてもよい。潜在特徴ベクトル１５２５およびランダムノイズベクトル１５２０は、生成器１５１０への入力１５４５として組み合わせられ得る。代替的または追加的に、ノイズは、ドロップアウト（例えば、入力を層に確率的に落とす）の形態で生成器１５１０内に追加されてもよい。

【0068】

生成器１５１０は、結合入力１５４５を受信し、問題領域（すなわち、組織化学的に染色された標的画像１５３５に関連する特徴の領域）内の潜在特徴ベクトル１５２５およびランダムノイズベクトル１５２０に基づいて画像１５３０を生成する。識別器１５１５は、標的画像１５３５および生成画像１５３０の両方を入力として条件画像分類を実行し、生成画像１５３０が標的画像１５３５の実際の翻訳であるか偽の翻訳であるかの可能性を予測する（１５５０）。識別器１５１５の出力は、生成画像１５３０のサイズに依存するが、単一の値または値の二乗活性化マップであってもよい。各値は、生成画像１５３０内のパッチが実在する尤度の確率である。これらの値を平均化して、必要に応じて全体的な尤度または分類スコアを得ることができる。生成器１５１０および識別器１５１５の両方の損失関数は、損失が、生成された画像１５３０が実際のものであるか、または標的画像１５３５の偽の翻訳であるかの可能性を予測する（１５５０）そのジョブを識別器１５１５がどれだけ良好に実行するかに依存するように構成され得る。十分な訓練の後、生成器１５１０は、より標的画像１５３５に似た生成画像１５３０を生成し始める。ＧＡＮ１５００の訓練は、事前定義された数の訓練インスタンスに対して進行し得、訓練または検証セットを使用して決定された１つまたは複数の性能測定基準（例えば、精度、適合率、および／または再現率）が対応する閾値を超える限り、結果として得られる学習されたパラメータが受け入れられ得る。あるいは、ＧＡＮ１５００の訓練は、最近の訓練反復に関連する１つまたは複数の性能測定基準が対応する閾値を超えるまで進行し得る。この時点で、生成された画像１５３０は、識別器がもはや現実と偽とを識別することができないように、標的画像１５３５に十分に類似し得る。生成器ネットワーク１５１０が訓練されると、入力されたＮチャンネル画像のセット（選択されたマッピングにしたがって対応するＭＰＸ画像のＭ個のチャンネルから取得される）をＧＡＮ１５００に入力して、入力された画像のセットを、組織化学的に染色されたスライドから取得された画像の標的セット（例えば、Ｈ＆Ｅ染色）と同様の特性を有する新たな生成された画像のセットに変換し得る。その後、新たに生成された画像のセットは、病理学者によって、（例えば、ＭＰＸ画像または合成Ｈ＆Ｅ画像をオンおよびオフに切り替えることによって）ＭＰＸ画像の注釈付け中に組織構造を視覚化するため、ＭＰＸ画像に基づく診断を確認するため、および／または（例えば、バイオマーカーの複合パネルに基づく分析を支援するために）あるＭＰＸ画像を別のＭＰＸ画像に位置合わせするためなどに使用され得る。

【0069】

図１４に戻って参照すると、この例ではモデル１４４０を訓練するために、前処理段階１４９０は、デジタル画像（デジタル画像１４３０のソースセットおよびデジタル画像１４３５の標的セット）を取得し、（例えば、マッピングコントローラ１４９３によって）選択されたマッピングにしたがってソース画像をＮチャンネル画像にマッピングし、画像を訓練のための画像１４４５ａのペアワイズサブセット（マッピングされた画像と標的画像の少なくとも一対）（例えば、９０％）および検証のための画像１４４５ｂのペアワイズサブセット（例えば、１０％）に分割し、画像１４４５ａのペアワイズサブセットおよび画像１４４５ｂのペアワイズサブセットを前処理し、画像１４４５ａのペアワイズサブセットを拡張し、場合によってはラベル１４５０によって画像１４４５ａのペアワイズサブセットに注釈を付けることによって試料１４４５を生成する。画像のペアワイズサブセット１４４５ａは、例えば、データベースまたは画像サーバなどのデータ記憶構造から取得され得る。各画像は、組織などの生物学的試料を示す。

【0070】

分割は、ランダムまたは擬似ランダム（例えば、９０％／１０％、８０％／２０％、または７０％／３０％を使用する）に実行されてもよく、または分割は、サンプリングバイアスおよびオーバーフィッティングを最小限に抑えるために、Ｋ倍交差検証、リーブワンアウト交差検証、リーブワングループアウト交差検証、ネステッド交差検証などのより複雑な検証技術にしたがって実行されてもよい。前処理は、各画像が単一の関心のあるオブジェクトのみを含むように画像をトリミングすることを含み得る。場合によっては、前処理は、全ての特徴を同じスケール（例えば、同じサイズスケールまたは同じカラースケールまたは彩度スケール）にするための標準化または再スケーリング（例えば、正規化）をさらに含み得る。特定の例では、画像は、所定の画素（例えば、２５００画素）の最小サイズ（幅または高さ）または所定の画素（例えば、３０００画素）の最大サイズ（幅または高さ）でサイズ変更され、元のアスペクト比を維持する。

【0071】

例えば、前処理段階１４９０は、ソースセットおよび標的セットからの複数のパッチ画像を訓練データ用の画像の１つまたは複数のペアワイズサブセットとして準備し得る。対の画像の準備は、ソース画像と標的画像の一致した対にアクセスすることを含み得、各一致した対のソース画像および標的画像は、同じ生物学的試料の近くの（例えば、隣接している、またはほぼ隣接している）切片のスライドからのものであり（例えば、腫瘍試料）、ソース画像に示される切片は、複数の（例えば、２、３、４、５、または６以上）選択されたＩＨＣフルオロフォアによって染色されており、標的画像に示される切片は、１つまたは複数の選択された組織化学的染色剤によって染色されている。１つの非限定的な例では、ソース画像のそれぞれの切片は、６つのフルオロフォア（核対比染色剤、例えばＤＡＰＩを含む）によって染色されており、標的画像のそれぞれの切片は、Ｈ＆Ｅによって染色されている。図５Ａおよび図５Ｂは、ＩＨＣ染色された組織切片の暗視野ＭＰＸ画像（図５Ａ）と、Ｈ＆Ｅ染色された同じ組織試料の近傍（例えば、隣接する）切片の明視野画像（図５Ｂ）との一致した対の一例を示している。

【0072】

次に、前処理段階１４９０は、（例えば、マッピングコントローラ１４９３によって）選択されたマッピングにしたがってソース画像のそれぞれをマッピングして、対応する標的画像と対になるＮチャンネル入力画像を取得し、対になった入力画像および標的画像（例えば、スライド画像全体）のそれぞれを所定のサイズ（例えば、１２８×１２８、２５６×２５６、または別のサイズ）のいくつかのパッチに分割して、訓練用のパッチの一致した対を生成し得る。例えば、精査する病理学者によって追加された腫瘍注釈など、画像内の関心領域からのパッチのみを使用することが望ましい場合がある。前処理段階１４９０（例えば、位置合わせコントローラ１４９５）は、画像がパッチに分割される前および／または後に、対になった入力画像および標的画像の位置合わせおよび／または位置合わせを実行し得る。位置合わせは、一方の画像を固定画像とも呼ばれる基準画像として指定することと、他方の画像が基準画像と位置合わせされるように、他方の画像に幾何学的変換または局所変位を適用することとを含み得る。組織化学的に染色された画像（すなわち、標的画像）は、ネットワークを訓練するためのグラウンドトゥルースを提供することから、位置合わせおよび位置合わせの目的で標的画像を基準画像として指定することが望ましい場合がある。入力セットおよび標的セットからの位置合わせされたパッチの対が選択され、このプロセスは、訓練データ用の画像の１つまたは複数のペアワイズサブセットをもたらす。前処理段階１４９０は、深層学習ネットワークを訓練するために、パッチ対をＧＡＮまたはｃＧＡＮに入力され得る。

【0073】

図１４に戻って参照すると、前処理段階１４９０は、データセット内の画像の修正バージョンを作成することによって、画像１４４５ａのペアワイズサブセットのサイズを人工的に拡張するために拡張を使用し得る。画像データ拡張は、元の画像と同じクラスに属するデータセット内の画像の変換バージョンを作成することによって実行され得る。変換は、シフト、フリップ、ズームなどの画像操作の分野からの動作の範囲を含む。いくつかの例では、動作は、モデル１４４０が画像のペアワイズサブセット１４４５ａから利用可能な状況外の状況下で実行することができることを保証するために、ランダム消去、シフト、輝度、回転、ガウスぼかし、および／または弾性変換を含む。

【0074】

モデル１４４０の訓練プロセスは、画像のペアワイズサブセット１４４５ａからモデル１４４０に画像を入力して、モデル１４４０の１つまたは複数の損失関数または誤差関数（例えば、画像訓練データの確率を最大化するように識別器を訓練するための第１の損失関数と、生成器からサンプリングされた生成画像の確率を最小化するように識別器を訓練し、識別器がそれ自体の生成画像に割り当てる確率を最大化するように生成器を訓練するための第２の損失関数）を最小化するモデルパラメータのセット（例えば、重みおよび／またはバイアス）を見つける反復動作を実行することと、を含む。訓練の前に、モデル１４４０は、モデルの外部にあり、モデル１４４０の挙動を制御するように調整または最適化され得る設定であるハイパーパラメータの定義されたセットによって構成される。ほとんどのモデルでは、ハイパーパラメータは、例えばメモリまたは実行コストなど、モデルの異なる態様を制御するために明示的に定義される。しかしながら、モデルを特定のシナリオに適合させるために、追加のハイパーパラメータが定義され得る。例えば、ハイパーパラメータは、モデルの隠れユニットの数、モデルの学習率、畳み込みカーネル幅、またはモデルのカーネルの数を含み得る。訓練の各反復は、モデルパラメータのセットを使用する損失関数または誤差関数の値が、前の反復におけるモデルパラメータの異なるセットを使用する損失関数または誤差関数の値よりも小さくなるように、（ハイパーパラメータの対応する定義されたセットによって構成されるような）モデル１４４０のモデルパラメータのセットを見つけることを含むことができる。ハイパーパラメータとは対照的に、モデルパラメータは、モデルの内部にある変数であり、それらの値は、訓練データから推定（例えば、学習）され得る。損失関数または誤差関数は、モデル１４４０を使用して推論された出力と、ラベル１４５０を使用したグラウンドトゥルース標的画像との間の差を測定するように構築され得る。

【0075】

モデルパラメータのセットが識別されると、モデル１４４０は、訓練されており、画像のペアワイズサブセット１４４５ｂ（試験または検証データセット）を使用して検証され得る。検証プロセスは、ハイパーパラメータを調整し、最終的に最適なハイパーパラメータのセットを見つけるために、Ｋ－分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などの検証技術を使用して、画像のペアワイズサブセット１４４５ｂからモデル１４４０に画像を入力する反復動作を含む。最適なハイパーパラメータのセットが取得されると、画像のサブセット１４４５ｂからの画像の予約された試験セットをモデル１４４０に入力して出力（この例では、標的画像と同様の特性を有する生成画像）を取得し、Ｂｌａｎｄ－Ａｌｔｍａｎ法およびスピアマンのランク相関係数などの相関技術を使用し、誤差、精度、適合率、再現率、受信者動作特性曲線（ＲＯＣ）などの性能メトリックを計算して、出力がグラウンドトゥルース標的画像に対して評価される。

【0076】

理解されるべきであるように、他の訓練／検証機構が想定され、コンピューティング環境１４００内に実装されてもよい。例えば、モデル１４４０は、訓練されてもよく、ハイパーパラメータは、画像１４４５ａのペアワイズサブセットからの画像上で調整されてもよく、画像１４４５ｂのペアワイズサブセットからの画像は、モデル１４４０の性能を試験および評価するためにのみ使用されてもよい。

【0077】

モデル訓練段階１４１０は、１つまたは複数の訓練された変換モデル１４６０および任意に１つまたは複数の画像分析モデル１４６５を含む訓練されたモデルを出力する。場合によっては、第１のモデル１４６０ａは、生物学的標本（組織切片）のソース画像１４３０から取得された入力画像を処理するように訓練されている。入力画像は、選択されたマッピングにしたがって生物学的試料のＭＰＸ画像のＭ個のチャンネルから取得されるＮチャンネル画像である。入力画像は、変換段階１４１５内の変換コントローラ１４７０によって取得される。変換コントローラ１４７０は、１つまたは複数の訓練された変換モデル１４６０を使用して、入力画像を標的画像の特性を有する新たな画像１４７５に変換するためのプログラム命令を含む。標的画像の特徴は、１つまたは複数の選択された組織化学的染色剤（例えば、Ｈ＆Ｅ）によって染色された組織切片の画像に関連付けられる。変換は、入力画像を訓練された生成器モデル（変換モデル１４６０の一部）に入力することと、生成器モデルによって新たな画像１４７５を生成することとを含む。

【0078】

場合によっては、新たな画像１４７５は、分析段階１４２０内の分析コントローラ１４８０に送信される。分析コントローラ１４８０は、１つまたは複数の画像分析モデル１４６５を使用して、新たな画像１４７５内の生物学的試料を分析し、分析に基づく分析結果１４８５を出力するためのプログラム命令を含む。新たな画像１４７５内の生物学的試料の分析は、新たな画像１４７５内の領域、新たな画像１４７５内の１つまたは複数の細胞、および／または細胞以外の新たな画像１４７５内のオブジェクトに基づいて測定値を抽出することを含み得る。面積ベースの測定は、最も基本的な評価、例えば、特定の染色（例えば、組織化学的染色）の面積（２次元）、脂肪小胞の面積、またはスライド上に存在する他の事象を定量化することを含み得る。細胞ベースの測定は、オブジェクト、例えば細胞の識別および列挙を目的とする。個々の細胞のこの特定は、細胞内区画のその後の評価を可能にする。最後に、個々の細胞から構成され得ない組織切片上に存在する事象またはオブジェクトを評価するために、アルゴリズムが利用され得る。特定の例では、イメージング分析アルゴリズムは、細胞または細胞内構造の位置を特定し、最終的に診断および予測を支援するために使用され得る細胞染色、形態、および／または構造の定量的表現を提供するように構成される。場合によっては、イメージング分析アルゴリズムは、標的画像（例えば、組織化学的に染色された切片の画像）の特性を有する画像の分析用に特に構成される。例えば、新たな画像１４７５の分析は、対応するＭＰＸソース画像に対して、ＲＯＩＳおよび／または除外されるべき領域の自動描写を提供することを含み得る。別の例では、新たな画像１４７５の分析は、新たな画像１４７５を別の新たな画像１４７５に位置合わせすることと、位置合わせ結果を対応するＭＰＸソース画像に適用することとを含み得る。

【0079】

明示的に示されていないが、コンピューティング環境１４００は、開発者に関連付けられた開発者デバイスをさらに含み得ることが理解されよう。開発者デバイスからコンピューティング環境１４００の構成要素への通信は、モデルに使用される入力画像のタイプ、使用されるモデルの数およびタイプ、各モデルのハイパーパラメータ、例えば学習率および隠れ層の数、データ要求をフォーマットする方法、使用される訓練データ（例えば、および訓練データへのアクセス方法）および使用される検証技術、および／またはコントローラプロセスを構成する方法を示し得る。

【0080】

生成器ネットワーク１５１０を訓練するために使用され得るｃＧＡＮモデル１５００の特定の一例は、Ｐｉｘ２ＰｉｘＧＡＮである。図１６は、選択されたマッピングにしたがってＩＨＣ－染色された組織切片の対応するＭＰＸ画像のＭ個のチャンネルからそれぞれ取得されたＮ－チャンネル画像を、組織化学的に染色された（例えば、Ｈ＆Ｅ染色された）組織切片の合成画像に変換するように生成器ネットワーク１６１０を訓練するためにＰｉｘ２ＰｉｘＧＡＮ１６００を使用するｃＧＡＮモデル１５００の実装の例を示している。図１６に示すように、生成器ネットワーク１６１０は、Ｕ－Ｎｅｔアーキテクチャを使用して実装され、これは、入力をボトルネック層に漸進的にダウンサンプリングする層を有するエンコーダと、出力を生成するためにボトルネック出力を漸進的にアップサンプリングする層を有するデコーダとを含む。図１６に示すように、Ｕ－Ｎｅｔはまた、等しいサイズの特徴マップを有するエンコーダ層とデコーダ層との間のスキップ接続を含む。これらの接続は、エンコーダ層の特徴マップのチャンネルを対応するデコーダ層の特徴マップのチャンネルと連結する。特定の例では、生成器ネットワーク１６１０は、生成された画像と予想される出力画像（例えば、図１６の「予測画像」および「グラウンドトゥルース」）との間で測定されたＬ１損失を介して更新される。

【0081】

一般に、Ｐｉｘ２ＰｉｘＧＡＮを使用することは、生成器ネットワークを訓練するために使用されるべき画像パッチの一致した対が（例えば、画素レベルで）位置合わせされている必要がある。図１７は、（例えば、訓練および／または検証のために）本明細書に記載の一致した画像対から一致し、位置合わせされた画像パッチの対を生成する例示的なプロセス１７００のフローチャートを示している。プロセス１７００は、前処理段階１４９０によって（例えば、位置合わせコントローラ１４９５によって）実行され得る。図１７を参照すると、ブロック１７０４において、一致した画像対の低解像度バージョンが粗に位置合わせされる。一例では、そのような粗い位置合わせは、変換行列Ｍ_Ｃ（例えば、並進および／または回転を含む）を、ＩＨＣ染色された切片のＭＰＸ画像のＭ個のチャンネルのＮチャンネルマッピングＩ_Ｎｍａｐの低解像度バージョンに適用して、それをＨ＆Ｅ染色された一致する（例えば、近い）切片の画像Ｉ_Ｈ＆Ｅに位置合わせすることによって実行され得る。変換行列Ｍｃは、例えば、位置合わせされる各画像における組織の輪郭に基づいて自動的に算出され得る。

【0082】

ブロック１７０８において、（例えば、注釈をカバーする各画像上にグリッドを投影し、各画像から対応するタイルを抽出することによって）粗に位置合わせされた画像対の関心領域（ＲＯＩ）からタイルが抽出される。図１８は、画像Ｉ_ＮｍａｐのＲＯＩからのタイルＴ_Ｎｍａｐ（例えば、サイズが２０４８×２０４８画素）および画像Ｉ_Ｈ＆Ｅからの対応するタイルＴ_Ｈ＆Ｅ（例えば、サイズが２０４８×２０４８画素）の例を示している。ブロック１７１２において、抽出されたタイル対のフル解像度バージョンが精密に位置合わせされる。そのような精密な位置合わせは、例えば、一方の画像（例えば、Ｉ_Ｎｍａｐ）からのタイルを他方の画像（例えば、Ｉ_Ｈ＆Ｅ（上述した基準画像））からの対応するタイルに位置合わせするために、一方の画像からのタイルのスケーリング、デスキュー、および／またはワープを含み得る。ブロック１７１６において、精密に位置合わせされたタイルは、位置合わせされた画像対を取得するために互いにスティッチングされ、ブロック１７２０において、位置合わせされた画像のそれぞれは、パッチにスライスされる（例えば、サイズが１２８×１２８画素、２５６×２５６画素、または別のサイズ）。そして、ブロック１７２４において、位置合わせされた各画像（例えば、図１８に示すようなパッチＰ_ＮｍａｐおよびＰ_Ｈ＆Ｅ）からの一致したパッチが組み合わされ（例えば、左右にスティッチングされる）、訓練画像を取得する。例えば、サイズ１２８×１２８画素のそれぞれである一対のマッチングパッチを互いにスティッチングして、サイズ１２８×２５６画素の訓練画像を取得し得る。または、サイズ２５６×２５６画素のそれぞれが、サイズ２５６×５１２画素の訓練画像を取得するために互いにスティッチングされてもよい。このようにして、位置合わせ画像対を取得するために各画像の精密に位置合わせされたタイルを互いにスティッチングし、訓練画像のセットを取得するために位置合わせ画像のそれぞれからの一致したパッチを組み合わせるプロセスは、対応するＭＰＸ画像のＭ個のチャンネルから取得されたＮチャンネルマッピングされた画像を組織化学的に染色された部分の合成画像に変換するために生成器ネットワーク１５１０を訓練するためにＰｉｘ２ＰｉｘＧＡＮ実装を使用するための訓練データのセットを取得するために実装され得る。

【0083】

生成器ネットワーク１５１０を訓練するために使用され得るｃＧＡＮモデル１５００の別の特定の例は、複数の生成器ネットワークおよび複数の識別器ネットワークを含むサイクルＧＡＮである。図１９は、サイクルＧＡＮにおける生成器ネットワークＧ_ＸおよびＧ_Ｙならびに識別器ネットワークＤ_ＸおよびＤ_Ｙの図を示している。この例では、Ｙ領域は、組織化学的に染色された試料を表す画像に対応し、Ｘ領域は、選択されたマッピングにしたがって、ＩＨＣ染色試料の対応するＭＰＸ画像のＭ個のチャンネルから得られたＮチャンネル画像に対応する。

【0084】

図２０は、本明細書で説明されるようなサイクルＧＡＮの適用における生成器ネットワークと識別器ネットワークとの間のフローを示している。サイクルＧＡＮは、Ｘ－Ｙ生成器ネットワークＧ_Ｙ２０２４（生成器ネットワーク１５１０として訓練される）を含み、組織化学的に染色された試料の画像をＩＨＣ染色試料のＭＰＸ画像のＭ個のチャンネルからのＮチャンネルマッピングを描写する画像に変換するように構成および訓練されたＹ－Ｘ生成器ネットワークＧ_Ｘ２０２０も含む。生成器ネットワークＧ_Ｘ２０２０は、１つまたは複数の畳み込み層を含むことができ、Ｕ－ｎｅｔまたはＶ－ｎｅｔを含み得る。場合によっては、生成器ネットワークＧ_Ｘ２０２０は、特徴抽出エンコーダ、変換器、およびデコーダを含み、それぞれが１つまたは複数の畳み込み層を有する。生成器ネットワークＧ_Ｘ２０２０およびＧ_Ｙ２０２４のアーキテクチャは同じであってもよい。

【0085】

サイクルＧＡＮは、ＩＨＣ染色試料のＭＰＸ画像のＭ個のチャンネルからのＮチャンネルマッピングを描写する実際の画像と偽の画像（例えば、実際のＮチャンネル画像２０１２および偽のＮチャンネル画像２０１６）とを識別する識別器ネットワークＤ_Ｘ２０３２と、組織化学的染色試料を描写する偽の画像と実際の画像（例えば、実際の組織化学的染色画像２００４および偽の組織化学的染色画像２００８）とを識別する別の識別器ネットワークＤ_Ｙ２０２８とを含む。識別器ネットワークＤ_ＸおよびＤ_Ｙのそれぞれは、１つまたは複数の畳み込み層および活性化層を含み得、識別器ネットワークＤ_ＸおよびＤ_Ｙのアーキテクチャは同じであり得る。

【0086】

サイクルＧＡＮの使用は、一致した画像の対の精密な位置合わせ（例えば、図１７および図１８を参照して本明細書に記載されるような画像Ｉ_ＮｍａｐおよびＩ_Ｈ＆Ｅの精密な位置合わせ）が訓練データを生成するために必要とされないという利点を有し得る。しかしながら、Ｐｉｘ２ＰｉｘＧＡＮ実装を使用して、対になった位置合わせ画像の画像パッチ上で生成器ネットワーク１５１０を訓練すると、より良好な結果が得られた。

【0087】

本開示にかかる方法は、ＭＰＸ画像の画像をＨ＆Ｅ染色試料の対応する合成画像に変換するために実装され得る。そのような方法は、例えば、病理学者がＭＰＸソース画像の注釈付けを支援するために使用され得る。そのような方法は、実際のＨ＆Ｅ染色を行うことなく、下にある組織構造の基準画像を提供するための高速スクリーニングプロセスの重要な部分として実装され得る。さらに、そのような「仮想染色」技術は、対応するＭＰＸ画像に基づく診断を確認するために使用されることもできる。さらに、本明細書に記載の画像変換の方法を使用して、バイオマーカーの拡張パネルの分析（例えば、共配置、共発現）を可能にするためのＭＰＸ画像の自動位置合わせを支援し得る。

【0088】

図２１～図２３は、ＭＰＸ画像を対応する合成Ｈ＆Ｅ染色画像に変換するために（本明細書に記載のＰｉｘ２ＰｉｘＧＡＮを使用して）プロセス８００の実装を使用する３つの異なる例をそれぞれ示している。図２１～図２３のそれぞれは、図１０Ａ～図１０Ｄに示されて本明細書に記載された４つの例示的なソース画像マッピング（ｐＨＥ、ｐＨＥ２、ＡＡＤ、ＡＤＤ）のそれぞれを使用して得られた結果を示している。図２１～図２３のそれぞれにおいて、上段は、Ｎチャンネルマッピングされたソース画像（「アプローチ」）を示し、中段は、対応する生成された合成Ｈ＆Ｅ画像（「出力」）を示し、下段は、対応する実際のＨ＆Ｅ画像（「標的」）を示す。出力画像は、標的画像と非常に類似していることが分かる。

【0089】

Ｖ．さらなる考察
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させるように構成された命令を含む非一時的機械可読記憶媒体において、有形に具現化されたコンピュータプログラム製品を含む。

【0090】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【0091】

説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更が加えられ得ることが理解される。

【0092】

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施され得ることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

【図1】