特表2025-503388 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ザ　リージェンツ　オブ　ザ　ユニバーシティ　オブ　カリフォルニアの特許一覧

特表2025-503388深層学習を用いた、組織の無標識仮想免疫組織化学染色

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1-1
1-2
2-1
2-2
3
4
5-1
5-2
5-3
5-4
5-5
6-1
6-2
7
8-1
8-2
9-1
9-2
10-1
10-2
11
12
13
14
15

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-02-04

(54)【発明の名称】深層学習を用いた、組織の無標識仮想免疫組織化学染色

(51)【国際特許分類】

G06T 7/00 20170101AFI20250128BHJP

G01N 33/53 20060101ALI20250128BHJP

G01N 33/483 20060101ALI20250128BHJP

G06V 10/82 20220101ALI20250128BHJP

G01N 33/48 20060101ALI20250128BHJP

【ＦＩ】

G06T7/00 350C

G01N33/53 Z

G01N33/53 D

G01N33/53 Y

G01N33/483 C

G06T7/00 630

G06V10/82

G01N33/48 P

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024533829

(86)(22)【出願日】2022-11-30

(85)【翻訳文提出日】2024-08-02

(86)【国際出願番号】 US2022080697

(87)【国際公開番号】W WO2023107844

(87)【国際公開日】2023-06-15

(31)【優先権主張番号】63/287,006

(32)【優先日】2021-12-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】592110646

【氏名又は名称】ザリージェンツオブザユニバーシティオブカリフォルニア

(74)【代理人】

【識別番号】110001302

【氏名又は名称】弁理士法人北青山インターナショナル

(72)【発明者】

【氏名】オズカン，アイドガン

(72)【発明者】

【氏名】リヴェンソン，ヤイア

(72)【発明者】

【氏名】バイ，ビジェ

(72)【発明者】

【氏名】ワン，ホンダ

【テーマコード（参考）】

2G045

5L096

【Ｆターム（参考）】

2G045AA24

2G045BA14

2G045CB01

2G045CB02

2G045DA36

2G045FA16

2G045FB03

2G045FB07

2G045FB12

2G045JA01

2G045JA02

2G045JA03

5L096BA06

5L096BA13

5L096CA02

5L096DA02

5L096HA11

5L096KA04

(57)【要約】

深層学習ベースの仮想ＨＥＲ２ＩＨＣ染色法が、非標識／無標識乳房組織切片の自家蛍光顕微鏡画像を、同じ組織切片に化学的に行われた標準ＨＥＲ２ＩＨＣ染色と一致する明視野同等顕微鏡画像に迅速に変換するように訓練された条件付き敵対的生成ネットワークを使用する。その染色フレームワークの有効性は、仮想染色されたＨＥＲ２ホールスライド画像（ＷＳＩ）及び免疫組織化学染色されたＨＥＲ２ホールスライド画像の、盲検的に段階評価されたＨＥＲ２スコアの定量分析によって実証された。もう一つの定量的盲検試験から、仮想染色ＨＥＲ２画像が、免疫組織化学的に染色された対応物に対して、核の細部、膜の鮮明さ、及び染色アーチファクトの非存在のレベルにおいて同等の染色の質を呈することが明らかになった。この仮想染色フレームワークは、検査室においてコストがかかり、手間がかかり、且つ時間がかかるＩＨＣ染色法を回避し、他の種類のバイオマーカーに拡張してＩＨＣ組織染色及び生物医学ワークフローを促進することができる。
【選択図】図１ａ

【特許請求の範囲】

【請求項1】

無標識組織試料のデジタル染色免疫組織化学（ＩＨＣ）顕微鏡画像を生成し、前記組織試料の少なくとも１つの標的バイオマーカー又は抗原に特異的な特徴を明らかにする方法であって、
演算装置の１つ又は複数のプロセッサを使用する画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークであって、同じ組織試料の、複数の一致した免疫組織化学（ＩＨＣ）染色訓練画像又は画像パッチ及びそれらの対応する自家蛍光訓練画像又は画像パッチで訓練される、前記訓練済みディープニューラルネットワークを準備すること；
蛍光イメージング装置を用いて無標識組織試料の１つ又は複数の自家蛍光画像を取得すること；
前記無標識組織試料の前記１つ又は複数の自家蛍光画像を、前記訓練済みディープニューラルネットワークに入力すること；並びに
前記訓練済みディープニューラルネットワークが、前記少なくとも１つの標的バイオマーカーに特異的な前記特徴を明らかにする前記無標識組織試料の前記デジタル染色ＩＨＣ顕微鏡画像であって、さらにそのバイオマーカーが化学的にＩＨＣ染色されていたならば、同じ無標識組織試料の対応する画像と実質的に同等であるように見えるデジタル染色ＩＨＣ顕微鏡画像を出力すること
を含む、方法。

【請求項2】

前記訓練済みディープニューラルネットワークが、畳み込みニューラルネットワークを含む、請求項１に記載の方法。

【請求項3】

前記ディープニューラルネットワークが、敵対的生成ネットワーク（ＧＡＮ）モデルを使用して訓練される、請求項１に記載の方法。

【請求項4】

前記組織が乳房組織を含む、請求項１に記載の方法。

【請求項5】

前記組織の前記少なくとも１つの標的バイオマーカー又は抗原が、ヒト上皮成長因子受容体２（ＨＥＲ２）である、請求項１に記載の方法。

【請求項6】

前記ディープニューラルネットワークが、同じ組織試料の前記一致したＩＨＣ染色画像又は画像パッチと自家蛍光画像又は画像パッチとの間の統計的変換を学習するように構成されている生成器ネットワーク、及び前記組織試料のグラウンドトゥルースＩＨＣ染色画像と、前記組織試料の前記出力されたデジタル染色ＩＨＣ顕微鏡画像を識別するように構成されている識別器ネットワークを使用して訓練される、請求項２～３のいずれかに記載の方法。

【請求項7】

前記訓練済みディープニューラルネットワークが、アテンションゲート付きニューラルネットワークを含む、請求項２に記載の方法。

【請求項8】

前記１つ又は複数の自家蛍光画像が、異なる励起－発光波長でキャプチャされた複数の自家蛍光画像を含む、請求項１に記載の方法。

【請求項9】

異なる励起－発光波長でキャプチャされた前記無標識組織試料の前記複数の自家蛍光画像が、次のフィルターチャンネル：ＤＡＰＩ、ＦＩＴＣ、ＴｘＲｅｄ、及びＣｙ５のうちの２つ以上で得られた自家蛍光画像を含む、請求項８に記載の方法。

【請求項10】

前記無標識組織試料が非固定又は新鮮組織試料を含む、請求項１に記載の方法。

【請求項11】

前記無標識組織試料が固定又は凍結組織試料を含む、請求項１に記載の方法。

【請求項11】

前記無標識組織試料が生体内で撮像された組織を含む、請求項１に記載の方法。

【請求項12】

同じ組織試料の前記複数の一致したＩＨＣ染色画像又は画像パッチ及び自家蛍光画像又は画像パッチが、前記ディープニューラルネットワークの訓練の前に、前記複数の一致したＩＨＣ染色画像又は画像パッチ及び自家蛍光画像又は画像パッチを、前記一致したＩＨＣ染色画像及び自家蛍光画像に見られる局所的なスタイル／特徴にマッチングする位置合わせニューラルネットワークモデルに通すことを含む位置合わせプロセスに供される、請求項１に記載の方法。

【請求項13】

位置合わせが、弾性位置合わせプロセスを使用して、前記ＩＨＣ染色画像又は画像パッチを、それぞれの自家蛍光画像又は画像パッチに位置合わせすることをさらに含む、請求項１２に記載の方法。

【請求項14】

前記無標識組織試料の前記デジタル染色ＩＨＣ顕微鏡画像が、前記無標識組織試料の前記１つ又は複数の自家蛍光画像を取得した後、リアルタイム又はほぼリアルタイムで出力される、請求項１に記載の方法。

【請求項15】

前記蛍光イメージング装置が蛍光顕微鏡を含む、請求項１に記載の方法。

【請求項16】

組織試料の少なくとも１つのバイオマーカー又は抗原に特異的な特徴を明らかにする無標識組織試料のデジタル染色さ免疫組織化学（ＩＨＣ）顕微鏡画像を生成するためのシステムであって、
その上又はそれにより実行される画像処理ソフトウェアを有する演算装置であって、前記画像処理ソフトウェアが、前記演算装置の１つ又は複数のプロセッサを使用して実行される訓練済みディープニューラルネットワークを含み、前記訓練済みディープニューラルネットワークが、同じ組織試料の、複数の一致した免疫組織化学（ＩＨＣ）染色された訓練画像又は画像パッチ及びそれらの対応する自家蛍光訓練画像又は画像パッチで訓練され、前記画像処理ソフトウェアが、蛍光イメージング装置を使用して前記無標識組織試料の１つ又は複数の自家蛍光画像を受け取り、前記少なくとも１つの標的バイオマーカーに特異的な前記特徴を明らかにする前記無標識組織試料の前記デジタル染色ＩＨＣ顕微鏡画像であって、さらにそのバイオマーカーが化学的にＩＨＣ染色されていたならば、同じ無標識組織試料の対応する画像と実質的に同等であるように見えるデジタル染色ＩＨＣ顕微鏡画像を出力するように構成されている演算装置
を含む、システム。

【請求項17】

前記訓練済みディープニューラルネットワークが、畳み込みニューラルネットワークを含む、請求項１６に記載のシステム。

【請求項18】

前記訓練済みディープニューラルネットワークが、敵対的生成ネットワーク（ＧＡＮ）モデルを使用して訓練される、請求項１７に記載のシステム。

【請求項19】

前記組織が乳房組織を含む、請求項１６に記載のシステム。

【請求項20】

前記組織の前記少なくとも１つの標的バイオマーカー又は抗原が、ヒト上皮成長因子受容体２（ＨＥＲ２）である、請求項１６に記載のシステム。

【請求項21】

前記蛍光イメージング装置が、前記無標識組織試料の前記１つ又は複数の自家蛍光画像を取得するように構成されている蛍光顕微鏡を含む、請求項１６に記載のシステム。

【請求項22】

異なる励起－発光波長でキャプチャされた、前記無標識組織試料の複数の自家蛍光画像を取得するために使用される複数のフィルターをさらに含む、請求項２１に記載のシステム。

【請求項23】

前記訓練済みディープニューラルネットワークが、アテンションゲート付きニューラルネットワークを含む、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０２１年１２月７日に出願された米国仮特許出願第６３／２８７，００６号の優先権を主張するものであり、その仮特許出願は参照によりその全体が本明細書に組み込まれる。優先権は、米国特許法第１１９条（３５Ｕ．Ｓ．Ｃ．§１１９）及びその他の適用法令に従って主張される。

【0002】

本技術分野は、全体として、染色されていない（すなわち、無標識（ｌａｂｅｌ－ｆｒｅｅ））組織、例えば１つの実施形態では乳房組織を撮像するために使用される方法及びシステムに関する。特に、本技術分野は、組織の免疫組織化学（ＩＨＣ）染色に実質的に類似する、染色されていない組織又は非標識（ｕｎｌａｂｅｌｅｄ）の組織の画像をデジタル的に又は仮想的に染色するためにディープニューラルネットワーク学習を利用する顕微鏡法及びシステムに関する。１つの例として、乳房組織及びヒト上皮成長因子受容体２（ＨＥＲ２）バイオマーカーのＩＨＣ染色が挙げられる。

【0003】

連邦政府による資金提供を受けた研究開発に関する記載
本発明は、米国国立科学財団から得た助成金番号１９２６３７１による政府支援を受けて行われた。政府は本発明に一定の権利を有する。

【背景技術】

【0004】

組織切片の免疫組織化学（ＩＨＣ）染色は、広範な疾患を評価する過程において非常に重要な役割を果たす。１９４１年に初めて行われて以来、多種多様なＩＨＣバイオマーカーが検証され、特定の細胞事象を特徴付けるために臨床検査室及び研究室で使用されてきており、例えば、細胞増殖に関連する核タンパク質Ｋｉ－６７、腫瘍形成に関連する細胞性腫瘍抗原Ｐ５３、及びアグレッシブな乳腫瘍の発生に関連するヒト上皮成長因子受容体２（ＨＥＲ２）などがある。組織のＩＨＣ染色は、標的バイオマーカーを選択的に同定することができるので、組織分析及び診断上の決定のためのゴールドスタンダードの一つとして確立され、疾患治療及び発症機序の究明を先導している。

【0005】

組織のＩＨＣ染色は広く使用されているものの、手間のかかる組織調製工程を行う専用の検査施設と熟練した技師（組織検査技師（ｈｉｓｔｏｔｅｃｈｎｏｌｏｇｉｓｔｓ））がやはり必要であり、したがって時間とコストがかかる。近年、深層学習ベースの仮想染色技術が急速に進歩してきており、従来の組織化学染色ワークフローに代わる有望な代替手段が提供されている。この代替手段は、無標識の薄い組織切片からキャプチャした顕微鏡画像をコンピュータによって染色することによるものであり、手間とコストのかかる化学染色プロセスを回避する。そのような無標識仮想染色技術は、自家蛍光イメージング、定量的位相イメージング、光散乱イメージングなどを使用して実証されており、複数の種類の組織化学的染色、例えば、ヘマトキシリンとエオジン（Ｈ＆Ｅ）、マッソントリクローム、及びジョーンズ銀染色を作成することに成功している。例えば、Ｒｉｖｅｎｓｏｎ，Ｙ．らは、無標識組織の自家蛍光を使用した組織の深層学習に基づく仮想組織学的構造染色を開示した。Ｒｉｖｅｎｓｏｎ，Ｙ．ｅｔａｌ．，Ｄｅｅｐｌｅａｒｎｉｎｇ－ｂａｓｅｄｖｉｒｔｕａｌｈｉｓｔｏｌｏｇｙｓｔａｉｎｉｎｇｕｓｉｎｇａｕｔｏ－ｆｌｕｏｒｅｓｃｅｎｃｅｏｆｌａｂｅｌ－ｆｒｅｅｔｉｓｓｕｅ．ＮａｔＢｉｏｍｅｄＥｎｇ３，４６６－４７７（２０１９）を参照。

【0006】

しかし、これらの先行研究は、仮想ＩＨＣ染色を全く行わず、主に組織切片の特定の形態学的特徴のコントラストを強める構造組織染色の生成に焦点を当てていた。関連する研究では、深層学習は、Ｋｉ－６７の定量などのバイオマーカー状態の予測も可能にしている。Ｌｉｕ，Ｙ．ｅｔａｌ．，ＰｒｅｄｉｃｔＫｉ－６７ＰｏｓｉｔｉｖｅＣｅｌｌｓｉｎＨ＆Ｅ－ＳｔａｉｎｅｄＩｍａｇｅｓＵｓｉｎｇＤｅｅｐＬｅａｒｎｉｎｇＩｎｄｅｐｅｎｄｅｎｔｌｙＦｒｏｍＩＨＣ－ＳｔａｉｎｅｄＩｍａｇｅｓ，ＦｒｏｎｔｉｅｒｓｉｎＭｏｌｅｃｕｌａｒＢｉｏｓｃｉｅｎｃｅｓ７，（２０２０）を参照。研究された追加のバイオマーカーとしては、肝細胞癌腫、乳がん、膀胱がん、甲状腺がん、及びメラノーマを含む様々な悪性腫瘍のＨ＆Ｅ染色顕微鏡写真から腫瘍の予後を予測するものが挙げられる。それらの研究は、特定のバイオマーカーの存在と組織の形態学的な顕微鏡的変化との間に相関関係がある可能性を強調している。しかし、細胞質や核の細部などの細胞間及び細胞内（ｉｎｔｒａ－ｃｅｌｌｕｌａｒ）の固有の特徴を病理学者（ｐａｔｈｏｌｏｇｉｓｔｓ）が診断検査するための細胞内（ｓｕｂ－ｃｅｌｌｕｌａｒ）バイオマーカー情報を明らかにするＩＨＣ染色組織画像の代替手段を提供するものではない。

【0007】

ＩＨＣ染色は、抗原抗体結合プロセスによって細胞内の特定のタンパク質又は抗原を選択的に明るく見えるようにする。がんのステージ、細胞増殖又は細胞アポトーシスなどの様々な細胞事象の指標である種々のＩＨＣバイオマーカー（検出される特異的タンパク質）が存在する。特定のＩＨＣバイオマーカー（例えば、ＨＥＲ２タンパク質）の同定により、分子標的治療への方向付け及び予後の予測が可能になる。しかし、ＩＨＣ染色は、構造染色（ヘマトキシリンとエオジン（Ｈ＆Ｅ）、マッソントリクローム、ジョーンズ銀など）と比較して、より複雑で、実施にコストと時間がかかることが多い。評価すべき組織の種類、疾患、及び細胞事象に応じて、異なるＩＨＣ染色が行われうる。ＩＨＣ染色とは異なり、Ｈ＆Ｅのような構造染色は、ヘマトキシリンが酸性組織成分（例えば核）を染色する一方で、エオシンが他の成分（例えば、細胞質、細胞外線維）を染色するという異なる方法で機能する。Ｈ＆Ｅは、ほとんどすべての臓器タイプに使用され、組織構造や核分布などの組織形態学的特徴の概観を迅速に得ることができる。ＩＨＣとは異なり、Ｈ＆Ｅは特定の発現タンパク質を識別することができない。例えば、ＨＥＲ２陽性細胞（膜に過剰発現したＨＥＲ２タンパク質をもつ細胞）及びＨＥＲ２陰性細胞（膜にＨＥＲ２タンパク質をもたない細胞）は、Ｈ＆Ｅ染色画像では同じように見える。

【発明の概要】

【0008】

ここでは、深層学習に基づく無標識仮想ＩＨＣ染色法が開示され（図１Ａ～１Ｃ）、その方法は、非標識組織切片の自家蛍光顕微鏡画像を、同じ組織試料の標準ＩＨＣ染色画像と実質的に一致する明視野同等画像に変換する。本発明の方法は特に、細胞の増殖及び分化の調節に関与する重要な細胞表面受容体タンパク質であるＨＥＲ２のＩＨＣ染色に焦点を当てた。乳房組織におけるＨＥＲ２発現のレベル、すなわちＨＥＲ２状態の評価は、ホルマリン固定パラフィン包埋（ＦＦＰＥ）組織切片のＨＥＲ２ＩＨＣ染色に基づいて、日常的に行われており、乳がんの予後及びＨＥＲ２指向性免疫療法に対するその応答を予測するのに役立つ。例えば、ＨＥＲ２の細胞内及び細胞外の研究は、ＨＥＲ２陽性腫瘍の治療に有益な薬理学的抗ＨＥＲ２剤の開発につながってきた。ＨＥＲ２指向性薬剤耐性に対抗し、治験の治療成績を向上できる新しい薬理学的解決策を開発するためのさらなる努力がなされている。前臨床研究及びライフサイエンス関連研究のために確立された多数の動物モデルにより、ＨＥＲ２のがん遺伝子、生物学的機能性、及び薬剤耐性機序のより深い理解が探求されている。それらに加えて、ＨＥＲ２バイオマーカーは、新規の生物医学的イメージング、統計学、及び空間トランスクリプトミクス法の開発及び試験における必須ツールとしても使用された。

【0009】

１つの実施形態では、組織試料の少なくとも１つのバイオマーカー又は抗原に特異的な特徴を明らかにする、無標識組織のデジタル染色免疫組織化学（ＩＨＣ）顕微鏡画像を生成する方法。その方法は、演算装置の１つ又は複数のプロセッサを使用する画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークであって、同じ組織試料の、複数の一致した免疫組織化学（ＩＨＣ）染色訓練画像又は画像パッチ及びそれらの対応する自家蛍光訓練画像又は画像パッチで訓練される、訓練済みディープニューラルネットワークを準備すること；蛍光イメージング装置を用いて無標識組織試料の１つ又は複数の自家蛍光画像を取得すること；無標識組織試料の１つ又は複数の自家蛍光画像を、訓練済みディープニューラルネットワークに入力すること；並びに訓練済みディープニューラルネットワークが、少なくとも１つの標的バイオマーカーに特異的な特徴を明らかにする無標識組織試料のデジタル染色ＩＨＣ顕微鏡画像であって、さらにそのバイオマーカーが化学的にＩＨＣ染色されていたならば、同じ無標識組織試料の対応する画像と実質的に同等であるように見えるデジタル染色ＩＨＣ顕微鏡画像を出力することを含む。

【0010】

別の実施形態では、組織試料の少なくとも１つのバイオマーカー又は抗原に特異的な特徴を明らかにする、無標識組織試料のデジタル染色免疫組織化学（ＩＨＣ）顕微鏡画像を生成するためのシステム。システムは、その上又はそれにより実行される画像処理ソフトウェアを有する演算装置であって、画像処理ソフトウェアが、演算装置の１つ又は複数のプロセッサを使用して実行される訓練済みディープニューラルネットワークを含み、訓練済みディープニューラルネットワークが、同じ組織試料の、複数の一致した免疫組織化学（ＩＨＣ）染色された訓練画像又は画像パッチ及びそれらの対応する自家蛍光訓練画像又は画像パッチで訓練され、画像処理ソフトウェアが、蛍光イメージング装置を使用して無標識組織試料の１つ又は複数の自家蛍光画像を受け取り、少なくとも１つの標的バイオマーカーに特異的な特徴を明らかにする無標識組織試料のデジタル染色ＩＨＣ顕微鏡画像であって、そのバイオマーカーが化学的にＩＨＣ染色されていたならば、同じ無標識組織試料の対応する画像と実質的に同等であるように見えるデジタル染色ＩＨＣ顕微鏡画像を出力するように構成されている演算装置を含む。

【0011】

組織試料の少なくとも１つのバイオマーカー又は抗原に特異的な特徴は、細胞膜、核、又は他の細胞構造における染色強度及び／又は分布などの特異的な細胞内特徴を含みうる。特徴はまた、核の数、平均核サイズ、膜領域の連結性、及び特性曲線下面積（例えば、飽和閾値の関数としての膜染色比）などの他の基準を含みうる。

【図面の簡単な説明】

【0012】

【図1】図１Ａは、１つの実施形態による、無標識乳房組織試料のデジタル／仮想ＨＥＲ２染色出力画像を生成するために使用されるシステムを概略的に示す。ＨＥＲ２染色出力画像は、現在行われている乳房組織の標準的な、化学的に実施されるＨＥＲ２ＩＨＣ染色に一致する明視野同等顕微鏡画像である。図１Ｂ～１Ｃは、深層学習を介した非標識組織切片の仮想ＨＥＲ２染色を示す。図１Ｂの上部は、標準的な免疫組織化学（ＩＨＣ）ＨＥＲ２染色（上部）が、組織検査技師によって行われる、典型的に～１日かかる手間や費用のかかる組織処理に依存することを示す。図１Ｂの下部は、事前に訓練されたディープニューラルネットワークが、どのようにして非標識組織切片の仮想ＨＥＲ２染色を可能にするかを示す。図１Ｃは、非標識組織切片の自家蛍光画像を、標準ＩＨＣＨＥＲ２染色の画像に実質的に一致する明視野同等画像に変換するデジタル又は仮想ＨＥＲ２染色を示す。

【図2】図２Ａ～２Ｂは、デジタル又は仮想ＨＥＲ２染色ニューラルネットワークの一実施形態を示す。仮想ＨＥＲ２染色ネットワークを訓練するために、生成器モデル及び識別器モデルからなるＧＡＮフレームワークが使用された。図２Ａは、無標識自家蛍光画像を明視野同等のＨＥＲ２画像にマッピングするために、アテンションゲート付きＵ－ｎｅｔ構造（アテンションゲート（ＡＧ）ブロックをもつ）を使用する生成器ネットワークを示す。図２Ｂは、５つの連続する２層畳み込み層残差ブロック及び２つの全結合層から構成されるＣＮＮを使用する識別器ネットワークを示す。ネットワークモデルが収束すると、生成器モデル（図２Ａ）のみが仮想ＨＥＲ２画像を推論するために使用され、組織領域の１ｍｍ^２に対して～１２秒かかる。

【図3】図３は、異なるＨＥＲ２スコアでの乳房組織切片の仮想及び標準ＩＨＣＨＥＲ２染色の比較を示す。画像パネルａ、ｂ、ｃ１、ｃ２、ｄ１、ｄ２、ｅ１、ｅ２、ｆ、ｇ、ｈ１、ｈ２、ｉ１、ｉ２、ｊ１、ｊ２、ｋ、ｌ、ｍ１、ｍ２、ｎ１、ｎ２、ｏ１、ｏ２、ｐ、ｑ、ｒ１、ｒ２、ｓ１、ｓ２、ｔ１、及びｔ２が示されている。画像パネルａ、ｆ、ｋ、ｐは、（画像パネルａ）ＨＥＲ２３＋、（画像パネルｆ）ＨＥＲ２２＋、（画像パネルｋ）ＨＥＲ２１＋、及び（画像パネル３ｐ）ＨＥＲ２０での標準ＩＨＣＨＥＲ２染色試料の明視野ＷＳＩである。画像パネルｂ、ｇ、ｌ、ｑは、仮想染色によって生成された明視野ＷＳＩであり、それぞれａ、ｆ、ｌ、ｐと同じ試料に対応する。画像パネルｃ１～ｅ１、ｃ２～ｅ２は、ＨＥＲ２スコアが３＋で、画像パネルａ、ｂから拡大された関心領域である。画像パネルｈ１～ｊ１、ｈ２～ｊ２は、ＨＥＲ２スコアが２＋で、画像パネルｆ、ｇから拡大された関心領域である。画像パネルｍ１～ｏ１、ｍ２～ｏ２は、ＨＥＲ２スコアが１＋で、画像パネルｋ、ｌから拡大された関心領域である。画像パネルｒ１～ｔ１、ｈ２～ｔ２は、ＨＥＲ２スコアが０で、画像パネルｐ、ｑから拡大された関心領域である。

【図4】図４Ａ～４ＢはＨＥＲ２スコアの混同行列を示す。行列の各要素は、ＵＣＬＡＴＰＣＬによって提供された参照（グラウンドトゥルース）ＨＥＲ２スコア（列）と比較した、図４Ａ－仮想ＨＥＲ染色、又は図４Ｂ－標準ＩＨＣＨＥＲ２染色に基づく、ＨＥＲ２スコア（行）が専門委員会認定（ｂｏａｒｄ－ｃｅｒｔｉｆｉｅｄ）病理学者によって評価されたＷＳＩの数を表す。

【図5】図５Ａ～５Ｅ：仮想ＨＥＲ２と標準ＩＨＣＨＥＲ２染色の画像の質の比較。図５Ａ：４つの異なる特徴指標：核の細部、染色アーチファクトの非存在、過剰なバックグラウンド染色の非存在、及び膜の鮮明さに基づいて計算された仮想ＨＥＲ２及び標準ＩＨＣＨＥＲ２画像の品質スコア。各値は、すべての画像パッチ及び病理学者にわたる平均をとった。図５Ｂ～５Ｅ：異なるＨＥＲ２スコアにおける各特徴指標の下での品質スコアの詳細な比較。各測定基準に適用される段階評価尺度は１～４であり：４が完全、３が非常に良い、２が許容範囲、及び１が許容範囲外である。標準偏差は破線でプロットされている。

【図6】図６Ａ及び６Ｂは、仮想染色ＨＥＲ２画像及び標準ＩＨＣＨＥＲ２画像の特徴に基づく定量的評価である。図６Ａ：４つの異なる指標に基づいて、ＨＥＲ２陰性症例（Ｎ＝４，１４２画像）について、定量的に比較した仮想ＨＥＲ２特徴及び標準ＩＨＣＨＥＲ２特徴。図６Ｂ：同じ指標に基づいて、ＨＥＲ２陽性症例（Ｎ＝４，０５２画像）について、定量的に比較した仮想ＨＥＲ２特徴及び標準ＩＨＣＨＥＲ２特徴。

【図7】図７は、不成功の化学的ＩＨＣ染色の例を示す。画像パネルａは、非標識乳房組織切片を用いてキャプチャされた擬似着色自家蛍光画像を示す。画像パネルｂは、生成器ネットワークによって予測された仮想ＨＥＲ２染色を示す。画像パネルｃは、標準ＩＨＣＨＥＲ２染色の間に著しい組織の損傷及び損失を受けた同じ組織切片を示す。画像パネルｄは、同じ試料ブロックから連続的にスライスされた切片のＩＨＣ染色を示す。画像パネルｅは、別の非標識乳房組織切片を用いてキャプチャされた擬似着色自家蛍光画像を示す。画像パネルｆは、生成器ネットワークによって予測された仮想ＨＥＲ２染色を示す。画像パネルｇは、偽陰性ＩＨＣＨＥＲ２染色（すなわち、ＩＨＣ染色不成功）を経た同じ組織切片を示す。画像パネルｈは、同じ試料ブロックから連続的にスライスされた切片のＩＨＣ染色を示す。

【図8】図８Ａ～８Ｂ：画像パッチに対応するＨＥＲ２スコア。図８Ａ：各患者の仮想ＨＥＲ２ＷＳＩ及び標準ＩＨＣＨＥＲ２ＷＳＩから切り出された画像パッチに基づいて段階評価したＨＥＲ２スコアのヒストグラム。図８Ｂ：３名の病理学者によって段階評価された画像パッチに対応する個々のＨＥＲ２スコア。

【図9】図９Ａ～９Ｂは、異なる自家蛍光入力チャネルとの仮想染色ネットワーク性能の比較を示す。図９Ａ：１つ（ＤＡＰＩ）、２つ（ＤＡＰＩ＋ＦＩＴＣ）、３つ（ＤＡＰＩ＋ＦＩＴＣ＋ＴｘＲｅｄ）、及び４つ（ＤＡＰＩ＋ＦＩＴＣ＋ＴｘＲｅｄ＋Ｃｙ５）の自家蛍光入力チャネルで訓練された仮想染色ネットワークの視覚的な比較であり、入力チャネルの数が増加するにつれて結果が向上することを示す。図９Ｂ：異なる数の自家蛍光入力チャネルで訓練された仮想染色ネットワークの定量的評価。ＭＳＥ、ＳＳＩＭ、及び膜カラーチャンネル（すなわち、ＤＡＢ染色）のＳＳＩＭは、ネットワーク出力及びグラウンドトゥルース画像を用いて計算した。

【図10】図１０Ａ～１０Ｂ：ジアミノベンジジン（ＤＡＢ）染色チャネルとヘマトキシリン染色チャネルを分割するカラーデコンボリューションの例。図１０Ａ：ＨＥＲ２陽性領域のカラーデコンボリューション。図１０Ｂ：ＨＥＲ２陰性領域のカラーデコンボリューション。

【図11】図１１は、画像前処理及び位置合わせワークフロー（画像パネルａ～ｇを示す）を示す。画像パネルａ：同じ組織切片の自家蛍光ＷＳＩ（ＩＨＣ染色前）と明視野ＷＳＩ（ＩＨＣ染色後）をつなぎ合わせたもの。画像パネルｂ：ＳＵＲＦ特徴点の検出及びマッチングによる自家蛍光ＷＳＩ及び明視野ＷＳＩの大域的な位置合わせ。画像パネルｃ：大まかに一致した自家蛍光及び明視野画像のタイルを切り出した。画像パネルｄ：位置合わせモデルを訓練して、自家蛍光画像を明視野画像に変換した。画像パネルｅ：位置合わせモデル出力及びグラウンドトゥルース画像。画像パネルｆ：グラウンドトゥルース画像は、弾性位置合わせアルゴリズムを用いて自家蛍光画像に位置合わせを施した。画像パネルｇ：３～５回の繰り返し位置合わせの後、完全に一致した自家蛍光及び明視野画像パッチが得られた。

【図12】図１２：異なる仮想染色ネットワークアーキテクチャの定量的比較。視覚的な比較と数値的な比較の両方で、他のネットワークアーキテクチャと比較して、発明者の研究（ｏｕｒｗｏｒｋ）で使用したアテンションゲート付きＧＡＮの優れた性能が明らかになった。

【図13】図１３：異なる仮想染色ネットワークによって生成された出力画像（強いＨＥＲ２発現を伴う）の色分布の比較。アテンションゲート付きＧＡＮによって生成された出力画像の色分布は、標準ＩＨＣグラウンドトゥルース画像の色分布と密接に一致する。

【図14】図１４：異なる仮想染色ネットワークによって生成された出力画像（弱いＨＥＲ２発現を伴う）の色分布の比較。アテンションゲート付きＧＡＮによって生成された出力画像の色分布は、標準ＩＨＣグラウンドトゥルース画像の色分布と密接に一致する。

【図15】図１５：カラーデコンボリューション及びセグメンテーションアルゴリズムに基づく核及び膜染色特徴の抽出。

【発明を実施するための形態】

【0013】

図１Ａ、１Ｂ（下部）、及び１Ｃは、無標識組織試料２２（例えば、１つの特定の例では乳房組織）の１つ又は複数の入力自家蛍光顕微鏡画像２０から得られた組織試料の少なくとも１つのバイオマーカー又は抗原に特異的な特徴を明らかにする無標識組織のデジタル的に又は仮想的に染色されたＩＨＣ画像４０を出力するためのシステム２（図１Ａ）並びに方法（図１Ｂ（下部）及び図１Ｃ）の１つの実施形態を模式的に図示する。少なくとも１つのバイオマーカー又は抗原に特異的な特徴は、細胞膜、核、又は他の細胞構造における染色強度及び／又は分布などの特異的な細胞内特徴を含みうる。特徴はまた、核の数、平均核サイズ、膜領域の連結性、及び特性曲線下面積（飽和閾値の関数としての膜染色比－図１５）などの他の基準を含みうる。本明細書で説明するように、１つ又は複数の入力画像２０は、無標識組織試料２２の自家蛍光画像（複数可）２０である。組織試料２２は、蛍光染色や標識で染色も標識もされていない。すなわち、無標識組織試料２２の自家蛍光画像（複数可）２０は、その試料中に含まれる１つ又は複数の内在性蛍光分子又は周波数シフト光の他の内在性放出体の結果である、無標識組織試料２２によって放出される蛍光をキャプチャする。周波数シフト光は、入射周波数（又は波長）とは異なる、異なる周波数（又は波長）で放出される光である。内在性蛍光分子又は周波数シフト光の内在性放出体には、分子、化合物、複合体、分子種、生体分子、色素、組織などが含まれうる。いくつかの実施形態では、入力自家蛍光画像（複数可）２０は、コントラスト強調、コントラスト反転、画像フィルタリングから選択される１つ又は複数の線形又は非線形の前処理演算を受ける。

【0014】

システム２は、その中に１つ又は複数のプロセッサ１０２を含む演算装置１００、及び訓練済みディープニューラルネットワーク１０（例えば、１つ又は複数の実施形態において本明細書で説明されるような畳み込みニューラルネットワーク）を組み込んだ画像処理ソフトウェア１０４を含む。演算装置１００には、本明細書で説明されるように、パーソナルコンピュータ、ラップトップ、モバイルモバイル演算装置、リモートサーバなどが含みうるが、他の演算装置（例えば、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）又は他の特定用途向け集積回路（ＡＳＩＣ）を１つ又は複数のプロセッサ１０２として組み込んだ装置）が使用されてもよい。ＧＰＵ又はＡＳＩＣは、最終出力画像４０だけでなく訓練を加速するために使用することができる。演算装置１００は、デジタル染色ＩＨＣ画像４０（例えば、ＨＥＲ２画像）を表示するために使用されるモニタ又はディスプレイ１０６に関連付けられる、又は接続されることができる。ディスプレイ１０６は、デジタル染色ＩＨＣ画像４０を表示及び閲覧するためにユーザによって使用されるグラフィカルユーザインタフェース（ＧＵＩ）を表示するために使用することができる。１つの好ましい実施形態では、訓練済みディープニューラルネットワーク１０は、畳み込みニューラルネットワーク（ＣＮＮ）である。

【0015】

例えば、本明細書に記載のように１つの好ましい実施形態では、訓練済みディープニューラルネットワーク１０は、ＧＡＮモデルを使用して訓練される。ＧＡＮ－訓練済みディープニューラルネットワーク１０では、２つのモデルが訓練に使用される。データ分布をキャプチャする生成モデル（例えば、図２Ａの生成器ネットワーク）が使用され、一方では、第二のモデルは、試料が生成モデルからではなく訓練データから来た確率を推定する（例えば、図２Ｂの識別器ネットワーク）。ＧＡＮに関する詳細は、Ｇｏｏｄｆｅｌｌｏｗｅｔａｌ．，ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｓ．，ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ，２７，ｐｐ．２６７２－２６８０（２０１４）で見ることができ、本明細書の図２Ａ及び付随する説明と同様に、参照により本明細書に組み込まれる。ディープニューラルネットワーク１０（例えば、ＧＡＮ）のネットワーク訓練は、同じ又は異なる演算装置１００によって実行することができる。例えば、１つの実施形態では、パーソナルコンピュータを使用して、ＧＡＮベースのディープニューラルネットワーク１０を訓練することができるが、そのような訓練にはかなりの時間がかかる可能性がある。この訓練プロセスを加速するために、１つ又は複数の専用ＧＰＵを訓練に使用することができる。本明細書で説明するように、そのような訓練及びテストは、市販のグラフィックスカードから得られたＧＰＵ上で行われた。ディープニューラルネットワーク１０が訓練されると、ディープニューラルネットワーク１０の生成器ネットワーク部分は、訓練プロセスに使用される計算リソースがより少ないものを含むことができる異なる演算装置１００上で使用又は実行することができる（ただし、ＧＰＵは、訓練されたディープニューラルネットワーク１０の実行に統合することもできる）。

【0016】

画像処理ソフトウェア１０４は、従来のソフトウェアパッケージ及びプラットフォームを使用して実装することができる。これには、例えば、ＭＡＴＬＡＢ、Ｐｙｔｈｏｎ、及びＰｙｔｏｒｃｈが含まれる。訓練済みディープニューラルネットワーク１０は、特定のソフトウェアプラットフォーム又はプログラミング言語に限定されず、訓練済みディープニューラルネットワーク１０は、任意の数の市販のソフトウェア言語又はプラットフォーム（又はそれらの組み合わせ）を使用して実行することができる。訓練済みディープニューラルネットワーク１０を組み込む、又はそれと協調して実行する画像処理ソフトウェア１０４は、ローカル環境で実行することもでき、リモートクラウド型環境で実行することもできる。いくつかの実施形態では、画像処理ソフトウェア１０４のいくつかの機能は、ある特定の言語又はプラットフォーム（例えば、画像前処理及び位置合わせ）で実行することができ、一方では、訓練済みディープニューラルネットワーク１０は、別の特定の言語又はプラットフォームで実行することができる。それにもかかわらず、両演算は画像処理ソフトウェア１０４によって実施される。

【0017】

図１Ａを参照すると、１つの実施形態では、訓練済みディープニューラルネットワーク１０は、無標識組織試料２２の単一の自家蛍光画像２０を受け取る。他の実施形態では、例えば、複数の励起チャネルが使用される場合、訓練済みディープニューラルネットワーク１０に入力される無標識組織試料２２の複数の自家蛍光画像２０が存在しうる（例えば、１つのチャネルにつき１つの画像）。これらのチャネルは、例えば、イメージング装置１１０の異なるフィルター／フィルターキューブを使用して得られるＤＡＰＩ、ＦＩＴＣ、ＴｘＲｅｄ、及びＣｙ５を含むことができる。例えば、イメージング装置１１０の異なるフィルター／フィルターキューブを用いて得られた複数の自家蛍光画像２０を、訓練済みディープニューラルネットワーク１０（例えば、２つ以上の異なるチャネル）に入力することができる。

【0018】

自家蛍光画像２０は、無標識組織試料２２の広視野自家蛍光画像２０を含むことができる。広視野は、広い視野（ＦＯＶ）がスキャニングすること、そうでなければ、より小さいＦＯＶを得ることによって得られることを示すことを意味し、広いＦＯＶは、１０～２，０００ｍｍ^２のサイズ範囲にある。例えば、小さいＦＯＶは、画像処理ソフトウェア１０４を使用して、小さいＦＯＶをデジタル的につなぎ合わせて広いＦＯＶを作り出す走査型蛍光顕微鏡１１０によって得ることができる。例えば、広いＦＯＶは、無標識組織試料２２のホールスライド画像（ＷＳＩ）を得るために使用することができる。自家蛍光画像（複数可）２０は、蛍光イメージング装置１１０を使用して得られる。本明細書に記載の蛍光の実施形態の場合、その装置は蛍光顕微鏡１１０を含むことができる。蛍光顕微鏡１１０は、無標識組織試料２２を照らす１つ又は複数の励起光源（複数可）、及び無標識組織試料２２に含まれる蛍光分子又は周波数シフト光の他の内在性放出体によって放出される自家蛍光をキャプチャするための１つ又は複数の画像センサ（複数可）（例えば、ＣＭＯＳ画像センサ）を含む。蛍光顕微鏡１１０は、いくつかの実施形態では、無標識組織試料２２を、複数の異なる波長又は波長範囲／波長帯の励起光で照らす能力を含むことができる。これは、複数の異なる光源及び／又は異なるフィルターセット（例えば、標準ＵＶ又は近ＵＶ励起／発光フィルターセット）を使用して達成することができる。さらに、蛍光顕微鏡１１０は、いくつかの実施形態では、異なる発光帯をフィルタリングできる複数のフィルターを含むことができる。例えば、いくつかの実施形態では、複数の蛍光画像２０がキャプチャされ、それぞれが異なるフィルタセット（フィルターキューブなど）を使用して異なる発光帯でキャプチャすることができる。例えば、蛍光顕微鏡１１０は、異なるチャネルＤＡＰＩ、ＦＩＴＣ、ＴｘＲｅｄ、及びＣｙ５用の異なるフィルターキューブを含むことができる。

【0019】

無標識組織試料２２は、いくつかの実施形態では、基板２３上又はそのなかに配置された組織の一部を含むことができる。基板２３は、いくつかの実施形態では、光学的に透明な基板（例えば、ガラス又はプラスチックスライドなど）を含むことができる。無標識組織試料２２は、ミクロトーム装置などを用いて薄い切片に切り出された組織切片を含むことができる。無標識組織試料２２は、カバーガラス／カバースリップを用いても、用いなくても撮像することができる。無標識組織試料２２は、凍結切片又はパラフィン（ワックス）切片を含むことができる。無標識組織試料２２は、固定されてもよく（例えば、ホルマリンを使用）、固定されなくてもよい。いくつかの実施形態では、無標識組織試料２２は、新鮮である、又は生きていることもある。また、本明細書に記載の方法を使用して、生体内での無標識組織試料２２のデジタル染色ＩＨＣ画像４０を生成することもできる。

【0020】

本明細書で説明されるように、１つの特定の実施形態では、無標識組織試料２２は無標識乳房組織試料であり、生成されるデジタル的に又は仮想的に染色されたＩＨＣ画像４０は、無標識乳房組織試料２２のデジタル染色されたＨＥＲ２顕微鏡画像である。乳房組織以外の他の種類の組織及びＨＥＲ２以外の他の種類のバイオマーカー標的が、本明細書に記載のシステム２及び方法に関連して使用されうることが理解されるべきである。ＩＨＣ染色において、一次抗体は典型的に、目的の抗原又はバイオマーカー／生体分子を標的とするものが使用される。次いで、一次抗体に結合する二次抗体が典型的に使用される。ホースラディッシュペルオキシダーゼ（ＨＲＰ）などの酵素が二次抗体に付けられ、ＤＡＢ又はアルカリホスファターゼ（ＡＰ）ベースの色素原などの色素原への結合のために使用される。ヘマトキシリンなどの対比染色を色素原の後に適用して、下にある組織構造を可視化するためのより良好なコントラストを得ることができる。本明細書に記載の方法及びシステムは、組織試料の少なくとも１つのバイオマーカー又は抗原に特異的な特徴を明らかにする無標識組織のデジタル染色ＩＨＣ画像を生成するために使用される。

【実施例】

【0021】

実験（Ｅｘｐｅｒｉｍｅｎｔａｌ）

【0022】

提示の仮想ＨＥＲ２染色法は、図２Ａ～２Ｂに示されるように、条件付き敵対的生成ネットワーク（ＧＡＮ）を使用した深層学習可能な画像間変換に基づいている。訓練段階を完了させた後、仮想ＨＥＲ２染色フレームワークの有効性を実証するために、ＨＥＲ２スコアが異なる新しい乳房組織切片を使用して２つの盲検化定量的試験を行った。この目的のために、半定量的ＤａｋｏＨｅｒｃｅｐＴｅｓｔスコアリングシステムを使用し、そのシステムは染色の強度とともに、ＨＥＲ２の膜性染色を呈する腫瘍細胞の割合を評価するものである。結果は、０（陰性）、１＋（陰性）、２＋（弱陽性／判定不能）、及び３＋（陽性）として報告される。最初の研究では、３名の専門委員会認定乳房病理学者が、仮想染色されたＨＥＲ２ホールスライド画像４０（ＷＳＩ）及びＩＨＣ染色された標準的な対応物のＨＥＲ２スコアを盲検で評価した。結果と統計分析から、仮想ＨＥＲ２ＷＳＩ４０に基づくＨＥＲ２状態の判定が、化学的に調製したＩＨＣＨＥＲ２スライドに基づく標準的な分析と同程度に正確であることが明らかになった。２つ目の研究では、同じ病理学者が、異なる指標、すなわち、核の細部、膜の鮮明さ、バックグラウンド染色、及び染色アーチファクトを使用して、仮想ＨＥＲ２画像と標準ＩＨＣＨＥＲ２画像の両方の染色の質を評価した。この研究では、３名の病理学者のうち少なくとも２名が、核の細部、膜の鮮明さ、及び染色アーチファクトの非存在のレベルにおいて、仮想ＨＥＲ２染色画像の質と標準ＩＨＣＨＥＲ２染色画像の質の間に統計的に有意な差がないことに同意したことが明らかになった。追加の特徴に基づく定量的評価でも、核と膜の両方の染色特徴に関して、仮想生成ＨＥＲ２画像と標準ＩＨＣ染色対応物との間に高い程度の一致が確認された。

【0023】

提示のフレームワークは無標識仮想ＩＨＣ染色の初めての実証を達成した。毒性のある化学化合物を含む、コストと手間と時間のかかるＩＨＣ染色手順が回避される。この仮想ＨＥＲ２染色技術は、他のバイオマーカー及び／又は抗原の仮想染色に拡張される可能性があり、ＩＨＣ染色の繰り返し精度及び標準化を高めつつ、ライフサイエンス及び生物医学用途におけるＩＨＣベースの組織分析ワークフローを促進しうる。

【0024】

結果

【0025】

乳房組織の無標識仮想ＨＥＲ２染色

【0026】

乳房組織試料２２の仮想ＨＥＲ２染色は、それぞれが１０２４×１０２４ピクセルの合計２０，９１０の画像パッチを構成する、１９名のユニークな患者から採取した２５の乳房組織切片のデータセットを用いて、ディープニューラルネットワーク（ＤＮＮ）モデル１０を訓練することによって実証された。ＤＮＮモデル１０は、一旦訓練されると、ＤＡＰＩ、ＦＩＴＣ、ＴｘＲｅｄ、及びＣｙ５フィルターキューブでキャプチャされた非標識組織切片の自家蛍光顕微鏡画像２０（方法のセクションを参照）を使用して、それらを仮想的に染色し、標準ＩＨＣＨＥＲ２染色後にキャプチャされた同じ視野の対応する明視野画像にマッチングした。ネットワーク訓練及び評価プロセスでは、交差検証アプローチを採用した。別々のネットワークモデル１０を異なるデータセット分割で訓練して、盲検試験のための１２の仮想ＨＥＲ２ＷＳＩ、すなわち、４つのＨＥＲ２スコア（０、１＋、２＋、及び３＋）のそれぞれで３つのＷＳＩを生成した。仮想ＨＥＲ２ＷＳＩはそれぞれ、ネットワーク訓練段階の間に使用されなかったユニークな患者に対応する。すべての組織切片２２は、ＨＥＲ２参照（グラウンドトゥルース）スコアがＵＣＬＡＩＲＢ１８－００１０２９の下でＵＣＬＡトランスレーショナル病理コア研究所（ＵＣＬＡＴｒａｎｓｌａｔｉｏｎａｌＰａｔｈｏｌｏｇｙＣｏｒｅＬａｂｏｒａｔｏｒｙ）（ＴＰＣＬ）によって提供された既存の組織ブロックから入手したことに留意されたい。

【0027】

図３は、ＤＮＮモデル１０によって推論された仮想ＨＥＲ２画像４０と、標準ＩＨＣ染色後に同じ組織切片からキャプチャされた、それらの対応するＩＨＣＨＥＲ２画像との比較をまとめたものである。画像パネルａ～ｔ２を図３に示す。ＷＳＩと拡大領域はともに、仮想染色と標準ＩＨＣ染色との間に高い程度の一致を示す。これらの結果は、十分に訓練された仮想染色ネットワーク１０が、非標識乳房組織切片２２の自家蛍光画像２０を、すべてのＨＥＲ２状態、０、１＋、２＋、及び３＋にわたって、それらのＩＨＣＨＥＲ２染色対応物と一致する明視野同等仮想ＨＥＲ２画像４０に確実に変換できることを示す。精査に基づいて、専門委員会認定病理学者は、ＩＨＣと仮想ＨＥＲ２画像４０との間の比較が、膜の鮮明さ又は核の細部などの細胞内の特徴に有意な知覚可能な差がない同等の染色を示すことを確認した。特に、仮想染色ネットワーク１０は、腫瘍細胞における膜性ＨＥＲ２染色（ＤＡＢ染色又はその欠如）の予想された強度及び分布を明確に生じさせた。ＨＥＲ２陽性（３＋、図３－画像パネルａ～ｅ２）乳がんでは、仮想染色画像とＩＨＣ染色画像はともに、腫瘍細胞の１０％以上に強い完全な膜性染色を示し、腫瘍細胞の細胞質染色は不明瞭であった。間質細胞と炎症性細胞はいずれも偽陽性染色を示さず、腫瘍細胞の核の細部は両パネルで同等であった。判定不能（２＋、図３ｆ～３ｊ２）腫瘍では、仮想画像は、＞１０％の腫瘍細胞に弱～中程度の膜性染色を示し、対応する領域において同量の腫瘍細胞の膜性染色を示した。ＨＥＲ２陰性（１＋、図３ｋ～３ｏ２）腫瘍は、１０％以上の腫瘍細胞で微かな膜性染色を示した。間質細胞と炎症性細胞はいずれも、微かな染色も示さなかった。ＨＥＲ２陰性（０、図３ｐ～３ｔ２）腫瘍は、腫瘍細胞の染色を示さなかった。

【0028】

仮想ＨＥＲ２染色の盲検評価と定量

【0029】

次に、仮想ＨＥＲ２染色フレームワークの有効性を定量的盲検試験で評価した。その試験では、１２の仮想ＨＥＲ２ＷＳＩ４０及びそれらの対応する標準ＩＨＣＨＥＲ２ＷＳＩを混合し、３名の専門委員会認定乳房病理学者に提示し、その画像が仮想染色によるか標準ＩＨＣ染色によるかを知ることなく、各ＷＳＩのＨＥＲ２スコア（すなわち、３＋、２＋、１＋、又は０）を段階評価した。ランダムな画像のシャッフル、回転、反転をＷＳＩに適用し、評価の盲検化を促進した。３名の病理学者によって盲検的に段階評価された仮想及び標準ＩＨＣＷＳＩのＨＥＲ２スコアを図４Ａ、４Ｂにまとめ、それらの参照である、ＵＣＬＡＴＰＣＬから提供されたグラウンドトゥルーススコアと比較する。それぞれＮ＝３６の評価に対応する仮想ＨＥＲ２ＷＳＩ４０（図４Ａ）及びＩＨＣＨＥＲ２ＷＳＩ（図４Ｂ）の混同行列は、仮想ＨＥＲ２染色アプローチが標準ＩＨＣ染色と同様のレベルのＨＥＲ２状態評価の精度を達成したことを明らかにしている。これらの混同行列を詳細に検討すると、仮想ＨＥＲ２ベースの評価の対角要素の和（２２）がＩＨＣＨＥＲ２のそれ（１９）よりも高く、標準ＩＨＣＨＥＲ２ＷＳＩに基づく評価と比較して、仮想ＨＥＲ２ＷＳＩ４０に基づいて、より多くの症例が正しくスコア付けされたことを示している。さらに、仮想ＨＥＲ２ベースの評価の絶対非対角誤差の和（１４）は、標準ＩＨＣＨＥＲ２のそれ（１８）よりも小さい。図４Ａ、４Ｂに示された同じ混同行列に基づいて、カイ二乗検定を行って、ＨＥＲ２スコア付けにおける仮想染色法と標準ＩＨＣ染色法の間の一致の程度を比較した。試験の結果は、２つの方法の間に統計的に有意な差がないことを示す（ｐ＝０．４７５２、以下の表１参照）。

【0030】

ＨＥＲ２スコアリングにおける仮想染色の有効性を評価することに加え、仮想ＨＥＲ２画像４０の染色の質を定量的に評価し、標準ＩＨＣＨＥＲ２画像と比較した。この盲検試験では、１０の関心領域（ＲＯＩ）を１２の仮想ＨＥＲ２ＷＳＩのそれぞれからランダムに抽出し、１０のＲＯＩをそれらの対応するＩＨＣＨＥＲ２ＷＳＩのそれぞれから同じ位置で無作為に抽出し、２４０の画像パッチのテストセットを構築した。各画像パッチは、８０００×８０００ピクセル（１．３×１．３ｍｍ^２）を有し、ランダムにシャッフル、回転、及び反転もされた後に、同じ３名の病理学者によってレビューされた。それらの病理学者に、ＨＥＲ２染色について予め指定された４つの特徴指標：膜の鮮明さ、核の細部、過剰なバックグラウンド染色の非存在、及び染色アーチファクトの非存在に基づいて、各ＲＯＩの画像の質を段階評価するように求めた（図５Ａ～５Ｅ）。各指標の段開票尺度は１から４であり、４は完全を表し、３は非常に良いを表し、２は許容範囲を表し、且つ１は許容範囲外を表す。図５Ａは、予め定義された特徴指標に基づく仮想ＨＥＲ２及び標準ＩＨＣＨＥＲ２画像の染色の質のスコア（すべての画像パッチ及び病理学者にわたっての平均）をまとめたものである。図５Ｂ～５Ｅはさらに、各特徴指標の下で、４つのＨＥＲ２状態のそれぞれにおける平均の質のスコアを比較する。図５Ｂでは、ＨＥＲ２陰性ＲＯＩの膜の鮮明さスコアは、ＨＥＲ２陰性試料の細胞膜の染色がないので、「該当なし」と記されている。標準ＩＨＣＨＥＲ２画像は、事前に選択されていたので、これらの比較において有利であったことを強調することが重要である。かなりの割合の標準ＩＨＣＨＥＲ２組織スライドが許容できない染色の質の問題を被り（考察及び図７の画像パネルａ～ｈを参照）、したがって、それらは最初の段階で比較研究から除外された。それにもかかわらず、仮想及び標準ＩＨＣＨＥＲ２染色の質のスコアは互いに非常に近く、それらの標準偏差の範囲（図５の破線）内に入る。また、専門委員会認定病理学者によって評価された各特徴指標について片側ｔ検定も実施して、標準ＩＨＣＨＥＲ２画像が仮想ＨＥＲ２画像４０よりも、染色の質において統計的に有意に良好かどうかを判定した。ｔ検定の結果、「過剰なバックグラウンド染色の非存在」の指標についてのみ、３名の病理学者のうち２名が、仮想染色と比較して標準的なＩＨＣ染色の質の統計的に有意な向上を報告した。残りの特徴指標（すなわち、核の細部、膜の鮮明さ、及び染色アーチファクト）については、３名の病理学者のうち少なくとも２名が、ＩＨＣＨＥＲ２画像の染色の質は、それらの仮想ＨＥＲ２対応物と比較して統計的に有意に良好ではないと報告した（下記の表２）。また、仮想染色ＨＥＲ２画像４０は、図４Ａ及び４Ｂに示された混同行列及び表１に報告されたカイ二乗検定を用いても分析されたように、ホールスライドレベルで診断を誤らせなかったことに留意されたい。

【0031】

差＝仮想染色画像の質のスコア－ＩＨＣ染色画像の質のスコア

【0032】

帰無仮説：

【0033】

代替仮説：

【0034】

各ＲＯＩの染色の質の評価のほかに、病理学者は各ＲＯＩについてＨＥＲ２スコアも段階評価した。その結果を図８Ａ～図８Ｂに報告する。図８Ａの各ヒストグラムは、３名の病理学者によって評価された各ＷＳＩから抽出された１０のＲＯＩのＨＥＲ２スコアをまとめたものである（すなわち、Ｎ＝３０評価）。対応するＷＳＩの参照（グラウンドトゥルース）ＨＥＲ２スコアは、グレーの垂直破線としてプロットされている。この分析により、患者の大部分において、仮想的に生成されたＲＯＩと標準ＩＨＣ染色されたＲＯＩとの間に、評価ＨＥＲ２スコアに不一致がないことが明らかである。不一致がある症例（例えば、患者＃５及び患者＃１１）については、仮想ＨＥＲ２スコアのヒストグラムは、標準ＩＨＣベースのＨＥＲ２スコアのヒストグラムと比較して、参照ＨＥＲ２スコア（破線）により近く集中した。サブサンプリングされた（ｓｕｂ－ｓａｍｐｌｅｄ）ＲＯＩからＨＥＲ２スコアを段階評価するのと、ＷＳＩから段階評価するのとでは、組織切片の不均一な性質のために異なる結果が得られる可能性があることにも留意することが重要である。

【0035】

仮想ＨＥＲ２染色の特徴に基づいた定量的評価

【0036】

病理学者による仮想染色の有効性及び画像の質の盲検評価に加えて、ＩＨＣ染色対応物と比較して、仮想的に生成されたＨＥＲ２画像の特徴に基づく定量的な分析が行われた。この分析では、８１９４のユニークな試験画像パッチ（それぞれ１０２４×１０２４ピクセルのサイズ）が仮想染色のために盲目的に選択された。それぞれの異なるＨＥＲ２状態の異なる染色特徴のために、これらの盲検試験画像は、定量的評価のために２つのサブセットに分割された：ＨＥＲ２０とＨＥＲ２１＋（Ｎ＝４１４２）からの画像を含む１つのサブセットと、ＨＥＲ２２＋とＨＥＲ２３＋（Ｎ＝４０５２）からの画像を含むもう１つのサブセット。それぞれの仮想染色ＨＥＲ２画像４０及びそれに対応するＩＨＣＨＥＲ２画像（グラウンドトゥルース）について、核染色及び膜染色のセグメンテーションに基づいて、４つの特徴に基づく定量的評価指標（ＨＥＲ２用に特別に設計された）が計算された（方法のセクションを参照）。これら４つの特徴に基づく定量的評価指標には、各画像の核染色を定量化するための核の数及び平均核面積（ピクセルの数）、並びに各画像の膜染色を定量化するための特性曲線下面積及び膜領域連結性が含まれた（詳細については方法のセクションを参照）。

【0037】

それらの標準ＩＨＣ対応物と比較した仮想ＨＥＲ２画像４０についての、これらの特徴に基づく定量的評価の結果を図６Ａ～６Ｂに示す。この分析により、仮想ＨＥＲ２染色特徴指標は、核と膜染色の両方に関して、それらの標準ＩＨＣ対応物と比較して、類似した分布及び密接に一致する平均値（水平破線）を呈することが示された。ＨＥＲ２陽性群（２＋及び３＋）の評価結果をＨＥＲ２陰性群（０及び１＋）と比較することによって、核の特徴（すなわち、核の数と平均核面積）の類似した分布及びより高いレベルの膜染色が観察され、これは予想通り、高いＨＥＲ２スコアがより高いこととよく相関する。

【0038】

考察

【0039】

深層学習可能な無標識仮想ＩＨＣ染色法及びシステム２が本明細書で開示される。ＤＮＮモデル１０を訓練することによって、本発明の方法は、非標識組織切片２２の自家蛍光画像２０から、標準ＩＨＣ－染色後にキャプチャされた明視野画像と一致する仮想ＨＥＲ２画像４０を生成した。化学的にＩＨＣ染色を行うのに比較して、仮想ＨＥＲ２染色法は迅速で、操作も簡単である。従来のＩＨＣＨＥＲ２染色は、組織検査技師の定期的なモニタリングを必要とする手間のかかる試料処理工程を含むものであり、その全過程は、診断医がスライドをレビューできるようになるまで典型的には１日かかる。対照的に、提示の仮想ＨＥＲ２染色法は、これらの手間やコストのかかるステップを回避し、無標識組織切片２２からキャプチャされた自家蛍光画像２０を使用してコンピュータによって明視野同等ＨＥＲ２画像４０を生成する。訓練（１回限りの作業）の完了後、仮想染色ネットワークを使用した推論過程全体は、消費者グレードのコンピュータ１００を使用して組織の１ｍｍ^２に対して～１２秒しかかからず、これはより高速なハードウェアアクセラレーションプロセッサ１０２／ユニットを使用することによってさらに向上させることができる。

【0040】

提示の方法の別の利点は、標準的なＩＨＣ染色で一般的に観察される染色のばらつきを最小限に抑え、非常に一貫性のある繰り返し精度の良い染色結果を生成する能力である。ＩＨＣＨＥＲ２染色は、各組織処理ステップで時間、温度、及び試薬の濃度を正確に制御する必要があるので、繊細で手間がかかり、実際のところ、満足な染色を生成できないことが多い。本研究では、ＩＨＣ染色が認定病理検査室（ａｃｃｒｅｄｉｔｅｄｐａｔｈｏｌｏｇｙｌａｂｓ）によって行われたにもかかわらず、試料スライドの～３０％が、標準ＩＨＣ染色の不成功及び／又は著しい組織損傷のために廃棄された。図７（画像パネルｃ、ｇ）は、組織の完全損傷と、正しいＨＥＲ２スコアを反映できなかった偽陰性染色を含む、経験した標準ＩＨＣ染色の失敗の２つの例を示す。対照的に、コンピュータによる仮想染色アプローチは、組織の化学的処理に依存せず、再現性のある結果を生成し、これは一般的に経験される染色のばらつき及びアーチファクトを排除することによるＨＥＲ２の判読の標準化にとって重要である。

【0041】

組織スライス２２の自家蛍光入力画像２０は、従来の蛍光顕微鏡１１０に設置された標準的なフィルターセットを用いてキャプチャされたので、提示のアプローチは、ハードウェアの変更や光学部品のカスタマイズなしで、既存の蛍光顕微鏡１１０に実装する準備ができている。本結果は、４つの一般的に使用されている蛍光フィルター（ＤＡＰＩ、ＦＩＴＣ、ＴｘＲｅｄ、及びＣｙ５）の組み合わせが、仮想ＨＥＲ２染色性能に対して非常に良好なベースラインをもたらすことを示した。図９Ａを参照。アブレーション研究として、ピーク信号対雑音比（ＰＳＮＲ）及び構造類似性指数（ＳＳＩＭ）を計算することによって、異なる自家蛍光入力チャネルで訓練された仮想染色ネットワーク１０を、ネットワーク出力とグラウンドトゥルース画像の間で定量的に比較した（図９Ｂ参照）。細胞膜の染色はＨＥＲ２状態評価における重要な評価因子であるので、カラーデコンボリューションも行って、膜染色チャネル（すなわち、ジアミノベンジジン、ＤＡＢ染色）（図１０Ａ～１０Ｂ）を分割し、それに続いてＳＳＩＭスコアを計算して比較した（図９Ａ～９Ｂ）。これらの分析から、仮想染色ネットワーク１０の性能は、入力自家蛍光チャネルの数の減少とともに部分的に低下することが明らかになり、ＤＡＰＩ、ＦＩＴＣ、ＴｘＲｅｄ、及びＣｙ５を一緒に使用する動機付けとなった（図９Ｂ）。

【0042】

仮想ＨＥＲ２染色のためにアテンションゲート付きＧＡＮ構造を使用する利点は、追加の比較研究によって説明され、その研究では以下を含む４つの異なるネットワークアーキテクチャ１０を訓練し、盲検的に試験した：１）本明細書で使用されるアテンションゲート付きＧＡＮ構造、２）残差接続を取り除いた同じ構造、３）アテンションゲートブロックを取り除いた同じ構造、及び４）教師なしサイクルＧＡＮフレームワーク。訓練／検証／テストデータセットと訓練エポックは、４つのネットワーク１０すべてで同じにした。それらの訓練後、ネットワーク出力とグラウンドトゥルース画像の間の膜染色（ＳＳＩＭ_ＤＡＢ）のＰＳＮＲ、ＳＳＩＭ、及びＳＳＩＭを計算することによって、それらネットワーク１０の定量的比較を行った（第１２図を参照）。視覚的及び数値的比較の両方により、本明細書で使用されたアテンションゲート付きＧＡＮは、様々なＨＥＲ２発現レベルにおいて一貫して優れた、正確な仮想染色を提供できる唯一のネットワークアーキテクチャである一方で、他のネットワークアーキテクチャは、１つ又は複数のテストＦＯＶにおいていくつかの壊滅的な染色エラーを生じ、すべてのＨＥＲ２状態にわたって一貫した推論には許容できないものとなることが明らかになった。図１３～１４では、ＨＥＲ２発現が強いＦＯＶ（図１３）及びＨＥＲ２発現が弱いＦＯＶ（図１４）を含め、対応するグラウンドトゥルース画像に対する、それらの異なるネットワークアーキテクチャによって生成された出力画像４０の色分布をさらに比較した（方法セクションを参照）。これらの追加比較により、フレームワークによって生成された出力画像の色ヒストグラムが、膜と核の両方の染色チャネルに関して、標準的なＩＨＣのグラウンドトゥルースとはるかに密接に一致することが示され、ここでもやはり、本明細書で報告された訓練済みディープニューラルネットワーク１０にアテンションゲート付きＧＡＮアーキテクチャを使用する利点が示された。

【0043】

仮想ＨＥＲ２染色法の成功は、畳み込みニューラルネットワーク１０を使用して、無標識組織２２の自家蛍光画像２０にエンコードされている空間スペクトル情報を処理することに依存する。提示の仮想染色法は、広範な他のＩＨＣ染色に拡張できる可能性がある。仮想ＨＥＲ２染色フレームワークは、非標識組織切片２２の自家蛍光イメージングに基づいて実証されたが、ホログラフィー、蛍光寿命イメージング及びラマン顕微鏡法などの他の無標識顕微鏡モダリティもまた、このタスクに利用することができる。様々なバイオマーカーの評価において他の種類のＩＨＣ染色に一般化することに加え、本方法はさらに非固定新鮮組織試料又は凍結切片に適応でき、外科手術の間の術中迅速診断のためのリアルタイムの仮想ＩＨＣ画像を提供できる可能性がある。

【0044】

方法

【0045】

試料の調製及び標準ＩＨＣ染色

【0046】

非標識乳房組織ブロックは、ＵＣＬＡＩＲＢ１８－００１０２９に基づきＵＣＬＡＴＰＣＬから提供され、４μｍの薄切片２２に切り出した。次いで、ＦＦＰＥ薄切片２２を脱パラフィン処理し、ガラスカバースリップで覆った。自家蛍光顕微鏡画像２０を取得した後、非標識組織切片２２は、標準ＩＨＣＨＥＲ２染色のために認定病理検査室に送られ、ＵＣＬＡＴＰＣＬ及び米国ロサンゼルスのシダーズ・シナイメディカルセンターの解剖病理部によって行われた。ＵＣＬＡＴＰＣＬが提供するＩＨＣＨＥＲ２染色プロトコールは、ＩＨＣＨＥＲ２染色プロトコール（方法）に記載されている。

【0047】

画像データの取得

【0048】

非標識組織切片の自家蛍光画像２０は、×４０／０．９５ＮＡ（ＵＰＬＳＡＰＯ、オリンパス）対物レンズを備えた標準的な蛍光顕微鏡１１０（ＩＸ－８３、オリンパス）を使用してキャプチャした。ＤＡＰＩ（ＳｅｍｒｏｃｋＤＡＰＩ－５０６０Ｃ－ＯＦＸ、ＥＸ３７７／５０ｎｍ、ＥＭ４４７／６０ｎｍ）、ＦＩＴＣ（ＳｅｍｒｏｃｋＦＩＴＣ－２０２４Ｂ－ＯＦＸ、ＥＸ４８５／２０ｎｍ、ＥＭ５２２／２４ｎｍ）、ＴｘＲｅｄ（ＳｅｍｒｏｃｋＴＸＲＥＤ－４０４０Ｃ－ＯＦＸ、ＥＸ５６２／４０ｎｍ、ＥＭ６２４／４０ｎｍ）、及びＣｙ５（ＳｅｍｒｏｃｋＣＹ５－４０４０Ｃ－ＯＦＸ、ＥＸ６２８／４０ｎｍ、ＥＭ６９２／４０ｎｍ）を含む４つの蛍光フィルターキューブを使用して、異なる励起－発光波長で自家蛍光画像２０をキャプチャした。自家蛍光画像２０はそれぞれ、科学用相補型金属酸化物－半導体（ｓＣＭＯＳ）画像センサ（ＯＲＣＡ－ｆｌａｓｈ４．０Ｖ２、浜松ホトニクス）を用い、ＤＡＰＩ、ＦＩＴＣ、ＴｘＲｅｄ、及びＣｙ５フィルターについて、それぞれ１５０ミリ秒、５００ミリ秒、５００ミリ秒、及び１０００ミリ秒の露出時間でキャプチャした。４つのチャネルについてそれぞれの露光時間で画像を正規化した。したがって、ＤＡＰＩ画像（訓練用とテスト用）は露光時間１５０ミリ秒で除算した。他のチャネルはそれぞれの露光時間で正規化した。画像取得過程は、μＭａｎａｇｅｒ（バージョン１．４）顕微鏡自動化ソフトウェアで制御した。標準ＩＨＣＨＥＲ２染色が完了した後、×２０／０．８ＮＡ対物レンズ（ＡｘｉｏＳｃａｎＺ１、ツァイス）を備えたスライドスキャナー顕微鏡を使用して明視野ＷＳＩを得た。

【0049】

画像の前処理及び位置合わせ

【0050】

自家蛍光画像２０（ネットワーク入力）及び明視野ＩＨＣＨＥＲ２（ネットワークグラウンドトゥルース）画像ペアのマッチングは、画像間変換ネットワークの訓練の成功に重要である。仮想ＨＥＲ２染色ネットワークの訓練データセットを準備するための画像処理ワークフローは、図１１及びＭＡＴＬＡＢ（ＭａｔｈＷｏｒｋｓ）に実装された画像パネルａ～ｇに記載されている。まず、同じ組織切片の自家蛍光画像２０（ＩＨＣ染色前）及びホールスライド明視野画像（ＩＨＣ染色後）をＷＳＩにつなぎ合わせ（画像パネルａ）、頑健な特徴量の高速化（ｔｈｅｓｐｅｅｄｅｄｕｐｒｏｂｕｓｔｆｅａｔｕｒｅｓ）（ＳＵＲＦ）ポイントを検出及びマッチングすることによって大域的に共位置合わせを施した（画像パネルｂ）。次いで、これらの大まかに一致した自家蛍光と明視野ＷＳＩを１０２４×１０２４ピクセルの画像のタイルのペアに切り取った（画像パネルｃ）。これらの画像ペアは、標準的な（手間のかかる）ＩＨＣ染色手順の間の光学収差及び組織構造の形態変化に起因して、ピクセルレベルで正確に一致しなかった。相関ベースの弾性位置合わせアルゴリズムを使用して自家蛍光画像２０とその明視野対応物の間の変換を計算するために、自家蛍光画像のスタイルを明視野画像のスタイルに一致するように位置合わせモデルを訓練する必要がある（画像パネルｄ）。この位置合わせネットワーク５０は、仮想染色ネットワーク１０と同じアーキテクチャを使用した。位置合わせネットワーク５０（画像パネルｅ）を使用した画像スタイル変換に続いて、ピラミッド弾性画像位置合わせアルゴリズムを行って、サブ画像（ｓｕｂ－ｉｍａｇｅ）ブロックの局所的特徴を階層的にマッチングし、変換マップを計算した。次いで変換マップを、グラウンドトゥルース画像（画像パネルｆ）の局所的なラッピング（ｗｒａｐｐｉｎｇｓ）の補正に適用し、それらの自家蛍光対応物とより良好に一致させた。この訓練－位置合わせ過程（画像パネルｄ～ｆ）を、自家蛍光入力及び明視野グラウンドトゥルース画像パッチが単一ピクセルレベルで正確に一致するまで３～５回繰り返した（画像パネルｇ）。最後に、手動データクリーニング過程を行って、（標準的な化学染色過程の間の）組織の断裂又は（撮像過程の間の）焦点ぼけなどのアーチファクトのある画像ペアを除去した。

【0051】

仮想ＨＥＲ２染色ネットワークアーキテクチャ及び訓練スケジュール

【0052】

図２Ａ、２Ｂに示されるように、ＧＡＮベースのネットワークモデル１０を使用して、４チャネル無標識自家蛍光画像（ＤＡＰＩ、ＦＩＴＣ、ＴｘＲｅｄ、及びＣｙ５）から対応する明視野仮想ＨＥＲ２画像への変換を行った。このＧＡＮフレームワークは、（１）入力自家蛍光画像２０と対応する明視野ＩＨＣ染色ＨＥＲ２画像（グラウンドトゥルース）との間の統計的変換を学習することによって、仮想染色ＨＥＲ２画像４０を作り出す生成器ネットワーク及び（２）生成器によって作成された仮想ＨＥＲ２画像４０を、実際のＩＨＣ染色ＨＥＲ２画像から識別することを学習する識別器ネットワークを含む。生成器及び識別器は、この競合的訓練プロセスを通じて、代替的に（ａｌｔｅｒｎａｔｉｖｅｌｙ）最適化され、同時に向上した。具体的には、生成器（Ｇ）ネットワーク及び識別器（Ｄ）ネットワークは、以下の損失関数を最小にするように最適化された。

【0053】

【0054】

【0055】

式中、Ｇ（・）は生成器推論、Ｄ（・）は識別器によって予測された、実際に染色された実在のＩＨＣ画像である確率を表し、Ｉ_入力は入力無標識自家蛍光画像を示し、Ｉ_標的はグラウンドトゥルース、標準ＩＨＣ染色画像を示す。ｌ_生成器の係数（α，λ，γ）は経験的に（１０、０．２、０．５）として設定し、グラウンドトゥルースに対する生成器出力のピクセル毎の滑らかなＬ_１誤差、生成器出力のＳＳＩＭ損失、及び出力画像の識別器予測のバイナリクロスエントロピー（ＢＣＥ）損失のバランスをとった。平均二乗誤差（ＭＳＥ）損失を用いるのと比較して、滑らかなＬ_１損失は、ゼロ付近のＭＳＥと他の部分の平均絶対誤差（ＭＡＥ）を用いることによって、勾配爆発を防ぐ頑健性のある推定量である。具体的には、２つの画像ＡとＢの間の滑らかなＬ_１損失は次のように定義される：

【0056】

【0057】

式中、ｍ及びｎはピクセルインデックスであり、Ｍ×Ｎは各画像の総ピクセル数を表す。βはこの場合、１に設定した。

【0058】

２つの画像のＳＳＩＭは次のように定義される：

【0059】

【0060】

式中、μ_Ａ及びμ_Ｂは画像Ａ及びＢの平均値、σ_Ａ ^２及びσ_Ｂ ^２は画像Ａ及びＢの分散、σ_ＡＢは画像ＡとＢの間の共分散である。ｃ_１及びｃ_２は、それぞれ０．０１^２及び０．０３^２に設定した。

【0061】

ネットワークに使用のロジッツ損失を伴うＢＣＥは次のように定義される：

【0062】

【0063】

式中、ｐは識別器予測を表し、ｑは実際のラベル（ａｃｔｕａｌｌａｂｅｌ）（０又は１）を表す。

【0064】

図２Ａにされるように、生成器ネットワーク１０は、４つの解像度レベルをもつアテンション付きＵ－Ｎｅｔアーキテクチャに従って構築され、これは、異なる空間スケールでの空間特徴の変換を学習することによって、無標識自家蛍光画像２０をデジタル的又は仮想的にＨＥＲ２染色画像４０にマッピングし、より浅いレベルでの高解像度局所的特徴及びより深いレベルでのより大きなスケールの大域的コンテキストの両方を捉えることができる。アテンション付きＵ－Ｎｅｔ構造は、互いに対称なダウンサンプリングパス及びアップサンプリングパスから構成される。ダウンサンプリングパスは４つのダウンサンプリング畳み込みブロックを含み、それぞれは、２層畳み込み層残差ブロックから構成され、その後に、勾配が０．１の漏洩正規化線形ユニット（ＬｅａｋｙＲｅＬＵ）と、ダウンサンプリングのためのストライドサイズが２の２×２最大値プーリング演算が続く。２層畳み込み層残差ブロックは、カーネルサイズが３×３の２つの連続する畳み込み層と、２つの畳み込み層の入出力テンソルを接続する畳み込み残差パスを含む。ダウンサンプリングパスの各レベルの入力チャネルの数及び出力チャネルの数は、それぞれ、４、６４、１２８、２５６、及び６４、１２８、２５６、５１２に設定した。

【0065】

対称的に、アップサンプリングパスは、２×ダウンサンプリング演算が２×バイリニアアップサンプリング演算に置き換えられたことを除いて、ダウンサンプリング畳み込みブロックと同じ設計の４つのアップサンプリング畳み込みブロックを含む。各アップサンプリングブロックの入力は、前のブロックからの出力テンソルと、アテンションゲート接続を通過するダウンサンプリングパスの一致したレベルにおける対応する特徴マップとの連結である。アテンションゲートは、３つの畳み込み層及びシグモイド演算からなり、顕著な空間特徴を強調する活性化重みマップを出力する。注目すべきことに、アテンションゲートはＵ－ｎｅｔスキップ接続の各レベルに追加された。アテンションゲート付き構造は、入力画像中の無関係な領域を抑制する一方で、特定のタスクに有用な特定の特徴を強調することを暗黙的に学習する。

【0066】

アップサンプリングパスの各レベルにおける入力チャネルの数と出力チャネルの数は、それぞれ、１０２４、１０２４、５１２、２５６、及び１０２４、５１２、２５６、１２８であった。アップサンプリングパスに続いて、別の単一の畳込み層とともに２層畳み込み層残差ブロックは、チャネルの数を、グラウンドトゥルース画像（すなわち、３チャネルＲＧＢ画像）のチャネルの数と一致する３つに減らす。さらに、ダウンサンプリングパスとアップサンプリングパスのディメンションを接続し、マッチングするために、２層畳み込み層中央ブロックを利用した。

【0067】

識別器ネットワークの構造を図２Ｂに示す。１つの畳み込み層とそれに続くＬｅａｋｙＲｅＬＵ演算を含む初期ブロックは、まず、３チャネルの生成器出力又はグラウンドトゥルース画像を６４チャネルのテンソルに変換した。次いで、５つの連続する２層畳み込み層残差ブロックが追加されて、２×ダウンサンプリングを行って、各入力テンソルのチャネル数を拡張した。２×ダウンサンプリングは、各ブロックの第２の畳み込み層のストライドサイズを２に設定することによって可能になった。５つのブロックを通過した後、出力テンソルは平均化され、一次元ベクトルに平坦化され、次いで２つの全結合層に供給されて、入力画像が標準ＩＨＣ染色画像である確率が得られた。

【0068】

完全な画像データセットには、１９名のユニークな患者からの２５のＷＳＩが含まれ、それぞれ１０２４×１０２４ピクセルのサイズをもつ２０，９１０の画像パッチのセットが作られた。交差検証テストで使用した各仮想染色モデルの訓練では、データセットを以下のように分割した：（１）テストセット：１～２名のユニークな患者のＷＳＩからの画像（～１０％、訓練又は検証患者と重複しない）；テストセットを分割した後、残りのＷＳＩをさらに、（２）検証セット：ＷＳＩの２名からの画像（～１０％）、と（３）訓練セット：残りのＷＳＩからの画像（～８０％）。ネットワークモデルを、訓練データセットの１０２４×１０２４ピクセルの画像からランダムに切り出した２５６×２５６ピクセルの画像パッチを使用して最適化した。重み減衰付きＡｄａｍ最適化手法（ｏｐｔｉｍｉｚｅｒ）を使用して、バッチサイズ２８で、生成器ネットワークに対して１×１０^－４、識別器ネットワークに対して１×１０^－５の学習率で学習可能なパラメーターを更新した。生成器／識別器の更新頻度を２：１に設定した。最後に、検証画像の目視評価を補助して、最良のＭＳＥ損失に基づいて最良のモデルを選択した。ネットワークは、～１２０時間の訓練後に収束した。

【0069】

実行の詳細

【0070】

画像前処理は、画像処理ソフトウェア１０４（つまり、バージョンＲ２０１８Ｂ（ＭａｔｈＷｏｒｋｓ）を使用のＭＡＴＬＡＢ）で実行した。仮想染色ネットワーク１０は、Ｐｙｔｈｏｎバージョン３．９．０及びＰｙｔｏｒｃｈバージョン１．９．０を使用して実行した。訓練は、インテルＸｅｏｎＷ－２２６５中央演算処理装置（ＣＰＵ）１０２、６４ＧＢのランダムアクセスメモリ（ＲＡＭ）、及びＮｖｉｄｉａＧｅＦｏｒｃｅＧＴＸ３０９０画像処理装置（ＧＰＵ）１０２を搭載したデスクトップコンピュータ１００で行った。

【0071】

ＨＥＲ２画像の病理学者による盲検評価

【0072】

ＷＳＩの評価では、２４の高解像度ＷＳＩをランダムにシャッフル、回転、反転し、３名の専門委員会認定病理学者と共有されたオンライン画像閲覧プラットフォームにアップロードして、ＤａｋｏＨｅｒｃｅｐＴｅｓｔスコアリングシステムを使用して各ＷＳＩのＨＥＲ２状態を盲検評価し、スコアを付けた。サブ（ｓｕｂ）ＲＯＩ画像の評価では、２４０の画像パッチをランダムにシャッフル、回転、反転し、オンライン画像共有プラットフォームＧＩＧＡｍａｃｒｏ（ｈｔｔｐｓ：／／ｗｗｗ．ｇｉｇａｍａｃｒｏ．ｃｏｍ／）にアップロードした。染色の質の評価に使用されたこれらの２４０の画像パッチは、ｈｔｔｐｓ：／／ｖｉｅｗｅｒ．ｇｉｇａｍａｃｒｏ．ｃｏｍ／ｃｏｌｌｅｃｔｉｏｎｓ／ｕ０８ｍｗＩｐＵＤＡｗｆＲ１ｖＱ？ｓｂ＝ｄａｔｅ＆ｓｄ＝ａｓｃでアクセスすることができる。

【0073】

病理学者による盲検評価を補足データ１に示す。

【0074】

統計分析

【0075】

カイ二乗検定（両側）を行って、仮想染色及び標準ＩＨＣ染色に基づいて評価されたＨＥＲ２スコアの一致を比較した。対応のある検定（片側）を使用して、仮想染色と標準ＩＨＣ染色の画像の質を比較した。最初に、同じ位置から切り取った仮想画像パッチとＩＨＣ画像パッチのスコアの差を計算し、すなわち、各ＩＨＣ染色画像のスコアを、対応する仮想染色画像のスコアから差し引いた。次いで、片側ｔ検定を行って、各特徴指標と各病理学者によって差を０と比較した。すべての検定において、Ｐ値≦０．０５を統計学的に有意とみなした。分析はすべて、ＳＡＳｖ９．４（ＳＡＳＩｎｓｔｉｔｕｔｅ、ノースカロライナ州ケーリー）を使用して行った。

【0076】

ＨＥＲ２画像の数値評価

【0077】

ＨＥＲ２画像の特徴に基づく定量的評価（図６Ａ～６Ｂに報告）の場合、図１５に示されるように、カラーデコンボリューション（図１０Ａ～１０Ｂ）を行って、核染色チャネル（すなわち、ヘマトキシリン染色）と膜染色チャネル（すなわち、ジアミノベンジジン染色、ＤＡＢ）を分離した。核セグメンテーションマップは、大津の閾値法及びそれに続くヘマトキシリンチャネルに対するモフォロジー演算（例えば、画像の収縮、画像の膨張など）によって得た。バイナリー核セグメンテーションマップに基づき、連結領域の数を数え、平均領域面積を測定することによって、核の数及び平均核面積を抽出した。膜染色の評価では、まず、分離したＤＡＢ画像チャネルをＨＳＶ色空間に変換した。次いで、飽和チャネルに閾値（複数可）を適用することで膜染色のセグメンテーションマップを得た。閾値（複数可）を０．１から０．５まで０．０２のステップサイズで徐々に増加させることによって、画像ＦＯＶ全体（すなわち、１０２４×１０２４ピクセル）に対する分割された膜染色領域の合計の比を計算し、特性曲線を作成した（図１５）。特性曲線下の面積を適宜抽出し、ＨＥＲ２発現レベルを評価するための頑健性のある指標を得ることができる。閾値（複数可）を０．２５に設定することによって、画像ＦＯＶ全体に対する膜セグメンテーションマップの最大連結コンポーネントの比も膜領域の連結性として抽出した。

【0078】

図１３～１４に報告された色分布の特徴付けのために、核染色チャネル及び膜染色チャネルを、図１５と同じカラーデコンボリューション法を用いて分割した。各染色チャネルについて、正規化したピクセル値すべてのヒストグラムを作成し、続いて分布プロファイルに適合するようにノンパラメトリックなカーネル平滑化を行った。図１３～１４に示されるカラーヒストグラムのＹ軸（すなわち、周波数）は、総ピクセル数で正規化した。

【0079】

データの利用可能性

【0080】

本研究によって実証された結果を裏付けるデータは、本明細書で入手可能である。ＨＥＲ２の状態及び染色質評価研究に使用された画像一式は、補足データ１ファイル及びｈｔｔｐｓ：／／ｖｉｅｗｅｒ．ｇｉｇａｍａｃｒｏ．ｃｏｍ／ｃｏｌｌｅｃｔｉｏｎｓ／ｕ０８ｍｗＩｐＵＤＡｗｆＲ１ｖＱ？ｓｂ＝ｄａｔｅ＆ｓｄ＝ａｓｃ（参照により本明細書に組み込まれる）で見ることができる。

【0081】

病理学者の報告全文は、補足データ１ファイルで見ることができる。完全な統計分析レポートは、補足データ２ファイルで見ることができる。患者検体に対応する未加工の（ｒａｗ）ＷＳＩは、ＵＣＬＡＩＲＢ１８－００１０２９に基づき、本研究のためにＵＣＬＡＨｅａｌｔｈプライベートデータベースから入手したものであるため、一般に公開することはできない。

【0082】

コードの利用可能性

【0083】

本研究で使用された深層学習モデルはすべて、Ｐｙｔｏｒｃｈで公開されている標準的なライブラリ及びスクリプトを使用する。本原稿で使用されたコードは、ＧｉｔＨｕｂ：ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｂａｉｂｉｊｉｅ／ＨＥＲ２－ｖｉｒｔｕａｌ－ｓｔａｉｎｉｎｇ（参照によって本明細書に組み込まれる）を通してアクセスすることができる。

【0084】

ＩＨＣＨＥＲ２染色プロトコール

【0085】

パラフィン包埋切片を４μｍの厚さに切り、パラフィンをキシレンで除去し、段階的エタノールで再水和した。内因性ペルオキシダーゼ活性を、メタノール中の３％過酸化水素で１０分間ブロックした。熱誘導抗原賦活化（ＨＩＥＲ）を、９５℃で２５分間、デクローキングチャンバー（バイオケアメディカル）を使用して、ＡＲ９バッファー（ＡＲ９００１ＫＴＡｋｏｙａ）中で全切片に対して行った。次いで、スライドをＨＥＲ２抗体（セルシグナリング、４２９０、１－２００）で４℃にて一晩染色した。シグナルはＤａｋｏＣｙｔｏｍａｔｉｏｎＥｎｖｉｓｉｏｎＳｙｓｔｅｍＬａｂｅｌｌｅｄＰｏｌｙｍｅｒＨＲＰ抗ウサギ（アジレントＫ４００３、即使用可能）を使用して検出した。すべての切片をジアミノベンジジン反応で可視化し、ヘマトキシリンで対比染色した。

【0086】

次の刊行物（そのなかで参照されているすべての補足資料、補足データ及びコードを含む）、Ｂａｉｅｔａｌ．，Ｌａｂｅｌ－ＦｒｅｅＶｉｒｔｕａｌＨＥＲ２ＩｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｃａｌＳｔａｉｎｉｎｇｏｆＢｒｅａｓｔＴｉｓｓｕｅｕｓｉｎｇＤｅｅｐＬｅａｒｎｉｎｇ，ＢＭＥＦｒｏｎｔｉｅｒｓ，ｖｏｌ．２０２２，ＡｒｔｉｃｌｅＩＤ９７８６２４２，１５ｐａｇｅｓ，２０２２は、参照により本明細書に組み込まれる。

【0087】

本発明の実施形態を示し、説明してきたが、本発明の範囲を逸脱することなく様々な変更を加えることができる。例えば、ＨＥＲ２バイオマーカーは、乳房組織の無標識仮想免疫組織化学染色で具体的に検討されたが、本発明のシステム２及び方法は、他のバイオマーカー及び／又は抗原にも適用可能であることが理解されるべきである。これには、乳房組織以外の他の種類の組織２２が含まれる。さらに、無標識画像は、非標識組織切片の自家蛍光イメージングに基づいて実証されたが、ホログラフィー、蛍光寿命イメージング、ラマン顕微鏡法など、他の無標識顕微鏡モダリティを使用できることが理解されるべきである。したがって、本発明は、以下の特許請求の範囲及びその均等物を除き、限定されるべきではない。

【図1-1】