特表 2023-508284 ディープラーニングを使用した顕微鏡画像のデジタル的染色のための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-02

(54)【発明の名称】ディープラーニングを使用した顕微鏡画像のデジタル的染色のための方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230222BHJP

   G01N 33/53 20060101ALI20230222BHJP

   G01N 33/48 20060101ALI20230222BHJP

   G01N 33/483 20060101ALI20230222BHJP

   C12Q 1/00 20060101ALI20230222BHJP

   G06V 10/82 20220101ALI20230222BHJP

   G06T 1/00 20060101ALI20230222BHJP

   G06T 3/40 20060101ALI20230222BHJP

   G01N 21/64 20060101ALI20230222BHJP

【ＦＩ】

G06T7/00 350C

G01N33/53 Y

G01N33/48 M

G01N33/48 P

G01N33/483 C

C12Q1/00 C

G06T7/00 630

G06V10/82

G06T1/00 295

G06T3/40 725

G01N21/64 E

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022537383

(86)(22)【出願日】2020-12-22

(85)【翻訳文提出日】2022-08-10

(86)【国際出願番号】 US2020066708

(87)【国際公開番号】W WO2021133847

(87)【国際公開日】2021-07-01

(31)【優先権主張番号】62/952,964

(32)【優先日】2019-12-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/058,329

(32)【優先日】2020-07-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

２．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】592110646

【氏名又は名称】ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア

(74)【代理人】

【識別番号】110001302

【氏名又は名称】弁理士法人北青山インターナショナル

(72)【発明者】

【氏名】オズキャン，アイドガン

(72)【発明者】

【氏名】リヴェンソン，ヤイール

(72)【発明者】

【氏名】ワン，ホンダ

(72)【発明者】

【氏名】ロウ，イーリン

(72)【発明者】

【氏名】デ ハーン，ケヴィン

(72)【発明者】

【氏名】チャン，イージエ

(72)【発明者】

【氏名】バイ，ビジェ

【テーマコード（参考）】

2G043

2G045

4B063

5B057

5L096

【Ｆターム（参考）】

2G043AA01

2G043BA16

2G043CA04

2G043CA05

2G043EA01

2G043FA01

2G043FA02

2G043LA03

2G043NA01

2G043NA06

2G045AA24

2G045CB01

2G045FA19

2G045FB12

2G045JA01

2G045JA07

4B063QA01

4B063QQ08

4B063QR66

4B063QS33

4B063QX01

5B057AA10

5B057BA23

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CD03

5B057CH16

5B057DA07

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC40

5L096AA02

5L096AA06

5L096CA21

5L096DA01

5L096EA11

5L096EA16

5L096EA39

5L096FA32

5L096FA33

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

ディープラーニングベースのデジタル的／仮想的な染色方法及びシステムは、非標識又は非染色のサンプルからのデジタル的／仮想的に染色された顕微鏡画像の作成を可能にする。一実施形態では、方法は、蛍光顕微鏡を使用してサンプルの蛍光寿命（ＦＬＩＭ）画像を使用して、非標識又は非染色のサンプルのデジタル的／仮想的に染色された顕微鏡画像を生成する。別の実施形態では、訓練済みディープニューラルネットワークを使用して、焦点が改善された顕微鏡画像を生成するために機械学習を使用する、デジタル的／仮想的にオートフォーカスする方法が提供される。別の実施形態では、訓練済みディープニューラルネットワークは、複数の異なる染色を有する、顕微鏡を用いて得られた非標識又は非染色のサンプルのデジタル的／仮想的に染色された顕微鏡画像を生成する。出力画像又はそのサブ領域の複数の染色は、組織化学的に染色された同じサンプルの対応の顕微鏡画像又は画像サブ領域に実質的に同等である。
【選択図】図２

【特許請求の範囲】

【請求項1】

サンプルの仮想的に染色された顕微鏡画像を生成する方法であって、
コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供するステップであって、前記訓練済みディープニューラルネットワークは、複数の一致した免疫組織化学（ＩＨＣ）染色された顕微鏡画像又は画像パッチ、及び、免疫組織化学（ＩＨＣ）染色前に得られた同じ前記サンプルのそれらの対応の蛍光寿命（ＦＬＩＭ）顕微鏡画像又は画像パッチを用いて訓練される、ステップと、
蛍光顕微鏡及び少なくとも１つの励起光源を使用して前記サンプルの蛍光寿命（ＦＬＩＭ）画像を得るステップと、
前記訓練済みディープニューラルネットワークに前記サンプルの前記蛍光寿命（ＦＬＩＭ）画像を入力するステップと、
前記訓練済みディープニューラルネットワークが、免疫組織化学（ＩＨＣ）染色された同じ前記サンプルの対応の画像と実質的に同等である前記サンプルの前記仮想的に染色された顕微鏡画像を出力するステップと、を含む方法。

【請求項2】

前記サンプルは、非標識又は非染色であり、かつ、前記サンプルから放出される蛍光は、前記サンプル内の内因性フルオロフォア又は光の内因性エミッタから放出される、請求項１に記載の方法。

【請求項3】

前記サンプルは、１以上の外因性蛍光標識又は他の光の外因性エミッタを用いて最初に標識付けされる、請求項１に記載の方法。

【請求項4】

前記訓練済みディープニューラルネットワークは畳み込みニューラルネットワークを含む、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記ディープニューラルネットワークは、敵対的生成ネットワーク（ＧＡＮ）モデルを使用して訓練される、請求項１～３のいずれか１項に記載の方法。

【請求項6】

前記ディープニューラルネットワークはジェネレータネットワーク及びディスクリミネータネットワークを使用して訓練され、前記ジェネレータネットワークは、前記ＩＨＣ染色の間に取得された前記サンプルの前記蛍光寿命（ＦＬＩＭ）画像又は画像パッチと、同じ前記サンプルの前記一致した免疫組織化学（ＩＨＣ）染色された画像との間の統計的変換を学習するように構成され、前記ディスクリミネータネットワークは、前記サンプルのグラウンドトゥルース化学的に染色されたＩＨＣ画像と同じ前記サンプルの出力された前記仮想的に染色された顕微鏡画像とをデジタル的に区別するように構成される、請求項１～３のいずれか１項に記載の方法。

【請求項7】

前記サンプルは、哺乳動物組織、植物組織、細胞、病原体、細菌、寄生虫、菌類、体液塗抹標本、リキッドバイオプシ又は対象の他の物体を含む、請求項１～３のいずれか１項に記載の方法。

【請求項8】

前記ディープニューラルネットワークは、前記訓練済みディープニューラルネットワークによって仮想的に染色されるべき前記サンプルのタイプと同じタイプのサンプルを用いて訓練される、請求項１～３のいずれか１項に記載の方法。

【請求項9】

前記ディープニューラルネットワークは、前記訓練済みディープニューラルネットワークによって仮想的に染色されるべき前記サンプルのタイプと比較して異なるタイプのサンプルを用いて訓練される、請求項１～３のいずれか１項に記載の方法。

【請求項10】

前記サンプルは、固定されていない組織サンプルを含む、請求項１～３のいずれか１項に記載の方法。

【請求項11】

前記サンプルは、固定された組織サンプルを含む、請求項１～３のいずれか１項に記載の方法。

【請求項12】

前記固定された組織サンプルはパラフィンに包埋される、請求項１１に記載の方法。

【請求項13】

前記サンプルは、新鮮な組織サンプル又は凍結された組織サンプルを含む、請求項１～３のいずれか１項に記載の方法。

【請求項14】

前記サンプルは、生体内又は試験管内で画像化された組織を含む、請求項１～３のいずれか１項に記載の方法。

【請求項15】

少なくとも１つの励起光源は紫外線又は近紫外線を放出する、請求項１～３のいずれか１項に記載の方法。

【請求項16】

前記蛍光寿命（ＦＬＩＭ）画像は、フィルタリングされた発光帯で、又は、少なくとも１つのフィルタを使用する発光帯のセットで得られ、得られた前記画像は、前記サンプルの仮想的染色のために前記訓練済みディープニューラルネットワークに入力される、請求項１～３のいずれか１項に記載の方法。

【請求項17】

１以上のフィルタが、１以上の蛍光寿命（ＦＬＩＭ）画像をキャプチャするために使用され、得られた前記画像は、前記サンプルの仮想的染色のために前記訓練済みディープニューラルネットワークに入力される、請求項１６に記載の方法。

【請求項18】

前記１以上の蛍光寿命（ＦＬＩＭ）画像は、異なる波長又は波長帯で光を放出する１以上の励起光源によって得られ、得られた前記１以上の蛍光寿命（ＦＬＩＭ）画像は、前記サンプルの仮想的染色のために前記訓練済みディープニューラルネットワークに入力される、請求項１６に記載の方法。

【請求項19】

前記蛍光寿命（ＦＬＩＭ）画像は、前記訓練済みディープニューラルネットワークに入力される前に、コントラスト強調、コントラスト反転、画像フィルタリングのうちの１以上を含む１以上の線形又は非線形画像前処理工程を受ける、請求項１～３のいずれか１項に記載の方法。

【請求項20】

前記蛍光寿命（ＦＬＩＭ）画像及び１以上の前処理された画像は、前記サンプルの仮想的染色のために前記訓練済みディープニューラルネットワークに一緒に入力される、請求項１～３のいずれか１項に記載の方法。

【請求項21】

前記複数の一致した免疫組織化学（ＩＨＣ）染色されたサンプル画像及び免疫組織化学（ＩＨＣ）染色前に得られた同じ前記サンプルの蛍光寿命（ＦＬＩＭ）画像又は画像パッチは、訓練中に位置合わせを受け、前記位置合わせは、回転を補正する少なくとも１つのグローバル位置合わせプロセスと、一致した化学的に染色されたサンプル画像及び前記蛍光寿命（ＦＬＩＭ）画像に見られるローカルの特徴に一致及び位置合わせするローカル位置合わせプロセスと、を含む、請求項１～３のいずれか１項に記載の方法。

【請求項22】

前記訓練済みディープニューラルネットワークは、１以上のＧＰＵ又はＡＳＩＣを使用して訓練される、請求項１～３のいずれか１項に記載の方法。

【請求項23】

前記訓練済みディープニューラルネットワークは、１以上のＧＰＵ又はＡＳＩＣを使用して実行される、請求項１～３のいずれか１項に記載の方法。

【請求項24】

前記サンプルの前記仮想的に染色された顕微鏡画像は、前記サンプルの単一の又はセットの蛍光寿命（ＦＬＩＭ）画像を得た後にリアルタイムで又はほぼリアルタイムで出力される、請求項１～３のいずれか１項に記載の方法。

【請求項25】

前記訓練済みディープニューラルネットワークは、転移学習又は追加のアルゴリズムを使用して第２組織／染色の組み合わせのためにさらに最適化される、第１組織／染色の組み合わせからの最初のニューラルネットワークの重み付け及びバイアスを使用して、前記第２組織／染色の組み合わせのために訓練される、請求項１～３のいずれか１項に記載の方法。

【請求項26】

前記訓練済みディープニューラルネットワークは、複数の組織／染色の組み合わせの仮想的染色のために訓練される、請求項１～３のいずれか１項に記載の方法。

【請求項27】

前記訓練済みディープニューラルネットワークは、所定の組織タイプのための複数の免疫組織化学（ＩＨＣ）染色タイプのために訓練される、請求項１～３のいずれか１項に記載の方法。

【請求項28】

インコヒーレント顕微鏡を用いて得られたサンプルの顕微鏡画像に仮想的にオートフォーカスする方法であって、
コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供するステップであって、前記訓練済みディープニューラルネットワークは、前記ディープニューラルネットワークへの入力画像として使用される焦点の合っていない及び／又は焦点の合った顕微鏡画像又は画像パッチと、前記ディープニューラルネットワークの訓練のためのグラウンドトゥルース画像として使用される、前記インコヒーレント顕微鏡を用いて得られた同じ前記サンプルの対応の又は一致した焦点の合った顕微鏡画像又は画像パッチと、の複数の対を用いて訓練される、ステップと、
前記インコヒーレント顕微鏡を使用して前記サンプルの焦点の合っていない又は焦点の合った画像を得るステップと、
前記訓練済みディープニューラルネットワークに、前記インコヒーレント顕微鏡から得られた前記サンプルの焦点の合っていない又は焦点の合った画像を入力するステップと、
前記訓練済みディープニューラルネットワークが、前記インコヒーレント顕微鏡によって取得された同じ前記サンプルの前記焦点の合った画像（グラウンドトゥルース）に実質的に一致する、改善された焦点を有する出力画像を出力するステップと、を含む方法。

【請求項29】

前記サンプルは三次元サンプルを含み、前記サンプルの前記焦点の合っていない画像は、焦点の合っていない特徴及び／又は散乱を含む画像を含み、前記訓練済みディープニューラルネットワークは、焦点の合っていない特徴及び／又は散乱を拒絶する前記三次元サンプル内の異なる平面又は深度に出力画像を出力する、請求項２８に記載の方法。

【請求項30】

前記ネットワーク出力画像は拡張被写界深度（ＥＤＯＦ）画像を含む、請求項２８又は２９に記載の方法。

【請求項31】

前記インコヒーレント顕微鏡は、蛍光顕微鏡、超解像度顕微鏡、共焦点顕微鏡、ライトシート顕微鏡、ＦＬＩＭ顕微鏡、明視野顕微鏡、暗視野顕微鏡、構造化照明顕微鏡、全内部反射顕微鏡、計算顕微鏡、タイコグラフィック顕微鏡、合成開口ベース顕微鏡、及び、位相コントラスト顕微鏡のうちの１つを含む、請求項２８又は２９に記載の方法。

【請求項32】

改善された焦点を有する前記画像を仮想的に染色するためにコンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される別個の訓練済みディープニューラルネットワークに、改善された焦点を有する前記訓練済みディープニューラルネットワークの前記出力画像を入力するステップをさらに含み、前記別個の訓練済みディープニューラルネットワークは、グラウンドトゥルース画像又は画像パッチとして使用される、複数の一致した化学的に染色された画像又は画像パッチと、前記サンプルの組織化学的染色の前に前記インコヒーレント顕微鏡を用いて得られた同じ前記サンプルのそれらの対応の画像又は画像パッチと、を用いて訓練され、前記訓練済みディープニューラルネットワークは、組織化学的に染色された同じ前記サンプルの対応の顕微鏡画像に実質的に同等である前記サンプルの仮想的に染色された顕微鏡画像を出力する、請求項２８又は２９に記載の方法。

【請求項33】

インコヒーレント顕微鏡を用いてサンプルの仮想的に染色された顕微鏡画像を生成する方法であって、
コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供するステップであって、前記訓練済みディープニューラルネットワークは、前記ディープニューラルネットワークへの入力画像として使用され、かつ、前記ディープニューラルネットワークの訓練のためにグラウンドトゥルース画像を生成する、化学的染色プロセス後に前記インコヒーレント顕微鏡を用いて得られた同じ前記サンプルの対応の焦点の合った顕微鏡画像又は画像パッチにすべて一致する、焦点の合っていない及び／又は焦点の合った顕微鏡画像又は画像パッチの複数の対を用いて訓練される、ステップと、
前記インコヒーレント顕微鏡を使用して前記サンプルの焦点の合っていない又は焦点の合った画像を得るステップと、
前記訓練済みディープニューラルネットワークに、前記インコヒーレント顕微鏡から得られた前記サンプルの前記焦点の合っていない又は焦点の合った画像を入力するステップと、
前記訓練済みディープニューラルネットワークが、改善された焦点を有し、かつ、前記化学的染色プロセス後に前記インコヒーレント顕微鏡によって得られた同じ前記サンプルの化学的に染色されて焦点の合った画像に実質的に似ていて一致するように仮想的に染色された前記サンプルの出力画像を出力するステップと、を含む方法。

【請求項34】

前記サンプルは非標識又は非染色である、請求項３３に記載の方法。

【請求項35】

前記サンプルは、１以上の外因性標識及び／又は光エミッタを用いて最初に標識される、請求項３３に記載の方法。

【請求項36】

サンプルの仮想的に染色された顕微鏡画像を生成する方法であって、
コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供するステップであって、前記訓練済みディープニューラルネットワークは、少なくとも１つのアルゴリズムによって仮想的に染色される又は第１染色タイプを有するように組織化学的に染色される染色された顕微鏡画像又は画像パッチであって、前記第１染色タイプを用いて組織化学的に又は仮想的に染色された入力画像を、前記第２染色タイプを用いて仮想的に染色された出力画像に変換するために前記ディープニューラルネットワークの訓練のためのグラウンドトゥルース画像を構成する、少なくとも１つのアルゴリズムによって仮想的に染色される又は別の異なる染色タイプを有するように化学的に染色される同じ前記サンプルの対応の染色された顕微鏡画像又は画像パッチにすべて一致させられる顕微鏡画像又は画像パッチの複数の対を用いて訓練される、ステップと、
前記第１染色タイプを用いて染色された前記サンプルの組織化学的に又は仮想的に染色された入力画像を得るステップと、
前記第１染色タイプを用いて染色された入力画像を、前記第２染色タイプを用いて仮想的に染色された出力画像に変換する前記訓練済みディープニューラルネットワークに、前記サンプルの組織化学的に又は仮想的に染色された画像を入力するステップと、
前記訓練済みディープニューラルネットワークが、前記化学的染色プロセス後にインコヒーレント顕微鏡によって得られた前記第２染色タイプを用いて染色された同じ前記サンプルの化学的に染色された画像に実質的に似ていて一致するような仮想的染色を有する前記サンプルの出力画像を出力するステップと、を含む方法。

【請求項37】

染色された前記入力画像は、別個の訓練済みニューラルネットワーク若しくは少なくとも１つのデジタルアルゴリズム又は機械学習アルゴリズムの出力によって生成された仮想的に染色された画像を含む、請求項３６に記載の方法。

【請求項38】

染色された前記入力画像は、インコヒーレント顕微鏡によって取得された組織化学的に染色されたサンプルの染色された画像を含む、請求項３６に記載の方法。

【請求項39】

前記訓練済みディープニューラルネットワークは、スタイル変換ネットワーク又はアルゴリズムを用いて拡張された、拡張された訓練画像を使用して訓練される、請求項３６に記載の方法。

【請求項40】

前記スタイル変換ネットワークは、ＣｙｃｌｅＧＡＮベースのスタイル変換ネットワークを含む、請求項３９に記載の方法。

【請求項41】

前記スタイル変換ネットワークは染色ベクトルの正規化を含む、請求項３９に記載の方法。

【請求項42】

前記訓練済みディープニューラルネットワークは、同じ染色された前記スライドの２つの異なるバリエーションの間で、教師ありで訓練され、前記バリエーションは、同じ前記スライドの第２再染色が続く、異なる顕微鏡又は組織化学的染色を用いた前記サンプルの画像化の結果である、請求項３９に記載の方法。

【請求項43】

前記訓練済みディープニューラルネットワークは、対をなす仮想的に染色された画像のセットによって訓練され、各々が、単一の仮想的染色ニューラルネットワーク又は２つの異なる仮想的染色ニューラルネットワークによって生成された、異なる仮想的染色を用いて染色される、請求項３９に記載の方法。

【請求項44】

前記化学的染色は、ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色、ヘマトキシリン、エオシン、ジョーンズ銀染色、マッソントリクローム染色、過ヨウ素酸シッフ（ＰＡＳ）染色、コンゴレッド染色、アルシアンブルー染色、ブルーアイアン、硝酸銀、トリクローム染色、チールニールセン、グロコットメセナミン銀（ＧＭＳ）染色、グラム染色、酸性染色、塩基性染色、銀染色、ニッスル、ワイガート染色、ゴルジ染色、ルクソールファストブルー染色、トルイジンブルー、ゲンタ、マロリートリクローム染色、ゴモリトリクローム、ヴァンギーソン、ギエムサ、スーダンブラック、パールズプルシアン、ベストカーマイン、アクリジンオレンジ、免疫蛍光染色、免疫組織化学的染色、キニヨン－コールド染色、アルバート染色、鞭毛染色、内生胞子染色、ニグロシン又はインディアインクの染色のうちの１つである、請求項２８、２９、３６～４０のいずれか１項に記載の方法。

【請求項45】

前記入力画像を前記訓練済みディープニューラルネットワークに入力するために使用される前記インコヒーレント顕微鏡は、蛍光顕微鏡、広視野顕微鏡、超解像度顕微鏡、共焦点顕微鏡、単一光子又は多光子励起蛍光を有する共焦点顕微鏡、第二次高調波又は高次高調波発生蛍光顕微鏡、ライトシート顕微鏡、ＦＬＩＭ顕微鏡、明視野顕微鏡、暗視野顕微鏡、構造化照明顕微鏡、全内部反射顕微鏡、計算顕微鏡、タイコグラフィック顕微鏡、合成開口ベース顕微鏡、又は、位相コントラスト顕微鏡のうちの１つを含む、請求項３３に記載の方法。

【請求項46】

前記インコヒーレント顕微鏡を使用して得られた前記サンプルの前記焦点の合っていない画像は、前記焦点の合った画像平面周りの軸方向範囲内で焦点が合っていない、請求項３３に記載の方法。

【請求項47】

単一の訓練済みディープニューラルネットワークを使用して複数の異なる染色を用いてサンプルの仮想的に染色された顕微鏡画像を生成する方法であって、
コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供するステップであって、前記訓練済みディープニューラルネットワークは、前記ディープニューラルネットワークの訓練のためのグラウンドトゥルース画像として使用される、複数の化学的染色を使用して複数の一致した化学的に染色された顕微鏡画像又は画像パッチと、前記ディープニューラルネットワークの訓練のための入力画像として使用される、化学的染色前に得られた同じ前記サンプルのそれらの対応の一致した蛍光顕微鏡画像又は画像パッチと、を用いて訓練される、ステップと、
蛍光顕微鏡及び少なくとも１つの励起光源を使用して前記サンプルの蛍光画像を得るステップと、
前記訓練済みディープニューラルネットワークを条件付けるための１以上のクラス条件付き行列を適用するステップと、
前記１以上のクラス条件付き行列とともに前記訓練済みディープニューラルネットワークに前記サンプルの前記蛍光画像を入力するステップと、
前記訓練済みディープニューラルネットワークが、１以上の異なる染色を有する前記サンプルの前記仮想的に染色された顕微鏡画像を出力するステップであって、前記出力画像又はそのサブ領域は、対応の１以上の異なる染色を用いて組織化学的に染色される同じ前記サンプルの対応の顕微鏡画像又は画像サブ領域に実質的に同等である、ステップと、を含む方法。

【請求項48】

前記サンプルは非標識又は非染色であり、前記サンプルから放出された前記蛍光は、前記サンプル内の内因性フルオロフォア又は他の光の内因性エミッタを用いて最初に標識される、請求項４７に記載の方法。

【請求項49】

前記サンプルは、１以上の外因性蛍光標識又は他の光の外因性エミッタを用いて最初に標識される、請求項４７に記載の方法。

【請求項50】

前記蛍光顕微鏡は、超解像度顕微鏡、共焦点顕微鏡、ライトシート顕微鏡、ＦＬＩＭ顕微鏡、広視野顕微鏡、構造化照明顕微鏡、計算顕微鏡、タイコグラフィック顕微鏡、合成開口ベース顕微鏡、又は、全内反射顕微鏡のうちの１つを含む、請求項４７～４９のいずれか１項に記載の方法。

【請求項51】

染色前に得られてディープニューラルネットワークの訓練に使用される前記サンプルの前記蛍光画像又は画像パッチ、及び／若しくは、前記訓練済みニューラルネットワークへの入力として使用される前記蛍光顕微鏡を使用して得られた前記サンプルの前記蛍光画像は焦点が合っておらず、前記訓練済みディープニューラルネットワークは、オートフォーカス及び仮想的染色の両方を学習及び実行する、請求項２８、３３、３６及び４７～４９のいずれか１項に記載の方法。

【請求項52】

染色前に得られてディープニューラルネットワークの訓練に使用される前記サンプルの前記蛍光画像又は画像パッチ、及び／若しくは、前記訓練済みニューラルネットワークへの入力として使用される前記蛍光顕微鏡を使用して得られた前記サンプルの前記蛍光画像は、焦点が合っている、又は、計算的に再度焦点を合わせる、又は、オートフォーカスされる、請求項２８、３３、３６及び４７～４９のいずれか１項に記載の方法。

【請求項53】

前記入力画像は、前記グラウンドトゥルース画像が有しているものと同じ又は実質的に同様の開口数及び解像度を有している、請求項２８、３３、３６及び４７～４９のいずれか１項に記載の方法。

【請求項54】

前記入力画像は、前記グラウンドトゥルース画像と比較してより低い開口数及びより低い解像度を有している、請求項２８、３３、３６及び４７～４９のいずれか１項に記載の方法。

【請求項55】

新しいテストサンプルの入力された前記蛍光画像は、異なる発光フィルタを使用して得られた少なくとも１つの蛍光画像を使用して前記顕微鏡に最初に焦点を合わせることによって得られる、請求項４７～４９のいずれか１項に記載の方法。

【請求項56】

複数の条件付き行列が、前記訓練済みディープニューラルネットワークを条件付けるために適用される、請求項４７～４９のいずれか１項に記載の方法。

【請求項57】

前記複数の条件付き行列が、空間的に重なり合っていないサブ領域を表す異なる染色に対応する、請求項４７～４９のいずれか１項に記載の方法。

【請求項58】

前記複数の条件付き行列が、異なる染色に対応し、かつ、少なくとも一部の空間的な重なり合いを有する、請求項４７～４９のいずれか１項に記載の方法。

【請求項59】

前記１以上のクラス条件付き行列の空間的境界が手動で規定される、請求項４７～４９のいずれか１項に記載の方法。

【請求項60】

前記１以上のクラス条件付き行列の空間的境界が、画像処理ソフトウェア又は別の自動化アルゴリズムを用いて自動的に規定される、請求項４７～４９のいずれか１項に記載の方法。

【請求項61】

前記１以上のクラス条件付き行列が、前記顕微鏡によって取得された特定のサンプルの視野に適用される、請求項４７～４９のいずれか１項に記載の方法。

【請求項62】

前記複数の染色は、ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色、ヘマトキシリン、エオシン、ジョーンズ銀染色、マッソントリクローム染色、過ヨウ素酸シッフ（ＰＡＳ）染色、コンゴレッド染色、アルシアンブルー染色、ブルーアイアン、硝酸銀、トリクローム染色、チールニールセン、グロコットメセナミン銀（ＧＭＳ）染色、グラム染色、銀染色、酸性染色、塩基性染色、ニッスル、ワイガート染色、ゴルジ染色、ルクソールファストブルー染色、トルイジンブルー、ゲンタ、マロリートリクローム染色、ゴモリトリクローム、ヴァンギーソン、ギエムサ、スーダンブラック、パールズプルシアン、ベストカーマイン、アクリジンオレンジ、免疫蛍光染色、免疫組織化学的染色、キニヨン－コールド染色、アルバート染色、鞭毛染色、内生胞子染色、ニグロシン及びインディアインク染色のうちの少なくとも２つを含む、請求項４７～４９のいずれか１項に記載の方法。

【請求項63】

前記サンプルは、哺乳動物組織、植物組織、細胞、病原体、細菌、寄生虫、菌類、体液塗抹標本、リキッドバイオプシ又は対象の他の物体を含む、請求項４７～４９のいずれか１項に記載の方法。

【請求項64】

単一の訓練済みディープニューラルネットワークを使用して複数の異なる染色を用いてサンプルの仮想的に染色された顕微鏡画像を生成する方法であって、
コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供するステップであって、前記訓練済みディープニューラルネットワークは、複数の化学的染色を使用した複数の一致した化学的に染色された顕微鏡画像又は画像パッチと、化学的染色前に得られた同じ前記サンプルのそれらの対応の顕微鏡画像又は画像パッチと、を用いて訓練される、ステップと、
顕微鏡を使用して前記サンプルの入力画像を得るステップと、
前記訓練済みディープニューラルネットワークを条件付けするために１以上のクラス条件付き行列を適用するステップと、
前記１以上のクラス条件付き行列とともに前記訓練済みディープニューラルネットワークに前記サンプルの前記入力画像を入力するステップと、
前記訓練済み及び条件付けされたディープニューラルネットワークが、１以上の異なる染色を有する前記サンプルの前記仮想的に染色された顕微鏡画像を出力するステップであって、前記出力画像又はそのサブ領域は、対応の１以上の異なる染色を用いて組織化学的に染色される同じ前記サンプルの対応の顕微鏡画像又は画像サブ領域に実質的に同等である、ステップと、を含む方法。

【請求項65】

前記サンプルが非標識又は非染色である、請求項６４に記載の方法。

【請求項66】

前記サンプルは、１以上の外因性標識及び／又は染色を用いて最初に標識される、請求項６４に記載の方法。

【請求項67】

染色前に得られ、かつ、ディープニューラルネットワークの訓練のために使用される前記サンプルの前記画像又は画像パッチ、及び／又は、前記訓練済みニューラルネットワークへの入力として使用される、前記顕微鏡を使用して得られた前記サンプルの前記画像は、焦点が合っておらず、前記訓練済みディープニューラルネットワークは、オートフォーカス及び仮想的染色の両方を学習及び実行する、請求項６４～６６のいずれか１項に記載の方法。

【請求項68】

染色前に得られ、かつ、ディープニューラルネットワークの訓練のために使用される前記サンプルの前記画像又は画像パッチ、及び／又は、前記訓練済みニューラルネットワークへの入力として使用される、前記顕微鏡を使用して得られた前記サンプルの前記画像は、焦点が合っている、若しくは、計算的にオートフォーカスされる又は再び焦点を合わせられる、請求項６４～６６のいずれか１項に記載の方法。

【請求項69】

前記訓練済みディープニューラルネットワークを条件付けするために複数の条件付き行列が適用される、請求項６４～６６のいずれか１項に記載の方法。

【請求項70】

前記入力画像は、前記グラウンドトゥルース画像が有しているものと同じ又は実質的に同様の開口数及び解像度を有している、請求項６４～６６のいずれか１項に記載の方法。

【請求項71】

前記入力画像が、前記グラウンドトゥルース画像と比較してより低い開口数及びより低い解像度を有している、請求項６４～６６のいずれか１項に記載の方法。

【請求項72】

前記複数の条件付き行列が、空間的に重なり合っていないサブ領域を表す異なる染色に対応する、請求項６９に記載の方法。

【請求項73】

前記複数の条件付き行列が、異なる染色に対応し、かつ、少なくとも一部の空間的な重なり合いを有する、請求項６９に記載の方法。

【請求項74】

前記１以上のクラス条件付き行列の前記空間的境界が手動で規定される、請求項６４～６６のいずれか１項に記載の方法。

【請求項75】

前記１以上のクラス条件付き行列の前記空間的境界が、画像処理ソフトウェア又は別の自動化アルゴリズムを用いて自動的に規定される、請求項６４～６６のいずれか１項に記載の方法。

【請求項76】

前記１以上のクラス条件付き行列が、前記顕微鏡によってキャプチャされた特定のサンプルの視野に適用される、請求項６４～６６のいずれか１項に記載の方法。

【請求項77】

前記複数の染色は、ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色、ヘマトキシリン、エオシン、ジョーンズ銀染色、マッソントリクローム染色、過ヨウ素酸シッフ（ＰＡＳ）染色、コンゴレッド染色、アルシアンブルー染色、ブルーアイアン、硝酸銀、トリクローム染色、チールニールセン、グロコットメセナミン銀（ＧＭＳ）染色、グラム染色、酸性染色、塩基性染色、銀染色、ニッスル、ワイガート染色、ゴルジ染色、ルクソールファストブルー染色、トルイジンブルー、ゲンタ、マロリートリクローム染色、ゴモリトリクローム、ヴァンギーソン、ギエムサ、スーダンブラック、パールズプルシアン、ベストカーマイン、アクリジンオレンジ、免疫蛍光染色、免疫組織化学的染色、キニヨン－コールド染色、アルバート染色、鞭毛染色、内生胞子染色、ニグロシン及びインディアインク染色のうちの少なくとも２つを含む、請求項６４～６６のいずれか１項に記載の方法。

【請求項78】

前記サンプルは、哺乳動物組織、植物組織、細胞、病原体、細菌、寄生虫、菌類、体液塗抹標本、リキッドバイオプシ又は対象の他の物体を含む、請求項６４～６６のいずれか１項に記載の方法。

【請求項79】

前記訓練済みニューラルネットワークに入力される前記入力画像は、単一光子蛍光顕微鏡、多光子顕微鏡、第二次高調波発生顕微鏡、高次高調波発生顕微鏡、光コヒーレンストモグラフィ（ＯＣＴ）顕微鏡、共焦点反射顕微鏡、蛍光寿命顕微鏡、ラマン分光顕微鏡、明視野顕微鏡、暗視野顕微鏡、位相コントラスト顕微鏡、定量的位相顕微鏡、構造化照明顕微鏡、超解像度顕微鏡、ライトシート顕微鏡、計算顕微鏡、タイコグラフィック顕微鏡、合成開口ベース顕微鏡、及び全内部反射顕微鏡を含む郡から選択された顕微鏡を用いて得られる、請求項６４～６６のいずれか１項に記載の方法。

【請求項80】

前記入力画像は、染色された組織及び／又は細胞／細胞組織を含むサンプルの画像を含む、請求項６４に記載の方法。

【請求項81】

前記入力画像は、非染色の組織又は細胞／細胞組織を含むサンプルの画像を含む、請求項６４に記載の方法。

【請求項82】

サンプルの仮想的に脱染された顕微鏡画像を生成する方法であって、
コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済み第１ディープニューラルネットワークを提供するステップであって、前記訓練済み第１ディープニューラルネットワークは、前記ディープニューラルネットワークへの訓練入力として使用される、複数の一致した化学的に染色された顕微鏡画像又は画像パッチと、前記ディープニューラルネットワークの訓練中にグラウンドトゥルースを構成する、化学的染色前に得られた同じ前記サンプル又は複数のサンプルのそれらの対応の非染色の顕微鏡画像又は画像パッチと、を用いて訓練される、ステップと、
顕微鏡を使用して前記化学的に染色されたサンプルの顕微鏡画像を得るステップと、
前記訓練済み第１ディープニューラルネットワークに、前記化学的に染色されたサンプルの画像を入力するステップと、
前記訓練済み第１ディープニューラルネットワークが、化学的染色前に又は化学的染色なしで得られた同じ前記サンプルの対応の画像に実質的に同等である前記サンプルの前記仮想的に脱染された顕微鏡画像を出力するステップと、を含む方法。

【請求項83】

異なるタイプの化学的染色を用いて化学的に染色された後に必要とされる同じ前記サンプルの前記顕微鏡画像に実質的に一致する第２出力画像に前記仮想的に脱染された顕微鏡画像を変換するように訓練された訓練済み第２ディープニューラルネットワークに、前記訓練済み第１ディープニューラルネットワークから出力された前記仮想的に脱染された顕微鏡画像を入力するステップをさらに含む、請求項８２に記載の方法。

【請求項84】

異なる化学的染色を用いて化学的に染色された同じ前記サンプルの前記顕微鏡画像は、以下の組織学的染色：ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色、ヘマトキシリン、エオシン、ジョーンズ銀染色、マッソントリクローム染色、過ヨウ素酸シッフ（ＰＡＳ）染色、コンゴレッド染色、アルシアンブルー染色、ブルーアイアン、硝酸銀、トリクローム染色、チールニールセン、グロコットメセナミン銀（ＧＭＳ）染色、グラム染色、酸性染色、塩基性染色、銀染色、ニッスル、ワイガート染色、ゴルジ染色、ルクソールファストブルー染色、トルイジンブルー、ゲンタ、マロリートリクローム染色、ゴモリトリクローム、ヴァンギーソン、ギエムサ、スーダンブラック、パールズプルシアン、ベストカーマイン、アクリジンオレンジ、免疫蛍光染色、免疫組織化学的染色、キニヨン－コールド染色、アルバート染色、鞭毛染色、内生胞子染色、ニグロシン又はインディアインク染色のうちの１つを用いて化学的に染色される、請求項８３に記載の方法。

【請求項85】

仮想的脱染の前に得られ、かつ、前記第１ディープニューラルネットワーク訓練の訓練に使用された前記サンプルの前記画像又は画像パッチ、及び／又は、前記訓練済み第１ニューラルネットワークに入力される、前記顕微鏡を使用して得られた前記サンプルの前記入力画像は、焦点が合っておらず、前記訓練済み第１ディープニューラルネットワークは、オートフォーカス及び仮想的脱染の両方を学習及び実行する、請求項８２～８４のいずれか１項に記載の方法。

【請求項86】

仮想的脱染の前に得られ、かつ、前記第１ディープニューラルネットワークの訓練に使用された前記サンプルの前記画像又は画像パッチ、及び／又は、前記訓練済み第１ディープニューラルネットワークに入力される、前記顕微鏡を使用して得られた前記サンプルの前記入力画像は、焦点が合っている、又は、計算的にオートフォーカスされる、又は、再び焦点を合わせられる、請求項８２～８４のいずれか１項に記載の方法。

【請求項87】

前記訓練済み第１ディープニューラルネットワークは、改善された焦点及び拡張された被写界深度を有する前記サンプルの仮想的に脱染された顕微鏡画像を出力するようにさらに構成される、請求項８２～８４のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
[0001] 本願は、２０２０年７月２９日に出願された米国仮特許出願第６３／０５８，３２９号及び２０１９年１２月２３日に出願された米国仮特許出願第６２／９５２，９６４号に対して優先権を主張し、これらの出願は参照によってそれらの全体が本明細書に組み込まれる。優先権は、米国特許法第１１９条及び任意の他の該当する法令に従って主張される。

【0002】

[0002] 本技術分野は、概して、非染色（すなわち、非標識）の組織を画像化するために使用される方法及びシステムに関する。特に、本技術分野は、非染色又は非標識の組織の画像をデジタル的又は仮想的に染色するためにディープニューラルネットワーク学習を利用する顕微鏡方法及びシステムに関する。ニューラルネットワークでのディープラーニング、機械学習アルゴリズムのクラスは、非標識の組織切片の画像を、染色された又は標識付けされた同じサンプルの顕微鏡画像と同等の画像にデジタル的に染色するために使用される。

【背景技術】

【0003】

[0003] 組織サンプルの顕微鏡イメージングは、様々な疾患の診断に使用される基本的なツールであり、かつ、病理学及び生物科学の主力を形成する。組織切片の臨床的に確立されたゴールドスタンダード画像は骨の折れるプロセスの結果であり、骨の折れるプロセスには、組織標本が、ホルマリン固定パラフィン包埋（ＦＦＰＥ）され、薄いスライス（通常、～約２－１０μｍ）に切片化され、標識付けされ／染色されてスライドガラスに載せられ、その後、例えば明視野顕微鏡を使用したその顕微鏡イメージングが行われることが含まれる。これらのすべてのステップは、複数の試薬を使用し、かつ、組織に不可逆的な影響をもたらす。様々な画像診断法を使用してこのワークフローを変更する最近の取り組みがある。例えば、二光子蛍光、第二次高調波発生、第三次高調波発生及びラマン散乱に基づく非線形顕微鏡法を使用して、画像化された新鮮な非パラフィン包埋組織サンプルに対して試みがなされてきた。他の試みでは、制御可能なスーパーコンティニウムソースを使用して、新鮮な組織サンプルの化学分析用のマルチモーダル画像を取得した。これらの方法では、超高速レーザ又はスーパーコンティニウムソースを使用する必要があり、これは、ほとんどの設定ですぐに利用可能でない可能性があり、かつ、光信号が弱いことに起因して比較的長いスキャン時間を必要とする。これらに加えて、染色されたサンプルにＵＶ励起を使用することによって、又は、短波長での生体組織の蛍光発光を利用することによって、非切片組織サンプルを画像化するための他の顕微鏡法も出現した。

【0004】

[0004] 実際、蛍光シグナルは、内因性フロオロフォアから放出される蛍光を利用することによって、組織サンプルを画像化するためのいくつかの特有の機会を生み出す。このような内因性蛍光シグネチャは、生物学的標本の機能的及び構造的特性にマッピング可能な有用な情報を保持しており、及び従って、診断及び研究目的で広く使用されてきたことが実証されている。これらの取り組みの主な焦点領域の１つは、様々な生体分子と様々な条件下でのそれらの構造特性との関係の分光学的調査であった。これらのよく特徴付けられた生物学的成分の一部には、とりわけ、ビタミン（例えば、ビタミンＡ、リボフラビン、チアミン）、コラーゲン、補酵素、脂肪酸が含まれる。

【0005】

[0005] 上述した手法の一部は、様々なコントラストメカニズムを使用して組織サンプルの、例えば、細胞型及び細胞内成分を識別する特有の機能を有している一方で、病理医及び腫瘍分類ソフトウェアは、概して、診断決定を行うために「ゴールドスタンダード」の染色組織サンプルを検査するように訓練されている。これによって部分的に動機付けられて、上述した手法の一部は疑似ヘマトキシリン・エオシン（Ｈ＆Ｅ）画像を作成するように拡張され、Ｈ＆Ｅ画像は、組織に埋め込まれた様々な色素の平均スペクトル応答を表す、経験的に決定された定数を使用して、画像の蛍光強度を組織体積あたりの色素濃度に関連付ける線形近似に基づいている。これらの方法では、組織サンプルの仮想Ｈ＆Ｅ画像を作成するため、外因性染色を使用して蛍光シグナルのコントラストを強調した。

【発明の概要】

【0006】

[0006] 一実施形態では、サンプルの仮想的に染色された顕微鏡画像を生成する方法は、コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供することを含み、訓練済みディープニューラルネットワークは、複数の一致した（matched）免疫組織化学（ＩＨＣ）染色された顕微鏡画像又は画像パッチと、免疫組織化学（ＩＨＣ）染色前に得られた同じサンプルの対応のそれらの蛍光寿命（ＦＬＩＭ）顕微鏡画像又は画像パッチと、を用いて訓練される。サンプルの蛍光寿命（ＦＬＩＭ）画像は、蛍光顕微鏡及び少なくとも１つの励起光源を使用して得られ、かつ、サンプルの蛍光寿命（ＦＬＩＭ）画像は訓練済みディープニューラルネットワークに入力される。訓練済みディープニューラルネットワークは、免疫組織化学（ＩＨＣ）染色された同じサンプルの対応の画像と実質的に同等であるサンプルの仮想的に染色された顕微鏡画像を出力する。

【0007】

[0007] 別の実施形態では、インコヒーレント顕微鏡を用いて得られたサンプルの顕微鏡画像を仮想的にオートフォーカスする方法は、コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供することを含み、訓練済みディープニューラルネットワークは、ディープニューラルネットワークへの入力画像として使用される、焦点の合っていない及び／又は焦点の合っている顕微鏡画像又は画像パッチと、ディープニューラルネットワークの訓練用のグラウンドトゥルース画像として使用される、インコヒーレント顕微鏡を用いて得られる同じサンプルの対応する又は一致する焦点の合っている顕微鏡画像又は画像パッチと、の複数の対を用いて訓練される。インコヒーレント顕微鏡を使用して、サンプルの焦点の合っていない画像又は焦点の合っている画像が得られる。その後、インコヒーレント顕微鏡から得られたサンプルの焦点の合っていない画像又は焦点の合っている画像が訓練済みディープニューラルネットワークに入力される。訓練済みディープニューラルネットワークは、焦点が改善された出力画像を出力し、インコヒーレント顕微鏡によって取得された同じサンプルの焦点の合った画像（グラウンドトゥルース）に実質的に一致する。

【0008】

[0008] 別の実施形態では、インコヒーレント顕微鏡を用いてサンプルの仮想的に染色された顕微鏡画像を生成する方法は、コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供することを含み、訓練済みディープニューラルネットワークは、ディープニューラルネットワークへの入力画像として使用され、かつ、ディープニューラルネットワークの訓練用のグラウンドトゥルース画像を生成する、化学染色プロセス後にインコヒーレント顕微鏡を用いて得られた同じサンプルの対応の焦点の合った顕微鏡画像又は画像パッチにすべて一致する、焦点の合っていない及び／又は焦点の合っている顕微鏡画像又は画像パッチの複数の対を用いて訓練される。インコヒーレント顕微鏡を使用してサンプルの焦点の合っていない又は焦点の合っている画像が取得され、かつ、インコヒーレント顕微鏡から得られたサンプルの焦点の合っていない又は焦点の合っている画像は訓練済みディープニューラルネットワークに入力される。訓練済みディープニューラルネットワークは、焦点が改善され、かつ、化学染色プロセス後にインコヒーレント顕微鏡によって得られた同じサンプルの化学的に染色された焦点の合った画像に実質的に類似し、かつ、一致するように仮想的に染色されたサンプルの出力画像を出力する。

【0009】

[0009] 別の実施形態では、サンプルの仮想的に染色された顕微鏡画像を生成する方法は、コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供することを含み、訓練済みディープニューラルネットワークは、少なくとも１つのアルゴリズムによって仮想的に染色される又は第１染色タイプを有するように化学的に染色され、かつ、少なくとも１つのアルゴリズムによって仮想的に染色される又は別の異なる染色タイプを有するように化学的に染色される同じサンプルの対応の染色された顕微鏡画像又は画像パッチとすべて一致させられる、染色された顕微鏡画像又は画像パッチの複数の対を用いて訓練され、同じサンプルの対応の染色された顕微鏡画像又は画像パッチは、第１染色タイプを用いて組織化学的に又は仮想的に染色された入力画像を、第２染色タイプを用いて仮想的に染色される出力画像に変換するためのディープニューラルネットワークの訓練用のグラウンドトゥルース画像を構成する。第１染色タイプを用いて染色されたサンプルの組織化学的又は仮想的に染色された入力画像が得られる。サンプルの組織化学的又は仮想的に染色された入力画像は、第１染色タイプを用いて染色された入力画像を、第２染色タイプを用いて仮想的に染色された出力画像に変換する訓練済みディープニューラルネットワークに入力される。訓練済みディープニューラルネットワークは、化学的染色プロセス後にインコヒーレント顕微鏡によって得られた第２染色タイプを用いて染色された同じサンプルの化学的に染色された画像に実質的に似ていて一致するような仮想的な染色を有するサンプルの出力画像を出力する。

【0010】

[0010] 別の実施形態では、単一の訓練済みディープニューラルネットワークを使用して、複数の異なる染色を用いてサンプルの仮想的に染色された顕微鏡画像を生成する方法は、コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供することを含み、訓練済みディープニューラルネットワークは、ディープニューラルネットワークの訓練のためのグラウンドトゥルース画像として使用される複数の化学的染色を使用した、複数の一致した化学染色顕微鏡画像又は画像パッチと、ディープニューラルネットワークの訓練のための入力画像として使用される、化学的染色前に得られた同じサンプルのそれらの対応の一致した蛍光顕微鏡画像又は画像パッチと、を用いて訓練される。サンプルの蛍光画像は、蛍光顕微鏡及び少なくとも１つの励起光源を使用して得られる。訓練済みディープニューラルネットワークを条件付けるために１以上のクラス条件付き行列が適用される。サンプルの蛍光画像は、１以上のクラス条件付き行列とともに、訓練済みディープニューラルネットワークに入力される。訓練済み条件付きディープニューラルネットワークは、１以上の異なる染色を有するサンプルの仮想的に染色された顕微鏡画像を出力し、出力画像又はそのサブ領域は、対応の１以上の異なる染色を用いて組織化学的に染色される同じサンプルの対応の顕微鏡画像又は画像サブ領域と実質的に同等である。

【0011】

[0011] 別の実施形態では、単一の訓練済みディープニューラルネットワークを使用して複数の異なる染色を用いてサンプルの仮想的に染色された顕微鏡画像を生成する方法は、コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済みディープニューラルネットワークを提供することを含み、訓練済みディープニューラルネットワークが、複数の化学的染色を使用する複数の一致する化学的に染色された顕微鏡画像又は画像パッチと、化学的染色前に得られる同じサンプルのそれらの対応の顕微鏡画像又は画像パッチと、を用いて訓練される。サンプルの入力画像は顕微鏡を使用して得られる。１以上のクラス条件付き行列が、訓練済みディープニューラルネットワークを条件付けするために適用される。サンプルの入力画像は、１以上のクラス条件付き行列とともに訓練済みディープニューラルネットワークに入力される。訓練済み条件付きディープニューラルネットワークは、１以上の異なる染色を有するサンプルの仮想的に染色された顕微鏡画像を出力し、かつ、出力画像又はそのサブ領域は、対応の１以上の異なる染色を用いて組織化学的に染色される同じサンプルの対応の顕微鏡画像又は画像サブ領域と実質的に同等である。

【0012】

[0012] 別の実施形態では、サンプルの仮想的に脱染された顕微鏡画像を生成する方法は、コンピューティングデバイスの１以上のプロセッサを使用して、画像処理ソフトウェアによって実行される訓練済み第１ディープニューラルネットワークを提供することを含み、訓練済み第１ニューラルネットワークは、ディープニューラルネットワークへの訓練入力として使用される、複数の一致する化学的に染色された顕微鏡画像又は画像パッチと、ディープニューラルネットワークの訓練中のグラウンドトゥルースを構成する、化学染色前に得られた同じサンプル又は複数のサンプルのそれらの対応の非染色顕微鏡画像又は画像パッチと、を用いて訓練される。化学的に染色されたサンプルの顕微鏡画像は顕微鏡を使用して得られる。化学的に染色されたサンプルの画像は訓練済み第１ディープニューラルネットワークに入力される。訓練済み第１ディープニューラルネットワークは、化学的染色前又は化学的染色なしで得られる同じサンプルの対応の画像と実質的に同等である、サンプルの仮想的に脱染された顕微鏡画像を出力する。

【図面の簡単な説明】

【0013】

【図1】[0013] 一実施形態に係る、サンプルの非染色顕微鏡画像からサンプルのデジタル的／仮想的に染色された出力画像を生成するために使用されるシステムを概略的に示している。

【図2】[0014] 非染色組織の蛍光画像を使用した、ディープラーニングベースのデジタル的／仮想的組織学染色工程の概略図を示している。

【図3】[0015] 図３Ａ～図３Ｈは、化学的に染色されたＨ＆Ｅサンプルに一致するデジタル的／仮想的な染色の結果を示している。最初の２つの縦列（図３Ａ及び図３Ｅ）は、非染色の唾液腺組織切片（ディープニューラルネットワークへの入力として使用される）の自家蛍光画像を示し、３番目の縦列（図３Ｃ及び図３Ｇ）はデジタル的／仮想的染色の結果を示している。最後の縦列（図３Ｄ及び図３Ｈ）は、組織化学的染色プロセス後の同じ組織切片の明視野画像を示している。図３Ｃ及び図３Ｄ両方の評価は、皮下線維脂肪組織内の浸潤性腫瘍細胞の小島を示している。核小体（図３Ｃ及び図３Ｄの矢印）とクロマチンテクスチャとの区別を含む細胞核の詳細が両方のパネルで明確に認識されていることに留意されたい。同様に、図３Ｇ及び図３Ｈでは、Ｈ＆Ｅ染色が浸潤性扁平上皮癌を示している。隣接する間質における浮腫性粘液様変化（図３Ｇ及び図３Ｈのアスタリスク）を伴う間質線維化反応は両方の染色／パネルで明確に識別可能である。

【図4】[0016] 図４Ａ～図４Ｈは、化学的に染色されたジョーンズサンプルに一致するデジタル的／仮想的染色の結果を示している。最初の２つの縦列（図４Ａ、図４Ｅ）は、非染色の腎臓組織切片の自家蛍光画像（ディープニューラルネットワークへの入力として使用される）を示し、３番目の縦列（図４Ｃ及び図４Ｇ）はデジタル的／仮想的染色の結果を示している。最後の縦列（図４Ｄ、図４Ｈ）は、組織化学的染色プロセス後の同じ組織切片の明視野画像を示している。

【図5】[0017] 図５Ａ～図５Ｐは、肝臓及び肺組織切片のマッソントリクローム染色に一致するデジタル的／仮想的染色結果を示している。最初の２つの縦列は、ディープニューラルネットワークへの入力として使用される、非染色の肝臓組織切片（行１及び２－図５Ａ、図５Ｂ、図５Ｅ、図５Ｆ）及び非染色の肺組織切片（行３及び４－図５Ｉ、図５Ｊ、図５Ｍ、図５Ｎ）の自家蛍光画像を示している。３番目の縦列（図５Ｃ、図５Ｇ、図５Ｋ、図５Ｏ）は、これらの組織サンプルのデジタル的／仮想的染色の結果を示している。最後の縦列（図５Ｄ、図５Ｈ、図５Ｌ、図５Ｐ）は、組織化学的染色プロセス後の同じ組織切片の明視野画像を示している。

【図6】[0018] 図６Ａは、ランダム初期化及び転移学習初期化の損失関数対反復回数の組み合わせのグラフを示している。図６Ａは、転移学習を使用してどのように優れた収束が達成されるかを示している。新しいディープニューラルネットワークは、唾液腺組織切片から学習した重み付け及びバイアスを使用して初期化され、Ｈ＆Ｅを用いて甲状腺組織の仮想的染色を達成する。ランダム初期化と比較して、転移学習ははるかに高速な収束を可能にし、またより低い極小値を達成する。[0019] 図６Ｂは、ランダム初期化及び転移学習の両方の学習プロセスの様々な段階でのネットワーク出力画像を示し、提示されたアプローチを新しい組織／染色の組み合わせに変換する転移学習の影響をよりよく示している。[0020] 図６Ｃは、対応のＨ＆Ｅで化学的に染色された明視野画像を示している。

【図7】[0021] 図７Ａは、ＤＡＰＩチャネルのみを使用した皮膚組織の仮想的染色（Ｈ＆Ｅ染色）を示している。[0022] 図７Ｂは、ＤＡＰＩ及びＣｙ５チャネルを使用した皮膚組織の仮想的染色（Ｈ＆Ｅ染色）を示している。Ｃｙ５は、生体分子を標識するために使用される遠赤色蛍光標識シアニン色素を指している。[0023] 図７Ｃは、対応の組織学的に染色された（すなわち、Ｈ＆Ｅを用いて化学的に染色された）組織を示している。

【図8】[0024] 化学染色プロセス後の、同じサンプルの明視野画像に対する非染色組織サンプルの自家蛍光画像の視野マッチング及び位置合わせプロセスを示している。

【図9】[0025] ＧＡＮを使用した仮想的染色ネットワークの訓練プロセスを概略的に示している。

【図10】[0026] 一実施形態に係る、ジェネレータ及びディスクリミネータのための敵対的生成ネットワーク（ＧＡＮ）アーキテクチャを示している。

【図11A】[0027] 非染色組織の自家蛍光及び蛍光寿命画像を使用した機械学習ベースの仮想ＩＨＣ染色を示している。ディープニューラルネットワークモデルを使用した訓練に続いて、訓練済みディープニューラルネットワークは、組織学で使用される標準のＩＨＣ染色手順をバイパスして、非染色の組織切片の自家蛍光寿命画像に応答して、仮想的に染色された組織画像を迅速に出力する。

【図11B】[0028] 一実施形態に係る蛍光寿命イメージング（ＦＬＩＭ）で使用されるジェネレータ（Ｇ）及びディスクリミネータ（Ｄ）のための敵対的生成ネットワーク（ＧＡＮ）アーキテクチャを示している。

【図12】[0029] 図ＨＥＲ２染色に一致するデジタル的／仮想的染色の結果を示している。左端の２つの縦列は、２つの励起波長に対する非染色のヒト乳房組織切片（ディープニューラルネットワーク１０への入力として使用される）の自家蛍光強度（最初の縦列）及び寿命画像（２番目の縦列）を示し、中央の縦列は仮想的染色の結果（仮想的染色）を示している。最後の列は、ＩＨＣ染色プロセス（ＩＨＣ染色）後の同じ組織切片の明視野画像を示している。

【図13】[0030] 標準的な（従来技術の）オートフォーカシング方法と本明細書に開示される仮想フォーカシング方法との比較を示す。右上：標準的なオートフォーカシング方法は、事前定義された基準に従って、最も焦点の合った画像を選択するオートフォーカスアルゴリズムで複数の画像を取得する必要がある。対照的に、開示された方法は、訓練済みディープニューラルネットワークを使用して、それに仮想的に再度焦点を合わせるために単一の収差画像のみを必要とする。

【図14】[0031] サンプルの様々なイメージング平面に対するポストイメージング計算オートフォーカシング法の再焦点合わせ機能のデモンストレーションを示し、ｚの値は、（参照平面として）ｚ＝０に存在する集束平面からの焦点距離を意味する。）。ネットワークの再焦点合わせ機能は、すべてのパネルの左上隅に表示される構造的類似性指数を使用して、定性的及び定量的の両方で評価されることができ、かつ、その画像を参照焦点画像（ｚ＝０）と比較する。

【図15】[0032] クラス条件付けを使用して顕微鏡画像に複数の染色を適用し、仮想的に染色された画像を作成する機械学習ベースのアプローチの概略図を示している。

【図16】[0033] 一実施形態に係る、訓練済みディープニューラルネットワークからの出力画像を表示するために使用されるグラフィカルユーザインタフェース（ＧＵＩ）を示すディスプレイを示している。様々な染色で仮想的に染色されることができる画像の様々なエリア又はサブ領域が強調表示されている。これは、手動で、画像処理ソフトウェアを使用して自動的に、又は、その２つのある組み合わせ（例えば、ハイブリッドアプローチ）で行われ得る。

【図17】[0034] 染色マイクロストラクチャリングの一例を示している。診断医は、非染色組織の切片に手動で標識を付けることができる。これらの標識は、組織の様々なエリアを所望の染色を用いて染色するためにネットワークによって使用される。比較のため、組織化学的に染色されたＨ＆Ｅ組織の同時位置合わせ画像が示されている。

【図18】[0035] 図１８Ａ～図１８Ｇは染色混合の例を示している。図１８Ａは、機械学習アルゴリズムへの入力として使用される自家蛍光画像を示している。図１８Ｂは、比較のために組織化学的に染色されたＨ＆Ｅ組織の同時位置合わせ画像を示している。図１８Ｃは、Ｈ＆Ｅ（ジョーンズなし）で仮想的に染色された腎臓組織を示している。図１８Ｄは、ジョーンズ染色（Ｈ＆Ｅなし）で仮想的に染色された腎臓組織を示している。図１８Ｅは、Ｈ＆Ｅ：ジョーンズ染色の３：１の入力クラス条件付け比で仮想的に染色された腎臓組織を示している。図１８Ｆは、Ｈ＆Ｅ：ジョーンズ染色の１：１の入力クラス条件付け比で仮想的に染色された腎臓組織を示している。図１８Ｇは、Ｈ＆Ｅ：ジョーンズ染色の１：３の入力クラス条件付け比で仮想的に染色された腎臓組織を示している。

【図19】[0036] 図１９Ａ及び図１９Ｂは、顕微鏡から得られた画像を仮想的に脱染するための別の実施形態を示している（例えば、染色された画像から脱染された画像へ）。また、顕微鏡で得られたものとは異なる化学的染色を用いて画像を再染色するための任意選択的な機械学習ベースの工程も示されている。これは、仮想的な脱染及び再染色を示している。

【図20】[0037] 図２０Ａは、Ｈ＆Ｅ及び特殊染色画像の両方を生成することができる仮想的染色ネットワークを示している。[0038] 図２０Ｂは、仮想的及び／又は組織化学的に染色された画像にスタイルを転移するために使用されるスタイル転移ネットワーク（例えば、ＣｙｃｌｅＧａｎネットワーク）の一実施形態を示している。[0039] 図２０Ｃは、染色変換ネットワーク（１０_{ｓｔａｉｎＴＮ}）を訓練するために使用されるスキームを示している。染色変換は、仮想的に染色されたＨ＆Ｅ組織、又は、Ｋ＝８染色変換ネットワーク（１０_{ｓｔｙｌｅＴＮ}）の１つを通過した後の同じ視野の画像のいずれかをランダムに与えられる。このニューラルネットワークを訓練するためのグラウンドトゥルースとして、所望の特殊染色（この場合はＰＡＳ）を使用して完全に一致する仮想的に染色された組織が使用される。

【図21】[0040] スタイル変換（例えば、ＣｙｃｌｅＧＡＮ）の訓練段階中に様々なネットワークによって実行される変換を概略的に示している。

【図22】[0041] 図２２Ａは、スタイル変換に使用される第１ジェネレータネットワークＧ（ｘ）の構造を示している。[0042] 図２２Ｂは、スタイル変換に使用される第２ジェネレータネットワークＦ（ｙ）の構造を示している。

【発明を実施するための形態】

【0014】

[0043] 図１は、サンプル２２の入力顕微鏡画像２０からデジタル的に染色された画像４０を出力するためのシステム２の一実施形態を概略的に示している。本明細書で説明するように、入力画像２０は、蛍光染色又は標識を用いて染色又は標識されていないサンプル２２（一実施形態では組織など）の蛍光画像２０である。すなわち、入力画像２０は、サンプル２２の自家蛍光画像２０であり、サンプル２２によって放出される蛍光は、そこに含まれる１以上の内因性フロオロフォア又は周波数シフト光の他の内因性エミッタの結果である。周波数シフト光は、入射周波数（又は波長）とは異なる周波数（又は波長）で放出される光である。周波数シフト光の内因性フルオロフォア又は内因性エミッタには、分子、化合物、複合体、分子種、生体分子、色素、組織などが含まれ得る。ある実施形態では、入力画像２０（例えば、生の蛍光画像）は、コントラスト強調、コントラスト反転、画像フィルタリングから選択される１以上の線形又は非線形の前処理工程を受ける。システムは、その中に１以上のプロセッサ１０２と、訓練済みディープニューラルネットワーク１０（例えば、１以上の実施形態で本明細書において説明される畳み込みニューラルネットワーク）を組み込んだ画像処理ソフトウェア１０４と、を含むコンピューティングデバイス１００を含む。コンピューティングデバイス１００は、本明細書で説明するように、パーソナルコンピュータ、ラップトップ、モバイルコンピューティングデバイス、リモートサーバなどを含み得るが、他のコンピューティングデバイス（例えば、１以上のグラフィックプロセッシングユニット（ＧＰＵ）を組み込んだデバイス又は他の特定用途向け集積回路（ＡＳＩＣ））が使用され得る。ＧＰＵ又はＡＳＩＣが使用されて、訓練と最終的な画像出力とを高速化することができる。コンピューティングデバイス１００は、デジタル的に染色された画像４０を表示するために使用されるモニタ又はディスプレイ１０６に関連付けられ得る又は接続され得る。ディスプレイ１０６は、デジタル的に染色された画像４０を表示及び見るためにユーザによって使用されるグラフィカルユーザインタフェース（ＧＵＩ）を表示するために使用され得る。一実施形態では、ユーザは、例えば、ＧＵＩを使用して、特定のサンプル２２の複数の異なるデジタル的／仮想的染色を手動でトリガ又は切り替えることができ得る。代替として、異なる染色間のトリガ又は切り替えは、コンピューティングデバイス１００によって自動的に行われ得る。好ましい一実施形態では、訓練済みディープニューラルネットワーク１０は畳み込みニューラルネットワーク（ＣＮＮ）である。

【0015】

[0044] 例えば、本明細書で説明する好ましい一実施形態では、訓練済みディープニューラルネットワーク１０は、ＧＡＮモデルを使用して訓練される。ＧＡＮで訓練されたディープニューラルネットワーク１０では、２つのモデルが訓練に使用される。データ分布をキャプチャする生成モデルが使用される一方で、第２モデルは、サンプルが生成モデルからではなく訓練データから取得された確率を推定する。ＧＡＮに関する詳細は、Ｇｏｏｄｆｅｌｌｏｗらによる、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ．，Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，２７，ｐｐ．２６７２－２６８０（２０１４）に記載されており、参照により本明細書に組み込まれる。ディープニューラルネットワーク１０（例えば、ＧＡＮ）のネットワーク訓練は、同じ又は異なるコンピューティングデバイス１００で実行され得る。例えば、一実施形態では、パーソナルコンピュータが使用されてＧＡＮを訓練し得るが、そのような訓練にはかなりの時間がかかる場合がある。この訓練プロセスを早めるため、１以上の専用ＧＰＵが訓練に使用され得る。本明細書で説明するように、このような訓練及びテストは、市販のグラフィックカードから得られたＧＰＵで実行された。ディープニューラルネットワーク１０が訓練されると、ディープニューラルネットワーク１０は、訓練プロセスに使用される計算リソースが少ないものを含み得る異なるコンピューティングデバイス１１０上で使用又は実行され得る（ただし、ＧＰＵはまた、訓練済みディープニューラルネットワーク１０の実行に統合され得る）。

【0016】

[0045] 画像処理ソフトウェア１０４は、Ｐｙｔｈｏｎ及びＴｅｎｓｏｒＦｌｏｗを使用して実装可能であるが、他のソフトウェアパッケージ及びプラットフォームが使用され得る。訓練済みディープニューラルネットワーク１０は、特定のソフトウェアプラットフォーム又はプログラミング言語に限定されず、訓練済みディープニューラルネットワーク１０は、任意の数の市販のソフトウェア言語又はプラットフォームを使用して実行され得る。訓練済みディープニューラルネットワーク１０を組み込んだ又はそれと協調して実行される画像処理ソフトウェア１０４は、ローカル環境又は除去（remove）クラウドタイプの環境で実行され得る。ある実施形態では、画像処理ソフトウェア１０４のいくつかの機能が１つの特定の言語又はプラットフォーム（例えば、画像正規化）で実行され得る一方、訓練済みディープニューラルネットワーク１０は別の特定の言語又はプラットフォームで実行され得る。それにもかかわらず、両方の工程が画像処理ソフトウェア１０４によって実行される。

【0017】

[0046] 図１に見られるように、一実施形態では、訓練済みディープニューラルネットワーク１０は、非標識のサンプル２２の単一の蛍光画像２０を受信する。他の実施形態では、例えば、複数の励起チャネルが使用される場合（本明細書のメラニンの議論を参照）、訓練済みディープニューラルネットワーク１０に入力される非標識のサンプル２２の複数の蛍光画像２０（例えば、チャネルごとに１つの画像）があり得る。蛍光画像２０は、非標識の組織サンプル２２の広視野蛍光画像２０を含み得る。広視野とは、より小さなＦＯＶをスキャンすることによって広視野（ＦＯＶ）が得られることを示すことを意味し、広視野は１０～２０００ｍｍ^２のサイズ範囲にある。例えば、より小さなＦＯＶは、画像処理ソフトウェア１０４を使用してより小さなＦＯＶをともにデジタル的にスティッチングしてより広いＦＯＶを作成する走査型蛍光顕微鏡１１０によって得られ得る。例えば、広いＦＯＶが使用されて、サンプル２２のホールスライド画像（ＷＳＩ）を得ることができる。蛍光画像はイメージング装置１１０を使用して得られる。本明細書に記載の蛍光実施形態の場合、これは蛍光顕微鏡１１０を含み得る。蛍光顕微鏡１１０は、サンプル２２を照明する少なくとも１つの励起光源と、サンプル２２に含まれる周波数シフト光のフルオロフォア又は他の内因性エミッタによって放出される蛍光をキャプチャするための１以上の画像センサ（例えば、ＣＭＯＳ画像センサ）と、を含む。蛍光顕微鏡１１０は、ある実施形態では、複数の異なる波長又は波長範囲／帯域の励起光でサンプル２２を照明する能力を含み得る。これは、複数の異なる光源及び／又は異なるフィルタセット（例えば、標準のＵＶ又は近ＵＶ励起／発光フィルタセット）を使用して達成され得る。さらに、蛍光顕微鏡１１０は、ある実施形態では、異なる発光帯をフィルタリングすることができる複数のフィルタセットを含み得る。例えば、ある実施形態では、複数の蛍光画像２０がキャプチャされ得、各々が、異なるフィルタセットを使用して異なる発光帯でキャプチャされる。

【0018】

[0047] サンプル２２は、ある実施形態では、基板２３上又は基板２３内に配置される組織の一部を含み得る。基板２３は、ある実施形態では光学的に透明な基板（例えば、ガラス又はプラスチックスライドなど）を含み得る。サンプル２２は、ミクロトーム装置などを使用して薄い切片に切断される組織切片を含み得る。組織の薄い切片２２は、明視野照明下での振幅コントラスト変調が制限されている、弱散乱位相物体とみなされることができる。サンプル２２は、カバーガラス／カバースリップの有無にかかわらず画像化され得る。サンプルは、凍結切片又はパラフィン（ワックス）切片を含み得る。組織サンプル２２は、固定されていても（例えば、ホルマリンを使用して）、又は、固定されていなくてもよい。組織サンプル２２は、哺乳動物（例えば、ヒト又は動物）組織又は植物組織を含み得る。サンプル２２はまた、他の生物学的サンプル、環境サンプルなどを含み得る。例には、粒子、細胞、細胞小器官、病原体、寄生虫、真菌類又は他の対象となるマイクロスケールの物体（マイクロメートルサイズ以下の物体）が含まれる。サンプル２２は、体液又は組織の塗抹標本を含み得る。これらには、例えば、血液塗抹標本、パパニコロウ塗抹標本又はパップ塗抹標本が含まれる。本明細書で説明するように、蛍光ベースの実施形態の場合、サンプル２２は、蛍光を発し、かつ、蛍光顕微鏡装置１１０によってキャプチャされる１以上の自然発生の又は内因性の蛍光を含む。ほとんどの植物及び動物の組織は、紫外線又は近紫外線で励起されると、ある程度の自家蛍光を示す。内因性フルオロフォアは、例示として、コラーゲン、エラスチン、酪酸、ビタミン、フラビン、ポルフィリン、リポフシン、補酵素（例えば、ＮＡＤ（Ｐ）Ｈ）などのタンパク質を含み得る。ある任意選択的な実施形態では、外因的に添加された蛍光標識又は他の外因性の発光体が添加され得る（ディープニューラルネットワーク１０の訓練のため、又は、新しいサンプル１２の試験のため、若しくは、その両方のため）。本明細書で説明するように、サンプル２２はまた、周波数シフト光の他の内因性エミッタを含み得る。

【0019】

[0048] 入力画像２０に応答して、訓練済みディープニューラルネットワーク１０は、デジタル的に染色された又は標識付けされた出力画像４０を出力又は生成する。デジタル的に染色された出力画像４０は、訓練済みディープニューラルネットワーク１０を使用して染色された出力画像４０にデジタル的に統合された「染色」を有する。関与する組織切片などのある実施形態では、訓練済みディープニューラルネットワーク１０は、熟練した観察者（例えば、熟練の組織病理医）には、化学的に染色された同じ組織切片サンプル２２の対応の明視野画像と実質的に同等であるように見える。実際、本明細書で説明するように、訓練済みディープニューラルネットワーク１０を使用して得られた実験結果は、熟練した病理医が両方の染色技術（化学的染色、対、デジタル的／仮想的染色）を用いて、かつ、明確な好ましい染色技術なしで技術（仮想的、対、組織学的）間の高度な一致によって、病理組織学的特徴を認識することができたことを示している。組織切片サンプル２２のこのデジタル的又は仮想的染色は、そのような染色工程が実施されなかったとしても、組織切片サンプル２２が組織化学的染色を受けたのと同じように見える。

【0020】

[0049] 図２は、典型的な蛍光ベースの実施形態に含まれる工程を概略的に示している。図２に見られるように、非染色の組織切片などのサンプル２２が得られる。これは、例えば、生検Ｂなどを通じての生体組織から得られ得る。その後、非染色の組織切片サンプル２２は、蛍光顕微鏡１１０を使用する蛍光イメージングを受けて蛍光画像２０を生成する。その後、この蛍光画像２０は、その後に組織切片サンプル２２のデジタル的に染色された画像４０を即座に出力する訓練済みディープニューラルネットワーク１０に入力される。このデジタル的に染色された画像４０は、実際の組織切片サンプル２２が組織化学的染色を受けた同じ組織切片サンプル２２の明視野画像の外観に非常に似ている。図２は、組織切片サンプル２２が組織化学的又は免疫組織化学的（ＩＨＣ）染色４４を受け、続いて、従来の明視野顕微鏡イメージング４６を受けて、染色された組織切片サンプル２２の従来の明視野画像４８を生成する従来のプロセスを（破線の矢印を使用して）示している。図２に見られるように、デジタル的に染色された画像４０は、実際の化学的に染色された画像４８に非常に似ている。同様の解像度及びカラープロファイルは、本明細書で説明するデジタル染色プラットフォームを使用して得られる。このデジタル的に染色された画像４０は、図１に示すように、コンピュータモニタ１０６上に示され得る又は表示され得るが、デジタル的に染色された画像４０は、任意の適切なディスプレイ（例えば、コンピュータモニタ、タブレットコンピュータ、モバイルコンピューティングデバイス、携帯電話など）に表示され得ることが理解されるべきである。ＧＵＩは、ユーザがデジタル的に染色された画像４０を見て、任意選択的に相互作用（例えば、ズーム、カット、ハイライト、マーク、露出の調整など）し得るように、コンピュータモニタ１０６上に表示され得る。

【0021】

[0050] 一実施形態では、蛍光顕微鏡１１０は、非染色の組織サンプル２２の蛍光寿命画像を得て、かつ、ＩＨＣ染色後の同じ視野の明視野画像４８と十分に一致する画像４０を出力する。蛍光寿命イメージング（ＦＬＩＭ）は、蛍光サンプルからの励起状態の減衰率の相違に基づいて画像を生成する。したがって、ＦＬＩＭは、コントラストが個々のフルオロフォアの寿命又は減衰に基づく蛍光イメージング技術である。蛍光寿命は、分子又はフルオロフォアが、光子を放出することによって基底状態に戻る前の励起状態にとどまる平均時間として一般的に定義される。非標識の組織サンプルのすべての固有の特性のうち、内因性フルオロフォアの蛍光寿命は、フルオロフォアが基底状態に戻る前に励起状態にとどまる時間を測定する最も有益なチャネルの１つである。

【0022】

[0051] 例えばフラビンアデニンジヌクレオチド（ＦＡＤ）及びニコチンアミドアデニンジヌクレオチド（ＮＡＤ＋又はＮＡＤＨ）の内因性蛍光エミッタの寿命は、酸素の存在度などの浸漬化学環境に依存し、したがって、明視野又は蛍光顕微鏡では明らかではない組織の内部の生理生物学的変化を示すことがよく知られている。既存の文献は、良性組織と癌組織との間の寿命変化の密接な相関関係を確認してきたが、病理医又はコンピュータソフトウェアが、訓練を受けたカラーコントラストに基づいて非標識の組織に対する疾患診断を実行することができるクロス診断法画像変換方法がない。本発明のこの実施形態では、機械学習アルゴリズム（すなわち、訓練済みディープニューラルネットワーク１０）が、蛍光寿命イメージングに基づいて非染色の組織サンプル２２の仮想的なＩＨＣ染色を可能にする。この方法を使用すると、面倒で時間のかかるＩＨＣ染色手順が仮想的染色に置換可能であり、これにより、大幅に高速化され、さらなる分析のための組織保存を可能にする。

【0023】

[0052] 訓練済みニューラルネットワーク１０は、一実施形態では、非染色のサンプル２２の寿命（例えば、減衰時間）蛍光画像２０を使用して訓練され、対のグラウンドトゥルース画像４８は、ＩＨＣ染色後の同じ視野の明視野画像である。訓練済みニューラルネットワーク１０はまた、別の実施形態では、寿命蛍光画像２０及び蛍光強度画像２０の組み合わせを使用して訓練され得る。ニューラルネットワーク１０が収束すると（すなわち、訓練されると）、ニューラルネットワーク１０は、非染色の組織サンプル２２からの新しい寿命画像２０のブラインド推論に使用され、図１１Ａ及び図１１Ｂに示すように、パラメータ調整なしで染色後の明視野画像４０の等価物に新しい寿命画像２０を変換又は出力することができる。

【0024】

[0053] 人工ニューラルネットワーク１０を訓練するため、敵対的生成ネットワーク（ＧＡＮ）フレームワークが使用されて仮想的染色を実行した。訓練データセットは、単一又は複数の励起及び発光波長について、複数の組織切片２２の自家蛍光（内因性フルオロフォア）寿命画像２０から構成される。サンプル２２は、フォトンカウンティング機能を有する標準的な蛍光顕微鏡１１０によってスキャンされ、フォトンカウンティング機能は、各視野での蛍光強度画像２０Ｉ及び寿命画像２０Ｌを出力する。組織サンプル２２は、ＩＨＣ染色のために病理学研究室にも送られ、かつ、グラウンドトゥルース訓練画像４８を生成するために使用された明視野顕微鏡によってスキャンされた。同じ視野の蛍光寿命画像２０Ｌ及び明視野画像４８が対にされる。訓練データセットは、ネットワーク１０の訓練のための入力及び出力としてそれぞれ使用される数千のそのような対２０Ｌ、４８から構成される。通常、人工ニューラルネットワークモデル１０は、２つのＮｖｉｄｉａ １０８０Ｔｉ ＧＰＵで～３０時間後に収束する。ニューラルネットワーク１０が収束すると、この方法は、図１２に示すように、リアルタイムパフォーマンスで非標識の組織切片２２の仮想的ＩＨＣ染色を可能にする。ディープニューラルネットワーク１０は、蛍光寿命画像２０Ｌ及び蛍光強度画像２０Ｉを用いて訓練され得ることに留意されたい。これは図１１Ｂに示されている。

【0025】

[0054] 別の実施形態では、異常な及び／又は焦点の合っていない入力画像２０を取り込み、その後、同じ視野の焦点画像に実質的に一致する補正された画像２０ａを出力する、訓練済みディープニューラルネットワーク１０ａが提供される。例えば、組織サンプル２２の高品質で迅速な顕微鏡イメージングのための重要なステップはオートフォーカスである。従来、オートフォーカスは、光学的方法及びアルゴリズム的方法の組み合わせを使用して実行される。これらの方法は、複数の焦点深度で標本２２を画像化するので、時間がかかる。より高いスループットの顕微鏡検査に対する需要はますます高まっており、標本のプロファイルに対して行われるより多くの仮定が必要になる。言い換えれば、隣接する視野で標本のプロファイルが均一であるという仮定の下で、複数の焦点深度の取得によって通常得られる精度を犠牲にする。このタイプの仮定は、しばしば画像の焦点合わせエラーを引き起こす。これらのエラーは、標本の再イメージングを必要とする場合があるが、これは、例えば生命科学実験では常に可能であるとは限らない。例えば、デジタルパソロジーでは、このような焦点合わせエラーにより、患者の疾患の診断が長引く可能性がある。

【0026】

[0055] この特定の実施形態では、イメージング後の計算オートフォーカスが、インコヒーレント画像診断法のために訓練済みディープニューラルネットワーク１０ａを使用して実行される。したがって、イメージング後の計算オートフォーカスは、蛍光顕微鏡法（例えば、蛍光顕微鏡）によって得られた画像、並びに、他の画像診断法に関連して使用され得る。例としては、蛍光顕微鏡、広視野顕微鏡、超解像度顕微鏡、共焦点顕微鏡、単一光子又は多光子励起蛍光を有する共焦点顕微鏡、第二次高調波又は高次高調波発生蛍光顕微鏡、ライトシート顕微鏡、ＦＬＩＭ顕微鏡、明視野顕微鏡、暗視野顕微鏡、構造化照明顕微鏡、全内部反射顕微鏡、計算顕微鏡、タイコグラフィック顕微鏡、合成開口ベース顕微鏡、又は、位相コントラスト顕微鏡が含まれる。ある実施形態では、訓練済みディープニューラルネットワーク１０ａの出力は、焦点の合っている、又は、生の入力画像２０よりも焦点の合っている修正された入力画像２０ａを生成する。その後、焦点が改善されたこの修正された入力画像２０ａは、第１画像診断法から第２画像診断法（例えば、蛍光顕微鏡法から明視野顕微鏡法）に変換する、本明細書に記載の別個の訓練済みディープニューラルネットワーク１０に入力される。これに関して、訓練済みディープニューラルネットワーク１０ａ、１０は、「デイジーチェーン」構成で一緒に結合され、訓練済みオートフォーカスニューラルネットワーク１０ａの出力は、デジタル的／仮想的染色のための訓練済みディープニューラルネットワーク１０への入力である。別の実施形態では、訓練済みディープニューラルネットワーク１０に使用される機械学習アルゴリズムは、オートフォーカスの機能を、ある顕微鏡診断法から別の顕微鏡診断法に画像を変換する本明細書で説明される機能と組み合わせる。この後者の実施形態では、２つの別個の訓練済みディープニューラルネットワークを必要としない。代わりに、仮想オートフォーカスとデジタル的／仮想的染色とを実行する単一の訓練済みディープニューラルネットワーク１０ａが提供される。両方のネットワーク１０、１０ａの機能は単一のネットワーク１０ａに結合される。このディープニューラルネットワーク１０ａは、本明細書で説明されるようなアーキテクチャに従う。

【0027】

[0056] 本方法が、単一の訓練済みディープニューラルネットワーク１０ａで実装されるか、又は、複数の訓練済みディープニューラルネットワーク１０、１０ａで実装されるかに関わらず、焦点の合っていない入力画像２０でも仮想的に染色された画像４０を生成し、かつ、イメージングサンプル２２のスキャン速度を上げることができる。ディープニューラルネットワーク１０ａは、異なる焦点深度で得られた画像を使用して訓練される一方、出力（実装に応じて、入力画像２０又は仮想的に染色された画像４０である）は同じ視野の焦点画像である。訓練に使用される画像は、標準的な光学顕微鏡を用いて取得される。ディープニューラルネットワーク１０ａの訓練では、「ゴールドスタンダード」又は「グラウンドトゥルース」画像が様々な焦点の合っていない画像又は異常な画像と対にされる。訓練に使用されるゴールドスタンダード／グラウンドトゥルース画像は、例えば、任意の数のフォーカシング基準（例えば、鋭いエッジ又は他の特徴）によって識別され得る、サンプル２２の焦点画像を含み得る。「ゴールドスタンダード」画像には、拡張された被写界深度画像（ＥＤＯＦ）も含まれ得、拡張された被写界深度画像は、より広い被写界深度にわたって焦点の合ったビューを提供する複数の画像に基づく合成焦点画像である。ディープニューラルネットワーク１０ａの訓練の場合、訓練画像のいくつかは、それ自体が焦点の合った画像であり得る。焦点の合っていない画像と焦点の合っている画像の組み合わせが使用されてディープニューラルネットワーク１０ａを訓練し得る。

【0028】

[0057] 訓練段階の終結後、複数の深度平面を通じて複数の画像を取得する必要がある標準的なオートフォーカス技術とは対照的に、図１３に示すように、ディープニューラルネットワーク１０ａが使用されて、単一の焦点ぼけ画像から異常画像に再び焦点を合わせることができる。図１３に見られるように、顕微鏡１１０から得られた単一の焦点ぼけ画像２０ｄは、訓練済みディープニューラルネットワーク１０ａに入力され、焦点画像２０ｆが生成される。その後、この焦点画像２０ｆは、本明細書で説明される一実施形態では、訓練済みディープニューラルネットワーク１０に入力されることができる。代替的に、ディープニューラルネットワーク１０の機能（仮想的染色）がオートフォーカス機能とともに単一のディープニューラルネットワーク１０ａに組み合わされ得る。

【0029】

[0058] ディープニューラルネットワーク１０ａを訓練するため、敵対的生成ネットワーク（ＧＡＮ）が使用されて仮想フォーカシングを実行し得る。訓練データセットは、複数の励起及び発光波長のための、複数の組織切片の自家蛍光（内因性フルオロフォア）画像から構成される。別の実施形態では、訓練画像は、他の顕微鏡診断法（例えば、明視野顕微鏡、超解像度顕微鏡、共焦点顕微鏡、ライトシート顕微鏡、ＦＬＩＭ顕微鏡、広視野顕微鏡、暗視野顕微鏡、構造化照明顕微鏡、計算顕微鏡、タイコグラフィック顕微鏡、合成開口ベース顕微鏡又は全内部反射顕微鏡、及び、位相コントラスト顕微鏡）であり得る。

【0030】

[0059] サンプルはオリンパス顕微鏡によってスキャンされ、０．５μｍの軸方向間隔を有する２１層の画像スタックが各視野で取得される（他の実施形態では、異なる軸方向間隔で異なる数の画像が得られ得る）。同じ視野の焦点がぼけた異常な画像及び焦点画像が対にされる。訓練データセットは、ネットワーク訓練の入力及び出力としてそれぞれ使用される、何千ものそのような対から構成される。Ｎｖｉｄｉａ ２０８０Ｔｉ ＧＰＵでは、～３００００の画像対の訓練に約～３０時間かかる。ディープニューラルネットワーク１０ａの訓練に続いて、本方法は、図１４に示すように、焦点画像２０ｆへの複数の焦点ぼけ距離についての標本２２の画像２０ｄの再焦点合わせを可能にする。

【0031】

[0060] オートフォーカス方法は、厚い標本又はサンプル２２にも適用可能であり、ネットワーク１０ａが訓練されて、標本の特定の深度の特徴（例えば、厚い組織切片の表面）に再び焦点を合わせ、画質を大幅に劣化させる焦点外れ散乱を排除することができる。様々なユーザ定義の深度又は平面がユーザによって定義され得る。これは、サンプル２２の上面、サンプル２２の中間面、又はサンプル２２の底面を含み得る。その後、この訓練済みディープニューラルネットワーク１０ａの出力が、本明細書で説明されるように、第２の、かつ、独立して訓練済みの仮想的染色ニューラルネットワーク１０への入力として使用されて、標識フリー組織サンプル２２を仮想的に染色することができる。その後、訓練済み第１ディープニューラルネットワーク１０ａの出力画像２０ｆが、仮想的染色訓練済みニューラルネットワーク１０に入力される。代替の一実施形態では、上で概説したのと同様のプロセスを使用して、蛍光、明視野、暗視野又は位相顕微鏡などのインコヒーレント顕微鏡１１０の焦点の合っていない画像２０ｄを直接取ることができる単一のニューラルネットワーク１０を訓練して、標識フリーサンプル２２の仮想的に染色された画像４０を直接出力することができ、生の画像２０ｄは（同じニューラルネットワークの入力で）焦点が合っていなかった。仮想的に染色された画像４０は、焦点の合っていない画像２０ｄを得たインコヒーレント顕微鏡１１０の画像診断法とは別の画像診断法に類似している。例えば、焦点の合っていない画像２０ｄは、蛍光顕微鏡を用いて得られ得るが、焦点が合っており、かつ、デジタル的に染色される出力画像４０は明視野顕微鏡画像に実質的に似ている。

【0032】

[0061] 別の実施形態では、機械学習ベースのフレームワークが利用され、訓練済みディープニューラルネットワーク１０が、複数の染色によるサンプル２２のデジタル的／仮想的な染色を可能にする。単一の訓練済みディープニューラルネットワーク１０を使用して、複数の組織学的な仮想的染色が画像に適用されることができる。さらに、この方法により、ユーザ定義の対象の領域固有の仮想的染色を実行することを可能にするだけでなく、複数の仮想的染色を混合することを可能にする（例えば、他の特有の染色又は染色の組み合わせを生成するため）。例えば、グラフィカルユーザインタフェース（ＧＵＩ）が提供されて、ユーザが、１以上の仮想的染色を用いて非標識の組織学的組織の画像の特定の領域をペイント又はハイライトすることを可能にし得る。この方法は、クラス条件付き畳み込みニューラルネットワーク１０を使用して、特定の一実施形態では、非標識の組織サンプル２２の自家蛍光画像２０を含む１以上の入力画像２０から構成される入力画像を変換する。

【0033】

[0062] 一例として、その有用性を実証するため、単一の訓練済みディープニューラルネットワーク１０が使用されて、組織サンプル２２の非標識の切片の画像を、ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色、ヘマトキシリン、エオシン、ジョーンズ銀染色、マッソントリクローム染色、過ヨウ素酸シッフ（ＰＡＳ）染色、コンゴレッド染色、アルシアンブルー染色、ブルーアイアン、硝酸銀、トリクローム染色、チールニールセン、グロコットメセナミン銀（ＧＭＳ）染色、グラム染色、酸性染色、塩基性染色、銀染色、ニッスル、ワイガート染色、ゴルジ染色、ルクソールファストブルー染色、トルイジンブルー、ゲンタ、マロリートリクローム染色、ゴモリトリクローム、ヴァンギーソン、ギエムサ、スーダンブラック、パールズプルシアン、ベストカーマイン、アクリジンオレンジ、免疫蛍光染色、免疫組織化学的染色、キニヨン－コールド染色、アルバート染色、鞭毛染色、内生胞子染色、ニグロシン又はインディアインクを用いて仮想的に染色した。

【0034】

[0063] 本方法はまた、複数の仮想的染色の組成である新規染色、並びに、これらの訓練された染色による特定の組織微細構造の染色を生成するために使用され得る。さらに別の代替の実施形態では、画像処理ソフトウェアが使用されて、非標識の組織サンプル２２の画像内の対象の領域を自動的に識別又はセグメント化し得る。これらの識別された又はセグメント化された対象の領域は、仮想的染色のためにユーザに提示される、又は、画像処理ソフトウェアによってすでに染色され得る。一例として、核は、病理医又は他の人間のオペレータによって識別される必要なしに、自動的にセグメント化され、かつ、特定の仮想的染色を用いて「デジタル的に」染色され得る。

【0035】

[0064] この実施形態では、非標識の組織２２の１以上の自家蛍光画像２０が訓練済みディープニューラルネットワーク１０への入力として使用される。この入力は、クラス条件付き敵対的生成ネットワーク（ｃ－ＧＡＮ）を使用して、同じ視野の染色された組織切片の同等の画像４０に変換される（図１５参照）。ネットワーク訓練中、ディープニューラルネットワーク１０へのクラス入力は、その画像に対応のグラウンドトゥルース画像のクラスであると特定される。一実施形態では、クラス条件付けは、ネットワーク入力画像と同じ垂直及び水平寸法を有する「ワンホット」符号化行列（図１５）のセットとして実装されることができる。訓練中、クラスは任意の数に変更されることができる。代替的に、単純なワンホット符号化行列ではなく、複数のクラスの混合を使用するようにクラス符号化行列Ｍを修正することによって、複数の染色が混合されて、ディープニューラルネットワーク１０（図１８Ａ～図１８Ｇ）によって学習された様々な染色から発する特徴を有する特有の染色を有する出力画像４０を作成することができる。

【0036】

[0065] ディープニューラルネットワーク１０は、非標識の組織標本２２の自家蛍光画像２０から、染色された標本（すなわち、ゴールドスタンダード）の画像への変換を学習することを目的としているので、ＦＯＶを正確に整列させることが重要である。さらに、ネットワーク１０の入力として複数の自家蛍光チャネルが使用される場合、様々なフィルタチャネルが整列される必要がある。４つの異なる染色（Ｈ＆Ｅ、マッソントリクローム、ＰＡＳ及びジョーンズ）を使用するため、これら４つの異なる染色データセットからの各入力画像及び対象画像の対（訓練対）ごとに、画像の前処理及び整列が実装された。画像の前処理及び整列は、本明細書で説明され、かつ、図８に示すように、グローバル及びローカルの位置合わせプロセスに従う。しかしながら、大きな相違の１つは、ネットワーク入力として複数の自家蛍光チャネルを使用する場合（すなわち、本明細書に示すようなＤＡＰＩ及びＴｘＲｅｄ）、それらが整列される必要がある。２つのチャネルからの画像が同じ顕微鏡を使用してキャプチャされたとしても、２つのチャネルからの対応のＦＯＶは、特にＦＯＶのエッジに正確に整列されていないと決定された。したがって、本明細書に記載の弾性位置合わせアルゴリズムが使用されて、複数の自家蛍光チャネルを正確に整列させた。弾性位置合わせアルゴリズムは、対応のブロックを一致させながら画像を階層的にどんどん小さなブロックに分割することによって、画像の両方のチャネル（例えば、ＤＡＰＩ及びＴｘＲｅｄ）のローカル特徴を一致させる。その後、計算された変換マップがＴｘＲｅｄ画像に適用されて、ＤＡＰＩチャネルからの対応の画像に整列されていることを確認した。最後に、２つのチャネルからの整列された画像は、ＤＡＰＩチャネル及びＴｘＲｅｄチャネルの両方を含むホールスライド画像に整列される。

【0037】

[0066] 同時位置合わせプロセスの終わりに、非標識の組織切片の単一又は複数の自家蛍光チャネルからの画像２０が、組織学的に染色された組織切片２２の対応の明視野画像４８に十分に整列される。それらの整列された対を訓練のためにディープニューラルネットワーク１０に供給する前に、それぞれ、ＤＡＰＩ及びＴｘＲｅｄのホールスライド画像に正規化が実装される。このホールスライドの正規化は、組織サンプル全体の平均値を減算し、かつ、それをピクセル値間の標準偏差で割ることによって実行される。訓練手順に続いて、クラス条件付けを使用して、同じ入力画像２０上で単一のアルゴリズムを用いて、複数の仮想的染色が画像２０に適用されることができる。言い換えれば、追加のネットワークが個別の各染色には必要とされない。単一の訓練済みニューラルネットワークが使用されて、１以上のデジタル的／仮想的染色を入力画像２０に適用することができる。

【0038】

[0067] 図１６は、一実施形態に係る、訓練済みディープニューラルネットワーク１０からの出力画像４０を表示するために使用されるグラフィカルユーザインタフェース（ＧＵＩ）を示すディスプレイを示している。この実施形態では、ユーザは、仮想的染色のために出力画像４０の特定の領域を識別及び選択するために使用可能なツール（例えば、ポインタ、マーカ、消しゴム、ループ、蛍光ペンなど）のリストを提供される。例えば、ユーザは、ツールの１以上を使用して、仮想的染色のために出力画像４０内の組織の特定のエリア又は領域を選択し得る。この特定の例では、ユーザが手動で選択したハッシュ線（エリアＡ、Ｂ、Ｃ）によって３つのエリアが識別される。ユーザには、領域を染色するために選択する染色のパレットが提供され得る。例えば、組織を染色するための染色オプションがユーザに提供され得る（例えば、マッソントリクローム、ジョーンズ、Ｈ＆Ｅ）。その後、ユーザは、これらの染色の１以上で染色するために様々なエリアを選択することができる。これにより、図１７に示すような微細構造の出力が得られる。別個の実施形態では、画像処理ソフトウェア１０４が使用されて、出力画像４０の特定の領域を自動的に識別又はセグメント化し得る。例えば、画像セグメンテーション及びコンピュータ生成マッピングが使用されて、画像化されたサンプル２２内の特定の組織学的特徴を識別し得る。画像処理ソフトウェア１０４によって、例えば、細胞核、特定の細胞又は組織タイプが自動的に識別され得る。出力画像４０においてこれらの自動的に識別された対象の領域は、１以上の染色／染色の組み合わせを用いて手動で及び／又は自動的に染色され得る。

【0039】

[0068] さらに別の実施形態では、複数の染色の混合が出力画像４０で生成され得る。例えば、複数の染色が様々な比率又はパーセンテージで混合されて特有の染色又は染色の組み合わせを作成し得る。染色比の異なる入力クラス条件（例えば、図１８ＥのＨ＆Ｅ：ジョーンズ染色の仮想３：１）で染色混合を使用して、仮想的に染色されたネットワーク出力画像４０を生成する例が本明細書に開示される（図１８Ｅ～図１８Ｇ）。図１８Ｆは、１：１の比率で仮想的に混合されたＨ＆Ｅ：ジョーンズ染色を示している。図１８Ｆは、１：３の比率で仮想的に混合されたＨ＆Ｅ：ジョーンズ染色を示している。

【0040】

[0069] デジタル的／仮想的染色方法は、非標識のサンプル２２から得られた蛍光画像に使用され得るが、マルチ染色デジタル的／仮想的染色方法は、他の顕微鏡画像診断法にも使用され得ることを理解すべきである。これらには、例えば、染色された又は非染色のサンプル２２の明視野顕微鏡画像が含まれる。他の例では、顕微鏡には、単一光子蛍光顕微鏡、多光子顕微鏡、第二次高調波発生顕微鏡、高次高調波発生顕微鏡、光コヒーレンストモグラフィ（ＯＣＴ）顕微鏡、共焦点反射顕微鏡、蛍光寿命顕微鏡、ラマン分光顕微鏡、明視野顕微鏡、暗視野顕微鏡、位相コントラスト顕微鏡、定量的位相顕微鏡、構造化照明顕微鏡、超解像度顕微鏡、ライトシート顕微鏡、計算顕微鏡、タイコグラフィック顕微鏡、合成開口ベース顕微鏡、及び全内部反射顕微鏡が含まれ得る。

【0041】

[0070] デジタル的／仮想的染色方法は、例えば、ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色、ヘマトキシリン、エオシン、ジョーンズ銀染色、マッソントリクローム染色、過ヨウ素酸シッフ（ＰＡＳ）染色、コンゴレッド染色、アルシアンブルー染色、ブルーアイアン、硝酸銀、トリクローム染色、チールニールセン、グロコットメセナミン銀（ＧＭＳ）染色、グラム染色、酸性染色、塩基性染色、銀染色、ニッスル、ワイガート染色、ゴルジ染色、ルクソールファストブルー染色、トルイジンブルー、ゲンタ、マロリートリクローム染色、ゴモリトリクローム、ヴァンギーソン、ギエムサ、スーダンブラック、パールズプルシアン、ベストカーマイン、アクリジンオレンジ、免疫蛍光染色、免疫組織化学的染色、キニヨン－コールド染色、アルバート染色、鞭毛染色、内生胞子染色、ニグロシン、及びインディアインク染色を含む任意の数の染色で使用され得る。画像化されるサンプル２２は組織切片又は細胞／細胞構造を含み得る。

【0042】

[0071] 別の実施形態では、訓練済みディープニューラルネットワーク１０’、１０’’は、仮想的に脱染するように動作し得る（及び任意選択的に、異なる染色でサンプルを仮想的に再染色する）。この実施形態では、コンピューティングデバイス１００（図１を参照）の１以上のプロセッサ１０２を使用して画像処理ソフトウェア１０４によって実行される訓練済み第１ディープニューラルネットワーク１０’が提供され、訓練済み第１ディープニューラルネットワーク１０’は、複数の一致する化学的に染色された顕微鏡画像又は画像パッチ８０_{ｔｒａｉｎ}、及び、化学染色の前に得られた同じサンプルのそれらの対応の非染色グラウンドトゥルース顕微鏡画像又は画像パッチ８２_ＧＴで訓練される（図１９Ａ）。したがって、この実施形態では、ディープニューラルネットワーク１０’を訓練するために使用されるグラウンドトゥルース画像は非染色（又は非標識）画像である一方で、訓練画像は、化学的に染色された（例えば、ＩＨＣ染色された）画像である。この実施形態では、化学的に染色されたサンプル１２の顕微鏡画像８４_ｔｅｓｔ（すなわち、テスト又は画像化されるサンプル１２）は、本明細書に記載のタイプのいずれかの顕微鏡１１０を使用して得られる。その後、化学的に染色されたサンプルの画像８４_ｔｅｓｔが訓練済みディープニューラルネットワーク１０’に入力される。その後、訓練済みディープニューラルネットワーク１０’は、化学的染色なしで得られた同じ（すなわち、非染色又は非標識の）サンプルの対応の画像と実質的に同等である、サンプル１２の仮想的に脱染された顕微鏡画像８６を出力する。

【0043】

[0072] 任意選択的に、図１９Ｂに見られるように、コンピューティングデバイス１００の１以上のプロセッサ１０２を使用して画像処理ソフトウェア１０４によって実行される訓練済み第２ディープニューラルネットワーク１０’’が提供され（図１を参照）、訓練済み第２ディープニューラルネットワーク１０’’は、化学的染色の前に得られた同じサンプルの複数の一致した非染色又は非標識の顕微鏡画像又は画像パッチ８８_{ｔｒａｉｎ}、及び、それらの対応の染色されたグラウンドトゥルース顕微鏡画像又は画像パッチ９０_ＧＴ（図１９Ａ）で訓練される。この実施形態では、染色されたグラウンドトゥルースは、８０_{ｔｒａｉｎ}画像で使用されるものとは異なる染色に対応する。次に、サンプル１２（すなわち、テスト又は画像化されるサンプル１２）の仮想的に脱染された顕微鏡画像８６が、訓練済み第２ディープニューラルネットワーク１０’’に入力される。その後、訓練済み第２ディープニューラルネットワーク１０’’は、異なる化学的染色で得られた同じサンプル１２の対応の画像と実質的に同等であるサンプル１２の染色又は標識付けされた顕微鏡画像９２を出力する。

【0044】

[0073] 例えば、染色は以下のうちの１つから／に変換される：ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色、ヘマトキシリン、エオシン、ジョーンズ銀染色、マッソントリクローム染色、過ヨウ素酸シッフ（ＰＡＳ）染色、コンゴレッド染色、アルシアンブルー染色、ブルーアイアン、硝酸銀、トリクローム染色、チールニールセン、グロコットメセナミン銀（ＧＭＳ）染色、グラム染色、酸性染色、塩基性染色、銀染色、ニッスル、ワイガート染色、ゴルジ染色、ルクソールファストブルー染色、トルイジンブルー、ゲンタ、マロリートリクローム染色、ゴモリトリクローム、ヴァンギーソン、ギエムサ、スーダンブラック、パールズプルシアン、ベストカーマイン、アクリジンオレンジ、免疫蛍光染色、免疫組織化学的染色、キニヨンコールド染色、アルバート染色、鞭毛染色、内生胞子染色、ニグロシン、又は、インディアインク染色。

【0045】

[0074] この実施形態は、焦点の合っていない画像及び焦点の合っている画像の機械学習ベースの訓練と組み合わせられ得ることを理解されたい。したがって、ネットワーク（例えば、ディープニューラルネットワーク１０’）は、脱染色／再染色に加えて、光学収差を集束又は排除するように訓練され得る。さらに、本明細書に記載のすべての実施形態について、入力画像２０は、場合によっては、グラウンドトゥルース（ＧＴ）画像が有するのと同じ又は実質的に同様の開口数及び解像度を有し得る。代替的に、入力画像２０は、グラウンドトゥルース（ＧＴ）画像と比較して、より低い開口数及びより低い解像度を有し得る。

【0046】

[0075] 実験－自家蛍光を使用した非標識の組織のデジタル的染色
[0076] 組織サンプルの仮想的染色
[0077] 本明細書に記載のシステム２及び方法は、組織切片サンプル２２及び染色の様々な組み合わせを使用してテスト及び実証された。ＣＮＮベースのディープニューラルネットワーク１０の訓練に続いて、訓練又は検証セットで使用された画像に重複しない非標識の組織切片２２の自家蛍光画像２０をフィードすることによってその推論がブラインドでテストされた。図４Ａ～図４Ｈは、同じサンプル２２のＨ＆Ｅ染色された明視野画像４８（すなわち、グラウンドトゥルース画像）に一致するようにデジタル的／仮想的に染色された唾液腺組織切片の結果を示している。これらの結果は、非標識の組織切片２２の蛍光画像２０を明視野同等の画像４０に変換するシステム２の能力を実証しており、上皮様細胞、細胞核、核小体、間質及びコラーゲンなどの様々な成分を含むＨ＆Ｅ染色された組織から期待される正しいカラースキームを示している。図３Ｃ及び図３Ｄの両方の評価は、Ｈ＆Ｅ染色が、皮下線維脂肪組織内に浸潤する腫瘍細胞の小島を明示することを示している。核小体（矢印）とクロマチンテクスチャとの区別を含む核の詳細は、両方のパネルで明確に認識されることに留意されたい。同様に、図３Ｇ及び図３Ｈにおいて、Ｈ＆Ｅ染色は浸潤性扁平上皮癌を明示している。隣接する間質における浮腫性粘液様変化（アスタリスク）を伴う線維形成反応は両方の染色で明確に識別可能である。

【0047】

[0078] 次に、ディープネットワーク１０は、他の組織タイプを２つの異なる染色、すなわち、ジョーンズメセナミン銀染色（腎臓）及びマッソントリクローム染色（肝臓及び肺）でデジタル的／仮想的に染色するように訓練された。図４Ａ～図４Ｈ及び図５Ａ～図５Ｐは、これらの組織切片２２のディープラーニングベースのデジタル的／仮想的染色の結果を要約し、その結果は、組織化学的染色プロセス後にキャプチャされた同じサンプル２２の明視野画像４８と非常によく一致している。これらの結果は、訓練済みディープニューラルネットワーク１０が、非標識の標本の単一の蛍光画像２０から（すなわち、組織化学的染色なしで）、異なる組織タイプに使用される異なるタイプの組織学的染色の染色パターンを推論することができることを実証している。図３Ａ～図３Ｈと同じ全体的な結論により、図４Ｃ及び図５Ｇのニューラルネットワーク出力画像が、化学的染色後にキャプチャされた同じ組織サンプル２２の明視野画像４８（図５Ｄ及び図５Ｈ）に現れるものと一致する、肝細胞、正弦波空間、コラーゲン及び脂肪滴に対応する組織学的特徴を正しく明らかにすることが病理医によって確認された。同様に、図５Ｋ及び図５Ｏ（肺）で報告されたディープニューラルネットワーク出力画像４０が、化学的染色後に画像化された同じ組織サンプル２２の明視野画像４８（図６Ｌ及び図６Ｐ）に見えるので、血管、コラーゲン及び肺胞空間に対応する一致して染色された組織学的特徴を明らかにすることも同じ専門家によって確認された。

【0048】

[0079] 訓練済みディープニューラルネットワーク１０からのデジタル的／仮想的に染色された出力画像４０が、標準的な組織化学的に染色された画像４８と比較され、ホルマリン固定パラフィン包埋（ＦＦＰＥ）又は凍結切片法のいずれかであった複数のタイプの組織の複数のタイプの状態を診断した。結果は以下の表１に要約されている。（仮想的染色技術を知らなかった）４人のボード認定病理医による１５の組織切片の分析は、専門の観察者の間で診断に臨床的に有意な差がないと定義される１００％非大不一致を明示した。「診断までの時間」は、観察者２の画像あたり平均１０秒から、観察者３の画像あたり２７６秒まで、観察者間で大幅に異なった。しかしながら、観察者内の変動は、非常に小さく、かつ、観察者２を除くすべての観察者の仮想的に染色されたスライド画像４０で診断までの時間が短くなる傾向があり、すなわち、仮想スライド画像４０及び組織学的に染色されたスライド画像４８の両方ともで画像あたり～１０秒であった。これらは、２つの画像診断法間で非常に類似した診断ユーティリティを示している。

【0049】

[0080] ホールスライド画像（ＷＳＩ）のための染色有効性のブラインド評価
[0081] 組織切片と染色との相違を評価した後、仮想的染色システム２の能力が特殊な染色組織学ワークフローでテストされた。特に、肝臓組織切片の１５の非標識サンプル及び腎臓の１３の非標識組織切片の自家蛍光分布が２０×／０．７５ＮＡの対物レンズで画像化された。すべての肝臓及び腎臓組織切片が、様々な患者から得られ、かつ、小さな生検及びより大きな切除の両方を含んでいた。すべての組織切片がＦＦＰＥから得られたが、カバーガラスがされなかった。自家蛍光スキャン後、組織切片がマッソントリクローム（４μｍ肝臓組織切片）及びジョーンズ染色（２μｍ腎臓組織切片）で組織学的に染色された。その後、ＷＳＩが訓練セット及びテストセットに分割された。肝臓スライドコホートでは、仮想的染色アルゴリズムの訓練に７つのＷＳＩが使用され、ブラインドテストに８つのＷＳＩが使用された；腎臓スライドコホートでは、アルゴリズムの訓練に６つのＷＳＩが使用され、テストに７つのＷＳＩが使用された。研究病理医は、各ＷＳＩの染色技術を知らされておらず、かつ、様々な染色の品質に１～４の数値グレードを適用するように求められた：４＝完璧、３＝非常に良い、２＝許容できる、１＝許容できない。第２に、研究病理医は、特定の特徴に同じスコアスケール（１～４）を適用した：肝臓のみの場合、核の詳細（ＮＤ）、細胞質の詳細（ＣＤ）及び細胞外線維症（ＥＦ）。これらの結果は以下の表２（肝臓）及び表３（腎臓）に要約されている（勝者は太字で示されている）。データは、病理医が、明確な好ましい染色技術（仮想的、対、組織学的）なしで、染色技術と技術間の高度な一致との両方で組織病理学的特徴を認識することができたことを示している。

【0050】

[0082] ネットワーク出力画像品質の定量化
[0083] 次に、図３Ａ～図３Ｈ、図４Ａ～図４Ｈ、図５Ａ～図５Ｐで提供される視覚的比較を超えて、最初に、化学的に染色されたサンプル２２の明視野画像４８と、標識／染色を使用せずにディープニューラルネットワーク１０を使用して合成されたデジタル的／仮想的に染色された画像４０との間のピクセルレベルの差異を計算することによって、訓練済みディープニューラルネットワーク１０の結果が定量化された。以下の表４は、ＹＣｂＣｒ色空間を使用した、組織タイプ及び染色の様々な組み合わせに対するこの比較を要約したものであり、彩度成分Ｃｂ及びＣｒは全体的に色を規定し、かつ、Ｙは画像の輝度成分を規定する。この比較の結果は、これら２つの画像のセットの平均差が、彩度（Ｃｂ、Ｃｒ）チャネル及び輝度（Ｙ）チャネルでそれぞれ＜～５％及び＜～１６％であることを明らかにしている。次に、第２メトリックが使用されて、比較、すなわち、構造的類似性指数（ＳＳＩＭ）をさらに定量化し、構造的類似性指数は、基準画像と比較して、人間の観察者が画像に与えるスコアを予測するために一般的に使用される（本明細書中の数式８）。ＳＳＩＭの範囲は０～１で、１は同一画像のスコアを定義する。このＳＳＩＭ定量化の結果は、表４にも要約されており、ネットワーク出力画像４０と化学的に染色されたサンプルの明視野画像４８との間の強い構造的類似性を非常によく示している。

【0051】

[0084] 組織化学的染色プロセス中並びに関連の脱水及び清掃ステップ中に組織が受ける制御されていない変動及び構造変化があるので、化学的に染色された組織サンプル２２の明視野画像４８は、実際には、ネットワーク出力画像４０の特定のＳＳＩＭ及びＹＣｂＣｒ分析についての真のゴールドスタンダードを提供しない。画像の一部で分かった別の変形例は、自動顕微鏡スキャンソフトウェアが２つの画像診断法に対して異なるオートフォーカス面を選択したことであった。これらすべての変形例は、２セットの画像の絶対的な定量的比較にいくつかの課題を生み出す（すなわち、非標識の組織のネットワーク出力４０、対、組織学的染色プロセス後の同じ組織の明視野画像４８）。

【0052】

[0085] 染色標準化
[0086] デジタル的／仮想的染色システム２の興味深い副産物は染色の標準化であり得る。言い換えれば、訓練済みディープニューラルネットワーク１０は、「一般的な染色」着色スキームに収束し、それにより、組織学的に染色された組織画像４８の変動は、仮想的に染色された組織画像４０の変動よりも大きい。仮想的染色の着色は、その訓練の結果のみであり（すなわち、訓練段階で使用されるゴールドスタンダードの組織学的染色）、かつ、新しい染色着色でネットワークを再訓練することによって、病理医の嗜好に基づいてさらに調整されることができる。このような「改善された」訓練は、ゼロから作成されることも、又は、転移学習を通じて加速されることもできる。ディープラーニングを使用したこの潜在的な染色標準化は、サンプル準備の様々な段階での人から人への変動の悪影響を改善し、様々な臨床検査室間で共通の基盤を作り、臨床医の診断ワークフローを強化し、とりわけ、自動組織転移検出又は様々なタイプの癌の等級付けなどの新たなアルゴリズム開発を支援することができる。

【0053】

[0087] 他の組織－染色の組み合わせへの転移学習
[0088] 転移学習の概念を使用すると、新しい組織及び／又は染色タイプの訓練手順が、パフォーマンスの向上、すなわち、訓練コスト／損失関数におけるより良い極小値に到達しながら、はるかに速く収束することができる。これは、異なる組織－染色の組み合わせからの事前学習済みＣＮＮモデルのディープニューラルネットワーク１０が使用されて、ディープニューラルネットワーク１０を初期化して、新しい組み合わせの仮想的な染色を統計的に学習することができることを意味している。図６Ａ～図６Ｃは、そのようなアプローチの好ましい属性を示している：新しいディープニューラルネットワーク１０は、非染色の甲状腺組織切片の自家蛍光画像２０を仮想的に染色するように訓練され、かつ、唾液腺のＨ＆Ｅ仮想的染色用に以前に訓練済みの別のディープニューラルネットワーク１０の重み付け及びバイアスを使用して初期化された。訓練段階で使用された反復回数の関数としての損失メトリックの進化は、図６Ａに見られるように、ランダム初期化を使用して、ゼロから訓練された同じネットワークアーキテクチャと比較して、新しい甲状腺ディープネットワーク１０がより低い最小値に急速に収束することを明示している。図６Ｂは、その学習プロセスの異なる段階でのこの甲状腺ネットワーク１０の出力画像４０を比較し、これは、提示されたアプローチを新しい組織／染色の組み合わせに迅速に適応させるための転移学習の影響をさらに示している。ネットワーク出力画像４０は、例えば≧６，０００の反復を伴う訓練段階の後、細胞核が、甲状腺乳頭癌を示唆する不規則な輪郭、核溝及びクロマチン蒼白を示していることを示している；細胞はまた、軽度から中程度の好酸球性顆粒細胞質を示し、かつ、ネットワーク出力画像の線維血管コアは、リンパ球及び形質細胞を含む炎症細胞の増加を示している。図６Ｃは、対応のＨ＆Ｅで化学的に染色された明視野画像４８を示している。

【0054】

[0089] 様々な解像度での複数の蛍光チャネルの使用
[0090] 訓練済みディープニューラルネットワーク１０を使用する方法は、様々な組織成分に対するその推論性能を強化するため、他の励起波長及び／又は画像診断法と組み合わせられることができる。例えば、仮想的Ｈ＆Ｅ染色を使用した皮膚組織切片サンプルでのメラニン検出が試みられた。ただし、メラニンは、本明細書で説明する実験システムで測定されたＤＡＰＩ励起／発光波長で弱い自家蛍光信号を示すので、ネットワークの出力では明確に識別されなかった。メラニンの自家蛍光を増加させるための１つの潜在的な方法は、サンプルが酸化溶液中にある間にサンプルを画像化することである。ただし、メラニン信号が、強化され、かつ、訓練済みディープニューラルネットワーク１０で正確に推論されることができるように、例えばＣｙ５フィルタ（励起６２８ｎｍ／発光６９２ｎｍ）に由来する追加の自家蛍光チャネルが採用された場合、より実用的な代替手段が使用された。ＤＡＰＩ及びＣｙ５自家蛍光チャネルの両方を使用してネットワーク１０を訓練することによって、訓練済みディープニューラルネットワーク１０は、図７Ａ～図７Ｃに示すように、メラニンがサンプルのどこで発生するかを首尾よく判別することができた。対照的に、ＤＡＰＩチャネルのみが使用された場合（図７Ａ）、ネットワーク１０は、メラニンを含むエリア（エリアは白く見える）を判別することができなかった。別の言い方をすれば、Ｃｙ５チャネルからの追加の自家蛍光情報は、メラニンを背景組織から区別するためにネットワーク１０によって使用された。図７Ａ～図７Ｃに示される結果について、最も必要な情報は高解像度ＤＡＰＩスキャンで検出され、かつ、追加情報（例えば、メラニンの存在）は低解像度スキャンで符号化されることができると仮定されたので、画像２０は、高解像度ＤＡＰＩスキャン（２０×／０．７５ＮＡ）を補足するため、Ｃｙ５チャネル用の低解像度対物レンズ（１０×／０．４５ＮＡ）を使用して取得された。このようにして、２つの異なるチャネルが使用され、チャネルのうちの１つが、メラニンを識別するために低解像度で使用された。これは、蛍光顕微鏡１１０を用いたサンプル２２の複数のスキャンパスを必要とし得る。さらに別のマルチチャネルの実施形態では、複数の画像２０が訓練済みディープニューラルネットワーク１０に供給され得る。これには、例えば、コントラスト強調、コントラスト反転及び画像フィルタリングなどの線形又は非線形の画像前処理を受けた１以上の画像と組み合わせた生の蛍光画像が含まれ得る。

【0055】

[0091] 本明細書に記載のシステム２及び方法は、標準的な蛍光顕微鏡１１０及びフィルタセット（他の実施形態では、複数の蛍光チャネルが使用される場合に複数の蛍光画像２０が入力される）によってキャプチャされたサンプルの単一の蛍光画像２０を入力として使用する教師付きディープラーニング技術を使用して、非標識の組織切片２２をデジタル的／仮想的に染色する能力を示している。この統計的学習ベースの方法は、組織病理学の臨床ワークフローを再構築する可能性を有しており、かつ、組織サンプル２２の組織化学的染色の標準的な手法のデジタル的な代替法を潜在的に提供するため、とりわけ、蛍光顕微鏡、非線形顕微鏡、ホログラフィック顕微鏡、誘導ラマン散乱顕微鏡及び光コヒーレンストモグラフィなどの様々な画像診断法から恩恵を受けることができる。ここでは、本方法は、固定された非染色の組織サンプル２２を使用して、化学的に染色された組織サンプルとの有意義な比較を提供する方法を明示し、これは、ディープニューラルネットワーク１０を訓練し、臨床的に承認された方法に対するネットワーク出力のパフォーマンスをブラインドでテストするために不可欠である。ただし、提示されたディープラーニングベースのアプローチは、標識又は染色を使用せずに、切片化されていない新鮮な組織サンプル（例えば、生検手順に続いて）を含むサンプル２２の様々なタイプ及び状態に広く適用可能である。その訓練に続いて、ディープニューラルネットワーク１０が使用されて、例えば、ＵＶ又は深紫外線励起若しくは非線形顕微鏡診断法を使用して取得された、非標識の新鮮な組織サンプル２２の画像をデジタル的／仮想的に染色することができる。例えば、ラマン顕微鏡は、ニューラルネットワークが学習する仮想的染色の有効性をさらに高めることができる非常に豊富な非標識の生化学的シグネチャを提供することができる。

【0056】

[0092] 訓練プロセスの重要な部分は、非標識の組織サンプル２２の蛍光画像２０と、組織化学的染色プロセス後のそれらに対応する明視野画像４８（すなわち、化学的に染色された画像）と、を照合することである。染色プロセス及び関連のステップ中、訓練段階での損失／コスト関数を誤った方向に導くような方法で、一部の組織成分が失われる又は変形される可能性があることに留意する必要がある。ただし、これは、訓練及び検証に関連する課題にすぎず、かつ、非標識の組織サンプル２２の仮想的な染色のために十分に訓練されたディープニューラルネットワーク１０の実践に制限を課すものではない。訓練及び検証段階の品質を確保し、かつ、ネットワークのパフォーマンスに対するこの課題の影響を最小限に抑えるため、２セットの画像（すなわち、組織化学的染色プロセスの前後）間の許容可能な相関値の閾値を設定し、かつ、ディープニューラルネットワーク１０が、化学的染色プロセスによる組織形態への摂動ではなく、実際の信号を学習することを確実にするための訓練／検証セットからの一致しない画像の対が排除された。実際、訓練／検証画像データをクリーニングするこのプロセスは繰り返し実行可能である：明らかに変更されたサンプルを大まかに排除することから開始し、及びしたがって、訓練されるニューラルネットワーク１０に収束することができる。この初期の訓練段階の後、利用可能な画像セット内の各サンプルの出力画像４０は、それらの対応の明視野画像４８に対してスクリーニングされて、いくつかの追加の画像を拒否し、及びさらに、訓練／検証画像セットをさらにクリーニングするためのより微細な閾値を設定することができる。このプロセスを数回繰り返すことで、画像セットをさらに改善するだけでなく、最終的な訓練済みディープニューラルネットワーク１０のパフォーマンスを向上させることができる。

【0057】

[0093] 上述した方法論は、組織学的染色プロセス後にいくつかの組織の特徴がランダムに失われることに起因した訓練の課題のいくつかを軽減する。実際、時に顕微鏡で組織を観察する必要がある染色プロセスの繊細な手順の一部を専門家が処理する必要なしに、非標識の方法で局所組織の組織学を保存することが簡単であるので、これは、組織化学的染色に伴う面倒でコストのかかる手順をスキップする別の動機を浮き彫りにする。

【0058】

[0094] ＰＣデスクトップを使用すると、ディープニューラルネットワーク１０の訓練段階にはかなりの時間がかかる（例えば、唾液腺ネットワークの場合は～１３時間）。ただし、このプロセス全体は、ＧＰＵに基づく専用コンピュータハードウェアを使用することによって大幅に高速化可能である。さらに、図６Ａ～図６Ｃですでに強調されているように、転移学習が、新しい組織／染色の組み合わせの訓練段階への「ウォームスタート」を提供し、プロセス全体をかなり速くする。ディープニューラルネットワーク１０がひとたび訓練されると、サンプル画像４０のデジタル的／仮想的染色は、単一の非反復的な方法で実行され、最適な結果を達成するために試行錯誤のアプローチ又は任意のパラメータの調整を必要としない。そのフィードフォワード及び非反復アーキテクチャに基づいて、ディープニューラルネットワーク１０は、１秒未満（例えば、０．５９秒、～０．３３ｍｍ×０．３３ｍｍのサンプル視野に対応する）で仮想的に染色された画像を迅速に出力する。さらにＧＰＵベースのアクセラレーションにより、手術室又は生体内イメージング用途で特にあり得るデジタル的／仮想的に染色された画像４０を出力する際のリアルタイム又はほぼリアルタイムのパフォーマンスを達成することができる可能性を有する。この方法は、本明細書に記載されているような試験管内イメージング用途でも使用され得ることを理解されたい。

【0059】

[0095] 実装されるデジタル的／仮想的染色手順は、組織／染色の組み合わせごとに別個のＣＮＮディープニューラルネットワーク１０を訓練することに基づいている。異なる組織／染色の組み合わせを有する自家蛍光画像２０をＣＮＮベースのディープニューラルネットワーク１０に供給する場合、それは所望のように機能しないであろう。しかしながら、組織学的用途の場合、組織タイプ及び染色タイプが対象のサンプル２２ごとに事前に決定され、及びしたがって、非標識のサンプル２２の自家蛍光画像２０からデジタル的／仮想的に染色された画像４０を作成するための特定のＣＮＮ選択が追加の情報又はリソースを必要としないので、これは制限とはならない。もちろん、より一般的なＣＮＮモデルは、例えば、訓練及び推論の時間が長くなるという代償を払って、モデル内の訓練済みパラメータの数を増やすことによって、複数の組織／染色の組み合わせについて学習されることができる。別の方法は、同じ非標識の組織タイプで複数の仮想的染色を実行するシステム２及び方法の可能性である。

【0060】

[0096] システム２の重要な利点は非常に柔軟であることである。システム２は、診断の失敗が臨床比較によって検出された場合、それに応じてそのような失敗が検出されたときにペナルティを課すことによって、そのパフォーマンスを統計的に修復するためのフィードバックに対応することができる。ネットワーク出力のパフォーマンスの臨床評価に基づくこの反復訓練及び転移学習サイクルは、提示されたアプローチの堅牢性及び臨床的影響を最適化するのに役立つ。最後に、この方法及びシステム２は、仮想的染色に基づいて対象の領域を局所的に識別し、かつ、この情報を使用して、例えば、微小免疫組織化学又はシークエンシングのための組織のその後の分析を導くことによって、非染色の組織レベルでのマイクロガイド分子分析に使用され得る。非標識の組織サンプルへのこのタイプの仮想的マイクロガイダンスは、疾患のサブタイプのハイスループット識別を容易にし、患者向けにカスタマイズされた治療法の開発にも役立つ。

【0061】

[0097] サンプル準備
[0098] ホルマリン固定パラフィン包埋の厚さ２μｍの組織切片が、キシレンを使用して脱パラフィンされ、かつ、Ｃｙｔｏｓｅａｌ（商標）（Ｔｈｅｒｍｏ－Ｆｉｓｈｅｒ Ｓｃｉｅｎｔｉｆｉｃ、米国マサチューセッツ州ウォルサム）を使用して標準的なガラススライドに載せられ、その後、カバースリップ（Ｆｉｓｈｅｒｆｉｎｅｓｔ（商標）、２４×５０－１、Ｆｉｓｈｅｒ Ｓｃｉｅｎｔｉｆｉｃ、米国ペンシルベニア州ピッツバーグ）が配置された。非標識の組織サンプルの初期の自家蛍光イメージングプロセス（ＤＡＰＩ励起及び発光フィルタセットを使用する）に続いて、スライドが、約４８時間、又は、組織に損傷を与えることなくカバースリップが取り外し可能になるまでキシレンに入れられた。カバースリップが取り外されると、スライドは、無水アルコール、９５％アルコールに浸され（約３０回浸される）、及びその後、脱イオン水で～１分間洗浄された。このステップの後、Ｈ＆Ｅ、マッソントリクローム又はジョーンズ染色に使用される対応の染色手順が行われた。この組織処理パスは、そのアプローチの訓練及び検証にのみ使用され、かつ、ネットワークの訓練後には必要とされない。システム及び方法をテストするため、様々な組織及び染色の組み合わせが使用された：唾液腺及び甲状腺組織切片がＨ＆Ｅで染色され、腎臓組織切片がジョーンズ染色で染色された一方で、肝臓及び肺組織切片がマッソントリクロームで染色された。

【0062】

[0099] ＷＳＩの研究では、ＦＦＰＥの厚さ２～４μｍの組織切片は、自家蛍光イメージング段階中、カバーガラスで覆われなかった。自家蛍光イメージングに続いて、組織サンプルが上述したように組織学的に染色されたた（肝臓組織切片についてマッソントリクローム及び腎臓組織切片についてジョーンズ）。非染色の凍結サンプルが、組織切片をＯ．Ｃ．Ｔ．に埋め込むことによって準備された（Ｔｉｓｓｕｅ Ｔｅｋ、ＳＡＫＵＲＡ ＦＩＮＥＴＥＫ ＵＳＡ ＩＮＣ）及びドライアイスを伴う２－メチルブタンに浸された。その後、凍結切片は、４μｍ切片に切断され、かつ、画像化されるまで冷凍庫に入れられた。イメージングプロセスに続いて、組織切片は、７０％アルコールで洗浄され、Ｈ＆Ｅ染色され、かつ、カバーガラスで覆われた。サンプルは、Ｔｒａｎｓｌａｔｉｏｎａｌ Ｐａｔｈｏｌｏｇｙ Ｃｏｒｅ Ｌａｂｏｒａｔｏｒｙ（ＴＰＣＬ）から入手され、かつ、ＵＣＬＡの組織学研究室によって準備された。糖尿病患者及び非糖尿病患者の腎臓組織切片がＩＲＢ１８－００１０２９（ＵＣＬＡ）の下で入手された。すべてのサンプルは、患者関連情報の識別を解除した後に取得され、かつ、既存の標本から準備された。したがって、この作業は、ケアの標準的な慣行又はサンプル収集手順に干渉しなかった。

【0063】

[00100] データ取得
[00101] 非標識組織の自家蛍光画像２０は、画像取得プロセスがＭｅｔａＭｏｒｐｈ（登録商標）顕微鏡自動化ソフトウェア（Ｍｏｌｅｃｕｌａｒ Ｄｅｖｉｃｅｓ，ＬＬＣ）によって制御された電動ステージを備えた従来の蛍光顕微鏡１１０（ＩＸ８３、オリンパス株式会社、東京、日本）を使用してキャプチャされた。非染色の組織サンプルが、近ＵＶ光で励起され、かつ、４０×／０．９５ＮＡ対物レンズ（オリンパスＵＰＬＳＡＰＯ ４０Ｘ２／０．９５ＮＡ、ＷＤ０．１８）又は２０×／０．７５ＮＡ対物レンズ（オリンパスＵＰＬＳＡＰＯ ２０Ｘ／０．７５ＮＡ、ＷＤ０．６５）を有するＤＡＰＩフィルタキューブ（ＯＳＦＩ３－ＤＡＰＩ－５０６０Ｃ、励起波長３７７ｎｍ／５０ｎｍ帯域幅、発光波長４４７ｎｍ／６０ｎｍ帯域幅）を使用して画像化された。メラニン推論のため、サンプルの自家蛍光画像は、１０×／０．４ＮＡ対物レンズ（オリンパスＵＰＬＳＡＰＯ１０Ｘ２）を有するＣｙ５フィルタキューブ（ＣＹ５－４０４０Ｃ－ＯＦＸ、励起波長６２８ｎｍ／４０ｎｍ帯域幅、発光波長６９２ｎｍ／４０ｎｍ帯域幅）を使用して追加で取得された。各自家蛍光画像は、サイエンティフィックＣＭＯＳセンサ（ＯＲＣＡ－ｆｌａｓｈ４．０ ｖ２、浜松ホトニクス株式会社、静岡県、日本）を用いて、露光時間～５００ｍｓでキャプチャされた。明視野画像４８（訓練及び検証に使用された）は、２×倍率アダプタを備えた２０×／０．７５ＮＡ対物レンズ（Ｐｌａｎ Ａｐｏ）を使用したスライドスキャナ顕微鏡（Ａｐｅｒｉｏ ＡＴ、Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ）を使用して取得された。

【0064】

[00102] 画像の前処理及び整列
[00103] ディープニューラルネットワーク１０は、化学的に非染色の組織サンプル２２の自家蛍光画像２０と組織化学的染色後の同じ組織サンプル２２の明視野画像４８との間の統計的変換を学習することを目的とするので、入力画像及びターゲット画像（すなわち、非染色の自動蛍光画像２０及び染色された明視野画像４８）のＦＯＶを正確に一致させることが重要である。ＭＡＴＬＡＢ（Ｔｈｅ ＭａｔｈＷｏｒｋｓ Ｉｎｃ．、米国マサチューセッツ州ネイティック）に実装されたグローバル及びローカル画像位置合わせプロセスを説明する全体的なスキームが図８に記載されている。このプロセスの最初のステップは、非染色の自家蛍光画像と化学的に染色された明視野画像とを一致させるための候補となる特徴を見つけることである。このため、各自家蛍光画像２０（２０４８×２０４８ピクセル）は、明視野顕微鏡画像の有効ピクセルサイズに一致するようにダウンサンプリングされる。これにより、１３５１×１３５１ピクセルの非染色の自動蛍光組織画像が生成され、この画像は、すべてのピクセル値の下部１％と上部１％とを飽和させることによってコントラストが向上され、かつ、グレースケール変換されたホールスライド画像のカラーマップをより良好に表すためにコントラストが反転される（図８の画像２０ａ）。その後、相関パッチプロセス６０が実行され、１３５１×１３５１ピクセルパッチの各々１つを、ホールスライドグレースケール画像４８ａから抽出された同じサイズの対応のパッチと相関させることによって、正規化相関スコア行列が計算される。スコアが最も高いこの行列のエントリは、２つの画像診断法間で最も一致する可能性が高いＦＯＶを表す。この情報（座標の対を定義する）を使用すると、元のホールスライド明視野画像４８の一致したＦＯＶがクロッピング４８ｃされてターゲット画像４８ｄを作成する。このＦＯＶマッチング手順６０に続いて、自家蛍光画像２０及び明視野顕微鏡画像４８は粗く一致させられる。ただし、それらは、２つの異なる顕微鏡イメージング実験（自家蛍光、続いて明視野）でのサンプル配置のわずかな不一致により、個々のピクセルレベルで正確に位置合わせされず、これにより、同じサンプルの入力画像とターゲット画像との間にわずかな回転角（例えば、～１－２度）がランダムに発生する。

【0065】

[00104] 入力ターゲットマッチングプロセスの第２の部分は、グローバル位置合わせステップ６４を伴い、これは、自家蛍光画像と明視野画像との間のこのわずかな回転角を補正する。これは、画像対から特徴ベクトル（記述子）とそれらの対応の位置とを抽出し、かつ、抽出された記述子を使用して特徴を一致させることによって行われる。その後、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムの変形であるＭ推定サンプルコンセンサス（ＭＳＡＣ）アルゴリズムを使用して、一致した対に対応する変換行列が見出される。最後に、元の明視野顕微鏡画像パッチ４８ｄにこの変換行列を適用することによって、角度補正された画像４８ｅが得られる。この回転の適用に続いて、画像２０ｂ、４８ｅは、回転角補正に起因して、画像境界での未定義のピクセル値に対応するため、さらに１００ピクセル（各側に５０ピクセル）だけクロッピングされる。

【0066】

[00105] 最後に、局所特徴位置合わせ工程６８のため、弾性画像位置合わせは、対応のブロックを大きいものから小さいものに階層的に一致させることによって、両方の画像セット（自家蛍光２０ｂ、対、明視野４８ｅ）の局所特徴を一致させる。ニューラルネットワーク７１は、大まかに一致した画像間の変換を学習するために使用される。このネットワーク７１は、図１０のネットワーク１０と同じ構造を使用する。ネットワーク７１が、正確なカラーマッピングのみを学習し、かつ、入力画像と標識画像との間の空間変換を学習しないように、少ない反復回数が使用される。このステップから計算された変換マップは、最終的に各明視野画像パッチ４８ｅに適用される。これらの位置合わせステップ６０、６４、６８の終わりに、自家蛍光画像パッチ２０ｂ及びそれらの対応の明視野組織画像パッチ４８ｆは、互いに正確に一致させられ、ディープニューラルネットワーク１０の訓練のための入力及び標識の対として使用されることができ、ネットワークが仮想的な組織学的染色の課題にのみ焦点を合わせて学習することを可能にする。

【0067】

[00106] （表２及び表３のデータを生成するために使用された）２０倍の対物レンズ画像についても、同様のプロセスが使用された。自家蛍光画像２０をダウンサンプリングする代わりに、明視野顕微鏡画像４８は、それらがより低い倍率の画像と一致するように、それらの元のサイズの７５．８５％にダウンサンプリングされた。さらに、これらの２０倍の画像を使用してホールスライド画像を作成するため、追加のシェーディング補正及び正規化の手法が適用された。ネットワーク７１に供給される前に、各視野は、スライド全体の平均値を差し引き、かつ、それをピクセル値間の標準偏差で割ることによって正規化された。これにより、各スライド内とスライド間との両方でネットワーク入力が正規化される。最後に、各視野のエッジで測定された低い相対強度を考慮して、各画像にシェーディング補正が適用された。

【0068】

[00107] ディープニューラルネットワークアーキテクチャ及び訓練
[00108] ここで、ＧＡＮアーキテクチャが使用されて、非標識の非染色の自家蛍光入力画像２０から、化学的に染色されたサンプルの対応の明視野画像４８への変換を学習した。標準的な畳み込みニューラルネットワークベースの訓練は、ネットワークの出力とターゲット標識との間の損失／コスト関数を最小化することを学習する。したがって、この損失関数６９（図９及び図１０）の選択は、ディープネットワーク設計の重要なコンポーネントである。例えば、ネットワークがすべてのもっともらしい結果の加重確率を平均化するので、コスト関数としてｌ_２－ノルムのペナルティを選択するだけでは、ぼやけた結果が生成される傾向がある；したがって、ネットワークの出力で所望のシャープなサンプル特徴を維持するようにネットワークをガイドするには、通常、追加の正則化項が必要である。ＧＡＮは、ディープネットワークの出力画像が本物か偽物か（すなわち、仮想的に染色が正しいか間違っているか）を正確に分類することを目的とした基準を学習することによってこの課題を回避する。これにより、所望の標識と矛盾する出力画像が許容されなくなり、損失関数がデータと手元の所望のタスクとに適応させる。この目標を達成するため、ＧＡＮ訓練手順は、図９及び図１０に示すように、２つの異なるネットワークの訓練を伴う：（ｉ）この場合、非染色の自家蛍光入力画像２０及び組織学的染色プロセス後の同じサンプル１２の対応の明視野画像４８の間の統計的変換を学習することを目的とするジェネレータネットワーク７０；（ｉｉ）染色された組織切片の真の明視野画像とジェネレータネットワークの出力画像とを区別する方法を学習するディスクリミネータネットワーク７４。最終的に、この訓練プロセスの所望の結果は、非染色の自家蛍光入力画像２０を、同じサンプル２２の染色された明視野画像４８と区別不可能なデジタル的染色画像４０に変換する訓練済みディープニューラルネットワーク１０である。このタスクでは、ジェネレータ７０及びディスクリミネータ７４の損失関数６９が以下のように定義された：
[00109]

[00110] ここで、Ｄはディスクリミネータネットワーク出力を示し、ｚ_{ｌａｂｅｌ}は、化学的に染色された組織の明視野画像を示し、ｚ_{ｏｕｔｐｕｔ}はジェネレータネットワークを示す。ジェネレータ損失関数は、ピクセル単位の平均二乗誤差（ＭＳＥ）損失と結合されたジェネレータ損失（ｌ_{ｇｅｎｅｒａｔｏｒ}）のそれぞれ～２％と～２０％に対応する経験的に異なる値に設定される正規化パラメータ（λ、α）を使用して、その標識、出力画像の全変動（ＴＶ）演算子、及び、出力画像のディスクリミネータネットワーク予測に関して、ジェネレータネットワーク出力画像のピクセル単位のＭＳＥのバランスを取る。画像ｚのＴＶ演算子は以下のように定義される：
[00111]

[00112] ここで、ｐ、ｑはピクセル指数である。数式（１）に基づいて、ディスクリミネータは、実際の標識（すなわち、化学的に染色された組織の明視野画像）を正しく分類する確率を最大化しながら、出力損失を最小化しようとする。理想的には、ディスクリミネータネットワークは、Ｄ（ｚ_{ｌａｂｅｌ}）＝１及びＤ（ｚ_{ｏｕｔｐｕｔ}）＝０を達成することを目指すが、ジェネレータが、ＧＡＮによって正常に訓練されると、Ｄ（ｚ_{ｏｕｔｐｕｔ}）は理想的には０．５に収束する。

【0069】

[00113] ジェネレータディープニューラルネットワークアーキテクチャ７０が図１０に詳述される。入力画像２０は、ダウンサンプリングパス及びアップサンプリングパスを使用して、マルチスケール方式でネットワーク７０によって処理され、ネットワークが様々に異なるスケールで仮想的染色タスクを学習することを助ける。ダウンサンプリングパスは、４つの個別のステップ（４つのブロック＃１、＃２、＃３、＃４）から構成され、各ステップに１つの残差ブロックが含まれ、ステップの各々は特徴マップｘ_ｋ＋１に特徴マップｘ_ｋをマッピングする：
[00114]

[00115] ここで、ＣＯＮＶ｛．｝は畳み込み演算子（バイアス項を含む）であり、ｋ１、ｋ２及びｋ３は畳み込み層のシリアル番号を示し、かつ、ＬＲｅＬＵ［．］は、ネットワーク全体で使用された非線形活性化関数（すなわち、リーキー正規化線形ユニット）であり、以下のように定義される：
[00116]

【0070】

[00117] ダウンサンプリングパスの各レベルの入力チャネル数は：１、６４、１２８、２５６に設定された一方で、ダウンサンプリングパスの出力チャネル数は：６４、１２８、２５６、５１２に設定された。各ブロックの次元の不一致を回避するため、特徴マップｘ_ｋは、チャネルの数をｘ_ｋ＋１に一致させるようにゼロパディングされた。各ダウンサンプリングレベル間の接続は、２ピクセルのストライドを有する２×２の平均プーリング層であり、特徴マップを４倍にダウンサンプリングする（各方向に２倍）。４番目のダウンサンプリングブロックの出力に続いて、別の畳み込み層（ＣＬ）が、アップサンプリングパスにそれを接続する前に、特徴マップの数を５１２として維持する。アップサンプリングパスは、４つの対称的なアップサンプリングステップ（＃１、＃２、＃３、＃４）から構成され、各ステップには１つの畳み込みブロックが含まれる。特徴マップｙ_ｋを特徴マップｙ_ｋ＋１にマッピングする畳み込みブロック演算は以下の式によって付与される：

[00118] ここで、ＣＯＮＣＡＴ（．）は、チャネル数をマージする２つの特徴マップ間の連結であり、ＵＳ｛．｝はアップサンプリング演算子であり、並びに、ｋ４、ｋ５及びｋ６は、畳み込み層のシリアル番号を示す。アップサンプリングパスの各レベルの入力チャネル数は１０２４、５１２、２５６、１２８に設定され、アップサンプリングパスの各レベルの出力チャネル数は２５６、１２８、６４、３２にそれぞれ設定された。最後の層は、ＹｃｂＣｒカラーマップによって表される３２チャネルを３チャネルにマッピングする畳み込み層（ＣＬ）である。ジェネレータネットワークとディスクリミネータネットワークとの両方が２５６×２５６ピクセルのパッチサイズで訓練された。

【0071】

[00119] 図１０に要約されているディスクリミネータネットワークは、３つの入力チャネルを受け取り、これは、入力画像４０ＹｃｂＣｒ、４８ＹｃｂＣｒのＹｃｂＣｒ色空間に対応する。その後、この入力は、畳み込み層を使用して６４チャネル表現に変換され、その後に以下の演算子の５つのブロックが続く：
[00120]

[00121] ここで、ｋ１、ｋ２は畳み込み層のシリアル番号を示す。各層のチャネル数は、３、６４、６４、１２８、１２８、２５６、２５６、５１２、５１２、１０２４、１０２４、２０４８であった。次の層は、２０４８エントリのベクトルを生じさせるパッチサイズ（２５６×２５６）に等しいフィルタサイズの平均プーリング層であった。その後、この平均プーリング層の出力は、以下の構造を有する２つの全結合層（ＦＣ）に供給される：
[00122]

[00123] ここで、ＦＣは、学習可能な重み付け及びバイアスを有する全結合層を表す。最初の全結合層は、２０４８エントリを有するベクトルを出力する一方で、２番目の層はスカラ値を出力する。このスカラ値は、シグモイド活性化関数Ｄ（ｚ）＝１／（１＋ｅｘｐ（－ｚ））への入力として使用され、この関数は、ディスクリミネータネットワーク入力の確率（０及び１の間）が真の／本物又は偽物であることを計算し、すなわち、理想的には、図１０の出力６７によって示すように、Ｄ（ｚ_{ｌａｂｅｌ}）＝１であることを計算する。

【0072】

[00124] ＧＡＮ全体の畳み込みカーネルは３×３に設定された。これらのカーネルは、標準偏差が０．０５、平均が０の切断正規分布を使用することによってランダムに初期化された：すべてのネットワークバイアスは０として初期化された。学習可能なパラメータは、ジェネレータネットワーク７０の場合は１×１０^－４及びディスクリミネータネットワーク７４の場合は１×１０^－５の学習率で、適応モーメント推定（Ａｄａｍ）オプティマイザを使用して、逆伝播（図１０の点線矢印で図示される）によってディープニューラルネットワーク１０の訓練段階を通じて更新される。また、ディスクリミネータ７４の各反復について、標識へのディスクリミネータネットワークの潜在的な過剰適合に続く訓練の停滞を回避するため、ジェネレータネットワーク７０の４回の反復があった。訓練ではバッチサイズ１０が使用された。

【0073】

[00125] すべての視野がネットワーク１０を通過すると、ホールスライド画像がフィジーグリッド／コレクションスティッチングプラグインを使用して一緒にスティッチングされる（例えば、Schindelin、J.他、Fiji：an open-source platform for biological-image analysis．Nat．Methods 9、676-682(2012)を参照されたい。これは参照により本明細書に組み込まれる）。このプラグインは、各タイル間の正確なオーバーラップを計算し、それらを１つの大きな画像に線形にブレンドする。全体として、推論及びスティッチングはｃｍ^２あたりそれぞれ～５分及び３０秒かかり、かつ、ハードウェア及びソフトウェアの進歩を使用して大幅に改善されることができる。病理医に表示される前に、焦点が合っていないか、若しくは、自家蛍光又は明視野画像のいずれかで大きな異常（例えば、ほこりの粒子に起因）がある切片が切り取られる。最後に、画像は、病理医が簡単にアクセスして表示するため、Ｚｏｏｍｉｆｙ形式（標準のＷｅｂブラウザを使用して大きな画像を表示可能に設計される；http://zoomify.com/）にエクスポートされ、かつ、ＧＩＧＡｍａｃｒｏのＷｅｂサイト（https://viewer.gigamacro.com/）にアップロードされた。

【0074】

[00126] 実装の詳細
[00127] 訓練済みパッチの数、エポックの数及び訓練時間を含む他の実装の詳細が以下の表５に示される。デジタル的／仮想的染色ディープニューラルネットワーク１０はＰｙｔｈｏｎバージョン３．５．０を使用して実装された。ＧＡＮは、ＴｅｎｓｏｒＦｌｏｗフレームワークバージョン１．４．０を使用して実装された。使用された他のＰｙｔｈｏｎライブラリは、ｏｓ、ｔｉｍｅ、ｔｑｄｍ、Ｐｙｔｈｏｎ Ｉｍａｇｉｎｇ Ｌｉｂｒａｒｙ（ＰＩＬ）、ＳｃｉＰｙ、ｇｌｏｂ、ｏｐｓ、ｓｙｓ及びｎｕｍｐｙであった。このソフトウェアは、Ｃｏｒｅ ｉ７－７７００Ｋ ＣＰＵ＠４．２ＧＨｚ（Ｉｎｔｅｌ）及び６４ＧＢのＲＡＭを搭載し、Ｗｉｎｄｏｗｓ１０オペレーティングシステム（Ｍｉｃｒｏｓｏｆｔ）を実行するデスクトップコンピュータで実装された。ネットワークの訓練及びテストは、デュアルＧｅＦｏｒｃｅ（登録商標）ＧＴＸ １０８０Ｔｉ ＧＰＵ（Ｎｖｉｄｉａ）を使用して実行された。

【0075】

[00128] 実験－蛍光寿命イメージングＦＬＩＭを使用するサンプルの仮想的染色
[00129] この実施形態では、蛍光寿命イメージングに基づく非染色の組織サンプル２２の仮想的ＩＨＣ染色を可能にする訓練済みニューラルネットワーク１０が使用される。このアルゴリズムは、非染色の組織サンプル２２の蛍光寿命画像２０Ｌを取得し、かつ、ＩＨＣ染色後の同じ視野の明視野画像４８と十分に一致する画像４０を出力する。この方法を使用すると、面倒で時間のかかるＩＨＣ染色手順は、大幅に高速化され、かつ、さらなる分析のための組織保存を可能にする仮想的染色に置換可能である。

【0076】

[00130] データ取得
[00131] 図１１Ａを参照すると、非染色のホルマリン固定及びパラフィン包埋（ＦＦＰＥ）乳房組織（例えば、生検Ｂによって得られた）が、薄い４μｍスライスに切断され、かつ、標準的な顕微鏡スライドガラスに固定された。これらの組織切片２２は、ＩＲＢ１８－００１０２９の下で得られた。組織は、イメージングの前にキシレンで脱パラフィンされ、かつ、Ｃｙｔｏｓｅａｌ（Ｔｈｅｒｍｏ－Ｆｉｓｈｅｒ Ｓｃｉｅｎｔｉｆｉｃ）を使用して標準のスライドガラスに載せられた。２０×／０．７５ＮＡ対物レンズ（Ｌｅｉｃａ ＨＣ ＰＬ ＡＰＯ２０×／０．７５ ＩＭＭ）と、それぞれ４３５～４８５ｎｍ及び５３５～５９５ｎｍの波長範囲で蛍光シグナルを受信する２つの別個のハイブリッド光検出器と、を備えた標準的な蛍光寿命顕微鏡１１０（ＳＰ８－ＤＩＶＥ、Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ）が使用された。顕微鏡１１０は、～０．３Ｗで励起する７００ｎｍの波長のレーザを使用し、これらの非標識の組織切片２２の自家蛍光寿命が画像化されて画像２０Ｌが生成された。スキャン速度は、３００ｎｍのピクセルサイズで１０２４×１０２４ピクセルで２００Ｈｚであった。自家蛍光寿命画像２０Ｌが得られると、標準のＨＥＲ２、ＥＲ又はＰＲ染色手順を使用してスライドがＩＨＣ染色された。染色は、ＵＣＬＡ Ｔｒａｎｓｌａｔｉｏｎａｌ Ｐａｔｈｏｌｏｇｙ Ｃｏｒｅ Ｌａｂｏｒａｔｏｒｙ（ＴＰＣＬ）によって実行された。その後、これらのＩＨＣ染色スライドが、２０×／０．７５ＮＡの対物レンズ（Ａｐｅｒｉｏ ＡＴ、Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ）を備えた市販のスライド走査顕微鏡を使用して画像化され、ニューラルネットワーク１０の訓練、検証及びテストに使用されるターゲット画像４８を作成した。

【0077】

[00132] 画像の前処理及び位置合わせ
[00133] ディープニューラルネットワーク１０は、非標識の標本２２の自家蛍光寿命画像２０Ｌからの変換を学習することを目的としているので、それらとターゲットの対応の明視野画像４８との間のＦＯＶを正確に整列させることが重要である。画像の前処理及び整列は、本明細書で説明され、かつ、図８に示すように、グローバル及びローカルの位置合わせプロセスに従う。位置合わせプロセスの終わりに、単一／複数の自家蛍光及び／又は非標識の組織切片２２からの寿命チャネルからの画像は、ＩＨＣ染色された組織切片の対応の明視野画像４８に十分に整列させられる。それらの整列させられた画像対２０Ｌ、４８をニューラルネットワーク１０に供給する前に、スライド全体の平均値を差し引き、それをピクセル値間の標準偏差で割ることによって、スライド正規化が蛍光強度画像に実装される。

【0078】

[00134] ディープニューラルネットワークアーキテクチャ、訓練及び検証
[00135] 訓練済みディープニューラルネットワーク１０について、条件付きＧＡＮアーキテクチャが使用されて、３つの異なる染色（ＨＥＲ２、ＰＲ及びＥＲ）で、非標識の非染色の自家蛍光寿命入力画像２０Ｌから対応の明視野画像４８への変換を学習した。明視野画像４８に自家蛍光寿命画像２０Ｌを位置合わせした後、これらの正確に位置合わせされたＦＯＶが、２５６×２５６ピクセルの重なり合うパッチにランダムに分割され、これは、その後、ＧＡＮベースのディープニューラルネットワーク１０の訓練に使用された。

【0079】

[00136] ＧＡＮベースのニューラルネットワーク１０は、２つのディープニューラルネットワーク、ジェネレータネットワーク（Ｇ）及びディスクリミネータネットワーク（Ｄ）から構成される。このタスクでは、ジェネレータ及びディスクリミネータの損失関数は以下のように定義される：
[00137][00138]

[00139] ここで、異方性全変動（ＴＶ）演算子とＬ_１ノルムは以下のように定義される：
[00140][00141]

[00142] ここで、Ｄ（・）とＧ（・）はディスクリミネータ及びジェネレータネットワークの出力を示し、ｚ_{ｌａｂｅｌ}は、組織学的に染色された組織の明視野画像を示し、かつ、ｚ_{ｏｕｔｐｕｔ}はジェネレータネットワークの出力を示す。

【0080】

[00143] 構造的類似性指数（ＳＳＩＭ）は以下のように定義される：
[00144]

[00145] ここで、μ_ｘ、μ_ｙは画像ｘ、ｙの平均であり、

はｘ、ｙの変数であり、σ_ｘ、ｙはｘ及びｙの共分散であり、かつ、ｃ_１、ｃ_２は、小さな分母で除算を安定させるために使用される変数である。ＳＳＩＭ値１．０は同一の画像を参照する。ジェネレータ損失関数は、ジェネレータネットワーク出力画像のピクセル単位のＳＳＩＭ及びＬ_１ノルムを、その標識、出力画像の全変動（ＴＶ）演算子及び出力画像のディスクリミネータネットワーク予測に関してバランスを取る。正則化パラメータ（μ、α、ν、λ）は（０．３、０．７、０．０５、０．００２）に設定された。

【0081】

[00146] ジェネレータＧのディープニューラルネットワークアーキテクチャは、図１１Ｂに示されている（及び本明細書に記載されている）ディープニューラルネットワーク１０の構造に従う。しかしながら、この実装では、ネットワーク１０は、入力寿命及び／又は自家蛍光画像データを１６のチャネルにマッピング２００する畳み込み層で開始し、その後、５つの個別のダウンサンプリング工程２０２から構成されるダウンサンプリングパスが続く。ダウンサンプリングパスの各レベルの入力チャネル数は１６、３２、６４、１２８、２５６に設定された一方で、ダウンサンプリングパスの出力チャネル数は３２、６４、１２８、２５６、５１２に設定された。センタブロック畳み込み層２０３に続いて、アップサンプリングパスは５つの対称的なアップサンプリング工程２０４から構成される。アップサンプリングパスの各レベルの入力チャネル数は１０２４、５１２、２５６、１２８、６４に設定され、アップサンプリングパスの各レベルの出力チャネル数はそれぞれ２５６、１２８、６４、３２、１６に設定された。最後の層２０６は、ＲＧＢカラーマップによって表される、ｔａｎｈ（）活性化関数２０８を用いて１６チャネルを３チャネルにマッピングする畳み込み層である。ジェネレータ（Ｇ）及びディスクリミネータ（Ｄ）の両方のネットワークは、２５６×２５６ピクセルの画像パッチサイズを用いて訓練される。

【0082】

[00147] ディスクリミネータネットワーク（Ｄ）は、入力画像のＲＧＢ色空間に対応する３つの（すなわち、赤、緑及び青）入力チャネルを受信する。その後、この３つのチャネル入力は、畳み込み層２１０を使用して１６チャネル表現に変換され、その後、以下の演算子の５つのブロック２１２が続く：
[00148]

[00149] ここで、ＣＯＮＶ｛．｝は畳み込み演算子（バイアス項を含む）であり、ｋ１及びｋ２は畳み込み層のシリアル番号を示し、かつ、ＬＲｅＬＵ［．］は、ネットワーク全体で使用された非線形活性化関数（すなわち、リーキー正規化線形ユニット）であり、かつ、ＰＯＯＬ（．）は、以下のように定義される２×２の平均プーリング工程である：
[00150]

【0083】

[00151] 各レベルの入力チャネル及び出力チャネルの数は、センタブロック畳み込み層２１３が続くジェネレータのダウンサンプリングパスに続く。最後のレベル２１４は以下のように表される：
[00152]

ここで、ＦＣ［．］は、学習可能な重み付け及びバイアスを有する全結合層を表す。Ｓｉｇｍｏｉｄ（．）はシグモイド活性化関数を表し、Ｄｒｏｐｏｕｔ［．］は、全結合層からの結合の５０％をランダムに削除する。

【0084】

[00153] ＧＡＮベースのディープニューラルネットワーク１０全体の畳み込みフィルタサイズが３×３に設定された。学習可能パラメータは、ジェネレータネットワーク（Ｇ）の場合は１×１０^－４の学習率、及び、ディスクリミネータネットワーク（Ｎ）の場合は１×１０^－５の学習率で、適応モーメント推定（Ａｄａｍ）オプティマイザを使用した訓練を通じて更新された。訓練のバッチサイズは４８に設定された。

【0085】

[00154] 実装の詳細
[00155] 仮想的染色ネットワーク１０は、Ｐｙｔｏｒｃｈフレームワークバージョン１．３を有するＰｙｔｈｏｎバージョン３．７．１を使用して実装された。ソフトウェアは、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ１０オペレーティングシステムを実行する３．３０ＧＨｚのＩｎｔｅｌ ｉ９－７９００Ｘ ＣＰＵと６４ＧＢのＲＡＭとを搭載したデスクトップコンピュータに実装された。ネットワーク訓練及びテストは、２つのＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＧＴＸ １０８０Ｔｉ ＧＰＵを使用して実行された。

【0086】

[00156] 実験－イメージング後の計算オートフォーカス
[00157] この実施形態は、明視野顕微鏡法及び蛍光顕微鏡法などのインコヒーレント画像診断法のためのイメージング後の計算オートフォーカスを伴う。この方法では、訓練済みディープニューラルネットワークを使用して、１つの異常な画像に仮想的に再度焦点を合わせるだけで済む。このデータ駆動型の機械学習アルゴリズムは、異常な及び／又は焦点の合っていない画像を取得し、かつ、同じ視野の焦点画像と十分に一致する画像を出力する。この方法を使用すると、組織などのサンプルを画像化する顕微鏡のスキャン速度を上げることができる。

【0087】

[00158] 蛍光画像の取得
[00159] 図１３を参照すると、組織自家蛍光画像２０は、マイクロマネージャ顕微鏡自動化ソフトウェアによって制御される、倒立オリンパス顕微鏡（ＩＸ８３、オリンパス）１１０によって得られた。非染色の組織２２は、紫外線範囲の近くで励起され、かつ、ＤＡＰＩフィルタキューブ（ＯＳＦ１３－ＤＡＰＩ－５０６０Ｃ、励起波長３７７ｎｍ／５０ｎｍ帯域幅、発光波長４４７ｎｍ／６０ｎｍ帯域幅）を使用して画像化された。画像２０は、２０×／０．７５ＮＡ対物レンズ（オリンパスＵＰＬＳＡＰＯ ２０×／０．７５ＮＡ、ＷＤ０．６５）を用いて取得された。各ステージ位置で、自動化ソフトウェアは画像のコントラストに基づいてオートフォーカスを実行し、ｚスタックは、０．５μｍの軸方向間隔で－１０μｍから１０μｍまで取得された。各画像２０は、サイエンティフィックＣＭＯＳセンサ（ＯＲＣＡ－ｆｌａｓｈ４．０ ｖ．２、浜松ホトニクス）を使用して、露光時間～１００ｍｓでキャプチャされた。

【0088】

[00160] 画像の前処理
[00161] 顕微鏡ステージからの厳密なシフト及び回転を補正するため、自家蛍光画像スタック（２０４８×２０４８×４１）が最初にＩｍａｇｅＪプラグイン「ＳｔａｃｋＲｅｇ」に整列された。その後、各スタックのＩｍａｇｅＪプラグイン「Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ」を使用して拡張被写界深度画像が生成された。スタックと対応の拡張被写界深度（ＥＤＯＦ）画像とは、横方向に重なり合わない５１２×５１２の小さなパッチにクロッピングされ、最も焦点の合った平面（ターゲット画像）は、ＥＤＯＦ画像との構造的類似性指数（ＳＳＩＭ）が最も高い平面に設定された。その後、焦点面の上下（＋／－５μｍのデフォーカスに対応）の１０平面がスタックの範囲内にあるものと設定され、２１平面の各々からネットワーク１０ａの訓練用の入力画像が生成された。

【0089】

[00162] 訓練及び検証データセットを生成するため、同じ視野の焦点のぼけた異常な画像と焦点画像とが、対にされ、かつ、それぞれネットワーク１０ａ訓練の入力及び出力として使用された。元のデータセットは、～３０，０００のそのような対から構成され、データの８５％及び１５％を取る訓練及び検証データセットにランダムに分割された。訓練データセットは、訓練中にランダムな反転及び回転によって８回拡張された一方で、検証データセットは拡張されなかった。テストデータセットは、訓練及び検証データセットに表れなかった別個のＦＯＶからクロッピングされた。画像は、ネットワーク１０ａに供給される前に、ＦＯＶでのその平均及び標準偏差によって正規化された。

【0090】

[00163] ディープニューラルネットワークのアーキテクチャ、訓練及び検証
[00164] スナップショットオートフォーカスを実行するため、敵対的生成ネットワーク（ＧＡＮ）１０ａがここで使用される。ＧＡＮネットワーク１０ａはジェネレータネットワーク（Ｇ）及びディスクリミネータネットワーク（Ｄ）から構成される。ジェネレータネットワーク（Ｇ）は、残差接続を有するＵ－ｎｅｔであり、ディスクリミネータネットワーク（Ｄ）は畳み込みニューラルネットワークである。訓練中、ネットワーク１０ａは、ジェネレータ及びディスクリミネータの損失関数を反復して最小化し、これは以下のように定義される
[00165]

[00166]

[00167] ここで、ｚ_{ｌａｂｅｌ}は、焦点の合った蛍光画像を示し、ｚ_{ｏｕｔｐｕｔ}はジェネレータ出力を示し、Ｄはディスクリミネータ出力である。ジェネレータ損失関数は、平均絶対誤差（ＭＡＥ）、マルチスケール構造的類似性（ＭＳ－ＳＳＩＭ）指数及び平均二乗誤差（ＭＳＥ）の組み合わせであり、正則化パラメータλ、β、αによってバランスされる。訓練では、パラメータは経験的にλ＝５０、β＝１、α＝１として設定される。マルチスケール構造的類似性指数（ＭＳ－ＳＳＩＭ）は以下のように定義される
[00168]

[00169] ここで、ｘ_ｊ及びｙ_ｊは、２^ｊ－１回ダウンサンプリングされた歪んだ基準画像であり；μ_ｘ、μ_ｙはｘ、ｙの平均であり；

はｘの分散であり；σ_ｘｙはｘ、ｙの共分散であり；及び、Ｃ_１、Ｃ_２、Ｃ_３は、小さな分母で分数を安定させるための小さな定数である。

【0091】

[00170] 適応モーメント推定（Ａｄａｍ）オプティマイザが使用されて、ジェネレータ（Ｇ）の場合は１×１０^－４、ディスクリミネータ（Ｄ）の場合は１×１０^－６の学習率で、学習可能なパラメータを更新する。さらに、各反復で、ジェネレータ損失の６回の更新とディスクリミネータ損失の３回の更新とが実行される。訓練では、５つのバッチサイズが使用された。検証セットは５０回の反復ごとにテストされ、検証セットの損失が最も少ないモデルとして最良のモデルが選択される。

【0092】

[00171] 実装の詳細
[00172] ネットワークは、Ｎｖｉｄｉａ ＧｅＦｏｒｃｅ ２０８０Ｔｉ ＧＰＵを使用して、２．３ＧＨｚのＩｎｔｅｌ Ｘｅｏｎ Ｃｏｒｅ Ｗ－２１９５ ＣＰＵと２５６ＧＢのＲＡＭとを搭載したＰＣでＴｅｎｓｏｒＦｌｏｗを使用して実装される。サイズ５１２×５１２の～３０，０００の画像の対の訓練には約～３０時間かかる。５１２×５１２ピクセルの画像パッチのテスト時間は～０．２秒である。

【0093】

[00173] 実験－単一ネットワークを用いた複数の染色を伴う仮想的染色
[00174] この実施形態では、クラス条件付き畳み込みニューラルネットワーク１０が使用されて、非標識の組織サンプル２２の１以上の自家蛍光画像２０から構成される入力画像を変換する。一例として、その有用性を実証するため、単一のネットワーク１０が使用されて、非標識の切片の画像を、ヘマトキシリン・エオシン（Ｈ＆Ｅ）、ジョーンズ銀染色、マッソントリクローム及び過ヨウ素酸シッフ（ＰＡＳ）染色で仮想的に染色した。訓練済みニューラルネットワーク１０は、これらの訓練された染色による特定の組織微細構造の染色と同様に新規の染色を生成することができる。

【0094】

[00175] データ取得
[00176] 非染色のホルマリン固定及びパラフィン包埋（ＦＦＰＥ）腎臓組織が、薄い２μｍのスライスに切断されて標準的な顕微鏡のスライドガラスに固定された。これらの組織切片２２はＩＲＢ １８－００１０２９の下で得られた。２０×／０．７５ＮＡ対物レンズ（オリンパスＵＰＬＳＡＰＯ ２０Ｘ／０．７５ＮＡ、ＷＤ０．６５）と、２つの別個のフィルタキューブ、ＤＡＰＩ（ＯＳＦＩ３－ＤＡＰＩ－５０６０Ｃ、ＥＸ ３７７／５０ｎｍ ＥＭ ４４７／６０ｎｍ、Ｓｅｍｒｏｃｋ）及びＴｘＲｅｄ（ＯＳＦＩ３－ＴＸＲＥＤ－４０４０Ｃ、ＥＸ ５６２／４０ｎｍ ＥＭ ６２４／４０ｎｍ、Ｓｅｍｒｏｃｋ）と、を有する従来の広視野蛍光顕微鏡１１０（ＩＸ８３、オリンパス）が、画像化された非標識の組織切片２２の自家蛍光とともに使用された。ＤＡＰＩチャネルの露出時間は～５０ｍｓ、ＴｘＲｅｄチャネルの露出時間は～３００ｍｓであった。組織切片２２の自家蛍光が画像化されると、スライドは、標準的なＨ＆Ｅ、ジョーンズ、マッソントリクローム又はＰＡＳ染色手順を使用して組織学的に染色された。染色は、ＵＣＬＡ Ｔｒａｎｓｌａｔｉｏｎａｌ Ｐａｔｈｏｌｏｇｙ Ｃｏｒｅ Ｌａｂｏｒａｔｏｒｙ（ＴＰＣＬ）によって実行された。その後、これらの組織学的に染色されたスライドは、ＦＤＡ承認のスライド走査型顕微鏡１１０（Ａｐｅｒｉｏ ＡＴ、Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ、２０×／０．７５ＮＡ対物レンズを使用してスキャン）を使用して画像化され、ニューラルネットワーク１０の訓練、検証及びテストに使用されるターゲット画像４８を作成した。

【0095】

[00177] ディープニューラルネットワークのアーキテクチャ、訓練及び検証
[00178] 条件付きＧＡＮアーキテクチャが、訓練済みディープニューラルネットワーク１０に使用されて、４つの異なる染色（Ｈ＆Ｅ、マッソントリクローム、ＰＡＳ及びジョーンズ）を使用して非標識の非染色の自家蛍光入力画像２０から対応の明視野画像４８への変換を学習した。もちろん、他の又は追加の染色がディープニューラルネットワーク１０で訓練されることができる。明視野画像４８に自家蛍光画像２０を同時位置合わせした後、これらの正確に整列されたＦＯＶは、２５６×２５６ピクセルの重なり合うパッチにランダムに分割され、これらはその後、ＧＡＮネットワーク１０の訓練に使用された。条件付きＧＡＮネットワーク１０の実装では、訓練プロセスでネットワークの２５６×２５６の入力画像／画像スタックパッチに連結されたワンホット符号化行列Ｍ（図１５）が使用され、各行列Ｍは異なる染色に対応する。この条件付けを表す１つの方法は以下によって与えられる：
[00179]

[00180] ここで、［・］は連結を表し、ｃ_ｉは、ｉ番目の染色タイプ（この例では、Ｈ＆Ｅ、マッソントリクローム、ＰＡＳ及びジョーンズ）の標識のための２５６×２５６行列を表す。ｉ番目の染色データセットからの入力画像とターゲット画像との対の場合、ｃ_ｉはすべて１の行列に設定される一方で、残りのすべての他の行列にはそれに応じてゼロ値が割り当てられる（図１５を参照）。条件付きＧＡＮネットワーク１０は、本明細書で説明するように、２つのディープニューラルネットワーク、ジェネレータ（Ｇ）及びディスクリミネータ（Ｄ）から構成される。このタスクでは、ジェネレータ及びディスクリミネータの損失関数は以下のように定義される：
[00181][00182]

[00183] ここで、異方性ＴＶ演算子及びＬ_１ノルムが以下のように定義される：
[00184][00185]

[00186] ここで、Ｄ（・）とＧ（・）はそれぞれディスクリミネータネットワーク出力及びジェネレータネットワーク出力を表し、ｚ_{ｌａｂｅｌ}は、組織学的に染色された組織の明視野画像を示し、ｚ_{ｏｕｔｐｕｔ}は、ジェネレータネットワークの出力を示す。Ｐ及びＱは、画像パッチの垂直方向及び水平方向のピクセル数を表し、ｐ及びｑは合計指数を表す。正則化パラメータ（λ、α）は、０．０２及び２０００に設定され、これは、全変動損失項がＬ_１損失の約２％であり、ディスクリミネータ損失項が全ジェネレータ損失の９８％であることに対応する。

【0096】

[00187] ジェネレータ（Ｇ）のディープニューラルネットワークアーキテクチャは、図１０に示される（及び本明細書で説明される）ディープニューラルネットワーク１０の構造に従う。ただし、一実装では、ダウンサンプリングパスの各レベルの入力チャネル数は：１、９６、１９２、３８４に設定された。ディスクリミネータネットワーク（Ｄ）は７つの入力チャネルを受信する。３つ（ＹＣｂＣｒカラーマップ）はジェネレータ出力又はターゲットのいずれかから発せられ、４つは、ワンホット符号化されたクラス条件付け行列Ｍから発せられる。畳み込み層が使用されて、この入力を６４チャネルの特徴マップに変換する。ＧＡＮ全体の畳み込みフィルタサイズは３×３に設定された。学習可能パラメータは、適応モーメント推定（Ａｄａｍ）オプティマイザを使用した訓練を通じて、ジェネレータネットワーク（Ｇ）の場合は１×１０^－４、ディスクリミネータネットワーク（Ｄ）の場合は２×１０^－６の学習率で更新された。ディスクリミネータのステップごとに、ジェネレータネットワークが１０回繰り返された。訓練のバッチサイズは９に設定された。

【0097】

[00188] 単一の仮想的組織染色
[00189] ディープニューラルネットワーク１０が訓練されると、ワンホット符号化標識

が使用されてネットワーク１０を条件付けし、所望の染色された画像４０を生成する。言い換えると、ｃ_ｉ行列はすべて１の行列に設定され、他の残りの行列はｉ番目の染色（単一の染色の実施形態の場合）ではすべて０に設定される。したがって、１以上の条件付き行列がディープニューラルネットワーク１０に適用されて、画像化されたサンプルのすべて又はサブ領域にそれぞれの染色を生成することができる。条件付き行列／複数の行列Ｍは、各染色チャネルのサブ領域又は境界を規定する。

【0098】

[00190] 染色混合及び微細構造化
[00191] 訓練プロセスに続いて、新しい又は新規のタイプの染色を作成するため、ネットワーク１０が訓練されていない方法で条件付き行列を使用することができる。満たされるべき符号化規則は以下の数式に要約されることができる：
[00192]

【0099】

[00193] 言い換えると、所定の指数のセットの場合、（我々の例ではＮ_{ｓｔａｉｎｓ}＝４）でネットワーク１０が訓練された染色の数の全体の総数が１に等しい必要がある。考えられる１つの実装では、以下の数式で記述するように、クラス符号化行列を修正して複数のクラスの混合を使用することによって：
[00194]

[00195] 様々な染色が混合されることができ、人工ニューラルネットワークによって学習された様々な染色から発する特徴を有する特有の染色を作成する。これは図１７に示される。

【0100】

[00196] 別のオプションは、異なる対象領域（ＲＯＩ）に組織の視野を分割することであり、すべての対象領域が、特定の染色又はこれらの染色の混合で仮想的に染色されることができる：
[00197]

【0101】

[00198] ここで、ＲＯＩは、視野内に規定された対象領域である。視野全体で複数の重なり合わないＲＯＩが規定されることができる。一実装では、異なる対象領域又は微細構造に対して異なる染色が使用されることができる。これらは、ユーザ定義で、本明細書で説明するように手動でマークされる、又は、アルゴリズムで生成されることができる。一例として、ユーザは、ＧＵＩを介して様々な組織エリアを手動で規定し、かつ、異なる染色でそれらを染色することができる（図１６及び図１７）。これは、図１６及び図１７に示すように、異なる組織成分が異なるように染色される結果を生じさせる。ＲＯＩの選択的染色（微細構造化）は、ＰｙｔｈｏｎセグメンテーションパッケージＬａｂｅｌｍｅを使用して実装された。このパッケージを使用して、ＲＯＩ論理マスクが生成され、微細構造の標識

であるように処理される。別の実装では、組織の構造は、例えばセグメンテーションソフトウェアによって得られたコンピュータ生成マッピングに基づいて染色されることができる。例えば、これは、仮想的にすべての細胞核を１つ（又は複数）の染色で染色することができる一方で、組織２２の残りは、別の染色又は染色の組み合わせで染色される。他の手動、ソフトウェア又はハイブリッドアプローチが使用されて、様々な組織構造の選択を実装することができる。

【0102】

[00199] 図１６は、特定の染色で染色するためにネットワーク出力画像４０内の特定の対象領域を選択するために使用され得るツールバー１２０を含むディスプレイ１０６のＧＵＩの一例を示している。ＧＵＩはまた、ネットワーク出力画像４０又はネットワーク出力画像４０内の選択された対象領域のために所望の染色を選択するために使用可能な様々な染色オプション又は染色パレット１２２を含み得る。この特定の例では、ユーザが手動で選択したハッシュ線（エリアＡ、Ｂ、Ｃ）によって３つのエリアが識別される。これらのエリアはまた、他の実施形態では、画像処理ソフトウェア１０４によって自動的に識別され得る。図１６は、その中に１以上のプロセッサ１０２を含むコンピューティングデバイス１００と、訓練済みディープニューラルネットワーク１０を組み込んだ画像処理ソフトウェア１０４と、を含むシステムを示している。

【0103】

[00200] 実装の詳細
[00201] 仮想的染色ネットワークは、Ｐｙｔｈｏｎバージョン３．６．０とＴｅｎｓｏｒＦｌｏｗフレームワークバージョン１．１１．０とを使用して実装された。ソフトウェアは任意のコンピューティングデバイス１００に実装され得る。本明細書で説明する実験では、コンピューティングデバイス１００は、２．３０ＧＨｚのＩｎｔｅｌ Ｘｅｏｎ Ｗ－２１９５ ＣＰＵと２５６ＧＢのＲＡＭとを搭載し、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ１０オペレーティングシステムを実行するデスクトップコンピュータであった。ネットワーク訓練及びテストは、４つのＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸ ２０８０ Ｔｉ ＧＰＵを使用して実行された。

【0104】

[00202] 複数のスタイルで拡張された訓練
[00203] 図２０Ａ～図２０Ｃは、染色変換ネットワーク１０_{ｓｔａｉｎＴＮ}（図２０Ｃ）として機能するディープニューラルネットワークの訓練が追加のスタイルで拡張された別の実施形態を示している。仮想的染色ネットワーク１０を使用して生成され、かつ、染色転移ネットワーク１０_{ｓｔａｎｉＴＮ}の訓練のための入力として使用されることを意図された画像が正規化（又は標準化）される。しかしながら、標準的な組織学的染色及びスキャンを使用して生成されたホールスライド画像は、異なる研究室間及び特定のデジタル的ホールスライドスキャナ特性間で染色手順及び試薬を変更した結果として不可避の変動を明示するので、特定の状況では追加のスタイルによる拡張が必要とされる。したがって、この実施形態は、訓練プロセス中に複数のスタイルを組み込むことによって広範囲の入力画像に対応可能な染色転移ネットワーク１０_{ｓｔａｉｎＴＮ}を生成する。

【0105】

[00204] したがって、ネットワーク１０_{ｓｔａｉｎＴＮ}のパフォーマンスをこの染色の変動性に一般化するため、ネットワーク訓練は追加の染色スタイルで拡張された。スタイルは、化学的に染色された組織サンプルに現れ得る画像の様々な変動性を示す。この実装では、他のスタイル転移ネットワークが使用され得るが、ＣｙｃｌｅＧＡＮアプローチを使用して訓練されたＫ＝８の一意のスタイル転送（染色正規化）ネットワークによってこの拡張を促進することが決定された。ＣｙｃｌｅＧＡＮは、２つのジェネレータ（Ｇ）と２つのディスクリミネータ（Ｄ）とを使用するＧＡＮアプローチである。一方の対は、画像を第１ドメインから第２ドメインに変換するために使用される。他方の対は、画像を第２ドメインから第１ドメインに変換するために使用される。これは、例えば、図２１に見られる。ＣｙｃｌｅＧＡＮアプローチに関する詳細は、参照によって本明細書に組み込まれる、例えば、ＺｈｕらのＵｎｐａｉｒｅｄ Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ Ｃｙｃｌｅ－Ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ、ａｒＸｉｖ：１７０３．１０５９３ｖ１－ｖ７（２０１７－２０２０）に記載されている。これらのスタイルの拡張により、広いサンプルスペースが、その後の染色変換ネットワーク１０_{ｓｔａｉｎＴＮ}でカバーされ、及びしたがって、技術者間、研究室間又は機器間の変動に関係なく、化学的にＨ＆Ｅ染色された組織サンプルに適用される場合に染色転移が有効であること が保証される。

【0106】

[00205] スタイル変換ネットワーク１０_{ｓｔｙｌｅＴＮ}が使用されて、仮想－仮想染色変換又は化学－仮想染色変換のために仮想的染色ジェネレータ／変換ネットワーク１０_{ｓｔａｉｎＴＮ}を拡張し得る。後者は、化学的染色（例えば、Ｈ＆Ｅ染色）に見られる変動性を考慮すると、染色変換ネットワークで使用される可能性が高い。例えば、業界では、化学的染色をあるタイプから別のタイプに変換する必要がある。一例としては、化学的Ｈ＆Ｅ染色、及び、ＰＡＳ、ＭＴ又はＪＭＳなどの特殊な染色を作成する必要性を含む。例えば、非腫瘍性腎疾患は、これらの「特殊染色」に依存して、標準治療の病理学的評価を提供する。多くの臨床診療では、Ｈ＆Ｅ染色は特殊染色の前に利用可能であり、かつ、病理医は患者の腎臓内科医が治療を開始することを可能にするための「予備診断」を提供し得る。これは、例えば、半月形糸球体腎炎又は移植拒絶反応などの一部の疾患の設定で特に有用であり、この場合、迅速な診断とそれに続く迅速な開始又は治療とにより、臨床成果に大幅な改善が見られ得る。Ｈ＆Ｅスライドのみが最初に利用可能である設定では、予備診断後、通常、翌営業日に提供される最終診断が続く。本明細書で説明するように、改善されたディープニューラルネットワーク１０_{ｓｔａｉｎＴＮ}は、Ｈ＆Ｅ染色されたスライドを使用してＰＡＳ、ＭＴ及びジョーンズメセナミン銀（ＪＭＳ）の３つの追加の特殊染色を生成することによって予備診断を改善するために開発され、追加の特殊染色は、組織化学的に染色されたＨ＆Ｅ染色を用いて病理医に同時にレビューされることができる。

【0107】

[00206] 教師ありディープラーニングベースのワークフローのセットが提示され、これにより、ユーザは、染色変換ネットワーク１０_{ｓｔａｉｎＴＮ}を使用して２つの染色間の変換を実行することを可能にする。これは、仮想的に染色されたＨ＆Ｅ画像と、非標識の組織切片の同じ自家蛍光画像の特殊染色と、の位置合わせされた対を最初に生成することによって達成される（図２０Ａ）。これらの生成された画像は、化学的に染色された画像を特殊な染色に変換するために使用可能である。これにより、完全に空間的に位置合わせされた（対の）データセットの作成を容易にし、かつ、分布マッチング損失及び対となっていないデータだけに依存することなく、染色変換ネットワーク１０_{ｓｔａｉｎＴＮ}を訓練することを可能にする。さらに、ミスアライメントによる異常は作成されず、及びしたがって、変換の精度を向上させる。これは、様々な非腫瘍性疾患を有する腎臓組織を評価することによって検証される。

【0108】

[00207] ディープニューラルネットワーク１０_{ｓｔａｉｎＴＮ}が使用されて、Ｈ＆Ｅ染色された組織と特殊染色との間の変換を実行した。このニューラルネットワークを訓練するため、追加のディープニューラルネットワーク１０のセットが互いに組み合わせて使用された。このワークフローは、単一の非標識の組織切片を使用して複数の異なる染色の画像を生成する仮想的染色の機能に依存している（図２０Ａ）。単一のニューラルネットワーク１０を使用して特殊染色（ＰＡＳ、ＭＴ又はＪＭＳ）のうちの１つと一緒に両方のＨ＆Ｅ画像を生成することによって、完全に一致する（すなわち、対の）データセットが作成可能である。仮想的染色ネットワーク１０を使用して生成された画像の正規化（標準化）により、染色変換ネットワーク１０_{ｓｔａｉｎＴＮ}を訓練する場合に入力として使用されることを意図された仮想的に染色された画像４０は、一般化を確実にするために追加の染色スタイルを用いて拡張される（図２０Ｂ）。これは、図２０Ｂの仮想的に染色された画像４０が、スタイル転移ネットワーク１０_{ｓｔｙｌｅＴＮ}を通じて実行されて、拡張又はスタイル転移された出力画像４０’を作成することによって示される。言い換えれば、染色変換ネットワーク１０_{ｓｔａｉｎＴＮ}は、異なる研究室間の染色手順及び試薬、並びに、特定のデジタル的ホールスライドスキャナ特性の結果である、避けられないＨ＆Ｅ染色の変動を処理することができるように設計される。この拡張は、ＣｙｃｌｅＧＡＮ（図２０Ｂ）を使用して訓練されたＫ＝８の特有のスタイル転移（染色正規化）ネットワーク１０_{ｓｔｙｌｅＴＮ}によって実行される。これらの拡張により、広いＨ＆Ｅサンプルスペースが次の染色変換ネットワーク１０_{ｓｔａｉｎＴＮ}でカバーされること、及びしたがって、技術者間、研究室間又は機器間の変動に関わらず、Ｈ＆Ｅ染色された組織サンプルに適用される場合に有用であることを保証する。ディープニューラルネットワーク１０_{ｓｔａｉｎＴＮ}が使用されて化学的染色を１以上の仮想的染色に変換するが、ニューラルネットワーク１０_{ｓｔａｉｎＴＮ}の拡張された訓練は、染色スタイル変換用の様々な仮想的染色入力を使用して実行されることに留意されたい。

【0109】

[00208] このデータセットを使用すると、図２０Ｃに示すスキームを使用して、染色変換ネットワーク１０_{ｓｔａｉｎＴＮ}が訓練可能である。ネットワーク１０_{ｓｔａｉｎＴＮ}は、仮想的に染色された組織４０（上のパス）からの画像パッチ、又は、Ｋ＝８スタイル転移ネットワーク１０_{ｓｔｙｌｅＴＮ}（左のパス）の１つを通過する仮想的に染色された画像をランダムに供給され、かつ、組織化学的染色を転移された出力画像４０’’が生成される。対応の特殊染色（同じ非標識の視野からの仮想的な特殊染色）は、ＣｙｃｌｅＧＡＮスタイル転移に関わらず、グラウンドトゥルース４８として使用される。その後、ネットワーク１０_{ｓｔａｉｎＴＮ}は、ＵＣＬＡリポジトリから取られた様々なデジタル化されたＨ＆Ｅスライドで、（ネットワークが訓練されていない患者／症例で）ブラインドでテストされ、これらは疾患及び染色の変化のコホートを表す。

【0110】

[00209] データ拡張のための染色スタイル転移の方法
[00210] ニューラルネットワーク１０_{ｓｔａｉｎＴＮ}が、多種多様なＨ＆Ｅ染色された組織切片に適用可能であることを保証するため、ＣｙｃｌｅＧａｎモデルが使用されて、スタイル変換ネットワーク１０_{ｓｔｙｌｅＴＮ}（図２０Ｂ）を使用してスタイル変換を実行することによって訓練データセットを拡張した。このニューラルネットワーク１０_{ｓｔｙｌｅＴＮ}は、訓練サンプルｘ及びｙが与えられた場合に２つのドメインＸ及びＹの間でマッピングすることを学習し、Ｘは、元の仮想的に染色されたＨ＆Ｅのためのドメイン（図２１の画像４０_ｘ）であり、Ｙは、異なる研究室又は病院によってＨ＆Ｅで生成された画像４８_ｙのためのドメインである。このモデルは、２つのマッピングＧ：Ｘ→Ｙ及びＦ：Ｙ→Ｘを実行する。さらに、２つの敵対的なディスクリミネータＤ_ｘ及びＤ_ｙが導入される。これらの様々なネットワーク間の関係を示す図が図２１に示される。図２１に見られるように、仮想Ｈ＆Ｅ画像４０_ｘ（スタイルＸ）がジェネレータＧ（ｘ）に入力され、スタイルＹを有する生成されたＨ＆Ｅ画像４０_ｙを作成する。その後、画像４０_ｘを生成するために第２ジェネレータＦ（Ｇ（ｘ））を使用してＸドメインにマッピングし戻される。図２１を参照すると、組織化学的に染色されたＨ＆Ｅ画像４０_ｙ（スタイルＹ）がジェネレータＦ（ｙ）に入力され、スタイルＸを有する生成されたＨ＆Ｅ画像４８_ｘを作成する。その後、画像４８_ｙを生成するために第２ジェネレータＧ（Ｆ（ｙ））を使用してＹドメインにマッピングし戻される。図２２Ａ、図２２Ｂは、２つのジェネレータネットワークＧ（ｘ）（図２２Ａ）、Ｆ（ｙ）（図２２Ｂ）の構成を示している。

【0111】

[00211] ジェネレータの損失関数ｌ_{ｇｅｎｅｒａｔｏｒ}には、２種類の項：生成された画像の染色スタイルをターゲットドメインの組織化学的に染色された画像のスタイルに一致させるための敵対的損失ｌ_ａｄｖ；及び、学習されたマッピングＧ及びＦが互いに矛盾することを防止するためのサイクル一貫性損失ｌ_{ｃｙｃｌｅ}が含まれる。したがって、全体的な損失は以下の数式で記述される：
[00212]

[00213] ここで、λ及びφは損失関数の重み付けに使用される定数である。すべてのネットワークの場合、λは１０に設定され、φは１に等しくなるように設定された。図２１の各ジェネレータは、生成された画像がグラウンドトゥルースの分布に一致することを保証するディスクリミネータ（Ｄ_ｘ又はＤ_ｙ）に関連付けられる。ジェネレータネットワークの各々の損失は以下のように書かれ得る：
[00214]

[00215]

[00216] そして、サイクル一貫性損失は以下のように記述され得る：
[00217]

[00218] ここで、Ｌ_１損失、すなわち、平均絶対誤差が以下によって与えられる：
[00219]

[00220] この数式で、ｐ及びｑはピクセル指数であり、Ｐ及びＱは横方向のピクセルの総数である。

【0112】

[00221] Ｄ_ｘ及びＤ_ｙの訓練に使用される敵対的損失項は以下のように定義される：
[00222]

[00223]

【0113】

[00224] これらのＣｙｃｌｅＧＡＮモデルでは、Ｇ及びＦはＵ－ｎｅｔアーキテクチャを使用する。このアーキテクチャは、３つの「ダウンブロック」２２０と、それに続く３つの「アップブロック」２２２と、から構成される。ダウンブロック２２０及びアップブロック２２２の各々には、リーキーＲｅＬＵ活性化関数によって活性化される、３×３カーネルサイズの３つの畳み込み層が含まれる。ダウンブロック２２０は各々、チャネル数を２倍に増やし、かつ、ストライド及びカーネルサイズが２である平均プーリング層で終わる。アップブロック２２２は、畳み込み層を適用する前のバイキュービックアップサンプリングで始まる。特定の層のブロックの各々間で、スキップ接続が使用されて、すべてのブロックを通過することなくネットワークを通じてデータを渡す。

【0114】

[00225] ディスクリミネータＤ_Ｘ及びＤ_Yは４つのブロックから構成される。これらのブロックには、２つの畳み込み層とリーキーＲｅＬＵとの対が含まれ、これらを合わせてチャネル数を２倍に増やす。これらの後に、ストライドが２の平均プーリング層が続く。５つのブロックの後、２つの全結合層によって出力の次元が単一の値に減少する。

【0115】

[00226] 訓練中、適応モーメント推定（Ａｄａｍ）オプティマイザが使用されて、ジェネレータ（Ｇ）ネットワーク及びディスクリミネータ（Ｄ）ネットワークの両方で２×１０^－５の学習率で学習可能なパラメータを更新した。ディスクリミネータ訓練の各ステップで、ジェネレータネットワークに対して訓練が１回反復され、訓練のためのバッチサイズが６に設定された。

【0116】

[00227] スタイル変換ネットワーク１０_{ｓｔｙｌｅＴＮ}は、ある実施形態では、染色ベクトルの正規化を含み得る。訓練済みネットワーク１０_{ｓｔａｉｎＴＮ}は、同じ染色されたスライドの２つの異なるバリエーション間で、教師ありで訓練され得、この変形例は、異なる顕微鏡によるサンプルのイメージング又は組織化学的染色とそれに続く同じスライドの２回目の再染色の結果である。訓練済みネットワーク１０_{ｓｔａｎｉＴＮ}は、単一の仮想的染色ニューラルネットワーク１０によって生成された、各々が異なる仮想的染色で染色された１対の仮想的に染色された画像のセットによって訓練され得る。

【0117】

[00228] 本発明の実施形態が示されて説明されたが、本発明の範囲から逸脱することなく様々な修正が行われ得る。例えば、様々な実施形態が、非標識の又は非染色のサンプルのデジタル的／仮想的に染色された顕微鏡画像を生成するものとして説明されたが、この方法は、サンプルが１以上の外因性蛍光標識又は他の外因性発光体で標識される場合にも使用され得る。したがって、これらのサンプルは、従来の免疫化学（ＩＨＣ）染色によらずに標識される。したがって、本発明は、以下の特許請求の範囲及びそれらの同等物を除いて、限定されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20-1】

【図20-2】

【図21】

【図22】

【国際調査報告】