▶ ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニアの特許一覧
特許7344568ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-06
(45)【発行日】2023-09-14
(54)【発明の名称】ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム
(51)【国際特許分類】
G01N 33/48 20060101AFI20230907BHJP
G06T 1/00 20060101ALI20230907BHJP
G06T 5/00 20060101ALI20230907BHJP
G01N 21/64 20060101ALI20230907BHJP
【ＦＩ】
G01N33/48 M
G06T1/00 295
G06T5/00
G01N21/64 E
【請求項の数】
39
(21)【出願番号】P 2020552396
(86)(22)【出願日】2019-03-29
(65)【公表番号】
(43)【公表日】2021-08-12
(86)【国際出願番号】 US2019025020
(87)【国際公開番号】W WO2019191697
(87)【国際公開日】2019-10-03
【審査請求日】2022-02-07
(31)【優先権主張番号】62/651,005
(32)【優先日】2018-03-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】592110646
【氏名又は名称】ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア
(74)【代理人】
【識別番号】110001302
【氏名又は名称】弁理士法人北青山インターナショナル
(72)【発明者】
【氏名】オズキャン，アイドガン
(72)【発明者】
【氏名】リヴェンソン，イエール
(72)【発明者】
【氏名】ワン，ホンダ
(72)【発明者】
【氏名】ウェイ，ジェンソン
【審査官】高田 亜希
(56)【参考文献】
【文献】国際公開第２０１３／１８７１４８（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１５／０１１９７２２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１４／０２７０４５７（ＵＳ，Ａ１）
【文献】欧州特許出願公開第０２９２１９９０（ＥＰ，Ａ２）
【文献】米国特許出願公開第２０１３／００７７８７５（ＵＳ，Ａ１）
【文献】NESLIHAN BAYRAMOGLU ET AL，Towards Virtual H&E Staining of Hyperspectral Lung Histology Images Using Conditional Generative Adversarial Networks，2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW)，IEEE，2017年10月22日，64-71，ISR D3/ESR D1
【文献】BURLINGAME ERIK A ET AL，SHIFT: speedy histopathological-to-immunofluorescent translation of whole slide images using conditional generative adversarial networks，PROGRESS IN BIOMEDICAL OPTICS AND IMAGING,，SPIE，2018年03月06日，10581，1058105，ESR D2
【文献】HAN LIANG ET AL，Transferring Microscopy Image Modalities with Conditional Generative Adversarial Networks，2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)，IEEE，2017年07月21日，851-859，ESR D3
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ３３／４８ －３３／９８
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ５／００
Ｇ０１Ｎ ２１／６４
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
無標識試料のデジタル染色顕微鏡画像を生成する方法であって、計算デバイスの１つ又は複数のプロセッサを使用して画像処理ソフトウェアにより実行される、トレーニングされたディープニューラルネットワークを提供するステップであって、前記トレーニングされたディープニューラルネットワークは、複数の一致した化学染色画像又は画像パッチ及び同じ試料の対応する自己蛍光画像又は画像パッチを用いてトレーニングされる、提供するステップと、
蛍光顕微鏡、１以上の励起光源、および１以上の放射フィルタを使用して前記試料の１つ以上の自己蛍光画像を取得するステップであって、蛍光は内因性フルオロフォア又は前記試料内の周波数シフト光の他の内因性エミッタから発せられる、取得するステップと、
前記試料の１つ以上の前記自己蛍光画像を前記トレーニングされたディープニューラルネットワークに入力するステップと、
前記トレーニングされたディープニューラルネットワークが、化学染色された前記同じ試料の対応する明視野画像と実質的に均等な前記試料の前記デジタル染色顕微鏡画像を出力するステップと、
を含むことを特徴とする方法。
【請求項2】
請求項１に記載の方法において、前記トレーニングされたディープニューラルネットワークは畳み込みニューラルネットワークを含むことを特徴とする方法。
【請求項3】
請求項１に記載の方法において、前記ディープニューラルネットワークは、敵対的生成ネットワーク（ＧＡＮ）モデルを使用してトレーニングされることを特徴とする方法。
【請求項4】
請求項１に記載の方法において、前記ディープニューラルネットワークは、前記一致した化学染色画像又は画像パッチと前記同じ試料の自己蛍光画像又は画像パッチとの間の統計学的変換を学習するように構成された生成ネットワークと、前記試料のグランドトルース化学染色画像と前記試料の前記出力されたデジタル染色顕微鏡画像とを区別するように構成された識別ネットワークを使用してトレーニングされることを特徴とする方法。
【請求項5】
請求項１に記載の方法において、前記試料は、哺乳類組織、植物組織、細胞、病原体、体溶液塗抹、又は関心のある他の物体を含むことを特徴とする方法。
【請求項6】
請求項１に記載の方法において、前記ディープニューラルネットワークは、取得された１つ以上の前記自己蛍光画像の前記試料タイプと同じタイプの試料を用いてトレーニングされることを特徴とする方法。
【請求項7】
請求項１に記載の方法において、前記トレーニングされたディープニューラルネットワークは、１つ以上の前記自己蛍光画像の入力から１秒未満でデジタル染色顕微鏡画像を出力することを特徴とする方法。
【請求項8】
請求項１に記載の方法において、前記試料は非固定組織試料を含むことを特徴とする方法。
【請求項9】
請求項１に記載の方法において、前記試料は固定組織試料を含むことを特徴とする方法。
【請求項10】
請求項９に記載の方法において、前記固定組織試料はパラフィンに埋め込まれることを特徴とする方法。
【請求項11】
請求項１に記載の方法において、前記試料は新鮮組織試料を含むことを特徴とする方法。
【請求項12】
請求項１に記載の方法において、前記試料はｉｎ ｖｉｖｏで撮像された組織を含むことを特徴とする方法。
【請求項13】
請求項１に記載の方法において、１以上の前記励起光源は紫外線光又は近紫外線光を発することを特徴とする方法。
【請求項14】
請求項１に記載の方法において、複数の放射フィルタが、前記トレーニングされたディープニューラルネットワークに入力される複数の自己蛍光画像を捕捉するのに使用されることを特徴とする方法。
【請求項15】
請求項１４に記載の方法において、前記複数の自己蛍光画像は、異なる波長又は波長範囲の光を発する複数の励起光源により取得されることを特徴とする方法。
【請求項16】
請求項１に記載の方法において、１つ以上の前記自己蛍光画像は、コントラスト強調、コントラスト反転、前記トレーニングされたディープニューラルネットワークに入力される前の画像フィルタリングから選択される１つ又は複数の線形又は非線形画像事前処理演算を受けることを特徴とする方法。
【請求項17】
請求項１６に記載の方法において、１つ以上の前記自己蛍光画像及び１つ以上の事前処理された画像は一緒に、前記トレーニングされたディープニューラルネットワークに入力されることを特徴とする方法。
【請求項18】
請求項１に記載の方法において、前記同じ試料の前記複数の一致した化学染色及び自己蛍光画像又は画像パッチは、トレーニング中、レジストレーションを受け、前記レジストレーションは、回転を補正する大域的レジストレーションプロセス及び前記一致した化学染色画像及び自己蛍光画像において見つけられた局所特徴を一致させる続く局所レジストレーションプロセスを含むことを特徴とする方法。
【請求項19】
請求項１に記載の方法において、前記トレーニングされたディープニューラルネットワークは、１つ又は複数のＧＰＵ又はＡＳＩＣを使用してトレーニングされることを特徴とする方法。
【請求項20】
請求項１に記載の方法において、前記トレーニングされたディープニューラルネットワークは、１つ又は複数のＧＰＵ又はＡＳＩＣを使用して実行されることを特徴とする方法。
【請求項21】
請求項１に記載の方法において、前記試料の前記デジタル染色顕微鏡画像は、前記試料の１つ以上の前記自己蛍光画像を取得した後、リアルタイム又は準リアルタイムで出力されることを特徴とする方法。
【請求項22】
請求項１に記載の方法において、前記トレーニングされたディープニューラルネットワークは、転送学習を使用して第２の組織／染色組合せに更に最適化された第１の組織／染色組合せからの初期ニューラルネットワーク重み及びバイアスを使用して前記第２の組織／染色組合せに向けてトレーニングされることを特徴とする方法。
【請求項23】
請求項２１に記載の方法において、前記トレーニングされたディープニューラルネットワークは、複数の組織／染色組合せに向けてトレーニングされることを特徴とする方法。
【請求項24】
請求項２１に記載の方法において、前記トレーニングされたディープニューラルネットワークは、所与の組織タイプの２つ以上の化学染色タイプに向けてトレーニングされることを特徴とする方法。
【請求項25】
無標識試料のデジタル染色顕微鏡画像を生成する方法であって、計算デバイスの１つ又は複数のプロセッサを使用して画像処理ソフトウェアにより実行される、トレーニングされたディープニューラルネットワークを提供するステップであって、前記トレーニングされたディープニューラルネットワークは、複数の一致した化学染色画像又は画像パッチ及び同じ試料の対応する自己蛍光画像又は画像パッチを用いてトレーニングされる、提供するステップと、
蛍光顕微鏡を使用して前記試料の１つ以上の第１の自己蛍光画像を取得するステップであって、第１の波長又は波長範囲の蛍光が、内因性蛍光又は前記試料内の周波数シフト光の他の内因性エミッタから発せられる、取得するステップと、
蛍光顕微鏡を使用して前記試料の１つ以上の第２の自己蛍光画像を取得するステップであって、第２の波長又は波長範囲の蛍光が、内因性蛍光又は前記試料内の周波数シフト光の他の内因性エミッタから発せられる、取得するステップと、
前記試料の１つ以上の前記第１の自己蛍光画像及び１つ以上の前記第２の自己蛍光画像を前記トレーニングされたディープニューラルネットワークに入力するステップと、
前記トレーニングされたディープニューラルネットワークが、化学染色された前記同じ試料の対応する明視野画像と実質的に均等な前記試料の前記デジタル染色顕微鏡画像を出力するステップと、
を含むことを特徴とする方法。
【請求項26】
請求項２５に記載の方法において、１つ以上の前記第１の自己蛍光画像及び１つ以上の前記第２の自己蛍光画像は、異なる解像度を使用して取得されることを特徴とする方法。
【請求項27】
請求項２５に記載の方法において、前記試料は、組織、細胞、病原菌、体溶液塗抹、又は関心のある他の物体を含むことを特徴とする方法。
【請求項28】
化学的に染色されていない試料のデジタル染色顕微鏡画像を生成するシステムであって、計算デバイスを備え、前記計算デバイスは、前記計算デバイスで又は前記計算デバイスにより実行される画像処理ソフトウェアを有し、前記画像処理ソフトウェアは、前記計算デバイスの１つ又は複数のプロセッサを使用して実行されるトレーニングされたディープニューラルネットワークを含み、前記トレーニングされたディープニューラルネットワークは、複数の一致した化学染色画像又は画像パッチ及び同じ試料の対応する自己蛍光画像又は画像パッチを用いてトレーニングされ、前記画像処理ソフトウェアは、１以上の放射フィルタを使用して１以上の放射波長帯域において取得された前記試料の１つ以上の自己蛍光画像を受信し、化学染色された前記同じ試料の対応する明視野画像と実質的に均等な前記試料の前記デジタル染色顕微鏡画像を出力するように構成されることを特徴とするシステム。
【請求項29】
請求項２８に記載のシステムにおいて、前記トレーニングされたディープニューラルネットワークは畳み込みニューラルネットワークを含むことを特徴とするシステム。
【請求項30】
請求項２９に記載のシステムにおいて、前記トレーニングされたディープニューラルネットワークは、敵対的生成ネットワーク（ＧＡＮ）モデルを使用してトレーニングされることを特徴とするシステム。
【請求項31】
請求項２８に記載のシステムにおいて、前記試料の前記１つ以上の自己蛍光画像を取得するように構成された蛍光顕微鏡を更に備えることを特徴とするシステム。
【請求項32】
請求項３１に記載のシステムにおいて、複数のフィルタを更に備え、複数の自己蛍光画像が異なるフィルタを使用して取得されることを特徴とするシステム。
【請求項33】
請求項３１に記載のシステムにおいて、前記蛍光顕微鏡は、異なる波長又は波長帯域の光を発する複数の励起光源を備えることを特徴とするシステム。
【請求項34】
請求項３０に記載のシステムにおいて、前記ＧＡＮモデルは、前記一致した化学染色画像又は画像パッチと前記同じ試料の自己蛍光画像又は画像パッチとの間の統計学的変換を学習するように構成された生成ネットワークと、前記試料のグランドトルース化学染色画像と前記試料の前記出力されたデジタル染色顕微鏡画像とを区別するように構成された識別ネットワークを使用してトレーニングされることを特徴とするシステム。
【請求項35】
請求項３０に記載のシステムにおいて、前記ＧＡＮモデルは、前記取得された１つ以上の前記自己蛍光画像の前記試料と同じ試料タイプの試料を用いてトレーニングされることを特徴とするシステム。
【請求項36】
請求項２８に記載のシステムにおいて、前記トレーニングされたディープニューラルネットワークは、１つ以上の前記自己蛍光画像の入力から１秒未満でデジタル染色顕微鏡画像を出力することを特徴とするシステム。
【請求項37】
請求項３１に記載のシステムにおいて、前記蛍光顕微鏡の励起光源は、紫外線光又は近紫外線光を発することを特徴とするシステム。
【請求項38】
請求項３１に記載のシステムにおいて、１つ以上の前記自己蛍光画像は、フィルタセットを使用してフィルタリングされた放射帯域又は放射波長範囲で取得されることを特徴とするシステム。
【請求項39】
請求項３８に記載のシステムにおいて、前記フィルタセットは、前記蛍光顕微鏡と併用されるように構成された複数のフィルタの１つを含むことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０１８年３月３０日付けで出願された米国仮特許出願第６２／６５１，００５号明細書の優先権を主張するものであり、この米国仮特許出願を参照により本明細書に援用する。優先権は米国特許法第１１９条及び任意の他の妥当な法律に準拠して主張される。
本願は、２０１８年３月３０日付けで出願された米国仮特許出願第６２／６５１，００５号明細書の優先権を主張するものであり、この米国仮特許出願を参照により本明細書に援用する。優先権は米国特許法第１１９条及び任意の他の妥当な法律に準拠して主張される。
【0002】
技術分野は、一般的には、非染色（すなわち、無標識）組織の撮像に使用される方法及びシステムに関する。特に、技術分野は、非染色又は非標識組織の画像のデジタル染色又は仮想染色にディープニューラルネットワーク学習を利用する顕微鏡方法及びシステムに関する。機械学習アルゴリズムの一種であるニューラルネットワークでのディープラーニングを使用して、無標識組織切片の画像をデジタル染色して、染色又は標識された同じ試料の顕微鏡画像に均等な画像にする。
【背景技術】
【0003】
組織試料の顕微鏡撮像は、種々の疾患の診断に使用される基本的なツールであり、病理学及び生物科学の主力をなす。組織切片の臨床的に確立された判断基準画像は、組織標本をホルマリン固定パラフィン包埋（ＦＦＰＥ）し、薄いスライス（通常約２～１０μｍまで）に切片化し、標識／染色し、ガラススライドに載せ、次に例えば明視野顕微鏡を使用したその顕微鏡撮像が行われることを含む大変なプロセスの結果である。これらのステップは全て複数の試薬を使用し、不可逆的な影響を組織にもたらす。異なる撮像モダリティを使用してこの作業フローを変える努力が最近なされてきた。例えば、二光子蛍光、第二高調波発生、第三高調波発生、及びラマン散乱に基づいて非線形顕微鏡法を使用して新鮮な非パラフィン包埋組織試料を撮像した試みがなされてきた。他の試みは制御可能なスーパーコンティニウム源を使用して、新鮮な組織試料の科学解析のマルチモーダル画像を取得する。これらの方法は、大半の状況で容易に利用可能ではないことがある超高速レーザ又はスーパーコンティニウム源を使用する必要があるとともに、光学信号がより弱いことに起因して比較的長いスキャン時間を要する。これらに加えて、染色試料へのＵＶ励起を使用することにより又は短波長での生物組織の蛍光放射を利用することにより、非切片組織試料を撮像する他の顕微鏡方法も出現している。
【0004】
実際には、蛍光信号は、内因性フルオロフォアから発せられた蛍光を利用することにより組織試料を撮像する幾つかの独自の機会を生み出す。そのような内因性蛍光シグネチャが、生物標本の機能的属性及び構造的属性にマッピングすることができる有用な情報を有し、したがって、診断及び研究目的で広く使用されていることが実証されている。これらの労力の主なフォーカス分野の１つは、異なる生物分子と異なる条件下にあるそれらの構造的属性との関係の分光学的調査である。これらの十分に特徴付けられた生物学的組成の幾つかはとりわけ、ビタミン類（例えば、ビタミンＡ、リボフラビン、チアミン）、コラーゲン、コエンザイム、脂肪酸を含む。
【0005】
上述した技法の幾つかは、例えば、種々のコントラストメカニズムを使用して組織試料中の細胞タイプ及びサブ細胞構成要素を識別する独自の能力を有するが、病理学者及び腫瘍分類ソフトウェアは一般に、「判断基準」染色組織試料を調べて、診断決定を行うように訓練される。これに部分的に動機付けられて、上記技法の幾つかは、組織に埋め込まれた種々の染料の平均スペクトル応答を表す経験的に決定された定数を使用して画像の蛍光強度を組織容積当たりの染料濃度に関連付ける線形近似に基づく疑似ヘマトキシリン－エオジン（Ｈ＆Ｅ）画像を作成するように強化されている。これらの方法は、組織試料の仮想Ｈ＆Ｅ画像を作成するために、外因性染色も使用して蛍光信号コントラストを強化する。
【発明の概要】
【0006】
一実施形態では、化学的に染色されていない組織（又は他の試料）から得られた蛍光画像を使用して、無標識の薄い組織切片又は他の試料のデジタル又は仮想染色に使用されるトレーニングされたディープニューラルネットワークを利用するシステム及び方法が提供される。化学的に染色されていない組織とは、組織の組織化学的染色に使用される標準染色又は標識がないことを指す。化学的に染色されていない組織の蛍光は、自然発生若しくは内因性フルオロフォア又は照明周波数（すなわち、周波数シフト光）とは異なる周波数の光の他の内因性エミッタからの組織の自己蛍光を含み得る。化学的に染色されていない組織の蛍光は、外因的に追加された蛍光標識又は光の他の外因性エミッタからの組織の蛍光を更に含み得る。試料は、広視野蛍光顕微鏡（又は標準の蛍光顕微鏡）等の蛍光顕微鏡を用いて撮像される。顕微鏡は、標準の近ＵＶ励起／放射フィルタセット又は当業者に既知の他の励起／放射光源／フィルタセットを利用し得る。幾つかの実施形態では、デジタル又は仮想染色は、好ましいオン実施形態では、トレーニングされたディープニューラルネットワークを使用することにより試料の取得された１つの蛍光画像に対して実行される。
【0007】
一実施形態では、トレーニングされたディープニューラルネットワークは、敵対的生成ネットワーク（ＧＡＮ）モデルを使用して、特定の組織学的染色を用いて標識した後の組織試料の対応する明視野顕微鏡画像に一致するようにトレーニングされる畳み込みニューラルネットワーク（ＣＮＮ）である。この実施形態では、非染色試料（例えば、組織）の蛍光画像がトレーニングされたディープニューラルネットワークに入力されて、デジタル染色画像を生成する。したがって、この実施形態では、組織化学的染色及び明視野撮像ステップは完全に、デジタル染色画像を生成するトレーニングされたディープニューラルネットワークの使用で置換される。本明細書に説明するように、トレーニングされたニューラルネットワークにより実行されるネットワーク推測は高速であり、幾つかの実施形態では、例えば、４０×対物レンズを使用する約０．３３ｍｍ×約０．３３ｍｍの撮像視野の場合、標準のデスクトップコンピュータを使用して１秒未満である。組織のスキャンに２０×対物レンズを使用すると、ネットワーク推測時間１．９秒／ｍｍ２が達成された。
【0008】
自己蛍光を使用するディープラーニングベースのデジタル／仮想組織学的染色方法は、唾液腺、甲状腺、腎臓、肝臓、肺、及び皮膚を含む無標識のヒト組織試料を撮像することにより実証されており、トレーニングされたディープニューラルネットワークの出力は、３つの異なる染色、すなわち、Ｈ＆Ｅ（唾液腺及び甲状腺）、ジョーンズ染色（腎臓）、及びマッソントリクローム（乾燥及び肺）を用いて標識された同じ試料の画像と実質的に一致する均等な画像を作成した。トレーニングされたディープニューラルネットワークの入力画像は、標準フィルタセットを有する従来の蛍光顕微鏡により捕捉されるため、この手法は、組織化学的染色プロセスを全体的に迂回し、時間及び付随するコストを節減して、非染色組織試料を病理学及び組織学用途に使用する変換潜在性を有する。これは、労働力、試薬、及び染色プロセスに関わる追加時間等のコストを含む。例えば、本明細書に記載されるデジタル又は仮想染色プロセスを使用して近似された組織学的染色では、組織切片の各染色手順は平均で約４５分（Ｈ＆Ｅ）及び２～３時間（マッソントリクローム及びジョーンズ染色）かかり、労働力を含む推定コストは、Ｈ＆Ｅでは＄２～５であり、マッソントリクローム及びジョーンズ染色では＞＄１６～３５である。さらに、これらの組織化学的染色プロセスの幾つかは、時間の影響を受けやすいステップを必要とし、専門家が顕微鏡下でプロセスを監視することが求められ、それにより、プロセス全体を長引かせ、比較的高コストにするのみならず、面倒なものにもする。本明細書に開示されるシステム及び方法は、これらの全ての染色ステップを迂回し、より高度な免疫化学及び分子解析に使用することができ、例えば、カスタマイズされた治療を促進する非染色組織標本での関心のあるサブ領域のマイクロマーキング等の後の解析のために非標識組織切片を保存できるようにもする。さらに、これらの試料の幾つかに対応するホールスライドイメージ（ＷＳＩ）でのこの手法の染色の有効性は、デジタル／仮想染色技法を用いた組織病理学的特徴を認識することが可能な病理学者のグループによりブラインド評価され、同じ試料の組織的染色画像との高度な一致を達成した。
【0009】
さらに、このディープラーニングベースのデジタル／仮想組織学的染色枠組みは、他の励起波長又は蛍光フィルタセット及び追加の内因性コントラストメカニズムを利用する他の顕微鏡法モダリティ（非線形顕微鏡法等）にも広く適用することができる。実験では、切片化され固定された組織試料を使用して、標準の組織化学的染色プロセスの結果と有意味な比較を提供することが可能であった。しかしながら、提示される手法は非固定非切片化組織試料にも上手く機能し、潜在的に、高速診断又は遠隔病理診断用途に向けて手術室又は生検の現場での使用に適用可能にする。臨床用途を超えて、この方法は、組織学分野並びに生命科学研究及び教育における適用に幅広く利することができる。
【0010】
一実施形態では、無標識試料のデジタル染色顕微鏡画像を生成する方法は、計算デバイスの１つ又は複数のプロセッサを使用して実行される画像処理ソフトウェアを使用して実行される、トレーニングされたディープニューラルネットワークを提供するステップであって、トレーニングされたディープニューラルネットワークは、複数の一致した化学染色画像又は画像パッチ及び同じ試料の対応する蛍光画像又は画像パッチを用いてトレーニングされる、提供するステップを含む。無標識試料は、組織、細胞、病原体、体溶液塗擦標本、又は関心のある他の微小物体を含み得る。幾つかの実施形態では、ディープニューラルネットワークは、１つ又は複数の組織タイプ／化学染色タイプ組合せを使用してトレーニングし得る。例えば、これは、染色＃１、染色＃２、及び染色＃３等を有する組織タイプＡを含み得る。幾つかの実施形態では、ディープニューラルネットワークは、複数の染色で染色された組織を使用してトレーニングし得る。
【0011】
試料の蛍光画像は、トレーニングされたディープニューラルネットワークに入力される。トレーニングされたディープニューラルネットワークは次に、試料の入力蛍光画像に基づいて試料のデジタル染色顕微鏡画像を出力する。一実施形態では、トレーニングされたディープニューラルネットワークは畳み込みニューラルネットワーク（ＣＮＮ）である。これは、敵対的生成ネットワーク（ＧＡＮ）モデルを使用するＣＮＮを含み得る。試料の蛍光入力画像は、蛍光顕微鏡及び励起光源（例えば、ＵＶ又は近ＵＶ放射光源）を使用して取得される。幾つかの代替の実施形態では、複数の蛍光画像がトレーニングされたディープニューラルネットワークに入力される。例えば、１つの蛍光画像を第１のフィルタリング波長又は波長範囲で取得し得、一方、別の蛍光画像を第２のフィルタリング波長又は波長範囲で取得し得る。次に、これらの２つの蛍光画像はトレーニングされたディープニューラルネットワークに入力されて、１つのデジタル／仮想染色画像を出力する。別の実施形態では、取得された蛍光画像は、単独で又は取得された蛍光画像と組み合わせてトレーニングされたディープニューラルネットワークに入力し得るコントラスト強調、コントラスト反転、画像フィルタリングから選択される１つ又は複数線形又は非線形事前処理演算を受け得る。
【0012】
例えば、別の実施形態では、無標識試料のデジタル染色顕微鏡画像を生成する方法は、計算デバイスの１つ又は複数のプロセッサを使用して画像処理ソフトウェアにより実行される、トレーニングされたディープニューラルネットワークを提供するステップであって、トレーニングされたディープニューラルネットワークは、複数の一致した化学染色画像又は画像パッチ及び同じ試料の対応する蛍光画像又は画像パッチを用いてトレーニングされる、提供するステップを含む。試料の第１の蛍光画像が蛍光顕微鏡を使用して取得され、第１の放射波長又は波長範囲の蛍光が、内因性フルオロフォア又は試料内の周波数シフト光の他の内因性エミッタから発せられる。試料の第２の蛍光画像が蛍光顕微鏡を使用して取得され、第２の放射波長又は波長範囲の蛍光が、内因性フルオロフォア又は試料内の周波数シフト光の他の内因性エミッタから発せられる。第１及び第２の蛍光画像は、異なる励起／放射波長組合せを使用することにより取得し得る。次に、試料の第１及び第２の蛍光画像はトレーニングされたディープニューラルネットワークに入力され、トレーニングされたディープニューラルネットワークは、化学染色された同じ試料の対応する明視野画像に実質的に均等な試料のデジタル染色顕微鏡画像を出力する。
【0013】
別の実施形態では、化学的に染色されていない試料のデジタル染色顕微鏡画像を生成するシステムは、計算デバイスを含み、計算デバイスは、計算デバイスで又は計算デバイスにより実行される画像処理ソフトウェアを有し、画像処理ソフトウェアは、計算デバイスの１つ又は複数のプロセッサを使用して実行されるトレーニングされたディープニューラルネットワークを含む。トレーニングされたディープニューラルネットワークは、複数の一致した化学染色画像又は画像パッチ及び同じ試料の対応する蛍光画像又は画像パッチを用いてトレーニングされる。画像処理ソフトウェアは、試料の１つ又は複数の蛍光画像を受信し、化学染色された同じ試料の対応する明視野画像と実質的に均等な試料のデジタル染色顕微鏡画像を出力するように構成される。
【図面の簡単な説明】
【0014】
【図3】図３Ａ～図３Ｈは、化学染色されたＨ＆Ｅ試料に一致するデジタル／仮想染色結果を示し、最初の２列（図３Ａ及び図３Ｅ）は、非染色唾液腺組織切片の自己蛍光画像を示し（ディープニューラルネットワークへの入力として使用される）、３列目（図３Ｃ及び図３Ｇ）は、デジタル／仮想染色結果を示し、最後の列（図３Ｄ及び図３Ｈ）は、組織化学的染色プロセス後の同じ組織切片の明視野画像を示し、図３Ｃ及び図３Ｄの両方の評価は、皮下繊維脂肪組織内の湿潤性腫瘍細胞の小島を実証し、なお、核小体（図３Ｃ及び図３Ｄにおける矢印）とクロマチンテクスチャとの区別を含め、原子核細部は両パネルにおいて明確に理解され、同様に、図３Ｇ及び図３Ｈでは、Ｈ＆Ｅ染色は、湿潤性扁平上皮癌を実証し、隣接する間質中の浮腫粘液変化（図３Ｇ及び図３Ｈにおけるアスターリスク）との繊維形成反応は、染色／パネルの両方で明確に識別可能である。
【図4】図４Ａ～図４Ｈは、化学染色ジョーンズ試料に一致するデジタル／仮想染色結果を示し、最初の２列（図４Ａ、図４Ｅ）は、非染色腎臓組織切片の自己蛍光画像を示し（ディープニューラルネットワークへの入力として使用される）、３列目（図４Ｃ及び図４Ｇ）は、デジタル／仮想染色結果を示し、最後の列（図４Ｄ、図４Ｈ）は、組織化学的染色プロセス後の同じ組織切片の明視野画像を示す。
【図5】図５Ａ～図５Ｐは、肝臓及び肺の組織切片のマッソントリクローム染色に一致するデジタル／仮想染色結果を示し、最初の２列は、ディープニューラルネットワークへの入力として使用される、非染色肝臓組織切片（行１及び２－図５Ａ、図５Ｂ、図５Ｅ、図５Ｆ）及び非染色肺組織切片（行３及び４－図５Ｉ、図５Ｊ、図５Ｍ，図５Ｎ）の自己蛍光画像を示し、３列目（図５Ｃ、図５Ｇ、図５Ｋ、図５Ｏ）は、これらの組織試料のデジタル／仮想染色結果を示し、最後の列（図５Ｄ、図５Ｈ、図５Ｌ、図５Ｐ）は、組織化学的染色プロセス後の同じ組織切片の明視野画像を示す。
【図6】図６Ａは、結合損失関数とランダム初期化及び転送学習初期化の反復回数とのグラフを示し、図６Ａは、転送学習を使用して優れた収束がいかに達成されるかを示し、新しいディープニューラルネットワークは、唾液腺組織切片から学習した重み及びバイアスを使用して初期化されて、Ｈ＆Ｅを用いた甲状腺組織の仮想染色を達成し、ランダム初期化と比較して、転送学習ははるかに高速の収束を可能にし、より低い極小も達成する。図６Ｂは、ランダム初期化及び転送学習の両方の学習プロセスの異なる段階におけるネットワーク出力画像を示し、提示された手法を新しい組織／染色組合せに変換することへの転送学習の影響をよりよく示す。図６Ｃは、対応するＨ＆Ｅ化学染色明視野画像を示す。
【発明を実施するための形態】
【0015】
図１は、試料２２の入力顕微鏡画像２０からデジタル染色画像４０を出力するシステム２の一実施形態を概略的に示す。本明細書に説明されるように、入力画像２０は、蛍光染色又は標識で染色又は標識されていない試料２２（一実施形態では、組織等）の蛍光画像２０である。すなわち、入力画像２０は、試料２２により発せられた蛍光が１つ又は複数の内因性フルオロフォア又は周波数シフト光を含む他の内因性エミッタの結果である試料２２の自己蛍光画像２０である。周波数シフト光は、入射周波数（又は波長）と異なる別の周波数（又は波長）で発せられる光である。内因性フルオロフォア又は周波数シフト光の内因性エミッタは、分子、化合物、複合体、分子種、生体分子、色素、及び組織等を含み得る。幾つかの実施形態では、入力画像２０（例えば、未処理の蛍光画像）は、コントラスト強調、コントラスト反転、画像フィルタリングから選択される１つ又は複数の線形又は非線形事前処理演算を受ける。システムは、１つ又は複数のプロセッサ１０２と、トレーニングされたディープニューラルネットワーク１０（例えば、１つ又は複数の実施形態において本明細書に説明されるように畳み込みニューラルネットワーク）を組み込んだ画像処理ソフトウェア１０４とを含む計算デバイス１００を含む。計算デバイス１００は、本明細書に説明されるように、パーソナルコンピュータ、ラップトップ、モバイル計算デバイス、又はリモートサーバ等を含み得るが、他の計算デバイス（例えば１つ若しくは複数のグラフィック処理ユニット（ＧＰＵ）を組み込んだデバイス）又は他の特定用途向け集積回路（ＡＳＩＣ）を使用することもできる。ＧＰＵ又はＡＳＩＣを使用して、トレーニング及び最終画像出力を加速化することができる。計算デバイス１００には、デジタル染色画像４０の表示に使用されるモニタ又はディスプレイ１０６が関連付けられ得、又は接続することができる。ディスプレイ１０６は、デジタル染色画像４０の表示及び閲覧するためにユーザにより使用されて、グラフィカルユーザインターフェース（ＧＵＩ）の表示に使用し得る。一実施形態では、ユーザは、例えば、ＧＵＩを使用して、特定の試料２２の複数の異なるデジタル／仮想染色間を手動でトリガー又はトグルすることが可能であり得る。代替的には、異なる染色間のトリーが又はトグルは、計算デバイス１００により自動的に行うことができる。好ましい一実施形態では、トレーニングされたディープニューラルネットワーク１０は畳み込みニューラルネットワーク（ＣＮＮ）である。
【0016】
例えば、本明細書に記載される好ましい一実施形態では、トレーニングされたディープニューラルネットワーク１０は、ＧＡＮモデルを使用してトレーニングされる。ＧＡＮトレーニングされたディープニューラルネットワーク１０では、２つのモデルがトレーニングに使用される。データ分布を捕捉する生成モデルが使用され、一方、第２のモデルは、試料が生成モデルからではなくトレーニングデータから来る確率を推定する。ＧＡＮに関する詳細は、Ｇｏｏｄｆｅｌｌｏｗら著、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ．，Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，２７，ｐｐ．２６７２－２６８０（２０１４年）に見出し得、これは参照により本明細書に援用される。ディープニューラルネットワーク１０（例えば、ＧＡＮ）のネットワークトレーニングは、同じ又は異なる計算デバイス１００実行し得る。例えば、一実施形態では、パーソナルコンピュータを使用してＧＡＮをトレーニングし得るが、そのようなトレーニングは相当量の時間が掛かり得る。このトレーニングプロセスを加速するために、１つ又は複数の専用ＧＰＵをトレーニングに使用し得る。本明細書に説明されるように、そのようなトレーニング及びテストは、市販のグラフィックスカードから得られるＧＰＵで実行された。ディープニューラルネットワーク１０がトレーニングされると、ディープニューラルネットワーク１０は、トレーニングプロセスに使用された計算リソースよりも計算リソースが少ないものを含み得る異なる計算デバイス１１０で使用又は実行し得る（しかし、トレーニングされたディープニューラルネットワーク１０の実行にＧＰＵを統合することもできる）。
【0017】
画像処理ソフトウェア１０４は、Ｐｙｔｈｏｎ及びＴｅｎｓｏｒＦｌｏｗを使用して実装することができるが、他のソフトウェアパッケージ及びプラットフォームを使用することもできる。トレーニングされたディープニューラルネットワーク１０は、特定のソフトウェアプラットフォーム又はプログラミング言語に限定されず、トレーニングされたディープニューラルネットワーク１０は、任意の数の市販のソフトウェア言語又はプラットフォームを使用して実行し得る。トレーニングされたディープニューラルネットワーク１０を組み込むか、又はトレーニングされたディープニューラルネットワーク１０と協働する画像処理ソフトウェア１０４は、ローカル環境又は移動クラウド型環境で実行し得る。幾つかの実施形態では、画像処理ソフトウェア１０４の幾つかの機能（例えば、画像正規化）は、ある特定の言語又はプラットフォームで実行し得、一方、トレーニングされたディープニューラルネットワーク１０は別の特定の言語又はプラットフォームで実行し得る。それにも関わらず、両動作は画像処理ソフトウェア１０４により実行される。
【0018】
図１に見られるように、一実施形態では、トレーニングされたディープニューラルネットワーク１０は、非標識試料２２の１つの蛍光画像２０を受信する。他の実施形態では、例えば、複数の励起チャネルが使用される（本明細書におけるメラニン考察参照）場合、トレーニングされたディープニューラルネットワーク１０に入力される非標識試料２２の複数の蛍光画像２０があり得る（例えば、チャネル毎に１つの画像）。蛍光画像２０は、非標識組織試料２２の広視野蛍光画像２０を含み得る。広視野とは、より小さな視野（ＦＯＶ）のスキャンにより広視野（ＦＯＶ）が得られることを示すことを意味し、広ＦＯＶは１０～２，０００ｍｍ２の範囲のサイズである。例えば、走査型蛍光顕微鏡１１０により、より小さなＦＯＶを取得し得、走査型蛍光顕微鏡１１０は画像処理ソフトウェア１０４を使用してより小さなＦＯＶを一緒にデジタル的にステッチングして、より広いＦＯＶを作成する。広ＦＯＶは、例えば、試料２２のホールスライドイメージ（ＷＳＩ）を取得するのに使用することができる。蛍光画像は撮像デバイス１１０を使用して取得される。本明細書に記載される蛍光実施形態では、これは蛍光顕微鏡１１０を含み得る。蛍光顕微鏡１１０は、試料２２を照明する励起光源と、フルオロフォア又は試料２２に含まれる周波数シフト光の他の内因性エミッタにより発生された蛍光を捕捉する１つ又は複数の画像センサ（例えば、ＣＭＯＳ画像センサ）を含む。蛍光顕微鏡１１０は、幾つかの実施形態では、複数の異なる波長又は波長範囲／帯域の励起光で試料２２を照明する能力を含み得る。これは、複数の異なる光源及び／又は異なるフィルタセット（例えば、標準ＵＶ又は近ＵＶ励起／放射フィルタセット）を使用して達成し得る。加えて、蛍光顕微鏡１１０は、幾つかの実施形態では、異なる放射帯域をフィルタリングすることができる複数のフィルタセットを含み得る。例えば、幾つかの実施形態では、異なるフィルタセットを使用して異なる放射帯域でそれぞれ捕捉される複数の蛍光画像２０を捕捉し得る。
【0019】
試料２２は、幾つかの実施形態では、基板２３上又は内に配置される組織の一部を含み得る。基板２３は、幾つかの実施形態では、光学的に透明な基板を含み得る（例えば、ガラス又はプラスチックスライド等）。試料２２は、ミクロトームデバイス等を使用して薄い切片に切断される組織切片を含み得る。組織２２のこの薄い切片は、明視野照明下で限られた振幅コントラスト変調を有する弱散乱位相物体と見なすことができる。試料２２は、カバーガラス／カバースリップあり又はなしで撮像し得る。試料は冷凍切片又はパラフィン（ワックス）切片を含み得る。組織試料２２は固定（例えば、ホルマリンを使用して）されてもよく、又は固定されなくてもよい。組織試料２２は、哺乳類（例えば、ヒト若しくは動物）組織又は植物組織を含み得る。試料２２は、他の生物学的試料及び環境試料等を含むこともできる。例には、粒子、細胞、細胞内小器官、病原体、又は関心のある他のマイクロスケール物体（マイクロメートルサイズの寸法以下を有するもの）がある。試料２２は体溶液又は組織の塗抹を含み得る。これらは、例えば、血液塗抹、パパニコロウ塗抹、すなわちＰａｐ塗抹を含む。本明細書に説明されるように、蛍光ベースの実施形態では、試料２２は、蛍光し、蛍光顕微鏡デバイス１１０により捕捉される１つ又は複数の自然発生又は内因性フルオロフォアを含む。大半の植物組織及び動物組織は、紫外線光又は近紫外線光で励起すると、幾らかの自己蛍光を示す。内因性フルオロフォアは、例示として、コラーゲン等のタンパク質、エラスチン、脂肪酸、ビタミン類、フラビン、ポルフィリン、リポフスチン、コエンザイム（例えば、ＮＡＤ（Ｐ）Ｈ）を含み得る。幾つかの任意選択的な実施形態では、外因性追加蛍光標識又は光の他の外因性エミッタを追加することもできる。本明細書に説明されるように、試料２２は、周波数シフト光の他の内因性エミッタを含むこともできる。
【0020】
トレーニングされたディープニューラルネットワーク１０は、入力画像２０に応答して、デジタル染色又は標識出力画像４０を出力又は生成する。デジタル染色出力画像４０は、トレーニングされたディープニューラルネットワーク１０を使用して染色出力画像４０にデジタル的に統合された「染色」を有する。組織切片が関わる等の幾つかの実施形態では、トレーニングされたディープニューラルネットワーク１０は熟練したオブザーバー（例えば、熟練した組織病理学者）には、化学染色された同じ組織切片試料２２の対応する明視野画像と実質的に均等に見える。実際に、本明細書に説明されるように、トレーニングされたディープニューラルネットワーク１０を使用して得られた実験結果は、熟練した病理学者が両染色技法（化学染色ｖｓデジタル／仮想染色）を用いて組織病理学的特徴を認識することができ、両技法が高度に一致し、明確に好ましい染色技法がない（仮想ｖｓ組織学的）ことを示す。組織切片試料２２のこのデジタル又は仮想染色は、組織化学的染色動作が行われなかったにも関わらず、まるで組織切片試料２２が組織化学的染色を受けたかのように見える。
【0021】
図２は、典型的な蛍光ベースの実施形態に関わる動作を概略的に示す。図２に見られるように、非染色組織切片等の試料２２が取得される。これは、生検Ｂ等を通して生体組織から取得し得る。非染色組織切片試料２２は次に、蛍光顕微鏡１１０を使用した蛍光撮像を受け、蛍光画像２０を生成する。この蛍光画像２０は次に、トレーニングされたディープニューラルネットワーク１０に入力され、トレーニングされたディープニューラルネットワーク１０は次に、組織切片試料２２のデジタル染色画像４０を即座に出力する。このデジタル染色画像４０は、実際の組織切片試料２２が組織化学的染色を受けた場合の同じ組織切片試料２２の明視野画像の見た目によく類似する。図２は、組織切片試料２２が組織化学的染色４４を受け、その後、従来の明視野顕微鏡法撮像４６が続き、染色組織切片試料２２の従来の明視野画像４８を生成する従来のプロセスを示す（破線矢印を使用して）。図２に見られるように、デジタル染色画像４０は実際の化学染色画像４８によく類似する。本明細書に記載されるデジタル染色プラットフォームを使用して、同様の解像度及び色プロファイルが得られる。このデジタル染色画像４０は、図１に示されるように、コンピュータモニタ１０６に示され又は表示され得るが、デジタル染色画像４０が任意の適したディスプレイ（例えば、コンピュータモニタ、タブレットコンピュータ、モバイル計算デバイス、携帯電話等）に表示可能なことを理解されたい。ＧＵＩをコンピュータモニタ１０６に表示し得、それにより、ユーザはデジタル染色画像４０を閲覧し、任意選択的にデジタル染色画像４０と対話し得る（例えば、ズーム、カット、ハイライト、マーキング、及び露出調整等）。
【0022】
実験－組織試料の自己蛍光仮想染色を使用した無標識組織のデジタル染色
組織切片試料２２及び染色の異なる組合せを使用して、本明細書に記載されるシステム２及び方法をテストし、実証した。ＣＮＮベースのディープニューラルネットワーク１０のトレーニングに続き、ディープニューラルネットワーク１０にトレーニングセット又は検証セットで使用された画像と重複しない無標識組織切片２２の自己蛍光画像２０を供給することにより、その推測をブラインドテストした。図４Ａ～図４Ｈは、デジタル／仮想染色されて、同じ試料２２のＨ＆Ｅ染色明視野画像４８（すなわち、グランドトルース画像）と照合された唾液腺組織切片の結果を示す。これらの結果は、無標識組織切片２２の蛍光画像２０を、Ｈ＆Ｅ染色組織から予期される正確な配色を示し、類上皮細胞、細胞核、核小体、間質、及びコラーゲン等の種々の構成要素を含む明視野均等画像４０に変換するシステム２の能力を実証している。図３Ｃ及び図３Ｄの両方の評価は、Ｈ＆Ｅ染色が、皮下繊維脂肪組織内の湿潤性腫瘍細胞の小島を実証することを示す。なお、核小体（矢印）とクロマチンテクスチャとの区別を含め、原子核細部は両パネルにおいて明確に理解される。同様に、図３Ｇ及び図３Ｈでは、Ｈ＆Ｅ染色は湿潤性扁平上皮癌を実証する。隣接する間質中の浮腫粘液変化（アスターリスク）との繊維形成反応は、両染色で明確に識別可能である。
組織切片試料２２及び染色の異なる組合せを使用して、本明細書に記載されるシステム２及び方法をテストし、実証した。ＣＮＮベースのディープニューラルネットワーク１０のトレーニングに続き、ディープニューラルネットワーク１０にトレーニングセット又は検証セットで使用された画像と重複しない無標識組織切片２２の自己蛍光画像２０を供給することにより、その推測をブラインドテストした。図４Ａ～図４Ｈは、デジタル／仮想染色されて、同じ試料２２のＨ＆Ｅ染色明視野画像４８（すなわち、グランドトルース画像）と照合された唾液腺組織切片の結果を示す。これらの結果は、無標識組織切片２２の蛍光画像２０を、Ｈ＆Ｅ染色組織から予期される正確な配色を示し、類上皮細胞、細胞核、核小体、間質、及びコラーゲン等の種々の構成要素を含む明視野均等画像４０に変換するシステム２の能力を実証している。図３Ｃ及び図３Ｄの両方の評価は、Ｈ＆Ｅ染色が、皮下繊維脂肪組織内の湿潤性腫瘍細胞の小島を実証することを示す。なお、核小体（矢印）とクロマチンテクスチャとの区別を含め、原子核細部は両パネルにおいて明確に理解される。同様に、図３Ｇ及び図３Ｈでは、Ｈ＆Ｅ染色は湿潤性扁平上皮癌を実証する。隣接する間質中の浮腫粘液変化（アスターリスク）との繊維形成反応は、両染色で明確に識別可能である。
【0023】
次に、ディープネットワーク１０は、２つの異なる染色、すなわち、ジョーンズメテナミン銀染色（腎臓）及びマッソントリクローム染色（肝臓及び肺）を用いて他の組織タイプをデジタル／仮想染色するようにトレーニングされた。図４Ａ～図４Ｈ及び図５Ａ～図５Ｐは、これらの組織切片２２のディープラーニングベースのデジタル／仮想染色の結果をまとめたものであり、組織化学的染色プロセス後に捕捉された同じ試料２２の明視野画像４８に非常によく一致する。これらの結果は、トレーニングされたディープニューラルネットワーク１０が、無標識標本（すなわち、いかなる組織化学的染色も有さない）の１つの蛍光画像２０から、異なる組織タイプに使用される異なるタイプの組織学的染色の染色パターンを推測することが可能なことを示す。図３Ａ～図３Ｈと同様に同じ全体的結論で、ニューラルネットワーク出力画像図４Ｃ及び図５Ｇが、化学染色後に捕捉された同じ組織試料２２の明視野画像４８（図５Ｄ及び図５Ｈ）に現れるのと一貫するように、幹細胞、類洞腔、コラーゲン、及び脂肪滴（図５Ｇ）に対応する組織学的特徴を正確に明らかにすることが病理学者によっても確認された。同様に、図５Ｋ及び図５Ｏにおいて報告されたディープニューラルネットワーク出力画像４０（肺）が、化学染色後に撮像された同じ組織試料２２の明視野画像４８（図６Ｌ及び図６Ｐ）に現れるように、脈管、コラーゲン、及び肺胞腔に対応する、染色された組織学的特徴を一貫して明らかにすることも同じ専門家により確認された。
【0024】
ホルマリン固定パラフィン包埋（ＦＦＰＥ）又は冷凍切片の何れかであった複数のタイプの組織での複数のタイプの状況を診断するために、トレーニングされたディープニューラルネットワークからのデジタル／仮想染色出力画像４０を標準の組織化学的染色画像４８と比較した。結果を以下の表１にまとめる。４人の委員会認定病理学者（仮想染色技法を認識していなかった）による１５の組織切片の解析は、専門的オブザーバー間の診断に臨床的に有意な差がないとして定義される１００％非メジャー不一致（ｎｏｎ－ｍａｊｏｒ ｄｉｓｃｏｒｄａｎｃｅ）を実証した。「診断までの時間」は、オブザーバー２の画像毎に平均１０秒からオブザーバー３の画像毎に２７６秒とオブザーバー間でかなり変動した。しかしながら、オブザーバー内変動は非常に小さく、仮想スライド画像４０及び組織学的染色スライド画像４８の両方で診断までの時間が等しかった、すなわち、画像毎に約１０秒であったオブザーバー２を除く全てのオブザーバーで仮想染色スライド画像４０を用いた診断までの時間が短くなる傾向があった。これらは、２つの画像モダリティ間で非常に類似した診断有用性を示す。
【0025】
ホールスライドイメージ（ＷＳＩ）の染色有効性のブラインド評価
組織切片及び染色における差を評価した後、専用染色組織学的作業フローにおいて仮想染色システム２の能力をテストした。特に、肝臓組織切片の１５個の無標識試料及び腎臓の１３個の無標識組織切片の自己蛍光分布を２０×／０．７５ＮＡ対物レンズを用いて撮像した。肝臓及び腎臓の全ての組織切片は、異なる患者から取得され、小さな生検及びより大きな切除の両方を含んだ。全ての組織切片はＦＦＰＥから取得されたが、カバースリップされなかった。自己蛍光スキャン後、組織切片をマッソントリクローム（４μｍ肝臓組織切片）及びジョーンズ染色（２μｍ腎臓組織切片）を用いて組織学的に染色した。次にＷＳＩをトレーニングセット及びテストセットに分割した。肝臓スライドコホートでは、７つのＷＳＩを仮想染色アルゴリズムのトレーニングに使用し、８つのＷＳＩをブラインドテストに使用し、腎臓スライドコホートでは、６つのＷＳＩをアルゴリズムのトレーニングに使用し、７つのＷＳＩをテストに使用した。研究病理学者には、各ＷＳＩの染色技法は隠され、異なる染色の品質について１～４の番号等級を適用するように求めた：４＝完璧、３＝非常に良い、２＝許容可能、１＝許容不可能。第２に、研究病理学者は、同じスコアスケール（１～４）を特定の特徴：原子核細部（ＮＤ）、細胞質細部（ＣＤ）、及び肝臓のみの細胞外線維化（ＥＦ）について適用した。これらの結果を以下の表２（肝臓）及び表３（腎臓）にまとめる（勝者は太字）。データは、病理学者が両染色技法で組織病理学的特徴を認識することが可能であり、両技法が高度に一致し、明確に好ましい染色技法がない（仮想ｖｓ組織学的）ことを示す。
組織切片及び染色における差を評価した後、専用染色組織学的作業フローにおいて仮想染色システム２の能力をテストした。特に、肝臓組織切片の１５個の無標識試料及び腎臓の１３個の無標識組織切片の自己蛍光分布を２０×／０．７５ＮＡ対物レンズを用いて撮像した。肝臓及び腎臓の全ての組織切片は、異なる患者から取得され、小さな生検及びより大きな切除の両方を含んだ。全ての組織切片はＦＦＰＥから取得されたが、カバースリップされなかった。自己蛍光スキャン後、組織切片をマッソントリクローム（４μｍ肝臓組織切片）及びジョーンズ染色（２μｍ腎臓組織切片）を用いて組織学的に染色した。次にＷＳＩをトレーニングセット及びテストセットに分割した。肝臓スライドコホートでは、７つのＷＳＩを仮想染色アルゴリズムのトレーニングに使用し、８つのＷＳＩをブラインドテストに使用し、腎臓スライドコホートでは、６つのＷＳＩをアルゴリズムのトレーニングに使用し、７つのＷＳＩをテストに使用した。研究病理学者には、各ＷＳＩの染色技法は隠され、異なる染色の品質について１～４の番号等級を適用するように求めた：４＝完璧、３＝非常に良い、２＝許容可能、１＝許容不可能。第２に、研究病理学者は、同じスコアスケール（１～４）を特定の特徴：原子核細部（ＮＤ）、細胞質細部（ＣＤ）、及び肝臓のみの細胞外線維化（ＥＦ）について適用した。これらの結果を以下の表２（肝臓）及び表３（腎臓）にまとめる（勝者は太字）。データは、病理学者が両染色技法で組織病理学的特徴を認識することが可能であり、両技法が高度に一致し、明確に好ましい染色技法がない（仮想ｖｓ組織学的）ことを示す。
【0026】
ネットワーク出力画質の定量化
次に、図３Ａ～図３Ｈ、図４Ａ～図４Ｈ、図５Ａ～図５Ｐに提供される視覚的比較を超えて、まず、化学的に染色された試料２２と、いかなる標識／染色も使用せずにディープニューラルネットワーク１０を使用して合成されたデジタル／仮想染色画像４０の明視野画像４８間のピクセルレベル差を計算することにより、トレーニングされたディープニューラルネットワーク１０の結果を定量化した。以下の表４に、ＹＣｂＣｒ色空間を使用した組織タイプ及び染色の異なる組合せのこの比較をまとめており、ここで、クロマ成分Ｃｂ及びＣｒは全体的に色を定義し、Ｙは画像の輝度成分を定義する。この比較の結果により、これらの２組の画像間の平均差が、クロマチャネル（Ｃｂ，Ｃｒ）及び輝度チャネル（Ｙ）でそれぞれ約５％未満及び約１６％未満であることが明らかである。次に、第２の尺度、すなわち、一般に、基準画像と比較して人間のオブザーバーが画像に与えるスコアを予測するのに使用される構造的類似性指標（ＳＳＩＭ）を使用して、比較を更に定量化した（本明細書における式８）。ＳＳＩＭは０～１の範囲であり、ここで、１は同一画像のスコアを定義する。このＳＳＩＭ定量化の結果も表４にまとめられており、ネットワーク出力画像４０と化学的に染色した試料の明視野画像４８との間の強い構造的類似性を非常によく示している。
次に、図３Ａ～図３Ｈ、図４Ａ～図４Ｈ、図５Ａ～図５Ｐに提供される視覚的比較を超えて、まず、化学的に染色された試料２２と、いかなる標識／染色も使用せずにディープニューラルネットワーク１０を使用して合成されたデジタル／仮想染色画像４０の明視野画像４８間のピクセルレベル差を計算することにより、トレーニングされたディープニューラルネットワーク１０の結果を定量化した。以下の表４に、ＹＣｂＣｒ色空間を使用した組織タイプ及び染色の異なる組合せのこの比較をまとめており、ここで、クロマ成分Ｃｂ及びＣｒは全体的に色を定義し、Ｙは画像の輝度成分を定義する。この比較の結果により、これらの２組の画像間の平均差が、クロマチャネル（Ｃｂ，Ｃｒ）及び輝度チャネル（Ｙ）でそれぞれ約５％未満及び約１６％未満であることが明らかである。次に、第２の尺度、すなわち、一般に、基準画像と比較して人間のオブザーバーが画像に与えるスコアを予測するのに使用される構造的類似性指標（ＳＳＩＭ）を使用して、比較を更に定量化した（本明細書における式８）。ＳＳＩＭは０～１の範囲であり、ここで、１は同一画像のスコアを定義する。このＳＳＩＭ定量化の結果も表４にまとめられており、ネットワーク出力画像４０と化学的に染色した試料の明視野画像４８との間の強い構造的類似性を非常によく示している。
【0027】
制御されないばらつき並びに組織化学的染色プロセス及び関連する脱水ステップ及び清掃ステップ中に組織が受ける構造的変化があるため、化学的に染色された組織試料２２の明視野画像４８が実際には、ネットワーク出力画像４０のこの特定のＳＳＩＭ及びＹＣｂＣｒ解析の真の判断基準を提供しないことに留意すべきである。画像の幾つかで気付いた別のばらつきは、自動顕微鏡スキャンソフトウェアが２つの撮像モダリティに異なるオートフォーカス平面を選択したことである。これらの全てのばらつきは、２組の画像（すなわち、無標識組織のネットワーク出力４０ｖｓ組織学的染色プロセス後の同じ組織の明視野画像４８）の絶対定量的比較に幾らかの問題を生み出す。
【0028】
染色標準化
デジタル／仮想染色システム２の興味深い副産物は、染色標準化であることができる。換言すれば、トレーニングされたディープニューラルネットワーク１０は「共通染色」カラー化方式に収束し、それにより、組織学的染色組織画像４８におけるばらつきは、仮想染色組織画像４０よりも大きくなる。仮想染色のカラー化は専らそのトレーニングの結果であり（すなわち、トレーニングフェーズ中に使用された判断基準組織学的染色）、新しい染色カラー化を用いてネットワークを再トレーニングすることにより、病理学者の好みに基づいて更に調整することができる。そのような「改善」されたトレーニングは、最初から作成することもでき、又は転送学習を通して加速することができる。ディープラーニングを使用したこの潜在的な染色標準化は、試料準備の異なる段階における人から人へのばらつきの悪影響を改善し、異なる臨床研究所間で共通のグラウンドを生み出し、臨床医の診断作業フローを強化すると共に、特に自動組織転移検出又は異なるタイプの癌の等級付け等の新しいアルゴリズムの開発を助ける。
デジタル／仮想染色システム２の興味深い副産物は、染色標準化であることができる。換言すれば、トレーニングされたディープニューラルネットワーク１０は「共通染色」カラー化方式に収束し、それにより、組織学的染色組織画像４８におけるばらつきは、仮想染色組織画像４０よりも大きくなる。仮想染色のカラー化は専らそのトレーニングの結果であり（すなわち、トレーニングフェーズ中に使用された判断基準組織学的染色）、新しい染色カラー化を用いてネットワークを再トレーニングすることにより、病理学者の好みに基づいて更に調整することができる。そのような「改善」されたトレーニングは、最初から作成することもでき、又は転送学習を通して加速することができる。ディープラーニングを使用したこの潜在的な染色標準化は、試料準備の異なる段階における人から人へのばらつきの悪影響を改善し、異なる臨床研究所間で共通のグラウンドを生み出し、臨床医の診断作業フローを強化すると共に、特に自動組織転移検出又は異なるタイプの癌の等級付け等の新しいアルゴリズムの開発を助ける。
【0029】
他の組織染色組合せへの転送学習
転送学習の概念を使用して、改善された性能、すなわち、トレーニング費用／損失関数においてよりよい極小に達しながらも、新しい組織及び／又は染色タイプのトレーニング手順ははるかに高速に収束することができる。これは、異なる組織－染色組合せから予め学習されたＣＮＮモデルディープニューラルネットワーク１０が、ディープニューラルネットワーク１０の初期化に使用されて、新しい組合せの仮想染色を統計学的に学習することができることを意味する。図６Ａ～図６Ｃは、そのような手法の好ましい属性を示す：新しいディープニューラルネットワーク１０は、非染色甲状腺組織切片の自己蛍光画像２０を仮想染色するようにトレーニングされ、唾液腺のＨ＆Ｅ仮想染色に向けて前にトレーニングされた別のディープニューラルネットワーク１０の重み及びバイアスを使用して初期化された。トレーニングフェーズで使用される反復回数の関数としての損失尺度の進化は、新しい甲状腺ディープネットワーク１０が、図６Ａに示されるようにランダム初期化を使用して一からトレーニングされた同じネットワークアーキテクチャと比較してより低い最小に高速に収束することを明らかに実証している。図６Ｂは、学習プロセスの異なる段階におけるこの甲状腺ネットワーク１０の出力画像４０を比較し、提示される手法を新しい組織／染色組合せに高速で適合させる転写学習の影響を更に示す。ネットワーク出力画像４０は、例えば６，０００回以上の反復でのトレーニングフェーズ後、細胞核が、甲状腺乳頭カルシノーマを示唆する不規則な輪郭、原子核溝、及びクロマチン蒼白化を示し、細胞がまた、軽度から中等度の量の好酸性顆粒状細胞形質を示し、ネットワーク出力画像における血管結合組織コアが、リンパ球及び血漿細胞を含む炎症細胞の増大を示すことを明らかにする。図６Ｃは、対応するＨ＆Ｅ化学染色明視野画像４８を示す。
転送学習の概念を使用して、改善された性能、すなわち、トレーニング費用／損失関数においてよりよい極小に達しながらも、新しい組織及び／又は染色タイプのトレーニング手順ははるかに高速に収束することができる。これは、異なる組織－染色組合せから予め学習されたＣＮＮモデルディープニューラルネットワーク１０が、ディープニューラルネットワーク１０の初期化に使用されて、新しい組合せの仮想染色を統計学的に学習することができることを意味する。図６Ａ～図６Ｃは、そのような手法の好ましい属性を示す：新しいディープニューラルネットワーク１０は、非染色甲状腺組織切片の自己蛍光画像２０を仮想染色するようにトレーニングされ、唾液腺のＨ＆Ｅ仮想染色に向けて前にトレーニングされた別のディープニューラルネットワーク１０の重み及びバイアスを使用して初期化された。トレーニングフェーズで使用される反復回数の関数としての損失尺度の進化は、新しい甲状腺ディープネットワーク１０が、図６Ａに示されるようにランダム初期化を使用して一からトレーニングされた同じネットワークアーキテクチャと比較してより低い最小に高速に収束することを明らかに実証している。図６Ｂは、学習プロセスの異なる段階におけるこの甲状腺ネットワーク１０の出力画像４０を比較し、提示される手法を新しい組織／染色組合せに高速で適合させる転写学習の影響を更に示す。ネットワーク出力画像４０は、例えば６，０００回以上の反復でのトレーニングフェーズ後、細胞核が、甲状腺乳頭カルシノーマを示唆する不規則な輪郭、原子核溝、及びクロマチン蒼白化を示し、細胞がまた、軽度から中等度の量の好酸性顆粒状細胞形質を示し、ネットワーク出力画像における血管結合組織コアが、リンパ球及び血漿細胞を含む炎症細胞の増大を示すことを明らかにする。図６Ｃは、対応するＨ＆Ｅ化学染色明視野画像４８を示す。
【0030】
異なる解像度での複数の蛍光チャネルの使用
トレーニングされたディープニューラルネットワーク１０を使用する方法は、異なる組織組成での推測性能を高めるために、他の励起波長及び／又は撮像モダリティと組み合わせることができる。例えば、仮想Ｈ＆Ｅ染色を使用した皮膚組織切片試料でのメラニン検出を試みた。しかしながら、ネットワークの出力は本明細書に記載される実験システムで測定されるＤＡＰＩ励起／放射波長において弱い自己蛍光信号を提示するため、メラニンは、ネットワークの出力において明確に識別できなかった。メラニンの自己蛍光を高める潜在的な一方法は、試料が酸化性溶液中にある間、試料を撮像することである。しかしながら、例えば、メラニン信号を増強し、トレーニングされたディープニューラルネットワーク１０において正確に推測することができるように、Ｃｙ５フィルタ（励起６２８ｎｍ／放射６９２ｎｍ）から発せられる追加の自己蛍光チャネルが利用されるより実用的な代替を使用した。ＤＡＰＩ及びＣｙ５自己蛍光チャネルの両方を使用してネットワーク１０をトレーニングすることにより、トレーニングされたディープニューラルネットワーク１０は、図７Ａ～図７Ｃに示されるように、試料でメラニンが発生した場所を首尾良く特定することができた。これとは対照的に、ＤＡＰＩチャネルのみが使用された場合（図７Ａ）、ネットワーク１０は、メラニンを含むエリアを特定することができなかった（エリアは白く見える）。換言すれば、Ｃｙ５チャネルからの追加の自己蛍光情報がネットワーク１０により使用されて、背景組織からメラニンを区別した。図７Ａ～図７Ｃに示される結果では、最も必要な情報が高解像度ＤＡＰＩスキャンにおいて見つけられ、追加情報（例えば、メラニンの存在）をより低解像度のスキャンでエンコードすることができるとの仮説を立てたため、高解像度ＤＡＰＩスキャン（２０×／０．７５ＮＡ）を補足するために、画像２０はＣｙ５チャネルではより低い解像度の対物レンズ（１０×／０．４５ＮＡ）を使用して取得された。このようにして、２つの異なるチャネルを使用し、チャネルの一方は、メラニン識別のためにより低解像度で使用した。これは、蛍光顕微鏡１１０を用いた試料２２の複数のスキャン通過を必要とし得る。更に別のマルチチャネル実施形態では、複数の画像２０をトレーニングされたディープニューラルネットワーク１０に供給し得る。これは、例えば、コントラスト強調、コントラスト反転、及び画像フィルタリング等の線形又は非線形画像事前処理を受けた１つ又は複数の画像と組み合わせた未処理の蛍光画像を含み得る。
トレーニングされたディープニューラルネットワーク１０を使用する方法は、異なる組織組成での推測性能を高めるために、他の励起波長及び／又は撮像モダリティと組み合わせることができる。例えば、仮想Ｈ＆Ｅ染色を使用した皮膚組織切片試料でのメラニン検出を試みた。しかしながら、ネットワークの出力は本明細書に記載される実験システムで測定されるＤＡＰＩ励起／放射波長において弱い自己蛍光信号を提示するため、メラニンは、ネットワークの出力において明確に識別できなかった。メラニンの自己蛍光を高める潜在的な一方法は、試料が酸化性溶液中にある間、試料を撮像することである。しかしながら、例えば、メラニン信号を増強し、トレーニングされたディープニューラルネットワーク１０において正確に推測することができるように、Ｃｙ５フィルタ（励起６２８ｎｍ／放射６９２ｎｍ）から発せられる追加の自己蛍光チャネルが利用されるより実用的な代替を使用した。ＤＡＰＩ及びＣｙ５自己蛍光チャネルの両方を使用してネットワーク１０をトレーニングすることにより、トレーニングされたディープニューラルネットワーク１０は、図７Ａ～図７Ｃに示されるように、試料でメラニンが発生した場所を首尾良く特定することができた。これとは対照的に、ＤＡＰＩチャネルのみが使用された場合（図７Ａ）、ネットワーク１０は、メラニンを含むエリアを特定することができなかった（エリアは白く見える）。換言すれば、Ｃｙ５チャネルからの追加の自己蛍光情報がネットワーク１０により使用されて、背景組織からメラニンを区別した。図７Ａ～図７Ｃに示される結果では、最も必要な情報が高解像度ＤＡＰＩスキャンにおいて見つけられ、追加情報（例えば、メラニンの存在）をより低解像度のスキャンでエンコードすることができるとの仮説を立てたため、高解像度ＤＡＰＩスキャン（２０×／０．７５ＮＡ）を補足するために、画像２０はＣｙ５チャネルではより低い解像度の対物レンズ（１０×／０．４５ＮＡ）を使用して取得された。このようにして、２つの異なるチャネルを使用し、チャネルの一方は、メラニン識別のためにより低解像度で使用した。これは、蛍光顕微鏡１１０を用いた試料２２の複数のスキャン通過を必要とし得る。更に別のマルチチャネル実施形態では、複数の画像２０をトレーニングされたディープニューラルネットワーク１０に供給し得る。これは、例えば、コントラスト強調、コントラスト反転、及び画像フィルタリング等の線形又は非線形画像事前処理を受けた１つ又は複数の画像と組み合わせた未処理の蛍光画像を含み得る。
【0031】
本明細書に記載されるシステム２及び方法は、標準の蛍光顕微鏡１１０により捕捉された試料の１つの蛍光画像２０（他の実施形態では、複数の蛍光チャネルが使用される場合、複数の蛍光画像２０が入力される）及びフィルタセットを入力として使用する教師付きディープラーニング技法を使用して、無標識組織切片２２をデジタル／仮想染色する能力を示す。この統計学的学習ベースの方法は、組織病理学における臨床作業フローを再構造する潜在性を有し、特に蛍光顕微鏡、非線形顕微鏡、ホログラフィック顕微鏡、誘導ラマン散乱顕微鏡、及び光学コヒーレンストモグラフィ等の種々の撮像モダリティから恩恵を受けて、組織試料２２を組織化学的に染色する標準の慣行に対するデジタル代替を潜在的に提供することができる。ここで、方法は、固定非染色組織試料２２を使用して、化学染色組織試料に対して有意味な比較を提供することが実証され、これは、ディープニューラルネットワーク１０のトレーニング及び臨床的に承認された方法と突き合わせたネットワーク出力の性能のブラインドテストにとって極めて重要である。しかしながら、提示されるディープラーニングベースの手法は、いかなる標識又は染色も使用せずに、切片化されていない新鮮な組織試料（例えば、生検手順後の）を含め、異なるタイプ及び状態の試料２２に広く適用可能である。トレーニングに続き、ディープニューラルネットワーク１０は、例えば、ＵＶ又は深ＵＶ励起又は非線形顕微鏡法モダリティを使用して取得された無標識の新鮮な組織試料２２の画像をデジタル／仮想染色するのに使用することができる。例えば、ラマン顕微鏡は非常に豊富な無標識生化学シグネチャを提供することができ、生化学シグネチャは、ニューラルネットワークが学習する仮想染色の有効性を更に高めることができる。
【0032】
トレーニングプロセスの重要な部分は、無標識組織試料２２の蛍光画像２０と組織化学的染色プロセス後の対応する明視野画像４８（すなわち、化学的に染色された画像）とを照合することを含む。染色プロセス及び関連するステップ中、幾つかの組織構成要素が、トレーニングフェーズにおいて損失／費用関数をミスリードするように失われるか、又は変形することがあることに留意されたい。しかしながら、これは単にトレーニング及び検証関連の問題にすぎず、無標識組織試料２２の仮想染色への十分にトレーニングされたディープニューラルネットワーク１０の実施に対していかなる制限も課さない。トレーニング及び検証フェーズの品質を保証し、ネットワーク性能へのこの問題の影響を最小に抑えるために、２組の画像（すなわち、組織化学的染色プロセス前後の）間の許容可能な相関値についての閾値を確立し、トレーニング／検証セットから一致しない画像ペアをなくして、ディープニューラルネットワーク１０が、化学染色プロセスに起因した組織形態への摂動ではなく、本物の信号を学習することを確実にする。実際には、トレーニング／検証画像データをクリーニングするこのプロセスは、繰り返し行うことができる：明らかに変更された試料の粗い排除で開始することができ、それに従って、トレーニングされるニューラルネットワーク１０に収束することができる。この初期トレーニングフェーズ後、利用可能な画像セットにおける各試料の出力画像４０は、対応する明視野画像４８と突き合わせてスクリーニングされて、幾つかの追加の画像を拒絶し、トレーニング／検証画像セットを更にクリーニングするより改善された閾値を設定することができる。このプロセスの少数回の反復により、画像セットを更に改善することができるのみならず、最終的なトレーニングされたディープニューラルネットワーク１０の性能を改善することもできる。
【0033】
上述した方法論は、組織学的染色プロセス後の幾つかの組織特徴のランダム損失に起因したトレーニング問題の幾つかを軽減する。実際に、これは、顕微鏡下で組織を観測する必要があることもある染色プロセスの繊細な手順の幾つかを専門家が扱う必要性なく、無標識方法で局所組織の組織学を保存するのがより容易であるため、組織化学的染色に関わる労働力及びコストがかかる手順をスキップする更なる動機を目立たせる。
【0034】
ＰＣデスクトップを使用する場合、ディープニューラルネットワーク１０のトレーニングフェーズは相当量の時間（例えば、唾液腺ネットワークでは約１３時間）が掛かる。しかしながら、このプロセス全体は、ＧＰＵに基づく専用コンピュータハードウェアを使用することにより大幅に加速することができる。さらに、図６Ａ～図６Ｃに既に強調されたように、転送学習は新しい組織／染色組合せのトレーニングフェーズへの「ウォームスタート」を提供し、プロセス全体を大幅に高速にする。ディープニューラルネットワーク１０がトレーニングされると、試料画像４０のデジタル／仮想染色が１回、非反復的に実行され、これは、最適な結果を達成するために、試行錯誤手法又は任意のパラメータ調整を必要としない。そのフィードフォワード及び非反復アーキテクチャに基づいて、ディープニューラルネットワーク１０は、１秒未満（例えば、試料視野約０．３３ｍｍ×０．３３ｍｍに対応して０．５９秒）で仮想染色画像を高速で出力する。ＧＰＵに基づく更なる加速を用いる場合、デジタル／仮想染色画像４０の出力においてリアルタイム又は準リアルタイム性能を達成する潜在性があり、手術室又はｉｎ ｖｉｖｏ撮像用途で特に有用であり得る。
【0035】
実施されるデジタル／仮想染色手順は、各組織／染色組合せに別個のＣＮＮディープニューラルネットワーク１０をトレーニングすることに基づく。ＣＮＮベースのディープニューラルネットワーク１０に、異なる組織／染色組合せを有する自己蛍光画像２０を供給する場合、所望のように実行しないであろう。しかしながら、これは制限ではなく、その理由は、組織学的用途では、組織タイプ及び染色タイプが関心のある各試料２２で予め決定され、したがって、非標識試料２２の自己蛍光画像２０からデジタル／仮想染色画像４０の作成に選択された特定のＣＮＮは追加の情報又はリソースを必要としないためである。当然ながら、例えば、トレーニング時間及び推測時間の生じ得る増大を犠牲にして、モデルにおいてトレーニングされるパラメータ数を増大することにより、より一般的なＣＮＮモデルを複数の組織／染色組合せについて学習することができる。別の手段は、同じ非標識組織タイプに対して複数の仮想染色を実行するシステム２及び方法の潜在性である。
【0036】
システム２の大きな利点は、かなり柔軟なことである。診断失敗が臨床的比較を通して検出される場合、それに従ってそのような失敗が発見された時にそのような失敗にペナルティを課すことにより、フィードバックに適応して、性能を統計学的に改善することができる。ネットワーク出力の性能の臨床的評価に基づくこの反復トレーニング及び転送学習サイクルは、提示される手法のロバスト性及び臨床的影響の最適化に役立つ。最後に、この方法及びシステム２は、仮想染色に基づいて関心のある領域を局所的に識別し、この情報を使用して、例えば、マイクロ免疫組織化学又はシーケンシングについて組織の続く解析をガイドすることにより、非染色組織レベルでのマイクロガイド分子解析に使用し得る。非標識組織試料でのこのタイプの仮想マイクロガイダンスは、疾患のサブタイプの高スループット識別を促進することができると共に、患者にカスタマイズされた治療の開発にも役立つ。
【0037】
試料準備
キシレンを使用して、ホルマリン固定パラフィン包埋２μｍ厚組織切片を脱パラフィン化し、Ｃｙｔｏｓｅａｌ（商標）（Ｔｈｅｒｍｏ－Ｆｉｓｈｅｒ Ｓｃｉｅｎｔｉｆｉｃ，Ｗａｌｔｈａｍ，ＭＡ ＵＳＡ）を使用して標準ガラススライドに載せ、その後、カバースリップ（Ｆｉｓｈｅｒｆｉｎｅｓｔ（商標），２４×５０－１，Ｆｉｓｈｅｒ Ｓｃｉｅｎｔｉｆｉｃ，Ｐｉｔｔｓｂｕｒｇｈ，ＰＡ ＵＳＡ）を配置した。非標識組織試料の初期自己蛍光撮像プロセス（ＤＡＰＩ励起及び放射フィルタセットを使用）に続き、スライドを次に、約４８時間又は組織にダメージなくカバースリップを取り外すことができるまでキシレン中に配置した。カバースリップが取り外されると、スライドを無水アルコール、９５％アルコールに浸漬し（約３０回）、次に脱イオン水に約１分洗浄した。このステップに続き、Ｈ＆Ｅ、マッソントリクローム、又はジョーンズ染色に使用される対応する染色手順が続いた。この組織処理パスは、手法のトレーニング及び検証のみに使用され、ネットワークがトレーニングされた後は必要ない。システム及び方法をテストするために、異なる組織及び染色組合せを使用した：唾液腺及び甲状腺組織切片はＨ＆Ｅを用いて染色し、腎臓組織切片はジョーンズ染色を用いて染色し、肝臓及び肺組織切片はマッソントリクロームを用いて染色した。
キシレンを使用して、ホルマリン固定パラフィン包埋２μｍ厚組織切片を脱パラフィン化し、Ｃｙｔｏｓｅａｌ（商標）（Ｔｈｅｒｍｏ－Ｆｉｓｈｅｒ Ｓｃｉｅｎｔｉｆｉｃ，Ｗａｌｔｈａｍ，ＭＡ ＵＳＡ）を使用して標準ガラススライドに載せ、その後、カバースリップ（Ｆｉｓｈｅｒｆｉｎｅｓｔ（商標），２４×５０－１，Ｆｉｓｈｅｒ Ｓｃｉｅｎｔｉｆｉｃ，Ｐｉｔｔｓｂｕｒｇｈ，ＰＡ ＵＳＡ）を配置した。非標識組織試料の初期自己蛍光撮像プロセス（ＤＡＰＩ励起及び放射フィルタセットを使用）に続き、スライドを次に、約４８時間又は組織にダメージなくカバースリップを取り外すことができるまでキシレン中に配置した。カバースリップが取り外されると、スライドを無水アルコール、９５％アルコールに浸漬し（約３０回）、次に脱イオン水に約１分洗浄した。このステップに続き、Ｈ＆Ｅ、マッソントリクローム、又はジョーンズ染色に使用される対応する染色手順が続いた。この組織処理パスは、手法のトレーニング及び検証のみに使用され、ネットワークがトレーニングされた後は必要ない。システム及び方法をテストするために、異なる組織及び染色組合せを使用した：唾液腺及び甲状腺組織切片はＨ＆Ｅを用いて染色し、腎臓組織切片はジョーンズ染色を用いて染色し、肝臓及び肺組織切片はマッソントリクロームを用いて染色した。
【0038】
ＷＳＩ研究では、ＦＦＰＥ２～４μｍ厚組織切片は、自己蛍光撮像段階中、カバースリップされなかった。自己蛍光撮像に続き、組織試料を上述したように組織的に染色した（肝臓組織切片ではマッソントリクローム及び腎臓組織切片ではジョーンズ）。組織切片をＯ．Ｃ．Ｔ．（Ｔｉｓｓｕｅ Ｔｅｋ，ＳＡＫＵＲＡ ＦＩＮＥＴＥＫ ＵＳＡ ＩＮＣ）中に埋め込み、ドライアイスを有する２－メチルブタンに浸漬することにより、非染色冷凍試料を準備した。次に、冷凍切片を４μｍ切片にカットし、撮像されるまで冷凍庫に配置した。撮像プロセスに続き、組織切片を７０％アルコールで洗浄し、Ｈ＆Ｅ染色し、カバースリップした。Ｔｒａｎｓｌａｔｉｏｎａｌ Ｐａｔｈｏｌｏｇｙ Ｃｏｒｅ Ｌａｂｏｒａｔｏｒｙ（ＴＰＣＬ）から試料を取得し、ＵＣＬＡのＨｉｓｔｏｌｏｇｙ Ｌａｂにより準備した。糖尿病患者及び非糖尿病患者の腎臓組織切片をＩＲＢ １８－００１０２９（ＵＣＬＡ）の下で取得した。患者関連情報を匿名化した後、全試料を取得し、既存の標本から準備した。したがって、この作業はケア又は試料収集手順の標準の慣行を妨げなかった。
【0039】
データ取得
モータ駆動ステージを装備した従来の蛍光顕微鏡１１０（１×８３、Ｏｌｙｍｐｕｓ Ｃｏｒｐｏｒａｔｉｏｎ，Ｔｏｋｙｏ，Ｊａｐａｎ）を使用して、無標識組織自己蛍光画像２０を捕捉し、画像取得プロセスはＭｅｔａＭｏｒｐｈ（登録商標）顕微鏡オートメーションソフトウェア（Ｍｏｌｅｃｕｌａｒ Ｄｅｖｉｃｅｓ，ＬＬＣ）により制御された。非染色組織試料を近ＵＶ光で励起させ、４０×／０．９５ＮＡ対物レンズ（Ｏｌｙｍｐｕｓ ＵＰＬＳＡＰＯ ４０Ｘ２／０．９５ＮＡ、ＷＤ０．１８）又は２０×／０．７５ＮＡ対物レンズ（Ｏｌｙｍｐｕｓ ＵＰＬＳＡＰＯ ２０Ｘ／０．７５ＮＡ、ＷＤ０．６５）と共にＤＡＰＩフィルタキューブ（ＯＳＦＩ３－ＤＡＰＩ－５０６０Ｃ、励起波長３７７ｎｍ／５０ｎｍ帯域幅、放射波長４４７ｎｍ／６０ｎｍ帯域幅）を使用して撮像した。メラニン推測の場合、１０×／０．４ＮＡ対物レンズ（Ｏｌｙｍｐｕｓ ＵＰＬＳＡＰＯ１０Ｘ２）と共にＣｙ５フィルタキューブ（ＣＹ５－４０４０Ｃ－ＯＦＸ、励起波長６２８ｎｍ／４０ｎｍ帯域幅、放射波長６９２ｎｍ／４０ｎｍ帯域幅）を使用して、試料の自己蛍光画像を更に取得した。露出時間約５００ｍｓで科学的ＣＭＯＳセンサ（ＯＲＣＡ－ｆｌａｓｈ４．０ ｖ２，Ｈａｍａｍａｔｓｕ Ｐｈｏｔｏｎｉｃｓ Ｋ．Ｋ．，Ｓｈｉｚｕｏｋａ Ｐｒｅｆｅｃｔｕｒｅ，Ｊａｐａｎ）を用いて各自己蛍光画像を捕捉した。２×倍率アダプタを装備した２０×／０．７５ＮＡ対物レンズ（Ｐｌａｎ Ａｐｏ）を使用したスライドスキャナ顕微鏡（Ａｐｅｒｉｏ ＡＴ，Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ）を使用して、明視野画像４８（トレーニング及び検証に使用される）を取得した。
モータ駆動ステージを装備した従来の蛍光顕微鏡１１０（１×８３、Ｏｌｙｍｐｕｓ Ｃｏｒｐｏｒａｔｉｏｎ，Ｔｏｋｙｏ，Ｊａｐａｎ）を使用して、無標識組織自己蛍光画像２０を捕捉し、画像取得プロセスはＭｅｔａＭｏｒｐｈ（登録商標）顕微鏡オートメーションソフトウェア（Ｍｏｌｅｃｕｌａｒ Ｄｅｖｉｃｅｓ，ＬＬＣ）により制御された。非染色組織試料を近ＵＶ光で励起させ、４０×／０．９５ＮＡ対物レンズ（Ｏｌｙｍｐｕｓ ＵＰＬＳＡＰＯ ４０Ｘ２／０．９５ＮＡ、ＷＤ０．１８）又は２０×／０．７５ＮＡ対物レンズ（Ｏｌｙｍｐｕｓ ＵＰＬＳＡＰＯ ２０Ｘ／０．７５ＮＡ、ＷＤ０．６５）と共にＤＡＰＩフィルタキューブ（ＯＳＦＩ３－ＤＡＰＩ－５０６０Ｃ、励起波長３７７ｎｍ／５０ｎｍ帯域幅、放射波長４４７ｎｍ／６０ｎｍ帯域幅）を使用して撮像した。メラニン推測の場合、１０×／０．４ＮＡ対物レンズ（Ｏｌｙｍｐｕｓ ＵＰＬＳＡＰＯ１０Ｘ２）と共にＣｙ５フィルタキューブ（ＣＹ５－４０４０Ｃ－ＯＦＸ、励起波長６２８ｎｍ／４０ｎｍ帯域幅、放射波長６９２ｎｍ／４０ｎｍ帯域幅）を使用して、試料の自己蛍光画像を更に取得した。露出時間約５００ｍｓで科学的ＣＭＯＳセンサ（ＯＲＣＡ－ｆｌａｓｈ４．０ ｖ２，Ｈａｍａｍａｔｓｕ Ｐｈｏｔｏｎｉｃｓ Ｋ．Ｋ．，Ｓｈｉｚｕｏｋａ Ｐｒｅｆｅｃｔｕｒｅ，Ｊａｐａｎ）を用いて各自己蛍光画像を捕捉した。２×倍率アダプタを装備した２０×／０．７５ＮＡ対物レンズ（Ｐｌａｎ Ａｐｏ）を使用したスライドスキャナ顕微鏡（Ａｐｅｒｉｏ ＡＴ，Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ）を使用して、明視野画像４８（トレーニング及び検証に使用される）を取得した。
【0040】
画像事前処理及び位置合わせ
ディープニューラルネットワーク１０は、化学的に染色されていない組織試料２２の自己蛍光画像２０と、組織化学的に染色された同じ組織試料２２の明視野画像４８との間の統計学的変換を学習することを目的とするため、入力画像とターゲット画像（すなわち、非染色自己蛍光画像２０と染色された明視野画像４８）とのＦＯＶを正確に一致させることが重要である。ＭＡＴＬＡＢ（Ｔｈｅ ＭａｔｈＷｏｒｋｓ Ｉｎｃ．，Ｎａｔｉｃｋ，ＭＡ，ＵＳＡ）で実施された大域的及び局所的画像レジストレーションプロセスを記述する全体方式は図８において説明される。このプロセスの最初のステップは、非染色自己蛍光画像と化学染色明視野画像とを一致させる候補特徴を見つけることである。このために、各自己蛍光画像２０（２０４８×２０４８ピクセル）をダウンサンプリングして、明視野顕微鏡画像の有効ピクセルサイズを一致させる。これにより、１３５１×１３５１ピクセルの非染色自己蛍光組織画像になり、これは、全てのピクセル値の下１％及び上１％を飽和させることによりコントラスト強調され、グレースケール変換されたホールスライドイメージのカラーマップをよりよく表すようにコントラスト反転される（図８における画像２０ａ）。次に、相関パッチプロセス６０が実行され、１３５１×１３５１ピクセルパッチのそれぞれ１つをホールスライドグレースケール画像４８ａから抽出された同サイズの対応するパッチと相関付けることにより、正規化相関スコア行列が計算される。最高スコアを有するこの行列内のエントリは、２つの撮像モダリティ間で一致する可能性が最も高いＦＯＶを表す。この情報（座標ペアを定義する）を使用して、元のホールスライド明視野画像４８の一致するＦＯＶはクロッピングされて（４８ｃ）、ターゲット画像４８ｄを作成する。このＦＯＶ一致手順６０に続き、自己蛍光画像２０及び明視野顕微鏡画像４８は粗くマッチングされる。しかしながら、これらは、同じ試料の入力画像とターゲット画像との間に僅かな回転角（約１～２度）をランダムに生じさせる２つの異なる顕微鏡撮像実験（自己蛍光、それに続いて明視野）での試料配置の僅かなミスマッチに起因して、個々のピクセルレベルではまだ正確にレジストレーションされていない。
ディープニューラルネットワーク１０は、化学的に染色されていない組織試料２２の自己蛍光画像２０と、組織化学的に染色された同じ組織試料２２の明視野画像４８との間の統計学的変換を学習することを目的とするため、入力画像とターゲット画像（すなわち、非染色自己蛍光画像２０と染色された明視野画像４８）とのＦＯＶを正確に一致させることが重要である。ＭＡＴＬＡＢ（Ｔｈｅ ＭａｔｈＷｏｒｋｓ Ｉｎｃ．，Ｎａｔｉｃｋ，ＭＡ，ＵＳＡ）で実施された大域的及び局所的画像レジストレーションプロセスを記述する全体方式は図８において説明される。このプロセスの最初のステップは、非染色自己蛍光画像と化学染色明視野画像とを一致させる候補特徴を見つけることである。このために、各自己蛍光画像２０（２０４８×２０４８ピクセル）をダウンサンプリングして、明視野顕微鏡画像の有効ピクセルサイズを一致させる。これにより、１３５１×１３５１ピクセルの非染色自己蛍光組織画像になり、これは、全てのピクセル値の下１％及び上１％を飽和させることによりコントラスト強調され、グレースケール変換されたホールスライドイメージのカラーマップをよりよく表すようにコントラスト反転される（図８における画像２０ａ）。次に、相関パッチプロセス６０が実行され、１３５１×１３５１ピクセルパッチのそれぞれ１つをホールスライドグレースケール画像４８ａから抽出された同サイズの対応するパッチと相関付けることにより、正規化相関スコア行列が計算される。最高スコアを有するこの行列内のエントリは、２つの撮像モダリティ間で一致する可能性が最も高いＦＯＶを表す。この情報（座標ペアを定義する）を使用して、元のホールスライド明視野画像４８の一致するＦＯＶはクロッピングされて（４８ｃ）、ターゲット画像４８ｄを作成する。このＦＯＶ一致手順６０に続き、自己蛍光画像２０及び明視野顕微鏡画像４８は粗くマッチングされる。しかしながら、これらは、同じ試料の入力画像とターゲット画像との間に僅かな回転角（約１～２度）をランダムに生じさせる２つの異なる顕微鏡撮像実験（自己蛍光、それに続いて明視野）での試料配置の僅かなミスマッチに起因して、個々のピクセルレベルではまだ正確にレジストレーションされていない。
【0041】
入力－ターゲット一致プロセスの第２の部分は、自己蛍光画像と明視野画像との間のこの僅かな回転角を補正する大域的レジストレーションステップ６４を含む。これは、画像ペアから特徴ベクトル（記述子）及びそれらの対応するロケーションを抽出し、抽出された記述子を使用することにより特徴を一致させることにより行われる。次に、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムの一変形であるＭ推定サンプルコンセンサス（ＭＳＡＣ）アルゴリズムを使用して、一致したペアに対応する変換行列が見つけられる。最後に、この変換行列を元の明視野顕微鏡画像パッチ４８ｄに適用することにより、角度補正画像４８ｅが取得される。この回転の適用に続き、画像２０ｂ、４８ｅは１００ピクセル値（各側で５０ピクセル）だけ更にクロッピングされて、回転角補正に起因した画像境界における未定義ピクセルに適応する。
【0042】
最後に、局所特徴レジストレーション動作６８について、大から小へ対応するブロックを階層的に一致させることによる両組の画像（自己蛍光２０ｂｖｓ明視野４８ｅ）の局所特徴を一致させる弾性画像レジストレーション。ニューラルネットワーク７１を使用して、大まかに一致した画像間の変換を学習する。このネットワーク７１は、図１０におけるネットワーク１０と同じ構造を使用する。少数の反復が使用され、したがって、ネットワーク７１は正確なカラーマッピングのみを学習し、入力画像と標識画像との間のいかなる空間的変換も学習しない。このステップから計算された変換マップは最後に、各明視野画像パッチ４８ｅに適用される。これらのレジストレーションステップ６０、６４、６８の終わりに、自己蛍光画像パッチ２０ｂ及びそれらの対応する明視野組織画像パッチ４８ｆは互いに正確に一致し、ディープニューラルネットワーク１０をトレーニングするための入力及び標識ペアとして使用することができ、ネットワークが仮想組織学的染色の問題のみにフォーカスして学習できるようにする。
【0043】
２０×対物レンズ画像（表２及び表３のデータ生成に使用された）の場合、同様のプロセスが使用された。自己蛍光画像２０をダウンサンプリングする代わりに、明視野顕微鏡画像４８は、低倍率画像と一致するように、元のサイズの７５．８５％にダウンサンプリングされた。さらに、これらの２０×画像を使用してホールスライドイメージを作成するために、追加のシェード補正及び正規化技法を適用した。ネットワーク７１に供給される前、スライド全体にわたる平均値を減算し、ピクセル値間の標準偏差で除算することにより、各視野を正規化した。これは、各スライド内及びスライド間の両方でネットワーク入力を正規化する。最後に、シェード補正を各画像に適用して、各視野の縁部で測定された低相対強度を解決した。
【0044】
ディープニューラルネットワークのアーキテクチャ及びトレーニング
この作業では、ＧＡＮアーキテクチャを使用して、無標識非染色自己蛍光入力画像２０から化学染色試料の対応する明視野画像４８への変換を学習した。標準の畳み込みニューラルネットワークベースのトレーニングは、ネットワークの出力とターゲット標識との間の損失／費用関数を最小化するように学習する。したがって、この損失関数６９（図９及び図１０）の選択は、ディープネットワーク設計の極めて重要な構成要素である。例えば、費用関数として単にｌ２ノルムペナルティを選ぶことは、ネットワークが全てのもっともらしい結果の加重確率を平均するため、ぼやけた結果を生成する傾向があり、したがって、ネットワークの出力に望ましい鮮鋭な試料特徴を保存するようにネットワークをガイドするために、一般に追加の正則化項が必要である。ＧＡＮは、ディープネットワークの出力画像が真であるか偽であるか（すなわち、仮想染色で正しいかそれとも誤っているか）を正確に分類することを目的とした基準を学習することによりこの問題を回避する。これは、望ましい標識と一貫しない出力画像を容認しないようにし、損失関数を目下のデータ及び望ましいタスクに適応させる。この目標を達成するために、ＧＡＮトレーニング手順は、図９及び図１０に示されるように、２つの異なるネットワークのトレーニングを含む：（ｉ）この場合、非染色自己蛍光入力画像２０と組織学的染色プロセス後の同じ試料１２の対応する明視野画像４８との間の統計学的変換を学習することを目的とする生成ネットワーク７０及び（ｉｉ）染色組織切片の真の明視野画像と生成ネットワークの出力画像との区別の仕方を学習する識別ネットワーク７４。最終的に、このトレーニングプロセスの望ましい結果は、非染色自己蛍光入力画像２０を、同じ試料２２の染色明視野画像４８から区別不可能なデジタル染色画像４０に変換するトレーニングされたディープニューラルネットワーク１０である。このために、生成器７０及び識別器７４の損失関数６９は、
のように定義され、式中、Ｄは識別ネットワーク出力を指し、ｚ標識は化学染色組織の明視野画像を示し、ｚ出力は生成ネットワークの出力を示す。生成器損失関数は、ピクセル毎のＭＳＥ損失及び結合生成器損失（ｌ生成器）のそれぞれ約２％及び約２０％に適応する経験的に異なる値に設定される正則化パラメータ（λ，α）を使用して、標識に対する生成ネットワーク出力画像のピクセル毎の平均二乗誤差（ＭＳＥ）、出力画像の全変動（ＴＶ）演算子、及び出力画像の識別ネットワーク予測のバランスを取る。画像ｚのＴＶ演算子は、
として定義され、式中、ｐ，ｑはピクセルインデックスである。式（１）に基づいて、識別器は、真の標識（すなわち、化学染色組織の明視野画像）を正確に分類する確率を最大化しながら、出力損失を最小化しようとする。理想的には、識別ネットワークはＤ（Ｚ標識）＝１及びＤ（ｚ出力）＝０の達成を目標とするが、生成器がＧＡＮにより首尾良くトレーニングされる場合、Ｄ（ｚ出力）は理想的には０．５に収束する。
この作業では、ＧＡＮアーキテクチャを使用して、無標識非染色自己蛍光入力画像２０から化学染色試料の対応する明視野画像４８への変換を学習した。標準の畳み込みニューラルネットワークベースのトレーニングは、ネットワークの出力とターゲット標識との間の損失／費用関数を最小化するように学習する。したがって、この損失関数６９（図９及び図１０）の選択は、ディープネットワーク設計の極めて重要な構成要素である。例えば、費用関数として単にｌ２ノルムペナルティを選ぶことは、ネットワークが全てのもっともらしい結果の加重確率を平均するため、ぼやけた結果を生成する傾向があり、したがって、ネットワークの出力に望ましい鮮鋭な試料特徴を保存するようにネットワークをガイドするために、一般に追加の正則化項が必要である。ＧＡＮは、ディープネットワークの出力画像が真であるか偽であるか（すなわち、仮想染色で正しいかそれとも誤っているか）を正確に分類することを目的とした基準を学習することによりこの問題を回避する。これは、望ましい標識と一貫しない出力画像を容認しないようにし、損失関数を目下のデータ及び望ましいタスクに適応させる。この目標を達成するために、ＧＡＮトレーニング手順は、図９及び図１０に示されるように、２つの異なるネットワークのトレーニングを含む：（ｉ）この場合、非染色自己蛍光入力画像２０と組織学的染色プロセス後の同じ試料１２の対応する明視野画像４８との間の統計学的変換を学習することを目的とする生成ネットワーク７０及び（ｉｉ）染色組織切片の真の明視野画像と生成ネットワークの出力画像との区別の仕方を学習する識別ネットワーク７４。最終的に、このトレーニングプロセスの望ましい結果は、非染色自己蛍光入力画像２０を、同じ試料２２の染色明視野画像４８から区別不可能なデジタル染色画像４０に変換するトレーニングされたディープニューラルネットワーク１０である。このために、生成器７０及び識別器７４の損失関数６９は、
【0045】
生成器ディープニューラルネットワークアーキテクチャ７０を図１０に詳述する。入力画像２０は、ダウンサンプリングパス及びアップサンプリングパスを使用して、種々の異なるスケールで種々の仮想染色タスクをネットワークが学習するのを助けるマルチスケールでネットワーク７０により処理される。ダウンサンプリングパスは、それぞれ１つの残差ブロックを含む４つの個々のステップ（４つのブロック＃１、＃２、＃３、＃４）からなり、各ステップは特徴マップｘｋを特徴マップｘｋ＋１にマッピングし：
式中、ＣＯＮＶ｛．｝は畳み込み演算子（バイアス項を含む）であり、ｋ１、ｋ２、及びｋ３は畳み込み層のシリアル番号を示し、ＬＲｅＬＵ［．］は、
として定義されるネットワーク全体を通して使用された非線形活性化関数（すなわち、漏洩正規化線形ユニット）である。
【0046】
ダウンサンプリングパスにおける各レベルの入力チャネル数は、１、６４、１２８、２５６に設定され、一方、ダウンサンプリングパスにおける出力チャネル数は６４、１２８、２５６、５１２に設定された。各ブロックの寸法ミスマッチを回避するために、特徴マップｘｋはゼロパディングされて、ｘｋ＋１におけるチャネル数に一致させる。各ダウンサンプリングレベル間の接続は、４の係数（各方向で２重）で特徴マップをダウンサンプリングするストライドを２ピクセル有する２×２平均プール層である。４番目のダウンサンプリングブロックの出力に続き、別の畳み込み層（ＣＬ）は、アップサンプリングパスに接続する前、特徴マップの数を５１２として維持する。アップサンプリングパスは、４つの対称アップサンプリングステップ（＃１、＃２、＃３、＃４）からなり、各ステップは１つの畳み込みブロックを含む。畳み込みブロック演算は、特徴マップｙｋを特徴マップｙｋ＋１にマッピングし、
により与えられ、式中、ＣＯＮＣＡＴ（．）は、チャネル数を統合する２つの特徴マップ間の連結であり、ＵＳ｛．｝はアップサンプリング演算子であり、ｋ４、ｋ５、及びｋ６は畳み込み層のシリアル番号を示す。アップサンプリングパスにおける各レベルの入力チャネル数は１０２４、５１２、２５６、１２８に設定され、アップサンプリングパスにおける各レベルの出力チャネル数は２５６、１２８、６４、３２にそれぞれ設定された。最後の層は、３２のチャネルをＹＣｂＣｒカラーマップで表される３つのチャネルにマッピングする畳み込み層（ＣＬ）である。生成ネットワーク及び識別ネットワークは両方とも、パッチサイズ２５６×２５６ピクセルを用いてトレーニングされた。
【0047】
図１０にまとめられた識別ネットワークは、入力画像４０ＹＣｂＣｒ、４８ＹＣｂＣｒのＹＣｂＣｒ色空間に対応する３つの入力チャネルを受信する。この入力は次に、畳み込み層を使用して６４チャネル表現に変換され、その後、以下の演算子
の５ブロックが続き、式中、ｋ１、ｋ２は畳み込み層のシリアル番号を示す。各層のチャネル数は３、６４、６４、１２８、１２８、２５６、２５６、５１２、５１２、１０２４、１０２４、２０４８であった。次の層は、パッチサイズ（２５６×２５６）に等しいフィルタサイズを有する平均プール層であり、２０４８エントリを有するベクトルを生成した。この平均プール層の出力は次に、以下の構造：
を有する２つの全結合層（ＦＣ）に供給され、式中、ＦＣは学習可能な重み及びバイアスを有する全結合層を表す。第１の全結合層は２０４８エントリを有するベクトルを出力し、一方、第２の全結合層はスカラー値を出力する。このスカラー値はシグモイド活性化関数Ｄ（ｚ）＝１／（１＋ｅｘｐ（－ｚ））への入力として使用され、シグモイド活性化関数は、図１０の出力６７に示されるように、識別ネットワーク入力が真／真正又は偽である確率（０～１）、すなわち、理想的にはＤ（Ｚ標識）＝１を計算する。
【0048】
ＧＡＮ全体を通して畳み込みカーネルは３×３に設定された。これらのカーネルは、標準偏差０．０５及び平均０を有する切断正規分布を使用することによりランダムに初期化され、全てのネットワークバイアスは０として初期化された。学習可能パラメータは、生成ネットワーク７０では１×１０－４及び識別ネットワーク７４では１×１０－５の学習率を有する適応モーメント推定（Ａｄａｍ）オプティマイザを使用してバックプロパゲーション（図１０の破線矢印で示される）によりディープニューラルネットワーク１０のトレーニングステージを通して更新された。また、識別器７４の各反復で、生成ネットワーク７０の４つの反復があり、標識への識別ネットワークの潜在的な過剰適合に続くトレーニング停滞を回避した。バッチサイズ１０をトレーニングで使用した。
【0049】
全ての視野がネットワーク１０を通過すると、ホールスライドイメージは、Ｆｉｊｉ Ｇｒｉｄ／Ｃｏｌｌｅｃｔｉｏｎステッチングプラグイン（例えば、Ｓｃｈｉｎｄｅｌｉｎ，Ｊ．ら著、Ｆｉｊｉ：ａｎ ｏｐｅｎ－ｓｏｕｒｃｅ ｐｌａｔｆｏｒｍ ｆｏｒ ｂｉｏｌｏｇｉｃａｌ－ｉｍａｇｅ ａｎａｌｙｓｉｓ．Ｎａｔ．Ｍｅｔｈｏｄｓ ９，６７６－６８２（２０１２年）参照、これは参照により本明細書に援用される）を使用して一緒にステッチングされる。このプラグインは、各タイル間の厳密な重複を計算し、線形にブレンドして１つの大きな画像にする。全体的に、推測及びステッチングはそれぞれｃｍ２毎に約５分及び約３０秒かかり、ハードウェア及びソフトウェアの進歩を使用して実質的に改善することができる。病理学者に見せる前、自己蛍光画像又は明視野画像の何れかでピントぼけした切片又は大きな収差（例えば、ちり粒子に起因して）を有する切片は、クロッピングされる。最終的に画像は、病理学者による容易なアクセス及び閲覧のために、Ｚｏｏｍｉｆｙフォーマット（標準ウェブブラウザを使用して大きな画像を見られるようにするように設計されるｈｔｔｐ：／／ｚｏｏｍｉｆｙ．ｃｏｍ／）にエクスポートされ、ＧＩＧＡｍａｃｒｏウェブサイト（ｈｔｔｐｓ：／／ｖｉｅｗｅｒ．ｇｉｇａｍａｃｒｏ．ｃｏｍ／）にアップロードされた。
【0050】
実装詳細
トレーニングされたパッチ数、エポック数、及びトレーニング時間を含めたその他の実装詳細を以下の表５に示す。デジタル／仮想染色ディープニューラルネットワーク１０は、Ｐｙｔｈｏｎバージョン３．５．０を使用して実装された。ＧＡＮはＴｅｎｓｏｒＦｌｏｗフレームワークバージョン１．４．０を使用して実装された。使用された他のＰｈｙｔｈｏｎライブラリはｏｓ、ｔｉｍｅ、ｔｑｄｍ、Ｐｙｔｈｏｎイメージングライブラリ（ＰＩＬ）、ＳｃｉＰｙ、ｇｌｏｂ、ｏｐｓ、ｓｙｓ、及びｎｕｍｐｙであった。ソフトウェアは、Ｗｉｎｄｏｗｓ１０オペレーティングシステム（Ｍｉｃｒｏｓｏｆｔ）を実行する、４．２ＧＨｚ（Ｉｎｔｅｌ）のＣｏｒｅ ｉ７－７７００Ｋ ＣＰＵ及び６４ＧＢのＲＡＭを有するデスクトップコンピュータで実装された。ネットワークのトレーニング及びテストは、デュアルＧｅＦｏｒｃｅ（登録商標）ＧＴＸ １０８０Ｔｉ ＧＰＵ（ＮＶｉｄｉａ）を使用して実行した。
トレーニングされたパッチ数、エポック数、及びトレーニング時間を含めたその他の実装詳細を以下の表５に示す。デジタル／仮想染色ディープニューラルネットワーク１０は、Ｐｙｔｈｏｎバージョン３．５．０を使用して実装された。ＧＡＮはＴｅｎｓｏｒＦｌｏｗフレームワークバージョン１．４．０を使用して実装された。使用された他のＰｈｙｔｈｏｎライブラリはｏｓ、ｔｉｍｅ、ｔｑｄｍ、Ｐｙｔｈｏｎイメージングライブラリ（ＰＩＬ）、ＳｃｉＰｙ、ｇｌｏｂ、ｏｐｓ、ｓｙｓ、及びｎｕｍｐｙであった。ソフトウェアは、Ｗｉｎｄｏｗｓ１０オペレーティングシステム（Ｍｉｃｒｏｓｏｆｔ）を実行する、４．２ＧＨｚ（Ｉｎｔｅｌ）のＣｏｒｅ ｉ７－７７００Ｋ ＣＰＵ及び６４ＧＢのＲＡＭを有するデスクトップコンピュータで実装された。ネットワークのトレーニング及びテストは、デュアルＧｅＦｏｒｃｅ（登録商標）ＧＴＸ １０８０Ｔｉ ＧＰＵ（ＮＶｉｄｉａ）を使用して実行した。
【0051】
本発明の実施形態について示し説明したが、本発明の範囲から逸脱せずに種々の変更を行い得る。したがって、本発明は、以下の特許請求の範囲及びその均等物への限定を除き、限定されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】