特許 7505116 デジタル病理画像についてのマルチスキャナにおける相違の深層学習を使用した補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】デジタル病理画像についてのマルチスキャナにおける相違の深層学習を使用した補正

(51)【国際特許分類】

   G06T 1/40 20060101AFI20240617BHJP

   G06T 1/00 20060101ALI20240617BHJP

   G01N 33/48 20060101ALI20240617BHJP

   G01N 33/483 20060101ALI20240617BHJP

【ＦＩ】

G06T1/40

G06T1/00 290Z

G01N33/48 M

G01N33/483 C

【請求項の数】 18

(21)【出願番号】P 2023512309

(86)(22)【出願日】2021-08-19

(65)【公表番号】

(43)【公表日】2023-09-06

(86)【国際出願番号】 US2021046678

(87)【国際公開番号】W WO2022040418

(87)【国際公開日】2022-02-24

【審査請求日】2023-03-15

(31)【優先権主張番号】63/068,585

(32)【優先日】2020-08-21

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100173565

【弁理士】

【氏名又は名称】末松 亮太

(72)【発明者】

【氏名】ロルサクル，アウラヌチ

(72)【発明者】

【氏名】ヂャオ，ズオ

(72)【発明者】

【氏名】ニエ，ヤオ

(72)【発明者】

【氏名】ワーン，シンウェイ

(72)【発明者】

【氏名】グエン，キエン

【審査官】三沢 岳志

(56)【参考文献】

【文献】特表２０２０－５０２６６５（ＪＰ，Ａ）

【文献】特開２０１８－１９２２６４（ＪＰ，Ａ）

【文献】国際公開第２０２０／１３９８３５（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１９９６９９（ＷＯ，Ａ１）

【文献】Tianyang ZHANG et al.，“Noise Adaptation Generative Adversarial Network for Medical Image Analysis”，IEEE Transactions on Medical Imaging，2020年04月，Vol. 39, No. 4，p.1149-1159，DOI: 10.1109/TMI.2019.2944488

【文献】古賀 諒一ほか，“病理画像の染色変換に本質的な特徴の抽出と可視化の試み”，電子情報通信学会技術研究報告 (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))，2020年01月22日，第119巻，p.215-218

【文献】Jian REN et al.，“Adversarial Domain Adaptation for Classification of Prostate Histopathology Whole-Slide Images”，Medical Image Computing and Computer Assisted Intervention MICCAI 2018，2018年06月06日，pp.201-209，DOI: 10.1007/978-3-030-00934-2_23

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／４０

Ｇ０６Ｔ １／００

Ｇ０１Ｎ ３３／４８

Ｇ０１Ｎ ３３／４８３

(57)【特許請求の範囲】

【請求項1】

生物学的標本のソース画像を取得することであって、前記ソース画像が、第１の種類のスキャナから生成される、ソース画像を取得することと、
前記ソース画像から導出される、ランダムに生成されたノイズベクトルおよび潜在特徴ベクトルを生成器モデルに入力することであって、
前記ランダムに生成されたノイズベクトルおよび前記潜在特徴ベクトルが、前記生成器モデルへの入力データとして供する、
ランダムに生成されたノイズベクトルおよび潜在特徴ベクトルを生成器モデルに入力することと、
前記生成器モデルによって、前記入力データに基づいて新たな画像を生成することと、
前記新たな画像を識別器モデルに入力することと、
前記識別器モデルによって、前記新たな画像が真または偽である確率を生成することであって、
真が、前記新たな画像がターゲット画像の特性に類似する特性を有することを意味し、偽が、前記新たな画像が前記ターゲット画像の特性に類似する特性を有しないことを意味し、
前記ターゲット画像の前記特性が、前記第１の種類のスキャナとは異なる第２の種類のスキャナに関連付けられており、
前記識別器モデルが、訓練データの正規化されたサンプル画像から学習された前記ターゲット画像の特性の確率分布を、前記新たな画像の特性の確率分布と比較することに基づいて、前記新たな画像についての前記確率を生成する、
前記新たな画像が真または偽である確率を生成することと、
生成された前記確率に基づいて、前記新たな画像が真であるか偽であるかを決定することと、
前記画像が真である場合に、前記新たな画像を真のラベルとともに出力することと、
前記画像が偽である場合に、前記新たな画像を偽のラベルとともに出力することと、
を含む、方法。

【請求項2】

前記生物学的標本が病理スライドに載せられ、前記第１の種類のスキャナが第１の種類の全スライドイメージングスキャナであり、前記第２の種類のスキャナが第２の種類の全スライドイメージングスキャナである、請求項１に記載の方法。

【請求項3】

前記新たな画像を画像分析モデルに入力することであって、前記画像分析モデルが、前記第２の種類のスキャナと同じ種類のスキャナから取得された画像を含む訓練データのセットを使用して学習された複数のモデルパラメータを含む、前記新たな画像を画像分析モデルに入力することと、
前記画像分析モデルによって、前記新たな画像を分析することと、
前記画像分析モデルによって、前記新たな画像の前記分析に基づく分析結果を生成することと、
前記分析結果を出力することと、
をさらに含む、請求項１に記載の方法。

【請求項4】

前記画像分析モデルが、前記第１の種類のスキャナと同じ種類のスキャナから取得された画像に対しては訓練されない、請求項３に記載の方法。

【請求項5】

前記新たな画像を含む訓練データのセットを使用して画像分析モデルを訓練することをさらに含む、請求項１に記載の方法。

【請求項6】

前記生成器モデルおよび前記識別器モデルが、敵対的生成ネットワーク（ＧＡＮ）モデルの一部である、請求項１に記載の方法。

【請求項7】

前記ＧＡＮモデルが、１つ以上の画像のペアワイズセットを含む訓練データのセットを使用して学習された複数のモデルパラメータを含み、前記１つ以上の画像のペアワイズセット内の画像の各ペアが、前記第１の種類のスキャナによって生成された第１の画像と、前記第２の種類のスキャナによって生成された第２の画像とを含み、
前記複数のモデルパラメータが、前記訓練データのセットの確率を最大化するように前記識別器モデルを訓練するための第１の損失関数と、前記生成器モデルからサンプリングされた生成画像の確率を最小化するように前記識別器モデルを訓練し、かつ前記識別器モデルが前記生成画像に割り当てる確率を最大化するように前記生成器モデルを訓練するための第２の損失関数とを最小化することに基づいて、前記訓練データのセットを使用して学習される、請求項６に記載の方法。

【請求項8】

システムであって、
１つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、
生物学的標本のソース画像を取得することであって、前記ソース画像が、第１の種類のスキャナから生成される、ソース画像を取得することと、
前記ソース画像から導出される、ランダムに生成されたノイズベクトルおよび潜在特徴ベクトルを生成器モデルに入力することであって、
前記ランダムに生成されたノイズベクトルおよび前記潜在特徴ベクトルが、前記生成器モデルへの入力データとして供する、
ランダムに生成されたノイズベクトルおよび潜在特徴ベクトルを生成器モデルに入力することと、
前記生成器モデルによって、前記入力データに基づいて新たな画像を生成することと、
前記新たな画像を識別器モデルに入力することと、
前記識別器モデルによって、前記新たな画像が真または偽である確率を生成することであって、
真が、前記新たな画像がターゲット画像の特性に類似する特性を有することを意味し、偽が、前記新たな画像が前記ターゲット画像の特性に類似する特性を有しないことを意味し、
前記ターゲット画像の前記特性が、前記第１の種類のスキャナとは異なる第２の種類のスキャナに関連付けられており、
前記識別器モデルが、訓練データ内の正規化されたサンプル画像から学習された前記ターゲット画像の特性の確率分布を、前記新たな画像の特性の確率分布と比較することに基づいて、前記新たな画像についての前記確率を生成する、
前記新たな画像が真または偽である確率を生成することと、
生成された前記確率に基づいて、前記新たな画像が真であるか偽であるかを決定することと、
前記画像が真である場合に、前記新たな画像を真のラベルとともに出力することと、
前記画像が偽である場合に、前記新たな画像を偽のラベルとともに出力することと、
を含む動作を実行させる、非一時的コンピュータ可読記憶媒体と、
を備える、システム。

【請求項9】

前記生物学的標本が病理スライドに載せられ、前記第１の種類のスキャナが第１の種類の全スライドイメージングスキャナであり、前記第２の種類のスキャナが第２の種類の全スライドイメージングスキャナである、請求項８に記載のシステム。

【請求項10】

前記動作が、
前記新たな画像を画像分析モデルに入力することであって、前記画像分析モデルが、前記第２の種類のスキャナと同じ種類のスキャナから取得された画像を含む訓練データのセットを使用して学習された複数のモデルパラメータを含む、前記新たな画像を画像分析モデルに入力することと、
前記画像分析モデルによって、前記新たな画像を分析することと、
前記画像分析モデルによって、前記新たな画像の前記分析に基づく分析結果を生成することと、
前記分析結果を出力することと、
をさらに含む、請求項８に記載のシステム。

【請求項11】

前記画像分析モデルが、前記第１の種類のスキャナと同じ種類のスキャナから取得された画像に対しては訓練されない、請求項１０に記載のシステム。

【請求項12】

前記動作が、前記新たな画像を含む訓練データのセットを使用して画像分析モデルを訓練することをさらに含む、請求項１１に記載のシステム。

【請求項13】

前記生成器モデルおよび前記識別器モデルが、敵対的生成ネットワーク（ＧＡＮ）モデルの一部であり、
前記ＧＡＮモデルが、１つ以上の画像のペアワイズセットを含む訓練データのセットを使用して学習された複数のモデルパラメータを含み、前記１つ以上の画像のペアワイズセット内の画像の各ペアが、前記第１の種類のスキャナによって生成された第１の画像と、前記第２の種類のスキャナによって生成された第２の画像とを含み、
前記複数のモデルパラメータが、前記訓練データのセットの確率を最大化するように前記識別器モデルを訓練するための第１の損失関数と、前記生成器モデルからサンプリングされた生成画像の確率を最小化するように前記識別器モデルを訓練し、かつ前記識別器モデルが前記生成画像に割り当てる前記確率を最大化するように前記生成器モデルを訓練するための第２の損失関数とを最小化することに基づいて、前記訓練データのセットを使用して学習される、請求項８に記載のシステム。

【請求項14】

１つ以上のデータプロセッサに、
生物学的標本のソース画像を取得することであって、前記ソース画像が、第１の種類のスキャナから生成される、ソース画像を取得することと、
前記ソース画像から導出される、ランダムに生成されたノイズベクトルおよび潜在特徴ベクトルを生成器モデルに入力することであって、
前記ランダムに生成されたノイズベクトルおよび前記潜在特徴ベクトルが、前記生成器モデルへの入力データとして供する、
ランダムに生成されたノイズベクトルおよび潜在特徴ベクトルを生成器モデルに入力することと、
前記生成器モデルによって、前記入力データに基づいて新たな画像を生成することと、
前記新たな画像を識別器モデルに入力することと、
前記識別器モデルによって、前記新たな画像が真または偽である確率を生成することであって、
真が、前記新たな画像がターゲット画像の特性に類似する特性を有することを意味し、偽が、前記新たな画像が前記ターゲット画像の特性に類似する特性を有しないことを意味し、
前記ターゲット画像の前記特性が、前記第１の種類のスキャナとは異なる第２の種類のスキャナに関連付けられており、
前記識別器モデルが、訓練データ内の正規化されたサンプル画像から学習された前記ターゲット画像の特性の確率分布を、前記新たな画像の特性の確率分布と比較することに基づいて、前記新たな画像についての前記確率を生成する、
前記新たな画像が真または偽である確率生成することと、
生成された前記確率に基づいて、前記新たな画像が真であるか偽であるかを決定することと、
前記画像が真である場合に、前記新たな画像を真のラベルとともに出力することと、
前記画像が偽である場合に、前記新たな画像を偽のラベルとともに出力することと、
を含む動作を実行させるように構成された命令を含む、
非一時的機械可読記憶媒体に記録されたコンピュータプログラム。

【請求項15】

前記生物学的標本が病理スライドに載せられ、前記第１の種類のスキャナが第１の種類の全スライドイメージングスキャナであり、前記第２の種類のスキャナが第２の種類の全スライドイメージングスキャナである、請求項１４に記載のコンピュータプログラム。

【請求項16】

前記動作が、
前記新たな画像を画像分析モデルに入力することであって、前記画像分析モデルが、前記第２の種類のスキャナと同じ種類のスキャナから取得された画像を含む訓練データのセットを使用して学習された複数のモデルパラメータを含む、前記新たな画像を画像分析モデルに入力することと、
前記画像分析モデルによって、前記新たな画像を分析することと、
前記画像分析モデルによって、前記新たな画像の前記分析に基づく分析結果を生成することと、
前記分析結果を出力することと、
をさらに含む、請求項１４に記載のコンピュータプログラム。

【請求項17】

前記画像分析モデルが、前記第１の種類のスキャナと同じ種類のスキャナから取得された画像に対しては訓練されない、請求項１６に記載のコンピュータプログラム。

【請求項18】

前記生成器モデルおよび前記識別器モデルが、敵対的生成ネットワーク（ＧＡＮ）モデルの一部であり、
前記ＧＡＮモデルが、１つ以上の画像のペアワイズセットを含む訓練データのセットを使用して学習された複数のモデルパラメータを含み、前記１つ以上の画像のペアワイズセット内の画像の各ペアが、前記第１の種類のスキャナによって生成された第１の画像と、前記第２の種類のスキャナによって生成された第２の画像とを含み、
前記複数のモデルパラメータが、前記訓練データのセットの確率を最大化するように前記識別器モデルを訓練するための第１の損失関数と、前記生成器モデルからサンプリングされた生成画像の確率を最小化するように前記識別器モデルを訓練し、かつ前記識別器モデルが前記生成画像に割り当てる前記確率を最大化するように前記生成器モデルを訓練するための第２の損失関数とを最小化することに基づいて、前記訓練データのセットを使用して学習される、請求項１４に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年８月２１日に出願された米国仮特許出願第６３／０６８，５８５号の利益および優先権を主張するものであり、その全体があらゆる目的のために参照により本明細書に組み込まれる。

【0002】

分野
本開示は、デジタル病理学に関し、特に、異なるスライドスキャナによって取得されたデジタル病理画像を画像分析のための共通フォーマットに変換するための技術に関する。

【背景技術】

【0003】

背景
デジタル病理学は、患者を正確に診断し、治療上の意思決定を導くために、デジタル化された画像の解釈を伴う。全スライドイメージング（ＷＳＩ）は、組織サンプル（例えば、組織病理または細胞病理ガラススライド）の予め選択された領域またはスライド全体を走査してデジタル画像にするデジタル病理学において使用されるイメージングモダリティである。デジタル化のプロセスは、画像取得（走査）、記憶、編集、および画像の表示の４つの連続した部分を含む。画像取得は、典型的には、光源、スライドステージ、対物レンズ、および画像キャプチャ用の高解像度カメラを有する全スライドスキャナによって実行される。全スライドスキャナは、タイルごとにまたはライン走査方式で組織切片の画像をキャプチャする。複数の画像（それぞれタイルまたはライン）は、予め選択された領域またはスライド全体のデジタル画像を生成するためにキャプチャされ、デジタル的に組み立てられる（「スティッチングされる」）。スキャナをスライド染色技術とペアリングする場合、ＷＳＩは、明視野、蛍光、およびマルチスペクトルとして分類されることができる。一部のスキャナは、例えば明視野走査と蛍光走査の双方を可能にするなど、複数のモダリティに対応することができる。明視野走査は、標準的な明視野顕微鏡法をエミュレートし、費用対効果の高い手法である。蛍光走査は、蛍光顕微鏡法に類似しており、蛍光標識スライド（例えば、蛍光免疫組織化学（ＩＨＣ）、蛍光インサイチュハイブリダイゼーションなど）をデジタル化するために使用される。マルチスペクトルイメージングは、光のスペクトルにわたってスペクトル情報をキャプチャし、明視野および蛍光の双方の設定に適用されることができる。

【0004】

多くのＷＳＩシステムは、ユーザコンピュータにローカルにインストールされることができる画像閲覧ソフトウェアを含む。他のベンダは、ネットワークサーバ上に存在するより大きなソフトウェアスイートの一部としてこの能力を提供し、ユーザがネットワーク接続を介して自身のデバイス上でスライド画像全体を見ることを可能にする。画像分析アルゴリズムをスライド画像全体に適用したいユーザのために、ベンダによって提供される画像閲覧ソフトウェアのいくつかは、ヘマトキシリン－エオシン（Ｈ＆Ｅ）画像において細胞を検出し、陽性染色を計算し、領域分割を行い、または核分割を行うことができるアルゴリズムとともにパッケージ化される。スキャナベンダが提供するよりも高度なまたは特殊な画像分析アルゴリズムを探しているユーザのために、サードパーティベンダから様々な機能を備えた多数のソフトウェアソリューションが利用可能である。これらの画像分析アルゴリズムは、多くの場合、部門のワークフローに統合され、スライド全体の閲覧と併せてオンデマンド画像分析を提供することができる。しかしながら、ほとんどの画像分析アルゴリズムは、（すなわち、特定の全スライドスキャナのために開発された）特定の全スライドスキャナからの画像に対して訓練され、したがって、それらの全スライドスキャナからの特定の特性を有するデジタル画像に対してのみ動作することができる。異なる種類またはモデルのデジタルスライドスキャナによって生成されたいくつかのデジタル画像の特性は、画像分析アルゴリズムと互換性がない場合がある。したがって、画像分析アルゴリズムがスキャナに依存しない（任意の種類のスキャナによって取得された画像に対して動作する）ことが望まれている。

【発明の概要】

【0005】

概要
様々な実施形態では、生物学的標本のソース画像を取得することであって、ソース画像が第１の種類のスキャナから生成される、ソース画像を取得することと、ソース画像からランダムに生成されたノイズベクトルおよび潜在特徴ベクトルを入力データとして生成器モデルに入力することと、生成器モデルによって、入力データに基づいて新たな画像を生成することと、新たな画像を識別器モデルに入力すること、識別器モデルによって、新たな画像が真または偽である確率を生成することであって、真が、新たな画像がターゲット画像の特性に類似する特性を有することを意味し、偽が、新たな画像がターゲット画像の特性に類似する特性を有しないことを意味し、ターゲット画像の特性が、第１の種類のスキャナとは異なる第２の種類のスキャナに関連付けられる、新たな画像が真または偽である確率を生成することと、生成された確率に基づいて、新たな画像が真であるか偽であるかを決定することと、画像が真である場合に新たな画像を出力することと、を含むコンピュータ実装方法が提供される。

【0006】

いくつかの実施形態では、生物学的標本は、病理スライドに取り付けられ、第１の種類のスキャナは、第１の種類の全スライドイメージングスキャナであり、第２の種類のスキャナは、第２の種類の全スライドイメージングスキャナである。

【0007】

いくつかの実施形態では、コンピュータ実装方法は、新たな画像を画像分析モデルに入力することであって、画像分析モデルによって、第２の種類のスキャナと同じ種類のスキャナから取得された画像を含む訓練データのセットを使用して学習された複数のモデルパラメータを含む、新たな画像を画像分析モデルに入力することと、画像分析モデルによって、新たな画像を分析することと、画像分析モデルによって、新たな画像の分析に基づく分析結果を生成することと、分析結果を出力することと、をさらに含む。

【0008】

いくつかの実施形態では、画像分析モデルは、第１の種類のスキャナと同じ種類のスキャナから取得された画像に対しては訓練されない。

【0009】

いくつかの実施形態では、コンピュータ実装方法は、新たな画像を含む訓練データのセットを使用して画像分析モデルを訓練することをさらに含む。

【0010】

いくつかの実施形態では、ＧＡＮモデルは、画像の１つ以上のペアワイズセットを含む訓練データのセットを使用して学習された複数のモデルパラメータを含み、画像の１つ以上のペアワイズセット内の画像の各ペアは、第１の種類のスキャナによって生成された第１の画像と、第２の種類のスキャナによって生成された第２の画像とを含み、複数のモデルパラメータは、訓練データのセットの確率を最大化するように識別器モデルを訓練するための第１の損失関数と、生成器モデルからサンプリングされた生成画像の確率を最小化するように識別器モデルを訓練し、かつ識別器モデルが生成画像に割り当てる確率を最大化するように生成器モデルを訓練するための第２の損失関数とを最小化することに基づいて、訓練データのセットを使用して学習される。

【0011】

いくつかの実施形態では、コンピュータ実装方法は、ユーザによって、分析結果に基づいて被験者の診断を決定することをさらに含む。

【0012】

いくつかの実施形態では、コンピュータ実装方法は、（ｉ）分析結果、および／または（ｉｉｉ）被験者の診断に基づいて、化合物による治療をユーザによって投与することをさらに含む。

【0013】

いくつかの実施形態では、１つ以上のデータプロセッサと、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体と、を備えるシステムが提供される。

【0014】

いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含む、コンピュータプログラム製品が提供される。

【0015】

本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を備える。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

【0016】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された任意の特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【0017】

様々な実施形態の態様および特徴は、添付の図面を参照して例を説明することによってより明らかになるであろう。

【図面の簡単な説明】

【0018】

【図1】様々な実施形態にかかるデジタル病理学的ワークフローを示している。

【図2A】様々な実施形態にかかる２つの異なるデジタル病理スキャナから取得されたデジタル画像の比較を示している。

【図2B】様々な実施形態にかかる２つの異なるデジタル病理スキャナから取得されたデジタル画像の比較を示している。

【図3】様々な実施形態にかかる代替的なデジタル病理学的ワークフローを示している。

【図4】様々な実施形態にかかる関心のあるオブジェクトのインスタンスをセグメント化するための例示的なコンピューティング環境を示している。

【図5】様々な実施形態にかかる敵対的生成ネットワーク（ＧＡＮ）を示している。

【図6】様々な実施形態にかかる位置合わせを伴う第１のデジタル病理スライドスキャナおよび第２のデジタル病理スライドスキャナからのペアの訓練画像の例を示している。

【図7】様々な実施形態にかかる、第１のデジタル画像スキャナから取得された画像のソースセットを、画像のターゲットセットと同様の特性を有する画像の新たな生成されたセットに変換するためのプロセスを示している。

【図8】様々な実施形態にかかる異なるバイオマーカーについて染色されたデジタル病理画像の例を示している。

【図9】様々な実施形態にかかる、異なるバイオマーカーおよびその特性について染色されたデジタル病理画像のさらなる例を示している。

【発明を実施するための形態】

【0019】

詳細な説明
特定の実施形態が説明されているが、これらの実施形態は例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書に記載された装置、方法、およびシステムは、様々な他の形態で具現化されることができる。さらにまた、保護の範囲から逸脱することなく、本明細書に記載の例示的な方法およびシステムの形態の様々な省略、置換、および変更を行うことができる。

【0020】

Ｉ．概要
例えば疾患によって引き起こされる組織変化の評価は、薄い組織切片を検査することによって行われることができる。組織サンプルがスライスされて一連の切片（例えば、４～５μｍの切片）を取得することができ、各組織切片は、異なる染色またはマーカーによって染色されて、組織の異なる特性を発現させることができる。各切片は、スライドに載せられ、走査されて、コンピュータ化されたデジタル病理画像分析アルゴリズムによる分析のためのデジタル画像を生成することができる。様々な種類またはモデルのデジタル病理スライドスキャナが使用されて、デジタル画像を走査および生成することができる。例えば、病変スライドのデジタル画像は、ＶＥＮＴＡＮＡ（登録商標）ＤＰ ２００スライドスキャナ、ＶＥＮＴＡＮＡ ｉＳｃａｎ（登録商標）ＨＴスライドスキャナ、Ａｐｅｒｉｏ ＡＴ２スライドスキャナ、または他の種類のスライドスキャナを使用して走査および生成されることができる。画像ビューアソフトウェアを使用してデジタル画像内の組織を手動で評価すること、または関心のある生物学的オブジェクトを検出および分類する画像分析アルゴリズムによってそれを自動的に分析することが可能である。

【0021】

デジタル病理学的ソリューションでは、画像分析ワークフローが確立されて、関心のある生物学的オブジェクト、例えば陽性、陰性腫瘍細胞などを自動的に検出または分類することができる。図１は、デジタル病理学的ソリューションのワークフロー１００の例示的な図を示している。デジタル病理学的ソリューションワークフロー１００は、ブロック１０５において組織スライドを取得することと、ブロック１１０においてデジタル画像を取得するためにデジタル画像スキャナ（例えば、ＷＳＩスキャナ）によって予め選択された領域または組織スライドの全体を走査することと、ブロック１１５において１つ以上の画像分析アルゴリズムを使用してデジタル画像に対して画像分析を実行することと、画像分析に基づいて関心のあるオブジェクトをスコアリング（例えば、陽性、陰性、中程度、弱いなどの定量的スコアリングまたは半定量的スコアリング）することと、を含む。

【0022】

多くの場合、図１に関して説明したデジタル病理学的ソリューションワークフローにおいて使用される画像分析アルゴリズムは、ハードウェア（例えば、デジタルスキャナ）または染色プロトコルの可能性のある変更のために変更される必要がある。例えば、高品質で高解像度のＶＥＮＴＡＮＡ（登録商標）ＤＰ ２００スライドスキャナは、以前のＶＥＮＴＡＮＡ ｉＳｃａｎ（登録商標）ＨＴスライドスキャナに徐々に取って代わった。図２は、それぞれＶＥＮＴＡＮＡ ｉＳｃａｎ（登録商標）ＨＴ（Ａ）およびＶＥＮＴＡＮＡ（登録商標）ＤＰ ２００（Ｂ）全スライドスキャナを使用して走査された組織スライドの例を示している。これらの２つのスキャナから取得された画像は異なることが示されている（すなわち、一方のスキャナから取得された画像は、他方のスキャナから取得された画像と比較して異なる特性（例えば、改善されたコントラストおよび／または解像度）を有する）。ＶＥＮＴＡＮＡ ｉＳｃａｎ（登録商標）ＨＴスキャナを使用して取得された画像に基づいて開発されたいくつかのレガシー画像分析アルゴリズムは、ＶＥＮＴＡＮＡ（登録商標）ＤＰ ２００スキャナから取得された画像を処理するためにそれらを適用するときに最良の性能を達成しない可能性がある。例えば、ＶＥＮＴＡＮＡ ｉＳｃａｎ（登録商標）ＨＴのために開発された元のアルゴリズムをＶＥＮＴＡＮＡ（登録商標）ＤＰ ２００スキャナによって取得された画像に直接適用する場合、アルゴリズム結果の性能は、標準以下であり得ることが実験により示されている。結果として、画像分析アルゴリズムを継続的に更新または変更することが必要になり、追加のリソース、コスト、および時間を必要とする。一般に、新たなスキャナ用の画像分析アルゴリズムを開発するには６ヶ月以上かかる可能性があり、新たなスキャナによって複数の画像分析アルゴリズムが実装されている場合、問題の影響が複合される可能性がある。この問題は、最初は専用スキャナによって特定されていたが、デジタル病理業界の多くのデジタル病理スキャナおよびソリューションのワークフローは、この同じ問題に悩まされていることを理解されたい。

【0023】

これらの制限および他の制限を克服するために、敵対的生成ネットワーク（ＧＡＮ）として知られる深層学習ベースの生成モデルを使用して、第１のデジタル画像スキャナ（例えば、ＶＥＮＴＡＮＡ（登録商標）ＤＰ ２００スキャナ）から取得された画像のソースセットを、第２の画像スキャナ（例えば、ＶＥＮＴＡＮＡ ｉＳｃａｎ（登録商標）ＨＴ）から取得可能な画像のターゲットセットと同様の特性を有する新たに生成画像のセットに変換するための技術が本明細書に開示される。ＧＡＮは、２つの分布（例えば、画像のソースセットからの特性および画像のターゲットセットからの特性）を推定することを学習することができ、これを使用して例を一方の分布（例えば、画像のソースセット）から他方の分布（例えば、画像のターゲットセット）に変換することができる。ＧＡＮが、第１のデジタル画像スキャナから取得された画像のソースセットを、画像のターゲットセットと同様の特性を有する新たに生成画像のセットに変換するように訓練されると、新たに生成画像のセットは、画像分析アルゴリズムを再開発する必要なく、最小限のコストおよび時間で、第２のデジタル画像スキャナからの画像に対して訓練された画像分析アルゴリズムを使用して分析されることができる。

【0024】

図３は、本開示の態様にかかるデジタル病理学的ソリューションワークフロー３００の例示的な図を示している。デジタル病理学的ソリューションワークフロー３００は、ブロック３０５において組織スライドを取得することと、ブロック３１０においてソースデジタル画像のセットを生成するために予め選択された領域または組織スライドの全体を第１のデジタル画像スキャナ（第１のデジタル画像スキャナからの画像は、画像分析アルゴリズムを訓練するために使用されなかった）によって走査することと、を含む。第１のデジタル画像スキャナからの画像は、画像分析アルゴリズムを訓練するために使用されなかったため、ソースデジタル画像のセットは、ブロック３１５において取得され、ブロック３２０において深層学習ベースの生成モデルに入力されて、ソースデジタル画像のセットを、ブロック３２５において第２のデジタル画像スキャナ（第２のデジタルスキャナからの画像は、画像分析アルゴリズムを訓練するために使用された）から取得可能な画像のターゲットセットと同様の特性を有する新たな生成画像のセットに変換する。ブロック３３０において、画像分析アルゴリズムを使用して新たに生成画像のセットに対して画像分析が実行され、ブロック３３５において、画像分析に基づいて関心のあるオブジェクトがスコアリング（例えば、陽性、陰性、中程度、弱いなどの定量的スコアリングまたは半定量的スコアリング）される。したがって、これらの２つのデジタル画像スキャナ間の画像差分が正規化されることができ、レガシー画像分析アルゴリズムを訓練するために使用されなかったスキャナから取得された画像にレガシー画像分析アルゴリズムが適用されることができる。

【0025】

本開示の例示的な一実施形態は、生物学的標本のソース画像を取得することであって、ソース画像が第１の種類のスキャナから生成される、ソース画像を取得することと、ランダムに生成されたノイズベクトルと、ソース画像からの特徴の潜在特徴ベクトル（または１次元ベクトル）とを入力データとして生成器モデルに入力することと、生成器モデルによって、入力データに基づいて新たな画像を生成することと、新たな画像を識別器モデルに入力することと、識別器モデルによって、新たな画像が真または偽である確率を生成することであって、真が、新たな画像がターゲット画像の特性に類似する特性を有することを意味し、偽が、新たな画像がターゲット画像の特性に類似する特性を有しないことを意味し、ターゲット画像の特性が、第１の種類のスキャナとは異なる第２の種類のスキャナに関連付けられる、新たな画像が真または偽である確率を生成することと、生成された確率に基づいて、新たな画像が真であるか偽であるかを決定することと、画像が真である場合に新たな画像を出力することと、を含む、方法に関する。

【0026】

有利には、これらの技術は、異なるデジタルスキャナによって生成されたデジタル画像を、既存のコンピュータ化されたデジタル画像分析アルゴリズムを使用して分析されることができる画像に変換し、異なるイメージングサイトから取得された画像の画像変動を補正することによって、コンピュータ化されたデジタル画像分析アルゴリズムをスキャナに依存しないようにすることができる。これらの技術はまた、任意の新世代スキャナの将来のアルゴリズム開発に使用されることができ、その結果、他のスキャナによって走査された画像が変換され、新世代スキャナの訓練データとして利用されることができる。さらに、これらの技術が使用されて、異なるサイトからデータを転送し、画像分析アルゴリズムの開発の主な課題の１つである事前分析条件による変動を補正することができる。

【0027】

ＩＩ．定義
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

【0028】

本明細書で使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、および「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの（および完全に指定されるものを含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］以内」で置き換えられることができ、パーセンテージは、０．１、１、５、および１０％を含む。

【0029】

本明細書で使用される場合、「サンプル」、「生物学的サンプル」または「組織サンプル」という用語は、ウイルスを含む任意の生物から取得される生物学的分子（タンパク質、ペプチド、核酸、脂質、炭水化物、またはそれらの組み合わせなど）を含む任意のサンプルを指す。生物の他の例は、哺乳類（ヒト、ネコ、イヌ、ウマ、ウシ、およびブタなどの獣医動物、ならびにマウス、ラット、霊長類などの実験動物など）、昆虫、環形動物、クモ形類動物、有袋類、爬虫類、両生類、細菌、および菌類などを含む。生物学的サンプルは、組織サンプル（組織切片や組織の針生検など）、細胞サンプル（Ｐａｐ塗抹標本もしくは血液塗抹標本などの細胞学的塗抹標本、またはマイクロダイセクションによって取得された細胞のサンプルなど）、または細胞分画、断片または細胞小器官（細胞を溶解し、遠心分離などによってそれらの成分を分離することによって取得される）を含む。生物学的サンプルの他の例は、血液、血清、尿、精液、糞便、脳脊髄液、間質液、粘膜、涙、汗、膿、生検組織（例えば、外科的生検または針生検によって取得される）、乳頭吸引物、耳垢、乳、膣液、唾液、ぬぐい液（頬スワブなど）、または最初の生物学的サンプルに由来する生物学的分子を含む任意の材料を含む。特定の実施形態では、本明細書で使用される「生物学的サンプル」という用語は、被験者から取得された腫瘍またはその一部から準備されたサンプル（均質化または液化されたサンプルなど）を指す。

【0030】

ＩＩＩ．デジタル病理画像変換のための技術
コンピュータ化されたデジタル画像分析アルゴリズムは、特定のデジタル病理スライドスキャナ（特定の種類のスキャナ、例えば、特定の製造業者からの特定のスキャナ、または特定のスキャナモデル）から取得された病理画像を分析するために利用可能である。そのような場合、特定のデジタル病理スライドスキャナからの画像に対して訓練された画像分析アルゴリズムを使用した異なるデジタル病理スライドスキャナからのデジタル病理画像の分析は、所望の効果または精度を達成しない可能性がある。本開示の様々な態様によれば、異なるスライドスキャナから取得されたデジタル病理画像は、画像分析アルゴリズムを使用して所望の効果または精度を達成することができるように、特定のデジタル病理スライドスキャナからの画像と同様の特性を有する画像に変換される。

【0031】

図４は、様々な実施形態にかかる、第１のデジタル画像スキャナから取得されたソースデジタル画像のセットを、第２のデジタル画像スキャナから取得可能な画像のターゲットセットと同様の特性を有する新たに生成画像のセットに変換するための例示的なコンピューティング環境４００（すなわち、データ処理システム）を示している。図４に示すように、この例においてコンピューティング環境４００によって実行される画像のソースセットの変換は、いくつかの段階、すなわち、画像取得段階４０５、モデル訓練段階４１０、変換段階４１５、および分析段階４２０を含む。画像取得段階４１０は、生物学的サンプルスライド（例えば、組織スライド）の予め選択された領域または全体からデジタル画像４３０のソースセットおよびデジタル画像４３５のターゲットセットを取得するためのデジタル画像スキャナ４２５を含む。デジタル画像スキャナ４２５は、デジタル画像４３０のソースセットを取得するための第１の種類のデジタル画像スキャナと、デジタル画像４３５のターゲットセットを取得するための第２の種類のデジタル画像スキャナとを含む。

【0032】

モデル訓練段階４１０は、他の段階によって使用されるべき１つ以上のモデル４４０ａ～４４０ｎ（「ｎ」は任意の自然数を表す）（本明細書では個別にモデル４４０と呼ばれることがあり、またはまとめてモデル４４０と呼ばれることがある）を構築して訓練する。モデル４４０は、畳み込みニューラルネットワーク（「ＣＮＮ」）、初期ニューラルネットワーク、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、シングルショットマルチボックス検出器（「ＳＳＤ」）ネットワーク、リカレントニューラルネットワーク（「ＲＮＮ」）、正規化線形ユニット（「ＲｅＬＵ」）、ロングショートタームメモリ（「ＬＳＴＭ」）モデル、ゲーティッドリカレントユニット（「ＧＲＵ」）モデルなど、またはそれらの任意の組み合わせなどの機械学習（「ＭＬ」）モデルとすることができる。様々な実施形態では、モデル４４０は、敵対的生成ネットワーク（「ＧＡＮ」）、深層畳み込み敵対的生成ネットワーク（「ＤＣＧＡＮ」）、変分自己符号化器（ＶＡＥ）、隠れマルコフモデル（「ＨＭＭ」）、ガウス混合モデル、ボルツマンマシンなど、またはそのような技術のうちの１つ以上、例えばＶＡＥ－ＧＡＮの組み合わせなど、教師なし学習を使用して任意の種類のデータ分布を学習することができる生成モデルである。コンピューティング環境４００は、ソース画像を生成画像に変換するために、同じ種類のモデルまたは異なる種類のモデルを使用することができる。特定の例では、モデル４４０は、出力画像が現実であるか偽であるかを分類しようとする損失関数によって構築されたＧＡＮであり、同時にこの損失を最小限に抑えるように生成モデルを訓練する。

【0033】

図５に示す例示的な実施形態では、モデルは、ＧＡＮモデルの拡張である条件付きＧＡＮ（「ＣＧＡＮ」）５００であり、特定の条件または属性を有する画像を生成する。ＣＧＡＮは、出力の結合構成にペナルティを課す構造化損失を学習する。図５を参照すると、ＣＧＡＮ５００は、生成器５１０および識別器５１５を含む。生成器５１０は、ランダムに生成されたノイズベクトル５２０および潜在特徴ベクトル（または１次元ベクトル）５２５（条件、例えば、本例では、ソース画像）を入力データおよび識別器５１５からのフィードバックとして受け取り、できるだけ現実のターゲット画像５３５に近い新たな画像５３０を生成するニューラルネットワーク（例えば、ＣＮＮ）である。場合によっては、生成器５１０は、ダウンサンプリング層とアップサンプリング層との間にスキップ層が追加された、エンコーダ－デコーダネットワークからなる「Ｕ－Ｎｅｔ」アーキテクチャを利用する。識別器５１５は、生成器５１０からの生成画像５３０が現実画像であるか偽画像であるかを識別するための分類器として構成されたニューラルネットワーク（例えば、ＣＮＮ）である。場合によっては、識別器は、パッチ単位による「ＰａｔｃｈＧＡＮ」アーキテクチャを利用する。潜在特徴ベクトル５２５または条件は、ソース画像またはソース画像のセット５４０（例えば、第１のデジタルスキャナからの画像）から導出され、ソース画像５４０から期待されるクラス（例えば、ｎ個のバイオマーカーまたは染色を有する組織サンプル）または特定の特性のセットを符号化する。ランダムに生成されたノイズベクトル５２０は、ガウス分布から生成されてもよく、ベクトル空間は、領域にとって重要であるが直接観測可能ではない潜在変数または隠れ変数から構成されてもよい。潜在特徴ベクトル５２５およびランダムノイズベクトル５２０は、生成器５１０への入力５４５として組み合わせられることができる。

【0034】

生成器５１０は、結合入力５４５を受け取り、問題領域（すなわち、ターゲット画像５３５に関連する特性の領域）における潜在特徴ベクトル５２５およびランダムノイズベクトル５２０に基づいて画像５３０を生成する。識別器５１５は、ターゲット画像５３５（例えば、第２のデジタルスキャナからの画像）および生成画像５３０の双方を入力として条件画像分類を実行し、生成画像５３０がターゲット画像５３５の現実の変換であるか偽の変換であるかの尤度を予測する５５０。識別器５１５の出力は、生成画像５３０のサイズに依存するが、単一の値または値の二乗活性化マップであってもよい。各値は、生成画像５３０内のパッチが実在する尤度の確率である。これらの値が平均化されて、必要に応じて全体的な尤度または分類スコアを得ることができる。生成器５１０および識別器５１５の双方の損失関数は、生成画像５３０がターゲット画像５３５の現実の変換であるか、または偽の変換であるかの尤度を予測するそのジョブ５５０を識別器５１５がどの程度良好に実行するかに大きく依存する。十分な訓練の後、生成器５１０は、より良くなり、生成画像５３０は、ターゲット画像５３５により近く見え始める。ＧＡＮ５００の訓練は、生成画像５３０がターゲット画像５３５と同様の特性を有し、識別器がもはや現実と偽とを識別することができない場合に完了することができる。訓練されると、第１のデジタル画像スキャナから取得された画像のソースセットは、ＧＡＮ５００に入力されて、画像のソースセットを、第２の画像スキャナから取得された画像のターゲットセットと同様の特性を有する新たに生成画像のセットに変換することができる。その後、新たな生成画像のセットは、現在利用可能なコンピュータ化されたデジタル病理画像分析アルゴリズムを使用して分析されることができる。

【0035】

図４に戻って参照すると、この例においてモデル４４０を訓練するために、サンプル４４５は、デジタル画像（デジタル画像４３０のソースセットおよびデジタル画像４３５のターゲットセット）を取得し、訓練（例えば、９０％）のための画像４４５ａのペアワイズサブセット（ソース画像およびターゲット画像のうちの少なくとも一方のペア）および検証（例えば、１０％）のための画像４４５ｂのペアワイズサブセットに画像を分割し、画像４４５ａのペアワイズサブセットおよび画像１４５ｂのペアワイズサブセットを前処理し、画像４４５ａのペアワイズサブセットを増強し、場合によっては、ラベル４５０によって画像４４５ａのペアワイズサブセットに注釈を付けることによって生成される。画像のペアワイズサブセット４４５ａは、１つ以上のイメージングモダリティ（例えば、ＷＳＩスキャナ）から取得される。場合によっては、画像のペアワイズサブセット４４５ａは、１つ以上のイメージングモダリティに関連付けられたデータベース、画像システム（例えば、デジタル画像スキャナ４２５）などのデータ記憶構造から取得される。各画像は、組織などの生物学的サンプルを示す。

【0036】

分割は、ランダムに（例えば、９０／１０％、８０％／２０％または７０／３０％）実行されてもよく、または、分割は、サンプリングバイアスおよびオーバーフィッティングを最小限に抑えるために、Ｋ－分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などのより複雑な検証技術にしたがって実行されてもよい。前処理は、各画像が単一の関心のあるオブジェクトのみを含むように画像をトリミングすることを含むことができる。いくつかの例では、前処理は、全ての特徴を同じスケール（例えば、同じサイズスケールまたは同じカラースケールまたは彩度スケール）に置くための標準化または正規化をさらに含むことができる。特定の例では、画像は、所定の画素（例えば、２５００画素）の最小サイズ（幅または高さ）または所定の画素（例えば、３０００画素）の最大サイズ（幅または高さ）でサイズ変更され、元のアスペクト比を維持する。

【0037】

例えば、第１のスキャナおよび第２のスキャナからの多数のパッチ画像は、訓練データ用の画像の１つ以上のペアワイズサブセットとして準備されることができる。ペア画像の準備は、生物学的サンプルのスライド、例えば、ＣＤ３４－ａＳＭＡ、ＦＡＰ／ＰａｎＣＫ、Ｐｅｒｆｏｒｉｎ／ＣＤ３、Ｋｉ６７／ＣＤ８、ＦｏｘＰ３、ＰＤ１など、またはそれらの任意の組み合わせなどの１つ以上のバイオマーカー発現を有するＩＨＣスライドを取得することを含むことができる。各スライドは、第１のスキャナおよび第２のスキャナの双方を使用して走査され、スライド画像全体を取得する。次に、スライド画像全体が所定のサイズ（例えば、１２８×１２８）にトリミングされて、第１のスキャナおよび第２のスキャナからのいくつかのパッチ画像のペアが選択されて位置合わせされる（同じオブジェクトまたはシーンの２つ以上の画像を位置合わせする）。位置合わせは、固定画像とも呼ばれる、一方のスキャナからの一方の画像を基準画像として指定することと、他方のスキャナからの他方の画像に幾何学的変換または局所変位を適用して、他方の画像を基準画像と位置合わせすることとを含むことができる。このプロセスは、訓練データのための画像の１つ以上のペアワイズサブセットをもたらす。

【0038】

図６は、本開示のいくつかの態様にかかる、位置合わせを伴う第１のデジタルスライドスキャナおよび第２のデジタルスライドスキャナからのペアの訓練画像６００の例を示している。図６を参照すると、左側の列６１０の画像は、第１のデジタルスライドスキャナ（例えば、ＶＥＮＴＡＮＡ（登録商標）ＤＰ ２００）からのソース画像であり、右側の列６２０の画像は、第２のデジタルスライドスキャナ（例えば、ＶＥＮＴＡＮＡ ｉＳｃａｎ（登録商標）ＨＴ）からのターゲット画像である。第１の行３３０は、訓練画像の第１のペアであり、第２の行３４０は、訓練画像の第２のペアであり、第３の行３５０は、訓練画像の第３のペアである。ソース画像およびターゲット画像は、それぞれ、１２８×１２８画素または別のサイズのパッチサイズを有することができる。１２８×１２８画素パッチは、深層学習ネットワークを訓練するためにＧＡＮまたはＣＧＡＮに入力されることができる。

【0039】

図４に戻って参照すると、データセット内の画像の修正バージョンを作成することによって、画像４４５ａのペアワイズサブセットのサイズを人工的に拡張するために増強が使用されることができる。画像データ増強は、元の画像と同じクラスに属するデータセット内の画像の変換バージョンを作成することによって実行されることができる。変換は、シフト、フリップ、ズームなどの画像操作の分野からの動作の範囲を含む。いくつかの例では、動作は、モデル４４０が画像のペアワイズサブセット４４５ａから利用可能な状況外の状況下で実行することができることを保証するために、ランダム消去、シフト、輝度、回転、ガウスぼかし、および／または弾性変換を含む。

【0040】

モデル４４０の訓練プロセスは、モデル４４０のハイパーパラメータを選択することと、画像のペアワイズサブセット４４５ａからモデル４４０に画像を入力して、モデル４４０の１つ以上の損失関数または誤差関数（例えば、画像訓練データの確率を最大化するように識別器を訓練するための第１の損失関数と、生成器からサンプリングされた生成画像の確率を最小化するように識別器を訓練し、識別器がそれ自体の生成画像に割り当てる確率を最大化するように生成器を訓練するための第２の損失関数）を最小化するモデルパラメータのセット（例えば、重みおよび／またはバイアス）を見つける反復動作を実行することと、を含む。ハイパーパラメータは、モデル４４０の挙動を制御するために調整または最適化されることができる設定である。ほとんどのモデルは、メモリまたは実行コストなどのモデルの異なる態様を制御するハイパーパラメータを明示的に定義する。しかしながら、モデルを特定のシナリオに適合させるために、追加のハイパーパラメータが定義されることができる。例えば、ハイパーパラメータは、モデルの隠れユニットの数、モデルの学習率、畳み込みカーネル幅、またはモデルのカーネルの数を含むことができる。訓練の各反復は、モデルパラメータのセットを使用する損失関数または誤差関数の値が、前の反復におけるモデルパラメータの異なるセットを使用する損失関数または誤差関数の値よりも小さくなるように、（ハイパーパラメータの定義されたセットによって構成された）モデル４４０のモデルパラメータのセットを見つけることを含むことができる。損失関数または誤差関数は、モデル４４０を使用して推論された出力と、ラベル４５０を使用したグラウンドトゥルースターゲット画像との間の差を測定するように構築されることができる。

【0041】

モデルパラメータのセットが識別されると、モデル４４０は、訓練されており、画像のペアワイズサブセット４４５ｂ（試験または検証データセット）を使用して検証されることができる。検証プロセスは、ハイパーパラメータを調整し、最終的に最適なハイパーパラメータのセットを見つけるために、Ｋ－分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などの検証技術を使用して、画像のペアワイズサブセット４４５ｂからモデル４４０に画像を入力する反復動作を含む。最適なハイパーパラメータのセットが取得されると、画像のサブセット４４５ｂからの画像の予約された試験セットがモデル４４５に入力されて出力（この例では、ターゲット画像と同様の特性を有する生成画像）を取得し、Ｂｌａｎｄ－Ａｌｔｍａｎ法およびスピアマンのランク相関係数などの相関技術を使用し、誤差、精度、適合率、再現率、受信者動作特性曲線（ＲＯＣ）などの性能メトリックを計算して、出力がグラウンドトゥルースターゲット画像に対して評価される。

【0042】

理解されるべきであるように、他の訓練／検証機構が想定され、コンピューティング環境４００内に実装されてもよい。例えば、モデル４４０は、訓練されてもよく、ハイパーパラメータは、画像４４５ａのペアワイズサブセットからの画像上で調整されてもよく、画像４４５ｂのペアワイズサブセットからの画像は、モデル４４０の性能を試験および評価するためにのみ使用されてもよい。さらに、本明細書において説明される訓練機構は、新たなモデル４４０を訓練することに焦点を当てている。これらの訓練機構はまた、他のデータセットから訓練された既存のモデル４４０を微調整するために利用されることができる。例えば、いくつかの例では、モデル４４０は、他のオブジェクトもしくは生物学的構造の画像を使用して、または他の被験者もしくは研究（例えば、ヒト試験またはマウス実験）からの切片から事前訓練されていてもよい。それらの場合、モデル４４０は、転移学習に使用され、画像４３０／４３５を使用して再訓練／検証されることができる。

【0043】

モデル訓練段階４１０は、１つ以上の訓練された変換モデル４６０および任意に１つ以上の画像分析モデル４６５を含む訓練されたモデルを出力する。場合によっては、第１のモデル４６０ａは、生物学的標本のソース画像４３０を処理するように訓練される。ソース画像４３０は、全体スライドイメージングスキャナなどの第１の種類のスキャナから生成される。ソース画像４３０は、変換段階４１５内の変換コントローラ４７０によって取得される。変換コントローラ４７０は、１つ以上の訓練された変換モデル４６０を使用して、ソース画像４３０を、ターゲット画像の特性に対するそれらの特性を有する新たな画像４７５に変換するためのプログラム命令を含む。ターゲット画像の特性は、第１の種類のスキャナとは異なる第２の種類のスキャナに関連付けられる。変換は以下を含む：（ｉ）ランダムに生成されたノイズベクトルと、ソース画像４３０からの潜在特徴ベクトルとを入力データとして生成器モデル（変換モデル４６０の一部）に入力すること、（ｉｉ）生成器モデルによって、新たな画像４７５を生成すること、（ｉｉｉ）識別器モデル（モデル４６０の別の部分）に新たな画像４７５を入力すること、識別器モデルによって、新たな画像４７５が真または偽である確率（例えば、１と０との間の数）を生成することであって、真が、画像がターゲット画像の特性に類似する特性を有することを意味し、偽が、画像がターゲット画像の特性に類似する特性を有しないことを意味する、新たな画像４７５が真または偽である確率（例えば、１と０との間の数）を生成すること。

【0044】

場合によっては、新たな画像４７５は、分析段階４２０内の分析コントローラ４８０に送信される。分析コントローラ４８０は、１つ以上の画像分析モデル４６５を使用して、新たな画像４７５内の生物学的サンプルを分析し、分析に基づく分析結果４８５を出力するためのプログラム命令を含む。場合によっては、１つ以上の画像分析モデル４６５は、第２の種類のスキャナがターゲット画像の特性と関連付けられるのと同じ種類のスキャナから取得された画像および／または異なる種類のスキャナから取得された画像に対して訓練されたが、ターゲット画像の特性と実質的に同様の特性を有する１つ以上の画像分析アルゴリズム（例えば、レガシー画像分析アルゴリズム）である。その結果、本明細書に記載の技術は、新たな画像分析アルゴリズムを再開発することなく、既存の画像分析アルゴリズム４８０を使用して変換されたソース画像４３０（すなわち、新たな画像４７５）を処理することができる。新たな画像４７５内の生物学的サンプルの分析は、新たな画像４７５内の領域、新たな画像４７５内の１つ以上の細胞、および／または細胞以外の新たな画像４７５内のオブジェクトに基づいて測定値を抽出することを含むことができる。面積ベースの測定は、最も基本的な評価、例えば、特定の染色（例えば、化学染色またはＩＨＣ染色）の面積（２次元）、脂肪小胞の面積、またはスライド上に存在する他の事象を定量化することを含む。細胞ベースの測定は、オブジェクト、例えば細胞の識別および列挙を目的とする。個々の細胞のこの特定は、細胞内区画のその後の評価を可能にする。最後に、個々の細胞から構成されることができない組織切片上に存在する事象またはオブジェクトを評価するために、アルゴリズムが利用されることができる。特定の例では、既存のイメージング分析アルゴリズムは、細胞または細胞内構造の位置を特定し、最終的に診断および予測を支援するために使用されることができる細胞染色、形態、および／または構造の定量的表現を提供するように構成される。

【0045】

明示的に示されていないが、コンピューティング環境４００は、開発者に関連付けられた開発者デバイスをさらに含むことができることが理解されよう。開発者デバイスからコンピューティング環境４００の構成要素への通信は、モデルに使用される入力画像の種類、使用されるモデルの数および種類、各モデルのハイパーパラメータ、例えば学習率および隠れ層の数、データ要求をフォーマットする方法、使用される訓練データ（例えば、および訓練データへのアクセス方法）および使用される検証技術、および／またはコントローラプロセスを構成する方法を示すことができる。

【0046】

図７は、第１のデジタル画像スキャナから取得されたソース画像（例えば、処理されるソース画像のセットからのソース画像）を、ターゲット画像と同様の特性を有する新たな画像（例えば、生成される新たな画像のセットの新たな画像）に変換する例示的なプロセス７００のフローチャートを示している。プロセス７００は、図１～図５に関して本明細書において説明するように、１つ以上のコンピューティングシステム、モデル、およびネットワークを使用して実行されることができる。プロセスは、ブロック７０５において始まり、生物学的標本のソース画像が取得される。ソース画像は、第１の種類のスキャナ（例えば、特定の製造業者からの特定のスキャナまたは特定のスキャナモデル）から生成される。ブロック７１０において、ランダムに生成されたノイズベクトルおよびソース画像からの潜在特徴ベクトルが、入力データとして生成器モデルに入力される。ブロック７１５において、生成器モデルは、入力データに基づいて新たな画像を生成する。ブロック７２０において、新たな画像が識別器モデルに入力される。ブロック７２５において、識別器モデルは、新たな画像が真または偽である確率を生成する。真は、新たな画像がターゲット画像の特性に類似する特性（例えば、強度、コントラスト、解像度、形態境界／形状など）を有することを意味し、偽は、新たな画像がターゲット画像の特性に類似する特性を有しないことを意味する。識別器モデルは、新たな画像の特性の確率分布と比較して、訓練データセット内の正規化されたサンプル画像から学習されたターゲット画像の特性の確率分布を見て、新たな画像が、ターゲット画像が新たな画像を真の画像として分類する確率が高いかどうかを予測し、そうでない場合、識別器は、新たな画像を偽の画像として割り当てる。ターゲット画像および新たな画像の特性の確率分布間の類似性の決定は、相互相関、Ｂｈａｔｔａｃｈａｒｙｙａ距離、または他の数学的アルゴリズム（ターゲット画像と新たな画像との間の平均二乗誤差など）を使用して行うことができる。ターゲット画像の特性は、第１の種類のスキャナとは異なる第２の種類のスキャナに関連付けられる。ブロック７３０において、生成された確率に基づいて、新たな画像が真であるか偽であるかに関する決定が行われる。ブロック７３５において、画像が真である場合、新たな画像が真のラベルとともに出力される。ステップ７４０において、画像が偽である場合、新たな画像が偽のラベルとともに出力される。

【0047】

場合によっては、生成器モデルおよび識別器モデルは、ＧＡＮモデルの一部である。ＧＡＮモデルは、画像の１つ以上のペアワイズセットを含む訓練データのセットを使用して学習された複数のモデルパラメータを含む。画像の１つ以上のペアワイズセット内の画像の各ペアは、第１の種類のスキャナによって生成された第１の画像と、第２の種類のスキャナによって生成された第２の画像とを含む。特定の例では、複数のモデルパラメータは、訓練データのセットの確率を最大化するように識別器モデルを訓練するための第１の損失関数と、生成器モデルからサンプリングされた生成画像の確率を最小化するように識別器モデルを訓練し、かつ識別器モデルが生成画像に割り当てる確率を最大化するように生成器モデルを訓練するための第２の損失関数とを最小化することに基づいて、訓練データのセットを使用して学習される。

【0048】

ブロック７４５において、ブロック７３５において出力された新たな画像を使用して動作が実行される。場合によっては、動作は、新たな画像を画像分析モデルに入力することを含む。画像分析モデルは、第２の種類のスキャナと同じ種類のスキャナから取得された画像を含む訓練データのセットを使用して学習された複数のモデルパラメータを含む。動作は、画像分析モデルによって新たな画像を分析することと、画像分析モデルによって、新たな画像の分析に基づく分析結果を生成することと、分析結果を出力することと、をさらに含む。例えば、画像分析モデルは、第２のデジタル画像スキャナ（例えば、ｉＳｃａｎＨＴ）を使用して特定のマーカー（ＣＤ８、Ｋｉ６７など）を検出するように訓練されることができる。ここで、第１のデジタル画像スキャナ（例えばＤＰ２００）を使用して、スライドが走査され、取得された画像は、第２のデジタル画像スキャナ（例えば、ｉＳｃａｎＨＴ）から取得された画像と比較して異なる特性プロファイル（例えば、異なる色および／または解像度プロファイル）を有する。ＧＡＮモデルを使用して、第１のデジタル画像スキャナ（例えばＤＰ２００）によって走査された画像は、第２のデジタル画像スキャナ（例えば、ｉＳｃａｎＨＴ）によって走査された画像と同様の特性プロファイルを有する画像に変換されることができる。したがって、画像分析モデル（例えば、ＣＤ８、Ｋｉ６７、ＰａｎＣｋ、ＣＤ３などを検出するなど）は、第２のデジタル画像スキャナ（例えば、ｉＳｃａｎＨＴ）によって走査された画像と同様の特性プロファイルを有するように変換された新たな画像を入力として取り込むことができ、画像分析モデルは再訓練される必要はない。画像分析モデルは、第１の種類のスキャナ（例えば、ＤＰ２００）と同じ種類のスキャナから取得された画像に対して訓練されなくてもよい。他の例では、動作は、新たな画像を含む訓練データのセットを使用して画像分析モデルを訓練することを含む。したがって、ＧＡＮによって生成された新たな画像では、画像分析モデルを変更することなく異なるマーカーを分類することが可能であり、画像は異なる種類のスキャナを介して取得されることができる。その後、ユーザは、分析結果に基づいて被験者の診断を決定することができる。ユーザは、（ｉ）分析結果、および／または（ｉｉｉ）被験者の診断に基づいて化合物による治療を投与することができる。

【0049】

本開示にかかる方法は、デジタル画像分析アルゴリズムをスキャナに依存しないようにすることができ、任意のデジタル病理スライドスキャナによって生成されたデジタル病理画像は、デジタル画像分析アルゴリズムによる分析に適した画像に変換されることができる。開示された方法は、他のスキャナによって走査された画像を、新たなスキャナによって生成された画像とペアになった訓練データとして使用されることができる画像に変換することによって、新世代スキャナのための将来の画像分析アルゴリズム開発に適用可能であり得る。さらに、開示された方法は、例えば事前分析条件に起因する画像変動を補正するために、異なる地理的領域に位置する異なるイメージングサイトからデータを転送するために利用されることができる。

【0050】

図８は、本開示のいくつかの態様にかかる、異なるバイオマーカーについて染色されたデジタル病理画像の例を示している。画像は、４枚のスライドのデジタル病理画像である。第１の行８２０は、第１のスライドのソース画像、生成画像およびターゲット画像を含む。第２の行８２１は、第２のスライドのソース画像、生成画像およびターゲット画像を含む。第３の行８２２は、第３のスライドのソース画像、生成画像およびターゲット画像を含む。第４の行８２３は、第４のスライドのソース画像、生成画像およびターゲット画像を含む。各行は、異なるバイオマーカーを明らかにするために染色されたスライドのデジタル病理画像を示す。

【0051】

第１の列８１０内の４枚のスライドのソース画像は、第１のデジタル病理スライドスキャナから取得される。ソース画像は、利用可能なコンピュータ化されたデジタル病理画像分析アルゴリズムを使用した分析には適さない場合がある。第３の列８１２内のターゲット画像は、同じ４枚のスライドのデジタル病理画像であり、第２のデジタル病理スライドスキャナから取得されることができる。第３の列８１２内のターゲット画像（例えば、所望の画像）は、利用可能なコンピュータ化されたデジタル病理画像分析アルゴリズムを使用した分析に適している可能性がある。本開示の態様は、（第１の列８１０内の）ソースデジタル病理画像を、（第３の列８１２内の）ターゲットデジタル病理画像の特性を有する画像に変換することを可能にすることができる。

【0052】

本開示の態様によれば、ソースデジタル病理画像は、訓練されたＧＡＮに入力されてもよく、訓練されたＧＡＮは、既存のコンピュータ化されたデジタル病理画像分析アルゴリズムによる分析に適したターゲット画像の特性を有する生成された新たな画像を出力してもよい。図８を参照すると、第２の列８１１内の画像は、第１の列８１０内のソース画像をＧＡＮへの入力として使用して訓練されたＧＡＮによって生成された新たな画像である。図８から分かるように、第２の列８１１内の生成画像は、第３の列８１２内のターゲット画像と同様の特性を有する。したがって、第２の列８１１内の生成されたデジタル病理画像は、第３の列８１２内のデジタル病理画像を分析するために使用されることができるのと同じコンピュータ化されたデジタル病理画像分析アルゴリズムを使用して分析されることができる。

【0053】

図９は、本開示のいくつかの態様にかかる、異なるバイオマーカーについて染色されたデジタル病理画像のさらなる例を示している。画像は、２枚のスライドのデジタル病理画像である。第１の行９２０は、第１のスライドのソース画像、生成画像およびターゲット画像を含む。第２の行９２１は、第２のスライドのソース画像、生成画像およびターゲット画像を含む。第１の列９１０内の２枚のスライドのソース画像は、第１のデジタル病理スライドスキャナから取得される。ソース画像は、利用可能なコンピュータ化されたデジタル病理画像分析アルゴリズムを使用した分析には適さない場合がある。第３の列９１２内のターゲット画像は、同じ２枚のスライドのデジタル病理画像であり、第２のデジタル病理スライドスキャナから取得されることができる。第３の列９１２内のターゲット画像（例えば、所望の画像）は、利用可能なコンピュータ化されたデジタル病理画像分析アルゴリズムを使用した分析に適している可能性がある。本開示の態様は、（第１の列９１０内の）ソースデジタル病理画像を、（第３の列９１２内の）ターゲットデジタル病理画像の特性を有する画像に変換することを可能にすることができる。

【0054】

本開示の態様によれば、ソースデジタル病理画像は、訓練されたＧＡＮに入力されてもよく、訓練されたＧＡＮは、既存のコンピュータ化されたデジタル病理画像分析アルゴリズムによる分析に適したターゲット画像の特性を有する生成された新たな画像を出力してもよい。図９を参照すると、第２の列９１１内の画像は、第１の列９１０内のソース画像をＧＡＮへの入力として使用して訓練されたＧＡＮによって生成された新たな画像である。図９に見られるように、第２の列９１１内の生成画像は、第３の列９１２内のターゲット画像と同様の特性を有する（同様の位置の同様の特性を表す網掛けドットを参照）。したがって、第２の列９１１内の生成されたデジタル病理画像は、第３の列９１２内のデジタル病理画像を分析するために使用されることができるのと同じコンピュータ化されたデジタル病理画像分析アルゴリズムを使用して分析されることができる。

【0055】

Ｖ．実施例
実施例１．デジタル病理画像についてのマルチスキャナにおける相違の深層学習を使用した補正
ＣＧＡＮは、更新されたスキャナ（ＶＥＮＴＡＮＡ ＤＰ２００）から取得された６つの異なるバイオマーカー発現画像（ＤＡＢ、マルチプレクサ－明視野－ＩＨＣ）を、前世代のスキャナ（ＶＥＮＴＡＮＡ ｉＳｃａｎＨＴ）を使用して走査されたものと同様の画像特性を有する新たな高品質の合成画像に変換するために開発された。１２８×１２８のパッチサイズを有する１２，７４０枚の画像または６，３７０枚のペアリングされた画像を、バイオマーカー発現からなる訓練用のペアリングされたｉＳｃａｎＨＴ／ＤＰ２００画像として使用した：それぞれ、ＣＤ３４－ａＳＭＡ（ＤＡＢ／ｒｅｄ）、ＦＡＰ／ＰａｎＣＫ（黄色／紫色）、Ｐｅｒｆｏｒｉｎ／ＣＤ３（ＤＡＢ／ｒｅｄ）、Ｋｉ６７／ＣＤ８（黄色／紫色）、ＦｏｘＰ３（ＤＡＢ）、およびＰＤ１（ＤＡＢ）。同じ組織スライドを、ｉＳｃａｎＨＴ－スキャナおよびＤＰ２００－スキャナの双方を使用して走査し、一方、パッチ画像を選択し、位置合わせして、ペアの画像が同じ組織切片に位置することを確実にした。

【0056】

視覚的評価は、入力－ＤＰ２００画像が出力－ｉＳｃａｎＨＴ画像に変換され、異なるバイオマーカー画像のターゲット画像と同等の画像特性を有することを示した。オリジナルのｉＳｃａｎＨＴアルゴリズムをターゲットおよび生成されたｉＳｃａｎＨＴ画像に適用した場合、出力画像とターゲット画像との間の検出された腫瘍細胞数の評価の結果、ＰＤ１、ＦｏｘＰ３、Ｋｉ６７ＣＤ８、ＦＡＰ／ＰａｎＣＫ、ＣＤ３４－ａＳＭＡおよびＰｅｒｆｏｒｉｎ／ＣＤ３試験画像について、それぞれ０．８６、０．９３、０．９５、０．８２、０．８０および０．９７のＬｉｎの一致相関係数（ＣＣＣ）が取得された。これは、マルチスキャナにおける相違を補償する可能性を実証し、新たな画像分析アルゴリズムを再開発することなく、レガシー－ｉＳｃａｎＨＴアルゴリズムなどのアルゴリズムを変換されたＤＰ２００画像に適用する能力を示す。この画像－画像変換手法は、任意の新世代スキャナの将来のアルゴリズム開発のための大きなデータセットを生成する可能性を有し、それによって他のスキャナによって走査された画像が変換され、新たなスキャナの訓練データとして使用されることができる。

【0057】

ＶＩ．さらなる考察
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を備える。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

【0058】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された任意の特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【0059】

後続の記載は、好ましい例示の実施形態のみを提供し、本開示の範囲、適用可能性、または構成を限定しようとするものではない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

【0060】

実施形態の徹底的な理解を提供するため、具体的な詳細が以下の記載において与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】