特表 2024-507248 ディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法および分析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-16

(54)【発明の名称】ディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法および分析装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240208BHJP

【ＦＩ】

G06T7/00 630

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023550323

(86)(22)【出願日】2021-04-15

(85)【翻訳文提出日】2023-08-21

(86)【国際出願番号】 KR2021004727

(87)【国際公開番号】W WO2022181879

(87)【国際公開日】2022-09-01

(31)【優先権主張番号】10-2021-0024360

(32)【優先日】2021-02-23

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】512196600

【氏名又は名称】サムソン ライフ パブリック ウェルフェア ファウンデーション

(74)【代理人】

【識別番号】100114188

【弁理士】

【氏名又は名称】小野 誠

(74)【代理人】

【識別番号】100119253

【弁理士】

【氏名又は名称】金山 賢教

(74)【代理人】

【識別番号】100124855

【弁理士】

【氏名又は名称】坪倉 道明

(74)【代理人】

【識別番号】100129713

【弁理士】

【氏名又は名称】重森 一輝

(74)【代理人】

【識別番号】100137213

【弁理士】

【氏名又は名称】安藤 健司

(74)【代理人】

【識別番号】100143823

【弁理士】

【氏名又は名称】市川 英彦

(74)【代理人】

【識別番号】100183519

【弁理士】

【氏名又は名称】櫻田 芳恵

(74)【代理人】

【識別番号】100196483

【弁理士】

【氏名又は名称】川嵜 洋祐

(74)【代理人】

【識別番号】100160749

【弁理士】

【氏名又は名称】飯野 陽一

(74)【代理人】

【識別番号】100160255

【弁理士】

【氏名又は名称】市川 祐輔

(74)【代理人】

【識別番号】100219265

【弁理士】

【氏名又は名称】鈴木 崇大

(74)【代理人】

【識別番号】100203208

【弁理士】

【氏名又は名称】小笠原 洋平

(74)【代理人】

【識別番号】100146318

【弁理士】

【氏名又は名称】岩瀬 吉和

(74)【代理人】

【識別番号】100127812

【弁理士】

【氏名又は名称】城山 康文

(72)【発明者】

【氏名】キム，キョンミ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096BA13

5L096DA01

5L096DA02

5L096EA03

5L096EA43

5L096FA23

5L096FA32

5L096GA51

5L096HA11

5L096KA04

5L096MA03

(57)【要約】

ディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法は、分析装置がターゲット組織に対する第１染色イメージの入力を受ける段階、前記分析装置が前記第１染色イメージを学習されたディープラーニングモデルに入力して第２染色イメージを生成する段階、前記分析装置が前記第１染色映像に対する第１の２進イメージを生成する段階、前記分析装置が前記第２染色映像に対する第２の２進イメージを生成する段階および前記分析装置が前記第１の２進イメージおよび前記第２の２進イメージを基準として前記ターゲット組織の腫瘍－ストロマ比率を算出する段階を含む。

【特許請求の範囲】

【請求項1】

分析装置がターゲット組織に対する第１染色イメージの入力を受ける段階；
前記分析装置が前記第１染色イメージを学習されたディープラーニングモデルに入力して第２染色イメージを生成する段階；
前記分析装置が前記第１染色イメージに対する第１の２進イメージを生成する段階；
前記分析装置が前記第２染色イメージに対する第２の２進イメージを生成する段階；および
前記分析装置が前記第１の２進イメージおよび前記第２の２進イメージを基準として前記ターゲット組織の腫瘍－ストロマ比率を算出する段階を含む、ディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項2】

前記第１染色イメージはヘマトキシリン－エオシン（Ｈｅｍａｔｏｘｙｌｉｎ ＆ Ｅｏｓｉｎ）染色イメージであり、前記第２染色イメージはサイトケラチン（ｃｙｔｏｋｅｒａｔｉｎ）染色イメージである、請求項１に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項3】

前記ディープラーニングモデルは真性第１染色イメージの入力を受けて仮想の第２染色イメージを生成する生成モデルおよび生成モデルが出力する前記第２染色イメージが真性であるかどうかを分類する判別モデルを含むものの、前記判別モデルはＰａｔｃｈＧＡＮである、請求項１に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項4】

前記ディープラーニングモデルは
第１染色イメージを一定の大きさのパッチで区分し、前記第１染色イメージのパッチに対応する前記第２染色イメージのパッチを生成し、
前記第１染色イメージのパッチと前記第２染色イメージのパッチの中で対応するパッチ対を基準として真性の有無を判別する方式で学習される、請求項１に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項5】

前記ディープラーニングモデルは学習データを利用して学習され、
前記学習データは同一組織切片に対する真性第１染色イメージと真性第２染色イメージを含み、
前記真性第１染色イメージと前記真性第２染色イメージはピクセル水準で全体イメージを基準として全域的に整列され、全体イメージを構成する複数の領域別に地域的に整列されるデータである、請求項１に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項6】

前記全域的整列と前記地域的整列それぞれは
整列対象である二つのイメージをカラーデコンボリューションする段階；
カラーデコンボリューションされた二つのイメージを２進化する段階；
２進化された二つのイメージに対する交差相関関係ヒートマップを生成する段階；および
前記ヒートマップで最大値を基準としてシフトベクトルを演算する段階を含む、請求項５に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項7】

前記地域的整列は
前記複数の領域それぞれに対して前記複数の領域に対するシフトベクトルの平均値と前記全域的伝令のシフトベクトル値を合算した値を基準として整列される、請求項６に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項8】

前記ディープラーニングモデルはＨＥＤ（Ｈｅｍａｔｏｘｙｌｉｎ－Ｅｏｓｉｎ－ＤＡＢ）カラー空間に対する損失関数をさらに利用して学習される、請求項１に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項9】

ターゲット組織に対する第１染色イメージの入力を受ける入力装置；
第１染色イメージを基準として第２染色イメージを生成する敵対的生成モデルを保存する保存装置；および
前記入力された第１染色イメージを２進化して第１の２進イメージを生成し、前記入力された第１染色イメージを前記敵対的生成モデルに入力して仮想の第２染色イメージを生成し、前記仮想の第２染色イメージを２進化して第２の２進イメージを生成し、前記第１の２進イメージおよび前記第２の２進イメージを基準として前記ターゲット組織の腫瘍－ストロマ比率を算出する演算装置を含む。腫瘍－ストロマ比率を予測する分析装置。

【請求項10】

前記演算装置は前記第１の２進イメージから前記第２の２進イメージを減算して全体領域でストロマ比率を算出する、請求項９に記載の腫瘍－ストロマ比率を予測する分析装置。

【請求項11】

前記第１染色イメージはヘマトキシリン－エオシン（Ｈｅｍａｔｏｘｙｌｉｎ ＆ Ｅｏｓｉｎ）染色イメージであり、前記第２染色イメージはサイトケラチン（ｃｙｔｏｋｅｒａｔｉｎ）染色イメージである、請求項９に記載の腫瘍－ストロマ比率を予測する分析装置。

【請求項12】

前記敵対的生成モデルはドロップアウト階層を使わなかったＵ－ｎｅｔ構造の生成モデルおよびパッチ単位で真性の有無を判別するＰａｔｃｈＧＡＮである判別モデルを含む、請求項９に記載の腫瘍－ストロマ比率を予測する分析装置。

【請求項13】

前記敵対的生成モデルは学習データを利用して学習され、
前記学習データは同一組織切片に対する真性第１染色イメージと真性第２染色イメージを含み、
前記真性第１染色イメージと前記真性第２染色イメージはピクセル水準で全体イメージを基準として全域的に整列され、全体イメージを構成する複数の領域別に地域的に整列されるデータである、請求項９に記載の腫瘍－ストロマ比率を予測する分析装置。

【請求項14】

前記敵対的生成モデルはＨＥＤ（Ｈｅｍａｔｏｘｙｌｉｎ－Ｅｏｓｉｎ－ＤＡＢ）カラー空間に対する損失関数をさらに利用して学習される、請求項９に記載の腫瘍－ストロマ比率を予測する分析装置。

【発明の詳細な説明】

【技術分野】

【0001】

以下で説明する技術は、ディープラーニングモデルを利用してがん組織の腫瘍－ストロマ比率を予測する技法である。

【背景技術】

【0002】

腫瘍－ストロマ比率はがん組織（ｃａｎｃｅｒ ｔｉｓｓｕｅ）で腫瘍関連ストロマの比率を意味する。高い腫瘍－ストロマ比率は多数の腫瘍で悪い予後を示す因子と立証された。すなわち、正確な腫瘍－ストロマ比率評価は腫瘍診断、予後予測および治療に重要である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

伝統的に、病理学者が患者の組織サンプルを分析して腫瘍－ストロマ比率を推定した。この方法は主観的判断によったもので、正確度が担保されない。さらに、最近ではコンピュータを利用したストロマ定量方法が登場した。ただし、この方法も医療スタッフの判断を助ける水準であって腫瘍－ストロマ比率を正確に評価する技法ではない。

【0004】

以下で説明する技術は、ディープラーニングモデルを利用して患者の組織を分析して腫瘍－ストロマ比率を正確に算出する技法を提供しようとする。

【課題を解決するための手段】

【0005】

ディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法は、分析装置がターゲット組織に対する第１染色イメージの入力を受ける段階、前記分析装置が前記第１染色イメージを学習されたディープラーニングモデルに入力して第２染色イメージを生成する段階、前記分析装置が前記第１染色イメージに対する第１の２進イメージを生成する段階、前記分析装置が前記第２染色イメージに対する第２の２進イメージを生成する段階および前記分析装置が前記第１の２進イメージおよび前記第２の２進イメージを基準として前記ターゲット組織の腫瘍－ストロマ比率を算出する段階を含む。

【0006】

腫瘍－ストロマ比率を予測する分析装置は、ターゲット組織に対する第１染色イメージの入力を受ける入力装置、第１染色イメージを基準として第２染色イメージを生成する敵対的生成モデルを保存する保存装置および前記入力された第１染色イメージを２進化して第１の２進イメージを生成し、前記入力された第１染色イメージを前記敵対的生成モデルに入力して仮想の第２染色イメージを生成し、前記仮想の第２染色イメージを２進化して第２の２進イメージを生成し、前記第１の２進イメージおよび前記第２の２進イメージを基準として前記ターゲット組織の腫瘍－ストロマ比率を算出する演算装置を含む。

【発明の効果】

【0007】

以下で説明する技術は、患者の組織に対する一つの染色イメージのみを基準として自動で腫瘍－ストロマ比率を算出する。以下で説明する技術は、短時間で客観的に正確度が高い腫瘍－ストロマ比率を提供して腫瘍の診断および治療に寄与する。

【図面の簡単な説明】

【0008】

【図1】腫瘍－ストロマ比率を予測するシステムに対する例である。

【0009】

【図2】腫瘍－ストロマ比率を予測する過程に対する例である。

【0010】

【図3】敵対的生成モデルに対する例である。

【0011】

【図4】概略的な敵対的生成モデルの学習過程に対する例である。

【0012】

【図5】Ｈ＆ＥイメージとＣＫイメージを整列する過程に対する例である。

【0013】

【図6】Ｈ＆ＥイメージとＣＫイメージを利用した敵対的生成モデルの学習過程の例である。

【0014】

【図7】分析装置に対する例である。

【0015】

【図8】敵対的生成モデルを利用して生成した仮想のＣＫ映像の例である。

【0016】

【図9】ディープラーニングモデルを利用したＴＳＲ予測結果の正確度を評価した例である。

【発明を実施するための形態】

【0017】

以下で説明する技術は、多様な変更を加えることができ、多様な実施例を有することができるところ、特定実施例を図面に例示して詳細に説明しようとする。しかし、これは以下で説明する技術を特定の実施形態に対して限定しようとするものではなく、以下で説明する技術の思想および技術範囲に含まれるすべての変更、均等物乃至代替物を含むものと理解されるべきである。

【0018】

第１、第２、Ａ、Ｂなどの用語は多様な構成要素を説明するのに使われ得るが、該当構成要素は前記用語によって限定されはせず、ただし一つの構成要素を他の構成要素から区別する目的でのみ使われる。例えば、以下で説明する技術の権利範囲を逸脱することなく第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。および／またはという用語は、複数の関連した記載された項目の組み合わせまたは複数の関連した記載された項目のいずれかの項目を含む。

【0019】

本明細書で使われる用語で単数の表現は、文脈上明白に異なって解釈されない限り複数の表現を含むものと理解されるべきであり、「含む」等の用語は説明された特徴、個数、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを意味し得、一つまたはそれ以上の他の特徴や個数、段階動作構成要素、部分品またはこれらを組み合わせたものなどの存在または付加の可能性を排除しないものと理解されるべきである。

【0020】

図面に対する詳細な説明に先立ち、本明細書での構成部に対する区分は各構成部が担当する主機能別に区分したものに過ぎないことを明確にしようとする。すなわち、以下で説明する２個以上の構成部が一つの構成部で合わせられたりまたは一つの構成部がより細分化された機能別に２個以上に分化して備えられてもよい。そして、以下で説明する構成部それぞれは、自身が担当する主機能以外にも他の構成部が担当する機能のうち一部又は全部の機能を追加的に遂行してもよく、構成部それぞれが担当する主機能のうち一部の機能が他の構成部によって専担されて遂行されてもよいことはいうまでもない。

【0021】

また、方法または動作方法を遂行するにおいて、前記方法をなす各過程は文脈上明白に特定の順序を記載しない以上、明記された順序と異なって遂行され得る。すなわち、各過程は明記された順序と同一に遂行されてもよく、実質的に同時に遂行されてもよく、反対の順で遂行されてもよい。

【0022】

以下で説明する技術は、特定サンプルに対する腫瘍－ストロマ比率（Ｔｕｍｏｒ－ｓｔｒｏｍａ ｒａｔｉｏ、ＴＳＲ）を予測する技術である。ＴＳＲ分析のために伝統的に組織染色イメージを使った。

【0023】

以下で説明する技術は、二つの互いに異なる種類の染色イメージを利用する例である。第１染色イメージはヘマトキシリンとエオシン（Ｈａｅｍａｔｏｘｙｌｉｎ ａｎｄ ｅｏｓｉｎ、以下、Ｈ＆Ｅという）イメージを使った。第２染色イメージはサイトケラチン（ｃｙｔｏｋｅｒａｔｉｎ、以下、ＣＫという）イメージを使った。もちろん、以下で説明する技術が特定の染色方式に限定されるものではなく、一つの染色が組織（ｓｔｒｏｍａ）を他の一つは腫瘍（ｔｕｍｏｒ）を識別できるのであればよい。したがって、以下で説明する技術は、特定の第１染色イメージを基準として自動で第２染色イメージを生成してＴＳＲを予測する方式と言える。ただし、説明の便宜のために第１染色イメージはＨ＆Ｅイメージであり、第２染色イメージはＣＫイメージであると前提する。

【0024】

以下で説明する技術は、学習モデルを利用して第１染色イメージから第２染色イメージを生成する。学習モデルは機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）モデルを意味する。学習モデルは多様な類型のモデルを含む意味である。例えば、学習モデルはデシジョンツリー、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）、ＫＮＮ（Ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、ナイーブベイズ（Ｎａｉｖｅ Ｂａｙｅｓ）、ＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）等がある。

【0025】

人工ニューラルネットワークは生物のニューラルネットワークを模倣した統計学的学習アルゴリズムである。多様なニューラルネットワークモデルが研究されている。最近ディープラーニングニューラルネットワーク（ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ、ＤＮＮ）が注目されている。ＤＮＮは入力層（ｉｎｐｕｔ ｌａｙｅｒ）と出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）の間に複数個の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）からなる人工ニューラルネットワークモデルである。ＤＮＮは一般的な人工ニューラルネットワークと同様に複雑な非線形関係（ｎｏｎ－ｌｉｎｅａｒ ｒｅｌａｔｉｏｎｓｈｉｐ）をモデリングすることができる。ＤＮＮは多様な類型のモデルが研究された。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、ＲＬ（Ｒｅｌａｔｉｏｎ Ｎｅｔｗｏｒｋｓ）等がある。

【0026】

以下で説明する技術は、入力される第１染色イメージから第２染色イメージを生成するディープラーニングモデルを活用する。多様な種類の生成モデル（ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ）が活用され得る。ただし、説明の便宜のために敵対的生成モデルであるＧＡＮを中心に説明する。

【0027】

以下、組織の染色イメージを利用して腫瘍－ストロマ比率を分析する装置を分析装置と命名する。分析装置はデータ処理が可能な装置であって、ＰＣ、スマート機器、サーバーなどの形態であり得る。

【0028】

図１は、腫瘍－ストロマ比率を予測するシステム１００に対する例である。図１で分析装置はコンピュータ端末１５０およびサーバー２５０である例を図示した。

【0029】

図１（Ａ）は、使用者Ｒがコンピュータ端末１５０を利用してＴＳＲを予測するシステム１００である。染色イメージ生成装置１１０は組織スライドに対する染色をし、染色された結果をスキャンして染色イメージを生成する装置である。染色イメージ生成装置１１０は第１染色イメージ（Ｈ＆Ｅ染色イメージ）を生成する。

【0030】

染色イメージ生成装置１１０は有線または無線ネットワークを通じてコンピュータ端末１５０にＨ＆Ｅ染色イメージを伝達する。コンピュータ端末１５０はＨ＆Ｅ染色イメージを基準として第２染色イメージ（ＣＫ染色イメージ）を生成する。コンピュータ端末１５０は同一組織に対するＨ＆Ｅ染色イメージとＣＫ染色イメージを利用してＴＳＲを算出することができる。詳しいＴＳＲ算出過程は後述する。コンピュータ端末１５０は分析結果を使用者Ｒに提供する。

【0031】

図１は、染色イメージ生成装置１１０とコンピュータ端末１５０を別個の客体で図示した。ただし、染色イメージ生成装置１１０とコンピュータ端末１５０は物理的に一つの装置または連結された装置で具現されてもよい。

【0032】

図１（Ｂ）は、使用者が使用者端末２７０で分析サーバー２５０に接続してＴＳＲを予測するシステム２００である。染色イメージ生成装置１１０は組織スライドに対する染色をし、染色された結果をスキャンして染色イメージを生成する装置である。染色イメージ生成装置１１０は第１染色イメージ（Ｈ＆Ｅ染色イメージ）を生成する。

【0033】

染色イメージ生成装置１１０は有線または無線ネットワークを通じて分析サーバー２５０にＨ＆Ｅ染色イメージを伝達する。

【0034】

分析サーバー２５０はＨ＆Ｅ染色イメージを基準として第２染色イメージ（ＣＫ染色イメージ）を生成する。分析サーバー２５０は同一組織に対するＨ＆Ｅ染色イメージとＣＫ染色イメージを利用してＴＳＲを算出することができる。詳しいＴＳＲ算出過程は後述する。

【0035】

分析サーバー２５０は分析結果を使用者端末２７０に伝送することができる。また、分析サーバー２５０は分析結果を病院のＥＭＲシステム２６０に伝送してもよい。

【0036】

図２は、腫瘍－ストロマ比率を予測する過程３００に対する例である。図２は、ＴＳＲ予測過程に対する概略的な例である。図２は、染色イメージ生成装置１１０／２１０と分析装置１５０／２５０で遂行される過程を示す。

【0037】

染色イメージ生成装置１１０／２１０は特定サンプルの組織に対するＨ＆Ｅイメージを生成する３１０．

【0038】

分析装置１５０／２５０はＨ＆Ｅイメージを受信し、２進Ｈ＆Ｅイメージを生成する３２０．分析装置１５０／２５０は受信したＨ＆Ｅイメージを基準として事前に学習された生成モデルＧを利用してＣＫイメージを生成する（３３０）。分析装置１５０／２５０はＣＫイメージを２進化する（３４０）。

【0039】

分析装置１５０／２５０は２進Ｈ＆Ｅイメージと２進ＣＫイメージを基準としてＴＳＲを決定する。分析装置１５０／２５０は２進Ｈ＆Ｅイメージから２進ＣＫイメージを減算して全体領域でストロマの比率を算出することができる（３５０）。

【0040】

図３は、敵対的生成モデル４００に対する例である。図３は、ＧＡＮ４００に対する例である。ＧＡＮは教師なし学習モデルに該当する。ＧＡＮは生成モデルＧ（Ｇｅｎｅｒａｔｏｒ、４１０）および判別モデルＤ（Ｄｉｓｃｒｉｍｉｎａｔｏｒ、４２０）を含む。生成モデルＧ（４１０）は入力情報に基づいてデータを生成するモデルである。判別モデルＤ（４２０）は分類を担当するモデルである。ＧＡＮはデータを生成する生成モデルＧ（４１０）と作られたデータを評価する判別モデルＤ（４２０）が互いに対立的に学習しながら性能を次第に改善する概念から出発した。生成モデルＧ（４１０）と判別モデルＤ（４２０）はそれぞれ多様な機械学習モデルのうちいずれか一つを利用して生成され得る。例えば、生成モデルＧ（４１０）はＵ－ｎｅｔ、オートエンコーダなどのようなモデルを通じて具現され得る。

【0041】

判別モデルＤは生成されたデータが本物であるかまたは偽物であるかを分類する。生成モデルＧは潜在コードｚの入力を受けてデータを生成するものの、判別モデルＤを騙すための情報を生成するように学習される。生成者モデルＧはＧ（ｚ）データを生成し、判別モデルＤはＧ（ｚ）に対する判別結果Ｄ（Ｇ（ｚ））を生成する。生成者モデルＧは１－Ｄ（Ｇ（ｚ）を最小化する目的関数を有する。つまり、Ｄ（Ｇ（ｚ））が１である場合に最小となるが、生成者モデルＧは判別モデルＤ（４２０）がＧ（ｚ）を本来の原本データと錯覚することができるように学習される。

【0042】

ｃＧＡＮは生成モデルＧ（４１０）と判別モデルＤ（４２０）にそれぞれ一定の条件情報（ｃ）が追加に入力される。

【0043】

図４は、概略的な敵対的生成モデルの学習過程５００の例である。

【0044】

開発者は前述した分析装置を利用して学習過程を遂行できる。または開発者は別途のコンピュータ装置を利用して学習過程を遂行してもよい。学習過程はコンピュータ装置が遂行すると仮定する。

【0045】

学習過程は、大きく学習データを設ける過程および学習データを利用した敵対的生成モデルを学習する過程に区分される。

【0046】

学習データを生成する過程を説明する。学習データは特定組織に対するＨ＆Ｅ映像とＣＫ映像を含む。したがって、まずＨ＆Ｅ映像とＣＫ映像をそれぞれ生成する過程が必要である（５１０）。Ｈ＆Ｅ映像とＣＫ映像は同一組織に対する一対の映像である。学習データは複数のサンプルそれぞれに対するＨ＆Ｅ映像とＣＫ映像の対（すなわち、複数のイメージ対）で構成される。

【0047】

研究者が学習データを設けた過程を説明する。

【0048】

３６９名の胃腺癌（ｇａｓｔｒｉｃ ａｄｅｎｏｃａｒｃｉｎｏｍａ）患者がコホート（ｃｏｈｏｒｔ）に選択された。コホートは病期ＩＩ～ＩＶである患者である。コホートは２０１４年～２０１５年サムスンソウル病院で治療手術を受けた患者である。コホートに属した患者は先行坑癌化学療法（Ｎｅｏａｄｊｕｖａｎｔ ｃｈｅｍｏｔｈｅｒａｐｙ）を受けておらず、手術後３０日以内に死亡しなかった。コホートに属した患者は手術当時遠隔転移または他の腫瘍が確認されなかった状態であった。後述する表１はコホートに対する臨床情報を含む。

【0049】

染色のためのスライドはホルマリン固定後に製作したパラフィン組織切片を３μｍに切断した。ＦＦＰＥ（ｆｏｒｍａｌｉｎ－ｆｉｘｅｄ ｐａｒａｆｆｉｎ－ｅｍｂｅｄｄｅｄ）サンプル３６９個それぞれはＨ＆Ｅ自動染色装置を使って染色した。３６９個のサンプルはそれぞれ３６９名の患者を代表するサンプルを意味する。患者を代表するサンプルは腫瘍で最も深い浸潤を示すスライドを選択し、これを通じて該当患者の病期を判断した。

【0050】

ＦＦＰＥサンプルはそれぞれＩＨＣ（ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）染色をした。研究者はサイトケラチン（ｃｙｔｏｋｅｒａｔｉｎ、ＣＫ）染色を使った。研究者はＢｏｎｄ－ＭＡＸ自動免疫染色装置（Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍ社製品）を使って商用試薬（Ｎｏｖｏｃａｓｔｒａ社製品）でスライドを染色した。研究者はＣＫ染色されたスライドに対してデジタルスキャナ（Ａｐｅｒｉｏ Ｔｅｃｈｎｏｌｏｇｉｅｓ社製品）で２００倍拡大した映像（組織０．０３２μｍ／ピクセル）を生成した。ＣＫ染色イメージをＣＫ ＷＳＩ（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ）と命名する。

【0051】

同じサンプルを再びＨ＆Ｅ染色するために、研究者はＣＫ染色されたスライドを蒸溜水で洗浄した後、Ｈ＆Ｅ染色をした。Ｈ＆Ｅ染色過程は一定濃度のエタノールと過マンガン酸カリウム（ＫＭｎＯ_４）でインキュベーションし染色試薬で染色する過程を経た。Ｈ＆Ｅ染色は一般的なプロセスであるため、詳細な説明は省略する。また、Ｈ＆Ｅ染色されたスライドもデジタルスキャナで映像を生成した。Ｈ＆Ｅ染色イメージをＨ＆Ｅ ＷＳＩと命名する。

【0052】

前述した通り、研究者は正確に同一の組織切片に対してＨ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩを設けた。研究者は同一の組織切片に対するＨ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩが非線形的な変形を有してはいないが、Ｈ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩの間に一定の垂直および水平シフト（ｓｈｉｆｔ）が発生することを確認した。したがって、研究者は同一切片に対するＨ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩ対を一定の前処理過程を通じて、ピクセル水準でできるだけＨ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩ対が同じ領域を示すように整列した（５２０）。

【0053】

コンピュータ装置は整列されたＨ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩ対を利用して敵対的生成モデルを学習させる（５３０）。簡略に説明すると、ｃＧＡＮで生成モデルが潜在コードの入力を受けてＣＫ ＷＳＩを生成する。生成モデルはＨ＆Ｅ ＷＳＩの入力を受けてＣＫ ＷＳＩを生成するように学習される。生成モデルに入力される条件（ｃ）は精巧なＣＫ ＷＳＩを生成するようにする情報である。判別モデルは生成された（ｆａｋｅ）ＣＫ ＷＳＩと実際のＣＫ ＷＳＩの入力を受けて生成されたＣＫ ＷＳＩを判別する。判別モデルも条件（ｃ）の入力を受ける。この過程を繰り返しながら生成モデルと判別モデルはパラメータが最適化されて敵対的生成モデルが学習されることになる。

【0054】

図５は、Ｈ＆ＥイメージとＣＫイメージを整列する過程６００に対する例である。

【0055】

イメージ整列過程は全域（ｇｌｏｂａｌ）過程と地域（ｌｏｃａｌ）過程で構成される。全域過程は全域的シフトベクトルを演算して同一切片に対するＷＳＩ対を概略的に（ｃｏａｒｓｅｌｙ）整列する過程である。地域過程は正確な整列のために各地域領域別に地域的シフトベクトルを演算して整列する過程である。

【0056】

全域シフトベクトル演算過程６１０を説明する。

【0057】

コンピュータ装置はＨ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩをそれぞれ一定にダウンサンプリング（ｄｏｗｎ－ｓａｍｐｌｉｎｇ）することができる（６１１）。研究者は同一組織切片に対するＨ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩは３２倍ダウンサンプリングした。

【0058】

コンピュータ装置はダウンサンプリングされた各イメージをカラーデコンボリューション（ｃｏｌｏｒ ｄｅｃｏｎｖｏｌｕｔｉｏｎ）する（６１２）。ここで、カラーデコンボリューションはＨ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩそれぞれをＲＧＢカラー空間からＨＥＤ（Ｈｅｍａｔｏｘｙｌｉｎ－Ｅｏｓｉｎ－ＤＡＢ）カラー空間に変換する。ＣＫ抗体は細胞質を主に染色するので、Ｈ＆Ｅイメージでエオシンチャネルを抽出し、ＣＫイメージでＤＡＢチャネルを抽出することができる。

【0059】

コンピュータ装置は色空間が変換された両チャネルイメージを２進化する（６１３）。この時、コンピュータ装置は２進化のための基準となる臨界値を使う。臨界値は実験的に適切な値が使われ得る。臨界値はイメージ全体ではなく全体イメージを構成する小さい領域別に設定されてもよい。例えば、臨界値は隣の領域（ブロック）のピクセル値加重平均で特定オフセット（ｏｆｆｓｅｔ）値を減算した値が使われてもよい。

【0060】

一方、コンピュータ装置はイメージを２進化した後、無視しても良い小さい客体を除去してもよい。

【0061】

コンピュータ装置は２個の２進イメージの２Ｄ交差相関関係ヒートマップ（ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ ｈｅａｔｍａｐ）を生成することができる（６１４）。交差相関関係はＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）アルゴリズムを適用して演算され得る。コンピュータ装置は交差相関関係ヒートマップで最大値の位置を基準として全域シフトベクトルを決定することができる（６１５）。すなわち、コンピュータ装置は一つのイメージを基準として他の一つのイメージを整列するための全域的情報を獲得することができる。

【0062】

コンピュータ装置は全域シフトベクトルを基準として、一つのイメージを基準としてＨ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩを整列（全域整列）することができる。より精巧な整列のために、全域整列後にコンピュータ装置は地域整列を遂行できる。または場合により、コンピュータ装置は全域整列をせずに、各パッチ別地域シフトベクトルを決定し、パッチ別に地域整列のみをしてもよい。

【0063】

地域シフトベクトル演算過程６２０を説明する。

【0064】

全体イメージは一定大きさのパッチ（ｐａｔｃｈ）単位で区分され得る。一つのパッチは一定の横×縦の大きさ（ピクセル）を有することができる。地域整列はパッチ単位で整列を遂行する過程である。例えば、全体イメージが１０２４０×１０２４０ピクセルの大きさであれば、コンピュータ装置は１０２４×１０２４ピクセル大きさのパッチを基準として地域整列をすることができる。コンピュータ装置は白色の背景を有するパッチを除き、各パッチを全域整列と同じ方法で整列することができる。すなわち、コンピュータ装置は一つのパッチ単位でＨ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩをダウンサンプリングし（６２１）、カラーデコンボリューションし（６２２）、２進化（６２３）した後、相関関係ヒートマップでの最大値を基準として地域シフトベクトルを演算（６２４）することができる。図５は、パッチに対する相関関係ヒートマップを図示してはいない。

【0065】

コンピュータ装置は各パッチ別に地域シフトベクトルを決定することができる（６２４）。コンピュータ装置は複数のパッチに対する平均地域シフトベクトルを演算することができる（６２５）。この過程でコンピュータ装置は異常値（ｏｕｔｌｉｅｒ）を有する地域シフトベクトルを除去した後、平均地域シフトベクトルを演算することができる。コンピュータ装置は平均地域シフトベクトルと全域シフトベクトルを足した値を最終的な地域シフトベクトルを決定することができる（６２６）。

【0066】

一方、地域シフトベクトルを決定するための多様な方法があり得る。例えば、（ｉ）コンピュータ装置は各パッチ別に地域シフトベクトルを演算して該当パッチ別に地域的整列をすることができる。（ｉｉ）コンピュータ装置は各パッチ別に地域シフトベクトルを演算し、地域シフトベクトルに全域シフトベクトルを合算して各パッチ別に最終地域シフトベクトルを演算してもよい。（ｉｉｉ）または前述した通り、コンピュータ装置が各パッチ別に地域シフトベクトルを演算し、平均値を算出した後に全域シフトベクトルを合算して最終地域シフトベクトルを演算してもよい。この場合、コンピュータ装置は最終地域シフトベクトルを基準としてそれぞれのパッチを整列する。

【0067】

図６は、Ｈ＆ＥイメージとＣＫイメージを利用した敵対的生成モデルの学習過程７００の例である。図６は、図５でＨ＆Ｅ ＷＳＩとＣＫ ＷＳＩがパッチ単位で整列された後の学習過程であり得る。研究者はｃＧＡＮモデルのうちＰｉｘ２Ｐｉｘ ｃＧＡＮを利用した。Ｐｉｘ２Ｐｉｘは客体の外観線の映像を生成モデルＧに入力して目標とする映像を生成する。もちろん、これは一例に過ぎず、Ｈ＆Ｅ ＷＳＩからＣＫ ＷＳＩを生成するための生成モデルは多様であり得る。

【0068】

全体ＣＫ ＷＳＩは対をなす全体Ｈ＆Ｅ ＷＳＩを基準として全域整列となり得る（７１１）。ＣＫ ＷＳＩの各パッチは最終的な地域シフトベクトルが決定され得る。ＣＫ ＷＳＩの各パッチは地域整列される（７１２）。これは図５で説明した前処理過程に該当する。

【0069】

敵対的生成モデルは生成モデル（ｇｅｎｅｒａｔｏｒ）Ｇと判別モデル（ｄｉｓｃｒｉｍｉｎａｔｏｒ）Ｄを含む。生成モデルＧはＵ－ｎｅｔ構造を有するネットワークを使うことができる。判別モデルＤはパッチ別に生成された映像に対する真偽の有無を判別するＰａｔｃｈＧＡＮを利用することができる。

【0070】

同一組織切片に対するＨ＆Ｅ ＷＳＩとＣＫ ＷＳＩ対はそれぞれ同じパッチで区分され得る。コンピュータ装置はＨ＆Ｅ ＷＳＩをパッチ別に抽出する（７２０）。コンピュータ装置はＨ＆Ｅ ＷＳＩの各パッチを生成モデルＧに入力して仮想のＣＫパッチを生成する（７３０）。コンピュータ装置はＨ＆Ｅパッチイメージｘを生成モデルＧに入力して仮想のＣＫイメージＧ（ｘ）を生成する。

【0071】

コンピュータ装置は整列されたＣＫ ＷＳＩをパッチ別に抽出する（７４０）。コンピュータ装置は仮想のＣＫパッチとこれに対応する実際のＣＫパッチを判別モデルＤに入力する（７５０）。コンピュータ装置は判別モデルを各パッチ別に判別することができる（７６０）。実際のＣＫイメージをｙとしよう．判別モデルＤは｛ｘ、ｙ｝対と｛ｘ、Ｇ（ｘ）｝対を分類するように学習される。生成モデルＧは真性ＣＫイメージと生成された仮想のＣＫが区別されないように学習される。

【0072】

Ｐｉｘ２Ｐｉｘ構造は生成モデルＧに本来のドロップアウト（ｄｒｏｐｏｕｔ）階層を含む。ドロップアウト階層は入力されたノイズが高い確率的（ｈｉｇｈｌｙ ｓｔｏｃｈａｓｔｉｃ）結果物で生成されるようにする。しかし、ＣＫイメージを生成するモデルは、より予測可能で決定論的結果物が要求される。したがって、生成モデルＧはドロップアウト階層を使わないことがある。

【0073】

ｃＧＡＮの目的関数は下記の数学式１のように表現することができる。

【0074】

［数学式１］

【0075】

生成モデルＧは前記目的関数を最小化する方向に学習され、判別モデルＤは逆に目的関数を最大化する方向に学習される。生成モデルＧは判別モデルからの損失を減らすことだけでなく、Ｌ１損失を使って仮想分布が実際の分布に近いようにする。この時、ＲＧＢカラー空間のＬ１損失だけでなく、ＨＥＤカラー空間のＬ１損失も考慮しなければならない。下記の数学式２はＲＧＢカラー空間のＬ１損失関数であり、数学式３はＨＥＤカラー空間のＬ１損失関数である。

【0076】

［数学式２］

【0077】

［数学式３］

【0078】

したがって、敵対的生成モデルの最終損失関数は下記の数学式４のように表現され得る。

【0079】

［数学式４］

【0080】

図７は分析装置８００に対する例である。分析装置８００は前述した分析装置（図１の１５０および２５０）に該当する。分析装置８００は物理的に多様な形態で具現され得る。例えば、分析装置８００はＰＣのようなコンピュータ装置、ネットワークのサーバー、データ処理専用チップセットなどの形態を有することができる。

【0081】

分析装置８００は保存装置８１０、メモリ８２０、演算装置８３０、インターフェース装置８４０、通信装置８５０および出力装置８６０を含むことができる。

【0082】

保存装置８１０は特定サンプルのターゲット組織に対する第１染色イメージを保存することができる。

【0083】

保存装置８１０はイメージを２進化するプログラム乃至コードを保存することができる。

【0084】

保存装置８１０は第１染色イメージを基準として第２染色イメージを生成するディープラーニングモデルを保存することができる。ディープラーニングモデルは前述した敵対的生成モデルであり得る。

【0085】

保存装置８１０はディープラーニングモデルが算出する第２染色イメージを保存することができる。

【0086】

保存装置８１０はイメージ処理のための他のプログラム乃至コードを保存することができる。

【0087】

また、保存装置８１０は前述したような過程でＴＳＲを算出する過程に対する命令語乃至プログラムコードを保存することができる。

【0088】

保存装置８１０は分析結果であるＴＳＲを保存することができる。

【0089】

メモリ８２０は分析装置８００がＴＳＲを算出する過程で生成されるデータおよび情報などを保存することができる。

【0090】

インターフェース装置８４０は外部から一定の命令およびデータの入力を受ける装置である。インターフェース装置８４０は物理的に連結された入力装置または外部保存装置から第１染色イメージの入力を受けることができる。第１染色イメージはＨ＆Ｅ染色イメージであり得る。

【0091】

通信装置８５０は有線または無線ネットワークを通じて一定の情報を受信して伝送する構成を意味する。通信装置８５０は外部客体から第１染色イメージを受信することができる。または通信装置８５０は分析結果を使用者端末のような外部客体に送信してもよい。

【0092】

インターフェース装置８４０および通信装置８５０は使用者または他の物理的客体から一定の情報およびイメージの入力を受ける構成であるので、包括的に入力装置とも命名することができる。または入力装置は通信装置８５０で受信される第１染色イメージや要請を分析装置８００の内部に伝達する経路のインターフェースを意味してもよい。

【0093】

出力装置８６０は一定の情報を出力する装置である。出力装置８６０はデータ処理過程に必要なインターフェース、分析結果などを出力することができる。

【0094】

演算装置８３０は保存装置８１０に保存された命令語乃至プログラムコードを利用してＴＳＲを予測することができる。

【0095】

演算装置８３０は保存装置８１０に保存されたディープラーニングモデルを利用して第１染色イメージ基準として仮想の第２染色イメージを生成することができる。仮想の第２染色イメージはＣＫ染色イメージであり得る。

【0096】

演算装置８３０は第１染色イメージを２進化して第１の２進イメージを生成することができる。

【0097】

演算装置８３０は仮想の第２染色イメージを２進化して第２の２進イメージを生成することができる。

【0098】

演算装置８３０は第１の２進イメージおよび第２の２進イメージを基準としてＴＳＲを演算することができる。

【0099】

演算装置８３０は第１の２進イメージで白色である領域から第２の２進イメージで白色である領域を除去した結果を基準として、全体組織でストロマ領域を識別することができる。以後、演算装置８３０は全体組織の面積でストロマ領域が占める面積の比率を計算してＴＳＲを算出することができる。

【0100】

演算装置８３０は学習された生成モデルを利用してＨ＆Ｅ ＷＳＩを仮想のＣＫ ＷＳＩに変換することができる。演算装置８３０はＨ＆Ｅ ＷＳＩのパッチをそれぞれＣＫ ＷＳＩのパッチに変換することができる。演算装置８３０は各パッチ別に腫瘍領域とストロマ領域を決定し、最終的に全体イメージを対象にＴＳＲを演算することができる。または演算装置８３０はパッチを結合して一つのＨ＆Ｅ ＷＳＩと一つのＣＫ ＷＳＩを生成し、Ｈ＆Ｅ ＷＳＩおよびＣＫ ＷＳＩを基準としてＴＳＲを演算することができる。

【0101】

演算装置８３０はＨ＆Ｅ ＷＳＩ（または個別のパッチ）を２進化し、ＣＫ ＷＳＩ（または個別のパッチ）を２進化する。演算装置８３０は２進Ｈ＆Ｅ ＷＳＩ映像の白色領域（組織領域、ｓｔｒｏｍａ ａｒｅａ）から２進ＣＫ ＷＳＩの白色領域（腫瘍領域、ｔｕｍｏｒ ａｒｅａ）を減算（除去）する。演算装置８３０は全体組織領域で腫瘍組織が除去された領域の比率を決定してＴＳＲを演算することができる。すなわち、演算装置８３０は下記の数学式５のようにＴＳＲを演算することができる。

【0102】

［数学式５］

【0103】

演算装置８３０はデータを処理し、一定の演算を処理するプロセッサ、ＡＰ、プログラムがエンベデッドされたチップのような装置であり得る。

【0104】

図８は、敵対的生成モデルを利用して生成した仮想のＣＫ映像の例である。図８は真性Ｈ＆ＥイメージＡを基準として仮想のＣＫイメージＣを生成した結果を示す。真性ＣＫイメージＢと仮想のＣＫイメージＣを比較すると、仮想のＣＫイメージで分散した腫瘍細胞がほぼ正確に染色されたことが分かる。

【0105】

図９は、ディープラーニングモデルを利用したＴＳＲ予測結果の正確度を評価した例である。研究者は提案したＴＳＲ予測方法（Ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ）を利用して前述したコホート（３６９名の患者サンプル）に対してＴＳＲを演算した。また、専門的な病理学者が該当サンプルを評価した。敵対的生成モデルに基づいた結果と実際の病理学者が評価した結果を比較した。ＴＳＲは比率で測定されるが、各測定値ごとに正確度を評価し難い側面があるので、ＴＳＲ低いとＴＳＲ高いに区分して評価した。図９で使ったデータは、胃（Ｓｔｏｍａｃｈ）、大腸（Ｃｏｌｏｎ）および胃＋大腸（Ｓｔｏｍａｃｈ＋Ｃｏｌｏｎ）である。

【0106】

図９（Ａ）はＨＥＤカラー空間の損失関数（数学式３）を使わなかったモデルの結果であり、図９（Ｂ）はＨＥＤカラー空間の損失関数を使用したモデルの結果である。全般的にＨＥＤカラー空間の損失関数を考慮した場合がＡＵＣ（いずれも０．９以上）が高かった。もちろん、ＨＥＤカラー空間の損失関数を使用しなかった場合も相当高い評価結果を示した。

【0107】

また、前述したような仮想のＣＫ映像生成方法およびＴＳＲ演算方法は、コンピュータで実行され得る実行可能なアルゴリズムを含むプログラム（またはアプリケーション）で具現され得る。前記プログラムは一時的または非一時的読み取り可能媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に保存されて提供され得る。

【0108】

非一時的読み取り可能媒体とは、レジスタ、キャッシュ、メモリなどのように短い瞬間の間データを保存する媒体ではなく半永久的にデータを保存し、機器によって読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、前述した多様なアプリケーションまたはプログラムはＣＤ、ＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ、ＥＰＲＯＭ）またはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）またはフラッシュメモリなどのような非一時的読み取り可能媒体に保存されて提供され得る。

【0109】

一時的読み取り可能媒体はスタティックラム（Ｓｔａｔｉｃ ＲＡＭ、ＳＲＡＭ）、ダイナミックラム（Ｄｙｎａｍｉｃ ＲＡＭ、ＤＲＡＭ）、シンクロナスディーラム（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ、ＳＤＲＡＭ）、２倍速ＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ、ＤＤＲ ＳＤＲＡＭ）、増強型ＳＤＲＡＭ（Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ、ＥＳＤＲＡＭ）、同期化ＤＲＡＭ（Ｓｙｎｃｌｉｎｋ ＤＲＡＭ、ＳＬＤＲＡＭ）および直接ラムバスラム（Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ、ＤＲＲＡＭ）のような多様なＲＡＭを意味する。

【0110】

本実施例および本明細書に添付された図面は前述した技術に含まれる技術的思想の一部を明確に示しているものに過ぎず、前述した技術の明細書および図面に含まれた技術的思想の範囲内で当業者が容易に類推できる変形例と具体的な実施例はすべて前述した技術の権利範囲に含まれるものと言える。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-08-21

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００２５

【補正方法】変更

【補正の内容】

【0025】

人工ニューラルネットワークは生物のニューラルネットワークを模倣した統計学的学習アルゴリズムである。多様なニューラルネットワークモデルが研究されている。最近ディープラーニングニューラルネットワーク（ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ、ＤＮＮ）が注目されている。ＤＮＮは入力層（ｉｎｐｕｔ ｌａｙｅｒ）と出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）の間に複数個の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）からなる人工ニューラルネットワークモデルである。ＤＮＮは一般的な人工ニューラルネットワークと同様に複雑な非線形関係（ｎｏｎ－ｌｉｎｅａｒ ｒｅｌａｔｉｏｎｓｈｉｐ）をモデリングすることができる。ＤＮＮは多様な類型のモデルが研究された。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、ＲＮ（Ｒｅｌａｔｉｏｎ Ｎｅｔｗｏｒｋｓ）等がある。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００２８

【補正方法】変更

【補正の内容】

【0028】

図１は、腫瘍－ストロマ比率を予測するシステム１００、２００に対する例である。図１で分析装置はコンピュータ端末１５０およびサーバー２５０である例を図示した。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００３１

【補正方法】変更

【補正の内容】

【0031】

図１（Ａ）は、染色イメージ生成装置１１０とコンピュータ端末１５０を別個の客体で図示した。ただし、染色イメージ生成装置１１０とコンピュータ端末１５０は物理的に一つの装置または連結された装置で具現されてもよい。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００３２

【補正方法】変更

【補正の内容】

【0032】

図１（Ｂ）は、使用者が使用者端末２７０で分析サーバー２５０に接続してＴＳＲを予測するシステム２００である。染色イメージ生成装置２１０は組織スライドに対する染色をし、染色された結果をスキャンして染色イメージを生成する装置である。染色イメージ生成装置２１０は第１染色イメージ（Ｈ＆Ｅ染色イメージ）を生成する。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００３３

【補正方法】変更

【補正の内容】

【0033】

染色イメージ生成装置２１０は有線または無線ネットワークを通じて分析サーバー２５０にＨ＆Ｅ染色イメージを伝達する。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００６５

【補正方法】変更

【補正の内容】

【0065】

コンピュータ装置は各パッチ別に地域シフトベクトルを決定することができる（６２４）。コンピュータ装置は複数のパッチに対する平均地域シフトベクトルを演算することができる。この過程でコンピュータ装置は異常値（ｏｕｔｌｉｅｒ）を有する地域シフトベクトルを除去した後、平均地域シフトベクトルを演算することができる。コンピュータ装置は平均地域シフトベクトルと全域シフトベクトルを足した値を最終的な地域シフトベクトルを決定することができる（６２５）。

【手続補正7】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

分析装置がターゲット組織に対する第１染色イメージの入力を受ける段階；
前記分析装置が前記第１染色イメージを学習されたディープラーニングモデルに入力して第２染色イメージを生成する段階；
前記分析装置が前記第１染色イメージに対する第１の２進イメージを生成する段階；
前記分析装置が前記第２染色イメージに対する第２の２進イメージを生成する段階；および
前記分析装置が前記第１の２進イメージおよび前記第２の２進イメージを基準として前記ターゲット組織の腫瘍－ストロマ比率を算出する段階を含む、ディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項2】

前記第１染色イメージはヘマトキシリン－エオシン（Ｈｅｍａｔｏｘｙｌｉｎ ＆ Ｅｏｓｉｎ）染色イメージであり、前記第２染色イメージはサイトケラチン（ｃｙｔｏｋｅｒａｔｉｎ）染色イメージである、請求項１に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項3】

前記ディープラーニングモデルは真性第１染色イメージの入力を受けて仮想の第２染色イメージを生成する生成モデルおよび生成モデルが出力する前記仮想の第２染色イメージが真性であるかどうかを分類する判別モデルを用いて学習され、前記判別モデルはＰａｔｃｈＧＡＮである、請求項１に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項4】

前記ディープラーニングモデルは、
複数のパッチに区分される第１染色イメージの入力を受けて各パッチに仮想の第２染色イメージを生成する生成モデルおよび前記真性第１染色イメージ及び前記仮想の第２染色イメージの中で対応するパッチ対を用いて前記仮想の第２染色イメージを分類する判別モデルを用いて学習される、
請求項１に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項5】

前記ディープラーニングモデルは学習データを利用して学習され、
前記学習データは同一組織切片に対する真性第１染色イメージと真性第２染色イメージを含み、
前記真性第１染色イメージと前記真性第２染色イメージはピクセル水準で全体イメージを基準として全域的に整列され、全体イメージを構成する複数の領域別に地域的に整列されるデータである、請求項１に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項6】

前記全域的整列と前記地域的整列それぞれは
整列対象である二つのイメージをカラーデコンボリューションする段階；
カラーデコンボリューションされた二つのイメージを２進化する段階；
２進化された二つのイメージに対する交差相関関係ヒートマップを生成する段階；および
前記ヒートマップで最大値を基準としてシフトベクトルを演算する段階を含む、請求項５に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項7】

前記地域的整列は
前記複数の領域それぞれに対して前記複数の領域に対するシフトベクトルの平均値と前記全域的伝令のシフトベクトル値を合算した値を基準として整列される、請求項６に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項8】

前記ディープラーニングモデルはＨＥＤ（Ｈｅｍａｔｏｘｙｌｉｎ－Ｅｏｓｉｎ－ＤＡＢ）カラー空間に対する損失関数をさらに利用して学習される、請求項１に記載のディープラーニングモデル基盤の腫瘍－ストロマ比率予測方法。

【請求項9】

ターゲット組織に対する第１染色イメージの入力を受ける入力装置；
第１染色イメージを基準として第２染色イメージを生成する敵対的生成モデルを保存する保存装置；および
前記入力された第１染色イメージを２進化して第１の２進イメージを生成し、前記入力された第１染色イメージを前記敵対的生成モデルに入力して仮想の第２染色イメージを生成し、前記仮想の第２染色イメージを２進化して第２の２進イメージを生成し、前記第１の２進イメージおよび前記第２の２進イメージを基準として前記ターゲット組織の腫瘍－ストロマ比率を算出する演算装置を含む。腫瘍－ストロマ比率を予測する分析装置。

【請求項10】

前記演算装置は前記第１の２進イメージから前記第２の２進イメージを減算して全体領域でストロマ比率を算出する、請求項９に記載の腫瘍－ストロマ比率を予測する分析装置。

【請求項11】

前記第１染色イメージはヘマトキシリン－エオシン（Ｈｅｍａｔｏｘｙｌｉｎ ＆ Ｅｏｓｉｎ）染色イメージであり、前記第２染色イメージはサイトケラチン（ｃｙｔｏｋｅｒａｔｉｎ）染色イメージである、請求項９に記載の腫瘍－ストロマ比率を予測する分析装置。

【請求項12】

前記敵対的生成モデルはドロップアウト階層を使わなかったＵ－ｎｅｔ構造の生成モデルおよびパッチ単位で真性の有無を判別するＰａｔｃｈＧＡＮである判別モデルを含む、請求項９に記載の腫瘍－ストロマ比率を予測する分析装置。

【請求項13】

前記敵対的生成モデルは学習データを利用して学習され、
前記学習データは同一組織切片に対する真性第１染色イメージと真性第２染色イメージを含み、
前記真性第１染色イメージと前記真性第２染色イメージはピクセル水準で全体イメージを基準として全域的に整列され、全体イメージを構成する複数の領域別に地域的に整列されるデータである、請求項９に記載の腫瘍－ストロマ比率を予測する分析装置。

【請求項14】

前記敵対的生成モデルはＨＥＤ（Ｈｅｍａｔｏｘｙｌｉｎ－Ｅｏｓｉｎ－ＤＡＢ）カラー空間に対する損失関数をさらに利用して学習される、請求項９に記載の腫瘍－ストロマ比率を予測する分析装置。

【国際調査報告】