特表 2024-528609 病理イメージ分析方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-30

(54)【発明の名称】病理イメージ分析方法及びシステム

(51)【国際特許分類】

   G01N 33/48 20060101AFI20240723BHJP

   G01N 33/53 20060101ALI20240723BHJP

   G06T 7/00 20170101ALN20240723BHJP

【ＦＩ】

G01N33/48 P

G01N33/53 D

G01N33/53 Y

G06T7/00 630

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024501611

(86)(22)【出願日】2022-07-14

(85)【翻訳文提出日】2024-01-11

(86)【国際出願番号】 KR2022010321

(87)【国際公開番号】W WO2023287235

(87)【国際公開日】2023-01-19

(31)【優先権主張番号】10-2021-0092181

(32)【優先日】2021-07-14

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0087202

(32)【優先日】2022-07-14

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】522340691

【氏名又は名称】ルニット インコーポレイテッド

【氏名又は名称原語表記】ＬＵＮＩＴ ＩＮＣ．

(74)【代理人】

【識別番号】100121728

【弁理士】

【氏名又は名称】井関 勝守

(74)【代理人】

【識別番号】100165803

【弁理士】

【氏名又は名称】金子 修平

(74)【代理人】

【識別番号】100179648

【弁理士】

【氏名又は名称】田中 咲江

(74)【代理人】

【識別番号】100222885

【弁理士】

【氏名又は名称】早川 康

(74)【代理人】

【識別番号】100140338

【弁理士】

【氏名又は名称】竹内 直樹

(74)【代理人】

【識別番号】100227695

【弁理士】

【氏名又は名称】有川 智章

(74)【代理人】

【識別番号】100170896

【弁理士】

【氏名又は名称】寺薗 健一

(74)【代理人】

【識別番号】100219313

【弁理士】

【氏名又は名称】米口 麻子

(74)【代理人】

【識別番号】100161610

【弁理士】

【氏名又は名称】藤野 香子

(72)【発明者】

【氏名】ブラットリ ビアジオ

(72)【発明者】

【氏名】オク チャンヨン

(72)【発明者】

【氏名】ジョン ウォンギョン

(72)【発明者】

【氏名】ジョ スイク

(72)【発明者】

【氏名】ペン ギョンヒョン

(72)【発明者】

【氏名】ユ ドングン

【テーマコード（参考）】

2G045

5L096

【Ｆターム（参考）】

2G045AA24

2G045CB01

2G045JA01

5L096AA02

5L096AA06

5L096BA03

5L096BA06

5L096BA13

5L096CA02

5L096DA01

5L096DA02

5L096EA06

5L096FA02

5L096FA69

5L096GA34

5L096GA41

5L096HA11

5L096KA04

(57)【要約】

【課題】少なくとも一つのプロセッサにより遂行される病理イメージ分析方法を提供する。
【解決手段】本開示の方法は、病理イメージを獲得するステップと、獲得された病理イメージを機械学習モデルに入力して、機械学習モデルから病理イメージに対する分析結果を獲得するステップと、獲得された分析結果を出力するステップと、を含み、機械学習モデルは、第１のドメインと関連した第１の病理データセット、及び第１のドメインと異なる第２のドメインと関連した第２の病理データセットに基づいて生成される学習用データセットを用いて学習されるモデルであり得る。
【選択図】図６

【特許請求の範囲】

【請求項1】

少なくとも一つのプロセッサにより遂行される、病理イメージ分析方法において、
病理イメージを獲得するステップと、
前記獲得された病理イメージを機械学習モデルに入力して、前記機械学習モデルから前記病理イメージに対する分析結果を獲得するステップと、
前記獲得された分析結果を出力するステップと、を含み、
前記機械学習モデルは、第１のドメインと関連した第１の病理データセット、及び第１のドメインと異なる第２のドメインと関連した第２の病理データセットに基づいて生成される学習用データセットを用いて学習されるモデルである、病理イメージ分析方法。

【請求項2】

前記病理イメージを獲得するステップの前に、
第１の類型の病理イメージを含む前記第１の病理データセット、及び第２の類型の病理イメージを含む前記第２の病理データセットを獲得するステップと、
前記第１の病理データセット及び前記第２の病理データセットに基づいて、前記学習用データセットを生成するステップと、
前記生成された学習用データセットを用いて、前記機械学習モデルを学習させるステップと、をさらに含む、請求項１に記載の病理イメージ分析方法。

【請求項3】

前記学習用データセットを生成するステップは、
染色発現等級又は関心領域の少なくとも一つに基づいて、前記第１の類型の病理イメージと関連した項目、及び前記第２の類型の病理イメージと関連した項目を関連付けるステップと、
前記関連付けた項目を含む学習用データセットを生成するステップと、を含む、請求項２に記載の病理イメージ分析方法。

【請求項4】

前記項目を関連付けるステップは、
前記第１の類型の病理イメージに含まれた腫瘍組織領域と関連した第１の項目、及び前記第１の類型の病理イメージに含まれた非腫瘍組織領域と関連した第２の項目を抽出するステップと、
前記第２の類型の病理イメージに含まれた腫瘍組織領域と関連した第３の項目、及び前記第２の類型の病理イメージに含まれた非腫瘍組織領域と関連した第４の項目を抽出するステップと、
前記抽出された第１の項目及び前記抽出された第３の項目を関連付け、前記抽出された第２の項目及び前記抽出された第４の項目を関連付けるステップと、を含む、請求項３に記載の病理イメージ分析方法。

【請求項5】

前記項目を関連付けるステップは、
前記第１の類型の病理イメージに含まれたピクセル群の各々の染色発現強度を示す項目群のうちで、第１の発現範囲と関連した第５の項目、及び第２の発現範囲と関連した第６の項目を抽出するステップと、
前記第２の病理データセットに含まれたピクセル群の各々の染色発現強度を示す項目群のうちで、前記第１の発現範囲と関連した第７の項目、及び前記第２の発現範囲と関連した第８の項目を識別するステップと、
前記第５の項目及び前記第７の項目を関連付け、前記第６の項目及び前記第８の項目を関連付けるステップと、を含む、請求項３に記載の病理イメージ分析方法。

【請求項6】

前記項目を関連付けるステップは、
前記第１の類型の病理イメージに含まれた細胞の類型を示す少なくとも一つのオブジェクトクラス、及び前記第２の類型の病理イメージに含まれた細胞の類型を示す少なくとも一つのオブジェクトクラスを関連付けるステップ、又は、
前記第１の類型の病理イメージに含まれた細胞の染色発現強度を示す少なくとも一つのオブジェクトクラス、及び前記第２の類型の病理イメージに含まれた細胞の染色発現強度を示す少なくとも一つのオブジェクトクラスを関連付けるステップを含む、請求項３に記載の病理イメージ分析方法。

【請求項7】

前記第１の病理データセット及び前記第２の病理データセットに基づいて、前記学習用データセットを生成するステップは、
前記第１の病理データセット及び前記第２の病理データセットからパッチ群を抽出するステップと、
前記パッチ群を含む前記学習用データセットを生成するステップと、を含み、
前記生成された学習用データセットを用いて、前記機械学習モデルを学習させるステップは、
前記第１の病理データセットから抽出されたラベル付けされたパッチ群のうちで、第１のサンプリング個数に相当する個数の第１の類型のイメージパッチ群を呼び出すステップと、
前記第２の病理データセットから抽出されたラベル付けされたパッチ群のうちで、第２のサンプリング個数に相当する個数の第２の類型のイメージパッチ群を呼び出すステップと、
前記第１の類型のイメージパッチ群及び前記第２の類型のイメージパッチ群に基づいて、バッチを生成するステップと、
前記バッチを用いて、前記機械学習モデルを学習させるステップと、を含む、請求項２に記載の病理イメージ分析方法。

【請求項8】

前記第１の病理データセット及び前記第２の病理データセットに基づいて、前記学習用データセットを生成するステップは、
前記第１の病理データセットから第１の類型のイメージパッチ群を抽出するステップと、
前記第２の病理データセットから第２の類型のイメージパッチ群を抽出するステップと、
所定の個数だけ前記第１の類型のイメージパッチ群をコピーして、前記学習用データセットに含めるステップと、を含む、請求項２に記載の病理イメージ分析方法。

【請求項9】

前記機械学習モデルに学習させるステップは、
前記第１の類型の病理イメージ又は前記第２の類型の病理イメージの少なくとも一つに対するサイズを調整するステップと、
前記サイズが調整された少なくとも一つの病理イメージを含む学習用データを用いて、前記機械学習モデルを学習させるステップと、を含む、請求項２に記載の病理イメージ分析方法。

【請求項10】

前記機械学習モデルに学習させるステップは、前記第１の類型の病理イメージ又は前記第２の類型の病理イメージの少なくとも一つに含まれたピクセル群のうちで、既定の範囲に該当するピクセル群を除去するステップを含む、請求項２に記載の病理イメージ分析方法。

【請求項11】

前記機械学習モデルに学習させるステップは、
前記第１の類型の病理イメージ又は前記第２の類型の病理イメージの少なくとも一つを左右又は上下に反転させるステップと、
前記反転された病理イメージを含む学習用データを用いて、前記機械学習モデルを学習させるステップと、を含む、請求項２に記載の病理イメージ分析方法。

【請求項12】

前記機械学習モデルに学習させるステップは、
前記第１の類型の病理イメージ又は前記第２の類型の病理イメージの少なくとも一つに含まれたピクセル群のうちで、既定の範囲のピクセル群を除去又は変形するステップと、
前記既定の範囲のピクセル群が除去又は変形された病理イメージを含む学習用データを用いて、前記機械学習モデルを学習させるステップと、を含む、請求項２に記載の病理イメージ分析方法。

【請求項13】

前記機械学習モデルに学習させるステップは、
前記第１の類型の病理イメージ又は前記第２の類型の病理イメージの少なくとも一つに含まれたピクセル群の色相を変換させるステップと、
前記ピクセル群の色相が変換された少なくとも一つの病理イメージを含む学習用データを用いて、前記機械学習モデルを学習させるステップと、を含む、請求項２に記載の病理イメージ分析方法。

【請求項14】

前記機械学習モデルを学習させるステップは、
前記学習用データセットのうちで、ターゲット学習用データを決定するステップと、
前記ターゲット学習用データを前記機械学習モデルに入力し、前記機械学習モデルから出力値を獲得するステップと、
前記第１の病理データセット又は前記第２の病理データセットの少なくとも一つに含まれたアノテーション情報を用いて、前記ターゲット学習用データに対するレファレンス値を獲得するステップと、
前記出力値及び前記獲得されたレファレンス値間の損失値を前記機械学習モデルにフィードバックするステップと、を含む、請求項２に記載の病理イメージ分析方法。

【請求項15】

前記機械学習モデルは、互いに異なる類型の分析結果を出力する複数の分析モデルを含み、
前記分析結果を獲得するステップは、
前記獲得された病理イメージから染色色相及び染色色相の発現位置を識別するステップと、
前記識別された染色色相及び染色色相の発現位置に基づいて、前記複数の分析モデルのいずれか一つをターゲット分析モデルとして決定するステップと、
前記決定されたターゲット分析モデルに前記病理イメージを入力して、前記発現位置における染色強度に対する分析結果を前記ターゲット分析モデルから獲得するステップと、を含む、請求項１に記載の病理イメージ分析方法。

【請求項16】

前記機械学習モデルは、互いに異なる類型の分析結果を出力する複数の分析モデルを含み、
前記分析結果を獲得するステップは、
ユーザの入力情報に基づいて、前記複数の分析モデルのいずれか一つをターゲット分析モデルとして決定するステップと、
前記ターゲット分析モデルに前記病理イメージを入力して、前記病理イメージに対する分析結果を前記ターゲット分析モデルから獲得するステップと、を含む、請求項１に記載の病理イメージ分析方法。

【請求項17】

前記機械学習モデルは、細胞の種類又は前記細胞の評価指標の少なくとも一つを含む分析結果を出力し、
前記細胞の評価指標は、前記細胞に対する陽性又は陰性に対する結果値、前記細胞に対する染色発現等級、前記細胞に対する染色発現程度を示す値、又は前記細胞に対する染色発現統計情報の少なくとも一つを含む、請求項１に記載の病理イメージ分析方法。

【請求項18】

請求項１に記載の方法をコンピュータで実行するための命令語等を記録したコンピュータ読み取り可能な非一時的記録媒体。

【請求項19】

情報処理システムであって、
メモリと、
前記メモリと連結され、前記メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成される少なくとも一つのプロセッサと、を含み、
前記少なくとも一つのプログラムは、
病理イメージを獲得し、
前記獲得された病理イメージを機械学習モデルに入力して、前記機械学習モデルから前記病理イメージに対する分析結果を獲得し、
前記獲得された分析結果を出力するための命令語等を含み、
前記機械学習モデルは、第１のドメインと関連した第１の病理データセット、及び第１のドメインと異なる第２のドメインと関連した第２の病理データセットに基づいて生成される学習用データセットを用いて学習されるモデルである、情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、病理イメージ分析方法及びシステムに関し、具体的には、機械学習モデルを用いて多様な類型（type）の病理イメージを分析する方法及びシステムに関する。

【背景技術】

【0002】

病理学（Pathology）の分野では、病理組織から生体学的情報を獲得して分析するために、様々な染色法に基づいて組織を染色して病理スライドに作製した後、病理専門医が病理スライドを目視で評価する方式が利用されている。

【0003】

中でも、免疫組織化学検査（immunohistochemistry、ＩＨＣ）は、特定抗原（Target antigen）に反応する抗体に、二次抗体として酵素や蛍光染料（fluorescent dye）を結合した後、これを特定組織に染色する方式である。免疫組織化学検査により特定組織が染色されると、抗体をターゲットに該当する特定抗原が発現された細胞に結合し、その結合反応が二次抗体を活性化して染色反応を発生させる。病理専門医は、顕微鏡を使って染色された細胞を確認し、細胞に対する評価を遂行できる。例えば、病理専門医は、染色発現量などを評価して定量化することで、組織内で有意味な情報を導出できる。

【0004】

ところで、染色された病理スライドを病理専門医が読み出し、結果を評価して定量化する方式は、個人の主観的な要素が介入する可能性があるとともに、労働力や時間をたくさん必要とするため、最近は、ディープラーニング（deep learning）などの人工知能アルゴリズムを用いて病理スライドを読み出すための研究が進行されている。このために、病理スライドをスキャンしてデジタル基盤の病理イメージとして保存され、その病理イメージを用いて人工知能アルゴリズムが学習されている。

【0005】

このとき、人工知能アルゴリズムが正確な結果を予測するためには、多量の学習用データが必要である。しかし、人工知能アルゴリズムに入力される病理イメージに医学的知識をラベル付けしなければならないが、このようなラベル付け作業は、医療専門家により遂行されなければならないため、学習用データの構築に費用や時間がかさんでしまう。

【0006】

一方、医療界では、多くの新薬と関連したバイオマーカー（biomarker）が開発されている。ここで、既に臨床で利用されるバイオマーカーと関連した臨床資料（例えば、ＰＤ－Ｌ１ ＩＨＣ、ＨＥＲ２ ＩＨＣ等と関連した臨床資料）は、蓄積されたデータが多いため、人工知能アルゴリズムの学習に必要な学習用データを生成することは比較的容易である。しかし、新規のバイオマーカーと関連した臨床資料はほとんどないため、新種のＩＨＣ染色方法により染色されたスライドイメージを分析するために、十分な量の学習用データを確保することは、短期間において困難である。

【0007】

また、特定の癌腫の場合、有病率などが低いため、比較的よく発病する他の癌腫に比べて、絶対的な検体数が少ない。このような場合、相対的に少ないデータを用いて人工知能モデルを学習させなければならないため、人工知能モデルが正しく学習されなかったり、特定の学習用データセットに偏って学習されたりする恐れがある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本開示は、多様な類型の病理イメージを正確に分析できる病理イメージ分析方法、記録媒体に保存されたコンピュータプログラム及び装置（システム）を提供する。

【課題を解決するための手段】

【0009】

本開示は、方法、装置（システム）及び／又はコンピュータ読み取り可能な保存媒体に保存されたコンピュータプログラム、コンピュータプログラムが保存されたコンピュータ読み取り可能な保存媒体を含む多様な方式により具現化できる。

【0010】

本開示の一実施例によれば、少なくとも一つのプロセッサにより遂行される、病理イメージ分析方法は、病理イメージを獲得するステップと、獲得された病理イメージを機械学習モデルに入力して、機械学習モデルから病理イメージに対する分析結果を獲得するステップと、獲得された分析結果を出力するステップと、を含み、機械学習モデルは、第１のドメインと関連した第１の病理データセット、及び第１のドメインと異なる第２のドメインと関連した第２の病理データセットに基づいて生成される学習用データセットを用いて学習されるモデルであり得る。

【0011】

また、病理イメージ分析方法は、病理イメージを獲得するステップの前に、第１の類型の病理イメージを含む第１の病理データセット、及び第２の類型の病理イメージを含む第２の病理データセットを獲得するステップと、第１の病理データセット及び第２の病理データセットに基づいて、学習用データセットを生成するステップと、生成された学習用データセットを用いて、機械学習モデルを学習させるステップと、をさらに含むことができる。

【0012】

また、学習用データセットを生成するステップは、染色発現等級又は関心領域の少なくとも一つに基づいて、第１の類型の病理イメージと関連した項目、及び第２の類型の病理イメージと関連した項目を関連付けるステップと、関連付けた項目を含む学習用データセットを生成するステップと、を含むことができる。

【0013】

また、項目を関連付けるステップは、第１の類型の病理イメージに含まれた腫瘍組織領域と関連した第１の項目、及び第１の類型の病理イメージに含まれた非腫瘍組織領域と関連した第２の項目を抽出するステップと、第２の類型の病理イメージに含まれた腫瘍組織領域と関連した第３の項目、及び第２の類型の病理イメージに含まれた非腫瘍組織領域と関連した第４の項目を抽出するステップと、抽出された第１の項目及び抽出された第３の項目を関連付け、抽出された第２の項目及び抽出された第４の項目を関連付けるステップと、を含むことができる。

【0014】

また、項目を関連付けるステップは、第１の類型の病理イメージに含まれたピクセル群の各々の染色発現強度を示す項目群のうちで、第１の発現範囲と関連した第５の項目、及び第２の発現範囲と関連した第６の項目を抽出するステップと、第２の病理データセットに含まれたピクセル群の各々の染色発現強度を示す項目群のうちで、第１の発現範囲と関連した第７の項目、及び第２の発現範囲と関連した第８の項目を識別するステップと、第５の項目及び第７の項目を関連付け、第６の項目及び第８の項目を関連付けるステップと、を含むことができる。

【0015】

また、項目を関連付けるステップは、第１の類型の病理イメージに含まれた細胞の類型を示す少なくとも一つのオブジェクトクラス、及び第２の類型の病理イメージに含まれた細胞の類型を示す少なくとも一つのオブジェクトクラスを関連付けるステップ、又は、第１の類型の病理イメージに含まれた細胞の染色発現強度を示す少なくとも一つのオブジェクトクラス、及び第２の類型の病理イメージに含まれた細胞の染色発現強度を示す少なくとも一つのオブジェクトクラスを関連付けるステップを含むことができる。

【0016】

また、第１の病理データセット及び第２の病理データセットに基づいて、学習用データセットを生成するステップは、第１の病理データセット及び第２の病理データセットからパッチ群を抽出するステップと、パッチ群を含む学習用データセットを生成するステップと、を含み、生成された学習用データセットを用いて、機械学習モデルを学習させるステップは、第１の病理データセットから抽出されたラベル付けされたパッチ群のうちで、第１のサンプリング個数に相当する個数の第１の類型のイメージパッチ群を呼び出す（fetch）ステップと、第２の病理データセットから抽出されたラベル付けされたパッチ群のうちで、第２のサンプリング個数に相当する個数の第２の類型のイメージパッチ群を呼び出すステップと、第１の類型のイメージパッチ群及び第２の類型のイメージパッチ群に基づいて、バッチ（batch）を生成するステップと、バッチを用いて機械学習モデルを学習させるステップと、を含むことができる。

【0017】

また、第１の病理データセット及び第２の病理データセットに基づいて、学習用データセットを生成するステップは、第１の病理データセットから第１の類型のイメージパッチ群を抽出するステップと、第２の病理データセットから第２の類型のイメージパッチ群を抽出するステップと、所定の個数だけ第１の類型のイメージパッチ群をコピーして、学習用データセットに含めるステップと、を含むことができる。

【0018】

また、機械学習モデルに学習させるステップは、第１の類型の病理イメージ又は第２の類型の病理イメージの少なくとも一つに対するサイズを調整するステップと、サイズが調整された少なくとも一つの病理イメージを含む学習用データを用いて、機械学習モデルを学習させるステップと、を含むことができる。

【0019】

また、機械学習モデルに学習させるステップは、第１の類型の病理イメージ又は第２の類型の病理イメージの少なくとも一つに含まれたピクセル群のうちで、既定の範囲に該当するピクセル群を除去するステップを含むことができる。

【0020】

また、機械学習モデルに学習させるステップは、第１の類型の病理イメージ又は第２の類型の病理イメージの少なくとも一つを左右又は上下に反転させるステップと、反転された病理イメージを含む学習用データを用いて、機械学習モデルを学習させるステップと、を含むことができる。

【0021】

また、機械学習モデルに学習させるステップは、第１の類型の病理イメージ又は第２の類型の病理イメージの少なくとも一つに含まれたピクセル群のうちで、既定の範囲のピクセル群を除去又は変形するステップと、既定の範囲のピクセル群が除去又は変形された病理イメージを含む学習用データを用いて、機械学習モデルを学習させるステップと、を含むことができる。

【0022】

また、機械学習モデルに学習させるステップは、第１の類型の病理イメージ又は第２の類型の病理イメージの少なくとも一つに含まれたピクセル群の色相を変換させるステップと、ピクセル群の色相が変換された少なくとも一つの病理イメージを含む学習用データを用いて、機械学習モデルを学習させるステップと、を含むことができる。

【0023】

また、機械学習モデルを学習させるステップは、学習用データセットのうちで、ターゲット学習用データを決定するステップと、ターゲット学習用データを機械学習モデルに入力し、機械学習モデルから出力値を獲得するステップと、第１の病理データセット又は第２の病理データセットの少なくとも一つに含まれたアノテーション（annotation）情報を用いて、ターゲット学習用データに対するレファレンス値を獲得するステップと、出力値及び獲得されたレファレンス値間の損失（loss）値を機械学習モデルにフィードバック（feedback）するステップと、を含むことができる。

【0024】

また、機械学習モデルは、互いに異なる類型の分析結果を出力する複数の分析モデルを含み、分析結果を獲得するステップは、獲得された病理イメージから染色色相及び染色の発現位置を識別するステップと、識別された染色色相及び染色の発現位置に基づいて、複数の分析モデルのいずれか一つをターゲット分析モデルとして決定するステップと、決定されたターゲット分析モデルに病理イメージを入力して、発現位置における染色強度に対する分析結果をターゲット分析モデルから獲得するステップと、を含むことができる。

【0025】

また、機械学習モデルは、互いに異なる類型の分析結果を出力する複数の分析モデルを含み、分析結果を獲得するステップは、ユーザの入力情報に基づいて、複数の分析モデルのいずれか一つをターゲット分析モデルとして決定するステップと、ターゲット分析モデルに病理イメージを入力して、病理イメージに対する分析結果をターゲット分析モデルから獲得するステップと、を含むことができる。

【0026】

また、機械学習モデルは、細胞の種類又は細胞の評価指標の少なくとも一つを含む分析結果を出力し、細胞の評価指標は、細胞に対する陽性又は陰性に対する結果値、細胞に対する染色発現等級、細胞に対する染色発現程度を示す値、又は細胞に対する染色発現統計情報の少なくとも一つを含むことができる。

【0027】

前述した病理イメージ分析方法を、コンピュータで実行するための命令語等を記録したコンピュータ読み取り可能な非一時的な記録媒体が提供され得る。

【0028】

本開示の一実施例に係る情報処理システムは、メモリと、メモリと連結され、メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成される少なくとも一つのプロセッサと、を含み、少なくとも一つのプログラムは、病理イメージを獲得し、獲得された病理イメージを機械学習モデルに入力して、機械学習モデルから病理イメージに対する分析結果を獲得し、獲得された分析結果を出力するための命令語等を含み、機械学習モデルは、第１のドメインと関連した第１の病理データセット、及び第１のドメインと異なる第２のドメインと関連した第２の病理データセットに基づいて生成される学習用データセットを用いて学習されるモデルであり得る。

【発明の効果】

【0029】

本開示の一部の実施例によれば、異種ドメインからなる学習用データセットに基づいて機械学習モデルが学習されることで、機械学習モデルは、学習に利用されない多様な類型の病理イメージまでも正確に分析できる。

【0030】

本開示の一部の実施例によれば、異種病理データセットに対するサンプリングが遂行されることで、特定の類型の病理データセットに偏らせずに均一に機械学習モデルを学習できる。

【0031】

本開示の一部の実施例によれば、異種病理データセットに含まれた項目群を互いに関連付け、項目等を関連付けた異種病理データセットに基づいて学習用データセットを生成できる。このような学習用データセットを用いて機械学習モデルが学習される場合、機械学習モデルは、別の学習を遂行することなく、新しい癌腫又は新しいＩＨＣ染色方法によって発現された細胞を含む病理イメージに対する正確な分析を遂行できる。

【0032】

本開示の一部の実施例によれば、意図的に病理イメージを変形させた学習用データが機械学習モデルに入力されて機械学習モデルが学習されることで、イメージの歪曲や変更などのような意図しない状況でも、ロバスト（robust）な機械学習モデルを構築できる。

【0033】

本開示の一部の実施例によれば、機械学習モデルを介して、多様な類型の出力値を含む分析結果を出力できる。これにより、ユーザは、分析結果に含まれた出力値群のうちで所望の類型の出力値を用いて、医療行為などのような後続手順を進行できる。

【0034】

本開示の効果は、これに制限されず、言及されない他の効果等は、請求範囲の記載から本開示が属する技術分野における通常の知識を有した者（以下、「当業者」という）に明確に理解されるべきである。

【図面の簡単な説明】

【0035】

本開示の実施例等は、以下の添付図面に基づいて説明される。ここで、類似の参照符号は類似の要素を示すが、これに限定されるものではない。

【図1】互いに異なる類型の病理イメージの例を示す図である。

【図2】互いに異なる類型の病理イメージの例を示す図である。

【図3】オブジェクトクラスを含む病理イメージの例を示す図である。

【図4】腫瘍領域及び前癌性領域をセグメンテーションした病理イメージの例を示す図である。

【図5】本開示の一実施例に係る病理イメージを分析するシステムが適用される環境の例を示す図である。

【図6】本開示の一実施例に係る病理イメージ分析モデルが学習される例を示す概要図である。

【図7】本開示の一実施例に係る病理イメージ分析モデルが学習される方法を説明するためのフローチャートである。

【図8】本開示の一実施例に係る異種病理データセットを前処理して、学習用データセットを生成する方法を説明するためのフローチャートである。

【図9】パッチ群をサンプリングしてバッチが生成される例を示す図である。

【図10】パッチ群をサンプリングしてバッチが生成される他の例を示す図である。

【図11】本開示の一実施例に係る病理イメージ分析モデルを介して、病理イメージの分析結果が出力される例を示す図である。

【図12】本開示の一実施例に係る病理イメージ分析モデルに含まれた人工神経網モデルの例を示す図である。

【図13】本開示の一実施例に係る病理イメージ分析モデルを用いて、病理イメージに対する分析結果を出力する方法を説明するフローチャートである。

【図14】本開示の他の実施例に係る病理イメージ分析モデルの例を示す図である。

【図15】本開示の他の実施例に係る病理イメージの特性に基づいて呼び出した分析モデルを介して、病理イメージに対する分析結果が出力される例を示す図である。

【図16】本開示のまた他の実施例に係るユーザの入力情報に基づいて呼び出した分析モデルを介して、病理イメージに対する分析結果が出力される例を示す図である。

【図17】病理イメージ分析モデルから出力される多様な形態の分析結果の例を示す図である。

【図18】病理イメージ分析モデルから出力される多様な形態の分析結果の例を示す図である。

【図19】病理イメージ分析モデルから出力される多様な形態の分析結果の例を示す図である。

【図20】病理イメージ分析モデルから出力される多様な形態の分析結果の例を示す図である。

【図21】本開示の一実施例に係る病理イメージを分析する例示的なシステム構成図である。

【発明を実施するための形態】

【0036】

以下、本開示の実施のための具体的な内容を添付図面に基づいて詳細に説明する。ただし、以下の説明では、本開示の要旨を不要に不明瞭にする恐れがある場合、公知の機能や構成に関する具体的な説明は省略する。

【0037】

添付図面において、同一又は対応する構成要素には同一の参照符号が付与される。また、以下の実施例の説明において、同一又は対応する構成要素について重複する記述は省略され得る。しかし、構成要素に関する記述が省略されても、そのような構成要素が、ある実施例に含まれないものと意図してはならない。

【0038】

開示の実施例の利点及び特徴、そしてそれらを達成する方法は、添付図面に基づいて後述する実施例を参照すれば明確になる。しかしながら、本開示は、以下で開示される実施例に限定されず、互いに異なる多様な形態で具現化され得る。ただし、本実施例は、本開示が完全になるようにし、本開示が当業者に発明のカテゴリを正確に認識させるために提供されるだけである。

【0039】

本明細書で使用される用語について簡略に説明し、開示の実施例について具体的に説明する。本明細書で使用される用語は、本開示での機能を考慮しつつ、可能な限り現在広く使用される一般的な用語を選択したが、これは関連分野に従事する技術者の意図又は判例、新技術の出現などにより変化し得る。また、特定の場合は出願人が任意で選定した用語もあり得るが、これらの意味は当該発明の説明の部分において詳細に記載する。よって、本開示で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたった内容に基づいて定義されるべきである。

【0040】

本明細書では、文脈上において明確に特定しない限り、単数の表現は複数の表現を含み、複数の表現は単数の表現を含むことができる。明細書の全般に渡り、ある部分がある構成要素を「含む」とする際、これは特に反対の記載がない限り、他の構成要素を排除するものではなく、他の構成要素をさらに含むこともできることを意味する。

【0041】

本開示において、「システム」は、サーバ装置及びクラウド装置の少なくとも一つを含むことのできるが、これに限定されるものではない。例えば、システムは、一つ以上のサーバ装置からなることができる。他の例として、システムは、一つ以上のクラウド装置からなることができる。また他の例として、システムは、サーバ装置及びクラウド装置の全部からなって動作されることもできる。

【0042】

また、以下の実施例等で使用される第１、第２、Ａ、Ｂ、（ａ）、（ｂ）などのような用語は、ある構成要素を他の構成要素と区別するために使用されるだけであり、その用語により当該構成要素の本質や手順又は順序などが限定されるものではない。

【0043】

また、以下の実施例等では、ある構成要素が他の構成要素に「連結」、「結合」又は「接続」されると記載された場合、その構成要素は、他の構成要素に直接的に連結又は接続され得るが、各構成要素間にまた他の構成要素が「連結」、「結合」又は「接続」されることもできると理解しなければならない。

【0044】

また、以下の実施例等で使用される「含む（comprises）」及び／又は「含む（comprising）」は、言及された構成要素、ステップ、動作及び／又は素子が、一つ以上の他の構成要素、ステップ、動作及び／又は素子の存在又は追加を排除しない。

【0045】

本開示の多様な実施例を説明するに先立ち、使用される用語について説明する。

【0046】

本開示において、「ＩＨＣ（Immunohistochemistry）染色」は、組織又は細胞検体において、核、細胞質又は細胞膜に存在するタンパク質（又は抗原）の有無を光学顕微鏡で観察するために、関心のある抗体を組織上に反応させる原理を用いた染色法を指すことができる。抗原－抗体反応物は、そのまま顕微鏡で観察できないため、バイオマーカー（biomarker）を付けた後、そのバイオマーカーを発色させる方法を利用し、発色剤としては、赤色を有するＡＥＣ（3-amino-9-ethylcarbazole）、茶色を有するＤＡＢ（3、3'-diaminobenzidine）などのような様々な発色剤が用いられる。

【0047】

本開示において、「病理イメージ」は、人体から取り出した組織などを顕微鏡で観察するために、一連の化学的処理過程を通して固定及び染色された病理スライドを撮影したイメージを指すことができる。ここで、病理イメージは、病理スライドに対する高解像度のイメージを含むホールスライドイメージ（whole slide image、WSI）、又は、高解像度のホールスライドイメージの一部を指すことができる。ここで、ホールスライドイメージの一部は、病理スライドイメージの全体から一定のサイズ単位に分割された領域を指すことができる。例えば、病理イメージは、デジタルスキャナーを用いて病理スライドをスキャンしたデジタルイメージを指すことができ、人体内の細胞（cell）、組織（tissue）及び／又はストラクチャー（structure）に関する情報を含むことができる。また、病理イメージは、一つ以上のパッチを含むことができ、一つ以上のパッチには、アノテーション（annotation）作業により組織学的情報が適用（例：タグ付け）され得る。本開示において、「病理イメージ」は、「病理イメージに含まれた少なくとも一部の領域」を指すこともできる。

【0048】

本開示において、「パッチ」は、病理イメージ内の一部の領域を指すことができる。例えば、パッチは、病理イメージに対し、セグメンテーション（segmentation）を遂行することにより抽出された意味論的オブジェクト（object）に対応する領域を含むことができる。また他の例として、パッチは、病理イメージを分析することにより生成された組織学的情報と関連したピクセル群の組合せを指すことができる。例えば、パッチは、腫瘍組織と関連したオブジェクト、前癌性組織と関連したオブジェクト、腫瘍周辺組織と関連したオブジェクト、及びその他の組織と関連したオブジェクトなどを含むことができる。

【0049】

本開示において、「組織学的情報（histological components）」は、病理イメージに含まれた人体内の細胞（cell）、組織（tissue）及び／又はストラクチャー（structure）に関する特性又は情報を含むことができる。ここで、細胞に関する特性は、核（nucleus）や細胞膜（cell membrane）のような細胞学的特徴（cytologic feature）を含むことができる。組織学的情報は、機械学習モデルを介して推論されたり、病理専門医により入力されたりした、パッチに関する組織学的情報を指すことができる。

【0050】

本開示において、「病理データ」は、アノテーション（annotation）情報が含まれた病理イメージを指すことができる。複数の病理データを含む病理データの集合は「病理データセット」として指すことができる。病理データセットの生成時、病理データのドメインを考慮し得る。ドメインが一致する病理イメージ群のみを集合して、病理データセットを構成できる。

【0051】

本開示において、「アノテーション情報」は、病理イメージと関連して病理専門医又は病理学者などのような専門家が入力する情報であり得る。アノテーション情報は、病理イメージに関する組織学的情報を含むことができる。また、アノテーション情報は、病理イメージと関連した少なくとも一つの項目を含むことができる。ここで、病理イメージと関連した「項目（item）」は、病理イメージに関する細部情報を示すデータとして、染色が発現されたオブジェクトの領域（例えば、領域に含まれるピクセルの範囲、ピクセルの位置など）と関連した第１の項目、及びオブジェクトクラスと関連した第２の項目を含むことができる。ここで、オブジェクトは有意味な細胞領域（例えば、異常領域）として、ピクセル範囲と関連付けられ、オブジェクトクラスは細胞類型及び評価指標などを含むことができる。細胞類型は腫瘍細胞（tumor cell）やリンパ球（lymphocyte）などであり、評価指標は染色発現強度と関連した指標として、陽性の有無、発現等級、発現値、発現統計情報などを含むことができる。発現等級は、既定の複数の等級（例えば、０、ｔ＋１、ｔ＋２及びｔ＋３）のうち、染色強度に基づいた細胞の等級であり、発現値は、既定の数値範囲（例えば、０～１）のうち、染色強度に基づいた細胞の発現値であり得る。また、発現統計情報は、細胞の発現強度に対する統計として、複数の病理イメージが連続的に分析される場合に出力され得る。例えば、１０個の病理イメージを分析して、各病理イメージ内の全体の腫瘍細胞に対するＰＤ－Ｌ１ ｐｏｓｉｔｉｖｅ腫瘍細胞の比率を計算し、計算された比率値の分布が発現統計情報に含まれ得る。他の例として、発現統計情報は、単一の病理イメージ内で特定の細胞に関する統計情報を含むことができる。例えば、一つの病理イメージが分析され、病理イメージ内で染色発現された全体の細胞の対比のうちで、特定の等級に分類される細胞に対する比率が発現統計情報に含まれ得る。

【0052】

本開示において、「異種」は、ドメインが異なる病理データ又は病理イメージを指すことができる。ここで、「ドメイン」が一致することは、病理イメージの類型（type）が同じであり、病理イメージと関連した項目類型（item type related to image）が一致することが分かり、「ドメイン」が異なることは、病理イメージの類型が異なるか、或いは、病理イメージと関連した項目類型が異なることが分かる。ここで、同し類型の病理イメージは、染色方法が同じであることが分かる。例えば、ＰＤ－Ｌ１（Programed cell death ligand 1）ＩＨＣ染色を用いて染色された肺癌組織に対する病理イメージ群が、第１のドメインと関連した第１の病理データセットを構成できる。他の例として、ＨＥＲ２（human epidermal growth factor receptor 2）染色を用いて染色された乳癌組織に対する病理イメージ群が、第２のドメインと関連した第２の病理データセットを構成できる。このとき、第１の病理データセットに含まれた病理イメージ、及び、第２の病理データセットに含まれた病理イメージは異種であると称することができる。すなわち、ドメインが同一の病理データ群は、同種データであると称する場合、ドメインが異なる病理データ群は、異種データであると称する。

【0053】

本開示において、「複数のＡの各々」は、複数のＡに含まれた全ての構成要素の各々を称したり、複数のＡに含まれた一部の構成要素の各々を称したりできる。

【0054】

本開示において、「インストラクション（instruction）」は、機能に基づいて組み合わせた一つ以上の命令語であって、コンピュータプログラムの構成要素であると同時に、プロセッサにより実行されるものを称することができる。

【0055】

以下、本開示の多様な実施例等については、添付図面に基づいて詳細に説明する。

【0056】

まず、図１乃至図４を参照すれば、本開示の学習に用いられる病理イメージの多様な例示について説明する。

【0057】

図１及び図２は、互いに異なる類型の病理イメージの例を示す図である。図１において、第１の病理イメージ１１０は、２２Ｃ３ ＩＨＣ染色を用いて、非小細胞肺癌においてＰＤ－Ｌ１（Programed cell death ligand 1）を染色したスライドイメージである。また、図２の第２の病理イメージ１２０は、ＨＥＲ２（human epidermal growth factor receptor 2）ＩＨＣ染色を用いて、乳癌においてＨＥＲ２を染色したスライドイメージである。２２Ｃ３ ＩＨＣ染色方法及びＨＥＲ２染色方法は、互いに異なる抗原－抗体反応を活用するが、腫瘍細胞の細胞膜（membrane）が染色された後、同じ色相（例えば、茶色）を有するという点において、パターンが類似していることが分かる。

【0058】

図２に示す第３の病理イメージ２１０は、ＥＲ（estrogen receptor）ＩＨＣ染色を用いて、乳癌を染色したスライドイメージであり、第４の病理イメージ２２０は、ＰＲ（progesterone receptor）ＩＨＣ染色を用いて、乳癌を染色したスライドイメージである。ＥＲ ＩＨＣ染色及びＰＲ ＩＨＣ染色により染色された核（nuclear）は、全部同じ色相（例えば、茶色）を有するという点において、ＩＨＣ染色パターンが類似している。

【0059】

このようにＩＨＣ染色を行った後、同一又は類似の色相（例えば、茶色）が発現される異種病理イメージを、後述する学習用データの生成に利用することができる。補足説明すれば、図１及び図２のような多様な類型の病理イメージを含む異種病理データに基づいて学習用データセットが生成され、学習用データセットを用いて機械学習モデルを学習できる。ここで、学習用データセットは、複数の学習用データの集合であり得る。また、特定の色相の以外に、多様な色相（例えば、赤色、ピンク、青色など）に発現される病理イメージを、学習用データの生成に利用することもできる。

【0060】

各々の病理イメージは、病理専門医が入力したアノテーション情報を含むことができる。アノテーション情報は、病理イメージ上のオブジェクト（例えば、細胞、組織、ストラクチャーなど）に対する少なくとも一つの項目を含むことができる。項目は、病理専門医が入力した、染色が発現されたオブジェクトの種類及びオブジェクトクラスを含むことができる。ここで、パッチ上に染色が発現されたオブジェクトの種類及びオブジェクトクラスは、パッチに対するラベル付け（labeling）情報として称することができる。本開示において、ラベル付け情報は、アノテーション情報と混用され得る。

【0061】

図３は、オブジェクトクラスを含む病理イメージ３１０の例を示す図である。図３に示す病理イメージ３１０は、特定の色相に発現されたオブジェクト及びオブジェクトクラスを含む。ここで、オブジェクトと関連した領域は、特定の色相に発現されたピクセル群に基づいて識別できる。

【0062】

オブジェクトクラスは、細胞が特定の色相に発現された程度に基づいて決定され、特定の色相の彩度によってオブジェクトの各々のクラスが決定され得る。従来は、このような決定が病理専門医によって決定された。すなわち、病理専門医は、病理イメージを確認した後、染色発現程度によって各々の細胞のクラスを入力し、このように設定された細胞のクラス及び当該細胞の領域（すなわち、ピクセルの範囲）がアノテーション情報として病理イメージに含まれ得る。図３では、ｔ０からｔ３＋に行くほど、染色発現の強度が強くなるものを例示している。

【0063】

しかし、本開示の一実施例によれば、予め構築されたイメージ分析アルゴリズム（例えば、イメージ分析のための機械学習モデル）を用いて、オブジェクトクラス及びオブジェクトが自動で決定され得る。

【0064】

図４は、腫瘍領域及び前癌性領域がセグメンテーションされた病理イメージ４１０の例を示す図である。図４に示す病理イメージ４１０では、腫瘍領域（ｃａ）及び前癌性領域（ｃｉｓ）をセグメンテーションした後、腫瘍領域（ｃａ）は第１の色相に視覚化し、前癌性領域（ｃｉｓ）は第２の色相に視覚化し得る。従来は、このような領域の区分が、病理専門医によって決定された。例えば、病理専門医は、病理イメージ４１０から発現される細胞及び組織の形態学的特性に基づいて、腫瘍領域（ｃａ）及び前癌性領域（ｃｉｓ）を識別できた。

【0065】

しかし、本開示の一実施例によれば、このようなセグメンテーション作業は、予め構築されたイメージ分析アルゴリズム（例えば、イメージ分析のための機械学習モデル）を用いて、自動で遂行できる。例えば、イメージ分析アルゴリズムを介して、細胞の染色発現程度が病理イメージから抽出され、染色発現強度に基づいて各々の領域を自動でセグメンテーションした後、互いに異なる色相に視覚化し得る。

【0066】

病理イメージの類型に応じて、より多くの領域をセグメンテーションして視覚化し得る。例えば、病理イメージでは、腫瘍領域及び前癌性領域の以外に、腫瘍周辺領域（Cancer stromaなど）を第３の色相に視覚化し、その他の組織（Connective tissue、fat tissue、boneなど）を第４の色相に視覚化し得る。視覚化作業と関連したアノテーション情報を病理イメージに含むことができる。すなわち、視覚化したオブジェクト領域と関連した第１の項目に関する情報、及びオブジェクトクラスと関連した第２の項目に関する情報を含むアノテーション情報が、病理イメージに含まれ得る。

【0067】

前述した通り、病理イメージが異なることができ、また、病理イメージに含まれたアノテーション情報の項目が異なることができる。ここで、病理イメージが異なることは、病理イメージに対する染色方法が異なり、また、細胞を取り出した身体部位が異なることが分かる。例えば、第１の病理イメージがＥＲ ＩＨＣ染色により獲得されたイメージであり、第２の病理イメージがＰＲ ＩＨＣ染色により獲得されたイメージである場合、第１の病理イメージ及び第２の病理イメージは異種イメージであり得る。他の例として、第３の病理イメージが胸組織から獲得されたイメージであり、第４の病理イメージが肺組織から獲得された病理イメージである場合、第３の病理イメージ及び第４の病理イメージは異種イメージであり得る。

【0068】

また、アノテーション情報が異なることは、アノテーション情報に含まれた項目の類型が異なることが分かる。例えば、第１の病理イメージにオブジェクトクラスとして陽性の有無と関連した第３の項目が含まれ、第２の病理イメージにオブジェクトクラスとしてｔ０、ｔ１＋、ｔ２＋及びｔ３＋のいずれか一つに対する等級を示す第４の項目が含まれる場合、第１の病理イメージ及び第２の病理イメージは異種であることが分かる。

【0069】

このように、病理イメージの類型かつアノテーション情報に含まれた項目のいずれか一つでも異なる病理イメージは、異種病理イメージであると判定できる。同じ類型の病理イメージ群が集合して、同じドメインの病理イメージセットを構成できる。

【0070】

以下、図５乃至図２１を参照して、本開示の多様な実施例を説明する。

【0071】

図５は、本開示の一実施例に係る病理イメージを分析するシステム５１０が適用される環境の例を示す図である。図５を参照すれば、分析システム５１０は、ネットワーク５５０を介して、研究情報システム５２０、スキャナー５３０、ユーザ端末５４０の各々と通信できる。ここで、ネットワーク５５０は、移動通信網及び有線通信網を含み、本開示の技術分野において公知の技術に該当するので、詳細な説明は省略する。また、図５に示していないが、分析システム５１０は、病理イメージを保存するための保存所、及び分析結果を保存するための保存所を含むイメージ管理システム（図示せず）と通信できる。

【0072】

スキャナー５３０は、患者の組織サンプルを用いて生成された組織サンプルスライドからデジタル化した病理イメージを獲得できる。例えば、スキャナー５３０は、病理スライドをスキャンしたデジタルイメージである病理イメージを生成して保存できる。スキャナー５３０は、獲得された病理イメージを分析システム５１０に転送できる。

【0073】

ユーザ端末５４０は、分析システム５１０から病理イメージに対する分析結果を受信できる。例えば、ユーザ端末５４０は、病院などのような医療施設に位置し、医療スタッフが使用するコンピューティング装置であり得る。他の例として、ユーザ端末５４０は、患者のような一般のユーザが使用するコンピューティング装置であり得る。

【0074】

研究情報システム５２０は、病院、大学、研究施設などで使用する、サーバ及びデータベースなどを含むコンピューティングシステムであり得る。研究情報システム５２０は、学習に利用されるＲＡＷデータの集合である病理イメージセットを分析システム５１０に提供できる。例えば、研究情報システム５２０は、単一のドメインに該当する異種病理データセットを分析システム５１０に転送できる。他の例として、研究情報システム５２０は、異種病理データセットを分析システム５１０に提供できる。すなわち、研究情報システム５２０は、第１のドメインに該当する第１の病理データセット、第２のドメインに該当する第２の病理データセット、又は第３のドメインに該当する第３の病理データセットのうちで、二つ以上を分析システム５１０に転送できる。

【0075】

分析システム５１０は、学習に利用される複数の病理データセットを保存するためのデータ保存所（例えば、データベース）を含み、病理イメージを分析するための機械学習モデルを含むことができる。分析システム５１０は、少なくとも一つのプロセッサ及びメモリを含むことができる。一実施例によれば、分析システム５１０は、異種病理データセットに基づいて学習用データセットを生成し、学習用データセットを用いて機械学習モデルを学習させることができる。分析システム５１０は、機械学習モデルの学習量が目標量に到達すれば、機械学習モデルを用いて、アノテーション情報が含まない病理イメージに対する分析を遂行できる。すなわち、分析システム５１０は、病理専門家の介入を要求することなく、機械学習モデルを用いて病理イメージに対する分析を遂行できる。例えば、分析システム５１０は、スキャナー５３０から受信された病理イメージを分析し、その分析された結果を依頼人に提供できる。ここで、依頼人は、ユーザ端末５４０を利用する医者／研究員／患者であり得る。

【0076】

以下、図６乃至図８を参照して、機械学習モデルが学習される過程についてより詳細に説明する。

【0077】

図６は、本開示の一実施例に係る病理イメージ分析モデル６３０が学習される例を示す概要図である。図６では、機械学習モデル６３０が病理イメージ分析モデル６３０であると称する。以下では、機械学習モデル６３０及び病理イメージ分析モデル６３０が混用され得る。

【0078】

複数の異種病理データセット６１０＿１乃至６１０＿ｎを前処理して、学習用データセット６２０を生成できる。すなわち、互いに異なるドメインに該当する複数の異種病理データセット６１０＿１乃至６１０＿ｎを前処理して、複数の学習用データを含む学習用データセット６２０を生成できる。異種病理データセット６１０＿１乃至６１０＿ｎを前処理する過程において、各病理データセット６１０＿１乃至６１０＿ｎから抽出されるサンプリング個数を決定できる。データサンプリングについては、図８を参照して詳細に説明する。

【0079】

一部の実施例において、アーティファクト（artifact）が含まれた病理イメージに対して分析を容易に遂行できるように、意図的に歪曲させた病理イメージが病理イメージ分析モデル６３０に入力され、アーティファクトが含まれた病理イメージに対しても、分析結果を出力できるロバスト（robust）な機械学習モデルを構築できる。ここで、アーティファクトが含まれた病理イメージは、一部の領域が歪曲されたり、変換されたり、除去されたりしたイメージであり得る。ロバストな機械学習モデルを構築するために、学習用データを生成する多様な実施例については、図８を参照して詳細に説明する。

【0080】

一実施例によれば、オブジェクトクラス又は関心領域の少なくとも一つに基づいて、病理データセット６１０＿１乃至６１０＿ｎに含まれた病理イメージと関連した項目が、他の病理データセットに含まれた病理イメージと関連した項目に関連付けられる。病理イメージと関連した項目とは、病理イメージ上に示す細胞、組織又はストラクチャーの種類、或いはクラスを区分する基準を意味できる。例えば、第１の病理データセット６１０＿１に第１の類型の第１の病理イメージが含まれ、第２の病理データセット６１０＿２に第２の類型の第２の病理イメージが含まれ、第１の病理イメージと関連した第１の項目、及び第２の病理イメージと関連した第２の項目が、類似の染色発現等級又は類似の関心領域に該当する場合、第１の項目及び第２の項目は互いに関連付けられる。ここで、関心領域は、細胞と関連した領域であり得る。例えば、関心領域は、腫瘍細胞、炎症細胞又はその他の細胞の少なくとも一つと関連した領域であり得る。他の例として、関心領域は、腫瘍組織、前癌性組織、腫瘍周辺組織又はその他の組織の少なくとも一つと関連した領域であり得る。項目群が関連付けられる多様な例示は、図８、表１及び表２を参照して、より具体的に説明する。

【0081】

一実施例によれば、関連付けられた項目群を含んで学習用データセット６２０を生成できる。例えば、第１の病理イメージと関連した第１の項目、及び第２の病理イメージと関連した第２の項目が互いに関連付けられる場合、互いに関連付けられた第１の項目と第２の項目及び第１の病理イメージに基づいて第１の学習データが生成され、学習用データセット６２０に含まれ得る。付加的に、互いに関連付けられた第１の項目と第２の項目及び第２の病理イメージに基づいて第２の学習データが生成され、学習用データセット６２０に含まれ得る。これにより、学習用データセット６２０は、病理イメージの以外に、病理イメージに含まれた項目と関連した異種病理イメージの項目をさらに含むことができる。

【0082】

学習用データセット６２０の一部又は全部を含む少なくとも一つのバッチ（batch）が生成され、病理イメージ分析モデル６３０を学習できる。一実施例によれば、学習過程において、病理イメージ分析モデル６３０から出力された出力値（すなわち、分析結果）６４０及びレファレンス値６５０間の損失（loss）値を算出できる。一実施例によれば、レファレンス値６５０は、病理イメージのアノテーション情報から獲得された一種の正解値であり得る。例えば、レファレンス値６５０は、アノテーション情報に含まれた評価指標から獲得できる。

【0083】

一実施例によれば、損失値が病理イメージ分析モデル６３０にフィードバックされ、病理イメージ分析モデル６３０に含まれた少なくとも一つのノードの加重値を調整できる。ここで、ノードは、人工神経網に含まれるノードであり得る。

【0084】

本開示の実施例等によれば、学習用データが病理イメージ分析モデル６３０に入力される場合、学習用データに含まれた関連した項目群は、類似の項目グループにグループ化して、病理イメージ分析モデル６３０において加重値を有する少なくとも一つのノードとして動作できる。このように関連した項目群を共に入力して、病理イメージ分析モデル６３０が学習される場合、多様な類型の病理イメージに対して分析を遂行できるだけでなく、多様な類型の結果値を出力できる。

【0085】

以下、図７及び図８を参照して、病理イメージ分析モデルが学習される方法を詳細に説明する。図７及び図８に示す方法は、本開示の目的を達成するための一実施例に過ぎず、必要に応じて一部のステップが追加又は削除され得ることは勿論である。また、図７及び図８に示す方法は、図５に示す分析システムに含まれた少なくとも一つのプロセッサにより遂行できる。説明の便宜のために、図５に示す分析システムに含まれたプロセッサにより、図７及び図８に示す各ステップが遂行されるものとして説明する。

【0086】

また、後述する実施例等において、異種病理データセットは、互いに異なる類型の複数の異種病理データセットを含むと仮定する。また、後述する説明において、第Ｎ（ここで、Ｎは自然数）の異種病理データセット、及び第Ｎ＋１の異種病理データセットは、互いに異なるドメインに該当するデータセットであると称する。

【0087】

図７は、本開示の一実施例に係る病理イメージ分析モデルが学習される方法７００を説明するためのフローチャートである。図７を参照すれば、プロセッサは、異種病理データセットを獲得できる（Ｓ７１０）。例えば、プロセッサは、図５の分析システム５１０、研究情報システム５２０又はスキャナー５３０の少なくとも一つから受信して保存した異種病理データセットを、保存所から獲得できる。

【0088】

続いて、プロセッサは、獲得された異種病理データセットの各々を前処理して、学習用データセットを生成できる（Ｓ７２０）。個別学習用データには、アノテーション情報を含む病理イメージが含まれ得る。一実施例によれば、プロセッサは、第１の病理イメージと関連した項目及び第２の病理イメージと関連した項目が関連付けられ、関連付けられた項目を各病理データセットに含めることができる。これにより、異種病理データセットに含まれた異種個別病理データが互いに併合され得る。一実施例によれば、学習用データセットのサイズが既定のバッチ（batch）サイズに相当するように、プロセッサは、学習用データの個数を決定し、その個数に相当するデータ個数を有するように、学習用データセットを生成できる。一部の実施例によれば、プロセッサは、異種病理データセットに対するサンプリング又はデータ拡張の少なくとも一つを遂行できる。データ前処理に関する詳細な説明は、図８乃至図１０を参照して後述する。

【0089】

データ前処理が完了した後、プロセッサは、学習用データセットに含まれたデータのうちで、ターゲット学習用データを決定できる（Ｓ７３０）。続いて、プロセッサは、ターゲット学習用データを用いて、病理イメージ分析モデルに対する学習を遂行できる（Ｓ７４０）。一実施例において、プロセッサは、ターゲット学習用データに含まれたアノテーション情報からレファレンス値を決定できる。例えば、プロセッサは、学習用データに含まれたアノテーション情報からオブジェクトクラスを抽出し、抽出されたオブジェクトクラスに含まれた評価指標に基づいてレファレンス値を決定できる。また、プロセッサは、学習用データに含まれたアノテーション情報からセグメンテーションした少なくとも一つのオブジェクトの領域（すなわち、ピクセルの範囲）、及び各オブジェクトの類型（すなわち、細胞類型）に基づいて、レファレンス値を決定できる。

【0090】

プロセッサは、ターゲット学習用データを病理イメージ分析モデルに入力し、病理イメージ分析モデルから出力される出力値（すなわち、分析結果）及びレファレンス値間の損失値を算出した後、算出した損失値を病理イメージ分析モデルにフィードバック（feedback）することで、病理イメージ分析モデルに含まれた少なくとも一つの加重値を調節できる。出力値は、評価指標又はオブジェクト領域及びオブジェクトの類型（すなわち、細胞類型）の少なくとも一つを含むことができる。損失値は、評価指標及びレファレンス値間の差に算術的に計算して算出でき、或いは、出力値に含まれたオブジェクト及びレファレンス値に含まれたオブジェクト間のピクセルの範囲の一致率を評価するための評価関数を用いて算出できる。

【0091】

続いて、プロセッサは、学習用データセットに含まれた全てのデータが、ターゲット学習用データとして決定されたか否かを判定できる（Ｓ７５０）。次に、プロセッサは、学習用データセットに含まれたデータのうちで、まだターゲット学習用データとして決定されていないデータが存在する場合、ターゲット学習用データとして決定されていない学習用データ群のいずれか一つをターゲット学習用データとして決定し、そのターゲット学習用データを用いて、病理イメージ分析モデルを学習できる。

【0092】

一方、プロセッサは、学習用データセットに含まれた全てのデータが、ターゲット学習用データとして決定された場合、現エポック（epoch）における学習を終了できる。

【0093】

一方、次エポックにおいて同じ学習用データセットを再利用して、病理イメージ分析モデルを再学習させることができ、或いは、新しい学習用データセットを生成して、病理イメージ分析モデルを再学習させることができる。

【0094】

前述した通り、学習用データセットに含まれたデータを用いて、病理イメージ分析モデルに対する繰り返し学習が進行される場合、病理イメージ分析モデルに含まれた各ノードの加重値は、最適値に収束することができる。これにより、病理イメージ分析モデルは、より正確な分析結果を出力できる。

【0095】

図８は、本開示の一実施例に係る異種病理データセットを前処理して、学習用データセットを生成する方法を説明するためのフローチャートである。まず、データ前処理のための方法を説明するに先立ち、前処理が必要な理由について概略的に説明する。

【0096】

異種病理イメージである第１の病理イメージ及び第２の病理イメージは、細胞の種類、染色強度又はＩＨＣ評価に必要な組織領域の少なくとも一つが異なることができる。大部分の病理イメージは、腫瘍細胞がラベル付けされた情報を含むという共通点を有するが、ＩＨＣ種類に応じて、腫瘍細胞の他にリンパ球（lymphocyte）及びマクロファージ（macrophage）などの免疫細胞や、腫瘍周辺の気質を構成する線維芽細胞（fibroblast）や、脂肪細胞（adipocyte）などの間質細胞（stromal cell）なども染色される場合があり、このような細胞等に関するラベル付け情報は、一部の類型の異種イメージに含まれ得る。補足説明すれば、図１乃至図４のような多様な類型の病理イメージを含む学習用データセットが生成され、学習用データセットに基づいて機械学習モデルを学習できる。

【0097】

また、染色強度を評価する基準も、病理イメージを構成する細胞類型（例えば、癌腫）及びＩＨＣ種類に応じて異なることができる。例えば、乳癌のＨＥＲ２発現程度を評価したＩＨＣデータセットの場合、腫瘍細胞（tumor cell）において、ＨＥＲ２の発現程度を３＋（強）、２＋（中間）、１＋（弱）、０（発現無し）の４段階に分けて分類するが、肺癌のＰＤ－Ｌ１発現程度を２２Ｃ３染色により評価したＩＨＣデータセットの場合、腫瘍細胞において、ＰＤ－Ｌ１発現程度を陽性又は陰性に分けて分類する。

【0098】

このようにラベル付けされた細胞の種類、染色強度に対する評価指標などが、病理イメージの類型に応じて異なることができるため、互いに異なる類型の項目を併合して、学習用データセットを構築する必要性がある。換言すれば、互いに異なるドメインの病理イメージ群に対してドメイン併合（domain merging）を遂行することで、統合された学習用データセットを構築する必要性がある。例えば、第１の病理イメージに含まれた第１のオブジェクトクラス及び第２の病理イメージに含まれた第２のオブジェクトクラス間の類型が互い異なる場合、第１のオブジェクトクラス及び第２のオブジェクトクラスが統合され得る。一方、特定の病理データセットに含まれたオブジェクトクラスの細部項目がさらに多かったり少なかったりでき、細部項目がさらに多い方又はさらに少ない方に項目が併合されるように、項目群が関連付けられる。もし、細部項目がさらに少ない方に併合される場合は、次の表１及び表２に例示するように、複数の細胞種類又は染色強度を一つに組み合わせる方法を活用できる。

【0099】

もし、細部項目がさらに多い方にデータを統合する場合は、細部項目がより少なくラベル付けされた病理イメージに対する評価を再遂行し、さらに多い個数の細部項目を病理イメージにラベル付けできる。このとき、細部項目のラベル付けを自動で遂行する別のアルゴリズム（例えば、機械学習モデル）を用いて、少ない個数の細部項目にラベル付けした病理イメージをさらに多い個数の細部項目に自動で再度ラベル付けできる。例えば、第１の病理イメージのオブジェクトクラスと関連した細部項目の個数が２個であり、第２の病理イメージのオブジェクトクラスと関連した細部項目の個数が４個である場合、第１の病理イメージが４個の細部項目を自動でラベル付けするアルゴリズム（例えば、機械学習モデル）が入力され、そのアルゴリズムを介して、４個の細部項目にラベル付けした第１の病理イメージを出力できる。

【0100】

このように項目を関連付けることは、ＩＨＣ分析において関心対象となる腫瘍細胞の場合、互いに異なる癌腫であっても、核異型性（nuclear atypia）、高い核／細胞質比率（high N/C ratio）、非定形有糸分裂（atypical mitosis）の増加、極性損失（loss of polarity）などのように、腫瘍細胞の起源に関係なく、悪性腫瘍細胞であれば共通的に持つ類似の形態的特徴（morphologic feature）があるという点、及び、免疫細胞や間質細胞などは癌腫による形態差が少ないという病理学的理論に基づく。

【0101】

図８を参照すれば、プロセッサは、異種病理データセットに含まれた互いに異なる項目を互いに関連付けるように処理することで、異種ドメインに該当する異種病理データセットを併合（merge）することができる（Ｓ８１０）。ここで、併合するとは、異種病理データセットを共通する項目で互いに関連付けることを意味できる。

【0102】

互いに関連付ける項目に対するテーブルが分析システムで予め保存され、プロセッサは、テーブルを参照して異種病理データセットから互いに関連付けた項目群を抽出し、抽出された項目を互いに関連付けるように処理できる。次の表１及び表２は、項目を関連付けるとき、参照すべきマッピングテーブルの例を示す図である。表１及び表２は、ＰＤ－Ｌ１と関連した第１の病理データセット、及びＨＥＲ２と関連した第２の病理データセットを例として、項目をマッピングしている。すなわち、ＰＤ－Ｌ１ ＩＨＣ染色を用いた第１の類型の病理イメージと関連した項目、及びＨＥＲ２ ＩＨＣ染色を用いた第２の類型の病理イメージと関連した項目を関連付けるための、マッピングテーブルが例示されている。

【0103】

【表1】

【0104】

【表2】

【0105】

表１及び表２を参照すれば、ＰＤ－Ｌ１ ＩＨＣ染色と関連した第１の類型の病理イメージ、及びＨＥＲ２ ＩＨＣ染色と関連した第２の類型の病理イメージは、染色方法及び原発部位（肺又は乳房）が異なるが、特性の色相に発現されるという共通点がある。しかし、第１の病理イメージ及び第２の病理イメージでは、癌腫と関連したオブジェクトが共通的に発見され得るが、発現される細胞の種類、染色強度及びＩＨＣ評価に必要な組織領域は異なることができる。本開示では、異種病理イメージと関連した項目群のうちで、共通属性を持つ項目群が関連付けられる。表１は、関心組織に基づいて、異種病理イメージと関連した項目群が、互いに関連付けられることを例示している。表１を参照すれば、ＰＤ－Ｌ１ ＩＨＣ染色により獲得された第１の類型の病理イメージと関連した項目群のうちで、腫瘍組織を示す項目（ＣＡ）は、ＨＥＲ２ ＩＨＣ染色により獲得された第２の類型の病理イメージと関連した項目等のうちで、腫瘍組織を示す項目（ＣＡ）と関連付けられる。また、ＰＤ－Ｌ１ ＩＨＣ染色により獲得された第１の類型の病理イメージと関連した項目群のうちで、非腫瘍組織を示すオブジェクト関連項目（ＢＧ）は、ＨＥＲ２ ＩＨＣ染色により獲得された第２の類型の病理イメージと関連した項目のうちで、前癌性組織（ＣＩＳ）及び背景組織（ＢＧ）と関連付けられる。

【0106】

表２は、オブジェクトクラスに基づいて、異種病理イメージと関連した項目群が、互いに関連付けられることを例示している。表２を参照すれば、ＰＤ－Ｌ１ ＩＨＣ染色により獲得された第１の類型の病理イメージと関連した項目群のうちで、腫瘍を除いたリンパ球（ＬＰ＋、ＬＰ－）、マクロファージ（ＭＰ＋、ＭＰ－）及びその他の細胞（ＯＴ）は、ＨＥＲ２ ＩＨＣ染色により獲得された第２の類型の病理イメージと関連した項目群のうちで、腫瘍（ＢＧ）及び前癌性組織（ＣＩＳ）の以外の細胞（ＯＴ）と関連付けられる。

【0107】

また、第１の類型の病理イメージに含まれたピクセル等の各々の染色発現強度を示す項目群のうちで、第１の発現範囲と関連した陰性（ＴＣ－）項目は、第２の類型の病理イメージに含まれたピクセル群の各々に染色発現強度を示す項目群のうちで、第１の発現範囲と関連したＴＣ０項目と関連付けられる。また、第１の類型の病理イメージに含まれたピクセル群の各々の染色発現強度を示す項目群のうちで、第２の発現範囲と関連した陽性（ＴＣ＋）項目は、第２の類型の病理イメージに含まれたピクセル群の各々に染色発現強度を示す項目群のうちで、第２の発現範囲と関連したＴＣ１、ＴＣ２及びＴＣ３項目と関連付けられる。

【0108】

プロセッサは、第１の病理イメージと関連した項目及び第２の病理イメージと関連した項目を関連付け、関連付けた項目を各病理データセットに含めることができる。これにより、異種病理データセットに含まれた異種個別病理データが互いに併合され得る。

【0109】

表１及び表２を例として説明すれば、第１の病理イメージと関連したＢＧ項目、第２のイメージと関連したＢＧ項目、及びＣＩＳ項目が関連付けられる。また、第２の病理イメージと関連したＯＴ項目、並びに、第１の病理イメージと関連したＬＰ＋、ＬＰ－、ＭＰ＋、ＭＰ－及びＯＴ項目が関連付けられる。また、第１の病理イメージと関連したＴＣ－項目、並びに、第２の病理イメージと関連したＴＣ０項目が関連付けられ、第１の病理イメージと関連したＴＣ＋項目、第２の病理イメージと関連したＴＣ１、ＴＣ２及びＴＣ３項目が関連付けられる。このように関連付けられた項目群は、第１の病理データセット及び第２の病理データセットの各々に含まれ、これにより、第１のドメインと関連した第１の病理データセット、及び第２のドメインと関連した第２の病理データセットは併合され得る。

【0110】

その後、プロセッサは、各病理データセットからラベル付けされたパッチ群を抽出し、抽出されたパッチ群をパッチデータベースに保存できる（Ｓ８２０）。ここで、ラベル付けされたパッチは、オブジェクトクラスがラベル付けされたオブジェクトを指すことができ、病理イメージの一部又は全部であり得る。一実施例において、プロセッサは、各病理データセットから既定の同数のパッチを抽出できる。他の実施例によれば、プロセッサは、互いに異なる個数のラベル付けされたパッチを各病理データセットから抽出できる。プロセッサは、第１の病理データセットから第１の個数又は第１の比率のラベル付けされたパッチを抽出し、第２の病理データセットから第２の個数又は第２の比率のラベル付けされたパッチを抽出できる。

【0111】

プロセッサは、ラベル付けされたパッチ群を抽出した後、ラベル付けされたパッチ群をパッチデータベースに保存できる。このとき、ラベル付けされたパッチは、項目（例えば、オブジェクトの類型、クラスなど）、及び、その項目と関連した異種病理データの項目を含むことができる。他の実施例において、プロセッサは、特定の類型のパッチ群を所定個数だけコピーし、コピーしたパッチ群をパッチデータベースに保存できる。このとき、特定の類型のパッチ群がコピーされる所定の個数は、最も多いパッチ個数のパッチ類型に基づいて決定され得る。例えば、コピーされるパッチの個数は、パッチデータベースに保存されたパッチ類型群のうちで、最も多い個数のパッチ類型及び特定の類型のパッチ個数の差に基づいて決定され得る。ここで、パッチ類型は病理イメージ類型と対応し得る。例えば、病理イメージの類型が第１の類型である場合、病理イメージから抽出されたパッチ群も第１の類型であり得る。パッチ目録又はパッチデータベースに保存されたパッチ群に対する例示は、図９及び図１０を参照して説明する。

【0112】

次に、プロセッサは、パッチデータベースに含まれたイメージを歪曲、削除、汚染などのような人為的な変形を加えることにより、ラベル付けされたパッチを拡張できる（Ｓ８３０）。

【0113】

拡張されたパッチを生成するために、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチのサイズを調整できる。例えば、プロセッサは、パッチのサイズの解像度をオリジナル解像度よりも高い解像度又は低い解像度に変更できる。他の例として、プロセッサは、パッチから周辺領域に位置したピクセル群を除去することにより、パッチのサイズを変更できる。

【0114】

また、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチに含まれたピクセル群のうちで、既定の範囲に該当するピクセル群を除去できる。また、プロセッサは、ピクセル群が除去されたパッチのサイズをパッチのオリジナルのサイズに拡大できる。このような形態のパッチを含むイメージに基づいて、病理イメージ分析モデルが学習される場合、病理イメージにおける関心領域が多様な位置にあっても、病理イメージ分析モデルは、当該関心領域を正確に検出し、その検出された関心領域に対する評価指標を正確に算出するように学習できる。

【0115】

また、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチを左右又は上下に反転させた後、左右又は上下が反転されたパッチを生成できる。このように反転されたパッチを含む病理イメージを用いて、病理イメージ分析モデルが学習される場合、病理イメージ分析モデルは、新しい類型の病理イメージに対しても、有意味な分析結果を出力するように学習できる。

【0116】

また、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチに含まれたピクセル群のうちで、既定の範囲のピクセル群を除去して、パッチを拡張できる。このように意図的にピクセル群が除去されたパッチを含む病理イメージを用いて、病理イメージ分析モデルが学習される場合、病理イメージ分析モデルは、アーティファクトが含まれた病理イメージに対しても、正確な分析結果を出力できる。

【0117】

また、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチに含まれたピクセル群のうちで、既定の範囲のピクセル群を人為的に変形させて、パッチを拡張できる。例えば、プロセッサは、中央値フィルタ（median-filter）を用いて、決定された範囲のピクセルにぼかし効果（blurriness）などを適用して、一部のピクセルをぼかすようにすることで、当該ピクセル群を変形できる。他の例として、プロセッサは、ガウシアンフィルタ（gaussian-filter）を用いて、決定された範囲のピクセル群にノイズ（noise）を付加し、一部のピクセルを変形できる。このように変形されたパッチを含む病理イメージを用いて、病理イメージ分析モデルが学習される場合、スキャナーエラーや染色エラーなどに対して、ロバストな病理イメージ分析モデルを構築できる。

【0118】

また、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチに含まれたピクセル群の色相を変換させた後、変換された色相を含むパッチを生成して、パッチを拡張できる。例えば、プロセッサは、色相ジッタリング（color jittering）技法を用いて、パッチの色調、対比、明度又は彩度の少なくとも一つを変更できる。他の例として、プロセッサは、グレースケール（grayscale）技法を用いて、パッチの色相を変更できる。パッチの色相を変更する細部的な設定値はユーザにより決定できる。このように、色相が変更されたパッチを含む病理イメージを用いて、病理イメージ分析モデルが学習される場合、新しいドメインの病理イメージが入力されても、病理イメージ分析モデルは、当該病理イメージに対して有意味な分析結果を出力でき、さらに、イメージの色相よりは細胞構造の方に集中して、病理イメージ分析モデルが学習されるように誘導できる。

【0119】

データ拡張が完了した後、プロセッサは、拡張された少なくとも一つのパッチ及びパッチデータベースに含まれたパッチの一部又は全部を用いて、学習用データセットを生成できる（Ｓ８４０）。一実施例によれば、プロセッサは、学習用データセットの生成に利用される各類型のパッチ個数を決定し、決定された個数だけの類型別パッチをパッチデータベースから抽出した後、抽出された類型別パッチ及び拡張されたパッチを用いて、学習用データセットを生成できる。他の実施例によれば、プロセッサは、類型に関係なく、パッチデータベースに含まれたパッチ群のうちで、所定の個数のパッチをランダムに抽出し、抽出されたパッチを用いて学習用データを生成できる。また他の実施例によれば、プロセッサは、パッチデータベースに含まれた全てのパッチを用いて学習用データセットを生成できる。パッチデータベースに含まれたパッチの一部だけを抽出して学習用データセットが生成される場合、これをミニ－バッチ（mini-batch）サイズに該当する学習用データセットであると称することができる。

【0120】

一実施例によれば、学習用データセットに含まれる個別学習用データは、少なくとも一つのパッチを含むことができる。また、個別学習用データは、互いに異なる類型のパッチが含まれ得る。付加的又は代替的に、個別学習用データには同じ類型のパッチが含まれ得る。一部の実施例によれば、プロセッサは、所定のサイズの学習用病理イメージを生成し、その病理イメージに少なくとも一つのパッチをランダムに配置できる。また、プロセッサは、パッチが配置された学習用病理イメージにおいて、パッチの以外の領域にランダムに選択されたバックグラウンドイメージを挿入できる。ここで、バックグラウンドイメージは、実際にスキャンした病理イメージから抽出でき、分析システムは、複数のバックグラウンドイメージを予め保存できる。このとき、プロセッサは、複数のバックグラウンドイメージのいずれか一つをランダムに選択して、学習用病理イメージの背景として挿入できる。

【0121】

このように、背景イメージを挿入する理由は、病理イメージ分析モデルが病理イメージからセグメンテーション作業を遂行できるように、学習させるためである。後述するように、病理イメージに対するセグメンテーションを遂行する第１の分析モデルが病理イメージ分析モデルに含まれた場合、第１の分析モデルにパッチ及び背景イメージを全部含む学習用病理イメージが入力され、第１の分析モデルに対する学習を進行できる。このようなセグメンテーション学習のために、少なくとも一つのパッチ及び背景イメージを含む病理イメージを生成できる。

【0122】

前述した通り、個別学習用データには、学習用病理イメージが含まれ、また、ラベル付けされた少なくとも一つのパッチが含まれ得る。また、個別学習用データには、互いに関連付けられた異種項目群が含まれ得る。

【0123】

図９は、パッチ群をサンプリングしてバッチ９４０が生成される例を示す図である。図９を参照すれば、第１のドメインと関連した第１の病理データセット９１０には、第１の類型の病理イメージ９１２、９１４が含まれ、第２のドメインと関連した第２の病理データセット９２０には、第２の類型の病理イメージ９２２、９２４が含まれ得る。

【0124】

各々の病理イメージには、ラベル付けされたパッチが含まれ得る。図９において、パッチは「＃」及び数字からなる四角形で表現される。図９及び図１０において、パッチの形状を同じサイズの四角形として例示しているが、これは説明の便宜のためのもので、実際の各病理イメージにおけるパッチの形状及びサイズは異なることができる。

【0125】

図９に示すように、第１の病理データセット９１０に含まれたパッチ＃１－１乃至＃１－５が抽出され、パッチデータベース９３０に保存できる。同様に、第２の病理データセット９２０に含まれたパッチ＃２－１乃至＃２－５が抽出され、パッチデータベース９３０に保存できる。

【0126】

パッチデータベース９３０は、第１の類型のパッチ＃１－１乃至＃１－５（９３２）、及び第２の類型のパッチ＃２－１乃至＃２－５（９３４）を保存できる。プロセッサは、パッチデータベース９３０に含まれた第１の類型のパッチ群９３２に対するサンプリング個数を決定し、第２の類型のパッチ９３４に対するサンプリング個数を決定した後、決定された個数に相当する各類型のパッチ群をパッチデータベース９３０から呼び出す（fetch）ことができる。各類型から抽出されるサンプリング個数又は比率は、ユーザにより予め設定できる。例えば、第１の類型のパッチに対するサンプリング個数は１００個であり得、第２の類型のパッチに対するサンプリング個数は５０個であり得る。

【0127】

プロセッサは、パッチデータベース９３０から抽出したパッチを用いて、既定のサイズのバッチ（batch）９４０を生成できる。このように生成されたバッチ９４０は、学習用データセットの一部又は全部を構成できる。このとき、プロセッサは、パッチデータベース９３０内のパッチ群を拡張し、拡張したパッチ＃３－１乃至＃３－６を含むバッチ９４０を生成できる。

【0128】

図１０は、パッチ群をサンプリングしてバッチ１０４０が生成される他の例を示す図である。図１０を参照すれば、第１のドメインと関連した第１の病理データセット１０１０には、第１の類型の病理イメージ１０１２、１０１４が含まれ、第２のドメインと関連した第２の病理データセット１０２０には、第２の類型の病理イメージ１０２２、１０２４が含まれ得る。

【0129】

図１０に示すように、第１の病理データセット１０１０に含まれたパッチ＃１－１乃至＃１－５が抽出され、パッチデータベース１０３０に保存できる。同様に、第２の病理データセット１０２０に含まれたパッチ＃２－１乃至＃２－３が抽出され、パッチデータベース１０３０に保存できる。

【0130】

しかし、第２の病理データセット１０２０から抽出されたパッチ＃２－１乃至＃２－３の個数が、第１の病理データセット１０１０から抽出されたパッチ＃１－１乃至＃１－５の個数よりも少ない場合、第２の病理データセット１０２０から抽出されたパッチ＃２－１乃至＃２－３の少なくとも一つを対象として、パッチのコピーが行われる。例えば、第１の類型のパッチ個数及び第２の類型のパッチ個数が同一にパッチデータベース１０３０に保存されるように、第１の類型のパッチ又は第２の類型のパッチを対象として、パッチのコピーが行われる。また、第１の類型のパッチ個数及び第２の類型のパッチ個数が既定の比率になるように、第１の類型のパッチ又は第２の類型のパッチを対象として、パッチのコピーが行われる。

【0131】

図１０では、＃２－２のパッチ及び＃２－３のパッチを対象として、パッチのコピーが行われることを例示する。コピーされたパッチ＃２－２、＃２－３は、パッチデータベース１０３０に含まれ得る。このようなパッチのコピーが行われることで、各類型のパッチ個数のバランスをなして、パッチデータベース１０３０に保存できる。

【0132】

プロセッサは、パッチデータベース１０３０に保存されたパッチ１０３２、１０３４を所定の個数だけランダムに抽出し、抽出したパッチを用いて、学習用データセットの一部又は全部を構成するバッチ１０４０を生成できる。他の例として、プロセッサは、パッチデータベース１０３０に含まれた第１の類型のパッチ群１０３２に対するサンプリング個数を決定し、第２の類型のパッチ群１０３４に対するサンプリング個数を決定した後、決定された個数に相当する各類型のパッチ群をパッチデータベース１０３０から呼び出し、呼び出したパッチ群を用いて、バッチ１０４０を生成できる。プロセッサは、パッチデータベース１０３０内のパッチ群を拡張し、拡張されたパッチ＃３－１乃至＃３－６を含むバッチ１０４０を生成できる。

【0133】

一方、アノテーション情報を含む病理イメージからパッチを抽出する作業を遂行せず、アノテーション情報を含む異種病理イメージ群を用いて学習用データセットを生成できる。具体的に、分析システムのプロセッサは、第１の病理データセットから抽出した複数の第１の類型の病理イメージ、及び第２の病理データセットから抽出した複数の第２の類型の病理イメージに基づいて、学習用データセットを生成できる。このとき、分析システムのプロセッサは、抽出した第１の類型の病理イメージの各々に基づいて複数の学習用データを生成でき、第２の病理データセットに含まれた第２の類型の病理イメージの各々に基づいて複数の学習用データを生成できる。

【0134】

一実施例によれば、プロセッサは、第１のサンプリング個数に相当するように、第１の病理イメージセットから複数の第１の類型の病理イメージを抽出でき、第２のサンプリング個数に相当するように、第２の病理イメージセットから複数の第２の類型の病理イメージを抽出できる。また、プロセッサは、第１の病理イメージ又は第２の病理イメージの少なくとも一つを拡張し、拡張されたイメージを含む学習用データセットを生成できる。イメージ拡張のための方法として、前述したパッチと関連したイメージ拡張方法が用いられる。

【0135】

一方、特定の類型の細胞又は特定の染色方法に対して、より正確な結果を出力するために、病理イメージ分析モデルには、追加学習用データセットが入力され、病理イメージ分析モデルが追加学習されることで、性能を改善させることができる。ここで、特定の染色方法は、既存の染色方法（例えば、Ｈ＆Ｅ染色方法）又は新規に開発された染色方法であり得る。例えば、特の定染色方法により染色された複数個の病理イメージを含む追加学習用データセットを用意し、その追加学習用データセットを利用することで、病理イメージ分析モデルを追加学習できる。このとき、特定の染色方法により一層敏感に反応できるように、病理イメージ分析モデルに含まれたノードの加重値を調節できる。

【0136】

図１１は、本開示の一実施例に係る病理イメージ分析モデルを介して、病理イメージの分析結果が出力される例を示す図である。図１１に示すように、多様な類型の病理イメージ１１１０＿１乃至１１１０＿３を病理イメージ分析モデル１１２０に入力できる。ここで、病理イメージ１１１０＿１乃至１１１０＿３は、学習に利用された病理イメージの類型と同じ類型であり得、或いは、新しいバイオマーカーを介して獲得された病理イメージであり得る。すなわち、病理イメージ１１１０＿１乃至１１１０＿３と関連したドメインは、病理イメージ分析モデル１１２０で学習されたドメインに対して、同じドメイン又は異なるドメインであり得る。

【0137】

病理イメージ分析モデル１１２０は、病理イメージ１１１０＿１乃至１１１０＿３に対する分析結果１１３０を出力できる。ここで、分析結果１１３０は、病理イメージ１１１０＿１乃至１１１０＿３から抽出された、オブジェクト別クラスを含むことができる。ここで、オブジェクトクラスは細胞種類及び／又は評価指標を含み、評価指標は陽性の有無、発現等級、発現値又は発現統計情報の少なくとも一つを含むことができる。また、分析結果１１３０は、病理イメージ１１１０＿１乃至１１１０＿３に対するセグメンテーション結果であり得る。すなわち、分析結果１１３０は、病理イメージ１１１０＿１乃至１１１０＿３から識別された少なくとも一つの組織及び組織の種類を含むことができる。

【0138】

図１２は、本開示の一実施例に係る病理イメージ分析モデルに含まれた人工神経網モデル１２００の例を示す図である。人工神経網モデル１２００は、機械学習モデルの一例として、機械学習（Machine Learning）技術及び認知科学において、生物学的神経網の構造に基づいて具現化された統計学的学習アルゴリズム又はそのアルゴリズムを実行する構造である。

【0139】

一実施例によれば、人工神経網モデル１２００は、生物学的神経網のように、シナプスの結合によりネットワークを形成した人工ニューロンであるノード（Node）等がシナプスの加重値を繰り返して調整して、特定の入力に対応した正常出力及び推論出力間の誤差が減少するように学習することで、問題解決能力を有する機械学習モデルを示すことができる。例えば、人工神経網モデル１２００は、機械学習やディープラーニングなどの人工知能学習法に使用される任意の確率モデル、ニューラルネットワークモデルなどを含むことができる。

【0140】

前述した病理イメージ分析モデルは、人工神経網モデル１２００の形態で具現化できる。一実施例によれば、人工神経網モデル１２００は、アノテーション情報を含む一つ以上の病理イメージを受信し、受信された一つ以上の病理イメージから染色に発現されたオブジェクトを検出するように学習できる。例えば、人工神経網モデル１２００は、一つ以上の病理イメージ内の各々の領域に対して、各々の領域が正常領域又は異常領域に該当するか否かを判定する分類機能（すなわち、分類器の機能）を遂行できるように学習できる。他の例において、人工神経網モデル１２００は、一つ以上の病理イメージ内の異常領域に含まれたピクセルに対するラベル付けを遂行するセグメンテーション機能を遂行できるように学習できる。このとき、人工神経網モデル１２００は、異常領域と関連したオブジェクトに対する評価指標を判定して、オブジェクトにラベル付けできる。

【0141】

人工神経網モデル１２００は、多層のノード等及びこれら間の連結により構成された多層パーセプトロン（ＭＬＰ：multilayer perceptron）として具現化される。本実施例に係る人工神経網モデル１２００は、ＭＬＰを含む多様な人工神経網モデル構造の一つを用いて具現化され得る。人工神経網モデル１２００は、外部から入力信号又はデータを受信する入力層と、入力データに対応した出力信号又はデータを出力する出力層と、入力層及び出力層間に位置し、入力層から信号を受け付けて特性を抽出して出力層に伝達するｎ個（ここで、ｎは正の整数）の隠れ層とからなる。

【0142】

人工神経網モデル１２００の入力層及び出力層に複数の入力変数と対応する複数の出力変数が各々マッチングされ、入力層、隠れ層及び出力層に含まれたノード群間のシナプス値が調整されることで、特定の入力に対応した正常出力が抽出されるように学習できる。学習用データセットに含まれたデータに基づいて、人工神経網モデル１２００が繰り返し学習される場合、入力変数に基づいて計算された出力変数及び目標出力間の誤差が低減するように、人工神経網モデル１２００のノード群間のシナプス値（又は加重値）を調整することで、最適値に収束することができる。

【0143】

前述した通り、病理イメージ分析モデルに対して、十分な量の学習が遂行される場合、アノテーション情報が入力されない（すなわち、ラベル付けされない）病理イメージに対しても、病理専門家の水準に該当する分析結果を、病理イメージ分析モデルを介して出力できる。

【0144】

図１３は、本開示の一実施例に係る病理イメージ分析モデルを用いて、病理イメージに対する分析結果を出力する方法１３００を説明するフローチャートである。図１３に示す方法は、本開示の目的を達成するための一実施例に過ぎず、必要に応じて一部のステップを追加又は削除できることは勿論である。また、図１３に示す方法は、図５に示す分析システムに含まれた少なくとも一つのプロセッサによって遂行できる。説明の便宜のために、図５に示す分析システムに含まれたプロセッサにより、図１３に示す各ステップが遂行されるものとして説明する。

【0145】

図１３を参照すれば、プロセッサは、病理イメージを獲得できる（Ｓ１３１０）。一実施例によれば、プロセッサは、スキャナーから転送された病理イメージを獲得したり、外部保存所、サーバ又はイメージ管理システムから病理イメージを獲得したりできる。

【0146】

続いて、プロセッサは、病理イメージを病理イメージ分析モデルに入力し、病理イメージ分析モデルから出力される病理イメージに対する分析結果を獲得できる（Ｓ１３２０）。一実施例によれば、分析結果は、病理イメージから識別されたオブジェクト（すなわち、オブジェクトに対応する領域内に含まれるピクセルの範囲）及びオブジェクトクラスを含むことができる。ここで、オブジェクトクラスは細胞又は組織の種類及び／又は評価指標を含み、評価指標は陽性の有無、発現等級、発現値又は発現統計情報の少なくとも一つを含むことができる。

【0147】

その後、プロセッサは、獲得された分析結果を出力できる（Ｓ１３３０）。例えば、プロセッサは、分析結果をモニタのようなディスプレイ装置に出力できる。他の例として、プロセッサは、分析結果を依頼人の端末に転送し、依頼人の端末を介して出力できる。一実施例によれば、プロセッサは、獲得された分析結果をリポート形態で出力できる。

【0148】

一方、病理イメージ分析モデルは、各々異なる類型の分析結果を出力する複数の分析モデルを含むことができる。

【0149】

図１４は、本開示の他の実施例に係る病理イメージ分析モデル１４００の例を示す図である。図１４に示すように、病理イメージ分析モデル１４００は、各々異なる類型の病理イメージを分析するように事前に学習され、互いに異なる類型の分析結果を出力する複数の分析モデル１４１０乃至１４４０を含むことができる。例えば、病理イメージ分析モデル１４００は、入力された病理イメージに対するセグメンテーション結果を出力する第１の分析モデル１４１０と、病理イメージに含まれた細胞膜の染色強度を分析して分析結果を出力する第２の分析モデル１４２０と、細胞核の染色強度を分析して分析結果を出力する第３の分析モデル１４３０と、細胞核及び／又は細胞膜の形態学的特性を分析して分析結果を出力する第４の分析モデル１４４０とを含むことができる。

【0150】

このように、複数の分析モデルが病理イメージ分析モデル１４００に含まれる場合、分析モデル１４１０乃至１４４０の各々は、互いに異なる特性を持つ病理イメージを含む学習用データセットに基づいて学習できる。ここで、特性は、染色色相、染色対象の類型又は染色方式の少なくとも一つを含むことができる。

【0151】

例えば、第１の分析モデル１４１０は、ターゲット学習用データの入力を受け、そのターゲット学習用データに含まれた病理イメージから異常領域（すなわち、パッチと関連したオブジェクト）をセグメンテーションするように学習できる。すなわち、第１の分析モデル１４１０は、病理イメージから染色が発現された位置領域（すなわち、オブジェクト）を抽出するように学習できる。このとき、第１の分析モデル１４１０に病理イメージが入力され、少なくとも一つのパッチが第１の分析モデル１４１０から出力され得る。また、第１の分析モデル１４１０から出力されたパッチに該当する領域及びアノテーション情報に含まれた異常領域間の損失値が算出され、損失値が第１の分析モデル１４１０にフィードバックされて、第１の分析モデル１４１０を学習できる。

【0152】

他の例として、第２の分析モデル１４２０は、細胞膜が茶色に染色された病理イメージを含むターゲット学習用データの入力を受け、病理イメージに含まれたパッチに対する染色強度を分析するように学習できる。このとき、茶色に染色された細胞膜がパッチとして設定された病理イメージが第２の分析モデル１４２０に入力され、細胞膜に対する染色強度の分析結果が第２の分析モデル１４２０から出力され得る。また、ターゲット学習用データに含まれたパッチのレベル付け情報から評価指標が抽出され、評価指標及び第２の分析モデル１４２０から出力された分析結果間の損失値が算出された後、損失値が第２の分析モデル１４２０にフィードバックされて、第２の分析モデル１４２０を学習できる。

【0153】

また他の例として、第３の分析モデル１４３０は、細胞核が青色に染色された病理イメージを含むターゲット学習用データの入力を受け、病理イメージに含まれたパッチに対する染色強度を分析するように学習できる。このとき、青色に染色された細胞核がパッチとして設定された病理イメージが第３の分析モデル１４３０に入力され、細胞核に対する染色強度の分析結果が第３の分析モデル１４３０から出力され得る。また、ターゲット学習用データに含まれたパッチのラベル付け情報から評価指標がレファレンス値として抽出され、第３の分析モデル１４３０から出力された分析結果及び評価指標間の損失値が算出された後、損失値が第３の分析モデル１４３０にフィードバックされて、第３の分析モデル１４３０を学習できる。

【0154】

また他の例として、第４の分析モデル１４４０は、細胞核及び細胞膜がピンクに染色された病理イメージを含むターゲット学習用データの入力を受け、病理イメージに含まれた細胞核及び／又は細胞膜の形態学的特性及び／又は色相分布を分析するように学習できる。このとき、ピンクに染色された細胞核及び細胞膜の各々がパッチとして設定された病理イメージが第４の分析モデル１４４０に入力され、細胞核及び／又は細胞膜に対する形態学的特性及び／又は色相分布を含む分析結果が第４の分析モデル１４４０から出力され得る。また、ターゲット学習用データに含まれたパッチのラベル付け情報から細胞核及び／又は細胞膜の形態学的特性及び／又は色相分布がレファレンス値として獲得され、レファレンス値及び分析結果に含まれた形態学的特性及び／又は色相分布間の損失値が算出され得る。算出された損失値は第４の分析モデル１４４０にフィードバックされて、第４の分析モデル１４４０を学習できる。

【0155】

病理イメージの特性情報に基づいて、病理イメージ分析モデル１４００に含まれた複数の分析モデル１４１０乃至１４４０の一つ以上を呼び出すことができる。

【0156】

図１５は、本開示の他の実施例に係る病理イメージ１５１０の特性に基づいて呼び出した分析モデルを介して、病理イメージに対する分析結果１５２０が出力される例を示す図である。図１５に示すように、病理イメージ１５１０の特性を抽出するための特性抽出モデル１５００が病理イメージ分析モデル１４００と結合され得る。一部の実施例では、特性抽出モデル１５００が病理イメージ分析モデル１４００に含まれ得る。

【0157】

本実施例によれば、特性抽出モデル１５００は、病理イメージに含まれた染色色相及び染色色相の発現位置を特性として抽出できる。ここで、染色色相の発現位置は、細胞膜、細胞核又は細胞質の少なくとも一つであり得る。他の実施例において、特性抽出モデル１５００は、病理イメージの特性として、臓器、癌腫、染色方式などを抽出できる。例えば、特性抽出モデル１５００は、予め保存された臓器パターン、癌腫パターン又は染色方式パターンの少なくとも一つを保存し、病理イメージに示すパターンと、臓器パターン／癌腫パターン／染色方式パターンとを比較して、病理イメージから特性を抽出できる。他の例として、特性抽出モデル１５００は、機械学習モデルに具現化され、病理イメージと関連した臓器、病理イメージに含まれた癌腫又は病理イメージの染色方式の少なくとも一つを病理イメージから抽出できるように学習できる。

【0158】

図１５を参照すれば、病理イメージ１５１０が獲得され、病理イメージ１５１０を特性抽出モデル１５００及び病理イメージ分析モデル１４００の各々に入力できる。ここで、病理イメージ１５１０は、ラベル付けされない病理イメージであり得る。また、病理イメージは、新薬又は新しい染色方式と関連した病理イメージであり得る。

【0159】

特性抽出モデル１５００は、病理イメージに対する特性を抽出し、抽出された病理イメージの特性を病理イメージ分析モデル１４００に提供できる。一実施例によれば、特性抽出モデル１５００は、染色色相、臓器、癌腫又は染色方式の少なくとも一つを、病理イメージ１５１０の特性として抽出できる。

【0160】

病理イメージ分析モデル１４００は、第１の分析モデル１４１０を呼び出した後、病理イメージ１５１０を第１の分析モデル１４１０に入力して、病理イメージに含まれた異常領域と関連した少なくとも一つのオブジェクトに対するセグメンテーションを遂行できる。また、病理イメージ分析モデル１４００は、特性抽出モデル１５００から提供された病理イメージの特性に基づいて、互いに異なる類型の分析結果を出力する複数の分析モデル１４２０乃至１４４０のいずれか一つを呼び出し、呼び出した分析モデル１４２０、１４３０又は１４４０から病理イメージに対する分析結果１５２０を獲得できる。このとき、病理イメージ分析モデル１４００は、第１の分析モデル１４１０によりセグメンテーションされた病理イメージを、呼び出した分析モデル１４２０、１４３０又は１４４０に入力できる。

【0161】

病理イメージの特性としては、染色色相及び／又は染色色相の発現位置（例えば、細胞膜／細胞質／細胞核）を含むことができる。このとき、病理イメージ分析モデル１４００は、病理イメージの特性に基づいて、複数の分析モデル１４２０乃至１４４０のいずれか一つをターゲット分析モデルとして決定して呼び出すことができる。例えば、発現位置は細胞膜であり、染色色相は茶色である第１の特性が、特性抽出モデル１５００から提供された場合、病理イメージ分析モデル１４００は、第２の分析モデル１４２０をターゲット分析モデルとして決定して呼び出し、第２の分析モデル１４２０にセグメンテーションされた病理イメージを入力できる。このとき、第２の分析モデル１４２０は、病理イメージからセグメンテーションされた領域（すなわち、オブジェクト）において細胞膜が茶色に発現された染色強度を分析し、その分析結果１５２０を出力できる。

【0162】

他の例として、発現位置は細胞核であり、染色色相は青色である第２の特性が、特性抽出モデル１５００から提供された場合、病理イメージ分析モデル１４００は、第３の分析モデル１４３０をターゲット分析モデルとして決定して呼び出し、第３の分析モデル１４３０にセグメンテーションされた病理イメージを入力できる。このとき、第３の分析モデル１４３０は、病理イメージからセグメンテーションされた領域において細胞核が青色に発現された染色強度を分析し、その分析結果１５２０を出力できる。

【0163】

他の例として、発現位置は細胞核及び細胞膜であり、染色色相はピンクである第３の特性が、特性抽出モデル１５００から提供された場合、病理イメージ分析モデル１４００は、第４の分析モデル１４４０をターゲット分析モデルとして決定して呼び出し、第４の分析モデル１４４０にセグメンテーションされた病理イメージを入力できる。このとき、第４の分析モデル１４４０は、病理イメージからセグメンテーションされた各領域において細胞核及び細胞膜の各々がピンクに発現された分布及び／又は形態学的特性を分析して出力できる。ここで、形態学的特性は、特定の疾病と関連性を意味できる。

【0164】

一方、病理イメージの特性をユーザから受信できる。すなわち、分析システムは、病理イメージの特性を含むユーザの入力情報を受信できる。このとき、ユーザが入力した病理イメージの特性に基づいて、呼び出す分析モデルを決定できる。

【0165】

図１６は、本開示のまた他の実施例に係るユーザの入力情報に基づいて呼び出した分析モデルを介して、病理イメージ１６１０に対する分析結果１６３０が出力される例を示す図である。図１６に示すように、病理イメージ分析モデル１４００は、病理イメージ１６１０の特性を含むユーザの入力情報１６２０を獲得できる。病理イメージ分析モデル１４００は、第１の分析モデル１４１０を呼び出した後、病理イメージ１６１０を第１の分析モデル１４１０に入力して、病理イメージに含まれた異常領域と関連したオブジェクトに対するセグメンテーションを遂行できる。

【0166】

また、病理イメージ分析モデル１４００は、ユーザの入力情報１６２０に含まれた病理イメージの特性に基づいて、複数の分析モデルのうちで呼び出すターゲット分析モデルを決定できる。ユーザの入力情報１６２０には、染色色相及び／又は染色色相の発現位置（例えば、細胞膜／細胞質／細胞核）が含まれ得る。付加的又は代替的に、ユーザ入力情報１６２０には、臓器、癌腫又は染色方式の少なくとも一つを含むことができる。

【0167】

病理イメージ分析モデル１４００は、ユーザの入力情報１６２０に含まれた特性に基づいて、複数の分析モデル１４２０乃至１４４０のいずれか一つをターゲット分析モデルとして決定して呼び出すことができる。例えば、ユーザの入力情報１６２０に第１の染色方式が含まれた場合、病理イメージ分析モデル１４００は、第２の分析モデル１４２０をターゲット分析モデルとして決定して呼び出し、第２の分析モデル１４２０にセグメンテーションされた病理イメージを入力できる。このとき、第２の分析モデル１４２０は、病理イメージからセグメンテーションされた領域において第１の染色方式により発現された染色強度を分析し、その分析結果１６３０を出力できる。

【0168】

他の例として、ユーザの入力情報１６２０に第２の染色方式が含まれた場合、病理イメージ分析モデル１４００は、第３の分析モデル１４３０をターゲット分析モデルとして決定して呼び出し、第３の分析モデル１４３０にセグメンテーションされた病理イメージを入力できる。このとき、第３の分析モデル１４３０は、病理イメージからセグメンテーションされた領域において第２の染色方式により発現された染色強度を分析し、その分析結果１６３０を出力できる。

【0169】

また他の例として、ユーザの入力情報１６２０に第３の染色方式が含まれた場合、病理イメージ分析モデル１４００は、第４の分析モデル１４４０をターゲット分析モデルとして決定して呼び出し、第４の分析モデル１４４０にセグメンテーションされた病理イメージを入力できる。このとき、第４の分析モデル１４４０は、病理イメージからセグメンテーションされた領域において第３の染色方式により発現された色相に対する分布及び／又は形態学的特性を含む分析結果１６３０を出力できる。

【0170】

前述した通り、複数の分析モデル１４１０乃至１４４０が病理イメージ分析モデル１４００に含まれた場合、病理イメージ分析モデル１４００は、様々な染色方式により染色された多様な細胞に対して、適切な分析結果を出力できる。これにより、本開示に係る病理イメージ分析モデル１４００は、汎用的に適用され、多様な環境で使用できる。

【0171】

以下、図１７乃至図２０を参照して、病理イメージ分析モデル１４００から出力される多様な形態の分析結果について説明する。

【0172】

図１７乃至図２０は、病理イメージ分析モデル１４００から出力される多様な形態の分析結果の例を示す図である。図１７乃至図２０では、病理イメージ内で識別される少なくとも一つのオブジェクト（例えば、細胞、組織又はストラクチャー）が楕円であるものを示している。

【0173】

図１７に示すように、病理イメージ分析モデル１４００は、複数の病理イメージ１７１０の入力を受け、各病理イメージ１７１０に含まれたオブジェクトの染色発現の可否を陽性又は陰性と判定した後、判定された結果１７２０、１７３０を出力できる。ここで、陽性は染色のターゲットとなるタンパク質がオブジェクト上に存在することを意味し、陰性は染色のターゲットとなるタンパク質がオブジェクト上に存在しないことを意味する。図１７では、陽性と判定された病理イメージ１７２０、及び、陰性と判定された病理イメージ１７３０を区分して出力されるものと例示している。

【0174】

図１８に示すように、病理イメージ分析モデル１４００は、複数の病理イメージ１８１０の入力を受け、各病理イメージ１８１０に含まれた少なくとも一つのオブジェクトに対する染色発現等級を判定し、判定された発現等級１８２０乃至１８５０を含む分析結果を出力できる。図１８では、ｃｌａｓｓ３＋が最も強く発現されたオブジェクトであり、ｃｌａｓｓ０が最も弱く発現されたオブジェクトであるものを例示している。ｃｌａｓｓ０は、染色のターゲットとなるタンパク質がオブジェクト上に存在しないことを意味する。

【0175】

図１９に示すように、病理イメージ分析モデル１４００は、複数の病理イメージ１９１０の入力を受け、各病理イメージ１９１０に含まれたオブジェクトの発現値を所定の範囲（例えば、０～１）に含まれた数字として数値化した後、オブジェクト別発現値１９２０乃至１９５０を含む分析結果を出力できる。図１９では、１に近い発現値であるほど、染色発現程度が最も強いものを例示している。

【0176】

図２０に示すように、病理イメージ分析モデル１４００は、複数の病理イメージ２０１０の入力を受け、各病理イメージに含まれたオブジェクトの発現統計情報を含む分析結果２０２０を出力できる。図２０では、細胞核の陽性の有無／等級／発現値の分布に関する統計情報、及び、細胞膜の陽性の有無／等級／発現値の分布に関する統計情報を含む分析結果２０２０が例示されている。その他にも、多様な細胞、組織又はストラクチャーに関する統計情報が、病理イメージ分析モデル１４００を介して出力され得る。

【0177】

図２１は、本開示の一実施例に係る病理イメージを分析する例示的なシステム構成図である。図２１の情報処理システム２１００は、図５に示すシステム５１０の一例であり得る。図に示すように、情報処理システム２１００は、一つ以上のプロセッサ２１２０、バス２１１０、通信インタフェース２１３０、プロセッサ２１２０により遂行されるコンピュータプログラム２１５０をロード（load）するメモリ２１４０を含むことができる。ただし、図２１には、本開示の実施例と関連した構成要素だけが示されている。よって、本開示が属する技術分野における通常の技術者であれば、図２１に示す構成要素の以外に他の汎用的な構成要素がさらに含まれることもできることが分かる。

【0178】

プロセッサ２１２０は、情報処理システム２１００の各構成の全般の動作を制御する。本開示のプロセッサ２１２０は複数のプロセッサからなることができる。プロセッサ２１２０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＭＣＵ（Micro Controller Unit）、ＧＰＵ（Graphic Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、当分野の公知の任意の形態のプロセッサの少なくとも二つのプロセッサを含んで構成できる。また、プロセッサ２１２０は、本開示の実施例等に係る方法を実行するための少なくとも一つのアプリケーション又はプログラムに対する演算を遂行できる。

【0179】

メモリ２１４０は、各種データ、命令及び／又は情報を保存できる。メモリ２１４０は、本開示の多様な実施例に係る方法／動作を実行するために、一つ以上のコンピュータプログラム２１５０をロードできる。メモリ２１４０は、ＲＡＭのような揮発性メモリで具現化され得るが、本開示の技術的範囲はこれに限定されるものではない。例えば、メモリ２１４０は、ＲＯＭ（read-only memory）、ＥＰＲＯＭ（erasable programmable read-only memory）、ＥＥＰＲＯＭ（electrically erasable PROM）、フラッシュメモリのような不揮発性メモリ、ハードディスク、取り外し可能形ディスク又は当分野の公知の任意の形態のコンピュータ読み取り可能な記録媒体を含んで構成できる。

【0180】

バス２１１０は、情報処理システムの構成要素間の通信機能を提供できる。バス２１１０は、住所バス（Address Bus）、データバス（Data Bus）及び制御バス（Control Bus）等のような多様な形態のバスで具現化され得る。

【0181】

通信インタフェース２１３０は、情報処理システムの有無線インターネット通信を支援できる。また、通信インタフェース２１３０は、インターネット通信の以外の多様な通信方式を支援することもできる。このために、通信インタフェース２１３０は、当分野の公知の通信モジュールを含んで構成できる。

【0182】

コンピュータプログラム２１５０は、プロセッサ２１２０が本開示の多様な実施例に係る動作／方法を遂行するようにする一つ以上のインストラクション（instructions）を含むことができる。すなわち、プロセッサ２１２０は、一つ以上のインストラクションを実行することで、本開示の多様な実施例に係る動作／方法を遂行できる。例えば、コンピュータプログラム２１５０は、病理イメージを獲得する動作、獲得された病理イメージを機械学習モデルに入力し、機械学習モデルから病理イメージに対する分析結果を獲得する動作、及び獲得された分析結果を出力する動作などを遂行するようにする一つ以上のインストラクションを含むことができる。一実施例によれば、機械学習モデルは、第１のドメインと関連した第１の病理データセット、及び第１のドメインと異なる第２のドメインと関連した第２の病理データセットに基づいて生成される学習用データセットを用いて学習されるモデルであり得る。このような場合、情報処理システム２１００を介して、本開示のいくつかの実施例により、病理イメージを分析するためのシステムが具現化され得る。

【0183】

本開示の前述した説明は、通常の技術者が本開示を遂行又は利用できるようにするために提供される。本開示の多様な修正例が通常の技術者にとって自明であり、本願に定義された一般の原理等は、本開示の趣旨又は範囲から逸脱しないと同時に、多様な変形例に適用することもできる。したがって、本開示は、本願に説明された例等に制限されるように意図したものではなく、本願に開示された原理及び新規な特徴等が一貫する最広義の範囲が付与されるように意図する。

【0184】

例示的な具現例等が一つ以上の独立型コンピュータシステムの脈絡から現在開示された主題の様態を活用するのを言及することもできるが、本主題はそのように制限されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連携して具現化され得る。さらに、現在開示された主題の様態は、複数のプロセシングチップやデバイス又はこれらに亘って具現化されることもでき、ストレージは複数のデバイスに亘って類似に影響を受けることもできる。このようなデバイスなどは、ＰＣ、ネットワークサーバ及びハンドヘルドデバイスを含むこともできる。

【0185】

本明細書では、本開示が一部の実施例と関連して説明されたが、本発明が属する技術分野における通常の技術者が理解できる本開示の範囲から逸脱しない範囲内で多様な変形及び変更が可能であることが分かる。また、そのような変形及び変更は、本明細書で添付された特許請求の範囲に属するものと理解しなければならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【手続補正書】

【提出日】2024-01-15

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、病理イメージ分析方法及びシステムに関し、具体的には、機械学習モデルを用いて多様な類型（type）の病理イメージを分析する方法及びシステムに関する。

【背景技術】

【0002】

病理学（Pathology）の分野では、病理組織から生体学的情報を獲得して分析するため
に、様々な染色法に基づいて組織を染色して病理スライドに作製した後、病理専門医が病理スライドを目視で評価する方式が利用されている。中でも、免疫組織化学検査（immunohistochemistry、ＩＨＣ）は、特定抗原（Target antigen）に反応する抗体に、二次抗体として酵素や蛍光染料（fluorescent dye）を結合した後、これを特定組織に染色する方
式である。免疫組織化学検査により特定組織が染色されると、抗体をターゲットに該当する特定抗原が発現された細胞に結合し、その結合反応が二次抗体を活性化して染色反応を発生させる。病理専門医は、顕微鏡を使って染色された細胞を確認し、細胞に対する評価を遂行できる。例えば、病理専門医は、染色発現量などを評価して定量化することで、組織内で有意味な情報を導出できる。

【0003】

ところで、染色された病理スライドを病理専門医が読み出し、結果を評価して定量化する方式は、個人の主観的な要素が介入する可能性があるとともに、労働力や時間をたくさん必要とするため、最近は、ディープラーニング（deep learning）などの人工知能アル
ゴリズムを用いて病理スライドを読み出すための研究が進行されている。このために、病理スライドをスキャンしてデジタル基盤の病理イメージとして保存し、その病理イメージを用いて人工知能アルゴリズムが学習されている。

【0004】

このとき、人工知能アルゴリズムが正確な結果を予測するためには、多量の学習用データが必要である。しかし、人工知能アルゴリズムに入力される病理イメージに医学的知識をラベル付けしなければならないが、このようなラベル付け作業は、医療専門家により遂行されなければならないため、学習用データの構築に費用や時間がかさんでしまう。

【0005】

一方、医療界では、多くの新薬と関連したバイオマーカー（biomarker）が開発されて
いる。ここで、既に臨床で利用されるバイオマーカーと関連した臨床資料（例えば、ＰＤ－Ｌ１ ＩＨＣ、ＨＥＲ２ ＩＨＣ等と関連した臨床資料）は、蓄積されたデータが多いため、人工知能アルゴリズムの学習に必要な学習用データを生成することは比較的容易である。しかし、新規のバイオマーカーと関連した臨床資料はほとんどないため、新種のＩＨＣ染色方法により染色されたスライドイメージを分析するために、十分な量の学習用データを確保することは、短期間には困難である。

【0006】

また、特定の癌腫の場合、有病率などが低いため、比較的よく発病する他の癌腫に比べて、絶対的な検体数が少ない。このような場合、相対的に少ないデータを用いて人工知能モデルを学習させなければならないため、人工知能モデルが正しく学習されなかったり、特定の学習用データセットに偏って学習されたりする恐れがある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】韓国公開特許第１０－２０２３－０１３２３８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本開示は、多様な類型の病理イメージを正確に分析できる病理イメージ分析方法、コンピュータプログラム及び装置（システム）を提供する。

【課題を解決するための手段】

【0009】

本開示は、方法、装置（システム）及び／又はコンピュータプログラム、コンピュータプログラムが保存されたコンピュータ読み取り可能な保存媒体を含む多様な方式により具現化できる。

【0010】

本開示の一実施例によれば、少なくとも一つのプロセッサにより遂行される、病理イメージ分析方法は、病理イメージを獲得するステップと、獲得された病理イメージを機械学習モデルに入力して、機械学習モデルから病理イメージに対する分析結果を獲得するステップと、獲得された分析結果を出力するステップと、を含み、機械学習モデルは、第１のドメインと関連した第１の病理データセット、及び第１のドメインと異なる第２のドメインと関連した第２の病理データセットに基づいて生成される学習用データセットを用いて学習するモデルであり得る。

【0011】

また、病理イメージ分析方法は、病理イメージを獲得するステップの前に、第１の類型の病理イメージを含む第１の病理データセット、及び第２の類型の病理イメージを含む第２の病理データセットを獲得するステップと、第１の病理データセット及び第２の病理データセットに基づいて、学習用データセットを生成するステップと、生成された学習用データセットを用いて、機械学習モデルを学習させるステップと、をさらに含むことができる。

【0012】

また、学習用データセットを生成するステップは、染色発現等級又は関心領域の少なくとも一つに基づいて、第１の類型の病理イメージと関連した項目、及び第２の類型の病理イメージと関連した項目を関連付けるステップと、関連付けた項目を含む学習用データセットを生成するステップと、を含むことができる。

【0013】

また、項目を関連付けるステップは、第１の類型の病理イメージに含まれた腫瘍組織領域と関連した第１の項目、及び第１の類型の病理イメージに含まれた非腫瘍組織領域と関連した第２の項目を抽出するステップと、第２の類型の病理イメージに含まれた腫瘍組織領域と関連した第３の項目、及び第２の類型の病理イメージに含まれた非腫瘍組織領域と関連した第４の項目を抽出するステップと、抽出された第１の項目及び抽出された第３の項目を関連付け、抽出された第２の項目及び抽出された第４の項目を関連付けるステップと、を含むことができる。

【0014】

また、項目を関連付けるステップは、第１の類型の病理イメージに含まれたピクセル群の各々の染色発現強度を示す項目群のうちで、第１の発現範囲と関連した第５の項目、及び第２の発現範囲と関連した第６の項目を抽出するステップと、第２の病理データセットに含まれたピクセル群の各々の染色発現強度を示す項目群のうちで、第１の発現範囲と関連した第７の項目、及び第２の発現範囲と関連した第８の項目を識別するステップと、第５の項目及び第７の項目を関連付け、第６の項目及び第８の項目を関連付けるステップと、を含むことができる。

【0015】

また、項目を関連付けるステップは、第１の類型の病理イメージに含まれた細胞の類型を示す少なくとも一つのオブジェクトクラス、及び第２の類型の病理イメージに含まれた細胞の類型を示す少なくとも一つのオブジェクトクラスを関連付けるステップ、又は、第１の類型の病理イメージに含まれた細胞の染色発現強度を示す少なくとも一つのオブジェクトクラス、及び第２の類型の病理イメージに含まれた細胞の染色発現強度を示す少なくとも一つのオブジェクトクラスを関連付けるステップを含むことができる。

【0016】

また、第１の病理データセット及び第２の病理データセットに基づいて、学習用データセットを生成するステップは、第１の病理データセット及び第２の病理データセットからパッチ群を抽出するステップと、パッチ群を含む学習用データセットを生成するステップと、を含み、生成された学習用データセットを用いて、機械学習モデルを学習させるステップは、第１の病理データセットから抽出されたラベル付けされたパッチ群のうちで、第１のサンプリング個数に相当する個数の第１の類型のイメージパッチ群を呼び出す（fetch）ステップと、第２の病理データセットから抽出されたラベル付けされたパッチ群のう
ちで、第２のサンプリング個数に相当する個数の第２の類型のイメージパッチ群を呼び出すステップと、第１の類型のイメージパッチ群及び第２の類型のイメージパッチ群に基づいて、バッチ（batch）を生成するステップと、バッチを用いて機械学習モデルを学習さ
せるステップと、を含むことができる。

【0017】

また、第１の病理データセット及び第２の病理データセットに基づいて、学習用データセットを生成するステップは、第１の病理データセットから第１の類型のイメージパッチ群を抽出するステップと、第２の病理データセットから第２の類型のイメージパッチ群を抽出するステップと、所定の個数だけ第１の類型のイメージパッチ群をコピーして、学習用データセットに含めるステップと、を含むことができる。

【0018】

また、機械学習モデルに学習させるステップは、第１の類型の病理イメージ又は第２の類型の病理イメージの少なくとも一つに対するサイズを調整するステップと、サイズが調整された少なくとも一つの病理イメージを含む学習用データを用いて、機械学習モデルを学習させるステップと、を含むことができる。

【0019】

また、機械学習モデルに学習させるステップは、第１の類型の病理イメージ又は第２の類型の病理イメージの少なくとも一つに含まれたピクセル群のうちで、既定の範囲に該当するピクセル群を除去するステップを含むことができる。

【0020】

また、機械学習モデルに学習させるステップは、第１の類型の病理イメージ又は第２の類型の病理イメージの少なくとも一つを左右又は上下に反転させるステップと、反転された病理イメージを含む学習用データを用いて、機械学習モデルを学習させるステップと、を含むことができる。

【0021】

また、機械学習モデルに学習させるステップは、第１の類型の病理イメージ又は第２の類型の病理イメージの少なくとも一つに含まれたピクセル群のうちで、既定の範囲のピクセル群を除去又は変形するステップと、既定の範囲のピクセル群が除去又は変形された病理イメージを含む学習用データを用いて、機械学習モデルを学習させるステップと、を含むことができる。

【0022】

また、機械学習モデルに学習させるステップは、第１の類型の病理イメージ又は第２の類型の病理イメージの少なくとも一つに含まれたピクセル群の色相を変換させるステップと、ピクセル群の色相が変換された少なくとも一つの病理イメージを含む学習用データを用いて、機械学習モデルを学習させるステップと、を含むことができる。

【0023】

また、機械学習モデルを学習させるステップは、学習用データセットのうちで、ターゲット学習用データを決定するステップと、ターゲット学習用データを機械学習モデルに入力し、機械学習モデルから出力値を獲得するステップと、第１の病理データセット又は第２の病理データセットの少なくとも一つに含まれたアノテーション（annotation）情報を用いて、ターゲット学習用データに対するレファレンス値を獲得するステップと、出力値及び獲得されたレファレンス値間の損失（loss）値を機械学習モデルにフィードバック（feedback）するステップと、を含むことができる。

【0024】

また、機械学習モデルは、互いに異なる類型の分析結果を出力する複数の分析モデルを含み、分析結果を獲得するステップは、獲得された病理イメージから染色色相及び染色の発現位置を識別するステップと、識別された染色色相及び染色の発現位置に基づいて、複数の分析モデルのいずれか一つをターゲット分析モデルとして決定するステップと、決定されたターゲット分析モデルに病理イメージを入力して、発現位置における染色強度に対する分析結果をターゲット分析モデルから獲得するステップと、を含むことができる。

【0025】

また、機械学習モデルは、互いに異なる類型の分析結果を出力する複数の分析モデルを含み、分析結果を獲得するステップは、ユーザの入力情報に基づいて、複数の分析モデルのいずれか一つをターゲット分析モデルとして決定するステップと、ターゲット分析モデルに病理イメージを入力して、病理イメージに対する分析結果をターゲット分析モデルから獲得するステップと、を含むことができる。

【0026】

また、機械学習モデルは、細胞の種類又は細胞の評価指標の少なくとも一つを含む分析結果を出力し、細胞の評価指標は、細胞に対する陽性又は陰性に対する結果値、細胞に対する染色発現等級、細胞に対する染色発現程度を示す値、又は細胞に対する染色発現統計情報の少なくとも一つを含むことができる。

【0027】

前述した病理イメージ分析方法を、コンピュータで実行するためのコンピュータプログ ラムが提供され得る。

【0028】

本開示の一実施例に係る情報処理システムは、メモリと、メモリと連結され、メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成される少なくとも一つのプロセッサと、を含み、少なくとも一つのプログラムは、病理イメージを獲得し、獲得された病理イメージを機械学習モデルに入力して、機械学習モデルから病理イメージに対する分析結果を獲得し、獲得された分析結果を出力するための命令語等を含み、機械学習モデルは、第１のドメインと関連した第１の病理データセット、及び第１のドメインと異なる第２のドメインと関連した第２の病理データセットに基づいて生成される学習用データセットを用いて学習するモデルであり得る。

【発明の効果】

【0029】

本開示の一部の実施例によれば、異種ドメインからなる学習用データセットに基づいて機械学習モデルが学習することで、機械学習モデルは、学習に利用されない多様な類型の病理イメージまでも正確に分析できる。

【0030】

本開示の一部の実施例によれば、異種病理データセットに対するサンプリングが遂行されることで、特定の類型の病理データセットに偏らずに均一に機械学習モデルを学習させ ることができる。

【0031】

本開示の一部の実施例によれば、異種病理データセットに含まれた項目群を互いに関連付け、項目等を関連付けた異種病理データセットに基づいて学習用データセットを生成できる。このような学習用データセットを用いて機械学習モデルが学習する場合、機械学習モデルは、別の学習を遂行することなく、新しい癌腫又は新しいＩＨＣ染色方法によって発現された細胞を含む病理イメージに対する正確な分析を遂行できる。

【0032】

本開示の一部の実施例によれば、意図的に病理イメージを変形させた学習用データが機械学習モデルに入力されて機械学習モデルが学習することで、イメージの歪曲や変更などのような意図しない状況でも、ロバスト（robust）な機械学習モデルを構築できる。

【0033】

本開示の一部の実施例によれば、機械学習モデルを介して、多様な類型の出力値を含む分析結果を出力できる。これにより、ユーザは、分析結果に含まれた出力値群のうちで所望の類型の出力値を用いて、医療行為などのような後続手順を進行できる。

【0034】

本開示の効果は、これに制限されず、言及されない他の効果等は、特許請求の範囲の記載から本開示が属する技術分野における通常の知識を有した者（以下、「当業者」という）に明確に理解されるべきである。

【図面の簡単な説明】

【0035】

本開示の実施例等は、以下の添付図面に基づいて説明される。ここで、類似の参照符号は類似の要素を示すが、これに限定されるものではない。

【図1】互いに異なる類型の病理イメージの例を示す図である。

【図2】互いに異なる類型の病理イメージの例を示す図である。

【図3】オブジェクトクラスを含む病理イメージの例を示す図である。

【図4】腫瘍領域及び前癌性領域をセグメンテーションした病理イメージの例を示す図である。

【図5】本開示の一実施例に係る病理イメージを分析するシステムが適用される環境の例を示す図である。

【図6】本開示の一実施例に係る病理イメージ分析モデルが学習する例を示す概要図である。

【図7】本開示の一実施例に係る病理イメージ分析モデルが学習する方法を説明するためのフローチャートである。

【図8】本開示の一実施例に係る異種病理データセットを前処理して、学習用データセットを生成する方法を説明するためのフローチャートである。

【図9】パッチ群をサンプリングしてバッチが生成される例を示す図である。

【図10】パッチ群をサンプリングしてバッチが生成される他の例を示す図である。

【図11】本開示の一実施例に係る病理イメージ分析モデルを介して、病理イメージの分析結果が出力される例を示す図である。

【図12】本開示の一実施例に係る病理イメージ分析モデルに含まれた人工神経網モデルの例を示す図である。

【図13】本開示の一実施例に係る病理イメージ分析モデルを用いて、病理イメージに対する分析結果を出力する方法を説明するフローチャートである。

【図14】本開示の他の実施例に係る病理イメージ分析モデルの例を示す図である。

【図15】本開示の他の実施例に係る病理イメージの特性に基づいて呼び出した分析モデルを介して、病理イメージに対する分析結果が出力される例を示す図である。

【図16】本開示のまた他の実施例に係るユーザの入力情報に基づいて呼び出した分析モデルを介して、病理イメージに対する分析結果が出力される例を示す図である。

【図17】病理イメージ分析モデルから出力される多様な形態の分析結果の例を示す図である。

【図18】病理イメージ分析モデルから出力される多様な形態の分析結果の例を示す図である。

【図19】病理イメージ分析モデルから出力される多様な形態の分析結果の例を示す図である。

【図20】病理イメージ分析モデルから出力される多様な形態の分析結果の例を示す図である。

【図21】本開示の一実施例に係る病理イメージを分析する例示的なシステム構成図である。

【発明を実施するための形態】

【0036】

以下、本開示の実施のための具体的な内容を添付図面に基づいて詳細に説明する。ただし、以下の説明では、本開示の要旨を不要に不明瞭にする恐れがある場合、公知の機能や構成に関する具体的な説明は省略する。

【0037】

添付図面において、同一又は対応する構成要素には同一の参照符号が付与される。また、以下の実施例の説明において、同一又は対応する構成要素について重複する記述は省略され得る。しかし、構成要素に関する記述が省略されても、そのような構成要素が、ある実施例に含まれないものと意図してはならない。

【0038】

開示の実施例の利点及び特徴、そしてそれらを達成する方法は、添付図面に基づいて後述する実施例を参照すれば明確になる。しかしながら、本開示は、以下で開示される実施例に限定されず、互いに異なる多様な形態で具現化され得る。ただし、本実施例は、本開示が完全になるようにし、本開示が当業者に発明のカテゴリを正確に認識させるために提供されるだけである。

【0039】

本明細書で使用される用語について簡略に説明し、開示の実施例について具体的に説明する。本明細書で使用される用語は、本開示での機能を考慮しつつ、可能な限り現在広く使用される一般的な用語を選択したが、これは関連分野に従事する技術者の意図又は判例、新技術の出現などにより変化し得る。また、特定の場合は出願人が任意で選定した用語もあり得るが、これらの意味は当該発明の説明の部分において詳細に記載する。よって、本開示で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたった内容に基づいて定義されるべきである。

【0040】

本明細書では、文脈上において明確に特定しない限り、単数の表現は複数の表現を含み、複数の表現は単数の表現を含むことができる。明細書の全般に渡り、ある部分がある構成要素を「含む」とする際、これは特に反対の記載がない限り、他の構成要素を排除するものではなく、他の構成要素をさらに含むこともできることを意味する。

【0041】

本開示において、「システム」は、サーバ装置及びクラウド装置の少なくとも一つを含むことができるが、これに限定されるものではない。例えば、システムは、一つ以上のサーバ装置からなることができる。他の例として、システムは、一つ以上のクラウド装置からなることができる。また他の例として、システムは、サーバ装置及びクラウド装置の全部からなって動作することもできる。

【0042】

また、以下の実施例等で使用される第１、第２、Ａ、Ｂ、（ａ）、（ｂ）などのような用語は、ある構成要素を他の構成要素と区別するために使用されるだけであり、その用語により当該構成要素の本質や手順又は順序などが限定されるものではない。

【0043】

また、以下の実施例等では、ある構成要素が他の構成要素に「連結」、「結合」又は「接続」されると記載された場合、その構成要素は、他の構成要素に直接的に連結又は接続され得るが、各構成要素間にまた他の構成要素が「連結」、「結合」又は「接続」されることもできると理解しなければならない。

【0044】

また、以下の実施例等で使用される「含む（comprises）」及び／又は「含む（comprising）」は、言及された構成要素、ステップ、動作及び／又は素子が、一つ以上の他の構
成要素、ステップ、動作及び／又は素子の存在又は追加を排除しない。

【0045】

本開示の多様な実施例を説明するのに先立ち、使用される用語について説明する。

【0046】

本開示において、「ＩＨＣ（Immunohistochemistry）染色」は、組織又は細胞検体において、核、細胞質又は細胞膜に存在するタンパク質（又は抗原）の有無を光学顕微鏡で観察するために、関心のある抗体を組織上に反応させる原理を用いた染色法を指すことができる。抗原－抗体反応物は、そのまま顕微鏡で観察できないため、バイオマーカー（biomarker）を付けた後、そのバイオマーカーを発色させる方法を利用し、発色剤としては、
赤色を有するＡＥＣ（3-amino-9-ethylcarbazole）、茶色を有するＤＡＢ（3、3'-diaminobenzidine）などのような様々な発色剤が用いられる。

【0047】

本開示において、「病理イメージ」は、人体から取り出した組織などを顕微鏡で観察するために、一連の化学的処理過程を通して固定及び染色された病理スライドを撮影したイメージを指すことができる。ここで、病理イメージは、病理スライドに対する高解像度のイメージを含むホールスライドイメージ（whole slide image、WSI）、又は、高解像度のホールスライドイメージの一部を指すことができる。ここで、ホールスライドイメージの一部は、病理スライドイメージの全体から一定のサイズ単位に分割された領域を指すことができる。例えば、病理イメージは、デジタルスキャナーを用いて病理スライドをスキャンしたデジタルイメージを指すことができ、人体内の細胞（cell）、組織（tissue）及び／又はストラクチャー（structure）に関する情報を含むことができる。また、病理イメ
ージは、一つ以上のパッチを含むことができ、一つ以上のパッチには、アノテーション（annotation）作業により組織学的情報が適用（例：タグ付け）され得る。本開示において、「病理イメージ」は、「病理イメージに含まれた少なくとも一部の領域」を指すこともできる。

【0048】

本開示において、「パッチ」は、病理イメージ内の一部の領域を指すことができる。例えば、パッチは、病理イメージに対し、セグメンテーション（segmentation）を遂行することにより抽出された意味論的オブジェクト（object）に対応する領域を含むことができる。また他の例として、パッチは、病理イメージを分析することにより生成された組織学的情報と関連したピクセル群の組合せを指すことができる。例えば、パッチは、腫瘍組織と関連したオブジェクト、前癌性組織と関連したオブジェクト、腫瘍周辺組織と関連したオブジェクト、及びその他の組織と関連したオブジェクトなどを含むことができる。

【0049】

本開示において、「組織学的情報（histological components）」は、病理イメージに
含まれた人体内の細胞（cell）、組織（tissue）及び／又はストラクチャー（structure
）に関する特性又は情報を含むことができる。ここで、細胞に関する特性は、核（nucleus）や細胞膜（cell membrane）のような細胞学的特徴（cytologic feature）を含むことができる。組織学的情報は、機械学習モデルを介して推論されたり、病理専門医により入力されたりした、パッチに関する組織学的情報を指すことができる。

【0050】

本開示において、「病理データ」は、アノテーション（annotation）情報が含まれた病理イメージを指すことができる。複数の病理データを含む病理データの集合は「病理データセット」として指すことができる。病理データセットの生成時、病理データのドメインを考慮し得る。ドメインが一致する病理イメージ群のみを集合して、病理データセットを構成できる。

【0051】

本開示において、「アノテーション情報」は、病理イメージと関連して病理専門医又は病理学者などのような専門家が入力する情報であり得る。アノテーション情報は、病理イメージに関する組織学的情報を含むことができる。また、アノテーション情報は、病理イメージと関連した少なくとも一つの項目を含むことができる。ここで、病理イメージと関連した「項目（item）」は、病理イメージに関する細部情報を示すデータとして、染色が発現されたオブジェクトの領域（例えば、領域に含まれるピクセルの範囲、ピクセルの位置など）と関連した第１の項目、及びオブジェクトクラスと関連した第２の項目を含むことができる。ここで、オブジェクトは有意味な細胞領域（例えば、異常領域）として、ピクセル範囲と関連付けられ、オブジェクトクラスは細胞類型及び評価指標などを含むことができる。細胞類型は腫瘍細胞（tumor cell）やリンパ球（lymphocyte）などであり、評価指標は染色発現強度と関連した指標として、陽性の有無、発現等級、発現値、発現統計情報などを含むことができる。発現等級は、既定の複数の等級（例えば、０、ｔ＋１、ｔ＋２及びｔ＋３）のうち、染色強度に基づいた細胞の等級であり、発現値は、既定の数値範囲（例えば、０～１）のうち、染色強度に基づいた細胞の発現値であり得る。また、発現統計情報は、細胞の発現強度に対する統計として、複数の病理イメージが連続的に分析される場合に出力され得る。例えば、１０個の病理イメージを分析して、各病理イメージ内の全体の腫瘍細胞に対するＰＤ－Ｌ１ ｐｏｓｉｔｉｖｅ腫瘍細胞の比率を計算し、計
算された比率値の分布が発現統計情報に含まれ得る。他の例として、発現統計情報は、単一の病理イメージ内で特定の細胞に関する統計情報を含むことができる。例えば、一つの病理イメージが分析され、病理イメージ内で染色発現された全体の細胞の対比のうちで、特定の等級に分類される細胞に対する比率が発現統計情報に含まれ得る。

【0052】

本開示において、「異種」は、ドメインが異なる病理データ又は病理イメージを指すことができる。ここで、「ドメイン」が一致することは、病理イメージの類型（type）が同じであり、病理イメージと関連した項目類型（item type related to image）が一致することが分かり、「ドメイン」が異なることは、病理イメージの類型が異なるか、或いは、病理イメージと関連した項目類型が異なることが分かる。ここで、同し類型の病理イメージは、染色方法が同じであることが分かる。例えば、ＰＤ－Ｌ１（Programed cell death
ligand 1）ＩＨＣ染色を用いて染色された肺癌組織に対する病理イメージ群が、第１の
ドメインと関連した第１の病理データセットを構成できる。他の例として、ＨＥＲ２（human epidermal growth factor receptor 2）染色を用いて染色された乳癌組織に対する病理イメージ群が、第２のドメインと関連した第２の病理データセットを構成できる。このとき、第１の病理データセットに含まれた病理イメージ、及び、第２の病理データセットに含まれた病理イメージは異種であると称することができる。すなわち、ドメインが同一の病理データ群は、同種データであると称する場合、ドメインが異なる病理データ群は、異種データであると称する。

【0053】

本開示において、「複数のＡの各々」は、複数のＡに含まれた全ての構成要素の各々を称したり、複数のＡに含まれた一部の構成要素の各々を称したりできる。

【0054】

本開示において、「インストラクション（instruction）」は、機能に基づいて組み合
わせた一つ以上の命令語であって、コンピュータプログラムの構成要素であると同時に、プロセッサにより実行されるものを称することができる。

【0055】

以下、本開示の多様な実施例等については、添付図面に基づいて詳細に説明する。

【0056】

まず、図１乃至図４を参照して、本開示の学習に用いられる病理イメージの多様な例示について説明する。

【0057】

図１及び図２は、互いに異なる類型の病理イメージの例を示す図である。図１において、第１の病理イメージ１１０は、２２Ｃ３ ＩＨＣ染色を用いて、非小細胞肺癌において
ＰＤ－Ｌ１（Programed cell death ligand 1）を染色したスライドイメージである。ま
た、図２の第２の病理イメージ１２０は、ＨＥＲ２（human epidermal growth factor receptor 2）ＩＨＣ染色を用いて、乳癌においてＨＥＲ２を染色したスライドイメージである。２２Ｃ３ ＩＨＣ染色方法及びＨＥＲ２染色方法は、互いに異なる抗原－抗体反応を
活用するが、腫瘍細胞の細胞膜（membrane）が染色された後、同じ色相（例えば、茶色）を有するという点において、パターンが類似していることが分かる。

【0058】

図２に示す第３の病理イメージ２１０は、ＥＲ（estrogen receptor）ＩＨＣ染色を用
いて、乳癌を染色したスライドイメージであり、第４の病理イメージ２２０は、ＰＲ（progesterone receptor）ＩＨＣ染色を用いて、乳癌を染色したスライドイメージである。
ＥＲ ＩＨＣ染色及びＰＲ ＩＨＣ染色により染色された核（nuclear）は、全部同じ色相
（例えば、茶色）を有するという点において、ＩＨＣ染色パターンが類似している。

【0059】

このようにＩＨＣ染色を行った後、同一又は類似の色相（例えば、茶色）が発現される異種病理イメージを、後述する学習用データの生成に利用することができる。補足説明すれば、図１及び図２のような多様な類型の病理イメージを含む異種病理データに基づいて学習用データセットが生成され、学習用データセットを用いて機械学習モデルを学習させ ることができる。ここで、学習用データセットは、複数の学習用データの集合であり得る。また、特定の色相の以外に、多様な色相（例えば、赤色、ピンク、青色など）に発現される病理イメージを、学習用データの生成に利用することもできる。

【0060】

各々の病理イメージは、病理専門医が入力したアノテーション情報を含むことができる。アノテーション情報は、病理イメージ上のオブジェクト（例えば、細胞、組織、ストラクチャーなど）に対する少なくとも一つの項目を含むことができる。項目は、病理専門医が入力した、染色が発現されたオブジェクトの種類及びオブジェクトクラスを含むことができる。ここで、パッチ上に染色が発現されたオブジェクトの種類及びオブジェクトクラスは、パッチに対するラベル付け（labeling）情報として称することができる。本開示において、ラベル付け情報は、アノテーション情報と称され得る。

【0061】

図３は、オブジェクトクラスを含む病理イメージ３１０の例を示す図である。図３に示す病理イメージ３１０は、特定の色相に発現されたオブジェクト及びオブジェクトクラスを含む。ここで、オブジェクトと関連した領域は、特定の色相に発現されたピクセル群に基づいて識別できる。

【0062】

オブジェクトクラスは、細胞が特定の色相に発現された程度に基づいて決定され、特定の色相の彩度によってオブジェクトの各々のクラスが決定され得る。従来は、このような決定が病理専門医によって決定された。すなわち、病理専門医は、病理イメージを確認した後、染色発現程度によって各々の細胞のクラスを入力し、このように設定された細胞のクラス及び当該細胞の領域（すなわち、ピクセルの範囲）がアノテーション情報として病理イメージに含まれ得る。図３では、ｔ０からｔ３＋に行くほど、染色発現の強度が強くなるものを例示している。

【0063】

しかし、本開示の一実施例によれば、予め構築されたイメージ分析アルゴリズム（例えば、イメージ分析のための機械学習モデル）を用いて、オブジェクトクラス及びオブジェクトが自動で決定され得る。

【0064】

図４は、腫瘍領域及び前癌性領域がセグメンテーションされた病理イメージ４１０の例を示す図である。図４に示す病理イメージ４１０では、腫瘍領域（ｃａ）及び前癌性領域（ｃｉｓ）をセグメンテーションした後、腫瘍領域（ｃａ）は第１の色相に視覚化し、前癌性領域（ｃｉｓ）は第２の色相に視覚化し得る。従来は、このような領域の区分が、病理専門医によって決定された。例えば、病理専門医は、病理イメージ４１０から発現される細胞及び組織の形態学的特性に基づいて、腫瘍領域（ｃａ）及び前癌性領域（ｃｉｓ）を識別できた。

【0065】

しかし、本開示の一実施例によれば、このようなセグメンテーション作業は、予め構築されたイメージ分析アルゴリズム（例えば、イメージ分析のための機械学習モデル）を用いて、自動で遂行できる。例えば、イメージ分析アルゴリズムを介して、細胞の染色発現程度が病理イメージから抽出され、染色発現強度に基づいて各々の領域を自動でセグメンテーションした後、互いに異なる色相に視覚化し得る。

【0066】

病理イメージの類型に応じて、より多くの領域をセグメンテーションして視覚化し得る。例えば、病理イメージでは、腫瘍領域及び前癌性領域の以外に、腫瘍周辺領域（Cancer
stromaなど）を第３の色相に視覚化し、その他の組織（Connective tissue、fat tissue、boneなど）を第４の色相に視覚化し得る。視覚化作業と関連したアノテーション情報を病理イメージに含むことができる。すなわち、視覚化したオブジェクト領域と関連した第１の項目に関する情報、及びオブジェクトクラスと関連した第２の項目に関する情報を含むアノテーション情報が、病理イメージに含まれ得る。

【0067】

前述した通り、病理イメージが異なることができ、また、病理イメージに含まれたアノテーション情報の項目が異なることができる。ここで、病理イメージが異なることは、病理イメージに対する染色方法が異なり、また、細胞を取り出した身体部位が異なることが分かる。例えば、第１の病理イメージがＥＲ ＩＨＣ染色により獲得されたイメージであ
り、第２の病理イメージがＰＲ ＩＨＣ染色により獲得されたイメージである場合、第１
の病理イメージ及び第２の病理イメージは異種イメージであり得る。他の例として、第３の病理イメージが胸組織から獲得されたイメージであり、第４の病理イメージが肺組織から獲得された病理イメージである場合、第３の病理イメージ及び第４の病理イメージは異種イメージであり得る。

【0068】

また、アノテーション情報が異なることは、アノテーション情報に含まれた項目の類型が異なることが分かる。例えば、第１の病理イメージにオブジェクトクラスとして陽性の有無と関連した第３の項目が含まれ、第２の病理イメージにオブジェクトクラスとしてｔ０、ｔ１＋、ｔ２＋及びｔ３＋のいずれか一つに対する等級を示す第４の項目が含まれる場合、第１の病理イメージ及び第２の病理イメージは異種であることが分かる。

【0069】

このように、病理イメージの類型かつアノテーション情報に含まれた項目のいずれか一つでも異なる病理イメージは、異種病理イメージであると判定できる。同じ類型の病理イメージ群が集合して、同じドメインの病理イメージセットを構成できる。

【0070】

以下、図５乃至図２１を参照して、本開示の多様な実施例を説明する。

【0071】

図５は、本開示の一実施例に係る病理イメージを分析するシステム５１０が適用される環境の例を示す図である。図５を参照すれば、分析システム５１０は、ネットワーク５５０を介して、研究情報システム５２０、スキャナー５３０、ユーザ端末５４０の各々と通信できる。ここで、ネットワーク５５０は、移動通信網及び有線通信網を含み、本開示の技術分野において公知の技術に該当するので、詳細な説明は省略する。また、図５に示していないが、分析システム５１０は、病理イメージを保存するための保存場所、及び分析結果を保存するための保存場所を含むイメージ管理システム（図示せず）と通信できる。

【0072】

スキャナー５３０は、患者の組織サンプルを用いて生成された組織サンプルスライドからデジタル化した病理イメージを獲得できる。例えば、スキャナー５３０は、病理スライドをスキャンしたデジタルイメージである病理イメージを生成して保存できる。スキャナー５３０は、獲得された病理イメージを分析システム５１０に転送できる。

【0073】

ユーザ端末５４０は、分析システム５１０から病理イメージに対する分析結果を受信できる。例えば、ユーザ端末５４０は、病院などのような医療施設に位置し、医療スタッフが使用するコンピューティング装置であり得る。他の例として、ユーザ端末５４０は、患者のような一般のユーザが使用するコンピューティング装置であり得る。

【0074】

研究情報システム５２０は、病院、大学、研究施設などで使用する、サーバ及びデータベースなどを含むコンピューティングシステムであり得る。研究情報システム５２０は、学習に利用されるＲＡＷデータの集合である病理イメージセットを分析システム５１０に提供できる。例えば、研究情報システム５２０は、単一のドメインに該当する異種病理データセットを分析システム５１０に転送できる。他の例として、研究情報システム５２０は、異種病理データセットを分析システム５１０に提供できる。すなわち、研究情報システム５２０は、第１のドメインに該当する第１の病理データセット、第２のドメインに該当する第２の病理データセット、又は第３のドメインに該当する第３の病理データセットのうちで、二つ以上を分析システム５１０に転送できる。

【0075】

分析システム５１０は、学習に利用される複数の病理データセットを保存するためのデータ保存場所（例えば、データベース）を含み、病理イメージを分析するための機械学習モデルを含むことができる。分析システム５１０は、少なくとも一つのプロセッサ及びメモリを含むことができる。一実施例によれば、分析システム５１０は、異種病理データセットに基づいて学習用データセットを生成し、学習用データセットを用いて機械学習モデルを学習させることができる。分析システム５１０は、機械学習モデルの学習量が目標量に到達すれば、機械学習モデルを用いて、アノテーション情報が含まない病理イメージに対する分析を遂行できる。すなわち、分析システム５１０は、病理専門家の介入を要求することなく、機械学習モデルを用いて病理イメージに対する分析を遂行できる。例えば、分析システム５１０は、スキャナー５３０から受信された病理イメージを分析し、その分析された結果を依頼人に提供できる。ここで、依頼人は、ユーザ端末５４０を利用する医者／研究員／患者であり得る。

【0076】

以下、図６乃至図８を参照して、機械学習モデルが学習する過程についてより詳細に説明する。

【0077】

図６は、本開示の一実施例に係る病理イメージ分析モデル６３０が学習する例を示す概要図である。図６では、機械学習モデル６３０が病理イメージ分析モデル６３０であると称されている。以下では、機械学習モデル６３０及び病理イメージ分析モデル６３０が同 一のものを称し得る。

【0078】

複数の異種病理データセット６１０＿１乃至６１０＿ｎを前処理して、学習用データセット６２０を生成できる。すなわち、互いに異なるドメインに該当する複数の異種病理データセット６１０＿１乃至６１０＿ｎを前処理して、複数の学習用データを含む学習用データセット６２０を生成できる。異種病理データセット６１０＿１乃至６１０＿ｎを前処理する過程において、各病理データセット６１０＿１乃至６１０＿ｎから抽出されるサンプリング個数を決定できる。データサンプリングについては、図８を参照して詳細に説明する。

【0079】

一部の実施例において、アーティファクト（artifact）が含まれた病理イメージに対して分析を容易に遂行できるように、意図的に歪曲させた病理イメージが病理イメージ分析モデル６３０に入力され、アーティファクトが含まれた病理イメージに対しても、分析結果を出力できるロバスト（robust）な機械学習モデルを構築できる。ここで、アーティファクトが含まれた病理イメージは、一部の領域が歪曲されたり、変換されたり、除去されたりしたイメージであり得る。ロバストな機械学習モデルを構築するために、学習用データを生成する多様な実施例については、図８を参照して詳細に説明する。

【0080】

一実施例によれば、オブジェクトクラス又は関心領域の少なくとも一つに基づいて、病理データセット６１０＿１乃至６１０＿ｎに含まれた病理イメージと関連した項目が、他の病理データセットに含まれた病理イメージと関連した項目に関連付けられる。病理イメージと関連した項目とは、病理イメージ上に示す細胞、組織又はストラクチャーの種類、或いはクラスを区分する基準を意味できる。例えば、第１の病理データセット６１０＿１に第１の類型の第１の病理イメージが含まれ、第２の病理データセット６１０＿２に第２の類型の第２の病理イメージが含まれ、第１の病理イメージと関連した第１の項目、及び第２の病理イメージと関連した第２の項目が、類似の染色発現等級又は類似の関心領域に該当する場合、第１の項目及び第２の項目は互いに関連付けられる。ここで、関心領域は、細胞と関連した領域であり得る。例えば、関心領域は、腫瘍細胞、炎症細胞又はその他の細胞の少なくとも一つと関連した領域であり得る。他の例として、関心領域は、腫瘍組織、前癌性組織、腫瘍周辺組織又はその他の組織の少なくとも一つと関連した領域であり得る。項目群が関連付けられる多様な例示は、図８、表１及び表２を参照して、より具体的に説明する。

【0081】

一実施例によれば、関連付けられた項目群を含んで学習用データセット６２０を生成できる。例えば、第１の病理イメージと関連した第１の項目、及び第２の病理イメージと関連した第２の項目が互いに関連付けられる場合、互いに関連付けられた第１の項目と第２の項目及び第１の病理イメージに基づいて第１の学習データが生成され、学習用データセット６２０に含まれ得る。付加的に、互いに関連付けられた第１の項目と第２の項目及び第２の病理イメージに基づいて第２の学習データが生成され、学習用データセット６２０に含まれ得る。これにより、学習用データセット６２０は、病理イメージの以外に、病理イメージに含まれた項目と関連した異種病理イメージの項目をさらに含むことができる。

【0082】

学習用データセット６２０の一部又は全部を含む少なくとも一つのバッチ（batch）が
生成され、病理イメージ分析モデル６３０を学習できる。一実施例によれば、学習過程において、病理イメージ分析モデル６３０から出力された出力値（すなわち、分析結果）６４０及びレファレンス値６５０間の損失（loss）値を算出できる。一実施例によれば、レファレンス値６５０は、病理イメージのアノテーション情報から獲得された一種の正解値であり得る。例えば、レファレンス値６５０は、アノテーション情報に含まれた評価指標から獲得できる。

【0083】

一実施例によれば、損失値が病理イメージ分析モデル６３０にフィードバックされ、病理イメージ分析モデル６３０に含まれた少なくとも一つのノードの加重値を調整できる。ここで、ノードは、人工神経網に含まれるノードであり得る。

【0084】

本開示の実施例等によれば、学習用データが病理イメージ分析モデル６３０に入力される場合、学習用データに含まれた関連した項目群は、類似の項目グループにグループ化して、病理イメージ分析モデル６３０において加重値を有する少なくとも一つのノードとして動作できる。このように関連した項目群を共に入力して、病理イメージ分析モデル６３０が学習する場合、多様な類型の病理イメージに対して分析を遂行できるだけでなく、多様な類型の結果値を出力できる。

【0085】

以下、図７及び図８を参照して、病理イメージ分析モデルが学習する方法を詳細に説明する。図７及び図８に示す方法は、本開示の目的を達成するための一実施例に過ぎず、必要に応じて一部のステップが追加又は削除され得ることは勿論である。また、図７及び図８に示す方法は、図５に示す分析システムに含まれた少なくとも一つのプロセッサにより遂行できる。説明の便宜のために、図５に示す分析システムに含まれたプロセッサにより、図７及び図８に示す各ステップが遂行されるものとして説明する。

【0086】

また、後述する実施例等において、異種病理データセットは、互いに異なる類型の複数の異種病理データセットを含むと仮定する。また、後述する説明において、第Ｎ（ここで、Ｎは自然数）の異種病理データセット、及び第Ｎ＋１の異種病理データセットは、互いに異なるドメインに該当するデータセットであると称する。

【0087】

図７は、本開示の一実施例に係る病理イメージ分析モデルが学習する方法７００を説明するためのフローチャートである。図７を参照すれば、プロセッサは、異種病理データセットを獲得できる（Ｓ７１０）。例えば、プロセッサは、図５の分析システム５１０、研究情報システム５２０又はスキャナー５３０の少なくとも一つから受信して保存した異種病理データセットを、保存場所から獲得できる。

【0088】

続いて、プロセッサは、獲得された異種病理データセットの各々を前処理して、学習用データセットを生成できる（Ｓ７２０）。個別学習用データには、アノテーション情報を含む病理イメージが含まれ得る。一実施例によれば、プロセッサにより、第１の病理イメージと関連した項目及び第２の病理イメージと関連した項目が関連付けられ、関連付けられた項目を各病理データセットに含めることができる。これにより、異種病理データセットに含まれた異種個別病理データが互いに併合され得る。一実施例によれば、学習用データセットのサイズが既定のバッチ（batch）サイズに相当するように、プロセッサは、学
習用データの個数を決定し、その個数に相当するデータ個数を有するように、学習用データセットを生成できる。一部の実施例によれば、プロセッサは、異種病理データセットに対するサンプリング又はデータ拡張の少なくとも一つを遂行できる。データ前処理に関する詳細な説明は、図８乃至図１０を参照して後述する。

【0089】

データ前処理が完了した後、プロセッサは、学習用データセットに含まれたデータのうちで、ターゲット学習用データを決定できる（Ｓ７３０）。続いて、プロセッサは、ターゲット学習用データを用いて、病理イメージ分析モデルに対する学習を遂行できる（Ｓ７４０）。一実施例において、プロセッサは、ターゲット学習用データに含まれたアノテーション情報からレファレンス値を決定できる。例えば、プロセッサは、学習用データに含まれたアノテーション情報からオブジェクトクラスを抽出し、抽出されたオブジェクトクラスに含まれた評価指標に基づいてレファレンス値を決定できる。また、プロセッサは、学習用データに含まれたアノテーション情報からセグメンテーションした少なくとも一つのオブジェクトの領域（すなわち、ピクセルの範囲）、及び各オブジェクトの類型（すなわち、細胞類型）に基づいて、レファレンス値を決定できる。

【0090】

プロセッサは、ターゲット学習用データを病理イメージ分析モデルに入力し、病理イメージ分析モデルから出力される出力値（すなわち、分析結果）及びレファレンス値間の損失値を算出した後、算出した損失値を病理イメージ分析モデルにフィードバック（feedback）することで、病理イメージ分析モデルに含まれた少なくとも一つの加重値を調節できる。出力値は、評価指標又はオブジェクト領域及びオブジェクトの類型（すなわち、細胞類型）の少なくとも一つを含むことができる。損失値は、評価指標及びレファレンス値間の差に算術的に計算して算出でき、或いは、出力値に含まれたオブジェクト及びレファレンス値に含まれたオブジェクト間のピクセルの範囲の一致率を評価するための評価関数を用いて算出できる。

【0091】

続いて、プロセッサは、学習用データセットに含まれた全てのデータが、ターゲット学習用データとして決定されたか否かを判定できる（Ｓ７５０）。次に、プロセッサは、学習用データセットに含まれたデータのうちで、まだターゲット学習用データとして決定されていないデータが存在する場合、ターゲット学習用データとして決定されていない学習用データ群のいずれか一つをターゲット学習用データとして決定し、そのターゲット学習用データを用いて、病理イメージ分析モデルを学習させることができる。

【0092】

一方、プロセッサは、学習用データセットに含まれた全てのデータが、ターゲット学習用データとして決定された場合、現エポック（epoch）における学習を終了できる。

【0093】

一方、次エポックにおいて同じ学習用データセットを再利用して、病理イメージ分析モデルを再学習させることができ、或いは、新しい学習用データセットを生成して、病理イメージ分析モデルを再学習させることができる。

【0094】

前述した通り、学習用データセットに含まれたデータを用いて、病理イメージ分析モデルに対する繰り返し学習が進行する場合、病理イメージ分析モデルに含まれた各ノードの加重値は、最適値に収束することができる。これにより、病理イメージ分析モデルは、より正確な分析結果を出力できる。

【0095】

図８は、本開示の一実施例に係る異種病理データセットを前処理して、学習用データセットを生成する方法を説明するためのフローチャートである。まず、データ前処理のための方法を説明するのに先立ち、前処理が必要な理由について概略的に説明する。

【0096】

異種病理イメージである第１の病理イメージ及び第２の病理イメージは、細胞の種類、染色強度又はＩＨＣ評価に必要な組織領域の少なくとも一つが異なることができる。大部分の病理イメージは、腫瘍細胞がラベル付けされた情報を含むという共通点を有するが、ＩＨＣ種類に応じて、腫瘍細胞の他にリンパ球（lymphocyte）及びマクロファージ（macrophage）などの免疫細胞や、腫瘍周辺の気質を構成する線維芽細胞（fibroblast）や、脂肪細胞（adipocyte）などの間質細胞（stromal cell）なども染色される場合があり、こ
のような細胞等に関するラベル付け情報は、一部の類型の異種イメージに含まれ得る。補足説明すれば、図１乃至図４のような多様な類型の病理イメージを含む学習用データセットが生成され、学習用データセットに基づいて機械学習モデルを学習させることができる。

【0097】

また、染色強度を評価する基準も、病理イメージを構成する細胞類型（例えば、癌腫）及びＩＨＣ種類に応じて異なることができる。例えば、乳癌のＨＥＲ２発現程度を評価したＩＨＣデータセットの場合、腫瘍細胞（tumor cell）において、ＨＥＲ２の発現程度を３＋（強）、２＋（中間）、１＋（弱）、０（発現無し）の４段階に分けて分類するが、肺癌のＰＤ－Ｌ１発現程度を２２Ｃ３染色により評価したＩＨＣデータセットの場合、腫瘍細胞において、ＰＤ－Ｌ１発現程度を陽性又は陰性に分けて分類する。

【0098】

このようにラベル付けされた細胞の種類、染色強度に対する評価指標などが、病理イメージの類型に応じて異なることができるため、互いに異なる類型の項目を併合して、学習用データセットを構築する必要性がある。換言すれば、互いに異なるドメインの病理イメージ群に対してドメイン併合（domain merging）を遂行することで、統合された学習用データセットを構築する必要性がある。例えば、第１の病理イメージに含まれた第１のオブジェクトクラス及び第２の病理イメージに含まれた第２のオブジェクトクラス間の類型が互い異なる場合、第１のオブジェクトクラス及び第２のオブジェクトクラスが統合され得る。一方、特定の病理データセットに含まれたオブジェクトクラスの細部項目がさらに多かったり少なかったりでき、細部項目がさらに多い方又はさらに少ない方に項目が併合されるように、項目群が関連付けられる。もし、細部項目がさらに少ない方に併合される場合は、次の表１及び表２に例示するように、複数の細胞種類又は染色強度を一つに組み合わせる方法を活用できる。

【0099】

もし、細部項目がさらに多い方にデータを統合する場合は、細部項目がより少なくラベル付けされた病理イメージに対する評価を再遂行し、さらに多い個数の細部項目を病理イメージにラベル付けできる。このとき、細部項目のラベル付けを自動で遂行する別のアルゴリズム（例えば、機械学習モデル）を用いて、少ない個数の細部項目にラベル付けした病理イメージをさらに多い個数の細部項目に自動で再度ラベル付けできる。例えば、第１の病理イメージのオブジェクトクラスと関連した細部項目の個数が２個であり、第２の病理イメージのオブジェクトクラスと関連した細部項目の個数が４個である場合、第１の病理イメージが４個の細部項目を自動でラベル付けするアルゴリズム（例えば、機械学習モデル）が入力され、そのアルゴリズムを介して、４個の細部項目にラベル付けした第１の病理イメージを出力できる。

【0100】

このように項目を関連付けることは、ＩＨＣ分析において関心対象となる腫瘍細胞の場合、互いに異なる癌腫であっても、核異型性（nuclear atypia）、高い核／細胞質比率（high N/C ratio）、非定形有糸分裂（atypical mitosis）の増加、極性損失（loss of polarity）などのように、腫瘍細胞の起源に関係なく、悪性腫瘍細胞であれば共通的に持つ類似の形態的特徴（morphologic feature）があるという点、及び、免疫細胞や間質細胞
などは癌腫による形態差が少ないという病理学的理論に基づく。

【0101】

図８を参照すれば、プロセッサは、異種病理データセットに含まれた互いに異なる項目を互いに関連付けるように処理することで、異種ドメインに該当する異種病理データセットを併合（merge）することができる（Ｓ８１０）。ここで、併合するとは、異種病理デ
ータセットを共通する項目で互いに関連付けることを意味できる。

【0102】

互いに関連付ける項目に対するテーブルが分析システムで予め保存され、プロセッサは、テーブルを参照して異種病理データセットから互いに関連付けた項目群を抽出し、抽出された項目を互いに関連付けるように処理できる。次の表１及び表２は、項目を関連付けるとき、参照すべきマッピングテーブルの例を示す図である。表１及び表２は、ＰＤ－Ｌ１と関連した第１の病理データセット、及びＨＥＲ２と関連した第２の病理データセットを例として、項目をマッピングしている。すなわち、ＰＤ－Ｌ１ ＩＨＣ染色を用いた第
１の類型の病理イメージと関連した項目、及びＨＥＲ２ ＩＨＣ染色を用いた第２の類型
の病理イメージと関連した項目を関連付けるための、マッピングテーブルが例示されている。

【0103】

【表1】

【0104】

【表2】

【0105】

表１及び表２を参照すれば、ＰＤ－Ｌ１ ＩＨＣ染色と関連した第１の類型の病理イメ
ージ、及びＨＥＲ２ ＩＨＣ染色と関連した第２の類型の病理イメージは、染色方法及び
原発部位（肺又は乳房）が異なるが、特性の色相に発現されるという共通点がある。しかし、第１の病理イメージ及び第２の病理イメージでは、癌腫と関連したオブジェクトが共通的に発見され得るが、発現される細胞の種類、染色強度及びＩＨＣ評価に必要な組織領域は異なることができる。本開示では、異種病理イメージと関連した項目群のうちで、共通属性を持つ項目群が関連付けられる。表１は、関心組織に基づいて、異種病理イメージと関連した項目群が、互いに関連付けられることを例示している。表１を参照すれば、ＰＤ－Ｌ１ ＩＨＣ染色により獲得された第１の類型の病理イメージと関連した項目群のう
ちで、腫瘍組織を示す項目（ＣＡ）は、ＨＥＲ２ ＩＨＣ染色により獲得された第２の類
型の病理イメージと関連した項目等のうちで、腫瘍組織を示す項目（ＣＡ）と関連付けられる。また、ＰＤ－Ｌ１ ＩＨＣ染色により獲得された第１の類型の病理イメージと関連
した項目群のうちで、非腫瘍組織を示すオブジェクト関連項目（ＢＧ）は、ＨＥＲ２ Ｉ
ＨＣ染色により獲得された第２の類型の病理イメージと関連した項目のうちで、前癌性組織（ＣＩＳ）及び背景組織（ＢＧ）と関連付けられる。

【0106】

表２は、オブジェクトクラスに基づいて、異種病理イメージと関連した項目群が、互いに関連付けられることを例示している。表２を参照すれば、ＰＤ－Ｌ１ ＩＨＣ染色によ
り獲得された第１の類型の病理イメージと関連した項目群のうちで、腫瘍を除いたリンパ球（ＬＰ＋、ＬＰ－）、マクロファージ（ＭＰ＋、ＭＰ－）及びその他の細胞（ＯＴ）は、ＨＥＲ２ ＩＨＣ染色により獲得された第２の類型の病理イメージと関連した項目群の
うちで、腫瘍（ＢＧ）及び前癌性組織（ＣＩＳ）の以外の細胞（ＯＴ）と関連付けられる。

【0107】

また、第１の類型の病理イメージに含まれたピクセル等の各々の染色発現強度を示す項目群のうちで、第１の発現範囲と関連した陰性（ＴＣ－）項目は、第２の類型の病理イメージに含まれたピクセル群の各々に染色発現強度を示す項目群のうちで、第１の発現範囲と関連したＴＣ０項目と関連付けられる。また、第１の類型の病理イメージに含まれたピクセル群の各々の染色発現強度を示す項目群のうちで、第２の発現範囲と関連した陽性（ＴＣ＋）項目は、第２の類型の病理イメージに含まれたピクセル群の各々に染色発現強度を示す項目群のうちで、第２の発現範囲と関連したＴＣ１、ＴＣ２及びＴＣ３項目と関連付けられる。

【0108】

プロセッサは、第１の病理イメージと関連した項目及び第２の病理イメージと関連した項目を関連付け、関連付けた項目を各病理データセットに含めることができる。これにより、異種病理データセットに含まれた異種個別病理データが互いに併合され得る。

【0109】

表１及び表２を例として説明すれば、第１の病理イメージと関連したＢＧ項目、第２のイメージと関連したＢＧ項目、及びＣＩＳ項目が関連付けられる。また、第２の病理イメージと関連したＯＴ項目、並びに、第１の病理イメージと関連したＬＰ＋、ＬＰ－、ＭＰ＋、ＭＰ－及びＯＴ項目が関連付けられる。また、第１の病理イメージと関連したＴＣ－項目、並びに、第２の病理イメージと関連したＴＣ０項目が関連付けられ、第１の病理イメージと関連したＴＣ＋項目、第２の病理イメージと関連したＴＣ１、ＴＣ２及びＴＣ３項目が関連付けられる。このように関連付けられた項目群は、第１の病理データセット及び第２の病理データセットの各々に含まれ、これにより、第１のドメインと関連した第１の病理データセット、及び第２のドメインと関連した第２の病理データセットは併合され得る。

【0110】

その後、プロセッサは、各病理データセットからラベル付けされたパッチ群を抽出し、抽出されたパッチ群をパッチデータベースに保存できる（Ｓ８２０）。ここで、ラベル付けされたパッチは、オブジェクトクラスがラベル付けされたオブジェクトを指すことができ、病理イメージの一部又は全部であり得る。一実施例において、プロセッサは、各病理データセットから既定の同数のパッチを抽出できる。他の実施例によれば、プロセッサは、互いに異なる個数のラベル付けされたパッチを各病理データセットから抽出できる。プロセッサは、第１の病理データセットから第１の個数又は第１の比率のラベル付けされたパッチを抽出し、第２の病理データセットから第２の個数又は第２の比率のラベル付けされたパッチを抽出できる。

【0111】

プロセッサは、ラベル付けされたパッチ群を抽出した後、ラベル付けされたパッチ群をパッチデータベースに保存できる。このとき、ラベル付けされたパッチは、項目（例えば、オブジェクトの類型、クラスなど）、及び、その項目と関連した異種病理データの項目を含むことができる。他の実施例において、プロセッサは、特定の類型のパッチ群を所定個数だけコピーし、コピーしたパッチ群をパッチデータベースに保存できる。このとき、特定の類型のパッチ群がコピーされる所定の個数は、最も多いパッチ個数のパッチ類型に基づいて決定され得る。例えば、コピーされるパッチの個数は、パッチデータベースに保存されたパッチ類型群のうちで、最も多い個数のパッチ類型及び特定の類型のパッチ個数の差に基づいて決定され得る。ここで、パッチ類型は病理イメージ類型と対応し得る。例えば、病理イメージの類型が第１の類型である場合、病理イメージから抽出されたパッチ群も第１の類型であり得る。パッチ目録又はパッチデータベースに保存されたパッチ群に対する例示は、図９及び図１０を参照して説明する。

【0112】

次に、プロセッサは、パッチデータベースに含まれたイメージを歪曲、削除、汚染などのような人為的な変形を加えることにより、ラベル付けされたパッチを拡張できる（Ｓ８３０）。

【0113】

拡張されたパッチを生成するために、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチのサイズを調整できる。例えば、プロセッサは、パッチのサイズの解像度をオリジナル解像度よりも高い解像度又は低い解像度に変更できる。他の例として、プロセッサは、パッチから周辺領域に位置したピクセル群を除去することにより、パッチのサイズを変更できる。

【0114】

また、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチに含まれたピクセル群のうちで、既定の範囲に該当するピクセル群を除去できる。また、プロセッサは、ピクセル群が除去されたパッチのサイズをパッチのオリジナルのサイズに拡大できる。このような形態のパッチを含むイメージに基づいて、病理イメージ分析モデルが学習する場合、病理イメージにおける関心領域が多様な位置にあっても、病理イメージ分析モデルは、当該関心領域を正確に検出し、その検出された関心領域に対する評価指標を正確に算出するように学習できる。

【0115】

また、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチを左右又は上下に反転させた後、左右又は上下が反転されたパッチを生成できる。このように反転されたパッチを含む病理イメージを用いて、病理イメージ分析モデルが学習する場合、病理イメージ分析モデルは、新しい類型の病理イメージに対しても、有意味な分析結果を出力するように学習できる。

【0116】

また、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチに含まれたピクセル群のうちで、既定の範囲のピクセル群を除去して、パッチを拡張できる。このように意図的にピクセル群が除去されたパッチを含む病理イメージを用いて、病理イメージ分析モデルが学習する場合、病理イメージ分析モデルは、アーティファクトが含まれた病理イメージに対しても、正確な分析結果を出力できる。

【0117】

また、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチに含まれたピクセル群のうちで、既定の範囲のピクセル群を人為的に変形させて、パッチを拡張できる。例えば、プロセッサは、中央値フィルタ（median-filter）を用いて、決定された範囲のピクセルにぼかし効果（blurriness）などを
適用して、一部のピクセルをぼかすようにすることで、当該ピクセル群を変形できる。他の例として、プロセッサは、ガウシアンフィルタ（gaussian-filter）を用いて、決定さ
れた範囲のピクセル群にノイズ（noise）を付加し、一部のピクセルを変形できる。この
ように変形されたパッチを含む病理イメージを用いて、病理イメージ分析モデルが学習する場合、スキャナーエラーや染色エラーなどに対して、ロバストな病理イメージ分析モデルを構築できる。

【0118】

また、プロセッサは、パッチデータベースに含まれたパッチの少なくとも一つのパッチを抽出し、抽出されたパッチに含まれたピクセル群の色相を変換させた後、変換された色相を含むパッチを生成して、パッチを拡張できる。例えば、プロセッサは、色相ジッタリング（color jittering）技法を用いて、パッチの色調、対比、明度又は彩度の少なくと
も一つを変更できる。他の例として、プロセッサは、グレースケール（grayscale）技法
を用いて、パッチの色相を変更できる。パッチの色相を変更する細部的な設定値はユーザにより決定できる。このように、色相が変更されたパッチを含む病理イメージを用いて、病理イメージ分析モデルが学習する場合、新しいドメインの病理イメージが入力されても、病理イメージ分析モデルは、当該病理イメージに対して有意味な分析結果を出力でき、さらに、イメージの色相よりは細胞構造の方に集中して、病理イメージ分析モデルが学習するように誘導できる。

【0119】

データ拡張が完了した後、プロセッサは、拡張された少なくとも一つのパッチ及びパッチデータベースに含まれたパッチの一部又は全部を用いて、学習用データセットを生成できる（Ｓ８４０）。一実施例によれば、プロセッサは、学習用データセットの生成に利用される各類型のパッチ個数を決定し、決定された個数だけの類型別パッチをパッチデータベースから抽出した後、抽出された類型別パッチ及び拡張されたパッチを用いて、学習用データセットを生成できる。他の実施例によれば、プロセッサは、類型に関係なく、パッチデータベースに含まれたパッチ群のうちで、所定の個数のパッチをランダムに抽出し、抽出されたパッチを用いて学習用データを生成できる。また他の実施例によれば、プロセッサは、パッチデータベースに含まれた全てのパッチを用いて学習用データセットを生成できる。パッチデータベースに含まれたパッチの一部だけを抽出して学習用データセットが生成される場合、これをミニ－バッチ（mini-batch）サイズに該当する学習用データセットであると称することができる。

【0120】

一実施例によれば、学習用データセットに含まれる個別学習用データは、少なくとも一つのパッチを含むことができる。また、個別学習用データは、互いに異なる類型のパッチが含まれ得る。付加的又は代替的に、個別学習用データには同じ類型のパッチが含まれ得る。一部の実施例によれば、プロセッサは、所定のサイズの学習用病理イメージを生成し、その病理イメージに少なくとも一つのパッチをランダムに配置できる。また、プロセッサは、パッチが配置された学習用病理イメージにおいて、パッチの以外の領域にランダムに選択されたバックグラウンドイメージを挿入できる。ここで、バックグラウンドイメージは、実際にスキャンした病理イメージから抽出でき、分析システムは、複数のバックグラウンドイメージを予め保存できる。このとき、プロセッサは、複数のバックグラウンドイメージのいずれか一つをランダムに選択して、学習用病理イメージの背景として挿入できる。

【0121】

このように、背景イメージを挿入する理由は、病理イメージ分析モデルが病理イメージからセグメンテーション作業を遂行できるように、学習させるためである。後述するように、病理イメージに対するセグメンテーションを遂行する第１の分析モデルが病理イメージ分析モデルに含まれた場合、第１の分析モデルにパッチ及び背景イメージを全部含む学習用病理イメージが入力され、第１の分析モデルに対する学習を進行できる。このようなセグメンテーション学習のために、少なくとも一つのパッチ及び背景イメージを含む病理イメージを生成できる。

【0122】

前述した通り、個別学習用データには、学習用病理イメージが含まれ、また、ラベル付けされた少なくとも一つのパッチが含まれ得る。また、個別学習用データには、互いに関連付けられた異種項目群が含まれ得る。

【0123】

図９は、パッチ群をサンプリングしてバッチ９４０が生成される例を示す図である。図９を参照すれば、第１のドメインと関連した第１の病理データセット９１０には、第１の類型の病理イメージ９１２、９１４が含まれ、第２のドメインと関連した第２の病理データセット９２０には、第２の類型の病理イメージ９２２、９２４が含まれ得る。

【0124】

各々の病理イメージには、ラベル付けされたパッチが含まれ得る。図９において、パッチは「＃」及び数字からなる四角形で表現される。図９及び図１０において、パッチの形状を同じサイズの四角形として例示しているが、これは説明の便宜のためのもので、実際の各病理イメージにおけるパッチの形状及びサイズは異なることができる。

【0125】

図９に示すように、第１の病理データセット９１０に含まれたパッチ＃１－１乃至＃１－５が抽出され、パッチデータベース９３０に保存できる。同様に、第２の病理データセット９２０に含まれたパッチ＃２－１乃至＃２－５が抽出され、パッチデータベース９３０に保存できる。

【0126】

パッチデータベース９３０は、第１の類型のパッチ＃１－１乃至＃１－５（９３２）、及び第２の類型のパッチ＃２－１乃至＃２－５（９３４）を保存できる。プロセッサは、パッチデータベース９３０に含まれた第１の類型のパッチ群９３２に対するサンプリング個数を決定し、第２の類型のパッチ９３４に対するサンプリング個数を決定した後、決定された個数に相当する各類型のパッチ群をパッチデータベース９３０から呼び出す（fetch）ことができる。各類型から抽出されるサンプリング個数又は比率は、ユーザにより予
め設定できる。例えば、第１の類型のパッチに対するサンプリング個数は１００個であり得、第２の類型のパッチに対するサンプリング個数は５０個であり得る。

【0127】

プロセッサは、パッチデータベース９３０から抽出したパッチを用いて、既定のサイズのバッチ（batch）９４０を生成できる。このように生成されたバッチ９４０は、学習用
データセットの一部又は全部を構成できる。このとき、プロセッサは、パッチデータベース９３０内のパッチ群を拡張し、拡張したパッチ＃３－１乃至＃３－６を含むバッチ９４０を生成できる。

【0128】

図１０は、パッチ群をサンプリングしてバッチ１０４０が生成される他の例を示す図である。図１０を参照すれば、第１のドメインと関連した第１の病理データセット１０１０には、第１の類型の病理イメージ１０１２、１０１４が含まれ、第２のドメインと関連した第２の病理データセット１０２０には、第２の類型の病理イメージ１０２２、１０２４が含まれ得る。

【0129】

図１０に示すように、第１の病理データセット１０１０に含まれたパッチ＃１－１乃至＃１－５が抽出され、パッチデータベース１０３０に保存できる。同様に、第２の病理データセット１０２０に含まれたパッチ＃２－１乃至＃２－３が抽出され、パッチデータベース１０３０に保存できる。

【0130】

しかし、第２の病理データセット１０２０から抽出されたパッチ＃２－１乃至＃２－３の個数が、第１の病理データセット１０１０から抽出されたパッチ＃１－１乃至＃１－５の個数よりも少ない場合、第２の病理データセット１０２０から抽出されたパッチ＃２－１乃至＃２－３の少なくとも一つを対象として、パッチのコピーが行われる。例えば、第１の類型のパッチ個数及び第２の類型のパッチ個数が同一にパッチデータベース１０３０に保存されるように、第１の類型のパッチ又は第２の類型のパッチを対象として、パッチのコピーが行われる。また、第１の類型のパッチ個数及び第２の類型のパッチ個数が既定の比率になるように、第１の類型のパッチ又は第２の類型のパッチを対象として、パッチのコピーが行われる。

【0131】

図１０では、＃２－２のパッチ及び＃２－３のパッチを対象として、パッチのコピーが行われることを例示する。コピーされたパッチ＃２－２、＃２－３は、パッチデータベース１０３０に含まれ得る。このようなパッチのコピーが行われることで、各類型のパッチ個数がバランスをなして、パッチデータベース１０３０に保存することができる。

【0132】

プロセッサは、パッチデータベース１０３０に保存されたパッチ１０３２、１０３４を所定の個数だけランダムに抽出し、抽出したパッチを用いて、学習用データセットの一部又は全部を構成するバッチ１０４０を生成できる。他の例として、プロセッサは、パッチデータベース１０３０に含まれた第１の類型のパッチ群１０３２に対するサンプリング個数を決定し、第２の類型のパッチ群１０３４に対するサンプリング個数を決定した後、決定された個数に相当する各類型のパッチ群をパッチデータベース１０３０から呼び出し、呼び出したパッチ群を用いて、バッチ１０４０を生成できる。プロセッサは、パッチデータベース１０３０内のパッチ群を拡張し、拡張されたパッチ＃３－１乃至＃３－６を含むバッチ１０４０を生成できる。

【0133】

一方、アノテーション情報を含む病理イメージからパッチを抽出する作業を遂行せず、アノテーション情報を含む異種病理イメージ群を用いて学習用データセットを生成できる。具体的に、分析システムのプロセッサは、第１の病理データセットから抽出した複数の第１の類型の病理イメージ、及び第２の病理データセットから抽出した複数の第２の類型の病理イメージに基づいて、学習用データセットを生成できる。このとき、分析システムのプロセッサは、抽出した第１の類型の病理イメージの各々に基づいて複数の学習用データを生成でき、第２の病理データセットに含まれた第２の類型の病理イメージの各々に基づいて複数の学習用データを生成できる。

【0134】

一実施例によれば、プロセッサは、第１のサンプリング個数に相当するように、第１の病理イメージセットから複数の第１の類型の病理イメージを抽出でき、第２のサンプリング個数に相当するように、第２の病理イメージセットから複数の第２の類型の病理イメージを抽出できる。また、プロセッサは、第１の病理イメージ又は第２の病理イメージの少なくとも一つを拡張し、拡張されたイメージを含む学習用データセットを生成できる。イメージ拡張のための方法として、前述したパッチと関連したイメージ拡張方法が用いられる。

【0135】

一方、特定の類型の細胞又は特定の染色方法に対して、より正確な結果を出力するために、病理イメージ分析モデルには、追加学習用データセットが入力され、病理イメージ分析モデルが追加学習することで、性能を改善させることができる。ここで、特定の染色方法は、既存の染色方法（例えば、Ｈ＆Ｅ染色方法）又は新規に開発された染色方法であり得る。例えば、特の定染色方法により染色された複数個の病理イメージを含む追加学習用データセットを用意し、その追加学習用データセットを利用することで、病理イメージ分析モデルを追加学習させることができる。このとき、特定の染色方法により一層敏感に反応できるように、病理イメージ分析モデルに含まれたノードの加重値を調節できる。

【0136】

図１１は、本開示の一実施例に係る病理イメージ分析モデルを介して、病理イメージの分析結果が出力される例を示す図である。図１１に示すように、多様な類型の病理イメージ１１１０＿１乃至１１１０＿３を病理イメージ分析モデル１１２０に入力できる。ここで、病理イメージ１１１０＿１乃至１１１０＿３は、学習に利用された病理イメージの類型と同じ類型であり得、或いは、新しいバイオマーカーを介して獲得された病理イメージであり得る。すなわち、病理イメージ１１１０＿１乃至１１１０＿３と関連したドメインは、病理イメージ分析モデル１１２０で学習されたドメインに対して、同じドメイン又は異なるドメインであり得る。

【0137】

病理イメージ分析モデル１１２０は、病理イメージ１１１０＿１乃至１１１０＿３に対する分析結果１１３０を出力できる。ここで、分析結果１１３０は、病理イメージ１１１０＿１乃至１１１０＿３から抽出された、オブジェクト別クラスを含むことができる。ここで、オブジェクトクラスは細胞種類及び／又は評価指標を含み、評価指標は陽性の有無、発現等級、発現値又は発現統計情報の少なくとも一つを含むことができる。また、分析結果１１３０は、病理イメージ１１１０＿１乃至１１１０＿３に対するセグメンテーション結果であり得る。すなわち、分析結果１１３０は、病理イメージ１１１０＿１乃至１１１０＿３から識別された少なくとも一つの組織及び組織の種類を含むことができる。

【0138】

図１２は、本開示の一実施例に係る病理イメージ分析モデルに含まれた人工神経網モデル１２００の例を示す図である。人工神経網モデル１２００は、機械学習モデルの一例として、機械学習（Machine Learning）技術及び認知科学において、生物学的神経網の構造に基づいて具現化された統計学的学習アルゴリズム又はそのアルゴリズムを実行する構造である。

【0139】

一実施例によれば、人工神経網モデル１２００は、生物学的神経網のように、シナプスの結合によりネットワークを形成した人工ニューロンであるノード（Node）等がシナプスの加重値を繰り返して調整して、特定の入力に対応した正常出力及び推論出力間の誤差が減少するように学習することで、問題解決能力を有する機械学習モデルを示すことができる。例えば、人工神経網モデル１２００は、機械学習やディープラーニングなどの人工知能学習法に使用される任意の確率モデル、ニューラルネットワークモデルなどを含むことができる。

【0140】

前述した病理イメージ分析モデルは、人工神経網モデル１２００の形態で具現化できる。一実施例によれば、人工神経網モデル１２００は、アノテーション情報を含む一つ以上の病理イメージを受信し、受信された一つ以上の病理イメージから染色に発現されたオブジェクトを検出するように学習できる。例えば、人工神経網モデル１２００は、一つ以上の病理イメージ内の各々の領域に対して、各々の領域が正常領域又は異常領域に該当するか否かを判定する分類機能（すなわち、分類器の機能）を遂行できるように学習できる。他の例において、人工神経網モデル１２００は、一つ以上の病理イメージ内の異常領域に含まれたピクセルに対するラベル付けを遂行するセグメンテーション機能を遂行できるように学習できる。このとき、人工神経網モデル１２００は、異常領域と関連したオブジェクトに対する評価指標を判定して、オブジェクトにラベル付けできる。

【0141】

人工神経網モデル１２００は、多層のノード等及びこれら間の連結により構成された多層パーセプトロン（ＭＬＰ：multilayer perceptron）として具現化される。本実施例に
係る人工神経網モデル１２００は、ＭＬＰを含む多様な人工神経網モデル構造の一つを用いて具現化され得る。人工神経網モデル１２００は、外部から入力信号又はデータを受信する入力層と、入力データに対応した出力信号又はデータを出力する出力層と、入力層及び出力層間に位置し、入力層から信号を受け付けて特性を抽出して出力層に伝達するｎ個（ここで、ｎは正の整数）の隠れ層とからなる。

【0142】

人工神経網モデル１２００の入力層及び出力層に複数の入力変数と対応する複数の出力変数が各々マッチングされ、入力層、隠れ層及び出力層に含まれたノード群間のシナプス値が調整されることで、特定の入力に対応した正常出力が抽出されるように学習できる。学習用データセットに含まれたデータに基づいて、人工神経網モデル１２００が繰り返し学習する場合、入力変数に基づいて計算された出力変数及び目標出力間の誤差が低減するように、人工神経網モデル１２００のノード群間のシナプス値（又は加重値）を調整することで、最適値に収束することができる。

【0143】

前述した通り、病理イメージ分析モデルに対して、十分な量の学習が遂行される場合、アノテーション情報が入力されない（すなわち、ラベル付けされない）病理イメージに対しても、病理専門家の水準に該当する分析結果を、病理イメージ分析モデルを介して出力できる。

【0144】

図１３は、本開示の一実施例に係る病理イメージ分析モデルを用いて、病理イメージに対する分析結果を出力する方法１３００を説明するフローチャートである。図１３に示す方法は、本開示の目的を達成するための一実施例に過ぎず、必要に応じて一部のステップを追加又は削除できることは勿論である。また、図１３に示す方法は、図５に示す分析システムに含まれた少なくとも一つのプロセッサによって遂行できる。説明の便宜のために、図５に示す分析システムに含まれたプロセッサにより、図１３に示す各ステップが遂行されるものとして説明する。

【0145】

図１３を参照すれば、プロセッサは、病理イメージを獲得できる（Ｓ１３１０）。一実施例によれば、プロセッサは、スキャナーから転送された病理イメージを獲得したり、外部保存場所、サーバ又はイメージ管理システムから病理イメージを獲得したりできる。

【0146】

続いて、プロセッサは、病理イメージを病理イメージ分析モデルに入力し、病理イメージ分析モデルから出力される病理イメージに対する分析結果を獲得できる（Ｓ１３２０）。一実施例によれば、分析結果は、病理イメージから識別されたオブジェクト（すなわち、オブジェクトに対応する領域内に含まれるピクセルの範囲）及びオブジェクトクラスを含むことができる。ここで、オブジェクトクラスは細胞又は組織の種類及び／又は評価指標を含み、評価指標は陽性の有無、発現等級、発現値又は発現統計情報の少なくとも一つを含むことができる。

【0147】

その後、プロセッサは、獲得された分析結果を出力できる（Ｓ１３３０）。例えば、プロセッサは、分析結果をモニタのようなディスプレイ装置に出力できる。他の例として、プロセッサは、分析結果を依頼人の端末に転送し、依頼人の端末を介して出力できる。一実施例によれば、プロセッサは、獲得された分析結果をリポート形態で出力できる。

【0148】

一方、病理イメージ分析モデルは、各々異なる類型の分析結果を出力する複数の分析モデルを含むことができる。

【0149】

図１４は、本開示の他の実施例に係る病理イメージ分析モデル１４００の例を示す図である。図１４に示すように、病理イメージ分析モデル１４００は、各々異なる類型の病理イメージを分析するように事前に学習し、互いに異なる類型の分析結果を出力する複数の分析モデル１４１０乃至１４４０を含むことができる。例えば、病理イメージ分析モデル１４００は、入力された病理イメージに対するセグメンテーション結果を出力する第１の分析モデル１４１０と、病理イメージに含まれた細胞膜の染色強度を分析して分析結果を出力する第２の分析モデル１４２０と、細胞核の染色強度を分析して分析結果を出力する第３の分析モデル１４３０と、細胞核及び／又は細胞膜の形態学的特性を分析して分析結果を出力する第４の分析モデル１４４０とを含むことができる。

【0150】

このように、複数の分析モデルが病理イメージ分析モデル１４００に含まれる場合、分析モデル１４１０乃至１４４０の各々は、互いに異なる特性を持つ病理イメージを含む学習用データセットに基づいて学習できる。ここで、特性は、染色色相、染色対象の類型又は染色方式の少なくとも一つを含むことができる。

【0151】

例えば、第１の分析モデル１４１０は、ターゲット学習用データの入力を受け、そのターゲット学習用データに含まれた病理イメージから異常領域（すなわち、パッチと関連したオブジェクト）をセグメンテーションするように学習できる。すなわち、第１の分析モデル１４１０は、病理イメージから染色が発現された位置領域（すなわち、オブジェクト）を抽出するように学習できる。このとき、第１の分析モデル１４１０に病理イメージが入力され、少なくとも一つのパッチが第１の分析モデル１４１０から出力され得る。また、第１の分析モデル１４１０から出力されたパッチに該当する領域及びアノテーション情報に含まれた異常領域間の損失値が算出され、損失値が第１の分析モデル１４１０にフィードバックされて、第１の分析モデル１４１０を学習させることができる。

【0152】

他の例として、第２の分析モデル１４２０は、細胞膜が茶色に染色された病理イメージを含むターゲット学習用データの入力を受け、病理イメージに含まれたパッチに対する染色強度を分析するように学習できる。このとき、茶色に染色された細胞膜がパッチとして設定された病理イメージが第２の分析モデル１４２０に入力され、細胞膜に対する染色強度の分析結果が第２の分析モデル１４２０から出力され得る。また、ターゲット学習用データに含まれたパッチのレベル付け情報から評価指標が抽出され、評価指標及び第２の分析モデル１４２０から出力された分析結果間の損失値が算出された後、損失値が第２の分析モデル１４２０にフィードバックされて、第２の分析モデル１４２０を学習させること ができる。

【0153】

また他の例として、第３の分析モデル１４３０は、細胞核が青色に染色された病理イメージを含むターゲット学習用データの入力を受け、病理イメージに含まれたパッチに対する染色強度を分析するように学習できる。このとき、青色に染色された細胞核がパッチとして設定された病理イメージが第３の分析モデル１４３０に入力され、細胞核に対する染色強度の分析結果が第３の分析モデル１４３０から出力され得る。また、ターゲット学習用データに含まれたパッチのラベル付け情報から評価指標がレファレンス値として抽出され、第３の分析モデル１４３０から出力された分析結果及び評価指標間の損失値が算出された後、損失値が第３の分析モデル１４３０にフィードバックされて、第３の分析モデル１４３０を学習させることができる。

【0154】

また他の例として、第４の分析モデル１４４０は、細胞核及び細胞膜がピンクに染色された病理イメージを含むターゲット学習用データの入力を受け、病理イメージに含まれた細胞核及び／又は細胞膜の形態学的特性及び／又は色相分布を分析するように学習できる。このとき、ピンクに染色された細胞核及び細胞膜の各々がパッチとして設定された病理イメージが第４の分析モデル１４４０に入力され、細胞核及び／又は細胞膜に対する形態学的特性及び／又は色相分布を含む分析結果が第４の分析モデル１４４０から出力され得る。また、ターゲット学習用データに含まれたパッチのラベル付け情報から細胞核及び／又は細胞膜の形態学的特性及び／又は色相分布がレファレンス値として獲得され、レファレンス値及び分析結果に含まれた形態学的特性及び／又は色相分布間の損失値が算出され得る。算出された損失値は第４の分析モデル１４４０にフィードバックされて、第４の分析モデル１４４０を学習させることができる。

【0155】

病理イメージの特性情報に基づいて、病理イメージ分析モデル１４００に含まれた複数の分析モデル１４１０乃至１４４０の一つ以上を呼び出すことができる。

【0156】

図１５は、本開示の他の実施例に係る病理イメージ１５１０の特性に基づいて呼び出した分析モデルを介して、病理イメージに対する分析結果１５２０が出力される例を示す図である。図１５に示すように、病理イメージ１５１０の特性を抽出するための特性抽出モデル１５００が病理イメージ分析モデル１４００と結合され得る。一部の実施例では、特性抽出モデル１５００が病理イメージ分析モデル１４００に含まれ得る。

【0157】

本実施例によれば、特性抽出モデル１５００は、病理イメージに含まれた染色色相及び染色色相の発現位置を特性として抽出できる。ここで、染色色相の発現位置は、細胞膜、細胞核又は細胞質の少なくとも一つであり得る。他の実施例において、特性抽出モデル１５００は、病理イメージの特性として、臓器、癌腫、染色方式などを抽出できる。例えば、特性抽出モデル１５００は、予め保存された臓器パターン、癌腫パターン又は染色方式パターンの少なくとも一つを保存し、病理イメージに示すパターンと、臓器パターン／癌腫パターン／染色方式パターンとを比較して、病理イメージから特性を抽出できる。他の例として、特性抽出モデル１５００は、機械学習モデルに具現化され、病理イメージと関連した臓器、病理イメージに含まれた癌腫又は病理イメージの染色方式の少なくとも一つを病理イメージから抽出できるように学習できる。

【0158】

図１５を参照すれば、病理イメージ１５１０が獲得され、病理イメージ１５１０を特性抽出モデル１５００及び病理イメージ分析モデル１４００の各々に入力できる。ここで、病理イメージ１５１０は、ラベル付けされない病理イメージであり得る。また、病理イメージは、新薬又は新しい染色方式と関連した病理イメージであり得る。

【0159】

特性抽出モデル１５００は、病理イメージに対する特性を抽出し、抽出された病理イメージの特性を病理イメージ分析モデル１４００に提供できる。一実施例によれば、特性抽出モデル１５００は、染色色相、臓器、癌腫又は染色方式の少なくとも一つを、病理イメージ１５１０の特性として抽出できる。

【0160】

病理イメージ分析モデル１４００は、第１の分析モデル１４１０を呼び出した後、病理イメージ１５１０を第１の分析モデル１４１０に入力して、病理イメージに含まれた異常領域と関連した少なくとも一つのオブジェクトに対するセグメンテーションを遂行できる。また、病理イメージ分析モデル１４００は、特性抽出モデル１５００から提供された病理イメージの特性に基づいて、互いに異なる類型の分析結果を出力する複数の分析モデル１４２０乃至１４４０のいずれか一つを呼び出し、呼び出した分析モデル１４２０、１４３０又は１４４０から病理イメージに対する分析結果１５２０を獲得できる。このとき、病理イメージ分析モデル１４００は、第１の分析モデル１４１０によりセグメンテーションされた病理イメージを、呼び出した分析モデル１４２０、１４３０又は１４４０に入力できる。

【0161】

病理イメージの特性としては、染色色相及び／又は染色色相の発現位置（例えば、細胞膜／細胞質／細胞核）を含むことができる。このとき、病理イメージ分析モデル１４００は、病理イメージの特性に基づいて、複数の分析モデル１４２０乃至１４４０のいずれか一つをターゲット分析モデルとして決定して呼び出すことができる。例えば、発現位置は細胞膜であり、染色色相は茶色である第１の特性が、特性抽出モデル１５００から提供された場合、病理イメージ分析モデル１４００は、第２の分析モデル１４２０をターゲット分析モデルとして決定して呼び出し、第２の分析モデル１４２０にセグメンテーションされた病理イメージを入力できる。このとき、第２の分析モデル１４２０は、病理イメージからセグメンテーションされた領域（すなわち、オブジェクト）において細胞膜が茶色に発現された染色強度を分析し、その分析結果１５２０を出力できる。

【0162】

他の例として、発現位置は細胞核であり、染色色相は青色である第２の特性が、特性抽出モデル１５００から提供された場合、病理イメージ分析モデル１４００は、第３の分析モデル１４３０をターゲット分析モデルとして決定して呼び出し、第３の分析モデル１４３０にセグメンテーションされた病理イメージを入力できる。このとき、第３の分析モデル１４３０は、病理イメージからセグメンテーションされた領域において細胞核が青色に発現された染色強度を分析し、その分析結果１５２０を出力できる。

【0163】

他の例として、発現位置は細胞核及び細胞膜であり、染色色相はピンクである第３の特性が、特性抽出モデル１５００から提供された場合、病理イメージ分析モデル１４００は、第４の分析モデル１４４０をターゲット分析モデルとして決定して呼び出し、第４の分析モデル１４４０にセグメンテーションされた病理イメージを入力できる。このとき、第４の分析モデル１４４０は、病理イメージからセグメンテーションされた各領域において細胞核及び細胞膜の各々がピンクに発現された分布及び／又は形態学的特性を分析して出力できる。ここで、形態学的特性は、特定の疾病と関連性を意味できる。

【0164】

一方、病理イメージの特性をユーザから受信できる。すなわち、分析システムは、病理イメージの特性を含むユーザの入力情報を受信できる。このとき、ユーザが入力した病理イメージの特性に基づいて、呼び出す分析モデルを決定できる。

【0165】

図１６は、本開示のまた他の実施例に係るユーザの入力情報に基づいて呼び出した分析モデルを介して、病理イメージ１６１０に対する分析結果１６３０が出力される例を示す図である。図１６に示すように、病理イメージ分析モデル１４００は、病理イメージ１６１０の特性を含むユーザの入力情報１６２０を獲得できる。病理イメージ分析モデル１４００は、第１の分析モデル１４１０を呼び出した後、病理イメージ１６１０を第１の分析モデル１４１０に入力して、病理イメージに含まれた異常領域と関連したオブジェクトに対するセグメンテーションを遂行できる。

【0166】

また、病理イメージ分析モデル１４００は、ユーザの入力情報１６２０に含まれた病理イメージの特性に基づいて、複数の分析モデルのうちで呼び出すターゲット分析モデルを決定できる。ユーザの入力情報１６２０には、染色色相及び／又は染色色相の発現位置（例えば、細胞膜／細胞質／細胞核）が含まれ得る。付加的又は代替的に、ユーザ入力情報１６２０には、臓器、癌腫又は染色方式の少なくとも一つを含むことができる。

【0167】

病理イメージ分析モデル１４００は、ユーザの入力情報１６２０に含まれた特性に基づいて、複数の分析モデル１４２０乃至１４４０のいずれか一つをターゲット分析モデルとして決定して呼び出すことができる。例えば、ユーザの入力情報１６２０に第１の染色方式が含まれた場合、病理イメージ分析モデル１４００は、第２の分析モデル１４２０をターゲット分析モデルとして決定して呼び出し、第２の分析モデル１４２０にセグメンテーションされた病理イメージを入力できる。このとき、第２の分析モデル１４２０は、病理イメージからセグメンテーションされた領域において第１の染色方式により発現された染色強度を分析し、その分析結果１６３０を出力できる。

【0168】

他の例として、ユーザの入力情報１６２０に第２の染色方式が含まれた場合、病理イメージ分析モデル１４００は、第３の分析モデル１４３０をターゲット分析モデルとして決定して呼び出し、第３の分析モデル１４３０にセグメンテーションされた病理イメージを入力できる。このとき、第３の分析モデル１４３０は、病理イメージからセグメンテーションされた領域において第２の染色方式により発現された染色強度を分析し、その分析結果１６３０を出力できる。

【0169】

また他の例として、ユーザの入力情報１６２０に第３の染色方式が含まれた場合、病理イメージ分析モデル１４００は、第４の分析モデル１４４０をターゲット分析モデルとして決定して呼び出し、第４の分析モデル１４４０にセグメンテーションされた病理イメージを入力できる。このとき、第４の分析モデル１４４０は、病理イメージからセグメンテーションされた領域において第３の染色方式により発現された色相に対する分布及び／又は形態学的特性を含む分析結果１６３０を出力できる。

【0170】

前述した通り、複数の分析モデル１４１０乃至１４４０が病理イメージ分析モデル１４００に含まれた場合、病理イメージ分析モデル１４００は、様々な染色方式により染色された多様な細胞に対して、適切な分析結果を出力できる。これにより、本開示に係る病理イメージ分析モデル１４００は、汎用的に適用され、多様な環境で使用できる。

【0171】

以下、図１７乃至図２０を参照して、病理イメージ分析モデル１４００から出力される多様な形態の分析結果について説明する。

【0172】

図１７乃至図２０は、病理イメージ分析モデル１４００から出力される多様な形態の分析結果の例を示す図である。図１７乃至図２０では、病理イメージ内で識別される少なくとも一つのオブジェクト（例えば、細胞、組織又はストラクチャー）が楕円であるものを示している。

【0173】

図１７に示すように、病理イメージ分析モデル１４００は、複数の病理イメージ１７１０の入力を受け、各病理イメージ１７１０に含まれたオブジェクトの染色発現の可否を陽性又は陰性と判定した後、判定された結果１７２０、１７３０を出力できる。ここで、陽性は染色のターゲットとなるタンパク質がオブジェクト上に存在することを意味し、陰性は染色のターゲットとなるタンパク質がオブジェクト上に存在しないことを意味する。図１７では、陽性（positive）と判定された病理イメージ１７２０、及び、陰性（negative ）と判定された病理イメージ１７３０を区分して出力されるものと例示している。

【0174】

図１８に示すように、病理イメージ分析モデル１４００は、複数の病理イメージ１８１０の入力を受け、各病理イメージ１８１０に含まれた少なくとも一つのオブジェクトに対する染色発現等級を判定し、判定された発現等級１８２０乃至１８５０を含む分析結果を出力できる。図１８では、ｃｌａｓｓ３＋が最も強く発現されたオブジェクトであり、ｃｌａｓｓ０が最も弱く発現されたオブジェクトであるものを例示している。ｃｌａｓｓ０は、染色のターゲットとなるタンパク質がオブジェクト上に存在しないことを意味する。

【0175】

図１９に示すように、病理イメージ分析モデル１４００は、複数の病理イメージ１９１０の入力を受け、各病理イメージ１９１０に含まれたオブジェクトの発現値を所定の範囲（例えば、０～１）に含まれた数字として数値化した後、オブジェクト別発現値１９２０乃至１９５０を含む分析結果を出力できる。図１９では、１に近い発現値であるほど、染色発現程度が最も強いものを例示している。

【0176】

図２０に示すように、病理イメージ分析モデル１４００は、複数の病理イメージ２０１０の入力を受け、各病理イメージに含まれたオブジェクトの発現統計情報を含む分析結果２０２０を出力できる。図２０では、細胞核の陽性の有無／等級／発現値の分布に関する統計情報、及び、細胞膜の陽性の有無／等級／発現値の分布に関する統計情報を含む分析結果２０２０が例示されている。その他にも、多様な細胞、組織又はストラクチャーに関する統計情報が、病理イメージ分析モデル１４００を介して出力され得る。

【0177】

図２１は、本開示の一実施例に係る病理イメージを分析する例示的なシステム構成図である。図２１の情報処理システム２１００は、図５に示すシステム５１０の一例であり得る。図に示すように、情報処理システム２１００は、一つ以上のプロセッサ２１２０、バス２１１０、通信インタフェース２１３０、プロセッサ２１２０により遂行されるコンピュータプログラム２１５０をロード（load）するメモリ２１４０を含むことができる。ただし、図２１には、本開示の実施例と関連した構成要素だけが示されている。よって、本開示が属する技術分野における通常の技術者であれば、図２１に示す構成要素の以外に他の汎用的な構成要素がさらに含まれることもできることが分かる。

【0178】

プロセッサ２１２０は、情報処理システム２１００の各構成の全般の動作を制御する。本開示のプロセッサ２１２０は複数のプロセッサからなることができる。プロセッサ２１２０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＭＣ
Ｕ（Micro Controller Unit）、ＧＰＵ（Graphic Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、当分野の公知の任意の形態のプロセッサの少なくとも二つ
のプロセッサを含んで構成できる。また、プロセッサ２１２０は、本開示の実施例等に係る方法を実行するための少なくとも一つのアプリケーション又はプログラムに対する演算を遂行できる。

【0179】

メモリ２１４０は、各種データ、命令及び／又は情報を保存できる。メモリ２１４０は、本開示の多様な実施例に係る方法／動作を実行するために、一つ以上のコンピュータプログラム２１５０をロードできる。メモリ２１４０は、ＲＡＭのような揮発性メモリで具現化され得るが、本開示の技術的範囲はこれに限定されるものではない。例えば、メモリ２１４０は、ＲＯＭ（read-only memory）、ＥＰＲＯＭ（erasable programmable read-only memory）、ＥＥＰＲＯＭ（electrically erasable PROM）、フラッシュメモリのような不揮発性メモリ、ハードディスク、取り外し可能形ディスク又は当分野の公知の任意の形態のコンピュータ読み取り可能な記録媒体を含んで構成できる。

【0180】

バス２１１０は、情報処理システムの構成要素間の通信機能を提供できる。バス２１１０は、アドレスバス（Address Bus）、データバス（Data Bus）及び制御バス（Control Bus）等のような多様な形態のバスで具現化され得る。

【0181】

通信インタフェース２１３０は、情報処理システムの有無線インターネット通信を支援できる。また、通信インタフェース２１３０は、インターネット通信の以外の多様な通信方式を支援することもできる。このために、通信インタフェース２１３０は、当分野の公知の通信モジュールを含んで構成できる。

【0182】

コンピュータプログラム２１５０は、プロセッサ２１２０が本開示の多様な実施例に係る動作／方法を遂行するようにする一つ以上のインストラクション（instructions）を含むことができる。すなわち、プロセッサ２１２０は、一つ以上のインストラクションを実行することで、本開示の多様な実施例に係る動作／方法を遂行できる。例えば、コンピュータプログラム２１５０は、病理イメージを獲得する動作、獲得された病理イメージを機械学習モデルに入力し、機械学習モデルから病理イメージに対する分析結果を獲得する動作、及び獲得された分析結果を出力する動作などを遂行するようにする一つ以上のインストラクションを含むことができる。一実施例によれば、機械学習モデルは、第１のドメインと関連した第１の病理データセット、及び第１のドメインと異なる第２のドメインと関連した第２の病理データセットに基づいて生成される学習用データセットを用いて学習するモデルであり得る。このような場合、情報処理システム２１００を介して、本開示のいくつかの実施例により、病理イメージを分析するためのシステムが具現化され得る。

【0183】

本開示の前述した説明は、通常の技術者が本開示を遂行又は利用できるようにするために提供される。本開示の多様な修正例が通常の技術者にとって自明であり、本願に定義された一般の原理等は、本開示の趣旨又は範囲から逸脱しないと同時に、多様な変形例に適用することもできる。したがって、本開示は、本願に説明された例等に制限されるように意図したものではなく、本願に開示された原理及び新規な特徴等と整合する最広義の範囲が付与されるように意図する。

【0184】

例示的な具現例等が一つ以上の独立型コンピュータシステムの脈絡から現在開示された主題の様態を活用するのを言及することもできるが、本主題はそのように制限されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連携して具現化され得る。さらに、現在開示された主題の様態は、複数のプロセシングチップやデバイス又はこれらに亘って具現化されることもでき、ストレージは複数のデバイスに亘って類似に影響を受けることもできる。このようなデバイスなどは、ＰＣ、ネットワークサーバ及びハンドヘルドデバイスを含むこともできる。

【0185】

本明細書では、本開示が一部の実施例と関連して説明されたが、本発明が属する技術分野における通常の技術者が理解できる本開示の範囲から逸脱しない範囲内で多様な変形及び変更が可能であることが分かる。また、そのような変形及び変更は、本明細書で添付された特許請求の範囲に属するものと理解しなければならない。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

少なくとも一つのプロセッサにより遂行される、病理イメージ分析方法において、
病理イメージを獲得するステップと、
病理イメージ分析モデルを用いて、前記獲得された病理イメージに基づいて、前記病理 イメージに対する分析結果を生成するステップと、
前記生成された分析結果を出力するステップと、を含み、
前記病理イメージ分析モデルは、前記獲得された病理イメージに含まれたオブジェクト 上において、染色色相が発現される位置における染色強度を含む分析結果を出力するよう に構成される、病理イメージ分析方法。

【請求項2】

前記オブジェクトは細胞を含み、前記オブジェクト上において前記染色色相が発現され る位置は細胞膜、細胞核又は細胞質の少なくとも一つを含む、請求項１に記載の病理イメージ分析方法。

【請求項3】

前記病理イメージ分析モデルは、複数の分析モデルのうちで、前記病理イメージの特性 に基づいてターゲット分析モデルとして決定される少なくとも一つの分析モデルを含む、請求項１に記載の病理イメージ分析方法。

【請求項4】

前記病理イメージ分析モデルは、前記病理イメージの特性に対するユーザの入力を受信 し、前記獲得された病理イメージ及び前記ユーザが入力した病理イメージの特性に基づい て、分析結果を出力するようにさらに構成される、請求項１に記載の病理イメージ分析方法。

【請求項5】

前記ユーザが入力した病理イメージの特性は、細胞膜、細胞質又は細胞核の少なくとも 一つと関連付けられた染色色相の発現位置を含む、請求項４に記載の病理イメージ分析方法。

【請求項6】

前記病理イメージ分析モデルは、前記獲得された病理イメージに含まれた前記オブジェ クトの染色発現の可否を陽性又は陰性と判定し、前記判定された結果を含む分析結果を出 力するようにさらに構成される、請求項１に記載の病理イメージ分析方法。

【請求項7】

前記病理イメージ分析モデルは、前記獲得された病理イメージに含まれた前記オブジェ クトに対する染色発現等級を判定し、前記判定された染色発現等級を含む分析結果を出力 するようにさらに構成される、請求項１に記載の病理イメージ分析方法。

【請求項8】

前記オブジェクトは、複数のオブジェクトを含み、
前記病理イメージ分析モデルは、前記獲得された病理イメージに含まれた前記複数のオ ブジェクトの各々に対する染色色相の発現値を既定の範囲内の数字として数値化し、前記 数値化した染色色相の発現値を含む分析結果を出力するようにさらに構成される、請求項１に記載の病理イメージ分析方法。

【請求項9】

前記病理イメージ分析モデルは、前記病理イメージに含まれた前記オブジェクトに対す る発現統計情報を含む分析結果を出力するようにさらに構成される、請求項１に記載の病理イメージ分析方法。

【請求項10】

前記病理イメージ分析モデルは、細胞核、細胞質又は細胞膜の少なくとも一つの染色色 相の発現値に対する分布を含む分析結果を出力するようにさらに構成される、請求項１に記載の病理イメージ分析方法。

【請求項11】

請求項１に記載の方法をコンピュータで実行するためのコンピュータプログラム。

【請求項12】

情報処理システムであって、
メモリと、
前記メモリと連結され、前記メモリに含まれたコンピュータ読み取り可能な少なくとも 一つのプログラムを実行するように構成される少なくとも一つのプロセッサと、を含み、
前記少なくとも一つのプログラムは、
病理イメージを獲得し、
病理イメージ分析モデルを用いて、前記獲得された病理イメージに基づいて、前記病理 イメージに対する分析結果を生成し、
前記生成された分析結果を出力するための命令語等を含み、
前記病理イメージ分析モデルは、前記獲得された病理イメージに含まれたオブジェクト 上において、染色色相が発現される位置における染色強度を含む分析結果を出力するよう に構成される、情報処理システム。

【請求項13】

前記オブジェクトは細胞を含み、前記オブジェクト上において前記染色色相が発現され る位置は細胞膜、細胞核又は細胞質の少なくとも一つを含む、請求項１２に記載の情報処 理システム。

【請求項14】

前記病理イメージ分析モデルは、複数の分析モデルのうちで、前記病理イメージの特性 に基づいてターゲット分析モデルとして決定される少なくとも一つの分析モデルを含む、 請求項１２に記載の情報処理システム。

【請求項15】

前記病理イメージ分析モデルは、前記病理イメージの特性に対するユーザの入力情報を 受信し、前記獲得された病理イメージ及び前記ユーザが入力した病理イメージの特性に基 づいて分析結果を出力するようにさらに構成される、請求項１２に記載の情報処理システ ム。

【請求項16】

前記ユーザが入力した病理イメージの特性は、細胞膜、細胞質又は細胞核の少なくとも 一つと関連付けられた染色色相の発現位置を含む、請求項１５に記載の情報処理システム 。

【請求項17】

前記病理イメージ分析モデルは、前記獲得された病理イメージに含まれた前記オブジェ クトの染色発現の可否を陽性又は陰性と判定し、前記判定された結果を含む分析結果を出 力するようにさらに構成される、請求項１２に記載の情報処理システム。

【請求項18】

前記病理イメージ分析モデルは、前記獲得された病理イメージに含まれた前記オブジェ クトに対する染色発現等級を判定し、前記判定された染色発現等級を含む分析結果を出力 するようにさらに構成される、請求項１２に記載の情報処理システム。

【請求項19】

前記オブジェクトは、複数のオブジェクトを含み、
前記病理イメージ分析モデルは、前記獲得された病理イメージに含まれた前記複数のオ ブジェクトの各々に対する染色色相の発現値を既定の範囲内の数字として数値化し、前記 数値化した染色色相の発現値を含む分析結果を出力するようにさらに構成される、請求項 １２に記載の情報処理システム。

【請求項20】

前記病理イメージ分析モデルは、細胞核、細胞質又は細胞膜の少なくとも一つの染色色 相の発現値に対する分布を含む分析結果を出力するようにさらに構成される、請求項１２ に記載の情報処理システム。

【国際調査報告】