特表 2024-530213 病理スライド画像に関する情報を出力する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-16

(54)【発明の名称】病理スライド画像に関する情報を出力する方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240808BHJP

   G06T 7/60 20170101ALI20240808BHJP

   G06T 7/62 20170101ALI20240808BHJP

   G06T 3/40 20240101ALI20240808BHJP

   G01N 33/48 20060101ALI20240808BHJP

【ＦＩ】

G06T7/00 630

G06T7/60 110

G06T7/62

G06T3/40

G01N33/48 P

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024508486

(86)(22)【出願日】2022-08-01

(85)【翻訳文提出日】2024-03-15

(86)【国際出願番号】 KR2022011308

(87)【国際公開番号】W WO2023018085

(87)【国際公開日】2023-02-16

(31)【優先権主張番号】10-2021-0105189

(32)【優先日】2021-08-10

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0093637

(32)【優先日】2022-07-28

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】523098991

【氏名又は名称】ルニット・インコーポレイテッド

【氏名又は名称原語表記】Ｌｕｎｉｔ Ｉｎｃ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100113170

【弁理士】

【氏名又は名称】稲葉 和久

(74)【代理人】

【識別番号】100224616

【弁理士】

【氏名又は名称】吉村 志聡

(72)【発明者】

【氏名】カン，ジョンソク

(72)【発明者】

【氏名】オム，ジェホン

(72)【発明者】

【氏名】ユ，ドングン

(72)【発明者】

【氏名】チョン，テウォン

【テーマコード（参考）】

2G045

5B057

5L096

【Ｆターム（参考）】

2G045AA24

2G045CB01

2G045FA11

2G045FB03

2G045JA01

5B057AA10

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CD05

5B057CH09

5B057DA12

5B057DA13

5B057DB02

5B057DB06

5B057DB09

5B057DC02

5B057DC04

5B057DC40

5L096AA02

5L096AA06

5L096BA06

5L096BA13

5L096CA01

5L096DA01

5L096FA19

5L096FA52

5L096FA59

5L096FA69

5L096FA74

5L096GA19

5L096GA51

5L096GA55

5L096HA09

5L096KA04

(57)【要約】

一態様によるコンピューティング装置は、少なくとも１つのメモリと、少なくとも１つのプロセッサとを含み、前記プロセッサは、病理スライド画像を分析して前記病理スライド画像の関心領域に含まれる少なくとも１つの細胞の定量情報（ｑｕａｎｔｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、前記病理スライド画像を分析して前記病理スライド画像に含まれる少なくとも１つの組織の定性情報（ｑｕａｌｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、ユーザの操作によって前記病理スライド画像上に前記定量情報及び前記定性情報の少なくとも１つを出力するように、ディスプレイ装置を制御する。

【特許請求の範囲】

【請求項1】

少なくとも１つのメモリと、
少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
病理スライド画像を分析して前記病理スライド画像の関心領域に含まれる少なくとも１つの細胞の定量情報（ｑｕａｎｔｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、前記病理スライド画像を分析して前記病理スライド画像に含まれる少なくとも１つの組織の定性情報（ｑｕａｌｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、ユーザの操作によって前記病理スライド画像上に前記定量情報及び前記定性情報の少なくとも１つを出力するように、ディスプレイ装置を制御する、
コンピューティング装置。

【請求項2】

前記プロセッサは、
前記病理スライド画像に含まれる細胞のそれぞれに対応する座標情報を用いてデータ構造（ｄａｔａ ｓｔｒｕｃｔｕｒｅ）を生成し、前記データ構造から前記関心領域に含まれる少なくとも１つの細胞に対応する座標情報を確認し、前記確認された座標情報に対応する数に基づいて前記定量情報を生成する、
請求項１に記載のコンピューティング装置。

【請求項3】

前記プロセッサは、
前記関心領域に基づいてカーネル（ｋｅｒｎｅｌ）を定義し、前記病理スライド画像及び前記カーネルを用いたコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）演算により前記定量情報を生成する、
請求項１に記載のコンピューティング装置。

【請求項4】

前記プロセッサは、
少なくとも１つの前記組織の分析結果に基づいて少なくとも１つの前記組織に含まれる少なくとも１つの細胞に対応するラベル情報を確認し、確認された前記ラベル情報に基づいて前記病理スライド画像に対応するビットマップ画像を変換する、
請求項１に記載のコンピューティング装置。

【請求項5】

前記プロセッサは、
前記病理スライド画像の少なくとも一部分に対応する定性情報及び前記関心領域に対応する定量情報を出力するように、前記ディスプレイ装置を制御する、
請求項１に記載のコンピューティング装置。

【請求項6】

前記プロセッサは、
前記ユーザの操作によって変更された前記病理スライド画像の出力部分又は出力倍率に基づいて前記定量情報及び前記定性情報の少なくとも１つを変更して出力するように、前記ディスプレイ装置を制御する、
請求項１に記載のコンピューティング装置。

【請求項7】

前記プロセッサは、
前記ユーザの操作によって変更された前記病理スライド画像の出力倍率と閾値倍率とを比較して、前記定量情報及び前記定性情報の少なくとも１つを変更して出力するように、前記ディスプレイ装置を制御する、
請求項１に記載のコンピューティング装置。

【請求項8】

病理スライド画像に関する情報を出力する方法であって、
病理スライド画像を分析して前記病理スライド画像の関心領域に含まれる少なくとも１つの細胞の定量情報（ｑｕａｎｔｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成するステップと、
前記病理スライド画像を分析して前記病理スライド画像に含まれる少なくとも１つの組織の定性情報（ｑｕａｌｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成するステップと、
ユーザの操作によって前記病理スライド画像上に前記定量情報及び前記定性情報の少なくとも１つを出力するステップと、
を含む、
方法。

【請求項9】

前記定量情報を生成するステップは、
前記病理スライド画像に含まれる細胞のそれぞれに対応する座標情報を用いてデータ構造（ｄａｔａ ｓｔｒｕｃｔｕｒｅ）を生成するステップと、
前記データ構造から前記関心領域に含まれる少なくとも１つの細胞に対応する座標情報を確認するステップと、
前記確認された座標情報に対応する数に基づいて前記定量情報を生成するステップと、
を含む、
請求項８に記載の方法。

【請求項10】

前記定量情報を生成するステップは、
前記関心領域に基づいてカーネル（ｋｅｒｎｅｌ）を定義するステップと、
前記病理スライド画像及び前記カーネルを用いたコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）演算により前記定量情報を生成するステップと、
を含む、
請求項８に記載の方法。

【請求項11】

前記定性情報を生成するステップは、
少なくとも１つの前記組織の分析結果に基づいて少なくとも１つの前記組織に含まれる少なくとも１つの細胞に対応するラベル情報を確認するステップと、
確認された前記ラベル情報に基づいて前記病理スライド画像に対応するビットマップ画像を変換するステップと、
を含む、
請求項８に記載の方法。

【請求項12】

前記出力するステップにおいては、
前記病理スライド画像の少なくとも一部分に対応する定性情報及び前記関心領域に対応する定量情報を出力する、
請求項８に記載の方法。

【請求項13】

前記出力するステップにおいては、
前記ユーザの操作によって変更された前記病理スライド画像の出力部分又は出力倍率に基づいて前記定量情報及び前記定性情報の少なくとも１つを変更して出力する、
請求項８に記載の方法。

【請求項14】

前記出力するステップにおいては、
前記ユーザの操作に基づいて既に出力された第１定性情報の第２定性情報への変更及び所定の定量情報の出力を行い、
前記第１定性情報は、前記ユーザの操作が受信される前に出力された前記病理スライド画像の少なくとも一部分に対応するＩＰ（ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）を含み、
前記第２定性情報は、前記ユーザの操作によって出力された前記病理スライド画像の少なくとも一部分に含まれる組織及び細胞の少なくとも１つの特性を含み、
前記所定の定量情報は、前記ユーザの操作によって出力された前記病理スライド画像の少なくとも一部分に含まれる免疫細胞の密度を含む、
請求項８に記載の方法。

【請求項15】

請求項８に記載の方法をコンピュータで実行するためのプログラムを記録した、コンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、病理スライド画像に関する情報を出力する方法及び装置に関する。

【背景技術】

【0002】

デジタル病理学（ｄｉｇｉｔａｌ ｐａｔｈｏｌｏｇｙ）分野は、病理スライド画像（ｐａｔｈｏｌｏｇｉｃａｌ ｓｌｉｄｅ ｉｍａｇｅ）をスキャンすることによって生成された全スライド画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ）を用いて、該当被検者の組織学的情報を取得するか、又は予後を予測する分野である。

【0003】

病理スライド画像は、対象体の染色された組織サンプルから取得することができる。例えば、組織サンプルは、ヘマトキシリン・エオジン（ｈｅｍａｔｏｘｙｌｉｎ ａｎｄ ｅｏｓｉｎ）、トリクローム（ｔｒｉｃｈｒｏｍｅ）、過ヨウ素酸シッフ（ｐｅｒｉｏｄｉｃ ａｃｉｄ ｓｃｈｉｆｆ）、オートラジオグラフィー（ａｕｔｏｒａｄｉｏｇｒａｐｈｙ）、酵素組織化学（ｅｎｚｙｍｅ ｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）、免疫蛍光（ｉｍｍｕｎｏ－ｆｌｕｏｒｅｓｃｅｎｃｅ）、免疫組織化学（ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）など、様々な染色方式で染色することができる。染色された組織サンプルは、組織学及び生検評価に用いられることによって、疾患状態を理解するために分子プロファイル分析に進むか否かを判断する根拠となり得る。

【0004】

一般に、病理スライド画像は、組織のセグメンテーション結果、細胞の検出結果などと共に表示される。しかし、ユーザは病理スライド画像を拡大又は縮小しながら判読を行うので、病理スライド画像と共に出力される情報もユーザの操作に対応して変更されなければならない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、病理スライド画像に関する情報を出力する方法及び装置を提供する。また、本開示は、前記方法をコンピュータで実行するためのプログラムを記録した、コンピュータで読み取り可能な記録媒体を提供する。解決しようとする技術的課題は、上記技術的課題に限定されず、他の技術的課題が存在し得る。

【課題を解決するための手段】

【0006】

一態様によるコンピューティング装置は、少なくとも１つのメモリと、少なくとも１つのプロセッサとを含み、前記プロセッサは、病理スライド画像を分析して前記病理スライド画像の関心領域に含まれる少なくとも１つの細胞の定量情報（ｑｕａｎｔｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、前記病理スライド画像を分析して前記病理スライド画像に含まれる少なくとも１つの組織の定性情報（ｑｕａｌｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、ユーザの操作によって前記病理スライド画像上に前記定量情報及び前記定性情報の少なくとも１つを出力するように、ディスプレイ装置を制御する。

【0007】

他の態様による病理スライド画像に関する情報を出力する方法は、病理スライド画像を分析して前記病理スライド画像の関心領域に含まれる少なくとも１つの細胞の定量情報（ｑｕａｎｔｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成するステップと、前記病理スライド画像を分析して前記病理スライド画像に含まれる少なくとも１つの組織の定性情報（ｑｕａｌｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成するステップと、ユーザの操作によって前記病理スライド画像上に前記定量情報及び前記定性情報の少なくとも１つを出力するステップとを含む。

【0008】

さらに他の態様によるコンピュータで読み取り可能な記録媒体は、上述した方法をコンピュータで実行するためのプログラムを記録した記録媒体を含む。

【図面の簡単な説明】

【0009】

【図1】一実施形態による病理スライド画像に関する情報を出力するシステムの一例を説明するための図

【図2】一実施形態による機械学習を用いて組織標本のスライド画像を準備、処理及び検討するシステム及びネットワークのブロック図

【図3a】一実施形態によるユーザ端末の一例を示す構成図

【図3b】一実施形態によるサーバの一例を示す構成図

【図4】一実施形態によるプロセッサが病理スライド画像に関する情報を出力する一例を説明するためのフローチャート

【図5】一実施形態によるプロセッサが定量情報を生成する一例を説明するためのフローチャート

【図6】一実施形態によるプロセッサが定量情報を生成する他の例を説明するためのフローチャート

【図7】一実施形態によるプロセッサがカーネルを定義する一例を説明するための図

【図8】一実施形態によるコンボリューション演算の一例を説明するための図

【図9】一実施形態によるプロセッサが定性情報を生成する一例を説明するためのフローチャート

【図10】一実施形態によるプロセッサが定性情報を生成する他の例を説明するためのフローチャート

【図11】一実施形態による定量情報が出力された例を示す図

【図12】一実施形態による定量情報が出力された例を示す図

【図13】一実施形態による定量情報及び定性情報が出力された例を示す図

【図14】一実施形態による定量情報及び定性情報が出力された例を示す図

【図15】一実施形態によるプロセッサが病理スライド画像に関する情報を出力する一例を説明するためのフローチャート

【発明を実施するための形態】

【0010】

（発明を実施するための最良の形態）
一態様によるコンピューティング装置は、少なくとも１つのメモリと、少なくとも１つのプロセッサとを含み、前記プロセッサは、病理スライド画像を分析して前記病理スライド画像の関心領域に含まれる少なくとも１つの細胞の定量情報（ｑｕａｎｔｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、前記病理スライド画像を分析して前記病理スライド画像に含まれる少なくとも１つの組織の定性情報（ｑｕａｌｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、ユーザの操作によって前記病理スライド画像上に前記定量情報及び前記定性情報の少なくとも１つを出力するように、ディスプレイ装置を制御する。

【0011】

実施形態で用いられる用語としてはできるだけ現在広く用いられている一般的な用語を選択したが、それは当該技術分野に従事する技術者の意図又は判例、新しい技術の出現などによって変わり得る。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、該当する説明部分にその意味を詳細に記載する。よって、明細書で用いられる用語は、単なる用語の名称ではなく、その用語が有する意味と明細書全般にわたる内容に基づいて定義されるべきである。

【0012】

明細書全体において、ある部分がある構成要素を「含む」というとき、それは、特に反対の記載がない限り、他の構成要素を除くことではなく、他の構成要素をさらに含み得ることを意味する。また、明細書に記載された「ユニット」、「モジュール」などの用語は、少なくとも１つの機能又は動作を処理する単位を意味し、それは、ハードウェア又はソフトウェアで実現されてもよく、ハードウェアとソフトウェアとの組み合わせで実現されてもよい。

【0013】

さらに、明細書で用いられる「第１」又は「第２」などの序数を含む用語は、様々な構成要素を説明するために用いることができるが、上記構成要素は上記用語により限定されるべきではない。上記用語は、ある構成要素を他の構成要素と区別する目的で用いることができる。

【0014】

一実施形態によれば、「病理スライド画像」は、人体から採取された組織などに対して一連の化学処理工程を行って固定及び染色された病理スライドを撮影した画像を示すことができる。また、病理スライド画像は、全スライドの高解像度の画像を含む全スライド画像（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ，ＷＳＩ）を示すことができ、全スライド画像の一部、例えば１つ以上のパッチを示すこともできる。例えば、病理スライド画像は、スキャン装置（例えば、デジタルスキャナなど）により撮影又はスキャンされたデジタル画像を示すことができ、人体内の特定のタンパク質、細胞（ｃｅｌｌ）、組織（ｔｉｓｓｕｅ）及び／又は構造（ｓｔｒｕｃｔｕｒｅ）に関する情報を含むことができる。さらに、病理画像は、１つ以上のパッチを含むことができ、１つ以上のパッチには、アノテーション作業により組織学的情報を適用（例えば、タギング）することができる。

【0015】

一実施形態によれば、「医学情報」は、医療映像から抽出できる医学的に意味のある任意の情報を示すことができ、例えば、医療映像内の腫瘍細胞の領域、位置、大きさ、癌の診断情報、被検者の発癌の可能性に関する情報、及び／又は癌の治療に関連する医学的結論などを含むことができるが、それらに限定されるものではない。また、医学情報は、医療映像から得られる定量化された数値だけでなく、数値を可視化した情報、数値に応じた予測情報、画像情報、統計学的情報などを含むことができる。そのようにして生成された医学情報は、ユーザ端末に提供するか、ディスプレイ装置に出力又は伝達し、表示することができる。

【0016】

以下、添付の図面を参照して、実施形態について詳細に説明する。しかし、実施形態は、様々な異なる形態で実現することができ、本明細書で説明する例に限定されるものではない。

【0017】

図１は一実施形態による病理スライド画像に関する情報を出力するシステムの一例を説明するための図である。

【0018】

図１を参照すると、システム１は、ユーザ端末１０及びサーバ２０を含む。例えば、ユーザ端末１０とサーバ２０とは、有線又は無線通信方式で接続され、互いにデータ（例えば、映像データなど）を送受信することができる。

【0019】

説明の便宜上、図１にはシステム１がユーザ端末１０及びサーバ２０を含むことが示されているが、それに限定されるものではない。例えば、システム１は、他の外部デバイス（図示せず）を含んでもよく、以下に説明されるユーザ端末１０及びサーバ２０の動作は、単一のデバイス（例えば、ユーザ端末１０もしくはサーバ２０）又はより多くのデバイスにより実現されてもよい。

【0020】

ユーザ端末１０は、ディスプレイ装置及びユーザ入力を受信する装置（例えば、キーボード、マウスなど）を備え、メモリ及びプロセッサを含むコンピューティング装置であってもよい。例えば、ユーザ端末１０としては、ノートパソコン（ｎｏｔｅｂｏｏｋ ＰＣ）、デスクトップパソコン（ｄｅｓｋｔｏｐ ＰＣ）、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、タブレットコンピュータ（ｔａｂｌｅｔ ｃｏｍｐｕｔｅｒ）、スマートフォンなどが挙げられるが、それらに限定されるものではない。

【0021】

サーバ２０は、ユーザ端末１０を含む外部デバイス（図示せず）と通信する装置であってもよい。一例として、サーバ２０は、病理スライド画像、病理スライド画像に対応するビットマップ画像、病理スライド画像の分析により生成された情報（例えば、定量情報、定性情報などを含む）を含む様々なデータを保存する装置であってもよい。あるいは、サーバ２０は、メモリ及びプロセッサを含み、独自の演算能力を有するコンピューティング装置であってもよい。サーバ２０がコンピューティング装置である場合、サーバ２０は、図１～図１６を参照して後述するユーザ端末１０の動作の少なくとも一部を行うことができる。例えば、サーバ２０は、クラウド（ｃｌｏｕｄ）サーバであってもよいが、それに限定されるものではない。

【0022】

ユーザ端末１０は、病理スライド画像、及び／又は病理スライド画像の分析により生成された定量情報（ｑｕａｎｔｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）及び定性情報（ｑｕａｌｉｔａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）の少なくとも１つを示す画像４０を出力する。

【0023】

ここで、定量情報は、病理スライド画像上に設定された関心領域に含まれる少なくとも１つの細胞又は組織に関する様々な面での数値情報を含む。例えば、定量情報は、関心領域に含まれる全細胞（又は、特定タイプの細胞）の数、全細胞の密度、特定タイプの細胞の密度、異なるタイプの細胞間の割合、全細胞に対する特定タイプの細胞の割合、全組織（又は、特定タイプの組織）の面積、異なるタイプの組織間の割合、全組織領域に対する特定タイプの組織の割合などを含むことができる。定量情報は、テキスト形式又はグラフ形式の情報を含むことができる。

【0024】

一方、定性情報は、病理スライド画像に含まれる少なくとも１つの組織又は細胞の状態に関する情報を含む。

【0025】

一例として、定性情報は、病理スライド画像に含まれる少なくとも１つの組織の特性を含むことができる。定性情報は、組織の特性を対応するカラーで示す情報を含むことができる。例えば、組織の特性は、各ピクセルを中心とする所定の大きさの円領域内にＰＤ－Ｌ１陽性癌細胞とＰＤ－Ｌ１陰性癌細胞の割合が所定の閾値以上であるか否かを示すことができる。例えば、組織の特性は、病理スライド画像の一部の領域に対応する免疫表現型（ＩＰ，Ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）に関する情報を示すことができる。例えば、癌領域内の免疫細胞の密度及び／又は癌ストロマ内の免疫細胞の密度の少なくとも１つに基づいて計算された値がどの範囲に含まれるかによって、ＩＰは、免疫活性（ｉｍｍｕｎｅ ｉｎｆｌａｍｅｄ）、免疫除外（ｉｍｍｕｎｅ ｅｘｃｌｕｄｅｄ）及び免疫欠乏（ｉｍｍｕｎｅ ｄｅｓｅｒｔ）の少なくとも１つで表示することができる。

【0026】

他の例として、定性情報は、病理スライド画像に含まれる少なくとも１つの組織のタイプを含むことができる。定性情報は、組織のタイプを対応するカラーで示す情報を含むことができる。例えば、組織のタイプは、癌、癌基質、壊死及びバックグラウンドのうちの１つを含むことができる。

【0027】

さらに他の例として、定性情報は、病理スライド画像に含まれる少なくとも１つの細胞のタイプ又は特性を含むことができる。定性情報は、細胞のタイプを対応するカラーで示す情報を含むことができる。例えば、細胞のタイプは、腫瘍細胞、リンパ球（ｌｙｍｐｈｏｃｙｔｅ）、大食細胞（ｍａｃｒｏｐｈａｇｅ）などの免疫細胞、及び腫瘍周辺の基質を構成する線維芽細胞（ｆｉｂｒｏｂｌａｓｔ）、脂肪細胞（ａｄｉｐｏｃｙｔｅ）などの間質細胞（ｓｔｒｏｍａｌ ｃｅｌｌ）の少なくとも１つを示すことができる。

【0028】

また、定性情報は、細胞の特性を対応するカラーで示す情報を含むことができる。例えば、細胞の特性は、細胞における特定のタンパク質の発現の有無に関する情報を含むことができる。例えば、定性情報は、該当細胞がＰＤ－Ｌ１陽性腫瘍細胞（ＰＤ－Ｌ１（ｐｒｏｇｒａｍｍｅｄ ｄｅａｔｈ－ｌｉｇａｎｄ １） ｐｏｓｉｔｉｖｅ ｔｕｍｏｒ ｃｅｌｌ）、ＰＤ－Ｌ１陰性腫瘍細胞（ＰＤ－Ｌ１ ｎｅｇａｔｉｖｅ ｔｕｍｏｒ ｃｅｌｌ）、ＰＤ－Ｌ１陽性リンパ球（ＰＤ－Ｌ１ ｐｏｓｉｔｉｖｅ ｌｙｍｐｈｏｃｙｔｅ）又はＰＤ－Ｌ１陽性大食細胞（ＰＤ－Ｌ１ ｐｏｓｉｔｉｖｅ ｍａｃｒｏｐｈａｇｅ）であるかに関する情報を含むことができる。

【0029】

病理スライド画像は、人体から採取された組織などを顕微鏡で観察するために一連の化学処理工程を行って固定及び染色された病理スライドを撮影した画像を示すことができる。一例として、病理スライド画像は、全スライドの高解像度の画像を含む全スライド画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ）を示すことができる。他の例として、病理スライド画像は、そのような高解像度の全スライド画像の一部を示すことができる。

【0030】

一方、病理スライド画像は、全スライド画像においてパッチ単位に分割されたパッチ領域を示すことができる。例えば、パッチは、所定の領域の大きさを有することができる。あるいは、パッチは、全スライド内に含まれるオブジェクトのそれぞれを含む領域を示すことができる。

【0031】

また、病理スライド画像は、顕微鏡を用いて撮影されたデジタル画像を示すことができ、人体内の細胞（ｃｅｌｌ）、組織（ｔｉｓｓｕｅ）及び／又は構造（ｓｔｒｕｃｔｕｒｅ）に関する情報を含むことができる。

【0032】

ユーザ端末１０は、病理スライド画像を分析して、病理スライド画像の関心領域に含まれる少なくとも１つの細胞の定量情報及び病理スライド画像に含まれる少なくとも１つの組織の定性情報を生成する。ここで、ユーザ端末１０は、独自に病理スライド画像を分析することにより定量情報及び定性情報を生成することもでき、サーバ２０で病理スライド画像が分析されることによって生成された定量情報及び定性情報をサーバ２０から受信することもできる。

【0033】

一般に、病理スライド画像上に出力される情報には、組織のセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）結果、細胞の検出結果などが含まれる。これらの結果をユーザ３０に効果的に伝達するためには、所定の処理を経て病理スライド画像と共に出力することが必要であり得る。例えば、ユーザが病理スライド画像を操作（例えば、出力される位置の変更、画像の拡大／縮小など）することによってディスプレイ装置上に出力される情報が適応的に変更されることが好ましい。

【0034】

一実施形態によるユーザ端末１０は、ユーザ３０の操作によって設定された関心領域又はディスプレイ装置上に出力される病理スライド画像の少なくとも一部分に対応して定量情報又は定性情報を出力する。よって、ユーザ３０がディスプレイ装置上に出力された画像を判読して被検者を診断することを効果的に助けることができる。

【0035】

一方、説明の便宜上、明細書全般にわたって、ユーザ端末１０が病理スライド画像を分析して定量情報及び定性情報を生成し、ユーザの操作によって定量情報及び定性情報の少なくとも１つを出力することを説明したが、それに限定されるものではない。例えば、ユーザ端末１０により行われる動作の少なくとも一部は、サーバ２０により行うこともできる。

【0036】

言い換えれば、図１～図１５を参照して説明するユーザ端末１０の動作の少なくとも一部は、サーバ２０により行うことができる。一例として、サーバ２０は、病理スライド画像を分析して、組織及び細胞に関する様々な情報（例えば、定量情報及び定性情報）を生成することができる。また、サーバ２０は、生成された情報をユーザ端末１０に送ることができる。他の例として、サーバ２０は、組織及び細胞に関する様々な情報を生成し、生成された情報のうち、ユーザの操作によってディスプレイ装置に出力されるべき情報をユーザ端末１０に送信することができる。ただし、サーバ２０の動作は上述したものに限定されるものではない。

【0037】

図２は一実施形態による機械学習を用いて組織標本のスライド画像を準備、処理及び検討するシステム及びネットワークのブロック図である。

【0038】

図２を参照すると、システム２は、ユーザ端末１１、１２、スキャナ５０、画像管理システム６１、ＡＩベースのバイオマーカー分析システム６２、実験室情報システム６３及びサーバ７０を含む。また、システム２に含まれる構成要素（符号１１、１２、５０、６１、６２、６３、７０）は、ネットワーク８０を介して互いに接続することができる。例えば、ネットワーク８０は、有線又は無線通信方式で構成要素（符号１１、１２、５０、６１、６２、６３、７０）を互いに接続できるネットワークであってもよい。例えば、図２に示すシステム２は、病院、研究室、実験室などにあるサーバ、及び／又は医者もしくは研究員のユーザ端末に接続できるネットワークを含んでもよい。

【0039】

本開示の様々な実施形態によれば、図３ａ～図１５を参照して後述する方法は、ユーザ端末１１、１２、画像管理システム６１、ＡＩベースのバイオマーカー分析システム６２、実験室情報システム６３、及び／又は病院もしくは研究室のサーバ７０で行うことができる。

【0040】

スキャナ５０は、被検者９０の組織サンプルを用いて生成された組織サンプルスライドからデジタル化された画像を取得することができる。例えば、スキャナ５０、ユーザ端末１１、１２、画像管理システム６１、ＡＩベースのバイオマーカー分析システム６２、実験室情報システム６３、及び／又は病院もしくは研究室のサーバ７０は、それぞれ、１つ以上のコンピュータ、サーバ及び／又はモバイルデバイスを介してインターネットなどのネットワーク８０に接続するか、１つ以上のコンピュータ及び／又はモバイルデバイスを介してユーザ３０及び／又は被検者９０と通信することができる。

【0041】

ユーザ端末１１、１２、画像管理システム６１、ＡＩベースのバイオマーカー分析システム６２、実験室情報システム６３、及び／又は病院もしくは研究室のサーバ７０は、１つ以上の被検者９０の組織サンプル、組織サンプルスライド、組織サンプルスライドのデジタル化された画像、又はそれらの任意の組み合わせを生成するか、そうでなければ、他の装置から取得することができる。また、ユーザ端末１１、１２、画像管理システム６１、ＡＩベースのバイオマーカー分析システム６２、実験室情報システム６３は、被検者９０の年齢、病力、癌治療履歴、家族履歴、過去の生検記録、被検者９０の疾病情報などの被検者特定情報の任意の組み合わせを取得することができる。

【0042】

スキャナ５０、ユーザ端末１１、１２、画像管理システム６１、実験室情報システム６３、及び／又は病院もしくは研究室のサーバ７０は、ネットワーク８０を介して、デジタル化されたスライド画像及び／又は被検者特定情報をＡＩベースのバイオマーカー分析システム６２に送信することができる。ＡＩベースのバイオマーカー分析システム６２は、スキャナ５０、ユーザ端末１１、１２、画像管理システム６１、実験室情報システム６３、及び／又は病院もしくは研究室のサーバ７０の少なくとも１つから受信した画像及びデータを保存するための１つ以上の保存デバイス（図示せず）を含んでもよい。また、ＡＩベースのバイオマーカー分析システム６２は、受信した画像及びデータを処理するように訓練されたＡＩモデルを保存するＡＩモデルリポジトリを含んでもよい。例えば、ＡＩベースのバイオマーカー分析システム６２は、被検者９０のスライド画像から少なくとも１つの細胞に関する情報、少なくとも１つの領域に関する情報、バイオマーカーに関する情報、医学的診断情報及び／又は医学的治療情報の少なくとも１つを予測するために学習及び訓練されたＡＩモデルを含んでもよい。

【0043】

スキャナ５０、ユーザ端末１１、１２、ＡＩベースのバイオマーカー分析システム６２、実験室情報システム６３、及び／又は病院もしくは研究室のサーバ７０は、ネットワーク８０を介して、デジタル化されたスライド画像、被検者特定情報、及び／又はデジタル化されたスライド画像の分析の結果を画像管理システム６１に送信することができる。画像管理システム６１は、受信した画像を保存するためのリポジトリ、及び分析の結果を保存するためのリポジトリを含んでもよい。

【0044】

また、本開示の様々な実施形態によれば、被検者９０のスライド画像から少なくとも１つの細胞に関する情報、少なくとも１つの領域に関する情報、バイオマーカーに関する情報、医学的診断情報及び／又は医学的治療情報の少なくとも１つを予測するために学習及び訓練されたＡＩモデルは、ユーザ端末１１、１２及び／又は画像管理システム６１に保存されて動作することができる。

【0045】

本開示の様々な実施形態によれば、スライド画像処理方法、被検者情報処理方法、被検者群選別方法、臨床試験設計方法、バイオマーカー選別方法、及び／又は特定のバイオマーカーに対する基準値設定方法は、ＡＩベースのバイオマーカー分析システム６２だけでなく、ユーザ端末１１、１２、画像管理システム６１、実験室情報システム６３、及び／又は病院もしくは研究室のサーバ７０で行うことができる。

【0046】

図３ａは一実施形態によるユーザ端末の一例を示す構成図である。

【0047】

図３ａを参照すると、ユーザ端末１００は、プロセッサ１１０、メモリ１２０、入出力インターフェース１３０及び通信モジュール１４０を含む。説明の便宜上、図３ａには、本発明に関連する構成要素のみが示されている。よって、ユーザ端末１００は、図３ａに示す構成要素に加えて、他の汎用の構成要素をさらに含んでもよい。また、図３ａに示されるプロセッサ１１０、メモリ１２０、入出力インターフェース１３０及び通信モジュール１４０を独立した装置として実現できることは、本発明に関連する技術分野における通常の知識を有する者にとって自明である。

【0048】

プロセッサ１１０は、基本的な算術、ロジック及び入出力演算を行うことにより、コンピュータプログラムの命令を処理することができる。ここで、命令は、メモリ１２０又は外部装置（例えば、サーバ２０など）から提供することができる。また、プロセッサ１１０は、ユーザ端末１００に含まれる他の構成要素の動作を全般的に制御することができる。

【0049】

プロセッサ１１０は、病理スライド画像を分析して、病理スライド画像の関心領域に含まれる少なくとも１つの細胞の定量情報を生成する。例えば、プロセッサ１１０は、予め決定された画像処理技法を用いて病理スライド画像を分析するか、又は機械学習モデルを用いて病理スライド画像を分析することができる。

【0050】

一例として、プロセッサ１１０は、病理スライド画像に含まれる細胞のそれぞれに対応する座標情報を用いてデータ構造（ｄａｔａ ｓｔｒｕｃｔｕｒｅ）を生成し、データ構造から関心領域に含まれる少なくとも１つの細胞に対応する座標情報を確認することができる。ここで、データ構造は、病理スライド画像内の細胞の検索に効率的なツリーであってもよく、例えばＫＤツリー、ボールツリーなどで実現されてもよいが、それらに限定されるものではない。また、プロセッサ１１０は、座標情報に対応する数に基づいて細胞の定量情報を生成することができる。プロセッサ１１０がデータ構造を用いて定量情報を生成する例については、図５を参照して後述する。

【0051】

他の例として、プロセッサ１１０は、関心領域に基づいてカーネル（ｋｅｒｎｅｌ）を定義し、病理スライド画像及び用いたコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）演算により定量情報を生成することができる。ここで、カーネルは、定量情報のタイプによって少なくとも１つが定義されるようにしてもよい。プロセッサ１１０がコンボリューション演算により定量情報を生成する例については、図６～図８を参照して後述する。

【0052】

プロセッサ１１０は、病理スライド画像を分析して、病理スライド画像に含まれる少なくとも１つの細胞又は組織の定性情報を生成する。例えば、プロセッサ１１０は、少なくとも１つの細胞又は組織の分析結果に基づいて、当該細胞又は組織に対応するラベルを確認することができる。また、プロセッサ１１０は、ラベルに基づいて、病理スライド画像に対応するビットマップ画像を変換することができる。

【0053】

例えば、プロセッサ１１０は、ビットマップ画像を変換する装置（例えば、ユーザ端末１００）のリソース（ｒｅｓｏｕｒｃｅ）に基づいてビットマップ画像を複数のタイルに分割し、確認されたラベルに基づいて各タイルを変換することができる。また、プロセッサ１１０は、変換されたタイルを組み合わせることにより、ビットマップ画像の変換を完了することができる。プロセッサ１１０が定性情報を生成する例については、図９及び図１０を参照して後述する。

【0054】

プロセッサ１１０は、ユーザの操作によって病理スライド画像上に定量情報及び定性情報の少なくとも１つを出力する。例えば、プロセッサ１１０は、ユーザの操作によって変更された病理スライド画像の出力部分又は出力倍率に基づいて定量情報及び定性情報の少なくとも１つを変更して出力することができる。また、プロセッサ１１０は、ユーザの操作によって変更された病理スライド画像の出力倍率と閾値倍率とを比較して、定量情報及び定性情報の少なくとも１つを変更して出力することができる。プロセッサ１１０がユーザの操作に基づいてディスプレイ装置の出力を制御する例については、図１３及び図１４を参照して後述する。

【0055】

プロセッサ１１０は、複数の論理ゲートのアレイで実現されてもよく、汎用マイクロプロセッサと当該マイクロプロセッサで実行できるプログラムが保存されたメモリとの組み合わせで実現されてもよい。例えば、プロセッサ１１０は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態機械などを含むことができる。一部の環境で、プロセッサ１１０は、特定用途向け半導体（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを含むこともできる。例えば、プロセッサ１１０は、デジタル信号プロセッサ（ＤＳＰ）とマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）コアに結合された１つ以上のマイクロプロセッサの組み合わせ、又は任意の他のそのような構成の組み合わせなどの処理デバイスの組み合わせを示すこともできる。

【0056】

メモリ１２０は、非一時的な任意のコンピュータで読み取り可能な記録媒体を含むことができる。一例として、メモリ１２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの永久大容量保存装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含むことができる。他の例として、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブなどの永久大容量保存装置は、メモリとは別の独立した永久保存装置であってもよい。また、メモリ２１０には、オペレーティングシステム（ＯＳ）と少なくとも１つのプログラムコード（例えば、プロセッサ１１０が図４～図１５を参照して後述する動作を行うためのコード）を保存することができる。

【0057】

そのようなソフトウェアコンポーネントは、メモリ１２０とは別のコンピュータで読み取り可能な記録媒体からロードされてもよい。そのような別のコンピュータで読み取り可能な記録媒体は、ユーザ端末１００に直接接続できる記録媒体であってもよく、例えば、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含むことができる。あるいは、ソフトウェアコンポーネントは、コンピュータで読み取り可能な記録媒体ではなく、通信モジュール１４０を介してメモリ１２０にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者又はアプリケーションのインストールファイルを配布するファイル配布システムが通信モジュール１４０を介して提供するファイルによりインストールされるコンピュータプログラム（例えば、プロセッサ１１０が図４～図１５を参照して後述する動作を行うためのコンピュータプログラムなど）に基づいて、メモリ１２０にロードされてもよい。

【0058】

入出力インターフェース１３０は、ユーザ端末１００に接続されるか又はユーザ端末１００に含まれる入力又は出力のための装置（例えば、キーボード、マウスなど）とのインターフェースのための手段であってもよい。図３ａには、入出力インターフェース１３０がプロセッサ１１０とは別に構成された要素として示されているが、これに限定されず、入出力インターフェース１３０がプロセッサ１１０に含まれるように構成されてもよい。

【0059】

通信モジュール１４０は、ネットワークを介してサーバ２０とユーザ端末１００とが互いに通信するための構成又は機能を提供することができる。また、通信モジュール１４０は、ユーザ端末１００が他の外部デバイスと通信するための構成又は機能を提供することができる。例えば、プロセッサ１１０の制御に従って提供される制御信号、命令、データなどを通信モジュール１４０とネットワークを介してサーバ２０及び／又は外部デバイスに送信することができる。

【0060】

一方、図３ａには示されていないが、ユーザ端末１００は、ディスプレイ装置をさらに含んでもよい。あるいは、ユーザ端末１００は、独立したディスプレイ装置と有線又は無線通信方式で接続され、互いにデータを送受信することができる。例えば、ディスプレイ装置により病理スライド画像、定量情報、定性情報などをユーザ３０に提供することができる。

【0061】

図３ｂは一実施形態によるサーバの一例を示す構成図である。

【0062】

図３ｂを参照すると、サーバ２０は、プロセッサ２１０、メモリ２２０及び通信モジュール２３０を含む。説明の便宜上、図３ｂには、本発明に関連する構成要素のみが示されている。よって、サーバ２００は、図３ｂに示す構成要素に加えて、他の汎用の構成要素をさらに含むことができる。また、図３ｂに示されるプロセッサ２１０、メモリ２２０及び通信モジュール２３０を独立した装置として実現できることは、本発明に関連する技術分野における通常の知識を有する者にとって自明である。

【0063】

プロセッサ２１０は、内部メモリ２２０、外部メモリ（図示せず）、ユーザ端末１０及び外部装置の少なくとも１つから病理スライド画像を取得することができる。プロセッサ２１０は、病理スライド画像を分析して、関心領域に含まれる少なくとも１つの細胞の定量情報を生成するか、病理スライド画像に含まれる少なくとも１つの組織の定性情報を生成するか、又はユーザの操作によって病理スライド画像上に定量情報及び定性情報の少なくとも１つを出力する。言い換えれば、図３ａを参照して上述したプロセッサ１１０の動作の少なくとも１つは、プロセッサ２１０により行うことができる。この場合、ユーザ端末１０は、サーバ２０から送信された情報を、ディスプレイ装置を介して出力することができる。

【0064】

一方、プロセッサ２１０の実現例は、図３ａを参照して上述したプロセッサ１１０の実現例と同様であるので、具体的な説明は省略する。

【0065】

メモリ２２０には、病理スライド画像、プロセッサ２１０の動作によって生成されたデータなど、様々なデータを保存することができる。また、メモリ２２０には、オペレーティングシステム（ＯＳ）と少なくとも１つのプログラム（例えば、プロセッサ２１０の動作に必要なプログラムなど）を保存することができる。

【0066】

一方、メモリ２２０の実現例は、図３ａを参照して上述したメモリ２２０の実現例と同様であるので、具体的な説明は省略する。

【0067】

通信モジュール２３０は、ネットワークを介してサーバ２００とユーザ端末１００とが互いに通信するための構成又は機能を提供することができる。また、通信モジュール１４０は、サーバ２００が他の外部デバイスと通信するための構成又は機能を提供することができる。例えば、プロセッサ２１０の制御に従って提供される制御信号、命令、データなどを、通信モジュール２３０とネットワークを介してユーザ端末１００及び／又は外部デバイスに送信することができる。

【0068】

図４は一実施形態によるプロセッサが病理スライド画像に関する情報を出力する一例を説明するためのフローチャートである。

【0069】

図４を参照すると、病理スライド画像に情報を出力する方法は、図１～図３ｂに示すユーザ端末１０、１００又はプロセッサ１１０で時系列的に処理されるステップから構成される。よって、以下で省略された内容であっても、図１～図３ｂに示すユーザ端末１０、１００又はプロセッサ１１０について上述した内容は、図４の病理スライド画像に情報を出力する方法にも適用することができる。

【0070】

また、図１～図３ｂを参照して上述したように、図４に示すフローチャートのステップの少なくとも１つは、サーバ２０、２００又はプロセッサ２１０で処理することができる。

【0071】

ステップ４１０において、プロセッサ１１０は、病理スライド画像を分析して、病理スライド画像の関心領域に含まれる少なくとも１つの細胞の定量情報を生成する。

【0072】

一例として、プロセッサ１１０は、所定の画像処理技術を用いて病理スライド画像を分析することにより、病理スライド画像から組織に対応する領域を検出し、組織を示す層を分離することができる。他の例として、プロセッサ１１０は、機械学習モデルを用いて、病理スライド画像からの組織に対応する領域の検出及び組織を示す層の分離を行うことができる。この場合、機械学習モデルは、複数の参照病理スライド画像及び複数の参照ラベル情報を含む学習データを用いて、参照病理スライド画像内の組織に対応する領域を検出し、組織を示す層を分離するように学習されてもよい。それにより、プロセッサ１１０は、病理スライド画像から様々な情報を取得することができる。

【0073】

一例として、プロセッサ１１０は、領域に関する情報を取得することができる。領域は、癌領域（ｃａｎｃｅｒ ａｒｅａ）、癌基質領域（ｃａｎｃｅｒ ｓｔｒｏｍａ ａｒｅａ）、壊死領域（ｎｅｃｒｏｓｉｓ ａｒｅａ）及びバックグラウンド領域（ｂａｃｋｇｒｏｕｎｄ）のうちの１つであってもよい。ここで、バックグラウンド領域は、生物学的ノイズ（ｂｉｏｌｏｇｉｃａｌ ｎｏｉｓｅ）を示す領域及び／又は技術的ノイズ（ｔｅｃｈｎｉｃａｌ ｎｏｉｓｅ）を示す領域を含むことができる。例えば、生物学的ノイズを示す領域は正常領域を含み、技術的ノイズを示す領域は低下領域を含むことができる。

【0074】

他の例として、プロセッサ１１０は、細胞に関する情報を取得することができる。細胞は、腫瘍細胞（ｔｕｍｏｒ ｃｅｌｌ）、リンパ球細胞（ｌｙｍｐｈｏｃｙｔｅｓ ｃｅｌｌ）及びその他の細胞のうちの１つであってもよい。例えば、プロセッサ１１０は、特定のタンパク質が発現している細胞（例えば、ＰＤ－Ｌ１陽性細胞）、特定のタンパク質が発現していない細胞（例えば、ＰＤ－Ｌ１陰性細胞）、腫瘍内の腫瘍浸潤リンパ球（Ｉｎｔｒａｔｕｍｏｒａｌ Ｔｕｍｏｒ－ｉｎｆｉｌｔｒａｔｉｎｇ ｌｙｍｐｈｏｃｙｔｅｓ）細胞、又は基質内の腫瘍浸潤リンパ球（Ｓｔｒｏｍａｌ Ｔｕｍｏｒ－ｉｎｆｉｌｔｒａｔｉｎｇ ｌｙｍｐｈｏｃｙｔｅｓ）細胞に関する情報を取得することができる。

【0075】

さらに他の例として、プロセッサ１１０は、細胞、領域又は組織のその他の情報を取得することができる。例えば、プロセッサ１１０は、核サイズ（ｎｕｃｌｅｉ ｓｉｚｅ）、細胞密度（ｃｅｌｌ ｄｅｎｓｉｔｙ）、細胞の数、細胞クラスタ（ｃｅｌｌ ｃｌｕｓｔｅｒ）、細胞異質性（ｃｅｌｌ ｈｅｔｅｒｏｇｅｎｅｉｔｙ）、細胞間の空間的距離（ｓｐａｔｉａｌ ｄｉｓｔａｎｃｅｓ ｂｅｔｗｅｅｎ ｃｅｌｌｓ）、細胞間の相互作用（ｉｎｔｅｒａｃｔｉｏｎ ｂｅｔｗｅｅｎ ｃｅｌｌｓ）などを確認することができる。

【0076】

さらに他の例として、プロセッサ１１０は、腫瘍微細環境（ｔｕｍｏｒ ｍｉｃｒｏｅｎｖｉｒｏｎｍｅｎｔ）に関する情報４２４を取得することができる。ここで、腫瘍微細環境とは、腫瘍を取り囲む環境に関する情報を意味し、例えば、腫瘍周辺の血管、免疫細胞、線維芽細胞（ｆｉｂｒｏｂｌａｓｔ）、シグナリング分子（ｓｉｇｎａｌｉｎｇ ｍｏｌｅｃｕｌｅ）及び細胞外マトリックス（ｅｘｔｒａｃｅｌｌｕｌａｒ ｍａｔｒｉｘ，ＥＣＭ）の存在有無、位置、種類、数量、面積などの情報を含む。

【0077】

プロセッサ１１０は、病理スライド画像の分析結果に基づいて、関心領域に含まれる少なくとも１つの細胞の定量情報を生成する。

【0078】

ここで、関心領域は、病理スライド画像内でユーザ３０の観察が必要な領域であるか、病理スライド画像内で選択された一部の領域であるか、病理スライド画像内の全細胞領域であってもよい。例えば、関心領域は、疾患の病理判読において重要に観察されるべき領域であってもよいが、それに限定されるものではない。例えば、肺癌の診断が必要な場合、病理スライド画像内で肺癌細胞が存在する領域が関心領域になり得、乳癌における有糸分裂を評価する場合、病理スライド画像内で有糸分裂が高いと予想される領域が関心領域になり得る。例えば、定量情報は、関心領域内のＴＰＳ（Ｔｕｍｏｒ ｐｒｏｐｏｒｔｉｏｎ ｓｃｏｒｅ）、ＣＰＳ（Ｃｏｍｂｉｎｅｄ ｐｏｓｉｔｉｖｅ ｓｃｏｒｅ）、及びリンパ球（Ｉｎｔｒａｔｕｍｏｒａｌ Ｔｕｍｏｒ－ｉｎｆｉｌｔｒａｔｉｎｇ ｌｙｍｐｈｏｃｙｔｅｓ）密度の少なくとも１つを含むことができる。

【0079】

例えば、関心領域は、ユーザ３０の操作によって設定されてもよい。また、関心領域は、ディスプレイ装置に出力された病理スライド画像上に任意の関心領域が設定され、その後ユーザ３０により調整されるようにすることもできる。一方、関心領域は、病理スライド画像上に円形、四角形などで表示されてもよいが、それらに限定されるものではない。
一例として、プロセッサ１１０は、細胞の座標情報に基づいて構成されたデータ構造を用いて関心領域に関する定量情報を生成することができる。他の例として、プロセッサ１１０は、コンボリューション演算により定量情報を生成することもできる。以下、図５～図８を参照して、プロセッサ１１０が定量情報を生成する例について説明する。

【0080】

図５は一実施形態によるプロセッサが定量情報を生成する一例を説明するためのフローチャートである。

【0081】

病理スライド画像には、多くは数十万個の細胞のそれぞれに対応する座標値があり得る。ユーザ３０が病理スライド画像を効果的に判読するために、プロセッサ１１０は、関心領域内に含まれている特定種類の細胞の数に関する定量情報を生成することができる。

【0082】

ステップ５１０において、プロセッサ１１０は、病理スライド画像に含まれる細胞のそれぞれに対応する座標情報に基づくデータ構造を取得する。例えば、プロセッサ１１０は、座標情報を用いて予め生成されて保存されたデータ構造をメモリから取り出すか（ｆｅｔｃｈ）、座標情報を用いてデータ構造を直接生成することができる。

【0083】

一例として、プロセッサ１１０は、病理スライド画像に表された全細胞のそれぞれに対応する座標値に基づいて生成されたデータ構造をロードすることができる。関心領域の大きさや位置は、ユーザ３０の操作によってリアルタイムで変更されてもよい。プロセッサ１１０が関心領域の大きさや位置の変更に応じてリアルタイムで定量情報を提供するためには、数十万個の細胞から特定位置の細胞を効率的に検索できなければならない。よって、ステップ５１０により取得されるデータ構造は、データを挿入又は除去する効率が高い構造よりは、データを検索する効率が高い構造であり得る。

【0084】

例えば、データ構造は、病理スライド画像内の細胞の検索に効率的なツリーであってもよく、例えばＫＤツリー、ボールツリーなどで実現されてもよいが、それらに限定されるものではない。このようなデータ構造は、ディスプレイ装置に出力された画像領域内にある細胞の位置を視覚化する場合も用いることができる。

【0085】

他の例として、プロセッサ１１０は、病理スライド画像に表された全細胞のそれぞれに対応する座標値を確認する。そして、プロセッサ１１０は、確認された座標値を用いてデータ構造を生成する。

【0086】

関心領域の大きさや位置は、ユーザ３０の操作によってリアルタイムで変更されてもよい。プロセッサ１１０が関心領域の大きさや位置の変更に応じてリアルタイムで定量情報を提供するためには、数十万個の細胞から特定位置の細胞を効率的に検索できなければならない。よって、ステップ５１０により生成されたデータ構造は、データを挿入又は除去する効率が高い構造よりは、データを検索する効率が高い構造が適切である。

【0087】

例えば、データ構造は、病理スライド画像内の細胞の検索に効率的なツリーであってもよく、例えばＫＤツリー、ボールツリーなどで実現されてもよいが、それらに限定されるものではない。プロセッサ１１０が生成したツリーは、ディスプレイ装置に出力された画像領域内にある細胞の位置を視覚化する場合も用いることができる。

【0088】

一方、ステップ５１０と同じ方式で、プロセッサ１１０は、病理スライド画像に設定されたグリッド（ｇｒｉｄ）に対しても、グリッドの座標値を用いてデータ構造を生成することができる。

【0089】

ステップ５２０において、プロセッサ１１０は、データ構造から関心領域に含まれる少なくとも１つの細胞に対応する座標情報を確認する。

【0090】

プロセッサ１１０は、関心領域の位置及び大きさを確認し、データ構造から関心領域内に含まれる細胞の座標値を検索する。例えば、データ構造が所定のツリーであると仮定すると、プロセッサ１１０は、ツリー内で細胞の座標値を検索する。

【0091】

ステップ５３０において、プロセッサ１１０は、確認された座標情報に対応する数に基づいて定量情報を生成する。

【0092】

プロセッサ１１０は、ステップ５２０により検索された座標値の数をカウントすることにより定量情報を生成する。例えば、定量情報は、関心領域に含まれる全細胞の数や関心領域に含まれる特定細胞の数などを含むことができる。

【0093】

図６は一実施形態によるプロセッサが定量情報を生成する他の例を説明するためのフローチャートである。

【0094】

プロセッサ１１０は、関心領域内の細胞の数や特定の統計値を演算することにより定量情報を生成することができる。病理スライド画像において任意の１つのピクセルにはそれに対応する関心領域が設定されているので、ユーザ３０が入力装置（例えば、マウスなど）により特定のピクセルを指定すると、プロセッサ１１０は、そのピクセルに対応する関心領域内の細胞の数や特定の統計値を判読することができる。図６を参照して、プロセッサ１１０が関心領域内の細胞の数や特定の統計値を演算する例について説明する。

【0095】

ステップ６１０において、プロセッサ１１０は、関心領域に基づいてカーネルを定義する。

【0096】

ここで、カーネルは、定量情報のタイプによって少なくとも１つが定義される。図４を参照して上述したように、関心領域は、ユーザ３０により大きさや形状が定義されるようにしてもよい。プロセッサ１１０は、ユーザ３０の入力に基づいて、関心領域で取得しようとする定量情報のタイプを決定する。例えば、定量情報のタイプは、全細胞（又は、特定タイプの細胞）の数、全細胞（又は、特定タイプの細胞）の密度、異なる細胞間の割合、全細胞に対する特定タイプの細胞の割合などであり得る。プロセッサ１１０は、関心領域の大きさ及び形状、定量情報のタイプによってカーネルを定義する。以下、図７を参照して、プロセッサ１１０がカーネルを定義する例について説明する。

【0097】

図７は一実施形態によるプロセッサがカーネルを定義する一例を説明するための図である。

【0098】

第１例として、定量情報のタイプは、癌細胞の数であると仮定する。また、病理スライド画像の特定の倍率において、関心領域７１０は、半径がＲである円であると仮定する。さらに、チャネルは、癌細胞に対応するピクセルには「１」が記録され、他のピクセルには「０」が記録された画像であると仮定する。例えば、癌細胞の中心に対応するピクセルに「１」が記録されてもよい。

【0099】

プロセッサ１１０は、関心領域７１０全体を含むカーネル７２０を設定する。例えば、プロセッサ１１０は、カーネル７２０を一辺の長さが２Ｒである四角形に設定することができる。よって、カーネル７２０は、関心領域７１０に含まれる領域７２１と、関心領域７１０に含まれない領域７２２とに分けることができる。プロセッサ１１０は、領域７２１に「１」を記録し、領域７２２に「０」を記録することにより、カーネル７２０を定義することができる。

【0100】

第２例として、定量情報のタイプは、全ての種類の細胞の数に対する癌細胞の数の割合であると仮定する。また、病理スライド画像の特定の倍率において、関心領域７１０は、半径がＲである円であると仮定する。さらに、第１チャネルは、癌細胞の中心に対応するピクセルには「１」が記録され、他のピクセルには「０」が記録された画像であると仮定する。さらに、第２チャネルは、全ての細胞の中心に対応するピクセルには「１」が記録され、他のピクセルには「０」が記録された画像であると仮定する。

【0101】

プロセッサ１１０は、関心領域全体を含む第１カーネル及び第２カーネルを設定する。例えば、プロセッサ１１０は、第１カーネル及び第２カーネルを一辺の長さが２Ｒである四角形に設定することができる。よって、第１カーネル及び第２カーネルは、関心領域に含まれる領域と、関心領域に含まれない領域とに分けることができる。プロセッサ１１０は、関心領域に含まれる領域に「１」を記録し、関心領域に含まれない領域に「０」を記録することにより、第１カーネル及び第２カーネルを定義することができる。

【0102】

再び図６を参照すると、ステップ６２０において、プロセッサ１１０は、病理スライド画像及びカーネルを用いたコンボリューション演算により定量情報を生成する。以下、図８を参照して、プロセッサ１１０がコンボリューション演算を行う例について説明する。

【0103】

図８は一実施形態によるコンボリューション演算の一例を説明するための図である。

【0104】

図８には、コンボリューション演算に用いられるチャネル８１０及びカーネル８２０が示されている。また、図８には、チャネル８１０及びカーネル８２０によりコンボリューション演算が行われた結果８３０が示されている。図８には、チャネル８１０のサイズが４×４、カーネル８２０のサイズが２×２であることが示されているが、それに限定されるものではない。

【0105】

プロセッサ１１０は、チャネル８１０とカーネル８２０を重畳して積和（ｓｕｍ ｏｆ ｐｒｏｄｕｃｔ）演算を行い、演算後にカーネルを特定の方向に１マスずつ移動し、再び積和演算を行う。このような方式で、プロセッサ１１０は、チャネル８１０とカーネル８２０を用いてコンボリューション演算を行うことにより結果８３０を導出する。

【0106】

図７の第１例において、プロセッサ１１０は、チャネルとカーネルに対してコンボリューション演算を行うことにより、チャネルに含まれる全てのピクセル毎にそれに対応する関心領域の癌細胞の数を演算することができる。それにより、プロセッサ１１０は、定量情報として、関心領域内の癌細胞の数を生成することができる。

【0107】

図７の第２例において、プロセッサ１１０は、第１チャネルと第１カーネルに対してコンボリューション演算を行うことにより、関心領域内の癌細胞の数を演算することができる。また、プロセッサ１１０は、第２チャネルと第２カーネルに対してコンボリューション演算を行うことにより、関心領域内の全細胞の数を演算することができる。それにより、プロセッサ１１０は、定量情報として、関心領域内の全ての種類の細胞の数に対する癌細胞の数の割合を生成することができる。

【0108】

再び図４を参照すると、ステップ４２０において、プロセッサ１１０は、病理スライド画像を分析して、病理スライド画像に含まれる少なくとも１つの組織の定性情報を生成する。

【0109】

プロセッサ１１０が病理スライド画像を分析する方法は、ステップ４１０を参照して上述した通りである。一方、定性情報は、該当組織に含まれる細胞のＰＤ－Ｌ１（ｐｒｏｇｒａｍｍｅｄ ｄｅａｔｈ－ｌｉｇａｎｄ １）の発現の有無に関する情報を含むことができる。例えば、定性情報は、該当細胞がＰＤ－Ｌ１陽性腫瘍細胞（ＰＤ－Ｌ１ ｐｏｓｉｔｉｖｅ ｔｕｍｏｒ ｃｅｌｌ）、ＰＤ－Ｌ１陰性腫瘍細胞（ＰＤ－Ｌ１ ｎｅｇａｔｉｖｅ ｔｕｍｏｒ ｃｅｌｌ）、ＰＤ－Ｌ１陽性リンパ球（ＰＤ－Ｌ１ ｐｏｓｉｔｉｖｅ ｌｙｍｐｈｏｃｙｔｅ）又はＰＤ－Ｌ１陽性大食細胞（ＰＤ－Ｌ１ ｐｏｓｉｔｉｖｅ ｍａｃｒｏｐｈａｇｅ）であるかに関する情報を含むことができる。例えば、該当細胞が上述した細胞のうちどのタイプであるかは所定のカラー（ｃｏｌｏｒ）で表すことができるので、ディスプレイ装置には定性情報を所定のカラーで出力することができる。以下、図９及び図１０を参照して、プロセッサが定性情報を生成する例について説明する。

【0110】

図９は一実施形態によるプロセッサが定性情報を生成する一例を説明するためのフローチャートである。

【0111】

組織の分析結果（例えば、ＰＤ－Ｌ１ ＴＰＳ（Ｔｕｍｏｒ ｐｒｏｐｏｒｔｉｏｎ ｓｃｏｒｅ）、ＰＤ－Ｌ１ ＣＰＳ（ｃｏｍｂｉｎｅｄ ｐｏｓｉｔｉｖｅ ｓｃｏｒｅ）、癌領域、癌基質領域などの組織のセグメンテーション結果）の場合、病理スライド画像の原本の解像度より解像度が低いビットマップ画像として生成され、ビットマップ画像の各ピクセルは、該当位置に存在する組織のラベル（ｌａｂｅｌ）ＩＤをピクセル値として有する。ここで、ラベルＩＤは、数字で表すことができる。プロセッサ１１０は、下記過程により、ラベル情報を用いて定性情報を生成することができる。

【0112】

ステップ９１０において、プロセッサ１１０は、少なくとも１つの組織の分析結果に基づいて少なくとも１つの組織に含まれる少なくとも１つの細胞に対応するラベル情報を確認する。

【0113】

まず、プロセッサ１１０は、細胞又は体内組織のそれぞれに関するラベル情報を確認する。ここで、ラベル情報は、各ラベルのＩＤ、カラー、タイトルを含む。また、プロセッサ１１０は、病理スライド画像の分析により、細胞又は組織のタイプを決定する。さらに、プロセッサ１１０は、確認されたラベル情報から病理スライド画像に含まれる少なくとも１つの細胞又は組織に対応するラベル情報を検索する。

【0114】

ステップ９２０において、プロセッサ１１０は、確認されたラベル情報に基づいて病理スライド画像に対応するビットマップ画像を変換する。

【0115】

プロセッサ１１０は、ステップ９１０により検索されたラベル情報内のカラー（すなわち、ラベルカラー）を用いて、ビットマップ画像内の各細胞に対応するピクセル値をラベルカラーのカラー値として設定する。それにより、ビットマップ画像に表された各細胞のピクセルは、組織の特性に応じたラベルカラーに設定することができる。

【0116】

一方、病理スライド画像の解像度に比べてビットマップ画像の解像度が低くても、病理スライド画像が非常に大きいため、ビットマップ画像も大きいので、プロセッサ１１０がビットマップ画像全体を全てロードできないことがある。その場合、プロセッサ１１０は、ビットマップ画像を変換する装置（例えば、ユーザ端末１００）のリソース（ｒｅｓｏｕｒｃｅ）に基づいて他の方式でビットマップ画像を変換することができる。例えば、プロセッサ１１０は、ビットマップ画像を変換する装置のリソースに基づいてビットマップ画像を複数のタイルに分割する。また、プロセッサ１１０は、確認されたラベル情報に基づいて各タイルを変換する。さらに、プロセッサ１１０は、変換されたタイルを組み合わせる。

【0117】

例えば、プロセッサ１１０がビットマップ画像をラベルカラーに変換（ステップ９２０）するために、装置に内蔵されたＧＰＵを活用できるＷｅｂＧＬを用いることができる。具体的には、プロセッサ１１０は、ビットマップ画像をＷｅｂＧＬに２Ｄテクスチャにロードし、その後フラグメントシェーダーで当該テクスチャをサンプリングし、サンプリングされたラベルＩＤに対応するカラー値を用いてレンダリングする。ただし、ビットマップ画像の解像度が原本の病理スライド画像の解像度より低くても、原本の病理スライド画像が非常に大きい場合、ビットマップ画像を全てＧＰＵに２Ｄテクスチャにロードできない場合が発生し得る。その場合、プロセッサ１１０は、ビットマップ画像を複数のタイルに分割し、タイルに基づいてビットマップ画像の変換作業を行うことができる。プロセッサ１１０がタイルに基づいてビットマップ画像の変換作業を行う例については、図１０を参照して説明する。

【0118】

図１０は一実施形態によるプロセッサが定性情報を生成する他の例を説明するためのフローチャートである。

【0119】

ステップ１０１０において、プロセッサ１１０は、ビットマップ画像を取得する。

【0120】

ステップ１０２０において、プロセッサ１１０は、ＧＰＵがビットマップ画像をテクスチャにロードできるか否かを判断する。ここで、テクスチャは、２Ｄテクスチャであってもよい。

【0121】

ＧＰＵがビットマップ画像をテクスチャにロードできる場合、ステップ１０３０に進み、そうでない場合、ステップ１０４０に進む。

【0122】

ステップ１０３０において、プロセッサ１１０は、ビットマップ画像を表示可能な画像に変換する。例えば、プロセッサ１１０は、ステップ９２０を参照して上述した方式でビットマップ画像を変換する。また、プロセッサ１１０は、変換されたビットマップ画像をディスプレイ装置に出力可能な画像に変換する。

【0123】

ステップ１０４０において、プロセッサ１１０は、ビットマップ画像をタイルに分割する。例えば、プロセッサ１１０は、ビットマップ画像をＧＰＵにテクスチャにロードできる画像の最大サイズの１／４サイズに分割することができるが、それに限定されるものではない。

【0124】

ステップ１０５０において、プロセッサ１１０は、分割されたタイルを表示可能な画像に変換する。例えば、プロセッサ１１０は、ステップ９２０を参照して上述した方式で各タイルを変換する。また、プロセッサ１１０は、変換されたタイルをディスプレイ装置に出力可能な画像に変換する。

【0125】

ステップ１０６０において、プロセッサ１１０は、全てのタイルの変換作業が完了したか否かを判断する。全てのタイルの変換作業が完了した場合、ステップ１０７０に進み、そうでない場合、ステップ１０５０をさらに行う。

【0126】

ステップ１０７０において、プロセッサ１１０は、変換されたタイルを組み合わせる。具体的には、プロセッサ１１０は、変換されたタイルを連結して全体ビットマップ画像に対応する産出物を生成する。

【0127】

再び図４を参照すると、ステップ４３０において、プロセッサ１１０は、ユーザ３０の操作によって病理スライド画像上に定量情報及び定性情報の少なくとも１つを出力する。

【0128】

例えば、プロセッサ１１０は、病理スライド画像の少なくとも一部分に対応する定性情報及び関心領域に対応する定量情報を出力することができる。ディスプレイ装置には、病理スライド画像の一部分又は全部を出力することができる。また、ディスプレイ装置に出力された画像の一部分に関心領域を設定することができる。その場合、プロセッサ１１０は、ディスプレイ装置に出力された画像全体に対して定性情報を出力（例えば、組織に対応するカラーを出力）し、関心領域に関する定量情報を出力（例えば、関心領域に含まれる特定種類の細胞の数、ＴＰＳ、ＣＰＳ又はＴＩＬ密度を出力）することができる。

【0129】

一方、プロセッサ１１０は、ユーザ３０の操作によってディスプレイ装置上に出力される画像の変化に対応して、定量情報及び／又は定性情報を適応的に出力することができる。

【0130】

一例として、プロセッサ１１０は、ユーザ３０の操作によって変更された病理スライド画像の出力部分又は出力倍率に基づいて定量情報及び定性情報の少なくとも１つを変更して出力することができる。例えば、ユーザ３０が病理スライド画像を拡大又は縮小する度にその領域に応じた分析結果（定量情報及び／又は定性情報）を提供し、ディスプレイ装置に出力された領域以外の領域に対しては分析結果を提供しないようにすることができる。

【0131】

他の例として、プロセッサ１１０は、ユーザの操作によって変更された病理スライド画像の出力倍率と閾値倍率とを比較して、定量情報及び定性情報の少なくとも１つを変更して出力することができる。例えば、ユーザ３０が病理スライド画像を所定の倍率以上に拡大する場合にのみ特定の分析結果を提供することができる。あるいは、ユーザ３０が病理スライド画像を拡大する前に提供されていた分析結果を、病理スライド画像を所定の倍率以上に拡大する場合は提供しないようにすることもできる。

【0132】

図１１及び図１２は一実施形態による定量情報が出力された例を示す図である。

【0133】

図１１及び図１２には、ディスプレイ装置に出力された病理スライド画像の一部分１１１０、１２１０が示されている。ユーザ３０の操作によって、病理スライド画像上には関心領域１１２０、１２２０を設定することができる。また、関心領域１１２０、１２２０は、ユーザ３０の操作によって大きさ及び位置を変更することができる。

【0134】

関心領域１１２０、１２２０が設定されると、プロセッサ１１０は、関心領域１１２０、１２２０に含まれる細胞の定量情報１１３０、１２３０を生成して出力する。定量情報１１３０、１２３０には関心領域に含まれる特定タイプの細胞の数１１４０、１２４０が含まれてもよいが、それに限定されるものではない。

【0135】

図１３及び図１４は一実施形態による定量情報及び定性情報が出力された例を示す図である。

【0136】

図１３を参照すると、拡大以前の画像（すなわち、全体病理スライド画像）１３１０には癌細胞の位置が出力されず、癌細胞の数も出力されないようにすることができる。拡大以前の画像１３１０には定性情報（例えば、組織の特性をカラーで示す情報）のみ出力されるようにすることができる。例えば、組織の特性は、各ピクセルを中心とする所定の大きさの円領域内にＰＤ－Ｌ１陽性癌細胞とＰＤ－Ｌ１陰性癌細胞の割合が所定の閾値以上であるか否かを示すことができる。ユーザ３０が画像１３１０を閾値倍率以上に拡大する場合、拡大された画像１３２０上に癌細胞の位置を出力することができる。例えば、各細胞のタイプがＰＤ－Ｌ１陽性腫瘍細胞であるか、ＰＤ－Ｌ１陰性腫瘍細胞であるかによって異なるカラーの点（ｄｏｔ）で細胞の位置を表示することができる。また、画像１３２０には、関心領域１３２１を設定することができ、関心領域１３２１に関する定量情報１３２２を出力することができる。関心領域１３２１に関する定量情報１３２２として、関心領域内のＴＰＳ、関心領域内の全細胞の数、関心領域の広さ、関心領域内のＰＤ－Ｌ１陽性腫瘍細胞の数、及び関心領域内のＰＤ－Ｌ１陰性腫瘍細胞の数の少なくとも１つを出力することができる。

【0137】

一方、画面の一側面には、病理スライド画像１３１０、１３２０を示すサムネイル画像１３１１、１３２３を出力することができ、病理スライド画像１３１０、１３２０の現在の倍率を示す画像１３１２、１３２４も出力することができる。

【0138】

また、画面の一側面には、コントロールパネル（図示せず）を出力することができ、コントロールパネル（図示せず）内のチェックボックスを選択及び／又は解除することにより癌細胞の位置を表示又は除去することができる。さらに、コントロールパネル（図示せず）内のチェックボックスを選択及び／又は解除することによりＰＤ－Ｌ１ ＴＰＳマップを表示又は除去することができる。

【0139】

一方、図１４を参照すると、ユーザの操作（例えば、病理スライド画像の拡大など）によって、既に出力された第１定性情報を他の第２定性情報に変更して出力することができる。また、ユーザの操作が受信される前には出力されていなかった所定の定量情報をさらに出力することができる。

【0140】

例えば、第１定性情報は、ユーザの操作が受信される前に出力された病理スライド画像の少なくとも一部分１４１０に対応する免疫表現型（ＩＰ，Ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）であってもよく、第２定性情報は、ユーザの操作によって出力された病理スライド画像の少なくとも一部分１４２０に含まれる組織及び細胞の少なくとも１つの特性であってもよい。ただし、第１定性情報及び第２定性情報は、上述したものに限定されるものではない。また、所定の定量情報は、ユーザの操作によって出力された病理スライド画像の少なくとも一部分１４２０に含まれる免疫細胞の密度であってもよいが、それに限定されるものではない。

【0141】

例えば、拡大以前の画像１４１０には、定性情報（例えば、組織の特性をカラーで示す情報）のみを出力することができる。例えば、組織の特性は、ＩＰを示すことができる。ＩＰは、定量情報に基づいて決定することができる。例えば、ＩＰは、病理スライドの少なくとも一部の領域内の免疫細胞の数、分布、密度の少なくとも１つに基づいて決定することができる。

【0142】

ＩＰは、様々な分類方式で表示することができるが、一例として、グリッド上の癌領域内の免疫細胞の密度及び癌ストロマ内の免疫細胞の密度の少なくとも１つに基づいて各グリッドのＩＰを決定することができる。例えば、癌領域内の免疫細胞の密度及び癌ストロマ内の免疫細胞の密度の少なくとも１つに基づいて計算された値がどの範囲に含まれるかによって、ＩＰは、免疫活性（ｉｍｍｕｎｅ ｉｎｆｌａｍｅｄ）、免疫除外（ｉｍｍｕｎｅ ｅｘｃｌｕｄｅｄ）及び免疫欠乏（ｉｍｍｕｎｅ ｄｅｓｅｒｔ）の少なくとも１つで表示することができる。

【0143】

拡大以前の画像１４１０には、ＩＰマップがより容易に識別されるように、細胞及び組織に関するマップ（ｍａｐ）が出力されないようにすることができる。

【0144】

ユーザ３０が画像１４１０を閾値倍率以上に拡大する場合、ＩＰマップの代わりに、細胞及び組織の特性に関するマップを出力することができる。つまり、プロセッサ１１０は、少なくとも１つの細胞（例えば、リンパプラズマ細胞）の位置を画面上に出力することができる。プロセッサ１１０は、ＩＰマップの代わりに、画面上の各領域に関する情報を出力することができる。例えば、プロセッサ１１０は、画面上の各領域が癌領域、癌基質領域、壊死領域及びバックグラウンド領域のうちの１つとして識別し、対応するカラーをオーバーレイすることができる。

【0145】

また、画像１４２０には、関心領域１４２１を設定することができ、関心領域１４２１に関する定量情報１４２２を出力することができる。関心領域１４２１に関する定量情報１４２２として、関心領域に含まれる癌領域内の免疫細胞の密度、関心領域に含まれる癌ストロマ内の免疫細胞の密度、及び関心領域内の免疫細胞の数の少なくとも１つを出力することができる。

【0146】

一方、画面の一側面には、病理スライド画像１４１０、１４２０を示すサムネイル画像１４１１、１４２３を出力することができ、病理スライド画像１４１０、１４２０の現在の倍率を示す画像１４１２、１４１３も出力することができる。

【0147】

また、画面の一側面には、コントロールパネル（図示せず）を出力することができ、コントロールパネル（図示せず）内のチェックボックスを選択及び／又は解除することにより少なくとも１つの位置を表示又は除去することができる。さらに、コントロールパネル（図示せず）内のチェックボックスを選択及び／又は解除することによりＩＰマップ及び／又は組織学的特徴（ｈｉｓｔｏｌｏｇｉｃａｌ ｆｅａｔｕｒｅ）マップを表示又は除去することができる。

【0148】

図１５は一実施形態によるプロセッサが病理スライド画像に関する情報を出力する一例を説明するためのフローチャートである。

【0149】

病理スライド画像を分析して定量情報及び／又は定性情報を生成して出力する上で、プロセッサ１１０は、複数のスレッド（ｔｈｒｅａｄ）により上述したプロセスを処理することができる。それにより、プロセッサ１１０は、プロセスの処理にかかる時間を短縮することができるので、ユーザ３０の操作によってリアルタイムで関連情報をディスプレイ装置に出力することができる。

【0150】

例えば、図１５を参照すると、第１スレッドは、ユーザ３０の操作を受信し、ユーザ３０の操作に対応する作業を第２スレッドに要求することができる。また、第２スレッドは、要求された作業の処理結果を第１スレッドに送信し、第１スレッドは、受信した結果を用いてディスプレイ装置に画像及び関連情報を出力することができる。

【0151】

ステップ１５１０において、第１スレッドから視覚化プロセス要求が受信される。ここで、視覚化プロセス要求は、ユーザ３０の操作によって病理スライド画像が拡大又は縮小されるか、関心領域の位置が変更されるか、関心領域の大きさが拡大又は縮小されることを含む。

【0152】

ステップ１５２０において、第１スレッドは、第２スレッドの処理が終了するまで待機する。

【0153】

ステップ１５３０～ステップ１５５０により、第２スレッドは、ビットマップ画像の取得、分析及びレンダリング作業を行う。ステップ１５３０～ステップ１５５０は、図４～図１０を参照して上述したプロセッサ１１０の動作に対応する。よって、ステップ１５３０～ステップ１５５０に関する具体的な説明は省略する。

【0154】

ステップ１５６０において、第２スレッドは、レンダリングされたビットマップ画像及び細胞の座標情報を第１スレッドに送信する。そして、ステップ１５７０において、第１スレッドは、第２スレッドから送信された情報を用いてバイナリツリーを生成する。

【0155】

ステップ１５８０及びステップ１５９０において、第１スレッドは、ユーザ３０の操作を受信し、ユーザ３０の操作に対応して画像をディスプレイ装置上に出力する。ここで、画像は、病理スライド画像の少なくとも一部分だけでなく、定量情報及び定性情報の少なくとも１つが表示された画像を示す。

【0156】

上述したように、プロセッサ１１０は、ユーザ３０の操作によって設定された関心領域又はディスプレイ装置上に出力される病理スライド画像の少なくとも一部分に対応して定量情報又は定性情報を出力する。よって、ユーザ３０がディスプレイ装置上に出力された画像を判読して被検者を診断することを効果的に助けることができる。

【0157】

一方、上述した方法は、コンピュータで実行可能なプログラムで作成することができ、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで実現することができる。また、上述した方法で用いられたデータの構造は、コンピュータで読み取り可能な記録媒体に様々な手段を介して記録することができる。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ、ＲＡＭ、ＵＳＢ、フロッピーディスク、ハードディスクなど）、光学読取媒体（例えば、ＣＤ－ＲＯＭ、ＤＶＤなど）などの保存媒体を含む。

【0158】

本実施形態に関連する技術分野における通常の知識を有する者であれば、上記記載の本質的な特性から逸脱しない範囲で変形した形態で実現できることが理解できるであろう。よって、開示された方法は、限定的な観点ではなく、説明的な観点から考慮されるべきであり、権利範囲は、上記説明ではなく、特許請求の範囲に示されており、それと同等の範囲内にあるすべての相違点を含むものと解釈されるべきである。

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】