ホーム > 特許ランキング > Ｌｕｎｉｔ Ｉｎｃ．
知財求人 - 知財ポータルサイト「IP Force」
特開2024-102844病理スライド画像に基づいて医療情報を生成する方法及び装置｛Ａ ｍｅｔｈｏｄ ａｎｄ ａｎ ａｐｐａｒａｔｕｓ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ ｂａｓｅｄ ｏｎ ｐａｔｈｏｌｏｇｉｃａｌ ｓｌｉｄｅ ｉｍａｇｅｓ｝
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024102844
(43)【公開日】2024-07-31
(54)【発明の名称】病理スライド画像に基づいて医療情報を生成する方法及び装置｛Ａ ｍｅｔｈｏｄ ａｎｄ ａｎ ａｐｐａｒａｔｕｓ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ ｂａｓｅｄ ｏｎ ｐａｔｈｏｌｏｇｉｃａｌ ｓｌｉｄｅ ｉｍａｇｅｓ｝
(51)【国際特許分類】
G06T 7/00 20170101AFI20240724BHJP
G16H 30/00 20180101ALI20240724BHJP
G16H 50/70 20180101ALI20240724BHJP
G06V 10/82 20220101ALI20240724BHJP
G01N 33/48 20060101ALN20240724BHJP
G01N 33/53 20060101ALN20240724BHJP
【ＦＩ】
G06T7/00 630
G16H30/00
G16H50/70
G06T7/00 350C
G06V10/82
G01N33/48 M
G01N33/48 Z
G01N33/48 P
G01N33/53 Y
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2024006043
(22)【出願日】2024-01-18
(31)【優先権主張番号】10-2023-0008302
(32)【優先日】2023-01-19
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2023-0068642
(32)【優先日】2023-05-26
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】523098991
【氏名又は名称】ルニット・インコーポレイテッド
【氏名又は名称原語表記】Ｌｕｎｉｔ Ｉｎｃ．
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100113170
【弁理士】
【氏名又は名称】稲葉 和久
(72)【発明者】
【氏名】ペン，キョンヒョン
(72)【発明者】
【氏名】オク，チャンヨン
(72)【発明者】
【氏名】ユ，ドングン
【テーマコード（参考）】
2G045
5L096
5L099
【Ｆターム（参考）】
2G045AA24
2G045JA04
5L096BA06
5L096BA13
5L096CA02
5L096DA02
5L096HA11
5L096KA04
5L099AA03
5L099AA26
(57)【要約】
【課題】病理スライド画像に基づいて医療情報を生成する方法及び装置を提供する。
【解決手段】
一側面に係るコンピューティング装置は、少なくとも１つのメモリ及び少なくとも１つのプロセッサを含み、前記プロセッサは、病理スライド画像に対応する特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を取得し、前記特徴情報に基づいて前記病理スライド画像に関連する医療情報（ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、前記医療情報及び前記医療情報に基づいた追加情報のうち少なくとも一つを出力する。
【選択図】図２Ａ
【解決手段】
一側面に係るコンピューティング装置は、少なくとも１つのメモリ及び少なくとも１つのプロセッサを含み、前記プロセッサは、病理スライド画像に対応する特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を取得し、前記特徴情報に基づいて前記病理スライド画像に関連する医療情報（ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、前記医療情報及び前記医療情報に基づいた追加情報のうち少なくとも一つを出力する。
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を含み、
前記プロセッサは、
病理スライド画像に対応する特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を取得し、前記特徴情報に基づいて前記病理スライド画像に関連する医療情報（ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、前記医療情報及び前記医療情報に基づいた追加情報のうち少なくとも１つを出力する、
コンピューティング装置。
少なくとも１つのプロセッサと、を含み、
前記プロセッサは、
病理スライド画像に対応する特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を取得し、前記特徴情報に基づいて前記病理スライド画像に関連する医療情報（ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、前記医療情報及び前記医療情報に基づいた追加情報のうち少なくとも１つを出力する、
コンピューティング装置。
【請求項2】
前記プロセッサは、
前記病理スライド画像に表現された少なくとも１つの対象体に関する情報に基づいて前記特徴情報を取得する、
請求項１に記載のコンピューティング装置。
前記病理スライド画像に表現された少なくとも１つの対象体に関する情報に基づいて前記特徴情報を取得する、
請求項１に記載のコンピューティング装置。
【請求項3】
前記特徴情報は、特徴埋め込みモデル（ｆｅａｔｕｒｅ ｅｍｂｅｄｄｉｎｇ ｍｏｄｅｌ）によって取得された少なくとも１つの第１特徴ベクトル（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を含み、
前記特徴埋め込みモデルは、前記病理スライド画像から前記少なくとも１つの対象体に関する情報を推論する第１機械学習モデルの少なくとも一部の層に基づいて生成される、
請求項２に記載のコンピューティング装置。
前記特徴埋め込みモデルは、前記病理スライド画像から前記少なくとも１つの対象体に関する情報を推論する第１機械学習モデルの少なくとも一部の層に基づいて生成される、
請求項２に記載のコンピューティング装置。
【請求項4】
前記プロセッサは、
少なくとも１つの第１特徴ベクトル及び前記病理スライド画像に表現された少なくとも１つの対象体に関する情報を組み合わせて第２特徴ベクトルを生成し、前記第２特徴ベクトルに基づいて前記医療情報を生成する、
請求項１に記載のコンピューティング装置。
少なくとも１つの第１特徴ベクトル及び前記病理スライド画像に表現された少なくとも１つの対象体に関する情報を組み合わせて第２特徴ベクトルを生成し、前記第２特徴ベクトルに基づいて前記医療情報を生成する、
請求項１に記載のコンピューティング装置。
【請求項5】
前記プロセッサは、
前記少なくとも１つの第１特徴ベクトル、前記少なくとも１つの対象体に関する情報、及び前記第２特徴ベクトルの基である新規特徴ベクトルのうち少なくとも１つに対してプーリング（ｐｏｏｌｉｎｇ）を実行する、
請求項４に記載のコンピューティング装置。
前記少なくとも１つの第１特徴ベクトル、前記少なくとも１つの対象体に関する情報、及び前記第２特徴ベクトルの基である新規特徴ベクトルのうち少なくとも１つに対してプーリング（ｐｏｏｌｉｎｇ）を実行する、
請求項４に記載のコンピューティング装置。
【請求項6】
前記プロセッサは、
前記第２特徴ベクトル及び前記病理スライド画像に対応する重み（ｗｅｉｇｈｔ）を組み合わせて新規特徴ベクトルを生成し、前記新規特徴ベクトルに基づいて前記医療情報を生成する、
請求項４に記載のコンピューティング装置。
前記第２特徴ベクトル及び前記病理スライド画像に対応する重み（ｗｅｉｇｈｔ）を組み合わせて新規特徴ベクトルを生成し、前記新規特徴ベクトルに基づいて前記医療情報を生成する、
請求項４に記載のコンピューティング装置。
【請求項7】
前記医療情報は、
免疫表現型（ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）、遺伝子型（ｇｅｎｏｔｙｐｅ）、バイオマーカースコア（ｂｉｏｍａｒｋｅｒ ｓｃｏｒｅ）、腫瘍純度（ｔｕｍｏｒ ｐｕｒｉｔｙ）、前記病理スライド画像に表現される癌（ｃａｎｃｅｒ）の治療方法のうち少なくとも１つを含む、
請求項１に記載のコンピューティング装置。
免疫表現型（ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）、遺伝子型（ｇｅｎｏｔｙｐｅ）、バイオマーカースコア（ｂｉｏｍａｒｋｅｒ ｓｃｏｒｅ）、腫瘍純度（ｔｕｍｏｒ ｐｕｒｉｔｙ）、前記病理スライド画像に表現される癌（ｃａｎｃｅｒ）の治療方法のうち少なくとも１つを含む、
請求項１に記載のコンピューティング装置。
【請求項8】
前記プロセッサは、
前記病理スライド画像に表現された少なくとも１つの遺伝子変異を示す情報を前記病理スライド画像に表示するようにディスプレイ装置を制御する、
請求項１に記載のコンピューティング装置。
前記病理スライド画像に表現された少なくとも１つの遺伝子変異を示す情報を前記病理スライド画像に表示するようにディスプレイ装置を制御する、
請求項１に記載のコンピューティング装置。
【請求項9】
前記プロセッサは、
前記医療情報に基づいて設定されたシーケンシング領域（ｓｅｑｕｅｎｃｉｎｇ ａｒｅａ）を前記病理スライド画像上に表示するようにディスプレイ装置を制御する、
請求項１に記載のコンピューティング装置。
前記医療情報に基づいて設定されたシーケンシング領域（ｓｅｑｕｅｎｃｉｎｇ ａｒｅａ）を前記病理スライド画像上に表示するようにディスプレイ装置を制御する、
請求項１に記載のコンピューティング装置。
【請求項10】
前記シーケンシング領域は、
被検体から前記シーケンシング領域を分離する方法のそれぞれに適応的に設定される、
請求項９に記載のコンピューティング装置。
被検体から前記シーケンシング領域を分離する方法のそれぞれに適応的に設定される、
請求項９に記載のコンピューティング装置。
【請求項11】
前記プロセッサは、
被検体から前記シーケンシング領域を分離する場合に予想される突然変異歩留まり（ｅｘｐｅｃｔｅｄ ｙｉｅｌｄ ｏｆ ｍｕｔａｔｉｏｎ）をさらに出力するように前記ディスプレイ装置を制御する、
請求項９に記載のコンピューティング装置。
被検体から前記シーケンシング領域を分離する場合に予想される突然変異歩留まり（ｅｘｐｅｃｔｅｄ ｙｉｅｌｄ ｏｆ ｍｕｔａｔｉｏｎ）をさらに出力するように前記ディスプレイ装置を制御する、
請求項９に記載のコンピューティング装置。
【請求項12】
前記プロセッサは、
前記医療情報に基づいて設定されたシーケンシング領域及び前記シーケンシング領域に関する詳細情報を含むレポート（ｒｅｐｏｒｔ）を生成する、
請求項１に記載のコンピューティング装置。
前記医療情報に基づいて設定されたシーケンシング領域及び前記シーケンシング領域に関する詳細情報を含むレポート（ｒｅｐｏｒｔ）を生成する、
請求項１に記載のコンピューティング装置。
【請求項13】
前記プロセッサは、
前記医療情報に基づいて被検体から特定の遺伝子変異を検出できる確率を確認し、前記確率が閾値以上である場合にシーケンシング領域に関する情報を送信する、
請求項１に記載のコンピューティング装置。
前記医療情報に基づいて被検体から特定の遺伝子変異を検出できる確率を確認し、前記確率が閾値以上である場合にシーケンシング領域に関する情報を送信する、
請求項１に記載のコンピューティング装置。
【請求項14】
病理スライド画像に対応する特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を取得するステップと、
前記特徴情報に基づいて前記病理スライド画像に関連する医療情報（ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）を生成するステップと、
前記医療情報及び前記医療情報に基づいた追加情報のうち少なくとも１つを出力するステップと、を含む、
方法。
前記特徴情報に基づいて前記病理スライド画像に関連する医療情報（ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）を生成するステップと、
前記医療情報及び前記医療情報に基づいた追加情報のうち少なくとも１つを出力するステップと、を含む、
方法。
【請求項15】
前記取得するステップは、
前記病理スライド画像に表現された少なくとも１つの対象体に関する情報に基づいて前記特徴情報を取得する、
請求項１４に記載の方法。
前記病理スライド画像に表現された少なくとも１つの対象体に関する情報に基づいて前記特徴情報を取得する、
請求項１４に記載の方法。
【請求項16】
前記特徴情報は、特徴埋め込みモデル（ｆｅａｔｕｒｅ ｅｍｂｅｄｄｉｎｇ ｍｏｄｅｌ）によって取得された少なくとも１つの第１特徴ベクトル（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を含み、
前記特徴埋め込みモデルは、前記病理スライド画像から前記少なくとも１つの対象体に関する情報を推論する第１機械学習モデルの少なくとも一部の層に基づいて生成される、
請求項１５に記載の方法。
前記特徴埋め込みモデルは、前記病理スライド画像から前記少なくとも１つの対象体に関する情報を推論する第１機械学習モデルの少なくとも一部の層に基づいて生成される、
請求項１５に記載の方法。
【請求項17】
前記生成するステップは、
少なくとも１つの第１特徴ベクトル及び前記病理スライド画像に表現された少なくとも１つの対象体に関する情報を組み合わせて第２特徴ベクトルを生成するステップと、
前記第２特徴ベクトルに基づいて前記医療情報を生成するステップと、を含む、
請求項１４に記載の方法。
少なくとも１つの第１特徴ベクトル及び前記病理スライド画像に表現された少なくとも１つの対象体に関する情報を組み合わせて第２特徴ベクトルを生成するステップと、
前記第２特徴ベクトルに基づいて前記医療情報を生成するステップと、を含む、
請求項１４に記載の方法。
【請求項18】
前記少なくとも１つの第１特徴ベクトル、または前記少なくとも１つの対象体に関する情報及び前記第２特徴ベクトルの基である新規特徴ベクトルのうち少なくとも１つに対してプーリング（ｐｏｏｌｉｎｇ）を実行するステップ、をさらに含む、
請求項１７に記載の方法。
請求項１７に記載の方法。
【請求項19】
前記第２特徴ベクトル及び前記病理スライド画像に対応する重み（ｗｅｉｇｈｔ）を組み合わせて新規特徴ベクトルを生成するステップをさらに含み、
前記医療情報を生成するステップは、
前記新規特徴ベクトルに基づいて前記医療情報を生成する、
請求項１７に記載の方法。
前記医療情報を生成するステップは、
前記新規特徴ベクトルに基づいて前記医療情報を生成する、
請求項１７に記載の方法。
【請求項20】
前記医療情報は、
免疫表現型（ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）、遺伝子型（ｇｅｎｏｔｙｐｅ）、バイオマーカースコア（ｂｉｏｍａｒｋｅｒ ｓｃｏｒｅ）、腫瘍純度（ｔｕｍｏｒ ｐｕｒｉｔｙ）、前記病理スライド画像に表現される癌（ｃａｎｃｅｒ）の治療方法のうち少なくとも１つを含む、
請求項１４に記載の方法。
免疫表現型（ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）、遺伝子型（ｇｅｎｏｔｙｐｅ）、バイオマーカースコア（ｂｉｏｍａｒｋｅｒ ｓｃｏｒｅ）、腫瘍純度（ｔｕｍｏｒ ｐｕｒｉｔｙ）、前記病理スライド画像に表現される癌（ｃａｎｃｅｒ）の治療方法のうち少なくとも１つを含む、
請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、病理スライド画像に基づいて医療情報を生成する方法及び装置に関する。
【背景技術】
【0002】
デジタル病理学（ｄｉｇｉｔａｌ ｐａｔｈｏｌｏｇｙ）分野は、病理スライド画像（ｐａｔｈｏｌｏｇｉｃａｌ ｓｌｉｄｅ ｉｍａｇｅ）をスキャンすることによって生成されたスライド全体画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ）を用いて当該患者の組織学的情報を取得したり、予後を予測したりする分野である。
【0003】
病理スライド画像は、対象体の染色された組織サンプルから取得することができる。例えば、組織サンプルは、ヘマトキシリン及びエオシン（ｈｅｍａｔｏｘｙｌｉｎ ａｎｄ ｅｏｓｉｎ）、三色素（ｔｒｉｃｈｒｏｍｅ）、過ヨウ素酸シッフ（ｐｅｒｉｏｄｉｃ ａｃｉｄ ｓｃｈｉｆｆ）、自動放射線撮影（ａｕｔｏｒａｄｉｏｇｒｐｈｙ）、酵素組織化学（ｅｎｚｙｍｅ ｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）、免疫蛍光（ｉｍｍｕｎｏ‐ｆｌｕｏｒｅｓｃｅｎｃｅ）及び免疫組織化学（ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）など様々な染色方式で染色することができる。染色された組織サンプルは、組織学及び生検評価に用いられ、疾患状態を理解するために分子プロファイル分析に進むかどうかを判断するための根拠になり得る。
【0004】
近年、医療画像と機械学習モデルを用いて被検体に関する医療情報を予測する技術が開発されている。特に、病理スライド画像に基づいて癌細胞、癌領域などを分析する技術が開発されている。また、遺伝子の突然変異と癌との関連性が明らかになるにつれて、遺伝子の突然変異を予測することにより被検者の癌発生の潜在的な危険性を予測する技術も台頭している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
病理スライド画像に基づいて医療情報を生成する方法及び装置を提供することにある。また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することにある。解決しようとする技術的課題は、前記の技術的課題に限定されず、他の技術的課題が存在することができる。
【課題を解決するための手段】
【0006】
一側面に係るコンピューティング装置は、少なくとも１つのメモリ及び少なくとも１つのプロセッサを含み、前記プロセッサは、病理スライド画像に対応する特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を取得し、前記特徴情報に基づいて前記病理スライド画像に関連する医療情報（ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、前記医療情報及び前記医療情報に基づいた追加情報のうち少なくとも一つを出力する。
【0007】
他の側面に係る方法は、病理スライド画像に対応する特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を取得するステップと、前記特徴情報に基づいて前記病理スライド画像に関連する医療情報（ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）を生成するステップと、前記医療情報及び前記医療情報に基づいた追加情報のうち少なくとも１つを出力するステップとを含む。
【0008】
さらに他の側面に係るコンピュータで読み取り可能な記録媒体は、上述した方法をコンピュータで実行させるためのプログラムを記録した記録媒体を含む。
【図面の簡単な説明】
【0009】
【図1】一実施形態に係る病理スライド画像から医療情報を生成するシステムの一例を説明するための図である。
【図2A】一実施形態に係るユーザ端末の一例を示す構成図である。
【図2B】一実施形態に係るサーバの一例を示す構成図である。
【図3】一実施形態に係る病理スライド画像から医療情報を生成する方法の一例を説明するためのフローチャートである。
【図4】一実施形態に係るプロセッサが少なくとも１つの対象体に関する情報を取得する一例を説明するための図である。
【図5】一実施形態に係るプロセッサが特徴情報を取得する一例を説明するための図である。
【図6】一実施形態に係るプロセッサが医療情報を生成する一例を説明するための図である。
【図7A】一実施形態に係る集約器及び分類器が動作する一例を説明するための図である。
【図7B】一実施形態に係る集約器及び分類器が動作する他の例を説明するための図である。
【図7C】一実施形態に係る集約器及び分類器が動作するさらに他の例を説明するための図である。
【図8】一実施形態に係る医療情報及び追加情報の例を説明するための図である。
【図9】一実施形態に係るプロセッサが医療情報及び／または追加情報を出力する一例を説明するための図である。
【図10A】一実施形態に係るプロセッサがシーケンシング領域を出力する一例を説明するための図である。
【図10B】一実施形態に係るプロセッサがシーケンシング領域を出力する他の例を説明するための図である。
【図10C】一実施形態に係るプロセッサがシーケンシング領域を出力するさらに他の例を説明するための図である。
【図10D】一実施形態に係るプロセッサがシーケンシング領域を出力するさらに他の例を説明するための図である。
【図11A】一実施形態に係るレポートの一例を示す図である。
【図11B】一実施形態に係るレポートの一例を示す図である。
【図12】一実施形態に係る病理スライド画像から医療情報を生成する方法の他の例を説明するためのフローチャートである。
【図13】病理スライド画像から医療情報を生成するシステムの他の例を説明するための図である。
【発明を実施するための形態】
【0010】
実施形態で使用される用語は、可能な限り現在広く使用されている一般的な用語を選択したが、これは当分野に従事する技術者の意図または判例、新しい技術の出現などによって変わることがある。また、特定の場合、出願人が任意に選定した用語もあり、この場合、該当する説明部分において詳細にその意味を記載する。したがって、明細書で使用される用語は、単なる用語の名称ではなく、その用語が有する意味と明細書の全体にわたる内容とに基づいて定義されるべきである。
【0011】
明細書全体において、ある部分がある構成要素を「含む」とする場合、これは、特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことができることを意味する。さらに、明細書に記載された「～ユニット」、「～モジュール」などの用語は、少なくとも１つの機能または動作を処理する単位を意味し、これはハードウェアまたはソフトウェアで具現化されたり、ハードウェアとソフトウェアの結合で具現化されたりすることがある。
【0012】
さらに、明細書で使用される「第１」または「第２」などの序数を含む用語は、様々な構成要素を説明するために使用することができるが、前記構成要素は前記用語によって限定されるべきではない。前記用語は、１つの構成要素を他の構成要素と区別する目的で使用されることがある。
【0013】
一実施形態によれば、「病理スライド画像」は、人体から採取した組織などについて一連の化学処理過程を経て固定及び染色された病理スライドを撮影した画像を指すことがある。さらに、病理スライド画像は、スライド全体の高解像度画像を含むスライド全体画像（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ、ＷＳＩ）を指してもよく、スライド全体画像の一部、例えば１つ以上のパッチ（ｐａｔｃｈ）を指してもよい。例えば、病理スライド画像は、スキャン装置（例えば、デジタルスキャナなど）を介して撮影またはスキャンされたデジタル画像を指してもよく、体内の特定のタンパク質、細胞（ｃｅｌｌ）、組織（ｔｉｓｓｕｅ）及び／または構造（ｓｔｒｕｃｔｕｒｅ）に関する情報を含んでもよい。さらに、病理スライド画像は１つ以上のパッチを含んでもよく、１つ以上のパッチにはアノテーション（ａｎｎｏｔａｔｉｏｎ）作業を介して組織学的情報を適用（例えば、タグ付け）することができる。
【0014】
「医療情報（ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）」とは、医療映像から抽出することができる医学的に意味のある任意の情報を指すことがある。例えば、医療情報は、免疫表現型（ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）、遺伝子型（ｇｅｎｏｔｙｐｅ）、バイオマーカースコア（ｂｉｏｍａｒｋｅｒ ｓｃｏｒｅ）、腫瘍純度（ｔｕｍｏｒ ｐｕｒｉｔｙ）、ＲＮＡに関する情報、微小環境（Ｔｕｍｏｒ ｍｉｃｒｏｅｎｖｉｒｏｎｍｅｎｔ）に関する情報、または、病理スライド画像に表現された癌（ｃａｎｃｅｒ）の治療方法のうち少なくとも１つを含むことができる。
【0015】
例えば、遺伝子型はシグネチャ（ｓｉｇｎａｔｕｒｅ）を含むことができる。シグネチャは、１つ以上の遺伝子またはその突然変異（ｍｕｔａｔｉｏｎ）が病理スライド画像上に発現されたものが総合された情報を指すことがある。例えば、遺伝子型は、ＫＲＡＳ（Ｋｉｒｓｔｅｎ ｒａｔ ｓａｒｃｏｍａ ｖｉｒａｌ）、ＫＲＡＳ Ｇ１２Ｃなどの遺伝子または突然変異を含むことができる。また、遺伝子型は、ＥＧＦＲ（ｅｐｉｄｅｒｍａｌ ｇｒｏｗｔｈ ｆａｃｔｏｒ ｒｅｃｅｐｔｏｒ）遺伝子の突然変異、ＡＬＫ（ａｎａｐｌａｓｔｉｃ ｌｙｍｐｈｏｍａ ｋｉｎａｓｅ）ｆｕｓｉｏｎ ｏｎｃｏｇｅｎｅ、ＲＯＳ１（ｒｅｃｅｐｔｏｒ ｔｙｒｏｓｉｎｅ ｋｉｎａｓｅ）ｏｎｃｏｇｅｎｅ、ＫＩＦ５Ｂ（ｋｉｎｅｓｉｎ ｆａｍｉｌｙ ５Ｂ）遺伝子、ＲＥＴ（ｒｅｃｅｐｔｏｒ ｔｙｒｏｓｉｎｅ ｋｉｎａｓｅ）ｏｎｃｏｇｅｎｅ、ＮＴＲＫ（ｎｅｕｒｏｔｒｏｐｈｉｃ ｔｙｒｏｓｉｎｅ ｒｅｃｅｐｔｏｒ ｋｉｎａｓｅ）ｏｎｃｏｇｅｎｅ、ＢＲＣＡ１遺伝子、ＢＲＣＡ２遺伝子、ＥＲＢＢ２（ｅｒｂ‐Ｂ２ ｒｅｃｅｐｔｏｒ ｔｙｒｏｓｉｎｅ ｋｉｎａｓｅ ２）遺伝子、ＢＲＡＦ（Ｂ‐Ｒａｆ）遺伝子、ＭＥＴ、ＭＥＴ ｐｒｏｔｏ ｏｎｃｏｇｅｎｅ、ＳＴＫ１１（ｓｅｒｉｎｅ／ｔｈｒｅｏｎｉｎｅ ｋｉｎａｓｅ １１）遺伝子、ＨＲＲ（ｈｏｍｏｌｏｇｏｕｓ ｒｅｃｏｍｂｉｎａｔｉｏｎ ｒｅｐａｉｒ）ｐａｔｈｗａｙ遺伝子、またはそれらの突然変異またはそれらの治療に関連する情報であってもよい。
【0016】
特に、一実施形態に係るプロセッサは、病理スライド画像からＫＲＡＳ Ｇ１２Ｃ突然変異を正確に予測することができ、ＫＲＡＳ Ｇ１２Ｃ突然変異は非小細胞肺癌（ＮＳＣＬＣ）の標的として使用されることがある。
【0017】
なお、本開示における遺伝子型は上述した例に限定されず、ＡＢＬ１、ＡＣＶＲ１Ｂ、ＡＫＴ１、ＡＫＴ２、ＡＫＴ３、ＡＬＫ、ＡＬＯＸ１２Ｂ、ＡＭＥＲ１、ＡＰＣ、ＡＲ、ＡＲＡＦ、ＡＲＦＲＰ１、ＡＲＩＤ １ Ａ、ＡＳＸＬ１、ＡＴＭ、ＡＴＲ、ＡＴＲＸ、ＡＵＲＫＡ、ＡＵＲＫＢ、ＡＸＩＮ１、ＡＸＬ、ＢＡＰ１、ＢＡＲＤ１、ＢＣＬ２、ＢＣＬ２Ｌ１、ＢＣＬ２Ｌ２、ＢＣＬ６、ＢＣＯＲ、ＢＣＯＲＬ１、ＢＣＲ、ＢＲＡＦ、ＢＲＣＡ１、ＢＲＣＡ２、ＢＲＤ４、ＢＲＩＰｌ、ＢＴＧ１、ＢＴＧ２、ＢＴＫ、Ｃ－Ｋｉｔ、Ｃｌｌｏｒｆ３０、Ｃ１７ｏｒｆ３９、ＣＡＦＲ、ＣＡＲＤ１１、ＣＡＳＰ８、ＣＢＦＢ、ＣＢＦ、ＣＣＮＤ１、ＣＣＮＤ２、ＣＣＮＤ３、ＣＣＮＥ１、ＣＤ２２、ＣＤ７０、ＣＤ７４、ＣＤ７９Ａ、ＣＤ７９Ｂ、ＣＤ２７４、ＣＤＣ７３、ＣＤＨ１、ＣＤＫ１２、ＣＤＫ４、ＣＤＫ６、ＣＤＫ８、ＣＤＫＮ１Ａ、ＣＤＫＮ１Ｂ、ＣＤＫＮ２Ａ、ＣＤＫＮ２Ｂ、ＣＤＫＮ２Ｃ、ＣＥＢＰＡ、ＣＨＥＫ１、ＣＨＥＫ２、ＣＩＣ、ＣＲＥＢＢＰ、ＣＲＫＬ、ＣＳＦ１Ｒ、ＣＳＦ３Ｒ、ＣＴＣＦ、ＣＴＮＮＡ１、ＣＴＮＮＢ１、ＣＵＬ３、ＣＵＬ４Ａ、ＣＸＣＲ４、ＣＹＰ１７Ａ１、ＤＡＸＸ、ＤＤＲ１、ＤＤＲ２、ＤＩＳ３、ＤＮＭＴ３Ａ、ＤＯＴ１Ｌ、ＥＥＤ、ＥＧＦＲ、ＥＰ３００、ＥＰＨＡ３、ＥＰＨＢ１、ＥＰＨＢ４、ＥＲＢＢ２、ＥＲＢＢ３、ＥＲＢＢ４、ＥＲＣＣ４、ＥＲＧ、ＥＲＲＦＩ１、ＥＳＲ１、ＥＴＶ４、ＥＴＶ５、ＥＴＶ６、ＥＷＳＲ１、ＥＺＨ２、ＥＺＲ、ＦＡＭ４６Ｃ、ＦＡＮＣＡ、ＦＡＮＣＣ、ＦＡＮＣＧ、ＦＡＮＣＬ、ＦＡＳ、ＦＢＸＷ７、ＦＧＦ１０、ＦＧＦ１２、ＦＧＦ１４、ＦＧＦ１９、ＦＧＦ２３、ＦＧＦ３、ＦＧＦ４、ＦＧＦ６、ＦＧＦＲ１、ＦＧＦＲ２、ＦＧＦＲ３、ＦＧＦＲ４、ＦＨ、ＦＦＣＮ、ＦＦＴ１、ＦＦＴ３、ＦＬＴ３、ＦＯＬＲ１、ＦＯＸＦ２、ＦＵＢＰ１、ＧＡＢＲＡ６、ＧＡＴ Ａ３、ＧＡＴＡ４、ＧＡＴＡ６、ＧＮＡ１１、ＧＮＡ１３、ＧＮＡＱ、ＧＮＡＳ、ＧＲＭ３、ＧＳＫ３Ｂ、Ｈ３Ｆ３Ａ、ＨＤＡＣ１、ＨＥＲ１、ＨＥＲ２、ＨＧＦ、ＨＬＡ、ＨＮＦ１Ａ、ＨＲＡＳ、ＨＳＤ３Ｂ１、ＩＤ３、ＩＤＨ１、ＩＤＨ２、ＩＧＦ１Ｒ、ＩＫＢＫＥ、ＩＫＺＦ１、ＩＮＰＰ４Ｂ、ＩＲＦ２、ＩＲＦ４、ＩＲＳ２、ＪＡＫ１、ＪＡＫ２、ＪＡＫ３、ＪＵＮ、ＫＤＭ５Ａ、ＫＤＭ５Ｃ、ＫＤＭ６Ａ、ＫＤＲ、ＫＥＡＰ１、ＫＥＦ、ＫＩＴ、ＫＩ－６７、ＫＦＨＦ６、ＫＭＴ２Ａ、ＫＭＴ２Ｄ、ＫＲＡＳ、ＦＴＫ、ＦＹＮ、ＭＡＦ，ＭＡＰ２Ｋ１、ＭＡＰ２Ｋ２、ＭＡＰ２Ｋ４、ＭＡＰ３Ｋ１、ＭＡＰ３Ｋ１３、ＭＡＰＫ１、ＭＣＦ１、ＭＤＭ２、ＭＤＭ４、ＭＥＤ １２、ＭＥＦ２Ｂ、ＭＥＮ１、ＭＥＲＴＫ、ＭＥＴ、ＭＩＴＦ、ＭＫＮＫ１、ＭＥＨｌ、ＭＰＥ、ＭＲＥ１１Ａ、ＭＳＨ２、ＭＳＨ３、ＭＳＨ６、ＭＳＴ１Ｒ、ＭＴＡＰ、ＭＴＯＲ、ＭＵＴＹＨ、ＭＹＢ、ＭＹＣ、ＭＹＣＬ、ＭＹＣＮ、ＭＹＤ８８、ＮＢＮ、ＮＦ１、ＮＦ２、ＮＦＥ２Ｌ２、ＮＦＫＢＩＡ、ＮＫＸ２－１、ＮＯＴＣＨ１、ＮＯＴＣＨ２、ＮＯＴＣＨ３、ＮＰＭ１、ＮＲＡＳ、ＮＳＤ３、ＮＴ５Ｃ２、ＮＴＲＫ１ ＮＴＲＫ２、ＮＴＲＫ３、ＮＵＴＭ１、Ｐ２ＲＹ８、ＰＡＬＢ２、ＰＡＲＫ２、ＰＡＲＰ１、ＰＡＲＰ２、ＰＡＲＰ３、ＰＡＸ５、ＰＢＲＭ１、ＰＤＣＤ１、ＰＤＣＤ１ＬＧ２、ＰＤＧＦＲＡ、ＰＤＧＦＲＢ、ＰＤＫ１、ＰＩＫ３Ｃ２Ｂ、ＰＩＫ３Ｃ２Ｇ、ＰＩＫ３ＣＡ、ＰＩＫ３ＣＢ、ＰＩＫ３Ｒ１、ＰＩＭ１、ＰＭＳ２、ＰＯＬＤ１、ＰＯＬＥ、ＰＰＡＲＧ、ＰＰＰ２Ｒ１Ａ、ＰＰＰ２Ｒ２Ａ、ＰＲＤＭ１、ＰＲＫＡＲ１Ａ、ＰＲＫＣＩ、ＰＴＣＨ１、ＰＴＥＮ、ＰＴＰＮ１１、ＰＴＰＲＯ、ＱＫＩ、ＲＡＣ１、ＲＡＤ２１、ＲＡＤ５１、ＲＡＤ５１Ｂ、ＲＡＤ５１Ｃ、ＲＡＤ５１Ｄ、ＲＡＤ５２、ＲＡＤ５４Ｌ、ＲＡＦ１、ＲＡＲＡ、ＲＢＩ、ＲＢＭ１０、ＲＥＬ、ＲＥＴ、ＲＩＣＴＯＲ、ＲＮＦ４３、ＲＯＳ１、ＲＰＴＯＲ、ＲＳＰ０２、ＳＤＣ４、ＳＤＨＡ、ＳＤＨＢ、ＳＤＨＣ、ＳＤＨＤ、ＳＥＴＤ２、ＳＦ３Ｂ１、ＳＧＫ１、ＳＬＣ３４Ａ２、ＳＭＡＤ２、ＳＭＡＤ４、ＳＭＡＲＣＡ４、ＳＭＡＲＣＢ１、ＳＭＯ、ＳＮＣＡＩＰ、ＳＯＣＳ１、ＳＯＸ２、ＳＯＸ９、ＳＰＥＮ、ＳＰＯＰ、ＳＲＣ、ＳＴＡＧ２、ＳＴＡＴ３、ＳＴＫ１１、ＳＵＦＵ、ＳＹＫ、ＴＢＸ３、ＴＥＫ、ＴＥＲＣ、ＴＥＲＴ、ＴＥＴ２、ＴＰ５３、ＴＦＧＢ及び／またはＴＧＦＢＲのうち少なくとも１つを含むことができる。
【0018】
さらに、医療情報は、医療映像内の特定の組織（例えば、癌組織、癌基質組織など）及び／または特定の細胞（例えば、腫瘍細胞、リンパ球細胞、マクロファージ細胞（Ｍａｃｒｏｐｈａｇｅ ｃｅｌｌｓ）、内皮細胞（Ｅｎｄｏｔｈｅｌｉａｌ ｃｅｌｌｓ）、線維芽細胞（Ｆｉｂｒｏｂｌａｓｔ ｃｅｌｌｓ）などの領域、位置、大きさ、癌の診断情報、被検者の癌の発症可能性に関連する情報及び／または癌治療に関連する医学的結論などを含むことができるが、これに限定されない。
【0019】
また、医療情報は、医療映像から得られる定量化された数値だけでなく、数値を視覚化した情報、数値に応じた予測情報、画像情報、統計学的情報などを含むことができる。
【0020】
例えば、医療情報はユーザ端末に提供されてもよく、ディスプレイ装置を介して出力されてもよい。
【0021】
以下では、添付の図面を参照して実施形態について詳細に説明する。しかしながら、実施形態は様々な異なる形態で具現化されてもよく、ここで説明する例に限定されない。
【0022】
図１は、一実施形態に係る病理スライド画像から医療情報を生成するシステムの一例を説明するための図である。
【0023】
図１を参照すると、システム１はユーザ端末１０及びサーバ２０を含む。例えば、ユーザ端末１０とサーバ２０とは、有線または無線通信方式で接続され、相互に様々なデータを送受信することができる。
【0024】
説明の便宜上、図１にはシステム１にユーザ端末１０及びサーバ２０が含まれるように示しているが、これに限定されない。例えば、システム１は他の外部デバイス（図示せず）を含むことができる。さらに、以下で説明されるユーザ端末１０及びサーバ２０の動作は、単一のデバイス（例えば、ユーザ端末１０またはサーバ２０）またはより多くのデバイスによって具現化されてもよい。
【0025】
ユーザ端末１０は、ディスプレイ装置及びユーザ入力を受信する装置（例えば、キーボード、マウスなど）を備え、メモリとプロセッサを含むコンピューティング装置であってもよい。また、ディスプレイ装置はタッチスクリーンで具現化され、ユーザ入力を受信する機能を実行することもできる。例えば、ユーザ端末１０としては、ノートパソコン（ｎｏｔｅｂｏｏｋ）、デスクトップ（ｄｅｓｋｔｏｐ）ＰＣ、ラップトップ（ｌａｐｔｏｐ）、タブレットコンピュータ（ｔａｂｌｅｔ ｃｏｍｐｕｔｅｒ）、スマートフォンなどが挙げられるが、これらに限定されない。
【0026】
サーバ２０は、ユーザ端末１０を含む外部デバイス（図示せず）と通信する装置であってもよい。例えば、サーバ２０は、病理スライド画像、病理スライド画像に対応するビットマップ画像、病理スライド画像の分析によって生成された情報（例えば、病理スライド画像に表現された少なくとも１つの対象体に関する情報、少なくとも１つのバイオマーカー発現（ｅｘｐｒｅｓｓｉｏｎ）に関する情報、複数のバイオマーカーの組み合わせによって発現されたシグネチャに関する情報、病理スライド画像に関連する医療情報、医療情報に基づいて導出された追加情報などを含む）、病理スライド画像の分析のために用いられる機械学習モデルに関する情報を含む様々なデータを記憶する装置であってもよい。あるいは、サーバ２０は、メモリとプロセッサとを含み、独自の演算能力を有するコンピューティング装置であってもよい。サーバ２０がコンピューティング装置である場合、サーバ２０は、図１～図１３を参照して後述するユーザ端末１０の動作のうち少なくとも一部を実行することができる。例えば、サーバ２０はクラウド（ｃｌｏｕｄ）サーバであってもよいが、これに限定されない。
【0027】
ユーザ端末１０は、病理スライド画像及び／または病理スライドの分析によって生成された情報を示す画像４０を出力する。例えば、画像４０には、病理スライド画像に表現された少なくとも１つの対象体に関する様々な情報を表現することができる。また、画像４０にはバイオマーカーの発現情報を表現することができる。さらに、画像４０には、病理スライド画像に含まれた少なくとも一部の領域に関する医療情報及び／または医療情報に基づいて導出された追加情報を表現することができる。
【0028】
病理スライド画像は、体内から採取した組織などを顕微鏡で観察するために一連の化学的処理過程を経て固定及び染色された病理スライドを撮影した画像を指すことがある。一例として、病理スライド画像は、スライド全体の高解像度画像を含むスライド全体画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ）を指してもよい。他の例として、病理スライド画像は、そのような高解像度のスライド全体画像の一部を指してもよい。
【0029】
一方、病理スライド画像は、スライド全体画像からパッチ（または、タイル（ｔｉｌｅ））単位で分割された領域を指すことがある。例えば、パッチ（または、タイル（ｔｉｌｅ））は、一定の領域の大きさを有することがある。
【0030】
また、病理スライド画像は、顕微鏡を用いて撮影されたデジタル画像を指すことができ、体内の細胞（ｃｅｌｌ）、組織（ｔｉｓｓｕｅ）及び／または構造（ｓｔｒｕｃｔｕｒｅ）に関する情報を含むことができる。
【0031】
病理スライド画像の分析により、病理スライド画像に表現された生物学的要素（例えば、癌細胞、免疫細胞、癌領域など）が確認されることがある。これらの生物学的要素は、疾患の組織学的診断、疾患予後の予測、疾患の治療方向の決定などに活用することができる。
【0032】
一方、遺伝子の突然変異や様々なバイオマーカーが特定の癌において標的になったり、癌の診断、治療、予後観察などにおいて重要な指標になったりすることがある。例えば、ＫＲＡＳ Ｇ１２Ｃ突然変異は非小細胞肺癌（ＮＳＣＬＣ）において標的になることがあり、これによって組織ベースのＫＲＡＳ突然変異検査は非小細胞肺癌の治療の有無を決定することにおいて必須の検査と認められている。
【0033】
一般に、遺伝子の突然変異や様々なバイオマーカーなどを含む医療情報は、病理学者が病理スライド画像に基づいて判断し、臨床的結論を導出する。しかし、臨床的結論に対する病理学者の主観的判断が介入することがある点、判断結果に対する正確性が担保されにくい点により、病理スライド画像から医療情報を導出する過程には多くの費用と時間がかかることがある。
【0034】
一実施形態に係るユーザ端末１０は、病理スライド画像に対応する特徴情報に基づいて病理スライド画像に関連する医療情報を生成する。そして、ユーザ端末１０は、医療情報及び医療情報に基づいた追加情報のうち少なくとも１つを出力する。
【0035】
したがって、ユーザ端末１０は、病理スライド画像から遺伝子の突然変異や様々なバイオマーカーなどの医療情報及び医療情報に基づいた追加情報を正確かつ迅速に生成することができる。
【0036】
さらに、病理スライド画像から抽出された対象体に関する情報が病理スライド画像から抽出された特徴情報と共に結合されることによって、病理スライド画像内の様々なパターンと特徴を用いて医療情報を生成することができる。したがって、病理スライド画像から生成された医療情報は、高い精度を保証することができる。
【0037】
また、医療情報に様々な遺伝子突然変異に関する情報（すなわち、遺伝子型情報）が含まれることによって、少ない費用でも迅速かつ正確に標的抗癌治療を行うことができる。例えば、ユーザ端末１０は、機械学習モデルと病理スライド画像とを用いて、医療情報（例えば、ＫＲＡＳ Ｇ１２Ｃ突然変異など）を正確かつ安定性高く予測することができる。したがって、ユーザ端末１０が予測した医療情報は、非小細胞肺癌（ＮＳＣＬＣ）などの標的治療のためのＮＧＳ（Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｓｅｑｕｅｎｃｉｎｇ）検査に役立つことができる。
【0038】
さらに、ユーザ端末１０は、様々な遺伝子突然変異情報（すなわち、遺伝子型情報）のヒートマップまたは分布を作成することができ、医療情報及び追加情報を含む報告書を生成することができる。したがって、ユーザ端末１０から提供される様々な情報は、ＮＧＳ検査を設計したり、標的抗癌治療を必要とする患者をモニタリングしたりするのに役立つ。
【0039】
【0040】
一方、説明の便宜上、明細書全体を通してユーザ端末１０がすべての動作を実行すると説明したが、これに限定されない。例えば、ユーザ端末１０によって実行される動作の少なくとも一部は、サーバ２０によって実行されることもある。
【0041】
例えば、サーバ２０は、病理スライド画像に対応する特徴情報を取得することができる。また、サーバ２０は、特徴情報に基づいて病理スライド画像に関連する医療情報を生成することができる。さらに、サーバ２０は、医療情報及び医療情報に基づいた追加情報のうち少なくとも１つを生成し、それをユーザ端末１０及び／または他の外部デバイス（図示せず）に送信することができる。ただし、サーバ２０の動作は上述したものに限定されない。図２Ａは、一実施形態に係るユーザ端末の一例を示す構成図である。
【0042】
図２Ａを参照すると、ユーザ端末１００は、プロセッサ１１０、メモリ１２０、入出力インタフェース１３０及び通信モジュール１４０を含む。説明の便宜上、図２Ａには、本発明に関連する構成要素のみが示されている。したがって、図２Ａに示す構成要素に加えて、他の汎用構成要素がユーザ端末１００にさらに含まれていてもよい。さらに、図２Ａに示されるプロセッサ１１０、メモリ１２０、入出力インタフェース１３０及び通信モジュール１４０を、独立した装置として具現化することができるのは、本発明に関連する技術分野における一般的な知識を有する者に自明である。
【0043】
プロセッサ１１０は、基本的な算術、論理及び入出力演算を実行することによって、コンピュータプログラムの命令を処理することができる。ここで、命令は、メモリ１２０または外部装置（例えば、サーバ２０など）により提供することができる。さらに、プロセッサ１１０は、ユーザ端末１００に含まれる他の構成要素の動作を全体的に制御することができる。
【0044】
プロセッサ１１０は、病理スライド画像に対応する特徴情報を取得する。例えば、プロセッサ１１０は、病理スライド画像に表現された少なくとも１つの対象体に関する情報に基づいて第１特徴情報を取得することができる。
【0045】
例えば、第１特徴情報は、特徴埋め込みモデル（ｆｅａｔｕｒｅ ｅｍｂｅｄｄｉｎｇ ｍｏｄｅｌ）によって取得することができる少なくとも１つの特徴ベクトル（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を含むことができる。ここで、特徴埋め込みモデルは、病理スライド画像から少なくとも１つの対象体に関する情報を推論する第１機械学習モデルの少なくとも一部の層に基づいて生成することができる。
【0046】
プロセッサ１１０は、第１特徴情報に基づいて病理スライド画像に関連する医療情報を生成する。例えば、プロセッサ１１０は、第１特徴情報及び対象体に関する情報を組み合わせて第２特徴情報を生成し、第２特徴情報に基づいて医療情報を生成することができる。第２特徴情報は、少なくとも１つの第１特徴ベクトル及び対象体に関する情報を組み合わせて生成された別の特徴ベクトルであってもよい。
【0047】
このとき、プロセッサ１１０は、第１特徴ベクトル、または対象体に関する情報及び第２特徴ベクトルの基である新規特徴ベクトルのうち少なくとも１つに対してプーリング（ｐｏｏｌｉｎｇ）を実行することができる。
【0048】
また、プロセッサ１１０は、第２特徴ベクトル及び病理スライド画像に対応する重み（ｗｅｉｇｈｔ）を組み合わせて新規特徴ベクトルを生成し、新規特徴ベクトルに基づいて医療情報を生成することができる。
【0049】
プロセッサ１１０は、医療情報及び医療情報に基づいた追加情報のうち少なくとも１つを出力する。プロセッサ１１０は、医療情報に基づいて追加情報を生成することができ、医療情報及び／または追加情報を出力することができる。
【0050】
一例として、プロセッサ１１０は、病理スライド画像に表現された少なくとも１つの遺伝子変異を示す情報を病理スライド画像上に表示するようにディスプレイ装置を制御することができる。
【0051】
他の例として、プロセッサ１１０は、医療情報に基づいて設定されたシーケンシング領域（ｓｅｑｕｅｎｃｉｎｇ ａｒｅａ）を病理スライド画像上に表示するようにディスプレイ装置を制御することができる。このとき、シーケンシング領域は、被検体からシーケンシング領域を分離する方法のそれぞれに適応的に（ａｄａｐｔｉｖｅｌｙ）設定することができる。例えば、プロセッサ１１０は、被検体からシーケンシングを実行する部分を分離及び切開する方法に応じてシーケンシング領域が異なるように設定することができる。また、プロセッサ１１０は、被検体からシーケンシング領域を分離する場合に予想される突然変異歩留まり（ｅｘｐｅｃｔｅｄ ｙｉｅｌｄ ｏｆ ｍｕｔａｔｉｏｎ）をさらに出力するようにディスプレイ装置を制御することができる。
【0052】
他の例として、プロセッサ１１０は、医療情報に基づいて設定されたシーケンシング領域及びシーケンシング領域に関する詳細情報を含むレポート（ｒｅｐｏｒｔ）を生成することができる。
【0053】
他の例として、プロセッサ１１０は、医療情報に基づいて被検体から特定の遺伝子変異を検出できる可能性を確認し、確率が閾値以上の場合にシーケンシング領域に関する情報を他の外部デバイスに送信することができる。
【0054】
プロセッサ１１０は、複数の論理ゲートのアレイで具現化されてもよく、汎用のマイクロプロセッサと、このマイクロプロセッサで実行することができるプログラムが記憶されたメモリとの組み合わせで具現化されてもよい。例えば、プロセッサ１１０は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態機械などを含むことができる。一部環境において、プロセッサ１１０は、特定用途向け半導体（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを含むこともできる。例えば、プロセッサ１１０は、デジタル信号プロセッサ（ＤＳＰ）とマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）コアと結合された１つ以上のマイクロプロセッサとの組み合わせ、または他の任意のそのような構成の組み合わせなどの処理デバイスの組み合わせを指すこともできる。
【0055】
メモリ１２０は、非一時的な任意のコンピュータ読み取り可能な記憶媒体を含むことができる。一例として、メモリ１２０は、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの不揮発性大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含むことができる。他の例として、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブなどの不揮発性大容量記憶装置は、メモリとは別の独立した永続記憶装置であってもよい。また、メモリ１２０には、オペレーティングシステム（ＯＳ）と少なくとも１つのプログラムコード（例えば、図３～図１３を参照して後述する動作をプロセッサ１１０が実行するためのコード）を記憶することができる。
【0056】
これらのソフトウェア構成要素は、メモリ１２０とは別のコンピュータで読み取り可能な記録媒体からロードすることができる。このような別途のコンピュータで読み取り可能な記録媒体は、ユーザ端末１００に直接接続できる記録媒体であってもよく、例えば、フロッピーディスクドライブ、ディスク、テープ、ＤＶＤ／ＣＤ‐ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含むことができる。または、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではなく通信モジュール１４０を介してメモリ１２０にロードすることもできる。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システムが通信モジュール１４０を介して提供するファイルによってインストールされるコンピュータプログラム（例えば、図３～図１３を参照して後述する動作をプロセッサ１１０が実行するためのコンピュータプログラムなど）に基づいてメモリ１２０にロードすることができる。
【0057】
入出力インタフェース１３０は、ユーザ端末１００に接続されるか、ユーザ端末１００に含まれることがある入力または出力のための装置（例えば、キーボード、マウスなど）とのインタフェースのための手段であってもよい。図２Ａでは、入出力インタフェース１３０がプロセッサ１１０とは別に構成された要素として示されているが、これに限定されず、入出力インタフェース１３０がプロセッサ１１０に含まれるように構成されていてもよい。
【0058】
通信モジュール１４０は、ネットワークを介してサーバ２００とユーザ端末１００とが互いに通信するための構成または機能を提供することができる。また、通信モジュール１４０は、ユーザ端末１００が他の外部デバイスと通信するための構成または機能を提供することができる。例えば、プロセッサ１１０の制御に従って提供される制御信号、命令、データなどを通信モジュール１４０とネットワークを介してサーバ２０及び／または外部デバイスに送信することができる。
【0059】
一方、図２Ａには示されていないが、ユーザ端末１００はディスプレイ装置をさらに含んでもよい。または、ユーザ端末１００は、独立したディスプレイ装置と有線または無線通信方式で接続され、相互間でデータを送受信することができる。例えば、ディスプレイ装置を介して、病理スライド画像、病理スライド画像の分析情報、医療情報、医療情報に基づいた追加情報などをユーザ３０に提供することができる。
【0060】
図２Ｂは、一実施形態に係るサーバの一例を示す構成図である。
【0061】
図２Ｂを参照すると、サーバ２００はプロセッサ２１０、メモリ２２０及び通信モジュール２３０を含む。説明の便宜上、図２Ｂには、本発明に関連する構成要素のみが示されている。したがって、図２Ｂに示す構成要素に加えて、他の汎用構成要素がサーバ２００にさらに含まれていてもよい。さらに、図２Ｂに示されるプロセッサ２１０、メモリ２２０及び通信モジュール２３０を、独立した装置として具現化することができるのは、本発明に関連する技術分野における一般的な知識を有する者に自明である。
【0062】
プロセッサ２１０は、内部メモリ２２０、ユーザ端末１００及び他の外部デバイスのうち少なくとも１つから病理スライド画像を取得することができる。プロセッサ２１０は、病理スライド画像に表現された少なくとも１つの対象体を分析したり、病理スライド画像に対応する特徴情報を取得したり、特徴情報に基づいて病理スライド画像に関連する医療情報を生成したり、医療情報及び追加情報のうち少なくとも１つをユーザ端末１００に送信したりすることができる。
【0063】
言い換えれば、図２Ａを参照して上述したプロセッサ１１０の動作のうち少なくとも１つをプロセッサ２１０によって実行することができる。この場合、ユーザ端末１００は、サーバ２００から送信された情報を、ディスプレイ装置を介して出力することができる。
【0064】
一方、プロセッサ２１０の具現例は、図２Ａを参照して上述したプロセッサ１１０の具現例と同じであるため、具体的な説明は省略する。
【0065】
メモリ２２０には、病理スライド画像、プロセッサ２１０の動作に従って生成されたデータなど、様々なデータを記憶することができる。さらに、メモリ２２０には、オペレーティングシステム（ＯＳ）と少なくとも１つのプログラム（例えば、プロセッサ２１０が動作するのに必要なプログラムなど）を記憶することができる。
【0066】
一方、メモリ２２０の具現例は、図２Ａを参照して上述したメモリ１２０の具現例と同じであるため、具体的な説明は省略する。
【0067】
通信モジュール２３０は、ネットワークを介してサーバ２００とユーザ端末１００とが互いに通信するための構成または機能を提供することができる。また、通信モジュール２３０は、サーバ２００が他の外部デバイスと通信するための構成または機能を提供することができる。例えば、プロセッサ２１０の制御に従って提供される制御信号、命令、データなどを通信モジュール２３０とネットワークを介してユーザ端末１００及び／または外部デバイスに送信することができる。
【0068】
図３は、一実施形態に係る病理スライド画像から医療情報を生成する方法の一例を説明するためのフローチャートである。
【0069】
図３に示す方法は、図１及び図２Ａに示すユーザ端末１０、１００またはプロセッサ１１０で時系列的に処理されるステップからなる。したがって、以下で省略した内容であっても、図１～図２Ａに示されるユーザ端末１０、１００またはプロセッサ１１０に関して上述した内容は、図３に示す方法にも適用することができる。
【0070】
【0071】
ステップ３１０で、プロセッサ１１０は、病理スライド画像に対応する特徴情報を取得する。
【0072】
本開示において、病理スライド画像は、スライド全体画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ）またはスライド全体画像の一部であってもよい。ここで、一部をパッチ（ｐａｔｃｈ）またはタイル（ｔｉｌｅ）と呼ぶことができ、スライド全体画像の一部画像を意味する。例えば、パッチまたはタイルは、所定の対象体を示す画像であってもよく、ユーザ３０が指定した関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を示す画像であってもよい。
【0073】
例えば、プロセッサ１１０は、病理スライド画像を分析して少なくとも１つの対象体に関する情報を取得することができる。そして、プロセッサ１１０は、少なくとも１つの対象体に関する情報に基づいて特徴情報を取得することができる。
【0074】
ここで、対象体は、被検体を構成する細胞、組織、構造などを含むことができる。例えば、プロセッサ１１０は、病理スライド画像から癌領域（ｃａｎｃｅｒ ａｒｅａ）、癌基質領域（ｃａｎｃｅｒ ｓｔｒｏｍａ ａｒｅａ）、壊死領域（ｎｅｃｒｏｓｉｓ ａｒｅａ）及びバックグラウンド領域（ｂａｃｋｇｒｏｕｎｄ）などを分類及び抽出することができる。また、プロセッサ１１０は、病理スライド画像に表現された複数の細胞を腫瘍細胞（ｔｕｍｏｒ ｃｅｌｌ）、リンパ球細胞（ｌｙｍｐｈｏｃｙｔｅｓ ｃｅｌｌ）及びその他の細胞のうち少なくとも１つに分類することができる。
【0075】
一方、「特徴情報」は、以下の図４で説明する少なくとも１つの対象体に関する情報４３０に対応してもよく、少なくとも１つの第１特徴ベクトル５３０に対応してもよい。以下、図４及び図５を参照して、プロセッサ１１０が特徴情報を取得する一例を説明する。
【0076】
図４は、一実施形態に係るプロセッサが少なくとも１つの対象体に関する情報を取得する一例を説明するための図である。
【0077】
図４を参照すると、プロセッサ１１０は、第１機械学習モデル４１０を用いて少なくとも１つの対象体に関する情報４３０を取得することができる。例えば、第１機械学習モデル４１０は、病理スライド画像４２０が入力されると、少なくとも１つの対象体に関する情報４３０が出力されるように学習することができる。
【0078】
少なくとも１つの対象体に関する情報４３０を抽出することができる画像である場合なら、制限なく病理スライド画像４２０に該当しうる。例えば、病理スライド画像４２０は、１つ以上の方法で染色された画像（例えば、Ｈ＆Ｅ ｓｔａｉｎｅｄ ｉｍａｇｅ、ＩＨＣ ｓｔａｉｎｅｄ ｉｍａｇｅなど）を意味してもよい。一方、本明細書では、病理スライド画像を分析の対象として前提としたが、これに限定されない。例えば、一実施形態に係るプロセッサ１１０は、病理スライド画像だけでなく、被検者の身体を撮影した様々な種類の医療画像（例えば、ＣＸＲ（Ｃｈｅｓｔ Ｘ‐Ｒａｙ）、ＭＭＧ、ｕｎｓｔａｉｎｅｄ ｓｌｉｄｅ ｉｍａｇｅ、放射線画像など）も病理スライド画像４２０に置き換えて分析することができる。
【0079】
少なくとも１つの対象体に関する情報４３０は、組織に関する情報及び／または細胞に関する情報を含むことができる。ただし、少なくとも１つの対象体に関する情報４３０はこれに限定されず、病理スライド画像４２０が含む視覚的情報（ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）であれば制限なく含むことができる。例えば、少なくとも１つの対象体に関する情報４３０は、病理スライド画像４２０に表現された様々な形態（ｍｏｒｐｈｏｌｏｇｙ）情報を含むことができる。
【0080】
一例として、プロセッサ１１０は、第１機械学習モデル４１０を用いて病理スライド画像４２０を分析し、病理スライド画像４２０に表現された複数の組織を分類することができる。
【0081】
まず、プロセッサ１１０は、病理スライド画像４２０から組織に該当する領域を検出することができる。プロセッサ１１０は、機械学習モデルを用いて、組織を示す層の形で検出結果を出力することができる。この場合、機械学習モデルは、複数の参照病理スライド画像及び複数の参照ラベル情報を含む学習データを用いて、参照病理スライド画像内の組織に該当する領域を検出するように学習することができる。
【0082】
また、プロセッサ１１０は、第１機械学習モデル４１０を用いて病理スライド画像４２０に表現された複数の組織を分類することができる。例えば、プロセッサ１１０は、病理スライド画像４２０を癌領域（ｃａｎｃｅｒ ａｒｅａ）、癌基質領域（ｃａｎｃｅｒ ｓｔｒｏｍａ ａｒｅａ）、壊死領域（ｎｅｃｒｏｓｉｓ ａｒｅａ）及びバックグラウンド領域（ｂａｃｋｇｒｏｕｎｄ）のうち少なくとも１つに分類することができる。ここで、バックグラウンド領域は、生物学的ノイズ（ｂｉｏｌｏｇｉｃａｌ ｎｏｉｓｅ）を示す領域及び／または技術的ノイズ（ｔｅｃｈｎｉｃａｌ ｎｏｉｓｅ）を示す領域を含みうる。例えば、生物学的ノイズを示す領域は正常領域を含み、技術的ノイズを示す領域は劣化領域を含みうる。
【0083】
ただし、プロセッサ１１０が病理スライド画像４２０に表現される少なくとも一部の領域を分類する例は、上述したものに限定されない。言い換えれば、上述した４種類の領域（癌領域、癌基質領域、壊死領域及びバックグラウンド領域）に限定されず、プロセッサ１１０は、様々な基準によって病理スライド画像４２０に表現される少なくとも１つの領域を、複数のカテゴリに分類することができる。病理スライド画像４２０に表現される少なくとも１つの領域は、予め設定された基準またはユーザが設定した基準に従って複数のカテゴリに分類することができる。また、ノイズの種類は、生物学的ノイズ及び技術的ノイズに限定されない。
【0084】
他の例として、プロセッサ１１０は、第１機械学習モデル４１０を用いて病理スライド画像４２０を分析し、病理スライド画像４２０に表現された複数の細胞を分類することができる。
【0085】
まず、プロセッサ１１０は、第１機械学習モデル４１０を用いて病理スライド画像４２０から細胞を検出し、細胞を示す層の形で検出結果を出力することができる。プロセッサ１１０が病理スライド画像４２０を分析する具体的な方法は、上述した内容と同じである。
【0086】
また、プロセッサ１１０は、第１機械学習モデル４１０を用いて病理スライド画像４２０に表現された複数の細胞を分類することができる。例えば、プロセッサ１１０は、病理スライド画像４２０に表現された細胞を腫瘍細胞（ｔｕｍｏｒ ｃｅｌｌ）、リンパ球細胞（ｌｙｍｐｈｏｃｙｔｅｓ ｃｅｌｌ）及びその他の細胞のうち少なくとも１つに分類することができる。ただし、プロセッサ１１０が病理スライド画像４２０に表現された細胞を分類する例は、上述したものに限定されない。言い換えれば、プロセッサ１１０は、互いに異なる種類の細胞を分類する様々な基準に従って、病理スライド画像４２０に表現された細胞をグループ化することができる。
【0087】
本開示において、機械学習モデルは、生物学的ニューラルネットワークの構造に基づいて具現化された統計学的学習アルゴリズムまたはそのアルゴリズムを実行する構造を意味する。例えば、機械学習モデルは、生物学的ニューラルネットワークと同様に、シナプスの組み合わせでネットワークを形成した人工ニューロンであるノード（ｎｏｄｅ）がシナプスの重みを繰り返し調整し、特定の入力に対応する正しい出力と推論された出力との間の誤差が減少するように学習することにより、問題解決能力を有するモデルを示すことができる。例えば、機械学習モデルは、機械学習、ディープラーニングなどの人工知能学習法に用いられる任意の確率モデル、ニューラルネットワークモデルなどを含むことができる。
【0088】
例えば、機械学習モデルは、多層のノードとそれらの間の接続からなる多層パーセプトロン（ＭＬＰ：ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）で具現化することができる。本実施形態に係る機械学習モデルは、ＭＬＰを含む様々な人工ニューラルネットワークモデル構造のうちの１つを用いて具現化することができる。例えば、機械学習モデルは、外部から入力信号またはデータを受信する入力層と、入力データに対応した出力信号またはデータを出力する出力層と、入力層と出力層の間に位置し、入力層から信号を受け、特性を抽出して出力層に伝達する少なくとも１つの隠蔽層とで構成することができる。出力層は、隠蔽層から信号またはデータを受信して外部に出力する。
【0089】
したがって、機械学習モデルは、１つ以上の病理スライド画像を受信し、病理スライド画像に含まれる１つ以上の対象体（例えば、細胞、組織、構造など）に関する情報を抽出するように学習することができる。
【0090】
上述のように、一実施形態に係るプロセッサ１１０は、病理スライド画像４２０から少なくとも１つの対象体に関する情報４３０を生成することができる。一実施形態に係るプロセッサ１１０は、少なくとも１つの対象体に関する情報４３０を用いて、最終的に医療情報及び医療情報に基づいた追加情報を生成することができる。
【0091】
一方、一実施形態に係るプロセッサ１１０は、少なくとも１つの対象体に関する情報４３０だけでなく、病理スライド画像から抽出される少なくとも１つの特徴ベクトル（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を用いて医療情報及び医療情報に基づいた追加情報を生成することもできる。以下で詳細に説明する。
【0092】
図５は、一実施形態に係るプロセッサが特徴情報を取得する一例を説明するための図である。
【0093】
図５を参照すると、プロセッサ１１０は、特徴埋め込みモデル５１０を用いて少なくとも１つの第１特徴ベクトル５３０を取得することができる。例えば、特徴埋め込みモデル５１０は、少なくとも１つの対象体に関する情報５２０を用いて少なくとも１つの第１特徴ベクトル５３０を生成することができる。
【0094】
特徴埋め込みモデル５１０は、少なくとも１つの対象体に関する情報５２０が意味情報（ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ）に抽象化（ａｂｓｔｒａｃｔｉｏｎ）された特徴ベクトルを生成するモデルを意味する。ここで、少なくとも１つの対象体に関する情報５２０は、図４に示す情報４３０に対応し、病理スライド画像４２０に表現された形態情報を含む。
【0095】
一例として、特徴埋め込みモデル５１０は、第１機械学習モデル４１０の少なくとも一部の層に基づいて生成することができる。図４を参照して上述した内容によると、第１機械学習モデル４１０は、病理スライド画像４２０から少なくとも１つの対象体に関する情報４３０を推論するモデルである。特徴埋め込みモデル５１０は、第１機械学習モデル４１０を構成する複数の層のうち１つ以上の層が削除されたモデルで具現化することができる。
【0096】
他の例として、特徴埋め込みモデル５１０は、第１機械学習モデル４１０とは別の機械学習モデルであってもよい。例えば、特徴埋め込みモデル５１０は、任意の病理スライド画像から形態情報を抽出するように学習されたニューラルネットワークモデルで１つ以上の層が削除されることによって具現化することができる。
【0097】
一方、特徴情報５３０が生成されることにおいて、関連する医療画像５４０がさらに用いられてもよい。言い換えれば、特徴埋め込みモデル５１０は、少なくとも１つの対象体に関する情報５２０及び関連する医療画像５４０を用いて特徴情報５３０を生成することができる。
【0098】
一例として、関連する医療画像５４０は、病理スライド画像４２０と同じ画像であってもよい。
【0099】
他の例として、関連する医療画像５４０は、病理スライド画像４２０とは異なる画像であってもよい。例えば、関連する医療画像５４０は、病理スライド画像４２０と同じ対象体を表現するが、病理スライド画像４２０とは異なる染色方式で染色された画像であるか、または異なる種類の画像であってもよい。
【0100】
図３を再び参照すると、ステップ３２０において、プロセッサ１１０は、特徴情報に基づいて病理スライド画像に関連する医療情報（ｍｅｄｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ）を生成する。
【0101】
プロセッサ１１０は、特徴情報に含まれる第１特徴ベクトル及び病理スライド画像に表現された少なくとも１つの対象体に関する情報を組み合わせて第２特徴ベクトルを生成することができる。そして、プロセッサ１１０は、第２特徴ベクトルに基づいて医療情報を生成することができる。
【0102】
例えば、プロセッサ１１０は、集約器（ａｇｇｒｅｇａｔｏｒ）を介して第１特徴ベクトルと対象体に関する情報とを組み合わせて第２特徴ベクトルを生成することができる。このとき、集約器によって組み合わされる第１特徴ベクトル及び対象体に関する情報は、病理スライド画像上において同じ位置に対応するデータであってもよい。
【0103】
そして、プロセッサ１１０は、分類器（ｃｌａｓｓｉｆｉｅｒ）を介して第２特徴ベクトルから医療情報を生成することができる。例えば、分類器は、第２特徴ベクトルから医療情報が抽出されるように学習することができる。
【0104】
【0105】
図６は、一実施形態に係るプロセッサが医療情報を生成する一例を説明するための図である。
【0106】
図６を参照すると、プロセッサ１１０は、第２機械学習モデル６１０を介して医療情報６４０を生成することができる。第２機械学習モデル６１０は、特徴情報６２０及び少なくとも１つの対象体に関する情報６３０が入力されると、医療情報６４０が予測されるように学習することができる。さらに、第２機械学習モデル６１０には、医療情報６４０を予測するために、関連する医療画像がさらに入力されてもよい。ここで、特徴情報６２０及び対象体に関する情報６３０は、それぞれ図５に示す特徴情報５３０及び図４に示す対象体に関する情報４３０に対応する。
【0107】
一方、第２機械学習モデル６１０は、集約器６１１及び分類器６１２で構成することができる。
【0108】
集約器６１１は、様々な大きさを有する情報を１つの所定の大きさのベクトルに統合する動作を実行する。病理スライド画像を含む医療画像は様々な大きさを有し、パッチ（タイル）の数や第１特徴ベクトルの数も様々である。したがって、集約器６１１が様々な仕様の第１特徴ベクトル６２０及び対象体に関する情報６３０を１つの所定の大きさを有する第２特徴ベクトルに統合することによって、プロセッサ１１０を様々な医療映像に汎用的に活用することができる。
【0109】
分類器６１２は、第２特徴ベクトルから医療情報を生成する役割を果たす。例えば、分類器６１２は、ＭＬＰ（ｍｕｌｔｉ‐ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｄｅｃｉｓｉｏｎ Ｔｒｅｅなどによって具現化することができる。ただし、分類器６１２の例は上述したものに限定されず、第２特徴ベクトルを用いて医療情報を抽出できるものであれば制限なく該当されることができる。
【0110】
一方、プロセッサ１１０は、少なくとも１つの第１特徴ベクトル６２０、少なくとも１つの対象体に関する情報６３０及び新規の特徴ベクトルのうち少なくとも１つに対してプーリング（ｐｏｏｌｉｎｇ）を実行することができる。ここで、新規特徴ベクトルとは、第２特徴ベクトルの基になるベクトルを意味する。さらに、集約器６１１及び分類器６１２のうち少なくとも１つは学習ベースで動作することができる。
【0111】
以下、図７Ａ～図７Ｃを参照して、集約器６１１及び分類器６１２が動作する例を説明する。図７Ａ～図７Ｃでは、病理スライド画像が複数のタイル（パッチ）に分割され、各タイル（パッチ）について第１特徴ベクトル及び対象体に関する情報が取得されたことと仮定して説明する。
【0112】
図７Ａは、一実施形態に係る集約器及び分類器が動作する一例を説明するための図である。
【0113】
図７Ａを参照すると、集約器７１１が第１特徴ベクトル７４０と対象体に関する情報７５０とを結合して新規特徴ベクトル７６１を生成し、新規特徴ベクトル７６１と重み７６２が結合された結果にプーリング７７１が実行されて第２特徴ベクトル７８１が生成され、分類器７２１が第２特徴ベクトル７８１に基づいて医療情報７９０を生成する例が示されている。例えば、集約器７１１及び分類器７２１は、それぞれＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）で具現化することができ、学習に基づいて動作することができる。
【0114】
集約器７１１は、第１特徴ベクトル７４０及び対象体に関する情報７５０を結合して新規特徴ベクトル７６１を生成する。ここで、第１特徴ベクトル７４０及び対象体に関する情報７５０は、病理スライド画像を構成する複数のタイル（パッチ）のそれぞれに対して取得される。したがって、病理スライド画像がｎ個のタイル（パッチ）に分割された場合、新規特徴ベクトル７６１もｎ個が生成される。
【0115】
重み演算器７１２は、第１特徴ベクトル７４０及び対象体に関する情報７５０に基づいて重み７６２を演算する。ここで、重み７６２は病理スライド画像に対応する。具体的には、重み７６２は、病理スライド画像に含まれた複数のタイル（パッチ）のそれぞれに対応して生成されてもよい。第１特徴ベクトル７４０及び対象体に関する情報７５０が複数のタイル（パッチ）のそれぞれに存在するため、重み７６２もそれぞれのタイル（パッチ）に対して生成される。ここで、重み７６２は、当該タイルの重要度に基づいて決定することができる。
【0116】
プロセッサ１１０は、新規特徴ベクトル７６１と重み７６２とを組み合わせ、プーリング７７１を実行して第２特徴ベクトル７８１を生成する。例えば、プロセッサ１１０は、タイル（パッチ）ごとに新規特徴ベクトル７６１と重み７６２とを乗算し、乗算の結果のそれぞれにプーリング７７１を実行し、プーリング７７１が実行された結果のそれぞれを合計して第２特徴ベクトル７８１を生成することができる。これにより、未定義の大きさの第１特徴ベクトル７４０及び対象体に関する情報７５０から、１つの所定の大きさの第２特徴ベクトル７８１を生成することができる。
【0117】
例えば、プーリング７７１は、ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ、ｍａｘ ｐｏｏｌｉｎｇ、ｖａｒｉａｎｃｅ ｐｏｏｌｉｎｇ、ＢＯＷ／Ｆｉｓｈｅｒ Ｋｅｒｎｅｌ／ＶＬＡＤ Ｐｏｏｌｉｎｇのうち少なくとも１つ以上に該当しうるが、これらに限定されない。
【0118】
分類器７２１は、第２特徴ベクトル７８１に基づいて医療情報７９０を予測する。
【0119】
図７Ｂは、一実施形態に係る集約器及び分類器が動作する他の例を説明するための図である。
【0120】
図７Ｂを参照すると、集約器７１３が第１特徴ベクトル７４０と対象体に関する情報７５０とを結合して新規特徴ベクトル７６３を生成し、新規特徴ベクトル７６３にプーリング７７２が実行されて第２特徴ベクトル７８２が生成され、分類器７２２が第２特徴ベクトル７８２に基づいて医療情報７９０を生成する例が示されている。例えば、分類器７２２は、ＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）で具現化することができ、学習に基づいて動作することができる。
【0121】
集約器７１３は、第１特徴ベクトル７４０及び対象体に関する情報７５０を結合して新規特徴ベクトル７６３を生成する。ここで、新規特徴ベクトル７６３が生成される例は、図７Ａを参照して上述した通りである。
【0122】
プロセッサ１１０は、新規特徴ベクトル７６３にプーリング７７２を実行して第２特徴ベクトル７８２を生成する。例えば、プロセッサ１１０は、タイル（パッチ）ごとに生成された新規特徴ベクトル７６１にプーリング７７２を実行し、プーリング７７２が実行された結果のそれぞれを合計して第２特徴ベクトル７８２を生成することができる。これにより、未定義の大きさの第１特徴ベクトル７４０及び対象体に関する情報７５０から、１つの所定の大きさの第２特徴ベクトル７８２を生成することができる。ここで、プーリング７７２の例は、図７Ａを参照して上述した通りである。
【0123】
分類器７２３は、第２特徴ベクトル７８３に基づいて医療情報７９０を予測する。
【0124】
図７Ｃは、一実施形態に係る集約器及び分類器が動作するさらに他の例を説明するための図である。
【0125】
図７Ｃを参照すると、第１特徴ベクトル７４０及び対象体に関する情報７５０のそれぞれにプーリング７７３、７７４が実行され、集約器７１４がプーリングの結果を組み合わせて第２特徴ベクトル７８３を生成し、分類器７２３が第２特徴ベクトル７８３に基づいて医療情報７９０を生成する例が示されている。例えば、分類器７２３は、ＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）で具現化することができ、学習に基づいて動作することができる。また、プーリング７７３、７７４の例は、図７Ａを参照して上述した通りである。
【0126】
集約器７１３は、プーリングされた第１特徴ベクトル及びプーリングされた対象体に関する情報を組み合わせて第２特徴ベクトル７８３を生成する。これにより、未定義の大きさの第１特徴ベクトル７４０及び対象体に関する情報７５０から、１つの所定の大きさの第２特徴ベクトル７８３を生成することができる。
【0127】
分類器７２１は、第２特徴ベクトル７８２に基づいて医療情報７９０を予測する。
【0128】
一方、図７Ａ～図７Ｃには示されていないが、プロセッサ１１０は、タイル（パッチ）の中で医療情報７９０を予測するのに最も影響を及ぼしたタイル（パッチ）を推論することができる。そして、プロセッサ１１０は、推論によって決定されたタイル（パッチ）から後述するヒートマップ（ｈｅａｔｍａｐ）を構成するための情報を抽出することができる。
【0129】
図３を再び参照すると、ステップ３３０において、プロセッサ１１０は、医療情報及び医療情報に基づいた追加情報のうち少なくとも１つを出力する。
【0130】
例えば、医療情報は免疫表現型（ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）、遺伝子型（ｇｅｎｏｔｙｐｅ）、バイオマーカースコア（ｂｉｏｍａｒｋｅｒ ｓｃｏｒｅ）、腫瘍純度（ｔｕｍｏｒ ｐｕｒｉｔｙ）、病理スライド画像に表現される癌（ｃａｎｃｅｒ）の治療方法のうち少なくとも１つを含むことができる。一方、追加情報は、医療情報に基づいて導出されることができる様々な情報を含むことができる。以下、図８を参照して追加情報の例を説明する。
【0131】
図８は、一実施形態に係る医療情報及び追加情報の例を説明するための図である。
【0132】
図８には、医療情報８１０及び追加情報８２０の例が示されている。ただし、医療情報８１０及び追加情報８２０は、図８に示す例に限定されない。図８に示す例に加えて、病理スライド画像に対応する特徴ベクトル（すなわち、第２特徴ベクトル）に基づいて推論することができる様々な情報を医療情報８１０に含むことができる。さらに、図８に示す例に加えて、医療情報８１０から導出できる様々な情報を追加情報８２０に含むことができる。
【0133】
例えば、追加情報８２０は、遺伝子型スコア、遺伝子突然変異を示す情報（例えば、発現率、発現状態情報など）、推奨シーケンシング領域、推奨シーケンシング領域に関する情報（例えば、歩留まり、形状など）、推奨シーケンシング領域を分離する方法（例えば、メス（ｓｃａｌｐｅｌ）、パンチ（ｐｕｎｃｈ）、微小切開（ｍｉｃｒｏ‐ｄｉｓｓｅｃｔｉｏｎ）など）、分離する方法によって異なるように（すなわち、適応的に）設定された推奨シーケンシング領域、予想される突然変異歩留まり（ｅｘｐｅｃｔｅｄ ｙｉｅｌｄ ｏｆ ｍｕｔａｔｉｏｎ）、１つ以上の遺伝子型を組み合わせて導出したスコア、ＮＧＳ検査の進行を推奨するか否か、及び／または詳細情報（例えば、ＮＧＳ ｈｉｇｈｌｙ ｒｅｃｏｍｍｅｎｄｅｄ、ＮＧＳ ｒｅｃｏｍｍｅｎｄｅｄ、Ｎｅｅｄ ｃｏｎｔｉｎｕｏｕｓ ｏｂｓｅｒｖａｔｉｏｎなど）などを含むことができる。この他、追加情報８２０として他の定量的情報（例えば、ＨＥＲ２ ｓｃｏｒｅ、ＰＤ－Ｌ１ ｓｃｏｒｅなど）、その他の書誌的情報（例えば、個人情報、検査時間、癌の種類など）、病理スライド画像、特定の遺伝子型に対するヒートマップ（ｈｅａｔｍａｐ）などを含むことができる。
【0134】
プロセッサ１１０は、医療情報８１０及び／または追加情報８２０を様々な方法で出力することができる。具体的には、プロセッサ１１０は、医療情報８１０及び／または追加情報８２０が出力されるようにディスプレイ装置を制御することができる。例えば、プロセッサ１１０は、情報８１０、８２０をテキストで出力することもでき、画像（例えば、ヒートマップなど）で出力することもできる。また、テキストで出力されるものには、レポート（ｒｅｐｏｒｔ）形式で出力されるものを含むことができる。
【0135】
一方、図８では、医療情報８１０と追加情報８２０とを区別して示しているが、これに限定されない。言い換えれば、医療情報８１０と追加情報８２０とは医療情報８１０と通称してもよく、追加情報８２０に含まれる例もすべて医療情報８１０に含むことができる。したがって、以下では、医療情報８１０と追加情報８２０の両方を医療情報８１０と通称する。
【0136】
【0137】
図９は、一実施形態に係るプロセッサが医療情報及び／または追加情報を出力する一例を説明するための図である。
【0138】
図９には、少なくとも１つの被検体が表現された病理スライド画像９１０及び様々な医療情報９２１、９２２、９３０が示されている。例えば、遺伝子型情報は、病理スライド画像９１０当たりにいくつかの遺伝子型それぞれのスコアを含むことができる。
【0139】
遺伝子型スコアは、被検体に対して実際に遺伝子検査が行われた際、当該遺伝子変異が検出される確率値であることができる。例えば、Ａ遺伝子型スコアは６０、Ｂ遺伝子型スコアは３０などで示すことができる。ここで、Ａ、Ｂは、ＫＲＡＳ、ＭＳＩなどの単一遺伝子変異に対する値を意味する。
【0140】
さらに、遺伝子型スコアは、様々な遺伝子型の結果値を含むことができ、単一遺伝子変異ではなく、複合値（例えば、ＴＭＢ、ＨＲＤなど）のスコアも含むことができる。
【0141】
プロセッサ１１０は、病理スライド画像９１０に表現された少なくとも１つの遺伝子変異を示す情報を出力することができる。例えば、遺伝子変異は遺伝子型スコアとして演算することができ、プロセッサ１１０は遺伝子型スコアを様々な方法で出力することができる。
【0142】
例えば、プロセッサ１１０は、遺伝子型スコアをヒートマップ９２１に出力することができる。プロセッサ１１０は、遺伝子型スコアのそれぞれをカラーでマッピング９２２し、病理スライド画像９１０上にカラーを表示することによってヒートマップ９２１を生成することができる。したがって、ユーザ３０は、ヒートマップ９２１を確認することによって単に遺伝子型スコアを知ることだけでなく、遺伝子変異に対する空間的分析を行うことができる。
【0143】
さらに、プロセッサ１１０は、病理スライド画像９１０に表現された対象体においてシーケンシング（ｓｅｑｕｅｎｃｉｎｇ）を実行する領域が全体領域の何％を占めるかについての情報９３０も一緒に出力することができる。
【0144】
一方、図９には示されていないが、プロセッサ１１０は、病理スライド画像９１０の領域別に腫瘍純度（ｔｕｍｏｒ ｐｕｒｉｔｙ）を示すマップを出力することもできる。さらに、プロセッサ１１０は、ユーザ３０の操作によってヒートマップ９２１及び／または腫瘍純度を示すマップを様々な観点から観察できるビューア（ｖｉｅｗｅｒ）を提供することもできる。
【0145】
一方、プロセッサ１１０は、医療情報（例えば、遺伝子型スコア）に基づいてシーケンシング領域（ｓｅｑｕｅｎｃｉｎｇ ａｒｅａ）を設定し、設定されたシーケンシング領域を病理スライド画像上に表示することができる。ヒートマップ９２１は遺伝子型スコアに対応するカラーで表現されるため、シーケンシングの対象領域を設定することができる。プロセッサ１１０は、推奨シーケンシング領域（ｒｅｃｏｍｍｅｎｄｅｄ ｓｅｑｕｅｎｃｉｎｇ ａｒｅａ）を設定し、病理スライド画像９１０（または、ヒートマップ９２１）上に推奨シーケンシング領域を表示することができる。以下、図１０Ａ～図１０Ｄを参照して、プロセッサ１１０がシーケンシング領域を病理スライド画像９１０またはヒートマップ９２１上に表示する例を説明する。
【0146】
図１０Ａは、一実施形態に係るプロセッサがシーケンシング領域を出力する一例を説明するための図である。
【0147】
図１０Ａを参照すると、画面１０１０には、ヒートマップ上にシーケンシング領域１０１１を表示することができる。また、画面１０１０には、シーケンシング領域１０１１から導出することができる歩留まり１０１２も一緒に表示することができる。
【0148】
ここで、歩留まり１０１２は、被検体からシーケンシング領域１０１１を分離する場合に予想される突然変異歩留まり（ｅｘｐｅｃｔｅｄ ｙｉｅｌｄ ｏｆ ｍｕｔａｔｉｏｎ）を意味する。したがって、ユーザ３０は、所望の歩留まり１０１２が導出されるようにシーケンシング領域１０１１の形状及び大きさを調整することができる。
【0149】
図１０Ｂは、一実施形態に係るプロセッサがシーケンシング領域を出力する他の例を説明するための図である。
【0150】
図１０Ｂには、ヒートマップ上にシーケンシング領域１０２１及び歩留まり１０２２が表示された画面１０２０が示されている。
【0151】
被検体からシーケンシング領域１０２１を分離する方法は様々である。例えば、被検体からシーケンシング領域１０２１を分離する方法としては、メス（ｓｃａｌｐｅｌ）、パンチ（ｐｕｎｃｈ）、微小切開（ｍｉｃｒｏ‐ｄｉｓｓｅｃｔｉｏｎ）などが挙げられる。
【0152】
プロセッサ１１０は、上述した方法のそれぞれに応じて異なるように（すなわち、適応的に）シーケンシング領域１０２１を設定し、それに応じた歩留まり１０２２を出力することができる。一例として、メス方法の場合、プロセッサ１１０は、シーケンシング領域１０２１を分離するためのメスの動作回数を考慮してシーケンシング領域１０２１を設定することができる。他の例として、パンチ方法の場合、プロセッサ１１０はパンチの大きさを考慮してシーケンシング領域１０２１を設定することができる。さらに他の例として、微小切開方法の場合、プロセッサ１１０は、切開に用いられるツールの種類及び大きさを考慮してシーケンシング領域１０２１を設定することができる。
【0153】
図１０Ｃは、一実施形態に係るプロセッサがシーケンシング領域を出力するさらに他の例を説明するための図である。
【0154】
図１０Ｃは、マイクロディセクション（ｍｉｃｒｏ ｄｉｓｓｅｃｔｉｏｎ）のようにシーケンシング領域を精巧に切開することができる機器などに使用するために、シーケンシング領域が出力され、ユーザ３０がこれを微調整（ｆｉｎｅ‐ｔｕｎｉｎｇ）することができる方法の例を示す。
【0155】
図１０Ｃには、ユーザ３０の操作に応じてシーケンシング領域１０３１、１０４１が変更されて出力され、これに対応して歩留まり１０３２、１０４２も変更されて出力される例が示されている。
【0156】
例えば、画面１０３０には、プロセッサ１１０によって設定されたシーケンシング領域１０３１及び歩留まり１０３２を出力することができる。このとき、ユーザ３０はシーケンシング領域１０３１の大きさ、位置、方向などを調整することができ、プロセッサ１１０はユーザ３０の操作によって変更されたシーケンシング領域１０４１を画面１０４０に出力することができる。また、画面１０４０には、変更されたシーケンシング領域１０４１に応じて変更された歩留まり１０４２も一緒に出力することができる。これにより、ユーザ３０は、シーケンシングのための歩留まり限界と歩留まり１０３２、１０４２とを比較しながら、シーケンシング領域１０３１、１０４１を微調整（ｆｉｎｅ ｔｕｎｉｎｇ）することができる。
【0157】
図１０Ｄは、一実施形態に係るプロセッサがシーケンシング領域を出力するさらに他の例を説明するための図である。
【0158】
図１０Ｄを参照すると、プロセッサ１１０は、複数の突然変異を一緒に分析することができる画面１０５０を出力することができる。
【0159】
例えば、画面１０５０には複数の突然変異に関するリスト１０５１が出力され、ユーザ３０が１つ以上を選択できるチェックボックスを一緒に表示することができる。また、画面１０５０には、複数のシーケンシング領域１０５２、１０５３及びそれらの歩留まり１０５４、１０５５を表示することができる。
【0160】
ユーザ３０が複数の突然変異のうち１つ以上を選択すると、プロセッサ１１０は、シーケンシング領域１０５２、１０５３のそれぞれにおける選択された突然変異の歩留まり１０５４、１０５５を予測して表示することができる。
【0161】
図１０Ｄには示されていないが、ユーザ３０が選択した突然変異ごとの最適なシーケンシング領域が画面１０５０に出力されることもできる。例えば、ユーザ３０がＸＸ突然変異を選択してからＹＹ突然変異に変更したと仮定すると、画面１０５０にはＸＸ突然変異に最適なシーケンシング領域を出力してからＹＹ突然変異に最適なシーケンシング領域を出力することができる。すなわち、ユーザ３０の選択に応じてシーケンシング領域の表示（ｓｈｏｗ）と非表示（ｈｉｄｅ）を適応的に実行することができる。
【0162】
【0163】
一例として、プロセッサ１１０は、ヒートマップ内の所定の条件に一致する領域を自動的に検出することができる。例えば、ユーザ３０がＡ遺伝子変異の検出を望み、Ａ遺伝子変異の検出のための最小確率が６０％であると仮定すると、プロセッサ１１０は、ヒートマップ内でＡ遺伝子変異が検出される確率が６０％以上である領域を全て検出して出力することができる。また、プロセッサ１１０は、最小確率だけでなく腫瘍純度も一緒に考慮して領域を検出することもできる。
【0164】
他の例として、プロセッサ１１０は、ユーザ３０が設定したシーケンシング領域及びそれに対する歩留まりを出力することができる。例えば、ユーザ３０は自分が望むシーケンシング領域を直接設定することができ、プロセッサ１１０はユーザが設定したシーケンシング領域及びその領域における歩留まりを出力することができる。
【0165】
また他の例として、プロセッサ１１０は、ヒートマップ全体に対応する被検体に対してシーケンシングを進めることが適切であるかどうかを決定することができる。例えば、プロセッサ１１０は、被検体全領域に対する遺伝子型スコアを確認し、被検体全領域に対してシーケンシングを進めることが適切であるか、それとも被検体の一部領域に対してシーケンシングを進めることが適切であるかを決定することができる。例えば、腫瘍純度が低い場合、または特定の遺伝子変異の確率が低い場合、プロセッサ１１０はヒートマップを参照して詳細なシーケンシング領域を決定することができる。これにより、ＮＧＳ検査結果の精度を向上させることができる。
【0166】
一方、プロセッサ１１０は、医療情報に基づいて設定されたシーケンシング領域及びシーケンシング領域に関する詳細情報を含むレポート（ｒｅｐｏｒｔ）を出力することができる。以下、図１１Ａ及び図１１Ｂを参照してレポートに含まれる情報の例を説明する。
【0167】
【0168】
図１１Ａ及び図１１Ｂに示すレポート１１１０、１１２０には、様々な医療情報が記載されている。図８を参照して上述したように、医療情報及び医療情報に基づいた追加情報は両方とも医療情報と通称することができる。したがって、レポート１１１０、１１２０に記載された情報は、医療情報及び追加情報を含むことができる。
【0169】
例えば、レポート１１１０、１１２０は、ＮＧＳ検査に関連する報告書の一例である。言い換えれば、レポート１１１０、１１２０は、被検体に関する様々な情報だけでなく、ＮＧＳ検査を推奨するか否か、ＮＧＳ検査を実施する場合に推奨されるシーケンシング領域に関する情報などを含むことができる。
【0170】
例えば、レポート１１１０は、被検体に関する病理スライド画像１１１１、被検体に発症した癌の種類１１１２、病理スライド画像１１１１の品質に関する情報１１１３を含むことができる。また、レポート１１１０は、被検体の腫瘍純度１１１４に関する情報、被検体から複数の遺伝子突然変異が発見される確率及び治療方法に関する情報１１１５を含むことができる。特に、レポート１１１０は、閾値以上の発見確率を示す遺伝子突然変異及びそれらの治療方法に関する情報１１１６を情報１１１５と区別されるように表示することができる。これにより、ユーザ３０は、レポート１１１０を介して被検体に対してＮＧＳ検査を進めるか否かを判断することができる。
【0171】
また、レポート１１２０は、様々な映像１１２１、１１２２、１１２３、１１２４を含むことができる。例えば、レポート１１２０は、被検体に関する病理スライド画像１１２１だけでなく、図９～図１０Ｄを参照して上述した様々な形態のヒートマップ１１２２、１１２３、１１２４をさらに含むことができる。ヒートマップ１１２２、１１２３、１１２４を介して、少なくとも１つの遺伝子型情報（遺伝子型スコア）を確認することができ、少なくとも１つのシーケンシング領域及びそれに対応する予想される突然変異歩留まり（ｅｘｐｅｃｔｅｄ ｙｉｅｌｄ ｏｆ ｍｕｔａｔｉｏｎ）も確認することができる。これにより、ユーザ３０は、レポート１１２０を介して被検体に対してＮＧＳ検査を進めるか否かを判断することができる。
【0172】
図１２は、一実施形態に係る病理スライド画像から医療情報を生成する方法の他の例を説明するためのフローチャートである。
【0173】
【0174】
ステップ１２４０で、プロセッサ１１０は、医療情報に基づいて被検体から特定の遺伝子変異を検出できる確率を確認する。
【0175】
【0176】
ステップ１２５０で、プロセッサ１１０は、ステップ１２４０を介して確認された確率が閾値以上である場合、シーケンシング領域に関する情報を送信する。
【0177】
例えば、特定の遺伝子変異を検出できる確率が高いと判断された場合、ＮＧＳ検査を実行する機関（例えば、シーケンシング研究室）のデバイス（例えば、シーケンシングシステム）でスライドから切開する領域（すなわち、シーケンシング領域）に関する情報を送信し、シーケンシング領域に関するプロセッサ１１０の分析結果を確認できる権限を付与することができる。
【0178】
また、図１２には示されていないが、プロセッサ１１０によって生成された医療情報及び追加情報は、以下のように活用することができる。
【0179】
一例として、臨床試験に登録される患者の事前スクリーニング（ｐｒｅ‐ｓｃｒｅｅｎｉｎｇ）に活用することができる。例えば、医療情報及び追加情報は、新薬の開発のために臨床試験に必要な実験群として資格のある患者であるか否かを判断するために活用することができる。他の例として、患者に適した治療方法を検索するための遺伝子検査前の事前スクリーニングに活用することができる。
【0180】
例えば、上述した事前スクリーニングは、以下の手順を介して実行することができる。
【0181】
まず、患者の病理スライド画像が生成される病院または研究室で当該テストを実施することができる。病理スライド画像が生成されると、それについて分析を進めることができる。例えば、分析結果は、ｉ）腫瘍純度及び遺伝子型スコア、ｉｉ）腫瘍純度及び遺伝子ごとのヒートマップの形態などとして生成することができる。その後、各遺伝子変異の検出確率に基づいて１つ以上の遺伝子変異を選択することができる。その後、特定遺伝子変異を検出できる確率が高いと判断される場合、ＮＧＳ検査を行う機関にスライドから切開する領域（すなわち、シーケンシング領域）に関する情報を送信し、シーケンシング領域に対する分析結果を確認できる権限を付与することができる。ＮＧＳ検査を行う機関にスライドが到着すると、スライド全体が分析されるか、スライドの中で選定された関心領域について分析を進行することができる。
【0182】
さらに他の例として、臨床試験で患者群を選別するために活用することができる。例えば、患者リストを出力するためにユーザ３０から条件（例えば、Ｘ突然変異を有する患者、Ｙ突然変異を有するが、Ｚ突然変異はない患者など）を受信し、条件に一致する患者リストを抽出するのに活用することができる。
【0183】
図１３は、病理スライド画像から医療情報を生成するシステムの他の例を説明するための図である。
【0184】
図１３を参照すると、システム１３００は、機械学習モデルを用いて組織サンプルのスライド画像を準備、処理及び検討するためのシステム及びネットワークの一例である。
【0185】
本開示の様々な実施形態によれば、図２Ａ～図１２を参照して上述した方法は、ユーザ端末１３２２、１３２３、画像管理システム１３３０、ＡＩベースのバイオマーカー分析システム１３４０、実験室情報管理システム１３５０、病院または研究室サーバ１３６０、医療情報予測システム１３７０、シーケンシングシステム１３８０のうち少なくとも１つまたはそれらの組み合わせによって実行することができる。
【0186】
スキャナ１３２１は、被検者１３１１の組織サンプルを用いて生成された組織サンプルスライドからデジタル化された画像を取得することができる。例えば、スキャナ１３２１、ユーザ端末１３２２、１３２３、画像管理システム１３３０、ＡＩベースのバイオマーカー分析システム１３４０、実験室情報管理システム１３５０、病院または研究室サーバ１３６０、医療情報予測システム１３７０及び／またはシーケンシングシステム１３８０は、それぞれ１つ以上のコンピュータ、サーバ及び／またはモバイルデバイスを介してインターネットなどのネットワーク１３９０に接続されるか、１つ以上のコンピュータ及び／またはモバイルデバイスを介してユーザ１３１２と通信することができる。
【0187】
ユーザ端末１３２２、１３２３、画像管理システム１３３０、ＡＩベースのバイオマーカー分析システム１３４０、実験室情報管理システム１３５０、病院または研究室サーバ１３６０、医療情報予測システム１３７０及び／またはシーケンシングシステム１３８０は、１人以上の被検者１３１１の組織サンプル、組織サンプルスライド、組織サンプルスライドのデジタル化された画像、またはそれらの任意の組み合わせを生成するか、そうでない場合は他の装置から取得することができる。また、ユーザ端末１３２２、１３２３、画像管理システム１３３０、ＡＩベースのバイオマーカー分析システム１３４０、実験室情報管理システム１３５０、病院または研究室サーバ１３６０、医療情報予測システム１３７０及び／またはシーケンシングシステム１３８０は、被検者１３１１の年齢、病歴、癌治療履歴、家族歴、過去の生体検査記録または被検者９０の疾患情報などの被検者特定情報の任意の組み合わせを取得することができる。
【0188】
スキャナ１３２１、ユーザ端末１３２２、１３２３、画像管理システム１３３０、実験室情報管理システム１３５０及び／または病院または研究室サーバ１３６０は、ネットワーク１３９０を介してデジタル化されたスライド画像及び／または被検者特定情報を医療情報予測システム１３７０及び／またはシーケンシングシステム１３８０に送信することができる。医療情報予測システム１３７０は、受信された画像及びデータを記憶するための１つ以上の記憶デバイス（図示せず）を含むことができる。また、医療情報予測システム１３７０は、受信された画像及びデータを処理するように訓練された機械学習モデルを記憶する機械学習モデルストレージを含むことができる。例えば、医療情報予測システム１３７０は、被検者１３１１の病理スライド画像から少なくとも１つの細胞に関する情報、少なくとも１つの領域に関する情報、バイオマーカーに関する情報、医学的診断情報、遺伝子型に関する情報、遺伝子型に関する情報から導出された組織スライドのシーケンシング領域情報、シーケンシング領域に関連する詳細情報及び／または医学的治療情報のうち少なくとも１つを予測するために学習及び訓練された機械学習モデルを含むことができる。
【0189】
スキャナ１３２１、ユーザ端末１３２２、１３２３、医療情報予測システム１３７０、実験室情報管理システム１３５０及び／または病院または研究室サーバ１３６０は、ネットワーク１３９０を介してデジタル化されたスライド画像、被検者特定情報及び／またはデジタル化されたスライド画像を分析した結果を画像管理システム１３３０に送信することができる。画像管理システム１３３０は、受信された画像を記憶するためのストレージ及び分析結果を記憶するためのストレージを含むことができる。
【0190】
また、本開示の様々な実施形態によれば、被検者１３１１のスライド画像から少なくとも１つの細胞に関する情報、少なくとも１つの領域に関する情報、バイオマーカーに関連する情報、医学的診断情報及び／または医学的治療情報のうち少なくとも１つを予測するために学習及び訓練された機械学習モデルは、ユーザ端末１３２２、１３２３、画像管理システム１３３０、医療情報予測システム１３７０などに記憶されて動作することができる。
【0191】
本開示の様々な実施形態によれば、医療情報予測システム１３７０の動作の一部または全部は、医療情報予測システム１３７０だけでなく、ユーザ端末１３２２、１３２３、画像管理システム１３３０、実験室情報管理システム１３５０及び／または病院または研究室サーバ１３６０でも実行することができる。
【0192】
一方、医療情報予測システム１３７０は、遺伝子型予測部（Ｇｅｎｏｔｙｐｅ Ｐｒｅｄｉｃｔｏｒ）を含むか、遺伝子型予測部そのものであってもよい。
【0193】
以下では、医療情報予測システム１３７０に基づいてシステム１３００の他の構成要素と相互作用する例を説明する。
【0194】
医療情報予測システム１３７０は、スキャナ１３２１が生成した被検者１３１１の組織サンプルに関する画像（Ｈ＆Ｅ ｓｌｉｄｅ ｉｍａｇｅ、ＩＨＣ ｉｍａｇｅなど）、画像管理システム１３３０に記憶されている被検者１３１１の組織サンプルに関する画像を受信することができる。
【0195】
医療情報予測システム１３７０は、被検者１３１１の組織サンプルに関する画像を分析し、遺伝子型に関する情報（例えば、遺伝子の突然変異情報、各突然変異ごとのヒートマップ情報、特定遺伝子がスライド上に発現された情報など）を導出することができる。
【0196】
具体的には、医療情報予測システム１３７０は、組織サンプルに関する画像を受信し、遺伝子型に関する情報を予測する１つ以上の機械学習モデルを含むことができる。医療情報予測システム１３７０は、組織サンプルに関する画像を受信すると、機械学習モデルまたは予め設定されたアルゴリズムなどを活用し、画像の分析可能性を検査し、検査可能である場合、組織スライドに関する特性（ｆｅａｔｕｒｅ）を抽出することができる。医療情報予測システム１３７０は、機械学習モデルを用いて、抽出された特性から遺伝子型に関する情報を予測することができる。
【0197】
医療情報予測システム１３７０は、導出した遺伝子型に関する情報に基づいて、患者に高い確率の遺伝子突然変異が発見される場合（例えば、突然変異スコアが高い場合）、ＮＧＳ検査を行うために遺伝子型に関する情報及び／または被検者１３１１の組織サンプルに関する画像をシーケンシングシステム１３８０に伝達することができる。
【0198】
医療情報予測システム１３７０は、導出した遺伝子型に関する情報をユーザ端末１３２２、１３２３に伝達してユーザ１３１２に送信することができる。送信された遺伝子型に関する情報は、被検者１３１１に提供される報告書の作成などに利用することができる。一方、医療情報予測システム１３７０は、導出した遺伝子型に関する情報を含む報告書（例えば、図１１Ａ及び図１１Ｂの報告書）を直接作成することもでき、ユーザ端末１３２２、１３２３に送信することもできる。
【0199】
医療情報予測システム１３７０は、導出した遺伝子型に関する情報を被検者１３１１の組織サンプルを研究する病院または研究室サーバ１３６０に伝達することができる。
【0200】
医療情報予測システム１３７０は、導出した遺伝子型に関する情報を活用して、ＮＧＳ検査を行うための組織スライドの領域であるシーケンシング領域（ｓｅｑｕｅｎｃｉｎｇ ａｒｅａ）を抽出することができる。シーケンシング領域は、被検者１３１１の組織サンプル全体であってもよいし、一部であってもよい。また、医療情報予測システム１３７０は、抽出されたシーケンシング領域に関する詳細情報を導出することができる。
【0201】
患者から高い確率の遺伝子突然変異が発見される場合、医療情報予測システム１３７０は、抽出されたシーケンシング領域及び／または抽出されたシーケンシング領域に関する詳細情報をシーケンシングシステム１３８０に伝達することができる。
【0202】
抽出されたシーケンシング領域情報は、ユーザ端末１３２２、１３２３に送信され、ユーザ１３１２に提供することができる。送信されたシーケンシング領域情報は、被検者１３１１に提供される医療報告書の作成などに利用することができる。一方、医療情報予測システム１３７０は、導出したシーケンシング領域及び／またはシーケンシング領域に関する詳細情報を含む報告書（例えば、図１１Ａ及び図１１Ｂの報告書）を直接作成することもでき、これをユーザ端末１３２２、１３２３に送信することもできる。
【0203】
ユーザ１３１２（例えば、医師／研究員、病院、研究室、患者など）は、ユーザ端末１３２２、１３２３の操作可能なインタフェースを用いて、シーケンシング領域の大きさと形状を任意に調整することができる。医療情報予測システム１３７０は、調整されたシーケンシング領域の形状と大きさを確認して歩留まりをリアルタイムで計算／予測し、ユーザ端末１３２２、１３２３に伝達することができる。
【0204】
抽出されたシーケンシング領域情報は、被検者１３１１の組織サンプルを研究する病院または研究室のサーバ１３６０に伝達され、研究などに活用することができる。
【0205】
医療情報予測システム１３７０は、組織サンプルに関する画像、導出された遺伝子型に関する情報、抽出されたシーケンシング領域及び／またはシーケンシング領域に関する詳細情報を画像管理システム１３３０にアップロード／記憶することができる。画像管理システム１３３０は、記憶された情報を管理するユーザ端末１３２２、１３２３の問い合わせ（ｑｕｅｒｙ）または要請（ｒｅｑｕｅｓｔ）に基づいて、ユーザ１３１２（例えば、医師／研究員、病院、研究室、患者など）に提供することができる。
【0206】
上述した内容によると、ユーザ端末１０は、病理スライド画像から遺伝子の突然変異や様々なバイオマーカーなどの医療情報及び医療情報に基づいた追加情報を正確かつ迅速に生成することができる。
【0207】
さらに、病理スライド画像から抽出された対象体に関する情報を病理スライド画像から抽出された特徴ベクトルと共に結合することによって、病理スライド画像内の様々なパターンと特徴を用いて医療情報を生成することができる。したがって、病理スライド画像から生成された医療情報は、高い精度を保証することができる。
【0208】
また、医療情報に様々な遺伝子突然変異に関する情報（すなわち、遺伝子型情報）が含まれることによって、少ない費用でも迅速かつ正確に標的抗癌治療を行うことができる。例えば、ユーザ端末１０は、機械学習モデルと病理スライド画像とを用いて、医療情報（例えば、ＫＲＡＳ Ｇ１２Ｃ突然変異など）を正確かつ安定性高く予測することができる。したがって、ユーザ端末１０が予測した医療情報を、非小細胞肺癌（ＮＳＣＬＣ）などの標的治療のためのＮＧＳ（Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｓｅｑｕｅｎｃｉｎｇ）検査に役立てることができる。
【0209】
さらに、ユーザ端末１０は、様々な遺伝子突然変異情報（すなわち、遺伝子型情報）のヒートマップまたは分布を作成することができ、医療情報及び追加情報を含む報告書を生成することができる。したがって、ユーザ端末１０から提供される様々な情報を、ＮＧＳ検査を設計したり、標的抗癌治療を必要とする患者をモニタリングしたりするのに役立てることができる。
【0210】
一方、上述した方法は、コンピュータで実行することができるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現化することができる。また、上述した方法で使用されたデータの構造は、コンピュータで読み取り可能な記録媒体に様々な手段を介して記録することができる。前記コンピュータで読み取り可能な記録媒体は、磁気記憶媒体（例えば、ＲＯＭ、ＲＡＭ、ＵＳＢ、フロッピーディスク、ハードディスクなど）、光学読取媒体（例えば、ＣＤ－ＲＯＭ、ＤＶＤなど）などの記憶媒体を含む。
【0211】
本実施形態に関連する技術分野で通常の知識を有する者は、上記記載の本質的な特性から逸脱しない範囲において変形された形態で具現化することができることを理解できるであろう。したがって、開示された方法は限定的な観点ではなく、説明的な観点から考慮されるべきであり、権利範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等の範囲内にあるすべての相違点を含むことと解釈されるべきである。
【符号の説明】
【0212】
１：システム
１０：ユーザ端末
２０：サーバ
３０：ユーザ
４０：画像
１０：ユーザ端末
２０：サーバ
３０：ユーザ
４０：画像
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図11A】
【図11B】
【図12】
【図13】