(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-11
(54)【発明の名称】空間分布解析に基づく腫瘍免疫表現型検査
(51)【国際特許分類】
G01N 33/48 20060101AFI20240604BHJP
G06T 7/00 20170101ALI20240604BHJP
G01N 33/483 20060101ALI20240604BHJP
G01N 33/574 20060101ALI20240604BHJP
【ＦＩ】
G01N33/48 M
G06T7/00 630
G06T7/00 350B
G01N33/483 C
G01N33/574 D
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023572763
(86)(22)【出願日】2022-05-26
(85)【翻訳文提出日】2024-01-19
(86)【国際出願番号】 US2022031220
(87)【国際公開番号】W WO2022251556
(87)【国際公開日】2022-12-01
(31)【優先権主張番号】63/194,009
(32)【優先日】2021-05-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/279,946
(32)【優先日】2021-11-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/308,491
(32)【優先日】2022-02-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック， インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】イースタム， ジェフリー ライアン
(72)【発明者】
【氏名】ケッペン， ハルトムート
(72)【発明者】
【氏名】リー， シアオ
(72)【発明者】
【氏名】オルロヴァ， ダリア ユリエフナ
【テーマコード（参考）】
2G045
5L096
【Ｆターム（参考）】
2G045AA24
2G045AA26
2G045CB02
2G045DA36
2G045FB03
2G045FB07
2G045GC12
2G045JA01
5L096BA06
5L096BA13
5L096CA02
5L096DA02
5L096FA54
5L096FA59
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
システムおよび方法はデジタル病理画像を処理することに関する。より具体的には、技術は、生物学的試料の切片を描写するデジタル病理画像にアクセスすることであって、デジタル病理画像が複数の染色に対する反応性をディスプレイする領域を含む、アクセスすることを含む。デジタル病理画像の複数のタイルの各々について、局所密度測定値が複数の生物学的オブジェクトタイプの各々について計算される。計算された局所密度測定値に少なくとも部分的に基づいて、生物学的オブジェクトタイプに対して１つまたは複数の空間分布測定基準を生成することができる。次いで、局所密度測定値または１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、デジタル病理画像について腫瘍免疫表現型を生成することができる。
【選択図】図９
【選択図】図９
【特許請求の範囲】
【請求項1】
方法であって、デジタル病理画像処理システムによって、生物学的試料の切片を描写するデジタル病理画像にアクセスすることであって、前記デジタル病理画像が、複数の染色に対する反応性をディスプレイする領域を含む、アクセスすること、
前記デジタル病理画像処理システムにより、前記デジタル病理画像を複数のタイルに細分化すること、
前記タイルの各々について、前記デジタル病理画像処理システムによって、複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算すること、
前記デジタル病理画像処理システムによって、計算された前記局所密度測定値に少なくとも部分的に基づいて、前記デジタル病理画像内の前記生物学的オブジェクトタイプについての１つまたは複数の空間分布測定基準を生成すること、および
前記デジタル病理画像処理システムによって、前記局所密度測定値または前記１つもしくは複数の空間分布測定基準に少なくとも部分的に基づいて、前記デジタル病理画像の腫瘍免疫表現型を決定すること
を含む、方法。
【請求項2】
前記局所密度測定値の各々が、絶対もしくは相対量、面積または密度の表現を含む、請求項１に記載の方法。
【請求項3】
前記生物学的オブジェクトタイプは腫瘍細胞および免疫細胞を含み、前記腫瘍免疫表現型は、前記タイルの各々について、前記免疫細胞の前記局所密度測定値が免疫細胞密度閾値未満である場合、枯渇型、
前記タイルのうちの１つもしくは複数について、前記腫瘍細胞の前記局所密度測定値が腫瘍細胞密度閾値未満であり、前記免疫細胞の前記局所密度測定値が前記免疫細胞密度閾値以上である場合、排除型、または
前記タイルのうちの１つもしくは複数について、前記腫瘍細胞の前記局所密度測定値が前記腫瘍細胞密度閾値以上であり、前記免疫細胞の前記局所密度測定値が前記免疫細胞密度閾値以上である場合、炎症型
を含む、請求項１に記載の方法。
【請求項4】
前記１つまたは複数の空間分布測定基準が、第１の生物学的オブジェクトタイプが第２の生物学的オブジェクトタイプと入り交じっているように描かれている度合いを特徴付ける、請求項１に記載の方法。
【請求項5】
前記１つまたは複数の空間分布測定基準は、Ｊａｃｃａｒｄ指数、
Ｓｏｒｅｎｓｅｎ指数、
Ｂｈａｔｔａｃｈａｒｙｙａ係数、
Ｍｏｒａｎ指数、
Ｇｅａｒｙ隣接比率、
Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数、または
ホットスポット／コールドスポット解析に基づいて定義された測定基準
を含む、請求項１に記載の方法。
【請求項6】
前記生物学的オブジェクトタイプが腫瘍細胞および免疫細胞を含み、前記腫瘍免疫表現型が、前記タイルのうちの１つもしくは複数について、前記１つもしくは複数の空間分布測定基準が前記腫瘍細胞と前記免疫細胞との空間的分離を示す場合、排除型、または
前記タイルのうちの１つもしくは複数について、前記１つもしくは複数の空間分布測定基準が前記腫瘍細胞と前記免疫細胞との共局在を示す場合、炎症型
を含む、請求項１に記載の方法。
【請求項7】
前記生物学的オブジェクトタイプの各々の前記局所密度測定値を計算することが、前記タイルの各々について、
前記染色に従って前記タイルを複数の領域にセグメント化することであって、前記生物学的オブジェクトタイプの各々が前記染色のうちの１つに反応性である、セグメント化すること、
前記領域のそれぞれを、前記染色に対する反応性に応じて分類すること、および
前記染色の各々によって分類された前記タイルの前記領域の数に基づいて、前記タイル内に位置する前記生物学的オブジェクトタイプの各々の前記局所密度測定値を計算すること
を含む、請求項１に記載の方法。
【請求項8】
前記タイルの前記領域の各々は、前記領域の染色強度の値に基づいて決定され、前記染色強度の値は、前記染色のうちの１つに対する前記生物学的オブジェクトタイプの各々の前記反応性に基づく、請求項７に記載の方法。
【請求項9】
前記タイルの前記領域が、腫瘍関連領域および非腫瘍関連領域として決定される、請求項７に記載の方法。
【請求項10】
前記腫瘍関連領域および非腫瘍関連領域の各々が、免疫細胞関連領域および非免疫細胞関連領域として決定される、請求項９に記載の方法。
【請求項11】
前記画像の前記腫瘍免疫表現型を決定することが、前記１つまたは複数の空間分布測定基準に基づく軸を有する特徴空間に前記デジタル病理画像の表現を投影することと
前記特徴空間内の前記デジタル病理画像の位置に基づいて、前記画像の前記腫瘍免疫表現型を決定することと
を含む、請求項１に記載の方法。
【請求項12】
前記画像の前記腫瘍免疫表現型を決定することが、さらに、前記特徴空間内の前記デジタル病理画像の前記位置の、割り当てられた腫瘍免疫表現型を有する１つまたは複数の他のデジタル病理画像表現の位置への近接度に基づく、請求項１１に記載の方法。
【請求項13】
前記生物学的オブジェクトタイプがサイトケラチンおよび細胞傷害性構造を含む、請求項１に記載の方法。
【請求項14】
前記デジタル病理画像内の１つまたは複数の腫瘍領域を識別することであって、前記デジタル病理画像と１つまたは複数のインタラクティブ要素とを含むディスプレイ用のユーザインターフェースを提供することと
前記１つまたは複数のインタラクティブ要素との相互作用を介して前記１つまたは複数の腫瘍領域の選択を受信することとを含む、識別すること
をさらに含む、請求項１に記載の方法。
【請求項15】
前記画像の前記腫瘍免疫表現型および前記１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、医学的状態の転帰についての予後を含む、対象の前記医学的状態の評価に対応する結果を生成することと前記対象の前記医学的状態および前記予後の前記評価の表示を含むディスプレイを生成することと
をさらに含む、請求項１に記載の方法。
【請求項16】
前記画像の前記腫瘍免疫表現型を決定することおよび前記１つまたは複数の空間分布測定基準を生成することは、訓練された機械学習モデルを使用し、前記訓練された機械学習モデルは、訓練要素のセットを使用して訓練されており、前記訓練要素のセットの各々は、類似の医学的状態を有しかつ前記医学的状態の転帰が既知である別の対象に対応する、請求項１５に記載の方法。
【請求項17】
前記１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、免疫学的応答を調節する所与の治療が対象の医学的状態を効果的に治療する程度に関する予測に対応する結果を生成すること、前記結果に基づいて、前記対象が臨床治験に適格であると決定すること、および
前記対象が前記臨床治験に適格であるという表示を含むディスプレイを生成すること
をさらに含む、請求項１に記載の方法。
【請求項18】
デジタル病理画像処理システムであって、１つまたは複数のデータプロセッサ、ならびに
前記１つまたは複数のデータプロセッサに通信可能に結合され、前記１つまたは複数のデータプロセッサによって実行されると、前記１つまたは複数のデータプロセッサに、
生物学的試料の切片を描写するデジタル病理画像にアクセスすることであって、前記デジタル病理画像が、複数の染色に対する反応をディスプレイする領域を含む、アクセスすること、
前記デジタル病理画像を複数のタイルに細分化すること、
前記タイルの各々について、前記タイル内で識別された複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算すること、
計算された前記局所密度測定値に少なくとも部分的に基づいて、前記デジタル病理画像内の前記生物学的オブジェクトタイプについての１つまたは複数の空間分布測定基準を生成すること、および
前記局所密度測定値および前記１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、前記デジタル病理画像の腫瘍免疫表現型を決定すること、を含む１つまたは複数の操作を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む、デジタル病理画像処理システム。
【請求項19】
前記生物学的オブジェクトタイプは腫瘍細胞および免疫細胞を含み、前記腫瘍免疫表現型は、前記タイルの各々について、前記免疫細胞の前記局所密度測定値が免疫細胞密度閾値未満である場合、枯渇型、
前記タイルのうちの１つもしくは複数について、前記腫瘍細胞の前記局所密度測定値が腫瘍細胞密度閾値未満であり、前記免疫細胞の前記局所密度測定値が前記免疫細胞密度閾値以上である場合、排除型、または
前記タイルのうちの１つもしくは複数について、前記腫瘍細胞の前記局所密度測定値が前記腫瘍細胞密度閾値以上であり、前記免疫細胞の前記局所密度測定値が前記免疫細胞密度閾値以上である場合、炎症型
を含む、請求項１８に記載のデジタル病理画像処理システム。
【請求項20】
１つまたは複数のコンピューティング装置の１つまたは複数のデータプロセッサによって実行されると、前記１つまたは複数のプロセッサに、生物学的試料の切片を描写するデジタル病理画像であって、複数の染色に対する反応をディスプレイする領域を含む、デジタル病理画像を受信させ、
前記デジタル病理画像を複数のタイルにセグメント化させ、
前記タイルの各々について、前記タイル内で識別された複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算させ、
計算された前記局所密度測定値に少なくとも部分的に基づいて、前記デジタル病理画像内の前記生物学的オブジェクトタイプについての１つまたは複数の空間分布測定基準を生成させ、かつ
前記局所密度測定値または前記１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、前記デジタル病理画像の腫瘍免疫表現型を決定させる
命令を含む非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０２１年５月２７日に出願された「Ａｕｔｏｍａｔｉｃ Ｔｕｍｏｒ Ｉｍｍｕｎｏｐｈｅｎｏｔｙｐｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」と題する米国仮出願第６３／１９４，００９号、２０２１年１１月１６日に出願された、「Ｔｕｍｏｒ Ｉｍｍｕｎｏｐｈｅｎｏｔｙｐｉｎｇ Ｂａｓｅｄ Ｏｎ Ｓｐａｔｉａｌ－Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｓｉｓ」と題する米国仮特許出願第６３／２７９，９４６号、および、２０２２年２月９日に出願された、「Ｔｕｍｏｒ Ｉｍｍｕｎｏｐｈｅｎｏｔｙｐｉｎｇ Ｂａｓｅｄ Ｏｎ Ｓｐａｔｉａｌ－Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｓｉｓ」と題する米国仮特許出願第６３／３０８，４９１号の利益および優先権を主張し、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
本願は、２０２１年５月２７日に出願された「Ａｕｔｏｍａｔｉｃ Ｔｕｍｏｒ Ｉｍｍｕｎｏｐｈｅｎｏｔｙｐｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」と題する米国仮出願第６３／１９４，００９号、２０２１年１１月１６日に出願された、「Ｔｕｍｏｒ Ｉｍｍｕｎｏｐｈｅｎｏｔｙｐｉｎｇ Ｂａｓｅｄ Ｏｎ Ｓｐａｔｉａｌ－Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｓｉｓ」と題する米国仮特許出願第６３／２７９，９４６号、および、２０２２年２月９日に出願された、「Ｔｕｍｏｒ Ｉｍｍｕｎｏｐｈｅｎｏｔｙｐｉｎｇ Ｂａｓｅｄ Ｏｎ Ｓｐａｔｉａｌ－Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｎａｌｙｓｉｓ」と題する米国仮特許出願第６３／３０８，４９１号の利益および優先権を主張し、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
【0002】
本出願は、概して、デジタル病理画像を画像処理して、画像内における特定のタイプのオブジェクトの空間情報を特徴付ける出力を生成することに関する。
【背景技術】
【0003】
画像解析は、個々の画像を処理して画像レベルの結果を生成することを含む。例えば、結果は、画像が特定のタイプのオブジェクトを含むかどうかに関する評価、またはオブジェクトのタイプのセットのうちの１つまたは複数を含むものとしての画像の分類に対応するバイナリの結果であり得る。別の例として、結果は、画像内で検出される特定のタイプのオブジェクトの数についての画像レベルの計数、または特定のタイプのオブジェクトの分布の密度を含み得る。デジタル病理のコンテキストでは、結果は、試料の画像内で検出される特定のタイプの細胞の計数または特定の表示のディスプレイ、画像全体にわたるあるタイプの細胞の計数と別のタイプの細胞の計数との比、および／または画像の特定の領域における特定のタイプの細胞の密度を含むことができる。
【0004】
この画像レベルの手法は、メタデータの格納を容易にすることができ、結果がどのように生成されたかを簡単に理解することができるので、便利な場合がある。しかしながら、この画像レベルの手法は、詳細を画像から取り除く場合があるので、描写された状況および／または環境の詳細を検出することを妨げる可能性がある。特定のタイプの細胞に関する現在または場合によっては、将来の活性は微小環境に大きく依存する可能性があるので、この単純化は、特にデジタル病理のコンテキストにおいて影響が大きい場合がある。
【0005】
したがって、デジタル病理画像を処理して、描写された生物学的オブジェクト（例えば異なるタイプの細胞）の密度および空間的な分布を反映した出力を生成する技法を発展させることが有利であろう。
【発明の概要】
【0006】
免疫腫瘍治療の成功により、ヒトの腫瘍における免疫浸潤物の分析は、予後の作用への焦点から予測因子の識別に移行している。腫瘍浸潤リンパ球（ＴＩＬ）の密度および空間的な分布の予測的な力または予後の力は、経験的に証明されている。しかし、臨床的意思決定におけるこのバイオマーカーの広範な採用は、依然として欠如している。免疫浸潤物のパターンおよび密度の評価は、ほとんどの場合、病理学者による染色された組織切片の目視検査に基づく。この形式の手動分析は、労働集約的で、主観的で、エラーが発生しやすく、観察者間および観察者内での不十分な一致に関連付けられている。半自動化または完全自動化された方法は、潜在的な解決策として役立ち得る。これらの自動化された解決策は、病理学者が免疫浸潤物をどのように評価するかを模倣することを目的としているため、手動の方法で認められる標準化の欠如を受け継ぐ可能性がある。本開示は、標準化の欠如の影響を低減し、本明細書に記載される、導出された空間的特徴のセットを使用することによって、予測または予後のバイオマーカーとしてのＴＩＬの空間分布の広範な使用を容易にする自動化された手法を記載する。
【0007】
いくつかの実施形態では、所与の医学的状態を有する対象から収集された生物学的試料の切片を描写するデジタル病理画像にアクセスするデジタル病理画像処理システムを含む、コンピュータ実装方法が提供される。デジタル病理画像は、２つ以上の染色に対する反応をディスプレイする領域を含む。デジタル病理画像処理システムは、デジタル病理画像内の１つまたは複数の腫瘍関連領域を識別し、検出する。デジタル病理画像処理システムのセグメントは、デジタル病理画像を複数のタイルに細分化する。デジタル病理画像処理システムは、複数のタイルの各タイルについて複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算する。デジタル病理画像処理システムは、デジタル病理画像の複数のタイルの各タイルについて計算された局所密度測定値に少なくとも部分的に基づいて、デジタル病理画像内の生物学的オブジェクトタイプの１つまたは複数の空間分布測定基準を生成する。デジタル病理画像処理システムは、局所密度測定基準および１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、デジタル病理画像に描写された生物学的試料を特定の免疫表現型で分類する。デジタル病理画像に描写された生物学的試料を特定の免疫表現型で分類することは、デジタル病理画像の表現を１つまたは複数の空間分布測定基準に基づく軸を有する特徴空間に投影すること、および特徴空間内のデジタル病理画像の位置に基づいてデジタル病理画像に描写された生物学的試料を分類することを含む。デジタル病理画像に描写された生物学的試料の分類は、特徴空間内のデジタル病理画像の位置の、割り当てられた免疫表現型の分類を有する１つまたは複数の他のデジタル病理画像表現の位置への近接度にさらに基づく。複数のタイルの各タイルについての複数の生物学的オブジェクトタイプの各々の局所密度測定値は、タイル内に位置すると識別された生物学的オブジェクトタイプの第１のタイプの生物学的オブジェクトの描写の絶対量または相対量の表現、およびタイル内に位置すると識別された生物学的オブジェクトタイプの第２のタイプの生物学的オブジェクトの描写の絶対量または相対量の表現を含む。
【0008】
複数の生物学的オブジェクトタイプの各々は、２つ以上の染色のうちの１つに反応性であってもよい。タイルごとに複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することは、タイルごとに、タイルを２つ以上の染色に対する反応性に従って複数の領域にセグメント化すること、タイルの領域を２つ以上の染色の各々に対する生物学的試料の反応性によって分類すること、および２つ以上の染色の各々によって分類されたタイルの領域の数に基づいて、タイルについて複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することを含む。タイルの領域は、タイル内に位置するデジタル病理画像の画素である。タイルの領域は、領域の主要な色に基づいて分類することができ、色は、複数の生物学的オブジェクトタイプの各々の２つ以上の染色のうちの１つに対する反応に基づく。複数の生物学的オブジェクトタイプは、サイトケラチンおよび細胞傷害性構造を含み得る。
【0009】
デジタル病理画像内の１つまたは複数の腫瘍関連領域は、デジタル病理画像内の腫瘍関連領域を識別するように訓練された機械学習モデルによって識別され得る。デジタル病理画像内の１つまたは複数の腫瘍関連領域を識別することは、デジタル病理画像および１つまたは複数のインタラクティブ要素を含むディスプレイ用のユーザインターフェースを提供すること、および１つまたは複数のインタラクティブ要素との相互作用を通じて１つまたは複数の腫瘍関連領域の選択を受信することを含む。１つまたは複数の空間分布測定基準は、第１のセットの生物学的オブジェクトの描写の少なくとも一部が第２のセットの生物学的オブジェクトの描写の少なくとも一部にどの程度点在するものとして描写されるかを特徴付ける。１つまたは複数の空間分布測定基準は、Ｊａｃｃａｒｄ指数、Ｓｏｒｅｎｓｅｎ指数、Ｂｈａｔｔａｃｈａｒｙｙａ係数、Ｍｏｒａｎ指数、Ｇｅａｒｙ隣接比率、Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数、コロケーション指数またはホットスポット／コールドスポット解析に基づいて定義された測定基準を含む。デジタル病理画像処理システムは、デジタル病理画像に描写された生物学的試料の腫瘍免疫表現型の分類および１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、医学的状態の転帰についての予後を含む、対象の医学的状態の評価に対応する結果を生成する。デジタル病理画像処理システムは、対象の医学的状態および予後の評価の表示を含むディスプレイを生成する。結果を生成することは、訓練された機械学習モデルを使用し、免疫表現型分類および１つまたは複数の空間分布測定基準を処理すること、を含み、訓練された機械学習モデルは、訓練要素のセットを使用して訓練されており、訓練要素のセットの各々は、類似の医学的状態を有し、医学的状態の転帰が既知である別の対象に対応する。デジタル病理画像処理システムは、少なくとも一部空間分布測定基準に基づいて、免疫応答を調節する所与の治療が対象の所与の医学的状態をどの程度効果的に治療するかに関する予測に対応する結果を生成する。デジタル病理画像処理システムは、対象が結果に基づいた治験に対して適格であると決定する。デジタル病理画像処理システムは、対象が治験に対して適格であるという表示を含むディスプレイを生成する。
【0010】
いくつかの実施形態では、１つまたは複数のデータプロセッサと、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体とを含むシステムが提供される。
【0011】
いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部を実行させるように構成された命令を含む、コンピュータプログラム製品が提供される。
【0012】
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させるように構成された命令を含む非一時的機械可読記憶媒体において有形に具現化された、コンピュータプログラム製品を含む。
【0013】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴のいかなる均等物またはその一部も除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求されるような本発明は実施形態および任意選択の特徴によって具体的に開示されているが、本明細書に開示する概念の修正および変形を当業者が用いることができ、かかる修正および変形は、添付のクレームによって定義されるような本発明の範囲内にあるものとみなされることが理解されるべきである。
【図面の簡単な説明】
【0014】
【図1】デジタル病理画像を生成および処理するためのインタラクションシステムを示す。
【図2】オブジェクト描写データを処理して空間分布測定基準を生成する、例示のシステムを示す。
【図3】デジタル病理画像の画像処理に基づいて健康関連評価を提供するプロセスを示す。
【図4A】様々な免疫表現型の分類を示す例示的なデジタル病理画像を示す。
【図4B】様々な免疫表現型の分類を示す例示的なデジタル病理画像を示す。
【図4C】様々な免疫表現型の分類を示す例示的なデジタル病理画像を示す。
【図4D】様々な免疫表現型の分類を示す例示的なデジタル病理画像を示す。
【図4E】様々な免疫表現型の分類を示す例示的なデジタル病理画像を示す。
【図4F】様々な免疫表現型の分類を示す例示的なデジタル病理画像を示す。
【図5A】デジタル病理画像の画素ベースのセグメント化の例を示す。
【図5B】デジタル病理画像の画素ベースのセグメント化の例を示す。
【図6】タイルベースの局所密度測定計算の例を示す。
【図7】例示的な注釈付きデジタル病理画像を示す。
【図8A】特定の生物学的オブジェクトのタイプの密度の例示的なヒートマップを示す。
【図8B】特定の生物学的オブジェクトのタイプの密度の例示的なヒートマップを示す。
【図9】免疫表現型による生物学的オブジェクト密度ビンのプロットを示す。
【図10A】格子ベースの空間面積解析フレームワークを使用して画像を処理するためのプロセスを示す。
【図10B】格子ベースの空間面積解析フレームワークを使用して画像を処理するためのプロセスを示す。
【図11A】免疫表現型を使用して試料を分類するためのプロセスを示す。
【図11B】免疫表現型を使用して試料を分類するためのプロセスを示す。
【図11C】免疫表現型を使用して試料を分類するためのプロセスを示す。
【図11D】免疫表現型を使用して試料を分類するためのプロセスを示す。
【図12A】入れ子型モンテカルロ交差検証モデル化戦略を使用した研究コホートにおいて、予測される転帰ラベルを各対象に割り当てるプロセスを示す図である。
【図12B】異なる処置に対する分類された免疫表現型の例示的な全生存プロットを示す。
【図12C】異なる処置に対する分類された免疫表現型の例示的な全生存プロットを示す。
【図12D】異なる処置に対する分類された免疫表現型の例示的な無増悪生存プロットを示す。
【図12E】異なる処置に対する分類された免疫表現型の例示的な無増悪生存プロットを示す。
【図13】例示的なコンピュータシステムを示している。
【0015】
添付の図面において、同様の構成要素および／または特徴は、同じ参照ラベルを有することができる。さらに、同じタイプの様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第２のラベルを続けることによって、区別され得る。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様の構成要素のいずれかに適用可能である。
【発明を実施するための形態】
【0016】
デジタル画像は、様々な他の用途の中でも特に、診断、予後、治療選択、および治療査定などの臨床評価を容易にするため、医療のコンテキストにおいてますます使用されている。デジタル病理の分野では、所与の画像が特定のタイプまたはクラスの生物学的オブジェクトの描写を含むか否かを推定するために、デジタル病理画像の処理を実施することができる。例えば、組織試料の切片を染色して、特定のタイプの生物学的オブジェクト（例えば、特定のタイプの細胞、特定のタイプの細胞小器官もしくは血管）の描写が染色剤を優先的に吸収し、したがってより高強度の特定の色で描写されるようにすることができる。限定ではなく例として、２つの異なる免疫組織化学（ＩＨＣ）染色を適用して、異なるタイプの細胞を識別する一助とすることができる。汎サイトケラチン（「ＰａｎＣＫ」）染色は、サイトケラチン陽性（ＣＫ＋）領域（例えば、ＰａｎＣＫ染色に反応性の腫瘍細胞を描写する領域）を強調することができ、ＣＤ８染色は、ＣＤ８補助受容体を発現するＴ細胞（別名Ｔリンパ球）を描写するＣＤ８＋領域を強調することができる。組織試料は、本明細書に開示する技法に従って、画像化することができる。次に、デジタル病理画像は処理されて、生物学的オブジェクトの描写が検出される。生物学的オブジェクトの描写の検出は、少なくとも規定された量、規定された範囲内のサイズ、規定されたタイプの形状などの高強度画素の連続性を有するなど、染色プロファイルに対応する解析中の特定の基準を満たす生物学的オブジェクトに基づくことができる。特に、画像の「タイル」とも呼ばれる１つまたは複数の切片は、デジタル病理画像の解析に基づいて分類することができる。臨床評価、デジタル病理画像に対応する基礎試料の分類、または推奨は、画像分析に基づいて行われ得る。
【0017】
腫瘍、特に固形腫瘍は、特定の免疫細胞成分の密度および空間分布に従って、分類することができる。特定の実施形態では、ＣＤ８＋Ｔ細胞はがん細胞および他の感染している細胞または損傷のある細胞を死滅させることが知られているので、腫瘍および／または腫瘍試料の分類は、腫瘍床内のＣＤ８＋Ｔ細胞の存在および特異的位置に基づいてもよい。特に、サイトケラチンは上皮がん細胞の既知のマーカーであるため、評価はＣＤ８＋Ｔ細胞とＣＫ＋腫瘍細胞との間の相互作用に基づいてもよい。本明細書で詳細に説明するように、試料および腫瘍は、ＣＫ＋腫瘍細胞へのＣＤ８＋Ｔ細胞の浸潤の程度、およびその中のＣＤ８＋Ｔ細胞の密度に従って分類することができる。
【0018】
イメージング技術の進化に伴い、腫瘍組織スライドのデジタルイメージングは、多くのタイプの症状を管理するための日常的な臨床手順になってきている。デジタル病理画像は、生物学的オブジェクトを高分解能でキャプチャすることができる。デジタル病理画像にキャプチャした生物学的オブジェクトの空間的不均一性および／または密度の程度、ならびに所与のタイプのオブジェクトが互いに対して、および／または異なるタイプのオブジェクトに対して相対的に、例えば、腫瘍床へのＣＤ８＋Ｔ細胞の浸潤の評価の文脈として、空間的に集約および／または分配されている程度を特徴付けることが有利であり得る。デジタル病理画像における生物学的オブジェクトの描写の位置および関係は、対象の組織試料中の対応する生物学的オブジェクトの位置および関係と相関し得る。特定のタイプの生物学的オブジェクトの描写の密度と関係を客観的に特徴付けることは、現在の診断、予後、治療査定、治療選択、および／または治療適格性決定の品質に実質的に影響を及ぼす可能性がある。本明細書に開示されるように、そのような客観的な空間的特徴付けは、デジタル病理画像から、生物学的オブジェクトの描写のセットを検出し、生物学的オブジェクトの描写に基づいて指定された測定基準を生成することによって実行され得る。オブジェクトは、これらに限られるわけではないが、空間面積解析フレームワークを含む１つまたは複数の空間分析フレームワークに従って表すことができる。いくつかの場合には、画像内の領域のセットそれぞれに関して、またオブジェクトの１つまたは複数の特定のタイプそれぞれに関して、領域内に位置すると予測または決定された特定のタイプそれぞれの生物学的オブジェクトの描写の量または密度を示すメタデータを格納することができる。
【0019】
空間的集約は、デジタル病理画像内部のオブジェクトが、デジタル病理画像全体にわたって、またはデジタル病理画像の一領域にわたって、どのように空間的に集約または分配されているかの指標を含むことができる。例えば、１つのタイプまたはクラスの生物学的オブジェクト（例えば、リンパ球、ＣＤ８＋細胞）が、別のタイプまたはクラスの生物学的オブジェクト（例えば、腫瘍細胞、ＣＫ＋細胞）とどの程度空間的に混合されているかを決定することが有利であり得る。例示のため、腫瘍内腫瘍浸潤リンパ球（「ＴＩＬ」）は腫瘍内に位置し、腫瘍細胞との直接相互作用を有するが、間質ＴＩＬは腫瘍間質内に位置し、腫瘍細胞との直接相互作用を有さない。腫瘍内ＴＩＬは間質ＴＩＬと異なる活性パターンを有するだけではなく、各細胞タイプを、ＴＩＬのタイプ間における挙動の違いにさらに影響を与える、異なるタイプの微小環境と関連付けることができる。リンパ球が特定の位置（例えば、腫瘍内）で検出された場合、リンパ球が腫瘍に浸潤することができたという事実は、リンパ球および／または腫瘍細胞の活性に関する情報を伝達することができる。さらに、微小環境は、リンパ球の現在および将来の活性に影響を及ぼし得る。特定のタイプの生物学的オブジェクトの相対位置を識別することは、予後および治療の選択肢を識別すること、臨床治験に対する患者の適格性を査定すること、ならびに対象およびその症状の免疫学的特性を典型化することなど、予測的応用に対して特に有益であり得る。
【0020】
検出された生物学的オブジェクトの描写の位置および関係の客観的特徴付けの別の形態として、検出された生物学的オブジェクトの描写を使用して、１つまたは複数の空間分布測定基準を生成することができ、この測定基準は、領域レベル、画像レベル、および／または対象レベルで、所与のタイプまたはクラスの生物学的オブジェクトが、別のタイプまたはクラスの生物学的オブジェクトにどの程度点在する、同じタイプの他のオブジェクトとどの程度クラスター化される、ならびに／あるいは別の所与のタイプの生物学的オブジェクトとどの程度クラスター化されるものと予測されるかを特徴付けることができる。例えば、デジタル病理画像処理システムは、第１のセットの生物学的オブジェクトの描写および第２のセットの生物学的オブジェクトの描写をデジタル病理画像で検出することができる。システムは、第１のセットの生物学的オブジェクトの描写がそれぞれ第１のタイプの生物学的オブジェクト（例えば、リンパ球）を描写し、第２のセットの生物学的オブジェクトの描写がそれぞれ第２のタイプの生物学的オブジェクト（例えば、腫瘍細胞）を描写すると予測することができる。デジタル病理画像処理システムは、クラスターベースの評価を実施して、空間分布測定基準を生成することができ、この測定基準は、第１のセットの生物学的オブジェクトの描写における個体の生物学的オブジェクトの描写が第２のセットの生物学的オブジェクトの描写における個体の生物学的オブジェクトの描写とどの程度空間的に統合または分離されるか、ならびに／あるいは第１のセットの生物学的オブジェクトの描写（例えば、集合的）が第２のセットの生物学的オブジェクトの描写（例えば、集合的）とどの程度空間的に統合または分離されるかを示す。本明細書に開示するように、様々な空間分布測定基準がこの目的で開発され適用されてきた。
【0021】
腫瘍床内部のＣＤ８＋Ｔ細胞の評価の例を続けると、分析は、上皮細胞を検出し輪郭を描くための二重色素原免疫組織化学アッセイを含むがこれに限定されない、ＣＤ８＋Ｔ細胞およびＣＫ＋腫瘍細胞と反応性であることが知られている１つまたは複数の染色剤への特定の試料の曝露から開始し得る。曝露されると、本明細書に記載の技術などに従って、試料のデジタル病理画像が撮影され得る。試料のデジタル病理画像は、画像内、特にＣＫ＋腫瘍細胞を含むように見える画像の領域内部のＣＤ８＋Ｔ細胞の密度に基づいて分類することができる。分類は、ロバストに自動化された反復可能な方法で、または主観的な手動の方法で、実行することができる。この分類は、例えば、０（有効な細胞が非常に少ないことに対応する）から３以上（高密度免疫浸潤物に対応する）までの主観的尺度を含み得る。特定の実施形態では、分類は、浸潤細胞のパターンに従って、例えばＣＫ＋腫瘍細胞から離れて、またはＣＤ８＋およびＣＫ＋腫瘍細胞との間の部分的もしくは完全な重複に従って、行われ得る。得られた分類は、枯渇型(desert)（例えば、空間分布とは無関係の、まばらなＣＤ８＋浸潤）、排除型(excluded)（例えば、ＣＤ８＋Ｔ細胞とＣＫ＋腫瘍細胞とのごくわずかな重複であり、ＣＤ８＋Ｔ細胞の分布は、腫瘍細胞と免疫細胞との空間的な分離によって示されるように、ＣＫ－間質区画に限定される）、または炎症型(inflamed)（例えば、ＣＤ８＋Ｔ細胞とＣＫ＋腫瘍細胞との大量の重複を伴う共局在化）を含み得る。上述したように、評価のプロセスは手動で実行され得るが、手動の評価はエラーの原因が多い。第１に、評価は主観的に行われ、分類タイプごとのカットオフ測定基準など、評価に厳格性を加えようとしても、評価は依然として人間の評価者による主体的な能力の影響を受ける。第２に、評価は、同じ試料から生成された複数の画像、または同じ腫瘍から撮像された複数の試料が、その中の生物学的オブジェクトの異なる描写に基づいて異なる分類にされる腫瘍内不均一性を受けやすい。手動での手法では、特に大型標本における分類において、これらの差異を相関させること、または他の方法で説明することは困難であり得る。さらに、本明細書に記載する自動化されたデジタル手法は、反復可能な結果を伴う大幅に多い変数を説明し、空間分布測定基準の使用を通じて、分析している要因を広げる。ＣＫ＋腫瘍細胞中のＣＤ８＋Ｔ細胞の存在および密度に従った、免疫表現型の評価の文脈で説明されているが、試料を１つまたは複数の染色剤に曝露することにより、異なるタイプの生物学的オブジェクトを試料のデジタル病理画像内に表すことができる場合、同様の原理が適用され得る。
【0022】
高度な分析（例えば、空間統計）からの原理および定量的方法を適用して、分類および予測目的のためのデジタル病理画像の分析に関連する新規な解決策を生成することができる。本明細書で提供する技法は、デジタル病理画像を処理して、１つもしくは複数の特定のタイプまたはクラスの描写されたオブジェクト（例えば、生物学的オブジェクト）の空間分布および／または空間パターンを特徴付ける結果を生成するのに使用することができる。処理は、複数の特定のタイプそれぞれの生物学的オブジェクト（例えば、複数のタイプそれぞれの生体細胞に対応する）の描写、および／または領域または画素レベルでの特殊化された画像のセグメント化を検出することを含み得る。オブジェクト検出は、デジタル病理画像内の領域のセットのうち各領域に関して、また複数の特定の生物学的オブジェクトタイプそれぞれに関して、量に依存し量と相関されるものと規定される高次の測定基準、または生物学的オブジェクトの低次の測定基準（例えば、計数、密度、もしくは対応する画像領域内に提示される特定のタイプの生物学的オブジェクトの量を表すものと推論される画像強度）を識別することを含むことができる。さらに、空間分布測定基準を、他の測定基準（例えば、ＲＮＡシーケンシング、放射線イメージング（ＣＴ、ＭＲＩなど））と組み合わせて使用して、満たされていない医療上の必要性のため、測定基準の予測能力を改善するかまたは新規なバイオマーカーを見出すことができる。
【0023】
１つまたは複数の生物学的オブジェクトの描写の画像位置を、決定することができる。画像の位置は、空間面積解析フレームワークなどの１つまたは複数の空間分析フレームワークに従って、決定および表現することができる。例として、生物学的オブジェクトの描写は、画像の特定の領域内で検出されるオブジェクトの計数、画像の特定の領域内で検出される生物学的オブジェクトの密度、画像の特定の領域内で検出される生物学的オブジェクトのパターンなどに寄与するものとして、１つまたは複数の他の生物学的オブジェクトの描写と共に集合的に表現するか、またはそれによって示すことができる。
【0024】
デジタル病理画像処理システムは、空間分布測定基準を使用して、例えば、診断、予後、治療査定、治療選択、および／または治療適格性（例えば、対象が臨床治験または臨床治験の特定の群に対して受容もしくは推奨される適格性）の識別を容易にすることができる。例えば、特定の予後は、ＣＫ＋腫瘍細胞へのＣＤ８＋Ｔ細胞のある程度の浸潤の検出に応答して、識別され得る。別の例として、腫瘍またはがんのステージの診断は、免疫細胞（例えば、ＣＤ８＋Ｔ細胞）ががん性細胞（例えば、ＣＫ＋腫瘍細胞）と空間的に一体化している程度に基づいて通知され得る。さらに別の例として、治療前と比べて、または所与の対象に対して実施される１つまたは複数の事前評価に基づいて投影された近接性と比べて、治療を開始した後にＣＫ＋腫瘍細胞と比べてＣＤ８＋Ｔ細胞の空間近接性が小さいとき、治療の有効性がより高いと決定することができる。
【0025】
生物学的オブジェクト検出（または描写された生物学的オブジェクトの検出）を使用して、空間分布測定基準を含むかまたはそれに基づいてもよい、同じもしくは異なるタイプの生物学的オブジェクトの描写間の近接性、ならびに／あるいは１つまたは複数のタイプの生物学的オブジェクトの描写が共局在する程度を示すことができる、結果を作成することができる。生物学的オブジェクトの描写の共局在性は、デジタル病理画像の１つまたは複数の領域それぞれにおける複数の細胞タイプの類似の位置を表すことができる。結果は、対象または患者から収集された試料によって示される対象または患者の体内構造の微小環境内で起こり得る、異なる生物学的オブジェクトおよび生物学的オブジェクトタイプ間の相互作用を示すもの、ならびに／あるいは予測するものであることができる。そのような相互作用は、組織形成、ホメオスタシス、再生プロセスまたは免疫応答などの生物学的プロセスを支持するおよび／または生物学的プロセスに不可欠であり得る。したがって、結果によって伝達される空間情報は、特定の生物学的構造の機能および活性に関して有益であり得、したがって、試料を分類するか、病状および予後を特徴付けるか、または治療の有効性および他の対象の転帰を予測するための定量的な基礎として使用され得る。
【0026】
複数の空間分布測定基準が生成され得る。例えば、１つまたは複数の測定基準は、空間面積解析フレームワークを使用して生成することができる。測定基準は、第２のタイプの生物学的オブジェクトの他の描写の計数または密度と比べて、様々な画像領域内における第１のタイプの生物学的オブジェクトの描写の計数または密度を特徴付けることができる。
【0027】
機械学習モデルまたは規則を使用して、例えば、１つまたは複数の測定基準タイプのうちの測定基準タイプにそれぞれ対応する１つまたは複数の測定基準を使用して、診断、予後、治療査定、治療選択、治療適格性（例えば、臨床治験または臨床治験の特定の群に対して受容もしくは推奨される適格性）、ならびに／あるいは遺伝子変異、遺伝子変化、バイオマーカー発現レベル（遺伝子もしくはタンパク質を含むがそれらに限定されない）の予測などに対応する、結果を生成することができる。機械学習モデルは、限定ではなく例として、測定基準を処理して結果を作成するとき、１つまたは複数の重みを使用することを学習するように訓練される、分類、回帰、決定木、またはニューラルネットワークの技法を含むことができる。さらに、機械学習されたモデルまたはルールは、１つまたは複数の免疫表現型への分類のためのカットオフおよび／または閾値を形成し得る浸潤および密度の測定基準に対する修正など、試料を分類（ｃｌａｓｓｉｆｙまたはｃａｔｅｇｏｒｉｚｅ）するための手順に対する修正を予測または推奨するように訓練され得る。
【0028】
デジタル病理画像処理システムはさらに、１つまたは複数の空間分布測定基準に部分的に基づいて、検出された生物学的オブジェクトの描写の位置および関係のパターンを識別し、それらを認識するように、学習することができる。例えば、デジタル病理画像処理システムは、第１の試料のデジタル病理画像における検出された生物学的オブジェクトの描写の位置、密度、および関係のパターンを検出することができる。デジタル病理画像処理システムは、マスク、または他のパターン記憶データ構造を、認識されたパターンから生成することができる。デジタル病理画像処理システムは、本明細書に記載するような画像分析原理および空間分布測定基準を使用して、診断、予後、治療査定、治療選択、および／または治療適格性の決定を予測することができる。デジタル病理画像処理システムは、予測された予後などを、検出されたパターンおよび／または生成されたマスクと関連付けて格納することができる。デジタル病理画像処理システムは、対象の転帰を受信して、予測された予後などを検証することができる。
【0029】
デジタル病理画像処理システムは、第２の試料からの第２のデジタル病理画像を処理するとき、第２のデジタル病理画像における検出された生物学的オブジェクトの描写の位置および関係のパターンを検出することができる。デジタル病理画像処理システムは、第２のデジタル病理画像において検出された位置および関係のパターンと、第１のデジタル病理画像からのマスクまたは格納された検出パターンとの間の類似性を認識することができる。デジタル病理画像処理システムは、認識された類似性および／または対象の転帰に基づいて、予測された予後、治療法の推奨、または治療適格性の決定を通知することができる。例として、デジタル病理画像処理システムは、格納されたマスクを、第２のデジタル病理画像における検出された生物学的オブジェクトの描写の位置および関係のパターンと比較することができる。デジタル病理画像処理システムは、第２のデジタル病理画像に関する１つまたは複数の空間分布測定基準を決定し、格納されたマスクと第２のデジタル病理画像からの認識されたパターンとの比較に基づいて、第１のデジタル病理画像および第２のデジタル病理画像における検出された生物学的オブジェクトの描写の空間分布測定基準を比較することができる。
【0030】
追加的または代替的に、デジタル病理画像処理システムは、治療選択の識別を容易にするために、デジタル病理画像および／または試料に割り当てられた空間分布測定基準および／または免疫表現型を、さらに使用することができる。例えば、特定の免疫表現型を決定すると、免疫療法が選択的に推奨され得る。推奨される治療は、同様の免疫表現型検査を伴う他の対象に関連する長期および／または全生存の統計の研究と比較して推奨され得る。さらに、免疫表現型検査の結論に達するために使用された空間分布測定基準の詳細を使用してこの推奨を改良することができ、推奨の高度化を進め得る。
【0031】
診断、予後、治療査定、治療選択、および／または治療適格性の識別を容易にすることは、潜在的な診断、予後、治療査定、および／または治療選択を自動的に生成することを含むことができる。自動識別は、１つもしくは複数の学習済みおよび／または静的規則に基づくことができる。規則は、不平等、および／または例えば、閾値を上回る測定基準が特定の治療の適合性と関連付けられることを示し得る１つもしくは複数の閾値を、条件に含むことができる、ｉｆ－ｔｈｅｎ形式を有することができる。規則は、代わりにまたは加えて、数値の測定基準を、疾患に関する重症度スコア、または治療に関する適格性の定量化されたスコアに関連させる関数など、関数を含むことができる。デジタル病理画像処理システムは、潜在的な診断、予後、治療査定、治療選択、および／または治療適格性の決定を、推奨および／または予測として出力することができる。例えば、デジタル病理画像処理システムは、ローカルに結合されたディスプレイに出力をし、出力をリモートデバイスまたはアクセス端末リモートデバイスに送信し、結果をローカルまたはリモートのデータストレージに格納することなどができる。このようにして、人間のユーザ（例えば、医師および／または医療介護提供者）は、自動的に生成された出力を使用するか、または本明細書で説明する定量的測定基準によって通知される異なる評価を形成することができる。
【0032】
診断、予後、治療査定、治療選択、および／または治療適格性の決定の識別を容易にすることは、開示する主題と一貫した空間分布測定基準を出力することを含み得る。例えば、出力は、対象の識別子（例えば、対象の氏名）、対象と関連付けられた格納された臨床データ（例えば、過去の診断、考えられる診断、現在の治療、症状、検査結果、および／または生命兆候）、ならびに決定された空間分布測定基準を含むことができる。出力は、空間分布測定基準が導き出されたデジタル病理画像、および／またはその修正版を含むことができる。例えば、デジタル病理画像の修正バージョンは、デジタル病理画像内で検出された各生物学的オブジェクトの描写を識別し、および／またはデジタル病理画像および／もしくは該画像の１つもしくは複数の領域内で検出された生物学的オブジェクトの描写の密度を識別するオーバーレイおよび／またはマーキングを含むことができる。デジタル病理画像の修正版はさらに、検出された生物学的オブジェクトの描写に関する情報を提供することができる。人間のユーザ（例えば、医師および／または医療提供者）は次に、空間分布測定基準を含む出力を使用して、推奨される診断、予後、治療査定、治療選択、または治療適格性の決定を識別するまたは検証することができる。
【0033】
単一のデジタル病理画像から検出された生物学的オブジェクトの描写を使用して、複数のタイプの空間分布測定基準が生成される。複数のタイプの空間分布測定基準は、本明細書に開示する主題に従い、組み合わせて使用することができる。複数のタイプの空間分布測定基準は、例えば、各生物学的オブジェクトの描写の位置がどのように特徴付けられるかに関連する、同じまたは異なるフレームワークに対応することができる。複数のタイプの空間分布測定基準は、異なる可変のタイプ（例えば、異なるアルゴリズムを使用して計算される）を含むことができ、異なる値のスケールで、提示することができる。複数のタイプの空間分布測定基準を、規則または機械学習モデルを使用して集合的に処理して、ラベルを生成することができる。ラベルは、予測された診断、予後、治療査定、治療選択、および／または治療適格性の決定に対応させることができる。
【0034】
「生物学的オブジェクト」という用語は、本明細書で言及されるとき、生物学的単位を指す場合がある。生物学的オブジェクトは、限定ではなく例として、細胞、小器官（例えば、核）、細胞膜、間質、腫瘍、または血管を含むことができる。生物学的オブジェクトは三次元オブジェクトを含むことができ、デジタル病理画像はオブジェクトの単一の二次元スライスのみをキャプチャすることができ、これは二次元スライスの面に沿ってオブジェクトの全体にわたって全体的に延在する必要もないことが理解されるであろう。それでもなお、本明細書における言及は、かかるキャプチャされた部分を、生物学的オブジェクトを描写するものとして参照することができる。
【0035】
「生物学的オブジェクトのタイプ」または生物学的オブジェクトタイプという用語は、本明細書で言及されるとき、生物学的単位のカテゴリーを指すことができる。限定ではなく例として、生物学的オブジェクトのタイプは、細胞（一般に）、特定のタイプの細胞（例えば、リンパ球または腫瘍細胞）、特定の分類化されたタイプの細胞（例えば、ＣＤ８＋Ｔ細胞またはＣＫ＋腫瘍細胞）、細胞膜（一般に）などを指し得る。いくつかの開示は、第１のタイプの生物学的オブジェクトに対応する生物学的オブジェクトの描写および第２のタイプの生物学的オブジェクトに対応する他の生物学的オブジェクトの描写を検出することを指し得る。第１および第２のタイプの生物学的オブジェクトは、同様の、同じ、もしくは異なるレベルの特異性および／または一般性を有することができる。例えば、第１および第２のタイプの生物学的オブジェクトはそれぞれ、リンパ球タイプおよび腫瘍細胞タイプとして識別することができる。別の例として、第１のタイプの生物学的オブジェクトはリンパ球として識別することができ、第２のタイプの生物学的オブジェクトは腫瘍として識別することができる。
【0036】
「空間分布測定基準」という用語は、本明細書で言及されるとき、互いに対する、ならびに／あるいは他の特定の生物学的オブジェクトの描写に対する、画像内における特定の生物学的オブジェクトの描写の空間配置を特徴付ける測定基準を指すことができる。空間分布測定基準は、１つのタイプの生物学的オブジェクト（例えば、リンパ球）が、別のタイプの生物学的オブジェクト（例えば、腫瘍）にどの程度浸潤しているか、別のタイプのオブジェクト（例えば、腫瘍細胞）にどの程度点在しているか、別のタイプのオブジェクト（例えば、腫瘍細胞）とどの程度物理的に近接しているか、ならびに／あるいは別のタイプのオブジェクト（例えば、腫瘍細胞）とどの程度共局在しているかを特徴付けることができる。
【0037】
図１は、生物学的オブジェクトの相対空間情報を特徴付けるデジタル病理画像を生成し処理するための、開示される主題に従って使用することができる、インタラクティングシステム（例えば、特別に構成されたコンピュータシステム）の相互作用システムまたはネットワーク１００を示している。
【0038】
デジタル病理画像生成システム１２０は、特定の試料に対応する１つまたは複数のデジタル画像を生成することができる。例えば、デジタル病理画像生成システム１２０によって生成された画像は、生検試料の染色された切片を含み得る。別の例として、デジタル病理画像生成システム１２０によって生成された画像は、液体試料のスライド画像（例えば、血液フィルム）を含み得る。別の例として、デジタル病理画像生成システム１２０によって生成された画像は、蛍光性プローブが標的ＤＮＡまたはＲＮＡ配列に結合した後の蛍光ｉｎ ｓｉｔｕハイブリダイゼーション（ＦＩＳＨ）を描写するスライド画像などの蛍光顕微鏡法を含み得る。
【0039】
いくつかのタイプの試料（例えば、生検、固体試料および／または組織を含む試料）は、試料調製システム１２１によって処理されて、試料を固定および／または埋め込み得る。試料調製システム１２１は、固定剤（例えば、ホルムアルデヒド溶液などの液体固定剤）および／または包埋物質（例えば、組織学的ワックス）を試料に浸透させることを容易にし得る。例えば、固定サブシステムは、少なくとも閾値時間量（例えば、少なくとも３時間、少なくとも６時間、または少なくとも１２時間）の間、試料を定着剤に曝露することによって試料を固定できる。脱水サブシステムは、（例えば、固定試料および／または固定試料の一部を１つまたは複数のエタノール溶液に曝露することによって）試料を脱水し、潜在的に、（例えば、エタノールおよび組織学的ワックスを含む）透明化中間剤を使用して脱水された試料を透明化し得る。埋め込みサブシステムは、加熱された（例えば、液体の）組織学的ワックスを試料に浸透させ得る（例えば、対応する所定の期間の１回以上）。組織学的ワックスは、パラフィンワックスおよび潜在的に１つまたは複数の樹脂（例えば、スチレンまたはポリエチレン）を含み得る。次いで、試料およびワックスが冷却され、ワックス浸透試料がブロックされ得る。
【0040】
試料スライサー１２２は、固定されて埋め込まれた試料を受け取り、切片のセットを作製し得る。試料スライサー１２２は、固定されて埋め込まれた試料を低温またはさらなる低温に曝露し得る。次いで、試料スライサー１２２は、冷却された試料（またはそのトリミングされたバージョン）を切断して、切片のセットを作製し得る。各切片は、（例えば）１００μｍ未満、５０μｍ未満、１０μｍ未満、または５μｍ未満の厚さを有し得る。各切片は、（例えば）０．１μｍよりも大きい、１μｍよりも大きい、２μｍよりも大きい、または４μｍよりも大きい厚さを有し得る。冷却された試料の切断は、（例えば、少なくとも３０℃、少なくとも３５℃または少なくとも４０℃の温度における）温水浴において行われ得る。
【0041】
自動染色システム１２３は、各切片を１つまたは複数の染色剤（例えば、ヘマトキシリンおよびエオシン、免疫組織化学または特殊染色剤）に曝露することによって、試料切片の１つまたは複数を染色するのを容易にすることができる。各切片は、所定の期間にわたって所定量の染色剤に曝露され得る。特定の場合には、単一の切片は複数の染色剤に同時にまたは逐次曝露される。
【0042】
１つまたは複数の染色された切片のそれぞれは、切片のデジタル画像を取り込み得る画像スキャナ１２４に提示され得る。画像スキャナ１２４は、顕微鏡カメラを含み得る。画像スキャナ１２４は、複数の倍率（例えば、１０倍対物レンズ、２０倍対物レンズ、４０倍対物レンズなどを使用する）でデジタル画像を取り込み得る。画像の操作が使用されて、所望の倍率範囲で試料の選択された部分を取り込み得る。画像スキャナ１２４は、人間のオペレータによって識別された注釈および／または形態計測結果をさらに取り込み得る。場合によっては、切片が洗浄され、１つまたは複数の他の染色剤に曝露され、再び撮像され得るように、１つまたは複数の画像が取り込まれた後、切片は、自動染色システム１２３に戻される。複数の染色剤が使用される場合、第１の染色剤を大量に吸収した第１の切片に対応する画像の第１の領域が、第２の染色剤を大量に吸収した第２の切片に対応する画像の第２の領域（または異なる画像）と区別され得るように、異なる色プロファイルを有するように染色剤が選択され得る。
【0043】
デジタル病理画像生成システム１２０の１つまたは複数の構成要素は、人間のオペレータに関連して動作することができることが理解されよう。例えば、人間のオペレータは、様々なサブシステム（例えば、試料調製システム１２１またはデジタル病理画像生成システム１２０）にわたって試料を移動させ、および／またはデジタル病理画像生成システム１２０の１つまたは複数のサブシステム、システムまたは構成要素の動作を開始または終了させ得る。別の例として、デジタル病理画像生成システムの１つまたは複数の構成要素（例えば、試料調製システム１２１の１つまたは複数のサブシステム）は、人間のオペレータのアクションと部分的または全体的に置き換えることができる。
【0044】
さらに、デジタル病理画像生成システム１２０の様々な説明および図示された機能および構成要素は、固体および／または生検試料の処理に関するが、他の実施形態は、液体試料（例えば、血液試料）に関し得ることが理解されよう。例えば、デジタル病理画像生成システム１２０は、ベーススライド、汚れた液体試料およびカバーを含む液体試料（例えば、血液または尿）スライドを受け取り得る。次いで、画像スキャナ１２４は、試料スライドの画像を取り込み得る。デジタル病理画像生成システム１２０のさらなる実施形態は、本明細書に記載する、ＦＩＳＨなどの高度なイメージング技法を使用して、試料の画像をキャプチャすることに関連することができる。例えば、蛍光プローブが試料に導入され、標的配列に結合することが可能にされると、さらなる分析のために試料の画像を取り込むために適切なイメージングが使用され得る。
【0045】
所与の試料は、一人もしくは複数のユーザ（例えば、一人もしくは複数の医師、検査技師、および／または医療提供者）に関連付けられ得る。関連付けられたユーザは、撮像される試料を作製した、検査もしくは生検をオーダーした人、および／または検査もしくは生検の結果を受け取る許可を得た人を含むことができる。例えば、ユーザは、医師、病理学者、臨床医、または（試料が採取された）対象に対応することができる。ユーザは、１つまたは複数のデバイス１３０を使用して、試料をデジタル病理画像生成システム１２０によって処理すること、また結果として得られる画像をデジタル病理画像処理システム１１０によって処理することの、１つまたは複数の要求（例えば、対象を識別する）を（例えば）最初に提出することができる。
【0046】
デジタル病理画像生成システム１２０は、画像スキャナ１２４によって作成されたデジタル病理画像を送信してユーザデバイス１３０に返し、ユーザデバイス１３０は、デジタル病理画像処理システム１１０と通信して、デジタル病理画像の自動処理を開始する。デジタル病理画像生成システム１２０は、画像スキャナ１２４によって作成されたデジタル病理画像をデジタル病理画像処理システム１１０に直接、例えば、ユーザデバイス１３０のユーザの指示で利用する。図示しないが、他の中間装置（例えば、デジタル病理画像生成システム１２０またはデジタル病理画像処理システム１１０に接続されたサーバのデータストア）が使用され得る。加えて、単純にするため、１つのデジタル病理画像処理システム１１０、デジタル病理画像生成システム１２０、およびユーザデバイス１３０のみをネットワーク１００に図示している。本開示は、必ずしも本開示の教示から逸脱することなく、各タイプのシステムおよびその構成要素の１つまたは複数を使用することを見込んでいる。
【0047】
デジタル病理画像処理システム１１０は、受信したデジタル病理画像を分析し、デジタル病理画像の空間特性を識別し、その中の生物学的オブジェクトの描写の空間分布を特徴付け、および／またはデジタル病理画像およびデジタル病理画像の空間特性の分析に基づいて、対応する試料の分類をもたらすことができる。
【0048】
画像注釈モジュール１１１は、デジタル病理画像の注釈を生成および／または受信することができる。例として、画像注釈モジュールは、デジタル病理画像に注釈を付けるための１つまたは複数の機械学習および／またはルールベースのモデルを含むことができる。デジタル病理画像の注釈は、デジタル病理画像の内部に示される主要な構造（例えば、間質および炎症を含む腫瘍床）を識別することを含んでもよい。主要な構造は、デジタル病理画像処理システムの残りの構成要素によってデジタル病理画像の処理を較正または正規化するために使用することができる。特定の実施形態では、画像注釈モジュール１１１は、病理学者などのユーザに提示するためのユーザインターフェースを生成して、デジタル病理画像を評価し、画像の注釈を与えるか、または注釈モデルによって実行される注釈の検証を与えることができる。
【0049】
画像タイリングモジュール１１２は、デジタル病理画像からタイルを生成することができる。デジタル病理画像は、スライド画像全体の形態で提示され得る。典型的には、スライド画像全体は、標準的な画像よりも大幅に大きく、標準的な画像認識および分析に通常実行可能であるよりもはるかに大きいと予想される（例えば、１００，０００画素×１００，０００画素程度）。分析を容易にするために、画像タイリングモジュール１１２は、各スライド画像全体をタイルに細分化する。タイルのサイズおよび形状は、分析の目的のために均一にし得るが、サイズおよび形状は、可変であってもよい。いくつかの実施形態では、タイルは、デジタル病理画像処理システム１１０によって画像コンテキストが適切に分析される機会を増やすために重複し得る。行われる作業と精度とのバランスをとるために、重複しないタイルを使用することが好ましい場合がある。
【0050】
画素ベースのセグメント化モジュール１１３は、デジタル病理画像および／またはデジタル病理画像から生成されたタイルの画像のセグメント化を生成することができる。特定の実施形態では、セグメント化は画素ごとに実行されてもよいが、単一の画素よりも大きくタイルよりも小さいデジタル病理画像の領域が使用されてもよい。画素ベースのセグメント化モジュール１１３は、デジタル病理画像の特性を使用して、デジタル病理画像から生成されたタイルを、理想的には、目的の様々な生物学的オブジェクトに対応するセグメントに、正確にセグメント化することができる。画素ベースのセグメント化モジュール１１３は、デジタル病理画像に対応する試料が処理された染色の１つまたは複数の既知の効果に関連するカラーチャネルの強度を使用することができる。様々な染色は、特定の色彩値に関連付けられてもよく、これらの色彩値は、特定の既知の生物学的オブジェクトに対応してもよい。例として、第１の染色は、ＣＤ８ ＩＨＣ染色との反応性のために、濃い茶色を有するＣＤ８＋Ｔ細胞の表出を引き起こし得る。したがって、画素ベースのセグメント化モジュール１１３は、茶色にマッピングされたカラーチャネルの強度が高く、他のチャネルの強度が比較的低い画素を識別することができる。これらの識別された画素は、ＣＤ８＋Ｔ細胞に関連するセグメント化されたチャネルの一部であり得る。同様に、第２の染色は、ＰａｎＣＫ ＩＨＣ染色との反応性のために、濃いマゼンタ色を有するＣＫ＋腫瘍細胞の表出を引き起こし得る。したがって、画素ベースのセグメント化モジュール１１３は、マゼンタ色にマッピングされたカラーチャネルの強度が高く、他のチャネルの強度が比較的低い画素を識別し、これらの画素をＣＫ＋腫瘍細胞に関連するセグメント化されたチャネルの一部として関連付けることができる。特定の色およびカラーチャネルが論じられているが、特に異なる染色および種類の染色が使用されるので、他の適切な色の特徴付けおよび色の識別が想定される。画素ベースのセグメント化モジュール１１３は、タイルをセグメント化するためにデジタル病理画像の形状、エッジ、パターン、および他の特性を使用することができる。第１の生物学的オブジェクトに関連する領域（例えば、ＣＤ８＋Ｔ細胞に関連する領域）および第２の生物学的オブジェクトに関連する領域（例えば、ＣＫ＋腫瘍細胞に関連する領域）を統合および識別するために、追加の形態学的操作を実行することができる。
【0051】
密度評価モジュール１１４は、セグメント化されたデジタル病理画像タイルの各々における１つまたは複数の特定のタイプの特定のオブジェクト（例えば、生物学的オブジェクト）の描写の密度を自動的に検出することができる。本明細書に記載されるように、オブジェクトタイプは、例えば、細胞などの生体構造のタイプを含むことができる。例えば、第１のセットの生物学的オブジェクトは、第１の細胞タイプ（例えば、ＣＤ８＋Ｔ細胞など）に対応することができ、第２のセットの生物学的オブジェクトは、第２の細胞タイプ（例えば、腫瘍細胞など）に、またはあるタイプの生体構造（例えば、腫瘍、悪性腫瘍など）に対応することができる。密度の検出は、個々のタイルの画素ベースのセグメント化に基づくことができる。例として、密度の検出は、画素でセグメント化されたタイルの領域をバケット化することと、他の生物学的オブジェクトに関連付けられた画素でセグメント化されたタイルの領域の提示に対して、特定の生物学的オブジェクトに関連付けられた画素の大きさをカウントまたは測定することとを含むことができる。追加的または代替的に、密度評価モジュール１１４は、タイル内部で検出された生物学的オブジェクトの強度または大きさレベルを閾値のレベルと比較することによって、タイルベースの局所密度測定値を生成することができる。密度の評価に基づいて、密度評価モジュール１１４またはデジタル病理画像処理システム１１０の１つまたは複数の他のモジュールは、特定のタイルにおいて１つまたは複数のタイプの生物学的オブジェクト（例えば、ＣＤ８＋Ｔ細胞、ＣＫ＋腫瘍細胞）がより優勢であるかどうかに対応する各タイルの分類を割り当てることができる。この分類は、例えば、生物学的オブジェクトのタイプの存在または不在を示すことができる（例えば、タイルは、ＣＤ８＋Ｔ細胞について陽性または陰性、およびＣＫ＋腫瘍細胞について陽性または陰性として分類され得る）。タイルごとに生成された密度の値は、オブジェクト分布検出器１１５に与えることができる。
【0052】
オブジェクト分布検出器１１５は、デジタル病理画像の生の密度の値を分析し、１つまたは複数の空間分布測定基準を生成することができる。オブジェクト分布検出器１１５は、静的規則および／または訓練されたモデルを使用して、密度の値に少なくとも部分的に基づいて、デジタル病理画像のタイルに描写された生物学的オブジェクトを検出および特性評価することができる。オブジェクト分布検出器１１５は、特定のタイプの生物学的オブジェクトの特定の密度に関連するデジタル病理画像の１つまたは複数のオブジェクトおよび／または１つのタイルの空間分布を生成および／または特徴付けることができる。分布は、（例えば）１つまたは複数の静的規則（例えば、デジタル病理画像のグリッド領域内部における生物学的オブジェクトの絶対的もしくは平滑化された計数または密度をどのように使用するかを識別するなど）を使用することによって、ならびに／あるいは訓練済み機械学習モデル（例えば、１つもしくは複数のデジタル病理画像の予測品質に照らして、最初のオブジェクト描写データが調節されるべきであると予測することができる）を使用することによって、生成することができる。例えば、特徴付けは、特定のタイプの生物学的オブジェクトが互いに対して稠密にクラスター化されているものとしてどの程度描写されるか、特定のタイプの生物学的オブジェクトの描写が画像の全体もしくは一部にわたってどの程度拡散されるか、特定のタイプの生物学的オブジェクトの描写の（互いに対する）近接性が、別のタイプの生物学的オブジェクトの描写の（互いに対する）近接性にどのように匹敵するか、１つもしくは複数の他のタイプの生物学的オブジェクトの描写に対する１つもしくは複数の特定のタイプの生物学的オブジェクトの描写の近接性、ならびに／あるいは１つもしくは複数の特定のタイプの生物学的オブジェクトの描写が、１つもしくは複数の他のタイプの生物学的オブジェクトの１つまたは複数の描写によって規定される領域内にどの程度あるか、および／または領域にどの程度近接するかを示すことができる。図２に関連して以下でさらに詳細に説明するように、生物学的オブジェクト分布検出器１１５は、最初に、特定のフレームワーク（例えば、空間面積解析フレームワークなど）を使用して生物学的オブジェクトの表現を生成することができる。
【0053】
密度評価モジュール１１４によって調製された密度の値を使用することに加えて、オブジェクト分布検出器１１５は、そうでなければ、デジタル病理画像の１つまたは複数のタイルに描写された生物学的オブジェクトを検出し、そこから空間分布測定基準を調製することができる。規則ベースの生物学的オブジェクト検出は、１つもしくは複数の縁部を検出すること、十分に接続され形状が閉じている縁部のサブセットを識別すること、ならびに／あるいは１つもしくは複数の高強度領域または画素を検出することを含むことができる。例えば、閉じた縁部内の領域のある面積が事前規定された範囲内にある場合、および／または高強度領域が事前規定された範囲内のサイズを有する場合、デジタル病理画像の一部分が生物学的オブジェクトを描写していると決定することができる。訓練済みモデルを使用して生物学的オブジェクトの描写を検出することは、畳み込みニューラルネットワーク、深層畳み込みニューラルネットワーク、および／またはグラフベースの畳み込みニューラルネットワークなどのニューラルネットワークを用いることを含むことができる。モデルは、オブジェクトの位置および／または境界を示す注釈を含んだ、注釈付き画像を使用して訓練したものであることができる。注釈付き画像は、データレポジトリ（例えば、公開データストア）から、ならびに／あるいは一人もしくは複数の人間の注釈者と関連付けられた１つまたは複数のデバイスから受信したものであることができる。モデルは、汎用または自然画像（例えば、デジタル病理用途または医療用途全体のためにキャプチャした画像だけではない）を使用して訓練したものであることができる。これは、モデルが異なるタイプの生物学的オブジェクトを弁別する能力を拡張することができる。特定のタイプのオブジェクトを検出するようにモデルを訓練するために選択されている、デジタル病理画像など、画像の専用訓練セットを使用して訓練したものであることができる。
【0054】
規則ベースの生物学的オブジェクト検出および訓練済みモデル生物学的オブジェクト検出は、任意の組み合わせで使用することができる。例えば、規則ベースの生物学的オブジェクト検出は、１つのタイプの生物学的オブジェクトの描写を検出することができ、訓練済みモデルは、別のタイプの生物学的オブジェクトの描写を検出するのに使用される。別の例は、訓練済みモデルによって出力された生物学的オブジェクトを使用して規則ベースの生物学的オブジェクト検出からの結果を検証すること、または規則ベースの手法を使用して、訓練済みモデルの結果を検証することを含むことができる。さらに別の例は、規則ベースの生物学的オブジェクト検出を最初のオブジェクト検出として使用し、次により高度な生物学的オブジェクト解析のために訓練済みモデルを使用すること、または生物学的オブジェクトの最初のセットの描写が訓練済みネットワークを介して検出された後、規則ベースのオブジェクト検出の手法を画像に適用することを含むことができる。
【0055】
検出された各生物学的オブジェクトおよび／または密度の値が生成されたデジタル病理画像の各タイルについて、オブジェクト分布検出器１１５は、描写された生物学的オブジェクトの代表位置（例えば、重心点もしくは中点）、描写されたオブジェクトの縁部に対応する画素またはボクセルのセット、ならびに／あるいは描写された生物学的オブジェクトの面積に対応する画素またはボクセルのセットを識別し格納することができる。この生物学的オブジェクトデータは、限定ではなく例として、生物学的オブジェクトの識別子（例えば、識別番号）、対応するデジタル病理画像の識別子、対応するデジタル病理画像内の対応する領域の識別子、対応する対象の識別子、ならびに／あるいはオブジェクトのタイプの識別子を含むことができる、生物学的オブジェクトに関するメタデータと共に格納することができる。
【0056】
免疫表現型検査モジュール１１６は、少なくとも部分的に、密度評価モジュール１１４によって生成されたタイル分類およびデジタル病理画像用のオブジェクト分布検出器によって生成された空間分布測定基準に基づいて、デジタル病理画像に描写された試料の免疫表現型を予測し得る。免疫表現型検査モジュール１１６は、評価を行うときに、１つまたは複数の機械学習モデルまたはルールシステムを含むおよび／または使用することができる。例として、モデルは、デジタル病理画像のセット、それらの関連するタイル分類および空間分布測定基準、ならびに既知のまたは事前に割り当てられた免疫表現型を含む訓練データに基づく教師あり学習プロセスによって学習され得る。本明細書で説明するように、オブジェクト分布検出器１１５は、タイルの密度データに基づいて数十の空間分布測定基準を生成することができる。分類器は、１つまたは複数の超平面を識別して、様々な空間分布測定基準を含む特徴空間のデジタル病理画像（および基礎となる試料）のグループを分離することができる。プロセスは、免疫表現型のセットが特定のタイプの腫瘍または生物学的構造について指定されたものに限定され得るので、教師あり学習プロセスと呼ばれる。特定の実施形態では、学習は、モデルが訓練データを不特定の数、またはそれ自体のグループの指定に分類するように学習する教師なしプロセスであってもよい。訓練されると、モデルは、ライブデータ（例えば、新しい入力）を評価し、入力されたデジタル病理画像を適切な免疫表現型にグループ化するために、免疫表現型検査モジュール１１６によって使用され得る。
【0057】
応答評価モジュール１１７は、空間分布測定基準および割り当てられた免疫表現型を使用して、１つまたは複数の対象レベルのラベルを生成することができる。対象レベルのラベルは、個々の対象（例えば、患者）、定められた対象のグループ（例えば、類似の特性を有する患者）、臨床研究のアームなどについて決定されたラベルを含み得る。ラベルは、例えば、潜在的診断、予後、治療の評価、治療の推奨、または治療の適格性の決定に対応し得る。ラベルは、事前規定された規則または学習済み規則を使用して生成することができる。例えば、規則は、特定の免疫表現型が特定の治療勧告に関連付けられるべきであることを示すことができ、規則は、事前規定された閾値を上回る空間分布測定基準は、（例えば、潜在的な診断としての）特定の医学的状態と関連付けられ、閾値を下回る測定基準は特定の医学的状態と関連付けられないことを示すことができる。別の例として、規則は、空間分布測定基準が事前規定された範囲内にあって（例えば、さらに、そうでなければ）割り当てられた免疫表現型が２つのクラスのうちの１つであるとき、特定の治療が推奨されると示すことができる。さらに別の例として、規則は、最近収集されたデジタル病理画像に対応する空間分布測定基準と、それよりも前に収集されたデジタル病理画像に対応する格納されたベースライン空間分布測定基準との比に基づいて、治療の有効性の異なるバンドを識別することができる。
【0058】
出力生成モジュール１１８は、デジタル病理画像処理システムによって行われた様々な評価を伝達するために、デジタル病理画像、基礎となる試料、患者、または他の固有の関連付けに対応する複数のユーザインターフェース、レポート、およびグラフィックを生成することができる。例として、出力生成モジュール１１８は、画像注釈モジュール１１１によって生成または受信された注釈に対応するユーザインターフェースまたはグラフィックを生成することができる。注釈は、元のまたは編集されたデジタル病理画像に対するオーバーレイとして提示されてもよい。別の例として、出力生成モジュール１１８は、画素ベースのセグメント化モジュール１１３によって生成されたセグメント化に基づいて、デジタル病理画像の注釈付きまたはインタラクティブ表現を生成することができる。同様に、出力生成モジュール１１８は、密度評価モジュール１１４によって生成されたデジタル病理画像の各タイルの密度の値に対応するヒートマップを生成することができる。さらに、出力生成モジュール１１８は、免疫表現型検査モジュール１１６によってデジタル病理画像について予測された免疫表現型および／または応答評価モジュール１１７によって作成された応答評価のレポートを作成することができる。一般に、出力生成モジュール１１８は、デジタル病理画像処理システム１１０の動作への洞察を与えて、システムの精度の監査を支援し、病理学者または他の研究者が特定の評価のメカニズムおよび理由を理解するのを支援することができる。出力は、局所的な提示または送信（例えば、ユーザデバイス１３０に対する）を、含むことができる。
【0059】
デジタル病理画像処理システム１１０の訓練コントローラ１１９は、デジタル病理画像処理システム１１０によって使用される１つまたは複数の機械学習モデルおよび／または機能の訓練を制御し得る。場合によっては、モデルおよび機能の一部または全部は、訓練コントローラ１１９によって一緒に訓練される。場合によっては、訓練コントローラ１１９は、デジタル病理画像処理システム１１０によって使用してモデルを選択的に訓練し得る。本明細書で具現化されるように、訓練コントローラ１１９は、デジタル病理画像およびデジタル病理画像から生成された空間分布測定基準のセットを含むトレーニングデータを選択、検索、および／またはアクセスすることができる。訓練データは、各デジタル病理画像に割り当てられた免疫表現型の対応するセットをさらに含み得る。訓練動作中、訓練コントローラ１１９は、デジタル病理画像処理システムに、訓練データのデジタル病理画像のサブセットに対する免疫表現型および／または応答評価を処理および割り当てさせることができる。各デジタル病理画像の出力は、訓練データの所定の免疫表現型および／または転帰と比較することができる。比較に基づいて、１つまたは複数のスコアリング関数を使用して、試験中の機械学習モデルの正確性および精度のレベルを評価することができる。訓練プロセスは、何度も繰り返され、訓練データの１つまたは複数のサブセットまたはカットで実行されてもよい。例えば、各訓練サイクル中に、訓練データからのデジタル病理画像のランダムにサンプリングされた選択を、入力として得ることができる。
【0060】
例として、訓練コントローラ１１９は、与えられた免疫表現型および転帰と、免疫表現型検査モジュール１１６および応答評価モジュール１１７によって生成された出力との間の変動または差にペナルティを課すスコアリング関数を使用することができる。スコアリング機能は、例えば、特定の免疫表現型もしくは転帰および／または本明細書に記載の特定の免疫表現型もしくは転帰を示す特定の基準を識別することをシステムが学習するように促すために考案され得る。スコアリング関数の結果は、トレーニングされている機械学習モデルに与えることができ、これは、スコアを最適化するためにモデルに修正を適用または保存する。モデルが修正された後、別の訓練サイクルは、入力訓練データの新しいランダム化された試料で始まる。
【0061】
訓練コントローラ１１９は、さらに、いつ訓練を中止すべきかを決定する。例えば、訓練コントローラ１１９は、機械学習モデルまたはデジタル病理画像処理システムによって使用される他のアルゴリズムを設定されたサイクル数で訓練することを決定することができる。別の例として、訓練コントローラ１１９は、モデルが成功の閾値を超えたことをスコアリング関数が示すまで、デジタル病理画像処理システムを訓練することを決定することができる。別の例として、訓練コントローラ１１９は、訓練を周期的に一時停止し、結果が分かるデジタル病理画像の試験セットを与えることができる。訓練コントローラ１１９は、デジタル病理画像処理システムの精度を決定するために、既知の結果に対してデジタル病理画像処理システム１１０の出力を評価することができる。精度が設定閾値に到達すると、訓練コントローラ１１９は、訓練を中止し得る。
【0062】
図１の各構成要素および／またはシステムは、（例えば）１つもしくは複数のコンピュータ、１つもしくは複数のサーバ、１つもしくは複数のプロセッサ、および／または１つもしくは複数のコンピュータ可読媒体を含むことができる。単一のコンピューティングシステム（１つもしくは複数のコンピュータ、１つもしくは複数のサーバ、１つもしくは複数のプロセッサ、および／または１つもしくは複数のコンピュータ可読媒体を有する）は、図１に示される複数の構成要素を含むことができる。例えば、デジタル病理画像処理システム１１０は、画像注釈モジュール１１１、画像タイリングモジュール１１２、画素ベースのセグメント化モジュール１１３、密度評価モジュール１１４、オブジェクト分布検出器１１５、免疫表現型検査モジュール１１６、応答評価モジュール１１７、出力生成モジュール１１８、および／または、訓練コントローラ１１９のすべての機能性を集合的に実装する単一のサーバおよび／またはサーバの集合を含んでもよい。
【0063】
図２は、オブジェクトデータを処理して空間分布測定基準を生成する、例示の生物学的オブジェクトパターン計算システム２００を示している。オブジェクト分布検出器１１５は、システム２００の一部またはすべてを含むことができる。
【0064】
生物学的オブジェクトパターン計算システム２００は、複数のサブシステムを含むことができるが、強調のために面積処理サブシステム２１０のみが示され説明されている。サブシステムの各々は、面積解析フレームワーク２３０、ポイントプロセス分析フレームワーク、地球統計フレームワーク、グラフフレームワークなど、空間分布測定基準またはその構成データを生成するために、異なるフレームワークに対応して使用することができる。面積解析フレームワーク２３０は、個々の生物学的オブジェクトの描写によってではなく、座標および／または空間格子（例えば、タイル）を使用してデータ（例えば、描写された生物学的オブジェクトの位置または生物学的オブジェクトの密度）がインデックス付けされるフレームワークであってもよい。面積解析フレームワーク２３０は、１つまたは複数のタイプそれぞれの１つまたは複数の生物学的オブジェクトの描写にわたって形成される、空間パターンおよび／または分布を特徴付ける、１つまたは複数の測定基準の生成を支持することができる。
【0065】
面積解析フレームワーク２３０は、座標および／または空間格子を使用して、データにインデックスを付けることができる。面積処理サブシステム２１０は、面積解析フレームワーク２３０を適用して、画像面積と関連付けられた座標および／または領域のセットそれぞれに関して、密度を識別または参照することができる。密度は、格子ベースのパーティショナ２６５、グリッドベースのクラスター生成器２７０、および／またはホットスポットモニタ２７５、または本明細書に記載の他の技術の１つまたは複数を使用して、識別することができる。
【0066】
格子ベースのパーティショナ２６５は、画像における描写された生物学的オブジェクトの位置の表現を含む、空間格子を画像に付与することができる。空間格子を画像に課すことは、画像タイリングモジュール１１２などによって、画像を複数のタイルにセグメント化することを含むことができる。行のセットおよび列のセットを含む空間格子は、領域のセット（例えば、タイル）を規定することができ、各領域は行と列の組み合わせに対応する。各行は規定された高さを有することができ、各列は規定された幅を有することができるので、空間格子の各領域は規定された面積を有することができる。
【0067】
格子ベースのパーティショナ２６５は、空間格子および格子内の各タイルに関連する位置を使用して強度測定基準を決定することができる。例えば、各格子領域について、強度測定基準は、領域内部の１つまたは複数のタイプのそれぞれの生物学的オブジェクトの描写の絶対的または相対的な量または密度を示すことができ、および／またはそれに基づくことができる。強度測定基準（例えば、密度）は、タイル、デジタル病理画像内部で検出された生物学的オブジェクト（例えば、所与のタイプの、またはすべてのタイプの）の総数に基づいて、および／または試料および／またはデジタル病理画像のスケールに対して、正規化および／または重み付けすることができる。特定の実施形態では、強度測定基準は平滑化され、ならびに／あるいは別の方法で変換される。例えば、初期の計数は、最終強度測定基準がバイナリであるか、または正規化されたスケール（例えば、０以上１以下）で提示されるように閾値化されてもよい。バイナリ測定基準は、格子領域が閾値（例えば、タイルの少なくとも５０％が、特定の染色に関連するものとしてセグメント化された画素を含むかどうか）を満たす密度に関連付けられているかどうかの判定を含むことができる。格子ベースパーティショナ２６５は、異なるタイプの生物学的オブジェクト（例えば、タイルにわたるＣＤ８＋Ｔ細胞の密度をＣＫ＋腫瘍細胞の密度と比較すること）にわたる強度測定基準を（例えば）比較することによって、面積データを使用して１つまたは複数の空間分布測定基準を生成することができる。
【0068】
グリッドベースのクラスター生成器２７０は、１つまたは複数の生物学的オブジェクトタイプに関するクラスター関連データに基づいて、１つまたは複数の空間分布測定基準を生成することができる。例えば、１つまたは複数の生物学的オブジェクトタイプそれぞれに関して、クラスター化および／またはフィッティング技法を適用して、そのタイプの生物学的オブジェクト（例えば、ＣＤ８＋Ｔ細胞）の描写が、例えば互いに、ならびに／あるいは別のタイプの生物学的オブジェクト（例えば、ＣＫ＋腫瘍細胞）の描写と、どの程度空間的にクラスター化されるかを決定することができる。クラスター化および／またはフィッティング技法をさらに適用して、生物学的オブジェクトの描写がどの程度空間的に分散および／または無作為に分布されるかを決定することができる。例えば、グリッドベースのクラスター生成器２７０は、Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数および／またはＭｏｒａｎ指数を決定することができる。単一の測定基準が、１つのタイプの生物学的オブジェクトの描写がどの程度空間的にクラスター化されるか、ならびに／あるいは別のタイプのオブジェクトの描写にどの程度近似するかを示すことができる。
【0069】
ホットスポット／コールドスポットモニタ２７５は、解析を実施して、１つまたは複数の特定のタイプの生物学的オブジェクトの描写が存在する可能性が高い、デジタル病理画像のいずれかの「ホットスポット」位置、あるいは１つまたは複数の特定のタイプの生物学的オブジェクトの描写が存在しない可能性が高いいずれかの「コールドスポット」位置を検出することができる。格子で区分された強度測定基準を使用して、（例えば）局所的な強度の極値（例えば、最大値もしくは最小値）を識別し、ならびに／あるいはホットスポットとして特徴付けることができる１つもしくは複数のピーク、またはコールドスポットとして特徴付けることができる１つもしくは複数の谷を適合させることができる。Ｇｅｔｉｓ－Ｏｒｄホットスポットアルゴリズムを使用して、いずれかのホットスポット（例えば、隣接画素のセットにわたる強度が、デジタル病理画像における他の強度と比較して大幅に異なるように十分高い）またはいずれかのコールドスポット（例えば、隣接画素のセットにわたる強度が、デジタル病理画像における他の強度と比較して大幅に異なるように十分低い）を識別することができる。特定の実施形態では、「大幅に異なる」とは、統計的有意性の決定に対応することができる。オブジェクトタイプ特異的なホットスポットおよびコールドスポットが識別されると、ホットスポット／コールドスポットモニタ２７５は、１つの生物学的オブジェクトタイプに関して検出されたいずれかのホットスポットもしくはコールドスポットの位置、振幅、および／または幅を、別の生物学的オブジェクトタイプに関して検出されたいずれかのホットスポット／コールドスポットの位置、振幅、および／または幅と比較することができる。
【0070】
様々なサブシステムは、図示されない構成要素を含むことができ、明示的に記載されない処理を実施することができることが、認識されるであろう。例えば、面積処理サブシステム２１０は、エントロピーベースの相互情報指標に対応する空間分布測定基準を生成して、所与の領域内における第１のタイプの生物学的オブジェクトの描写の位置に関する情報が、（同じもしくは他のタイプの）別の生物学的オブジェクトの描写が別の領域内の位置に存在するか否かに関する不確実性をどの程度低減させるかを示すことができる。例えば、相互情報測定基準は、１つの生物学的オブジェクトタイプの位置が、別の生物学的オブジェクトタイプの位置に関する情報を提供する（またしたがって、エントロピーを低減する）ことを示すことができる。かかる相互情報は、潜在的に、１つの細胞タイプの細胞が他の細胞タイプの細胞に点在する（例えば、腫瘍浸潤リンパ球が腫瘍細胞中に点在する）例と関連付けることができる。
【0071】
生物学的オブジェクトパターン計算システム２００は、様々なタイプの複数の（例えば、２つ以上、３つ以上、４つ以上、もしくは５つ以上の）空間分布測定基準（例えば、本明細書に開示するものなど）の組み合わせを使用して、結果（それ自体が空間分布測定基準であり得る）を生成することができる。複数の空間分布測定基準は、異なるフレームワーク（例えば、面積解析フレームワーク２３０）を使用して生成された測定基準および／または異なるサブシステムによって生成された測定基準を含むことができる。例えば、空間分布測定基準は、Ｊａｃｃａｒｄ指数、Ｓｏｒｅｎｓｅｎ指数、Ｂ係数、ＭｏｒａｎのＩ計算、ＧｅａｒｙのＣ計算、Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数測定基準、Ｇｅｔｉｓ－Ｏｒｄ Ｇ指数、コロケーション指数、または格子およびタイルベースのフレームワークのための他の同様の空間分布測定基準を使用して生成することができる。
【0072】
複数の測定基準は、１つもしくは複数のユーザ定義および／または事前規定された規則を使用して、ならびに／あるいは訓練済みモデルを使用して組み合わせることができる。例えば、機械学習（ＭＬ）モデルコントローラ２９５（訓練コントローラ１１９とは別個および／または統合されている）は、様々な低レベル測定基準がどのように集合的に処理されて、統合された空間分布測定基準を生成するかを指定する、１つまたは複数のパラメータ（例えば、重み）を学習するように、機械学習モデルを訓練することができる。統合された空間分布測定基準は、個々のパラメータだけよりも集計がより正確であり得る。追加的または代替的に、機械学習モデルコントローラ２９５は、与えられたデジタル病理画像に関する決定を分類または他の様態で行うように、機械学習モデルを訓練することができる。機械学習モデルに関するパラメータは、ＭＬモデルアーキテクチャデータストアに格納することができる。例として、本明細書に記載されるように、機械学習モデルは、空間的特徴および与えられた免疫表現型の分類を含むデータの訓練セットに基づいて、距離測定基準を学習し、免疫表現型のクラスを分離するように埋め込むように訓練され得る。機械学習モデルは、計算された空間分布測定基準に基づいて免疫表現型のクラスを分離するための埋め込み空間および特徴空間を生成することができる。機械学習モデルのアーキテクチャはまた、ＭＬモデルアーキテクチャデータストア２９６に格納することができる。例えば、機械学習モデルは、ロジスティック回帰、線形回帰、決定木、ランダムフォレスト、サポートベクターマシン、ニューラルネットワーク（例えば、順伝播型ニューラルネットワーク）などを含むことができ、ＭＬモデルアーキテクチャデータストア２９６は、モデルを規定する１つまたは複数の方程式を格納することができる。任意に、ＭＬモデルハイパーパラメータデータストア２９７は、モデルおよび／またはその訓練を規定するのに使用されるがまだ学習されていない、１つまたは複数のハイパーパラメータを格納する。例えば、ハイパーパラメータは、隠れ層の数、ドロップアウト、学習率などを識別することができる。学習されたパラメータ（例えば、１つまたは複数の重み、閾値、係数などに対応する）は、ＭＬモデルパラメータデータストア２９８に格納することができる。
【0073】
図２には示されないが、生物学的オブジェクトパターン計算システム２００はさらに、対象の試料の切片にわたる空間分布測定基準を集約し、１つまたは複数の集約された空間分布測定基準を生成する、１つまたは複数の構成要素を含むことができる。かかる集約された測定基準は、（例えば）サブシステム内の構成要素によって（例えば、ホットスポットモニタ２７５によって）、サブシステムによって（例えば、面積処理サブシステム２１０によって）、ＭＬモデルコントローラ２９５によって、ならびに／あるいは生物学的オブジェクトパターン計算システム２００によって生成することができる。集約された空間分布測定基準は、（例えば）切片特異的な測定基準のセットの合計、中央値、平均、最大値、または最小値を含むことができる。
【0074】
図３は、免疫表現型に従って生物学的試料を分類し、空間分布測定基準を使用してデジタル病理画像の画像処理に基づいて健康関連評価を提供するためのプロセス３００を示す。より具体的には、デジタル病理画像は、例えば、デジタル病理画像処理システムによって処理して、１つもしくは複数のタイプの生物学的オブジェクトの空間パターンおよび／または分布を特徴付ける１つまたは複数の測定基準を生成することができる。次いで、空間分布測定基準は、診断、予後、治療評価、または治療適格性の決定を知らせることができる。
【0075】
本プロセスは、デジタル病理画像処理システム１１０が、染色された組織試料の１つまたは複数のデジタル病理画像にアクセスすることができるステップ３１０で開始する。例えば、デジタル病理画像処理システム１１０は、対象に関連付けられた識別子を受信し得る。対象に関連付けられた識別子は、対象、試料、切片、および／またはデジタル病理画像の識別子を含むことができる。対象に関連付けられた識別子は、ユーザ（例えば、医療提供者および／または対象の医師）によって提供することができる。ユーザは、ユーザデバイスへの入力として識別子を提供することができ、ユーザデバイスは識別子をデジタル病理画像処理システム１１０に送信することができる。デジタル病理画像処理システムは、識別子を使用してデジタル病理画像を検索することができるローカルまたはリモートのデータストアに問い合わせることができる。追加的または代替的に、デジタル病理画像処理システム１１０は、例えばユーザデバイス１３０から直接画像を受信してもよい。別の例として、対象に関連付けられた識別子を含む要求を別のシステム（例えば、デジタル病理画像生成システム１２０）に送信することができ、応答はデジタル病理画像を含むことができる。
【0076】
デジタル病理画像は、医学的状態を示す対象からの試料の染色切片を描写することができる。デジタル病理画像は、本明細書に記載されるように、１つまたは複数のタイプの生物学的オブジェクト（例えば、腫瘍細胞およびリンパ球）との既知の反応性に基づいて選択される２つ以上の染色剤で染色され得る。例として、試料は、腫瘍細胞およびリンパ球との反応性を引き起こすことが知られている特定の染色剤または他の処理で染色されて、これらの生物学的オブジェクトの検出可能性およびデジタル病理画像の関連する面積を改善することができる。
【0077】
ステップ３２０において、デジタル病理画像処理システム１１０は、デジタル病理画像内の腫瘍関連領域を識別することができる。特定の実施形態では、デジタル病理画像処理システム１１０は、デジタル病理画像内の腫瘍関連領域を識別するように訓練された機械学習モデルを使用して、デジタル病理画像内の腫瘍関連領域を識別する。特定の実施形態では、デジタル病理画像処理システム１１０は、病理学者または他のユーザの相互作用を通じてデジタル病理画像内の腫瘍関連領域を識別する。例として、デジタル病理画像処理システム１１０は、デジタル病理画像および１つまたは複数のインタラクティブ要素を含むディスプレイ用のユーザインターフェースを提供することができる。ユーザインターフェースは、例えば、ユーザデバイス１３０に、またはデジタル病理画像処理システム１１０のユーザ入力デバイスを介して提供することができる。次いで、デジタル病理画像処理システム１１０は、１つまたは複数のインタラクティブ要素との相互作用を通じて１つまたは複数の腫瘍関連領域の選択を受信することができる。
【0078】
ステップ３３０において、デジタル病理画像処理システム１１０は、デジタル病理画像を複数のタイルに細分化することができる。デジタル病理画像は、スライド画像全体または他の大きなフォーマットの画像のフォーマットで提供され得る。解析を容易にするために、スライド画像全体が標準画像よりも著しく大きいため、デジタル病理画像は、タイルと呼ばれるより管理しやすいサイズにデジタル病理画像を細分化する。タイルのサイズおよび形状は、均一であってもよく、または特定の分析の必要性に基づいて可変であってもよい。さらに、いくつかの実施形態では、タイルは重なり合わない（例えば、それらは互いに相互に排他的である）が、他の実施形態では、タイルは重なり合って、画像コンテキストがデジタル病理画像処理システム１１０によって適切に分析される機会を増加させることができる。タイルのサイズおよび形状は、デジタル病理画像処理システム１１０によって自動的に決定されてもよく、または一人もしくは複数のユーザによってもしくは一人もしくは複数のユーザの要求に応じて（例えば、ユーザデバイス１３０によるデジタル病理画像処理システム１１０への入力を介して）予め決定され得る。特に、タイルのサイズおよび形状、ならびにタイルによって形成された格子のサイズおよび形状は、最終的な結果の評価、求められている生物学的オブジェクトのタイプ、生物学的試料が採取された組織のタイプ、医学的状態のタイプ、または他の関連する変数を含む、実行されている分析のタイプに基づいて決定することができる。
【0079】
ステップ３４０において、デジタル病理画像処理システム１１０は、タイルに描写された生物学的オブジェクトの、生物学的試料が処理された２つ以上の染色に対する反応性に基づいて、タイルの各々を領域にセグメント化することができる。特定の実施形態では、デジタル病理画像は、複数の生物学的オブジェクトタイプの描写を含み、複数の生物学的オブジェクトタイプの各々は、これらの染色の１つに反応性である。デジタル病理画像処理システム１１０は、画素ベースのセグメント化手法を適用して、これらの染色に対する反応性に基づいてタイルの領域をセグメント化および分類することができる。例として、タイルの各領域は、タイルを構成する画素に設定され得る。デジタル病理画像処理システム１１０は、各画素を、領域の色に基づいて、図示された生物学的オブジェクトタイプのうちの１つまたは複数に属するか、またはそれを含むものとして分類することができる。例えば、デジタル病理画像処理システム１１０は、第１の生物学的オブジェクトタイプ（例えば、ＣＤ８＋Ｔ細胞）に関連するものとして、１つまたは複数の第１のカラーチャネル（例えば、ＣＤ８ ＩＨＣ染色に反応性の領域を示す褐色）における閾値強度を有する画素を関連付け、第２の生物学的オブジェクトタイプ（例えば、ＣＫ＋腫瘍細胞）に関連するものとして、１つまたは複数の第２のカラーチャネル（例えば、ＰａｎＣＫ ＩＨＣ染色剤に反応性の領域を示すマゼンタ色）における閾値強度を有する画素を関連付けてもよい。閾値強度および特定のカラーチャネルは、生物学的試料がデジタル病理画像に描写された特定の染色に基づくことができ、色は、複数の生物学的オブジェクトタイプの各々の２つ以上の染色のうちの１つに対する反応に基づく。領域と特定の生物学的オブジェクトタイプとの関連付けは、画像セグメント化アルゴリズムの信頼スコアにさらに基づくことができる。
【0080】
ステップ３５０において、デジタル病理画像処理システム１１０は、デジタル病理画像の各タイルについて、各生物学的オブジェクトタイプの局所密度測定値を計算することができる。いくつかの実施形態では、デジタル病理画像処理システム１１０は、単一のタイルをＣＫ＋（例えば、ＰａｎＣＫ ＩＨＣ染色を描写する画素によって表示されるタイルに描写された腫瘍細胞の領域がウィンドウ面積の２５％より大きい場合）および／またはＣＫ－（例えば、ＣＤ８ ＩＨＣ染色を描写する画素によって表示されるようなＴ細胞の存在がウィンドウ面積の２５％より大きいとき）として分類することができ、これにより、所与のタイルをＣＫ＋およびＣＫ－の両方として分類すること、ならびにＣＫ＋またはＣＫ－としてのみ分類することが可能になる。局所密度測定値から、デジタル病理画像処理システム１１０は、生物学的オブジェクトの描写を特徴付けるオブジェクト情報を含むデータ構造を生成することができる。データ構造は、例えば、生物学的オブジェクトの描写の位置および／またはデジタル病理画像の格子内のタイルの位置を識別することができる。データ構造はさらに、描写された生物学的オブジェクトに対応する生物学的オブジェクトのタイプ（例えば、リンパ球、腫瘍細胞など）を識別することができる。計算は、２つ以上の染色（例えば、生物学的オブジェクトタイプの各々に関連付けられる）の各々によって分類されたタイルの領域（例えば、画素の面積）の数に基づくことができる。特定の実施形態では、各タイルについての複数の生物学的オブジェクトタイプの各々の局所密度測定値は、タイル内に位置すると識別された生物学的オブジェクトタイプの第１のタイプの生物学的オブジェクトの描写の絶対量または相対量の表現、およびタイル内に位置すると識別された生物学的オブジェクトタイプの第２のタイプの生物学的オブジェクトの描写の絶対量または相対量の表現を含む。例えば、目的の２つの生物学的オブジェクトタイプがある例では、局所密度測定は、２つの生物学的オブジェクトタイプの各々に関連する各タイルの領域の絶対数またはパーセンテージを反映することができる。この値をタイル内の領域の総数で除算して、生物学的オブジェクトタイプの各々に関連付けられたタイルのパーセンテージを得ることができる。追加的または代替的に、局所密度測定値は、デジタル病理画像の画素のサイズと生物学的試料の対応するサイズとの間の既知の変換に基づく面積の値として表現され得る。いくつかの実施形態では、各生物学的オブジェクトタイプ（例えば、ＣＫ＋腫瘍細胞およびＣＤ８＋Ｔ細胞）の二次元密度分布は、局所密度測定値から得ることができる。
【0081】
ステップ３６０において、デジタル病理画像処理システム１１０は、各タイルの局所密度測定値に基づいて、デジタル病理画像内の生物学的オブジェクトタイプの空間分布測定基準を生成することができる。空間分布測定基準の各々は、第１のセットの生物学的オブジェクトの描写の少なくとも一部が第２のセットの生物学的オブジェクトの描写の少なくとも一部にどの程度点在するものとして描写されるかを特徴付ける。本明細書に記載されるように、生成された空間分布測定基準は、Ｊａｃｃａｒｄ指数、Ｓｏｒｅｎｓｅｎ指数、Ｂｈａｔｔａｃｈａｒｙｙａ係数、Ｍｏｒａｎ指数、Ｇｅａｒｙ隣接比率、Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数、コロケーション指数、ホットスポット／コールドスポット解析に基づいて定義された測定基準、またはそれらの変形もしくは修正のうちの１つまたは複数を含み得る。
【0082】
いくつかの実施形態では、１つまたは複数の空間分布測定基準は、生物学的オブジェクトタイプの共局在化、１つまたは複数の生物学的オブジェクトタイプ（細胞を含む）のホットスポットの存在など、生物学的オブジェクトの空間パターンを定量化することができる。そのような空間パターンは、腫瘍領域（例えば、ＴＩＬ）へのリンパ球の浸潤のレベルを評価するのに役立ち得る。空間パターンは、デジタル病理画像の格子に基づいて１つまたは複数の空間分析手法を使用して定量化することができる。各タイルは空間単位とみなされてもよく、その中心座標が抽出され得る。特定のタイプの生物学的オブジェクトを含む領域の総面積は、各タイルについて計算され（例えば、生物学的オブジェクトのタイプの存在を示す染色の色を表す画素の数に基づいて）、次いで、同じスライドのすべてのタイルにわたる生物学的タイプのすべての面積の合計で割ることによって正規化され得る（例えば、スライドのすべてのタイルにわたって腫瘍領域を示すすべての面積の合計、またはスライドのすべてのタイルにわたってＴ細胞を示すすべての面積の合計）。１つまたは複数の有病率マップを作成することができ、各タイルの有病率値は、生物学的オブジェクトタイプの計算された正規化面積に基づくことができる。空間分布測定基準は、有病率マップから導出され得る。空間分布測定基準は、とりわけ、腫瘍細胞に埋め込まれたＴＩＬなどの２つの生物学的オブジェクトタイプの共局在化、および／または腫瘍領域のＴＩＬなどの１つの生物学的オブジェクトタイプの空間分布を表すことができる。
【0083】
本明細書に記載されるように、１つまたは複数の空間分布測定基準は、Ｊａｃｃａｒｄ指数、Ｓｏｒｅｎｓｅｎ指数、Ｂｈａｔｔａｃｈａｒｙｙａ係数、Ｍｏｒａｎ指数（二変量Ｍｏｒａｎ指数、ＣＤ８に対するＭｏｒａｎ指数、および／またはＣＫに対するＭｏｒａｎ指数を含む）、Ｇｅａｒｙの隣接比率またはＣ指数（ＣＤ８のためのＧｅａｒｙのＣ指数および／またはＣＫのためのＧｅａｒｙのＣ指数を含む）、Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数、ホットスポット／コールドスポット解析（例えば、Ｇｅｔｉｓ－Ｏｒｄホットスポット（共局在化したＧｅｔｉｓ－Ｏｒｄホットスポット、ＣＤ８用のＧｅｔｉｓ－Ｏｒｄホットスポット、および／またはＣＫ用のＧｅｔｉｓ－Ｏｒｄホットスポットを含む））に基づいて定義された測定基準、生物学的オブジェクトの面積の比（例えば、ＣＫ＋領域の総面積に対するＣＤ８＋領域の総面積の比）、コロケーション指数、またはそれらの変形もしくは修正のうちの１つまたは複数を含むことができる。
【0084】
ステップ３７０において、デジタル病理画像処理システム１１０は、デジタル病理画像のタイルに対して生成された局所密度測定値およびデジタル病理画像に対して生成された空間分布測定基準に基づいて、デジタル病理画像の特定の免疫表現型を決定することができる。デジタル病理画像処理システム１１０は、局所密度測定値および空間分布測定基準を入力として使用して、デジタル病理画像の埋め込みまたは他の表現を生成することができる。例として、デジタル病理画像処理システム１１０は、デジタル病理画像の表現を、空間分布測定基準（例えば、１つまたは複数の空間分布測定基準に基づく軸を有する）によって定義された埋め込み空間または特徴空間に投影することができる。投影および特徴空間は、適切な特徴空間に埋め込みを生成するように訓練された機械学習モデルに基づくことができる。次いで、デジタル病理画像処理システム１１０は、特徴空間内のデジタル病理画像の位置に基づいて生物学的試料を分類することができる。特に、デジタル病理画像処理システム１１０は、特徴空間内のデジタル病理画像の表現の位置の、１つまたは複数の他のデジタル病理画像表現の位置への近接度に基づいて、デジタル病理画像を分類することができる。これらの隣接するデジタル病理画像表現は、事前に割り当てられたまたは所定の免疫表現型の分類を有し得る。デジタル病理画像は、特徴空間内の最近傍の免疫表現型に基づいて免疫表現型を割り当てることができる。
【0085】
ステップ３８０において、デジタル病理画像処理システム１１０は、免疫表現型の分類および１つまたは複数の空間分布測定基準に基づいて健康関連評価結果を生成することができる。健康関連評価結果は、例えば、生物学的試料が採取された対象に関連する医学的状態に関する診断、予後、治療評価、または治療適格性に対応し得る。デジタル病理画像処理システムは、訓練された機械学習モデルを使用して、免疫表現型の分類および１つまたは複数の空間分布測定基準を処理することができる。本明細書に記載されるように、機械学習モデルは、各々が同様の医学的状態を有し、健康関連評価に関する転帰または分類が知られている別の対象に対応する訓練要素のセットを使用して評価結果を生成するように訓練することができる。例えば、健康関連評価が全生存（または指定された期間にわたる生存）の予測に関連する場合、対象の既知の転帰のそれぞれは、対象の生存に関する情報を含み得る。別の例として、健康関連評価が特定の処置（例えば、臨床治験を含む）の利用可能性または適格性に関連する場合、対象についての既知の転帰のそれぞれは、除外基準もしくは組み入れ基準または治療後の対象の生存および回復の転帰に関する情報を含み得る。
【0086】
いくつかの実施形態では、デジタル病理画像処理システム１１０は、局所密度測定値、空間分布測定基準、免疫表現型の分類、または健康関連評価結果に基づいて、１つまたは複数の出力を生成することができる。出力は、デジタル病理画像処理システム１１０の暫定的な計算または決定に基づいて増強されたデジタル病理画像の１つまたは複数の視覚化を含むことができる。例として、第１の出力は、デジタル病理画像処理システムのタイルごとに計算された局所密度測定値に基づいて、デジタル病理画像処理システムによって観察された生物学的オブジェクトタイプのうちの１つまたは複数の有病率を示すデジタル病理画像のヒートマップ視覚化を含むことができる。別の例として、第２の出力は、複数の生物学的オブジェクトタイプの分布間の関係に関連する情報を中継する、計算された空間分布測定基準に基づくオーバーレイを含むことができる。別の例として、第３の出力は、健康関連評価の結果を含むことができる。出力は、例えば、ユーザデバイス１３０にディスプレイされるユーザインターフェースを介して提供され得る。出力のうちの１つまたは複数は、対象に直接提供され得るが、特定の出力は、医療専門家のみに制限されてもよく、または臨床もしくは研究環境に制限され得る。
【0087】
図４Ａは、デジタル病理画像に関連し得る免疫表現型のいくつかの例を示す。本明細書に記載されるように、免疫表現型、およびＣＫ＋腫瘍細胞内の浸潤に関連するＣＤ８＋Ｔ細胞に関連する特定の免疫表現型は、枯渇型、排除型、および炎症型を含み得る。別のタイプのデジタル病理画像は、試料からのデジタル病理画像が他の既知のパターンに従わないため、不確定と呼ばれることがある。ＣＤ８＋浸潤物がまばらである場合（例えば、複数のタイルについて、免疫細胞の局所密度測定値は、免疫細胞密度閾値より低い）、デジタル病理画像は、枯渇型の免疫表現型として分類され得る。ＣＤ８＋Ｔ細胞とＣＫ＋腫瘍細胞との重複がほとんどない場合、またはＣＤ８＋Ｔ細胞の分布がＣＫ－間質区画（例えば、複数のタイルのうちの１つまたは複数について、腫瘍細胞の局所密度測定値は腫瘍細胞密度閾値より低く、免疫細胞の局所密度測定値は免疫細胞密度閾値以上である。複数のタイルのうちの１つまたは複数について、１つまたは複数の空間分布測定基準が、腫瘍細胞と免疫細胞との空間的分離を示す）に限定される場合、デジタル病理画像は排除型と分類され得る。あるいは、ＣＤ８＋Ｔ細胞とＣＫ＋腫瘍細胞とが大量の重複を伴って共局在する場合（例えば、複数のタイルのうちの１つまたは複数について、腫瘍細胞の局所密度測定値は腫瘍細胞密度閾値以上であり、免疫細胞の局所密度測定値は免疫細胞密度閾値以上である。複数のタイルのうちの１つまたは複数について、１つまたは複数の空間分布測定基準が、腫瘍細胞と免疫細胞との共局在化を示す）、デジタル病理学は炎症型と分類され得る。
【0088】
図４Ａ～図４Ｆのデジタル病理画像は、非小細胞肺がん（ＮＳＣＬＣ）を有する対象からの試料の画像であり得る。試料は、Ｔリンパ球を識別するために使用されるＣＤ８および悪性（および良性）上皮の領域を示すために使用されるＰａｎＣＫで免疫組織化学的に（ＩＨＣ）染色されたホルマリン固定パラフィン包埋（ＦＦＰＥ）切片である。例えば、画像は、茶色のＣＤ８染色に反応する切片（中程度の陰影を有する白黒の図に示す）と、マゼンタのＰａｎＣＫ染色に反応する切片（最も濃い陰影を有する白黒の図に示す）とを示すことができる。いくつかの実施形態において、画像は、青色で示される（最も明るい陰影を伴う白黒の図で示される）ヘマトキシリンなどの第３の染色に反応する切片を示し得る。生存可能な悪性上皮を含む（デジタル病理画像における）腫瘍関連領域を、デジタル病理画像処理システム１１０によって識別した。次に、デジタル病理画像を複数のタイルに分割した。生物学的試料を、ＣＤ８＋Ｔ細胞の空間分布および密度に基づいて腫瘍免疫表現型で分類した。
【0089】
デジタル病理画像４１０（図４Ａ）は、枯渇型の免疫表現型の例を示す。領域４１１などのＣＫ＋腫瘍細胞の領域が識別され得るが、ＣＤ８＋Ｔ細胞の領域は極めてまばらである。デジタル病理画像４２０（図４Ｂ）は、排除型の免疫表現型の例を示す。デジタル病理画像４１０に関連する枯渇型の免疫表現型とは対照的に、排除型の免疫表現型は、ＣＤ８＋Ｔ細胞の領域（例えば、領域４２１）およびＣＫ＋腫瘍細胞の領域（例えば、領域４２２）の両方を含む。しかしながら、領域は比較的分離されている。ＣＤ８＋Ｔ細胞は一緒にクラスター化しているが、一般に、腫瘍細胞の領域に浸潤しているようには描写されていない。例示的な画像４２０に示されるように、ＣＤ８＋細胞の分布は、ＣＫ－陰性間質区画に限定され得る。
【0090】
デジタル病理画像４３０（図４Ｃ）は、炎症型の免疫表現型の第１の実例を示す。排除型の免疫表現型と同様に、腫瘍細胞の領域を有するＣＤ８＋Ｔ細胞の容易に識別可能な描写がある。しかし、検査時に、Ｔ細胞は腫瘍細胞の領域により容易に浸潤し始めており、それによって共局在を示している。特に、Ｔ細胞は、デジタル病理画像４３０全体に広く分布しているように示されている。デジタル病理画像４３０に示される「１型」腫瘍は、間質区画の関与の有無にかかわらず、ＣＫ＋面積を含むびまん性浸潤を示し得る。
【0091】
デジタル病理画像４４０（図４Ｄ）は、炎症型の免疫表現型の第２の実例を示す。この例では、腫瘍細胞全体にＣＤ８＋Ｔ細胞の一般的な浸潤が依然として存在するが、ＣＤ８＋Ｔ細胞は領域４４１などにクラスター化し始めている。この程度のクラスター化は、炎症型の免疫表現型と排除型の免疫表現型との間の１つの分化因子であり得る。デジタル病理画像４４０に示される「２型」腫瘍は、ＣＫ＋腫瘍細胞凝集体への「こぼれ」を伴うＣＤ８＋浸潤物の主に間質性のパターンを示し得る。いくつかの実施形態では、デジタル病理画像処理システム１１０は、「１型」腫瘍または「２型」腫瘍などのサブタイプに従って生物学的試料を分類することができる。
【0092】
図４Ｅおよび図４Ｆは、デジタル病理画像に関連し得る免疫表現型のさらなる例を示す。特に、デジタル病理画像４５０および４６０は、同じ試料から取得される。デジタル病理画像４５０および４６０は、同じ試料であっても、免疫表現型発現の変動性ならびに浸潤物の密度およびパターンの腫瘍内不均一性を示す。デジタル病理画像４５０は、排除型の免疫表現型の例を示す。他の例と比較して分かるように、デジタル病理画像４５０は、比較的少量の腫瘍細胞を含むが、大量のＣＤ８＋Ｔ細胞を含む。デジタル病理画像４６０（図４Ｆ）は、極めてまばらなＣＤ８＋領域のみを有する枯渇型の免疫表現型の例を示す。
【0093】
いくつかの実施形態では、腫瘍領域の閾値パーセンテージ（例えば、ＣＫ＋領域）が所与のパターンを有する場合、デジタル病理画像は、特定の腫瘍免疫表現型を有すると分類され得る。例えば、炎症型の免疫表現型を示す腫瘍領域のパーセンテージがパターン閾値（例えば、２０％）より大きい場合、デジタル病理画像は炎症型として分類され得る。
【0094】
特定の実施形態では、デジタル病理画像は、コロケーション指数（ＣＬＱ）に基づいて特定の腫瘍免疫表現型を有するとして分類され得る。ＣＬＱは、参照細胞タイプに属する試料の各細胞から、固定の半径で標的細胞タイプの局所密度を測定することによって、細胞タイプ対の共起または回避を評価し得る。例えば、デジタル病理画像に適用される場合、ＣＬＱ評価は、腫瘍細胞の各々から一定の半径でＣＤ８＋Ｔ細胞の局所密度を測定することによって、ＣＤ８＋Ｔ細胞（標的細胞タイプ）が腫瘍細胞（参照細胞タイプ）と共配置している（炎症型）か、または回避（排除型）しているかの判定を容易にし得る。それにより、炎症型のカテゴリーで観察されるように、各腫瘍細胞からの短い固定半径におけるＣＤ８＋Ｔ細胞の高い平均局所密度が共配置に対応する。
【0095】
デジタル病理画像は、ハードカットオフ閾値、免疫細胞が占める最大パーセンテージの面積、または免疫細胞の不足を示す任意の他の適切な尺度を使用して、枯渇型として分類され得る。例えば、試料が指定数未満の免疫細胞（例えば、２００個の細胞）を有する場合、試料は枯渇型として標識され得る。残りの試料を、ＣＬＱ免疫→腫瘍（各免疫細胞の近傍の腫瘍細胞の局所密度）およびＣＬＱ腫瘍→免疫（各腫瘍細胞の近傍の免疫細胞の局所密度）を利用して排除型のカテゴリーと炎症型のカテゴリーとを区別する２成分ガウス混合モデルを用いて２つのクラスターにすることができる。ＣＬＱ免疫→腫瘍とＣＬＱ腫瘍→免疫の平均値が大きいクラスターは炎症型と分類することができる。残りのクラスターは、排除型として分類することができる。
【0096】
図５Ａ～５Ｂは、ＣＫ＋腫瘍細胞およびＣＤ８＋Ｔ細胞の画素ベースのセグメント化の例を示す。デジタル病理画像５００（図５Ａ）は、ＣＫ＋腫瘍細胞（マゼンタＰａｎＣＫ染色に反応性である）およびＣＤ８＋Ｔ細胞（褐色ＣＤ８染色に反応性である）と反応する１つまたは複数の染色で処理された試料を示す。該染色は、概観時に生物学的オブジェクトの色に基づいて生物学的オブジェクトの表出を引き起こす。デジタル病理画像の個々の画素および／またはデジタル病理画像のタイルの色を分析することによって、デジタル病理画像処理システムは、領域をＣＤ８＋Ｔ細胞、ＣＫ＋腫瘍細胞、他の生物学的構造に関連するもの、または生物学的構造に関連しないものに分離することができる。例として、デジタル病理画像処理システム１１０、またはこれに限定されるものではないが、画素ベースのセグメント化モジュール１１３を含むその１つまたは複数の構成要素は、目的の生物学的構造に対して効果的であるように適用される染色に関連することが知られているカラーチャネルに関連する色閾値処理を実行することができる。第１の生物学的オブジェクトに関連する領域（例えば、ＣＤ８＋Ｔ細胞に関連する領域）および第２の生物学的オブジェクトに関連する領域（例えば、ＣＫ＋腫瘍細胞に関連する領域）を統合および識別するために、追加の形態学的操作を実行することができる。セグメント化の後、デジタル病理画像および／またはそのタイルに対して、本分析に使用される様々なセグメントの各々にセグメント化されたデジタル病理画像および／または各タイルの量またはパーセンテージを示すスコアなどの出力を提供することができる。図５Ｂは、デジタル病理画像５００の重ね合わせ図５５０を示し、ＣＫ＋腫瘍細胞に関連する領域が強調され（例えば、領域５５５のように）、ＣＫ＋腫瘍細胞に関連しない領域が強調解除される（例えば、領域５５７のように）。デジタル病理画像の画素および／またはタイルの特定の生物学的オブジェクトに関連する特定のセグメントへの最終的な関連付けは、各タイルの特定の量の画素が、特定の生物学的オブジェクトに関連するようにセグメント化される任意の部分について特定の強度を超えなければならない閾値操作にさらに基づくことができる。この閾値処理動作は、デジタル病理画像上で使用される染色が２つ以上のタイプの生物学的オブジェクトに対して反応性である場合に特に影響を及ぼし得る。
【0097】
図６は、タイルベースの局所密度測定の例を示す。図６は、デジタル病理画像から生成された３つのマスク６１０、６２０、６３０を示す。マスクは、例えば、画素ベースのセグメント化モジュール１１３、密度評価モジュール１１４、またはデジタル病理画像処理システム１１０の他の適切な構成要素によって生成することができる。マスク６１０は、デジタル病理画像用の染色強度マスクである。デジタル病理画像、およびマスク６１０は、４つのタイルに分割されている。各タイルは４つの画素を含む。各画素は、特定の染色の強度（例えば、染色パフォーマンスを反映することが知られているカラーチャネルの強度）に対応する染色強度の値に関連付けられる。北西タイル６１１は、染色強度の値３、２５、６、および３０を含む。南西タイル６１２は、染色強度の値５、８、７、および９を含む。北東タイル６１３は、染色強度の値３５、３０、２５、および３を含む。東南タイル６１４は、染色強度の値４、２０、８、５を有する。染色強度の値の各々は、染色のパフォーマンス（例えば、デジタル病理画像の対応する画素に描写された生物学的オブジェクトによる染色剤の吸収または表出の速度）を反映するので、染色強度の値を使用して、どの生物学的オブジェクトがタイルに示されているか、および出現頻度を決定することができる。
【0098】
マスク６２０は、染色強度マスク６１０のための染色閾値処理済みバイナリマスクである。染色強度マスク６１０の個々の画素の値は、目的の染色の所定のカスタマイズ可能な閾値と比較されている。閾値は、正しい生物学的オブジェクトの確認された描写に対応する染色強度の表出の予想されるレベルを反映するプロトコールに従って選択され得る。染色強度の値および閾値は、絶対的な値（例えば、２０を超える染色強度の値）または相対的な値（例えば、閾値を染色強度の値の上位３０％に設定すること）であり得る。さらに、染色強度の値は、履歴値（例えば、いくつかの以前の分析における染色の全体的なパフォーマンスに基づいて）に従って、または手元のデジタル病理画像（例えば、輝度差および画像が正確な染色強度を不正確にディスプレイする原因となり得る他の画像化の変化を考慮するために）に基づいて正規化することができる。染色閾値処理済みバイナリマスク６２０において、閾値は、２０の染色強度の値に設定されており、染色強度マスク６１０内のすべての画素にわたって適用されている。結果は、画素が閾値以上の染色強度を有したことを示す「１」および画素が必要な染色強度を満たさなかったことを示す「０」を有する画素レベルのバイナリマスクである。
【0099】
マスク６３０は、タイルレベルのオブジェクト密度マスクである。閾値を上回る染色強度レベルがデジタル病理画像内の特定の生物学的オブジェクトの描写と相関するという仮定に基づいて、各タイル内の生物学的オブジェクトの密度を反映するように、染色閾値処理済みバイナリマスク６２０に対して動作が実行される。例示的なオブジェクト密度マスク６３０では、動作は、各タイル内の染色閾値処理済みバイナリマスク６２０の値を合計することと、タイル内の画素数で除算することとを含む。北西のタイルは、合計４つの画素のうちの閾値染色強度の値を上回る２つの画素を含んでおり、したがって、北西のタイルのオブジェクト密度マスクの値は０．５である。同様の動作がすべてのタイルにわたって適用される。例えば、サブタイルセグメント化および格子内の各サブタイルの座標の保存など、各タイルとの局所性を保存するために、追加の動作を実行することができる。本明細書で説明するように、オブジェクト密度マスク６３０は、空間分布測定基準を計算するための基礎としてオブジェクト分布検出器１１５に提供することができる。図６に示す例は、説明の目的のためだけに簡略化されていることが理解されよう。各タイル内の画素の数および各デジタル病理画像内のタイルの数は、計算効率および精度要件に基づいて必要に応じて大幅に拡張および調整することができる。
【0100】
図７は、例示的な注釈付きデジタル病理画像７００を示す。特に、注釈付きデジタル病理画像７００は、デジタル病理画像７００の底部を上部から分離する線７１０を示す。分離は、デジタル病理画像７００の底部が腫瘍床（例えば、腫瘍組織および間質を含む）に関連付けられている一方で、線７１０より上のデジタル病理画像７００の頂部は腫瘍床に関連付けられていないことを示す。本明細書に記載されるように、セグメント化ラインは、デジタル病理画像処理システム１１０によって生成されてもよく、または手動評価からデジタル病理画像処理システム１１０によって受信され得る。さらに、注釈デジタル病理画像７００は、デジタル病理画像処理システム１１０からの出力の形態として提供され得る。本明細書に記載されるように、デジタル病理画像処理システム１１０によって採用された手法の下で、およびそれが最終的な結論にどのように到達したかの下で、概観者がより良好になることを可能にする機構として、複数の形態の出力を提供することができる。腫瘍組織への分割を示す出力は、そうでなければ、デジタル病理画像処理システム１１０がデジタル病理画像および試料を正確に解釈することを保証するための最初のステップである。
【0101】
図８Ａおよび図８Ｂは、特定のタイプの生物学的オブジェクトの生物学的オブジェクト密度の例示的なヒートマップを示す。デジタル病理画像処理システム１１０に提供されるデジタル病理画像を使用して、デジタル病理画像処理システム１１０は、デジタル病理画像をタイルにセグメント化し、画素ベースのセグメント化を実行し、初期密度測定基準を生成（例えば、デジタル病理画像のためのオブジェクト密度マスクを生成）した。図８Ａおよび図８Ｂに示す例では、デジタル病理画像処理システム１１０は、ＣＫ－およびＣＫ＋領域の両方におけるＣＤ８＋Ｔ細胞の密度を識別している。デジタル病理画像処理システム１１０の出力の概観を支援するために、出力生成モジュール１１８は、それぞれのオブジェクト密度測定基準に基づいてヒートマップ視覚化８００および８５０を作成している。ヒートマップの可視化８００は、ＣＫ－腫瘍細胞内（例えば、腫瘍間質内）のＣＤ８＋Ｔ細胞の密度を示す。ヒートマップの可視化８５０は、ＣＫ＋腫瘍細胞内（例えば、腫瘍組織内）のＣＤ８＋Ｔ細胞の密度を示す。視覚化は、病理学者がデジタル病理画像に示される試料を体系的に分類するのを助けることができ、デジタル病理画像処理システム１１０によって割り当てられた免疫表現型を理解するのを助けることもできる。
【0102】
図９は、免疫表現型による生物学的オブジェクト密度ビンのプロットを示す。特に、図９は、ＣＤ８密度の値に対するＣＫ＋およびＣＫ－密度の値のプロットを示すプロット９００を示す。プロット９００は、密度評価モジュール１１４によって生成され得る密度スコアの最初のナイーブな解釈を示す。ｙ軸がより低い枯渇型の免疫表現型のクラスター化、ならびにｘ軸およびｙ軸の両方がより高い炎症型の免疫表現型の有病率であるなどの特定の傾向は、単純なチャートから決定可能であるが、さらなるクラスターを決定することができないので、さらなる結論を引き出すことは困難である。したがって、プロット９００は、以前の形態の分析の限界、ならびにデジタル病理画像およびそれから導出されたタイルを自動的に分類するための追加の技術の開発の動機を実証する。これらの追加の技術は、本明細書に記載の実施形態によれば、密度の値から導出された高度な空間分布測定基準の統合を含む。
【0103】
図１０Ａは、面積解析フレームワーク２３０の適用を示している。特に、面積解析フレームワーク２３０を使用して、染色された試料切片のデジタル病理画像を処理した。上述のように、特定のタイプの生物学的オブジェクト（例えば、腫瘍細胞およびＴ細胞）の密度を検出して生物学的オブジェクトデータを生成し、その例を表１０００に示す。出力された生物学的オブジェクトデータは、特定の実施形態では、画像タイリングモジュール１１２によって形成された格子内部の個々のタイルの座標、および目的の生物学的オブジェクトのそれぞれに関連付けられたタイルの面積を含む。例として、目的の生物学的オブジェクトがＣＤ８＋Ｔ細胞およびＣＫ＋またはＣＫ＋腫瘍細胞を含む場合、出力された生物学的データは、ＣＫ＋腫瘍細胞に関連するタイルの面積、ＣＫ－腫瘍細胞に関連するタイルの面積、ＣＫ＋腫瘍細胞およびＣＤ８＋Ｔ細胞に関連するタイルの面積、ならびにＣＫ－腫瘍細胞およびＣＤ８＋Ｔ細胞に関連するタイルの面積を含む。
【0104】
記載されているように、規定数の列および規定数の行を有する空間格子を使用して、デジタル病理画像をタイルに分割することができる。各タイルについて、本明細書に記載の密度算出方法を使用することなどによって、領域内部の生物学的オブジェクトの描写の数または密度を識別することができる。各生物学的オブジェクトタイプについて、領域固有の生物学的オブジェクト密度の集合－どのタイルのマッピング、どの位置に、とある特定の密度の値を含むか－は、生物学的オブジェクトタイプの格子データとして定義することができる。
【0105】
図１０Ａは、第２のタイプの生物学的オブジェクト－ＣＫ＋腫瘍細胞－の描写のための格子データ１０１０、および第１のタイプの生物学的オブジェクト－ＣＤ８＋Ｔ細胞－の描写のための格子データ１０１５の特定の実施形態を示す。格子データの各々は、例示を目的として、染色された切片のデジタル病理画像の表現に重ねて示されている。いくつかの実施形態では、各タイルは空間単位であってもよく、タイルの中心座標は、空間格子を形成するために抽出されてもよい。格子データは、格子の各領域に関して、領域に対する係数をすべての領域にわたる合計計数で割ったものに等しい有病率値を含むように規定し得る。したがって、所与のタイプの生物学的オブジェクトがない領域は０の有病率値を有し、所与のタイプの生物学的オブジェクトが少なくとも１つある領域は非ゼロの正の有病率値を有することになる。
【0106】
１つまたは複数の有病率マップは、有病率の値を使用して作成することができる。例えば、ＣＫ／ＣＤ８有病率マップに対し、各タイルについてＣＫ：ＣＤ８の面積比（例えば、ＣＤ８＋画素の数に対するＣＫ＋画素の数の比）を計算することができる。各タイルの面積は、同じスライドのすべてのタイルにわたるＣＤ８領域の合計でＣＫ領域の合計で割ることによって正規化することができ、それによってスライドのサイズの影響を軽減することができる。１つまたは複数の空間分布測定基準は、有病率マップから導出され得る。空間分布測定基準は、とりわけ、ＣＫ＋腫瘍細胞およびＣＤ８＋Ｔ細胞などの２つの生物学的オブジェクトタイプの共局在化、および／またはＣＫ＋またはＣＫ陰性領域のＣＤ８＋Ｔ細胞などの１つの生物学的オブジェクトタイプの空間分布を、それぞれ表すことができる。
【0107】
２つの異なるコンテキスト（例えば、腫瘍）に同量の生物学的オブジェクト（例えば、リンパ球）があることは、特徴付けまたは特徴付けの程度（例えば、同じ免疫浸潤）を必ずしも示唆していない。代わりに、第１のタイプの生物学的オブジェクトの描写が第２のタイプの生物学的オブジェクトの描写に関連してどのように分布するかが、機能状態を示す可能性があり得る。したがって、同じおよび異なるタイプの生物学的オブジェクトの描写の近接性の特徴付けは、より多くの情報を反映することができる。Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数は、生物系または生態系における類似性（例えば、重なり合い）の生態的指標である。生物学的オブジェクトの描写の（例えば、２つのタイプの）２つの集団間の二変量関係または共局在化を特徴付けるＭｏｒｉｓｉｔａ－Ｈｏｒｎ指数（ＭＨ）は、以下のように定義され得る。
式中、
それぞれ正方格子ｉにおける第１のタイプの生物学的オブジェクトの描写および第２のタイプの生物学的オブジェクトの描写の有病率を示す。図１０Ａでは、格子データ１０１０は、グリッド点にわたる第１のタイプの生物学的オブジェクトの描写における
を示し、格子データ１０１５は、グリッド点にわたる第２のタイプの生物学的オブジェクトの描写における例示の
を示している。
【0108】
個々の格子領域が両方のタイプの生物学的オブジェクト描写を含まない場合（異なる生物学的オブジェクトタイプの分布が空間的に分離されていることを示す）、Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数は０と規定される。例えば、例示的な第１のシナリオ１０２０に示される例示的な空間的に分離した分布または分離した分布を考慮すると、Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数は０であろう。格子領域にわたる第１の生物学的オブジェクトタイプの分布が、格子領域にわたる第２の生物学的オブジェクトタイプの分布に一致する（またはそれを拡大縮小したものである）場合、Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数は１と規定される。例えば、例示的な第２のシナリオ１０２５に示される例示的な大幅に共局在した分布を考慮すると、Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数は１に近くなるであろう。
【0109】
図１０Ａに示す例では、格子データ１０１０および格子データ１０１５を用いて計算されたＭｏｒｉｓｉｔａ－Ｈｏｒｎ指数は０．４７であった。高いＭｏｒｉｓｉｔａ－Ｈｏｒｎ指数の値は、第１のタイプおよび第２のタイプの生物学的オブジェクトの描写が大幅に共局在していたことを示す。
【0110】
Ｊａｃｃａｒｄ指数（Ｊ）およびＳｏｒｅｎｓｅｎ指数（Ｌ）は類似しており、互いに緊密に関連している。それらは、以下のように定義され得る
式中、
それぞれ、正方形グリッドｉにおける第１のタイプの生物学的オブジェクトの描写および第２のタイプの生物学的オブジェクトの描写の有病率を示し、ｍｉｎ（ａ，ｂ）は、ａとｂの間の最小値を返す。Ｊａｃｃａｒｄ指数およびＳｏｒｅｎｓｅｎ指数は、生物学的オブジェクトタイプの空間的共配置を表すために使用され得る。
【0111】
生物学的オブジェクトの描写の空間分布を特徴付けることができる別の測定基準は、空間自動相関の指標であるＭｏｒａｎ指数である。一般に、Ｍｏｒａｎ指数は、隣接する空間単位における第１の変数と第２の変数との間の関係に対する相関係数である。２つのタイプの生物学的オブジェクトの描写がデジタル病理画像においてどの程度点在するかを定量化するように、第１の変数は、第１のタイプの生物学的オブジェクトの描写の有病率として規定することができ、第２の変数は、第２のタイプの生物学的オブジェクトの描写の有病率として規定することができる。Ｍｏｒａｎ指数、Ｉは、以下のように定義することができる
式中、ｘｉ、ｙｊは、面積単位ｉにおける第１のタイプ（例えば、リンパ球）の生物学的オブジェクトの描写の標準化された有病率、および面積単位ｊにおける第２のタイプ（例えば、腫瘍細胞）の生物学的オブジェクトの描写の標準化された有病率を示す。ωｉｊは、面積単位ｉおよびｊに対するバイナリ重みであり、２つの単位が隣である場合は重みは１、それ以外の場合は０であり、一次スキームを使用して隣接構造を規定することができる。ＭｏｒａｎのＩは、生物学的オブジェクトの異なるタイプの生物学的オブジェクトの描写に対して別個に導き出すことができる。
【0112】
Ｍｏｒａｎ指数は、生物学的オブジェクトの描写が格子（したがって、負の空間的自己相関を有する）にわたって完全に分散している場合に－１に等しくなるように定義され、生物学的オブジェクトの描写がクラスター化された場合（したがって、正の自己相関を有する）、１になるように定義されている。対称分布が無作為分布に一致する場合、Ｍｏｒａｎ指数は０であるものと規定される。したがって、特定の生物学的オブジェクトの描写タイプの面積表現により、各生物学的オブジェクトタイプに関するＭｏｒａｎ指数の計算をサポートするグリッドを生成することが容易になる。生物学的オブジェクトの描写の２つ以上のタイプが識別および追跡されている実施形態では、２つ以上のタイプの生物学的オブジェクトの描写のそれぞれについて計算されたＭｏｒａｎ指数間の差は、それらのタイプの生物学的オブジェクトの描写間のコロケーションの表示（例えば、０に近い差はコロケーションを示す）を与えることができる。
【0113】
Ｇｅａｒｙの隣接比率としても知られるＧｅａｒｙのＣは、空間自動相関の指標、または同じ現象の隣接する観察が相関されるかを決定しようとする試みである。ＧｅａｒｙのＣは、ＭｏｒａｎのＩに反比例するが、同一ではない。ＭｏｒａｎのＩは全体的な空間自動相関の指標であるが、ＧｅａｒｙのＣは局所的な空間自動相関の影響をより受ける。
（式中、ｚｉは、正方格子ｉ、ωｉ、ｊにおける第１のタイプまたは第２のタイプの生物学的オブジェクトの描写のいずれかの有病率を表し、上記で定義されたものと同じである。）
【0114】
生物学的オブジェクトの描写の空間分布を特徴付けることができる別の測定基準は、Ｂｈａｔｔａｃｈａｒｙｙａ係数（「Ｂ係数」）であり、これは２つの統計試料間の重なりの近似尺度である。一般に、Ｂ係数は、ＣＫ＋タイルのＣＫ＋画素およびＣＤ８＋画素の空間的共配置の特徴など、２つの統計試料（例えば、生物学的オブジェクトまたは生物学的オブジェクトタイプ）の相対的な近さを決定するために使用され得る。これは、分類におけるクラスの分離可能性を測定するために使用される。
【0115】
同じ領域Ｘ（例えば、同じデジタル病理画像内の２つのタイプの生物学的オブジェクトの描写の分布）上の確率分布ｐおよびｑが与えられると、Ｂ係数は以下のように定義される。
式中、０≦ＢＣ≦１および０≦ＤＢ≦∞である。なお、ＤＢは三角不等式に従わないが、
は三角不等式に従う。Ｂ係数は、両方の試料からのメンバーを有するドメイン内のパーティションの数と共に（例えば、描写、または生物学的オブジェクトの描写の２つ以上のタイプの適切な密度を有するデジタル病理画像内のタイルの数と共に）増加する。したがって、Ｂ係数は、試料の有意な重複を有するドメインの各パーティション、例えば、２つの試料の多数のメンバーを含む各パーティションでさらに大きくなる。パーティションの数の選択は可変であり、各試料のメンバーの数に合わせてカスタマイズすることができる。精度を維持するために、あまりにも少ないパーティションを選択して重複する領域を過大評価すること、ならびにあまりにも多くのパーティションを取り、密集した試料空間にあるにもかかわらずメンバーのないパーティションを作成することを回避するように注意が払われる。Ｂ係数は、生物学的オブジェクトの描写の２つの試料間に全く重複がない場合、０になる。
【0116】
格子データ１０１０および格子データ１０１５をさらに処理して、第１のタイプの生物学的オブジェクトの検出された描写に対応するホットスポットデータ１０３０、および第２のタイプの生物学的オブジェクトの検出された描写に対応するホットスポットデータ１０３５をそれぞれ生成することができる。図１０Ｂにおいて、ホットスポットデータ１０３０およびホットスポットデータ１０３５は、検出された生物学的オブジェクトの描写のタイプごとにホットスポットであると判定された領域を示す。ホットスポットとして検出された領域は円として、ホットスポットではないと決定された領域は「ｘ」として示されている。ホットスポットデータ１０３０、１０３５は、非ゼロのオブジェクト計数と関連付けられた各領域に対して規定された。ホットスポットデータ１０３０、１０３５はまた、所与の領域がホットスポットであるものと識別されたか否かを示すバイナリ値を含むことができる。ホットスポットデータおよび解析に加えて、コールドスポットデータおよび解析を実施することができる。
【0117】
生物学的オブジェクトの描写に関して、生物学的オブジェクトタイプに対する非ゼロオブジェクト係数と関連付けられた各領域についてＧｅｔｉｓ－Ｏｒｄの局所統計を決定することによって、各生物学的オブジェクトタイプに対してホットスポットデータ１０３０、１０３５を生成することができる。Ｇｅｔｉｓ－Ｏｒｄホットスポット／コールドスポット解析を使用して、腫瘍細胞またはリンパ球の統計的に有意なホットスポット／コールドスポットを識別することができ、ホットスポットは、隣接する面積単位と比較して生物学的オブジェクトの描写の有病率の統計的に有意な高い値を有する面積単位、コールドスポットは、隣接する面積単位と比較して生物学的オブジェクトの描写の有病率の統計的に有意な低い値を有する面積単位である。隣接領域と比較してホットスポット／コールドスポット領域となる値および決定は、ユーザの好みに従って選択することができ、また特に、規則ベースの手法または学習済みモデルに従って選択することができる。例えば、検出された生物学的オブジェクトの描写の数および／またはタイプ、描写の絶対数、ならびに他の因子を、考慮することができる。Ｇｅｔｉｓ－Ｏｒｄ局所統計量はｚスコアであり、正方格子ｉについて、以下のように定義することができる
式中、ｉは格子の個々の領域（特定の行と列の組み合わせ）を表し、ｎは格子内の行および列の数の組み合わせ（すなわち、領域の数）であり、ωｉ，ｊはｉとｊとの間の空間的重みであり、ｚｊは領域内の所与のタイプの生物学的オブジェクトの描写の有病率であり、
領域にわたる所与のタイプの平均オブジェクト有病率であり、
【0118】
Ｇｅｔｉｓ－Ｏｒｄの局所統計は、各統計が閾値を上回るか否かを決定することによってバイナリ値に変換することができる。例えば、閾値は０．１６に設定することができる。閾値は、ユーザの好みに従って選択することができ、特に、規則ベースまたは機械学習済みの手法に従って設定することができる。
【0119】
生物学的オブジェクトの描写の空間分布を特徴付けることができる別の測定基準は、比のうちの比であるコロケーション指数（ＣＬＱ）であり、特定のタイプの生物学的オブジェクトの全体密度に対する局所密度を測定するために使用され得る。ＣＬＱは、生物学的オブジェクト対の共起または回避を測定する。具体的には、ＣＬＱ法は、参照の生物学的オブジェクトに属する試料の各出現から、固定の半径における標的生物学的オブジェクトタイプの局所密度を調べることができる。ＣＬＱは、以下のように定義することができる。
【0120】
式中、ＣＬＱＡ→Ｂは、細胞タイプＡの全体ＣＬＱであり、ＬＣＬＱＡ→Ｂは、細胞タイプＡの局所ＣＬＱであり、Ｎは、画像内の細胞の総数であり、δｉｊは、細胞ｊがタイプＢ細胞であるかどうかを示すクロエンカーデルタであり、ｗｉｊは、非重み付けバージョンについては１／Ｎであり、重み付けバージョンについてはガウス距離減衰カーネルである。
【0121】
例えば、局所密度は、細胞タイプＡを中心とする特定の半径によって構築された近傍の細胞タイプＢの部分として計算され得る。全体密度は、スライド画像全体における細胞タイプＢの割合であり得る。細胞タイプＡの近傍の中の細胞タイプＢの密度が細胞タイプＢの全体密度よりも大きい場合、ＣＬＱは１より大きくなり得る。細胞タイプＡの近傍が細胞タイプＢ以外の多くの他の細胞タイプを含む場合、ＣＬＱは１より小さくなり得る。１のＣＬＱ値は、細胞タイプＡと細胞タイプＢとの間に空間的関係がないことを意味し得る。
【0122】
さらに、ＣＬＱ法は、連続要約統計に依存し得る。したがって、ＣＬＱ法は、本明細書に記載の３つの免疫表現型カテゴリー（例えば、枯渇型、排除型、および炎症型）を超える能力を有し得、免疫表現型または免疫表現型クラスの境界にある症例を強調し得る。
【0123】
論理ＡＮＤ関数を使用して、生物学的オブジェクトの描写の１つを超えるタイプに対するホットスポットであるものとして識別される領域を識別することができる。例えば、共局在ホットスポットデータ１０４０は、生物学的オブジェクトの描写の２つのタイプに対するホットスポットであるものとして識別された領域を示す（円の記号として示される）。共局在ホットスポットであるものとして識別された領域の数と、所与のオブジェクトタイプに対して（例えば、腫瘍細胞オブジェクトに対して）識別されたホットスポット領域の数との高い比は、所与のタイプの生物学的オブジェクトの描写が他のオブジェクトタイプと空間特性を共有していることを示すことができる。一方で、ゼロまたはほぼゼロの低い比は、異なるタイプの生物学的オブジェクトの空間分別と一貫するものであり得る。
【0124】
空間分布測定基準が生成されると、空間分布測定基準、密度の値、および他の生成されたデータを使用して、免疫表現型を試料に割り当てることができる。本明細書に記載されるように、免疫表現型の指定は、ラベル化されたデジタル病理画像がそれらの空間分布測定基準と共に提供される管理訓練プロセスにおいて訓練された機械学習モデルによって提供され得る。訓練プロセスを通して、デジタル病理画像処理システム１１０または免疫表現型検査モジュール１１６を含むその１つまたは複数のモジュールは、デジタル病理画像およびそれらの対応する試料を選択された免疫表現型検査グループに分類することを学習することができる。
【0125】
図１１Ａは、免疫表現型検査モジュール１１６の一実施形態を構成する機械学習モデルの訓練および使用の１つの視覚化を示す。デジタル病理画像処理システム１１０の様々な構成要素によって生成されたデータは、訓練データセット１１１０に収集することができる。訓練セットは、本明細書で説明される様々な空間分布測定基準の値を含む。訓練目的のために、訓練データセット１１１０はまた、病理学者による手動などで試料に割り当てられた免疫表現型を含む。各デジタル病理画像は、空間分布測定基準および／またはそこからの変動または導出の各々の軸を有する多変数空間に投影され得る。供給されたラベルを用いて、機械学習モデルを訓練して、多変数空間内のデジタル病理画像（および対応する試料）のクラスターを識別することができる。この定式化では、新しいデータ点がどのクラスターに属するかを判定することによって、以前に見えなかったデータ点をラベル付けするタスクを近似することができる。
【0126】
図１１Ａは、クラスター化基準を識別するための適切なメカニズムを識別する課題をさらに示す。プロット１１２０は、二次元デカルト格子上にプロットされた、いくつかのデジタル病理画像のデータ点を示す。円形の点１１２１は、第１のタイプのラベルを指定し、正方形の点は、第１のタイプのラベルとはそれぞれ異なる２つの異なるラベルを指定する。ラベルは免疫表現型に相当し得る。点をグループ化する最初の試みは、例えば、ユークリッド最近傍手法を含み得る。そのような手法では、特定の半径１１２４内のすべての点に標的のラベルタイプをラベル付けすることができる。この例では、この近傍は、第１のタイプのラベルに関連付けられた点１１２１のすべてを実際に取り込んでいるが、（正方形として示された）２個の偽装データ点１１２２および１１２３も取り込んでいる。近傍内の第１のラベルタイプに関連する点のみを正確に取り込むために、類似性の追加の尺度を使用することができる。一例では、これは、追加の測定基準（例えば、追加の類似度の軸を追加する）の考慮を含むことができる。このように、プロット１１３０では、データ（例えば、訓練データセット１１１０において）によって表される多変数空間を通る超平面は、標的点１１２１を偽装データ点１１２２および１１２３から効果的に区別することができる。さらに、ユークリッド距離測定基準以外の追加の距離測定基準を使用して、最近傍および結果として生じるクラスターを規定することができる。
【0127】
図１１Ｂは、特に図９に示すプロット９００と比較して、理想化された結果を示すプロット１１４０を示す。プロット１１４０では、入力データに基づいて、この例では、枯渇型の免疫表現型、排除型の免疫表現型、および炎症型の免疫表現型を区別して、データの適切なグループ分けが識別されている。これらのグループ化を作成するために使用される空間距離測定基準とグループ化自体との間の関係は、（プロット９００に示すように）単なる密度測定値のみを使用するよりも、より明確に見ることができる。
【0128】
例えば対象からの生検切片のデジタル病理画像を処理して、対象の症状の評価をデジタル病理画像から予測するように、回帰機械学習モデルを訓練することができる。例として、本明細書に記載の技術を使用して、デジタル病理画像処理システムは、様々な空間分布測定基準を生成し、デジタル病理画像の免疫表現型を予測することができる。この入力から、回帰機械学習モデルを訓練して、例えば、疑わしい患者の転帰、関連する患者の状態因子の評価、選択された治療の利用可能性または適格性、および他の関連する推奨を予測することができる。
【0129】
生検は、症状を有する複数の対象それぞれから収集することができる。試料は、本明細書に開示する主題に従って、固定し、包理し、スライスし、染色し、画像化することができる。特定のタイプの生物学的オブジェクト、例えば腫瘍細胞およびリンパ球の描写および密度を検出することができる。デジタル病理画像処理システムは、訓練された機械学習モデルのセットを使用して画像を処理し、目的の生物学的オブジェクトの密度を定量化することができる。複数の対象の各対象について、ラベルを生成して、状態が指定された特徴を示したかどうかを示し、および／またはデジタル病理画像処理システムによって適用された特定の二次ラベル（例えば、免疫表現型）を示すことができる。対象の状態の全体的な評価を予測する状況では、免疫表現型などのラベルは、全体的な評価を知らせることができるので、二次的であると考えられる。
【0130】
各対象に対して、空間分布測定基準のセットを含むように、入力ベクトルを規定することができる。空間分布測定基準のセットは、本明細書に記載する測定基準の選択を含むことができる。空間分布測定基準のセットは、ＣＫ＋もしくはＣＫ－陰性タイルにおける１つまたは複数の生物学的オブジェクトのタイプ、例えばＣＤ８＋Ｔ細胞の共配置、ＣＫ＋タイルもしくはＣＫ－陰性タイルにおけるＣＫ＋腫瘍細胞の空間分布、またはその両方を捕捉することができる。例として、入力ベクトルに含まれる測定基準は、以下を含むことができる
－腫瘍内リンパ球比；
－Ｂｈａｔｔａｃｈａｒｙｙａ係数；
－Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数；
－Ｊａｃｃａｒｄ指数；
－Ｓｏｒｅｎｓｅｎ指数；
－Ｂ係数；
－Ｍｏｒａｎ指数；
－ＧｅａｒｙのＣ；
－ＣＤ８－ＣＫ面積比；
－第１のタイプの生物学的オブジェクトの描写のスポットの数（例えば、ホットスポット、コールドスポット、有意でないスポット）に対する、そのタイプの生物学的オブジェクトの描写の共局在スポット（例えば、ホットスポット、コールドスポット、有意でないスポット）の比であり、スポット（例えば、ホットスポット、コールドスポット、有意でないスポット）は、Ｇｅｔｉｓ－Ｏｒｄ局所統計を使用して定義される；および／または
－２つのタイプの生物学的オブジェクトの描写（例えば、腫瘍細胞およびリンパ球）のバリオグラムフィッティングにより得られる特徴。
－腫瘍内リンパ球比；
－Ｂｈａｔｔａｃｈａｒｙｙａ係数；
－Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数；
－Ｊａｃｃａｒｄ指数；
－Ｓｏｒｅｎｓｅｎ指数；
－Ｂ係数；
－Ｍｏｒａｎ指数；
－ＧｅａｒｙのＣ；
－ＣＤ８－ＣＫ面積比；
－第１のタイプの生物学的オブジェクトの描写のスポットの数（例えば、ホットスポット、コールドスポット、有意でないスポット）に対する、そのタイプの生物学的オブジェクトの描写の共局在スポット（例えば、ホットスポット、コールドスポット、有意でないスポット）の比であり、スポット（例えば、ホットスポット、コールドスポット、有意でないスポット）は、Ｇｅｔｉｓ－Ｏｒｄ局所統計を使用して定義される；および／または
－２つのタイプの生物学的オブジェクトの描写（例えば、腫瘍細胞およびリンパ球）のバリオグラムフィッティングにより得られる特徴。
【0131】
選択された測定基準は、複数のフレームワーク（例えば、面積プロセス分析フレームワーク）に対応し得る。各対象について、オブジェクト密度測定基準および／または割り当てられた免疫表現型などの二次的決定を示すためにラベルを定義することができる。論理回帰モデルを含むがこれに限定されない機械学習モデルは、繰り返されるネストされた交差検証を使用して、対になった入力データおよびラベルで訓練および試験することができる。例として、５つのデータ分割それぞれについて、残りの４つの分割に対してモデルを訓練し、残りの分割を試験して、ＲＯＣ下の面積を計算することができる。
【0132】
試料サイズが制限された実施形態では、モデルのパフォーマンスを評価するための適応可能な技術を使用することができる。非限定的な例では、入れ子型モンテカルロ交差検証（ｎＭＣＣＶ）を使用してモデルのパフォーマンスを査定することができる。訓練、検証、および試験セットの間で同じ比率で無作為に分割して、スコア関数および閾値
のアンサンブルを作成することにより、同じ強化手順をＢ回繰り返すことができる。ｉ番目の対象に関して、ｉが試験セットに対して無作為抽出される繰返しの中で、ｉに対する応答者グループのメンバーシップを平均化し、０．５で閾値化することによって、アンサンブルした応答者状態を査定することができる。ハザード比またはオッズ比は共に、９５％信頼区間およびｐ値で、集約された試験の対象に対して計算することができる。
【0133】
いくつかの実施形態では、腫瘍免疫表現型を区別するデータ点のクラスター化を使用して、非標識データの１つまたは複数の空間分布測定基準または腫瘍免疫表現型を学習することができる。腫瘍免疫表現型で標識されたデータを空間に投影して、標識されたデータを、対応する空間分布測定基準を有するクラスターに空間的に分離することができる。いくつかの実施形態では、炎症型の免疫表現型、排除型の免疫表現型および枯渇型の免疫表現型の空間的分離を使用して、データ点のクラスターを識別することができる。例えば、図１１Ｃに示すように、プロット１１４０の標識データ（図１１Ｃにおいて白色の背景に対して示されている）は、プロット１１６０の非標識データと同じ空間に共に埋め込みされ得る。プロット１１４０のデータからの免疫表現型のクラスターの学習された空間的分離は、プロット１１６０の非標識データ間の距離の尺度として使用され得る。いくつかの実施形態では、非標識データ中の生物学的試料は、（プロット１１４０内の）標識データのクラスターの重心（各免疫表現型について１つ）から非標識データ（プロット１１６０）までの空間の距離に基づいて、免疫表現型（例えば、枯渇型、排除型または炎症型）に割り当てられ得る。１つまたは複数の非標識データ点に対応する生物学的試料の腫瘍免疫表現型は、最小距離に基づいて決定され得る。
【0134】
いくつかの実施形態では、クラスター照合プロセス（例えば、Ｋ平均クラスター化）を使用して、非標識データ内（プロット１１６０内）の１つまたは複数のデータ点（１つまたは複数の空間分布測定基準）をラベル付きデータ内（プロット１１４０内）のデータ点のクラスターに照合することができる。標識されたデータは、対応する免疫表現型で標識され得る。図１１Ｄのプロット１１８０に示すように、１つまたは複数の非標識データ点に対応する生物学的試料に、一致したクラスターに基づいて免疫表現型ラベル（例えば、枯渇型、排除型または炎症型）を割り当てることができる。いくつかの実施形態では、治療応答情報は、空間内のクラスターでオーバーレイされてもよく、推奨される治療は、クラスターに基づいて決定され得る。特定の実施形態では、各非標識データ点は、標識データセットで訓練された空間に投影され得、各非標識データ点の免疫表現型ラベルは、標識データセット（最も可能性の高い免疫表現型クラス）からの各免疫表現型検査クラスターの重心からの最短距離に基づいて割り当てられ得る。
【0135】
予測解析の全体のワークフローが、図１２Ａのフローチャートに要約されている。より具体的には、研究コホートの各対象にラベルを割り当てるために、入れ子型モンテカルロ交差検証（ｎＭＣＣＶ）モデル化戦略を使用してオーバーフィッティングを克服し得る。
【0136】
具体的には、各対象に関して、ブロック１２０５で、データセットを６０：２０：２０の割合で、訓練、検証、および試験データ部分に分割できる。ブロック１２１０で、訓練セットを使用して１０分割交差検証Ｒｉｄｇｅ－Ｃｏｘ（Ｌ２正則化Ｃｏｘモデル）を実施して、（同じモデルアーキテクチャを有する）１０のモデルを作成することができる。１０分割訓練データに基づいて、１０個の作成されたモデルにわたって特定のモデルを選択し、格納することができる。ブロック１２１５で、次に、特定のモデルを検証セットに適用して、指定された変数を調整することができる。例えば、変数は、リスクスコアに対して閾値を識別することができる。ブロック１２２０で、閾値および特定のモデルを次に独立した試験セットに適用して、対象が長期または短期生存（例えば、全生存または無増悪生存）グループへと階層化されるか否かを予測する、対象に対する票を生成することができる。データ分割、訓練、カットオフの識別および票の生成（ブロック１２０５～１２２０）はＮ（例えば、＝１０００）回繰り返すことができる。ブロック１２２５で、対象は次に、票に基づいて、長期生存グループまたは短期生存グループの１つに割り当てられる。例えば、ブロック１２２５のステップは、どのグループが票の大多数と関連付けられたかを決定することによって、対象を長期生存グループまたは短期生存グループに割り当てることを含むことができる。ブロック１２３０で、長期／短期生存グループの対象の生存解析を次に実施することができる。目的の転帰に基づいて、多種多様なラベルをデータに割り当てる同様の手順が、任意の好適な臨床査定または適格性研究に適用可能であることが認識されるであろう。
【0137】
図１２Ｂおよび１２Ｃは、枯渇型の免疫表現型、排除型の免疫表現型および炎症型の免疫表現型に従って分類された全スライド画像についての全生存を示し、図１２Ｄおよび１２Ｅは、枯渇型の免疫表現型、排除型の免疫表現型および炎症型の免疫表現型に従って分類された全スライド画像についての無増悪生存を示す。プロットは、開示された手法が、異なる治療（例えば、ドセタキセル）を受けているグループと比較して、特定の治療（例えば、アテゾリズマブ）を受けているグループについて分類された免疫表現型の明確な分離をもたらし得ることを示す。したがって、アテゾリズマブは、ドセタキセルと比較して全生存および無増悪生存を改善した。
【0138】
この例の解析で使用される空間統計および空間分布測定基準に基づいた包括的モデルは、この場合、画素ベースのセグメント化による支援の空間データとして組織病理画像をモデル化することによって、腫瘍内密度に基づいて決定される免疫表現型のシステムレベルの知識を生成する解析パイプラインに力を与える。この効果は、特定の治療の評価に限定されず、必要なグラウンドトゥルースデータが利用可能な多くのシナリオに適用され得る。空間統計を使用して組織病理画像を、また他のデジタル病理画像を特徴付けることは、臨床設定において治療の転帰を予測し、したがって治療選択を通知するのに有用であり得る。
【0139】
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させるように構成された命令を含む非一時的機械可読記憶媒体において有形に具現化された、コンピュータプログラム製品を含む。
【0140】
図１３は、例示的なコンピュータシステム１３００を示している。特定の実施形態では、１つまたは複数のコンピュータシステム１３００は、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを実行する。特定の実施形態では、１つまたは複数のコンピュータシステム１３００は、本明細書に記載または図示された機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム１３００で実行されるソフトウェアは、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを実行するか、または本明細書に記載または図示された機能を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム１３００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合には、コンピューティング装置を包含し得て、逆もまた同様である。さらに、コンピュータシステムへの言及は、適切な場合には、１つまたは複数のコンピュータシステムを包含し得る。
【0141】
本開示は、任意の適切な数のコンピュータシステム１３００を想定している。本開示は、任意の適切な物理的形態をとるコンピュータシステム１３００を想定している。限定ではなく、例として、コンピュータシステム１３００は、組み込みコンピュータシステム、システム・オン・チップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータ・オン・モジュール（ＣＯＭ）またはシステム・オン・モジュール（ＳＯＭ））、デスクトップコンピュータシステム、ラップトップもしくはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実装置、またはこれらのうちの複数の組み合わせであり得る。適切な場合には、コンピュータシステム１３００は、１つまたは複数のコンピュータシステム１３００を含んでもよく、単一であるかまたは分布し、複数の位置にまたがり、複数の機械にまたがり、複数のデータセンタにまたがり、１つまたは複数のネットワーク内の１つまたは複数のクラウド構成要素を含み得るクラウド内に存在する。適切な場合には、１つまたは複数のコンピュータシステム１３００は、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを実質的な空間的または時間的制限なしに実行し得る。限定ではなく、例として、１つまたは複数のコンピュータシステム１３００は、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップをリアルタイムまたはバッチモードで実行し得る。１つまたは複数のコンピュータシステム１３００は、適切な場合には、本明細書に記載または図示された１つまたは複数の方法の１つまたは複数のステップを異なる時間または異なる位置で実行し得る。
【0142】
特定の実施形態では、コンピュータシステム１３００は、プロセッサ１３０２、メモリ１３０４、記憶装置１３０６、入力／出力（Ｉ／Ｏ）インターフェース１３０８、通信インターフェース１３１０、およびバス１３１２を含む。本開示は、特定の構成内の特定の数の特定の構成要素を有する特定のコンピュータシステムを記載および図示しているが、本開示は、任意の適切な構成内の任意の適切な数の任意の適切な構成要素を有する任意の適切なコンピュータシステムを想定している。
【0143】
特定の実施形態では、プロセッサ１３０２は、コンピュータプログラムを構成するものなどの命令を実行するためのハードウェアを含む。限定ではなく、例として、命令を実行するために、プロセッサ１３０２は、内部レジスタ、内部キャッシュ、メモリ１３０４、または記憶装置１３０６から命令を取り出し得て（またはフェッチする）、復号して実行し得て、次いで、内部レジスタ、内部キャッシュ、メモリ１３０４、または記憶装置１３０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ１３０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合には、任意の適切な数の任意の適切な内部キャッシュを含むプロセッサ１３０２を想定している。限定ではなく、例として、プロセッサ１３０２は、１つまたは複数の命令キャッシュ、１つまたは複数のデータキャッシュ、および１つまたは複数の変換ルックアサイドバッファー（ＴＬＢ）を含み得る。命令キャッシュ内の命令は、メモリ１３０４または記憶装置１３０６内の命令のコピーであり得て、命令キャッシュは、プロセッサ１３０２によるそれらの命令の取り出しを高速化し得る。データキャッシュ内のデータは、プロセッサ１３０２において実行して、プロセッサ１３０２において実行される後続の命令によるアクセスのため、またはメモリ１３０４もしくは記憶装置１３０６への書き込みのためにプロセッサ１３０２において実行される先行する命令の結果、または他の適切なデータに対して動作する命令のためのメモリ１３０４または記憶装置１３０６内のデータのコピーであり得る。データキャッシュは、プロセッサ１３０２による読み出し動作または書き込み動作を高速化し得る。ＴＬＢは、プロセッサ１３０２の仮想アドレス変換を高速化し得る。特定の実施形態では、プロセッサ１３０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合には、任意の適切な数の任意の適切な内部レジスタを含むプロセッサ１３０２を想定している。適切な場合には、プロセッサ１３０２は、１つまたは複数の算術論理演算ユニット（ＡＬＵ）を含み得るか、マルチコアプロセッサであり得るか、または１つまたは複数のプロセッサ１３０２を含み得る。本開示は、特定のプロセッサを記載および図示しているが、本開示は、任意の適切なプロセッサを想定している。
【0144】
特定の実施形態では、メモリ１３０４は、プロセッサ１３０２が実行するための命令またはプロセッサ１３０２が動作するためのデータを記憶するためのメインメモリを含む。限定ではなく、例として、コンピュータシステム１３００は、記憶装置１３０６または別のソース（例えば、別のコンピュータシステム１３００など）からメモリ１３０４に命令をロードし得る。次いで、プロセッサ１３０２は、メモリ１３０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ１３０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらを復号し得る。命令の実行中または実行後に、プロセッサ１３０２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。次いで、プロセッサ１３０２は、それらの結果のうちの１つまたは複数をメモリ１３０４に書き込み得る。特定の実施形態では、プロセッサ１３０２は、（記憶装置１３０６または他の位置とは対照的に）１つまたは複数の内部レジスタもしくは内部キャッシュまたはメモリ１３０４内の命令のみを実行し、（記憶装置１３０６または他の位置とは対照的に）１つまたは複数の内部レジスタもしくは内部キャッシュまたはメモリ１３０４内のデータのみに対して動作する。（それぞれがアドレスバスおよびデータバスを含み得る）１つまたは複数のメモリバスは、プロセッサ１３０２をメモリ１３０４に結合し得る。バス１３１２は、後述するように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ１３０２とメモリ１３０４との間に存在し、プロセッサ１３０２によって要求されるメモリ１３０４へのアクセスを容易にする。特定の実施形態では、メモリ１３０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、必要に応じて揮発性メモリであってもよい。適切な場合には、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であってもよい。さらに、適切な場合には、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであってもよい。本開示は、任意の適切なＲＡＭを想定している。メモリ１３０４は、適切な場合には、１つまたは複数のメモリ１３０４を含み得る。本開示は、特定のメモリを記載および図示しているが、本開示は、任意の適切なメモリを想定している。
【0145】
特定の実施形態では、記憶装置１３０６は、データまたは命令のための大容量記憶装置を含む。限定ではなく、例として、記憶装置１３０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、もしくはユニバーサルシリアルバス（ＵＳＢ）ドライブ、またはこれらのうちの複数の組み合わせを含み得る。記憶装置１３０６は、適切な場合には、取り外し可能または取り外し不可能な（または固定された）媒体を含み得る。記憶装置１３０６は、適切な場合には、コンピュータシステム１３００の内部または外部にあってもよい。特定の実施形態では、記憶装置１３０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、記憶装置１３０６は、読み出し専用メモリ（ＲＯＭ）を含む。適切な場合には、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的変更可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、またはこれらのうちの２つもしくはそれ以上の組み合わせであってもよい。本開示は、任意の適切な物理的形態をとる大容量記憶装置１３０６を想定している。記憶装置１３０６は、適切な場合には、プロセッサ１３０２と記憶装置１３０６との間の通信を容易にする１つまたは複数の記憶制御ユニットを含み得る。適切な場合には、記憶装置１３０６は、１つまたは複数の記憶装置１３０６を含み得る。本開示は、特定の記憶装置を記載および図示しているが、本開示は、任意の適切な記憶装置を想定している。
【0146】
特定の実施形態では、Ｉ／Ｏインターフェース１３０８は、コンピュータシステム１３００と１つまたは複数のＩ／Ｏ装置との間の通信のための１つまたは複数のインターフェースを提供するハードウェア、ソフトウェア、またはその双方を含む。コンピュータシステム１３００は、適切な場合には、これらのＩ／Ｏ装置のうちの１つまたは複数を含み得る。これらのＩ／Ｏ装置のうちの１つまたは複数は、人とコンピュータシステム１３００との間の通信を可能にし得る。限定ではなく、例として、Ｉ／Ｏ装置は、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なＩ／Ｏ装置、またはこれらのうちの２つもしくはそれ以上の組み合わせを含み得る。Ｉ／Ｏ装置は、１つまたは複数のセンサを含み得る。本開示は、任意の適切なＩ／Ｏ装置およびそれらのための任意の適切なＩ／Ｏインターフェース１３０８を想定している。適切な場合には、Ｉ／Ｏインターフェース１３０８は、プロセッサ１３０２がこれらのＩ／Ｏ装置のうちの１つまたは複数を駆動することを可能にする１つまたは複数の装置ドライバを含み得る。Ｉ／Ｏインターフェース１３０８は、適切な場合には、１つまたは複数のＩ／Ｏインターフェース１３０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを記載および図示しているが、本開示は、任意の適切なＩ／Ｏインターフェースを想定している。
【0147】
特定の実施形態では、通信インターフェース１３１０は、コンピュータシステム１３００と、１つまたは複数の他のコンピュータシステム１３００または１つまたは複数のネットワークとの間の通信（例えば、パケットベースの通信など）のための１つまたは複数のインターフェースを提供するハードウェア、ソフトウェア、またはその双方を含む。限定ではなく、例として、通信インターフェース１３１０は、イーサネット（登録商標）もしくは他の有線ベースのネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）もしくはネットワークアダプタ、またはＷＩ－ＦＩネットワークなどの無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）もしくは無線アダプタを含み得る。本開示は、任意の適切なネットワークおよびそのための任意の適切な通信インターフェース１３１０を想定している。限定ではなく、例として、コンピュータシステム１３００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、またはこれらのうちの複数の組み合わせと通信し得る。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、有線または無線であり得る。例として、コンピュータシステム１３００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなど）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、携帯電話ネットワーク（例えば、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）ネットワーク）、またはその他の適切な無線ネットワーク、またはこれらのうちの複数の組み合わせと通信し得る。コンピュータシステム１３００は、適切な場合には、これらのネットワークのいずれかのための任意の適切な通信インターフェース１３１０を含み得る。通信インターフェース１３１０は、適切な場合には、１つまたは複数の通信インターフェース１３１０を含み得る。本開示は、特定の通信インターフェースを記載および図示しているが、本開示は、任意の適切な通信インターフェースを想定している。
【0148】
特定の実施形態では、バス１３１２は、コンピュータシステム１３００の構成要素を互いに結合するハードウェア、ソフトウェア、またはその双方を含む。限定ではなく、例として、バス１３１２は、アクセラレーテッドグラフィクスポート（ＡＧＰ）もしくは他のグラフィックスバス、エンハンストインダストリスタンダードアーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）インターコネクト、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、インフィニバンドインターコネクト、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、ペリフェラル構成要素インターコネクト（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または別の適切なバス、またはこれらのうちの２つもしくはそれ以上の組み合わせを含み得る。バス１３１２は、適切な場合には、１つまたは複数のバス１３１２を含み得る。本開示は、特定のバスを記載および図示しているが、本開示は、任意の適切なバスまたは相互接続を想定している。
【0149】
本明細書では、コンピュータ可読非一時的記憶媒体は、１つまたは複数の半導体ベースもしくは他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードもしくはドライブ、任意の他の適切なコンピュータ可読非一時的記憶媒体、または適切な場合にはこれらのうちの２つまたはそれ以上の任意の適切な組み合わせを含み得る。コンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、または揮発性と不揮発性との組み合わせであってもよい。
【0150】
本明細書では、「または」は包括的であり、排他的ではないが、他に明示的に示されているか、またはコンテキストによって他に示されている場合は除く。したがって、本明細書では、「ＡまたはＢ」は、他に明示的に示されない限り、またはコンテキストによって他に示されない限り、「Ａ、Ｂ、またはその双方」を意味する。さらに、「および」は、明示的に別段の指示がない限り、またはコンテキストによって別段の指示がない限り、結合およびいくつかの双方である。したがって、本明細書では、「ＡおよびＢ」は、他に明示的に示されない限り、またはコンテキストによって他に示されない限り、「ＡおよびＢ、一緒にまたは別々に」を意味する。
【0151】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴のいかなる均等物またはその一部も除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあるとみなされることを理解されたい。
【0152】
続く記載は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適応可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の続く記載は、様々な実施形態を実行することを可能にする記載を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更が加えられ得ることが理解される。
【0153】
実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施され得ることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
【0154】
本発明の様々な実施形態は、以下を含むことができる。
１．方法であって、
デジタル病理画像処理システムによって、生物学的試料の切片を描写するデジタル病理画像にアクセスすることであって、デジタル病理画像が、２つ以上の染色に対する反応性をディスプレイする領域を含む、アクセスすること、
デジタル病理画像処理システムにより、デジタル病理画像を複数のタイルに細分化すること、
複数のタイルの各々について、デジタル病理画像処理システムによって、複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算すること、
デジタル病理画像処理システムによって、計算された局所密度測定値に少なくとも部分的に基づいて、デジタル病理画像内の複数の生物学的オブジェクトタイプについての１つまたは複数の空間分布測定基準を生成すること、および
デジタル病理画像処理システムによって、局所密度測定値または１つもしくは複数の空間分布測定基準に少なくとも部分的に基づいて、デジタル病理画像の腫瘍免疫表現型を決定すること
を含む、方法。
２．局所密度測定値の各々が、絶対もしくは相対量、面積または密度の表現を含む、請求項１に記載の方法。
３．複数の生物学的オブジェクトタイプは腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型は、
複数のタイルについて、免疫細胞の局所密度測定値が免疫細胞密度閾値未満である場合、枯渇型、
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値未満であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、排除型、または
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値以上であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、炎症型
を含む、請求項１または２に記載の方法。
４．１つまたは複数の空間分布測定基準が、第１の生物学的オブジェクトタイプが第２の生物学的オブジェクトタイプと入り交じっているように描かれている度合いを特徴付ける、請求項１から３のいずれかに記載の方法。
５．１つまたは複数の空間分布測定基準は、
Ｊａｃｃａｒｄ指数、
Ｓｏｒｅｎｓｅｎ指数、
Ｂｈａｔｔａｃｈａｒｙｙａ係数、
Ｍｏｒａｎ指数、
Ｇｅａｒｙ隣接比率、
Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数、または
ホットスポット／コールドスポット解析に基づいて定義された測定基準
を含む、請求項１から４のいずれかに記載の方法。
６．複数の生物学的オブジェクトタイプが腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型が、
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との空間的分離を示す場合、排除型、または
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との共局在を示す場合、炎症型
を含む請求項１から５のいずれかに記載の方法。
７．複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することが、
複数のタイルの各々について、
２つ以上の染色に従ってタイルを複数の領域にセグメント化することであって、生物学的オブジェクトタイプの各々が染色のうちの１つに反応性である、セグメント化すること、
領域のそれぞれを、染色に対する反応性に応じて分類すること、および
２つ以上の染色の各々によって分類されたタイルの領域の数に基づいて、タイル内に位置する複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することを含む、請求項１から６のいずれかに記載の方法。
８．タイルの領域の各々は、領域の染色強度の値に基づいて決定され、染色強度の値は、２つ以上の染色のうちの１つに対する複数の生物学的オブジェクトタイプの各々の反応性に基づく、請求項７に記載の方法。
９．タイルの領域が、腫瘍関連領域および非腫瘍関連領域として決定される、請求項７または８に記載の方法。
１０．腫瘍関連領域および非腫瘍関連領域の各々が、免疫細胞関連領域および非免疫細胞関連領域として決定される、請求項９に記載の方法。
１１．画像の腫瘍免疫表現型を決定することが、
１つまたは複数の空間分布測定基準に基づく軸を有する特徴空間にデジタル病理画像の表現を投影することと
特徴空間内のデジタル病理画像の位置に基づいて、画像の腫瘍免疫表現型を決定することとを含む、請求項１から１０のいずれかに記載の方法。
１２．画像の腫瘍免疫表現型を決定することが、さらに、特徴空間内のデジタル病理画像の位置の、割り当てられた腫瘍免疫表現型を有する１つまたは複数の他のデジタル病理画像表現の位置への近接度に基づく、請求項１１に記載の方法。
１３．複数の生物学的オブジェクトタイプがサイトケラチンおよび細胞傷害性構造を含む、請求項１から１２のいずれかに記載の方法。
１４．デジタル病理画像内の１つまたは複数の腫瘍領域を識別することであって、
デジタル病理画像と１つまたは複数のインタラクティブ要素とを含むディスプレイ用のユーザインターフェースを提供することと
１つまたは複数のインタラクティブ要素との相互作用を介して１つまたは複数の腫瘍領域の選択を受信することとを含む、識別すること
をさらに含む、請求項１から１３のいずれかに記載の方法。
１５．画像の腫瘍免疫表現型および１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、医学的状態の転帰についての予後を含む、対象の医学的状態の評価に対応する結果を生成することと
対象の医学的状態および予後の評価の表示を含むディスプレイを生成することとをさらに含む、請求項１から１４のいずれかに記載の方法。
１６．画像の腫瘍免疫表現型を決定することおよび１つまたは複数の空間分布測定基準を生成することは、訓練された機械学習モデルを使用し、訓練された機械学習モデルは、訓練要素のセットを使用して訓練されており、訓練要素のセットの各々は、類似の医学的状態を有しかつ医学的状態の転帰が既知である別の対象に対応する、請求項１５に記載の方法。
１７．１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、免疫学的応答を調節する所与の治療が対象の医学的状態を効果的に治療する程度に関する予測に対応する結果を生成すること、
結果に基づいて、対象が臨床治験に適格であると決定すること、および
対象が臨床治験に適格であるという表示を含むディスプレイを生成することをさらに含む、請求項１から１６のいずれかに記載の方法。
１８．デジタル病理画像処理システムであって、
１つまたは複数のデータプロセッサ、ならびに
１つまたは複数のデータプロセッサに通信可能に結合され、１つまたは複数のデータプロセッサによって実行されると、１つまたは複数のデータプロセッサに、
生物学的試料の切片を描写するデジタル病理画像にアクセスすることであって、デジタル病理画像は、２つ以上の染色に対する反応をディスプレイする領域を含む、アクセスすること、
デジタル病理画像を複数のタイルに細分化すること、
複数のタイルの各々について、タイル内で識別された複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算すること、
計算された局所密度測定値に少なくとも部分的に基づいて、デジタル病理画像内の複数の生物学的オブジェクトタイプについての１つまたは複数の空間分布測定基準を生成すること、および
局所密度測定値および１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、デジタル病理画像の腫瘍免疫表現型を決定すること、を含む１つまたは複数の操作を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む、デジタル病理画像処理システム。
１９．局所密度測定値の各々が、絶対もしくは相対量、面積または密度の表現を含む、請求項１８に記載のデジタル病理画像処理システム。
２０．複数の生物学的オブジェクトタイプは腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型は、
複数のタイルについて、免疫細胞の局所密度測定値が免疫細胞密度閾値未満である場合、枯渇型、
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値未満であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、排除型、または
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値以上であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、炎症型
を含む、請求項１８または１９に記載のデジタル病理画像処理システム。
２１．１つまたは複数の空間分布測定基準が、第１の生物学的オブジェクトタイプが第２の生物学的オブジェクトタイプと入り交じっているように描かれている度合いを特徴付ける、請求項１８から２０のいずれかに記載のデジタル病理画像処理システム。
２２．１つまたは複数の空間分布測定基準は、
Ｊａｃｃａｒｄ指数、
Ｓｏｒｅｎｓｅｎ指数、
Ｂｈａｔｔａｃｈａｒｙｙａ係数、
Ｍｏｒａｎ指数、
Ｇｅａｒｙ隣接比率、
Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数、または
ホットスポット／コールドスポット解析に基づいて定義された測定基準
を含む、請求項１８から２１のいずれかに記載のデジタル病理画像処理システム。
２３．複数の生物学的オブジェクトタイプが腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型が、
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との空間的分離を示す場合、排除型、または
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との共局在を示す場合、炎症型を含む、請求項１８から２２のいずれかに記載のデジタル病理画像処理システム。
２４．複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することが、
複数のタイルの各々について、
２つ以上の染色に従ってタイルを複数の領域にセグメント化することであって、生物学的オブジェクトタイプの各々が染色のうちの１つに反応性である、セグメント化すること、
領域のそれぞれを、染色に対する反応性に応じて分類すること、および
２つ以上の染色の各々によって分類されたタイルの領域の数に基づいて、タイル内に位置する複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算すること
を含む、請求項１８から２３のいずれかに記載のデジタル病理画像処理システム。
２５．タイルの領域の各々は、領域の染色強度の値に基づいて決定され、染色強度の値は、２つ以上染色のうちの１つに対する複数の生物学的オブジェクトタイプの各々の反応性に基づく、請求項２４に記載のデジタル病理画像処理システム。
２６．タイルの領域が、腫瘍関連領域および非腫瘍関連領域として決定される、請求項２４または２５に記載のデジタル病理画像処理システム。
２７．腫瘍関連領域および非腫瘍関連領域の各々が、免疫細胞関連領域および非免疫細胞関連領域として決定される、請求項２６に記載のデジタル病理画像処理システム。
２８．画像の腫瘍免疫表現型を決定することが、
１つまたは複数の空間分布測定基準に基づく軸を有する特徴空間にデジタル病理画像の表現を投影することと
特徴空間内のデジタル病理画像の位置に基づいて、画像の腫瘍免疫表現型を決定することとを含む、請求項１８から２７のいずれかに記載のデジタル病理画像処理システム。
２９．画像の腫瘍免疫表現型を決定することが、さらに、特徴空間内のデジタル病理画像の位置の、割り当てられた腫瘍免疫表現型を有する１つまたは複数の他のデジタル病理画像表現の位置への近接度に基づく、請求項２８に記載のデジタル病理画像処理システム。
３０．複数の生物学的オブジェクトタイプがサイトケラチンおよび細胞傷害性構造を含む、請求項１８から２９のいずれかに記載のデジタル病理画像処理システム。
３１．デジタル病理画像内の１つまたは複数の腫瘍領域を識別することであって、
デジタル病理画像および１つまたは複数のインタラクティブ要素を含むディスプレイ用のユーザインターフェースを提供することと
１つまたは複数のインタラクティブ要素との相互作用を介して１つまたは複数の腫瘍領域の選択を受信することとを含む、識別すること
をさらに含む、請求項１８から３０のいずれかに記載のデジタル病理画像処理システム。
３２．画像の腫瘍免疫表現型および１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、医学的状態の転帰についての予後を含む、対象の医学的状態の評価に対応する結果を生成することと
対象の医学的状態および予後の評価の表示を含むディスプレイを生成することとをさらに含む、請求項１８から３１のいずれかに記載のデジタル病理画像処理システム。
３３．画像の腫瘍免疫表現型を決定することおよび１つまたは複数の空間分布測定基準を生成することは、訓練された機械学習モデルを使用し、訓練された機械学習モデルは、訓練要素のセットを使用して訓練されており、訓練要素のセットの各々は、類似の医学的状態を有しかつ医学的状態の転帰が既知である別の対象に対応する、請求項３２に記載のデジタル病理画像処理システム。
３４．１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、免疫学的応答を調節する所与の治療が対象の医学的状態を効果的に治療する程度に関する予測に対応する結果を生成すること、
結果に基づいて、対象が臨床治験に適格であると決定すること、および
対象が臨床治験に適格であるという表示を含むディスプレイを生成すること
をさらに含む、請求項１８から３３のいずれかに記載のデジタル病理画像処理システム。
３５．１つまたは複数のコンピューティング装置の１つまたは複数のデータプロセッサによって実行されると、１つまたは複数のプロセッサに、
生物学的試料の切片を描写するデジタル病理画像であって、２つ以上の染色に対する反応をディスプレイする領域を含む、デジタル病理画像を受信させ、
デジタル病理画像を複数のタイルにセグメント化させ、
複数のタイルの各々について、タイル内で識別された複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算させ、
計算された局所密度測定値に少なくとも部分的に基づいて、デジタル病理画像内の複数の生物学的オブジェクトタイプについての１つまたは複数の空間分布測定基準を生成させ、および
局所密度測定値または１つもしくは複数の空間分布測定基準に少なくとも部分的に基づいて、デジタル病理画像の腫瘍免疫表現型を決定させる
命令を含む非一時的コンピュータ可読媒体。
３６．局所密度測定値の各々が、絶対もしくは相対量、面積または密度の表現を含む、請求項３５に記載の方法。
３７．複数の生物学的オブジェクトタイプは腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型は、
複数のタイルについて、免疫細胞の局所密度測定値が免疫細胞密度閾値未満である場合、枯渇型、
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値未満であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、排除型、または
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値以上であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、炎症型
を含む、請求項３５または３６に記載の方法。
３８．１つまたは複数の空間分布測定基準が、第１の生物学的オブジェクトタイプが第２の生物学的オブジェクトタイプと入り交じっているように描かれている度合いを特徴付ける、請求項３５から３７のいずれかに記載の方法。
３９．１つまたは複数の空間分布測定基準は、
Ｊａｃｃａｒｄ指数、
Ｓｏｒｅｎｓｅｎ指数、
Ｂｈａｔｔａｃｈａｒｙｙａ係数、
Ｍｏｒａｎ指数、
Ｇｅａｒｙ隣接比率、
Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数、または
ホットスポット／コールドスポット解析に基づいて定義された測定基準
を含む、請求項３５から３８のいずれかに記載の方法。
４０．複数の生物学的オブジェクトタイプが腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型が、
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との空間的分離を示す場合、排除型、または
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との共局在を示す場合、炎症型
を含む、請求項３５から３９のいずれかに記載の方法。
４１．複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することが、
複数のタイルの各々について、
２つ以上の染色に従ってタイルを複数の領域にセグメント化することであって、生物学的オブジェクトタイプの各々が染色のうちの１つに反応性である、セグメント化すること、
領域のそれぞれを、染色に対する反応性に応じて分類すること、および
２つ以上の染色の各々によって分類されたタイルの領域の数に基づいて、タイル内に位置する複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することを含む、請求項３５から４０のいずれかに記載の方法。
４２．タイルの領域の各々は、領域の染色強度の値に基づいて決定され、染色強度の値は、２つ以上染色のうちの１つに対する複数の生物学的オブジェクトタイプの各々の反応性に基づく、請求項４１に記載の方法。
４３．タイルの領域が、腫瘍関連領域および非腫瘍関連領域として決定される、請求項４１または４２に記載の方法。
４４．腫瘍関連領域および非腫瘍関連領域の各々が、免疫細胞関連領域および非免疫細胞関連領域として決定される、請求項４３に記載の方法。
４５．画像の腫瘍免疫表現型を決定することが、
１つまたは複数の空間分布測定基準に基づく軸を有する特徴空間にデジタル病理画像の表現を投影すること、および
特徴空間内のデジタル病理画像の位置に基づいて、画像の腫瘍免疫表現型を決定すること
を含む、請求項３５から４４のいずれかに記載の方法。
４６．画像の腫瘍免疫表現型を決定することが、さらに、特徴空間内のデジタル病理画像の位置の、割り当てられた腫瘍免疫表現型を有する１つまたは複数の他のデジタル病理画像表現の位置への近接度に基づく、請求項４５に記載の方法。
４７．複数の生物学的オブジェクトタイプがサイトケラチンおよび細胞傷害性構造を含む、請求項３５から４６のいずれかに記載の方法。
４８．デジタル病理画像内の１つまたは複数の腫瘍領域を識別することであって、
デジタル病理画像と１つまたは複数のインタラクティブ要素とを含むディスプレイ用のユーザインターフェースを提供することと
１つまたは複数のインタラクティブ要素との相互作用を介して１つまたは複数の腫瘍領域の選択を受信することとを含む、識別すること
をさらに含む、請求項３５から４７のいずれかに記載の方法。
４９．画像の腫瘍免疫表現型および１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、医学的状態の転帰についての予後を含む、対象の医学的状態の評価に対応する結果を生成することと
対象の医学的状態および予後の評価の表示を含むディスプレイを生成することと
をさらに含む、請求項３５から４８のいずれかに記載の方法。
５０．画像の腫瘍免疫表現型を決定することおよび１つまたは複数の空間分布測定基準を生成することは、訓練された機械学習モデルを使用し、訓練された機械学習モデルは、訓練要素のセットを使用して訓練されており、訓練要素のセットの各々は、類似の医学的状態を有しかつ医学的状態の転帰が既知である別の対象に対応する、請求項４９に記載の方法。
１．方法であって、
デジタル病理画像処理システムによって、生物学的試料の切片を描写するデジタル病理画像にアクセスすることであって、デジタル病理画像が、２つ以上の染色に対する反応性をディスプレイする領域を含む、アクセスすること、
デジタル病理画像処理システムにより、デジタル病理画像を複数のタイルに細分化すること、
複数のタイルの各々について、デジタル病理画像処理システムによって、複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算すること、
デジタル病理画像処理システムによって、計算された局所密度測定値に少なくとも部分的に基づいて、デジタル病理画像内の複数の生物学的オブジェクトタイプについての１つまたは複数の空間分布測定基準を生成すること、および
デジタル病理画像処理システムによって、局所密度測定値または１つもしくは複数の空間分布測定基準に少なくとも部分的に基づいて、デジタル病理画像の腫瘍免疫表現型を決定すること
を含む、方法。
２．局所密度測定値の各々が、絶対もしくは相対量、面積または密度の表現を含む、請求項１に記載の方法。
３．複数の生物学的オブジェクトタイプは腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型は、
複数のタイルについて、免疫細胞の局所密度測定値が免疫細胞密度閾値未満である場合、枯渇型、
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値未満であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、排除型、または
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値以上であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、炎症型
を含む、請求項１または２に記載の方法。
４．１つまたは複数の空間分布測定基準が、第１の生物学的オブジェクトタイプが第２の生物学的オブジェクトタイプと入り交じっているように描かれている度合いを特徴付ける、請求項１から３のいずれかに記載の方法。
５．１つまたは複数の空間分布測定基準は、
Ｊａｃｃａｒｄ指数、
Ｓｏｒｅｎｓｅｎ指数、
Ｂｈａｔｔａｃｈａｒｙｙａ係数、
Ｍｏｒａｎ指数、
Ｇｅａｒｙ隣接比率、
Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数、または
ホットスポット／コールドスポット解析に基づいて定義された測定基準
を含む、請求項１から４のいずれかに記載の方法。
６．複数の生物学的オブジェクトタイプが腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型が、
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との空間的分離を示す場合、排除型、または
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との共局在を示す場合、炎症型
を含む請求項１から５のいずれかに記載の方法。
７．複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することが、
複数のタイルの各々について、
２つ以上の染色に従ってタイルを複数の領域にセグメント化することであって、生物学的オブジェクトタイプの各々が染色のうちの１つに反応性である、セグメント化すること、
領域のそれぞれを、染色に対する反応性に応じて分類すること、および
２つ以上の染色の各々によって分類されたタイルの領域の数に基づいて、タイル内に位置する複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することを含む、請求項１から６のいずれかに記載の方法。
８．タイルの領域の各々は、領域の染色強度の値に基づいて決定され、染色強度の値は、２つ以上の染色のうちの１つに対する複数の生物学的オブジェクトタイプの各々の反応性に基づく、請求項７に記載の方法。
９．タイルの領域が、腫瘍関連領域および非腫瘍関連領域として決定される、請求項７または８に記載の方法。
１０．腫瘍関連領域および非腫瘍関連領域の各々が、免疫細胞関連領域および非免疫細胞関連領域として決定される、請求項９に記載の方法。
１１．画像の腫瘍免疫表現型を決定することが、
１つまたは複数の空間分布測定基準に基づく軸を有する特徴空間にデジタル病理画像の表現を投影することと
特徴空間内のデジタル病理画像の位置に基づいて、画像の腫瘍免疫表現型を決定することとを含む、請求項１から１０のいずれかに記載の方法。
１２．画像の腫瘍免疫表現型を決定することが、さらに、特徴空間内のデジタル病理画像の位置の、割り当てられた腫瘍免疫表現型を有する１つまたは複数の他のデジタル病理画像表現の位置への近接度に基づく、請求項１１に記載の方法。
１３．複数の生物学的オブジェクトタイプがサイトケラチンおよび細胞傷害性構造を含む、請求項１から１２のいずれかに記載の方法。
１４．デジタル病理画像内の１つまたは複数の腫瘍領域を識別することであって、
デジタル病理画像と１つまたは複数のインタラクティブ要素とを含むディスプレイ用のユーザインターフェースを提供することと
１つまたは複数のインタラクティブ要素との相互作用を介して１つまたは複数の腫瘍領域の選択を受信することとを含む、識別すること
をさらに含む、請求項１から１３のいずれかに記載の方法。
１５．画像の腫瘍免疫表現型および１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、医学的状態の転帰についての予後を含む、対象の医学的状態の評価に対応する結果を生成することと
対象の医学的状態および予後の評価の表示を含むディスプレイを生成することとをさらに含む、請求項１から１４のいずれかに記載の方法。
１６．画像の腫瘍免疫表現型を決定することおよび１つまたは複数の空間分布測定基準を生成することは、訓練された機械学習モデルを使用し、訓練された機械学習モデルは、訓練要素のセットを使用して訓練されており、訓練要素のセットの各々は、類似の医学的状態を有しかつ医学的状態の転帰が既知である別の対象に対応する、請求項１５に記載の方法。
１７．１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、免疫学的応答を調節する所与の治療が対象の医学的状態を効果的に治療する程度に関する予測に対応する結果を生成すること、
結果に基づいて、対象が臨床治験に適格であると決定すること、および
対象が臨床治験に適格であるという表示を含むディスプレイを生成することをさらに含む、請求項１から１６のいずれかに記載の方法。
１８．デジタル病理画像処理システムであって、
１つまたは複数のデータプロセッサ、ならびに
１つまたは複数のデータプロセッサに通信可能に結合され、１つまたは複数のデータプロセッサによって実行されると、１つまたは複数のデータプロセッサに、
生物学的試料の切片を描写するデジタル病理画像にアクセスすることであって、デジタル病理画像は、２つ以上の染色に対する反応をディスプレイする領域を含む、アクセスすること、
デジタル病理画像を複数のタイルに細分化すること、
複数のタイルの各々について、タイル内で識別された複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算すること、
計算された局所密度測定値に少なくとも部分的に基づいて、デジタル病理画像内の複数の生物学的オブジェクトタイプについての１つまたは複数の空間分布測定基準を生成すること、および
局所密度測定値および１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、デジタル病理画像の腫瘍免疫表現型を決定すること、を含む１つまたは複数の操作を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む、デジタル病理画像処理システム。
１９．局所密度測定値の各々が、絶対もしくは相対量、面積または密度の表現を含む、請求項１８に記載のデジタル病理画像処理システム。
２０．複数の生物学的オブジェクトタイプは腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型は、
複数のタイルについて、免疫細胞の局所密度測定値が免疫細胞密度閾値未満である場合、枯渇型、
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値未満であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、排除型、または
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値以上であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、炎症型
を含む、請求項１８または１９に記載のデジタル病理画像処理システム。
２１．１つまたは複数の空間分布測定基準が、第１の生物学的オブジェクトタイプが第２の生物学的オブジェクトタイプと入り交じっているように描かれている度合いを特徴付ける、請求項１８から２０のいずれかに記載のデジタル病理画像処理システム。
２２．１つまたは複数の空間分布測定基準は、
Ｊａｃｃａｒｄ指数、
Ｓｏｒｅｎｓｅｎ指数、
Ｂｈａｔｔａｃｈａｒｙｙａ係数、
Ｍｏｒａｎ指数、
Ｇｅａｒｙ隣接比率、
Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数、または
ホットスポット／コールドスポット解析に基づいて定義された測定基準
を含む、請求項１８から２１のいずれかに記載のデジタル病理画像処理システム。
２３．複数の生物学的オブジェクトタイプが腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型が、
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との空間的分離を示す場合、排除型、または
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との共局在を示す場合、炎症型を含む、請求項１８から２２のいずれかに記載のデジタル病理画像処理システム。
２４．複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することが、
複数のタイルの各々について、
２つ以上の染色に従ってタイルを複数の領域にセグメント化することであって、生物学的オブジェクトタイプの各々が染色のうちの１つに反応性である、セグメント化すること、
領域のそれぞれを、染色に対する反応性に応じて分類すること、および
２つ以上の染色の各々によって分類されたタイルの領域の数に基づいて、タイル内に位置する複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算すること
を含む、請求項１８から２３のいずれかに記載のデジタル病理画像処理システム。
２５．タイルの領域の各々は、領域の染色強度の値に基づいて決定され、染色強度の値は、２つ以上染色のうちの１つに対する複数の生物学的オブジェクトタイプの各々の反応性に基づく、請求項２４に記載のデジタル病理画像処理システム。
２６．タイルの領域が、腫瘍関連領域および非腫瘍関連領域として決定される、請求項２４または２５に記載のデジタル病理画像処理システム。
２７．腫瘍関連領域および非腫瘍関連領域の各々が、免疫細胞関連領域および非免疫細胞関連領域として決定される、請求項２６に記載のデジタル病理画像処理システム。
２８．画像の腫瘍免疫表現型を決定することが、
１つまたは複数の空間分布測定基準に基づく軸を有する特徴空間にデジタル病理画像の表現を投影することと
特徴空間内のデジタル病理画像の位置に基づいて、画像の腫瘍免疫表現型を決定することとを含む、請求項１８から２７のいずれかに記載のデジタル病理画像処理システム。
２９．画像の腫瘍免疫表現型を決定することが、さらに、特徴空間内のデジタル病理画像の位置の、割り当てられた腫瘍免疫表現型を有する１つまたは複数の他のデジタル病理画像表現の位置への近接度に基づく、請求項２８に記載のデジタル病理画像処理システム。
３０．複数の生物学的オブジェクトタイプがサイトケラチンおよび細胞傷害性構造を含む、請求項１８から２９のいずれかに記載のデジタル病理画像処理システム。
３１．デジタル病理画像内の１つまたは複数の腫瘍領域を識別することであって、
デジタル病理画像および１つまたは複数のインタラクティブ要素を含むディスプレイ用のユーザインターフェースを提供することと
１つまたは複数のインタラクティブ要素との相互作用を介して１つまたは複数の腫瘍領域の選択を受信することとを含む、識別すること
をさらに含む、請求項１８から３０のいずれかに記載のデジタル病理画像処理システム。
３２．画像の腫瘍免疫表現型および１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、医学的状態の転帰についての予後を含む、対象の医学的状態の評価に対応する結果を生成することと
対象の医学的状態および予後の評価の表示を含むディスプレイを生成することとをさらに含む、請求項１８から３１のいずれかに記載のデジタル病理画像処理システム。
３３．画像の腫瘍免疫表現型を決定することおよび１つまたは複数の空間分布測定基準を生成することは、訓練された機械学習モデルを使用し、訓練された機械学習モデルは、訓練要素のセットを使用して訓練されており、訓練要素のセットの各々は、類似の医学的状態を有しかつ医学的状態の転帰が既知である別の対象に対応する、請求項３２に記載のデジタル病理画像処理システム。
３４．１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、免疫学的応答を調節する所与の治療が対象の医学的状態を効果的に治療する程度に関する予測に対応する結果を生成すること、
結果に基づいて、対象が臨床治験に適格であると決定すること、および
対象が臨床治験に適格であるという表示を含むディスプレイを生成すること
をさらに含む、請求項１８から３３のいずれかに記載のデジタル病理画像処理システム。
３５．１つまたは複数のコンピューティング装置の１つまたは複数のデータプロセッサによって実行されると、１つまたは複数のプロセッサに、
生物学的試料の切片を描写するデジタル病理画像であって、２つ以上の染色に対する反応をディスプレイする領域を含む、デジタル病理画像を受信させ、
デジタル病理画像を複数のタイルにセグメント化させ、
複数のタイルの各々について、タイル内で識別された複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算させ、
計算された局所密度測定値に少なくとも部分的に基づいて、デジタル病理画像内の複数の生物学的オブジェクトタイプについての１つまたは複数の空間分布測定基準を生成させ、および
局所密度測定値または１つもしくは複数の空間分布測定基準に少なくとも部分的に基づいて、デジタル病理画像の腫瘍免疫表現型を決定させる
命令を含む非一時的コンピュータ可読媒体。
３６．局所密度測定値の各々が、絶対もしくは相対量、面積または密度の表現を含む、請求項３５に記載の方法。
３７．複数の生物学的オブジェクトタイプは腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型は、
複数のタイルについて、免疫細胞の局所密度測定値が免疫細胞密度閾値未満である場合、枯渇型、
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値未満であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、排除型、または
複数のタイルのうちの１つもしくは複数について、腫瘍細胞の局所密度測定値が腫瘍細胞密度閾値以上であり、免疫細胞の局所密度測定値が免疫細胞密度閾値以上である場合、炎症型
を含む、請求項３５または３６に記載の方法。
３８．１つまたは複数の空間分布測定基準が、第１の生物学的オブジェクトタイプが第２の生物学的オブジェクトタイプと入り交じっているように描かれている度合いを特徴付ける、請求項３５から３７のいずれかに記載の方法。
３９．１つまたは複数の空間分布測定基準は、
Ｊａｃｃａｒｄ指数、
Ｓｏｒｅｎｓｅｎ指数、
Ｂｈａｔｔａｃｈａｒｙｙａ係数、
Ｍｏｒａｎ指数、
Ｇｅａｒｙ隣接比率、
Ｍｏｒｉｓｉｔａ－Ｈｏｒｎ指数、または
ホットスポット／コールドスポット解析に基づいて定義された測定基準
を含む、請求項３５から３８のいずれかに記載の方法。
４０．複数の生物学的オブジェクトタイプが腫瘍細胞および免疫細胞を含み、腫瘍免疫表現型が、
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との空間的分離を示す場合、排除型、または
複数のタイルのうちの１つもしくは複数について、１つもしくは複数の空間分布測定基準が腫瘍細胞と免疫細胞との共局在を示す場合、炎症型
を含む、請求項３５から３９のいずれかに記載の方法。
４１．複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することが、
複数のタイルの各々について、
２つ以上の染色に従ってタイルを複数の領域にセグメント化することであって、生物学的オブジェクトタイプの各々が染色のうちの１つに反応性である、セグメント化すること、
領域のそれぞれを、染色に対する反応性に応じて分類すること、および
２つ以上の染色の各々によって分類されたタイルの領域の数に基づいて、タイル内に位置する複数の生物学的オブジェクトタイプの各々の局所密度測定値を計算することを含む、請求項３５から４０のいずれかに記載の方法。
４２．タイルの領域の各々は、領域の染色強度の値に基づいて決定され、染色強度の値は、２つ以上染色のうちの１つに対する複数の生物学的オブジェクトタイプの各々の反応性に基づく、請求項４１に記載の方法。
４３．タイルの領域が、腫瘍関連領域および非腫瘍関連領域として決定される、請求項４１または４２に記載の方法。
４４．腫瘍関連領域および非腫瘍関連領域の各々が、免疫細胞関連領域および非免疫細胞関連領域として決定される、請求項４３に記載の方法。
４５．画像の腫瘍免疫表現型を決定することが、
１つまたは複数の空間分布測定基準に基づく軸を有する特徴空間にデジタル病理画像の表現を投影すること、および
特徴空間内のデジタル病理画像の位置に基づいて、画像の腫瘍免疫表現型を決定すること
を含む、請求項３５から４４のいずれかに記載の方法。
４６．画像の腫瘍免疫表現型を決定することが、さらに、特徴空間内のデジタル病理画像の位置の、割り当てられた腫瘍免疫表現型を有する１つまたは複数の他のデジタル病理画像表現の位置への近接度に基づく、請求項４５に記載の方法。
４７．複数の生物学的オブジェクトタイプがサイトケラチンおよび細胞傷害性構造を含む、請求項３５から４６のいずれかに記載の方法。
４８．デジタル病理画像内の１つまたは複数の腫瘍領域を識別することであって、
デジタル病理画像と１つまたは複数のインタラクティブ要素とを含むディスプレイ用のユーザインターフェースを提供することと
１つまたは複数のインタラクティブ要素との相互作用を介して１つまたは複数の腫瘍領域の選択を受信することとを含む、識別すること
をさらに含む、請求項３５から４７のいずれかに記載の方法。
４９．画像の腫瘍免疫表現型および１つまたは複数の空間分布測定基準に少なくとも部分的に基づいて、医学的状態の転帰についての予後を含む、対象の医学的状態の評価に対応する結果を生成することと
対象の医学的状態および予後の評価の表示を含むディスプレイを生成することと
をさらに含む、請求項３５から４８のいずれかに記載の方法。
５０．画像の腫瘍免疫表現型を決定することおよび１つまたは複数の空間分布測定基準を生成することは、訓練された機械学習モデルを使用し、訓練された機械学習モデルは、訓練要素のセットを使用して訓練されており、訓練要素のセットの各々は、類似の医学的状態を有しかつ医学的状態の転帰が既知である別の対象に対応する、請求項４９に記載の方法。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図11C】
【図11D】
【図12A】
【図12B】
【図12C】
【図12D】
【図12E】
【図13】
【国際調査報告】